CN111149128B - 标记数据的获取方法及装置、训练方法及装置、医疗设备 - Google Patents
标记数据的获取方法及装置、训练方法及装置、医疗设备 Download PDFInfo
- Publication number
- CN111149128B CN111149128B CN201880031837.9A CN201880031837A CN111149128B CN 111149128 B CN111149128 B CN 111149128B CN 201880031837 A CN201880031837 A CN 201880031837A CN 111149128 B CN111149128 B CN 111149128B
- Authority
- CN
- China
- Prior art keywords
- dimensional
- image
- sample
- data
- registration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 85
- 238000012549 training Methods 0.000 title claims abstract description 72
- 238000010801 machine learning Methods 0.000 claims description 54
- 239000003550 marker Substances 0.000 claims description 32
- 238000012360 testing method Methods 0.000 claims description 22
- 238000003384 imaging method Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 13
- 238000002604 ultrasonography Methods 0.000 claims description 8
- 238000005481 NMR spectroscopy Methods 0.000 claims description 7
- 238000002591 computed tomography Methods 0.000 claims description 7
- 230000009977 dual effect Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 abstract description 12
- 238000010586 diagram Methods 0.000 description 14
- 238000012545 processing Methods 0.000 description 11
- 230000009466 transformation Effects 0.000 description 9
- 230000000052 comparative effect Effects 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000005855 radiation Effects 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000007408 cone-beam computed tomography Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 238000012804 iterative process Methods 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 238000012285 ultrasound imaging Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002594 fluoroscopy Methods 0.000 description 1
- 238000002786 image-guided radiation therapy Methods 0.000 description 1
- 238000002675 image-guided surgery Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000001959 radiotherapy Methods 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10064—Fluorescence image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
- G06T2207/10121—Fluoroscopy
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Abstract
本公开提供了一种标记数据的获取方法及装置、训练方法及装置、医疗设备。标记数据的获取方法包括：获取三维‑三维配准样本，三维‑三维配准样本包括样本三维图像、参考三维图像以及三维‑三维配准数据，三维‑三维配准数据为样本三维图像与参考三维图像之间的对应关系数据；基于样本三维图像生成至少一个双二维图像，每个双二维图像均为样本三维图像在两个不同方向上的二维投影图像的组合；基于三维‑三维配准数据生成与每个双二维图像对应的二维‑三维配准数据，每个二维‑三维配准数据均为一个双二维图像与参考三维图像之间的对应关系数据。本公开可以省去采集和配准大量样本图像的过程，帮助实现具有高精度、高速度、高鲁棒性的医学图像配准。
Description
技术领域
本公开涉及医学影像领域，特别涉及一种标记数据的获取方法及装置、训练方法及装置、医疗设备。
背景技术
医学图像配准是指对于一幅医学图像寻求一种(或一系列的)空间变换，使它与另一幅医学图像上的对应点达到空间上的一致，这种一致能使临床病例的同一解剖点在两幅配准后的医学图像上具有相同的空间位置坐标，对于临床诊断和临床治疗都有着非常重要的意义。
在例如图像引导手术或图像引导放射治疗的应用场景当中，包括图像配准过程的实时成像需要具备足够高的成像精度、成像速度和鲁棒性。对此，虽然理论上可以采用基于机器学习的图像处理技术构建医学图像配准模型来帮助满足这些需求，但实际应用中却存在着模型训练所需要的大量标记数据难以取得、大量标记数据的图像配准精度难以保证的问题，使得基于机器学习的医学图像配准方法难以有效地建立。
发明内容
本公开提供一种标记数据的获取方法及装置、训练方法及装置、医疗设备，可以更简单而快速地取得训练图像配准模型所需要的大量标记数据，有助于实现高精度、高速度、高鲁棒性的医学图像配准。
第一方面，本公开提供了一种标记数据的获取方法，
获取三维-三维配准样本，所述三维-三维配准样本包括样本三维图像、参考三维图像以及三维-三维配准数据，所述三维-三维配准数据为所述样本三维图像与所述参考三维图像之间的对应关系数据；
基于所述样本三维图像生成至少一个双二维图像，每个所述双二维图像均为所述样本三维图像在两个不同方向上的二维投影图像的组合；
基于所述三维-三维配准数据生成与每个所述双二维图像对应的二维-三维配准数据，每个所述二维-三维配准数据均为一个所述双二维图像与所述参考三维图像之间的对应关系数据。
在一种可能的实现方式中，所述获取三维-三维配准样本，包括：
获取所述参考三维图像和至少一组样本二维图像，每组所述样本二维图像包括分别在若干个不同方向上对同一对象成像得到的若干个二维图像；
将每组所述样本二维图像各自重建为一个所述样本三维图像；
通过三维-三维图像配准得到每个所述样本三维图像与所述参考三维图像之间的对应关系数据。
在一种可能的实现方式中，所述基于所述样本三维图像生成至少一个双二维图像，包括：
在每组所述样本二维图像中，将每两个具有预定角度间隔的二维图像组合为一个所述双二维图像。
在一种可能的实现方式中，所述三维-三维配准数据包括若干个定位点在所述样本三维图像中的坐标，所述二维-三维配准数据包括所述若干个定位点在所述双二维图像的每个二维投影图像中的坐标；所述基于所述三维-三维配准数据生成与每组所述双二维图像对应的二维-三维配准数据，包括：
依照任一所述双二维图像与所述样本三维图像之间的投影关系，将所述若干个定位点在所述样本三维图像中的坐标转换为所述若干个定位点在所述双二维图像的每个二维投影图像中的坐标。
在一种可能的实现方式中，每个所述双二维图像的两个二维投影图像均具有与计算机断层扫描图像、X射线透视图像、核磁共振图像、超声图像或者荧光透视图像相同的图像形式。
第二方面，本公开还提供了一种训练方法，所述训练方法包括：
采用上述任意一种标记数据的获取方法获取若干个标记数据，每个所述标记数据包括一个所述双二维图像及其对应的所述二维-三维配准数据；
利用所述若干个标记数据对机器学习模型进行训练，以确定用于进行二维-三维图像配准的模型参数；
其中，所述机器学习模型的输入量为所述双二维图像，所述机器学习模型的输出量为所述二维-三维配准数据，所述若干个标记数据在训练时被用作训练数据和测试数据中的至少一个。
在一种可能的实现方式中，利用所述若干个标记数据对机器学习模型进行训练，以确定用于进行二维-三维图像配准的模型参数，包括：
利用所述测试数据对基于所述训练数据得到的所述模型参数进行优化。
第三方面，本公开还提供了一种标记数据的获取装置，该装置包括：
获取模块，被配置为获取三维-三维配准样本，所述三维-三维配准样本包括样本三维图像、参考三维图像以及三维-三维配准数据，所述三维-三维配准数据为所述样本三维图像与所述参考三维图像之间的对应关系数据；
第一生成模块，被配置为基于所述样本三维图像生成至少一个双二维图像，每个所述双二维图像均为所述样本三维图像在两个不同方向上的二维投影图像的组合；
第二生成模块，被配置为基于所述三维-三维配准数据生成与每个所述双二维图像对应的二维-三维配准数据，每个所述二维-三维配准数据均为一个所述双二维图像与所述参考三维图像之间的对应关系数据。
在一种可能的实现方式中，所述获取模块包括：
获取单元，被配置为获取所述参考三维图像和至少一组样本二维图像，每组所述样本二维图像包括分别在若干个不同方向上对同一对象成像得到的若干个二维图像；
重建单元，被配置为将每组所述样本二维图像各自重建为一个所述样本三维图像；
配准单元，被配置为通过三维-三维图像配准得到每个所述样本三维图像与所述参考三维图像之间的对应关系数据。
在一种可能的实现方式中，所述第一生成模块被配置为：在每组所述样本二维图像中，将每两个具有预定角度间隔的二维图像组合为一个所述双二维图像。
在一种可能的实现方式中，所述三维-三维配准数据包括若干个定位点在所述样本三维图像中的坐标，所述二维-三维配准数据包括所述若干个定位点在所述双二维图像的每个二维投影图像中的坐标；所述基于所述三维-三维配准数据生成与每组所述双二维图像对应的二维-三维配准数据，包括：
依照任一所述双二维图像与所述样本三维图像之间的投影关系，将所述若干个定位点在所述样本三维图像中的坐标转换为所述若干个定位点在所述双二维图像的每个二维投影图像中的坐标。
在一种可能的实现方式中，每个所述双二维图像的两个二维投影图像均具有与计算机断层扫描图像、X射线透视图像、核磁共振图像、超声图像或者荧光透视图像相同的图像形式。
第四方面，本公开还提供了一种训练装置，所述训练装置包括：
获取组件，配置为采用上述任意一种标记数据的获取方法获取若干个标记数据，每个所述标记数据包括一个所述双二维图像及其对应的所述二维-三维配准数据；
训练组件，被配置为利用所述若干个标记数据对机器学习模型进行训练，以确定用于进行二维-三维图像配准的模型参数；
其中，所述机器学习模型的输入量为所述双二维图像，所述机器学习模型的输出量为所述二维-三维配准数据，所述若干个标记数据在训练时被用作训练数据和测试数据中的至少一个。
在一种可能的实现方式中，所述训练组件还被配置为利用所述测试数据对基于所述训练数据得到的所述模型参数进行优化。
第五方面，本公开还提供了一种医疗设备，所述医疗设备包括处理器和存储器，所述存储器中存储有程序指令，所述处理器配置为调用所述存储器中的程序指令以执行上述任意一种标记数据的获取方法或者上述任意一种的训练方法。
第六方面，本公开还提供了一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被配置为在被处理器执行时使所述处理器执行上述任意一种标记数据的获取方法或者上述任意一种的训练方法。
由上述技术方案可知，本公开可以基于一个三维-三维配准样本生成多个彼此独立的二维-三维配准样本(包括一个双二维图像及其对应的二维-三维配准数据)，因而可以基于少量的三维-三维配准样本得到大量具有同等配准精度的二维-三维配准样本。相比于其他标记数据的获取方式，本公开不仅可以省去采集和配准大量样本图像的过程，帮助实现具有高精度、高速度、高鲁棒性的医学图像配准，还可以利用双二维图像在采集时成像速度快、辐射剂量小的特点，帮助实现实时性更好、精度更高、更加安全的图像引导治疗。
附图说明
图1是本公开一个实施例提供的标记数据的获取方法的流程示意图；
图2是本公开一个实施例提供的样本三维图像的示意图；
图3是本公开一个实施例提供的参考三维图像的示意图；
图4是本公开一个实施例提供的双二维图像的生成方式的示意图；
图5是本公开一个实施例提供的标记数据的获取方法的流程示意图；
图6是本公开一个实施例提供的训练方法的流程示意图；
图7是本公开一个实施例提供的标记数据的获取装置的结构框图；
图8是本公开一个实施例提供的标记数据的训练装置的结构框图；
图9是本公开一个实施例提供的医疗设备的结构框图。
具体实施方式
为使本公开的原理和优点更加清楚，下面将结合附图对本公开实施方式作进一步地详细描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。除非另外定义，本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。
图1是本公开一个实施例提供的标记数据的获取方法的流程示意图。参见图1，所述标记数据的获取方法包括：
步骤101、获取三维-三维配准样本。
步骤102、基于样本三维图像生成至少一个双二维图像。
步骤103、基于三维-三维配准数据生成与每个双二维图像对应的二维-三维配准数据。
需要说明的是，所述标记数据(Labeled Data)指的是一组标记有一个或多个标签(Label)的样本，在本公开实施例中可以例如是两个已完成配准的医学图像(配准结果作为标签)，以作为机器学习中的训练样本或测试样本来使用。
还需要说明的是，所述三维-三维配准样本包括样本三维图像、参考三维图像以及三维-三维配准数据，其中样本三维图像和参考三维图像均是三维图像(每个像素都具有三个独立坐标的图像)，三维-三维配准数据为样本三维图像与参考三维图像之间的对应关系数据(可示例性地理解为在将样本三维图像变换为参考三维图像时表示具体变换方式的数据)。应理解的是，三维-三维配准样本可以示例性地理解为用于指导机器学习模型学习如何进行三维-三维图像配准(3D/3D Image Registration)的范本(虽然本公开实施例中三维-三维配准样本并没有直接用于训练机器学习模型)。因此为使机器学习模型实现更好的图像配准效果，可以采用下述手段中的至少一个：三维-三维配准样本可以是涵盖各种类型的图像配准应用场景的多个；每个三维-三维配准样本中样本三维图像与参考三维图像的成像对象可以是相同的(例如均为人体同一部位的医学影像)；每个三维-三维配准样本中样本三维图像与参考三维图像可以均具有足够高的成像质量和成像精度；在得到每个三维-三维配准样本中的三维-三维配准数据的过程中，可以采用较为耗时但具有较高配准精度的图像配准手段(例如采用应用精度更高但比较耗时的图像配准算法，和/或，由多名专业人员对计算机所得到的配准结果进行人工校正)。
还应理解的是，“获取三维-三维配准样本”可以例如包括采集样本三维图像、采集参考三维图像、计算三维-三维配准数据中的至少一个，也可以例如包括从存储器或外部设备中接收样本三维图像、参考三维图像、三维-三维配准数据中的至少一个。即，三维-三维配准样本中每一项数据可以是所述标记数据的获取方法的执行主体直接获得的，也可以是由该执行主体以外的外部主体获得并传输给该执行主体的。
还应理解的是，可以采用任意一种能够表示在进行图像配准时所关心的样本三维图像与参考三维图像之间的对应关系的数据作为上述三维-三维配准数据。在一个示例中，可以采用同一定位点(或称同名点，可以例如包括解剖点或图像特征点)在样本三维图像与参考三维图像之间的相对位置坐标作为上述三维-三维配准数据。在又一示例中，可以采用样本三维图像与参考三维图像之间的变换矩阵作为上述三维-三维配准数据。在又一示例中，可以采用样本三维图像与参考三维图像中每个同名图像区域之间的对应关系表作为上述三维-三维配准数据。当然，三维-三维配准数据的具体形式可以不仅限于以上示例。
还需要说明的是，每个所述双二维图像均为所述样本三维图像在两个不同方向上的二维投影图像的组合。应理解的是，每个双二维图像包括两个二维投影图像，每个二维投影图像均为二维图像(每个像素都具有两个独立坐标的图像)，每个二维投影图像都可以通过样本三维图像在对应方向上进行投影来取得。在一个示例中，样本三维图像的每个像素是XYZ空间中的一个坐标点，且每个像素具有各自的像素值。如此，可以通过下述投影方式得到样本三维图像在X轴方向上的二维投影图像：该二维投影图像的每个像素均为YZ平面上的一个坐标点，对于其中坐标为(Yn，Zn)的任意像素来说，其像素值等于样本三维图像中所有Y轴坐标为Yn、Z轴坐标为Zn的像素的像素值的总和。按照同样方式，可以得到样本三维图像在Z轴方向上的二维投影图像(每个像素均为XY平面上的一个坐标点)，X轴方向上的二维投影图像和Z轴方向上的二维投影图像可以组成一个所述双二维图像。
在一个示例中，实际应用场景中输入到机器学习模型的双二维图像可以具有相对固定的图像形式(例如均为计算机断层扫描图像、X射线透视图像、核磁共振图像、超声图像或者荧光透视图像)，此时上述步骤102可以包括：基于样本三维图像生成若干个具有预定的图像形式的二维投影图像，并将若干个所述二维投影图像组合成至少一个双二维图像，其中所述预定的图像形式可以例如是实际应用场景中输入到机器学习模型的双二维图像具有的图像形式。应理解的是，例如具有超声图像的图像形式的二维投影图像并不需要是通过超声成像采集得到的图像，而只需要与超声成像采集得到的图像具有相同的图像形式即可。如此，可以使得机器学习模型在训练过程和使用过程中的输入量的形式更加接近，有助于提升机器学习模型所实现的图像配准的效果。
还需要说明的是，每个二维-三维配准数据均为一个双二维图像与参考三维图像之间的对应关系数据(可示例性地理解为在将双二维图像变换为参考三维图像时表示具体变换方式的数据)。根据上述三维-三维配准数据所采用的形式，二维-三维配准数据可以具有相对应的形式。在一个示例中，样本三维图像的每个像素是XYZ空间中的一个坐标点，且每个像素具有各自的像素值，并且一个双二维图像包括样本三维图像在X轴方向上的二维投影图像和在Z轴方向上的二维投影图像，从而对于样本三维图像中坐标为(Xa，Ya，Za)的定位点来说，其在X轴方向上的二维投影图像中的坐标为(Ya，Za)，其在Z轴方向上的二维投影图像中的坐标为(Xa，Ya)。由此，坐标(Ya，Za)和(Xa，Ya)即为该定位点在样本三维图像与双二维图像之间的相对位置坐标，可以作为上述二维-三维配准数据中的一组数据。
可以理解的是，每个双二维图像及其对应的二维-三维配准数据可以与所述参考三维图像组成一个二维-三维配准样本，每个所述二维-三维配准样本均可以用于指导机器学习模型学习如何在双二维图像与参考三维图像之间进行图像配准并得到相应的二维-三维配准数据(作为机器学习中的训练样本)，也可以用于检测机器学习模型在双二维图像与参考三维图像之间进行的图像配准的结果与作为标准结果的二维-三维配准数据之间的差距(作为机器学习中的测试样本)。即，每个所述二维-三维配准样本都可以作为一份机器学习所需要的标记数据。在一个示例中，所有样本的参考三维图像均是同一幅三维图像，此时可以在每份标记数据中省去参考三维图像。在又一示例中，所有样本的参考三维图像均为多幅三维图像中的一个，此时可以在每份标记数据中以参考三维图像在多幅三维图像中的序号代替参考三维图像的图像数据本身。可以看出，两种示例均能够降低每份标记数据中的数据量，各样本也可以通过相同方式来降低数据量。
可以看出的是，上述方法可以基于一个三维-三维配准样本生成多个彼此独立的二维-三维配准样本，并且每个二维-三维配准样本的配准精度都可以通过三维-三维配准样本的配准精度来得到保证。即，上述方法可以基于少量的三维-三维配准样本得到大量具有同等配准精度的二维-三维配准样本，这些二维-三维配准样本可以作为用于二维-三维图像配准(2D/3D Image Registration)的机器学习模型的训练样本和/或测试样本来使用，因而上述方法可以较为简便地取得大量高配准精度的标记数据，解决相关技术中大量标记数据难以取得、大量标记数据的图像配准精度难以保证的问题，有助于有效地建立基于机器学习的医学图像配准方法。
为了更清楚地说明本公开实施例的技术效果，下面介绍两种基于直观技术构思的对比示例，并将其与本公开实施例在技术效果上进行比较。
在一个对比示例中，为了建立用于二维-三维图像配准的机器学习模型，预先采集大量的双二维图像，并利用传统的二维-三维图像配准的方式得到这些双二维图像与参考三维图像之间的配准结果，以得到所需要的二维-三维配准样本。
在该对比示例中，采集每个双二维图像都需要执行一整套的医学影像采集过程。并且，考虑到辐射剂量等问题，还无法对同一个体进行次数过多的采集。此外，传统的二维-三维图像配准还无法高效率地取得高精度的配准结果，而能够提升精度的人工处理又会大幅增加配准所需要的时间。因此，该对比示例虽然在理论上能够实现基于机器学习的医学图像配准方法，但是在采集大量双二维图像、高效率配准、保证大量配准样本的配准精度等方面的实现上都存在着非常大的困难。与该对比示例相比，本公开实施例不仅可以省去采集和配准大量双二维图像的过程，还能够在保证高效率的同时保证每个二维-三维配准样本的配准精度，可以大幅缩短获得所需要的机器学习模型的时间，并可以使该机器学习模型实现的医学图像配准具有足够高的配准精度。
在又一对比示例中，为了建立用于三维-三维图像配准的机器学习模型，预先采集大量的样本三维图像，并利用三维-三维图像配准得到这些样本三维图像与参考三维图像之间的配准结果，以得到所需要的三维-三维配准样本。
在该对比示例中，采集每个样本三维图像都需要执行一整套的医学影像采集过程。并且，考虑到辐射剂量等问题，还无法对同一个体进行次数过多的采集。此外，相比于双二维图像的采集过程，三维图像的采集需要更多的时间和更大的辐射剂量，这不仅使得大量样本三维图像的采集难以实现，还使得相邻两次三维图像的采集间隔比较长，难以满足例如图像引导治疗的应用场景中实时成像的应用需求。与该对比示例相比，本公开实施例不仅可以省去采集和配准大量样本三维图像的过程，还可以利用双二维图像在采集时成像速度快、辐射剂量小的特点，帮助实现实时性更好、精度更高、更加安全的图像引导治疗。
图2是本公开一个实施例提供的样本三维图像的示意图，图3是本公开一个实施例提供的参考三维图像的示意图。参见图2，上述样本三维图像在三维空间中的像素值不为零的像素组成一个立方体结构，三个定位点PA、PB和PC各自是该立方体结构的一个顶点。参见图3，相对应地，上述参考三维图像在三维空间中的像素值不为零的像素也组成一个立方体结构，三个定位点PA、PB和PC各自是该立方体结构的一个顶点。比照图2和图3可以看出，参考三维图像中的立方体结构相比于样本三维图像中的立方体结构而言经历了放大和旋转两种图形变换，而三个定位点PA、PB和PC在样本三维图像和参考三维图像中的位置坐标变化与上述图形变换的变换方式相互对应。在一个示例中，参考三维图像是在所有样本之间共用的一幅三维图像，三个定位点PA、PB、PC在参考三维图像中的坐标是已知且固定的，因而三个定位点PA、PB、PC在样本三维图像中的坐标可以作为上述三维-三维配准数据，与所述样本三维图像组成一个三维-三维配准样本。对应于该场景，上述步骤101可以包括：参照所述参考三维图像和所述参考三维图像中至少一个定位点的坐标，确定所述样本三维图像中各个定位点的坐标。应理解的是，可以例如采用图像配准算法找到样本三维图像与参考三维图像之间的变换关系，从而依照该变换关系根据各定位点在参考三维图像中的坐标确定各定位点在所述样本三维图像中的坐标。
图4是本公开一个实施例提供的双二维图像的生成方式的示意图。参见图4，如图2所示的样本三维图像分别在第一平面S1和第二平面S2上形成二维投影图像，两个二维投影图像可以组成一个双二维图像。与该双二维图像对应的二维-三维配准数据可以通过定位点的投影计算得到。例如，三维样本图像中的定位点PA在第一平面S1上的投影点PA1即为第一平面S1上的二维投影图像中的定位点，其二维坐标可以通过对定位点PA的三维坐标进行投影计算而得到。同理，可以依照相同方式得到：定位点PB在第一平面S1上的投影点PB1的二维坐标、定位点PC在第一平面S1上的投影点PC1的二维坐标、定位点PA在第二平面S2上的投影点PA2的二维坐标、定位点PB在第二平面S2上的投影点PB2的二维坐标、定位点PC在第二平面S2上的投影点PC2的二维坐标。从而，第一平面S1上的二维投影图像中各定位点的坐标与第二平面S2上的二维投影图像中各定位点的坐标可以作为与该双二维图像对应的二维-三维配准数据，与该双二维图像组成一个二维-三维配准样本。
应当理解的是，可以参照上述生成方式得到更多双二维图像，每个二维投影图像的投影方向并不仅限于平行或垂直于坐标轴的方向。而且，双二维图像中两个二维投影图像的投影方向的夹角并不仅限于90°，还可以例如是30°、60°、120°、150°等任意角度，并可以例如依照上述实际应用场景中输入到机器学习模型的双二维图像具有的图像形式进行设定。对应于上述二维-三维配准数据包括若干个定位点在双二维图像的每个二维投影图像中的坐标的情形，上述步骤103可以包括：依照任一双二维图像与样本三维图像之间的投影关系，将若干个定位点在样本三维图像中的坐标转换为若干个定位点在双二维图像的每个二维投影图像中的坐标。
可以看出，基于包括如图2所示的样本三维图像的三维-三维配准样本，可以生成任意数量的二维-三维配准样本(不同二维-三维配准样本之间的主要区别在于双二维图像中两个二维投影图像的投影方向及其角度间隔)，并且只要样本三维图像中各定位点的坐标足够精确，双二维图像中各定位点的坐标也可以同样精确，即每个二维-三维配准样本的配准精度都可以得到保证。对于每个样本三维图像，都可以通过相同方式生成若干个二维-三维配准样本。由此，本公开实施例可以较为简便地取得大量高配准精度的标记数据，解决相关技术中大量标记数据难以取得、大量标记数据的图像配准精度难以保证的问题，有助于有效地建立基于机器学习的医学图像配准方法。
图5是本公开一个实施例提供的标记数据的获取方法的流程示意图。参见图5，所述标记数据的获取方法包括：
步骤201、获取参考三维图像和至少一组样本二维图像，每组样本二维图像包括分别在若干个不同方向上对同一对象成像得到的若干个二维图像。
步骤202、将每组样本二维图像各自重建为一个样本三维图像。
步骤203、通过三维-三维图像配准得到每个样本三维图像与参考三维图像之间的对应关系数据。
步骤204、在每组样本二维图像中，将每两个具有预定角度间隔的二维图像组合为一个双二维图像。
步骤205、基于三维-三维配准数据生成与每个双二维图像对应的二维-三维配准数据。
应当理解的是，本公开实施例中的步骤201至步骤203的过程属于上述步骤101的一种实现方式示例，步骤204属于上述步骤102的一种实现方式示例，步骤205与上述步骤103可以具有相同的实现方式。
在一个示例中，上述步骤201可以包括：分别对M个对象中的每一个，在2N个不同方向上进行锥束计算机断层扫描(Cone Beam Computed Tomography，CBCT)，以得到M组的2N个二维图像(M和N均为正整数)。上述步骤202可以包括：分别对每组2N个二维图像进行三维重建，以得到分别与每个对象对应的样本三维图像(共M个)。上述步骤203可以包括：分别进行每个样本三维图像与参考三维图像之间的三维-三维图像配准，以得到每个样本三维图像中的所有定位点的坐标(共M组)。上述步骤204可以包括：分别以K种角度间隔中的每一种对每组2N个二维图像进行配对，以得到M*N*K个双二维图像。例如，可以按照60°的角度间隔，将2N个二维图像中选取两个角度间隔为60°的二维图像组成一个双二维图像，如此重复得到N个角度间隔为60°的双二维图像；然后再按照90°的角度间隔，将2N个二维图像中选取两个角度间隔为90°的二维图像组成一个双二维图像，如此重复得到N个角度间隔为90°的双二维图像。上述步骤205可以包括：通过几何计算分解样本三维图像中各定位点的坐标，以得到每个二维图像中各定位点的坐标。基于上述过程，可以得到M*N*K个作为标记数据的二维-三维配准样本。例如，在M＝100，N＝200，K＝45时，可以通过上述过程得到M*N*K＝900000个二维-三维配准样本。
在上述两个对比示例中，如要得到900000个二维-三维配准样本，则需要进行1800000次的图像采集和900000次的图像配准，并可能会因处理时间有限而具有很低的配准精度；如果要得到900000个三维-三维配准样本，则需要进行900000次的图像采集和图像配准。而在上述示例中，只需要分别对100个对象进行400个不同角度上的二维图像采集，所进行的图像配准也只需要在100个样本三维图像与同一个参考三维图像之间进行，此外每个二维-三维配准样本的配准精度都可以通过三维-三维图像配准的配准精度而得到保证。比较后易知，本公开实施例可以较为简便地取得大量高配准精度的标记数据，解决相关技术中大量标记数据难以取得、大量标记数据的图像配准精度难以保证的问题，有助于有效地建立基于机器学习的医学图像配准方法。
应当理解的是，在若干个不同方向上对同一对象成像得到的若干个二维图像还可以通过X射线透视、核磁共振、超声、荧光透视及其他类型的计算机断层扫描图像中的至少一个得到，而不需要限于上述示例。相比于对样本三维图像进行投影得到双二维图像的方式来说，本公开实施例可以使得二维-三维配准样本中的双二维图像是实际采集的图像，相比于双二维图像是计算生成的图像来说更有助于提升机器学习模型在二维-三维图像配准上的表现。
图6是本公开一个实施例提供的训练方法的流程示意图。参见图6，所述训练方法包括：
步骤301、获取若干个标记数据。
其中，每个标记数据包括一个双二维图像及其对应的二维-三维配准数据，所述若干个标记数据可以例如通过上述任意一种标记数据的获取方法得到。
步骤302、利用若干个标记数据对机器学习模型进行训练，以确定用于进行二维-三维图像配准的模型参数。
其中，所述机器学习模型的输入量为二维-三维配准样本中的上述双二维图像，所述机器学习模型的输出量为二维-三维配准样本中的上述二维-三维配准数据，所述若干个标记数据在训练时被用作训练数据和测试数据中的至少一个。
在一个示例中，可以将上述M*N*K个二维-三维配准样本中的(M-1)*N*K个二维-三维配准样本作为训练数据载入卷积神经网络(Convolutional Neural Network，CNN)的深度学习框架中，以训练得到具备卷积神经网络的架构、用于二维-三维图像配准的机器学习模型。在又一示例中，可以将M*N*K个二维-三维配准样本中未作为训练数据的N*K个二维-三维配准样本作为测试数据载入卷积神经网络的深度学习框架中，以通过比较机器学习模型得到的配准结果与二维-三维配准数据来测试机器学习模型的实际表现，或者利用该测试数据进行强化学习。此外，还可以将不带有二维-三维配准数据的双二维图像载入深度学习框架中，以实现半监督式的深度学习。
在一个示例中，上述步骤302包括：利用测试数据对基于训练数据得到的模型参数进行优化。在一种可能的实现方式中，步骤302的训练过程包括逐步优化模型参数的迭代过程，并在机器学习模型与测试数据之间的匹配程度达到期望水平时结束迭代过程，以将最终得到的模型参数确定为用于进行二维-三维图像配准的模型参数。应理解的是，将测试数据中的双二维图像输入到机器学习模型中时，机器学习模型的输出与测试数据中的二维-三维配准数据越接近，机器学习模型与测试数据之间的匹配程度就越高。在本示例中，上述训练过程可以例如采用深度Q学习(Deep Q-Learning)、蒙特卡洛学习(Monte-CarloLearning)、深度双Q网络(Double Deep Q-Network)、竞争深度Q网络(Dueling Deep Q-Network)或者其他增强学习或自主学习机制。
可以理解的是，由于上述标记数据的获取方法能够提供大量高配准精度的标记数据，因此相比于相关技术中受限于标记数据数量而无法具有期望表现的训练方法而言，能够取得更好的训练效果并得到具有更优表现的机器学习模型。应当理解的是，所述训练方法还可以例如基于K-最近邻(K-Nearest Neighbor，KNN)、决策树(Decision Tree)、支持向量机(Support Vector Machine，SVM)和反向传播神经网络(Back Propagation NeuralNetwork ，BPNN)中的至少一个来实现，而不需要仅限于以上示例。
图7是本公开一个实施例提供的标记数据的获取装置的结构框图。参见图7，该标记数据的获取装置包括：
获取模块41，被配置为获取三维-三维配准样本，所述三维-三维配准样本包括样本三维图像、参考三维图像以及三维-三维配准数据，所述三维-三维配准数据为所述样本三维图像与所述参考三维图像之间的对应关系数据；
第一生成模块42，被配置为基于所述样本三维图像生成至少一个双二维图像，每个所述双二维图像均为所述样本三维图像在两个不同方向上的二维投影图像的组合；
第二生成模块43，被配置为基于所述三维-三维配准数据生成与每个所述双二维图像对应的二维-三维配准数据，每个所述二维-三维配准数据均为一个所述双二维图像与所述参考三维图像之间的对应关系数据。
在一种可能的实现方式中，所述获取模块41包括：
获取单元，被配置为获取所述参考三维图像和至少一组样本二维图像，每组所述样本二维图像包括分别在若干个不同方向上对同一对象成像得到的若干个二维图像；
重建单元，被配置为将每组所述样本二维图像各自重建为一个所述样本三维图像；
配准单元，被配置为通过三维-三维图像配准得到每个所述样本三维图像与所述参考三维图像之间的对应关系数据。
在一种可能的实现方式中，所述第一生成模块42被配置为：在每组所述样本二维图像中，将每两个具有预定角度间隔的二维图像组合为一个所述双二维图像。
在一种可能的实现方式中，所述三维-三维配准数据包括若干个定位点在所述样本三维图像中的坐标，所述二维-三维配准数据包括所述若干个定位点在所述双二维图像的每个二维投影图像中的坐标；所述基于所述三维-三维配准数据生成与每组所述双二维图像对应的二维-三维配准数据，包括：
依照任一所述双二维图像与所述样本三维图像之间的投影关系，将所述若干个定位点在所述样本三维图像中的坐标转换为所述若干个定位点在所述双二维图像的每个二维投影图像中的坐标。
在一种可能的实现方式中，每个所述双二维图像的两个二维投影图像均具有与计算机断层扫描图像、X射线透视图像、核磁共振图像、超声图像或者荧光透视图像相同的图像形式。
应理解的是，根据上文所描述的标记数据的获取方法的可选实现方式，该标记数据的获取装置可以通过相对应的构造和配置实现上述任意一种的标记数据的获取方法，具体细节不再赘述。
图8是本公开一个实施例提供的标记数据的训练装置的结构框图。参见图8，所述训练装置包括：
获取组件51，配置为采用上述任意一种标记数据的获取方法获取若干个标记数据，每个所述标记数据包括一个所述双二维图像及其对应的所述二维-三维配准数据；
训练组件52，被配置为利用所述若干个标记数据对机器学习模型进行训练，以确定用于进行二维-三维图像配准的模型参数；
其中，所述机器学习模型的输入量为所述双二维图像，所述机器学习模型的输出量为所述二维-三维配准数据，所述若干个标记数据在训练时被用作训练数据和测试数据中的至少一个。
在一个可能的实现方式中，所述训练组件还被配置为利用所述测试数据对基于所述训练数据得到的所述模型参数进行优化。
应理解的是，根据上文所描述的训练方法的可选实现方式，该训练装置可以通过相对应的构造和配置实现上述任意一种的训练方法，具体细节不再赘述。
在图7和图8对应的示例中，装置或设备是以功能单元/功能模块的形式来呈现的。这里的“单元/模块”可以指特定应用集成电路(Application Specific IntegratedCircuit，ASIC)电路，执行一个或多个软件或固件程序的处理器和存储器，集成逻辑电路，和/或其他可以提供上述功能的器件。示例性的，所述及的单元和模块中的至少一个的至少部分功能可以通过由处理器来执行存储器中存储的程序代码来实现。
图9是本公开一个实施例提供的医疗设备的结构框图。参见图9，所述医疗设备包括处理器61和存储器62，所述存储器62中存储有程序指令，所述处理器61配置为调用所述存储器62中的程序指令以执行上述任意一种标记数据的获取方法或者上述任意一种的训练方法。
处理器61可以包括中央处理器(CPU，单核或者多核)，图形处理器(GPU)，微处理器，特定应用集成电路(Application-Specific Integrated Circuit，ASIC)，数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器，或者多个用于控制程序执行的集成电路。
存储器62可以包括只读存储器(Read-Only Memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(Random Access Memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以包括电可擦可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立设置的，也可以和处理器集成在一起。
在具体实现中，作为一种实施例，处理器61可以包括一个或多个CPU。在具体实现中，作为一种实施例，上述医疗设备可以包括多个处理器。这些处理器中的每一个可以是一个单核(single-CPU)处理器，也可以是一个多核(multi-CPU)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。
上述医疗设备可以包括一个通用计算机设备或者一个专用计算机设备。在具体实现中，医疗设备可以例如是放疗设备、图像引导医疗设备或者手术台等任意一种需要进行医学影像图像配准的电子设备，计算机设备可以是台式机、便携式电脑、网络服务器、掌上电脑(Personal Digital Assistant，PDA)、移动手机、平板电脑、无线终端设备、通信设备、嵌入式设备或类似结构的设备。
本公开的实施例还提供了一种计算机存储介质，用于储存为上述任意一种标记数据的获取方法或者上述任意一种的训练方法所用的计算机程序，所述计算机程序包括程序指令。通过执行存储的程序，可以实现本公开提供的上述任意一种标记数据的获取方法或者上述任意一种的训练方法。
本领域技术人员应明白，本公开的实施例可提供为方法、装置(设备)、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机程序存储/分布在合适的介质中，与其它硬件一起提供或作为硬件的一部分，也可以采用其他分布形式，如通过因特网或其它有线或无线电信系统。
本申请是参照本公开的实施例的方法、装置(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本公开的实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的权利要求的保护范围之内。
Claims (12)
1.一种标记数据的获取方法，其中，所述方法包括：
获取三维-三维配准样本，所述三维-三维配准样本包括样本三维图像、参考三维图像以及三维-三维配准数据，所述三维-三维配准数据为所述样本三维图像与所述参考三维图像之间的对应关系数据；
基于所述样本三维图像生成至少一个双二维图像，每个所述双二维图像均为所述样本三维图像在两个不同方向上的二维投影图像；
基于所述三维-三维配准数据生成与每个所述双二维图像对应的二维-三维配准数据，每个所述二维-三维配准数据均为一个所述双二维图像与所述参考三维图像之间的对应关系数据；
其中，所述获取三维-三维配准样本，包括：
获取所述参考三维图像和至少一组样本二维图像，每组所述样本二维图像包括分别在若干个不同方向上对同一对象成像得到的若干个二维图像；
将每组所述样本二维图像各自重建为一个所述样本三维图像；
通过三维-三维图像配准得到每个所述样本三维图像与所述参考三维图像之间的对应关系数据；
相应地，所述基于所述样本三维图像生成至少一个双二维图像，包括：
在每组所述样本二维图像中，将每两个具有预定角度间隔的二维图像组合为一个所述双二维图像。
2.根据权利要求1所述的方法，其中，所述三维-三维配准数据包括若干个定位点在所述样本三维图像中的坐标，所述二维-三维配准数据包括所述若干个定位点在所述双二维图像的每个二维投影图像中的坐标；所述基于所述三维-三维配准数据生成与每组所述双二维图像对应的二维-三维配准数据，包括：
依照任一所述双二维图像与所述样本三维图像之间的投影关系，将所述若干个定位点在所述样本三维图像中的坐标转换为所述若干个定位点在所述双二维图像的每个二维投影图像中的坐标。
3.根据权利要求1所述的方法，其中，每个所述双二维图像的两个二维投影图像均具有与计算机断层扫描图像、X射线透视图像、核磁共振图像、超声图像或者荧光透视图像相同的图像形式。
4.一种训练方法，其中，所述训练方法包括：
采用如权利要求1至3中任一项所述的方法获取若干个标记数据，每个所述标记数据包括一个所述双二维图像及其对应的所述二维-三维配准数据；
利用所述若干个标记数据对机器学习模型进行训练，以确定用于进行二维-三维图像配准的模型参数；
其中，所述机器学习模型的输入量为所述双二维图像，所述机器学习模型的输出量为所述二维-三维配准数据，所述若干个标记数据在训练时被用作训练数据和测试数据中的至少一个。
5.根据权利要求4所述的训练方法，其中，利用所述若干个标记数据对机器学习模型进行训练，以确定用于进行二维-三维图像配准的模型参数，包括：
利用所述测试数据对基于所述训练数据得到的所述模型参数进行优化。
6.一种标记数据的获取装置，其中，所述装置包括：
获取模块，被配置为获取三维-三维配准样本，所述三维-三维配准样本包括样本三维图像、参考三维图像以及三维-三维配准数据，所述三维-三维配准数据为所述样本三维图像与所述参考三维图像之间的对应关系数据；
第一生成模块，被配置为基于所述样本三维图像生成至少一个双二维图像，每个所述双二维图像均为所述样本三维图像在两个不同方向上的二维投影图像；
第二生成模块，被配置为基于所述三维-三维配准数据生成与每个所述双二维图像对应的二维-三维配准数据，每个所述二维-三维配准数据均为一个所述双二维图像与所述参考三维图像之间的对应关系数据；
其中，所述获取模块包括：
获取单元，被配置为获取所述参考三维图像和至少一组样本二维图像，每组所述样本二维图像包括分别在若干个不同方向上对同一对象成像得到的若干个二维图像；
重建单元，被配置为将每组所述样本二维图像各自重建为一个所述样本三维图像；
配准单元，被配置为通过三维-三维图像配准得到每个所述样本三维图像与所述参考三维图像之间的对应关系数据；
相应地，所述第一生成模块被配置为：在每组所述样本二维图像中，将每两个具有预定角度间隔的二维图像组合为一个所述双二维图像。
7. 根据权利要求6所述的装置，其中， 所述三维-三维配准数据包括若干个定位点在所述样本三维图像中的坐标，所述二维-三维配准数据包括所述若干个定位点在所述双二维图像的每个二维投影图像中的坐标；所述基于所述三维-三维配准数据生成与每组所述双二维图像对应的二维-三维配准数据，包括：
依照任一所述双二维图像与所述样本三维图像之间的投影关系，将所述若干个定位点在所述样本三维图像中的坐标转换为所述若干个定位点在所述双二维图像的每个二维投影图像中的坐标。
8.根据权利要求6所述的装置，其中，每个所述双二维图像的两个二维投影图像均具有与计算机断层扫描图像、X射线透视图像、核磁共振图像、超声图像或者荧光透视图像相同的图像形式。
9.一种训练装置，其中，所述训练装置包括：
获取组件，配置为采用如权利要求1至3中任一项所述的方法获取若干个标记数据，每个所述标记数据包括一个所述双二维图像及其对应的所述二维-三维配准数据；
训练组件，被配置为利用所述若干个标记数据对机器学习模型进行训练，以确定用于进行二维-三维图像配准的模型参数；
其中，所述机器学习模型的输入量为所述双二维图像，所述机器学习模型的输出量为所述二维-三维配准数据，所述若干个标记数据在训练时被用作训练数据和测试数据中的至少一个。
10.根据权利要求9所述的训练装置，其中，所述训练组件还被配置为利用所述测试数据对基于所述训练数据得到的所述模型参数进行优化。
11.一种医疗设备，其中，所述医疗设备包括处理器和存储器，所述存储器中存储有程序指令，所述处理器配置为调用所述存储器中的程序指令以执行如权利要求1至5中任一所述的方法。
12.一种计算机可读存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被配置为在被处理器执行时使所述处理器执行如权利要求1至5中任一项所述的方法。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2018/094317 WO2020006681A1 (zh) | 2018-07-03 | 2018-07-03 | 标记数据的获取方法及装置、训练方法及装置、医疗设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111149128A CN111149128A (zh) | 2020-05-12 |
| CN111149128B true CN111149128B (zh) | 2024-03-29 |
Family
ID=69060535
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201880031837.9A Active CN111149128B (zh) | 2018-07-03 | 2018-07-03 | 标记数据的获取方法及装置、训练方法及装置、医疗设备 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11972582B2 (zh) |
| EP (1) | EP3819861A4 (zh) |
| CN (1) | CN111149128B (zh) |
| WO (1) | WO2020006681A1 (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11733781B2 (en) * | 2019-04-02 | 2023-08-22 | Project Dasein Llc | Leveraging machine learning and fractal analysis for classifying motion |
| CN112232385A (zh) * | 2020-09-27 | 2021-01-15 | 北京五八信息技术有限公司 | 一种图像处理方法及装置 |
| CN116490897A (zh) * | 2020-12-10 | 2023-07-25 | 西安大医集团股份有限公司 | 实时图像引导方法、装置及系统、放射治疗系统 |
| WO2022120707A1 (zh) * | 2020-12-10 | 2022-06-16 | 西安大医集团股份有限公司 | 实时图像引导方法、装置及系统、放射治疗系统 |
| US11688041B2 (en) * | 2021-03-02 | 2023-06-27 | International Business Machines Corporation | System and method of automatic image enhancement using system generated feedback mechanism |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101903908A (zh) * | 2007-12-18 | 2010-12-01 | 皇家飞利浦电子股份有限公司 | 基于特征的2d/3d图像配准 |
| CN104637061A (zh) * | 2015-01-30 | 2015-05-20 | 中国科学院自动化研究所 | 一种二维三维医学图像配准方法 |
| CN106373163A (zh) * | 2016-08-29 | 2017-02-01 | 东南大学 | 一种基于三维投影图区别性特征表示的低剂量ct成像方法 |
| CN106408509A (zh) * | 2016-04-29 | 2017-02-15 | 上海联影医疗科技有限公司 | 一种配准方法及其装置 |
| CN107170005A (zh) * | 2017-05-18 | 2017-09-15 | 洛阳师范学院 | 一种基于二维投影的三维数据配准结果正确性判断方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102007021035A1 (de) | 2007-05-04 | 2008-11-13 | Siemens Ag | Bildverarbeitungs-, Bildvisualisierungs- und Bildarchivierungssystem zur kontrasterhaltenden Fusionierung und Visualisierung koregistrierter Bilddaten |
| US7889902B2 (en) * | 2007-06-25 | 2011-02-15 | Accuray Incorporated | High quality volume rendering with graphics processing unit |
| US8218905B2 (en) | 2007-10-12 | 2012-07-10 | Claron Technology Inc. | Method, system and software product for providing efficient registration of 3D image data |
| DE102013214479B4 (de) | 2013-07-24 | 2017-04-27 | Siemens Healthcare Gmbh | Verfahren zur Nachführung einer 2D-3D-Registrierung bei Bewegung und Rechenvorrichtung |
| US10154239B2 (en) * | 2014-12-30 | 2018-12-11 | Onpoint Medical, Inc. | Image-guided surgery with surface reconstruction and augmented reality visualization |
-
2018
- 2018-07-03 WO PCT/CN2018/094317 patent/WO2020006681A1/zh unknown
- 2018-07-03 US US17/257,842 patent/US11972582B2/en active Active
- 2018-07-03 CN CN201880031837.9A patent/CN111149128B/zh active Active
- 2018-07-03 EP EP18925436.0A patent/EP3819861A4/en active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101903908A (zh) * | 2007-12-18 | 2010-12-01 | 皇家飞利浦电子股份有限公司 | 基于特征的2d/3d图像配准 |
| CN104637061A (zh) * | 2015-01-30 | 2015-05-20 | 中国科学院自动化研究所 | 一种二维三维医学图像配准方法 |
| CN106408509A (zh) * | 2016-04-29 | 2017-02-15 | 上海联影医疗科技有限公司 | 一种配准方法及其装置 |
| CN106373163A (zh) * | 2016-08-29 | 2017-02-01 | 东南大学 | 一种基于三维投影图区别性特征表示的低剂量ct成像方法 |
| CN107170005A (zh) * | 2017-05-18 | 2017-09-15 | 洛阳师范学院 | 一种基于二维投影的三维数据配准结果正确性判断方法 |
Non-Patent Citations (4)
| Title |
|---|
| Daniel Toth等.3D/2D model-to-image registration by imitation learning for cardiac procedures.《International Journal of Computer Assisted Radiology and Surgery》.2018,第13卷第1141–1149页. * |
| Shun Miao等.Dilated FCN for Multi-Agent 2D/3D Medical Image Registration.《arXiv-Computer Vision and Pattern Recognition》.2017,第1-8页. * |
| 王观英等.基于3D-PCNN和互信息的3D-3D医学图像配准方法.《计算机应用》.2017,第37卷(第z1期),第215-219、222页. * |
| 连宇茜等.脑动静脉畸形Dyna CT和数字减影血管造影的图像融合.《生物医学工程学杂志》.2016,第33卷(第05期),第873-878页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| US11972582B2 (en) | 2024-04-30 |
| WO2020006681A1 (zh) | 2020-01-09 |
| EP3819861A1 (en) | 2021-05-12 |
| CN111149128A (zh) | 2020-05-12 |
| EP3819861A4 (en) | 2022-03-16 |
| US20210295544A1 (en) | 2021-09-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111149128B (zh) | 标记数据的获取方法及装置、训练方法及装置、医疗设备 | |
| EP3726467B1 (en) | Systems and methods for reconstruction of 3d anatomical images from 2d anatomical images | |
| Kasten et al. | End-to-end convolutional neural network for 3D reconstruction of knee bones from bi-planar X-ray images | |
| US20110262015A1 (en) | Image processing apparatus, image processing method, and storage medium | |
| CN110235175B (zh) | 在线学习增强的基于图谱的自动分割 | |
| RU2595757C2 (ru) | Устройство совмещения изображений | |
| JP6165591B2 (ja) | 画像処理装置、治療システム、及び画像処理方法 | |
| WO2020087257A1 (zh) | 图像引导方法及装置、医疗设备、计算机可读存储介质 | |
| JP2021053374A (ja) | 整形外科手術で使用するための３次元モデルの精度を判定するための方法 | |
| CN112598790A (zh) | 脑结构三维重建方法、装置及终端设备 | |
| CN112862738B (zh) | 多模态图像的合成方法、装置、存储介质及处理器 | |
| CN112734917A (zh) | 医疗数据的三维曲面重建和优化方法、系统及存储介质 | |
| JP2023182681A (ja) | モノスコピック放射線画像と３次元モデルの登録方法およびシステム | |
| Li et al. | A vision-based navigation system with markerless image registration and position-sensing localization for oral and maxillofacial surgery | |
| Staib et al. | Intermodality 3D medical image registration with global search | |
| CN112419277A (zh) | 三维血管中心线合成方法、系统及存储介质 | |
| Ghafurian et al. | 3D/2D image registration using weighted histogram of gradient directions | |
| Kyung et al. | Perspective projection-based 3d ct reconstruction from biplanar x-rays | |
| CN110473241A (zh) | 图像配准方法、存储介质及计算机设备 | |
| CN114299096A (zh) | 一种轮廓勾画方法、装置、设备及存储介质 | |
| Miao et al. | Real-time 6DoF pose recovery from X-ray images using library-based DRR and hybrid optimization | |
| Breighner et al. | Relative accuracy of spin-image-based registration of partial capitate bones in 4DCT of the wrist | |
| CN111080734B (zh) | 一种处理正电子发射断层扫描pet数据的方法及终端 | |
| CN113781593B (zh) | 四维ct图像的生成方法、装置、终端设备及存储介质 | |
| CN113963056B (zh) | Ct图像重建方法、装置、电子设备以及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |