CN114240809A - 图像处理方法、装置、计算机设备及存储介质 - Google Patents
图像处理方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN114240809A CN114240809A CN202111129299.7A CN202111129299A CN114240809A CN 114240809 A CN114240809 A CN 114240809A CN 202111129299 A CN202111129299 A CN 202111129299A CN 114240809 A CN114240809 A CN 114240809A
- Authority
- CN
- China
- Prior art keywords
- object instance
- matching
- image
- attribute information
- instance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 30
- 238000012545 processing Methods 0.000 title claims description 57
- 230000009466 transformation Effects 0.000 claims description 69
- 230000004927 fusion Effects 0.000 claims description 35
- 238000004590 computer program Methods 0.000 claims description 11
- 230000001131 transforming effect Effects 0.000 claims description 4
- 238000000034 method Methods 0.000 abstract description 63
- 230000000875 corresponding effect Effects 0.000 description 134
- 238000000605 extraction Methods 0.000 description 76
- 230000008569 process Effects 0.000 description 26
- 238000001514 detection method Methods 0.000 description 22
- 239000011159 matrix material Substances 0.000 description 18
- 238000010586 diagram Methods 0.000 description 17
- 229910052739 hydrogen Inorganic materials 0.000 description 15
- 230000003902 lesion Effects 0.000 description 14
- 229910052721 tungsten Inorganic materials 0.000 description 14
- 230000004913 activation Effects 0.000 description 13
- 230000006978 adaptation Effects 0.000 description 13
- 238000013528 artificial neural network Methods 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 10
- 229910052799 carbon Inorganic materials 0.000 description 10
- 238000005070 sampling Methods 0.000 description 10
- 206010028980 Neoplasm Diseases 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 201000011510 cancer Diseases 0.000 description 7
- 229910052805 deuterium Inorganic materials 0.000 description 7
- 230000036210 malignancy Effects 0.000 description 7
- 239000013598 vector Substances 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000003745 diagnosis Methods 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 6
- 238000010606 normalization Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 210000000056 organ Anatomy 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 4
- 238000007499 fusion processing Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 210000004185 liver Anatomy 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012804 iterative process Methods 0.000 description 2
- 210000004072 lung Anatomy 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 206010056342 Pulmonary mass Diseases 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 206010020718 hyperplasia Diseases 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000011423 initialization method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 206010061289 metastatic neoplasm Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本公开提供了一种图像处理方法、装置、计算机设备及存储介质，其中，该方法包括：确定目标对象的第一对象实例在第一图像中的第一属性信息和所述目标对象的第二对象实例在第二图像中的第二属性信息；基于所述第一属性信息和所述第二属性信息，对所述第一对象实例和所述第二对象实例进行匹配，得到所述第一对象实例和所述第二对象实例之间的匹配度；基于所述匹配度，对所述第一对象实例和所述第二对象实例进行融合。本公开实施例通过对第一对象实例和第二对象实例的属性信息进行匹配，得到第一对象实例和对象实例之间的匹配度，从而可以根据匹配度，对第一对象实例和第二对象实例进行更加精确的融合。
Description
技术领域
本公开涉及图像处理技术领域，具体而言，涉及一种图像处理方法、装置、计算机设备及存储介质。
背景技术
目标检测相关算法可以从输入图像中检测出感兴趣区域，在医学图像分析，如病灶检测等领域有着广泛的应用。然而，现有提供医学图像确定病灶病程的过程往往涉及到多个图像来源，如随访需求多个时序图像，造影成像需要多个不同造影阶段图像，多模态融合诊断需要多个不同模态的图像等，这就涉及到对图像进行融合；当前的融合方式存在误差较大的问题。
发明内容
本公开实施例至少提供一种图像处理方法、装置、计算机设备及存储介质。
第一方面，本公开实施例提供了一种图像处理方法，包括：
确定目标对象的第一对象实例在第一图像中的第一属性信息和确定所述目标对象的第二对象实例在第二图像中的第二属性信息；
基于所述第一属性信息和所述第二属性信息，对所述第一对象实例和所述第二对象实例进行匹配，得到所述第一对象实例和所述第二对象实例之间的匹配度；
基于所述匹配度，对所述第一对象实例和所述第二对象实例进行融合。
这样，可以更高精度地对第一对象实例以及第二对象实例进行融合。
一种可选的实施方式中，还包括：获取第一原始图像和第二原始图像；
确定所述第一原始图像和所述第二原始图像之间的变换关系信息；
基于所述变换关系信息对所述第一原始图像进行变换处理，得到第一图像，并将所述第二原始图像作为所述第二图像；
或者，
基于所述变换关系信息对所述第二原始图像进行变换处理，得到第二图像，并将所述第一原始图像作为所述第一图像。
这样，可以对第一图像与第二图像进行配准，便于后续的处理过程。
一种可选的实施方式中，所述第一属性信息或所述第二属性信息包括以下至少一种：
对象实例的位置信息、尺寸信息、所述对象实例属于所述目标对象的概率、特征数据、与所述对象实例对应的图像区域的灰度数据、影像组学信息；
所述对象实例包括：所述第一对象实例和所述第二对象实例。
这样，基于多种属性信息，可以提高对象实例之间的匹配精度。
一种可选的实施方式中，所述基于所述第一属性信息和所述第二属性信息，对所述第一对象实例和所述第二对象实例进行匹配，包括：
基于所述第一属性信息和所述第二属性信息，确定所述第一对象实例和所述第二对象实例之间的下述至少一项匹配信息：相似度、匹配优先级、距离、等效半径；
基于所述匹配信息，得到所述第一对象实例和所述第二对象实例之间的匹配度。
一种可选的实施方式中，所述基于所述匹配信息，得到所述第一对象实例和所述第二对象实例之间的匹配度，包括：
将所述匹配优先级作为权值，对所述第一对象实例和所述第二对象实例之间的相似度进行加权处理，得到所述第一对象实例和所述第二对象实例之间的加权相似度；以及
基于所述距离和等效半径，确定所述第一对象实例和所述第二对象实例之间的邻接关系信息；
基于所述加权相似度和所述邻接关系信息，确定所述第一对象实例和所述第二对象实例之间的匹配度。
这样，可以更加精准地得到第一对象实例和第二对象实例之间的匹配度。
一种可选的实施方式中，所述第一对象实例、和所述第二对象实例均有多个；
所述基于所述第一属性信息和所述第二属性信息，对所述第一对象实例和所述第二对象实例进行匹配，得到所述第一对象实例和所述第二对象实例之间的匹配度，包括：
基于多个所述第一对象实例、和多个所述第二对象实例，构成多个对象实例对；
针对每个对象实例对，根据该对象实例对中包括的第一对象实例对应的第一属性信息和该对象实例对中包括的第二对象实例对应的第二属性信息，对该对象实例对中包括的第一对象实例和第二对象实例进行匹配，得到该对象实例对的匹配度。
这样，可以筛选出匹配度满足一定条件的对象实例对，可以提高融合的精度。
一种可选的实施方式中，基于所述匹配度，对所述第一对象实例和所述第二对象实例进行融合，包括：
基于多个对象实例对分别对应的匹配度和预设的匹配度阈值，对多个所述第一对象实例、和多个所述第二对象实例进行分组，得到多个对象实例组；
针对各个对象实例组，在该对象实例组中包括至少第一对象实例和至少一个第二对象实例的情况下，将该对象实例组中包括的第一对象实例和第二对象实例进行融合。
一种可选的实施方式中，所述对所述第一对象实例和所述第二对象实例进行融合，包括：
对所述第一对象实例的第一属性信息、和所述第二对象实例的第二属性信息进行融合。
第二方面，本公开实施例提供了一种图像处理装置，包括：
第一确定模块，用于确定目标对象的第一对象实例在第一图像中的第一属性信息和确定所述目标对象的第二对象实例在第二图像中的第二属性信息；
匹配模块，用于基于所述第一属性信息和所述第二属性信息，对所述第一对象实例和所述第二对象实例进行匹配，得到所述第一对象实例和所述第二对象实例之间的匹配度；
融合模块，用于基于所述匹配度，对所述第一对象实例和所述第二对象实例进行融合。
一种可选的实施方式中，还包括：
获取模块，用于获取第一原始图像和第二原始图像；
第二确定模块，用于确定所述第一原始图像和所述第二原始图像之间的变换关系信息；
变换模块，用于基于所述变换关系信息对所述第一原始图像进行变换处理，得到第一图像，并将所述第二原始图像作为所述第二图像；或者，基于所述变换关系信息对所述第二原始图像进行变换处理，得到第二图像，并将所述第一原始图像作为所述第一图像。
一种可选的实施方式中，所述属性信息包括以下至少一种：
对象实例的位置信息、尺寸信息、所述对象实例属于所述目标对象的概率、特征数据、与所述对象实例对应的图像区域的灰度数据、影像组学信息；
所述对象实例包括：所述第一对象实例和所述第二对象实例。
一种可选的实施方式中，所述匹配模块包括：
确定单元，用于基于所述第一属性信息和所述第二属性信息，确定所述第一对象实例和所述第二对象实例之间的下述至少一项匹配信息：相似度、匹配优先级、距离、等效半径；
匹配单元，用于基于所述匹配信息，得到所述第一对象实例和所述第二对象实例之间的匹配度。
一种可选的实施方式中，所述匹配单元具体用于：
将所述匹配优先级作为权值，对所述第一对象实例和所述第二对象实例之间的相似度进行加权处理，得到所述第一对象实例和所述第二对象实例之间的加权相似度；以及
基于所述距离和等效半径，确定所述第一对象实例和所述第二对象实例之间的邻接关系信息；
基于所述加权相似度和所述邻接关系信息，确定所述第一对象实例和所述第二对象实例之间的匹配度。
一种可选的实施方式中，所述第一对象实例、和所述第二对象实例均有多个；
所述匹配模块具体用于：
基于多个所述第一对象实例、和多个所述第二对象实例，构成多个对象实例对；
针对每个对象实例对，根据该对象实例对中包括的第一对象实例对应的第一属性信息和该对象实例对中包括的第二对象实例对应的第二属性信息，对该对象实例对中包括的第一对象实例和第二对象实例进行匹配，得到该对象实例对的匹配度。
一种可选的实施方式中，所述融合模块具体用于：
基于多个对象实例对分别对应的匹配度和预设的匹配度阈值，对多个所述第一对象实例、和多个所述第二对象实例进行分组，得到多个对象实例组；
针对各个对象实例组，在该对象实例组中包括至少第一对象实例和至少一个第二对象实例的情况下，将该对象实例组中包括的第一对象实例和第二对象实例进行融合。
一种可选的实施方式中，所述融合模块具体用于：
对所述第一对象实例的第一属性信息、和所述第二对象实例的第二属性信息进行融合。
第三方面，本公开实施例还提供一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
第四方面，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
本公开实施例提供的图像处理方法、装置、计算机设备及存储介质，通过对第一对象实例和第二对象实例的属性信息进行匹配，得到第一对象实例和第二对象实例之间的匹配度，并基于该匹配度，对第一对象实例和第二对象实例进行融合。这样，通过对第一对象实例和第二对象实例的属性信息进行匹配，得到第一对象实例和对象实例之间的匹配度，从而可以根据匹配度，对第一对象实例和第二对象实例进行更加精确的融合。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种图像处理方法的流程图；
图2示出了本公开实施例提出的图像融合的示意图；
图3示出了本公开实施例提供一种确定第一原始图像和第二原始图像之间的变换关系信息的具体方法的流程图；
图4示出了本公开实施例提出的多对象实例匹配的示意图；
图5示出了本公开实施例所提供的一种图像处理装置的示意图；
图6示出了本公开实施例所提供的另一种图像处理装置的示意图；
图7示出了本公开实施例所提供的图像处理装置中，匹配模块的具体示意图；
图8示出了本公开实施例所提供的一种计算机设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
经研究发现，对于不同来源的图像，目标检测算法的检出性能和结果可能不同，如随访中病灶可能会出现消失或新增，不同造影阶段病灶的表现不同等；此外，同一个病人在拍摄不同图像时，存在空间上的位移和自身背景情况的转变；这两方面因素使得在不同来源上的检测结果无法简单地组合。对于多源图像的检测，目前的解决方案主要有两种：其一是在各个来源的图像上各自做检测，由阅片者自行建立联系；其二是使用配准算法建立两图像的空间关系，再从一个来源映射至另一个来源。第一种方法没有解决多源图像检测的问题，第二种方法部分解决了问题，但当前的多源图像融合的方式一般是将配准后的图像进行直接叠加；这种图像的融合方式造成融合精度差的问题。
基于上述研究，本公开提供了一种图像处理方法，通过对第一对象实例和第二对象实例的属性信息进行匹配，得到第一对象实例和对象实例之间的匹配度，从而可以根据匹配度，对第一对象实例和第二对象实例进行更加精确的融合。
为便于对本实施例进行理解，首先对本公开实施例所公开的一种图像处理方法进行详细介绍，本公开实施例所提供的图像处理方法的执行主体一般为具有一定计算能力的计算机设备。在一些可能的实现方式中，该图像处理方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
参见图1所示，图1为本公开实施例提供的一种图像处理方法的流程图，所述方法包括步骤S101～S103，其中：
S101：确定目标对象的第一对象实例在第一图像中的第一属性信息和确定所述目标对象的第二对象实例在第二图像中的第二属性信息。
其中，第一图像以及第二图像为对同一目标对象进行拍摄得到的图像，示例性的，第一图像和第二图像为不同时刻对目标对象进行拍摄得到的图像；或者，为在不同角度对目标对象进行拍摄得到的图像。示例性的，在医疗领域中，目标对象可以指同一患者的同一病变器官、或者同一身体部位等；第一图像和第二图像可以为针对同一器官或者同一身体部位在同一时刻拍摄的角度、距离等拍摄参数不同的多张图像，又或者可以为同一器官或者同一身体部位在不同时刻拍摄的多张图像。例如，在同一患者的一次检查过程中，为了能够全方位的获取病灶的图像，基于不同的拍摄角度拍摄的多张图像；或者，为了观察到病灶的发展进程，在同一患者的多次检查过程中，针对同一病灶拍摄的多张图像。对应的，所述第一对象实例和第二对象实例指的是分别在第一图像及第二图像上可能存在的一个病灶。
所述属性信息包括以下至少一种：
对象实例的位置信息、尺寸信息、所述对象实例属于所述目标对象的概率、特征数据、与所述对象实例对应的图像区域的灰度数据、影像组学信息；
所述对象实例包括：第一图像中的所述第一对象实例和第二图像中的所述第二对象实例。
在本公开一个实施例中，对象实例是经由目标检测算法进行检测得到的结果，并可能对检测结果进行了一定的后处理与分析，得到对象实例及其对应的属性信息。其中，目标检测算法可以是任意的从图像中检测特定目标的方法，在此不作限定，当检测两个图像时，其对应的目标检测算法可以不同，但检测的目标类型需要相同，能够得到相同类型的属性信息。
示例性的，所述目标检测算法可以为Mask RCNN，视网膜网络(Retina Net)等。
在本公开实施例中，可以通过上述目标检测算法对图像进行检测，从而得到对象实例对应的属性信息。
示例性的，在多种可能的属性信息中，位置信息可以为对象实例在图像中的坐标信息，即(x，y)，可以是包围框的中心点对应的坐标信息；尺寸信息可以为对象实例的大小、半径等表征对象实例尺寸的参数信息；所述对象实例属于所述目标对象的概率可以为基于一定衡量标准确定的、对象实例具有目标属性的概率或是程度，例如一病灶对应的恶性程度等；特征数据可以为隐含层编码，即检测网络里某一网络提取出来与的对象实例对应的特征向量；与所述对象实例对应的图像区域的灰度数据指的是图像区域中各个像素点分别对应的灰度值；影像组学信息是根据对象实例的图像和范围，使用影像组学方法进行特征描述得到的描述量。此外，还可能包括其他的属性信息，在此不作赘述。
在本公开另一实施例中，还可以对所述图像进行目标检测处理，其中，该目标检测方法可以是利用语义分割的方法，即确定图像中每一个像素归属于哪一类图像，并基于所述目标检测处理的结果，得到所述对象实例在所述图像中的位置信息和所述对象实例属于所述目标对象的概率，以及基于所述对象实例在所述图像中的位置，确定与所述对象实例对应的图像区域的灰度数据、和/或影像组学信息。
在本公开另一实施例中，在确定对象实例的属性信息之前，还包括：
获取第一原始图像和第二原始图像；
确定所述第一原始图像和所述第二原始图像之间的变换关系信息；
基于所述变换关系信息对所述第一原始图像进行变换处理，得到第一图像，并将所述第二原始图像作为所述第二图像；
或者，
基于所述变换关系信息对所述第二原始图像进行变换处理，得到第二图像，并将所述第一原始图像作为所述第一图像。
其中，所述第一原始图像、第二原始图像分别为针对目标对象拍摄的原始图像。由于第一原始图像和第二原始图像之间存在一定的位置偏差，例如第二原始图像相对于第一原始图像整体平移10mm等，因此，需要对第一原始图像和第二原始图像进行配准，以使第一原始图像和第二原始图像在空间上处于相同的位置，便于后期属性信息的提取与匹配。
具体的，可以基于第一原始图像的位置信息，对第二原始图像进行配准，得到第一图像以及变换处理后的第二图像，也可以基于第二原始图像的位置信息，对第一原始图像进行配准，得到第二图像以及变换处理后的第一图像。
参照图2所示，图2为本公开实施例提出的图像融合的示意图。在图2中，可以得出在对对象实例a基于对象实例A进行配准之后，将对象实例a对应的全局空间关系2调整为与对象实例A相同的全局空间关系1，其对应的坐标、尺寸均发生改变，与空间无关的其他属性则不变。
参见图3所示，为本公开实施例提供一种确定第一原始图像和第二原始图像之间的变换关系信息的具体方法的流程图，该方法包括：
S301：对第一图像进行多级特征提取，得到与所述多级特征提取分别对应的第一目标特征图；以及对第二图像进行多级特征提取，得到与所述多级特征提取分别对应的第二目标特征图。
其中，所述第一原始图像、第二原始图像可以包括在不同时刻、或者不同角度针对同一对象拍摄的不同图像。例如，将本公开示例提供的图像配准方法应用于医学领域中时，第一原始图像、第二原始图像可以为针对同一病人的同一病灶的一次扫描过程中的多次拍摄得到的医学影像，又或者，可以为在不同的时间对病人的同一病灶进行扫描的过程中，得到的不同医学影像，在此不作限定。
在本公开实施例中，在确定出第一原始图像以及第二原始图像之后，便可以分别对两个图像进行多级特征提取，得到多级特征提取分别对应的第一目标特征图以及第二目标特征图。其中，多级特征提取例如可以采用神经网络自学习的方法，实现图像多级特征的梯度回传，提取出图像的高层语义特征。
具体的，对图像进行多级特征提取，得到与所述多级特征提取分别对应的特征图，包括：
针对多级特征提取中的每级特征提取，确定该级特征提取的第一输入数据和第二输入数据；所述第一输入数据包括：所述图像、或者后一级特征提取输出的编码特征图；所述第二输入数据包括：前一级特征提取输出的解码特征图；
对所述第一输入数据进行与该级特征提取对应的编码处理，得到该级特征提取对应的编码特征图；
对该级特征提取对应的编码特征图和所述第二输入数据进行融合处理，得到融合特征图；
对所述融合特征图进行与该级特征提取对应的解码处理，得到该级特征提取对应的解码特征图；
将该级特征提取对应的解码特征图，确定为该级特征提取对应的目标特征图。
在该示例中，可以通过特征提取器分别对第一原始图像和第二原始图像进行特征提取，得到两个图像分别对应的多级特征。特征提取器是一个特征金字塔网络，分为编码和解码两个阶段，并以跳跃连接的方法连接低层和高层网络。特征提取器接收一个图像作为输入数据，在编码模块逐层下采样(又称“降采样”)和提取特征，在解码模块逐层上采样(又称“升采样”)和提取特征。每一个解码模块的输出都会送入迭代配准网络，形成多层、从粗至细的金字塔特征。
对于编码特征提取过程来说，针对于最高级别、即特征“金字塔”网络的“从粗到细”结构中最“粗”的一级，其对应的输入数据为原始的图像，即第一原始图像或是第二原始图像，对于其他级别，其对应的输入数据为对应上一级输出的编码特征图，由此可以实现对于编码特征提取的迭代过程。对于解码特征提取过程来说，其最低级别，即特征“金字塔”网络的“从粗到细”结构中最“细”的一级，是通过对应的最低级别的编码特征图得到的解码特征图，对于其他级别，其对应的输入数据为对应下一级输出的解码特征图，并最终输出针对原始图像的特征提取结果，由此可以实现对于解码特征提取的迭代过程。
本公开实施例所述的多级特征提取，指示从“细”到“粗”的多级特征提取过程，每级特征提取，包括与该级特征提取对应的编码过程和解码过程，也即，从“金字塔”网络的底部到顶部。
在该示例中，每级特征提取包括与该级特征提取对应的编码网络和与该级特征提取对应的解码网络；
其中，每个编码网络包括：编码模块和并行域适应模块。
第一级编码网络对应的解码网络，包括：解码模块。
除第一级编码网络外的其他编码网络对应的解码网络包括：解码模块和门控融合模块。编码过程是从“粗”到“细”的过程，而解码过程是从“细”到“粗”依次进行解码，本公开实施例所述的多级特征提取，与解码过程相对应。
其中，针对各级特征提取中的编码网络，其用于对所述第一输入数据进行与该级特征提取对应的编码处理，得到该级特征提取对应的编码特征图。
针对各级特征提取中的解码网络，其用于对该级特征提取对应的编码特征图和所述第二输入数据进行融合处理，得到融合特征图，并对所述融合特征图进行与该级特征提取对应的解码处理，得到该级特征提取对应的解码特征图。
在确定出在编码过程中每级对应的第一输入数据之后，便可以基于所述第一输入数据进行编码处理，得到每级对应的编码特征图。
在本公开的一个实施例中，所述对所述第一输入数据进行与该级特征提取对应的编码处理，得到该级特征提取对应的编码特征图，包括：
对所述第一输入数据进行下采样处理，得到下采样特征图；
对所述下采样特征图进行通道注意力处理，得到下采样特征图中各个数据通道分别对应的注意力权重；
基于所述下采样特征图和所述注意力权重，得到所述编码特征图。
在第一输入数据输入至每级特征提取中的编码模块时，编码模块会对第一输入数据进行下采样处理，得到对应的下采样特征图，并将输出的下采样特征图输入至每级编码模块对应的并行域适应模块中。其中，该并行域适应模块可以在编码阶段增强编码网络对于某些特定特征的表达能力；例如图像包括人体的器官；则可以通过训练特征提取器，以增强对器官纹理特征的表达能力。将下采样特征图输入至并行域适应模块后，并行域适应模块对下采样特征图进行通道注意力处理，得到下采样特征图中各个数据通道分别对应的注意力权重。具体的，上述过程包括：
对所述下采样特征图进行全局平均池化处理，得到第一特征子图；
基于所述第一特征子图，确定各个数据通道分别对应的候选注意力权重；以及基于所述第一特征子图，确定各个数据通道分别对应的候选注意力的特征域权重；
基于各个数据通道分别对应的候选注意力权重和各个数据通道分别对应的候选注意力的特征域权重，得到所述下采样特征图中各个数据通道分别对应的注意力权重。
在本公开实施例中，并行域适应模块包含两个机制：通道注意力机制和域感知机制。在并行域适应模块中，通道注意力机制通过分组卷积的形式、确定了多个通道的通道注意力权重，从而生成多个候选通道权重。域感知机制可以根据特征图的性质，对多个候选通道权重进行组合，得到最后的结果，从而使得第一原始图像和第二原始图像在图像域的表现差异很大时，也能通过特征提取器得到相近的特征，便于后续的配准过程。
在本实施例中，所述并行域适应模块应用于多级特征提取的编码阶段，具体的，在由第i+1级至第i级的编码过程中，应用对应的并行域适应模块，例如，在第3级至第2级的编码过程中，应用并行域适应模块3。如图4所示，为本公开实施例所提供的一种并行域适应模块的具体示例。在这里，假设第i层的编码模块对应的下采样特征图表示为(H，C，D，H，W)，其中，N表示一次特征提取中包括的特征图数量(Number of instances in batch)，C表示特征图的通道数(Channel)，D，H，W分别表示特征图的长宽高(Depth，Height，Width)，B表示通道注意力的支数(Branches of attention)。在将编码特征图输入至该并行域适应模块后，在通过编码模块获取到下采样特征图之后，便可以对该下采样特征图进行全局平均池化处理(Global Average Pooling)，即对特征图进行降维，在长、宽、高这几个空间维度上对所有像素求平均，用于对数据进行降维，使得特征图从(N，C，D，H，W)变成(N，C)，由此可以提取通道维度的总体信息，得到第一特征子图。之后，分别通过两个分支对该第一特征子图进行重复(Repeat)和压平(Flatten)处理，在第一分支中，将第一特征子图进行重复处理之后，该第一特征子图转变为(N，BC，1)的形式，其中，重复是指把降维后的数据重复B次，对应B个通道注意力，这里重复操作是为了改变数据的格式方便计算。之后，将该形式的特征图进行B组卷积、激活再进行B组卷积的处理过程，其中，所述激活函数可以采用线性整流函数(Rectified Linear Unit，ReLU)，最后，对卷积得到的特征图进行通道重组，得到(N，C，B)的特征图，由此便可以获得各个数据通道分别对应的候选注意力权重。在第二分支中，在将第一特征子图进行压平处理之后，该第一特征子图转变为(N，C)的形式，其中，压平是指重新排列数据的顺序，这里压平操作是为了改变数据的格式方便计算。之后，将该形式的特征图进行全连接以及激活处理，其中，可以分别采用ReLU激活函数，以及深度学习输出层的激励函数(Softmax)，得到(N，B)形式的特征图，由此便可以得到各个数据通道分别对应的候选注意力的特征域权重。在获取到各个数据通道分别对应的候选注意力权重以及特征域权重之后，将上述两个数据进行内积处理，得到(N，C)的特征数据，之后对该数据进行激活处理，其中，该激活函数可以为S型生长曲线(Sigmoid)，这样便可以得到第i级的编码特征图。
在确定出每个通道对应的候选注意力的特征域权重之后，便可以基于各个数据通道分别对应的候选注意力的特征域权重，确定出下采样特征图中各个数据通道分别对应的注意力权重。以人体肝脏的多个图像为例，针对同一病灶，由于扫描拍摄时间有所不同，或是拍摄的角度不同，造成虽然针对的是同一位置，但是呈现出图像有所不同，因此，基于通过域感知模块确定的特征域权重，对各个数据通道分别对应的候选注意力的特征域权重进行配比，突出目标位置所占的权重，即肝脏位置的所占权重，弱化其他位置，如肌肉、血液等位置所占的权重，这样，便可以对于目标位置就那些突出展示，由此，即便在第一原始图像和第二原始图像的展示效果相差较大的情况下，也可以通过特征提取器得到相近的特征，从而进行配准。
这里，通道注意力机制可以采用多组并行的通道注意力权重的确定方法，例如，假设存在12个通道，通常情况下，可以对上述12个通道分别进行卷积，得到12个通道对应的候选注意力权重，为了提高处理速度，可以将该12个通道分为三支通道注意力，每一支中包括4个通道，这样便可以同时对三支通道注意力进行卷积处理，提高了处理速度。
在确定出下采样特征图中各个数据通道分别对应的注意力权重之后，便可以基于下采样特征图和注意力权重，得到编码特征图，即对下采样特征图中各通道的特征按照对应的注意力权重进行重组，得到各级对应的编码特征图。
在与各级特征提取对应的解码过程中，除了输入至每一级解码模块的第二输入数据之外，与之对应的编码特征图也参与了编码特征图的生成过程。
这里，由于编码特征图拥有较高的空间分辨率，但语义信息的表达程度较低，前一个解码模块的上采样特征图的空间分辨率较低，但语义信息的表达程度较高，因此，为了结合编码特征图前一个解码模块的上采样特征图所各自具备的优势，本公开实施例中，在解码阶段采用了改善高层低分辨率特征和低层高分辨率特征融合效果的门控融合模块。
具体的，所述对该级特征提取对应的编码特征图和所述第二输入数据进行融合处理，得到融合特征图，包括：
基于该级特征提取对应的编码特征图和所述第二输入数据，得到该级特征提取对应的编码特征图中各个特征点分别对应的权重；
基于该级特征提取对应的编码特征图中各个特征点分别对应的权重和所述编码特征图，得到第二特征子图；
将所述第二特征子图和所述第二输入数据进行拼接，得到所述融合特征图。
示例性的，通过门控融合模块，将该级解码模块对应的编码模块数据的编码特征图与输入至该解码模块的第二特征数据进行融合，得到该级特征提取对应的编码特征图所占的权重，将编码特征图乘上该权重，得到第二特征子图，并与输入至该解码模块的第二特征数据进行拼接(Concatenate)，便可以得到融合特征图。这样，来自编码模块的编码特征图在乘权重后，与解码模块的解码特征图在通道维度拼接，送入下一个解码模块，使得两个来源的特征图能更有效率地融合。
在公开实施例中，门控融合模块的作用主要是确定出编码特征图中各个特征点分别对应的权重，具体的，所述基于该级特征提取对应的编码特征图和所述第二输入数据，得到该级特征提取对应的编码特征图中各个特征点分别对应的权重，包括：
将该级特征提取对应的编码特征图和所述第二输入数据进行拼接，得到第三特征子图；
对所述第三特征子图进行卷积处理，得到第四特征子图，并基于所述第四特征子图，得到所述编码特征图、与所述第二输入数据的局域自相关系数；
基于所述局域自相关系数，得到该级特征提取对应的编码特征图中各个特征点分别对应的权重。
其中，所述第三特征子图中任一特征点的特征值表征与该特征点对应的图像区域的自相关系数。
在获取到基于该级特征提取对应的编码特征图以及第二输入数据拼接得到的第三特征子图之后，对该第三特征子图进行卷积、归一化以及基于线性整流函数(RectifiedLinear Unit，ReLU)的激活处理，得到与第三特征子图对应的第四特征子图，这里卷积、归一化以及激活处理是卷积神经网络(Convolutional Neural Network，CNN)中的一种操作模型(pattern)，上述操作出现的次数代表了网络的深度，越深的网络表达能力越强，同时参数量也越大，这里，为了提高网络的表达能力，可以选取两层或两层以上的卷积、归一化以及激活处理。
在确定出第四特征子图之后，便可以基于第四特征子图，得到所述编码特征图、与所述第二输入数据的局域自相关系数，包括：
对所述第四特征子图进行通道维最大处理，得到所述第四特征子图的通道维最大值；以及对所述第四特征子图进行通道维平均处理，得到所述第四特征子图的通道维平均值；
对所述通道维最大值以及所述通道维平均值进行拼接处理，得到通道维拼接结果，并对所述通道维拼接结果进行卷积以及归一化处理，得到所述编码特征图、与所述第二输入数据的局域自相关系数。
其中，通道维最大和通道维平均均是针对于数据的降维操作，其基于通道维进行操作的，目的是减少参数量，保留空间上的特征，使得数据从(N，C，D，H，W)变为(N，1，C，H，W)，这里，通道维最大值以及通道维平均值均可表示为(N，1，C，H，W)。在确定出通道维最大值以及通道维平均值之后，便可以将上述两个数值进行拼接处理，得到拼接后的拼接结果(N，2，C，H，W)，之后，便可以对该拼接结果进行卷积以及归一化处理，得到所述编码特征图、与所述第二输入数据的局域自相关系数。
在获取到局域自相关系数之后，可以利用激活函数(sigmoid)对自相关系数进行激活处理，得到所述编码特征图中各个特征点分别对应的门控激活值；所述门控激活值用于表征所述编码特征图中各个特征点对应的权重。这样，在编码特征图乘上通过激活函数得到的门控激活值之后，再与第二输入数据进行拼接，便可以得到所述融合特征图。
本公开实施例还提供一种门控融合模块的具体示例。在该示例中，将第i级编码模块输出的加编码特征图以及第i级解码模块进行下采样之后数据的解码特征图进行拼接，其中，拼接是指在通道维进行拼接，要求其他通道维的大小一样，如两个数据分别为(N，C1，D，H，W)和(N，C2，D，H，W)，在拼接后的大小为(N，C1+C2，D，H，W)。之后对拼接后的特征图就那些卷积、归一化以及激活处理，并且再对其进行通道维最大以及通道维平均处理。在得到通道维最大值以及通道维平均值之后，对上述两个数据进行拼接，并且再次进行卷积、归一化以及激活处理，在进行相乘处理之后，得到第i+1级的解码特征图。
在获取到解码阶段的融合特征图之后，对所述融合特征图进行与该级特征提取对应的解码处理，得到该级特征提取对应的解码特征图，并将该级特征提取对应的解码特征图，确定为该级特征提取对应的目标特征图，便于后续将每级对应的目标特征图输入至配准网络当中。
由此，在本公开实施例中，使用多级特征提取的方法，即采用金字塔式特征方法，对于神经网络复用程度高，迭代配准速度快。同时，在编码和解码阶段使用并行域适应模块和门控融合模块，增强神经网络的泛化能力和鲁棒性，提升特征提取过程的抽象能力。
承接于上述S301，确定第一原始图像和第二原始图像之间的变换关系信息的具体方法还包括：
S302：针对每级特征提取，基于该级特征提取对应的第一目标特征图、第二目标特征图和该级特征提取对应的第一变换关系信息，确定该级特征提取对应的第二变换关系信息；其中，该级特征提取对应的第一变换关系信息，包括：前一级特征提取对应的第二变换关系信息、或者第一图像和第二图像之间的原始变换关系信息。
其中，该级特征提取对应的第一变换关系信息，包括：前一级特征提取对应的第二变换关系信息、或者第一原始图像和第二原始图像之间的原始变换关系信息。
示例性的，所述原始变换关系信息又称初始形变关系，当全局的形变较小时，可以使用恒等变换作为初始形变关系，即采用第一原始图像以及第二原始图像的初始图像作为输入数据；当存在较大的全局形变时，则可以使用传统方法中常用的初始化方法，如：基于图像的中心或灰度重心初始化位移，使用灰度的矩估计初始化旋转等。这样，可以解决此前的线性配准网络遇到全局形变过大时的精度不佳乃至视野(Field of View,FoV)不匹配的问题。
具体的，所述针对每级特征提取，基于该级特征提取对应的第一目标特征图、第二目标特征图和该级特征提取对应的第一变换关系信息，确定该级特征提取对应的第二变换关系信息，包括：
基于所述第一目标特征图、所述第二目标特征图和所述第一变换关系信息，确定该级特征提取相对于上一级特征提取之间的变换残差；
基于所述变换残差和所述第一变换关系信息，确定该级特征提取对应的第二变换关系信息。
其中，迭代配准框架接受一个形变场形式的初始变换关系和若干对特征图作为输入(每一个阶段的配准对应一个阶段的特征图)。迭代配准框架包含多个阶段，每个阶段包括一个配准模块和一个组合模块。配准模块接受该阶段的特征图对，和上一阶段的变换关系(对于第一阶段来说，就是初始变换关系)作为输入，输出相对于上一步变换关系的残差，即：
其中f(·)为配准模块，
表示第i阶段，来自目标图像特征提取器输出的特征图，
表示第i阶段，来自源图像特征提取器输出的特征图，
表示应用变换关系，Φi表示第i阶段的累积变换关系，φi表示Φi相对于Φi-1的残差。φ和Φ的上标指示了变换关系的方向，即
表示从源图像变换到目标图像的变换关系，
表示从目标图像到源图像的变换关系。
这里，形变场指的是在图像配准中，将规则的空间网格，加上预测出的变形场，得到采样网格，对浮动图像使用包含形变信息的采样网格(sampling grid)，得到的是变形后的图像。一个大小为[W,H]的二维图像对应的形变场的大小是[W,H,2]，其中第三个维度的大小为2，分别表示在x轴和y轴方向的位移。同理，一个大小为[D,W,H]的三维图像对应的形变场的大小是[D,W,H,3]，其中第三个维度的大小为3，分别表示在x轴、y轴和z轴方向的位移。
配准模块分为两种类型：线性变换和形变变换，两者在输入和输出上是相同的，因此在应用时，可以根据需求自由组合线性和形变变换的配准模块，如使用一个线性配准模块和三个形变变换模块串接。为了保证变换过程是微分同胚的，两个模块并不直接输出φ，而是根据变换得到φ，即输出的为φ对应的矩阵，在这里通过保证变换过程是微分同胚的，可以减少运算次数，同时由于输出的为矩阵，使得该过程是可逆的，提供了校验的作用。
配准过程的具体过程如下：
线性配准模块的原始输出为正向的旋转、放缩、斜切矩阵Afw和正向的平移向量bfw。Afw可以直接通过网络预测，也可以分别预测旋转、放缩、斜切的参数，再组合而成。反向的线性变换关系通过线性变换求逆得到，即：
Abw＝(Afw)-1 (2)
bbw＝-(Afw)-1bfw (3)
得到A和b后，应用在网格矩阵(mesh grid)上，再减去网格矩阵，即可得到形变场形式的形变关系φ。
形变变换的原始输出为速度场形式的正向形变关系Vfw，在此基础上通过积分得到形变场形式的形变关系φ，其中，该形变关系φ满足下述公式(4)以及公式(5)：
其中，
表示应用形变关系。
组合模块累积之前的每一步的φ得到累积形变关系Φ，即(注意对于正向和反向的形变，组合的顺序是相反的)：
其中
和
即为初始的形变关系，最终的网络输出同样由组合模块累积得到。
由此，在本公开实施例中，在进行形变初始化之后，再使用配准神经网络网络进行多级拟合残差，即具有神经网络学习具有的配准速度快的优势，又可以避免神经网络学习在全局形变过大时精度低的弊端，使得配准速度快且精度高。
承接于上述S302，确定第一原始图像和第二原始图像之间的变换关系信息的具体方法还包括：
S303：基于最后一级特征提取对应的第二变换关系信息，对所述第一图像和所述第二图像进行配准。
具体的，在进行多级迭代配准之后，可以基于最后一级配准之后输出的第二变换关系信息，即最终变换信息，对第一原始图像和第二原始图像进行配准。
在将第一原始图像和第二原始图像进行配准时，例如可以利用最后一级特征提取对应的第二变换关系信息，对第一原始图像进行变换处理，得到第一原始图像经过变换后的图像，然后将经过变换后的图像和第二原始图像进行位置的一一匹配，得到配准结果。
另外，也可以利用最后一级特征提取对应的第二变换关系信息，对第二原始图像进行变换处理，得到第二原始图像经过变换后的图像，然后将经过变换后的图像和第一原始图像进行位置的一一匹配，得到配准结果。
在本公开实施例中，涉及的配准方法应用于预先训练好的配准神经网络，所述配准神经网络包括特征提取神经网络以及多级配准神经网络两个分支网络；所述特征提取神经网络用于对所述第一原始图像和所述第二原始图像分别进行多级特征提取处理；所述多级配准神经网络用于基于从所述第一原始图像和所述第二原始图像提取到的多级特征，确定所述第一原始图像和所述第二原始图像之间目标变换关系信息，其中，所述目标变换关系信息用于对所述第一原始图像和所述第二原始图像进行配准。
承接于上述S101，本公开实施例提出的图像处理方法还包括：
S102：基于所述第一属性信息和所述第二属性信息，对所述第一对象实例和所述第二对象实例进行匹配，得到所述第一对象实例和所述第二对象实例之间的匹配度。
具体的，在获取到第一属性信息以及第二属性信息之后，便可以基于获取到的属性信息对第一对象实例和第二对象实例进行匹配。即，基于所述第一属性信息和所述第二属性信息，确定所述第一对象实例和所述第二对象实例之间的下述至少一项匹配信息：相似度、匹配优先级、距离、等效半径，并基于所述第一对象实例和所述第二对象实例之间的匹配信息，得到所述第一对象实例和所述第二对象实例之间的匹配度。
示例性的，本公开实施例提供一种得到第一对象实例和第二对象实例之间匹配度的具体方式，在该实施例中，匹配信息包括：相似度、匹配优先级、距离和等效半径；
所述基于所述第一对象实例和所述第二对象实例之间的匹配信息，得到所述第一对象实例和所述第二对象实例之间的匹配度，包括：
将所述匹配优先级作为权值，对所述第一对象实例和所述第二对象实例之间的相似度进行加权处理，得到所述第一对象实例和所述第二对象实例之间的加权相似度；以及
基于所述距离和等效半径，确定所述第一对象实例和所述第二对象实例之间的邻接关系信息；
基于所述加权相似度和所述邻接关系信息，确定所述第一对象实例和所述第二对象实例之间的匹配度。
示例性的，可以通过遍历两个图像中所有可能的对象实例进行配对，计算两两对象实例之间的相似度、匹配优先级、距离和等效半径，形成四个矩阵。在本示例中，以A表示第一对象实例，a表示第二对象实例，具体地：
(1)相似度是一种度量值，当两个对象实例的属性越接近，相似度的值越大，为了数值上可控，可以放缩或截断到[0,1]或[-1,1]范围。此处以对象实例的半径为例，对于第一对象实例A和第二对象实例a，其相似度可以是：
这种情况下，其半径的相似度处于[0,1]之间，且两个对象实例在半径上越接近，相似度越大。
类似的，也可以计算其他属性信息之间的相似度。例如在属性信息包括：在对象实例的属性信息包括包围框的情况下，可以计算第一对象实例和第二对象实例分别对应的包围框的交并比(Intersection-over-Union，IoU)，并将该交并比作为两者之间的相似度；在对象实例的属性信息包括轮廓的情况下，可以计算第一对象实例和第二对象实例分别对应的轮廓的迪卡(Dice)系数，并将该迪卡系数作为两者之间的相似度；在对象实例的属性信息包括特征数据的情况下，例如为编码向量的情况下，可以计算第一对象实例和第二对象实例分别对应的编码向量的余弦相似度，并将该余弦相似度的数值作为两者之间的相似度等。
另外，在计算多种属性分别对应的相似度时，可以度多种属性分别对应的相似度进行加权求和，并将加权求和的结果作为第一对象实例和第二对象实例之间的相似度。
(2)匹配优先级是也是一种度量值，当对象实例的重要性越高，其值越大。例如，对于病灶而言，匹配优先度可以表征病灶的恶性概率，其恶性概率越高、病灶越大，对应的匹配优先级越高。同样地，匹配优先级也可以进行放缩和截断，保证数值上可控。此处以病灶的恶性概率为例，匹配优先级可以表示为：
由于恶性概率是一个[0,1]之间的值，由上述公式可知，匹配优先级的数值分布在[0.5,1]之间。类似的，可以对于不同的属性设置不同的匹配优先级度量，或对多个属性设置匹配优先级度量，或对多个匹配优先级度量进行加权，例如病灶的恶化速度、扩散速度等，在此不再赘述。
(3)距离为所有可能配对的两对象实例之间的距离，示例性的，可以使用对象实例中心之间的欧式距离表示两对象实例之间的距离：
距离(A，a)＝||中心坐标A-中心坐标a||2；
其中，||·||k表示k阶范数，向量的2阶范数为对向量所有分量求平方和后开根号。
(4)等效半径通常是两个对象实例的半径或对角线的长度在某种形式下的平均数值，例如，当对象实例的表现形式为中心+半径时，其等效半径即为两个对象实例的半径的几何平均数；当对象实例的表现形式为包围框时，其等效半径可以为对角线的长度等：其中，等效半径为两个对象实例的半径的几何平均数可以表示为：
按照上述方法，可以得到四个矩阵，即相似度矩阵、匹配优先级矩阵、距离矩阵和等效半径矩阵。对于每个矩阵而言，第i行第j列表示图像1的第i个对象实例对于图像2的第j个对象实例的相应的数值。这四个矩阵可以用于在后续的计算过程中进行进一步的组合。
基于获取的四个矩阵，相似度矩阵和匹配优先级矩阵可以组合为加权相似度矩阵。加权相似度是考虑了匹配优先级之后的相似度，由此加权相似度可以表示为：
加权相似度＝相似度*匹配优先级。
邻接关系矩阵为根据距离和等效半径计算的两个对象实例之间的相对位置关系。邻接关系用来衡量两个对象实例间是否在位置上相近或重合，与距离负相关，与等效半径正相关，例如可以表示如下：
此外，为了便于后续计算，也可以设置一个阈值，由于修正邻接关系，例如可以表示如下：
根据加权相似度和邻接关系，可以得到最终的匹配度。匹配度决定了两个对象实例之间匹配的优劣程度。匹配度可以表示为：
匹配度＝加权相似度*邻接关系。
由此便可以获取到两个对象实例之间的匹配度。
在本公开另一实施例中，当第一对象实例、和第二对象实例均有多个时，所述基于所述第一属性信息和所述第二属性信息，对所述第一对象实例和所述第二对象实例进行匹配，得到所述第一对象实例和所述第二对象实例之间的匹配度，包括：
基于多个所述第一对象实例、和多个所述第二对象实例，构成多个对象实例对；
针对每个对象实例对，根据该对象实例对中包括的第一对象实例对应的第一属性信息和该对象实例对中包括的第二对象实例对应的第二属性信息，对该对象实例对中包括的第一对象实例和第二对象实例进行匹配，得到该对象实例对的匹配度。
具体的，可以基于多个对象实例对分别对应的匹配度和预设的匹配度阈值，对多个所述第一对象实例、和多个所述第二对象实例进行分组，得到多个对象实例组；针对各个对象实例组，在该对象实例组中包括至少第一对象实例和至少一个第二对象实例的情况下，将该对象实例组中包括的第一对象实例和第二对象实例进行融合。
具体的，在得到匹配度矩阵后，可以从矩阵得到最终的匹配结果。即基于一个阈值，选取匹配度大于该阈值的配对为一个可行的配对，并将矩阵转化为一个无向的二部图，图上每一个节点为一个对象实例，边的权重为匹配度；然后按照边的权重从高到低，进行有放回或无放回的配对。有放回的配对会将所有可能连接的对象实例都融合为一个新的对象实例；无放回的配对优先配对匹配度较高的两个对象实例，当某个对象实例成功配对后，将无法再与其他的对象实例进行配对，这里，有无放回的方法为可配置项，是根据需求决定的。在无放回的配对里面，一个对象实例最多仅能与另一个对象实例配对，适用于跟踪肺结节随随访变化等；有放回的配对允许多对多的匹配，适用于跨模态的情况，如肿瘤的包膜在特定模态不显影，在应用方向上不做限定。
示例性的，当一对对象实例匹配成功之后，匹配成功的对象实例不会继续进行匹配，可以将其移出允许匹配的对象实例池中，但是还未匹配成功的对象实例。还可以继续留在对象实例池中，继续等到匹配，直到所有留在对象实例池里面的对象实例都不满足匹配条件。
示例性的，参阅图4，图4为本公开实施例提出的多对象实例匹配的示意图。在得到匹配度的矩阵之后，基于预设的阈值0.5，筛选出满足阈值的多个对象实例对，其中，包括Aa之间的0.7，Ba之间的0.6，以及Cc之间的0.6，并基于有放回及无放回的方法得到最终的匹配结果。
在本公开实施例中，由于匹配时纳入多个属性的结果，考虑相似度、匹配优先级、位置和大小关系等，在匹配上精度更高。
承接于上述S102，本公开实施例提出的图像处理方法还包括：
S103：基于所述匹配度，对所述第一对象实例和所述第二对象实例进行融合。
具体的，在确定匹配度之后，可以对所述第一对象实例的第一属性信息、和所述第二对象实例的第二属性信息进行融合。
示例性的，在匹配完成后，便可以进行属性融合。默认以图像1为基准空间。对于与空间有关的属性，如包围框、中心等、轮廓等，会在融合前按照配准关系进行坐标变换。属性融合时，根据属性的类型采用不同的融合方法，在此不作限定，如对于包围框和轮廓等，求取所有对象实例的并集；对于尺寸，或是根据融合后的包围框或轮廓重新计算，或是求取所有对象实例的最大值；对于恶性程度等，求取所有对象实例的最大值；对于检测模块的隐含层编码，求取多个对象实例的均值。参见图2所示，融合后的对象实例，其坐标及尺寸转变为按照配准关系配准之后的坐标及尺寸，其对应的恶性程度选择对象实例A和对象实例a之间的最大值，特征向量也进行了平均处理，由此便完成了针对第一对象实例以及第二对象实例之间的融合过程。
在本公开另一实施例中，当存在多个图像时，可以使用归并的方式进行融合，得到最终的结果。例如两两对象实例进行融合，再将两两融合的结果进行融合；又或者，任意选取两个对象实例进行融合，在将融合的结果与另一对象实例进行融合，直至与全部对象实例融合完成，这两种归并方式取决于多个来源是平行关系还是层级关系，在此不再赘述。由此，可以联系多个图像，如多模态、多期相造影或多个时序随访的结果，在匹配方式上更加灵活，更好地辅助使用者进行联合阅片与诊断。
本公开实施例例如应用在肝脏影像诊断平台上，患者会在多期造影结果上分别做检出，一方面解决单期相可能漏诊的问题，如局灶性结节增生在门脉期不明显，转移瘤在动脉期常常不明显，并且建立起病灶在多个期相上的关系，用于后续的多期相联合诊断。还可以应用在在肺部影像诊断平台上，根据多个时序的肺部图像，进行结节随访，分析结节的体积和征象变化，对于患者的病情判断具有重要的意义。
本公开实施例对于多个图像，先使用目标检测算法得到每个图像对应的检测结果，即对象实例的属性信息，再使用配准算法得到任意两个图像的空间变换关系。根据检测结果对应的属性和空间相对关系，依次计算两个图像中所有可能检测目标配对的相似度、匹配优先级、距离和等效半径，并通过组合计算匹配度，得到两图像的检测目标匹配结果，再进行属性融合，得到融合后的对象实例。这样，通过对第一对象实例和第二对象实例的属性信息进行匹配，得到第一对象实例和对象实例之间的匹配度，从而可以根据匹配度，对第一对象实例和第二对象实例进行更加精确的融合。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思，本公开实施例中还提供了与图像处理方法对应的图像处理装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述图像处理方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参照图5、图6、图7所示，图5为本公开实施例提供的一种图像处理装置的示意图；图6为本公开实施例所提供的另一种图像处理装置的示意图；图7为本公开实施例所提供的图像处理装置中，匹配模块的具体示意图。所述装置包括：第一确定模块510、匹配模块520、融合模块530；其中，
第一确定模块510，用于确定目标对象的第一对象实例在第一图像中的第一属性信息和确定所述目标对象的第二对象实例在第二图像中的第二属性信息；
匹配模块520，用于基于所述第一属性信息和所述第二属性信息，对所述第一对象实例和所述第二对象实例进行匹配，得到所述第一对象实例和所述第二对象实例之间的匹配度；
融合模块530，用于基于所述匹配度，对所述第一对象实例和所述第二对象实例进行融合。
一种可选的实施方式中，如图6所示，还包括：
获取模块540，用于获取第一原始图像和第二原始图像；
第二确定模块550，用于确定所述第一原始图像和所述第二原始图像之间的变换关系信息；
变换模块560，用于基于所述变换关系信息对所述第一原始图像进行变换处理，得到第一图像，并将所述第二原始图像作为所述第二图像；或者，基于所述变换关系信息对所述第二原始图像进行变换处理，得到第二图像，并将所述第一原始图像作为所述第一图像。
一种可选的实施方式中，所述属性信息包括以下至少一种：
对象实例的位置信息、尺寸信息、所述对象实例属于所述目标对象的概率、特征数据、与所述对象实例对应的图像区域的灰度数据、影像组学信息；
所述对象实例包括：所述第一对象实例和所述第二对象实例。
一种可选的实施方式中，如图7所示，所述匹配模块520包括：
确定单元521，用于基于所述第一属性信息和所述第二属性信息，确定所述第一对象实例和所述第二对象实例之间的下述至少一项匹配信息：相似度、匹配优先级、距离、等效半径；
匹配单元522，用于基于所述第一对象实例和所述第二对象实例之间的匹配信息，得到所述第一对象实例和所述第二对象实例之间的匹配度。
一种可选的实施方式中，所述匹配单元522具体用于：
将所述匹配优先级作为权值，对所述第一对象实例和所述第二对象实例之间的相似度进行加权处理，得到所述第一对象实例和所述第二对象实例之间的加权相似度；以及
基于所述距离和等效半径，确定所述第一对象实例和所述第二对象实例之间的邻接关系信息；
基于所述加权相似度和所述邻接关系信息，确定所述第一对象实例和所述第二对象实例之间的匹配度。
一种可选的实施方式中，所述第一对象实例、和所述第二对象实例均有多个；
所述匹配模块520具体用于：
基于多个所述第一对象实例、和多个所述第二对象实例，构成多个对象实例对；
针对每个对象实例对，根据该对象实例对中包括的第一对象实例对应的第一属性信息和该对象实例对中包括的第二对象实例对应的第二属性信息，对该对象实例对中包括的第一对象实例和第二对象实例进行匹配，得到该对象实例对的匹配度。
一种可选的实施方式中，所述融合模块530具体用于：
基于多个对象实例对分别对应的匹配度和预设的匹配度阈值，对多个所述第一对象实例、和多个所述第二对象实例进行分组，得到多个对象实例组；
针对各个对象实例组，在该对象实例组中包括至少第一对象实例和至少一个第二对象实例的情况下，将该对象实例组中包括的第一对象实例和第二对象实例进行融合。
一种可选的实施方式中，所述融合模块530具体用于：
对所述第一对象实例的第一属性信息、和所述第二对象实例的第二属性信息进行融合。
本公开实施例通过对第一对象实例和第二对象实例的属性信息进行匹配，得到第一对象实例和对象实例之间的匹配度，从而可以根据匹配度，对第一对象实例和第二对象实例进行更加精确的融合。
关于装置中的各模块的处理流程和各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
对应于图1中的图像处理方法，本公开实施例还提供了一种计算机设备，如图8所示，为本公开实施例提供的计算机设备结构示意图，包括：
处理器801、存储器802、和总线803；存储器802用于存储执行指令，包括内存8021和外部存储器8022；这里的内存8021也称内存储器，用于暂时存放处理器801中的运算数据，以及与硬盘等外部存储器8022交换的数据，处理器801通过内存8021与外部存储器8022进行数据交换，当所述计算机设备运行时，所述处理器801与所述存储器802之间通过总线803通信，使得所述处理器801执行以下指令：
确定目标对象的第一对象实例在第一图像中的第一属性信息和确定所述目标对象的第二对象实例在第二图像中的第二属性信息；
基于所述第一属性信息和所述第二属性信息，对所述第一对象实例和所述第二对象实例进行匹配，得到所述第一对象实例和所述第二对象实例之间的匹配度；
基于所述匹配度，对所述第一对象实例和所述第二对象实例进行融合。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的图像处理方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的图像处理方法的步骤，具体可参见上述方法实施例，在此不再赘述。
其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。
Claims (11)
1.一种图像处理方法，其特征在于，包括：
确定目标对象的第一对象实例在第一图像中的第一属性信息和所述目标对象的第二对象实例在第二图像中的第二属性信息；
基于所述第一属性信息和所述第二属性信息，对所述第一对象实例和所述第二对象实例进行匹配，得到所述第一对象实例和所述第二对象实例之间的匹配度；
基于所述匹配度，对所述第一对象实例和所述第二对象实例进行融合。
2.根据权利要求1所述的图像处理方法，其特征在于，还包括：获取第一原始图像和第二原始图像；
确定所述第一原始图像和所述第二原始图像之间的变换关系信息；
基于所述变换关系信息对所述第一原始图像进行变换处理，得到所述第一图像，并将所述第二原始图像作为所述第二图像；
或者，
基于所述变换关系信息对所述第二原始图像进行变换处理，得到所述第二图像，并将所述第一原始图像作为所述第一图像。
3.根据权利要求1或2所述的图像处理方法，其特征在于，所述第一属性信息或所述第二属性信息包括以下至少一种：
对象实例的位置信息、尺寸信息、所述对象实例属于所述目标对象的概率、特征数据、与所述对象实例对应的图像区域的灰度数据、影像组学信息；
所述对象实例包括：所述第一对象实例和所述第二对象实例。
4.根据权利要求1-3任一项所述的图像处理方法，其特征在于，所述基于所述第一属性信息和所述第二属性信息，对所述第一对象实例和所述第二对象实例进行匹配，包括：
基于所述第一属性信息和所述第二属性信息，确定所述第一对象实例和所述第二对象实例之间的下述至少一项匹配信息：相似度、匹配优先级、距离、等效半径；
基于所述匹配信息，得到所述第一对象实例和所述第二对象实例之间的匹配度。
5.根据权利要求4所述的图像处理方法，其特征在于，所述基于所述匹配信息，得到所述第一对象实例和所述第二对象实例之间的匹配度，包括：
将所述匹配优先级作为权值，对所述第一对象实例和所述第二对象实例之间的相似度进行加权处理，得到所述第一对象实例和所述第二对象实例之间的加权相似度；以及
基于所述距离和等效半径，确定所述第一对象实例和所述第二对象实例之间的邻接关系信息；
基于所述加权相似度和所述邻接关系信息，确定所述第一对象实例和所述第二对象实例之间的匹配度。
6.根据权利要求1-5任一项所述的图像处理方法，其特征在于，所述第一对象实例和所述第二对象实例均有多个；
所述基于所述第一属性信息和所述第二属性信息，对所述第一对象实例和所述第二对象实例进行匹配，得到所述第一对象实例和所述第二对象实例之间的匹配度，包括：
基于多个所述第一对象实例、和多个所述第二对象实例，构成多个对象实例对；
针对每个对象实例对，根据该对象实例对中包括的第一对象实例对应的第一属性信息和该对象实例对中包括的第二对象实例对应的第二属性信息，对该对象实例对中包括的第一对象实例和第二对象实例进行匹配，得到该对象实例对的匹配度。
7.根据权利要求6所述的图像处理方法，其特征在于，基于所述匹配度，对所述第一对象实例和所述第二对象实例进行融合，包括：
基于多个对象实例对分别对应的匹配度和预设的匹配度阈值，对多个所述第一对象实例、和多个所述第二对象实例进行分组，得到多个对象实例组；
针对各个对象实例组，在该对象实例组中包括至少第一对象实例和至少一个第二对象实例的情况下，将该对象实例组中包括的第一对象实例和第二对象实例进行融合。
8.根据权利要求1-7任一项所述的图像处理方法，其特征在于，所述对所述第一对象实例和所述第二对象实例进行融合，包括：
对所述第一对象实例的第一属性信息和所述第二对象实例的第二属性信息进行融合。
9.一种图像处理装置，其特征在于，包括：
第一确定模块，用于确定目标对象的第一对象实例在第一图像中的第一属性信息和确定所述目标对象的第二对象实例在第二图像中的第二属性信息；
匹配模块，用于基于所述第一属性信息和所述第二属性信息，对所述第一对象实例和所述第二对象实例进行匹配，得到所述第一对象实例和所述第二对象实例之间的匹配度；
融合模块，用于基于所述匹配度，对所述第一对象实例和所述第二对象实例进行融合。
10.一种计算机设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至8任一项所述的图像处理方法的步骤。
11.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至8任一项所述的图像处理方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111129299.7A CN114240809A (zh) | 2021-09-26 | 2021-09-26 | 图像处理方法、装置、计算机设备及存储介质 |
| PCT/CN2022/082195 WO2023045284A1 (zh) | 2021-09-26 | 2022-03-22 | 图像处理方法、装置、计算机设备、存储介质及程序产品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111129299.7A CN114240809A (zh) | 2021-09-26 | 2021-09-26 | 图像处理方法、装置、计算机设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114240809A true CN114240809A (zh) | 2022-03-25 |
Family
ID=80743004
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111129299.7A Pending CN114240809A (zh) | 2021-09-26 | 2021-09-26 | 图像处理方法、装置、计算机设备及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN114240809A (zh) |
| WO (1) | WO2023045284A1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116503603B (zh) * | 2023-05-16 | 2024-02-23 | 北京交通大学 | 一种基于弱监督语义分割和特征弥补的类间遮挡目标检测网络模型的训练方法 |
| CN116453104B (zh) * | 2023-06-15 | 2023-09-08 | 安徽容知日新科技股份有限公司 | 液位识别方法、装置、电子设备及计算机可读存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10776959B2 (en) * | 2016-02-16 | 2020-09-15 | Brainlab Ag | Determination of dynamic DRRs |
| CN112288708B (zh) * | 2020-10-27 | 2021-10-15 | 推想医疗科技股份有限公司 | Ct图像中淋巴结的检测方法、装置、介质及电子设备 |
-
2021
- 2021-09-26 CN CN202111129299.7A patent/CN114240809A/zh active Pending
-
2022
- 2022-03-22 WO PCT/CN2022/082195 patent/WO2023045284A1/zh unknown
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023045284A1 (zh) | 2023-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Oktay et al. | Anatomically constrained neural networks (ACNNs): application to cardiac image enhancement and segmentation | |
| Zhang et al. | ANC: Attention network for COVID-19 explainable diagnosis based on convolutional block attention module | |
| CN110348330B (zh) | 基于vae-acgan的人脸姿态虚拟视图生成方法 | |
| Saha et al. | A survey on skeletonization algorithms and their applications | |
| US20230104173A1 (en) | Method and system for determining blood vessel information in an image | |
| JP6639123B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| CN113077471A (zh) | 一种基于u型网络的医学图像分割方法 | |
| CN107492071A (zh) | 医学图像处理方法及设备 | |
| Zhang et al. | Progressive hard-mining network for monocular depth estimation | |
| Amer et al. | ResDUnet: A deep learning-based left ventricle segmentation method for echocardiography | |
| CN114240809A (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
| WO2023207266A9 (zh) | 图像配准方法、装置、设备和存储介质 | |
| CN110570394A (zh) | 医学图像分割方法、装置、设备及存储介质 | |
| CN116129141B (zh) | 医学数据处理方法、装置、设备、介质和计算机程序产品 | |
| CN112329662B (zh) | 基于无监督学习的多视角显著性估计方法 | |
| US20230245329A1 (en) | Structured landmark detection via topology-adapting deep graph learning | |
| CN115690178A (zh) | 基于深度学习的跨模块非刚体配准方法、系统及介质 | |
| Wu et al. | A fully convolutional network feature descriptor: Application to left ventricle motion estimation based on graph matching in short-axis MRI | |
| Wang et al. | Accurate lung nodule segmentation with detailed representation transfer and soft mask supervision | |
| Yang et al. | RAU-Net: U-Net network based on residual multi-scale fusion and attention skip layer for overall spine segmentation | |
| Zheng et al. | Residual Aligner-based Network (RAN): Motion-separable structure for coarse-to-fine discontinuous deformable registration | |
| CN117522896A (zh) | 基于自注意力的图像分割方法及计算机设备 | |
| CN113850853A (zh) | 图像的配准方法、装置、计算机设备以及存储介质 | |
| Cao et al. | Seg-CapNet: a capsule-based neural network for the segmentation of left ventricle from cardiac magnetic resonance imaging | |
| CN114022521A (zh) | 一种非刚性多模医学图像的配准方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40062785 Country of ref document: HK |
|
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240530 Address after: 200233, Units 6-01, 6-49, 6-80, 6th Floor, No. 1900 Hongmei Road, Xuhui District, Shanghai Applicant after: Shanghai Shangtang Shancui Medical Technology Co.,Ltd. Country or region after: China Address before: Room 1605a, building 3, 391 Guiping Road, Xuhui District, Shanghai Applicant before: SHANGHAI SENSETIME INTELLIGENT TECHNOLOGY Co.,Ltd. Country or region before: China |