CN111739004B - 图像处理方法、设备及存储介质 - Google Patents
图像处理方法、设备及存储介质 Download PDFInfo
- Publication number
- CN111739004B CN111739004B CN202010574957.2A CN202010574957A CN111739004B CN 111739004 B CN111739004 B CN 111739004B CN 202010574957 A CN202010574957 A CN 202010574957A CN 111739004 B CN111739004 B CN 111739004B
- Authority
- CN
- China
- Prior art keywords
- image
- characteristic
- feature
- obtaining
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 68
- 230000004927 fusion Effects 0.000 claims abstract description 66
- 238000000034 method Methods 0.000 claims description 48
- 230000006870 function Effects 0.000 claims description 30
- 230000005284 excitation Effects 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 8
- 230000036285 pathological change Effects 0.000 claims description 4
- 231100000915 pathological change Toxicity 0.000 claims description 4
- 230000003902 lesion Effects 0.000 description 27
- 206010028980 Neoplasm Diseases 0.000 description 23
- 210000003462 vein Anatomy 0.000 description 16
- 210000004185 liver Anatomy 0.000 description 15
- 238000004364 calculation method Methods 0.000 description 13
- 210000001367 artery Anatomy 0.000 description 12
- 238000000605 extraction Methods 0.000 description 12
- 230000001360 synchronised effect Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000005070 sampling Methods 0.000 description 7
- 230000003068 static effect Effects 0.000 description 6
- 230000005291 magnetic effect Effects 0.000 description 5
- 210000000056 organ Anatomy 0.000 description 4
- 238000005481 NMR spectroscopy Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005294 ferromagnetic effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种图像处理方法、设备及计算机可读存储介质，包括：获得第一CT图像和第二CT图像，其中，第一CT图像和第二CT图像均包括待识别目标区域；将所述第一CT图像和第二CT图像输入至识别模型；由识别模型对第一CT图像和第二CT图像进行处理，得到处理结果；所述处理结果表征为对所述待识别目标区域在第一CT图像和/或第二CT图像的位置的识别结果；其中，所述处理结果至少依据由所述识别模型获得的第一CT图像的第一特征图像、第二CT图像的第二特征图像、以及两个CT图像的融合特征图像而得到。
Description
技术领域
本申请涉及图像处理技术，具体涉及一种图像处理方法、设备及计算机可读存储介质。
背景技术
在医学上，多数医生根据自身的经验，对电子计算机断层扫描(CT，ComputedTomography)图像中患者的病变区域或位置进行识别。考虑到针对病变区域的CT图像可能会随着拍摄或扫描时间、和/或角度的不同产生些许的差异。例如，针对同一患者的同一患病部位拍摄的静脉期CT图像和动脉期CT图像。结合多期或多角度的CT图像往往会产生更多的临床信息，可以帮助医生做出更准确的诊断。如果存在有一种能够可基于针对同一患者的同一患病部位拍摄或扫描时间不同、和/或拍摄或扫描角度不同而得到的两幅CT图像自动且准确地识别出CT图像中病变区域所处位置的方案，是必会为医生对病患的确诊提供了有效的帮助。
发明内容
为解决现有存在的技术问题，本申请实施例提供一种图像处理方法、设备及计算机可读存储介质。
本申请实施例的技术方案是这样实现的：
本申请实施例提供一种图像处理方法，所述方法包括：
获得第一电子计算机断层扫描CT图像和第二CT图像，其中，第一CT图像和第二CT图像均包括待识别目标区域；第一CT图像、第二CT图像为在所述待识别目标的不同观察期而得到的图像、或是针对所述待识别目标的不同观察角度而得到的图像；
将所述第一CT图像和第二CT图像输入至识别模型；
由识别模型对第一CT图像和第二CT图像进行处理，得到处理结果；所述处理结果表征为对所述待识别目标区域在第一CT图像和/或第二CT图像的位置的识别结果；
其中，所述处理结果至少依据由所述识别模型获得的第一CT图像的第一特征图像、第二CT图像的第二特征图像、以及两个CT图像的融合特征图像而得到。
前述方案中，所述由识别模型对第一CT图像和第二CT图像进行处理，得到处理结果，包括：
获得第一CT图像的第一特征图像、及第二CT图像的第二特征图像；
基于第一特征图像和第二特征图像，获得融合特征图像；
基于第一特征图像和融合特征图像，获得第一权重参数；
基于第二特征图像和融合特征图像，获得第二权重参数；
基于第一特征图像及第一权重参数、和第二特征图像及第二权重参数，得到所述处理结果。
前述方案中，所述基于第一特征图像和融合特征图像，获得第一权重参数；所述基于第二特征图像和融合特征图像，获得第二权重参数，包括：
将第一特征图像和融合特征图像进行融合，得到第一融合图像；
将第二特征图像和融合特征图像进行融合，得到第二融合图像；
分别将第一融合图像、第二融合图像进行至少两次卷积操作；
利用激励函数分别对第一融合图像、第二融合图像进行至少两次卷积操作的操作结果进行激励，得到第一权重参数、第二权重参数。
前述方案中，所述获得第一CT图像的第一特征图像及第二CT图像的第二特征图像，包括：
至少对第一CT图像和第二CT图像分别进行至少两次卷积操作；每次卷积操作均得到相应CT图像的特征图；
至少分别对第一CT图像、第二CT图像进行其中一次卷积操作得到的特征图进行至少一次反卷积操作，得到所述第一特征图像、所述第二特征图像。
前述方案中，所述基于第一特征图像和第二特征图像，获得融合特征图像，包括：
将第一特征图像、第二特征图像进行至少一次卷积操作；
将第一特征图像的至少一次卷积操作结果和第二特征图像的至少一次卷积操作结果进行相加操作，得到融合特征图像。
前述方案中，所述基于第一特征图像及第一权重参数、和第二特征图像及第二权重参数而得到所述处理结果，包括：
获得第一特征图像和第一权重参数的相乘结果；该相乘结果表征为第一特征图像与融合特征图像的像素之间的相关性；
获得第二特征图像和第二权重参数的相乘结果；该相乘结果表征为第二特征图像与融合特征图像的像素之间的相关性；
依据两个相乘结果，得到相关性结果，所述相关性结果表征为第一CT图像和第二CT图像的像素之间的相关性；
依据所述相关性结果，得到所述待识别目标区域在第一CT图像和/或第二CT图像的位置。
前述方案中，所述依据所述相关性结果，得到所述待识别目标区域在第一CT图像和/或第二CT图像的位置，包括：
依据所述相关性结果，识别第一CT图像和/或第二CT图像中的各像素点属于病变像素点的概率；
依据识别出的概率，确定所述待识别目标区域在第一CT图像和/或第二CT图像的位置。
本申请实施例提供一种图像处理设备，包括：
获得单元，用于获得第一电子计算机断层扫描CT图像和第二CT图像，其中，第一CT图像和第二CT图像均包括待识别目标区域；第一CT图像、第二CT图像为在所述待识别目标的不同观察期而得到的图像、或是针对所述待识别目标的不同观察角度而得到的图像；
输入单元，用于将所述第一CT图像和第二CT图像输入至识别模型；
识别模型，用于对第一CT图像和第二CT图像进行处理，得到处理结果；所述处理结果表征为对所述待识别目标区域在第一CT图像和/或第二CT图像的位置的识别结果；
其中，所述处理结果至少依据由所述识别模型获得的第一CT图像的第一特征图像、第二CT图像的第二特征图像、以及两个CT图像的融合特征图像而得到。
本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述方法的步骤。
本申请实施例提供一种图像处理设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现前述方法的步骤。
本申请实施例提供一种图像处理方法、设备及计算机可读存储介质，其中所述方法包括：获得第一CT图像和第二CT图像，其中，第一CT图像和第二CT图像均包括待识别目标区域；第一CT图像、第二CT图像为在所述待识别目标的不同观察期而得到的图像、或是针对所述待识别目标的不同观察角度而得到的图像；将所述第一CT图像和第二CT图像输入至识别模型；由识别模型对第一CT图像和第二CT图像进行处理，得到处理结果；所述处理结果表征为对所述待识别目标区域在第一CT图像和/或第二CT图像的位置的识别结果；其中，所述处理结果至少依据由所述识别模型获得的第一CT图像的第一特征图像、第二CT图像的第二特征图像、以及两个CT图像的融合特征图像而得到。
本申请实施例中，由识别模型进行待识别目标区域在CT图像中的位置的识别，为一种自动识别方案。此外，识别模型基于三种特征图像：两个CT图像的各自特征图像以及该两个特征图像的融合特征图像，考虑到了两个CT图像的各自特征图像会体现各自CT图像的特征，还考虑到了融合特征图像也会体现出两个CT图像的特征，结合这三个特征图像所体现的CT图像的特征，对待识别目标区域的位置进行识别，可进一步保证识别准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例的图像处理方法的实现流程示意图一；
图2为本申请实施例的图像处理方法的实现流程示意图二；
图3为本申请实施例的图像处理方法的实现流程示意图三；
图4为本申请实施例的识别模型的示意图一；
图5为本申请实施例的识别模型的示意图二；
图6为本申请实施例的识别模型的示意图三；
图7为本申请实施例的图像处理设备的组成结构示意图；
图8为本申请实施例的图像处理设备的硬件构成示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚明白，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例提供的技术方案可应用于医学图像。在实际应用中，医学图像可以具体是CT图像。本申请实施例中的CT图像至少包括待识别目标区域，该待识别目标区域可以是CT图像中的产生病变的区域或位置。考虑到有些病变是附着在器官上的，待识别目标区域是CT图像中既包括有器官的区域，又包括有病变的区域。此外，待识别待目标还可以包括器官区域、病变区域和背景区域。以下对本申请实施例提供的技术方案做说明。
本申请提供的图像处理方法的第一实施例，该方法可以应用于图像处理设备中。如图1所示，所述方法包括：
S101：获得第一CT图像和第二CT图像，其中，第一CT图像和第二CT图像均包括待识别目标区域；第一CT图像、第二CT图像为在所述待识别目标的不同观察期而得到的图像、或是针对所述待识别目标的不同观察角度而得到的图像；
本步骤中的两个CT图像(第一CT图像和第二CT图像)均包括待识别目标区域。两个CT图像可以是针对同一患者的同一病变位置在不同时间(观察期)拍摄或扫描下的图像，或者是在不同拍摄或扫描(观察角度)角度下拍摄或扫描的图像。本步骤中通过在不同时间下对同一患者的同一病变位置进行拍摄或扫描而获得两个CT图像；或者，通过在不同拍摄或扫描角度下拍摄或扫描图像而获得两个CT图像。还可以通过读取以上已经拍摄或扫描好的两个CT图像而获得两个CT图像。
S102：将所述第一CT图像和第二CT图像输入至识别模型；
本步骤中，将获得两个图像输入至识别模型。
S103：由识别模型对第一CT图像和第二CT图像进行处理，得到处理结果；所述处理结果表征为对所述待识别目标区域的识别结果以及对所述待识别目标区域在第一CT图像和/或第二CT图像中所处位置的识别结果；其中，所述处理结果至少依据由所述识别模型获得的第一CT图像的第一特征图像、第二CT图像的第二特征图像、以及两个特征图像的融合特征图像而得到。
本步骤中，由识别模型对第一CT图像和第二CT图像进行处理，通过识别模型获得的第一CT图像的第一特征图像、第二CT图像的第二特征图像、以及两个特征图像的融合特征图像，得到所述待识别目标区域在第一CT图像和/或第二CT图像中所处位置的识别结果。
执行S101～S103的主体为图像处理设备。
前述方案中，由识别模型进行待识别目标区域在CT图像中的位置的识别，为一种自动识别方案。此外，识别模型基于三种特征图像：两个CT图像的各自特征图像以及该两个特征图像的融合特征图像，相当于不仅考虑到两个CT图像对处理结果的影响，还考虑到了融合特征图像对处理结果的影响，也即考虑到了两个CT图像的各自特征图像会体现各自CT图像的特征，还考虑到了融合特征图像也会体现出两个CT图像的特征，结合这三个特征图像所体现的CT图像的特征，对待识别目标区域的位置进行识别，可进一步保证识别准确性。再有，本申请实施例中的识别模型具有一定的稳定性和健壮性，不易受外界环境的干扰，由识别模型进行识别，可保证识别结果的稳定性和准确性。
在前述第一实施例的基础上，本申请提供图像处理方法的第二实施例。如图2所示，所述由识别模型对第一CT图像和第二CT图像进行处理，得到处理结果，可由以下步骤来实现：
S1031：获得第一CT图像的第一特征图像、及第二CT图像的第二特征图像；
本步骤中，对两个CT图像各自进行特征提取，得到两个CT图像的各自特征图像。
S1032：基于第一特征图像和第二特征图像，获得融合特征图像；
本步骤中，将第一特征图像和第二特征图像进行融合，得到关于两个CT图像的融合特征图像。
S1033：基于第一特征图像和融合特征图像，获得第一权重参数；
S1034：基于第二特征图像和融合特征图像，获得第二权重参数；
S1035：基于第一特征图像及第一权重参数、和第二特征图像及第二权重参数而得到所述处理结果。
前述方案中，第一特征图像体现有第一CT图像的特征，第二特征图像体现有第二CT图像的特征，融合特征图像本身既会体现有第一CT图像的特征，也会体现有第二CT图像的特征，利用两个特征图像分别与融合特征图像结合，进行各自权重参数(第一权重参数和第二权重参数)的计算，会使得权重参数的计算更为准确，进而能够更为自动且准确地识别出待识别目标区域在第一CT和/或第二CT图像中所处的位置。其中，S1033和S1034无严格的先后顺序，还可以同时进行。优选为同时进行，如此利用识别模型进行待识别目标区域的识别，可加快识别速度，缩短识别时间。
在前述方案中，S1033所述基于第一特征图像和融合特征图像，获得第一权重参数的具体实现过程可以如下所示：
S10331:将第一特征图像和融合特征图像进行融合，得到第一融合图像；
S10332:将第一融合图像进行至少两次卷积操作；
S10333:利用激励函数对第一融合图像进行的至少两次卷积操作的操作结果进行激励，得到第一权重参数。
在前述S10331～S10333中，在具体实现上，可以对第一融合图像进行两次或两次以上的卷积操作。在进行卷积操作的过程中，可以在对第一融合图像进行每次卷积操作之后，均利用激励函数进行一次激励，并对激励结果进行下次卷积操作。也可以，预先选取在至少两次卷积操作中的其中几次卷积操作之后对卷积操作结果进行激励，这种情况下，对于最后一次卷积操作的操作结果要进行激励函数的激励。利用对第一融合图像的至少两次卷积操作的激励结果进行第一权重参数的计算，相当于考虑到了第一特征图像体现的第一CT图像的特征和融合特征图像体现的第一CT图像的特征，结合两个特征图像各自体现的第一CT图像的特征，对第一CT图像的权重参数进行计算，可保证权重参数的计算准确性。
在前述方案中，S1034所述基于第二特征图像和融合特征图像，获得第二权重参数的具体实现过程可以如下所示：
S10341:将第二特征图像和融合特征图像进行融合，得到第二融合图像；
S10342:将第二融合图像进行至少两次卷积操作；
S10343:利用激励函数对第二融合图像进行至少两次卷积操作的操作结果进行激励，得到第二权重参数。
对前述S10341～S10343方案的理解参见前述S10331～S10333方案的描述，重复之处不赘述。S10341～S10343中，利用对第二融合图像的至少两次卷积操作的激励结果进行第二权重参数的计算，相当于考虑到了第二特征图像体现的第二CT图像的特征和融合特征图像体现的第二CT图像的特征，结合两个特征图像各自体现的第二CT图像的特征，对第二CT图像的权重参数进行计算，可保证权重参数的计算准确性。
S10341～S10343方案和S10331～S10333方案无严格的先后顺序，还可以同时进行。优选为同时进行，如此，利用识别模型进行待识别目标区域的识别，可加快识别速度，缩短识别时间。
在前述S10341～S10343方案和S10331～S10333方案中，所述基于第一特征图像和第二特征图像，获得融合特征图像的具体实现过程可以是：将第一特征图像、第二特征图像进行至少一次卷积操作；将第一特征图像的至少一次卷积操作结果和第二特征图像的至少一次卷积操作结果进行相加操作，得到融合特征图像。其中，如果将第一特征图像、第二特征图像视为对两个CT图像如第一CT图像和第二CT图像的特征的提取，那么可将第一特征图像、第二特征图像进行至少一次卷积操作的过程视为对两个CT图像的各自特征的联合，利用联合的图像特征进行两个CT图像的特征的融合，可能够突显两个CT图像的各自特征，进而更容易计算出可更为准确的处理结果。
前述方案中，S1031所述获得第一CT图像的第一特征图像、及第二CT图像的第二特征图像的过程，还可以通过如下方案来实现：
S10311：至少对第一CT图像和第二CT图像分别进行至少两次卷积操作；每次卷积操作均得到相应CT图像的特征图；
S10312：至少分别对第一CT图像、第二CT图像进行其中一次卷积操作得到的特征图进行至少一次反卷积操作，得到所述第一特征图像、所述第二特征图像。
S10311～S10312中，可以理解，CT图像具有轮廓、纹理、细节、色彩等方面的特征，每次的卷积操作均可对其中一种特征进行提取，当然两个或两个以上的卷积操作中还可以有多个卷积操作均是对同一种图像特征进行提取，具体根据实际应用而定。对图像进行特征提取，相当于对图像能够突显其特征的部分进行提取、是一种图像压缩的过程，如此提取出的图像在分辨率上也是小于被进行特征提取的图像的。为使得特征提取后的图像(特征图)的分辨率与被进行特征提取的图像保持一致，可将特征提取后的图像进行反卷积操作，此处的反卷积操作可视为对特征图进行上采样，以使其在分辨率上与被进行特征提取的图像保持一致，以方便后续对处理结果的计算。
S10311～S10312中，可以设定对两个CT图像进行卷积操作的次数以及反卷积的次数为相同，也可以为不同，视具体情况而定。优选为相同，例如，对两个CT图像分别进行四次卷积操作，提取各自最后一次进行卷积操作后得到的特征图作为两个CT图像的对应特征图，将这两个特征图分别进行四次反卷积操作，进而得到两个CT图像各自的特征图像。或者，提取第3次进行卷积操作后得到的特征图作为两个CT图像的对应特征图，将这两个特征图分别进行三次反卷积操作，得到两个CT图像各自的特征图像。或者，提取第2次进行卷积操作后得到的特征图作为两个CT图像的对应特征图，将这两个特征图分别进行二次反卷积操作，得到两个CT图像各自的特征图像。具体情况还可以根据实际使用情况而定，不做一一举例。
本申请提供图像处理方法的第三实施例，基于前述第二实施例。如图3所示，所述S1035基于第一特征图像及第一权重参数、和第二特征图像及第二权重参数而得到所述处理结果，包括：
S10351：获得第一特征图像和第一权重参数的相乘结果；该相乘结果表征为第一特征图像与融合特征图像的像素之间的相关性；
S10352：获得第二特征图像和第二权重参数的相乘结果；该相乘结果表征为第二特征图像与融合特征图像的像素之间的相关性；
S10353：依据两个相乘结果，得到相关性结果，所述相关性结果表征为第一CT图像和第二CT图像的像素之间的相关性；
S10354：依据所述相关性结果，得到所述待识别目标区域在第一CT图像和/或第二CT图像的位置。
前述S10351～S10354中，两个不同图像上的像素点之间的相关性可表征其中一个图像中的哪个像素点和另一个图像中的哪个像素点是属于同一区域(病变区域或肝脏区域)的像素点，和/或属于不同区域(如病变区域和背景区域)的像素点的可能性。通常，两个像素点的相关参数取值得越大，属于同一区域的可能性越大；反之，两个像素点的相关参数取值得越小，属于同一区域的可能性越小、属于不同区域的可能性越大。如其中一个图像中的像素点1与另一图像的像素点2之间的相关参数为0.85，大于预设的阈值，则可认为一个图像中的像素点1与另一图像的像素点2是属于同一区域的像素点。S10352和S10353的方案是通过两个CT图像与各自的权重参数的相乘，能够确定出特征图像和融合特征图像中表示为同一区域的像素点。S10353的方案是依据特征图像和融合特征图像中表示为同一区域的像素点，再确定出两个CT图像中表示为同一区域的像素点，S10354识别出待识别目标区域如病变区域在两个CT图像中的位置。相当于，将融合特征图像作为中间对象，利用中间对象与各个CT图像的特征图像的像素相关性，对两个CT图像之间的像素相关性进行计算，这种计算方法可大大保证计算准确性。
前述方案中，所述S10354依据所述相关性结果，得到所述待识别目标区域在第一CT图像和/或第二CT图像的位置可以具体是：依据所述相关性结果，识别第一CT图像和/或第二CT图像中的各像素点属于病变像素点的概率；依据识别出的概率，确定所述待识别目标区域在第一CT图像和/或第二CT图像的位置。在待识别目标区域为两个CT图像中的肿瘤区域的情况下，计算第一CT图像和/或第二CT图像中的各像素点属于病变像素点的概率，如果计算出的概率较高、大于预设的概率阈值，则视像素点为病变像素点，如此，识别出CT图像中的所有病变像素点，由病变像素点构成的区域即为病变区域，识别出病变区域在CT图像中的位置。此处，对于识别出的两个CT图像中属于同一区域的像素点，在两个图像中对这个像素点的概率判断，得到的结果应该是属于同一区域的像素点。举个例子来说，第一CT图像中的像素点11和第二CT图像中的像素点21属于同一区域的像素点，经过对像素点11的概率判断，其是属于病变区域内的像素点。那么对像素点21的概率判断，其也应该属于病变区域内的一像素点。由此实现了对病变区域在CT图像中的位置的自动识别。
下面结合附图4-图6及具体实施例对本申请作进一步详细的说明。
本应用场景中，以两个CT图像为肝脏CT图像为例，肝脏CT图像中包括肝脏这一器官区域、肿瘤区域和背景区域，以识别出肝脏CT图像中的肿瘤区域为例。两个肝脏CT图像为在不同时期拍摄或扫描的图像，如静脉期(Venous Phase)肝脏CT图像和动脉期(ArterialPhase)肝脏CT图像。读取已经为同一患者的同一部位如肝脏拍摄好的这两个不同时期的肝脏CT图像，将读取的两个肝脏CT图像输入至识别模型中。为方便描述，将动脉期肝脏CT图像简称为动脉图像(AF，Arterial Figure)，视为前述的第一CT图像；将静脉期肝脏CT图像简称为静脉图像(VF，Venous Figure)，视为前述的第二CT图像。
识别模型对图像AF(动脉图像)进行特征提取，得到动脉图像的特征图像(第一特征图像：图像Fa)；对图像VF(静脉图像)进行特征提取，得到图像VF的特征图像(第二特征图像：图像Fv)；由图像Fa和图像Fv得到融合特征图像(图像Fd)；由图像Fa和融合特征图像得到针对动脉特征图像的权重参数(第一权重参数-参数Aa)；由图像Fv和融合特征图像得到针对静脉特征图像的权重参数(第二权重参数-参数Av)；最后依据图像Fa和第一权重参数相乘的结果、以及图像Fv和第二权重参数相乘的结果，得到图像AF和图像VF的像素之间的相关性，由相关性识别出肿瘤区域在动脉图像和静脉图像中的位置。
本应用场景中，如图4所示，识别模型包括以下几大部分：全卷积神经网络(FCN，Fully Convolutional Networks)模型、以及多阶段感知模型(PAM，Phase Aware Module)。其中，识别模型中的FCN模型用于对图像AF和图像VF进行特征提取，得到动脉图像的特征图像和静脉图像的特征图像。FCN模型还用于依据图像Fa和图像Fv得到融合特征图像。PAM模型用于依据图像Fa和融合特征图像得到第一权重参数；依据图像Fv和融合特征图像得到第二权重参数；最后依据图像Fa和第一权重参数相乘的结果、以及图像Fv和第二权重参数相乘的结果，得到图像AF和图像VF的像素之间的相关性，由相关性识别出肿瘤区域在动脉图像和静脉图像中的位置。前述方案中，是将依据图像Fa和图像Fv得到融合特征图像的方案作为FCN模型的一项实现功能，可以理解，依据图像Fa和图像Fv得到融合特征图像的方案还可以由PAM模型来实现。优选为由PAM模型来实现。本应用场景中，主要以PAM模型来实现依据图像Fa和图像Fv得到融合特征图像的方案为例进行的说明。
可以理解，本应用场景中的动静脉图像为针对同一患者的同一患病部位的不同时期的CT图像。针对动静脉这两个图像本身来说，其内容大体为相同，但是存在些许的差异。作为一个优选的方案，如图5所示，本应用场景中的识别模型还包括对准或配准模型。动静脉图像输入至对准或配准模型，对准或配准模型用于对动脉图像和静脉图像进行图像像素点的对准或配准，以将两个图像中表示为相同的部分如肿瘤部分、肝脏部分和/或背景部分进行对准或对齐。对准模型与FCN模型连接，也即将经过图像对准或配准后的动静脉图像输入至FCN模型，FCN模型对对准或配准后的动静脉图像进行特征提取。其中，对准模型将动静脉图像中的其中一个图像作为标准图像如以动脉图像为标准图像为例，以标准图像为基础，将另一图像中像素点与标准图像中的像素点进行对准或对齐。以动静脉图像均为M*N列矩阵为例，M*N列矩阵中的每个元素表示一个图像像素点。假定动脉图像的M*N列矩阵中的第P行第L列-第P+5行第L+7列表示肿瘤区域，则需要将静脉图像中表示为肿瘤区域的像素点和动脉图像中表示为肿瘤区域的像素点对准或对齐上，也即将静脉图像中表示为肿瘤区域的像素点和动脉图像中第P行第L列-第P+5行第L+7列对齐或对准，以此实现了动静脉图像中表示为相同的部分进行对准或对齐。两个图像中表示为相同部分的对齐或对准更方便后续FCN模型和PAM模型的计算。其中，M、N、P和L均为大于0的正整数，且P≤M，L≤N。图像对准或配准模型可以采用图像对准或对转算法来实现。具体的图像对准或配准方法请参见相关说明，不赘述。
在前述的方案中，图4和图5中的识别模型的输入(In)为两个输入，其中一个输入(In1)为静脉图像，另一个输入(In2)为动脉图像；输出(Out)为对肿瘤区域在动脉和静脉图像中的各自位置进行识别的结果。
可以理解，识别模型包括对准或配准模型是作为一个优选的方案来实现的。当然，识别模型也可以不包括对准或配准模型，FCN模型直接对输入的动静脉图像进行处理，得到各自的特征图像。优选为包括对准或配准模型。后续方案中，以包括对准或配准模型进行说明，也即输入至FCN模型的两个输入是经过对原始动静脉图像进行对准或配准后的图像。其中，为方便描述，将读取动静脉图像也即输入至对准或配准模型的图像视为原始图像如原始动脉图像和原始静脉图像。本领域技术人员可以理解，如对准或配准模型的实现过程可通过一个单独的模型来实现，如图5所示。还可以通过将对准或配准模型嵌入至识别模型中的FCN模型中进行功能的实现，如图6所示。后续结合图6所示对本应用场景做具体说明。
以下结合图6对识别模型的FCN模型部分进行介绍。
在具体实现上，FCN模型主要包括两个功能模块：
卷积化(Convolutional)功能模块：包括至少两个卷积层，每个卷积层可执行卷积操作，每个卷积操作可对图像进行一次特征提取。由于图像本身具有轮廓、纹理、细节、色彩等方面的特征，每个卷积操作均可对其中一种特征进行提取，当然两个或两个以上的卷积操作中还可以有多个卷积操作均是对同一种图像特征进行提取。本应用场景中，至少两个卷积层依次连接，输入至第1个卷积层的图像是对原始动静脉图像经过对准或配准的图像，第1个卷积层对输入的该两种图像进行卷积操作，提取两个输入图像的相应特征如轮廓特征。将经过第1个卷积操作的图像输入到至少两个卷积层中的第2个卷积层，第2个卷积层对输入的该两种图像进行卷积操作，提取输入至第2个卷积层的两个图像的相应特征如纹理特征。以此类推，至少两个卷积层的依次连接，相当于上一个卷积层的输出作为下一个卷积层的输入。以此实现对原始动静脉图像的在轮廓、纹理、细节、色彩等方面的特征。
可以理解，卷积层对图像进行特征提取，相当于对图像能够突显其特征的部分进行提取、为一种对图像进行压缩的方案，如此经过卷积化功能模块的如上处理得到的图像在分辨率上是小于原始图像的，为将经如上处理的图像在分辨率上保持一致，则需要经过如下上采样功能模块。
上采样(Upsample)功能模块：也是反卷积功能模块，反卷积功能模块可对输入至反卷积功能模块的图像进行反卷积操作。通过反卷积操作可将卷积化功能模块输出的两个低分辨率的图像进行上采样，得到与原始图像相同分辨率的图像。由于卷积化功能模块输出的两个低分辨率的图像是针对两个原始图像的特征图像，所以经过反卷积功能模块进行上采样得到的图像也为特征图像，不同的是这两种特征图像的分辨率不同，经过反卷积功能模块进行上采样得到的特征图像的分辨率高于卷积化功能模块输出的特征图像。本应用场景中，上采样功能模块的每层卷积操作针对动脉图像得到的图像均可以视为一种能够体现动脉图像的特征的图像；该图像被输入至上采样功能模块得到的仍然是体现动脉图像的特征的图像，只不过二者的分辨率不同。其中，提取哪个特征图像作为最终可输入至PAM模型的特征图像，可通过如下方案来实现：
可将卷积化功能模块中经T(为大于等于1的正整数)次卷积操作后得到的特征图像输入至上采样功能模块，并做相应(T)次的反卷积操作，以得到能够输入至PAM模型的特征图像。示例性地，将卷积化功能模块中针对动脉图像、静脉图像经T＝6次卷积操作后得到的特征图像输入至上采样功能模块，做相应6次的反卷积操作，得到原始动脉图像的特征图像(图像Fa)、原始静态图像的特征图像(Fv)。或者，将卷积化(Convolutional)功能模块中针对动脉图像、静脉图像经最后一次如T＝9次卷积操作后得到的特征图像输入至上采样功能模块，做相应9次的反卷积操作，得到原始动脉图像的特征图像(图像Fa)、原始静态图像的特征图像(Fv)。将图像Fa和图像Fv输入至PAM模型。其中，输入至PAM模型的针对原始静态图像和针对原始动态图像的特征图像可以是经过相同次卷积操作、及反卷积操作而得到的特征图像。
以下结合图6对识别模型的PAM模型部分进行介绍。
PAM模型接收FCN模型输出的针对原始动静脉图像的特征图像：图像Fa和图像Fv。PAM模型将图像Fa、图像Fv进行至少一次卷积操作，如进行一次卷积操作；将对两个图像进行卷积操作的结果进行相加，得到融合特征图像Fd。可以理解，融合特征图像Fd既体现有原始动脉图像的特征，也体现有原始静脉图像的特征。图像Fa体现有原始动态图像的特征，图像Fv体现有原始静脉图像的特征。利用原始动静脉图像的各自特征图像以及既体现有原始动脉图像的特征、也体现有原始静脉图像的特征的图像，可使得两个权重参数计算得更为准确。
先来看对原始动脉图像的权重参数Aa的计算过程：将图像Fa和图像Fd进行融合，得到第一融合图像，对第一融合图像进行至少两次卷积操作，得到权重参数Aa。在具体实现上，将图像Fa和图像Fd进行图像联合(Concat)，得到第一融合图像。图6所示的应用场景中，以进行两次卷积操作为例，将第一融合图像进行第1次卷积操作(Conv)，得到经卷积化的图像。将经卷积化的图像进行归一化处理(Norm)，也即经卷积化的图像中的各像素点变成幅度为0-1之间的数值。利用激励函数-ReLu(线性修正单元函数)将归一化处理后的图像做激励，实现非线性映射。将激励结果进行第2次卷积操作，将第2次卷积操作的结果进行激励，如利用激励函数-Sigmoid函数(逻辑函数)对第2次卷积操作的结果进行激励，得到权重参数Aa。
再来看对原始动脉图像的权重参数Av的计算过程：将图像Fv和图像Fd进行融合，得到第二融合图像，对第二融合图像进行至少两次卷积操作，得到权重参数Av。在具体实现上，将图像Fv和图像Fd进行图像联合，得到第二融合图像。图6所示的应用场景中，以进行两次卷积操作为例，将第二融合图像进行第1次卷积操作，得到经卷积化的图像。将经卷积化的图像进行归一化处理，也即经卷积化的图像中的各像素点变成幅度为0-1之间的数值。利用ReLu将归一化处理后的图像做激励，实现非线性映射。将激励结果进行第2次卷积操作，将第2次卷积操作的结果进行激励，如利用Sigmoid函数对第2次卷积操作的结果进行激励，得到权重参数Av。
前述权重参数Aa和Av的计算方案中，利用原始动静脉图像的各自特征图像(图像Fa和图像Fv)以及既体现有原始动脉图像的特征、也体现有原始静脉图像的特征的图像(融合特征图像Fd)，利用图像Fd可增强原始动静脉图像的特征，从而使得两个权重参数计算得更为准确，进而可识别出肿瘤区域在原始的动静脉图像中更为准确的位置。
在前述的方案中，如图6所示，在计算权重参数Aa和权重参数Av中，使用的Concat→Conv→Norm→ReLu→Conv→Sigmoid过程为相同。此外，也可以为不同，比如在计算权重参数Aa的过程中采用Concat→Conv→Norm→ReLu→Conv→Norm→ReLu→Conv→Sigmoid，而在计算权重参数Av的过程仍然采用图6所示的过程。优选为采用相同的过程进行两种权重参数的计算。
在计算出权重参数Aa和Av的情况下，将权重参数Aa和图像Fa相乘(Aa*Fa)，得到特征图像Fa与融合特征图像的像素之间的相关性；该相关性表征着特征图像Fa和融合特征图像中哪些像素点属于同一区域如肿瘤区域的可能性大。该相关性可用相关参数来表示，特征图像Fa的一个像素点与融合特征图像中的一个像素点的相关参数越大，则这两个像素点属于同一区域如肿瘤区域的可能性越大。在具体实现上，如特征图像Fa中的像素点1与融合特征图像的像素点2之间的相关参数为0.85，大于预设的阈值，则可认为特征图像Fa的像素点1与融合特征图像的像素点2是属于同一区域的像素点。与前述的方案同理，将权重参数Av和图像Fv相乘(Av*Fv)，得到表征为特征图像Fv的哪些像素点与融合特征图像的哪些像素点是属于同一区域的像素点的结果。利用融合特征图像与动静脉图像的两个特征图像之间的相关性，得到动静脉图像之间的相关性。例如，融合特征图像上的像素点11与动脉图像中的像素点12是属于同一区域的像素点，与静脉图像中的像素点13是属于同一区域的像素点，则可认为动脉图像中的像素点12与静脉图像中的像素点13是属于同一区域的像素点。
对于利用如上方案得到或识别出的动静脉图像这两个图像中属于同一区域的像素点。其中，动静脉图像这两个图像中的像素点的相关性的计算，相当于对这两个图像的属于同一区域的像素点进行了图像呈现上的增强，如在两个图像中对属于同一区域的像素点进行高亮呈现。在两个图像中对像素点是属于哪个区域如肿瘤区、肝脏区还是背景区的像素点的概率进行判断。示例性地，计算出的动脉图像中的像素点A1属于肿瘤区域内的像素点的概率为0.85，概率较高、大于预设的概率阈值如0.7，则视该像素点为动脉图像中的病变像素点，是肿瘤区域内的像素点。计算出的静脉图像中的像素点V1属于肿瘤区域内的像素点的概率为0.78，概率较高、大于预设的概率阈值如0.7，则视该像素点为静脉图像中的病变像素点，是肿瘤区域内的像素点。按照如上内容，可将动静脉图像中的病变像素点识别出，在动静脉图像中，由各自图像中的病变像素点构成的区域即为各自图像中的病变区域，将该病变区域在动静脉图像中标识出来，如图6所示的输出图像(Out)Fatt中的R区域。其中， 由此，实现了对肿瘤区域的位置的自动识别，能够大大辅助医生做出更好的诊断。
可以理解，图6中输出的图像是对动静脉图像中的其中一个图像的肿瘤区域的位置的识别结果进行输出的图像。主要是因为本应用场景中的动静脉图像是经过对准或配准的，FCN模型和PAM模型是利用对准或配准后的图像进行的位置识别，对于对准或配准后的两个图像来说，肿瘤区域在这两个图像中所处的位置大体相同。
前述的方案是以医学图像为CT图像为例进行的说明。此外，其它合理的医学图像均可适用于本申请实施例的技术方案，如可将实际应用中的核磁共振图像(片)替换为前述实施例的CT图像，进而可实现核磁共振图像中的待识别目标区域的识别以及其在核磁共振图像中所处位置的识别。
由前述方案可知，本申请实施例的技术方案至少具有以下有益效果：
1)利用识别模型实现了对动静脉图像中的肿瘤区域在图像中所处位置的自动识别，如此可为医生对病患的确诊提供的一定的辅助信息；
2)基于动静脉图像的特征图像和融合特征图像，进行两个权重参数的计算，，相当于既考虑到了动静脉图像各自的特征，以及将动静脉图像的特征进行融合之后的图像中包括的动脉特征和静脉特征来实现对权重参数的计算，可使得权重参数计算更为准确，由此可进一步保证识别准确性；
3)在原始动静脉图像的各自特征图像和融合特征图像的基础上，利用PAM模型进行识别，相当于从原始动静脉图像的特征和融合特征图像的特征角度入手进行肿瘤区域在动静脉图像中所处位置的识别，可提高识别准确性；
4)如图4-6所示的识别模型通过神经网络来实现，可以理解神经网络具有一定的稳定性和健壮性，不易受外界环境的干扰，由本申请实施例的识别模型进行的肿瘤区域在动静脉图像中所处位置的识别，可保证识别准确性和稳定性，针对同一患者的同一患病部位的不同拍摄角度或不同时期拍摄的CT图像，对肿瘤区域在动静脉图像中所处位置的识别结果差异不大。
5)利用多期(静脉期和动脉期)或多角度的CT图像进行待识别目标区域所处位置的自动识别，医生可结合该识别结果、以及多期或多角度的CT图像产生的更多临床信息，做出更为准确的诊断。
本申请实施例提供一种图像处理设备，如图7所示，所述设备包括：获得单元701、输入单元702和识别模型703；其中，
获得单元701，用于获得第一电子计算机断层扫描CT图像和第二CT图像，其中，第一CT图像和第二CT图像均包括待识别目标区域；第一CT图像、第二CT图像为在所述待识别目标的不同观察期而得到的图像、或是针对所述待识别目标的不同观察角度而得到的图像；
输入单元702，用于将所述第一CT图像和第二CT图像输入至识别模型；
识别模型703，用于对第一CT图像和第二CT图像进行处理，得到处理结果；所述处理结果表征为对所述待识别目标区域在第一CT图像和/或第二CT图像的位置的识别结果；其中，所述处理结果至少依据由所述识别模型703获得的第一CT图像的第一特征图像、第二CT图像的第二特征图像、以及两个CT图像的融合特征图像而得到。
在一个可选的方案中，所述识别模型703，用于：
获得第一CT图像的第一特征图像、及第二CT图像的第二特征图像；
基于第一特征图像和第二特征图像，获得融合特征图像；
基于第一特征图像和融合特征图像，获得第一权重参数；
基于第二特征图像和融合特征图像，获得第二权重参数；
基于第一特征图像及第一权重参数、和第二特征图像及第二权重参数，得到所述处理结果。
在一个可选的方案中，所述识别模型703，用于：
将第一特征图像和融合特征图像进行融合，得到第一融合图像；
将第二特征图像和融合特征图像进行融合，得到第二融合图像；
分别将第一融合图像、第二融合图像进行至少两次卷积操作；
利用激励函数分别对第一融合图像、第二融合图像进行至少两次卷积操作的操作结果进行激励，得到第一权重参数、第二权重参数。
在一个可选的方案中，所述识别模型703，用于：
至少对第一CT图像和第二CT图像分别进行至少两次卷积操作；每次卷积操作均得到相应CT图像的特征图；
至少分别对第一CT图像、第二CT图像进行其中一次卷积操作得到的特征图进行至少一次反卷积操作，得到所述第一特征图像、所述第二特征图像。
在一个可选的方案中，所述识别模型703，用于：
将第一特征图像、第二特征图像进行至少一次卷积操作；
将第一特征图像的至少一次卷积操作结果和第二特征图像的至少一次卷积操作结果进行相加操作，得到融合特征图像。
在一个可选的方案中，所述识别模型703，用于：
获得第一特征图像和第一权重参数的相乘结果；该相乘结果表征为第一特征图像与融合特征图像的像素之间的相关性；
获得第二特征图像和第二权重参数的相乘结果；该相乘结果表征为第二特征图像与融合特征图像的像素之间的相关性；
依据两个相乘结果，得到相关性结果，所述相关性结果表征为第一CT图像和第二CT图像的像素之间的相关性；
依据所述相关性结果，得到所述待识别目标区域在第一CT图像和/或第二CT图像的位置。
在一个可选的方案中，所述识别模型703，用于：
依据所述相关性结果，识别第一CT图像和/或第二CT图像中的各像素点属于病变像素点的概率；
依据识别出的概率，确定所述待识别目标区域在第一CT图像和/或第二CT图像的位置。
可以理解，所述图像处理设备中的获得单元701、输入单元702和识别模型703在实际应用中均可由识别设备的中央处理器(CPU，Central Processing Unit)、数字信号处理器(DSP，Digital Signal Processor)、微控制单元(MCU，Microcontroller Unit)或可编程门阵列(FPGA，Field－Programmable Gate Array)实现。
需要说明的是，本申请实施例的图像处理设备，由于该图像处理设备解决问题的原理与前述的图像处理方法相似，因此，图像处理设备的实施过程及实施原理均可以参见前述图像处理方法的实施过程及实施原理描述，重复之处不再赘述。
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时至少用于执行图1至图6任一所示方法的步骤。所述计算机可读存储介质具体可以为存储器。所述存储器可以为如图8所示的存储器62。
图8为本申请实施例的图像处理设备的硬件结构示意图，如图8所示，图像处理设备包括：用于进行数据传输的通信组件63、至少一个处理器61和用于存储能够在处理器61上运行的计算机程序的存储器62。终端中的各个组件通过总线系统64耦合在一起。可理解，总线系统64用于实现这些组件之间的连接通信。总线系统64除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图8中将各种总线都标为总线系统64。
其中，所述处理器61执行所述计算机程序时至少执行图1至图6任一所示方法的步骤。
本申请实施例还提供一种图像处理设备，包括存储器62、处理器61及存储在存储器上并可在处理器61上运行的计算机程序，所述处理器61执行所述程序时前述的图像处理方法的步骤。
可以理解，存储器62可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random AccessMemory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本申请实施例描述的存储器62旨在包括但不限于这些和任意其它适合类型的存储器。
上述本申请实施例揭示的方法可以应用于处理器61中，或者由处理器61实现。处理器61可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器61中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器61可以是通用处理器、DSP，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器61可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器62，处理器61读取存储器62中的信息，结合其硬件完成前述方法的步骤。
在示例性实施例中，图像处理设备可以被一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，ProgrammableLogic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、FPGA、通用处理器、控制器、MCU、微处理器(Microprocessor)、或其他电子元件实现，用于执行前述的图像处理方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
Claims (9)
1.一种图像处理方法，其特征在于，所述方法包括：
获得第一CT图像和第二CT图像，其中，第一CT图像和第二CT图像均包括待识别目标区域；第一CT图像、第二CT图像为在所述待识别目标的不同观察期而得到的图像，或是针对所述待识别目标的不同观察角度而得到的图像；
将所述第一CT图像和第二CT图像输入至识别模型；
获得第一CT图像的第一特征图像及第二CT图像的第二特征图像；
基于第一特征图像和第二特征图像，获得融合特征图像；
基于第一特征图像和融合特征图像，获得第一权重参数；
基于第二特征图像和融合特征图像，获得第二权重参数；
基于第一特征图像、第一权重参数、第二特征图像及第二权重参数，得到所述处理结果；所述处理结果表征为对所述待识别目标区域在第一CT图像和/或第二CT图像的位置的识别结果。
2.根据权利要求1所述的方法，其特征在于，所述基于第一特征图像和融合特征图像，获得第一权重参数，基于第二特征图像和融合特征图像，获得第二权重参数，包括：
将第一特征图像和融合特征图像进行融合，得到第一融合图像；
将第二特征图像和融合特征图像进行融合，得到第二融合图像；
分别将第一融合图像、第二融合图像进行至少两次卷积操作；
利用激励函数分别对第一融合图像、第二融合图像进行至少两次卷积操作的操作结果进行激励，得到第一权重参数和第二权重参数。
3.根据权利要求1或2所述的方法，其特征在于，所述获得第一CT图像的第一特征图像及第二CT图像的第二特征图像，包括：
至少对第一CT图像和第二CT图像分别进行至少两次卷积操作；每次卷积操作均得到相应CT图像的特征图；
至少分别对第一CT图像、第二CT图像进行其中一次卷积操作得到的特征图进行至少一次反卷积操作，得到所述第一特征图像和所述第二特征图像。
4.根据权利要求1或2所述的方法，其特征在于，所述基于第一特征图像和第二特征图像，获得融合特征图像，包括：
将第一特征图像、第二特征图像进行至少一次卷积操作；
将第一特征图像的至少一次卷积操作结果和第二特征图像的至少一次卷积操作结果进行相加操作，得到融合特征图像。
5.根据权利要求1所述的方法，其特征在于，所述基于第一特征图、第一权重参数、第二特征图像及第二权重参数，得到所述处理结果，包括：
获得第一特征图像和第一权重参数的相乘结果；该相乘结果表征为第一特征图像与融合特征图像的像素之间的相关性；
获得第二特征图像和第二权重参数的相乘结果；该相乘结果表征为第二特征图像与融合特征图像的像素之间的相关性；
依据两个相乘结果，得到相关性结果，所述相关性结果表征为第一CT图像和第二CT图像的像素之间的相关性；
依据所述相关性结果，得到所述待识别目标区域在第一CT图像和/或第二CT图像的位置。
6.根据权利要求5所述的方法，其特征在于，所述依据所述相关性结果，得到所述待识别目标区域在第一CT图像和/或第二CT图像的位置，包括：
依据所述相关性结果，识别第一CT图像和/或第二CT图像中的各像素点属于病变像素点的概率；
依据识别出的概率，确定所述待识别目标区域在第一CT图像和/或第二CT图像的位置。
7.一种图像处理设备，其特征在于，包括：
获得单元，用于获得第一CT图像和第二CT图像，其中，第一CT图像和第二CT图像均包括待识别目标区域；第一CT图像、第二CT图像为在所述待识别目标的不同观察期而得到的图像，或是针对所述待识别目标的不同观察角度而得到的图像；
输入单元，用于将所述第一CT图像和第二CT图像输入至识别模型；
识别模型，用于获得第一CT图像的第一特征图像及第二CT图像的第二特征图像；基于第一特征图像和第二特征图像，获得融合特征图像；基于第一特征图像和融合特征图像，获得第一权重参数；基于第二特征图像和融合特征图像，获得第二权重参数；基于第一特征图像、第一权重参数、第二特征图像及第二权重参数，得到所述处理结果；所述处理结果表征为对所述待识别目标区域在第一CT图像和/或第二CT图像的位置的识别结果。
8.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1至6任一所述方法的步骤。
9.一种图像处理设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1至6任一所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010574957.2A CN111739004B (zh) | 2020-06-22 | 2020-06-22 | 图像处理方法、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010574957.2A CN111739004B (zh) | 2020-06-22 | 2020-06-22 | 图像处理方法、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111739004A CN111739004A (zh) | 2020-10-02 |
| CN111739004B true CN111739004B (zh) | 2024-01-23 |
Family
ID=72651989
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010574957.2A Active CN111739004B (zh) | 2020-06-22 | 2020-06-22 | 图像处理方法、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111739004B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115018795B (zh) * | 2022-06-09 | 2023-04-07 | 北京医准智能科技有限公司 | 医学影像中的病灶的匹配方法、装置、设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109523525A (zh) * | 2018-11-07 | 2019-03-26 | 广州大学 | 图像融合的恶性肺结节识别方法、装置、设备及存储介质 |
| CN110111313A (zh) * | 2019-04-22 | 2019-08-09 | 腾讯科技（深圳）有限公司 | 基于深度学习的医学图像检测方法及相关设备 |
| CN110197206A (zh) * | 2019-05-10 | 2019-09-03 | 杭州深睿博联科技有限公司 | 图像处理的方法及装置 |
| WO2019200753A1 (zh) * | 2018-04-17 | 2019-10-24 | 平安科技（深圳）有限公司 | 病变监测方法、装置、计算机设备和存储介质 |
| CN110752028A (zh) * | 2019-10-21 | 2020-02-04 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置、设备以及存储介质 |
| CN110866897A (zh) * | 2019-10-30 | 2020-03-06 | 上海联影智能医疗科技有限公司 | 一种图像检测方法及计算机可读存储介质 |
| CN111179231A (zh) * | 2019-12-20 | 2020-05-19 | 上海联影智能医疗科技有限公司 | 图像处理方法、装置、设备和存储介质 |
-
2020
- 2020-06-22 CN CN202010574957.2A patent/CN111739004B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019200753A1 (zh) * | 2018-04-17 | 2019-10-24 | 平安科技（深圳）有限公司 | 病变监测方法、装置、计算机设备和存储介质 |
| CN109523525A (zh) * | 2018-11-07 | 2019-03-26 | 广州大学 | 图像融合的恶性肺结节识别方法、装置、设备及存储介质 |
| CN110111313A (zh) * | 2019-04-22 | 2019-08-09 | 腾讯科技（深圳）有限公司 | 基于深度学习的医学图像检测方法及相关设备 |
| CN110197206A (zh) * | 2019-05-10 | 2019-09-03 | 杭州深睿博联科技有限公司 | 图像处理的方法及装置 |
| CN110752028A (zh) * | 2019-10-21 | 2020-02-04 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置、设备以及存储介质 |
| CN110866897A (zh) * | 2019-10-30 | 2020-03-06 | 上海联影智能医疗科技有限公司 | 一种图像检测方法及计算机可读存储介质 |
| CN111179231A (zh) * | 2019-12-20 | 2020-05-19 | 上海联影智能医疗科技有限公司 | 图像处理方法、装置、设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111739004A (zh) | 2020-10-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TW202139208A (zh) | 圖像識別方法、電子設備和電腦可讀儲存介質 | |
| WO2022062590A1 (zh) | 图像识别方法及装置、设备、存储介质和程序 | |
| CN108154468B (zh) | 肺结节探测方法、应用服务器及计算机可读存储介质 | |
| CN113935943A (zh) | 颅内动脉瘤识别检测的方法、装置、计算机设备和存储介质 | |
| CN115471470A (zh) | 一种食管癌ct图像分割方法 | |
| CN111739004B (zh) | 图像处理方法、设备及存储介质 | |
| CN111260670B (zh) | 基于深度学习网络的三维影像的管状结构分割图断裂修复方法及系统 | |
| CN110910335A (zh) | 一种图像处理方法、图像处理设备及计算机可读存储介质 | |
| CN112634231A (zh) | 一种图像分类方法、装置、终端设备和存储介质 | |
| KR20200110111A (ko) | 의료영상정보 딥러닝 기반의 동적 다차원 질병진단 방법 및 동적 다차원 질병진단 장치 | |
| CN113870215A (zh) | 中线提取方法及装置 | |
| CN116469545A (zh) | 使用医学图像进行辅助疾病预测的方法、装置及设备 | |
| CN114972106A (zh) | 内窥镜的图像处理方法、装置、图像处理设备和内窥镜 | |
| CN115249228A (zh) | 胸部x射线图像识别方法、装置、计算机设备和存储介质 | |
| CN116740081A (zh) | Ct图像中肺血管分割方法、装置、终端设备及介质 | |
| CN115760868A (zh) | 基于拓扑感知的结直肠和结直肠癌分割方法、系统、设备及介质 | |
| CN114998582A (zh) | 一种冠脉血管的分割方法、装置及存储介质 | |
| CN114998980A (zh) | 一种虹膜检测方法、装置、电子设备及存储介质 | |
| CN114445919A (zh) | 一种人脸识别方法、系统、电子设备以及存储介质 | |
| CN114565623A (zh) | 肺血管分割方法、装置、存储介质及电子设备 | |
| CN116664644B (zh) | 一种基于磁共振图像的血管中心线配准方法及装置 | |
| CN113763403B (zh) | 一种冠状动脉血管分割方法及装置 | |
| CN116309582B (zh) | 一种便携式超声扫描图像的识别方法、装置及电子设备 | |
| CN116542918A (zh) | 图像配准模型训练方法及装置、图像处理方法 | |
| KR102655362B1 (ko) | 의료 이미지 스티칭 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |