CN110021025B - 感兴趣区域的匹配和显示方法、装置、设备及存储介质 - Google Patents

感兴趣区域的匹配和显示方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN110021025B
CN110021025B CN201910248308.0A CN201910248308A CN110021025B CN 110021025 B CN110021025 B CN 110021025B CN 201910248308 A CN201910248308 A CN 201910248308A CN 110021025 B CN110021025 B CN 110021025B
Authority
CN
China
Prior art keywords
interest
image
region
matching
feature point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910248308.0A
Other languages
English (en)
Other versions
CN110021025A (zh
Inventor
王斌
聂建龙
曹晓欢
薛忠
詹翊强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai United Imaging Intelligent Healthcare Co Ltd
Original Assignee
Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai United Imaging Intelligent Healthcare Co Ltd filed Critical Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority to CN201910248308.0A priority Critical patent/CN110021025B/zh
Publication of CN110021025A publication Critical patent/CN110021025A/zh
Application granted granted Critical
Publication of CN110021025B publication Critical patent/CN110021025B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种感兴趣区域的匹配和显示方法、装置、设备及存储介质，所述方法包括：获取第一图像和第二图像；基于影像灰度信息和/或元数据配准所述第一图像和所述第二图像，得到所述第一图像与所述第二图像的空间变换关系；分割所述第一图像得到第一感兴趣区域，分割所述第二图像得到第二感兴趣区域；根据所述空间变换关系匹配所述第一感兴趣区域与所述第二感兴趣区域得到匹配结果；显示所述匹配结果。本发明可以自动检测和分割感兴趣区域，自动匹配跟踪不同时期的同一感兴趣区域，并量化显示感兴趣区域的变化趋势，最终给出诊断结果，诊断过程简单高效。

Description

感兴趣区域的匹配和显示方法、装置、设备及存储介质
技术领域
本发明涉及图像处理技术领域，具体涉及一种感兴趣区域的匹配和显示方法、装置、设备及存储介质。
背景技术
对于许多病患来说，实时掌握身体病变部位或者病灶(如肿瘤)的变化情况，对于了解病情，把握治疗时机具有至关重要的作用。所以如何掌握病灶的变化一直是医学上的研究热点。现有的基于影像的随访疾病评估分析是手动的，即医生手动的打开病人当前影像数据与历史影像数据，在每个图像中找到对应的解剖结构，进而观察评估相同病灶的变化，给出诊断结果。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明第一方面提出一种感兴趣区域的匹配和显示方法，包括：
获取第一图像和第二图像；
基于影像灰度信息和/或元数据配准所述第一图像和所述第二图像，得到所述第一图像与所述第二图像的空间变换关系；
分割所述第一图像得到第一感兴趣区域，分割所述第二图像得到第二感兴趣区域；
根据所述空间变换关系匹配所述第一感兴趣区域与所述第二感兴趣区域得到匹配结果；
显示所述匹配结果。
进一步地，所述显示所述匹配结果之后，还包括：
响应于用户对第一显示窗口中目标感兴趣区域的选择操作，调整所述目标感兴趣区域的匹配感兴趣区域在第二显示窗口中的显示位置；
其中，所述匹配感兴趣区域在所述第二显示窗口的显示位置与所述目标感兴趣区域在所述第一显示窗口中的显示位置相同或相近。
进一步地，所述调整所述目标感兴趣区域的匹配感兴趣区域在第二显示窗口中的显示位置，包括：
获取所述目标感兴趣区域的特征点与所述第一显示窗口的相对位置信息；所述特征点包括所述目标感兴趣区域的质心和/或围绕所述目标感兴趣区域的几何形状的中心；
确定所述特征点在所述第二显示窗口中的匹配特征点，获取所述匹配特征点的调整前的位置信息；
根据所述匹配特征点的调整前的位置信息和所述相对位置信息，得到所述匹配特征点在所述第二显示窗口中的调整后的位置信息；
基于所述调整后的位置信息确定所述匹配特征点对应的匹配感兴趣区域在所述第二显示窗口中的显示位置。
进一步地，所述根据所述空间变换关系匹配所述第一感兴趣区域与所述第二感兴趣区域得到匹配结果，包括：
提取所述第一感兴趣区域的特征点和所述第二感兴趣区域的特征点；
根据所述空间变换关系匹配所述第一感兴趣区域的特征点与所述第二感兴趣区域的特征点，得到所述匹配结果。
进一步地，所述根据所述空间变换关系匹配所述第一感兴趣区域的特征点与所述第二感兴趣区域的特征点，包括：
以所述第一感兴趣区域的特征点为第一特征点构建第一特征点集，以所述第二感兴趣区域的特征点为第二特征点构建第二特征点集；基于所述空间变换关系将所述第二特征点集转换到所述第一图像的图像空间，得到第一关联特征点集；
寻找所述第一特征点集中与所述第一关联特征点集中彼此最近的特征点作为匹配的特征点；
确定不存在彼此最近的第一关联特征点的所述第一特征点为消失的特征点，和/或，确定不存在彼此最近的所述第一特征点的所述第一关联特征点为新增的特征点。
进一步地，所述寻找所述第一特征点集中与所述第一关联特征点集中彼此最近的特征点作为匹配的特征点，包括：
在预设邻域内将所述第一关联特征点集中距离所述第一特征点最近的所述第一关联特征点确定为第二关联特征点；
在所述预设邻域内将距离所述第二关联特征点最近的所述第一特征点确定为第三关联特征点；
判断所述第一特征点与所述第三关联特征点是否为同一特征点；若是，获取距离所述第二关联特征点最近的所述第一关联特征点的序数，将具有所述序数的所述第二特征点作为所述第一特征点的匹配点；
遍历所述第一特征点集中的所述第一特征点，得到所述匹配结果。
进一步地，所述元数据包括取自所述图像头文件的信息、图像成像参数、图像成像时间和图像拍摄对象的信息中的一个或多个。
本发明第二方面提出一种感兴趣区域的匹配和显示装置，包括：
获取模块，用于获取第一图像和第二图像；
配准模块，用于基于影像灰度信息和/或元数据配准所述第一图像和所述第二图像，得到所述第一图像与所述第二图像的空间变换关系；
分割模块，用于分割所述第一图像得到第一感兴趣区域，分割所述第二图像得到第二感兴趣区域；
匹配模块，用于根据所述空间变换关系匹配所述第一感兴趣区域与所述第二感兴趣区域得到匹配结果；
显示模块，用于显示所述匹配结果。
本发明第三方面提出一种设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如本发明第一方面提出的感兴趣区域的匹配和显示方法。
本发明第四方面提出一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如本发明第一方面提出的感兴趣区域的匹配和显示方法。
由上述本发明提供的感兴趣区域的匹配和显示方法、装置、设备或存储介质的实施例可见，本发明实施例中的图像感兴趣区域匹配和显示方法可以应用在基于医学影像的随访评估场景下，该方法可以自动检测和分割感兴趣区域，感兴趣区域可以是器官和/或病灶，自动匹配跟踪不同时期的同一感兴趣区域，并量化显示感兴趣区域的变化趋势，最终给出诊断结果。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1是本发明实施例提供的感兴趣区域的匹配和显示方法的流程图；
图2是本发明实施例提供的某个病人肺部肿瘤在不同时期的体积变化示意图；
图3是本发明实施例提供的调整前的感兴趣区域显示位置示意图；
图4是本发明实施例提供的感兴趣区域的匹配和显示方法的流程图；
图5是本发明实施例提供的调整后的感兴趣区域显示位置示意图；
图6是本发明实施例提供的步骤S106的流程图；
图7是本发明实施例提供的匹配第一特征点与第二特征点的流程图；
图8是本发明实施例提供的感兴趣区域的匹配和显示方法的流程图；
图9是本发明实施例提供的一个病人的检查序列示意图；
图10是本发明实施例提供的图像分割对比示意图；
图11是本发明实施例提供的配准前后的图像对比示意图；
图12是本发明实施例提供的匹配结果示意图；
图13是本发明实施例提供的以文本形式展示的匹配结果示意图；
图14是本发明实施例提供的以表格形式展示的匹配结果示意图；
图15是本发明实施例提供的以图形形式展示的匹配结果示意图；
图16是本发明实施例提供的特征点与匹配特征点的位置示意图；
图17是本发明实施例提供的感兴趣区域的匹配和显示装置的结构框图；
图18是本发明实施例提供的感兴趣区域的匹配和显示装置的结构框图；
图19是本发明实施例提供的联动显示模块的结构框图；
图20是本发明实施例提供的特征点匹配模块的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。
实施例
图1是本发明实施例提供的感兴趣区域的匹配和显示方法的流程图，本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图1所示，所述方法可以包括：
S101：获取第一图像和第二图像；
具体地，以第一图像为基准图像，第二图像为第一图像的关联图像，第一图像与第二图像均对应于同一病人的同一解剖结构，且第二图像是相对于第一图像在以下中的至少一个之后捕获的：预定时间段的逝去、处置的施予以及重大医学事件的发生。
具体地，第一图像的数量为一个，第二图像的数量为N个，N可以是任意正整数。
可选地，步骤S101包括：响应于用户选择操作，直接确定用于随访对比的第一图像和第二图像；
可选地，步骤S101包括：响应于用户选择操作，确定第一图像；根据所述第一图像自动获取第二图像。
S102：基于影像灰度信息和/或元数据配准第一图像和第二图像，得到第一图像与第二图像的空间变换关系Ti,i∈N；
具体地，元数据包括取自图像头文件的信息、图像成像参数、图像成像时间和图像拍摄对象的信息中的一个或多个。
将N个第二图像配准到第一图像的图像空间，能够使第二图像中的第二感兴趣区域与第一图像中的第一感兴趣区域具有相同的解剖结构信息；
具体地，步骤S102之后还包括：将每一个第二图像与第一图像的空间变换关系Ti,i∈N保存在数据存储模块，以便于快速智能关联N个第二图像与第一图像。
具体的，数据存储模块用于存储随访过程中的计算数据，存储的内容可包含感兴趣区域检测量化结果、图像配准结果、感兴趣区域匹配跟踪关联结果、随访量化结果等，数据存储模块保存的结果可以放在数据库、本地磁盘或者云端。
S103：分割第一图像得到第一感兴趣区域，分割第二图像得到第二感兴趣区域；
需要指出的是，步骤S102与步骤S103可以同时进行，也可以先执行步骤S102、再执行步骤S103，或者，先执行步骤S103、再执行步骤S102。
具体地，所述第一图像中的第一感兴趣区域为一个或多个，所述第一感兴趣区域包括器官和/或病灶；
具体地，所述第二图像中的第二感兴趣区域为一个或多个，所述第二感兴趣区域包括器官和/或病灶；
具体地，图像分割结果包括感兴趣区域位置、感兴趣区域包络框、感兴趣区域轮廓、感兴趣区域掩模和感兴趣区域量化结果中的一个或多个，根据实际需要图像分割结果还可以包括其他参数。
详细地，感兴趣区域量化结果包括但不局限于感兴趣区域中心位置、体积、面积、亮度、长短径、质量等参数。
S104：根据空间变换关系匹配第一感兴趣区域与第二感兴趣区域得到匹配结果；
例如，在同一病人不同时间获取的影像数据上，对同一肿瘤进行匹配跟踪，如果每张图像可以检测出多个病灶，把每一个配准对中的两幅图像检测出来的多个病灶进行一一映射，区分它们是否是同一个组织或病灶。同时，根据量化评估标准对病灶的随访结果进行量化评估，例如，肿瘤区域的随访结果可以是肿瘤区域增加、减少、不变、发现新增肿瘤、原有肿瘤消失。
S105：显示匹配结果。
具体地，匹配结果包括第一图像和N个第二图像、感兴趣区域标记、感兴趣区域量化结果以及同一感兴趣区域不同时期的变化；匹配结果可以用来进一步跟踪显示某个具体感兴趣区域多个时期的变化趋势。
图2是本发明实施例提供的某个病人肺部肿瘤在不同时期的体积变化示意图，具体的如图2所示，该肺部肿瘤的体积在不断的减小，因此，可以初步诊断病情有好转趋势。
感兴趣区域量化结果可以显示图像感兴趣区域标记附近，可以以文本，表格或柱状图等不同方式展示，以求达到简单直观的目的。
感兴趣区域的匹配和显示方法同时支持数据可视化的交互操作，用户可以在交互界面上执行常用的阅片操作，查阅检测出的感兴趣区域的位置与影像信息。
具体地，常用的阅片操作包括但不限于旋转图像、平移图像、缩放、调节窗宽窗位、翻页、标记定位点等操作。
在一些实施例中，目标感兴趣区域在第一显示窗口的显示位置与该目标感兴趣区域的匹配感兴趣区域在第二显示窗口中的显示位置可能是不同的。图3是本发明实施例提供的调整前的感兴趣区域显示位置示意图，具体的如图3所示，目标感兴趣区域的光标位置为(-315.48，-178.73，69.46)，匹配感兴趣区域的光标位置为(-291.01，-228.30，111.46)。
图4是本发明实施例提供的感兴趣区域的匹配和显示方法的流程图，交互操作会联动第一图像和第二图像的相同解剖结构信息，具体的如图4所示，步骤S105之后，还包括：
S106：响应于用户对第一显示窗口中目标感兴趣区域的选择操作，调整目标感兴趣区域的匹配感兴趣区域在第二显示窗口中的显示位置；调整后的匹配感兴趣区域在第二显示窗口的显示位置与目标感兴趣区域在第一显示窗口中的显示位置相同或相近。
图5是本发明实施例提供的调整后的感兴趣区域显示位置示意图，具体的如图5所示，目标感兴趣区域的光标位置为(-315.48，-178.09，69.00)，匹配感兴趣区域的光标位置为(-315.80，-178.09，69.00)。
图6是本发明实施例提供的步骤S106的流程图，具体的如图6所示，在一个实施例中，步骤S106中，调整目标感兴趣区域的匹配感兴趣区域在第二显示窗口中的显示位置，包括：
S1061：获取目标感兴趣区域的特征点与第一显示窗口的相对位置信息；特征点包括目标感兴趣区域的质心和/或围绕目标感兴趣区域的几何形状的中心；
具体地，围绕目标感兴趣区域的几何形状包括但不限于圆形、正方形、矩形和3D几何形状，根据实际需要本领域人员还可以选用其它2D几何形状。
S1062：确定特征点在第二显示窗口中的匹配特征点，获取匹配特征点的调整前的位置信息；
需要说明的是，假设某个第一图像B到一个第二图像H1的变化关系为T1，该第一图像到另一个第二图像H2的变换关系为T2，则在第一图像上标记定位点P，则在第二图像H1上会自动标记定位点P1＝T1*P，在第二图像H2上会自动标记定位点P2＝T2*P，理论上，P在第一图像B上的解剖结构与P1在第二图像H1上的解剖结构以及P2在第二图像H2上的解剖结构是同一个。
S1063：根据匹配特征点的调整前的位置信息和相对位置信息，得到匹配特征点在第二显示窗口中的调整后的位置信息；
S1064：基于调整后的位置信息确定匹配特征点对应的匹配感兴趣区域在第二显示窗口中的显示位置。
例如，用户在第一图像上的标记定位点操作，该定位点会通过图像配准模块获取的转换关系，将当前位置的点坐标转换到第二图像中进行显示，反之亦然，其他操作也有对应联动关系，如翻页等。
在一个实施例中，步骤S104包括：
提取第一感兴趣区域的特征点和第二感兴趣区域的特征点；
根据空间变换关系匹配第一感兴趣区域的特征点与第二感兴趣区域的特征点，得到匹配结果。
图7是本发明实施例提供的匹配第一特征点与第二特征点的流程图，具体的如图7所示，在一个实施例中，根据空间变换关系匹配第一感兴趣区域的特征点与第二感兴趣区域的特征点，包括：
S201：以第一感兴趣区域的特征点为第一特征点构建第一特征点集X＝{x1,x2,...,xm}，以第二感兴趣区域的特征点为第二特征点构建第二特征点集Y＝{y1,y2…yn}；
S202：基于空间变换关系T将第二特征点集Y＝{y1,y2…yn}转换到第一图像的图像空间zi＝T(yi)，i∈n；，得到第一关联特征点集Z＝{z1,z2,…,zn}；
S203：寻找第一特征点集X中与第一关联特征点集Z中彼此最近的特征点作为匹配的特征点；
S204：确定不存在彼此最近的第一关联特征点的第一特征点为消失的特征点，和/或，确定不存在彼此最近的第一特征点的第一关联特征点为新增的特征点。
进一步地，步骤S202包括：
在预设邻域内将第一关联特征点集Z＝{z1,z2,…,zn}中距离第一特征点xi最近的第一关联特征点确定为第二关联特征点zs1；得到基准图像病灶xi的δ邻域关联图像病灶点集为S1＝(zs1,zs2,…,zsk)；
具体地，假设当前遍历病灶的中心位置为xi，则以xi为中心，δ为半径的球内区域得到第二关联特征点集S1＝(zs1,zs2,…,zsk)，使得S1为(z1,z2,…,zm)的子集且(zs1-xi)2≤(zs2-xi)2≤…≤(zsk-xi)2≤δ2；在预设邻域内将距离第二关联特征点zs1最近的第一特征点确定为第三关联特征点xs1；得到点zs1的δ邻域的第三关联特征点集为S2＝(xs1,xs2,…,xst)，使得S2为(x1，x2,…,xm)的子集且(xs1-zs1)2≤(xs2-zs1)2≤…≤(xst-zs1)2≤δ2；
判断第一特征点xi与第三关联特征点xs1是否为同一特征点；若是，获取距离第二关联特征点最近的第一关联特征点的序数，将具有序数的第二特征点作为第一特征点的匹配点；
若集合S1和S2非空且xs1＝＝xi，则xi和zs1匹配，否则xi和zs1不匹配，若zs1＝＝zk，则原始xi与zk匹配，进一步即xi与yk匹配。
遍历第一特征点集中的第一特征点，得到匹配结果。假设x1,x2,…,xm和z1，z2,…,zn有k(k≤m,k≤n)个匹配，则有m-k个病灶是新增的，有n-k个病灶消失了。
图8是本发明实施例提供的感兴趣区域的匹配和显示方法的流程图，具体的如图8所示，在一个实施例中，步骤S101之后还包括：
S301：判断数据库中是否存储有第一图像和第二图像；
S302：若是，获取第一图像与第二图像对应的图像配准信息；
S303：若否，转向将第一图像和第二图像配准的步骤。
也就是说，当第二次及以后输入相同的第一图像和第二图像时，可以直接去存储模块获取两者的空间变化关系T以及感兴趣区域的检测和量化显示结果，而不需要重新计算第一图像和第二图像的感兴趣区域检测量化算法和它们之间的配准算法，这两个算法通常是比较耗时的，大大提高阅片效率，优化了用户体验；而且根据第一图像和第二图像的空间变化关系T也可以直接计算出图像间的交互联动关系。
下面以某种病灶检测为例对本发明实施例提供的感兴趣区域匹配和显示方法进行说明。
图9是本发明实施例提供的一个病人的检查序列示意图，具体的如图9所示，从PACS或者其他病人管理数据库中选择一个病人的检查序列，在该病人的检查序列中选取来自Study Date为20180423的序列的图像为第一图像B，以来自Study Date为其他值的检查序列的图像为第二图像。
图10是本发明实施例提供的图像分割对比示意图，具体的如图10所示，分割图像时，每一个第二图像与第一图像组成一组，图10中的第一图像B为来自Study Date为20180423的序列的图像，第二图像H1为来自Study Date为20150727的序列的图像。左上方为分割前的第一图像，左下方为分割后的第一图像，右上方为分割前的第二图像，右下方为分割后的第二图像，分割出来的感兴趣区域以灰色矩形框表示。
图11是本发明实施例提供的配准前后的图像对比示意图，具体的如图11所示，第一图像B为来自Study Date为20180423的序列的图像，第二图像H1为来自Study Date为20150727的序列的图像，第二图像H2为来自Study Date为20161201的序列的图像。将第二图像H1与第一图像B进行配准得到空间变换关系T1，将第二图像H2与第一图像B进行配准得到空间变换关系T2，其中，左上图为第二图像H1配准前的图像，左下图为第二图像H1配准后的图像，中上图为第二图像H2配准前的图像，中下图为第二图像H2配准后的图像，右上图为第一图像B，右下图为第一图像B。
图12是本发明实施例提供的匹配结果示意图，具体的如图12所示，第一图像B为来自Study Date为20180423的序列的图像，第二图像H1为来自Study Date为20150727的序列的图像，将第一图像B与第二图像H1中感兴趣区域中心点距离小于3cm的感兴趣区域作为一个匹配对，得到以下匹配结果：
第一图像B中编号为1的感兴趣区域与第二图像H1中编号为1的感兴趣区域对应，第一图像B中编号为2的感兴趣区域与第二图像H1中编号为2的感兴趣区域对应，第一图像B中编号为3的感兴趣区域与第二图像H1中编号为3的感兴趣区域对应；第一图像B中编号为5的感兴趣区域与第二图像H1中编号为5的感兴趣区域对应；
第一图像B中编号为4的感兴趣区域在第二图像H1中没有对应的感兴趣区域；
第二图像H1中编号为4的感兴趣区域在第一图像B中没有对应的感兴趣区域。
图13是本发明实施例提供的以文本形式展示的匹配结果示意图，图14是本发明实施例提供的以表格形式展示的匹配结果示意图，图15是本发明实施例提供的以图形形式展示的匹配结果示意图，具体的如图13-15所示，每组第一图像与第二图像的匹配结果都可以采用文本，表格，图形三种展现方式中的一种或多种。
图16是本发明实施例提供的特征点与匹配特征点的位置示意图，具体的如图16所示，确定矩形框内的辅助线的交点为感兴趣区域的特征点，该特征点也称锚点，锚点从左至右依次是p1、p2和p。假设第一图像B到第二图像H1的空间变换关系为T1，第一图像B到第二图像H2的空间变换关系为T2，在第一图像B设置了锚点为p＝(-316.61，-177.74，-68.61)则对应的第二图像H1的锚点位置p1＝T1*p＝(-309.28，-172.34，65.88)，对应的第二图像H2的锚点位置p2＝T2*p＝(-309.28，-172.34，89.88)，可见第二图像H1的锚点p1以及第二图像H2的锚点p2是第一图像B的锚点p经过T转换得到的。
图17是本发明实施例提供的感兴趣区域的匹配和显示装置的结构框图，具体的如图17所示，感兴趣区域的匹配和显示装置包括：
获取模块401，用于获取第一图像和第二图像；
配准模块402，用于基于影像灰度信息和/或元数据配准所述第一图像和所述第二图像，得到所述第一图像与所述第二图像的空间变换关系；
分割模块403，用于分割所述第一图像得到第一感兴趣区域，分割所述第二图像得到第二感兴趣区域；
匹配模块404，用于根据所述空间变换关系匹配所述第一感兴趣区域与所述第二感兴趣区域得到匹配结果；
显示模块405，用于显示所述匹配结果。
图18是本发明实施例提供的感兴趣区域的匹配和显示装置的结构框图，具体的如图18所示，在一个实施例中，该装置还包括：
联动显示模块406，用于响应于用户对第一显示窗口中目标感兴趣区域的选择操作，调整目标感兴趣区域的匹配感兴趣区域在第二显示窗口中的显示位置；
其中，匹配感兴趣区域在第二显示窗口的显示位置与目标感兴趣区域在第一显示窗口中的显示位置相同或相近。
图19是本发明实施例提供的联动显示模块的结构框图，具体的如图19所示，在一个实施例中，联动显示模块包括：
相对位置获取模块4061，用于获取目标感兴趣区域的特征点与第一显示窗口的相对位置信息；特征点包括目标感兴趣区域的质心和/或围绕目标感兴趣区域的几何形状的中心；
初始位置获取模块4062，用于确定特征点在第二显示窗口中的匹配特征点，获取匹配特征点的调整前的位置信息；
最终位置计算模块4063，用于根据匹配特征点的调整前的位置信息和相对位置信息，得到匹配特征点在第二显示窗口中的调整后的位置信息；
显示位置确定模块4064，用于基于调整后的位置信息确定匹配特征点对应的匹配感兴趣区域在第二显示窗口中的显示位置。
在一个实施例中，匹配模块404包括：
特征点提取模块，用于提取第一感兴趣区域的特征点和第二感兴趣区域的特征点；
特征点匹配模块，用于根据空间变换关系匹配第一感兴趣区域的特征点与第二感兴趣区域的特征点，得到匹配结果。
图20是本发明实施例提供的特征点匹配模块的结构框图，具体的如图20所示，在一个实施例中，特征点匹配模块包括：
构建模块501，用于以第一感兴趣区域的特征点为第一特征点构建第一特征点集，以第二感兴趣区域的特征点为第二特征点构建第二特征点集；
转换模块502，用于基于空间变换关系将第二特征点集转换到第一图像的图像空间，得到第一关联特征点集；
寻找模块503，用于寻找第一特征点集中与第一关联特征点集中彼此最近的特征点作为匹配的特征点；
确定模块504，用于确定不存在彼此最近的第一关联特征点的第一特征点为消失的特征点，和/或，确定不存在彼此最近的第一特征点的第一关联特征点为新增的特征点。
进一步地，转换模块502包括：
第二关联特征点确定模块，用于在预设邻域内将第一关联特征点集中距离第一特征点最近的第一关联特征点确定为第二关联特征点；
第三关联特征点确定模块，用于在预设邻域内将距离第二关联特征点最近的第一特征点确定为第三关联特征点；
判断模块，用于判断第一特征点与第三关联特征点是否为同一特征点；
序数确定模块，用于若是，获取距离第二关联特征点最近的第一关联特征点的序数，将具有序数的第二特征点作为第一特征点的匹配点；
遍历模块，用于遍历第一特征点集中的第一特征点，得到匹配结果。
具体地，元数据包括取自图像头文件的信息、图像成像参数、图像成像时间和图像拍摄对象的信息中的一个或多个。
本发明的实施例还提供了一种设备，设备包括处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如方法实施例中的感兴趣区域的匹配和显示方法。
本发明的实施例还提供了一种存储介质，所述存储介质可设置于服务器之中以保存用于实现方法实施例中的感兴趣区域的匹配和显示方法相关的至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现上述方法实施例提供的感兴趣区域的匹配和显示方法。
可选地，在本实施例中，上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
由上述本发明提供的感兴趣区域的匹配和显示方法、装置、设备或存储介质的实施例可见，本发明实施例中的图像感兴趣区域匹配和显示方法可以应用在基于医学影像的随访评估场景下，该方法可以自动检测和分割感兴趣区域(例如器官、病灶)，自动匹配跟踪不同时期的同一感兴趣区域，并量化显示感兴趣区域的变化趋势，最终给出诊断结果，诊断过程简单高效。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置和服务器实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种感兴趣区域的匹配和显示方法，其特征在于，包括：
获取第一图像和第二图像；
基于影像灰度信息和/或元数据配准所述第一图像和所述第二图像，得到所述第一图像与所述第二图像的空间变换关系；
分割所述第一图像得到第一感兴趣区域，分割所述第二图像得到第二感兴趣区域；
根据所述空间变换关系匹配所述第一感兴趣区域与所述第二感兴趣区域得到匹配结果；
显示所述匹配结果；所述显示所述匹配结果，还包括：
响应于用户对第一显示窗口中目标感兴趣区域的选择操作，获取所述目标感兴趣区域的特征点与所述第一显示窗口的相对位置信息；所述特征点包括所述目标感兴趣区域的质心和/或围绕所述目标感兴趣区域的几何形状的中心；
确定所述特征点在第二显示窗口中的匹配特征点，获取所述匹配特征点的调整前的位置信息；
根据所述匹配特征点的调整前的位置信息和所述相对位置信息，得到所述匹配特征点在所述第二显示窗口中的调整后的位置信息；
基于所述调整后的位置信息确定所述匹配特征点对应的匹配感兴趣区域在所述第二显示窗口中的显示位置；其中，所述匹配感兴趣区域在所述第二显示窗口的显示位置与所述目标感兴趣区域在所述第一显示窗口中的显示位置相同或相近。
2.根据权利要求1所述的方法，其特征在于，所述根据所述空间变换关系匹配所述第一感兴趣区域与所述第二感兴趣区域得到匹配结果，包括：
提取所述第一感兴趣区域的特征点和所述第二感兴趣区域的特征点；
根据所述空间变换关系匹配所述第一感兴趣区域的特征点与所述第二感兴趣区域的特征点，得到所述匹配结果。
3.根据权利要求2所述的方法，其特征在于，所述根据所述空间变换关系匹配所述第一感兴趣区域的特征点与所述第二感兴趣区域的特征点，包括：
以所述第一感兴趣区域的特征点为第一特征点构建第一特征点集，以所述第二感兴趣区域的特征点为第二特征点构建第二特征点集；基于所述空间变换关系将所述第二特征点集转换到所述第一图像的图像空间，得到第一关联特征点集；
寻找所述第一特征点集中与所述第一关联特征点集中彼此最近的特征点作为匹配的特征点；
确定不存在彼此最近的第一关联特征点的所述第一特征点为消失的特征点，和/或，确定不存在彼此最近的所述第一特征点的所述第一关联特征点为新增的特征点。
4.根据权利要求3所述的方法，其特征在于，所述寻找所述第一特征点集中与所述第一关联特征点集中彼此最近的特征点作为匹配的特征点，包括：
在预设邻域内将所述第一关联特征点集中距离所述第一特征点最近的所述第一关联特征点确定为第二关联特征点；
在所述预设邻域内将距离所述第二关联特征点最近的所述第一特征点确定为第三关联特征点；
判断所述第一特征点与所述第三关联特征点是否为同一特征点；若是，获取距离所述第二关联特征点最近的所述第一关联特征点的序数，将具有所述序数的所述第二特征点作为所述第一特征点的匹配点；
遍历所述第一特征点集中的所述第一特征点，得到所述匹配结果。
5.根据权利要求1所述的方法，其特征在于，所述元数据包括取自图像头文件的信息、图像成像参数、图像成像时间和图像拍摄对象的信息中的一个或多个。
6.一种感兴趣区域的匹配和显示装置，其特征在于，包括：
获取模块，用于获取第一图像和第二图像；
配准模块，用于基于影像灰度信息和/或元数据配准所述第一图像和所述第二图像，得到所述第一图像与所述第二图像的空间变换关系；
分割模块，用于分割所述第一图像得到第一感兴趣区域，分割所述第二图像得到第二感兴趣区域；
匹配模块，用于根据所述空间变换关系匹配所述第一感兴趣区域与所述第二感兴趣区域得到匹配结果；
显示模块，用于显示所述匹配结果；
联动显示模块，用于响应于用户对第一显示窗口中目标感兴趣区域的选择操作，调整所述目标感兴趣区域的匹配感兴趣区域在第二显示窗口中的显示位置；其中，所述匹配感兴趣区域在所述第二显示窗口的显示位置与所述目标感兴趣区域在所述第一显示窗口中的显示位置相同或相近；
其中，联动显示模块包括：
相对位置获取模块，用于获取所述目标感兴趣区域的特征点与所述第一显示窗口的相对位置信息；所述特征点包括所述目标感兴趣区域的质心和/或围绕所述目标感兴趣区域的几何形状的中心；
初始位置获取模块，用于确定所述特征点在所述第二显示窗口中的匹配特征点，获取所述匹配特征点的调整前的位置信息；
最终位置计算模块，用于根据所述匹配特征点的调整前的位置信息和所述相对位置信息，得到所述匹配特征点在所述第二显示窗口中的调整后的位置信息；
显示位置确定模块，用于基于调整后的位置信息确定所述匹配特征点对应的匹配感兴趣区域在所述第二显示窗口中的显示位置。
7.一种感兴趣区域的匹配和显示设备，其特征在于，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1-5任一项所述的感兴趣区域的匹配和显示方法。
8.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1-5任一项所述的感兴趣区域的匹配和显示方法。
CN201910248308.0A 2019-03-29 2019-03-29 感兴趣区域的匹配和显示方法、装置、设备及存储介质 Active CN110021025B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910248308.0A CN110021025B (zh) 2019-03-29 2019-03-29 感兴趣区域的匹配和显示方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910248308.0A CN110021025B (zh) 2019-03-29 2019-03-29 感兴趣区域的匹配和显示方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN110021025A CN110021025A (zh) 2019-07-16
CN110021025B true CN110021025B (zh) 2021-07-06

Family

ID=67190204

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910248308.0A Active CN110021025B (zh) 2019-03-29 2019-03-29 感兴趣区域的匹配和显示方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN110021025B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110766730B (zh) * 2019-10-18 2023-02-28 上海联影智能医疗科技有限公司 图像配准及随访评估方法、存储介质及计算机设备
CN110782489B (zh) * 2019-10-21 2022-09-30 科大讯飞股份有限公司 影像数据的匹配方法、装置、设备及计算机可读存储介质
CN110766735B (zh) * 2019-10-21 2020-06-26 北京推想科技有限公司 一种图像的匹配方法、装置、设备及存储介质
CN110838104B (zh) * 2019-10-30 2022-08-23 上海联影智能医疗科技有限公司 多时间点的感兴趣区域匹配方法、设备和存储介质
CN111027548B (zh) * 2019-12-06 2024-03-05 中国人民解放军第四军医大学 基于影像组学的脑胶质瘤分子标记物无损预测方法、系统
CN111145152B (zh) * 2019-12-24 2024-02-27 上海联影智能医疗科技有限公司 图像检测方法、计算机设备和存储介质
CN111583177B (zh) * 2020-03-31 2023-08-04 杭州依图医疗技术有限公司 一种医学影像的显示方法及装置、存储介质
CN111476768B (zh) * 2020-04-02 2021-07-20 推想医疗科技股份有限公司 图像配准方法、装置、路径规划方法、装置、系统及介质
CN111768393A (zh) * 2020-07-01 2020-10-13 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
CN111951316A (zh) * 2020-07-27 2020-11-17 上海联影智能医疗科技有限公司 图像量化方法和存储介质
CN112085730A (zh) * 2020-09-18 2020-12-15 上海联影医疗科技股份有限公司 感兴趣区域成分分析方法、装置、电子设备和介质
CN114041166A (zh) * 2020-12-28 2022-02-11 深圳迈瑞生物医疗电子股份有限公司 一种卵泡跟踪方法和系统
CN113591852B (zh) * 2021-08-09 2022-08-23 数坤(北京)网络科技股份有限公司 感兴趣区域标记的方法和装置
CN113538606B (zh) * 2021-08-17 2022-07-22 数坤(北京)网络科技股份有限公司 图像关联方法、装置、计算机可读存储介质及电子设备
CN117496277B (zh) * 2024-01-02 2024-03-12 达州市中心医院(达州市人民医院) 基于人工智能的直肠癌影像数据建模处理方法和系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2648160A1 (en) * 2012-04-03 2013-10-09 Intrasense Topology-preserving ROI remapping method between medical images
CN104224175A (zh) * 2013-09-27 2014-12-24 复旦大学附属华山医院 一种融合二维磁共振波谱和三维磁共振导航影像的方法
CN106157282A (zh) * 2015-03-31 2016-11-23 深圳迈瑞生物医疗电子股份有限公司 图像处理系统及方法
CN106934807A (zh) * 2015-12-31 2017-07-07 深圳迈瑞生物医疗电子股份有限公司 一种医学影像分析方法、系统及医疗设备
CN107049475A (zh) * 2017-04-19 2017-08-18 纪建松 肝癌局部消融方法及系统
CN109509151A (zh) * 2018-11-30 2019-03-22 中国科学院苏州纳米技术与纳米仿生研究所 图像及视频拼接方法、计算机可读存储介质及计算机设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101350101B (zh) * 2008-09-09 2011-12-07 北京航空航天大学 多幅深度图像自动配准方法
CN106228510B (zh) * 2016-08-11 2019-01-29 中国电子科技集团公司第三十八研究所 基于畸变程度分割的无人机载实时sar图像配准方法
CN106778793B (zh) * 2016-11-30 2020-02-18 中国科学院深圳先进技术研究院 一种影像特征的可重复性测量方法及装置
CN106991694B (zh) * 2017-03-17 2019-10-11 西安电子科技大学 基于显著区域面积匹配的心脏ct与超声图像配准方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2648160A1 (en) * 2012-04-03 2013-10-09 Intrasense Topology-preserving ROI remapping method between medical images
CN104224175A (zh) * 2013-09-27 2014-12-24 复旦大学附属华山医院 一种融合二维磁共振波谱和三维磁共振导航影像的方法
CN106157282A (zh) * 2015-03-31 2016-11-23 深圳迈瑞生物医疗电子股份有限公司 图像处理系统及方法
CN106934807A (zh) * 2015-12-31 2017-07-07 深圳迈瑞生物医疗电子股份有限公司 一种医学影像分析方法、系统及医疗设备
CN107049475A (zh) * 2017-04-19 2017-08-18 纪建松 肝癌局部消融方法及系统
CN109509151A (zh) * 2018-11-30 2019-03-22 中国科学院苏州纳米技术与纳米仿生研究所 图像及视频拼接方法、计算机可读存储介质及计算机设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
图像特征点检测与匹配评价——量化;cgwang_1580;《https://blog.csdn.net/cgwang_1580/article/details/68944319》;20170401;第1-2页 *

Also Published As

Publication number Publication date
CN110021025A (zh) 2019-07-16

Similar Documents

Publication Publication Date Title
CN110021025B (zh) 感兴趣区域的匹配和显示方法、装置、设备及存储介质
US10304198B2 (en) Automatic medical image retrieval
WO2021017297A1 (zh) 基于人工智能的脊柱影像处理方法及相关设备
KR101943011B1 (ko) 피검체의 의료 영상 판독을 지원하는 방법 및 이를 이용한 장치
JP5814504B2 (ja) 統計モデルを用いた医療画像自動セグメンテーションシステム、装置並びにプロセッサ
US20050111757A1 (en) Auto-image alignment system and method based on identified anomalies
US10248756B2 (en) Anatomically specific movie driven medical image review
US20130136322A1 (en) Image-Based Detection Using Hierarchical Learning
US8913817B2 (en) Rib suppression in radiographic images
CN112885453A (zh) 用于标识后续医学图像中的病理变化的方法和系统
US9269139B2 (en) Rib suppression in radiographic images
JP2008059071A (ja) 医用画像処理装置
JP2023530023A (ja) 深層学習に基づく脊椎ｍｒｉ映像キーポイント検出方法
JP6719421B2 (ja) 学習データ生成支援装置および学習データ生成支援方法並びに学習データ生成支援プログラム
US20170221204A1 (en) Overlay Of Findings On Image Data
US20080226145A1 (en) Image processing apparatus and computer readable media containing image processing program
EP3373194B1 (en) Image retrieval apparatus and image retrieval method
JP2005065728A (ja) 類似画像検索装置
WO2020050721A1 (en) Determination of a growth rate of an object in 3d data sets using deep learning
US9672600B2 (en) Clavicle suppression in radiographic images
CN110533120B (zh) 器官结节的图像分类方法、装置、终端及存储介质
Pietka et al. Computer-assisted bone age assessment: graphical user interface for image processing and comparison
US7295951B2 (en) System and method for quantifying the quality of motion correction in image registration
CN112288752B (zh) 一种基于胸部平扫ct的冠脉钙化灶全自动分割方法
KR101923962B1 (ko) 의료 영상의 열람을 지원하는 방법 및 이를 이용한 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant