CN116309449B - 图像处理方法、装置、设备及存储介质 - Google Patents

图像处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116309449B
CN116309449B CN202310265064.3A CN202310265064A CN116309449B CN 116309449 B CN116309449 B CN 116309449B CN 202310265064 A CN202310265064 A CN 202310265064A CN 116309449 B CN116309449 B CN 116309449B
Authority
CN
China
Prior art keywords
image
abnormal
mask map
feature
mapping function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310265064.3A
Other languages
English (en)
Other versions
CN116309449A (zh
Inventor
高飞
丁佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Yizhun Intelligent Technology Co ltd
Original Assignee
Zhejiang Yizhun Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Yizhun Intelligent Technology Co ltd filed Critical Zhejiang Yizhun Intelligent Technology Co ltd
Priority to CN202310265064.3A priority Critical patent/CN116309449B/zh
Publication of CN116309449A publication Critical patent/CN116309449A/zh
Application granted granted Critical
Publication of CN116309449B publication Critical patent/CN116309449B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本公开提供了一种图像处理方法、装置、设备及存储介质，通过获取患者当次检查的第一影像以及数据库的第二影像；分别通过位移场模型和多模态特征提取网络，确定第一影像对应的第一组标准化坐标和所有异常组织对应的第一特征组，以及获取第二影像对应的第二组标准化坐标和所有异常组织对应的第二特征组；通过第一组标准化坐标、第二组标准化坐标以及第一特征组和第二特征组，将第一影像内的所有异常组织和第二影像内的所有异常组织进行两两组合计算配对关系，得到多组与第一影像内的各个异常组织相对应的潜在匹配关系；并通过二分图匹配法，确定第一影像的随访匹配图，实现了跨模态影像的病灶随访配准，且配准精准度高。

Description

图像处理方法、装置、设备及存储介质
技术领域
本公开涉及医学图像技术领域，尤其涉及一种图像处理方法、装置、设备及存储介质。
背景技术
随访(Follow Up)是一种定期了解患者身体状态发展情况的方法。目前医院中对于患者历史状况的了解主要通过患者口述或以文字描述为主的病历本等随访系统实现。在没有影像辅助的情况下，文字描述的位置不够清晰，很容易出现错判等情况。因此，针对同一个身体组织的多模态、多时间点的随访影像的支持，对于医学领域具有很大价值。
现有技术常见的是同模态图像配准以及病灶随访技术的研究，无法解决跨模态病灶图像的随访问题。跨模态的医疗影像目前研究较多的是配准方案，即对整个医学影像进行坐标系的对齐。但是由于不同模态的医学影像成像维度不同，例如CT扫描是三维影像，而X光平片则是二维影像，仅依赖配准后的坐标无法准确实现病灶的随访，也即无法实现跨模态病灶的随访。同时现有的跨模态配准技术无法解决超声扫描影像和X光影像这样的二维影像的配准问题。
发明内容
本公开提供了一种图像处理方法、装置、设备及存储介质，以至少解决现有技术中存在的以上技术问题。
根据本公开的第一方面，提供了一种图像处理方法，其特征在于，所述方法包括：
获取患者当次检查的第一影像以及数据库的第二影像；
分别通过位移场模型和多模态特征提取网络，确定所述第一影像对应的第一组标准化坐标和所有异常组织对应的第一特征组，以及获取所述第二影像对应的第二组标准化坐标和所有异常组织对应的第二特征组；
通过所述第一组标准化坐标、第二组标准化坐标以及所述第一特征组和所述第二特征组，将所述第一影像内的所有异常组织和所述第二影像内的所有异常组织进行两两组合计算配对关系，得到多组与所述第一影像内的各个异常组织相对应的潜在匹配关系；
通过二分图匹配法，计算多组与所述第一影像内的各个异常组织相对应的潜在匹配关系，将满足匹配关系数量最多的第二影像内异常组织的组合，作为所述第一影像的随访匹配图。
在一可实施方式中，所述分别通过位移场模型和多模态特征提取网络，确定所述第一影像对应的第一组标准化坐标和所有异常组织对应的第一特征组，以及获取所述第二影像对应的第二组标准化坐标和所有异常组织对应的第二特征组，包括：
根据所述第一影像和所述第二影像所对应的模态，分别通过位移场模型确定所述第一影像内所有异常组织中心点和所述第二影像内所有异常组织中心点在标准模型中所对应的坐标，得到所述第一影像对应的第一组标准化坐标和所述第二影像对应的第二组标准化坐标；其中，第一组标准化坐标包括至少一个第一标准化坐标，第二组标准化坐标包括至少一个第二标准化坐标；
分别将所述第一影像内所有异常组织区域图像与所述第二影像内所有异常组织区域图像输入多模态特征提取网络，获得与所述第一影像内所有异常组织对应的第一特征组以及与所述第二影像内所有异常组织对应的第二特征组；其中，所述第一特征组包括至少一个第一特征，所述第二特征组包括至少一个第二特征。
在一可实施方式中，所述根据所述第一影像和所述第二影像所对应的模态，分别通过位移场模型确定所述第一影像内所有异常组织中心点和所述第二影像内所有异常组织中心点在标准模型中所对应的坐标，得到所述第一影像对应的第一组标准化坐标和所述第二影像对应的第二组标准化坐标，包括：
根据所述第一影像和所述第二影像所对应的模态，分别通过位移场模型将所述第一影像与所述第二影像配准到标准模型上，得到第一坐标映射函数和第二坐标映射函数；
根据所述第一坐标映射函数，确定与所述第一影像内所有异常组织中心点所对应的坐标，作为第一组标准化坐标；以及根据所述第二坐标映射函数，确定与所述第二影像内所有异常织中心点所对应的坐标，作为第二组标准化坐标。
在一可实施方式中，所述根据所述第一影像和所述第二影像所对应的模态，分别通过位移场模型将所述第一影像与所述第二影像配准到标准模型上，得到第一坐标映射函数和第二坐标映射函数，包括：
分别将所述第一影像和所述第二影像作为待配准影像，根据所述待配准影像中所包含的器官种类，截取标准模型对应的器官区域作为初步配准区域；
将所述待配准影像和所述初步配准区域进行尺度统一，并分别转化为待配准掩码图和初步配准掩码图；
根据当前待配准掩码图的模态，采用相对应的位移场模型确定与所述初步配准掩码图相对应的坐标映射函数；
分别判断所述当前待配准掩码图属于第一影像还是第二影像，并根据判断结果分别将与所述初步配准掩码图相对应的坐标映射函数匹配为所述第一影像所对应的第一坐标映射函数以及第二影像所对应的第二坐标映射函数。
在一可实施方式中，所述根据当前待配准掩码图的模态，采用相对应的位移场模型确定与所述初步配准掩码图相对应的坐标映射函数，包括：
若判断所述当前待配准掩码图为三维影像，则采用三维位移场模型得到所述初步配准掩码图相对应的坐标映射函数；
若判断所述当前待配准掩码图为二维切片影像，则将所述初步配准掩码图按照所述当前待配准掩码图的扫描方位以预设层厚进行切片处理，并根据二维位移场模型确定所述初步配准掩码图相对应的坐标映射函数；
若判断所述当前待配准掩码图为二维投影影像，则将所述初步配准掩码图按照所述当前待配准掩码图的扫描方位以数字重建放射影像方式进行投影，并根据二维位移场模型确定所述初步配准掩码图相对应的坐标映射函数。
在一可实施方式中，所述将所述初步配准掩码图按照所述当前待配准掩码图的扫描方位以预设层厚进行切片处理，并根据二维位移场模型确定所述初步配准掩码图相对应的坐标映射函数，包括：
将所述初步配准掩码图按照所述当前待配准掩码图的扫描方位以预设层厚进行切片处理，得到多个单层初步配准掩码图；
根据所述二维位移场模型，逐个确定每个单层初步配准掩码图对应的单层二维坐标映射函数，并通过所述当前待配准掩码图，确定误差最小的单层初步配准掩码图作为目标单层初步配准掩码图，将所述目标单层初步配准掩码图所对应的单层二维坐标映射函数以及第三维坐标，作为所述初步配准掩码图相对应的坐标映射函数。
在一可实施方式中，所述将所述初步配准掩码图按照所述当前待配准掩码图的扫描方位以数字重建放射影像方式进行投影，并根据二维位移场模型确定所述初步配准掩码图相对应的坐标映射函数，包括：
将所述初步配准掩码图按照所述当前待配准掩码图的扫描方位以数字重建放射影像方式进行投影，得到初步配准投影图；
根据所述二维位移场模型，确定与所述初步配准投影图所对应的二维坐标映射函数，并将第三维坐标设置为空，作为所述初步配准掩码图相对应的坐标映射函数。
在一可实施方式中，所述通过所述第一组标准化坐标、第二组标准化坐标以及所述第一特征组和所述第二特征组，将所述第一影像内的所有异常组织和所述第二影像内的所有异常组织进行两两组合计算配对关系，得到多组与所述第一影像内的各个异常组织相对应的潜在匹配关系，包括：
当所述第一影像内存在有当前异常组织的第一标准化坐标与所述第二影像内的当前异常组织的第二标准化坐标之间的距离，且所述第一影像内的当前异常组织的第一特征与所述第二影像内的当前异常组织的第二特征之间的距离均满足距离阈值时，确定所述第一影像的当前异常组织和所述第二影像内的当前异常组织存在潜在匹配关系；
逐个确定与所述第一影像内各个异常组织相对应的至少一对潜在匹配关系，并得到多组与所述第一影像内各个异常组织相对应的潜在匹配关系。
在一可实施方式中，在所述获取患者当次检查的第一影像以及数据库的第二影像之前，还包括：构建不同预设类别的标准模型，其中，所述标准模型包括健康人体的三维模型数据。
在一可实施方式中，在所述获取患者当次检查的第一影像以及数据库的第二影像之前，还包括：获取不同模态下的训练数据集，其中，所述训练数据集包括模态转换后的衍生数据；通过所述训练数据集、距离函数以及目标函数训练得到多模态特征提取网络，其中，所述多模态特征提取网络包括各个模态条件下的编码器，所述编码器共享部分参数。
根据本公开的第二方面，提供了一种图像处理装置，所述装置包括：
影像获取模块，用于获取患者当次检查的第一影像以及数据库的第二影像；
坐标和特征确定模块，用于分别通过位移场模型和多模态特征提取网络，确定所述第一影像对应的第一组标准化坐标和所有异常组织对应的第一特征组，以及获取所述第二影像对应的第二组标准化坐标和所有异常组织对应的第二特征组；
潜在匹配模块，用于通过所述第一组标准化坐标、第二组标准化坐标以及所述第一特征组和所述第二特征组，将所述第一影像内的所有异常组织和所述第二影像内的所有异常组织进行两两组合计算配对关系，得到多组与所述第一影像内的各个异常组织相对应的潜在匹配关系；
匹配确定模块，用于通过二分图匹配法，计算多组与所述第一影像内的各个异常组织相对应的潜在匹配关系，将满足匹配关系数量最多的第二影像内异常组织的组合，作为所述第一影像的随访匹配图。
在一可实施方式中，所述坐标和特征确定模块，具体用于：
根据所述第一影像和所述第二影像所对应的模态，分别通过位移场模型确定所述第一影像内所有异常组织中心点和所述第二影像内所有异常组织中心点在标准模型中所对应的坐标，得到所述第一影像对应的第一组标准化坐标和所述第二影像对应的第二组标准化坐标；其中，第一组标准化坐标包括至少一个第一标准化坐标，第二组标准化坐标包括至少一个第二标准化坐标；
分别将所述第一影像内所有异常组织区域图像与所述第二影像内所有异常组织区域图像输入多模态特征提取网络，获得与所述第一影像内所有异常组织对应的第一特征组以及与所述第二影像内所有异常组织对应的第二特征组；其中，所述第一特征组包括至少一个第一特征，所述第二特征组包括至少一个第二特征。
在一可实施方式中，所述坐标和特征确定模块，具体用于：
根据所述第一影像和所述第二影像所对应的模态，分别通过位移场模型将所述第一影像与所述第二影像配准到标准模型上，得到第一坐标映射函数和第二坐标映射函数；
根据所述第一坐标映射函数，确定与所述第一影像内所有异常组织中心点所对应的坐标，作为第一组标准化坐标；以及根据所述第二坐标映射函数，确定与所述第二影像内所有异常织中心点所对应的坐标，作为第二组标准化坐标。
在一可实施方式中，所述坐标和特征确定模块，具体用于：
分别将所述第一影像和所述第二影像作为待配准影像，根据所述待配准影像中所包含的器官种类，截取标准模型对应的器官区域作为初步配准区域；
将所述待配准影像和所述初步配准区域进行尺度统一，并分别转化为待配准掩码图和初步配准掩码图；
根据当前待配准掩码图的模态，采用相对应的位移场模型确定与所述初步配准掩码图相对应的坐标映射函数；
分别判断所述当前待配准掩码图属于第一影像还是第二影像，并根据判断结果分别将与所述初步配准掩码图相对应的坐标映射函数匹配为所述第一影像所对应的第一坐标映射函数以及第二影像所对应的第二坐标映射函数。
在一可实施方式中，所述坐标和特征确定模块，具体用于：
若判断所述当前待配准掩码图为三维影像，则采用三维位移场模型得到所述初步配准掩码图相对应的坐标映射函数；
若判断所述当前待配准掩码图为二维切片影像，则将所述初步配准掩码图按照所述当前待配准掩码图的扫描方位以预设层厚进行切片处理，并根据二维位移场模型确定所述初步配准掩码图相对应的坐标映射函数；
若判断所述当前待配准掩码图为二维投影影像，则将所述初步配准掩码图按照所述当前待配准掩码图的扫描方位以数字重建放射影像方式进行投影，并根据二维位移场模型确定所述初步配准掩码图相对应的坐标映射函数。
在一可实施方式中，所述坐标和特征确定模块，具体用于：
将所述初步配准掩码图按照所述当前待配准掩码图的扫描方位以预设层厚进行切片处理，得到多个单层初步配准掩码图；
根据所述二维位移场模型，逐个确定每个单层初步配准掩码图对应的单层二维坐标映射函数，并通过所述当前待配准掩码图，确定误差最小的单层初步配准掩码图作为目标单层初步配准掩码图，将所述目标单层初步配准掩码图所对应的单层二维坐标映射函数以及第三维坐标，作为所述初步配准掩码图相对应的坐标映射函数。
在一可实施方式中，所述坐标和特征确定模块，具体用于：
将所述初步配准掩码图按照所述当前待配准掩码图的扫描方位以数字重建放射影像方式进行投影，得到初步配准投影图；
根据所述二维位移场模型，确定与所述初步配准投影图所对应的二维坐标映射函数，并将第三维坐标设置为空，作为所述初步配准掩码图相对应的坐标映射函数。
在一可实施方式中，所述潜在匹配模块，用于
当所述第一影像内存在有当前异常组织的第一标准化坐标与所述第二影像内的当前异常组织的第二标准化坐标之间的距离，且所述第一影像内的当前异常组织的第一特征与所述第二影像内的当前异常组织的第二特征之间的距离均满足距离阈值时，确定所述第一影像的当前异常组织和所述第二影像内的当前异常组织存在潜在匹配关系；
逐个确定与所述第一影像内各个异常组织相对应的至少一对潜在匹配关系，并得到多组与所述第一影像内各个异常组织相对应的潜在匹配关系。
在一可实施方式中，还包括：标准模型构建模块，用于在所述获取患者当次检查的第一影像以及数据库的第二影像之前，构建不同预设类别的标准模型，其中，所述标准模型包括健康人体的三维模型数据。
在一可实施方式中，还包括：训练模块，用于在所述获取患者当次检查的第一影像以及数据库的第二影像之前，获取不同模态下的训练数据集，其中，所述训练数据集包括模态转换后的衍生数据；通过所述训练数据集、距离函数以及目标函数训练得到多模态特征提取网络，其中，所述多模态特征提取网络包括各个模态条件下的编码器，所述编码器共享部分参数。
根据本公开的第三方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开所述的方法。
根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本公开所述的方法。
本公开的图像处理方法、装置、设备及存储介质，包括：获取患者当次检查的第一影像以及数据库的第二影像；分别通过位移场模型和多模态特征提取网络，确定所述第一影像对应的第一组标准化坐标和所有异常组织对应的第一特征组，以及获取所述第二影像对应的第二组标准化坐标和所有异常组织对应的第二特征组；通过所述第一组标准化坐标、第二组标准化坐标以及所述第一特征组和所述第二特征组，将所述第一影像内的所有异常组织和所述第二影像内的所有异常组织进行两两组合计算配对关系，得到多组与所述第一影像内的各个异常组织相对应的潜在匹配关系；通过二分图匹配法，计算多组与所述第一影像内的各个异常组织相对应的潜在匹配关系，将满足匹配关系数量最多的第二影像内异常组织的组合，作为所述第一影像的随访匹配图，有效解决了二维切片、二维投影与三维影像之间任意两者模态的配准问题，实现了高精度跨模态病灶随访。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
通过参考附图阅读下文的详细描述，本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本公开的若干实施方式，其中：
在附图中，相同或对应的标号表示相同或对应的部分。
图1A示出了本公开实施例一提供的一种图像处理方法的实现流程示意图；
图1B为本公开实施例一提供的一种图像处理方法的整体流程图；
图1C为本公开实施例一提供的一种多模态特征提取网络的结构示意图；
图2A示出了本公开实施例二提供的一种图像处理方法的实现流程示意图；
图2B为本公开实施例一提供的一种示例性的跨模态图像配准处理方法的流程图；
图2C为本公开实施例一提供的一种跨模态异常组织随访匹配的图像处理方法的流程图；
图3示出了本公开实施例三提供的一种图像处理装置的结构示意图；
图4示出了本公开实施例一种电子设备的组成结构示意图。
具体实施方式
为使本公开的目的、特征、优点能够更加的明显和易懂，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而非全部实施例。基于本公开中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
实施例一
图1A为本公开实施例一提供的一种图像处理方法的流程图，该方法可以由本公开实施例提供的图像处理装置来执行，该装置可采用软件和/或硬件的方式实现。该方法具体包括：
S110、获取患者当次检查的第一影像以及数据库的第二影像。
其中，第一影像和第二影像可以为病患进行检查的关于异常组织的不同模态类型的医学影像。具体的，每个患者都可以具有一个电子数据库用于记录该患者的历史检查结果，方便患者当次检查时，根据数据库的历史检查结果了解患者病情以及判断病情变化。
具体的，本实施例将患者当次检查的医学影像作为第一影像，以及数据库中存储的随访影像作为第二影像。本实施例的第一影像和第二影像可以不属于同种模态的医学影像，例如可以是三维影像、二维切片影像或者二维投影影像。其中，三维影像，指扫描后可以进行三维重建的医疗影像，如：CT影像、MRI影像等；二维切片影像，指扫描影像为患者体内某一角度的切片，但无法进行三维重建，如：超声影像等；二维投影影像，指扫描影像为患者身体沿某一靶方向投影到二维后形成的影像，如：X光影像、乳腺钼靶影像等。
具体的，第一影像和第二影像为通过医学检查直接得到的医学影像，本实施例可以根据检查项目和数据模态调用对应的人工智能异常组织检出与器官分割算法，完成自动化异常组织检出与器官分割，得到仅含有异常组织以及异常组织周边组织的第一影像和第二影像，作为第一影像内所有异常组织区域图像和第二影像内所有异常组织区域图像。同时，本实施例可以将当次检查的第一影像存储至该患者的数据库，方便下次调用数据。
图1B为本公开实施例一提供的一种图像处理方法的整体流程图。如图1B所示，患者完成检查后，可以将包括检查日期、检查部位、年龄、性别、身高、体重等基础信息与当次检查的医疗影像记录到数据库中。本实施例可以将患者当次检查的医疗影像称为第一影像，数据库中选中的历史影像称为第二影像。将第一影像和第二影像进行跨模态影像配准以及跨模态病灶随访匹配，得到随访匹配结果。需要说明的是，若该患者不存在第二影像，则结束此次病灶随访流程；若患者存在多个历史影像，则可以逐一作为第二影像完成匹配。
S120、分别通过位移场模型和多模态特征提取网络，确定所述第一影像对应的第一组标准化坐标和所有异常组织对应的第一特征组，以及获取所述第二影像对应的第二组标准化坐标和所有异常组织对应的第二特征组。
其中，位移场模型用于实现精确的器官对齐，可以根据模态包括三维位移场模型和二维位移场模型。多模态特征提取网络可以为任意类型的深度神经网络学习模型，输入为某一模态下第一影像或第二影像内所有异常组织及其临近区域的医疗影像(也即第一影像或第二影像内所有异常组织区域图像)，用于提取不同模态医学影像内异常组织的高维特征向量，其目标是让同一个异常组织在不同模态下得到的高维特征尽可能接近，而不同异常组织的特征尽可能远离。
在本公开实施例中，所述分别通过位移场模型和多模态特征提取网络，确定所述第一影像对应的第一组标准化坐标和所有异常组织对应的第一特征组，以及获取所述第二影像对应的第二组标准化坐标和所有异常组织对应的第二特征组，包括：根据所述第一影像和所述第二影像所对应的模态，分别通过位移场模型确定所述第一影像内所有异常组织中心点和所述第二影像内所有异常组织中心点在标准模型中所对应的坐标，得到所述第一影像对应的第一组标准化坐标和所述第二影像对应的第二组标准化坐标；其中，第一组标准化坐标包括至少一个第一标准化坐标，第二组标准化坐标包括至少一个第二标准化坐标；分别将所述第一影像内所有异常组织区域图像与所述第二影像内所有异常组织区域图像输入多模态特征提取网络，获得与所述第一影像内所有异常组织对应的第一特征组以及与所述第二影像内所有异常组织对应的第二特征组；其中，所述第一特征组包括至少一个第一特征，所述第二特征组包括至少一个第二特征。
其中，标准模型为常规健康人体的全身扫描的三维数据建模。第一组标准化坐标为第一影像内所有异常组织中心点所对应的坐标，第二组标准化坐标为第二影像内所有异常组织中心点所对应的坐标。异常组织可以是病灶，也可以是根据需求所确定的人体内任意组织结构。
其中，第一特征组为第一影像内所有异常组织通过多模态特征提取网络所提取的所有高维特征向量；第二特征组为第二影像内所有异常组织通过多模态特征提取网络所提取的所有高维特征向量。本实施例分别将第一影像内所有异常组织区域图像与第二影像内所有异常组织区域图像输入多模态特征提取网络，可以直接获得与第一影像对应的第一特征组以及与第二影像对应的第二特征组。
由于本实施例主要解决不同模态影像之间的配准问题以及随访配准问题，因此本实施例中的第一影像和第二影像为不同模态的医学影像。又由于第一影像和第二影像为不同模态的医学影像，通常而言不同模态设备扫描的扫描区段是不一样的，如果没有一个中间介质进行匹配，很难构建不同模态医学影像之间位置的随访关系，也即无法进行直接匹配，因此本实施例通过标准模型作为中间介质，将第一影像和第二影像转换为同一标准模型所对应的坐标系，在该坐标系中获取所有异常组织中心点所对应的坐标，可以将与第一影像内所有异常组织中心点所对应的坐标作为第一组标准化坐标，以及将与第二影像内所有异常织中心点所对应的坐标作为第二组标准化坐标。
S130、通过所述第一组标准化坐标、第二组标准化坐标以及所述第一特征组和所述第二特征组，将所述第一影像内的所有异常组织和所述第二影像内的所有异常组织进行两两组合计算配对关系，得到多组与所述第一影像内的各个异常组织相对应的潜在匹配关系。
在本公开实施例中，所述通过所述第一组标准化坐标、第二组标准化坐标以及所述第一特征组和所述第二特征组，将所述第一影像内的所有异常组织和所述第二影像内的所有异常组织进行两两组合计算配对关系，得到多组与所述第一影像内的各个异常组织相对应的潜在匹配关系，包括：当所述第一影像内存在有当前异常组织的第一标准化坐标与所述第二影像内的当前异常组织的第二标准化坐标之间的距离，且所述第一影像内的当前异常组织的第一特征与所述第二影像内的当前异常组织的第二特征之间的距离均满足距离阈值时，确定所述第一影像的当前异常组织和所述第二影像内的当前异常组织存在潜在匹配关系；逐个确定与所述第一影像内各个异常组织相对应的至少一对潜在匹配关系，并得到多组与所述第一影像内各个异常组织相对应的潜在匹配关系。
其中，距离阈值包括坐标距离阈值和特征距离阈值。其中，坐标距离阈值用来判断两个影像内的异常组织的位置是否相同，特征距离阈值用来判断两个影像内的异常组织的形态是否相同。坐标距离阈值和特征距离阈值为根据异常特征而设定的任意阈值，本实施例不对其进行限定。当前异常组织可以是当前时刻正在准备配准的异常组织。
具体的，本实施例的跨模态病灶随访匹配可以通过两方面来精确确定是否随访匹配成功，第一方面为通过第一标准化坐标与第二标准化坐标之间的距离确定坐标距离，通过坐标距离来判断两个影像内的异常组织是不是在位置上足够接近；第二方面为通过第一特征与第二特征之间的距离确定特征距离，通过特征距离来判断两个影像内的异常组织的形态特征是不是足够相似。当存在有第一影像的当前异常组织跟第二影像内的当前异常组织进行匹配，其坐标距离和特征距离均满足所对应的坐标距离阈值和特征距离阈值时，可以确定第一影像的当前异常组织和所述第二影像内的当前异常组织存在潜在匹配关系。
具体的，本实施例中第一影像内的当前异常组织可以和第二影像内的所有异常组织匹配一遍，确定至少一对潜在匹配关系。同理，本实施例在确定完第一影像内的当前异常组织所对应的潜在匹配关系后，再针对第一影像内的其他异常组织逐个进行匹配。
S140、通过二分图匹配法，计算多组与所述第一影像内的各个异常组织相对应的潜在匹配关系，将满足匹配关系数量最多的第二影像内异常组织的组合，作为所述第一影像的随访匹配图。
具体的，本实施例第一影像内的每个异常组织都对应有至少一对潜在匹配关系，因此，本实施例通过二分图匹配法，计算第一影像内的每个异常组织所对应的至少一对潜在匹配关系，将满足匹配关系数量最多的第二影像内异常组织的组合，作为所述第一影像的随访匹配图。
需要说明的是，现有的病灶随访方案多基于相同模态的图像提取特征，无法应用到多模态医学影像上时，本实施例提出的多模态病灶特征提取网络可以有效的提取具有模态一致性病灶特征。
现有技术中仅有的跨模态配准得到病灶的标准化坐标易受到配准精度以及维度投影的影响，导致无法实现精准随访匹配。本实施例提供的图像处理方法创新性的结合了标准化坐标与模态一致性特征，共同构成随访条件，可以实现高精度跨模态病灶随访匹配效果。
在本公开实施例中，在所述获取患者当次检查的第一影像以及数据库的第二影像之前，还包括：构建不同预设类别的标准模型，其中，所述标准模型包括健康人体的三维模型数据。
其中，预设类别可以是预先根据人体身高、体重、性别等不同特点进行设定的类别，本实施例不对具体设定的预设类别进行限定。标准模型的类别不做限定，只要是可以重建三维模型即可，例如可以是CT全身扫描数据。
示例性的，本实施例预先准备数个根据身高、体重、性别的不同划分的健康人体常规剂量CT全身扫描数据作为标准模型。准备的个数可根据后续应用场景进行选择，如主要应用于青壮年体检场景，可多按照18至30、30至50岁，平均身高，男性和女性进行划分，共计获得4个标准模型。
需要说明的是，标准模型所设定的类型数量会影响后续配准的准确性，越贴近患者的标准模型用于配准效果越好。由于男女身高差异，本实施例至少需要一男一女两个标准模型。
在本公开实施例中，在所述获取患者当次检查的第一影像以及数据库的第二影像之前，还包括：获取不同模态下的训练数据集，其中，所述训练数据集包括模态转换后的衍生数据；通过所述训练数据集、距离函数以及目标函数训练初始多模态特征提取网络，得到成熟的多模态特征提取网络，其中，所述多模态特征提取网络包括各个模态条件下的编码器，所述编码器共享部分参数。
其中，训练数据集包括不同模态情况下标注同一个患者同一个病灶归属一类的大量数据集。为了提高多模态特征提取网络提取特征的准确性，本实施例可以通过医疗影像模态之间的转换方法生成更多的衍生数据。示例性的，不同模态包括CT、超声、X光以及MRI，那么训练数据集则包括上述各种模态下的相关训练数据。需要说明的是，本实施例生成衍生数据可以通过医疗影像模态之间的转换方法生成，例如：利用CT影像和数字重建放射影像(Digitally Reconstructured Radiograph，DRR)方法生成X光平片下同个病灶的训练数据。
其中，初始多模态特征提取网络为还未经过训练的神经网络，包括各个模态的编码器，用于训练成熟的多模态特征提取网络。每个模态都包含相应模态的编码器，每个模态的编码器是一个深度神经网络，都可以包括卷积神经网络和/或Transformer神经网络。示例性的，编码器的具体结构可以是卷积神经网络及其变种，如ResNet、VGG等，也可以是Transformer及其变种，如ViT、Swin等，或以上结构的某种组合。不同模态的编码器之间可以有一部分共享参数，也可以独立，采用完全不同的参数。
其中，距离函数为在训练初始多模态特征提取网络的阶段使用的函数，用于刻画编码器输出特征之间距离的函数，例如可以是欧式距离、余弦距离或一个可学习的神经网络距离等。目标函数是用于最小化类内距离、最大化类间距离的函数。其中，同一个病灶任意模态的影像属于类内，不同病灶的影像则属于类间。示例性的，本实施例采用的目标函数可以包括：直接优化距离的损失函数、同时考虑正负样本三元组的Triplet Loss损失函数等。
由于不同模态的影像，其扫描成像原理不同，因此对于同一个病灶而言，其形态是有很大差异的。考虑到多模态医疗影像的复杂性，本实施实例采用深度学习技术，经过特殊设计和训练构建表达能力足够强的网络来实现特征提取，并称之为多模态病灶特征提取网络。本实施例可以获取不同模态下的训练数据集，通过训练数据集、距离函数以及目标函数训练初始多模态特征提取网络，得到成熟的多模态特征提取网络。通过该特征提取网络，本实施例可以通过不同模态本身的特点来判断第一影像和第二影像是否属于同一异常组织。
图1C为本公开实施例一提供的一种多模态特征提取网络的结构示意图。如图1C所示，包括两部分，第一部分为多模态特征提取网络的内部结构，如CT编码器、超声编码器、X光编码器以及MRI编码器，且以卷积神经网络和Transformer神经网络方式进行示意；第二部分为训练该网络所使用距离函数示意图。
具体的，在同一异常组织的各个模态情况下，本实施例通过卷积神经网络进行特征提取，并将特征提取到同一个参数空间里，在该参数空间中，各个模态的特征已经比较接近，但是因为各个特征的本身背景不同，可能存有一定距离，因此本实施例采用一个共享权重的transformer，希望不同模态所提取的特征能够相同，也即让类内距离尽量的接近，类间距离尽量的远离。
具体的，本实施例的多模态特征提取网络还可以通过以下优化方案，调整多模态特征提取网络的参数，使其结果更为准确：SGD、Adam、AdamW等优化算法。
需要说明的是，本实施例仅在训练阶段使用距离函数和目标函数，在通过距离函数获得不同模态编码器获得的特征之间距离之后，能够通过训练使得相同异常组织特征的距离越小越好，不同异常组织特征的距离越大越好。
需要说明的是，本实施例不管是训练还是使用，都是多模态特征提取网络内的各个分支单独进行，只是在transformer部分共享权重。示例性的，若输入该模型的CT图像，则会使用CT编码器分支提取特征，具体为经过CT卷积编码和transformer，得到CT模态下的特征；若输入该模型的超声图像，则会使用超声编码器分支提取特征，具体为经过超声卷积编码和transformer，得到超声模态下的特征。
本实施例提出的多模态病灶特征提取网络可以有效的提取具有模态一致性病灶特征，有助于实现跨模态异常组织的随访匹配。
实施例二
图2A为本公开实施例二提供的一种图像处理方法的流程图，本公开实施例在上述实施例的基础上，其中，所述根据所述第一影像和所述第二影像所对应的模态，分别通过位移场模型确定所述第一影像内所有异常组织中心点和所述第二影像内所有异常组织中心点在标准模型中所对应的坐标，得到所述第一影像对应的第一组标准化坐标和所述第二影像对应的第二组标准化坐标，包括：根据所述第一影像和所述第二影像所对应的模态，分别通过位移场模型将所述第一影像与所述第二影像配准到标准模型上，得到第一坐标映射函数和第二坐标映射函数；根据所述第一坐标映射函数，确定与所述第一影像内所有异常组织中心点所对应的坐标，作为第一组标准化坐标；以及根据所述第二坐标映射函数，确定与所述第二影像内所有异常织中心点所对应的坐标，作为第二组标准化坐标。该方法具体包括：
S210、获取患者当次检查的第一影像以及数据库的第二影像。
S220、根据所述第一影像和所述第二影像所对应的模态，分别通过位移场模型将所述第一影像与所述第二影像配准到标准模型上，得到第一坐标映射函数和第二坐标映射函数。
其中，第一坐标映射函数指第一影像坐标系到标准模型坐标系内坐标的一一映射函数，第二坐标映射函数指第二影像坐标系到标准模型坐标系内坐标的一一映射函数。
由于第一影像和第二影像内的异常组织不在同一坐标系下，无法进行比较，因此本实施例通过获得第一坐标映射函数和第二坐标映射函数，来将第一影像和第二影像全部对齐到相同坐标系，从而方便后续判断两个影像内所有异常组织的距离。
在本公开实施例中，所述根据所述第一影像和所述第二影像所对应的模态，分别通过位移场模型将所述第一影像与所述第二影像配准到标准模型上，得到第一坐标映射函数和第二坐标映射函数，包括：分别将所述第一影像和所述第二影像作为待配准影像，根据所述待配准影像中所包含的器官种类，截取标准模型对应的器官区域作为初步配准区域；将所述待配准影像和所述初步配准区域进行尺度统一，并分别转化为待配准掩码图和初步配准掩码图；根据当前待配准掩码图的模态，采用相对应的位移场模型确定与所述初步配准掩码图相对应的坐标映射函数；分别判断所述当前待配准掩码图属于第一影像还是第二影像，并根据判断结果分别将与所述初步配准掩码图相对应的坐标映射函数匹配为所述第一影像所对应的第一坐标映射函数以及第二影像所对应的第二坐标映射函数。
其中，待配准影像是为了方便叙述而引入的概念，没有任何实际含义，最后在获取坐标映射函数之后，再根据待配准影像所指代的是第一影像还是第二影像，分别对应到相应的第一坐标映射函数或第二坐标映射函数。待配准掩码图和初步配准掩码图为仅包含器官的精准掩码图，不包含周边组织。
由于标准模型为完整的人体三维模型，因此初步配准区域为在标准模型内所截取的与待配准影像相对应的局部器官部分。本实施例统一将待配准影像和初步配准区域调整为各向同性，体素长宽(高)同为1毫米的影像，以实现尺度统一。又由于各个模态影像内的像素点意义不同，没有办法直接配准，因此本实施例需要将待配准影像和初步配准区域转化为精准的包含器官的分割掩码图，使得图像内各个像素点的意义相同，也即获得待配准掩码图和初步配准掩码图。
需要说明的是，本实施例在根据所述待配准影像中所包含的器官种类，截取标准模型对应的器官区域作为初步配准区域之前，还包括：判断待配准影像是否包含充足的定位信息。对于包含充足定位信息的待配准影像，可以直接采用现有研究中对应模态到CT影像的配准技术，获得相对应的坐标映射函数，或者可以采用本实施例所提供的配准技术。若如果图像尺寸小于预设尺寸，比如少于15cm*15cm的可视范围，或器官分割失败，则认定待配准影像未包含充足定位信息。对于未包含充足定位信息的待配准影像，本实施例可以将该坐标映射函数设置为常数映射，统一映射到标准模型对应检查部位的中心点坐标，结束跨模态影像配准。例如超声扫描，因为本身扫描深度有限，所以有可能只会专注于扫描某个器官或者异常组织的一个小范围，所以尺寸很小，通过该尺寸不能判断属于人体的具体位置，因此没必要进行后续匹配流程。
在本公开实施例中，所述根据当前待配准掩码图的模态判断是否进行模态转换，并采用相对应的位移场模型确定与所述当前待配准掩码图的坐标映射函数，包括：若判断所述当前待配准掩码图为三维影像，则采用三维位移场模型得到与所述当前待配准掩码图相对应的坐标映射函数；若判断所述当前待配准掩码图为二维切片影像，则将所述初步配准掩码图按照所述当前待配准掩码图的扫描方位以预设层厚进行切片处理，并根据二维位移场模型确定与所述当前待配准掩码图相对应的坐标映射函数；若判断所述当前待配准掩码图为二维投影影像，则将所述初步配准掩码图按照所述当前待配准掩码图的扫描方位以数字重建放射影像方式进行投影，并根据二维位移场模型确定与所述当前待配准掩码图相对应的坐标映射函数。
其中，三维位移场模型和二维位移场模型用于实现精确的器官对齐。由于患者在扫描时的姿势、呼吸状态不同，以及体内病器官的位置偏移等，同时考虑到人体非刚体，自由度不够高，本实施例为了更为精确地使得第一影像和第二影像映射到标准模型，使用三维位移场模型和二维位移场模型来对待配准掩码图进行精准的器官对齐。本实施例可以采用现有技术中程序的位移场模型，例如可以是专利CN114693642A中的“图像密集位移场预测模型”。其中，基于三维算子实现的是三维位移场模型，也即原专利中描述的模型。通过将原专利中所有三维算子替换为对应的二维算子，例如：三维卷积操作替换为二维卷积操作，可以得到本实施例所使用的二维位移场模型。
由于标准模型是三维模型，因此本实施例根据判断当前待配准掩码图是三维影像和二维影像，来判断采用三维位移场模型还是二维位移场模型。若当前待配准影像为三维影像，则无需处理。若当前待配准影像为二维切片影像，则根据具体模态类型分别进行处理。
在本公开实施例中，若判断所述当前待配准掩码图为二维切片影像，所述将所述初步配准掩码图按照所述当前待配准掩码图的扫描方位以预设层厚进行切片处理，并根据二维位移场模型确定与所述当前待配准掩码图相对应的坐标映射函数，包括：将所述初步配准掩码图按照所述当前待配准掩码图的扫描方位以预设层厚进行切片处理，得到多个单层初步配准掩码图；根据所述二维位移场模型，逐个确定每个单层初步配准掩码图对应的单层二维坐标映射函数，并通过所述当前待配准掩码图，确定误差最小的单层初步配准掩码图作为目标单层初步配准掩码图，将所述目标单层初步配准掩码图所对应的单层二维坐标映射函数以及第三维坐标，作为所述当前待配准掩码图相对应的坐标映射函数。
其中，预设层厚可以根据用户需求进行设定，例如1mm，本实施例不对其具体层厚进行限定。
具体的，由于标准模型是三维模型，也即初步配准掩码图是三维模型，而当前待配准掩码图为二维影像，因此本实施例需要将初步配准掩码图转换为二维影像，才能进行匹配。具体为，本实施例将按照当前待配准掩码图的扫描方位以保持方位一致性，以预设层厚将初步配准掩码图进行切片处理，从而得到多个单层初步配准掩码图。再根据二维位移场模型和当前待配准掩码图，逐个确定每个单层初步配准掩码图对应的单层二维坐标映射函数，并确定误差最小的单层初步配准掩码图作为目标单层初步配准掩码图，作为最佳切片。由于切片时带有原有三维坐标，因此本实施例可以将目标单层初步配准掩码图所对应的单层二维坐标映射函数以及第三维坐标组合，作为当前待配准掩码图相对应的坐标映射函数。
在本公开实施例中，若判断所述当前待配准掩码图为二维投影影像，所述将所述初步配准掩码图按照所述当前待配准掩码图的扫描方位以数字重建放射影像方式进行投影，并根据二维位移场模型确定与所述当前待配准掩码图相对应的坐标映射函数，包括：将所述初步配准掩码图按照所述当前待配准掩码图的扫描方位以数字重建放射影像DRR方式进行投影，得到初步配准投影图；根据所述二维位移场模型，确定与所述初步配准投影图所对应的二维坐标映射函数，并将第三维坐标设置为空，作为所述当前待配准掩码图相对应的坐标映射函数。
具体的，同样是由于标准模型是三维模型，也即初步配准掩码图是三维模型，而当前待配准掩码图为二维影像，因此本实施例需要将初步配准掩码图转换为二维影像，才能进行匹配。具体为，本实施例按照当前待配准掩码图的扫描方位以保持方位一致性，以数字重建放射影像DRR方式将初步配准掩码图进行投影操作，得到初步配准投影图。其中，该初步配准投影图是投影后的二维影像。本实施例根据二维位移场模型，确定与初步配准投影图所对应的二维坐标映射函数，由于本实施例为投影图，不存在有三维坐标，因此，本实施例将第三维坐标设置为空，表示后续计算坐标距离时不考虑第三维坐标的距离，得到完整的坐标映射函数。
S230、根据所述第一坐标映射函数，确定与所述第一影像内所有异常组织中心点所对应的坐标，作为第一组标准化坐标；以及根据所述第二坐标映射函数，确定与所述第二影像内所有异常织中心点所对应的坐标，作为第二组标准化坐标。
由于第一影像和第二影像可以包含多个异常组织，为了更为精准的匹配，因此本实施例会根据第一坐标映射函数，确定与第一影像内所有异常组织中心点所对应的坐标；以及根据第二坐标映射函数，确定与第二影像内所有异常织中心点所对应的坐标，以分别作为第一组标准化坐标和第二组标准化坐标。
S240、分别将所述第一影像内所有异常组织区域图像与所述第二影像内所有异常组织区域图像输入多模态特征提取网络，获得与所述第一影像内所有异常组织对应的第一特征组以及与所述第二影像内所有异常组织对应的第二特征组。
S250、通过所述第一组标准化坐标、第二组标准化坐标以及所述第一特征组和所述第二特征组，将所述第一影像内的所有异常组织和所述第二影像内的所有异常组织进行两两组合计算配对关系，得到多组与所述第一影像内的各个异常组织相对应的潜在匹配关系。
S260、通过二分图匹配法，计算多组与所述第一影像内的各个异常组织相对应的潜在匹配关系，将满足匹配关系数量最多的第二影像内异常组织的组合，作为所述第一影像的随访匹配图。
图2B为本公开实施例一提供的一种示例性的跨模态图像配准处理方法的流程图。如图2B所示，除了上述实施例所描述到的内容之外，本实施例还包括判断当前检查的患者是否存在全身CT检查，若存在全身CT检查，则将之前的全身CT检查影像作为标准模型。或者，可以判断当前检查患者之前几次检查的扫描范围是否能够重建三维模型，若可以，则重建三维模型作为该患者的标准模型。本实施例采用患者本身实际身体状态的检查结果作为标准模型，配准更为精准。
除此之外，本实施例在进行跨模态配准过程中，若判断有现有技术的通用配准技术，而该通用配准技术的配准技术的精准度可能会更高的情况下，本实施例可以采用现有技术的通用配准技术，若不存在，则可以采用本实施例所提供的配准技术。
图2C为本公开实施例一提供的一种跨模态异常组织随访匹配的图像处理方法的流程图。如图2C所示，本实施例包括四步骤：坐标标准化、跨模态特征提取、距离计算以及异常组织匹配。本实施例以异常组织为病灶为例进行说明。
(1)坐标标准化：分别根据坐标映射函数将第一影像、第二影像中的每一个病灶中心点统一到标准模型坐标系下，获得标准化病灶坐标(也即第一组标准化坐标和第二组标准化坐标)。
(2)跨模态特征提取：分别将第一影像、第二影像中的每一病灶送入多模态病灶特征提取网络中，获得跨模态特征向量。
(3)匹配距离计算：为每个第一影像和第二影像中的病灶组合计算一次坐标距离和特征距离。只有病灶坐标距离和特征距离均小于设定阈值时，认为此病灶组合可能是一个潜在匹配。其中，坐标距离阈值可以根据配准精度确定，示例性的可以设定为5～10cm；特征距离阈值需要根据特征网络训练时定义的距离函数来确定，例如，若本实施例的距离函数采用的是余弦距离，则可以将特征距离阈值设定为0.2～0.5。
(4)病灶匹配：任何二分图匹配方法均可使用，示例性的本实施实例选用匈牙利算法。
现有方法无法解决二维医疗影像之间的跨模态配准问题，本实施例以标准人体三维模型作为桥梁、以器官分割为标准的通用配准方案，有效解决了二维切片、二维投影与三维影像之间任意两者的配准问题，从而形成了一套完整的跨模态配准方法，且配准精准度高。
实施例三
图3是本公开实施例提供的一种图像处理装置的结构示意图，该装置具体包括：
影像获取模块310，用于获取患者当次检查的第一影像以及数据库的第二影像；
坐标和特征确定模块320，用于分别通过位移场模型和多模态特征提取网络，确定所述第一影像对应的第一组标准化坐标和所有异常组织对应的第一特征组，以及获取所述第二影像对应的第二组标准化坐标和所有异常组织对应的第二特征组；
潜在匹配模块330，用于通过所述第一组标准化坐标、第二组标准化坐标以及所述第一特征组和所述第二特征组，将所述第一影像内的所有异常组织和所述第二影像内的所有异常组织进行两两组合计算配对关系，得到多组与所述第一影像内的各个异常组织相对应的潜在匹配关系；
匹配确定模块340，用于通过二分图匹配法，计算多组与所述第一影像内的各个异常组织相对应的潜在匹配关系，将满足匹配关系数量最多的第二影像内异常组织的组合，作为所述第一影像的随访匹配图。
在一可实施方式中，所述坐标和特征确定模块320，具体用于：
根据所述第一影像和所述第二影像所对应的模态，分别通过位移场模型确定所述第一影像内所有异常组织中心点和所述第二影像内所有异常组织中心点在标准模型中所对应的坐标，得到所述第一影像对应的第一组标准化坐标和所述第二影像对应的第二组标准化坐标；其中，第一组标准化坐标包括至少一个第一标准化坐标，第二组标准化坐标包括至少一个第二标准化坐标；
分别将所述第一影像内所有异常组织区域图像与所述第二影像内所有异常组织区域图像输入多模态特征提取网络，获得与所述第一影像内所有异常组织对应的第一特征组以及与所述第二影像内所有异常组织对应的第二特征组；其中，所述第一特征组包括至少一个第一特征，所述第二特征组包括至少一个第二特征。
在一可实施方式中，所述坐标和特征确定模块320，具体用于：
根据所述第一影像和所述第二影像所对应的模态，分别通过位移场模型将所述第一影像与所述第二影像配准到标准模型上，得到第一坐标映射函数和第二坐标映射函数；
根据所述第一坐标映射函数，确定与所述第一影像内所有异常组织中心点所对应的坐标，作为第一组标准化坐标；以及根据所述第二坐标映射函数，确定与所述第二影像内所有异常织中心点所对应的坐标，作为第二组标准化坐标。
在一可实施方式中，所述坐标和特征确定模块320，具体用于：
分别将所述第一影像和所述第二影像作为待配准影像，根据所述待配准影像中所包含的器官种类，截取标准模型对应的器官区域作为初步配准区域；
将所述待配准影像和所述初步配准区域进行尺度统一，并分别转化为待配准掩码图和初步配准掩码图；
根据当前待配准掩码图的模态，采用相对应的位移场模型确定与所述初步配准掩码图相对应的坐标映射函数；
分别判断所述当前待配准掩码图属于第一影像还是第二影像，并根据判断结果分别将与所述初步配准掩码图相对应的坐标映射函数匹配为所述第一影像所对应的第一坐标映射函数以及第二影像所对应的第二坐标映射函数。
在一可实施方式中，所述坐标和特征确定模块320，具体用于：
若判断所述当前待配准掩码图为三维影像，则采用三维位移场模型得到所述初步配准掩码图相对应的坐标映射函数；
若判断所述当前待配准掩码图为二维切片影像，则将所述初步配准掩码图按照所述当前待配准掩码图的扫描方位以预设层厚进行切片处理，并根据二维位移场模型确定所述初步配准掩码图相对应的坐标映射函数；
若判断所述当前待配准掩码图为二维投影影像，则将所述初步配准掩码图按照所述当前待配准掩码图的扫描方位以数字重建放射影像方式进行投影，并根据二维位移场模型确定所述初步配准掩码图相对应的坐标映射函数。
在一可实施方式中，所述坐标和特征确定模块320，具体用于：
将所述初步配准掩码图按照所述当前待配准掩码图的扫描方位以预设层厚进行切片处理，得到多个单层初步配准掩码图；
根据所述二维位移场模型，逐个确定每个单层初步配准掩码图对应的单层二维坐标映射函数，并通过所述当前待配准掩码图，确定误差最小的单层初步配准掩码图作为目标单层初步配准掩码图，将所述目标单层初步配准掩码图所对应的单层二维坐标映射函数以及第三维坐标，作为所述初步配准掩码图相对应的坐标映射函数。
在一可实施方式中，所述坐标和特征确定模块320，具体用于：
将所述初步配准掩码图按照所述当前待配准掩码图的扫描方位以数字重建放射影像方式进行投影，得到初步配准投影图；
根据所述二维位移场模型，确定与所述初步配准投影图所对应的二维坐标映射函数，并将第三维坐标设置为空，作为所述初步配准掩码图相对应的坐标映射函数。
在一可实施方式中，所述潜在匹配模块330，用于
当所述第一影像内存在有当前异常组织的第一标准化坐标与所述第二影像内的当前异常组织的第二标准化坐标之间的距离，且所述第一影像内的当前异常组织的第一特征与所述第二影像内的当前异常组织的第二特征之间的距离均满足距离阈值时，确定所述第一影像的当前异常组织和所述第二影像内的当前异常组织存在潜在匹配关系；
逐个确定与所述第一影像内各个异常组织相对应的至少一对潜在匹配关系，并得到多组与所述第一影像内各个异常组织相对应的潜在匹配关系。
在一可实施方式中，还包括：标准模型构建模块，用于在所述获取患者当次检查的第一影像以及数据库的第二影像之前，构建不同预设类别的标准模型，其中，所述标准模型包括健康人体的三维模型数据。
在一可实施方式中，还包括：训练模块，用于在所述获取患者当次检查的第一影像以及数据库的第二影像之前，获取不同模态下的训练数据集，其中，所述训练数据集包括模态转换后的衍生数据；通过所述训练数据集、距离函数以及目标函数训练得到多模态特征提取网络，其中，所述多模态特征提取网络包括各个模态条件下的编码器，所述编码器共享部分参数。
根据本公开的实施例，本公开还提供了一种电子设备和一种可读存储介质。
图4示出了可以用来实施本公开的实施例的示例电子设备400的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图4所示，设备400包括计算单元401，其可以根据存储在只读存储器(ROM)402中的计算机程序或者从存储单元408加载到随机访问存储器(RAM)403中的计算机程序，来执行各种适当的动作和处理。在RAM 403中，还可存储设备400操作所需的各种程序和数据。计算单元401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。
设备400中的多个部件连接至I/O接口405，包括：输入单元406，例如键盘、鼠标等；输出单元407，例如各种类型的显示器、扬声器等；存储单元408，例如磁盘、光盘等；以及通信单元409，例如网卡、调制解调器、无线通信收发机等。通信单元409允许设备400通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元401可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元401的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元401执行上文所描述的各个方法和处理，例如图像处理方法。例如，在一些实施例中，图像处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元408。在一些实施例中，计算机程序的部分或者全部可以经由ROM 402和/或通信单元409而被载入和/或安装到设备400上。当计算机程序加载到RAM 403并由计算单元401执行时，可以执行上文描述的图像处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元401可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像处理方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本公开的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以所述权利要求的保护范围为准。

Claims (13)

1.一种图像处理方法，其特征在于，所述方法包括：
获取患者当次检查的第一影像以及数据库的第二影像，其中，所述第一影像和第二影像为不同模态类型的医学影像；
分别通过位移场模型和多模态特征提取网络，确定所述第一影像对应的第一组标准化坐标和所有异常组织对应的第一特征组，以及获取所述第二影像对应的第二组标准化坐标和所有异常组织对应的第二特征组；其中，所述多模态特征提取网络用于将同一异常组织在不同模态下得到的特征组尽可能接近，不同异常组织在不同模态下得到的特征组尽可能远离；
通过所述第一组标准化坐标、第二组标准化坐标以及所述第一特征组和所述第二特征组，将所述第一影像内的所有异常组织和所述第二影像内的所有异常组织进行两两组合计算配对关系，得到多组与所述第一影像内的各个异常组织相对应的潜在匹配关系；
通过二分图匹配法，计算多组与所述第一影像内的各个异常组织相对应的潜在匹配关系，将满足匹配关系数量最多的第二影像内异常组织的组合，作为所述第一影像的随访匹配图。
2.根据权利要求1所述的方法，其特征在于，所述分别通过位移场模型和多模态特征提取网络，确定所述第一影像对应的第一组标准化坐标和所有异常组织对应的第一特征组，以及获取所述第二影像对应的第二组标准化坐标和所有异常组织对应的第二特征组，包括：
根据所述第一影像和所述第二影像所对应的模态，分别通过位移场模型确定所述第一影像内所有异常组织中心点和所述第二影像内所有异常组织中心点在标准模型中所对应的坐标，得到所述第一影像对应的第一组标准化坐标和所述第二影像对应的第二组标准化坐标；其中，第一组标准化坐标包括至少一个第一标准化坐标，第二组标准化坐标包括至少一个第二标准化坐标；
分别将所述第一影像内所有异常组织区域图像与所述第二影像内所有异常组织区域图像输入多模态特征提取网络，获得与所述第一影像内所有异常组织对应的第一特征组以及与所述第二影像内所有异常组织对应的第二特征组；其中，所述第一特征组包括至少一个第一特征，所述第二特征组包括至少一个第二特征。
3.根据权利要求2所述的方法，其特征在于，所述根据所述第一影像和所述第二影像所对应的模态，分别通过位移场模型确定所述第一影像内所有异常组织中心点和所述第二影像内所有异常组织中心点在标准模型中所对应的坐标，得到所述第一影像对应的第一组标准化坐标和所述第二影像对应的第二组标准化坐标，包括：
根据所述第一影像和所述第二影像所对应的模态，分别通过位移场模型将所述第一影像与所述第二影像配准到标准模型上，得到第一坐标映射函数和第二坐标映射函数；
根据所述第一坐标映射函数，确定与所述第一影像内所有异常组织中心点所对应的坐标，作为第一组标准化坐标；以及根据所述第二坐标映射函数，确定与所述第二影像内所有异常织中心点所对应的坐标，作为第二组标准化坐标。
4.根据权利要求3所述的方法，其特征在于，所述根据所述第一影像和所述第二影像所对应的模态，分别通过位移场模型将所述第一影像与所述第二影像配准到标准模型上，得到第一坐标映射函数和第二坐标映射函数，包括：
分别将所述第一影像和所述第二影像作为待配准影像，根据所述待配准影像中所包含的器官种类，截取标准模型对应的器官区域作为初步配准区域；
将所述待配准影像和所述初步配准区域进行尺度统一，并分别转化为待配准掩码图和初步配准掩码图；
根据当前待配准掩码图的模态，采用相对应的位移场模型确定与所述初步配准掩码图相对应的坐标映射函数；
分别判断所述当前待配准掩码图属于第一影像还是第二影像，并根据判断结果分别将与所述初步配准掩码图相对应的坐标映射函数匹配为所述第一影像所对应的第一坐标映射函数以及第二影像所对应的第二坐标映射函数。
5.根据权利要求4所述的方法，其特征在于，所述根据当前待配准掩码图的模态，采用相对应的位移场模型确定与所述初步配准掩码图相对应的坐标映射函数，包括：
若判断所述当前待配准掩码图为三维影像，则采用三维位移场模型得到所述初步配准掩码图相对应的坐标映射函数；
若判断所述当前待配准掩码图为二维切片影像，则将所述初步配准掩码图按照所述当前待配准掩码图的扫描方位以预设层厚进行切片处理，并根据二维位移场模型确定所述初步配准掩码图相对应的坐标映射函数；
若判断所述当前待配准掩码图为二维投影影像，则将所述初步配准掩码图按照所述当前待配准掩码图的扫描方位以数字重建放射影像方式进行投影，并根据二维位移场模型确定所述初步配准掩码图相对应的坐标映射函数。
6.根据权利要求5所述的方法，其特征在于，所述将所述初步配准掩码图按照所述当前待配准掩码图的扫描方位以预设层厚进行切片处理，并根据二维位移场模型确定所述初步配准掩码图相对应的坐标映射函数，包括：
将所述初步配准掩码图按照所述当前待配准掩码图的扫描方位以预设层厚进行切片处理，得到多个单层初步配准掩码图；
根据所述二维位移场模型，逐个确定每个单层初步配准掩码图对应的单层二维坐标映射函数，并通过所述当前待配准掩码图，确定误差最小的单层初步配准掩码图作为目标单层初步配准掩码图，将所述目标单层初步配准掩码图所对应的单层二维坐标映射函数以及第三维坐标，作为所述初步配准掩码图相对应的坐标映射函数。
7.根据权利要求6所述的方法，其特征在于，所述将所述初步配准掩码图按照所述当前待配准掩码图的扫描方位以数字重建放射影像方式进行投影，并根据二维位移场模型确定所述初步配准掩码图相对应的坐标映射函数，包括：
将所述初步配准掩码图按照所述当前待配准掩码图的扫描方位以数字重建放射影像方式进行投影，得到初步配准投影图；
根据所述二维位移场模型，确定与所述初步配准投影图所对应的二维坐标映射函数，并将第三维坐标设置为空，作为所述初步配准掩码图相对应的坐标映射函数。
8.根据权利要求2或7所述的方法，其特征在于，所述通过所述第一组标准化坐标、第二组标准化坐标以及所述第一特征组和所述第二特征组，将所述第一影像内的所有异常组织和所述第二影像内的所有异常组织进行两两组合计算配对关系，得到多组与所述第一影像内的各个异常组织相对应的潜在匹配关系，包括：
当所述第一影像内存在有当前异常组织的第一标准化坐标与所述第二影像内的当前异常组织的第二标准化坐标之间的距离，且所述第一影像内的当前异常组织的第一特征与所述第二影像内的当前异常组织的第二特征之间的距离均满足距离阈值时，确定所述第一影像的当前异常组织和所述第二影像内的当前异常组织存在潜在匹配关系；
逐个确定与所述第一影像内各个异常组织相对应的至少一对潜在匹配关系，并得到多组与所述第一影像内各个异常组织相对应的潜在匹配关系。
9.根据权利要求8所述的方法，其特征在于，在所述获取患者当次检查的第一影像以及数据库的第二影像之前，还包括：
构建不同预设类别的标准模型，其中，所述标准模型包括健康人体的三维模型数据。
10.根据权利要求9所述的方法，其特征在于，在所述获取患者当次检查的第一影像以及数据库的第二影像之前，还包括：
获取不同模态下的训练数据集，其中，所述训练数据集包括模态转换后的衍生数据；
通过所述训练数据集、距离函数以及目标函数训练得到多模态特征提取网络，其中，所述多模态特征提取网络包括各个模态条件下的编码器，所述编码器共享部分参数。
11.一种图像处理装置，其特征在于，所述装置包括：
影像获取模块，用于获取患者当次检查的第一影像以及数据库的第二影像，其中，所述第一影像和第二影像为不同模态类型的医学影像；
坐标和特征确定模块，用于分别通过位移场模型和多模态特征提取网络，确定所述第一影像对应的第一组标准化坐标和所有异常组织对应的第一特征组，以及获取所述第二影像对应的第二组标准化坐标和所有异常组织对应的第二特征组；其中，所述多模态特征提取网络用于将同一异常组织在不同模态下得到的特征组尽可能接近，不同异常组织在不同模态下得到的特征组尽可能远离；
潜在匹配模块，用于通过所述第一组标准化坐标、第二组标准化坐标以及所述第一特征组和所述第二特征组，将所述第一影像内的所有异常组织和所述第二影像内的所有异常组织进行两两组合计算配对关系，得到多组与所述第一影像内的各个异常组织相对应的潜在匹配关系；
匹配确定模块，用于通过二分图匹配法，计算多组与所述第一影像内的各个异常组织相对应的潜在匹配关系，将满足匹配关系数量最多的第二影像内异常组织的组合，作为所述第一影像的随访匹配图。
12.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-10中任一项所述的方法。
13.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使计算机执行根据权利要求1-10中任一项所述的方法。
CN202310265064.3A 2023-03-14 2023-03-14 图像处理方法、装置、设备及存储介质 Active CN116309449B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310265064.3A CN116309449B (zh) 2023-03-14 2023-03-14 图像处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310265064.3A CN116309449B (zh) 2023-03-14 2023-03-14 图像处理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN116309449A CN116309449A (zh) 2023-06-23
CN116309449B true CN116309449B (zh) 2024-04-09

Family

ID=86797439

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310265064.3A Active CN116309449B (zh) 2023-03-14 2023-03-14 图像处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116309449B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110674719A (zh) * 2019-09-18 2020-01-10 北京市商汤科技开发有限公司 目标对象匹配方法及装置、电子设备和存储介质
CN111951309A (zh) * 2020-06-30 2020-11-17 杭州依图医疗技术有限公司 一种淋巴结配准方法及装置、计算机设备及存储介质
CN113674251A (zh) * 2021-08-25 2021-11-19 北京积水潭医院 基于多模态影像的腰椎图像分类识别系统、设备和介质
CN114693642A (zh) * 2022-03-30 2022-07-01 北京医准智能科技有限公司 一种结节匹配方法、装置、电子设备及存储介质
CN114842003A (zh) * 2022-07-04 2022-08-02 杭州健培科技有限公司 一种医学影像随访目标配对方法、装置及应用

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11158069B2 (en) * 2018-12-11 2021-10-26 Siemens Healthcare Gmbh Unsupervised deformable registration for multi-modal images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110674719A (zh) * 2019-09-18 2020-01-10 北京市商汤科技开发有限公司 目标对象匹配方法及装置、电子设备和存储介质
CN111951309A (zh) * 2020-06-30 2020-11-17 杭州依图医疗技术有限公司 一种淋巴结配准方法及装置、计算机设备及存储介质
CN113674251A (zh) * 2021-08-25 2021-11-19 北京积水潭医院 基于多模态影像的腰椎图像分类识别系统、设备和介质
CN114693642A (zh) * 2022-03-30 2022-07-01 北京医准智能科技有限公司 一种结节匹配方法、装置、电子设备及存储介质
CN114842003A (zh) * 2022-07-04 2022-08-02 杭州健培科技有限公司 一种医学影像随访目标配对方法、装置及应用

Also Published As

Publication number Publication date
CN116309449A (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
WO2021238438A1 (zh) 肿瘤图像的处理方法和装置、电子设备、存储介质
CN111008984B (zh) 医学影像中正常器官的轮廓线自动勾画方法
CN107133946B (zh) 医学图像处理方法、装置及设备
WO2021128825A1 (zh) 三维目标检测及模型的训练方法及装置、设备、存储介质
CN107220965B (zh) 一种图像分割方法及系统
CN111368586B (zh) 超声成像方法及系统
EP3998579B1 (en) Medical image processing method, apparatus and device, medium and endoscope
CN106709920B (zh) 血管提取方法及其装置
CN107424162B (zh) 一种图像分割方法及系统
US11854232B2 (en) Systems and methods for patient positioning
CN107220984B (zh) 图像分割方法、图像分割系统及图像分割装置
CN107230211B (zh) 一种图像分割方法及系统
US20130218003A1 (en) Rapid entry point localization for percutaneous interventions
CN111161371B (zh) 成像系统和方法
EP3608872B1 (en) Image segmentation method and system
CN116309449B (zh) 图像处理方法、装置、设备及存储介质
CN110739050B (zh) 一种左心室全参数及置信度的量化方法
CN112529919A (zh) 用于生成受试者的心脏的牛眼图生成的系统和方法
CN112102327B (zh) 一种图像处理方法、装置及计算机可读存储介质
KR20120000729A (ko) 엑스레이 이미지와 씨티 3차원 모델 정합을 통한 혈관 치료용 마이크로 로봇의 위치 추적 방법
CN112669450B (zh) 人体模型构建方法和个性化人体模型构建方法
EP3397131A1 (en) System and method for providing assistance in surgery in presence of tissue deformation
Curtis et al. Using X‐Ray Mammograms to Assist in Microwave Breast Image Interpretation
CN115908515B (zh) 影像配准方法、影像配准模型的训练方法及装置
CN115578564B (zh) 实例分割模型的训练方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Room 3011, 2nd Floor, Building A, No. 1092 Jiangnan Road, Nanmingshan Street, Liandu District, Lishui City, Zhejiang Province, 323000

Applicant after: Zhejiang Yizhun Intelligent Technology Co.,Ltd.

Address before: No. 301, 3rd Floor, Zhizhen Building, No. 7 Zhichun Road, Haidian District, Beijing, 100083

Applicant before: Beijing Yizhun Intelligent Technology Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant