CN116363252A - 目标成像方法及系统 - Google Patents

目标成像方法及系统 Download PDF

Info

Publication number
CN116363252A
CN116363252A CN202310644812.9A CN202310644812A CN116363252A CN 116363252 A CN116363252 A CN 116363252A CN 202310644812 A CN202310644812 A CN 202310644812A CN 116363252 A CN116363252 A CN 116363252A
Authority
CN
China
Prior art keywords
image
contour
infrared
detection
fused
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310644812.9A
Other languages
English (en)
Other versions
CN116363252B (zh
Inventor
蔡惠明
李长流
倪轲娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Nuoyuan Medical Devices Co Ltd
Original Assignee
Nanjing Nuoyuan Medical Devices Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Nuoyuan Medical Devices Co Ltd filed Critical Nanjing Nuoyuan Medical Devices Co Ltd
Priority to CN202310644812.9A priority Critical patent/CN116363252B/zh
Publication of CN116363252A publication Critical patent/CN116363252A/zh
Application granted granted Critical
Publication of CN116363252B publication Critical patent/CN116363252B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • G06T11/008Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • G06T3/04
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30Assessment of water resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本申请提供一种目标成像方法及系统。在该方法中,当响应于检测指令时,通过红近外成像装置获取目标区域的红近外检测图像,通过核磁共振成像装置获取目标区域的核磁共振检测图像,然后,图像处理器根据预设图像对齐算法将红近外检测图像以及核磁共振检测图像进行对齐处理,以生成红近外检测图像对应的第一待融合图像以及核磁共振检测图像对应的第二待融合图像,在当第二待融合图像为非封闭轮廓图形,图像处理器根据预设图像融合算法将第一待融合图像以及第二待融合图像进行图像融合,以生成融合图像,并在图像显示器中,对融合图像进行显示,从而实现所生成的融合图像具有高精度特性外,还具有更高的轮廓完整性。

Description

目标成像方法及系统
技术领域
本申请涉及数据处理技术,尤其涉及一种目标成像方法及系统。
背景技术
肿瘤检测技术主要是通过对人体组织的检测,来发现体内的肿瘤细胞及其恶性程度。
目前,常见的肿瘤检测技术包括超声检查、CT扫描、核磁共振扫描以及红近外扫描等。这一类非侵入式的图像检测方式,由于检测效率高且对患者身体不会造成额外的伤害,因此,是目前主流的检测方式。其中,红近外成像是是通过近红外光穿透人体的组织,被不同的组织吸收,从而形成图像,进而可以通过对不同组织的不同吸收情况进行分析来确定肿瘤的位置、形状、大小等信息,其对于肿瘤外轮廓成像完整,但是检测精度不高。而对于其他基于射线进行成像的检测方式,其所成像的肿瘤外轮廓会存在小范围的模糊、缺失或者重影。
可见,亟需一种既能够保证所检测的肿瘤图像具有高精度特性,还能够实现更高的轮廓完整性的成像方法。
发明内容
本申请提供一种目标成像方法及系统,用以在保证所检测的肿瘤图像具有高精度特性的同时,还能够实现更高的轮廓完整性。
第一方面,本申请提供一种目标成像方法,应用于目标成像系统,所述目标成像系统包括:图像处理器、图像显示器、红近外成像装置以及核磁共振成像装置,所述图像显示器、所述红近外成像装置以及所述核磁共振成像装置分别与所述图像处理器连接;所述方法包括:
响应于检测指令,通过所述红近外成像装置获取目标区域的红近外检测图像,通过所述核磁共振成像装置获取所述目标区域的核磁共振检测图像,所述目标区域为包括检测目标的区域;
所述图像处理器根据预设图像对齐算法将所述红近外检测图像以及所述核磁共振检测图像进行对齐处理,以生成所述红近外检测图像对应的第一待融合图像以及所述核磁共振检测图像对应的第二待融合图像;
若所述第二待融合图像为非封闭轮廓图形,则所述图像处理器根据预设图像融合算法将所述第一待融合图像以及所述第二待融合图像进行图像融合,以生成融合图像;
在所述图像显示器中,对所述融合图像进行显示。
在一种可能的设计中,所述图像处理器根据预设图像对齐算法将所述红近外检测图像以及所述核磁共振检测图像进行对齐处理,以生成所述红近外检测图像对应的第一待融合图像以及所述核磁共振检测图像对应的第二待融合图像,包括:
根据所述红近外检测图像的第一缩放信息以及所述核磁共振检测图像的第二缩放信息确定缩放参数,以根据所述缩放参数将所述红近外检测图像缩放为红近外缩放图像,以及根据所述缩放参数将所述核磁共振检测图像缩放为核磁共振缩放图像;
基于第一预设边缘检测算法对所述红近外缩放图像中的所述检测目标进行轮廓边缘检测,以提取第一轮廓边缘,并根据所述第一轮廓边缘生成第一轮廓图像;
基于第二预设边缘检测算法对所述核磁共振缩放图像中的所述检测目标进行轮廓边缘检测,以提取第二轮廓边缘,并根据所述第二轮廓边缘生成第二轮廓图像;
分别对所述第一轮廓图像以及所述第二轮廓图像进行灰度化处理,以生成第一轮廓灰度图像以及第二轮廓灰度图像;
分别对所述第一轮廓灰度图像以及所述第二轮廓灰度图像进行傅里叶变换,以生成第一轮廓频谱图像以及第二轮廓频谱图像;
根据所述第一轮廓频谱图像以及所述第二轮廓频谱图像确定差值频域图像,以根据所述差值频域图像确定位移量,以根据所述位移量对所述第一轮廓图像进行平移,以使所述第一轮廓图像与所述第二轮廓图像对齐;
根据完成对齐处理后的所述第一轮廓图像生成所述第一待融合图像,根据完成对齐处理后的所述第二轮廓图像生成所述第二待融合图像。
在一种可能的设计中,所述根据所述第一轮廓频谱图像以及所述第二轮廓频谱图像确定差值频域图像,以根据所述差值频域图像确定位移量,包括:
对所述第一轮廓频谱图像在预设坐标系下的像素值
Figure SMS_1
进行傅里叶变换,以 得到像素变换值
Figure SMS_2
,其中,x为所述预设坐标系下的横坐标,y为所述预设坐标系下的 纵坐标,u为傅里叶变化后所述预设坐标系下的横坐标,v为傅里叶变化后所述预设坐标系 下的纵坐标;
对所述第二轮廓频谱图像在所述预设坐标系下的像素值
Figure SMS_3
进行傅里叶变 换,以得到像素变换值
Figure SMS_4
根据所述
Figure SMS_5
以及所述
Figure SMS_6
确定所述差值频域图像对应的差值特征矩 阵
Figure SMS_7
,其中,
Figure SMS_8
Figure SMS_9
为所述
Figure SMS_10
的共轭 复数;
对所述
Figure SMS_11
进行反傅里叶变化,以得到特征系数矩阵
Figure SMS_12
,并确定所述
Figure SMS_13
中的最大值
Figure SMS_14
在所述预设坐标系下所对应的特征坐标
Figure SMS_15
根据所述特征坐标
Figure SMS_16
确定所述位移量
Figure SMS_17
Figure SMS_18
,
Figure SMS_19
,其中,
Figure SMS_20
为所述第二轮廓频谱图像宽度方向上的像素总数,M为所述第 二轮廓频谱图像高度方向上的像素总数,所述宽度方向与所述预设坐标系的横向坐标轴平 行,所述高度方向与所述预设坐标系的纵向坐标轴平行。
在一种可能的设计中,所述基于第一预设边缘检测算法对所述红近外缩放图像中的所述检测目标进行轮廓边缘检测,以提取第一轮廓边缘,包括:
利用预设训练集对预设卷积神经网络进行训练,以生成边缘轮廓提取模型,其中,所述预设训练集中的红近外训练图像包括所述检测目标的轮廓边缘标注信息,所述训练图像为灰度图像;
对所述红近外缩放图像进行灰度处理,以确定红近外灰度图像;
通过所述边缘轮廓提取模型对所述红近外灰度图像中的所述检测目标进行轮廓边缘检测,以提取所述第一轮廓边缘。
在一种可能的设计中,基于第二预设边缘检测算法对所述核磁共振缩放图像中的所述检测目标进行轮廓边缘检测,以提取第二轮廓边缘,包括:
对所述核磁共振缩放图像进行高斯滤波处理,以生成核磁共振滤波图像;
根据公式1确定所述核磁共振滤波图像各个像素点在所述预设坐标系下的像素值
Figure SMS_21
的梯度幅值
Figure SMS_22
,所述公式1为:
Figure SMS_23
其中,
Figure SMS_24
Figure SMS_25
分别是在所述预设坐标系下的横轴和纵轴方向上的梯度值;
当所述梯度幅值
Figure SMS_26
满足以下所有条件时,所述核磁共振滤波图像上像素点 对应的梯度特征值
Figure SMS_27
=
Figure SMS_28
;否则,
Figure SMS_29
;所述条件包括:
Figure SMS_30
若所述
Figure SMS_31
大于或等于预设梯度阈值,则将所述
Figure SMS_32
对应的像素点标 定为轮廓特征点;
对所有的轮廓特征点在所述预设坐标系下进行拟合,以生成所述第二轮廓边缘。
在一种可能的设计中,在所述图像处理器根据预设图像对齐算法将所述红近外检测图像以及所述核磁共振检测图像进行对齐处理之后,还包括:
在所述第二轮廓边缘上均匀设置S个特征点,依次计算S个特征点中任意相邻的两个特征点的欧式距离,所述S为大于10000的整数;
若第一特征点与第二特征点的欧式距离大于预设距离阈值,则在所述第二轮廓边缘上均匀设置P个特征点,并将所述P个特征点与所述第一特征点以及所述第二特征点构成校验特征点集合,所述P为所述S的L倍,所述L为大于10的整数;
若根据所述校验特征点集合确定所述第一特征点与所述第二特征点之间未存在特征点,则确定所述第二轮廓边缘为非封闭轮廓图形。
在一种可能的设计中,所述图像处理器根据预设图像融合算法将所述第一待融合图像以及所述第二待融合图像进行图像融合,以生成融合图像,包括:
根据所述第二待融合图像中的所述第一特征点确定所述第一待融合图像中所述第一轮廓边缘上的第一替换点,所述第一替换点为所述第一轮廓边缘上与所述第一特征点之间欧式距离最小的像素点;
根据所述第二待融合图像中的所述第二特征点确定所述第一待融合图像中所述第一轮廓边缘上的第二替换点,所述第二替换点为所述第一轮廓边缘上与所述第二特征点之间欧式距离最小的像素点;
根据所述第一替换点以及所述第二替换点确定填补轮廓边缘,所述填补轮廓边缘为所述第一轮廓边缘上位于所述第一替换点以及所述第二替换点之间像素点数量较少的轮廓;
根据所述第二轮廓边缘、所述第一特征点、所述第二特征点、所述第一替换点、所述第二替换点以及所述填补轮廓边缘确定融合轮廓边缘,并根据所述融合轮廓边缘生成所述融合图像。
第二方面,本申请提供一种目标成像系统,包括:图像处理器、图像显示器、红近外成像装置以及核磁共振成像装置,所述图像显示器、所述红近外成像装置以及所述核磁共振成像装置分别与所述图像处理器连接;
所述红近外成像装置,用于获取目标区域的红近外检测图像;
所述核磁共振成像装置,用于获取所述目标区域的核磁共振检测图像,所述目标区域为包括检测目标的区域;
所述图像处理器,用于根据预设图像对齐算法将所述红近外检测图像以及所述核磁共振检测图像进行对齐处理,以生成所述红近外检测图像对应的第一待融合图像以及所述核磁共振检测图像对应的第二待融合图像;
所述图像处理器,用于根据预设图像融合算法将所述第一待融合图像以及所述第二待融合图像进行图像融合,以生成融合图像;
所述图像显示器,用于对所述融合图像进行显示。
在一种可能的设计中,所述图像处理器根据预设图像对齐算法将所述红近外检测图像以及所述核磁共振检测图像进行对齐处理,以生成所述红近外检测图像对应的第一待融合图像以及所述核磁共振检测图像对应的第二待融合图像,包括:
根据所述红近外检测图像的第一缩放信息以及所述核磁共振检测图像的第二缩放信息确定缩放参数,以根据所述缩放参数将所述红近外检测图像缩放为红近外缩放图像,以及根据所述缩放参数将所述核磁共振检测图像缩放为核磁共振缩放图像;
基于第一预设边缘检测算法对所述红近外缩放图像中的所述检测目标进行轮廓边缘检测,以提取第一轮廓边缘,并根据所述第一轮廓边缘生成第一轮廓图像;
基于第二预设边缘检测算法对所述核磁共振缩放图像中的所述检测目标进行轮廓边缘检测,以提取第二轮廓边缘,并根据所述第二轮廓边缘生成第二轮廓图像;
分别对所述第一轮廓图像以及所述第二轮廓图像进行灰度化处理,以生成第一轮廓灰度图像以及第二轮廓灰度图像;
分别对所述第一轮廓灰度图像以及所述第二轮廓灰度图像进行傅里叶变换,以生成第一轮廓频谱图像以及第二轮廓频谱图像;
根据所述第一轮廓频谱图像以及所述第二轮廓频谱图像确定差值频域图像,以根据所述差值频域图像确定位移量,以根据所述位移量对所述第一轮廓图像进行平移,以使所述第一轮廓图像与所述第二轮廓图像对齐;
根据完成对齐处理后的所述第一轮廓图像生成所述第一待融合图像,根据完成对齐处理后的所述第二轮廓图像生成所述第二待融合图像。
在一种可能的设计中,所述图像处理器,具体用于:
对所述第一轮廓频谱图像在预设坐标系下的像素值
Figure SMS_33
进行傅里叶变换,以 得到像素变换值
Figure SMS_34
,其中,x为所述预设坐标系下的横坐标,y为所述预设坐标系下的 纵坐标,u为傅里叶变化后所述预设坐标系下的横坐标,v为傅里叶变化后所述预设坐标系 下的纵坐标;
对所述第二轮廓频谱图像在所述预设坐标系下的像素值
Figure SMS_35
进行傅里叶变 换,以得到像素变换值
Figure SMS_36
根据所述
Figure SMS_37
以及所述
Figure SMS_38
确定所述差值频域图像对应的差值特征矩 阵
Figure SMS_39
,其中,
Figure SMS_40
Figure SMS_41
为所述
Figure SMS_42
的共轭 复数;
对所述
Figure SMS_43
进行反傅里叶变化,以得到特征系数矩阵
Figure SMS_44
,并确定所述
Figure SMS_45
中的最大值
Figure SMS_46
在所述预设坐标系下所对应的特征坐标
Figure SMS_47
根据所述特征坐标
Figure SMS_48
确定所述位移量
Figure SMS_49
Figure SMS_50
,
Figure SMS_51
,其中,
Figure SMS_52
为所述第二轮廓频谱图像宽度方向上的像素总数,M为所述第 二轮廓频谱图像高度方向上的像素总数,所述宽度方向与所述预设坐标系的横向坐标轴平 行,所述高度方向与所述预设坐标系的纵向坐标轴平行。
在一种可能的设计中,所述图像处理器,具体用于:
利用预设训练集对预设卷积神经网络进行训练,以生成边缘轮廓提取模型,其中,所述预设训练集中的红近外训练图像包括所述检测目标的轮廓边缘标注信息,所述训练图像为灰度图像;
对所述红近外缩放图像进行灰度处理,以确定红近外灰度图像;
通过所述边缘轮廓提取模型对所述红近外灰度图像中的所述检测目标进行轮廓边缘检测,以提取所述第一轮廓边缘。
在一种可能的设计中,所述图像处理器,具体用于:
对所述核磁共振缩放图像进行高斯滤波处理,以生成核磁共振滤波图像;
根据公式1确定所述核磁共振滤波图像各个像素点在所述预设坐标系下的像素值
Figure SMS_53
的梯度幅值
Figure SMS_54
,所述公式1为:
Figure SMS_55
其中,
Figure SMS_56
Figure SMS_57
分别是在所述预设坐标系下的横轴和纵轴方向上的梯度值;
当所述梯度幅值
Figure SMS_58
满足以下所有条件时,所述核磁共振滤波图像上像素点 对应的梯度特征值
Figure SMS_59
=
Figure SMS_60
;否则,
Figure SMS_61
;所述条件包括:
Figure SMS_62
若所述
Figure SMS_63
大于或等于预设梯度阈值,则将所述
Figure SMS_64
对应的像素点标 定为轮廓特征点;
对所有的轮廓特征点在所述预设坐标系下进行拟合,以生成所述第二轮廓边缘。
在一种可能的设计中,所述图像处理器,具体用于:
在所述第二轮廓边缘上均匀设置S个特征点,依次计算S个特征点中任意相邻的两个特征点的欧式距离,所述S为大于10000的整数;
若第一特征点与第二特征点的欧式距离大于预设距离阈值,则在所述第二轮廓边缘上均匀设置P个特征点,并将所述P个特征点与所述第一特征点以及所述第二特征点构成校验特征点集合,所述P为所述S的L倍,所述L为大于10的整数;
若根据所述校验特征点集合确定所述第一特征点与所述第二特征点之间未存在特征点,则确定所述第二轮廓边缘为非封闭轮廓图形。
在一种可能的设计中,所述图像处理器,具体用于:
根据所述第二待融合图像中的所述第一特征点确定所述第一待融合图像中所述第一轮廓边缘上的第一替换点,所述第一替换点为所述第一轮廓边缘上与所述第一特征点之间欧式距离最小的像素点;
根据所述第二待融合图像中的所述第二特征点确定所述第一待融合图像中所述第一轮廓边缘上的第二替换点,所述第二替换点为所述第一轮廓边缘上与所述第二特征点之间欧式距离最小的像素点;
根据所述第一替换点以及所述第二替换点确定填补轮廓边缘,所述填补轮廓边缘为所述第一轮廓边缘上位于所述第一替换点以及所述第二替换点之间像素点数量较少的轮廓;
根据所述第二轮廓边缘、所述第一特征点、所述第二特征点、所述第一替换点、所述第二替换点以及所述填补轮廓边缘确定融合轮廓边缘,并根据所述融合轮廓边缘生成所述融合图像。
第三方面,本申请提供一种电子设备,包括:
处理器;以及,
存储器,用于存储所述处理器的可执行指令;
其中,所述处理器配置为经由执行所述可执行指令来执行第一方面中所述的任一种可能的方法。
第四方面,本申请提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现第一方面中所述的任一种可能的方法。
本申请提供的目标成像方法及系统,响应于检测指令,通过红近外成像装置获取目标区域的红近外检测图像,通过核磁共振成像装置获取目标区域的核磁共振检测图像,目标区域为包括检测目标的区域,然后,图像处理器根据预设图像对齐算法将红近外检测图像以及核磁共振检测图像进行对齐处理,以生成红近外检测图像对应的第一待融合图像以及核磁共振检测图像对应的第二待融合图像,在当第二待融合图像为非封闭轮廓图形,图像处理器根据预设图像融合算法将第一待融合图像以及第二待融合图像进行图像融合,以生成融合图像,并在图像显示器中,对融合图像进行显示,从而实现利用红近外成像装置所获取目标区域的红近外检测图像来对核磁共振检测图像中目标对象的非闭合轮廓进行填补,进而在保证所生成的融合图像具有高精度特性外,还具有更高的轮廓完整性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
图1是本申请根据一示例实施例示出的目标成像方法的流程示意图;
图2是本申请根据另一示例实施例示出的目标成像方法的流程示意图;
图3是本申请根据一示例实施例示出的目标成像系统的结构示意图;
图4是本申请根据一示例实施例示出的电子设备的结构示意图。
通过上述附图,已示出本申请明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围,而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
图1是本申请根据一示例实施例示出的目标成像方法的流程示意图。如图1所示,本实施例提供的方法,包括:
S101、响应于检测指令,通过红近外成像装置获取目标区域的红近外检测图像,通过核磁共振成像装置获取目标区域的核磁共振检测图像。
本实施例提供的方法可以应用于目标成像系统,该目标成像系统包括:图像处理器、图像显示器、红近外成像装置以及核磁共振成像装置,图像显示器、红近外成像装置以及核磁共振成像装置分别与图像处理器连接。其中,目标成像系统可以是用于对肿瘤进行检测与成像的系统,例如,可以是对乳腺肿瘤进行成像的系统。
在本步骤中,响应于检测指令,可以通过红近外成像装置获取目标区域的红近外检测图像,通过核磁共振成像装置获取目标区域的核磁共振检测图像,其中,目标区域为包括检测目标的区域,例如,当检测目标为乳腺肿瘤时,则目标区域为乳房区域。此外,上述红近外成像装置发射的近红外光可以穿透人体的组织,被不同的组织吸收,从而形成图像,从而可以通过对不同组织的不同吸收情况进行分析来确定肿瘤的位置、形状、大小等信息。而且,由于其成像原理,通过红近外成像装置所检测的肿瘤外轮廓清晰完整,但是,检测精度低于核磁共振成像。而核磁共振成像装置则是基于原子核的物理性质进行成像的,它利用强磁场和无线电波作用于人体组织时,原子核会发生共振现象,产生特定的信号。这些信号经过处理和分析后,就可以得到人体内部结构的影像,核磁共振成像装置所形成的肿瘤图像精度高,但是,对于所形成的肿瘤外轮廓存在概率会出现小范围的模糊、缺失或者重影。此外,上述的核磁共振成像装置还可以被替代为计算机断层扫描(Computed Tomography,CT)成像装置,其是利用计算机断层扫描技术,具体的,是使用旋转X射线机和计算机,通过对不同组织对X射线的吸收程度进行分析和图像处理,产生高精度的图像,但是,所形成的肿瘤外轮廓同样存在概率会出现小范围的模糊、缺失或者重影。此外,上述的核磁共振成像装置还可以被替代为X射线成像装置,但是,所形成的肿瘤外轮廓同样也存在概率会出现小范围的模糊、缺失或者重影。
S102、图像处理器根据预设图像对齐算法将红近外检测图像以及核磁共振检测图像进行对齐处理,以生成红近外检测图像对应的第一待融合图像以及核磁共振检测图像对应的第二待融合图像。
在本步骤中,图像处理器可以根据预设图像对齐算法将红近外检测图像以及核磁共振检测图像进行对齐处理,以生成红近外检测图像对应的第一待融合图像以及核磁共振检测图像对应的第二待融合图像。
具体的,可以是根据红近外检测图像的第一缩放信息以及核磁共振检测图像的第二缩放信息确定缩放参数,以根据缩放参数将红近外检测图像缩放为红近外缩放图像,以及根据缩放参数将核磁共振检测图像缩放为核磁共振缩放图像。
然后,基于第一预设边缘检测算法对红近外缩放图像中的检测目标进行轮廓边缘检测,以提取第一轮廓边缘,并根据第一轮廓边缘生成第一轮廓图像。其中,具体的,可以是利用预设训练集对预设卷积神经网络进行训练,以生成边缘轮廓提取模型,其中,预设训练集中的红近外训练图像包括检测目标的轮廓边缘标注信息,训练图像为灰度图像;对红近外缩放图像进行灰度处理,以确定红近外灰度图像;通过边缘轮廓提取模型对红近外灰度图像中的检测目标进行轮廓边缘检测,以提取第一轮廓边缘。
并且,基于第二预设边缘检测算法对核磁共振缩放图像中的检测目标进行轮廓边 缘检测,以提取第二轮廓边缘,并根据第二轮廓边缘生成第二轮廓图像。具体的,可以是对 核磁共振缩放图像进行高斯滤波处理,以生成核磁共振滤波图像;根据公式1确定核磁共振 滤波图像各个像素点在预设坐标系下的像素值
Figure SMS_65
的梯度幅值
Figure SMS_66
,公式1为:
Figure SMS_67
其中,
Figure SMS_68
Figure SMS_69
分别是在预设坐标系下的横轴和纵轴方向上的梯度值;
当梯度幅值
Figure SMS_70
满足以下所有条件时,核磁共振滤波图像上像素点对应的梯 度特征值
Figure SMS_71
=
Figure SMS_72
;否则,
Figure SMS_73
;条件包括:
Figure SMS_74
Figure SMS_75
大于或等于预设梯度阈值,则将
Figure SMS_76
对应的像素点标定为轮廓 特征点;对所有的轮廓特征点在预设坐标系下进行拟合,以生成第二轮廓边缘。
然后,再分别对第一轮廓图像以及第二轮廓图像进行灰度化处理,以生成第一轮廓灰度图像以及第二轮廓灰度图像;分别对第一轮廓灰度图像以及第二轮廓灰度图像进行傅里叶变换,以生成第一轮廓频谱图像以及第二轮廓频谱图像;根据第一轮廓频谱图像以及第二轮廓频谱图像确定差值频域图像,以根据差值频域图像确定位移量,以根据位移量对第一轮廓图像进行平移,以使第一轮廓图像与第二轮廓图像对齐;根据完成对齐处理后的第一轮廓图像生成第一待融合图像,根据完成对齐处理后的第二轮廓图像生成第二待融合图像。
其中,对于上述根据第一轮廓频谱图像以及第二轮廓频谱图像确定差值频域图 像,以根据差值频域图像确定位移量,具体的,可以是包括:对第一轮廓频谱图像在预设坐 标系下的像素值
Figure SMS_87
进行傅里叶变换,以得到像素变换值
Figure SMS_78
,其中,x为预设坐 标系下的横坐标,y为预设坐标系下的纵坐标,u为傅里叶变化后预设坐标系下的横坐标,v 为傅里叶变化后预设坐标系下的纵坐标;对第二轮廓频谱图像在预设坐标系下的像素值
Figure SMS_82
进行傅里叶变换,以得到像素变换值
Figure SMS_80
;根据
Figure SMS_83
以及
Figure SMS_88
确定 差值频域图像对应的差值特征矩阵
Figure SMS_91
,其中,
Figure SMS_86
Figure SMS_92
Figure SMS_77
的共轭复数;对
Figure SMS_84
进行反傅里叶变化,以得到特征系数矩阵
Figure SMS_90
,并确定
Figure SMS_94
中的最大值
Figure SMS_95
在预设坐标系下所对应的特征坐标
Figure SMS_96
;根据特征坐标
Figure SMS_81
确定位移量
Figure SMS_85
Figure SMS_89
,
Figure SMS_93
,其中,
Figure SMS_79
为第二轮廓频谱图像宽度方向上的像素总数,M为第二轮廓频 谱图像高度方向上的像素总数,宽度方向与预设坐标系的横向坐标轴平行,高度方向与预 设坐标系的纵向坐标轴平行。
此外,在图像处理器根据预设图像对齐算法将红近外检测图像以及核磁共振检测图像进行对齐处理之后,还可以包括:在第二轮廓边缘上均匀设置S个特征点,依次计算S个特征点中任意相邻的两个特征点的欧式距离,S为大于10000的整数;若第一特征点与第二特征点的欧式距离大于预设距离阈值,则在第二轮廓边缘上均匀设置P个特征点,并将P个特征点与第一特征点以及第二特征点构成校验特征点集合,P为S的L倍,L为大于10的整数;若根据校验特征点集合确定第一特征点与第二特征点之间未存在特征点,则确定第二轮廓边缘为非封闭轮廓图形。
S103、若第二待融合图像为非封闭轮廓图形,则图像处理器根据预设图像融合算法将第一待融合图像以及第二待融合图像进行图像融合,以生成融合图像。
在本步骤中,若第二待融合图像为非封闭轮廓图形,则图像处理器根据预设图像融合算法将第一待融合图像以及第二待融合图像进行图像融合,以生成融合图像。
S104、在图像显示器中,对融合图像进行显示。
在图像处理器根据预设图像融合算法将第一待融合图像以及第二待融合图像进行图像融合,并生成融合图像之后,可以在图像显示器中,对融合图像进行显示。
在本实施例中,响应于检测指令,通过红近外成像装置获取目标区域的红近外检测图像,通过核磁共振成像装置获取目标区域的核磁共振检测图像,目标区域为包括检测目标的区域,然后,图像处理器根据预设图像对齐算法将红近外检测图像以及核磁共振检测图像进行对齐处理,以生成红近外检测图像对应的第一待融合图像以及核磁共振检测图像对应的第二待融合图像,在当第二待融合图像为非封闭轮廓图形,图像处理器根据预设图像融合算法将第一待融合图像以及第二待融合图像进行图像融合,以生成融合图像,并在图像显示器中,对融合图像进行显示,从而实现利用红近外成像装置所获取目标区域的红近外检测图像来对核磁共振检测图像中目标对象的非闭合轮廓进行填补,进而在保证所生成的融合图像具有高精度特性外,还具有更高的轮廓完整性,以使得所获得的目标区域的肿瘤检测数据具有更高的参考价值。
图2是本申请根据另一示例实施例示出的目标成像方法的流程示意图。如图2所示,本实施例提供的方法,包括:
S201、响应于检测指令,通过红近外成像装置获取目标区域的红近外检测图像,通过核磁共振成像装置获取目标区域的核磁共振检测图像。
在本步骤中,响应于检测指令,可以通过红近外成像装置获取目标区域的红近外检测图像,通过核磁共振成像装置获取目标区域的核磁共振检测图像,其中,目标区域为包括检测目标的区域,例如,当检测目标为乳腺肿瘤时,则目标区域为乳房区域。此外,上述红近外成像装置发射的近红外光可以穿透人体的组织,被不同的组织吸收,从而形成图像,从而可以通过对不同组织的不同吸收情况进行分析来确定肿瘤的位置、形状、大小等信息。而且,由于其成像原理,通过红近外成像装置所检测的肿瘤外轮廓清晰完整,但是,检测精度低于核磁共振成像。而核磁共振成像装置则是基于原子核的物理性质进行成像的,它利用强磁场和无线电波作用于人体组织时,原子核会发生共振现象,产生特定的信号。这些信号经过处理和分析后,就可以得到人体内部结构的影像,核磁共振成像装置所形成的肿瘤图像精度高,但是,对于所形成的肿瘤外轮廓存在概率会出现小范围的模糊、缺失或者重影。此外,上述的核磁共振成像装置还可以被替代为计算机断层扫描(Computed Tomography,CT)成像装置,其是利用计算机断层扫描技术,具体的,是使用旋转X射线机和计算机,通过对不同组织对X射线的吸收程度进行分析和图像处理,产生高精度的图像,但是,所形成的肿瘤外轮廓同样存在概率会出现小范围的模糊、缺失或者重影。此外,上述的核磁共振成像装置还可以被替代为X射线成像装置,但是,所形成的肿瘤外轮廓同样也存在概率会出现小范围的模糊、缺失或者重影。
S202、图像处理器根据预设图像对齐算法将红近外检测图像以及核磁共振检测图像进行对齐处理,以生成红近外检测图像对应的第一待融合图像以及核磁共振检测图像对应的第二待融合图像。
在本步骤中,图像处理器可以根据预设图像对齐算法将红近外检测图像以及核磁共振检测图像进行对齐处理,以生成红近外检测图像对应的第一待融合图像以及核磁共振检测图像对应的第二待融合图像。
具体的,可以是根据红近外检测图像的第一缩放信息以及核磁共振检测图像的第二缩放信息确定缩放参数,以根据缩放参数将红近外检测图像缩放为红近外缩放图像,以及根据缩放参数将核磁共振检测图像缩放为核磁共振缩放图像。
然后,基于第一预设边缘检测算法对红近外缩放图像中的检测目标进行轮廓边缘检测,以提取第一轮廓边缘,并根据第一轮廓边缘生成第一轮廓图像。其中,具体的,可以是利用预设训练集对预设卷积神经网络进行训练,以生成边缘轮廓提取模型,其中,预设训练集中的红近外训练图像包括检测目标的轮廓边缘标注信息,训练图像为灰度图像;对红近外缩放图像进行灰度处理,以确定红近外灰度图像;通过边缘轮廓提取模型对红近外灰度图像中的检测目标进行轮廓边缘检测,以提取第一轮廓边缘。
并且,基于第二预设边缘检测算法对核磁共振缩放图像中的检测目标进行轮廓边 缘检测,以提取第二轮廓边缘,并根据第二轮廓边缘生成第二轮廓图像。具体的,可以是对 核磁共振缩放图像进行高斯滤波处理,以生成核磁共振滤波图像;根据公式1确定核磁共振 滤波图像各个像素点在预设坐标系下的像素值
Figure SMS_97
的梯度幅值
Figure SMS_98
,公式1为:
Figure SMS_99
其中,
Figure SMS_100
Figure SMS_101
分别是在预设坐标系下的横轴和纵轴方向上的梯度值;
当梯度幅值
Figure SMS_102
满足以下所有条件时,核磁共振滤波图像上像素点对应的梯 度特征值
Figure SMS_103
=
Figure SMS_104
;否则,
Figure SMS_105
;条件包括:
Figure SMS_106
Figure SMS_107
大于或等于预设梯度阈值,则将
Figure SMS_108
对应的像素点标定为轮廓 特征点;对所有的轮廓特征点在预设坐标系下进行拟合,以生成第二轮廓边缘。
然后,再分别对第一轮廓图像以及第二轮廓图像进行灰度化处理,以生成第一轮廓灰度图像以及第二轮廓灰度图像;分别对第一轮廓灰度图像以及第二轮廓灰度图像进行傅里叶变换,以生成第一轮廓频谱图像以及第二轮廓频谱图像;根据第一轮廓频谱图像以及第二轮廓频谱图像确定差值频域图像,以根据差值频域图像确定位移量,以根据位移量对第一轮廓图像进行平移,以使第一轮廓图像与第二轮廓图像对齐;根据完成对齐处理后的第一轮廓图像生成第一待融合图像,根据完成对齐处理后的第二轮廓图像生成第二待融合图像。
其中,对于上述根据第一轮廓频谱图像以及第二轮廓频谱图像确定差值频域图 像,以根据差值频域图像确定位移量,具体的,可以是包括:对第一轮廓频谱图像在预设坐 标系下的像素值
Figure SMS_116
进行傅里叶变换,以得到像素变换值
Figure SMS_110
,其中,x为预设坐 标系下的横坐标,y为预设坐标系下的纵坐标,u为傅里叶变化后预设坐标系下的横坐标,v 为傅里叶变化后预设坐标系下的纵坐标;对第二轮廓频谱图像在预设坐标系下的像素值
Figure SMS_114
进行傅里叶变换,以得到像素变换值
Figure SMS_121
;根据
Figure SMS_125
以及
Figure SMS_124
确定 差值频域图像对应的差值特征矩阵
Figure SMS_127
,其中,
Figure SMS_117
Figure SMS_122
Figure SMS_109
的共轭复数;对
Figure SMS_113
进行反傅里叶变化,以得到特征系数矩阵
Figure SMS_112
,并确定
Figure SMS_115
中的最大值
Figure SMS_118
在预设坐标系下所对应的特征坐标
Figure SMS_120
;根据特征坐标
Figure SMS_119
确定位移量
Figure SMS_123
Figure SMS_126
,
Figure SMS_128
,其中,
Figure SMS_111
为第二轮廓频谱图像宽度方向上的像素总数,M为第二轮廓频 谱图像高度方向上的像素总数,宽度方向与预设坐标系的横向坐标轴平行,高度方向与预 设坐标系的纵向坐标轴平行。
此外,在图像处理器根据预设图像对齐算法将红近外检测图像以及核磁共振检测图像进行对齐处理之后,还可以包括:在第二轮廓边缘上均匀设置S个特征点,依次计算S个特征点中任意相邻的两个特征点的欧式距离,S为大于10000的整数;若第一特征点与第二特征点的欧式距离大于预设距离阈值,则在第二轮廓边缘上均匀设置P个特征点,并将P个特征点与第一特征点以及第二特征点构成校验特征点集合,P为S的L倍,L为大于10的整数;若根据校验特征点集合确定第一特征点与第二特征点之间未存在特征点,则确定第二轮廓边缘为非封闭轮廓图形。
S203、根据第二待融合图像中的第一特征点确定第一待融合图像中第一轮廓边缘上的第一替换点。
在本步骤中,可以根据第二待融合图像中的第一特征点确定第一待融合图像中第一轮廓边缘上的第一替换点,第一替换点为第一轮廓边缘上与第一特征点之间欧式距离最小的像素点。
S204、根据第二待融合图像中的第二特征点确定第一待融合图像中第一轮廓边缘上的第二替换点。
在本步骤中,可以根据第二待融合图像中的第二特征点确定第一待融合图像中第一轮廓边缘上的第二替换点,第二替换点为第一轮廓边缘上与第二特征点之间欧式距离最小的像素点。
S205、根据第一替换点以及第二替换点确定填补轮廓边缘。
在本步骤中,根据第一替换点以及第二替换点确定填补轮廓边缘,填补轮廓边缘为第一轮廓边缘上位于第一替换点以及第二替换点之间像素点数量较少的轮廓。
S206、根据第二轮廓边缘、第一特征点、第二特征点、第一替换点、第二替换点以及填补轮廓边缘确定融合轮廓边缘,并根据融合轮廓边缘生成融合图像。
在本步骤中,根据第二轮廓边缘、第一特征点、第二特征点、第一替换点、第二替换点以及填补轮廓边缘确定融合轮廓边缘,并根据融合轮廓边缘生成融合图像。
在本实施例中,可以根据第二待融合图像中的第一特征点确定第一待融合图像中第一轮廓边缘上的第一替换点,根据第二待融合图像中的第二特征点确定第一待融合图像中第一轮廓边缘上的第二替换点,然后,根据第一替换点以及第二替换点确定填补轮廓边缘,从而根据第二轮廓边缘、第一特征点、第二特征点、第一替换点、第二替换点以及填补轮廓边缘确定融合轮廓边缘,并根据融合轮廓边缘生成融合图像,进而对核磁共振检测图像中目标对象的非闭合轮廓进行填补,进而在保证所生成的融合图像具有高精度特性外,还具有更高的轮廓完整性,以使得所获得的目标区域的肿瘤检测数据具有更高的参考价值。
图3是本申请根据一示例实施例示出的目标成像系统的结构示意图。如图3所示,本实施例提供的目标成像系统300,包括:
图像处理器310、图像显示器320、红近外成像装置330以及核磁共振成像装置340,所述图像显示器320、所述红近外成像装置330以及所述核磁共振成像装置340分别与所述图像处理器310连接;
所述红近外成像装置330,用于获取目标区域的红近外检测图像;
所述核磁共振成像装置340,用于获取所述目标区域的核磁共振检测图像,所述目标区域为包括检测目标的区域;
所述图像处理器310,用于根据预设图像对齐算法将所述红近外检测图像以及所述核磁共振检测图像进行对齐处理,以生成所述红近外检测图像对应的第一待融合图像以及所述核磁共振检测图像对应的第二待融合图像;
所述图像处理器310,用于根据预设图像融合算法将所述第一待融合图像以及所述第二待融合图像进行图像融合,以生成融合图像;
所述图像显示器320,用于对所述融合图像进行显示。
在一种可能的设计中,所述图像处理器310根据预设图像对齐算法将所述红近外检测图像以及所述核磁共振检测图像进行对齐处理,以生成所述红近外检测图像对应的第一待融合图像以及所述核磁共振检测图像对应的第二待融合图像,包括:
根据所述红近外检测图像的第一缩放信息以及所述核磁共振检测图像的第二缩放信息确定缩放参数,以根据所述缩放参数将所述红近外检测图像缩放为红近外缩放图像,以及根据所述缩放参数将所述核磁共振检测图像缩放为核磁共振缩放图像;
基于第一预设边缘检测算法对所述红近外缩放图像中的所述检测目标进行轮廓边缘检测,以提取第一轮廓边缘,并根据所述第一轮廓边缘生成第一轮廓图像;
基于第二预设边缘检测算法对所述核磁共振缩放图像中的所述检测目标进行轮廓边缘检测,以提取第二轮廓边缘,并根据所述第二轮廓边缘生成第二轮廓图像;
分别对所述第一轮廓图像以及所述第二轮廓图像进行灰度化处理,以生成第一轮廓灰度图像以及第二轮廓灰度图像;
分别对所述第一轮廓灰度图像以及所述第二轮廓灰度图像进行傅里叶变换,以生成第一轮廓频谱图像以及第二轮廓频谱图像;
根据所述第一轮廓频谱图像以及所述第二轮廓频谱图像确定差值频域图像,以根据所述差值频域图像确定位移量,以根据所述位移量对所述第一轮廓图像进行平移,以使所述第一轮廓图像与所述第二轮廓图像对齐;
根据完成对齐处理后的所述第一轮廓图像生成所述第一待融合图像,根据完成对齐处理后的所述第二轮廓图像生成所述第二待融合图像。
在一种可能的设计中,所述图像处理器310,具体用于:
对所述第一轮廓频谱图像在预设坐标系下的像素值
Figure SMS_129
进行傅里叶变换,以 得到像素变换值
Figure SMS_130
,其中,x为所述预设坐标系下的横坐标,y为所述预设坐标系下的 纵坐标,u为傅里叶变化后所述预设坐标系下的横坐标,v为傅里叶变化后所述预设坐标系 下的纵坐标;
对所述第二轮廓频谱图像在所述预设坐标系下的像素值
Figure SMS_131
进行傅里叶变 换,以得到像素变换值
Figure SMS_132
根据所述
Figure SMS_133
以及所述
Figure SMS_134
确定所述差值频域图像对应的差值特征矩 阵
Figure SMS_135
,其中,
Figure SMS_136
Figure SMS_137
为所述
Figure SMS_138
的共轭 复数;
对所述
Figure SMS_139
进行反傅里叶变化,以得到特征系数矩阵
Figure SMS_140
,并确定所述
Figure SMS_141
中的最大值
Figure SMS_142
在所述预设坐标系下所对应的特征坐标
Figure SMS_143
根据所述特征坐标
Figure SMS_144
确定所述位移量
Figure SMS_145
Figure SMS_146
,
Figure SMS_147
,其中,
Figure SMS_148
为所述第二轮廓频谱图像宽度方向上的像素总数,M为所述第 二轮廓频谱图像高度方向上的像素总数,所述宽度方向与所述预设坐标系的横向坐标轴平 行,所述高度方向与所述预设坐标系的纵向坐标轴平行。
在一种可能的设计中,所述图像处理器310,具体用于:
利用预设训练集对预设卷积神经网络进行训练,以生成边缘轮廓提取模型,其中,所述预设训练集中的红近外训练图像包括所述检测目标的轮廓边缘标注信息,所述训练图像为灰度图像;
对所述红近外缩放图像进行灰度处理,以确定红近外灰度图像;
通过所述边缘轮廓提取模型对所述红近外灰度图像中的所述检测目标进行轮廓边缘检测,以提取所述第一轮廓边缘。
在一种可能的设计中,所述图像处理器310,具体用于:
对所述核磁共振缩放图像进行高斯滤波处理,以生成核磁共振滤波图像;
根据公式1确定所述核磁共振滤波图像各个像素点在所述预设坐标系下的像素值
Figure SMS_149
的梯度幅值
Figure SMS_150
,所述公式1为:
Figure SMS_151
其中,
Figure SMS_152
Figure SMS_153
分别是在所述预设坐标系下的横轴和纵轴方向上的梯度值;
当所述梯度幅值
Figure SMS_154
满足以下所有条件时,所述核磁共振滤波图像上像素点 对应的梯度特征值
Figure SMS_155
=
Figure SMS_156
;否则,
Figure SMS_157
;所述条件包括:
Figure SMS_158
若所述
Figure SMS_159
大于或等于预设梯度阈值,则将所述
Figure SMS_160
对应的像素点标 定为轮廓特征点;
对所有的轮廓特征点在所述预设坐标系下进行拟合,以生成所述第二轮廓边缘。
在一种可能的设计中,所述图像处理器310,具体用于:
在所述第二轮廓边缘上均匀设置S个特征点,依次计算S个特征点中任意相邻的两个特征点的欧式距离,所述S为大于10000的整数;
若第一特征点与第二特征点的欧式距离大于预设距离阈值,则在所述第二轮廓边缘上均匀设置P个特征点,并将所述P个特征点与所述第一特征点以及所述第二特征点构成校验特征点集合,所述P为所述S的L倍,所述L为大于10的整数;
若根据所述校验特征点集合确定所述第一特征点与所述第二特征点之间未存在特征点,则确定所述第二轮廓边缘为非封闭轮廓图形。
在一种可能的设计中,所述图像处理器310,具体用于:
根据所述第二待融合图像中的所述第一特征点确定所述第一待融合图像中所述第一轮廓边缘上的第一替换点,所述第一替换点为所述第一轮廓边缘上与所述第一特征点之间欧式距离最小的像素点;
根据所述第二待融合图像中的所述第二特征点确定所述第一待融合图像中所述第一轮廓边缘上的第二替换点,所述第二替换点为所述第一轮廓边缘上与所述第二特征点之间欧式距离最小的像素点;
根据所述第一替换点以及所述第二替换点确定填补轮廓边缘,所述填补轮廓边缘为所述第一轮廓边缘上位于所述第一替换点以及所述第二替换点之间像素点数量较少的轮廓;
根据所述第二轮廓边缘、所述第一特征点、所述第二特征点、所述第一替换点、所述第二替换点以及所述填补轮廓边缘确定融合轮廓边缘,并根据所述融合轮廓边缘生成所述融合图像。
图4是本申请根据一示例实施例示出的电子设备的结构示意图。如图4所示,本实施例提供的一种电子设备400包括:处理器401以及存储器402;其中:
存储器402,用于存储计算机程序,该存储器还可以是flash(闪存)。
处理器401,用于执行存储器存储的执行指令,以实现上述方法中的各个步骤。具体可以参见前面方法实施例中的相关描述。
可选地,存储器402既可以是独立的,也可以跟处理器401集成在一起。
当所述存储器402是独立于处理器401之外的器件时,所述电子设备400还可以包括:
总线403,用于连接所述存储器402和处理器401。
本实施例还提供一种可读存储介质,可读存储介质中存储有计算机程序,当电子设备的至少一个处理器执行该计算机程序时,电子设备执行上述的各种实施方式提供的方法。
本实施例还提供一种程序产品,该程序产品包括计算机程序,该计算机程序存储在可读存储介质中。电子设备的至少一个处理器可以从可读存储介质读取该计算机程序,至少一个处理器执行该计算机程序使得电子设备实施上述的各种实施方式提供的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求书指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。

Claims (10)

1.一种目标成像方法,其特征在于,应用于目标成像系统,所述目标成像系统包括:图像处理器、图像显示器、红近外成像装置以及核磁共振成像装置,所述图像显示器、所述红近外成像装置以及所述核磁共振成像装置分别与所述图像处理器连接;所述方法包括:
响应于检测指令,通过所述红近外成像装置获取目标区域的红近外检测图像,通过所述核磁共振成像装置获取所述目标区域的核磁共振检测图像,所述目标区域为包括检测目标的区域;
所述图像处理器根据预设图像对齐算法将所述红近外检测图像以及所述核磁共振检测图像进行对齐处理,以生成所述红近外检测图像对应的第一待融合图像以及所述核磁共振检测图像对应的第二待融合图像;
若所述第二待融合图像为非封闭轮廓图形,则所述图像处理器根据预设图像融合算法将所述第一待融合图像以及所述第二待融合图像进行图像融合,以生成融合图像;
在所述图像显示器中,对所述融合图像进行显示。
2.根据权利要求1所述的目标成像方法,其特征在于,所述图像处理器根据预设图像对齐算法将所述红近外检测图像以及所述核磁共振检测图像进行对齐处理,以生成所述红近外检测图像对应的第一待融合图像以及所述核磁共振检测图像对应的第二待融合图像,包括:
根据所述红近外检测图像的第一缩放信息以及所述核磁共振检测图像的第二缩放信息确定缩放参数,以根据所述缩放参数将所述红近外检测图像缩放为红近外缩放图像,以及根据所述缩放参数将所述核磁共振检测图像缩放为核磁共振缩放图像;
基于第一预设边缘检测算法对所述红近外缩放图像中的所述检测目标进行轮廓边缘检测,以提取第一轮廓边缘,并根据所述第一轮廓边缘生成第一轮廓图像;
基于第二预设边缘检测算法对所述核磁共振缩放图像中的所述检测目标进行轮廓边缘检测,以提取第二轮廓边缘,并根据所述第二轮廓边缘生成第二轮廓图像;
分别对所述第一轮廓图像以及所述第二轮廓图像进行灰度化处理,以生成第一轮廓灰度图像以及第二轮廓灰度图像;
分别对所述第一轮廓灰度图像以及所述第二轮廓灰度图像进行傅里叶变换,以生成第一轮廓频谱图像以及第二轮廓频谱图像;
根据所述第一轮廓频谱图像以及所述第二轮廓频谱图像确定差值频域图像,以根据所述差值频域图像确定位移量,以根据所述位移量对所述第一轮廓图像进行平移,以使所述第一轮廓图像与所述第二轮廓图像对齐;
根据完成对齐处理后的所述第一轮廓图像生成所述第一待融合图像,根据完成对齐处理后的所述第二轮廓图像生成所述第二待融合图像。
3.根据权利要求2所述的目标成像方法,其特征在于,所述根据所述第一轮廓频谱图像以及所述第二轮廓频谱图像确定差值频域图像,以根据所述差值频域图像确定位移量,包括:
对所述第一轮廓频谱图像在预设坐标系下的像素值
Figure QLYQS_1
进行傅里叶变换,以得到像素变换值/>
Figure QLYQS_2
,其中,x为所述预设坐标系下的横坐标,y为所述预设坐标系下的纵坐标,u为傅里叶变化后所述预设坐标系下的横坐标,v为傅里叶变化后所述预设坐标系下的纵坐标;
对所述第二轮廓频谱图像在所述预设坐标系下的像素值
Figure QLYQS_3
进行傅里叶变换,以得到像素变换值/>
Figure QLYQS_4
根据所述
Figure QLYQS_5
以及所述/>
Figure QLYQS_6
确定所述差值频域图像对应的差值特征矩阵
Figure QLYQS_7
,其中,/>
Figure QLYQS_8
,/>
Figure QLYQS_9
为所述/>
Figure QLYQS_10
的共轭复数;
对所述
Figure QLYQS_11
进行反傅里叶变化,以得到特征系数矩阵/>
Figure QLYQS_12
,并确定所述
Figure QLYQS_13
中的最大值/>
Figure QLYQS_14
在所述预设坐标系下所对应的特征坐标/>
Figure QLYQS_15
根据所述特征坐标
Figure QLYQS_16
确定所述位移量/>
Figure QLYQS_17
,/>
Figure QLYQS_18
,
Figure QLYQS_19
,其中,/>
Figure QLYQS_20
为所述第二轮廓频谱图像宽度方向上的像素总数,M为所述第二轮廓频谱图像高度方向上的像素总数,所述宽度方向与所述预设坐标系的横向坐标轴平行,所述高度方向与所述预设坐标系的纵向坐标轴平行。
4.根据权利要求3所述的目标成像方法,其特征在于,所述基于第一预设边缘检测算法对所述红近外缩放图像中的所述检测目标进行轮廓边缘检测,以提取第一轮廓边缘,包括:
利用预设训练集对预设卷积神经网络进行训练,以生成边缘轮廓提取模型,其中,所述预设训练集中的红近外训练图像包括所述检测目标的轮廓边缘标注信息,所述训练图像为灰度图像;
对所述红近外缩放图像进行灰度处理,以确定红近外灰度图像;
通过所述边缘轮廓提取模型对所述红近外灰度图像中的所述检测目标进行轮廓边缘检测,以提取所述第一轮廓边缘。
5.根据权利要求4所述的目标成像方法,其特征在于,基于第二预设边缘检测算法对所述核磁共振缩放图像中的所述检测目标进行轮廓边缘检测,以提取第二轮廓边缘,包括:
对所述核磁共振缩放图像进行高斯滤波处理,以生成核磁共振滤波图像;
根据公式1确定所述核磁共振滤波图像各个像素点在所述预设坐标系下的像素值
Figure QLYQS_21
的梯度幅值/>
Figure QLYQS_22
,所述公式1为:
Figure QLYQS_24
其中,/>
Figure QLYQS_27
和/>
Figure QLYQS_31
分别是在所述预设坐标系下的横轴和纵轴方向上的梯度值;当所述梯度幅值/>
Figure QLYQS_25
满足以下所有条件时,所述核磁共振滤波图像上像素点对应的梯度特征值/>
Figure QLYQS_26
=/>
Figure QLYQS_29
;否则,/>
Figure QLYQS_32
;所述条件包括:/>
Figure QLYQS_23
若所述/>
Figure QLYQS_28
大于或等于预设梯度阈值,则将所述/>
Figure QLYQS_30
对应的像素点标定为轮廓特征点;对所有的轮廓特征点在所述预设坐标系下进行拟合,以生成所述第二轮廓边缘。
6.根据权利要求2-5中任意一项所述的目标成像方法,其特征在于,在所述图像处理器根据预设图像对齐算法将所述红近外检测图像以及所述核磁共振检测图像进行对齐处理之后,还包括:
在所述第二轮廓边缘上均匀设置S个特征点,依次计算S个特征点中任意相邻的两个特征点的欧式距离,所述S为大于10000的整数;
若第一特征点与第二特征点的欧式距离大于预设距离阈值,则在所述第二轮廓边缘上均匀设置P个特征点,并将所述P个特征点与所述第一特征点以及所述第二特征点构成校验特征点集合,所述P为所述S的L倍,所述L为大于10的整数;
若根据所述校验特征点集合确定所述第一特征点与所述第二特征点之间未存在特征点,则确定所述第二轮廓边缘为非封闭轮廓图形。
7.根据权利要求6所述的目标成像方法,其特征在于,所述图像处理器根据预设图像融合算法将所述第一待融合图像以及所述第二待融合图像进行图像融合,以生成融合图像,包括:
根据所述第二待融合图像中的所述第一特征点确定所述第一待融合图像中所述第一轮廓边缘上的第一替换点,所述第一替换点为所述第一轮廓边缘上与所述第一特征点之间欧式距离最小的像素点;
根据所述第二待融合图像中的所述第二特征点确定所述第一待融合图像中所述第一轮廓边缘上的第二替换点,所述第二替换点为所述第一轮廓边缘上与所述第二特征点之间欧式距离最小的像素点;
根据所述第一替换点以及所述第二替换点确定填补轮廓边缘,所述填补轮廓边缘为所述第一轮廓边缘上位于所述第一替换点以及所述第二替换点之间像素点数量较少的轮廓;
根据所述第二轮廓边缘、所述第一特征点、所述第二特征点、所述第一替换点、所述第二替换点以及所述填补轮廓边缘确定融合轮廓边缘,并根据所述融合轮廓边缘生成所述融合图像。
8.一种目标成像系统,其特征在于,包括:图像处理器、图像显示器、红近外成像装置以及核磁共振成像装置,所述图像显示器、所述红近外成像装置以及所述核磁共振成像装置分别与所述图像处理器连接;
所述红近外成像装置,用于获取目标区域的红近外检测图像;
所述核磁共振成像装置,用于获取所述目标区域的核磁共振检测图像,所述目标区域为包括检测目标的区域;
所述图像处理器,用于根据预设图像对齐算法将所述红近外检测图像以及所述核磁共振检测图像进行对齐处理,以生成所述红近外检测图像对应的第一待融合图像以及所述核磁共振检测图像对应的第二待融合图像;
所述图像处理器,用于根据预设图像融合算法将所述第一待融合图像以及所述第二待融合图像进行图像融合,以生成融合图像;
所述图像显示器,用于对所述融合图像进行显示。
9.一种电子设备,其特征在于,包括:处理器;以及,存储器,用于存储所述处理器的可执行指令;其中,所述处理器配置为经由执行所述可执行指令来执行权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如权利要求1至7任一项所述的方法。
CN202310644812.9A 2023-06-02 2023-06-02 目标成像方法及系统 Active CN116363252B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310644812.9A CN116363252B (zh) 2023-06-02 2023-06-02 目标成像方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310644812.9A CN116363252B (zh) 2023-06-02 2023-06-02 目标成像方法及系统

Publications (2)

Publication Number Publication Date
CN116363252A true CN116363252A (zh) 2023-06-30
CN116363252B CN116363252B (zh) 2023-08-04

Family

ID=86928432

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310644812.9A Active CN116363252B (zh) 2023-06-02 2023-06-02 目标成像方法及系统

Country Status (1)

Country Link
CN (1) CN116363252B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150324989A1 (en) * 2013-09-03 2015-11-12 Litel Instruments Method & system for high accuracy & reliability registration of multi modal imagery
CN105389774A (zh) * 2014-09-05 2016-03-09 华为技术有限公司 对齐图像的方法和装置
CN105809650A (zh) * 2016-03-04 2016-07-27 北京航空航天大学 一种基于双向迭代优化的图像融合方法
US20220148129A1 (en) * 2019-03-11 2022-05-12 Arashi Vision Inc. Image fusion method and portable terminal
CN114693561A (zh) * 2022-04-15 2022-07-01 中科微影(浙江)医疗科技有限公司 一种基于卷积神经网络的核磁共振图像处理方法与系统
CN114792296A (zh) * 2022-04-26 2022-07-26 中科微影(浙江)医疗科技有限公司 一种核磁共振图像与超声图像融合方法与系统
CN115393519A (zh) * 2022-08-30 2022-11-25 电子科技大学 一种基于红外可见光融合图像的三维重构方法
CN115553752A (zh) * 2022-10-24 2023-01-03 华南理工大学 一种基于多模态数据融合的脑功能障碍辅助评估方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150324989A1 (en) * 2013-09-03 2015-11-12 Litel Instruments Method & system for high accuracy & reliability registration of multi modal imagery
CN105389774A (zh) * 2014-09-05 2016-03-09 华为技术有限公司 对齐图像的方法和装置
CN105809650A (zh) * 2016-03-04 2016-07-27 北京航空航天大学 一种基于双向迭代优化的图像融合方法
US20220148129A1 (en) * 2019-03-11 2022-05-12 Arashi Vision Inc. Image fusion method and portable terminal
CN114693561A (zh) * 2022-04-15 2022-07-01 中科微影(浙江)医疗科技有限公司 一种基于卷积神经网络的核磁共振图像处理方法与系统
CN114792296A (zh) * 2022-04-26 2022-07-26 中科微影(浙江)医疗科技有限公司 一种核磁共振图像与超声图像融合方法与系统
CN115393519A (zh) * 2022-08-30 2022-11-25 电子科技大学 一种基于红外可见光融合图像的三维重构方法
CN115553752A (zh) * 2022-10-24 2023-01-03 华南理工大学 一种基于多模态数据融合的脑功能障碍辅助评估方法

Also Published As

Publication number Publication date
CN116363252B (zh) 2023-08-04

Similar Documents

Publication Publication Date Title
US20220192617A1 (en) Methods and systems for extracting blood vessel
EP3362987B1 (en) System and method for image correction
CN106600609B (zh) 一种医学图像中脊柱的分割方法及系统
CN111008984B (zh) 医学影像中正常器官的轮廓线自动勾画方法
US9282944B2 (en) C-arm pose estimation using intensity-based registration of imaging modalities
JP4885138B2 (ja) 一連の画像における動き修正のための方法およびシステム
WO2008121773A1 (en) Improved object recognition system for medical imaging
CN104268846A (zh) 图像拼接方法及装置
CN106780649B (zh) 图像的伪影去除方法和装置
CN115843373A (zh) 一种融合Gabor小波的多尺度局部水平集超声图像分割方法
CN106530236B (zh) 一种医学图像处理方法及系统
GB2346028A (en) Locating image edges using a de-convolution process
CN117094917B (zh) 一种心血管3d打印数据处理方法
George et al. Preprocessing filters for mammogram images: a review
CN116363252B (zh) 目标成像方法及系统
JP5632920B2 (ja) ボケイメージ内のブラーの特性を決定するシステム及び方法
CN112634280B (zh) 基于能量泛函的mri图像脑肿瘤分割方法
CN111166373B (zh) 一种定位注册方法、装置和系统
CN105719256A (zh) 一种基于结构图像引导的pet图像部分容积校正方法
Butman et al. Assessment of ventricle volume from serial MRI scans in communicating hydrocephalus
Jurek et al. Reconstruction of high-resolution t2W mr images of the prostate using maximum a posteriori approach and Markov random field regularization
CN112837226B (zh) 基于形态学的大脑中矢面提取方法、系统、终端及介质
EP4125031A1 (en) Method and systems for removing anti-scatter grid artifacts in x-ray imaging
US20230358837A1 (en) Methods and systems for motion detection in magnetic resonance imaging
Schwaab et al. Image quality in automated breast ultrasound images: a preliminary study for the development of automated image quality assessment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant