CN109003270A - 一种图像处理方法及电子设备 - Google Patents
一种图像处理方法及电子设备 Download PDFInfo
- Publication number
- CN109003270A CN109003270A CN201810814377.9A CN201810814377A CN109003270A CN 109003270 A CN109003270 A CN 109003270A CN 201810814377 A CN201810814377 A CN 201810814377A CN 109003270 A CN109003270 A CN 109003270A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- prediction
- frame
- heart
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 19
- 238000000034 method Methods 0.000 claims abstract description 49
- 238000012545 processing Methods 0.000 claims abstract description 38
- 238000000714 time series forecasting Methods 0.000 claims abstract description 15
- 238000012549 training Methods 0.000 claims description 20
- 230000015654 memory Effects 0.000 claims description 15
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 230000008602 contraction Effects 0.000 claims description 12
- 210000004165 myocardium Anatomy 0.000 claims description 10
- 230000002107 myocardial effect Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 5
- 235000013399 edible fruits Nutrition 0.000 claims 1
- 230000006870 function Effects 0.000 abstract description 29
- 238000013139 quantization Methods 0.000 abstract description 12
- 230000002861 ventricular Effects 0.000 abstract description 12
- 230000004217 heart function Effects 0.000 abstract description 8
- 230000008569 process Effects 0.000 description 14
- 238000002790 cross-validation Methods 0.000 description 12
- 238000013135 deep learning Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000013184 cardiac magnetic resonance imaging Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 210000005242 cardiac chamber Anatomy 0.000 description 2
- 230000000747 cardiac effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000007598 dipping method Methods 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 210000005240 left ventricle Anatomy 0.000 description 2
- 238000010238 partial least squares regression Methods 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 208000020446 Cardiac disease Diseases 0.000 description 1
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013497 data interchange Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000002224 dissection Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 230000010247 heart contraction Effects 0.000 description 1
- 208000019622 heart disease Diseases 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000009169 immunotherapy Methods 0.000 description 1
- 210000000554 iris Anatomy 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012067 mathematical method Methods 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000010181 polygamy Effects 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000003134 recirculating effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
- A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
- A61B5/0044—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the heart
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2576/00—Medical imaging apparatus involving image processing or analysis
- A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
- A61B2576/023—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part for the heart
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
- G01R33/00—Arrangements or instruments for measuring magnetic variables
- G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Theoretical Computer Science (AREA)
- Radiology & Medical Imaging (AREA)
- Public Health (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Molecular Biology (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Epidemiology (AREA)
- Data Mining & Analysis (AREA)
- Primary Health Care (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- High Energy & Nuclear Physics (AREA)
- Cardiology (AREA)
- Geometry (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本申请实施例公开了一种图像处理方法及电子设备,其中方法包括:将原始图像转换为符合目标参数的目标图像;将所述目标图像输入指标预测模块,获得目标数值指标;根据所述目标数值指标,对所述目标图像进行时序预测处理,获得时序状态预测结果,可以实现左心室功能量化,提高图像处理效率,提升心脏功能指标的预测精度。
Description
技术领域
本发明涉及图像处理领域,具体涉及一种图像处理方法及电子设备。
背景技术
图像处理是用计算机对图像进行分析,以达到所需结果的技术。图像处理一般指数字图像处理,数字图像是指用工业相机、摄像机、扫描仪等设备经过拍摄得到的一个大的二维数组,该数组的元素称为像素,其值称为灰度值。图像处理在许多领域起着十分重要的作用,特别是医学领域的图像处理。
目前,对于诊断心脏疾病而言,左心室功能量化是诊断步骤中最重要的一步。左心室功能量化依然是一个困难的任务,由于不同病人的心脏结构多样性、心脏跳动的时序复杂性。左心室功能量化的具体目标是输出左心室的各个组织的具体指标。在过去没有计算机辅助时,完成上述指标计算的流程是:医师在心脏的医学图像上手工圈出心腔、心肌层的轮廓,标定主轴方向,然后手工测量出具体指标,该过程费时费力,且医师间判断的差别显著。
随着医学技术的发展与成熟,计算机辅助计算指标的方法也逐渐应用广泛。一般而言,使用原图输入输出像素分割后计算指标的方法,通常在图像模糊的边界部分分割不精准,需要医师再介入进行边界修正后才能得出精确的指标,能省去的仅有医师判断显著是心肌、心腔区域的时间,在左心室功能量化的图像处理中,该类方法处理效率较低,获得的指标精度不高。
发明内容
本申请实施例提供了一种图像处理方法及电子设备,可以实现左心室功能量化,提高图像处理效率,提升心脏功能指标的预测精度。
本申请实施例第一方面提供一种图像处理方法,包括:
将原始图像转换为符合目标参数的目标图像;
将所述目标图像输入指标预测模块,获得目标数值指标;
根据所述目标数值指标,对所述目标图像进行时序预测处理,获得时序状态预测结果。
在一种可选的实施方式中,所述对所述目标图像进行时序预测处理,获得时序状态预测结果包括:
使用无参数序列预测策略对所述目标图像进行时序预测处理,获得时序状态预测结果。
在一种可选的实施方式中,所述指标预测模块包括深度层级融合网络模型。
在一种可选的实施方式中,所述原始图像为心脏磁共振成像,
所述目标数值指标包括以下任意一种或几种:心腔面积、心肌面积、心腔每隔60度的直径、心肌层每隔60度的厚度。
在一种可选的实施方式中,所述获得目标数值指标包括:
分别获得M帧目标图像的M个预测心腔面积值;
所述根据所述目标数值指标,使用无参数序列预测策略对所述目标图像进行时序预测处理,获得时序状态预测结果包括:
使用多项式曲线对所述M个预测心腔面积值进行拟合,获得回归曲线;
获取所述回归曲线的最高帧与最低帧,获得判断心脏状态为收缩状态或者舒张状态的判断区间;
根据所述判断区间判断所述心脏状态,所述M为大于1的整数。
在一种可选的实施方式中,所述将原始图像转换为符合目标参数的目标图像之前,所述方法还包括:
在包含所述原始图像的影像数据中,提取M帧原始图像,所述M帧原始图像涵盖至少一个心脏跳动周期;
所述将原始图像转换为符合目标参数的目标图像,包括:
将M帧原始图像转换为符合所述目标参数的M帧目标图像。
在一种可选的实施方式中,所述方法还包括:
所述深度层级融合网络模型为N个,所述N个深度层级融合网络模型由训练数据通过交叉验证训练获得,所述N为大于1的整数。
在一种可选的实施方式中,所述M帧目标图像包括第一目标图像,所述将所述目标图像输入深度层级融合网络模型,获得目标数值指标包括:
将所述第一目标图像输入所述N个深度层级融合网络模型,获得N个初步预测心腔面积值;
所述分别获得M帧目标图像的M个预测心腔面积值包括:
将所述N个初步预测心腔面积值取平均值,作为所述第一目标图像对应的预测心腔面积值,对所述M帧目标图像中的每帧图像执行相同步骤,获得所述M帧目标图像对应的M个预测心腔面积值。
在一种可选的实施方式中,所述将原始图像转换为符合目标参数的目标图像包括:
对所述原始图像进行直方图均衡化处理,获得灰度值满足目标动态范围的所述目标图像。
本申请实施例第二方面提供一种电子设备,包括:图像转换模块、指标预测模块和状态预测模块,其中:
所述图像转换模块,用于将原始图像转换为符合目标参数的目标图像;
所述指标预测模块,用于将所述目标图像输入深度层级融合网络模型,获得目标数值指标;
所述状态预测模块,用于根据所述目标数值指标,对所述目标图像进行时序预测处理,获得时序状态预测结果。
在一种可选的实施方式中,所述指标预测模块具体用于:
使用无参数序列预测策略对所述目标图像进行时序预测处理,获得时序状态预测结果。
在一种可选的实施方式中,所述指标预测模块包括深度层级融合网络模型。
在一种可选的实施方式中,所述原始图像为心脏磁共振成像,
所述目标数值指标包括以下任意一种或几种:心腔面积、心肌面积、心腔每隔60度的直径、心肌层每隔60度的厚度。
在一种可选的实施方式中,所述指标预测模块包括第一预测单元,所述第一预测单元用于:分别获得M帧目标图像的M个预测心腔面积值;
所述状态预测模块具体用于:
使用多项式曲线对所述M个预测心腔面积值进行拟合,获得回归曲线;
获取所述回归曲线的最高帧与最低帧,获得判断心脏状态为收缩状态或者舒张状态的判断区间;
根据所述判断区间判断所述心脏状态,所述M为大于1的整数。
在一种可选的实施方式中,所述电子设备还包括图像提取模块,用于在包含所述原始图像的影像数据中,提取M帧原始图像,所述M帧原始图像涵盖至少一个心脏跳动周期;
所述图像转换模块具体用于:将M帧原始图像转换为符合所述目标参数的M帧目标图像。
在一种可选的实施方式中,所述指标预测模块的所述深度层级融合网络模型为N个,所述N个深度层级融合网络模型由训练数据通过交叉验证训练获得,所述N为大于1的整数。
在一种可选的实施方式中,所述M帧目标图像包括第一目标图像,所述指标预测模块具体用于:
将所述第一目标图像输入所述N个深度层级融合网络模型,获得N个初步预测心腔面积值;
所述第一预测单元具体用于:
将所述N个初步预测心腔面积值取平均值,作为所述第一目标图像对应的预测心腔面积值,对所述M帧目标图像中的每帧图像执行相同步骤,获得所述M帧目标图像对应的M个预测心腔面积值。
在一种可选的实施方式中,所述图像转换模块具体用于:
对所述原始图像进行直方图均衡化处理,获得灰度值满足目标动态范围的所述目标图像。
本申请实施例第三方面提供另一种电子设备,包括处理器以及存储器,所述存储器用于存储一个或多个程序,所述一个或多个程序被配置成由所述处理器执行,所述程序包括用于执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。
本申请实施例第四方面提供一种计算机可读存储介质,所述计算机可读存储介质用于存储电子数据交换的计算机程序,其中,所述计算机程序使得计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。
本申请实施例通过将原始图像转换为符合目标参数的目标图像;将所述目标图像输入指标预测模块,获得目标数值指标;根据所述目标数值指标,对所述目标图像进行时序预测处理,获得时序状态预测结果,可以实现左心室功能量化,提高图像处理效率,减少一般处理过程中人工参与带来的人力消耗和误差,提升心脏功能指标的预测精度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1是本申请实施例公开的一种图像处理方法的流程示意图;
图2是本申请实施例公开的另一种图像处理方法的流程示意图;
图3是本申请实施例公开的一种电子设备的结构示意图;
图4是本申请实施例公开的另一种电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
本申请实施例所涉及到的电子设备可以允许多个其他终端设备进行访问。上述电子设备包括终端设备,具体实现中,上述终端设备包括但不限于诸如具有触摸敏感表面(例如,触摸屏显示器和/或触摸板)的移动电话、膝上型计算机或平板计算机之类的其它便携式设备。还应当理解的是,在某些实施例中,所述设备并非便携式通信设备,而是具有触摸敏感表面(例如,触摸屏显示器和/或触摸板)的台式计算机。
本申请实施例中的深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征,以发现数据的分布式特征表示。
深度学习是机器学习中一种基于对数据进行表征学习的方法。观测值(例如一幅图像)可以使用多种方式来表示,如每个像素强度值的向量,或者更抽象地表示成一系列边、特定形状的区域等。而使用某些特定的表示方法更容易从实例中学习任务(例如,人脸识别或面部表情识别)。深度学习的好处是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。深度学习是机器学习研究中的一个新的领域,其动机在于建立、模拟人脑进行分析学习的神经网络,它模仿人脑的机制来解释数据,例如图像,声音和文本。
下面对本申请实施例进行详细介绍。
请参阅图1,图1是本申请实施例公开的一种图像处理的流程示意图,如图1所示,该图像处理方法可以由上述电子设备执行,包括如下步骤;
101、将原始图像转换为符合目标参数的目标图像。
在通过深度学习模型执行图像处理之前,可以先对原始图像进行图像预处理,转换为符合目标参数的目标图像,再执行步骤102。图像预处理的主要目的是消除图像中无关的信息,恢复有用的真实信息,增强有关信息的可检测性和最大限度地简化数据,从而改进特征抽取、图像分割、匹配和识别的可靠性。
本申请实施例中提到的原始图像可以为通过各种医学图像设备获得的心脏图像,具有多样性,在图像中体现为对比度、亮度等宏观特征的多样性,在本申请实施例中的原始图像可以为一张或者一张以上,如果按照一般的技术没有经过预处理,新图片若恰好处于以往没有学习过的宏观特征上,模型可能会有大幅度错误。
上述目标参数可以理解为描述图像特征的参数,即用于使上述原始图像呈统一风格的规定参数。例如,上述目标参数可以包括:用于描述图像分辨率、图像灰度、图像大小等特征的参数,电子设备中可以存储有上述目标图像参数。本申请中优选为描述图像灰度值范围的参数。
具体的,上述获得符合目标参数的目标图像的方式可包括:对上述原始图像进行直方图均衡化处理,获得灰度值满足目标动态范围的上述目标图像。
如果一副图像的像素占有很多的灰度级而且分布均匀,那么这样的图像往往有高对比度和多变的灰度色调。本申请实施例中提到的直方图均衡化就是一种能仅靠输入图像直方图信息自动达到这种效果的变换函数,它的基本思想是对图像中像素个数多的灰度级进行展宽,而对图像中像素个数少的灰度进行压缩,从而扩展像元取值的动态范围,提高了对比度和灰度色调的变化,使图像更加清晰。
本申请实施例可以使用直方图均衡化的方法对原始图像进行预处理,降低图像之间的多样性。电子设备中可以预先存储有针对灰度值的目标动态范围,该可以是用户提前设置的,在对原始图像进行直方图均衡化处理时,使图像的灰度值满足目标动态范围(比如可以将所有原始图片都拉伸至最大的灰度动态范围),即得到上述目标图像。
通过对原始图像进行预处理,可以降低其多样性,通过上述直方图均衡化获得较为统一、清晰的目标图像之后,再执行后续图像处理步骤,深度学习模型能够给出更稳定的判断。
102、将上述目标图像输入指标预测模块,获得目标数值指标。
上述指标预测模块可以用于获得左心室功能量化的多个指标。具体的,本申请实施例中指标预测模块可以执行深度学习网络模型,来获得上述指标,比如深度层级融合网络模型。
本申请实施例中所使用的深度学习网络名为深度层级融合网络(DeepLayerAggregation,DLANet),也叫深层聚合结构,通过更深入的聚合来扩充标准体系结构,以更好地融合各层的信息,深度层级融合以迭代和分层方式合并特征层次结构,使网络具有更高的准确性和更少的参数。使用树型构造取代以往架构的线性构造,实现了对于网络的梯度回传长度的对数级别压缩,而不是线性压缩,使得学习到的特征更具备描述能力,可以有效提高上述数值指标的预测精度。
通过上述深度层级融合网络模型,可以对上述目标图像进行处理,获得相应的目标数值指标。左心室功能量化的具体目标是输出左心室的各个组织的具体指标,一般包括心腔面积、心肌面积、心腔每隔60度的直径和心肌层每隔60度的厚度,其分别有1、1、3、6个数值输出指标,共11个数值输出指标。具体的,上述原始图像可以为心脏磁共振成像(Magnetic Resonance Imaging,MRI),对心血管疾病不但可以观察各腔室、大血管及瓣膜的解剖变化,而且可作心室分析,进行定性及半定量的诊断,可作多个切面图,空间分辨率较高,显示心脏及病变全貌,及其与周围结构的关系。
上述目标数值指标可包括以下任意一种或几种:心腔面积、心肌面积、心腔每隔60度的直径、心肌层每隔60度的厚度。使用上述深度层级融合网络模型,可以在获得病人的心脏MRI中值切片后,计算心脏在图像中的上述心腔面积、心肌层面积、心腔直径、心肌厚度这些物理指标,用于后续医学治疗分析。
此外,在该步骤具体实施过程中,可以通过大量的原始图像训练涉及的深度层级融合网络,在使用原始图像的数据集进行网络模型的训练时,依然可以先执行上述预处理步骤,即可以先通过直方图均衡化的方法降低原始图像之间的多样性,提高模型的学习和判断准确性。
103、根据上述目标数值指标,对上述目标图像进行时序预测处理,获得时序状态预测结果。
在获得上述目标数值指标之后,可以进行对心脏的收缩与舒张的时序状态预测,一般而言,使用的是循环网络来预测状态,主要通过心腔面积值进行判断。本申请在做心脏的收缩与舒张的时序状态预测时,可以采用无参数序列预测策略来进行时序预测,无参数序列预测策略指的是不引入额外参数的预测策略。
具体的,对于一个病人的心脏跳动影像数据,可以获取多帧图像,首先深度层级融合网络预测每一帧图像的心腔面积值,得到每一帧的心腔面积值的预测,作为预测点;其次可以使用多次方多项式曲线对预测点进行拟合,最后取回归曲线的最高帧与最低帧,以判断心脏的收缩与舒张。
具体的,在上述步骤102中获得目标数值指标可包括:
分别获得M帧目标图像的M个预测心腔面积值;
步骤103可包括:
(1)使用多项式曲线对上述M个预测心腔面积值进行拟合,获得回归曲线;
(2)获取上述回归曲线的最高帧与最低帧,获得判断心脏状态为收缩状态或者舒张状态的判断区间;
(3)根据上述判断区间判断上述心脏状态,其中,M为大于1的整数。
数据拟合又称曲线拟合,俗称拉曲线,是一种把现有数据透过数学方法来代入一条数式的表示方式。科学和工程问题可以通过诸如采样、实验等方法获得若干离散的数据,根据这些数据,往往希望得到一个连续的函数(也就是曲线)或者更加密集的离散方程与已知数据相吻合,这过程就叫做拟合(fitting)。
在机器学习算法中,基于针对数据的非线性函数的线性模型是常见的,这种方法即可以像线性模型一样高效的运算,同时使得模型可以适用于更为广泛的数据上。
上述M帧目标图像可以涵盖至少一个心脏跳动周期,即针对一个心脏跳动周期内采集的多帧图像进行预测,可以更准确地进行心脏状态判断。比如可以获得病人的一个心脏跳动周期内的20帧目标图像,首先通过步骤102中的深度层级融合网络对该20帧目标图像每一帧图像进行预测处理,获得每一帧目标图像对应的预测心腔面积值,得到20个预测点;再使用11次方多项式曲线对上述20个预测点进行拟合,最后取回归曲线的最高帧与最低帧,来计算上述判断区间,比如可以将(最高点,最低点]间的帧判断为收缩状态0,将(最低点,最高点]间的帧判断为舒张状态1,即可以获得上述收缩与舒张的时序状态预测,便于后续进行医学分析,以及辅助医生对病理情况进行针对性治疗。
本申请实施例中的时序网络(Long Short Term Memory Networks,LSTM)指通过状态与转换两种基本概念描述系统状态及其转换方式的一种特殊的概念模式。对于收缩与舒张状态预测,使用无参数序列预测策略,比起一般使用时序网络,可以取得更高的判断精度以及解决非连续预测问题。一般的方法中,通过时序网络来进行心脏的收缩与舒张的状态预测,使用时序网络的方式,不可避免地会出现例如“0-1-0-1”(1表示收缩,0表示舒张)的判断,这就造成了上述非连续预测问题,但实际上心脏在一个周期内一定会是一整段收缩一整段舒张,不会出现频繁的状态变换。而使用上述无参数序列预测策略替代上述时序网络,从根本上解决了非连续预测的问题,对于未知数据的判断显得更为稳定,并且由于无额外参数,策略的鲁棒性(Robust)更强,可以取得比有时序网络时更高的预测精度。所谓鲁棒性,是指控制系统在一定(结构,大小)的参数摄动下,维持其它某些性能的特性,英文也就是健壮和强壮的意思,它是在异常和危险情况下系统生存的关键。比如说,计算机软件在输入错误、磁盘故障、网络过载或有意攻击情况下,能否不死机、不崩溃,就是该软件的鲁棒性。
本申请实施例通过将原始图像转换为符合目标参数的目标图像,再将目标图像输入指标预测模块,可以获得目标数值指标,以及根据目标数值指标,使用无参数序列预测策略对目标图像进行时序预测处理,可以获得时序状态预测结果,可以实现左心室功能量化,提高图像处理效率,减少一般处理过程中人工参与带来的人力消耗和误差,提升心脏功能指标的预测精度。
请参阅图2,图2是本申请实施例公开的另一种图像处理方法的流程示意图,图2是在图1的基础上进一步优化得到的。执行本申请实施例步骤的主体可以为一种用于医学影像处理的电子设备。如图2所示,该图像处理方法包括如下步骤:
201、在包含上述原始图像的影像数据中,提取M帧原始图像,上述M帧原始图像涵盖至少一个心脏跳动周期。
上述M帧目标图像可以涵盖至少一个心脏跳动周期,即针对一个心脏跳动周期内采集的多帧图像进行预测,在进行心脏状态判断时可以更加准确。
202、将上述M帧原始图像转换为符合上述目标参数的M帧目标图像。
其中,上述M为大于1的整数,优选的,M可以为20,即获得病人的一个心脏跳动周期内的20帧目标图像。上述步骤202的图像预处理过程可以参考图1所示实施例的步骤101中的具体描述,此处不再赘述。
203、上述M帧目标图像包括第一目标图像,将上述第一目标图像输入上述N个深度层级融合网络模型,获得N个初步预测心腔面积值。
为了便于描述和理解,以M帧目标图像中的一帧,即上述第一目标图像为例进行具体描述。本申请实施例中的深度层级融合网络模型可以有N个,其中N为大于1的整数。可选的,N个深度层级融合网络模型由训练数据通过交叉验证训练获得。
本申请实施例提到的交叉验证(Cross-validation),主要用于建模应用中,例如主成分分析(PCR)和偏最小二乘回归(PLS)建模中。具体可以理解为,在给定的建模样本中,拿出大部分样本进行建模型,留小部分样本用刚建立的模型进行预报,并求这小部分样本的预报误差,记录它们的平方加和。
本申请实施例中,可以使用交叉验证训练方法,优选的,可以选择五交叉验证训练,将已有的训练数据进行五交叉验证训练,得到五个模型(深度层级融合网络模型),在验证时能够使用整个数据集来体现算法结果。具体的,在划分数据成五份时,首先可以提取每个原始图像预处理后的灰度直方图以及心脏功能指标(可以为前述的11个指标),连接起来作为上述目标图像的描述子,然后使用K均值无监督的将上述训练数据分成五类,再将五类训练数据每一类五等分,每一份数据取每类数据中五等分的其中一份(可以四份做训练、一份做验证),通过上述操作可以在五交叉验证时让上述五个模型广泛地学习到每种数据的特点,从而提高模型的鲁棒性。
并且,相比于一般的图像处理中的随机划分,上述五交叉验证训练,得到的模型由于数据训练不均衡而表现出极端偏差的可能性更小。
通过上述N个模型获得第一目标图像的N个初步预测心腔面积值后,可以执行步骤204。
204、将上述N个初步预测心腔面积值取平均值,作为上述第一目标图像对应的预测心腔面积值。
205、对上述M帧目标图像中的每帧图像执行相同步骤,获得上述M帧目标图像对应的M个预测心腔面积值。
上述步骤203和步骤204是针对一帧目标图像的处理,可以对上述M帧目标图像均执行相同的步骤,以获得每帧目标图像对应的预测心腔面积值,对上述M帧目标图像的处理可以是同步进行的,提高处理效率和准确度。
通过上述五交叉验证训练方法,在预测新的数据(新的原始图像)时,通过上述五个模型可以得出五份心腔面积的预测结果,再取平均值,可以得到最终的回归预测结果,可以使用该预测结果用于步骤206及其之后的时序判断过程。通过多模型融合,提高了预测指标的准确性。
206、使用多项式曲线对上述M个预测心腔面积值进行拟合,获得回归曲线。
207、获取上述回归曲线的最高帧与最低帧,获得判断心脏状态为收缩状态或者舒张状态的判断区间。
208、根据上述判断区间判断上述心脏状态。
其中,上述步骤206-步骤208可以参考图1所示实施例的步骤103中(1)-(3)的具体描述,此处不再赘述。
本申请实施例适用于临床的医学辅助诊断中。医生获得了病人的心脏MRI图像中值切片后,需要计算心脏在图中的心腔面积、心肌层面积、心腔直径、心肌厚度这些物理指标,可使用上述方法快速得出上述指标较为精确的判断(可以在0.2秒内完成),而无需在图上进行费时费力的手工测量计算,以方便医生根据心脏的物理指标对于疾病的判断。
本申请实施例通过在包含上述原始图像的影像数据中,提取M帧原始图像,上述M帧原始图像涵盖至少一个心脏跳动周期,再将M帧原始图像转换为符合上述目标参数的M帧目标图像,其中,上述M帧目标图像包括第一目标图像,将上述第一目标图像输入上述N个深度层级融合网络模型,获得N个初步预测心腔面积值,再将上述N个初步预测心腔面积值取平均值,作为上述第一目标图像对应的预测心腔面积值,对上述M帧目标图像中的每帧图像都执行相同步骤,获得上述M帧目标图像对应的M个预测心腔面积值,然后使用多项式曲线对上述M个预测心腔面积值进行拟合,获得回归曲线,获取上述回归曲线的最高帧与最低帧,获得判断心脏状态为收缩状态或者舒张状态的判断区间,进而可以根据上述判断区间判断上述心脏状态,实现了左心室功能量化,提高图像处理效率,减少一般处理过程中人工参与带来的人力消耗和误差,提升心脏功能指标的预测精度。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是,电子设备为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,本发明能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对特定的应用使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
本申请实施例可以根据上述方法示例对电子设备进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本申请实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
请参阅图3,图3是本申请实施例公开的一种电子设备的结构示意图。如图3所示,该电子设备300包括:图像转换模块310、指标预测模块320和状态预测模块330,其中:
所述图像转换模块310,用于将原始图像转换为符合目标参数的目标图像;
所述指标预测模块320,用于根据输入的所述目标图像获得目标数值指标;
所述状态预测模块330,用于根据所述目标数值指标,对所述目标图像进行时序预测处理,获得时序状态预测结果。
可选的,所述指标预测模块320包括深度层级融合网络模型。
可选的,所述原始图像为心脏磁共振成像;
所述目标数值指标包括以下任意一种或几种:心腔面积、心肌面积、心腔每隔60度的直径、心肌层每隔60度的厚度。
可选的,所述指标预测模块320包括第一预测单元321,所述第一预测单元321用于:分别获得M帧目标图像的M个预测心腔面积值;
所述状态预测模块330具体用于:
使用多项式曲线对所述M个预测心腔面积值进行拟合,获得回归曲线;
获取所述回归曲线的最高帧与最低帧,获得判断心脏状态为收缩状态或者舒张状态的判断区间;
根据所述判断区间判断所述心脏状态,所述M为大于1的整数。
可选的,所述电子设备300还包括图像提取模块340,用于在包含所述原始图像的影像数据中,提取M帧原始图像,所述M帧原始图像涵盖至少一个心脏跳动周期;
所述图像转换模块310具体用于:将M帧原始图像转换为符合所述目标参数的M帧目标图像。
可选的,所述指标预测模块320的所述深度层级融合网络模型为N个,所述N个深度层级融合网络模型由训练数据通过交叉验证训练获得,所述N为大于1的整数。
可选的,所述M帧目标图像包括第一目标图像,所述指标预测模块320具体用于:
将所述第一目标图像输入所述N个深度层级融合网络模型,获得N个初步预测心腔面积值;
所述第一预测单元321具体用于:
将所述N个初步预测心腔面积值取平均值,作为所述第一目标图像对应的预测心腔面积值,对所述M帧目标图像中的每帧图像执行相同步骤,获得所述M帧目标图像对应的M个预测心腔面积值。
可选的,所述图像转换模块310具体用于:
对所述原始图像进行直方图均衡化处理,获得灰度值满足目标动态范围的所述目标图像。
实施图3所示的电子设备300,电子设备300可以将原始图像转换为符合目标参数的目标图像,可以根据输入的所述目标图像获得目标数值指标,以及根据目标数值指标,对目标图像进行时序预测处理,可以获得时序状态预测结果,可以实现左心室功能量化,提高图像处理效率,减少一般处理过程中人工参与带来的人力消耗和误差,提升心脏功能指标的预测精度。
请参阅图4,图4是本申请实施例公开的另一种电子设备的结构示意图。如图4所示,该电子设备400包括处理器401和存储器402,其中,电子设备400还可以包括总线403,处理器401和存储器402可以通过总线403相互连接,总线403可以是外设部件互连标准(Peripheral Component Interconnect,简称PCI)总线或扩展工业标准结构(ExtendedIndustry Standard Architecture,简称EISA)总线等。总线403可以分为地址总线、数据总线、控制总线等。为便于表示,图4中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。其中,电子设备400还可以包括输入输出设备404,输入输出设备404可以包括显示屏,例如液晶显示屏。存储器402用于存储包含指令的一个或多个程序;处理器401用于调用存储在存储器402中的指令执行上述图1和图2实施例中提到的部分或全部方法步骤。上述处理器401可以对应实现图3中的电子设备300中的各模块的功能。
实施图4所示的电子设备400,电子设备可以将原始图像转换为符合目标参数的目标图像,可以根据输入的所述目标图像获得目标数值指标,以及根据目标数值指标,对目标图像进行时序预测处理,可以获得时序状态预测结果,可以实现左心室功能量化,提高图像处理效率,减少一般处理过程中人工参与带来的人力消耗和误差,提升心脏功能指标的预测精度。
本申请实施例还提供一种计算机存储介质,其中,该计算机存储介质存储用于电子数据交换的计算机程序,该计算机程序使得计算机执行如上述方法实施例中记载的任何一种图像处理方法的部分或全部步骤。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如所述模块(或单元)的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、只读存储器、随机存取器、磁盘或光盘等。
以上对本申请实施例进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种图像处理方法,其特征在于,所述方法包括:
将原始图像转换为符合目标参数的目标图像;
将所述目标图像输入指标预测模块,获得目标数值指标;
根据所述目标数值指标,对所述目标图像进行时序预测处理,获得时序状态预测结果。
2.根据权利要求1所述的图像处理方法,其特征在于,所述对所述目标图像进行时序预测处理,获得时序状态预测结果包括:
使用无参数序列预测策略对所述目标图像进行时序预测处理,获得时序状态预测结果。
3.根据权利要求1或2所述的图像处理方法,其特征在于,所述指标预测模块包括深度层级融合网络模型。
4.根据权利要求1-3任一项所述的图像处理方法,其特征在于,所述原始图像为心脏磁共振成像,
所述目标数值指标包括以下任意一种或几种:心腔面积、心肌面积、心腔每隔60度的直径、心肌层每隔60度的厚度。
5.根据权利要求1-4任一项所述的图像处理方法,其特征在于,所述获得目标数值指标包括:
分别获得M帧目标图像的M个预测心腔面积值;
所述根据所述目标数值指标,使用无参数序列预测策略对所述目标图像进行时序预测处理,获得时序状态预测结果包括:
使用多项式曲线对所述M个预测心腔面积值进行拟合,获得回归曲线;
获取所述回归曲线的最高帧与最低帧,获得判断心脏状态为收缩状态或者舒张状态的判断区间;
根据所述判断区间判断所述心脏状态,所述M为大于1的整数。
6.根据权利要求5所述的图像处理方法,其特征在于,所述将原始图像转换为符合目标参数的目标图像之前,所述方法还包括:
在包含所述原始图像的影像数据中,提取M帧原始图像,所述M帧原始图像涵盖至少一个心脏跳动周期;
所述将原始图像转换为符合目标参数的目标图像,包括:
将M帧原始图像转换为符合所述目标参数的M帧目标图像。
7.根据权利要求3-6任一项所述的图像处理方法,其特征在于,所述方法还包括:
所述深度层级融合网络模型为N个,所述N个深度层级融合网络模型由训练数据通过交叉验证训练获得,所述N为大于1的整数。
8.一种电子设备,其特征在于,包括:图像转换模块、指标预测模块和状态预测模块,其中:
所述图像转换模块,用于将原始图像转换为符合目标参数的目标图像;
所述指标预测模块,用于根据输入的所述目标图像获得目标数值指标;
所述状态预测模块,用于根据所述目标数值指标,对所述目标图像进行时序预测处理,获得时序状态预测结果。
9.一种电子设备,其特征在于,包括处理器以及存储器,所述存储器用于存储一个或多个程序,所述一个或多个程序被配置成由所述处理器执行,所述程序包括用于执行如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储电子数据交换的计算机程序,其中,所述计算机程序使得计算机执行如权利要求1-7任一项所述的方法。
Priority Applications (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810814377.9A CN109003270B (zh) | 2018-07-23 | 2018-07-23 | 一种图像处理方法、电子设备及存储介质 |
JP2020573237A JP2021529061A (ja) | 2018-07-23 | 2018-11-28 | 画像処理方法、電子機器及び記憶媒体 |
SG11202011952YA SG11202011952YA (en) | 2018-07-23 | 2018-11-28 | Image processing method, electronic device, and storage medium |
KR1020207034398A KR20210005206A (ko) | 2018-07-23 | 2018-11-28 | 이미지 처리 방법, 전자 기기 및 저장 매체 |
PCT/CN2018/117862 WO2020019614A1 (zh) | 2018-07-23 | 2018-11-28 | 一种图像处理方法、电子设备及存储介质 |
TW108126050A TWI742408B (zh) | 2018-07-23 | 2019-07-23 | 一種圖像處理方法、電子設備及儲存介質 |
US17/104,264 US20210082112A1 (en) | 2018-07-23 | 2020-11-25 | Image processing method, electronic device, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810814377.9A CN109003270B (zh) | 2018-07-23 | 2018-07-23 | 一种图像处理方法、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109003270A true CN109003270A (zh) | 2018-12-14 |
CN109003270B CN109003270B (zh) | 2020-11-27 |
Family
ID=64596925
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810814377.9A Active CN109003270B (zh) | 2018-07-23 | 2018-07-23 | 一种图像处理方法、电子设备及存储介质 |
Country Status (7)
Country | Link |
---|---|
US (1) | US20210082112A1 (zh) |
JP (1) | JP2021529061A (zh) |
KR (1) | KR20210005206A (zh) |
CN (1) | CN109003270B (zh) |
SG (1) | SG11202011952YA (zh) |
TW (1) | TWI742408B (zh) |
WO (1) | WO2020019614A1 (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109903841A (zh) * | 2019-03-01 | 2019-06-18 | 中山大学肿瘤防治中心 | 一种上消化道内镜影像的异常病变提示方法及装置 |
CN111182219A (zh) * | 2020-01-08 | 2020-05-19 | 腾讯科技(深圳)有限公司 | 一种图像处理方法、装置、服务器及存储介质 |
CN111192255A (zh) * | 2019-12-30 | 2020-05-22 | 上海联影智能医疗科技有限公司 | 指标检测方法、计算机设备和存储介质 |
CN114491174A (zh) * | 2021-12-30 | 2022-05-13 | 山东师范大学 | 一种基于分层特征聚合的图像-文本匹配方法及系统 |
CN117274185A (zh) * | 2023-09-19 | 2023-12-22 | 阿里巴巴达摩院(杭州)科技有限公司 | 检测方法、检测模型产品、电子设备及计算机存储介质 |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11995800B2 (en) * | 2018-08-07 | 2024-05-28 | Meta Platforms, Inc. | Artificial intelligence techniques for image enhancement |
CN112200757B (zh) * | 2020-09-29 | 2024-08-02 | 北京灵汐科技有限公司 | 图像处理方法、装置、计算机设备及存储介质 |
TWI790508B (zh) | 2020-11-30 | 2023-01-21 | 宏碁股份有限公司 | 血管偵測裝置及基於影像的血管偵測方法 |
CN113098971B (zh) * | 2021-04-12 | 2021-10-22 | 深圳市景新浩科技有限公司 | 一种基于互联网的电子血压计数据传输监管系统 |
CN113764076B (zh) * | 2021-07-26 | 2024-02-20 | 北京天智航医疗科技股份有限公司 | 检测医疗透视图像中标记点的方法、装置及电子设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101361665A (zh) * | 2007-08-10 | 2009-02-11 | 株式会社东芝 | 超声波诊断装置、超声波图像处理装置以及方法 |
CN103792502A (zh) * | 2012-10-26 | 2014-05-14 | 美国西门子医疗解决公司 | 用于成像中时序的自动系统 |
US9173638B2 (en) * | 2007-06-04 | 2015-11-03 | Biosense Webster, Inc. | Cardiac mechanical assessment using ultrasound |
CN106599549A (zh) * | 2016-11-25 | 2017-04-26 | 上海联影医疗科技有限公司 | 一种计算机辅助诊断系统、方法及其医疗系统 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3668629B2 (ja) * | 1999-01-29 | 2005-07-06 | 株式会社東芝 | 画像診断装置及び画像処理方法 |
WO2010132237A1 (en) * | 2009-05-11 | 2010-11-18 | Dolby Laboratories Licensing Corporation | Light detection, color appearance models, and modifying dynamic range for image display |
WO2011106440A1 (en) * | 2010-02-23 | 2011-09-01 | Loma Linda University Medical Center | Method of analyzing a medical image |
WO2016172206A1 (en) * | 2015-04-20 | 2016-10-27 | The Johns Hopkins University | Patient-specific virtual intervention laboratory to prevent stroke |
CN105868572B (zh) * | 2016-04-22 | 2018-12-11 | 浙江大学 | 一种基于自编码器的心肌缺血位置预测模型的构建方法 |
CN107295256A (zh) * | 2017-06-23 | 2017-10-24 | 华为技术有限公司 | 一种图像处理方法、装置与设备 |
CN108038859B (zh) * | 2017-11-09 | 2022-01-18 | 深圳大学 | 基于pso和综合评价准则的pcnn图分割方法及装置 |
CN107978371B (zh) * | 2017-11-30 | 2021-04-02 | 博动医学影像科技(上海)有限公司 | 快速计算微循环阻力的方法及系统 |
-
2018
- 2018-07-23 CN CN201810814377.9A patent/CN109003270B/zh active Active
- 2018-11-28 KR KR1020207034398A patent/KR20210005206A/ko not_active Application Discontinuation
- 2018-11-28 WO PCT/CN2018/117862 patent/WO2020019614A1/zh active Application Filing
- 2018-11-28 JP JP2020573237A patent/JP2021529061A/ja active Pending
- 2018-11-28 SG SG11202011952YA patent/SG11202011952YA/en unknown
-
2019
- 2019-07-23 TW TW108126050A patent/TWI742408B/zh active
-
2020
- 2020-11-25 US US17/104,264 patent/US20210082112A1/en not_active Abandoned
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9173638B2 (en) * | 2007-06-04 | 2015-11-03 | Biosense Webster, Inc. | Cardiac mechanical assessment using ultrasound |
CN101361665A (zh) * | 2007-08-10 | 2009-02-11 | 株式会社东芝 | 超声波诊断装置、超声波图像处理装置以及方法 |
CN103792502A (zh) * | 2012-10-26 | 2014-05-14 | 美国西门子医疗解决公司 | 用于成像中时序的自动系统 |
CN106599549A (zh) * | 2016-11-25 | 2017-04-26 | 上海联影医疗科技有限公司 | 一种计算机辅助诊断系统、方法及其医疗系统 |
Non-Patent Citations (1)
Title |
---|
王成 等: "基于知识的三维核医学图像左心室心肌区的提取", 《中国生物医学工程学报》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109903841A (zh) * | 2019-03-01 | 2019-06-18 | 中山大学肿瘤防治中心 | 一种上消化道内镜影像的异常病变提示方法及装置 |
CN111192255A (zh) * | 2019-12-30 | 2020-05-22 | 上海联影智能医疗科技有限公司 | 指标检测方法、计算机设备和存储介质 |
CN111192255B (zh) * | 2019-12-30 | 2024-04-26 | 上海联影智能医疗科技有限公司 | 指标检测方法、计算机设备和存储介质 |
CN111182219A (zh) * | 2020-01-08 | 2020-05-19 | 腾讯科技(深圳)有限公司 | 一种图像处理方法、装置、服务器及存储介质 |
CN111182219B (zh) * | 2020-01-08 | 2023-04-07 | 腾讯科技(深圳)有限公司 | 一种图像处理方法、装置、服务器及存储介质 |
CN114491174A (zh) * | 2021-12-30 | 2022-05-13 | 山东师范大学 | 一种基于分层特征聚合的图像-文本匹配方法及系统 |
CN117274185A (zh) * | 2023-09-19 | 2023-12-22 | 阿里巴巴达摩院(杭州)科技有限公司 | 检测方法、检测模型产品、电子设备及计算机存储介质 |
CN117274185B (zh) * | 2023-09-19 | 2024-05-07 | 阿里巴巴达摩院(杭州)科技有限公司 | 检测方法、检测模型产品、电子设备及计算机存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN109003270B (zh) | 2020-11-27 |
TW202008211A (zh) | 2020-02-16 |
JP2021529061A (ja) | 2021-10-28 |
TWI742408B (zh) | 2021-10-11 |
SG11202011952YA (en) | 2021-01-28 |
KR20210005206A (ko) | 2021-01-13 |
WO2020019614A1 (zh) | 2020-01-30 |
US20210082112A1 (en) | 2021-03-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109003270A (zh) | 一种图像处理方法及电子设备 | |
CN107492099B (zh) | 医学图像分析方法、医学图像分析系统以及存储介质 | |
JP6522161B2 (ja) | ディープラーニングに基づく医療データ分析方法及びそのインテリジェントアナライザー | |
Young et al. | Computational cardiac atlases: from patient to population and back | |
Plank et al. | Generation of histo-anatomically representative models of the individual heart: tools and application | |
US20190139641A1 (en) | Artificial intelligence for physiological quantification in medical imaging | |
US8527251B2 (en) | Method and system for multi-component heart and aorta modeling for decision support in cardiac disease | |
CN110475505A (zh) | 利用全卷积网络的自动分割 | |
US8224640B2 (en) | Method and system for computational modeling of the aorta and heart | |
CN108603922A (zh) | 自动心脏体积分割 | |
EP3824477A1 (en) | Data-driven estimation of predictive digital twin models from medical data | |
Fotaki et al. | Artificial intelligence in cardiac MRI: is clinical adoption forthcoming? | |
Haryanto et al. | Convolutional Neural Network (CNN) for gland images classification | |
CN106127783A (zh) | 一种基于深度学习的医疗影像识别系统 | |
Fan et al. | MRI-based finite element modeling of facial mimics: a case study on the paired zygomaticus major muscles | |
Kong et al. | Whole heart mesh generation for image-based computational simulations by learning free-from deformations | |
Mansi et al. | Artificial intelligence for computational modeling of the heart | |
EP3270308B9 (en) | Method for providing a secondary parameter, decision support system, computer-readable medium and computer program product | |
Fan et al. | Characterization of exercise-induced myocardium growth using finite element modeling and Bayesian optimization | |
Ammari et al. | Deep-active-learning approach towards accurate right ventricular segmentation using a two-level uncertainty estimation | |
Blagojević et al. | A review of the application of artificial intelligence in medicine: from data to personalised models | |
Fan | Building Patient-Specific Models of the Heart to Study Cardiac Growth and Remodeling | |
Mehdi et al. | Multi-Modality Deep Infarct: Non-invasive identification of infarcted myocardium using composite in-silico-human data learning | |
Asgharzadeh | A deep learning framework for wall motion abnormality detection in echocardiograms | |
Nobrega et al. | A Deep Learning Model for the Identification of Active Contraction Properties of the Myocardium Using Limited Clinical Metrics |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP02 | Change in the address of a patent holder | ||
CP02 | Change in the address of a patent holder |
Address after: Room 1101-1117, 11 / F, No. 58, Beisihuan West Road, Haidian District, Beijing 100080 Patentee after: BEIJING SENSETIME TECHNOLOGY DEVELOPMENT Co.,Ltd. Address before: Room 710-712, 7th floor, No. 1 Courtyard, Zhongguancun East Road, Haidian District, Beijing Patentee before: BEIJING SENSETIME TECHNOLOGY DEVELOPMENT Co.,Ltd. |