CN111862255A - 正则化图像重建方法、系统、可读存储介质和设备 - Google Patents
正则化图像重建方法、系统、可读存储介质和设备 Download PDFInfo
- Publication number
- CN111862255A CN111862255A CN202010689748.2A CN202010689748A CN111862255A CN 111862255 A CN111862255 A CN 111862255A CN 202010689748 A CN202010689748 A CN 202010689748A CN 111862255 A CN111862255 A CN 111862255A
- Authority
- CN
- China
- Prior art keywords
- image
- neural network
- acquiring
- regularized
- intermediate image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000013528 artificial neural network Methods 0.000 claims abstract description 112
- 238000012545 processing Methods 0.000 claims abstract description 60
- 238000012549 training Methods 0.000 claims description 51
- 230000015654 memory Effects 0.000 claims description 32
- 238000000605 extraction Methods 0.000 claims description 12
- 230000004927 fusion Effects 0.000 claims description 7
- 230000008569 process Effects 0.000 abstract description 30
- 238000004422 calculation algorithm Methods 0.000 abstract description 13
- 238000002059 diagnostic imaging Methods 0.000 abstract description 4
- 230000009466 transformation Effects 0.000 description 23
- 238000004891 communication Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 15
- 238000003384 imaging method Methods 0.000 description 15
- 238000005070 sampling Methods 0.000 description 11
- 238000001514 detection method Methods 0.000 description 10
- 230000004044 response Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000002600 positron emission tomography Methods 0.000 description 5
- 230000005855 radiation Effects 0.000 description 5
- 238000012879 PET imaging Methods 0.000 description 4
- 238000002591 computed tomography Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 125000004432 carbon atom Chemical group C* 0.000 description 2
- 238000013170 computed tomography imaging Methods 0.000 description 2
- 238000001816 cooling Methods 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012804 iterative process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 208000029343 Schaaf-Yang syndrome Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 210000000617 arm Anatomy 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 210000000038 chest Anatomy 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 210000002683 foot Anatomy 0.000 description 1
- 210000002216 heart Anatomy 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 210000002832 shoulder Anatomy 0.000 description 1
- 238000002603 single-photon emission computed tomography Methods 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/006—Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Public Health (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Pathology (AREA)
- Quality & Reliability (AREA)
- Mathematical Optimization (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Mathematical Analysis (AREA)
- Algebra (AREA)
- Pure & Applied Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
Abstract
本申请涉及一种正则化图像重建方法、系统、可读存储介质和设备,属于医疗影像技术领域,获取医学扫描的原始数据,根据原始数据进行图像重建,得到中间图像;对中间图像进行信号特征提取,获得信号特征;根据中间图像获取基图像;根据信号特征和基图像获取正则化图像。在具体实现过程中,通过对原始数据的重建处理得到中间图像,有效保留了图像中的关键有效信息,通过提取信号特征和获取基图像两种方式,对中间图像进行拆分处理,信号特征和基图像的结合构成正则化约束的重建图像,降低了图像重建过程中对神经网络算法的依赖性,同时还能重建得到准确的正则化图像。
Description
技术领域
本申请涉及医疗影像技术领域,特别是涉及一种正则化图像重建方法、系统、可读存储介质和设备。
背景技术
一般情况下,采用医学影像设备(如CT(Computed Tomography,电子计算机断层扫描)、PET(Positron Emission Computed Tomography,正电子发射型计算机断层显像)、MR(Magnetic Resonance,磁共振)对受试目标进行扫描,获取相应的探测数据,根据探测数据进行图像重建。在某些特定场景下,如对辐射敏感对象的低剂量成像、高时间分辨率动态成像等,相应的探测计数会减少,因此导致重建图像的噪声较大,信噪比低。
相关技术中,在低探测计数的情况下,一般是利用正则化重建算法对低探测计数数据进行处理,将神经网络作为正则化项,用专门设计的神经网络实现迭代重建中的噪声控制,但是,通过神经网络实现降噪控制的同时不能保证图像的质量。目前业界对此尚未提出有效的解决方案。
发明内容
基于此,有必要针对低探测计数图像重建问题提供一种正则化图像重建方法、系统、可读存储介质和设备。
第一方面,本申请提供了一种正则化图像重建方法,包括以下步骤:
获取医学扫描的原始数据,根据原始数据重建中间图像;
对中间图像进行信号特征提取,获得信号特征;根据中间图像获取基图像;
根据信号特征和基图像获取正则化图像。
在其中一个实施例中,根据中间图像获取基图像的步骤包括以下步骤:
将中间图像输入至预设神经网络,获取预设神经网络输出的基图像,其中预设神经网络具备图像信号及噪声的处理能力。
在其中一个实施例中,正则化图像重建方法还包括以下步骤:
获取扫描不同对象的多个不同信噪比的图像,将同一对象的第一图像和第二图像作为一组图像,其中第一图像的信噪比低于第二图像的信噪比;
获取初始化的神经网络,将第一图像作为训练输入样本,将第二图像作为训练目标样本,对初始化的神经网络进行训练;
经过多组不同对象的训练输入样本和训练目标样本的训练后,得到预设神经网络。
在其中一个实施例中,将中间图像输入至预设神经网络,获取预设神经网络输出的基图像的步骤包括以下步骤:
将中间图像输入至初始化的神经网络,获取初始化的神经网络输出的第三图像;
获取第三图像和中间图像的差异信息,根据差异信息对初始化的神经网络的参数进行迭代更新,直至满足预设迭代条件;
在满足预设迭代条件时,将迭代更新后的神经网络输出的第三图像作为基图像。
在其中一个实施例中,对中间图像进行信号特征提取,获得信号特征的步骤包括以下步骤:
根据中间图像获取特征图,从特征图中提取信号特征。
在其中一个实施例中,根据中间图像获取特征图的步骤包括以下步骤:
根据中间图像获取中间图像在三维空间的二阶微分值和像素均值,根据二阶微分值和像素均值生成特征图。
在其中一个实施例中,根据信号特征和基图像获取正则化图像包括以下步骤:
对基图像和信号特征进行加权融合,得到正则化图像。
第二方面,本申请提供了一种正则化图像重建系统,包括:
数据处理单元,用于获取医学扫描的原始数据,根据原始数据重建中间图像;
特征处理单元,用于对中间图像进行信号特征提取,获得信号特征;根据中间图像获取基图像;
图像重建单元,用于根据信号特征和基图像获取正则化图像。
在其中一个实施例中,特征处理单元还用于将中间图像输入至预设神经网络,获取预设神经网络输出的基图像,其中预设神经网络具备图像信号及噪声的处理能力。
在其中一个实施例中,正则化图像重建系统还包括网络训练单元,用于获取扫描不同对象的多个不同信噪比的图像,将同一对象的第一图像和第二图像作为一组图像,其中第一图像的信噪比低于第二图像的信噪比;获取初始化的神经网络,将第一图像作为训练输入样本,将第二图像作为训练目标样本,对初始化的神经网络进行训练;经过多组不同对象的训练输入样本和训练目标样本的训练后,得到预设神经网络。
在其中一个实施例中,特征处理单元还用于将中间图像输入至初始化的神经网络,获取初始化的神经网络输出的第三图像;获取第三图像和中间图像的差异信息,根据差异信息对初始化的神经网络的参数进行迭代更新,直至满足预设迭代条件;在满足预设迭代条件时,将迭代更新后的神经网络输出的第三图像作为基图像。
在其中一个实施例中,特征处理单元还用于根据中间图像获取特征图,从特征图中提取信号特征。
在其中一个实施例中,特征处理单元还用于根据中间图像获取中间图像在三维空间的二阶微分值和像素均值,根据二阶微分值和像素均值生成特征图。
在其中一个实施例中,图像重建单元还用于对基图像和信号特征进行加权融合,得到正则化图像。
第三方面,本申请提供了一种可读存储介质,其上存储有可执行程序,其特征在于,可执行程序被处理器执行时实现上述任一正则化图像重建方法的步骤。
第四方面,本申请提供了一种正则化图像重建设备,包括存储器和处理器,存储器存储有可执行程序,其特征在于,处理器执行可执行程序时实现上述任一正则化图像重建方法的步骤。
相比于相关技术,本申请提供的正则化图像重建方法、系统、可读存储介质和设备,获取医学扫描的原始数据,根据原始数据进行图像重建,得到中间图像;对中间图像进行信号特征提取,获得信号特征;根据中间图像获取基图像;根据信号特征和基图像获取正则化图像。在具体实现过程中,通过对原始数据的重建处理得到中间图像,有效保留了图像中的关键有效信息,通过提取信号特征和获取基图像两种方式,对中间图像进行拆分处理,信号特征和基图像的结合构成正则化约束的重建图像,降低了图像重建过程中对神经网络算法的依赖性,同时还能重建得到准确的正则化图像。
本申请的一个或多个实施例的细节在以下附图和描述中提出,以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为一个实施例中的示例性医学设备100的示意图;
图2为一个实施例中的在其上实现处理引擎140的示例性计算设备200的示例性硬件和/或软件组件的示意图;
图3为一个实施例中的可以在其上实现终端130的示例性移动设备300的示例性硬件和/或软件组件的示意图;
图4为一个实施例中的正则化图像重建方法的流程示意图;
图5为一个实施例中的预训练神经网络的工作示意图;
图6为一个实施例中的非预训练神经网络的工作示意图;
图7a和图7b为一种数据重建结果的效果比对图;
图8a和图8b为另一种数据重建结果的效果比对图;
图9为另一个实施例中的正则化图像重建系统的结构示意图;
图10为另一个实施例中的正则化图像重建系统的结构示意图。
具体实施方式
为使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步的详细说明。应当理解,此处所描述的具体实施方式仅仅用以解释本申请,并不限定本申请的保护范围。如本申请和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其他的步骤或元素。
图1是一个实施例的示例性用于正则化图像重建的医学设备100的示意图。参考图1所示,医学设备100可包括扫描仪110、网络120、一个或多个终端130、处理引擎140以及存储器150。医学设备100中的所有组件都可以通过网络120 互相连接。
扫描仪110可扫描对象并且生成与该扫描对象相关的脑部扫描数据。在一些实施例中,扫描仪110可以是医学成像设备,例如CT设备、PET设备、SPECT 设备、MRI设备等或其任意组合(例如,PET-CT设备或CT-MRI设备)。
本申请中提到的“图像”可以指2D图像、3D图像、4D图像和/或任何相关数据,这并非旨在限制本申请的范围。对于本领域的技术人员来说,在本申请的指导下可以进行各种修正和改变。
扫描仪110可包括支撑组件111、探测器组件112、工作台114、电子模块 115以及冷却组件116。
支撑组件111可以支撑扫描仪110的一个或多个部件,例如探测器组件112、电子模块115、冷却组件116等。在一些实施例中,支撑组件111可以包括主机架、机架基座、前盖板以及后盖板(未出示)。前盖板可以与机架基座连接。前盖板可以垂直于机架基座。主机架可以安装于前盖板的侧面。主机架可以包括一个或多个支撑架以容纳探测器组件112和/或电子模块115。主机架可以包括圆形的开口(例如,检测区域113)以容纳扫描目标。在一些实施例中,主机架的开口可以是其它形状,包括,例如椭圆形。后盖板可以安装于主机架上与前盖板相对的侧面。机架基座可以支撑前盖板、主机架和/或后盖板。在一些实施例中,扫描仪110可以包括一个外壳以覆盖并保护主机架。
探测器组件112可以探测从检测区域113发射的辐射事件(例如,光子信号)。在一些实施例中,探测器组件112可以接收辐射线(例如,光子信号)并且生成电信号。探测器组件112可以包括一个或多个探测器单元。一个或多个探测器单元可以被封装而形成一个探测器区块。一个或多个探测器区块可以被封装而形成一个探测器盒。一个或多个探测器盒可以被安装而形成一个探测器模块。一个或多个探测器模块可以被安装而形成一个探测环。
电子模块115可以采集和/或处理由探测器组件112生成的电信号。电子模块115可以包括加算器、乘法器、减法器、放大器、驱动器电路、差动电路、积分电路、计数器、过滤器、模数转换器、下限检测电路、恒定系数鉴别器电路、时间-数字转换器、符合电路等其中一种或几种的组合。电子模块115可以将与探测器组件112接收到的辐射线的能量相关的模拟信号转化为数字信号。电子模块115可以比较多个数字信号、分析多个数字信号并且通过探测器组件 112中所接收辐射线的能量确定图像数据。在一些实施例中,如果探测器组件 112具有一个大的轴向视野(例如,0.75米至2米),则电子模块115可以具有来自多个探测器通道的高数据输入速率。例如,电子模块115可以每秒处理数百亿事件。在一些实施例中,数据输入速率可以与探测器组件112中探测器单元的数量有关。
扫描仪110可以扫描位于其检测区域内的对象,并生成与对象相关的多个成像数据。在本申请中,“受试目标”和“对象”可交替使用。仅作为示例,受试目标可包括扫描目标、人造物体等。在另一实施例中,受试目标可包括扫描目标的特定部分、器官和/或组织。例如,受试目标可包括头部、大脑、颈部、身体、肩部、手臂、胸部、心脏、胃、血管、软组织、膝盖、脚或其他部位等,或其任意组合。
网络120可包括任意合适的网络,该网络能协助医学设备100交换信息和/ 或数据。在一些实施例中,医学设备100的一个或多个组件(例如,扫描仪110、终端130、处理引擎140、存储器150等)可通过网络120与医学设备100的一个或多个其他组件传递信息和/或数据。例如,处理引擎140可通过网络120从扫描仪110获得图像数据。作为另一示例,处理引擎140可通过网络120从终端130获得用户指令。网络120可以包括公共网络(例如,因特网)、专用网络 (例如,局域网(LAN)、广域网(WAN)等)、有线网络(例如,以太网)、无线网络(例如,802.11网络、Wi-Fi网络等)、蜂窝网络(例如,长期演进(LTE) 网络)、帧中继网络、虚拟专用网(“VPN”)、卫星网络、电话网络、路由器、集线器、交换机、服务器计算机和/或其任意组合。仅作为示例,网络120可包括电缆网络、有线网络、光纤网络、电信网络、内联网、无线局域网(WLAN)、城域网(MAN)、公共电话交换网(PSTN)、蓝牙网络、ZigBee网络、近场通信(NFC)网络等或者其任意组合。在一些实施例中,网络120可包括一个或多个网络接入点。例如,网络120可包括有线和/或无线网络接入点,诸如基站和/或因特网交换点,医学设备100的一个或多个组件可通过这些接入点来连接到网络120以交换数据和/或信息。
一个或多个终端130包括移动设备131、平板电脑132、笔记本电脑133等或其任意组合。
处理引擎140可以处理从扫描仪110、终端130和/或存储器150获得的数据和/或信息。
存储器150可存储数据、指令、和/或任何其他信息。在一些实施例中,存储器150可以存储从终端130和/或处理引擎140获得的数据。在一些实施例中,存储器150可存储数据和/或指令,处理引擎140可以执行或使用该数据和/或指令以执行本申请中所描述的示例性方法。在一些实施例中,存储器150可包括大容量存储设备、可移动存储设备、易失性读写存储器、只读存储器(ROM) 等或其任意组合。示例性的大容量存储设备可包括磁盘、光盘、固态驱动器等。示例性的可移动存储器可包括闪存驱动器、软盘、光盘、存储器卡、压缩盘、磁带等。示例性的易失性读写存储器可包括随机存取存储器(RAM)。示例性的 RAM可包括动态RAM(DRAM)、双倍数据率同步动态RAM(DDR SDRAM)、静态RAM(SRAM)、晶闸管RAM(T-RAM)和零电容器RAM(Z-RAM)等。示例性的ROM可包括掩模ROM(MROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、光盘ROM(CD-ROM)、以及数字多用磁盘ROM等。在一些实施例中,存储器150可在云平台上实现。仅作为示例,云平台可包括私有云、公共云、混合云、社区云、分布式云、互联云、多重云等,或者其任意组合。
在一些实施例中,存储器150可连接到网络120,以便与医学设备100中的一个或多个其他组件(例如,处理引擎140、终端130等)通信。医学设备100 中的一个或多个组件可通过网络120来访问存储在存储器150中的数据或指令。在一些实施例中,存储器150可直接连接到医学设备100中的一个或多个其他组件(例如,处理引擎140、终端130等)或与这些组件通信。在一些实施例中,存储器150可以是处理引擎140的一部分。
图2是一个实施例的可以在其上实现处理引擎140的示例性计算设备200 的示例性硬件和/或软件组件的示意图。如图2所示,计算设备200可以包括内部通信总线210、处理器(processor)220、只读存储器(ROM)230、随机存取存储器(RAM)240、通信端口250、输入/输出组件260、硬盘270以及用户界面设备280。
内部通信总线210可以实现计算设备200组件间的数据通信。
处理器220可根据本文所描述的技术来执行计算机指令(例如,程序代码) 并执行处理引擎140的各功能。计算机指令可包括例如执行本文所描述的特定功能的例程、程序、扫描对象、组件、数据结构、过程、模块以及函数。例如,处理器220可以处理从扫描仪110、终端130、存储器150、和/或医学设备100 的任何其他组件获得的图像数据。在一些实施例中,处理器220可包括一个或多个硬件处理器,诸如微控制器、微处理器、精简指令集计算机(RISC)、专用集成电路(ASIC)、专用指令集处理器(ASIP)、中央处理单元(CPU)、图形处理单元(GPU)、物理处理单元(PPU)、微控制器单元、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、高级RISC机(ARM)、可编程逻辑器件(PLD)、能够执行一个或多个功能的任意电路或处理器等或其任意组合。
仅为了说明,在计算设备200中仅描述了一个处理器220。然而,应当注意,本申请中的计算设备200也可包括多个处理器,因此本申请中所描述的由一个处理器执行的操作和/或方法步骤也可由多个处理器联合地或分别地执行。
只读存储器(ROM)230和随机存取存储器(RAM)240可存储从扫描仪 110、终端130、存储器150、和/或医学设备100的任何其他组件获得的数据/信息。
通信端口250可连接到网络(例如,网络120)以协助数据通信。通信端口 250可在处理引擎140和扫描仪110、终端130和/或存储器150之间建立连接。该连接可以是有线连接、无线连接、能够实现数据传送和/或接收的任意其他通信连接、和/或这些连接的任意组合。有线连接可包括例如电缆、光缆、电话线等或者其任意组合。无线连接可包括例如蓝牙链路、Wi-Fi链路、WiMax链路、 WLAN链路、ZigBee链路、移动网络链路(例如,3G,4G,5G等)等或其组合。在一些实施例中,通信端口250可以是包括标准化通信端口,诸如RS232、 RS485等。在一些实施例中,通信端口250可以是专门设计的通信端口。例如,通信端口250可根据医学数字成像和通信(DICOM)协议来设计。
输入/输出组件260支持计算设备200与其他部件之间的输入/输出数据流。在一些实施例中,输入/输出组件260可包括输入设备和输出设备。输入设备的示例可包括键盘、鼠标、触摸屏、话筒等或其组合。输出设备的示例可包括显示设备、扬声器、打印机、投影仪等或其组合。显示设备的示例可包括液晶显示器(LCD)、基于发光二极管(LED)的显示器、平板显示器、曲面屏幕、电视设备、阴极射线管(CRT)、触摸屏等或其组合。
计算设备200还可以包括不同形式的程序储存单元以及数据储存单元,例如硬盘270,能够存储计算机处理和/或通信使用的各种数据文件,以及处理器 220所执行的可能的程序指令。
用户界面设备280可以实现计算设备200和用户之间的交互和信息交换。
图3是一个实施例的可以在其上实现终端130的示例性移动设备300的示例性硬件和/或软件组件的示意图。如图3所示,移动设备300可包括天线310、显示器320、图形处理单元(GPU)330、中央处理单元(CPU)340、输入输出单元(I/O)350、内存360以及存储器390。在一些实施例中,移动设备300中还可包括任何其他合适的组件,包括但不限于系统总线或控制器(未示出)。在一些实施例中,移动操作系统370(例如,iOS、Android、Windows Phone等)和一个或多个应用程序380可从存储器390被加载到内存360中以便由CPU340 执行。应用程序380可包括浏览器或任意其它合适的移动应用以用于接收和绘制与图像处理相关的信息或来自处理引擎140的其它信息。用户与信息流的交互可通过I/O350来实现并通过网络120提供给处理引擎140和/或医学设备100 的其他组件。
为了实现本申请中所描述的各种模块、单元及其功能,计算机硬件平台可被用作本文所描述的一个或多个元件的(诸)硬件平台。具有用户界面元件的计算机可被用于当作个人计算机(PC)或任何其他类型的工作站或终端设备。如果进行适当的编程,计算机也可以充当服务器。在医学设备100中可以实现正则化图像重建方法、系统等。
参见图4所示,为本申请一个实施例的正则化图像重建方法的流程示意图。该实施例中的正则化图像重建方法包括以下步骤:
步骤S410:获取医学扫描的原始数据,根据原始数据重建中间图像;
在本步骤中,医学扫描的原始数据可以从存储器150中获取,存储器150 中可以设置数据库,用于保存原始数据,原始数据也可以在扫描后从电子模块 115中获取,具体过程为:受试目标可以置于医学设备扫描仪110的工作台114 上,进入扫描仪110的检测区域113并进行扫描拍摄,从电子模块115中直接获取原始数据;重建的中间图像可以保留图像中的关键有效信息。
步骤S420:对中间图像进行信号特征提取,获得信号特征;根据中间图像获取基图像;
在本步骤中,对中间图像进行信号特征提取,可以提取中间图像中的有效信号;基图像是基于中间图像得到的高信噪比图像,基图像决定最终正则化重建图像的噪声水平。
步骤S430:根据信号特征和基图像获取正则化图像;
在本步骤中,将信号特征和基图像融合,得到正则化图像,基图像可提高正则化图像的信噪比,信号特征可确保正则化图像的图像质量。
在本实施例中,获取医学扫描的原始数据,根据原始数据进行图像重建,得到中间图像;对中间图像进行信号特征提取,获得信号特征;根据中间图像获取基图像;根据信号特征和基图像获取正则化图像。在具体实现过程中,通过对原始数据的重建处理得到中间图像,有效保留了图像中的关键有效信息,通过提取信号特征和获取基图像两种方式,对中间图像进行拆分处理,信号特征和基图像的结合构成正则化约束的重建图像,降低了图像重建过程中对神经网络算法的依赖性,同时还能重建得到准确的正则化图像。
需要说明的是,上述正则化图像重建方法可以在医学设备的控制台上执行,也可以在医学设备的后处理工作站上执行,或在能与医学设备通信的终端130 上实现处理引擎的示例性计算设备200上执行,且不局限于此,可以根据实际应用的需要进行变化调整。
进一步的,可对正则化图像进行迭代操作,可对当前得到的正则化图像的数据再次进行重建处理,得到中间图像,并继续执行操作得到正则化图像,直至前后两次迭代得到的正则化图像之间的图像像素差异在预设范围内,或者达到预设迭代次数,将最终得到的正则化图像作为正则化重建图像。重建处理可以采用各种方式,如投影、变换等等。
在一个实施例中,根据原始数据重建中间图像的步骤包括以下步骤:
获取初始化图像,对初始化图像进行正向投影操作,获取正向投影数据;
根据原始数据和正向投影数据进行反向投影操作,获取中间图像。
在本实施例中,重建处理可以采用投影的方式,先对获取的初始化图像进行正向投影操作,得到正向投影数据,利用原始数据和正向投影数据进行反向投影,得到中间图像,通过正向投影和反向投影,可以将医学扫描的原始数据体现在中间图像中。
具体的,正向投影(Projection)和反向投影(Back Projection)的方式可以应用在PET成像和CT成像场景中,正向投影可通过以下公式执行:
上式中,Pj为初始化图像F沿第j条响应线计算得到的正向投影,Mij为初始化图像F上第i个像素对于第j条响应线的贡献,n为迭代次数,初始化图像 F中的所有像素的像素值均为1。
反向投影可通过以下公式执行:
需要说明的是,在采用正向投影和反向投影的方式时,对正则化图像的迭代操作是将初始化图像替换为正则化图像,继续执行正向投影操作,直至再次得到正则化图像。
在一个实施例中,根据原始数据重建中间图像的步骤包括以下步骤:
获取初始化图像,对初始化图像进行变换,获取初始化图像在K空间的采样数据;
根据原始数据和采样数据进行逆变换,获取中间图像。
在本实施例中,重建处理可以采用变换的方式,先对获取的初始化图像进行变换操作,得到初始化图像在K空间中的采样数据,利用原始数据和采样数据进行逆变换,得到中间图像,通过针对K空间的变换和逆变换,可以将医学扫描的原始数据体现在中间图像中。
具体的,变换和逆变换的方式可以应用在MR成像场景中,变换可为傅里叶变换,通过以下公式执行:
Qj=F(Fn)
上式中,Qj为初始化图像F经傅里叶变换后的图像,F表示傅里叶变换,n 为迭代次数,初始化图像F中的所有像素的像素值均为1。
逆变换为傅里叶逆变换,通过以下公式执行:
上式中,yj为成像系统在第j个频率点采集得到的数据,此处可视为医学扫描的原始数据,为基于采集得到的数据yj和傅里叶变换后的图像Qj得到的采样图像,J表示K空间中频率点数,为傅里叶逆变换后的图像,F-1为傅里叶逆变换。
需要说明的是,变换和逆变换包括但不局限于傅里叶变换和傅里叶逆变换,也可以是其他类型的变换和逆变换方式。在采用变换和逆变换的方式时,对正则化图像的迭代操作是将初始化图像替换为正则化图像,继续执行变换操作,直至再次得到正则化图像。
在一个实施例中,根据中间图像获取基图像的步骤包括以下步骤:
将中间图像输入至预设神经网络,获取预设神经网络输出的基图像,其中预设神经网络具备图像信号及噪声的处理能力。
在本实施例中,可以利用预设神经网络对中间图像进行处理,得到相应的基图像,预设神经网络具备图像信号及噪声的处理能力,可对中间图像中存在的噪声进行弱化甚至消除或者对中间图像中存在的特征信号进行增强,从而提高基图像的信噪比。
具体的,预设神经网络可包括但不限于CNN(Convolutional Neural Networks,卷积神经网络)GAN(Generative Adversarial Networks,生成式对抗网络)以及在上述网络基础上衍生的其他神经网络。
可选的,生成基图像还可采用多种不同的方法,如滤波(高斯滤波、非局部均值滤波NLM、三维块匹配算法BM3D)等等。
在一个实施例中,正则化图像重建方法还包括以下步骤:
获取扫描不同对象的多个不同信噪比的图像,将同一对象的第一图像和第二图像作为一组图像,其中第一图像的信噪比低于第二图像的信噪比;
获取初始化的神经网络,将第一图像作为训练输入样本,将第二图像作为训练目标样本,对初始化的神经网络进行训练;
经过多组不同对象的训练输入样本和训练目标样本的训练后,得到预设神经网络。
在本实施例中,预设神经网络可以是预训练的,训练数据集可以包括多个不同扫描对象的图像,针对同一对象,将其多个不同信噪比的图像作为一组图像,其中分为低信噪比的第一图像和高信噪比的第二图像,将第一图像作为训练样本图像,将第二图像作为训练目标图像,对初始化的神经网络进行训练,经过多组不同对象的图像的训练,使神经网络能适应识别低信噪比图像与高信噪比图像之间的关系,得到用于处理中间图像的预设神经网络。
需要说明的是,本领域相关技术中神经网络是作为正则化项,对输入的图像直接进行分析处理,得到正则化图像,其中涉及的卷积计算更加复杂,需要的训练样本更多;而虽然本申请在获取预设神经网络时利用多个图像进行了训练,但预设神经网络的作用是处理中间图像并得到基图像,提高图像中的信噪比,相比于相关技术中的神经网络,本申请中的预设神经网络中涉及的计算更加简单,所需的训练样本较少。
在一个实施例中,将中间图像输入至预设神经网络,获取预设神经网络输出的基图像的步骤包括以下步骤:
将中间图像输入至初始化的神经网络,获取初始化的神经网络输出的第三图像;
获取第三图像和中间图像的差异信息,根据差异信息对初始化的神经网络的参数进行迭代更新,直至满足预设迭代条件;
在满足预设迭代条件时,将迭代更新后的神经网络输出的第三图像作为基图像。
在本实施例中,预设神经网络是非预训练的,在需要调用预设神经网络时才开始神经网络的训练和使用,预设神经网络可为初始化的神经网络,将中间图像输入至初始化的神经网络,得到神经网络输出的第三图像,比较第三图像和中间图像的差异信息,利用该差异信息对初始化的神经网络的参数进行迭代更新,当满足迭代条件后,确定参数的神经网络可输出基图像。在这一过程中,由于神经网络在实际使用时才进行训练,而且训练采用的是输入的中间图像,因此无需准备大量的训练图像,大大降低了对训练数据的依赖性,同时在迭代处理之后,可以准确得到与中间图像相应的基图像。
进一步的,在初次使用初始化的神经网络时,可获取初始化的图像,将其输入至初始化的神经网络,获取神经网络初次输出的第三图像,获取第三图像和中间图像的差异信息,根据差异信息对初始化的神经网络的参数进行迭代更新;在训练过程中,神经网络每一次对图像的正向运算(Forward)都会输出第三图像,可以获取其与中间图像的差异数据,利用该差异数据通过反向传播(Back propagation)对神经网络的参数进行迭代更新,在迭代更新时,可以设置迭代条件,当迭代条件满足时,将神经网络当前输出的第三图像作为将基图像,迭代条件可包括神经网络输出的第三图像的信噪比达到预设值,或者,神经网络训练的迭代次数达到预设值。
需要说明的是,在正则化图像进行迭代的过程中,并非每一次正则化图像迭代过程都需要进行神经网络的训练,由于在迭代后期,前后两次迭代的图像之间的差异会逐渐减小,而迭代前期的图像中特征较少,因此可在经过预设次数(如4次、5次或6次等)的正则化图像迭代之后,再选择一次或多次正则化图像迭代过程,在其中对神经网络进行迭代训练,神经网络的迭代训练嵌套在一次或多次正则化图像迭代过程中。
在一个实施例中,对中间图像进行信号特征提取,获得信号特征的步骤包括以下步骤:
根据中间图像获取特征图,从特征图中提取信号特征。
在本实施例中,可以先由中间图像计算得到相应的特征图,再从特征图中提取信号特征,便于准确得到信号特征。
进一步的,根据中间图像获取特征图的步骤包括以下步骤:
根据中间图像获取中间图像在三维空间的二阶微分值和像素均值,根据二阶微分值和像素均值生成特征图。
二阶微分的边缘定位能力很强,锐化效果很好,将中间图像在三维空间的二阶微分值和像素均值相结合,可以得到中间图像中的特征部分,即生成特征图。
在一个实施例中,根据信号特征和基图像获取正则化图像包括以下步骤:
对基图像和信号特征进行加权融合,得到正则化图像。
在本实施例中,可对基图像和信号特征分配不同的权重,对基图像和信号特征进行加权融合,从而确保正则化图像中包含适当的信号特征并具备较高的信噪比。
在一个实施例中,在根据信号特征和基图像获取正则化图像的步骤之后,还包括以下步骤:
根据正则化图像对特征图进行迭代更新,直至满足预设迭代条件。
在本实施例中,特征提取也是一个迭代的过程,主要包括三个过程:特征图生成、信号提取和图像获取。利用中间图像按照预设的规则可以获取相应的特征图,从特征图中提取信号特征,信号特征和基图像的结合构成正则化图像,可以将特征图替换为正则化图像,继续执行提取信号特征的操作,迭代更新满足预设迭代条件后,正则化图像中的特征趋于完整。
进一步的,预设迭代条件可为迭代次数达到预设值。
具体的,正则化图像重建方法可以应用在医学设备的扫描成像过程中。以 PET成像为例,可以在低计数的采集条件下使用正则化图像重建方法,获取高信噪比的重建图像。PET低计数成像的应用场景包括:辐射敏感对象的低剂量成像、超长半衰期/超短半衰期药物的成像,高时间分辨率的动态成像等等。
PET的正则化图像重建方法的主要步骤包括:
1、正向投影(Projection)
上式中,Pj为初始化图像F沿第j条响应线计算得到的正向投影,Mij为初始化图像F上第i个像素对于第j条响应线的贡献,n为迭代次数,初始化图像 F中的所有像素的像素值均为1。
在迭代时,对得到的正则化图像进行正向投影。
2、反向投影(Back Projection)
3、基图像生成(AI kernel)
a)神经网络是预训练的。训练数据集中包括大量不同扫描对象的图像,且以同一个扫描对象的高信噪比图像为目标图像(即第二图像),低信噪比图像为输入图像(即第一图像),对网络进行训练。训练完成后,确定网络的模型和参数,在使用的过程中不再改变。图5中迭代重建的中间图像(Recon Image)经过神经网络(Neural Network)的一次正向运算(Forward)就可以得到输出的基图像(BaseImage)。
b)神经网络是非预训练的。在此种情况下不需要为神经网络准备数据集,神经网络的训练和使用在重建算法调用AI kernel(人工智能内核)模块时才开始进行。具体而言,如图6所示,当AI kernel模块被调用时,首先对神经网络 (Neural Network)进行初始化,然后以随机初始图像作为神经网络的输入,迭代重建的中间图像(Recon Image)作为神经网络的目标图像对网络进行训练。训练过程中,每一次对初始图像的正向运算(Forward)都会产生训练的中间图像(Output,即第三图像),Output与Recon Image的差异(Loss)通过反向传播(Backpropagation)对网络参数进行更新。当中止条件得到满足时,以当前的Output作为AI kernel模块的最终输出,即基图像。这里的中止条件可以是训练中间图像(Output)的信噪比达到预设值,或者是训练的迭代次数达到预设值。
4、特征提取(Feature Extraction)
特征提取也是一个迭代的过程,包括特征图生成,信号提取及图像融合三个步骤。
图7a和图7b是一种数据重建结果的效果比对图,图8a和图8b是另一种数据重建结果的效果比对图,图7a和图8a是通过常规OP-OSEM算法得到的重建图像,图7b和图8b是通过本申请的方案得到的重建图像,从图中可以看出,相比于常规得到的重建图像,通过本申请的方案得到的重建图像具有较高信噪比。
另外,除了PET成像,也可以应用于其他成像设备,如CT、MR。CT成像算法与PET成像算法接近,都具有投影和反投影的步骤,常用的重建公式包括 ART(代数重建),SART(联合迭代重建),PWLS等等。MR成像算法有所不同,步骤1为计算重建图像在K空间的采样:
Qj=F(Fn)
步骤2为从K空间的采样获得重建图像
其中Qj为初始化图像F经傅里叶变换后的图像,F表示傅里叶变换,n为迭代次数,初始化图像F中的所有像素的像素值均为1,yj为成像系统在第j个频率点采集得到的数据,是成像系统对扫描对象在K空间的稀疏采样,此处可视为医学扫描的原始数据,为基于采集得到的数据yj和傅里叶变换后的图像Qj得到的采样图像,J表示K空间中频率点数,为傅里叶逆变换后的图像,F-1为傅里叶逆变换。
根据上述正则化图像重建方法,本申请实施例还提供一种正则化图像重建系统,以下就正则化图像重建系统的实施例进行详细说明。
参见图9所示,为一个实施例的正则化图像重建系统的结构示意图。该实施例中的正则化图像重建系统包括:
数据处理单元510,用于获取医学扫描的原始数据,根据原始数据重建中间图像;
特征处理单元520,用于对中间图像进行信号特征提取,获得信号特征;根据中间图像获取基图像;
图像重建单元530,用于根据信号特征和基图像获取正则化图像。
在本实施例中,正则化图像重建系统包括数据处理单元510、特征处理单元 520和图像重建单元530;数据处理单元510用于获取医学扫描的原始数据,根据原始数据进行图像重建,得到中间图像;特征处理单元520用于对中间图像进行信号特征提取,获得信号特征;用于根据中间图像获取基图像;图像重建单元530根据信号特征和基图像获取正则化图像。在具体实现过程中,通过对原始数据的重建处理得到中间图像,有效保留了图像中的关键有效信息,通过提取信号特征和获取基图像两种方式,对中间图像进行拆分处理,信号特征和基图像的结合构成正则化约束的重建图像,降低了图像重建过程中对神经网络算法的依赖性,同时还能重建得到准确的正则化图像。
在一个实施例中,特征处理单元520还用于将中间图像输入至预设神经网络,获取预设神经网络输出的基图像,其中预设神经网络具备图像信号及噪声的处理能力。
在一个实施例中,如图10所示,正则化图像重建系统还包括网络训练单元 540,用于获取扫描不同对象的多个不同信噪比的图像,将同一对象的第一图像和第二图像作为一组图像,其中第一图像的信噪比低于第二图像的信噪比;获取初始化的神经网络,将第一图像作为训练输入样本,将第二图像作为训练目标样本,对初始化的神经网络进行训练;经过多组不同对象的训练输入样本和训练目标样本的训练后,得到预设神经网络。
在一个实施例中,特征处理单元520还用于将中间图像输入至初始化的神经网络,获取初始化的神经网络输出的第三图像;获取第三图像和中间图像的差异信息,根据差异信息对初始化的神经网络的参数进行迭代更新,直至满足预设迭代条件;在满足预设迭代条件时,将迭代更新后的神经网络输出的第三图像作为基图像。
在一个实施例中,特征处理单元520还用于根据中间图像获取特征图,从特征图中提取信号特征。
在一个实施例中,特征处理单元520还用于根据中间图像获取中间图像在三维空间的二阶微分值和像素均值,根据二阶微分值和像素均值生成特征图。
在一个实施例中,图像重建单元530还用于对基图像和信号特征进行加权融合,得到正则化图像。
本申请实施例的正则化图像重建系统与上述正则化图像重建方法一一对应,在上述正则化图像重建方法的实施例阐述的技术特征及其有益效果均适用于正则化图像重建系统的实施例中。
一种可读存储介质,其上存储有可执行程序,可执行程序被处理器执行时实现上述的正则化图像重建方法的步骤。
上述可读存储介质,通过其存储的可执行程序,可以实现通过对原始数据的采样处理得到中间图像,有效保留了图像中的关键有效信息,通过提取信号特征和获取基图像两种方式,对中间图像进行拆分处理,信号特征和基图像的结合构成正则化约束的重建图像,降低了图像重建过程中对神经网络算法的依赖性,同时还能得到准确的正则化重建图像。
一种正则化图像重建设备,包括存储器和处理器,存储器存储有可执行程序,处理器执行可执行程序时实现上述的正则化图像重建方法的步骤。
上述正则化图像重建设备,通过在处理器上运行可执行程序,可以实现通过对原始数据的采样处理得到中间图像,有效保留了图像中的关键有效信息,通过提取信号特征和获取基图像两种方式,对中间图像进行拆分处理,信号特征和基图像的结合构成正则化约束的重建图像,降低了图像重建过程中对神经网络算法的依赖性,同时还能得到准确的正则化重建图像。
正则化图像重建设备可以设置在医学设备100中,也可以设置在终端130 或处理引擎140中。
本领域普通技术人员可以理解实现上述实施例用于正则化图像重建方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,程序可存储于一非易失性的计算机可读取存储介质中,如实施例中,该程序可存储于计算机系统的存储介质中,并被该计算机系统中的至少一个处理器执行,以实现包括如上述正则化图像重建方法的实施例的流程。其中,存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成。所述的程序可以存储于可读取存储介质中。该程序在执行时,包括上述方法所述的步骤。所述的存储介质,包括: ROM/RAM、磁碟、光盘等。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种正则化图像重建方法,其特征在于,所述方法包括以下步骤:
获取医学扫描的原始数据,根据所述原始数据重建中间图像;
对所述中间图像进行信号特征提取,获得信号特征;根据所述中间图像获取基图像;
根据所述信号特征和所述基图像获取正则化图像。
2.根据权利要求1所述的正则化图像重建方法,其特征在于,所述根据所述中间图像获取基图像的步骤包括以下步骤:
将所述中间图像输入至预设神经网络,获取所述预设神经网络输出的基图像,其中所述预设神经网络具备图像信号及噪声的处理能力。
3.根据权利要求2所述的正则化图像重建方法,其特征在于,所述方法还包括以下步骤:
获取扫描不同对象的多个不同信噪比的图像,将同一对象的第一图像和第二图像作为一组图像,其中所述第一图像的信噪比低于所述第二图像的信噪比;
获取初始化的神经网络,将所述第一图像作为训练输入样本,将所述第二图像作为训练目标样本,对所述初始化的神经网络进行训练;
经过多组不同对象的所述训练输入样本和所述训练目标样本的训练后,得到所述预设神经网络。
4.根据权利要求2所述的正则化图像重建方法,其特征在于,所述将所述中间图像输入至预设神经网络,获取所述预设神经网络输出的基图像的步骤包括以下步骤:
将所述中间图像输入至初始化的神经网络,获取所述初始化的神经网络输出的第三图像;
获取所述第三图像和所述中间图像的差异信息,根据所述差异信息对所述初始化的神经网络的参数进行迭代更新,直至满足预设迭代条件;
在满足所述预设迭代条件时,将迭代更新后的神经网络输出的第三图像作为所述基图像。
5.根据权利要求1所述的正则化图像重建方法,其特征在于,所述对所述中间图像进行信号特征提取,获得信号特征的步骤包括以下步骤:
根据所述中间图像获取特征图,从所述特征图中提取信号特征。
6.根据权利要求5所述的正则化图像重建方法,其特征在于,所述根据所述中间图像获取特征图的步骤包括以下步骤:
根据所述中间图像获取所述中间图像在三维空间的二阶微分值和像素均值,根据所述二阶微分值和所述像素均值生成所述特征图。
7.根据权利要求1所述的正则化图像重建方法,其特征在于,所述根据所述信号特征和所述基图像获取正则化图像包括以下步骤:
对所述基图像和所述信号特征进行加权融合,得到所述正则化图像。
8.一种正则化图像重建系统,其特征在于,包括:
数据处理单元,用于获取医学扫描的原始数据,根据所述原始数据重建中间图像;
特征处理单元,用于对所述中间图像进行信号特征提取,获得信号特征;根据所述中间图像获取基图像;
图像重建单元,用于根据所述信号特征和所述基图像获取正则化图像。
9.一种可读存储介质,其上存储有可执行程序,其特征在于,所述可执行程序被处理器执行时实现权利要求1至7中任意一项所述的正则化图像重建方法的步骤。
10.一种正则化图像重建设备,包括存储器和处理器,所述存储器存储有可执行程序,其特征在于,所述处理器执行所述可执行程序时实现权利要求1至7中任意一项所述的正则化图像重建方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010689748.2A CN111862255A (zh) | 2020-07-17 | 2020-07-17 | 正则化图像重建方法、系统、可读存储介质和设备 |
US17/305,946 US11941805B2 (en) | 2020-07-17 | 2021-07-17 | Systems and methods for image processing |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010689748.2A CN111862255A (zh) | 2020-07-17 | 2020-07-17 | 正则化图像重建方法、系统、可读存储介质和设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111862255A true CN111862255A (zh) | 2020-10-30 |
Family
ID=72983648
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010689748.2A Pending CN111862255A (zh) | 2020-07-17 | 2020-07-17 | 正则化图像重建方法、系统、可读存储介质和设备 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11941805B2 (zh) |
CN (1) | CN111862255A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113393551A (zh) * | 2021-06-30 | 2021-09-14 | 赛诺联合医疗科技(北京)有限公司 | 一种基于云服务器的影像系统 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230177747A1 (en) * | 2021-12-06 | 2023-06-08 | GE Precision Healthcare LLC | Machine learning generation of low-noise and high structural conspicuity images |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100134693A1 (en) * | 2007-06-04 | 2010-06-03 | Enswers Co., Ltd. | Method of Processing Moving Picture and Apparatus Thereof |
US20160125576A1 (en) * | 2014-10-29 | 2016-05-05 | Samsung Displa Y Co., Ltd. | Image processing apparatus and image processing method |
CN106097257A (zh) * | 2016-05-30 | 2016-11-09 | 中国科学院深圳先进技术研究院 | 一种图像去噪方法及装置 |
US20170213364A1 (en) * | 2016-01-22 | 2017-07-27 | General Electric Company | System and method for regularized reconstruction of phase contrast computerized tomography |
US20190251694A1 (en) * | 2018-02-14 | 2019-08-15 | Elekta, Inc. | Atlas-based segmentation using deep-learning |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7113674B2 (ja) * | 2018-06-15 | 2022-08-05 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 情報処理装置及び情報処理方法 |
KR20200063289A (ko) * | 2018-11-16 | 2020-06-05 | 삼성전자주식회사 | 영상 처리 장치 및 그 동작방법 |
EP3704668A4 (en) * | 2018-12-17 | 2021-04-07 | SZ DJI Technology Co., Ltd. | IMAGE PROCESSING METHOD AND APPARATUS |
JP7232911B2 (ja) * | 2018-12-31 | 2023-03-03 | エーエスエムエル ネザーランズ ビー.ブイ. | 電子ビーム画像向上のための完全自動semサンプリングシステム |
CN113396440A (zh) * | 2019-02-14 | 2021-09-14 | 卡尔蔡司医疗技术公司 | 用于oct图像转化、眼科图像去噪的系统及其神经网络 |
CN110120024B (zh) * | 2019-05-20 | 2021-08-17 | 百度在线网络技术(北京)有限公司 | 图像处理的方法、装置、设备和存储介质 |
KR102318959B1 (ko) * | 2019-09-10 | 2021-10-27 | 계명대학교 산학협력단 | 의료 영상을 해석하는 인공지능 모델을 이용한 폐암 발병 가능성 예측 방법 및 의료 영상 분석 장치 |
KR20210059457A (ko) * | 2019-11-15 | 2021-05-25 | 엘지전자 주식회사 | 이동 단말기 |
CN111476812A (zh) * | 2020-04-03 | 2020-07-31 | 浙江大学 | 地图分割方法、装置、位姿估计方法和设备终端 |
US11222406B2 (en) * | 2020-06-05 | 2022-01-11 | Canon Medical Systems Corporation | Method and system for training a machine learning-based image denoising system |
-
2020
- 2020-07-17 CN CN202010689748.2A patent/CN111862255A/zh active Pending
-
2021
- 2021-07-17 US US17/305,946 patent/US11941805B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100134693A1 (en) * | 2007-06-04 | 2010-06-03 | Enswers Co., Ltd. | Method of Processing Moving Picture and Apparatus Thereof |
US20160125576A1 (en) * | 2014-10-29 | 2016-05-05 | Samsung Displa Y Co., Ltd. | Image processing apparatus and image processing method |
US20170213364A1 (en) * | 2016-01-22 | 2017-07-27 | General Electric Company | System and method for regularized reconstruction of phase contrast computerized tomography |
CN106097257A (zh) * | 2016-05-30 | 2016-11-09 | 中国科学院深圳先进技术研究院 | 一种图像去噪方法及装置 |
US20190251694A1 (en) * | 2018-02-14 | 2019-08-15 | Elekta, Inc. | Atlas-based segmentation using deep-learning |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113393551A (zh) * | 2021-06-30 | 2021-09-14 | 赛诺联合医疗科技(北京)有限公司 | 一种基于云服务器的影像系统 |
Also Published As
Publication number | Publication date |
---|---|
US20220020146A1 (en) | 2022-01-20 |
US11941805B2 (en) | 2024-03-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11398030B2 (en) | System and method for image reconstruction | |
CN110809782B (zh) | 衰减校正系统和方法 | |
CN109685206B (zh) | 生成用于图像处理的神经网络模型的系统和方法 | |
CN111462020B (zh) | 心脏图像的运动伪影校正方法、系统、存储介质和设备 | |
CN107516330B (zh) | 模型生成方法、图像处理方法及医学成像设备 | |
CN110151210B (zh) | 一种医学图像处理方法、系统、装置和计算机可读介质 | |
CN112365560B (zh) | 基于多级网络的图像重建方法、系统、可读存储介质和设备 | |
CN112001979B (zh) | 运动伪影处理方法、系统、可读存储介质和设备 | |
CN109844815A (zh) | 使用从不同迭代提取的特征图像进行基于特征的图像处理 | |
CN111862255A (zh) | 正则化图像重建方法、系统、可读存储介质和设备 | |
CN111340903B (zh) | 基于非衰减校正pet图像生成合成pet-ct图像的方法和系统 | |
CN114913262B (zh) | 采样模式与重建算法联合优化的核磁共振成像方法及系统 | |
CN111127475A (zh) | Ct扫描图像处理方法、系统、可读存储介质和设备 | |
CN111161182A (zh) | Mr结构信息约束的非局部均值引导的pet图像部分容积校正方法 | |
Lv et al. | A back‐projection‐and‐filtering‐like (BPF‐like) reconstruction method with the deep learning filtration from listmode data in TOF‐PET | |
Wu et al. | Data-iterative optimization score model for stable ultra-sparse-view CT reconstruction | |
US20240185485A1 (en) | Machine learning-based improvement in iterative image reconstruction | |
Shang et al. | Short‐Axis PET Image Quality Improvement by Attention CycleGAN Using Total‐Body PET | |
CN112669405B (zh) | 图像重建方法、系统、可读存储介质和设备 | |
CN112052885B (zh) | 图像处理方法、装置、设备及pet-ct系统 | |
US11508048B2 (en) | Method and system for generating composite PET-CT image based on non-attenuation-corrected PET image | |
RU2778112C2 (ru) | Способ построения синтетических изображений кт на основе данных изображений мрт | |
CN117541481B (zh) | 一种低剂量ct图像修复方法、系统及存储介质 | |
Chen et al. | “One-Shot” Reduction of Additive Artifacts in Medical Images | |
WO2022120588A1 (zh) | 一种低剂量pet图像还原方法、系统、设备和介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: 201807 Shanghai City, north of the city of Jiading District Road No. 2258 Applicant after: Shanghai Lianying Medical Technology Co., Ltd Address before: 201807 Shanghai City, north of the city of Jiading District Road No. 2258 Applicant before: SHANGHAI UNITED IMAGING HEALTHCARE Co.,Ltd. |