CN111340682A - 利用深度神经网络将医学图像转换为不同样式图像的方法和系统 - Google Patents

利用深度神经网络将医学图像转换为不同样式图像的方法和系统 Download PDF

Info

Publication number
CN111340682A
CN111340682A CN201911268025.9A CN201911268025A CN111340682A CN 111340682 A CN111340682 A CN 111340682A CN 201911268025 A CN201911268025 A CN 201911268025A CN 111340682 A CN111340682 A CN 111340682A
Authority
CN
China
Prior art keywords
image
neural network
medical imaging
visual features
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911268025.9A
Other languages
English (en)
Other versions
CN111340682B (zh
Inventor
叶莲娜·维克托洛夫娜·齐姆巴连科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of CN111340682A publication Critical patent/CN111340682A/zh
Application granted granted Critical
Publication of CN111340682B publication Critical patent/CN111340682B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52053—Display arrangements
    • G01S7/52057—Cathode ray tube displays
    • G01S7/5206—Two-dimensional coordinated display of distance and direction; B-scan display
    • G01S7/52065—Compound scan display, e.g. panoramic imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明题为“利用深度神经网络将医学图像转换为不同样式图像的方法和系统”。本发明提供了用于将图像的样式转换为不同的样式，同时保留图像的内容的各种方法和系统。在一个示例中，一种方法包括使用深度神经网络系统、基于第三图像的视觉特征将经由医学成像系统获取的第一图像转换为第二图像，该深度神经网络系统被配置为将图像的视觉特征与内容分离，其中该第二图像包括该第一图像的内容和该第三图像的该视觉特征，并且该第一图像和该第二图像具有不同的视觉特征。然后可以将转换后的第二图像呈现给用户。

Description

利用深度神经网络将医学图像转换为不同样式图像的方法和 系统
技术领域
本文所公开的主题的实施方案涉及医学成像，诸如超声成像，并且更具体地涉及将图像样式转换应用于所获取的医学图像。
背景技术
医疗成像系统通常用于获得受检者(例如患者)的内部生理信息。例如，医学成像系统可用于获得受检者的骨骼结构、内脏器官(例如，脑部、心脏、肺部)、血管血流和各种其他特征的图像。医疗成像系统可以包括磁共振成像(MRI)系统、计算机断层摄影(CT)系统、x射线系统、超声系统和各种其他成像模态。
从这些不同的医学成像系统获得的图像具有不同的、可辨别的样式(视觉外观)，该样式可通过图像的不同特征来识别，包括平滑度、纹理、边缘结构、对比度、斑点、分辨率等。此外，由相同类型但来自不同制造商的具有不同程序设计和/或部件的两个医学成像系统(例如，两个超声系统)获取的图像也可以产生具有不同样式的图像，这些图像对于用户而言看起来是不同的。这样，每个医学成像系统可以被适配为基于系统的预定程序设计来产生某种样式(例如，具有可辨别特征的某种外观)的图像。
发明内容
在一个实施方案中，一种方法包括使用深度神经网络系统、基于第三图像的视觉特征将经由医学成像系统获取的第一图像转换为第二图像，所述深度神经网络系统被配置为将图像的视觉特征与内容分离，其中第二图像包括第一图像的内容和第三图像的视觉特征，并且第一图像和第二图像具有不同的视觉特征；并将转换后的第二图像呈现给用户。
应当理解，提供上面的简要描述来以简化的形式介绍在具体实施方式中进一步描述的精选概念。这并不意味着识别所要求保护的主题的关键或必要特征，该主题的范围由具体实施方式后的权利要求书唯一地限定。此外，所要求保护的主题不限于解决上文或本公开的任何部分中提到的任何缺点的实施方式。
附图说明
通过参考附图阅读以下对非限制性实施方案的描述将更好地理解本发明，其中以下：
图1示出了根据示例性实施方案的示例性超声成像系统。
图2示出了示出根据实施方案的示例神经网络的示意图。
图3示出了示出根据实施方案的神经网络的示例性节点的示意图。
图4示出了根据实施方案的示意图，其示出用于将图像转换为不同样式的示例性图像处理系统。
图5示出了根据实施方案的示意图，其示出用于将初始图像转换为目标图像的样式的示例性神经网络系统。
图6示出了根据实施方案的用于将经由第一医学成像系统获取的第一图像转换成第二图像的方法的流程图，第二图像使第一图像的内容以不是利用第一医学成像系统获取的第三图像的样式呈现。
图7示出了根据实施方案的显示具有不同样式的多个可选择示例性图像的示例性用户界面显示。
图8示出了根据实施方案的示例性用户界面显示，其包括初始图像以及经由神经网络系统转换初始图像的样式所产生的目标图像的并排显示。
图9是根据实施方案的用于训练深度神经网络的方法的流程图，该方法使用经由利用神经网络系统应用样式转换而获得的一组图像。
具体实施方式
以下描述涉及在保留初始图像的内容的同时将初始图像的样式转换为不同样式的各种实施方案。如本文所用，“样式”是指图像的视觉外观和特征，其由用于生成初始图像的成像系统的图像处理程序设计和/或成像模态(例如，诸如MRI、CT、X射线，超声等类型)。示出了示例成像系统，它可以是用于获取患者的成像数据并使用所获取的成像数据生成对应的图像的医学成像系统。该成像系统可以包括控制器，该控制器用于处理获取的成像数据，从获取的成像数据生成图像，以及将生成的图像显示给用户。控制器可以配置有深度神经网络系统，以用于将从经由成像系统获取的成像数据生成的图像的样式(例如，视觉外观)转换为不同的样式(例如，不同的成像系统或不同的成像模态的样式)。在一些实施方案中，深度神经网络系统可以在连接到控制器的边缘设备上实现，或者可以经由与控制器进行电子通信的设备远程实现。示例性神经网络和神经网络系统在图2至图3和图5中示出。通过将初始图像(例如，从使用第一成像系统获取的数据生成的图像)和具有期望样式的示例性图像(例如，从使用相同或不同成像模态的不同第二成像系统获取的数据生成的图像)输入到神经网络系统中，这两个输入图像的内容和样式可以经由神经网络系统进行分离和合成，以输出保留原始图像的内容、同时具有示例性图像的样式的目标图像，如图4的示例性图像处理系统和图6的方法所示。用户可以从经由用户界面显示显示的多个示例性图像中选择示例性图像，如图7呈现的示例所示。此外，输出图像可以经由另一个用户界面显示显示给用户，如图8呈现的示例所示。在一些实施方案中，用于转换图像的样式的方法可以用于获取图像集，这些图像集然后用于训练深度神经网络，该深度神经网络可以用于获得分辨率更高或噪声降低的医学图像。这样，通过利用深度神经网络系统将利用成像系统获取的初始图像的样式转换成不同的样式，用户可以获得采用期望样式的图像，而无需将成像系统进行程序重编，并且同时保持原始图像的生理内容，从而允许用户基于转换后的图像做出更准确的诊断。
图1示出了根据一个实施方案的系统100的框图。在例示的实施方案中，系统100是成像系统，并且更具体地是超声成像系统。然而，应当理解，本文所阐述的实施方案可使用其他类型的医学成像模态(例如，MR、CT、PET/CT、SPECT)来实现。此外，应当理解，其他实施方案不主动获取医学图像。相反，实施方案可以检索先前由成像系统获取的图像或超声数据，并且如本文所述分析图像数据。如图所示，系统100包括多个部件。这些部件可彼此耦接以形成单个结构，可为分开的但位于公共房间内，或者可相对于彼此远离。例如，本文描述的模块中的一个或多个模块可在数据服务器中操作，该数据服务器相对于系统100的其它部件诸如探头和用户界面具有不同的和远程的位置。可选地，在超声系统的情况下，系统100可为能够从一个房间(例如，便携式地)移动到另一个房间的单一系统。例如，系统100可包括车轮或在车上被运输。
在例示的实施方案中，系统100包括发射波束形成器101和发射器102，该发射器驱动诊断超声探头106(或换能器)内的元件104(例如压电晶体)的阵列，以将超声信号(例如，连续信号或脉冲信号)发射到受检者的体内或体积(未示出)中。元件104和探头106可具有多种几何形状。超声信号从体内结构例如血管和周围组织反向散射，以产生返回到元件104的回波。回波由接收器108接收。接收到的回波被提供给接收波束形成器110，该接收波束形成器执行波束形成并且输出RF信号。RF信号然后被提供给处理RF信号的RF处理器112。另选地，RF处理器112可包括复合解调器(未示出)，该复合解调器对RF信号进行解调以形成代表回波信号的IQ数据对。然后，RF或IQ信号数据可被直接提供给存储器114以进行存储(例如，暂时存储)。系统100还包括系统控制器116，该系统控制器可为单个处理单元(例如，处理器)的一部分或分布在多个处理单元中。系统控制器116被构造成控制系统100的操作。
例如，系统控制器116可包括图像处理模块，该模块接收图像数据(例如，RF信号数据或IQ数据对形式的超声信号)并且处理图像数据。例如，图像处理模块可处理超声信号以生成用于显示给操作者的超声信息(例如，超声图像)或超声波形(例如，连续或脉冲波多普勒频谱或波形)的切片或帧。当系统100是超声系统时，图像处理模块可被配置为根据对所获取的超声信息的多个可选超声模态来执行一个或多个处理操作。仅以示例的方式，超声模态可包括彩色流、声学辐射力成像(ARFI)、B模式、A模式、M模式、频谱多普勒、声流、组织多普勒模块、C扫描和弹性成像。
当接收到回波信号时，可在成像会话(或扫描会话)期间实时处理所获取的超声信息。除此之外或另选地，超声信息可在成像会话期间临时存储在存储器114中，并且在实时或离线操作中以低于实时的方式进行处理。包括图像存储器120，其用于存储未被安排立即显示的所获取的超声信息的经处理的切片或波形。图像存储器120可包括任何已知的数据存储介质，例如，永久存储介质、可移除存储介质等。另外，图像存储器120可为非暂态存储介质。
在操作中，超声系统可通过各种技术(例如，3D扫描、实时3D成像、体积扫描、使用具有定位传感器的探头的2D扫描、使用体素相关性技术的徒手扫描、使用2D或矩阵阵列探头的扫描等)获取数据，例如2D数据集、频谱多普勒数据集和/或体积数据集。超声频谱(例如，波形)和/或图像可以从所获取的数据中生成(在控制器116处)，并且在显示设备118上显示给操作者或用户。
系统控制器116可操作地连接到用户界面122，该用户界面使得操作者能够控制系统100的至少一些操作。用户界面122可包括硬件、固件、软件或其组合，使得个体(例如，操作者)能够直接或间接控制系统100及其各种部件的操作。如图所示，用户界面122包括具有显示区域117的显示设备118。在一些实施方案中，用户界面122还可包括一个或多个用户界面输入设备115，诸如物理键盘、鼠标和/或触摸板。在一个实施方案中，触控板可被配置到系统控制器116和显示区域117，使得当用户在触控板的表面上移动手指/手套/触笔时，显示设备117上的超声图像或多普勒频谱上的光标以对应的方式移动。
在示例性实施方案中，显示设备118是触敏显示器(例如触摸屏)，其可检测操作者在显示区域117上的触摸的存在，并且还可识别显示区域117中的触摸的位置。可以通过例如个体的手、手套、触笔等中的至少一者来施加触摸。如此，触敏显示器也可被表征为被构造成接收来自操作者的输入的输入设备。显示设备118还通过向操作者显示信息来将信息从控制器116传送至操作者。显示设备118和/或用户界面122也可进行音频通信。显示设备118被配置为在成像或数据获取会话期间或之后向操作者呈现信息。呈现的信息可以包括超声图像、用于指定期望图像样式的可选择图像(如下文进一步所述)、图形元素、显示的图像的测量图形、用户可选择元素、用户设置以及其他信息(例如，管理信息、患者的个人信息等)。
除了图像处理模块之外，系统控制器116还可以包括图形模块、初始化模块、跟踪模块和分析模块中的一者或多者。图像处理模块、图形模块、初始化模块、跟踪模块和/或分析模块可以彼此协调以在成像会话期间和/或之后将信息呈现给操作者。例如，图像处理模块可以被配置为在显示设备118上显示所获取的图像，并且图形模块可以被配置为将指定的图形与所显示的图像一起显示，诸如与图像相关的可选图标和测量参数(例如，数据)。控制器可以包括存储在控制器的存储器内的算法和一个或多个神经网络(例如，神经网络系统)，其用于将获取的超声图像(或检索的初始图像)转换为保留超声图像的生理内容但具有不同的期望样式(例如外观)的图像(诸如具有不同的成像模态(例如MRI、CT等)的图像)或样式上不同的超声图像外观，如下面参考图2至图7进一步所述。在一些示例中，控制器可以包括深度学习模块，该深度学习模块包括一个或多个深度神经网络以及用于执行本文所讨论的深度学习和图像样式转换的指令。
显示设备118的显示区域117的屏幕由一系列像素组成，这些像素显示利用探头106获取的数据。所获取的数据包括针对显示器的每个像素或一组像素(例如，分配了相同参数值的一组像素)计算的一个或多个成像参数，其中所述一个或多个计算的图像参数包括强度、速度(例如血流速度)、彩色血流速度、纹理、颗粒度、收缩性、变形和变形率值中的一者或多者。然后，这一系列像素组成从所获取的超声数据生成的显示图像和/或多普勒频谱。
系统100可以是用于获取扫描对象(例如，组织)的图像数据的医学超声系统。所获取的图像数据可以用于生成超声图像，该超声图像随后可以经由用户界面122的显示设备118显示。所生成的超声图像可以具有基于系统100的程序设计和配置预定的指定样式。例如，以上讨论的图像处理模块可以被编程为从获取的图像数据生成和显示具有某种样式的图像。尽管(使用同一系统的)不同的获取图像可能具有不同的生理内容(例如，显示不同的组织结构或视图)，但是由系统100的统一图像处理模块产生的所有图像可具有相同的样式(例如外观)。
如本文所用，图像的“样式”可以指所显示图像的视觉外观。图像的样式可以由图像的不同视觉特征来定义，例如，平滑度、纹理、地图、图像边界、边缘(例如，解剖结构上边缘的平滑度和延长度)、对比度、噪声水平、斑点的数量/水平、分辨率水平(例如，低或高)等。这些视觉特征可特定于成像模态以及用于获取图像的成像系统的硬件和软件。例如，每个成像系统可以具有针对以上特征中的一者或多者的预定义水平(在一个示例中可以被量化)，并且成像系统的图像处理模块可以被配置(例如，预编程)为每次获取图像时都会产生具有相同预设(视觉)特征的图像。因此，用户可以识别由系统生成和显示的图像的样式。因此，不同的系统(例如，由不同公司制造的不同超声成像系统)可以具有不同的预定义和预编程的成像特征，并且因此由这些系统显示的所得图像可以具有不同的样式(例如，视觉外观)。例如，一些成像系统可能具有更高或更低的分辨率(在一个示例中，这是由于用来获取图像数据的换能器的类型)，并且由于分辨率的差异，所得图像看起来可能有所不同。另外，不同的成像模态(例如，MRI、超声、CT、X射线等)具有可以在所显示的图像中识别的不同特征，其中一些特征是特定成像模态固有的或唯一的。例如，超声图像具有斑点，这是固有地存在于超声图像中并影响超声图像质量的颗粒噪声。例如，在超声图像中呈现为亮点和暗点的斑点主要是由于返回的超声声波在超声换能器孔处的干涉。然而，由于MRI(利用磁场和无线电波)和X射线或CT(利用X射线)不像在超声成像中那样利用声波(由超声换能器产生)，因此从这些成像模态得到的图像将不包括斑点噪声的可见效果(例如，生成和显示的图像中的亮点和暗点)。因此，如果用户看到图像中的斑点效应，则他们可以将该图像识别为超声图像而不是MRI或CT图像。又如，从MRI系统生成的图像的对比度可以高于从超声系统生成的图像的对比度。用户可以辨别医学图像中的对比度，并允许用户从超声图像中识别出MRI图像。
由于用来执行成像扫描的能量的类型(例如，超声波对比X射线对比磁场)，医学成像图像的构成和定义样式的视觉特征可能是成像模态(MRI、X射线、CT、超声等)固有的。如上所述，确定图像样式的这些特征也可能归因于系统的图像处理模块中的预编程设置。因此，由于所生成和显示的医学图像的许多或全部视觉特征可能是预先确定的或成像模态的类型或用来获取图像的特定成像系统所固有的，因此无法轻易地改变得到的图像的外观或样式。例如，改变显示给用户的图像的样式可能需要对成像系统进行大量的程序重编。在其他情况下，使用第一成像模态(例如，超声)的系统完全无法将来自第一成像模态的图像样式转换为来自第二成像模态(例如，MRI)的图像样式，因为组成该系统生成的图像样式的特征是该特定成像模态的系统中使用的能量、波和技术所固有的。例如，由于超声系统不使用磁场和MRI中的相同技术，因此超声成像系统可能不会生成具有MRI图像外观的图像，因此无法生成与MRI生成的图像具有相同特征的图像，诸如具有相同对比度的图像。
在不同情况下，用户可能希望由第一医学成像系统(例如，超声系统，诸如图1所示的超声系统100)生成和显示的图像具有与该系统预先确定和预先设定的(例如，由于该成像模态所固有的程序设计和特征)不同的样式(例如，视觉外观，如上所述)。例如，用户可能希望从第一医学成像系统生成和显示的图像具有由不同的第二医学成像系统生成的图像的样式。第二医学成像系统可以是不同的品牌和/或型号或不同的成像模态(例如，MRI、CT或X射线)。例如，患有癌症的患者可能具有其身体特定部分的一系列先前获取的CT图像。然而，由于这些患者的病症，他们可能不能够暴露于CT成像系统的进一步辐射。因此，可能希望使用不利用辐射的不同成像模态(例如，超声)来捕获其身体的相同部分的相似图像。然而，为了准确地将新的超声图像与先前的CT图像进行比较，并做出明智的诊断，超声图像可能需要类似于(例如，在视觉上类似于)CT图像。目前，没有办法为此目的而容易且经济地将超声图像转换为具有CT图像的外观(例如，样式)。
本申请的发明人已经认识到这些问题，并开发了至少部分解决这些问题的系统和方法。作为一个示例，如上所述，成像系统100(例如，超声系统)可以配置有深度神经网络系统，以用于将从经由成像系统100获取的成像数据生成的图像的样式(例如，视觉外观)转换为不同的样式(例如，不同的成像系统或不同的成像模态的样式)。在一些实施方案中，深度神经网络系统可在连接到系统100的边缘设备(未示出)上实现。在一些实施方案中，深度神经网络系统可例如在与系统100通信的云中远程实现。在一些实施方案中，深度神经网络系统的各部分在不同设备上实现，诸如系统100、边缘设备、云等的任何适当组合。深度神经网络系统可包括多个神经网络组成的系统，诸如两个神经网络组成的系统，如下文进一步所述。
作为例示性示例，图2示出了具有一个或多个节点/神经元202的神经网络200，在一些实施方案中，所述一个或多个节点/神经元可设置在一个或多个层204、206、208、210、212、214和216中。神经网络200可以是深度神经网络。如本文关于神经元所用，术语“层”是指具有以类似方式连接到模拟神经元的其他集合的输入和/或输出的模拟神经元的集合。因此，如图2所示，神经元202可经由一个或多个连接218彼此连接，使得数据可从输入层204传播通过一个或多个中间层206、208、210、212、214到输出层216。
图3示出了根据示例性实施方案的神经元的输入和输出连接。如图3所示，单个神经元202的连接218可包括一个或多个输入连接302和一个或多个输出连接304。神经元202的每个输入连接302可以是前导神经元的输出连接，并且神经元202的输出连接304可以是一个或多个后续神经元的输入连接。虽然图3将神经元202描绘为具有单个输出连接304和三个输入连接302，但是应当理解，神经元可以具有传输/传递相同值的多个输出连接和/或可以具有少于三个(例如，在一些示例中仅一个)输入连接302。在一个实施方案中，神经元202可以是数据构造，例如，结构、实例化的类对象、矩阵等，并且输入连接218可由神经元202接收为加权数值，例如浮点或整数值。例如，如图3进一步所示，输入连接X1、X2和X3可以分别经由权重W1、W2和W3加权、求和，并作为输出连接Y发送/发射/传递。如将理解的是，单个神经元202的处理通常可以通过以下公式表示：
Figure BDA0002313412700000091
其中n是到神经元202的输入连接302的总数。在实施方案中，Y的值可至少部分地基于WiXi的总和是否超过阈值。例如，如果加权输入的总和未超过期望阈值，则Y可具有零(0)值。
如将进一步理解的，输入层204中的神经元202的输入连接302可以被映射到输入201，同时输出层216中的神经元202的输出连接302可以被映射到输出230。如本文所用，将输入连接302“映射”到输入201是指输入201影响/指示输入连接302的值的方式。类似地，如本文所用，将输出连接302“映射”到输出230是指输出连接302的值影响输出230的方式。
因此，在实施方案中，采集/获得的输入201被传递/馈送到神经网络200的输入层204并且传播通过层204、206、208、210、212、214和216，使得输出层216的映射输出连接304生成/对应于输出230。
在一些实施方案中，可使用不是经由医学成像装置获取的第一图像(例如，摄影图像)和具有特定于经由医学成像装置诸如超声系统(例如，图1中所示的系统100)获取的图像的格式和视觉特征的第二图像对来训练深度神经网络200，其中使用本文参考图4至图8所述的技术和深度神经网络系统将第一图像转换为第二图像的样式。在学习之后，深度神经网络200随后可以用于将医学图像从较低分辨率转换为较高分辨率。例如，可以将较低分辨率的获取的超声图像输入到深度神经网络200，该深度神经网络继而输出保持较低分辨率图像的内容但现在可以更容易地用于诊断的高分辨率超声图像。在一个示例中，各种内容(例如，非医学内容，诸如房屋、车辆、风景、动物、植物，和医学内容，诸如病理切片和解剖结构)的数字照片可用于训练深度神经网络200，以便无需在成像系统本身中进行更复杂和昂贵的处理即可获得更高分辨率的医学成像图像。
如上所述，在一个实施方案中，可以采用一个或多个神经网络组成的系统来将第一图像(可以由成像系统诸如图1的系统100获取)转换成不同的期望图像样式，同时仍保留第一图片的生理内容。图4中示出了可结合成像系统或作为成像系统的一部分使用的此类神经网络系统的示例。具体地讲，图4示出了示例性图像处理系统400，该图像处理系统用于基于具有期望样式的第三图像406，将第一图像402转换为第二图像404，第二图像404具有第一图像402的内容和第三图像406的样式。如图4所示，第一图像402和第三图像406各自被输入到神经网络系统408中。在一个实施方案中，可以利用医学成像系统诸如图1的系统100(在一个实施方案中可以是超声系统)获取第一图像402。第三图像406可以是具有与第一图像402不同的样式(例如，不同的视觉外观，如上所述)的示例性图像。例如，第三图像406可以是MRI图像、CT图像或X射线图像，而第一图像402是超声图像。又如，第一图像402可以是从由第一超声系统获取的数据生成的超声图像，并且第三图像406可以是从由第二超声系统获取的数据生成的超声图像，第二超声系统具有不同于第一超声系统的程序设计和/或图像处理设置。
神经网络系统408包括第一神经网络410和第二神经网络412。在一个示例中，第一神经网络410和第二神经网络412中的一者或两者可以类似于图2的神经网络200。附加地或另选地，第一神经网络410和第二神经网络412中的一者或两者可以是卷积神经网络，诸如图5所示的卷积神经网络，如下文进一步讨论。例如，第一神经网络410可以捕获第一图像402的内容(例如，生理内容/细节)，而第二神经网络412捕获第三图像406的样式(例如，视觉外观和样式特征)，希望将第一图像402转换成该样式。通过在神经网络系统408内合并这两个网络和/或合成这两个网络的输出，输出即第二图像404可以包含第一图像402的内容，同时具有第三图像406的样式(例如外观)。
仅出于示例性目的，图4中所示的图像为摄影图像和艺术图像。具体地，第一图像402是照片，并且第三图像406是众所周知的艺术作品。当将这两个图像输入到神经网络系统408中时，这些图像由网络合成，该网络找到同时匹配第一图像402的内容表示和第三图像406的样式表示的图像(作为第二图像404输出)。如图4所示，虽然第二图像404中保留了第一图像402的全局布置，但是第三图像406提供了构成全局风景的颜色和局部结构。这样，输出即第二图像404是第一图像402的采用第三图像406样式的再现，使得合成的第二图像404的外观类似于第二图像406，即使它显示与第一图像402相同的内容。
在医学成像领域的实际应用中，如下文进一步所述，第一图像402可以是经由医学成像模态获取的初始图像，也可以是用于深度学习的摄影图像，如上所述。此外，第三图像406可以是采用期望图像样式的示例性图像，它是经由不同于第一图像的医学成像模态获取的，或者是经由不同于用于生成第一图像402的系统的医学成像系统获取的。在原始的第一图像402是不使用医学成像系统获取的图像(例如，摄影图像)的实施方案中，样式图像(第三图像406)将由示例性超声图像(或另选成像模态图像)表示。
在第一实施方案中，第一神经网络410是生成器，并且第二神经网络412是鉴别器，它们形成生成对抗网络(GAN)。在这样的网络系统中，鉴别器通过将输入数据的特征映射到标签来对输入数据进行分类(例如，它预测输入数据所属的标签或类别)，而生成器预测某个标签的特征。换句话讲，生成器生成“候选者”，而鉴别器对它们进行评估。在一些示例中，生成器是去卷积神经网络，而鉴别器是卷积神经网络。在本文讨论的图像样式转换的应用中，神经网络系统408可以从白噪声图像开始，尝试使用鉴别器神经网络410和生成器神经网络412分别匹配第一图像402和第三图像406的内容和样式。
在第二实施方案中，第一神经网络410是用于图像检测(例如，对象识别)的卷积神经网络，并且第二神经网络412是在第一神经网络410上并基于样式构建的。在卷积神经网络的特征图的空间范围内，第二神经网络412在第一神经网络410的不同层(和滤波器)之间形成相关性(如下文进一步讨论)。通过包括多个层的特征相关性，获得了输入即第三图像406的静态多尺度表示，该第三图像捕获了纹理信息而不是全局布置。这样，第一神经网络可以表示第一图像402的内容，而第二神经网络可以表示第三图像406的样式(例如视觉外观)。通过合成第一神经网络和第二神经网络的输出，所得图像(第二图像404)既包含第一图像402的内容，又包含第三图像406的样式。
图5示出了用于将初始图像转换为目标图像的样式的示例性神经网络系统500。神经网络系统500可以用作图4中的神经网络系统408，并且可以包括在成像系统的控制器(例如，图1的系统100的控制器116)中和/或包括在与成像系统的控制器进行电子通信(或从成像系统的控制器接收数据)的系统中。神经网络系统500包括卷积神经网络502和构建在卷积神经网络502的各层上的第二神经网络504。卷积神经网络是一类生物学启发的深度神经网络，它们在图像处理任务中功能强大。具体地讲，在大脑的视觉系统之后对卷积神经网络进行建模。与图2的传统神经网络200不同，卷积神经网络由三维组织的层组成，并且一层中的神经元仅连接到下一层的一小区域(而不是连接到所有神经元)。
如图5所示，卷积神经网络502由以前馈方式分层处理视觉信息的计算单元的层组成。每一层的输出包括多个特征图506，特征图可以理解为输入图像的不同滤波版本。例如，神经网络502包括多个卷积层508和池化层510。尽管在图5中以交替的图案示出了卷积层508和池化层510，但是在另选实施方案中，可以存在更多或更少的卷积层和/或更多或更少的池化层，并且卷积层和池化层的数量可以不相等。输入图像512被输入到卷积神经网络502中。输入图像512和特征图506的每个图像可以表示为像素值矩阵。这是神经网络系统500使用的数据。尽管在图5中示出了单个输入图像512，但是如本文所述，两个不同的输入图像可以被输入到神经网络系统500中。
卷积发生在每个卷积层508处。执行卷积以便从输入图像512(或在处理层次中更远的更高层中的特征图506)提取特征。卷积通过使用输入数据的小方块学习图像特征来保留像素之间的空间关系。每个卷积层508包括图像滤波器的集合，每个图像滤波器从输入图像中提取特定特征。每个卷积层508的输出包括多个特征图506，每个特征图是输入图像的不同滤波版本(并且每个应用的滤波器有一个所得特征图506)。
池化(例如，空间池化，在一个示例中可以是最大池化)在每个池化层510处发生。执行池化以减小每个特征图506的维数(例如，大小)，同时保留最重要的信息。通过池化，减少了神经网络中参数和计算的数量，从而控制了过拟合。
如图5所示，在第一卷积之后，产生了三个特征图(但是，应当注意，该数量可以是代表性的，并且在第一卷积层508中可以存在大于三个的特征图)。在第一池化操作之后，每个特征图506的大小减小，但是特征图的数量得以保留。然后，在第二卷积期间，可以应用更多数量的滤波器，并且第二卷积层508中的输出是更多数量的特征图506。方向箭头514所示的沿处理层次的较后层可称为“较高”层。处理层次的前几层检测较大的特征，而较后(较高)层拾取更精细的细节并将它们组织为更复杂的特征。在一些实施方案中，最终输出层516是完全连接的(例如，该层中的所有神经元都连接到前一层中的所有神经元)。然而，在其他实施方案中，卷积神经网络502可以不包括完全连接的最终输出层516。
通过在对象识别方面训练卷积神经网络502，它会形成输入图像512的一种表示，使对象信息沿处理层次越来越明确，如箭头514所示。因此，沿着卷积神经网络502的处理层次，输入图像512被转换成与其详细像素值相比逐渐强调输入图像512的实际内容的表示。从网络中较高层的特征图506重建的图像就对象及其在输入图像512中的布置而言捕获了高级别内容，但是不限制内容重建的确切像素值。相比之下，来自较低层的图像重建可以再现原始输入图像512的精确像素值。因此，网络的较高(例如，较深)层中的特征响应可以被称为内容表示。
为了获得输入图像512的样式的表示，在卷积神经网络502的每一层中的滤波器响应上构建特征空间或第二神经网络504。特征空间504由在特征图506的空间范围上的不同滤波器响应之间的相关性组成。具体地讲，特征空间504计算卷积神经网络502的不同层中不同特征之间的相关性。从构建在卷积神经网络502层的不同子集上的样式表示518重建输入图像512的样式。该处理以递增的比例创建与输入图像512的样式(例如，视觉外观)匹配的图像，同时丢弃关于输入图像512的全局布置的信息。从样式特征空间504进行重建可以产生输入图像512的“纹理化”版本，其在颜色和局部结构方面捕获其总体外观，在本文中称为“样式”。
神经网络系统500中内容和样式的表示是可分离的。如下文参考图6进一步说明，通过合成卷积神经网络502和特征空间504的输出，可以找到同时匹配第一输入图像的内容表示和第二输入图像的样式表示的图像。如图4所示，从系统408输出的图像(图像404)可以保留第一图像402的全局布置，同时包括第三图像406的颜色(或灰度)和局部结构。因此，这使输出即第二图像404以第三图像406的样式呈现，使得第二图像404类似于第三图像406，即使第二图像404显示与第一图像402相同的内容。
本文所述的人工神经网络系统(诸如图4所示的系统408和/或图5所示的系统500)实现了图像内容与样式的分离，从而允许系统以另一图像(例如，采用期望样式的可选择示例性图像，诸如利用不同的第二成像模态获取的图像或经由不同医学成像系统获取的图片)的样式重铸第一图像(例如，经由第一成像模态诸如超声系统获取的初始图像)的内容。
现在转到图6，提供了一种方法600，该方法用于将经由第一医学成像系统获取的初始第一图像转换为目标第二图像，该目标第二图像具有以不是利用第一医学成像系统获取的第三图像的样式呈现的第一图像的内容。
下文参照图1至图5的系统和部件描述了方法600，但是应当理解，方法600可以在不脱离本公开的范围的情况下用其他系统和部件来实现。在一些实施方案中，方法600可以在成像系统100、连接到成像系统100的边缘设备、与成像系统通信的云等的任何适当组合中被实现为可执行指令。作为一个示例，方法600可以在计算设备的非暂态存储器中实现，诸如图1的成像系统100的控制器(例如，处理器)。
方法600从602开始，在这里，获得利用医学成像系统(具有某种医学成像模态)获取的初始图像。在一个实施方案中，该医学成像系统是超声成像系统，诸如图1所示的系统100。例如，获得初始图像可以包括获得从在与医学成像系统的实时扫描会话期间获取的成像数据生成的图像。又如，获得初始图像可以包括处理器(例如，控制器)接收用户输入，该用户输入选择存储在处理器的存储器中或与处理器进行电子通信的存储器中的图像，并且作为响应，从存储器中检索所选的图像。这样，可以在与医学成像系统的扫描会话期间实时地获取初始图像，或者从与(相同)医学成像系统的先前(例如，过去的)扫描会话期间获取的存储数据中实时获取初始图像。
在604处，该方法包括接收一个或多个用户输入。所述一个或多个用户输入可以在处理器处从用户输入设备(诸如图1所示的用户输入设备115和/或触敏显示器117)接收。所述一个或多个用户输入可以包括对具有目标图像的期望图像样式(例如，期望将初始图像转换到该样式)的示例性图像，具有目标图像的期望图像样式的已上传(由用户上传到处理器)示例性图像和/或目标图像的期望内容和样式的加权因子的选择。示出了示例性用户界面显示，其示出了用于设置目标图像的样式和内容以及样式权重的用户可选择元素。
具体地，图7示出了显示设备702的第一用户界面显示700。在一个示例中，显示设备702可以是图1所示的显示设备118。第一用户界面显示700包括具有不同样式的多个示例性图像704的显示。如上所述，图像的样式由成像模态(例如，MRI对比超声对比CT)所固有的图像特征，用于获取图像的成像系统的品牌/型号，和/或用于获取图像的换能器类型(例如，超声换能器探头)定义。这些特征可以包括平滑度、纹理、地图、图像边界、边缘、对比度、噪声水平、斑点数量/水平、分辨率水平(例如，低或高)等中的一者或多者。所显示的示例性图像704可以由用户(例如，经由触摸、鼠标、键盘等)选择。在图7中，存在五个可选择的示例性图像704(CT图像705、MRI图像706、超声图像707、已上传图像#1 708和已上传图像#2709)。然而，在另选实施方案中，显示的可选择示例性图像704可以包括示例图像的库(例如，目录)，该库包括多于或少于五个图像(例如，4、10、20或50个图像)。图像库可以包含来自较高端或较低端(例如，分辨率)成像系统的图像，来自不同制造商系统的图像，来自成像系统的成像处理操作的不同处理步骤的图像，来自不同成像模态的图像(例如X射线、CT、MRI、超声)等。可选择的图像可以用于任何解剖结构(例如，脑部、心脏、胎儿、肩部等)。另外，用户可以上传一个或多个图像(诸如图7所示的图像708和709)用于本文讨论的样式转换。在一个示例中，超声图像707可以是从经由超声成像系统获取的成像数据生成的超声图像，该超声成像系统不同于用于生成以上参考图6讨论的初始图像的系统。这样，显示给用户以选择目标图像的期望图像样式的示例性图像可以是从不同类型的成像模态、具有相同类型成像模态的系统的不同品牌/型号生成的图像，具有不同分辨率或噪声水平的图像等。
第一用户界面显示700还可包括可选择的样式/内容加权输入710。在一个示例中，如图7所示，样式/内容加权输入710可以包括可滑动的加权条712，可以利用该加权条选择介于对内容的100％强调和对样式的100％强调之间的相对加权。移动权重条712的可滑动选择器可以导致自动调整显示内容加权因子714和显示样式加权因子716。在一些实施方案中，可以经由来自用户的键盘或类似设备的输入在第一用户界面显示700上手动设置(例如，可以键入数值)内容加权因子714和样式加权因子716。这样，用户可以选择对输出即目标图像的内容对比样式的期望强调，其中样式从显示图像704中的已选图像确定，并且内容从利用医学成像系统获取的初始图像导出。
返回图6，在604处接收到用户输入后，该方法继续到606，以经由将初始图像和所选样式图像(例如，图7中所示的图像704中的一个)输入到神经网络系统(例如，图4的神经网络系统408和/或图5的神经网络系统500)，来将初始图像转换成具有期望权重的期望样式的目标图像。如上所述，神经网络系统可以包括两个神经网络，这两个神经网络一起工作以分离两个输入图像的内容和样式，并输出保留初始图像的内容同时具有所选样式图像的样式(例如视觉外观或特征)的单个图像。在一个实施方案中，神经网络系统可以包括卷积神经网络，该卷积神经网络包括多个卷积层和池化层以及构建在该卷积神经网络上的特征空间(或样式表示网络)，诸如以上参考图5所述的系统。
下面是使用类似于上面参考图5所述的系统500的神经网络系统在606处将初始图像转换为目标图像的一个实施方案的描述。然而，应当指出的是，在另选实施方案中，在606处的方法可利用神经网络系统内的不同神经网络系统或利用滤波器、层(例如，层数)等的不同组合。在该示例性实施方案中，输入即初始图像(例如，在602处获得的并且输入到神经网络系统中的图像)可以被表示为p(其可以数学地表示为像素值的矢量或矩阵)。神经网络中的每个层可以定义非线性滤波器组，其复杂度随着该层在网络中的位置而增加(例如，随着这些层在网络中变得更深)。因此，给定的输入图像x在卷积神经网络的每一层中由对该图像的滤波器响应(例如，特征图)进行编码。例如，具有Nl个不同滤波器的每个层具有Nl个特征图，每个特征图的大小为Ml，其中Ml是特征图的高度乘以宽度。因此，层l中的响应可以存储在矩阵中：
Figure BDA0002313412700000171
其中
Figure BDA0002313412700000172
是在层l的位置j处的第i个滤波器的激活。为了将在分级结构的不同层上编码的图像信息可视化，可以对白噪声图像执行梯度下降以找到与原始图像的特征响应匹配的另一图像。令p和x为原始输入图像和生成的图像，并且Pl和Fl为它们各自在层l中的特征表示，则这两个特征表示之间的平方误差损失定义为：
Figure BDA0002313412700000173
该损失相对于层l中的激活的导数等于：
Figure BDA0002313412700000174
从中可以使用标准误差反向传播来计算相对于图像x的梯度。因此，初始随机图像x会改变，直到它在卷积神经网络的特定层中生成与原始图像p相同的响应为止。
如上所述，在卷积神经网络的每一层中，在卷积神经网络响应上构建包括样式表示的第二神经网络。样式表示计算不同过滤器响应之间的相关性，其中在输入图像的空间范围上取期望。这些特征相关性由Gram矩阵给出：
Figure BDA0002313412700000181
其中
Figure BDA0002313412700000182
是层l中的矢量化特征图i和j之间的内积：
Figure BDA0002313412700000183
为了生成与给定图像的样式匹配的纹理，可以使用来自白噪声图像的梯度下降来查找与原始图像样式表示匹配的另一图像。这可以通过最小化来自原始图像的Gram矩阵与要生成的图像的Gram矩阵的元之间的均方距离来完成。因此，令a和x是原始图像和生成的图像，并且Al和Gl是它们在层l中各自的样式表示。该层对总损失的贡献则为：
Figure BDA0002313412700000184
并且总损失为：
Figure BDA0002313412700000185
其中wl为各层对总损失的贡献的加权因子。相对于层l的激活的导数El可通过下式来解析地计算：
Figure BDA0002313412700000191
相对于网络较低层中的激活的El的梯度可以使用标准误差反向传播来容易地计算。为了生成将经由医学成像系统获取的初始图像的内容与采用期望图像样式的所选样式图像(在604处选择)的样式混合的图像，白噪声图像与在网络一层中初始图像的内容表示和卷积神经网络的许多层中的所选样式图像的样式表示的距离被共同最小化。因此，令p为利用医学成像系统获取的初始图像，并且a为所选的样式图像。最小化的损失函数定义为：
Ltotal(p,a,x)＝αLcontent(p,x)+βLstyle(a,x) (公式9)
其中α和β分别是内容和样式重建的加权因子。例如，通过增大α和/或减小β，可以减小对最终输出即目标图像的样式的强调。加权因子可以由用户选择，并且可以由处理器基于用户选择来设置，如以上在604处所讨论的。通过给予样式加权因子(例如，β)更大的权重，输出图像可以更加类似于所选样式图像的视觉外观和特征。然而，由于可以将输出即目标图像用于医学诊断，因此可能存在针对权重因子的预设限制，以确保在输出图像中保留初始图像的生理内容。这样，在606处的方法可以包括在目标图像的合成期间最小化损失函数(例如，公式9的损失方程)，并且响应于在604处接收到对两个加权因子的选择，基于所选的两个加权因子(例如，α和β)来调整合成目标图像中表示的内容和视觉特征(例如，样式)。
回到图6，在608处，由神经网络系统输出的目标图像(在606确定)随后被呈现(例如，输出)给用户。在一个示例中，呈现输出即目标图像(采用期望样式)包括将目标图像输出到显示设备以显示给用户。又如，呈现输出即目标图像附加地或另选地包括将输出即目标图像保存到处理器的存储器中或与处理器进行电子通信的存储器中。在一些示例中，显示设备可以是用于获取初始图像的医学图像系统的显示设备，或者是与处理器进行电子通信的另一显示设备，诸如医疗保健提供者使用的便携式电子设备。图8示出了用于向用户显示目标图像的示例性用户界面。
具体地，图8示出了显示设备702的第二用户界面显示800。第二用户界面显示800包括初始图像802(图8中的照片作为示例，在实际应用中初始图像802可以是超声图像)和输出即目标图像804(例如，具有所选样式图像的样式和初始图像802的内容的样式转换图像)的并排显示。因此，用户可以将初始图像802和采用期望的所选图像样式的输出图像804来可视化，并决定是否存储和/或使用输出图像804来用于诊断以及用于随后获取或分析(例如，在将来的扫描会话期间)的图像。例如，如图8所示，用户界面显示800可以显示对话框806，提示用户关于他们是否要保存样式转换图像(输出图像804)。在一些实施方案中，第二用户界面显示800可以附加地显示用于将初始图像802转换成期望样式的所选样式图像。在一个实施方案中，第二用户界面显示800可以附加地显示图7的可选择样式/内容加权输入710，以允许用户调整样式转换的设置。该调整可以导致基于更新的加权输入生成更新的输出图像并且经由第二用户界面显示来显示更新的输出图像。
这样，在一个实施方案中，方法600提供了一种方法，该方法通过应用两个神经网络即第一神经网络和第二神经网络来将利用医学成像系统获取的初始图像(例如，超声图像)转换为不同样式的图像；其中第一神经网络捕获原始图像的内容，并且第二个神经网络捕获原始图像应转换成的样式。通过合并这两个神经网络，输出是包含原始获取的图像的内容(例如，生理细节)但具有被选择来表示期望样式的图像的样式(例如，视觉外观和特征)的图像。
在一些实施方案中，上述用于转换图像的方法可以用于获得用于训练深度神经网络的图像集。例如，如上所述，对于神经网络(诸如图2的网络200)的深度学习训练，使用具有不同分辨率和/或噪声水平的两个图像来训练神经网络以将利用医学成像系统获取的图像转换为分辨率更高和/或噪声更低的图像；其中一个图像具有医学成像图像(例如，超声图像)的外观。例如，照片(不是从医学成像系统获取的数据生成的)可以具有比从医学成像系统获取的数据生成的图像更高的分辨率和更少的噪声。因此，可以使用照片和从该照片转换(使用图6的方法)而成的具有利用医学成像模态(例如，超声系统)获取的图像的样式的对应图像来训练神经网络以将较低分辨率的图像(例如，经由医学成像系统获取的图像)映射到高分辨率图像(例如，具有与较低分辨率的图像相同的内容和成像模态样式但具有较高分辨率和/或较少噪声的图像)。
图9示出了用于训练深度神经网络的示例性方法900，该方法使用经由利用神经网络系统应用样式转换而获得的图像集。例如，要训练的深度神经网络可以类似于图2的神经网络200。又如，用于获得用于训练神经网络的图像集的神经网络系统可以类似于图4和图5所示的神经网络系统。下文参照图1至图8的系统、部件和方法描述了方法900，但是应当理解，方法900可以在不脱离本公开的范围的情况下用其他系统和部件来实现。在一些实施方案中，方法900可以在图1的成像系统100、连接到成像系统100的边缘设备、与成像系统通信的云等的任何适当组合中被实现为可执行指令。作为一个示例，方法900可以在计算设备的非暂态存储器中实现，诸如图1的成像系统100的控制器(例如，处理器)。
方法900在902处开始，在这里获得不是由成像模态获取的(一个或多个)初始图像(例如，不是从由医学成像系统获取的图像数据生成)。例如，初始图像可以是经由用户上传到处理器的照片。又如，初始图像可以从存储在处理器的存储器中或与处理器进行电子通信的设备的存储器中的照片目录中选择。这些照片可以是利用数字相机获得的数字照片。例如，初始图像可以是数字照片格式，诸如红-绿-蓝(RGB)、青-品红-黄-黑(CMYB)、色调饱和度亮度(HSB)、灰度等。
在904处，该方法包括通过将一个或多个初始图像和代表医学成像模态(例如，CT、MRI、超声等)的样式(例如视觉外观和特征)的所选样式图像输入到神经网络系统中，来将初始图像转换成具有该医学成像模态的样式的目标图像。例如，在904处的方法可以根据如上所述图6的606处的方法进行，使用不是由成像模态获取的初始图像和所选样式图像作为输入。可以经由用户从图像目录或从上传的图像中选择所选样式图像，类似于上文结合图6中604处的方法所述。例如，为了训练深度神经网络来处理超声图像，根据图6的方法600，将初始图像转换为具有所选示例性超声图像的样式和初始图像的内容的对应超声图像。然后，输出即目标图像可以是不是从由超声成像系统获取的数据生成的图像，而是具有从由超声成像系统获取的数据生成的超声图像的样式(例如，视觉外观和特征)。另外，目标图像可以保留初始图像的内容。这样，初始图像和输出即目标图像都不具有医学/生理内容，但是由于目标图像具有医学超声图像的外观，因此初始图像和目标图像可用于训练深度神经网络，如下进一步所述。
方法900前进到906以利用在904处获得的对应的初始图像和目标图像来训练深度神经网络。例如，深度神经网络(诸如图2的深度神经网络200)被训练为将在904处从神经网络系统输出的目标图像映射到在902处获得的初始图像，使得深度神经网络学习从较高噪声/较低分辨率图像到具有降低的噪声和/或更高的分辨率图像的图像的映射。作为一个示例性和非限制性示例，在906处的方法可以具体地利用反向传播来计算和调整深度神经网络200的权重，以学习初始图像和目标图像之间的映射。
在906处训练深度神经网络之后，该方法继续到908，使用经训练的神经网络将利用成像模态(例如，超声成像系统)获取的第一图像转换为具有更高分辨率/降低的噪声的第二图像。这样，经训练的深度神经网络可以用于对由医学成像系统获取的医学图像进行后处理。在908处的方法还可以包括输出(例如，输出以经由显示设备显示)经转换的第二图像。
这样，深度神经网络系统可用于将初始图像的样式转换为具有不同示例性图像的样式，同时仍保留初始图像的内容的目标图像。例如，可以将经由医学成像系统获取的第一图像(例如，超声图像)转换为第二图像，该第二图像包括第一图像的生理内容，同时具有示例性第三图像的样式(不同于第一图像)。图像的样式可以被定义为图像的视觉外观和特征。例如，从医学成像系统获得的医学图像可能具有某些视觉特征，这些视觉特征基于成像模态(例如MRI、CT、超声等)的类型、基于用于获取图像的硬件(例如，超声换能器的类型)，以及基于医学成像系统的程序设计而预定义。如上所述，没有一种简单的方法将获取的医学图像从一种样式(例如，成像模式/类型)转换到另一种样式(例如，成像模式/类型)。这样的转换不仅是传统的建模转换，而且还要求对用于需要图像的成像系统进行大量的程序重编，因为生成的图像的样式是系统的程序设计、系统的成像模态和/或用于获取用于生成图像的数据的系统部件(例如，超声探头)所固有的。通过使用神经网络系统将从医学成像系统获取的图像转换为其他样式，用户无需对医学成像系统进行程序重编(这可能会花费大量时间、金钱和精力)或者经由其他医学成像系统的不同成像模态重新获取图像即可获得具有期望样式的图像。此外，通过使用神经网络系统保留原始图像的内容，可以将采用新样式的图像仍用于医学诊断。因此，使用深度神经网络系统、基于第三图像的视觉特征将经由医学成像系统获取的第一图像转换为第二图像，并将转换后的第二图像呈现给用户的技术效果是获得用于诊断的采用期望样式的图像，而无需使用产生期望样式图像的不同成像系统重复获取图像或将当前成像系统进行完全程序重编；深度神经网络系统被配置为将图像的视觉特征与内容分离，其中第二图像包括第一图像的内容和第三图像的视觉特征，并且第一图像和第二图像具有不同的视觉特征。这样，可以节省大量的时间、精力和金钱，同时允许用户获得可以用于诊断的期望样式的医学图像。
作为一个实施方案，一种方法包括使用深度神经网络系统、基于第三图像的视觉特征将经由医学成像系统获取的第一图像转换为第二图像，所述深度神经网络系统被配置为将图像的视觉特征与内容分离，其中第二图像包括第一图像的内容和第三图像的视觉特征，并且第一图像和第二图像具有不同的视觉特征；并将转换后的第二图像呈现给用户。在该方法的第一实施例中，视觉特征由医学成像系统的图像处理程序设计和成像模态的类型预定义。该方法的第二实施例可选地包括第一实施例，并且还包括，其中转换第一图像包括将第一图像和第三图像中的每一者输入到深度神经网络系统中并从该深度神经网络系统输出第二图像。该方法的第三实施例可选地包括第一实施例和第二实施例中的一者或多者，并且还包括，其中深度神经网络系统包括配置为捕获第一图像的内容的第一深度神经网络，和配置为捕获第三图像的视觉特征的第二深度神经网络，并且其中所述转换包括将第一深度神经网络和第二深度神经网络的输出进行合并以合成第二图像。该方法的第四实施例可选地包括第一实施例至第三实施例中的一者或多者，并且还包括，其中所述转换还包括在第二图像的合成期间将损失函数最小化，该损失函数包含两个加权因子，一个加权因子用于内容，另一个加权因子用于视觉特征；并且该方法还包括，响应于接收到对这两个加权因子的选择，基于所选的两个加权因子来调整对合成的第二图像中表示的内容和视觉特征的强调。该方法的第五实施例可选地包括第一实施例至第四实施例中的一者或多者，并且还包括，其中第一神经网络是包括多个层的卷积神经网络，其中每个层包括配置为从输入图像提取特征并输出多个特征图的图像滤波器集合，单个层的每个特征图是输入图像的不同滤波版本。该方法的第六实施例可选地包括第一实施例至第五实施例中的一者或多者，并且还包括，其中第二神经网络构建在第一神经网络的特征图上，并且被配置为执行第一神经网络的多个层中的多个特征图之间的相关。该方法的第七实施例可选地包括第一实施例至第六实施例中的一者或多者，并且还包括，其中医学成像系统是超声成像系统。该方法的第八实施例可选地包括第一实施例至第七实施例中的一者或多者，并且还包括经由利用超声成像系统获取的图像数据来生成第一图像。该方法的第九实施例可选地包括第一实施例至第八实施例中的一者或多者，并且还包括，其中呈现转换后的第二图像包括经由与执行该转换的处理器进行电子通信的显示设备来显示转换后的第二图像。该方法的第十实施例可选地包括第一实施例至第九实施例中的一者或多者，并且还包括，其中显示转换后的第二图像包括在显示设备的同一用户界面显示上并行显示转换后的第二图像和第一图像。该方法的第十一实施例可选地包括第一实施例至第十实施例中的一者或多者，并且还包括经由显示设备显示具有不同视觉特征的多个示例性样式图像，所述多个示例性样式图像包括第三图像，以及经由与处理器进行电子通信的用户界面接收对第三图像的选择。
作为另一个实施方案，一种训练深度神经网络的方法包括经由神经网络系统将不是由医学成像模态获取的初始图像转换为目标图像，该神经网络系统被配置为将图像的视觉特征与内容分离，目标图像具有特定于医学成像模态的格式和视觉特征，初始图像的分辨率高于目标图像；训练深度神经网络将目标图像映射到初始图像；以及使用经训练的深度神经网络将利用医学成像模态的医学成像系统获取的第一图像转换为具有初始图像的更高分辨率的第二图像。在该方法的第一实施例中，初始图像是数字照片。该方法的第二实施例可选地包括第一实施例，并且还包括，其中医学成像模态是超声，并且第一图像是从利用超声成像系统获取的成像数据中生成的。该方法的第三实施例可选地包括第一实施例和第二实施例中的一者或多者，并且还包括，其中转换初始图像包括将初始图像和具有特定于医学成像模态的格式和视觉特征并且利用医学成像系统获取的示例性图像中的每一者输入神经网络系统，该神经网络系统包括两个神经网络，这两个神经网络被配置为生成具有示例性图像的格式和视觉特征以及初始图像的内容的图像。
作为另一个实施方案，一种系统包括：存储器，其存储包括两个深度神经网络的深度神经网络系统；以及处理器，其可通信地耦接到存储器并被配置为：经由将初始图像和所选的样式图像输入到深度神经网络系统中，将由医学成像系统获取的初始图像转换为目标图像，目标图像具有与所选的样式图像相同的样式和初始图像的内容，其样式由所选样式图像的视觉特征定义，所选样式图像的样式与初始图像的样式不同。在该系统的第一实施例中，处理器是医学成像系统的处理器，并且其中在医学成像会话期间实时地执行所述转换。该系统的第二实施例可选地包括第一实施例，并且还包括，其中第一神经网络是被配置为识别初始图像的内容并将其与初始图像的视觉特征分离的卷积神经网络，并且其中第二神经网络是在第一神经网络上构建并被配置为执行相关以便将来自所选样式图像的视觉特征与所选样式图像的内容分离。该系统的第三实施例可选地包括第一实施例和第二实施例中的一者或多者，并且还包括，其中视觉特征包括图像边界的平滑度、纹理、地图、大小、形状和/或颜色、特征边缘的平滑度、对比度、噪声水平、斑点数量和分辨率水平中的一者或多者，并且其中视觉特征是根据用于获取所选样式图像的系统的成像模态和成像处理程序设计来预先确定的。
如本文所用，以单数形式列举并且以单词“一个”或“一种”开头的元件或步骤应当被理解为不排除多个所述元件或步骤，除非明确说明此类排除。此外，对本发明的“一个实施方案”的引用不旨在被解释为排除也包含所引用特征的附加实施方案的存在。此外，除非明确地相反说明，否则“包含”、“包括”或“具有”具有特定特性的元件或多个元件的实施方案可包括不具有该特性的附加此类元件。术语“包括”和“在…中”用作相应术语“包含”和“其中”的通俗语言等同物。此外，术语“第一”、“第二”和“第三”等仅用作标记，而不旨在对其对象施加数字要求或特定位置次序。
该书面描述使用示例来公开本发明，包括最佳模式，并且还使相关领域中的普通技术人员能够实践本发明，包括制造和使用任何设备或系统以及执行任何包含的方法。本发明可取得专利权的范围由权利要求书限定，并且可包括本领域普通技术人员想到的其他示例。如果此类其它示例具有与权利要求书的字面语言没有区别的结构元素，或者如果它们包括与权利要求书的字面语言具有微小差别的等效结构元素，则此类其它示例旨在落入权利要求书的范围内。

Claims (20)

1.一种方法，包括：
使用深度神经网络系统、基于第三图像的视觉特征将经由医学成像系统获取的第一图像转换为第二图像，所述深度神经网络系统被配置为将图像的视觉特征与内容分离，其中所述第二图像包括所述第一图像的内容和所述第三图像的所述视觉特征，并且所述第一图像和所述第二图像具有不同的视觉特征；以及
将转换后的所述第二图像呈现给用户。
2.根据权利要求1所述的方法，其中所述视觉特征由所述医学成像系统的图像处理程序设计和成像模态的类型预定义。
3.根据权利要求1所述的方法，其中所述转换所述第一图像包括将所述第一图像和所述第三图像中的每一者输入到所述深度神经网络系统中并从所述深度神经网络系统输出所述第二图像。
4.根据权利要求1所述的方法，其中所述深度神经网络系统包括配置为捕获所述第一图像的所述内容的第一深度神经网络，以及配置为捕获所述第三图像的所述视觉特征的第二深度神经网络，并且其中所述转换包括将所述第一深度神经网络和所述第二深度神经网络的输出进行合并以合成所述第二图像。
5.根据权利要求4所述的方法，其中所述转换还包括在所述第二图像的合成期间将损失函数最小化，所述损失函数包含两个加权因子，一个加权因子用于内容，另一个加权因子用于视觉特征；并且所述方法还包括，响应于接收到对所述两个加权因子的选择，基于所选的所述两个加权因子来调整对合成的所述第二图像中表示的所述内容和所述视觉特征的强调。
6.根据权利要求4所述的方法，其中所述第一神经网络是包括多个层的卷积神经网络，其中每个层包括配置为从所述输入图像提取特征并输出多个特征图的图像滤波器集合，单个层的每个特征图是所述输入图像的不同滤波版本。
7.根据权利要求6所述的方法，其中所述第二神经网络构建在所述第一神经网络的所述特征图上，并且被配置为执行所述第一神经网络的所述多个层中的所述多个特征图之间的相关。
8.根据权利要求1所述的方法，其中所述医学成像系统为超声成像系统。
9.根据权利要求8所述的方法，还包括经由利用所述超声成像系统获取的图像数据来生成所述第一图像。
10.根据权利要求1所述的方法，其中呈现所述转换后的第二图像包括经由与执行所述转换的处理器进行电子通信的显示设备来显示所述转换后的第二图像。
11.根据权利要求10所述的方法，其中显示所述转换后的第二图像包括在所述显示设备的同一用户界面显示上并行显示所述转换后的第二图像和所述第一图像。
12.根据权利要求10所述的方法，还包括经由所述显示设备显示具有不同视觉特征的多个示例性样式图像，所述多个示例性样式图像包括所述第三图像，以及经由与所述处理器进行电子通信的用户界面接收对所述第三图像的选择。
13.一种训练深度神经网络的方法，所述方法包括：
经由神经网络系统将不是由医学成像模态获取的初始图像转换为目标图像，所述神经网络系统被配置为将图像的视觉特征与内容分离，所述目标图像具有特定于所述医学成像模态的格式和视觉特征，所述初始图像的分辨率高于所述目标图像；
训练所述深度神经网络以将所述目标图像映射到所述初始图像；以及
使用经训练的所述深度神经网络将利用所述医学成像模态的医学成像系统获取的第一图像转换为具有所述初始图像的更高分辨率的第二图像。
14.根据权利要求13所述的方法，其中所述初始图像为数字照片。
15.根据权利要求13所述的方法，其中所述医学成像模态是超声，并且所述第一图像是从利用超声成像系统获取的成像数据中生成的。
16.根据权利要求13所述的方法，其中转换所述初始图像包括将所述初始图像和具有特定于所述医学成像模态的格式和视觉特征并且利用所述医学成像系统获取的示例性图像中的每一者输入所述神经网络系统，所述神经网络系统包括两个神经网络，所述两个神经网络被配置为生成具有所述示例性图像的所述格式和所述视觉特征以及所述初始图像的内容的图像。
17.一种系统，包括：
存储器，所述存储器存储包括两个深度神经网络的深度神经网络系统；和
处理器，所述处理器可通信地耦接到所述存储器并且被配置为：
经由将由医学成像系统获取的初始图像和所选的样式图像输入到所述深度神经网络系统中，将所述初始图像转换为目标图像，所述目标图像具有与所述所选样式图像相同的样式和所述初始图像的内容，所述样式由所述所选样式图像的视觉特征定义，所述所选样式图像的所述样式与所述初始图像的样式不同。
18.根据权利要求17所述的系统，其中所述处理器是所述医学成像系统的处理器，并且其中在医学成像会话期间实时地执行所述转换。
19.根据权利要求17所述的系统，其中所述第一神经网络是被配置为识别所述初始图像的所述内容并将所述内容与所述初始图像的视觉特征分离的卷积神经网络，并且其中所述第二神经网络是在所述第一神经网络上构建并被配置为执行相关以便将来自所述所选样式图像的所述视觉特征与所述所选样式图像的所述内容分离。
20.根据权利要求17所述的系统，其中所述视觉特征包括图像边界的平滑度、纹理、地图、大小、形状和/或颜色、特征边缘的平滑度、对比度、噪声水平、斑点数量和分辨率水平中的一者或多者，并且其中所述视觉特征是根据用于获取所述所选样式图像的系统的成像模态和成像处理程序设计来预先确定的。
CN201911268025.9A 2018-12-19 2019-12-11 利用深度神经网络将医学图像转换为不同样式图像的方法和系统 Active CN111340682B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/225,962 US11354791B2 (en) 2018-12-19 2018-12-19 Methods and system for transforming medical images into different styled images with deep neural networks
US16/225,962 2018-12-19

Publications (2)

Publication Number Publication Date
CN111340682A true CN111340682A (zh) 2020-06-26
CN111340682B CN111340682B (zh) 2023-12-05

Family

ID=71098601

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911268025.9A Active CN111340682B (zh) 2018-12-19 2019-12-11 利用深度神经网络将医学图像转换为不同样式图像的方法和系统

Country Status (2)

Country Link
US (1) US11354791B2 (zh)
CN (1) CN111340682B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111915701A (zh) * 2020-08-17 2020-11-10 腾讯科技（上海）有限公司 一种基于人工智能的按钮图像生成方法和装置
CN112927318A (zh) * 2021-02-22 2021-06-08 明峰医疗系统股份有限公司 低剂量pet图像的降噪重建方法及计算机可读存储介质
WO2023202283A1 (zh) * 2022-04-22 2023-10-26 腾讯科技（深圳）有限公司 图像生成模型的训练方法、图像生成方法、装置及设备

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102548718B1 (ko) * 2017-06-07 2023-06-28 삼성전자주식회사 전자 장치 및 그 제어 방법
CN111583165B (zh) * 2019-02-19 2023-08-08 京东方科技集团股份有限公司 图像处理方法、装置、设备及存储介质
US11024013B2 (en) * 2019-03-08 2021-06-01 International Business Machines Corporation Neural network based enhancement of intensity images
CN112102423A (zh) * 2019-06-17 2020-12-18 通用电气精准医疗有限责任公司 医学成像方法及系统
US11476004B2 (en) * 2019-10-11 2022-10-18 Hualien Armed Forces General Hospital System capable of establishing model for cardiac ventricular hypertrophy screening
KR102623148B1 (ko) * 2019-10-15 2024-01-11 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
US11145042B2 (en) * 2019-11-12 2021-10-12 Palo Alto Research Center Incorporated Using convolutional neural network style transfer to automate graphic design creation
KR20210062477A (ko) * 2019-11-21 2021-05-31 삼성전자주식회사 전자 장치 및 그 제어 방법
US11080833B2 (en) * 2019-11-22 2021-08-03 Adobe Inc. Image manipulation using deep learning techniques in a patch matching operation
US11790492B1 (en) * 2019-12-18 2023-10-17 Thales Sa Method of and system for customized image denoising with model interpretations
US11080834B2 (en) * 2019-12-26 2021-08-03 Ping An Technology (Shenzhen) Co., Ltd. Image processing method and electronic device
CN114981836A (zh) * 2020-01-23 2022-08-30 三星电子株式会社 电子设备和电子设备的控制方法
JP7469738B2 (ja) * 2020-03-30 2024-04-17 ブラザー工業株式会社 学習済みの機械学習モデル、および、画像生成装置、機械学習モデルのトレーニング方法
CN113628158A (zh) * 2020-05-08 2021-11-09 通用电气精准医疗有限责任公司 用于利用生成模型来管理图像质量的方法和系统
US11631202B2 (en) 2021-01-08 2023-04-18 Samsung Electronics Co., Ltd. System and method for obtaining and applying a vignette filter and grain layer
CN113256750B (zh) * 2021-05-26 2023-06-23 武汉中科医疗科技工业技术研究院有限公司 医疗图像风格重建方法、装置、计算机设备和存储介质
CN115965567A (zh) * 2021-10-11 2023-04-14 中国科学院深圳先进技术研究院 图像生成模型训练及图像生成方法、装置、设备和介质
US11989916B2 (en) * 2021-10-11 2024-05-21 Kyocera Document Solutions Inc. Retro-to-modern grayscale image translation for preprocessing and data preparation of colorization
CN113780483B (zh) * 2021-11-12 2022-01-28 首都医科大学附属北京潞河医院 结节超声分类数据处理方法及数据处理系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040008900A1 (en) * 2002-07-12 2004-01-15 Jabri Kadri N. System and method for efficiently customizing an imaging system
US20100246981A1 (en) * 2009-03-30 2010-09-30 Xiao Hu PACS Optimization Techniques
CN106651750A (zh) * 2015-07-22 2017-05-10 美国西门子医疗解决公司 用于基于卷积神经网络回归的2d/3d图像配准的方法和系统
CN107171932A (zh) * 2017-04-27 2017-09-15 腾讯科技（深圳）有限公司 一种图片风格转换方法、装置及系统
CN107369189A (zh) * 2017-07-21 2017-11-21 成都信息工程大学 基于特征损失的医学图像超分辨率重建方法
CN107403446A (zh) * 2016-05-18 2017-11-28 西门子保健有限责任公司 用于使用智能人工代理的图像配准的方法和系统
CN107767328A (zh) * 2017-10-13 2018-03-06 上海交通大学 基于少量样本生成的任意风格和内容的迁移方法和系统
US20180082407A1 (en) * 2016-09-22 2018-03-22 Apple Inc. Style transfer-based image content correction
US20180158224A1 (en) * 2015-07-31 2018-06-07 Eberhard Karls Universitaet Tuebingen Method and device for image synthesis
WO2018111786A1 (en) * 2016-12-16 2018-06-21 Microsoft Technology Licensing, Llc Image stylization based on learning network
US20180357800A1 (en) * 2017-06-09 2018-12-13 Adobe Systems Incorporated Multimodal style-transfer network for applying style features from multi-resolution style exemplars to input images

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9730643B2 (en) * 2013-10-17 2017-08-15 Siemens Healthcare Gmbh Method and system for anatomical object detection using marginal space deep neural networks
JP6761128B2 (ja) * 2016-09-06 2020-09-23 エレクタ、インク.Elekta, Inc. 合成医療画像を生成するためのニューラルネットワーク
US10536164B2 (en) * 2017-11-17 2020-01-14 Adobe Inc. Adapting image vectorization operations using machine learning
US10482600B2 (en) * 2018-01-16 2019-11-19 Siemens Healthcare Gmbh Cross-domain image analysis and cross-domain image synthesis using deep image-to-image networks and adversarial networks
US10580137B2 (en) * 2018-01-30 2020-03-03 International Business Machines Corporation Systems and methods for detecting an indication of malignancy in a sequence of anatomical images
US20190362226A1 (en) * 2018-05-23 2019-11-28 International Business Machines Corporation Facilitate Transfer Learning Through Image Transformation
CN112313668A (zh) * 2018-06-15 2021-02-02 深透医疗公司 使用深度学习进行磁共振成像标准化的系统和方法
US10635943B1 (en) * 2018-08-07 2020-04-28 General Electric Company Systems and methods for noise reduction in medical images with deep neural networks

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040008900A1 (en) * 2002-07-12 2004-01-15 Jabri Kadri N. System and method for efficiently customizing an imaging system
US20100246981A1 (en) * 2009-03-30 2010-09-30 Xiao Hu PACS Optimization Techniques
CN106651750A (zh) * 2015-07-22 2017-05-10 美国西门子医疗解决公司 用于基于卷积神经网络回归的2d/3d图像配准的方法和系统
US20180158224A1 (en) * 2015-07-31 2018-06-07 Eberhard Karls Universitaet Tuebingen Method and device for image synthesis
CN107403446A (zh) * 2016-05-18 2017-11-28 西门子保健有限责任公司 用于使用智能人工代理的图像配准的方法和系统
US20180082407A1 (en) * 2016-09-22 2018-03-22 Apple Inc. Style transfer-based image content correction
WO2018111786A1 (en) * 2016-12-16 2018-06-21 Microsoft Technology Licensing, Llc Image stylization based on learning network
CN108205813A (zh) * 2016-12-16 2018-06-26 微软技术许可有限责任公司 基于学习网络的图像风格化
CN107171932A (zh) * 2017-04-27 2017-09-15 腾讯科技（深圳）有限公司 一种图片风格转换方法、装置及系统
US20180357800A1 (en) * 2017-06-09 2018-12-13 Adobe Systems Incorporated Multimodal style-transfer network for applying style features from multi-resolution style exemplars to input images
CN107369189A (zh) * 2017-07-21 2017-11-21 成都信息工程大学 基于特征损失的医学图像超分辨率重建方法
CN107767328A (zh) * 2017-10-13 2018-03-06 上海交通大学 基于少量样本生成的任意风格和内容的迁移方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"A neural Algorithm of Artistic Style", pages 1 - 16 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111915701A (zh) * 2020-08-17 2020-11-10 腾讯科技（上海）有限公司 一种基于人工智能的按钮图像生成方法和装置
CN111915701B (zh) * 2020-08-17 2023-08-22 腾讯科技（上海）有限公司 一种基于人工智能的按钮图像生成方法和装置
CN112927318A (zh) * 2021-02-22 2021-06-08 明峰医疗系统股份有限公司 低剂量pet图像的降噪重建方法及计算机可读存储介质
WO2023202283A1 (zh) * 2022-04-22 2023-10-26 腾讯科技（深圳）有限公司 图像生成模型的训练方法、图像生成方法、装置及设备

Also Published As

Publication number Publication date
US11354791B2 (en) 2022-06-07
US20200202502A1 (en) 2020-06-25
CN111340682B (zh) 2023-12-05

Similar Documents

Publication Publication Date Title
CN111340682B (zh) 利用深度神经网络将医学图像转换为不同样式图像的方法和系统
US11806189B2 (en) Three-dimensional segmentation from two-dimensional intracardiac echocardiography imaging
CN109923554B (zh) 图像处理
CN107909622B (zh) 模型生成方法、医学成像的扫描规划方法及医学成像系统
CN112469340A (zh) 具有用于引导式肝成像的人工神经网络的超声系统
US9179890B2 (en) Model-based positioning for intracardiac echocardiography volume stitching
CN111771138A (zh) 具有用于根据欠采样超声数据产生图像的神经网络的超声系统
CN108720807B (zh) 用于模型驱动的多模态医疗成像方法和系统
CN109102532A (zh) 用于医学成像的深度学习的组织变形
CN102934126A (zh) 放射摄影图像中的微钙化检测和分级
WO2014134188A1 (en) Systems and methods for ultrasound imaging
US20210077060A1 (en) System and methods for interventional ultrasound imaging
CN111345847B (zh) 基于组织密度管理波束成形参数的方法和系统
US11712224B2 (en) Method and systems for context awareness enabled ultrasound scanning
US20220370033A1 (en) Three-dimensional modeling and assessment of cardiac tissue
CN107427279A (zh) 使用具有用户控制的心脏模型腔室的心脏功能的超声诊断
CN111354006A (zh) 超声图像中目标组织的描迹方法及装置
CN113272869A (zh) 医学成像中从定位片进行三维形状重构
CN112955934A (zh) 识别医学图像中的介入设备
CN114902288A (zh) 利用基于解剖结构的三维(3d)模型切割进行三维(3d)打印的方法和系统
CN111820948B (zh) 胎儿生长参数测量方法、系统及超声设备
US20210100530A1 (en) Methods and systems for diagnosing tendon damage via ultrasound imaging
US20240062498A1 (en) Systems and methods for rendering models based on medical imaging data
JP7427002B2 (ja) フレームのインデックス付け及び画像レビューのためのシステム及び方法
US20230281837A1 (en) Method and system for registering images acquired with different modalities for generating fusion images from registered images acquired with different modalities

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant