CN112957074A - 利用人工智能网络的超声图像识别系统和方法 - Google Patents

利用人工智能网络的超声图像识别系统和方法 Download PDF

Info

Publication number
CN112957074A
CN112957074A CN202110360186.1A CN202110360186A CN112957074A CN 112957074 A CN112957074 A CN 112957074A CN 202110360186 A CN202110360186 A CN 202110360186A CN 112957074 A CN112957074 A CN 112957074A
Authority
CN
China
Prior art keywords
ultrasound
ultrasound image
training
image
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110360186.1A
Other languages
English (en)
Inventor
N·帕古拉托斯
R·派卢尔
K·古德温
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
EchoNous Inc
Original Assignee
EchoNous Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by EchoNous Inc filed Critical EchoNous Inc
Publication of CN112957074A publication Critical patent/CN112957074A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/469—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/56—Details of data transmission or power supply
    • A61B8/565—Details of data transmission or power supply involving data transmission via a network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Abstract

提供了超声图像识别系统和方法，以及用于这种系统和方法的人工智能训练网络。超声数据信息系统包括超声图像识别训练网络，其被配置为接收超声训练图像并基于所接收的超声训练图像来开发超声图像知识。超声成像装置获取患者的超声图像，并且该装置包括超声图像识别模块。超声图像识别模块被配置为接收超声图像知识，从超声成像装置接收所获取的超声图像，并基于超声图像知识确定所接收的超声图像是否表示器官的临床期望视图或该临床期望视图是指示正常功能还是特定病理。接收的超声图像被发送到超声图像识别训练网络，以进一步训练和开发更新的超声图像知识。

Description

利用人工智能网络的超声图像识别系统和方法
本申请是于2017年3月9日提交的、申请号为201780024170.5、发明名称为“利用人工智能网络的超声图像识别系统和方法”的中国发明专利申请的分案申请。
相关申请的交叉引用
本申请基于35U.S.C第119(e)条要求2016年3月9日提交的美国临时申请62/305,980和2016年3月25日提交的美国临时申请62/313,601的权利，这些申请的全部内容在此参考并入。
技术领域
本公开大致涉及超声成像系统和方法，并且具体涉及用于超声成像和超声图像评估的基于人工智能的网络，以及用于确定采集的超声图像是否表示患者的一个或多个器官的临床期望视图的系统和方法。
背景技术
超声成像通常由训练有素的超声专家在临床环境中进行。对于诊断超声成像，器官或其他组织或身体特征(例如流体、骨骼、关节等)的特定视图在临床上是十分重要的。这些视图可以是由临床标准规定的应由超声技术人员根据目标器官、诊断目的等捕获的视图。超声技术人员通常需要专门的训练以正确地操作超声成像装置，并且识别所获取的患者的器官或其他组织或身体特征的图像或视图何时充分表示了临床期望视图。尽管如此，由超声技术人员捕获的超声图像通常由医师检查以确定所捕获的图像是否充分表示了临床期望的或标准的视图。
虽然传统的超声成像系统可适用于医院或类似临床环境中的大多数患者，但是这种系统需要大量训练来操作并充分捕获临床期望视图。这增加了这种超声成像的总成本并且进一步限制了患者对超声成像的可用性，因为只有训练有素的专业人员才能正确地操作传统的超声成像装置。
发明内容
本公开提供了有助于超声图像识别的超声系统和方法。特别地，超声系统和方法可操作以确定由超声成像装置获取的超声图像是否对应于患者中的一个或多个器官或组织或身体特征的已知的临床期望视图。在超声图像识别模块中采用人工智能方法来对由超声成像装置捕获的超声图像进行确定。
在一个实施例中，提供了一种超声系统，其包括超声成像装置和超声图像识别模块。超声成像装置被配置为获取患者的超声图像。超声图像识别模块被配置为从超声成像装置接收所获取的超声图像，并确定所接收的超声图像是否表示器官或其他身体特征的临床期望视图。之后可以向用户提供正面或负面的反馈，以指示是否已经捕获临床期望视图，例如通过视觉或听觉提示。为了帮助系统确定是否已捕获临床期望视图，用户可在图像捕获过程之前或期间识别用户期望捕获的特定图像透视图或视图，然后系统可使用该输入来帮助确定是否已经捕获了所需的视图。
在另一个实施例中，提供了一种方法，包括通过超声成像装置获取患者的一个或多个超声图像；将获取的患者的超声图像发送到超声图像识别模块；并且，通过超声图像识别模块确定所获取的超声图像是否表示器官或其他身体特征的临床期望视图。
在另一实施例中，提供了一种超声系统，其包括超声成像装置，其被配置为获取患者的超声图像；以及超声图像识别装置，其用于确定所获取的超声图像是否表示器官或其他身体特征的临床期望视图。
本公开还提供了超声数据信息系统和方法，其有助于超声图像识别以达到超声图像获取和解释的目的。特别地，超声数据信息系统和方法可操作以在图像采集的情况下，确定由超声成像装置获取的超声图像是否对应于一个或多个器官或组织或身体特征的已知的临床期望视图，或者在图像解释的情况下，确定超声成像装置获取的超声图像是否指示某些病理或正常功能。人工智能方法用于中央人工智能(AI)超声图像识别训练网络，其被训练以识别和/或做出关于患者的超声图像的确定。AI训练网络和/或由AI训练网络开发的知识可以被提供给位于任何地方的多个超声成像装置并由其实施。利用由AI训练网络开发的超声图像知识，超声成像装置因此可以获取患者的图像并且确定例如所获取的图像是否表示临床期望视图中的一个或多个。然后，由超声成像装置获取的超声图像可以作为训练输入信息被发送回AI训练网络，从而进一步训练AI训练网络并开发进一步和/或精确的超声图像知识。
超声成像装置可以从AI训练网络接收周期性的更新(例如每月、每周、每天或更频繁等)，从而接收存储在AI训练网络中的具有每次更新的最近开发的超声图像知识。
在至少一个实施例中，提供了一种超声数据信息系统，其包括至少部分地存储在具有一个或多个处理器的计算机装置上的超声图像识别训练网络，超声图像识别训练网络被配置为接收超声训练图像并基于所接收的超声训练图像来开发超声图像知识。超声数据信息系统还包括被配置为获取患者的超声图像的超声成像装置，以及超声成像装置内的超声图像识别模块。超声图像识别模块被配置为接收超声图像知识、从超声成像装置接收所获取的超声图像，并基于超声图像知识确定所接收的超声图像是否表示器官的临床期望视图或某些病理学。
在另一实施例中，本公开提供了一种方法，该方法包括通过超声图像识别训练网络接收超声训练图像。该方法还包括由超声图像识别训练网络基于所接收的超声训练图像生成超声图像知识，以及将超声图像知识发送到与超声图像识别训练网络分开并远离超声图像识别训练网络的超声成像装置。因此，超声成像装置可以获取患者的超声图像，并且基于超声图像知识确定所获取的超声图像是否表示器官的临床期望视图。
附图说明
图1是示出根据本公开的一个或多个实施例的超声图像识别系统的框图；
图2是示出根据本公开的一个或多个实施例的超声图像识别模块的训练的框图；
图3是示出根据本公开的一个或多个实施例的神经网络的框图，可以由超声图像识别模块实施该神经网络；
图4是根据本公开的一个或多个实施例的超声成像装置的示意图；
图5是根据本公开的一个或多个实施例的超声图像识别方法的流程图；
图6是示出根据本公开的一个或多个实施例的超声数据信息系统的框图；
图7是示出根据本公开的一个或多个实施例的超声成像装置的框图；
图8是示出根据本公开的一个或多个实施例的人工智能超声图像识别训练网络的训练的框图；以及
图9是示出根据本公开的一个或多个实施例的超声图像识别方法的流程图。
具体实施方式
本公开提供了超声图像识别系统和方法的若干实施例。本文提供的系统和方法对于由初学者超声技术人员执行的超声成像和/或利用可以部署在非传统临床环境中的手持或移动超声成像装置的超声成像特别有用。利用人工智能方法，本文提供的系统和方法能够确定所获取的超声图像是否准确地描绘或表示患者的器官或患者的其他组织、特征或感兴趣区域的期望视图。然后，这些系统还可以向用户提供反馈，以指示是否已经捕获了患者器官或其他组织或特征的期望视图。可替代地或另外地，这些系统可以接受来自用户的关于用户期望捕获的患者器官的特定视图的输入。另外，系统可以引导用户尝试按顺序捕获特定解剖结构的一个或多个特定视图，并且向用户确认是否已经捕获了一个或多个期望视图。
本公开还提供了用于超声成像的人工智能网络系统和方法的若干实施例。本文提供的人工智能系统和方法对于由各种技术水平的超声技术人员执行的超声成像和/或利用可以部署在非传统临床环境中的手持或移动超声成像装置进行超声成像特别有用。利用人工智能方法，本文提供的系统和方法能够确定(i)获取的超声图像是否准确地或基本上准确地描绘或表示、或者没有准确地或基本上准确地描绘或表示期望的结构和/或解剖的视图，包括例如患者的器官，或患者的其他组织、特征或感兴趣的区域，以及(ii)表示解剖的临床期望视图的获取图像是否指示正常功能或特定病理。例如，基于所获取的超声图像被确定为基本上准确地描绘或表示心脏的特定视图，人工智能方法可以进一步指出心脏中的二尖瓣的特定问题。
人工智能超声图像识别训练网络(“AI训练网络”)可以是基于云的或分布式的计算网络，并且可以由大量超声成像装置访问。可以使用表示已知或临床确定的视图的大量超声图像来训练AI训练网络，并且在这些视图内超声图像可以表示正常或病理功能。通过训练过程，AI训练网络的参数被优化以识别结构的各种视图，例如器官、组织或患者感兴趣的任何区域以及各种正常和病理状况。AI训练网络和/或网络参数(例如，由AI训练网络经由训练过程学习的任何知识)可以由超声成像装置下载和实施，以便对获得的超声图像进行识别、解释和/或对获得的超声图像做出确定。因此，不需要单独训练超声成像装置(这是计算密集型过程)。由超声成像装置获取的超声图像可以被发送回AI训练网络，以作为训练输入进一步训练AI训练网络。
图1示出了根据本公开的实施例的超声系统100的框图。如图1所示，超声系统100包括超声成像装置110、通信网络102、超声图像识别模块120和图像知识数据库122。这些中的每一个均可以合并到单个超声装置中，例如手持或便携式装置，或者可以构成可操作地彼此连接或可连接的多个装置。
超声成像装置110是可操作以获取患者的超声图像的任何超声装置，可以是例如手持式超声成像装置。超声成像装置110可以包括显示器112、存储器114、一个或多个处理器116。超声成像装置110被可操作地耦接到超声探针118。
存储器114可以是或包括任何计算机可读存储介质，包括例如只读存储器(ROM)、随机存取存储器(RAM)、闪存、硬盘驱动器、光存储装置、磁存储装置、电可擦除可编程只读存储器(EEPROM)、有机存储介质等。
处理器116可以是可操作以执行指令(例如，存储在存储器114中)以执行如本文所述的超声成像装置110的功能的任何计算机处理器。
超声探针118由超声成像装置110驱动，以向患者的目标区域发送信号，并且响应于发送的信号接收从目标区域返回的回波信号。在操作中，超声装置110的用户可以手持探针118以在一个位置和角度处靠着患者身体以获取期望的超声图像。由探针接收的信号(即，回波信号)被传送到超声成像装置110，并且可以形成或被处理以形成患者的目标区域的超声图像。此外，可以将超声图像提供给显示器112，显示器112可以向用户显示超声图像和/或任何其他相关信息。
由超声成像装置110如此获取的超声图像可以经由通信网络102被提供给超声图像识别模块120。来自超声成像装置110的超声图像被提供给超声图像识别模块120，如参考数字101所示。通信网络102可以利用一个或多个协议经由一个或多个物理网络进行通信，物理网络包括局域网、无线网络、专用线路、内联网、因特网等。
在一个或多个实施例中，超声图像识别模块120可以被设置在超声成像装置110内，或者超声图像识别模块120的本地副本和/或存储在图像知识数据库122中的超声知识可以被包括在超声成像装置110内，其中超声成像装置110可访问远程定位的(例如，存储在一个或多个服务器计算机上，或在“云”中)超声图像识别模块120，例如用于接收更新的超声图像识别算法和/或知识。
超声图像识别模块120接收从超声成像装置110获取的超声图像，并确定所接收的超声图像中的一个或多个是否表示患者的器官或其他方面、区域或特征的临床期望视图。超声图像识别模块120可以由采用从图像知识数据库122中提取的人工智能的任何计算智能系统实施，以确定所接收的超声图像是否表示临床期望视图。由超声图像识别模块做出的本文描述的一些或所有确定可以由超声图像识别模块120自动执行，例如，响应于接收所获取的超声图像。
“人工智能”在本文中用于广义地描述可以学习知识(例如，基于训练数据)且使用这些学习的知识来调整用于解决一个或多个问题的方法的任何计算智能系统和方法。人工智能机器可以采用例如神经网络、深度学习、卷积神经网络和贝叶斯程序学习技术来解决例如图像识别之类的问题。此外，人工智能可以包括以下计算技术中的任何一个或组合：约束程序、模糊逻辑、分类、常规人工智能、符号操作、模糊集理论、进化计算、控制论、数据挖掘、近似推理、无导数优化、决策树和/或软计算。采用一种或多种计算智能技术，超声图像识别模块120可以学习适应未知和/或变化的环境以获得更好的性能。
图像知识数据库122可以包括各种信息，其有助于超声图像识别模块120对于接收的超声图像进行图像分析。特别地，图像知识数据库122可以包括与各种器官的各种图像视图有关的信息。例如，图像知识数据库122可以包括与心脏的临床标准或期望视图相关联的信息。心脏的临床标准视图可以包括，例如，胸骨上、肋下、短轴和长轴胸骨旁、心尖两腔、心尖三腔、心尖四腔和心尖五腔的视图。另外，与临床标准视图相关联的信息可以是与三维视图、二维横截面视图和/或一组二维横截面视图相关联的信息。图像知识数据库122可以被存储在超声图像识别模块120可访问的任何计算机可读存储介质中。
超声图像识别模块120可以包括计算机处理器，或者由计算机处理器执行，该计算机处理器被配置为执行本文描述的各种功能和操作。例如，超声图像识别模块120可以由通用计算机或由存储的计算机程序选择性地激活或重新配置的数据处理器执行，或者可以是用于执行本文描述的特征和操作的专门构造的计算平台。
图2是示出根据一个或多个实施例的超声图像识别模块120的训练的框图。可以基于训练图像210训练超声图像识别模块120。训练图像210可以包括任何超声图像信息。例如，训练图像210可以包括与器官(例如心脏)的已知视图相关联的各种超声图像信息。作为另一个例子，训练图像210可以是例如心脏的胸骨上视图的临床期望图像。在这种情况下，训练图像210可以是已经预先确定(例如，由医生)成能充分显示心脏的临床期望的胸骨上视图的超声图像。每个这样的训练图像210可以具有略微不同的特征(例如，更高质量的图像、更低质量的图像、模糊的图像、以稍微不同的角度拍摄的图像等)，但是每个这样的训练图像210可以被预先确定为充分地表示心脏的临床期望视图。
此外，训练图像210不仅可以包括与临床上标准或期望的视图相关联的图像信息，还可以包括与非临床期望视图相关联的图像信息。因此，超声识别模块120可以接收例如不表示任何特定临床期望视图的心脏视图(例如，胸骨上、肋下、短轴和长轴胸骨旁、心尖两腔、心尖三腔、心尖四腔、心尖五腔)。在这种情况下，超声识别模块120可以将图像识别为心脏的视图，并且可以进一步将图像识别为在例如心尖两腔视图和心尖三腔视图之间的某处的图像。临床标准的心尖三腔视图通常可通过例如相对于心尖两腔视图将超声成像探针逆时针旋转约60°来获得。用探针以相对于心尖两腔视图逆时针在例如5°和55°之间的某个旋转角度获得的超声图像可以被确定为不表示心脏的临床期望视图。然而，超声图像识别模块120可以用训练图像210训练，以示出心脏的各种已知但非临床期望视图(例如在心尖两腔和心尖三腔视图之间的某处的视图)，因此可以识别这样的视图(例如，超声图像识别模块120可以识别表示探针118相对于心尖两腔视图的逆时针旋转35°的示图)。
可以进一步向超声图像识别模块120提供其他训练输入220以进行训练。其他训练输入220可以包括例如手动输入的输入，以通过训练过程调整或以其他方式管理在图像识别模块120中开发的图像识别模型。
使用训练图像210，超声图像识别模块120可以实施迭代训练过程。训练可以基于各种学习规则或训练算法。例如，学习规则可以包括以下中的一个或多个：反向传播、实时递归学习、逐模式学习、监督学习、插值、加权和、强化学习、时间差异学习、无监督学习和/或记录学习。
反向传播学习算法是训练人工神经网络的常用方法(并且可以例如与图3中所示的人工神经网络300一起使用)。反向传播通常包括两个阶段：传播和权重更新。在传播阶段，训练模式的输入通过神经网络向前传播，以生成传播的输出激活。然后，使用训练模式目标，传播的输出激活通过神经网络向后传播，以便产生所有输出和隐藏神经元的增量(即，输入和输出值之间的差值)。在权重更新阶段，对于每个权重—突触，通常执行以下步骤：1.将其输出增量和输入激活相乘以获得权重的梯度；2.从权重中减去梯度的比率(百分比)。根据需要重复传播和权重更新阶段，直到网络的性能令人满意。
作为训练的结果，超声图像识别模块120可以学习响应于训练图像210来修改其行为，并获得或生成超声图像知识230。超声图像知识230可以表示任何信息，通过这些信息超声图像识别模块120可以确定对新数据或情况的适当的响应。具体地，超声图像知识230表示超声图像与器官的一个或多个视图之间的关系(例如，基于与图3中所示的示例神经网络相关的超声图像参数、系数、加权信息、参数或任何这样的变量来描述器官的一个或多个视图的一个或多个函数)。超声图像知识230可以存储在超声图像知识数据库122中。
基于训练图像210，超声图像识别模块120可以学习修改其行为，并且可以应用包括在图像知识数据库122中的知识来改变其对新输入(例如，从超声成像装置110接收的超声图像信息)做出确定的方式。
图3是示出根据一个或多个实施例的可以由超声图像识别模块120实施的人工神经网络300的示例的框图。人工神经网络(ANN)是用于估计的人工智能模型，或是取决于大量输入近似函数，且通常未知的。这种神经网络通常包括由互连的彼此之间交换信息的“神经元”组成的系统。这些连接具有可以基于经验调整的数字权重，因此神经网络适应于输入并且能够学习。
图3中所示的人工神经网络300包括三层：包括输入神经元i1到i3的输入层310，包括隐藏层神经元h1到h4的隐藏层320，以及包括输出神经元f1和f2的输出层330。尽管图3的神经网络300被示出具有三层，但是应当容易理解的是，可以根据需要在神经网络300中包括其他层，以达到超声图像识别模块120的最佳训练和性能。类似地，每层中的神经元是出于示例性目的而示出，并且应该容易理解的是，每层可以包括比图3中所示更多，甚至多很多的神经元。
可以通过向输入层310提供训练图像210来训练神经网络300。如关于图2所描述的，训练图像可以包括具有各种已知特征的超声图像信息，包括例如各种器官视图、各种图像质量或特性、各种成像角度等。通过训练，神经网络300可以生成和/或修改隐藏层320，隐藏层320表示将在输入层310处提供的训练图像210映射到输出层330处的已知输出信息(例如，心脏的肋下视图、胸骨上视图等的图像分类)的加权连接。通过训练过程形成的输入层310、隐藏层320和输出层330的神经元之间的关系(可以包括权重连接关系)通常称为“超声图像知识”，并且可以被存储在例如超声图像知识数据库122中。
一旦神经网络300已经被充分训练，神经网络300可以在输入层310处被提供非训练超声图像(即，利用超声成像装置110拍摄的患者的超声图像)。利用存储在超声图像知识数据库122中的超声图像知识(其可以包括例如神经网络300的神经元之间的加权连接信息)，神经网络300可以在输出层330处做出关于所接收的超声图像信息的确定。例如，神经网络300可以确定所接收的超声图像是否表示器官的一个或多个临床期望视图。
采用人工智能来对接收的超声图像信息进行确定的超声图像识别模块120的各种可能实施方式中，图3的神经网络300仅作为一个示例被提供。例如，超声图像识别模块120可以实施神经网络、深度学习、卷积神经网络和贝叶斯程序学习技术中的任何一种，以对接收到的患者的超声图像进行确定。
此外，可以利用各种训练图像210和/或训练图像210的各种序列来训练超声识别模块120，以做出与接收的超声图像信息有关的各种确定。例如，超声识别模块120可以被训练或以其他方式配置为确定接收的超声图像是否表示一个或多个临床标准或期望视图。此外，超声识别模块120可以确定所接收的超声图像是否表示非临床期望视图(并且可以将这种非临床期望视图识别为患者体内特定器官或其他组织的特定视图或角度)，以及可以进一步基于所接收的超声图像的序列确定图像是否接近或移动远离临床上期望的器官视图。基于其识别图像是否接近或移动远离临床上期望的器官视图，和/或识别其捕获的实际图像，然后系统可以被配置为向用户提供反馈，例如，通过指示用户可能希望移动探针的方向和/或用户可能希望使探针倾斜的旋转角度或方向，以帮助用户捕获器官的期望视图。
例如，如上所述，超声图像识别模块120可以用训练图像210来训练，训练图像210示出心脏的各种已知但非临床期望的视图(例如心尖两腔和心尖三腔之间某处的视图)。因此可以识别这样的视图(例如，超声图像识别模块120可以将视图识别为表示探针118相对于心尖两腔视图的逆时针旋转35°)。此外，超声图像识别模块120可以用一系列心脏的已识别但非临床标准或期望的视图来进行训练。例如，可以训练超声图像识别模块120以识别超声图像，该超声图像示出了相对于心尖两腔视图在0°和60°之间逆时针旋转的每个角度的心脏视图(即，心尖两腔和心尖三腔视图之间的每个度数)。此外，可以训练超声图像识别模块120以识别朝向和/或远离临床期望视图的这种非临床期望视图的序列或发展(例如，训练图像210可以包括一系列超声图像，其表示探针118从心尖两腔视图朝向和/或远离心尖三腔旋转)。因此，可以训练超声图像识别模块120以识别所接收的超声图像虽然不代表特定的临床期望视图，但是可以连续地更接近(或移动远离)临床期望视图。
此外，可以训练超声图像识别模块120，使得超声图像识别模块120可以确定所接收的超声图像是否表示器官的多个临床期望视图中的任何一个。器官的这种临床期望视图可包括，例如，心脏的胸骨上、肋下、短轴和长轴胸骨旁、心尖两腔、心尖三腔、心尖四腔、心尖五腔视图。
再次参考图1，如下文进一步详细描述的，超声图像识别模块120可以向超声成像装置110提供反馈信号(由参考数字103指示)。响应于超声图像识别模块120对接收的超声图像做出的确定来提供反馈信号103。
图4示意性地示出了根据一个或多个实施例的超声成像装置110。超声成像装置110可以包括显示器112、包括一个或多个输入元件412的用户界面410、一个或多个视觉反馈元件420、听觉反馈元件430和/或触觉反馈元件440。
用户界面410允许用户控制或以其他方式与超声成像装置110通信。例如，可以经由用户输入元件412提供各种类型的用户输入，用户输入元件412可以是按钮或类似的用户输入元件。另外或可选地，显示器112可以是触摸屏显示器，并且可以经由显示器112接收用户输入。通过使用超声成像装置110，用户可以选择(例如，经由输入元件412和/或显示器112)或以其他方式输入在患者体内要成像的器官的期望视图。例如，用户可以从存储在超声成像装置110中并表示给用户的多个临床期望视图中选择一个视图(例如，心脏的肋下视图)。超声成像装置110可以将所选择的视图传送到超声图像识别模块120，并且超声图像识别模块120因此可以被配置为确定接收的超声图像是否表示所选择的视图。也就是说，超声图像识别模块120可以访问图像知识数据库122中的适当的超声图像知识(例如，与心脏的肋下视图相关联的知识、规则或关系)，使得可以将所接收的超声图像与所选视图对应的知识进行比较或由该知识进行处理。或者，用户可以选择操作模式，其中系统通过捕获器官(例如上文所述的心脏)的一系列标准视图中的一个或多个来引导用户。在这样的模式中，系统将首先选择待成像的器官的期望视图，然后在捕获了期望图像时为用户进行确认和/或基于初始图像捕获为用户引导至期望视图。然后，系统将为待成像的器官的每个期望标准视图串行地重复该过程。或者，系统可以以这样的方式操作：将任何捕获的图像与待捕获的每个图像进行比较，并确认何时捕获了一个或多个期望的标准视图，并且不会先指示首先捕获哪个视图。
视觉反馈元件420可以是能够向超声成像装置110的用户提供视觉指示的任何元件，例如可以是一个或多个灯、颜色、形状、图标等，可以是静止的也可以是移动的。听觉反馈元件430可以是能够向超声成像装置110的用户产生听觉指示的任何元件，例如可以是，用于产生各种音调或声音的扬声器，该音调或声音与缺乏对应性相关以及与捕获图像和期望捕获的图像之间的对应关系相关。类似地，触觉反馈元件440可以是能够向超声成像装置110的用户提供触觉效果的任何元件，例如可以是振动装置。
由超声图像识别模块120提供的反馈信号103可以指示由超声图像识别模块120做出的关于从超声成像装置110接收的超声图像的各种确定中的任何一种。
例如，超声图像识别模块120可以提供反馈信号103，其指示当前或最近接收的超声图像表示了器官的临床期望视图(例如，所选择的临床期望视图)。在另一示例中，超声图像识别模块120可以确定所接收的超声图像是否顺序地接近或移动远离器官的临床期望视图，并且提供反馈103指示所接收的超声图像是否按顺序接近或移动远离器官的临床期望视图。该反馈信号可以包括视觉或听觉命令，以指示用户以某种方式移动探针或调整探针的角度，或者包括图标，例如直的或弯曲的箭头以指示探针所需的移动的方向和/或角度以便更好地接近器官的期望视图。
超声成像装置110接收反馈信号103，并且作为响应，可以激活一个或多个反馈元件(即，视觉反馈元件420、听觉反馈元件430和/或触觉反馈元件440)以向超声成像装置110的用户提供反馈效果。例如，反馈信号103可以指示当前或最近接收的超声图像表示了器官的临床期望视图。在这种情况下，由超声成像装置110提供的反馈效果可以包括闪烁视觉反馈元件420的绿灯420a，来自可听反馈元件430的可听到的音调或嘟嘟声和/或由触觉反馈元件440提供的振动脉冲。闪烁的绿灯420a、可听到的音调和/或振动脉冲向用户指示已经获得了期望的视图，并且用户因此可以保留期望视图的超声图像(例如，利用一个或多个用户输入元件412)并将图像存储在超声图像数据库115中。
另外或可选择地，在确定接收的超声图像中表示了器官的临床期望视图时，超声图像识别模块120可以(例如，通过反馈信号103)使超声成像装置110自动将超声图像保留并存储在超声图像数据库115中。还可以在每个期望类型的图像旁边显示具有适当指示的表格，以指示用户是否已经捕获了期望的图像或者是否仍然要捕获被成像的特定患者的期望图像。
在反馈信号103指示所接收的超声图像按顺序接近或移动远离器官的临床期望视图的实施例中，超声成像装置110可将此传达给用户，例如，通过提供变化的反馈效果，例如当接收的超声图像接近(或移动远离)临床期望视图时具有增加(或减小)频率的可听到的音调，当接收的超声图像接近(或移动远离)临床期望视图时，具有增加(或减小)强度的一系列振动脉冲，和/或当接收的超声图像接近或移动远离临床期望视图时，照亮灯的不同颜色或位置(例如，当接收的超声图像接近临床期望视图时，点亮红色外侧灯420c，然后点亮黄色中间灯420b，然后点亮绿色中间灯420a)。
与超声成像装置110可操作地耦接的探针118可以包括一个或多个运动传感器450，其可以是任何运动传感器，包括例如加速计、陀螺仪等。因此，超声成像装置110可以确定探针118的位置和/或运动。特别地，超声成像装置110可以确定探针118相对于患者上的一个或多个已知点的位置和/或运动。例如，用户可以在患者的已知点(例如，患者胸部上的特定点)将探针118定位在已知方位(例如，基本垂直于患者皮肤)，并且超声成像装置110可以捕获(例如，通过用户输入元件412)该位置作为参考或初始化点。因此，超声成像装置110可以利用任何已知的定位算法确定其相对于已知参考点的位置，包括例如惯性导航技术。类似地，超声图像识别模块120可以确定例如所接收的超声图像正在移动远离临床期望视图(如本文所述)，并且可以推荐探针118相对于患者的已知点的移动(例如，通过反馈信号103)以获得临床期望的视图。例如，超声图像识别模块120可以确定例如所接收的超声图像表示与相对于心尖两腔视图逆时针旋转45°、40°、然后35°相关联的心脏的连续视图。临床期望视图可以是例如心尖三腔视图，其可以通过相对于心尖两腔视图旋转探针118大约60°来获得。因此，超声图像识别模块120可以确定所接收的超声图像正在移动远离临床期望视图，并且可以进一步推荐例如用户将探针118逆时针旋转大约25°(由于最近的视图可能表示相对于心尖两腔视图逆时针旋转35°，逆时针旋转额外25°应该得到期望的心尖三腔视图)以获得心尖三腔视图。
虽然本文已经将超声图像识别模块120描述为与超声成像装置110分离并且可以通过通信网络102访问，但是应当容易理解的是，超声图像识别模块120可以包括在超声成像装置110内。也就是说，超声图像识别模块120(图像识别模块120本身或远程图像识别模块120的本地副本)可以包括在超声成像装置110内，并且可以例如被存储在存储器114中，超声图像识别模块120的特征和/或功能可以由处理器116执行或以其他方式实施。
图5是示出根据一个或多个实施例的超声图像识别方法500的流程图。在框502处，方法500包括通过超声成像装置110获取患者的超声图像。获取的超声图像可以包括例如患者器官的视图。
在框504处，方法500包括将获取的超声图像发送到超声图像识别模块120。所获取的超声图像可以经由通信网络102发送，或者，超声图像识别模块120可以被包括在超声成像装置110内，并且所获取的超声图像可以经由硬连线连接发送。
在框506处，方法500包括通过超声图像识别模块120确定所获取的超声图像是否表示器官的临床期望视图。超声图像识别模块120可以采用任何人工智能方法来帮助确定，例如，如图2和图3所示和所述。
在框508处，方法500可以进一步包括响应于确定所接收的超声图像是否表示器官的临床期望视图，将反馈信号103发送到超声成像装置110。反馈信号103可以将各种潜在消息传送到超声成像装置110。例如，反馈信号103可以指示所获取的超声图像表示临床期望视图，不表示临床期望的视图，和/或图像按顺序接近或移动远离临床期望视图。
在框510处，方法100可以进一步包括响应于超声图像识别模块120确定所获取的超声图像表示器官的临床期望视图来存储所获取的超声图像。在这种情况下，所获取的超声图像可以自动存储在例如超声图像数据库115中。另外或可选择地，超声成像装置110的用户可以被提醒以例如通过经由用户界面410向超声成像装置110提供的输入来存储所获取的超声图像。
图6示出了根据本公开实施例的超声数据信息系统600的框图。如图6所示，超声数据信息系统600包括多个超声成像装置610、通信网络602、基于云的人工智能(AI)超声图像识别训练网络620(以下称为“AI训练网络120”)和超声图像知识数据库622。超声数据信息系统600还可包括一个或多个用户计算机装置630。
AI训练网络620是基于云的或分布式的计算人工智能网络，其被训练以识别超声图像。具体地，可以训练AI训练网络620以确定所接收的超声图像是否表示患者的器官或其他方面、区域或特征的临床期望视图，或者临床期望视图是指示正常功能或是特定病理。AI训练网络620可以由任何采用人工智能的计算智能系统实施，从训练输入中抽取以学习或以其他方式生成知识(例如，存储在图像知识数据库622中)，其用于确定所接收到的超声图像是否表示临床期望视图，或临床期望视图是指示正常功能或特定病理。
采用一种或多种计算智能技术，AI训练网络620可以学习以适应未知和/或变化的环境以获得更好的性能。
通过人工智能训练过程，AI训练网络620学习被存储在图像知识数据库622中的知识。存储在图像知识数据库622中的知识可以包括各种信息，其有助于通过AI训练网络620和/或超声成像装置610内的超声图像识别模块621对接收的超声图像进行超声图像分析，这将在本文中进一步详细描述。具体地，例如，图像知识数据库622可以包括与各种器官的各种图像视图以及各种器官的正常和病理状态有关的信息。例如，图像知识数据库622可以包括与心脏的临床标准或期望视图相关联的信息。心脏的临床标准视图可以包括，例如，胸骨上、肋下、短轴和长轴胸骨旁、心尖两腔、心尖三腔、心尖四腔和心尖五腔视图。另外，与临床标准视图相关联的信息可以是与三维视图、二维横截面视图和/或一组二维横截面视图相关联的信息。类似地，图像知识数据库622可以包括与器官(例如心脏)的正常功能以及器官的各种病理状况相关的信息，包括例如心肌收缩力和瓣膜功能。图像知识数据库622可以存储在AI训练网络620可访问的任何计算机可读存储介质中。
AI训练网络620可以包括或者由一个或多个计算机处理器执行，计算机处理器被配置为执行本文描述的各种功能和操作。例如，AI训练网络620可以由一个或多个通用计算机或由存储的计算机程序选择性地激活或配置的数据处理器执行，或者可以是用于执行本文描述的特征和操作的专门构造的计算平台。特别地，AI训练网络620可以是基于云的或分布式的计算人工智能网络，其具有高水平的计算能力，使得其可以接收和处理非常大量(例如，成千上万或更多)的训练图像以生成超声图像知识。在一个或多个实施例中，AI训练网络620可以包括在超声成像装置610内和/或在超声成像装置610中执行。
超声成像装置610可以是可操作以获取患者的超声图像的任何超声装置，并且可以例如是手持式超声成像装置。图6中示出的超声成像装置610可以与图1中示出的超声成像装置110相同或基本相同。特别地，超声成像装置610可以包括与上文关于超声成像装置110所讨论的相同的特征(例如在图1至图4中示出的那样)，并且可以进一步包括如下文参考图7所讨论的其他特征。
参考图7，超声成像装置610可以包括显示器112、存储器114、一个或多个处理器116和超声图像识别模块621。超声成像装置610中包括的超声图像识别模块621可以与图1中所示并关于图1所描述的的超声图像识别模块120基本相同。一个区别是超声图像识别模块621(以及本地超声知识数据库612)位于图8的超声成像装置610内，而超声图像识别模块120远离于图1的超声成像装置。
超声成像装置610还可以包括获取的超声图像数据库615和/或本地超声图像知识数据库612。超声成像装置610被可操作地耦接到超声探针118。
上文关于图1的超声成像装置110描述了存储器114、处理器116、超声探针118和显示器112。
超声图像识别模块621可以包括例如预训练的基于云的AI训练网络620的一部分或全部，其包括获取于并存储在图像知识数据库622中的图像知识。也就是说，超声成像装置610可以通过通信网络602下载AI训练网络620和/或存储在超声图像知识数据库622中的超声图像知识(其可以被存储在例如本地超声图像知识数据库612中)。因此，由AI训练网络620学习的图像知识可以由超声图像识别模块621应用，以处理由超声成像装置610获取的超声图像并做出确定。通信网络602可以利用一个或多个协议通过一个或多个物理网络进行通信，物理网络包括局域网、无线网络、专用线路、内联网、因特网等。
由超声成像装置610由此获取的超声图像可以被提供给超声图像识别模块621并由超声图像识别模块621处理。超声图像识别模块621接收由超声成像装置610获取的超声图像，并确定所接收的超声图像中的一个或多个是否表示患者的器官或其他方面、区域或特征的临床期望视图，或者临床期望视图是指示正常功能或特定病理。超声图像识别模块621可以由任何计算智能系统实施，该系统采用从例如包括在本地超声图像知识数据库612中的学习知识中提取的人工智能，以确定所接收的超声图像是否表示临床期望视图或临床期望视图是指示正常功能或特定病理。
超声图像知识数据库622可以与图1中所示的超声图像知识数据库122类似或相同。AI训练网络620类似于图1中所示的超声图像识别模块120，其中AI训练网络620被训练并且开发超声图像知识(其存储在超声图像知识数据库622中)以用于对由超声成像设备610获取的超声图像进行确定。然而，一个区别在于AI训练网络620部分地由多个超声成像装置610获取的实际超声图像训练，实际超声图像被提供给AI训练网络620以进一步训练和开发额外的或精确的超声图像知识。
图8是示出根据一个或多个实施例的基于云的AI训练网络620的训练的框图。最初可以使用训练图像810训练AI训练网络620。训练图像810可以包括任何超声图像信息，并且可以与图2中示出并且关于图2描述的训练图像210相同或相似。例如，训练图像810可以包括与器官的已知视图相关联的各种超声图像信息(例如心脏的胸骨上视图的临床期望图像)。此外，训练图像810可以是已经预先确定为(例如，由医生)充分显示特定的临床期望视图的超声图像。另外，训练图像810中可以包括具有表示正常功能和/或某些病理的各种特征的各种图像。
此外，如上文图2所示关于为训练超声图像识别模块120而提供的训练图像210所讨论的，训练图像810可以包括与非临床期望视图相关联的图像信息。因此，AI训练网络620可以接收例如不表示任何特定临床期望视图的心脏视图，但是仍然可以将图像识别为心脏视图，并且还可以进一步将图像识别为在例如心尖两腔视图和心尖三腔视图之间的某处的图像。可以利用示出心脏的各种已知但非临床期望视图(例如在心尖两腔和心尖三腔视图之间的某处的视图)的训练图像810来训练AI训练网络620，并且因此可以开发有助于识别这种视图的知识(例如，AI训练网络620可以将视图识别为表示探针118相对于心尖两腔视图逆时针旋转35°)。根据一个或多个实施例，向用户提供关于所捕获图像的识别(或没有)以及鉴别或解释(或没有)的反馈，如例如关于图1所描述的那样(反馈103)。
其他训练输入820可以进一步被提供于AI训练网络620以进行训练。其他训练输入820可以包括例如手动输入的输入，以在训练过程中调整或以其他方式管理在AI训练网络620中开发的图像识别模型。
使用训练图像810，AI训练网络620可以实现迭代训练过程。训练可以基于各种学习规则或训练算法。例如，学习规则可以包括以下中的一个或多个：反向传播、实时递归学习、逐模式学习、监督学习、插值、加权和、强化学习、时间差异学习、无监督学习和/或记录学习。
如先前关于图3所讨论的，反向传播学习算法是训练人工神经网络的常用方法(并且可以例如与图3中所示的人工神经网络300一起使用，人工神经网络300可以由AI训练网络620使用或实施)。
作为训练的结果，AI训练网络620可以学习响应于训练图像810修改其行为，并获得或生成超声图像知识830。超声图像知识830可以表示任何信息，人工智能网络(例如，AI训练网络620和/或超声图像识别模块621)可以基于这些信息确定为新数据或情况的适当响应。具体地，超声图像知识830表示超声图像与器官的一个或多个视图和器官的正常比对病理状况之间的关系(例如，基于图3中所示的示例神经网络相关联的超声图像参数、系数、加权信息、参数或任何这样的变量来描述器官的一个或多个视图的一个或多个函数)。超声图像知识830可以被存储在超声图像知识数据库622中。
一旦基于初始训练图像810对AI训练网络620进行了充分训练，超声成像装置610就可以经由通信网络602下载(例如，如参考数字603所示)训练的AI训练网络620和/或由AI训练网络620开发并存储在超声图像知识数据库622中的图像知识。也就是说，超声成像装置610中的超声图像识别模块621可以包括已经训练的AI训练网络620的一个或多个部分，或者可以是AI训练网络620的完整副本，并且可以向超声成像装置610内的本地超声图像知识数据库612提供存储在超声图像知识数据库622中的一些或全部超声图像知识。
因此，超声成像装置610被配备为在正常操作使用期间获取未知超声图像，并且(例如，通过超声图像识别模块621)确定所获取的超声图像是否表示患者的临床期望视图或临床期望视图是指示正常功能还是特定病理。
在正常操作使用期间由超声成像装置610获取的图像(例如，患者的获取的诊断图像817)可以存储在获取的超声图像数据库615中，并且还可以被提供给AI训练网络620(如图6所示，例如，在参考数字601处)作为额外的训练输入，从而进一步训练AI训练网络620。这样获取的超声图像817可以是由超声成像装置610直接获取的图像和/或可以是已经被验证、修改和/或以其他方式临床确定以用作用于进一步训练AI训练网络620的训练数据的图像。例如，获取的超声图像817可以包括由超声成像装置610获得的图像，并且其未被本地超声图像识别模块621正确地确定。例如，超声图像识别模块621可以确定特定图像没有表示临床期望视图(例如，心脏的胸骨上视图)；然而，相同的图像实际上可能表示了临床期望视图。例如，医生或其他专家可以在对超声图像进行独立评估时确定图像确实显示出临床上足够的胸骨上心脏视图，但是超声图像识别模块621没有做出相同的确定，因此反映出可以进一步优化超声图像识别模块621以正确地确定或识别图像。在这种情况下，所获取的超声图像可以被修改、标记或与指示所获取的图像表示临床期望视图(例如，心脏的胸骨上视图)的训练数据相关联，并且因此可以被提供为用于进一步训练AI训练网络620的获取的超声图像817，其进而用于更新超声图像识别模块621。
由超声成像装置610获得的超声图像可以被存储在获取的超声图像数据库615中和/或可以被修改为包括训练信息(例如，指示关于图像的任何已知特征，例如图像表示或不表示特定的临床期望视图、正常功能或已知病理)然后被存储在获取的超声图像数据库615中。因此，具有指示关于所获取的超声图像817的一个或多个已知特征的训练信息的所获取的超声图像817可以被提供给AI训练网络620，以用于进一步训练以及用于超声图像知识830的进一步发展和/或细化。
可以直接从超声成像装置610(例如，通过经由通信网络602将存储在获取的图像数据库615中的图像上传到AI训练网络620)和/或从一个或多个用户计算机装置630接收用于进一步训练AI训练网络620的所获取的超声图像817。例如，医生可以将超声图像从超声成像装置610下载到用户计算机装置630，并且进一步修改、标记或以其他方式将指示与超声图像相关联的一个或多个已知特征的训练数据附加到超声图像。因此，用户计算机装置630可以用于将获取的超声图像817(其可以包括例如指示一个或多个已知特征的训练数据)发送到AI训练网络620以进行进一步训练。用户计算机装置630还可以或替代地用于从AI训练网络620接收更新的知识，其可以与任何相关联的超声成像装置610通信。
因此，所获取的超声图像817是用于进一步训练AI训练网络620的训练图像。也就是说，初始集合的训练图像810用于初始地训练AI训练网络620，并且获取的超声图像817被提供以在已经部署了一个或多个超声成像装置610并且已经获得了可以提供训练值的超声图像之后进一步训练AI训练网络620。训练图像810以及所获取的超声图像817包括相同类型的信息，即，超声图像信息和相关联的训练标签。
用于训练AI训练网络620的训练图像810和/或获取的超声图像817可以包括图像序列(例如，具有连续获取的图像帧序列的视频剪辑)。例如，剪辑可以包括指示例如心脏运动/收缩性的动态现象的图像序列。这样的剪辑可以作为初始训练图像810和/或作为获取的超声图像817被提供给AI训练网络620以进一步训练AI训练网络620。
基于训练图像810，AI训练网络620可以学习以修改其行为，并且可以应用包括在图像知识数据库622中的知识来改变其对新输入(例如，从超声成像装置610接收的获取的超声图像信息817)做出确定的方式。所获取的超声图像817可以经由通信网络602被提供给AI训练网络620，因此可以用作额外的训练输入以进一步训练AI训练网络620，并且生成进一步开发的图像知识830，其可以存储在图像知识数据库622中。
根据一个或多个实施例，人工神经网络(例如，图3中所示的人工神经网络300)可以由AI训练网络620和/或超声图像识别模块621实施。
如上所述，图3中所示的人工神经网络300包括三层：包括输入神经元i1到i3的输入层310、包括隐藏层神经元h1到h4的隐藏层320、以及包括输出神经元f1和f2的输出层330。虽然图3的神经网络300被示出具有三层，但是应当容易理解的是，可以根据需要在神经网络300中包括其它层以获得AI训练网络620和/或超声图像识别模块621的最佳训练和性能。类似地，示出的每层中的神经元是出于示例性目，应该容易理解的是，每层可以包括比图3中所示更多，甚至多很多的神经元。
通过将训练图像810和/或获取的超声图像817提供给输入层310，可以训练神经网络300(例如，在AI训练网络620是神经网络300的实施例中)。如关于图8所描述的，训练图像810(以及作为AI训练网络620的训练输入提供的所获取的超声图像817)可包括具有各种已知特征的超声图像信息，已知特征包括例如，各种器官视图、正常功能、各种病理、各种图像质量或特征、各种成像角度等。通过训练，神经网络300可以生成和/或修改隐藏层320，隐藏层320表示将训练图像810和/或在输入层310处提供的获取的超声图像817映射到输出层330处的已知输出信息(例如，将图像分类为心脏的肋下视图，胸骨上视图等)的加权连接。通过训练过程形成的输入层310、隐藏层320和输出层330的神经元之间的关系(可以包括权重连接关系)通常称为“超声图像知识”，并且可以被例如存储在超声图像知识数据库622中。
一旦神经网络300已经被充分训练，神经网络300可以被提供给超声成像装置610，并且由例如超声图像识别模块621来实施。这样，神经网络300可以在输入层310处接收非训练超声图像(即，利用超声成像装置610拍摄的患者的超声图像)。通过利用存储在超声图像知识数据库622中的超声图像知识(其可以被提供并存储在本地超声图像知识数据库612中，并且其可以包括例如神经网络300的神经元之间的加权连接信息)，神经网络300可以在输出层330处对所接收的超声图像信息作出确定。例如，神经网络300可以确定所接收的超声图像是否表示器官的一个或多个临床期望视图。
因此，基于云的AI训练网络620被初始地训练，以便开发足以在超声成像装置610中的超声图像识别模块621中实施的网络和/或图像知识。然后基于所获取的超声图像817继续进一步训练基于云的AI训练网络620，超声图像817由超声装置610获取并经由通信网络602提供给AI训练网络620(如图6所示，例如，在参考数字601处)。作为AI训练网络620的继续训练的结果，AI训练网络620继续开发、改进或以其他方式生成额外的超声图像知识，其被存储在超声图像知识数据库622中。因此，超声成像装置610可以周期性地接收存储在超声图像知识数据库622中的更新的超声图像知识(在图6中示出，例如，在参考数字603处)，或者通过按照预定的时间表自动下载的更新，或者在用户期望或请求的特定时间，或者自上次更新成像装置以来、数据库已经接收到特定阈值数量的导致网络被进一步训练的附加图像。
图3的神经网络300被提供作为采用人工智能来对接收的超声图像信息进行确定的AI训练网络620和/或超声图像识别模块621的各种可能实施方式中的仅仅一个示例。例如，AI训练网络620和/或超声图像识别模块621可以实施神经网络、深度学习、卷积神经网络和贝叶斯程序学习技术中的任何一种，以对接收到的患者的超声图像进行确定。
此外，可以利用各种训练图像810和/或获取的超声图像817来训练AI训练网络620(并且还可以利用各种训练图像序列810和/或获取的超声图像817训练)，以对接收的超声图像信息进行各种确定。例如，AI训练网络620可以被训练或以其他方式配置为确定接收的超声图像是否表示一个或多个临床标准或期望视图，或者确定临床期望视图是指示正常功能还是特定病理。此外，可以训练AI训练网络620以确定所接收的超声图像是否表示非临床期望视图(并且可以将这种非临床期望的视图识别为患者体内的特定器官或其他组织的特定视图或角度)，并且可以基于接收的超声图像序列进一步确定图像是否接近或移动远离器官的临床期望视图。
通过下载AI训练网络620和/或由AI训练网络620开发并存储在超声图像知识数据库622中的超声图像知识，超声成像装置610中的超声图像识别模块621和本地超声图像知识数据库612可以包括文中描述的关于训练的AI训练网络620和超声图像知识数据库622的所有特征和功能。
例如，如上文所述，AI训练网络620可以用示出了患者的器官或其他结构的各种已知但非临床期望视图的训练图像810和/或获取的超声图像817进行训练，并且因此超声装置610中的超声图像识别模块621可以识别这样的视图。此外，可以利用一个或多个已识别但非临床标准或期望视图的序列来训练AI训练网络620，并且可以训练AI训练网络620以识别朝向和/或远离临床期望视图的这种非临床期望视图的序列或进展(例如，训练图像810可以包括一系列超声图像，其表示探针118从心尖两腔视图朝向和/或远离心尖三腔视图的旋转)。因此可以训练AI训练网络620(并且因此可以实施超声成像装置610中的超声图像识别模块621)以识别所接收的超声图像，其虽然没有表示特定的临床期望视图，但可以逐渐地更接近(或移动远离)该临床期望视图。
此外，可以训练AI训练网络620，使得当其被实施为超声成像装置610中的超声图像识别模块621时，超声图像识别模块621可以确定所接收的超声图像是否表示器官的多个临床上期望视图中的任何一个。器官的这种临床期望视图可以包括，例如，心脏的胸骨上、肋下、短轴和长轴胸骨旁、心尖两腔、心尖三腔、心尖四腔和心尖五腔的视图。
虽然图6示出了包括基于云的超声图像识别AI训练网络620的超声数据信息系统600，但是在一个或多个替代实施例中，超声图像识别AI训练网络620可以被包括在超声装置610中的一个或多个内。因此，超声成像装置610内的AI训练网络620可以如上文所述(并且例如在图8中示出)基于初始训练图像810进行训练，并且还可以基于所获取的超声图像817进行训练，超声图像817由超声成像装置610获取并且还以某种方式被标记和/或修改以提供训练信息。例如，由超声成像装置610获取的超声图像可以由超声图像识别模块621和/或AI训练网络620确定为不表示特定器官，例如心脏的临床期望视图。操作超声成像装置610的超声技术人员可以知道，例如，所获取的图像确实表示临床期望视图；然而，患者的心脏具有非典型的解剖结构，因此超声图像识别模块621和/或AI训练网络620不能正确地将图像识别为临床期望视图。在这种情况下，超声技术人员可以将所获取的图像标记为临床期望视图(例如，通过按压超声成像装置610上的相应按钮、通过将获取的图像存储在获取的超声图像数据库615中以供医生或其他受过训练的专家利用超声成像装置610和/或用户计算机装置630进行标记，等等)。一旦被标记为适当地表示临床期望视图，图像将提供作为训练输入(例如，获取的超声图像817)，以进一步训练超声成像装置610内的AI训练网络620和/或超声图像识别模块621。因此，超声成像装置610可以包括基于由超声图像装置610获取的图像来自训练其内部超声图像识别模块621的能力。
此外，可能存在其他情况，其中超声成像设备610的多个机构(例如，医院或诊所)或用户组(例如，贸易协会或非正式团体)可各自具有其自己的AI训练网络(例如，中央AI训练网络620，或用于基于机构或组内的超声成像装置610获取的超声图像提供更新的图像知识的单独的机构或组AI训练网络)和/或用于其机构或组的知识数据库，其中由机构或组中的超声成像装置610获取的超声图像生成更新。
图9是示出根据一个或多个实施例的方法900的流程图。在框902处，方法900包括通过超声图像识别训练网络(例如，AI训练网络620)接收超声训练图像810。
在框904处，方法900包括由超声图像识别训练网络基于所接收的超声训练图像810生成超声图像知识830。超声图像知识830可以存储在例如超声图像知识数据库622中。
在框906处，方法900包括将超声图像知识830发送到超声成像装置610。超声成像装置610可以周期性地轮询AI训练网络620以获得更新的知识，并且可以响应于轮询来发送超声图像知识830。另外或可选地，AI训练网络620可以周期性地将更新的超声图像知识830推送到超声成像装置610。在一个或多个实施例中，超声成像设备610和/或用户计算机设备630中的一个或多个可以接收更新的超声图像知识830然后将更新的超声图像知识830分配到一个或多个其他超声成像装置610(例如，通过点对点或其他本地网络)。例如，一个或多个用户计算机装置630可以位于临床环境(例如医院)中，并且可以接收更新的超声图像知识830并将其提供给位于相同环境内的多个超声成像装置610。
超声图像知识830可以从例如超声图像知识数据库622或AI训练网络620被直接发送到超声成像装置610。或者，可以将超声图像知识830提供给用户计算机装置630，然后用户计算机装置630将超声图像知识830发送到一个或多个超声成像装置610。发送的超声图像知识可以被存储在本地超声图像知识数据库612中，其可以被包括在超声成像装置610内。
在框908处，方法900还包括由超声成像装置610获取患者的超声图像。在框910处，方法900包括通过超声成像装置610(例如，利用超声图像识别模块621)确定所获取的超声图像是否表示器官的临床期望视图。例如，可以基于超声图像知识830来执行确定。
在框912处，方法900包括将所获取的患者的超声图像发送到超声图像识别训练网络以进行进一步训练。所发送的患者的所获取的超声图像可以包括指示与所获取的超声图像相关联的一个或多个已知特征的训练数据。
可以对上述各种实施例进行组合以提供进一步的实施例。根据上文的详细描述，可以对实施例进行各种改变。通常，在以下权利要求中，所使用的术语不应被解释为将权利要求限制于说明书和权利要求中公开的特定实施例，而是应该被解释为包括所有可能的实施例以及这些权利要求所赋予的等同物的全部范围。因此，权利要求不受本公开的限制。

Claims (7)

1.一种方法，其特征在于，所述方法包括：
通过超声图像识别训练网络接收超声训练图像；
通过所述超声图像识别训练网络，基于所述接收的超声训练图像生成超声图像知识；以及
将所述超声图像知识发送到获取超声图像的超声成像装置，所述超声成像装置与所述超声图像识别训练网络分离并远离所述超声图像识别训练网络。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
通过所述超声成像装置获取患者的超声图像；以及
基于所述超声图像知识自动确定所述获取的超声图像是否表示器官的临床期望视图。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
将获取的所述患者的超声图像发送到所述超声图像识别训练网络，以进一步训练所述超声图像识别训练网络并生成更新的超声图像知识。
4.根据权利要求2所述的方法，其特征在于，确定所述接收的超声图像是否表示所述器官的临床期望视图包括：
实施神经网络、深度学习、卷积神经网络和贝叶斯程序学习技术中的至少一种，以确定所述接收的超声图像是否表示所述器官的临床期望视图。
5.根据权利要求2所述的方法，其特征在于，确定所述接收的超声图像是否代表所述器官的临床期望视图包括：
确定所述接收的超声图像是否代表心脏的胸骨上、肋下、短轴胸骨旁、长轴胸骨旁、心尖两腔、心尖三腔、心尖四腔和心尖五腔的视图中的至少一个。
6.根据权利要求3所述的方法，其特征在于，发送的所获取的所述患者的超声图像包括指示与所述获取的超声图像相关联的一个或多个已知特征的训练数据。
7.根据权利要求2所述的方法，其特征在于，所述方法还包括：
基于所述超声图像知识确定所述获取的超声图像是指示正常功能还是特定病理。
CN202110360186.1A 2016-03-09 2017-03-09 利用人工智能网络的超声图像识别系统和方法 Pending CN112957074A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662305980P 2016-03-09 2016-03-09
US62/305,980 2016-03-09
US201662313601P 2016-03-25 2016-03-25
US62/313,601 2016-03-25
CN201780024170.5A CN109362221A (zh) 2016-03-09 2017-03-09 利用人工智能网络的超声图像识别系统和方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201780024170.5A Division CN109362221A (zh) 2016-03-09 2017-03-09 利用人工智能网络的超声图像识别系统和方法

Publications (1)

Publication Number Publication Date
CN112957074A true CN112957074A (zh) 2021-06-15

Family

ID=58358983

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201780024170.5A Pending CN109362221A (zh) 2016-03-09 2017-03-09 利用人工智能网络的超声图像识别系统和方法
CN202110360186.1A Pending CN112957074A (zh) 2016-03-09 2017-03-09 利用人工智能网络的超声图像识别系统和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201780024170.5A Pending CN109362221A (zh) 2016-03-09 2017-03-09 利用人工智能网络的超声图像识别系统和方法

Country Status (9)

Country Link
US (2) US10964424B2 (zh)
EP (1) EP3426158A1 (zh)
JP (1) JP7163195B2 (zh)
KR (1) KR102425141B1 (zh)
CN (2) CN109362221A (zh)
AU (1) AU2017230722B2 (zh)
CA (1) CA3016903A1 (zh)
RU (1) RU2740698C2 (zh)
WO (1) WO2017156329A1 (zh)

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016178198A1 (en) * 2015-05-07 2016-11-10 Koninklijke Philips N.V. System and method for motion compensation in medical procedures
RU2740698C2 (ru) * 2016-03-09 2021-01-19 Эконаус, Инк. Системы и способы распознавания ультразвуковых изображений, осуществляемого с использованием сети с искусственным интеллектом
TWI765895B (zh) * 2016-06-20 2022-06-01 美商蝴蝶網路公司 用於協助使用者操作超音波裝置的自動化影像獲取之系統和方法
FR3059541B1 (fr) * 2016-12-07 2021-05-07 Bay Labs Inc Navigation guidee d'une sonde ultrason
US20210327303A1 (en) * 2017-01-24 2021-10-21 Tienovix, Llc System and method for augmented reality guidance for use of equipment systems
US20210327304A1 (en) * 2017-01-24 2021-10-21 Tienovix, Llc System and method for augmented reality guidance for use of equpment systems
US20210295048A1 (en) * 2017-01-24 2021-09-23 Tienovix, Llc System and method for augmented reality guidance for use of equipment systems
US10636323B2 (en) * 2017-01-24 2020-04-28 Tienovix, Llc System and method for three-dimensional augmented reality guidance for use of medical equipment
EP3634241A1 (en) * 2017-06-06 2020-04-15 Avent, Inc. System and method for identifying and navigating anatomical objects using deep learning networks
EP3420913B1 (en) * 2017-06-26 2020-11-18 Samsung Medison Co., Ltd. Ultrasound imaging apparatus and control method thereof
US20190076127A1 (en) * 2017-09-12 2019-03-14 General Electric Company Method and system for automatically selecting ultrasound image loops from a continuously captured stress echocardiogram based on assigned image view types and image characteristic metrics
CN107767928A (zh) * 2017-09-15 2018-03-06 深圳市前海安测信息技术有限公司 基于人工智能的医学影像报告生成系统及方法
US10507009B2 (en) 2017-10-05 2019-12-17 EchoNous, Inc. System and method for fusing ultrasound with additional signals
US11382601B2 (en) * 2018-03-01 2022-07-12 Fujifilm Sonosite, Inc. Method and apparatus for annotating ultrasound examinations
CN111757705B (zh) * 2018-03-05 2023-07-28 富士胶片株式会社 超声波诊断装置及超声波诊断装置的控制方法
EP3536245A1 (en) * 2018-03-08 2019-09-11 Koninklijke Philips N.V. A system and method of identifying characteristics of ultrasound images
CN112105300A (zh) * 2018-03-12 2020-12-18 皇家飞利浦有限公司 用于神经网络的超声成像平面对准指导及相关装置、系统和方法
EP3766007A1 (en) * 2018-03-12 2021-01-20 Koninklijke Philips N.V. Ultrasound imaging dataset acquisition for neural network training and associated devices, systems, and methods
WO2019178237A1 (en) * 2018-03-14 2019-09-19 Butterfly Network, Inc. Methods and apparatuses for generating and displaying ultrasound images using an explaining model
PL3793447T3 (pl) * 2018-05-15 2023-06-26 New York University System i sposób do orientowania wykonywania zdjęć ultrasonograficznych
US11497478B2 (en) * 2018-05-21 2022-11-15 Siemens Medical Solutions Usa, Inc. Tuned medical ultrasound imaging
US20190388060A1 (en) * 2018-06-22 2019-12-26 General Electric Company Imaging system and method with live examination completeness monitor
JP7099901B2 (ja) * 2018-08-06 2022-07-12 富士フイルムヘルスケア株式会社 超音波画像処理装置およびプログラム
US11647977B2 (en) 2018-10-08 2023-05-16 EchoNous, Inc. Device including ultrasound, auscultation, and ambient noise sensors
JP7462624B2 (ja) 2018-10-16 2024-04-05 コーニンクレッカ フィリップス エヌ ヴェ 深層学習に基づく超音波撮像ガイダンス並びに関連するデバイス、システム、及び方法
CN109616195A (zh) * 2018-11-28 2019-04-12 武汉大学人民医院（湖北省人民医院） 基于深度学习的纵隔超声内镜图像实时辅助诊断系统及方法
KR102261869B1 (ko) 2018-12-19 2021-06-07 포인드 주식회사 메타학습된 생성적 대립 네트워크를 이용한 인공지능의 빠른 이미지 생성 방법
KR102284356B1 (ko) 2019-01-31 2021-08-02 동서대학교 산학협력단 컴퓨터 네트워크 시스템의 생성적 대립 네트워크를 이용한 데이터의 불균형 해결방법
US20200245970A1 (en) * 2019-01-31 2020-08-06 Bay Labs, Inc. Prescriptive guidance for ultrasound diagnostics
US20220000448A1 (en) * 2019-02-04 2022-01-06 Google Llc Instrumented Ultrasound Probes For Machine-Learning Generated Real-Time Sonographer Feedback
KR102266950B1 (ko) 2019-03-25 2021-06-17 동서대학교 산학협력단 데이터 불균형 해결을 위한 언더샘플링 기반 앙상블 방법
US11707255B2 (en) 2019-04-02 2023-07-25 Siemens Medical Solutions Usa, Inc. Image-based probe positioning
JP7269778B2 (ja) * 2019-04-04 2023-05-09 富士フイルムヘルスケア株式会社 超音波撮像装置、および、画像処理装置
KR102224627B1 (ko) * 2019-04-08 2021-03-09 울산대학교 산학협력단 임신 1분기 초음파 이미지 분석 방법 및 장치
US11844654B2 (en) 2019-08-19 2023-12-19 Caption Health, Inc. Mid-procedure view change for ultrasound diagnostics
CN110432928B (zh) * 2019-08-22 2021-11-26 深圳瀚维智能医疗科技有限公司 超声图像扫查方法、装置及设备
JP2023503818A (ja) * 2019-11-21 2023-02-01 コーニンクレッカ フィリップス エヌ ヴェ 医用超音波画像を取得するためのシステム及び方法
CA3164059A1 (en) * 2019-12-30 2021-07-08 Medo Dx Pte. Ltd Apparatus and method for automated analyses of ultrasound images
CN113116377B (zh) * 2019-12-31 2023-07-28 无锡祥生医疗科技股份有限公司 超声成像导航方法、超声设备及存储介质
JP7428020B2 (ja) * 2020-03-06 2024-02-06 コニカミノルタ株式会社 超音波診断装置、超音波画像生成方法、プログラム及びモデル訓練装置
CN111513759B (zh) * 2020-04-26 2021-08-17 珠海格力电器股份有限公司 监测健康状态的方法、装置、电子设备和计算机可读介质
US11514326B2 (en) * 2020-06-18 2022-11-29 International Business Machines Corporation Drift regularization to counteract variation in drift coefficients for analog accelerators
CN112767305B (zh) * 2020-12-15 2024-03-08 首都医科大学附属北京儿童医院 先天性心脏病的超声心动图识别方法及装置
WO2022182603A1 (en) * 2021-02-23 2022-09-01 West Virginia University Board of Governors on behalf of West Virginia University Radon transform and persistent homology patient barcodes
IT202100004376A1 (it) * 2021-02-25 2022-08-25 Esaote Spa Metodo di determinazione di piani di scansione nell’acquisizione di immagini ecografiche e sistema ecografico per l’attuazione del detto metodo
US11763428B2 (en) 2021-06-22 2023-09-19 Saudi Arabian Oil Company System and method for de-noising an ultrasonic scan image using a convolutional neural network
CN113539438A (zh) * 2021-07-07 2021-10-22 众享健康医疗科技(浙江)有限公司 一种面向胎儿先天性心脏病筛查的人工智能辅助系统
WO2023077239A1 (en) * 2021-11-05 2023-05-11 Daskalopoulou Styliani Stella Method and system for detection of histopathological plaque features in medical images using deep neural networks
CN114419044B (zh) * 2022-03-30 2022-06-17 广东恒腾科技有限公司 一种基于人工智能的医用超声图像分析系统及方法
CN117114072A (zh) * 2023-08-31 2023-11-24 四川维思模医疗科技有限公司 一种超声图像用于模拟系统训练应用的方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030065260A1 (en) * 2000-04-28 2003-04-03 Alpha Intervention Technology, Inc. Identification and quantification of needle and seed displacement departures from treatment plan
US7092749B2 (en) * 2003-06-11 2006-08-15 Siemens Medical Solutions Usa, Inc. System and method for adapting the behavior of a diagnostic medical ultrasound system based on anatomic features present in ultrasound images
US20070055153A1 (en) * 2005-08-31 2007-03-08 Constantine Simopoulos Medical diagnostic imaging optimization based on anatomy recognition
US20080086283A1 (en) * 2006-10-05 2008-04-10 Siemens Corporate Research, Inc. Bayesian Sensor Estimation For Machine Condition Monitoring
CN101390759A (zh) * 2007-09-18 2009-03-25 美国西门子医疗解决公司 从三维超声心动图数据对平面的自动探测
US20090093717A1 (en) * 2007-10-04 2009-04-09 Siemens Corporate Research, Inc. Automated Fetal Measurement From Three-Dimensional Ultrasound Data
US20100036253A1 (en) * 2008-08-05 2010-02-11 Daniel Vezina System and method for managing a patient
CN203825644U (zh) * 2014-03-26 2014-09-10 国家电网公司 一种基于图像识别输电线路的雾等级的系统
US20150112182A1 (en) * 2013-10-17 2015-04-23 Siemens Aktiengesellschaft Method and System for Machine Learning Based Assessment of Fractional Flow Reserve
US20150238148A1 (en) * 2013-10-17 2015-08-27 Siemens Aktiengesellschaft Method and system for anatomical object detection using marginal space deep neural networks
US20160029976A1 (en) * 2014-07-29 2016-02-04 Samsung Electronics Co., Ltd. Apparatus and method of providing non-visual information and computer-aided diagnosis system using the same
CN108230261A (zh) * 2016-12-09 2018-06-29 通用电气公司 基于自动器官识别的全自动图像优化
CN109362221A (zh) * 2016-03-09 2019-02-19 安科诺思公司 利用人工智能网络的超声图像识别系统和方法

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6607488B1 (en) 2000-03-02 2003-08-19 Acuson Corporation Medical diagnostic ultrasound system and method for scanning plane orientation
US7421140B2 (en) 2001-11-21 2008-09-02 Shraga Rottem Method and system for enhancing the quality of device images
JP4088104B2 (ja) 2002-06-12 2008-05-21 株式会社東芝 超音波診断装置
FI114367B (fi) * 2002-10-31 2004-09-30 Nokia Corp Päätelaite ja menetelmä näytön ohjaamiseksi päätelaitteessa
US7458936B2 (en) * 2003-03-12 2008-12-02 Siemens Medical Solutions Usa, Inc. System and method for performing probabilistic classification and decision support using multidimensional medical image databases
US7912528B2 (en) * 2003-06-25 2011-03-22 Siemens Medical Solutions Usa, Inc. Systems and methods for automated diagnosis and decision support for heart related diseases and conditions
JP4263579B2 (ja) 2003-10-22 2009-05-13 アロカ株式会社 超音波診断装置
CN1934589A (zh) * 2004-03-23 2007-03-21 美国西门子医疗解决公司 为医学成像提供自动决策支持的系统和方法
WO2006034366A1 (en) 2004-09-21 2006-03-30 Siemens Medical Solutions Usa, Inc. Hierarchical medical image view determination
US7693349B2 (en) 2006-08-15 2010-04-06 General Electric Company Systems and methods for interactive image registration
US8081811B2 (en) * 2007-04-12 2011-12-20 Fujifilm Corporation Method, apparatus, and program for judging image recognition results, and computer readable medium having the program stored therein
EP2454995B1 (en) * 2009-07-16 2019-01-23 Unex Corporation Ultrasonic blood vessel examination apparatus
EP2533689B1 (en) 2010-02-09 2017-08-23 Koninklijke Philips N.V. Apparatus et system for imaging and treatment using optical position sensing
JP5560750B2 (ja) * 2010-02-09 2014-07-30 日産自動車株式会社 車両の警報音発生装置
GB2479406A (en) * 2010-04-09 2011-10-12 Medaphor Ltd Ultrasound Simulation Training System
US20120065508A1 (en) 2010-09-09 2012-03-15 General Electric Company Ultrasound imaging system and method for displaying a target image
RU2596991C2 (ru) * 2010-10-27 2016-09-10 Конинклейке Филипс Электроникс Н.В. Передача информации системы визуализации
US9734430B2 (en) 2012-01-02 2017-08-15 Mackay Memorial Hospital Evaluation system or determination of cardiovascular function parameters
US8777856B2 (en) * 2012-06-26 2014-07-15 General Electric Company Diagnostic system and method for obtaining an ultrasound image frame
GB2507987A (en) 2012-11-15 2014-05-21 Imp Innovations Ltd Method of automatically processing an ultrasound image
US9918700B2 (en) 2013-02-01 2018-03-20 Siemens Medical Solutions Usa, Inc. Tuning ultrasound acquisition parameters
WO2014162232A1 (en) 2013-04-03 2014-10-09 Koninklijke Philips N.V. 3d ultrasound imaging system
CN105451663B (zh) 2013-06-28 2019-03-19 皇家飞利浦有限公司 对目标视图的超声采集反馈引导
US9730643B2 (en) 2013-10-17 2017-08-15 Siemens Healthcare Gmbh Method and system for anatomical object detection using marginal space deep neural networks
JP6890971B2 (ja) * 2013-12-09 2021-06-18 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． モデルベースセグメンテーションを用いた像撮像誘導
KR20150069830A (ko) * 2013-12-16 2015-06-24 삼성전자주식회사 의료 영상을 이용한 혈관 분석 정보 제공 방법 및 장치
US9436995B2 (en) 2014-04-27 2016-09-06 International Business Machines Corporation Discriminating between normal and abnormal left ventricles in echocardiography
RU2017102716A (ru) 2014-06-30 2018-07-30 Конинклейке Филипс Н.В. Смещение ультразвуковой решетки в соответствии с анатомической ориентацией
JP2016036644A (ja) * 2014-08-11 2016-03-22 セイコーエプソン株式会社 超音波血圧計測装置および血圧計測方法
US9918701B2 (en) 2014-09-03 2018-03-20 Contextvision Ab Methods and systems for automatic control of subjective image quality in imaging of objects
KR102328269B1 (ko) 2014-10-23 2021-11-19 삼성전자주식회사 초음파 영상 장치 및 그 제어 방법
US20180140282A1 (en) 2015-06-03 2018-05-24 Hitachi, Ltd. Ultrasonic diagnostic apparatus and image processing method
EP3323086A1 (en) 2015-07-15 2018-05-23 Oxford University Innovation Limited System and method for structures detection and multi-class image categorization in medical imaging
US20170086785A1 (en) * 2015-09-30 2017-03-30 General Electric Company System and method for providing tactile feedback via a probe of a medical imaging system
EP3621525A1 (en) 2017-05-11 2020-03-18 Verathon, Inc. Probability map-based ultrasound scanning
JP7075416B2 (ja) 2017-05-18 2022-05-25 コーニンクレッカ フィリップス エヌ ヴェ 時間的な心臓画像の畳み込み深層学習解析
US20200170615A1 (en) * 2017-08-17 2020-06-04 Koninklijke Philips N.V. Ultrasound system with extraction of image planes from volume data using touch interaction with an image

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030065260A1 (en) * 2000-04-28 2003-04-03 Alpha Intervention Technology, Inc. Identification and quantification of needle and seed displacement departures from treatment plan
US7092749B2 (en) * 2003-06-11 2006-08-15 Siemens Medical Solutions Usa, Inc. System and method for adapting the behavior of a diagnostic medical ultrasound system based on anatomic features present in ultrasound images
US20070055153A1 (en) * 2005-08-31 2007-03-08 Constantine Simopoulos Medical diagnostic imaging optimization based on anatomy recognition
US20080086283A1 (en) * 2006-10-05 2008-04-10 Siemens Corporate Research, Inc. Bayesian Sensor Estimation For Machine Condition Monitoring
CN101390759A (zh) * 2007-09-18 2009-03-25 美国西门子医疗解决公司 从三维超声心动图数据对平面的自动探测
US20090093717A1 (en) * 2007-10-04 2009-04-09 Siemens Corporate Research, Inc. Automated Fetal Measurement From Three-Dimensional Ultrasound Data
US20100036253A1 (en) * 2008-08-05 2010-02-11 Daniel Vezina System and method for managing a patient
US20150112182A1 (en) * 2013-10-17 2015-04-23 Siemens Aktiengesellschaft Method and System for Machine Learning Based Assessment of Fractional Flow Reserve
US20150238148A1 (en) * 2013-10-17 2015-08-27 Siemens Aktiengesellschaft Method and system for anatomical object detection using marginal space deep neural networks
CN203825644U (zh) * 2014-03-26 2014-09-10 国家电网公司 一种基于图像识别输电线路的雾等级的系统
US20160029976A1 (en) * 2014-07-29 2016-02-04 Samsung Electronics Co., Ltd. Apparatus and method of providing non-visual information and computer-aided diagnosis system using the same
CN109362221A (zh) * 2016-03-09 2019-02-19 安科诺思公司 利用人工智能网络的超声图像识别系统和方法
CN108230261A (zh) * 2016-12-09 2018-06-29 通用电气公司 基于自动器官识别的全自动图像优化

Also Published As

Publication number Publication date
US20170262982A1 (en) 2017-09-14
JP7163195B2 (ja) 2022-10-31
US10964424B2 (en) 2021-03-30
RU2740698C2 (ru) 2021-01-19
EP3426158A1 (en) 2019-01-16
WO2017156329A1 (en) 2017-09-14
KR20180130511A (ko) 2018-12-07
CN109362221A (zh) 2019-02-19
RU2018135297A3 (zh) 2020-06-30
AU2017230722A1 (en) 2018-10-04
AU2017230722B2 (en) 2022-08-11
RU2018135297A (ru) 2020-04-09
CA3016903A1 (en) 2017-09-14
JP2019509871A (ja) 2019-04-11
US20210272679A1 (en) 2021-09-02
KR102425141B1 (ko) 2022-07-26

Similar Documents

Publication Publication Date Title
US20210272679A1 (en) Ultrasound image recognition systems and methods utilizing an artificial intelligence network
US11354791B2 (en) Methods and system for transforming medical images into different styled images with deep neural networks
CN108685560B (zh) 用于机器人内窥镜的自动化转向系统和方法
Droste et al. Automatic probe movement guidance for freehand obstetric ultrasound
US20210077068A1 (en) Systems and methods for automated ultrasound image labeling and quality grading
TW201912114A (zh) 用於收集超音波資料的方法和設備
KR20190060606A (ko) 의료 영상 진단 장치 및 방법
JP2019521745A (ja) ユーザによる超音波装置の操作を援助するための自動画像取得
KR20190109141A (ko) 의료 영상 장치, 그 제어 방법, 및 컴퓨터 프로그램 제품
EP3420913B1 (en) Ultrasound imaging apparatus and control method thereof
CN111345847B (zh) 基于组织密度管理波束成形参数的方法和系统
US20210330285A1 (en) Systems and methods for automated physiological parameter estimation from ultrasound image sequences
AU2020340234A1 (en) System and method for identification, labeling, and tracking of a medical instrument
KR20190001489A (ko) 초음파 영상장치 및 그 제어 방법
CN114947932A (zh) 一种超声成像方法及超声成像系统
US20230111601A1 (en) Assessing artificial intelligence to assess difficulty level of ultrasound examinations
EP3970623A1 (en) Ultrasonic imaging apparatus and display method therefor
Correia Robotic-assisted approaches for image-controlled ultrasound procedures
da Costa Correia Robotic-assisted Approaches for Image-Controlled Ultrasound Procedures

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination