CN109758178A - 超声成像中的机器辅助工作流 - Google Patents

超声成像中的机器辅助工作流 Download PDF

Info

Publication number
CN109758178A
CN109758178A CN201811330956.2A CN201811330956A CN109758178A CN 109758178 A CN109758178 A CN 109758178A CN 201811330956 A CN201811330956 A CN 201811330956A CN 109758178 A CN109758178 A CN 109758178A
Authority
CN
China
Prior art keywords
segmentation
scanning
workflow
mark
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811330956.2A
Other languages
English (en)
Other versions
CN109758178B (zh
Inventor
B.拉奥
I.M.古拉卡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Medical Solutions USA Inc
Original Assignee
Siemens Medical Solutions USA Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Medical Solutions USA Inc filed Critical Siemens Medical Solutions USA Inc
Priority to CN202210597599.6A priority Critical patent/CN114903522A/zh
Publication of CN109758178A publication Critical patent/CN109758178A/zh
Application granted granted Critical
Publication of CN109758178B publication Critical patent/CN109758178B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/469—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/488—Diagnostic techniques involving Doppler signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5292—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves using additional data, e.g. patient information, image labeling, acquisition parameters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/54—Control of the diagnostic device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/523—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for generating planar views from image data in a user selectable plane not corresponding to the acquisition plane
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30084—Kidney; Renal

Abstract

本申请涉及超声成像中的机器辅助工作流。通过在监视或不监视视野的改变的情形下使用计算机辅助分类和/或计算机辅助分割，可以使得用于超声成像的工作流更高效。分类和/或分割用于执行构成超声检查的一系列动作中的下一个动作。超声扫描仪不是要求用户确定动作并实现动作，而是基于成像的对象的标识和/或位置确定和实现动作。例如，使用机器学习分类器将对象标识为肾脏触发颜色流扫描，并且对象的位置确定对颜色流感兴趣的区域（ROI）的放置，避免用户必须执行ROI启动和/或放置并且提高工作流效率。

Description

超声成像中的机器辅助工作流
背景技术
本实施例涉及超声成像。机器学习在解决图像分类和分割方面已经取得了巨大进步。例如，深度卷积神经网络可在超声中的硬视觉识别任务上实现合理的性能，在某些域中匹配或超过人类性能。从超声图像分类或分割用于向医师提供更多信息以用于诊断、预后或治疗。
自动分类或分割可辅助超声检查者（sonographer）减少用于检查患者的一些时间。患者人数不断增加和老化正在创造对改善的卫生保健效率的需求。从增加的患者吞吐量、减少检查时间并通过重复运动减少用户压力的观点来看，这导致对超声成像工作流改善的巨大需要。尽管超声检查和自动分割的标准化可能有所帮助，但是可发现减少检查时间和由此产生的用户压力的更高效率。
发明内容
通过介绍的方式，以下所述的优选实施例包括用于针对超声扫描仪的机器辅助的工作流辅助的方法、指令和系统。使用计算机辅助分类和/或计算机辅助分割（在监视或不监视视野的改变的情形下），可以使得用于超声成像的工作流更高效。分类和/或分割用于执行构成超声检查的一系列动作中的下一个动作。超声扫描仪不是要求用户确定动作并实现动作，而是基于成像的对象的标识和/或位置确定和实现动作。例如，使用机器学习分类器将对象标识为肾脏触发颜色流扫描，并且对象的位置确定对颜色流感兴趣的区域（ROI）的放置，避免用户必须执行ROI启动和/或放置并且提高工作流效率。
在第一方面，提供一种用于针对超声扫描仪的机器辅助的工作流辅助的方法。用超声扫描仪的超声换能器扫描患者的内部区域。扫描在正在进行的超声检查中重复。在正在进行的超声检查期间应用于来自扫描的扫描数据的机器学习分类器标识内部区域中的对象。基于对象的标识选择机器学习分割器。该选择发生在正在进行的超声检查期间。选择的机器学习分割器在正在进行的超声检查期间分割扫描数据中的对象。超声扫描仪基于对象的分割而实现工作流中的下一个动作。在正在进行的超声检查期间并且在分割与实现之间没有对超声扫描仪的用户输入的情形下，实现下一个动作。超声扫描仪生成对象的图像。
在第二方面，提供一种用于超声成像中的机器辅助的工作流辅助的系统。超声扫描仪被配置成采用换能器、用超声扫描患者的区域。扫描在患者的检查期间重复。图像处理器被配置成：应用来自扫描的扫描数据的区域的一个或多个对象的计算机辅助分类，基于分类而应用一个或多个对象的计算机辅助分割，并且基于一个或多个对象的分割而变更超声扫描仪的操作。操作的变更是用于患者的检查的工作流中的下一个步骤。显示器可操作以用图形显示区域的图像，该图形示出工作流中的变更和/或下一个步骤。
在第三方面，提供一种用于针对超声扫描仪的机器辅助的工作流辅助的方法。超声扫描仪扫描患者，作为用于超声检查患者的工作流的一部分。该工作流包括一系列动作。超声扫描仪监视扫描的视野的变化。响应于该变化，用机器学习网络从扫描检测对象。该检测包括标识对象和/或定位对象。在没有用户控制的情形下，变更超声扫描仪的操作以沿着工作流的顺序递增。该变更基于对象的标识和/或位置。
本发明由下面的权利要求限定，并且该部分中的任何内容均不应当被视为对那些权利要求的限制。该发明的进一步的方面和优点在以下结合优选实施例被讨论，并且可在以后被单独或组合地要求保护。
附图说明
组件和附图不一定按比例，而是将重点放在图示该发明的原理上。此外，在附图中，相同的附图标记在整个不同的视图中指定对应的部件。
图1是用于针对超声扫描仪的机器辅助的工作流辅助的方法的一个实施例的流程图；
图2是用于针对超声扫描仪的机器辅助的工作流辅助的方法的另一个实施例的流程图；
图3图示用于超声检查的示例性基本工作流；
图4图示示例性超声图像，该图像具有被放置为工作流中的下一个动作的感兴趣的区域指示符；
图5图示示例性超声图像，该图像具有被放置为工作流中的下一个动作的测量卡尺指示符；以及
图6是用于针对超声成像的机器辅助的工作流辅助的系统的一个实施例。
具体实施方式
应用图像识别，不仅是为了识别，而是为了辅助和改善超声成像工作流。基于机器学习的技术在图像分类和分割中已经越来越成功。同时，对改善的患者吞吐量的需求已经增加。图像识别用于改善并且辅助超声成像工作流，以用于增加的患者吞吐量和效率。
在一个实施例中，利用基于机器学习的图像分类和分割技术来辅助并且改善超声成像工作流。基于病理学标识建议和/或实现与标准工作流的偏差。与在事实之后提供分类相反，图像分类和分割在实况扫描期间发生以在实际实况检查期间提供实时工作流辅助。与由用户手动输入相反，实时操作允许由超声扫描仪自动加载预设、测量和注释。实现基于病理学检测的自动工作流修改，并且超声扫描仪在进行任何工作流修改时清楚地和用户通信。
图1示出用于针对超声扫描仪的机器辅助的工作流辅助的方法。在患者的超声检查期间，执行一系列动作。响应于患者的内部区域中的一个或多个对象的分类和/或分割而执行动作中的至少一些。超声扫描仪响应于计算机辅助分类和/或分割而自动执行动作，允许用户避免变更超声扫描仪来实现该动作。
图2示出图1的方法的另一个实施例。可针对相对于患者的稳定视野重复分割。当视野显著变化时，应用一个或多个分类器来标识视野中的对象并选择适当的分割。响应于标识和/或分割而执行依赖于对象的标识和/或分割的工作流的动作，而无需用户控制。
该方法由图6的系统或不同的系统实现。例如，超声成像系统使用波束形成器和换能器生成超声图像。超声成像系统的图像处理器应用计算机辅助检测以标识和/或分割对象，并响应于标识和/或分割而在检查工作流中实现动作。波束形成器、存储器、检测器、和/或其它设备可用于获取数据、执行动作中的一个或多个、和/或输出数据。图像处理器可控制设备以执行图1和/或2的方法。
可提供附加的、不同的或更少的动作。例如，在动作40中执行该方法而不生成图像。作为另一个示例，在动作30中执行计算机辅助检测而无需具体动作32-36。在又一个示例中，未提供动作28，诸如在其中执行分类和/或分割而不管视野中的任何变化。在其它示例中，提供动作32而无需动作34和36，或反之亦然。
以所述或所示的次序（例如，上到下或数字）执行动作，但是可按其它次序执行动作。例如，在由动作32的分类标识之前执行动作36的分割。作为另一个示例，可在动作32之后执行对动作28的变化的监视。
在动作26中，超声扫描仪用超声换能器扫描患者的内部区域。超声扫描仪生成患者的超声图像。通过扫描患者而生成图像。
可生成任何类型的超声扫描和对应的图像，诸如B模式、流程或颜色模式（例如，多普勒速度或功率）、造影剂、谐波、脉冲波多普勒（即，频谱多普勒）、M模式、多普勒组织（即，组织运动）或者表示与患者的声学交互的其它超声成像模式。不同的模式检测不同类型的信息，诸如声学返回的强度（例如，B模式和M模式）、或者速度（例如，流程模式或多普勒组织）。
扫描采样视野。电子转向、换能器相对于患者的位置、和/或换能器的结构定义正被扫描的视野。视野是患者内部的点、线、面积或体积。视野的深度（即，针对该视野，离换能器的距离）由波束形成器设置。
任何解剖结构、插入的对象或者异常都可能在视野中。例如，超声检查者正在对特定器官（例如肾脏或心脏）执行超声检查。其它对象包括插入的设备（例如，导管或支架）。异常是对于器官或患者不典型的组织或流程模式，诸如病变、囊肿或反流。
重复扫描以在检查时段内（诸如在五到二十分钟的检查内）继续对患者成像。移动换能器和对应的视野以在调查模式中定位感兴趣的对象。一旦定位了器官，扫描就继续。扫描的类型可能变化，这取决于在该区域中发现的内容或由于在不同时间检查不同对象。用于检查的工作流可要求不同类型的扫描或相同的扫描以用于执行其它动作，诸如测量。重复是连续的，诸如一秒扫描视野五次、十次、二十次或更多次。在超声检查者执行工作流中的动作的同时，可发生在单次访问或预约期间、在正在进行的患者的超声检查期间的扫描暂停。
在正在进行的超声检查期间，工作流可包括各种步骤。具有或不具有分支决策的步骤的序列或决策树指导超声检查。每个动作典型地由超声检查者执行。超声检查者控制超声扫描仪以使步骤发生，诸如手动跟踪用于分割的边界，在显示的图像上定位框以用于ROI放置，注释图像，选择测量，指示测量位置，启动测量，启动图像存储，选择患者病历和/或命名图像。任何给定步骤都可以是自动化的，诸如分割图像。这种自动化可加快工作流。通过基于当前步骤的自动实现触发和实现工作流中的下一个步骤的至少一部分来提供进一步的自动化。分割和/或分类用于至少部分地触发和实现工作流中的一个或多个其它步骤。
工作流对于超声检查者、医院或医疗实践的指南、专业组织的指南、或者待执行的用于给定类型的超声检查的其它动作的布置可以是唯一的。可在工作流中提供任何级别的细节。工作流序列从检查开始（诸如最初从选择用于规定的检查的适当换能器开始）到检查结束（诸如存储或发送结果）寻址待执行的动作。
图3示出用于腹部超声检查的示例性基本工作流。在步骤50中，执行初始扫描以定位感兴趣的解剖结构（例如，肾脏、膀胱或肝脏）。在定位解剖结构时，在步骤52中存储代表性图像。然后在步骤54中测量解剖结构。测量可包括放置感兴趣的区域（ROI），并用不同类型的超声扫描（例如，颜色流）测量，或放置卡尺以测量尺寸（例如，长度、面积或体积）。在步骤56中，存储测量。其它工作流包括待执行的其它动作或更详细的步骤。示例性工作流步骤包括配置超声扫描仪以存储图像、回顾图像、进行测量、更新患者记录、注释图像、改变扫描参数（例如，发送频率、接收频率、视野深度和/或扫描的类型）、改变扫描预设或应用（例如，从肝脏扫描切换到病变扫描）、放置多普勒门、定位病理学、注释图像和/或发送结果。这些各种步骤提供或导致提供将用于诊断、预后和/或治疗的信息，但是对于超声检查者实现来说各种步骤花费时间。不是仅仅使已知步骤自动化，而是基于分类和/或分割来执行实时自动实现。
平面或体积的每个扫描提供一帧扫描数据。可从每个帧生成图像。扫描数据是成像数据。图像可以是可用于成像的扫描数据、经格式化以用于显示的数据和/或显示的图像。在持久性或其它复合的情形下，可从多个帧生成图像。创建数十、数百或数千帧和/或图像以用于在一次检查中（例如，在给定的患者对超声检查者的访问期间）检查患者。
在执行动作30的同时，继续或重复动作26的扫描。例如，扫描以动作32的标识，动作34的选择、动作36的分割、以及动作38的实现继续。在实况扫描期间，实时执行对象检测。为了辅助工作流，检测与连续扫描一起实时发生。与动作26的扫描一起实时的动作30的检测在实况扫描期间或在患者的给定超声检查期间提供用于工作流增强的解决方案。
在动作28中，超声扫描仪监视扫描视野的变化。由于换能器和/或患者移动，换能器的视野可从患者的一个区域移位到另一个区域。该动作是有意的，诸如以调查患者，或者是无意的，诸如由于超声检查者紧张或患者移位。
一旦发现区域或对象，换能器就可相对于患者保持在适当位置以继续扫描区域或对象，以用于更详细地检查和/或执行工作流的步骤。尽管视野被维持在区域或对象处，但是一些动作可能不需要重复。例如，不重复从动作32标识对象。在一些检查之后，视野可移位。移位可导致需要重复动作32的标识，因为不同的对象可能在视野中。例如，图2示出取决于视野的变化的量的方法的分支，其中对于大变化，执行动作32，并且对于小变化或没有变化，跳过动作32和34。在动作28中检测变化的量。将该量和阈值比较，以区分较大变化（例如，视野的变化）与较小变化（例如，由于生理或偶然的超声检查者或患者运动引起的变化）。为了启动该方法，在完成患者的调查以发现对象之后或在调查期间执行动作32以指示成功发现对象。
可使用对视野的变化的水平的任何监视。例如，执行最近获取的时间上相邻的扫描数据帧之间的相关性（例如，绝对差的最小和或者互相关性）。作为另一个示例，相关性在模板或参考扫描数据帧与最近获取的扫描数据帧之间。可使用变化的水平的其它测量，诸如用磁或其它位置传感器跟踪换能器运动。
将变化的量或水平和阈值比较。当变化的水平低于阈值时，发生小变化。当变化的水平高于阈值时，发生大变化。对于阈值水平的变化，可将变化视为大或小。超声扫描仪使用阈值来标识变化的水平。可使用变化的模式，诸如在时段（例如，10秒）内为稳定的视野标识跟随有小变化的大变化。该模式指示视野移位到新区域并且对检查新区域的兴趣。从一个或多个阈值标识模式。
改变的阈值和/或模式将实时图像移动检测链接到动作30的检测。例如，响应于变化的水平高于阈值而执行动作32的标识、动作34的选择以及动作36的分割（即，具有或不具有后续稳定定位的视野的变化），并且响应于变化的水平低于阈值而执行动作36的分割而不重复动作32的标识和动作34的选择（即，继续扫描先前的视野和对应的先前标识的一个或多个对象）。
在动作30中，超声扫描仪从扫描检测对象。检测是对象的分类（例如，标识）和/或位置（例如，分割）。在一个实施例中，以任何次序执行分类和位置检测两者。
响应于确定的变化或变化的模式而执行检测。替代地，周期性地、连续地或响应于另一个触发而执行检测。执行或不执行动作28的监视。
超声扫描仪或图像处理器将计算机辅助检测应用于通过扫描获取的序列中的每一个、一个、子集或所有帧或图像。可应用任何现在已知的或以后开发的计算机辅助检测。例如，模式匹配用于确定指示器官、解剖学界标、插入的设备和/或异常（例如，肿瘤或囊肿）的图案是否位于帧或图像中。作为另一个示例，应用阈值处理、随机游走或其它图像处理。
为了更快速的检测，可应用机器学习检测器或网络。在一个实施例中，机器学习检测器是深度学习的神经网络。可使用任何机器学习或培训。可使用概率提升树、支持向量机、神经网络、稀疏自动编码分类器、贝叶斯网络、或者其它现在已知或以后开发的机器学习。可使用任何半监督、监督或无监督学习。可使用分层或其它方法。
对于机器学习网络的机器训练和应用，从扫描数据的样本中提取任何数量的特征的值。提取用于在扫描数据中表示的组织的纹理的值。组织的纹理由扫描数据的测量表示。
每个特征定义用于与数据卷积的内核。卷积的结果是特征的值。通过将内核放置在不同位置处，提供用于在不同位置处的该特征的值。给定一个特征，计算在不同位置处的该特征的值。可使用用于除卷积之外的其它纹理信息的特征，诸如标识最大值或最小值。可使用除纹理信息之外的其它特征。
在一个实施例中，手动设计特征。基于程序员的经验或测试预先确定待使用的一个或多个特征。示例性特征包括缩放的不变特征变换、定向梯度的直方图、局部二元模式、灰度共生矩阵、Haar小波、可操纵（steerable）或其组合。特征提取从超声图像中计算特征以更好地捕获区分一个或多个器官或区域的信息。
在另一个实施例中，使用深度学习的特征。从扫描数据中提取值，以用于从机器学习中学习的特征。深度机器学习学习在训练数据以及训练检测器中表示的特征，而不是仅从手动指定的特征训练检测器。相关特征被自动确定为训练的一部分。该能力允许对可内部确定诸如纹理之类的特征的任意数据（即，具有已知结果的训练数据）的通用训练。通过用标记的结果（即，用于检测的基础事实（例如，对象的身份或位置））训练网络，网络学习什么特征是相关的或者对于检测来说可被忽略。
可使用任何深度学习方法或架构。例如，使用卷积神经网络。网络可包括卷积、子采样（例如，最大池化）、完全连接的层和/或其它类型的层。通过使用卷积，待测试的可能特征的数量受到限制。完全连接的层操作，以在最大池化之后完全连接如由卷积层限制的特征。可将其它特征添加到完全连接的层，诸如非成像或临床信息。可提供层的任何组合。
在有或没有深度学习的情况下，训练机器学习网络以将分类标签（输出标识和/或分割）与一个或多个特征的提取值相关联。机器学习使用具有基础事实的训练数据（诸如用于从针对具有已知对象和/或分割的患者的数据帧提取的特征的值），以基于输入特征向量学习检测。由此产生的机器学习网络是用于输入、加权和组合以输出检测的矩阵。使用一个或多个矩阵，图像处理器输入针对特征提取的值并输出检测。
除扫描数据之外的附加信息可用于检测。例如，使用用于患者的临床测量的值。训练检测器以基于针对扫描数据以及附加测量中的特征提取的值来检测。遗传数据、基于血液的诊断、家族史、性别、体重和/或其它信息是作为特征的输入。
在计算机辅助检测基于机器学习的情况下，可使用自学习或反馈学习。一旦医师回顾检测的对象并指示检测是否正确，该指示和样本稍后就可用作训练数据。该信息可用作进一步的训练数据，以用附加的基础事实重新学习或更新检测器。
不同的计算机辅助检测器可检测不同类型的对象和/或不同情况下的对象。可将多个检测器应用于每个帧。在一个实施例中，基于检查的类型选择待应用的检测器。例如，用户配置超声扫描仪以用于乳房检查。选择和应用用于检测乳房中的可疑对象（例如，肿瘤和/或囊肿）、用于检测具体的乳房解剖结构或界标、和/或用于检测乳房的一个或多个检测器。作为另一个示例，用户配置超声扫描仪，用于乳房检查以检测癌症。选择用于检测乳房中的癌症对象的一个或多个检测器。选择是通过处理器自动的，或者用户选择检测器。在另一个实施例中，检测器检测不同的解剖结构，使得发生检测以用于扫描患者的任何区域。应用检测不同对象的一个检测器和/或二进制检测器的层次结构。
检测器分类（例如，标识）和/或分割一个或多个对象。例如，一个或多个机器学习分类器标识在扫描数据中表示的一个或多个对象。分类器从提取的特征值中分类患者的器官或区域。该值被输入到由图像处理器实现的机器学习分类器。通过应用分类器，分类在扫描数据中表示的器官或其它对象。作为另一个示例，一个或多个机器学习分割器定位在扫描数据中表示的一个或多个对象。分割器从提取的特征值中确定位置，诸如属于器官、边界和/或中心的所有组织。该值被输入到由图像处理器实现的机器学习分割器。提供不同的机器学习检测器或网络以用于分类和分割。替代地，训练一个检测器以既分类又分割。
在帧或图像的获取期间（即，在扫描和/或超声检查期间）应用计算机辅助检测。该应用是实时的。处理帧的时段等于或小于获取有限数量的新帧（诸如仅一帧、两帧、五帧或十帧）的时段。实时应用允许应用在创建扫描的一秒或两秒内发生。机器学习检测器可比模板匹配或其它检测更快地操作。
动作32、34和36示出动作30的一个示例性检测。图2示出用于这三个示例性检测动作的进一步处理流程。在动作32中，用机器学习或其它计算机辅助分类器标识对象，然后在动作34中基于标识选择机器学习分割器，并且然后用选择的机器学习或者其它计算机辅助分割器分割标识的对象。在其它实施例中，仅执行动作32，仅执行动作36，或者执行动作32和36而没有动作34。
在动作32中，超声扫描仪或图像处理器标识患者的内部区域中的一个或多个对象。通过将机器学习分类器应用于扫描数据（即，输入用于从扫描数据导出的特征向量的值），标识一个或多个对象。在一个实施例中，基于ImageNet的分类器用于标识。
在任何数量的帧或图像中标识一个或多个对象。在计算机辅助表征与扫描一起实时运行的情况下，在扫描期间标识一个或多个对象。可训练机器学习分类器以对区域中的多个对象进行分类。替代地，可训练机器学习分类器以标识一个特定对象。可应用多于一个机器学习分类器来标识多个对象。基于成像应用或用于扫描的预设来选择一个或多个机器学习分类器，诸如基于执行肝脏扫描来应用对象是否是肝脏的分类器。
标识是对象的。确定标识对象的标签。例如，确定一种类型的器官或解剖学界标（例如，肾脏或颈动脉，或者左心室尖）。作为另一个示例，导管被标识为导管。在又一个示例中，标识异常。异常可被标识为异常或更具体地（例如，囊肿、肿瘤或癌症）。
在动作34中，超声扫描仪或图像处理器选择机器学习分割器。机器学习分割器被训练成具体类型或特定对象，诸如肾脏分割器。替代地，训练分割器以分割多于一种类型的对象。
选择基于对象的标识。分类器确定视野包括一个或多个特定对象。选择对应的一个或多个分割器以用于分割一个或多个对象。例如，选择导管、器官或解剖学界标的机器学习分割器。
在正在进行的超声检查期间发生选择。在患者正被扫描的同时执行分类。类似地，在分类之后的非常短的时间（a fraction of a second）内并且在患者正被扫描的同时发生选择。可发生不太快速的选择，诸如在对其它对象执行其它分类的同时的几秒钟内。
机器学习分割器的选择是一个或多个矩阵的选择。每个分割器可使用不同的网络架构。可获得针对不同对象训练的一组分割器，并且基于分类选择一个或子集。替代地，相同或相似的架构用于不同的分割器和/或分类器。不同的分割器和/或分类器具有不同的权重。选择是针对网络的节点的权重。在一个实施例中，一个网络被良好地训练以用于分割心脏，并且另一个网络被良好地训练以用于分割腹部的一个或多个器官（即，肝脏、脾脏、肾脏）。通过选择向网络或训练的网络部署哪些权重，应用适当的网络以用于分割。
在动作36中，超声扫描仪或图像处理器分割扫描数据中的对象。应用选择的机器学习分割器。在一个实施例中，使用基于SegNet的机器学习分割器。提取针对特征的值并将该值输入到机器学习分割器。在使用深度学习的情况下，分割器提取针对特征的值。
在正在进行的超声检查期间应用分割器。在从分割器的选择开始的非常短的时间或几秒内，应用分割器并输出位置信息。在获取下一帧扫描数据的同时或在获取十或二十帧的时间内，应用分割器。可提供更多或更少的快速应用。
可继续应用分割器。随着通过重复扫描获取每个新的数据帧，应用分割器。为每个帧提供位置信息。这继续直到视野中存在大变化或者变化的模式。一旦视野稳定化，就将相同或不同的分割器应用于每帧扫描数据。在替代实施例中，将分割器应用于在正在进行的检查中获取的帧的每个其它或另一个子集。
机器学习分割器指示对象的位置。分类器标识视野中的对象，并且分割器确定对象在视野中的位置。该位置是边界、二元掩模（即，属于对象的每个像素、体素或样本点）、中心、空间范围（例如，拟合近似或模型形状）、或者空间位置、取向和/或规模（scale）的其它表示。机器学习分割器基于针对特征向量的输入值确定对象的位置，这样的值是从针对一个或多个帧的扫描数据中提取的。
在动作38中，超声扫描仪或图像处理器基于对象的分割和/或分类而实现工作流中的下一个动作。该实现在检测、分类和/或分割与实现之间无需用户输入。变更超声扫描仪的操作以沿着工作流的顺序递增，而没有变更的用户控制。用户或图像处理器可选择工作流，诸如基于分类而选择。在递增到工作流的步骤中的至少一个期间，超声扫描仪执行全部或部分步骤而无需用户输入激活或其它信息来执行该部分。例如，ROI或测量指示符被放置在图像上，并且在分割之后执行ROI扫描或测量，而用户不必放置ROI或测量指示符和/或用户不必激活ROI扫描或测量。一旦已经成功地标识和/或分割了解剖结构，就利用身份或位置信息来通过避免至少一个用户与超声扫描仪的交互而为用户改善成像工作流。这允许用户继续关注扫描，扫描的结果的可视解释以及监视检查。
工作流的任何数量的步骤可由身份和/或位置信息触发和/或使用身份和/或位置信息。具有足够信息以被触发和/或执行的任何给定步骤发生而无需用户输入。在正在进行的超声检查期间实现工作流的接下来的一个或多个动作。自动执行将在正在进行的超声检查的一系列动作中采取的动作。
超声扫描仪的操作的变更以实现工作流中的步骤或动作是基于对象的标识和/或位置。下一个动作可能是更集中扫描对象，所以使用标识和位置两者。超声扫描仪被配置成扫描对象。例如，基于标识和位置（例如，心脏的反流流动区域中的位置）定位多普勒门。在进入多普勒或光谱成像模式中时，门被自动定位在血管中，和/或门被定位，并且多普勒或光谱成像模式被启动，而用户不必定位和/或启动。作为另一个示例，变更成像或扫描预设。用户可能已经最初选择了配置超声扫描仪进行扫描的预设，诸如选择肝脏成像。标识和/或位置可用于选择适合于标识的对象和/或位置的更精细的一组预设，诸如选择用于相对于其它器官成像具有特定形状和/或位置的肝脏的预设。作为另一个示例，用户可能已经选择了用于心脏系统成像的预设，并且然后图像处理器变更预设以用于成像特定标识的动脉、心室和/或瓣膜。在又一个示例中，位置信息指示血管或流体区域的取向。变更用于流动成像的扫描配置以使波束更加沿着流动的方向转向和/或包括速度校正以考虑从换能器到流动的方向的扫描线的角度。由于标识和/或位置确定以及工作流的自动增量，可避免用户必须在扫描期间执行这些动作。
下一个动作可能是存储扫描数据的图像或帧。例如，标识用于触发感兴趣的对象的代表性图像的存储。作为另一个示例，在标识之后定位对象可用于触发用分割、标识和/或测量信息注释的对象的图像的存储。先前输入的患者信息用于将一个或多个图像自动存储在患者的病历中。发生自动图像存储，而用户不必触发和/或输入其它信息，节省用户的时间和精力。
下一个动作可能是测量。基于对象的标识，加载或实现相关的一个或多个测量。通过预加载，可避免用户必须选择执行哪些测量。通过实现，可避免用户必须激活。不是用户必须放置卡尺或追踪边界和/或必须激活测量，而是超声扫描仪使用分割将卡尺放置在给定的界标处或作为轨迹并激活测量。图4和图5示出示例，其中标识肾脏并且基于标识的肾脏的分割而自动执行最大长度测量。图4和图5将测量的指示示为卡尺的自动放置和卡尺之间的线。基于标识和/或位置执行标识的对象的测量，而无需用户控制工作流中的测量步骤。
下一个动作可能是图像的注释。任何注释可被包括在工作流中，诸如用解剖结构的标识标记图像，示出分割（例如，用颜色突出显示对象或用不同颜色突出显示不同对象，提取对象，或示出边界轨迹），和/或指示测量的值。注释是字母数字文本和/或其它图形。基于标识和/或位置将注释添加到显示的图像，而用户不必添加注释。可基于对象的位置来定位注释。
下一个步骤可以是血管或流体区域边界的标识和/或颜色流扫描。位置信息提供边界，允许用流信息和B模式进行颜色流扫描，该流信息正被示出以用于边界内的位置，该B模式正被示出以用于其它位置。不是用户必须标识和跟踪血管或流体区域并且然后激活颜色流成像，而是超声扫描仪使用标识和/或分割来建立相对于B模式位置的流显示容积（containment）并激活流扫描。
下一个动作可能是放置ROI。标识指示感兴趣的对象在视野中。位置信息指示将在其中或其周围放置ROI的对象的位置。例如，使用对象的边界。放置ROI以覆盖具有该边界以外的任何公差的边界。来自分割的对象的位置、边界和/或大小用于定位ROI。图4示出ROI作为放置在整个肾脏周围或包围整个肾脏的框的示例。不是用户必须标识肾脏并且与用户界面交互以放置ROI，而是超声扫描仪实现ROI（诸如颜色感兴趣的区域）的放置。ROI用于不同类型的成像或扫描，诸如颜色流。给定扫描仪放置ROI，可同样开始基于ROI的扫描而无需用户启动。彩色多普勒成像以位于感兴趣的解剖结构处的ROI自动开始。
连续实时分割可另外提供跟踪信息以允许随着探针或患者移动而更新ROI位置。基于重复对后续扫描数据帧的分割，在解剖学界标上维持ROI或其它位置（例如，多普勒门位置）。
下一个动作可能是变更扫描的深度。发送波形的频率也可随深度而变更。更高的频率衰减得更快，但提供更好的分辨率。通过将频率和深度匹配，提供更优化的扫描。对象（例如，隔膜）的标识和该对象的位置可用于建立深度。视野的深度被变更为工作流中的一个步骤，以精细化检查。图5示出其中超声检查用于研究肾脏的示例。标识和定位隔膜（通常由椭圆指定）。减小扫描的深度以避免扫描深度超过隔膜，导致用于肾脏成像的更多细节。在其它实施例中，肾脏的最深程度用于建立深度。不是用户必须进行深度改变，而是自动发生深度改变。
下一个动作可与异常的标识相关联（即，标识病理学）。例如，分类器在肝脏、肾脏或乳房检查期间标识病变或肿瘤。工作流包括将在检测异常时执行的步骤的分支。基于分类器的检测触发步骤的分支的实现。步骤可包括围绕病理学的ROI或放大框（例如，Res框）的放置，测量病理学（例如，大小、形状、流程和/或弹性）的测量，病理学的注释，示出病理学的图像的存储，或者其它步骤。超声扫描仪基于病理学的标识和/或位置执行步骤中的一个或多个，而用户不必控制步骤。
步骤中的部分可以是自动化的，诸如示出可能在用户界面上执行以供用户选择的测量的列表。用户不必激活列表的显示。可使用变化的模式，诸如一旦视野在病理学或对象处稳定，就依次实现测量、注释和图像存储而无需用户输入。可提供其它步骤次序，诸如基于图像存储的完成而将量化工作流自动推进到下一个任务。
在图1的动作40中，超声扫描仪或图像处理器生成对象的图像。成像可对应于扫描，使得获取的每个扫描数据帧用于生成图像。可从扫描中生成针对仅仅一个或少于所有帧的图像。
生成的图像可响应于待自动实现的下一个动作的执行或开始执行。由于用户不是正在实现工作流上的步骤，因此向用户提供超声扫描仪正在实现该动作的视觉指示。例如，注释、测量位置、测量结果或ROI被包括在图像中。作为另一个示例，包括保存到患者的病历或图像存储的确认。在又一个示例中，显示用于设置的值（例如，预设值、视野深度或扫描设置）。可在图像或用户界面上提供没有细节的改变的通知。
工作流中的下一个步骤的执行由文本或其它图形示出。线、框或其它图形指示工作流中的一个或多个步骤的执行或执行结果。可显示表示具有突出显示的当前步骤和/或与未完成的步骤区分的完成的步骤的工作流的图形。
标识和/或位置信息可被包括在图像上。例如，添加颜色着色。不同的对象被不同地着色，或者给定的对象被着色（在其它对象没有被着色的情形下）。标记、线、框或其它图形可用于示出分割。可使用用于标识的注释。
由于基于分类和分割的工作流的自动化，可更快速地执行工作流中的一个或多个步骤。减少或避免针对用户登入或配置超声扫描仪的延迟。用户可确认正确的放置、测量或其它信息作为步骤的一部分，但是可避免针对测量的用户初始放置或登入。可能导致每个超声检查者的更大吞吐量。
图6示出用于超声成像中的机器辅助的工作流辅助的系统的一个实施例。该系统是超声扫描仪10，其应用计算机辅助或机器学习分类和分割。超声扫描仪10由机器学习检测器配置以标识对象和/或分割对象。基于分类和/或分割自动实现用于超声检查的工作流的步骤。分类、分割和工作流实现与扫描一起和/或在超声检查期间实时地发生。
超声扫描仪10是医疗诊断超声成像系统。超声扫描仪10被配置成采用换能器14、用超声扫描患者的区域。在患者的检查期间重复扫描。在替代实施例中，超声扫描仪10包括个人计算机、工作站、PACS站或者在相同位置或分布在网络上的其它装置，用于从通过与波束形成器12、16以及换能器14的连接从患者获取的扫描数据实时成像。
超声扫描仪10实现图1的方法、图2的方法或其它方法。超声扫描仪10包括发送波束形成器12、换能器14、接收波束形成器16、检测器18、显示器20、存储器22和图像处理器24。可提供附加的、不同的或更少的组件。例如，提供用户输入以用于调整自动放置和/或用于配置超声系统10以用于用户控制的工作流步骤。
发送波束形成器12是超声发送器、存储器、脉冲发生器、模拟电路、数字电路或其组合。发送波束形成器12被配置成为多个通道生成具有不同或相对幅度、延迟和/或定相的波形。生成波形并将该波形应用于具有任何定时或脉冲重复频率的换能器阵列。例如，发送波束形成器12以线性、扇形或Vector®格式生成用于B模式扫描的脉冲序列。作为另一个示例，发送波束形成器12生成用于颜色流扫描的脉冲序列，诸如在每个扫描线的正在进行的流样本计数中用于为B模式视野内的ROI形成2-12个波束的脉冲。在又一个示例中，发送波束形成器12生成用于弹性或剪切成像的脉冲。发送波束形成器12可生成用于声学辐射力脉动（impulse）的波束。波束的强度导致从焦点生成剪切波或纵波。发送波束形成器12然后生成用于跟踪组织对生成的波的响应的波束。
发送波束形成器12诸如通过发送/接收开关与换能器14连接。在响应于生成的波而从换能器14传输声学波时，在给定的发送事件期间形成一个或多个波束。波束用于B模式、颜色流模式、弹性、剪切波和/或其它成像模式。生成一系列发送波束以扫描一维、二维或三维区域。可使用扇区、Vector®、线性或其它扫描格式。
换能器14是压电或电容膜元件的1维、1.25维、1.5维、1.75维或2维阵列。换能器14包括用于在声学能与电能之间换能的多个元件。例如，换能器14是具有大约64-256个元件的一维PZT阵列。
换能器14与发送波束形成器12连接，用于将电波形转换为声学波形，并且与接收波束形成器16连接，用于将声学回波转换成电信号。为了用超声扫描，换能器14发送声能并接收回波。响应于撞击在换能器14的元件上的超声能量（回波），生成接收信号。
接收波束形成器16包括：具有放大器、延迟和/或相位旋转器的多个通道，以及一个或多个求和器。每个通道与一个或多个换能器元件连接。接收波束形成器16响应于每个用于成像的传输而应用相对延迟、相位和/或变迹法（apodization）以形成一个或多个接收波束。可提供动态聚焦接收。来自不同元件的信号的相对延迟和/或定相以及求和提供波束形成。接收波束形成器16使用接收的声学信号输出表示空间位置的数据。在替代实施例中，接收波束形成器16是用于使用傅立叶或其它变换生成样本的处理器。
接收波束形成器16可包括滤波器，诸如用于相对于发送频带隔离二次谐波、发送（即基波）或其它频带处的信息的滤波器。这样的信息可能更可能包括期望的组织、造影剂和/或流信息。在另一个实施例中，接收波束形成器16包括存储器或缓冲器以及滤波器或加法器。组合两个或更多个接收波束以隔离期望的频带（诸如二次谐波、立方基波或另一个频带）处的信息。
接收波束形成器16输出表示空间或样本位置的波束求和数据。输出用于单个位置、沿线的位置、用于区域的位置或用于体积的位置的数据。响应于区域的完整扫描而波束形成的数据是一帧数据。
检测器18是B模式检测器、多普勒检测器、脉冲波多普勒检测器、相关性处理器、傅立叶变换处理器、滤波器、其它现在已知或以后开发的用于实现超声成像模式的处理器、或者其组合。检测器18提供对成像模式的检测，诸如包括多普勒检测器（例如，估计器）和B模式检测器。
可提供其它后波束形成组件。可包括空间滤波器、时间滤波器和/或扫描转换器。检测器18或其它组件输出显示值，诸如检测，将检测值映射到显示值，并将显示值或检测值格式化为显示格式。
图像处理器24是控制处理器、通用处理器、数字信号处理器、图形处理单元、专用集成电路、现场可编程门阵列、网络、服务器、处理器组、其组合、或者其它现在已知或以后开发的用于检测图像中的对象并控制超声系统10以辅助检查工作流的设备。图像处理器24与检测器18分离或者是检测器18的一部分。作为分离的设备，图像处理器24在任何处理阶段（例如，波束形成、检测、扫描转换、显示映射或图像处理）请求、接收、访问或加载数据以用于检测和控制。图像处理器24由软件、固件和/或硬件配置以执行或使得执行图1或图2的动作。
图像处理器24被配置成随时间监视扫描数据以用于视野的变化。使用相关性或其它方法，变化的量或变化的模式用于确定是基于先前对象标识应用分割还是应用新分割器的选择和分类。图像处理器24被配置成通过响应于变化高于阈值或变化的模式由一个或多个阈值定义应用计算机辅助分类来分类。
图像处理器24被配置成应用来自扫描的扫描数据的区域的一个或多个对象的计算机辅助分类。例如，机器学习分类器被配置成将一个或多个对象标识为器官和/或异常。图像处理器24被配置成基于分类应用一个或多个对象的计算机辅助分割。基于对象的标识选择分割器。分割器可以是机器学习分割器，该机器学习分割器被配置成定位一个或多个器官和/或异常。
图像处理器24被配置成基于一个或多个对象的分类和/或分割来变更超声扫描仪的操作。变更是实现工作流中的接下来的一个或多个步骤以用于患者的检查。工作流是从初始扫描到用超声检查患者的完成的决策树中的一系列步骤。基于与扫描一起实时执行的对象标识和/或分割，决策树中的接下来的一个或多个步骤可由超声扫描仪10在没有或较少的用户交互的情形下（也实时地）实现。例如，超声扫描仪基于并响应于分类和分割而放置感兴趣的区域，改变用于扫描的深度和/或测量一个或多个对象。
图像处理器24或检测器18生成图像或值并将该图像或值输出到显示器20。例如，输出B模式或混合模式（例如，B模式和流程模式）图像。文本、数字指示或图形可被添加并显示给用户。可显示图表。例如，在图像上输出标记检测的对象的注释、将图像指示为包括检测的对象的旗标、测量的导出值、ROI或其它对象相关信息。图像包括工作流中一个或多个步骤的执行或完成执行的指示。可提供其它指示，诸如闪烁按钮。
显示器20是CRT、LCD、监视器、等离子、投影仪、打印机或用于显示图像或图像序列的其它设备。可使用任何现在已知或以后开发的显示器20。每个图像是患者的扫描区域。在图像上输出、与图像一起输出或作为图像的一部分输出其它信息，诸如示出变更的注释（例如，图形）和/或工作流中的步骤的指示（例如，由添加到图像的ROI指示的ROI放置）。显示器20可操作以显示一个图像或一系列图像。显示器20显示二维图像或三维表示。
检测器18、图像处理器24、接收波束形成器16和发送波束形成器12根据存储在存储器22或另一个存储器中的指令而操作。指令配置系统以用于图1的动作的执行。通过被加载到控制器中，通过使得加载值的表格和/或通过被执行，指令配置检测器18、图像处理器24、接收波束形成器16和/或发送波束形成器12以用于操作。
存储器22是非暂时性计算机可读存储介质。用于实现本文讨论的过程、方法和/或技术的指令被提供在计算机可读存储介质或存储器（诸如高速缓存、缓冲器、RAM、可移除介质、硬盘驱动器或其它计算机可读存储介质）上。计算机可读存储介质包括各种类型的易失性和非易失性存储介质。响应于存储在计算机可读存储介质中或存储在计算机可读存储介质上的一组或多组指令，执行附图中图示或本文所述的功能、动作或任务。功能、动作或任务独立于特定类型的指令集、存储介质、处理器或处理策略，并且可由单独或组合操作的软件、硬件、集成电路、固件、微代码等等来执行。同样，处理策略可包括多处理、多任务、并行处理等等。在一个实施例中，指令被存储在可移除介质设备上以用于由本地或远程系统读取。在其它实施例中，指令被存储在远程位置以用于通过计算机网络或通过电话线传送。在又一个其它实施例中，指令被存储在给定的计算机、CPU、GPU或系统内。
尽管已经在上面通过参考各种实施例描述了该发明，但是应当理解：可进行许多改变和修改而不脱离该发明的范围。因此，旨在前述的详细描述被认为是说明性的而不是限制性的，并且应理解：正是包括所有等同物的下面的权利要求才旨在限定本发明的精神和范围。

Claims (20)

1.一种用于针对超声扫描仪的机器辅助的工作流辅助的方法，该方法包括：
用超声扫描仪的超声换能器扫描患者的内部区域，扫描在正在进行的超声检查中重复；
由在正在进行的超声检查期间应用于来自扫描的扫描数据的机器学习分类器标识内部区域中的对象；
基于对象的标识选择机器学习分割器，该选择发生在正在进行的超声检查期间；
由选择的机器学习分割器在正在进行的超声检查期间分割扫描数据中的对象；
由超声扫描仪基于对象的分割而实现工作流中的下一个动作，在正在进行的超声检查期间并且在分割与实现之间没有对超声扫描仪的用户输入的情形下，实现下一个动作；以及
由超声扫描仪生成对象的图像。
2.根据权利要求1所述的方法，其中扫描包括：利用标识、选择、分割和实现连续地扫描，所述标识、选择、分割和实现与连续地扫描一起实时地发生。
3.根据权利要求1所述的方法，其中标识包括：标识内部区域中的器官或插入的设备，并且其中选择包括：选择为器官或插入的设备训练的机器学习分割器。
4.根据权利要求1所述的方法，其中标识包括：标识内部区域中的异常，并且其中实现包括：基于异常实现下一个动作。
5.根据权利要求1所述的方法，其中选择包括：选择为所标识的对象配置机器学习分割器的权重。
6.根据权利要求1所述的方法，其中分割包括：定位对象的边界，并且其中实现包括：根据边界实现。
7.根据权利要求1所述的方法，其中实现包括：将下一个动作实现为配置超声扫描仪以扫描对象、实现为将图像存储在患者的病历中、实现为在对象周围或对象内建立感兴趣的区域、和/或实现为在超声扫描仪的用户界面上进行安排以用于对象的测量。
8.根据权利要求1所述的方法，其中实现包括：将工作流中的下一个动作实现为正在进行的超声检查的一系列动作中采取的动作，该采取的动作正由分割触发。
9.根据权利要求1所述的方法，其中扫描包括B模式扫描，并且其中实现包括：基于对象的标识、来自分割的对象的位置以及来自分割的对象的大小，将下一个动作实现为设置颜色感兴趣的区域。
10.根据权利要求1所述的方法，其中实现包括：基于对象的标识以及来自分割的对象的位置，将下一个动作实现为对扫描的扫描深度的改变。
11.根据权利要求1所述的方法，其中生成图像包括：生成图像，作为对下一个动作的执行的响应。
12.根据权利要求1所述的方法，其中生成图像包括：生成图像，作为用图形示出下一个动作的执行。
13.根据权利要求1所述的方法，进一步包括：检测来自不同时间的扫描数据之间的变化的水平，并且响应于变化的水平高于阈值而执行标识、选择和分割，并且响应于变化的水平低于阈值而在不重复标识和选择的情形下执行分割。
14.一种用于超声成像中的机器辅助的工作流辅助的系统，该系统包括：
超声扫描仪，被配置成采用换能器、用超声扫描患者的区域，扫描在患者的检查期间重复；
图像处理器，被配置成：应用来自扫描的扫描数据的区域的一个或多个对象的计算机辅助分类，基于分类而应用一个或多个对象的计算机辅助分割，并且基于一个或多个对象的分割而变更超声扫描仪的操作，操作的变更是用于患者的检查的工作流中的下一个步骤；以及
显示器，可操作以用图形显示区域的图像，该图形示出工作流中的变更和/或下一个步骤。
15.根据权利要求14所述的系统，其中图像处理器被配置成：随时间监视扫描数据在视野中的变化，并且被配置成：响应于变化高于阈值而应用计算机辅助分类。
16.根据权利要求14所述的系统，其中计算机辅助分类包括：被配置成将一个或多个对象标识为器官和/或异常的机器学习分类器的应用，并且其中计算机辅助分割包括：被配置成定位一个或多个器官和/或异常的机器学习分割器的应用。
17.根据权利要求14所述的系统，其中工作流包括：从初始扫描到用超声检查患者的完成的决策树中的一系列步骤，下一个步骤包括决策树中的步骤中的一个。
18.根据权利要求14所述的系统，其中变更包括：放置感兴趣的区域、改变用于扫描的深度、和/或测量一个或多个对象。
19.一种用于针对超声扫描仪的机器辅助的工作流辅助的方法，该方法包括：
由超声扫描仪扫描患者，作为用于超声检查患者的工作流的一部分，该工作流包括一系列动作；
由超声扫描仪监视扫描的视野的变化；
响应于变化，用机器学习网络从扫描检测对象，该检测包括标识对象和/或定位对象；以及
在没有用户控制的情形下，变更超声扫描仪的操作以沿着工作流的顺序递增，该变更基于对象的标识和/或位置。
20.根据权利要求19所述的方法，其中监视包括：将变化标识为高于阈值，其中检测包括：用机器学习分类器标识对象，并且然后用基于标识选择的机器学习分割器来分割标识的对象，并且其中变更包括：存储具有标识和位置的注释的图像、变更视野的深度、放置感兴趣的区域、和/或放置门。
CN201811330956.2A 2017-11-10 2018-11-09 超声成像中的机器辅助工作流 Active CN109758178B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210597599.6A CN114903522A (zh) 2017-11-10 2018-11-09 超声成像中的机器辅助工作流

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/809802 2017-11-10
US15/809,802 US11264135B2 (en) 2017-11-10 2017-11-10 Machine-aided workflow in ultrasound imaging

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210597599.6A Division CN114903522A (zh) 2017-11-10 2018-11-09 超声成像中的机器辅助工作流

Publications (2)

Publication Number Publication Date
CN109758178A true CN109758178A (zh) 2019-05-17
CN109758178B CN109758178B (zh) 2022-06-21

Family

ID=66335472

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201811330956.2A Active CN109758178B (zh) 2017-11-10 2018-11-09 超声成像中的机器辅助工作流
CN202210597599.6A Pending CN114903522A (zh) 2017-11-10 2018-11-09 超声成像中的机器辅助工作流

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202210597599.6A Pending CN114903522A (zh) 2017-11-10 2018-11-09 超声成像中的机器辅助工作流

Country Status (4)

Country Link
US (1) US11264135B2 (zh)
KR (1) KR102191467B1 (zh)
CN (2) CN109758178B (zh)
DE (1) DE102018218751A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112370078A (zh) * 2020-11-10 2021-02-19 安徽理工大学 一种基于超声成像和贝叶斯优化的图像检测方法
CN113842157A (zh) * 2020-06-26 2021-12-28 美国西门子医疗系统股份有限公司 超声成像中的与图像分类有关的用户界面

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108498118B (zh) * 2017-02-28 2021-08-03 佳能医疗系统株式会社 超声波图像诊断装置、医用图像处理装置以及医用图像处理程序
EP3646240A4 (en) 2017-06-26 2021-03-17 The Research Foundation for The State University of New York SYSTEM, PROCEDURE AND COMPUTER-ACCESSIBLE MEDIUM FOR VIRTUAL PANCREATOGRAPHY
EP3496038A1 (en) * 2017-12-08 2019-06-12 Koninklijke Philips N.V. Registration of static pre-procedural planning data to dynamic intra-procedural segmentation data
US10675005B2 (en) * 2018-08-02 2020-06-09 General Electric Company Method and system for synchronizing caliper measurements in a multi-frame two dimensional image and a motion mode image
US10909677B2 (en) 2019-02-14 2021-02-02 Clarius Mobile Health Corp. Systems and methods for performing a measurement on an ultrasound image displayed on a touchscreen device
FR3099984A1 (fr) * 2019-08-19 2021-02-26 Bay Labs, Inc. Changement de dynamique de mode de guidage d'imagerie par ultrasons
US11844654B2 (en) 2019-08-19 2023-12-19 Caption Health, Inc. Mid-procedure view change for ultrasound diagnostics
FR3099985A1 (fr) * 2019-08-19 2021-02-26 Bay Labs, Inc. Changement de vue à mi-procédure pour diagnostic par ultrasons
EP4010877A4 (en) * 2019-09-18 2023-08-30 The Regents of the University of California METHODS AND SYSTEMS FOR AUTOMATED FREE FLUID DETECTION USING ARTIFICIAL INTELLIGENCE FOR FOCUSED ASSESSMENT SONOGRAPHY FOR TRAUMA (FAST) FOR TRAUMA TREATMENT
EP3839964A1 (en) * 2019-12-19 2021-06-23 Koninklijke Philips N.V. Making measurements in images
US11574485B2 (en) * 2020-01-17 2023-02-07 Apple Inc. Automatic measurements based on object classification
US20220061810A1 (en) * 2020-08-25 2022-03-03 Clarius Mobile Health Corp. Systems and methods for placing a gate and/or a color box during ultrasound imaging
KR102549694B1 (ko) * 2021-01-15 2023-06-29 고려대학교 산학협력단 딥러닝 기반 자동 대흉근 측정 장치 및 그 방법을 실행하기 위한 프로그램이 기록된 기록매체
EP4099338A1 (en) * 2021-06-04 2022-12-07 Koninklijke Philips N.V. Autonomous image acquisition start-stop managing system
WO2023019363A1 (en) * 2021-08-20 2023-02-23 Sonic Incytes Medical Corp. Systems and methods for detecting tissue and shear waves within the tissue
WO2023061693A1 (en) * 2021-10-11 2023-04-20 Koninklijke Philips N.V. Methods and systems for a subject-specific ultrasound workflow recommendation tool
WO2023180321A1 (en) * 2022-03-24 2023-09-28 Koninklijke Philips N.V. Method and system for predicting button pushing sequences during ultrasound examination
WO2023204457A1 (ko) * 2022-04-22 2023-10-26 주식회사 온택트헬스 M-모드 초음파 영상에 대한 정보 제공 방법, 이를 이용한 m-모드 초음파 영상에 대한 정보 제공용 디바이스, m-모드 초음파 영상에 대한 정보 제공 방법 및 이를 이용한 장치

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1839391A (zh) * 2003-06-25 2006-09-27 美国西门子医疗解决公司 用于乳房成像的自动诊断和决策支持的系统和方法
CN1914617A (zh) * 2004-02-03 2007-02-14 美国西门子医疗解决公司 与心脏有关的疾病和病症的自动诊断和决策支持系统和方法
CN1934589A (zh) * 2004-03-23 2007-03-21 美国西门子医疗解决公司 为医学成像提供自动决策支持的系统和方法
CN101061509A (zh) * 2004-11-19 2007-10-24 皇家飞利浦电子股份有限公司 用于医疗成像数据内的肿瘤边界的自动检测和分割的系统和方法
US20100322489A1 (en) * 2009-06-18 2010-12-23 Omisa Inc. System and method for image segmentation
US20130016092A1 (en) * 2011-06-16 2013-01-17 The Medipattern Coproration Method and system of generating a 3d visualization from 2d images
WO2013037702A1 (en) * 2011-09-14 2013-03-21 Siemens Aktiengesellschaft Method and a system for medical imaging
US20140193053A1 (en) * 2011-03-03 2014-07-10 Koninklijke Philips N.V. System and method for automated initialization and registration of navigation system
US20140241606A1 (en) * 2013-02-25 2014-08-28 Seoul National University R&Db Foundation Apparatus and method for lesion segmentation in medical image
CN105026952A (zh) * 2013-02-15 2015-11-04 B-K医疗公司 超声显示
CN105701331A (zh) * 2014-12-11 2016-06-22 三星电子株式会社 计算机辅助诊断设备和计算机辅助诊断方法
CN105938513A (zh) * 2015-03-04 2016-09-14 三星电子株式会社 为计算机辅助诊断提供可靠性的装置和方法
CN106897573A (zh) * 2016-08-01 2017-06-27 12西格玛控股有限公司 使用深度卷积神经网络的用于医学图像的计算机辅助诊断系统
CN107198542A (zh) * 2016-03-18 2017-09-26 美国西门子医疗解决公司 用于检查模式超声成像的警报辅助

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100527315B1 (ko) 2001-11-16 2005-11-09 주식회사 메디슨 지식 기반 조정 수단을 이용한 초음파 영상 진단 시스템
US7244230B2 (en) 2002-11-08 2007-07-17 Siemens Medical Solutions Usa, Inc. Computer aided diagnostic assistance for medical imaging
US20050010098A1 (en) 2003-04-11 2005-01-13 Sigmund Frigstad Method and apparatus for knowledge based diagnostic imaging
US7536044B2 (en) 2003-11-19 2009-05-19 Siemens Medical Solutions Usa, Inc. System and method for detecting and matching anatomical structures using appearance and shape
US7876934B2 (en) 2004-11-08 2011-01-25 Siemens Medical Solutions Usa, Inc. Method of database-guided segmentation of anatomical structures having complex appearances
US7804999B2 (en) 2005-03-17 2010-09-28 Siemens Medical Solutions Usa, Inc. Method for performing image based regression using boosting
US7680312B2 (en) 2005-07-13 2010-03-16 Siemens Medical Solutions Usa, Inc. Method for knowledge based image segmentation using shape models
US7648460B2 (en) 2005-08-31 2010-01-19 Siemens Medical Solutions Usa, Inc. Medical diagnostic imaging optimization based on anatomy recognition
US8170303B2 (en) 2006-07-10 2012-05-01 Siemens Medical Solutions Usa, Inc. Automatic cardiac view classification of echocardiography
US8296247B2 (en) 2007-03-23 2012-10-23 Three Palm Software Combination machine learning algorithms for computer-aided detection, review and diagnosis
US8092388B2 (en) 2007-09-25 2012-01-10 Siemens Medical Solutions Usa, Inc. Automated view classification with echocardiographic data for gate localization or other purposes
US8478052B1 (en) 2009-07-17 2013-07-02 Google Inc. Image classification
WO2012021861A2 (en) 2010-08-13 2012-02-16 Mckinnon, Brian William Detection of anatomical landmarks
CN103164713B (zh) 2011-12-12 2016-04-06 阿里巴巴集团控股有限公司 图像分类方法和装置
US9033887B2 (en) 2012-05-31 2015-05-19 Siemens Corporation Mitral valve detection for transthoracic echocardiography
US8831311B2 (en) 2012-12-31 2014-09-09 General Electric Company Methods and systems for automated soft tissue segmentation, circumference estimation and plane guidance in fetal abdominal ultrasound images
US9918700B2 (en) 2013-02-01 2018-03-20 Siemens Medical Solutions Usa, Inc. Tuning ultrasound acquisition parameters
US9230192B2 (en) 2013-11-15 2016-01-05 Adobe Systems Incorporated Image classification using images with separate grayscale and color channels
WO2015134665A1 (en) 2014-03-04 2015-09-11 SignalSense, Inc. Classifying data with deep learning neural records incrementally refined through expert input
KR20150108701A (ko) * 2014-03-18 2015-09-30 삼성전자주식회사 의료 영상 내 해부학적 요소 시각화 시스템 및 방법
US10430688B2 (en) 2015-05-27 2019-10-01 Siemens Medical Solutions Usa, Inc. Knowledge-based ultrasound image enhancement
US20170071671A1 (en) 2015-09-11 2017-03-16 Siemens Healthcare Gmbh Physiology-driven decision support for therapy planning
US9569736B1 (en) 2015-09-16 2017-02-14 Siemens Healthcare Gmbh Intelligent medical image landmark detection
US9760690B1 (en) 2016-03-10 2017-09-12 Siemens Healthcare Gmbh Content-based medical image rendering based on machine learning
KR101937018B1 (ko) * 2016-03-24 2019-01-09 울산대학교 산학협력단 딥러닝을 이용한 혈관내 초음파 영상에서의 혈관내외경 자동 분할 방법 및 장치
US10912536B2 (en) 2016-08-23 2021-02-09 Carestream Health, Inc. Ultrasound system and method

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1839391A (zh) * 2003-06-25 2006-09-27 美国西门子医疗解决公司 用于乳房成像的自动诊断和决策支持的系统和方法
CN1914617A (zh) * 2004-02-03 2007-02-14 美国西门子医疗解决公司 与心脏有关的疾病和病症的自动诊断和决策支持系统和方法
CN1934589A (zh) * 2004-03-23 2007-03-21 美国西门子医疗解决公司 为医学成像提供自动决策支持的系统和方法
CN101061509A (zh) * 2004-11-19 2007-10-24 皇家飞利浦电子股份有限公司 用于医疗成像数据内的肿瘤边界的自动检测和分割的系统和方法
US20100322489A1 (en) * 2009-06-18 2010-12-23 Omisa Inc. System and method for image segmentation
US20140193053A1 (en) * 2011-03-03 2014-07-10 Koninklijke Philips N.V. System and method for automated initialization and registration of navigation system
US20130016092A1 (en) * 2011-06-16 2013-01-17 The Medipattern Coproration Method and system of generating a 3d visualization from 2d images
WO2013037702A1 (en) * 2011-09-14 2013-03-21 Siemens Aktiengesellschaft Method and a system for medical imaging
CN105026952A (zh) * 2013-02-15 2015-11-04 B-K医疗公司 超声显示
US20140241606A1 (en) * 2013-02-25 2014-08-28 Seoul National University R&Db Foundation Apparatus and method for lesion segmentation in medical image
CN105701331A (zh) * 2014-12-11 2016-06-22 三星电子株式会社 计算机辅助诊断设备和计算机辅助诊断方法
CN105938513A (zh) * 2015-03-04 2016-09-14 三星电子株式会社 为计算机辅助诊断提供可靠性的装置和方法
CN107198542A (zh) * 2016-03-18 2017-09-26 美国西门子医疗解决公司 用于检查模式超声成像的警报辅助
CN106897573A (zh) * 2016-08-01 2017-06-27 12西格玛控股有限公司 使用深度卷积神经网络的用于医学图像的计算机辅助诊断系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113842157A (zh) * 2020-06-26 2021-12-28 美国西门子医疗系统股份有限公司 超声成像中的与图像分类有关的用户界面
CN112370078A (zh) * 2020-11-10 2021-02-19 安徽理工大学 一种基于超声成像和贝叶斯优化的图像检测方法
CN112370078B (zh) * 2020-11-10 2024-01-26 安徽理工大学 一种基于超声成像和贝叶斯优化的图像检测方法

Also Published As

Publication number Publication date
CN109758178B (zh) 2022-06-21
KR102191467B1 (ko) 2020-12-15
US11264135B2 (en) 2022-03-01
US20190148011A1 (en) 2019-05-16
KR20190053807A (ko) 2019-05-20
DE102018218751A1 (de) 2019-05-16
CN114903522A (zh) 2022-08-16

Similar Documents

Publication Publication Date Title
CN109758178A (zh) 超声成像中的机器辅助工作流
US11094138B2 (en) Systems for linking features in medical images to anatomical models and methods of operation thereof
US11837354B2 (en) Contrast-agent-free medical diagnostic imaging
CN109584350A (zh) 医学诊断成像中的测量点确定
JP7240405B2 (ja) 超音波画像から解剖学的測定値を取得するための装置及び方法
CN106137249A (zh) 在窄视场情况下进行配准用于多模态医学成像融合
CN109310399B (zh) 医学超声图像处理设备
DE102017204471A1 (de) Unterstützende Kennzeichnung für Ultraschallbildgebung im Kontrollmodus
CN111345847B (zh) 基于组织密度管理波束成形参数的方法和系统
US20240041431A1 (en) Ultrasound imaging method and system
JP2022545219A (ja) 超音波ガイダンスダイナミックモード切り替え
CN109640831A (zh) 超声诊断装置
US11672503B2 (en) Systems and methods for detecting tissue and shear waves within the tissue
CN113194837A (zh) 用于帧索引和图像复查的系统和方法
US20230137369A1 (en) Aiding a user to perform a medical ultrasound examination

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant