CN110868936B - 通过检测肺部超声检查中的b线诊断肺部状况的设备、系统和方法 - Google Patents

通过检测肺部超声检查中的b线诊断肺部状况的设备、系统和方法 Download PDF

Info

Publication number
CN110868936B
CN110868936B CN201880043311.2A CN201880043311A CN110868936B CN 110868936 B CN110868936 B CN 110868936B CN 201880043311 A CN201880043311 A CN 201880043311A CN 110868936 B CN110868936 B CN 110868936B
Authority
CN
China
Prior art keywords
vertical
frame
baseline
mode
ultrasound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880043311.2A
Other languages
English (en)
Other versions
CN110868936A (zh
Inventor
胡黎明
克洛西·墨哈尼安
本杰明·K·威尔逊
郑欣亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tokitae LLC
Original Assignee
Tokitae LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokitae LLC filed Critical Tokitae LLC
Publication of CN110868936A publication Critical patent/CN110868936A/zh
Application granted granted Critical
Publication of CN110868936B publication Critical patent/CN110868936B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5269Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving detection or reduction of artifacts
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/08Detecting, measuring or recording devices for evaluating the respiratory organs
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13Tomography
    • A61B8/14Echo-tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/56Details of data transmission or power supply
    • A61B8/565Details of data transmission or power supply involving data transmission via a network
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20104Interactive definition of region of interest [ROI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20132Image cropping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung
    • G06T2207/30064Lung nodule

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physiology (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

一种或多种实现方式使得能通过分析用于B线检测的Q模式图像来检测超声视频和图像中的B线以用于诊断目的。描述了一种检测超声视频和图像中的伪像以用于诊断目的的方法。所述方法包括从至少一个超声视频生成至少一个Q模式图,以及从至少一个超声视频将至少一个规则应用于生成的至少一个Q模式图,以识别所述至少一个超声模式中的一个或多个B线。

Description

通过检测肺部超声检查中的B线诊断肺部状况的设备、系统和方法
本发明是在DARPA签署的协议No.HR0011-17-3-001下,在美国政府支持下完成的。美国政府拥有本发明的某些权利。
优先权申请的所有主题在这些主题与本文不矛盾的程度上通过引用并入本文。
技术领域
本发明属于通过对超声图像中的B线和/或其他肺部现象的自动化检测和自动机器执行的检测进行肺部超声图像或超声回波图诊断的技术领域。
发明内容
胸部和/或肺部超声检查(下文中可互换地称为“肺部超声”或根据上下文指示,简称为“超声”)是使用换能器从换能器向人体发射高频声波,并且检测它们与人体的一个或多个内部接触后的返回。当应用于肺时,超声技术可用于检测超声图像中的伪像,其可用于诊断各种疾病和病症。然而,这些超声图像通常需要专家解读。
这种专家解释尽管通常是准确的,但是可显著增加从肺部超声图像中提取有用诊断的成本,并且还可以显著增加提取有用诊断所需的时间。此外,尽管传统的超声设备相对便宜、丰富且通常便于携带(例如,相对于依赖于电离辐射的其他形式的成像),但是对能够基于肺部超声图像读取和诊断肺部病症的专家的接触途径可能是有限的。在一些国家尤其如此,因为肺炎是导致死亡的主要原因之一,特别是在婴儿和儿童中。在世界上的部分地区,对超声设备的接触途径不是问题,但是对能够读取超声设备的输出的专家的接触途径缺乏可能是更有问题的。
然而,即使对于专家来说,通常也难以诊断肺部病症,诸如肺水肿、感染或其他肺炎迹象。用于诊断肺部液体或结节的“B线”不易检测,并且在这些图像中出现许多看似“B线”但不是B线的伪像,如本文将更详细地讨论的。因此,任何计算机辅助检测和图像诊断都必须考虑这些因素,并且这些因素对于每个肺可能是不同的。当前的计算机技术和算法不能成功地检测B线,因此不能提供准确的诊断或甚至不能作为准确的第一次通过以允许进一步的专家审查。
因此,本文的设备、方法和系统构成对计算机、计算机工作方式的改进,例如,通过允许计算机执行当前仅由人类专家并且仅在经过多年的训练之后提供的过程,以降低从超声设备获得有用结果的成本。另外,本文所述的设备、方法和系统公开了图像数据的新颖变换,其允许检测B线,以及将成组的新规则应用于图像数据的新颖变换。这些基本上新的发现允许有针对性的计算来执行通常只能由训练有素的人类专家完成的工作。然而,重要的是要注意,通过生成Q模式数据以及将规则应用于该Q模式数据,计算机不仅执行与人类专家可执行的步骤相同的步骤,而且以一种根本不同的方式达到类似的结果。即,计算机不仅执行与人类专家可执行的步骤相同的步骤,而且使用新颖的数据生成和规则集应用程序达到类似的结果。具体地,如本文将更详细描述的,使用新颖数据生成和将特定规则集应用于生成的数据来执行对超声图像中B线的自动检测。
在一个或多个方面中,一个或多个相关系统可以在机器、物质组合物或系统制造商中实施,限于35U.S.C.101下的可专利主题。一个或多个相关系统可以包括但不限于用于影响在此引用的方法方面的电路和/或编程。
前述内容是概述,因此可以包含细节的简化、概括、包含和/或省略;因此,本领域技术人员将理解,该发明内容仅是说明性的,并且不旨在以任何方式进行限制。通过参考具体实施方案、相应的附图和/或本文所述的教导,本文描述的设备和/或过程和/或其他主题的其他方面、特征和优点将变得显而易见。
附图说明
为了更完整地理解实施方案,现在参考以下结合附图的描述。在不同附图中使用相同符号通常表示相似或相同的项目,除非上下文另有规定,箭头除外,其当出现在过程/方法流程图中时可以用于指示示例性但非限制性的过程流程,以及其当出现在系统和设备图中时可以用于指示示例性但非限制性的数据流,如上下文所指示的。在具体实施方案、附图和权利要求中描述的说明性实施方案不意味着是限制性的。在不脱离本文呈现的主题的实质或范围的情况下,可以利用其他实施方案,并且可以进行其他改变。
图1示出了根据本发明的多种实施方案的在环境100中操作的设备50的环境图。
图2(包括图2A-2E)示出了根据本发明的多种实施方案的在环境200和/或环境200B中操作的设备50的示例性实现方式。
图3(包括图3A-3E)示出了根据本发明的多种实施方案的各种Q模式图或图像的实现方式的图形示例。
图4A示出了根据本发明的多种实施方案的应用图像的预处理剪切或裁剪的示例性图示。
图4B示出了根据本发明的多种实施方案的应用图像的预处理剪切或裁剪的示例性图示。
图4C示出了根据本发明的多种实施方案的对图像应用预处理坐标变换的示例性图示,该图像由相控阵列或曲线换能器拍摄并且出现在极坐标中。
图5A示出了根据本发明的多种实施方案的生成竖直Q模式图/图像510的示例性图示。
图5B示出了根据本发明的多种实施方案的在超声图像/视频的各种深度范围处拍摄的各种竖直Q模式图/图像的示例性图示。
图5C示出了根据本发明的多种实施方案的各种经基线调整的竖直Q模式图/图像和各种经基线调整的水平Q模式图/图像的示例性图示。
图5D示出了根据本发明的多种实施方案的瞬态B线的在视频帧和Q模式图/图像之间的映射的示例性图示。
图5E示出了根据本发明的多种实施方案的瞬态B线和肋骨阴影的在视频帧和Q模式图/图像之间的映射的示例性图示。
图6A示出了根据本发明的多种实施方案的笛卡尔坐标中的超声图像602的示例性图示。
图6B示出了根据本发明的多种实施方案的基于超声图像602的各种Q模式图/图像和经修改的Q模式图/图像的示例性图示。
图6C示出了根据本发明的多种实施方案的各种Q模式图/图像和经修改的Q模式图/图像的示例性图示。
图6D示出了根据本发明的多种实施方案的各种Q模式图/图像和经修改的Q模式图/图像的示例性图示。
图7A示出了根据本发明的多种实施方案的包括至少一个B线的超声图像702的示例性图示。
图7B示出了根据本发明的多种实施方案的各种基线减去的Q模式图/图像的示例性图示。
图8A示出了根据本发明的多种实施方案的包含合并的B线、Q模式图/图像和经修改的Q模式图/图像的各种超声视频图像的示例性图示。
图8B示出了根据本发明的多种实施方案的各种超声视频图像、Q模式图/图像和经修改的Q模式图/图像的示例性图示。
图9A是根据本发明的多种实施方案的过程(例如,操作流程900)的高级逻辑流程图。
图9B是根据本发明的多种实施方案的过程(例如,操作流程900B)的高级逻辑流程图。
图9C是根据本发明的多种实施方案的过程(例如,操作流程900C)的高级逻辑流程图。
图10(包括图10A-10B)是根据本发明实施方案的准备处理操作922的高级逻辑流程图。
图11是根据本发明实施方案的生成水平Q模式图操作924的高级逻辑流程图。
图12是根据本发明的实施方案的检测至少一个胸膜线操作926的高级逻辑流程图。
图13是根据本发明实施方案的生成竖直Q模式图操作928的高级逻辑流程图。
图14A是根据本发明实施方案的应用基线调整规则操作932的高级逻辑流程图。
图14B是根据本发明的实施方案的生成至少一个经基线调整的竖直Q模式图操作934的高级逻辑流程图。
图15A是根据本发明的实施方案的检测一个或多个潜在的B线对象操作936的高级逻辑流程图。
图15B是根据本发明的实施方案的应用一个或多个B线检测规则操作938的高级逻辑流程图。
图15C是根据本发明的实施方案的应用一个或多个B线检测规则操作938(包括操作1532)的高级逻辑流程图。
图15D是根据本发明的实施方案的更新机器学习算法操作1925(其是操作1532的子操作,操作1532是操作938的子操作)的高级逻辑流程图。
图16示出了根据本发明的多种实施方案的经基线调整的竖直Q模式图像和阈值化的经基线调整的Q模式图像的示例性图示。
图17示出了根据本发明的多种实施方案的深度范围选择对自由ROC(接收器操作特性)曲线的影响的示例性图示。
图18示出了根据本发明的多种实施方案的基于视频的B线检测中的预定义距离容差选择对自由ROC(接收器操作特性)曲线的影响的示例性图示。
具体实施方式
内容列表
I.引言:
II.各种实施方案的优点:
III.权利要求涉及法定主题事项:
IV.多种实施方案的描述:
V.多种实现方式和非限制性语言:
VI.受权利要求保护的主题的前言:
具体实施方案的开始
I.引言
以下表示对构成本发明的设备、方法、系统、制品和/或物质组成的讨论。具体实施方案的不是权利要求的部分应该被理解为仅是示例性的,本发明的范围完全且仅由权利要求本身限定,根据前述和以下描述来阅读。
II.多种实施方案的优点
应理解,以下仅是本发明的一个或多个不同实施方案的一些优点。以下优点不旨在描述本发明的每个实现方式,也不旨在概述本发明所需的内容。它们不以任何方式限制本发明。本发明仅由权利要求限定,并且在此呈现的不在权利要求中的叙述或优点不应以任何方式读入权利要求中。提供该部分仅仅是为了后来的读者可以了解和理解本发明相对于现有技术提供的一些优点。
如本文将更详细讨论的,B线通常难以与超声图像中的其他伪像区分开。在多种实施方案中,伪像相对于胸膜线的位置对于确定检测到的伪像是B线还是仅空气或另一异物是重要的。因此,胸膜线的检测在一些(但不一定是所有的)实施方案中是有用的。
此外,在各种实现方式中,由于减少或消除了人类专家执行所需要的工作量,因此可以显著降低超声分析和患者诊断的总成本。在多种实现方式中,不需要人类专家来干预该过程。在其他实现方式中,该过程可以经过一组超声图像用作第一次通过,并且进一步的分析由人类专家执行。例如,这在诸如将肺部超声技术部署到一些国家这样的实现方式中是有用的,在这些国家中,许多人,特别是儿童,可能在一天内被扫描,并且对人类专家的接触途径可能严重受限或根本不存在。
III.如受权利要求保护的,本发明涉及法定主题
本申请的权利要求、说明书和附图可以以操作/功能语言将一个或多个本发明的技术描述例如作为要通过电脑执行的一组操作。本领域技术人员将大多数情况下的这种操作/功能描述理解为特定配置的硬件(例如,因为一旦通用计算机被编程为根据来自程序软件的指令执行特定功能,它实际上变为专用计算机)。
重要的是,尽管本文所述的操作/功能描述可由人类思维理解,但它们不是与这些操作/功能的计算实现分离的操作/功能的抽象概念。相反,操作/功能代表大规模复杂计算机器或其他设备的规范。如下面详细讨论的,必须在其适当的技术环境中读取操作/功能语言,即,作为物理实现的具体规范。
本文所述逻辑操作/功能是机器规范或由操作/功能指定的其他物理机制的提炼(distillation),使得其他不可理解的机器规范可以是人类可理解的。该提炼还允许本领域技术人员通过许多不同的特定供应商的硬件配置或平台调整技术的操作/功能描述,而不限于特定供应商的硬件配置或平台。
可以根据逻辑操作/功能阐述一些本技术描述(例如,具体实施方案、附图、权利要求等)。如以下段落中更详细描述的,这些逻辑操作/功能不代表抽象概念,而是代表各种硬件元件的静态或顺序规范。换句话说,除非上下文另有规定,否则本领域技术人员将理解逻辑操作/功能代表各种硬件元件的静态或顺序规范。这是正确的,因为本领域技术人员可用于实现以操作/功能格式阐述的技术公开的工具--以高级编程语言(例如,C、Java、视觉基础(visual basic)等)形式的工具,或者以超高速硬件描述语言(“VHDL”,这是一种使用文本来描述逻辑电路的语言)形式的工具--是各种硬件配置的静态或顺序规范的发生器。这个事实有时被广义术语“软件”所模糊,但是,如以下说明所示,本领域技术人员理解,所谓的“软件”是有序物质元件的大规模复杂链接/规范的简写。术语“有序物质元件”可以指计算的物理组件,诸如电子逻辑门的组件,分子计算逻辑组件,量子计算机制等。
例如,高级编程语言是一种具有强抽象性的编程语言,例如,来自高级编程语言实际上指定的机器的顺序组织、状态、输入、输出等的细节的多级抽象。为了便于人类理解,在许多情况下,高级编程语言与自然语言类似或者甚至共享符号。
有人认为,由于高级编程语言使用强抽象(例如,它们可能与自然语言类似或共享符号),因此它们是“纯粹的心理构造”(例如,“软件”-计算机程序或计算机程序设计--在某种程度上是一种不可言说的心理结构,因为在高级抽象中,它可以在人类的头脑中被构思和理解。该论点已被用于以功能/操作的形式将技术描述表征为某种“抽象概念”。事实上,在技术领域(例如,信息和通信技术)中,这不是真实的。
高级编程语言使用强抽象来促进人类理解的事实不应被视为所表达的是抽象概念的指示。事实上,本领域技术人员理解恰恰相反。如果高级编程语言是用于以功能/操作的形式实现技术公开的工具,则本领域技术人员将认识到,在任何重要的语义意义上,这种工具远不是抽象的、不精确的、“模糊的”或“心理的”,而是对特定计算机器的近乎难以理解的精确顺序规范–其部件是通过随时间(例如,计时时间)推移从通常更通用的计算机器激活/选择这些部件而建立的。高级编程语言和自然语言之间的表面相似性有时会掩盖这一事实。这些表面上的相似性也可能导致高级编程语言实现最终通过创建/控制许多不同的计算机器来执行有价值的工作这一事实的掩盖。
如上所述,使用功能/操作技术描述的原因至少是双重的。首先,功能/操作技术描述的使用使得能以人类思维可以处理的方式(例如,通过模仿自然语言和逻辑叙事流程)来描述由相互关联的硬件元件引起的近乎无限复杂的机器和机器操作。其次,功能/操作技术描述的使用通过提供或多或少独立于任何特定供应商的单个或多个硬件的描述来帮助本领域技术人员理解所描述的主题。
功能/操作技术描述的使用有助于本领域技术人员理解所描述的主题,因为从上面的讨论中可以明显看出,可以容易地(尽管不是快速地)将这个文件中所述的技术描述转换成数以万亿计的1和0,数十亿单行的汇编级机器代码,数百万个逻辑门,数千个门阵列,或任意数量的中间级的抽象。然而,如果任何此类低级技术描述要替换当前的技术描述,则本领域技术人员可能在实现本公开时遇到不适当的困难,因为此类低级技术描述可增加复杂性但不具有相应的有益效果(例如,通过利用一个或多个供应商的特定硬件的惯用性来描述主题)。因此,功能/操作技术描述的使用通过将技术描述与任何供应商的特定的硬件的惯用性分开来帮助本领域技术人员。
鉴于前述内容,本技术描述中阐述的逻辑操作/功能代表各种有序物质元件的静态或顺序规范,以便此类规范可以被人类的思想理解,并且适于创建许多不同的硬件配置。本文所公开的逻辑操作/功能应当如此处理,并且不应仅仅因为它们所代表的规范以本领域技术人员能够容易理解的方式呈现并且以独立于特定供应商的硬件实现的方式应用而被贬低地表征为抽象概念。
本领域技术人员将认识到,现有技术已经进展到在系统各方面的硬件、软件和/或固件实现之间几乎没有区别的地步;硬件、软件和/或固件的使用一般(但不总是,因为在某些情况下,硬件和软件之间的选择可能变得重要)是表示成本对效率折衷之间的设计选择。本领域技术人员将理解存在各种载体,通过所述载体可实现本文所述的过程和/或系统和/或其他技术(例如硬件、软件和/或固件),并且优选的载体将随其中采用所述过程和/或系统和/或其他技术的环境的不同而不同。例如,如果实施者确定速度和准确性是最重要的,则实施者可主要选择硬件和/或固件载体;替代地,如果灵活性是最重要的,则实施者可主要选择软件实现方式;或者又替代地,实施者可以选择受限于35USC 101下的可专利主题的一个或多个机器中的硬件、软件和/或固件的一些组合、物质的组成和制品。因此,存在多种可能的载体,通过所述载体可实现本文所述的过程和/或系统和/或其他技术,其中任一个均不在本质上优于另一个,因为要利用的任何载体均是取决于将采用载体的环境和实施者的具体关注(例如,速度、灵活性或可预测性)的选择,其中任一个均可变化。本领域技术人员将认识到,实现方式的光学方面通常将采用光学定向的硬件、软件和/或固件。
在本文所述的一些实现方式中,逻辑和类似实现方式可包括软件或其他控制结构。例如,电子电路可具有一个或多个电流路径,其被构造和布置成实现如本文所述的各种功能。在一些实现方式中,一个或多个媒介可以被构造成当此类媒介保持或发送可操作的装置可检测的指令以如本文所述执行时,承载装置可检测的实现方式。例如,在一些变体中,例如,实现方式可包括现有软件或固件或门阵列或可编程硬件的更新或修改,诸如通过执行关于一个或多个本文所述的操作的一个或多个指令的接收或传输来实现。替代地或附加地,在一些变体中,实现方式可包括专用硬件、软件、固件组件和/或执行或以其他方式调用专用组件的通用组件。规范或其他实现方式可由如本文所述的有形传输媒介的一个或多个实例传输,任选地通过包传输或以其他方式通过在各种时间下通过分布式媒介来传输来进行。
替代地或附加地,实现方式可包括执行专用指令序列或调用用于启用、触发、协调、请求或以其他方式导致本文所述的基本上任何功能性操作一次或多次发生的电路。在一些变体中,本文的操作说明或其他逻辑说明可以表示为源代码并且被编译或以其他方式调用为可执行指令序列。在一些背景中,例如,实现可以通过诸如C++之类的源代码或其他代码序列来全部或部分地提供。在其他实现中,使用可商购获得的和/或本领域中的技术的源或其他代码实现可以被编译/实现/翻译/转换为高级描述符语言(例如,最初以C或C++编程语言实现所描述的技术,然后将编程语言实现转换为逻辑可综合的语言实现、硬件描述语言实现、硬件设计模拟实现、和/或其他此类类似的表达模式)。例如,逻辑表达式(例如,计算机编程语言实现)中的一些或全部可以表现为Verilog类型的硬件描述(例如,经由硬件描述语言(HDL)和/或非常高速集成电路硬件描述符语言(VHDL))或其他电路模型,其然后可以用于创建具有硬件(例如,专用集成电路)的物理实现。本领域技术人员将认识到如何根据这些教导获得、配置和优化合适的传输或计算元件、材料供应、致动器或其他结构。
IV.多种实施方案的描述
在以下详细描述中,参考了附图,所述附图形成了本发明的一部分。在附图中,除非上下文另有指示,否则类似的符号通常标识类似或相同的组件或项目。在具体实施方案、附图和权利要求中描述的说明性实施方案不意味着是限制性的。在不脱离本文所呈现的主题的实质或范围的情况下,可以利用其他实施方案,并且可以进行其他改变。
因此,根据多种实施方案,计算实现的方法、系统、电路、制品、有序的物质链和计算机程序产品被设计为尤其提供图1中所示的环境100的界面。
现在参考图1,图1示出了根据一个或多个实现方式的系统图。具体地,图1示出了系统环境100,其在多种实现方式中包括对象150,超声设备40、设备50和服务器10。在一些实现方式中,图1还示出了专家或操作者140,其表示操作超声设备的人和/或阅读和/或解释结果的人(在一些但不是全部的情况下,这些人是同一个人)。在多种实现方式中,服务器10可以通过通信网络105与设备50通信。应注意,在各种实现方式中,本文描述的所有各种电路可以是超声设备40的一部分,和/或本文描述的所有方法步骤可以通过超声设备40执行。在其他实现方式中,本文描述的所有各种电路可以是设备50的一部分和/或本文描述的所有方法步骤可以由设备50执行。服务器10可以是完全任选的,并且可以在各种实现方式中消除。在各种实现方式中,超声设备40和/或设备50可以执行本文列出的所有功能但不连接到网络,例如连接到通信网络105。在其他各种实现方式中,本文描述的操作的部分和本文描述的电路的部分可以部分地在超声设备40和/或设备50处或上执行,并且部分地在服务器10处或在服务器10上执行,或者,例如,在“云”中或在另一个远程和/或分布位置执行。在进一步描述图1及其后所示的设备和实体之前,从此处得到的是超声设备(例如,超声设备40)的操作的基本描述,可以在超声视频(例如,超声图像/视频70)中看到的各种伪像的基本描述,以及可以在超声视频中看到的伪像之间的相关性以及超声设备已经成像的肺的各种状况的简要描述。
超声操作
因此,在一个实现方式中,超声设备(例如,超声设备40)捕获肺部区域(例如,包括肺部的区域)的超声视频。该视频由许多缝合在一起的静止图像(例如帧)组成。超声设备(例如,超声设备40)通过向探头(例如探头42)发送电压来操作,该探头例如通过压电设备产生声波(例如,声波,尽管人耳听不到)。在各种实现方式中,可以使用一系列声学频率来使肺可视化,该频率例如从3到12MHz,取决于关于要检测的内容的各种因素,例如,更高的频率通常产生更高分辨率的图像,但是到目前为止不穿透。声波进入人体,例如肺,并穿过各种组织和器官,直到它碰到界面,例如,两个不同组织相邻的区域,或组织与另一种材料(例如,空气,水或结节)相邻的区域。在该界面处,声音的一部分返回,例如被反射或散射回来,例如发出回声,并被探头接收并被转换回电信号。该电信号的附加特征(包括返回的、反射的或散射的声音的定时以及它返回的强度)通过标准方法(本文不再重复)产生超声图像或视频。
在传统系统中,超声视频然后由专家(例如放射科医师)阅读。尽管世界上许多地区可具有对相对丰富的超声技术的接触途径,但是世界上具有足够的专家来阅读超声视频并基于超声视频来执行患者的诊断的区域较少。这在一些国家和部分地区尤其成问题。因此,在一些实施方案中,由超声设备40捕获的超声视频由机器根据本文描述的各种方法进行分析和诊断。
在一个实现方式中,超声设备(例如,超声设备40)捕获肺部区域的超声视频,例如图1的图像/视频70,如上所述。在一个实现方式中,超声视频由缝合在一起的多个静止图像(例如,帧)组成(在全文中术语“图像”和“帧”将基本上可互换地使用,除非上下文另有指示)。这些帧可以显示在监视器上,例如设备输出组件220B的一部分,和/或可以保存以用于以后的分析。在一个实现方式中,可以对被捕获的超声视频执行实时分析,并且在另一实现方式中,与本文描述的系统和方法一致,保存视频以供稍后分析。在一个实现方式中,根据一个或多个DICOM(“医学中的数字成像和通信”)标准(例如,ISO标准2052:2006)处理图像,其全部可在美国国家电气制造商协会(NEMA)博物馆公开获得,保持所有权利。
在一个实现方式中,超声图像将示出看起来非常暗且具有低像素强度的区域。通常,这些黑暗区域是人工无回声的阴影图像并且由肺前面的肋骨引起,从而产生在本文档的不同位置处称为“肋骨阴影”的东西。在一些实现方式中,这些区域将被忽略,在其他实现方式中,这些区域将被一个或多个算法考虑在内,以试图改善检测潜在的B线的准确性。在一个实现方式中,在超声图像中,健康的肺将示出高回声线,其在笛卡尔坐标平面上将显示为水平或基本水平。该线通常表示胸壁和肺之间的界面(其包含空气并且具有与胸壁的密度不同的密度),并且通常被称为“胸膜线”。如稍后将看到的,在各种实现方式中,检测胸膜线对于处理超声视频和/或检测一个或多个潜在的B线可能是有用的,因为在胸膜线“上方”(在笛卡尔坐标平面中)检测到的物体通常由位于换能器和肺(例如皮肤、脂肪、肌肉组织或其他组织)两者之间的组织引起。在胸膜线上方检测到的这些物体不是B线,并且在对超声视频执行B线检测时不需要考虑。此外,B线的一个特征是它们起源于胸膜线。胸膜线的位置不是严格固定的,而是可以随呼吸或心跳稍微移动或改变位置。
在一个实现方式中,可以在超声图像/视频中观察其他模式。例如,本文所述的电路可检测“A线”,它们是水平的、有规律地间隔的高回声线。A线在健康和不健康的患者中都常见,可能是所谓的混响伪像,并且可呈现为胸膜线的伪像。在本文进一步讨论的技术中不使用A线,并且因为它们通常基本上是水平的,所以通常不难与B线区分开,所述B线在笛卡尔坐标平面中通常基本上是竖直的。现在参考这些B线,本文所述的电路可被设计成检测“B线”,所述B线是竖直的或基本上竖直的线,通常是窄的,并且从胸膜线开始并向外延伸。在各种实现方式中,这些B线是要检测用于诊断的线,尽管健康肺组织中可存在一定数量(例如少于三个)的B线。B线有时被称为“肺彗尾”,因为它们在传统的超声图像中出现。当在超声图像中观察时,B线可以从图像删除或“移除”否则将重叠的A线。
在一个实现方式中,可以在图像中观察其他模式。并非所有这些模式和/或伪像都将在本文档中讨论,但是本文所述的电路可检测本文具体提及的两种其他类型的伪像,这是由于它们与B线的外观相似,并且在各种实现方式中,可以考虑它们以减少B线检测的假阳性(false positive)率。例如,该电路可以检测“Z线”,其类似于B线并且可以被称为“假B线”。与真B线一样,Z线可以是竖直线,并且可存在于健康和不健康的肺部两者中。在一些实现方式中,Z线与B线的不同之处在于它们是不明确的,具有比B线短的长度,并且不“擦除”或以其他方式删除A线。又例如,电路可以检测E线,所述E线可以是顶叶性肺气肿或顶叶回声多个异物的指示物,并且可以在一些实现方式中被检测到。E线通常被明确限定,但与B线不同,E线不源自胸膜线。相反,E线起源于肺的皮下空间,例如,捕获气体或存在异物或结节的地方。尽管E线可用于诊断肺健康,但是对于本文所公开的实现方式,重点在于B线检测和根据B线进行的诊断。
基于B线的诊断
如上所述,超声技术是用于诊断患者的廉价且广泛可用的扫描技术。检测人肺中的B-线可以指示许多不同的病症。最常见的是,感染或水肿可导致水或其他液体在肺中积聚,其本身可能表现为B-线,并且可能是严重呼吸道疾病(例如肺炎)的前兆或指示物。有时,B线的存在可以指示肺中的异物(例如,如果超声设备的分辨率被设置为例如亚毫米分辨率)。因此,B线的检测用作对健康肺组织相对于不健康肺组织的有效筛选。如上文所提及的,B线可以存在于健康的肺中但是以较低的比率存在,例如,在健康的肺中存在的B线少于三个。
值得注意的是,前面的描述既不是穷举的也不是充分完整的,因此不应当被解释为限制本文所公开的各种实现方式。其他实现方式检测其他伪像并与其他诊断相关联。上述仅作为一个示例提供,该示例通过附图和说明书的其余部分被容易且彻底地说明,并且本发明的全部范围仅在权利要求中阐述。因此,现在已经完成了超声操作,要检测的各种伪像以及随后的相关诊断的简要描述,返回参考图1。在一个实现方式中,超声设备40可以包括探头42。探头42可以是例如发射声波并接收反射声波的换能器探头。在一个实现方式中,探头42可以是超声设备40的整体,例如,所有处理可以由设备50执行。在一个实现方式中,探头42可以例如通过电线或者通过无线连接与超声设备40连接。在另一实现方式中,探头42包含换能器探头,超声设备40控制处理的一部分,并且设备50执行本文在说明书和权利要求中进一步描述的处理。在该文件的各个部分中,后一实现方式将用于示例性目的;然而,该文件中的任何内容都不应被解释为对以下事项的限制:处理可以在何处进行,电路位于何处,或者哪个电路可以在超声设备40、设备50、服务器10、它们的一些组合或图1中未示出的其他远程电路中实现。
在各种实现方式中,设备50可以是服务器类型设备,或者可以是用户级设备,例如,包括但不限于台式计算机、膝上型计算机、专用医疗设备、扫描仪、成件的诊断装置、蜂窝电话、网络电话、智能手机、平板电脑、音乐播放器、步话机、收音机,增强现实设备(例如,增强现实眼镜和/或耳机)、可穿戴电子产品例如手表、皮带、耳机或“智能”服装、耳机、头戴受话器、音频/视频装置、媒体播放器、电视、投影屏幕、平板显示器、监视器、时钟、器具、导航系统、医疗警报设备、遥控器、外围设备、摄像机、个人录像机、个人录音机和/或它们的任何组合。
在各种实现方式中,通信网络105可以是用于在两个端点之间传输数据和/或信息的任何形式的有线或无线的一个或多个网络或它们的一些组合。在多种实施方案中,通信网络105可以包括局域网(LAN)、广域网(WAN)、城域网(MAN)、无线局域网(WLAN)、个域网(PAN)、全球微波接入互操作性(WiMAX)、公共交换电话网(PTSN)、通用分组无线服务(GPRS)网络、蜂窝网络(GSM、CDMA等)、微波网络等等。通信网络105可以是有线网络、无线网络或有线和无线网络的组合。值得注意的是,在本申请中使用的“通信网络”是指一个或多个通信网络,它们可以相互交互或可以不相互交互。
在各种实现方式中,服务器10可以是能够在请求-响应模型中实现的任何一件或一组计算机设备。例如,服务器10可以为一个或多个客户端(其包括但不限于设备50)提供各种服务、功能或计算任务。术语“服务器”并不暗示特定的一组或一类硬件,尽管在一些应用中,被设计用于服务器的硬件可以是优选的。另外,术语“服务器”并不意味着多于一个的客户端,甚至也不意味着一个客户端,前提条件是服务器能够控制客户端。此外,服务器10可以是一组分布式服务器和/或其他计算设备的部件,其中不同部件具有不同的位置(例如,存储器可以在一个物理位置,并且CPU可以在完全不同的位置),并且可具有各种冗余部分,所述冗余部分也可以位于各种不同的位置。在其他实现方式中,服务器10可以是在设备50的本地或设备50的内部(例如,在一些实现方式中,设备50的部分可充当在设备50上有效的一个或多个过程的服务器10)。另外,服务器可以指产生服务器的特定计算机程序或过程,通过运行程序充当服务器的设备,或它们的一些组合。术语“服务器”的使用不排除或消除对等或其他网络布置。为了便于理解,超声设备40、设备50、服务器10和通信网络105如图1所示示出,但是可设想其他布置和设置,并且这些布置和设置在以下公开的范围内。
在继续前进到图2A(其示出了根据多种实施方案的设备50的实现方式)之前,对Q模式图的进一步说明可能有益于理解。具体地,该文件始终参考Q模式图,包括Q模式图的生成,Q模式图在B线对象和其他对象检测中的应用,以及要在Q模式图上或利用Q模式图执行的各种其他操作。如本文将讨论的,在一个实现方式中,存在两种不同类型的Q模式图,水平Q模式图和竖直Q模式图。在竖直Q模式图中,在一个实现方式中,存在两种子类型:标准竖直Q模式图和基线调整Q模式图。这些也将在本文中更详细地描述,然而作为概述,水平Q模式图通常被配置为有助于检测胸膜线。竖直Q模式图通常被配置为帮助检测超声视频中的合并或持久的B线。经基线调整的Q模式图通常被配置为有助于检测瞬态B线,例如,不在整个超声视频中出现的B线。Q模式图具有其他目的和其他可能的用途,但这些是在示例性实现方式中的基本用途。在根据各种实现方式参考B线检测的特定电路之前,参见图3,例如图3A-3E,作为背景描述如何生成各种Q模式图是有利的。在结合图3提供Q模式图的初始解释之后,将更详细地描述在电路和过程中生成Q模式图的实现方式。
Q模式图
在各种实现方式中,超声视频被变换为下文中将被称为“Q模式”的内容,例如,“Q模式图”,“Q模式图像”或简称为“Q模式”,具有将在本文中更详细描述的各种修饰词,例如,“水平Q模式”或“经基线调整的Q模式”。在随后的许多图示中,Q模式显示为图像,因为它是特定坐标处的像素强度的图,然而,这仅仅是为了说明,因为Q模式图的处理不需要为了正常运行而作为图像转换、显示或存储。因此,除非上下文另有说明,否则术语“Q模式图”和“Q模式图像”应被认为是可互换的并且将基本上可互换地使用。图3以及所包括的图3A-3E示出了可如何从视频(例如,超声视频)的一个或多个帧生成Q模式图的各种实现方式。现在参见图3A,图3A示出了样本帧305。在一个实现方式中,样本帧305表示视频(例如超声视频)的单个帧,例如,超声图像/视频70(来自图1)的单个帧。由于黑白渲染的限制,并且还由于为示出“Q模式图像”和“Q模式图”之间的可互换性,而不是示出样本帧305的每个单元中的实际像素,图3A(以及图3的其他子图)示出了对应于该单元中的像素的像素强度的数字。在各种实现方式中,像素强度可以被分成各种分量,或者可以是单个值,例如,从0到255,如在8位灰度图像中那样。为了便于说明该示例,图3中所示的像素强度将是0-9的整数,从而反映像素强度的相对水平(例如,像素强度“4”将是像素强度“2”的两倍),但在实际实现方式中,灰度强度值通常是非线性标度,例如,对数标度或伽马标度。在此应当注意,尽管在一些公开的实现方式中,像素强度值用于生成Q模式图像,但是在其他实现方式中,可以使用图像的其他特征,特别是如果图像是彩色图像的话。在各种实现方式中,可以使用生成灰度图像(例如,其中仅存储强度信息的图像)的超声成像装置,然而,在其他实现方式中,可以生成彩色或假彩色图像,并且可以使用其他图像数据,例如RGB向量,α值或视觉数据的其他数值表示。
再次参见图3A,在一个实现方式中,样本帧305是五个像素乘五个像素的二十五个像素的方形图像。如图3A所示,像素列,例如竖直列304,表示帧中的在传统的屏幕坐标系(例如,其中“0,0”在左上角处,x坐标向右增加,y坐标向下增加)上具有相同“x值”的所有像素,或如传统的表格或矩阵系统所示的同一列中的所有像素。类似地,像素行(例如,水平行302)表示帧中的在传统屏幕坐标系上具有相同“y值”的所有像素。如本文将更详细讨论的,坐标系的选择对于该过程不是特别重要的,也不是指定各种Q模式图的x和y轴。提供本文显示的坐标系、原点选择以及x轴和y轴指定仅出于便于理解/解释,并且在其他实现方式中,这些选择可以被翻转、改变、转置或以其他方式修改。指示符“竖直”和“水平”可能看起来是多余的,但是为了便于理解该过程而提供。
再次参见图3A,图3A还示出了总和309A,其是样本帧305的竖直列304(例如,第一像素306A,第二像素306B,第三像素306C,第四像素306D和第五像素306E)的像素强度的总和值(总值)。将第一像素306A(2),第二像素306B(1),第三像素306C(7),第四像素306D(3)和第五像素306E(5)的五个像素强度值加在一起(例如,2+1+7+3+5)得到值为18的总和309A,如图3A所示。在一个实现方式中,然后将总和309A的值转换为竖直列304的平均值(例如,通过除以所采用的像素强度的数量),即,总和(18)除以从竖直列304采样的行数量(5)。该值导致竖直列304的竖直平均值309B。在本文所示的实现方式中,竖直平均值309B可以使用算术平均值来平均,但是其他实现方式可以使用其他平均方法。为了重复图3A中的示例,通过将总和309A(18)除以构成竖直列304的值的总数(5)(例如,样本帧305中的总行数)来导出竖直平均值309B,例如,18/5=3.6,以得到3.6作为竖直平均值309B的值。在一个实现方式中,例如,在Q模式图可以在使用用于各种像素强度的整数值的显示器上显示为图像的实现方式中,竖直平均值309B可以被转换为整数,例如,通过可由硬件或软件处理的四舍五入功能,或向上或向下舍入功能被转换为整数。
再次参见图3A,图3A示出了对于水平行302执行的相同过程,其中将样本帧305的第三行(例如,水平行302)的行值加在一起以得到总和308A(例如,7+7+6+5+3=28)。另外,类似于上文关于总和309A所描述的,在各种实现方式中,总和308A可以被转换为水平平均值308B。在此应当注意,尽管利用所描述的Q模式实现方式的进一步计算涉及平均,但是可以对各种竖直列和水平行执行其他计算,并且这些计算在由本文件描述的实现方式的范围内。例如,在另一实现方式中,竖直列304的中值、模式、几何平均值、均方根或其他更复杂的数学运算,包括各种逐步运算或回归拟合运算。
再次参见图3A,如果从竖直列304导出竖直平均值309B的过程用于样本帧305中的每列,则将生成五个值。如果这五个值水平放置在一维向量中,其位置对应于它们被平均的列号,则生成竖直平均行向量,例如,竖直平均行向量311。该竖直平均值行向量311包括样本帧305中的每个列的每个平均值,并且每个帧的这些竖直平均行向量的集合将用于构造竖直Q模式图,如本文将结合图3B和3C所描述的。
本文包括关于术语的重要说明,其涉及竖直平均行向量及其对应物(图3A中未图示;参见图3D进行说明),水平平均列向量。具体地,竖直平均行向量之所以如此命名,是因为它们是从对帧的列竖直平均而产生的行(即,水平)向量。它们被命名为行向量,但是它们代表列的平均值(即,对一些或所有行进行列平均),因为得到的结构是水平的并且是一维行向量,因此,其结构之后在这些一维行向量用于构建竖直Q模式图时将是重要的。因此,“竖直平均行向量”的前两个单词表示数学运算(例如,竖直平均值,例如,对于一组行,列的总和除以总行数),并且后两个单词表示得到的数据结构(例如,行向量)。
类似地,尽管未在图3A中明确示出,但是也可以对样本帧305的行重复从水平行302生成水平平均值308B的过程,以生成表示五个当前行的五个值。由这些操作产生的结构称为水平平均列向量,如图3D所示。具体地,水平平均列向量之所以如此命名,是因为它们是通过对帧的各行进行水平平均而产生的列(即,竖直)向量。这些向量被命名为列向量,尽管它们代表行的平均值(即,对所有的列进行行的平均),因为得到的结构是竖直的并且是一维列向量。因此,与上述类似,除了切换方向之外,“水平平均列向量”的前两个词表示数学运算(例如,水平平均值,例如,对于一组列,行的总和除以总列数),后两个字表示得到的数据结构(例如,行向量)。
图3B-3E示出了用于计算竖直Q模式图和水平Q模式图的各种布局和方法。应当注意,并非所有这些布局和方法都用于每个实现方式中,并且其他布局和方法也是可能的。如本文将更详细描述的,用于生成Q模式图的特定布局(例如,坐标系、轴和原点)以及用于生成各种Q模式图的特定算法对于B线的检测都不是关键的。相反,一些示例性实现方式示于图3B-3E中,使得产生Q模式图的一些示例被描述和说明。因此,图3B示出了竖直Q模式图的计算,该竖直Q模式图示出了每个竖直平均行向量的求和和平均运算,然后将每个竖直平均行向量放置到竖直Q模式图中,例如,竖直Q模式图323中,其中x值设置为列位置,y值设置为帧,并且左上角为原点。即,生成一组竖直平均行向量,每个竖直平均行向量对应于单个帧,并且在所述帧内,每个竖直平均行向量内的值表示相应竖直列的平均值。然后将竖直平均行向量从上到下放置在竖直Q模式图中(例如,帧1的向量位于竖直Q模式图的顶部或最高位置)。图3C类似于图3B,不同之处在于平均运算被示为单个运算,并且由于将在本文中更详细地描述的原因,选择行的子集或范围以进行平均。图3D示出了通过生成水平平均列向量来生成水平Q模式图,每个水平平均列向量对应于单个帧,其中每个水平平均列向量内的值表示该帧内的各个水平行的平均值。然后将水平平均列向量从左到右放置在水平Q模式图中,其中帧1的相应水平平均列向量位于水平Q模式图的最左侧位置。图3E示出了类似于图3B中所示的经基线调整的竖直Q模式图的生成,不同的是使用基线调整值而不是原始值。下表例示了图3B-3E关系如下:
Figure GDA0004092861700000201
表1.图3B-3E中描述的各种实现方式的比较结果
如将在本文中进一步更详细讨论的,示出本申请中描绘的后续图像的大部分对准和取向的实现方式如下:图3B/3C针对竖直Q模式图,图3D针对水平Q模式图,图3E针对经基线调整的竖直Q模式图。以下是对图3B-3E的更详细的讨论。图之间的一些分量如果是多余的,则省略它们,以改善清晰度和可读性。图3B-3D各自使用相同的三个示例性超声图像帧,然而图3E从相同的三个示例性帧的经基线调整型式中提取。值得注意的是,在以下3B-3E中的每一个中,类似于图3A,帧示出了总共二十五个像素的5×5像素尺寸,并且类似于图3A并且在整个过程中,该表示仅用于说明的目的。同样类似于图3A,示例性帧(帧310、帧315和帧318)的每个单元包括该帧的像素强度的数值表示。出于示例的目的,在所有图3B-3E中,帧310、帧315和帧318中的每一个均表示超声视频的连续帧,然而在实际应用中帧将更大,例如,1920×1080的“HD”分辨率或所使用的其他分辨率取决于具体的超声设备,例如超声设备40。此外,在实际应用中,超声设备可能在20-100Hz下操作,从而每秒产生20-100帧,而不是为了示例性目的而示出的三帧。
现在参见图3B,图3B示出了使用三个示例性帧,即帧310、帧315和帧318进行的竖直Q模式图(例如,竖直Q模式图323)的计算。如在上面的表1和相关描述中所阐述的,图3B示出了竖直Q模式图,其中x轴是列位置,y轴是帧编号,并且原点在左上角。除非另有说明,否则图3B中所示的轴的视图和方向对应于图5A中所示的视图,以及所有其他竖直Q模式图或图像。在竖直Q模式图323中,类似于图3A所示生成竖直平均行向量,即,每列在行范围内求和,在图3B的情况下,行范围是所有行。然后将该总和除以在特定列中求和的行数,以生成平均值。然后将该平均值放置在竖直平均行向量中,例如,帧310的竖直平均行向量365中,其在图3B中示出帧310中所有列的平均的性能。值得注意的是,在一个实现方式中,平均像素强度不是舍入的,但是在其他实现方式中,平均像素强度可以向上舍入,向下舍入,或者设置为特定数量的有效数字。在一个实现方式中,将平均像素强度341A(帧1的列1的跨越所有行的像素强度的平均值)放置在竖直平均行向量365中的第一位置处,因此位于竖直Q模式图323的左上角,如图3B所示。类似地,将平均像素强度341B(帧1的列2的平均值)放置在顶行(对应于帧1)和第二列(对应于列位置)中。以类似的方式,帧310的其他平均值被添加到竖直Q模式图323的第一(顶部)行。图3B还示出了竖直平均行向量(例如竖直平均行向量365)如何被添加到竖直Q模式图323。
继续参见图3B,类似地,将帧315的所有竖直列平均,如图3B的中间部分所示。例如,帧315的第二列被平均为平均像素强度343A,帧315的第四列被平均为平均像素强度343B。如图所示,然后将平均像素强度343A存储在竖直Q模式图323的位置(2,2)处,其在该方位上(在左上角处具有原点331)意指从左边开始的第二列,以及从顶部开始的第二行。类似地,然后将平均像素强度343B存储在竖直Q模式图323的位置(2,4)处,其在该方位上意指从左边开始的第四列和从顶部开始的第二行。类似于竖直平均行向量365,竖直平均行向量366(其是帧315的所有列的平均值的一维向量表示)也在图3B中示出,在其位置中,位于竖直Q模式图323的第二行。
继续参见图3B,然后将帧318的竖直列平均,如图3B的右侧部分所示。例如,平均像素强度345A(帧3的列1的像素强度的平均值)位于竖直Q模式图323的左下角。类似地,平均像素强度345B(帧3的列5的像素强度的平均值)放置在底行(对应于第3帧)和第5列(对应于列位置)。以类似的方式,帧318的列的其他平均像素强度被添加到竖直Q模式图323的第三(底部)行。因此,类似于竖直平均行向量365和竖直平均行向量366,竖直平均行向量367(其是帧318的所有列的平均像素强度的一维向量表示)在图3B中示出,在其位置中,位于竖直Q模式图323的第三(底部)行。
现在参见图3C,在一个实现方式中,图3C示出了使用三个示例性帧(帧310、帧315和帧318)的竖直Q模式图(例如,竖直Q模式图324)的计算,类似于如图3B所示,不同的是,在图3C中并非所有行都将被求和以生成构成竖直Q模式图324的竖直平均行向量。即,在各种实现方式中,选择像素行位置的范围,例如,图3C中的范围375、376和377,并且这些像素行位置的范围用于设置图像的“深度范围”以生成竖直Q模式图。在各种实现方式中,通过检测胸膜线来设置像素行位置的范围,例如,仅检测到的胸膜线下方的那些像素行位置(例如,可检测B线的位置)包括在像素行位置的范围内。虽然在生成水平Q模式图时可以选择相应范围的像素列位置,并且在一些实现方式中可以执行,但是在给出的示例中不需要它,因为水平Q模式图不测量图像深度。
再次参见图3C,如上表1和相关描述中所阐述的,图3C与图3B类似,示出了竖直Q模式图,其中x轴是列位置,y轴是帧号,原点是左上角。在图3C中,使用五行中的例如三行这样的子集,以生成竖直平均行向量365、竖直平均行向量366和竖直平均行向量367,以便构建竖直Q模式图324,从而生成竖直Q模式图324。因此,竖直Q模式图324的取向和轴,类似于图3C的竖直Q模式图323的视图,对应于图5A中所示的视图和本文所述的其他竖直Q模式图的视图。
再次参见图3C,图3C示出了帧310中所有列的平均的性能。由于空间限制,平均步骤在图3C中用单个方向箭头示出(例如,省略如图3B所示的显示总和但未平均的值作为单独示出的步骤的中间“行”),并且还因为这些程序先前已在其他图中展示出,所以中间步骤的这种省略没有暗示在计算或效果上有区别。在一个实现方式中,竖直平均行向量381以类似于竖直平均行向量365的方式生成,即,对于每列通过将像素强度值平均来生成。然而,不是平均帧310的列中的所有像素强度值,而是平均行的范围,例如行375的范围。具体地,将每列的底部三行(例如,行3-5)相加,并且通过除以3而不是5来平均,因为是三行相加。如前所述,每列的行范围的平均像素强度存储在一维向量(例如,竖直平均行向量381)中,在与该列的位置对应的位置处。如图3C所示,竖直平均行向量381然后被“堆叠”到竖直Q模式图324中在帧1位置处,例如,在竖直Q模式图324的顶行处,如由在左上角的原点331所指定的,如同在其他示例和图示中那样。对于帧315重复该过程以生成竖直平均行向量382,类似于图3B的竖直平均行向量366的生成,不同的是,仅使用由行的范围376指定的行的范围,例如,底部三行。然后对于帧318再次重复相同的过程,对于每列,对由行的范围377指定的行的范围求和,以生成竖直平均行向量383。然后,竖直平均行向量382和竖直平均值行向量383分别堆叠在竖直Q模式图324的行中,例如,分别在竖直Q模式图324的行2和行3处,类似于如前面的图3B中所示的竖直平均行向量366和竖直平均行向量367。
在图3C所示的实现方式,各种实现方式中,像素行位置的范围在不同帧上是一致的,例如,帧318的范围377包括与帧315的范围376和帧310的范围375的行数相同的行数。然而,在各种实现方式中,像素行位置的范围不需要是连续的,并且不需要延伸到各种竖直列的“边缘”,但这些更复杂的范围未图示。
图3B-3C先前示出了各种竖直Q模式图的生成的示例,例如,竖直Q模式图323(图3B)和竖直Q模式图324(图3C)的生成。接下来,图3D示出了生成水平Q模式图的示例。现在具体参见图3D,图3D示出了使用三个示例性帧(例如,帧310、帧315和帧318)的水平Q模式图(例如,水平Q模式图340)的计算。如在上表1和相关描述中所阐述的,图3D示出了水平Q模式图,其中x轴是帧编号,y轴是行位置,原点是左上角,并且水平Q模式图340包括水平平均列向量的堆叠,如本文将描述的。
图3D示出了与图3A中所示的过程类似的过程,其用以生成水平Q模式图,例如,水平Q模式图340。出于示例性目的,图3D使用与先前图3B-3C中相同的帧,例如,帧310(帧1),帧315(帧2)和帧318(帧3)。如图3D所示,对于帧310、帧315和帧318中的每一个,例如,跨越帧的列,行被水平相加,然后将总和除以求和的列数。每帧的每行的平均像素强度被放置在一维向量(例如,水平平均列向量361)中,在与被平均的行位置对应的位置处。然后,这些水平平均列向量并排地“堆叠”,从原点331指定的最左侧开始,以形成水平Q模式图340。具体地,图3D示出三个水平平均列向量,例如,对应于帧1的水平平均列向量361,对应于帧2的水平平均列向量362,以及对应于帧3的水平平均列向量363。
换句话说,在一个实现方式中,相对于帧310,生成水平平均列向量361,对于每行,通过将该行的跨越每列的像素强度值求和,将总和除以求和的列数来计算平均值,并将平均像素强度存储在水平平均列向量(例如,水平平均列向量361)中,在与行位置对应的位置处。如图3D所示,水平平均列向量361然后在帧1位置处“堆叠”或邻接到水平Q模式图340,例如,在水平Q模式图340的最左列,其中顶部平均水平行像素强度值对应于水平Q模式图340的顶行。对于帧315重复该过程以生成水平平均列向量362,并且对于帧318重复该过程以生成水平平均列向量363。然后,水平平均列向量362和水平平均列向量363沿竖直Q模式图324的列、向右延伸堆叠,例如分别在水平Q模式图340的列2和列3处。关于各个像素强度,这些也在图3D中示出以用于参考和说明的目的,以及另一种理解水平Q模式图340的生成的方式。具体地,将第一帧(例如,帧310)的第一水平行平均成平均像素强度312A,其表示由帧310表示的超声视频图像的帧1的跨越所有列的行1的像素强度的平均值。类似地,如图3D所示,帧1的第三行和第五行分别平均为平均像素强度312B和平均像素强度312C。然后将这些平均值连接到水平Q模式图340,其中平均像素强度的行位置为y值(例如,竖直位置),并且帧编号为x值(例如,水平位置),图的左上角是原点331(0,0)。在第一帧(例如,帧310)中,帧1的行1的平均像素强度312A被绘制在图示的位置(1,1)处,该位置可以是水平Q模式图340的最顶部和最左侧像素。因此,平均像素强度312A绘制在构成水平Q模式图340的最顶行和最左列中,平均像素强度312B绘制在中间行和最左列中,并且平均像素强度312C绘制在水平Q模式图340的底行和最左列处。
类似地,图3D中标记的帧315的示例性水平平均值(例如,平均像素强度313A,其表示行3(帧315)的跨越帧2的列的水平平均值)定位于水平Q模式图340的中间行和中间列。再次参见图3D,行1(帧318)的跨越帧3的列的水平平均值(例如,平均像素强度317A,其表示帧318的第一行的平均值)和行5的跨越帧3的列的示例性水平平均值(例如,平均像素强度317B,其表示帧318的第五行的平均像素强度)分别被放置在第三列中的最顶行和最底行,如图3D所示。
在本申请的其他部分中,参考经基线调整的竖直Q模式图,其以与计算竖直Q模式图324和竖直Q模式图323的方式相同的方式计算,不同的是,在平均之前,每个帧的每个“单元”的像素强度减去基线数,该基线数可以特定于该单元。在多种实施方案中,该基线数可以是该像素位置的跨越构成超声视频的所有帧上的所有像素强度值的中值像素强度。这将参见图3E更详细地讨论。
现在具体参见图3E,图3E示出了从经基线调整的帧(例如,经基线调整的帧352(帧1),经基线调整的帧354(帧2)和经基线调整的帧356(帧3))计算经基线调整的竖直Q模式图,例如,经基线调整的竖直Q模式图350。如上表1和相关描述中所阐述的,图3E示出了经基线调整的竖直Q模式图,例如,经基线调整的竖直Q模式图350,其以与图3C的竖直Q模式图324相同的方式取向,其中,x轴是列位置,y轴是帧编号,并且原点是左上角。经基线调整的竖直Q模式图350通过竖直平均行向量(例如,竖直平均行向量385、竖直平均行向量386和竖直平均行向量387)生成。因此,图3E的经基线调整的竖直Q模式图350的视图对应于整篇本文档所示的其他经基线调整的竖直Q模式图和/或图像,例如,图16的经基线调整的竖直Q模式图像1610,图7B的经基线调整的竖直Q模式图像712和图7B的经基线调整的竖直Q模式图像714。
在本申请的其他部分中,参考用作基线的各种值,例如,来自特定帧的像素强度值,中值像素值或平均像素值。类似于图3A-3D,图3E使用一组示例性帧,例如帧310,帧315和帧318。这些帧在图3E中在图的左侧使用它们的预调整(原始)像素强度值示出。在图3E中,基线值由基线调整值表355设置,其示出从示例性帧(例如帧310(帧1),帧315(帧2)和帧318(帧3))获取的中值像素强度值。尽管所描绘的实现方式示出了用于调整图像的基线值的表格或图,例如,基线调整值表355,但是其他实现方式依赖于来自超声视频的特定帧的值,或者来自某些其他数学或统计选择的值。
再次参见图3E,图3E从左侧开始示出了预调整帧到基线调整帧的变换。例如,通过针对特定像素位置处的每个像素强度减去该位置处的中值像素强度来调整帧310。因此,在帧310的特定像素位置处的像素强度是帧的中值的实现方式中,基线调整帧352的结果值将为零(例如,如经基线调整的帧352的第1行第2列所示,其中中值是从帧310获得的“3”(例如,从集合{3,4,2}中选择),使得经基线调整的帧352的得到的基线调整像素强度值具有零值)。通过如所描述的处理每个帧,帧310、帧315和帧318可以分别被变换为经基线调整的帧352、经基线调整的帧354和经基线调整的帧356,如图3E所示。
一旦如先前所描述的那样生成了经基线调整的帧,就可以以与图3B和3C中所述的方式相同的方式从经基线调整的帧生成经基线调整的竖直Q模式图350。具体地,在一个实现方式中,通过以下方式生成竖直平均行向量385:对于每一列,平均跨越每一行的经基线调整的像素值并且将平均值存储在竖直平均行向量(例如,竖直平均行向量385)中,在与列位置对应的位置。如图3E所示,然后将竖直平均行向量385“堆叠”到经基线调整的竖直Q模式图350的帧1位置处,例如,在经基线调整的竖直Q模式图350的顶行处。然后,对经基线调整的帧354重复该过程以生成竖直平均行向量386,并且对于基线调整帧356重复该过程以生成竖直平均行向量387。然后,竖直平均行向量386和竖直平均行向量387被堆叠在经基线调整的竖直Q模式图350的行中,例如,分别在经基线调整的竖直Q模式图350的行2和3处。尽管在图3E中由于空间限制而未特别地示出,但是像素行范围(例如来自图3C的像素行范围375、376和377)可以应用于图3E的经基线调整的竖直Q模式图350的生成,与图3C的竖直Q模式图324的生成一样。这是因为,与竖直Q模式图类似,经基线调整的竖直Q模式图也可以具有可变的深度范围,其以与图3C的竖直Q模式图324基本相同的方式并且基于基本上相同的原因起作用。
通过基本上得出的各种Q模式图的生成的特定图示,现在参见图2A,其描绘了设备50的实现方式,以及具体地处理电路250和设备50的其他相关组件的实现方式。具体地,图2A示出了根据一个或多个实现方式的设备50。如图2A所示,设备50可以包括处理器222、设备存储器245、设备接口组件220和其他设备组件224。这些组件将在本文中更详细地讨论。注意,这不是设备50的组件的完整列表,并且列出的一些组件可以被省略或在别处执行。例如,在分布式环境中,设备存储器245可以与设备50物理分离,并且可以是例如共享存储器。类似地,处理器222可以是分布式处理器。
如上所述,在一个或多个不同实现方式中,设备50可以包括设备存储器245。在一个实施方案中,设备存储器245可以包括随机存取存储器(“RAM”)、只读存储器(“ROM”)、闪存、硬盘驱动器、基于磁盘的介质、基于磁盘的介质、磁存储器、光存储器、易失性存储器、非易失性存储器及其任何组合中的一个或多个。在一个实施方案中,设备存储器245可以与设备分离,例如,可以在网络上或通过无线方式在不同设备上使用。例如,在联网系统中,可能存在一个或多个设备50,其设备存储器245位于中央服务器处,该中央服务器可能在几英尺远处或跨越海洋定位。在一个实施方案中,设备存储器245可以包括一个或多个大容量存储设备、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、高速缓冲存储器(诸如随机存取存储器(RAM))、闪存、同步随机存取存储器(SRAM)、动态随机存取存储器(DRAM)和/或其他类型的存储器设备。在一个实施方案中,设备存储器245可以位于单个网络站点。在一个实施方案中,设备存储器245可以位于多个网络站点,包括位于彼此远离的站点。
如上所述,在一个或多个不同实现方式中,设备50可以包括设备接口组件220,如图2A所示。如本文所述,设备接口组件220旨在表示处理设备50的输入和输出(例如,与操作器140的交互)的所有组件。为了便于解释,在各种实现方式中,设备接口组件220可以包括设备输入组件220A和设备输出组件220B。尽管在图2A中单独示出并且如在整个本申请中所描述的,但应注意,在设备输入组件220A和设备输出组件220B之间的硬件和软件/编程中可能存在大量重叠。例如,触摸屏监视器可以用作设备输入组件220A和设备输出组件220B的一部分。设备输入组件220A和设备输出组件220B中的每一个可以包括许多不同组件以及使得这些组件能起作用的相关驱动器、程序和软件。在多种实施方案中,可以包括在设备输入组件220A中的不完整的、非限制性的组件列表包括键盘、小键盘、游戏手柄、触摸屏、麦克风、耳机、手势跟踪器、光学跟踪器、相机、网络摄像头、或它们的任何组合。在各种实现方式中,可以包括在设备输出组件220B中的不完整的、非限制性的组件列表包括显示器、触摸屏、投影仪、增强现实投影、虚拟现实投影、扬声器、一组耳机、和触觉反馈。
另外,设备接口组件220可以包括由允许与设备50(例如计算机)交互的软件程序形成的电路。例如,在设备50是计算机的实现方式中,设备接口组件220可以包括由构成web浏览器的软件程序形成的电路。在一些实现方式中,web浏览器电路允许与用户进行交互以获得本发明中要求保护的电路。该电路可以替代地是处理器222的一部分,并且可以集成到本发明要求保护的电路中,但是没有作为本发明的一部分明确要求保护以允许考虑各种接口。作为另一示例,在设备50是智能电话(例如,运行安卓(android)并且连接到各种“应用商店”(“app store”)或“娱乐商店”(“play store”)的苹果(Apple iPhone)或三星(Samsung)电话)的实现方式中,将处理器222的电路配置成本发明要求保护的电路的应用程序可以与处理器222的电路连接,使得操作者140例如通过设备接口组件220与智能电话设备交互。
如上所述,在一个或多个不同实现方式中,设备50可以包括设备接口组件220,如图2A所示。如本文所述,设备接口组件220旨在表示控制设备50的输入和输出(例如,与操作器140的交互)的所有组件。为了便于解释,在各种实现方式中,设备接口组件220可以包括设备输入组件220A和设备输出组件220B。尽管在图2A中单独示出并且如在整个本申请中所描述的,但应注意,在设备输入组件220A和设备输出组件220B之间的硬件和软件/编程中可能存在大量重叠。例如,触摸屏监视器可以用作设备输入组件220A和设备输出组件220B的一部分。设备输入组件220A和设备输出组件220B中的每一个可以包括许多不同组件以及使得这些组件能起作用的相关驱动器、程序和软件。在多种实施方案中,可以包括在设备输入组件220A中的不完整的、非限制性的组件列表包括键盘、小键盘、游戏手柄、触摸屏、麦克风、耳机、手势跟踪器、光学跟踪器、相机、网络摄像头、或它们的任何组合。在各种实现方式中,可以包括在设备输出组件220B中的不完整的、非限制性的组件列表包括显示器、触摸屏、投影仪、增强现实投影、虚拟现实投影、扬声器、一副耳机、和触觉反馈。
如上所述,在一个或多个不同实现方式中,设备50可以包括其他设备组件224。为了说明,主要示出了其他设备组件224,例如,这里针对设备50阐述的组件列表并非旨在是详尽或完整的清单。例如,其他设备组件224可以包括例如操作系统(OS)或内核223。在其他实现方式中,其他设备组件224可以包括图形卡、GPU、除处理器222之外的处理器、永久存储器,以及本技术领域已知的作为设备50的任选部件的其他组件。在各种实现方式中,其他设备组件224可以包括探针42,例如,在超声设备40被省略或者是设备50的一部分的实现方式中。
再次参见图2A,设备50可以包括处理器222,如前所述。在一个实现方式中,处理器222可以由指令配置以形成处理电路250。在另一实现方式中,处理电路250可以是处理器222的永久部件,例如,其形式为专用集成电路(ASIC)或者现场可编程门阵列(FPGA)。在一个实现方式中,处理电路250的仅部分可以在任何给定的快照时间存在,因为处理器222执行指令,然后根据所接收的指令重新使用(re-purpose)其逻辑门和晶体管。在一个实现方式中,例如,在处理器222执行指令流水线操作的实现方式中,处理电路250的各部分可能不是在完全相同的时刻存在,而是在处理器222基于所接收的指令形成自身时形成以完成。
再次参见图2A,图2A示出了处理电路250,其包括用于执行本发明的一个基于机器的实现方式的各种电路。图2A示出了包括在处理电路250中的各种电路以及与设备50的其他组件的相互作用的高级图。图2B提供了关于存在于图2B中的各种电路中的每一个的更多细节,其示出了与图2A基本相同的实现方式,但是更详细并且没有示出设备50的其他组件。处理电路250可以在一次或多次(并且不一定同时或按图2A所示的顺序)包括超声视频处理电路252、水平Q模式图生成电路254、胸膜线检测规则应用电路256、竖直Q模式图生成电路258、竖直Q模式图中的潜在的B线对象检测电路260、基线调整规则应用电路262、经基线调整的竖直Q模式图生成电路264、经调整的Q模式图中的潜在的B线对象检测电路266、以及B线检测规则应用电路268。应当注意,在图2A、2B和其他图中,使用了各种箭头。如上所述,当在设备图中使用时,例如,如在图2A,2B等中,为了便于理解,这些箭头可用于指示示例性但非限制性的数据流。尽管箭头可能与要执行的步骤一致地对准,但是除非上下文另有指示,否则这些箭头不一定意味着设定顺序或因果关系。如上所述,尽管在外观上与流程图中出现的箭头类似,但是电路和设备图中的箭头表示数据流并且不受其箭头方向的限制。
如图2A和2B所示,在一个或多个实现方式中,超声视频处理电路252可以被配置为对包括两帧或更多帧超声图像数据的至少一个超声视频执行处理252A。由超声视频处理电路252执行的处理可以包括对图像的各种形式的预处理,其在多种实施方案中可以是灰度图像。例如,在一个实现方式中,可以使用利用各种已知实现方式的边缘检测,利用修改器以得到矩形图像(例如,为了便于创建竖直Q模式图和水平Q模式图,如在本文更详细地描述的)。可以由超声视频处理电路252执行的其他处理可以包括裁剪图像的不想要的部分,或者将图像从一个坐标平面转换到另一个坐标平面,例如,将极坐标平面图像转换为笛卡尔坐标平面图像。在其他实现方式中,可以在一定程度上对图像执行更高级的处理,例如,亮度过滤、几何变换等,使得这样的处理避免损坏对图像执行必要工作所需的原始图像数据。可用于本文所述过程的一个实现方式的特定类型的图像处理将在本文中更详细地讨论。
再次参见图2A,在一个实现方式中,超声视频处理电路252可以执行图9B的操作922,操作922准备用于处理的包括两个或更多个帧的至少一个超声视频和/或可以执行图9A的操作902的部分,以从至少一个超声视频产生至少一个Q模式图,这将在本文中相对于各个附图进一步详细讨论。在一个实现方式中,超声视频处理电路252与设备接口组件220交互以提供超声视频的视觉输出,尽管该步骤不是必需的或不需要的。
再次参见图2A,在一个实现方式中,处理电路250可以在各种实现方式中包括水平Q模式图生成电路254。如图2B所示,例如,在子操作254A中,水平Q模式图生成电路254可以被配置为至少部分地基于处理的至少一个超声视频生成水平Q模式图。在一个实现方式中,水平Q模式图生成电路254可以在关于图3D更详细描述的过程中生成水平Q模式图,例如,水平Q模式图340。此外,在一个实现方式中,水平Q模式图生成电路254可以执行图9B的操作924,从而生成水平Q模式图,该水平Q模式图是从至少一个超声视频的至少一帧收集的视频数据的表示,和/或可以执行图9A的操作902的部分,从而从至少一个超声视频产生至少一个Q模式图,这将在本文中参考附图进一步详细讨论。
在一个实现方式中,水平Q模式图可以由水平Q模式图生成电路254通过各种技术生成,其中一些技术在图3中示出并在图2E中描述。例如,图2E描述了水平Q模式图生成电路254,其在一个实现方式中可以包括被配置为创建水平平均列向量(例如,图3D的水平平均列向量361)的水平平均列向量创建电路285。水平平均列向量可以是包括平均像素强度列的列向量。水平平均列向量中的每个平均像素强度表示对应行的跨越所有列的像素强度的平均值(例如,对应行的跨越所有列的水平求和像素强度并除以求和的列数)。这个过程在本文参考图3D更详细地描述。作为说明性示例,超声视频的帧12的示例性行5可具有各种像素强度。出于该示例的目的,假设帧12具有60列,将帧12的行5的所有60列中的像素的像素强度相加在一起。然后将该和除以被求和(例如,六十)的值的总数(例如,列的总数),以产生平均值。然后将该平均值置于水平平均列向量中,例如,在该特定水平平均列向量的位置5处。如将在下一段中描述的,该特定水平平均列向量将从左侧开始“堆叠”至第十二,这表示水平平均列向量是从帧12生成的。
另外,如图2E所示,水平Q模式图生成电路254还可以包括水平Q模式图生成电路286,在一个实现方式中,其可以被配置为通过堆叠所创建的水平平均列向量生成水平Q模式图,其如上文的段落中所述,根据帧从左上角原点开始水平地从左到右创建,例如,如图3D所示。
返回参见图2A,在一个实现方式中,处理电路250可以包括胸膜线检测规则应用电路256。例如,在一个实现方式中,例如,如图2B的子操作256A所示,胸膜线检测规则应用电路256可以被配置为通过将胸膜线检测规则应用于水平Q模式图来检测至少一条胸膜线,该胸膜线检测规则定义水平Q模式图中的胸膜线的外观。如上所述,胸膜线在肺超声视频中基本上水平地延伸,该肺超声视频被映射在笛卡尔坐标平面中。因此,强调检测到水平线的区域的水平Q模式图可用于确定肺部超声中胸膜线的位置。在一个实现方式中,胸膜线的检测在稍后的处理中是有用的,以确定在图像中检测到的物体是否表示B线或其他伪像(例如,参见本文关于超声图像伪像的以下讨论)。在各种实现方式中,在执行胸膜线的该检测之后,胸膜线上方的区域(其在一些实施方案中可能不包含B线)没有进一步的处理在其上进行。例如,如先前所述,在一个实现方式中,一旦检测到胸膜线,就可以为各种竖直Q模式选择深度范围,例如,如关于图3C所描述的,使得行的范围被选择为排除检测为包含胸膜线的行上方的行。在一个实现方式中,胸膜线检测规则应用电路256可以执行图9B的操作926,从而通过应用胸膜线检测规则到水平Q模式图检测至少一条胸膜线,该胸膜线检测规则定义了水平Q模式图中的胸膜线的外观,和/或可以执行图9A的操作902的部分,从而从至少一个超声视频产生至少一个Q模式图,这将在本文中相对于相应的附图进一步详细讨论。
再次参见图2A,在一个实现方式中,处理器222的处理电路250可以包括竖直Q模式图生成电路258。在一个实现方式中,如图2B所示,竖直Q模式图生成电路258可以被配置为生成竖直Q模式图,该竖直Q模式图是从超声视频的至少一帧收集的数据的表示,如子操作258A所示。在一个实现方式中,竖直Q模式图生成电路258可以生成竖直Q模式图,例如,在参考图3B-3C更详细描述的过程中分别产生的在图3B-3C中的竖直Q模式图323或竖直Q模式图324。此外,在一个实现方式中,竖直Q模式图生成电路258可以执行图9B的操作928,从而生成至少一个竖直Q模式图,该至少一个竖直Q模式图是从至少一个超声视频的至少一个帧收集的数据的表示,和/或可以执行图9A的操作902的部分,从而从至少一个超声视频产生至少一个Q模式图,这将在本文中相对于各个附图进一步详细讨论。在一个实现方式中,竖直Q模式图可以由竖直Q模式图生成电路258通过多种不同技术生成,其中一些技术在图3中示出并在图2E中描述。例如,图2E描述了竖直Q模式图生成电路258,其在一个实现方式中包括竖直平均行向量创建电路287,其被配置为创建竖直平均行向量(例如,图3B的竖直平均行向量365)。竖直平均行向量365可以是水平延伸的行向量,并且包括一行平均像素强度。竖直平均行向量365中的每个平均像素强度表示对应列的跨越行范围内的像素强度的平均值(例如,竖直遍历对应列的行的范围内的像素强度并且通过对像素强度求和并且除以求和的行数来平均)。该过程在图3B-3C中更精确地示出。举说明性示例而言,帧10的示例性列19可以具有各种像素强度。出于该示例的目的,假设帧10具有80列和80行,沿着帧10的19列的所有80行的像素的像素强度被加在一起。然后将该总和除以被求和的值的总数(例如,总行数,例如,八十),以产生平均像素强度值。然后将该平均像素强度值置于竖直平均行向量中,例如,在该特定竖直平均行向量的位置19处。如将在下一步骤中描述的,该特定竖直平均行向量将从顶部开始堆叠到第十行,这指示竖直平均行向量是从帧10生成的。因此,在一个实现方式中,竖直平均行向量创建电路287可以通过上下叠置以降序(例如,向下,但是帧数将增加,因为原点位于左上角)方式放置一系列基于帧的一维水平向量(例如,来自图3C的竖直平均行向量365)来生成竖直Q模式图。
在一个实现方式中,例如,如图2E中所示,竖直Q模式图可由竖直Q模式图生成电路258生成,其在一个实现方式中还可包括图2E的竖直Q模式图生成电路288,竖直Q模式图生成电路288通过根据帧竖直向下堆叠所创建的竖直平均行向量来生成竖直Q模式图,例如,如图3B中有关竖直平均行向量365、竖直平均行向量366和竖直平均行向量367所示出的。如前所述,垂直Q模式图可以沿着各个轴选择具有帧编号和竖直列编号,并且具有不同的原点,而不会影响各种检测算法的运算,但是这在可实现人类审查Q模式数据的实现方式中,可能会降低人理解和/或视觉观察Q模式数据的能力。
在一个实现方式中,竖直Q模式图生成电路258可以执行图9B的操作928,例如,生成至少一个竖直Q模式图,该至少一个竖直Q模式图是从至少一个超声视频的至少一个帧收集的数据的表示,这将在本文参考图9B更详细地讨论。
再次参见图2A,在一个实现方式中,处理器222的处理电路250可以包括竖直Q模式图中的潜在的B线对象检测电路260。在一个实现方式中,如图2B所示,竖直Q模式图中的潜在的B线对象检测电路260可以被配置为检测竖直Q模式图中的一个或多个潜在的B线对象,如子操作260A所示。这可以通过例如对竖直Q模式图进行阈值处理,并且在竖直Q模式图中的在大于零的像素强度在阈值处理之后被检测到的任何位置处检测潜在的B线对象来实现。在另一个实现方式中,在阈值处理之后检测到大于零的像素强度的区域可以聚类在一起,例如,如将参照图18更详细地描述的那样。在一个实现方式中,可以在竖直Q模式图中的在大于零的像素强度在阈值处理之后被检测到的区域的平均或中点位置处标记潜在的B线对象。在一个实现方式中,对竖直Q模式图的潜在的B线对象检测可能倾向于检测当在图像上执行基线调整时会被删除的合并的B线或其他突出的B线。
在一个实现方式中,竖直Q模式图中的潜在的B线对象检测电路260可以执行图9B的操作930,例如,检测至少一个竖直Q模式图中的一个或多个潜在的B线对象,这将在本文中参考图9B更详细地讨论。
再次参见图2A,在一个实现方式中,处理器222的处理电路250可以包括基线调整规则应用电路262。在一个实现方式中,如图2B所示,基线调整规则应用电路262可以被配置为将基线调整规则应用于至少一个超声视频的至少一个帧以生成经基线调整的超声视频数据,如子操作262A所示。在一个实现方式中,基线调整规则应用电路262可以将基线(例如,如图3E所示)应用于超声视频的一个或多个帧。在其他实现方式中,基线调整规则应用电路262可以应用可以选择要用作基线的帧的不同基线调整规则,或者使用一个或多个公式或算法来确定对超声视频的至少一帧的基线调整。在一个实现方式中,可以存储和处理经基线调整的超声视频数据,但是在另一个实现方式中,例如,一旦生成了经基线调整的竖直Q模式图,可以处理和丢弃经基线调整的超声视频数据,如本文将描述的。
在一个实现方式中,基线调整规则应用电路262可以执行图9B的操作932,例如,将基线调整规则应用于至少一个超声视频的至少一个帧以生成经基线调整的超声视频数据,这将参考图9B更详细地讨论。
再次参见图2A,在一个实现方式中,处理器222的处理电路250可以包括经基线调整的竖直Q模式图生成电路264。在一个实现方式中,如图2B所示,经基线调整的竖直Q-模式图生成电路264可以至少部分地基于经基线调整的超声视频数据生成经基线调整的竖直Q模式图,如子操作264A所示。也就是说,通过与竖直Q模式图类似的过程,可以使用经基线调整的超声视频数据以相同的方式(例如,如前所述,通过从经基线调整的超声视频数据生成一个或多个竖直平均行向量,并竖直堆叠这些竖直平均行向量)来生成经基线调整的竖直Q模式图。例如,在一个实现方式中,经基线调整的竖直Q模式图生成电路264可以通过上下叠置以降序(例如,向下,但是帧数将增加,因为原点位于左上角)方式放置一系列竖直平均行向量(例如,来自图3E的竖直平均行向量385)来生成经基线调整的竖直Q模式图。可以通过针对每列计算经基线调整的帧的该列的跨越行范围的像素强度的平均值来构造每个竖直平均行向量。与水平Q模式图相反,并且与竖直Q模式图类似,经基线调整的竖直Q模式图可以仅对行范围(其可以包括所有行)生成平均像素强度,原因之前提及过。也就是说,对于特定经基线调整的帧的每一列,将对该列中的像素强度值的子集进行平均,然后将该平均值放置在竖直平均行向量中在与被平均的列的位置对应的位置处。
在一个实现方式中,经基线调整的竖直Q模式图生成电路264可执行图9B的操作934,例如,至少部分地基于经基线调整的超声视频数据生成至少一个经基线调整的竖直Q模式图,这将在本文参考图9B更详细地讨论。
再次参见图2A,在一个实现方式中,处理器222的处理电路250可以包括在经调整的Q模式图中潜在的B线对象检测电路266。在一个实现方式中,如图2B所示,经调整的Q模式图中潜在的B线对象检测电路266可以被配置为检测经调整的Q模式图(例如,经基线调整的竖直Q模式图(例如,图3E的经基线调整的竖直Q模式图350),其先前已经更详细地讨论过)中的一个或多个潜在的B线对象。这可以通过例如对经基线调整的竖直Q模式图进行阈值处理,并在经基线调整的竖直Q模式图中的在阈值处理之后检测到像素强度大于零的任何位置检测潜在的B线对象来实现。在另一个实现方式中,在阈值处理之后检测到像素强度大于零的区域可以聚类在一起,例如,如将参考图18更详细描述的那样。在一个实现方式中,可以在经基线调整的竖直Q模式图中的在阈值处理之后检测到像素强度大于零的区域的平均或中点位置处标记潜在的B线对象。在一个实现方式中,由于基于中值像素强度调整帧,相对于竖直Q模式图,在检测瞬态B线或不太突出的B线时,经基线调整的竖直Q模式图上的潜在的B线对象检测可能更有效。
在一个实现方式中,经调整的Q模式图中的潜在的B线对象检测电路266可以执行图9B的操作936,检测经基线调整的竖直Q模式图中的一个或多个潜在的B线对象,和/或可以执行图9A的操作904的部分,将至少一个规则应用于从至少一个超声视频所生成的至少一个Q模式图以识别所述至少一个超声视频中的一个或多个B线,这将在本文中相对于相应的附图进一步详细讨论。
再次参见图2A,在一个实现方式中,处理器222的处理电路250可以包括B线检测规则应用电路268。在一个实现方式中,如图2B所示,B线检测规则应用电路268可以被配置为将一个或多个B线检测规则应用于检测到的一个或多个潜在的B线对象,以识别至少一个超声视频中的一个或多个潜在的B线,如子操作268A所示。一个或多个B线检测规则可指定至少一个超声视频的一个或多个部分以例如在由检测到的一个或多个潜在的B线对象指定的位置处提取,以及如何进一步确定检测到潜在的B线对象是真正的B线还是假正类的。在一个实现方式中,B线检测规则应用电路268可以通过以下操作检测超声视频中存在的各种B线:检测经基线调整的竖直Q模式图中的一个或多个对象,应用将在本文更详细地讨论的一个或多个规则,例如,阈值规则,以及一个或多个检测和/或模式匹配规则,然后对超声视频内的对应位置进行进一步处理,例如,在此处将进一步详细描述的过程中对提取的图像部分执行机器学习。
在一个实现方式中,B线检测规则应用电路268可以执行图9B的操作938,将一个或多个B线检测规则应用于检测到的一个或多个潜在的B线对象以识别所述至少一个超声视频中的一个或多个潜在的B线和/或可以执行图9A的操作904的部分,将至少一个规则应用于从至少一个超声视频所生成的至少一个Q模式图以识别至少一个超声视频中的一个或多个B线,这将在本文中相对于相应的附图进一步详细讨论。
现在参见图2C,图2C示出了根据设备50的其他实现方式在环境200B中操作的处理电路270。例如,在一个实现方式中,设备50的处理器222的处理电路270可以包括Q模式图生成电路272。在一个实现方式中,Q模式图生成电路272可以被配置为从至少一个超声视频生成至少一个Q模式图像,如子操作272A所示。例如,在一个实现方式中,Q模式图生成电路272可以生成先前描述的Q模式图中的一个或多个,例如,水平Q模式图、竖直Q模式图和经基线调整的竖直Q模式图。在其他实现方式中,可以不生成竖直Q模式图,例如,可以直接对图像执行计算以生成经基线调整的竖直Q模式图。在一个实现方式中,Q模式图生成电路272可以被配置为执行图9A的操作902的部分,从至少一个超声视频生成至少一个Q模式图。
再次参见图2C,处理电路270可以包括B线检测规则应用电路274。在一个实现方式中,B线检测规则应用电路274可以被配置为将至少一个规则应用于从至少一个超声视频所生成的至少一个Q模式图以识别至少一个超声视频中的一个或多个B线,如子操作274A所示。例如,在一个实现方式中,B线检测规则应用电路274可以被配置为执行图9A的操作904的部分,将至少一个规则应用于从至少一个超声视频所生成的至少一个Q模式图,以识别至少一个超声视频中的一个或多个B线,这将在本文中进一步详细讨论。
现在参见图9及以后的图,以下是描绘实现方式的一系列流程图。为了便于理解,组织流程图使得初始流程图通过示例性实现方式呈现多个实现方式,并且此后以下流程图呈现初始流程图的替代实现方式和/或作为构建在一个或多个早期呈现的流程图上的子组件操作或附加组件操作的扩展。本领域技术人员应理解,这里使用的呈现风格(例如,从呈现示例性实现方式的流程图的呈现开始并且此后在后续流程图中提供添加和/或进一步的细节)通常使得能快速且容易地理解各种过程实现方式。此外,本领域技术人员应进一步理解,本文使用的呈现风格本身也很适用于模块化和/或面向对象的程序设计范例。
此外,在图9中以及随后的若干附图中,可以以框内框的方式描绘各种操作。此类描绘可以指示内部框中的操作可以包括在一个或多个外部框中示出的操作步骤的任选的示例性实施方案。然而,应该理解,内部框操作可以被视为与任何相关外部框分开的独立操作,并且可以以任何顺序执行,除非上下文另有规定,例如,在对于相对于所有其他所示操作的进一步的处理步骤或进一步的电路输入需要该处理步骤或电路输出的结果的情况下,或者内部框操作可以同时执行。更进一步地,图9-15中所示的这些操作以及本文中所述的其他操作可以通过机器、制品或物质组成中的至少一种来执行。
现在参见图9A,图9A示出了操作900,其可以包括操作902,操作902描绘了从至少一个超声视频生成至少一个Q模式图。例如,图2(例如,图2C)示出了Q模式图生成电路272,其在各种实现方式中可以被配置为从至少一个超声视频生成至少一个Q模式图。操作900还可包括操作904,操作904描绘了将至少一个规则应用于从至少一个超声视频所生成的至少一个Q模式图以识别所述至少一个超声视频中的一个或多个B线。例如,图2(例如,图2C)示出了B线检测规则应用电路274,其在各种实现方式中可以被配置为将至少一个规则应用于从至少一个超声视频所生成的至少一个Q模式图,以识别所述至少一个超声视频中的一个或多个B线。
现在参见图9B,图9B示出了操作900B,其可以包括操作922,其描绘准备用于处理的包括两个或更多个帧的至少一个超声视频。例如,图2(例如图2A)示出了超声视频处理电路252,其在各种实现方式中可以被配置为准备用于处理的包括两个或更多个帧的至少一个超声视频。处理的准备可以是逐帧的,或者可以靶向作为整体的视频。在一个实现方式中,由超声设备(例如,超声设备40)捕获的一些帧可能最终不会成为超声图像70的一部分,例如,如果用于显示或处理图像和视频的电路预期每秒特定数量的帧数的话。例如,如果超声设备40捕获每秒180帧的图像数据,并且连接的电路被设置为接收和处理每秒30帧的图像数据,则仅每第六帧可以成为超声图像/视频70的一部分,并丢弃其他五帧以获得每秒30帧的视频。
在一个实现方式中,除了要应用于视频和图像的其他已知预处理指令之外,还存在两种特定类型的图像预处理,这些特定类型的图像预处理在此为示例性目的而具体叙述和考虑。第一种是“剪切”或“裁剪”图像以去除多余或不需要的像素。本文相对于图10A讨论这些方法的一些更具体的示例。另外,图4A和4B示出了切割或裁剪图像的各种实现方式。然后,参见图4A,图4A示出了原始超声图像410,其可以是超声视频的帧,例如来自图1的超声视频70的帧。也就是说,在一个实现方式中,原始超声图像410表示来自通过超声设备(例如,超声设备40)捕获的超声视频的单个帧。再次参见图4A,原始超声图像410可以用裁剪点操纵,例如,第一裁剪点401和第二裁剪点402。这些裁剪点每个可以具有x值和y值,因此可以在它们之间定义矩形,例如边界框。这在图4A中示出为期望的图像边界框403。在一个实现方式中,可以保持期望图像边界框403内的像素,并且可以丢弃期望图像边界框403之外的像素。这通过投影线404示出,所述投影线404示出了期望图像边界框403内的用于形成裁剪超声图像420的像素。在一个实现方式中,裁剪超声图像420可以仅仅是最初在原始超声图像410的期望的图像边界框403内的像素。在另一个实现方式中,可以例如,通过各种处理技术(例如,图像内插)将裁剪超声图像420放大(例如)到原始超声图像410的原始大小。
现在参见图4B,图4B示出了将原始超声图像410转换为裁剪超声图像420的不同方式。在图4B中,原始超声图像410可以与定义边界框(例如,类似于期望的图像边界框403)的一个或多个裁剪线412相交。在图4B中,示出了四个裁剪线412,原始超声图像410的每个“侧边”有一个裁剪线412,但是在其他实现方式中,可以使用更多或更少的裁剪线412。在一个实现方式中,可以在裁剪线412处裁剪原始超声图像410以生成经裁剪的超声图像420。在一个实现方式中,裁剪线412可以自动设置,可以由操作员设置(例如,通过在设备输出组件220B(例如监视器)的一部分上观看原始超声图像410,并且经由设备50的设备输入组件220A的输入设备(例如,触摸屏监视器)将裁剪线412输入到设备50中),或者可以由其一些组合设置。在一个实现方式中,可以基于设备50、超声设备40或探针42的一个或多个属性来设置裁剪线412。例如,如果使用特定类型的超声设备40,例如,通用电气(GeneralElectric)(TM)超声设备,则该超声设备可以生成特定尺寸的图像,其中肺数据在特定位置,并且这些参数可以用于选择裁剪线412(前述示例仅仅是示例性的)。在另一个实现方式中,设备50可使用各种图像处理技术(例如,边缘检测)来放置裁剪线412。在验证裁剪线412时,仅原始超声图像410的由裁剪线412形成的框内的那些像素被保留,其他像素被丢弃。如先前关于图4A所描述的,在一个实现方式中,裁剪超声图像420可以简单地是最初在由原始超声图像410的裁剪线412形成的框内的像素。在另一个实现方式中,经裁剪的超声图像420可以例如通过各种处理技术(例如图像插值)放大到原始超声图像410的原始尺寸。
本文具体描述的第二类图像预处理是坐标平面移位。现在参见图4C,在一个实现方式中,图4C示出了极坐标超声图像425,其是在极坐标平面(例如,(r,θ)坐标系)上绘制的肺超声。在一个实现方式中,极坐标超声图像425被定义在r坐标444和θ坐标446上,如图4C所示。在一个实现方式中,如图4C所示,执行坐标变换以通过从极坐标超声图像425的边缘到笛卡尔超声图像430的相对边缘的投影线404获得笛卡尔超声图像430,所述笛卡尔超声图像430具有被变换为笛卡尔坐标(x,y)的极坐标(r,Θ)。在一个实现方式中,该操作可以通过以下方式来执行:将像素重新绘制到新的坐标平面,在图像的部分(例如,在顶部附近)中插入像素,其中可以不明确地定位像素数据,和/或将图像的存在比可绘制的像素数据更多的像素数据的部分(例如,靠近底部)中的像素平均。可以使用任何数量的已知图像处理技术将极坐标转换为笛卡尔坐标,以及根据需要填充任何间隙或压缩任何图像数据。如在图4C的标题中可以看到的,可以至少部分地基于用于生成极坐标超声图像425的图像深度来选择原点和深度范围。
再次参见图9B,操作900B可以包括操作924,其描绘生成水平Q模式图,该水平Q模式图是从至少一个超声视频的至少一个帧收集的视频数据的表示。例如,图2(例如,图2A)示出了水平Q模式图生成电路254,其在各种实现方式中可以被配置为生成至少部分地基于至少一个超声视频的水平Q模式图。水平Q模式图生成一般相对于图3D进行讨论。在一个实现方式中,水平Q模式图生成电路254可以通过放置一系列水平平均列向量来生成水平Q模式图,如前所述。水平平均列向量可以从最左边的原点(例如,从水平Q模式图的左侧开始)以升序(从左到右)的顺序彼此相邻放置。可以通过针对每行计算特定帧的该行的跨越列的像素强度的平均值来构造每个水平平均列向量。也就是说,对于特定帧的每一行,对该行中的像素强度进行平均,然后将该平均值放置在水平平均列向量中与被平均的行的位置对应的位置处。该实现方式在图11中示出,其中操作924(例如,生成水平Q模式图,其是从至少一个超声视频的至少一个帧收集的视频数据的表示)被实现为操作1115和操作1120,操作1115描绘对于每一帧,生成包括成列的平均像素强度的水平平均列向量,其中每个平均像素强度表示相应行的跨越所有列的像素强度的水平平均值,并且操作1120描绘根据帧从左上角原点开始通过水平地从左到右堆叠所创建的水平平均列向量生成水平Q-模式图。
使水平Q模式图的构造可视化的另一种方式可以是将构造可视化为将值单独放置在其对应位置处。例如,在一个实现方式中,通过以下方式来生成水平Q模式图:对于帧的每一水平行,将帧的水平行中的每个像素的像素强度平均,并且在水平Q模式图中,将平均像素放置在由平均像素的水平行位置指示的行,并且在由水平行的像素被平均的帧指示的列处,然后针对超声视频的每个帧重复该处理。
返回参见图2E,在一个实现方式中,水平Q模式图生成电路254可以包括水平平均列向量生成电路285,所述水平平均列向量生成电路285被配置为针对每个帧创建包括成列的平均像素强度的水平平均列向量,其中每个平均像素强度表示相应行的跨越所有列的像素强度的水平平均值,并且在各种实现方式中,被配置为执行操作1115,并且水平Q模式图生成电路254被配置为执行操作1120。
再次参见图9B,操作900B可以包括操作926,操作926描绘了通过对水平Q模式图应用胸膜线检测规则来检测至少一条胸膜线,该胸膜线检测规则定义了水平Q模式图中的胸膜线的外观。例如,图2(例如图2A)示出了胸膜线检测规则应用电路256,其在各实现方式中可以被配置为通过对水平Q模式图应用胸膜线检测规则来检测至少一条胸膜线(例如,指示肺和胸腔之间的边界的线),该胸膜线检测规则定义了水平Q模式图中的胸膜线的外观。在一个实现方式中,胸膜线在超声视频图像中基本上水平地延伸,所述超声视频图像被映射到笛卡尔坐标平面,并且因此胸膜线在水平Q模式图中基本上水平地延伸,水平Q模式图由于其通过水平平均列向量形成而突出显示水平线的区域,水平线在超过一帧的超声视频上持续存在。因此,在一个实现方式中,当超声视频如先前图(例如,图3D)中所描述的那样取向时,水平Q模式图可以包含具有指示大致在超声视频的上部三分之一中的胸膜线(例如,持久水平线)的一个或多个特征的各种对象。水平Q模式图中的这些对象可以指示一或多条胸膜线所在的位置。在一个实现方式中,胸膜线的位置用于进一步处理B线检测,所述B线检测可以包括从胸膜线的位置开始检测B线。胸膜线检测的附加规则应用将在本文中参考图12更详细地描述。
再次参见图9B,操作900B可包括操作928,其描绘生成至少一个竖直Q模式图,其是从至少一个超声视频的至少一个帧收集的数据的表示。例如,图2(例如,图2A)示出了竖直Q模式图生成电路258,其在各种实现方式中可以被配置为生成至少一个竖直Q模式图,所述至少一个竖直Q模式图是从至少一个超声视频的一帧收集的数据的表示。竖直Q模式图像生成一般参考图3B-3C进行讨论。在一个实现方式中,竖直Q模式图可以通过堆叠竖直平均行向量来生成,例如,如图3B所示,并且这些竖直平均行向量可以是沿着行的子集的竖直平均值,例如,如图3C所示。在一个实现方式中,可以至少部分地基于在先前操作(例如,操作926)中检测到的胸膜的位置来选择行的子集。在一个实现方式中,参见图2E,竖直Q模式图生成电路258可以包括竖直平均行向量创建电路287。图2E的竖直平均行向量创建电路287可以被配置为针对每一帧创建竖直平均行向量,例如,来自图3B的竖直平均行向量365,其包括成行的平均像素强度,其中每个平均像素强度表示沿相应列的行范围的竖直像素强度的平均值。也就是说,竖直平均行向量创建电路287可以被配置为执行图13的操作1325,这将在下一段中更详细地讨论。另外,在一个实现方式中,竖直Q模式图生成电路258还可以包括图2E的竖直Q模式图生成电路288,所述竖直Q模式图生成电路288在各种实现方式中可以被配置为执行图13的操作1330,例如,通过根据帧从左上角原点开始竖直向下堆叠所创建的竖直平均行向量来创建竖直Q模式图,例如,如图3B和3C所示。
现在参见图5A,图5A示出了如何形成竖直Q模式图(例如,竖直Q模式图像510)的示例性图示。如上所述,尽管各种Q模式实现方式可以实现为图(map),但是它们也可以实现为图像(image),如图5A和一些随后的附图所示。另外,在图5A中以及在各种其他图中的一些但不是全部中,轴出现在各种Q模式图像周围,例如,轴出现在竖直Q模式图像510周围。这些轴不是Q模式图像的一部分,并且仅为了说明目的而提供。这些轴不一定按比例或数字准确的,在任何附图中包含或省略它们不应被赋予意义,除非另有明确说明,或除非上下文另有规定。如图5A所示,竖直列由竖直线,例如图像502(帧1)、图像504(帧10)和图像506(帧60)中的竖直线507表示。竖直线507(其可以对应于图3A中所示的竖直列304)表示竖直列,通过该竖直列,该列的像素将被平均,然后被放入对应于该帧的竖直平均行向量中,总和从该帧得到。单独地说,图5A中的各种竖直线507的像素强度的平均值被绘制在竖直Q模式图像510上在与对应于列号(25)的x位置和对应于该帧的y位置(对于图像502、图像504和图像506,分别为1、10和60)处。从竖直Q模式图像510(其生成和排列类似于图3B和3C所描述的)可以看出,出现在超声图像中的多个帧上的持久竖直线(例如,潜在的B线对象)可以在竖直Q模式图像510中显示为基本相同方向上的线。
现在参见图5B,图5B示出了可以在各种深度范围处生成各种竖直Q模式图像,如图3C中具体示出的。图5B示出了可以生成竖直Q模式图和/或图像的一些不同的示例性深度范围。例如,改变竖直Q模式图像的深度范围可能是有用的,因为如先前在各实现方式中所描述的,基本上水平的胸膜线可以有效地创建屏障,在该屏障之上生成的任何潜在的B线对象不是真B线,而是由超声视频中的其他对象生成的,并且不会被进一步处理。再次参见图5B,图5B示出了超声图像522。可以从与超声图像522相关联的视频(例如,帧的集合)生成一个或多个竖直Q模式图像(为了说明的目的,仅示出了超声视频的单个帧,例如超声图像522,但是一旦选择了深度范围,深度范围可以不逐帧改变)。在一个实现方式中,可以使用由超声图像522上的大“1”指示的第一深度范围(例如,深度范围512A)从超声图像522生成竖直Q模式图像,例如竖直Q模式图像514。深度范围512A对应于超声图像522的整个竖直范围,并且可以在整个竖直范围上生成图5B的竖直Q模式图像514。换句话说,深度范围512A表示整个图像深度范围,例如,用于生成竖直Q模式图像514的超声图像522的整体(其可能先前被裁剪并转换为先前参考超声图像520所描述的笛卡尔坐标)。
]继续参见图5B,在另一个实现方式中,可使用由在超声图像522上的大“2”指示的第二深度范围(例如,深度范围512B)从超声图像522产生竖直Q模式图像(例如,竖直Q模式图像516)。深度范围512B对应于超声图像522的排除胸膜线和其上方的区域(例如,不太可能或不执行B线检测的区域)的竖直范围。在又一个实现方式中,可使用由在超声图像522上的大“3”指示的使用底部竖直范围的第三深度范围从超声图像522产生竖直Q模式图像518。注意,竖直Q模式图像514、竖直Q模式图像516和竖直Q模式图像518中的每一个以与图5A的竖直Q模式图像510类似的方式对准,即,其中x轴是列位置,y轴是帧编号,例如,如图3B和3C中所示。
现在参考图5D,图5D示出了超声图像中的各种B线可以如何出现在竖直Q模式图中。尽管这里提供图5D作为示例,但是图5D的超声图像中的B线不是非常强烈地被定义,因此使得检测更加困难。具体地,图5D示出了包括瞬态B线542A的超声视频帧541(帧23)。从图5D可以看出,瞬态B线542A从胸膜线基本上沿扫描束向下延伸(因为超声视频帧541被映射到极坐标,而不是笛卡尔坐标,因此B线,包括瞬态B线,不完全竖直)。类似地,超声视频帧542(帧53)示出了两个附加的瞬态B线,即瞬态B线542B和瞬态B线542C。这些瞬态B线,例如542A、542B和542C,在竖直Q模式图像545上显示为竖直光迹,如图5D所示。类似于图3C和3E中所述,将竖直Q模式图像545定位和对准,即,原点在左上角,列位置在x轴上且帧编号在y轴上(例如,因此在帧53中检测到的瞬态B线542B和瞬态B线542C具有相同的y值,如竖直Q模式图像545所示)。如图5D所示,竖直Q模式图像545使得能检测瞬态B线,例如,瞬态B线542A、瞬态B线542B和瞬态B线542C,并且根据该检测,可以确定它们是真正的B线还是非B线伪像。在其他实现方式中,瞬态B线可能难以在竖直Q模式图中检测(或者检测可能导致大量假正类),因此可以生成经基线调整的竖直Q模式图,其中可以改善检测率和/或假正类率。
返回参见图9B,操作900B可以包括操作930,所述操作930描绘了检测至少一个竖直Q模式图中的一个或多个潜在的B线对象。例如,图2(例如,图2A)示出了竖直Q模式图中潜在的B线对象检测电路260,其在各种实现方式中可被配置为检测至少一个竖直Q模式图中的一个或多个潜在的B线对象。例如,合并的B线可以在超声视频中显示为持久(例如,跨越多于一帧)竖直线。另外,合并的B线通常比在超声图像中检测到的其他伪像更宽(例如,在超声图像中跨越更多列并因此在竖直Q模式图中更频繁地出现)。该竖直线在该竖直列中导致更大的和,这导致在竖直Q模式图的该点(竖直列和帧)处的像素强度更大。当该竖直线跨越多个帧持续存在时,它在竖直Q模式图(例如,竖直Q模式图像)的图像渲染中显示为竖直线,并且此类伪像可以被检测为竖直Q模式图(注意没有必要也不需要将竖直Q模式图表示为图像-此示例映射主要用于类比和图解)中潜在的B线对象。这相对于图8A示出,所述图8A示出了超声图像802,所述超声图像802是包含合并的B线的超声视频的图像表示,合并的B线例如宽B线,该宽B线比超声视频的许多其他伪像更宽,在几个帧上持久存在,并且在一些情况下,其可以在竖直Q模式图像中检测到。因为在不打印每个帧的情况下在纸上重新创建视频是不可行的,所以“超声图像802”在本文中将与“超声视频802”和“与超声图像802相关联的视频”互换使用,如上下文所指示的。
再次参见图9B,操作900B可以包括操作932,所述操作932描绘了将基线调整规则应用于至少一个超声视频的至少一个帧以生成经基线调整的超声视频数据。例如,图2(例如,图2A)示出了基线调整规则应用电路262,其在各种实现方式中可以被配置为执行操作932,例如,将基线调整规则应用于超声视频的至少一帧以生成经基线调整的超声视频数据。
在各种实现方式中,基线调整规则指定基线编号、向量、网格、表格或图,其是一组任何格式的像素强度,其被从超声视频的帧的像素强度中减去,以生成经基线调整的帧。这里应注意,不需要专门创建经基线调整的帧,即,在一些实现方式中,执行将用于将帧转换为经基线调整的帧的计算,并且结果用于进一步的操作,但没有存储或汇编成经基线调整的帧。该惯例是为了说明和易于理解正在发生的操作。
通过生成、计算、接收、检索或以其他方式获得每个像素位置的基线强度值来获得基线强度值减去的帧。例如,像素位置(302,202)可以具有25的基线强度值(例如,在0到255灰度像素强度标度上)。因此,为了将例如帧15转换为其基线强度值减去的帧,帧15的像素(像素(302,202)强度的值将被减去25(例如,如果帧15中的值是42,则新值将变为17)。可以以多种不同方式计算基线强度值。例如,在一个实现方式中,可以通过确定每个像素的中值像素强度来计算基线强度值,如将参考图14A更详细地讨论的。
在一个实现方式中,选择用于调整视频的各种帧的基线图像在B线检测中是非常重要的。在本文公开的一个实现方式中,中值像素强度用作每个像素的基线。然而,在其他实现方式中,可以选择特定帧以用作基线帧,其像素强度值将被从所有其他帧的像素强度值中减去。例如,如果选择帧1作为基线帧,则每个像素位置的基线强度值将被设置为帧1内该像素位置的像素强度值。现在参见图6D,图6D示出了经基线调整的竖直Q模式图像612(来自图6B),其是超声视频的竖直Q模式图像,其中帧1值用作基线像素强度值。这是与图6B中所见相同的基线减去的竖直Q模式图像612。然后,图6D并排示出了经基线调整的竖直Q模式图像632,其是相同超声视频的竖直Q模式图像,其中帧25值用作基线像素强度值并从与超声图像602相关联的超声视频中减去。
还参见图7B,证明了与选择使用作为基线的中值像素值相比,选择用作基线帧的特定帧可能对所得的经基线调整的竖直Q模式图像具有影响。例如,在一个实现方式中,超声视频(例如,基于图7A(其示出了在图像中存在的B线704的超声图像702)的超声图像702的超声视频)的一个或多个帧可以被选择作为基线值集。经基线调整的竖直Q模式图像712表示竖直Q模式图像,所述竖直Q模式图像基于来自与超声图像702相关联的视频的一组帧生成,并且已经通过减去基线帧25的像素强度来调整。该经基线调整的竖直Q模式图像712与经基线调整的竖直Q模式图像714并排放置,所述经基线调整的竖直Q模式图像714使用每个像素位置的中值像素值作为基线。分别从图6D和7B的并排图像可以看出,选择要用作基线的特定帧,以及使用中值像素强度值而不是特定帧的像素强度值可以对得到的经基线调整的竖直Q模式图像具有显著的影响。
因此,在各种实现方式中,计算跨越所有帧的特定位置处的像素强度的中值,并将其用作基线值。在其他实现方式中,计算跨越帧子集的特定位置处的像素强度的中值,例如,从集合中丢弃某些帧(例如,制作非连续集合),或者丢弃在开始和/或在最后的前十帧。在其他实现方式中,异常值帧可以用各种算法(例如,总强度远远超出预期值的线)来识别,并且从该集合中丢弃,从该集合中将计算特定像素位置处的像素强度的中值。
现在参见图14A,图14A示出了操作932的多种实现方式,所述操作932描绘了将基线调整规则应用于至少一个超声视频的至少一个帧以生成经基线调整的超声视频数据。例如,在一个实现方式中,操作932可以包括操作1402,该操作1402描绘了对于至少一个超声视频的每个帧,通过对于帧中的每个像素从该帧的该像素的实际像素强度减去该像素位置的基线强度值来生成基线强度值减去的帧。如上所述,可以从帧的每个像素的实际像素强度值中减去基线强度值,例如,如图3E所示。在一个实现方式中,操作932还可以包括操作1404,其描绘了将所生成的基线强度值减去的帧组合成经基线调整的超声视频数据,即,生成经基线调整的超声视频数据,其是所有生成的基线强度值减去的帧的组合,同时注意到这些帧可能不是全部同时计算(例如,可以计算帧,其用于生成该帧的经基线调整的竖直Q模式图数据,然后丢弃或由新帧的数据覆盖),并且可能永远不会被存储作为“视频数据”,使用“视频数据”或以其他方式转换或利用作为“视频数据”。这里使用的术语仅仅是为了方便和易于解释。
再次参见图14A,可以修改操作1404,使得基线强度值是中值像素强度值,例如,如图14A的操作1406所示。也就是说,不是选择从中得到基线强度值的单个帧,而是生成基于中值的中值像素强度,该中值例如,位于观察值或量的频率分布的中点的量,例如,第50个生成百分位数值,例如,当以升序或降序堆叠时,在超声视频中的跨越所有帧或成组的帧的特定像素位置的所有像素强度的中间值。然后将该中值像素强度用作要从超声视频的每帧中减去的基线值。这种技术在检测B线时可能有用,因为与肺部超声中显示的其他一些伪像不同,B线相对于整个超声视频在很长一段时间内不会持续存在(例如与大多数B线情况相反,A线持续存在,如前所述)。因此,从每个帧中减去中值像素强度允许减少在整个视频中的例如不太可能是B线伪像的持久的伪像。在检测瞬态B线或检测以其他方式将难以检测的B线的情况下尤其如此。通过从每个帧中减去中值像素强度,将以其他方式被检测为潜在的B线对象但实际上是由超声视频中的其他伪像生成的假正类的伪像不太可能被检测到,这可能减少检测到假正类的比率,并且还可以允许降低阈值水平并且增加灵敏度(例如,阈值处理和阈值水平的选择将在本文中更详细地讨论)。
再次参见图9B,在一个实现方式中,操作900B可包括操作934,所述操作934描绘了至少部分地基于经基线调整的超声视频数据产生至少一个经基线调整的竖直Q模式图。例如,图2(例如,图2A)示出了经基线调整的竖直Q模式图生成电路264,其在各种实现方式中可以被配置为执行操作934。即,可以从在先前操作中生成的经基线调整的超声视频数据生成经基线调整的竖直Q模式图,例如,图3E的经基线调整的竖直Q模式图350。值得注意的是,操作934可以与操作932并行发生,即,当生成经基线调整的超声视频数据时,其可以用于生成经基线调整的竖直Q模式图的部分,从而在一些实施方案中可能不会生成完整的经基线调整的超声视频数据组,但是可以在生成经基线调整的竖直Q模式图时循环和重写。在生成已经减去基线强度的经基线调整的帧(例如,基线强度值减去的帧)的实现方式中,经基线调整的竖直Q模式图可以至少部分地基于每个基线强度值减去的帧。在这种情况下,经基线调整的竖直Q模式图以与竖直Q模式图像基本相同的方式生成,不同的是,经基线调整的竖直Q模式图依赖于基线强度值减去的帧而不是仅仅依赖于超声视频的帧。因此,在一个实现方式中,通过放置一系列经基线调整的竖直平均行向量(例如,来自图3E的如通过基线调整修改的竖直平均行向量385)来生成经基线调整的竖直Q模式图。
作为经基线调整的竖直Q模式图的示例,现在参考图7B,其示出了与超声图像702相关联的视频的竖直Q模式图像712。竖直Q模式图像712已经通过从图像中的每个帧减去在帧25处找到的像素强度来调整。相反,图7B还示出了竖直Q模式图像714,其遵循操作1402、1404和1406,其中,对于与超声图像702相关联的至少一个超声视频的每个帧,通过从该帧的像素的像素强度中减去中值像素强度值来生成基线减去的帧。因此,竖直Q模式图像714是经调整的超声视频帧数据的竖直Q模式图像,其中已从视频中的每个帧中减去中值像素强度值,从而生成不同的竖直Q模式图像,例如,经基线调整的竖直Q模式图像714,其在在一些实现方式中具有较少的伪像和/或可能触发假正类的候选物,并且其还在一些实现方式中在检测真正类(true positive)时可具有更好的性能。
这些经基线调整的竖直平均行向量可以按降序上下叠置地放置(例如,向下,但帧号将增加,因为原点在左上角)。如前所述,每个经基线调整的竖直平均行向量可以通过为每列计算与该特定经基线调整的竖直平均行向量相关联的帧的列的沿着行的范围的像素强度的平均值来构建。与竖直Q模式图类似,经基线调整的竖直Q模式图可以用仅在行的范围(可以包括所有行)上的平均值生成,原因与先前关于竖直Q模式图描述的原因相同。对于特定帧的每一列,将对该列中的像素强度值的子集进行平均,然后将该平均值放置在经基线调整的竖直平均行向量中与被平均的列的位置对应的位置处。该实现方式在图14B中被显示为操作1405,图14B示出了操作932的实现方式,例如,将基线调整规则应用于至少一个超声视频的至少一帧以生成经基线调整的超声视频数据,所述操作1405描绘了对于每个帧创建包括成行的平均像素强度的竖直平均行向量,其中每个平均像素强度表示沿着经基线调整的超声视频数据的对应列的行的范围的像素强度的竖直平均值,并且操作1410描绘了通过根据帧从左上角原点竖直向下堆叠所创建的竖直平均行向量来生成经基线调整的竖直Q模式图。
现在参见图5C,图5C示出了各种经基线调整的竖直Q模式图和经基线调整的水平Q模式图像(其可以用于各种替代实现方式中用于检测和/或确认,和/或减少假正类)。例如,图5C示出了竖直Q模式图像531A。竖直Q模式图像531A与先前附图中的其他竖直Q模式图像类似地对准,例如,列位置在x轴上,以及帧编号在y轴上,原点位于左上角。在一个实现方式中,竖直Q模式图像531A表示从特定深度水平的超声视频获取的竖直Q模式图像。图5C还示出了竖直Q模式图像531A的肋骨区域532A,其示出用于发挥作用。在图5C中,经基线调整的竖直Q模式图像531B与竖直Q模式图像531A并排示出,以用于比较。具体地,经基线调整的竖直Q模式图像531B是基于经基线调整的帧的竖直Q模式图像,例如,它是一种图像,在该图像中,来自帧1的像素强度值被用作基线像素强度值,以及从超声视频的帧中减去,并且减去的帧用于生成经基线调整的竖直Q模式图像531B。在图5C中,经基线调整的竖直Q模式图像531B也与经基线调整的竖直Q模式图像532并排出现以用于比较。具体地,经基线调整的竖直Q模式图像532是与竖直Q模式图像531B类似地生成的竖直Q模式图像,不同的是,使用帧25作为基线像素强度值以生成竖直Q模式图像532。
再次参见图5C,图5C还示出了水平Q模式图像533A。水平Q模式图像533A与先前附图中的其他水平Q模式图像类似地对准,例如,帧编号在x轴上,而行位置在y轴上,原点位于左上角。在图5C中,水平Q模式图像533A被示出具有用于发挥作用的胸膜线534A。另外,水平Q模式图像533A与经基线调整的水平Q模式图像533B并排比较。具体地,经基线调整的水平Q模式图像533B是基于经基线调整的帧的水平Q模式图像,例如,它是一种图像,在该图像中,帧1像素强度值被用作基线像素强度值,并且被从超声视频的帧减去,并将减去的帧用于生成经基线调整的水平Q模式图像533B。
现在参见图6,例如,图6A,示出了作为超声视频的帧的示例性超声图像602。参见图6B,图6B示出了竖直Q模式图像610,其是与超声图像602相关联的超声视频的竖直Q模式图像(例如,由于视频不能容易在纸上显示,因此使用单帧图像602,但是对于图6中包括的各种图,以及由上下文指示的其他地方,可以假设“超声图像602”可以用“与超声图像602相关联的视频”替换,如上下文所示)。竖直Q模式图像610与先前附图中的其他竖直Q模式图像类似地对准,例如,列位置在x轴上,以及帧编号在y轴上,其中原点位于左上角。在一个实现方式中,竖直Q模式图像610包括非常暗的区域的各种图案,其在竖直Q模式图像610中标记为肋骨区域617。竖直Q模式图像610的这些肋骨区域617表示超声图像610中存在的肋骨阴影。如上所述,当超声信号被胸腔的肋骨反射而不是穿透肺部时,出现肋骨阴影。
如图6B所示,竖直Q模式图像610显示在经基线调整的竖直Q模式图像612旁边,其中帧1值被用作基线像素强度。具体地,如果参考图3E所示的示例,则超声图像602的帧1的像素强度将用作基线调整值表355。也就是说,帧1的像素强度从与超声图像602相关的视频的各种帧的像素强度中减去。然后,这些“新”帧形成经基线调整的竖直Q模式图像612的基础,经基线调整的竖直Q模式图像612从基线减去的帧被生成为竖直Q模式图像,如前所述。
再次参见图6B,图6B还示出了水平Q模式图像620,其是与超声图像602相关联的超声视频的水平Q模式图像。水平Q模式图像620与先前附图中的其他水平Q模式图像类似地对齐,例如,原点位于左上角(例如,其导致胸膜线出现在Q模式图像的上半部分),帧编号在x轴上,以及行位置在y轴上。另外,水平Q模式图像620示出了胸膜线619,用作参考/取向点。如图6B所示,水平Q模式图像620与经基线调整的水平Q模式图像622并排放置,其中来自帧1的像素强度值被用作基线像素强度,其被从与超声图像602相关联的视频的各种帧中减去,并且从基线减去的帧生成经基线调整的水平Q模式图像622。
返回参见图9B,操作900B可以包括操作936,所述操作936描绘了检测在经基线调整的竖直Q模式图中的一个或多个潜在的B线对象。例如,图2(例如,图2A)示出了经调整的Q模式图中的潜在的B线对象检测电路266,其在各种实现方式中可以被配置为检测在操作936中生成的经基线调整的竖直Q模式图中的潜在的B线对象。例如,瞬态或合并的B线可以在超声视频中显示为持久(例如,跨越多于一帧)竖直线。该竖直线导致该竖直列中的总和更大,这导致经基线调整的竖直Q模式图的该点(竖直列和帧)处的像素强度更大。当该竖直线跨越多个帧持续存在时,它在经基线调整的竖直Q模式图(例如,经基线调整的竖直Q模式图像)的图像渲染中显示为竖直线,并且这样的伪像可以被检测为竖直Q模式图中的潜在的B线对象(注意,没有必要或不需要将竖直Q模式图表示为图像-此示例性映射主要用于类比和图解)。对于仅短暂出现的瞬态B线,可以放大该效果,因为出现它们的帧中的像素位置将相对于像素位置通过较低的值(在使用中值像素值的实现方式中)调整,在像素位置中,伪像出现在整个图像中,其中中值像素值将更高,因此这些像素强度将向下调整更大的值。
示例性经基线调整的竖直Q模式图及其与示例性竖直Q模式图的关系可以在图8A和8B中看到。如前所述,图8A示出了超声视频802的帧14,以及由此产生的竖直Q模式图(例如,竖直Q模式图像810),其中合并的B线可见。现在参考图8B,其中还示出了帧804(例如,超声视频802的帧14),图8B示出了经基线调整的竖直Q模式图822。经基线调整的竖直Q模式图822是从使用超声视频802的帧1的像素强度值作为整个超声视频802的基线值的经基线调整的视频生成的。经基线调整的竖直Q模式图822可以与图8A的竖直Q模式图810进行比较,或者可以与经基线调整的竖直Q模式图824并排比较,经基线调整的竖直Q模式图824是使用每个像素位置的中值像素强度作为基线的经基线调整的竖直Q模式图。从在图8B中的并排图像可以看出,改变基于视频的B线检测过程中的基线也导致实质上变化的结果,其可能具有改善潜在的B线物体检测的效果。
现在参见图15A,图15A示出了操作936的各种实现方式,例如,特别是关于阈值处理,所述操作936描绘了在经基线调整的竖直Q模式图中检测一个或多个潜在的B线对象。注意,在各种实现方式中,图15A中描述的关于经基线调整的竖直Q模式图的所有操作也可以应用于原始竖直Q模式图。例如,在一个实现方式中,操作934可以包括操作1510,所述操作1510描绘了将阈值应用于经基线调整的竖直Q模式图以生成阈值化的经基线调整的竖直Q模式图。例如,各种阈值可以应用于经基线调整的竖直Q模式图像,如贯穿本申请的各附图中所示。在另一个实现方式中,例如,参见图6C,图6C示出了不同阈值的各种效果。例如,在图6C中,选择竖直Q模式图像,例如竖直Q模式图像610(来自图6B),然后使用像素强度的帧25值进行基线调整,从其生成经帧25基线调整的竖直Q模式图像。然后将该经帧25基线调整的竖直Q模式图像设定阈值为0值,以生成阈值化的竖直Q模式图像642。类似地,该经帧25基线调整的竖直Q模式图像设定阈值为2值,以生成阈值化的竖直Q模式图像644。在另一个实现方式中,然后将经帧25基线调整的竖直Q模式图像设定阈值为4值,以生成阈值化的竖直Q模式图像646,如图6C所示。现在参见图16,在一个实现方式中,图16示出了应用于经基线调整的竖直Q模式图像的阈值的示例。例如,图16示出了经基线调整的竖直Q模式图像1610。在一个实现方式中,将阈值或阈值处理规则应用于经基线调整的竖直Q模式图像1610可以生成阈值化的图像,例如,阈值化的经基线调整的竖直Q模式图像1620。在一个实现方式中,阈值化的经基线调整的竖直Q模式图像1620可以具有不同的阈值处理渐变,例如,由阈值化的经基线调整的竖直Q模式图像1620中示出的不同颜色或阴影表示;在其他实现方式中,阈值处理可以是二进制的或以其他方式分级。
再次参见图15A,在操作936包括操作1510的实现方式中,操作936还可以包括操作1512,所述操作1512描绘了将阈值化的竖直Q模式图的具有大于零的值的一个或多个区域标记为至少一个超声视频中的潜在的B线对象。例如,在一个实现方式中,阈值化的经基线调整的竖直Q模式图像可以具有一个或多个B线检测规则,对于这些B线检测规则,B线的候选者(例如,图16的潜在的B线对象1602)可以被处理并用于确定应当基于潜在的B线对象1602的检测来提取或“切分”超声视频的哪些部分。在各种实现方式中,这些确定可以基于距离容差计算,或者可以涉及找到潜在的B线对象的集群的中点。
例如,如图16所示,图16示出了应用于阈值化与非阈值化图像的一个或多个B线检测规则的一种应用。例如,在一个实现方式中,图16示出了经基线调整的竖直Q模式图像1610,其中已经应用了一个或多个先前描述的步骤。图16还示出了阈值化的经基线调整的竖直Q模式图像1620,其具有应用于图像的阈值。在图16所示的示例中,使用的阈值是5,但是可以通过任何数量的基于机器或人工辅助的技术来选择其他阈值。在一个实现方式中,将经基线调整的竖直Q模式图像1610阈值化为阈值化的经基线调整的竖直Q模式图像1620而生成一个或多个潜在的B线对象1602。在一个实现方式中,使用各种技术来确定潜在的B线对象1602中的哪些应该聚类在一起,并且在各种实现方式中,不执行聚类处理(例如,每个潜在的B线对象被视为单独的潜在的B线)。
再次参见图15A,在一个实现方式中,操作936可以包括操作1520,该操作1520描绘了将阈值应用于经基线调整的竖直Q模式图以生成包含一个或者更多潜在的B线对象的阈值化的经基线调整的竖直Q模式图,其类似于先前在图15A的操作1510中描述的操作。例如,各种阈值可以应用于经基线调整的竖直Q模式图像,如贯穿本申请的各种附图中所示。在一个实现方式中,例如,参考图6C,图6C示出了不同阈值的各种效果。例如,在图6C中,选择竖直Q模式图像,例如竖直Q模式图像602(来自图6A),然后使用像素强度的帧25值进行基线调整,由此生成帧25经基线调整的竖直Q模式图像。然后将该帧25经基线调整的竖直Q模式图像设定阈值为0值,以生成阈值化的竖直Q模式图像642。类似地,该帧25经基线调整的竖直Q模式图像设定阈值为2值,以生成阈值化的竖直Q模式图像644。在另一个实现方式中,然后将帧25经基线调整的竖直Q模式图像设定阈值为4值,以生成阈值化的竖直Q模式图像646,如图6C中可以看出的。
再次参见图15A,操作1520可以包括操作1524,所述操作1524描绘了将阈值应用于经基线调整的竖直Q模式图以生成包含一个或多个潜在的B线对象的阈值化的经基线调整的竖直Q模式图,其中阈值是基于对各种训练数据应用各种阈值以确定最佳或接近最佳的自由ROC(接收器操作特性)(“fROC”)曲线来确定的。例如,在一个实现方式中,阈值可以根据产生各种接收器操作特性(ROC)曲线或自由ROC曲线的各种训练数据的结果而变化,具体取决于期望的灵敏度和/或可接受的假正类率。
再次参见图15A,在操作936包括操作1520的实现方式中,操作936还可以包括操作1522,所述操作1522描绘了将一个或多个规则应用于阈值化的经基线调整的竖直Q模式图以识别该阈值化的经基线调整的竖直Q模式图中的阈值化的数据并将该阈值化的数据分组到一个或多个潜在的B线对象中。例如,在一个实现方式中,阈值化的经基线调整的竖直Q模式图像可以具有一个或多个规则,对于这些规则,B线的候选者(例如,图16的潜在的B线对象1602)可以被分组和被确定用于从超声视频数据中提取以确定它们是否代表B线。
返回参见图9B,操作900B可以以操作938结束,所述操作938描绘了将一个或多个B线检测规则应用于检测到的一个或多个潜在的B线对象以识别至少一个超声视频中的一个或多个潜在的B线。例如,图2,例如图2A,示出了B线检测规则应用电路268,其用于将一个或多个B线检测规则应用于竖直Q模式图(例如,其可以更好地检测合并的或持久的B线)和经基线调整的竖直Q模式图(例如,其可以更好地检测瞬态、微弱或短暂出现的B线)中检测到的一个或多个潜在的B线对象以识别至少一个超声视频中的一个或潜在的B线。如本文将更详细讨论的,可以根据一个或多个规则对图像进行阈值处理,然后可以对存在阈值处理的竖直Q模式图中的对象进行聚类或以其他方式选择和/或分组以用于在将在本文中更详细描述的过程中在检测所指定的位置处从超声波视频中提取图像。各种阈值选择和ROC(接收器操作特性)/自由ROC(fROC)曲线的阈值处理操作和曲线图示于图18中,并将在本文中更详细地讨论。
现在参见图15B,在一个实现方式中,操作938(来自图9B)可以包括操作1530,所述操作1530描绘了针对一个或多个潜在的B线对象的每个潜在的B线对象提取至少一个超声视频的对应于潜在的B线对象的候选B线图像部分。也就是说,存在于竖直Q模式图像或经基线调整的竖直Q模式图像中的一个或多个潜在的B线对象的每个潜在的B线对象表示在超声视频中位置(例如,帧和列)。在一个实现方式中,参见图18,带注释的阈值化竖直Q模式图1810示出了带星号区域周围的各种“带”,例如,标记为“2”和“3”。这些带代表像素强度数据在竖直Q模式图的阈值处理后仍然存在的区域。在一个实现方式中,这些带的一些部分被用作超声视频的“地址”(例如,列和帧编号)以提取超声视频的该部分,以对实际视频数据执行进一步的B线检测,以确定检测到的潜在的B线对象是真正类B线还是由不同伪像产生的假正类。在一个实现方式中,带区域中的每一个被视为潜在的B线对象。在另一个实现方式中,阈值处理后数据的带被合并到中点位置,三是中点位置由阈值竖直Q模式图1810的区域2和3中的黑色星号表示。在该实现方式中,黑色星号表示将从超声视频中提取的候选B线图像部分的地址,例如,列和帧号。例如,在一个实现方式中,黑色星号之一可以表示列100、帧55(这些数字是假设的)。在这种情况下,来自列100、帧55的图像数据将从超声视频中提取作为候选B线图像部分,机器学习算法将应用于该候选B线图像部分以确定它是否是真B线。当然,在其他实现方式中,提取帧的周围区域可能是有用的,例如,为候选B线部分提取列90-110(例如,在帧55的列100周围的任一方向上的十列),以提高机器学习算法的实用性和准确性。在一个实现方式中,要提取的帧的周围列的数量可以是预定数量,并且在其他实现方式中,要提取的帧的周围列的数量可以基于从阈值化的竖直Q模式图(例如,剩余阈值化的数据的带越宽,为候选B线部分提取的图像列越多)提取的数据。
再次参见图15B,在一个实现方式中,操作938还可以包括操作1532,所述操作1532描绘了对于每个提取的候选B线图像部分,应用至少部分地通过机器学习算法定义的机器学习的B线检测规则于提取的候选B线图像部分,以至少部分地确定提取的候选B线图像部分是真正类B线检测还是假正类B线检测。例如,在一个实现方式中,一个或多个B线检测规则可以定义B线对象看起来类似的事物的一个或多个特征,其可以应用于阈值化的经基线调整的竖直Q模式图像。这些特征可以从训练集构建,并且可以是自适应的(例如,深度机器学习技术、决策树、神经网络等)。所述特征可以包括检测到的B线的最小和最大高度(距离)以及检测到的B线的最小和最大角度。还应注意,这些相同的特性可以应用于B线对象候选,例如,应用于出现在阈值经基线调整的竖直Q模式图像中的对象本身,而不是这些B线对象候选者在超声图像中的潜在的B线中所代表的特征。
现在参见图15C和15D,图15C和15D示出了操作938的各种实现方式,所述操作938描绘了将一个或多个B线检测规则应用于检测到的一个或多个潜在的B线对象以识别至少一个超声视频中的一个或多个潜在的B线,具体地,示出了操作934的操作的各种实现方式,其使用机器学习和/或机器学习算法来改进对从超声视频提取的潜在的B线的检测,例如,如图15B的操作1530和1532中所述。例如,在一个实现方式中,图15C示出了操作938的实现方式,其包括操作1532,所述操作1532描绘了对于每个提取的候选B线图像部分,应用至少部分通过机器学习算法定义的机器学习的B线检测规则于提取的候选B线图像部分,以至少部分地确定提取的候选B线图像部分是真正类B线检测还是假正类B线检测。例如,如图15C所示,可以通过机器学习算法来定义机器学习的B线检测规则,例如,被定义为检测所提取的候选B线图像部分中的潜在的B线的规则,该机器学习算法使用例如训练集数据和其他机器学习技术来检测和识别所提取的候选B线图像部分中的潜在的B线,其通过在各种竖直Q模式图上执行的检测来指定,如前所述。
再次参见图15C,在一个实现方式中,操作1910可以包括操作1912,所述操作1912描绘了对提取的候选B线图像部分执行图预处理以生成经处理的提取的候选B线图像部分。例如,在一个实现方式中,在执行机器学习算法之前或与执行机器学习算法的同时,提取的候选B线图像部分可以经历各种指令的“预处理”以准备用于执行机器学习算法。尽管图15C和该相关描述使用术语预处理,但该术语仅相对于机器学习算法,因为可能已经对提取的候选B线图像部分进行了其他处理。在一个实现方式中,图预处理可以包括一个或多个图像处理功能,包括但不限于图像增强、图像去噪、图像锐化、图像平滑、图像特征调整和/或一个或多个图像变换算法。
再次参见图15C,在一个实现方式中,操作1910可以包括操作1915,所述操作1915描绘了通过至少一次应用机器学习算法于经处理的提取的候选B线图像部分来检测导致经处理的提取的候选B线图像部分的潜在的B线对象是否是真正类B线检测。在一个实现方式中,机器学习算法可以使用一个或多个工具诸如模式识别、特征检测、边缘检测、新颖性检测和异常值检测来检测经处理的提取的候选B线图像部分中的一个或多个潜在的B线。在各种实现方式中,如将参照图15D更详细地描述的,在一个实现方式中,机器学习算法可以基于执行的检测来改进,并且因此可以迭代,例如,机器学习算法可以执行多次,例如,如“至少一次应用机器学习算法”中所述。
再次参见图15C,在一个实现方式中,操作1910可以包括操作1920,所述操作1920描绘了接收注释数据,该注释数据包括关于检测到的一个或多个潜在的B线对象的一个或多个确认的真正类B线的一个或多个注释。例如,在一个实现方式中,在机器学习算法已经从经处理的提取的候选B线图像部分检测到B线之后,可以接收包括关于经基线调整的竖直Q模式图中的一个或多个确认的B线的一个或多个注释的注释数据,使得该算法可以将来自经处理的提取的候选B线图像部分中的检测的结果与竖直Q模式图的注释进行比较。该注释数据(例如,图15C的注释数据1905)可以是标记经确认的B线在经处理的经基线调整的竖直Q模式图中的位置的数据,如图18的阈值化的竖直Q模式映射1810的蓝色星号所示。在另一个实现方式中(此处未图示),注释数据可以是指示经确认的B线在原始超声视频中的位置的数据,并且可以执行各种处理以确定经确认的B线将在经处理的经基线调整的竖直Q模式图中所处的位置。注释数据1905可以来自专家(例如,图1的操作员/专家140),来自远程服务器(例如,服务器10)处存储的远程数据,来自远程查看来自受试者150的数据的远程专家,或来自执行自动B线检测的不同算法或过程,例如,确认过程。在一个实现方式中,注释数据1905可以是训练数据,对于该训练数据,已经知道并存储各种确认的B线的例如在图2A的设备存储器245内或者在图1的服务器10内的位置。
再次参见图15C,在一个实现方式中,操作1910可以包括操作1925,所述操作1925描绘了鉴于在经处理的提取的候选B线图像部分中检测到的一个或多个潜在的B线和所接收的注释数据更新机器学习算法,所接收的注释数据包括表示经处理的提取的候选B线图像部分中的一个或多个确认的真正类B线的一个或多个注释。例如,在一个实现方式中,可以鉴于检测到的一个或多个潜在的B线,例如,通过将在本文中参考图15D更详细描述的过程来更新机器学习算法。具体地,可以鉴于在由各种竖直Q模式图(例如,经基线调整的竖直Q模式图)指定的位置处提取的经处理的提取的候选B线图像部分中检测到的潜在的B线以及鉴于注释数据1905来更新机器学习算法,注释数据1905可以包括参考经基线调整的竖直Q模式图中的一个或多个确认的B线,如图18的1810所示。
现在参考图15D,图15D示出了关于图15C的操作1925的更具体的细节,例如,鉴于在经处理的提取的候选B线图像部分中检测到的一个或多个潜在的B线和所接收的注释数据更新机器学习算法,所接收的注释数据包括表示经处理的提取的候选B线图像部分中的一个或多个确认的真正类B线的一个或多个注释。例如,如图15D所示,操作1925可以包括操作1950,所述操作1950描绘了经由下述方式执行B线改进以生成一个或多个改进的B线:至少部分地通过与一个或多个注释进行比较来改进经处理的提取的候选B线图像中的一个或多个潜在的B线,所述一个或多个注释表示经处理的提取的候选B线图像部分中的一个或多个确认的真正类B线。例如,在一个实现方式中,更新机器学习算法的一部分包括通过执行B线改进来生成一个或多个改进的B线,例如,改进检测到的B线的定义。该改进可以通过各种已知算法来完成,并且可以至少部分地通过与表示一个或多个确认的B线的一个或多个注释进行比较来执行。例如,如果注释数据以与检测潜在的B线稍微不同的方式定义确认的B线,则通过使用注释数据将检测到的潜在的B线改进为经改进的B线,以更接近地匹配由注释数据指定的确认的B线。
再次参见图15D,在一个实现方式中,操作1925可以包括操作1955,所述操作1955描绘了执行特征提取和选择,其可以具有减少描述一个或多个改进的B线所需的特征的数量的结果,以生成一个或多个提取的改进的B线。例如,在一个实现方式中,一个或多个改进的B线可以由若干特征描述,例如,在可以与机器学习算法交互的数据结构中,部分地描述。在一个实现方式中,可以对不同的一个或多个改进的B线执行特征提取,以便从改进的B线中提取特征。然后,可以将特征选择应用于所提取的特征,这可以具有减少描述一个或多个改进的B线所需的特征的数量的效果。在一个实现方式中,特征提取和选择可以构建改进的B线的导出特征,使得改进的B线可以具有更小的维度,更容易分类,和/或在识别中更准确。在另一个实现方式中,特征提取和选择可以包括特征选择,例如,选择或确定描述一个或多个改进的B线所需的特征数量的子集,以简化或减小一个或多个改进的B线的尺寸或复杂度。在一个实现方式中,可以使用与灰度图像的图像处理相关的各种特征提取和选择技术,例如,分区、几何矩计算、模板匹配、酉变换和/或Zernike矩。在其他实现方式中,可以实现和利用其他特征提取和选择技术,不限于与灰度图像的图像处理相关的那些技术。
再次参见图15D,在一个实现方式中,操作1925可以包括操作1960,所述操作1960描绘了执行B线分类以至少部分地基于注释数据识别一个或多个提取的改进的B线中的每一个所属的类别,所述注释数据包括表示一个或多个确认的真正类B线的一个或多个注释,其中注释数据用作训练集。例如,在一个实现方式中,在与关于操作1955描述的特征提取和选择密切协作的过程中,可以对提取的、改进的B线进行分类,例如,在提取的、改进的B线,或用于在机器学习算法中定义它们的其成组的特征所属的一个或多个类别中识别。可以使用一个或多个分类算法(例如,分类器)来分析改进的B线。在各种实现方式中,分类可以结合注释数据(例如,注释数据1975)来完成,如图15D所示。在一个实现方式中,图15D的注释数据1975与图15C的注释数据1905相同,但是不一定是这种情况,并且这可能不适用于所有实现方式。B线分类可以包括二元或多类分类。在一个实现方式中,B线分类可以包括一个或多个线性分类器,一个或多个决策树,一个或多个神经网络,或其中注释数据(例如,注释数据1975)用作训练数据集的其他监督学习算法。
再次参见图15D,在一个实现方式中,操作1925可以包括操作1965,所述操作1965描绘了评估机器学习算法的性能并且至少部分地基于所评估的机器学习算法的性能来更新机器学习算法。在一个实现方式中,可以使用各种技术来执行对机器学习算法的性能或机器学习算法的部分,例如,分类(在一些实现方式中,其可以与特征提取和选择紧密相关)的评估。在一个实现方式中,评估可以关注精确度,例如,B线检测的真正类的数量除以真正类和假正类的数量的总和,和/或调用例如B线检测的真正类的数量除以图像中实际存在的B线的总数,例如,B线的总数可以从注释数据确定。在另一个实现方式中,可以通过计算各种ROC和自由ROC曲线来执行评估(例如,如先前在本文件中的其他地方所讨论的)。在另一个实现方式中,评估的结果可以导致关于更新机器学习算法的一个或多个决策分支。在一个实现方式中,如图15D所示,在更新机器学习算法之后,操作1910,包括操作1915,例如,通过至少一次应用机器学习算法至经处理的经基线调整的竖直Q模式图来检测经处理的经基线调整的竖直Q模式图中的一个或多个潜在的B线,可以例如,随着另一次应用机器学习算法至经处理的经基线调整的竖直Q模式图再次操作。
现在参见图10A,讨论了操作922的各种附加实现方式,例如,准备包括两个或更多个帧的至少一个超声视频以用于处理。例如,在一个实现方式中,操作922可以包括操作1002,其描绘了对于至少一个超声视频的每个帧,切割被确定为不存在可用超声数据的帧的一个或多个部分。在一个实现方式中,不包括超声数据的帧的一个或多个部分可以包括边界、边缘、完整暗点、预定义区域等,或者可以通过使用机器视觉和机器学习/图像处理技术或其组合来计算。在一个实现方式中,操作1002可以包括操作1004,该操作1004描绘了对于至少一个超声视频的每个帧,切割具有均匀或基本均匀颜色的帧的边界。例如,在一个实现方式中,对于例如,50个像素的距离,如果帧的边界全部为黑色(例如,零像素强度),则可以合理地确定该帧的边界不包括超声数据,并且它可以从超声视频中移除或切割。前面的示例是为了清楚起见而提供的简单示例,因为可以执行更复杂的边缘或边界检测。
再次参见图10A,在一个实现方式中,操作922可以包括操作1008,所述操作1008描绘了对于至少一个超声视频的每个帧,切割不包括肺图像数据的帧的一个或多个部分。帧的这些部分可以通过操作人员(例如,操作者140)用笔、触摸屏、鼠标或其他输入组件操作设备,或通过机器算法(例如,边缘检测)或通过预定规则(例如,特定探针导致帧的特定部分被切割)来确定。再次参见图10A,在一个实现方式中,操作922可以包括操作1010,所述操作1010描绘了对于至少一个超声视频的每个帧,切割围绕至少一个超声视频的帧的预定边界,其中预定边界至少部分地基于超声设备的类型。例如,在一个实现方式中,每个不同的超声设备可以具有确定预定边界落在何处的不同参数集。例如,该参数集可以预先确定并存储在设备上,或者从远程或本地的网络中检索。
现在参见图10B,在一个实现方式中,操作922可以包括操作1012,该操作1012描绘了确定超声视频是否显示在极坐标系中。例如,可以基于图像的一个或多个特征(例如,图像顶部附近的较少像素),或者基于所接收的关于所使用的超声设备的类型的信息,或者基于由操作人员操作选择器开关以在“极坐标”和“笛卡尔”坐标系之间切换机器来进行该确定。
再次参见图10B,在操作922包括操作1012的实现方式中,操作922还可以包括操作1014,所述操作1014描绘了当确定超声视频显示在极坐标系中时将超声视频的每个帧从极坐标系转换为笛卡尔坐标系。例如,图4C示出了经裁剪的超声图像420,经裁剪的超声图像420是在极坐标平面上绘制的肺超声。在一个实现方式中,例如,在使用曲线探针生成极坐标图像或视频的实现方式中,执行坐标变换以获得超声图像430,所述超声图像430已将极坐标转换为笛卡尔坐标平面。在一个实现方式中,可以通过将像素重新绘制到新的坐标平面,在图像的部分中插入像素(例如,在顶部附近)来执行该操作,其中可以不明确地定位像素数据,和/或平均图像的存在比可绘制的像素数据更多的像素数据(例如,靠近底部)的部分中的像素。可以使用任何数量的已知图像处理技术将极坐标转换为笛卡尔坐标,以及根据需要填充任何间隙或压缩任何图像数据。
现在参见图12,图12描绘了操作926的各种实现方式,例如,通过应用检测胸膜线检测规则到水平Q模式图来检测至少一条胸膜线,该胸膜线检测规则定义了水平Q模式图中的胸膜线的外观。例如,在一个实现方式中,操作926可以包括操作1210,所述操作1210描绘了应用胸膜线检测规则,该胸膜线检测规则定义了水平Q模式图中胸膜线的外观,其中当胸膜线出现在水平Q模式图中时,胸膜线检测规则指定了胸膜线的一个或多个预期特征,例如通过胸膜线表示延伸的距离和胸膜线表示的强度。应注意,各种最小和最大长度、最小和最大角度以及最小和最大宽度可以指超声视频的一个或多个帧中的胸膜线的实际属性,或者在代表一个或多个潜在的胸膜线的水平Q模式图像中创建的对象的实际属性。
再次参见图12,在一个实现方式中,操作926可以包括操作1212,所述操作1212描绘了应用胸膜线检测规则,胸膜线检测规则定义了水平Q模式图中的胸膜线的外观,其中胸膜线检测规则是基于先前在其他超声图像中识别的胸膜线的训练集。例如,胸膜线检测规则可以是基于许多不同胸膜线的训练集的自适应决策树,其可以针对可以生成具有特定对应特征的胸膜线的特定肺特征进行过滤。在另一实施方案中,操作1212可以包括操作1214,所述操作1214描绘了应用胸膜线检测规则,该胸膜线检测规则定义水平Q模式图中胸膜线的外观,其中胸膜线检测规则基于先前由专家在其他超声图像中识别的胸膜线的训练集。
再次参见图12,在一个实现方式中,操作926可以包括操作1216,所述操作1216描绘了应用胸膜线检测规则,该胸膜线检测规则定义了水平Q模式图中胸膜线的外观,其中胸膜线检测规则是从机器学习算法导出,该机器学习算法至少部分地基于对先前尝试的在其他超声图像中的其他胸膜线的检测的评估。例如,当机器执行更多的超声扫描时,自适应机器学习技术可以用于检测胸膜线,其可以用于各种实现方式中,例如在发展中国家的人员不足的医院中。
现在参见图17,图17示出了竖直深度范围选择的各种效果,竖直深度范围选择在各种实现方式中可以基于各种图像中的胸膜线检测。例如,返回参见图5B,图5B及其相关描述提供关于深度范围的各种选择的细节,以及它们可以如何至少部分地基于图像中胸膜线的检测。具体地,图17使用自由ROC(例如,接收器操作特性)曲线来说明对超声图像进行的各种深度范围选择(例如图5B中所示的深度选择)的影响。作为初步事项,图17显示了自由ROC(也可互换地称为“自由响应ROC”,并且在本文中可互换地简称为“fROC”)。自由响应ROC曲线可用于各种实现方式中,其中在分析图像之前未知潜在正类检测的数量,这通常是肺部超声图像的情况。例如,超声图像1821示出了笛卡尔坐标超声图像,其具有选择的四个不同深度范围截止线(以白色表示),例如,在0、50、80和100处。在右侧,图17示出了在超声图像1821上执行基于视频的B线检测而生成的fROC(自由ROC)图1820,其中绘制了四个不同深度范围截止线值中的每一个。也就是说,图17中的截止线的选择直接确定深度范围,例如,如图5B所示。
返回参见图13,图13讨论了使用竖直Q模式图像来检测超声图像中的某些伪像和其他对象,例如肋骨阴影。图13描述了根据各种实现方式的用于检测竖直Q模式图像中的肋骨阴影的过程。例如,在一个实现方式中,操作928可以包括操作1320,所述操作1320描绘了生成至少一个竖直Q模式图,该竖直Q模式图是从至少一个超声视频的至少一个帧收集的数据的表示,如图13所示。在一个实现方式中,当操作928包括操作1320时,操作928还可以包括操作1322,所述操作1322描绘了使用所生成的至少一个竖直Q模式图中存在的数据来标记或修改至少一个超声视频的代表一个或多个肋骨阴影的区域。图13中的一些操作至少部分地在图5E中示出。
也就是说,参见图5E,图5E示出了竖直Q模式图像550和出现在竖直Q模式图像550中的B线伪像,其与图3B和3C中所描述的类似地定向和对准,即,具有左上角原点,列位置在x轴上,并且帧编号在y轴上。在一个实现方式中,由于超声设备载运的声波不能穿过胸腔以到达肺部,肋骨可以显示为超声视频的暗化部分,例如,如图5E的超声图像和竖直Q模式图像中所示。具体地,图5E示出了帧17超声图像551和帧48超声图像552,它们是相同超声视频(例如超声视频70)的帧17和48。在一个实现方式中,可以在帧17超声图像551中看到弱B线443,并且可以在帧48超声图像552中看到强B线554。如图5E可以看到的,从与超声图像551和超声图像552相关联的超声视频生成的竖直Q模式图像550除了生成强B线554和弱B线553之外,还可以生成肋骨阴影555的强“带”。肋骨阴影的这些带可以用在各种算法中以改善B线检测,例如通过改进B线检测以降低假正类率来改善B线检测。
在先前描述的实现方式中,在逐帧的基础上执行超声视频的分析。然而,在其他实现方式中,还可以考虑作为整体的超声视频的分析,以便改善用于检测B线并将假正类与真正类区分开的算法。现在参见图9C,图9C描绘了类似于操作900B的操作900C,不同的是,操作900C包括提供潜在的B线对象的“整个视频”检测的若干附加操作。作为可视化工具,潜在的B线对象的整个视频检测类似于将竖直Q模式图向下压缩成单线(例如,将帧向下压缩),并以这种方式执行检测。另一种可视化方式是,如果在视频的任何帧中检测到潜在的B线对象,则该检测被认为是整个视频的潜在的B线对象检测。
现在参见图9C,图9C和所描绘的操作900C包括先前在图9B中描述的操作,例如,操作922、操作924、操作926、操作928、操作930、操作932、操作934和操作936。然而,在完成操作936后,可以执行附加操作。例如,在一个实现方式中,操作900C可以包括操作937A,所述操作937A描绘了通过选择超声视频的每一列来执行整个视频分析,其中在超声视频中的任何帧中检测到一个或多个潜在的B线对象中的一个。例如,如图18所示,在图1810底部的三角形示出了在各种竖直Q模式分析中在任何点处检测到B线的列,如前所述。然而,应注意,图1810显示比具有星号(其表示在基于帧的分析期间检测到潜在的B线的位置,如前所述)的列少的三角形。这种明显的差异是由于操作,例如图9C的操作937B,其通过聚类超声视频的所选列来识别一个或多个基于视频的潜在的B线对象,其中一个或多个潜在的B线对象中的一个基于特定的距离容差,在超声视频的任何帧中检测到。例如,在彼此远离特定距离(例如,十列)内检测到的B线对象被视为相同的B线对象。
该距离容差可以基于应用于B线检测的各种算法和/或将应用于B线检测的各种规则以及捕获的图像和视频的不同特性而变化。例如,现在参见图18,图18示出了带注释的阈值化的竖直Q模式图1810。带注释的阈值化的竖直Q模式图1810的底部边缘附近的三角形表示基于视频的检测,并且星号表示潜在的B线的基于帧的检测。如上所述,基于该预定义的距离容差值,已经将潜在的B线对象的由三角形表示的各种基于视频的检测聚类在一起。例如,可以设置预定距离容差,对于该预定距离容差,任何识别的阈值正区域小于预定距离容差,将其视为单个识别的潜在的B线。因此,尽管在上面的其他实现中提到了聚类和分类,但是在该实现方式中,在操作937B中的B线识别算法之前执行聚类和分类,例如,基于视频的B线检测操作。
在一个实现方式中,再次参见图18,曲线1812示出了自由ROC(fROC)曲线图,其根据阈值竖直Q模式图(注释的阈值化竖直Q模式图1810基于该图)绘制了应用各种距离容差(当其应用于基于视频的潜在的B线检测)的结果的自由ROC曲线。图1812中最左边的线(蓝灰色)表示预定距离容差为30。图1812中的中间线(蓝色)表示预定距离容差为20,在图1812中最右边的线(红色)表示预定距离容差为10。
返回参见图9C,在一个实现方式中,操作900C可以包括操作937C,所述操作937C描绘了标记已识别的、聚类的一个或多个基于视频的潜在的B线对象。这些标记在图18的带注释的阈值化的竖直Q模式图1810中显示为红色三角形。在一个实现方式中,操作900C包括操作938B,所述操作938B描绘了将一个或多个B线检测规则应用于检测到的一个或多个潜在的B线对象以及标记的一个或多个基于视频的潜在的B线对象,以识别至少一个超声视频中的一个或多个潜在的B线。换句话说,操作900C的操作938B与操作900B的操作938相同,不同的是,标记的一个或多个基于视频的潜在的B线对象也通过以与先前参照操作938描述的方式类似的方式应用一个或多个B线检测规则来处理。
前述示例仅是说明性的,并且这里示例的省略不应被解释为有意或有意地否定主题。这里阐述的本发明的范围仅由以下在本申请的结尾处的权利要求限定。
V.各种替代实现方式和非限制语言
本领域技术人员应认识到,在本领域中通常实现设备和/或过程和/或系统,并且此后使用工程技术和/或其他实践来将这样实现的设备和/或过程和/或系统集成为更全面的设备和/或过程和/或系统。也就是说,本文描述的设备和/或过程和/或系统的至少一部分可以通过合理数量的实验集成到其他设备和/或过程和/或系统中。本领域技术人员应认识到,这些其他设备和/或过程和/或系统的示例可以包括(适合于上下文和应用)下述项的设备和/或过程和/或系统的全部或部分:(a)空运工具(例如飞机、火箭、直升机等),(b)地面运输工具(例如汽车、卡车、机车、油罐车、装甲运兵车等),(c)建筑物(例如,家庭、仓库、办公室等),(d)家电(例如,冰箱、洗衣机、烘干机等),(e)通信系统(例如,网络系统、电话系统)、IP语音系统等),(f)商业实体(例如,Comcast Cable,Qwest,Southwestern Bell等互联网服务提供商(ISP)实体),或(g)有线/无线服务实体(例如,Sprint、Cingular、Nextel等)等。
在某些情况下,即使组件位于区域外,也可以在该区域中使用系统或方法。例如,在分布式计算环境中,分布式计算系统的使用可以发生在区域中,即使系统的一些部分会位于区域之外(例如,位于境外的中继、服务器、处理器、信号承载介质、发送计算机、接收计算机等)。
即使系统的组件或方法在区域外定位和/或使用,系统或方法的销售也可以同样发生在区域中。此外,用于在一个区域中执行方法的系统的至少一部分的实现方式不排除在另一个区域中使用该系统。
从一般意义上来说,本领域技术人员将认识到,本文所述的各种实施方案可通过各种类型的机电系统单独地和/或共同地实现,所述机电系统具有各种不同的电子组件诸如硬件、软件、固件和/或它们的几乎任何组合,其受限于35U.S.C.101下的可专利主题;以及可给予机械力或运动的各种不同的组件,诸如刚体、弹簧或扭转体、液压设备、电磁致动装置和/或它们的几乎任何组合。因此,如本文所使用的,“机电系统”包括但不限于与换能器(例如致动器、电机、压电晶体、微机电系统(MEMS)等)可操作地耦合的电路,具有至少一个分立电路的电路,具有至少一个集成电路的电路,具有至少一个专用集成电路的电路,形成由计算机程序构造的通用计算装置(例如,由至少部分地进行本文所述的过程和/或装置的计算机程序构造的通用计算机,或由至少部分进行本文所述的过程和/或装置的计算机程序构造的微处理器)的电路,形成存储装置(例如,存储器的各种形式(例如,随机存取、闪存、只读存储等))的电路,形成通信装置(例如,调制解调器、通信交换机、光电装置等)的电子电路,和/或它们的任何非电类似物,诸如光学或其他类似物(例如,基于石墨烯的电路)。本领域技术人员还将认识到,机电系统的示例包括但不限于各种消费电子系统、医疗装置以及其他系统,诸如机动化运输系统、工厂自动化系统、安全系统和/或通信/计算系统。本领域技术人员将认识到,除非上下文另有规定,否则如本文所用的机电设备不一定限于具有电气和机械致动的系统。
从一般意义上讲,本领域技术人员将认识到,可通过各种不同的硬件、软件、固件和/或它们的任何组合来单独地和/或共同地实现的本文所述的各个方面可被视为由各种类型的“电路”组成。因此,如本文所使用的,“电路”包括但不限于具有至少一个分立电路的电路,具有至少一个集成电路的电路,具有至少一个专用集成电路的电路,形成由计算机程序构造的通用计算装置(例如,由至少部分地进行本文所述的过程和/或装置的计算机程序构造的通用计算机,或由至少部分进行本文所述的过程和/或装置的计算机程序构造的微处理器)的电路,形成存储装置(例如,存储器的各种形式(例如,随机存取、闪存、只读存储等))的电路,和/或形成通信装置(例如,调制解调器、模块、通信交换机、光电装置等)的电子电路。本领域技术人员将认识到,可以以模拟或数字方式或它们的一些组合来实现本文所述的主题。
本领域技术人员将认识到,本文描述的设备和/或过程的至少一部分可以集成到数据处理系统中。本领域技术人员将认识到,数据处理系统通常包括系统单元外壳,视频显示设备,诸如易失性或非易失性存储器之类的存储器,诸如微处理器或数字信号处理器之类的处理器,计算实体,诸如操作系统,驱动器,图形用户界面和应用程序,一个或多个交互设备(例如,触摸板、触摸屏、天线等),和/或包括反馈回路和控制马达的控制系统(例如,用于感测位置和/或速度的反馈;用于移动和/或调节组件和/或数量的控制马达)中的一个或多个。数据处理系统可以利用合适的可商购获得的组件来实现,例如通常存在于数据计算/通信和/或网络计算/通信系统中的组件。
出于本申请的目的,可以理解“云”计算如云计算文献中所描述的。例如,云计算可以是用于将计算容量和/或存储容量作为服务递送的方法和/或系统。“云”可以指代递送或帮助递送计算和/或存储容量的一个或多个硬件和/或软件组件,包括但不限于客户端、应用程序、平台、基础设施和/或服务器中的一个或多个。云可以指与客户端、应用程序、平台、基础设施和/或服务器相关联的任何硬件和/或软件。例如,云和云计算可以指计算机、处理器、存储介质、路由器、交换机、调制解调器、虚拟机(例如,虚拟服务器)、数据中心、操作系统、中间件、固件、硬件后端、软件后端和/或软件应用程序中的一个或多个。云可以指私有云、公共云、混合云和/或社区云。云可以是可配置计算资源的共享池,其可以是公共的、私有的、半私有的、可分发的、可扩展的、灵活的、临时的、虚拟的和/或物理的。可以通过一种或多种类型的网络(例如,移动通信网络和因特网)来递送云或云服务。
如在本申请中所使用的,云或云服务可以包括基础设施即服务(“IaaS”)、平台即服务(“PaaS”)、软件即服务(“SaaS”)和/或桌面即服务(“DaaS”)等中的一个或多个。作为非排他性示例,IaaS可以包括例如可以启动、停止、访问和/或配置虚拟服务器和/或存储中心的一个或多个虚拟服务器实例(例如,提供一个或多个处理器、存储空间、和/或按需网络资源,例如EMC和Rackspace)。PaaS可以包括例如被托管在基础设施上的一个或多个软件和/或开发工具(例如,计算平台和/或解决方案堆栈,客户端可以从其创建软件接口和应用程序,例如Microsoft Azure)。SaaS可以包括例如由服务提供商托管并且可以通过网络访问的软件(例如,用于应用的软件和/或与该软件应用相关联的数据可以保存在网络上,例如,Google Apps,SalesForce)。DaaS可以包括例如通过网络为用户提供桌面、应用、数据和/或服务(例如,通过网络(例如,Citrix)提供多应用框架、框架中的应用、与应用相关联的数据和/或与网络上的应用程序和/或数据有关的服务)。前述内容旨在作为本申请中称为“云”或“云计算”的系统和/或方法的类型的示例,并且不应被视为完整或详尽的。
本领域技术人员应认识到,为了概念清楚起见,本文描述的组件(例如,操作)、设备、对象以及伴随它们的讨论被用作示例,并且可以预期各种配置修改。因此,如本文所用的,所阐述的特定示例和随附的讨论旨在代表它们更一般的类别。通常,任何特定示例的使用旨在代表其类别,并且不包含特定组件(例如,操作)、设备和对象不应被视为限制。
本文所述的主题有时候说明不同的其他组件中包括的或与其连接上的不同组件。应当理解,这种描述的架构仅仅是示例性的,并且事实上,可以实施获得相同功能的许多其他架构。在概念意义上,获得相同功能的任何组件设置有效地“关联”以便获得所需的功能。因此,本文中组合以获得特定功能的任意两个组件可以被视为彼此“相关”以便获得所需的功能,而不管架构或中间组件如何。同样地,这样关联的两个组件也可以视为彼此“可操作地连接”,或“可操作地耦合”以获得所需的功能,并且能这样关联的任何两个组件也可以视为彼此“可操作地耦合”以获得所需的功能。可操作地可耦合的具体示例包括但不限于:在物理上可匹配的和/或在物理上相互作用的组件;和/或通过无线方式可交互的、和/或通过无线方式相互作用的组件;和/或在逻辑上相互作用、和/或在逻辑上可相互作用的组件等。
在本申请中存在正式的大纲标题的情况下,应当理解,大纲标题用于呈现目的,并且可以在整个申请中讨论不同类型的主题(例如,设备/结构可以在过程/操作标题下描述和/或过程/操作可以在结构/过程标题下讨论;和/或单个主题的描述可以跨越两个或更多主题标题)。因此,在本申请中使用正式的大纲标题仅用于呈现目的,并不旨在以任何方式进行限制。
贯穿本申请,给出了示例和列表,并且这些示例和/或列表可以用括号、逗号、缩写“例如”或其某种组合来描绘。除非另有明确说明,否则这些示例和列表仅仅是示例性的并且不是详尽的。在大多数情况下,列出每个示例和每个组合将是受到限制的。因此,使用较小的说明性列表和示例,重点在于赋予对权利要求术语的理解,而不是限制这些术语的范围。
对于本文中使用的基本上任意的复数和/或单数的术语,本领域技术人员可以根据上下文和/或应用的情况将复数理解成单数并且/或者将单数理解成复数。为了清楚的目的,本文中没有专门阐述各种单数/复数的替换。
本领域技术人员会认识到,为了概念清楚的目的,本文所述的组件(例如,操作)、设备、对象以及伴随着它们的讨论用作示例,并且预想到各种配置修改。因此,本文中使用的所阐述的具体示例和伴随的讨论旨在代表它们更一般的类别。一般而言,使用任何具体示例旨在代表其类别,并且不包括具体组件(例如,操作)、设备和对象不应当视为限制。
尽管一个或多个用户在本文(例如,在图1和其他地方)可以示出和/或描述为单个示出的人,但是本领域技术人员应理解,一个或多个用户可以代表一个或多个人类用户、机器人用户(例如,计算实体)、和/或基本上其任何组合(例如,用户可以由一个或多个机器人代理辅助),除非上下文另有指示。本领域技术人员应理解,通常,当本文使用“发送者”和/或其他面向实体的术语这样的术语时,用户可以被说成“发送者”和/或其他面向实体的术语,除非上下文另有指示。
在一些情况下,一个或多个组件在本文中可以称为“配置成”、“被…配置”、“可被配置成”、“可操作地/操作地以”、“适于/可适于”、“能”、“可符合/与…符合”等。本领域技术人员应认识到,这些术语(例如,“被配置成”)一般包括主动状态组件和/或非主动状态组件和/或待机状态组件,除非上下文另有要求。
VI.所主张的主题的前言
虽然已经图示并描述了本文所述的主题的特定方面,但是将对本领域技术人员显而易见的是,根据本文的教导,在不脱离本文所述的主题及其宽泛范围的情况下可以进行变化和修改,因此所附权利要求书在其范围内将涵盖落入本文所述的主题的真正精神和范围内的所有这些变化和修改。本领域技术人员将理解的是,一般而言,本文所述的术语,并且尤其是所附权利要求书(例如,所附权利要求书的主体)中的术语,一般旨在成为“开放式”术语(例如,术语“包括”应当理解成“包括,但不限于”,术语“具有”应当理解成“至少具有”,术语“包含”应当理解成“包含但不限于”等)。
本领域技术人员应进一步理解的是,如果旨在表示引入的权利要求表述的具体数量,则权利要求中将明确表述这样的含义,并且在不存在这种表述时,就不存在这种含义。例如,为了帮助理解,以下所附权利要求书可以包含使用引导语“至少一个”和“一个或多个”以引入权利要求表述。然而,使用这种短语不应当被理解成暗示着不定冠词“一个”或“一种”引入的权利要求表述将包含这种引入的权利要求表述的任何特定权利要求限定为权利要求仅包含一个这种表述,甚至当同一权利要求包括引导短语“一个或多个”或“至少一个”以及例如“一个”或“一种”之类的不定冠词时(例如,“一个”和/或“一种”通常应当理解成“至少一个”或“一个或多个”)也如此;对于用于引入权利要求表述的定冠词的使用同样如此。此外,即使明确表述了引入的权利要求表述的具体数量,本领域技术人员应认识到,这种表述通常应当理解成意味着至少表述的数量(例如,“两个表述”的直白表述,在没有其他修饰语的情况下,通常意味着至少两个表述,或者两个或更多个表述)。
此外,在使用类似于“A、B和C等的至少一个”的惯用语的这些情况下,一般这种结构是本领域技术人员将理解的惯用语的意思(例如,“具有A、B和C中的至少一个的系统”可以包括但不限于:只有A的系统、只有B的系统、只有C的系统、有A和B两者的系统、有A和C两者的系统、有B和C两者的系统和/或有A、B和C三者的系统等)。在使用类似于“A、B或C中的至少一个等”的惯用语的这些情况下,一般这种结构是本领域技术人员将理解的惯用语的意思(例如,“具有A、B或C中的至少一个的系统”可以包括但不限于:只有A的系统、只有B的系统、只有C的系统、有A和B两者的系统、有A和C两者的系统、有B和C两者的系统和/或有A、B和C三者的系统等)。本领域技术人员将进一步理解的是,通常,提供两个或更多个替代术语的任何反义连接词和/或短语,无论是在说明书、权利要求书或附图中,应当理解成考虑包括术语之一、术语中的任一个或两个术语的可能性,除非上下文另有说明。例如,短语“A”或“B”通常理解成包括“A”或“B”或“A”和“B”的可能性。
对于所附权利要求书,本领域技术人员将理解的是,本文中表述的操作一般可以按照任意顺序执行。另外,尽管按照顺序提供了多个操作流程,但是应当理解的是,多个操作可以按照除说明的顺序之外的其他顺序执行,或者可以同时执行。这种交替的排序的实例可以包括重叠、交错、中断、重排序、增加、准备、补充、同步、反向或其他不同的排序,除非上下文另外指明。此外,像“响应”、“涉及”或其他过去式形容词的术语一般并非旨在排除这种变体,除非上下文另外指明。
本申请可以参考由一个制造商或商家采用的并且用于识别和/或区分他或她的产品与其他制造商或商家的产品的一个或多个商标,例如,单词、字母、符号或设备。此处使用的商标名称以明确其身份,使其与具有固定和明确含义的常见描述性名词区分开来,或者,在许多(如果不是全部的话)情况下,由使用未被商标涵盖的术语的其他特定标识伴随这样的语言列出。此外,本文使用的商标名称具有文献中众所周知和定义的含义,或者不涉及为了判断其含义而需要知道其一个或多个商业秘密的产品或化合物。本申请中引用的所有商标均为其各自所有者的财产,本申请中出现的一个或多个商标不会减少或以其他方式不利地影响一个或多个商标的有效性。本申请中出现的所有已注册或未注册的商标均假定包含适当的商标符号,例如带圆圈R或括号内的大写字母(例如[商标名称]),即使此类商标符号未明确显示在商标旁边时也如此。如果商标以描述性方式用于指代产品或过程,则该商标应被解释为代表至本专利申请的申请日止的相应产品或过程。
贯穿本申请,可以使用术语“在一实施方案中”,“在一个实施方案中”,“在一些实施方案中”,“在若干实施方案中”,“在至少一个实施方案中”,“在多种实施方案中”等等。除非另外明确说明,否则这些术语中的每一个以及所有这些类似术语应被解释为“在至少一个实施方案中,并且可能但不一定是所有实施方案”。具体地,除非另外明确说明,否则这些短语的意图是提供本发明的实现方式的非排他性和非限制性示例。仅仅声明一个、一些或许多的实施方案包括一个或多个事物或具有一个或多个特征,这并不暗示所有实施方案包括一个或多个事物或具有一个或多个特征,而且也不暗示这些实施方案必须存在。除非明确说明,否则它仅仅是一个示例的指示器,并且不应以其他方式解释。
贯穿本申请,可以使用术语“在一实现方式中”,“在一个实现方式中”,“在一些实现方式中”,“在若干实现方式中”,“在至少一个实现方式中”,“在多种实现方式中”等等。除非另外明确说明,否则这些术语中的每一个以及所有这些类似术语应被解释为“在至少一个实施方案中,并且可能但不一定是所有实现方式”。具体地,除非另外明确说明,否则这些短语的意图是提供本发明的实现方式的非排他性和非限制性示例。仅仅声明一个、一些或许多的实现方式包括一个或多个事物或具有一个或多个特征,这并不暗示所有实现方式包括一个或多个事物或具有一个或多个特征,而且也不暗示这些实现方式必须存在。除非明确说明,否则它仅仅是一个示例的指示器,并且不应以其他方式解释。
本领域技术人员应理解,前述具体示例性过程和/或设备和/或技术代表本文其他地方(例如在与本说明书一起提交的权利要求中和/或本申请中的其他地方)所教导的更一般的过程和/或设备和/或技术。

Claims (10)

1.一种检测超声视频和图像中的B线的方法,所述方法包括:
从至少一个超声视频生成至少一个Q模式图,其中,所述Q模式图包括多个平均矢量表示,每个平均矢量表示对应于所述至少一个超声视频的单个帧的竖直平均值;以及
将至少一个规则应用于从至少一个超声视频生成的所述至少一个Q模式图,以识别所述至少一个超声视频中的一个或多个B线。
2.一种检测超声视频中的B线的方法,所述方法包括:
准备用于处理的包括两个或更多个帧的至少一个超声视频;
生成水平Q模式图,其表示从所述至少一个超声视频的至少一个帧收集的视频数据;
通过将胸膜线检测规则应用于所述水平Q模式图来检测至少一个胸膜线,所述胸膜线检测规则定义所述水平Q模式图中的胸膜线的外观;
生成至少一个竖直Q模式图,其表示从所述至少一个超声视频的至少一个帧收集的视频数据;
检测所述至少一个竖直Q模式图中的一个或多个潜在的B线对象;
将基线调整规则应用于所述至少一个超声视频的至少一帧以生成经基线调整的超声视频数据;
至少部分地基于所述经基线调整的超声视频数据生成至少一个经基线调整的竖直Q模式图;
在所述经基线调整的竖直Q模式图中检测一个或多个潜在的B线对象;以及
将一个或多个B线检测规则应用于检测到的所述一个或多个潜在的B线对象,以识别所述至少一个超声视频中的一个或多个潜在的B线。
3.一种被配置为检测超声视频中的B线以用于诊断目的的设备,所述设备包括:
设备接口组件,其包括设备输入组件和设备输出组件中的一个或多个;
存储器;和
处理器,其能操作地耦合到所述存储器并且被配置为向所述设备接口组件提供数据和从所述设备接口组件提供数据,所述处理器包括一个或多个电路,所述一个或多个电路被配置为包括:
超声视频处理电路,其被配置为对包括两帧或更多帧超声图像数据的至少一个超声视频执行处理;
水平Q模式图生成电路,其被配置为生成水平Q模式图,所述水平Q模式图表示从所述至少一个超声视频的至少一帧收集的视频数据;
胸膜线检测规则应用电路,其被配置为通过将胸膜线检测规则应用于所述水平Q模式图来检测至少一条胸膜线,所述胸膜线检测规则定义所述水平Q模式图中的胸膜线的外观;
竖直Q模式图生成电路,其被配置为生成至少一个竖直Q模式图,所述竖直Q模式图表示从所述至少一个超声视频的至少一个帧收集的视频数据;
所述竖直Q模式图中的潜在的B线对象检测电路,其被配置为检测所述至少一个竖直Q模式图中的一个或多个潜在的B线对象;
基线调整规则应用电路,其被配置为将基线调整规则应用于所述至少一个超声视频的至少一帧以生成经基线调整的超声视频数据;
经基线调整的竖直Q模式图生成电路,其被配置为至少部分地基于所述经基线调整的超声视频数据生成至少一个经基线调整的竖直Q模式图;
经调整的Q模式图中的潜在的B线对象检测电路,其被配置为检测所述至少一个经基线调整的竖直Q模式图中的一个或多个潜在的B线对象;以及
B线检测规则应用电路,其被配置为将一个或多个B线检测规则应用于检测到的所述一个或多个潜在的B线对象,以识别所述至少一个超声视频中的一个或多个潜在的B线。
4.根据权利要求3所述的设备,其中所述水平Q模式图生成电路包括:
水平平均列向量创建电路,其被配置为针对每个帧创建包括平均列像素强度的水平平均列向量,其中每个平均像素强度表示相应行的跨越所有列的水平平均像素强度;以及
水平Q模式图生成电路,其被配置为通过根据帧从左上角原点水平地从左到右堆叠所创建的所述水平平均列向量来生成所述水平Q模式图。
5.根据权利要求3所述的设备,其中所述竖直Q模式图生成电路包括:
竖直平均行向量创建电路,其被配置为针对每个帧创建包括平均像素强度行的竖直平均行向量,其中每个平均像素强度表示沿相应列的行范围的像素强度的竖直平均值;以及
竖直Q模式图生成电路,其被配置为通过根据帧从左上角原点竖直向下堆叠所创建的所述竖直平均行向量来生成所述竖直Q模式图。
6.根据权利要求3所述的设备,其中所述经基线调整的竖直Q模式图生成电路包括:
经基线调整的竖直平均行向量创建电路,其被配置为针对每个帧创建包括平均像素强度行的竖直平均行向量,其中每个平均像素强度表示沿所述经基线调整的超声视频数据的相应列的行范围的像素强度的竖直平均值;和
经基线调整的竖直Q模式图生成电路,其被配置为通过根据帧从左上角原点竖直向下堆叠所创建的所述竖直平均行向量来生成经基线调整的所述竖直Q模式图。
7.根据权利要求3所述的设备,其中所述基线调整规则应用电路包括:
基线强度值减去的帧生成电路,其被配置为针对所述至少一个超声视频的每个帧,通过对于所述帧中的每个像素从所述帧的该像素的实际像素强度减去该像素位置的基线强度值生成基线强度值减去的帧;并且
将生成的所述基线强度值减去的帧组合到所述经基线调整的超声视频数据中。
8.根据权利要求7所述的设备,其中所述基线强度值包括:
该像素位置的中值像素强度值,其被定义为所述至少一个超声视频的所述帧中的该像素位置的像素强度的中值。
9.根据权利要求3所述的设备,其中所述竖直Q模式图中的潜在的B线对象检测电路包括:
竖直Q模式图阈值应用电路,其被配置为将阈值应用于所述至少一个竖直Q模式图以生成阈值化竖直Q模式图;和
阈值化竖直Q模式图区域标记电路,其被配置为将具有大于零的值的所述阈值化竖直Q模式图的一个或多个区域标记为所述至少一个超声视频中的潜在的B线对象。
10.一种被配置为检测超声视频中的B线以用于诊断目的的设备,所述设备包括:
设备接口组件,其包括设备输入组件和设备输出组件中的一个或多个;
存储器;和
处理器,其能操作地耦合到存储器并且被配置为向所述设备接口组件提供数据和从所述设备接口组件提供数据,所述处理器包括一个或多个电路,所述一个或多个电路被配置为包括:
Q模式图生成电路,其被配置为从至少一个超声视频生成至少一个Q模式图,其中,所述Q模式图包括多个平均矢量表示,每个平均矢量表示对应于所述至少一个超声视频的单个帧的竖直平均值;和
B线检测规则应用电路,其被配置为将至少一个规则应用于从至少一个超声视频生成的所述至少一个Q模式图,以识别所述至少一个超声视频中的一个或多个潜在的B线。
CN201880043311.2A 2017-06-28 2018-06-22 通过检测肺部超声检查中的b线诊断肺部状况的设备、系统和方法 Active CN110868936B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762525952P 2017-06-28 2017-06-28
US62/525,952 2017-06-28
US15/969,977 2018-05-03
US15/969,977 US11419584B2 (en) 2017-06-28 2018-05-03 Devices, systems, and methods for diagnosis of pulmonary conditions through detection of b-lines in lung sonography
PCT/US2018/039063 WO2019005620A1 (en) 2017-06-28 2018-06-22 DEVICES, SYSTEMS, AND METHODS FOR DIAGNOSING PULMONARY CONDITIONS BY DETECTING B-LINES IN PULMONARY SONOGRAPHY

Publications (2)

Publication Number Publication Date
CN110868936A CN110868936A (zh) 2020-03-06
CN110868936B true CN110868936B (zh) 2023-05-02

Family

ID=64735095

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880043311.2A Active CN110868936B (zh) 2017-06-28 2018-06-22 通过检测肺部超声检查中的b线诊断肺部状况的设备、系统和方法

Country Status (5)

Country Link
US (1) US11419584B2 (zh)
EP (1) EP3644863A4 (zh)
CN (1) CN110868936B (zh)
TW (1) TWI773779B (zh)
WO (1) WO2019005620A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10970876B2 (en) * 2017-12-08 2021-04-06 Panton, Inc. Methods and apparatus for image locating relative to the global structure
JP7192512B2 (ja) * 2019-01-11 2022-12-20 富士通株式会社 学習プログラム、学習装置及び学習方法
IT201900006969A1 (it) * 2019-05-17 2020-11-17 Marco Allinovi Dispositivo ecografico polmonare
US20200397402A1 (en) * 2019-06-07 2020-12-24 Massachusetts Institute Of Technology Ultrasonic methods for tracking stress fractures of bone
WO2020262571A1 (ja) * 2019-06-28 2020-12-30 富士フイルム株式会社 学習用画像生成装置、方法及びプログラム、並びに学習方法、装置及びプログラム
CN111419283B (zh) * 2020-04-08 2023-11-14 上海长征医院 一种用于评估新冠肺炎患者病情严重程度的超声分析系统
CN113628156B (zh) * 2020-05-06 2024-08-06 无锡祥生医疗科技股份有限公司 胸膜线识别方法、装置及存储介质
CN111643118B (zh) * 2020-06-10 2020-11-06 北京核信锐视安全技术有限公司 基于超声成像的新冠肺炎风险提示装置、系统
US11627941B2 (en) * 2020-08-27 2023-04-18 GE Precision Healthcare LLC Methods and systems for detecting pleural irregularities in medical images
CN112819773B (zh) * 2021-01-28 2022-05-17 清华大学 一种超声图像定量评估系统
US20230148991A1 (en) * 2021-11-18 2023-05-18 EchoNous, Inc. Automatically detecting and quantifying anatomical structures in an ultrasound image using a customized shape prior

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080119735A1 (en) 2006-11-20 2008-05-22 Sonowise, Inc. Ultrasound imaging system and method with offset alternate-mode line
KR101150005B1 (ko) 2008-11-19 2012-06-01 삼성메디슨 주식회사 Imt 측정 영역 설정 방법 및 초음파 장치
US8914097B2 (en) 2012-01-30 2014-12-16 The Johns Hopkins University Automated pneumothorax detection
WO2013181300A1 (en) 2012-05-29 2013-12-05 The Board Of Trustees Of The Leland Stanford Jr. University Apparatus, systems, and methods for monitoring extravascular lung water
RU2015134348A (ru) * 2013-01-17 2017-02-20 Конинклейке Филипс Н.В. Устранение эффектов движения в медицинских изображениях, вызываемых физиологической функцией
KR20150002932A (ko) 2013-06-26 2015-01-08 삼성전자주식회사 초음파 영상 디스플레이 방법 및 장치
WO2015048767A1 (en) 2013-09-30 2015-04-02 Grisell Ronald Automatic focused assessment with sonography for trauma exams
EP3197367B1 (en) 2014-09-25 2020-03-18 Koninklijke Philips N.V. Device and method for automatic pneumothorax detection
US11096671B2 (en) 2015-09-10 2021-08-24 Siemens Medical Solutions Usa, Inc. Sparkle artifact detection in ultrasound color flow
US10667793B2 (en) * 2015-09-29 2020-06-02 General Electric Company Method and system for enhanced visualization and selection of a representative ultrasound image by automatically detecting B lines and scoring images of an ultrasound scan
US20170086790A1 (en) 2015-09-29 2017-03-30 General Electric Company Method and system for enhanced visualization and selection of a representative ultrasound image by automatically detecting b lines and scoring images of an ultrasound scan
US10456108B2 (en) * 2015-11-12 2019-10-29 Clarius Mobile Health Corp. Systems and methods for automatic time gain compensation in a handheld ultrasound imaging system

Also Published As

Publication number Publication date
US11419584B2 (en) 2022-08-23
US20190000425A1 (en) 2019-01-03
WO2019005620A1 (en) 2019-01-03
CN110868936A (zh) 2020-03-06
TWI773779B (zh) 2022-08-11
EP3644863A4 (en) 2021-03-24
TW201904521A (zh) 2019-02-01
EP3644863A1 (en) 2020-05-06

Similar Documents

Publication Publication Date Title
CN110868936B (zh) 通过检测肺部超声检查中的b线诊断肺部状况的设备、系统和方法
US20220122263A1 (en) System and method for processing colon image data
JP2023009098A (ja) オブジェクトグリッド増強を用いて高次元画像データから低次元画像データを合成するためのシステムおよび方法
US10692272B2 (en) System and method for removing voxel image data from being rendered according to a cutting region
JP2015154918A (ja) 病変検出装置及び方法
US20160350979A1 (en) Systems and methods for shape analysis using landmark-driven quasiconformal mapping
KR20150108701A (ko) 의료 영상 내 해부학적 요소 시각화 시스템 및 방법
KR102372200B1 (ko) 의료영상의 병변 정보 증강 패치에 하나 이상의 증강 방식을 적용한 학습데이터 기반의 병변 분류 방법 및 장치
CN112529834A (zh) 病理图像模式在3d图像数据中的空间分布
AU2019430369B2 (en) VRDS 4D medical image-based vein Ai endoscopic analysis method and product
Dehghani et al. Breast cancer diagnosis system based on contourlet analysis and support vector machine
US9547906B2 (en) System and method for data driven editing of rib unfolding
WO2020168647A1 (zh) 图像识别方法及相关设备
JP2019030584A (ja) 画像処理システム、装置、方法およびプログラム
US20240062498A1 (en) Systems and methods for rendering models based on medical imaging data
US12073508B2 (en) System and method for image processing
JP6643821B2 (ja) 画像処理装置
Selver Exploring brushlet based 3D textures in transfer function specification for direct volume rendering of abdominal organs
CN114365188A (zh) 基于vrds ai下腔静脉影像的分析方法及产品
US8941680B2 (en) Volumetric image motion-based visualization
CN111627529A (zh) Vrds 4d医学影像处理方法及产品
JP2017162034A (ja) 画像処理装置、画像処理方法、画像処理システムおよびプログラム
JP7105918B2 (ja) 領域特定装置、方法およびプログラム
Alom et al. Automatic slice growing method based 3D reconstruction of liver with its vessels
CN114364323A (zh) 基于vrds ai静脉影像的识别方法及产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant