CN112545551A - 用于医学成像设备的方法和系统 - Google Patents

用于医学成像设备的方法和系统 Download PDF

Info

Publication number
CN112545551A
CN112545551A CN202010941046.9A CN202010941046A CN112545551A CN 112545551 A CN112545551 A CN 112545551A CN 202010941046 A CN202010941046 A CN 202010941046A CN 112545551 A CN112545551 A CN 112545551A
Authority
CN
China
Prior art keywords
image
plane
probe
images
ultrasound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010941046.9A
Other languages
English (en)
Inventor
杨嘉久
王东伟
李�荣
王译
周伟伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GE Precision Healthcare LLC
Original Assignee
GE Precision Healthcare LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GE Precision Healthcare LLC filed Critical GE Precision Healthcare LLC
Publication of CN112545551A publication Critical patent/CN112545551A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A61B8/4254—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors mounted on the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4444—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4427—Device being portable or laptop-like
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明提供了用于超声成像设备的各种系统。在一个示例中，方法包括基于在第一解剖位置处先前采集的第一图像向用户指示在水平平面和竖直平面一者或多者中将超声探头导航到的位置，同时在第二不同解剖位置处采集第二图像并且自动地将第一图像和第二图像结合在一起。

Description

用于医学成像设备的方法和系统
技术领域
本文所公开的主题的实施方案涉及医学成像及超声组织扫描的便利化。
背景技术
在超声诊断装置中，超声从超声探头传输到受检者体内，并且由超声探头接收从受检者体内反射的回波信号。然后，基于所接收的回波信号来产生超声图像，并且在显示设备上显示该超声图像。
在一些超声诊断装置中，在3D区域上执行超声的传输/接收以采集超声体积数据。在一些情况下由3D探头采集体积数据，其中操作员改变超声探头的角度或压力或移动超声探头，以在3D区域上执行超声的传输/接收并且采集超声体积数据。
发明内容
在一个实施方案中，方法包括基于在第一解剖位置处先前采集的第一图像指示用户经由水平平面中的移动或竖直平面中的压力来导航超声探头，同时在第二不同解剖位置处采集第二图像并且自动地将第一图像和第二图像结合在一起。
应当理解，提供上面的简要描述来以简化的形式介绍在具体实施方式中进一步描述的精选概念。这并不意味着识别所要求保护的主题的关键或必要特征，该主题范围由具体实施方式后的权利要求唯一地限定。此外，所要求保护的主题不限于解决上文或本公开的任何部分中提到的任何缺点的实施方式。
附图说明
通过参考附图阅读以下对非限制性实施方案的描述将更好地理解本发明，其中以下：
图1示出了根据本公开的一个实施方案的超声成像系统的示例；
图2示出了根据本公开的一个实施方案的超声成像系统的各种系统部件的示例性示意图。
图3示出了用于结合两个超声图像的高级流程图。
图4示出了用于采集第一超声图像和第二超声图像的方法。
图5示出了为与先前采集的超声图像结合而进行的超声图像采集的示例。
图6示出了先前采集的超声图像与当前超声图像结合的示例。
图7示出了超声探头沿着水平平面的位移。
图8示出了Huber函数的曲线图。
具体实施方式
以下描述涉及被配置为组合两个或更多个超声图像的超声设备的实施方案。图1中示出了超声图像系统的示例，并且图2中示出了超声系统的各种系统部件的示意图。图2的超声系统可被配置为采集3D超声图像。在一个示例中，经由体积数据的多个切片来生成3D超声图像。当扫描较大区域时，由于体积数据及从体积数据的图像生成的性质，用户可能难以对如何定位超声探头进行可视化以便生成可拼接在一起的相邻图像。因此，在一些示例中，用户界面可向用户提供如何移动、定位超声探头及用超声探头施加压力的指令以便提高从总体体积数据生成可拼接在一起的多个图像的能力，以在探头移动时从随时间推移而采集的体积数据形成更大的图像。
图像的每个切片可与为生成体积数据而扫描解剖区域的时间和空间维度相对应。超声系统可分析从不同组体积数据采集或形成的切片，其中参考点被标记在每个切片上。可将具有匹配和/或重叠参考点的切片拼接在一起以相对于彼此分段的所述多个切片形成更大的完整图像。
超声设备可被配置为基于深度学习神经网络和/或算法方法来识别从体积数据生成的两个或更多个诊断图像中的参考点。可从在不同时间、位置和压力级采集的不同组体积数据生成这些诊断图像。例如，可从两组体积数据生成超过两个图像，可从这些图像中选择参考点满足所选标准的两个图像。这些参考点可用于识别所述两个或更多个图像之间的参考对。这样，如果至少两个图像包括参考对，则可将这两个图像沿着相应边缘合并在一起，使得这些图像不重叠但沿着边缘接触，以形成一个最终的连续图像。
通过经由拼接2-D图像来合并在不同时间、位置和压力级采集的体积数据，用户可以更好地观察诸如心室体积、积液和血细胞动态运动等定量量度。附加地或另选地，可实时旋转或裁剪该大图像以揭示组织体积内的解剖结构，这在癌症治疗等中可能是有利的。更进一步地，但指示用户如何定位、施加和/或操纵探头，可以提供所组合的较大2-D图像的改进。
图3和图4中示出了用于结合这些附图的方法。图5示出了图像采集的实施方案，其中不同组体积数据的第一图像与第二图像之间的匹配值不大于阈值匹配值。用户被指示在水平平面和竖直平面中的每一者中移动或继续移动探头所选的量，以减小这些图像之间的偏移，从而增加匹配值。图7示出了在显示设备上向用户提供的指令的另外一个示例。图6示出了图像采集的实施方案，其中第一图像和第二图像的匹配值大于阈值匹配值。因此，图6的实施方案中的图像沿着相应边缘结合而不重叠。
图1示出了被配置用于执行超声的示例性超声系统100。在一个示例中，超声系统100是手持超声系统。超声系统包括探头101，该探头包括其中定位有超声换能器阵列104的外壳102。换能器阵列被定位在扫描头处并且被插入到待扫描的组织中，从而产生比外加探头更清晰的图像，这是由于换能器阵列接近组织内层。探头101可包括位置跟踪设备，该位置跟踪设备包括一个或多个位置传感器(图2所示)以允许对换能器进行位置和取向感测。可使用合适的位置传感器(例如，陀螺、磁性、光学、射频 (RF))。
用于驱动超声换能器并且从这些扫描连同相关联的位置和取向信息一起生成体积胎儿、心脏、经直肠和血管内超声数据的全功能超声引擎可耦合到探头。在一些示例中，可收集该体积数据以用于产科学、心脏病学、手术引导、血管成像、局部麻醉和麻醉。例如，超声引擎可包括处理器和存储器，和/或可使用处理器和存储器来实现。可包括超声引擎作为耦合到探头的扫描处理器106的一部分。可使用本领域已知的多种数据传送方法中的任何一种，将体积扫描数据传送到另一个计算机系统以用于进一步处理。还提供了可在与超声引擎相同的计算机上实现的通用计算机以用于一般用户交互和系统控制。超声系统可以是可从一个房间移动到另一个房间的自备式独立单元，诸如基于推车的系统、手持系统或其他便携式系统。此外，可以由通过网络连接的远程站来远程地控制、配置和/或监测图1的超声系统。
图2是框图200，该框图示意性地示出了超声成像系统的各种系统部件，包括探头101、扫描处理器106、客户端设备230和远程设备240。在一些实施方案中，扫描处理器还可耦合到远程科室信息系统、医院信息系统和/或内部或外部网络，以允许不同位置的操作员提供命令和参数和/或访问图像数据(如下文更详细解释，远程设备240是扫描处理器可耦合的一个此类远程系统的一个非限制性示例)。
首先参见探头101，探头101包括换能器阵列104。如上文结合图1所解释，换能器阵列可被定位在外壳内，并且外壳和换能器阵列可被配置为由操作员在超声检查期间手动地移动。换能器阵列可包括将电能转换为超声波、然后检测反射的超声波的换能器元件(诸如压电元件)阵列。
探头101还可包括存储器224。存储器224可为非暂态存储器，其被配置为存储换能器阵列104的各种参数，诸如从探头的位置跟踪设备228获得的换能器位置信息、换能器使用数据(例如，所执行的扫描次数、扫描所用时间总量等)以及换能器的规格数据(例如，换能器阵列元件数量、阵列几何结构等)和/或探头101的识别信息(诸如探头的序列号)。存储器224可包括可移动和/或永久设备，并且可包括光学存储器、半导体存储器和/或磁存储器等。存储器224可包括易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取和/或附加存储器。在一个示例中，存储器224可包括RAM。附加地或另选地，存储器224可包括EEPROM。
存储器224可存储非暂态指令，这些非暂态指令可由控制器或处理器 (诸如控制器226)执行以实施如下文所述的一个或多个方法或例程。控制器226可从跟踪设备228的各种传感器接收输出，并且响应于传感器输出而触发一个或多个致动器的致动和/或与一个或多个部件通信。在一个示例中，跟踪设备228可包括一个或多个位置传感器、加速度计、陀螺仪、压力传感器、应变式传感器和/或温度传感器。跟踪设备228还可包括参考标记检测器，该参考标记检测器被配置为检测定位在接受超声扫描的患者身上的参考标记。参考标记检测器可被配置为检测定位在患者体内或体外的磁性参考标记、光学参考标记或其他合适的参考标记。在图像采集之前和/ 或期间，可由跟踪设备228的一个或多个位置传感器的输出来确定探头相对于参考标记的位置(在六自由度中，包括跨三个垂直轴的平移和围绕三个垂直轴的旋转)，并且将该位置存储在存储器224中和/或发送到扫描处理器106。来自传感器的输出可用于(经由扫描处理器106、客户端设备 230和/或另一个设备的所显示的用户界面)向探头101的操作员提供反馈。例如，如果探头未位于预定位置，则可指示操作员在图像采集之前重新定位探头。在另一个示例中或另外，可指示操作员在扫描期间调节探头的角度、深度和/或位置，诸如本文进一步所述。
例如，探头101可与扫描处理器106通信以将原始扫描数据发送到图像处理器212。另外，在一些示例中，可将存储在存储器224中和/或从跟踪设备228输出的数据发送到扫描处理器106。此外，可响应于来自扫描处理器106的信号而启动探头101的各种动作(例如，换能器元件的激活)。探头101可任选地与扫描处理器的显示器和/或客户端设备的显示器236通信，以便例如通知用户重新定位探头101(如上文所解释)或从用户接收信息。
现在转到扫描处理器106，其包括图像处理器212、存储装置214、显示输出216和超声引擎218，该显示输出被配置为发送要在扫描处理器106 的显示设备和/或另一个显示设备(诸如远程设备240的显示器)上显示的信息。超声引擎218可驱动换能器阵列104的换能器元件的激活。此外，超声引擎218可从探头101接收原始图像数据(例如，超声回波)。可将原始图像数据发送到图像处理器212和/或(例如，经由网络)发送到远程处理器，并且处理原始图像数据以形成组织样品的可显示图像，可经由显示输出216将该可显示图像发送到耦合的显示设备。应当理解，在一些实施方案中，图像处理器212可与超声引擎218包括在一起。
可经由扫描处理器106的显示输出216将信息从超声引擎218和/或图像处理器212传送到超声探头系统的用户。在一个示例中，用户可包括超声技师、护士或医生(诸如放射科医师)。例如，在实时采集成像数据 (例如，超声成像数据)之后，可从该数据生成图像并且经由显示输出216 将该图像显示在(扫描处理器106或操作地耦合的设备的)显示设备上。在另一个示例中，可经由显示输出216将与扫描的参数(诸如扫描的进度)相关的信息发送到显示器。在另一个示例中，显示输出216可输出用户界面，该用户界面被配置为向用户显示图像或其他信息。此外，用户界面可被配置为从用户接收输入并且将该输入发送到扫描处理器106。在一个示例中，用户输入可经由显示器的触摸屏。然而，其他类型的用户输入机构是可能的，诸如鼠标、键盘等。
扫描处理器106还可包括存储装置214。与探头的存储器224类似，存储装置214可包括可移动和/或永久设备，并且可包括光学存储器、半导体存储器和/或磁存储器等。存储装置214可包括易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取和/或附加存储器。存储装置214 可存储非暂态指令，这些非暂态指令可由控制器或处理器(诸如超声引擎 218或图像处理器212)执行以实施如下文所述的一个或多个方法或例程。存储装置214可存储如经由跟踪设备228传送的超声探头的位置信息。存储装置214可存储从超声探头接收的原始图像数据、从图像处理器212或远程处理器接收的经处理的图像数据、和/或附加信息。
扫描处理器106和/或探头101可通信地耦合到客户端设备230。客户端设备230可包括合适的计算设备，诸如膝上型计算机、平板计算机或移动设备。客户端设备230可包括控制器232、存储器234、显示器236和相机238。控制器232可包括图像处理器和超声引擎，这类似于扫描处理器 106的图像处理器和超声引擎。这样，客户端设备230可驱动探头101的换能器阵列104的元件的致动，从探头101接收原始图像数据，和/或将原始图像数据处理成一个或多个图像。控制器232可进一步执行存储在存储器 234中的指令以便实施本文所述方法中的一者或多者。
例如，这些指令可使控制器能够以多个图像切片的形式收集体积数据。每个切片可对应于采集超声数据时的维度和时间。可分析单独切片的参考点，使得可经由用户界面向用户显示指令，其中这些指令可包括如何布置探头及将探头布置在何处以收集后一图像切片。当经由匹配值的测量和匹配值相对于阈值匹配值的比较得出后一图像的维度与前一图像切片的维度充分匹配时，可将这些图像切片拼接在一起。这两个图像切片的组合可产生目标解剖位置的更大3D图像。
存储器234可包括易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取和/或附加存储器。存储器234可存储非暂态指令，这些非暂态指令可由控制器或处理器(诸如控制器232)执行以实施如下文所述的一个或多个方法或例程。存储器234可存储如经由探头的跟踪设备228 传送的超声探头的位置信息。存储器234可存储从超声探头接收的原始图像数据、从图像处理器接收的经处理的图像数据、和/或附加信息。
显示器236可显示合适的信息，诸如一个或多个用户界面、图像等。显示器236可显示从控制器232或其他合适的处理器发送的内容。相机238 可包括面向前和面向后的图像传感器，它们各自被配置为采集可见光图像和/或基于光的深度图像。可见光图像和/或基于光的深度图像可以以静态图像和/或视频的形式显示在显示器236上。在一些示例中，来自面向前和/或面向后的图像传感器的数据也可用于确定方向/位置和取向数据(例如，来自成像环境特征)，从而实现真实世界环境中的客户端设备230的位置/运动跟踪。
客户端设备230还可包括跟踪设备239。跟踪设备239可被配置为向控制器232提供客户端设备230的位置和/或取向数据。在一个示例中，跟踪设备可被配置为惯性运动单元(IMU)，包括三轴或三自由度(3DOF)位置传感器系统。该示例性位置传感器系统可例如包括三个陀螺仪以指示或测量客户端设备在3D空间内围绕三个正交轴(例如，滚转、俯仰和偏航)的取向变化。从IMU的传感器信号得出的取向可用于经由显示器236以现实且稳定的位置和取向来显示一个或多个增强现实图像。
在另一个示例中，IMU可被配置为六轴或六自由度(6DOF)位置传感器系统。此类配置可包括三个加速度计和三个陀螺仪以指示或测量客户端设备沿着三个正交空间轴(例如，x、y和z)的位置变化以及围绕三个正交旋转轴(例如，偏航、俯仰和滚转)的设备取向变化。在一些实施方案中，来自图像传感器和IMU的位置和取向数据可结合用于确定客户端设备的位置和取向。
客户端设备230可通信地耦合到远程设备240。远程设备240可包括可用于存储和/或显示所采集的超声图像的合适计算设备，并且也可通信地耦合到扫描处理器106。远程设备240可为影像存档与通信系统(PACS)的一部分，该影像存档与通信系统被配置为存储例如患者病史、成像数据、测试结果、诊断信息、管理信息和/或排程信息。远程设备240可包括PACS 服务器，该PACS服务器包括适用于存储图像数据以供稍后在例如PACS 工作站处检索和查看的计算机可读存储介质。远程设备240可包括控制器 242、存储器244和/或显示器246。存储器244可包括易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取和/或附加存储器。存储器 244可存储非暂态指令，这些非暂态指令可由控制器或处理器(诸如控制器 242)执行以实施如下文所述的一个或多个方法或例程。存储器244可存储如经由探头的跟踪设备228传送的超声探头的位置信息。存储器244可存储从超声探头接收的原始图像数据、从图像处理器接收的经处理的图像数据、和/或附加信息。
本文所述的方法可示出用于帮助用户自动结合多个图像的方法。该方法可包括引导用户移动超声探头，其中该引导可包括移动探头的方向和向探头施加的压力。以这种方式提供指令以用于在扫描时在三维空间中致动探头，使得可准确地结合两个或更多个图像。
将两个或更多个图像结合在一起的目的是对长扫描区域采集宽图像。例如，目的是获得患者腹部中相对较大的肿瘤的完整图像并因此更准确地测量肿瘤的尺寸。
将医学诊断图像结合在一起的先前示例迫使用户在长扫描区域图像的第一部分中识别感兴趣区域。然而，该过程的该步骤可较困难，因为医学诊断图像呈灰色并且所扫描的对象与用户(尤其是未经训练的用户)之间没有明确界限。因此，标记感兴趣区域可能是耗时和/或不准确的。目标区域的超声数据采集可从多个位置进行。例如，可从前位、后位和/或中间位置采集图像，从而产生大量数据。用户可能难以组合该大量数据中的这些图像中的每个图像以产生单个大图像(例如，长扫描区域图像)。
此外，超声图像可取决于探头位置、取向和压力。因此，沿着患者身体移动超声探头可调节超声图像，将探头保持在各种角度可调节超声图像，并且利用超声探头向患者身体施加的压力可调节超声图像，从而进一步使组合从不同位置采集的图像复杂化。通过调节超声图像，使解剖位置的参考点可视化的平面、位置和/或角度可改变参考点的外观。这三种因素可增加将长扫描区域图像的第二部分与第一部分对准的难度。
为了解决上述问题，超声诊断设备可帮助用户结合两个或更多个图像。可在用户采集体积数据时向用户提供指令，使得可更准确地结合来自体积数据组的图像。可在扫描期间连续地比较这些图像的相邻部分以计算匹配值。可将匹配值与阈值进行比较。如果匹配值大于阈值，则可结合来自多组体积数据的图像。如果匹配值不大于阈值，则可提供指令以重新捕获这些图像的至少一个相邻部分，以增加匹配值。使用的指令可包括扫描期间移动的一个或多个方向、移动的量(在所述一个或多个方向中的每个方向上)、移动的一个或多个角度、围绕其旋转的一个或多个轴和/或施加的压力的量。在不同位置采集的图像之间的参考点可更准确地匹配并且这些图像被拼接。
现在转到图3，其示出了高级流程图，该高级流程图示出用于结合不同医学诊断图像的方法300。用于实施方法300和本文所包括的其余方法的指令可由控制器基于存储在控制器的存储器上的指令以及从引擎系统的传感器(诸如上文结合图2所述的传感器)接收的信号来执行。控制器可根据下述方法采用引擎系统的引擎致动器来调节引擎操作。
方法300从302开始，该步骤包括采集第一图像。第一图像可为患者目标区域的多个图像之一。可由超声探头(诸如图1的超声探头101)采集第一图像。
方法300进行到304，该步骤包括标记第一图像中的两个或更多个参考点。这些参考点可对应于器官、骨骼、肌止点等。因此，这些参考点可对应于患者解剖结构的已知组成部分。例如，参考点可包括肌腱、骨骼、关节、器官、神经、血管、胎儿等中的一者或多者。参考点可标记在图像上和/或可存储在超声设备的控制器的存储器中。如下文将结合图4更详细描述，可将第一图像与目标区域的先前采集的图像进行比较，其中可将参考点与先前评估的参考点进行比较以确定第一图像的合法性和质量。
方法300进行到306，该步骤包括显示实时探头位置。可在第一平面和第二平面中显示探头位置。第一平面(也可称为水平平面)可示出沿着患者身体的移动方向。第二平面(也可称为竖直平面)可示出探头对患者身体的压力，并且可垂直于第一平面。这样，用户可意识到探头在患者身体上的方向和压力两者，使得可在期望与第一图像结合的后一图像的采集期间施加类似方向和类似压力。
在一个示例中，如果医学成像是患者腹部的医学成像，则第一平面 (包括移动方向)可平行于冠状平面。第二平面可垂直于冠状平面且平行于矢状或横向平面。应当理解，可基于医学成像相对于患者身体的位置来调节第一平面和第二平面的取向，使得第一平面可平行于冠状平面、矢状平面或横向平面之一。
方法300进行到308，该步骤包括采集第二图像。在一个示例中，第二图像是与第一图像的至少部分直接相邻的目标区域的图像。在一个示例中，第一图像可为最终图像的第一半，并且第二图像可为最终图像的第二半。附加地或另选地，第一图像和第二图像可为要在最终图像中结合在一起的单独图像，其中第一图像和第二图像共享公共边界。在一个示例中，第一图像可使肿瘤的一部分或参考点的一部分可视化，并且第二图像可使肿瘤的剩余部分或参考点的剩余部分可视化。
方法300进行到310，该步骤包括显示实时匹配值。匹配值可对应于第一图像与第二图像的结合的准确度。也就是说，随着第一图像与第二图像之间的差异增加，匹配值减小。这样，更高的匹配值可表示采集第一图像和第二图像的水平方向和竖直方向上更小的差异。更高的匹配值可进一步对应于第一图像和第二图像的更准确结合，使得可更可靠地测量和/或分析所扫描的患者解剖结构的部分。
方法300进行到312，该步骤包括确定匹配值是否大于阈值。阈值可基于多个先前结合的图像。在一个示例中，阈值是固定值。例如，阈值可等于最高值为10且最低值为1的评分系统中的评分9。作为另一个示例，阈值可为百分比，诸如85％。附加地或另选地，阈值可为动态值，其中所述多个先前结合的图像随着图像的不同组合和/或结合被学习而连续地更新阈值。下文将更详细描述此类示例。
如果匹配值不大于阈值，则方法300进行到314，该步骤包括重新扫描第二图像的部分。重新扫描可包括在第二图像重新采集期间调节向第二图像区域施加的力。通过调节该力，采集第一图像和第二图像的平面可更密切地匹配，从而增加匹配值。
如果匹配值大于阈值，则方法300可进行到316以结合第一图像和第二图像。结合第一图像和第二图像可包括在公共边界处拼接第一图像和第二图像，其中公共边界是包括第一图像和第二图像的最终图像的中心轴线。也就是说，组合第一图像和第二图像的区域是最终图像的中部。第一图像和第二图像的边界彼此可沿着水平轴相邻。附加地或另选地，参考点可跨第一图像和第二图像延伸，使得这些边界跨第一图像和第二图像划分参考点。这样，可选择用于结合的第一图像和第二图像的正确边界。
本说明书在本文中更具体地描述了基于算法方法或深度学习网络中的一者或多者而对第一图像和第二图像的采集和结合。从广义上讲，实时计算两个相邻图像的空间变换矩阵。矩阵中的一些值示出了平移，因此这些值的累加可提供水平和竖直方向和/或平面上的移动距离。如上所述，水平方向和/或平面不包括压力，并且大致平行于患者的皮肤(例如，患者的扫描表面)。竖直方向和/或平面包括压力，并且垂直于患者的扫描表面。经由算法方法和深度学习网络中的一者或多者来提供第一图像与第二当前图像之间的匹配值。
在扫描(例如，图像采集)期间，可经由周期性采样来获得图像。如果采样周期等于某持续时间(T)，则当前图像可为F(mT)，m∈R+，并且第一先前采集的图像可为F(0)。通过尺度不变特征变换(SIFT)来获得F(mT)与 F((m-1)T)之间的特征点对[(xi，yi)，(x′i，y′i)]，i∈R。
噪声抑制可基于稳健最小二乘算法，该稳健最小二乘算法可包括直接从特征点对计算空间变换矩阵。如果准确无误地计算出特征点对中的每一个特征点对，则可计算以下公式1中所示的矩阵。
Figure RE-GDA0002810924350000111
sx和sy是x轴和y轴中的比例因子，θ是两个图像之间的旋转角度， pe，pf是x轴和y轴上的移动距离。在一个示例中，水平方向平行于x轴，并且竖直方向平行于y轴。可在以下公式2的示例中以简化的同质形式改写公式1。
Figure RE-GDA0002810924350000112
所得的矩阵和/或向量可由如下所示的符号表示。
Figure RE-GDA0002810924350000126
Figure RE-GDA0002810924350000121
Figure RE-GDA0002810924350000122
特征点对中可存在误差，并且在一些示例中，特征点对中的一个或多个特征点对可出错。为了防止公式1表示所有特征点对，可生成矩阵以将总误差减小到最低可能值。此类矩阵可由以下矩阵4表示。
Figure RE-GDA0002810924350000123
计算矩阵4，并且舍弃无法由矩阵4映射的对。该舍弃可基于Huber函数，该函数可降低错误对的影响和/或量值。通过这样做，可舍弃错误或有误差的特征点对以增加空间变换矩阵的准确度。由以下公式3与公式4的组合表示Huber成本函数。
Figure RE-GDA0002810924350000124
Figure RE-GDA0002810924350000125
公式3可为严格凸函数，其中牛顿法用于求解矩阵4。M的范围和M 由图8中的曲线图示出。
基于以下公式5的确定得出，点对不正确。
||[xi，yi，1]X-[x′i，y′i，1]||2＞ξ (公式5)；其中ξ是超参数。
舍弃的错误特征点对可提供清理的特征点对B1，B2，并且可用于以 B1，B2来求解空间变换矩阵X2，作为基于L2-范数近似的空间变换矩阵的解的一部分。通过省略错误对，X2在L2-范数近似的情况下可具有解析解。以下公式6示出了要求解的问题
Figure RE-GDA0002810924350000134
Figure RE-GDA0002810924350000131
公式7示出了公式6的展开形式，其中代价函数是严格凸函数，并且在导数等于0时取最小值，如以下在求导1中所示。
Figure RE-GDA0002810924350000132
在一个示例中，如果患者的表面被认为处于第一平面(例如，x平面和/或水平平面)中，则可沿着x平面将探头从第一位置致动到第二不同位置。值pe是第一周期期间探头的偏移(例如，探头从第一位置到第二位置的位移)。因此，可基于以下公式8通过累加每一周期的pe来获得第一图像与当前图像之间的偏移(例如，失配)。
Figure RE-GDA0002810924350000133
可在第二平面(例如，y平面和/或竖直平面)中移动探头，其中沿着 y平面、在固定位置处、在垂直于x平面的方向上按压或牵拉探头。附加地或另选地，探头的取向可引起探头在与x平面成角的方向上的按压或牵拉。以任何速率沿着y平面的移动可引起向探头施加的平行于y平面的压力变化。可沿着x平面测量探头不平行于y平面的任何移动。
向探头施加的压力的变化可引起扫描的图像的变化。xxx-xxx深度期间扫描的图像很好地对应于压力变化。这样，一个周期内的探头压力变化的解可类似于探头偏移。然而，仅xxx-xxx深度内的点对参与该计算。在沿着 y平面监测压力的示例中，可基于以下公式9来获得第一图像与当前图像之间的图像偏移。[发明人-请定义xxx-xxx。]
Figure RE-GDA0002810924350000141
[[发明人-如何识别取向的偏移(例如，探头相对于患者的角度)？如果不计算该值，则有什么原因？]]
在经由公式8确定x平面中的偏移并经由公式9确定y平面中的偏移后，可基于x平面和y平面中的偏移的组合来确定匹配值。在一个示例中，匹配值是组合第一图像和第二图像的准确度的量度。在一个示例中，该准确度与在这两个图像将被结合的位置处这两个图像的像素强度之间的差值成反比。因此，像素强度之间相对较低的差值(例如，更高的相似度)可指示相对较高的匹配度。可经由以下公式11与公式10的组合来计算匹配值。
Figure RE-GDA0002810924350000142
Figure RE-GDA0002810924350000143
其中D是超参数。
如上文结合方法300所述，如果匹配值大于阈值匹配值，则可结合这两个图像。如果匹配值不大于阈值匹配值，则可不结合这两个图像，并且可要求操作员调节探头的移动和/或压力以减小x平面或y平面中的偏移。
还可经由深度学习网络结构(诸如深度学习神经网络)来执行图像结合。深度学习网络结构可与先前描述的算法方法结合使用或单独使用。深度学习网络结构可包括多个先前采集的图像对，其中每对包括两个不同但接近的身体部位处的至少两个超声图像。接近的身体部位可被定义为其超声图像包括共享至少一个公共边界的图像对的身体部位。
这两个图像可被调整尺寸为一个共同的图像尺寸(例如，448高度× 448宽度)，然后通过卷积层处理以生成特征映射和/或激活映射。卷积层可为VGG、GoogLeNet、ResNet以及如本领域普通技术人员已知的类似卷积层。作为一个示例，如果卷积层为GoogLeNet，则特征映射的大小为 14×14×1024。将这两个特征映射组合在一起，最终大小为12×14×2048。在没有补白的情况下在组合的两个特征映射上操作14×14×2048×2卷积内核，并且所获得的两个值等于分别与x平面和y平面平行的水平和竖直方向上的这两个图像之间的偏移。从每个特征映射的边缘切下每个特征映射的一部分，其中该部分为1×14×1024。将这两个部分组合为1×14×2048的大小，其中在没有补白的情况下在两个组合的部分上操作1×14×2048×2卷积内核层，以得到两个值激活的softmax函数，该函数基本上等于匹配值。
对于偏移输出，平滑L1可被选择为由以下公式11表示的损失函数。
Figure RE-GDA0002810924350000151
Lossoffset＝smoothl1(x-xt)+smoothl1(y-yt) (公式12)
公式12可确定包括x平面和y平面中的偏移的总偏移值。可通过将交叉熵选择为损失函数来计算匹配值，如以下公式13所示。
Figure RE-GDA0002810924350000152
总损失可等于以下在公式14中所示的公式12和13的加权总和。
总损失＝λLossoffset+Lossmatch (公式14)
可将总损失与如上所述的阈值匹配值进行比较。
现在转到图4，其示出了用于确定两个相邻图像中的参考点、匹配这些参考点以及沿着相邻图像的拼接边缘确定匹配值的方法400。
方法400从402开始，该步骤包括确定是否正在采集超声图像。如果探头沿着水平或竖直方向抵靠患者移动，则正在采集超声图像。如果未正在采集超声图像，则方法400进行到404，该步骤包括保持当前操作并且不在显示设备上显示超声图像。
如果正在采集超声图像，则方法400进行到406，该步骤包括在显示设备的屏幕上实时显示超声探头位置。探头可为显示设备提供与所采集的图像(例如，体积数据的切片)以及探头相对于患者的位置有关的反馈，以显示探头的实时图像。例如，该显示器可示出当前经由探头采集的图像以及说明探头精确位置的框或某种其他形状。此外，可相对于x平面和y 平面示出探头的位置。这可经由箭头或其他形状示出。在一个示例中，框的尺寸可响应于探头抵靠患者的压力增加而增加。
方法400进行到408，该步骤包括检测所采集的图像中的参考点。检测参考点可经由上述深度学习神经网络和/或算法方法来进行。所检测的参考点可对应于器官、血管、神经、关节等。附加地或另选地，如果患者具有以前在诊断成像期间识别的肿瘤或其他生长，则可学习该肿瘤或其他形式的生长(例如，胎儿)并且将其添加到患者的参考点数据集。
方法400进行到410，该步骤包括匹配两个相邻图像之间的所检测的参考点。两个相邻图像可被定义为使来自不同位置的共享参考点可视化的两个图像，其中这两个图像共享边界或其他共享特征。附加地或另选地，相邻图像可包括使第一解剖位置可视化的第一图像和使第二解剖位置可视化的第二图像，并且其中第一解剖位置和第二解剖位置是接续的。例如，探头可使在第一图像期间来自患者身体的主要前位以及在第二图像期间来自患者身体的主要后位的参考点可视化。第一图像和第二图像中的每个图像可包括从患者身体的外侧部分获取的部分。因此，第一图像和第二图像可包括可在这些图像的外侧部分处匹配的一个或多个参考点。
在一个示例中，第一图像和第二图像对应于一定量数据的切片。这些图像可用于经直肠超声程序，其中在第一时间从外侧位收集第一图像，并且在第一时间之后的第二时间从后位收集第二图像。
方法400进行到412，该步骤包括使用稳健最小二乘计算来去除错配的参考点。这可包括Huber计算，如结合以上公式3、4和5所述。如果使用算法计算，则这可增加公式1的准确度。
方法400进行到414，该步骤包括计算空间变换矩阵。空间变换矩阵可基本上等于公式1，其中通过考虑参考对中的误差来增加空间变换矩阵的准确度。
方法400进行到416，该步骤包括相对于相邻图像确定水平平面和竖直平面中的偏移。可经由公式8计算水平平面中的偏移，并且可经由公式9 计算竖直平面中的偏移。
方法400进行到418，该步骤包括计算匹配值。该匹配值可基于水平平面和竖直平面中的偏移的组合。附加地或另选地，该匹配值可基于相邻图像之间的拼接边缘处像素强度的差值，其中拼接边缘对应于将合并的第一图像和第二图像的边缘或边界。
一旦确定匹配值，就可将匹配值与阈值匹配值进行比较，这与方法 300的312类似。如果匹配值大于阈值匹配值，则可将这两个图像结合在一起。当用户正在扫描且匹配值超过阈值匹配值时，可指示用户短暂停止探头的移动，使得这些图像可在其相应拼接边缘处合并在一起。然后可指示用户在合并之后继续致动探头。
转到图5，其示出了显示器502的实施方案500，该显示器向用户示出了当前探头位置504、书面指令506和可视指令508。当前探头位置504可基于来自耦合到探头的位置传感器的反馈，其中位置传感器可向超声设备的控制器提供反馈。基于由探头提供的位置和图像中的每一者，书面指令 506和可视指令508可指示用户调节探头位置以增加第一图像与第二图像之间的匹配值。如图所示，可视指令508包括箭头，其中箭头的量值和/或尺寸可指示所需的命令。第一箭头512平行于轴系统590的x轴，该x轴基本上类似于上述x平面和/或水平平面。第二箭头514平行于轴系统590的 y轴，该y轴基本上类似于上述y平面和/或竖直平面。第一箭头512大于第二箭头514，从而指示希望将探头更多地沿着水平平面且更少地沿竖直平面移动以增加匹配值。
现在转到图7，其示出了实施方案700，该实施方案示出了让用户沿着水平平面移置探头的指令的示例。如本领域普通技术人员已知的，超声设备的探头可在经由轴系统790示出的三维中扫描图像，该轴系统包括x 轴、y轴以及与x轴和y轴中的每一者垂直的z轴。可沿着x轴和y轴布置水平平面。可沿着y轴和z轴布置竖直平面。
经由方括号702示出探头的宽度。经由方括号704示出探头声波可穿透并采集图像的深度。第一图像710表示用户先前采集的图像。超声设备可接收该图像并且识别该图像内的参考点。在图7的示例中，第一图像710 包括九个参考点。
在第一图像710的采集之后，用户可选择长扫描模式或宽扫描模式。作为响应，超声设备可将第一图像710投射到显示设备(诸如图2的客户端设备230的显示器236)的第一半上。可在显示设备的第二半上显示希望在第一图像710之后采集的第二图像720。因此，在显示设备上并排地显示第一图像710和第二图像720以供用户易于将包括第一图像710和第二图像720中的每个图像的最终图像可视化。
在图7的示例中，指示用户沿着等于探头宽度三分之一的水平平面移动探头。因此，第二图像720可不再包括参考点1、2和3，如虚线框712 所示。由于探头在水平方向上的位移，获得新参考点10、11和12，如虚线框722所示。在图7的示例中，不指示用户调节探头沿着竖直平面的位移以便保持第一图像710和第二图像720之间基本上均匀的深度。
在第二图像720的采集之后，可计算匹配值。如果匹配值大于阈值匹配值，则可将第一图像710结合到第二图像720。在图7的示例中，将第一图像710拼接到第二图像720可在参考点7-9与参考点10-12之间的图像的边缘处进行。
可经由第三图像730上的虚线732示出第一图像710和第二图像720 可结合和/或拼接的示例性边缘。这样，可省略冗余信息。因此，第三图像 730包括第一图像710和第二图像720中的每个图像，其中这些图像彼此并排结合而不重叠。用户可选择继续对患者进行影像学检查，其中可将另外的图像添加到第三图像730以进一步增加图像的宽度。
现在转到图6，其示出了第一图像602和第二图像604沿着公共拼接边缘606合并的实施方案600。在一个示例中，拼接边缘606对应于包括第一图像和第二图像的合并的最终图像的中心轴线。如图所示，将第一图像和第二图像并排地拼接在一起而不重叠。这样，这些图像彼此接续，使得由这些图像中的每个图像可视化的解剖位置也是接续的。在一些示例中，如果第一图像和/或第二图像的部分是冗余的而使得重叠可发生，则可裁剪(例如，去除)这些部分。附加地或另选地，这些部分可用作另外一个参考点以进一步匹配第一图像和第二图像。
实施方案600还包括书面指令608和可视指令610。如图所示，书面指令608指示用户可结合这些图像并且停止探头的移动。可视指令610不再提供指示可能希望移动探头的方向的箭头。作为响应，可自动地结合和/或拼接这些图像。自动地结合和/或拼接这些图像可包括用户不提供更多输入的情况。因此，用户可不指示参考点或自动地结合这些图像。
这样，医学成像设备(诸如超声设备)被配置为合并参考点的两个图像。在一个示例中，从相对于患者身体的不同有利点采集这些图像。合并参考点的这两个图像的技术效果是提供参考点的单个组合图像以供以高准确度进行医学分析，以准确地诊断患者的病症。
将在批准后以多重依赖关系添加权利要求
如本文所用，以单数形式列举并且以单词“一”或“一个”开头的元件或步骤应当被理解为不排除多个所述元件或步骤，除非明确说明此类排除。此外，对本发明的“一个实施方案”的引用并不排除也包含所引用特征的附加实施方案的存在。此外，除非明确地相反说明，否则“包含”、“包括”或“具有”具有特定特性的元件或多个元件的实施方案可包括不具有该特性的其他此类元件。术语“包括”和“在...中”用作相应术语“包含”和“其中”的通俗语言等同物。此外，术语“第一”、“第二”和“第三”等仅用作标记，而不旨在对其对象施加数字要求或特定位置次序。
本文所公开的控制方法和例程可作为可执行指令存储在非暂态存储器中，并且可由控制系统(包括控制器与各种传感器、致动器和其他引擎硬件的组合)实施。本文所述的具体例程可表示任何数量的处理策略(诸如事件驱动、中断驱动、多任务、多线程等)中的一者或多者。因此，所示的各种动作、操作和/或功能可按所示的序列执行，并行执行，或在一些情况下省略。同样，处理的顺序不一定是实现本文所述示例性实施方案的特征和优点所必需的，而是为了便于说明和描述而提供。可根据所使用的特定策略来反复执行所示动作、操作和/或功能中的一者或多者。此外，所述动作、操作和/或功能可以以图形方式表示要编程到引擎控制系统中的计算机可读存储介质的非暂态存储器中的代码，其中通过在包括各种引擎硬件部件与电子控制器的组合的系统中执行指令来实施所述动作。
该书面描述使用示例来公开本发明，包括最佳模式，并且还使相关领域中的普通技术人员能够实践本发明，包括制造和使用任何设备或系统以及执行任何包含的方法。本发明可取得专利权的范围由权利要求限定，并且可包括本领域普通技术人员想到的其他示例。如果此类其它示例具有与权利要求的字面语言没有区别的结构元素，或者如果它们包括与权利要求的字面语言具有微小差别的等效结构元素，则此类其它示例旨在落人权利要求的范围内。

Claims (20)

1.一种方法，包括：
基于在第一解剖位置处先前采集的第一图像指示用户经由水平平面中的移动或竖直平面中的压力来导航超声探头，同时在第二不同解剖位置处采集第二图像；以及
自动地将所述第一图像和所述第二图像结合在一起。
2.根据权利要求1所述的方法，其中所述第一图像和所述第二图像从体积数据生成，并且其中自动地将所述第一图像和所述第二图像结合在一起是响应于所述图像的匹配值大于阈值匹配值。
3.根据权利要求2所述的方法，其中所述匹配值基于所述第一图像和所述第二图像沿着所述水平平面和所述竖直平面的偏移，其中所述匹配值随着所述偏移减小而增加。
4.根据权利要求1所述的方法，其中所述水平平面平行于患者的扫描表面。
5.根据权利要求1所述的方法，其中所述竖直平面垂直于患者的扫描表面。
6.根据权利要求1所述的方法，其中所述第一图像与所述第二图像接续。
7.根据权利要求1所述的方法，其中所述第一解剖位置和所述第二解剖位置接续。
8.一种系统，包括：
超声设备，所述超声设备包括探头和显示设备；和
控制器，所述控制器具有存储在其非暂态存储器上的计算机可读指令，所述计算机可读指令在被执行时使所述控制器能够执行以下操作：
在所述显示设备上显示第一图像；
在所述显示设备上显示与所述第一图像不同的第二图像；
识别所述第一图像与所述第二图像之间的共用参考点；
计算匹配值包括沿着所述第一图像和所述第二图像的边缘；以及
响应于所述匹配值大于阈值而沿着相应边缘拼接所述第一图像和所述第二图像。
9.根据权利要求8所述的系统，其中所述第一图像和所述第二图像不重叠。
10.根据权利要求8所述的系统，其中所述指令进一步使所述控制器能够在所述显示设备上显示所述探头相对于所述第一图像和所述第二图像的位置。
11.根据权利要求8所述的系统，其中所述指令进一步使所述控制器能够在所述显示设备上显示指令，其中所述指令被配置为如果所述匹配值不大于所述阈值，则指示用户沿着平行于患者身体的表面的水平平面和垂直于所述患者身体的所述表面的竖直平面致动所述探头以增加所述匹配值。
12.根据权利要求8所述的系统，其中所述指令进一步使所述控制器能够识别所述第一图像和所述第二图像中的参考点，其中所述参考点包括肌腱、骨骼、关节、器官、神经、血管、肿瘤和胎儿中的一者或多者。
13.根据权利要求12所述的系统，其中所述第一图像和所述第二图像共享至少一个参考点。
14.一种方法，包括：
在显示屏幕上显示经由超声探头采集的第一图像；
在所述显示屏幕上显示所述超声探头相对于所述第一图像的坐标系的位置；
向用户指示在采集第二图像时导航所述超声探头的第一平面中的方向；
向所述用户指示导航所述探头的与所述第一平面垂直的第二平面中的方向；
基于所述第一图像与所述第二图像之间在所述第一平面和所述第二平面中的偏移来计算并显示匹配值；以及
在所述第一图像和所述第二图像的边缘处并排地组合所述第一图像和所述第二图像。
15.根据权利要求14所述的方法，其中向所述用户指示在所述第一平面中导航所述超声探头的所述方向还包括箭头，所述方法还包括增加所述箭头的尺寸以增加希望所述超声探头移动的指示量，其中所述第一平面平行于扫描表面。
16.根据权利要求14所述的方法，其中向所述用户指示在所述第二平面中导航所述超声探头的所述方向还包括箭头，所述方法还包括减小所述箭头的尺寸以减小希望向所述超声探头施加的指示压力，其中所述第二平面垂直于所述第一平面，其中尺寸减小的量基于超声体积数据。
17.根据权利要求14所述的方法，还包括在组合所述第一图像和所述第二图像之前在所述显示屏幕上并排地显示所述第一图像和所述第二图像。
18.根据权利要求14所述的方法，还包括识别所述第一图像和所述第二图像中的每一者中的参考点。
19.根据权利要求14所述的方法，其中组合所述第一图像和所述第二图像是响应于匹配值大于阈值匹配值，其中基于所述第一平面和所述第二平面中的所述第一图像和所述第二图像之间的偏移来计算所述匹配值。
20.根据权利要求19所述的方法，其中所述匹配值进一步基于所述第一图像和所述第二图像的边缘处的像素强度的差值，其中所述匹配值随着所述差值增加而减小。
CN202010941046.9A 2019-09-10 2020-09-09 用于医学成像设备的方法和系统 Pending CN112545551A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/566,807 2019-09-10
US16/566,807 US20210068788A1 (en) 2019-09-10 2019-09-10 Methods and systems for a medical imaging device

Publications (1)

Publication Number Publication Date
CN112545551A true CN112545551A (zh) 2021-03-26

Family

ID=74850516

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010941046.9A Pending CN112545551A (zh) 2019-09-10 2020-09-09 用于医学成像设备的方法和系统

Country Status (2)

Country Link
US (1) US20210068788A1 (zh)
CN (1) CN112545551A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117797405A (zh) * 2023-12-29 2024-04-02 应脉医疗科技(上海)有限公司 一种肿瘤治疗场系统及其调控方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11165953B1 (en) 2020-12-17 2021-11-02 Gopro, Inc. Framing recommendations by image capture device
US20220409167A1 (en) * 2021-06-24 2022-12-29 Biosense Webster (Israel) Ltd. Visualization of 4d ultrasound maps

Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5568384A (en) * 1992-10-13 1996-10-22 Mayo Foundation For Medical Education And Research Biomedical imaging and analysis
US20060256397A1 (en) * 2005-05-12 2006-11-16 Lexmark International, Inc. Method and system for combining images
WO2008004150A2 (en) * 2006-06-30 2008-01-10 Nxp B.V. A method and device for video stitching
US20120063661A1 (en) * 2009-07-29 2012-03-15 Panasonic Corporation Ultrasonic diagnostic device
US20120176406A1 (en) * 2009-09-29 2012-07-12 Koninklijke Philips Electronics N.V. Generating composite medical images
CN102596054A (zh) * 2009-11-06 2012-07-18 皇家飞利浦电子股份有限公司 多平面成像中的定量结果
CN103582459A (zh) * 2012-04-11 2014-02-12 株式会社东芝 超声波诊断装置
CN103606139A (zh) * 2013-09-09 2014-02-26 上海大学 一种声纳图像拼接方法
CN104013424A (zh) * 2014-05-28 2014-09-03 华南理工大学 一种基于深度信息的超声宽景成像方法
CN104376563A (zh) * 2014-11-21 2015-02-25 深圳市理邦精密仪器股份有限公司 一种超声宽景成像的处理方法及装置
CN105025799A (zh) * 2012-12-18 2015-11-04 米轨公司 用于诊断超声机器的三维映射显示系统
CN105809619A (zh) * 2015-01-19 2016-07-27 株式会社理光 用于线性全景图像拼接的图像获取用户界面
US20160242743A1 (en) * 2014-01-24 2016-08-25 Olympus Corporation Ultrasound observation apparatus, method for operating ultrasound observation apparatus, and computer-readable recording medium
US20170055956A1 (en) * 2015-08-24 2017-03-02 Toshiba Medical Systems Corporation Ultrasound diagnostic apparatus
US20170148138A1 (en) * 2015-11-20 2017-05-25 Vivotek Inc. Image stitching method and camera system with an image stitching function
CN106780303A (zh) * 2016-12-02 2017-05-31 上海大学 一种基于局部配准的图像拼接方法
US20180018770A1 (en) * 2016-07-14 2018-01-18 Shanghai United Imaging Healthcare Co., Ltd. System and method for splicing images
CN108013899A (zh) * 2016-11-04 2018-05-11 通用电气公司 用于医学成像系统的方法和系统
US9973696B1 (en) * 2015-11-23 2018-05-15 Gopro, Inc. Apparatus and methods for image alignment
US10013763B1 (en) * 2015-09-28 2018-07-03 Amazon Technologies, Inc. Increasing field of view using multiple devices
US20180344286A1 (en) * 2017-06-01 2018-12-06 General Electric Company System and methods for at-home ultrasound imaging
CN109310397A (zh) * 2017-04-26 2019-02-05 深圳迈瑞生物医疗电子股份有限公司 超声成像设备、超声图像增强方法及引导穿刺显示方法

Patent Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5568384A (en) * 1992-10-13 1996-10-22 Mayo Foundation For Medical Education And Research Biomedical imaging and analysis
US20060256397A1 (en) * 2005-05-12 2006-11-16 Lexmark International, Inc. Method and system for combining images
WO2008004150A2 (en) * 2006-06-30 2008-01-10 Nxp B.V. A method and device for video stitching
US20120063661A1 (en) * 2009-07-29 2012-03-15 Panasonic Corporation Ultrasonic diagnostic device
CN102481138A (zh) * 2009-07-29 2012-05-30 松下电器产业株式会社 超声波诊断装置
US20120176406A1 (en) * 2009-09-29 2012-07-12 Koninklijke Philips Electronics N.V. Generating composite medical images
CN102596054A (zh) * 2009-11-06 2012-07-18 皇家飞利浦电子股份有限公司 多平面成像中的定量结果
CN103582459A (zh) * 2012-04-11 2014-02-12 株式会社东芝 超声波诊断装置
CN105025799A (zh) * 2012-12-18 2015-11-04 米轨公司 用于诊断超声机器的三维映射显示系统
CN103606139A (zh) * 2013-09-09 2014-02-26 上海大学 一种声纳图像拼接方法
US20160242743A1 (en) * 2014-01-24 2016-08-25 Olympus Corporation Ultrasound observation apparatus, method for operating ultrasound observation apparatus, and computer-readable recording medium
CN104013424A (zh) * 2014-05-28 2014-09-03 华南理工大学 一种基于深度信息的超声宽景成像方法
CN104376563A (zh) * 2014-11-21 2015-02-25 深圳市理邦精密仪器股份有限公司 一种超声宽景成像的处理方法及装置
CN105809619A (zh) * 2015-01-19 2016-07-27 株式会社理光 用于线性全景图像拼接的图像获取用户界面
US20170055956A1 (en) * 2015-08-24 2017-03-02 Toshiba Medical Systems Corporation Ultrasound diagnostic apparatus
US10013763B1 (en) * 2015-09-28 2018-07-03 Amazon Technologies, Inc. Increasing field of view using multiple devices
US20170148138A1 (en) * 2015-11-20 2017-05-25 Vivotek Inc. Image stitching method and camera system with an image stitching function
US9973696B1 (en) * 2015-11-23 2018-05-15 Gopro, Inc. Apparatus and methods for image alignment
US20180018770A1 (en) * 2016-07-14 2018-01-18 Shanghai United Imaging Healthcare Co., Ltd. System and method for splicing images
CN108013899A (zh) * 2016-11-04 2018-05-11 通用电气公司 用于医学成像系统的方法和系统
CN106780303A (zh) * 2016-12-02 2017-05-31 上海大学 一种基于局部配准的图像拼接方法
CN109310397A (zh) * 2017-04-26 2019-02-05 深圳迈瑞生物医疗电子股份有限公司 超声成像设备、超声图像增强方法及引导穿刺显示方法
US20180344286A1 (en) * 2017-06-01 2018-12-06 General Electric Company System and methods for at-home ultrasound imaging

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
徐弘祯, 李世超, 季宇寒等: "基于特征点匹配的全景相机图像拼接方法研究", 《农业机械学报》, 18 July 2019 (2019-07-18), pages 150 - 158 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117797405A (zh) * 2023-12-29 2024-04-02 应脉医疗科技(上海)有限公司 一种肿瘤治疗场系统及其调控方法
CN117797405B (zh) * 2023-12-29 2024-07-02 应脉医疗科技(上海)有限公司 一种肿瘤治疗场系统及其调控方法

Also Published As

Publication number Publication date
US20210068788A1 (en) 2021-03-11

Similar Documents

Publication Publication Date Title
US11911214B2 (en) System and methods for at home ultrasound imaging
JP7277967B2 (ja) 超音波画像データの三次元撮像およびモデリング
CN110870792B (zh) 用于超声导航的系统和方法
CN109069131B (zh) 用于乳腺组织成像的超声系统和方法
CN105407811B (zh) 用于超声图像的3d获取的方法和系统
JP6559917B2 (ja) 超音波システム並びに乳房組織の撮像及び乳房超音波画像のアノテーション方法
CN101449985B (zh) 根据3-d图像和表面标测的解剖建模
JP5784607B2 (ja) 超音波画像装置と三次元画像表示方法
CN112545551A (zh) 用于医学成像设备的方法和系统
JP6833533B2 (ja) 超音波診断装置および超音波診断支援プログラム
JP7362354B2 (ja) 情報処理装置、検査システム及び情報処理方法
CN112386278A (zh) 用于相机辅助超声扫描设置和控制的方法和系统
US12053326B2 (en) Apparatus and method for automatic ultrasound segmentation for visualization and measurement
KR20170084435A (ko) 초음파 영상 장치 및 그 제어 방법
JP5677399B2 (ja) 情報処理装置、情報処理システム、情報処理方法、及びプログラム
EP3826542B1 (en) Ultrasound system and method for guided shear wave elastography of anisotropic tissue
CN111292248B (zh) 超声融合成像方法及超声融合导航系统
JP7299100B2 (ja) 超音波診断装置及び超音波画像処理方法
CN117481685A (zh) 一种基于双摄像头联合的三维b型超声成像方法与装置
CN116650006A (zh) 用于自动超声检查的系统和方法
CN117157013A (zh) 用于超声成像的方法
CN116509543A (zh) 一种复合型手术导航装置、方法以及系统
CN118806323A (zh) 超声波影像系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination