CN113287158A - 用于远程医疗的方法和装置 - Google Patents

用于远程医疗的方法和装置 Download PDF

Info

Publication number
CN113287158A
CN113287158A CN202080008379.4A CN202080008379A CN113287158A CN 113287158 A CN113287158 A CN 113287158A CN 202080008379 A CN202080008379 A CN 202080008379A CN 113287158 A CN113287158 A CN 113287158A
Authority
CN
China
Prior art keywords
operator
ultrasound
processing device
ultrasound device
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080008379.4A
Other languages
English (en)
Inventor
马克西姆·扎斯拉夫斯基
马修·德扬
大卫·埃尔吉纳
帕特里克·坦普尔
贾森·昆塞
阿迪蒂亚·艾亚卡德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Butterfly Network Inc
Original Assignee
Butterfly Network Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Butterfly Network Inc filed Critical Butterfly Network Inc
Publication of CN113287158A publication Critical patent/CN113287158A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/17—Image acquisition using hand-held instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/465—Displaying means of special interest adapted to display user selection data, e.g. icons or menus
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/468—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means allowing annotation or message recording
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/469—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/54—Control of the diagnostic device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/56—Details of data transmission or power supply
    • A61B8/565—Details of data transmission or power supply involving data transmission via a network
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/58—Testing, adjusting or calibrating the diagnostic device
    • A61B8/582—Remote testing of the device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G09B23/286—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine for scanning or photography techniques, e.g. X-rays, ultrasonics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
    • G09B5/14—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations with provision for individual teacher-student communication
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Business, Economics & Management (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Multimedia (AREA)
  • Architecture (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Medicinal Chemistry (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)

Abstract

本文描述的技术的方面涉及用于远程医疗的操作者处理设备和指导者处理设备。该指导者处理设备可以被配置为接收从指令界面中对用于移动超声设备的指令的选择。该操作者处理设备可以被配置为确定该超声设备相对于该操作者处理设备的姿态。该指导者处理设备和该操作者处理设备可以被配置为基于该超声设备相对于该操作者处理设备的姿态并且基于所选择的指令，在操作者视频中显示用于移动该超声设备的方向指示符。该指导者处理设备还可以被配置为基于该超声设备相对于该操作者处理设备的姿态，在该指令界面和/或该操作者视频中显示取向指示符。

Description

用于远程医疗的方法和装置
相关申请的交叉引用
本申请根据35U.S.C.§119(e)要求2019年11月8日在代理人案卷号B1348.70128US01下提交的名称为“METHODS AND APPARATUSES FOR TELE-MEDICINE[用于远程医疗的方法和装置]”的美国临时申请序列号62/933,306的权益，该美国临时申请在此通过引用以其整体并入本文。
本申请根据35U.S.C.§119(e)还要求2019年1月7日在代理人案卷号B1348.70128US00下提交的名称为“METHODS AND APPARATUSES FOR TELE-MEDICINE[用于远程医疗的方法和装置]”的美国临时申请序列号62/789,394的权益，该美国临时申请在此通过引用以其整体并入本文。
技术领域
总体上，本文描述的技术的方面涉及超声数据收集。一些方面涉及使用远程医疗的超声数据收集。
背景技术
超声设备可以用于使用频率高于人类可听到的频率的声波执行诊断成像和/或治疗。超声成像可以用于查看身体内部软组织结构，例如以寻找疾病来源或排除任何病理。当超声脉冲被传送到组织中时(例如，通过使用探头)，声波被组织反射，其中不同的组织反射不同程度的声音。这些反射的声波然后可以被记录并作为超声图像显示给操作者。声音信号的强度(振幅)和波行进穿过身体所需的时间提供了用于产生超声图像的信息。使用超声设备可以形成许多不同类型的图像，包括实时图像。例如，可以生成示出组织的二维截面、血流、组织随时间的运动、血液的位置、特定分子的存在、组织的刚度或三维区域的解剖结构的图像。
附图说明
将参照以下示例性和非限制性附图来描述各个方面和实施例。应当认识到，这些附图不一定按比例绘制。出现在多个图中的项在它们出现的所有图中用相同或相似的附图标记表示。
图1展示了示例超声系统的示意性框图，在该超声系统上可以实践本文描述的技术的各个方面；
图2展示了根据本文描述的某些实施例的可以在操作者处理设备上显示的示例操作者图形用户界面(GUI)；
图3展示了根据本文描述的某些实施例的可以在指导者处理设备上显示的示例指导者GUI；
图4展示了根据本文描述的某些实施例的图3的指导者GUI的示例指令界面；
图5展示了根据本文描述的某些实施例的图3的指导者GUI的指令界面；
图6A和图6B展示了根据本文描述的某些实施例的超声设备的两个面的示例视图；
图7展示了根据本文描述的某些实施例的图3的指导者GUI的指令界面；
图8展示了根据本文描述的某些实施例的图3的指导者GUI的指令界面；
图9展示了根据本文描述的某些实施例的图3的指导者GUI的指令界面；
图10展示了根据本文描述的某些实施例的图3的指导者GUI的指令界面；
图11展示了根据本文描述的某些实施例的图3的指导者GUI的指令界面；
图12展示了根据本文描述的某些实施例的图3的指导者GUI的指令界面；
图13展示了根据本文描述的某些实施例的图3的指导者GUI的指令界面；
图14展示了根据本文描述的某些实施例的另一示例指令界面；
图15展示了根据本文描述的某些实施例的另一示例指令界面；
图16展示了根据本文描述的某些实施例的另一示例平移界面；
图17展示了根据本文描述的某些实施例的另一示例平移界面；
图18展示了根据本文描述的某些实施例的图17的平移界面的操作的示例；
图19展示了根据本文描述的某些实施例的另一示例平移界面；
图20展示了根据本文描述的某些实施例的图19的平移界面的操作的示例；
图21展示了根据本文描述的某些实施例的另一示例平移界面；
图22展示了根据本文描述的某些实施例的用于在操作者处理设备上显示用于移动超声设备的指令的示例过程。
图23展示了根据本文描述的某些实施例的操作者视频的示例；
图24展示了根据本文描述的某些实施例的操作者视频的示例；
图25展示了根据本文描述的某些实施例的操作者视频的示例；
图26展示了根据本文描述的某些实施例的用于显示用于平移超声设备的方向指示符的示例过程；
图27展示了根据本文描述的某些实施例的用于超声设备的示例坐标系；
图28展示了根据本文描述的某些实施例的用于在指导者处理设备上显示用于移动超声设备的指令的示例过程；
图29展示了根据本文描述的某些实施例的操作者视频的示例；
图30展示了根据本文描述的某些实施例的操作者视频的示例；
图31展示了根据本文描述的某些实施例的操作者视频的示例；
图32展示了根据本文描述的某些实施例的用于在指令界面中显示针对超声设备的取向指示符的示例过程；
图33展示了根据本文描述的某些实施例的用于在操作者视频中显示针对超声设备的取向指示符的示例过程；
图34展示了根据本文描述的某些实施例的图3的指导者GUI的示例；以及
图35展示了根据本文描述的某些实施例的图2的操作者GUI的示例。
具体实施方式
常规超声系统是大型、复杂且昂贵的系统，通常仅由拥有大量财务资源的大型医疗机构购买。最近，已经引入了更便宜且不那么复杂的超声设备。这样的成像设备可以包括单片集成到单个半导体管芯上以形成单片超声设备的超声换能器。在2017年1月25日提交(并转让给本申请的受让人)的名称为“UNIVERSAL ULTRASOUND DEVICE AND RELATEDAPPARATUS AND METHODS[通用超声设备以及相关装置和方法]”的美国专利申请号15/415,434中描述了这种片上超声设备的方面，该美国专利通过引用以其整体并入本文。这些新的超声设备的成本降低和便携性增加可以使它们比常规的超声设备更容易为大众所用。
发明人已经认识到并意识到，虽然超声设备的成本降低和便携性增加使它们更容易为大众所用，但是能够使用这种设备的人几乎没有或根本没有受过如何使用这种设备的培训。超声检查通常包括获取包含受试者的特定解剖结构(例如，器官)的视图的超声图像。获取这些超声图像通常需要相当的技巧。例如，操作超声设备的超声技术人员可能需要知道要成像的解剖结构在受试者上的位置，以及进一步如何正确地将超声设备定位在受试者上以捕获解剖结构的医学相关超声图像。将超声设备放在受试者上太高或太低几英寸可能会导致捕获医学相关超声图像与捕获医学无关超声图像之间的差异。结果，超声设备的非专家操作者在捕获受试者的医学相关超声图像时可能遇到相当大的困难。这些非专家操作者的常见错误包括捕获错误解剖结构的超声图像、捕获正确解剖结构的缩小(或截断)超声图像、以及未能执行对相关解剖结构的完整研究(例如，未能扫描特定协议的所有解剖区域)。
例如，不具有经过培训的超声技术人员的小诊所可能会购买超声设备来帮助诊断患者。在这个示例中，小诊所的护士可能熟悉超声技术和人体生理学，但可能既不知道需要对患者的哪些解剖视图进行成像以识别关于患者的医学相关信息，也不知道如何使用超声设备获得此类解剖视图。在另一个示例中，医生可能将超声设备发放给患者，以供在家中使用以监测患者的心脏。患者很可能既不了解人体生理学，也不了解如何利用超声设备对他或她自己的心脏进行成像。
因此，发明人开发了远程医疗技术，其中可能远离超声设备操作者的人类指导者可以指导操作者如何移动超声设备以收集超声图像。操作者可以利用处理设备(例如，智能电话或平板计算机)捕获超声设备和受试者的视频，并且除了由超声设备收集的超声图像之外，该视频可以传送给指导者查看和用于提供用于移动超声设备的指令。(此外，指导者可以向操作者的处理设备传送音频，并使操作者处理设备为超声设备配置成像设置和参数值。)然而，发明人已经认识到提供这样的指令可能很困难。例如，“向上”移动超声设备的口头指令可能是不明确的，因为可能不清楚“向上”是相对于操作者的视角、相对于受试者的解剖结构还是可能相对于超声设备本身。
因此，发明人开发了可以将方向指示符(例如，箭头)叠加在由操作者的处理设备收集的视频上的技术。然而，发明人已经认识到，即使当将方向指示符叠加在操作者环境的视频上时，这种方向指示符的含义仍然可能是不明确的。例如，当呈现叠加在视频上的二维箭头时，操作者可能无法清楚地理解如何在三维环境中遵循该指令。发明人因此认识到，在视频中显示诸如箭头等的指令以使得箭头相对于超声设备的位置和取向来显现可能是有帮助的。换言之，箭头可能出现在视频中，以作为超声设备的三维环境的一部分。这可能有助于指令更有用且含义更清晰。发明人还认识到，可能缺少诸如“向上”等口头指令，因为指导者可能希望操作者沿无法用如“向上”和“向下”等词来传达的方向移动超声设备。因此，发明人开发了可以为指导者提供广泛且灵活范围的指令选项的图形用户界面。图形用户界面可以包括在操作者环境视频中超声设备的取向的指示符，以帮助指导者选择指令。
应当理解的是，本文所描述的实施例可以以任何多种方式来实施。以下仅出于说明性目的提供了具体实施方式的示例。应当理解的是，所提供的这些实施例和特征/能力可以单独地、全部一起或以两个或更多个的任何组合的方式使用，因为本文所描述的技术的各方面并不限于此方面。
图1展示了示例超声系统100的示意性框图，在该超声系统上可以实践本文描述的技术的各个方面。超声系统100包括超声设备102、操作者处理设备104和指导者处理设备122。操作者处理设备104可以与超声设备102的操作者相关联，并且指导者处理设备122可以与向操作者提供用于移动超声设备102的指令的指导者相关联。操作者处理设备104和指导者处理设备122可以彼此远离。
超声设备102包括传感器106和超声电路系统120。操作者处理设备104包括相机116、显示屏108、处理器110、存储器112、输入设备114、传感器118和扬声器132。指导者处理设备122包括显示屏124、处理器126、存储器128和输入设备130。操作者处理设备104和超声设备102通过通信链路134进行通信，该通信链路可以是有线的(诸如闪电连接器或迷你USB连接器)和/或无线的(诸如使用蓝牙、ZIGBEE、和/或WiFi无线协议的链路)。操作者处理设备104和指导者处理设备122通过通信链路136进行通信，该通信链路可以是有线的(诸如闪电连接器或迷你USB连接器)和/或无线的(诸如使用蓝牙、ZIGBEE、和/或WiFi无线协议的链路)。
超声设备102可被配置为生成可以用于生成超声图像的超声数据。在一些实施例中，超声电路系统120包括传送器，该传送器将信号传送到传送波束形成器，该传送波束形成器进而驱动换能器阵列内的换能器元件以将脉冲超声信号发射到结构(诸如患者)中。脉冲超声信号可以从身体结构(诸如血细胞或肌肉组织)反向散射，以产生返回到换能器元件的回声。这些回声然后可以被换能器元件转换成电信号并且这些电信号被接收器接收。代表接收到的回声的电信号可以被发送到输出超声数据的接收波束形成器。换能器元件(其也可以是超声电路系统120的一部分)可以包括单片集成到单个半导体管芯上的一个或多个超声换能器。超声换能器可包括例如一个或多个电容式微机械超声换能器(CMUT)、一个或多个CMOS(互补金属氧化物半导体)超声换能器(CUT)、一个或多个压电式微机械超声换能器(PMUT)、和/或一个或多个其他合适的超声换能器单元。在一些实施例中，超声换能器可以与超声电路系统120中的其他电子部件(例如，传送电路系统、接收电路系统、控制电路系统、电源管理电路系统和处理电路系统)形成同一芯片以形成单片超声设备。超声设备102可以通过通信链路134将超声数据和/或超声图像传送到操作者处理设备104。
传感器106可以被配置为生成关于超声设备102的运动数据和/或取向数据。例如，传感器106可以被配置为生成关于超声设备102的加速度的数据、关于超声设备102的角速度的数据和/或关于作用在超声设备102上的磁力的数据(由于地球的磁场，其可以指示相对于地球的取向)。传感器106可以包括加速度计、陀螺仪和/或磁力计。取决于传感器106中存在的传感器，传感器106生成的运动数据和取向数据可以描述超声设备102的三个自由度、六个自由度或九个自由度。例如，传感器106可以包括加速度计、陀螺仪和/或磁力计。这些类型的传感器中的每一种都可以描述三个自由度。如果传感器106包括这些传感器之一，则传感器106可以描述三个自由度。如果传感器106包括这些传感器中的两种，则传感器106可以描述两个自由度。如果传感器106包括这些传感器中的三种，则传感器106可以描述九个自由度。超声设备102可以通过通信链路134将数据传送到操作者处理设备104。
现在参考操作者处理设备104，处理器110可以包括专门编程的和/或专用硬件，诸如专用集成电路(ASIC)。例如，处理器110可以包括一个或多个图形处理单元(GPU)和/或一个或多个张量处理单元(TPU)。TPU可以是专为机器学习(例如，深度学习)设计的ASIC。例如，TPU可以用于加速神经网络的推理阶段。操作者处理设备104可以被配置为处理从超声设备102接收到的超声数据以生成用于在显示屏108上显示的超声图像。处理可以由例如处理器110来执行。处理器110还可以适于控制用超声设备102来获取超声数据。在扫描会话期间，当接收到回声信号时，可以实时处理超声数据。在一些实施例中，所显示的超声图像可以以至少5Hz、至少10Hz、至少20Hz的速率、以5到60Hz之间的速率、以大于20Hz的速率被更新。例如，即使在基于先前获取的数据生成图像并且正在显示实时超声图像的同时，也可以获取超声数据。随着更多的超声数据被获取，从最近获取的超声数据生成的更多的帧或图像被依次显示。附加地或替代地，超声数据可以在扫描会话期间临时存储在缓冲器中并且以差于实时的方式被处理。
操作者处理设备104可以被配置为使用处理器110(例如，一个或多个计算机硬件处理器)以及包括非暂态计算机可读存储介质(诸如存储器112)的一个或多个制品来执行本文描述的某些过程。处理器110可以以任何合适的方式控制向存储器112写入数据和从存储器读取数据。为了执行本文描述的某些过程，处理器110可以执行存储在一个或多个非暂态计算机可读存储介质(例如，存储器112)中的一个或多个处理器可执行指令，该一个或多个非暂态计算机可读存储介质可以用作存储由处理器110执行的处理器可执行指令的非暂态计算机可读存储介质。相机116可以被配置为检测光(例如，可见光)以形成图像或视频。显示屏108可以被配置为显示图像和/或视频，并且可以是例如操作者处理设备104上的液晶显示器(LCD)、等离子显示器和/或有机发光二极管(OLED)显示器。输入设备114可以包括能够从操作者接收输入并将输入传送到处理器110的一个或多个设备。例如，输入设备114可以包括键盘、鼠标、麦克风、显示屏108上的支持触摸的传感器、和/或麦克风。传感器118可以被配置为生成关于操作者处理设备104的运动数据和/或取向数据。可以参考传感器106找到对传感器的进一步描述。扬声器132可以被配置为从操作者处理设备104输出音频。显示屏108、输入设备114、相机116、扬声器106和传感器118可以通信地耦合到处理器110和/或受处理器110的控制。
应当理解的是，操作者处理设备104可以以各种方式中的任一种方式来实施。例如，操作者处理设备104可以被实施为手持设备，诸如移动智能电话或平板计算机。从而，超声设备102的操作者能够用一只手操作超声设备102并用另一只手握住操作者处理设备104。或者，固持器可以将操作者处理设备104固持就位(例如，用夹具)。在其他示例中，操作者处理设备104可以被实施为不是手持设备的便携式设备，诸如膝上型计算机。在又其他示例中，操作者处理设备104可以被实施为静止设备，诸如台式计算机。
现在参考指导者处理设备122，可以分别参考显示屏108、处理器110、存储器112和输入设备114找到对显示屏124、处理器126、存储器128和输入设备130的进一步描述。应当理解的是，指导者处理设备122可以以各种方式中的任一种方式来实施。例如，指导者处理设备122可以被实施为手持设备(诸如移动智能电话或平板计算机)、不是手持设备的便携式设备(诸如膝上型计算机)、或静止设备(诸如台式计算机)。有关超声设备和系统的进一步描述，参见在2017年1月25日提交(并转让给本申请的受让人)的名称为“UNIVERSALULTRASOUND DEVICE AND RELATED APPARATUS AND METHODS[通用超声设备以及相关装置和方法]”的美国专利申请号15/415,434。图1应理解为是非限制性的。例如，超声设备102、操作者处理设备104和指导者处理设备122可以包括比所示的更少或更多的部件。
操作者图形用户界面和指导者图形用户界面
图2展示了根据本文描述的某些实施例的可以在操作者处理设备104上显示的示例操作者图形用户界面(GUI)200。操作者GUI 200包括超声图像202和操作者视频204。
超声图像202可以从由超声设备102收集的超声数据生成。在一些实施例中，超声设备102可以将原始声学数据或从原始声学数据生成的数据(例如，扫描线)传送到操作者处理设备104，并且操作者处理设备104可以生成超声图像202并将超声图像202传送到指导者处理设备122。在一些实施例中，超声设备102可以从原始声学数据生成超声图像202并将超声图像202传送到操作者处理设备104，并且操作者处理设备104可以将超声图像202传送到指导者处理设备122以供显示。在一些实施例中，随着超声设备102收集到更多超声数据，操作者处理设备104可以用从新超声数据生成的新超声图像202更新超声图像202。
操作者视频204描绘了被成像的受试者208(其中，受试者208可以与操作者是同一个)和超声设备102。在一些实施例中，操作者视频204可以由操作者处理设备104上的前置相机(例如，相机116)捕获。这样的实施例可能更合适于操作者与被成像的受试者208是同一个的情况。然而，在一些实施例中，操作者视频204可以由操作者处理设备104上的后置相机(例如，相机116)捕获。这样的实施例可能更合适于操作者与被成像的受试者208不是同一个的情况。在任一情况下，操作者或固持器(例如，具有用于将操作者处理设备104夹在适当位置的夹具的支架)可以固持操作者处理设备104，使得超声设备102和受试者208邻近超声设备102的部分在相机116的视野内。或者，在任一情况下，操作者处理设备104可以是诸如膝上型计算机等静止设备，并且受试者208和超声设备102可以被放置在操作者处理设备104的相机116的视野中。在一些实施例中，操作者处理设备104可以将操作者视频204传送到指导者处理设备122以供显示。
在一些实施例中，诸如图2的实施例，当操作者处理设备104使用前置相机(例如，相机116)捕获操作者视频204时，操作者处理设备104可以在将由前置相机(例如，相机116)捕获的操作者视频204显示为操作者GUI 200中的操作者视频204之前，水平翻转该视频。如上所讨论的，使用前置相机(例如，相机116)可能更合适于操作者也是被成像的受试者208的情况，因此在这样的实施例中，操作者可能正在操作者视频204中观看他/她自己的视频。水平翻转操作者视频204可以使操作者视频204看起来像操作者在镜子中的反射，这对于操作者观看他/她自己的视频可能是熟悉的方式。然而，如下文将进一步描述的，当在指导者处理设备122上显示时，操作者视频204可能不会被水平翻转。另外，当操作者处理设备104使用后置相机(例如，相机116)捕获操作者视频204时，操作者处理设备104可能不会水平翻转操作者视频204，因为这样的实施例可能更合适于操作者不是被成像的受试者208的情况，因此看起来像镜面反射的操作者视频204可能没有帮助。
图3展示了根据本文描述的某些实施例的可以在指导者处理设备122上显示的示例指导者GUI 300。指导者GUI 300包括超声图像202、操作者视频204和指令界面306。可以参考图4至图13找到对指令界面306的进一步描述。
如上所述，在一些实施例中，诸如图2和图3的实施例，当操作者处理设备104使用前置相机(例如，相机116)捕获操作者视频204时，操作者处理设备104可以在将由前置相机(例如，相机116)捕获的操作者视频204显示为操作者GUI 200中的操作者视频204之前，水平翻转该视频。然而，当在指导者GUI 300上显示时，操作者视频204可能不会被水平翻转。因此，操作者GUI 200中的操作者视频204和指导者GUI 300中的操作者204可以是彼此水平翻转的。
用于选择指令的图形用户界面
图4展示了根据本文描述的某些实施例的指导者GUI 300的示例指令界面306。图4中的指令界面306包括旋转选项410、倾斜选项414、移动选项412、绘制选项416和文本420。文本420指示指导者应该选择所显示的选项之一。响应于来自指导者的对旋转选项410的选择，指令界面306可以显示图5的旋转界面506。响应于来自指导者的对倾斜选项414的选择，指令界面306可以显示图8的倾斜界面806。响应于来自指导者的对移动选项412的选择，指令界面306可以显示图11的平移界面1006。响应于来自指导者的对绘制选项416的选择，指导者GUI 300可以允许在超声图像202和/或操作者视频204上进行绘制，如将参考图34至图35进一步描述的。在图4中，绘制选项416被突出显示。在一些实施例中，图4可以展示处于默认状态的指令界面306。在一些实施例中，代替选择旋转选项410、倾斜选项414或移动选项412来分别示出旋转界面506、倾斜界面806或平移界面1006，可以同时显示旋转界面506、倾斜界面806和平移界面1006。在一些实施例中，不是显示绘制选项416，而是只要没有选择旋转选项410、移动选项412或倾斜选项414中的任一个，就可以进入绘制状态(在该状态中，指导者GUI 300可以允许在超声图像202和/或操作者视频204上进行绘制)。
图5展示了根据本文描述的某些实施例的指导者GUI 300的指令界面306。在图5中，指令界面306显示旋转界面506。指令界面306可以响应于对旋转选项410的选择而显示旋转界面506。此外，响应于对旋转选项410的选择，旋转选项410可以被突出显示(例如，通过改变颜色)并且可以在旋转选项410中显示退出选项530，如图所示。响应于对退出选项530的选择，指令界面306可以显示指令界面306的默认状态(例如，图4中的状态)。
旋转界面506包括圆522、取向指示符524、顺时针旋转选项526和逆时针旋转选项528。取向指示符524可以指示超声设备102相对于操作者处理设备104的取向。特别地，取向指示符524围绕圆522的位置可以基于超声设备102上的标记692(在图6A和图6B中展示)相对于操作者处理设备104的姿态。
图6A和图6B展示了根据本文描述的某些实施例的超声设备102的两个面688和690的示例视图。超声设备102包括两个面688与690之间的标记692以及超声换能器阵列694。标记692可以用作对超声设备102的取向的指示。例如，如果从操作者的视角来看，超声换能器阵列694朝下并且标记692在超声设备102的左侧，则操作者可以知道是面688面向操作者。如果从操作者的视角来看，超声换能器阵列694朝下并且标记692在超声设备102的右侧，则操作者可以知道是面690面向操作者。
返回参考图5，一般而言，取向指示符524可以展示超声设备102的标记692相对于操作者视频204(换言之，相对于操作者处理设备104，并且更具体地，操作者处理设备104上的相机116)所指向的方向。取向指示符524可以二维地指示标记692的三维姿态。因此，当超声设备102上的标记692相对于操作者处理设备104的姿态由于超声设备102相对于操作者处理设备104的移动而改变时，取向指示符524围绕圆522的位置可以改变。作为示例，图7展示了根据本文描述的某些实施例的指导者GUI 300的指令界面306，其中指令界面306包括旋转界面506，其中取向指示符524位于围绕圆522的另一位置。可以参考图32找到对确定取向指示符524围绕圆522的位置的进一步描述。在图7中，顺时针旋转选项526和逆时针旋转选项528也与取向指示符524一起围绕圆522旋转，尽管在其他实施例中顺时针旋转选项526和逆时针旋转选项528即使在取向指示符524移动时也可以不移动。
在图5中，顺时针旋转选项526和逆时针旋转选项528是箭头。在一些实施例中，响应于在顺时针旋转选项526或逆时针旋转选项528上的悬停，旋转界面506可以以不同颜色显示该选项(即，箭头)。在一些实施例中，响应于对顺时针旋转选项526或逆时针旋转选项528的选择，旋转界面506可以以另一不同颜色显示该选项。此外，指导者处理设备122可以向操作者处理设备104输出与所选择的选项相对应的顺时针旋转或逆时针旋转指令。
图8展示了根据本文描述的某些实施例的指导者GUI 300的指令界面306。在图8中，指令界面306显示倾斜界面806。指令界面306可以响应于对倾斜选项414的选择而显示旋转界面806。此外，响应于对倾斜选项414的选择，倾斜选项414可以被突出显示(例如，通过改变颜色)并且可以在倾斜选项414中显示退出选项830，如图所示。响应于对退出选项830的选择，指令界面306可以显示指令界面306的默认状态(例如，图4中的状态)。倾斜界面806包括圆522、取向指示符524、倾斜选项826和倾斜选项828。在图8中，倾斜选项826和倾斜选项828是箭头。
如上所述，取向指示符524可以指示超声设备102相对于操作者处理设备104的取向，并且因此，当超声设备102上的标记692相对于操作者处理设备104的姿态由于超声设备102相对于操作者处理设备104的移动而改变时，取向指示符524围绕圆522的位置可以改变。作为示例，图9展示了根据本文描述的某些实施例的指导者GUI 300的指令界面306，其中指令界面306包括倾斜界面806，其中取向指示符524位于围绕圆522的另一位置。在图9中，倾斜选项826和倾斜选项828也与取向指示符524一起围绕圆522旋转。
取向指示符524围绕圆522的位置可以帮助指导者选择倾斜选项866或倾斜选项828，因为取向指示符524可以指示倾斜选项826和828中的每一个对应于超声设备102的哪个面。例如，在图8中，取向指示符524在圆522的右侧，并且如果超声设备102指向下方，则超声设备102的面690可以面向操作者并且超声设备102的面688可以背离操作者。因此，倾斜选项826可以对应于朝向受试者208倾斜超声设备102的面688的指令，并且倾斜选项828可以对应于朝向受试者208倾斜超声设备102的面690的指令。在一些实施例中，响应于在倾斜选项826或倾斜选项828上的悬停，倾斜界面806可以以不同颜色显示该选项(即，箭头)。在一些实施例中，响应于对倾斜选项826或倾斜选项828的选择，倾斜界面806可以以另一不同颜色显示该选项(即，箭头)。另外，指导者处理设备122可以向操作者处理设备104输出与所选择的选项相对应的朝向受试者208倾斜超声设备102的面688或朝向受试者208倾斜超声设备102的面690的指令。
图10展示了根据本文描述的某些实施例的指导者GUI 300的指令界面306。在图10中，指令界面306显示倾斜界面806B。倾斜界面806B与倾斜界面806相同，除了倾斜界面806B另外包括倾斜选项827和倾斜选项829之外。因此，倾斜选项826至829中的每一个对应于倾斜超声设备102的四个面之一的指令。
图11展示了根据本文描述的某些实施例的指导者GUI 300的指令界面306。在图11中，指令界面306显示平移界面1006。指令界面306可以响应于对移动选项412的选择而显示平移界面1006。此外，响应于对移动选项412的选择，移动选项412可以被突出显示(例如，通过改变颜色)并且可以在移动选项412中显示退出选项1030，如图所示。响应于对退出选项1030的选择，指令界面306可以显示指令界面306的默认状态(例如，图4中的状态)。
取向指示符524可以指示超声设备102相对于操作者处理设备104的取向。特别地，取向指示符524围绕圆522的位置可以基于超声设备102上的标记692相对于操作者处理设备104的姿态。通常，取向指示符524可以展示超声设备102的标记692相对于操作者视频204所指向的方向。取向指示符524可以二维地指示标记692的三维姿态。因此，当超声设备102上的标记692相对于操作者处理设备104的姿态由于超声设备102相对于操作者处理设备104的移动而改变时，取向指示符524围绕圆522的位置可以改变。作为示例，图12展示了根据本文描述的某些实施例的指导者GUI 300的指令界面306，其中指令界面306包括平移界面1006，其中取向指示符524位于围绕圆522的另一位置。可以参考图32找到对确定取向指示符524围绕圆522的位置的进一步描述。在图12中，箭头1026和光标1032也与取向指示符524一起围绕圆522旋转，尽管在其他实施例中箭头1026和光标1032即使在取向指示符524移动时也可以不移动。
在一些实施例中，响应于在光标1032上的悬停，箭头1026和光标1032即使在取向指示符524移动时也可以停止移动。在一些实施例中，响应于在光标1032上或附近开始的拖动移动(例如，拖动手指或触笔，或者按住鼠标按钮并移动鼠标)，光标1032和箭头1026可以基于拖动移动而围绕圆1034旋转。例如，响应于围绕圆1034顺时针移动的拖动移动，光标1032和箭头1026可以围绕圆1034顺时针旋转。在一些实施例中，响应于拖动移动的停止(例如，释放手指或释放鼠标按钮)，光标1032和箭头1026可以停止移动，并且平移界面1006可以以不同的颜色显示箭头1026。这可以对应于选择了箭头1026相对于圆1034的水平轴线的特定角度。指导者处理设备122可以向操作者处理设备104输出所选择的平移角度。
作为示例，图13展示了根据本文描述的某些实施例的指导者GUI300的指令界面306，其中指令界面306包括在光标1032和箭头1026响应于在光标1032上或附近开始的拖动移动而围绕圆1034(从它们在图12中的位置)旋转之后的平移界面1006。应该理解的是，光标1032和箭头1026从图12到图13的移动是由于在光标1032上或附近开始的拖动移动，而光标1032和箭头1026从图11到图12的移动是由于超声设备102相对于操作者处理设备104的移动。因此，取向指示符524(其也可以响应于超声设备102相对于操作者处理设备104的移动而移动)已经从图11移动到图12，而不是从图12移动到图13。
取向指示符524围绕圆522的位置可以帮助指导者从平移界面1006选择指令。例如，如果正在观看操作者视频204的指导者希望向操作者提供在超声设备102上的标记692所指向的方向上移动超声设备102的指令，则指导者可以旋转箭头1026以指向取向指示符524。如果正在观看操作者视频204的指导者希望向操作者提供在与超声设备102上的标记692所指向的方向相反的方向上移动超声设备102的指令，则指导者可以旋转箭头1026以背离取向指示符524指向。
图14展示了根据本文描述的某些实施例的另一示例指令界面1306。指令界面1306包括平移界面1336。平移界面1336是圆形的并且包括向上选项1338、向右选项1340、向下选项1342和向左选项1344。指令界面1306进一步包括逆时针选项1346、顺时针选项1348、倾斜选项1350、倾斜选项1352和取向指示符1354。
与取向指示符524一样，取向指示符1343指示超声设备102相对于操作者处理设备104的取向。特别地，取向指示符524围绕平移界面1336的圆的位置可以基于超声设备102上的标记692相对于操作者处理设备104的姿态。通常，取向指示符524可以展示超声设备102的标记692相对于操作者视频204所指向的方向。取向指示符524可以二维地指示标记692的三维姿态。因此，当超声设备102上的标记692相对于操作者处理设备104的姿态由于超声设备102相对于操作者处理设备104的移动而改变时，取向指示符524围绕平移界面1336的圆的位置可以改变。
在一些实施例中，响应于接收到对向右选项1340、向上选项1338、向左选项1344或向下选项1342的选择，指导者处理设备122可以向操作者处理设备104输出与所选择的选项相对应的平移角度(例如，分别为0度、90度、180度或270度)。在一些实施例中，响应于接收到对逆时针选项1346或顺时针选项1348的选择，指导者处理设备122可以向操作者处理设备104输出与所选择的选项相对应的逆时针旋转或顺时针旋转指令。在一些实施例中，响应于接收到对倾斜选项1350或倾斜选项1352的选择，指导者处理设备122可以向操作者处理设备104输出与所选择的选项相对应的朝向受试者208倾斜超声设备102的面688或690之一的指令。换言之，在一些实施例中，倾斜选项1350可以对应于朝向受试者208倾斜超声设备102的面688，并且倾斜选项1352可以对应于朝向受试者208倾斜超声设备102的面690，或反之亦然。然而，在一些实施例中，响应于对倾斜选项1350和1352之一的选择而输出的指令可以取决于取向指示符1354的位置。例如，如果取向指示符1354在平移界面1336的圆的右侧，则倾斜选项1350可以对应于朝向受试者208倾斜超声设备102的面690，并且倾斜选项1352可以对应于朝向受试者倾斜超声设备102的面688。如果取向指示符1354在平移界面1336的圆的左侧，则倾斜选项1350可以对应于朝向受试者208倾斜超声设备102的面688，并且倾斜选项1352可以对应于朝向受试者倾斜超声设备102的面690。
图15展示了根据本文描述的某些实施例的另一示例指令界面1406。指令界面1406与指令界面1306相同，除了指令界面1406包括停止选项1456之外。可以在从指令界面1306选择了选项之后显示指令界面1406。如下文将描述的，响应于从指令界面(诸如指令界面1306)接收到对选项的选择，操作者GUI 200和指导者GUI 300都可以显示方向指示符。在一些实施例中，响应于接收到从指令界面1406中对停止选项1456的选择，指导者GUI 300可以停止显示方向指示符。另外，在一些实施例中，指导者处理设备122可以向操作者处理设备104发出停止在操作者GUI 200上显示方向指示符的命令。
图16展示了根据本文描述的某些实施例的另一示例平移界面1536。平移界面1536包括向上指令选项1538、右上指令选项1558、向右指令选项1540、右下指令选项1560、向下指令选项1542、左下指令选项1562、向左指令选项1544、以及左上指令选项1564。取向指示符1354也可以以与图14中相同的方式显示。在一些实施例中，响应于接收到对向右选项1340、向上选项1338、右上指令选项1558、向上指令选项1538、左上指令选项1564、向左指令选项1544、左下指令选项1562、向下指令选项1542或右下指令选项1560的选择，指导者处理设备122可以向操作者处理设备104输出与所选择的选项相对应的平移角度(例如，0度、45度、90度、135度、180度、225度、270度或315度)。
图17展示了根据本文描述的某些实施例的另一示例平移界面1636。平移界面1636包括圆1666。取向指示符1354也可以以与图14中相同的方式显示。
图18展示了根据本文描述的某些实施例的平移界面1636的操作的示例。在图18中，操作者已经(例如，通过点击或触摸)选择了沿着圆1666的圆周的位置1768。在一些实施例中，位置1768可以由标记显示，而在其他实施例中，可以不显示标记。圆1666的中心1770也在图18中突出显示(但实际可能不被显示)。响应于接收到操作者对沿圆1666的圆周的位置的选择，指导者处理设备122可以向操作者处理设备104输出同圆1666的水平向右延伸半径1774与从圆1666的中心1770向沿着圆1666的圆周的所选位置1768延伸的线1776之间的角度1772相对应的平移角度。(半径1774和线1776可能不会显示。)
图19展示了根据本文描述的某些实施例的另一示例平移界面1836。平移界面1836包括外圆1878和内圆1880。操作者可以在外圆1878内拖动(例如，通过点击并按住鼠标上的按钮同时拖动鼠标，或者通过在触敏显示屏上触摸并拖动他/她的手指或触笔)内圆1880。
图20展示了根据本文描述的某些实施例的平移界面1836的操作的示例。在图20中，操作者已将内圆1880拖到外圆1878内的特定位置。外圆1878的中心1982和内圆1880的中心1984被突出显示(但实际上可能不被显示)。响应于接收到操作者对内圆1880在外圆1878内的特定位置的选择，指导者处理设备122可以向操作者处理设备104输出同外圆1878的水平向右延伸半径1974与从外圆1878的中心1982延伸到内圆1880的中心1984的线1986之间的角度1972相对应的平移角度。
图21展示了根据本文描述的某些实施例的另一示例平移界面2036。平移界面2036包括超声设备102的图像2002、向上选项2038、向右选项2040、向下选项2042和向左选项2044。在一些实施例中，响应于接收到对向右选项2040、向上选项2038、向左选项2044或向下选项2042的选择，指导者处理设备122可以向操作者处理设备104输出与所选择的选项相对应的平移角度(例如，分别为0度、90度、180度或270度)。在一些实施例中，超声设备102的图像可以以固定取向显示超声设备102。在一些实施例中，超声设备102的图像可以更新图像中超声设备102的取向以匹配实际超声设备102相对于操作者处理设备104的取向(其可以如下所述确定)。
在一些实施例中，平移界面2036除了显示对应于向上、向下、向右、向左的指令选项外，还可以显示对应于右上、右下、左下、左上的指令选项。在一些实施例中，平移界面2036还可以显示对应于旋转和倾斜的指令选项。在一些实施例中，指导者可以选择围绕超声设备102的图像的位置，并且指导者处理设备122可以发出与由所选择的位置相对于向右选项2040形成的角度(或使用任何零角度)等效的指令。在一些实施例中，指导者可以首先点击或触摸超声设备102的图像中超声设备102的端头，然后拖动(例如，通过按住鼠标上的按钮同时拖动鼠标，或通过在触敏显示屏上触摸并拖动他/她的手指)到所选择的位置。指导者处理设备122可以发出与由所选择的位置相对于向右选项2040形成的角度(或使用任何零角度)等效的指令。
姿态确定
超声设备102相对于操作者处理设备104的位置可以包括沿三个自由度的分量，即超声设备102沿水平、竖直和深度维度相对于操作者处理设备104的位置。在一些实施例中，确定超声设备102相对于操作者处理设备104的位置的水平和竖直分量可以包括对于给定的视频帧，确定视频帧中的像素的水平和竖直坐标，该像素对应于视频帧中超声设备102的特定部分的位置。在一些实施例中，超声设备102的特定部分可以是超声设备102的尾部。
在一些实施例中，操作者处理设备104可以使用被训练用于确定超声设备102相对于操作者处理设备104的位置的水平和竖直分量的统计模型。在一些实施例中，统计模型可以被训练为具有训练输入和输出数据的关键点定位模型。超声设备102的多个图像可以作为训练输入数据被输入到统计模型。作为训练输出数据，可以向统计模型输入与输入的图像大小相同的值阵列，其中图像中与超声设备102端头(即，超声设备102与传感器部分相反的端)的位置对应的像素被手动设置为值1，每隔一个像素的值为0。(虽然描述了1和0的值，但可以使用其他值代替。)基于该训练数据，统计模型可以学习基于输入的图像(例如，由操作者处理设备104捕获的、超声设备102的视频的帧)来输出与输入的图像大小相同的值阵列，其中阵列中的每个像素包含该像素是超声图像端头在输入的图像中所在位置的概率。操作者处理设备104然后可以预测具有最高概率的像素表示超声图像的端头的位置并输出该像素的水平和竖直坐标。
在一些实施例中，统计模型可以被训练成使用回归来确定超声设备102相对于操作者处理设备104的位置的水平和竖直分量。超声设备102的多个图像可以作为训练输入数据被输入到统计模型。作为训练输出数据，每个输入图像可以被人工标注两个数字，即图像中超声设备102端头的水平和竖直像素坐标。基于该训练数据，统计模型可以学习基于输入的图像(例如，由操作者处理设备104捕获的、超声设备102的视频的帧)来输出图像中超声设备102端头的水平和竖直像素坐标。
在一些实施例中，统计模型可以被训练成用于确定超声设备102相对于操作者处理设备104的位置的水平和竖直分量的分割模型。超声设备102的多个图像可以作为训练输入数据被输入到统计模型。作为训练输出数据，可以向统计模型输入分割掩码，其中分割掩码是与图像大小相等的值阵列，并且与图像中超声设备102内的位置相对应的像素被手动设置为1，并且其他像素被设置为0。(虽然描述了1和0的值，但可以使用其他值代替。)基于该训练数据，统计模型可以学习基于输入的图像(例如，由操作者处理设备104捕获的、超声设备102的视频的帧)来输出分割掩码，其中每个像素具有表示该像素对应于图像中超声设备102内的位置(更接近1的值)或超声设备102外的位置(更接近0的值)的概率的值。然后可以从该分割掩码中导出(例如，使用求平均或用于从多个值中导出单个值的一些其他方法)表示图像中超声设备102的单个位置的水平和竖直像素坐标。
在一些实施例中，确定超声设备102沿深度维度相对于操作者处理设备104的位置可以包括确定超声设备102的特定部分(例如，端头)距操作者处理设备104的距离。在一些实施例中，操作者处理设备104可以使用被训练用于确定超声设备102沿深度维度相对于操作者处理设备104的位置的统计模型(其可以与本文描述的任何统计模型相同或不同)。在一些实施例中，统计模型可以被训练成使用回归来确定超声设备102沿深度维度相对于操作者处理设备104的位置。超声设备102的多个图像可以作为训练输入数据被输入到统计模型。作为训练输出数据，每个输入图像可以被人工标注一个数字，即当图像被捕获时超声设备102的端头距操作者处理设备104的距离。在一些实施例中，可以使用深度相机来生成训练输出数据。例如，深度相机可以使用视差图或结构光相机。这样的相机可以被认为是立体相机，因为它们可以在操作者处理设备104上的不同位置使用同时捕获两个图像的两个相机，并且这两个图像之间的视差可以用来确定这两个图像中描绘的超声设备102的端头的深度。在一些实施例中，深度相机可以是飞行时间相机，其可以用于确定超声设备102的端头的深度。在一些实施例中，深度相机可以为整个视频帧生成绝对深度值，并且因为可以使用上述方法确定视频帧中超声探头端头的位置，所以可以确定超声探头端头与操作者处理设备104的距离。基于该训练数据，统计模型可以学习基于输入的图像(例如，由操作者处理设备104捕获的、超声设备102的视频的帧)来输出当图像被捕获时超声设备102的端头距操作者处理设备104的距离。在一些实施例中，操作者处理设备104可以使用深度相机来直接确定超声设备102的端头的深度(其方式与上面讨论的用于生成训练数据的方式相同)，而不使用专门训练用于确定深度的统计模型。在一些实施例中，操作者处理设备104可以假设预定深度作为超声设备102的端头相对于操作者处理设备104的深度。
在一些实施例中，使用相机内在参数(例如，焦距、偏斜系数和主点)，操作者处理设备104可以将超声设备102的端头的水平和竖直像素坐标转换成超声设备102的端头相对于操作者处理设备104(更准确地说，相对于操作者处理设备104的相机)的水平(x方向)和竖直(y方向)距离。在一些实施例中，操作者处理设备104可以使用超声设备102的端头距操作者处理设备104的距离(使用上述任何方法确定的)来将超声设备102的端头的水平和竖直像素坐标转换成超声设备102的端头相对于操作者处理设备104的水平(x方向)和竖直(y方向)距离。应当理解，虽然以上描述集中于使用超声设备102的端头来确定超声设备102的位置，但是可以替代地使用超声设备102上的任何特征。
在一些实施例中，可以使用超声设备102上的辅助标记基于由操作者处理设备104捕获的超声设备102的视频、使用姿态估计技术而不使用统计模型，来确定该特征相对于操作者处理设备104在水平、竖直和深度方向上的距离。例如，辅助标记可以是符合ArUco库的标记、色带或作为超声设备102本身的一部分的某个特征。
超声设备102相对于操作者处理设备104的取向可以包括三个自由度，即相对于操作者处理设备104的滚转角、俯仰角和偏航角。在一些实施例中，操作者处理设备104可以使用被训练用于确定超声设备102相对于操作者处理设备104的取向的统计模型(其可以与本文描述的任何统计模型相同或不同)。在一些实施例中，统计模型可以被训练成使用回归来确定超声设备102相对于操作者处理设备104的取向。超声设备102的多个图像可以作为训练输入数据被输入到统计模型。作为训练输出数据，每个输入图像可以被人工标注三个数字，即当图像被捕获时超声设备102相对于操作者处理设备104的滚转角、俯仰角和偏航角。在一些实施例中，可以使用来自超声设备102的传感器数据和来自操作者处理设备104的传感器数据来生成训练输出数据。来自超声设备102的传感器数据可以由超声设备102上的传感器(例如，传感器106)收集。来自操作者处理设备104的传感器数据可由操作者处理设备104上的传感器(例如，传感器118)收集。来自各个设备的传感器数据可以描述设备的加速度(例如，由加速度计测量)、设备的角速度(例如，由陀螺仪测量)和/或设备附近的磁场(例如，由磁力计测量)。使用传感器融合技术(例如，基于卡尔曼滤波器、互补滤波器和/或诸如Madgwick算法等算法)，该数据可以用于生成设备相对于由局部重力加速度的方向和局部磁场的方向定义的坐标系的滚转角、俯仰角和偏航角。如果每个设备的滚转角、俯仰角和偏航角都由旋转矩阵来描述，那么将操作者处理设备104的旋转矩阵乘以超声设备102的旋转矩阵的逆矩阵可以产生描述超声设备102相对于操作者处理设备104的取向(即滚转角、俯仰角和偏航角)的矩阵。基于该训练数据，统计模型可以学习基于输入的图像(例如，由操作者处理设备104捕获的、超声设备102的视频的帧)来输出当图像被捕获时超声设备102相对于操作者处理设备104的取向。这种方法将在下面被称为“统计模型方法”。
在一些实施例中，操作者处理设备104可以在任何给定时间使用来自超声设备102的传感器数据和来自处理的传感器数据来直接确定在该特定时间的取向，而不使用统计模型。换句话说，在给定时间，操作者处理设备104可以使用由超声设备102在该时间收集的传感器数据和由操作者处理设备104在该时间收集的传感器数据来确定在该时间超声设备102相对于操作者处理设备104的取向(例如，使用如上所述的传感器融合技术)。这种方法将在下面被称为“传感器方法”。
在一些实施例中，如果操作者处理设备104使用来自超声设备102和操作者处理设备104上的加速度计和陀螺仪而不是磁力计的数据来执行传感器方法，则操作者处理设备104可以准确地确定超声设备102和操作者处理设备104的取向，除了这些设备围绕重力方向的角度不能确定之外。不使用磁力计可能是有帮助的，因为这可以避免对传感器校准的需要，并且因为外部磁场可能会干扰超声设备和操作者处理设备104上的磁力计的测量。在一些实施例中，如果操作者处理设备104执行统计模型方法，则操作者处理设备104可以准确地确定超声设备102相对于操作者处理设备104的取向，除了统计模型方法可能无法准确地检测超声设备102围绕其长轴旋转(如从操作者处理设备104的参考系看到的)之外。这可能是由于超声设备102关于其长轴的对称性。在一些实施例中，操作者处理设备104可以执行统计模型方法和传感器方法两者，并且组合来自这两种方法的确定以补偿任一方法的弱点。例如，如上所述，使用传感器方法，当不使用磁力计时，操作者处理设备104可能无法准确地确定超声设备102和操作者处理设备104围绕重力方向的取向。由于最终可能需要确定超声设备102相对于操作者处理设备104的取向，因此可能仅需要确定超声设备102围绕重力方向的取向(如从操作者处理设备104的参考系看到的)。因此，在一些实施例中，操作者处理设备104可以使用传感器方法(仅使用加速度计和陀螺仪)来确定超声设备102相对于操作者处理设备104的取向，但确定超声设备102围绕重力方向的取向(如从操作者处理设备104的参考系看到的)除外，操作者处理设备104可以使用统计模型来确定超声设备围绕重力方向的取向。在这样的实施例中，不是使用被训练用于确定超声设备102相对于操作者处理设备104的完整取向的统计模型，而是可以专门训练统计模型以基于输入的图像来确定超声设备102围绕重力方向的取向(如从操作者处理设备104的参考系看到的)。通常，操作者处理设备104可以组合来自统计模型方法和传感器方法的确定以产生更准确的确定。
在一些实施例中，可以训练统计模型以在由操作者处理设备104捕获的、超声设备102的视频中确定超声设备102的三个不同特征的位置(例如，使用上述用于在图像中确定超声设备102的一部分(诸如端头)的位置的方法)，由此可以唯一地确定超声设备102的取向。
在一些实施例中，针对位置和取向的训练输出数据可以通过在由操作者处理设备捕获的超声设备102的图像(训练输入数据)中手动标记超声设备上的关键点来生成，然后诸如Solve PnP等算法可以基于这些关键点确定超声设备102相对于操作者处理设备104的位置和取向。可以基于该训练数据来训练统计模型，以基于由操作者处理设备捕获的、超声设备102的输入图像来输出超声设备102相对于操作者处理设备104的位置和取向。应当理解，确定超声设备102相对于操作者处理设备104的位置和/或取向可以包括确定任何位置分量和任何取向分量。例如，这可以包括确定位置的水平、竖直和深度维度中的仅一个或两个和/或确定滚转角、俯仰角和偏航角中的仅一个或两个。
显示指令
上面的描述已经描述了指导者可以如何从指令界面选择特定指令。如所描述的，指导者处理设备122可以向操作者处理设备104输出旋转指令、倾斜指令和平移指令。在一些实施例中，旋转指令可以是执行顺时针旋转的指令或逆时针旋转指令。在一些实施例，倾斜指令可以是朝向受试者208倾斜超声设备102的面688或朝向受试者208倾斜超声设备102的面690的指令。在一些实施例中，平移指令可以包括在对应于特定角度的方向上平移超声设备102的指令。
在一些实施例中，在从指令界面选择指令时，指导者处理设备122可以在指导者GUI(例如，指导者GUI 300)上的操作者视频204中显示与该指令相对应的方向指示符。此外，指导者处理设备122可以向操作者处理设备104传送指令，操作者处理设备然后可以在操作者GUI(例如，操作者GUI 200)上的操作者视频204中显示与该指令对应的方向指示符。方向指示符和操作者视频204(以及，如下文将讨论的，在一些实施例中，诸如取向环等取向指示符)的组合可以被认为是增强现实显示。方向指示符可以显示在操作者视频204中，使得方向指示符看起来是操作者视频204中真实世界环境的一部分。当显示对应于特定指令的方向指示符时，指导者处理设备122和操作者处理设备104可以显示一个或多个箭头，该一个或多个箭头基于上述姿态确定而在操作者视频204中定位和定向。在一些实施例中，指导者处理设备122可以从操作者处理设备104接收超声设备102相对于操作者处理设备104的姿态。可以参考图23至图25找到对显示方向指示符的进一步描述。
图22展示了根据本文描述的某些实施例的用于在操作者处理设备104上显示用于移动超声设备102的指令的示例过程2000B。过程2000B可以由操作者处理设备104执行。
在动作2002B中，操作者处理设备104确定超声设备102相对于操作者处理设备104的姿态。操作者处理设备104可以使用例如上述用于确定姿态的任何方法。过程2000B从动作2002B进行到动作2004B。
在动作2004B中，操作者处理设备104从指导者处理设备122接收用于移动超声设备102的指令。如上所述，指导者可以从指令界面选择用于移动超声设备102的指令，并且指导者处理设备122可以将该指令传送到操作者处理设备104。过程2000B从动作2002B进行到动作2004B。
在动作2006B中，操作者处理设备104基于超声设备102相对于操作者处理设备104的姿态(在动作2002B中确定的)并基于该指令(在动作2004B中接收的)，在操作者处理设备104上显示的操作者视频204中显示用于移动超声设备102的方向指示符。可以在下面找到对显示方向指示符的进一步描述。操作者视频204和方向指示符的组合可以构成增强现实显示。
图23展示了根据本文描述的某些实施例的操作者视频204的示例。操作者视频204可以显示在操作者GUI 200中。图23中的操作者视频204显示了超声设备102和方向指示符2101。方向指示符2101包括多个指向逆时针方向的箭头，这对应于逆时针旋转超声设备102的指令。方向指示符2101大致在超声设备102的尾部居中并且大致在与超声设备102的纵轴正交的平面内定向。为了以这种方式显示方向指示符2101，对于超声设备102相对于操作者处理设备104的特定默认姿态，方向指示符2101在三维空间中的默认位置和取向可以是已知的，使得方向指示符2101大致在超声设备102的尾部居中并且大致在与超声设备102的纵轴正交的平面内定向。然后，操作者处理设备104可以基于超声设备102相对于操作者处理设备104的当前姿态(如使用上述方法确定的)与默认姿态之间的差异，在三维空间中从默认位置和取向平移、旋转和/或倾斜方向指示符2101，然后将方向指示符2101的三维位置和取向投影到二维空间中以显示在操作者视频204中。
图24展示了根据本文描述的某些实施例的操作者视频204的示例。操作者视频204可以显示在操作者GUI 200中。图24中的操作者视频204显示了超声设备102和方向指示符2201。方向指示符2201包括指示超声设备102的面688的倾斜的箭头，这对应于倾斜超声设备102的面688的指令。方向指示符2201大致位于超声设备102的尾部，并且定向成在与超声设备102的纵轴平行的平面内大致沿着超声设备102的面688指向。为了以这种方式显示方向指示符2201，对于超声设备102相对于操作者处理设备104的特定默认姿态，方向指示符2201在三维空间中的默认位置和取向可以是已知的，使得方向指示符2201大致位于超声设备102的尾部并且定向成使得方向指示符2201在与超声设备102的纵轴平行的平面内大致沿着超声设备102的面688指向。然后，操作者处理设备104可以基于超声设备102相对于操作者处理设备104的当前姿态(如使用上述方法确定的)与默认姿态默认姿态之间的差异，在三维空间中从默认位置和取向平移、旋转和/或倾斜方向指示符2201，然后将方向指示符2201的三维位置和取向投影到二维空间中以显示在操作者视频204中。
图25展示了根据本文描述的某些实施例的操作者视频204的示例。操作者视频204可以显示在操作者GUI 200中。图25中的操作者视频204显示了超声设备102和方向指示符2301。方向指示符2301包括多个指向特定方向的箭头，这对应于在该方向上平移超声设备102的指令。图26更详细描述了如何显示方向指示符2301的示例。
图26展示了根据本文描述的某些实施例的用于显示用于平移超声设备102的方向指示符的示例过程2400。过程2400可以由操作者处理设备104或指导者处理设备122执行。为简单起见，以下描述将过程2400描述为由处理设备执行。图27展示了根据本文描述的某些实施例的用于超声设备102的示例坐标系。图27展示了坐标系的x轴、y轴和z轴、每个轴的正方向以及超声设备102的原点2509。返回参考图26，所有三维坐标都是首先给出x坐标、其次是y坐标、可选地再次是z坐标(其中，x、y和z坐标是指图27中的超声设备102相对于原点2509分别沿x、y和z轴的位置)。
在动作2402中，处理设备基于超声设备102相对操作者处理设备104的姿态确定三维空间中沿着超声设备102的轴线的两个点。超声设备102相对于操作者处理设备104的姿态可能已经使用上述方法确定。在一些实施例中，操作者处理设备104可以确定在(0,0,0)处的点P1，其中点P1在超声设备102的中心处，以及在(x,0,0)处的点P2，其中x是沿着超声设备102的x轴的任何正偏移量(例如，1)，并且其中，如图27所示，超声设备102的正x轴平行于从超声设备102的纵轴到标记692的线。过程2400从动作2402进行到动作2404。
在动作2404中，处理设备将三维空间中的这两个点投影成由操作者处理设备104捕获的操作者视频204中的两个二维点。在一些实施例中，处理设备可以通过使超声设备102相对于操作者处理设备104三维旋转来旋转P2(如使用上述用于确定姿态的方法所确定的)，其中P1是旋转原点。在一些实施例中，处理设备可以将旋转矩阵应用于P2，其中旋转矩阵描述了超声设备102相对于操作者处理设备104的旋转。在一些实施例中，处理设备可以使用相机内在参数(例如，焦距、偏斜系数和主点)执行投影。设P1的投影坐标为P1’(P1’x,P1’y)，并且P2的投影坐标为P2’(P2’x,P2’y)，其中第一个坐标沿操作者视频204的水平轴线并且第二坐标沿操作者视频204的竖直轴线。过程2400从动作2404进行到动作2406。
在动作2406中，处理设备计算由这两个点形成的线与操作者视频204的轴线(例如，水平轴线，但可以使用其他轴线代替)之间的角度。在一些实施例中，处理设备可以确定圆心为P1’并且P2’沿着圆的圆周的圆。换句话说，P1’与P2’之间的距离是圆的半径。处理设备可以确定点P3(P1’x+圆的半径,P1’y)。换句话说，P3在圆的圆周上，直接从操作者视频204中的P1’向右偏移。然后，处理设备可以计算P1’-P3’(即，在P1’与P3’之间延伸的线)与P1’-P2’(即，在P1’与P2’之间延伸的线)之间的角度。过程2400从动作2406进行到动作2408。
在动作2408中，处理设备从期望的指令角度中减去该角度(即，在动作2406中计算出的角度)以产生最终角度。所选择的指令角度可以是从本文描述的任何平移界面选择的角度。例如，如参考平移界面1006所描述的，在一些实施例中，响应于拖动移动的停止(例如，释放手指或释放鼠标按钮)，光标1032和箭头1026可以停止移动，并且平移界面1006可以以不同的颜色显示箭头1026。这可以对应于选择了箭头1026相对于圆1034的水平轴线(但是可以使用其他轴线代替)的角度。从所选择的指令角度中减去在动作2416中计算出的角度所得到的最终角度可以称为A。过程2400从动作2408进行到动作2410。
在动作2410中，处理设备基于超声设备相对于操作者处理设备的姿态确定三维空间中沿最终角度指向的箭头。在一些实施例中，处理设备可以确定在(0,0,0)(即超声设备102的原点)处开始并在(L cos A,0,L sin A)处结束的箭头，其中L是箭头的长度，并且A是在动作2408中计算出的最终角度。过程2400从动作2410进行到动作2412。
在动作2412中，处理设备将三维空间中的箭头(在动作2410中确定的)投影成操作者视频204中的二维箭头。在一些实施例中，处理设备可以通过描述超声设备102相对于操作者处理设备104的取向的旋转矩阵来旋转箭头，并且将三维箭头投影成操作者视频204中的二维箭头(例如，使用相机内在参数，如上面参考动作2404所描述的)。
图28展示了根据本文描述的某些实施例的用于在指导者处理设备122上显示用于移动超声设备102的指令的示例过程2500B。过程2500B可以由指导者处理设备124执行。
在动作2502B中，指导者处理设备122从操作者处理设备104接收超声设备102相对于操作者处理设备104的姿态。操作者处理设备104可以使用例如上述用于确定姿态的任何方法，并且将姿态传送给指导者处理设备122。过程2500B从动作2502B进行到动作2504B。
在动作2504B中，指导者处理设备122基于超声设备102相对于操作者处理设备104的姿态(在动作2502B中接收的)显示指示超声设备102相对于操作者处理设备104的姿态的第一取向指示符，其中第一取向指示符显示在指导者处理设备上的操作者视频204中。第一取向指示符可以是例如下面描述的取向环2607。指导者处理设备122还基于超声设备102相对于操作者处理设备104的姿态(在动作2502B中接收的)显示指示超声设备102相对于操作者处理设备104的姿态的第二取向指示符，其中第二取向指示符显示在指导者处理设备122上的指令界面中。第二取向指示符可以是例如取向指示符524或1354，并且指令界面可以是本文描述的任何指令界面。可以在下文找到对显示第一取向指示符和第二取向指示符的进一步描述。过程2500B从动作2504B进行到动作2506B。
在动作2506B中，指导者处理设备122接收从指令界面中对用于移动超声设备102的指令的选择。可以参考本文描述的任何指令界面找到对接收指令的进一步描述。过程2500B从动作2506B进行到动作2508B。
在动作2508B中，指导者处理设备122基于超声设备102相对于操作者处理设备104的姿态(在动作2502B中接收的)并基于指令(在动作2006B中接收的)，在操作者处理设备104上显示的操作者视频204中显示用于移动超声设备102的方向指示符。可以在下面找到对显示方向指示符的进一步描述。操作者视频204和方向指示符的组合可以构成增强现实显示。
在一些实施例中，指导者处理设备122可以仅执行动作2502B和2504B。例如，可能尚未选择指令。在一些实施例中，在动作2504B处，指导者处理设备122可以仅显示第一取向指示符，或仅显示第二取向指示符。在一些实施例中，指导者处理设备122可以不显示第一取向指示符或第二取向指示符(即，动作2504B可能不存在)。
图29展示了根据本文描述的某些实施例的操作者视频204和指令界面306的示例。操作者视频204和指令界面306可以显示在指导者GUI300中。操作者视频204可以显示在指导者GUI 300中。图29中的操作者视频204显示了超声设备102、方向指示符2601和取向环2607。方向指示符2601包括多个指向逆时针方向的箭头，这对应于逆时针旋转超声设备102的指令。方向指示符2601可以以与方向指示符2101相同的方式显示。
取向环2607是包括环2603和球2605的取向指示符。取向环2607通常可以在操作者视频204中指示超声设备102相对于操作者处理设备104的姿态，并且可以特别突出显示超声设备102上的标记692相对于操作者处理设备104的取向。环2603大致在超声设备102的尾部居中并且大致在与超声设备102的纵轴正交的平面内定向。球2605可以位于环2603上，使得从环2603到超声设备102上的标记692的线平行于超声设备102的纵轴。可以参考过程3000找到对显示取向环2607的进一步描述。取向环2607的形式是非限制性的并且可以使用对超声设备102相对于操作者处理设备104的姿态和/或标记692相对于操作者处理设备的姿态的其他指示符。
如从图29可以看到的，旋转界面506中取向指示符524围绕圆522的位置以及操作者视频204中球2605在环2603上的位置对应于操作者视频204中超声设备102的标记692的姿态(或者换言之，标记692相对于操作者处理设备104的相机的姿态)。(虽然标记692在图29中不可见，但指示了其位置。)此外，如从图29可以看到的，旋转界面506中所选择的逆时针选项528对应于逆时针指向的方向指示符2601。
图30展示了根据本文描述的某些实施例的操作者视频204和指令界面306的示例。操作者视频204和指令界面306可以显示在指导者GUI300中。图30中的操作者视频204显示了超声设备102、方向指示符2701和取向环2607。方向指示符2701包括指示超声设备102的面688的倾斜的箭头，这对应于倾斜超声设备102的面688的指令。方向指示符2701可以以与方向指示符2201相同的方式显示。如从图30可以看到的，倾斜界面806中取向指示符524围绕圆522的位置以及操作者视频204中球2605在环2603上的位置对应于操作者视频204中超声设备102的标记692的姿态(或者换言之，标记692相对于操作者处理设备104的相机的姿态)。(虽然标记692在图30中不可见，但指示了其位置。)此外，如从图30可以看到的，倾斜界面806中所选择的倾斜选项826对应于方向指示符2801指示应该倾斜的超声设备102的面688。
图31展示了根据本文描述的某些实施例的操作者视频204和指令界面306的示例。操作者视频204和指令界面306可以显示在指导者GUI300中。图31中的操作者视频204显示了超声设备102、方向指示符2801和取向环2607。方向指示符2801包括多个指向特定方向的箭头，这对应于在该方向上平移超声设备102的指令。方向指示符2801可以以与方向指示符2301相同的方式显示。如从图31可以看到的，平移界面1006中取向指示符524围绕圆522的位置以及操作者视频204中球2605在环2603上的位置对应于操作者视频204中超声设备102的标记692的姿态(或者换言之，标记692相对于操作者处理设备104的相机的姿态)。此外，如从图31可以看到的，平移界面1006中箭头1026的方向对应于方向指示符2801的方向。
在一些实施例中，可能不显示取向环2607。在一些实施例中，取向环2607也可以包括在操作者GUI 200中的操作者视频204中。在一些实施例中，当操作者已经从指令界面初步选择了指令、但还没有最终选择该指令时，可以在指导者GUI上显示预览方向指示符。预览方向指示符可能与基于最终选择而显示的方向指示符相同，但可能在某些特性(诸如颜色或透明度)上有所不同。可以显示预览方向指示符，直到操作者改变初步选择或做出最终选择为止。指导者处理设备122不会向操作者处理设备104输出指令，直到最终选择了该指令。
例如，在旋转界面506、倾斜界面806和平移界面1306、1406、1506和2036中，在一些实施例中，将手指或触笔触摸到选项但不从该选项向上抬起手指或触笔可以是初步选择，而向上抬起手指或触笔可以是最终选择。在一些实施例中，在将鼠标光标指向选项的同时按住鼠标按钮可以是初步选择，而释放鼠标按钮可以是最终选择。在平移界面1006中，在一些实施例中，用手指或触笔触摸和拖动光标532但不释放手指或触笔可以是初步选择，而从光标532抬起手指或触笔可以是最终选择。在一些实施例中，在将鼠标光标指向光标532的同时按住鼠标按钮可以是初步选择，而释放鼠标按钮可以是最终选择。在平移界面1636中，在一些实施例中，将手指或触笔触摸到沿圆1666的圆周的位置但不从选项向上抬起手指或触笔可以是初步选择，而向上抬起手指或触笔可以是最终选择。在一些实施例中，在将鼠标光标指向沿圆1666的圆周的位置的同时按住鼠标按钮可以是初步选择，而释放鼠标按钮可以是最终选择。在平移界面1836中，在一些实施例中，用手指或触笔触摸和拖动内圆1880但不释放手指或触笔可以是初步选择，而从内圆1880抬起手指或触笔可以是最终选择。在一些实施例中，用手指或触笔触摸和拖动内圆1880可以是初步选择，而将第二手指触摸到内圆1880可以是最终选择。在一些实施例中，在指向和拖动鼠标光标的同时按住鼠标按钮可以是初步选择，而释放鼠标按钮可以是最终选择。在一些实施例中，基于从平移界面1836的选择而生成为方向指示符的箭头的长度可以与从外圆1878的中心1982到内圆1880的中心1984的距离相等或成比例。在平移界面2036中，在指导者可以首先点击或触摸超声设备102的图像中超声设备102的端头、然后将手指或触笔拖动到选定位置的实施例中，拖动可以是初步选择，而从内圆1880抬起手指或触笔可以是最终选择。在一些实施例中，在指向和拖动鼠标光标的同时按住鼠标按钮可以是初步选择，而释放鼠标按钮可以是最终选择。指导者处理设备122可以发出与由所选择的位置相对于向右选项2040形成的角度(或使用任何零角度)等效的指令。在一些实施例中，基于从平移界面2036的选择而生成为方向指示符的箭头的长度可以与拖动距离相等或成比例。
如上所述，在一些实施例中，操作者GUI 200中显示的操作者视频204可以从指导者GUI 300中显示的操作者视频204水平翻转。当发生这种翻转时，当指导者处理设备122接收到对从指导者GUI 300中的操作者视频204的视角(例如)向左移动超声设备102的指令的选择时，指导者GUI 300上显示的对应方向指示符可以在指导者GUI 300中的操作者视频204中指向左侧，但在操作者GUI 200中的操作者视频204中指向右侧。类似地，从指导者GUI300中的操作者视频204的视角(例如)向右移动超声设备102的指令可以在指导者GUI 300中的操作者视频204中指向右侧，但在操作者GUI 200中的操作者视频204中指向左侧(以及类似地适用于向左或向右倾斜超声设备102的指令)。此外，从指导者GUI 300中的操作者视频204的视角逆时针旋转超声设备102的指令可以在指导者GUI 300中的操作者视频204中看起来是逆时针但在操作者GUI 200中的操作者视频204中看起来是顺时针，并且从指导者GUI 300中的操作者视频204的视角顺时针旋转超声设备102的指令可以在指导者GUI 300中的操作者视频204中看起来是顺时针但在操作者GUI 200中的操作者视频204中看起来是逆时针。通常，显示方向指示符可以包括水平翻转方向指示符。在一些实施例中，方向指示符可以是动画的。
在其中基于超声设备102相对于操作者处理设备104的取向来显示用于平移的方向指示符的一些实施例中，如果显示了用于平移的方向指示符并且然后超声设备102改变其相对于操作者处理设备104的取向，则方向指示符的绝对方向可以基于超声设备102相对于操作者处理设备104的取向的改变而改变。然而，在一些实施例中，在显示了方向指示符之后，显示方向指示符的处理设备可以冻结用户视频204中的方向指示符的显示，使得方向指示符的位置和取向不会随着超声设备102相对于操作者处理设备104的姿态的改变而改变。在一些实施例中，在显示了方向指示符之后，显示方向指示符的处理设备可以冻结方向指示符的显示，使得即使超声设备102相对于操作者处理设备104的取向改变，方向指示符的取向也不会改变，但是方向指示符的位置基于超声设备102相对于操作者处理设备104的位置的改变而改变。
显示取向指示符
如上所述，某些指令界面可以包括取向指示符(例如，取向指示符524和1354)，这些取向指示符大体上展示了超声设备102的标记692相对于操作者视频204所指向的方向。特别地，当超声设备102上的标记692相对于操作者处理设备104的姿态由于超声设备102相对于操作者处理设备104的移动而改变时，取向指示符围绕圆的位置可以改变。图32更详细描述了如何显示取向指示符的示例。
图32展示了根据本文描述的某些实施例的用于在指令界面中显示针对超声设备的取向指示符的示例过程2900。过程2900可以由操作者处理设备104或指导者处理设备122执行。为简单起见，以下描述将过程2900描述为由处理设备执行。所有三维坐标都是首先给出x坐标、其次是y坐标、可选地再次是z坐标(其中，x、y和z坐标是指图27中的超声设备102相对于原点2509分别沿x、y和z轴的位置)。
在动作2902中，处理设备基于超声设备102相对操作者处理设备104的姿态确定三维空间中沿着超声设备102的轴线的两个点。超声设备102相对于操作者处理设备104的姿态可能已经使用上述方法确定。在一些实施例中，操作者处理设备104可以确定在(0,0,0)处的点P1，其中点P1在超声设备102的中心处，以及在(x,0,0)处的点P2，其中x是沿着超声设备102的x轴的任何正偏移量(例如，1)，并且其中，如图27所示，超声设备102的正x轴平行于从超声设备102的纵轴到标记692的线。过程2900从动作2902进行到动作2904。
在动作2904中，处理设备将三维空间中的这两个点投影成由操作者处理设备104捕获的操作者视频204中的两个二维点。在一些实施例中，处理设备可以通过使超声设备102相对于操作者处理设备104三维旋转来旋转P2(如使用上述用于确定姿态的方法所确定的)，其中P1是旋转原点。在一些实施例中，处理设备可以将旋转矩阵应用于P2，其中旋转矩阵描述了超声设备102相对于操作者处理设备104的取向。在一些实施例中，处理设备可以使用相机内在参数(例如，焦距、偏斜系数和主点)执行投影。设P1的投影坐标为P1’(P1’x,P1’y)，并且P2的投影坐标为P2’(P2’x,P2’y)，其中第一个坐标沿操作者视频204的水平轴线并且第二坐标沿操作者视频204的竖直轴线。过程2900从动作2904进行到动作2906。
在动作2906中，处理设备以相对于显示屏的水平轴线(但是可以使用其他轴线代替)的角度显示取向指示符，该角度等于由这两个二维点形成的线与操作者视频204的水平轴线(但是可以使用其他轴线代替)之间的角度。在一些实施例中，处理设备可以确定圆心为P1’并且P2’沿着圆的圆周的圆。换句话说，P1’与P2’之间的距离是圆的半径。处理设备可以确定点P3(P1’x+圆的半径,P1’y)。换句话说，P3在圆的圆周上，直接从操作者视频204中的P1’向右偏移。然后，处理设备可以计算P1’-P3’(即，在P1’与P3’之间延伸的线)与P1’-P2’(即，在P1’与P2’之间延伸的线)之间的角度。该角度可以称为A。处理设备可以围绕指令界面中的圆(例如，旋转界面506、倾斜界面806或平移界面1006的圆)显示取向指示符，使得穿过圆的水平线(但是可以使用其他方向代替)与在圆的圆心同取向指示符之间延伸的线之间的角度为A。
如上所述，在一些实施例中，指导者GUI 300可以显示包括环(例如，环2603)和球(例如，球2605)的取向指示符(例如，取向环2607)。取向环2607通常可以在操作者视频204中指示超声设备102相对于操作者处理设备104的姿态，并且突出显示超声设备102上的标记692的取向。环2603可以大致在超声设备102的尾部居中并且大致在与超声设备102的纵轴正交的平面内定向。球2605可以位于环2603上，使得从环2603到超声设备102上的标记692的线平行于超声设备102的纵轴。图33描述了如何显示此取向指示符的示例。
图33展示了根据本文描述的某些实施例的用于在操作者视频中显示针对超声设备的取向指示符的示例过程3000。过程3000可由操作者处理设备104或指导者处理设备122执行。为简单起见，以下描述将过程3000描述为由处理设备执行。
在动作3002中，处理设备针对超声设备102相对于操作者处理设备104的特定默认姿态确定三维空间中取向指示符的默认位置和取向。在取向指示符的这个默认位置和取向中，环可以大致在超声设备102的尾部居中并且大致在与超声设备102的纵轴正交的平面内定向，并且球可以位于环上，使得从环到超声设备102上的标记692的线平行于超声设备102的纵轴。过程3000从动作3002进行到动作3004。
在动作3004中，处理设备基于超声设备102相对于操作者处理设备104的当前姿态(如使用上述方法确定的)与默认姿态之间的差异，根据默认位置和取向确定取向指示符在三维空间中的位置和取向。过程3000从动作3004进行到动作3006。
在动作3006中，处理设备将取向指示符从其三维位置和取向投影到二维空间中以在操作者视频204中显示。为了执行该投影，处理设备可以使用相机内在参数(例如，焦距、偏斜系数和主点)。
其他特征
返回参考图4，响应于来自指导者的对绘制选项416的选择，指导者GUI 300可以允许在超声图像202和/或操作者视频204上进行绘制。图34展示了根据本文描述的某些实施例的指导者GUI 300的示例。图34中的指导者GUI 300与图3中的指导者GUI 300相同，除了图34中的指导者GUI 300包括绘制3196、图标3198和绘制3199之外。绘制3196和图标3198在操作者视频204上，而绘制3199在超声图像202上。在一些实施例中，响应于指导者对操作者视频204或超声图像202的位置的选择(例如，通过将手指或触笔触摸到屏幕或通过点击鼠标按钮)，可以出现图标3198。随着指导者继续拖动(例如，通过拖动手指、触笔或在按住鼠标按钮的同时拖动鼠标)，图标3198可以对应于拖动移动而移动并跟踪绘制。图34展示了通过拖动图标3198而在操作者视频204上创建的绘制3196，以及先前在超声图像上创建的绘制3199。指导者处理设备122可以向操作者处理设备104输出关于这样的绘制的信息以显示在操作者GUI 20上。
图35展示了根据本文描述的某些实施例的操作者GUI 200的示例。图35中的操作者GUI 200与图2中的操作者GUI 200相同，除了图35中的操作者GUI 200包括绘制3196和绘制3198之外。操作者处理设备104可以响应于从指导者处理设备122接收到关于这些绘制的信息而显示绘制3196和绘制3198。这样的绘制可以将信息从指导者传达给操作者。例如，绘制3196可以指示操作者将超声设备102移动到受试者208上由操作者视频204中的绘制3196突出显示的位置。绘制3198可以为操作者突出显示超声图像202的特征。
返回参考图2，操作者GUI 200进一步包括冻结选项240、记录选项242、预设选项244、模式选项246、操作者指示符232、检查卷轴按钮247、信息栏248、挂断选项276、静音选项277和更多选项按钮275。在一些实施例中，响应于接收到对冻结选项240的选择，操作者处理设备104可以不更新当前显示在操作者GUI 200上的超声图像202并且不向指导者处理设备122传送基于由超声设备102收集的新超声数据的新超声图像。在一些实施例中，响应于接收到对记录选项242的选择，操作者处理设备104可以在从由超声设备102收集的超声数据生成超声图像时将超声图像保存到存储器中。在一些实施例中，响应于接收到对预设选项244的选择，操作者处理设备104可以显示预设(例如，心脏、腹部等)菜单。在一些实施例中，响应于接收到从预设菜单中对预设的选择，操作者处理设备104可以针对所选择的预设来配置超声设备102的成像参数值。在一些实施例中，响应于接收到对模式选项246的选择，操作者处理设备104可以显示模式(例如，B模式、M模式、彩色多普勒等)菜单。在一些实施例中，响应于接收到从模式菜单中对模式的选择，操作者处理设备104可以将超声设备102配置为在所选择的模式下操作。
在一些实施例中，操作者指示符232可以包括超声设备102的操作者的指示符(例如，姓名缩写或图像)。在一些实施例中，响应于接收到对检查卷轴按钮247的选择，操作者GUI 200可以显示用于与会话期间捕获的超声数据交互的界面。检查卷轴按钮247可以示出会话期间保存的超声数据集的数量。在一些实施例中，信息栏248可以显示与时间、日期、无线网络连接和电池充电状态相关的信息。在一些实施例中，响应于接收到对挂断选项276的选择，操作者处理设备104可以终止其与指导者处理设备122的通信。在一些实施例中，响应于接收到对静音选项277的选择，操作者处理设备104可以不向指导者处理设备122传送音频。在一些实施例中，响应于接收到对更多选项按钮275的选择，操作者GUI 200可以示出更多选项(或显示具有更多选项的新GUI)。在一些实施例中，指导者视频212可以描绘指导者。指导者视频212可以由指导者处理设备122上的前置相机捕获。操作者处理设备104可以从指导者处理设备122接收指导者视频212。在一些实施例中，操作者GUI 200可以显示指导者指示符(例如，姓名缩写或图像)而不是显示指导者视频212。
返回参考图3，指导者GUI 300进一步包括指导者视频212、冻结选项340、记录选项342、预设选项344、模式选项346、增益和深度选项349、指导者指示符332、检查卷轴按钮247、信息栏248、挂断选项376、静音选项377、视频开关选项336、音量按钮334和更多选项按钮275。
在一些实施例中，响应于接收到对冻结选项340的选择，指导者处理设备122可以向操作者处理设备104发出命令，以不更新当前显示在操作者GUI 200上的超声图像202并且不向指导者处理设备122传送基于由超声设备102收集的新超声数据的新超声图像。在一些实施例中，响应于接收到对记录选项342的选择，指导者处理设备122可以向操作者处理设备104发出命令，以在从由超声设备102收集的超声数据生成超声图像或一组超声图像(例如，电影)时将该超声图像或一组超声图像保存到存储器中。在一些实施例中，响应于接收到对预设选项344的选择，指导者处理设备122可以显示预设(例如，心脏、腹部等)菜单。在一些实施例中，响应于接收到从预设菜单中对预设的选择，指导者处理设备122可以向操作者处理设备104发出命令，以针对所选择的预设来配置超声设备102的成像参数值。在一些实施例中，响应于接收到对模式选项346的选择，指导者处理设备122可以显示模式(例如，B模式、M模式、彩色多普勒等)菜单。在一些实施例中，响应于接收到从模式菜单中对模式的选择，指导者处理设备122可以向操作者处理设备104发出命令，以将超声设备102配置为在所选择的模式下操作。在一些实施例中，响应于接收到对增益和深度选项349的选择，指导者处理设备122可以显示用于输入增益或深度的界面(例如，菜单或数字键盘)。在一些实施例中，响应于接收增益或深度的输入，指导者处理设备122可以向操作者处理设备104发出命令，以使用该增益或深度在操作者GUI 200上显示后续超声图像202。在一些实施例中，指导者处理设备122可以直接使用所选择的增益来显示后续超声图像202，而在其他实施例中，从操作者处理设备104接收的后续超声图像202可以已经使用了所选择的增益。因此，指导者可以通过指导者GUI 300来控制超声设备102。
在一些实施例中，指导者指示符332可以包括指导者的指示符(例如，姓名缩写或图像)。在一些实施例中，响应于接收到对静音选项377的选择，指导者处理设备122可以不向操作者处理设备104传送音频。在一些实施例中，响应于接收到对音量选项334的选择，指导者处理设备122可以修改从其扬声器输出的音频的音量。在一些实施例中，响应于接收到对视频关闭选项336的选择，指导者处理设备122可以停止将视频从其相机传送到操作者处理设备104。在一些实施例中，响应于接收到对挂断选项376的选择，指导者处理设备122可以终止其与操作者处理设备104的通信。在一些实施例中，响应于接收到对检查卷轴按钮247的选择，指导者GUI 300可以显示用于与会话期间捕获的超声数据交互的界面。
根据本披露的一方面，提供了一种方法，该方法包括：确定超声设备相对于操作者处理设备的姿态；从指导者处理设备接收用于移动该超声设备的指令；以及基于该超声设备相对于该操作者处理设备的姿态并基于该指令，在该操作者处理设备上显示的操作者视频中显示用于移动该超声设备的方向指示符。
在一个实施例中，该操作者视频描绘该超声设备。
在一个实施例中，该操作者视频中显示的该方向指示符包括增强现实显示。
在一个实施例中，该方向指示符显示在该操作者视频中，使得该方向指示符看起来是该操作者视频中真实世界环境的一部分。
在一个实施例中，该操作者视频由该操作者处理设备的相机捕获。
在一个实施例中，该指令包括用于旋转、倾斜或平移该超声设备的指令。
根据本披露的另一方面，提供了一种方法，该方法包括：接收超声设备相对于操作者处理设备的姿态；以及基于该超声设备相对于该操作者处理设备的姿态，在指导者处理设备上显示的操作者视频中显示取向指示符，该取向指示符指示该超声设备相对于该操作者处理设备的姿态。
在一个实施例中，该操作者视频描绘该超声设备。
在一个实施例中，该操作者视频中显示的该方向指示符包括增强现实显示。
在一个实施例中，该方向指示符显示在该操作者视频中，使得该方向指示符看起来是该操作者视频中真实世界环境的一部分。
在一个实施例中，该操作者视频由该操作者处理设备的相机捕获。
在一个实施例中，该取向指示符指示该超声设备上的标记相对于该操作者处理设备的取向。
根据本披露的另一方面，提供了一种方法，该方法包括：接收超声设备相对于操作者处理设备的姿态；以及基于该超声设备相对于该操作者处理设备的姿态，在该指导者处理设备上显示的指令界面中显示显示取向指示符，该取向指示符指示该超声设备相对于该操作者处理设备的姿态。
在一个实施例中，该取向指示符展示了该超声设备上的标记相对于该操作者处理设备所指向的方向。
在一个实施例中，该取向指示符二维地展示了该超声设备上的标记的三维姿态。
根据本披露的另一方面，提供了一种方法，该方法包括：接收超声设备相对于操作者处理设备的姿态；接收从指令界面中对用于移动该超声设备的指令的选择；以及基于该超声设备相对于该操作者处理设备的姿态并基于该指令，在该指导者处理设备上显示的操作者视频中显示用于移动该超声设备的方向指示符。
在一个实施例中，该操作者视频描绘该超声设备。
在一个实施例中，该操作者视频中显示的该方向指示符包括增强现实显示。
在一个实施例中，该方向指示符显示在该操作者视频中，使得该方向指示符看起来是该操作者视频中真实世界环境的一部分。
在一个实施例中，该操作者视频由该操作者处理设备的相机捕获。
在一个实施例中，该指令包括用于旋转、倾斜或平移该超声设备的指令。
根据本披露的另一方面，提供了一种方法，该方法包括在指导者处理设备上显示用于选择用于平移超声设备的指令的指令界面，该指令界面包括可旋转箭头。
在一个实施例中，该方法进一步包括基于该可旋转箭头的角度，从该指导者处理设备接收从该指令界面中对用于平移该超声设备的指令的选择。
在一个实施例中，该指令界面包括指示该超声设备相对于操作者处理设备的姿态的取向指示符。
在一个实施例中，该取向指示符展示了该超声设备上的标记相对于该操作者处理设备所指向的方向。
在一个实施例中，该取向指示符二维地展示了该超声设备上的标记的三维姿态。
本披露的各个方面可以单独地、组合地、或以先前所述实施例中未具体讨论的各种布置来使用，并且因此其应用不限于先前描述中阐述或附图中所展示的部件的细节和安排。例如，一个实施例中描述的各方面可以以任何方式与其他实施例中描述的各方面组合。
除非明确指出相反，否则如本文在本说明书和权利要求中使用的不定冠词“一种”和“一种”应理解成意指“至少一个”。
如在此在本说明书和权利要求中使用的短语“和/或”应理解成意指如此联合的这些元素中的“任一者或两者”，即在一些情况下相结合地出现并且在其他情况下分开出现的元素。用“和/或”列出的多个元素应以相同的方式理解，即如此联合的元素中的“一个或多个”。除了通过“和/或”从句具体指明的元素之外，还可以任选地存在其他元素，而无论是与具体指出的那些元素相关还是不相关。
如本文在本说明书和权利要求中所使用的，短语“至少一个”在提及一个或多个元素的列表的情况下，应被理解为意指选自元素列表中任何一个或多个元素的至少一个元素，但不一定包括在该元素列表内具体列出的每个元素中的至少一个，并且不排除元素列表中的元素的任何组合。这个定义还允许除了该元素列表内具体指明的元素之外可以任选地存在短语“至少一个”所指代的元素，而无论与具体指出的那些元素相关还是不相关。
在权利要求书中使用诸如“第一”、“第二”、“第三”等顺序术语来修改权利要求元素本身并不意味着一个权利要求元素的任何优先权、优先级、或顺序优于另一个权利要求元素或者方法的动作被执行的时间顺序，而是仅用作用于将具有某个名称的一个权利要求元素与具有相同名称(但使用顺序术语)的另一元素进行区分的标签，从而区分这些权利要求元素。
术语“大约”和“约”可以用于意味着在一些实施例中在目标值的±20％之内，在一些实施例中在目标值的±10％之内，在一些实施例中在目标值的±5％之内，并且在一些实施例中还在目标值的±2％之内。术语“大致”和“约”可以包括目标值。
同样，本文所使用的短语和术语是为了描述的目的，而不应视为限制。“包括(including)”、“包括(comprising)”或“具有(having)”、“包含(containing)”、“涉及(involving)”及其变化在本文的使用意味着包括此后所列各项和其等效物以及附加项。
以上已经描述了至少一个实施例的若干方面，应当理解的是，本领域技术人员将容易想到各种更改、修改和改进。此类更改、修改和改进也旨在成为本披露的目标。因此，上述描述和附图仅作为示例。

Claims (26)

1.一种装置，包括：
操作者处理设备，被配置为：
确定超声设备相对于该操作者处理设备的姿态；
从指导者处理设备接收用于移动该超声设备的指令；并且
基于该超声设备相对于该操作者处理设备的姿态并基于该指令，在该操作者处理设备上显示的操作者视频中显示用于移动该超声设备的方向指示符。
2.如权利要求1所述的装置，其中，该操作者视频描绘该超声设备。
3.如权利要求1所述的装置，其中，该操作者视频中显示的该方向指示符包括增强现实显示。
4.如权利要求1所述的装置，其中，该方向指示符显示在该操作者视频中，使得该方向指示符看起来是该操作者视频中真实世界环境的一部分。
5.如权利要求1所述的装置，其中，该操作者视频由该操作者处理设备的相机捕获。
6.如权利要求1所述的装置，其中，该指令包括用于旋转、倾斜或平移该超声设备的指令。
7.一种装置，包括：
指导者处理设备，被配置为：
从操作者处理设备接收超声设备相对于该操作者处理设备的姿态；
基于该超声设备相对于该操作者处理设备的姿态，在该指导者处理设备上显示的操作者视频中显示取向指示符，该取向指示符指示该超声设备相对于该操作者处理设备的姿态。
8.如权利要求7所述的装置，其中，该操作者视频描绘该超声设备。
9.如权利要求7所述的装置，其中，该操作者视频中显示的该方向指示符包括增强现实显示。
10.如权利要求7所述的装置，其中，该方向指示符显示在该操作者视频中，使得该方向指示符看起来是该操作者视频中真实世界环境的一部分。
11.如权利要求7所述的装置，其中，该操作者视频由该操作者处理设备的相机捕获。
12.如权利要求7所述的装置，其中，该取向指示符指示该超声设备上的标记相对于该操作者处理设备的取向。
13.一种装置，包括：
指导者处理设备，被配置为：
从操作者处理设备接收超声设备相对于该操作者处理设备的姿态；
基于该超声设备相对于该操作者处理设备的姿态，在该指导者处理设备上显示的指令界面中显示取向指示符，该取向指示符指示该超声设备相对于该操作者处理设备的姿态。
14.如权利要求13所述的装置，其中，该取向指示符展示了该超声设备上的标记相对于该操作者处理设备所指向的方向。
15.如权利要求13所述的装置，其中，该取向指示符二维地展示了该超声设备上的标记的三维姿态。
16.一种装置，包括：
指导者处理设备，被配置为：
从操作者处理设备接收超声设备相对于该操作者处理设备的姿态；
接收从指令界面中对用于移动该超声设备的指令的选择；并且
基于该超声设备相对于该操作者处理设备的姿态并基于该指令，在该指导者处理设备上显示的操作者视频中显示用于移动该超声设备的方向指示符。
17.如权利要求16所述的装置，其中，该操作者视频描绘该超声设备。
18.如权利要求16所述的装置，其中，该操作者视频中显示的该方向指示符包括增强现实显示。
19.如权利要求16所述的装置，其中，该方向指示符显示在该操作者视频中，使得该方向指示符看起来是该操作者视频中真实世界环境的一部分。
20.如权利要求16所述的装置，其中，该操作者视频由该操作者处理设备的相机捕获。
21.如权利要求16所述的装置，其中，该指令包括用于旋转、倾斜或平移该超声设备的指令。
22.一种装置，包括：
指导者处理设备，被配置为：
显示用于选择用于平移超声设备的指令的指令界面，该指令界面包括可旋转箭头。
23.如权利要求22所述的装置，其中，该指导者处理设备进一步被配置为：
基于该可旋转箭头的角度，接收从该指令界面中对用于平移该超声设备的指令的选择。
24.如权利要求22所述的装置，其中，该指令界面包括指示该超声设备相对于操作者处理设备的姿态的取向指示符。
25.如权利要求24所述的装置，其中，该取向指示符展示了该超声设备上的标记相对于该操作者处理设备所指向的方向。
26.如权利要求24所述的装置，其中，该取向指示符二维地展示了该超声设备上的标记的三维姿态。
CN202080008379.4A 2019-01-07 2020-01-06 用于远程医疗的方法和装置 Pending CN113287158A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962789394P 2019-01-07 2019-01-07
US62/789,394 2019-01-07
US201962933306P 2019-11-08 2019-11-08
US62/933,306 2019-11-08
PCT/US2020/012346 WO2020146249A1 (en) 2019-01-07 2020-01-06 Methods and apparatuses for tele-medicine

Publications (1)

Publication Number Publication Date
CN113287158A true CN113287158A (zh) 2021-08-20

Family

ID=71404046

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080008379.4A Pending CN113287158A (zh) 2019-01-07 2020-01-06 用于远程医疗的方法和装置

Country Status (4)

Country Link
US (2) US20200214682A1 (zh)
EP (1) EP3909039A4 (zh)
CN (1) CN113287158A (zh)
WO (1) WO2020146249A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD888094S1 (en) * 2018-08-31 2020-06-23 Butterfly Network, Inc. Display panel or portion thereof with graphical user interface
WO2021062129A1 (en) 2019-09-27 2021-04-01 Butterfly Network, Inc. Methods and apparatuses for detecting degraded ultrasound imaging frame rates
USD934288S1 (en) * 2019-11-27 2021-10-26 Bfly Operations, Inc. Display panel or portion thereof with graphical user interface
USD934289S1 (en) * 2019-11-27 2021-10-26 Bfly Operations, Inc. Display panel or portion thereof with graphical user interface
JP7447692B2 (ja) * 2020-06-16 2024-03-12 コニカミノルタ株式会社 超音波診断装置、超音波診断装置の制御方法、及び、超音波診断装置の制御プログラム
USD975738S1 (en) * 2021-03-11 2023-01-17 Bfly Operations, Inc. Display panel or portion thereof with graphical user interface
USD975739S1 (en) * 2021-03-11 2023-01-17 Bfly Operations, Inc. Display panel or portion thereof with graphical user interface
US20220413691A1 (en) * 2021-06-29 2022-12-29 Apple Inc. Techniques for manipulating computer graphical objects
US20230012014A1 (en) * 2021-07-12 2023-01-12 Bfly Operations, Inc. Methods and apparatuses for collection of ultrasound data
GB2611556A (en) * 2021-10-07 2023-04-12 Sonovr Ltd Augmented reality ultrasound-control system for enabling remote direction of a user of ultrasound equipment by experienced practitioner

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090175518A1 (en) * 2007-12-27 2009-07-09 Olympus Medical Systems Corp. Medical system and method for generating medical guide image
US20140011173A1 (en) * 2011-03-17 2014-01-09 Mor Research Applications Ltd. Training, skill assessment and monitoring users in ultrasound guided procedures
US20170105701A1 (en) * 2015-10-19 2017-04-20 Clarius Mobile Health Corp. Systems and methods for remote graphical feedback of ultrasound scanning technique
US20170245835A1 (en) * 2016-02-26 2017-08-31 Toshiba Medical Systems Corporation Ultrasound diagnosis apparatus and image processing method
US20170360401A1 (en) * 2016-06-20 2017-12-21 Alex Rothberg Automated image acquisition for assisting a user to operate an ultrasound device
CN108095761A (zh) * 2012-03-07 2018-06-01 齐特奥股份有限公司 空间对准设备、空间对准系统及用于指导医疗过程的方法
EP3398519A1 (en) * 2017-05-02 2018-11-07 Koninklijke Philips N.V. Determining a guidance signal and a system for providing a guidance for an ultrasonic handheld transducer

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009117419A2 (en) * 2008-03-17 2009-09-24 Worcester Polytechnic Institute Virtual interactive system for ultrasound training
US10314559B2 (en) * 2013-03-14 2019-06-11 Inneroptic Technology, Inc. Medical device guidance
US10188467B2 (en) * 2014-12-12 2019-01-29 Inneroptic Technology, Inc. Surgical guidance intersection display
US10278778B2 (en) * 2016-10-27 2019-05-07 Inneroptic Technology, Inc. Medical device navigation using a virtual 3D space
US20190336101A1 (en) * 2016-11-16 2019-11-07 Teratech Corporation Portable ultrasound system
US20210015456A1 (en) * 2016-11-16 2021-01-21 Teratech Corporation Devices and Methods for Ultrasound Monitoring
CA3049148A1 (en) * 2017-01-24 2018-08-02 Tietronix Software, Inc. System and method for three-dimensional augmented reality guidance for use of medical equipment
US11011077B2 (en) * 2017-06-29 2021-05-18 Verb Surgical Inc. Virtual reality training, simulation, and collaboration in a robotic surgical system
US10610303B2 (en) * 2017-06-29 2020-04-07 Verb Surgical Inc. Virtual reality laparoscopic tools
AU2018323621A1 (en) * 2017-08-31 2020-02-06 Butterfly Network, Inc. Methods and apparatus for collection of ultrasound data
US11484365B2 (en) * 2018-01-23 2022-11-01 Inneroptic Technology, Inc. Medical image guidance
US20190239850A1 (en) * 2018-02-06 2019-08-08 Steven Philip Dalvin Augmented/mixed reality system and method for the guidance of a medical exam

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090175518A1 (en) * 2007-12-27 2009-07-09 Olympus Medical Systems Corp. Medical system and method for generating medical guide image
US20140011173A1 (en) * 2011-03-17 2014-01-09 Mor Research Applications Ltd. Training, skill assessment and monitoring users in ultrasound guided procedures
CN108095761A (zh) * 2012-03-07 2018-06-01 齐特奥股份有限公司 空间对准设备、空间对准系统及用于指导医疗过程的方法
US20170105701A1 (en) * 2015-10-19 2017-04-20 Clarius Mobile Health Corp. Systems and methods for remote graphical feedback of ultrasound scanning technique
US20170245835A1 (en) * 2016-02-26 2017-08-31 Toshiba Medical Systems Corporation Ultrasound diagnosis apparatus and image processing method
US20170360401A1 (en) * 2016-06-20 2017-12-21 Alex Rothberg Automated image acquisition for assisting a user to operate an ultrasound device
EP3398519A1 (en) * 2017-05-02 2018-11-07 Koninklijke Philips N.V. Determining a guidance signal and a system for providing a guidance for an ultrasonic handheld transducer

Also Published As

Publication number Publication date
WO2020146249A1 (en) 2020-07-16
US20230267699A1 (en) 2023-08-24
EP3909039A1 (en) 2021-11-17
US20200214682A1 (en) 2020-07-09
WO2020146249A8 (en) 2020-08-13
EP3909039A4 (en) 2022-10-05

Similar Documents

Publication Publication Date Title
US20230267699A1 (en) Methods and apparatuses for tele-medicine
US11801035B2 (en) Systems and methods for remote graphical feedback of ultrasound scanning technique
US10893850B2 (en) Methods and apparatuses for guiding collection of ultrasound data using motion and/or orientation data
US11751848B2 (en) Methods and apparatuses for ultrasound data collection
CN109069103B (zh) 超声成像探头定位
CN111758137A (zh) 用于远程医疗的方法和设备
US20140128739A1 (en) Ultrasound imaging system and method
KR102618500B1 (ko) 초음파 진단장치 및 그에 따른 초음파 진단 방법
JP2015217306A (ja) 超音波診断装置及び超音波プローブ
US20140187950A1 (en) Ultrasound imaging system and method
US20200069291A1 (en) Methods and apparatuses for collection of ultrasound data
US20140171799A1 (en) Systems and methods for providing ultrasound probe location and image information
US20200037986A1 (en) Methods and apparatuses for guiding collection of ultrasound data using motion and/or orientation data
WO2020028740A1 (en) Methods and apparatuses for guiding collection of ultrasound data using motion and/or orientation data
US11937983B2 (en) Methods and apparatus for performing measurements on an ultrasound image
JP2021029675A (ja) 情報処理装置、検査システム及び情報処理方法
KR20150114285A (ko) 초음파 진단 장치 및 그 동작방법
US20240173018A1 (en) System and apparatus for remote interaction with an object
CN114025670A (zh) 用于超声数据的收集和可视化的方法和装置
CN115175621A (zh) 用于修改超声成像平面位置的方法和装置
US20210052251A1 (en) Methods and apparatuses for guiding a user to collect ultrasound data
WO2020093299A1 (zh) 一种超声成像方法、超声成像设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210820