JP2021514695A - 遠隔医療のための方法及び装置 - Google Patents
遠隔医療のための方法及び装置 Download PDFInfo
- Publication number
- JP2021514695A JP2021514695A JP2020542959A JP2020542959A JP2021514695A JP 2021514695 A JP2021514695 A JP 2021514695A JP 2020542959 A JP2020542959 A JP 2020542959A JP 2020542959 A JP2020542959 A JP 2020542959A JP 2021514695 A JP2021514695 A JP 2021514695A
- Authority
- JP
- Japan
- Prior art keywords
- user
- instructor
- imaging device
- electronic device
- electronics
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/42—Details of probe positioning or probe attachment to the patient
- A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
- A61B8/4263—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors not mounted on the probe, e.g. mounted on an external reference frame
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/461—Displaying means of special interest
- A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/461—Displaying means of special interest
- A61B8/465—Displaying means of special interest adapted to display user selection data, e.g. icons or menus
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/54—Control of the diagnostic device
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/56—Details of data transmission or power supply
- A61B8/565—Details of data transmission or power supply involving data transmission via a network
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/58—Testing, adjusting or calibrating the diagnostic device
- A61B8/582—Remote testing of the device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Heart & Thoracic Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Radiology & Medical Imaging (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Business, Economics & Management (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本明細書に記載の技術の態様は、遠隔医療を利用する超音波データ収集に関する。インストラクタ電子機器は、インストラクタ拡張現実インタフェースを表示のために生成し、インストラクタ拡張現実インタフェース上で、超音波イメージングデバイスを移動させる命令を受信してよい。インストラクタ拡張現実インタフェースは、超音波イメージングデバイスを示すビデオと、ビデオの上の矢印の重ね合わせを含んでいてよく、矢印の各々は超音波イメージングデバイスを移動させるための可能な命令に対応する。ユーザ電子機器は、インストラクタ電子機器から超音波イメージングデバイスを移動させる命令を受信し、ユーザ電子機器上に示されるユーザ拡張現実インタフェース上で、超音波イメージングデバイスを移動させる命令を表示のために生成してよい。ユーザ拡張現実インタフェースは、超音波イメージングデバイスを示すビデオと、ビデオ上に重ね合わされた、命令に対応する矢印を含んでもよい。
Description
関連出願の相互参照
[0001] 本願は、2018年2月27日に代理人ドケット番号第B1348.70074US00により“TELE-MEDICINE”と題して出願された米国仮特許出願第62/636,127号の米国特許法第119条(e)に基づく利益を主張するものであり、同仮出願の全体を参照によって本願に援用する。
[0001] 本願は、2018年2月27日に代理人ドケット番号第B1348.70074US00により“TELE-MEDICINE”と題して出願された米国仮特許出願第62/636,127号の米国特許法第119条(e)に基づく利益を主張するものであり、同仮出願の全体を参照によって本願に援用する。
[0002] 本願は、2018年3月21日に代理人ドケット番号第B1348.70074US01により“METHODS AND APPARATUS FOR TELE-MEDICINE”と題して出願された米国仮特許出願第62/646,333号の米国特許法第119条(e)に基づく利益を主張するものであり、同仮出願の全体を参照によって本願に援用する。
分野
[0003] 一般に、本明細書に記載の技術の態様は、超音波データ収集に関する。幾つかの態様は、超音波データ収集を利用する遠隔医療に関する。
[0003] 一般に、本明細書に記載の技術の態様は、超音波データ収集に関する。幾つかの態様は、超音波データ収集を利用する遠隔医療に関する。
背景
[0004] 超音波機器は、人間に聞こえるものより高い周波数を有する超音波を使って画像診断及び/又は治療を行うために使用されるかもしれない。超音波イメージングは、体内軟組織構造を観察して、例えば病気の原因を発見し、又は何れかの病理を除外するために使用されるかもしれない。超音波のパルスが組織内に(例えばプローブを使って)伝送されると、音波が組織で反射されるが、組織の違いによって反射される音波の程度が異なる。すると、これらの反射音波が記録され、超音波画像としてオペレータに表示され得る。音信号の強度(振幅)と音波が体内を移動するのにかかる時間は、超音波画像を生成するために使用される情報を提供する。超音波機器を使用して、リアルタイム画像を含む様々な種類の画像を形成できる。例えば、組織の2次元断面、血流、組織の経時的運動、出血箇所、特定分子の存在、組織の硬さ、又は三次元領域の体内構造を示す画像を生成できる。
[0004] 超音波機器は、人間に聞こえるものより高い周波数を有する超音波を使って画像診断及び/又は治療を行うために使用されるかもしれない。超音波イメージングは、体内軟組織構造を観察して、例えば病気の原因を発見し、又は何れかの病理を除外するために使用されるかもしれない。超音波のパルスが組織内に(例えばプローブを使って)伝送されると、音波が組織で反射されるが、組織の違いによって反射される音波の程度が異なる。すると、これらの反射音波が記録され、超音波画像としてオペレータに表示され得る。音信号の強度(振幅)と音波が体内を移動するのにかかる時間は、超音波画像を生成するために使用される情報を提供する。超音波機器を使用して、リアルタイム画像を含む様々な種類の画像を形成できる。例えば、組織の2次元断面、血流、組織の経時的運動、出血箇所、特定分子の存在、組織の硬さ、又は三次元領域の体内構造を示す画像を生成できる。
概要
[0005] 1つの態様によれば、装置はユーザ電子機器を含み、これは、超音波イメージングデバイスを移動させる外部生成命令を受信し、ユーザ電子機器の上に含められるユーザ拡張現実インタフェース上に、超音波イメージングデバイスを移動させる外部生成命令を表示するように構成される。
[0005] 1つの態様によれば、装置はユーザ電子機器を含み、これは、超音波イメージングデバイスを移動させる外部生成命令を受信し、ユーザ電子機器の上に含められるユーザ拡張現実インタフェース上に、超音波イメージングデバイスを移動させる外部生成命令を表示するように構成される。
[0006] 幾つかの実施形態において、ユーザ電子機器はさらに、カメラにより取得されたビデオを受信するように構成され、ビデオは超音波イメージングデバイスを描写し、ユーザ拡張現実インタフェースは、超音波イメージングデバイスを描写するビデオを含む。幾つかの実施形態において、ユーザ電子機器はカメラを含む。幾つかの実施形態において、ユーザ電子機器は、外部生成命令をユーザ拡張現実インタフェース上に表示する際に、超音波イメージングデバイスを示すビデオの上に重ね合わされた矢印を表示するように構成される。幾つかの実施形態において、超音波イメージングデバイスは、1つ又は複数の基準マーカを含む。幾つかの実施形態において、ユーザ電子機器はさらに、1つ又は複数の基準マーカに関するカメラのデフォルト位置姿勢から第一の時点における1つ又は複数の基準マーカに関するカメラの第一の位置姿勢への第一の転位を特定し、第一の転位に基づいてユーザ拡張現実インタフェースを表示するように構成される。幾つかの実施形態において、ユーザ電子機器はさらに、1つ又は複数の基準マーカに関するカメラのデフォルト位置姿勢から、第一の時点の後の第二の時点における1つ又は複数の基準マーカに関するカメラの第二の位置姿勢への第二の転位を特定し、第一の転位は第二の転位と異なり、第二の転位に基づいてユーザ拡張現実インタフェースを表示するように構成される。幾つかの実施形態において、ユーザ電子機器はさらに、ユーザ拡張現実インタフェースの中で1つ又は複数の基準マーカのうちの1つに対して垂直に見える方向への矢印を表示のために生成するように構成される。幾つかの実施形態において、ユーザ電子機器はさらに、矢印を、矢印がユーザ拡張現実インタフェースの中で1つ又は複数の基準マーカのうちの1つのある平面に平行な円形経路を形成して見えるように表示するように構成される。幾つかの実施形態において、ユーザ電子機器はさらに、矢印を、矢印がユーザ拡張現実インタフェースの中で1つ又は複数の基準マーカのうちの1つのある平面に直交する円形経路を形成して見えるように表示するように構成される。幾つかの実施形態において、外部生成命令は、インストラクタが操作するインストラクタ電子機器から受信される。
[0007] 幾つかの実施形態において、ユーザ電子機器はさらに、超音波イメージングデバイスの移動を停止する外部生成命令を受信し、ユーザ電子機器上に、超音波イメージングデバイスの移動を停止する外部生成命令を表示するように構成される。幾つかの実施形態において、ユーザ電子機器はさらに、超音波イメージングデバイスの移動を停止する外部生成命令を受信し、ユーザ電子機器上に含まれるユーザ拡張現実インタフェース上に超音波イメージングデバイスの移動する外部生成命令を表示するのを停止するように構成される。幾つかの実施形態において、ユーザ電子機器はさらに、イメージングプリセットを変更する外部生成命令を受信し、イメージングプリセットを変更するように構成される。幾つかの実施形態において、ユーザ電子機器はさらに、イメージングゲインを変更する外部生成命令を受信し、イメージングゲインを変更するように構成される。幾つかの実施形態において、ユーザ電子機器はさらに、イメージング深度を変更する外部生成命令を受信し、イメージング深度を変更するように構成される。幾つかの実施形態において、ユーザ電子機器はさらに、ユーザ電子機器の表示スクリーン上の超音波画像をフリーズさせる外部生成命令を受信し、ユーザ電子機器の表示スクリーン上の超音波画像をフリーズさせるように構成される。幾つかの実施形態において、ユーザ電子機器はさらに、1つ又は複数の超音波画像をメモリに保存する外部生成命令を受信し、1つ又は複数の超音波画像をメモリに保存するように構成される。幾つかの実施形態において、ユーザ電子機器はさらに、超音波イメージングデバイスを特定の体内領域に移動させる外部生成命令を受信し、超音波イメージングデバイスを特定の体内領域に移動させる外部生成命令を表示するように構成される。幾つかの実施形態において、ユーザ電子機器はさらに、対象に深呼吸してそのまま止めるように指示する外部生成命令を受信し、対象に深呼吸してそのまま止めるように指示する外部生成命令を表示するように構成される。
[0008] 幾つかの実施形態において、ユーザ電子機器はさらに、超音波イメージングデバイスをカメラの視野内に移動させる命令を受信し、超音波イメージングデバイスをカメラの視野内に移動させる命令を表示するように構成される。幾つかの実施形態において、ユーザ電子機器はさらに、超音波イメージングデバイスを対象により強く押し付ける外部生成命令を受信し、超音波イメージングデバイスを対象により強く押し付ける外部生成命令を表示するように構成される。幾つかの実施形態において、ユーザ電子機器はさらに、超音波イメージングデバイスをより短距離ずつ、及び/又はより小刻みに移動させる外部生成命令を受信し、超音波イメージングデバイスをより短距離ずつ、及び/又はより小刻みに移動させる外部生成命令を表示するように構成される。幾つかの実施形態において、ユーザ電子機器はさらに、インストラクタ電子機器に対し、超音波イメージングデバイスにより収集された超音波データ及び/又は超音波データから生成された超音波画像を送信するように構成される。
[0009] 他の態様によれば、装置は、超音波イメージングデバイスを描写するインストラクタ拡張現実インタフェースを表示し、インストラクタ拡張現実インタフェースにおいて、超音波イメージングデバイスを移動させる命令を受信し、ユーザ電子機器に対し、超音波イメージングデバイスを移動させる命令を送信するように構成されるインストラクタ電子機器を含む。
[0010] 幾つかの実施形態において、超音波イメージングデバイスを移動させる命令は、インストラクタ電子機器を操作するインストラクタから受信される。幾つかの実施形態において、インストラクタ電子機器はさらに、カメラにより取得されたビデオを受信するように構成され、ビデオは超音波イメージングデバイスを描写し、インストラクタ拡張現実インタフェースは、超音波イメージングデバイスを示すビデオを表示する。幾つかの実施形態において、インストラクタ電子機器はさらに、インストラクタ拡張現実インタフェース上に、超音波イメージングデバイスを示すビデオ上の複数の矢印の重ね合わせを表示するように構成され、複数の矢印の各々は超音波イメージングデバイスを移動させるための考え得る命令に対応する。幾つかの実施形態において、インストラクタ電子機器はさらに、インストラクタ拡張現実インタフェース上の複数の矢印のうちの1つの選択を受信し、複数の矢印のうちの選択された1つは、超音波イメージングデバイスを移動させる命令に対応し、命令をユーザ電子機器に送信するように構成される。幾つかの実施形態において、インストラクタ電子機器はさらに、超音波イメージングデバイスの移動を停止する命令の選択を受信し、ユーザ電子機器に対し、超音波イメージングデバイスの移動を停止する命令を送信するように構成される。幾つかの実施形態において、インストラクタ電子機器は、インストラクタ拡張現実インタフェース上の複数の矢印のうちの1つの選択を受信したときに、インストラクタ拡張現実インタフェース上の連続する選択を受信するように構成され、インストラクタ電子機器はさらに、インストラクタ電子機器において、超音波イメージングデバイスの移動を停止する命令を受信するように構成され、超音波イメージングデバイスの移動を停止する命令を受信することは、インストラクタ拡張現実インタフェース上の連続する選択の停止を検出することを含み、インストラクタ電子機器からユーザ電子機器に対し、超音波イメージングデバイスの移動を停止する命令を送信するように構成される。幾つかの実施形態において、インストラクタ電子機器は、連続する選択を受信したときに、連続するマウスのクリックを受信するか、表示スクリーン上のタッチセンサとの連続する接触を受信するように構成される。幾つかの実施形態において、インストラクタ電子機器はさらに、インストラクタ電子機器上で、イメージングプリセットを変更する命令の選択を受信し、インストラクタ電子機器からユーザ電子機器に対し、イメージングプリセットを変更する命令を送信するように構成される。幾つかの実施形態において、インストラクタ電子機器はさらに、イメージングゲインを変更する命令の選択を受信し、ユーザ電子機器に対し、イメージングゲインを変更する命令を送信するように構成される。幾つかの実施形態において、インストラクタ電子機器はさらに、イメージング深度を変更する命令の選択を受信し、ユーザ電子機器に対し、イメージング深度を変更する命令を送信するように構成される。幾つかの実施形態において、インストラクタ電子機器はさらに、ユーザ電子機器の表示スクリーン上の超音波画像をフリーズさせる命令の選択を受信し、ユーザ電子機器に対し、ユーザ電子機器の表示スクリーン上の超音波画像をフリーズさせる命令を送信するように構成される。幾つかの実施形態において、インストラクタ電子機器はさらに、1つ又は複数の超音波画像をメモリに保存する命令の選択を受信し、ユーザ電子機器に対し、1つ又は複数の超音波画像をメモリに保存ざせる命令を送信するように構成される。幾つかの実施形態において、インストラクタ電子機器はさらに、超音波イメージングデバイスを特定の生体領域へと移動させる第一のユーザに対する命令の選択を受信し、ユーザ電子機器に対し、超音波イメージングデバイスを特定の体内領域へと移動させる第一のユーザに対する命令を送信するように構成される。幾つかの実施形態において、インストラクタ電子機器はさらに、対象に深呼吸してそのまま止めるように指示する第一のユーザに対する命令の選択を受信し、ユーザ電子機器に対し、対象に深呼吸してそのまま止めるように指示する第一のユーザに対する命令を送信するように構成される。幾つかの実施形態において、インストラクタ電子機器はさらに、超音波イメージングデバイスをユーザ電子機器のカメラの視野内へと移動させる第一のユーザに対する命令の選択を受信し、ユーザ電子機器に対し、超音波イメージングデバイスをユーザ電子機器のカメラの視野内へと移動させる第一のユーザに対する命令を送信するように構成される。幾つかの実施形態において、インストラクタ電子機器はさらに、超音波イメージングデバイスを対象により強く押し付ける第一のユーザに対する命令の選択を受信し、ユーザ電子機器に対し、超音波イメージングデバイスを対象により強く押し付ける第一のユーザに対する命令を送信するように構成される。幾つかの実施形態において、インストラクタ電子機器はさらに、超音波イメージングデバイスをより短距離ずつ、及び/又はより小刻みに移動させる第一のユーザに対する命令の選択を受信し、ユーザ電子機器に対し、超音波イメージングデバイスをより短距離ずつ、及び/又はより小刻みに移動させる第一のユーザに対する命令を送信するように構成される。幾つかの実施形態において、インストラクタ電子機器はさらに、ユーザ電子機器から、超音波画像を受信し、超音波画像を表示するように構成される。
[0011] 幾つかの態様は、少なくとも1つのプロセッサにより実行されると、その少なくとも1つのプロセッサに上述の機能を実行させるプロセッサ実行可能命令を保存する、少なくとも1つの非一時的コンピュータ可読記憶媒体を含む。幾つかの態様は、上記機能を実行する方法を含む。
[0012] 他の態様によれば、装置は超音波イメージングデバイスと、超音波イメージングに連結された1つ又は複数の基準マーカと、を含む。
[0013] 幾つかの実施形態において、装置は、超音波イメージングデバイスの端に連結されたキューブをさらに含み、1つ又は複数の基準マーカはキューブの1つ又は複数の表面に連結される。幾つかの実施形態において、1つ又は複数の基準マーカは、ArUcoマーカを含む。幾つかの実施形態において、キューブは、超音波イメージングデバイスの当該の端の周囲に共に連結されるように構成された2つの半体を含む。幾つかの実施形態において、装置はケーブルをさらに含み、キューブはキューブを貫通する穴を含み、ケーブルは超音波イメージングデバイスの当該の端からキューブを通って延びる。
図面の簡単な説明
[0014] 様々な態様と実施形態を以下の例示的で非限定的な図面を参照しながら説明する。図面は必ずしも正確な縮尺で描かれていない点を理解すべきである。複数の図面に出現する項目は、それらが出現するすべての図面を通じて同じ又は同様の参照番号で指示される。
[0014] 様々な態様と実施形態を以下の例示的で非限定的な図面を参照しながら説明する。図面は必ずしも正確な縮尺で描かれていない点を理解すべきである。複数の図面に出現する項目は、それらが出現するすべての図面を通じて同じ又は同様の参照番号で指示される。
詳細な説明
[0031] 超音波検査は、対象の特定の体内構造(例えば、器官)のビューを含む超音波画像の取得を含むことが多い。これらの超音波画像の取得は典型的に、高い技能を必要とする。例えば、超音波機器を操作する超音波技師は、画像取得すべき体内構造が対象のどこにあるか、さらには体内構造の医学的に意味のある超音波画像を取得するための対象上での超音波機器の適正な位置付け方を知っている必要があるかもしれない。超音波機器を保持する対象が数インチ高すぎる、又は低すぎると、医学的に意味のある超音波画像が取得されるか、医学的に意味のない超音波画像が取得されるかの差が出るかもしれない。その結果、超音波機器の専門知識のないオペレータには、対象の医学的に意味のある超音波画像を取得するうえで多くの問題が伴うかもしれない。このような専門知識のないオペレータが犯す一般的なミスには、誤った体内構造の超音波画像を取得すること、正しい体内構造の短縮された(すなわち、途中で切れた)超音波画像を取得すること、及び関係する体内構造の完全な精査を実行できないこと(例えば、特定のプロトコルの体内領域の全体をスキャンできないこと)が含まれる。
[0031] 超音波検査は、対象の特定の体内構造(例えば、器官)のビューを含む超音波画像の取得を含むことが多い。これらの超音波画像の取得は典型的に、高い技能を必要とする。例えば、超音波機器を操作する超音波技師は、画像取得すべき体内構造が対象のどこにあるか、さらには体内構造の医学的に意味のある超音波画像を取得するための対象上での超音波機器の適正な位置付け方を知っている必要があるかもしれない。超音波機器を保持する対象が数インチ高すぎる、又は低すぎると、医学的に意味のある超音波画像が取得されるか、医学的に意味のない超音波画像が取得されるかの差が出るかもしれない。その結果、超音波機器の専門知識のないオペレータには、対象の医学的に意味のある超音波画像を取得するうえで多くの問題が伴うかもしれない。このような専門知識のないオペレータが犯す一般的なミスには、誤った体内構造の超音波画像を取得すること、正しい体内構造の短縮された(すなわち、途中で切れた)超音波画像を取得すること、及び関係する体内構造の完全な精査を実行できないこと(例えば、特定のプロトコルの体内領域の全体をスキャンできないこと)が含まれる。
[0032] 従来の超音波システムは、大型の複雑で高価なシステムであり、典型的には潤沢な財政資源のある大規模医療施設しか購入しない。最近では、より安価でより複雑でない超音波イメージングデバイスが導入されている。このようなイメージングデバイスは、1つの半導体ダイにモノリシックに集積されてモノリシックの超音波機器を形成する超音波トランスデューサを含んでいてよい。このようなオンチップ超音波デバイス(ultrasound-on-a chip devices)の態様は、2017年1月25日に出願された、“UNIVERSAL ULTRASOUND DEVICE AND RELATED APPARATUS AND METHODS”と題する(本願と同じ譲受人に譲渡されている)米国特許出願第15/415,434号に記載されており、その全体を参照によって本願に援用する。これらの新規な超音波機器の低コスト化とポータビリティの改善により、これらは一般の人々にとって、従来の超音波機器より大幅に利用しやすくなるかもしれない。
[0033] 本発明者らは、超音波イメージングデバイスの低コスト化とポータビリティの改善によって、これらが一般の人々にとってより利用しやすくなるものの、このような機器を利用する人々はそれらの使用方法についてほとんど、又はまったく訓練されていないと認識し、理解している。例えば、訓練された超音波技師が雇われていない小規模クリニックが患者の診断を助けるために超音波機器を購入するかもしれない。この例では、小規模クリニックの看護師は、超音波技術と人間生理学については詳しいかもしれないが、その患者について医学的に意味のある情報を識別するために患者のどの解剖学的ビューを画像化すべきか、超音波機器を使ってこのような解剖学的ビューをどのように取得するかわからないかもしれない。他の例では、超音波機器は、患者の心臓のモニタ用として家庭用に医師から患者に渡されるかもしれない。おそらく、患者は人間生理学も、自分自身の心臓の画像を超音波機器でどのように取得するかも理解していない。
[0034] そこで、本発明者らは、超音波イメージングデバイスのユーザから離れた場所にいるかもしれない人間のインストラクタが、超音波画像を収集するために超音波イメージングデバイスの動かし方をユーザに指示してもよい遠隔医療技術を開発した。本発明者らは、ユーザに超音波イメージングデバイスを移動させるように指示することには、ユーザが超音波イメージングデバイスの位置姿勢をユーザ自身の位置姿勢と調和させる必要があることが関わると認識した。例えば、超音波イメージングデバイスの画像及び超音波イメージングデバイスの特定の面から発せられる方向の矢印を構成する命令を示しているディスプレイを考える。特に、超音波イメージングデバイスのその特定の面は、画像内に示される超音波イメージングデバイスの右側にあり、矢印はしたがって、右側を指していると考える。超音波イメージングデバイスに関するユーザの位置姿勢に応じて、画像内に示される超音波イメージングデバイスのその特定の面はユーザの左側にあるかもしれない可能性がある。それゆえ、ユーザは、超音波イメージングデバイスに関する自分自身の位置姿勢を調和させ、命令に従うことは、命令の中の矢印が右側を指しているにもかかわらず、超音波イメージングデバイスを自分の左に移動させることと判断する必要があるかもしれない。
[0035] 本発明者らは、拡張現実(AR)インタフェースを使って超音波イメージングデバイスの位置姿勢をユーザ自身の位置姿勢と自動的に調和させることができるかもしれないことを認識した。ユーザがユーザ電子機器を持ち、ユーザ電子機器のカメラにより取得されたユーザARインタフェースを見ている場合、ユーザの位置姿勢はカメラの位置姿勢と同じか、それに近いかもしれない。ユーザ電子機器は、カメラの移動に合わせて、超音波イメージングデバイスに関するカメラの位置姿勢に基づいて転位を自動的に計算するかもしれない。ユーザ電子機器はすると、この転位を使って、カメラ及びユーザが移動しても超音波イメージングデバイスに関するその方向を自動的に保持する、ユーザARインタフェース上の矢印を、表示のために生成してよい。例えば、ユーザARインタフェースが超音波イメージングデバイスのある特定の面から発せられる方向の矢印を示し、矢印がユーザARインタフェースにおいて(カメラの視点から見て)右を指している場合を考える。ユーザARインタフェースはカメラにより取得されたビデオを示しているため、また、カメラの視点はユーザの視点と同じかそれに近いため、超音波イメージングデバイスのその特定の面はユーザの右側にあってよく、ユーザは、超音波イメージングデバイスを、ユーザARインタフェースの中で矢印が指す方向と同じ方向である自分の右に移動させることによって、この命令に従うことができるかもしれない。ユーザ及びカメラが移動して、超音波イメージングデバイスのその特定の面が今度はユーザの左に面する場合、ユーザ電子機器はカメラから新たに取得されたビデオに基づいて転位を計算して、この転位を使ってユーザARインタフェース上で(カメラの視点から見て)左を指すように矢印を変更するかもしれない。ユーザは、超音波イメージングデバイスを、ユーザARインタフェースの中の矢印が指す方向と同じ方向である自分の左に移動させることによって、同じ命令に従うことができるかもしれない。ユーザ電子機器はユーザの位置姿勢を超音波イメージングデバイスの位置姿勢と自動的に調和させるかもしれないため、ユーザは、ユーザARインタフェース上に示される命令に従う前に、このような調和を自分自身で行う必要がないかもしれない。
[0036] 本明細書に記載の実施形態は様々な任意の方法で実装されてよいと理解すべきである。具体的な実装例は、例示を目的としてのみ以下に挙げられている。これらの実施形態及び提供される特徴/機能は、個別に、すべて一緒に、又は2つ以上の何れかの組合せにより使用されてよいと理解すべきであり、それは、本明細書に記載の技術はこの点で限定されていないからである。
[0037] 本明細書で言及されるかぎり、超音波イメージングデバイスを移動させる命令は、超音波イメージングデバイスの移動に対する何れの指示も意味すると理解すべきであり、超音波イメージングデバイスの移動が起こされるべきであることが意図されている。例えば、特定の方向を指す矢印は、超音波イメージングデバイスをその方向に移動させる命令であると考えられてよい。
[0038] 本明細書で言及されるかぎり、超音波イメージングデバイスを移動させる命令を受信することは、超音波イメージングデバイスを移動させる命令の指示を含む/符号化する何れの種類のデータを受信することも意味すると理解すべきである。
[0039] 本明細書で言及されるかぎり、第一の機器で受信された外部生成命令とは、ある個人又は、又は第一の機器とは異なる第二の機器がその命令を生成したことを意味すると理解すべきである。
[0040] 本明細書で言及されるかぎり、超音波イメージングデバイスの移動が起こされるべきであることが意図される、表示のために超音波イメージングデバイスの移動の何れかの指示を生成すること。例えば、表示のために特定の方向を指す矢印を生成することは、表示のために命令を生成することと考えられてよい。
[0041] 本明細書で言及されるかぎり、拡張現実(AR)インタフェースとは、現実の三次元世界のリアルタイム画像/ビデオ上に非現実の二次元グラフィクスを重ね合わせるあらゆるインタフェースを意味すると理解すべきである。
[0042] 本明細書で言及されるかぎり、矢印とは、移動の方向を示すあらゆるグラフィクスを意味すると理解すべきであり、移動の方向は、平行移動、回転、又は傾斜の方向を含んでいてよい。
[0043] 本明細書で言及されるかぎり、基準マーカとは、イメージャ(例えば、カメラ)の視野内の、イメージャによって生成される画像/ビデオの中に基準点又は水準として使用するために現れるあらゆるオブジェクトを意味すると理解すべきである。例えば、ArUcoマーカ(すなわち、拡張現実アプリケーションのためにArUcoライブラリに従って生成されるマーカ)は基準マーカと考えられてよい。
[0044] 本明細書で言及されるかぎり、位置姿勢とは、1つの物体の他の物体に関する位置及び/又は向きを意味すると理解すべきである。例えば、基準マーカに関するカメラの位置及び/又は向きは、基準マーカに関するカメラの位置姿勢と考えられてよい。
[0045] 本明細書で言及されるかぎり、転位とは、1つの位置姿勢から他の位置姿勢への変化のあらゆる定量化を意味すると理解すべきである。例えば、転位は、平行移動、回転等を説明する転位マトリクスであってよい。
[0046] 本明細書で言及されるかぎり、転位に基づいて表示のためのオブジェクトを生成することは、表示のためにそのオブジェクトをどのように生成すべきかを特定する際に転位を使用することを意味すると理解すべきである。例えば、転位は、デフォルト位置姿勢から現在の位置姿勢への、基準マーカに関するカメラの位置姿勢の変化を説明するかもしれない。電子機器は、ARインタフェース上に表示するために転位に基づいて矢印を生成してよく、それによって、基準マーカに関するカメラの位置姿勢が変化しても、矢印はカメラの視点から見て、基準マーカの視点から同じ方向を指す。
[0047] 図1は、本明細書に記載の技術の各種の態様がそこで実施されてよい例示的な超音波システム100の概略ブロック図を示す。超音波システム100は、超音波イメージングデバイス114と、ユーザ電子機器102と、インストラクタ電子機器122と、ネットワーク116と、を含む。
[0048] ユーザ電子機器102は、カメラ106と、表示スクリーン108と、プロセッサ110と、メモリ112と、入力装置118と、スピーカ109と、を含む。インストラクタ電子機器122は、表示スクリーン128と、プロセッサ130と、メモリ132と、入力装置138と、スピーカ141と、を含む。ユーザ電子機器102は、超音波イメージングデバイス114と有線通信(例えば、ライトニングコネクタ又はミニUSBコネクタを通じる)及び/又は無線通信(例えば、BLUETOOTH(登録商標)、ZIGBEE(登録商標)、及び/又はWiFi無線プロトコルを使用する)する。ユーザ電子機器102は、インストラクタ電子機器122とネットワーク116上で無線通信する。ユーザ電子機器102とインストラクタ電子機器122 12は、1つ又は複数のサーバ134とネットワーク116上で無線通信する。
[0049] 超音波イメージングデバイス114は超音波データを生成するように構成されてよく、これは超音波画像を生成するために使用されてよい。超音波イメージングデバイス114は、様々な方法の何れによって構成されてもよい。幾つかの実施形態において、超音波イメージングデバイス114は送信機を含み、これは信号を送信ビームフォーマに送信し、それが今度はトランスデューサアレイの中のトランスデューサ素子を駆動して、パルス式超音波信号を患者等の構造体の中へと発する。パルス式超音波信号は、体内の構造、例えば血液細胞又は筋組織等から後方散乱して、トランスデューサ素子へと戻るエコーを生成するかもしれない。これらのエコーはすると、トランスデューサ素子によって電気信号に変換されてよく、電気信号は受信機により受信される。受信したエコーを表す電気信号は、超音波データを出力する受信ビームフォーマに送信される。超音波イメージングデバイス114は、1つの半導体ダイにモノリシックに集積された1つ又は複数の超音波トランスデューサを含んでいてよい。超音波トランスデューサは例えば、1つ又は複数の静電容量型超音波トランスデューサ(CMUT: capacitive micromachined ultrasonic transducer)、1つ又は複数の圧電薄膜型超音波トランスデューサ(PMUT: piezoelectric micromachined ultrasonic transducer))、及び/又は1つ又は複数のその他の適当な超音波トランスデューサセルを含んでいてよい。幾つかの実施形態において、超音波トランスデューサは、他の電子コンポーネント(例えば、送信回路、受信回路、制御回路、電源管理回路、及び処理回路)と同じチップから、又はその上に形成されて、モノリシックの超音波デバイスを形成してよい。
[0050] ここで、ユーザ電子機器102に関して、プロセッサ110は特定用途集積回路(ASIC)等の特別にプログラムされた、及び/又は特定目的のハードウェアを含んでいてよい。例えば、プロセッサ110は、1つ又は複数のグラフィクスプロセシングユニット(GPU)及び/又は1つ又は複数のテンソルプロセシングユニット(TPU)を含んでいてよい。TPUは機械学習(例えば、ディープラーニング)のために特に設計されたASICであってよい。TPUは、例えばニューラルネットワークの推論フェーズを加速させるために使用されてよい。ユーザ電子機器102は、超音波イメージングデバイス114から受信した超音波イメージングデバイス114からの超音波データを処理し、表示スクリーン108上に表示するための超音波画像を生成するように構成されてよい。処理は、例えばプロセッサ110により実行されてよい。プロセッサ110はまた、超音波イメージングデバイス114による超音波データの取得を制御するようになされていてもよい。超音波データは、エコー信号が受信されながらスキャニングセッション中にリアルタイムで処理されてよい。幾つかの実施形態において、表示された超音波画像は少なくとも5Hz、少なくとも10Hz、少なくとも20Hzのレートで、5〜60Hzのレートで、20Hzより速いレートで更新されてよい。例えば、超音波データは、画像生成中であっても、以前取得したデータに基づいて、及びライブの超音波画像が表示されている間に取得されてもよい。追加の超音波データが取得されると、より新たに取得された超音波データから生成された追加のフレーム又は画像が逐次的に表示される。追加的又は代替的に、超音波データはスキャニングセッション中に一時的にバッファに保存され、リアルタイム以外で処理されてもよい。
[0051] ユーザ電子機器102は、本明細書に記載のプロセスの特定部分を、プロセッサ110(例えば、1つ又は複数のコンピュータハードウェアプロセッサ)と、メモリ112等の非一時的コンピュータ可読記憶媒体を含む1つ又は複数の製品を用いて実行するように構成されてよい。プロセッサ110は、メモリ112へのデータの書込み及びそこからのデータの読出しを何れの適当な方法で制御してもよい。本明細書に記載のプロセスの特定部分を実行するために、プロセッサ110は、プロセッサ110により実行されるためのプロセッサ実行可能命令を保存する非一時的コンピュータ可読記憶媒体としての役割を果たしてもよい1つ又は複数の非一時的コンピュータ可読記憶媒体(例えば、メモリ112)に保存された1つ又は複数のプロセッサ実行可能命令を実行してもよい。カメラ106は、光(例えば、可視光)を検出して画像を形成するように構成されてよい。表示スクリーン108は、画像及び/又はビデオを表示するように構成されてよく、例えば、ユーザ電子機器102上の液晶ディスプレイ(LCD)、プラズマディスプレイ、及び/又は有機発光ダイオード(OLED)ディスプレイであってよい。入力装置118は、ユーザからの入力を受信し、この入力をプロセッサ110に送信することのできる1つ又は複数の機器を含んでいてよい。例えば、入力装置118には、キーボード、マウス、マイクロフォン、及び/又は表示スクリーン108上のタッチセンサが含まれていてもよい。スピーカ109は、音声を出力するように構成されてよい。表示スクリーン108、入力装置118、カメラ106、及びスピーカ109は、プロセッサ110に通信可能に連結され、及び/又はプロセッサ110の制御下にあってよい。
[0052] ユーザ電子機器102は、様々な方法の何れで実装されてもよいと理解すべきである。例えば、ユーザ電子機器102は、モバイルスマートフォン又はタブレット等のハンドヘルド機器として実装されてもよい。それによって、超音波イメージングデバイス114のユーザは、超音波イメージングデバイス114を片手で操作して、ユーザ電子機器102を反対の手で持つことができるかもしれない。他の例では、ユーザ電子機器102は、ラップトップ等のハンドヘルド機器以外のポータブル機器として実装されてもよい。また別の例では、ユーザ電子機器102は、デスクトップコンピュータ等の固定式機器として実装されてもよい。ユーザ電子機器102は、有線接続(例えば、イーサネットケーブルを介する)及び/又は無線接続(例えば、WiFiネットワーク上)でネットワーク116に接続されてよい。ユーザ電子機器102はそれによって、インストラクタ電子機器122及び/又はサーバ134とネットワーク116上で通信してよい。
[0053] 次に、インストラクタ電子機器122に関して、プロセッサ130は特定用途集積回路(ASIC)等の特別にプログラムされた、及び/又は特定目的のハードウェアを含んでいてよい。例えば、プロセッサ130は、1つ又は複数のグラフィクスプロセシングユニット(GPU)及び/又は1つ又は複数のテンソルプロセシングユニット(TPU)を含んでいてよい。TPUは機械学習(例えば、ディープラーニング)のために特に設計されたASICであってよい。TPUは、例えばニューラルネットワークの推論フェーズを加速させるために使用されてよい。インストラクタ電子機器122は、本明細書に記載のプロセスの特定部分を、プロセッサ130(例えば、1つ又は複数のコンピュータハードウェアプロセッサ)と、メモリ132等の非一時的コンピュータ可読記憶媒体を含む1つ又は複数の製品を用いて実行するように構成されてよい。プロセッサ130は、メモリ132へのデータの書込み及びそこからのデータの読出しを何れの適当な方法で制御してもよい。本明細書に記載のプロセスの特定部分を実行するために、プロセッサ130は、プロセッサ130により実行されるためのプロセッサ実行可能命令を保存する非一時的コンピュータ可読記憶媒体としての役割を果たしてもよい1つ又は複数の非一時的コンピュータ可読記憶媒体(例えば、メモリ132)に保存された1つ又は複数のプロセッサ実行可能命令を実行してもよい。表示スクリーン128は、画像及び/又はビデオを表示するように構成されてよく、例えば、ユーザ電子機器102上の液晶ディスプレイ(LCD)、プラズマディスプレイ、及び/又は有機発光ダイオード(OLED)ディスプレイである。入力装置138は、ユーザからの入力を受信し、この入力をプロセッサ130に送信することのできる1つ又は複数の機器を含んでいてよい。例えば、入力装置138には、キーボード、マウス、3Dマウス(例えば、Space Mouse(登録商標))、マイクロフォン、ジェスチャ認識を利用するコントローラ(例えば、Leap Motion(登録商標)コントローラ)、及び/又は表示スクリーン128上のタッチセンサが含まれていてもよい。スピーカ14は、音声を出力するように構成されてよい。表示スクリーン128、入力装置138、及びスピーカ141は、プロセッサ130に通信可能に連結され、及び/又はプロセッサ130の制御下にあってよい。
[0054] インストラクタ電子機器122は、様々な方法の何れで実装されてもよいと理解すべきである。例えば、インストラクタ電子機器122は、モバイルスマートフォン又はタブレット等のハンドヘルド機器として、ラップトップ等のハンドヘルド機器以外のポータブル機器として、又はデスクトップコンピュータ等の固定式機器として実装されてよい。インストラクタ電子機器122は、有線接続(例えば、イーサネットケーブルを介する)及び/又は無線接続(例えば、WiFiネットワーク上)でネットワーク136に接続されてよい。インストラクタ電子機器122はそれによって、ユーザ電子機器102及び/又はサーバ134とネットワーク116上で通信してよい。
[0055] 以下にさらに説明するように、ユーザ電子機器102及びインストラクタ電子機器122は、ビデオ、音声、及びその他の形態のデータ(例えば、超音波イメージングデバイス114を移動させる命令)を通信してよい。この通信は、ピア・ツー・ピアネットワークリンクを使ってネットワーク116上で行われてよい。超音波機器及びシステムに関するさらに詳しい議論は、2017年1月25日に出願された、“UNIVERSAL ULTRASOUND DEVICE AND RELATED APPARATUS AND METHODS”と題する(本願と同じ譲受人に譲渡された)米国特許出願第15/415,434号を参照されたい。
[0056] 図1は、非限定的と理解すべきである。例えば、超音波システム100は、図示されたものより少ない、又は多いコンポーネントを含んでいてよく、ユーザ電子機器102は図示されたものより少ない、又は多いコンポーネントを含んでいてよく、インストラクタ電子機器122は図示されたものより少ない、又は多いコンポーネントを含んでいてよい。
[0057] 図2は、本明細書に記載の特定の実施形態と共に使用されてよい超音波イメージングデバイス114の例を示す。超音波イメージングデバイス114は、第一の端204と第二の端206を有する本体202と、基準マーカキューブ208と、ケーブル210と、を含む。超音波センサヘッド(図2では見えない)は、第一の端204に配置される。基準マーカキューブ208は、本体202の第二の端206に連結される。基準マーカキューブ208は、基準マーカキューブ208の、本体202の第二の端206に面していない5つの面に配置された複数の基準マーカを含む。図2では、基準マーカ211〜213が見えている。図2において、基準マーカはArUcoマーカであるが、他のマーカが使用されてもよい(例えば、ホログラフマーカ、分散マーカ)。基準マーカキューブ208の、本体202の第二の端206と反対に面する面は穴214を含む。ケーブル210は、本体202の第二の端206から穴214を通って延びる。ケーブル210は、電気信号を超音波イメージングデバイス114から外部処理装置、例えばユーザ電子機器102へと送信してよい。幾つかの実施形態において、超音波イメージングデバイス114は、電気信号を(例えば、ユーザ電子機器102に)無線で送信してよく、ケーブル210及び穴214はなくてもよい。
[0058] 図3〜4は、基準マーカキューブ208が2つの半体216及び218を有する超音波イメージングデバイス114の実施形態を示す。基準マーカキューブ208の2つの半体216及び218は、本体202の第二の端206及びケーブル210の周囲に一体で連結される。穴214の半分は半体216に形成され、穴214の半分は半体218に形成される。図3は、本体202の第二の端206の周囲に一体で連結された基準マーカキューブ208の2つの半体216及び218を示す。図4は、相互に分割され、本体202の第二の端206から取り外された基準マーカキューブ208の2つの半体216及び218を示す。基準マーカキューブ208を2つの半体216及び218に分割することは、基準マーカキューブ208を超音波イメージングデバイス114から取り外すための容易な方法を構成するかもしれない。
[0059] 図5は、インストラクタ電子機器122により表示されるために生成されてよい例示的なインストラクタインタフェース500を示す。例えば、インストラクタ電子機器122は、表示スクリーン128上のインストラクタ電子機器122のインストラクタインタフェース500を、表示のために生成してよい。インストラクタインタフェース500は、インストラクタ拡張現実(AR)インタフェース600、超音波画像502、患者接続インジケータ504、目的インジケータ542、及びインストラクタが選択してよい命令(オプション)のメニューを含み、メニューは、ユーザに対して超音波イメージングデバイス114を対象の特定の体内領域に移動させることを命令するオプション506、ユーザに対して対象に深呼吸してそのまま止めるように指示することを命令するオプション508、ユーザに対して対象に横向きに寝るように指示することを命令するオプション510、ユーザに対して超音波イメージングデバイス114をカメラ106の視野内に移動させることを命令するオプション512、ユーザに対して対象により多くのジェルを塗ることを命令するオプション514、ユーザに対して超音波イメージングデバイス114を対象により強く押し付けることを命令するオプション516、ユーザに対して超音波イメージングデバイス114をより小刻みに、及び/又はより短距離ずつ移動させることを命令するオプション518、ユーザに対して超音波イメージングデバイス114の移動を停止することを命令するオプション520、心臓プリセットオプション522、肺プリセットオプション524、腹部プリセットオプション526、ゲインスライダ528、深度スライダ530、カラーオプション544、フリーズオプション532、静止画取得オプション536、シネ取得オプション534、スキャン停止オプション538、及びリールインジケータ540が含まれるが、必ずしもこれらに限定されない。さらに説明するように、インストラクタARインタフェース600は、現実の三次元世界の画像/ビデオを含んでいてよく、これには現実の三次元世界の画像/ビデオの上に重ね合わされた非現実の二次元グラフィクスを有し、それゆえARインタフェースと考えられる。図5は、非限定的と理解すべきである。例えば、インストラクタインタフェース500は、図示されているものより少ない、又は多いコンポーネントを含んでいてよく、及び/又はインストラクタインタフェース500のコンポーネントは図示されているものとは異なるように配置され、又は異なる形態を有していてもよい。
[0060] 図6は、図5に示されるインストラクタARインタフェース600をより詳しく示す。インストラクタARインタフェース600は、超音波イメージングデバイス114のビデオフレーム610と、ビデオフレーム610の上に重ね合わされた矢印601〜608を含む。幾つかの実施形態において、ユーザ電子機器のカメラ106は、ビデオフレーム610を取得し、ビデオフレーム610をインストラクタ電子機器122に送信してよく、インストラクタ電子機器122はインストラクタインタフェース500が表示するためにビデオフレーム610を生成してよい。新しいビデオフレーム610が収集されると、ユーザ電子機器102は、新しいビデオフレーム610を(例えば、無線接続で)インストラクタ電子機器122に送信してよく、これはインストラクタインタフェース500上に示されるビデオフレーム610を新しいビデオフレーム610で更新してよい。超音波イメージングデバイス114のユーザは、超音波イメージングデバイス114を画像化対象の上で保持し、ユーザ電子機器102のカメラ106(これもユーザにより保持されてよい)を、超音波イメージングデバイス114がカメラ106の視野の中にあるように位置付けてよい。
[0061] 矢印601〜608は、超音波イメージングデバイス114のビデオの上に重ね合わせて示され、超音波イメージングデバイス114を移動させるための考え得る命令、すなわち超音波イメージングデバイス114を平行移動、回転させ、及び/又は傾けるための命令に対応していてよい。超音波イメージングデバイス114を移動させる命令は、超音波イメージングデバイス114を平行移動させる命令、超音波イメージングデバイス114を回転(すなわち、超音波イメージングデバイス114の長さ方向軸の周囲で回転)する命令、及び超音波イメージングデバイス114を傾けさせる(例えば、超音波イメージングデバイス114を超音波イメージングデバイス114の、対象と接触する端部分の周囲で傾ける)命令の何れの組合せを含んでいてもよい。超音波イメージングデバイス114を移動させる命令は、超音波イメージングデバイス114を現在の位置から対象の位置及び向きへと移動させて、標的の解剖学的ビュー(例えば、心臓の傍胸骨長軸像)が得られるように設計された命令であってよい。後でさらに述べるように、インストラクタは、超音波イメージングデバイス114を移動させるための考え得る命令のうちの1つを選択してよく、インストラクタ電子機器122はこの命令をユーザ電子機器102に送信し、これによってユーザに対して超音波イメージングデバイス114を選択された命令に従って移動させることを指示してよい。
[0062] インストラクタARインタフェース600に表示される矢印601は、基準マーカ211に垂直であり、基準マーカ211が面する方向に面する。表示のために矢印601を生成することは、超音波イメージングデバイス114を基準マーカ211が面する方向に平行移動させる命令として有益であるかもしれない。インストラクタARインタフェース600に表示される矢印602は、基準マーカ211に垂直であり、基準マーカ211が面する方向と反対に面する。表示のために矢印602を生成することは、超音波イメージングデバイス114を基準マーカ211が面する方向と反対に平行移動させる命令として有益であるかもしれない。インストラクタARインタフェース600に表示される矢印603は、基準マーカ211に垂直であり、基準マーカ212が面する方向に面する。表示のために矢印603を生成することは、超音波イメージングデバイス114を基準マーカ212が面する方向に平行移動させる命令として有益であるかもしれない。インストラクタARインタフェース600に表示される矢印604は、基準マーカ212に垂直であり、基準マーカ212が面する方向と反対に面する。表示のために矢印604を生成することは、超音波イメージングデバイス114を基準マーカ212が面する方向と反対に平行移動させる命令として有益であるかもしれない。基準マーカ213は、超音波イメージングデバイス114の長さ方向軸616に直交する平面内にある。インストラクタARインタフェース600に表示される矢印605は、基準マーカ212のその平面に平行な円形経路を形成する。表示のために矢印605を生成することは、超音波イメージングデバイス114を矢印605により示される方向に回転させる命令として有益であるかもしれない。インストラクタARインタフェース600に表示される矢印606は、基準マーカ212の、矢印605の経路と反対の方向の平面に平行な円形経路を形成する。表示のために矢印606を生成することは、超音波イメージングデバイス114を矢印606により示される方向に回転させる命令として有益であるかもしれない。インストラクタARインタフェース600に表示される矢印607は、基準マーカ212の平面に直交する円形経路を形成する。表示のために矢印607を生成することは、超音波イメージングデバイス114を矢印607により示される方向に傾ける命令として有益であるかもしれない。インストラクタARインタフェース600に表示される矢印608は、基準マーカ212の、矢印607の経路と反対方向の平面に直交する円形経路を形成する。表示のために矢印608を生成することは、超音波イメージングデバイス114を矢印608によって示される方向に傾ける命令として有益であるかもしれない。矢印607及び矢印608により示されていない、超音波イメージングデバイス114を傾ける残りの2つの方向に対応する2つの追加の矢印もまた、ARインタフェース600に表示されてよい点に留意すべきである。
[0063] インストラクタ電子機器122は、ユーザ電子機器102から、ユーザ電子機器102のカメラ106の位置姿勢に基づく転位を受信してよい。転位は、カメラがビデオフレーム610を取得したときの、カメラ106の位置姿勢の、(1)超音波イメージングデバイス114上の基準マーカに関するカメラ106のデフォルト位置姿勢から(2)超音波イメージングデバイス114上の基準マーカに関するカメラ106の現在の位置姿勢への変化を説明してよい。転位は、デフォルト位置姿勢から現在の位置姿勢へのカメラ106の平行移動、回転、及び/又は傾斜の定量化を含んでいてよく、マトリクスの形態であってよい。ユーザ電子機器102は、位置姿勢推定技術を使って特定のビデオフレーム610を分析し、ビデオフレーム610が取得された特定の時点での転位を特定してよい。インストラクタ電子機器122が連続的にビデオを受信する実施形態において、インストラクタ電子機器122は、イメージングセッション全体を通じて現在のビデオフレーム610に基づく更新転位を連続的に受信してよい。
[0064] 図6の実施形態において、超音波イメージングデバイス114は、超音波イメージングデバイス114に連結された基準マーカを含む。したがって、基準マーカに関するカメラ106の位置姿勢の変化を説明する転位は、超音波イメージングデバイス114に関するカメラ106の位置姿勢の変化を等価的に説明するかもしれない。(本明細書で言及されるかぎり、基準マーカが超音波イメージングデバイス114に連結される場合、超音波イメージングデバイス114に関するカメラ106の位置姿勢への言及は、基準マーカに関するカメラ106の位置姿勢への言及と互換可能であると理解すべきである。)カメラ106が超音波イメージングデバイス114に関して移動すると、転位はその移動を捕捉するかもしれない。特に、転位は、カメラ106に関する矢印(例えば、矢印601〜608の1つ)の方向を、インストラクタARインタフェース600の中で見たときに、超音波イメージングデバイス114に関する矢印の方向が、カメラ106が超音波イメージングデバイス114に関して移動しても一定のままとなるようにするために、どのように変化すべきかを説明するかもしれない。
[0065] 上記の議論を図解するものとして、図7はインストラクタARインタフェース600を示すが、超音波イメージングデバイス114に関するカメラ106の位置姿勢は図6の位置姿勢から変化している。カメラの視点から見た矢印601〜608は、図7では図6においてそれらが示す方向と異なる方向を指している。例えば、図6の矢印601は実質的に右側及びカメラ106の視点から見て上方を指し、他方で図7の矢印601は実質的に右側及びカメラ106の視点から見て下方を指している。それにもかかわらず、矢印601〜608は依然として超音波イメージングデバイス114に関して、図6と同じ方向を指している。例えば、矢印601は図6及び7のどちらにおいても超音波イメージングデバイス114の同じ面から発している。表示のためにインストラクタARインタフェース600を生成するためにインストラクタ電子機器122が使用する転位は、カメラ106の視点から見た矢印601〜608を、超音波イメージングデバイス114に関するカメラ106の位置姿勢が変化してもこれらが超音波イメージングデバイス114の視点から見て同じ方向を指すように、表示のために生成する方法を説明するかもしれない。(図7では基準マーカ212が見えず、基準マーカ212の反対の基準マーカ214が見えている点に留意すべきである。)
[0066] 前述のように、ユーザ電子機器102は超音波イメージングデバイス114と通信してよい。幾つかの実施形態において、超音波イメージングデバイス114は、超音波データを収集し、超音波データをユーザ電子機器102に送信してよく、ユーザ電子機器102はこの超音波データから超音波画像502を生成してよい。幾つかの実施形態において、超音波イメージングデバイス114は、超音波データを収集し、超音波データから超音波画像502を生成し、超音波画像502をユーザ電子機器102に送信してよい。ユーザ電子機器102は、超音波画像502をインストラクタ電子機器122に送信してよく、インストラクタ電子機器122は、インストラクタインタフェース500に表示するために超音波画像502を生成してよい。新しい超音波データが収集され、新しい超音波画像が生成されると、ユーザ電子機器102は新しい超音波画像502をインストラクタ電子機器122に送信してよく、インストラクタ電子機器122は、インストラクタインタフェース500上に示されている超音波画像502を新しい超音波画像502で更新してよい。
[0067] 図8は、インストラクタから矢印の選択を受信するインストラクタインタフェース500を示す。インストラクタインタフェース500は、インストラクタ電子機器の入力装置138を使って矢印の選択を受信してよい。図8の例では、入力装置138はマウスを含み、マウスカーソル800はユーザARインタフェース600内の特定の矢印601の上に乗っている。マウスがインストラクタによりクリックされると、矢印601が選択される。他の実施形態では、入力装置138は、インストラクタ電子機器122の表示スクリーン128上のタッチセンサを含んでいてよく、インストラクタは表示スクリーン128上の矢印601にタッチして、矢印601を選択してよい。インストラクタは、超音波画像502及び/又は超音波イメージングデバイス114のビデオフレーム610を使って、ユーザに超音波イメージングデバイス114をどのように移動させるように指示するかを決定してもよい。
[0068] 図9は、インストラクタから矢印の選択を受信した後のインストラクタインタフェース500を示す。インストラクタARインタフェース600上で、選択された矢印601だけが示されており、インストラクタARインタフェース600上に以前に示されていたその他の矢印は示されていない。超音波イメージングデバイス114を移動させる命令に対応する矢印601の選択を受信した後、インストラクタ電子機器122はこの命令をユーザ電子機器102に送信してよい。幾つかの実施形態において、インストラクタARインタフェース600に示される矢印601〜608の各々は識別子を有していてもよく、インストラクタ電子機器122は選択さたれ矢印601の識別子をユーザ電子機器102に送信してよい。例えば、図8の中の選択された矢印601を考える。矢印601は、超音波イメージングデバイス114に関するカメラ106のデフォルト位置姿勢において右を指しているかもしれない。前述のように、超音波イメージングデバイス114に関するカメラ106の位置姿勢が変化すると、カメラ106の視点から見た矢印601の方向は、超音波イメージングデバイス114の視点から見た矢印601の方向が実質的に一定のままであるように変化するかもしれない。しかしながら、ある時点で、矢印601は、その時点で矢印が必ずしもカメラ106の視点から見て右を指していなくても、デフォルト位置姿勢におけるカメラ106の視点から見たその方向に基づいて、「右」矢印として識別されるかもしれない。「右」と識別された矢印601が図8で選択された場合、インストラクタ電子機器122はこの矢印601に対応する命令を、「右」の識別子を送信することによって送信してよい。幾つかの実施形態において、矢印601〜608の各々は、他の種類の識別子、例えば説明的な意味を持たない英数字の識別子を有していてもよい。
[0069] 図10は、ユーザ電子機器102によって表示のために生成された例示的なユーザインタフェース1000を示す。例えば、ユーザ電子機器102は、ユーザ電子機器102の表示スクリーン108上のユーザインタフェース1000を表示のために生成してよい。ユーザインタフェース1000は、ユーザARインタフェース1100と、超音波画像502と、深度スケール1004と、プリセットメニューオプション1006と、静止画取得オプション1008と、シネ取得オプション1010と、イグジットモードオプション1012と、情報パネル1014と、リールインジケータ1015と、を含む。図10は、非限定的と理解すべきである。例えば、ユーザインタフェース1000は、図示されているものより少ない、又は多いコンポーネントを含んでいてもよく、及び/又はユーザインタフェース1000のコンポーネントは図示されているものとは異なるように配置されても、又は異なる形態を有していてもよい。
[0070] 前述のように、ユーザ電子機器102は超音波イメージングデバイス114と通信してよい。幾つかの実施形態において、超音波イメージングデバイス114は、超音波データを収集し、超音波データをユーザ電子機器102に送信してよく、ユーザ電子機器102は超音波データから超音波画像502を生成してよい。幾つかの実施形態において、超音波イメージングデバイス114は、超音波データを収集し、超音波データから超音波画像502を生成し、この超音波画像502をユーザ電子機器102に送信してよい。ユーザ電子機器102は、図10に示されるように、ユーザインタフェース1000上に表示するために超音波画像502を生成してよい。ユーザ電子機器102はまた、超音波画像502をインストラクタ電子機器122に送信してもよく、これは例えば図5に示されるように、インストラクタインタフェース500上に表示するために超音波画像502を生成してよい。新しい超音波データが収集され、新しい超音波画像が生成されると、ユーザ電子機器102はユーザインタフェース1000上に示されている超音波画像502を新しい超音波画像502で更新してもよい。ユーザ電子機器102はまた、新しい超音波画像502をインストラクタ電子機器122に送信してもよく、これはインストラクタインタフェース500上に示されている超音波画像502を新しい超音波画像502で更新してもよい。したがって、ある時点で、ユーザインタフェース1000及びインストラクタインタフェース500は、同じ超音波画像502を示していてもよく、これは超音波イメージングデバイス114により収集された最新の超音波データから生成されてよい。(しかしながら、ユーザ電子機器102が表示のために超音波画像502を生成する時とインストラクタ電子機器122が表示のために超音波画像502を生成する時との間にはタイムラグがあるかもしれず、これは、ユーザ電子機器102からインストラクタ電子機器122に超音波画像502を送信するのにかかる時間による。)インストラクタは、インストラクタインタフェース500上に示された超音波画像502を使って、ユーザに対して超音波イメージングデバイス114をどのように移動させるように指示するかを決定してよい。
[0071] 幾つかの実施形態において、ユーザ電子機器のカメラ106は、ビデオフレーム610を取得し、図10に示されるようにユーザインタフェース1000上に表示するためにビデオフレーム610を生成してよい。ユーザ電子機器102はまた、ビデオフレーム610をインストラクタ電子機器122に送信してもよく、それが、例えば図5に示されるようにインストラクタインタフェース500上に表示するためにビデオフレーム610を生成してよい。新しいビデオフレーム610が収集されると、ユーザ電子機器102は、ユーザインタフェース1000上に示されていたビデオフレーム610を新しいビデオフレーム610で更新してよい。ユーザ電子機器102はまた、新しいビデオフレーム610をインストラクタ電子機器122に送信してもよく、これはインストラクタインタフェース500に示されているビデオフレーム610を新しいビデオフレーム610で更新してよい。したがって、ある時点で、ユーザインタフェース1000及びインストラクタインタフェース500は、同じビデオフレーム610を示していてもよい。(しかしながら、ユーザ電子機器102が表示のためにビデオフレーム610を生成する時とインストラクタ電子機器122が表示のためにビデオフレーム610を生成する時との間にはタイムラグがあるかもしれず、これは、ユーザ電子機器102からインストラクタ電子機器122にビデオフレーム610を送信するのにかかる時間による。)
[0072] 図11は、ユーザARインタフェース1100をより詳しく示す。ユーザARインタフェース1100は、超音波イメージングデバイス114のビデオフレーム610(ユーザ電子機器102のカメラ106により取得され、インストラクトARインタフェース500上に表示されるためにインストラクタ電子機器122に送信される)を含む。ユーザARインタフェース1100はさらに、矢印1001を示す。前述のように、インストラクタ電子機器122はインストラクタインタフェース500上の複数の矢印のうちのある矢印の選択を受信してよい。図8の例では、矢印601が選択されている。超音波イメージングデバイス114を移動させる命令に対応する矢印601の選択を受信した後、インストラクタ電子機器122は、ユーザ電子機器102にその命令を送信してよく、それが命令を受信して、ユーザARインタフェース1100上に表示するために矢印1001を生成し得る。前述のように、幾つかの実施形態において、ユーザ電子機器102により受信される命令は、図8のインストラクタインタフェース500上に選択された矢印601の識別子を含んでいてよい。このような実施形態において、ユーザインタフェース1000上に表示するために矢印を生成するために、ユーザ電子機器102は、識別子に基づいて、カメラ106のデフォルト位置姿勢におけるカメラ106の視点から見た矢印601の方向を特定してよい。例えば、ユーザ電子機器102は、データベース内で、カメラ106のデフォルト位置姿勢におけるカメラ106の視点から見た、受信した識別子に対応する矢印の方向を照会してよい。ユーザ電子機器102はすると、転位を使って、カメラ106の視点から見た矢印1001の方向(例えば、回転及び/又は傾斜)を、矢印1001がユーザARインタフェース1110の中で、超音波イメージングデバイス114の視点から見た、それらがデフォルト位置姿勢にあるときに見られるものと実質的に同じ方向を指すように示されるには、どのように変化させるかを特定してよい。
[0073] ユーザARインタフェース1100は、インストラクタ電子機器122から受信した命令に対応する3つの矢印1001を示す。矢印1001はすべて同じ方向を指しており、矢印1001の中の幾つかは異なるサイズを有する。受信した命令に対応する複数の矢印1001を表示のために生成することは、受信した命令を明瞭な方法で視覚的に示すのを助けるかもしれない。幾つかの実施形態において、ユーザARインタフェース1100は、1つの矢印1001のみ、又は複数、例えば2、4、5等、任意の他の矢印1001を示してもよい。
[0074] 図12及び13は、2つの異なる時点でのユーザARインタフェース1100の例を示す。図12のARインタフェース1100は、第一の時間にカメラ106により取得されたビデオフレーム610を示す。ビデオフレーム610は、超音波イメージングデバイス114を示している。超音波イメージングデバイス114に連結された基準マーカ220がビデオフレーム610の中に見えている(他の基準マーカについては論じないため)。ユーザ電子機器102は、超音波イメージングデバイス114に関するカメラ106のデフォルト位置姿勢から現在の位置姿勢への転位を特定し、この転位を使って、ARインタフェース1100の中で基準マーカ220に対して垂直であり、及び基準マーカ220と同じ方向に面するように見える矢印1016を生成してよい。矢印1016は、超音波イメージングデバイス114を基準マーカ220が面する方向に平行移動させる命令として有益であるかもしれない。
[0075] 図13のARインタフェース1100は、第二の時間(例えば、図12に示される第一の時間より後)にカメラ106により取得されたビデオフレーム610を示す。超音波イメージングデバイスに関するカメラ106の位置姿勢は、図12の位置姿勢から変化している。ユーザ電子機器102は、超音波イメージングデバイス114に関するカメラ106のデフォルト位置姿勢から現在の位置姿勢への転位を特定してよい。第二の時間に特定された転位は、第一の時間に特定された転位とは異なるかもしれない。ユーザ電子機器102は、新しい転位を使って、ARインタフェース1100の中で基準マーカ220に対して垂直であり、基準マーカ220と同じ方向に面するように見える矢印1016を生成してよい。図13に示される矢印1016はしたがって、図12及び13において矢印1016がカメラ106の視点から見て異なる方向を指しているものの、図12に示される矢印1016と同じ命令、すなわち超音波イメージングデバイス114を基準マーカ220が面する方向に平行移動させる命令を伝達してもよい。ユーザ電子機器102はしたがって、転位を使って、ユーザARインタフェース1100上の矢印1016を、カメラ106が図12から図13に移動しても、矢印1016が超音波イメージングデバイス114に関するそれらの方向を自動的に保持するように、表示のために生成してよく、したがって、ユーザに伝達される命令は、カメラ106が移動する際に、図12から図13で変化しないことを確実にしてよい。
[0076] 図14及び15は、2つの異なる時点におけるユーザARインタフェース1100の例を示す。図14のARインタフェース1100は、第一の時間にカメラ106により取得されたビデオフレーム610を示す。ビデオフレーム610は、超音波イメージングデバイス114を示している。超音波イメージングデバイス114に連結された基準マーカ213がビデオフレーム610の中に見えている(他の基準マーカについては論じないため)。ユーザ電子機器102は、超音波イメージングデバイス114に関するカメラ106のデフォルト位置姿勢から現在の位置姿勢への転位を特定し、この転位を使って、ユーザARインタフェース1100の中で基準マーカ213の平面に平行な円形経路を形成するように見える矢印1018を生成してよい。矢印1018は、超音波イメージングデバイス114を矢印1018により示される方向に回転させる命令として有益であるかもしれない。
[0077] 図15のARインタフェース1100は、第二の時間(例えば、図14に示される第一の時間より後)にカメラ106により取得されたビデオフレーム610を示す。超音波イメージングデバイスに関するカメラ106の位置姿勢は、図14の位置姿勢から変化している。ユーザ電子機器102は、超音波イメージングデバイス114に関するカメラ106のデフォルト位置姿勢から現在の位置姿勢への転位を特定してよい。第二の時間に特定された転位は、第一の時間に特定された転位とは異なるかもしれない。ユーザ電子機器102は、新しい転位を使って、ユーザARインタフェース1100の中で基準マーカ213の平面に平行な円形経路を形成するように見える矢印1018を生成してよい。図14に示される矢印1018はしたがって、図14及び15において矢印1018がカメラ106の視点から見て異なる方向を指しているものの、図15に示される矢印1018と同じ命令、すなわち超音波イメージングデバイス114を矢印1018により示される方向に回転させる命令を伝達してよい。ユーザ電子機器102はしたがって、転位を使って、ユーザARインタフェース1100上の矢印1018を、矢印1018が超音波イメージングに関するそれらの方向を自動的に保持するように、表示のために生成してよく、したがって、ユーザに伝達される命令は、カメラ106が移動する際に、図14から図15で変化しないことを確実にしてよい。
[0078] 図16及び17は、2つの異なる時間のユーザARインタフェース1100の例を示す。図16のARインタフェース1100は、第一の時間にカメラ106により取得されたビデオフレーム610を示す。ビデオフレーム610は、超音波イメージングデバイス114を示している。超音波イメージングデバイス114に連結された基準マーカ213がビデオフレーム610の中に見えている(他の基準マーカについては論じないため)。ユーザ電子機器102は、超音波イメージングデバイス114に関するカメラ106のデフォルト位置姿勢から現在の位置姿勢への転位を特定し、この転位を使って、ユーザARインタフェース1100の中で基準マーカ213の平面に直交する円形経路を形成するように見える矢印1020を生成してよい。矢印1020は、超音波イメージングデバイス114を矢印1020により示される方向に傾ける命令として有益であるかもしれない。
[0079] 図17のARインタフェース1100は、第二の時間(例えば、図16に示される第一の時間より後)にカメラ106により取得されたビデオフレーム610を示す。超音波イメージングデバイスに関するカメラ106の位置姿勢は、図16の位置姿勢から変化している。ユーザ電子機器102は、超音波イメージングデバイス114に関するカメラ106のデフォルト位置姿勢から現在の位置姿勢への転位を特定してよい。第二の時間に特定された転位は、第一の時間に特定された転位とは異なるかもしれない。ユーザ電子機器102は、新しい転位を使って、ユーザARインタフェース1100の中で基準マーカ213の平面に直交する円形経路を形成するように見える矢印1020を生成してよい。図17に示される矢印1020はしたがって、図16及び17において矢印1020がカメラ106の視点から見て異なる方向を指しているものの、図15に示される矢印1020と同じ命令、すなわち超音波イメージングデバイス114を矢印1020により示される方向に傾ける命令を伝達してよい。ユーザ電子機器102はしたがって、転位を使って、ユーザARインタフェース1100上の矢印1020を、矢印1020が超音波イメージングに関するそれらの方向を自動的に保持するように、表示のために生成してよく、したがって、ユーザに伝達される命令は、カメラ106が移動する際に、図16から図17で変化しないことを確実にしてよい。
[0080] 本発明者らは、ユーザに超音波イメージングデバイスを移動させるように指示することには、ユーザがイメージングデバイスの位置姿勢をユーザ自身の位置姿勢と調和させる必要があることが関わっていると認識した。例えば、超音波イメージングデバイスの画像及び超音波イメージングデバイスの特定の面から発せられる方向の矢印を構成する命令を示しているディスプレイを考える。特に、超音波イメージングデバイスのその特定の面は、画像内に示される超音波イメージングデバイスの右側にあり、矢印はしたがって、右側を指していると考える。超音波イメージングデバイスに関するユーザの位置姿勢に応じて、画像内に示される超音波イメージングデバイスのその特定の面はユーザの左側にあるかもしれない可能性がある。それゆえ、ユーザは、超音波イメージングデバイスに関する自分自身の位置姿勢を調和させ、命令に従うことは、命令の中の矢印が右側を指しているにもかかわらず、超音波イメージングデバイスを自分の左に移動させることと判断する必要があるかもしれない。
[0081] 本発明者らは、超音波イメージングデバイスの位置姿勢をユーザ自身の位置姿勢と自動的に調和させることができるかもしれないことを認識した。ユーザが、ユーザ電子機器102を持ち、ユーザ電子機器102のカメラ106により取得されたユーザARインタフェース1100を見ている場合、ユーザの位置姿勢はカメラ106の位置姿勢と同じか、それに近いかもしれない。前述のように、ユーザ電子機器102は、カメラ106の移動に合わせて、超音波イメージングデバイス114に関するカメラ106の位置姿勢に基づいて転位を自動的に計算するかもしれない。ユーザ電子機器102はすると、この転位を使って、ユーザARインタフェース1100上の矢印を、カメラ106及びユーザが移動しても超音波イメージングデバイス114に関するその方向を自動的に保持するように、表示のために生成してよい。例えば、ユーザARインタフェース1100が超音波イメージングデバイス114のある特定の面から発せられる方向の矢印を示し、矢印がユーザARインタフェース1100において(カメラ106の視点から見て)右を指している場合を考える。ユーザARインタフェース1100はカメラ106により取得されたビデオフレーム610を示しているため、また、カメラ106の視点はユーザの視点と同じか、又はそれに近いため、超音波イメージングデバイス114のその特定の面はユーザの右側にあってよく、ユーザは、超音波イメージングデバイス114を、ユーザARインタフェース1100の中で矢印が指す方向と同じ方向である自分の右に移動させることによって、この命令に従うことができるかもしれない。ユーザ及びカメラ106が移動して、超音波イメージングデバイス114のその特定の面が今度はユーザの左に面する場合、ユーザ電子機器102はカメラ106から新たに取得されたビデオフレーム610に基づいて転位を計算して、この転位を使ってユーザARインタフェース1100上で(カメラ106の視点から見て)左を指すように矢印を変更するかもしれない。ユーザは、超音波イメージングデバイス114を、ユーザARインタフェース1100の中の矢印が指す方向と同じ方向である自分の左に移動させることによって、同じ命令に従うことができるかもしれない。ユーザ電子機器102はユーザの位置姿勢を超音波イメージングデバイス114の位置姿勢と自動的に調和させるかもしれないため、ユーザは、ユーザARインタフェース1100上に示される命令に従う前に、このような調和を自分自身で行う必要がないかもしれない。
[0082] 図18は、インストラクタから、ユーザに対して超音波イメージングデバイス114の移動を停止することを指示するオプション520の選択を受信しているインストラクタインタフェース500を示す。例えば、インストラクタは、マウスカーソル800を使ってこのオプションを選択してよい。幾つかの実施形態において、インストラクタ電子機器122がインストラクタARインタフェース600上の矢印601の選択を受信し、選択された矢印601の表示をユーザ電子機器102に送信した後、ユーザ電子機器102は図11に示されるように、選択された矢印601に対応する矢印1001を無期限での表示のために生成してよい。このような実施形態では、図18に示されるように、オプション520の選択を受信すると、インストラクタ電子機器122はユーザ電子機器102に、ユーザに対する超音波イメージングデバイス114の移動を停止する命令を送信してよい。幾つかの実施形態において、この命令を受信すると、ユーザ電子機器102は超音波イメージングデバイス114を移動させる命令(すなわち、矢印1001)を表示のために生成するのを停止してよい。幾つかの実施形態において、この命令を受信すると、ユーザ電子機器102はユーザに対して超音波イメージングデバイス114の移動を停止するように指示するテキスト、例えば「移動を停止」又は同様の意味の何れかの他のテキストを表示のために生成してよい。幾つかの実施形態において、オプション520の選択を受信すると、インストラクタ電子機器122は、超音波イメージングデバイス114を移動させるための考え得る命令に対応するすべての矢印601〜608の表示を再開してよく、それによってインストラクタは新しい命令を選択してよい。
[0083] 幾つかの実施形態において、インストラクタ電子機器122がインストラクタARインタフェース600上でインストラクタによる矢印601の選択を受信し、選択された矢印601の表示をユーザ電子機器102に送信すると、ユーザ電子機器102は、図10に示されるように、選択された矢印601に対応する矢印1001を設定時間にわたる表示のために生成してよい。例えば、設定時間は2秒、3秒、4秒、5秒、6秒、7秒、8秒、9秒、10秒、11秒、12秒、13秒、14秒、15秒、又は他の何れの適当な時間であってもよい。このような実施形態では、その時間が経過すると、ユーザARインタフェース1100は、超音波イメージングデバイス114を移動させる命令(すなわち、矢印1001)を表示のために生成するのを停止してもよく、インストラクタARインタフェース600は、超音波イメージングデバイス114を移動させるための考え得る命令に対応するすべての矢印601〜608を示すのを再開してよく、それによってインストラクタは新しい命令を選択してよい。
[0084] 幾つかの実施形態において、インストラクタ電子機器122は、矢印601の連続的な選択をある時間にわたり受信してよい。例えば、インストラクタはある時間にわたり、マウスカーソルを矢印601の上に載せながらマウスボタンを押し続けるか、又はインストラクタ電子機器122の表示スクリーン128上のタッチセンサに接触し続けることによって矢印601との接触を保持してよい。このような実施形態において、継続的な選択を受信すると、インストラクタ電子機器122は矢印601の表示をユーザ電子機器102に送信してよく、ユーザ電子機器102は矢印1001を表示のために生成してよい。継続的選択の停止を検出すると、インストラクタ電子機器122は超音波イメージングデバイス114の移動を停止する命令をユーザ電子機器102に送信してよく、命令を受信すると、ユーザ電子機器102は矢印1001を表示のために生成するのを停止してよい。したがって、ユーザが継続的に矢印601を選択する時間の長さに基づいて、インストラクタはユーザに対し、超音波イメージングデバイス114を、矢印により示される方向へとその長さの時間にわたり移動させ、その長さの時間が経過したら超音波イメージングデバイス114が移動を停止するようにユーザに指示してよい。
[0085] 図5に戻ると、幾つかの実施形態において、ユーザに超音波イメージングデバイス114を対象の特定の体内領域へと移動させるように指示するオプション506により示されるテキストは、心臓プリセットオプション522、肺プリセットオプション524、又は腹部プリセットオプション526の何れが選択されるか否かに依存するかもしれない。例えば、図5では、心臓プリセットオプション522が選択され、したがって、オプション506により示されるテキストは「心臓領域に移動してください」である。肺プリセットオプション524が選択された場合、オプション506により示されるテキストは「肺領域に移動してください」であってよい。腹部プリセットオプション526が選択されると、オプション506により示されるテキストは、「腹部領域に移動してください」であってよい。
[0086] 幾つかの実施形態において、インストラクタ電子機器122が、超音波イメージングデバイス114を特定の体内領域に移動させるオプション506の選択をインストラクタから受信すると、インストラクタ電子機器122はユーザ電子機器102に、ユーザに対する超音波イメージングデバイス114を特定の体内領域に移動させる命令を送信してよい。ユーザに対する超音波イメージングデバイス114を特定の体内領域に移動させる命令を受信すると、ユーザ電子機器102はユーザに対して超音波イメージングデバイス114を特定の体内領域に移動させるように指示するテキストを表示のために生成してよい。例えば、テキストは、「プローブをX領域に移動してください」又は同様の意味のその他のテキストであってよく、「X」は、心臓プリセットオプション522、肺プリセットオプション524、又は腹部プリセットオプション526の何れが選択されたかに応じて、「心臓」、「肺」、又は「腹部」であってよい。
[0087] 幾つかの実施形態において、インストラクタは、インストラクタ電子機器122上で、所定の体内ビュー(例えば、心臓の傍胸骨長軸像)のメニューを選択してよい。所定のビューの1つを選択すると、所定のビューを収集するために超音波イメージングデバイス114をどこに位置付けるかを指示するマーカを示す体のイラストがユーザ電子機器102に送信され、そこに表示されてよい。イラストは、超音波イメージングデバイス114を特定の体内領域に移動させるための前述のテキストと共に表示されてよい。イラストは、対象の体位を決めるテキスト(例えば、「患者を左側臥位にしてください」)と共に表示されてよい。幾つかの実施形態において、インストラクタは、インストラクタ電子機器122上でカスタムイラストを作成してもよい。特に、インストラクタは、体のイラストの上で、特定の解剖学的ビューを収集するために超音波イメージングデバイス114をどこに位置付けるかを示すマーカを置く位置を選択してよい。インストラクタはまた、位置決め情報を選択してもよい。カスタムイラスト及び位置決め情報はすると、ユーザ電子機器102に送信され、その上に表示されてよい。
[0088] 幾つかの実施形態において、インストラクタ電子機器122が、ユーザに対して対象に深呼吸してそのまま止めるように指示することを指示するオプション508の選択をインストラクタから受信すると、インストラクタ電子機器122は、対象に深呼吸してそのまま止めるように指示するユーザに対する命令をユーザ電子機器102に送信してよい。対象に深呼吸してそのまま止めるように指示するユーザに対する命令を受信すると、ユーザ電子機器102はユーザに、対象に深呼吸してそのまま止めるように指示することを指示するテキストを表示のために生成してよい。例えば、テキストは「深呼吸してください」、「患者に深呼吸してそのまま止めるように言ってください」、又は同様の意味の他のテキストであってよい。
[0089] 幾つかの実施形態において、インストラクタ電子機器122が、ユーザに対して対象に横向きに寝るように指示することを指示するオプション510の選択をインストラクタから受信すると、インストラクタ電子機器122は、ユーザに対して対象に横向きで寝るように指示することを指示するユーザに対する命令をユーザ電子機器102に送信してよい。ユーザに対して対象に横向きで寝るように指示することを指示するユーザに対する命令を受信すると、ユーザ電子機器102は、ユーザに対して対象に横向きで寝るように指示することを指示するように指示するテキストを表示のために生成してよい。例えば、テキストは、「横向きに寝てください」、「患者を横向きに寝かしてください」、「患者に横向きに寝るように言ってください」、又は同様の意味のその他のテキストであってよい。
[0090] 幾つかの実施形態において、インストラクタ電子機器122上で、ユーザに超音波イメージングデバイス114をカメラ106(すなわち、ビデオフレーム610を取得しているカメラ106)の視野内に移動させるように指示するオプション512の選択を受信すると、インストラクタ電子機器122はユーザ電子機器102に、超音波イメージングデバイス114をカメラ106の視野内に移動させるユーザに対する命令を送信してよい。超音波イメージングデバイス114をカメラ106の視野内に移動させるユーザに対する命令を受信すると、ユーザ電子機器102は、ユーザに超音波イメージングデバイス114をカメラ106の視野内に移動させるように指示するテキストを表示のために生成してよい。例えば、テキストは、「カメラはプローブが見えません。プローブを視野の中に移動させてください」、「プローブをカメラの視野の中に移動させてください」、又は同様の意味の他のテキストであってよい。
[0091] 幾つかの実施形態において、ユーザ電子機器102は自動的に、ユーザに超音波イメージングデバイス114をカメラ106の視野の中に移動させるように命令するテキストを表示のために生成してよい。例えば、ユーザ電子機器102は、超音波イメージングデバイス114を描写する、カメラ106により取得されたビデオフレーム610の中に基準マーカが検出できない時に、このテキストを生成してよい。
[0092] 幾つかの実施形態において、インストラクタ電子機器122が、対象により多くのジェルを塗るようにユーザに指示するオプション514の選択をインストラクタから受信すると、インストラクタ電子機器122はユーザ電子機器102に、対象により多くのジェルを塗るユーザに対する命令を送信してよい。対象により多くのジェルを塗るユーザに対する命令を受信すると、ユーザ電子機器102は、対象により多くのジェルを塗るようにユーザに指示するテキストを表示のために生成してよい。例えば、テキストは、「ジェルを塗ってください」、又は同様の意味の他のテキストであってよい。
[0093] 幾つかの実施形態において、インストラクタ電子機器122が、ユーザに超音波イメージングデバイス114を対象により強く押し付けるように指示するオプション516の選択をインストラクタから受信すると、インストラクタ電子機器122は、ユーザ電子機器102に、超音波イメージングデバイス114を対象により強く押し付けるユーザに対する命令を送信してよい。超音波イメージングデバイス114を対象により強く押し付けるユーザに対する命令を受信すると、ユーザ電子機器102は、ユーザに対して超音波イメージングデバイス114を対象により強く押し付けるように指示するテキストを表示のために生成してよい。例えば、テキストは、「より強く押し付けてください」、又は同様の意味の他のテキストであってよい。
[0094] 幾つかの実施形態において、インストラクタ電子機器122が、ユーザに超音波イメージングデバイス114をより小刻みに、及び/又はより短距離ずつ移動させるように指示するオプション518をインストラクタから受信すると、インストラクタ電子機器122は、ユーザ電子機器102に、超音波イメージングデバイス114をより小刻みに、及び/又はより短距離ずつ移動させるユーザに対する命令を送信してよい。超音波イメージングデバイス114をより小刻みに、及び/又はより短距離ずつ移動させるユーザに対する命令を受信すると、ユーザ電子機器102は、超音波イメージングデバイス114をより小刻みに、及び/又はより短距離ずつ移動させるようにユーザに指示するテキストを表示のために生成してよい。例えば、テキストは「速度を落としてください」、「よりゆっくり動かしてください」、「より小刻みに動かしてください」、「より短距離ずつ動かしてください」、又は同様の意味のその他のテキストであってよい。
[0095] 前述のように、インストラクタ電子機器においてオプション506、508、510、512、514、516、518、及び/又は520を選択することにより、ユーザ電子機器102は表示のためにテキストを生成することになるかもしれない。テキストはユーザ電子機器102上に、デフォルト持続時間にわたり、カスタム持続時間にわたり、インストラクタ電子機器122でリセットオプションが選択されるまで、又はインストラクタ電子機器122上で他のオプションが選択されるまで表示されてよい。
[0096] 幾つかの実施形態において、インストラクタ電子機器122が心臓プリセットオプション522の選択をインストラクタから受信すると、インストラクタ電子機器122はユーザ電子機器102に、イメージングプリセットを心臓プリセットに変更する命令を送信してよい。イメージングプリセットを心臓プリセットに変更する命令を受信すると、ユーザ電子機器102は、例えば超音波イメージングデバイス114を心臓プリセットに対応するイメージングパラメータで構成するコマンドを超音波イメージングデバイス114に送信することによって、イメージングプリセットを心臓プリセットに変更してよい。
[0097] 幾つかの実施形態において、インストラクタ電子機器122が肺プリセットオプション524の選択をインストラクタから受信すると、インストラクタ電子機器122はユーザ電子機器102に、イメージングプリセットを肺プリセットに変更する命令を送信してよい。イメージングプリセットを肺プリセットに変更する命令を受信すると、ユーザ電子機器102は、例えば超音波イメージングデバイス114を肺プリセットに対応するイメージングパラメータで構成するコマンドを超音波イメージングデバイス114に送信することによって、イメージングプリセットを肺プリセットに変更してよい。
[0098] 幾つかの実施形態において、インストラクタ電子機器122が腹部プリセットオプション526の選択をインストラクタから受信すると、インストラクタ電子機器122はユーザ電子機器102に、イメージングプリセットを腹部プリセットに変更する命令を送信してよい。イメージングプリセットを腹部プリセットに変更する命令を受信すると、ユーザ電子機器102は、例えば超音波イメージングデバイス114を腹部プリセットに対応するイメージングパラメータで構成するコマンドを超音波イメージングデバイス114に送信することによって、イメージングプリセットを腹部プリセットに変更してよい。
[0099] 幾つかの実施形態において、インストラクタ電子機器122が、ゲインスライダ528からの特定のゲイン値の選択をインストラクタから受信すると、インストラクタ電子機器122はユーザ電子機器102に、イメージングゲインをその特定のゲイン値に変更する命令を送信してよい。イメージングゲインをその特定のゲイン値に変更する命令を受信すると、ユーザ電子機器102は、例えばその特定のゲインを使って超音波画像を生成するようにそれ自体を構成することによって、及び/又はその特定のゲイン値を使って超音波画像を生成するコマンドを超音波イメージングデバイス114に送信することによって、イメージングゲインをその特定のゲイン値に変更してよい。
[00100] 幾つかの実施形態において、インストラクタ電子機器122が、深度スライダ530からの特定の深度値の選択をインストラクタから受信すると、インストラクタ電子機器122はユーザ電子機器102に、イメージング深度をその特定の深度値に変更する命令を送信してよい。イメージング深度をその特定の深度値に変更する命令を受信すると、ユーザ電子機器102は、例えばその特定の深度までの超音波データを収集するコマンドを超音波イメージングデバイス114に送信することによって、イメージング深度をその特定の深度値に変更してよい。
[00101] 幾つかの実施形態において、インストラクタ電子機器122が、ゲインスライダ528からの特定のゲイン値の選択をインストラクタから受信すると、インストラクタ電子機器122はユーザ電子機器102に、その特定のゲイン値を使って超音波画像を生成する命令を送信してよい。その特定のゲイン値を使って超音波画像を生成する命令を受信すると、ユーザ電子機器102は、その特定のゲイン値を使って超音波画像を生成するようにそれ自体を構成し、及び/又はその特定のゲイン値を使って超音波画像を生成するコマンドを超音波イメージングデバイス114に送信してよい。
[00102] 幾つかの実施形態において、インストラクタ電子機器122が、カラーオプション544からカラードップラモードをオンにする選択をインストラクタから受信すると、インストラクタ電子機器122は、ユーザ電子機器102にカラードップラモードをオンにする命令を送信してよい。カラードップラモードをオンにする命令を受信すると、ユーザ電子機器102はカラードップラモードを使って超音波画像を生成してよい。幾つかの実施形態において、インストラクタ電子機器122がカラーオプション544からカラードップラモードをオフにする選択をインストラクタから受信すると、インストラクタ電子機器122は、ユーザ電子機器102にカラードップラモードをオフにする命令を送信してよい。カラードップラモードをオフにする命令を受信すると、ユーザ電子機器102はカラードップラモードをオフにしてよい。幾つかの実施形態において、インストラクタはインストラクタインタフェース500上のコントロールを使用して、超音波画像502上のカラーボックスの頂点を操作して、超音波画像502のうちのカラードップラモードをアクティベートすべき部分を選択してよい。
[00103] 幾つかの実施形態において、インストラクタ電子機器122がフリーズオプション532の選択をインストラクタから受信すると、インストラクタ電子機器122は、ユーザ電子機器102にユーザインタフェース1000上の超音波画像をフリーズする命令を送信してよい。ユーザインタフェース1000上の超音波画像をフリーズする命令を受信すると、ユーザ電子機器102は、新しい超音波データから生成された超音波画像を使って、ユーザインタフェース1000上に示されている超音波画像502を更新しなくてよい。同様に、ユーザ電子機器102は、新しい超音波データから生成された超音波画像をインストラクタ電子機器122に送信しなくてよく、それによってインストラクタインタフェースはインストラクタインタフェース500上に示されている超音波画像502を更新しない。フリーズオプション532を選択すると、インストラクタインタフェース500はインタフェースを表示してよく、インストラクタはそこからスクロールして、過去にメモリに保存された超音波画像/シネを見てもよい。インストラクタは、インストラクタインタフェース500上のコントロールを使って、これらの超音波画像/シネに注釈を付けてよい。
[00104] 幾つかの実施形態において、インストラクタ電子機器122が、静止画取得オプション536の選択をインストラクタから受信すると、インストラクタ電子機器122は、最後に生成された超音波画像をメモリに保存する命令をユーザ電子機器102に送信してよい。最後に生成された超音波画像をメモリに保存する命令を受信すると、ユーザ電子機器102は最後に生成された超音波画像をユーザ電子機器102のメモリ112に保存し、及び/又は超音波画像を1つ又は複数のサーバ134におけるメモリに保存するために1つ又は複数のサーバ134に送信してもよい。幾つかの実施形態において、インストラクタ電子機器122が静止画取得オプション536の選択をインストラクタから受信すると、インストラクタ電子機器122は、ユーザ機器102からインストラクタ電子機器122において最後に受信した超音波画像を保存し、及び/又はその超音波画像を、1つ又は複数のサーバ134のメモリに保存するために1つ又は複数のサーバ134に送信してもよい。最後に生成された超音波画像、ユーザ電子機器102からインストラクタ電子機器122において最後に受信した超音波画像、並びにユーザインタフェース1000及びインストラクタインタフェース500上に現在示されている超音波画像502は、例えば超音波画像の生成、送信、及び表示の間にタイムラグがある場合、必ずしも同じではないかもしれない点に留意すべきである。幾つかの実施形態において、インストラクタ電子機器122が静止画取得オプション536の選択をインストラクタから受信すると、インストラクタ電子機器122とユーザ電子機器102の両方が超音波画像をメモリに同期して、又は重複して保存してよい(例えば、インストラクタ電子機器122とユーザ電子機器102は、同じ超音波画像又は重複する超音波画像を含む超音波画像の集合を保存してよい)。
[00105] 幾つかの実施形態において、シネ取得オプション534は2つの状態、すなわちイネーブル状態とディスエーブル状態を有していてよい。シネ取得オプション534がイネーブル状態にあるとき、シネ取得オプション534の選択はシネ取得オプション534をディスエーブル状態にする。シネ取得オプション534がディスエーブル状態にあるとき、シネ取得オプション534の選択はシネ取得オプション534をイネーブル状態にする。シネ取得オプション534がイネーブル状態にあるとき、シネ取得オプション534はインストラクタインタフェース500上で、シネ取得オプション534がディスエーブル状態にあるときとは異なるように見えてよい。例えば、シネ取得オプション534がイネーブル状態にあるとき、シネ取得オプション534は押されたボタンとして見え、他方でシネ取得オプション534がディスエーブル状態にあるとき、シネ取得オプション534は押されていないボタンとして見えてよい。他の選択肢として、シネ取得オプション534は、シネ取得オプション534がイネーブル状態又はディスエーブル状態かに応じて異なる色であってよい。幾つかの実施形態において、インストラクタ電子機器122がシネ取得オプション534の選択をインストラクタから受信して、シネ取得オプション534がイネーブル状態に入ると、インストラクタ電子機器122はシネ(すなわち、連続する1つ又は複数の超音波画像)を保存する命令をユーザ電子機器102に送信してよい。新しい超音波画像のシネを保存する命令を受信すると、ユーザ電子機器102は新しい超音波データに基づいて生成される超音波画像を保存してよい。換言すれば、超音波データが超音波イメージングデバイス114により収集され、新しい超音波画像が新しい超音波データから生成されると、ユーザ電子機器102は新しい超音波画像をユーザ電子機器102のメモリ112に保存し、及び/又は新しい超音波画像を1つ又は複数のサーバ134のメモリに保存するために1つ又は複数のサーバ134に送信してよい。幾つかの実施形態において、シネ取得オプション534が選択され、シネ取得オプション534がディスエーブル状態に入ると、インストラクタ電子機器122は超音波画像のシネの取得を停止する命令をユーザ電子機器102に送信してよい。超音波画像のシネの取得を停止する命令を受信すると、ユーザ電子機器102は新しい超音波画像に基づいて生成される超音波画像の保存を停止してよい。
[00106] 幾つかの実施形態において、インストラクタ電子機器122がシネ取得オプション534の選択をインストラクタから受信し、シネ取得オプション534がイネーブル状態になると、インストラクタ電子機器122は新しい超音波データに基づいて生成され、ユーザ電子機器102から受信した超音波画像を保存してよい。換言すれば、新しい超音波データが超音波イメージングデバイス114により収集され、新しい超音波画像が新しい超音波データに基づいて生成されると、ユーザ電子機器102は新しい超音波画像をインストラクタ電子機器122に送信してよく、インストラクタ電子機器122は新しい超音波画像をインストラクタ電子機器122のメモリ132に保存し、及び/又は新しい超音波画像を、1つ又は複数のサーバ134のメモリに保存するために1つ又は複数のサーバ134に送信してよい。幾つかの実施形態において、シネ取得オプション534が選択され、シネ取得オプション534がディスエーブル状態になると、インストラクタ電子機器122は、新しい超音波データに基づいて生成された超音波画像の保存を停止してよい。
[00107] 幾つかの実施形態において、インストラクタ電子機器122がスキャン停止オプション538の選択をインストラクタから受信すると、インストラクタ電子機器122は超音波スキャンを終了する命令をユーザ電子機器102に送信してよい。超音波スキャンを終了する命令を受信すると、ユーザ電子機器102は超音波データの収集を停止するコマンドを超音波イメージングデバイス114に送信してよい。
[00108] 患者接続インジケータ504は、ユーザ電子機器102がネットワーク116上でインストラクタ電子機器122と通信リンクを確立したか否かを示してよい。目的インジケータ542は、現在のイメージングセッションの目標を示してよい。例えば、図5の目的インジケータ542は、現在のイメージングセッションの目的が腹部大動脈瘤のスクリーニングであることを示す。リールインジケータ540は、保存された超音波画像/シネの番号を示してよい。リールインジケータ540が選択されると、インストラクタインタフェース500は、保存された超音波画像/スキャンを示してよい。保存された超音波画像/シネを選択すると超音波画像/シネが拡大され、他方でインストラクタインタフェース500の残りの部分は見やすさのために暗くなる。幾つかの実施形態において、インストラクタインタフェース500は、インストラクタがそこから保存された超音波画像/シネを含むレポートを作成することのできるインタフェースを含んでいてよい。
[00109] 幾つかの実施形態において、インストラクタインタフェース500は、インストラクタがインストラクタインタフェース500上に表示された超音波画像502の上で測定を行うための追加のコントロールを有していてよい。例えば、インストラクタはコントロールを使って解剖学的パラメータ(例えば、血管の直径)又は生理学的パラメータ(例えば、駆出率)を測定してよい。
[00110] インストラクタインタフェース500上のオプションの何れの選択も、インストラクタ電子機器122上で入力装置128を使って行われてよく、これにはマウス、タッチスクリーン、キーボード、音声入力、3Dマウス(例えば、SpaceMouse(登録商標))、マイクロフォン、ジェスチャ認識を使用するコントローラ(例えば、Leap Motion(登録商標)コトンローラ)、又は他のあらゆるめ入力手段を使用することを含んでいてよい。
[00111] 図10に戻ると、幾つかの実施形態において、ユーザ電子機器102が静止画取得オプション1008の選択をユーザから受信すると、ユーザ電子機器102はユーザインタフェース1000上に現在示されている超音波画像502をユーザ電子機器102のメモリ112に保存し、及び/又は超音波画像502を1つ又は複数のサーバ134のメモリに保存するために1つ又は複数のサーバ134に送信してよい。幾つかの実施形態において、ユーザ電子機器102が静止画取得オプション1008の選択をユーザから受信すると、ユーザ電子機器102は最後に生成された超音波画像をユーザ電子機器102のメモリ112に保存し、及び/又は超音波画像502を1つ又は複数のサーバ134におけるメモリに保存するために1つ又は複数のサーバ134に送信してよい。最後に生成された超音波画像は、例えば超音波画像の生成と超音波画像の表示との間にタイムラグがある場合、ユーザインタフェース1000上に現在示されている超音波画像502でなくてもよいことに留意されたい。
[00112] 幾つかの実施形態において、シネ取得オプション1010は2つの状態、すなわちイネーブル状態とディスエーブル状態を有していてよい。シネ取得オプション1010がイネーブル状態にあるとき、シネ取得オプション1010の選択はシネ取得オプション1010をディスエーブル状態にする。シネ取得オプション1010がディスエーブル状態にあるとき、シネ取得オプション1010選択はシネ取得オプション1010をイネーブル状態にする。シネ取得オプション1010がイネーブル状態にあるとき、シネ取得オプション1010はユーザインタフェース1000上で、シネ取得オプション1010がディスエーブル状態にあるときとは異なるように見えてよい。例えば、シネ取得オプション1010がイネーブル状態にあるとき、シネ取得オプション1010は押されたボタンとして見え、他方でシネ取得オプション1010がディスエーブル状態にあると、シネ取得オプション1010は押されていないボタンとして見えてよい。他の選択肢として、シネ取得オプション1010は、シネ取得オプション1010がイネーブル状態又はディスエーブル状態かに応じて異なる色であってよい。幾つかの実施形態において、シネ取得オプション1010が選択され、シネ取得オプション1010がイネーブル状態になると、ユーザ電子機器102は新しい超音波データに基づいて生成された超音波画像を保存してよい。換言すれば、新しい超音波データが超音波イメージングデバイス114により収集され、新しい超音波画像が新しい超音波データに基づいて生成されると、ユーザ電子機器102は新しい超音波画像をユーザ電子機器102のメモリ112に保存し、及び/又は1つ又は複数のサーバ134のメモリに保存するために1つ又は複数のサーバ134に送信してよい。幾つかの実施形態において、シネ取得オプション1010が選択され、シネ取得オプション534がディスエーブル状態に入ると、ユーザ電子機器102は新しい超音波データに基づいて生成される超音波画像の保存を停止してよい。
[00113] 深度スケール1004は、超音波画像502内に示されている解剖学的特徴が(超音波イメージングデバイス114の先の)どの深度にあるかを示してよい。情報パネル1014は、現在のユーザのアバタ、サーマルインデックス、メカニカルインデックス、フレームレート、超音波イメージングデバイス114のバッテリ状態、超音波イメージングデバイス114の温度状態、及び現在のプリセット等の各種の情報を示してよい。リールインジケータ1015は、保存された超音波画像/シネの番号を示してよい。リールインジケータ1015が選択されると、ユーザインタフェース1000は保存された超音波画像/シネを示してよい。保存された超音波画像/シネを選択すると、その超音波画像/シネが拡大されることがあり、他方でユーザインタフェース1000の残りは見やすさのために暗くなる。幾つかの実施形態において、ユーザ電子機器102は、ユーザがユーザインタフェース1000上で特定の設定(例えば、イメージングパラメータ)を行えないかもしれない。その代わりに、インストラクタだけがこれらの設定をリモートで制御できるかもしれない。
[00114] 幾つかの実施形態において、ユーザとインストラクタは音声で通信してよい。例えば、インストラクタ電子機器122の入力装置138がマイクロフォンを含む場合、インストラクタはマイクロフォンに向かって話してよく、インストラクタ電子機器122は音声信号をマイクロフォンからユーザ電子機器102に送信してよく、ユーザ電子機器102は音声信号をスピーカ109から出力してよい。ユーザ電子機器102の入力装置118がマイクロフォンを含む場合、ユーザはマイクロフォンに向かって話してよく、ユーザ電子機器102は音声信号をマイクロフォンからインストラクタ電子機器122に送信してよく、インストラクタ電子機器102は音声信号をスピーカ141から出力してよい。ユーザとインストラクタは、ユーザによる超音波イメージングデバイス114の移動をさらに支援するために音声通信を使用してよい。
[00115] 幾つかの実施形態において、インストラクタはインストラクタARインタフェース600上で、ユーザが超音波イメージングデバイス114を位置付けるべき位置を選択してよい。例えば、インストラクタは、超音波イメージングデバイス114の半透明画像をビデオフレーム610上で所望の位置までドラッグしてよい。インストラクタ電子機器122は、選択された位置をユーザ電子機器102に送信してよく、ユーザ電子機器102は、ユーザARインタフェース1100の選択された位置を表示して、超音波イメージングデバイス114をどこに位置付けるべきかをユーザに指示してよい。
[00116] 前述の図面の一部(例えば、図5、8、9、10、及び18)は実際の状況を示していないかもしれないと理解すべきである。特に、これらの図面は、生きていない物体をスキャンしている超音波イメージングデバイス114を描写したビデオフレーム610と、超音波イメージングデバイス114により収集された超音波画像502を示しており、この超音波画像502は生きている対象の体内を示している。実際の状況では、ビデオフレーム610は生きている対象をスキャンしている超音波イメージングデバイス114を描写しているかもしれず、超音波画像502はその生きている対象の体内を示しているかもしれないと理解すべきである。
[00117] 各種の発明的概念は1つ又は複数のプロセスとして実施されてよく、その中の例を以下に提供する。各プロセスの一部として行われる動作は、何れの適当な順序でもよい。それゆえ、動作が例示されているものとは異なる順序で行われる実施形態が構成されてもよく、これらは幾つかの動作を、たとえ例示的実施形態では逐次的動作として示されているとしても、同時に行うことも含んでいてよい。さらに、プロセスの1つ又は複数を組み合わせ、及び/又は省略してもよく、プロセスの1つ又は複数は追加のステップを含んでいてもよい。
[00118] 図19は、例示的な実施形態による、インストラクタ電子機器(例えば、インストラクタ電子機器122)により実行可能な遠隔医療のための例示的プロセス1900を示す。インストラクタユーザ電子機器は、超音波イメージングデバイス(例えば、超音波イメージングデバイス114)のユーザに指示を与える人間のインストラクタに関連付けられてよい。インストラクタ電子機器は、(例えば無線接続を通じて)超音波イメージングデバイスのユーザに関連付けられたユーザ電子機器(例えば、ユーザ電子機器102)と通信してよい。インストラクタ電子機器とユーザ電子機器は相互に離れていてよい。
[00119] 動作1902で、インストラクタ電子機器は、ユーザ電子機器から超音波イメージングデバイスを示すビデオフレーム(例えば、ビデオフレーム610)を受信する。ビデオフレームは、カメラ(例えば、カメラ106)により取得されてよい。例えば、ユーザ電子機器がモバイルフォンである場合、カメラはモバイルフォンのカメラであってよい。超音波イメージングデバイスのユーザが超音波イメージングデバイスを画像化対象の、対象の体表上で持ち、ユーザ電子機器のカメラ(同じくユーザが持っていてよい)を、超音波イメージングデバイスがカメラの視野の中に入るように位置付けていてよい。幾つかの実施形態において、ユーザ電子機器は、超音波イメージングセッションで終始連続的にビデオ取得してよく、インストラクタ電子機器は超音波イメージングセッションで終始連続的にビデオを受信してよい。インストラクタ電子機器は、送信に適した何れのデータ形態としてコード化されたビデオを受信してもよい。幾つかの実施形態において、インストラクタ電子機器は、無線通信リンク上で(例えば、BLUETOOTH(登録商標)、WiFi、又はZIGBEE(登録商標)無線通信リンク上で)ユーザ電子機器からビデオを受信してよい。プロセス1900は、動作1902から動作1904に進む。
[00120] 動作1904で、インストラクタ電子機器は、ユーザ電子機器からカメラの位置姿勢に基づく転位を受信する。幾つかの実施形態において、超音波イメージングデバイスは、超音波イメージングデバイスに関連付けられた基準マーカ(例えば、ArUcoマーカ)を含んでいてよく、転位は、カメラの位置姿勢における(1)超音波イメージングデバイスの基準マーカに関するカメラのデフォルト位置姿勢から(2)カメラがビデオフレームを取得したときの超音波イメージングデバイス上の基準マーカに関するカメラの現在の位置姿勢への変化を説明してよい。転位は、デフォルト位置姿勢から現在の位置姿勢へのカメラの平行移動、回転、及び/又は傾斜の定量化を含んでいてよく、マトリクスの形態であってよい。ユーザ電子機器は、位置姿勢推定技術を使って、特定の時間からの特定のビデオフレームを分析し、その特定の時間における転位を特定してよい。インストラクタ電子機器がビデオを連続的に受信する実施形態では、インストラクタ電子機器はイメージングセッションで終始、現在のビデオフレームに基づいて更新された転位を連続的に受信してよい。インストラクタ電子機器は、送信に適した何れのデータ形態としてコード化された転位を受信してもよい。幾つかの実施形態において、インストラクタ電子機器は、無線通信リンク上で(例えば、BLUETOOTH(登録商標)、WiFi、又はZIGBEE(登録商標)無線通信リンク上で)ユーザ電子機器から転位を受信してよい。プロセス1900は、動作1904から動作1906に進む。
[00121] 動作1906では、動作1904で受信した転位に基づいて、インストラクタ電子機器は、動作1902で受信した超音波イメージングデバイスのビデオフレーム上の複数の矢印(例えば、矢印601〜608)の重ね合わせを、インストラクタ拡張現実(AR)インタフェース(例えば、インストラクタARインタフェース600)上で表示するために生成する。したがって、インストラクタARインタフェースは、現実の成分(ビデオ)と現実でない成分(矢印)の両方を含んでいてよい。インストラクタ電子機器が表示スクリーンを含む実施形態において(例えば、インストラクタ電子機器がモバイルフォン、タブレット、又はラップトップである場合)、インストラクタ電子機器はそれ自体の表示スクリーン上に表示するためにインストラクタARインタフェースを生成してよい。プロセス1900は、動作1906から動作1908に進む。
[00122] 矢印は、超音波イメージングデバイスを移動させるための考え得る命令、すなわち超音波イメージングデバイスを平行移動させ、回転させ、及び/又は傾ける命令に対応してよい。超音波イメージングデバイスを移動させる命令は、超音波イメージングデバイスを平行移動させる命令、超音波イメージングデバイスを回転させる命令(すなわち、超音波イメージングデバイスの長さ方向軸の周囲での回転)、及び超音波イメージングデバイスを傾ける命令(例えば、超音波イメージングデバイスの、対象と接触する端部分の周囲で超音波イメージングデバイスを傾ける)の何れの組合せを含んでいてもよい。超音波イメージングデバイスを移動させる命令は、超音波イメージングデバイスを現在の位置及び向きから、対象の体表上の、標的の解剖学的ビュー(例えば、心臓の傍胸骨長軸像)を取得できる位置及び向きに移動させるように設計された命令であってよい。
[00123] 超音波イメージングデバイスが、超音波イメージングデバイスに連結された基準マーカを含む実施形態において、基準マーカに関するカメラの位置姿勢の変化を説明する転位は、超音波イメージングデバイスに関するカメラの位置姿勢の変化を等価的に説明するかもしれない。カメラ又は超音波イメージングデバイスが移動すると、転位はその移動を捕捉するかもしれない。特に、転位は、カメラに関する矢印の方向を、インストラクタARインタフェースの中で見た時の超音波イメージングデバイスに関する矢印の方向が、カメラが超音波イメージングデバイスに関して移動しても一定のままであるようにするために、どのように変更すべきかを説明するかもしれない。
[00124] 動作1908で、インストラクタ電子機器はユーザ電子機器から超音波画像(例えば、超音波画像502)を受信する。ユーザ電子機器は、超音波イメージングデバイスと通信してよく、幾つかの実施形態において、超音波イメージングデバイスは生の超音波データを収集し、生の超音波データをユーザ電子機器に送信してよく、ユーザ電子機器は生の超音波データから超音波画像を生成してよい。幾つかの実施形態において、超音波イメージングデバイスは生の超音波データを収集し、生の超音波データから超音波画像を生成し、超音波画像をユーザ電子機器に送信してよい。ユーザ電子機器はすると、超音波画像をインストラクタ電子機器に送信してよい。幾つかの実施形態において、インストラクタ電子機器は、無線通信リンク上で(例えば、BLUETOOTH(登録商標)、WiFi、又はZIGBEE(登録商標)無線通信リンク上で)ユーザ電子機器からの超音波画像を受信してよい。プロセス1900は、動作1908から動作1910に進む。
[00125] 動作1910で、インストラクタ電子機器は、表示のために超音波画像(動作1908で受信された)を生成する。例えば、インストラクタ電子機器は、インストラクタ電子機器上で表示するために超音波画像を生成してよい。新しい超音波データが収集され、新しい超音波画像が生成されると、ユーザ電子機器は新しい超音波画像をインストラクタ電子機器に送信してよく、インストラクタ電子機器は表示のために新しい超音波画像を生成してよい。プロセス1900は、動作1910から動作1912に進む。
[00126] 動作1912で、インストラクタ電子機器は、インストラクタARインタフェース上の複数の矢印のうちの1つの選択を受信する。前述のように、超音波イメージングデバイスのビデオの上に重ね合わされた矢印は、超音波イメージングデバイスを移動させるための考え得る命令に対応する。したがって、選択された矢印は、超音波イメージングデバイスを移動させる(例えば、平行移動させる、回転させる、又は傾ける)特定の命令に対応する。矢印を選択することにより、インストラクタは、超音波イメージングデバイスを標的の体内領域により近付けるためにユーザが超音波イメージングデバイスを矢印で示される方向に移動させるべきであると決定してよい。インストラクタARインタフェースがインストラクタARインタフェース600に対応する場合、インストラクタ電子機器は矢印601〜608のうちの1つの選択を受信してよい。幾つかの実施形態において、矢印のうちの1つの選択を受信することは、表示スクリーン上に示された矢印のうちの1つの上でのマウスのクリックを受信することを含んでいてよい。幾つかの実施形態において、インストラクタ電子機器は、インストラクタARインタフェースを示すタッチセンシティブ表示スクリーンを含んでいてよく、矢印のうちの1つの選択を受信することは、タッチセンシティブ表示スクリーン上に示された矢印との接触を検出することを含んでいてよい。インストラクタは、超音波画像及び/又は超音波イメージングデバイスのビデオフレームを使って、ユーザに対してどのように超音波イメージングデバイスを移動させるように指示するかを決定してよい。プロセス1900は、動作1912から動作1914に進む。
[00127] 動作1914で、インストラクタ電子機器は動作1912で選択された矢印に対応する命令をユーザ電子機器に送信する。インストラクタ電子機器は、送信に適した何れのデータ形態としてコード化された命令を送信してもよい。幾つかの実施形態において、インストラクタARインタフェース内に示される矢印の各々は識別子を有していてもよく、インストラクタ電子機器は、選択された矢印の識別子をユーザ電子機器に送信してもよい。例えば、超音波イメージングデバイスに関するカメラのデフォルトの位置姿勢において右を指す矢印を考える。前述のように、超音波イメージングデバイスに関するカメラの位置姿勢が変化すると、矢印はビデオの中で見たときに、超音波イメージングデバイスに関する矢印の方向が実質的に一定のままであるように、異なる方向を指すかもしれない。しかしながら、何れかの時点で、矢印は、矢印がその時点でビデオの中で見たときに必ずしも右を指していなくても、デフォルトの位置姿勢においてビデオの中で見られるその方向に基づいて、「右」矢印として識別されるかもしれない。動作1912において「右」と識別される矢印が選択されると、インストラクタ電子機器は、識別子「右」を送信することによって、この矢印に対応する命令を送信してよい。幾つかの実施形態において、インストラクタ電子機器は、無線通信リンク上で(例えば、BLUETOOTH(登録商標)、WiFi、又はZIGBEE(登録商標)無線通信リンク上で)ユーザ電子機器に命令を送信してよい。図20に関してさらに述べるように、インストラクタ電子機器から送信される命令は、ユーザ電子機器上で矢印として表示されるために生成されてよく、超音波イメージングデバイスのユーザに超音波イメージングデバイスをその命令に従って移動させるように指示するために使用されてよい。
[00128] プロセス1900の動作は必ずしも図19に示される順序では進まなくてよい点に留意すべきである。例えば、動作1904は動作1902の前に、又はそれと同時に行われてよく、動作1908及び1910は動作1902、1904、及び1906の前に、又はそれと同時に行われてもよい。
[00129] 図20は、例示的な実施形態による、ユーザ電子機器(例えば、ユーザ電子機器102)により実行可能な遠隔医療のための例示的プロセス2000を示す。ユーザ電子機器は、超音波イメージングデバイス(例えば、超音波イメージングデバイス114)のユーザに関連付けられてよい。ユーザ電子機器は、(例えば、有線又は無線接続を通じて)超音波イメージングデバイスと通信し、及び(例えば、無線接続を通じて)超音波イメージングデバイスのユーザに指示を提供するインストラクタに関連付けられたインストラクタ電子機器(例えば、インストラクタ電子機器122)と通信してよい。ユーザ電子機器とインストラクタ電子機器は相互に離れていてよい。
[00130] 動作2002で、ユーザ電子機器は、カメラ(例えば、カメラ106)を使って、超音波イメージングデバイスを示すビデオフレーム(例えば、ビデオフレーム610)を受信する。例えば、ユーザ電子機器がモバイルフォンである場合、カメラはモバイルフォンのカメラであってもよい。超音波イメージングデバイスのユーザが超音波イメージングデバイスを画像化対象の、対象の体表上で持ち、ユーザ電子機器のカメラ(同じくユーザが持っていてもよい)を、超音波イメージングデバイスがカメラの視野の中に入るように位置付けてよい。幾つかの実施形態において、ユーザ電子機器は、超音波イメージングセッションで終始連続的にビデオを取得してもよい。プロセス2000は、動作2002から動作2004に進む。
[00131] 動作2004で、ユーザ電子機器は、動作2002で取得したビデオフレームをインストラクタ電子機器に送信する。ユーザ電子機器は、ビデオを送信に適した何れのデータ形態でコード化してもよい。幾つかの実施形態において、ユーザ電子機器は、無線通信リンク上で(例えば、BLUETOOTH(登録商標)、WiFi、又はZIGBEE(登録商標)無線通信リンク上で)インストラクタ電子機器にビデオを送信してもよい。ユーザ電子機器が連続的にビデオを取得する実施形態では、ユーザ電子機器はイメージングセッションで終始連続的にビデオフレームをインストラクタ電子機器に送信してよい。プロセス2000は、動作2004から動作2006に進む。
[00132] 動作2006で、ユーザ電子機器は、動作2002で取得したビデオフレームから転位を特定する。ユーザ電子機器は、位置姿勢推定技術を使って転位を特定してよい。転位は、デフォルト位置姿勢から現在の位置姿勢へのカメラの平行移動、回転、及び/又は傾斜の定量化を含んでいてよく、マトリクスの形態であってよい。ユーザ電子機器は、位置姿勢推定技術を使って、特定の時間からの特定のビデオフレームを分析して、その特定の時間における転位を特定してよい。インストラクタ電子機器がビデオフレームを連続的に受信する実施形態では、インストラクタ電子機器は、イメージングセッションで終始、現在のビデオフレームに基づいて更新された転位を連続的に受信してよい。プロセス2000は、動作2006から2008に進む。
[00133] 動作2008で、ユーザ電子機器は、動作2006で特定された転位をインストラクタ電子機器に送信する。ユーザ電子機器は、転位を送信に適した何れのデータ形態でコード化してもよい。幾つかの実施形態において、ユーザ電子機器は、無線通信リンク上で(例えば、BLUETOOTH(登録商標)、WiFi、又はZIGBEE(登録商標)無線通信リンク上で)インストラクタ電子機器に転位を送信してもよい。ユーザ電子機器が連続的に転位を特定する実施形態では、ユーザ電子機器はイメージングセッションで終始連続的に転位をインストラクタ電子機器に送信してよい。プロセス2000は、動作2008から動作2010に進む。
[00134] 動作2010で、ユーザ電子機器は、超音波イメージングデバイスから超音波データを受信する。幾つかの実施形態において、超音波イメージングデバイスは生の超音波データを収集し、生の超音波データをユーザ電子機器に送信してよく、ユーザ電子機器は生の超音波データから超音波画像(例えば、超音波画像502)を生成してよい。幾つかの実施形態において、超音波イメージングデバイスは生の超音波データを収集し、生の超音波データから超音波画像を生成し、超音波画像をユーザ電子機器に送信してよい。ユーザ電子機器は、有線接続、例えばライトニングコネクタ又はミニUSBコネクタを通じて超音波イメージングデバイスから超音波データを受信してもよい。プロセス2000は、動作2010から動作2012に進む。
[00135] 動作2012で、ユーザ電子機器は超音波画像をインストラクタ電子機器に送信する。幾つかの実施形態において、ユーザ電子機器は、無線通信リンク上で(例えば、BLUETOOTH(登録商標)、WiFi、又はZIGBEE(登録商標)無線通信リンク上で)超音波画像をインストラクタ電子機器に送信してもよい。新しい超音波データが収集され、新しい超音波画像が生成されると、ユーザ電子機器は新しい超音波画像をインストラクタ電子機器に送信してよい。プロセス2000は、動作2012から動作2014に進む。
[00136] 動作2014で、ユーザ電子機器は、超音波イメージングデバイスを移動させる命令をインストラクタ電子機器から受信する。超音波イメージングデバイスを移動させる命令は、超音波イメージングデバイスを平行移動させる命令、超音波イメージングデバイスを回転させる命令(すなわち、超音波イメージングデバイスの長さ方向軸の周囲での回転)、及び超音波イメージングデバイスを傾ける命令(例えば、超音波イメージングデバイスの、対象と接触する端部分の周囲で超音波イメージングデバイスを傾ける)の何れの組合せを含んでいてもよい。超音波イメージングデバイスを移動させる命令は、超音波イメージングデバイスを現在の位置から、対象の体表上の、標的の解剖学的ビュー(例えば、心臓の傍胸骨長軸像)を取得できる位置及び向きに移動させるように設計された命令であってよい。
[00137] 図19に関して前述したように、幾つかの実施形態において、インストラクタ電子機器はインストラクタARインタフェース上に示された複数の矢印のうちの1つの矢印の選択を受信してよく、矢印の各々は超音波イメージングデバイスを移動させるための考え得る命令に対応する。矢印を選択することにより、インストラクタは、超音波イメージングデバイスを標的の体内領域により近付けるためにユーザが超音波イメージングデバイスを矢印で示される方向に移動させるべきであると決定してよい。図19に関して上でさらに述べたように、幾つかの実施形態において、インストラクタARインタフェース内に示された矢印の各々は識別子を有していてよく、インストラクタ電子機器は、選択された矢印の識別子をユーザ電子機器に送信してもよい。例えば、超音波イメージングデバイスに関するカメラのデフォルトの位置姿勢において右を指す矢印を考える。前述のように、超音波イメージングデバイスに関するカメラの位置姿勢が変化すると、インストラクタARインタフェースは、転位を使って、超音波イメージングデバイスに関する矢印の方向が実質的に一定のままとなるかもしれないように、ビデオの中で見たときに異なる方向の矢印を表示のために生成してよい。しかしながら、何れかの時点で、矢印は、矢印がその時点でビデオの中で見たときに必ずしも右を指していなくても、デフォルトの位置姿勢においてビデオの中で見られるその方向に基づいて、「右」矢印として識別されるかもしれない。インストラクタ電子機器において「右」と識別される矢印が選択されると、ユーザ電子機器は、インストラクタ電子機器から識別子「右」を受信することによって、この矢印に対応する命令を受信するかもしれない。換言すれば、識別子は、超音波イメージングデバイスに関するカメラのデフォルトの位置姿勢において見た時の矢印の説明を含んでいてよい。プロセス2000は、動作2014から2016に進む。
[00138] 動作2016で、ユーザ電子機器は、転位に基づいて、ユーザ電子機器に示されるユーザ拡張現実(AR)インタフェース(例えば、ユーザARインタフェース1100)の上に表示するために、超音波イメージングデバイスを移動させる命令(動作2014で受信)を生成する。ユーザARインタフェースに示される命令は、ビデオフレーム上に重ね合わされた矢印を含む。(ビデオフレームは、動作2002で受信されたものと同じビデオフレームであっても、又は新しいビデオフレームが動作2002及び2014間で受信された場合は、新しいビデオフレームであってもよい。)矢印は、超音波イメージングデバイスの平行移動、回転、及び/又は傾きを示してよい。前述のように、幾つかの実施形態において、ユーザ電子機器により受信された命令は、インストラクタインタフェース上で選択された矢印の識別子を含んでいてよい。このような実施形態では、ユーザARインタフェース上で表示するための矢印を生成するために、ユーザ電子機器は、識別子に基づいて、カメラのデフォルト位置姿勢におけるカメラの視点から見た矢印の方向を特定してよい。例えば、ユーザ電子機器は、受信した識別子に対応する、カメラのデフォルト位置姿勢においてカメラの視点から見た時の矢印の方向を、データベースの中で照会してもよい。ユーザ電子機器はすると、転位を使って、矢印がユーザARインタフェースの中で、超音波イメージングデバイスの視線から見て、それらがデフォルトの位置姿勢にあるときと実質的に同じ方向を指していると示されるようにするには、カメラの視点から見た矢印の方向(例えば、回転及び/又は傾ける)をどのように変化させるかを特定してよい。
[00139] プロセス2000の動作は必ずしも図20に示される順序では進まなくてよい点に留意すべきである。例えば、動作2004は動作2006の後に行われてよく、動作2008は動作2004の前に、又はそれと同時に行われてよく、動作2010及び2012は動作2002、2004、2006、及び2008の前に、又はそれと同時に行われてもよい。
[00140] 幾つかの実施形態において、超音波イメージングデバイスを移動させる命令がインストラクタにより選択された時点で超音波イメージングデバイスにより収集され、インストラクタインタフェース上に示された超音波画像は、メモリ(例えば、サーバ134上)に保存され、選択された命令に関連付けられてよい。このようにして保存された超音波画像と命令のペアは、モデル(例えば、ディープラーニングモデル/統計モデル)を訓練して、入力された超音波画像に基づいて超音波イメージングデバイスを移動させる命令を自動的に特定させるために使用されてよい。このようなモデルは、超音波イメージングデバイスにより収集された超音波画像に基づいて、標的となる解剖学的ビューを収集できる位置及び向きへと超音波イメージングデバイスをどのように移動させるかを自動的にユーザに指示するために使用されてよい。ディープラーニング/機械学習技術及び自動取得支援に関するさらなる議論については、2017年6月19に出願された(本願と同じ譲受人に譲渡されている)“AUTOMATIC IMAGE ACQUISITION FOR ASSISTING A USER TO OPERATE AN ULTRASOUND DEVICE”と題する米国特許出願第15/626,423号を参照されたく、その全体を参照によって本願に援用する。
[00141] 本開示の各種の態様は、単独で、組み合わせて、又は上述の実施形態の中で具体的に論じられていない様々な配置で使用されてよく、したがって、その応用において、上記の説明文の中に記され、又は図面に描かれた詳細及びコンポーネントの配置には限定されない。例えば、1つの実施形態において記載された態様は、他の実施形態において記載された態様と何れの方法で組み合わせられてもよい。
[00142] 不定冠詞(a, an)は、本願において明細書及び特許請求の範囲で使用される場合、別段な明確な記載がないかぎり、「少なくとも1つ」を意味すると理解すべきである。
[00143] 「及び/又は」という語句は、本願において明細書及び特許請求の範囲で使用される場合、そのように接続された要素の「何れか又は両方」を意味する、すなわち、ある場合には接続的に存在し、別の場合には選言的に存在する要素を意味すると理解すべきである。「及び/又は」と共に挙げられている複数の要素も同様に、すなわち、そのように接続された要素の「1つ又は複数」と解釈されるべきである。その他の要素は、「及び/又は」クローズにより具体的に特定された要素のほかに、具体的に特定されたこれらの要素に関係しているか関係していないかを問わず、他の要旨が任意選択により存在してもよい。それゆえ、非限定的な例として、「A及び/又はB」との句は、「〜を含む」等のオーブンエンドの文言と共に使用された場合に、1つの実施形態ではAのみ(任意選択によりB以外の要素を含む)を指し、他の実施形態ではBのみ(任意選択によりA以外の要素を含む)を指し、また別の実施形態ではAとBの両方(任意選択により、他の要素を含む)指す、等とすることができる。
[00144] 本願において明細書及び特許請求の範囲で使用される場合、1つ又は複数の要素のリストに関する「少なくとも1つの」という語句は、要素のリストの中の要素の何れかの1つ又は複数から選択される少なくとも1つの要素を意味すると理解すべきであるが、必ずしも要素のリストの中に具体的に挙げられたひとつひとつの要素の少なくとも1つを含むとは限らず、要素のリストの中の要素の何れの組合せも排除しない。この定義はまた、「少なくとも1つ」という語句が関係する要素のリストの中に具体的に明示された要素以外の要素が、具体的に明示されたこれらの要素に関係しているかいないかを問わず、任意選択により存在することも許容する。それゆえ、非限定的な例として、「A及びBの少なくとも1つ」(又は等価的に、「A又はBの少なくとも1つ」、又は等価的に「A及び/又はBの少なくとも1つ」)は、1つの実施形態では、任意選択により複数を含む少なくとも1つのAを指し、Bは存在せず(任意選択によりB以外の要素を含む)、他の実施形態では、任意選択により複数を含む少なくとも1つのBを指し、Aは存在せず(任意選択によりA以外の要素を含む)、また別の実施形態では、任意選択により複数を含む少なくとも1つのA及び任意選択により複数を含む少なくとも1つのB(任意選択によりその他の要素を含む)を指す、等とすることができる。
[00145] 特許請求の範囲の中で「第一の」、「第二の」、「第三の」等の序数がクレーム要素を修飾するために使用されても、それ自体が1つのクレーム要素の他の要素に対する優位性、優先性、若しくは序列、又はある方法の動作が行われる時間的順序を暗示せず、特定の名称を有する1つのクレーム要素を同じ名称(序数を除く)を有する他の要素から区別して、クレーム要素を区別するためのラベルとして使用されているにすぎない。
[00146] 「ほぼ」及び「約」という用語は、幾つかの実施形態では標的値の±20%以内、幾つかの実施形態では標的値の±10%以内、幾つかの実施形態では標的値の±5%、及び幾つかの実施形態ではさらに標的値の±2%以内を意味するために使用されているかもしれない。「ほぼ」及び「約」という用語は、標的値を含んでいてよい。
[00147] また、本願で使用される表現方法及び用語法は説明を目的としており、限定的とみなされるべきではない。本願における「〜を含む」、「〜を有する」(including、comprising、又はhaving、containing、involving)及びその変化形の使用は、その後に挙げられている項目及びその等価物のほか、追加の項目も包含するものとする。
[00148] 以上、少なくとも1つの実施形態の幾つかの態様について説明したが、当業者は様々な改変、変更、及び改良を容易に着想すると理解されたい。このような改変、変更、及び改良は、本開示の目的であるものとする。したがって、上記の説明及び図面は例にすぎない。
Claims (33)
- ユーザ電子機器であって、
超音波イメージングデバイスを移動させる外部生成命令を受信し、
前記ユーザ電子機器に含まれるユーザ拡張現実インタフェース上に、前記超音波イメージングデバイスを移動させる前記外部生成命令を表示する
ように構成されたユーザ電子機器
を含む装置。 - 前記ユーザ電子機器はさらに、
カメラにより取得されたビデオであって、前記超音波イメージングデバイスを描写するビデオを受信するように構成され、
前記ユーザ拡張現実インタフェースは、前記超音波イメージングデバイスを描写する前記ビデオを含む、
請求項1に記載の装置。 - 前記ユーザ電子機器は前記カメラを含む、請求項2に記載の装置。
- 前記ユーザ電子機器は、前記ユーザ拡張現実インタフェースに前記外部生成命令を表示する際、前記超音波イメージングデバイスを示す前記ビデオの上に重ね合わされる矢印を表示するように構成される、請求項2に記載の装置。
- 前記超音波イメージングデバイスは1つ又は複数の基準マーカを含む、請求項4に記載の装置。
- 前記ユーザ電子機器はさらに、
前記1つ又は複数の基準マーカに関する前記カメラのデフォルト位置姿勢から第一の時点での前記1つ又は複数の基準マーカに関する前記カメラの第一の位置姿勢への第一の転位を特定し、
前記ユーザ拡張現実インタフェースを前記第一の転位に基づいて表示する
ように構成される、請求項5に記載の装置。 - 前記ユーザ電子機器はさらに、
前記1つ又は複数の基準マーカに関する前記カメラのデフォルト位置姿勢から第一の時点の後の第二の時点における前記1つ又は複数の基準マーカに関する前記カメラの第二の位置姿勢への第二の転位を特定し、前記第一の転位は前記第二の転位と異なり、そして
前記第二の転位に基づいて前記ユーザ拡張現実インタフェースを表示する
ように構成される、請求項6に記載の装置。 - 前記ユーザ電子機器はさらに、前記ユーザ拡張現実インタフェースの中で前記1つ又は複数の基準マーカの1つに垂直であるように見える方向の矢印を表示のために生成するように構成される、請求項5に記載の装置。
- 前記ユーザ電子機器はさらに、前記矢印を、前記矢印が前記ユーザ拡張現実インタフェースの中で、前記1つ又は複数の基準マーカのうちの1つのある平面に平行な円形経路を形成して見えるように表示するように構成される、請求項5に記載の装置。
- 前記ユーザ電子機器はさらに、前記矢印を、前記矢印が前記ユーザ拡張現実インタフェースの中で、前記1つ又は複数の基準マーカのうちの1つのある平面に直交する円形経路を形成して見えるように表示するように構成される、請求項5に記載の装置。
- 前記外部生成命令は、インストラクタにより操作されるインストラクタ電子機器から受信される、請求項1に記載の装置。
- 前記ユーザ電子機器はさらに、
前記超音波イメージングデバイスの移動を停止する外部生成命令を受信し、
前記ユーザ電子機器上で、前記超音波イメージングデバイスの移動を停止する前記外部生成命令を表示する
ように構成される、請求項1に記載の装置。 - 前記ユーザ電子機器はさらに、
前記超音波イメージングデバイスの移動を停止する外部生成命令を受信し、
前記ユーザ電子機器に含まれる前記ユーザ拡張現実インタフェース上で、前記超音波イメージングデバイスを移動させる前記外部生成命令の表示を停止する
ように構成される、請求項1に記載の装置。 - 前記ユーザ電子機器はさらに、
イメージングプリセットを変更する外部生成命令を受信し、
前記イメージングプリセットを変更する
ように構成される、請求項1に記載の装置。 - 前記ユーザ電子機器はさらに、
イメージングゲインを変更する外部生成命令を受信し、
前記イメージングゲインを変更する
ように構成される、請求項1に記載の装置。 - 前記ユーザ電子機器はさらに、
イメージング深度を変更する外部生成命令を受信し、
前記イメージング深度を変更する
ように構成される、請求項1に記載の装置。 - 前記ユーザ電子機器はさらに、
前記ユーザ電子機器の表示スクリーン上の超音波画像をフリーズさせる外部生成命令を受信し、
前記ユーザ電子機器上の前記表示スクリーン上の前記超音波画像をフリーズさせる
ように構成される、請求項1に記載の装置。 - 前記ユーザ電子機器はさらに、
1つ又は複数の超音波画像をメモリに保存する外部生成命令を受信し、
前記1つ又は複数の超音波画像をメモリに保存する
ように構成される、請求項1に記載の装置。 - 前記ユーザ電子機器はさらに、
前記超音波イメージングデバイスを特定の体内領域へと移動させる外部生成命令を受信し、
前記超音波イメージングデバイスを特定の体内領域へと移動させる前記外部生成命令を表示する
ように構成される、請求項1に記載の装置。 - 前記ユーザ電子機器はさらに、
対象に深呼吸してそのまま止めるように指示する外部生成命令を受信し、
前記対象に深呼吸してそのまま止めるように指示する前記外部生成命令を表示する
ように構成される、請求項1に記載の装置。 - 前記ユーザ電子機器はさらに、
前記超音波イメージングデバイスを前記カメラの視野内に移動させる命令を受信し、
前記超音波イメージングデバイスを前記カメラの視野内に移動させる前記命令を表示する
ように構成される、請求項3に記載の装置。 - 前記ユーザ電子機器はさらに、
前記超音波イメージングデバイスを対象により強く押し付ける外部生成命令を受信し、
前記超音波イメージングデバイスを前記対象により強く押し付ける前記外部生成命令を表示する
ように構成される、請求項1に記載の装置。 - 前記ユーザ電子機器はさらに、
前記超音波イメージングデバイスをより短距離ずつ、及び/又はより小刻みに移動させる外部生成命令を受信し、
前記超音波イメージングデバイスをより短距離ずつ、及び/又はより小刻みに移動させる前記外部生成命令を表示する
ように構成される、請求項1に記載の装置。 - 前記ユーザ電子機器はさらに、
イントラクタ電子機器に、前記超音波イメージングデバイスにより収集された超音波データ及び/又は前記超音波データから生成された超音波画像を送信する
ように構成される、請求項1に記載の装置。 - インストラクタ電子機器であって、
超音波イメージングデバイスを描写するインストラクタ拡張現実インタフェースを表示し、
前記インストラクタ拡張現実インタフェース上で、前記超音波イメージングデバイスを移動させる命令を受信し、
ユーザ電子機器に対し、前記超音波イメージングデバイスを移動させる前記命令を送信する
ように構成されるインストラクタ電子機器
を含む装置。 - 前記超音波イメージングデバイスを移動させる前記命令は、前記インストラクタ電子機器を操作するインストラクタから受信される、請求項25に記載の装置。
- 前記インストラクタ電子機器はさらに、
カメラにより取得されたビデオであって、前記超音波イメージングデバイスを描写するビデオを受信するように構成され、
前記インストラクタ拡張現実インタフェースは、前記超音波イメージングデバイスを示す前記ビデオを表示する、
請求項26に記載の装置。 - 前記インストラクタ電子機器はさらに、前記インストラクタ拡張現実インタフェース上に、前記超音波イメージングデバイスを示す前記ビデオの上の複数の矢印の重ね合わせを表示するように構成され、前記複数の矢印の各々は、前記超音波イメージングデバイスを移動させるための可能な命令に応答する、請求項27に記載の装置。
- 前記インストラクタ電子機器はさらに、
前記インストラクタ拡張現実インタフェース上の前記複数の矢印のうちの1つの選択を受信し、前記複数の矢印のうちの前記選択された1つは、前記超音波イメージングデバイスを移動させる命令に対応し、
前記命令を前記ユーザ電子機器に送信する
ように構成される、請求項28に記載の装置。 - 前記インストラクタ電子機器はさらに、
前記超音波イメージングデバイスの移動を停止する命令の選択を受信し、
前記ユーザ電子機器に対し、前記超音波イメージングデバイスの移動を停止する前記命令を送信する
ように構成される、請求項29に記載の装置。 - 前記インストラクタ電子機器は、前記インストラクタ拡張現実インタフェース上の前記複数の矢印のうちの1つの前記選択を受信すると、前記インストラクタ拡張現実インタフェース上の連続的選択を受信するように構成され、
前記インストラクタ電子機器はさらに、
前記インストラクタ電子機器において、前記超音波イメージングデバイスの移動を停止する命令を受信し、前記超音波イメージングデバイスの移動を停止する前記命令を受信することは、前記インストラクタ拡張現実インタフェース上の連続的選択の停止を検出することを含み、
前記インストラクタ電子機器から前記ユーザ電子機器に、前記超音波イメージングデバイスの移動を停止する前記命令を送信する
ように構成される、請求項29に記載の装置。 - 前記インストラクタ電子機器は、前記連続的選択を受信する場合、連続的なマウスのクリックを受信するか、表示スクリーン上のタッチ式センサとの連続的な接触を受信するように構成される、請求項31に記載の装置。
- 前記インストラクタ電子機器はさらに、
前記ユーザ電子機器から超音波画像を受信し、
前記超音波画像を表示する
ように構成される、請求項25に記載の装置。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862636127P | 2018-02-27 | 2018-02-27 | |
US62/636,127 | 2018-02-27 | ||
US201862646333P | 2018-03-21 | 2018-03-21 | |
US62/646,333 | 2018-03-21 | ||
PCT/US2019/019551 WO2019168832A1 (en) | 2018-02-27 | 2019-02-26 | Methods and apparatus for tele-medicine |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021514695A true JP2021514695A (ja) | 2021-06-17 |
Family
ID=67684993
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020542959A Pending JP2021514695A (ja) | 2018-02-27 | 2019-02-26 | 遠隔医療のための方法及び装置 |
Country Status (9)
Country | Link |
---|---|
US (1) | US11690602B2 (ja) |
EP (1) | EP3759720A4 (ja) |
JP (1) | JP2021514695A (ja) |
KR (1) | KR20200125658A (ja) |
CN (1) | CN111758137A (ja) |
AU (1) | AU2019229174A1 (ja) |
CA (1) | CA3091269A1 (ja) |
TW (1) | TW201936114A (ja) |
WO (1) | WO2019168832A1 (ja) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018005091A (ja) * | 2016-07-06 | 2018-01-11 | 富士通株式会社 | 表示制御プログラム、表示制御方法および表示制御装置 |
US11087538B2 (en) * | 2018-06-26 | 2021-08-10 | Lenovo (Singapore) Pte. Ltd. | Presentation of augmented reality images at display locations that do not obstruct user's view |
US20200037998A1 (en) | 2018-08-03 | 2020-02-06 | Butterfly Network, Inc. | Methods and apparatuses for guiding collection of ultrasound data using motion and/or orientation data |
US11559279B2 (en) | 2018-08-03 | 2023-01-24 | Bfly Operations, Inc. | Methods and apparatuses for guiding collection of ultrasound data using motion and/or orientation data |
US11393170B2 (en) | 2018-08-21 | 2022-07-19 | Lenovo (Singapore) Pte. Ltd. | Presentation of content based on attention center of user |
US10991139B2 (en) | 2018-08-30 | 2021-04-27 | Lenovo (Singapore) Pte. Ltd. | Presentation of graphical object(s) on display to avoid overlay on another item |
EP3881232A4 (en) * | 2018-11-15 | 2022-08-10 | Magic Leap, Inc. | DEEP NEURON NETWORK POSE ESTIMATION SYSTEM |
CN113260313A (zh) | 2019-01-07 | 2021-08-13 | 蝴蝶网络有限公司 | 用于超声数据收集的方法和装置 |
WO2020206173A1 (en) | 2019-04-03 | 2020-10-08 | Butterfly Network, Inc. | Methods and apparatuses for collection and visualization of ultrasound data |
WO2021062129A1 (en) | 2019-09-27 | 2021-04-01 | Butterfly Network, Inc. | Methods and apparatuses for detecting degraded ultrasound imaging frame rates |
CN110680394B (zh) * | 2019-11-01 | 2023-02-28 | 上海联影医疗科技股份有限公司 | 超声探头的操作方法及装置、超声设备及计算机设备 |
KR102144671B1 (ko) * | 2020-01-16 | 2020-08-14 | 성균관대학교산학협력단 | 증강현실 안경을 활용한 인공지능형 초음파 자가 진단을 위한 초음파 스캐너 자세 교정 장치 및 이를 이용한 원격 의료 진단 방법 |
WO2021158761A1 (en) * | 2020-02-07 | 2021-08-12 | Butterfly Network, Inc. | Methods and apparatuses for detection of one or more taps by an ultrasound device |
CN113393940B (zh) * | 2020-03-11 | 2024-05-24 | 宏达国际电子股份有限公司 | 控制方法以及医疗系统 |
WO2021231609A1 (en) * | 2020-05-12 | 2021-11-18 | California Institute Of Technology | Decoding movement intention using ultrasound neuroimaging |
US11806192B2 (en) | 2020-12-09 | 2023-11-07 | Industrial Technology Research Institute | Guiding system and guiding method for ultrasound scanning operation |
US20220401080A1 (en) * | 2021-06-16 | 2022-12-22 | Pouya SAMANGOUEI | Methods and apparatuses for guiding a user to collect ultrasound images |
GB2611556A (en) * | 2021-10-07 | 2023-04-12 | Sonovr Ltd | Augmented reality ultrasound-control system for enabling remote direction of a user of ultrasound equipment by experienced practitioner |
TWI779916B (zh) * | 2021-11-02 | 2022-10-01 | 宏碁股份有限公司 | 遠端通訊的方法及系統 |
CN118541093A (zh) * | 2021-12-22 | 2024-08-23 | 皇家飞利浦有限公司 | 利用深呼吸确认参考图像帧和目标图像帧的管腔内成像 |
US20230326586A1 (en) * | 2022-04-06 | 2023-10-12 | Emed Labs, Llc | Systems and methods for facilitating remote testing using computer vision, gig-economy quality assurance system for data labeling and discrete task completion and proctor management |
WO2023201074A1 (en) * | 2022-04-15 | 2023-10-19 | Stryker Corporation | Pointer tool for endoscopic surgical procedures |
Family Cites Families (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5922018A (en) | 1992-12-21 | 1999-07-13 | Artann Corporation | Method for using a transrectal probe to mechanically image the prostate gland |
US8253779B2 (en) | 2000-10-11 | 2012-08-28 | University of Pittsbugh—Of The Commonwealth System of Higher Education | System for remote guidance by expert for imaging device |
JP4664479B2 (ja) * | 2000-11-01 | 2011-04-06 | 株式会社東芝 | 超音波診断装置 |
JP4088104B2 (ja) | 2002-06-12 | 2008-05-21 | 株式会社東芝 | 超音波診断装置 |
ES2741016T3 (es) | 2003-10-07 | 2020-02-07 | Librestream Tech Inc | Cámara para comunicar una transmisión continua multimedia a un Cliente Remoto |
US20060074320A1 (en) * | 2004-08-27 | 2006-04-06 | Yoo Yang M | Home ultrasound system |
US8069420B2 (en) * | 2004-12-29 | 2011-11-29 | Karl Storz Endoscopy-America, Inc. | System for controlling the communication of medical imaging data |
WO2006119396A2 (en) * | 2005-05-04 | 2006-11-09 | Board Of Regents, The University Of Texas System | System, method and program product for delivering medical services from a remote location |
JP4820680B2 (ja) | 2006-04-12 | 2011-11-24 | 株式会社東芝 | 医用画像表示装置 |
US20080194960A1 (en) | 2007-02-08 | 2008-08-14 | Randall Kevin S | Probes for ultrasound imaging systems |
US8488013B2 (en) * | 2008-01-30 | 2013-07-16 | Siemens Medical Solutions Usa, Inc. | System for remote control of a medical imaging system |
WO2009135255A1 (en) | 2008-05-07 | 2009-11-12 | Signostics Pty Ltd | Docking system for medical diagnostic scanning using a handheld device |
US8172753B2 (en) | 2008-07-11 | 2012-05-08 | General Electric Company | Systems and methods for visualization of an ultrasound probe relative to an object |
US20180110475A1 (en) * | 2010-07-30 | 2018-04-26 | Fawzi Shaya | System, method and apparatus for performing real-time virtual medical examinations |
US20140004488A1 (en) | 2011-03-17 | 2014-01-02 | Mor Research Applications Ltd. | Training, skill assessment and monitoring users of an ultrasound system |
US8749396B2 (en) * | 2011-08-25 | 2014-06-10 | Satorius Stedim Biotech Gmbh | Assembling method, monitoring method, communication method, augmented reality system and computer program product |
US9561019B2 (en) * | 2012-03-07 | 2017-02-07 | Ziteo, Inc. | Methods and systems for tracking and guiding sensors and instruments |
US20140243614A1 (en) | 2013-02-26 | 2014-08-28 | Butterfly Network, Inc. | Transmissive imaging and related apparatus and methods |
US9092556B2 (en) * | 2013-03-15 | 2015-07-28 | eagleyemed, Inc. | Multi-site data sharing platform |
US9021358B2 (en) * | 2013-03-15 | 2015-04-28 | eagleyemed, Inc. | Multi-site video based computer aided diagnostic and analytical platform |
WO2015002409A1 (en) * | 2013-07-01 | 2015-01-08 | Samsung Electronics Co., Ltd. | Method of sharing information in ultrasound imaging |
CN107106124B (zh) * | 2014-11-18 | 2021-01-08 | C·R·巴德公司 | 具有自动图像呈现的超声成像系统 |
US10646199B2 (en) * | 2015-10-19 | 2020-05-12 | Clarius Mobile Health Corp. | Systems and methods for remote graphical feedback of ultrasound scanning technique |
KR20170093632A (ko) * | 2016-02-05 | 2017-08-16 | 삼성전자주식회사 | 전자 장치 및 그의 동작 방법 |
EP4394703A3 (en) * | 2016-03-14 | 2024-10-02 | Mohamed R. Mahfouz | Method of designing a dynamic patient-specific orthopedic implant |
CN109069103B (zh) * | 2016-04-19 | 2022-01-25 | 皇家飞利浦有限公司 | 超声成像探头定位 |
US10959702B2 (en) | 2016-06-20 | 2021-03-30 | Butterfly Network, Inc. | Automated image acquisition for assisting a user to operate an ultrasound device |
US10856840B2 (en) | 2016-06-20 | 2020-12-08 | Butterfly Network, Inc. | Universal ultrasound device and related apparatus and methods |
JP6991212B2 (ja) * | 2016-11-17 | 2022-01-12 | コーニンクレッカ フィリップス エヌ ヴェ | 画像表示品質が制御される遠隔超音波診断 |
EP3585269B1 (en) * | 2017-02-22 | 2021-07-28 | Koninklijke Philips N.V. | Remotely controlled ultrasonic imaging system |
US20180295275A1 (en) * | 2017-04-05 | 2018-10-11 | Analogic Canada Corporation | Remote imaging system user interface |
US20180344286A1 (en) * | 2017-06-01 | 2018-12-06 | General Electric Company | System and methods for at-home ultrasound imaging |
AU2018323621A1 (en) | 2017-08-31 | 2020-02-06 | Butterfly Network, Inc. | Methods and apparatus for collection of ultrasound data |
US20190239850A1 (en) * | 2018-02-06 | 2019-08-08 | Steven Philip Dalvin | Augmented/mixed reality system and method for the guidance of a medical exam |
-
2019
- 2019-02-26 KR KR1020207027444A patent/KR20200125658A/ko unknown
- 2019-02-26 EP EP19761665.9A patent/EP3759720A4/en not_active Withdrawn
- 2019-02-26 CA CA3091269A patent/CA3091269A1/en active Pending
- 2019-02-26 AU AU2019229174A patent/AU2019229174A1/en not_active Abandoned
- 2019-02-26 JP JP2020542959A patent/JP2021514695A/ja active Pending
- 2019-02-26 CN CN201980015337.0A patent/CN111758137A/zh active Pending
- 2019-02-26 US US16/285,573 patent/US11690602B2/en active Active
- 2019-02-26 TW TW108106535A patent/TW201936114A/zh unknown
- 2019-02-26 WO PCT/US2019/019551 patent/WO2019168832A1/en unknown
Also Published As
Publication number | Publication date |
---|---|
CN111758137A (zh) | 2020-10-09 |
US20190261957A1 (en) | 2019-08-29 |
WO2019168832A1 (en) | 2019-09-06 |
CA3091269A1 (en) | 2019-09-06 |
EP3759720A1 (en) | 2021-01-06 |
US11690602B2 (en) | 2023-07-04 |
TW201936114A (zh) | 2019-09-16 |
AU2019229174A1 (en) | 2020-09-03 |
KR20200125658A (ko) | 2020-11-04 |
EP3759720A4 (en) | 2021-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11690602B2 (en) | Methods and apparatus for tele-medicine | |
CN106659474B (zh) | 用于自诊断和远程诊断的超声诊断设备以及操作超声诊断设备的方法 | |
US20200214672A1 (en) | Methods and apparatuses for collection of ultrasound data | |
EP2918233B1 (en) | Ultrasound diagnosis apparatus and method of displaying ultrasound image | |
KR102442178B1 (ko) | 초음파 진단장치 및 그에 따른 초음파 진단 방법 | |
US11564663B2 (en) | Ultrasound imaging apparatus and control method thereof | |
US20200037986A1 (en) | Methods and apparatuses for guiding collection of ultrasound data using motion and/or orientation data | |
KR102297148B1 (ko) | 3차원 영상을 표시하는 초음파 시스템 및 그 방법 | |
US20200069291A1 (en) | Methods and apparatuses for collection of ultrasound data | |
CN114025670A (zh) | 用于超声数据的收集和可视化的方法和装置 | |
US10390800B2 (en) | Ultrasound diagnosis method and ultrasound diagnosis apparatus | |
KR102364490B1 (ko) | 초음파 진단장치, 그에 따른 초음파 진단 방법 및 그에 따른 컴퓨터 판독 가능한 저장매체 | |
US20220401080A1 (en) | Methods and apparatuses for guiding a user to collect ultrasound images |