JP2017533487A - 医療処置の実施と医療関連情報のアクセスおよび／または操作のための方法およびシステム - Google Patents

医療処置の実施と医療関連情報のアクセスおよび／または操作のための方法およびシステム Download PDF

Info

Publication number
JP2017533487A
JP2017533487A JP2017508560A JP2017508560A JP2017533487A JP 2017533487 A JP2017533487 A JP 2017533487A JP 2017508560 A JP2017508560 A JP 2017508560A JP 2017508560 A JP2017508560 A JP 2017508560A JP 2017533487 A JP2017533487 A JP 2017533487A
Authority
JP
Japan
Prior art keywords
image
user interface
display
gesture
present application
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017508560A
Other languages
English (en)
Other versions
JP2017533487A5 (ja
Inventor
ジラクネジャド、ニマ
ホマユーン、ベラング
ロウレンス、ピーター
ミング−テ リウ、デイビッド
ミング−テ リウ、デイビッド
Original Assignee
ザ・ユニバーシティ・オブ・ブリティッシュ・コロンビア
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ザ・ユニバーシティ・オブ・ブリティッシュ・コロンビア filed Critical ザ・ユニバーシティ・オブ・ブリティッシュ・コロンビア
Publication of JP2017533487A publication Critical patent/JP2017533487A/ja
Publication of JP2017533487A5 publication Critical patent/JP2017533487A5/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G13/00—Operating tables; Auxiliary appliances therefor
    • A61G13/10—Parts, details or accessories
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Gynecology & Obstetrics (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Accommodation For Nursing Or Treatment Tables (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

システムは、医療従事者が医療処置中に、医療関連情報とインタラクトすることを可能にする。このシステムは、ユーザインタフェースメニュー画像を投影面上に投影するためのプロジェクタと、投影面を含む検知ボリューム内の物体の３次元位置情報をキャプチャするための３次元光学撮像システムと、３次元光学撮像システムから３次元位置情報を受け取するべく接続され、３次元光学撮像システムと投影面との間の空間において医療従事者によって作られる１つまたは複数のジェスチャーを、投影されるユーザインタフェースメニュー画像に対するジェスチャーの位置に基づいて解釈するように構成されているコントローラとを備える。このコントローラは、ディスプレイに画像をレンダリングさせるべく、ディスプレイに接続可能であり、ディスプレイに、解釈されたジェスチャーに少なくとも部分的に基づく医療関連情報を含む画像をレンダリングさせるように構成されている。

Description

［関連出願］
本出願は、参照によって本明細書に組み込まれる、２０１４年８月１５日に申請された米国特許出願第６２／０３８１５７号の利益および優先権を主張する。
本明細書で開示される技術は、医療処置を実施するための方法およびシステムに関連し、医療処置中にあれば望ましいことがある医療関連情報とインタラクトするための方法およびシステムに関連する。
医療処置（例えば、外科的処置など）実施中に、医療従事者（例えば、外科医、介入放射線科医師、看護師、医療助手、他の医療技師など）に対し、医療関連情報を操作、および／または、そうでなければ、インタラクトするための手段または能力を提供することへの需要が存在する。そのような所望の医療情報は、非限定的な例であるが、患者の身体の放射線画像、血管造影画像、および、他の形態の画像、医療処置を受ける患者に関連する他の情報、処置自体に関連する他の情報、ならびに、治療が行われる条件に関連する他の情報などを含み得る。そのような所望の医療情報は、処置を実施する前および／または処置を実施する間に取得され得て、医療従事者が画像誘導医療処置の間に治療計画を策定または変更することを可能にし得る。
現在、放射線画像を操作、および／または、インタラクトするための処置中アクセスが、手術用無菌環境の外に位置する制御室内のコンピュータワークステーション上で行われている。そのようなワークステーションは、適切なネットワーク通信または他のデジタルアクセス技術を介して、画像保管通信システム（ＰＡＣＳ）、医用デジタル画像・通信システム（ＤＩＣＯＭ）、病院情報システム（ＨＩＳ）、放射線医学情報システム（ＲＩＳ）などにアクセスすることによって、患者に関連する画像データのアーカイブにアクセスし得る。そのようなワークステーションは次に、適切なディスプレイ上に個別の画像を表示し得て、従来のコンピュータベースのユーザインタフェースを介して（例えば、マウスおよびキーボード、ならびに、ソフトウェアで実施されるユーザインタフェースを使用することで）画像を操作することを可能にし得る。ワークステーションは、手術用無菌環境の外に位置するので、様々な画像にアクセスしたい放射線科医師は通常、（ａ）処置中に１回または複数回、処置を中止すること、または、（ｂ）所望の画像にアクセスする作業を技師に任せること（その技師は、放射線科医師の指示の下でワークステーションを操作する必要がある）のうち、いずれかを行う必要がある。
（ａ）の場合、画像誘導および解釈の目的で、非無菌制御室と無菌手術環境との間を行き来する必要があるので、非無菌制御室から無菌環境へと汚染物質を意図せず移すことで無菌環境を汚染するリスクが増加すること、手術を完了するのに必要な時間が延びること、それにより、処置費用が増加すること、および／または、医療従事者の認知的焦点に干渉し、それにより、患者に対する医療リスクを増加させることが起こり得る。（ｂ）の場合、通常、放射線科医師と、ワークステーションを操作する技師との間の緊密なコミュニケーションが必要になる。関連情報についてのコミュニケーション（例えば、画像をどのように移動または拡大するか）は難しく、時間がかかり、複数の反復が必要となり得る。このプロセスは、異なるソフトウェアプラットフォームを使用すること、ベンダー固有の多層メニューを移動すること、キーボードおよびマウスを使用して３次元画像とインタラクトすることを行う必要性から、より難しくなり得る。
処置中の計画および標的治療の確認を行うときに、多くの放射線画像に頼ることが増加するに伴い、放射線科医師が無菌環境中で直観的、包括的、および、適時に大量の画像情報（および／または他の医療関連情報）に迅速にアクセスし、それらを操作し、および／または、そうでなければ、それらとインタラクトする能力を改善する解決策の考案に対する需要が一般的に存在する。
上述の関連技術の例、および、それらに関連する制限は、例示を意図するものであり、限定を意図とするものではない。関連技術の他の制限は、当業者が明細書を読み、図面を検討することによって理解できるであろう。
以下の実施形態およびそれらの態様は、システム、器具、および、方法と共に記載および図示されているが、これらは例示および説明を目的としたものであり、範囲の限定を目的としたものではない。様々な実施形態において、上述の問題の１つまたは複数は、減少または消失しているが、他の実施形態は、他の改善を目的としている。
本発明の態様は、投影されたユーザインタフェースメニュー画像とインタラクトするべく、医療従事者がジェスチャー（例えば、非接触式ジェスチャー）を使用して、医療処置中に医療関連情報のアクセス、操作、および／または、そうでなければ、インタラクトすることを可能にするシステムおよび方法を提供する。ジェスチャーは、医療従事者の手の形、位置、または、動きに基づき得る。ジェスチャーは、投影されるユーザインタフェースメニュー画像（および／または、ユーザインタフェースメニュー画像が投影される投影面）に対するジェスチャーの位置（例えば、医療従事者の手の位置）に基づいて解釈され得る。ジェスチャーは追加的または代替的に、ジェスチャーの形または動き（例えば、医療従事者の手の形または動き）に基づき得る。そのようなジェスチャーの動きまたは形は、投影されるユーザインタフェースメニュー画像（および／または、ユーザインタフェース画像が投影される投影面）に対するものであり得る。そのようなシステムおよび方法は、処置が実施されている無菌環境から医療従事者が出る必要なく、および、無菌環境の外に位置する技師と連絡する必要なく、この機能を提供する。例として、医療処置中にアクセス、操作、および／または、そうでなければ、インタラクトされる医療関連情報は、患者の身体の放射線画像、血管造影画像、および、他の形態の画像、または、医療処置を受けている患者および処置自体に関連する他の情報などを含み得る。このシステムは、医療従事者が見ることに適した投影面上にユーザインタフェースメニュー画像を投影するための投影デバイス（この投影面は、無菌環境内に位置する）と、医療従事者が、投影されるユーザインタフェースメニュー画像とインタラクトする手段（例えば、投影されるユーザインタフェースメニュー画像に対する位置でジェスチャーを使用する）に関する３Ｄ情報をキャプチャするための３次元（３Ｄ）光学撮像センサまたはシステムとを備え得る。そのような３Ｄ光学センサ／システムの非限定的な例には、所謂、タイムオブフライト（ＴＯＦ）撮像システム（レンジ撮像システムとも呼ばれる）、位相変調３Ｄ光学センサシステム、構造化光機構（例えば、スペックルパターン）に基づく３Ｄ光学センサなどを含む。
３Ｄ光学撮像システムに接続されたコントローラは、ユーザインタフェースメニュー画像に対する、および／もしくは、ユーザインタフェースメニュー画像が投影される投影面に対する、医療従事者の一方の手の動き、形、ならびに／または、位置を含むジェスチャーを解釈し得る。そのようなジェスチャーの解釈に基づいて、コントローラはディスプレイに、医療従事者に見える画像（または他の情報）をレンダリングさせ得る。表示画像は、処置が実施されている患者に関する画像のライブラリからの画像または画像の一部を含み得る。そのようなジェスチャーの解釈に基づいて、コントローラは、表示画像を操作し得る。例えば、そのような操作は、特定の表示画像に関するズームインまたはズームアウトと、特定の表示画像の表示部分のパンニングまたはそうでなければ移動と、特定の表示画像の輝度、コントラスト、および／または、色パラメータの調節と、表示する新しい画像を選択するための、画像のライブラリのスクロールと、その他同種のものとを含み得る。
投影面はほぼ横方向（水平）であり得る。医療従事者は、ほぼ横方向の投影面と３Ｄ光学撮像システムとの間の空間で一方の（または両方の）手のジェスチャーを使用して、システムとインタラクトし、そのようなジェスチャーは、投影されるユーザインタフェースメニュー画像に対する、および／または、ユーザインタフェースメニュー画像が投影される投影面に対する、医療従事者の手の位置に基づいて解釈され得る。投影面は、処置を実施されている患者が位置する手術台の一部を含み得る。投影されるユーザインタフェースメニュー画像が手術台の一部に（例えば、手術台の端と交差することなく）適合するように、投影されるユーザインタフェースメニュー画像のサイズは、（３Ｄ光学撮像システムによって獲得されたデータに基づいて）調節可能であり得る。投影面は、非限定的な例であるが、患者の身体の存在、および、いずれかの投影面（例えば、手術台）の被覆の状態などに基づいて、不規則（例えば、非平面、または、完全ではないがほぼ横方向）であり得る。投影面の不規則性の形状は、３Ｄ光学撮像システムによって獲得されたデータに基づいて判定され得て、投影されるユーザインタフェースメニュー画像は、投影面の不規則性を補償するように調節され得る。投影面の反射率および／または色は、３Ｄ光学撮像システムによって、または、他のいずれかの適切な撮像システム（例えば、カラーカメラ）によって獲得されたデータに基づいて推定され得て、投影されるユーザインタフェースメニュー画像は、投影面の反射率および／または色を補償するように調節され得る。
ジェスチャーの解釈に基づいて、コントローラは、ユーザインタフェースをいつ投影するか、および、ユーザインタフェースをいつ投影しないか決定し得る。
本発明の他の態様は、１つまたは複数のプロセッサを備えるシステムを提供し、当該プロセッサは、本発明のいずれかの態様による方法を実施するように構成されている。
本発明の他の態様は、不揮発性媒体に具現化された、コンピュータ可読命令を含むコンピュータプログラム製品を有する。コンピュータ可読命令が、適切なコンピュータまたはプロセッサによって実行されると、当該コンピュータまたはプロセッサは、本発明のいずれかの態様による方法を実施する。
上述の例示的な態様および実施形態に加え、図面を参照することにより、および、以下の詳細な記載を検討することにより、更なる態様および実施形態が明らかになるであろう。
例示的な実施形態は、図面の参照される図に示されている。本明細書で開示される実施形態および図は、限定する意図ではなく、例示的な意図に過ぎないと見なされるべきである。
特定の実施形態による、医療処置を実施するための、ならびに、医療関連情報のアクセス、操作、および／または、そうでなければ、インタラクションのためのシステムの概略図である。
特定の実施形態において、図１のシステムで使用され得るユーザインタフェースメニュー画像の概略図である。
は、特定の実施形態による、図１のシステム内で使用され得るＴＯＦ撮像システム（すなわち、３Ｄ光学撮像システムの例）の概略図を示す。 図３ＡのＴＯＦ撮像システムの検知ボリュームを概略的に示す。 図３ＡのＴＯＦ撮像システムの検知ボリュームを概略的に示す。
特定の実施形態による、医療従事者が一方の手を使用して作るジェスチャーを解釈するための方法の概略図である。
いくつかの実施形態における、ＴＯＦ撮像システム（または他の３Ｄ光学撮像システム）の積分時間を調節するべく使用され得る対象領域を示す。 いくつかの実施形態における、ＴＯＦ撮像システム（または他の３Ｄ光学撮像システム）の積分時間を調節するべく使用され得るルックアップテーブルプロットを示す。
特定の実施形態による、図４の方法の一部を実施するのに使用され得る方法２１１の概略図である。
特定の実施形態による図６の方法で使用され得るユーザインタフェースメニュー画像およびユーザインタフェースサブメニュー画像の概略図である。
当業者がより詳しく理解できるようにするべく、以下の記載全体を通して、具体的な詳細を説明する。しかし、不必要に開示を曖昧にすることを回避するべく、既知の要素は示されていない、または、詳細に記載されていないことがある。したがって、記載および図面は、限定的な意味ではなく、例示的な意味であると見なされるべきである。
本発明の態様は、医療従事者が医療処置中に、ジェスチャー（例えば、非接触式ジェスチャー）を使用して、投影されるユーザインタフェースメニュー画像とインタラクトすることで、医療関連情報のアクセス、操作、および／または、そうでなければ、インタラクションを実施することを可能にするシステムおよび方法を提供する。ジェスチャーは、医療従事者の手の形、位置、または動きに基づき得る。別段の記載が無い限り、本明細書で使用されている、医療従事者の手のジェスチャーへの言及は、手に含まれる、医療従事者の指の１つまたは複数に基づくジェスチャーを含むものと理解すべきである。ジェスチャーは、投影されるユーザインタフェースメニュー画像（および／または、ユーザインタフェースメニュー画像が投影される投影面）に対するジェスチャーの位置（例えば、医療従事者の手の位置）に基づいて解釈され得る。ジェスチャーは追加的または代替的に、ジェスチャーの形または動き（例えば、医療従事者の手の形または動き）に基づき得る。そのようなジェスチャーの動きまたは形は、投影されるユーザインタフェースメニュー画像（および／または、ユーザインタフェース画像が投影される投影面）に対するものであり得る。そのようなシステムおよび方法は、処置が実施されている無菌環境から医療従事者が出る必要なく、および、無菌環境の外に位置する技師と連絡する必要なく、この機能を提供する。例として、医療処置中にアクセス、操作、および／または、そうでなければ、インタラクトされる医療関連情報は、患者の身体の放射線画像、血管造影画像、および、他の形態の画像、または、医療処置を受けている患者および処置自体に関連する他の情報などを含み得る。このシステムは、医療従事者が見ることに適した投影面上にユーザインタフェースメニュー画像を投影するための投影デバイス（この投影面は、無菌環境内に位置する）と、医療従事者が、投影されるユーザインタフェースメニュー画像とインタラクトする手段（例えば、投影されるユーザインタフェースメニュー画像に対する位置でジェスチャーを使用する）に関する３Ｄ情報をキャプチャするための３次元（３Ｄ）光学撮像センサまたはシステムとを備え得る。そのような３Ｄ光学センサ／システムの非限定的な例は、所謂、タイムオブフライト（ＴＯＦ）撮像システム（レンジ撮像システムとも呼ばれる）、位相変調３Ｄ光学センサシステムなどを含む。
３Ｄ光学撮像システムに接続されたコントローラは、ユーザインタフェースメニュー画像、および／または、ユーザインタフェースメニュー画像が投影される投影面に対する医療従事者の一方の手の動き、形、および／または位置を含むジェスチャーを解釈し得る。そのようなジェスチャーの解釈に基づいて、コントローラはディスプレイに、医療従事者に見える画像（または他の情報）をレンダリングさせ得る。表示画像は、処置が実施されている患者に関する画像のライブラリからの画像または画像の一部を含み得る。そのようなジェスチャーの解釈に基づいて、コントローラは、表示画像を操作し得る。例えば、そのような操作は、特定の表示画像に関するズームインまたはズームアウトと、特定の表示画像の表示部分のパンニングまたはそうでなければ移動と、特定の表示画像の輝度、コントラスト、および／または、色パラメータの調節と、新しい画像を選択して表示するための、画像のライブラリのスクロールと、その他同種のものとを含み得る。
投影面はほぼ横方向であり得る。医療従事者は、ほぼ横方向の投影面と３Ｄ光学撮像システムとの間の空間で一方の（または両方の）手のジェスチャーを使用して、システムとインタラクトし得、そのようなジェスチャーは、投影されるユーザインタフェースメニュー画像に対する、および／または、ユーザインタフェースメニュー画像が投影される投影面に対する、医療従事者の手の位置に基づいて解釈され得る。投影面は、処置を実施されている患者が位置する手術台の一部を含み得る。投影されるユーザインタフェースメニュー画像が手術台の一部に（例えば、手術台の端と交差することなく）適合するように、投影されるユーザインタフェースメニュー画像のサイズは、（３Ｄ光学撮像システムによって獲得されたデータに基づいて）調節可能であり得る。投影面は、非限定的な例であるが、患者の身体の存在、および、いずれかの投影面（例えば、手術台）の被覆の状態などに基づいて、不規則（例えば、非平面、または、完全ではないがほぼ横方向）であり得る。投影面の不規則性の形状は、３Ｄ光学撮像システムによって獲得されたデータに基づいて決定され得て、投影されるユーザインタフェースメニュー画像は、投影面の不規則性を補償するように調節され得る。投影面の反射率および／または色は、３Ｄ光学撮像システムによって、または、いずれかの他の適切な撮像システム（例えば、カラーカメラ）によって獲得されたデータに基づいて推定され得て、投影されるユーザインタフェースメニュー画像は、投影面の反射率および／または色を補償するように調節され得る。
ジェスチャーの解釈に基づいて、コントローラは、ユーザインタフェースをいつ投影するか、および、ユーザインタフェースをいつ投影しないか決定し得る。
図１は、特定の実施形態による、医療処置を実施するための、ならびに、医療関連情報のアクセス、操作、および／または、そうでなければ、インタラクションのためのシステム１０の概略図である。システム１０は、無菌環境１６内で患者１４に実施されている医療処置中に、医療従事者１２が、医療関連情報のアクセス、操作、および／または、そうでなければ、インタラクションを行うことを可能にする。システム１０は、医療従事者１２がジェスチャー（例えば、非接触式ジェスチャー）を使用して、投影されたユーザインタフェースメニュー画像２２とインタラクトし、ディスプレイ２４上に表示され得る画像のアクセス、操作、および／または、そうでなければ、インタラクションを行うことを可能にする。ジェスチャーは、医療従事者の手１２Ａの形、位置、または、動きに基づき得る。ディスプレイ２４に表示される表示画像は、医療関連情報を有し得て、当該医療関連情報は、患者の身体の放射線画像、血管造影画像、および、他の形態の画像、医療処置を受けている患者に関連する他の情報、ならびに、処置自体に関連する他の情報などを含み得る。医療従事者１２が、表示画像によって提供される医療情報を見ることを可能にするべく、ディスプレイ２４は、無菌環境１６内の医療従事者１２から容易に見られ得る。図１の概略図において、医療処置が実施されている無菌環境１６は、概念上の線２０によって、（例えば、おそらく非無菌環境である）外部環境１８から隔離されている。示されている実施形態において、ディスプレイ２４は、無菌環境１６内に位置するが、これは必須ではない。
図１の実施形態のシステム１０は、処置中に患者１４が位置する手術台（またはベッド）２８の上の位置、または、他のいずれかの適切な位置で支持され得るユーザインタフェースデバイス２６を備える。詳細は後述するが、図１で示されている実施形態において、ユーザインタフェースデバイス２６は、ユーザインタフェースデバイス２６の動作を制御するためのコントローラ３０と、医療従事者１２が投影されているユーザインタフェースメニュー画像２２とインタラクトするための手段（例えば、医療従事者１２のジェスチャーを含む）に関する３Ｄ情報をキャプチャするための３Ｄ光学撮像システム３２と、ユーザインタフェースメニュー画像２２を、医療従事者１２が見てインタラクトすることに適切な投影面３８に投影するためのプロジェクタ３４と、医療関連情報のアーカイブと通信するための通信用インタフェース３６（例えば、適切なネットワーク通信または他のデジタルアクセス技術）とを有する。いくつかの実施形態において、ユーザインタフェースデバイス２６は、調節可能な手術用アーム４０（例えば、天井４２、壁、床に取り付けられた支柱などに取り付けられる）によって、手術台２８の上の位置において支持され得る。これにより、ユーザインタフェースメニュー画像２２が表示される投影面３８、および／または、３Ｄ光学検知システム３２の撮像ボリュームの調節に対応する、ユーザインタフェースデバイス２６の位置の調節が容易になり得る。上述のように、３Ｄ光学撮像システム３２は、例えば、医療従事者１２のジェスチャー（例えば、医療従事者の手１２Ａ）など、医療従事者１２が、投影されるユーザインタフェースメニュー画像２２とインタラクトする手段に関する３Ｄ情報をキャプチャする。非限定的な例であるが、３Ｄ光学撮像システム３２は、タイムオブフライト（ＴＯＦ）撮像システム（レンジ撮像システムとも呼ばれる）、位相変調３Ｄ光学センサシステム、および／または、検知ボリュームに関する同様の３Ｄ情報を提供できる、他のいずれかのシステムを備え得る。便宜上、これ以降の記載では、一般性を失うことなく、３Ｄ光学撮像システム３２を、ＴＯＦセンサ３２と称し得る。
コントローラ３０は、適切なコンピュータシステムのコンポーネントを含み得る。一般的に、コントローラ３０は、例えば、適切に構成された汎用プロセッサ、グラフィックスプロセッシングユニット（ＧＰＵ）、グラフィックスプロセッシングシステム、マイクロプロセッサ、マイクロコントローラ、デジタルシグナルプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、他のタイプのプログラマブルロジックデバイス、複数の上述したもの、上述したものの組み合わせなど、適切に構成されたいずれかのプロセッサを含み得る。コントローラ３０は、（例えば、示されている実施形態のように、ユーザインタフェースデバイス２６内に）組み込まれ得るが、これは必須ではない。コントローラ３０は、コントローラ３０がアクセス可能なコンピュータ可読メモリ内（明示的に図示せず）に保存され得るソフトウェア、および／または、コントローラ３０に内蔵されているコンピュータ可読メモリにアクセスできる。コントローラ３０は、そのようなソフトウェア命令を読み込んで実行するように構成され得て、そのようなソフトウェアは、コントローラ３０によって実行されると、本明細書に記載された機能のいくつかをコントローラ３０に実施させ得る。コントローラ３０は、複数のネットワーク接続型コンピュータもしくはプロセッサ、または、そうでなければ、互いに通信する複数のコンピュータもしくはプロセッサを含み得る。
コントローラ３０は、プロジェクタ３４の動作を制御して、ユーザインタフェースメニュー画像２２を投影面３８上に投影する。示されている実施形態において、投影面３８は、無菌環境１６に位置し、医療従事者１２が見て、インタラクトすることに適している。いくつかの実施形態において、投影面３８は、ほぼ横方向の表面を含み得るが、これは必須ではない。示されている図１の実施形態におけるシステム１０の場合、投影面３８は、患者１４が位置する手術台２８の部分２８Ａを含む。手術台２８の部分２８Ａを投影面３８として選択することで、医療従事者１２は、患者１４への自身の集中を維持することが可能になる。いくつかの実施形態において、処置を実施する、または補助する医療従事者１２の比較的近くに位置し得るサイドテーブル（例えば、処置用の装置が位置するテーブルなど）などの横方向の面が投影面３８に選択され得る。図２は、特定の実施形態による、投影面３８上に投影されているユーザインタフェースメニュー画像２２の描画を示す。ユーザインタフェースメニュー画像２２は、複数のユーザインタフェース画像セクション５０を含む。図２の実施形態において、ユーザインタフェースメニュー画像２２は、４つのユーザインタフェース画像セクション５０Ａ−５０Ｄを含むが、一般的に、ユーザインタフェースメニュー画像２２は、いずれかの適切な数のユーザインタフェース画像セクション５０を含み得る。ユーザインタフェース画像セクション５０は各々、対応する機能（または対応するメニューの選択肢）に関連付けられ得て、対応する機能／メニューの選択肢に関連するグラフィックおよび／またはテキスト情報を含み得る。
例えば、図２の実施形態の場合、ユーザインタフェース画像セクション５０の各々は、対応する機能に関連付けられている。具体的には、ユーザインタフェース画像セクション５０Ａは、（例えば、ディスプレイ２４上で表示するための画像間での）スクロールに関連付けられ、このスクロール機能に関連付けられたグラフィックアイコン５２Ａを示す。ユーザインタフェース画像セクション５０Ｂは、ディスプレイ２４上で表示されている特定の画像におけるパンニングまたは移動に関連付けられており、このパンニング機能に関連付けられているグラフィックアイコン５２Ｂを示す。ユーザインタフェース画像セクション５０Ｃは、ディスプレイ２４上で表示されている特定の画像の輝度を調節することに関連付けられられており、この輝度調節機能に関連付けられたグラフィックアイコン５２Ｃを示す。ユーザインタフェース画像セクション５０Ｄは、ディスプレイ２４上に表示されている特定の画像のズームインおよびズームアウトに関連付けられており、このズームインおよびズームアウト機能に関連付けられたグラフィックアイコン５２Ｄを示す。当業者であれば、本明細書で提供されている記載に基づいて、他の機能がユーザインタフェース画像セクション５０に関連付けられ得ること、および、異なる数の機能を可能にするべく、異なる数のユーザインタフェース画像セクション５０が提供され得ることを理解できるであろう。これらの機能に加えて、または、これらの機能の代わりに、ユーザインタフェースメニュー画像２２は、より古典的なテキストベースメニューまたはグラフィカルメニューを含み得る。この場合、１つまたは複数のユーザインタフェース画像セクション５０は、メニューの選択肢に対応する。
詳細は後述するが、システム１０は、医療従事者１２が、適切なジェスチャーを作ることによってユーザインタフェースメニュー画像２２とインタラクトする能力を提供し、これにより、ユーザインタフェース画像セクション５０の１つを選択すること、および、対応する機能／メニューの選択肢を選択することを容易にする。選択された機能、または、選択されたメニューの選択肢の中で、システム１０は、ディスプレイ２４上に表示されている画像のアクセス、操作、および／または、そうでなければ、インタラクションを行うための選択された機能を医療従事者１２が実施することで、メニューの選択肢に対応する動作（例えば、サブメニューのアクティブ化）などを実施することを可能にする。例えば、システム１０は、医療従事者１２が、画像ディスプレイセクション５０Ａおよびその対応するスクロール機能を選択するのに適切なジェスチャーを使用することで、図２の実施形態のユーザインタフェースディスプレイセクション５０Ａに関連付けられたスクロール機能を選択することを可能にする。次に、そのような選択の後で、システム１０は、医療従事者１２が適切な更なるジェスチャーを使用して、ディスプレイ２４上に表示される画像間でスクロールすることを可能にする。いくつかの実施形態において、システム１０によって認識されるジェスチャーは、医療従事者１２の一方の（または両方の）手１２Ａで作られるジェスチャーを含む。
コントローラ３０は、ＴＯＦ撮像システム３２の動作を制御する。ＴＯＦ撮像システム３２は、図３Ａに概略的に示されている。当技術分野で知られているように、ＴＯＦ撮像システム３２は、１つまたは複数の適切な放射源６４（例えば、ＬＥＤまたはレーザ）からセンサボリューム６０へと電磁放射（例えば、赤外線放射および／または近赤外線放射）を投影し、そのような物体６２から反射される放射に基づく、適切な光検出器６６（例えば、光ダイオード検出素子、ＣＣＤセンサ素子、ＣＭＯＳ検出素子などを含む）によって検出された、センサボリューム６０内の物体６２に対応する３Ｄ画像情報をキャプチャする。図３Ａは、ＴＯＦ撮像システム３２の軸中心６９を示す。システム１０は、いずれかの適切なＴＯＦ撮像システムおよび／またはデバイス３２を含み得る。本明細書の他の箇所で記載されているように、システム１０は、ＴＯＦシステム３２を使用することに特に限定されているものではなく、ＴＯＦシステム３２の機能は、位相変調３Ｄ光学センサシステム、および／または、検知ボリューム６０の付近の同様の３Ｄ情報を提供できる他のいずれかの３Ｄ光学撮像システムによって提供され得る。
ＴＯＦ撮像システム３２は、センサボリューム６０内に位置する物体６２の面上の点の３Ｄ位置を含む、３Ｄ点群を返す。図１の実施形態において、ＴＯＦ撮像システム３２は、ユーザインタフェースメニュー画像２２がプロジェクタ３４によって投影される投影面３８をセンサボリューム６０が含むように、配置され得るか、そうでなければ、構成され得る（例えば、適切な光学装置などを使用して方向付けられている、または構成されている）。センサボリューム６０の軸中心６９は、投影面３８と（例えば、投影面３８の中心と）ほぼ揃うように構成され得る。上述のように、投影面３８は、手術台２８の部分２８Ａを含み得る。この構成において、ＴＯＦシステム３２は、ユーザインタフェースメニュー画像２２が投影される投影面３８上の点の３Ｄ位置を含む点群を返す。ＴＯＦ撮像システム３２は、センサボリューム６０が、投影面３８の上の（または、そうでなければ、隣の）、投影面３８とＴＯＦ撮像システム３２との間の空間６８を含むように、同様に構成され得る。例えば、投影面３８は、手術台２８の部分２８Ａを含み、空間６８は、手術台２８の上の、手術台２８とユーザインタフェースデバイス２６との間のボリュームを含み得る。この構成において、医療従事者１２は、空間６８内で、一方の（または両方の）手１２Ａを使用してジェスチャーを作り得て、ＴＯＦ撮像システム３２は、医療従事者の手１２Ａの表面上の点の３Ｄ位置を検出し得る。詳細は後述するが、医療従事者の手１２Ａに関する、当該３Ｄ情報は、医療従事者１２が、投影されているユーザインタフェースメニュー画像２２とインタラクトし得るためのジェスチャーとして解釈され得る。投影面３８とＴＯＦ撮像システム３２との間のこの空間６８には、医療処置を実施するべく、医療従事者の手１２Ａが位置し、それにより、システム１０とのインタラクションが人間工学的に容易になるので、この空間６８は、医療従事者１２が手１２Ａでジェスチャーを作り得る空間として使用するのに便利であり得る。
図３Ｂは、特定の実施形態による、ＴＯＦ撮像デバイス３２の検知ボリューム６０および空間６８（投影面３８とＴＯＦ撮像デバイス３２との間）の概略的な側面図である。空間６８は、ＴＯＦ撮像デバイス３２の基準面７０（例えば、光検出器６６の平面（図３Ａ））と、ユーザインタフェースメニュー画像２２が投影される投影面３８との間で、複数のボリューム領域に分割され得る。示されている実施形態において、これらのボリューム領域は、基準面７０と第１閾値表面７２との間に位置するボリューム領域８２と、閾値表面７２と閾値表面７４との間に位置するボリューム領域８４と、閾値表面７４と投影面３８との間に位置するボリューム領域８６とを含む。閾値表面７２、７４は、投影面３８に対して、コントローラ３０によって設定され得て、構成され得る（例えば、ユーザ構成可能）。基準面７２は、投影面３８（または、投影面３８の平均的な高さ）から（例えば上に）距離ｄ１の位置に設定され得て、基準面７４は、投影面３８（または、投影面３８の平均的な高さ）から（例えば上に）距離ｄ２の位置に設定され得る。距離ｄ１およびｄ２は、例えば、医療従事者１２の身長、または、身体的特徴に応じて構成され得る。そのような実装において、ボリューム領域８２は、投影面３８からｄ１より大きい距離に対応し、ボリューム領域８４は、投影面３８からｄ２とｄ１の間の距離に対応し、ボリューム領域８６は、投影面３８から距離ｄ２より小さい距離に対応する。
投影面３８が手術台２８の部分２８Ａ上に位置するとき（図１）、投影面３８は、不規則な形状を有し得る（例えば、図３Ｂで示されているような平面と異なる、および／または、横方向と異なる）ことが理解されるべきである。いくつかの実施形態において、コントローラ３０が閾値レベル７２、７４を設定するとき、投影面３８のそのような不規則な形状が考慮され得る。すなわち、閾値レベル７２、７４は、投影面３８における不規則性に対応し、距離ｄ１およびｄ２をほぼ一定に維持するように、断面にわたって、可変の形状を有し得る。非限定的な例であるが、表面曲率解析技術がこの目的で使用され得る。いくつかの実施形態において、これは必要ではなく、閾値レベル７２、７４は、投影面３８の形状の平均に基づいて（例えば、投影面３８上の点から選択された１つまたは複数に基づいて）、投影面３８の他のいずれかの特性に基づいて、および／または、投影面３８に関連付けられた基準に基づいて、一定に設定され得る。非限定的な例であるが、いくつかの実施形態において、システムは、ＴＯＦ撮像デバイス３２および／またはユーザインタフェースデバイス２６にもっとも近い、投影面３８上の点に対する閾値レベル７２、７４を設定し得る。単純化するべく、本記載では以降、別段の記述が無い限り、閾値レベル７２、７４は、投影面３８に対するものとして記載され得る。このことは、投影面３８に対応するいずれかの適切な基準（例えば、投影面３８の平均、投影面３８上の点など）に対する任意のものであることを意味し得る。いくつかの実施形態において、閾値レベル７２、７４は、医療従事者１２の手１２Ａのジェスチャーを確認するのに使用され得て、プロジェクタ３４をオンにするかオフにするか決定するのに、および／または、上述のユーザインタフェース画像セクション５０に関連付けられている機能の１つを選択するのに使用され得る。
図４は、特定の実施形態による、医療従事者１２が一方の手１２Ａを使用して作るジェスチャーを解釈するための方法１００の概略図である。方法１００は、ユーザインタフェースデバイス２６によって実施され得る。特定の実施形態において、方法１００は、（ＴＯＦ撮像システム３２およびプロジェクタ３４と共に）コントローラ３０によって実施され得る。図４の実施形態の方法１００は、投影切り替えジェスチャーが検出されたかどうか問い合わせることを伴う、ブロック１０２から開始する。ブロック１０２は、特定の投影切り替えジェスチャーを見つけるべく、ＴＯＦ撮像システム３２から受信されたデータを解析するコントローラ３０を含み得る。いくつかの実施形態において、この投影切り替えジェスチャーは、医療従事者１２の手１２Ａが最初に、閾値７２より投影面３８から遠く（例えば、投影面３８の上方であって、投影面３８から距離ｄ１よりも離れた位置）に位置し、次に、閾値７２より投影面３８に近い位置（例えば、投影面３８の上方であって、投影面３８から距離ｄ１よりも近い位置、および／または、投影面３８の上方であって、投影面３８から距離ｄ１よりも近くて、投影面３８から距離ｄ２よりも離れた位置など）に移動したことを検出することを含み得る（図３Ｂを参照）。いくつかの実施形態において、この投影切り替えジェスチャーは、医療従事者１２の手１２Ａの左右への動き（例えば、手を振る）を含み得る。いくつかの実施形態において、この投影切り替えジェスチャーは、医療従事者１２が、適切な数の指（例えば５本の指）を延ばしたままで、手１２Ａを静止した状態で維持することを含み得る。ブロック１０２での問い合わせがネガティブである場合、方法１００は、ブロック１０２に戻る。一方、ブロック１０２での問い合わせがポジティブである場合、次に、方法１００は、ブロック１０４に進む。いくつかの実施形態において、切り替えジェスチャーおよびブロック１０２での問い合わせは必須ではない。例えば、従来の切り替え、リモート制御アクティブ化などは、方法１００を開始するための切り替えジェスチャーの代わりに使用され得る。
ブロック１０４は、ユーザインタフェースメニュー画像２２を投影面３８上に投影することを含む。本開示の他の箇所に記載されているように、ブロック１０４において、コントローラ３０は、プロジェクタ３４に、ユーザインタフェースメニュー画像２２を投影面３８上に投影させ得る。次に、方法１００はブロック１０６へ進み得る。ブロック１０６は、選択ジェスチャーが作られているかどうか問い合わせることを伴い得る。ブロック１０６の選択ジェスチャーは、ブロック１０４において投影されたユーザインタフェースメニュー画像２２内のユーザインタフェース画像セクション５０の１つに関連付けられた機能またはメニューの選択肢を選択することを含み得る。いくつかの実施形態において、ブロック１０６の選択ジェスチャーは、医療従事者１２の手１２Ａが、閾値７４より投影面３８の近く（例えば、投影面３８の上方であって、投影面３８から距離ｄ２よりも近い位置、または、投影面３８に接する位置）に位置することを検出することを含み得る。また、そのようなジェスチャーは、ユーザインタフェース画像セクション５０に関連付けられた機能および／またはメニューの選択肢の中から１つを選択することを指示し得る。ブロック１０６の問い合わせがポジティブである場合、いくつかの実施形態において、医療従事者１２の手１２Ａが閾値７４より投影面３８の近くに位置することが検出されたとき、選択された機能またはメニューの選択肢の特定の１つは、手１２Ａが上に位置する（または、もっとも近くに位置する）ユーザインタフェース画像セクション５０の特定の１つに対応し得る。例えば、図２の実施形態を参照すると、医療従事者１２の手１２Ａが投影面３８と閾値７４との間、および、ユーザインタフェース画像セクション５０ＤとＴＯＦ撮像システム３２との間（例えば、閾値７４より下で、ユーザインタフェース画像セクション５０Ｄより上（または、それにもっとも近く））に位置することがブロック１０６で検出された場合、選択された特定の機能は、ユーザインタフェースセクション５０Ｄに関連付けられたズーム機能に対応し得る。図２の実施形態に対応する他の例として、医療従事者１２の手１２Ａが、投影面３８と閾値７４との間、および、ユーザインタフェース画像セクション５０ＡとＴＯＦ撮像システム３２との間（例えば、閾値７４より下で、ユーザインタフェース画像セクション５０Ａより上（または、それにもっとも近く））に位置することがブロック１０６で検出された場合、選択された特定の機能は、ユーザインタフェースセクション５０Ａに関連付けられたスクロール機能に対応し得る。図２の実施形態に対応するジェスチャーの他の例として、医療従事者１２の手１２Ａが、ユーザインタフェース画像セクション５０ＡとＴＯＦ撮像システム３２との間に位置すること、および、医療従事者が特定の数の指（例えば、２本の指）を延ばしていることが検出された場合、選択された特定の機能またはメニューの選択肢は、ユーザインタフェースセクション５０Ａに関連付けられたスクロール機能またはメニューの選択肢に対応し得る。上述の特定のジェスチャーは、例示的なものに過ぎず、ＴＯＦ撮像システム３２によって識別できる任意のジェスチャーは、ユーザインタフェースメニュー画像２２に対するものであることを理解すべきである。ユーザインタフェースセクション５０がメニューの選択肢に対応している場合、特定のユーザインタフェース画像セクション５０に対応する特定のメニューの選択肢を選択するのに、同様のジェスチャーが使用され得る（これにより、特定の動作または機能へのサブメニューに移動し得る）ことを理解するべきである。
ブロック１０６の問い合わせがネガティブである場合、方法１００は、ブロック１０８に進む。ブロック１０８は、医療従事者１２の手１２Ａが、遅延閾値（例えば、閾値期間）より長い間、対象領域（ＲＯＩ）の外に移動しているかどうか、または、そうでなければ、医療従事者１２の手１２Ａが、切り替えジェスチャーを示しているかどうか問い合わせることを含み得る。いくつかの実施形態において、ブロック１０８の対象領域は、ＴＯＦ撮像システム３２の検知ボリューム６０のサブセットを含み得る。いくつかの実施形態において、ブロック１０８の対象領域は、投影されたユーザインタフェースメニュー画像２２に相関する、または、基づき得る。例えば、ブロック１０８の対象領域は、ＴＯＦ撮像システム３２と、投影されたユーザインタフェースメニュー画像２２との間のある領域に対応し得て、投影されるユーザインタフェースメニュー画像２２のサイズに相関する、または、基づく、横方向の境界を含み得る。ブロック１０８の問い合わせがポジティブである（すなわち、医療従事者１２の手１２Ａが、閾値期間より長く、対象領域の外に位置する）場合、方法１００は、プロジェクタ３４をオフにする（または、そうでなければ、ユーザインタフェースメニュー画像２２を投影面３８上に投影しない、または、それを中断する）ことを伴うブロック１１０に進む。ブロック１１０の後で、方法１００は、ブロック１０２に進む（すなわち、システム１０は、初期状態に戻る）。いくつかの実施形態において、医療従事者１２の手１２Ａが対象領域の外に位置することが（例えば、遅延閾値の前に）最初に検出されたとき、システム１０は（ブロック１０８の一部として）、システム１０が遅延閾値の後で初期状態に戻ることを示す警告を出す。例えば、閾値時間の前に、医療従事者１２の手１２Ａが対象領域の外に位置することが検出された後で、コントローラ３０は、プロジェクタ３４に、システム１０が間もなく初期状態に戻ることの視覚的なインジケータ（例えば、ユーザインタフェースメニュー画像２２上に投影される赤色の円、ならびに、ユーザインタフェース画像の点滅および／または強調など）を投影させ得る。一方、ブロック１０８の問い合わせがネガティブである場合（すなわち、医療従事者１２の手１２Ａが対象領域の中に位置する、または、閾値期間より短い間、対象領域の外に位置する）、方法１００は、ブロック１０４に戻る。
ブロック１０６の問い合わせがポジティブであり（例えば、特定の機能またはメニューの選択肢がユーザインタフェース画像セクション５０に関連付けられている場合）、適切な選択ジェスチャーによって選択された場合、方法１００はブロック１１１に進む。図４の実施形態のブロック１１１は、特定の実施形態にしたがって、特定の機能（例えば、ブロック１０６で選択された機能）を実施するための方法を含む。詳細は後述するが、いくつかの実施形態において、ブロック１１１は、メニューの選択肢に対応する動作を実施することを含み得る。 示されているブロック１１１の実施形態に入ると、方法１００は、ブロック１０６の問い合わせの結果として選択された特定の機能を示すことを含む、オプションのブロック１１２を開始する。特定の実施形態において、ブロック１１２は、プロジェクタ３４に、選択されたブロック１０６において選択されたユーザインタフェース画像セクション５０の特定の１つにインジケータを投影させ得ることを含み得る。例えば、ユーザがユーザインタフェースセクション５０Ａ（スクロールに対応、図２を参照）を選択する場合、ブロック１１２は、ユーザインタフェース画像セクション５０Ａにインジケータを投影することを含み得る。例として、そのようなインジケータは、選択されたユーザインタフェース画像セクション５０上に円を投影すること、選択されたユーザインタフェース画像セクション５０を固定すること、選択されたユーザインタフェース画像セクション５０を点滅させること、選択されたユーザインタフェース画像セクション５０を強調すること、または、そうでなければ、選択されたユーザインタフェース画像セクション５０に注意を引くことを含み得る。いくつかの実施形態または状況において、具体的には、医療従事者１２の身体の一部（例えば、手１２Ａ）、および／または、医療従事者１２に使用される器具によって、投影されているユーザインタフェース画像メニュー２２の一部が投影面３８上に現れることが妨害され得る場合、重ね合わせたインジケータを有する、選択されたユーザインタフェース画像セクション５０（および／またはユーザインタフェースメニュー画像２２の他のいずれかの部分）が、医療従事者１２の身体の一部（例えば、手１２Ａ）および／または医療従事者１２によって使用される器具の上に投影され得る。重ね合わせたインジケータを有する、選択されたユーザインタフェース画像セクション５０のそのような投影は、選択状態を示し得る。いくつかの実施形態において、重ね合わせたインジケータ（および／または、ユーザインタフェースメニュー画像２２の他のいずれかの部分）を有する、選択されたユーザインタフェース画像セクション５０が、医療従事者１２の身体の一部（例えば、手１２Ａ）、および／または、医療従事者１２によって使用される器具の上に投影されている場合、医療従事者の身体または器具に投影されている画像部分は、プロジェクタに対する、医療従事者の身体または器具の距離および／または方向に基づいて調節され得る（例えば、拡大縮小および／または歪められ得る）。この距離および／または方向は、ＴＯＦ撮像デバイス３２によって取得されたデータに基づいて、コントローラ３０によって決定され得る。
方法１００は次に、第１の方向ジェスチャーが検出されたかどうか問い合わせることを伴うブロック１１４に進む。いくつかの実施形態において、方向ジェスチャーは、ＴＯＦ撮像デバイス３２と投影面３８との間の方向に、および／または、プロジェクタ３４と投影面３８との間の方向にほぼ直交する、１つまたは複数の方向の、医療従事者１２の手１２Ａの動き（または、その方向の成分を含む動き）を含み得る。そのような方向ジェスチャーは、図３Ｃにおいて概略的に示されている。図３Ｃは、図３Ｂの線３Ｃ−３Ｃに沿って切った、ＴＯＦ撮像デバイス３２のセンサボリューム６０の空間６８の概略的な断面図である。図３Ｃの示されている実施形態の例示的な場合において、医療従事者１２の手１２Ａが方向９２へ（例えば、図３Ｃの概略図における位置９０へ）動く場合、これは、第１方向９２の動きを示すジェスチャーと解釈され得る。逆に、医療従事者１２の手１２Ａが方向９４へ（例えば、図３Ｃの概略図において、位置８８へ）動く場合、これは、第２方向９２の動きを示すジェスチャーと解釈され得る。いくつかの実施形態において、空間６８は、（例えば、概念上の線７１および７９によって）複数の領域に分割され得て、領域間の動きは、方向ジェスチャーとして解釈され得る。例えば、図３Ｃは、概念上の線７１および７９によって区分された３つの領域７３、７５、７７を示す。図３Ｃの示されている実施形態の例示的な場合において、医療従事者１２の手１２Ａが、概念上の線７９に境界されるヌル領域７７内に位置する場合、これは、いかなる方向ジェスチャーも意味するものではないと解釈されるが、手がヌル領域７７から第１方向領域７５（ヌル領域７７の外であり、概念上の線７１の一方の側（図３Ｃの概略図における線７１の右側））へ動く場合、これは、第１方向９２の動きを示すジェスチャーとして解釈され得る。逆に、医療従事者１２の手１２Ａが、ヌル領域７７から第２方向領域７３（ヌル領域７７の外であり、概念上の線７１の逆側（図３Ｃの概略図における線７１の左手側））へ動く場合、これは、第２方向９４の動きを示すジェスチャーとして解釈され得る。いくつかの実施形態において、他の領域は、追加的または代替的に、本明細書に記載されるヌル領域７７と同様のヌル領域と見なされ得る。例えば、ｄ１の上の領域（図３Ｂ）は、ヌル領域と見なされ得る。いくつかの実施形態において、他の方向領域（および／または、追加的な方向領域）が提供され得る。
いくつかの実施形態において、医療従事者１２の手１２Ａがヌル領域７７から第１方向領域７５へ（例えば、図３Ｃの概略図における方向９２へ）動く場合、ブロック１１４の問い合わせは、ポジティブであり得る。この場合、方法１００はブロック１１６へ進む。ブロック１１６は、ブロック１０６の選択された機能、および、ブロック１１４の第１方向に関連付けられた動作を実施することを含む。いくつかの実施形態において、ブロック１１６は、従来のコンピュータマウスのホイール入力に関連付けられた二方向機能の一方向と同様の機能を実施することを含み得る。例えば、ブロック１０６の選択された機能がスクロールを含み、ブロック１１４の問い合わせがポジティブである場合、ブロック１１６は、利用可能な画像を第１方向にスクロールすることを伴い得る。
いくつかの実施形態において、ブロック１１６の動作は、ブロック１１４の問い合わせがポジティブである期間発生し得て、ブロック１１４の問い合わせがネガティブになって初めて停止し得る。例えば、図３Ｃの示されている実施形態において、ブロック１１６の動作は、医療従事者１２の手１２Ａがヌル領域７７の外に位置する期間、概念上の線７１の一方の側の第１方向領域７５で発生し得る。医療従事者１２が手１２Ａを領域７５からヌル領域７７へ戻す、または、第２方向領域７３へ動かす場合、ブロック１１４の問い合わせはネガティブになり、ブロック１１６の動作が停止し得る。
いくつかの実施形態において、ブロック１１４および１１６は、比較的より複雑なジェスチャーの制御を容易にするロジックを含み得る。いくつかの実施形態は、ジェスチャーの方向に加えて、または、その代わりに、特定のジェスチャーと関連付けられた、大きさメトリックを確認することを含み得る。例えば、振幅パラメータは、図４のブロック１１４と１１６との間で識別され得て、医療従事者１２が手１２Ａをヌル領域７７から第１方向領域７５へと動かす量（例えば、大きさメトリック）と、医療従事者１２の手１２Ａの、中心軸６９および／または概念上の線７１（図３Ｃ）からの距離と、医療従事者１２が手１２Ａをヌル領域７７から第１方向領域７５へと動かす速度と、他のいずれかの軸に沿った、医療従事者の手１２Ａの動き（例えば、図３Ｃで示されている方向９３、９５の１つ、または、図３Ｂで示されている方向９７，９９の１つ）と、これらの大きさメトリックのいずれかの組み合わせと、その他同種のものとを判定することを含み得る。そのような検出された大きさメトリックは、次に、ブロック１６において、対応する量の関連付けられた機能を制御するのに使用され得る。例えば、ブロック１１６が、ズームイン動作を実施することを含む場合、識別された大きさメトリックは、ブロック１１６で実施されるズームの量および／または速度を判定するのに使用され得る。すなわち、ズームの量および／または速度は、識別された大きさメトリックに相関するか、その関数であるか、それに比例するか、および／または、そうでなければ、それに基づき得る。他の非限定的な例として、スクロールの場合、ブロック１１４および１１６は、速度を検知できるジェスチャー制御を包含し得る。これにより、例えば、医療従事者１２が手１２Ａをヌル領域７７から第１方向領域７５へ動かす速度は、ブロック１１６において第１方向に行われるスクロール動作の対応する量および／または速度の基礎となる。
いくつかの実施形態において、ブロック１１４、１１６において確認された大きさメトリックは、速度に基づくメトリック（例えば、医療従事者１２がどれほど速く手１２Ａを動かしたか）、および／または、位置に基づくメトリック（例えば、医療従事者１２の手１２Ａは、中心軸６９および／または概念上の線７１からどれだけ遠いか）を含み得る。そのように確認された、速度に基づく、および／または、位置に基づく大きさメトリックは、対応する機能の、速度に基づく、および／または、位置に基づく量に相関し得る（および／または、それらにマッピングされ得る）。非限定的な例を以下に挙げる。
・位置に基づく大きさメトリックは、対応する機能の、位置に基づく量に相関し得る（例えば、手１２Ａの位置は、パンニングの位置に基づく量、または、スクロールされる画像の数に相関し得る、および／または、マッピングされ得る、など）。
・位置に基づく大きさメトリックは、対応する機能の速度に基づく量に相関し得る（例えば、手１２Ａの位置は、パンニングの速度、または、画像のスクロール速度に相関し得る、またはマッピングされ得る、など）。
・速度に基づく大きさメトリックは、対応する機能の位置に基づく量に相関し得る（例えば、手１２Ａの速度は、パンニングの位置に基づく量、または、スクロールされる画像の数などに相関し得る、および／またはマッピングされ得る）。
・速度に基づく大きさメトリックは、対応する機能の速度に基づく量に相関し得る（例えば、手１２Ａの速度は、パンニングの速度、または、スクロールされる画像の速度などに相関し得る、および／またはマッピングされ得る）。いくつかの実施形態において、他の追加的な、または代替的な大きさメトリックは、他の追加的な、または代替的な機能の量に相関し得る、および／またはマッピングされ得る。いくつかの実施形態において、大きさメトリックと機能の量との間の相関および／またはマッピングは、特定の選択された機能に依存し得る。例えば、いくつかの実施形態において、パンニング機能は、位置に基づく大きさメトリックに相関し得て、および／または、位置に基づく大きさメトリックを、位置に基づくパンニング機能にマッピングし得る。ここで、スクロール機能は、位置に基づく大きさメトリックに相関し得て、および／または、位置に基づく大きさメトリックをスクロール速度にマッピングし得る。
追加的または代替的に、いくつかの実施形態において、医療従事者は、一連の適切なジェスチャーを使用することで、大きさメトリックを更に増加または減少させ得る。非限定的な例として、いくつかの実施形態において、これは、医療従事者１２が手１２Ａをヌル領域７７から、大きさメトリックの第１階層に対応する第１方向領域７５へ動かすこと、および、次に、いずれかの閾値より上または下に（例えば、ｄ１より上に（図３Ｂ））、手１２Ａを上げる、または下げること、および、手１２Ａを引いてヌル領域７７に戻して、ヌル領域７７から第１方向領域７５への動きを繰り返すことで、大きさメトリックを増加させることを伴う。大きさメトリックを増加または減少させるべく、追加的または代替的に、他のジェスチャーの組み合わせが使用され得る。例えば、医療従事者１２は、手をヌル領域７７から第１方向領域７５へ移動させ得て、次に、大きさメトリックを増加させるべく手を上に動かし、大きさメトリックを減少させるべく手を下に動かし得る（または逆も同様である）。
追加的または代替的に、いくつかの実施形態において、医療従事者は、マウスホイールを上から下まで回転させ、次に指を上げて指をホイールの上へ「リセット」し、上から下までのスクロールを繰り返すことと同様の手段で、一連の適切なジェスチャーを使用して、ブロック１１６の動作の個別の反復を繰り返すことが可能であり得る。非限定的な例であるが、いくつかの実施形態において、これは、医療従事者１２が手１２Ａをヌル領域７７から、第１方向領域７５（例えば、ヌル領域７７の外であり、（図３Ｃに示されている図における）概念上の線７１の右）へ動かすことでブロック１１６の第１の反復を発生させ、次に、いずれかの閾値より上に（例えば、ｄ１より上に（図３Ｂ））手１２Ａを上げること、および、手１２Ａをヌル領域７７まで引いて戻して、次に、ヌル領域７７から第１方向領域７５への動きを繰り返すことで、ブロック１１６の第２の反復を発生させることを伴い得る。医療従事者１２が手１２Ａをいずれかの閾値より上に上げること以外のジェスチャーは、反復的な一連のジェスチャーを「リセット」するのに使用され得る。例えば、医療従事者は、リセットしたいことを示すべく、５本の指すべてをフリックし得て、次に、手をヌル領域７７に戻してリセットする。いくつかの実施形態において、特定の「リセット」ジェスチャーは、必須ではなく、ヌル領域７７と第１方向領域７５との間で行き来するように動かす一連の繰り返しは、第１方向ジェスチャーの反復の繰り返しと解釈され得て、医療従事者が、手１２Ａを第２方向領域７３（例えば、ヌル領域７７の外であり、概念上の線７１の左（図３Ｃ））へ動かさなければ、ブロック１１６の反復を繰り返し得る。
再び図１において、図１の実施形態で示されている特定の実施形態にしたがってブロック１１６を実施することは、コントローラ３０が、通信用インタフェース３６に、（例えば、ワークステーション４４に関連付けられた、対応する通信インタフェース４６で）ワークステーション４４と通信する（例えば、コマンドを送信する）させることを含み得る。図１で示されている実施形態と同様に、ワークステーション４４は、無菌環境１６の外（例えば、非無菌領域１８）に位置し得る。非限定的な例であるが、通信用インタフェース３６、４６は、適切なＬＡＮまたはＷＡＮネットワークを介して互いに通信し得る適切に構成された、有線または無線通信用インタフェース（例えばルータ）を有し得る。
ワークステーション４４は、適切なソフトウェアインタフェース４８を含み得る。ワークステーション４４は、ユーザインタフェースデバイス２６からコマンドを受け取ると、医療関連情報が保持されている記憶場所４９（例えば、病院のサーバ）とインタラクトし得る。ワークステーション４４と記憶場所４９との間のインタラクションは、通信用インタフェース４６を使用して、適切なＷＡＮまたはＬＡＮネットワーク（図示せず）上で実施され得る（ただし必須ではない）。いくつかの実施形態において、記憶場所４９は、他のいずれかの通信プロトコルを使用してワークステーション４４に接続され得る。例えば、記憶場所４９は、ワークステーション４４がアクセスし得る、ハードドライブ、ＵＳＢメモリスティック、光学ディスクなどを含み得る。記憶場所４９は、画像および／または他の医療関連情報を保存し得る。記憶場所４９は、ワークステーション４４からコマンド（ユーザインタフェースデバイス２６からのコマンドに対応）を受け取ると、それに応答して、適切な医療関連情報をワークステーション４４に提供し得て、ワークステーション４４は次に、その情報をユーザインタフェースデバイス２６に提供し得る。示されている実施形態において、そのような情報は、ディスプレイ２４にこの情報を表示させる、ユーザインタフェースデバイス２６のコントローラ３０に提供される。
例えば、図１および図４を参照すると、ブロック１０６の選択された機能がスクロールを含み、ブロック１１４がポジティブである場合、ブロック１１６は、記憶場所４９から画像を検索すること、および、利用可能な画像のスクロール動作を（ディスプレイ２４上に）表示することを伴い得る。他の例として、ブロック１０６の選択された機能がズームを含み、ブロック１１４がポジティブである場合、ブロック１１６は、特定の画像に関するより詳細なデータを記憶場所４９から検索すること、および、特定の画像上でズームインするためのズーム動作を（ディスプレイ４９上に）表示することを伴い得る。いくつかの実施形態において、ワークステーション４４は、Ｏｓｉｒｉｘのソフトウェアを実装し得る。これは、ソフトウェアインタフェース４８の一部であり、画像保管通信システム（ＰＡＣＳ）、医用デジタル画像・通信システム（ＤＩＣＯＭ）、病院情報システム（ＨＩＳ）、放射線医学情報システム（ＲＩＳ）などとインタラクトし得る。
いくつかの実施形態において、適切な画像を表示するためのデータは、ユーザインタフェースデバイス２６で（例えば、コントローラ３０がアクセス可能なメモリ（図示せず）内で）既に利用可能であり得るので、ブロック１１６の動作のいくつかは、記憶場所４９とのインタラクションを必要とし得ない。いくつかの実施形態において、ブロック１１６の機能を提供するべく、異なるアーキテクチャが実施され得る。例えば、いくつかの実施形態において、ワークステーション４４は、ディスプレイ２４と直接通信し得て、ワークステーション４４は、ユーザインタフェースデバイス２６から受信されたコマンドに応答して、ディスプレイ２４に、特定の画像をユーザインタフェースデバイス２６へ送り戻すことなく当該画像を表示させ得る。他の例として、いくつかの実施形態において、ユーザインタフェースデバイス２６は、記憶場所４９と直接通信し得る。この場合、画像データは、ユーザインタフェースデバイス２６によって、記憶場所４９から直接検索され得て、ワークステーション４４は必要とされ得ない。
再び図４において、ブロック１１４の問い合わせがネガティブである場合、方法１００は、第２方向ジェスチャーが検出されたかどうか問い合わせることを伴うブロック１１８へ進む。上述のように、いくつかの実施形態において、方向ジェスチャーは、ＴＯＦ撮像デバイス３２と投影面３８との間、および／または、プロジェクタ３４と投影面３８との間の方向に対してほぼ直交する１つまたは複数の方向の（または、そのような方向の成分を含む）、医療従事者１２の手１２Ａの動きを含み得る。図３Ｃの示されている実施形態の例示的な場合において、医療従事者１２の手１２Ａが、ヌル領域７７から、ヌル領域７７の外であって概念上の線７１の（図３Ｃにおける）左側にある第２方向領域７３へ（図３Ｃの概略図における方向９４へ）動く場合、これは、第２方向９４の動きを示すジェスチャーとして解釈され得る。ブロック１１８において、この第２方向の動きが検出された場合（すなわち、ブロック１１８の問い合わせがポジティブである場合）、方法１００は、ブロック１２０へ進み得る。
ブロック１２０は、ブロック１０６の選択された機能およびブロック１１８の第２方向に関連付けられた動作を実施することを含み得る。これに関連して、ブロック１２０は、上述のブロック１１６と逆の方向を有する機能を実装し得る。例えば、いくつかの実施形態において、ブロック１２０は、従来のマウスのホイール入力に関連付けられた二方向機能の一方向と同様の機能を実施することを含み得る。例えば、ブロック１０６の選択された機能がスクロールを含み、ブロック１１８の問い合わせがポジティブである場合、ブロック１２０は、利用可能な画像を第２方向（ブロック１１６の方向と逆方向）にスクロールすることを伴い得る。コマンドの方向を別として、ブロック１１８および１２０を実施することは、ブロック１１４および１１６に関連して上述された技術のいずれかを含み得る。
ブロック１１８の問い合わせがネガティブである、または、ブロック１２０が終了する場合、方法１００は、ブロック１２２へ進み得る。ブロック１２２は、医療従事者１２の手１２Ａが、遅延閾値（例えば、閾値期間）より長い間、対象領域（ＲＯＩ）の外に移動しているかどうかの、ブロック１０８の問い合わせと同様の問い合わせることを伴い得る。ブロック１２２の問い合わせは、ブロック１０８に関連して上述されたものと同様の技術を使用して実施され得る。ブロック１２２の問い合わせがポジティブである（すなわち、医療従事者１２の手１２Ａが、閾値期間より長く、対象領域の外に位置する）場合、方法１００は、プロジェクタ３４をオフにする（または、そうでなければ、ユーザインタフェースメニュー画像２２を投影面３８上に投影しない、または、それを中断する）ことを伴うブロック１１０に進む。ブロック１１０の後で、方法１００は、ブロック１０２に進む（すなわち、システム１０は、初期状態に戻る）。いくつかの実施形態において、医療従事者１２の手１２Ａが対象領域の外に位置することが（例えば、遅延閾値の前に）最初に検出されたとき、システム１０は（ブロック１２２の一部として）、システム１０が遅延閾値の後で初期状態に戻ることを示す警告を出す。例えば、閾値時間の前に、医療従事者１２の手１２Ａが対象領域の外に位置することが検出された後で、コントローラ３０は、プロジェクタ３４に、システム１０が間もなく初期状態に戻ることの視覚的なインジケータ（例えば、ユーザインタフェースメニュー画像２２上に投影される赤色の円、ならびに、ユーザインタフェース画像の点滅および／または強調など）を投影させ得る。一方、ブロック１２２の問い合わせがネガティブである場合（すなわち、医療従事者１２の手１２Ａが対象領域の中に位置する、または、閾値期間より短い間、対象領域の外に位置する）、方法１００は、ブロック１１４に戻る。
図６は、特定の実施形態による図４の方法１００においてブロック１１１に加えて、および／または、その代わりに使用され得る方法２１１の概略図である。図４のブロック１１１と同様に、図６の方法２１１は、特定の実施形態による特定の機能（例えば、ブロック１０６において選択される機能）を実施するための方法を含む。多くの点において、図６の方法２１１は、本明細書の他の箇所に記載されているブロック１１１と同様である。したがって、単純化のために、本記載はブロック１１１と方法２１１との間の違いに焦点を当てる。当業者であれば、本明細書の他の箇所に記載されているブロック１１１の技術が方法２１１のどこで使用され得るか理解できるであろう。方法２１１は、ブロック１０６の問い合わせ（図４を参照）がポジティブであるときに開始される。方法２１１は、ブロック１０６の問い合わせの結果として選択された特定の機能を示すことを含む、オプションのブロック２１２において開始する。ブロック２１２は、上述のブロック１１２と実質的に同様であり得る。
方法２１１は次に、コントローラ３０が、プロジェクタ３４に、サブメニュー画像２５０を投影面３８に投影させることを伴う、ブロック２１３へ進む。サブメニュー画像２５０を投影面３８に投影することは（投影の内容を別として）、ユーザインタフェースメニュー画像２２を投影面３８に投影することと実質的に同様であり得る。図７は、特定の実施形態による、ブロック２１３における、投影面３８上に投影され得るサブメニュー画像２５０の例を示す。サブメニュー画像２５０は、複数のサブメニュー画像セクション２５２（個別には、サブメニュー画像セクション２５２Ａ、２５２Ｂ、２５２Ｃ、２５２Ｄ、２５２Ｅ）を含む。サブメニュー画像セクション２５２は、ユーザインタフェース画像セクション５０の選択のための、本明細書に記載された技術のいずれかと同様の手段でジェスチャー（例えば、医療従事者１２の手１２Ａのジェスチャー）を使用することで選択され得る。図７で示されている実施形態において、ユーザインタフェースメニュー画像２２は、サブメニュー画像２５０と同時に投影されており、ユーザインタフェースメニュー画像２２は、スクロール機能（ユーザインタフェース画像セクション５０Ａ）が強調された状態で示されているが、これらの特徴のいずれも必須ではない。いくつかの実施形態において、ユーザインタフェースメニュー画像２２は、方法２１１の間に表示されない。いくつかの実施形態において、ユーザインタフェースメニュー画像２２は、方法２１１の間に表示されるが、サイズを減少させて、または、サブメニュー画像２５０がユーザインタフェースメニュー画像２２に対して強調されることを可能にする他のいずれかの形で示される。いくつかの実施形態において、ユーザインタフェースメニュー画像２２の一部（例えば、ユーザインタフェース画像セクション５０のうち選択された１つに対応するアイコン）だけが方法２１１の間に表示される。
図７の実施形態のサブメニュー画像２５０は、サブメニュー画像セクション２５２Ａ（高振幅／速度左機能に対応）、２５２Ｂ（低振幅／速度左機能に対応）、２５２Ｃ（停止機能に対応）、および、２５２Ｄ（低振幅／速度右機能に対応）、２５２Ｅ（高振幅／速度右機能に対応）を含むことが分かる。上述のように、サブメニュー画像セクションの各々に対応する機能は、ユーザインタフェース画像セクション５０の選択のための、本明細書に記載されるジェスチャーのいずれかに基づく技術を使用して選択され得る。ブロック２１４において、方法２１１は、医療従事者１２が、サブメニュー画像セクション２５２および対応する機能のいずれを選択するのにジェスチャーを使用したかどうか問い合わせることを伴う。ブロック２１４の問い合わせがネガティブである場合、方法２１１は、図４およびブロック１１１に関連して上述されているブロック１２２と実質的に同様であるブロック２２２に進む。ブロック２１４の問い合わせがポジティブである場合、方法２１１は、ブロック２１６に進む。ブロック２１６は、システム１０が、ブロック２１４の選択されたサブメニューの方向および振幅／速度で、ブロック１０６の選択された機能を実施することを伴う。例えば、図７の例の場合、ブロック１０６の選択された機能は、スクロール機能（ユーザインタフェースメニューのセクション５０Ａに対応する）である。ブロック２１４において、医療従事者１２がジェスチャーを使用してサブメニュー画像セクション２５２Ｅを選択する場合、システム１０は、ブロック２１６において、ディスプレイ２４（図１）上に表示されている画像を、比較的速いスクロール速度（高振幅）で、右または上（方向）にスクロールさせ得る。一方、ブロック２１４において、医療従事者１２がジェスチャーを使用してサブメニュー画像セクション２５２Ｂを選択する場合、システム１０は、ブロック２１６において、ディスプレイ２４上に表示されている画像を、比較的小さいスクロール速度（低振幅）で、左または下（方向）にスクロールさせ得る。方法２１１のブロック２１６を実施するのに使用される方法および技術は、例えば、図４のブロック１１６および／または１２０の動作を実施することに関連して本明細書に記載されている方法および技術のいずれかと同様であり得る。
ブロック２１８において、方法２１１は、ブロック２１４のサブメニュー画像セクション２５２が選択されたままであるかどうか確認することを伴う。医療従事者１２が（例えば、特定のサブメニュー画像セクション２５２上に手１２Ａを配置したままにすることによって、または、そうでなければ、ジェスチャーを使用して特定のサブメニュー画像セクション２５２を選択することによって）、特定のサブメニュー画像セクション２５２およびその対応する機能を選択し続ける場合、ブロック２１８の問い合わせはポジティブであり、方法２１１は、システム１０が対応する動作を実施し続けるブロック２１６に戻る。医療従事者１２が（例えば、サブメニュー画像２５０から離れるように手１２Ａを動かすことによって、または、そうでなければ、ジェスチャーを使用して特定のサブメニュー画像セクション２５２の選択を解除することによって）、特定のサブメニュー画像セクション２５２およびその対応する機能の選択を中止する場合、ブロック２１８の問い合わせはネガティブであり、方法２１１はオプションのブロック２２０へ進む。オプションのブロック２２０において、システム１０は、図７の実施形態のサブメニュー画像セクション２５２Ｃ内に示されている「停止」アイコンを強調し得る。オプションのブロック２２０において停止アイコンを強調するのに使用される技術は、オプションのブロック１１２において選択された機能を示すための、本明細書に記載のいずれかの技術と同様であり得る。停止アイコンを強調するための、同様のオプションのブロックが、ブロック２１４の「ＮＯ」分岐とブロック２２２との間に位置し得る。方法２１１は最終的に、本明細書の他の箇所に記載されているブロック１２２と同様の機能を提供するブロック２２２に到達する。
当業者であれば、（ブロック１１１および／または方法２１１を使用して実施される）方法１００の機能は、２つの逆方向の方向性動作（例えば、ブロック１１６および１２０に関連付けられた動作）を提供することを理解するであろう。いくつかの実施形態において、特定の選択された動作について、異なる数の方向が提供され得る。例えば、図２のユーザインタフェースメニュー画像２２において、ユーザインタフェース画像の１つ（セクション５０Ｂ）は、２つより多くの逆方向のパンニングを含み得るパンニングに対応する。この場合、図４の方法１００は、追加的な（例えば、第３および第４の）方向を除いてブロック１１４、１１８と同様の追加的な問い合わせと、そのような追加的な方向を除いてブロック１１６、１２０と同様の対応する追加的な動作とを提供することによって変更され得る。そのような実施形態において、追加的な方向ゾーンが図３Ｃの概略図において提供され得る。同様に、そのような追加的な方向を提供するべく、方法２１１において、追加的なサブメニュー画像セクション２５２が使用され得る。
ユーザインタフェース画像セクション５０、および、それらの対応する機能を選択する目的で、システム１０は、メニューのようなインタラクションを医療従事者１２に提供する。いくつかの実施形態において、「ドリルダウン」タイプのメニューインタラクションが提供され得て、特定のユーザインタフェース画像セクション５０に関連付けられた「機能」によって、コントローラ３０は、プロジェクタ３４に、ユーザインタフェースサブ画像を表示させ、当該ユーザインタフェースサブ画像は、対応するグラフィックおよび／またはテキストアイコンならびに対応する機能を有するユーザインタフェースサブ画像の画像セクションの新しいセットを含むことが理解されるであろう。複数の階層のサブメニューが、この手段で実施され得ることが理解されるであろう。方法１００は、例えば、ブロック１０６と同様の、複数の階層の問い合わせを提供することで、そのような機能を提供するように変更され得て、選択ジェスチャーの連続的な検出の各々において、対応するユーザインタフェースサブ画像を表示することは、ユーザインタフェース画像セクションの新しいセットを含む。
いくつかの実施形態において、方法１００の一部として行われる動作の方向は、必須ではない。例えば、ユーザインタフェース画像セクション５０の１つ、または、ユーザインタフェースサブ画像セクションの１つに関連付けられた機能の特定の１つを選択すれば、十分であり得る。そのような実施形態において、ブロック１１１および／または方法２１１は、方向を考慮することなく、選択された動作を実施することを伴うブロックによって置き換えられるか、（例えば、そのブロックを追加することで）増大される。非限定的な例であるが、いくつかの実施形態において、ユーザインタフェースサブ画像セクションは、現在のビデオクリップを再生する、または、一連の次の番号（例えば、３００）の画像をビデオクリップ化してそれを再生する機能に関連付けられ得る。そのようなユーザインタフェースサブ画像セクションが選択された場合、方法１００のブロック１１１は、いかなる方向の問い合わせもなくビデオクリップを再生すること、および、次に、ビデオクリップの再生後にブロック１２２へ進むことを含み得る。
上述のように、コントローラ３０は、プロジェクタ３４に、ユーザインタフェースメニュー画像２２を、無菌環境１６に位置し、医療従事者１２が見てインタラクトすることに適した投影面３８上に投影させる。いくつかの実施形態において、投影面３８は、患者１４が位置する手術台２８の部分２８Ａのほぼ横方向の表面を含み得る。医療従事者１２は、手術台２８の部分２８Ａとユーザインタフェースデバイス２６との間の空間６８において一方の（または両方の）手１２Ａを使用するジェスチャーを作ることで、システム１０とインタラクトし得て、そのようなジェスチャーは、投影されるユーザインタフェースメニュー画像２２に対する、および／または、ユーザインタフェースメニュー画像２２が投影される投影面３８に対する、医療従事者の手１２Ａの位置に基づいて解釈され得る。いくつかの実施形態において、システム１０は、投影されるユーザインタフェースメニュー画像２２が、手術台２８の部分２８Ａに（例えば、手術台の端に交差することなく）適合するように、（ＴＯＦ撮像システム３２によって取得されたデータに基づいて）投影されるユーザインタフェースメニュー画像２２サイズを調節し得る。例えば、コントローラ３０は、手術台２８の端の一方の側を（例えば、端の他方の側における、手術台２８と床との間の高さの急激な変化によって）見つけるべく、ＴＯＦ撮像システム３２によってキャプチャされたデータを解釈し得る。コントローラ３０は次に、プロジェクタ３４に、（投影されているときの）ユーザインタフェースメニュー画像２２のサイズを調節して手術台２８の部分２８Ａに適合させ得る。
投影面３８が手術台２８の部分２８Ａを含む実施形態において、投影面３８は、ほぼ横方向であるが、不規則（例えば、非平面、または、完全ではないがほぼ横方向）であり得る。投影面３８のこの不規則性は、患者の身体の存在、いずれかの投影面（例えば、手術台）の被覆の状態、医療器具の存在などに起因し得る。いくつかの実施形態において、システム１０は、投影面３８の検出された不規則性に基づいて、投影されている、ユーザインタフェース画像２２を補償し得る。例えば、コントローラ３０は、ＴＯＦ撮像システム３２によって取得された情報に基づいて、投影面３８の３Ｄ形状を判定し得て、そのような３Ｄ形状を使用することで、プロジェクタ３４に、ユーザインタフェースメニュー画像２２の投影を調節して表面の不規則性を補償させる。いくつかの実施形態において、システム１０は、投影されているユーザインタフェース画像を調節して、投影面３８の反射率および／または色を補償し得る。例えば、コントローラ３０は、ＴＯＦ撮像システム３２、または、カラーカメラなど他のいずれかの適切な撮像システム（図示せず）によって取得されたデータに基づいて、投影面３８の反射率または色を推定し得る。コントローラ３０は、次に、この情報を使用することで、プロジェクタ３４に、ユーザインタフェースメニュー画像２２の投影を調節して投影面３８の反射率および／または色を補償させる。
いくつかの実施形態において、放射源６４（図３Ａを参照）による、検知ボリューム６０の不規則な照射を補償するべく、ＴＯＦ撮像システム３２の積分時間を調節することが望ましいことがある。ＴＯＦ撮像システム３２の積分時間を調節することは、検出器６６で受け取る放射の量を調節することに対応する。この目的で、空間６８は、図５Ａで示されているように、さらに、例えば図５Ａにおける点線で示された適切な径座標閾値によって表現されているように、３つの断面対象領域１４０、１４２、１４４へと概念的に分割され得る。図５Ａで示されている実施形態において、中心領域１４０は、断面内で円形であり、領域１４２、１４４は、断面内で輪状であり、これらの領域は、軸６９に対して同心円状である。他の実施形態において、他の数および／または形の対象領域が使用され得ることが理解されるであろう。いくつかの実施形態において、システム１０は、医療従事者１２の手１２Ａの３Ｄ位置を発見または追跡し得て、手１２Ａが位置する対象領域（例えば、領域１４０、１４２または１４４）と、手１２ＡとＴＯＦ撮像システム３２との間（または、手１２Ａと、ＴＯＦ撮像システム３２に関連付けられた基準位置（例えば、座標系原点）との間）の軸６９に沿った距離（例えば、高さ）ｈとに基づいて、ＴＯＦ撮像システム３２の積分時間を補償し得る。領域１４２における例示的な手１２Ａの位置は、図５Ａに示されている。手１２Ａと、ＴＯＦ撮像システム３２に関連付けられた基準位置との間の、軸６９に沿った例示的な距離ｈは、図３Ａに示されている。
いくつかの実施形態において、これら２つの入力は、１つまたは複数のルックアップテーブルに基づき適切な積分時間を決定するための基礎として使用され得る。そのようなルックアップテーブルの基礎として使用され得る適切なプロットは、図５Ｂで提供されている。具体的には、手１２Ａが位置すると判定された対象領域（例えば、１４０、１４２、１４４）は、プロットのルックアップテーブルが、（ｉ）中心の対象領域１４０に対応するか、（ｉｉ）輪状の対象領域１４２に対応するか、（ｉｉｉ）輪状の対象領域１４４のに対応するか選択するための基礎として使用され得る。プロットが選択されると、ＴＯＦ撮像システム３２に関連付けられている基準位置からの手１２Ａの距離ｈに基づいて、積分時間を提供するのに使用される特定の曲線が選択され得る。すなわち、各プロットのｙ軸は、距離ｈを提供し、各プロットのｘ軸は、対応する積分時間を提供する。
本明細書に記載されている実施形態のいくつかは、手１２Ａの比較的小さい動きを利用する。このことは、無菌環境１６（図１）内に比較的多くの人が存在する場合、および／または、医療従事者１２が処置中に重い含鉛防護服を着用する場合に有利であり得る。本明細書に記載されているいくつかの実施形態は、ユーザインタフェース画像を、上向きのほぼ横方向の表面上に投影する天井取り付けシステムを利用する。この向きは、医療従事者１２がジェスチャーを有効にするべく、患者から顔を上げ、手術台２８の向こう側にある、鉛直のスクリーンを有するモニタの方を向くことが必要でないことがあるという理由と、無菌環境１６内における他の物体または器具によってＴＯＦ撮像システムが閉塞することを回避し得るという理由と、無菌環境１６内における他の物体または器具への干渉をほぼ回避し得るという理由とから、有利であり得る。
本発明の特定の実装は、コンピュータおよび／またはプロセッサに本発明の方法を実施させるソフトウェア命令を実行するコンピュータおよび／またはコンピュータプロセッサを含み得る。例えば、コンピュータシステム内の１つまたは複数のプロセッサは、プロセッサがアクセス可能なプログラムメモリから検索されたソフトウェア命令を実行することにより、本明細書に記載の方法におけるデータ処理段階を実施し得る。また、発明は、プログラム製品の形態として提供され得る。プログラム製品は、データプロセッサによって実行されたときにデータプロセッサに本発明の方法を実行させる命令を含むコンピュータ可読信号のセットを有するいずれかの媒体から成り得る。本発明によるプログラム製品は、幅広い様々な形態のいずれであり得る。プログラム製品は、例えば、磁気データ記憶媒体（フロッピー（登録商標）ディスケットなど）、ハードディスクドライブ、光学データ記憶媒体（ＣＤ、ＲＯＭ、ＤＶＤなど）、電子データ記憶媒体（ＲＯＭ、フラッシュＲＡＭなど）などの物理的（不揮発性）媒体を含み得る。命令は、暗号化および／または圧縮された形式でプログラム製品中に存在し得る。
コンポーネント（例えば、ソフトウェアモジュール、コントローラ、プロセッサ、アセンブリ、デバイス、コンポーネント、回路など）が上述されている場合、別段の指定が無い限り、そのコンポーネントへの言及（「意味する」という言及を含む）は、記載されているコンポーネントの機能を実施する何らかのコンポーネントの均等物（すなわち、機能的に均等物）を含むものと解釈されるべきである（本発明の例示的な実施形態で示されている機能を実施する、開示されている構造と構造的に均等でないコンポーネントを含む）。
多くの例示的な態様および実施形態が本明細書で検討されているが、当業者であれば、特定の変形、変更、追加、および、それらのサブコンビネーションを認めるであろう。例えば、
・システム１０によってディスプレイ２４上に表示され得る医療関連情報は、一般的に、いかなるタイプの情報も含み得る。いくつかの実施形態において、この医療関連情報は、処置が実施されている患者１４の画像を含み得る。そのような画像は、処置の前または間に取得され得て、一般的に、そのような画像を取得するのに使用される技術のタイプに制限は無い。非限定的な例であるが、そのような画像は、Ｘ線、コンピュータ断層撮影（ＣＴ）スキャン、核磁気共鳴画像法（ＭＲＩ）、超音波、内視鏡検査、エラストグラフィ、サーモグラフィ、陽電子放射断層撮影などによって取得される。いくつかの実施形態において、いくつかのそのような画像は、まとめられてビデオクリップになる。本明細書で使用されている、画像という単語は、ビデオクリップを含むものと理解されるべきである。
・図４の方法１００において、特定の機能の方向、振幅、および／または、速度を有効にするのに使用されるジェスチャーは上述されたものに限定されず、ＴＯＦ撮像システム３２によって識別可能である、いずれかの適切なジェスチャーを含み得る。非限定的な例であるが、医療従事者１２がＴＯＦ撮像システム３２に対して一方向に手１２Ａを動かす場合、スクロール機能の速度は、速くスクロールするようになり得て、医療従事者１２がＴＯＦ撮像システム３２に対して逆方向に手１２Ａを動かす場合、遅くスクロールするようになり得る。
・上述の実施形態のいくつかにおいて、距離および閾値は、ジェスチャーを識別するべくシステム１０によって使用され、または、そうでなければ、投影面３８に関して記載される。いくつかの実施形態において、システム１０は、ＴＯＦ撮像システム３２の検知ボリュームにおける他の物体からベッド２８を識別するように構成され得て、投影面３８に対するそのような閾値および距離を設定することに加え、または、その代わりに、ベッド２８の表面（または、推定される表面）に対する、そのような閾値および距離を設定し得る。
・実施形態は本明細書において、医療従事者１２が自身の手１２Ａを使用して作るジェスチャーを解釈するものとして記載されている。手１２Ａの使用は、明示的に必須のものではない。システム１０は、医療従事者１２が他の物体（医療従事者１２が持っている器具、医療従事者１２の他の手足、医療従事者１２の指など）を使用して作る３Ｄジェスチャーを解釈するように構成され得る。
・いくつかの実施形態において、コントローラ３０は、医療従事者１２とユーザインタフェースメニュー画像２２とのインタラクションを伴わない他のジェスチャー（例えば、指ベースのジェスチャー）を（ＴＯＦ撮像システム３２からの３Ｄ画像を用いて）識別し得る。そのような他のジェスチャーは、そのように識別された場合、追加的または代替的な機能を提供するのに使用され得る。
・上述の実施形態において、掌を下に下ろす動作に基づくジェスチャーボキャブラリーが、システム１０によって定義および認識される。いくつかの実施形態において、このジェスチャーボキャブラリーに対し、追加、または、他の変更が行われ得る。
多くの例示的な態様および実施形態が上述されているが、当業者であれば、それらの特定の変形、変更、追加、および、サブコンビネーションを認めるであろう。したがって、以下に添付される特許請求の範囲、および、本明細書で後に登場する特許請求の範囲は、本発明の真の精神および範囲内で、そのような変形、変更、追加、および、サブコンビネーションのすべてを含むものと解釈することが意図されている。

Claims (76)

  1. 医療従事者が医療処置中に医療関連情報とインタラクトすることを可能にするためのシステムであって、
    ユーザインタフェースメニュー画像を投影面上に投影するためのプロジェクタと、
    前記投影面を含む検知ボリューム内の複数の物体に関する３次元位置情報をキャプチャするための３次元光学撮像システムと、
    前記３次元光学撮像システムから前記３次元位置情報を受け取るべく接続されているコントローラであって、前記３次元光学撮像システムと前記投影面との間の空間において前記医療従事者が作る１つまたは複数のジェスチャーを、投影されている前記ユーザインタフェースメニュー画像に対する前記ジェスチャーの位置に少なくとも部分的に基づいて解釈するように構成されている、コントローラと
    を備え、
    前記コントローラは、ディスプレイに画像をレンダリングさせるべく、前記ディスプレイに接続可能であり、前記ディスプレイに、医療関連情報を含む画像をレンダリングさせるように構成され、前記画像および前記医療関連情報のうち少なくとも１つは、解釈された前記ジェスチャーに少なくとも部分的に基づく、
    システム。
  2. プロジェクタ、前記３次元光学撮像システム、および、前記ディスプレイは、前記医療処置が実施されている無菌環境内に位置する、請求項１、または、本願の他のいずれかの請求項に記載のシステム。
  3. 前記投影面は、ほぼ横方向の表面を含む、請求項１から２のいずれか一項、または、本願の他のいずれかの請求項に記載のシステム。
  4. 前記投影面は、前記医療処置を受けている患者が位置する手術台の一部を含む、請求項１から３のいずれか一項、または、本願の他のいずれかの請求項に記載のシステム。
  5. 前記投影面は、前記医療処置において使用するための複数の器具を保持するためのサイドテーブルの、ほぼ横方向の表面を含む、請求項１から３のいずれか一項、または、本願の他のいずれかの請求項に記載のシステム。
  6. 前記医療従事者によって作られる前記複数のジェスチャーは、前記医療従事者の手のうち少なくとも１つによって作られる複数の動きを含む、請求項１から５のいずれか一項、または、本願の他のいずれかの請求項に記載のシステム。
  7. 前記コントローラは、前記３次元光学撮像システムから受け取った前記３次元位置情報に少なくとも部分的に基づいて、前記ジェスチャーが、複数のジェスチャーを含むジェスチャーボキャブラリーの中の、特定のジェスチャーであることを解釈するように構成されている、請求項１から６のいずれか一項、または、本願の他のいずれかの請求項に記載のシステム。
  8. 前記ユーザインタフェースメニュー画像は、複数のユーザインタフェース画像セクションを含み、各ユーザインタフェース画像セクションは、前記ユーザインタフェースメニュー画像の異なる部分を占め、対応する機能に関連付けられている、請求項１から７のいずれか一項、または、本願の他のいずれかの請求項に記載のシステム。
  9. 各ユーザインタフェース画像セクションは、対応する機能に関連付けられた、表示されるグラフィックおよび／またはテキストを含む、請求項８、または、本願の他のいずれかの請求項に記載のシステム。
  10. 前記コントローラは、前記３次元光学撮像システムによってキャプチャされた前記位置情報に基づいて、前記医療従事者によって作られる特定のジェスチャーを、前記複数のユーザインタフェース画像セクションの特定の１つの上にある前記ジェスチャーの位置に基づく、前記複数のユーザインタフェース画像セクションの前記特定の１つと、前記対応する機能との選択として解釈するよう構成されている、請求項８から９のいずれか一項、または、本願の他のいずれかの請求項に記載のシステム。
  11. 前記コントローラは、前記３次元光学撮像システムによってキャプチャされた前記位置情報に基づいて、前記医療従事者によって作られる特定のジェスチャーを、前記複数のユーザインタフェース画像セクションの前記特定の１つからの前記ジェスチャーの近接度に基づく、前記複数のユーザインタフェース画像セクションの特定の１つと、前記対応する機能との選択として解釈するよう構成されている、請求項８から１０のいずれか一項、または、本願の他のいずれかの請求項に記載のシステム。
  12. 前記コントローラは、前記医療従事者が作るジェスチャーを、前記複数のユーザインタフェース画像セクションのうち前記特定の１つと、前記対応する機能との前記選択として解釈した後で、前記３次元光学撮像システムによってキャプチャされた前記位置情報に基づいて、前記医療従事者が作る１つまたは複数の更なるジェスチャーを、前記ディスプレイ上に表示される前記医療関連情報とインタラクトするための１つまたは複数の対応するコマンドを含むものと解釈するように構成され、前記ディスプレイに、前記ディスプレイ上にレンダリングされる前記医療関連情報上で、１つまたは複数の対応するコマンドを有効にさせる、請求項１０から１１のいずれか一項、または、本願の他のいずれかの請求項に記載のシステム。
  13. 前記コントローラは、
    前記プロジェクタに、サブメニュー画像を前記投影面上に投影させることであって、前記サブメニュー画像は、複数のサブメニュー画像セクションを含み、各サブメニュー画像セクションは、前記１つまたは複数の対応するコマンドの対応する１つに関連付けられている、前記サブメニュー画像の異なる部分を占める、投影させること、および、
    前記医療従事者によって作られる、前記１つまたは複数の更なるジェスチャーを、前記複数のサブメニューインタフェースセクションの特定の１つに対する前記１つまたは複数の更なるジェスチャーの位置に基づく、前記複数のサブメニューインタフェースセクションの前記特定の１つと、前記１つまたは複数の対応するコマンドの対応する１つとの選択を含むものとして解釈することによって、
    前記医療従事者が作る前記１つまたは複数の更なるジェスチャーを、１つまたは複数の対応するコマンドを含むものと解釈するように構成される、請求項１２、または、本願の他のいずれかの請求項に記載のシステム。
  14. 各サブメニュー画像セクションは、前記１つまたは複数の対応するコマンドの対応する１つに関連付けられた、表示されるグラフィックおよび／またはテキストを含む、請求項１３、または、本願の他のいずれかの請求項に記載のシステム。
  15. 前記コントローラは、前記医療従事者によって作られる前記１つまたは複数の更なるジェスチャーを、前記複数のサブメニューインタフェースセクションの前記特定の１つの上の、前記１つまたは複数の更なるジェスチャーの前記位置に基づく、前記複数のサブメニューインタフェースセクションの前記特定の１つと、前記１つまたは複数の対応するコマンドの前記対応する１つとの前記選択を含むものとして解釈するように構成されている、請求項１３から１４のいずれか一項、または、本願の他のいずれかの請求項に記載のシステム。
  16. 前記コントローラは、前記医療従事者によって作られる前記１つまたは複数の更なるジェスチャーが、前記複数のサブメニューインタフェースセクションの前記特定の１つに対する前記１つまたは複数の更なるジェスチャーの近接度に基づく、前記複数のサブメニューインタフェースセクションの前記特定の１つと、前記１つまたは複数の対応するコマンドの前記対応する１つとの前記選択を含むものと解釈するよう構成されている、請求項１３から１５のいずれか一項、または、本願の他のいずれかの請求項に記載のシステム。
  17. 前記１つまたは複数の対応するコマンドは、前記ディスプレイ上に表示される画像をズームインするズームインコマンドと、前記ディスプレイ上に表示される画像をズームアウトするズームアウトコマンドとを含む、請求項１２から１６のいずれか一項、または、本願の他のいずれかの請求項に記載のシステム。
  18. 前記１つまたは複数の対応するコマンドは、前記ディスプレイ上に表示される複数の画像を第１方向にスクロールすること、および、ディスプレイ上に表示される画像を第２方向にスクロールすることを含む、請求項１２から１７のいずれか一項、または、本願の他のいずれかの請求項に記載のシステム。
  19. 前記１つまたは複数の対応するコマンドは、前記ディスプレイ上に表示される画像の周囲で様々な方向にパンニングすることを含む、請求項１２から１７のいずれか一項、または、本願の他のいずれかの請求項に記載のシステム。
  20. 前記１つまたは複数の対応するコマンドは、第１方向コマンド、および、前記第１方向コマンドと逆方向である第２方向コマンドを含む、請求項１２から１９のいずれか一項に記載のシステム。
  21. 前記第１方向コマンドは、第１方向の第１ジェスチャーに関連付けられ、前記第２方向コマンドは、第２方向の第２ジェスチャーに関連付けられ、前記第１方向および前記第２方向は、互いに対してほぼ逆である、請求項２０、または、本願の他のいずれかの請求項に記載のシステム。
  22. 前記コントローラは、前記３次元光学撮像システムによってキャプチャされる前記位置情報に基づいて、前記第１方向における前記ジェスチャーに関連付けられた動きの量と、前記第１方向における前記ジェスチャーの位置と、前記第１方向における前記ジェスチャーの速度とのうち、少なくとも１つに基づく、前記第１ジェスチャーに関連付けられた大きさメトリックを決定するように構成されている、請求項２１、または、本願の他のいずれかの請求項に記載のシステム。
  23. 前記コントローラは、前記ディスプレイに、前記大きさメトリックに基づいて、前記ディスプレイ上にレンダリングされる前記医療関連情報上で、１つまたは複数の対応するコマンドを有効にさせるよう構成されている、請求項２２、または、本願の他のいずれかの請求項に記載のシステム。
  24. 前記１つまたは複数の対応するコマンドの各々は、方向性および大きさメトリックを含み、前記コントローラは、前記ディスプレイに、前記１つまたは複数の対応するコマンドの前記対応する１つの前記方向性および前記大きさメトリックに基づいて、前記ディスプレイ上にレンダリングされる前記医療関連情報上で、前記１つまたは複数の対応するコマンドの前記対応する１つを有効にさせるよう構成されている、請求項１３から１９のいずれか一項、または、本願の他のいずれかの請求項に記載のシステム。
  25. 前記特定のジェスチャーは、前記投影面の閾値距離内にある位置へ前記医療従事者の手の１つを動かすことを含む、請求項１０から２４のいずれか一項、または、本願の他のいずれかの請求項に記載のシステム。
  26. 前記閾値距離は、前記投影面に関連付けられた基準点に対して決定され、前記基準点は、前記３次元光学撮像システムにもっとも近い、前記投影面上の点を含む、請求項２５または本願の他のいずれかの請求項に記載のシステム。
  27. 前記閾値距離は、前記投影面に関連付けられた基準点に対して決定され、前記基準点は、前記投影面上の複数の点の平均を含む、請求項２５または本願の他のいずれかの請求項に記載のシステム。
  28. 前記閾値距離は、前記検知ボリュームにおけるベッドの検出に基づく、前記投影面の前記位置の推定に対して決定される、請求項２５または本願の他のいずれかの請求項に記載のシステム。
  29. 前記コントローラは、前記医療従事者によって作られる前記特定のジェスチャーを、前記複数のユーザインタフェース画像セクションの前記特定の１つおよび前記対応する機能の前記選択として解釈した後で、前記プロジェクタに、前記複数のユーザインタフェース画像セクションの前記特定の１つ、および、前記対応する機能が選択されたという表示を、前記ユーザインタフェースメニュー画像内に投影させるように構成されている、請求項１０から２８のいずれか一項、または、本願の他のいずれかの請求項に記載のシステム。
  30. 前記コントローラは、前記プロジェクタに、前記表示を前記ユーザインタフェースメニュー画像内に投影させるように構成され、前記医療従事者の身体の一部、および、前記医療従事者によって使用されている器具の１つまたは複数に、前記表示を含む前記ユーザインタフェースメニュー画像の一部を投影するよう構成されている、請求項２９、または、他のいずれかの請求項に記載のシステム。
  31. 前記投影面は、不規則（例えば、非平面、または、ほぼ横方向であるが完全な横方向ではない）な表面形状を含み、前記コントローラは、前記プロジェクタに、前記３次元光学撮像システムによってキャプチャされた前記位置情報に基づいて、前記ユーザインタフェースメニュー画像の前記投影を調節し、前記投影面の前記不規則な表面形状を補償させるように構成されている、請求項１から３０のいずれか一項、または、本願の他のいずれかの請求項に記載のシステム。
  32. 前記コントローラは、前記プロジェクタに、前記３次元光学撮像システムによってキャプチャされた位置情報に基づいて、前記投影面の前記不規則な表面形状のモデルを作成し、前記モデルに基づいて、前記ユーザインタフェースメニュー画像の前記投影を調節させるように構成されている、請求項３１、または、本願の他のいずれかの請求項に記載のシステム。
  33. 前記投影面の前記不規則な表面形状は、患者の身体の存在によって生じる不規則性と、手術台の複数の被覆（例えば、シーツ）の存在によって生じる複数の不規則性と、１つまたは複数の医療器具の存在によって生じる複数の不規則性とのうち１つまたは複数を含む、請求項３１から３２のいずれか一項、または、本願の他のいずれかの請求項に記載のシステム。
  34. 前記コントローラは、前記ディスプレイに、解釈された前記ジェスチャーに少なくとも部分的に基づいて、医療関連情報を含む複数の画像の中の、医療関連情報を含む特定の画像をレンダリングさせるように構成されている、請求項１から３３のいずれか一項、または、本願の他のいずれかの請求項に記載のシステム。
  35. 前記コントローラは、前記投影面の反射率と、前記投影面の色とのうち少なくとも１つを示す測定データに基づいて前記ユーザインタフェースメニュー画像の前記投影を調節するように構成されている、請求項１から３４のいずれか一項、または、本願の他のいずれかの請求項に記載のシステム。
  36. 本明細書に開示されている、他のいずれかの特徴、複数の特徴のコンビネーション、または、複数の特徴のサブコンビネーションを含む、請求項１から３５のいずれか一項に記載のシステム。
  37. 医療従事者が医療処置中に医療関連情報とインタラクトすることを可能にする方法であって、
    ユーザインタフェースメニュー画像を投影面に投影する段階と、
    前記投影面を含む検知ボリューム内の複数の物体に関する３次元位置情報をキャプチャする段階と、
    投影される前記ユーザインタフェースメニュー画像に対する前記ジェスチャーの位置に少なくとも部分的に基づいて、前記医療従事者によって作られる１つまたは複数のジェスチャーを含む前記３次元位置情報を解釈する段階と、
    ディスプレイに医療関連情報を含む画像をレンダリングさせる段階であって、前記画像および前記医療関連情報の少なくとも１つは、解釈された前記ジェスチャーに少なくとも部分的に基づく、段階と
    を含む、方法。
  38. 前記投影面は、ほぼ横方向の表面を含む、請求項３７または本願の他のいずれかの請求項に記載の方法。
  39. 前記投影面は、前記医療処置を受けている患者が位置する手術台の一部を含む、請求項３７から３８のいずれか一項、または、本願の他のいずれかの請求項に記載の方法。
  40. 前記医療従事者によって作られる前記ジェスチャーは、前記医療従事者の手のうち少なくとも１つによって作られる複数の動きを含む、請求項３７から３９のいずれか一項、または、本願の他のいずれかの請求項に記載の方法。
  41. 前記３次元位置情報に少なくとも部分的に基づいて、前記ジェスチャーを、複数のジェスチャーを含むジェスチャーボキャブラリーの中の特定のジェスチャーであると解釈することを含む、請求項３７から４０のいずれか一項、または、本願の他のいずれかの請求項に記載の方法。
  42. 前記ユーザインタフェースメニュー画像は、複数のユーザインタフェース画像セクションを含み、各ユーザインタフェース画像セクションは、前記ユーザインタフェースメニュー画像の異なる部分を占め、対応する機能に関連付けられている、請求項３７から４１のいずれか一項、または、本願の他のいずれかの請求項に記載の方法。
  43. 各ユーザインタフェース画像セクションについて、対応する機能に関連付けられているグラフィックおよび／またはテキストを前記投影面上に投影する段階を含む、請求項４２または本願の他のいずれかの請求項に記載の方法。
  44. 前記３次元位置情報に基づいて、前記医療従事者によって作られる特定のジェスチャーを、前記複数のユーザインタフェース画像セクションの前記特定の１つの上にある前記ジェスチャーの位置に基づく、前記複数のユーザインタフェース画像セクションの特定の１つと、前記対応する機能との選択として解釈する段階を含む、請求項４２から４３のいずれか一項、または、本願の他のいずれかの請求項に記載の方法。
  45. 前記３次元位置情報に基づいて、前記医療従事者によって作られる特定のジェスチャーを、前記複数のユーザインタフェース画像セクションの前記特定の１つに対する前記ジェスチャーの近接度に基づく、前記複数のユーザインタフェース画像セクションの特定の１つと、前記対応する機能との選択として解釈する段階を含む、請求項４２から４４のいずれか一項、または、本願の他のいずれかの請求項に記載の方法。
  46. 前記複数のユーザインタフェース画像セクションの前記特定の１つと、前記対応する機能との前記選択として解釈する段階の後で、前記３次元位置情報に基づいて、前記医療従事者によって作られるジェスチャーを、前記医療従事者によって作られる１つまたは複数の更なるジェスチャーを、前記ディスプレイ上に表示される前記医療関連情報とインタラクトするための１つまたは複数の対応するコマンドを含むものとして解釈する段階と、前記ディスプレイに、前記ディスプレイ上にレンダリングされる前記医療関連情報上で、それらの１つまたは複数の対応するコマンドを有効にさせる段階とを含む、請求項４４から４５のいずれか一項、または、本願の他のいずれかの請求項に記載の方法。
  47. サブメニュー画像を前記投影面に投影する段階であって、前記サブメニュー画像は、複数のサブメニュー画像セクションを含み、各サブメニュー画像セクションは、前記１つまたは複数の対応するコマンドの対応する１つに関連付けられている前記サブメニュー画像の異なる部分を占める、段階と、
    前記医療従事者によって作られる前記１つまたは複数の更なるジェスチャーを、前記複数のサブメニューインタフェースセクションの特定の１つに対する前記１つまたは複数の更なるジェスチャーの位置に基づいて、前記複数のサブメニューインタフェースセクションの前記特定の１つと、前記１つまたは複数の対応するコマンドの対応する１つとの選択を含むものとして解釈する段階とによって、
    前記医療従事者によって作られる前記１つまたは複数の更なるジェスチャーを、１つまたは複数の対応するコマンドを含むものとして解釈する段階を含む、請求項４６または本願の他のいずれかの請求項に記載の方法。
  48. 各サブメニュー画像セクションについて、前記１つまたは複数の対応するコマンドの対応する１つに関連付けられているグラフィックおよび／またはテキストを表示する段階を含む、請求項４７または本願の他のいずれかの請求項に記載の方法。
  49. 前記医療従事者によって作られる前記１つまたは複数の更なるジェスチャーを、前記複数のサブメニューインタフェースセクションの前記特定の１つの上にある前記１つまたは複数の更なるジェスチャーの前記位置に基づく、前記複数のサブメニューインタフェースセクションの前記特定の１つと、前記１つまたは複数の対応するコマンドの前記対応する１つとの前記選択を含むものとして解釈する段階を含む、請求項４７から４８のいずれか一項、または、本願の他のいずれかの請求項に記載の方法。
  50. 前記医療従事者によって作られる前記１つまたは複数の更なるジェスチャーを、前記複数のサブメニューインタフェースセクションの前記特定の１つに対する前記１つまたは複数の更なるジェスチャーの近接度に基づく、前記複数のサブメニューインタフェースセクションの前記特定の１つと、前記１つまたは複数の対応するコマンドの前記対応する１つとの前記選択を含むものとして解釈する段階を含む、請求項４７から４９のいずれか一項、または、本願の他のいずれかの請求項に記載の方法。
  51. 前記１つまたは複数の対応するコマンドは、前記ディスプレイ上に表示される画像をズームインするためのズームインコマンドと、前記ディスプレイ上に表示される画像をズームアウトするためのズームアウトコマンドとを含む、請求項４６から５０のいずれか一項、または、本願の他のいずれかの請求項に記載の方法。
  52. 前記１つまたは複数の対応するコマンドは、前記ディスプレイ上に表示される複数の画像の第１方向へのスクロールと、ディスプレイ上に表示される複数の画像の第２方向へのスクロールとを含む、請求項４６から５１のいずれか一項、または、本願の他のいずれかの請求項に記載の方法。
  53. 前記１つまたは複数の対応するコマンドは、前記ディスプレイ上に表示される画像の周囲の様々な方向でのパンニングを含む、請求項４６から５２のいずれか一項、または、本願の他のいずれかの請求項に記載の方法。
  54. 前記１つまたは複数の対応するコマンドは、第１方向コマンドと、前記第１方向コマンドと逆方向の第２方向コマンドとを含む、請求項４６から５３のいずれか一項に記載の方法。
  55. 前記第１方向コマンドは、第１方向での第１ジェスチャーに関連付けられ、前記第２方向コマンドは、第２方向での第２ジェスチャーに関連付けられ、前記第１方向および前記第２方向は、互いにほぼ逆の向きである、請求項５４または本願の他のいずれかの請求項に記載の方法。
  56. 前記３次元位置情報に基づいて、前記第１方向での前記ジェスチャーに関連付けられた動きの量と前記第１方向での前記ジェスチャーの位置と、前記第１方向での前記ジェスチャーの速度との、少なくとも１つに基づき、前記第１ジェスチャーに関連付けられた大きさメトリックを判定する段階を含む、請求項５５、または、本願の他のいずれかの請求項に記載の方法。
  57. 前記ディスプレイに、前記大きさメトリックに基づいて、前記ディスプレイ上にレンダリングされた前記医療関連情報上で、１つまたは複数の対応するコマンドを有効にさせる段階を含む、請求項５６、または、本願の他のいずれかの請求項に記載の方法。
  58. 前記１つまたは複数の対応するコマンドの各々は、方向性および大きさメトリックを含み、前記方法は、前記ディスプレイに、前記１つまたは複数の対応するコマンドの前記対応する１つの前記方向性および前記大きさメトリックに基づいて、前記ディスプレイ上でレンダリングされる前記医療関連情報上で、前記１つまたは複数の対応するコマンドの前記対応する１つを有効にさせる段階を含む、請求項４７から５３のいずれか一項、または、本願の他のいずれかの請求項に記載の方法。
  59. 前記特定のジェスチャーは、前記医療従事者の手の１つを、前記投影面の閾値距離内の位置へ動かす段階を含む、請求項４４から５８のいずれか一項、または、本願の他のいずれかの請求項に記載の方法。
  60. 前記医療従事者によって作られる前記特定のジェスチャーを、前記複数のユーザインタフェース画像セクションの前記特定の１つと、前記対応する機能との前記選択として解釈した後で、前記プロジェクタに、前記複数のユーザインタフェース画像セクションの前記特定の１つと、前記対応する機能とが選択されたという表示を、前記ユーザインタフェースメニュー画像内に投影させる段階を含む、請求項４４から５９のいずれか一項、または、本願の他のいずれかの請求項に記載の方法。
  61. 前記プロジェクタに、前記ユーザインタフェースメニュー画像内に前記表示を投影させる段階、および、前記医療従事者の身体の一部および前記医療従事者によって使用されている器具のうち、１つまたは複数に、前記表示を含む前記ユーザインタフェースメニュー画像の一部を投影する段階を含む、請求項６０または他のいずれかの請求項に記載の方法。
  62. 前記ディスプレイに、解釈された前記ジェスチャーに少なくとも部分的に基づいて、医療関連情報を含む複数の画像の中の、医療関連情報を含む特定の画像をレンダリングさせる段階を含む、請求項３７から６１のいずれか一項、または、本願の他のいずれかの請求項に記載の方法。
  63. 前記投影面の反射率、および、前記投影面の色のうち、少なくとも１つを示す測定データに基づいて、前記ユーザインタフェースメニュー画像の前記投影を調節する段階を含む、請求項３７から６２のいずれか一項、または、本願の他のいずれかの請求項に記載の方法。
  64. 本明細書に開示されている、他のいずれかの特徴、特徴のコンビネーション、または、特徴のサブコンビネーションを含む、請求項３７から６３のいずれか一項に記載の方法。
  65. 外科的処置を実施するためのシステムであって、
    ユーザインタフェースメニュー画像を投影面上に投影するためのプロジェクタと、
    前記投影面を含む検知ボリューム内の複数の物体の３次元位置情報をキャプチャするための３次元光学撮像システムと、
    前記３次元光学撮像システムから前記３次元位置情報を受け取るべく接続され、投影される前記ユーザインタフェースメニュー画像に対するジェスチャーの位置に基づいて、前記３次元光学センサと前記投影面との間の空間において前記医療従事者が作る１つまたは複数の前記ジェスチャーを解釈するように構成されたコントローラと、
    ディスプレイと
    を備え、
    前記コントローラは、前記ディスプレイ上に複数の画像を表示させるべく接続され、医療関連情報を含む画像を前記ディスプレイ上に表示するように構成され、前記医療関連情報は、解釈された前記ジェスチャーに少なくとも部分的に基づく、
    システム。
  66. 請求項１から３６、または、本願の他のいずれかの請求項の他のいずれかの特徴、特徴のコンビネーション、または、特徴のサブコンビネーションを含む、請求項６５、または、本願の他のいずれかの請求項に記載のシステム。
  67. 本明細書に開示されている、他のいずれかの特徴、特徴のコンビネーション、または、特徴のサブコンビネーションを含む、請求項６５から６６の何れか一項に記載のシステム。
  68. 外科的処置を実施するための方法であって、
    ユーザインタフェースメニュー画像を投影面に投影する段階と、
    前記投影面を含む検知ボリューム内の複数の物体の３次元位置情報をキャプチャする段階と、
    前記３次元位置情報が、前記医療従事者によって作られる１つまたは複数のジェスチャーを含むということを、投影される前記ユーザインタフェースメニュー画像に対する前記ジェスチャーの位置に基づいて解釈する段階と、
    解釈された前記ジェスチャーに少なくとも部分的に基づく、医療関連情報を含む画像を表示する段階と
    を含む、方法。
  69. 請求項３７から６４、または、本願の他のいずれかの請求項の他のいずれかの特徴、特徴のコンビネーション、または、特徴のサブコンビネーションを含む、請求項６８または本願の他のいずれかの請求項に記載の方法。
  70. 本明細書に開示されている他のいずれかの特徴、特徴のコンビネーション、または、特徴のサブコンビネーションを含む、請求項６８から６９のいずれか一項に記載の方法。
  71. 医療従事者が医療処置の間に医療関連情報とインタラクトすることを可能にするシステムであって、
    ユーザインタフェースメニュー画像を投影面に投影するためのプロジェクタと、
    前記投影面を含む検知ボリューム内の複数の物体の３次元位置情報をキャプチャするための３次元光学撮像システムと、
    前記３次元光学撮像システムから前記３次元位置情報を受け取るべく接続され、前記投影されるユーザインタフェースメニュー画像に対する前記ジェスチャーの位置に基づいて、前記３次元光学撮像システムと前記投影面との間の空間において前記医療従事者によって作られる１つまたは複数のジェスチャーを解釈するように構成されているコントローラと、
    ディスプレイと
    を備え、
    前記コントローラは、前記ディスプレイ上に複数の画像を表示させるべく接続され、医療関連情報を含む画像を前記ディスプレイ上に表示するよう指示するように構成され、前記医療関連情報は、解釈された前記ジェスチャーに少なくとも部分的に基づく、
    システム。
  72. 請求項１から３５、または、本願の他のいずれかの請求項の、他のいずれかの特徴、複数の特徴のコンビネーション、または、複数の特徴のサブコンビネーションを含む、請求項７１または本願の他のいずれかの請求項に記載のシステム。
  73. 本明細書に開示されている他のいずれかの特徴、特徴のコンビネーション、または、特徴のサブコンビネーションを含む、請求項７１から７２のいずれか一項に記載のシステム。
  74. 医療従事者が医療処置中に医療関連情報とインタラクトすることを可能にする方法であって、
    ユーザインタフェースメニュー画像を投影面に投影する段階と、
    前記投影面を含む検知ボリューム内の複数の物体の３次元位置情報をキャプチャする段階と、
    投影される前記ユーザインタフェースメニュー画像に対する前記ジェスチャーの位置に基づいて、前記医療従事者によって作られる１つまたは複数のジェスチャーを含む前記３次元位置情報を解釈する段階と、
    医療関連情報を含む画像を表示する段階であって、前記画像は解釈された前記ジェスチャーに少なくとも部分的に基づく、段階と
    を含む、方法。
  75. 請求項３７から６４、または、本願の他のいずれかの請求項の、他のいずれかの特徴、複数の特徴のコンビネーション、または、複数の特徴のサブコンビネーションを含む、請求項７４、または、本願の他のいずれかの請求項に記載の方法。
  76. 本明細書に開示されている他のいずれかの特徴、複数の特徴のコンビネーション、または、複数の特徴のサブコンビネーションを含む、請求項７４から７５のいずれか一項に記載の方法。
JP2017508560A 2014-08-15 2015-08-13 医療処置の実施と医療関連情報のアクセスおよび／または操作のための方法およびシステム Pending JP2017533487A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462038157P 2014-08-15 2014-08-15
US62/038,157 2014-08-15
PCT/CA2015/050764 WO2016023123A1 (en) 2014-08-15 2015-08-13 Methods and systems for performing medical procedures and for accessing and/or manipulating medically relevant information

Publications (2)

Publication Number Publication Date
JP2017533487A true JP2017533487A (ja) 2017-11-09
JP2017533487A5 JP2017533487A5 (ja) 2018-09-20

Family

ID=55303733

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017508560A Pending JP2017533487A (ja) 2014-08-15 2015-08-13 医療処置の実施と医療関連情報のアクセスおよび／または操作のための方法およびシステム

Country Status (6)

Country Link
US (1) US10403402B2 (ja)
EP (1) EP3180721A4 (ja)
JP (1) JP2017533487A (ja)
CN (1) CN106922190B (ja)
CA (1) CA2993876C (ja)
WO (1) WO2016023123A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021071894A (ja) * 2019-10-30 2021-05-06 三菱電機株式会社 操作装置、操作方法及びプログラム
US11861145B2 (en) 2018-07-17 2024-01-02 Methodical Mind, Llc Graphical user interface system

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10722200B2 (en) * 2015-06-04 2020-07-28 Siemens Healthcare Gmbh Apparatus and methods for a projection display device on X-ray imaging devices
KR102560558B1 (ko) 2016-05-20 2023-07-27 매직 립, 인코포레이티드 사용자 인터페이스 메뉴의 콘텍추얼 인식
US10806533B2 (en) * 2016-07-14 2020-10-20 Intuitive Surgical Operations, Inc. Systems and methods for onscreen menus in a teleoperational medical system
EP3540580A4 (en) * 2016-11-08 2020-05-27 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM
US10331276B2 (en) * 2016-12-30 2019-06-25 Intel Corporation Projected interactive display surface interactivity determination
WO2018148845A1 (en) 2017-02-17 2018-08-23 Nz Technologies Inc. Methods and systems for touchless control of surgical environment
JP7267209B2 (ja) * 2017-06-08 2023-05-01 メドス・インターナショナル・エスエイアールエル 滅菌野及び他の作業環境のためのユーザインターフェースシステム
IT201700114495A1 (it) * 2017-10-11 2019-04-11 General Medical Merate S P A Sistema per il controllo di almeno un movimento di un componente motorizzato di un’apparecchiatura radiologica e apparecchiatura radiologica che lo utilizza
US10506224B2 (en) * 2017-11-07 2019-12-10 Oriental Institute Of Technology Holographic three dimensional imaging projecting medical apparatus
DE102017127791A1 (de) * 2017-11-24 2019-05-29 Aesculap Ag Medizinisches Steuersystem und medizinischer Sterilraum mit Steuersystem
US20190215460A1 (en) * 2018-01-09 2019-07-11 Osram Sylvania Inc. User Interface for Control of Building System Components
WO2019202982A1 (ja) * 2018-04-19 2019-10-24 富士フイルム株式会社 内視鏡装置、内視鏡操作方法、及びプログラム
EP3773219A1 (en) 2018-05-10 2021-02-17 Siemens Medical Solutions USA, Inc. Visual indicator system for patient bed
US11654304B2 (en) 2018-12-17 2023-05-23 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for determining a region of interest of a subject
CN110507337B (zh) * 2019-08-28 2023-07-11 上海联影医疗科技股份有限公司 一种医学设备控制系统、医学设备控制方法及装置
US10758309B1 (en) * 2019-07-15 2020-09-01 Digital Surgery Limited Methods and systems for using computer-vision to enhance surgical tool control during surgeries
CN114093493A (zh) * 2021-08-30 2022-02-25 武汉联影医疗科技有限公司 一种用于控制医学影像设备的界面的系统和方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004258714A (ja) * 2003-02-24 2004-09-16 Toshiba Corp 画像表示装置
US20090077504A1 (en) * 2007-09-14 2009-03-19 Matthew Bell Processing of Gesture-Based User Interactions
JP2011517357A (ja) * 2008-03-04 2011-06-02 ジェスチャー テック，インコーポレイテッド 改良されたジェスチャに基づく画像操作
US20110181553A1 (en) * 2010-01-04 2011-07-28 Microvision, Inc. Interactive Projection with Gesture Recognition
JP2013068813A (ja) * 2011-09-22 2013-04-18 Casio Comput Co Ltd 投影装置、投影制御方法及びプログラム
JP2013218395A (ja) * 2012-04-05 2013-10-24 Sony Corp 情報処理装置、プログラム及び情報処理方法
US20130321346A1 (en) * 2012-05-31 2013-12-05 Opportunity Partners Inc. Interactive Surface
US20140049465A1 (en) * 2011-03-28 2014-02-20 Jamie Douglas Tremaine Gesture operated control for medical information systems
US20140177909A1 (en) * 2012-12-24 2014-06-26 Industrial Technology Research Institute Three-dimensional interactive device and operation method thereof
US20150208019A1 (en) * 2014-01-20 2015-07-23 Lenovo (Singapore) Pte. Ltd. Image correction

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007060606A1 (en) 2005-11-25 2007-05-31 Koninklijke Philips Electronics N.V. Touchless manipulation of an image
EP2017756A1 (de) * 2007-07-20 2009-01-21 BrainLAB AG Verfahren zur Anzeige und/oder Bearbeitung bzw. Verarbeitung von Bilddaten medizinischen oder medizintechnischen Ursprungs mit Gestenerkennung
WO2014000129A1 (en) * 2012-06-30 2014-01-03 Intel Corporation 3d graphical user interface
US9174068B2 (en) * 2012-10-05 2015-11-03 Siemens Aktiengesellschaft Navigation device for brachytherapy and method for operating the navigation device

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004258714A (ja) * 2003-02-24 2004-09-16 Toshiba Corp 画像表示装置
US20040242988A1 (en) * 2003-02-24 2004-12-02 Kabushiki Kaisha Toshiba Operation recognition system enabling operator to give instruction without device operation
US20120287044A1 (en) * 2007-09-14 2012-11-15 Intellectual Ventures Holding 67 Llc Processing of gesture-based user interactions using volumetric zones
JP2010539590A (ja) * 2007-09-14 2010-12-16 インテレクチュアル ベンチャーズ ホールディング ６７ エルエルシー ジェスチャベースのユーザインタラクションの処理
US20090077504A1 (en) * 2007-09-14 2009-03-19 Matthew Bell Processing of Gesture-Based User Interactions
JP2011517357A (ja) * 2008-03-04 2011-06-02 ジェスチャー テック，インコーポレイテッド 改良されたジェスチャに基づく画像操作
US20110181553A1 (en) * 2010-01-04 2011-07-28 Microvision, Inc. Interactive Projection with Gesture Recognition
US20140049465A1 (en) * 2011-03-28 2014-02-20 Jamie Douglas Tremaine Gesture operated control for medical information systems
JP2013068813A (ja) * 2011-09-22 2013-04-18 Casio Comput Co Ltd 投影装置、投影制御方法及びプログラム
JP2013218395A (ja) * 2012-04-05 2013-10-24 Sony Corp 情報処理装置、プログラム及び情報処理方法
US20130321346A1 (en) * 2012-05-31 2013-12-05 Opportunity Partners Inc. Interactive Surface
US20140177909A1 (en) * 2012-12-24 2014-06-26 Industrial Technology Research Institute Three-dimensional interactive device and operation method thereof
US20150208019A1 (en) * 2014-01-20 2015-07-23 Lenovo (Singapore) Pte. Ltd. Image correction

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JUSTIN H.ＴＡＮ: "Informatics in Radiogy:Developping a Touchless User Interface for Interaoparative Image Control durl", RADIOGRAPHICS, vol. 33, no. 2, JPN7019002129, 30 April 2013 (2013-04-30), pages 61 - 70, ISSN: 0004216059 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11861145B2 (en) 2018-07-17 2024-01-02 Methodical Mind, Llc Graphical user interface system
JP2021071894A (ja) * 2019-10-30 2021-05-06 三菱電機株式会社 操作装置、操作方法及びプログラム

Also Published As

Publication number Publication date
CN106922190A (zh) 2017-07-04
EP3180721A4 (en) 2018-04-04
US10403402B2 (en) 2019-09-03
US20170228104A1 (en) 2017-08-10
CA2993876C (en) 2023-03-07
EP3180721A1 (en) 2017-06-21
CN106922190B (zh) 2020-09-18
CA2993876A1 (en) 2016-02-18
WO2016023123A1 (en) 2016-02-18

Similar Documents

Publication Publication Date Title
US10403402B2 (en) Methods and systems for accessing and manipulating images comprising medically relevant information with 3D gestures
US11662830B2 (en) Method and system for interacting with medical information
JP7146772B2 (ja) コンテクストオーバレイを提供する拡張現実インターベンションシステム
US20230363833A1 (en) Methods And Systems For Robot-Assisted Surgery
US10420533B2 (en) Ultrasound diagnosis apparatus and control method thereof
US9329675B2 (en) System with 3D user interface integration
ES2941511T3 (es) Sistema de escáner 3D con escáner de mano
EP3454177B1 (en) Method and system for efficient gesture control of equipment
US9292197B2 (en) Method, apparatus and computer program product for facilitating the manipulation of medical images
JP6501525B2 (ja) 情報処理装置、情報処理方法およびプログラム
USRE48221E1 (en) System with 3D user interface integration
KR101611484B1 (ko) 의료영상의 제공방법
JP6462358B2 (ja) 医用画像表示端末および医用画像表示プログラム
Gallo et al. Wii remote-enhanced hand-computer interaction for 3D medical image analysis
US20200363877A1 (en) Healthcare information manipulation and visualization controllers
JP6902012B2 (ja) 医用画像表示端末および医用画像表示プログラム
JP7279133B2 (ja) 情報処理装置、情報処理方法およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170411

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170725

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180810

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180810

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190709

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200218