JP2021529365A - コマンドを入力するための双眼システム - Google Patents

コマンドを入力するための双眼システム Download PDF

Info

Publication number
JP2021529365A
JP2021529365A JP2020567225A JP2020567225A JP2021529365A JP 2021529365 A JP2021529365 A JP 2021529365A JP 2020567225 A JP2020567225 A JP 2020567225A JP 2020567225 A JP2020567225 A JP 2020567225A JP 2021529365 A JP2021529365 A JP 2021529365A
Authority
JP
Japan
Prior art keywords
eye
eyepiece
gui
optical path
command
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020567225A
Other languages
English (en)
Other versions
JP7364600B2 (ja
Inventor
アイル マルティン
Original Assignee
アルコン インコーポレイティド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アルコン インコーポレイティド filed Critical アルコン インコーポレイティド
Publication of JP2021529365A publication Critical patent/JP2021529365A/ja
Application granted granted Critical
Publication of JP7364600B2 publication Critical patent/JP7364600B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/18Arrangements with more than one light path, e.g. for comparing two specimens
    • G02B21/20Binocular arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/368Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements details of associated display arrangements, e.g. mounting of LCD monitor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/02Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices involving prisms or mirrors
    • G02B23/10Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices involving prisms or mirrors reflecting into the field of view additional indications, e.g. from collimator
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B25/00Eyepieces; Magnifying glasses
    • G02B25/001Eyepieces
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • G02B27/106Beam splitting or combining systems for splitting or combining a plurality of identical beams or images, e.g. image replication
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • G02B27/14Beam splitting or combining systems operating by reflection only
    • G02B27/145Beam splitting or combining systems operating by reflection only having sequential partially reflecting surfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Astronomy & Astrophysics (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Ophthalmology & Optometry (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Eye Examination Apparatus (AREA)
  • Position Input By Displaying (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

コマンドを入力するための双眼システムは、コンピュータと、双眼アイピースと、を含む。コンピュータは、1つ又は複数のグラフィカル要素を有する仮想的なグラフィカルユーザーインターフェイス(GUI)を生成し、それぞれのグラフィカル要素は、1つのコマンドに対応する。双眼アイピースは、2つのアイピースを含む。それぞれのアイピースは、物体の画像を1対の眼の対応する眼に向かって導く光学経路を有する。少なくとも1つのアイピースの光学経路は、仮想的なGUIを対応する眼に向かって導いている。少なくとも1つのアイピースは、眼の追跡をもたらすべく、仮想的なGUIとの関係における対応する眼の運動を追跡する眼トラッカと関連付けられている。コンピュータは、仮想的なGUIとの関係における追跡対象の眼の運動を選択されたグラフィカル要素との間におけるやり取りとして解釈し、且つ、選択されたグラフィカル要素に対応するコマンドを開始する。

Description

本開示は、一般に、医療システムの制御に関し、且つ、更に詳しくは、コマンドを入力するための双眼システムに関する。
医療装置は、操作者からのコマンドに応答して様々なアクションを実行することができる。例えば、操作者は、顕微鏡の倍率、焦点、及び輝度を変更するべく、コマンドパネルからコマンドを選択することができる。但し、医療装置用のコマンドの入力は、特別な懸念を有する。コマンドパネルに接触することにより、パネルを汚染する可能性がある。更には、コマンドを入力するべくパネルの一部分を見つめることにより、ユーザーから時間及び注意が奪われる。従って、既知のコマンドパネルは、しばしば、特定の状況に適していない。
特定の実施形態においては、コマンドを入力するための双眼システムは、コンピュータと、双眼アイピースと、を含む。コンピュータは、1つ又は複数のグラフィカル要素を有する仮想的なグラフィカルユーザーインターフェイス(GUI:graphical user interface)を生成し、それぞれのグラフィカル要素は1つのコマンドに対応する。双眼アイピースは、複数のアイピースを含む。それぞれのアイピースは、物体の画像を1対の眼のうちの対応する眼に向かって導く光学経路を有する。少なくとも1つのアイピースの光学経路は、仮想的なGUIを対応する眼に向かって導く。少なくとも1つのアイピースは、眼の追跡をもたらすべく、仮想的なGUIとの関係における対応する眼の運動を追跡する眼トラッカと関連付けられている。コンピュータは、仮想的なGUIとの関係における追跡対象の眼の運動を選択されたグラフィカル要素との間におけるやり取りとして解釈し、且つ、選択されたグラフィカル要素に対応するコマンドを開始する。
特定の例においては、双眼システムを使用してコマンドを入力するための方法は、コンピュータにより、1つ又は複数のグラフィカル要素を有する仮想的なグラフィカルユーザーインターフェイス(GUI)を生成するステップを含む。それぞれのグラフィカル要素は、1つのコマンドに対応する。双眼アイピースのそれぞれのアイピースの光学経路は、物体の画像を1対の眼のうちの対応する眼に向かって導く。少なくとも1つのアイピースの光学経路は、仮想的なGUIを対応する眼に向かって導く。少なくとも1つのアイピースと関連する眼トラッカは、眼の追跡をもたらすべく、仮想的なGUIとの関係における対応する眼の運動を追跡する。仮想的なGUIとの関係における追跡対象の眼の運動が、選択されたグラフィカル要素との間におけるやり取りとして解釈される。選択されたグラフィカル要素に対応するコマンドが開始される。
以下の添付の図を参照し、本開示の実施形態について、更に詳しく例として説明する。
図1は、ユーザーが眼の運動によってコマンドを入力することを許容する双眼システムの一実施形態を示す。 図2は、ユーザーが眼の運動によってコマンドを入力することを許容する双眼システムの別の実施形態を示す。 図3Aは、仮想的なGUIの一例を示し、図3Bは、図3Aの仮想的なGUIにおいて表示されうる、選択肢のメニューの例を示す。 図4は、図1及び図2のシステムと共に使用されうる、眼の運動によってコマンドを入力する方法の一例を示す。
以下、説明及び図面を参照すると、開示されている装置、システム、及び方法の例示用の実施形態が詳細に示されている。当業者には明らかなように、開示されている実施形態は、例示を目的としており、且つ、すべての可能な実施形態を網羅したものではない。
図1及び図2は、ユーザーが眼の運動によってコマンドを入力することを許容する双眼システム10の実施形態を示す。図示の例においては、システム10は、コンピュータ20と、マウント34によって装置32に結合された双眼アイピース22と、を含む。コンピュータ20は、インターフェイス40と、1つ又は複数のプロセッサ42と、仮想的なGUI50、眼の追跡52、及び装置の制御54用のコンピュータプログラムなどのロジックを保存する1つ又は複数のメモリ44と、を含む。双眼アイピース22は、アイピース24と、ディスプレイ29と、眼トラッカ30と、1つ又は複数のビームスプリッタ31と、を含む。眼トラッカ30は、レンズ60と、センサ62と、イルミネータ64と、を含む。
動作の一例において、双眼システム10は、ユーザーが医療装置などの任意の適切な装置32にコマンドを入力することを許容する。コンピュータ20は、仮想的なグラフィカルユーザーインターフェイス(GUI)を生成し、これは、コマンドに対応するグラフィカル要素を有する画像である。アイピース24は、それぞれ、1対の眼のうちの対応する眼に向かって物体の画像を導く光学経路26を有する。また、一方又は両方のアイピース24の光学経路26は、対応する眼に向かって仮想的なGUIを導く。一方又は両方のアイピース24は、仮想的なGUIとの関係における対応する眼の運動を追跡する眼トラッカ30と関連付けられている。コンピュータ20は、仮想的なGUIとの関係における追跡対象の眼の運動を選択されたグラフィカル要素との間におけるやり取りとして解釈し、且つ、選択されたグラフィカル要素に対応するコマンドを開始する。
特定の実施形態においては、コンピュータ20は、仮想的なGUIを生成し、これは、光学経路26に沿って少なくとも1つの眼に供給される。仮想的なGUIは、1つ又は複数の要素を含み、これらは任意の適切なサイズ又は形状を有することができる。それぞれのグラフィカル要素は、通常は、例えば、ユーザーによって定義された選択又は設定を受け入れること、コンピュータ20内にプログラミングされたユーザーによって選択された動作を実行すること、ユーザーによって要求された情報を表示すること、或いは、その他の適切なアクションなどのアクションを実行するための、装置32に対するコマンド又は命令に対応する。ユーザーは、自身の注視が、要素の選択をシグナリングする方式によりコマンドに対応するグラフィカル要素とやり取りするようにすることにより、コマンドを入力することができる。やり取りは、例えば、要素の選択を通知する、グラフィカル要素との関係における眼の運動(例えば、眼の注視を運動させること又は導くこと、或いは、眼を瞬きすること)である。例えば、ユーザーは、例えば、少なくとも3、5、又は10秒などの、少なくとも事前に定義された時間量にわたって、自身の注視を要素に導くことができる。別の例として、ユーザーは、自身の注視を要素に導くことができると共に、例えば、1、2、又は3回などの既定の回数だけ、瞬きすることができる。特定の実施形態においては、やり取りは、ユーザーの身体の別の部分の運動により確認することができる。例えば、ユーザーは、要素を選択するべく自身の注視を要素に向かって導くことができると共に、次いで、例えば、自身の足によってフットペダルを踏むか又は自身の手によって物理的なボタンを押下することにより、要素の選択を確認することができる。特定の実施形態においては、仮想的なGUIは、ユーザーの注視が要素とやり取りしたかどうか又は要素を選択したかどうかを通知することができる。例えば、仮想的なGUIは、ユーザーの注視が選択した要素を強調表示することができる(例えば、その色を相対的に明るくする又は変更することができる)。ユーザーは、例えば、瞬き或いは手又は足の運動により、選択を確認することができる。仮想的なGUIの例については、図3A及び図3Bを参照して更に詳細に説明する。
双眼アイピース22のアイピース24(24a、24b)は、1対の眼に対応する。一般に、1つのアイピース24aは、例えば、左眼などの一方の眼に対応し、且つ、別のアイピース24bは、例えば、右眼などの他方の眼に対応する。アイピース24は、一般に、アイピース24を通じて光学経路26(即ち、光が伝播しうる経路)を定義する1つ又は複数のオプティクスを有する管状形状のハウジングであってよい。オプティクスは、例えば、レンズ、スプリッタ、プリズム、被覆されたガラス、又はミラー、或いは、レンズシステムなどの複数のオプティクスを含むシステムであってよい。アイピース24(24a、24b)の経路26(26a、26b)は、一般に、物体の画像を1対の眼のうちの対応する眼に向かって導く。例えば、装置32は、物体の画像をキャプチャする顕微鏡であってよく、且つ、経路26は、物体の画像を眼に向かって導くことができる。
一方又は両方のアイピース24の経路26は、コンピュータ20から仮想的なGUIを受け取ることができると共に、GUIを対応する眼に向かって導くことができる。図1においては、アイピース24aの経路26aがGUIを導き、且つ、図2においては、アイピース24a、24bの経路26a、26bがGUIを導く。コンピュータ20の仮想的なGUIプログラム50が、仮想的なGUIを記述する画像データを生成する。画像データはディスプレイ29に送信され、ディスプレイ29がGUIを表示する。例えば、発光ダイオード(LED:light−emitting diode)、マイクロ有機発光ダイオード(マイクロOLED)を使用するディスプレイ、液晶ディスプレイ(LCD:liquid−crystal dispaly)、デジタル光処理(DLP:digital light processing)、LCoS(liquid crystal on silicon)、又はLEDビーマ技術などの、任意の適切なディスプレイを使用することができる。ディスプレイ29は、任意の適切なサイズ及び形状を有することができると共に、任意の適切な場所に位置することができる。図1においては、ディスプレイ29は、仮想的なGUI及び物体の画像を受け取ると共に反射し且つこれらを経路26に沿って導くビームスプリッタ31の近傍に位置する。図2においては、ディスプレイ29は、仮想的なGUI及び物体の画像を受け取ると共に反射し且つこれらを経路26に沿って導くビームスプリッタ31の近傍に位置する。その他の実施形態においては、ディスプレイ29は、眼の近傍のアイピース24の端部に向かって配置することができると共に、眼は、ディスプレイ29から直接的に仮想的なGUIを観察することができる。
少なくとも1つのアイピース24は、仮想的なGUIとの関係における眼の運動を追跡し、これにより、注視が導かれた、即ち、眼が見ているGUIのエリアを通知する眼トラッカ30と関連付けられている。「眼トラッカ30と関連付けられたアイピース24(並びに、逆も又真である)」とは、眼トラッカ30がアイピース24に対応する眼を追跡することを意味する。例えば、「右」アイピース24は右眼に対応する。右アイピース24に対応する眼トラッカ30は右眼を追跡する。
眼トラッカ30は、眼の運動を追跡しうる任意の適切な場所において配置することができる。図1及び図2においては、アイピース24aは眼トラッカ30を含む。その他の実施形態においては、アイピース24bが眼トラッカ30を含み、或いは、両方のアイピース24a、24bが眼トラッカ30を含む。更には、アイピース24は眼トラッカ30及び仮想的なGUIを導く経路26を含んでもよく、或いは、一方のアイピース24が眼トラッカ30を含んでもよく、且つ、他方のアイピース24が仮想的なGUIを導く経路26を有してもよい。
更にその他の実施形態においては、眼トラッカ30の1つ又は複数の部分は、アイピース24とは別個である。例えば、図2に示されているセンサ62(並びに、任意選択により、イルミネータ64)は、例えば、アイピース24aの上部の上方において、且つ、これとは分離された状態において、アイピース24aと眼との間において配置されたリングに装着することが可能であり、或いは、アイピース24aに(恐らくは、着脱自在に)直接的に結合することができよう。このようなリングは、眼トラッカ24を既存の双眼アイピース22に後から取り付けるか、又は、1つの眼トラッカ24を別の眼トラッカ24によって置換する、ことを許容することができる。いくつかの実施形態においては、このようなリングは、眼の追跡が望ましい際に眼トラッカ24を経路26内に挿入し、且つ、眼の追跡が望ましくない際に眼トラッカ24を経路26から除去する、ことを許容することができる。
眼トラッカ30は、例えば、角膜(例えば、前部表面)、瞳孔中心、角膜輪部、水晶体(後部表面)、及び/又は眼のその他の部分から、などの、眼からの光反射を検出する1つ又は複数のセンサ62を有する。センサ62は、光を記述する画像データを生成し、且つ、画像データをコンピュータ20に送信する。センサ62は、眼の運動を追跡しうる任意の適切な場所において配置することができる。図1においては、眼からの反射は経路26aに沿って伝播し、且つ、ビームスプリッタ31及びレンズ60が、反射をセンサ62に導いている。図2においては、眼の近傍のアイピース24aに沿って配置されたセンサ62が、眼からの反射を検出する。例えば、ビデオカメラ又は電荷結合素子(CCD:charge−coupled device)、相補型金属酸化膜半導体(CMOS:complementary metal−oxide−semiconductor)、又はプロファイルセンサなどの、任意の適切なセンサ62を使用することができる。プロファイルセンサは、行及び/又は列内のすべてのピクセルの値を単一の値に要約することにより、動作する。例えば、30〜50、50〜200、200〜500、500〜1000、又は1000Hz超の範囲内のレートなどの、任意の適切なサンプリングレートを使用することができる。
特定の実施形態においては、眼トラッカ30は、センサ62によって検知されうる反射を生成するべく、光によって追跡対象の眼を照明する1つ又は複数のイルミネータ64を有する。イルミネータ64は、例えば、可視又は赤外光などの任意の適切な光により、照明することができる。例えば、LEDイルミネータ、ハロゲンランプ、又はその他の適切なイルミネータなどの、任意の適切なイルミネータを使用することができる。その他の実施形態においては、イルミネータ64を使用しないでもすむように、装置からの光又は周辺光は、眼を照明するべく十分なものでありうる。
コンピュータ20の眼追跡プログラム52は、仮想的なGUIとの関係における追跡対象の眼の運動を、選択されたグラフィカル要素との間におけるやり取りとして解釈し、且つ、装置制御プログラム54は、選択されたグラフィカル要素に対応するコマンドを開始する。眼追跡プログラム52は、センサ62からの画像データから眼の注視方向を判定するべく、既知のアルゴリズムを含む。プロセッサ42は、注視方向を判定するべく、アルゴリズムに基づいて計算を実行する。これに加えて、眼追跡プログラムは、例えば、瞬きなどの、眼のその他の運動を検出することもできる。注視方向及び仮想的なGUIの位置が与えられると、プロセッサ42は、要素の選択を示す方式により、注視がGUIの要素との間においてやり取りをしたかどうかを判定する。要素が選択されている場合には、装置制御プログラム54が、選択された要素に対応するコマンドを開始する。
眼に、且つ、センサ62に光を導くべく、オプティクスを使用することができる。例えば、図1及び図2においては、ビームスプリッタ31が仮想的なGUIを受け取り、装置32によってキャプチャされた物体の画像を受け取り、且つ、仮想的なGUI及び画像を光学経路に沿って対応する眼に向かって導く。別の例として、図1においては、ビームスプリッタ31が眼から反射された光を受け取り、且つ、光を眼トラッカ30のセンサ62に向かって導く。
双眼システム10は、ユーザーが、医療装置などの任意の適切な装置32に眼の運動によってコマンドを入力することを許容する。医療装置の例は、眼科手術、治療、又は診断装置を含む。双眼アイピース22を装置32に接続するべく、マウント34を使用することができる。マウント34は、装置32に対する双眼アイピース22の接続を許容する任意の適切なサイズ及び形状を有することができる。
図3Aは、仮想的なGUI80の一例を示し、且つ、図3Bは、仮想的なGUI80内において表示されうる選択肢のメニューの例を示す。図示の例においては、仮想的なGUI80は、双眼アイピース22を通じて観察される物体82の画像上にオーバーレイされる。仮想的なGUI80は、「選択肢」要素84、選択肢表示エリア86、「前に」要素88、「次に」要素90、及びOK要素92を含む、眼の注視を介して選択されうるグラフィカル要素を含む。「選択肢」要素84は、選択肢の1つ又は複数のメニューを表示するためのコマンドに対応する。メニューは、ユーザーが眼の注視を介して選択しうる選択肢を列挙する。例示用のメニューは、手順要素94、レンズ要素96、顕微鏡要素98、及びオン/オフ要素100を含む。手順要素94は、選択されうる手術手順を列挙し、且つ、レンズ要素96は、選択されうるレンズのタイプを列挙する。顕微鏡要素98は、特徴を増大させるためのコマンドに対応するPLUS要素、或いは、特徴を減少させるためのコマンドに対応するMINUS要素、を選択することにより調節することができる顕微鏡の特徴を列挙する。オン/オフ要素100は、仮想的なGUIをターンオン又はオフするべく選択することができる。
「前に」要素88は、例えば、前のメニューに、メニューリスト上の前の選択肢に、或いは、手術手順における前のステップに、移動する、などのように、後方移動するためのコマンドに対応する。「次に」要素90は、例えば、次のメニューに、或いは、メニューのリスト上の次の選択肢に、移動する、などのように、前方移動するためのコマンドに対応する。OK要素92は、受け入れるためのコマンドに対応する。例えば、ユーザーはメニューから選択肢を選択することができると共に、仮想的なGUI80は、選択された選択肢を確認するべく、ユーザーに照会する質問を表示することができる。ユーザーは、確認するためにOK要素92を選択することができる。当然のことながら、仮想的なGUI80は、任意の適切なコマンドを実行しうる(任意の適切なサイズ又は形状の)任意の適切なグラフィカル要素を有することができる。
図4は、図1及び図2のシステム10と共に使用されうる、眼の運動によってコマンドを入力する方法の一例を示す。方法はステップ110において始まり、ここでは、双眼アイピース22が、ユーザーの少なくとも1つの眼によって観察されうる仮想的なGUIを表示する。ステップ112において、ユーザーの眼の眼運動は、ステップ114及び116を介して追跡される。ステップ114において、イルミネータ64が眼を照明する。ステップ116において、センサ62が、眼から反射された光を検出することにより眼の運動を検出する。センサ62は光を記述する画像データを生成し、且つ、画像データをコンピュータ20に送信する。
ステップ118において、コンピュータ20はユーザーがコマンドを選択したかどうかを判定する。コンピュータ20は、仮想的なGUIとの関係における眼の運動が、GUIのグラフィカル要素の選択に対応し、ユーザーが要素に対応するコマンドを選択したことを通知しているかどうかを判定する。コマンドが選択されていない場合には、方法は、眼の運動の追跡を継続するべくステップ112に戻る。コマンドが選択されている場合には、方法は、選択されたコマンドを開始するべくステップ120に進む。ステップ122において、方法は、ユーザーが仮想的なGUIをターンオフするためのコマンドを入力したかどうかをチェックする。GUIをターンオフするためのコマンドが存在しない場合には、方法は、眼の運動の追跡を継続するべくステップ112に戻る。コマンドが存在する場合には、方法はGUIをターンオフするべくステップ124に進み、且つ、方法は終了する。
本明細書において開示されているシステム及び装置のコンポーネント(例えば、コンピュータ)は、インターフェイス、ロジック、及び/又はメモリを含んでいてもよく、これらのうちの任意のものは、ハードウェア及び/又はソフトウェアを含んでいてもよい。インターフェイスは、コンポーネントに対する入力を受け取ることが可能であり、コンポーネントからの出力を提供することが可能であり、且つ/又は、入力及び/又は出力を処理することができる。ロジックは、例えば、入力から出力を生成するための命令を実行するなどのように、コンポーネントの動作を実行することができる。ロジックは、1つ又は複数のコンピュータ又は1つ又は複数のマイクロプロセッサ(例えば、コンピュータ内に存在するチップ)などの、プロセッサであってよい。ロジックは、コンピュータプログラム又はソフトウェアなどの、コンピュータによって実行されうる、メモリ内においてエンコーディングされたコンピュータ実行可能命令であってよい。メモリは、情報を保存することが可能であり、且つ、1つ又は複数の有体の一時的ではないコンピュータ可読のコンピュータ実行可能なストレージ媒体を有することができる。メモリの例は、コンピュータメモリ(例えば、ランダムアクセスメモリ(RAM:Random Access Memory)又は読み出し専用メモリ(ROM:Read Only Memory))、マスストレージ媒体(例えば、ハードディスク)、着脱自在のストレージ媒体(例えば、コンパクトディスク(CD:Compact Disk)又はデジタルビデオディスク(DVD:Digital Video Disk))、及びネットワークストレージ(例えば、サーバー又はデータベース)を含む。
本開示は特定の実施形態の観点において記述されているが、(置換、追加、変更、又は省略などの)実施形態の変更が、当業者には、明らかとなろう。従って、本発明の範囲を逸脱することなしに、変更を実施形態に対して実施することができる。例えば、変更は、本明細書において開示されているシステム及び装置に対して実施することができる。システム及び装置のコンポーネントは、統合又は分離されてもよく、且つ、システム及び装置の動作は、更に多くの、更に少ない、又はその他の、コンポーネントによって実行されてもよい。別の例として、変更は、本明細書において開示されている方法に対して実施することもできる。方法は、更に多くの、更に少ない、又はその他の、ステップを含んでいてもよく、且つ、ステップは、任意の適切な順序において実行されてもよい。

Claims (15)

  1. コマンドを入力するための双眼システムであって、
    1つ又は複数のグラフィカル要素を有する仮想的なグラフィカルユーザーインターフェイス(GUI)を生成するように構成されたコンピュータであって、それぞれのグラフィカル要素は1つのコマンドに対応する、コンピュータと、
    複数のアイピースを有する双眼アイピースであって、それぞれのアイピースは光学経路を有し、それぞれの光学経路は物体の画像を1対の眼のうちの対応する眼に向かって導くように構成されている、双眼アイピースと、
    を有し、
    少なくとも1つのアイピースの前記光学経路は、前記仮想的なGUIを前記対応する眼に向かって導くように構成され、
    少なくとも1つのアイピースは、眼の追跡をもたらすべく、前記仮想的なGUIとの関係における前記対応する眼の運動を追跡するように構成された眼トラッカと関連付けられ、且つ、
    前記コンピュータは、
    前記仮想的なGUIとの関係における前記追跡対象の眼の運動を選択されたグラフィカル要素との間におけるやり取りとして解釈し、且つ、
    前記選択されたグラフィカル要素に対応する前記コマンドを開始する、
    ように更に構成されている、システム。
  2. 前記眼トラッカは、
    前記追跡対象の眼の前記運動を追跡するように構成された1つ又は複数のセンサ、
    を有する請求項1に記載のシステム。
  3. 前記眼トラッカは、
    前記追跡対象の眼を照明するように構成された1つ又は複数のイルミネータと、
    前記追跡対象の眼の前記運動を追跡するように構成された1つ又は複数のセンサと、
    を有する請求項1に記載のシステム。
  4. 前記仮想的なGUIを導くように構成された前記光学経路を有するアイピースは、
    前記仮想的なGUIを受け取り、
    前記画像を受け取り、且つ、
    前記仮想的なGUI及び前記画像を前記光学経路に沿って前記対応する眼に向かって導く、
    ように構成されたビームスプリッタを有する請求項1に記載のシステム。
  5. 前記眼トラッカを有する前記少なくとも1つのアイピースは、
    前記画像を受け取り、且つ、前記画像を前記光学経路に沿って前記対応する眼に向かって導き、且つ、
    前記対応する眼から反射された光を受け取り、且つ、前記光を前記眼トラッカのセンサに向かって導く、
    ように構成されたビームスプリッタを有する請求項1に記載のシステム。
  6. 前記仮想的なGUIを導くように構成された前記光学経路を有する前記アイピースは、前記眼トラッカをも有する請求項1に記載のシステム。
  7. 前記複数のアイピースは、
    前記仮想的なGUIを導くように構成された前記光学経路を有する前記アイピースを有する第1アイピースと、
    前記眼トラッカを有する第2アイピースと、
    を有する請求項1に記載のシステム。
  8. 前記複数のアイピースの前記光学経路は、それぞれ、前記仮想的なGUIを前記対応する眼に向かって導くように構成されている請求項1に記載のシステム。
  9. 前記複数のアイピースは、それぞれ、眼トラッカを有する請求項1に記載のシステム。
  10. 前記グラフィカル要素は、
    受け入れるためのコマンドに対応するOK要素と、
    増大させるためのコマンドに対応するPLUS要素と、
    減少させるためのコマンドに対応するMINUS要素と、
    のうちの少なくとも1つを有する請求項1に記載のシステム。
  11. 前記グラフィカル要素は、
    前方移動するためのコマンドに対応する「前に」要素と、
    後方移動するためのコマンドに対する「次に」要素と、
    のうちの少なくとも1つを有する請求項1に記載のシステム。
  12. 前記グラフィカル要素は、選択肢の1つ又は複数のメニューを表示するためのコマンドに対応する「選択肢」要素を有する請求項1に記載のシステム。
  13. 医療装置に装着されるように構成されたマウントを更に有する請求項1に記載のシステム。
  14. 双眼システムを使用してコマンドを入力するための方法であって、
    コンピュータにより、1つ又は複数のグラフィカル要素を有する仮想的なグラフィカルユーザーインターフェイス(GUI)を生成するステップであって、それぞれのグラフィカル要素は、1つのコマンドに対応する、ステップと、
    双眼アイピースの複数のアイピースのうちのそれぞれのアイピースの光学経路により、物体の画像を1対の眼のうちの対応する眼に向かって導くステップと、
    少なくとも1つのアイピースの前記光学経路により、前記仮想的なGUIを前記対応する眼に向かって導くステップと、
    少なくとも1つのアイピースと関連する眼トラッカにより、眼の追跡をもたらすべく、前記仮想的なGUIとの関係における前記対応する眼の運動を追跡するステップと、
    前記仮想的なGUIとの関係における前記追跡対象の眼の運動を選択されたグラフィカル要素との間におけるやり取りとして解釈するステップと、
    前記選択されたグラフィカル要素に対応する前記コマンドを開始するステップと、
    を有する方法。
  15. 1つ又は複数のセンサによって前記追跡対象の眼の前記運動を追跡するステップと、
    1つ又は複数のイルミネータによって前記追跡対象の眼を照明するステップと、
    1つ又は複数のセンサによって前記追跡対象の眼の前記運動を追跡するステップと、
    前記光学経路が前記仮想的なGUIを導くように構成された状態において、前記アイピースのビームスプリッタにより、前記仮想的なGUIを受け取るステップと、
    前記ビームスプリッタにより、前記画像を受け取るステップと、
    前記ビームスプリッタにより、前記仮想的なGUI及び前記画像を前記光学経路に沿って前記対応する眼に向かって導くステップと、
    前記眼トラッカを有する前記少なくとも1つのアイピースのビームスプリッタにより、前記画像を受け取り、且つ、前記画像を前記光学経路に沿って前記対応する眼に向かって導くステップと、
    前記ビームスプリッタにより、前記対応する眼から反射された光を受け取り、且つ、前記光を前記眼トラッカのセンサに向かって導くステップと、
    を更に有する請求項14に記載の方法。
JP2020567225A 2018-06-26 2019-06-18 コマンドを入力するための双眼システム Active JP7364600B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862690204P 2018-06-26 2018-06-26
US62/690,204 2018-06-26
PCT/IB2019/055116 WO2020003054A1 (en) 2018-06-26 2019-06-18 Binocular system for entering commands

Publications (2)

Publication Number Publication Date
JP2021529365A true JP2021529365A (ja) 2021-10-28
JP7364600B2 JP7364600B2 (ja) 2023-10-18

Family

ID=67841112

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020567225A Active JP7364600B2 (ja) 2018-06-26 2019-06-18 コマンドを入力するための双眼システム

Country Status (8)

Country Link
US (2) US10871824B2 (ja)
EP (1) EP3814875A1 (ja)
JP (1) JP7364600B2 (ja)
CN (1) CN112368669A (ja)
AU (1) AU2019293961A1 (ja)
CA (1) CA3096172A1 (ja)
TW (1) TW202014140A (ja)
WO (1) WO2020003054A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3848779A1 (en) 2020-01-09 2021-07-14 BHS Technologies GmbH Head-mounted display system and method for controlling a medical imaging device
US11695758B2 (en) * 2020-02-24 2023-07-04 International Business Machines Corporation Second factor authentication of electronic devices
FI130771B1 (fi) * 2020-07-03 2024-03-07 Seetrue Tech Oy Katseen seuranta

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11501403A (ja) * 1994-10-26 1999-02-02 ライカ ミクロスコピー ズュステーメ アーゲー 顕微鏡、特に手術用顕微鏡

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6478425B2 (en) * 2000-12-29 2002-11-12 Koninlijke Phillip Electronics N. V. System and method for automatically adjusting a lens power through gaze tracking
US7963652B2 (en) 2003-11-14 2011-06-21 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
US8531355B2 (en) * 2010-07-23 2013-09-10 Gregory A. Maltz Unitized, vision-controlled, wireless eyeglass transceiver
US9116337B1 (en) 2012-03-21 2015-08-25 Google Inc. Increasing effective eyebox size of an HMD
US10073518B2 (en) * 2013-08-19 2018-09-11 Qualcomm Incorporated Automatic calibration of eye tracking for optical see-through head mounted display
US9804753B2 (en) * 2014-03-20 2017-10-31 Microsoft Technology Licensing, Llc Selection using eye gaze evaluation over time
US10248192B2 (en) * 2014-12-03 2019-04-02 Microsoft Technology Licensing, Llc Gaze target application launcher
WO2018042413A1 (en) * 2016-08-28 2018-03-08 Siegel Gabriel A system for histological examination of tissue specimens
CN107957774B (zh) * 2016-10-18 2021-08-31 阿里巴巴集团控股有限公司 虚拟现实空间环境中的交互方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11501403A (ja) * 1994-10-26 1999-02-02 ライカ ミクロスコピー ズュステーメ アーゲー 顕微鏡、特に手術用顕微鏡

Also Published As

Publication number Publication date
CA3096172A1 (en) 2020-01-02
CN112368669A (zh) 2021-02-12
US20190391642A1 (en) 2019-12-26
EP3814875A1 (en) 2021-05-05
WO2020003054A1 (en) 2020-01-02
US10871824B2 (en) 2020-12-22
US20210072826A1 (en) 2021-03-11
US11307658B2 (en) 2022-04-19
AU2019293961A1 (en) 2020-10-22
TW202014140A (zh) 2020-04-16
JP7364600B2 (ja) 2023-10-18

Similar Documents

Publication Publication Date Title
US11832901B2 (en) Surgical suite integration and optimization
US11989930B2 (en) UI for head mounted display system
EP3359013B1 (en) Apparatuses and methods for parameter adjustment in surgical procedures
US11307658B2 (en) Binocular system for entering commands
US9364146B2 (en) Slit lamp microscope
JP2003521950A (ja) 視標追跡システム
JP2003521950A6 (ja) 視標追跡システム
US11134842B2 (en) Observation system and non-transitory computer-readable medium storing computer-readable instructions
JP6436613B2 (ja) 眼科撮影装置および眼科撮影装置の制御方法
JP2002153487A (ja) 顕微鏡
US20210349534A1 (en) Eye-tracking system for entering commands
CA3117533A1 (en) Ui for head mounted display system
JP6895278B2 (ja) 眼科用観察装置及びその作動方法
JP2021140432A (ja) 制御装置および医療用観察システム
JP2015167683A (ja) 眼科装置、眼科装置の制御方法、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220217

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230525

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231005

R150 Certificate of patent or registration of utility model

Ref document number: 7364600

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150