JP2021529365A - コマンドを入力するための双眼システム - Google Patents
コマンドを入力するための双眼システム Download PDFInfo
- Publication number
- JP2021529365A JP2021529365A JP2020567225A JP2020567225A JP2021529365A JP 2021529365 A JP2021529365 A JP 2021529365A JP 2020567225 A JP2020567225 A JP 2020567225A JP 2020567225 A JP2020567225 A JP 2020567225A JP 2021529365 A JP2021529365 A JP 2021529365A
- Authority
- JP
- Japan
- Prior art keywords
- eye
- eyepiece
- gui
- optical path
- command
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003287 optical effect Effects 0.000 claims abstract description 25
- 230000004424 eye movement Effects 0.000 claims abstract description 21
- 230000003993 interaction Effects 0.000 claims abstract description 9
- 238000000034 method Methods 0.000 claims description 17
- 230000000977 initiatory effect Effects 0.000 claims 1
- 210000000695 crystalline len Anatomy 0.000 description 8
- 230000015654 memory Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004397 blinking Effects 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 238000001356 surgical procedure Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 210000004087 cornea Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/18—Arrangements with more than one light path, e.g. for comparing two specimens
- G02B21/20—Binocular arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/368—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements details of associated display arrangements, e.g. mounting of LCD monitor
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/02—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices involving prisms or mirrors
- G02B23/10—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices involving prisms or mirrors reflecting into the field of view additional indications, e.g. from collimator
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B25/00—Eyepieces; Magnifying glasses
- G02B25/001—Eyepieces
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/10—Beam splitting or combining systems
- G02B27/106—Beam splitting or combining systems for splitting or combining a plurality of identical beams or images, e.g. image replication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/10—Beam splitting or combining systems
- G02B27/14—Beam splitting or combining systems operating by reflection only
- G02B27/145—Beam splitting or combining systems operating by reflection only having sequential partially reflecting surfaces
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Astronomy & Astrophysics (AREA)
- Molecular Biology (AREA)
- Veterinary Medicine (AREA)
- Ophthalmology & Optometry (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Biomedical Technology (AREA)
- User Interface Of Digital Computer (AREA)
- Eye Examination Apparatus (AREA)
- Position Input By Displaying (AREA)
- Microscoopes, Condenser (AREA)
Abstract
Description
Claims (15)
- コマンドを入力するための双眼システムであって、
1つ又は複数のグラフィカル要素を有する仮想的なグラフィカルユーザーインターフェイス(GUI)を生成するように構成されたコンピュータであって、それぞれのグラフィカル要素は1つのコマンドに対応する、コンピュータと、
複数のアイピースを有する双眼アイピースであって、それぞれのアイピースは光学経路を有し、それぞれの光学経路は物体の画像を1対の眼のうちの対応する眼に向かって導くように構成されている、双眼アイピースと、
を有し、
少なくとも1つのアイピースの前記光学経路は、前記仮想的なGUIを前記対応する眼に向かって導くように構成され、
少なくとも1つのアイピースは、眼の追跡をもたらすべく、前記仮想的なGUIとの関係における前記対応する眼の運動を追跡するように構成された眼トラッカと関連付けられ、且つ、
前記コンピュータは、
前記仮想的なGUIとの関係における前記追跡対象の眼の運動を選択されたグラフィカル要素との間におけるやり取りとして解釈し、且つ、
前記選択されたグラフィカル要素に対応する前記コマンドを開始する、
ように更に構成されている、システム。 - 前記眼トラッカは、
前記追跡対象の眼の前記運動を追跡するように構成された1つ又は複数のセンサ、
を有する請求項1に記載のシステム。 - 前記眼トラッカは、
前記追跡対象の眼を照明するように構成された1つ又は複数のイルミネータと、
前記追跡対象の眼の前記運動を追跡するように構成された1つ又は複数のセンサと、
を有する請求項1に記載のシステム。 - 前記仮想的なGUIを導くように構成された前記光学経路を有するアイピースは、
前記仮想的なGUIを受け取り、
前記画像を受け取り、且つ、
前記仮想的なGUI及び前記画像を前記光学経路に沿って前記対応する眼に向かって導く、
ように構成されたビームスプリッタを有する請求項1に記載のシステム。 - 前記眼トラッカを有する前記少なくとも1つのアイピースは、
前記画像を受け取り、且つ、前記画像を前記光学経路に沿って前記対応する眼に向かって導き、且つ、
前記対応する眼から反射された光を受け取り、且つ、前記光を前記眼トラッカのセンサに向かって導く、
ように構成されたビームスプリッタを有する請求項1に記載のシステム。 - 前記仮想的なGUIを導くように構成された前記光学経路を有する前記アイピースは、前記眼トラッカをも有する請求項1に記載のシステム。
- 前記複数のアイピースは、
前記仮想的なGUIを導くように構成された前記光学経路を有する前記アイピースを有する第1アイピースと、
前記眼トラッカを有する第2アイピースと、
を有する請求項1に記載のシステム。 - 前記複数のアイピースの前記光学経路は、それぞれ、前記仮想的なGUIを前記対応する眼に向かって導くように構成されている請求項1に記載のシステム。
- 前記複数のアイピースは、それぞれ、眼トラッカを有する請求項1に記載のシステム。
- 前記グラフィカル要素は、
受け入れるためのコマンドに対応するOK要素と、
増大させるためのコマンドに対応するPLUS要素と、
減少させるためのコマンドに対応するMINUS要素と、
のうちの少なくとも1つを有する請求項1に記載のシステム。 - 前記グラフィカル要素は、
前方移動するためのコマンドに対応する「前に」要素と、
後方移動するためのコマンドに対する「次に」要素と、
のうちの少なくとも1つを有する請求項1に記載のシステム。 - 前記グラフィカル要素は、選択肢の1つ又は複数のメニューを表示するためのコマンドに対応する「選択肢」要素を有する請求項1に記載のシステム。
- 医療装置に装着されるように構成されたマウントを更に有する請求項1に記載のシステム。
- 双眼システムを使用してコマンドを入力するための方法であって、
コンピュータにより、1つ又は複数のグラフィカル要素を有する仮想的なグラフィカルユーザーインターフェイス(GUI)を生成するステップであって、それぞれのグラフィカル要素は、1つのコマンドに対応する、ステップと、
双眼アイピースの複数のアイピースのうちのそれぞれのアイピースの光学経路により、物体の画像を1対の眼のうちの対応する眼に向かって導くステップと、
少なくとも1つのアイピースの前記光学経路により、前記仮想的なGUIを前記対応する眼に向かって導くステップと、
少なくとも1つのアイピースと関連する眼トラッカにより、眼の追跡をもたらすべく、前記仮想的なGUIとの関係における前記対応する眼の運動を追跡するステップと、
前記仮想的なGUIとの関係における前記追跡対象の眼の運動を選択されたグラフィカル要素との間におけるやり取りとして解釈するステップと、
前記選択されたグラフィカル要素に対応する前記コマンドを開始するステップと、
を有する方法。 - 1つ又は複数のセンサによって前記追跡対象の眼の前記運動を追跡するステップと、
1つ又は複数のイルミネータによって前記追跡対象の眼を照明するステップと、
1つ又は複数のセンサによって前記追跡対象の眼の前記運動を追跡するステップと、
前記光学経路が前記仮想的なGUIを導くように構成された状態において、前記アイピースのビームスプリッタにより、前記仮想的なGUIを受け取るステップと、
前記ビームスプリッタにより、前記画像を受け取るステップと、
前記ビームスプリッタにより、前記仮想的なGUI及び前記画像を前記光学経路に沿って前記対応する眼に向かって導くステップと、
前記眼トラッカを有する前記少なくとも1つのアイピースのビームスプリッタにより、前記画像を受け取り、且つ、前記画像を前記光学経路に沿って前記対応する眼に向かって導くステップと、
前記ビームスプリッタにより、前記対応する眼から反射された光を受け取り、且つ、前記光を前記眼トラッカのセンサに向かって導くステップと、
を更に有する請求項14に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862690204P | 2018-06-26 | 2018-06-26 | |
US62/690,204 | 2018-06-26 | ||
PCT/IB2019/055116 WO2020003054A1 (en) | 2018-06-26 | 2019-06-18 | Binocular system for entering commands |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021529365A true JP2021529365A (ja) | 2021-10-28 |
JP7364600B2 JP7364600B2 (ja) | 2023-10-18 |
Family
ID=67841112
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020567225A Active JP7364600B2 (ja) | 2018-06-26 | 2019-06-18 | コマンドを入力するための双眼システム |
Country Status (8)
Country | Link |
---|---|
US (2) | US10871824B2 (ja) |
EP (1) | EP3814875A1 (ja) |
JP (1) | JP7364600B2 (ja) |
CN (1) | CN112368669A (ja) |
AU (1) | AU2019293961A1 (ja) |
CA (1) | CA3096172A1 (ja) |
TW (1) | TW202014140A (ja) |
WO (1) | WO2020003054A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3848779A1 (en) | 2020-01-09 | 2021-07-14 | BHS Technologies GmbH | Head-mounted display system and method for controlling a medical imaging device |
US11695758B2 (en) * | 2020-02-24 | 2023-07-04 | International Business Machines Corporation | Second factor authentication of electronic devices |
FI130771B1 (fi) * | 2020-07-03 | 2024-03-07 | Seetrue Tech Oy | Katseen seuranta |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11501403A (ja) * | 1994-10-26 | 1999-02-02 | ライカ ミクロスコピー ズュステーメ アーゲー | 顕微鏡、特に手術用顕微鏡 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6478425B2 (en) * | 2000-12-29 | 2002-11-12 | Koninlijke Phillip Electronics N. V. | System and method for automatically adjusting a lens power through gaze tracking |
US7963652B2 (en) | 2003-11-14 | 2011-06-21 | Queen's University At Kingston | Method and apparatus for calibration-free eye tracking |
US8531355B2 (en) * | 2010-07-23 | 2013-09-10 | Gregory A. Maltz | Unitized, vision-controlled, wireless eyeglass transceiver |
US9116337B1 (en) | 2012-03-21 | 2015-08-25 | Google Inc. | Increasing effective eyebox size of an HMD |
US10073518B2 (en) * | 2013-08-19 | 2018-09-11 | Qualcomm Incorporated | Automatic calibration of eye tracking for optical see-through head mounted display |
US9804753B2 (en) * | 2014-03-20 | 2017-10-31 | Microsoft Technology Licensing, Llc | Selection using eye gaze evaluation over time |
US10248192B2 (en) * | 2014-12-03 | 2019-04-02 | Microsoft Technology Licensing, Llc | Gaze target application launcher |
WO2018042413A1 (en) * | 2016-08-28 | 2018-03-08 | Siegel Gabriel | A system for histological examination of tissue specimens |
CN107957774B (zh) * | 2016-10-18 | 2021-08-31 | 阿里巴巴集团控股有限公司 | 虚拟现实空间环境中的交互方法及装置 |
-
2019
- 2019-06-18 JP JP2020567225A patent/JP7364600B2/ja active Active
- 2019-06-18 CA CA3096172A patent/CA3096172A1/en active Pending
- 2019-06-18 EP EP19762465.3A patent/EP3814875A1/en active Pending
- 2019-06-18 CN CN201980043103.7A patent/CN112368669A/zh active Pending
- 2019-06-18 WO PCT/IB2019/055116 patent/WO2020003054A1/en unknown
- 2019-06-18 US US16/444,561 patent/US10871824B2/en active Active
- 2019-06-18 AU AU2019293961A patent/AU2019293961A1/en active Pending
- 2019-06-24 TW TW108122000A patent/TW202014140A/zh unknown
-
2020
- 2020-11-18 US US16/951,856 patent/US11307658B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11501403A (ja) * | 1994-10-26 | 1999-02-02 | ライカ ミクロスコピー ズュステーメ アーゲー | 顕微鏡、特に手術用顕微鏡 |
Also Published As
Publication number | Publication date |
---|---|
CA3096172A1 (en) | 2020-01-02 |
CN112368669A (zh) | 2021-02-12 |
US20190391642A1 (en) | 2019-12-26 |
EP3814875A1 (en) | 2021-05-05 |
WO2020003054A1 (en) | 2020-01-02 |
US10871824B2 (en) | 2020-12-22 |
US20210072826A1 (en) | 2021-03-11 |
US11307658B2 (en) | 2022-04-19 |
AU2019293961A1 (en) | 2020-10-22 |
TW202014140A (zh) | 2020-04-16 |
JP7364600B2 (ja) | 2023-10-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11832901B2 (en) | Surgical suite integration and optimization | |
US11989930B2 (en) | UI for head mounted display system | |
EP3359013B1 (en) | Apparatuses and methods for parameter adjustment in surgical procedures | |
US11307658B2 (en) | Binocular system for entering commands | |
US9364146B2 (en) | Slit lamp microscope | |
JP2003521950A (ja) | 視標追跡システム | |
JP2003521950A6 (ja) | 視標追跡システム | |
US11134842B2 (en) | Observation system and non-transitory computer-readable medium storing computer-readable instructions | |
JP6436613B2 (ja) | 眼科撮影装置および眼科撮影装置の制御方法 | |
JP2002153487A (ja) | 顕微鏡 | |
US20210349534A1 (en) | Eye-tracking system for entering commands | |
CA3117533A1 (en) | Ui for head mounted display system | |
JP6895278B2 (ja) | 眼科用観察装置及びその作動方法 | |
JP2021140432A (ja) | 制御装置および医療用観察システム | |
JP2015167683A (ja) | 眼科装置、眼科装置の制御方法、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220217 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230131 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230228 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230525 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230905 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231005 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7364600 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |