JP2006102495A - 外科手術室の情報ディスプレイの注視検出及びユーザの制御用優先順位付けのための方法及び装置 - Google Patents

外科手術室の情報ディスプレイの注視検出及びユーザの制御用優先順位付けのための方法及び装置 Download PDF

Info

Publication number
JP2006102495A
JP2006102495A JP2005279272A JP2005279272A JP2006102495A JP 2006102495 A JP2006102495 A JP 2006102495A JP 2005279272 A JP2005279272 A JP 2005279272A JP 2005279272 A JP2005279272 A JP 2005279272A JP 2006102495 A JP2006102495 A JP 2006102495A
Authority
JP
Japan
Prior art keywords
display
information
user
users
medical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005279272A
Other languages
English (en)
Other versions
JP5172085B2 (ja
Inventor
Mark M Morita
マーク・エム・モリタ
Prakash Mahesh
プラカッシュ・マヘッシュ
Thomas A Gentles
トーマス・エイ・ジェントルズ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of JP2006102495A publication Critical patent/JP2006102495A/ja
Application granted granted Critical
Publication of JP5172085B2 publication Critical patent/JP5172085B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475User input or interface means, e.g. keyboard, pointing device, joystick
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16ZINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS, NOT OTHERWISE PROVIDED FOR
    • G16Z99/00Subject matter not provided for in other main groups of this subclass
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475User input or interface means, e.g. keyboard, pointing device, joystick
    • A61B5/749Voice-controlled interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Urology & Nephrology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • User Interface Of Digital Computer (AREA)
  • Eye Examination Apparatus (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】 医療環境における情報の表示を改善するために注視検出を用いるための方法(400)及びシステム(300)を提供する。
【解決手段】 システム(300)の幾つかの実施形態は、ユーザの注視位置を検出するための眼鏡ヘッドセット(210)と、情報を表示するためのディスプレイ(350)とを含む。画像及び/又はデータなどのディスプレイ(350)上の情報は、ユーザの注視に基づき、ユーザ向けに専用化される。1つの実施形態では、眼鏡ヘッドセット式ビューア(220)は、個々の情報表示のため情報をユーザの接眼レンズへ投影する。システム(300)は、複数のユーザ間のディスプレイ(350)の優先権及び制御権を決定するための競合解決モジュールを含む。1つの実施形態では、ディスプレイ(350)での機能は、例えば、音声コマンド、ジェスチャー、及び/又は注視を用いて起動することができる。
【選択図】 図1

Description

本発明は、全体的には、医療環境での情報の表示に関する。具体的には、本発明は、医療環境での関連情報の表示を改善するための注視検出技術の使用に関する。
臨床又は医療環境は、密集し、且つ要求の厳しい環境であり、医療環境において用いられるイメージングシステム、データ記憶システム、及び他の装置を組織化し、且つ使い易く改善することによって恩恵を得ることになる。病院又は診療所などの医療環境では、多くの専門家、患者、及び装置に取り囲まれている。医療施設のスタッフは、複数の患者、システム、及び仕事を管理して、患者に質の高いサービスを提供しなければならない。医療スタッフは、ワークフローにおいて多くの問題又は障害に遭遇する可能性がある。
臨床環境において、種々の注意を逸らすものがあれば、医療スタッフを中断させ、又は業務遂行の妨げとなる場合が多い。更に、放射線作業空間のような作業空間は、例えば、種々のモニター、データ入力装置、大容量データ記憶装置、及び通信機器などが散乱するようになる場合がある。散乱した作業空間は、結果としてワークフロー及び患者へのサービスが非効率的となり、患者の健康及び安全に影響し、又は医療施設にとって不利益をもたらすことになる可能性がある。典型的な医療施設では、データ入力及びアクセスもまた複雑である。
従って、既に密集した環境内に置かれ、日常の仕事を行うために用いられる多数の異なる装置を管理することは、医学又は医療スタッフにとって困難である。更に、装置間の相互運用性が欠落していると、医療ワークフローにおいて複数の装置を用いる際に付随する遅延及び不都合さが増すことになる。複数の装置を用いることはまた、同じ環境で複数のログオン管理を伴う場合がある。医療環境において、使い易さと複数の装置間の相互運用性が改善されたシステム及び方法は、極めて望ましいものである。
キーボード、コンピュータのマウス装置、イメージングプローブ、及び外科器具などの複数の装置との広範囲な相互作用に関係する医療環境においては、反復する動作障害が生じる場合が多い。反復する動作の損傷を最も少なくするために、該反復動作の一部を排除したシステム及び方法が、極めて望ましいものとなる。
病院又は診療所のような医療環境は、病院情報システム(HIS)及び放射線医学情報システム(RIS)のような臨床情報システムと、医用画像保管管理システム(PACS)のような記憶システムを含む。記憶されている情報は、例えば、患者の医療履歴、イメージングデータ、試験結果、診断情報、管理情報、及び/又はスケジュール情報を含むことができる。該情報は、中央で格納してもよく、複数の場所に分けることもできる。医療従事者は、医療ワークフローにおいて種々の時点で患者情報又は他の情報にアクセスできることが望ましい。例えば、外科手術中には、医療スタッフは、病院情報システム内に記憶されている患者の生体組織の画像などの患者の情報にアクセスすることができる。或いは、医療スタッフは、医療処置が行われている間に、履歴、診断、又は治療情報などの新しい情報を病院情報システムに入力することができる。
PACS情報などの最新の情報システムでは、情報は、キーボード及び/又はマウスを備えたローカルコンピュータ端末を用いて入力又は検索が行われる。医療処置が行われている間、又は医療ワークフローの他の時点で、キーボード、マウス、又は類似の装置を物理的に使用することは、非現実的(例えば、別の部屋で使用する)及び/又は非衛生的(即ち、個々の無菌野の保全性の侵害)である。ローカルコンピュータ端末を使用した後に再消毒することは、例えば、手術室の医療スタッフにとっては実行不可能な場合が多く、医療スタッフが病院情報システムにアクセスするのを思いとどまらせる可能性がある。従って、物理的に接触することなく病院情報システムにアクセスできるシステム及び方法は、ワークフローを改善し、滅菌野を維持するのに極めて望ましいものとなる。
イメージングシステムは、構成及び操作が複雑である。多くの場合、医療スタッフは、患者の画像を得ること、患者の記録又は診断を参照すること、又は更新することを試み、及び追加検査又は対診を求めることができる。このように、イメージングシステム及び関連装置のオペレータによる操作及び相互運用性を容易にするシステム及び方法に対する必要性がある。
多くの状況において、イメージングシステムのオペレータは、イメージングシステムコンソールを用いて患者又は他の対象物をスキャンするときに、問題に直面する場合がある。例えば、超音波イメージングシステムのようなイメージングシステムを用いて典型的なシステム制御コンソールを使い、上肢及び下肢検査、圧迫検査、頚動脈検査、新生児頭部検査、及び携帯型検査を行うのは困難である場合がある。オペレータは、コンソールとスキャンされることになる箇所の両方に物理的に触れることはできない。更に、オペレータは、スキャンされている患者を調整しながら、同時にコンソールでシステムを操作することはできない。オペレータは、情報へのアクセス、又は試験もしくは対診を求めるために電話又はコンピュータ端末に触れることはできない。検査を支援するオペレータ又は助手を追加すると、検査費用が増大することになり、オペレータと助手との間で誤った伝達によりエラー又は使用不能データを生じる場合がある。従って、個々のオペレータがイメージングシステム及び関連のサービスの操作を容易にする方法及びシステムが非常に望ましいものとなる。
放射線医学又は心臓病処置の読影などの読影は、患者のデジタル画像を見る放射線医師又は心臓病専門医などの医療従事者のプロセスである。医療従事者は、結果に関する電子化された(例えば、口述記録又は別の方法を用いて)又は書面による診断画像及び報告書の内容に基づいて診断を行う。放射線医師又は心臓病専門医などの医療従事者は、診断を行うために通常他のツールを用いる。他のツールの幾つかの例として、以前の及び関連する前の(履歴上の)検査及びこれらの結果、臨床検査(血液検査のような)、アレルギー、病理結果、薬物治療、警告、文書イメージ、及び他のツールなどがある。例えば、放射線医師又は心臓病専門医は、検査結果を読影するときに、臨床情報、電子医療記録、及び医療情報などの他のシステムを通常調べる。
現状では、医療従事者は、患者に関する情報をシステムから引き出すためには、異なるシステムにログオンして患者についてサーチしなければならない。例えば、患者が胸の痛みを訴えている場合には、胸部X線が撮られる。次いで、放射線医師は、他のシステムにログオンして患者についてサーチし、その患者の具体的な状態及び症状を探す。このようにして、放射線医師は、検討のために多くの情報を受け取ることができる。
医療従事者が使用するベンダー及びシステムに応じて、放射線医師又は心臓病専門医などの医療従事者には、利用可能なツールを参照するのに幾らかの選択肢があるだけである。第1に、利用可能なツールから情報を求めることは、紙の形態で行うことができる。第2に、医療従事者は、放射線医師情報システム(RIS)、医用画像保管管理システム(PACS)、電子医療記録(EMR)、病院情報システム(HIS)、及び臨床検査情報システム(LIS)などの異なるアプリケーションを用いて、患者についてサーチして電子的に情報を調べることができる。
第1の場合では、医療従事者は、読影用ワークステーションから注意を離れて、紙文書を通じてサーチして閲覧し、ほとんどの場合は患者当たりに数多くの紙文書を含む。このことは、その莫大な量の紙文書により、医療従事者の仕事の効率が低下し、誤りをおこす可能性が生じる。従って、医療従事者によって閲覧され用意される紙の量を低減するシステム及び方法は、極めて望ましいものであろう。
第2の場合、電子情報システムは、異なるシステム間であまり良好に通信できない場合が多い。従って、医療従事者は、各システムに別々にログオンし、患者についてサーチして各システムに対して調べる必要がある。こうした冗長な仕事は、大幅な遅延及び潜在的エラーを生じる結果となる。従って、複数の電子情報システム間の通信及び相互作用を改善するシステム及び方法が、極めて望ましいもとなる。
更に、幾つかのシステムにおいて統一された患者コンテクストを提供するための臨床コンテクストオブジェクトワークグループ(CCOW)のような機構を用いてシステムが統合されている場合でも、医療従事者には、依然として閲覧するには多すぎる情報が提供されている。様々なアプリケーションからの情報が一度にあまりにも多く提供されると、読影と分析プロセスが遅れることになる。ルーチンワークフローでユーザが必要としないアプリケーション要素をフィルタ処理することが必要である。従って、複数のシステムから提供される情報を管理するシステム及び方法が、極めて望ましいものとなる。
現在では、手術室(OR)のような医療環境は、複数の異なる情報及び/又はイメージングシステムに接続された複数のディスプレイ(CRT,LCD,他)を含む。ディスプレイは、例えば、壁、天井、テーブル、及び/又は床からのアームに取り付けられたブームに懸垂させることができる。手術室のような幾つかの医療環境では、10以上のディスプレイが部屋に密集し、医師が各ディスプレイをスキャンせずに重要な情報を見つけ出そうとすることは非常に難しいものとなる。
医療従事者が、異なるシステムから情報にアクセスすることを希望する場合には、医療従事者は、これまでは複数のディスプレイへ頭を向けて見上げて、どのディスプレイが求める情報を保持するのかを判断しなければならない。特に医療処置を中に頭を動かすことは、人間工学に正しいことではなく、医療従事者にとっても快適なことではない。更に、このように頭を動かすことは、検査又は処置全体を通して頻繁に繰り返される可能性がある。従って、医療環境において頭を動かすことを低減し、人間工学的に改善されるシステム及び方法は、極めて望ましいものであろう。
更に、複数のディスプレイは、医療従事者に同時に提示される情報が過剰となる。従って、多すぎるディスプレイに過剰な情報が表示されると、医師にとって関連の情報を探し出そうとすることが困難になる。従って、重要な情報の識別を改善し、医療環境に密集するディスプレイを低減するためのシステム及び方法に対する必要性がある。
手術室のような医療環境にあるディスプレイが多すぎると、更に問題が生じる可能性がある。例えば、複数のディスプレイがあることは、情報技術の観点からコスト的に効果的ではない。1つ又はそれ以上の部屋に複数のディスプレイを購入することは、医療提供者にとってかなりの費用となる。更に、例えば、複数のディスプレイ及び/又は複数のシステムは、医療環境で更に熱を発生させる。過剰な熱により、電気料金が高くなり、医療環境での患者、医師、及び機器に対して健康被害をまねく可能性がある。従って、医療環境で複数のディスプレイ低減するシステムが極めて望ましいものとなる。
このように、医療環境で関連する情報の表示を改善するシステム及び方法が、必要である。
米国特許第6152563号
本発明の幾つかの実施形態は、医療環境における情報の表示を改善するために注視検出を用いる方法及びシステムを提供する。システムの幾つかの実施形態は、ユーザの注視位置を検出するための眼鏡ヘッドセットと、情報を表示するためのディスプレイとを含む。画像及び/又はデータなどのディスプレイ上の情報は、ユーザの注視に基づき、ユーザ向けに専用化される。幾つかの実施形態では、眼鏡ヘッドセットビューワは、個々の情報表示のためユーザの接眼レンズに情報を投影する。本システムはまた、複数のユーザ間の優先権及びディスプレイの制御権を決定するための競合解決モジュールを含む。幾つかの実施形態では、例えば、音声コマンド、ジェスチャー、及び/又は注視を用いてディスプレイでの機能を起動することができる。
1つの実施形態では、該システムはまた、複数の情報源の少なくとも1つとの関係を個々に記憶する複数の透視画を含む。該システムはまた、少なくとも1つの情報源を透視画と関連づけるための医療透視画マネージャを含むことができる。医療透視画マネージャは、ユーザが透視画を用いて関連する情報源にアクセスできるようにする。
1つの実施形態では、システムはまた、情報の可用性及び/又は提示を管理する少なくとも1つの規則を有する規則エンジンを含む。本システムはまた、クエリーに基づく複数の情報源からの情報を取得して、規則エンジンからの規則に基づいて情報をフィルタ処理するコンテクスト・マネージャを含むことができる。
方法の幾つかの実施形態は、基準位置と関連してユーザが注視している方向を決定する段階と、ディスプレイに向いているユーザを識別する段階と、ユーザに基づいてディスプレイ上の情報を更新する段階とを含む。1つの実施形態では、情報は、例えば、ユーザからの優先権及び/又は入力に基づいてディスプレイ上で更新される。
本方法はまた、誰がディスプレイの制御権を有するかを決定するために複数のユーザ間で調整する段階を含むことができる。1つの実施形態では、複数のユーザに、ディスプレイの全体又は一部に対して情報の制御権を与えることができる。例えば、音声コマンド、ジェスチャー、及び/又は注視を用いて、ディスプレイで機能を起動することができる。更に、本方法は、ユーザの接眼レンズに画像を投影する段階を含むことができる。本方法は更に、ユーザに関係のある情報を個人化する少なくとも1つの透視画を定義する段階を含むことができる。1つの実施形態では、ディスプレイ上で利用可能な情報は、1つ又はそれ以上の規則に基づいてフィルタ処理される。
1つの実施形態では、コンピュータ読み取り可能な記憶媒体は、情報表示に関するコンピュータの命令セットを含む。命令セットは、ユーザがディスプレイを見ている時点を求める注視検出ルーチンと、ユーザがディスプレイを見ているときにユーザと関連する情報をディスプレイ上に表示する表示ルーチンとを含む。命令セットはまた、ユーザと関連する情報を選択する選択ルーチンを含む。更に、命令セットは、ディスプレイを見ている複数のユーザ間の制御権の優先順位を決定する調整ルーチンを含むことができる。命令セットはまた、少なくとも1つの規則に基づいて、ユーザと関連づけられた情報をフィルタ処理する規則ベースコンテクストマネージャを含むことができる。1つの実施形態では、情報は、例えばデータ及び/又は画像を含む。
上述の概要並びに以下の本発明の幾つかの実施形態の詳細な説明は、添付図面と共に読めばより良く理解されるであろう。本発明を例証する目的で、幾つかの実施形態が図面に示されている。しかしながら、本発明は、添付図面で示されている構成及び手段に限定されないことを理解されたい。
図1には、本発明の実施形態に従って用いられる改善された手術室100が示されている。図1で示されるように、多数の異なるディスプレイが、手術台120の近くのブーム115に懸垂された単一の大型ディスプレイ110で置き換えられてきた。ディスプレイ110は、複数のユーザに情報を表示する携帯眼鏡及び眼球追跡システムに用いることができる。更に、音声コマンド及び/又はファイヤー・ワイア・ウェブ・カメラのような、カメラを用いたジェスチャー制御は、滅菌野を乱すことなく画像及び情報システムとの対話を可能にする。
図2には、本発明の実施形態に従って用いられる携帯眼鏡式ビューイングシステム200が描かれている。システム200には、眼鏡ヘッドセット210、個人用眼鏡式ディスプレイ220、及び注視追跡プロセッサ230を含む。プロセッサ230は、眼鏡210内に一体化してもよく、及び/又は眼鏡210と別個にしてもよい。個人用眼鏡式ディスプレイ220には、眼鏡210によりユーザの視野が投影されている。
医療従事者は、該従事者の注視を捉えてナビゲーションとのインターフェースを実行するため、ゴーグルのような眼鏡210を用いることができる。ユーザの注視は、例えば、赤外線又は他の光源によって追跡することができる。光は、ユーザの瞳孔から反射されて検出される。光はまた、角膜の前後表面、及びユーザの眼のレンズから反射され、検出又は記録することができる。繰り返し計測することによって、ユーザの注視の変化を追跡する。代替的に、又は追加として、ユーザの注視は、例えば、カメラ又は位置センサーを介してユーザの頭の動きに基づいて追跡することができる。基準座標系において、及び/又はディスプレイ上の位置などの基準地点に対してユーザの注視及び/又は頭の位置を決定することができる。1つの実施形態において、複数の測定値を取得して、例えば、ユーザの視線及び/又は頭の角度を求めることができる。
ゴーグル又は他の眼鏡はまた、画像をユーザの接眼レンズに投影し、又は眼鏡210に取り付けられユーザの視野に位置付けられた小型スクリーンを設けて、仮想個人用ディスプレイ220を形成することができる。従って、眼鏡210を用いると、医療環境における幾つかのディスプレイを排除することができる。更に、眼鏡210により、医療環境において特定の情報を特定のユーザ向けに表示することを意図することができる。例えば、看護師、麻酔医、及び外科医は、各自の個人用眼鏡式ディスプレイ220上に表示される異なる情報を受け取る。例えば、外科医は、画像誘導外科手術及びPACSデータを見ることができ、一方、麻酔医は、EKG及び投薬データを見る。1つの実施形態では、各ユーザは、1つのディスプレイを見るのに向きを変えることなくカスタマイズされた情報を見て情報を選択することができる。
1つの実施形態では、眼鏡210は、血流データ、心電波形、生命徴候などの重要な動的患者情報を表示する携帯眼鏡式ビューアである。眼鏡210によって、ユーザは、LCD又はCRTモニターを見るために自分の頭の向きを変えることなく情報を見ることができる。眼鏡ヘッドセット210によって、患者に対して「下を向いて」処置をしながら、ユーザはデータを見ることができるが、解像度は、例えば、画像検査及び/又は細かいテキスト検討に限定される可能性がある。ユーザが、詳細な情報又はより細かい粒状度を見ることを求めている場合には、ユーザは、医療環境において単一の大型ディスプレイを見ることができる。1つの実施形態では、眼鏡ヘッドセット210及び/又はプロセッサ230は、眼球追跡ソフトウェアを含み、ユーザが大型ディスプレイを注視していることを該ソフトウェアが検出すると、ユーザの透視画及び/又は規則ベースの情報が、画面上に表示される。ヘッドセット210及び/又はプロセッサ230の眼球追跡能力はまた、注視方向入力を用いて大型ディスプレイを制御することができる。例えば、プロセッサ230は、ユーザが、ディスプレイ上にある特定のボタン、オプション、又は機能を見ている時を検出して、ユーザに対してボタン、オプション、又は機能を選択又は起動する。オプション/機能の起動はまた、ユーザがあるエリアを見ている時間量に基づくことも可能である。眼鏡式システム200はまた、音声コマンド及び/又はジェスチャーと共に使用して、例えば、ディスプレイ220及び/又は他のシステムもしくは機能を制御することができる。
例えば、規則に関するシステムに基づいて、チーフ外科医は、大型ディスプレイに対して優先的に見る権利を有する。チーフの外科医が、「下に向いて」外科手術に戻ると、ディスプレイは、他のユーザによるアクセスが可能となる。1つの実施形態では、「懸垂」ディスプレイプロトコルによって、ユーザは大型ディスプレイ上の財産を共有することができる。
図3には、本発明の実施形態に従って用いられる注視検出及び制御システム300を示す。システム300は、単一の大型ディスプレイ350及び複数の眼鏡210を含む。システム300は、別個のプロセッサ又は注視追跡プロセッサ230の協働ネットワークである注視追跡及び制御プロセッサ360(図示せず)を含むことができる。1つの実施形態では、個人用眼鏡式ディスプレイ220は、600×800又は800×600のような限定的な解像度を有することができる。従って、個人用眼鏡式ディスプレイ220は、患者の生命徴候及び他のデータなどの特定の情報に対して十分な解像度を提供している。より多くの情報については、医療従事者が画像誘導手術情報のようなより大きな情報を見るために単一の大型ディスプレイ350を参照することができる。ユーザはディスプレイ350を見る。注視追跡プロセッサ230は、ユーザが特定の情報を見るのを求めていることを認識し、例えば、透視画法を用いて状況に合わせた患者情報を大型ディスプレイ350上に表示する。注視及び/又は頭位置に関する情報がプロセッサ230から伝えられ、ディスプレイ350上への情報を決定することができる。更に、ユーザの希望する情報、ディスプレイ220からの情報、及び/又は他の入力を送信して、ディスプレイ350の内容及び/又は他のパラメーターを構成することができる。
1つの実施形態では、ディスプレイ350上に表示される情報は、透視画に対して適所に又は透視画に付加して規則に基づき決定することができる。例えば、規則では、医師の注視は、看護師の注視よりも優先されることが決定される。その後、医師がディスプレイ350から目を離したときに、看護師はディスプレイ350を制御する。或いは、ディスプレイ350の制御は、複数のユーザにほぼ同時に対応することができるように、複数のユーザでディスプレイ350上に表示される共通の情報を共有することができる。
このようにして、システム200及び300によって、ユーザは、PACS、EMR、LIS、HIS、RIS、CVIS、及び他のアプリケーションもしくはシステムなどの種々のシステムからのデータにアクセスして表示することができる。プロセッサ230及び/又は360は、閲覧する人個々に有用なビューにデータを編成する。プロセッサ230及び/又は360は、ユーザが大型ディスプレイ350を注視していることをすばやく認識し、ユーザの情報をディスプレイ350上に投影する。更に、プロセッサ230は、どのユーザがディスプレイ350の制御を行うべきかを決定するため、アクセスを求める複数のユーザの中から競合及び優先度を調整する機能を有することができる。例えば、規則ベースのディスプレイの制御及び/又は懸垂プロトコルは、どのユーザが制御権及び優先権を有するか、及び/又はどのユーザが制御及びディスプレイ領域を共有することができるかを管理することができる。規則及び他のプロトコルはまた、いつディスプレイ350の制御権が放棄され、及び/又は取って代れるかを管理することができる。
ディスプレイ350は、手術室内の複数のディスプレイに取って代る。ディスプレイシステム300は、ユーザの注視を追跡し、ユーザの優先権に基づいて、携帯眼鏡式ビューア220の解像度で可能であるよりもユーザがより詳細な情報を希望したときにはユーザ固有の「透視画ベース」の業務情報を提供する。例えば、ユーザは、鮮明なテキスト及び/又は解剖学イメージを所望時にディスプレイ350上で見ることができる。ディスプレイ350上に表示される情報は、眼鏡ヘッドセットディスプレイ220内に表示される情報を補完し、及び/又はこれに取って代る。
1つの実施形態では、ビデオスイッチボックス及び/又は音声コマンドを画像誘導手術に用いてディスプレイを切り替えることができ、その結果、画像誘導手術情報だけが見られるようになる。1つの実施形態では、音声制御及び/又はジェスチャーを眼球追跡と協働して用いて、ディスプレイ350及び/又はシステムカーソルを制御することができる。
1つの実施形態では、マネージャ120は、規則ベースコンテクストマネージャと共に動作して情報をフィルタ処理及び表示することができる。規則ベースコンテクストマネージャの一例は、名称が「System and Method for Rules−Based Context Management in Radiology and Cardiology Diagnostic Reading(放射線医学及び心臓病学診断の解釈における規則ベース・コンテクスト・マネージメントのためのシステム及び方法)」で発明者Prakash Maheshにより2004年10月1日付けで出願された米国特許出願において記載されており、該特許出願は引用により全体が本明細書に組み込まれる。
1つの実施形態では、マネージャ120は、複数のアプリケーション及びワークフローを取り扱うため透視画マネージメント・システムと共に動作することができる。透視画マネージメント・システムにより、特定のユーザ向けのワークフローステップ及び他の情報が保持されている種々の透視画を定義することができる。透視画により、個人化された情報表示が、例えば、患者の現在の状態に密接に関係した適切な情報を提供することができる。透視画マネージメント・システムの1つの実施例は、発明者Prakash Mahesh及びMark Ricardによる名称が「System and Method for Handling Multiple Radiology Applications and Workflows(多数の放射線医学アプリケーションとワークフローの処理のためのシステム及び方法)」の2004年10月1日付けで出願された米国特許出願で記載されており、該特許出願は引用により全体が本明細書に組み込まれる。例えば、外科手術室において、関連する患者情報の特定の透視画又はビューを用いる多数の医療従事者が手術台にいる場合がある。単一の大型ディスプレイ(例えば、LCD、プラズマディスプレイ、46インチディスプレイなど)では、各ユーザは、自分たちの個人化された透視画をディスプレイ上で大型及び/又は小型の形式で見ることができる。ディスプレイは、ユーザ間で共有してもよい。
図4には、本発明の実施形態に従って用いられる医療環境における注視検出及び制御のための方法400のフローチャートが示されている。最初に、ステップ410で、ユーザは、携帯眼鏡310のような眼鏡ヘッドセットを装着する。次に、ステップ420において、眼鏡を介してユーザの注視を追跡する。例えば、ユーザの注視は、眼鏡式ディスプレイ220上で追跡され、ディスプレイ220上の特定の情報及び/又は機能を選択することができる。更に、例えば、ユーザの注視は、ディスプレイ350の上で追跡することができる。
ステップ430では、ユーザの注視がディスプレイ350に向けられていることが検出されると、ディスプレイ350上の内容は、そのユーザに適応するように調整される。すなわち、状況に合った透視画及び/又は規則を用いて、特定のユーザ向けの関連する情報をディスプレイ350上に表示することができる。ディスプレイ350上のスペースは、ディスプレイ350を見ている一人のユーザに全てを割り当ててもよく、又は、複数のユーザにデータを表示するよう分割してもよい。或いは、ディスプレイ350は、一般的なデータを表示するエリア及び特定のユーザに専用の1つ又はそれ以上のデータ表示エリアを含むことができる。1つの実施形態では、複数のユーザが、ディスプレイ350を見ている場合には、ユーザの優先順位を比較して、どのユーザがディスプレイ350の制御権を取ることが許可されるかを決定することができる。
次に、ステップ440では、ディスプレイ350を制御しているユーザが、ディスプレイ350を操作することができる。例えば、ユーザは、注視、音声コマンド、ジェスチャー、ボタン、スイッチ、及び/又はマウス装置に基づいて、ディスプレイ350上に示された情報を調整することができる。ユーザは、ディスプレイ220に表示された情報を同様に調整することができる。ディスプレイ220に示された情報は、ディスプレイ350に示されている情報を模擬したものであっても、そうでなくともよい。
次に、ステップ450では、ユーザの視線がディスプレイ350から離れて変わると、ディスプレイ350は、他のユーザ向けに自己調整する。例えば、外科医が、ディスプレイ350から手術を受けている患者に戻り下を見ると、ディスプレイ350は、情報を表示するために看護師が利用できるようになる。1つの実施形態では、生命徴候のような情報は、その環境内でユーザが着用している個人用眼鏡を通して連続して表示することができる。ディスプレイ350上に表示された情報は、眼鏡式ディスプレイ220上に表示された情報を補完し、及び/又は強化する。
従って、幾つかの実施形態では、種々の情報システム及び他のアプリケーションは、複数のユーザが見ることのできる単一のディスプレイ内に統合される。幾つかの実施形態では、ユーザが利用できる情報は、規則及び/又は透視画に基づいてフィルタ処理される。幾つかの実施形態では、情報の過負荷、人間工学的問題、及び、例えば、散乱、発熱、コスト、及びディスプレイからの光度などの複数のディスプレイからの影響に対処する。手術室などの医療環境から複数のディスプレイを取り除くことができ、単一の大型ディスプレイ上の情報を、特定の医師に対しての関連する患者情報を示すように簡略化することができる。幾つかの実施形態は、医療従事者に対して臨床上の判断の支援を行う助けとなる。このようにして、医療上の過失を低減することができ、例えば、外科手術室のワークフローを合理化することができる。更に、繰り返される頭及び首の運動を低減して、結果として人間工学上の問題を低減することができる。
幾つかの実施形態を参照しながら本発明を説明してきたが、当業者であれば、種々の変更が可能であり、本発明の範囲から逸脱することなく均等物で置き換えることができる点は理解されるであろう。更に、本発明の範囲から逸脱することなく、特定の状況又は材料を本発明の教示に適合させるために多くの修正を行うことができる。従って、本発明は、開示された特定の実施形態に限定されるものではないが、本発明は、添付の請求項の範囲に含まれる全ての実施形態を含むことになるものとする。また、図面の符号に対応する特許請求の範囲中の符号は、単に本願発明の理解をより容易にするために用いられているものであり、本願発明の範囲を狭める意図で用いられたものではない。そして、本願の特許請求の範囲に記載した事項は、明細書に組み込まれ、明細書の記載事項の一部となる。
本発明の実施形態に従って用いられる改善された手術室を示す図。 本発明の実施形態に従って用いられる携帯眼鏡式ビューイングシステムを示す図。 本発明の実施形態に従って用いられる注視検出及び制御システムを示す図。 本発明の実施形態に従って用いられる医療環境における注視検出及び制御のための方法のフローチャート。
符号の説明
100 手術室
110 ディスプレイ
115 ブーム
120 手術台

Claims (10)

  1. 関連情報を表示するための注視検出及び制御システム(300)であって、
    ユーザが注視している位置を検出するための眼鏡ヘッドセット(210)と、
    ユーザの注視に基づき該ユーザ用に専用化された情報を表示するためのディスプレイと、
    を含むシステム(300)。
  2. 眼鏡ヘッドセット式ビューア(220)が、個々の情報の表示のためにユーザの接眼レンズに情報を投影する請求項1のシステム(300)。
  3. 複数のユーザ間で前記ディスプレイ(350)の優先権及び制御権を決定する競合解決モジュールを更に含む請求項1のシステム(300)。
  4. ディスプレイ(350)での機能が、音声コマンド、ジェスチャー、及び注視のうちの少なくとも1つを用いて起動される請求項1のシステム(300)。
  5. 注視検出に基づき、医療情報を表示するための方法(400)であって、
    基準位置(420)に対してユーザが注視している方向を決定する段階と、
    ディスプレイ(350)を向いているユーザを識別する段階と、
    前記ユーザ(430)に基づき前記ディスプレイ(350)上の情報を更新する段階と、
    を含む方法。
  6. 前記更新段階が更に、優先権及びユーザからの入力のうちの少なくとも1つに基づき前記ディスプレイ(350)上の情報を更新する段階を含む請求項5の方法(400)。
  7. 前記ディスプレイ(350)の制御権を決定するために複数のユーザ間で調整する段階を更に含む請求項5の方法(400)。
  8. 複数のユーザが前記ディスプレイ(350)上の情報を制御可能とする段階を更に含む請求項5の方法(400)。
  9. 音声コマンド、ジェスチャー、及び注視(440)のうちの少なくとも1つを用いて前記ディスプレイ(350)で機能を起動する段階を更に含む請求項5の方法(400)。
  10. 画像をユーザの接眼レンズへ投影する段階を更に含む請求項5の方法(400)。
JP2005279272A 2004-10-01 2005-09-27 注視検出に基づき、医療情報を表示する方法 Expired - Fee Related JP5172085B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/956,435 2004-10-01
US10/956,435 US7331929B2 (en) 2004-10-01 2004-10-01 Method and apparatus for surgical operating room information display gaze detection and user prioritization for control

Publications (2)

Publication Number Publication Date
JP2006102495A true JP2006102495A (ja) 2006-04-20
JP5172085B2 JP5172085B2 (ja) 2013-03-27

Family

ID=35429647

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005279272A Expired - Fee Related JP5172085B2 (ja) 2004-10-01 2005-09-27 注視検出に基づき、医療情報を表示する方法

Country Status (4)

Country Link
US (1) US7331929B2 (ja)
EP (1) EP1643401B1 (ja)
JP (1) JP5172085B2 (ja)
CN (1) CN100530048C (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013254458A (ja) * 2012-06-08 2013-12-19 Ricoh Co Ltd 操作制御装置、操作制御方法
JP2014113494A (ja) * 2012-12-11 2014-06-26 Biosense Webster (Israel) Ltd 手技中の医師の視線トラッキングの使用
JP2014516595A (ja) * 2011-03-16 2014-07-17 コントローラッド システムズ、インコーポレイテッド 放射線制御及び最小化システム及び方法
WO2015008470A2 (en) 2013-07-16 2015-01-22 Seiko Epson Corporation Information processing apparatus, information processing method, and information processing system
WO2015008469A2 (en) 2013-07-16 2015-01-22 Seiko Epson Corporation Information processing apparatus, information processing method, and information processing system
JP2015019679A (ja) * 2013-07-16 2015-02-02 セイコーエプソン株式会社 情報処理装置、情報処理方法、および、情報処理システム
JP2015188566A (ja) * 2014-03-28 2015-11-02 セイコーエプソン株式会社 情報処理装置、情報処理方法、および、情報処理システム
JP2016207115A (ja) * 2015-04-28 2016-12-08 京セラドキュメントソリューションズ株式会社 情報処理装置、画像処理装置へのジョブ指示方法
KR101790342B1 (ko) * 2010-09-14 2017-10-26 엘지전자 주식회사 디스플레이 장치 및 그의 제어 방법
JPWO2016158000A1 (ja) * 2015-03-30 2018-01-25 ソニー株式会社 情報処理装置、情報処理方法及び情報処理システム
JP2018511359A (ja) * 2015-02-20 2018-04-26 コヴィディエン リミテッド パートナーシップ 手術室及び手術部位認識

Families Citing this family (100)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ITFI20040223A1 (it) * 2004-10-29 2005-01-29 Sr Labs S R L Metodo e sistema di visualizzazione,elaborazione ed analisi integrata di immagini mediche
US20060236121A1 (en) * 2005-04-14 2006-10-19 Ibm Corporation Method and apparatus for highly secure communication
US20060287593A1 (en) * 2005-06-20 2006-12-21 General Electric Company System and method providing communication in a medical imaging system
KR101249988B1 (ko) * 2006-01-27 2013-04-01 삼성전자주식회사 사용자의 위치에 따른 영상을 디스플레이하는 장치 및 방법
US9213404B2 (en) 2006-02-01 2015-12-15 Tobii Technology Ab Generation of graphical feedback in a computer system
US20080024433A1 (en) * 2006-07-26 2008-01-31 International Business Machines Corporation Method and system for automatically switching keyboard/mouse between computers by user line of sight
US9606621B2 (en) * 2006-07-28 2017-03-28 Philips Lighting Holding B.V. Gaze interaction for information display of gazed items
US7808449B2 (en) 2006-12-29 2010-10-05 Texas Instruments Incorporated Method and system for multi-channel viewing applications
WO2008021857A2 (en) * 2006-08-08 2008-02-21 Texas Instruments Incorporated Method and system for multi-channel viewing applications
US9095295B2 (en) * 2006-09-01 2015-08-04 Board Of Regents Of The University Of Texas System Device and method for measuring information processing speed of the brain
DE102006043172A1 (de) * 2006-09-14 2008-03-27 Siemens Ag Verfahren zur Auswertung des Verhaltens von Nutzern eines digitalen Bildinformationssysstems
WO2008042220A2 (en) * 2006-09-29 2008-04-10 Nellcor Puritan Bennett Llc User interface and identification in a medical device systems and methods
US7706896B2 (en) 2006-09-29 2010-04-27 Nellcor Puritan Bennett Llc User interface and identification in a medical device system and method
US7925511B2 (en) 2006-09-29 2011-04-12 Nellcor Puritan Bennett Llc System and method for secure voice identification in a medical device
US7698002B2 (en) 2006-09-29 2010-04-13 Nellcor Puritan Bennett Llc Systems and methods for user interface and identification in a medical device
JP2008288767A (ja) * 2007-05-16 2008-11-27 Sony Corp 情報処理装置および方法、並びにプログラム
US20090125840A1 (en) * 2007-11-14 2009-05-14 Carestream Health, Inc. Content display system
US20090137227A1 (en) * 2007-11-26 2009-05-28 4Dk Technologies, Inc. Federated Virtual Network of Communications Services
DE102008052491B4 (de) 2008-10-21 2012-05-16 Dräger Medical GmbH Deckenarmsystem
DE102008059456B3 (de) * 2008-11-28 2010-08-26 Siemens Aktiengesellschaft Verfahren zur Anzeige von Bilddaten und Vorrichtung zur Durchführung des Verfahrens
US8416715B2 (en) * 2009-06-15 2013-04-09 Microsoft Corporation Interest determination for auditory enhancement
US9268404B2 (en) * 2010-01-08 2016-02-23 Microsoft Technology Licensing, Llc Application gesture interpretation
US20130042010A1 (en) * 2010-01-28 2013-02-14 Nokia Corporation Access establishment to locally connectable device
RU2565482C2 (ru) * 2010-03-22 2015-10-20 Конинклейке Филипс Электроникс Н.В. Система и способ для отслеживания точки взгляда наблюдателя
US8373573B2 (en) * 2010-06-15 2013-02-12 Transcend Information, Inc. Display system adapting to 3D tilting adjustment
EP2622518A1 (en) * 2010-09-29 2013-08-07 BrainLAB AG Method and device for controlling appartus
US8793623B2 (en) 2011-01-27 2014-07-29 Carefusion 303, Inc. Associating devices in a medical environment
US8361031B2 (en) 2011-01-27 2013-01-29 Carefusion 303, Inc. Exchanging information between devices in a medical environment
WO2012103387A2 (en) * 2011-01-27 2012-08-02 Carefusion 303, Inc. Associating devices in a medical environment
JP6457262B2 (ja) 2011-03-30 2019-01-23 アヴィザル,モルデチャイ 外科手術をシミュレーションする方法およびシステム
KR20120132240A (ko) * 2011-05-27 2012-12-05 삼성전자주식회사 복수의 사용자에게 복수의 영상을 제공하는 듀얼 뷰 디스플레이 방법 및 듀얼 뷰 안경 구동 방법, 이를 적용한 디스플레이 장치 및 듀얼 뷰 안경
US9207767B2 (en) * 2011-06-29 2015-12-08 International Business Machines Corporation Guide mode for gesture spaces
US10976810B2 (en) * 2011-07-11 2021-04-13 Texas Instruments Incorporated Sharing input and output devices in networked systems
US8885882B1 (en) 2011-07-14 2014-11-11 The Research Foundation For The State University Of New York Real time eye tracking for human computer interaction
EP2551784A1 (en) 2011-07-28 2013-01-30 Roche Diagnostics GmbH Method of controlling the display of a dataset
US9658687B2 (en) 2011-09-30 2017-05-23 Microsoft Technology Licensing, Llc Visual focus-based control of coupled displays
US9142182B2 (en) * 2011-10-07 2015-09-22 Lg Electronics Inc. Device and control method thereof
US8970452B2 (en) 2011-11-02 2015-03-03 Google Inc. Imaging method
US9098069B2 (en) 2011-11-16 2015-08-04 Google Technology Holdings LLC Display device, corresponding systems, and methods for orienting output on a display
US8611015B2 (en) * 2011-11-22 2013-12-17 Google Inc. User interface
US20130147686A1 (en) * 2011-12-12 2013-06-13 John Clavin Connecting Head Mounted Displays To External Displays And Other Communication Networks
US9256071B1 (en) * 2012-01-09 2016-02-09 Google Inc. User interface
US8988349B2 (en) 2012-02-28 2015-03-24 Google Technology Holdings LLC Methods and apparatuses for operating a display in an electronic device
US8947382B2 (en) 2012-02-28 2015-02-03 Motorola Mobility Llc Wearable display device, corresponding systems, and method for presenting output on the same
CN102779000B (zh) * 2012-05-03 2015-05-20 苏州触达信息技术有限公司 一种用户交互系统和方法
JP6343606B2 (ja) 2012-05-25 2018-06-13 サージカル シアター エルエルシー ハイブリッド画像/ハンズフリー制御によるシーンレンダラー
KR101861380B1 (ko) 2012-07-16 2018-05-28 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 헤드 마운트 디스플레이를 이용한 컨텐츠 출력 방법 및 이를 위한 헤드 마운트 디스플레이
US10095033B2 (en) 2012-07-27 2018-10-09 Nokia Technologies Oy Multimodal interaction with near-to-eye display
CN102930170B (zh) * 2012-11-12 2016-04-06 声泰特(成都)科技有限公司 一种交互式医学超声的显示和输入系统
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
CN103105928A (zh) * 2012-12-11 2013-05-15 渭南高新区晨星专利技术咨询有限公司 一种手势遥控系统
CN104854537B (zh) * 2013-01-04 2018-08-10 英特尔公司 与计算设备的多距离、多模态自然用户交互
DE102013201527A1 (de) * 2013-01-30 2013-12-24 Siemens Aktiengesellschaft Verfahren und System zum Abruf und zur Steuerung von Daten und Archivbildern in einer sterilen Umgebung
DE102013203918A1 (de) * 2013-03-07 2014-09-11 Siemens Aktiengesellschaft Verfahren zum Betreiben einer Vorrichtung in einer sterilen Umgebung
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
WO2014160659A1 (en) * 2013-03-23 2014-10-02 Controlrad Systems, Inc. Operating room environment
DE102013206553A1 (de) * 2013-04-12 2014-10-16 Siemens Aktiengesellschaft Verfahren zum Betreiben einer Vorrichtung in einer sterilen Umgebung
US10073515B2 (en) 2013-09-18 2018-09-11 Nanophthalmos, Llc Surgical navigation system and method
US20150128096A1 (en) * 2013-11-04 2015-05-07 Sidra Medical and Research Center System to facilitate and streamline communication and information-flow in health-care
CN104679226B (zh) * 2013-11-29 2019-06-25 上海西门子医疗器械有限公司 非接触式医疗控制系统、方法及医疗设备
KR102099178B1 (ko) * 2013-11-29 2020-04-09 엘지전자 주식회사 웨어러블 디바이스 및 웨어러블 디바이스 디스플레이 제어 방법
DE102013226242A1 (de) * 2013-12-17 2015-06-18 Siemens Aktiengesellschaft Einstellung eines Aufnahmebereichs
FR3015222B1 (fr) * 2013-12-24 2019-11-22 General Electric Company Procede de traitement d'images medicales par suivi de regard
JP6851133B2 (ja) * 2014-01-03 2021-03-31 ハーマン インターナショナル インダストリーズ インコーポレイテッド ユーザに方向付けられた個人情報アシスタント
JP6415608B2 (ja) * 2014-03-03 2018-10-31 アイウェイ ビジョン エルティーディー. 目用投影システム
CN106456148B (zh) * 2014-03-19 2020-06-12 直观外科手术操作公司 使用眼球凝视跟踪的医疗装置、系统和方法
JP6689203B2 (ja) 2014-03-19 2020-04-28 インテュイティブ サージカル オペレーションズ, インコーポレイテッド 立体ビューワのための視線追跡を統合する医療システム
US11547499B2 (en) 2014-04-04 2023-01-10 Surgical Theater, Inc. Dynamic and interactive navigation in a surgical environment
KR20160071242A (ko) * 2014-12-11 2016-06-21 삼성전자주식회사 안구 움직임에 기반한 컴퓨터 보조 진단 장치 및 방법
CN107595239B (zh) * 2015-06-02 2019-05-07 杭州镜之镜科技有限公司 个人用眼监控系统
US10045825B2 (en) * 2015-09-25 2018-08-14 Karl Storz Imaging, Inc. Partial facial recognition and gaze detection for a medical system
US10031577B2 (en) 2015-10-05 2018-07-24 International Business Machines Corporation Gaze-aware control of multi-screen experience
WO2017066373A1 (en) 2015-10-14 2017-04-20 Surgical Theater LLC Augmented reality surgical navigation
CN105301778A (zh) * 2015-12-08 2016-02-03 北京小鸟看看科技有限公司 三维操控装置、头戴式装置及三维操控方法
US10877713B2 (en) * 2016-11-02 2020-12-29 Telefonaktiebolaget Lm Ericsson (Publ) Controlling display of content using an external display device
US11250947B2 (en) 2017-02-24 2022-02-15 General Electric Company Providing auxiliary information regarding healthcare procedure and system performance using augmented reality
US20200038119A1 (en) * 2017-03-24 2020-02-06 Surgical Theater LLC System and method for training and collaborating in a virtual environment
US10610179B2 (en) * 2017-06-05 2020-04-07 Biosense Webster (Israel) Ltd. Augmented reality goggles having X-ray protection
US10861236B2 (en) 2017-09-08 2020-12-08 Surgical Theater, Inc. Dual mode augmented reality surgical system and method
CN107707763B (zh) * 2017-10-19 2018-07-24 杭州镜之镜科技有限公司 近视防控可穿戴设备及近视防控系统和方法
US11114199B2 (en) 2018-01-25 2021-09-07 Mako Surgical Corp. Workflow systems and methods for enhancing collaboration between participants in a surgical procedure
WO2020084625A1 (en) * 2018-10-25 2020-04-30 Beyeonics Surgical Ltd. Ui for head mounted display system
US10969863B2 (en) * 2019-05-08 2021-04-06 International Business Machines Corporation Configurable sensor array for a multi-target environment
EP3926642A1 (en) * 2020-06-17 2021-12-22 Koninklijke Philips N.V. Dynamic positioning for a virtual display
US11571225B2 (en) 2020-08-17 2023-02-07 Russell Todd Nevins System and method for location determination using movement between optical labels and a 3D spatial mapping camera
US11748924B2 (en) 2020-10-02 2023-09-05 Cilag Gmbh International Tiered system display control based on capacity and user operation
US20220108788A1 (en) * 2020-10-02 2022-04-07 Ethicon Llc Reconfiguration of display sharing
US20220104694A1 (en) * 2020-10-02 2022-04-07 Ethicon Llc Control of a display outside the sterile field from a device within the sterile field
US20220104910A1 (en) * 2020-10-02 2022-04-07 Ethicon Llc Monitoring of user visual gaze to control which display system displays the primary information
US11830602B2 (en) 2020-10-02 2023-11-28 Cilag Gmbh International Surgical hub having variable interconnectivity capabilities
US11963683B2 (en) 2020-10-02 2024-04-23 Cilag Gmbh International Method for operating tiered operation modes in a surgical system
US11877897B2 (en) 2020-10-02 2024-01-23 Cilag Gmbh International Situational awareness of instruments location and individualization of users to control displays
US11672534B2 (en) 2020-10-02 2023-06-13 Cilag Gmbh International Communication capability of a smart stapler
US11883022B2 (en) 2020-10-02 2024-01-30 Cilag Gmbh International Shared situational awareness of the device actuator activity to prioritize certain aspects of displayed information
US11992372B2 (en) 2020-10-02 2024-05-28 Cilag Gmbh International Cooperative surgical displays
US20220331008A1 (en) 2021-04-02 2022-10-20 Russell Todd Nevins System and method for location determination using movement of an optical label fixed to a bone using a spatial mapping camera
US20220384017A1 (en) * 2021-05-28 2022-12-01 Cilag Gmbh International Aggregated network of surgical hubs for efficiency analysis
US11600053B1 (en) 2021-10-04 2023-03-07 Russell Todd Nevins System and method for location determination using a mixed reality device and multiple imaging cameras
IL312436A (en) * 2021-10-23 2024-06-01 Simulated Inanimate Models Llc Device, methods and systems for guidance in guiding procedures
EP4345838A1 (en) * 2022-09-29 2024-04-03 Koninklijke Philips N.V. Visualizing an indication of a location in a medical facility

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07104718A (ja) * 1993-10-07 1995-04-21 Mitsubishi Heavy Ind Ltd 多人数用立体情報表示装置
JPH0970030A (ja) * 1995-08-31 1997-03-11 Mitsubishi Electric Corp 仮想会議システムの画像表示方法並びに仮想会議用端末装置
JPH0998985A (ja) * 1995-10-09 1997-04-15 Olympus Optical Co Ltd 医療用顔面装着型映像表示装置
JPH10201700A (ja) * 1997-01-20 1998-08-04 Olympus Optical Co Ltd 蛍光観察内視鏡装置
JPH10333094A (ja) * 1996-12-18 1998-12-18 Toyota Motor Corp 立体画像表示装置、立体画像表示方法及び記録媒体
JP2000152075A (ja) * 1998-11-11 2000-05-30 Nippon Hoso Kyokai <Nhk> 仮想副調装置
JP2001104331A (ja) * 1999-10-06 2001-04-17 Olympus Optical Co Ltd 医療用顔面装着型映像表示装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4931865A (en) * 1988-08-24 1990-06-05 Sebastiano Scarampi Apparatus and methods for monitoring television viewers
US6204974B1 (en) * 1996-10-08 2001-03-20 The Microoptical Corporation Compact image display system for eyeglasses or other head-borne frames
CA2307877C (en) * 1997-10-30 2005-08-30 The Microoptical Corporation Eyeglass interface system
US6152563A (en) * 1998-02-20 2000-11-28 Hutchinson; Thomas E. Eye gaze direction tracker
US6106119A (en) * 1998-10-16 2000-08-22 The Board Of Trustees Of The Leland Stanford Junior University Method for presenting high level interpretations of eye tracking data correlated to saved display images
US6539100B1 (en) * 1999-01-27 2003-03-25 International Business Machines Corporation Method and apparatus for associating pupils with subjects
ES2258972T3 (es) * 2000-05-16 2006-09-16 Swisscom Mobile Ag Procedimiento y terminal para entrar instrucciones.
EP1433160A1 (en) 2001-09-07 2004-06-30 The Microoptical Corporation Light weight, compact, remountable face-supported electronic display
US6712468B1 (en) * 2001-12-12 2004-03-30 Gregory T. Edwards Techniques for facilitating use of eye tracking data
US6943754B2 (en) * 2002-09-27 2005-09-13 The Boeing Company Gaze tracking system, eye-tracking assembly and an associated method of calibration
GB2403002A (en) * 2003-04-29 2004-12-22 Hewlett Packard Development Co Shared attention image capture system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07104718A (ja) * 1993-10-07 1995-04-21 Mitsubishi Heavy Ind Ltd 多人数用立体情報表示装置
JPH0970030A (ja) * 1995-08-31 1997-03-11 Mitsubishi Electric Corp 仮想会議システムの画像表示方法並びに仮想会議用端末装置
JPH0998985A (ja) * 1995-10-09 1997-04-15 Olympus Optical Co Ltd 医療用顔面装着型映像表示装置
JPH10333094A (ja) * 1996-12-18 1998-12-18 Toyota Motor Corp 立体画像表示装置、立体画像表示方法及び記録媒体
JPH10201700A (ja) * 1997-01-20 1998-08-04 Olympus Optical Co Ltd 蛍光観察内視鏡装置
JP2000152075A (ja) * 1998-11-11 2000-05-30 Nippon Hoso Kyokai <Nhk> 仮想副調装置
JP2001104331A (ja) * 1999-10-06 2001-04-17 Olympus Optical Co Ltd 医療用顔面装着型映像表示装置

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101790342B1 (ko) * 2010-09-14 2017-10-26 엘지전자 주식회사 디스플레이 장치 및 그의 제어 방법
JP2014516595A (ja) * 2011-03-16 2014-07-17 コントローラッド システムズ、インコーポレイテッド 放射線制御及び最小化システム及び方法
JP2013254458A (ja) * 2012-06-08 2013-12-19 Ricoh Co Ltd 操作制御装置、操作制御方法
JP2014113494A (ja) * 2012-12-11 2014-06-26 Biosense Webster (Israel) Ltd 手技中の医師の視線トラッキングの使用
WO2015008470A2 (en) 2013-07-16 2015-01-22 Seiko Epson Corporation Information processing apparatus, information processing method, and information processing system
JP2015019679A (ja) * 2013-07-16 2015-02-02 セイコーエプソン株式会社 情報処理装置、情報処理方法、および、情報処理システム
KR20160033721A (ko) 2013-07-16 2016-03-28 세이코 엡슨 가부시키가이샤 정보 처리 장치, 정보 처리 방법 및, 정보 처리 시스템
US11341726B2 (en) 2013-07-16 2022-05-24 Seiko Epson Corporation Information processing apparatus, information processing method, and information processing system
WO2015008469A2 (en) 2013-07-16 2015-01-22 Seiko Epson Corporation Information processing apparatus, information processing method, and information processing system
US10664216B2 (en) 2013-07-16 2020-05-26 Seiko Epson Corporation Information processing apparatus, information processing method, and information processing system
US9898662B2 (en) 2013-07-16 2018-02-20 Seiko Epson Corporation Information processing apparatus, information processing method, and information processing system
US10042598B2 (en) 2013-07-16 2018-08-07 Seiko Epson Corporation Information processing apparatus, information processing method, and information processing system
JP2015188566A (ja) * 2014-03-28 2015-11-02 セイコーエプソン株式会社 情報処理装置、情報処理方法、および、情報処理システム
JP2018511359A (ja) * 2015-02-20 2018-04-26 コヴィディエン リミテッド パートナーシップ 手術室及び手術部位認識
JP2020049296A (ja) * 2015-02-20 2020-04-02 コヴィディエン リミテッド パートナーシップ 手術室及び手術部位認識
US10908681B2 (en) 2015-02-20 2021-02-02 Covidien Lp Operating room and surgical site awareness
JP2021100690A (ja) * 2015-02-20 2021-07-08 コヴィディエン リミテッド パートナーシップ 手術室及び手術部位認識
JPWO2016158000A1 (ja) * 2015-03-30 2018-01-25 ソニー株式会社 情報処理装置、情報処理方法及び情報処理システム
JP2016207115A (ja) * 2015-04-28 2016-12-08 京セラドキュメントソリューションズ株式会社 情報処理装置、画像処理装置へのジョブ指示方法

Also Published As

Publication number Publication date
US20060082542A1 (en) 2006-04-20
EP1643401A1 (en) 2006-04-05
JP5172085B2 (ja) 2013-03-27
US7331929B2 (en) 2008-02-19
CN1770063A (zh) 2006-05-10
EP1643401B1 (en) 2017-11-15
CN100530048C (zh) 2009-08-19

Similar Documents

Publication Publication Date Title
JP5172085B2 (ja) 注視検出に基づき、医療情報を表示する方法
US7576757B2 (en) System and method for generating most read images in a PACS workstation
US7501995B2 (en) System and method for presentation of enterprise, clinical, and decision support information utilizing eye tracking navigation
US7738684B2 (en) System and method for displaying images on a PACS workstation based on level of significance
US7573439B2 (en) System and method for significant image selection using visual tracking
US8036917B2 (en) Methods and systems for creation of hanging protocols using eye tracking and voice command and control
US8099296B2 (en) System and method for rules-based context management in a medical environment
US9841811B2 (en) Visually directed human-computer interaction for medical applications
US20060195484A1 (en) System and method for providing a dynamic user interface for workflow in hospitals
US7834891B2 (en) System and method for perspective-based procedure analysis
US20070197909A1 (en) System and method for displaying image studies using hanging protocols with perspectives/views
JP2008515119A (ja) 複数の放射線科のアプリケーションおよびワークフローを処理するシステムおよび方法
US20060111936A1 (en) Container system and method for hosting healthcare applications and componentized archiecture
US20090132279A1 (en) Method and apparatus for significant and key image navigation
JP5302684B2 (ja) ルールベースコンテキスト管理のためのシステム
US20090132280A1 (en) System and Method for a Worklist Search and Creation Tool in a Healthcare Environment
Stevenson et al. Evidence from the surgeons: gesture control of image data displayed during surgery
US20070083849A1 (en) Auto-learning RIS/PACS worklists
EP1326534A2 (en) Method and apparatus for remotely viewing radiological images
Hui et al. A new precise contactless medical image multimodal interaction system for surgical practice
Chopra et al. Role of augmented reality in surgery
JP7237517B2 (ja) 医用情報処理装置及び医用情報処理方法
Ma et al. Wearable computers in the operating room environment
Hirschorn et al. PACS Workstation Software
Morita et al. Ergonomic design in the operating room: information technologies

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080924

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20101214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20101214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110413

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110419

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110715

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120807

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120822

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121211

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121226

R150 Certificate of patent or registration of utility model

Ref document number: 5172085

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees