JP2014113494A - 手技中の医師の視線トラッキングの使用 - Google Patents

手技中の医師の視線トラッキングの使用 Download PDF

Info

Publication number
JP2014113494A
JP2014113494A JP2013254754A JP2013254754A JP2014113494A JP 2014113494 A JP2014113494 A JP 2014113494A JP 2013254754 A JP2013254754 A JP 2013254754A JP 2013254754 A JP2013254754 A JP 2013254754A JP 2014113494 A JP2014113494 A JP 2014113494A
Authority
JP
Japan
Prior art keywords
elements
medical procedure
monitors
separate elements
separate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013254754A
Other languages
English (en)
Inventor
Sharon Katz Natan
ナタン・シャロン・カッツ
Ronen Krupnik
ローネン・クルプニク
Aharon Turgeman
アハロン・ツルゲマン
Cohn Goren
ゴーレン・コーン
Zilberman Israel
イスラエル・ジルバーマン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Biosense Webster Israel Ltd
Original Assignee
Biosense Webster Israel Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Biosense Webster Israel Ltd filed Critical Biosense Webster Israel Ltd
Publication of JP2014113494A publication Critical patent/JP2014113494A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25User interfaces for surgical systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017Electrical control of surgical instruments
    • A61B2017/00216Electrical control of surgical instruments with eye tracking or head position tracking control
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • A61B2090/368Correlation of different images or relation of image positions in respect to the body changing the image on a display according to the operator's position
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Robotics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

【課題】 情報を表示する方法を提供する。
【解決手段】 この方法は、相互に対する第1の空間的関係において複数の別個の要素を1つ又は2つ以上のモニターに提示することを含み、複数の別個の要素は、医療手技の状態を示す。この方法は、その手技が行われている間に、複数の要素に向かう医療手技の施術者の視線方向を測定することも含む。測定された視線方向に応じて、複数の別個の要素は、相互に対する第2の空間的関係において、1つ又は2つ以上のモニター上で再配置される。
【選択図】 図1

Description

本発明は、概して、医療手技中に1つ又は2つ以上のモニターにデータを配置することに関し、具体的には、データの配置を容易にするための視線トラッキングの使用に関する。
被施術者に医療手技を施している専門医に対して提示されるデータの量は極めて多大であり得る。特に手技の実行中は、提示される多大な量のデータが生産性の低下にさえつながる場合があり、専門医の作業を不必要に複雑化する可能性がある。多大な量のデータの提示に関わる複雑さを低減するシステムがあれば、有利であろう。
参照により本特許出願に組み込まれる文書は、組み込まれた文書内の用語が、本明細書で明示的又は暗黙的に行われる定義と相反するように定義される場合を除き、本出願の一体部分と見なされるべきであり、本明細書における定義のみが検討されるべきである。
本発明の一実施形態は、情報を表示する方法を提供し、この方法は、
1つ又は2つ以上のモニターに、相互に対する第1の空間的関係において複数の別個の要素を提示することにおいて、複数の別個の要素が医療手技の状態を図示する、ことと、
手技が行われている間に、複数の要素に向かう医療手技の施術者の視線方向を測定することと、
測定された視線方向に応じて、複数の別個の要素を相互に対する第2の空間的関係において1つ又は2つ以上のモニター上で再配置することと、を含む。
典型的には、1つ又は2つ以上のモニターは、2つ又は3つ以上のモニターを含む。
開示される一実施形態では、複数の別個の要素を再配置することは、施術者が視線方向を使用して所与の別個の要素を選択し、更に、視線方向を使用して、1つ又は2つ以上のモニター上の所与の別個の要素のための新しい場所を選択することを含む。
更に開示される一実施形態では、この方法は、施術者によって後続の医療手技が行われる前に1つ又は2つ以上のモニター上に第2の空間的関係を提示することを更に含む。
更にまた開示される一実施形態では、この方法は、別個の要素を、可動の別個の要素又は固定の別個の要素として分類することを更に含み、複数の別個の要素を再配置することは、1つ又は2つ以上のモニター上の固定の要素の場所を維持する一方で、可動の要素の少なくとも1つを移動させることを含む。
一代替実施形態では、医療手技の状態は、医療手技の多数の従属状態を含み、複数の別個の要素を提示することは、所与の従属状態中に要素を提示することを含み、視線方向を測定することは、所与の従属状態中に視線方向を測定することを含み、複数の別個の要素を再配置することは、それらの要素を所与の従属状態のために再配置することを含む。典型的には、代替実施形態は、医療手技中に使用される機器のパラメータに応じて従属状態を定義することも含む。
更なる代替実施形態では、複数の要素に向かう視線方向を測定することは、要素の少なくとも1つの意識的な観察を登録することを含む。少なくとも1つの要素の意識的な観察を登録することは、要素の少なくとも1つに向かう視線方向の時間が既定時間を超過したことを決定することを含むことができる。あるいは、又は加えて、少なくとも1つの要素の意識的な観察を登録することは、要素の少なくとも1つの観察の回数が既定の回数を超過したことを決定することを含む。
本発明の一実施形態により、情報を表示する装置が更に提供され、この装置は、
相互に対する第1の空間的関係において複数の別個の要素を提示するように構成された1つ以上のモニターにおいて、複数の別個の要素が医療手技の状態を図示する、モニターと、
医療手技の実行中に医療手技の施術者が複数の要素に向ける視線方向を測定するように構成された、視線追跡機と、
測定された視線方向に応じて、複数の別個の要素を相互に対する第2の空間的関係において1つ又は2つ以上のモニター上で再配置するように構成された、プロセッサと、を含む。
本開示は、以下の詳細な実施形態の説明と図面により、より完全に理解されるであろう。
本発明の一実施形態による、視線トラッキング情報提示システムの概略図である。 本発明の一実施形態による、図1のシステムに使用されるモニター上に提示される異なる別個の要素を例示する概略図である。 本発明の一実施形態による、システムの動作中に実行される工程を説明するフローチャートである。 本発明の一実施形態による、フローチャートを使用して表示された要素の新しい空間的関係の生成を図示する。 本発明の一代替実施形態による、図1のシステムの動作中に実行される工程を説明するフローチャートである。 本発明の一実施形態による、表示された要素の新しい空間的関係の提示を図示する。
概論
本発明の一実施形態は、医療手技を行っている専門家に対する情報の表示を改善する方法を提供する。最初に、表、グラフ、手術が行われている臓器の3次元(3D)図、及び/又はその臓器の特徴などの、手技を表現する情報が、1つ又は2つ以上のモニター上に表示される。この情報は、初期の空間的関係においてモニター上に配置される(上記の例など)別個の要素の形態をとるものとみなされる。
手技中、専門家がそれらの要素に向ける視線方向が測定される。本明細書では、専門家は、手技施術者又は単に施術者とも称される。典型的には、測定された視線方向を評価して、施術者が意識的に特定の要素を観察しているように見受けられるかどうかを決定し、プロセッサがこれらの要素を記録する。
観察された要素の記録を使用して、プロセッサは、それらの要素を代替的な空間的関係に再配置することができる。典型的には、この再配置は、モニター上で移動するように所与の要素を選択するために、及びその所与の要素のためのモニター上の新しい場所を選択するために、施術者の視線方向を呼び出すことによって実施される。
システムの説明
ここで図1を参照すると、この図は、本発明の一実施形態による、視線トラッキング情報提示システム10の概略図である。システム10は、システムの使用者によって実行される医療手技中に使用される1つ又は2つ以上の表示モニター上の情報の提示を制御するために使用される。例を挙げると、以下の説明において、システム10は、被施術者14の心臓12に行われる焼灼手技中に使用されるものとみなされる。手技は、被施術者14の体内へのプローブ16の挿入によって実行され、システム10の使用者18は、本明細書においては、例として、この手技を実施する専門医であるとみなす。
システム10は、メモリ24と通信するプロセッサ22を備えるシステムコントローラ20によって制御することができる。コントローラ20は典型的に、コンソール26内に搭載されており、コンソールは、マウス又はトラックボールなどのポインティングデバイス28を通常含む操作制御部を備え、専門家18はこの操作制御部を使用してプロセッサと相互作用する。プロセッサは、メモリ24内に格納されたソフトウェアを用いてシステム10を操作する。メモリ24に格納されたソフトウェアは、通常は、力モジュール30、焼灼モジュール32、潅注モジュール34、及び磁場カテーテルトラッキングモジュール36を含む。参照により本明細書に開示が組み込まれる米国特許出願公開第2009/0138007号、同第2011/0224664号、及び同第2012/0157890号は、これらのモジュールの機能を実行する手段を説明している。図を明瞭にするために、モジュールをメモリ24から分離して図示し、モジュールの機能を以下に説明する。
ソフトウェアは、例えばネットワークを通して電子形式でプロセッサ22にダウンロードされてもよく、あるいは代替的又は追加的に、磁気、光学、又は電子的メモリ等の持続的な有形媒体に提供及び/又は格納されてもよい。
プロセッサ22によって実行される動作の結果は、本明細書において総じてモニター38と呼ばれる1つ又は2つ以上の表示モニター38A、38B...、上で、専門家に提示される。モニター38は、通常は、専門家18によって実施される医療手技の状態を図示する別個の要素40を提示し、それらのモニターは、専門家18が見るために便利な任意の場所に設置することができる。例として、モニター38Aはコンソール26に取り付けられるものとみなし、モニター38Bは被施術者14の上に取り付けられるものとみなす。
必要に応じて、本明細書の説明において、別個の要素40は、識別番号である40に文字A、B、...を付することによって区別される。別個の要素の典型的な例は心臓12の3次元(3D)図40Aを含み、図40Aは、プローブ16の遠位端の場所も示すことができる。別個の要素のその他の例としては、被施術者14によって生成されるECG信号の電圧対時間グラフ40B、並びに例えばプローブの遠位端によって付加される力及び焼灼に使用される電力などの、焼灼手技に関するパラメータを図示する焼灼表40Cが挙げられる。表示モニター上に提示される別個の要素のその他の例について、以下で図2を参照して説明する。
システム10は、専門家18がモニター38の1つを見ている期間に、その専門家の視線方向をトラッキングすることによって動作する。数々の視線トラッキングデバイスが、当該技術分野において周知である。そのようなデバイスは、専門家18の頭の方向に対する視野方向を追跡するシステムを含み、そのため、専門家が着用する眼鏡に基づくシステムなどの、専門家の頭のトラッキングを必要とする。あるいは、その他のデバイスは、典型的には赤外線を専門家18の眼に投射する外部の受託体に対する眼の視野方向を測定することによって、視線方向をトラッキングすることができる。眼に近接する皮膚の電位の変化を測定するなどのその他のシステムも、使用することができる。本発明の実施形態では、任意の便利な方法を使用して、モニター40に関する専門家18の視線方向をトラッキングすることができ、そのような方法は全て、本発明の範囲内に含まれるものとみなされる。
簡易さのために、以下の説明では、各モニター40は、対応する視線トラッキングデバイスと関連付けられるものとみなす。したがって、第1の視線トラッキングデバイス42Aは、モニター38Aと近接するようにコンソール26上に取り付けられ、第2の視線トラッキングデバイス42Bは、モニター38Bのフレーム上に取り付けられる。
コントローラ20は視線トラッキングモジュール44を備え、このモジュールは、無線又は1本又は2本以上のケーブルによってデバイス42A及び42Bからデータを受信し、そのデータを使用して、プロセッサ22に専門家18の視線方向46を提供する。
図2は、本発明の一実施形態による、モニター38上に提示される異なる別個の要素40を例示する概略図である。モニター38Aは、心臓12の画像40Aの3D画像(上述)、潅注流量対時間のグラフ(40E)、及び焼灼電力対時間のグラフ40Fを表示している。モニター38BはECGグラフ40B及び焼灼表40Cを表示している(やはり上述)。加えて、モニター38Bは、図40Aとは異なるとみなされる心臓12の別の図40Dを表示している。例えば、図40Dは、心臓12に関連付けられる局所活性時間(LAT)をカラー標示で図示することができ、一方、図40Aは、心臓内の焼灼された位置を図示することができる。
以下に更に詳述するように、各別個の要素40は、固定又は可動の要素として分類され得る。固定の要素は、所与のモニター38内でその場所を維持する。可動の要素は、そのモニター内で移動することができるか、又は別のモニターに移動することができる。例として、図2では、可動の要素は点線の矩形42で囲まれている、つまり、表40C及び図40Aであり、そのように囲まれていない要素は固定されているものとみなされる。
システム10の動作中に実行される医療手技中に、手技の多くの異なる状態又は段階があり、典型的には、初期の準備段階から始まり、最終的に「結末」段階で終了する。区切りとなる初期段階と最終段階との間には、数々の中間段階、すなわち手技の従属状態がある。
中間の従属状態及び区切り段階のそれぞれで実行される行為は、数々の要因に依存する。下表Iは、それらの行為に影響する典型的な要因を列挙し、それらの要因の例を挙げている。
Figure 2014113494
当業者は、表Iに列挙した要因以外にも、所与の医療手技中に行われる行為に影響する要因を列挙することができ、そのような要因の全ては、本発明の範囲内に含まれるものとみなされる。
上述のように、医療手技の実施中に生じる数々の従属状態がある。わかりやすく単純に説明するために、従属状態の例を挙げた下表IIにおいて、実施される医療手技は、心房性頻脈を修正するための焼灼手技であるとみなす。
Figure 2014113494
従属状態の少なくともいくつかが繰り返されてもよいことを理解されたい。例えば、表IIで、潅注なしの焼灼の従属状態、及び焼灼なしの潅注は、順次繰り返されてもよい。また、任意の特定の医療手技の従属状態がその手技に特徴的であり、その医療手技の当業者が、所与の手技に関する従属状態を項目別に挙げ、従属状態それぞれの間に行われる行為を列挙することができることも、理解されたい。
典型的には、所与の医療手技に関する従属状態は、その手技に使用される機器の異なる物理的パラメータによって区別され得、プロセッサ22は、それらのパラメータの測定値を使用して、手技の従属状態を識別及び定義することができる。そのような物理的パラメータは、例えば、手技に使用されるカテーテルの遠位端の場所及び向き、焼灼が適用されるかどうか及びそれが適用される場合は使用される電力、潅注が使用されるかどうか及び潅注液の流量、並びにカテーテルに付与される接触力の値を含む。
使用される機器の物理的パラメータを使用して医療手技の従属状態を識別及び定義することに加えて、プロセッサ22は、表Iに例示した(医療手技中に行われる行為に影響する)要因の少なくともいくつかを使用して、手技の従属状態を更に識別及び定義することができる。例えば、X線装置及び磁場カテーテルトラッキングモジュール36(図1)の両方がカテーテルのトラッキングに使用される場合、表IIにおいて、従属状態のそれぞれ(それらは全て、カテーテルの遠位端のトラッキングを使用する)を3つの下位従属状態(モジュール36のみを使用、X線装置のみを使用、及びモジュール36とX線装置の両方を使用)に更に分化することができる。
図3は、本発明の一実施形態による、システム10の動作中に行われる工程を説明するフローチャート90である。フローチャートの工程は、プロセッサ22によって全体的に制御される。初期工程100で、医療手技を実施している専門家18は、プロセッサ22に自分を特定し、手技を分類する。手技が分類された後、プロセッサ22は、医療手技中に使用され得る従属状態を定義する。従属状態の定義は、通常は、上の表I及びIIに例示するエンティティを使用し、例えば、分類された手技中にどの機器を使用するかを専門家18が特定することによって、専門家18と対話式に行うことが可能である。
プロセッサはまた、手技及び従属状態に関連付けられる別個の要素40をモニター38に表示し、それらの要素は、例えば関係60(図2)に例示されているような既定の空間的相互関係を有する。既定の空間的関係は、システム10の実装者によって、又は例えばシステムの先の使用者18のような別のオペレータによって、プロセッサ22に提供されている場合があり、あるいは、既定の空間的関係は、専門家18によって、システムの以前の使用で提供されている場合もある。既定の空間的関係を提供するそのような方法について、以下に説明する。
要素分類工程102で、専門家18は、最初に、モニター38上で別個の要素40が可動であるか固定されているかの分類を行う。この最初の分類は、通常、専門家がポインティングデバイス28を使用して特定の要素40を選択することによって行われる。再び図2を参照すると、点線の矩形42が示すように表40C及び画像40Aは可動として選択されており、その他の別個の要素40は固定として選択されている。
視線トラッキング較正工程104で、プロセッサ22は、システム10を使用する専門家のために視線トラッキングデバイス42A及び42Bを較正する。通常は、視線トラッキングモジュール44が特定の要素40のハイライトなどの較正パターンをモニター38A及び38Bに投影し、視線トラッキングモジュールがデバイス42A及び42Bから信号を取得すると同時に、専門家が較正パターンを観察する。このモジュールは、それらの信号を処理して視線方向を決定し、プロセッサ22は、視線方向を投影された較正パターンと相関させる。
手技実行工程106で、専門家18は医療手技を開始する。手技中に、プロセッサ22は、手技がどの従属状態にあるかを記録し、専門家の視線方向をトラッキングする。プロセッサ22は、測定された視線方向を使用して、専門家がどの別個の要素40を意識的に観察しているかを登録及び記録する。
通常は、プロセッサは、所与の別個の要素に向かう視線方向が既定時間を超えて生じた場合に、その要素の意識的な観察が生じているとみなす。既定時間は、およそ1秒又はそれ以上であり得る。また、代替既定時間要素が見つめられた場合、又は別の領域をちらりと見て視線が散る場合、又は多くの領域が順に観察される間も、所与の要素の意識的な観察であるとみなされてよい。プロセッサは、上述の既定時間、及びそれらの時間からの許容範囲内の変動(例えば、既定時間からの既定数の標準偏差)を組み込んだ場所安定性アルゴリズムを用いて、意識的な観察が行われたかどうかを決定する。
いくつかの実施形態では、既定時間又は代替既定時間の値は、視線トラッキング較正工程104中に、例えば2つ又は3つ以上の較正パターンを同時に又は順次モニターに投影し、パターンを観察するように専門家に求めることによって、決定することができる。
比較工程108で、プロセッサ22は、工程102で識別された可動の要素40の1つ又は2つ以上が既定回数より多く又は既定時間を超えて意識的に観察されたかどうかを決定する。典型的な既定回数は10回であり、典型的な既定時間は10秒である。プロセッサ22は、手技の各異なる従属状態に関する比較を行う。
工程108で、既定回数も既定時間も超過しなかった場合は、フローチャートは工程106に戻り、専門家の視線方向及び医療手技の従属状態を引き続き記録する。
工程108で、既定回数又は既定時間のいずれかを超過した場合、つまり、比較の結果が肯定的であった場合は、継続工程110で、プロセッサは、1つ又は2つ以上の選択された可動の要素40に関して既定値を超過したことを専門家に示す。通常、プロセッサは、肯定的結果の通知をモニター38A、38Bの一方又は両方に表示する。プロセッサは、例えば適切な可動の要素40をハイライトすることによって、どの可動の要素40が選択されたかを示す。以下の工程で説明するように、プロセッサはまた、選択された可動の要素を移動することができるようにそれらを構成する。更に、通常は上述の通知に、プロセッサは、専門家が選択された可動の要素の場所をモニター38A又は38B上で変更できることを示す。
要素選択工程112で、専門家は、自分の視線方向を使用して、工程110で示される可動の要素の1つを選択する。典型的には、プロセッサは、要素が選択されたことに関する専門家からの最初の確認のために比較114を使用する。そのような確認は、移動される選択された可動の要素における上述の既定時間での視線のような、専門家からの任意の便利な指示を含むことができる。最初の確認が提供されたとみなし、新しい場所工程116では、専門家は、視線方向を使用して、選択された可動の要素のための新しい場所を選択する。新しい場所の後続の確認のために、プロセッサは次に、モニター38の1つの選択された新しい場所を既定時間見つめることによって、比較114と同様の比較118を使用する。
比較114又は118のいずれかが否定的値を戻した場合、フローチャートは比較工程108に戻る。
移動工程120で、比較118に肯定的結果が戻ってくることによって新しい場所の確認が受信されると、プロセッサは、選択された可動の要素40をその初期の場所からその新しい場所に移動する。移動は、要素40の新しい空間的関係を生成する。
最終比較工程122では、プロセッサは、工程106で開始された手技が終了したかどうかを確認する。終了していればフローチャートは終わる。手技が終了していない場合は、フローチャートは比較工程108に戻る。
いくつかの実施形態では、専門家によって行われるその後の医療手技において、フローチャートの工程120で生成された新しい空間的関係が要素40のデフォルトの初期の空間的関係として使用される。
図4は、本発明の一実施形態による、フローチャート90を使用して表示された要素の新しい空間的関係の生成を図示する。図4は、所与の医療手技の所与の従属状態に関する要素40の初期の空間的関係60が図2に図示されているものであることを前提としており、したがって、図2はフローチャート90の工程100に相当する。フローチャートの工程112〜120を用いて、専門家18は、視線方向を使用して可動の要素40Aをモニター38Aの場所からモニター38Bの新しい場所に移動することによって、要素40の新しい空間的配置130を生成する。
図3のフローチャートを、特定の専門家が所与の医療手技を実行すると仮定して説明してきた。このフローチャートは、特定の専門家が異なる医療手技を実行することに対処するように適応(準用)され得る。その場合、要素40の初期の空間的関係は、各手技によって通常異なる。
場合によっては、たとえ同じ医療手技であっても、その手技を実行するそれぞれの異なる専門家の要求にしたがって、モニター38に異なる初期の空間的関係が提示される場合がある。図3のフローチャートは、この状況を受け入れるに対応するようにも適応され得る。
図5は、本発明の一実施形態による、システム10の動作中に行われる工程を説明するフローチャート150である。フローチャート150は、システム10が2つ又は3つ以上のモニター38を備える場合に適用可能であるとみなされる。以下に説明される相違点を除き、フローチャート150によってもたらされる動作は、フローチャート90(図2)によってもたらされる動作とほぼ同様であり、双方のフローチャートに同じ参照番号で示される工程は、概して同様の作用を有する。
初期工程152は、従属状態の定義がないことを除いて、フローチャート90の工程100とほぼ同様である。いくつかの実施形態では、要素分類工程102は任意選択によるものであり、つまり、要素40が可動又は固定として分類されない場合がある。フローチャート150では、工程102が任意選択によるものであることが点線の矩形によって示されている。
意識的に観察された要素を登録及び記録する工程154は、従属状態が登録又は記録されないことを除いて、工程106とほぼ同じである。
工程154では、意識的に観察された要素40の登録及び記録は、実行されている手技が終了するまで続く。手技の終了は比較工程160で確認される。
手技が終了したら、プロセッサ22は分析工程162で要素40を分析して、手技中にどの要素が意識的に観察されたかを決定する。通常、この分析は、所与の要素40が意識的に観察された回数又は合計時間を集計することを含む。
新しい空間生成工程164において、プロセッサは、どの要素が最も高い頻度で観察されたかを決定し、それらの要素をともにグループ化してモニター38に提示する。典型的には、このグループ化は、最も高い頻度で観察された要素を1つのモニター38に移動する。
最後の空間的提示工程166では、プロセッサは、専門家18に対して、新しい空間的提示を2つ又は3つ以上のモニター38に提示する。工程106で始められた手技の終了時に、この提示が行われ得る。あるいは、工程106の手技と実質的に同様の後続の手技を専門家が始める前に、提示が行われてもよい。通常、いずれの場合も、専門家はその新しい空間的関係を受諾するか、又は初期の空間的関係に戻すかの選択肢を有する。
図6は、本発明の一実施形態による、表示された要素の新しい空間的関係180の提示を図示する。関係180は、フローチャート150(図5)の工程166で説明されるように提示されるものとみなす。工程152で、空間的関係60(図2)が表示され、分析工程162で、プロセッサは、要素40B、40C、40E、及び40Fが最も高い頻度で観察され、要素40A及び40Dがより低い頻度で観察されたことを決定する。生成工程164及び提示工程166で、プロセッサは、最も高い頻度で観察された要素(要素40B、40C、40E、及び40F)をともにグループ化し、新しいグループをモニター38に提示する。この例において、40B、40C、40E、及び40Fは、1つのモニター38Bに表示される。
上述した実施形態は一例として記載されたものであり、本発明は、本明細書において上に具体的に図示及び説明した内容に限定されないことが明らかとなろう。むしろ本発明の範囲には、上記に述べた様々な特徴の組み合わせ及び下位の組み合わせ、並びに当業者であれば上記の説明文を読むことで想到されるであろう、先行技術に開示されていないそれらの変更及び改変が含まれるものである。
〔実施の態様〕
(1) 情報を表示する方法であって、
1つ又は2つ以上のモニターに、相互に対する第1の空間的関係において複数の別個の要素を提示することにおいて、前記複数の別個の要素が医療手技の状態を図示する、ことと、
前記手技が行われている間に、前記複数の要素に向かう前記医療手技の施術者の視線方向を測定することと、
前記測定された視線方向に応じて、前記複数の別個の要素を相互に対する第2の空間的関係において前記1つ又は2つ以上のモニター上で再配置することと、
を含む、方法。
(2) 前記1つ又は2つ以上のモニターが2つ又は3つ以上のモニターを含む、実施態様1に記載の方法。
(3) 前記複数の別個の要素を再配置することが、前記施術者が視線方向を使用して所与の別個の要素を選択し、更に、視線方向を使用して、前記1つ又は2つ以上のモニター上の前記所与の別個の要素のための新しい場所を選択することを含む、実施態様1に記載の方法。
(4) 前記施術者によって後続の医療手技が行われる前に前記1つ又は2つ以上のモニター上に前記第2の空間的関係を提示することを更に含む、実施態様1に記載の方法。
(5) 前記別個の要素を、可動の別個の要素又は固定の別個の要素として分類することを更に含み、前記複数の別個の要素を再配置することが、前記1つ又は2つ以上のモニター上の前記固定の要素の場所を維持する一方で、前記可動の要素の少なくとも1つを移動させることを含む、実施態様1に記載の方法。
(6) 前記医療手技の状態が、前記医療手技の多数の従属状態を含み、前記複数の別個の要素を提示することが、所与の従属状態中に前記要素を提示することを含み、前記視線方向を測定することが、前記所与の従属状態中に前記視線方向を測定することを含み、前記複数の別個の要素を再配置することが、前記要素を前記所与の従属状態のために再配置することを含む、実施態様1に記載の方法。
(7) 前記医療手技中に使用される機器のパラメータに応じて前記従属状態を定義することを含む、実施態様6に記載の方法。
(8) 前記複数の要素に向かう視線方向を測定することが、前記要素の少なくとも1つの意識的な観察を登録することを含む、実施態様1に記載の方法。
(9) 前記要素の少なくとも1つの意識的な観察を登録することが、前記要素の少なくとも1つに向かう視線方向の時間が既定時間を超過したことを決定することを含む、実施態様8に記載の方法。
(10) 前記要素の少なくとも1つの意識的な観察を登録することが、前記要素の少なくとも1つの観察の回数が既定の回数を超過したことを決定することを含む、実施態様8に記載の方法。
(11) 情報を表示する装置であって、
相互に対する第1の空間的関係において複数の別個の要素を提示するように構成された1つ又は2つ以上のモニターにおいて、前記複数の別個の要素が医療手技の状態を図示する、モニターと、
前記医療手技の実行中に前記医療手技の施術者が前記複数の要素に向ける視線方向を測定するように構成された、視線追跡機と、
前記測定された視線方向に応じて、前記複数の別個の要素を相互に対する第2の空間的関係において前記1つ又は2つ以上のモニター上で再配置するように構成された、プロセッサと、
を備える、装置。
(12) 前記1つ又は2つ以上のモニターが2つ又は3つ以上のモニターを含む、実施態様11に記載の装置。
(13) 前記複数の別個の要素を再配置することが、前記施術者が視線方向を使用して所与の別個の要素を選択し、更に、視線方向を使用して、前記1つ又は2つ以上のモニター上の前記所与の別個の要素のための新しい場所を選択することを含む、実施態様11に記載の装置。
(14) 前記プロセッサが、前記施術者によって後続の医療手技が行われる前に前記1つ又は2つ以上のモニター上に前記第2の空間的関係を提示するように構成される、実施態様11に記載の装置。
(15) 前記プロセッサが、前記別個の要素を、可動の別個の要素又は固定の別個の要素として分類するように構成され、前記複数の別個の要素を再配置することが、前記1つ又は2つ以上のモニター上の前記固定の要素の場所を維持する一方で、前記可動の要素の少なくとも1つを移動させることを含む、実施態様11に記載の装置。
(16) 前記医療手技の状態が、前記医療手技の多数の従属状態を含み、前記複数の別個の要素を提示することが、所与の従属状態中に前記要素を提示することを含み、前記視線方向を測定することが、前記所与の従属状態中に前記視線方向を測定することを含み、前記複数の別個の要素を再配置することが、前記要素を前記所与の従属状態のために再配置することを含む、実施態様11に記載の装置。
(17) 前記プロセッサが、前記医療手技中に使用される機器のパラメータに応じて前記従属状態を定義するように構成される、実施態様16に記載の装置。
(18) 前記複数の要素に向かう前記視線方向を測定することが、前記プロセッサが前記要素の少なくとも1つの意識的な観察を登録するように構成されることを含む、実施態様11に記載の装置。
(19) 前記要素の少なくとも1つの意識的な観察を登録することが、前記要素の少なくとも1つに向かう視線方向の時間が既定時間を超過したことを決定することを含む、実施態様18に記載の装置。
(20) 前記要素の少なくとも1つの意識的な観察を登録することが、前記要素の少なくとも1つの観察の回数が既定の回数を超過したことを決定することを含む、実施態様18に記載の装置。

Claims (20)

  1. 情報を表示する方法であって、
    1つ又は2つ以上のモニターに、相互に対する第1の空間的関係において複数の別個の要素を提示することにおいて、前記複数の別個の要素が医療手技の状態を図示する、ことと、
    前記手技が行われている間に、前記複数の要素に向かう前記医療手技の施術者の視線方向を測定することと、
    前記測定された視線方向に応じて、前記複数の別個の要素を相互に対する第2の空間的関係において前記1つ又は2つ以上のモニター上で再配置することと、
    を含む、方法。
  2. 前記1つ又は2つ以上のモニターが2つ又は3つ以上のモニターを含む、請求項1に記載の方法。
  3. 前記複数の別個の要素を再配置することが、前記施術者が視線方向を使用して所与の別個の要素を選択し、更に、視線方向を使用して、前記1つ又は2つ以上のモニター上の前記所与の別個の要素のための新しい場所を選択することを含む、請求項1に記載の方法。
  4. 前記施術者によって後続の医療手技が行われる前に前記1つ又は2つ以上のモニター上に前記第2の空間的関係を提示することを更に含む、請求項1に記載の方法。
  5. 前記別個の要素を、可動の別個の要素又は固定の別個の要素として分類することを更に含み、前記複数の別個の要素を再配置することが、前記1つ又は2つ以上のモニター上の前記固定の要素の場所を維持する一方で、前記可動の要素の少なくとも1つを移動させることを含む、請求項1に記載の方法。
  6. 前記医療手技の状態が、前記医療手技の多数の従属状態を含み、前記複数の別個の要素を提示することが、所与の従属状態中に前記要素を提示することを含み、前記視線方向を測定することが、前記所与の従属状態中に前記視線方向を測定することを含み、前記複数の別個の要素を再配置することが、前記要素を前記所与の従属状態のために再配置することを含む、請求項1に記載の方法。
  7. 前記医療手技中に使用される機器のパラメータに応じて前記従属状態を定義することを含む、請求項6に記載の方法。
  8. 前記複数の要素に向かう視線方向を測定することが、前記要素の少なくとも1つの意識的な観察を登録することを含む、請求項1に記載の方法。
  9. 前記要素の少なくとも1つの意識的な観察を登録することが、前記要素の少なくとも1つに向かう視線方向の時間が既定時間を超過したことを決定することを含む、請求項8に記載の方法。
  10. 前記要素の少なくとも1つの意識的な観察を登録することが、前記要素の少なくとも1つの観察の回数が既定の回数を超過したことを決定することを含む、請求項8に記載の方法。
  11. 情報を表示する装置であって、
    相互に対する第1の空間的関係において複数の別個の要素を提示するように構成された1つ又は2つ以上のモニターにおいて、前記複数の別個の要素が医療手技の状態を図示する、モニターと、
    前記医療手技の実行中に前記医療手技の施術者が前記複数の要素に向ける視線方向を測定するように構成された、視線追跡機と、
    前記測定された視線方向に応じて、前記複数の別個の要素を相互に対する第2の空間的関係において前記1つ又は2つ以上のモニター上で再配置するように構成された、プロセッサと、
    を備える、装置。
  12. 前記1つ又は2つ以上のモニターが2つ又は3つ以上のモニターを含む、請求項11に記載の装置。
  13. 前記複数の別個の要素を再配置することが、前記施術者が視線方向を使用して所与の別個の要素を選択し、更に、視線方向を使用して、前記1つ又は2つ以上のモニター上の前記所与の別個の要素のための新しい場所を選択することを含む、請求項11に記載の装置。
  14. 前記プロセッサが、前記施術者によって後続の医療手技が行われる前に前記1つ又は2つ以上のモニター上に前記第2の空間的関係を提示するように構成される、請求項11に記載の装置。
  15. 前記プロセッサが、前記別個の要素を、可動の別個の要素又は固定の別個の要素として分類するように構成され、前記複数の別個の要素を再配置することが、前記1つ又は2つ以上のモニター上の前記固定の要素の場所を維持する一方で、前記可動の要素の少なくとも1つを移動させることを含む、請求項11に記載の装置。
  16. 前記医療手技の状態が、前記医療手技の多数の従属状態を含み、前記複数の別個の要素を提示することが、所与の従属状態中に前記要素を提示することを含み、前記視線方向を測定することが、前記所与の従属状態中に前記視線方向を測定することを含み、前記複数の別個の要素を再配置することが、前記要素を前記所与の従属状態のために再配置することを含む、請求項11に記載の装置。
  17. 前記プロセッサが、前記医療手技中に使用される機器のパラメータに応じて前記従属状態を定義するように構成される、請求項16に記載の装置。
  18. 前記複数の要素に向かう前記視線方向を測定することが、前記プロセッサが前記要素の少なくとも1つの意識的な観察を登録するように構成されることを含む、請求項11に記載の装置。
  19. 前記要素の少なくとも1つの意識的な観察を登録することが、前記要素の少なくとも1つに向かう視線方向の時間が既定時間を超過したことを決定することを含む、請求項18に記載の装置。
  20. 前記要素の少なくとも1つの意識的な観察を登録することが、前記要素の少なくとも1つの観察の回数が既定の回数を超過したことを決定することを含む、請求項18に記載の装置。
JP2013254754A 2012-12-11 2013-12-10 手技中の医師の視線トラッキングの使用 Pending JP2014113494A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/710,848 2012-12-11
US13/710,848 US20140160004A1 (en) 2012-12-11 2012-12-11 Use of physician eye tracking during a procedure

Publications (1)

Publication Number Publication Date
JP2014113494A true JP2014113494A (ja) 2014-06-26

Family

ID=49680864

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013254754A Pending JP2014113494A (ja) 2012-12-11 2013-12-10 手技中の医師の視線トラッキングの使用

Country Status (7)

Country Link
US (1) US20140160004A1 (ja)
EP (1) EP2742894A1 (ja)
JP (1) JP2014113494A (ja)
CN (1) CN103860271A (ja)
AU (2) AU2013263727A1 (ja)
CA (1) CA2836174A1 (ja)
IL (1) IL229572A0 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017169824A1 (ja) * 2016-03-30 2017-10-05 ソニー株式会社 制御装置および方法並びに手術システム
JP2022504588A (ja) * 2018-10-12 2022-01-13 ソニーグループ株式会社 手術支援システム、データ処理装置および方法
JP7439831B2 (ja) 2018-10-12 2024-02-28 ソニーグループ株式会社 手術室制御システム、方法、およびプログラム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106659541B (zh) 2014-03-19 2019-08-16 直观外科手术操作公司 集成眼球凝视跟踪用于立体观看器的医疗装置、系统和方法
CN111616666A (zh) * 2014-03-19 2020-09-04 直观外科手术操作公司 使用眼球凝视跟踪的医疗装置、系统和方法
CN105079956A (zh) * 2015-08-14 2015-11-25 重庆德马光电技术有限公司 射频能量输出的主机和治疗手柄、及其控制方法和系统
WO2018165047A1 (en) * 2017-03-06 2018-09-13 Intuitive Surgical Operations, Inc. Systems and methods for entering and exiting a teleoperational state
JP6770025B2 (ja) * 2018-07-12 2020-10-14 ファナック株式会社 ロボット
US11106279B2 (en) 2019-06-21 2021-08-31 Verb Surgical Inc. Eye tracking calibration for a surgical robotic system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001061860A (ja) * 1999-08-31 2001-03-13 Hitachi Ltd 治療装置
JP2001104331A (ja) * 1999-10-06 2001-04-17 Olympus Optical Co Ltd 医療用顔面装着型映像表示装置
JP2006102495A (ja) * 2004-10-01 2006-04-20 General Electric Co <Ge> 外科手術室の情報ディスプレイの注視検出及びユーザの制御用優先順位付けのための方法及び装置
WO2011125007A1 (en) * 2010-04-07 2011-10-13 Sofar Spa Robotized surgery system with improved control
WO2012000536A1 (en) * 2010-06-28 2012-01-05 Brainlab Generating images for at least two displays in image-guided surgery

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6246898B1 (en) * 1995-03-28 2001-06-12 Sonometrics Corporation Method for carrying out a medical procedure using a three-dimensional tracking and imaging system
US7743340B2 (en) * 2000-03-16 2010-06-22 Microsoft Corporation Positioning and rendering notification heralds based on user's focus of attention and activity
US7573439B2 (en) * 2004-11-24 2009-08-11 General Electric Company System and method for significant image selection using visual tracking
EP1853167A2 (en) * 2005-02-18 2007-11-14 Koninklijke Philips Electronics N.V. Automatic control of a medical device
US8535308B2 (en) 2007-10-08 2013-09-17 Biosense Webster (Israel), Ltd. High-sensitivity pressure-sensing probe
US8155479B2 (en) * 2008-03-28 2012-04-10 Intuitive Surgical Operations Inc. Automated panning and digital zooming for robotic surgical systems
US9980772B2 (en) 2010-03-10 2018-05-29 Biosense Webster (Israel) Ltd. Monitoring tissue temperature while using an irrigated catheter
US9737353B2 (en) 2010-12-16 2017-08-22 Biosense Webster (Israel) Ltd. System for controlling tissue ablation using temperature sensors
US9046917B2 (en) * 2012-05-17 2015-06-02 Sri International Device, method and system for monitoring, predicting, and accelerating interactions with a computing device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001061860A (ja) * 1999-08-31 2001-03-13 Hitachi Ltd 治療装置
JP2001104331A (ja) * 1999-10-06 2001-04-17 Olympus Optical Co Ltd 医療用顔面装着型映像表示装置
JP2006102495A (ja) * 2004-10-01 2006-04-20 General Electric Co <Ge> 外科手術室の情報ディスプレイの注視検出及びユーザの制御用優先順位付けのための方法及び装置
WO2011125007A1 (en) * 2010-04-07 2011-10-13 Sofar Spa Robotized surgery system with improved control
WO2012000536A1 (en) * 2010-06-28 2012-01-05 Brainlab Generating images for at least two displays in image-guided surgery

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017169824A1 (ja) * 2016-03-30 2017-10-05 ソニー株式会社 制御装置および方法並びに手術システム
JP2022504588A (ja) * 2018-10-12 2022-01-13 ソニーグループ株式会社 手術支援システム、データ処理装置および方法
JP7367757B2 (ja) 2018-10-12 2023-10-24 ソニーグループ株式会社 手術支援システム、データ処理装置および方法
JP7439831B2 (ja) 2018-10-12 2024-02-28 ソニーグループ株式会社 手術室制御システム、方法、およびプログラム

Also Published As

Publication number Publication date
AU2013263727A1 (en) 2014-06-26
CA2836174A1 (en) 2014-06-11
CN103860271A (zh) 2014-06-18
AU2019253824A1 (en) 2019-11-14
IL229572A0 (en) 2014-03-31
EP2742894A1 (en) 2014-06-18
US20140160004A1 (en) 2014-06-12

Similar Documents

Publication Publication Date Title
JP2014113494A (ja) 手技中の医師の視線トラッキングの使用
US20220331052A1 (en) Cooperation among multiple display systems to provide a healthcare user customized information
US11295835B2 (en) System and method for interactive event timeline
JP5913840B2 (ja) 操作者制御によるマップ地点密度
US11883022B2 (en) Shared situational awareness of the device actuator activity to prioritize certain aspects of displayed information
CN104287715B (zh) 利用频率鉴别的心脏活动可视化
JP2019010513A (ja) リアルタイム3次元(3d)心臓撮像におけるガラス状態ビューのためのシステム及び方法
JP6013106B2 (ja) 物理的パラメータマッピングのためのグラフィックユーザーインターフェイス
US20180014903A1 (en) Head-mountable computing device, method and computer program product
JP2020151082A (ja) 情報処理装置、情報処理方法、プログラムおよび生体信号計測システム
KR20210045319A (ko) 로컬 렌더링 기반 상세 서브세트 제시
US11484268B2 (en) Biological signal analysis device, biological signal measurement system, and computer-readable medium
US20220096004A1 (en) System for visualizing patient stress
US20210106244A1 (en) Local rendering based multi-modality subset presentation
EP4143844A1 (en) System and method for tracking a portion of the user as a proxy for non-monitored instrument
JP2023544873A (ja) 処置の視覚化及びガイダンス
EP4178473A1 (en) System comprising a camera array deployable out of a channel of a tissue penetrating surgical device
JP2019155074A (ja) 情報処理装置、情報処理方法、プログラムおよび生体信号計測システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161025

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170728

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170808

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20171108

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180313