JP2018502636A - ヘッドマウント式コンピュータ装置、その方法及びコンピュータプログラム製品 - Google Patents

Abstract

ヘッドマウント式コンピュータ装置が開示され、このコンピュータ装置は、少なくとも１つのディスプレイモジュールと；１つ又は複数のセンサによって取得した信号及び／又はデータを受信し、且つヘッドマウント式コンピュータ装置の装着者によって操作される１つ又は複数の医療装置によって生成されたデータを受信するように構成されたインターフェイスと；１つ又は複数のセンサによって取得され、受信した信号及び／又はデータに基づいて装着者の活動を特定し、且つ少なくとも１つのディスプレイモジュールを制御して、装着者の特定された活動に対応する支援情報をディスプレイモジュールに表示するように構成されたプロセッサと；を有する。

Description

本発明は、少なくとも１つのディスプレイモジュールと、この少なくとも１つのディスプレイモジュールを制御して、装着者の特定された活動に応じてディスプレイモジュールに情報を表示するためのプロセッサとを有するヘッドマウント式コンピュータ装置に関する。

本発明は、さらに、装着者の特定された活動に応じて、ヘッドマウント式コンピュータ装置上に情報を表示するための方法に関する。

本発明は、さらに、ヘッドマウント式コンピュータ装置のプロセッサ上で実行されると、上記方法を実施するためのコンピュータプログラム製品に関する。

ヘッドマウント式コンピュータ装置、装着者の頭部に装着され、眼の近くで使用される（near to eye）ウェアラブル式のディスプレイ装置は、研究、軍事、及びゲーム業界で使用されてきた。そのようなヘッドマウント式コンピュータ装置は、対象物の識別番号や対象物のパラメータ等のビデオ及び／又は音声のユーザ支援情報を生成し、このようなユーザ支援情報を装着者に提供することができる。例えば、病院では、患者モニターから得たバイタルサイン信号を、手術室の外科医の頭部に装着されたヘッドマウント式コンピュータ装置上に表示させることができ、手術を行う外科医をサポートすることができる。

しかしながら、ヘッドマウント式コンピュータ装置によって提供され、表示されるユーザ支援情報は、装着者にとって過度の情報又は重要でない情報である可能性があり、従って、特に装着者の注意が、手術を行う等の特定のタスクを実行することに完全に向けられている場合に、装着者を混乱させる可能があり、且つ注意散漫になることは非常に危険である。

特許文献１は、視野内のシーンのビデオ画像を取り込むために眼鏡のフレームに取り付けられた１組のカメラと、装着者からの入力を受信するマイクロホンとを含む眼の近くで使用される表示システムを開示している。眼の近くで使用される表示システムに表示されるユーザ支援情報は、対話式ビデオ解析とマイクロホン介した音声によるユーザ入力とハンドヘルド装置からの信号から得られる。

米国特許出願公開第２０１４／０１５２５３０号明細書

本発明の目的は、装着者の特定された活動に応じてディスプレイモジュールに情報を表示するためのヘッドマウント式コンピュータ装置を提供することである。

本発明の更なる目的は、装着者の特定された活動に応じてそのようなヘッドマウント式モジュールを使用して情報を表示するための方法を提供することである。

本発明の更なる目的は、そのようなヘッドマウント式コンピュータ装置のプロセッサ上で実行されると、そのような方法を実施するためのコンピュータプログラム製品を提供することである。

一態様によれば、ヘッドマウント式コンピュータ装置が提供され、このコンピュータ装置は、少なくとも１つのディスプレイモジュールと；１つ又は複数のセンサによって取得した信号及び／又はデータを受信し、ヘッドマウント式コンピュータ装置の装着者によって操作された１つ又は複数の医療装置によって生成されたデータを受信するように構成されたインターフェイスと；１つ又は複数のセンサによって取得され、受信した信号及び／又はデータに基づいて装着者の活動を特定し、且つ少なくとも１つのディスプレイモジュールを制御して、装着者の特定された活動に対応する装着者支援情報をディスプレイモジュールに表示するように構成されたプロセッサと；を有する。

本発明は、特定のタスク又は活動を実行する、例えば手術室で外科手術を行う場合に、ディスプレイモジュールに表示される過剰な又は無関係な情報によって装着者が注意散漫になるのを回避するように、装着者支援情報、例えば装着者の現在の活動に関連する視覚的コンテンツ情報が、ヘッドマウント式コンピュータ装置のディスプレイモジュールに表示されるという考えに基づいている。

装着者の活動は、装着者の現在の活動を感知するための１つ又は複数のセンサによって特定することができる。センサは、例えば装着者の現在の視野及び／又は装着者が現在操作している装置を示す１つ又は複数の画像を取り込むための光センサを含むことができる。光センサは、例えば装着者が身に着けるヘッドマウント式コンピュータ装置に組み込まれたカメラであってもよく、又は手術室内の固定位置に据え付けてもよい。センサは、例えば装着者の命令又は会話を示す音声又は音響データを捕捉するためのマイクロホンを含むことができる。センサは、装着者の頭部又は身体の動きを示す加速度計又はジャイロスコープを含むこともできる。マイクロホン及び加速度計は、装着者が身に着けるヘッドマウント式コンピュータ装置に組み込んでもよい。

プロセッサは、１つ又は複数のセンサによって取得され、受信した信号及び／又はデータに基づいて、装着者の活動を特定することができる。装着者の活動の特定は、例えばプロセッサの画像処理ユニット及び／又は音声処理ユニットの使用によって実現することができる。例えば、装着者が外科手術を行っている場合に、１つ又は複数の前向き光センサによって取得され、受信した信号及び／又はデータは、例えばナイフを使用して切開部を形成する等の装着者の視野を示すことができ、音声又は音響データは、現在の装着者の指示、又は装着者と他の人（例えば、アシスタント）との間の会話を示すことができる。プロセッサの画像処理ユニットは、画像を解析し、画像情報の認識、例えば装着者が切開部を形成するために使用するナイフを認識することに基づいて、装着者の現在の活動を特定することができる。加えて、プロセッサの音声処理ユニットは、音声又は音響データを解析し、「はさみ」、「切断」、「心臓」、「開口部」等の音声又は音響データのキーワードの解釈又は検出に基づいて、装着者の現在の活動を特定することができる。

ディスプレイモジュールに表示される装着者支援情報は、特定のタスクを実行する装着者をサポートするための情報を含むことができる。例えば、外科手術を行う装着者をサポートするための支援情報は、患者のＳｐＯ_２、ＥＣＧ、ＥＥＧ、呼吸数、心拍数、温度等の患者のバイタルサイン、又は標準的なＸ線イメージング、コンピュータ断層撮影（CT）、磁気共鳴画像法（MRI）、超音波（US）、陽電子放射断層撮影（PET）、単一光子放射型コンピュータ断層撮影法（SPECT）、及び核医学（NM）等の様々な取得モダリティにより取得された患者の医用画像を含むことができる。そのような支援情報は、ヘッドマウント式装置に接続された医療モニター又は装置によって取得され、又は送信機を介してヘッドマウント式装置に伝達することができ、それによって支援情報をリアルタイムでヘッドマウント式装置に送信することができる。あるいはまた、支援情報は、遠隔データベースに記憶してもよい。これは、装着者が、外科手術を行う等特定の活動を行うことができ、及び対象物の状態を監視するように、患者のバイタルサイン等の対象物のデータにハンズフリー（hands-free）でアクセスすることができるという利点を有している。あるいはまた、装着者の具体的な活動が特定されると、ディスプレイモジュールに表示される装着者の支援情報を、プロセッサによりディスプレイモジュールから自動的に非表示にし、輪郭をぼやかし、又は部分的に削除するように制御してもよい。例えば、ヘッドマウント式装置の装着者が、装着者による十分な注意を必要とするタスクを実行する、又は自分が他に気を取られてはいけない活動に従事する（例えば、介入治療のためにカテーテルを患者の体内に挿入する）場合に、装着者が注意散漫になるのを避けるために、ディスプレイモジュール上に表示される全ての支援情報を、プロセッサによって自動的に非表示にし、又は輪郭をぼやかす。あるいはまた、非表示又は削除された支援情報は、ヘッドマウント式コンピュータ装置による微妙な音声又は触覚刺激の方法で提供してもよい。

一実施形態では、プロセッサは、例えば患者のバイタルサイン等の１つ又は複数の受信したデータ又は信号の予め規定された閾値に基づいて、又は例えば出血等の患者の異常な又は突発的な変化の状態の特定に基づいて、少なくとも１つのディスプレイモジュールを制御して、警告メッセージをディスプレイモジュール上に表示するように構成される。これは、ユーザが患者のあらゆる重要な変化を見落とすことを防ぐことができるという利点を有する。一方、これによって、装着者が患者等の対象物又は自分が行っている活動から自分の目を外すことなく、変化に反応することができる。１つ又は複数の受信したデータの予め規定された閾値によって、患者のバイタルサイン等の受信したデータ又は信号の異常又は有意な変化を示すことができる。閾値は、装着者によって予め決定してもよく、或いは例えば患者の状態に基づいて適応的に調整することができ、又は記録した患者データから学習することができる。警告メッセージは、警告音声信号、テキスト、又は視覚的コンテンツ情報を含むことができる。警告メッセージは、ディスプレイモジュールにポップアップ表示することができ、又は装着者の注意を引き付けるように、他の表示情報以外の強調表示された又は拡大された方法で、異なる色／明るさ又は異なるフォント／フォーマットでディスプレイモジュールに表示することができる。ポップアップ表示された警告メッセージは、所定時間が経過した場合に、消してもよい。所定時間は、装着者の活動に応じて、装着者の注意を引き付けるのに十分な長さの５秒又は１０秒にしてもよい。全ての支援情報がカテーテルを人体に挿入する等の装着者の特定された活動に基づいてディスプレイモジュールから非表示又は削除された場合でも、警告メッセージをディスプレイモジュールに表示してもよいことに留意されたい。

一実施形態では、装着者の活動は、１つ又は複数のセンサによって取得され、受信した信号及び／又はデータと、ヘッドマウント式コンピュータ装置の装着者によって操作された１つ又は複数の医療装置から受信したデータとの組合せに基づいて特定される。これは、装着者の活動の正確な特定を可能にするという利点を有している。装着者の活動を検出するためのセンサシステムは、その制限を有し得る。いくつかの用途について、装着者の活動が検出されないか、又はセンサのみによって検出するのが困難な場合がある。例えば、光センサは、装着者が観察している又は操作している医療装置等の対象物を検出することができるが、光センサ又は音声センサのみによって、装着者が対象物をどの様に操作又は操縦しているか、及び／又は装着者が対象物のどの部分を操作しているかを検出できない場合があり得る。特定の実施例では、装着者が診断又は治療処置を行うために医療システム／装置を操作しているときに、カメラ／マイクロホンによって、装着者の活動を詳細に検出することは非常に困難になり得る。図１に示されるように、装着者が患者の体内に挿入したカテーテルを用いてＲＦアブレーションを行う場合に、カテーテルの操縦、Ｘ線装置のペダルを制御することによるインターベンション用Ｘ線装置の起動／停止、アブレーションの開始／停止等の装着者の活動は、そのような活動をカメラ／マイクロホンによって捕捉するには短過ぎ、従って特定することが困難となり得る事実によって、カメラ／マイクロホンによって検出可能でないことがあり、インターベンション用Ｘ線装置等の障害物によって妨害又は阻止され得る。一実施形態では、１つ又は複数の医療装置から受信したデータは、医療装置の識別情報を含むことができる。装着者によって操作されるカテーテル及び／又はインターベンション用Ｘ線装置からデータを受信することによって、プロセッサは、装着者が現在操作している医療装置を特定することができる。さらに、受信したデータは、Ｘ線装置のペダル等の、装着者が操作している医療装置の一部を示すことができる。従って、Ｘ線装置のペダルを制御することによるインターベンション用Ｘ線装置に関する操作等の装着者の活動を、正確に特定することができる。

一実施形態では、ディスプレイモジュール上に表示される装着者支援情報は、装着者が１つ又は複数の医療装置を操作する操作又は活動の継続時間を含むことができる。これは、装着者が自分の現在の活動に費やした時間をハンズフリーで監視するのを可能にするという利点を有する。

あるいはまた、装着者によって実行される操作又は活動の継続時間が所定値より長い場合に、警告メッセージをディスプレイモジュール上に表示してもよい。これは、時間を超過した活動によって生じるリスクやダメージを避けるために、装着者が、自分が現在行っている時間を超過した活動や操作を中止するのを可能にするという利点を有する。例えば、エネルギーが適切な強度で印加される場合に、アブレーション操作を合理的期間に亘って継続することができる。アブレーション操作の継続時間が短過ぎると、外傷部は、貫壁性ではないかもしれない、すなわち、疾患部は適切に処理されないかもしれない。アブレーション操作の期間が長過ぎる場合に、アブレーションによって、肺や食道等の隣接する臓器への損傷を引き起こす可能性があり、危険な場合があり、患者の生命を脅かす恐れがある。従って、アブレーション操作の継続時間を長過ぎる期間に亘って継続させないことは重要となり得る。一実施形態では、操作又は活動の継続期間に関する情報は、装着者に警告するために、異なる色／明るさ又は異なるフォント／フォーマット等を使用して強調表示することができる。あるいはまた、患者のＥＣＧ又は他のバイタルサイン等の装着者支援情報は、警告メッセージを強調表示するために、ディスプレイモジュールから非表示にされ、輪郭がぼやかされ、又は部分的に削除してもよい。

別の態様によれば、上記の１つ又は複数の実施形態よるヘッドマウント式コンピュータ装置に情報を表示する方法が提供され、この方法は、１つ又は複数のセンサによって取得した信号及び／又はデータを受信するステップと；ヘッドマウント式コンピュータ装置の装着者によって操作された１つ又は複数の医療装置によって生成された１つ又は複数の信号を受信するステップと；１つ又は複数のセンサによって取得され、受信した信号及び／又はデータに基づいて装着者の活動を特定するステップと；装着者の特定された活動に対応する情報をディスプレイモジュールに表示するステップと；を含む。これによって、例えば手術室で外科手術を行う等特定のタスク又は活動を行う際に、装着者は、ディスプレイモジュールに表示される過剰な又は無関係な情報によって装着者が注意散漫になることを避けることができる。

一実施形態では、ヘッドマウント式コンピュータ装置上に情報を表示するステップは、装着者の特定された活動に対応する、ディスプレイモジュールに表示される情報を非表示にするステップを含むことができる。

一実施形態では、装着者の活動の特定は、１つ又は複数のセンサによって取得され、受信した信号及び／又はデータと、ヘッドマウント式コンピュータ装置の装着者によって操作された１つ又は複数の医療装置から受信したデータとの組合せに基づいてもよい。

一実施形態では、ヘッドマウント式コンピュータ装置上に情報を表示するステップは、１つ又は複数の受信した信号の予め規定された閾値に基づいて、ディスプレイモジュール上に警告メッセージを表示するステップを含むことができる。

一実施形態では、ディスプレイモジュールに表示される装着者支援情報は、装着者が１つ又は複数の医療装置上で操作する操作の継続時間を含むことができ、及び操作の継続時間が所定値よりも長い場合に、警告メッセージをディスプレイモジュールに表示させることを含むことができる。

さらに別の態様によれば、コンピュータ・プログラムコードを含むコンピュータプログラム製品が提供され、コンピュータ・プログラムコードが上記実施形態の１つ又は複数のヘッドマウント式コンピュータ装置のプロセッサ上で実行されると、上記実施形態の１つ又は複数による方法のステップを実施する。そのようなコンピュータプログラム製品は、例えばアプリケーションストアで入手可能なソフトウェアアプリケーション（APP）等の任意の適切な形態でヘッドマウント式コンピュータ装置に利用可能にすることができ、及びそのようなコンピュータプログラム製品を使用して、ヘッドマウント式コンピュータ装置が上記方法を実施できるようにヘッドマウント式コンピュータ装置を構成することができる。

外科医が行う活動の先行技術を示す図である。 一実施形態によるヘッドマウント式コンピュータ装置を概略的に示す図である。 本発明による方法の第１の実施形態のフローチャートである。 図２のヘッドマウント式コンピュータ装置の態様をより詳細に示す図である。 本発明による方法の第２の実施形態のフローチャートである。

本発明の実施形態について、添付図面を参照してより詳細に且つ非限定的な例として説明する。

図面は単に概略的であり、一定の縮尺で描かれていないことを理解すべきである。同じ参照符号は、同一又は同様の部分を示すために図面全体を通じて使用されることも理解すべきである。

本願の文脈では、ヘッドマウント式コンピュータ装置は、ユーザの頭部に装着することができ、且つコンピュータ機能をユーザに提供する装置である。ヘッドマウント式コンピュータ装置は、ソフトウェアアプリケーション（APP）において指定されるような特定のコンピュータタスクを実行するように構成することができ、そのアプリケーションは、インターネット又は他のコンピュータ可読媒体から検索することができる。そのようなヘッドマウント式コンピュータ装置の非限定的な例は、例えば、眼鏡、ゴーグル、ヘルメット、帽子、バイザー、ヘッドバンド、Google glass（登録商標）、又は装着者の頭部で又は頭部から支持される他の装置等のスマートヘッドギアを含む。

本願の文脈では、ヘッドマウント式コンピュータ装置は、ウェアラブルコンピュータ装置の装着者の視野内の画像を取り込むためのカメラ等の光センサを含んでもよい。カメラは、ヘッドマウント式コンピュータ装置が意図したように装着された場合に、カメラがその装着者の眼と整列される、すなわちその装着者の視野に対応する前向きセンサ信号を生成するように配置してもよい。そのようなカメラは、ヘッドマウント式コンピュータ装置に一体化してもよい。あるいはまた、光センサは、固定位置、例えば手術室の固定位置等に据え付けてもよく、及び有線又は無線接続を介してヘッドマウント式コンピュータ装置に通信可能に結合される。

図２は、一実施形態によるヘッドマウント式コンピュータ装置１００を概略的に示す。ヘッドマウント式コンピュータ装置１００は、少なくとも１つのディスプレイモジュール１０６を含むことができ、このディスプレイモジュール１０６は、ヘッドマウント式コンピュータ装置１００のプロセッサ１１０の制御の下で、シースルー（see-through）又は透明のディスプレイモジュール１０６とすることができる。少なくとも１つのディスプレイモジュール１０６は、典型的には、ヘッドマウント式コンピュータ装置１００の装着者が、少なくとも１つのディスプレイモジュール１０６に表示された画像又はデータを確認できるように配置される。好ましくは、少なくとも１つのディスプレイモジュール１０６は、装着者がディスプレイモジュール１０６を通して視野の少なくとも一部を観察できるようにシースルー又は透明のディスプレイモジュールである。

ヘッドマウント式コンピュータ装置１００は、ヘッドマウント式コンピュータ装置１００の装着者の視野内の画像又はビデオデータ又は信号を取り込むためのカメラ１２０をさらに含むことができる。そのように取り込んだ画像又はビデオデータ又は信号は、装着者の活動を解析するために使用することができる。あるいはまた、カメラを含む他の電子装置を使用して、ウェアラブルコンピュータ装置の装着者を含む領域からの画像又はビデオデータ又は信号を取り込むことができる。そのような電子装置の例は、スマートフォン、タブレット等のハンドヘルド装置、他のヘッドマウント式コンピュータ装置、部屋に取り付けられた監視カメラ（alarm camera）等の監視装置、又は遠隔フォトプレチスモグラフィのために使用されるバイタルサインカメラを含む装置等のバイタルサイン監視装置であってもよい。

ヘッドマウント式コンピュータ装置１００は、カメラ１２０又はカメラを含む他の電子装置によって取り込まれた１つ又は複数の画像又はビデオデータを受信するためのインターフェイス１１１をさらに含んでもよい。インターフェイス１１１は、ヘッドマウント式コンピュータ装置１００の装着者によって操作される１つ又は複数の医療装置からデータを受信するために使用することもできる。

ヘッドマウント式コンピュータ装置１００は、装着者のコマンドを受け取るためのユーザインターフェイス又は制御要素等のボタン１２２、装着者の発話指示又は装着者と他の人（アシスタント等）との間の会話を捕捉するためのマイクロホン１２４、装着者がヘッドマウント式コンピュータ装置１００によって生成された音声情報を聞くのを可能にするスピーカ１２６、装着者の頭部の回転又はうなずき等の装着者のジェスチャー又は動きを認識するための加速度計１３０、及び送信機１２８をさらに含んでもよい。

プロセッサ１１０は、データ記憶装置１１２等の非一時的なコンピュータ可読媒体に記憶された命令、すなわちコンピュータ・プログラムコードを実行することができる。プロセッサ１１０は、インターフェイス１１１から受信した又はカメラ１２０から直接的に受信した１つ又は複数の画像又はビデオデータ又は信号を解析して、ヘッドマウント式コンピュータ装置１００の装着者の活動を特定するための撮像処理ユニット１３２を含んでもよい。プロセッサは、マイクロホン１２４から取得した音声又は音響データを解析して、装着者の現在の活動を特定するための音声処理ユニット１３４をさらに含んでもよい。データ記憶装置１１２は、患者の生理的パラメータ、例えばCT、MRI又はＸ線医用画像等の種々のモダリティの患者の医用画像、各装着者の活動のために必要な種類の支援情報を規定するルックアップテーブル（LUT）等の支援情報を記憶するためのデータベース（の一部）として機能することができる。一実施形態では、データベース又はデータ記憶装置１１２内のその部分は、送信機１２８を介して遠隔マスター・データベースと同期させることができるローカルコピーである。あるいはまた、ヘッドマウント式コンピュータ装置１００は、送信機１２８を介して遠隔システム２００、例えば患者データベース等の遠隔データベースをホストする遠隔サーバーと無線で通信するように構成される。任意の適切な無線通信プロトコル、例えばＩＥＥＥ８０２．１１規格、２Ｇ、３Ｇ、又は４Ｇ通信プロトコル等に従う赤外線リンク、ジグビー（登録商標）、ブルートゥース（登録商標）、無線ローカルエリアネットワークプロトコルは、ヘッドマウント式コンピュータ装置１００と遠隔システム２００との間の無線通信のために使用することができる。

ボタン１２２によって、装着者が、オプションのリストからユーザ命令を選択することを可能にする。例えば、そのようなオプションのリストは、ヘッドマウント式コンピュータ装置１００のディスプレイモジュール１０６に表示してもよい。

図３は、装着者の活動に応じて、ヘッドマウント式コンピュータ装置１００のディスプレイモジュール１０６上の支援情報を表示するための方法２００のフローチャートを示す。

方法２００は、ステップ２０２において、プロセッサ１１０によって定期的にトリガされる起動コマンドを受信すると開始する。プロセッサ１１０によってトリガされる２つの起動コマンド同士の間隔は、ヘッドマウント式コンピュータ装置１００の装着者が予め規定することができる。あるいはまた、起動コマンドは、装着者の命令によってトリガしてもよい。そのような命令２０４は、加速度計１３０による頭部の動き又はジェスチャー、マイク１２４による発話命令、ボタン１２２を押すこと等によって任意の適切な方法で与えることができる。

方法２００は、次に、ステップ２０４に進み、このステップ２０４では、１つ又は複数の画像又はビデオデータがカメラ１２０によって取り込まれ、音声又は音響データがマイクロホン１２４によって捕捉され、又は１つ又は複数の医療装置から得られたデータを受信する。

１つ又は複数の画像又はビデオデータを取り込む際に、プロセッサ１１０は、次に、ステップ２０６に進み、取り込んだ画像又はビデオデータ又は信号及び／又は捕捉された音声又は音響データの解析結果に基づいて、ヘッドマウント式コンピュータ装置の装着者の活動を特定する。活動の特定は、例えば取り込んだ画像又はビデオデータ内の対象物を検出し、装着者の各活動のための支援情報のタイプ（例えば、必要な種類の支援情報が予め規定された特定の活動に対応する対象物のリスト）を規定するルックアップテーブル（LUT）に対して特定された対象物を比較することによって、実現することができる。取り込んだ画像又はビデオデータ内で検出された対象物が、特定の活動に対応するＬＵＴ内の対象物の同じリストと同一である場合に、そのような活動が特定される。対象物の検出に加えて、ユーザの活動は、ビデオ内で検出された対象物の動きのパターン、例えば装着者の手の動きを解析することによって特定することができる。パターン認識アルゴリズム等の一般的なビデオ解析方法は、対象物、又は取り込んだ画像又はビデオデータで検出された対象物の動きのパターンを検出するために使用することができる。例えば、装着者の手の動きパターンは、ビデオ内の手を追跡して動きの軌跡を導出することによって導き出すことができる。検出された対象物（複数可）を追跡するために使用することができる様々な視覚追跡技術が文献に示されている。例えば、Yilmazらの”Object Tracking: A survey”という標題の出版物（ACM Computing Surveys, Vol.38, Issue 4, 2006）は、最先端の対象物追跡方法を説明している。

あるいはまた、装着者の活動の特定は、音声又は音響データを検出し、「はさみ」、「切断」、「心臓」、「開口部」等の音声／音響データのキーワードを傍受又は検出することに基づいて、装着者の現在の活動を特定することによって、実現することができる。検出されたキーワードは、ＬＵＴ内のキーワードのリストと比較することができる。ＬＵＴ内の各活動は、１つ又は複数のキーワードにリンク付けすることができる。検出されたキーワードが活動に対応するＬＵＴ内の同じキーワードに一致している場合に、そのような活動が特定される。

活動の特定は、ヘッドマウント式コンピュータ装置の装着者によって操作される１つ又は複数の医療装置から取得したデータを受信することによって実現することもできる。受信したデータは、装着者の活動、すなわち装着者が操作する医療装置を正確に特定するように、医療装置のタイプ又はバージョン等の、装着者が操作する医療装置の識別情報を含んでもよい。

活動の特定は、ビデオ／画像データの解析と、音声／音響データの解析と、装着者が操作する医療装置から受信したデータの解析とを組み合わせることにより、実現することができることを理解されたい。

ＬＵＴ内の活動は、２つの異なるタイプの活動、すなわち支援情報が必要な活動と支援情報を必要としない活動と、に予め分類することができる。支援情報が必要な活動について、予め規定されたデータベースは、各活動に必要な支援情報を含むことができる。ＬＵＴによって、各活動の支援情報の種類を規定することができる。支援情報の種類としては、対象物の１つ又は複数の生理学的パラメータ、対象物の異なるモダリティの医用画像等が挙げられるが、これらに限定されるものではない。装着者の活動を特定できない場合に、次に、方法はステップ２０４に戻るようにトリガしてもよい。

ヘッドマウント式コンピュータ装置１００の装着者の活動を特定すると、その後ステップ２０８で、プロセッサ１１０は、特定された活動がユーザ支援情報を必要とするか否かをチェックする。特定された活動が支援情報を必要とすることが確認された場合に、次に、この方法は、ステップ２１０に進むようトリガしてもよい、つまり、ディスプレイモジュール１０６上にそのような情報を表示することにより、支援情報を装着者に提供する。特定された活動がユーザ支援情報を必要としないことが確認された場合に、この方法は、ステップ２１２に進むようトリガしてもよい、つまり、ディスプレイモジュール１０６上に表示される全ての情報を非表示又は削除する。

ステップ２１０でディスプレイモジュール１０６に情報を表示した、又はステップ２１２でディスプレイモジュール１０６に表示した情報を削除した後に、この方法は、他のビデオデータ又は音声データを捕捉し又は１つ又は複数の医療装置から取得した他のデータを受信して、装着者の活動を再び特定するためにステップ２０４に戻ることができ、或いはステップ２１４で終了してもよい。

図４は、図２のヘッドマウント式コンピュータ装置の態様を概略的に示し、さらに、インターベンション用Ｘ線を用いてカテーテルアブレーション操作を行う装着者の活動のための、ディスプレイモジュール１０６に表示される装着者支援情報の例を示す。

カテーテルアブレーションは、心臓の部分から欠陥経路を除去又は終端させる処置であり、心房細動（AF）等の不整脈を治療するために益々使用されている。

（患者との前処置を含む）手術を準備した後に、カテーテルアブレーションの処置３２１を開始することができる。ヘッドマウント式コンピュータ装置１００の装着者は、最初にカテーテル６０１を患者の体内に挿入することができる。カテーテル挿入の活動は、ヘッドマウント式装置１００のカメラ１２０によって検出することができる。検出された画像は、「カテーテル」及び挿入の動作を示す装着者の「手」等の対象物を含むことができる。検出された画像は、プロセッサ１１０の画像処理ユニット１３２によって解析することができる。プロセッサ１１０は、活動のリストに対応するＬＵＴ内の対象物のリストに対して、特定された対象物、「カテーテル」及び「手」をさらに比較することができる。ＬＵＴ内の対象物、「カテーテル」及び「手」がカテーテル挿入の活動に対応する場合に、次に、一致が見出され、カテーテル挿入の活動が特定される。カテーテル挿入の活動は、対象物、「カテーテル」及び／又は「手」の検出と、手の動きパターン解析との組合せに基づいて特定することができる。ＬＵＴにおいて、カテーテル挿入の活動のために支援情報が何ら必要ではないことが既に規定されている場合に、従って、ディスプレイモジュール１０６内の全ての支援情報をディスプレイモジュールから自動的に非表示又は削除し、図４の左側部分に示されるように、如何なる支援情報もディスプレイモジュール１０６に表示されないようする。これによって、装着者がカテーテルを患者の体内に挿入することに集中するのを可能にする。あるいはまた、装着者は、例えばボタン１２２を押す、又はヘッドマウント式コンピュータ装置１００の音声コマンドを送信することによって、自分にとって好ましいいくつかの関連する支援情報を表示させ、選択することもできる。

アブレーションを開始する前に、装着者は、カテーテルナビゲーション手順３２３を開始する必要がある場合があり、つまり患者の心臓の正しい位置にカテーテルチップをナビゲートする必要がある。カテーテルのナビゲーション及びマッピングは、通常、Ｘ線画像３０２及びプリビルド（pre-build）心臓モデル３０４を使用することによって行うことができる。装着者は、自分の足でペダルを押すことによってＸ線画像３０２の生成を開始及び停止することができる。この動作は、カメラセンサによって検出可能でないかもしれない。Ｘ線システムとヘッドマウント式コンピュータ装置１００とを接続又は通信させることにより、Ｘ線装置及びカテーテル６０１の識別情報を含むデータを、ヘッドマウント式コンピュータ装置１００に送信することができる。受信したデータに基づいて、プロセッサ１１０は、装着者が現在、Ｘ線装置だけでなくカテーテルで操作していることを特定することができる。ＬＵＴ内の予め規定された規則に基づいて、図４の中央部分に示されるように、カテーテルの位置を示すＸ線画像３０２及びプリビルド心臓モデル３０４をディスプレイモジュール１０６に表示してもよい。装着者は、Ｘ線画像３０２及びプリビルド心臓モデル３０４によって患者の体内でのカテーテル６０１の現在位置を確認することができる。

カテーテルチップ６０１が、ＲＦアブレーションのために患者の身体の正しい位置に挿入された後に、装着者は、ＲＦアブレーション処置３２５を開始する、すなわち心臓組織にエネルギーを印加することができる。アブレーションの開始及び停止は、センサのみを用いて検出することが困難な場合がある。カテーテル６０１をヘッドマウント式コンピュータ装置１００に接続又は通信することによって、ＲＦアブレーションを開始及び停止する活動を検出することができる。アブレーションプロセスの間に、装着者は、アブレーションが十分かどうか、つまり心臓壁に良好な「貫壁性」の外傷部を生じさせたどうかを監視する必要がある。現在の臨床診療では、医師が患者のＥＣＧ信号を監視する。ＥＣＧ（心電図、又は心電図検査）信号の変化から、医師はアブレーションが十分であるかどうかを決定することができる。

プロセッサ１１０が、装着者がアブレーションを開始したことを検出した場合に、ＬＵＴ内の予め規定した規則に基づいて、図４の右側部分に示されるように、ＥＣＧ又は電位図信号３０６、或いはアブレーションの進捗を示す他の支援情報を、ディスプレイモジュール１０６に表示してもよい。

カテーテルチップと心臓壁との間の圧力は、大抵の場合に、ＲＦアブレーションの進捗を監視するために使用される。ＬＵＴ内の予め規定した規則に基づいて、図４の右側部分に示されるように、アブレーション処置中に圧力インジケータ３０８をディスプレイモジュール１０６上に表示させてもよい。

あるいはまた、図４の右側部分に示されるように、アブレーション・インジケータ３１０の継続時間を、ディスプレイモジュール１０６上に表示させてもよい。より重要なこととして、アブレーションの継続時間が予め規定された閾値Ｔよりも長い場合に、医師に警告を与えるために、例えば異なる色／明るさ又は異なるフォント／フォーマットを使用して、アブレーション・インジケータ３１０の継続時間を強調表示してもよい。パラメータＴは、心臓内のカテーテルチップ６０１の位置に依存してもよく、通常、パラメータＴは１０秒である。

図５は、本発明による方法の第２の実施形態のフローチャートを示す。

方法４００は、ステップ４０２において、プロセッサ１１０によって定期的にトリガされる起動コマンドを受信すると開始する。プロセッサ１１０によってトリガされる２つの起動コマンド同士の間隔は、ヘッドマウント式コンピュータ装置１００の装着者が予め決定することができる。方法４００は、次にステップ４０４に進み、すなわち、プロセッサ１１０は、患者のバイタルサイン信号又はデータが予め規定された閾値よりも大きいかを判定する。閾値よりも大きい場合に、方法４００はステップ４０６に進むようにトリガされ、すなわち、ディスプレイモジュール１０６上に警告メッセージを表示する。閾値よりも小さい場合に、次に、方法４００はステップ４０４に戻る。ステップ４０６において、ディスプレイモジュール１０６上に警告メッセージを表示した後に、本方法はステップ４０４に戻るか、又はステップ４０８で終了してもよい。

本発明の態様は、ウェアラブルコンピュータ装置、方法、又はコンピュータプログラム製品として具現化することができる。本発明の態様は、その上に具現化されるコンピュータ可読プログラムコードを有する１つ又は複数のコンピュータ可読媒体に具現化されるコンピュータプログラム製品の形態をとることができる。

１つ又は複数のコンピュータ可読媒体の任意の組合せを利用してもよい。コンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読記憶媒体であってもよい。コンピュータ可読記憶媒体は、例えば、電子、磁気、光学、電磁、赤外線、又は半導体システム、機器、又は装置、或いは前述した任意の適切な組合せであってもよいが、これらに限定されるものではない。そのようなシステム、機器、又は装置は、任意の適切なネットワーク接続を介してアクセス可能であってもよい。例えば、システム、機器、又は装置は、ネットワーク上のコンピュータ可読プログラムコードの検索のために、ネットワークを介してアクセス可能であってもよい。そのようなネットワークは、例えばインターネット、モバイル通信ネットワーク等であってもよい。コンピュータ可読記憶媒体のより具体的な例（非網羅的リスト）として、以下のものを挙げることができる：１つ又は複数のワイヤを有する電気接続、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（RAM）、読み取り専用メモリ（ROM）、消去可能なプログラマブル読み取り専用メモリ（EPROM又はフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ（CD-ROM）、光記憶装置、磁気記憶装置、又は上記の適切な組合せである。本願の文脈において、コンピュータ可読記憶媒体は、命令実行システム、機器、又は装置によって使用される又はこれらに関連して使用されるプログラムを含む又は記憶することができる任意の有形の媒体であってもよい。

コンピュータ可読信号媒体は、例えばベースバンドで又は搬送波の一部として、内部にコンピュータ可読プログラムコードを有する伝搬データ信号を含むことができる。そのような伝搬信号は、電磁気、光学、又はそれらの任意の適切な組合せを含むが、これらに限定されない様々な形態をとるができる。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体ではなく、命令実行システム、機器、又は装置によって使用される又はこれらに関連して使用されるプログラムを通信、伝搬、又は転送することができる任意のコンピュータ可読媒体であってもよい。

コンピュータ可読媒体上で具現化されるプログラムコードは、無線、有線、光ファイバケーブル、ＲＦ等、又は前述した任意の適切な組合せを含むが、これらに限定されない、任意の適切な媒体を用いて送信することができる。

プロセッサ１１０上で実行することにより本発明の方法を実行するためのコンピュータ・プログラムコードは、Java（登録商標）、Smalltalk、C++等のオブジェクト指向プログラミング言語及び「C」プログラミング言語又は同様のプログラミング言語等の従来の手続き型プログラミング言語を含む、１つ又は複数のプログラミング言語の任意の組合せで書くことができる。プログラムコードは、例えば、スタンドアロン型ソフトウェアパッケージ、例えばアプリとしてプロセッサ１１０上で完全に実行してもよく、又はプロセッサ１１０上で部分的に実行され且つ遠隔サーバー上で部分的に実行してもよい。後者のシナリオでは、遠隔サーバーは、ローカルエリアネットワーク（LAN）又はワイドエリアネットワーク（WAN）を含む任意のタイプのネットワークを介してヘッドマウント式コンピュータ装置１００に接続することができ、又は例えばインターネットサービスプロバイダを使用してインターネットを介して外部コンピュータに接続を行うことができる。

本発明の態様は、本発明の実施形態による方法、装置（システム）及びコンピュータプログラム製品のフローチャート図及び／又はブロック図を参照して上記に記載されている。フローチャート図及び／又はブロック図の各ブロック、及びフローチャート図及び／又はブロック図のブロックの組合せは、コンピュータプログラム命令によって、ヘッドマウント式コンピュータ装置１００のプロセッサ１１０上で全体的に又は部分的に実行されるように実施することができ、それによって命令が、フローチャート及び／又はブロック図のブロックで指定された機能／動作を実現する手段を形成することが理解されるであろう。これらのコンピュータプログラム命令は、コンピュータ可読媒体に記憶することもでき、特定の方法で機能するようにヘッドマウント式コンピュータ装置１００に命令することができる。

コンピュータプログラム命令は、プロセッサ１１０にロードされ、一連の動作ステップをプロセッサ１１０上で実行させ、プロセッサ１１０上で実行される命令がフローチャート及び／又はブロック図のブロックで指定された機能／動作を実現するためのプロセスを提供するようにコンピュータ実行プロセスを生成する。コンピュータプログラム製品は、ヘッドマウント式コンピュータ装置１００の一部を形成してもよく、例えばヘッドマウント式コンピュータ装置１００にインストールすることができる。

なお、上述した実施形態は本発明を限定するものではなく例示するものであり、当業者であれば、添付の特許請求の範囲から逸脱することなく多くの代替実施形態を設計することができるであろうことに留意されたい。請求項において、括弧内の参照符号は、特許請求の範囲を限定するものとして解釈すべきではない。「備える、有する、含む（comprising）」という用語は、請求項に列挙された以外の要素又はステップの存在を排除するものではない。ある要素に先行する「１つの（a, an）」という用語は、そのような複数の要素の存在を排除するものではない。本発明は、幾つかの別個の要素を有するハードウェアによって実現することができる。いくつかの手段を列挙する装置クレームにおいて、これらの手段のいくつかは、同一のハードウェア項目によって具現化することができる。特定の手段が互いに異なる従属請求項に記載されているという単なる事実は、これらの手段の組合せが有利に使用できないことを示すものではない。

Claims (13)

1. ヘッドマウント式コンピュータ装置であって、当該コンピュータ装置は、
   少なくとも１つのディスプレイモジュールと、
   １つ又は複数のセンサによって取得した信号及び／又はデータを受信し、且つ当該ヘッドマウント式コンピュータ装置の装着者によって操作される１つ又は複数の医療装置によって生成されたデータを受信するように構成されたインターフェイスと、
   前記１つ又は複数のセンサによって取得され、受信した信号及び／又はデータに基づいて前記装着者の活動を特定し、且つ前記少なくとも１つのディスプレイモジュールを制御して、前記装着者の特定された活動に対応する支援情報を前記ディスプレイモジュールに表示させるように構成されたプロセッサと、を有しており、
   前記装着者の活動は、前記１つ又は複数のセンサによって取得され、受信した信号及び／又はデータと、当該ヘッドマウント式コンピュータ装置の前記装着者によって操作される前記１つ又は複数の医療装置から受信したデータとの組合せに基づいて特定される、
   ヘッドマウント式コンピュータ装置。
2. 前記プロセッサは、前記少なくとも１つのディスプレイモジュールを制御して、前記ディスプレイモジュールに表示される前記装着者の特定された活動に対応する情報を非表示にするように構成される、請求項１に記載のヘッドマウント式コンピュータ装置。
3. 前記プロセッサは、前記少なくとも１つのディスプレイモジュールを制御して、１つ又は複数の前記受信したデータの予め規定された閾値に基づいて、警告メッセージを前記ディスプレイモジュールに表示するように構成される、請求項１又は２に記載のヘッドマウント式コンピュータ装置。
4. 前記１つ又は複数の医療装置から受信したデータは、前記医療装置の識別情報を含む、請求項１乃至３のいずれか一項に記載のヘッドマウント式コンピュータ装置。
5. 前記医療装置は、カテーテル又はインターベンション用Ｘ線である、請求項１乃至４のいずれか一項に記載のヘッドマウント式コンピュータ装置。
6. 前記１つ又は複数のセンサは、当該ヘッドマウント式コンピュータ装置の一部であり、前記１つ又は複数のセンサは、撮像センサ、マイクロホン、及び加速度計のうちの１つである、請求項５に記載のヘッドマウント式コンピュータ装置。
7. 前記ディスプレイモジュール上に表示された前記支援情報は、前記装着者が、前記１つ又は複数の医療装置を操作する操作活動の継続時間を含む、請求項１乃至６のいずれか一項に記載のヘッドマウント式コンピュータ装置。
8. 前記操作活動の前記継続時間が所定値よりも長い場合に、警告メッセージが前記ディスプレイモジュールに表示される、請求項７に記載のヘッドマウント式コンピュータ装置。
9. 請求項１乃至８のいずれか一項に記載のヘッドマウント式コンピュータ装置に情報を表示する方法であって、当該方法は、
   １つ又は複数のセンサによって取得した信号及び／又はデータを受信するステップと、
   前記ヘッドマウント式コンピュータ装置の装着者によって操作される１つ又は複数の医療装置によって生成された１つ又は複数の信号を受信するステップと、
   前記１つ又は複数のセンサによって取得され、受信した信号及び／又はデータに基づいて、前記装着者の活動を特定するステップと、
   前記装着者の特定された活動に対応する支援情報を前記ディスプレイモジュールに表示するステップと、を含み、
   前記装着者の活動の特定は、前記１つ又は複数のセンサによって取得され、受信した信号及び／又はデータと、前記ヘッドマウント式コンピュータ装置の前記装着者によって操作される前記１つ又は複数の医療装置から受信したデータとの組合せに基づく、
   方法。
10. 前記ディスプレイモジュール上に示される、前記装着者の特定された活動に対応する情報を非表示にするステップをさらに含む、請求項９に記載の方法。
11. １つ又は複数の前記受信した信号の予め規定された閾値に基づいて、警告メッセージを前記ディスプレイモジュール上に表示させるステップをさらに含む、請求項９又は１０に記載の方法。
12. 前記ディスプレイモジュールに表示される前記支援情報は、前記装着者が前記１つ又は複数の医療装置に関して操作した操作活動の継続時間を含み、及び前記操作の継続時間が所定値よりも長い場合に、警告メッセージが前記ディスプレイモジュール上に表示される、請求項９乃至１１のいずれか一項に記載の方法。
13. プログラムコードを含むコンピュータプログラムであって、前記コンピュータプログラムがコンピュータ上で実行される場合に、前記コンピュータに請求項９に記載の方法のステップを実行させる、コンピュータプログラム。

Images