JP2007089759A - 映像表示装置、及び映像表示プログラム - Google Patents

Abstract

【課題】記録された複数の映像情報から選択情報に基づいて、特定映像情報を特定し、統合映像情報と同期させて特定映像情報を拡大表示し、再生することが可能な映像表示装置、及び映像表示プログラムの提供を課題とする。
【解決手段】映像表示装置１は、医療機関の治療室に設置された複数のカメラ６と接続され、カメラ６によって撮影された映像情報７を記録し、種々の処理を行うための装置本体１０と、装置本体１０とケーブル１９を介して接続され、映像情報７に基づいて作成された統合映像情報９、または複数の映像情報７の中から特定条件に基づいて特定された選択映像情報８等の種々の各種情報を視覚を通じて提示するための表示部１１とを主に具備して構成されている。
【選択図】図１

Description

本発明は、映像表示装置、及び映像表示プログラムに関するものであり、特に、複数の撮影機器などを利用し、記録されたマルチモーダル（ｍｕｌｔｉ ｍｏｄａｌ）情報の重要な箇所を選択情報に基づいて選択し、表示可能な映像表示装置、及び映像表示プログラムに関するものである。

従来から、病院等の医療機関において、治療者（医師或いは看護士等の医療従事者）が被治療者（患者等）に対し、実際に行った治療記録の内容、当該治療行為に対する結果、及び被治療者に対して実施した医学検査の検査データ等をカルテに文字情報として記録し、これを管理することが行われている。このカルテを用いた文字情報の記録は、実施内容等を具体的かつ簡潔な表現で記録することを主目的として行われている。

しかしながら、近年の情報通信機器の技術的な進歩により、各種のストレージ製品や動画の入出力関連機器の高性能・高機能化、及び低価格化が著しく進んでいる。そこで、従来のカルテによる記載に加え、多くの治療行為に関する情報を動画などの電子情報として記録及び保存することを要求する声が大きくなっている。そのため、救急救命の現場や手術の様子などを、リアルタイムで映像及び音声に記録し、蓄積する医療情報の記録を行うシステムの構築及び開発が行われている。

本願出願人らは、実施した治療行為とそれに対する治療結果、及びその治療行為を映像、音声、テキスト、及びセンサ出力等の各種入力機器によって取得した情報が、治療行為の結果とともに時系列に沿って、再生作業を容易にするためにインデクシング処理を行って作成したイベントインデックスに構造化して記録することが可能な装置及び方法を既に開発している（特許文献１参照）。これによると、予め実施する治療行為の手順が標準化された標準的治療プログラムに基づいて、実施する治療行為に係る治療行為提示情報が治療者に提示され、提示された治療行為の内容及び次に遷移する際の条件等を確認しながら治療行為を治療者は実施することができる。その結果、治療手順のミス等を犯す可能性が低くなり、迅速かつ適切な治療行為が行えるようになる。そして、この治療行為の様子が映像情報等を含む情報として、イベントインデックスに同期するようにして時間に関するパラメータを含んで構造化して記録される。そのため、一連の治療の流れに沿った各情報が、イベントインデックスに治療行為の結果とともに記録され、事後に当該記録の内容を解析及び検討する際に、全体の治療の進行の様子、各々の治療行為の様子、治療行為に要した時間、次の治療行為に遷移する際の判断及び決定の適正さ等を容易に確認することができ、客観的な事実及び情報に基づく診療記録やカルテの作成作業が容易となる。

実際の医療現場では、患者の症状や容体は時々刻々と変化し、それらに適切に対応するために、治療者は適切な治療行為を選択し、処置を行っている。そのため、一台のカメラ（撮影機器）を用いて、治療行為の様子を撮影し、記録することを試みる場合、例えば、患部の映像などの最も重要な箇所を、治療者自身が遮ってしまい当該箇所の記録が行えないことがあった。

この問題を解決するために、治療者による重要な箇所の遮蔽の影響を最小限に抑えることを目的とし、治療室内に複数の撮影機器を配置し、多方向から被治療者や患部の画像を撮影し、映像情報として記録することにより、少なくとも一つの映像情報には当該重要な箇所を含んだ記録が残されることが可能となる。なお、治療者による遮蔽以外に、治療室内に配された複数の医療機器などによっても遮蔽が生じる場合も想定される。

ところで、上述したように、複数の撮影機器で多くの映像情報をまとめて記録した場合、所望する映像情報をどのようにして探し出すかが問題となる。例えば、記録された複数の映像情報をそれぞれ再生し、各シーンの先頭部分にインデックス情報を手作業で付与し、頭出しを容易にするシステム（例えば、特許文献２参照）、或いはインデックス情報を付与するとともに、映像情報を再生する再生スピードを制御する機能を有する再生装置（例えば、特許文献３参照）などが知られている。なお、複数の撮影機器（カメラ）を利用して、特定の人物の移動軌跡等を把握したり、特定の動きを認識可能なシステムも知られている（非特許文献１参照）。

特願２００５−０６９２４０号 特開平１０−１３７７３号公報 特開２００１−１２８０９８号公報 富永 将史、外４名，「視体積交差による複数人物追跡と手サイン提示の検出」，第８回画像センシングシンポジウム（ＳＳＩＩ２００２）講演論文集，ｐ．５１５−５２０

しかしながら、上述したように、インデックス情報を付し、頭出しを容易にしようとする場合、どの撮影機器によって撮影された映像情報に重要な箇所が含まれているかを予め判断することはできなかった。そのため、個々に記録された膨大な量の映像情報の内容を全て確認し、重要と思われる箇所にインデックス情報を付する地味な作業を、ほとんど手作業で行わなければならなかった。これにより、作業者に多大な労力の負担を課すこととなり、また、作業者の主観的な判断により、本来は重要な箇所としてマークすべきところを脱落させるなど、インデックス情報の付与の精度に問題が残る場合もあった。特に、救急救命医療の現場における治療行為の内容を精細に記録し、保存する場合、治療室に配する撮影機器の数も必然的に多くなり、上述したインデックス情報の付与作業に要する時間が膨大となるおそれがあった。加えて、これらの先行技術は、いずれも映像情報の再生及びインデクシングに関するものであり、映像情報と同期して取得された音声情報、テキスト情報、センサ出力等の複数のモダリティ（ｍｏｄａｌｉｔｙ）からなる所謂「マルチモーダル情報」から重要な箇所を特定し、これらを単独或いは組合わせて表示または提示するようなシステム、装置等はほとんどなかった。

そこで、本発明は、上記実情に鑑み、取得された複数のマルチモーダル情報の中から選択情報に基づいて、重要な箇所を含むモダリティ（ｍｏｄａｌｉｔｙ）を選択し、表示することが可能な映像表示装置、及び映像表示プログラムの提供を課題とするものである。

上記の課題を解決するため、本発明にかかる映像表示装置は、「標準的工程フローに基づいて行為の記録情報を再生する映像表示装置において、前記記録情報は、映像、音声、テキスト、センサ出力、のモダリティから得られるいずれか少なくともひとつの情報を、前記行為中に発生したイベントをリスト化したイベントリストに同期して記録したマルチモーダル情報であって、再生時には前記イベントリストに基づいてイベント毎にモダリティを選択するモダリティ選択手段を備え、前記モダリティ選択手段から得られた選択情報によって選択された前記モダリティを映像化し表示する、及び／または音声出力する映像表示手段を」備えて主に構成されている。

ここで、マルチモーダル情報とは、標準的工程フローに同期して記録したビデオカメラやデジタルカメラ等の撮影機器を利用して取得される動画または静止画の映像情報、マイク等の音声入力機器を利用して取得される音声情報、キーボードやマウス等の操作入力機器を利用して、または取得された映像情報や音声情報を認識処理することによって取得されるテキスト情報、各種のセンサ機器によって取得されるセンサ出力の少なくとも一種類のことである。また、イベントリストとは、実際の行為で派生したイベントの記録を時間の流れに沿ってリスト化したものである。

したがって、本発明の映像表示装置によれば、各イベント毎のモダリティを選択するためのモダリティ選択手段を有し、得られた選択情報によって選択されたモダリティが表示または出力される。すなわち、記録された映像情報等のマルチモーダル情報の中からイベント（例えば、治療行為における”気管挿管”、”心臓マッサージ”、”除細動”など）に対応して、重要な箇所（患部付近を拡大した映像、治療に使用する機器の測定結果など）を示すマルチモーダル情報が表示されることとなる。

なお、本発明にかかる映像表示装置は、例えば、視認可能とするための液晶ディスプレイのような映像表示手段を、デスクトップ型パーソナルコンピュータのように分離可能に独立して構成されるものであっても、或いはこれらの映像表示手段を映像表示装置の一部構成として含んで構築されるもののどちらであっても構わない。また、本発明に係る映像表示装置は、別態様として、「標準的工程フローに基づいた行為の記録情報を再生する情報提示装置において、前記記録情報は、映像、音声、テキスト、センサ出力、のモダリティから得られるいずれか少なくともひとつの情報を、前記行為中に発生したイベントをリスト化したイベントリストに同期して記録したマルチモーダル情報であって、再生時には前記イベントリストに基づいてイベント毎にモダリティを選択するモダリティ選択手段を備え、前記モダリティ選択手段から得られた選択情報によって選択された前記モダリティを映像化し表示する、かつまたは音声出力する映像表示手段」として、上記作用を奏するシステムとして構築されるものであってもよい。これにより、前述した映像表示装置と同一の作用を係るシステムが奏することとなる。

さらに、本発明にかかる映像表示装置は、上記構成に加え、「前記モダリティ選択手段は、前記マルチモーダル情報を記録する機器の設置位置、前記機器の制御設定、前記行為に関する事前知識のいずれか少なくともひとつに基づいて予め設定できる事前選択情報に基づく」ものであっても構わない。

したがって、本発明の映像表示装置によれば、モダリティ選択手段による選択情報が、事前選択情報に基づいて行われる。ここで、事前選択情報の具体例を示すと、例えば、救急救命の行われる治療室内の各治療行為（イベント）を記録する場合、治療室に配された複数のカメラ（撮影機器）やマイクの設置位置や設置方向、またはそれぞれの相対関係、或いは治療行為に対応して制御されるカメラアングルやスタッフの数及び配置、さらにイベントにおける標準化された動きなどの情報を含むものである。すなわち、当該イベントにおいて、動作や行動などを予測可能な情報や事前知識を事前選択情報として記憶し、これをモダリティ選択手段に適用することができる。これにより、重要な箇所を示すモダリティの選択及び表示を精度よく行うことが可能となる。さらに、その他の事前選択情報の例を示すと、各種機器の稼働状況に応じてカメラ及びマイク等を選択したりするものなどが挙げられる。

さらに、本発明にかかる映像表示装置は、上記構成に加え、「前記モダリティ選択手段は、行為の進行に伴って発生する前記イベント中の情報を検出した事後選択情報に基づく」ものであっても構わない。

したがって、本発明の映像表示装置によれば、モダリティを選択するための選択情報が、行為の進行に伴って発生するイベント中の特定状況を検出した事後選択情報に従って算出される。ここで、検出されるイベント中の情報とは、例えば、前述した事前選択情報によって予測された動作以外の動作をスタッフが行った場合、或いは各種機器によって取得されたセンサ出力などが許容範囲を越えるなど、事前に想定することができない動きや状況がイベント中に発生することを検出するものであり、これにより事後選択情報が決定される。このような場合、前述の選択情報や事前選択情報のみでは、本来重要な箇所が含まれてないにもかかわらずモダリティが選択され、表示されることがある。

そこで、例えば、移動に係るイベント中の動きを推定し、その結果として推定された動きを示す事後選択情報を利用して選択情報を改めて算出する。ここで、前述した非特許文献１に係る技術を用いることによって、室内のスタッフの動きを常時追跡し、スタッフの位置及びカメラとの関係等をモニターすることで遮蔽による事後選択情報を推定し、算出する手法を採用することができる。さらに、具体的に説明すると、平面形状が正方形の空間に映像情報を同期して記録可能な複数台（例えば、１６台）のカメラを用意し、８台のカメラを４５度の間隔で高さ９０ｃｍの位置に水平に配置し、さらに残る８台を高さ２２０ｃｍの位置に下方に向かって２２°傾けて設置する状況を創生する。係るカメラの設定により、空間のどの位置であっても少なくとも２台のカメラによって空間内の特定の人物等を撮影することができる。そして、事前に取得した背景画像との差分、二値化、ラベリングを行い、それぞれのカメラ画像毎に人物候補領域を検出し、検出された人物候補領域に対して視体積交差法を適用する。これにより、特定の空間内における一人または複数の人物の存在確率を算出したり、人物候補領域における同一人物か否かの推定、動作の推定等を行うことができる。すなわち、上記視差体積交差法を利用することにより、室内の複数のスタッフの動きを複数台のカメラによって撮影された映像情報に基づいて推定することが可能となり、事後選択情報を得ることができる。また、上記映像情報を用いるもの以外に、超音波センサなどによってスタッフの移動軌跡と時間情報とを合わせて記録し、これを参照し、事後選択情報を得るものであってもよい。さらに、その他の事後選択情報の例としては、設置されたセンサ機器や医療機器等によって測定された測定値（センサ出力等）の急激な変化を捉えるもの、或いは取得された音声情報に含まれるノイズの大小を検出するものなどが挙げられる。センサ機器の急激な変化は選択情報における重要度をアップさせることになり、音声情報に含まれるノイズは、重要度をダウンさせることとなる。その結果、例えば、治療行為に係るイベントの場合、治療の際の被治療者の容体の急変（血圧の急低下、心拍数の増大、心拍停止状態など）を認識し、これに基づいて事後選択情報を利用し、表示するモダリティの選択の精度を向上させることが可能となる。

さらに、本発明にかかる映像表示装置は、上記構成に加え、「前記映像表示手段は、複数の映像情報を統合した統合映像と、前記統合映像とともに前記モダリティ選択手段によって得られる前記選択情報とを表示する」ものであっても構わない。

したがって、本発明の映像表示装置によれば、複数の映像を統合した統合映像と、選択された選択情報とを表示することが行われる。さらに、具体的に説明すると、イベントの一つの場面を複数（例えば、１６台）のカメラで同期して撮影し、映像情報を記録した場合、これらの映像情報がそれぞれ小さく表示されるように一つの画面（”４×４”の配列など）に表示可能にまとめた統合映像を作成し、これを表示することが可能となる。これにより、イベントの全体の流れを把握可能となるとともに、重要な箇所を含むモダリティに係る選択情報と、統合映像とを並記して表示するようなことも可能となる。なお、統合映像に表示される映像情報は、同期したカメラによって撮影された全てを原則として表示するものであっても、或いは上述した事後選択情報によってスタッフによる遮蔽のため、重要な箇所が明らかに撮影されていないような不要な映像情報を適宜省略して表示するものであっても構わない。また、選択表示される選択情報の次候補となる映像情報を選択情報に基づいて決定し、統合映像においてこれらを強調するようなマーキング処理を行うことも可能である。これにより、次候補の選定及び選択されたモダリティの切替が容易に行われる。なお、係る統合映像には、カメラによって撮影された映像情報以外に、音声情報を視覚化可能に表示した映像、センサ出力の結果をグラフ化・チャート化した映像を含むものであってもよい。

さらに、本発明にかかる映像表示装置は、上記構成に加え「前記標準的工程フローは標準的治療プログラム」から構成されているものであってもよい。

したがって、本発明の映像表示装置は、標準的工程フローとして、医療分野において適用される予め実施する治療行為の手順が標準化された標準的治療プログラムが利用される。これにより、実施する治療行為の手順が高い精度で予測可能となるため、救急救命医療などで行われている実際の治療行為の中から重要な箇所を含むモダリティを選択し、映像化して表示することができる。

一方、本発明にかかる映像表示プログラムは、「記録情報は、映像、音声、テキスト、センサ出力、のモダリティから得られるいずれか少なくともひとつの情報を、前記行為中に発生したイベントをリスト化したイベントリストに同期して記録したマルチモーダル情報であって、再生時には前記イベントリストに基づいてイベント毎にモダリティを選択するモダリティ選択手段を備え、前記モダリティ選択手段から得られた選択情報によって選択された前記モダリティを映像化し表示する、及び／または音声出力する映像表示手段として、標準的工程フローに基づいて行為の記録情報を再生する映像表示機能を実現させる」ものから主に構成されている。

さらに、本発明にかかる映像表示プログラムは、上記構成に加え、「前記マルチモーダル情報を記録する機器の設置位置、前記機器の制御設定、前記行為に関する事前知識のいずれか少なくともひとつに基づいて予め設定できる事前選択情報に基づく前記モダリティ選択手段として、映像表示機能を実現させる」ものであっても構わない。

さらに、本発明にかかる映像表示プログラムは、上記構成に加え、「行為の進行に伴って発生する前記イベント中の情報を検出した事後選択情報に基づく前記モダリティ選択手段として、映像表示機能を実現させる」ものであっても構わない。

さらに、本発明にかかる映像表示プログラムは、上記構成に加え、「複数の映像情報を統合した統合映像と、前記統合映像とともに前記モダリティ選択手段によって得られる前記選択情報とを表示する前記映像表示手段として、映像表示機能を実現させる」ものであっても構わない。

さらに、本発明にかかる映像表示プログラムは、上記構成に加え、「標準的治療プログラムを前記標準的工程フローとして利用し、映像表示機能を実現させる」ものであっても構わない。

したがって、本発明の映像表示プログラムは、プログラムを実行することにより、映像表示装置が上述した作用を奏することが可能となる。

本発明の効果は、種々の機器を利用して記録されたマルチモーダル情報を、再生時にイベント毎にモダリティを選択するモダリティ選択手段に基づいて選択することができることである。その結果、記録されたイベントの重要な箇所を含んだモダリティが選択され、係るモダリティを表示することができる。特に同期して記録された複数の映像情報の中から重要な箇所を含んだ映像情報を選択情報に基づいて表示することができ、撮影された全ての映像情報を細部に亘ってチェックすることなく、換言すれば、作業者に多大な労力の負担を強いることなく、係る選択が容易に行われる。さらに、イベントに対応して獲得された事前選択情報や事後選択情報により、選択情報の精度をさらに高いものとすることができ、モダリティの選択の的確性がより向上することとなる。

以下、本発明の一実施形態である映像表示装置１について、図１乃至図５に基づいて説明する。ここで、図１は本実施形態の映像表示装置１の機能的構成を示すブロック図であり、図２及び図３は映像表示装置１の表示処理の流れを示すフローチャートであり、図４は選択情報２の算出を模式的に示す説明図であり、図５は表示部１１の表示画面１１ａの一例を示す説明図である。ここで、本実施形態の映像表示装置１は、救急救命医療の行われる治療室３に設置された複数のカメラ６によって、治療行為（イベントに相当）に同期して記録した複数の映像情報７から重要な箇所を示す選択映像情報８を選択し、さらに複数の映像情報７を一つに統合した統合映像情報９と合わせて表示するものについて例示している。

本実施形態の映像表示装置１は、図１等に主として示されるように、医療機関の治療室３に設置された複数（例えば、１６台）のカメラ６と接続され、カメラ６によって撮影された複数の映像情報７を同期して記録し、さらに該映像情報７を表示するための処理を行う装置本体１０と、装置本体１０と接続用のケーブル１９を介して接続され、前述の選択映像情報８及び統合映像情報９等を視覚を通じて認識可能に表示する液晶ディスプレイからなる表示部１１とを主に具備して構成されている。

さらに、本実施形態の映像表示装置１は、治療室３内で交わされる治療者２７ａ，２７ｂ（医師や看護士等）同士の会話等を音声情報１２として取得するための複数のマイク１３と、被治療者１６の容体や治療に関する所見等のコメントの入力を受付け、テキスト情報１４として取得するために利用されるとともに、映像表示装置１に対して各種コマンドを入力し、種々の操作を行うための操作入力用のコンソール１５と、治療室３内の被治療者１６の血圧や心拍数などのバイタルサインを示す機器情報１７を取得するための複数のセンサ１８とがそれぞれケーブル１９を介して接続されている。ここで、前述した映像情報７、音声情報１２、テキスト情報１４、及び機器情報１７が本発明のマルチモーダル情報２４に相当する。なお、これらのマルチモーダル情報は、本実施形態で示したように、各入力機器（カメラ６、マイク１３等）と映像表示装置１をダイレクトに接続し、撮影された映像情報７や取得した音声情報１２を映像表示装置１内に設けられた本体記憶手段２０に直接取込んで、後述する統合映像情報９等を表示するために利用するものや、或いは映像表示装置１と切離して取得されたマルチモーダル情報２４をＤＶＤ等の高容量の記憶媒体に記録し、これを映像表示装置１に取付けられたディスクドライブ（図示しない）を利用して読込むものであったり、または映像表示装置１とネットワーク接続されたファイルサーバに係るマルチモーダル情報２４を記憶し、ネットワークを経由して必要なマルチモーダル情報２４を適宜読込むようなものであっても構わない。すなわち、マルチモーダル情報２４自体を映像表示装置１に常に保持しているものとは限らず、必要に応じて取得するようなものであればよい。また、マルチモーダル情報２４の中には、センサ１８以外の治療行為とは直接関係するものではない各種センサ機器によるセンサ出力を含むものであってもよい。

なお、センサ１８について、さらに詳細に説明すると、被治療者１６の心拍数、脈拍数、心電波形、及び血圧等のバイタルサインに係る機器情報１７を測定する医療機器のようなもの以外に、例えば、心停止状態にある被治療者１６の心臓に電気的刺激を与える除細動器のような治療行為に直接利用される治療機器或いは直接治療行為に関係しないようなものも含まれ、これらの使用履歴等に係る情報を機器情報１７として映像表示装置１が利用することもできる。なお、本実施形態の映像表示装置１を構成する装置本体１０は、上述した機能を奏するために、例えば、汎用のパーソナルコンピュータを応用して構築することが可能である。この場合、係る装置本体１０は、演算処理回路が形成されたＣＰＵ等を含む処理制御部、カメラ６または液晶ディスプレイなどの表示部１１とそれぞれ接続し、情報及び信号を制御するためのインターフェイス回路が形成されたインターフェイス機器、及び取得した画像情報等を記録し、保存するためのハードディスクなどからなる記憶機器を含むハードウェア構成によって構築することができる。なお、本実施形態において、装置本体１０及び表示部１１を、一般のデスクトップ型パーソナルコンピュータのようにそれぞれ独立して構成してなるものについて例示するが（図１参照）、例えば、ノート型パーソナルコンピュータやディスプレイ一体型パーソナルコンピュータのように、装置本体１０の一部機能として表示部１１を包含した構成の映像表示装置を構築するものであってもよい。

さらに、本実施形態の映像表示装置１を構成する装置本体１０について、詳細に説明すると、図１に代表的に示されるように、その機能的構成として、被治療者１６の症状に応じて実施される治療行為（イベントに相当）の手順や順序などが規定された標準的治療プログラムなどの医療情報をデータベース化した医療情報データベース２１を記録する医療情報記憶手段２２と、治療室３で実施される複数のカメラ６を使用して同期させて撮影した複数の映像情報７を取得する画像情報取得手段２３を含み、その他マイク１３等によって取得されたマルチモーダル情報２４を取得する情報取得手段２５と、映像情報７及びマルチモーダル情報２４によって記録された治療行為に対応し、当該治療行為の重要な箇所を指定するための選択情報２を予め記憶する選択情報記憶手段２６と、取得された複数の映像情報７を時系列を一致させ、一つの画面で表示可能なように統合映像情報９を作成する統合映像情報作成手段２８と、作成された統合映像情報９を表示部１１に表示し、再生するための信号制御を行う統合映像情報表示制御手段２９と、取得された映像情報７の中から重要な箇所を含む選択映像情報８を選択情報２に基づいて選択する映像選択手段３０と、選択された選択映像情報８を統合映像情報９と同期させるとともに、統合映像情報９と並記して表示し、再生するための信号制御を行う選択映像情報表示制御手段３１と、作成されたイベントリスト４を表示部１１に表示し、再生するための信号制御を行うイベントリスト表示制御手段３８とを主に具備して構成されている。ここで、選択映像情報８が本発明における重要な箇所を示すモダリティに相当し、統合映像情報９が本発明における統合映像に相当し、統合映像情報表示制御手段２９、選択映像情報表示制御手段３１、及び表示部１１が本発明における映像表示手段に相当し、映像選択手段３０が本発明におけるモダリティ選択手段する。

さらに、映像選択手段３０について詳述すると、治療室３に設置されたカメラ６の設置位置や撮影される治療行為に応じ、治療者２７ａ，２７ｂの数や配置構成によって重要な箇所を含む選択映像情報８を特定し、選択するために、選択情報２を改めて算出する際の基準となる事前選択情報３２が本体記憶手段２０に記憶されており、係る事前選択情報３２によって選択情報２を算出する事前算出手段３３と、予測不能な行動によって治療者２７ａ，２７ｂ等によってカメラ６の撮影領域が遮蔽されるなどの変化を検出する変化検出手段３４及び変化が検出された事後選択情報３５に基づいて、選択映像情報８を特定し、選択するために選択情報２を改めて算出する事後算出手段３６とを含んで構成されている。

ここで、映像情報７を含むマルチモーダル情報２４を取得し、記録された治療行為を時系列に沿ってリスト化したイベントリスト４（または、イベントインデックスと称されることもある）は、医療情報データベース２１に記憶されている各治療行為（注射や投薬など）の手順のタイミングを提示する標準的治療プログラム（図示しない）に対する結果と、治療行為の際に記録される映像情報７及びマルチモーダル情報２４とをリンクさせる形式で、映像情報７等と被治療者１６の氏名や性別等の基礎情報などをインデクシングすることによって作成されている。さらに、作成されるイベントリスト４には、特定の時間を基準として時間情報５が付与されているため、時系列に沿って記録された各治療行為の頭出し及び再生作業等を容易に行うことが可能となる。また、生成されるイベントリスト４は、所見、診断手技、治療手技などを医療情報データベース２１に基づいて構造化して分類され、ＸＭＬなどの標準的なフォーマットによって記述することができる。その結果、記述内容の検索作業を容易に行うことができ、映像情報７等の記録のデータベース化が容易となる。本実施形態の映像表示装置１は、取得した映像情報７等、作成した統合映像情報９及びイベントリスト４等に係る種々のデータ及び情報を前述の本体記憶手段２０に記憶している。

次に、本実施形態の映像表示装置１を利用した統合映像情報９及び選択映像情報８の表示処理の一例について、図２及び図３のフローチャートに基づいて説明する。ここで、図２及び図３に示されるフローチャートのステップＳ１からステップＳ１２が本発明の映像表示プログラムに相当する。また、このフローチャートでは、治療室３内に設置された複数のカメラ６によって、実施された治療行為（イベントに相当）が既に映像情報７として記録され、さらにマイク１３等の各種入力機器によってマルチモーダル情報２４（映像情報７を含む）が本体記憶手段２０に記録されているものについて例示するものとする。また、記録された治療行為を、時間情報５によって同期し、記録してリスト化したイベントリスト４の作成、各治療行為に対する事前選択情報３２及び事後選択情報３５の作成も既に完了し、本体記憶手段２０等に記憶されているものとする。以下、上記前提に基づいて、治療行為の内容の詳細を事後に検討する作業の際に、本実施形態の映像表示装置１を使用し、重要な箇所を示すモダリティを表示し、再生するものについて例示する。

まず、本体記憶手段２０に記憶され、既に生成されているイベントリスト４を表示部１１に表示する（ステップＳ１：図５右参照）。そして、表示箇所の治療行為を経過時間などから指定する旨の入力がコンソール１５を介して有るか否かを検出する（ステップＳ２）。なお、係る入力は、例えば、表示部１１の表示画面１１ａに表示されたイベントリスト４の各項目をマウスなどのポインティングデバイスでクリックし、指定するものであっても構わない。

係る旨の入力が有る場合（ステップＳ２においてＹＥＳ）、指定された治療行為に対応する選択情報２を特定する（ステップＳ３）。一方、係る旨の入力がない場合（ステップＳ２においてＮＯ）、係る旨の入力が有るまでステップＳ２の処理を継続する。

その後、指定された治療行為に対応する事前選択情報３２が本体記憶手段２０に有るか否かの判断がなされ（ステップＳ４）、事前選択情報３２が有る場合（ステップＳ４においてＹＥＳ）、選択情報記憶手段２６に予め記憶されている選択情報２に事前選択情報３２の内容を加え、治療行為の内容及び治療室３のカメラ６の設置状況等を考慮して選択情報２を改めて算出する（ステップＳ５）。一方、治療行為に対応する事前選択情報３２が存在しない場合（ステップＳ４においてＮＯ）、新たな選択情報２の算出は行われず、選択情報記憶手段２６に記憶された選択情報２を後述の選択処理にそのまま使用する。

さらに、映像表示装置１は、治療者２７ａ，２７ｂの予測不可能な動きが治療行為中に発生し、カメラ６の撮影領域を治療者２７ａ，２７ｂが遮蔽するような動きを検出し、その結果が事後選択情報３５として、本体記憶手段２０に予め記憶されている。そして、この事後選択情報３５が、対象となる治療行為に対応して存在しているか否かを検出し（ステップＳ６）、事後選択情報３５が存在する場合（ステップＳ６においてＹＥＳ）、事後選択情報３５に基づいて改めて選択情報２を算出する（ステップＳ７）。一方、治療行為に対応する事後選択情報３５が存在しない場合（ステップＳ６においてＮＯ）、新たな選択情報２の算出を行わず、選択情報記憶手段２６に記憶された、或いは事前選択情報３２によって新たに算出されたそれぞれの選択情報２を後述の選択処理にそのまま使用する。

ここで、選択情報２の事前選択情報３２及び事後選択情報３５を利用した算出の一例について、主に図４に基づいて説明する。なお、説明を簡略化するために、ここでは治療室３に各コーナーにそれぞれ一台ずつ計四台のカメラ６（カメラＡ、カメラＢ、カメラＣ、及びカメラＤ）を設置し、治療室３の中央にストレッチャー３７に配し、さらにその上に被治療者１６が横たわっている例について説明する。なお、被治療者１６の周りには、医師及び看護士からなる二名の治療者２７ａ，２７ｂが治療にあたるケースを想定している。このような状況で、被治療者１６が心停止状態となり、除細動器（図示しない）による電気刺激を必要とする場合、四台のカメラ６のそれぞれの配置及び撮影条件、及び除細動器を使用する際の被治療者１６と治療者２７ａ，２７ｂの位置関係などの事前選択情報３２に基づいて選択情報２が算出される。なお、本実施形態の映像表示装置１では、各カメラ６に対する重要度を表すものとして数値を利用している。

その結果、事前選択情報３２を利用したことにより、カメラＡが０．８ポイント、カメラＢが０．６ポイント、カメラＣが０．５ポイント、カメラＤが０．２ポイントの選択情報２が得られる（図４における紙面左上参照）。これによると、カメラＡからカメラＤの順序で重要な箇所を示すモダリティが含まれた映像情報７が記憶されている。そして、この選択情報２の算出結果と、検出された治療者２７ａ，２７ｂの動き（例えば、図４における矢印参照）によって被治療者１６がカメラ６から遮蔽されたことに係る事後選択情報３５（遮蔽情報）に基づいて、最終的な選択情報２が算出される（ステップＳ７）。すなわち、図４紙面右上に示されるように、治療室３に設置されたカメラＢ及びカメラＣの撮影領域が治療者２７ａ，２７ｂによってそれぞれ遮蔽されている。つまり、カメラＢ及びカメラＣは、被治療者１６または治療部位（患部）の画像を撮影することができない。そして、この治療者２７ａ，２７ｂによる遮蔽に関する情報（遮蔽情報）を事後選択情報３５として取得し、前述の事前選択情報３２を利用し、改めて算出された選択情報２に係る内容が付加され、選択情報２が再算出される。この場合、カメラＡ及びカメラＤ（遮蔽無）に対しては、”α＝１”が与えられ、カメラＢ及びカメラＣ（遮蔽有）に対しては、”α＝０”が与えられ、事前選択情報３２を利用して算出された選択情報２の各値にαの値を掛ける処理がステップＳ７によって行われる。その結果、図４紙面下方に示されるように、カメラＡが０．８ポイント、カメラＢ及びカメラＣが０．０ポイント、カメラＤが０．２ポイントの選択情報２を得ることができる。これにより、カメラＡで撮影した映像情報７が選択映像情報８（重要な箇所のモダリティ）として選択される（ステップＳ８）。また、カメラＤで撮影した映像情報７が次候補の選択映像情報８ａとして認識される。なお、上記説明及び図４は、複数の映像情報７の中から選択映像情報８ａを選択する例について説明したが、その他の複数の音声情報１２や機器情報１７等の複数のセンサ出力から事前選択情報３２または事後選択情報３５を利用して一つの音声情報１２や機器情報１７等を選択するものであってもよい。例えば、音声情報１２の場合、治療行為（例えば、除細動）に対し、治療者２７ａ（医師に相当）の音声を取得するマイクＡに対し、１．０ポイント、治療者２７ｂ（看護士に相当）の音声を取得するマイクＢに対し、０．７ポイント、さらに別の治療者（図示しない）の音声を取得するマイクＣに対し、０．５ポイントのような事前選択情報３２を設定し、治療者２７ａによって取得された音声情報１２に大きなノイズが含まれる場合には、マイクＢによって取得された音声が選択音声情報として出力されるようにするものが想定される。この場合、それぞれのマイクＡ，Ｂ，Ｃによって取得された音声情報１２に含まれるノイズの判定は、予め設定した設定値よりも音圧が大きくなった場合にノイズが多く含まれていると判断するようにすることができる。一方、機器情報１７のようなセンサ出力の場合であっても、被治療者１６のバイタルサインを取得可能な心電計や血圧計（いずれも図示しない）に対し、それぞれの治療行為（例えば、除細動）について、心電計には１．０ポイント、血圧計には０．７ポイントのような事前選択情報３２を設定し、治療行為中の血圧計の値が急激に変化するようなした場合などに、血圧計に付与されているポイントを倍にするなどの事後選択情報３５を加味する処理を行うことができる。また、これらの処理は、映像情報７、音声情報１２、機器情報１７等のセンサ出力をそれぞれ独立して選択するものであっても、それぞれの情報７等を組み合わせ、一つのモダリティを選択するものであっても構わない。すなわち、音声情報１２から映像情報７に含まれる重要な箇所を算出し、当該映像情報７を選択映像情報８ａとして表示したり、或いは映像情報７から重要な箇所を示す音声情報１２や機器情報１７等のセンサ出力を選択し、情報提示することができるようにするものであってもよい。

さらに、本実施形態の映像表示装置１は、同期して捉えられた複数の映像情報７を一つの画像に統合して表示可能な統合映像情報９を作成する（ステップＳ９）。その後、選択情報２に基づいて選択された選択映像情報８及び作成された統合映像情報９を表示部１１の表示画面１１ａに同期して表示し、再生するように制御する（ステップＳ１０）。これにより、複数の映像情報７の中から選択情報２に基づいて、重要箇所を示す選択映像情報８を選択し、当該選択映像情報８を大きく拡大し、表示部１１の表示画面１１ａに再生することができる。また、この際に、係る選択映像情報８と同じタイミングで撮影された複数の映像情報７を一つに統合し、それぞれ表示サイズを縮小して表示可能な統合映像情報９を同一画面上に合わせて表示することにより、治療行為の全体の流れの把握と、より重要な箇所の細部の把握とを同時に行うことができる。なお、統合映像情報９の表示の際には、算出された選択情報２に基づいて、次候補の選択映像情報８ａ（上述の例の場合、カメラＤによって撮影された映像情報７に相当）を他の映像情報７と区別するためにマーキングするような処理を統合映像情報９に重畳して表示するようなものであってもよい。また、マウス等を操作し、強調表示された次候補の選択映像情報８ａをクリックによって指定することにより、選択映像情報８を表示する選択表示画面３９の画面表示を切換えるようにするものであっても構わない。なお、図５においては、強調表示の一例として、当該画像表示部分の全体をハッチングしたものを示しているが、例えば、これらの輪郭部分を色を変化させて囲むような処理を行うものであってもよい。

なお、図５に示すように、選択映像情報８及び統合映像情報９が表示される表示部１１の表示画面１１ａには、その他の表示として、再生する箇所の治療行為を含むイベントリスト４が同時に表示されるとともに、選択映像情報８等の表示を停止または一時停止したり、再表示するような各種操作ボタン４０ａ，４０ｂ，４０ｃ及び全体の進行状況を表す進行表示バー４１などが表示されている。これにより、映像表示装置１を操作する操作者は、任意のタイミングで表示を停止したり、所望する選択映像情報８等の頭出し部分を呼出す操作を簡易に行うことができるようになる。また、イベントリスト４の下方には、イベントリスト４の各項目を追加、変更、削除等をするためのリスト操作ボタン４２ａ，４２ｂ，４２ｃがそれぞれ設けられている。

その後、映像表示装置１は、係る選択映像情報８等の表示処理を停止する旨の指示の有無を受付け（ステップＳ１１）、係る指示がある場合（ステップＳ１１においてＹＥＳ）、選択映像情報８等の表示を停止する処理を行う（ステップＳ１２）。一方、停止する旨の指示がない場合（ステップＳ１１においてＮＯ）、ステップＳ２の処理に戻り、新たに表示する治療行為を記憶された複数のイベントリスト４から指定する旨が入力されるのを待機する。

以上、説明したように、本実施形態の映像表示装置１は、複数のカメラ６を利用して記録された映像情報７から、予め記憶した選択情報２、または治療行為に対して規定された事前選択情報３２及び／または事後選択情報３５によって算出された選択情報２を利用することにより、治療行為の際の重要な箇所を示す選択映像情報８を選択し、表示画面１１ａに細部の詳細までわかるように拡大して表示することができる。これにより、個々の映像情報７に対して、頭出しを容易にするために行われるインデックス情報の付与作業が必要とならず、重要な箇所に係る情報を常に表示することができるようになる。そのため、事後に治療行為の内容を検討する場合、治療者２７ａ，２７ｂの処置に対する評価や被治療者１６の容体の急変に対する対応などの適切性の評価が速やかに行われるようになる。また、複数の映像情報７を一つに統合した統合映像情報９を作成し、これを表示することにより、治療行為全体の把握及び治療者２７ａ，２７ｂ等の大まかな動きを把握することが可能となる。また、選択情報２に基づいて、選択された選択映像情報８の次に重要な次候補の選択映像情報８ａがマーキングなどによって強調表示されることにより、係る次候補の選択映像情報８ａの内容を拡大表示し、詳細を確認することができる。その結果、治療行為の内容の把握が容易となり、治療者２７ａ，２７ｂに対し、治療行為に関する有益な情報を与えることができる。

以上、本発明について好適な実施形態を挙げて説明したが、本発明はこれらの実施形態に限定されるものではなく、以下に示すように、本発明の要旨を逸脱しない範囲において、種々の改良及び設計の変更が可能である。

すなわち、本実施形態の映像表示装置１において、重要な箇所を示すマルチモーダル情報として、映像情報７を利用するものを示したが、これに限定されるものではなく、その他の情報（音声情報１２、テキスト情報１４、機器情報１７等のセンサ出力）を選択し、表示するものであっても構わない。また、これらのマルチモーダル情報２４を表示部１１を利用して、視覚を通じて提示する以外にも、音声情報１２をスピーカーなどから出力し、聴覚を通じて提示するなど、種々の情報伝達手段を用いるものであっても構わない。

また、救急救命医療の治療室３における治療行為をイベントとして記録するものを示したが、これに限定されるものではなく、医療分野以外においても本発明の映像表示装置を適用することは可能である。例えば、ビルなど各種施設に設置された防犯用の監視カメラの映像から侵入者や不審者などを特定し、表示したりするもの、或いはスポーツ、武術、舞踊などの各種技能を取得する目的で撮影した画像情報に適用することも可能である。さらに、工場などにおける製品を製造する工程の流れ（製造工程）を撮影したもの、或いは芝居、テレビ番組、料理、生け花、及び武道の型など、シナリオや手順（標準的工程フローに相当）に則った動きなどの記録に適用することができる。

本実施形態の映像表示装置の機能的構成を示すブロック図である。 映像表示装置における表示処理の流れを示すフローチャートである。 映像表示装置における表示処理の流れを示すフローチャートである。 重要度情報の算出を模式的に示す説明図である。 表示部の表示画面の一例を示す説明図である。

符号の説明

１ 映像表示装置
２ 選択情報
４ イベントリスト
６ カメラ
７ 映像情報（映像）
８，８ａ 選択映像情報
９ 統合映像情報（統合映像）
１１ 表示部（映像表示手段）
１１ａ 表示画面
１２ 音声情報（音声）
１４ テキスト情報（テキスト）
１６ 被治療者
１７ 機器情報（センサ出力）
２３ 画像情報取得手段
２４ マルチモーダル情報
２５ 情報取得手段
２６ 選択情報記憶手段
２８ 統合映像情報作成手段
２９ 統合映像情報表示制御手段（映像表示手段）
３０ 映像選択手段
３１ 選択映像情報表示制御手段（映像表示手段）
３２ 事前選択情報
３３ 事前算出手段
３４ 変化検出手段
３５ 事後選択情報
３６ 事後算出手段

Claims (10)

1. 標準的工程フローに基づいて行為の記録情報を再生する映像表示装置において、
   前記記録情報は、映像、音声、テキスト、センサ出力、のモダリティから得られるいずれか少なくともひとつの情報を、前記行為中に発生したイベントをリスト化したイベントリストに同期して記録したマルチモーダル情報であって、再生時には前記イベントリストに基づいてイベント毎にモダリティを選択するモダリティ選択手段を備え、前記モダリティ選択手段から得られた選択情報によって選択された前記モダリティを映像化し表示する、及び／または音声出力する映像表示手段を備えたことを特徴とする映像表示装置。
2. 前記モダリティ選択手段は、
   前記マルチモーダル情報を記録する機器の設置位置、前記機器の制御設定、前記行為に関する事前知識のいずれか少なくともひとつに基づいて予め設定できる事前選択情報に基づくことを特徴とする請求項１に記載の映像表示装置。
3. 前記モダリティ選択手段は、
   行為の進行に伴って発生する前記イベント中の情報を検出した事後選択情報に基づくことを特徴とする請求項１または請求項２に記載の映像表示装置。
4. 前記映像表示手段は、
   複数の映像情報を統合した統合映像と、前記統合映像とともに前記モダリティ選択手段によって得られる前記選択情報とを表示することを特徴とする請求項１乃至請求項３のいずれか一つに記載の映像表示装置。
5. 前記標準的工程フローは標準的治療プログラムであることを特徴とする請求項１乃至請求項４のいずれか一つに記載の映像表示装置。
6. 記録情報は、映像、音声、テキスト、センサ出力、のモダリティから得られるいずれか少なくともひとつの情報を、前記行為中に発生したイベントをリスト化したイベントリストに同期して記録したマルチモーダル情報であって、再生時には前記イベントリストに基づいてイベント毎にモダリティを選択するモダリティ選択手段を備え、前記モダリティ選択手段から得られた選択情報によって選択された前記モダリティを映像化し表示する、及び／または音声出力する映像表示手段として、標準的工程フローに基づいて行為の記録情報を再生する映像表示機能を実現させる映像表示プログラム。
7. 前記マルチモーダル情報を記録する機器の設置位置、前記機器の制御設定、前記行為に関する事前知識のいずれか少なくともひとつに基づいて予め設定できる事前選択情報に基づく前記モダリティ選択手段として、映像表示機能を実現させる請求項６に記載の映像表示プログラム。
8. 行為の進行に伴って発生する前記イベント中の情報を検出した事後選択情報に基づく前記モダリティ選択手段として、映像表示機能を実現させる請求項６または請求項７に記載の映像表示プログラム。
9. 複数の映像情報を統合した統合映像と、前記統合映像とともに前記モダリティ選択手段によって得られる前記選択情報とを表示する前記映像表示手段として、映像表示機能を実現させる請求項６乃至請求項８のいずれか一つに記載の映像表示プログラム。
10. 標準的治療プログラムを前記標準的工程フローとして利用し、映像表示機能を実現させる請求項６乃至請求項９のいずれか一つに記載の映像表示プログラム。

Images