JP2008271547A - 複数のソースの映像を配信および合成表示するためのシステムおよび方法 - Google Patents

Abstract

【課題】映像ソース入力コンポーネント（４２１）と、合成コンポーネント（４２２）と、合成映像出力コンポーネント（４２３）とを含む映像表示処理システム（３２０、４２０）を提供する。
【解決手段】映像ソース入力コンポーネント（４２１）は、複数の映像ソース（３１０、４１０）から映像データを受信するように適合されている。合成コンポーネント（４２２）は、映像データから合成映像イメージを生成するように適合されている。合成映像イメージは、少なくとも部分的にある設定に基づいている。この設定は、映像データの配置を指定する。合成映像出力コンポーネント（４２３）は、合成映像イメージを出力するように適合されている。
【選択図】図３

Description

本発明は、一般に映像処理に関する。詳細には、本発明は、複数のソースの映像を配信および合成表示するためのシステムおよび方法に関する。

多くの状況において、複数のソースからの映像データを単一のディスプレイ画面上に表示できることが望ましい。例えば、所与の動作環境はスペースが限られている場合があり、複数の表示が実用的でない場合がある。別の例として、単一の映像ソースが、大画面を有効に利用することができない場合がある。

複数のソースからの映像データストリームが表示されることのある１つの状況は、外科の手術室またはインターベンショナルラジオロジー室など医療環境にある。現在の手術室およびインターベンショナルラジオロジー室には、ブームまたは間接アームにかかったいくつかの映像画面がある。典型的に、各映像ディスプレイは、単一の情報システムまたは画像モダリティと接続されている。例えば、典型的な手術室は、１〜３つのディスプレイを備えた画像保管通信システム（「ＰＡＣＳ」）、１つのディスプレイを備えた電子医療記録（「ＥＭＲ」）システム、超音波ディスプレイ、画像収集ワークステーション、透視診断ディスプレイ、およびナビゲーションディスプレイを有する可能性がある。

図１は、手術室で複数のソースからの映像データを表示する現在のシステムの一例を示す。図１に示すように、ＰＡＣＳ、ＥＭＲシステム、麻酔システム、および透視システムなど様々なソースからの映像データは、それぞれ専用の画面に表示されることが可能である。すなわち、各システムが、映像ソースに特定の別々のディスプレイに表示される映像データを生成する。これらのディスプレイは、情報過多の一因となるばかりでなく、生命にかかわる決定を行うために必要な特定情報への誘導を著しく困難にもする。

無関係の表示が散乱することをある程度減らすために、映像配信システムが病院で使用されてきた。図２は、手術室で単一の画面に複数のソースからの映像データを表示する現在のシステムの一例を示す。図２に示すように、映像データは、様々な映像ソースから映像ケーブルによって映像ハブまで伝達される。映像ハブは、典型的にハードウェアの映像ルータである。次に映像ハブは、ユーザが様々な映像ソースの１つを選択して表示できるようにすることができる。すなわち、現在どのソースが選択されるかを映像ハブが制御し、一度にただ１つの映像ソースが表示される。あるいは、映像ハブは、ディスプレイを複数の表示域に分割し、各映像ソースからの映像データを倍率変更して画面の１区画を占めるようにすることができる。映像配信のこの方法に付随する主な問題は、各情報ソースが依然としてそのままの状態で表示されていること、また、１つの映像ソースしかユーザの対話に「アクティブ」とすることができないことである。すなわち、他の表示域が動的な情報を表示することはできるが、異なる情報システムと同時に対話する能力は備えられていない。

しかしながら、映像ハブを使用してもなお情報過多が発生する。ユーザは、複数の表示域で異なるシステムからの情報を見ること、または同じ表示域で、本質的な統合を行うことなくそのままの状態でこれらを順次切り替えることを余儀なくされる。ユーザはユーザ設定できる合成方法で各システムからの情報を表示すること、および該情報と対話することができない。その上、映像のルーティングおよび／または合成用のハードウェアは高価である。さらに、このようなシステムは、入力数に厳しい制限がある。すなわち、多くのシステムは、一定数より多くの映像供給を処理することができない。
米国特許第６，１６７，２９６号公報 米国特許出願第２００７／００４１６６０号公報 国際公開第０２／４１１３６号公報 国際公開第９４／２４６３１号公報 国際公開第００／５６２１５号公報

したがって、複数のソースの映像を配信および合成表示するシステムおよび方法の必要性がある。

本発明のある実施形態は、映像ソース入力コンポーネントと、合成コンポーネントと、合成映像出力コンポーネントとを含む映像表示処理システムを提供する。映像ソース入力コンポーネントは、複数の映像ソースから映像データを受信するように適合されている。合成コンポーネントは、映像データから合成映像イメージを生成するように適合されている。合成映像イメージは、少なくとも部分的にある設定に基づく。この設定は、映像データの配置を指定する。合成映像出力コンポーネントは、合成映像イメージを出力するように適合されている。

本発明のある実施形態は、複数の映像ソースから映像データを受信すること、および映像データからの合成映像イメージを生成することを含む合成映像を提供する方法を提供する。合成映像イメージは、少なくとも部分的にある設定に基づく。この設定は、映像データの配置を指定する。

本発明のある実施形態は、コンピュータで実行される一連の命令を含むコンピュータ可読媒体を提供し、この一連の命令は、映像ソース入力ルーチンと、合成ルーチンと、合成映像出力ルーチンとを含む。映像ソース入力ルーチンは、複数の映像ソースから映像データを受信するように構成されている。合成ルーチンは、映像データから合成映像イメージを生成するように構成されている。合成映像イメージは、少なくとも部分的にある設定に基づく。合成映像出力ルーチンは、合成映像イメージを出力するように構成されている。

前述の要約、ならびに本発明のある実施形態の次の詳細な説明は、添付の図面と併せて読まれるとさらによく理解されるであろう。本発明を説明する目的で、ある実施形態を図面に示す。しかしながら、本発明は添付図面に示した配置および手段に限定されないことを理解されたい。

図３は、本発明の一実施形態による映像コンテンツ配信システム３００を示す。このシステム３００は、１つまたは複数の映像データソース３１０と、映像表示処理システム３２０と、ディスプレイ３３０とを含む。

映像表示処理システム３２０は、１つまたは複数の映像データソース３１０と通信している。映像表示処理システム３２０は、ディスプレイ３３０と通信している。

動作中、映像データソース３１０により映像データが供給される。各映像データソース３１０からの映像データは、映像表示処理システム３２０に伝達される。映像表示処理システム３２０は、各映像データソース３１０からの映像データを結合して、合成映像イメージを生成する。次にこの合成映像イメージが、映像表示処理システム３２０からディスプレイ３３０へ出力される。このときディスプレイ３３０が合成映像イメージを表示する。

映像データは、表示することを意図された情報を含むことができる。例えば、映像データソース３１０上のアプリケーションは、ディスプレイ３３０のようなディスプレイ上に表示されることを目的とする映像データを生成することができる。

図３の実施形態に示すように、映像コンテンツ配信システム３００は、手術室またはインターベンショナルラジオロジー室など、医療施設で使用されることがある。映像データソース３１０は、例えばＰＡＣＳ、ＥＭＲシステム、麻酔システム、および／または透視システムを含むことができる。例えば、映像データソース３１０は、ＰＡＣＳワークステーションである場合がある。別の例として、映像データソース３１０は、画像モダリティである場合がある。

映像データソース３１０は、例えばネットワークによって映像表示処理システム３２０と通信することができる。例えば、映像データソース３１０は、有線イーサネット（商標）ネットワークによって通信することができる。別の例として、映像データソース３１０は、無線ネットワークによって通信することができる。別の例として、映像データソース３１０は、同軸映像ケーブルによって通信することができる。映像データは、例えば映像表示処理システム３２０に伝達されるストリーミング映像である場合がある。

映像表示処理システム３２０は、映像データソース３１０から映像データを受信するように適合されている。映像表示処理システム３２０は、受信した映像データから合成映像イメージを生成するように適合されている。すなわち、映像表示処理システム３２０は、受信した映像データを１つの映像イメージに結合するように適合されている。例えば、映像データは、４つの映像データソース３１０から映像表示処理システム３２０により受信される場合がある。映像表示処理システム３２０は次に、４つの映像データソース３１０の各々からの映像データに映像イメージの４分の１を割り当てることによって、映像データを結合して合成映像イメージにすることができる。別の例として、映像表示処理システム３２０は、図３に示すように各映像データソース３１０からの映像データに映像イメージの異なる形状の部分を割り当てることによって、合成映像イメージを生成することができる。別の例として、映像表示処理システム３２０は、受信した映像データのすべてより少ない映像データを結合して合成映像イメージにすることができる。例えば、４つの映像データソース３１０から映像データが受信されることがあるが、合成映像イメージは映像データソース３１０のうちの２つのみからの映像データを含む場合がある。

ある実施形態では、映像表示処理システム３２０は、少なくとも部分的にある設定に基づいて合成映像イメージを生成する。この設定は、映像データの配置を指定する。すなわち、この設定は、映像表示処理システム３２０が受信した映像データをどのように合成すべきかを示す。例えば、設定は、１つの映像データソース３１０から受信した映像データが画面の半分を占めるようになり、他の２つの映像データソースからの映像データが画面の残りの半分をそれぞれ３分の１と３分の２とに分割するということを示すことができる。設定は、ユーザ定義とすることができる。すなわち、ユーザは、様々な映像データソース３１０からの映像データの好ましい配置を指定することができる。例えば、外科医は、特定のシステムから次の要素のみを、すなわちＰＡＣＳから過去のＸ線診断（ＤＲ）画像を、ＥＭＲシステムから患者のアレルギー、現在の投薬、および家族歴を、麻酔システムから患者のバイタルサインを、透視システムからライブのカテーテルの位置付け画像を、および超音波システムから針または腫瘍のライブの位置付けを、表示することを希望する場合がある。

ある実施形態では、設定は少なくとも部分的に医療処置に基づく。例えば、マンモグラフィ生検術について設定は、ライブの超音波ならびに人口統計的情報および患者の家族歴を有するＥＭＲ画面と併せて過去のＰＥＴおよび超音波画像が表示されるように指示することができる。別の例として、ラジオ波熱凝固療法などの心臓の処置について設定は、透視システムからのライブ画像および胸部Ｘ線などＰＡＣＳからの事前の画像と併せて麻酔システムからのＥＫＧ情報および他のバイタルサインが表示されるように指示することができる。

ある実施形態では、設定は少なくとも部分的にハンギングプロトコルに基づく。すなわち、設定は、ＰＡＣＳの他のコンポーネントによって使用されるものと同様のデフォルトディスプレイプロトコル（ＤＤＰ）に基づくおよび／またはこれを含むことができる。例えば、様々な臨床シナリオは、ユーザが変更することができる様々な臨床基本設定を有することができる。

ディスプレイ３３０は、例えばテレビ、コンピュータモニタ、ＬＣＤ、またはプラズマ画面など標準的なディスプレイ装置とすることができる。ディスプレイ３３０は、映像表示処理システム３２０からの映像イメージ出力を表示するように適合されている。ディスプレイ３３０は、例えば同軸ケーブルまたはネットワークによって出力映像イメージを受信することができる。例えば、出力映像は、ストリーミング映像を用いてディスプレイ３３０に提供されることが可能である。

ある実施形態では、ディスプレイ３３０は２つ以上の画面を含む。例えば、ディスプレイ３３０は、単一のディスプレイとして機能する２つまたは４つの画面を含むことができる。

ディスプレイ３３０は、例えば以下に述べる、図５に示した方法と同様の方法で合成映像イメージを表示することができる。

図４は、本発明の一実施形態による映像コンテンツ配信システム４００を示す。このシステム４００は、１つまたは複数の映像データソース４１０と、映像表示処理システム４２０と、ディスプレイ４３０とを含む。

映像表示処理システム４２０は、１つまたは複数の映像データソース４１０と通信している。映像表示処理システム４２０は、ディスプレイ４３０と通信している。

映像データソース４１０の１つまたは複数は、例えば上述の映像データソース３１０と同様とすることができる。映像表示処理システム４２０は、例えば上述の映像表示処理システム３２０と同様とすることができる。ディスプレイ４３０は、例えば上述のディスプレイ３３０と同様とすることができる。

動作中、映像データソース４１０により映像データが提供される。各映像データソース４１０からの映像データは、映像表示処理システム４２０に伝達される。映像表示処理システム４２０は、各映像データソース４１０からの映像データを結合して、合成映像イメージを生成する。次にこの合成映像イメージが、映像表示処理システム４２０からディスプレイ４３０へ出力される。このときディスプレイ４３０が合成映像イメージを表示する。

映像データは、表示することを意図された情報を含むことができる。例えば、映像データソース４１０上のアプリケーションは、ディスプレイ４３０のようなディスプレイ上に表示されることを目的とする映像データを生成することができる。

映像コンテンツ配信システム４００は、手術室またはインターベンショナルラジオロジー室などの医療施設で使用されることが可能である。映像データソース４１０は、例えばＰＡＣＳ、ＥＭＲシステム、麻酔システム、および／または透視システムを含むことができる。例えば、映像データソース４１０は、ＰＡＣＳワークステーションである場合がある。別の例として、映像データソース４１０は、画像モダリティである場合がある。

映像データソース４１０により提供される映像データは、少なくとも部分的にアプリケーションによって生成されることが可能である。このアプリケーションは、少なくとも部分的に映像データソース４１０上で実行されることが可能である。例えば、ＥＭＲソフトウェアアプリケーションが映像データソース４１０であるコンピュータ上で実行されている場合があり、このコンピュータはこのＥＭＲソフトウェアアプリケーションに基づいた映像データを提供する。別の例として、映像データソース４１０は、画像モダリティの画像ビューなどのソフトウェアアプリケーションを含むことがある。

映像データソース４１０は、例えばネットワークによって映像表示処理システム４２０と通信することができる。例えば、映像データソース４１０は、有線イーサネット（商標）ネットワークによって通信することができる。別の例として、映像データソース４１０は、無線ネットワークによって通信することができる。別の例として、映像データソース４１０は、同軸映像ケーブルによって通信することができる。映像データは、例えば映像表示処理システム４２０に伝達されるストリーミング映像である場合がある。

映像表示処理システム４２０は、映像データソース４１０から映像データを受信するように適合されている。映像表示処理システム４２０は、受信した映像データから合成映像イメージを生成するように適合されている。すなわち、映像表示処理システム４２０は、受信した映像データを１つの映像イメージに結合するように適合されている。例えば、映像データは、４つの映像データソース４１０から映像表示処理システム４２０により受信される場合がある。映像表示処理システム４２０は次に、４つの映像データソース４１０の各々からの映像データに映像イメージの４分の１を割り当てることによって、映像データを結合して合成映像イメージにすることができる。別の例として、映像表示処理システム４２０は、図３および図５に示すように各映像データソース４１０からの映像データに映像イメージの異なる形状の部分を割り当てることによって、合成映像イメージを生成することができる。別の例として、映像表示処理システム４２０は、受信した映像データのすべてより少ない映像データを結合して合成映像イメージにすることができる。例えば、４つの映像データソース４１０から映像データが受信されることがあるが、合成映像イメージは映像データソース４１０のうちの２つのみからの映像データを含む場合がある。

ある実施形態では、映像表示処理システム４２０は、少なくとも部分的にある設定に基づいて合成映像イメージを生成する。この設定は、映像データの配置を指定する。すなわち、この設定は、映像表示処理システム４２０が受信した映像データをどのように合成すべきかを示す。例えば、設定は、１つの映像データソース４１０から受信した映像データが画面の半分を占めるようになり、他の２つの映像データソースからの映像データが画面の残りの半分をそれぞれ３分の１と３分の２とに分割するということを示すことができる。設定は、ユーザ定義とすることができる。すなわち、ユーザは、様々な映像データソース４１０からの映像データの好ましい配置を指定することができる。例えば、外科医は、特定のシステムから次の要素のみを、すなわちＰＡＣＳから過去のＤＲ画像を、ＥＭＲシステムから患者のアレルギー、現在の投薬、および家族歴を、麻酔システムから患者のバイタルサインを、透視システムからライブのカテーテルの位置付け画像を、および超音波システムから針または腫瘍のライブの位置付けを、表示することを希望する場合がある。

ある実施形態では、設定は少なくとも部分的に医療処置に基づく。ある実施形態では、設定は少なくとも部分的に医療処置に基づく。例えば、マンモグラフィ生検術では、ライブの超音波ならびに人口統計的情報および患者の家族歴を有するＥＭＲ画面と併せて過去のＰＥＴおよび超音波画像が表示されるように設定が指示することができる。別の例として、ラジオ波熱凝固療法などの心臓の処置では、透視システムからのライブ画像および胸部Ｘ線などＰＡＣＳからの事前の画像と併せて麻酔システムからのＥＫＧ情報および他のバイタルサインが表示されるように設定が指示することができる。

ある実施形態では、設定は少なくとも部分的にハンギングプロトコルに基づく。すなわち、設定は、ＰＡＣＳの他のコンポーネントによって使用されるものと同様のデフォルトディスプレイプロトコル（ＤＤＰ）に基づくおよび／またはこれを含むことができる。例えば、様々な臨床シナリオは、ユーザが変更することができる様々な臨床基本設定を有することができる。

ある実施形態では、映像表示処理システム４２０は、映像ソース入力コンポーネント４２１を含む。映像ソース入力コンポーネント４２１は、１つまたは複数の映像データソース４１０から映像データを受信するように適合されている。例えば、映像ソース入力コンポーネント４２１は、複数の映像データソース４１０からのストリーミング映像の受信を処理することができる。別の例として、映像表示処理システム４２０は、複数の映像ソース入力コンポーネント４２１を含むことができる。この設定では、各映像ソース入力コンポーネント４２１は、映像データソース４１０の一部を処理することができる。この設定は、映像ソース入力コンポーネント４２１が限定された数の映像データソース４１０を処理することができる場合に望ましい可能性があり、したがって複数の映像ソース入力コンポーネント４２１を使用して、映像データを受信する処理負荷を分散することができる。あるいは、複数の映像ソース入力コンポーネント４２１の場合、各映像ソース入力コンポーネント４２１は、異なる伝送媒体によって映像データを受信するように適合されることもある。例えば、１つの映像ソース入力コンポーネント４２１は、同軸ケーブルによって映像データを受信するように適合されることがあり、別の映像ソース入力コンポーネント４２１は、ネットワークを通してストリーミング映像として映像データを受信するように適合されることがある。別の例として、映像ソース入力コンポーネント４２１は、ＶＧＡ、ＤＶＩ、またはＨＤＭＩ入力によってデータを受信するように適合されることもある。

ある実施形態では、映像表示処理システム４２０は、合成コンポーネント４２２を含む。合成コンポーネント４２２は、映像データを結合して、合成映像イメージを生成するように適合されている。映像データは、例えば上述の映像データソース４１０から受信されることが可能である。映像データは、例えば上述の映像ソース入力コンポーネント４２１によって受信される映像データとすることができる。合成コンポーネント４２２は、上述の設定と同様のある設定に少なくとも部分的に基づいて合成映像イメージを生成することができる。

ある実施形態では、映像表示処理システム４２０は、合成映像出力コンポーネント４２３を含む。合成映像出力コンポーネント４２３は、合成映像イメージを提供するように適合されている。合成映像イメージは、例えば上述の合成コンポーネント４２２により生成された合成映像イメージとすることができる。合成映像イメージは、ディスプレイ４３０などのディスプレイに提供されることが可能である。合成映像出力コンポーネント４２３は、様々な方法で合成映像イメージを提供することができる。例えば、合成映像出力コンポーネント４２３は、同軸映像ケーブルによって合成映像イメージを提供することができる。別の例として、合成映像出力コンポーネント４２３は、ネットワークを通してストリーミング映像として合成映像イメージを提供することができる。

ある実施形態では、映像表示処理システム４２０は、ユーザインターフェースコンポーネント４２４を含む。ユーザインターフェースコンポーネント４２４は、ユーザからの入力を受信するように適合されている。ユーザは、例えば医者など医療提供者である場合がある。

ある実施形態では、ユーザインターフェースコンポーネント４２４は、ユーザが設定を変更することができるように適合されている。例えば、ユーザは、デフォルトの設定から好ましい配置へ設定を変更することができる。別の例として、ユーザは、処置の特定の部分のためにナビゲーション映像ソースにより提供される細部を拡大するために設定を変更することができる。

ある実施形態では、ユーザインターフェースコンポーネント４２４は、ユーザが２つ以上のソースアプリケーションと途切れなく対話することができるように適合されている。すなわち、ユーザインターフェースコンポーネント４２４は、ユーザが映像表示処理システム４２０に提供される映像データを生成するアプリケーションと、あたかも各アプリケーションと直接対話しているかのように対話することができるようにする。

ある実施形態では、ユーザインターフェースコンポーネント４２４は、ユーザの入力データをソースアプリケーションに提供するように適合されている。すなわち、ユーザインターフェースコンポーネント４２４は、ユーザが対話している生成された合成映像イメージの範囲に関連する映像データの提供を担うソースアプリケーションにユーザの入力を提供する。

ある実施形態では、映像表示処理システム４２０は、アプリケーションフィードバックコンポーネント４２５を含む。アプリケーションフィードバックコンポーネント４２５は、ソースアプリケーションにフィードバックを提供するように適合されている。フィードバックは、少なくとも部分的に設定に基づいて提供される。例えば、フィードバックコンポーネント４２５は、映像表示処理システム４２０に映像データを提供しているアプリケーションに、表示されている画面の領域は画面のほんの小さい部分であることを通知することができる。その結果、ソースアプリケーションは、ソースアプリケーションが含む情報の要約または凝縮した表示のみを有する映像データを提供することができる。後にユーザが設定を変更することを決定し、画面のより多くをこのアプリケーションに割り当てる場合、アプリケーションフィードバックコンポーネント４２５は、ソースアプリケーションに変更を通知し、その結果ソースアプリケーションは、より多くの情報を有する映像データを提供することができる。例えば、麻酔アプリケーションが、画面のほんの狭い部分を占めるように設定されているとき、このアプリケーションからの映像データは、簡単なグラフおよび酸素飽和度の数字のみを含むことができる。後にユーザが設定を変更して画面の半分をこのアプリケーションに提供する場合、麻酔アプリケーションは、より詳細なグラフおよび様々な関連記録を有する映像データを提供することができる。

ディスプレイ４３０は、例えばテレビ、コンピュータモニタ、ＬＣＤ、またはプラズマ画面など標準的なディスプレイ装置とすることができる。ディスプレイ４３０は、映像表示処理システム４２０からの映像イメージ出力を表示するように適合されている。ディスプレイ４３０は、例えば同軸ケーブルまたはネットワークによって出力映像イメージを受信することができる。例えば、出力映像は、ストリーミング映像を用いてディスプレイ４３０に提供されることが可能である。

ある実施形態では、ディスプレイ４３０は２つ以上の画面を含む。例えば、ディスプレイ４３０は、単一のディスプレイとして機能する２つまたは４つの画面を含むことができる。

ディスプレイ４３０は、例えば以下に述べる、図５に示した方法と同様の方法で合成映像イメージを表示することができる。

映像コンテンツ配信システム３００および映像コンテンツ配信システム４００のコンポーネント、要素、および／または機能性は、例えばハードウェア、ファームウェアに単独でもしくは様々な形態で組み合わせて、および／またはソフトウェアに一連の命令として実装されることが可能である。ある実施形態は、汎用コンピュータまたは他の処理装置で実行される、メモリまたはハードディスクなどのコンピュータ可読媒体にある一連の命令として提供されることもある。

図５は、本発明の一実施形態により生成された例示的ディスプレイ画面５００を示す。画面５００は、例えば上述のディスプレイ３３０および／またはディスプレイ４３０と同様のディスプレイに表示されることが可能である。

図５に示すディスプレイ画面５００は、４つの映像ソースを非対称的に表示されるように設定されている。画面５００は、例えばデフォルトの設定に基づくことが可能である。例えば、この設定は、特定のタイプの操作用のデフォルトである場合がある。別の例として、画面５００は、特定ユーザの好みに基づいて設定されることも可能である。

ユーザは、合成映像イメージに示された映像データを生成する４つのアプリケーションの各々と途切れなく対話することができる。すなわち、ユーザは、画面５００の各アプリケーションの領域と、あたかもアプリケーションと直接に対話しているかのように対話することができる。このような対話は、例えば上述のユーザインターフェースコンポーネント４２４などのユーザインターフェースコンポーネントによって行われることがある。

各映像ソースの映像データを生成する各アプリケーションは、設定に関するフィードバックを受信することができる。例えば、ＥＭＲアプリケーションは、画面５００のＥＭＲの現在の領域は小さいコーナーであることを示すフィードバックを受信することができ、ゆえにＥＭＲアプリケーションは、表示される要約情報のみを提供することができる。ユーザが後に設定を変更してＥＭＲ映像データにより大きい領域を与える場合、ＥＭＲアプリケーションは映像データにより多くの情報を提供することができる。フィードバックは、例えば上述のアプリケーションフィードバックコンポーネント４２５と同様のアプリケーションフィードバックコンポーネントによりアプリケーションに提供されることが可能である。

図６は、本発明の一実施形態による合成映像を提供する方法６００の流れ図を示している。この方法６００は、次のステップを含み、これについて以下にさらに詳細に説明する。ステップ６１０で、１つまたは複数の映像データソースから映像データを受信する。ステップ６２０で、少なくとも部分的にある設定に基づいて、映像データから合成映像イメージを生成する。ステップ６３０で、ソースアプリケーションにユーザの入力データを提供する。ステップ６４０で、ソースアプリケーションにフィードバックを提供する。方法６００は、上述のシステムの要素に関して説明しているが、他の実装が可能であることを理解されたい。

ステップ６１０で、１つまたは複数の映像データソースから映像データを受信する。この映像データソースは、例えば上述の映像データソース３１０および／または映像データソース４１０と同様とすることができる。この映像データは、例えば上述の映像表示処理システム３２０および／または映像表示処理システム４２０と同様の映像表示処理システムにより受信されることが可能である。

この映像データは、表示することを意図された情報を含むことができる。例えば、映像データソース上のアプリケーションは、このディスプレイのようなディスプレイ上に表示されることを目的とする映像データを生成することができる。このディスプレイは、例えば上述のディスプレイ３３０および／またはディスプレイ３４０と同様とすることができる。

この映像データソースは、例えばＰＡＣＳ、ＥＭＲシステム、麻酔システム、および／または透視システムを含むことができる。例えば、映像データソースは、ＰＡＣＳワークステーションである場合がある。別の例として、映像データソースは、画像モダリティである場合がある。

映像データソースにより提供される映像データは、少なくとも部分的にアプリケーションによって生成されることが可能である。このアプリケーションは、少なくとも部分的に映像データソース上で実行されることが可能である。例えば、ＥＭＲソフトウェアアプリケーションが、映像データソースであるコンピュータ上で実行されている場合があり、このコンピュータはこのＥＭＲソフトウェアアプリケーションに基づいた映像データを提供する。別の例として、映像データソースは、画像モダリティの画像ビューなどのソフトウェアアプリケーションを含むことがある。

映像データは、例えばネットワークによって通信される場合がある。例えば、映像データソースは、有線イーサネット（商標）ネットワークによって通信することができる。別の例として、映像データソースは、無線ネットワークによって通信することができる。別の例として、映像データソースは、同軸映像ケーブルによって通信することができる。映像データは、例えば映像表示処理システムに伝達されるストリーミング映像である場合がある。

ある実施形態では、映像データは映像ソース入力コンポーネントにより受信される。映像ソース入力コンポーネントは、例えば上述の映像ソース入力コンポーネント４２１と同様である場合がある。

ステップ６２０で、少なくとも部分的にある設定に基づいて、映像データから合成映像イメージを生成する。合成映像イメージは、例えば上述の映像表示処理システム３２０および／または映像表示処理システム４２０と同様の映像表示処理システムにより生成されることが可能である。映像データは、例えば上述のステップ６１０で受信された映像データである場合がある。

合成映像イメージは、受信された映像データを結合することによって生成されることが可能である。例えば、映像データは、４つの映像データソースから受信されることがある。受信された映像データは次に、４つの映像データソースの各々からの映像データに映像イメージの４分の１を割り当てることによって、合成映像イメージに結合されることが可能である。別の例として、合成映像イメージは、図３および図５に示すように各映像データソースからの映像データに映像イメージの異なる形状の部分を割り当てることによって生成されることが可能である。別の例として、合成映像イメージは、受信された映像データのすべてより少ないデータを含むことがある。例えば、４つの映像データソースから映像データが受信されることがあるが、合成映像イメージはこの映像データソースのうちの２つのみからの映像データを含む場合がある。

設定は、映像データの配置を指定する。すなわち設定は、受信された映像データがどのように合成されるべきかを示す。例えば、設定は、１つの映像データソースから受信した映像データが画面の半分を占めるようになり、他の２つの映像データソースからの映像データが画面の残りの半分をそれぞれ３分の１と３分の２とに分割するということを示すことができる。設定は、ユーザ定義とすることができる。すなわち、ユーザは、様々な映像データソースからの映像データの好ましい配置を指定することができる。例えば、外科医は、特定のシステムから次の要素のみを、すなわちＰＡＣＳから過去のＤＲ画像を、ＥＭＲシステムから患者のアレルギー、現在の投薬、および家族歴を、麻酔システムから患者のバイタルサインを、透視システムからライブのカテーテルの位置付け画像を、および超音波システムから針または腫瘍のライブの位置付けを、表示することを希望する場合がある。

ある実施形態では、設定は少なくとも部分的に医療処置に基づく。ある実施形態では、設定は少なくとも部分的に医療処置に基づく。例えば、マンモグラフィ生検術では、ライブの超音波ならびに人口統計的情報および患者の家族歴を有するＥＭＲ画面と併せて過去のＰＥＴおよび超音波画像が表示されるように設定が指示することができる。別の例として、ラジオ波熱凝固療法などの心臓の処置では、透視システムからのライブ画像および胸部Ｘ線などＰＡＣＳからの事前の画像と併せて麻酔システムからのＥＫＧ情報および他のバイタルサインが表示されるように設定が指示することができる。

ある実施形態では、設定は少なくとも部分的にハンギングプロトコルに基づく。すなわち設定は、ＰＡＣＳの他の構成要素によって使用されるものと同様のデフォルトディスプレイプロトコル（ＤＤＰ）に基づくおよび／またはこれを含むことができる。例えば様々な臨床シナリオは、ユーザが変更することができる様々な臨床基本設定を有することができる。

ある実施形態では、合成映像イメージは、合成コンポーネントによって生成されることが可能である。合成コンポーネントは、例えば上述の合成コンポーネント４２２と同様とすることができる。

ステップ６３０で、ソースアプリケーションにユーザの入力データを提供する。ユーザの入力データは、例えば医者または他の医療提供者などのユーザから受信されることがある。ある実施形態では、ユーザの入力データは、例えば上述のユーザインターフェースコンポーネント４２４と同様のユーザインターフェースコンポーネントにより受信される。

ユーザの入力データは、ソースアプリケーションに提供され、ユーザは２つ以上のソースアプリケーションと途切れなく対話することが可能になる。すなわちユーザは、合成映像イメージを生成するために使用される映像データを生成するアプリケーションと、あたかも各アプリケーションと直接対話しているかのように対話することができる。

ユーザの入力データは、ユーザが対話している生成された合成映像イメージの範囲に関連する映像データの提供を担うソースアプリケーションに提供される。

ステップ６４０で、ソースアプリケーションにフィードバックを提供する。ある実施形態では、フィードバックは、例えば上述のアプリケーションフィードバックコンポーネント４２５と同様のアプリケーションフィードバックコンポーネントにより提供される。

フィードバックは、少なくとも部分的に設定に基づいて提供される。例えば、映像データを映像表示処理システムに提供しているアプリケーションは、表示されている画面の領域は画面のほんの小さい部分であることを通知されることが可能である。その結果、ソースアプリケーションは、ソースアプリケーションが含む情報の要約または凝縮した表示のみを有する映像データを提供することができる。後にユーザが設定を変更することを決定し、画面のより多くをこのアプリケーションに割り当てる場合、ソースアプリケーションは変更を通知されることが可能であり、その結果ソースアプリケーションは、より多くの情報を有する映像データを提供することができる。例えば、麻酔アプリケーションが、画面のほんの狭い部分を占めるように設定されているとき、このアプリケーションからの映像データは、簡単なグラフおよび酸素飽和度の数字のみを含むことができる。後にユーザが設定を変更して画面の半分をこのアプリケーションに提供する場合、麻酔アプリケーションは、より詳細なグラフおよび様々な関連記録を有する映像データを提供することができる。

方法６００の１つまたは複数のステップは、例えばハードウェア、ファームウェアに単独でもしくは組み合わせて、および／またはソフトウェアに一連の命令として、実装されることが可能である。ある実施形態は、汎用コンピュータまたは他の処理装置で実行される、メモリ、ハードディスク、ＤＶＤ、またはＣＤなどのコンピュータ可読媒体にある一連の命令として提供されることもある。

本発明のある実施形態は、これらのステップのうちの１つまたは複数を省略すること、および／またはこれらのステップを記載した順序とは異なる順序で行うことができる。例えば、いくつかのステップは、本発明のある実施形態では行われないことがある。さらなる例として、あるステップは、同時を含めて上記とは異なる時間的順序で行われることがある。

したがって、本発明のある実施形態は、複数のソースの映像を配信および合成表示するためのシステムおよび方法を提供する。ある実施形態は、複数のソースの映像の配信および合成表示の技術的効果をもたらす。

ある実施形態に関連して本発明を説明したが、本発明の範囲から逸脱することなく様々な変更を行うことができ、また均等物を代用することができるということは、当業者に理解されるであろう。さらに、特定の状況または材料を本発明の教示内容に適合させるために、本発明の範囲を逸脱することなく多くの変更を行うことができる。したがって、本発明は、開示した特定の実施形態に限定されず、添付の特許請求の範囲の範囲内にあるすべての実施形態を含むものとする。また、図面の符号に対応する特許請求の範囲中の符号は、単に本願発明の理解をより容易にするために用いられているものであり、本願発明の範囲を狭める意図で用いられたものではない。そして、本願の特許請求の範囲に記載した事項は、明細書に組み込まれ、明細書の記載事項の一部となる。

手術室で複数のソースからの映像データを表示する現在のシステムの一例を示す図である。 手術室で単一の画面に複数のソースからの映像データを表示する現在のシステムの一例を示す図である。 本発明の一実施形態による映像コンテンツ配信システムを示す図である。 本発明の一実施形態による映像コンテンツ配信システムを示す図である。 本発明の一実施形態により生成された例示的ディスプレイ画面を示す図である。 本発明の一実施形態による合成映像を提供する方法の流れ図である。

符号の説明

３００、４００ 映像コンテンツ配信システム
３１０、４１０ 映像データソース
３２０、４２０ 映像表示処理システム
３３０、４３０ ディスプレイ

Claims (10)

1. 映像表示処理システム（３２０、４２０）であって、
   複数の映像ソース（３１０、４１０）から映像データを受信するように適合された映像ソース入力コンポーネント（４２１）と、
   前記映像データから合成映像イメージを生成するように適合された合成コンポーネント（４２２）であって、前記合成映像イメージは少なくとも部分的にある設定に基づき、前記設定は前記映像データの配置を指定する合成コンポーネント（４２２）と、
   前記合成映像イメージを出力するように適合された合成映像出力コンポーネント（４２３）と
   を含むシステム（３２０、４２０）。
2. 前記複数の映像ソース（３１０、４１０）が、画像保管通信システム、電子医療記録システム、麻酔システム、および透視システムのうちの少なくとも１つを含む、請求項１記載のシステム（３２０、４２０）。
3. ユーザからの入力を受信するように適合されたユーザインターフェースコンポーネント（４２４）をさらに含む、請求項１記載のシステム（３２０、４２０）。
4. 前記ユーザインターフェースコンポーネント（４２４）が、ユーザが前記設定を変更することができるように適合された、請求項３記載のシステム（３２０、４２０）。
5. 前記ユーザインターフェースコンポーネント（４２４）が、ユーザが前記複数のソースアプリケーションと途切れなく対話することができるように適合された、請求項３記載のシステム（３２０、４２０）。
6. 前記ユーザインターフェースコンポーネント（４２４）がユーザの入力データをソースアプリケーションに提供するように適合され、前記ソースアプリケーションが少なくとも部分的に前記映像ソース（３１０、４１０）のうちの１つの映像ソース上で実行され、前記映像ソース（３１０、４１０）からの前記映像データが少なくとも部分的に前記ソースアプリケーションにより生成される、請求項３記載のシステム（３２０、４２０）。
7. ソースアプリケーションにフィードバックを提供するように適合されたアプリケーションフィードバックコンポーネント（４２５）をさらに含み、前記フィードバックは少なくとも部分的に前記設定に基づいて提供される、請求項１記載のシステム（３２０、４２０）。
8. 少なくとも１つのソースアプリケーションが要約した映像データを提供する、請求項１記載のシステム（３２０、４２０）。
9. 前記設定が、少なくとも部分的に医療処置に基づいている、請求項１記載のシステム（３２０、４２０）。
10. 合成映像を提供する方法であって、
    複数の映像ソース（３１０、４１０）から映像データを受信することと、
    前記映像データから、前記映像データの配置を指定する設定に少なくとも部分的に基づいた合成映像イメージを生成することと
    を含む方法。

Images