JP2018534667A - データ表示装置 - Google Patents

Abstract

本発明は、データ表示装置に関する。少なくとも１つの表示ユニットに、第１のデータを表示すること（２０）が説明されている。少なくとも１つの入力ユニットのユーザ入力領域のユーザインタラクション部が決定され（３０）、少なくとも１つの表示ユニットに、第１のデータの一部が、少なくとも１つの入力ユニットのユーザ入力領域のユーザインタラクション部を表す第２の画像データと同時に表示される（４０）。

Description

本発明は、データ表示装置及びデータ表示方法だけでなく、コンピュータプログラム要素及びコンピュータ可読媒体にも関する。

幾つかの医学的応用において、例えば介入Ｘ線システムといった医用撮像システムを伴う医学的応用において、ユーザが、タッチデバイスといった入力デバイスのグラフィカルユーザインターフェース（ＧＵＩ）を、表示デバイスの異なる画面を見ながら操作する必要がある。しかし、ユーザが入力デバイスのＧＵＩを介して特定の機能を起動させる必要がある場合、ユーザは表示デバイスの画面から視線を離して、入力デバイスのＧＵＩの所要機能に対応するボタンをアクティブにし、行為の結果を判断するために表示デバイスに視線を戻す必要がある。同様の問題は、ユーザが、テレビ受像機を見ながらテレビ受像機のリモコンを使用する場合といった非医学的応用における入力ユニットとインタラクトする場合にも起きる。

米国特許出願公開第２０１２／０１８２２４４Ａ１号は、ノート型コンピュータ又はタブレット型コンピュータといった遠隔デバイスを介して専門家による医療処置で遠隔支援を提供するシステム及び方法に関する。医療デバイスによって生成されたビデオ出力及びカメラによって捕捉されたビデオが、ネットワークを介して送信され、遠隔デバイス上でレンダリングされる。

しかし、ユーザは依然として画像及び他のデータがどのように表示されているのかに関する必要なフィードバックが提供されない。

特に介入Ｘ線システムといった医用撮像システム向けに改良されたデータ表示技術があることが有利である。

本発明の課題は、独立請求項の主題によって達成され、更なる実施形態は、従属請求項に組み込まれる。なお、以下に説明される本発明の態様は、データ表示装置及びデータ表示方法だけでなく、コンピュータプログラム要素及びコンピュータ可読媒体にも当てはまる。

第１の態様によれば、
少なくとも１つの表示ユニットと、
ユーザ入力領域のグラフィカルユーザインターフェースを表す入力ユニット画像データを表示する表示画面を含む少なくとも１つのタッチ入力ユニットと、
処理ユニットと、
を含み、
グラフィカルユーザインターフェースは、複数のゾーンを含み、
処理ユニットは、少なくとも１つの表示ユニットに、第１の画像データを表示し、
処理ユニットは、ユーザインターフェースのユーザインタラクション部として、複数のゾーンのうちのユーザがインタラクトしているゾーンを決定し、
処理ユニットは、少なくとも１つの表示ユニットに、第１の画像データを、グラフィカルユーザインターフェースのユーザインタラクション部を表す第２の画像データと同時に表示するデータ表示装置が提供される。

つまり、ユーザは、タッチ入力デバイスとインタラクトし、別の表示デバイスにて、ユーザがインタラクトしているタッチデバイスユーザインターフェースの領域に関する視覚的フィードバックが提供される。言い換えれば、ユーザは、ユーザがインタラクトしている入力ユニット（例えばタッチデバイス）のグラフィカルユーザインターフェースの一部分の直接的なフィードバックを、表示ユニット（例えばビューイングデバイス）にて得られる。

このように、ユーザは、入力ユニットとインタラクトすることに関して、表示ユニットから目を離す必要がない。つまり、一実施例では、ユーザがインタラクトしているタッチデバイスユーザインターフェースの領域に関するフィードバックがユーザに提供されることで、ブラインドタッチ画面制御が提供される。言い換えれば、インタラクションフィードバックのために別の表示ユニットを見ながら、タッチといった入力ユニット上でインタラクトする際の向上されたインタラクションフィードバックが提供される。

好適には、入力ユニットのグラフィカルユーザインターフェース（ＧＵＩ）の単一のゾーン又はパネルのみが、少なくとも１つの表示ユニットに提示される。これにより、タッチデバイスＧＵＩを表すために必要となる少なくとも１つの表示ユニットの画面領域量は限られる。好適には、第２の画像データは、アクティブゾーン、つまり、ユーザがインタラクトしているゾーンについてグラフィカルユーザインターフェースを表す画像データに相当する。したがって、ＧＵＩのアクティブゾーンの内容がメインディスプレイでミラーリングされる。

有利には、少なくとも１つの表示ユニットの画面の限られた量の空間しか取らず、取られる空間は、タッチデバイス上でユーザがしていることに直接的に関連する。つまり、少なくとも１つの表示ユニットの空間は、効率的且つ効果的に使用される。言い換えれば、タッチデバイスのユーザ入力領域のユーザインタラクション部を表すタッチデバイスの第２の画像データがビューイングデバイスに表示されるので、タッチデバイスのユーザインターフェースのミラーリング又は当該ユーザインターフェースの概略的表現の表示に特化されたビューイングデバイスの画面領域の量は限られる。

つまり、タッチ画面といった入力ユニットが、少なくとも１つの表示ユニットに既に提示されている画像を表示する場合、当該画像は表示デバイスでは重複されない。

一実施例では、第１のデータは、更なるグラフィカルユーザインターフェースを含み、第２の画像データは、タッチ画面グラフィカルユーザインターフェースの一部を含み、第２の画像データは、更なるグラフィカルユーザインターフェースの一部の隣にレンダリングされる。

或いは、第２の画像データは、更なるグラフィカルユーザインターフェースの一部とブレンドされる。更なる代替実施形態では、第２の画像データは、第１のグラフィカルユーザインターフェースの一部内でレンダリングされる。

一実施例では、処理ユニットは、ユーザがグラフィカルユーザインターフェースの複数のゾーンのうちの少なくとも１つのゾーンの上方で手を動かす場合に、ユーザインタラクション部を決定する。

或いは又は更に、処理ユニットは、ユーザがグラフィカルユーザインターフェースの複数のゾーンのうちの少なくとも１つのゾーンにタッチする場合に、ユーザインタラクション部を決定する。

或いは又は更に、処理ユニットは、ポインタがグラフィカルユーザインターフェースの複数のゾーンのうちの少なくとも１つのゾーン上を動く場合に、ユーザインタラクション部を決定する。

このように、例えばタッチデバイスに表示される画像に示される通りのカーソルの位置が、今度は、タッチデバイスに表示される画像の一部を表示する別のビューイングデバイス上に、当該カーソル位置と共に提示される。つまり、ユーザは、別のビューイング画面を見ながら、タッチ画面上のカーソルの場所を把握することができる。言い換えれば、入力ユニット（例えばタッチデバイス）のユーザインターフェース又はグラフィカルユーザインターフェースが、少なくとも１つの表示ユニット（例えばビューイングデバイス）に表示される内容と異なる内容を表示する場合、ユーザがタッチデバイスを見て、複雑な画像背景の中でカーソルの位置を特定しようとする場合、タッチ画面のユーザインターフェース上のポインティングデバイスの場所は不明確である。しかし、例えばカーソル位置である局所的ユーザインタラクション部を、ビューイングデバイスに提示される第２の画像データの一部として提供することによって、ユーザは、タッチデバイス上のカーソルの場所をよりうまく把握することができ、また、これをビューイングデバイスから目を離すことなく行える。

一実施例では、少なくとも１つの表示ユニットでの第２の画像データの表示は、ユーザからの入力に応じて有効又は無効にされる。

第２の態様によれば、本発明によるデータ表示装置を含む介入Ｘ線システムといった医用撮像システムが提供される。表示ユニットは、好適には、オーバヘッドモニタ、例えば診療室モニタとして提供され、タッチ入力ユニットは、好適には、患者台の隣に配置される制御デバイスであるテーブルサイドモジュール（ＴＳＭ）として提供される。

第３の態様によれば、
ａ）少なくとも１つの表示ユニットに、第１の画像データを表示するステップと、
ｂ）グラフィカルユーザインターフェースのユーザインタラクション部として、グラフィカルユーザインターフェースの複数のゾーンのうちのユーザがインタラクトしているゾーンを決定するステップと、
ｃ）少なくとも１つの表示ユニットに、第１のデータの一部を、第２の画像データと同時に表示するステップであって、第１の画像データを、グラフィカルユーザインターフェースのユーザインタラクション部を表す第２の画像データと同時に表示するステップとを含むデータ表示方法が提供される。

更なる態様によれば、処理ユニットによって実行されると、上記方法ステップを行うように適応されている、上記装置を制御するためのコンピュータプログラム要素が提供される。

更なる態様によれば、上記コンピュータ要素が格納されたコンピュータ可読媒体が提供される。

有利には、上記態様の何れかによって提供されるメリットは、他の態様のすべてに同等に当てはまり、また、その反対も同様である。

上記態様及び実施例は、以下に説明される実施形態から明らかとなり、また、当該実施形態を参照して説明される。

次の図面を参照して、例示的な実施形態について以下に説明する。

図１は、データ表示方法の一実施例を示す。 図２は、例示的なデータ表示装置の概略的な組立てを示す。 図３は、１つの入力ユニット及び２つの表示ユニットの一実施例を示す。 図４は、例示的なデータ表示装置によって表示されるデータの一実施例を示す。 図５は、概略形式で示される図４に示されるのと同じデータを示す。 図６は、例示的なデータ表示装置によって表示されるデータの一実施例を示す。 図７は、概略形式で示される図６に示されるのと同じデータを示す。 図８は、例示的なワークフローと共に例示的なデータ表示装置の技術的実現の一実施例を示す。

図１は、データ表示方法１０の基本ステップを示す。方法１０は次のステップを含む。

第１の表示ステップ２０（ステップａ）とも呼ぶ）において、第１のデータが、少なくとも１つの表示ユニットに表示される。

決定ステップ３０（ステップｂ）とも呼ぶ）において、少なくとも１つの入力ユニットのユーザ入力領域のユーザインタラクション部が決定される。

第２の表示ステップ４０（ステップｃ）とも呼ぶ）において、第１のデータの一部が、少なくとも１つの表示ユニットに第２の画像データと同時に表示される。第２の画像データは、少なくとも１つの入力ユニットのユーザ入力領域のユーザインタラクション部を表す。

一実施例では、第１のデータは画像データを含む。一実施例では、第１のデータはテキストデータを含む。一実施例では、第１のデータは信号を含む。一実施例では、第１のデータはこれらのデータの任意の組み合わせを含む。例えば一実施例では、第１のデータは画像及びテキストデータを含む。

図２は、データ表示装置５０を示す。装置５０は、少なくとも１つの表示ユニット６０と、ユーザ入力領域を含む少なくとも１つの入力ユニット７０と、処理ユニット８０とを含む。処理ユニット８０は、少なくとも１つの表示ユニット６０に第１の画像データを表示する。処理ユニット８０は更に、少なくとも１つの入力ユニット７０のユーザ入力領域のユーザインタラクション部を決定する。処理ユニット８０は更に、少なくとも１つの表示ユニット６０に、第１の画像データの一部を第２の画像データと同時に表示する。第２の画像データは、少なくとも１つの入力ユニット７０のユーザ入力領域のユーザインタラクション部を表す。

一実施例では、少なくとも１つの表示ユニットは、医用画像データを表示するモニタ、好適には、病院の診察室内に配置されるオーバヘッドモニタを含む。一実施例では、第１のデータは、介入Ｘ線データを含む。一実施例では、第１のデータは、ＣＴＸ線画像データ、Ｘ線蛍光透視像データ、Ｘ線断層撮影画像データ、磁気共鳴（ＭＲ）画像データ、超音波画像データ又はこれらの画像データの任意の組み合わせを含む。

一実施例では、少なくとも１つのタッチ入力ユニットは、スマートフォン又はタブレットＰＣといったユーザがタッチ可能である画面を有するデバイス、又は、好適な実施形態では、病院の診察室内の患者台に隣接するテーブルサイドモジュールを含む。ユーザは、好適にはタッチデバイスのグラフィカルユーザインターフェースを表示するオーバヘッドディスプレイを見ながら、タッチ入力デバイスとインタラクトする。例えばタブレットユーザインターフェース又はグラフィカルユーザインターフェースが画面上に直接レンダリングされる。

一実施例では、少なくとも１つの入力ユニットは、それ自身のグラフィカルユーザインターフェースを有するタッチデバイスである。例えばタッチデバイスは、別箇の表示ユニットに提示される医用画像に関する別箇の処理機能、取得機能、医療デバイス設定機能及び測定機能を表示する。処理ユニットは、測定機能に関する領域といったユーザがインタラクトしているタッチデバイスの領域を決定し、タッチパッドに示される通りの測定機能を、医用画像データと共に、少なくとも１つの表示ユニットの別個の又は統合された領域として提示することができる。しかし、入力ユニットは、表示画面を有してもよいが、これは、入力ユニットのユーザ入力領域のユーザインタラクション部を表す第２の画像データが入力ユニットに提示されるミラーリング画像データであることを必ずしも意味するわけではない。「表す（表現）」とは、本明細書では、入力ユニットが画像を表示していても、表示ユニットは、当該画像の概略的表現を表示する場合があることを意味する。しかし、「表す（表現）」とは更に、表示ユニットが、入力ユニットの表示画面に表示されているものの少なくとも一部をミラーリングする場合があることも意味する。

一実施例では、少なくとも１つの入力ユニットは、ユーザが手で又はポインタ若しくはスタイラスで入力ユニットをタッチする必要なく、ユーザの手又はポインタ若しくはスタイラスの近接を検出するデバイスを含む。例えば少なくとも１つの入力デバイスは、マイクロ波又はレーザ検知を利用して、入力ユニットのユーザ入力領域に対するユーザの手の近接及び場所を決定して、ユーザインタラクション部が決定される。一実施形態では、少なくとも１つの入力ユニットは、ユーザの手を見ているカメラを使用して、入力ユニットに対するユーザの手の近接及び場所を検出する。一実施例では、少なくとも１つの入力ユニットは、ユーザの手の磁場外乱検知を介して、入力ユニットに対するユーザの手の近接及び場所を検出する。つまり、少なくとも１つの入力ユニットは、タッチデバイス及び／又は近接デバイスであってよい。

つまり、一実施例では、複数の表示ユニット及び／又は複数の入力ユニットがあってよい。例えば複数の表示ユニットに関して、制御室内に１つの表示ユニットと診察室内に１つの表示ユニットとがあってよい。例えば複数の入力ユニットに関して、（患者の近くにいる）医師用の入力ユニット（例えばテーブルサイドモジュール）と看護師用の入力ユニットとがあってよい。

一実施例では、第２の画像データは、ユーザがインタラクトしているグラフィカルユーザインターフェースの少なくともアクティブ部分を表す画像データの直接的な再現である。例えば入力ユニットは、医用画像を表示する第１のゾーン又は領域と、当該医用画像の制御又は処理に関するボタンを表示する第２のゾーン又は領域とがある入力ユニット自身の画面を有するタッチデバイスである。

少なくとも１つの表示ユニットは、少なくとも１つの入力ユニットに表示される画像の拡大図を表示する診察室モニタであってよい。ユーザが、ボタンの場所で入力ユニットとインタラクトすると、入力ユニットに提示されている通りのボタンの画像が、少なくとも１つの表示ユニットにてミラーリングされる。

一実施例では、ユーザの指が入力ユニット（例えばタッチデバイス）に近づくにつれて、（タッチデバイスにまだタッチしていなくてもよい）指の場所を中心にしてタッチデバイスに提示されている画像の一部が、少なくとも１つの表示ユニット（例えばビューイングデバイス）に提示される。このように、ユーザは、タッチデバイスの画面の中心右側に指を動かす。タッチデバイスには、画面の中心に提示されている画像がある。当該画像は、ビューイングデバイスでは拡大して表示される。幾つかの機能ボタンが、タッチ画面の右端に提示される。この場合、ユーザの指がタッチ画面に近づくにつれて、ユーザには、ビューイングデバイスにて、ボタンの一部が表示されるタッチデバイスからの画像の一部が提示される。ユーザが、タッチ画面で、指を右に動かすと、画像ビューイングデバイスの画像は、タッチデバイスで提示される画像はより少なく表示し、タッチデバイスのボタンはより多く表示する。最終的に、ユーザには、ビューイングデバイスにて、機能ボタンといった必要に応じて提示されるタッチデバイスに関する情報が提示され、押したいと思うタッチデバイスのボタンをユーザが押すことが可能にされる。このようにして、ユーザは、少なくとも１つの表示ユニットから視線を動かす必要なく、別箇の入力ユニットとインタラクトすることによって、少なくとも１つの表示ユニットで提示される画像とインタラクトすることができる。

一実施例によれば、図２に示されるように、少なくとも１つの入力ユニット７０は、入力ユニット画像データを表示する表示画面９０を含む。少なくとも１つの入力ユニット７０のユーザ入力領域は、表示画面に表示される入力ユニット画像データの少なくとも一部を含む。第２の画像データは、入力ユニット画像データの少なくとも一部を含む。

一実施例では、表示画面に表示される入力ユニット画像データの少なくとも一部を含む少なくとも１つの入力ユニットのユーザ入力領域とは、少なくとも１つの入力ユニットのユーザ入力領域が、入力ユニット画像データの少なくとも一部を表示することを意味する。

つまり、一実施例では、入力ユニット（例えばタッチデバイス）のユーザインターフェース又はグラフィカルユーザインターフェースの一部が、少なくとも１つの表示ユニット（例えばビューイングデバイス）にてレンダリングされる。好適には、当該一部はアクティブゾーン、つまり、グラフィカルユーザインターフェースの複数のゾーンのうちのユーザがインタラクトしているゾーンである。

一実施例では、入力ユニット画像データは、介入Ｘ線データを含む。一実施例では、入力ユニット画像データは、ＣＴＸ線画像データ、Ｘ線蛍光透視像データ、Ｘ線断層撮影画像データ、磁気共鳴（ＭＲ）画像データ、超音波画像データ又はこれらの画像データの任意の組み合わせを含む。一実施例では、入力ユニット画像データは、医用画像データの処理及び／若しくは取得、並びに／又は、Ｘ線ユニット若しくはＭＲＩユニットといった画像データの取得に関連付けられる機器の制御のためのボタン機能に関する画像を含む。例えば入力ユニット画像データは、取得、Ｘ線ユニット制御及び／又は処置台制御、Ｘ線ビームコリメーション、処理、ズーム及びスパン、コントラスト及び輝度、減法、測定、画像オーバーレイ、リセット並びにファイルを開くことの任意の組み合わせを含む機能を有するボタンに関する。

一実施例では、少なくとも１つの入力ユニットはタッチ画面を含み、ユーザがタッチしている又はタッチしたグラフィカルユーザインターフェース又はユーザインターフェースの一部が、少なくとも１つの表示ユニットで、概略形式で表される。一実施例では、少なくとも１つの入力ユニットはタッチ画面を含み、ユーザがタッチしている又はタッチしたユーザグラフィカルユーザインターフェース又はユーザインターフェースの一部が、少なくとも１つの表示ユニットでミラーリングされる。つまり、例えばタッチ画面デバイスである入力デバイスに表示される画像のサブセットが、表示デバイスでレンダリングされるか、又は、入力デバイスの当該画像の概略的表現が、表示デバイスに提示される。

一実施例では、少なくとも１つの入力ユニットは、画面を有する近接デバイスを含み、ユーザが近接している又は近接していたグラフィカルユーザインターフェース及びユーザインターフェースの一部が、少なくとも１つの表示ユニットで、概略形式で表現される。一実施例では、少なくとも１つの入力ユニットは、画面を有する近接デバイスを含み、ユーザが近接している又は近接していたグラフィカルユーザインターフェース及びユーザインターフェースの一部が、少なくとも１つの表示ユニットでミラーリングされる。

一実施例によれば、入力ユニット画像データが、第１のデータの少なくとも一部を含む場合、処理ユニットは、少なくとも１つの入力ユニットに表示されている任意の第１のデータを第２の画像データの一部として表示することなく、第２の画像データを表示する。

つまり、タッチ画面といった入力ユニットが、少なくとも１つの表示ユニットで既に提示されている画像を表示している場合、当該画像は、表示デバイスで重複されない。例えば画像Ａが表示ユニットで提示され、画像Ｂが入力ユニットで、画面の右側の幾つかの機能ボタンと共に表示される。ユーザが画面の右上のボタンとインタラクトする場合、これらのボタンは、これらのボタンの付近又は周辺の画像Ｂの一部と共に、表示ユニットで画像Ａと共に表示される。しかし、入力ユニットが画像Ｂではなく画像Ａを表示していた場合、ユーザがインタラクトしている入力ユニットの右上側のボタンのみが、表示ユニットに表示される。このようにすると、冗長データがユーザに提示されることがない。つまり、患者の血管領域の画像が入力ユニット（例えばタッチデバイス）の画面に表示され、同じ倍率の同じ画像が表示ユニット（例えばビューイングデバイス）に表示されている場合、タッチデバイスからの血管画像データは、ビューイングデバイスでは再現されず、画像操作機能を有するボタンに関する画像データといったユーザがインタラクトしている他の画像データのみが再現される。一実施例では、表示ユニットに表示されている画像データと同じであるが、異なる倍率の画像データが少なくとも１つの入力ユニットに表示されている場合、ユーザが入力ユニットの当該領域においてインタラクトしている場合には、当該画像データは表示ユニットで再現されてもよい。

一実施例によれば、ユーザ入力領域は、複数のゾーンを含み、ユーザ入力領域のユーザインタラクション部は少なくとも１つのゾーンを含む。

一実施例では、ユーザがインタラクトしているタッチデバイス又は近接デバイスといった少なくとも１つの入力ユニットのユーザインターフェース又はグラフィカルユーザインターフェースの１つのゾーンのみが、ビューイングデバイスといった少なくとも１つの表示ユニットでレンダリングされる。一実施例では、ゾーンは、入力デバイスのパネルに相当する。

一実施例によれば、第１のデータは第１のグラフィカルユーザインターフェースを含み、第２の画像データは第２のグラフィカルユーザインターフェースの一部を含む。第２のグラフィカルユーザインターフェースの一部は、第１のグラフィカルユーザインターフェースの一部の隣でレンダリングされる。

つまり、ユーザがインタラクトしている入力デバイスの画像の一部が、表示デバイスで、表示デバイスに表示されていたものすべての隣か、又は、表示されていたもののほとんどの隣に表示されることが可能である。つまり、元の画像は、古い画像の隣に新しい画像を提示するためにサイズ変更されるか、又は、新しい画像は、古い画像の片側にオーバーレイされてもよい。

一実施例によれば、第１のデータは第１のグラフィカルユーザインターフェースを含み、第２の画像データは第２のグラフィカルユーザインターフェースの一部を含む。第２のグラフィカルユーザインターフェースの一部は、第１のグラフィカルユーザインターフェースの一部とブレンドされる。

一実施例では、ブレンドの量は、入力デバイスへのポインティングデバイスの距離に依存する。例えばユーザの指が入力ユニット（例えばタッチデバイス）に近づくにつれて、（画面の上方の）指の場所を中心としたタッチデバイスの領域が、少なくとも１つの表示ユニット（例えばビューイングデバイス）に提示される。一実施例では、ユーザの指がタッチデバイスの画面に近づく又は当該画面から遠ざかるにつれて、ビューイングデバイスに提示されるタッチデバイスからの画像は、それに応じて明るくなったり、薄くなったりする。

一実施例によれば、第１のデータは第１のグラフィカルユーザインターフェースを含み、第２の画像データは第２のグラフィカルユーザインターフェースの一部を含む。第２のグラフィカルユーザインターフェースの一部は、第１のグラフィカルユーザインターフェースの一部内でレンダリングされる。

つまり、タッチ画面に提示され、ユーザがインタラクトしているタッチ画面の内容を表す又はミラーリングするものの一部といった第２の画像データの位置決めは、必要に応じて制御又は調整可能である。

一実施例によれば、処理ユニットは、ユーザが少なくとも１つの入力ユニットのユーザ入力領域の少なくとも一部上で手を動かす場合に、ユーザインタラクション部を決定する。

例えば処理ユニットは、ユーザが、入力ユニットのタッチ画面の右側部分上で手を動かしたと決定し、タッチ画面の右側部分に表示されるボタン及び／又は画像データが、少なくとも１つの表示ユニットに、当該少なくとも１つの表示ユニットで既に表示されていた画像データの少なくとも一部分と共に表示される。一実施例では、ユーザは、例えばタッチ／近接デバイスの左側領域及び右側領域である複数のゾーンの上方で手を同時にホバリングさせる。

一実施例によれば、処理ユニットは、ユーザが少なくとも１つの入力ユニットのユーザ入力領域の一部にタッチする場合に、ユーザインタラクション部を決定する。

例えば処理ユニットは、ユーザが入力ユニットのタッチ／近接画面の右側部分をタッチしたと決定する。タッチ画面の右側部分に表示されるボタン及び／又は画像データが、少なくとも１つの表示ユニットに、当該少なくとも１つの表示ユニットで既に表示されていた画像データの少なくとも一部分と共に表示される。

一実施例によれば、処理ユニットは、ポインタが少なくとも１つの入力ユニットのユーザ入力領域の一部分上で動く場合に、ユーザインタラクション部を決定する。

一実施例では、ポインタは、少なくとも１つの入力ユニットのユーザ入力領域に表示されるカーソルを含む。例えば処理ユニットは、ユーザがカーソルを入力ユニットの画面の右側部分上で動かしたと決定する。タッチ画面の右側部分に表示されるボタン及び／又は画像データが、少なくとも１つの表示ユニットに、当該少なくとも１つの表示ユニットで既に表示されていた画像データの少なくとも一部分と共に表示される。

一実施例によれば、処理ユニットは、ユーザインタラクション部の局所的ユーザインタラクション位置を決定し、第２の画像データは、局所的ユーザインタラクション位置を表す画像データを含む。

一実施例では、局所的インタラクション位置は、少なくとも１つの入力ユニットのユーザ入力領域に表示されるカーソルの位置を含む。

一実施例によれば、少なくとも１つの表示ユニットの第２の画像データの表示は、ユーザからの入力に応じて有効又は無効にされる。

このようにして、所要機能は、例えばユーザの手がタッチデバイス又は近接デバイスといった入力ユニットに近づく、タッチする若しくは当該入力ユニットから離れることに基づいて、又は、ユーザからの他の入力に基づいて、必要に応じて有効／無効にされることが可能である。一実施例では、ユーザからの入力は、ボタン又はペダルの押下を含む。一実施例では、ユーザからの入力は、ユーザからの入力の継続時間を含む。つまり、時間的閾値を適用し、ユーザの手が特定の位置にあるといったユーザからの入力が特定の時間を超えると、少なくとも１つの表示ユニットでの第２の画像データの表示が有効にされる。

一実施例では、２つ以上の表示ユニットを有することが可能である。一実施例では、２つ以上の入力ユニットを有することが可能である。一実施例では、２つ以上の表示ユニットと、２つ以上の入力ユニットとを有することが可能である。

図３は、下の方に示され、「タッチ」とラベル付けされているタッチデバイスの形の入力デバイスと、真ん中及び上の方に示され、「デスクトップ」及び「ビューイング」とラベル付けされているデスクトップコンピュータ及びビューイングデバイスの形の２つの表示デバイスとを示す。表示デバイスは、タッチデバイスに表示されているものの拡大された一部を表示している。この構成は、１つ以上のビューイングデバイスがメインの視覚的フィードバックのために使用され、タッチデバイスがインタラクション目的に使用されるアプローチを表す。タッチデバイスは、それ自身のユーザＵＩ又はＧＵＩを有しても（例えば電話機）、ＵＩ又はＧＵＩを有さなくてもよい（例えばマウスパッド又はＴＶのリモコン）。このアプローチでは、タッチデバイス上でインタラクトしている間、ユーザは、タッチデバイスのどの部分上でインタラクトしているのかに関して、ビューイングデバイス上に直接的な視覚的フィードバックがない。例えば図３に示されるように、タッチデバイスがＵＩ又はＧＵＩを有し、当該ＵＩ又はＧＵＩが、ビューイングデバイスのＵＩ又はＧＵＩで表示されている内容と異なる内容を表示している場合、カーソルといったポインティングデバイスがタッチデバイスのＵＩ又はＧＵＩ上のどこにあるか決定することが不明確又は困難である。現行のアプローチでは、図３に示されるタッチデバイスの画面で表されるように、手のインタラクションによって簡単に見つかる位置でタッチデバイス上に大きいボタンが置かれている。しかし、ユーザは、関心機能（例えばボタン）を探すためにタッチデバイスを見る必要があり、また、ボタンを押した後又はボタン上にカーソルを置きクリックした後、ユーザは、結果を判断するためにビューイングデバイスを再び見なければならない。

本開示のデータ表示装置及び方法は、様々なデバイスの組立てに適用可能である。例えばタッチデバイスのＵＩを表示するテレビ受像機（ビューイングデバイス）を見ながら、モバイルフォン又はタブレット型コンピュータ（タッチデバイス）上でインタラクトする。例えば遠隔制御ＵＩとして機能するタブレット型コンピュータのＵＩは、テレビ受像機上で直接レンダリングされることが可能である。Ｘ線画像を表示する診察室画面（ビューイングデバイス）を見ながら、Ｘ線デバイスのテーブルサイドモジュール（タッチデバイス）上でインタラクトする。

例えば上記装置及び方法は、次の事例に使用することができる。使用事例１が、図４及び図５に示される。図４及び図５には、本開示の例示的なデータ表示装置によって表示されるデータの一実施例が示される。図４及び図５では、ＵＩを有するタッチデバイスの形の入力ユニットが上図に示され、ＵＩを有するビューイングデバイスの形の表示ユニットが下図に示されている。要約するに、ユーザの手が、タッチデバイスのＵＩの右側上に来ると、タッチデバイスのＵＩのこの部分、即ち、右パネル又は右ゾーンが、ビューイングデバイスのＵＩ内にブレンドされる。更に、任意選択的に、ビューイングデバイスのＵＩにおいて、タッチデバイスのＵＩ上でユーザの手がその上でホバリングしているボタン又はタッチされているボタンがハイライトされる。より詳細には、入力ユニットがテーブルサイドモジュール（ＴＳＭ）であり、表示ユニットが診察室モニタである状況について、ユーザは、テーブルサイトモジュール（ＴＳＭ）の右パネル内のボタン上で手を動かす。

ボタンを表示するパネルのＵＩのレンダリングが、診察室モニタに表示され、任意選択的に、どのボタン上でユーザがホバリングしている（又はタッチしている）のかを直接的に表示する。

ユーザは、ボタンを押し、診察室モニタのＸ線画像への効果をすぐに確認することができる。

ユーザは、テーブルサイドモジュールから手を離すように動かす。

パネルのＵＩのレンダリングが、診察室モニタから消え、診察室には、クリーンで気が散ることのないＵＩが残される。

使用事例２が、図６及び図７に示される。図６及び図７には、本開示の例示的なデータ表示装置によって表示されるデータの一実施例が示される。図６及び図７では、ＵＩを有するタッチデバイスの形の入力ユニット（図示せず）は、図４及び図５の入力ユニットについて表示されているような画像を表示している。図６及び図７では、ＵＩを有するビューイングデバイス形の表示ユニットが示される。要約するに、ユーザからの適切な指示があると、タッチデバイスのＵＩ全体が、ビューイングデバイスのＵＩの上に表示される。別の構成では、ユーザからの指示があると、図４及び図５について上記されたように、タッチデバイスのサブセットが、ビューイングデバイスのＵＩの上に表示され、ここでも、ユーザによってインタラクトされている特定のボタンが特定される。より詳細には、入力ユニットがテーブルサイドモジュール（ＴＳＭ）であり、表示ユニットが診察室モニタである状況について、ユーザはペダル／ボタンを押す。

診察室において、ＴＳＭアプリケーションのＵＩが、ＴＳＭ ＵＩの全体を、診察室モニタ上のＸ線ビューアアプリケーションの上にレンダリングする。

指の位置が、クリアポインタで示される（図６及び図７を参照。円形の網掛けドットがコントラスト／輝度機能ボタン上に提示されている）。

ユーザは、ペダルを離す。

診察室モニタは、Ｘ線ビューアアプリケーションを表示する。

本開示によるデータ表示装置及び方法に関して、複数の実施形態が可能である。

ビューイングデバイスのＵＩ内のタッチデバイスのＵＩの位置決めは、次の通りに調整することができる。タッチデバイスのＵＩは、ビューイングデバイスのＵＩのすぐ隣にレンダリングされることが可能である。タッチデバイスのＵＩは、ビューイングデバイスのＵＩとブレンドされることが可能である。ブレンドの量は、タッチデバイスまでのポインティングデバイスの距離に依存する。タッチデバイスのＵＩは、ビューイングデバイスのＵＩ内にレンダリングされることが可能である。

タッチデバイスのＵＩの内容は、フィードバックに必要な画面領域量を減少させるために、部分的にビューイングデバイスのＵＩ内であってよい。これは、タッチデバイスＵＩに対するポインティングデバイスの位置に依存する。例えばポインティングデバイスが左にある場合、左パネルからのボタンのみを表示し、ポインティングデバイスが右にある場合、右パネルからのボタンのみを表示する。図４及び図５を参照されたい。

ビューイングデバイスでのタッチデバイスのＵＩのレンダリングは、ビューイングデバイスでのタッチデバイスのＵＩのレンダリングを有効にするハードウェア又はソフトウェアスイッチを介して有効／無効にされる。ビューイングデバイスでのタッチデバイスのＵＩのレンダリングは、タッチデバイスとのポインティングデバイスの近接又は接触の継続時間によって有効／無効にされる。

一般に、単一のアプリケーションの様々なＵＩのレンダリングは、コンピュータプログラム（処理）上で論理回路及びＵＩのレンダリングを実行すること、及び、レンダリングされた結果を、様々なＵＩデバイスにストリーミングすることによって実現される。

これにより、中央処理におけるインタラクションのハンドリング及びレンダリングされた結果の様々なＵＩデバイスへの分配が可能にされる。一般に、複数の表示ユニット（例えばビューイングデバイス）及び複数の入力ユニット（例えばタッチデバイス）を有することが可能である。

図８は、例示的なワークフローと共に例示的なデータ表示装置の技術的実現の一実施例を示す。図８に示される物理的ユニット及び図８に示される丸数字１〜６を参照して、例示的なワークフローについて以下に説明する。なお、以下の番号付けは、図８の丸数字に関連する。

ＵＩフラグメントＰＣが、ＵＩフラグメントをレンダリングし、ＵＩフラグメント内の幾つかの論理領域を、ブレンドターゲット又はブレンドソースとして指定する。ブレンドターゲットは、ＵＩフラグメントの別の部分がその中にブレンドされるＵＩフラグメントの（論理的）部分である。ブレンドソースは、ターゲットにブレンドされるＵＩフラグメントの（論理的）部分である。レンダリングは、ＯｐｅｎＧＬ、ＤｉｒｅｃｔＸ、ＧＤＩといったレンダリングフレームワークを使用して行われるか又はインハウスで開発されてもよい。ＵＩ作成は、例えばＷＰＦ、ＱＴといった第三者のＵＩフレームワークを使用して実現されても又はインハウスで開発されてもよい。

コンピュータが、ＵＩフラグメントを、ストリーム（これは、ＤＶＩといったビデオストリームであってもＵＤＰを介するネットワークストリームであってもよい）を介して、バックエンド・フォー・フロントエンド（ＢＦＦ）ＰＣに送信する。そこで、ＵＩコンポジタがＵＩフラグメントを構成する。

インターフェースを介して、ＵＩコンポジタは、様々なＵＩのブレンドターゲット領域及びブレンドソース領域に関する情報を有する。このインターフェースは、幾つかの技術、即ち、ＲＰＣ、ＡＰＩ、ＲＥＳＴ又はＨＴＴＰ等に基づいていてよい。ＢＦＦ上で実行されるＵＩコンポジタプログラムは、これらのインターフェースを使用して、ブレンドターゲットとブレンドソースとを「リンク付け」する。

ＵＩコンポジタは、様々な画面デバイスに関する情報を有する。ＢＦＦ ＰＣ上で実行されるソフトウェアプログラムは、様々なＵＩフラグメントが構成され、画面に表示されるべき態様を指定する。

ＢＦＦ上で実行されるインタラクションオーケストレータプログラムによって、画面デバイス上のすべてのユーザインタラクションが確実に捕捉される。

インタラクションオーケストレータは、関連のＵＩフラグメントＰＣに入力イベントを戻す。ＵＩフラグメントＰＣは、インタラクションハンドリングのための所要の論理を適用する。情報は、ネットワークストリームを介して又はシミュレートされたマウス／キーボードイベントを介して送信可能である。

上記実施例では、様々な構成が可能である。例えば２つのＵＩフラグメントＰＣではなく、１つ（又は３つ以上）のＵＩフラグメントＰＣがあってよく、また、別箇のＢＦＦ ＰＣでの実行ではなく、ＵＩコンポジション及びインタラクションオーケストレイションのための論理は、ＵＩフラグメントＰＣのうちの１つで実行されてよい（即ち、単一ＰＣソリューションが提供可能である）。更に、上記では、ＰＣはコンピュータユニットでも処理ユニットでもよく、ＵＩコンポジタは、例えばＵＩコンポジタコンピュータプログラムであってよい。

別の例示的な実施形態では、上記実施形態のうちの１つによる方法ステップを実行するように構成されることによって特徴付けられる適切なシステムを制御するためのコンピュータプログラム又はコンピュータプログラム要素が提供される。

したがって、コンピュータプログラム要素は、コンピュータユニットに記憶されていてもよい。当該コンピュータユニットも、一実施形態の一部であってよい。当該コンピュータユニットは、上記方法のステップを行うか又はステップの実行を誘導する。更に、コンピュータユニットは、上記装置のコンポーネントを動作させる。コンピュータユニットは、自動的に動作するか及び／又はユーザの命令を実行する。コンピュータプログラムが、データプロセッサの作業メモリにロードされてよい。したがって、データプロセッサは、上記実施形態のうちの１つによる方法を実行する能力を備えている。

本発明のこの例示的な実施形態は、最初から本発明を使用するコンピュータプログラムと、アップデートによって、既存のプログラムを、本発明を使用するプログラムに変えるコンピュータプログラムとの両方を対象とする。

更に、コンピュータプログラム要素は、上記方法の例示的な実施形態の手順を満たすすべての必要なステップを提供することができる。

本発明の更なる例示的な実施形態によれば、ＣＤ−ＲＯＭといったコンピュータ可読媒体が提示される。コンピュータ可読媒体に、コンピュータプログラム要素が記憶され、コンピュータプログラム要素は上記セクションに説明されている。

コンピュータプログラムは、他のハードウェアと共に又は他のハードウェアの一部として供給される光学記憶媒体又は固体媒体といった適切な媒体上に記憶される及び／又は分散配置されるが、インターネット又は他の有線若しくは無線通信システムを介した形態といった他の形態で分配されてもよい。

しかし、コンピュータプログラムは、ワールドワイドウェブといったネットワーク上に提示され、当該ネットワークからデータプロセッサの作業メモリにダウンロードされてもよい。本発明の更なる例示的な実施形態によれば、ダウンロード用にコンピュータプログラム要素を利用可能にする媒体が提供され、当該コンピュータプログラム要素は、本発明の上記実施形態のうちの１つによる方法を行うように構成される。

なお、本発明の実施形態は、様々な主題を参照して説明されている。具体的には、方法タイプのクレームを参照して説明される実施形態もあれば、デバイスタイプのクレームを参照して説明される実施形態もある。しかし、当業者であれば、上記及び以下の説明から、特に明記されない限り、１つのタイプの主題に属する特徴の任意の組み合わせに加えて、様々な主題に関連する特徴の任意の組み合わせも、本願によって開示されていると見なされると理解できるであろう。しかし、すべての特徴は、特徴の単なる足し合わせ以上の相乗効果を提供する限り、組み合わされることが可能である。

本発明は、図面及び上記説明において詳細に例示され、説明されたが、当該例示及び説明は、例示的に見なされるべきであり、限定的に見なされるべきではない。本発明は、開示される実施形態に限定されない。開示された実施形態の他の変形態様は、図面、開示内容及び従属請求項の検討から、請求項に係る発明を実施する当業者によって理解され、実施される。

請求項において、「含む」との用語は、他の要素又はステップを排除するものではなく、また、「ａ」又は「ａｎ」との不定冠詞も、複数形を排除するものではない。単一のプロセッサ又は他のユニットが、請求項に引用される幾つかのアイテムの機能を果たしてもよい。特定の手段が相互に異なる従属請求項に記載されることだけで、これらの手段の組み合わせを有利に使用することができないことを示すものではない。請求項における任意の参照符号は、範囲を限定するものと解釈されるべきではない。

Claims (14)

1. 少なくとも１つの表示ユニットと、
   グラフィカルユーザインターフェースを表す入力ユニット画像データを表示する表示画面を有するユーザ入力領域を含む少なくとも１つのタッチ入力ユニットと、
   処理ユニットと、
   を含み、
   前記処理ユニットは、前記少なくとも１つの表示ユニットに、第１の画像データを表示し、
   前記処理ユニットは、前記グラフィカルユーザインターフェースのユーザインタラクション部を決定し、
   前記処理ユニットは、前記少なくとも１つの表示ユニットに、前記第１の画像データを、前記グラフィカルユーザインターフェースの前記ユーザインタラクション部を表す第２の画像データと同時に表示する、データ表示装置。
2. 前記グラフィカルユーザインターフェースは、複数のゾーンを含み、前記ユーザインタラクション部は、前記複数のゾーンのうちのユーザがインタラクトしているゾーンに相当する、請求項１に記載の装置。
3. 前記第２の画像データは、前記グラフィカルユーザインターフェースの前記ユーザインタラクション部の前記入力ユニット画像データに相当する、請求項１又は２に記載の装置。
4. 前記第１の画像データは、更なるグラフィカルユーザインターフェースを含み、前記第２の画像データは、前記更なるグラフィカルユーザインターフェースの一部の隣にレンダリングされる、請求項１乃至３の何れか一項に記載の装置。
5. 前記第１の画像データは、更なるグラフィカルユーザインターフェースを含み、前記第２の画像データは、前記更なるグラフィカルユーザインターフェースの一部とブレンドされる、請求項１乃至４の何れか一項に記載の装置。
6. 前記第１の画像データは、更なるグラフィカルユーザインターフェースを含み、前記第２の画像データは、前記更なるグラフィカルユーザインターフェースの一部内にレンダリングされる、請求項１乃至５の何れか一項に記載の装置。
7. 前記処理ユニットは、ユーザが前記グラフィカルユーザインターフェースの前記複数のゾーンのうちの少なくとも１つのゾーンの上方で手を動かす場合に、前記ユーザインタラクション部を決定する、請求項１乃至６の何れか一項に記載の装置。
8. 前記処理ユニットは、ユーザが前記グラフィカルユーザインターフェースの前記複数のゾーンのうちの少なくとも１つのゾーンにタッチする場合に、前記ユーザインタラクション部を決定する、請求項１乃至７の何れか一項に記載の装置。
9. 前記処理ユニットは、ポインタが前記グラフィカルユーザインターフェースの前記複数のゾーンのうちの少なくとも１つのゾーン上を動く場合に、前記ユーザインタラクション部を決定する、請求項１乃至８の何れか一項に記載の装置。
10. 前記少なくとも１つの表示ユニットでの前記第２の画像データの表示は、前記ユーザからの入力に応じて有効又は無効にされる、請求項１乃至９の何れか一項に記載の装置。
11. 請求項１乃至１０の何れか一項に記載の装置を含み、前記少なくとも１つの表示ユニットは、オーバヘッドモニタとして構成され、前記少なくとも１つのタッチ入力ユニットは、テーブルサイドモジュールとして構成される、医用撮像システム。
12. ａ）少なくとも１つの表示ユニットに、第１の画像データを表示するステップと、
    ｂ）タッチ入力デバイス上のグラフィカルユーザインターフェースのユーザインタラクション部を決定するステップと、
    ｃ）前記少なくとも１つの表示ユニットに、前記第１の画像データの一部を、前記グラフィカルユーザインターフェースの前記ユーザインタラクション部を表す第２の画像と同時に表示するステップと、
    を含む、データ表示のための方法。
13. プロセッサによって実行されると、請求項１２に記載の方法を行うように構成されている、請求項１乃至１０の何れか一項に記載の装置を制御するためのコンピュータプログラム。
14. 請求項１３に記載のコンピュータプログラムが格納された、コンピュータ可読媒体。

Images