JP2015093147A - 医療システム - Google Patents

Abstract

【課題】滅菌域の術者がジェスチャや視線を用いて画像の特定の位置を指定し、その位置を起点として画像の操作を行うことができる医療システムを提供する。【解決手段】医療システム１は、表示部９ａと、音声入力部５と、少なくとも１つ以上の特徴点座標を取得するジェスチャーセンサ４又は表示部９ａ上における仮の視線位置座標を計測する視線位置計測センサ３０と、少なくとも１つ以上の特徴点座標から所定の特徴点座標を抽出する情報処理部２１又は仮の視線位置座標から表示部９ａ上における視線位置座標を算出する情報処理部２１ａとを有する。また、画面生成部２２又は２２ａは、所定の特徴点座標又は視線位置座標が医療画像上にあるか否かを判定し、所定の特徴点座標又は視線位置座標が医療画像上にあると判定された際に、画像操作を行うための音声が認識された場合、所定の特徴点座標又は視線位置座標を起点として医療画像に画像操作を行う。【選択図】図１

Description

本発明は、医療システムに関し、特に、表示部に表示される医療画像の画像操作を行う医療システムに関する。

従来、外科手術を行う医療システムは、外科手術で使用する複数の周辺機器を備えており、特に、複数の機器と通信し、各周辺機器を集中操作、及び、一括設定するシステムコントローラを備えている。この外科手術中では、術中の内視鏡画像や術前のＸ線画像の患部の拡大や縮小等の操作が行われるが、滅菌域の術者が画像の拡大等の操作を行う場合、タッチパネルにドレープを取り付ける方法がある。

しかし、ドレープは付け外しの手間やタッチパネルの操作性が悪化するとともに、使い捨てのため、コストや資源が無駄になるという課題がある。また、例えば、特許文献１には、各種機器の機能または設定値を変更するための遠隔操作を、滅菌域においても手軽に行うことが可能な入力装置が提案されているが、装置の準備や設置スペースの確保に課題がある。

一方、ジェスチャや視線のように、何も触れずに機器操作が行える入力装置も用いられるようになっている。例えば、特許文献２には、ジェスチャを用いて画像の拡大操作等を行う入力装置が提案されている。

特開２００５−３１２５６７号公報 特許２００９−４２７９６号公報

しかしながら、従来のようなジェスチャや視線による操作は、マウスやタッチパネルのような複雑な操作を行うことが難しかった。特に、従来技術を用いて画像の特定の位置を指定した拡大操作等は、複数の操作ステップを必要とし、多くの時間が掛かってしまう。そのため、特許文献２の入力装置では、画像内の拡大する位置の指定までは言及されていない。

そこで、本発明は、滅菌域の術者がジェスチャや視線を用いて画像の特定の位置を指定し、その位置を起点として画像の操作を行うことができる医療システムを提供することを目的とする。

本発明の一態様の医療システムは、医療画像を表示する表示部と、前記医療画像の画像操作を行うための音声を認識する音声認識部と、操作者の前記表示部上における少なくとも１つ以上の特徴点座標を取得する特徴点座標取得部と、前記少なくとも１つ以上の特徴点座標から所定の特徴点座標を抽出する特徴点座標抽出部と、前記所定の特徴点座標が前記医療画像上にあるか否かを判定する判定部と、前記判定部の判定結果により前記所定の特徴点座標が前記医療画像上にあると判定された際に、前記音声認識部により前記画像操作を行うための音声が認識された場合、前記所定の特徴点座標を起点として前記医療画像に前記画像操作を行い、前記所定の特徴点座標が前記医療画像上にないと判定された際に、前記音声認識部により前記画像操作を行うための音声が認識された場合、前記医療画像の中心座標を起点として前記医療画像に前記画像操作を行い、前記表示部に表示するように制御する表示制御部と、を有する。

また、本発明の他の態様の医療システムは、医療画像を表示する表示部と、前記医療画像の画像操作を行うための音声を認識する音声認識部と、操作者の前記表示部上における仮の視線位置座標を計測する視線位置計測部と、前記仮の視線位置座標から前記操作者の前記表示部上における視線位置座標を算出する視線位置座標算出部と、前記視線位置座標が前記医療画像上にあるか否かを判定する判定部と、前記判定部の判定結果により前記視線位置座標が前記医療画像上にあると判定された際に、前記音声認識部により前記画像操作を行うための音声が認識された場合、前記視線位置座標を起点として前記医療画像に前記画像操作を行い、前記視線位置座標が前記医療画像上にないと判定された際に、前記音声認識部により前記画像操作を行うための音声が認識された場合、前記医療画像の中心座標を起点として前記医療画像に前記画像操作を行い、前記表示部に表示するように制御する表示制御部と、を有する。

また、本発明の他の態様の医療システムは、医療画像を表示する表示部と、前記医療画像の画像操作を行うための音声を認識する音声認識部と、操作者の前記表示部上における仮の視線位置座標を計測する視線位置計測部と、前記仮の視線位置座標から前記操作者の前記表示部上における視線位置座標を算出する視線位置座標算出部と、前記視線位置座標が前記医療画像上にあるか否かを判定する判定部と、前記判定部の判定結果により前記視線位置座標が前記医療画像上にあると判定された場合、前記視線位置座標を中心とした所定の大きさの外径の枠部と、該枠部内に設けられた所定の領域の背景を透過して表示する透過部とにより構成される視線位置領域部を生成し、前記医療画像に付加して表示するように制御する表示制御部と、を有する。

本発明の医療システムによれば、滅菌域の術者がジェスチャや視線を用いて画像の特定の位置を指定し、その位置を起点として画像の操作を行うことができる。

第１の実施の形態に係る医療システムの全体構成を説明するための図である。 ジェスチャーセンサの設置位置を説明するための図である。 システムコントローラの詳細な構成を説明するための図である。 カーソルを生成する処理の例を説明するための図である。 カーソルの生成処理の流れの例を説明するためのフローチャートである。 ジェスチャと音声を用いて画像操作を行う処理の流れの例を説明するためのフローチャートである。 図６の処理を実行しているときの操作者の動作と、モニタ９に表示される表示画面の例を説明するための図である。 第２の実施の形態に係る医療システムの全体構成を説明するための図である。 視線位置計測センサの設置位置を説明するための図である。 システムコントローラの詳細な構成を説明するための図である。 視線位置座標を取得してカーソルを表示する処理の流れの例を説明するフローチャートである。 カーソルの生成処理の流れの例を説明するためのフローチャートである。 視線と音声を用いて画像操作を行う処理の流れの例を説明するためのフローチャートである。 図１３の処理を実行しているときに、モニタ９に表示される表示画面の例を説明するための図である。

以下、図面を参照して本発明の実施の形態を説明する。

（第１の実施の形態）
まず、図１から図４を用いて、第１の実施の形態の医療システムの構成について説明する。図１は、第１の実施の形態に係る医療システムの全体構成を説明するための図であり、図２は、ジェスチャーセンサの設置位置を説明するための図であり、図３は、システムコントローラの詳細な構成を説明するための図であり、図４は、カーソルを生成する処理の例を説明するための図である。

図１に示すように、医療システム１は、複数の医療機器で構成される被制御装置群である周辺機器２と、タッチパネル３と、ジェスチャーセンサ４と、音声入力部５と、画像サーバ６と、周辺機器２、タッチパネル３、ジェスチャーセンサ４、音声入力部５及び画像サーバ６を制御するシステムコントローラ７と有して構成されている。

周辺機器２は、観察、検査及び処置等を行う複数の医療機器で構成されており、内視鏡用カメラ装置８と、モニタ９と、気腹装置１０と、光源装置１１と、超音波観測装置１２とを有する。なお、周辺機器２は、これらの医療機器に限定されるものではなく、例えば、電気メス、ビデオテープレコーダ（ＶＴＲ）等を備えていてもよい。

タッチパネル３は、例えば、非滅菌域にいる看護師等が周辺機器２の操作を行うための操作装置であり、看護師等による操作情報をシステムコントローラ７に入力する。

ジェスチャーセンサ４は、人体（操作者等）の特徴点座標を取得し、その特徴点座標をシステムコントローラ７に入力する。

音声入力部５は、ピンマイクあるいはヘッドセットマイク等であり、術者等からの音声をシステムコントローラ７に入力する。術者等のからの音声は、特に、医療画像の画像操作を行うための音声であり、音声入力部５は、医療画像の画像操作を行うための音声を認識する音声認識部を構成する。

画像サーバ６には、患者等の術前の画像（例えば、Ｘ線画像）が格納されており、システムコントローラ７の制御によりＸ線画像が読み出され、モニタ９に表示される。

光源装置１１は、照明光を伝送するライトガイドケーブル１１ａを介して内視鏡１３に接続されている。光源装置１１からの照明光は、内視鏡１３に供給され、内視鏡１３の挿入部が挿入された患者１５の腹部内の患部等を照明する。

内視鏡１３の挿入部の基端側には、撮像素子を備えたカメラヘッド１４が装着され、患部等の光学像をカメラヘッド１４内の撮像素子で撮像する。この撮像素子で撮像された撮像信号は、ケーブル１４ａを介して内視鏡用カメラ装置８に伝送される。

内視鏡用カメラ装置８は、伝送された撮像信号に所定の信号処理を施し、映像信号を生成する。そして、内視鏡用カメラ装置８は、生成した映像信号をシステムコントローラ７を介してモニタ９に出力し、患部等の内視鏡画像を表示する。

気腹装置１０には、図示しない炭酸ガスボンベが接続されており、気腹装置１０から患者１５に伸びた図示しない気腹チューブを介して、患者１５の腹部内に炭酸ガスが供給されるようになっている。

超音波観測装置１２には、図示しない超音波内視鏡が接続されており、その超音波内視鏡で取得した電気信号に所定の信号処理を施し、映像信号を生成する。そして、超音波観測装置１２は、生成した映像信号をシステムコントローラ７を介してモニタ９に出力し、患部等の超音波画像を表示する。

図２に示すように、ジェスチャーセンサ４は、モニタ９の下部に設置される。このジェスチャーセンサ４は、内視鏡画像１６を観察している術者等を捕らえるカメラ１７を有しており、このカメラ１７により、図４（ａ）に示すように、術者等の姿を捕らえる。そして、特徴点座標取得部としてのジェスチャーセンサ４は、図４（ｂ）に示すように、カメラ１７が捕らえた操作者（術者等）の少なくとも１つ以上の特徴点２０の特徴点座標を取得し、システムコントローラ７に出力する。なお、ジェスチャーセンサ４は、カメラ１７で捕らえた術者等の姿をシステムコントローラ７に出力し、システムコントローラ７で入力された術者等の姿から少なくとも１つ以上の特徴点２０の特徴点座標を取得するようにしてもよい。

システムコントローラ７は、図３に示すように、情報処理部２１と、画面生成部２２とを有して構成されている。ジェスチャーセンサ４から出力された特徴点座標は、システムコントローラ７の情報処理部２１に入力される。

特徴点座標抽出部としての情報処理部２１は、図４（ｃ）に示すように、入力された少なくとも１つ以上の特徴点座標から所定（術者等の片方の手（例えば右手））の特徴点座標（Ｘ’，Ｙ’）を抽出し、その所定の特徴点座標（Ｘ’，Ｙ’）を画面生成部２２に出力する。なお、以下の説明では、所定の特徴点座標（Ｘ’，Ｙ’）は、単に、特徴点座標（Ｘ’，Ｙ’）という。

画面生成部２２は、図４（ｄ）に示すように、モニタ９の表示部９ａに医療画像（内視鏡画像１６）を表示するとともに、入力された片方の手の特徴点座標（Ｘ’，Ｙ’）のみカーソル１８を表示する。このカーソル１８は、情報処理部２１からの特徴点座標（Ｘ’，Ｙ’）を中心とした環を描く領域に生成される。

なお、モニタ９の表示部９ａに表示する医療画像は、内視鏡用カメラ装置８からの内視鏡画像１６に限定されることなく、超音波観測装置１２からの超音波画像、画像サーバ６から読み出された術前のＸ線画像等であってもよい。また、内視鏡画像１６、超音波画像及び術前のＸ線画像がモニタ９の表示部９ａに全て表示されていてもよい。

そして、術者等が片手を動かすことで、図４（ｅ）に示すように、カーソル１８の位置を移動させることができる。

また、画面生成部２２は、情報処理部２１からの特徴点座標（Ｘ’，Ｙ’）がカーソル１８を表示できない範囲に存在する場合、すなわち、特徴点座標（Ｘ’，Ｙ’）がモニタ９の表示部９ａの範囲に存在しない場合、カーソル１８をモニタ９に表示しないようにする。なお、画面生成部２２は、特徴点座標（Ｘ’，Ｙ’）が内視鏡画像１６の範囲に存在しない場合に、カーソル１８をモニタ９に表示しないようにしてもよい。すなわち、画面生成部２２は、特徴点座標（Ｘ’，Ｙ’）が内視鏡画像１６上にあるときのみ、カーソル１８を表示部９ａに表示されている内視鏡画像１６上に表示するようにしてもよい。

また、カーソル１８と背景（内視鏡画像１６）とが同じ色の場合、カーソル１８自体が見えなくなってしまう虞がある。そこで、システムコントローラ７は、カーソル１８の色を背景の色と異なる色となるように変換して表示する。

具体的には、システムコントローラ７は、カーソル１８が配置される領域の背景の色を取得し、取得した背景の色を反転処理する。そして、システムコントローラ７は、反転処理した色をカーソル１８の領域に当てはめる。これにより、背景の反転色を用いたカーソル１８が生成されるため、ユーザは、カーソル１８の位置を識別し易くなる。なお、本実施の形態では、カーソル１８の色は、背景の反転色を用いるようにしているが、背景と異なる色となるように変換する処理は、反転処理に限定されるものではない。

また、システムコントローラ７の画面生成部２２には、医療画像及び音声入力部５から術者等の音声が入力される。術者等は、例えば、「拡大」、「縮小」という音声を音声入力部５を用いてシステムコントローラ７の画面生成部２２に入力することで、入力された医療画像の拡大や縮小を行うことができる。

画面生成部２２は、音声入力部５から「拡大」または「縮小」という音声が入力されると、カーソル１８が医療画像、例えば、内視鏡画像１６上にあるか否かを判定する。より具体的には、画面生成部２２は、情報処理部２１で取得された特徴点座標（Ｘ’，Ｙ’）が医療画像上にあるか否かを判定する。

そして、画面生成部２２は、カーソル１８が内視鏡画像１６上にないときに、「拡大」または「縮小」という音声が入力された場合、内視鏡画像１６の中心座標を起点に内視鏡画像１６を拡大または縮小し、表示部９ａに表示する。一方、画面生成部２２は、カーソル１８が内視鏡画像１６上にあるときに、「拡大」または「縮小」という音声が入力された場合、カーソル１８を起点、より具体的には、情報処理部２１からの特徴点座標（Ｘ’，Ｙ’）を起点に内視鏡画像１６を拡大または縮小し、表示部９ａに表示する。このようにして、ジェスチャと音声を用いて、医療画像の意図した部分を起点とした拡大、縮小操作を行うようになっている。

このように、画面生成部２２は、情報処理部２１で取得された特徴点座標（Ｘ’，Ｙ’）が医療画像上にあるか否かを判定する判定部と、この判定結果に応じて、医療画像の意図した部分を起点とした画像操作を行い、表示部９ａに表示するように制御する表示制御部とを構成する。

次に、このように構成された医療システム１の動作について説明する。

図５は、カーソルの生成処理の流れの例を説明するためのフローチャートである。なお、この図５の処理は、特徴点座標を取得するごとに、システムコントローラ７によって実行される。

まず、所定の特徴点座標を中心に輪を描く領域が設定される（ステップＳ１）。この所定の特徴点座標は、情報処理部２１で抽出された、例えば術者等の右手のモニタ９における座標である。次に、ステップＳ１で設定された領域のＲＧＢデータが取得され（ステップＳ２）、ステップＳ２で取得されたＲＧＢデータが反転処理される（ステップＳ３）。

このステップＳ３の処理では、ステップＳ２で取得されたＲＧＢデータに色反転フィルタをかけるようにする。例えば、画像が２４ビットのＲＧＢデータの場合、各画素の色情報をＲＧＢそれぞれ２５５から引くことで、色反転することができる。最後に、ステップＳ３で反転処理されたＲＧＢデータがステップＳ１で設定された領域に当てはめられ（ステップＳ４）、処理を終了する。

以上の処理により、所定の特徴点座標を中心に輪を描く領域に、背景の反転色を用いたカーソル１８が生成される。

次に、ジェスチャと音声を用いて医療画像を拡大または縮小する画像操作について説明する。図６は、ジェスチャと音声を用いて画像操作を行う処理の流れの例を説明するためのフローチャートであり、図７は、図６の処理を実行しているときの操作者の動作と、モニタ９に表示される表示画面の例を説明するための図である。

まず、術者等の手（例えば右手）の位置情報が取得され（ステップＳ１１）、手の位置が画面（表示部９ａ）上にあるか否かがが判定される（ステップＳ１２）。手の位置が画面上にないと判定された場合、ＮＯとなり、カーソルが消去される（ステップＳ１３）。すなわち、図７の画面９ａａに示すように、術者等の操作者の手が画面９ａａ上にないと判定された場合、カーソル１８は表示されないことになる。

次に、音声入力があるか否かが判定され（ステップＳ１４）、音声入力がないと判定された場合、ＮＯとなり、ステップＳ１１に戻る。一方、音声入力があると判定された場合、ＹＥＳとなり、入力された音声が何かが判定される（ステップＳ１５）。

ここで、入力された音声は、「拡大」、「縮小」、「その他」に分類される。入力された音声が「その他」の場合、画像操作を行わずにステップＳ１１に戻る。入力された音声が「拡大」の場合、画像（例えば、内視鏡画像１６）の中心座標を起点として画像が拡大され（ステップＳ１６）、ステップＳ１１に戻る。入力された音声が「縮小」の場合、画像の中心座標を起点として画像が縮小され（ステップＳ１７）、ステップＳ１１に戻る。

一方、ステップＳ１２の処理において、手の位置が画面上にあると判定された場合、ＹＥＳとなり、手の位置座標の上にカーソルを表示する（ステップＳ１８）。すなわち、図７の画面９ａｂに示すように、操作者の手が画面９ａｂ上にあると判定された場合、カーソル１８が表示されることになる。そして、操作者が手を動かすことにより、画面９ａｃに示すように、カーソル１８を移動させることができる。

次に、カーソルの位置が画像上にあるか否かが判定される（ステップＳ１９）。カーソルの位置が画像上にないと判定された場合、ＮＯとなり、ステップＳ１４に進み、上述した処理が実行される。一方、カーソルの位置が画像上にあると判定された場合、ＹＥＳとなり、音声入力があるか否かが判定される（ステップＳ２０）。音声入力がないと判定された場合、ＮＯとなり、ステップＳ１１に戻る。一方、音声入力があると判定された場合、ＹＥＳとなり、入力された音声が何かが判定される（ステップＳ２１）。

入力された音声は、ステップＳ１５と同様に、「拡大」、「縮小」、「その他」に分類される。入力された音声が「その他」の場合、画像操作を行わずにステップＳ１１に戻る。入力された音声が「拡大」の場合、手の位置座標を起点として画像が拡大され（ステップＳ２２）、ステップＳ１１に戻る。すなわち、図７の画面９ａｄに示すように、カーソル１８の中心を起点として内視鏡画像１６が拡大される。

入力された音声が「縮小」の場合、手の位置座標を起点として画像が縮小され（ステップＳ２３）、ステップＳ１１に戻る。すなわち、図７の画面９ａｅに示すように、カーソル１８の中心を起点として内視鏡画像１６が縮小される。

以上の処理のように、手の位置が画面上にない場合や画像上にない場合は、音声により画像を拡大、縮小する際に、画像の中心座標を起点として画像を拡大、縮小処理する。一方、手の位置が画像上にある場合、音声により画像を拡大、縮小する際に、手の位置座標を起点として画像を拡大、縮小処理する。

これにより、滅菌域にいる術者が不潔域の装置に触れることなく、意図した部分を起点とした画像の拡大表示や縮小表示を短時間で行うことができる。

よって、本実施の形態の医療システムによれば、滅菌域の術者がジェスチャを用いて画像の特定の位置を指定し、その位置を起点として画像の操作を行うことができる。

（第２の実施の形態）
第１の実施の形態では、ジェスチャと音声を用いて、意図した部分を起点として画像の拡大、縮小操作を行う医療システムについて説明したが、ジェスチャを用いると、術者が手術から手を放すような状態となる虞がある。そこで、第２の実施の形態では、術者が手術から手を放すことなく、意図した部分を起点として画像の拡大、縮小操作を行うことができる医療システムについて説明する。

図８は、第２の実施の形態に係る医療システムの全体構成を説明するための図であり、図９は、視線位置計測センサの設置位置を説明するための図であり、図１０は、システムコントローラの詳細な構成を説明するための図である。なお、図８〜図１０において、それぞれ図１〜図３と同様の構成については、同一の符号を付して説明を省略する。

図８に示すように、医療システム１ａは、図１の医療システム１のジェスチャーセンサ４に代わり、視線位置計測センサ３０を用いて構成されている。視線位置計測センサ３０は、後述するように、モニタ９上の術者等の仮の視線位置座標（Ｘ，Ｙ）を取得し、システムコントローラ７に出力する。

図９に示すように、視線位置計測センサ３０は、モニタ９の下部に設置される。この視線位置計測センサ３０は、カメラ３１を有している。この視線位置計測センサ３０のカメラ３１は、モニタ９の表示部９ａに表示される内視鏡画像１６を観察している操作者の眼球を捕らえ、操作者が表示部９ａのどの位置を見ているのか計測する。視線位置計測センサ３０は、この計測結果（仮の視線位置座標（Ｘ，Ｙ））をシステムコントローラ７の情報処理部２１ａ（図１０参照）に出力する。このように、視線位置計測センサ３０は、操作者の表示部９ａ上における仮の視線位置座標（Ｘ，Ｙ）を計測する視線位置計測部を構成する。

システムコントローラ７の画面生成部２２ａ（図１０参照）は、後述するように、この仮の視線位置座標（Ｘ，Ｙ）からモニタ９上の視線位置座標（Ｘ’，Ｙ’）を算出し、算出した視線位置座標（Ｘ’，Ｙ’）にカーソル１８を付加して表示する。なお、このカーソル１８の生成処理は、第１の実施の形態と同様であり、カーソル１８により背景（内視鏡画像１６）が隠れないように、中央部分が透過されている。すなわち、システムコントローラ７の画面生成部２２ａは、術者等が見ている視線位置座標（Ｘ’，Ｙ’）が隠れないように、中央部分を透過させ、視線位置座標（Ｘ’，Ｙ’）を中心とした環を描く領域にカーソル１８を生成して表示する。

例えば、中央部分が透過していないカーソルが生成されると、術者等が見ている視線位置座標（Ｘ’，Ｙ’）がそのカーソルで隠れてしまう。術者等がカーソルの背景を見るために、カーソルの位置を移動させる場合、視線も動かす必要があり、結局、見たい箇所が見れなくなってしまう。

これに対し、システムコントローラ７が中央部分を透過させたカーソル１８を生成して表示することで、術者等は、視線を動かすことなく、見たい箇所を観察することができる。

図１０に示すように、システムコントローラ７は、情報処理部２１ａと、画面生成部２２ａとを有して構成されている。

視線位置計測センサ３０を利用するときは、利用者ごとに必ずキャリブレーションを実行する必要がある。キャリブレーションは、人の眼球の動きを視線位置計測センサ３０が取得し、モニタ９上のどの位置を見ているかを紐付けることである。このキャリブレーションにより、視線位置計測センサ３０から得られた情報からモニタ９上の視線位置座標を算出するための係数が生成される。

情報処理部２１ａは、視線位置計測センサ３０からの仮の視線位置座標（Ｘ，Ｙ）に、キャリブレーションにより得られた係数を掛けることで、表示部９ａ上の視線位置座標（Ｘ’，Ｙ’）を算出する。そして、情報処理部２１ａは、算出した表示部９ａ上の視線位置座標（Ｘ’，Ｙ’）を画面生成部２２ａに出力する。このように、情報処理部２１ａは、仮の視線位置座標（Ｘ，Ｙ）から操作者の表示部９ａ上における視線位置座標を算出する視線位置座標算出部を構成する。

画面生成部２２ａは、情報処理部２１ａからの視線位置座標（Ｘ’，Ｙ’）を中心とした環を描く領域にカーソル１８を生成し、モニタ９に表示する。また、画面生成部２２ａは、情報処理部２１からの視線位置座標（Ｘ’，Ｙ’）がカーソル１８を表示できない範囲に存在する場合、すなわち、視線位置座標（Ｘ’，Ｙ’）がモニタ９の表示部９ａの範囲に存在しない場合、カーソル１８をモニタ９に表示しない。

画面生成部２２ａは、音声入力部５から「拡大」または「縮小」という音声が入力されると、カーソル１８が医療画像、例えば、内視鏡画像１６上にあるか否かを判定する。より具体的には、画面生成部２２ａは、情報処理部２１ａで算出された視線位置座標（Ｘ’，Ｙ’）が医療画像上にあるか否かを判定する。

そして、画面生成部２２ａは、カーソル１８が内視鏡画像１６上にないときに、「拡大」または「縮小」という音声が入力された場合、内視鏡画像１６の中心座標を起点に内視鏡画像１６を拡大または縮小し、表示部９ａに表示する。一方、画面生成部２２ａは、カーソル１８が内視鏡画像１６上にあるときに、「拡大」または「縮小」という音声が入力された場合、カーソル１８を起点、より具体的には、情報処理部２１ａからの視線位置座標（Ｘ’，Ｙ’）を起点に内視鏡画像１６を拡大または縮小し、表示部９ａに表示する。

このように、画面生成部２２ａは、情報処理部２１ａで算出された視線位置座標（Ｘ’，Ｙ’）が医療画像上にあるか否かを判定する判定部と、この判定結果に応じて、医療画像の意図した部分を起点とした画像操作を行い、表示部９ａに表示するように制御する表示制御部とを構成する。

また、画像生成部２２ａは、視線位置座標（Ｘ’，Ｙ’）が医療画像上にあると判定された場合に、視線位置座標（Ｘ’，Ｙ’）を中心とした所定の大きさの外径の枠部と、その枠部内に設けられた所定の領域の背景を透過して表示する透過部とにより構成される視線位置領域部としてのカーソル１８を生成し、医療画像に付加して表示するように制御する表示制御部を構成する。

次に、このように構成された医療システム１ａの動作について説明する。

まず、視線位置座標を取得してカーソル１８を表示する処理について説明する。図１１は、視線位置座標を取得してカーソルを表示する処理の流れの例を説明するフローチャートである。

まず、視線位置計測センサ３０が術者等の眼球を捕らえ（ステップＳ３１）、眼球の情報から仮の視線位置座標（Ｘ，Ｙ）を推定する（ステップＳ３２）。次に、視線位置計測センサ３０が仮の視線位置座標（Ｘ，Ｙ）をシステムコントローラ７の情報処理部２１ａに入力する（ステップＳ３）。次に、情報処理部２１ａが入力された仮の視線位置座標（Ｘ，Ｙ）にキャリブレーションによって得られた係数を掛けることで、画面（表示部９ａ）上の視線位置座標（Ｘ’，Ｙ’）を算出する（ステップＳ３４）。最後に、画面生成部２２ａが情報処理部２１ａにより算出された視線位置座標（Ｘ’，Ｙ’）にカーソル１８を付加して、画面に表示し（ステップＳ３５）、処理を終了する。

次に、ステップＳ３５において生成されるカーソル１８の生成処理について説明する。図１２は、カーソルの生成処理の流れの例を説明するためのフローチャートである。なお、この図１１の処理は、視線位置座標を取得するごとに、システムコントローラ７によって実行される。また、図１１において、図５と同様の処理については、同一の符号を付して説明を省略する。

まず、視線位置座標（Ｘ’，Ｙ’）を中心に輪を描く領域が設定される（ステップＳ４１）。この視線位置座標（Ｘ’，Ｙ’）は、図１１のステップＳ３１〜Ｓ３４の処理により算出される。そして、図５の処理と同様に、ステップＳ２において、ステップＳ４１で設定された領域のＲＧＢデータが取得される。次に、ステップＳ３において、ステップＳ２で取得されたＲＧＢデータが反転処理される。最後に、ステップＳ４において、ステップＳ３で反転処理されたＲＧＢデータがステップＳ４１で設定された領域に当てはめられ、処理を終了する。

以上の処理により、視線位置座標（Ｘ’，Ｙ’）を中心に輪を描く領域に、背景の反転色を用いたカーソル１８が生成されるため、ユーザは、視線を動かすことなく、見たい箇所を観察することができ、かつ、カーソル１８の位置を識別し易くなる。

次に、視線と音声を用いて医療画像を拡大または縮小する画像操作について説明する。図１３は、視線と音声を用いて画像操作を行う処理の流れの例を説明するためのフローチャートであり、図１４は、図１３の処理を実行しているときに、モニタ９に表示される表示画面の例を説明するための図である。

まず、術者等の視線の位置情報が取得され（ステップＳ５１）、視線の位置が画面上にあるか否かがが判定される（ステップＳ５２）。視線の位置が画面上にないと判定された場合、ＮＯとなり、カーソルが消去される（ステップＳ５３）。すなわち、図１４の画面９ａａに示すように、術者等の視線の位置が画面９ａａ上にないと判定された場合、カーソル１８は表示されないことになる。

次に、音声入力があるか否かが判定され（ステップＳ５４）、音声入力がないと判定された場合、ＮＯとなり、ステップＳ５１に戻る。一方、音声入力があると判定された場合、ＹＥＳとなり、入力された音声が何かが判定される（ステップＳ５５）。

ここで、入力された音声は、「拡大」、「縮小」、「その他」に分類される。入力された音声が「その他」の場合、画像操作を行わずにステップＳ５１に戻る。入力された音声が「拡大」の場合、画像の中心座標を起点として画像が拡大され（ステップＳ５６）、ステップＳ５１に戻る。入力された音声が「縮小」の場合、画像の中心座標を起点として画像が縮小され（ステップＳ５７）、ステップＳ５１に戻る。

一方、ステップＳ５２の処理において、視線の位置が画面上にあると判定された場合、ＹＥＳとなり、視線位置座標の上にカーソルを表示する（ステップＳ５８）。すなわち、図１４の画面９ａｂに示すように、操作者の視線が画面９ａｂ上にあると判定された場合、カーソル１８が表示されることになる。そして、操作者が視線を動かすことにより、画面９ａｃに示すように、カーソル１８を移動させることができる。

次に、カーソルの位置が画像上にあるか否かが判定される（ステップＳ５９）。カーソルの位置が画像上にないと判定された場合、ＮＯとなり、ステップＳ５４に進み、上述した処理が実行される。一方、カーソルの位置が画像上にあると判定された場合、ＹＥＳとなり、音声入力があるか否かが判定される（ステップＳ６０）。音声入力がないと判定された場合、ＮＯとなり、ステップＳ５１に戻る。一方、音声入力があると判定された場合、ＹＥＳとなり、入力された音声が何かが判定される（ステップＳ６１）。

入力された音声は、ステップＳ５５と同様に、「拡大」、「縮小」、「その他」に分類される。入力された音声が「その他」の場合、画像操作を行わずにステップＳ５１に戻る。入力された音声が「拡大」の場合、視線の中心座標を起点として画像が拡大され（ステップＳ６２）、ステップＳ５１に戻る。すなわち、図１４の画面９ａｄに示すように、カーソル１８の中心を起点として内視鏡画像１６が拡大される。

入力された音声が「縮小」の場合、視線の中心座標を起点として画像が縮小され（ステップＳ６３）、ステップＳ５１に戻る。すなわち、図１４の画面９ａｅに示すように、カーソル１８の中心を起点として内視鏡画像１６が縮小される。

以上の処理のように、視線の位置が画面上にない場合や画像上にない場合は、音声により画像を拡大、縮小する際に、画像の中心座標を起点として画像を拡大、縮小処理する。一方、視線の位置が画像上にある場合、音声により画像を拡大、縮小する際に、視線の中心座標を起点として画像を拡大、縮小処理する。

これにより、滅菌域にいる術者が不潔域の装置に触れることなく、かつ、手術から手を放すくとなく、意図した部分を起点とした画像の拡大表示や縮小表示を短時間で行うことができる。

よって、本実施の形態の医療システムによれば、術者が手術から手を放すくとなく、視線を用いて画像の特定の位置を指定し、その位置を起点として画像の操作を行うことができる。

なお、本明細書におけるフローチャート中の各ステップは、その性質に反しない限り、実行順序を変更し、複数同時に実行し、あるいは実行毎に異なった順序で実行してもよい。

本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

１，１ａ…医療システム、２…周辺機器、３…タッチパネル、４…ジェスチャーセンサ、５…音声入力部、６…画像サーバ、７…システムコントローラ、８…内視鏡用カメラ装置、９…モニタ、９ａ…表示部、１０…気腹装置、１１…光源装置、１２…超音波観測装置、１３…内視鏡、１４…カメラヘッド、１５…患者、１７，３１…カメラ、２１，２１ａ…情報処理部、２２，２２ａ…画面生成部、３０…視線位置計測センサ。

Claims (6)

1. 医療画像を表示する表示部と、
   前記医療画像の画像操作を行うための音声を認識する音声認識部と、
   操作者の前記表示部上における少なくとも１つ以上の特徴点座標を取得する特徴点座標取得部と、
   前記少なくとも１つ以上の特徴点座標から所定の特徴点座標を抽出する特徴点座標抽出部と、
   前記所定の特徴点座標が前記医療画像上にあるか否かを判定する判定部と、
   前記判定部の判定結果により前記所定の特徴点座標が前記医療画像上にあると判定された際に、前記音声認識部により前記画像操作を行うための音声が認識された場合、前記所定の特徴点座標を起点として前記医療画像に前記画像操作を行い、前記所定の特徴点座標が前記医療画像上にないと判定された際に、前記音声認識部により前記画像操作を行うための音声が認識された場合、前記医療画像の中心座標を起点として前記医療画像に前記画像操作を行い、前記表示部に表示するように制御する表示制御部と、
   を有することを特徴とする医療システム。
2. 医療画像を表示する表示部と、
   前記医療画像の画像操作を行うための音声を認識する音声認識部と、
   操作者の前記表示部上における仮の視線位置座標を計測する視線位置計測部と、
   前記仮の視線位置座標から前記操作者の前記表示部上における視線位置座標を算出する視線位置座標算出部と、
   前記視線位置座標が前記医療画像上にあるか否かを判定する判定部と、
   前記判定部の判定結果により前記視線位置座標が前記医療画像上にあると判定された際に、前記音声認識部により前記画像操作を行うための音声が認識された場合、前記視線位置座標を起点として前記医療画像に前記画像操作を行い、前記視線位置座標が前記医療画像上にないと判定された際に、前記音声認識部により前記画像操作を行うための音声が認識された場合、前記医療画像の中心座標を起点として前記医療画像に前記画像操作を行い、前記表示部に表示するように制御する表示制御部と、
   を有することを特徴とする医療システム。
3. 前記表示制御部は、前記判定部の判定結果により前記視線位置座標が前記医療画像上にあると判定された場合、前記視線位置座標を中心とした所定の大きさの外径の枠部と、該枠部内に設けられた所定の領域の背景を透過して表示する透過部とにより構成される視線位置領域部を生成し、前記医療画像に付加して表示するように制御することを特徴とする請求項２に記載の医療システム。
4. 前記表示制御部は、、前記視線位置領域部で設定された前記表示部の領域の色情報を取得する色情報取得部と、前記色情報取得部で取得された色情報を反転処理する反転処理部と、前記反転処理部の処理結果を前記表示部の色情報に置き換える変換部と、を有することを特徴とする請求項３に記載の医療システム。
5. 医療画像を表示する表示部と、
   前記医療画像の画像操作を行うための音声を認識する音声認識部と、
   操作者の前記表示部上における仮の視線位置座標を計測する視線位置計測部と、
   前記仮の視線位置座標から前記操作者の前記表示部上における視線位置座標を算出する視線位置座標算出部と、
   前記視線位置座標が前記医療画像上にあるか否かを判定する判定部と、
   前記判定部の判定結果により前記視線位置座標が前記医療画像上にあると判定された場合、前記視線位置座標を中心とした所定の大きさの外径の枠部と、該枠部内に設けられた所定の領域の背景を透過して表示する透過部とにより構成される視線位置領域部を生成し、前記医療画像に付加して表示するように制御する表示制御部と、
   を有することを特徴とする医療システム。
6. 前記表示制御部は、前記視線位置領域部で設定された前記表示部の領域の色情報を取得する色情報取得部と、前記色情報取得部で取得された色情報を反転処理する反転処理部と、前記反転処理部の処理結果を前記表示部の色情報に置き換える変換部と、を有することを特徴とする請求項５に記載の医療システム。

Images