JP2015139646A5 - 内視鏡システム、内視鏡画像処理装置、画像処理方法、およびプログラム - Google Patents

Description

本開示は、内視鏡システム、内視鏡画像処理装置、画像処理方法、およびプログラムに関し、特に、例えば、腹腔鏡下手術などで用いられる内視鏡装置によってビデオ撮像された画像の振れを補正できるようにした内視鏡システム、内視鏡画像処理装置、画像処理方法、およびプログラムに関する。

図１は、腹腔鏡下手術の概要を示している。腹腔鏡下手術では、例えば腹部の手術を行う場合、従来行われていた腹壁１を切って開腹する代わりに、トロッカ２と称される開孔器具が腹壁に数か所取り付けられ、トロッカ２に設けられている孔から腹腔鏡（以下、内視鏡装置または内視鏡とも称する）３と処置具４が体内に挿入される。そして、内視鏡３によってビデオ撮像された患部（腫瘍等）５の画像をリアルタイムに見ながら、処置具４によって患部５を切除するなどの処置が行われる。

本開示の第１の側面である内視鏡システムは、体腔に挿入される挿入部の先端に対物レンズが設けられ、基端にヘッド部が設けられ、前記ヘッド部の動きの角速度を検出するジャイロ部が前記ヘッダ部に設けられている内視鏡装置と、前記内視鏡装置から入力される画像信号に対応する画像の動きと、検出された前記角速度とに基づいて、前記ヘッド部の動きに応じて前記対物レンズが動くときの回転センタの位置を推定する推定部を備える画像処理装置とを含む。

前記画像処理装置は、推定された前記回転センタの位置に基づいて、前記画像信号の手振れを補正する補正部をさらに備えることができる。
前記補正部は、前記内視鏡装置から入力される前記画像信号の有効画素エリアから切り出しエリアを切り出すことにより、前記画像信号の手振れを補正することができ、前記切り出しエリアは、推定された前記回転センタの位置と、検出された前記角速度とに基づいて決定されるようにすることができる。

前記画像処理装置は、手振れ補正済みの前記画像信号のローリングシャッタ歪を除去する歪除去部をさらに備えることができる。
前記補正部は、推定された前記回転センタの位置と、検出された前記角速度とに基づいて、前記回転センタにおいて前記内視鏡装置を動かして撮像された複数の画像を合成し、前記画像より画角の広い広角画像を生成することができる。

本開示の第１の側面である内視鏡システムにおいては、内視鏡装置から画像処理装置に対して画像信号とヘッド部の角速度が入力され、画像処理装置にて、前記画像信号に対応する画像の動きと、検出された前記角速度とに基づいて、前記ヘッド部の動きに応じて前記対物レンズが動くときの回転センタの位置が推定される。

本開示の第２の側面である内視鏡画像処理装置は、体腔に挿入される挿入部の先端に対物レンズが設けられ、基端にヘッド部が設けられ、前記ヘッド部の動きの角速度を検出するジャイロ部が前記ヘッダ部に設けられている内視鏡装置から入力される画像信号に対応する画像の動きと、前記内視鏡装置から入力される前記角速度とに基づいて、前記ヘッド部の動きに応じて前記対物レンズが動くときの回転センタの位置を推定する推定部を備える。
本開示の第２の側面である内視鏡画像処理装置は、推定された前記回転センタの位置に基づいて、前記画像信号の手振れを補正する補正部をさらに備えることができる。

本開示の第２の側面である画像処理方法は、体腔に挿入される挿入部の先端に対物レンズが設けられ、基端にヘッド部が設けられ、前記ヘッド部の動きの角速度を検出するジャイロ部が前記ヘッダ部に設けられている内視鏡装置から入力される画像信号を処理する内視鏡画像処理装置の画像処理方法において、前記内視鏡画像処理装置による、前記画像信号に対応する画像の動きと、前記内視鏡装置から入力される前記角速度とに基づいて、前記ヘッド部の動きに応じて前記対物レンズが動くときの回転センタの位置を推定する推定ステップを含む。

本開示の第２の側面であるプログラムは、コンピュータを、体腔に挿入される挿入部の先端に対物レンズが設けられ、基端にヘッド部が設けられ、前記ヘッド部の動きの角速度を検出するジャイロ部が前記ヘッダ部に設けられている内視鏡装置から入力される画像信号に対応する画像の動きと、前記内視鏡装置から入力される前記角速度とに基づいて、前記ヘッド部の動きに応じて前記対物レンズが動くときの回転センタの位置を推定する推定部として機能させる。

本開示の第２の側面においては、内視鏡装置から画像処理装置に対して画像信号とヘッド部の角速度が入力され、画像処理装置にて、前記画像信号に対応する画像の動きと、検出された前記角速度とに基づいて、前記ヘッド部の動きに応じて前記対物レンズが動くときの回転センタの位置が推定される。

一方、対物レンズ２２の移動量（Ｄｘ，Ｄｙ，Ｄｚ）とジャイロ部２６の角速度（Yaw角速度ｗ_y、Pitch角速度ｗ_p）の関係は次式（１）（近似式）のとおりとなる。
Ｄｘ＝ａ sin（ｗ_yｔ）
Ｄｙ＝ａ sin（ｗ_Pｔ）
Ｄｚ＝ａ（１−cos（ｗ_yｔ））（１−cos（ｗ_Pｔ）） （１）
ｔは１フレーム時間を表す。

Claims (14)

1. 体腔に挿入される挿入部の先端に対物レンズが設けられ、基端にヘッド部が設けられ、前記ヘッド部の動きの角速度を検出するジャイロ部が前記ヘッダ部に設けられている内視鏡装置と、
   前記内視鏡装置から入力される画像信号に対応する画像の動きと、検出された前記角速度とに基づいて、前記ヘッド部の動きに応じて前記対物レンズが動くときの回転センタの位置を推定する推定部を備える画像処理装置と
   を含む内視鏡システム。
2. 前記画像処理装置は、
   推定された前記回転センタの位置に基づいて、前記画像信号の手振れを補正する補正部をさらに備える
   請求項１に記載の内視鏡システム。
3. 前記補正部は、前記内視鏡装置から入力される前記画像信号の有効画素エリアから切り出しエリアを切り出すことにより、前記画像信号の手振れを補正し、
   前記切り出しエリアは、推定された前記回転センタの位置と、検出された前記角速度とに基づいて決定される
   請求項２に記載の内視鏡システム。
4. 前記画像処理装置は、
   推定された前記回転センタの位置と、検出された前記角速度とに基づいて、前記対物レンズの移動量を算出する対物レンズ移動量算出部をさらに備える
   請求項３に記載の内視鏡システム。
5. 前記対物レンズ移動量算出部は、さらに、算出した前記対物レンズの移動量に基づいて、切り出しエリアのシフト量を決定し、
   前記補正部は、決定された前記シフト量に応じて前記切り出しエリアの位置を調整することにより、前記画像信号の手振れを補正する
   請求項４に記載の内視鏡システム。
6. 前記補正部は、前記内視鏡装置から所定のフレームレートで入力される各画像信号の手振れを補正し、
   前記推定部は、前記所定のフレームレート以下の頻度で前記回転センタの位置を推定する
   請求項２から５のいずれかに記載の内視鏡システム。
7. 前記画像処理装置は、
   推定された前記回転センタの位置を時間方向に平準化する回転センタ位置平準化部を
   さらに備える
   請求項１から６のいずれかに記載の内視鏡システム。
8. 前記画像処理装置は、
   検出された前記角速度を時間方向に平準化する角速度平準化部をさらに備える
   請求項１から６のいずれかに記載の内視鏡システム。
9. 前記画像処理装置は、
   手振れ補正済みの前記画像信号のローリングシャッタ歪を除去する歪除去部をさらに備える
   請求項２から８のいずれかに記載の内視鏡システム。
10. 前記補正部は、推定された前記回転センタの位置と、検出された前記角速度とに基づいて、前記回転センタにおいて前記内視鏡装置を動かして撮像された複数の画像を合成し、前記画像より画角の広い広角画像を生成する
    請求項１に記載の内視鏡システム。
11. 体腔に挿入される挿入部の先端に対物レンズが設けられ、基端にヘッド部が設けられ、前記ヘッド部の動きの角速度を検出するジャイロ部が前記ヘッダ部に設けられている内視鏡装置から入力される画像信号に対応する画像の動きと、前記内視鏡装置から入力される前記角速度とに基づいて、前記ヘッド部の動きに応じて前記対物レンズが動くときの回転センタの位置を推定する推定部を
    備える内視鏡画像処理装置。
12. 推定された前記回転センタの位置に基づいて、前記画像信号の手振れを補正する補正部をさらに備える
    請求項１１に記載の内視鏡画像処理装置。
13. 体腔に挿入される挿入部の先端に対物レンズが設けられ、基端にヘッド部が設けられ、前記ヘッド部の動きの角速度を検出するジャイロ部が前記ヘッダ部に設けられている内視鏡装置から入力される画像信号を処理する内視鏡画像処理装置の画像処理方法において、
    前記内視鏡画像処理装置による、
    前記画像信号に対応する画像の動きと、前記内視鏡装置から入力される前記角速度とに基づいて、前記ヘッド部の動きに応じて前記対物レンズが動くときの回転センタの位置を推定する推定ステップを
    含む画像処理方法。
14. コンピュータを、
    体腔に挿入される挿入部の先端に対物レンズが設けられ、基端にヘッド部が設けられ、前記ヘッド部の動きの角速度を検出するジャイロ部が前記ヘッダ部に設けられている内視鏡装置から入力される画像信号に対応する画像の動きと、前記内視鏡装置から入力される前記角速度とに基づいて、前記ヘッド部の動きに応じて前記対物レンズが動くときの回転センタの位置を推定する推定部と
    して機能させるプログラム。