JP7031118B2 - 画像処理装置、及び、画像処理方法 - Google Patents

Description

本開示は、画像処理装置、画像処理方法、及び光学部材に関する。

近年、医療現場において、内視鏡を用いた内視鏡下手術が行われている。内視鏡下手術では、観察対象物（患者）に挿入された内視鏡で撮像され、モニタに表示される画像を観察しながら、作業者が検査や手技を行うことが可能である。

例えば、下記特許文献１には、回転角度を検知する加速度センサを備えた内視鏡により撮像される内視鏡画像の上下左右方向と、作業者の上下左右操作方向とを一致させて内視鏡画像を表示させる技術が記載されている。

また、臓器の入り組んだ場所等を観察するため、視線方向の角度を変化させることが可能な内視鏡が用いられている。このような視線方向の角度可変な内視鏡を用いることで、視線方向の異なる内視鏡を取り換える手間を省くことが可能である。

特開２００６－２１８０２７号公報

上記のような視線方向の角度可変な内視鏡が用いられる場合、当該内視鏡により撮像され、モニタに表示される画像から、現在の視線方向の角度を把握することが困難な場合があった。視線方向の角度が不明である場合、内視鏡の操作が困難となり、例えば腹壁など臓器を傷つけてしまう恐れがあった。

そこで、本開示では、視線方向の角度をより容易に把握することが可能な、新規かつ改良された画像処理装置、画像処理方法、及び光学部材を提案する。

本開示によれば、マーカ部を有し、視線方向の角度可変な結像光学系と、光学的に接続される光学部材を透過する光に基づく生体内画像に基づいて、前記視線方向の角度を特定する角度特定部と、前記生体内画像に対する画像処理を行う画像処理部と、を備える、画像処理装置が提供される。

また、本開示によれば、マーカ部を有し、視線方向の角度可変な結像光学系と、光学的に接続される光学部材を透過する光に基づく生体内画像に基づいて、プロセッサが視線方向の角度を特定することと、前記生体内画像に対する画像処理を行うことと、を含む画像処理方法が提供される。

また、本開示によれば、マーカ部を有し、視線方向の角度可変な結像光学系と、光学的に接続される、光学部材が提供される。

以上説明したように本開示によれば、視線方向の角度をより容易に把握することが可能となる。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の一実施形態にかかる内視鏡手術システム１の全体構成を示す説明図である。 同実施形態に係る内視鏡２の機能構成の一例を示すブロック図である。 同実施形態に係る対物レンズ２２について説明するための説明図である。 同実施形態に係る対物レンズ２２が有するマーカ部の一例を説明するための説明図である。 同実施形態に係る対物レンズ２２が有するマーカ部の他の例を説明するための説明図である。 同実施形態に係る対物レンズ２２が有するマーカ部の他の例を説明するための説明図である。 同実施形態に係るＣＣＵ５－１の機能構成の一例を示すブロック図である。 同実施形態に係る撮像画像と出力画像の例を示す説明図である。 同実施形態の動作例を示すフローチャートである。 変形例１の概要を説明するための説明図である。 同変形例に係るＣＣＵ５－２の機能構成の一例を示すブロック図である。 同変形例の動作例を示すフローチャートである。 変形例２に係るＣＣＵ５－３の機能構成の一例を示すブロック図である。 同変形例の動作例を示すフローチャートである。 ハードウェア構成例を示す説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

なお、説明は以下の順序で行うものとする。
＜＜１．概要＞＞
＜１－１．内視鏡手術システムの概略構成＞
＜１－２．背景＞
＜＜２．構成＞＞
＜２－１．内視鏡の構成＞
＜２－２．ＣＣＵの構成＞
＜＜３．動作＞＞
＜＜４．変形例＞＞
＜４－１．変形例１＞
＜４－２．変形例２＞
＜４－３．変形例３＞
＜＜５．ハードウェア構成例＞＞
＜＜６．むすび＞＞

＜＜１．概要＞＞
＜１－１．内視鏡手術システムの概略構成＞
まず、図面を参照しながら本開示の一実施形態にかかる内視鏡手術システムの概略構成（概要）を説明する。図１は、本開示の一実施形態にかかる内視鏡手術システム１の全体構成を示す説明図である。なお、以下の説明において、「ユーザ」とは、例えば手術の術者及び助手、スコピスト等、内視鏡手術システム１を使用する任意の医療スタッフのことを意味する。

近年、医療現場において従来の開腹手術に代わって、内視鏡下手術が行われている。例えば、腹部の手術が行われる場合、図１で示されるような手術室に配置される内視鏡手術システム１が用いられる。従来のように腹壁を切って開腹する代わりに、トロッカ１２a,１２bと称される開孔器具が腹壁に数か所取り付けられ、トロッカ１２a,１２bに設けられている孔から腹腔鏡（以下、内視鏡とも称する）２、エネルギ処置具３や鉗子４等が体内に挿入される。そして、内視鏡２によってビデオ撮像され、表示装置９に表示された患部（腫瘍等）１６の画像をリアルタイムに見ながら、エネルギ処置具３等によって患部１６を切除するなどの処置が行われる。内視鏡２、エネルギ処置具３や鉗子４は、ユーザ、またはロボット等が保持している。なお、本実施形態において、内視鏡２は所謂硬性鏡である例を説明する。

このような内視鏡下手術が行われる手術室内には、内視鏡下手術のための装置類を搭載するカート１４、患者が横たわる患者ベッド１３、フットスイッチ１５等が配置される。カート１４は、医療機器として例えばカメラコントロールユニット(ＣＣＵ)５、光源装置６、処置具用装置７、気腹装置８、表示装置９、レコーダ１０及びプリンタ１１等の装置類を載置している。

内視鏡２の観察光学系を通じて撮像されて取得された患部１６の画像信号がカメラケーブルを介してＣＣＵ５に伝送され、ＣＣＵ５内で信号処理（画像処理）された後に、表示装置９に出力され、患部１６の内視鏡画像が表示される。ＣＣＵ５は、カメラケーブルを介して内視鏡２に接続される他、無線で接続してもよい。なお、本明細書では、生体内を撮像して取得された画像を生体内画像と呼ぶ場合がある。また、本明細書では、撮像により取得された画像を撮像画像と呼び、撮像画像には生体内画像が含まれ得る。

光源装置６は、ライトガイドケーブルを介して内視鏡２に接続され、患部１６に対してさまざまな波長の光を切り替えて照射することができる。処置具用装置７は、例えば電気熱を用いて患部１６を切断するエネルギ処置具３に対して高周波電流を出力する高周波出力装置である。気腹装置８は、送気、吸気手段を備え、患者体内の例えば腹部領域に空気を送気する装置である。フットスイッチ１５は、ユーザのフット操作をトリガ信号として、ＣＣＵ５や処置具用装置７等を制御するようになっている。

＜１－２．背景＞
以上、本実施形態にかかる内視鏡手術システム１の全体構成について説明した。続いて、本実施形態にかかる内視鏡手術システム１の創作に至った背景を説明する。

内視鏡下手術において、例えば臓器の入り組んだ場所を観察するために、進行方向と同一角度の視線方向を有する直視鏡以外に、進行方向とは異なる角度の視線方向を有する斜視鏡が用いられることがある。係る場合、ユーザは鏡筒（直視鏡と斜視鏡）を取り換えながら手術を行う。

このように手術中に視線方向の異なる様々な内視鏡を使い分けるため、術前では、使用する全ての鏡筒を準備（洗浄・消毒等）する手間が発生し、術中は鏡筒を取り換える手間が発生し得る。この手間を省くため、視線方向の角度を変化させることが可能な内視鏡が存在する。

しかし、このような視線方向の角度可変な内視鏡が用いられる場合、当該内視鏡により撮像され、モニタに表示される画像から、現在の視線方向の角度を把握することが困難な場合があった。視線方向の角度が不明である場合、内視鏡の操作が困難となり、例えば腹壁など臓器を傷つけてしまう恐れがあった。

ここで、例えば特許文献１に記載の内視鏡のように、視線方向の角度を検出するためのセンサを内視鏡の鏡筒内に備え、当該センサにより取得されるセンサ情報をＣＣＵに送信することで、視線方向の角度を検出する方法が考えられる。

しかし、内視鏡が上記のようなセンサや、ＣＣＵへセンサ情報を送信するための機構を備える場合、内視鏡の構造が複雑化する。例えば、内視鏡からＣＣＵへセンサ情報を送信するためには、センサを備える鏡筒と、ＣＣＵに接続される内視鏡のカメラヘッドとの間で、電気的に接続する機構が求められる。しかし、鏡筒がセンサを備えたり、鏡筒が電気的接続のための機構を備える場合、鏡筒の洗浄、及び消毒（例えば加熱消毒）を行うことがより困難になる。

そこで、上記事情を一着眼点にして本実施形態を創作するに至った。本実施形態による内視鏡手術システム１は、内視鏡２の複雑化を抑制し、例えば鏡筒とカメラヘッドとの間で電気的に接続する機構を有していなくとも、ユーザが視線方向の角度を把握することが可能である。以下、このような効果を実現するための、本実施形態に係る内視鏡手術システム１が有する内視鏡２、及びＣＣＵ５の構成について、順次詳細に説明する。

＜＜２．構成＞＞
＜２－１．内視鏡の構成＞
図２は、本開示の一実施形態に係る内視鏡２の機能構成の一例を示すブロック図である。図２に示すように、本実施形態に係る内視鏡２は、鏡筒２０と、カメラヘッド２００と、を備える。また、本実施形態に係る内視鏡２は、鏡筒２０を取り換えることなく、視線方向の角度を変更することが可能である。

鏡筒２０は、図２に示すように、対物レンズ２２と、結像光学系２４と、角度調整部２６と、を備える。なお、図２では、鏡筒２０が有する光学部材として、対物レンズ２２と結像光学系２４のみを図示しているが、光を透過するキャップや、フィルタ等、他の光学部材が対物レンズ２２と被写体との間、または対物レンズ２２と、結像光学系２４との間に存在してもよい。

対物レンズ２２は、被写体からの光を透過するレンズ（光学部材）である。なお、本開示においてレンズとは、光を屈折させる機能を有さなくてもよく、本開示では、入射光のうち、少なくとも一部の光を透過する光学部材をレンズと呼称する。

図３は対物レンズ２２について説明するための説明図である。対物レンズ２２は、鏡筒２０の筐体に対して移動、回転せず、鏡筒２０は、後述する結像光学系２４と角度調整部２６の機構により、視線方向の角度が変更可能であってもよい。図３に示すように、対物レンズ２２は、例えば０°～１２０°の視線方向からの光を、透過させてもよい。

また、本実施形態に係る対物レンズ２２は、マーカ部を有する。マーカ部は、例えば視線方向の角度を示すものであってもよい。以下、マーカ部を有する対物レンズ２２の例について説明する。

図４は、マーカ部を有する対物レンズ２２の一例（対物レンズ２２－１）を説明するための説明図である。図４に示す対物レンズ２２－１は、光透過部２２０－１の左右の両端部に、マーカ部２２１（マーカ部２２１Ａ～Ｄ）、及びマーカ部２２３（マーカ部２２３Ａ～Ｃ）を有する。マーカ部２２１、及びマーカ部２２３は、それぞれ視線方向の角度に応じた複数の色（以下、色パターンと呼称する場合がある）を含む。係る構成により、ユーザ、または後述するＣＣＵ５が、撮像画像に含まれる（映る）マーカ部２２１、及びマーカ部２２３に相当する領域に基づいて現在の視線方向の角度を認識可能となる。

なお、図４に示す例では、マーカ部２２１Ａ～Ｄはそれぞれ異なる色であり、マーカ部２２３Ａ～Ｃもそれぞれ異なる色である。例えば、ユーザ、または後述するＣＣＵ５は、マーカ部２２１Ａ～Ｄ、及びマーカ部２２３Ａ～Ｃのうち、いずれが撮像画像に含まれているのかを認識することで、現在の視線方向の角度を認識可能である。

また、マーカ部２２１、及びマーカ部２２３は、例えば半透明であってもよく、入射光のうち少なくとも一部の光を透過してもよい。係る構成により、対物レンズ２２－１を透過した光に基づく撮像画像には、マーカ部２２１、及びマーカ部２２３を透過した光の情報が含まれ得る。また、後述するようにＣＣＵ５の画像処理により、マーカ部２２１、及びマーカ部２２３をユーザが意識しないような画像を表示させることも可能となり得る。

なお、マーカ部２２１、及びマーカ部２２３が半透明である場合、マーカ部２２１、及びマーカ部２２３は、観察対象（例えば生体内）、または術具に存在しやすい色とは異なる色であることが望ましい。係る構成により、ユーザはマーカ部２２１、及びマーカ部２２３を視認しやすくなり、またＣＣＵ５による視線方向の角度の認識精度が向上し得る。

また、マーカ部２２１、及びマーカ部２２３に含まれる色パターンは、例えば色相の角度と対応していてもよい。係る構成により、例えばユーザが色相についての知識を有する場合、色パターンと角度の対応を新たに覚えることなく、撮像画像に含まれるマーカ部２２１、及びマーカ部２２３に相当する領域を視認することで、現在の視線方向の角度を把握することが可能となる。

また、図４に示すように、左右のマーカ部２２１とマーカ部２２３との間で、色パターンの境界の上下方向における位置が異なっていてもよい。例えば、図４に示す例では、マーカ部２２１Ａ、及びマーカ部２２１Ｂの間の境界と、マーカ部２２３Ａ、及びマーカ部２２３Ｂの間の境界との上下方向における位置が異なっている。係る構成により、マーカ部２２１とマーカ部２２３との組み合わせにより、より詳細な角度を示すことが可能となり、例えばＣＣＵ５による角度の検出性能（分解能）を高めることが可能となる。

なお、図４に示す対物レンズ２２－１が用いられる場合の撮像画像の例については、図８を参照して後述する。

図５は、マーカ部を有する対物レンズ２２の他の例（対物レンズ２２－２）を説明するための説明図である。図５に示す対物レンズ２２－２は、光透過部２２０－２の左右方向における中央部に、マーカ部２２５（マーカ部２２５Ａ～Ｃ）を有する。図５に示す例では、マーカ部２２５Ａ、マーカ部２２５Ｂ、マーカ部２２５Ｃはそれぞれ異なる色であり、また、それぞれ異なる視線方向の角度を示す色パターンである。

係る構成により、例えば内視鏡２が焦点距離を変更可能な光学ズーム機能を有する場合であっても、光透過部２２０－２の左右方向における中央部に配置されたマーカ部２２５が撮像画像に含まれ得るため、視線方向の角度を容易に把握することが可能となり得る。

また、マーカ部２２５も、図４を参照して説明したマーカ部２２１、マーカ部２２３と同様に色相の角度と対応した色パターンを含んでもよい。また、マーカ部２２５も、図４を参照して説明したマーカ部２２１、マーカ部２２３と同様に半透明であってもよい。

また、マーカ部２２５Ａ～Ｃは、視線方向がどのように変更された場合であっても、マーカ部２２５Ａ～Ｃのうちいずれか一つが常に撮像画像に含まれるように、配置されることが望ましい。

なお、図５では、マーカ部２２５Ａとマーカ部２２５Ｂの間、及びマーカ部２２５Ｂとマーカ部２２５Ｃの間にはマーカ部が存在しない（透明である）例を示しているが、マーカ部２２５Ａ～Ｃは、上下方向に連続していてもよい。係る構成により、例えば内視鏡２が光学ズーム機能を有する場合であっても、常にマーカ部２２５の一部が撮像画像に含まれて、角度を把握することが可能となる。

図６は、マーカ部を有する対物レンズ２２の他の例（対物レンズ２２－３）を説明するための説明図である。図６に示す対物レンズ２２－３は、光透過部２２０－３に、視線方向の角度を示す目盛線と、視線方向の角度を示す文字列（０°、４０°、８０°、１２０°）と、からなるマーカ部２２７を有する。

係る構成により、ユーザは、ＣＣＵ５による角度検出や画像処理が行われない場合であっても、対物レンズ２２－３を透過する光に基づく撮像画像を観察するより容易に視線方向の角度を認識することが可能である。なお、図６では、マーカ部２２７が視線方向の角度を示す目盛線と、視線方向の角度を示す文字列の両方を含む例を示したが、マーカ部２２７は、いずれか一方のみを含んでもよい。

以上、対物レンズ２２について説明した。なお、上述した例は一例であり、本実施形態に係る対物レンズ２２は図４～図６に示した例に限定されない。例えば、本実施形態に係る対物レンズ２２は、上述したマーカ部を組み合わせて含んでもよい。

続いて、図２に戻り、内視鏡２の構成について説明を続ける。図２に示す結像光学系２４は、対物レンズ２２と光学的に接続され、対物レンズ２２が透過した光を結像させる。結像光学系２４は、例えば複数のレンズを含んでもよく、例えば結像光学系２４に含まれる複数のレンズの内、少なくとも一部のレンズが対物レンズ２２の内側に含まれてもよい。また、結像光学系２４に含まれる複数のレンズの内、少なくとも一部のレンズが移動、または回転することで、結像光学系２４は、視線方向の角度を変化させることが可能（視線方向の角度可変）であってもよい。また、当該レンズの移動、または回転は、後述する角度調整部２６に対するユーザ操作に連動して行われてもよい。

なお、視線方向の角度を変化させるための構成については公知であるため、ここでの結像光学系２４の詳細な説明は省略する。

角度調整部２６は、ユーザが視線方向の角度を調整するために用いられ、例えばダイヤル等を含んでもよい。例えばユーザがダイヤルを回転させることで、当該回転に連動して結像光学系２４に含まれるレンズが移動、または回転し、視線方向の角度を調整することが可能である。

カメラヘッド２００は、図２に示すように鏡筒２０と光学的に接続され、撮像素子２０２を備える。カメラヘッド２００は、鏡筒２０と電気的には接続されていなくてもよい。

撮像素子２０２は、対物レンズ２２を透過し、結像光学系２４により結像される光をその受光面で受光することにより、撮像画像を取得する。具体的には、撮像素子２０２は、ホトダイオード等の受光素子が配列されてなる受光面を有し、当該受光面で光を受光することにより、光電変換により、撮像画像を取得する。

撮像素子２０２としては、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等の、各種の公知の撮像素子が用いられてよい。撮像素子２０２によって取得された撮像画像は、後述するＣＣＵ５へ送信される。

＜２－２．ＣＣＵの構成＞
以上、本実施形態に係る内視鏡２の構成例について説明した。続いて、本実施形態に係るＣＣＵ５の一例であるＣＣＵ５－１の構成例について図７を参照して説明する。図７は、ＣＣＵ５－１の機能構成の一例を示すブロック図である。図７に示すように本実施形態に係るＣＣＵ５－１は、角度特定部５２、及び画像処理部５４を備える画像処理装置である。

角度特定部５２は、図２を参照して説明したカメラヘッド２００から送信される撮像画像に基づいて、視線方向の角度を特定（検出）する。撮像画像は、上述したように、対物レンズ２２を透過する光に基づいて取得（撮像）され、角度特定部５２は、対物レンズ２２のマーカ部に応じた画像認識処理を行って、視線方向の角度を特定してもよい。

例えば、図４に示す対物レンズ２２－１が用いられる場合、角度特定部５２は、撮像画像に含まれるマーカ部２２１、及びマーカ部２２３に対応する領域の色情報に基づいて、視線方向の角度を特定してもよい。また、係る場合、角度特定部５２は、撮像画像からマーカ部２２１、及びマーカ部２２３における色パターンの境界に対応する位置を特定し、当該位置に基づいて視線方向の角度を特定してもよい。

また、図５に示す対物レンズ２２－２が用いられる場合、角度特定部５２は、撮像画像の左右方向における中央部において、マーカ部２５５Ａ～Ｃのいずれかに対応する領域を検出し、当該領域の色情報を解析することで、視線方向の角度を特定してもよい。

また、図６に示す対物レンズ２２－３が用いられる場合、角度特定部５２は、撮像画像に含まれるマーカ部２２７に対応する領域に含まれる目盛線、または視線方向の角度を示す数字を認識することで、視線方向の角度を特定してもよい。

角度特定部５２は、特定した視線方向の角度を画像処理部５４へ提供する。

画像処理部５４は、角度特定部５２により特定される視線方向の角度に基づき、カメラヘッド２００から送信される撮像画像に対する画像処理を行い、出力画像を生成する。例えば、画像処理部５４は、図７に示すように色補正部５４２と、合成部５４４としての機能を有してもよい。

色補正部５４２は、視線方向の角度に基づき、対物レンズ２２のマーカ部が有する色を減算する色補正処理（画像処理の一例）を行う。色補正部５４２は、対物レンズ２２のマーカ部に応じた色補正処理を行ってもよい。

例えば、図４に示す対物レンズ２２－１が用いられる場合、色補正部５４２は、撮像画像に含まれるマーカ部２２１、及びマーカ部２２３に対応する領域に対し、視線方向の角度に応じた色を減算する色補正処理を行ってもよい。

また、図５に示す対物レンズ２２－２が用いられる場合、色補正部５４２は、撮像画像から検出される、マーカ部２５５Ａ～Ｃのいずれかに対応する領域に対し、視線方向の角度に応じた色（検出されたマーカ部に応じた色）を減算する色補正処理を行ってもよい。

合成部５４４は、色補正部５４２が色補正処理を施した画像に、視線方向の角度を示すインジケータを合成する合成処理（画像処理の一例）を行う。例えば、合成部５４４が合成するインジケータは、視線方向の角度を示す文字列を含んでもよい。

なお、画像処理部５４は、上述した画像処理以外にも、ガンマ補正処理やホワイトバランスの調整処理等の画像処理を行ってもよい。

画像処理部５４が画像処理を行って生成される出力画像は、図１を参照して説明した表示装置９へ出力され、表示装置９に表示される。

図８は、撮像画像と出力画像の例を示す説明図である。図８は、図４に示した対物レンズ２２－１が用いられた場合の撮像画像Ｇ１０と出力画像Ｇ２０の例を示している。

図８に示す撮像画像Ｇ１０は、マーカ部２２１に対応する領域Ｇ１２、及びマーカ部２２３に対応する領域Ｇ１４を含む。また、領域Ｇ１２は、例えば半透明のマーカ部２２１Ｃを透過した光に基づいており、領域Ｇ１４は、例えば半透明のマーカ部２２３Ｂ，及びマーカ部２２３Ｃを透過した光に基づいている。

図８に示す撮像画像Ｇ１０が入力された角度特定部５２は、領域Ｇ１２、及び領域Ｇ１４の色情報、及び当該領域に含まれる色パターンの境界に対応する位置に基づいて視線方向の角度を特定する。

図８に示す出力画像Ｇ２０は、撮像画像Ｇ１０に対し、画像処理部５４による画像処理が施されて生成され、表示装置９に表示される出力画像である。図８に示すように、マーカ部２２１に対応する領域Ｇ２２、及びマーカ部２２３に対応する領域Ｇ２４における色を減算する色補正処理により、出力画像Ｇ２０を観察するユーザは、マーカ部２２１、及びマーカ部２２３の影響を受けずに観察可能である。

また、図８に示す出力画像Ｇ２０は、視線方向の角度を示すインジケータＧ２６を含む。インジケータＧ２６により、出力画像Ｇ２０を観察するユーザは、容易に視線方向の角度を把握することが可能である。

以上、本実施形態に係る構成例を説明した。なお、上述した構成例は一例であり、本実施形態は係る例に限定されない。例えば、ＣＣＵ５は、色補正部５４２、合成部５４４の機能を有していなくてもよく、撮像画像に対して色を減算する補正処理や合成処理を行わなくてもよい。係る場合、ユーザは、表示される画像に映るマーカ部から視線方向の角度を把握し得る。特に、図６を参照して説明した対物レンズ２２－３が用いられる場合、表示される画像に視線方向の角度を示すインジケータが合成されていなくても、ユーザは容易に視線方向の角度を容易に把握可能である。

＜＜３．動作＞＞
以上、本実施形態の構成例について説明した。続いて、本実施形態の動作例について、図９を参照して説明する。図９は、本実施形態の動作例を示すフローチャートである。なお、図９では、本実施形態に係る動作のうち、主にＣＣＵ５－１により行われる処理を示している。

まず、図９に示すように、角度特定部５２が撮像画像に基づいて、視線方向の角度を特定する（Ｓ１０２）。

続いて、画像処理部５４の色補正部５４２が、撮像画像に対して、対物レンズ２２のマーカ部に応じた色を減算する色補正処理を行う（Ｓ１０４）。

続いて、画像処理部５４の合成部５４４が、ステップＳ１０４の色補正処理が施された画像に対して、角度を示す文字列（インジケータの一例）を合成する合成処理を行う（Ｓ１０６）。

画像処理部５４による画像処理（色補正処理、及び合成処理）により得られた出力画像は、表示装置９へ出力され、表示装置９に表示される（Ｓ１０８）。

以上、説明した一連の処理（Ｓ１０２～Ｓ１０８）は、適宜繰り返し行われてもよい。

＜＜４．変形例＞＞
以上、本開示の一実施形態を説明した。以下では、本開示の一実施形態の幾つかの変形例を説明する。なお、以下に説明する各変形例は、単独で本開示の実施形態に適用されてもよいし、組み合わせで本開示の実施形態に適用されてもよい。また、各変形例は、本開示の実施形態で説明した構成に代えて適用されてもよいし、本開示の実施形態で説明した構成に対して追加的に適用されてもよい。

＜４－１．変形例１＞
（概要）
上記実施形態では、角度特定部５２により特定される視線方向の角度に基づいて画像処理が行われる例を説明したが、本技術は係る例に限定されない。例えば、角度特定部５２により特定される視線方向の角度は、画像処理以外の処理に用いられてもよい。以下では、変形例１として、角度特定部５２により特定される視線方向の角度が、光源（照明）の制御に用いられる例を説明する。

図１０は、本変形例の概要を説明するための説明図である。図１０に示すように、本変形例に係る鏡筒２０－２は、対物レンズ２２に沿って照明光を外部に出光させる出光部２７（出光部２７Ａ～２７Ｆ）を有する。例えば、図１を参照して説明した光源装置６から出力された光が、ライトケーブル（不図示）を通って鏡筒２０－２へ道光され、出光部２７から外部に出光してもよい。

ここで、全ての出光部２７Ａ～２７Ｆから光が出光してしまうと、撮像に寄与しない光が出光され、消費電力の増加や、光源寿命の短縮につながる恐れがある。そこで、以下では、視線方向の角度に基づいて、光源制御を行うことで、消費電力を低減し、また、光源寿命の短縮を抑制する仕組みについて説明する。

（構成）
まず、以下では、本変形形態に係るＣＣＵ５の一例であるＣＣＵ５－２の構成例について図１１を参照して説明する。図１１は、ＣＣＵ５－２の機能構成の一例を示すブロック図である。図７に示すように本変形例に係るＣＣＵ５－２は、角度特定部５２、画像処理部５４、及び光源制御部５６を備える画像処理装置である。図１１に示す角度特定部５２、及び画像処理部５４の構成は、それぞれ図７を参照して説明した角度特定部５２、及び画像処理部５４の構成と実質的に同一であるため、ここでの説明は省略する。

光源制御部５６は、角度特定部５２により特定される視線方向の角度に基づいて、光源を制御する。例えば、光源制御部５６は、図１を参照して説明した光源装置６へ、光源を制御するための制御信号を出力することで、光源を制御してもよい。

光源制御部５６は、例えば、複数の出光部２７（出光部２７Ａ～２７Ｆ）のうち、視線方向の角度に応じて特定される、撮像に寄与する１または複数の出光部から光が出光され、撮像に寄与しないそれ以外の出光部からは光が出光されないように、光源を制御してもよい。例えば、光源装置６が複数の光源を有し、光源と、出光部２７Ａ～２７Ｆが対応する場合、撮像に寄与する出光部２７に対応する光源がオン、それ以外の光源がオフとなるように光源を制御してもよい。なお、光源制御部５６は、完全なオン／オフ制御ではなく、より撮像に寄与する光源により強い電圧が与えられ、より撮像に寄与しない光源により弱い電圧が与えられるように光源制御を行ってもよい。

（動作）
以上、本変形例の構成例について説明した。続いて、本変形例の動作例について、図１２を参照して説明する。図１２は、本変形例の動作例を示すフローチャートである。なお、図１２に示す処理のうち、ステップＳ２０２～Ｓ２０８の処理は、図９を参照して説明したステップＳ１０２～Ｓ１０８の処理と同様であるため、説明を省略する。

図１２に示すように、ステップＳ２０８に続いて、光源制御部５６は、出光部２７のうち、ステップＳ２０２で特定された視線方向の角度に応じた出光部を特定する（Ｓ２１０）。さらに、光源制御部５６は、光源装置６へ光源制御信号を出力する（Ｓ２１２）。

（補足）
以上、変形例１の構成例、及び動作例を説明した。上述した変形例１によれば、視線方向の角度に基づいて光源制御を行うことで、消費電力を低減し、また、光源寿命の短縮を抑制することが可能となる

なお、上記の例では、光源装置６が光源を有し、光源制御部５６は光源装置６へ光源を制御するための制御信号を出力する例を説明したが、本変形例は係る例に限定されない。例えば、内視鏡、または鏡筒が光源を有する場合、光源制御部５６は内視鏡、または鏡筒へ光源を制御するための制御信号を出力してもよい。

＜４－２．変形例２＞
（概要）
上記実施形態では、角度特定部５２により特定される視線方向の角度に基づいて、色補正処理、及び合成処理が行われる例を説明したが、本技術は係る例に限定されない。例えば、角度特定部５２により特定される視線方向の角度に基づいて、色補正処理、及び合成処理以外の画像処理が行われてもよい。以下では、変形例２として、角度特定部５２により特定される視線方向の角度に基づいて、手振れ補正処理が行われる例を説明する。

内視鏡２は、図２を参照して説明したように、手元の角度調整部２６を回転させる等の操作により、視線方向の角度を変化させることが可能である。係る操作により、手振れが発生する恐れがあり、手振れは、内視鏡２の撮像に基づいた画像を観察するユーザの手術手技を阻害する要因となり得る。このような手振れが発生した場合に、手振れによる映像の乱れを軽減する手振れ補正処理を行うことが考えられる。しかし、公知の手振れ補正処理を行ってしまうと、視線方向の角度の変化（回転）そのものによる画像の動きをも抑制してしまう恐れがあり、ユーザにとって不自然な画像をユーザへ提供する恐れがある。そこで、以下では、視線方向の角度に基づいて、手振れ補正処理を行うことで、より自然に手振れ補正処理を行う仕組みについて説明する。

（構成）
まず、以下では、本変形形態に係るＣＣＵ５の一例であるＣＣＵ５－３の構成例について図１３を参照して説明する。図１３は、ＣＣＵ５－３の機能構成の一例を示すブロック図である。図１３に示すように本変形例に係るＣＣＵ５－３は、角度特定部５２、回転方向特定部５３、及び画像処理部５５を備える画像処理装置である。図１３に示す角度特定部５２の構成は、図７を参照して説明した角度特定部５２の構成と実質的に同一であるため、ここでの説明は省略する。

回転方向特定部５３は、角度特定部５２により特定される視線方向の角度に基づいて、視線方向の回転方向（角度調整部２６へのユーザ操作に連動して視線方向が変化する方向）を特定する。例えば、回転方向特定部５３は、視線方向の角度の時系列的な変化に基づいて視線方向の回転方向を特定する。回転方向特定部５３は、特定した回転方向を画像処理部５５へ提供する。

画像処理部５５は、撮像画像に対して、視線方向の角度に基づいて特定された視線方向の回転方向に基づいて、手振れ補正処理を行う。例えば、本変形例に係る画像処理部５５は、動き検知部５５１、動き補正部５５３、アフィン係数算出部５５５、及びアフィン変換部５５７としての機能を有する。画像処理部５５は、撮像画像に対して、手振れ補正のための画像処理を行って得た出力画像を、表示装置９へ出力する。

動き検知部５５１は、カメラヘッド２００から送信される時系列的な撮像画像から、動きを示す動き情報を取得する。動き情報は、例えばＭＶ（Motion Vector）であってもよい。

動き補正部５５３は、動き情報に対し、回転方向特定部５３により特定される回転方向に対応する成分を抑制する動き補正処理を行う。例えば、動き補正部５５３は動き情報のうち、回転方向に対応する成分を０にする処理を行ってもよい。動き補正部５５３は、動き補正処理により得られた補正動き情報をアフィン係数算出部５５５へ提供する。

アフィン係数算出部５５５は、動き補正部５５３により得られる補正動き情報に基づいて、手振れ補正のためのアフィン係数を算出する。

アフィン変換部５５７は、アフィン係数算出部５５５により算出されたアフィン係数を用いて、撮像画像に対してアフィン変換処理を行う。

（動作）
以上、本変形例の構成例について説明した。続いて、本変形例の動作例について、図１４を参照して説明する。図１４は、本変形例の動作例を示すフローチャートである。

まず、図１４に示すように、角度特定部５２が撮像画像に基づいて、視線方向の角度を特定する（Ｓ３０２）。続いて、回転方向特定部５３が、ステップＳ３０２で特定される角度の時系列的な変化に基づいて回転方向を特定する。

続いて、画像処理部５５の動き検知部５５１が、撮像画像から、動きを示す動き情報を取得する（Ｓ３０６）。さらに、画像処理部５５の動き補正部５５３が、動き情報のうち、ステップＳ３０６ｄｅ特定された回転方向に対応する成分を抑制する動き補正処理を行う（Ｓ３０８）。

続いて、画像処理部５５のアフィン係数算出部５５５は、ステップＳ３０８の動き補正処理により得られる補正動き情報に基づいて、手振れ補正のためのアフィン係数を算出する（Ｓ３１０）。さらに、画像処理部５５のアフィン変換部５５７は、ステップＳ３１０で算出されたアフィン係数を用いて、撮像画像に対してアフィン変換処理を行う（Ｓ３１２）。

アフィン変換処理により得られた出力画像は、表示装置９へ出力され、表示装置９に表示される（Ｓ３１４）。

（補足）
以上、変形例２の構成例、及び動作例を説明した。上述した変形例２によれば、視線方向の角度に基づいて手振れ補正処理を行うことで、より自然な手振れ補正処理が可能となる。

なお、上述したアフィン変換による手振れ補正処理は、一例であって、本変形例は係る例に限定されず、多様な手振れ補正処理に適用可能である。

また、上記では、回転方向に基づいて、動き補正処理を行う例を説明したが、さらに回転量に基づいて、動き補正処理を行ってもよい。例えば、被写体までの距離を取得可能な場合、視線方向の角度に基づいて、視線方向の回転量を特定可能である。例えば、回転方向と回転量に基づいて動き補正を行うことで、視線方向の回転による画像の動きを、より高精度に動き情報から除外することが可能となり得る。また、画像処理部５５は、上述した機能に加え、図７を参照して説明した画像処理部５４と同様に、色補正部５４２と、合成部５４４としての機能を有してもよい。

＜４－３．変形例３＞
上記実施形態では、鏡筒２０が備える対物レンズ２２が、マーカ部を有する例を説明したが、本技術は係る例に限定されない。例えば、鏡筒２０に対して着脱可能な光学部材（例えば、少なくとも一部の光を透過するキャップ、フィルタ等）がマーカ部を有してもよい。係る場合、当該光学部材を透過した光が対物レンズ２２へ入射してもよい。また、当該光学部材は、対物レンズ２２を介して、結像光学系２４と光学的に接続され得る。なお、係る場合、対物レンズ２２はマーカ部を有していなくてもよい。

＜＜５．ハードウェア構成例＞＞
以上、本開示の実施形態と各変形例を説明した。上述した角度特定処理、画像処理、光源制御処理などの情報処理は、例えばソフトウェアと、以下に説明するＣＣＵ５（ＣＣＵ５－１、ＣＣＵ５－２、ＣＣＵ５－３）のハードウェアとの協働により実現される。

図１５は、ＣＣＵ５のハードウェア構成の一例を示す説明図である。ＣＣＵ５は、例えば、ＦＰＧＡボード５０１と、ＣＰＵ５０２と、ＧＰＵボード５０３１、５０３２と、メモリ５０４と、ＩＯコントローラ５０５と、記録媒体５０６と、インタフェース５０７とを備える。また、ＦＰＧＡボード５０１、ＣＰＵ５０２、及びＧＰＵボード５０３１、５０３２は、例えば、バス５０８で接続される。ＦＰＧＡボード５０１は、例えば、ＦＰＧＡと、ＡＶコントローラ１１０や内視鏡２から入力画像信号（撮像画像信号）が入力される入力インタフェースと、ＡＶコントローラ１１０や表示装置９へ出力画像信号が出力される出力インタフェースを含む。

ＣＰＵ５０２と、ＧＰＵボード５０３１、５０３２とは、例えば、関連するソフトフェアなどの各種ソフトウェアを実行して、様々な処理を行う。ＣＰＵ５０２は、プロセッサを備えている。ＧＰＵボード５０３１、５０３２それぞれは、ＧＰＵ（Graphics Processing Unit）とＤＲＡＭ（Dynamic Random Access Memory）を備えている。

メモリ５０４には、例えば、入力画像信号に対応するデータや、出力画像信号に対応するデータなど、様々なデータが記憶される。ＣＰＵ５０２は、メモリ５０４への各種データの書き込みや読み出しを制御する役目を果たす。

ＣＰＵ５０２は、メモリ５０４に記憶させたデータと、ＧＰＵボード５０３１、５０３２の処理能力と、処理内容に応じて、メモリ５０４に記憶された画像データを分割する。そして、ＧＰＵボード５０３１、５０３２のそれぞれのＧＰＵは、分割されて供給されてくるデータに所定の処理を施し、処理結果をＣＰＵ５０２に出力する。

ＩＯコントローラ５０５は、例えば、ＣＰＵ５０２と、記録媒体５０６、及びインタフェース５０７との間の信号の伝達を制御する役目を果たす。

記録媒体５０６は、記憶部（図示せず）として機能し、画像データや、各種アプリケーションなど様々なデータを記憶する。ここで、記録媒体５０６としては、例えば、ソリッドステートドライブなどが挙げられる。また、記録媒体５０６は、ＣＣＵ５から着脱可能であってもよい。

インタフェース５０７としては、例えば、ＵＳＢ（Universal Serial Bus）端子、及び処理回路や、ＬＡＮ（Local Area Network）端子、及び送受信回路などが挙げられる。

なお、ＣＣＵ５のハードウェア構成は、図１５に示す構成に限られない。例えば、図１５では、ＧＰＵボード５０３１、５０３２の２枚である例が示されているが、２枚以上の枚数であってもよい。また、ＣＰＵ５０２がＧＰＵの機能を有している場合には、ＣＣＵ５は、ＧＰＵボード５０３１、５０３２を備えていなくてもよい。

なお、上述のような本実施形態に係るＣＣＵ５の各機能を実現するためのコンピュータプログラムを作製することも可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。また、当該コンピュータプログラムを実行させるコンピュータの数は特に限定されない。例えば、当該コンピュータプログラムを、複数のコンピュータ（例えば、複数のサーバ等）が互いに連携して実行してもよい。

＜＜６．むすび＞＞
以上説明したように、本開示の実施形態によれば、視線方向の角度をより容易に把握することが可能である。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上記実施形態における各ステップは、必ずしもフローチャート図として記載された順序に沿って時系列に処理する必要はない。例えば、上記実施形態の処理における各ステップは、フローチャート図として記載した順序と異なる順序で処理されても、並列的に処理されてもよい。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
マーカ部を有し、視線方向の角度可変な結像光学系と、光学的に接続される光学部材を透過する光に基づく生体内画像に基づいて、前記視線方向の角度を特定する角度特定部と、
前記生体内画像に対する画像処理を行う画像処理部と、
を備える、画像処理装置。
（２）
前記画像処理部は、前記角度特定部により特定される前記角度に基づく画像処理を行う、前記（１）に記載の画像処理装置。
（３）
前記マーカ部は、前記角度に応じた複数の色を含み、
前記角度特定部は、前記生体内画像に含まれる前記マーカ部に対応する領域の色情報に基づいて前記角度を特定する、前記（２）に記載の画像処理装置。
（４）
前記光学部材は複数のマーカ部を有し、
前記複数のマーカ部は、上下方向における前記複数の色の境界の位置が前記マーカ部ごとに異なり、
前記角度特定部は、前記生体内画像における前記境界に対応する位置にさらに基づいて、前記角度を特定する、前記（３）に記載の画像処理装置。
（５）
前記マーカ部は、半透明であり、
前記画像処理部は、前記生体内画像に含まれる前記マーカ部に対応する領域に対し、前記角度に応じた色を減算する画像処理を行う、前記（３）または（４）に記載の画像処理装置。
（６）
前記画像処理部は、前記角度を示すインジケータを合成する画像処理を行う、前記（２）～（５）のいずれか一項に記載の画像処理装置。
（７）
前記画像処理部は、前記角度特定部により特定される前記角度に基づく手振れ補正処理を行う、前記（１）～（６）のいずれか一項に記載の画像処理装置。
（８）
前記画像処理部は、前記生体内画像から取得される動き情報のうち、前記角度に基づいて特定される回転方向に対応する成分を抑制して得られる補正動き情報に基づいて、前記手振れ補正処理を行う、前記（７）に記載の画像処理装置。
（９）
前記画像処理装置は、前記角度特定部により特定される前記角度に基づく光源制御を行う光源制御部をさらに備える、前記（１）～（８）のいずれか一項に記載の画像処理装置。
（１０）
前記光源制御部は、前記角度に基づいて特定される撮像に寄与する光源がオン、それ以外の光源がオフとなるように、光源制御を行う、前記（９）に記載の画像処理装置。
（１１）
前記光源制御部は、前記角度に基づいて、より撮像に寄与する光源により強い電力が与えられるように、光源制御を行う、前記（９）に記載の画像処理装置。
（１２）
前記結像光学系は、内視鏡の一部を構成するものである、前記（１）～（１１）のいずれか一項に記載の画像処理装置。
（１３）
マーカ部を有し、視線方向の角度可変な結像光学系と、光学的に接続される光学部材を透過する光に基づく生体内画像に基づいて、プロセッサが視線方向の角度を特定することと、
生体内画像に対する画像処理を行うことと、
を、含む画像処理方法。
（１４）
マーカ部を有し、視線方向の角度可変な結像光学系と、光学的に接続される、光学部材。
（１５）
前記マーカ部は、前記視線方向の角度に応じた複数の色を含む、前記（１４）に記載の光学部材。
（１６）
前記光学部材は複数のマーカ部を有し、
前記複数のマーカ部は、上下方向における前記複数の色の境界の位置が前記マーカ部ごとに異なる、前記（１５）に記載の光学部材。
（１７）
前記マーカ部は、前記光学部材の左右方向における中央部に位置する、前記（１５）または（１５）に記載の光学部材。
（１８）
前記マーカ部は、半透明である、前記（１５）～（１７）のいずれか一項に記載の光学部材。
（１９）
前記マーカ部は、前記視線方向の角度を示す目盛線、または前記視線方向の角度を示す文字列を含む、前記（１４）に記載の光学部材。

１ 内視鏡手術システム
２ 内視鏡
３ エネルギ処置具
４ 鉗子
５ ＣＣＵ（カメラコントロールユニット）
６ 光源装置
７ 処置具用装置
８ 気腹装置
９ 表示装置
１０ レコーダ
１１ プリンタ
２０ 鏡筒
２２ 対物レンズ
２４ 結像光学系
２６ 角度調整部
２７ 出光部
５２ 角度特定部
５３ 回転方向特定部
５４、５５ 画像処理部
５６ 光源制御部

Claims (10)

1. 内視鏡の一部を構成し、マーカ部を有し、視線方向の角度可変な結像光学系と光学的に接続される光学部材を透過する光に基づく生体内画像に基づいて、前記視線方向の角度を特定する角度特定部と、
   前記生体内画像に対する画像処理を行う画像処理部と、
   を備え、
   前記マーカ部は、前記角度に応じた複数の色を含み、
   前記角度特定部は、前記生体内画像に含まれる前記マーカ部に対応する領域の色情報に基づいて前記角度を特定し、
   前記画像処理部は、前記生体内画像に含まれる前記マーカ部に対応する領域に対し、特定された前記角度に応じた色を減算する画像処理を行う、
   画像処理装置。
2. 前記光学部材は複数のマーカ部を有し、
   前記複数のマーカ部は、上下方向における前記複数の色の境界の位置が前記マーカ部ごとに異なり、
   前記角度特定部は、前記生体内画像における前記境界に対応する位置にさらに基づいて、前記角度を特定する、請求項１に記載の画像処理装置。
3. 前記マーカ部は、半透明である、
   請求項１または２に記載の画像処理装置。
4. 前記画像処理部は、前記角度を示すインジケータを合成する画像処理を行う、請求項１～３のいずれか一項に記載の画像処理装置。
5. 前記画像処理部は、前記角度特定部により特定される前記角度に基づく手振れ補正処理を行う、請求項１～４のいずれか一項に記載の画像処理装置。
6. 前記画像処理部は、前記生体内画像から取得される動き情報のうち、前記角度に基づいて特定される回転方向に対応する成分を抑制して得られる補正動き情報に基づいて、前記手振れ補正処理を行う、請求項５に記載の画像処理装置。
7. 前記画像処理装置は、前記角度特定部により特定される前記角度に基づく光源制御を行う光源制御部をさらに備える、請求項１～６のいずれか一項に記載の画像処理装置。
8. 前記光源制御部は、前記角度に基づいて特定される撮像に寄与する光源がオン、それ以外の光源がオフとなるように、光源制御を行う、請求項７に記載の画像処理装置。
9. 前記光源制御部は、前記角度に基づいて、より撮像に寄与する光源により強い電力が与えられるように、光源制御を行う、請求項７に記載の画像処理装置。
10. 内視鏡の一部を構成し、マーカ部を有し、視線方向の角度可変な結像光学系と光学的に接続される光学部材を透過する光に基づく生体内画像に基づいて、プロセッサが視線方向の角度を特定することと、
    生体内画像に対する画像処理を行うことと、
    を、含む画像処理方法であって、
    前記マーカ部は、前記角度に応じた複数の色を含み、
    前記角度の特定は、前記生体内画像に含まれる前記マーカ部に対応する領域の色情報に基づいて特定され、
    前記画像処理においては、前記生体内画像に含まれる前記マーカ部に対応する領域に対し、特定された前記角度に応じた色を減算する画像処理を行う、
    画像処理方法。

Images