JP2015228954A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】術者の手間をかけずに、術者の所望する術部を映し出すことができるようにする。
【解決手段】ズーム画像生成部は、手術対象の部位を含む術野を撮像することにより得られた画像から、術者の注目する注目領域の画像を拡大したズーム画像を生成する。画像重畳部は、得られた画像にズーム画像を重畳して画面に表示させる。本開示は、例えば、画像処理装置等に適用できる。
【選択図】図１

Description

本開示は、画像処理装置および画像処理方法に関し、特に、術者の手間をかけずに、術者の所望する術部を映し出すことができるようにする画像処理装置および画像処理方法に関する。

内視鏡を体内に挿入し、内視鏡により、手術対象となる体内の部位（術部）を被観察部として撮像して画面に映し出し、画面を見ながら術部に処置を施す内視鏡下手術が利用されている。内視鏡下手術では、光源装置からの照明光が被観察部へ照射され、内視鏡で得られた被観察部の光学像の画像信号に、所望の信号処理が施され、被観察部の光学像の画像が画面に映し出される。

このような内視鏡下手術においては、手術を行う術者にとって最適な術部の視野（術野）を確保するために、状況に応じて、画面に映し出される被観察部の範囲や位置を適宜調整する必要がある。

しかし、通常、術者は、手術を行うための手術器具を両手に保持しているため、上記のような画面調整の作業を自ら迅速に行うことができない。また、術者が画面調整を目的として直接調整機器等を操作することは、術部、医療機器、および、手術室等の清浄度を確保する観点から好ましくない。

そこで、一般的には、術者がスコピスト等と呼ばれる補助者に対して指示を与えることにより、補助者が、術者からの指示に応じて調整機器を操作して、上記のような画面調整を行っている。

しかしながら、補助者を介した方法では、術者の指示が正確に伝わらず、術者が希望する画面調整を迅速に行うことが難しい場合がある。

そこで、補助者を介さずに画面調整を行う方法として、例えば、特許文献１では、鉗子を認識することにより、術者がカメラの拡大や明るさを調整する手術支援作業システムが提案されている。

特開２０１２−６５６９８号公報

しかしながら、特許文献１の手術支援作業システムでは、術者がカメラの操作を行う必要があり、カメラの操作のために、施術を中断する必要があった。

本開示は、このような状況に鑑みてなされたものであり、術者の手間をかけずに、術者の所望する術部を映し出すことができるようにするものである。

本開示の一側面の画像処理装置は、手術対象の部位を含む術野を撮像することにより得られた画像から、術者の注目する注目領域の画像を拡大したズーム画像を生成するズーム画像生成部と、前記画像に前記ズーム画像を重畳して画面に表示させる画像重畳部とを備える。

本開示の一側面の画像処理方法は、画像処理装置が、手術対象の部位を含む術野を撮像することにより得られた画像から、術者の注目する注目領域の画像を拡大したズーム画像を生成し、前記画像に前記ズーム画像を重畳して画面に表示させる。

本開示の一側面においては、手術対象の部位を含む術野を撮像することにより得られた画像から、術者の注目する注目領域の画像を拡大したズーム画像が生成され、前記画像に前記ズーム画像が重畳されて画面に表示される。

画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。

本開示の一側面によれば、術者の手間をかけずに、術者の所望する術部を映し出すことができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本開示に係る内視鏡システムの一実施の形態の構成例を示すブロック図である。 内視鏡システムの使用状態を説明する図である。 奥行き位置の算出方法を説明する図である。 奥行き位置の算出方法を説明する図である。 鉗子の位置検出を説明する図である。 注目点の位置検出を説明する図である。 ディスプレイに表示される重畳画像の例を示す図である。 重畳表示処理を説明するフローチャートである。 鉗子位置検出処理の詳細を説明するフローチャートである。 注目点推定処理の詳細を説明するフローチャートである。 ズーム倍率による注目領域のサイズの違いを説明する図である。 重畳位置決定処理を説明する図である。 重畳位置決定処理を説明する図である。 重畳位置決定処理の詳細を説明するフローチャートである。 ２Ｄ/３Ｄ表示切替処理を説明するフローチャートである。 本開示に係るコンピュータの一実施の形態の構成例を示すブロック図である。

＜１．内視鏡システムの構成例＞
図１は、本開示に係る内視鏡システムの一実施の形態の構成例を示すブロック図である。

図１の内視鏡システムは、内視鏡カメラヘッド１１、CCU（カメラコントロールユニット）１２、操作部１３、及びディスプレイ１４により構成される。

この内視鏡システムは、手術対象となる体内の部位（術部）を被観察部として撮像してディスプレイ１４に映し出し、ディスプレイ１４を見ながら被観察部に処置を施す内視鏡下手術で用いられる。

内視鏡下手術では、例えば、図２に示されるように、内視鏡カメラヘッド１１の挿入部２５と、手術器具である２本の鉗子８１（８１Ａ及び８１Ｂ）が、患者の体内に挿入される。内視鏡カメラヘッド１１は、挿入部２５の先端から光を照射して患者の術部８２を照明して、２本の鉗子８１及び術部８２の状態を撮像する。

内視鏡カメラヘッド１１は、図１に示されるように、撮像部２１、光源２２、及び、フォーカスレンズ２３を含んで構成される。

撮像部２１は、第１撮像センサ２４ａと第２撮像センサ２４ｂの２つの撮像センサ２４を少なくとも有する。撮像センサ２４は、例えば、CCD(Charge Coupled Device)やCMOS（Complementary Metal Oxide Semiconductor）センサなどで構成され、被写体を撮像して、その結果得られる画像を生成する。撮像センサ２４には、いわゆる４Ｋカメラと呼ばれる、水平方向×垂直方向の画素数が約４０００×約２０００の画素数を有する高解像度のセンサを採用することができる。２つの撮像センサ２４は、左右方向に所定の間隔離れて配置されており、視点方向の異なる画像を生成し、CCU１２に出力する。

本実施の形態では、２つの撮像センサ２４で撮像されて得られる画像を術部画像と称する。また、本実施の形態では、第１撮像センサ２４ａが右側、第２撮像センサ２４ｂが左側に配置されているものとして、第１撮像センサ２４ａが生成する術部画像をR画像、第２撮像センサ２４ｂが生成する術部画像をL画像ともいう。

光源２２は、例えば、ハロゲンランプ、キセノンランプ、LED (Light Emitting Diode）光源などで構成され、術部を照明するための光を出射する。

フォーカスレンズ２３は、１または複数のレンズで構成されており、CCU１２のフォーカス制御部４７（後述する）によって駆動され、被写体からの入射光（像光）を撮像センサ２４の撮像面上に結像する。

CCU１２は、内視鏡カメラヘッド１１の撮像部２１で撮像されて得られた術部画像を処理する画像処理装置であり、奥行き情報生成部４１、鉗子位置検出部４２、注目点推定部４３、ズーム画像生成部４４、画像重畳部４５、操作制御部４６、及び、フォーカス制御部４７により構成されている。

撮像部２１で生成され、出力されたR画像及びL画像は、CCU１２の奥行き情報生成部４１、ズーム画像生成部４４、及び、画像重畳部４５に供給される。また、R画像及びL画像の一方（例えば、L画像）は、フォーカス制御部４７にも供給される。

奥行き情報生成部４１は、供給されたR画像及びL画像から、術部画像の奥行き情報を生成する。より具体的には、奥行き情報生成部４１は、供給されたR画像及びL画像を用いて、三角測量の原理により、術部画像内の各画素の奥行き方向の位置を算出する。

図３及び図４を参照して、三角測量の原理を用いた、術部画像内の各画素の奥行き位置の算出方法について説明する。

いま、第１撮像センサ２４ａと第２撮像センサ２４ｂが、図３に示されるように、距離Ｔの間隔を開けて、横方向に並んで配置されており、第１撮像センサ２４ａと第２撮像センサ２４ｂのそれぞれが、実世界上の物体Ｐを撮像しているものとする。

第１撮像センサ２４ａと第２撮像センサ２４ｂの垂直方向の位置は同一であり、水平方向の位置だけが異なるので、第１撮像センサ２４ａと第２撮像センサ２４ｂにより得られるR画像とL画像の画像内における物体Ｐの位置は、ｘ座標位置のみが異なることとなる。

そこで、例えば、第１撮像センサ２４ａにより得られるR画像では、R画像内に映る物体Ｐのｘ座標がｘ^ｒであり、第２撮像センサ２４ｂにより得られるL画像では、L画像内に映る物体Ｐのｘ座標がｘ^ｌであるとする。

三角測量の原理を用いると、図４に示されるように、R画像中の物体Ｐのｘ座標＝ｘ^ｒは、第１撮像センサ２４ａの光学中心Ｏ_ｒと物体Ｐとを結んだ直線上の位置に相当する。また、L画像中の物体Ｐのｘ座標＝ｘ^ｌは、第２撮像センサ２４ｂの光学中心Ｏ_ｌと物体Ｐとを結んだ直線上の位置に相当する。

ここで、光学中心Ｏ_ｒまたはＯ_ｌから、R画像またはL画像の撮像平面までの距離をｆ、実世界の物体Ｐまでの距離（奥行き）をＺとすると、視差ｄは、ｄ＝（ｘ^ｌ−ｘ^ｒ）で表される。

また、Ｔ，Ｚ，ｄ，ｆには、

の関係が成り立つ。

従って、物体Ｐまでの距離Ｚは、式（１）を変形して、次式（２）により求めることができる。

図１の奥行き情報生成部４１は、上述した三角測量の原理を用いて、術部画像内の各画素の奥行きＺを算出する。奥行き情報生成部４１で算出された各画素の奥行きＺは、奥行き情報として、注目点推定部４３と鉗子位置検出部４２のそれぞれに供給される。

鉗子位置検出部４２は、奥行き情報生成部４１から供給された術部画像の奥行き情報を用いて、術部画像内に映された鉗子８１の位置を検出する。なお、上述したように、術部画像内には、２本の鉗子８１が被写体として撮像される場合があるが、いずれか一方の鉗子８１の位置が検出されればよい。どちらの鉗子８１の位置を検出するかは、予め決めてもよいし、術部画像内でより検出しやすい方を検出するのでもよい。また、２本の鉗子８１の位置を検出しても勿論よい。

図５を参照して、鉗子位置検出部４２による鉗子８１の位置検出について説明する。

初めに、鉗子位置検出部４２は、奥行き情報生成部４１から供給された術部画像の奥行き情報から、視差画像を生成する。視差画像とは、奥行き情報である各画素の奥行きＺをグレースケールで表した画像である。

図５Aは、視差画像の例を示しており、輝度値が大きい値ほど奥行きＺは小さく、術部画像中の被写体がより手前にあることを表している。

次に、鉗子位置検出部４２は、生成した視差画像から、輝度値の境界となるエッジを検出する。例えば、視差画像のなかで、隣接する画素の画素値の差分が所定の値以上である画素が、エッジとして検出される。

図５Bは、図５Aの視差画像に対して検出されたエッジの例を示している。

なお、上述した例では、生成した視差画像の輝度値に基づいて、エッジを検出することとしたが、これ以外の方法を用いて、エッジを検出してもよい。例えば、術部画像内の術部の主な色成分は赤色であるのに対して、鉗子８１等の手術器具の色成分は金属系の銀色、白、または、黒であることが多い。そこで、鉗子位置検出部４２は、術部画像の色情報を用いて、特定の色の領域（境界）を検出することにより、エッジを検出してもよい。

次に、鉗子位置検出部４２は、検出されたエッジのなかから、曲線的なエッジを除去し、一定以上の長さを有する直線的なエッジのみを検出する。

鉗子８１は棒状の形状を有しているため、鉗子８１のエッジとして、所定の長さ以上の直線的なエッジが存在する。そこで、鉗子位置検出部４２は、検出されたエッジのなかから、鉗子８１のエッジとして、一定以上の長さを有する直線的なエッジのみを検出する。

なお、鉗子位置検出部４２は、鉗子８１のエッジを特定する際、上記の一定以上の長さを有する直線的なエッジであるか否かの他に、検出された直線的なエッジが、術部画像の外縁部から続く直線であるか否かを判定してもよい。内視鏡カメラヘッド１１の挿入部２５と鉗子８１が、図２に示したような位置関係にある場合、一般に、術部画像内において、鉗子８１は、術部画像の外縁部から中心部へ延びるような位置で撮像されている。そのため、検出された直線的なエッジが術部画像の外縁部から続く直線であるか否かを判定することにより、鉗子８１の検出精度をさらに上げることができる。

次に、鉗子位置検出部４２は、検出された直線的なエッジから、撮像画像内における３次元空間上の鉗子８１の位置、即ち、鉗子８１の姿勢を推定する。

具体的には、鉗子位置検出部４２は、図５Dに示されるように、検出された直線的なエッジから、鉗子８１に対応する線分（直線）１０１を算出する。線分１０１は、例えば、検出された２本の直線的なエッジの中間線などで求めることができる。

そして、鉗子位置検出部４２は、算出された線分１０１上の所定の２点（ｘ_１，ｙ_１）及び（ｘ_２，ｙ_２）を検出し、検出された２点の位置（ｘ_１，ｙ_１）及び（ｘ_２，ｙ_２）の奥行き位置ｚ_１及びｚ_２を、供給された奥行き情報から取得する。これにより、術部画像内における鉗子８１の３次元空間上の位置（ｘ_１，ｙ_１，ｚ_１）及び（ｘ_２，ｙ_２，ｚ_２）が特定される。

なお、術部画像内の２本の鉗子８１に対応して２つの線分が検出された場合には、より手前にある方を選択するなどして、検出された２つの線分のいずれか一方を選択することができる。

図１に戻り、鉗子位置検出部４２は、以上のようにして検出された鉗子８１の３次元空間上の位置（ｘ_１，ｙ_１，ｚ_１）及び（ｘ_２，ｙ_２，ｚ_２）を、注目点推定部４３に供給する。

注目点推定部４３には、奥行き情報生成部４１から、術部画像の奥行き情報が供給されるとともに、鉗子位置検出部４２から、鉗子８１の姿勢を表す３次元空間上の２点の座標（ｘ_１，ｙ_１，ｚ_１）及び（ｘ_２，ｙ_２，ｚ_２）が供給される。

注目点推定部４３は、図６に示されるように、検出された鉗子８１の位置を延長した先に、術部８２の注目点Ｑが存在すると仮定して、３次元空間上の術部８２の注目点Ｑの位置を推定する。術部８２の注目点Ｑは、検出された鉗子８１の姿勢を延長した延長線と、術部８２の表面の交点に相当する。推定された３次元空間上の術部８２の注目点Ｑの位置座標は、ズーム画像生成部４４に供給される。

ズーム画像生成部４４は、撮像部２１から供給される術部画像に対して、注目点推定部４３から供給される注目点Ｑを中心とする所定の領域を、注目領域として決定する。したがって、注目領域には、少なくとも注目点Ｑが含まれる。そして、ズーム画像生成部４４は、決定した注目領域の画像を、操作制御部４６から供給されるズーム倍率に基づいて拡大したズーム画像を生成し、画像重畳部４５に供給する。

画像重畳部４５には、操作制御部４６から、重畳モードのオンまたはオフを指定する制御情報である重畳モード情報が供給される。画像重畳部４５は、重畳モード情報により重畳モードのオンが指定されている場合、撮像部２１から供給される術部画像の所定の位置に、ズーム画像生成部４４から供給されたズーム画像を重畳した重畳画像を生成し、ディスプレイ１４に表示させる。

一方、重畳モード情報により重畳モードのオフが指定されている場合、画像重畳部４５は、ズーム画像を重畳せずに、撮像部２１から供給される術部画像のみをディスプレイ１４に表示させる。

また、画像重畳部４５には、操作制御部４６から、３Ｄ表示のオンまたはオフを指定する制御情報である表示モード情報も供給される。画像重畳部４５は、表示モード情報により３Ｄ表示のオフが指定されている場合、R画像及びL画像のいずれか一方をディスプレイ１４に供給し、術部画像を２Ｄ表示させる。一方、表示モード情報により３Ｄ表示のオンが指定されている場合、画像重畳部４５は、R画像及びL画像の両方をディスプレイ１４に供給し、術部画像を３Ｄ表示させる。ここで、３Ｄ表示とは、R画像とL画像を交互にディスプレイ１４に表示させ、R画像を術者の右眼で視認させ、L画像を術者の左眼で視認させることにより、術者が術部画像を立体的に知覚する画像表示をいう。

操作制御部４６は、操作部１３から供給される操作信号に基づいて、各種の制御信号を所要の各部へ供給する。例えば、操作制御部４６は、操作部１３で行われたズーム倍率の設定操作に応じて、所定のズーム倍率を指定するズーム倍率情報をズーム画像生成部４４に供給する。また、操作制御部４６は、上述した重畳モード情報と表示モード情報を、画像重畳部４５に供給する。

フォーカス制御部４７は、撮像部２１から供給されるL画像に基づいて、コントラスト法によるフォーカス制御を行う。具体的には、フォーカス制御部４７は、内視鏡カメラヘッド１１のフォーカスレンズ２３を駆動し、撮像部２１から供給されるL画像のコントラストを比較して、フォーカス位置を検出する。フォーカス制御部４７は、注目点推定部４３から、注目点Ｑの位置座標を取得して、注目点Ｑを中心とする所定の範囲内の領域をフォーカス制御対象領域としてフォーカス制御を行うことができる。

操作部１３は、少なくともフットペダル６１を備え、術者（操作者）からの操作を受け付け、術者が行った操作に対応する操作信号を操作制御部４６に供給する。術者は、操作部１３を操作することにより、例えば、ディスプレイ１４に表示される術部画像の２Ｄ表示と３Ｄ表示の切替え、重畳表示のオン・オフの切替え、内視鏡のズーム倍率の設定、などを行うことができる。本実施の形態においては、重畳表示のオン・オフの切替えは、フットペダル６１の押下により行われる。

ディスプレイ１４は、例えばLCD(Liquid Crystal Display)などで構成され、画像重畳部４５から供給される画像信号に基づいて、内視鏡カメラヘッド１１の撮像部２１で撮像された術部画像を表示する。また、重畳モードがオンに設定されている場合、ディスプレイ１４は、撮像部２１で撮像された術部画像に、ズーム画像生成部４４から供給されるズーム画像を重畳した重畳画像を表示する。

図７は、重畳モードがオンである場合にディスプレイ１４に表示される重畳画像の例を示している。

図７の重畳画像１００では、撮像部２１から供給された術部画像１１０に、注目点Ｑに基づいて決定された注目領域ＱＡの画像を拡大したズーム画像ＱＢが重畳されている。

術部画像１１０には、２本の鉗子８１A及び８１Bが撮像されており、注目点Ｑは、左側の鉗子８１Aの位置に基づいて推定されている。そして、重畳画像１００には、推定された注目点Ｑと、注目点Ｑに基づいて決定された注目領域ＱＡ、及び、注目点Ｑの推定で計算された延長線に対応するガイド線１１１が表示されている。ガイド線１１１の表示により、腹腔内の３次元距離をより直感的に認識することが可能となり、平面視においても３次元的な距離情報を術者に提示することができる。

図７の重畳画像１００の例では、注目領域ＱＡには、２本の鉗子８１A及び８１Bが含まれていないが、２本の鉗子８１A及び８１Bの少なくとも一方の先端部分が含まれるように、注目領域ＱＡが決定されるようにしてもよい。

また、図７の術部画像１１０には、２本の鉗子８１A及び８１Bの先端部分が含まれているが、少なくとも１本の鉗子８１の先端部分と、鉗子８１の姿勢から推定した注目点Ｑが含まれるように、術部画像１１０を得る際のズーム倍率が決定されるようにすることができる。

なお、図７の例は、画面の右下にズーム画像ＱＢが重畳されている例であるが、後述するように、ズーム画像ＱＢは、鉗子８１や注目領域ＱＡの位置に応じて、術者の施術を妨害しない位置に適切に配置される。

＜２．重畳表示処理の処理フロー＞
次に、図１の内視鏡システムにおいて重畳モードがオンに設定されている場合に実行される、重畳表示処理について説明する。なお、術者は、重畳モードのオン及びオフの切替えを、例えば、フットペダル６１により行うことができる。

図８は、重畳表示処理のフローチャートを示している。図８の重畳表示処理が実行される状態では、内視鏡システムの各機器の電源が入っており、内視鏡カメラヘッド１１の挿入部２５や鉗子８１が患者の体内に挿入され、患者の術部８２が光源２２により照明されている。

初めに、ステップＳ１において、奥行き情報生成部４１は、内視鏡カメラヘッド１１の撮像部２１から供給されたR画像及びL画像から、術部画像の奥行き情報を生成する。より具体的には、奥行き情報生成部４１は、図４を参照して説明した三角測量の原理を用いた式（２）により、術部画像内の各位置（画素）の奥行きＺを算出する。奥行き情報生成部４１で算出された奥行き情報は、注目点推定部４３と鉗子位置検出部４２のそれぞれに供給される。

ステップＳ２において、鉗子位置検出部４２は、奥行き情報生成部４１から供給された術部画像の奥行き情報を用いて術部画像内の鉗子８１の位置を検出する鉗子位置検出処理を実行する。

＜鉗子位置検出処理の詳細フロー＞
図９は、ステップＳ２で実行される鉗子位置検出処理の詳細なフローチャートを示している。

鉗子位置検出処理では、初めに、ステップＳ２１において、鉗子位置検出部４２が、奥行き情報生成部４１から供給された術部画像の奥行き情報から、視差画像を生成する。

ステップＳ２２において、鉗子位置検出部４２は、生成した視差画像から、輝度値の境界となるエッジを検出する。

ステップＳ２３において、鉗子位置検出部４２は、検出されたエッジのなかから、曲線的なエッジを除去し、一定以上の長さを有する直線的なエッジのみを検出する。

ステップＳ２４において、鉗子位置検出部４２は、検出された直線的なエッジから、術部画像内における３次元空間上の鉗子８１の位置を推定する。これにより、図５Dを参照して説明したように、術部画像内における鉗子８１の３次元空間上の位置を示す２点の座標（ｘ_１，ｙ_１，ｚ_１）及び（ｘ_２，ｙ_２，ｚ_２）が決定される。

以上のようにして検出された術部画像内の鉗子８１の位置（ｘ_１，ｙ_１，ｚ_１）及び（ｘ_２，ｙ_２，ｚ_２）は、注目点推定部４３に供給され、処理は図８のステップＳ３に進む。

ステップＳ３において、注目点推定部４３は、検出された鉗子８１の位置を延長した先に、術部８２の注目点Ｑが存在すると仮定して、３次元空間上の術部８２の注目点Ｑの位置を検出する注目点推定処理を実行する。

＜注目点推定処理の詳細フロー＞
図１０のフローチャートを参照して、図８のステップＳ３で実行される注目点推定処理の詳細について説明する。

初めに、ステップＳ４１において、注目点推定部４３は、鉗子位置検出部４２から供給された、術部画像内における３次元空間上の鉗子８１の位置（ｘ_１，ｙ_１，ｚ_１）及び（ｘ_２，ｙ_２，ｚ_２）を取得する。

ステップＳ４２において、注目点推定部４３は、ＸＹ平面における２点の鉗子座標（Ｘ_１，Ｙ_１）及び（Ｘ_２，Ｙ_２）を結ぶ線分Ａの傾きａ_１を計算する。傾きａ_１は、以下の式で算出することができる。
ａ_１＝（Ｙ_２−Ｙ_１）／（Ｘ_２−Ｘ_１）

ステップＳ４３において、注目点推定部４３は、ＸＺ平面における２点の鉗子座標（Ｘ_１，Ｚ_１）及び（Ｘ_２，Ｚ_２）を結ぶ線分Ｂの傾きａ_２を計算する。傾きａ_２は、以下の式で算出することができる。
ａ_２＝（Ｚ_２−Ｚ_１）／（Ｘ_２−Ｘ_１）

ステップＳ４４において、注目点推定部４３は、ＸＹ平面における線分Ａを、画面中心方向に所定の長さＷだけ延長したときのＸ座標値である座標Ｘ_３を決定する。所定の長さＷは、例えば、線分Ａの１／Ｎ（Ｎは正の整数）で定義することができる。

ステップＳ４５において、注目点推定部４３は、Ｙ_３＝ａ_１*Ｘ_３を計算し、ＸＹ平面における線分Ａの延長点（Ｘ_３，Ｙ_３）を計算する。ここで、“*”は乗算を表す。

ステップＳ４６において、注目点推定部４３は、線分Ａの延長点（Ｘ_３，Ｙ_３）のＸＺ平面上の奥行きＺ_３を、Ｚ_３＝ａ_２*Ｘ_３により計算する。ここで計算された延長点（Ｘ_３，Ｙ_３）の奥行きＺ_３は、延長点（Ｘ_３，Ｙ_３）の理論値に相当する。

ステップＳ４７において、注目点推定部４３は、奥行き情報生成部４１から供給された奥行き情報から、線分Ａの延長点（Ｘ_３，Ｙ_３）の奥行きＺ_４を取得する。ここで、取得される延長点（Ｘ_３，Ｙ_３）の奥行きＺ_４は、延長点（Ｘ_３，Ｙ_３）の実値に相当する。

ステップＳ４８において、注目点推定部４３は、延長点（Ｘ_３，Ｙ_３）の理論値である奥行きＺ_３が、実値の奥行きＺ_４よりも大きいか否かを判定する。

鉗子８１に対応する線分Ａを画面中心方向に所定の長さＷだけ延長した延長点（Ｘ_３，Ｙ_３）に術部８２が存在しない場合とは、術部８２がもっと奥の方に存在している場合である。この場合、奥行き情報から得られた延長点（Ｘ_３，Ｙ_３）の実値の奥行きＺ_４は、理論値の奥行きＺ_３よりも大きくなる。

一方、延長点（Ｘ_３，Ｙ_３）に実際に術部８２が存在する場合には、延長点（Ｘ_３，Ｙ_３）の理論値（奥行きＺ_３）よりも、奥行き情報から得られた実値（奥行きＺ_４）が手前に存在する状態となるため、延長点（Ｘ_３，Ｙ_３）の実値の奥行きＺ_４は、理論値の奥行きＺ_３よりも小さくなる。

したがって、ステップＳ４８では、注目点推定部４３は、線分Ａを所定の長さＷだけ延長した延長点（Ｘ_３，Ｙ_３）の理論値（奥行きＺ_３）が、奥行き情報から得られた実値（奥行きＺ_４）よりも手前に存在する状態となっているか否かを判定している。

ステップＳ４８で、延長点（Ｘ_３，Ｙ_３）の理論値である奥行きＺ_３が実値の奥行きＺ_４以下である、即ち、延長点（Ｘ_３，Ｙ_３）の理論値の奥行きＺ_３が実値の奥行きＺ_４よりも手前であると判定された場合、処理はステップＳ４４に戻される。

処理が戻されたステップＳ４４では、ＸＹ平面における線分Ａを、現在の延長点（Ｘ_３，Ｙ_３）よりもさらに画面中心方向に所定の長さＷだけ延長した座標Ｘ_３が、新たな座標Ｘ_３として決定される。そして、決定された新たな座標Ｘ_３に対して、上述したステップＳ４５乃至Ｓ４８が再度実行される。

一方、ステップＳ４８で、延長点（Ｘ_３，Ｙ_３）の理論値である奥行きＺ_３が実値の奥行きＺ_４より大きい、即ち、延長点（Ｘ_３，Ｙ_３）の実値の奥行きＺ_４が理論値の奥行きＺ_３よりも手前であると判定された場合、処理はステップＳ４９に進む。

ステップＳ４９において、注目点推定部４３は、実値の奥行きＺ_４をＺ座標値とする延長点（Ｘ_３，Ｙ_３，Ｚ_４）を注目点Ｑに決定する。

以上により図８のステップＳ３が終了し、処理がステップＳ４に進められる。

ステップＳ４において、ズーム画像生成部４４は、撮像部２１から供給された術部画像に対して注目領域ＱＡを決定する。ステップＳ４では、例えば、注目点Ｑを中心として、操作制御部４６から供給されたズーム倍率に応じたサイズで、注目領域ＱＡが決定される。

図１１は、操作制御部４６から供給されたズーム倍率による注目領域ＱＡのサイズの違いを説明する図である。

図１１Aは、ズーム倍率が高い場合の注目領域ＱＡの例を示しており、図１１Bは、ズーム倍率が低い場合の注目領域ＱＡの例を示している。

このように、ディスプレイ１４に表示されている術部画像のズーム倍率が低いほど、注目点Ｑを中心として広いサイズの注目領域ＱＡを設定することができる。

なお、注目領域ＱＡのサイズは、ズーム倍率ではなく、例えば、認識された鉗子８１の位置（例えば、（ｘ_２，ｙ_２，ｚ_２））から、注目点Ｑまでの距離に応じて決定するようにしてもよい。この場合、鉗子８１から注目点Ｑまでの距離が遠いほど、注目点Ｑを中心とする広い注目領域ＱＡが設定される。

ステップＳ４の処理が終了すると、処理はステップＳ５に進み、ズーム画像生成部４４は、決定した注目領域ＱＡの画像をズーム倍率に応じて拡大したズーム画像ＱＢを生成し、画像重畳部４５に供給する。ズーム画像ＱＢを生成する倍率（＝（ズーム画像ＱＢ）／（注目領域ＱＡの画像））は、例えば、注目領域ＱＡのサイズに応じて予め決定しておくことができる。あるいは、生成後のズーム画像ＱＢのサイズが所定のサイズとなるように倍率を決定してもよい。

ステップＳ６において、画像重畳部４５は、撮像部２１から供給された術部画像のどの位置に、ズーム画像生成部４４から供給されたズーム画像ＱＢを重畳するかを決定する重畳位置決定処理を実行する。

図１２及び図１３を参照して、ステップＳ６における重畳位置決定処理について説明する。

例えば、図１２Aに示されるように、重畳したズーム画像ＱＢが注目領域ＱＡまたは鉗子８１と重なってしまうと、注目領域ＱＡまたは鉗子８１が、ズーム画像ＱＢで隠れるため、施術の妨げになる可能性がある。そのため、注目領域ＱＡまたは鉗子８１のいずれかと重なるような位置には、ズーム画像ＱＢを配置することはできない。

換言すれば、ズーム画像ＱＢは、例えば、図１２Bに示されるように、注目領域ＱＡ及び鉗子８１のいずれとも重ならない位置に配置する必要がある。

従って、ステップＳ６の重畳位置決定処理では、ズーム画像ＱＢを重畳したとき、ズーム画像ＱＢが注目領域ＱＡ及び鉗子８１のいずれとも重ならないかを確認して、ズーム画像ＱＢの重畳位置が決定される。

具体的には、画像重畳部４５は、まず、図１３に示されるように、ディスプレイ１４の表示領域のうちの右下隅の領域を、重畳位置の候補位置ＱＢ_１’として設定し、候補位置ＱＢ_１’が注目領域ＱＡ及び鉗子８１のいずれとも重ならないかどうかを判定する。

そして、右下隅の候補位置ＱＢ_１’が注目領域ＱＡまたは鉗子８１のいずれかと重なる場合には、画像重畳部４５は、候補位置ＱＢ’を上に移動させ、ディスプレイ１４の表示領域のうちの右上隅の領域を、次の候補位置ＱＢ_２’に決定する。

右上隅の候補位置ＱＢ_２’が、注目領域ＱＡまたは鉗子８１のいずれかと重なる場合には、次に、画像重畳部４５は、ディスプレイ１４の表示領域の左上隅の領域を次の候補位置ＱＢ_３’に決定する。そして、左上隅の候補位置ＱＢ_３’でも注目領域ＱＡまたは鉗子８１のいずれかと重なる場合には、次に、左下隅の領域が次の候補位置ＱＢ_４’に決定される。

重畳位置決定処理では、以上のようにして、注目領域ＱＡ及び鉗子８１４と干渉しないズーム画像ＱＢの重畳位置が探索される。注目領域ＱＡ及び鉗子８１４と干渉しない重畳位置がない場合には、画像重畳部４５は、重畳を行わない。

なお、候補位置ＱＢ_１’乃至ＱＢ_４’の探索する順番は、上記の例に限られない。また、注目領域ＱＡ及び鉗子８１４と干渉しない位置であれば、術部画像の四隅以外の場所にズーム画像ＱＢを配置してもよい。

＜重畳位置決定処理の詳細フロー＞
図１４のフローチャートを参照して、図８のステップＳ６で実行される重畳位置決定処理の詳細について説明する。

初めに、ステップＳ６１において、画像重畳部４５は、ズーム画像生成部４４から供給されたズーム画像ＱＢのサイズを取得する。

ステップＳ６２において、画像重畳部４５は、ズーム画像ＱＢを重畳する重畳位置の候補位置ＱＢ’を決定する。本実施の形態では、上述したように、ディスプレイ１４の表示領域のうちの右下隅の領域が、最初の候補位置ＱＢ_１’として決定される。

ステップＳ６３において、画像重畳部４５は、決定した右下隅の候補位置ＱＢ_１’が、撮像部２１で撮像された術部画像内の注目領域ＱＡ及び鉗子８１と重なっていないかを判定する。なお、術部画像内の鉗子８１の位置は、ステップＳ３の鉗子位置検出処理で検出された鉗子の位置情報を用いてもよいし、その他の方法で認識してもよい。例えば、鉗子８１は、金属製が一般的であり、銀色系の色（メタル色）で内臓の色（赤色）と区別しやすいため、色を識別するなどして鉗子８１を検出してもよい。

ステップＳ６３で、決定した右下隅の候補位置ＱＢ_１’が注目領域ＱＡ及び鉗子８１と重なっていないと判定された場合、処理はステップＳ７１に進む。

一方、ステップＳ６３で、決定した右下隅の候補位置ＱＢ_１’が注目領域ＱＡ及び鉗子８１と重なっていると判定された場合、処理はステップＳ６４に進み、画像重畳部４５は、候補位置ＱＢ’を上に移動させ、ディスプレイ１４の表示領域のうちの右上隅の領域を候補位置ＱＢ_２’として決定する。

そして、ステップＳ６５において、画像重畳部４５は、決定した右上隅の候補位置ＱＢ_２’が、撮像部２１で撮像された術部画像内の注目領域ＱＡ及び鉗子８１と重なっていないかを判定する。

ステップＳ６５で、決定した右上隅の候補位置ＱＢ_２’が注目領域ＱＡ及び鉗子８１と重なっていないと判定された場合、処理はステップＳ７１に進む。

一方、ステップＳ６５で、右上隅の候補位置ＱＢ_２’が注目領域ＱＡ及び鉗子８１と重なっていると判定された場合、処理はステップＳ６６に進み、画像重畳部４５は、候補位置ＱＢ’を左に移動させ、ディスプレイ１４の表示領域のうちの左上隅の領域を候補位置ＱＢ_３’として決定する。

そして、ステップＳ６７において、画像重畳部４５は、決定した左上隅の候補位置ＱＢ_３’が、撮像部２１で撮像された術部画像内の注目領域ＱＡ及び鉗子８１と重なっていないかを判定する。

ステップＳ６７で、決定した左上隅の候補位置ＱＢ_３’が注目領域ＱＡ及び鉗子８１と重なっていないと判定された場合、処理はステップＳ７１に進む。

一方、ステップＳ６７で、左上隅の候補位置ＱＢ_３’が注目領域ＱＡ及び鉗子８１と重なっていると判定された場合、処理はステップＳ６８に進み、画像重畳部４５は、候補位置ＱＢ’を下に移動させ、ディスプレイ１４の表示領域のうちの左下隅の領域を候補位置ＱＢ_４’として決定する。

そして、ステップＳ６９において、画像重畳部４５は、決定した左下隅の候補位置ＱＢ_４’が、撮像部２１で撮像された術部画像内の注目領域ＱＡ及び鉗子８１と重なっていないかを判定する。

ステップＳ６９で、決定した左下隅の候補位置ＱＢ_４’が注目領域ＱＡ及び鉗子８１と重なっていないと判定された場合、処理はステップＳ７１に進む。

一方、ステップＳ６９で、左下隅の候補位置ＱＢ_４’が注目領域ＱＡ及び鉗子８１と重なっていると判定された場合、処理はステップＳ７０に進み、画像重畳部４５は、重畳なしを決定する。

ステップＳ７１において、画像重畳部４５は、上述したステップＳ６３,Ｓ６５,Ｓ６７、またはＳ６９で注目領域ＱＡ及び鉗子８１と重なっていないと判定された候補位置ＱＢ’（候補位置ＱＢ_１’乃至ＱＢ_４’のいずれか）を、ズーム画像ＱＢの重畳位置に決定する。

以上のように、図８のステップＳ６の重畳位置決定処理では、ズーム画像ＱＢの重畳位置として、注目領域ＱＡ及び鉗子８１４と干渉しない位置が決定される。

そして、ステップＳ６の重畳位置決定処理の終了後、処理はステップＳ７に進み、画像重畳部４５は、重畳位置決定処理により、重畳位置が決定されたかを判定する。

ステップＳ７で、重畳位置が決定されたと判定された場合、処理はステップＳ８に進み、画像重畳部４５は、撮像部２１から供給された術部画像に対して、決定された重畳位置にズーム画像ＱＢを重畳して、ディスプレイ１４に表示させる。

一方、ステップＳ７で、重畳位置が決定されなかったと判定された場合、即ち、図１４の重畳位置決定処理で、重畳なしと決定された場合、処理はステップＳ９に進み、画像重畳部４５は、ズーム画像ＱＢを重畳せずに、撮像部２１から供給された術部画像のみをディスプレイ１４に表示させる。

以上により、重畳表示処理が終了する。

図８の重畳表示処理は、重畳モードがオンに設定されている間、繰り返し実行することができる。

なお、図８の重畳表示処理では、鉗子位置検出処理や注目点推定処理が、撮像センサ２４から術部画像が供給される毎に実行されることになる。しかし、鉗子位置検出処理や注目点推定処理は、毎フレームではなく、数十フレームに１回など、一定期間ごとに行うようにしてもよい。

また、図８の重畳表示処理が繰り返し実行された場合、鉗子８１の位置の変化などに対応して、ズーム画像ＱＢの重畳位置が変更される場合がある。ズーム画像ＱＢの重畳位置が変更される場合、それまでの重畳位置から次の重畳位置へ一瞬で移動させるのではなく、ズーム画像ＱＢを視認可能な速度でゆっくりと移動させるようにすることができる。このようにすることにより、術者によるズーム画像ＱＢの確認が容易になる。

ズーム画像ＱＢは、注目領域ＱＡの画像を所定の倍率で拡大するだけではなく、例えば、ガンマ補正処理や、施術部位が視認しやすくなるような注目領域ＱＡの色彩に合わせた特定色の強調処理、コントラスト調整処理など、所定の色変換処理を施したものとしてもよい。また、ズーム画像ＱＢだけでなく、術部画像全体に対して所定の色変換処理を行ってもよい。

上述した重畳表示処理によれば、撮像部２１で撮像されて得られた術部画像から鉗子８１が検出され、検出された鉗子８１から術者が注目する注目点Ｑが推定される。そして、注目点Ｑに基づいて注目領域ＱＡが決定され、注目領域ＱＡの画像を所定の倍率で拡大したズーム画像ＱＢが、術部画像内の注目領域ＱＡ及び鉗子８１４と干渉しない位置に配置され、重畳される。

従って、術者が特段の操作を行わなくても、（CCU１２が自動で）施術の注目領域ＱＡを拡大したズーム画像ＱＢをディスプレイ１４に表示するので、術者は施術を中断する必要はない。すなわち、重畳表示処理によれば、術者の手間をかけずに、術者の所望する術部を映し出すことができる。

なお、注目領域ＱＡを拡大したズーム画像ＱＢを重畳する機能が不要な場合もあり得る。そのような場合には、フットペダル６１により重畳モードのオンまたはオフを切替えることができるので、術者は、施術を中断することなく、必要な場合のみ重畳機能（重畳モード）を利用することができる。

図１の内視鏡システムは、撮像センサ２４として４Ｋカメラなどの高解像度の撮像センサを用いることができるので、注目領域ＱＡを拡大したズーム画像ＱＢであっても高画質で表示することができる。

また、上述した鉗子位置検出処理では、術部画像の奥行き情報から視差画像を生成し、直線的なエッジを検出することにより、鉗子８１を検出する例について説明したが、その他の検出方法を採用することもできる。

例えば、鉗子８１の所定の２か所にマーカを付しておき、術部画像内の鉗子８１の位置（ｘ_１，ｙ_１，ｚ_１）及び（ｘ_２，ｙ_２，ｚ_２）として、鉗子８１に付された２か所のマーカを検出することができる。鉗子８１の形状及び色や、鉗子８１に付されているマーカの形状及び色など、施術で使用される複数種類の鉗子８１の特徴を予めデータベースとして鉗子位置検出部４２内のメモリに記憶させておき、指定された鉗子８１の情報に基づいて、マーカの検出を行うようにすることができる。

＜２Ｄ/３Ｄ表示切替処理の処理フロー＞
図１の内視鏡システムは、術部を２つの撮像センサ２４で撮像しているため、R画像とL画像を用いた３Ｄ表示と、R画像またはL画像のいずれか一方を用いた２Ｄ表示の両方が可能である。術者は、必要に応じて、３Ｄ表示と２Ｄ表示を切り替えて、ディスプレイ１４に表示させることができる。

図１５は、３Ｄ表示と２Ｄ表示を切り替えて表示する２Ｄ/３Ｄ表示切替処理のフローチャートを示している。この処理は、例えば、CCU１２の電源投入とともに開始することができる。

初めに、ステップＳ９１において、操作制御部４６は、操作部１３から供給される操作信号に基づいて、２Ｄ表示が選択されたか否かを判定する。術者は、２Ｄ表示と３Ｄ表示の切替えを、例えば、フットペダル６１により行うことができる。

ステップＳ９１で、２Ｄ表示が選択されたと判定された場合、処理はステップＳ９２に進み、操作制御部４６は、２Ｄで表示を行う旨の表示モード情報を画像重畳部４５に供給する。そして、その表示モード情報を取得した画像重畳部４５は、撮像部２１から供給されたR画像及びL画像のいずれか一方のみをディスプレイ１４に供給し、術部画像を２Ｄで表示させる。

一方、ステップＳ９１で、３Ｄ表示が選択されたと判定された場合、処理はステップＳ９３に進み、操作制御部４６は、３Ｄで表示を行う旨の表示モード情報を画像重畳部４５に供給する。そして、その表示モード情報を取得した画像重畳部４５は、撮像部２１から供給されたR画像及びL画像を交互にディスプレイ１４に供給し、術部画像を３Ｄで表示させる。

ステップＳ９２またはＳ９３の後、処理は再びステップＳ９１に戻り、それ以降の処理が繰り返される。これにより、CCU１２の電源がオフされるまで、ディスプレイ１４において、術者の指定に応じた２Ｄ表示または３Ｄ表示が行われる。

以上の２Ｄ/３Ｄ表示切替処理により、術者は、所望の３Ｄ表示または２Ｄ表示を選択して、術部画像をディスプレイ１４に表示させることができる。

本開示は、上述した内視鏡システムの他、顕微鏡システムについても同様に適用することができる。その場合、図１の内視鏡カメラヘッド１１に代えて、顕微鏡カメラヘッドが設けられ、CCU１２は、顕微鏡カメラヘッドで撮像された術部画像の重畳表示処理を行うことができる。

CCU１２が実行する画像処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図１６は、CCU１２が実行する画像処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。

バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及びドライブ２１０が接続されている。

入力部２０６は、キーボード、マウス、マイクロホンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体２１１を駆動する。

以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータでは、プログラムは、リムーバブル記録媒体２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。

なお、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる場合はもちろん、必ずしも時系列的に処理されなくとも、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで実行されてもよい。

なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

本開示は、内視鏡システムの撮像部２１により得られた画像と、その一部領域の拡大画像の重畳表示に関する処理であるが、内視鏡システム等の医療用システム以外の一般的な撮像画像の重畳表示にも適用することができる。すなわち、本開示は、撮像画像内に映る指示具や操作器具、デバイス等（上述の手術器具に相当）の３次元位置に基づいて、操作者が注目する注目点及び注目領域を決定し、注目領域の画像を拡大した画像を、撮像画像に重畳して画面に表示させる場合に適用することができる。

本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、上述した複数の実施の形態の全てまたは一部を組み合わせた形態を採用することができる。

例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。

なお、本開示は以下のような構成も取ることができる。
（１）
手術対象の部位を含む術野を撮像することにより得られた画像から、術者の注目する注目領域の画像を拡大したズーム画像を生成するズーム画像生成部と、
前記画像に前記ズーム画像を重畳して画面に表示させる画像重畳部と
を備える画像処理装置。
（２）
前記注目領域は、前記画像内の手術器具の３次元位置に基づいて決定される
前記（１）に記載の画像処理装置。
（３）
前記注目領域は、前記手術器具の先端部分を含むように決定される
前記（２）に記載の画像処理装置。
（４）
前記注目領域は、前記手術器具の３次元位置に対応する線分を延長した延長線と前記部位との交点を含むように決定される
前記（２）に記載の画像処理装置。
（５）
前記注目領域は、前記手術器具の先端部分、及び、前記手術器具の３次元位置に対応する線分を延長した延長線と前記部位との交点を含むように決定される
前記（２）に記載の画像処理装置。
（６）
前記画像を得る際のズーム倍率は、前記手術器具の先端部分、及び、前記手術器具の３次元位置に対応する線分を延長した延長線と前記部位との交点を含むように設定される
前記（３）乃至（５）のいずれかに記載の画像処理装置。
（７）
前記手術器具の３次元位置は、前記画像内の直線的なエッジの情報に基づいて検出される
前記（２）に記載の画像処理装置。
（８）
前記画像内の直線的なエッジの情報は、前記画像内の輝度情報に基づいて検出される
前記（７）に記載の画像処理装置。
（９）
前記画像内の直線的なエッジの情報は、前記画像内の色情報に基づいて検出される
前記（７）に記載の画像処理装置。
（１０）
前記手術器具の３次元位置は、前記画像から、前記手術器具に付されたマーカを検出することで検出される
前記（２）乃至（６）のいずれかに記載の画像処理装置。
（１１）
前記画像重畳部は、前記手術器具の３次元位置に基づいて決定された、前記術者が注目する注目点も前記画面に表示させる
前記（２）乃至（１０）のいずれかに記載の画像処理装置。
（１２）
前記画像重畳部は、前記手術器具の３次元位置に対応する線分を、前記手術器具から前記注目点まで延長した延長線も前記画面に表示させる
前記（１１）に記載の画像処理装置。
（１３）
前記画像重畳部は、前記注目領域を示す枠も前記画面に表示させる
前記（１）乃至（１２）のいずれかに記載の画像処理装置。
（１４）
前記画像重畳部は、前記画像の四隅のいずれかに、前記ズーム画像を配置する
前記（１）乃至（１３）のいずれかに記載の画像処理装置。
（１５）
前記画像重畳部は、前記画像内の手術器具及び前記注目領域と重ならない位置に、前記ズーム画像を配置する
前記（１）乃至（１４）のいずれかに記載の画像処理装置。
（１６）
前記ズーム画像生成部は、前記画像内の手術器具から、前記注目領域内の注目点までの距離に応じて決定した倍率で、前記注目領域の画像を拡大したズーム画像を生成する
前記（１）乃至（１５）のいずれかに記載の画像処理装置。
（１７）
前記画像重畳部は、前記画像または前記ズーム画像に対して所定の色変換処理を施し、色変換処理後の前記画像または前記ズーム画像を重畳する
前記（１）乃至（１６）のいずれかに記載の画像処理装置。
（１８）
前記画像重畳部は、重畳モードがオンである場合に、前記ズーム画像を前記画像に重畳する
前記（１）乃至（１７）のいずれかに記載の画像処理装置。
（１９）
画像処理装置が、
手術対象の部位を含む術野を撮像することにより得られた画像から、術者の注目する注目領域の画像を拡大したズーム画像を生成し、前記画像に前記ズーム画像を重畳して画面に表示させる
画像処理方法。
（B１）
手術対象の部位である術部を複数の撮像部で撮像することにより得られた複数の画像から算出された前記画像の奥行き情報を取得し、取得された前記画像の奥行き情報を用いて、前記画像内の手術器具の３次元位置を検出する位置検出部と
を備える画像処理装置。
（B２）
検出された前記手術器具の３次元位置に基づいて、前記手術器具の操作を行う術者の注目点を推定する注目点推定部をさらに備える
前記（B１）に記載の画像処理装置。
（B３）
前記注目点推定部は、前記手術器具の３次元位置に対応する線分を延長した延長線と前記術部との交点を、前記注目点と推定する
前記（B２）に記載の画像処理装置。
（B４）
推定された前記注目点に基づいて、前記術者の注目する注目領域を決定し、前記注目領域の画像を拡大したズーム画像を生成するズーム画像生成部をさらに備える
前記（B２）または（B３）に記載の画像処理装置。
（B５）
前記ズーム画像生成部は、前記手術器具から前記注目点までの距離に応じて決定した倍率で、前記注目領域の画像を拡大したズーム画像を生成する
前記（B４）に記載の画像処理装置。
（B６）
生成された前記ズーム画像を、前記撮像部により得られた画像に重畳する画像重畳部をさらに備える
前記（B４）に記載の画像処理装置。
（B７）
前記画像重畳部は、前記注目領域及び前記手術器具と重ならない位置に、前記ズーム画像を配置する
前記（B６）に記載の画像処理装置。
（B８）
前記画像重畳部は、前記撮像部により得られた画像の四隅のいずれかに、前記ズーム画像を配置する
前記（B６）または（B７）に記載の画像処理装置。
（B９）
前記画像重畳部は、推定された前記注目点も表示させる
前記（B６）乃至（B８）のいずれかに記載の画像処理装置。
（B１０）
前記画像重畳部は、前記注目点をとともに、前記手術器具の３次元位置に対応する線分を延長した延長線も表示させる
前記（B９）に記載の画像処理装置。
（B１１）
前記画像重畳部は、前記注目領域を示す枠も表示させる
前記（B６）乃至（B１０）のいずれかに記載の画像処理装置。
（B１２）
前記画像重畳部は、前記画像または前記ズーム画像に対して所定の色変換処理を施し、色変換処理後の前記画像または前記ズーム画像を重畳する
前記（B６）乃至（B１１）のいずれかに記載の画像処理装置。
（B１３）
前記画像重畳部は、重畳モードがオンである場合に、前記ズーム画像を前記画像に重畳する
前記（B６）乃至（B１２）のいずれかに記載の画像処理装置。
（B１４）
前記位置検出部は、前記複数の画像から視差画像を生成し、前記視差画像内の直線的なエッジを検出することで、前記手術器具の３次元位置を検出する
前記（B１）乃至（B１３）のいずれかに記載の画像処理装置。
（B１５）
前記位置検出部は、前記画像から、前記手術器具に付されたマーカを検出することで、前記手術器具の３次元位置を検出する
前記（B１）乃至（B１３）のいずれかに記載の画像処理装置。
（B１６）
前記複数の画像から算出された前記画像の奥行き情報を生成する奥行き情報生成部をさらに備え、
前記位置検出部は、前記奥行き情報生成部で生成された前記画像の奥行き情報を取得する
前記（B１）乃至（B１５）のいずれかに記載の画像処理装置。
（B１７）
画像処理装置が、
手術対象の部位である術部を複数の撮像部で撮像することにより得られた複数の画像から算出された前記画像の奥行き情報を取得し、
取得された前記画像の奥行き情報を用いて、前記画像内の手術器具の３次元位置を検出する
画像処理方法。

１１ カメラヘッド， １２ CCU， １３ 操作部， １４ ディスプレイ， ２１ 撮像部， ２４ａ 第１撮像センサ， ２４ｂ 第２撮像センサ， ４１ 奥行き情報生成部， ４２ 鉗子位置検出部， ４３ 注目点推定部， ４４ ズーム画像生成部， ４５ 画像重畳部， ４６ 操作制御部， ６１ フットペダル， Ｑ 注目点， ＱＡ 注目領域， １１１ ガイド線， ＱＢ ズーム画像， ２０１ CPU， ２０２ ROM， ２０３ RAM， ２０６ 入力部， ２０７ 出力部， ２０８ 記憶部， ２０９ 通信部， ２１０ ドライブ

Claims (19)

1. 手術対象の部位を含む術野を撮像することにより得られた画像から、術者の注目する注目領域の画像を拡大したズーム画像を生成するズーム画像生成部と、
   前記画像に前記ズーム画像を重畳して画面に表示させる画像重畳部と
   を備える画像処理装置。
2. 前記注目領域は、前記画像内の手術器具の３次元位置に基づいて決定される
   請求項１に記載の画像処理装置。
3. 前記注目領域は、前記手術器具の先端部分を含むように決定される
   請求項２に記載の画像処理装置。
4. 前記注目領域は、前記手術器具の３次元位置に対応する線分を延長した延長線と前記部位との交点を含むように決定される
   請求項２に記載の画像処理装置。
5. 前記注目領域は、前記手術器具の先端部分、及び、前記手術器具の３次元位置に対応する線分を延長した延長線と前記部位との交点を含むように決定される
   請求項２に記載の画像処理装置。
6. 前記画像を得る際のズーム倍率は、前記手術器具の先端部分、及び、前記手術器具の３次元位置に対応する線分を延長した延長線と前記部位との交点を含むように設定される
   請求項５に記載の画像処理装置。
7. 前記手術器具の３次元位置は、前記画像内の直線的なエッジの情報に基づいて検出される
   請求項２に記載の画像処理装置。
8. 前記画像内の直線的なエッジの情報は、前記画像内の輝度情報に基づいて検出される
   請求項７に記載の画像処理装置。
9. 前記画像内の直線的なエッジの情報は、前記画像内の色情報に基づいて検出される
   請求項７に記載の画像処理装置。
10. 前記手術器具の３次元位置は、前記画像から、前記手術器具に付されたマーカを検出することで検出される
    請求項２に記載の画像処理装置。
11. 前記画像重畳部は、前記手術器具の３次元位置に基づいて決定された、前記術者が注目する注目点も前記画面に表示させる
    請求項２に記載の画像処理装置。
12. 前記画像重畳部は、前記手術器具の３次元位置に対応する線分を、前記手術器具から前記注目点まで延長した延長線も前記画面に表示させる
    請求項１１に記載の画像処理装置。
13. 前記画像重畳部は、前記注目領域を示す枠も前記画面に表示させる
    請求項１に記載の画像処理装置。
14. 前記画像重畳部は、前記画像の四隅のいずれかに、前記ズーム画像を配置する
    請求項１に記載の画像処理装置。
15. 前記画像重畳部は、前記画像内の手術器具及び前記注目領域と重ならない位置に、前記ズーム画像を配置する
    請求項１に記載の画像処理装置。
16. 前記ズーム画像生成部は、前記画像内の手術器具から、前記注目領域内の注目点までの距離に応じて決定した倍率で、前記注目領域の画像を拡大したズーム画像を生成する
    請求項１に記載の画像処理装置。
17. 前記画像重畳部は、前記画像または前記ズーム画像に対して所定の色変換処理を施し、色変換処理後の前記画像または前記ズーム画像を重畳する
    請求項１に記載の画像処理装置。
18. 前記画像重畳部は、重畳モードがオンである場合に、前記ズーム画像を前記画像に重畳する
    請求項１に記載の画像処理装置。
19. 画像処理装置が、
    手術対象の部位を含む術野を撮像することにより得られた画像から、術者の注目する注目領域の画像を拡大したズーム画像を生成し、前記画像に前記ズーム画像を重畳して画面に表示させる
    画像処理方法。

Images