JP2018108173A - 医療用画像処理装置、医療用画像処理方法、プログラム - Google Patents

Abstract

【課題】観察条件の違いを視認できるような表示を行う。
【解決手段】被写体に対して通常光を照射した状態で撮像された通常フレームと、被写体に対して特殊光を照射した状態で撮像された特殊フレームとの相関関係を表す相関係数を算出する係数算出部と、特殊フレームにおいて、相関係数の高い部分と低い部分とが異なる表示となるように特殊フレームを画像処理する処理部とを備える。通常フレームの画素毎または領域毎に、所定の部位が撮像されている可能性を表す第１の判定値を算出する第１の判定部と、特殊フレームの画素毎または領域毎に、所定の部位が撮像されている可能性を表す第２の判定値を算出する第２の判定部とをさらに備え、係数算出部は、第１の判定値と第２の判定値を用いて相関係数を算出する。本技術は、医療用の画像処理装置に適用できる。
【選択図】図８

Description

本技術は医療用画像処理装置、医療用画像処理方法、プログラムに関し、例えば、人体に白色光などの通常光を照射して撮像した通常画像と、特殊な光を照射して撮像することにより得られる血管の位置を表す特殊画像と合成して表示できるようにした医療用画像処理装置、医療用画像処理方法、プログラムに関する。

従来、例えば、医療現場に用いることを目的として、内視鏡装置によって撮像される臓器などの通常画像に、当該通常画像では見分けにくい血管や腫瘍などの病変の位置を表す特殊画像を合成して表示するさまざま技術が提案されている。

例えば、特許文献１には、通常画像と特殊画像とを時分割に撮像することが記載されている。また例えば、特許文献２には、通常画像と特殊画像を合成表示することが記載されている。また特許文献３には、通常画像と特殊画像を合成表示し、特殊画像を点滅表示することが記載されている。

ここで、通常画像とは、被写体となる臓器などに白色光などの通常光を照射して撮像した画像を指す。特殊画像とは、通常光とは異なる所定の波長の特殊光を照射して撮像した画像を指す。なお、特殊画像を撮像する際には、被写体となる血管（血液）や病変には特殊光の照射に反応する蛍光剤などを混入または塗布することがある。

特開２００７−３１３１７１号公報 特開２０１２−２４２８３号公報 特許第５３２０２６８号公報

特殊画像には、通常画像では撮像されていない血管なども撮像されているが、特殊画像と通常画像を合成した画像においても、そのような特殊画像と通常画像とで異なる部分が、一目でわかるような画像とすることが望まれている。

本技術は、このような状況に鑑みてなされたものであり、通常画像と特殊画像との異なる部分がわかるような合成を行うことができるようにするものである。

本技術の一側面の医療用画像処理装置は、被写体に対して通常光を照射した状態で撮像された通常フレームと、前記被写体に対して特殊光を照射した状態で撮像された特殊フレームとの相関関係を表す相関係数を算出する係数算出部と、前記特殊フレームにおいて、前記相関係数の高い部分と低い部分とが異なる表示となるように前記特殊フレームを画像処理する処理部とを備える。

本技術の一側面の医療用画像処理方法は、被写体に対して通常光を照射した状態で撮像された通常フレームと、前記被写体に対して特殊光を照射した状態で撮像された特殊フレームとの相関関係を表す相関係数を算出し、前記特殊フレームにおいて、前記相関係数の高い部分と低い部分とが異なる表示となるように前記特殊フレームを画像処理するステップを含む。

本技術の一側面のプログラムは、コンピュータに、被写体に対して通常光を照射した状態で撮像された通常フレームと、前記被写体に対して特殊光を照射した状態で撮像された特殊フレームとの相関関係を表す相関係数を算出し、前記特殊フレームにおいて、前記相関係数の高い部分と低い部分とが異なる表示となるように前記特殊フレームを画像処理するステップを含む処理を実行させる。

本技術の一側面の医療用画像処理装置、医療用画像処理方法、並びにプログラムにおいては、被写体に対して通常光を照射した状態で撮像された通常フレームと、被写体に対して特殊光を照射した状態で撮像された特殊フレームとの相関関係を表す相関係数が算出され、特殊フレームにおいて、相関係数の高い部分と低い部分とが異なる表示となるように特殊フレームが画像処理される。

なお、医療用画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。

また、プログラムは、伝送媒体を介して伝送することにより、または、記録媒体に記録して、提供することができる。

本技術の一側面によれば、通常画像と特殊画像との異なる部分がわかるような合成を行うことができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術を適用した内視鏡手術システムの一実施の形態の構成を示す図である。 カメラヘッドおよびＣＣＵの機能構成の一例を示すブロック図である。 内視鏡装置の構成例を示すブロック図である。 通常フレームと特殊フレームの撮像タイミングを示す図である。 画像処理部の詳細な構成例を示すブロック図である。 動きベクトル検出部の詳細な構成例を示すブロック図である。 画像合成処理を説明するフローチャートである。 重畳処理部の構成例を示す図である。 判定値の算出について説明するための図である。 判定値の算出について説明するための図である。 表示に係わる処理について説明するためのフローチャートである。 表示される画面例を示す図である。 表示される画面例を示す図である。 表示される画面例を示す図である。 記録媒体について説明するための図である。

以下に、本技術を実施するための形態（以下、実施の形態という）について説明する。

＜内視鏡システムの構成＞
本開示に係る技術は、さまざまな製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。またここでは、内視鏡手術システムを例に挙げて説明をするが、本技術は、外科手術システム、顕微鏡下手術システムなどにも適用できる。

図１は、本開示に係る技術が適用され得る内視鏡手術システム１０の概略的な構成の一例を示す図である。図１では、術者（医師）７１が、内視鏡手術システム１０を用いて、患者ベッド７３上の患者７５に手術を行っている様子が図示されている。図示するように、内視鏡手術システム１０は、内視鏡２０と、その他の術具３０と、内視鏡２０を支持する支持アーム装置４０と、内視鏡下手術のための各種の装置が搭載されたカート５０と、から構成される。

内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ３７ａ〜３７ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ３７ａ〜３７ｄから、内視鏡２０の鏡筒２１や、その他の術具３０が患者７５の体腔内に挿入される。図示する例では、その他の術具３０として、気腹チューブ３１、エネルギー処置具３３および鉗子３５が、患者７５の体腔内に挿入されている。また、エネルギー処置具３３は、高周波電流や超音波振動により、組織の切開および剥離、または血管の封止等を行う処置具である。ただし、図示する術具３０はあくまで一例であり、術具３０としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。

内視鏡２０によって撮影された患者７５の体腔内の術部の画像が、表示装置５３に表示される。術者７１は、表示装置５３に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具３３や鉗子３５を用いて、例えば患部を切除する等の処置を行う。なお、気腹チューブ３１、エネルギー処置具３３および鉗子３５は、手術中に、術者７１または助手等によって支持される。

（支持アーム装置）
支持アーム装置４０は、ベース部４１から延伸するアーム部４３を備える。図示する例では、アーム部４３は、関節部４５ａ、４５ｂ、４５ｃ、およびリンク４７ａ、４７ｂから構成されており、アーム制御装置５７からの制御により駆動される。アーム部４３によって内視鏡２０が支持され、その位置および姿勢が制御される。これにより、内視鏡２０の安定的な位置の固定が実現され得る。

（内視鏡）
内視鏡２０は、先端から所定の長さの領域が患者７５の体腔内に挿入される鏡筒２１と、鏡筒２１の基端に接続されるカメラヘッド２３と、から構成される。図示する例では、硬性の鏡筒２１を有するいわゆる硬性鏡として構成される内視鏡２０を図示しているが、内視鏡２０は、軟性の鏡筒２１を有するいわゆる軟性鏡として構成されてもよい。

鏡筒２１の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡２０には光源装置５５が接続されており、当該光源装置５５によって生成された光が、鏡筒２１の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者７５の体腔内の観察対象に向かって照射される。なお、内視鏡２０は、直視鏡であってもよいし、斜視鏡または側視鏡であってもよい。

カメラヘッド２３の内部には光学系および撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera Control Unit）５１に送信される。なお、カメラヘッド２３には、その光学系を適宜駆動させることにより、倍率および焦点距離を調整する機能が搭載される。

なお、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド２３には撮像素子が複数設けられてもよい。この場合、鏡筒２１の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。

（カートに搭載される各種の装置）
ＣＣＵ５１は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等によって構成され、内視鏡２０および表示装置５３の動作を統括的に制御する。具体的には、ＣＣＵ５１は、カメラヘッド２３から受け取った画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。ＣＣＵ５１は、当該画像処理を施した画像信号を表示装置５３に提供する。また、ＣＣＵ５１は、カメラヘッド２３に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。

表示装置５３は、ＣＣＵ５１からの制御により、当該ＣＣＵ５１によって画像処理が施された画像信号に基づく画像を表示する。内視鏡２０が例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）または８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、および／または３Ｄ表示に対応したものである場合には、表示装置５３としては、それぞれに対応して、高解像度の表示が可能なもの、および／または３Ｄ表示可能なものが用いられ得る。４Ｋまたは８Ｋ等の高解像度の撮影に対応したものである場合、表示装置５３として５５インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置５３が設けられてもよい。

光源装置５５は、例えばＬＥＤ（light emitting diode）等の光源から構成され、術部を撮影する際の照射光を内視鏡２０に供給する。

アーム制御装置５７は、例えばＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置４０のアーム部４３の駆動を制御する。

入力装置５９は、内視鏡手術システム１０に対する入力インタフェースである。ユーザは、入力装置５９を介して、内視鏡手術システム１０に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置５９を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置５９を介して、アーム部４３を駆動させる旨の指示や、内視鏡２０による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示、エネルギー処置具３３を駆動させる旨の指示等を入力する。

入力装置５９の種類は限定されず、入力装置５９は各種の公知の入力装置であってよい。入力装置５９としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ６９および／またはレバー等が適用され得る。入力装置５９としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置５３の表示面上に設けられてもよい。

あるいは、入力装置５９は、例えばメガネ型のウェアラブルデバイスやＨＭＤ（Head Mounted Display）等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置５９は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。

更に、入力装置５９は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置５９が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ（例えば術者７１）が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。

処置具制御装置６１は、組織の焼灼、切開または血管の封止等のためのエネルギー処置具３３の駆動を制御する。気腹装置６３は、内視鏡２０による視野の確保および術者の作業空間の確保の目的で、患者７５の体腔を膨らめるために、気腹チューブ３１を介して当該体腔内にガスを送り込む。レコーダ６５は、手術に関する各種の情報を記録可能な装置である。プリンタ６７は、手術に関する各種の情報を、テキスト、画像またはグラフ等各種の形式で印刷可能な装置である。

以下、内視鏡手術システム１０において特に特徴的な構成について、更に詳細に説明する。

（支持アーム装置）
支持アーム装置４０は、基台であるベース部４１と、ベース部４１から延伸するアーム部４３と、を備える。図示する例では、アーム部４３は、複数の関節部４５ａ、４５ｂ、４５ｃと、関節部４５ｂによって連結される複数のリンク４７ａ、４７ｂと、から構成されているが、図１では、簡単のため、アーム部４３の構成を簡略化して図示している。

実際には、アーム部４３が所望の自由度を有するように、関節部４５ａ〜４５ｃおよびリンク４７ａ、４７ｂの形状、数および配置、並びに関節部４５ａ〜４５ｃの回転軸の方向等が適宜設定され得る。例えば、アーム部４３は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部４３の可動範囲内において内視鏡２０を自由に移動させることが可能になるため、所望の方向から内視鏡２０の鏡筒２１を患者７５の体腔内に挿入することが可能になる。

関節部４５ａ〜４５ｃにはアクチュエータが設けられており、関節部４５ａ〜４５ｃは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置５７によって制御されることにより、各関節部４５ａ〜４５ｃの回転角度が制御され、アーム部４３の駆動が制御される。これにより、内視鏡２０の位置および姿勢の制御が実現され得る。この際、アーム制御装置５７は、力制御または位置制御等、各種の公知の制御方式によってアーム部４３の駆動を制御することができる。

例えば、術者７１が、入力装置５９（フットスイッチ６９を含む）を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置５７によってアーム部４３の駆動が適宜制御され、内視鏡２０の位置および姿勢が制御されてよい。当該制御により、アーム部４３の先端の内視鏡２０を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部４３は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部４３は、手術室から離れた場所に設置される入力装置５９を介してユーザによって遠隔操作され得る。

また、力制御が適用される場合には、アーム制御装置５７は、ユーザからの外力を受け、その外力にならってスムーズにアーム部４３が移動するように、各関節部４５ａ〜４５ｃのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部４３に触れながらアーム部４３を移動させる際に、比較的軽い力で当該アーム部４３を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡２０を移動させることが可能となり、ユーザの利便性を向上させることができる。

ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡２０が支持されていた。これに対して、支持アーム装置４０を用いることにより、人手によらずに内視鏡２０の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。

なお、アーム制御装置５７は必ずしもカート５０に設けられなくてもよい。また、アーム制御装置５７は必ずしも１つの装置でなくてもよい。例えば、アーム制御装置５７は、支持アーム装置４０のアーム部４３の各関節部４５ａ〜４５ｃにそれぞれ設けられてもよく、複数のアーム制御装置５７が互いに協働することにより、アーム部４３の駆動制御が実現されてもよい。

（光源装置）
光源装置５５は、内視鏡２０に術部を撮影する際の照射光を供給する。光源装置５５は、例えばＬＥＤ、レーザ光源またはこれらの組み合わせによって構成される白色光源から構成される。このとき、ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度および出力タイミングを高精度に制御することができるため、光源装置５５において撮像画像のホワイトバランスの調整を行うことができる。

また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド２３の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。

また、光源装置５５は、出力する光の強度を所定の時間毎に変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド２３の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれおよび白とびのない高ダイナミックレンジの画像を生成することができる。

また、光源装置５５は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow Band Imaging）が行われる。

あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの（自家蛍光観察）、またはインドシアニングリーン（ICG）、5-ALA（５−網のレブリン酸）、レザフィリン等の試薬を体組織に局注すると共に当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置５５は、このような特殊光観察に対応した狭帯域光および／または励起光を供給可能に構成され得る。

（カメラヘッドおよびＣＣＵ）
図２を参照して、内視鏡２０のカメラヘッド２３およびＣＣＵ５１の機能についてより詳細に説明する。図２は、図１に示すカメラヘッド２３およびＣＣＵ５１の機能構成の一例を示すブロック図である。

図２を参照すると、カメラヘッド２３は、その機能として、レンズユニット２５、撮像部２７、駆動部２９、通信部２６、およびカメラヘッド制御部２８を有する。また、ＣＣＵ５１は、その機能として、通信部８１、画像処理部８３、および制御部８５を有する。カメラヘッド２３とＣＣＵ５１とは、伝送ケーブル９１によって双方向に通信可能に接続されている。

まず、カメラヘッド２３の機能構成について説明する。レンズユニット２５は、鏡筒２１との接続部に設けられる光学系である。鏡筒２１の先端から取り込まれた観察光は、カメラヘッド２３まで導光され、当該レンズユニット２５に入射する。レンズユニット２５は、ズームレンズおよびフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット２５は、撮像部２７の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズおよびフォーカスレンズは、撮像画像の倍率および焦点の調整のため、その光軸上の位置が移動可能に構成される。

撮像部２７は撮像素子によって構成され、レンズユニット２５の後段に配置される。レンズユニット２５を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部２７によって生成された画像信号は、通信部２６に提供される。

撮像部２７を構成する撮像素子としては、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）タイプのイメージセンサであり、Ｂａｙｅｒ配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば４Ｋ以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者７１は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。

また、撮像部２７を構成する撮像素子は、３Ｄ表示に対応する右目用および左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成される。３Ｄ表示が行われることにより、術者７１は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部２７が多板式で構成される場合には、各撮像素子に対応して、レンズユニット２５も複数系統設けられる。

また、撮像部２７は、必ずしもカメラヘッド２３に設けられなくてもよい。例えば、撮像部２７は、鏡筒２１の内部に、対物レンズの直後に設けられてもよい。

駆動部２９は、アクチュエータによって構成され、カメラヘッド制御部２８からの制御により、レンズユニット２５のズームレンズおよびフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部２７による撮像画像の倍率および焦点が適宜調整され得る。

通信部２６は、ＣＣＵ５１との間で各種の情報を送受信するための通信装置によって構成される。通信部２６は、撮像部２７から得た画像信号をＲＡＷデータとして伝送ケーブル９１を介してＣＣＵ５１に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。

手術の際には、術者７１が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部２６には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル９１を介してＣＣＵ５１に送信される。

また、通信部２６は、ＣＣＵ５１から、カメラヘッド２３の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／または撮像画像の倍率および焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部２６は、受信した制御信号をカメラヘッド制御部２８に提供する。

なお、ＣＣＵ５１からの制御信号も、光通信によって伝送されてもよい。この場合、通信部２６には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部２８に提供される。

なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてＣＣＵ５１の制御部８５によって自動的に設定される。つまり、いわゆるＡＥ（Auto Exposure）機能、ＡＦ（Auto Focus）機能およびＡＷＢ（Auto White Balance）機能が内視鏡２０に搭載される。

カメラヘッド制御部２８は、通信部２６を介して受信したＣＣＵ５１からの制御信号に基づいて、カメラヘッド２３の駆動を制御する。例えば、カメラヘッド制御部２８は、撮像画像のフレームレートを指定する旨の情報および／または撮像時の露光を指定する旨の情報に基づいて、撮像部２７の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部２８は、撮像画像の倍率および焦点を指定する旨の情報に基づいて、駆動部２９を介してレンズユニット２５のズームレンズおよびフォーカスレンズを適宜移動させる。カメラヘッド制御部２８は、更に、鏡筒２１やカメラヘッド２３を識別するための情報を記憶する機能を備えてもよい。

なお、レンズユニット２５や撮像部２７等の構成を、気密性および防水性が高い密閉構造内に配置することで、カメラヘッド２３について、オートクレーブ滅菌処理に対する耐性を持たせることができる。

次に、ＣＣＵ５１の機能構成について説明する。通信部８１は、カメラヘッド２３との間で各種の情報を送受信するための通信装置によって構成される。通信部８１は、カメラヘッド２３から、伝送ケーブル９１を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部８１には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部８１は、電気信号に変換した画像信号を画像処理部８３に提供する。

また、通信部８１は、カメラヘッド２３に対して、カメラヘッド２３の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。

画像処理部８３は、カメラヘッド２３から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise reduction）処理および／または手ブレ補正処理等）、並びに／または拡大処理（電子ズーム処理）等、各種の公知の信号処理が含まれる。また、画像処理部８３は、ＡＥ、ＡＦおよびＡＷＢを行うための、画像信号に対する検波処理を行う。

画像処理部８３は、ＣＰＵやＧＰＵ等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部８３が複数のＧＰＵによって構成される場合には、画像処理部８３は、画像信号に係る情報を適宜分割し、これら複数のＧＰＵによって並列的に画像処理を行う。

制御部８５は、内視鏡２０による術部の撮像、およびその撮像画像の表示に関する各種の制御を行う。例えば、制御部８５は、カメラヘッド２３の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部８５は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡２０にＡＥ機能、ＡＦ機能およびＡＷＢ機能が搭載されている場合には、制御部８５は、画像処理部８３による検波処理の結果に応じて、最適な露出値、焦点距離およびホワイトバランスを適宜算出し、制御信号を生成する。

また、制御部８５は、画像処理部８３によって画像処理が施された画像信号に基づいて、術部の画像を表示装置５３に表示させる。この際、制御部８５は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。

例えば、制御部８５は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具３３使用時のミスト等を認識することができる。制御部８５は、表示装置５３に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者７１に提示されることにより、より安全かつ確実に手術を進めることが可能になる。

カメラヘッド２３およびＣＣＵ５１を接続する伝送ケーブル９１は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、またはこれらの複合ケーブルである。

ここで、図示する例では、伝送ケーブル９１を用いて有線で通信が行われていたが、カメラヘッド２３とＣＣＵ５１との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル９１を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル９１によって妨げられる事態が解消され得る。

以上、本開示に係る技術が適用され得る内視鏡手術システム１０の一例について説明した。

なお、ここでは、一例として内視鏡手術システム１０について説明したが、本開示に係る技術が適用され得るシステムは係る例に限定されない。例えば、本開示に係る技術は、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。

以下の説明おいては、本技術が適用される例として、上記した内視鏡手術システム１０を一例として説明を続ける。本技術が適用される内視鏡手術システム１０においては、通常画像と特殊画像を取得し、取得された通常画像と特殊画像を重畳して術者に提示することができる。

この通常画像と特殊画像を取得し、取得された通常画像と特殊画像を重畳することについて説明を加えるために、再度、内視鏡手術システムの構成について説明する。図３は、通常画像と特殊画像を取得し、取得された通常画像と特殊画像を重畳し、重畳した画像を提示する機能を有する内視鏡装置の一例の構成を示す図である。

ここで通常画像とは、被写体となる臓器などに白色光などの通常光を照射して撮像した画像を指す。以下、通常画像を通常フレームとも称する。特殊画像とは、通常光とは異なる所定の波長の特殊光を照射して撮像した画像を指す。以下、特殊画像を特殊フレームとも称する。なお、特殊画像を撮像する際には、被写体となる血管（血液）や病変には特殊光の照射に反応する蛍光剤などを混入または塗布することがある。

図３に示した内視鏡装置１１０は、通常フレームと特殊フレームを時分割で撮像し、これらを正確に位置合わせして合成し、その結果得られる合成フレームを表示する内視鏡装置の構成例を示している。

この内視鏡装置１１０は、光源部１１１、撮像部１１２、現像部１１３、画像処理部１１４、および表示部１１５から構成される。光源部１１１は、例えば、内視鏡手術システム１０の光源装置５５（図１）に該当し、撮像部１１２は、撮像部２７（図２）に該当し、現像部１１３は、画像処理部８３（図２）に含まれ、画像処理部１１４は、画像処理部８３（図２）に該当し、表示部１１５は、表示装置５３（図１）に該当する。

光源部１１１は、撮像されるフレーム毎に、白色光などの通常光または所定の波長を有する特殊光を切り替えて被写体（体内の臓器など）に照射する。また、光源部１１１は、撮像されるフレーム毎に、通常光または特殊光のどちらを照射したのかを示す照射識別信号を画像処理部１１４に出力する。なお、特殊光を照射するには、通常光の光路に所定の波長のみを透過する光学フィルタを設ければよい。

撮像部１１２は、光源部１１１から通常光または特殊光が照射されている状態の被写体を撮像し、その結果得られる画像信号を現像部１１３に出力する。現像部１１３は、撮像部１１２から入力される画像信号に対してモザイク処理などの現像処理を行い、処理結果の画像信号（通常光照射時の通常フレーム、または特殊光照射時の特殊フレーム）を画像処理部１１４に出力する。

ここで、特殊フレームは、血管、腫瘍などの病変が通常フレームに比較してより明確になっているが、その反面、フレーム全体の明るさが暗く、ノイズが多いものとなる。一方、通常フレームは、特殊フレームに比較してフレーム全体の明るさが明るく、ノイズが少ないが、その反面、血管や腫瘍などの病変が見分けにくいものとなる。

画像処理部１１４は、撮像タイミングが異なる２枚の通常フレームを用いて動きベクトルを検出する。また、画像処理部１１４は、通常フレームから検出した動きベクトルに基づき、特殊フレームの動き補正を行い、通常フレーム、並びに動き補正した特殊フレームを合成し、その結果得られた合成フレームを表示部１１５に出力する。

表示部１１５は、合成フレームを表示する。

＜通常フレームと特殊フレームの撮像タイミング＞
図４は、通常フレームと特殊フレームの撮像タイミングの一例を示している。

内視鏡装置１１０においては、数フレーム連続して通常フレームを撮像し、その間に定義的に特殊フレームを撮像するようにする。例えば、図４に示されるように、通常フレームと特殊フレームの撮像の割合を４：１とする。

ただし、この割合は４：１に限定されるものではなく、変更可能としてもよい。同図におけるTaは特殊フレームが撮像される１フレーム前に通常フレームが撮像されたタイミングを、Tbは特殊フレームが撮像されるタイミングを、Tc，Td，Teは、それぞれ特殊フレームが撮像された１，２，３フレーム後に通常フレームが撮像されたタイミングを示している。Ta乃至Teは、後述する動きベクトルの検出の説明に使用する。

＜画像処理部１１４の構成例＞
次に、図５は、画像処理部１１４の構成例を示している。

画像処理部１１４は、切り替え部１２１、動きベクトル検出部１２２、補正量推定部１２３、フレームメモリ１２４、動き補正部１２５、および重畳処理部１２６から構成される。

画像処理部１１４において、前段の現像部１１３から入力される通常フレームおよび特殊フレームは切り替え部１２１に入力され、光源部１１１からの照射識別信号は切り替え部１２１、動きベクトル検出部１２２、および補正量推定部１２３に入力される。

切り替え部１２１は、照射識別信号に基づき、現像部１１３からの入力が特殊フレームであるか否かを判別し、特殊フレームではない（通常フレームである）場合には動きベクトル検出部１２２および重畳処理部１２６に出力し、特殊フレームである場合にはフレームメモリ１２４に出力する。

動きベクトル検出部１２２は、フレーム周期毎に、撮像タイミングが異なる２枚の通常フレームを用いて動きベクトルを検出し、検出した動きベクトルを補正量推定部１２３に出力する。

補正量推定部１２３は、動きベクトル検出部１２２で検出された動きベクトルに基づき、特殊フレームの動き補正量を推定し、推定した動き補正量を動き補正部１２５に出力する。なお、補正量推定部１２３は、連続して検出された動きベクトルに基づき、誤検出されている可能性がある動きベクトルを補正することができ、補正した動きベクトルに基づいて動き補正量を推定できる。

フレームメモリ１２４は、切り替え部１２１から入力された特殊フレームを保持し、フレーム周期毎に、保持する特殊フレームを動き補正部１２５に供給する。また、フレームメモリ１２４は、切り替え部１２１から次の特殊フレームは入力された場合、保持する特殊フレームを更新する。

なお、例えば、微小ブロック内の例えば(3x3)の分散やダイナミックレンジが閾値以上の領域を抽出し、抽出結果を表す特徴抽出フレームを生成する処理が実行されるようにしても良い。また例えば、画素の信号レベルが特定の閾値内の領域、すなわち特定のＲＧＢレベルを持つ領域を抽出し、抽出結果を表す特徴抽出フレームを生成する処理が実行されるようにしても良い。また例えば、（腫瘍などに相当する）閉領域に対してSNAKE等の輪郭検出処理を行い、その結果を表す特徴抽出フレームを生成するようにしてもよい。

動き補正部１２５は、動き補正量推定部１２３から入力される動き補正量に基づき、フレームメモリ１２４からの特殊フレームの動き補正を行い、動き補正後の特殊フレームを重畳処理部１２６に出力する。

重畳処理部１２６は、通常フレームと動き補正後の特殊フレームを入力として、重畳合成処理を行うことによって合成フレーム（重畳フレーム）を生成して後段の表示部１１５に出力する。

＜動きベクトル検出部１２２の構成例＞
図６は、動きベクトル検出部１２２の構成例を示している。動きベクトル検出部１２２は、フレームメモリ１３１および１３２、フレーム選択部１３３、ブロックマッチング部１３４、並びにベクトル補正部１３５から構成される。

動きベクトル検出部１２２において、前段の切り替え部１２１から入力される通常フレームはフレームメモリ１３１およびフレーム選択部１３３に入力される。

フレームメモリ１３１は、フレーム周期毎に、それまで保持していた通常フレームをフレームメモリ１３２およびフレーム選択部１３３に出力するとともに、保持するデータを前段の切り替え部１２１から入力される通常フレームにより更新する。同様に、フレームメモリ１３２は、フレーム周期毎に、保持していた通常フレームをフレーム選択部１３３に出力するとともに、保持するデータを前段のフレームメモリ１３１から入力される通常フレームにより更新する。

ただし、フレーム周期のうち、動きベクトル検出部１２２に通常フレームが入力されないタイミングでは、フレームメモリ１３１は、それまで保持していた通常フレームを後段に出力するとともに、それまで保持していたデータをクリアする。

その次のタイミングでは、フレームメモリ１３１は、保持しているデータがないので、後段への出力は行わない。フレームメモリ１３２は、それまで保持していた通常フレームを後段に出力するとともに、それまで保持していたデータをクリアする。

したがって、フレーム選択部１３３には、撮像タイミングが異なる２枚または３枚の通常フレームが同時に入力されることになる。

フレーム選択部１３３は、同時に２枚の通常フレームが入力された場合、該２枚の通常フレームをブロックマッチング部１３４に出力する。また、フレーム選択部１３３は、同時に３枚の通常フレームが入力された場合、フレームメモリ１３１および１３２から入力された２枚の通常フレームをブロックマッチング部１３４に出力する。ブロックマッチング部１３４は、ブロックマッチング処理によって２枚の通常フレーム間の動きベクトルを検出する。

ベクトル補正部１３５は、照射識別信号に基づいて、動きベクトルに用いられた２枚の通常フレームの関係を判断し、その関係に基づいて、検出された動きベクトルを補正して動きベクトルを補正量推定部１２３に出力する。

ベクトル補正部１３５による動きベクトルの補正について具体的に説明する。フレームメモリ１３１からの出力を基準とすれば、基準の撮像タイミングが図４に示されるTaである場合、フレーム選択部１３３に対して、フレームメモリ１３２から基準よりも１フレーム前の通常フレームと、フレームメモリ１３１から基準の通常フレームとが入力され、この２枚の通常フレームから動きベクトルが検出される。この場合、ベクトル補正部１３５は動きベクトルの補正を行わない。

基準の撮像タイミングが図４に示されるTbである場合、Tbは特殊フレームの撮像タイミングであるので、フレームメモリ１３１は出力しない。そして、フレーム選択部１３３に対して、フレームメモリ１３１から基準よりも１フレーム前の通常フレームと、切り替え部１２１から基準よりも１フレーム後の通常フレームとが入力され、この２枚の通常フレームから動きベクトルが検出される。この場合、検出された動きベクトルは２フレーム分離れた通常フレーム間のものであるので、ベクトル補正部１３５は検出された動きベクトルの縦横それぞれの成分に１／２を乗算する。

基準の撮像タイミングが図４に示されるTcである場合、フレーム選択部１３３に対して、フレームメモリ１３１から基準の通常フレームと、切り替え部１２１から基準よりも１フレーム後の通常フレームとが入力され、この２枚の通常フレームから動きベクトルが検出される。この場合、検出された動きベクトルの方向が反対しているので、ベクトル補正部１３５は検出された動きベクトルの縦横それぞれの成分に−１を乗算する。

基準の撮像タイミングが図４に示されるTdである場合、フレーム選択部１３３に対しては、フレームメモリ１３２から基準よりも１フレーム前の通常フレームと、フレームメモリ１３１から基準の通常フレームと、切り替え部１２１から基準よりも１フレーム後の通常フレームとが入力され、フレームメモリ１３１および１３２からの２枚の通常フレームから動きベクトルが検出される。この場合、ベクトル補正部１３５は動きベクトルの補正を行わない。

基準の撮像タイミングが図４に示されるTeである場合、フレーム選択部１３３に対しては、フレームメモリ１３２から基準よりも１フレーム前の通常フレームと、フレームメモリ１３１から基準の通常フレームと、切り替え部１２１から基準よりも１フレーム後の通常フレームとが入力され、フレームメモリ１３１および１３２からの２枚の通常フレームから動きベクトルが検出される。この場合、ベクトル補正部１３５は動きベクトルの補正を行わない。

以上のようにして補正された動きベクトルがベクトル補正部１３５から後段の補正量推定部１２３に出力される。

＜画像処理部１１４による画像合成処理＞
次に、画像処理部１１４による画像合成処理について図７を参照して説明する。図７は、画像合成処理を説明するフローチャートである。この画像合成処理はフレーム周期毎に実行される。

ステップＳ１１において、切り替え部１２１は、照射識別信号に基づき、現像部１１３からの入力が特殊フレームであるか否かを判別し、特殊フレームであると判別した場合、該特殊フレームをフレームメモリ１２４に出力する。反対に、特殊フレームではない（通常フレームである）と判別した場合、該通常フレームを動きベクトル検出部１２２および重畳処理部１２６に出力する。

ステップＳ１２において、フレームメモリ１２４は、それまで保持していた特殊フレームを動き補正部１２５に供給する。なお、切り替え部１２１から特殊フレームが入力された場合には、保持する特殊フレームを更新する。

ステップＳ１３において、動きベクトル検出部１２２は、撮像タイミングが異なる２枚の通常フレームを用いて動きベクトルを検出し補正量推定部１２３に出力する。ステップＳ１４において、補正量推定部１２３は、検出された動きベクトルが所定の閾値以下であるか否かを判定し、所定の閾値以下である場合には、その動きベクトルを動き補正に利用するために処理をステップＳ１５に進める。反対に、検出された動きベクトルが所定の閾値よりも大きい場合には、その動きベクトルを動き補正に利用しない。この場合、今回の撮像タイミングに対応する画像合成処理は終了される。

ステップＳ１５においては、補正量推定部１２３は、動きベクトル検出部１２２で検出された動きベクトルに基づき、特殊フレームの動き補正量を推定し、推定した動き補正量を動き補正部１２５に出力する。

動き補正量が推定された後、処理はステップＳ１６に進められる。ステップＳ１６において、動き補正部１２５は、動き補正量推定部１２３から入力される動き補正量に基づき、フレームメモリ１２４からの特殊フレームの動き補正を行い、動き補正後の特殊フレームを重畳処理部１２６に出力する。重畳処理部１２６に入力された通常フレームと特殊フレームは、それぞれにおける被写体が正確に位置合わせされたものとなる。

ステップＳ１７において、重畳処理部１２６は、通常フレームと、動き補正後の特殊フレームを用いて重畳合成処理を行うことによって合成フレームを生成して後段の表示部１１５に出力する。

このような処理が行われることで、内視鏡装置１１０によれば、通常フレームのみを使って動きベクトルを検出し、検出した動きベクトルを補正してから動き補正量を推定することができ、特殊フレームの動き補正を正確に実行できる。これにより、通常フレームに対して、血管や腫瘍などの特殊フレームの情報を正確に位置合わせできるので、ユーザ（手術を行う医師など）に対し、切除すべき腫瘍部分と、切除してはいけない血管部分を正確かつ明確に視認させることができる。

ユーザに提示される合成フレームは、通常フレームをベースに作られているので、特殊フレームに比べて、明るくノイズ少ない合成フレームをユーザに提示できる。

＜重畳された画像の提供の仕方について＞
上記したように、通常フレームと特殊フレームを重畳（合成）し、ユーザにその合成された合成フレームを提供しても勿論良いが、よりユーザに情報を提示するための画像に加工して、提示されるようにしても良い。

通常フレームの画像だけでは判断しづらい、例えば、血液やリンパ液の流れ、腫瘍部位などを可視化する目的で、体内に蛍光物質を注入し、その蛍光物質を蛍光画像として観察するために特殊フレームは撮像される。

特殊フレームを表示する際には、モノクロ表示、単色表示、蛍光の輝度によって色を変えるカラーマップ表示、などの表示が選択的に行われる。なお選択的とは、ユーザによる選択や、所定の条件に基づいて表示が選択される場合などである。また特殊フレームを表示するだけでは蛍光部位の周りの様子が視認しづらいため、上記したように、同時に撮像された通常フレーム上に特殊フレームを重畳して合成フレームを表示することも行われる。

さらに、本技術によれば、合成フレームや特殊フレームが表示されるとき、通常フレームと特殊フレームとのフレーム間の相関係数（画素間の相関係数）を算出し、その相関係数の違いにより表示方法が切り替えられる。以下に、相関係数や、表示方法について説明を加える。なお、以下の説明においては、相関係数に基づく表示を、相関表示と記述し、相関表示のときに表示されるフレームを相関フレームと記述する。

相関フレームは、例えば、蛍光物質の観察条件の違いによって、通常フレームと特殊フレームとの相関係数が変化することから、その相関係数の違いを可視化することで、観察条件の違いを視認しやすくしたフレーム（画像）である。

相関フレームは、上記した合成フレームとして生成することができ、相関フレームの生成は、上記した（図７などを参照して説明した）合成フレームの生成と基本的に同様に行うことができるが、一部の処理として相関係数を算出したり、その相関係数に基づいて合成を行うといった処理が含まれる点が異なる。

以下の説明においては、合成フレームの生成と同様に行われる点については適宜説明を省略する。

＜重畳処理部の構成＞
図８は、重畳処理部１２６の構成例を示す図である。重畳処理部１２６は、判定値算出部４０１、判定値算出部４０２、相関係数算出部４０３、および合成フレーム生成部４０４を含む構成とされている。

判定値算出部４０１には、通常フレーム３０１が供給される。判定値算出部４０１は、通常フレーム３０１における所定の部位、例えば、血管、患部などである可能性を判定し、その判定値を算出する。ここでは、血管である可能性を判定する場合を例に挙げて説明を続ける。

例えば、判定値算出部４０１は、通常フレーム３０１内の所定の領域（画素）が、血管であるか否かを判定し、血管である可能性を示す判定値を算出する。ここでは、判定値は、０．０〜１．０の値を取るとし、血管である可能性が高いほど、１．０に近い値になるとして説明を続ける。

なお、血管である可能性が高いほど、０．０に近い値になるとしても良い。またここで挙げる数値は、一例であり、このような数値に本技術の適用範囲が限定されることを示す記載ではなく、他の数値が用いられて処理が行われるようにしても勿論良い。

判定値算出部４０２には、特殊フレーム３０２が供給される。判定値算出部４０２は、特殊フレーム３０２における血管である可能性を判定し、その判定値を算出する。例えば、判定値算出部４０２は、特殊フレーム３０２内の所定の領域（画素）が、血管であるか否かを判定し、血管である可能性を示す判定値（０．０〜１．０の値）を算出する。

なお、判定値算出部４０２に供給される特殊フレーム３０２は、上記したような処理により、通常フレーム３０１との位置合わせが行われてたフレームである。よって、通常フレーム３０１と特殊フレーム３０２との同一部分に対して、血管が撮像されているか否かの判定を行い、判定値を算出することができる。

相関係数算出部４０３には、判定値算出部４０１からの判定値（判定値Ａとする）と判定値算出部４０２からの判定値（判定値Ｂとする）が供給される。相関係数算出部４０３は、例えば、判定値Ａと判定値Ｂを乗算し、相関係数を算出する。なお、相関係数の求め方は、一例であり、判定値Ａと判定値Ｂを乗算する以外の演算で求められても良い。

またここでは詳細な説明は省略するが、ZNCC（ゼロ平均正規化相互相関）や、SSIM（Structural Similarity）などを用いて、相関係数が算出されるようにしても良い。また、相関係数は、画素毎、または所定の大きさの領域（ブロック）毎に算出される。

通常フレーム３０１で血管が撮像されている部分は、特殊フレーム３０２でも血管が撮像されている可能性が高いため、相関係数は、高い値になる。一方で、通常フレーム３０１で血管が撮像されていない部分であっても、特殊フレーム３０２では血管が撮像されている可能性もあり、そのような部分での相関係数は、低い値になる。そのような相関係数が、合成フレーム生成部４０４に供給される。

合成フレーム生成部４０４には、通常フレーム３０１、特殊フレーム３０２、および相関係数算出部４０３からの相関係数が供給される。合成フレーム生成部４０４は、通常フレーム３０１と特殊フレーム３０２とを、相関係数に基づき合成し、合成フレームを生成する。

なお、後述するように、ユーザにより、通常フレーム、特殊フレーム、または相関フレームのうちのどのフレームを表示させるかを設定できるようにすることもできる。

ユーザにより表示されるフレームが設定されるように構成した場合、通常フレームの表示が設定されたときには、合成フレーム生成部４０４は、合成処理を行わずに、供給された通常フレーム３０１を、後段（表示部１１５）に出力する。または、画像処理部１４８（図４）は、通常フレーム３０１を、重畳処理部１２６に供給せずに、後段（表示部１１５）に出力するようにしても良い（そのようなパスを設けても良い）。

同様に、特殊フレームの表示が設定された場合、合成フレーム生成部４０４は、合成処理を行わずに、供給された特殊フレーム３０２を、後段（表示部１１５）に出力する。または、画像処理部１４８（図４）は、特殊フレーム３０２を、重畳処理部１２６に供給せずに、後段（表示部１１５）に出力するようにしても良い（そのようなパスを設けても良い）。

＜判定値の算出について＞
判定値算出部４０１、判定値算出部４０２の判定値の算出について説明を加える。まず、通常フレーム３０１から、判定値を算出する判定値算出部４０１における判定値Ａの算出の仕方について説明を加える。

判定値算出部４０１は、図９に示すように、ゲイン１（Gain１）とゲイン２（Gain２）を算出し、ゲイン１とゲイン２を乗算することで、判定値Ａを算出する。ゲイン１は、可視光で撮像された通常フレーム３０１におけるＤＲ（Dynamic Range）（以下、可視のＤＲと記述する）の大きさにより算出される値である。可視のＤＲは、例えば、処理対象としている画素（注目画素）の周辺の画素における画素値の最大値と最小値の差分とすることができる。

図９の左図は、可視のＤＲとゲイン１との関係を表すグラフであり、横軸が可視のＤＲ、縦軸がゲイン１とされている。可視のＤＲが１０〜５０の値を有するとき、ゲイン１は、０．０〜１．０を一次関数的に遷移する値とされる。また、可視のＤＲが１０以下の場合、ゲイン１は、０．０とされ、可視のＤＲが５０以上の場合、ゲイン１は、１．０とされる。

例えば、血管と血管の周りを比較したとき、血管の方が、周りよりも明るい、赤色が濃いなどのため、血管と血管の周りとでは、その画素値の差分が大きくなる。すなわち、そのような領域においては、可視のＤＲは大きくなると考えられる。よって、図９の左図に示したように、可視のＤＲが大きくなると、ゲイン１の値も大きくなるような関数に基づき、ゲイン１が算出される。

また、図９の右図に示したような関数が用いられ、ゲイン２が算出される。ゲイン２は、血液色との近さにより算出される値である。図９の右図は、血液色との近さ（を表す値）とゲイン２との関係を表すグラフであり、横軸が血液色との近さ（血液色との類似度）、縦軸がゲイン２とされている。

図９の右図に示したグラフは、血液色との近さを表す値が１０〜５０の値を有するとき、ゲイン２は、０．０〜１．０を一次関数的に遷移する値とされる。また、血液色との近さを表す値が１０以下の場合、ゲイン２は、０．０とされ、血液色との近さを表す値が５０以上の場合、ゲイン２は、１．０とされる。

通常フレーム３０１において、可視のＤＲが大きく、血管色に近いほど、血管である可能性が高く、そのような血管である可能性が高い領域（画素）には、判定値Ａが高い値（この場合、１．０に近い値）となるように、ゲイン１とゲイン２が乗算されることで、判定値Ａが算出される。

なお、このようなゲイン１からゲイン１に関する相関マップを作成したり、ゲイン２からゲイン２に関する相関マップを作成したりするようにし、そのようなマップが用いられ、判定値Ａが算出されるようにしても良い。また、判定値Ａに関するマップが作成され、相関係数が算出されるようにしても良い。

判定値算出部４０２は、図１０に示すように、ゲイン３（Gain３）とゲイン４（Gain４）を算出し、ゲイン３とゲイン４を乗算することで、判定値Ｂを算出する。ゲイン３は、蛍光のＤＲ（Dynamic Range）の大きさにより算出される値である。蛍光のＤＲは、例えば、処理対象としている画素（注目画素）の周辺の画素における画素値の最大値と最小値の差分とすることができる。

図１０の左図は、蛍光で撮像された特殊フレームのＤＲ（以下、蛍光のＤＲと記述する）とゲイン３との関係を表すグラフであり、横軸が蛍光のＤＲ、縦軸がゲイン３とされている。蛍光のＤＲが１０〜３０の値を有するとき、ゲイン３は、０．０〜１．０を一次関数的に遷移する値とされる。また、蛍光のＤＲが１０以下の場合、ゲイン３は、０．０とされ、蛍光のＤＲが３０以上の場合、ゲイン３は、１．０とされる。

例えば、血管と血管の周りを比較したとき、蛍光剤を流し込まれた血管の方が、周りよりも明るい、色が濃いなどのため、血管と血管の周りとでは、その画素値の差分が大きくなる。すなわち蛍光のＤＲは大きくなると考えられる。よって、図１０の左図に示したように、蛍光のＤＲが大きくなると、ゲイン３の値も大きくなるような関数に基づき、ゲイン３が算出される。

また、図１０の右図に示したような関数が用いられ、ゲイン４が算出される。ゲイン４は、処理対象としている画素の輝度（蛍光の輝度）により算出される値である。図１０の右図は、蛍光の輝度とゲイン４との関係を表すグラフであり、横軸が蛍光の輝度、縦軸がゲイン４とされている。なお、領域毎に処理を行う場合、処理対象としている領域内の画素の輝度値の平均値などを用いて処理が行われる。

図１０の右図に示したグラフは、蛍光の輝度が２０〜１００の値を有するとき、ゲイン４は、０．０〜１．０を一次関数的に遷移する値とされる。また、蛍光の輝度が２０以下の場合、ゲイン４は、０．０とされ、蛍光の輝度が１００以上の場合、ゲイン４は、１．０とされる。

特殊フレーム３０２において、蛍光のＤＲが大きく、輝度が高いほど、血管である可能性が高く、そのような血管である可能性が高い領域（画素）には、判定値Ｂが高い値（この場合、１．０に近い値）となるように、ゲイン３とゲイン４が乗算されることで、判定値Ｂが算出される。

なお、このようなゲイン３からゲイン３に関する相関マップを作成したり、ゲイン４からゲイン４に関する相関マップを作成したりするようにし、そのようなマップが用いられ、判定値Ｂが算出されるようにしても良い。また、判定値Ｂに関するマップが作成され、相関係数が算出されるようにしても良い。

相関係数は、判定値Ａと判定値Ｂが乗算されることで算出される。

ここでは、判定値算出部４０１から相関係数算出部４０３に判定値Ａが供給され、判定値算出部４０２から相関係数算出部４０３に判定値Ｂが供給され、相関係数算出部４０３で、判定値Ａと判定値Ｂが乗算されることで、相関係数が算出されるとして説明を続ける。

判定値算出部４０１から相関係数算出部４０３にゲイン１とゲイン２が供給され、判定値算出部４０２から相関係数算出部４０３にゲイン３とゲイン４が供給され、相関係数算出部４０３で、ゲイン１、ゲイン２、ゲイン３、およびゲイン４が乗算されることで、相関係数が算出されるようにしても良い。

相関係数は、例えば、蛍光があり、可視光で血管が見える箇所は高い数値となり、蛍光があり、可視光では血管が見えない箇所は、低い数値となる。このような関係が満たされるように、相関係数算出部４０３における相関係数の算出は調整される。

＜重畳処理部１２６の処理＞
図１１のフローチャートを参照し、重畳処理部１２６が行う処理について説明を加える。

ステップＳ１０１において、相関フレームの表示が選択されたか否かが判定される。例えば、表示部１１５（図３）に表示させるフレーム（画像）を、ユーザが選択できるように構成し、ユーザにより選択されたフレームが表示されるようにする。

ここでは、ユーザにより選択できるフレームとして、相関フレーム、合成フレーム、通常フレーム、および特殊フレームがある場合を例に挙げて説明を続ける。

相関フレームは、相関係数を用いた画像処理が施されたフレームである。後述するように、相関フレームとしては、合成フレームに対して、相関表示を行う場合と、特殊フレームに対して相関表示を行う場合とがあり、ユーザは、この２つの相関フレームのうちのどちらかを選択して表示させることができるように構成されている。以下、前者を、相関表示ありの合成フレームと記述し、後者を相関表示ありの特殊フレームと記述する。

ステップＳ１０１において、相関フレームの表示が選択されたか否かが判定され、相関フレームの表示が選択されたと判定された場合、ステップＳ１０２に処理は進められる。

なお、ユーザは、術中に、表示されるフレームの切り替え、例えば、相関フレームから通常フレームへの表示の切り替えなどを行えるように構成されており、ユーザは、所望とする表示で、手術を行えるように構成されている。よって、図１１に示したフローチャートの処理は、術中、繰り返し行われる。

ステップＳ１０２において、相関係数が算出される。図８乃至図１０を参照して説明したように、判定値算出部４０１、判定値算出部４０２、および相関係数算出部４０３の各部の処理により、相関係数が算出され、合成フレーム生成部４０４に供給される。

ステップＳ１０３において、相関表示ありの合成フレームの表示が選択されたか否かが判定される。ステップＳ１０３において、相関表示ありの合成フレームの表示が選択されたと判定された場合、ステップＳ１０４に処理が進められる。

ステップＳ１０４において、相関表示ありの合成フレームが表示部１１５に表示される。この場合、重畳処理部１２６の合成フレーム生成部４０４は、通常フレーム３０１と特殊フレーム３０２を重畳し、相関係数に基づき画像処理を施すことで、相関表示ありの合成フレームを生成する。

図１２に、相関表示ありの合成フレームの一例を示す。表示部１１５には、通常フレーム３０１上に、特殊フレーム３０２が重畳されている合成フレームが表示されている。さらに、図中、太線で示した部分が、相関表示部分５０１であり、相関表示ありの表示の場合、このような相関表示部分５０１が表示される。

相関表示部分５０１として表示されるのは、相関係数が高い値の領域である。また、そのような相関係数が高い値となるのは、例えば、特殊フレーム３０２には撮像されているが、通常フレーム３０１には撮像されていない血管や患部（以下、血管を例に挙げる）などである。

よって、相関表示部分５０１は、特殊フレーム３０２に撮像されている血管であるため、相関フレームの表示が選択されていない場合には、特殊フレーム３０２の他の血管と同様の表示がなされている部分である。

図１２では、説明の都合上、相関表示部分５０１と、相関表示部分５０１以外の血管を区別するために、相関表示部分５０１を太線で示しているが、実際には、撮像されている血管の太さで表示される。

相関表示部分５０１（相関が低い部分、この場合、相関係数が低い部分）と、相関表示部分５０１以外の部分（相関が高い部分、この場合、相関係数が高い部分）とでは、異なる色で表示されるようにすることができる。例えば、相関表示部分５０１（相関係数が低い蛍光領域）は、緑色で表示し、相関表示部分５０１以外の部分（相関係数が高い蛍光領域）は、マゼンタで表示することができる。

また、このような緑色やマゼンタなどの単色で表示されるのではなく、相関係数に応じた色で表示されるようにしても良い。例えば、相関係数が、０．０に近い値の場合、相関表示部分５０１は紫色にし、相関係数が、１．０に近い値の場合、相関表示部分５０１は緑色にし、相関係数が、０．０から１．０になるにつれて、相関表示部分５０１は紫色から緑色に変化するような色表示がなされるようにしても良い。

相関係数が、０．０に近い値の場合、特殊フレーム３０２（蛍光で撮像された画像）では見える血管であるが、通常フレーム３０１（可視光で撮像された画像）では、見えない血管である。このような特殊フレーム３０２にだけ撮像されているような部分（相関表示部分５０１）は、そのことが明確にわかるような色、ここでは紫色で表示される。

相関係数が、１．０に近い値の場合、特殊フレーム３０２（蛍光で撮像された画像）で見える血管であり、通常フレーム３０１（可視光で撮像された画像）でも見える血管である。そのような血管は、緑色で表示されるようにしても良い。また、この緑色は、相関表示部分５０１以外の特殊フレーム３０２の部分の表示色とすることができる。

換言すれば、相関係数が、１．０に近い値の場合の例えば血管の色と、特殊フレーム３０２だけを表示するときの特殊フレーム３０２で撮像されている例えば血管の色は、同一色とすることができる。このような表示色とすることで、例えば、相関表示ありの特殊フレーム３０２の表示と、相関表示なしの特殊フレーム３０２の表示のときの差分を明確にすることができ、ユーザに提供できる情報量を増やすことが可能となる。

例えば、図１２に示した相関フレームのうち、相関表示あり（相関表示部分５０１の表示あり）の特殊フレーム３０２の表示が指示されたときには、図１３に示したような画像が表示され、相関表示なしの特殊フレーム３０２の表示が指示されたときには、図１４に示したような画像が表示される。

図１３に示した相関表示ありの特殊フレーム３０２は、表示部１１５に特殊フレーム３０２が表示され、さらに相関表示部分５０１は、所定の色で表示されている。相関表示部分５０１は、例えば紫色で表示され、特殊フレーム３０２の相関表示部分５０１以外の部分（血管など）は、例えば緑色で表示されている。

図１４に示した相関表示なしの特殊フレーム３０２は、表示部１１５に特殊フレーム３０２が表示されている。相関表示ありのときに表示される相関表示部分５０１の部分も、特殊フレーム３０２の相関表示部分５０１以外の部分（血管など）と同じ、例えば緑色で表示されている。換言すれば、相関表示なしの特殊フレーム３０２の蛍光部分の表示は、同一色で行われる。

例えば、相関表示なしの特殊フレーム３０２の表示から、相関表示ありの特殊フレーム３０２の表示に切り換えられた場合、相関表示部分５０１が、緑色から紫色に切り替えられた表示が行われる。

例えば、相関表示部分５０１は、深い位置にある血管のため、通常フレーム３０１には撮像されていないが、特殊フレーム３０２には撮像されているような血管である。例えば、ユーザは、深い位置にある血管を知りたいとき、相関表示なしの特殊フレーム３０２の表示から、相関表示ありの特殊フレーム３０２の表示に切り換えることで、相関表示部分５０１の部分の表示が切り替えられる（表示色が切り替えられる）ため、深い位置にある血管を知ることができる。

このように、相関表示部分５０１を表示することで、ユーザに観察条件の違いを視認させることができる。観察条件の違いとしては、例えば、血管がある深さ、血管壁の厚さ、血管までの組織性状などである。換言すれば、相関係数は、血管がある深さ、血管壁の厚さ、血管までの組織性状に依存する値となり、そのような値に基づいて、相関表示が行われる。

図１１のフローチャートの説明に戻る。ステップＳ１０４において、例えば、図１２に示したような相関表示ありの合成フレームが表示部１１５に表示される。

一方で、ステップＳ１０３において、相関表示ありの合成フレームの表示は選択されていないと判定された場合、ステップＳ１０５に処理が進められる。ステップＳ１０５において、相関表示ありの特殊フレーム３０２が表示部１１５に表示される。この場合、ステップＳ１０１において、相関フレームの表示が選択されたが、相関表示ありの合成フレームの表示の選択ではないため、相関表示ありの特殊フレームが表示される。

ステップＳ１０５において、例えば、図１３に示したような相関表示ありの特殊フレーム３０２が、表示部１１５に表示される。相関表示ありの特殊フレーム３０２は、特殊フレーム３０２の相関表示部分５０１に該当する部分が、他の部分と異なる色で表示された画像である。

なお、ここでは、相関表示ありの通常フレーム３０１が表示されるという選択肢はない場合を例に挙げて説明しているが、そのような選択肢を設け、相関表示ありの通常フレーム３０１が表示されるようにしても良い。このような選択肢が選択された場合、通常フレーム３０１に、相関表示部分５０１が重畳されたような画像が、表示部１１５に表示される。

一方、ステップＳ１０１において、相関フレームの表示は選択されていないと判定された場合、ステップＳ１０６に処理は進められる。ステップＳ１０６において、合成フレームの表示が選択されたか否かが判定される。ステップＳ１０６において、合成フレームの表示が選択されたと判定された場合、ステップＳ１０７に処理は進められる。

ステップＳ１０７において、合成フレーム３０３が、表示部１１５に表示される。例えば、図７に示したフローチャートの処理が実行されることで生成された合成フレーム３０３が、表示部１１５に表示される。

一方、ステップＳ１０６において、合成フレームの表示は選択されていないと判定された場合、ステップＳ１０８に処理は進められる。ステップＳ１０８において、通常フレームの表示が選択されたか否かが判定される。

ステップＳ１０８において、通常フレームの表示が選択されたと判定された場合、ステップＳ１０９に処理は進められる。ステップＳ１０９において、通常フレーム３０１が、表示部１１５に表示される。

一方、ステップＳ１０８において、通常フレームの表示は選択されていないと判定された場合、ステップＳ１１０に処理は進められる。ステップＳ１１０において、特殊フレーム３０２が、表示部１１５に表示される。このステップＳ１１０で表示される特殊フレーム３０２は、図１４に示したような画像であり、相関表示部分５０１は表示されない画像である。

このように、本技術によれば、ユーザが選択した画像が表示されるようにすることができる。また、可視光などの通常の光で撮像された通常フレーム３０１と、蛍光などの特殊光で撮像された特殊フレーム３０２とを合成した合成フレーム３０３を表示させるようにすることができる。

さらに、通常フレーム３０１と特殊フレーム３０２との相関が強い部分と弱い部分とを異なる表示とすることができる。すなわち、本技術によれば、相関表示部分５０１を表示させることができる。相関表示部分５０１が表示されることで、通常フレーム３０１と特殊フレーム３０２との違い、換言すれば、観察条件の違いを視認しやすい画像を提供することができ、ユーザに、情報をより多く提示することができる。

なお、上記した実施の形態においては、相関表示部分５０１と、相関表示部分５０１以外の部分は、異なる色で表示されるとして説明したが、その他の表示方式が適用されても良い。例えば、相関表示部分５０１と、相関表示部分５０１以外の部分は、異なる明るさで表示されるようにしても良い。

また、相関表示部分５０１は、点滅状態で表示されるようにしても良い。また、相関表示部分５０１を、他の部分よりも強調して表示する強調具合は、どのような表示でも良い。また、これらの色、明るさ、点滅状態、強調具合などは、ユーザにより切り替えられたり、何らかの条件に基づき切り替えられたりする仕組みを設けても良い。

また、上記したように、相関表示部分５０１を、相関係数に応じた色で表示するようにした場合と同じく、色、明るさ、点滅状態、強調具合なども、相関係数に応じて、段階的に切り替えられるようにしても良い。

なお、上記した実施の形態においては、リアルタイムに撮像しながら相関表示を行う場合を例に挙げて説明したが、録画しておいた画像データを再生するときに、相関表示が行われるようにする場合にも、本技術は適用できる。

＜記録媒体について＞
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図１５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。コンピュータにおいて、ＣＰＵ（Central Processing Unit）１００１、ＲＯＭ（Read Only Memory）１００２、ＲＡＭ（Random Access Memory）１００３は、バス１００４により相互に接続されている。バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、入力部１００６、出力部１００７、記憶部１００８、通信部１００９、及びドライブ１０１０が接続されている。

入力部１００６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１００７は、ディスプレイ、スピーカなどよりなる。記憶部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインタフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１０１１を駆動する。

以上のように構成されるコンピュータでは、ＣＰＵ１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、ＲＡＭ１００３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（ＣＰＵ１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ＲＯＭ１００２や記憶部１００８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

なお、本技術は以下のような構成も取ることができる。
（１）
被写体に対して通常光を照射した状態で撮像された通常フレームと、前記被写体に対して特殊光を照射した状態で撮像された特殊フレームとの相関関係を表す相関係数を算出する係数算出部と、
前記特殊フレームにおいて、前記相関係数の高い部分と低い部分とが異なる表示となるように前記特殊フレームを画像処理する処理部と
を備える医療用画像処理装置。
（２）
前記通常フレームの画素毎または領域毎に、所定の部位が撮像されている可能性を表す第１の判定値を算出する第１の判定部と、
前記特殊フレームの画素毎または領域毎に、所定の部位が撮像されている可能性を表す第２の判定値を算出する第２の判定部と
をさらに備え、
前記係数算出部は、前記第１の判定値と前記第２の判定値を用いて前記相関係数を算出する
前記（１）に記載の医療用画像処理装置。
（３）
前記第１の判定部は、前記通常フレーム内の処理対象とした画素または領域の周辺部に位置する画素の画素値の最大値と最小値の差分から算出される第１のゲインと、前記所定の部位が有する色との類似度から算出される第２のゲインとから、前記第１の判定値を算出する
前記（２）に記載の医療用画像処理装置。
（４）
前記第２の判定部は、前記特殊フレーム内の処理対象とした画素または領域の周辺部に位置する画素の画素値の最大値と最小値の差分から算出される第３のゲインと、前記処理対象とした画素または領域の輝度から算出される第４のゲインとから、前記第２の判定値を算出する
前記（２）または（３）に記載の医療用画像処理装置。
（５）
前記通常フレームと前記特殊フレームを、合成した合成フレームを生成する
前記（１）乃至（４）のいずれかに記載の医療用画像処理装置。
（６）
前記合成フレームは、前記処理部により処理された前記特殊フレームが前記通常フレームと合成されたフレームである
前記（５）に記載の医療用画像処理装置。
（７）
前記処理部は、前記相関係数の高い部分と低い部分とが異なる色で表示されるように前記特殊フレームを画像処理する
前記（１）乃至（６）のいずれかに記載の医療用画像処理装置。
（８）
前記色は、前記相関係数により段階的に異なる色に設定される
前記（７）に記載の医療用画像処理装置。
（９）
前記処理部は、前記相関係数の高い部分と低い部分とが異なる明るさで表示されるように前記特殊フレームを画像処理する
前記（１）乃至（６）のいずれかに記載の医療用画像処理装置。
（１０）
前記処理部は、前記相関係数の高い部分または低い部分の一方が点滅して表示されるように前記特殊フレームを画像処理する
前記（１）乃至（６）のいずれかに記載の医療用画像処理装置。
（１１）
前記所定の部位は、血管であり、
前記相関係数は、前記通常フレームで血管である部分と前記特殊フレームで血管である部分とでは相関が強いことを表す係数となり、前記通常フレームで血管ではない部分と前記特殊フレームで血管である部分とでは相関が弱いことを表す係数となり、
前記処理部は、前記相関が強い部分と相関が弱い部分とが異なる表示となるように、前記特殊フレームを処理する
前記（１）乃至（１０）のいずれかに記載の医療用画像処理装置。
（１２）
前記相関係数は、前記血管の深さ、前記血管の厚さ、または前記血管までの組織性状に依存する係数である
前記（１１）に記載の医療用画像処理装置。
（１３）
被写体に対して通常光を照射した状態で撮像された通常フレームと、前記被写体に対して特殊光を照射した状態で撮像された特殊フレームとの相関関係を表す相関係数を算出し、
前記特殊フレームにおいて、前記相関係数の高い部分と低い部分とが異なる表示となるように前記特殊フレームを画像処理する
ステップを含む医療用画像処理方法。
（１４）
コンピュータに、
被写体に対して通常光を照射した状態で撮像された通常フレームと、前記被写体に対して特殊光を照射した状態で撮像された特殊フレームとの相関関係を表す相関係数を算出し、
前記特殊フレームにおいて、前記相関係数の高い部分と低い部分とが異なる表示となるように前記特殊フレームを画像処理する
ステップを含む処理を実行させるためのコンピュータ読み取り可能なプログラム。

１１０ 内視鏡装置， １１１ 光源部， １１２ 撮像部， １１３ 現像部， １１４ 画像処理部， １１５ 表示部， １２１ 切り替え部， １２２ 動きベクトル検出部， １２３ 補正量推定部， １２４ フレームメモリ， １２５ 動き補正部， １２６ 重畳処理部， １３１，１３２ フレームメモリ， １３３ フレーム選択部， １３４ ブロックマッチング部， １３５ ベクトル補正部， ４０１，４０２ 判定値算出部， ４０３ 相関係数算出部， ４０４ 合成フレーム生成部

Claims (14)

1. 被写体に対して通常光を照射した状態で撮像された通常フレームと、前記被写体に対して特殊光を照射した状態で撮像された特殊フレームとの相関関係を表す相関係数を算出する係数算出部と、
   前記特殊フレームにおいて、前記相関係数の高い部分と低い部分とが異なる表示となるように前記特殊フレームを画像処理する処理部と
   を備える医療用画像処理装置。
2. 前記通常フレームの画素毎または領域毎に、所定の部位が撮像されている可能性を表す第１の判定値を算出する第１の判定部と、
   前記特殊フレームの画素毎または領域毎に、所定の部位が撮像されている可能性を表す第２の判定値を算出する第２の判定部と
   をさらに備え、
   前記係数算出部は、前記第１の判定値と前記第２の判定値を用いて前記相関係数を算出する
   請求項１に記載の医療用画像処理装置。
3. 前記第１の判定部は、前記通常フレーム内の処理対象とした画素または領域の周辺部に位置する画素の画素値の最大値と最小値の差分から算出される第１のゲインと、前記所定の部位が有する色との類似度から算出される第２のゲインとから、前記第１の判定値を算出する
   請求項２に記載の医療用画像処理装置。
4. 前記第２の判定部は、前記特殊フレーム内の処理対象とした画素または領域の周辺部に位置する画素の画素値の最大値と最小値の差分から算出される第３のゲインと、前記処理対象とした画素または領域の輝度から算出される第４のゲインとから、前記第２の判定値を算出する
   請求項２に記載の医療用画像処理装置。
5. 前記通常フレームと前記特殊フレームを、合成した合成フレームを生成する
   請求項１に記載の医療用画像処理装置。
6. 前記合成フレームは、前記処理部により処理された前記特殊フレームが前記通常フレームと合成されたフレームである
   請求項５に記載の医療用画像処理装置。
7. 前記処理部は、前記相関係数の高い部分と低い部分とが異なる色で表示されるように前記特殊フレームを画像処理する
   請求項１に記載の医療用画像処理装置。
8. 前記色は、前記相関係数により段階的に異なる色に設定される
   請求項７に記載の医療用画像処理装置。
9. 前記処理部は、前記相関係数の高い部分と低い部分とが異なる明るさで表示されるように前記特殊フレームを画像処理する
   請求項１に記載の医療用画像処理装置。
10. 前記処理部は、前記相関係数の高い部分または低い部分の一方が点滅して表示されるように前記特殊フレームを画像処理する
    請求項１に記載の医療用画像処理装置。
11. 前記所定の部位は、血管であり、
    前記相関係数は、前記通常フレームで血管である部分と前記特殊フレームで血管である部分とでは相関が強いことを表す係数となり、前記通常フレームで血管ではない部分と前記特殊フレームで血管である部分とでは相関が弱いことを表す係数となり、
    前記処理部は、前記相関が強い部分と相関が弱い部分とが異なる表示となるように、前記特殊フレームを処理する
    請求項１に記載の医療用画像処理装置。
12. 前記相関係数は、前記血管の深さ、前記血管の厚さ、または前記血管までの組織性状に依存する係数である
    請求項１１に記載の医療用画像処理装置。
13. 被写体に対して通常光を照射した状態で撮像された通常フレームと、前記被写体に対して特殊光を照射した状態で撮像された特殊フレームとの相関関係を表す相関係数を算出し、
    前記特殊フレームにおいて、前記相関係数の高い部分と低い部分とが異なる表示となるように前記特殊フレームを画像処理する
    ステップを含む医療用画像処理方法。
14. コンピュータに、
    被写体に対して通常光を照射した状態で撮像された通常フレームと、前記被写体に対して特殊光を照射した状態で撮像された特殊フレームとの相関関係を表す相関係数を算出し、
    前記特殊フレームにおいて、前記相関係数の高い部分と低い部分とが異なる表示となるように前記特殊フレームを画像処理する
    ステップを含む処理を実行させるためのコンピュータ読み取り可能なプログラム。

Images