JP2013153813A - 内視鏡装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】 時系列の複数の画像を、当該複数の画像間での動き検出の結果に基づいて合成する際に、当該動き検出を精度よく行う内視鏡装置、画像処理方法及びプログラム等を提供すること。
【解決手段】 内視鏡装置は、対物光学系を用いて時系列の複数の画像を撮像する撮像部１１０と、複数の画像のうちの参照画像において、中心部を含む探索範囲と、外周部を含む非探索範囲の少なくとも一方を設定する範囲設定部１２２と、参照画像とは異なる処理対象画像と参照画像との間での動き検出を行う動き検出部１２３と、動き検出の結果に基づいて処理対象画像と参照画像を合成する画像合成部１２５を含み、動き検出部１２３は、処理対象画像で処理対象領域を設定するとともに、範囲設定部１２２で設定された探索範囲、非探索範囲に基づく範囲において、処理対象領域の対応領域を探索して動き検出を行う。
【選択図】 図１

Description

本発明は、内視鏡装置、画像処理方法及びプログラム等に関する。

体腔内の組織に対して照明光を照射し、その反射光を撮像した画像を用いて診断・処置を行う内視鏡装置が広く使用されている。挿入部の先端には、ＣＣＤやＣＭＯＳなどの撮像素子と、被写体像を光学的に結像する対物レンズが設けられている。一般的に、内視鏡の対物レンズとして、病変部の見落としを防止するため広角の対物レンズが用いられる。例えば、特許文献１には魚眼レンズ等の広角レンズを用いて、広い視野角を確保する内視鏡装置等が開示されている。

広角の対物レンズを用いることで、例えば、体腔内のヒダの裏側を観察できるようになり、通常では発見しにくい病変部でも見落としを減らすことができる。

一方、得られた画像にノイズが多い場合にはノイズ低減処理を行う場合がある。ノイズ低減処理にはさまざまな方法があり、注目画素とその周辺の画素を用いた空間方向のノイズ低減処理が広く行われている。その他に、時間的に以前に取得された画像の情報を元にして加算平均を行うというような時間方向のノイズ低減処理を行うことがある。

時間方向のノイズ低減を行う場合に、以前取得された画像と現在の画像とでは、時間的にズレがあり必ずしも被写体と挿入部が静止した状態とは限らない。そのため、以前取得された画像の所定の領域が現在の画像のどの位置に移動しているか、動き検出を行ってから加算平均を行う。動き検出の方法は公知のブロックマッチング等がある。

また、公知の複数画像を用いた超解像処理により、時間的に前後するタイミングで撮像された複数枚の画像を合成して高解像度の画像を生成する場合にも、それら複数枚の画像で同様に動き検出を行ってから合成を行うことが多い。

特開２０１１−５３３５２号公報

通常、対物レンズを用いて取得される画像は、画像の中心から離れるに従ってレンズの歪曲収差によるひずみが大きくなる傾向がある。この歪曲収差によるひずみは、通常の対物レンズによっても生じるが、特に広角の対物レンズを用いて取得される画像において顕著に見受けられる。従って、例えば時間的に前後する複数の画像について、以前の画像で注目領域が中心部にある場合は注目領域におけるレンズの歪曲収差による歪みが小さいが、現在の画像においてその注目領域が周辺部に移動している場合には画像の注目領域におけるレンズの歪曲収差による歪みが大きくなる。

このような場合、無理やり以前の画像と現在の画像の間でマッチングを行うと、現在の画像の注目領域に対して以前の画像の注目領域との相関が高いと判定されず、当該注目領域とあまり関係のない領域との間の相関が高いと判定されてしまう可能性が高くなる。この時以前の画像と現在の画像の合成を行ってしまうと二重像のようなアーティファクトを有する不適な合成画像が得られてしまう。

本発明の幾つかの態様によれば、時系列の複数の画像を、当該複数の画像間での動き検出の結果に基づいて合成する際に、当該動き検出を精度よく行う内視鏡装置、画像処理方法及びプログラム等を提供することができる。

本発明の一態様は、対物光学系を用いて、時系列の複数の画像を撮像する撮像部と、前記複数の画像のうちの参照画像において、前記参照画像の中心部を含む探索範囲と、前記参照画像の外周部を含む非探索範囲の少なくとも一方を設定する範囲設定部と、前記複数の画像のうち前記参照画像とは異なる処理対象画像と、前記参照画像との間での動き検出を行う動き検出部と、前記動き検出の結果に基づいて前記処理対象画像と前記参照画像を合成する画像合成部と、を含み、前記動き検出部は、前記処理対象画像において処理対象領域を設定するとともに、前記範囲設定部で前記探索範囲が設定された場合には、少なくとも前記参照画像の前記探索範囲において前記処理対象領域の対応領域を探索して前記動き検出を行い、前記範囲設定部で前記非探索範囲が設定された場合には、少なくとも前記非探索範囲以外の範囲において、前記処理対象領域の前記対応領域を探索して前記動き検出を行う内視鏡装置に関係する。

本発明の一態様では、時系列の複数の画像を撮像して、そのうちの処理対象画像と参照画像を画像間の動き検出の結果に基づいて合成するにあたって、参照画像に探索範囲及び非探索範囲の少なくとも一方を設定し、設定された範囲に基づいて動き検出を行う。これにより、動き検出を行う際に、その処理対象となる範囲及び処理対象外となる範囲を設定できるため、動き検出が困難な状況等での動き検出をスキップ等することができ、画像合成処理を適切に行うこと等が可能になる。

本発明の他の態様は、対物光学系を用いて撮像された、時系列の複数の画像のうちの参照画像において、前記参照画像の中心部を含む探索範囲と、前記参照画像の外周部を含む非探索範囲の少なくとも一方を設定し、前記複数の画像のうち前記参照画像とは異なる処理対象画像において処理対象領域を設定し、前記参照画像において前記探索範囲が設定された場合には、少なくとも前記参照画像の前記探索範囲において前記処理対象領域の対応領域を探索して動き検出を行い、前記参照画像において前記非探索範囲が設定された場合には、少なくとも前記参照画像の前記非探索範囲以外の範囲において、前記処理対象領域の前記対応領域を探索して前記動き検出を行い、前記動き検出の結果に基づいて前記処理対象画像と前記参照画像を合成する画像処理方法に関係する。

本発明の他の態様は、時系列の複数の画像を取得する画像取得部と、前記複数の画像のうちの参照画像において、前記参照画像の中心部を含む探索範囲と、前記参照画像の外周部を含む非探索範囲の少なくとも一方を設定する範囲設定部と、前記複数の画像のうち前記参照画像とは異なる処理対象画像と、前記参照画像との間での動き検出を行う動き検出部と、前記動き検出の結果に基づいて前記処理対象画像と前記参照画像を合成する画像合成部として、コンピュータを機能させ、前記動き検出部は、前記処理対象画像において処理対象領域を設定するとともに、前記範囲設定部で前記探索範囲が設定された場合には、少なくとも前記参照画像の前記探索範囲において前記処理対象領域の対応領域を探索して前記動き検出を行い、前記範囲設定部で前記非探索範囲が設定された場合には、少なくとも前記非探索範囲以外の範囲において、前記処理対象領域の前記対応領域を探索して前記動き検出を行うプログラムに関係する。

本実施形態のシステム構成例。 参照画像に設定される探索範囲及び非探索範囲の例。 前方視野と側方視野を撮像する全周囲光学系の構成例。 図４（Ａ）は全周囲光学系を前面からみた場合の断面図、図４（Ｂ）は全周囲光学系を側面からみた場合の断面図。 図５（Ａ）は全周囲光学系を用いた場合に取得される画像の例、図５（Ｂ）は全周囲光学系を用いて取得した参照画像に非探索範囲を設定する例。 対物光学系のズーム倍率の変動に応じて非探索範囲を変形する手法を説明する図。 時系列の複数の画像での処理対象画像及び参照画像の設定例。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．本実施形態の手法
まず本実施形態の手法について説明する。近年の内視鏡装置では、超広角の光学系（例えば視野角が１８０度よりも大きい光学系）が用いられることがある。広角の光学系を用いることで、体腔内のヒダの裏側等を観察できるようになり、通常では発見しにくい病変部の見落としを抑止すること等が可能になるためである。広角の光学系とは、例えば魚眼レンズ等が考えられる。

しかし視野角が非常に大きい光学系を用いた場合、取得される画像の周縁部では歪曲収差等によるひずみが大きくなる。このひずみは、時系列的に取得された複数の画像間での動き情報（例えば動きベクトル等）を検出する際に特に問題となる。なぜなら、動き検出は通常ブロックマッチング等で行われるため、被写体の形状等の特徴量は重要な指標となり、ひずみによる被写体の変形等が大きいと正確な動き検出が困難になり得るためである。例えば２つの画像間での動きを検出する際に、同一の被写体が一方の画像では画像中央部にひずみが小さい状態で撮像され、他方の画像では画像周縁部にひずみが大きい状態で撮像された場合には、マッチングをうまくとることができず動き検出が困難である。

ここで、２枚の画像のうち一方の画像を処理対象画像とし、他方を参照画像とする。ブロックマッチングを用いるのであれば、処理対象画像に対してマッチングの単位となるブロック（以下処理対象領域と表記する）を設定し、参照画像内で処理対象領域の対応領域（相関の高い領域）を探索することになる。上述したように、処理対象画像の中央部に撮像された被写体が、参照画像では周縁部に撮像された場合には、処理対象画像の中央部に設定された処理対象領域の対応領域を、参照画像内で見つけることができない可能性がある。２つの画像に同一の被写体が撮像されてはいるものの、処理対象画像ではひずみが小さい状態で撮像され、参照画像ではひずみが大きい状態で撮像されているため、マッチングにおいて相関が高いと判定されないためである。その結果、全く異なる被写体を撮像している領域との相関が高いと判定されることも考えられ、その場合には実際とは大きく異なる動き情報が検出されてしまい、その後の処理が好ましくないものとなってしまう。

そこで本出願人は、動き検出処理の対象となる領域を制限する手法を提案する。具体的には、参照画像において探索範囲及び非探索範囲の少なくとも一方の範囲を設定する。そして、処理対象画像の処理対象領域の対応領域を参照画像内で探索する際には、探索範囲内あるいは非探索範囲外において探索を実行する。言い換えれば、探索範囲外あるいは非探索範囲内はブロックマッチング等の探索処理の対象とならないということになる。

探索範囲あるいは非探索範囲は、例えば図２に示したように設定すればよい。ただし探索範囲あるいは非探索範囲は図２の形状には限定されず、例えば、ブロックマッチング等の動き検出処理の精度に問題が生じる程度のひずみが生じる範囲を探索範囲外あるいは非探索範囲内に設定するという条件に基づいて、図２とは異なる形状で設定されてもよい。

このようにすることで、動き検出が困難な状況での無理な動き情報の検出をスキップすること等が可能になる。そのため、実際の動きと大きく異なる動き情報が検出されることを抑止でき、その後の処理の精度向上等が期待できる。

なお、動き情報を用いたその後の処理としては、画像合成処理が考えられる。例えば処理対象画像の所与の画素に着目した際に、参照画像内で前記所与の画素と同一の被写体を撮像したと判定される対応画素を検出し、処理対象画像の前記所与の画素と、参照画像の前記対応画素（及び対応画素の周辺の画素を用いてもよい）との合成処理を行うことで、時間方向でのノイズリダクションが可能になる。また、サブピクセル単位での動き情報を検出して、画素ずらしを行った状態に相当する画像合成処理を行うことで処理対象画像及び参照画像に比べて画素数が多い（解像度が高い）画像を取得することもできる。

以下、第１の実施形態では魚眼レンズを用いた場合の例について述べる。第１の実施形態の変形例では、光学系のズーム倍率等が変化した場合に、探索範囲（あるいは非探索範囲）の大きさを変更する実施形態についても説明する。また、第２の実施形態では図３や図４（Ｂ）に示したように、前方視野に対応する前方画像と、側方視野に対応する側方画像をそれぞれ撮像し、前方画像と側方画像を合成することで撮像画像を取得する全周囲光学系の例について述べる。全周囲光学系では、動き検出を阻害する要因として前方画像と側方画像の境界領域が問題となるため、魚眼レンズの例とは探索範囲（あるいは非探索範囲）の画像上位置や形状が異なるものになる。

２．第１の実施形態
図１は、本実施形態の内視鏡装置のシステム構成例である。図１に示したように、内視鏡装置は白色光光源Ｓ０２や集光レンズＳ０３を含む光源装置Ｓ０１と、ライトガイドファイバＳ０５や照明光学系Ｓ０６を含む照明部１００を含む。また、集光レンズＳ０７、撮像素子Ｓ０８、ズームレンズＳ０９、Ａ／Ｄ変換部１１１からなる撮像部１１０を含む。集光レンズＳ０７は歪曲したレンズ表面を有するレンズであるが、広角のレンズを用いた場合、広い画角で撮像を行なうことができる。

また、内視鏡装置は画像取得部１２１、範囲設定部１２２、動き検出部１２３、バッファ１２４、画像合成部１２５、後処理部１２６、出力部１２７、制御部１２８からなるプロセッサ部１２０を含む。上記の制御部１２８はマイクロコンピュータやＣＰＵ等を備えている。

また、内視鏡装置はＩ／Ｆ部１３０を含む。Ｉ／Ｆ部１３０は電源スイッチ、変数設定などを行うためのインターフェースを備えている。

次に、各部の接続について示す。光源装置Ｓ０１では、白色光光源Ｓ０２から白色光が発光され、当該白色光が集光レンズＳ０３に達し集光される。集光された白色光はライトガイドファイバＳ０５を通って照明光学系Ｓ０６から被写体に照射される。

被写体から反射した反射光が集光レンズＳ０７により集光され、撮像素子Ｓ０８に到達し光電変換を行いアナログの信号となりＡ／Ｄ変換部１１１へ送られる。Ａ／Ｄ変換部１１１はアナログの信号をデジタルの信号に変換し、画像取得部１２１へ送る。

画像取得部１２１は、送られたデジタルの信号に対してオプティカルブラックやホワイトバランスなどの画像処理を行い画像として取得する。取得した画像は動き検出部１２３へ送るとともに、バッファ１２４に格納する。

範囲設定部１２２は、制御部１２８の制御に基づき、参照画像に対して公知のブロックマッチング等における処理対象画像の処理対象領域との相関が高い領域（参照する領域）を探索しない非探索範囲を設定する。非探索範囲の設定方法としては、図２に示したように画像の中心から画像の外縁までの距離のα％だけ画像の中心から離れている位置を境界として、この境界よりも外側の、画像の外周部を含む範囲を非探索範囲として設定する手法が考えられる。αの値は予め内視鏡製品出荷時に設定しておいてもよいし、Ｉ／Ｆ部１３０を通じてユーザが設定してもよい。なお、本実施形態では範囲設定部１２２は非探索範囲を設定することとしたが、画像の中心部を含み、処理対象領域と相関が高い領域（参照する領域）を探索する探索範囲を設定することとしてもよいし、探索範囲と非探索範囲の両方を設定することとしてもよい。

動き検出部１２３は、処理対象画像（ここでは現在の画像）全体をいくつかの処理対象領域に分割して、それぞれの処理対象領域と相関の高い領域を参照画像（ここでは時間的に過去の画像）内で探索する。ここで時間的に過去の画像はバッファ１２４から（一枚以上）読み出される。探索の方法としては、公知のブロックマッチング等を用いることができる。本実施形態では探索の際に、範囲設定部１２２で設定した非探索範囲に対しては探索の対象領域から外し、不適切な動き検出が行われることを抑止する。なお、現在の画像と過去の画像の間で撮像倍率や撮像時の被写体との距離が異なる場合には、現在の画像と過去の画像の被写体の大きさが一致するように、現在の画像又は過去の画像の大きさを調整しておく。

画像合成部１２５は、動き検出部１２３でのマッチング結果に基づき検出された動きに基づいて、現在の画像と過去の画像とを位置合わせして合成する。動き検出部１２３では、処理対象画像の各処理対象領域と、参照画像の領域との対応付けが行なわれている。処理対象画像の各画素に対して、参照画像の対応する各画素をブレンド（加重平均）することで合成処理を行う。この画像合成により、ノイズ低減を図ることができる。また、画像合成処理はノイズ低減に限定されるものではなく、公知の複数枚の画像を用いた超解像処理を適用して、高解像度の合成画像を取得してもよい。

本実施形態の手法では、参照画像においてブロックマッチングにおける非探索範囲を設定しているので、処理対象画像の処理対象領域と対応する領域が参照画像中に存在しない場合が発生する。その場合は、処理対象領域に対しては画像合成処理を行わないものとしてもよい。他の方法として、公知の動きベクトル検出方法を用いて、複数の領域で動きベクトルを検出しておき、動きベクトルが検出できない（すなわち参照画像において処理対象画像の処理対象領域に対応する領域が検出されない）場合には、当該処理対象領域の周囲にある領域に対する複数の動きベクトルをブレンドして当該処理対象領域に関する動きベクトルを求めてもよい。

後処理部１２６は、画像合成部１２５で画像合成処理の行われた画像に対して、階調変換やエッジ強調などの画像処理を行う。

出力部１２７は、後処理部１２６で行われた画像処理後の画像を不図示の表示装置等へ出力する。

集光レンズＳ０７は、特に魚眼レンズなどの広角のレンズを用いた場合、取得される画像の中央付近と比べて周辺部ではレンズの歪曲収差によるひずみが大きくなる。動き検出部１２３でブロックマッチングを行う場合に、注目している被写体の画像上位置が中央付近から周辺部へ（または逆に）移動した場合には、周辺部はひずみが大きいので被写体の形状が大きく変化し、以前の画像とのマッチングを取ることが困難となる。

範囲設定部１２２で、図２のように撮像部の対物レンズにおける歪曲収差の大きい周辺部に対応する、画像の周辺部を非探索範囲として設定して、ブロックマッチングの探索する領域から外すことで、誤ったマッチング結果を出すことを抑止することができ、不適切な合成画像を生成せずにすむ。この効果は対物レンズとして広角レンズ、特に画角が１８０°を超えるような魚眼レンズを用いた場合に特に顕著になる。また、本実施形態の手法を用いない場合に比べて探索範囲を狭く限定することができるため、探索時間の短縮につながる。

また、本実施形態の内視鏡装置は、図１に示したようにズーム倍率を調整するズームレンズＳ０９を含んでもよい。ズームレンズＳ０９は、集光レンズＳ０７と同一光軸上に配置されており、光軸上を所定範囲で移動することができる。この場合には、ズームレンズＳ０９の駆動に応じて（つまりズーム倍率の変動に応じて）上述した非探索範囲（あるいは探索範囲）の大きさを変更してもよい。以下詳述する。

制御部１２８の制御により、ズームレンズＳ０９が望遠側に駆動されるとき、画像の中心付近は拡大され、一方、以前の画像の周辺部における端部近傍の領域は現在の画像範囲に存在しなくなる（内視鏡装置の観察視野から外れる）。図６の例でいえば、ズーム倍率が大きくなることで、ズーム後の参照画像は、ズーム前の参照画像において破線で示されている範囲内しか撮像されなくなる。そこで、ズームレンズＳ０９の駆動量（ズーム倍率に対応）に応じて範囲設定部１２２で設定した非探索範囲の位置も追従して移動させる。即ち、撮像時にズームレンズＳ０９のズーム倍率を以前に比べて増加させた場合、範囲設定部１２２は探索範囲と非探索範囲の境界を図６に示したように、画像の端部に向かって、ズーム倍率の変動量に相当する距離だけ移動させる。

ズーム倍率が大きくなると視野角が狭くなるため、ズーム倍率が小さく視野角が広い場合に比べて画像周縁部での歪曲収差等によるひずみは小さくなる。つまり、ブロックマッチング等の動き検出の対象としても問題のない領域が増えるため、当該領域は探索範囲内（あるいは非探索範囲外）としてもよいことになる。よって、探索範囲の拡大処理及び非探索範囲の縮小処理の少なくとも一方を行う。このようにすることで、参照画像において動き検出処理の対象となる領域が広くなるため、動き情報を検出できる可能性（ここではある程度の精度を有する結果が得られる可能性を指す）を高くすることができる。

なお、ズーム倍率が一定の場合であっても、撮像部１１０が相対的に被写体に近づいた場合には、内視鏡装置の観察視野は狭くなり、ズーム倍率を大きくしたときと同様にひずみの影響が小さくなる。よって、撮像部１１０と被写体との相対距離が小さくなるほど、範囲設定部１２２は探索範囲と非探索範囲の境界を図６に示したように、画像の端部に向かって、当該相対距離の変動量に相当する距離だけ移動させてもよい。

また、ズーム倍率と相対距離の両方が変動する場合には、ズーム倍率の変動量と相対距離の変動量の両方を考慮した上で、探索範囲と非探索範囲の境界の移動量を決定してもよい。

以上の本実施形態では、内視鏡装置は図１に示したように、対物光学系（集光レンズＳ０７に対応）を用いて、時系列の複数の画像を撮像する撮像部１１０と、複数の画像のうちの参照画像において、探索範囲と非探索範囲の少なくとも一方を設定する範囲設定部１２２と、複数の画像のうち前記参照画像とは異なる処理対象画像と、参照画像との間での動き検出を行う動き検出部１２３と、動き検出の結果に基づいて処理対象画像と参照画像を合成する画像合成部１２５を含む。そして動き検出部１２３は、処理対象画像において処理対象領域を設定するとともに、範囲設定部１２２で探索範囲が設定された場合には、少なくとも参照画像の探索範囲において処理対象領域の対応領域を探索して動き検出を行う。また、範囲設定部１２２で非探索範囲が設定された場合には、少なくとも非探索範囲以外の範囲において、処理対象領域の対応領域を探索して動き検出を行う。なお、探索範囲とは参照画像の中心部を含む範囲として設定される。また、非探索範囲は参照画像の周縁部を含む範囲として設定される。

ここで、処理対象画像は時系列の複数の画像のうち、処理の対象となっている画像である。また、参照画像とは時系列の複数の画像のうち、前記処理対象画像との間で動き検出処理を行う対象となる画像である。狭義には、処理対象画像は現在の（最新の）画像であり、参照画像は過去の画像である。例えば図７に示したように時系列の複数の画像が取得されたとする。なお図７の横軸は時間を表し、Ｉ_ｋは時刻ｋで取得された撮像画像を表す。時刻ｔを現在の（最新の）時刻とすれば、上述したようにＩ_ｔを処理対象画像として、過去画像を参照画像としてもよい。その場合の参照画像は、直近のＩ_ｔ−１であってもよいし、それよりも過去の画像であってもよい。また処理対象画像と参照画像の設定はこれに限定されるものではない。処理対象画像を現時点よりも過去に取得された画像（例えばＩ_ｔ−１）とし、参照画像をさらに過去に取得された画像（例えばＩ_ｔ−２）としてもよい。また、処理対象画像に比べて参照画像が過去に取得された画像であるものには限定されないため、時系列的に処理対象画像の取得後に参照画像が取得されてもよい。例えば処理対象画像をＩ_ｔ−１とし、参照画像をＩ_ｔとすることが考えられる。また、参照画像は１枚には限定されず、複数選択されてもよい。例えば、処理対象画像としてＩ_ｔが設定された場合に、参照画像としてＩ_ｔ−１とＩ_ｔ−２の２枚を設定すること等が可能である。

これにより、時系列の複数の画像を合成する際に、当該画像間での動き検出を行う場合において、動き検出処理の対象となる領域を限定することが可能になる。具体的には、中心部を含む探索範囲及び周縁部を含む非探索範囲の少なくとも一方を設定し、探索範囲内又は非探索範囲外について探索を行う。つまり、中心部を含む範囲について探索を行いつつ、周縁部を含む範囲については探索を行わない。例えば視野角の非常に広い対物光学系（例えば魚眼レンズ等）を用いた場合には、撮像された画像は周縁部にいくほど歪曲収差等によりひずみの影響が大きくなり、ブロックマッチング等により行われる動き検出を精度よく実行することが困難となる。本実施形態の手法を用いることで、ひずみの影響が大きい範囲を探索の対象外とすることができるため、動き検出が困難と思われる状況で無理に動き情報を検出することを抑止できる。その結果、実際の動き（例えば撮像部１１０と被写体との相対的な動き）と大きく異なる動きを検出する可能性を押さえることができ、その後の合成処理に与える悪影響（例えば処理効果の低減等）を抑止することが可能となる。なお、本実施形態は広角の光学系を用いる場合に限定されるものではない。例えば、光源部の構成や、撮像部１１０と被写体との相対的位置関係等から、画像周縁部において光量が不足することで輝度が著しく低下し、動き検出が困難となる場合等に用いてもよい

また、範囲設定部１２２は、図６に示したように対物光学系のズーム倍率が増加するほど、参照画像における非探索範囲を縮小する処理を行ってもよい。また、対物光学系のズーム倍率が増加するほど、参照画像における探索範囲を拡大する処理を行ってもよい。

また、範囲設定部１２２は、撮像部１１０が観察対象に近接するほど、参照画像における非探索範囲を縮小する処理を行ってもよい。また、撮像部１１０が観察対象に近接するほど、参照画像における探索範囲を拡大する処理を行ってもよい。

これにより、撮像部１１０におけるズーム倍率の変化に応じて、探索範囲及び非探索範囲の少なくとも一方の範囲を変更することが可能になる。撮像部１１０のズーム倍率が大きくなった場合（例えばズームレンズＳ０９の駆動により行われる）には、ズーム前に比べて被写体の狭い範囲が撮像されることになる。つまり光学系の視野角が狭くなるため、ズーム前に比べて歪曲収差等によるひずみの影響が小さくなる。ひずみの影響が小さいということは、動き検出が困難となる程度にひずむ領域が狭くなるということであるから、動き検出の対象とならない範囲（探索範囲外もしくは非探索範囲内）も狭くしてよい。逆に言えば、動き検出の対象となる範囲（探索範囲内もしくは非探索範囲外）を広くすることができるため、動き検出を行える（例えばマッチングがとれる）可能性が高くなり、画像合成処理の効果を向上させること等が可能となる。なお、撮像部１１０と被写体との相対距離を小さくした場合（近接した場合）にも、撮像される被写体の範囲は狭まり、視野角が狭くなるため、ズーム倍率が大きくなった場合と同様に考えることが可能である。

また、動き検出部１２３は、処理対象画像の中心領域に処理対象領域を設定し、参照画像における処理対象領域の対応領域を探索して動き検出を行ってもよい。

これにより、処理対象画像における処理対象領域の設定範囲についても限定することが可能になる。上述してきたように、本実施形態では画像中心部に比べて画像周縁部が動き検出に適さない場合を想定している。例えば、魚眼レンズにおいて、画像中心部ではひずみが小さいのに対して、画像周縁部ではひずみが大きいため、同一被写体が第１の画像で中心部にあり第２の画像で周縁部にあることで、同一被写体であるにも関わらず、ひずみの影響によりマッチングが難しい場合等である。つまり、参照画像において画像周縁部を探索から除外することに加えて、処理対象画像においても画像周縁部を探索から除外することで、不適切な動き検出の可能性をさらに抑止することができる。具体的には、処理対象画像に設定される処理対象領域（狭義にはブロックマッチングでのマッチングの単位となるブロック）を、中心部に対して設定しつつ、周縁部に対して設定しないようにすればよい。

また、範囲設定部１２２は、図２に示したように、画像の中心から画像の外縁までの距離のα（αは０＜α＜１００を満たす値）％だけ画像の中心から離れている位置よりも外側の範囲を非探索範囲として設定してもよい。また、画像の中心から画像の外縁までの距離のα％だけ画像の中心から離れている位置よりも内側の範囲を探索範囲として設定してもよい。この場合には、対物光学系のズーム倍率が大きくなるほどαの値を大きくしてもよい。また、撮像部１１０と観察対象（被写体）とが近接するほどαの値を大きくしてもよい。

これにより、図２に示したような形状で、探索範囲及び非探索範囲の少なくとも一方を設定することが可能になる。本実施形態は、魚眼レンズを用いた場合等、中心部を含む範囲を探索の対象としつつ、周縁部を含む範囲を探索の対象都内ものとしているため、図２に示した範囲設定は条件を満たす。また、このようにすることで少ないパラメータにより容易に範囲設定が可能となる。上述したように、ズーム倍率の変化（あるいは撮像部１１０と被写体の相対距離）に応じて探索範囲や非探索範囲を変形する場合にも、パラメータαを用いることで、ズーム倍率が大きくなるほど（相対距離が小さくなるほど）αを大きくすればよいため、容易に対応できる。

また、画像合成部１２５は、動き検出の結果に基づいて、処理対象画像の画素の画素値と、参照画像の画素の画素値とを合成し、処理対象画像に含まれるノイズ成分を低減する処理を行ってもよい。

これにより、画像合成処理としてノイズ低減処理を行うことが可能になる。画素値の合成（例えば加重平均）によりノイズ低減を行う場合には、同一の被写体を撮像している画素同士を合成しなければ効果的ではない。よって、本実施形態の手法により動き検出を適切に行うことで、ノイズ低減を効果的なものとすることが可能になる。なお、画像合成処理において、合成される画素同士が厳密に同一被写体の同一位置を撮像している必要はなく、多少のずれは許容される。また、画像合成処理は複数の画像について１画素ずつを合成するものに限定されず、例えば処理対象画像の画素に対して、参照画像の複数の画素を用いた合成処理であってもよい。

また、画像合成部１２５は、動き検出の結果に基づいて、処理対象画像の画素の画素値と、参照画像の画素の画素値とを合成し、処理対象画像及び参照画像に比べて画素数の多い出力画像を取得する処理を行ってもよい。

これにより、画像合成処理として元画像（処理対象画像、参照画像）に比べて高解像度の画像を取得する処理を行うことが可能になる。高解像度の画像を取得するためには、画素ずらしと呼ばれるように、何らかの手法によりサブピクセル単位で位置のずれた複数の画像を取得して合成処理を行う必要がある。本実施形態での動き検出として、サブピクセル単位での動きを検出しておけば、処理対象画像と参照画像の合成処理が、サブピクセル単位でずれた画像の合成処理に相当することになり、出力画像の画素数を元画像に比べて大きくすることが可能になる。

また、撮像部１１０は、対物光学系として視野角が１８０度より大きい光学系を有してもよい。

これにより、超広角の対物光学系を用いた場合にも本実施形態の手法が適用できる。このような光学系として典型的なものは上述してきたように魚眼レンズ等である。視野角が広いほど光学系の光軸から離れる位置（撮像画像において周縁部に撮像される範囲）での画像上でのひずみが大きくなる。よって、画像周縁部を探索範囲から除外する本実施形態の手法が有効である。

また、以上の本実施形態は、時系列の複数の画像を取得する画像取得部と、複数の画像のうちの参照画像において、探索範囲と非探索範囲の少なくとも一方を設定する範囲設定部１２２と、複数の画像のうち前記参照画像とは異なる処理対象画像と、参照画像との間での動き検出を行う動き検出部１２３と、動き検出の結果に基づいて処理対象画像と参照画像を合成する画像合成部１２５としてコンピュータを機能させるプログラムに適用できる。そして動き検出部１２３は、処理対象画像において処理対象領域を設定するとともに、範囲設定部１２２で探索範囲が設定された場合には、少なくとも参照画像の探索範囲において処理対象領域の対応領域を探索して動き検出を行う。また、範囲設定部１２２で非探索範囲が設定された場合には、少なくとも非探索範囲以外の範囲において、処理対象領域の対応領域を探索して動き検出を行う。なお、探索範囲とは参照画像の中心部を含む範囲として設定される。また、非探索範囲は参照画像の周縁部を含む範囲として設定される。

これにより、上述の処理を実行するプログラムを実現することができる。このプログラムは、図１に示した内視鏡装置のプロセッサ部１２０により実行されるものであってもよい。また、内視鏡装置は画像の撮像、記憶、通信を行うものであり、内視鏡装置とは別体として設けられた処理システム（例えばＰＣ等）において上述してきた処理が行われるのであれば、このプログラムは当該ＰＣのＣＰＵ等に読み出され実行されるものであってもよい。そして、上記プログラムは、情報記憶媒体に記録される。ここで、情報記録媒体としては、ＤＶＤやＣＤ等の光ディスク、光磁気ディスク、ハードディスク（ＨＤＤ）、不揮発性メモリーやＲＡＭ等のメモリーなど、光学式検出システムによって読み取り可能な種々の記録媒体を想定できる。

３．第２の実施形態
本実施形態の内視鏡装置の構成は、図１を用いた上述した第１の実施形態と同様であるため、詳細な説明は省略し異なる点について述べる。本実施形態では、集光レンズＳ０７として図３に示した全周囲光学系が用いられる。光学系の各面ＳＦ１〜ＳＦ３を考えた場合に、前方からの光ＬＣ１はＳＦ１及びＳＦ２を透過して撮像素子Ｓ０８で結像する。それに対して側方からの光ＬＣ２は、ＳＦ３を透過した後、ＳＦ２及びＳＦ１で反射されて撮像素子Ｓ０８に達する。このようにすることで、前方からの光ＬＣ１及び側方からの光ＬＣ２の両方を撮像素子Ｓ０８に導くことが可能になり、結果として前方視野と側方視野の両方を観察することが可能になる。なお、全周囲光学系は図３の構成には限定されず、前方観察用の第１のレンズと、側方観察用の第２のレンズを別体としてもうける構成であってもよい。撮像部１１０の前面の断面を示したものが図４（Ａ）であり、側面の断面を示したものが図４（Ｂ）である。

このような光学系を用いた場合、前方視野に対応する画像と側方視野に対応する画像とが取得できるため、ユーザに対して提示される画像としては図５（Ａ）のような撮像画像が考えられる。この際、取得された撮像画像には前方視野に対応する前方領域と側方視野に対応する側方領域の間に暗い境界領域が生じることがある。特に、前方領域の周辺は屈折系のレンズにより周辺視野の光量が低下（グラデーションが発生）し、境界領域はグラデーション領域と連結した状態の黒い帯状の領域となる。これは、図４（Ｂ）に示したように前方視野と側方視野の間に死角が生じることや、前方視野の周縁部では光量が足らず、画像が暗くなってしまうことによる。

そのため境界領域では光量が足らず、輝度が低い画像となって、被写体の形状やエッジ等のマッチングに必要な特徴量を適切に取得できない可能性がある。あるいは、境界領域そのものを被写体のエッジであると誤認する可能性もあり、やはりマッチングが適切に行えないことが考えられる。

そこで本実施形態では、範囲設定部１２２は制御部１２８の制御に基づいて、上述した境界領域に対応する領域に非探索範囲を設定する。なお、ここでの非探索範囲は、必ずしも境界領域を含むものに限定されるわけではない。

具体的には図５（Ａ）に示した画像が撮像画像として取得される場合には、図５（Ｂ）に示したように、前方視野に相当する画像領域と側方視野に相当する画像領域との境界を含む周辺の領域を非探索範囲として設定する。さらに具体的には、前方視野に相当する画像領域において、この前方視野に相当する画像領域と側方視野に相当する画像領域との境界から或る距離だけ離れた位置を境界として、この境界よりも外側の、前方視野に相当する画像の外周部を含む非探索範囲を設定する手法が考えられる。なお、本実施形態では範囲設定部１２２は非探索範囲を設定することとしたが、前方視野に相当する画像の中心部を含み、処理対象画像の処理対象領域と相関が高い領域（参照する領域）を探索する探索範囲を設定することとしてもよいし、探索範囲と非探索範囲の両方を設定するこことしてもよい。

なお、撮像画像における境界の位置は、レンズの設計情報や、前方視野に対応する画像と側方視野に対応する画像の合成手法等から決定されるものである。よって、それらの情報を取得することであらかじめ非探索範囲（あるいは探索範囲）を設定してもよい。また、Ｉ／Ｆ部１３０を通じてユーザが非探索範囲（あるいは探索範囲）を設定してもよい。

以上、本発明を適用した２つの実施の形態１〜２およびその変形例について説明したが、本発明は、各実施の形態１〜２やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施の形態１〜２や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態１〜２や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。

１００ 照明部、１１０ 撮像部、１１１ Ａ／Ｄ変換部、１２０ プロセッサ部、
１２１ 画像取得部、１２２ 範囲設定部、１２３ 動き検出部、１２４ バッファ、
１２５ 画像合成部、１２６ 後処理部、１２７ 出力部、１２８ 制御部、
１３０ Ｉ／Ｆ部、Ｓ０１ 光源装置、Ｓ０２ 白色光光源、Ｓ０３ 集光レンズ、
Ｓ０５ ライトガイドファイバ、Ｓ０６ 照明光学系、Ｓ０７ 集光レンズ、
Ｓ０８ 撮像素子、Ｓ０９ ズームレンズ

Claims (13)

1. 対物光学系を用いて、時系列の複数の画像を撮像する撮像部と、
   前記複数の画像のうちの参照画像において、前記参照画像の中心部を含む探索範囲と、前記参照画像の外周部を含む非探索範囲の少なくとも一方を設定する範囲設定部と、
   前記複数の画像のうち前記参照画像とは異なる処理対象画像と、前記参照画像との間での動き検出を行う動き検出部と、
   前記動き検出の結果に基づいて前記処理対象画像と前記参照画像を合成する画像合成部と、
   を含み、
   前記動き検出部は、
   前記処理対象画像において処理対象領域を設定するとともに、
   前記範囲設定部で前記探索範囲が設定された場合には、少なくとも前記参照画像の前記探索範囲において前記処理対象領域の対応領域を探索して前記動き検出を行い、
   前記範囲設定部で前記非探索範囲が設定された場合には、少なくとも前記非探索範囲以外の範囲において、前記処理対象領域の前記対応領域を探索して前記動き検出を行うことを特徴とする内視鏡装置。
2. 請求項１において、
   前記範囲設定部は、
   前記対物光学系のズーム倍率が増加するほど、前記参照画像における前記非探索範囲を縮小する処理、及び前記探索範囲を拡大する処理の少なくとも一方の処理を行うことを特徴とする内視鏡装置。
3. 請求項１において、
   前記範囲設定部は、
   前記撮像部が観察対象に近接するほど、前記参照画像における前記非探索範囲を縮小する処理、及び前記探索範囲を拡大する処理の少なくとも一方の処理を行うことを特徴とする内視鏡装置。
4. 請求項１において、
   前記動き検出部は、
   前記処理対象画像の中心領域に前記処理対象領域を設定し、設定された前記処理対象領域の前記参照画像における前記対応領域を探索して前記動き検出を行うことを特徴とする内視鏡装置。
5. 請求項１において、
   前記範囲設定部は、
   画像の中心から画像の外縁までの距離のα（αは０＜α＜１００を満たす値）％だけ画像の中心から離れている位置よりも外側の範囲を前記非探索範囲として設定することを特徴とする内視鏡装置。
6. 請求項１において、
   前記範囲設定部は、
   画像の中心から画像の外縁までの距離のα（αは０＜α＜１００を満たす値）％だけ画像の中心から離れている位置よりも内側の範囲を前記探索範囲として設定することを特徴とする内視鏡装置。
7. 請求項５又は６において、
   前記範囲設定部は、
   前記対物光学系のズーム倍率が増加するほど、前記αの値を大きくする処理を行うことを特徴とする内視鏡装置。
8. 請求項５又は６において、
   前記範囲設定部は、
   前記撮像部が観察対象に近接するほど、前記αの値を大きくする処理を行うことを特徴とする内視鏡装置。
9. 請求項１において、
   前記画像合成部は、
   前記動き検出の結果に基づいて、前記処理対象画像の画素の画素値と、前記参照画像の前記画素の前記画素値とを合成し、前記処理対象画像に含まれるノイズ成分を低減する処理を行うことを特徴とする内視鏡装置。
10. 請求項１において、
    前記画像合成部は、
    前記動き検出の結果に基づいて、前記処理対象画像の画素の画素値と、前記参照画像の前記画素の前記画素値とを合成し、前記処理対象画像及び前記参照画像に比べて画素数の多い出力画像を取得する処理を行うことを特徴とする内視鏡装置。
11. 請求項１において、
    前記撮像部は、前記対物光学系として視野角が１８０度より大きい光学系を有することを特徴とする内視鏡装置。
12. 対物光学系を用いて撮像された、時系列の複数の画像のうちの参照画像において、前記参照画像の中心部を含む探索範囲と、前記参照画像の外周部を含む非探索範囲の少なくとも一方を設定し、
    前記複数の画像のうち前記参照画像とは異なる処理対象画像において処理対象領域を設定し、
    前記参照画像において前記探索範囲が設定された場合には、少なくとも前記参照画像の前記探索範囲において前記処理対象領域の対応領域を探索して動き検出を行い、
    前記参照画像において前記非探索範囲が設定された場合には、少なくとも前記参照画像の前記非探索範囲以外の範囲において、前記処理対象領域の前記対応領域を探索して前記動き検出を行い、
    前記動き検出の結果に基づいて前記処理対象画像と前記参照画像を合成することを特徴とする画像処理方法。
13. 時系列の複数の画像を取得する画像取得部と、
    前記複数の画像のうちの参照画像において、前記参照画像の中心部を含む探索範囲と、前記参照画像の外周部を含む非探索範囲の少なくとも一方を設定する範囲設定部と、
    前記複数の画像のうち前記参照画像とは異なる処理対象画像と、前記参照画像との間での動き検出を行う動き検出部と、
    前記動き検出の結果に基づいて前記処理対象画像と前記参照画像を合成する画像合成部として、
    コンピュータを機能させ、
    前記動き検出部は、
    前記処理対象画像において処理対象領域を設定するとともに、
    前記範囲設定部で前記探索範囲が設定された場合には、少なくとも前記参照画像の前記探索範囲において前記処理対象領域の対応領域を探索して前記動き検出を行い、
    前記範囲設定部で前記非探索範囲が設定された場合には、少なくとも前記非探索範囲以外の範囲において、前記処理対象領域の前記対応領域を探索して前記動き検出を行うことを特徴とするプログラム。