JP2010179023A - 画像処理方法および装置 - Google Patents

Abstract

【課題】血管のように深さ方向に形状が変化する構造物を精度よく検出する。
【解決手段】画像信号に対し、分光画像処理を施して所定波長の分光推定画像信号を取得し、その取得した所定波長の分光推定画像信号を用いてエッジの検出を行うことによって第１のエッジラインを検出し、第１のエッジラインを検出するために用いた分光推定画像信号に対応する波長を含む所定の波長範囲内の複数波長の分光推定画像信号を取得し、その取得した各分光推定画像信号を用いてエッジの検出を行うことによって第１のエッジラインに連続するエッジライン候補を各分光推定画像信号毎に検出し、各分光推定画像信号毎に検出されたエッジライン候補のうちのいずれか１つを所定条件に基づいて選択することによって第２のエッジラインを検出する。
【選択図】図１

Description

本発明は、画像信号に対してエッジ検出処理を施すことによってエッジラインの検出を行う画像処理方法および装置に関するものであり、特に深さ方向に形状が変化する構造物のエッジラインの検出を行う画像処理方法および装置に関するものである。

従来、体腔内の組織を観察する内視鏡装置が広く知られており、白色光によって照明された体腔内の観察対象を撮像して通常画像を得、この通常画像をモニタ画面上に表示する電子式の内視鏡が広く実用化されている。

そして、上記のような内視鏡装置を用いた画像診断上の重要な所見の中の一つとして血管像があげられる。

そして、たとえば、特許文献１においては、撮像素子から出力されたＲ、Ｇ、Ｂの画像信号に対し、微分フィルタ処理および２値化処理を施すことによって血管像のエッジを抽出して血管像を検出することが提案されている。

特開２００４−１８１０９６号公報 特開２００８−００４１２３号公報

しかしながら、特許文献１に記載の方法では、粘膜の表面上に見える血管像については検出することができるが、その血管が粘膜の表面から深さ方向に延びている場合には、その血管像はＲ、Ｇ、Ｂの画像信号中には現れないため血管像全体を適切に検出することができない。

本発明は上記の問題に鑑みてなされたものであり、上述した血管のように深さ方向に形状が変化する構造物を精度よく検出することができる画像処理方法および装置を提供することを目的とする。

本発明の画像処理方法は、画像信号に対し、分光画像処理を施して所定波長の分光推定画像信号を取得し、その取得した所定波長の分光推定画像信号を用いてエッジの検出を行うことによって第１のエッジラインを検出し、第１のエッジラインを検出するために用いた分光推定画像信号に対応する波長を含む所定の波長範囲内の複数波長の分光推定画像信号を取得し、その取得した各分光推定画像信号を用いてエッジの検出を行うことによって第１のエッジラインに連続するエッジライン候補を各分光推定画像信号毎に検出し、各分光推定画像信号毎に検出されたエッジライン候補のうちのいずれか１つを所定条件に基づいて選択することによって第２のエッジラインを検出することを特徴とする。

また、上記本発明の画像処理方法において、記第２のエッジラインを検出した後、第ｎ（ｎは２以上の整数）のエッジラインに対応するエッジライン候補を検出するために用いた分光推定画像信号に対応する波長を含む所定の波長範囲内の複数波長の分光推定画像信号の取得と、その取得した各分光推定画像信号を用いてエッジの検出を行うことによって第ｎのエッジラインに連続するエッジライン候補を各分光推定画像信号毎に検出し、各分光推定画像信号毎に検出されたエッジライン候補のうちのいずれか１つを所定条件に基づいて選択することによって第ｎ＋１のエッジラインを検出するエッジライン検出とを繰り返して行うことができる。

本発明の画像処理装置は、画像信号を取得する画像信号取得部と、画像信号取得部によって取得された画像信号に対し、分光画像処理を施して所定波長の分光推定画像信号を取得する分光画像処理部と、分光画像処理部によって取得された所定波長の分光推定画像信号を用いてエッジの検出を行うことによって第１のエッジラインを検出するエッジライン検出部とを備え、分光画像処理部が、エッジライン検出部により検出された第１のエッジラインを検出するために用いた分光推定画像信号に対応する波長を含む所定の波長範囲内の複数波長の分光推定画像信号を取得するものであり、エッジライン検出部が、各分光推定画像信号を用いてエッジの検出を行うことによって第１のエッジラインに連続するエッジライン候補を各分光推定画像信号毎に検出し、各分光推定画像信号毎に検出されたエッジライン候補のうちのいずれか１つを所定条件に基づいて選択することによって第２のエッジラインを検出するものであることを特徴とする。

また、本発明の画像処理装置においては、分光画像処理部とエッジライン検出部を、第ｎ（ｎは２以上の整数）のエッジラインに対応するエッジライン候補を検出するために用いた分光推定画像信号に対応する波長を含む所定の波長範囲内の複数波長の分光推定画像信号の取得と、該取得した各分光推定画像信号を用いてエッジの検出を行うことによって第ｎのエッジラインに連続するエッジライン候補を各分光推定画像信号毎に検出し、各分光推定画像信号毎に検出されたエッジライン候補のうちのいずれか１つを所定条件に基づいて選択することによって第ｎ＋１のエッジラインを検出するエッジライン検出とを繰り返して行うものとすることができる。

また、第１のエッジラインを検出するときに用いた第１の検出条件と第２のエッジラインを検出するときに用いた第２の検出条件とを異なるものとすることができる。

また、第ｎのエッジラインを検出するときに用いた第ｎの検出条件と第ｎ＋１のエッジラインを検出するときに用いた第ｎ＋１の検出条件とを異なるものとすることができる。

また、エッジライン検出部を、所定条件として最も長いエッジライン候補を第ｎ（ｎは２以上の整数）のエッジラインとして検出するものとすることができる。

また、エッジライン検出部を、所定条件として最もエッジ強度が大きいエッジライン候補を第ｎ（ｎは２以上の整数）のエッジラインとして検出ものとすることができる。

また、エッジライン検出部を、第１のエッジラインの主成分軸の延長線を含む分光推定画像信号の一部の範囲を探索領域として設定し、探索領域についてのみエッジの検出を行うものとすることができる。

また、エッジライン検出部を、第ｎのエッジラインの主成分軸の延長線を含む分光推定画像信号の一部の範囲を探索領域として設定し、探索領域についてのみエッジの検出を行うものとすることができる。

また、分光画像処理部を、複数波長の分光推定画像信号を取得する際、画像信号のうち探索領域を含む一部の画像信号にのみ分光画像処理を施すものとすることができる。

また、エッジライン検出部により検出されたエッジラインに基づく画像を表示するための表示信号を生成する表示信号生成部をさらに設けることができる。

また、エッジライン検出部を、エッジラインに対し、エッジラインとしての確度の情報を付加するものとし、表示信号生成部を、エッジラインに付加された確度の情報に応じて異なる表示信号を生成するものとすることができる。

また、エッジライン検出部を、エッジライン候補に対し、エッジラインとしての確度の情報を付加するものとし、表示信号生成部を、エッジライン検出部により検出されたエッジライン候補に基づく画像を表示するための表示信号を生成するものとし、各エッジライン候補に付加された確度の情報と各エッジライン候補に基づく画像を表示するための表示信号とに基づいて、確度が高い順にエッジライン候補に基づく画像が切り替えて表示されるように制御する制御信号を生成する表示制御信号生成部を設けることができる。

また、エッジライン検出部を、エッジライン候補に対し、複数種類の評価方法の評価結果に基づくエッジラインとしての確度の情報を付加するものとすることができる。

また、エッジライン検出部を、各エッジラインに対応するエッジライン候補を検出するために用いた分光推定画像信号の各波長の情報を深さ情報としてそれぞれ各エッジラインに付加するものとすることできる。

また、表示信号生成部を、各エッジラインに付加された深さ情報に基づいて、各エッジラインについてそれぞれ異なる表示信号を生成するものとすることができる。

また、エッジライン検出部を、各エッジラインに対応するエッジライン候補を検出するために用いた分光推定画像信号の各波長の情報を深さ情報としてそれぞれ各エッジラインに付加するものとし、表示信号生成部を、各エッジラインに付加された深さ情報をスプライン曲線で補間した画像を表す表示信号を生成するものとすることができる。

本発明の画像処理方法および装置によれば、画像信号に対し、分光画像処理を施して所定波長の分光推定画像信号を取得し、その取得した所定波長の分光推定画像信号を用いてエッジの検出を行うことによって第１のエッジラインを検出し、第１のエッジラインを検出するために用いた分光推定画像信号に対応する波長を含む所定の波長範囲内の複数波長の分光推定画像信号を取得し、その取得した各分光推定画像信号を用いてエッジの検出を行うことによって第１のエッジラインに連続するエッジライン候補を各分光推定画像信号毎に検出し、各分光推定画像信号毎に検出されたエッジライン候補のうちのいずれか１つを所定条件に基づいて選択することによって第２のエッジラインを検出するようにしたので、分光推定画像信号を利用することによってエッジラインの深さ方向の情報も取得することができ、深さ方向に形状が変化する構造物を精度よく検出することができる。

また、上記本発明の画像処理方法および装置において、記第２のエッジラインを検出した後、第ｎ（ｎは２以上の整数）のエッジラインに対応するエッジライン候補を検出するために用いた分光推定画像信号に対応する波長を含む所定の波長範囲内の複数波長の分光推定画像信号の取得と、その取得した各分光推定画像信号を用いてエッジの検出を行うことによって第ｎのエッジラインに連続するエッジライン候補を各分光推定画像信号毎に検出し、各分光推定画像信号毎に検出されたエッジライン候補のうちのいずれか１つを所定条件に基づいて選択することによって第ｎ＋１のエッジラインを検出するエッジライン検出とを繰り返して行うようにした場合には、深さ方向に延びるエッジラインを順次検出することができる。

また、第１のエッジラインを検出するときに用いた第１の検出条件と第２のエッジラインを検出するときに用いた第２の検出条件とを異なるものとした場合には、また、第ｎのエッジラインを検出するときに用いた第ｎの検出条件と第ｎ＋１のエッジラインを検出するときに用いた第ｎ＋１の検出条件とを異なるものとした場合には、エッジラインの深さに応じた検出処理を行うことができ、より精度の高いエッジラインの検出を行うことができる。

また、所定条件として最も長いエッジライン候補を第ｎ（ｎは２以上の整数）のエッジラインとして検出したり、また、所定条件として最もエッジ強度が大きいエッジライン候補を第ｎ（ｎは２以上の整数）のエッジラインとして検出したりした場合には、よりエッジラインとしての確度が高いエッジラン候補をエッジラインとして検出することができる。

また、第１のエッジラインの主成分軸の延長線を含む分光推定画像信号の一部の範囲を探索領域として設定し、探索領域についてのみエッジの検出を行うようにしたり、第ｎのエッジラインの主成分軸の延長線を含む分光推定画像信号の一部の範囲を探索領域として設定し、探索領域についてのみエッジの検出を行うようにした場合には、エッジ検出処理をより軽い処理とすることができ、処理速度もあげることができる。

また、複数波長の分光推定画像信号を取得する際、画像信号のうち探索領域を含む一部の画像信号にのみ分光画像処理を施すようにした場合には、分光画像処理をより軽い処理とすることができ、処理速度もあげることができる。

また、エッジラインに対し、エッジラインとしての確度の情報を付加し、エッジラインに付加された確度の情報に応じて異なる表示信号を生成するようにした場合には、エッジラインをその確度に応じて異なる表示態様で表示することができ、確度の情報を即座に把握することができる。

また、エッジライン候補に対し、エッジラインとしての確度の情報を付加し、各エッジライン候補に付加された確度の情報と各エッジライン候補に基づく画像を表示するための表示信号とに基づいて、確度が高い順にエッジライン候補に基づく画像が切り替えて表示するようにした場合には、どのようなエッジライン候補があったのかを確認することができる。

また、エッジライン検出部を、エッジライン候補に対し、複数種類の評価方法の評価結果に基づくエッジラインとしての確度の情報を付加するようにした場合には、確度情報の精度をより向上することができる。

また、各エッジラインに対応するエッジライン候補を検出するために用いた分光推定画像信号の各波長の情報を深さ情報としてそれぞれ各エッジラインに付加するようにした場合には、たとえば、各エッジラインに付加された深さ情報に基づいて、各エッジラインをそれぞれ異なる表示態様で表示したり、また、各エッジラインに付加された深さ情報をスプライン曲線で補間した画像を表示したりすることができ、即座に深さの情報を把握することができる。

本発明の画像処理装置の一実施形態を用いた内視鏡システムの概略構成図 血管画像のエッジラインを検出するための処理を説明するためのフローチャート 微分フィルタを用いたエッジ検出を説明するための図 エッジ検出における探索範囲を示す図 探索範囲内の画素であると判断される画素を示す図 第１のエッジラインの１つを模式図 第２のエッジラインを検出するための探索領域の一例を示す図 第２のエッジラインと第３のエッジラインを検出するための探索領域の一例を示す図 通常画像と血管画像の表示態様の一例を示す図 血管画像候補の表示態様の一例を示す図 深さ情報をスプライン曲線で補間した画像の一例を示す図

以下、図面を参照して本発明の画像処理装置の一実施形態を用いた内視鏡システムについて詳細に説明する。図１は、本発明の実施形態を用いた内視鏡システム１の概略構成を示すものである。

内視鏡システム１は、図１に示すように、被験者の体腔内に挿入され、観察対象を観察するためのスコープユニット２０と、このスコープユニット２０が着脱自在に接続されるプロセッサユニット３０と、スコープユニット２０が光学的に着脱自在に接続され、照明光Ｌ０を射出するキセノンランプが収納された照明光ユニット１０とを備えている。なお、プロセッサユニット３０と照明光ユニット１０とは、一体的に構成されているものであってもよいし、あるいは別体として構成されているものであってもよい。

照明光ユニット１０は、通常観察を行うための照明光Ｌ０をキセノンランプから射出するものである。照明光ユニット１０は、スコープユニット２０のライトガイド１１に光学的に接続されており、照明光Ｌ０をライトガイド１１の一端から入射するように構成されている。

スコープユニット２０は、結像光学系２１、撮像素子２２、ＣＤＳ／ＡＧＣ回路２３、Ａ／Ｄ変換部２４、およびＣＣＤ駆動部２５を備えており、各構成要素はスコープコントローラ２６により制御される。撮像素子２２はたとえばＣＣＤやＣＭＯＳ等からなり、結像光学系２１により結像された観察対象像を光電変換して画像情報を取得するものである。この撮像素子２２としては、例えば撮像面にＭｇ（マゼンタ），Ｙｅ（イエロー），Ｃｙ（シアン），Ｇ（グリーン）の色フィルタを有する補色型の撮像素子、あるいはＲＧＢの色フィルタを有する原色型撮像素子を用いることができるが、本実施形態においては、原色型撮像素子を用いるものとする。なお、撮像素子２２の動作はＣＣＤ駆動部２５により制御される。また、撮像素子２２が画像信号を取得したとき、ＣＤＳ／ＡＧＣ（相関二重サンプリング／自動利得制御）回路２３がサンプリングして増幅し、Ａ／Ｄ変換部２４がＣＤＳ／ＡＧＣ回路２３から出力された画像信号をＡ／Ｄ変換し、その画像信号がプロセッサユニット３０に出力される。

また、スコープユニット２０には、スコープコントローラ２６に接続され、観察モードの切換などの種々の操作を設定可能な操作部２７が設けられている。

また、スコープユニット２０の先端には照明窓２８が設けられ、この照明窓２８には、一端が照明光ユニット１０に接続されたライトガイド１１の他端が対面している。

プロセッサユニット３０は、照明光Ｌ０の観察対象への照射によってスコープユニット２０により撮像された通常像に基づいて生成されたＲ、Ｇ、Ｂの３色のカラー画像信号を取得する画像取得部３１と、画像取得部３１により取得されたカラー画像信号に対し、推定マトリクスデータを用いて分光画像処理を施して所定波長の分光推定画像信号を生成する分光画像処理部３２と、分光画像処理部３２において分光画像処理を行うために用いられる推定マトリクスデータが記憶されている記憶部３３と、分光画像処理部３２から出力された分光推定画像信号に基づいて、エッジを検出することによって血管のエッジラインを検出するエッジライン検出部３４と、画像取得部３１から出力されたカラー画像信号または分光画像処理部３２において生成された分光推定画像信号に対し、種々の処理を施して表示用画像信号を生成する表示信号生成部３５と、プロセッサユニット３０全体を制御する制御部３６とを備えている。各部の動作については、後で詳述する。

また、プロセッサユニット３０には、操作者の入力を受け付ける入力部２が接続されている。入力部２からは、たとえば、表示装置３に表示される画像の切替指示などが入力される。

また、プロセッサユニット３０の記憶部３３には、下表１に示すような、推定マトリクスデータが予め記憶されている。この下表１の推定マトリクスデータは、例えば４１０ｎｍから７０５ｎｍの波長域を５ｎｍ間隔で分けた６０の波長域パラメータλ１〜λ６０からなる。各波長域パラメータλ１〜λ６０は、それぞれマトリクス演算に用いられる係数ｐ_ｋｒ，ｐ_ｋｇ，ｐ_ｋｂ（ｋ＝１〜６０）から構成されている。

また、分光画像処理部３２は、エッジライン検出部３４により検出された第ｎ（ｎは１以上の整数）のエッジラインを検出するために用いた分光推定画像信号に対応する波長を含む所定の波長範囲内の複数波長の分光推定画像信号を取得するものであるが、その作用については後で詳述する。

表示装置３は、液晶表示装置やＣＲＴ等から構成され、プロセッサユニット３０から出力された表示用画像信号に基づいて、通常画像および分光推定画像などを表示するものである。

また、表示装置３は、プロセッサユニット３０の表示信号生成部３５から出力された表示用画像信号に基づいて、観察対象の通常画像を表示するものであるが、さらに、エッジライン検出部３４により検出された血管のエッジラインの情報に基づいて、血管画像を種々の態様で表示するものである。その表示態様については、後で詳述する。

次に、本実施形態の内視鏡システムの動作について説明する。まず、観察対象へ照明光Ｌ０を照射して取得したカラー画像信号に基づいて、通常画像を表示する際の動作について説明する。

まず、照明光ユニット１０から照明光Ｌ０が射出される。そして、照明光Ｌ０はライトガイド１１を介して照明窓２８から観察対象に照射される。そして、照射光Ｌ０の照射によって観察対象を反射した反射光Ｌ１がスコープユニット２０の結像光学系２１に入射され、結像光学系２１によって撮像素子２２の撮像面に通常像が結像される。そして、ＣＣＤ駆動部２５によって駆動された撮像素子２２が観察対象の通常像を撮像してカラー画像信号を取得する。このカラー画像信号はＣＤＳ／ＡＧＣ回路２３で相関二重サンプリングと自動利得制御による増幅を受けた後、Ａ／Ｄ変換部２４でＡ／Ｄ変換されて、デジタル信号としてプロセッサユニット３０に入力される。

そして、スコープユニット２０から出力されたＲ、Ｇ、Ｂのカラー画像信号が、プロセッサユニット３０の画像取得部３１により取得され、そして、そのカラー画像信号は、表示信号生成部３５に出力される。そして、表示信号生成部３５は、そのカラー画像信号に各種の信号処理を施した上、輝度信号Ｙと色差信号Ｃで構成されるＹ／Ｃ信号を生成し、さらに、このＹ／Ｃ信号へ対し、Ｉ／Ｐ変換およびノイズ除去などの各種信号処理を施して表示用画像信号を生成し、この表示用画像信号を表示装置３へ出力する。そして、表示装置３は、入力された表示用画像信号に基づいて通常画像を表示する。

次に、本実施形態の内視鏡システムにおいて、被観察体へ照明光Ｌ０を照射して取得したカラー画像信号に基づいて分光推定画像信号を生成し、その分光推定画像信号に基づいて血管画像を表示する動作について説明する。

上記で説明した通常画像表示動作において画像取得部３１により取得されたＲ、Ｇ、Ｂのカラー画像信号は、分光画像処理部３２にも出力される。そして、この後、カラー画像信号における血管画像のエッジラインを検出するための処理が行われるが、その作用については、図２に示すフローチャートを参照しながら説明する。

まず、分光画像処理部３２においては、予め設定された所定波長λｋに対応するパラメータ（ｐ_ｋｒ，ｐ_ｋｇ，ｐ_ｋｂ）が記憶部３３の推定マトリクスデータの中から選択されて読み出される。そして、その読み出されたパラメータとカラー画像信号Ｒ，Ｇ，Ｂとに基づいて、下式のマトリクス演算を行うことによって分光画像処理が施され、各画素が信号値Ｖ（λｋ）からなる分光推定画像信号が生成される（図２のＳ１０）。なお、上記所定波長λｋについては、分光推定画像信号が比較的細い血管まで表すものとなるような大きさに設定することが望ましい。たとえば、画像診断において有効とされる太さの血管のうち最も細い血管を分光推定画像信号が表すものとなるような波長に設定することが望ましい。

そして、分光画像処理部３２において生成された分光推定画像信号は、エッジライン検出部３４に出力される。そして、エッジライン検出部３４において、分光推定画像信号に基づいて血管のエッジラインが検出される。ここでは、第１の検出条件に基づいて、第１のエッジラインが検出される。エッジラインの具体的な検出方法については、種々の公知の手法を用いることができるが、たとえば、特開２００８−４１２３号公報に記載の方法を用いることができる。

具体的には、まずは、分光推定画像信号の各画素毎に、周囲に存在する８個の画素（所謂８近傍の画素）へ各々向かう方向（合計８方向：図３に４５°刻みで互いに方向の異なる８本の矢印として示す）に沿った濃度変化値（エッジ強度）をSobel 等の微分フィルタを用いて各々演算する。上記８方向に沿ったエッジ強度を各々演算するための８個の微分フィルタの一例を図３に示す。

たとえば、所定方向に沿ったエッジ強度を演算する場合には、図３に示す８本の矢印のうち上記所定方向を向いた矢印が指し示す微分フィルタを用い、演算対象の画素の信号値及び演算対象の画素の周囲に存在する８個の画素の信号値に対し、微分フィルタの数値を係数として各々乗じそれらの総和を演算することで所定方向に沿ったエッジ強度を求めることができる。上記演算を各方向に対応する８個の微分フィルタを用いて行うことで、所定の画素の各方向に沿ったエッジ強度を求めることができる。

次に、各画素毎に、上記各方向に沿ったエッジ強度を比較し、エッジ強度の絶対値の最大値を処理対象画素のエッジ強度として記憶するとともに、エッジ強度の絶対値が最大となる方向に直交する方向（すなわち処理対象の画素が或る血管のエッジライン上に存在していたとするとそのエッジラインの延びる方向）を、各画素のエッジ方向として記憶する。なお、本比較例においてエッジ方向は、図３に示すように上述した８方向のうち互いに１８０°異なる方向を同一方向とし、各方向に０〜３の符号を付して区別している。従って、例えばエッジ強度の絶対値が最大となる方向が図３に符号「１」に示す方向であったとすると、この方向に直交する方向を表す情報（図３に示す符号「３」）がエッジ方向として記憶される。上記処理により、各画素毎のエッジ強度及びエッジ方向がメモリにエッジデータとして記憶されることになる。なお、以下では、濃度変化値あるいは濃度変化値の絶対値をエッジ強度として定義しても適用可能である。

そして、次に、血管のエッジラインを抽出するエッジ追跡処理を行う。まず、エッジデータに基づき、所定値以上のエッジ強度をもつ画素を検出し、その画素をエッジの追跡開始点として設定する。そして、追跡開始点として設定した画素のエッジ方向に対応する２つの方向のうちの一方をエッジ追跡方向として選択する。例えばエッジ方向が図３に符号「０」で示す方向であった場合、そのエッジ方向を構成する２つの方向成分、すなわち画像の右側へ向かう方向、及び画像の左側へ向かう方向の何れかを、エッジ追跡方向として選択する。

そして、追跡開始点を基準点とし、次の基準点とすべき画素を探索するための探索範囲を設定する。探索範囲としては、図４（Ａ）に示すように、基準点Ｐ０を中心として探索
距離ｒを半径とする円の内部で、かつ基準点Ｐ０におけるエッジ追跡方向Ｖ０を基準として反時計回りに角度θ１、時計回りに角度θ２の角度範囲内として設定することができる。

一例として、角度θ１、θ２が図４（Ａ）に示す角度であった場合に探索範囲内の画素であると判断される画素を図４（Ｂ）にハッチングで示す。

なお、角度θ１、θ２については、血管の形状に基づいて予め設定されるものであるが、たとえば、細くて曲率が小さい曲線からなる血管のエッジラインを検出する場合と太くて曲率が大きい曲線からなる血管のエッジラインを検出する場合とでは、適切な角度θ１、θ２が異なるので、たとえば、血管の形状を示す情報や、観察対象の種類など血管の形状を間接的に示す情報などと上記角度θ１、θ２とを対応付けて予め設定しておき、操作者が上記のような情報を選択することによって、角度θ１、θ２を設定変更できるようにしてもよい。

そして、次に、基準点の画素のエッジ方向（Ｖ０）に基づいて、探索範囲内の各画素に対する探索エッジ方向パターンを設定する。探索エッジ方向パターンは、探索範囲内の各画素のエッジ方向が、基準点の画素のエッジ方向（エッジ追跡方向）Ｖ０と整合しているか否かを判定するためのパターンであり、探索範囲内の各画素をＰijとしたときに、各画素Ｐijに対し（Ｖ０＋ψij1)〜（Ｖ０＋ψij2)の角度範囲内にあるエッジ方向を探索エッジ方向として設定することにより得られる。

なお、この角度偏差ψij1、ψij2についても、上述した探索範囲を設定するときの角度θ１、θ２と同様に、血管の形状を示す情報や、観察対象の種類など血管の形状を間接的に示す情報などと対応付けて予め設定しておき、操作者が上記のような情報を選択することによって、角度偏差ψij1、ψij2を設定変更できるようにしてもよい。

そして、探索範囲内の各画素のエッジデータ（エッジ方向及びエッジ強度）を取込み、上記で設定された探索エッジ方向パターンに合致するエッジ方向でかつエッジ強度が下限値以上の画素を探索する。なお、このときのエッジ強度の下限値が、第１のエッジラインの検出の第１の検出条件である。

そして、探索条件に合致する画素が複数ある場合には、その複数の画素から、所定の基準に従って単一の画素を次の基準点として選択する。なお、所定の基準としては、たとえば、エッジ強度の大きさがあり、最もエッジ強度の大きい画素が選択される。

そして、上記のようにして選択された次の基準点の画素について、上記と同様の処理が行われ、その後、基準点の設定と上記と同様の処理が繰り返して行われることによって、血管の第１のエッジラインが検出される（図２のＳ１２）。

なお、上記説明では、追跡開始点のエッジ方向に対応する２つの方向のうち一方の方向の処理についてのみ説明したが、他方の方向の処理も上記と同様にして行われるものとする。

ここで、上記のようにして検出された第１のエッジラインの１つを模式的に表したものを図５に示す。

そして、上記のようにして第１のエッジラインを検出した後、エッジライン検出部３４は、第１のエッジラインを検出する際に用いた分光推定画像信号に対応する波長λｋを含む所定の波長範囲内の複数の波長を設定し、その複数の波長を分光画像処理部３２に出力する。ここでは、上記波長範囲内の３つの波長λａ１、λａ２、λａ３が設定されたものとする。

そして、分光画像処理部３２において、入力された波長λａ１、λａ２、λａ３に対応するパラメータ（ｐ_ａ１ｒ，ｐ_ａ１ｇ，ｐ_ａ１ｂ）、（ｐ_ａ２ｒ，ｐ_ａ２ｇ，ｐ_ａ２ｂ）、（ｐ_ａ３ｒ，ｐ_ａ３ｇ，ｐ_ａ３ｂ）が、それぞれ記憶部３３の推定マトリクスデータの中から選択されて読み出される。そして、その読み出されたパラメータとカラー画像信号Ｒ，Ｇ，Ｂとに基づいて、上述したマトリクス演算を行うことによって分光画像処理が施され、各画素が信号値Ｖ（λａ１）、Ｖ（λａ２）、Ｖ（λａ３）からなる分光推定画像信号がそれぞれ生成される（図２のＳ１４）。

ここで、上記のようにして信号値Ｖ（λａ１）、Ｖ（λａ２）、Ｖ（λａ３）からなる分光推定画像信号を生成する際、画像全体のカラー画像信号Ｒ，Ｇ，Ｂに対して分光画像処理を施すのではなく、画像全体のうち一部の探索領域のカラー画像信号Ｒ，Ｇ，Ｂに対してのみ分光画像処理が施される。探索領域としては、たとえば、図６に示すように、第１のエッジラインの主成分軸の延長線上の長さＬのベクトルを有する所定幅の矩形の領域Ｒ１（図６の斜線領域）が設定される。

なお、探索領域については、血管の形状に基づいて予め設定されるものであるが、たとえば、細くて曲率が小さい曲線からなる血管のエッジラインを検出する場合と太くて曲率が大きい曲線からなる血管のエッジラインを検出する場合とでは、適切な探索領域が異なるので、たとえば、血管の形状を示す情報や、観察対象の種類など血管の形状を間接的に示す情報などと上記探索領域とを対応付けて予め設定しておき、操作者が上記のような情報を選択することによって、探索領域を設定変更できるようにしてもよい。

そして、分光画像処理部３２において生成された、波長λａ１、λａ２、λａ３に対応する探索領域Ｒ１の分光推定画像信号は、エッジライン検出部３４に出力される。なお、ここでは波長λａ１に対応する探索領域Ｒ１の分光推定画像信号をＳａ１、波長λａ２に対応する探索領域Ｒ１の分光推定画像信号をＳａ２、波長λａ３に対応する探索領域Ｒ１の分光推定画像信号をＳａ３と呼ぶことにする。

そして、エッジライン検出部３４において、分光推定画像信号Ｓａ１、Ｓａ２、Ｓａ３のそれぞれに対して、上記と同様にして、エッジラインの検出処理が施され、各分光推定画像信号Ｓａ１、Ｓａ２、Ｓａ３について、それぞれエッジライン候補が検出される。なお、エッジライン候補を検出する際、第１のエッジラインを検出する際に用いた第１の検出条件とは異なる第２の検出条件を設定するようにしてもよい。具体的には、第１の検出条件であるエッジ強度の下限値よりも小さい下限値を設定するようにしてもよい。

そして、各分光推定画像信号Ｓａ１、Ｓａ２、Ｓａ３について、それぞれ検出されたエッジライン候補のうちのいずれか１つが第２のエッジラインとして検出される。具体的には、各エッジライン候補について、そのエッジライン候補を構成する画素のエッジ強度の加算値が、エッジラインとしての確度情報として求められる。そして、その確度情報が最も大きいエッジライン候補が第２のエッジラインとして検出される（図２のＳＴ１６）。上記のようにして検出された第２のエッジラインを模式的に表したものを図６に示す。なお、本実施形態においては、上記のように確度情報が最も大きいエッジライン候補を第２のエッジラインとして検出するようにしたが、これに限らず、たとえば、エッジライン候補同士の長さを比較し、最も長いエッジライン候補を第２のエッジラインとして検出するようにしてもよい。

そして、上記のようにして第２のエッジラインを検出した後、エッジライン検出部３４は、第２のエッジラインを検出する際に用いた分光推定画像信号に対応する波長を含む所定の波長範囲内の複数の波長を設定し、その複数の波長を分光画像処理部３２に出力する。

たとえば、上述した第２のエッジラインとして、分光推定画像信号Ｓａ２から検出されたエッジライン候補が選択された場合には、波長λａ２を含む所定の波長範囲内の複数の波長を設定し、その複数の波長を分光画像処理部３２に出力する。なお、ここでは、上記波長範囲内の３つの波長λｂ１、λｂ２、λｂ３が設定されたものとする。

そして、分光画像処理部３２において、入力された波長λｂ１、λｂ２、λｂ３に対応するパラメータ（ｐ_ｂ１ｒ，ｐ_ｂ１ｇ，ｐ_ｂ１ｂ）、（ｐ_ｂ２ｒ，ｐ_ｂ２ｇ，ｐ_ｂ２ｂ）、（ｐ_ｂ３ｒ，ｐ_ｂ３ｇ，ｐ_ｂ３ｂ）が、それぞれ記憶部３３の推定マトリクスデータの中から選択されて読み出される。そして、その読み出されたパラメータとカラー画像信号Ｒ，Ｇ，Ｂとに基づいて、上述したマトリクス演算を行うことによって分光画像処理が施され、各画素が信号値Ｖ（λｂ１）、Ｖ（λｂ２）、Ｖ（λｂ３）からなる分光推定画像信号がそれぞれ生成される（図２のＳ１８）。

ここで、上記のようにして信号値Ｖ（λｂ１）、Ｖ（λｂ２）、Ｖ（λｂ３）からなる分光推定画像信号を生成する際にも、画像全体のうち一部の探索領域のカラー画像信号Ｒ，Ｇ，Ｂに対してのみ分光画像処理が施される。探索領域としては、たとえば、図７に示すように、第２のエッジラインの主成分軸の延長線上の長さＬのベクトルを有する所定幅の矩形の領域Ｒ２（図７の斜線領域）が設定される。

そして、分光画像処理部３２において生成された、波長λｂ１、λｂ２、λｂ３に対応する探索領域Ｒ２の分光推定画像信号は、エッジライン検出部３４に出力される。なお、ここでは波長λｂ１に対応する探索領域Ｒ２の分光推定画像信号をＳｂ１、波長λｂ２に対応する探索領域Ｒ２の分光推定画像信号をＳｂ２、波長λｂ３に対応する探索領域Ｒ２の分光推定画像信号をＳｂ３と呼ぶことにする。

そして、第２のエッジラインの検出時と同様に、エッジライン検出部３４において、分光推定画像信号Ｓｂ１、Ｓｂ２、Ｓｂ３のそれぞれに対して、エッジラインの検出処理が施され、各分光推定画像信号Ｓｂ１、Ｓｂ２、Ｓｂ３について、それぞれエッジライン候補が検出される。なお、エッジライン候補を検出する際、第２のエッジラインを検出する際に用いた第２の検出条件とは異なる第３の検出条件を設定するようにしてもよい。具体的には、第２の検出条件であるエッジ強度の下限値よりも小さい下限値を設定するようにしてもよい。

そして、第２のエッジラインの検出時と同様にして、各分光推定画像信号Ｓｂ１、Ｓｂ２、Ｓｂ３について、それぞれ検出されたエッジライン候補のうちのいずれか１つが第３のエッジラインとして検出される（図２のＳ２０）。上記のようにして検出された第３のエッジラインを模式的に表したものを図７に示す。

そして、上記のようにして、直前のエッジラインを検出する際に用いた分光推定画像信号に対応する波長を含む所定の波長範囲内の複数波長を設定し、その複数波長に対応する分光推定画像信号を生成し、その分光推定画像信号を用いてエッジライン候補を検出し、そのエッジライン候補の中から１つのエッジライン候補をエッジラインとして検出するという処理を繰り返して行う（図２のＳ２２）。そして、エッジライン候補が検出されなくなった時点で終了する。

なお、上記説明では、エッジラインまたはエッジライン候補の検出の際、エッジラインの探索範囲を図４Ａに示すような範囲としたが、この探索範囲の角度Δθ（θ１＋θ２）を複数パターン設定するようにしてもよい。すなわち、角度Δθが互いに異なる探索範囲を複数設定するようにしてもよい。探索範囲が一つである場合には、上述したエッジライン検出処理方法では一本のエッジラインしか検出できないが、上記のように複数の探索範囲を設定することによって、図７に示すような、枝分かれしているエッジラインも検出することができる。すなわち、所定の探索範囲で検出されなかった枝分かれしているエッジラインを、上記所定の探索範囲とは異なる角度Δθを有する探索範囲により検出することができる。

そして、図７に示すように、たとえば、第３のエッジラインを検出しているときに、途中で枝分かれしているエッジラインがある場合には、すなわち、複数の探索範囲によってエッジラインを検出した結果、探索エッジ方向パターンに合致するエッジ方向でかつエッジ強度が下限値以上の画素が複数個存在する場合には、一旦、その各画素の座標を記憶しておき、エッジ強度が大きい順に次の基準点として設定するようにすればよい。たとえば、図７に示すように枝分かれしていて、下側のエッジラインを構成する画素の方がエッジ強度が大きい場合には、下側のエッジラインを検出した後、上側のエッジラインを検出するようにすればよい。なお、上側のエッジラインを検出する際には、図７に示すように、探索領域Ｒ３を新たに設定し、その探索領域Ｒ３の分光推定画像信号をさらに生成し、その探索領域Ｒ３の分光推定画像信号を用いてエッジラインの検出を行うようにすればよい。

そして、上記のようにしてエッジライン検出部３４によって検出されたエッジラインの情報は、表示信号生成部３５に出力される。

表示信号生成部３５は、入力されたエッジラインの情報に基づいて、血管画像を表す画像信号を生成し、その画像信号に種々の信号処理を施して表示用画像信号を生成し、その表示用画像信号を表示装置３へ出力する。

そして、表示装置３は、入力された血管画像の表示用画像信号に基づいて、図８に示すような血管画像を通常画像と一緒に表示する。

なお、上記実施形態の内視鏡システム１においては、エッジラインの情報に基づいて血管画像を通常画像とは別に表示するようにしたが、これに限らず、たとえば、通常画像と血管画像とを重ねて表示するようにしてもよいし、エッジラインの情報に基づいて、通常画像を表す表示用画像信号に強調処理などを施し、その強調処理済みの表示用画像信号に基づいて血管が強調された画像を表示するようにしてもよい。

また、上記実施形態の内視鏡システム１において、エッジライン検出部３４から表示信号生成部３５にエッジラインの情報を出力する際、エッジライン検出部３４において、各エッジラインの情報にそれぞれ対応する確度情報を付加し、エッジラインの情報とともに確度情報を表示信号生成部３５に出力し、表示信号生成部３５において、各エッジラインに付加された確度情報に応じて異なる血管画像の表示用画像信号を生成するようにしてもよい。そして、表示装置３において、エッジライン毎にその確度情報に応じて互いに異なる表示態様で血管画像を表示するようにしてもよい。具体的には、たとえば、図８に示すように、確度に応じて血管画像の線の種類を変えて表示するようにすればよい。また、確度に応じて線の太さを変えて表示するようにしてもよい。

また、エッジライン検出部３４が、所定の探索領域において複数のエッジライン候補を検出した場合には、エッジライン検出部３４から表示信号生成部３５にエッジライン候補の情報を出力し、表示信号生成部３５において、入力されたエッジライン候補の情報に基づいて、血管画像候補を表示するための表示用画像信号を生成して表示装置３に出力し、表示装置３において、入力された血管画像候補の表示用画像信号に基づいて、たとえば、図９に示すように、血管画像候補も表示するようにしてもよい。そして、このとき、血管画像候補毎に異なる表示態様で表示することが望ましく、たとえば、図９に示すように線の種類を変えて表示するようにしてもよい。

また、さらに、エッジライン検出部３４において、各エッジライン候補の情報に対し、それぞれ対応する確度情報を付加し、エッジライン候補の情報とともに確度情報を表示信号生成部３５に出力し、表示信号生成部３５から表示装置３に各血管画像候補の表示用画像信号とそれぞれに対応する確度情報を出力し、表示装置３において、各血管画像候補に対応する確度情報と各血管画像候補の表示用画像信号とに基づいて、確度が高い順に血管画像候補の画像を切り替えて表示するようにしてもよい。なお、各血管画像候補の画像の切り替えの制御信号は制御部３６から出力される。そして、各血管画像候補の画像の切り替えは自動的に行ってもよいし、入力部２からの操作者の切替え指示の入力に応じて切り替えるようにしてもよい。また、操作者が、入力部２によって所定の探索領域内の複数の血管画像候補の画像の中からいずれか１つを選択し、その選択した血管画像候補を最終的な血管画像として決定するようにしてもよい。

また、上記実施形態では、エッジライン検出部３４において、エッジ強度を用いてエッジライン候補の確度情報を取得するようにしたが、さらに検出したエッジライン候補を他の評価方法によって評価し、その評価結果とエッジ強度とに基づいて確度情報を取得するようにしてもよい。たとえば、エッジライン候補の曲率の分布やフラクタル次元や周波数の分布などの特徴量を取得し、この取得した特徴量と予め設定された正常な血管の曲率分布などの特徴量とを比較し、これらのずれに応じてエッジ強度に基づく確度情報を修正するようにすればよい。すなわち、上記ずれが大きいほど確度情報を下げるようにすればよい。

また、血管の両サイドにあたる２本のエッジライン候補の類似性を算出し、その算出結果に基づいて、確度情報を修正するようにしてもよい。すなわち、類似性が低いほど確度情報を下げるようにすればよい。具体的には、たとえば、各エッジライン候補の曲率の分布やフラクタル次元や周波数の分布などの特徴量を取得し、各特徴量の差分自乗和等により相違度を導出し、その相違度が所定の閾値を上回る場合に、相違度と閾値との差に所定の係数を掛けた値を、確度値から減算する。

また、記憶部に波長と深さの対応データを保存しておき、エッジライン検出部３４において、各エッジラインを検出するために用いた分光推定画像信号の各波長の情報を深さ情報としてそれぞれ各エッジラインに付加し、エッジラインの情報とともに深さ情報を表示信号生成部３５に出力し、表示信号生成部３５において、各エッジラインに付加された深さ情報に応じて異なる血管画像の表示用画像信号を生成するようにしてもよい。そして、表示装置３において、エッジライン毎にその深さ情報に応じて互いに異なる表示態様で血管画像を表示するようにしてもよい。具体的には、たとえば、血管画像の線の太さを変えて表示したり、血管画像の色を変えて表示したりすればよい。

また、表示信号生成部３５において、各探索領域毎に決定したエッジラインの深さ情報Ｄ１〜Ｄ４を、図１０に示すように、スプライン曲線で補間した画像を表す表示用画像信号を生成し、表示装置３においてその表示用画像信号に基づいて、血管画像の深さ情報を表す画像を表示するようにしてもよい。また、その血管画像の深さ情報を表す画像をその深さ情報に基づいて色分けしたり、線の種類や太さなどを変化させたりしてもよい。または、上述した血管画像を表す表示用画像信号と深さ情報とに基づいて、３Ｄ画像用に左右両眼用の画像をＣＧ（ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）で作成し、立体表示システムに提供するようにしてもよい。

また、上記説明では、本発明の画像処理装置を用いて血管像のエッジラインを検出する内視鏡システムについて説明したが、本発明の画像処理装置は、血管に限らず、その他深さ方向に形状が変化する構造物のエッジラインを検出することが可能であり、血管以外の構造物のエッジラインの検出のために用いるようにしてもよい。

１ 内視鏡システム
２ 入力部
３ 表示装置
１０ 照明光ユニット
１１ ライトガイド
２０ スコープユニット
２２ 撮像素子
３０ プロセッサユニット
３１ 画像取得部
３２ 分光画像処理部
３３ 記憶部
３４ エッジライン検出部
３５ 表示信号生成部
３６ 制御部

Claims (17)

1. 画像信号に対し、分光画像処理を施して所定波長の分光推定画像信号を取得し、
   該取得した所定波長の分光推定画像信号を用いてエッジの検出を行うことによって第１のエッジラインを検出し、
   該第１のエッジラインを検出するために用いた分光推定画像信号に対応する波長を含む所定の波長範囲内の複数波長の分光推定画像信号を取得し、
   該取得した各分光推定画像信号を用いてエッジの検出を行うことによって前記第１のエッジラインに連続するエッジライン候補を前記各分光推定画像信号毎に検出し、前記各分光推定画像信号毎に検出されたエッジライン候補のうちのいずれか１つを所定条件に基づいて選択することによって第２のエッジラインを検出することを特徴とする画像処理方法。
2. 前記第２のエッジラインを検出した後、第ｎ（ｎは２以上の整数）のエッジラインに対応するエッジライン候補を検出するために用いた分光推定画像信号に対応する波長を含む所定の波長範囲内の複数波長の分光推定画像信号の取得と、
   該取得した各分光推定画像信号を用いてエッジの検出を行うことによって前記第ｎのエッジラインに連続するエッジライン候補を前記各分光推定画像信号毎に検出し、前記各分光推定画像信号毎に検出されたエッジライン候補のうちのいずれか１つを所定条件に基づいて選択することによって第ｎ＋１のエッジラインを検出するエッジライン検出とを繰り返して行うことを特徴とする請求項１記載の画像処理方法。
3. 画像信号を取得する画像信号取得部と、
   該画像信号取得部によって取得された画像信号に対し、分光画像処理を施して所定波長の分光推定画像信号を取得する分光画像処理部と、
   該分光画像処理部によって取得された所定波長の分光推定画像信号を用いてエッジの検出を行うことによって第１のエッジラインを検出するエッジライン検出部とを備え、
   前記分光画像処理部が、前記エッジライン検出部により検出された第１のエッジラインを検出するために用いた分光推定画像信号に対応する波長を含む所定の波長範囲内の複数波長の分光推定画像信号を取得するものであり、
   前記エッジライン検出部が、前記各分光推定画像信号を用いてエッジの検出を行うことによって前記第１のエッジラインに連続するエッジライン候補を前記各分光推定画像信号毎に検出し、前記各分光推定画像信号毎に検出されたエッジライン候補のうちのいずれか１つを所定条件に基づいて選択することによって第２のエッジラインを検出するものであることを特徴とする画像処理装置。
4. 前記分光画像処理部と前記エッジライン検出部とが、第ｎ（ｎは２以上の整数）のエッジラインに対応するエッジライン候補を検出するために用いた分光推定画像信号に対応する波長を含む所定の波長範囲内の複数波長の分光推定画像信号の取得と、該取得した各分光推定画像信号を用いてエッジの検出を行うことによって前記第ｎのエッジラインに連続するエッジライン候補を前記各分光推定画像信号毎に検出し、前記各分光推定画像信号毎に検出されたエッジライン候補のうちのいずれか１つを所定条件に基づいて選択することによって第ｎ＋１のエッジラインを検出するエッジライン検出とを繰り返して行うものであることを特徴とする請求項３記載の画像処理装置。
5. 前記第１のエッジラインを検出するときに用いた第１の検出条件と前記第２のエッジラインを検出するときに用いた第２の検出条件とが異なることを特徴とする請求項３記載の画像処理装置。
6. 前記第ｎのエッジラインを検出するときに用いた第ｎの検出条件と前記第ｎ＋１のエッジラインを検出するときに用いた第ｎ＋１の検出条件とが異なることを特徴とする請求項４記載の画像処理装置。
7. 前記エッジライン検出部が、前記所定条件として最も長いエッジライン候補を前記第ｎ（ｎは２以上の整数）のエッジラインとして検出するものであることを特徴とする請求項３から６いずれか１項記載の画像処理装置。
8. 前記エッジライン検出部が、前記所定条件として最もエッジ強度が大きいエッジライン候補を前記第ｎ（ｎは２以上の整数）のエッジラインとして検出ものであることを特徴とする請求項３から６いずれか１項記載の画像処理装置。
9. 前記エッジライン検出部が、前記第１のエッジラインの主成分軸の延長線を含む前
   記分光推定画像信号の一部の範囲を探索領域として設定し、該探索領域についてのみ前記エッジの検出を行うものであることを特徴とする請求項３記載の画像処理装置。
10. 前記エッジライン検出部が、前記第ｎのエッジラインの主成分軸の延長線を含む前
    記分光推定画像信号の一部の範囲を探索領域として設定し、該探索領域についてのみ前記エッジの検出を行うものであることを特徴とする請求項４記載の画像処理装置。
11. 前記分光画像処理部が、前記複数波長の分光推定画像信号を取得する際、前記画像信号のうち前記探索領域を含む一部の画像信号にのみ分光画像処理を施すものであることを特徴とする請求項９または１０記載の画像処理装置。
12. 前記エッジライン検出部により検出されたエッジラインに基づく画像を表示するための表示信号を生成する表示信号生成部をさらに備えたことを特徴とする請求項３から１１いずれか１項記載の画像処理装置。
13. 前記エッジライン検出部が、前記エッジラインに対し、エッジラインとしての確度の情報を付加するものであり、
    前記表示信号生成部が、前記エッジラインに付加された確度の情報に応じて異なる表示信号を生成するものであることを特徴とする請求項１２記載の画像処理装置。
14. 前記エッジライン検出部が、前記エッジライン候補に対し、エッジラインとしての確度の情報を付加するものであり、
    前記表示信号生成部が、前記エッジライン検出部により検出されたエッジライン候補に基づく画像を表示するための表示信号を生成するものであり、
    各前記エッジライン候補に付加された確度の情報と各前記エッジライン候補に基づく画像を表示するための表示信号とに基づいて、前記確度が高い順に前記エッジライン候補に基づく画像が切り替えて表示されるように制御する制御信号を生成する表示制御信号生成部を備えたことを特徴とする請求項９または１０記載の画像処理装置。
15. 前記エッジライン検出部が、前記エッジライン候補に対し、複数種類の評価方法の評価結果に基づくエッジラインとしての確度の情報を付加するものであることを特徴とする請求項３から１４いずれか１項記載の画像処理装置。
16. 前記エッジライン検出部が、各前記エッジラインに対応するエッジライン候補を検出するために用いた分光推定画像信号の各波長の情報を深さ情報としてそれぞれ前記各エッジラインに付加するものであり、
    前記表示信号生成部が、前記各エッジラインに付加された深さ情報に基づいて、前記各エッジラインについてそれぞれ異なる表示信号を生成するものであることを特徴とする請求項３から１５いずれか１項記載の画像処理装置。
17. 前記エッジライン検出部が、各前記エッジラインに対応するエッジライン候補を検出するために用いた分光推定画像信号の各波長の情報を深さ情報としてそれぞれ前記各エッジラインに付加するものであり、
    前記表示信号生成部が、前記各エッジラインに付加された深さ情報をスプライン曲線で補間した画像を表す表示信号を生成するものであることを特徴とする請求項３から１５いずれか１項記載の画像処理装置。