JP2010200940A

JP2010200940A - 画像処理装置および内視鏡装置

Info

Publication number: JP2010200940A
Application number: JP2009049148A
Authority: JP
Inventors: Kentaro Matsumoto; 健太郎松本
Original assignee: Hoya Corp
Current assignee: Hoya Corp
Priority date: 2009-03-03
Filing date: 2009-03-03
Publication date: 2010-09-16
Anticipated expiration: 2029-03-03
Also published as: JP5388630B2

Abstract

【課題】ノイズを抑えながら、輪郭部分を十分に強調した視認性の良い観察画像を得る。
【解決手段】カラーフィルタを配設したＣＣＤを有するビデオスコープによって器官粘膜表面などの被写体を撮像するとき、フィルタ係数によって画像信号に対しフィルタリング処理を実行する。このとき、直流成分、ナイキスト周波数成分、１／２ナイキスト周波数成分を相対的に低減するとともに、１／４、３／４ナイキスト周波数成分を相対的に増幅する。
【選択図】図３

Description

本発明は、観察画像の輪郭強調など視認性を向上させる画像処理を行う画像処理装置および内視鏡装置に関し、特に、フィルタリング処理に関する。

電子内視鏡装置などでは、観察画像の細部模様あるいは輪郭を強調するため、画像信号に対して高周波成分の増幅処理を行う。例えば、局所的なエリアの平均値を算出し、ハイパスフィルタ処理によって注目画素と平均値との差分を求め、差分値にゲイン値を乗じる（特許文献１参照）。これにより、高周波成分の輪郭部分（エッジ部分）が強調される。

また、器官壁の毛細血管像など粘膜表面の微細模様をコントラスト豊かな画像にするため、あるいは患部のわずかな色変化を明確にするため、画像信号の各周波数成分に対して重み付け係数を乗じ、その積和を演算する（特許文献２参照）。強調したい部分の周波数帯域の重み付けを相対的に大きくすることにより、患部診断に必要な画像領域が明確になる。一方、ノイズのある周波数成分の重み付けを小さく設定することにより、ノイズ成分が抑えられる。

特開２００７−３０６９８２号公報特開２０００−１４８９８７号公報

ハイパスフィルタ処理によって高周波成分を増幅すると、高周波成分ノイズも増幅してしまい、ノイズ成分の多い画像が生成される。一方、注目する観察対象の周波数成分に応じて重み付けを行うフィルタリング処理では、撮像素子など撮像システムに起因する画面全体的なノイズを抑えることが難しい。また、注目する観察対象にのみ強調処理が行われるため、観察画像全体のコントラストを十分上げることが難しい。

本発明の画像信号処理装置は、オンチップカラーフィルタなどのカラーフィルタを配設させた撮像素子から読み出される被写体像の画像信号に対して強調処理あるいは抑制処理を実行する装置である。画像信号処理装置は、１／２ナイキスト周波数成分より大きい帯域成分（ここでは、中高域周波数成分という）を相対的に増幅する一方、１／２ナイキスト周波数成分を相対的に低減する強調抑制処理手段と、強調処理および／もしくは抑制処理された画像信号を出力する画像生成手段とを備える。

ここで「相対的に増幅する」とは、他の周波数成分の信号レベルと比べて中高域周波数成分の信号レベルの方が大きくなるように画像強調あるいは抑制処理を行うことを表す。例えば、中高域周波数成分の増幅レベルを他の周波数成分よりも大きくし、あるいは、中高域周波数成分をそのまま通過させる一方でそれ以外の周波数成分の信号レベルを減少させる。

また、「相対的に低減する」とは、他の周波数成分の信号レベルよりも１／２ナイキスト周波数成分の信号レベルの方が小さくなるように画像強調あるいは抑制処理を行うことを表す。例えば、１／２ナイキスト周波数成分の増幅レベルを他の周波数成分の増幅レベルよりも小さくし、あるいは、中高域周波数成分をそのまま通過させる一方で他の周波数成分の信号レベルを減少させる。

本発明では、中高域周波数成分に対して増幅、強調処理が行われる結果、エッジ部分、すなわち観察画像の輪郭が強調処理される。その一方で、１／２ナイキスト周波数成分を相対的に低減することにより、カラーフィルタ配設型撮像素子に起因するノイズ成分が抑えられ、画質の低下を防ぐ。エッジ部分など高周波成分だけを強調するため、強調抑制処理手段は、画像信号の直流成分を、低中域周波数成分に対して相対的に低減するのが望ましい。

人間の視覚は、１／４ナイキスト周波数から１／２ナイキスト周波数の範囲にある帯域成分（ここでは、低中域周波数成分という）に関して感度特性が強く、特に１／４ナイキスト周波数成分付近は、観察画像全体の明度、コントラストの知覚に大きな影響を与える。したがって、強調抑制処理手段は、低中域周波数成分を、１／２ナイキスト周波数成分に対して相対的に増幅するのが望ましい。特に、低中域周波数成分の中で１／４ナイキスト周波数成分を最も増幅するのがよい。

また、強調抑制処理手段は、画像信号のナイキスト周波数成分を、中高域周波数成分に対して相対的に低減してもよい。

また、強調抑制処理手段は、加重移動平均を用いて強調、抑制処理（デジタルフィルタ処理）を行うのが好ましく、１／４ナイキスト周波数成分から１／２ナイキスト周波数成分に向けて、低中域周波数成分を徐々に低減させてもよい。

同様に、強調抑制処理手段が、画像信号の１／４ナイキスト周波数成分から直流成分に向けて、低中域周波数成分を徐々に低減させてもよい。

強調抑制処理手段は、増幅特性分布曲面に従って、１／２ナイキスト周波数成分を抑制し、１／４ナイキスト周波数成分を増幅する。このナイキスト特性分布曲面では、１／２ナイキスト周波数成分およびナイキスト周波数成分のゲイン値を極小値、１／４ナイキスト周波数成分および３／４ナイキスト周波数成分を極大値とし、ゲイン値が徐々に増加もしくは減少する。

強調抑制処理手段が、デジタルフィルタによる畳み込み積分を実行する場合、以下の式に示したゲイン付き行列フィルタによって演算するのがよい。ゲイン付き行列フィルタＧを使用すると、行列内の僅かな２，３の要素を対象に演算するだけでフィルタ処理が実行され、演算回路が小規模で済む。

Ｇ＝｛ｍＨ−（ｍ−１）｝｛ｇＴ×ｇ｝

ただし、ｇ＝[ｇ（−ｎ）、ｇ（−ｎ＋１）、・・・、ｇ（ｎ−１）、ｇ（ｎ）]
＝ｆ（ｋ）／ｓ（ｋは、−ｎ≦ｋ≦ｎを満たす整数）

ｆ（ｋ）＝ｆ０（ｋ）＋ｆ１（ｋ）＋ｆ２（ｋ）
ｆ０（ｋ）＝ｃｏｓ（ｋπ＊（０／２））
ｆ１（ｋ）＝２ｃｏｓ（ｋπ＊（１／２））
ｆ２（ｋ）＝ｃｏｓ（ｋπ＊（２／２））
ｓ＝Σｆ（ｔ）（ｔは、−ｎ≦ｔ≦ｎを満たす整数）
ｎ＝（Ｎ−１）／２

なお、Ｎは、演算対象のピクセルエリアのサイズ（一方向のピクセル数）を示し、ｍは所定のゲイン値を示す。Ｈは、Ｇと同じ行列サイズ（Ｎ×Ｎ）であって、中心値のみ１、他は０の値である行列を表す。Ｔは転置を表す。つまり、ｇＴは、行ベクトルｇを転置した列ベクトルである。

また、ナイキスト周波数成分のノイズを抑制するため、強調抑制処理手段は、以下の式に示すゲイン付き行列フィルタＧ’に入力画像を畳み込み積分するのがよい。

Ｇ’＝Ｇ−ｏＴ×ｆ２（ｋ）／ｓ² ・・・・・（５）

ｏは、ｆ（ｔ）と同じ要素数ですべての要素が１である行ベクトルを表し、ｏＴはｏを転置した列ベクトルを表す。

一般に電荷転送する撮像素子の場合、水平方向に沿ったナイキスト周波数の縦縞模様ノイズが生じやすい。このノイズを積極的に除去するため、画像信号のナイキスト周波数成分を、１／２ナイキスト周波数成分よりも低減するのが望ましい。

本発明の画像信号処理方法は、カラーフィルタを配設させた撮像素子から読み出される被写体像の画像信号に関し、１／２ナイキスト周波数成分より大きい中高域周波数成分を相対的に増幅する一方、１／２ナイキスト周波数成分を相対的に低減し、強調処理および／もしくは抑制処理された画像信号を出力することを特徴とする。

本発明の内視鏡装置は、カラーフィルタを受光面上に配設させた撮像素子を有するスコープと、撮像素子から読み出される画像信号に基づいて観察画像の映像信号を生成する画像信号処理手段とを備え、画像信号処理手段が、画像信号における１／２ナイキスト周波数成分より大きい中高域周波数成分を相対的に増幅する一方、１／２ナイキスト周波数成分を相対的に低減することを特徴とする。

このように本発明によれば、ノイズを抑えながら、輪郭部分を十分に強調した視認性の良い観察画像を得ることができる。

第１の実施形態である電子内視鏡装置のブロック図である。画像信号処理回路のブロック図である。ナイキスト特性フィルタによる通過／増幅特性を示したグラフである。ナイキスト周波数に応じた１ピクセルごとの縦縞模様ノイズがないサンプル画像を示した図である。縦縞模様ノイズのあるサンプル画像を示した図である。縦縞模様ノイズを含む器官内壁モデルの撮影画像を示した図である。第２の実施形態におけるゲイン付きフィルタ行列の増幅特性を示した図である。第２の実施形態におけるナイキスト周波数に応じた１ピクセルごとの縦縞模様ノイズがないサンプル画像を示した図である。第２の実施形態における縦縞模様ノイズのあるサンプル画像を示した図である。第２の実施形態における縦縞模様ノイズを含む器官内壁モデルの撮影画像を示した図である。

以下では、図面を参照して本実施形態であるカプセル型内視鏡および電子内視鏡装置について説明する。

図１は、第１の実施形態である電子内視鏡装置のブロック図である。

電子内視鏡装置は、ＣＣＤ１４を先端部に設けたビデオスコープ１０とプロセッサ２０とを備える。ビデオスコープ１０はプロセッサ２０に着脱自在に接続され、プロセッサ２０にはモニタ４０が接続される。

プロセッサ２０内のランプ２８から放射された光は、ビデオスコープ１０内に設けられたライトガイド１２の入射端１２Ａに入射し、ライトガイド１２を通ってスコープ先端部１０Ａから射出する。これにより、観測部位に光が照射される。

観測部位において反射した光は、スコープ先端部１０の対物レンズ（図示せず）を通過し、これにより被写体像がＣＣＤ１４の受光面に形成される。本実施形態では、カラー撮像方式として単板同時式が適用されており、イエロー（Ｙｅ），シアン（Ｃｙ），マゼンダ（Ｍｇ）、グリーン（Ｇ）の色要素をモザイク状に並べた補色フィルタ１５がＣＣＤ１４の受光面上において各画素と対向するように配設されている。あるいは、補色フィルタとしてＲ，Ｇ、Ｂの色要素をモザイク上に並べてもよい。

ＣＣＤ１４では、１フィールド分の一連の画素信号が所定時間間隔（例えば、１／６０秒）で読み出される。読み出された画素信号は、プロセッサ２０内の初期回路２２へ送られる。初期回路２２では、一連の画素信号に対してノイズ除去、Ａ／Ｄ変換が施される。

画像信号処理回路２４では、Ｒ，Ｇ，Ｂデジタル画像信号が生成されるとともに、Ｒ，Ｇ，Ｂデジタル信号に対してホワイトバランス調整、ガンマ補正、デジタルフィルタ処理などが施され、映像信号が生成される。映像信号は、後段処理回路２６を経てモニタ４０へ出力される。これにより、フルカラーの観察画像がモニタ４０に表示される。

ＣＰＵ、ＲＯＭなどを含むシステムコントロール回路３４は、プロセッサ２０の動作を制御し、画像信号処理回路３２等へ制御信号を出力する。ＲＯＭには、プロセッサ２０の動作を制御するプログラムが格納されている。画像信号処理回路２４は、ＰＧＡ（Programmable Gate Array）などプログラム可能な信号処理回路として構成されている。

図２は、画像信号処理回路２４に設けられたデジタルフィルタのブロック図である。ここでは、デジタルフィルタ処理に関係する構成のみ図示している。

デジタルフィルタ２５は、特定の周波数成分を増幅あるいは抑制するフィルタ（以下、ナイキスト特性フィルタという）４２を備える。ナイキスト特性フィルタ４２は、加重移動平均（Weighted Moving Average）を考慮したフィルタ係数Ｇに従い、周波数成分毎に強調（増幅）あるいは抑制処理を画像信号に対して行う。強調および抑制処理は、生成されたＲ，Ｇ，Ｂ信号それぞれに対して行われる。

デジタルフィルタ処理においては、観察時に視覚上重要な周波数成分を増幅する一方、ノイズの多い周波数成分を抑制する。具体的には、直流成分、ナイキスト周波数成分をそのまま通過させる一方（１倍）、１／２ナイキスト周波数付近の帯域成分を増幅せず、１／４および３／４ナイキスト周波数付近の帯域成分を増幅する。ナイキスト特性フィルタ４２によってフィルタリング処理された画像信号は、演算子４３においてゲイン調整される。

図３〜図６を用いて、デジタルフィルタ２５における通過／増幅特性について説明する。

図３は、フィルタの通過／増幅特性を示したグラフである。

図３に示す鞍型の増幅特性曲面Ｌは、２次元画面の水平方向、垂直方向に沿った各周波数成分に対する増幅特性をプロットすることによって得られる分布曲面であり、ゲイン値（０＜α＜５）を大きさが周波数成分によって変化する３次元的曲面で構成される。水平、垂直方向周波数の単位は、サイクル／ピクセルであり、ナイキスト周波数は０．５に相当する。また、直流成分は０の周波数成分として定められる。

水平方向の増幅特性について説明すると、直流成分、１／２ナイキスト周波数（０．２５サイクル／ピクセル）ではゲイン値が１倍であり、そのままフィルタを通過する。一方、１／４ナイキスト周波数、３／４ナイキスト周波数における信号成分は増幅される（ゲイン値は４倍）。

周波数成分のゲイン値を見ると、直流成分から１／４ナイキスト周波数まで徐々に増加し、１／４ナイキスト周波数を過ぎると１／２ナイキスト周波数まで徐々に減少する。そして、１／２ナイキスト周波数を超えると再び３／４ナイキスト周波数まで増加し、ナイキスト周波数に向けて減少していく。垂直方向に関しても同様な分布になる。

この増幅特性は、加重移動平均、すなわち一連の系列的なピクセルデータに対して重み付けを変える演算処理に従って導かれている。低周波数、中域周波数、広域周波数毎に分けて重み付けするのではなく、０、１／４ナイキスト周波数、１／２ナイキスト周波数、３／４ナイキスト周波数、ナイキスト周波数の間で加重移動平均的な重み付けによってゲイン値を徐々に増加、あるいは減少させる。

したがって、増幅特性曲面Ｌは、直流成分、１／２ナイキスト周波数成分、ナイキスト周波数成分のゲイン値が極小値、１／４ナイキスト周波数、３／４ナイキスト周波数成分のゲイン値が極大値となる曲面を形成している。垂直方向に沿った増幅特性も水平方向に沿った増幅特性と同じであり、１／２ナイキスト周波数、１／４、３／４ナイキスト周波数に関して対称的鞍型曲面を形成している。

図３に示した増幅特性を得るためのフィルタ係数について、以下説明する。ここでは、Ｎ×Ｎピクセルのエリアをフィルタリング処理対象とし、画像信号の増幅、抑制処理を行う。また、ゲイン付きフィルタリング処理を実行するフィルタ係数を定め、ゲイン値を乗じる演算と周波数成分の増幅、抑制処理は一体化しているものとする。

デジタルフィルタ２５の入力画像をｐ、出力画像をｑ、ゲイン付きフィルタ係数（行列）をＧと定めると、出力画像は、以下の式によって得られる。

ｑ＝ｐ＊Ｇ
＝ｐ＊[ｍＨ−（ｍ−１）Ｓ] ・・・・・・・（１）

＊は畳み込み積分を表し、ｍは所定のゲイン値を示す。また。行列Ｓは、ナイキスト周波数に関連する周波数成分を抽出するＮ×Ｎ正方行列であり、Ｈは、Ｇと同じ行列サイズ（Ｎ×Ｎ）であって、中心値のみ１、他は０の値である行列を表す。

フィルタ係数Ｇは、図３の増幅特性を入力画像に対して生じさせるフィルタ行列であり、（２）式は以下の式と同等の演算機能を有する。

ｑ＝ｐ＊Ｓ＋ｍ（ｐ−ｐ＊Ｓ）・・・・・・（２）

（２）式は、加重移動平均との差分（ｐ−ｐ＊Ｓ）に対してゲイン値ｍを乗じ、ゲイン調整された画像信号と原画像信号とを合成する式であり、（２）式を展開することで（１）式が得られる。Ｈは、入力画像をそのまま出力させる行列であるため、入力画像に対して増幅、抑制処理を行わない。

出力画像の増幅特性を決定づけるフィルタ行列Ｓは、以下の式によって求められる。

Ｓ＝ｇＴ×ｇ・・・・・・（３）

ただし、ｇ＝ｇ（ｋ）
＝[ｇ（−ｎ）、ｇ（−ｎ＋１）、・・・ｇ（ｎ−１）、ｇ（ｎ）]

ｇ（ｋ）は行ベクトルであり、−ｎ≦ｋ≦ｎを満たす整数ｋによる各要素を並べた行ベクトルである（ただし、ｎ＝（Ｎ−１）／２）。ｇと、それを転置した列ベクトルｇＴとの積により、画面の水平方向、垂直方向に沿って２次元的なフィルタ処理を行う行列Ｓが得られる。

そして、行ベクトルｇは、以下の式によって求められる。ただし、ここでの記号“＊”は、スカラー同士のかけ算を表す。

ｇ＝ｆ（ｋ）／ｓ・・・・・・（４）

ただし、
ｆ（ｋ）＝ｆ０（ｋ）＋ｆ１（ｋ）＋ｆ２（ｋ）
ｆ０（ｋ）＝ｃｏｓ（ｋπ＊（０／２））
ｆ１（ｋ）＝２ｃｏｓ（ｋπ＊（１／２））
ｆ２（ｋ）＝ｃｏｓ（ｋπ＊（２／２））
ｓ＝ｆ（−ｎ）＋ｆ（−ｎ＋１）＋・・・・＋ｆ（ｎ−１）＋ｆ（ｎ）
＝Σｆ（ｔ）（ｔは、−ｎ≦ｔ≦ｎを満たす整数）

ｆ０（ｋ）は、直流成分を通過させるフィルタ要素であり、ｆ２（ｋ）はナイキスト周波数成分を通過させるフィルタ要素である。一方、ｆ１（ｋ）は中域〜高域の周波数成分を通過させるフィルタ要素であるが、１／２ナイキスト周波数成分を最もよく通過させる。ｆ０（ｋ）、ｆ１（ｋ）、ｆ２（ｋ）の総和により、１／４および３／４ナイキスト周波数成分が相対的に低減させられる。

また、フィルタ行列Ｓは、加重移動平均の演算機能を有し、周波数成分の増減に応じて増幅度の大きさを徐々に変化させている。ここでは、１／２ナイキスト周波数成分から１／４、あるいは３／４ナイキスト周波数成分に向けて通過させる周波数成分の増幅度（ゲイン値）が徐々に大きくなる。さらに、１／４、３／４ナイキスト周波数成分から直流成分、ナイキスト周波数成分に向けて通過させるゲイン値は徐々に小さくなる。

このようなフィルタ特性を有するフィルタ行列Ｓにより、１／２ナイキスト周波数成分、直流成分、ナイキスト周波数成分が増幅抽出される一方、１／４および３／４ナイキスト周波数成分が増幅抽出されない。

ところで、（１）式から明らかなように、フィルタ行列を通過した周波数成分を入力画像から取り除くことで、強調処理あるいは抑制処理された画像信号が生成される。したがって、ゲイン付きフィルタ行列Ｇは、直流成分、１／２ナイキスト周波数成分、およびナイキスト周波数成分を増幅せず、そのまま通過させる。その一方、１／４、３／４ナイキスト周波数成分をゲイン値ｍに従って増幅する。

１／４ナイキスト周波数成分は、視覚にとって重要な周波数成分であり、１／４ナイキスト周波数成分を増幅させることによって画像全体の視認性が良くなる。すなわち、エッジ部分など高周波数成分を単に増加させるのではなく、低〜中域周波数成分、特に１／４ナイキスト周波数成分付近をできるだけ増幅させることにより、画像全体の視認性が向上する。

また、１／２ナイキスト周波数成分には、オンチップ型カラーフィルタ１５を設けている撮像素子１４に特有のノイズが含まれる。このノイズ成分は、撮像素子から読み出される画像信号に対して色補間処理を行うときに生じる。しかしながら、フィルタ係数Ｇは、１／２ナイキスト周波数成分を増幅させない。その結果、ノイズ成分が観察画像において目立つことなく、高画質の観察画像を得ることができる。

このように高画質、かつ輪郭強調を施した観察画像を生成可能にするゲイン付きフィルタ係数Ｇは、注目画素を含む処理対象エリア（加重移動平均対象エリア）のサイズＮ、ゲイン値ｍを具体的に定めることによって規定される。ただし、Ｎ＝８ｕ＋１（ｕは正の整数）に定められる。

例えば、対象エリアサイズＮ＝９、ゲイン値ｍ＝４と設定すると、フィルタ係数Ｇは以下のように表される。

図４〜６を用いて、試験的に用意した画像のフィルタ処理前、フィルタ処理後について説明する。ここでは、Ｒ、Ｇ、Ｂのカラーフィルタを配設した４００×４００ピクセルのＣＣＤを使用し、Ｎ＝１１、ｍ＝４の上記ゲイン付きフィルタ行列Ｇを用いて輪郭強調処理を行っている。

図４は、ナイキスト周波数に応じた１ピクセルごとの縦縞模様ノイズがないサンプル画像を示した図である。図５は、縦縞模様ノイズのあるサンプル画像を示した図である。図６は、縦縞模様ノイズを含む器官壁モデルの撮影画像を示した図である。

図４から明らかなように、高周波成分に応じたエッジ部分が強調されることで、文字「Ａ」、「Ｂ」、「Ｃ」の輪郭が明確に視認される。また、１／２ナイキスト周波数成分を増幅していないため、撮像素子１４に特有のノイズも抑えられている。そして、１／４ナイキスト周波数成分を増幅させているため、画像全体が視認しやすい。

一方、縦縞模様ノイズはフィルタ処理によって増幅されておらず（図５参照）、ノイズ成分の増幅が抑えられている。図６の観察画像についても同じである。

このように本実施形態によれば、フィルタ係数Ｇによって画像信号に対しフィルタリング処理を実行し、直流成分、ナイキスト周波数成分、１／２ナイキスト周波数成分を相対的に低減するとともに、１／４、３／４ナイキスト周波数成分を相対的に増幅する。このように低周波数から高周波数成分に渡って増減を繰り返す特異な増幅特性により、ノイズを抑制しながら輪郭を強調したコントラストある観察画像を得ることができる。

上記フィルタ係数Ｇの具体例で示したように、フィルタ係数Ｇは２種類、９点のデータしか存在せず、それ以外は０に設定される。そのため、９×９＝８１ピクセルの平均値を計算する必要が無い上、周囲８点の合計に−３を乗じ、中央の値に３３を乗じたものを加算するだけなので、乗算処理も少ないので、演算処理に負担がかからず、内視鏡装置に実装する演算回路も軽装にできる。その一方、ノイズ成分を確実に除去し、輪郭強調された視認性の良い観察画像を得ることができる。

増幅特性は、図３に示す分布曲面Ｌ以外でもよく、１／４ナイキスト周波数から１／２ナイキスト周波数成分に向けたゲイン値の減少程度、１／２ナイキスト周波数から３／４ナイキスト周波数に向けてゲイン値の増幅程度を変えてもよい。また、１／４、３／４ナイキスト周波数成分のゲイン値をさらに大きく、あるいは小さくしてもよい。

次に、図７〜図１０を用いて、第２の実施形態である電子内視鏡装置について説明する。第２の実施形態では、水平ナイキスト周波数成分を、直流成分、および１／２ナイキスト周波数成分と比べてさらに低減する。それ以外の構成については、実質的に第１の実施形態と同じである。

図７は、第２の実施形態におけるゲイン付きフィルタ行列の増幅特性を示した図である。

図７に示すように、増幅特性を示す分布曲面ＬＬは、第１の実施形態と同様に、１／４、３／４ナイキスト周波数成分を極小値、１／２ナイキスト周波数成分を極大値とする曲面を構成するが、水平ナイキスト周波数成分においてゲイン値が０に近い値に設定される。これにより、縦縞模様ノイズを低減することができる。垂直ナイキスト周波数成分については、第１の実施形態と同じであって、増幅せずにそのまま通過させる。

図７に示す増幅特性曲面分布ＬＬによって特徴づけられるフィルタ行列をＧ’とすると、以下の式によって求められる。

Ｇ’＝Ｇ−ｏＴ×ｆ２（ｋ）／ｓ² ・・・・・（５）

ただし、ｏは、ｆ（ｔ）と同じ要素数ですべての要素が１である行ベクトルを表し、ｏＴはｏを転置した列ベクトルを表す。

例えば、Ｎ＝１１、ｍ＝４の場合、フィルタ行列Ｇ’は以下のように定められる。

フィルタ行列Ｇ’においても、−１／１４４、１／１４４、４９／１４４、５２７／１４４以外はすべて１の値であるため、回路規模を増幅することなく、フィルタ演算処理を迅速に行うことができる。

図８〜１０を用いて、フィルタ処理前、フィルタ処理後の試験画像の変化について説明する。第２の実施形態においても、第１の実施形態同様のＣＣＤ特性であり、上記ゲイン付きフィルタ行列Ｇ’を用いて輪郭強調処理を行っている。

図８は、ナイキスト周波数に応じた１ピクセルごとの縦縞模様ノイズがないサンプル画像を示した図である。図９は、縦縞模様ノイズのあるサンプル画像を示した図である。図１０は、縦縞模様ノイズを含む器官壁モデルの撮影画像を示した図である。

図８から明らかなように、高周波成分に応じたエッジ部分を強調する処理が行われており、文字「Ａ」、「Ｂ」、「Ｃ」の輪郭が明確に視認される。さらに、ナイキスト周波数成分を低減しているため、縦縞模様ノイズ成分が除去される（図９、１０参照）。

１０ビデオスコープ
１４ＣＣＤ（撮像素子）
１５カラーフィルタ
２０プロセッサ
２５デジタルフィルタ
４２ナイキスト特性フィルタ

Claims

カラーフィルタを配設させた撮像素子から読み出される被写体像の画像信号に関し、１／２ナイキスト周波数成分より大きい中高域周波数成分を相対的に増幅する一方、１／２ナイキスト周波数成分を相対的に低減する強調抑制処理手段と、
強調抑制処理された画像信号を出力する画像生成手段と
を備えたことを特徴とする画像信号処理装置。
前記強調抑制処理手段が、１／２ナイキスト周波数未満であって１／４ナイキスト周波数を含む低中域周波数成分を、１／２ナイキスト周波数成分に対して相対的に増幅することを特徴とする請求項１に記載の画像信号処理装置。
前記強調抑制処理手段が、前記低中域周波数成分の中で１／４ナイキスト周波数成分を最も増幅することを特徴とする請求項２に記載の画像信号処理装置。
前記強調抑制処理手段が、画像信号のナイキスト周波数成分を、前記中高域周波数成分に対して相対的に低減することを特徴とする請求項１乃至３のいずれかに記載の画像信号処理装置。
前記強調抑制処理手段が、画像信号の直流成分を、前記低中域周波数成分に対して相対的に低減することを特徴とする請求項２乃至４のいずれかに記載の画像信号処理装置。
前記強調抑制処理手段が、１／４ナイキスト周波数成分から１／２ナイキスト周波数成分に向けて、前記低中域周波数成分を徐々に低減させていくことを特徴とする請求項２乃至５のいずれかに記載の画像信号処理装置。
前記強調抑制処理手段が、１／４ナイキスト周波数成分から直流成分に向けて、前記低中域周波数成分を徐々に低減させていくことを特徴とする請求項２乃至６のいずれかに記載の画像信号処理装置。
前記強調抑制処理手段が、ナイキスト周波数成分を、１／２ナイキスト周波数成分よりも低減することを特徴とする請求項１乃至７のいずれかに記載の画像信号処理装置。
前記強調抑制処理手段が、１／２ナイキスト周波数成分およびナイキスト周波数成分のゲイン値を極小値、１／４ナイキスト周波数成分および３／４ナイキスト周波数成分を極大値とし、ゲイン値が徐々に増加もしくは減少する増幅特性を水平、垂直周波数成分ごとに表した増幅特性分布曲面に従って、１／２ナイキスト周波数成分を抑制し、１／４ナイキスト周波数成分を増幅することを特徴とする請求項１乃至８のいずれかに記載の画像信号処理装置。
強調抑制処理手段が、入力画像をゲイン付きフィルタに対して畳み込み積分するデジタルフィルタを有することを特徴とする請求項１乃至１０のいずれかに記載の画像信号処理装置。
前記強調抑制処理手段が、以下の式に示すゲイン付き行列フィルタＧに入力画像を畳み込み積分することを特徴とする請求項１０に記載の画像信号処理装置。

Ｇ＝｛ｍＨ−（ｍ−１）｝｛ｇＴ×ｇ｝

ただし、ｇ＝[ｇ（−ｎ）、ｇ（−ｎ＋１）、・・・ｇ（ｎ−１）、ｇ（ｎ）]
＝ｆ（ｋ）／ｓ（ｋは、−ｎ≦ｋ≦ｎを満たす整数）
ｆ（ｋ）＝ｆ０（ｋ）＋ｆ１（ｋ）＋ｆ２（ｋ）
ｆ０（ｋ）＝ｃｏｓ（ｋπ＊（０／２））
ｆ１（ｋ）＝２ｃｏｓ（ｋπ＊（１／２））
ｆ２（ｋ）＝ｃｏｓ（ｋπ＊（２／２））
ｓ＝Σｆ（ｔ）（ｔは、−ｎ≦ｔ≦ｎを満たす整数）
ｎ＝（Ｎ−１）／２

Ｎは、演算対象のピクセルエリアのサイズを示し、ｍは所定のゲイン値を示す。Ｔは、行ベクトルを列ベクトルに変換する転置行列を表し、Ｈは、Ｇと同じ行列サイズであって、中心値のみ１、他は０の値である行列を表す。
前記強調抑制処理手段が、以下の式に示すゲイン付き行列フィルタＧ’に入力画像を畳み込み積分することを特徴とする請求項１０に記載の画像信号処理装置。

Ｇ’＝Ｇ−ｏＴ×ｆ２（ｋ）／ｓ² ・・・・・（５）

ただし、
Ｇ＝｛ｍＨ−（ｍ−１）｝｛ｇＴ×ｇ｝
ｇ＝[ｇ（−ｎ）、ｇ（−ｎ＋１）、・・・ｇ（ｎ−１）、ｇ（ｎ）]
＝ｆ（ｋ）／ｓ（ｋは、−ｎ≦ｋ≦ｎを満たす整数）
ｆ（ｋ）＝ｆ０（ｋ）＋ｆ１（ｋ）＋ｆ２（ｋ）
ｆ０（ｋ）＝ｃｏｓ（ｋπ＊（０／２））
ｆ１（ｋ）＝２ｃｏｓ（ｋπ＊（１／２））
ｆ２（ｋ）＝ｃｏｓ（ｋπ＊（２／２））
ｓ＝Σｆ（ｔ）（ｔは、−ｎ≦ｔ≦ｎを満たす整数）
ｎ＝（Ｎ−１）／２

Ｎは、演算対象のピクセルエリアのサイズを示し、ｍは所定のゲイン値を示す。Ｔは、行ベクトルを列ベクトルに変換する転置行列を表し、Ｈは、Ｇと同じ行列サイズであって、中心値のみ１、他は０の値である行列を表す。また、ｏは、ｆ（ｔ）と同じ要素数ですべての要素が１である行ベクトルを表し、ｏＴはｏを転置した列ベクトルを表す。
カラーフィルタを配設させた撮像素子から読み出される被写体像の画像信号に関し、１／２ナイキスト周波数成分より大きい中高域周波数成分を相対的に増幅する一方、１／２ナイキスト周波数成分を相対的に低減し、
強調処理もしくは抑制処理された画像信号を出力することを特徴とする画像信号処理方法。
カラーフィルタを受光面上に配設させた撮像素子を有するスコープと、
前記撮像素子から読み出される画像信号に基づいて観察画像の映像信号を生成する画像信号処理手段とを備え、
前記画像信号処理手段が、画像信号における１／２ナイキスト周波数成分より大きい中高域周波数成分を相対的に増幅する一方、１／２ナイキスト周波数成分を相対的に低減することを特徴とする内視鏡装置。