JP2009195461A - 内視鏡装置および画像信号処理装置 - Google Patents

Abstract

【課題】撮像素子のノイズ特性に基づいて、適切なノイズ除去、エンハンス処理を常に行う。
【解決手段】内視鏡装置においてホワイトバランス調整が行われるとき、画像信号に含まれるノイズのスペクトル分布を検出し、ランダムノイズの周波数帯域に応じたフィルタを設定する（Ｓ１０２）。そして、ノイズ低減された後の画像信号に含まれる残存ノイズに基づいて、エンハンスカーブを設定する（Ｓ１０７）。その後、観察、処置等の作業において、ノイズ除去回路は設定されたフィルタに基づきノイズ低減処理を実行し、エンハンス回路は、設定されたエンハンスカーブに基づいてエンハンス処理を行う。
【選択図】図２

Description

本発明は、ビデオスコープを用いて胃、消化管などを観察する内視鏡装置、あるいはカメラなど、撮像素子を備えた撮像装置に関し、特に、ノイズ低減、エンハンスに関する画像信号処理に関する。

内視鏡装置、撮像装置では、撮像素子から読み出される画像信号のノイズを取り除くため、ノイズ低減回路が設けられる（例えば、特開２００６−３１４５０４号公報）。ランダムノイズの場合、ノイズの周波数帯域に応じたフィルタによってノイズを抽出する。また、画素欠損などによる固定パターンノイズの場合、巡回形フィルタなどによってノイズが低減される。

一方、画像の輪郭強調処理（エンハンス処理）を行う場合、ノイズレベルに応じてエンハンスの強弱を調整することができる（例えば、特開平１１−１１２８３８号公報）。また、輝度レベルに応じてエンハンス処理を制御することも可能である（例えば、特開平６−１８１９２６号公報）。
特開２００３−５２６２５号公報 特開平１１−１１２８３８号公報 特開平６−１８１９２６号公報

画像信号のノイズ特性は、撮像素子の種類によって異なり、例えばＣＣＤとＣＭＯＳではノイズのスペクトル分布（周波数分布）が一致しない。特に内視鏡の場合、異なるビデオスコープがプロセッサに接続されるため、スコープ機種毎に画像信号のノイズ特性が異なる。また、長期間の使用によって画像信号のノイズ特性が変化しても、あらかじめノイズ低減処理方法が出荷前に固定されてしまうと、ノイズ特性の異なる画像信号に対して同じノイズ低減処理を施すことになり、ノイズを効果的に低減、除去することができない。

また、エンハンス処理についても、例えば内視鏡装置ではスコープの種類によってあらかじめエンハンス強度が決められている。そのため、ノイズ特性、あるいはノイズ特性の変化に合わせてエンハンスを調整できない。画像信号に対して同一のエンハンス処理を施すため、場合によってはノイズの目立つ輪郭強調画像が表示される。

本発明の内視鏡装置は、撮像素子から読み出される画像信号のノイズのスペクトル分布を検出するノイズ検出手段と、ノイズのスペクトル分布に基づいて画像信号のノイズ低減処理方法を設定するノイズ低減設定手段と、設定されたノイズ低減処理方法によるノイズ低減後に残る残存ノイズの量を輝度レベルに応じて検出する残存ノイズ検出手段と、検出された残存ノイズの量に基づき、残存ノイズ量が大きいほどエンハンスレベルを抑えるように各輝度レベルのエンハンスレベルを設定するエンハンス設定手段とを備えたことを特徴とする。例えば、エンハンス設定手段は、残存ノイズの量が大きいほど、エンハンスレベルを抑えたエンハンスカーブを設定する。

このような構成によれば、ノイズ低減処理方法、エンハンスレベルが設定されると、その後に観察、処置等が行われている間、設定されたノイズ低減処理方法に従って画像信号がノイズ低減され、設定されたエンハンスレベルに基づいて画像輪郭強調処理（エンハンス処理）が実行される。

使用されるビデオスコープの撮像素子から読み出される画像信号に基づいてノイズ低減処理方法を設定するため、撮像素子のノイズ特性に合わせたノイズ低減処理が行われる。また、設定されたノイズ低減処理方法によってノイズ低減された画像信号から残存ノイズを検出し、エンハンスレベルを設定するため、ノイズの目立つ輪郭強調処理が行われない。したがって、スコープごとに異なる撮像素子の種類、あるいは経時変化による撮像素子のノイズ特性変化に関係なく、適切なノイズ低減処理方法、エンハンスレベルが設定される。

ノイズ低減設定手段は、例えば、あらかじめ用意した複数のフィルタ（ローパスフィルタ、ハイパスフィルタ、バンドパスフィルタなど）の中からランダムノイズの周波数帯域に応じたフィルタを設定するようにすればよい。また、定期的に設定内容を更新するため、画像信号処理に関する初期パラメータを設定するタイミングに合わせてノイズを検出するように構成すればよい。例えば、白色被写体を用いたホワイトバランス調整時の画像信号を用いて、ノイズ検出、ノイズ低減を行い、ノイズ低減処理方法、エンハンスの設定処理を行うのがよい。

ＭＯＳ型撮像素子、いわゆるＣＭＯＳは、ＣＣＤに比べて固定パターンノイズが多い。そのため、ノイズ低減後の画像信号の固定パターンノイズが所定値以上である場合、固定パターンノイズを低減、除去するように設定する固定パターンノイズ低減設定手段を設けるのがよい。

本発明の画像信号処理装置は、撮像素子から読み出される画像信号のノイズのスペクトル分布を検出するノイズ検出手段と、ノイズのスペクトル分布に基づいて画像信号のノイズ低減処理方法を設定するノイズ低減設定手段と、設定されたノイズ低減処理方法に基づく画像信号のノイズ低減後に残る残存ノイズの量を、輝度レベルに応じて検出する残存ノイズ検出手段と、検出された残存ノイズの量に基づき、残存ノイズ量が大きいほどエンハンスレベルを抑えるように各輝度レベルのエンハンスレベルを設定するエンハンス設定手段とを備えたことを特徴とする。

本発明の画像信号処理装置のプログラムは、撮像素子から読み出される画像信号のノイズのスペクトル分布を検出するノイズ検出手段と、ノイズのスペクトル分布に基づいて画像信号のノイズ低減処理方法を設定するノイズ低減設定手段と、設定されたノイズ低減処理方法に基づく画像信号のノイズ低減後に残る残存ノイズの量を、輝度レベルに応じて検出する残存ノイズ検出手段と、検出された残存ノイズの量に基づき、残存ノイズ量が大きいほどエンハンスレベルを抑えるように各輝度レベルのエンハンスレベルを設定するエンハンス設定手段とを機能させることを特徴とする。

本発明の画像信号処理方法は、撮像素子から読み出される画像信号のノイズのスペクトル分布を検出し、ノイズのスペクトル分布に基づいて画像信号のノイズ低減処理方法を設定し、設定されたノイズ低減処理方法に基づく画像信号のノイズ低減後に残る残存ノイズの量を、輝度レベルに応じて検出し、検出された残存ノイズの量に基づき、残存ノイズ量が大きいほどエンハンスレベルを抑えるように各輝度レベルのエンハンスレベルを設定することを特徴とする。

本発明によれば、撮像素子のノイズ特性に基づいたノイズ低減、エンハンス処理を適宜行うことができる。

以下では、図面を参照して本発明の実施形態について説明する。

図1は第１の実施形態である電子内視鏡装置のブロック図である。

電子内視鏡装置は、ＣＣＤ１２を先端部に設けたビデオスコープ１０とプロセッサ３０とを備える。ビデオスコープ１０はプロセッサ３０に着脱自在に接続され、また、プロセッサ３０にはモニタ６０、およびキーボード（図示せず）が接続される。

プロセッサ２０内のランプ（図示せず）から放射された光は、ビデオスコープ１０内に設けられたライトガイド（図示せず）を通り、スコープ先端部１０Ａから射出する。これにより、観測部位に光が照射される。

観測部位において反射した光は、スコープ先端部１０の対物レンズ１１を通ってＣＣＤ１２の受光面に到達し、これにより被写体像がＣＣＤ１２の受光面に形成される。本実施形態では、カラー撮像方式として単板同時式が適用されており、イエロー（Ｙｅ）、シアン（Ｃｙ）、マゼンダ（Ｍｇ）、グリーン（Ｇ）の色要素をモザイク状に並べた補色フィルタ（図示せず）がＣＣＤ１２の受光面上に配設されている。

ＣＣＤ１２では、ＣＣＤドライバ（図示せず）からの駆動信号によって、１フィールド分の画素信号が所定時間間隔（例えば、１／６０秒）で読み出され、初期回路１６へ送られる。初期回路１６では、画像信号に対して増幅処理、Ａ／Ｄ変換等が施され、デジタル画像信号が生成される。デジタル画像信号は、プロセッサ３０の画像信号処理回路３２へ送られる。

画像信号処理回路３２では、画像信号に対してホワイトバランス調整、マトリクス変換などが施される。ノイズ除去回路３４では、画像信号に含まれるランダムノイズがフィルタによって低減されるとともに、エンハンス回路３６では、撮影画像の輪郭を強調するためのエンハンス処理が実行される。処理された画像信号は映像信号としてモニタ６０へ出力され、フルカラーの観察画像がモニタ６０に表示される。ＣＰＵを含むシステムコントロール回路４０は、プロセッサ３０の動作を制御し、各回路へ制御信号を出力する。制御プログラムは、システムコントロール回路４０のＲＯＭ（図示せず）に格納されている。

ノイズ分析回路３８は、画像信号に含まれるノイズのスペクトル分布（周波数分布）を測定する。システムコントロール回路４０は、測定されたスペクトル分布に基づいてノイズ除去回路３４のフィルタを設定する。一方、固定ノイズ除去回路３５は、画像信号に含まれる固定パターンノイズを巡回形フィルタによって低減する回路であり、画像信号が選択的に固定ノイズ除去回路３５へ送られる。システムコントロール回路４０は、ノイズ除去回路３４における画像信号の出力切り替えを制御する。

プロセッサ３０のフロントパネルに設けられたホワイトバランスボタン４４が操作されると、ホワイトバランス調整が行われる。すなわち、一様な無地白色被写体をスコープ１０によって撮像し、Ｒ、Ｇ、Ｂゲイン値を設定する。そして後述するように、ホワイトバランス調整に続いて、ノイズ除去処理のフィルタ設定、エンハンスカーブの設定が自動的に行われる。メモリ４２には、フィルタ設定、エンハンスカーブに関するデータが格納される。ホワイトバランス調整時は、一般的に一様な無地白色被写体を用いており、その画像信号の成分には被写体像の形状やコントラスト成分が含まれないので、画像信号中のノイズ検出に適している。

一方、フロントパネルに設けられたエンハンス強度ボタン４５は、観察画像の輪郭強調のレベルを段階的に設定するために操作され、オペレータは、（無、弱、中、強）の４段階からエンハンス強度を選択可能である。設定されたエンハンス強度に基づいてエンハンス処理が行われる。

図２は、システムコントロール回路４０によって実行されるフィルタおよびエンハンスカーブ設定処理を示したフローチャートである。図３は、ノイズのスペクトル分布を示した図である。また、図４は、エンハンスカーブを示した図であり、図５は、エンハンスの強度レベルとエンハンスカーブの組み合わせを示した図である。図２〜図５を用いて、ノイズ低減処理方法の設定、エンハンスレベルの設定について説明する。内視鏡作業前にホワイトバランス調整ボタン４４が操作されると、システムコントロール回路４０が操作を検出し、これによって処理が開始される。

ステップＳ１０１では、画像信号に含まれるノイズのスペクトル分布が求められる。図３に示す画像信号ノイズのスペクトル分布、すなわち周波数ごとのノイズ強度分布は、撮像素子１２の種類によってその分布特性が異なる。ステップＳ１０２では、検出されたノイズスペクトル分布に基づき、ノイズレベルの大きい周波数帯域に応じたフィルタが選択される。すなわち、その周波数帯域のノイズを効果的に低減するフィルタが選択される。

ここでは、高周波数帯域のランダムノイズを低減するローパスフィルタ、低周波数帯域のランダムノイズを低減するハイパスフィルタ、その間の周波数帯域のランダムノイズを低減するバンドパスフィルタがあらかじめ用意され、検出されたノイズ周波数帯域に合うフィルタが設定される。設定されたフィルタの種類は、メモリ４２に記憶される。観察、処置中においては、メモリ４２から読み出されたフィルタデータに基づいてノイズ除去回路３４がフィルタを設定し、ノイズ低減処理を行う。

ステップＳ１０３では、設定されたフィルタによりノイズ低減された画像信号に含まれる固定パターンノイズが検出される。固定パターンノイズは、画素欠陥など画素固有のノイズであり、ＭＯＳ型撮像素子は、ＣＣＤなどに比べて固定パターンノイズが多い。ステップＳ１０４では、固定パターンノイズ量が閾値以上であるか否かが判断され、固定パターンノイズが閾値以上ではないと判断されると、ステップＳ１０６へ移る。

一方、固定パターンノイズが閾値以上、すなわち無視できない程固定パターンノイズが存在する場合、ステップＳ１０５において、固定ノイズ除去回路３５を機能させることが決定される。これにより、撮影時には、ノイズ除去回路３４から出力される画像信号は、固定ノイズ除去回路３５へ送られる。

ステップＳ１０６では、エンハンス回路３６に入力される画像信号に基づき、ランダムノイズ低減、もしくはランダムノイズおよび固定ノイズが低減された画像信号に残っているノイズ（以下、残存ノイズという）が輝度レベルごとに検出される。

図４には、オペレータの設定するエンハンス強度の段階に合わせて設定されるエンハンスカーブが図示されている。ここでは、設定可能な４段階のうち、（弱、中）のエンハンスカーブが共通化されている一方、（強）のエンハンスカーブは２つ用意されている。ステップＳ１０７では、検出された残存ノイズの量に基づいて、エンハンスカーブの組み合わせが決定される。

残存ノイズが多い場合、輪郭強調によってノイズが目立つことを防ぐため、パターン２のエンハンスカーブの組み合わせが選択される。その結果、オペレータによってエンハンス強度が（強）に設定された場合、エンハンスレベルが抑えられたエンハンスカーブＣ３によるエンハンス処理が行われる。一方、残存ノイズが小さい場合、エンハンスレベルの高いエンハンスカーブＣ４を含むパターン１のエンハンスカーブ組み合わせが選択される。なお、残存ノイズが所定量以上あるか否かを判断することによって、残存ノイズの多さをここでは検出する。

そして、エンハンスカーブの組み合わせが決定されると、エンハンスカーブの組み合わせに関するデータがメモリ４２に記録される。これにより、観察中、メモリ４２から読み出されたエンハンスカーブの組み合わせデータに基づいてエンハンス処理が施される。

なお、ここでは、エンハンス強度の４段階の中で（強）のときのエンハンスカーブのみ選択する構成であるが、（弱、中）についても、同様に複数のエンハンスカーブを設定してもよい。また、輝度レベルごとの残存ノイズ分布に合わせてエンハンスカーブを生成するように設定してもよい。例えば、中輝度レベルにおいて残存ノイズが多い場合、図４の破線で示す（弱）エンハンスカーブを設定してもよい。

このように本実施形態によれば、ホワイトバランス調整が行われるとき、ホワイトバランス調整に続いて、画像信号に含まれるノイズのスペクトル分布が検出され、ランダムノイズの周波数帯域に応じたフィルタが設定される（Ｓ１０２）。また、固定ノイズパターンが多い場合、撮影中に固定ノイズ低減処理が行われるように設定される（Ｓ１０５）。さらに、ノイズ低減された後の画像信号に含まれる残存ノイズに基づいて、エンハンスカーブが設定される（Ｓ１０７）。その後、観察、処置等の作業において、ノイズ除去回路３４は設定されたフィルタに基づきノイズ低減処理を実行し、エンハンス回路３６は、設定されたエンハンスカーブに基づいてエンハンス処理を行う。

撮像素子から読み出される画像信号のノイズを実際に検出することによってフィルタ選択、エンハンスカーブの設定が行われるため、接続されたビデオスコープの撮像素子の種類、特性に関係なく、観察、処置作業前に、適切なノイズ低減処理方法、エンハンスカーブの設定を行うことができる。また、最も適したノイズ低減処理方法によるノイズ低減後に残る画像信号の残存ノイズを検出してからエンハンスカーブを決定するため、ノイズの目立たない輪郭強調された画像をどのエンハンス強度においても表示することができる。

さらに、長期間内視鏡装置を使用した場合にも、ホワイトバランスボタン４４を操作することによって、ホワイトバランス調整時に、併せてフィルタの選択、エンハンスカーブ設定を適宜更新することができる。そのため、ノイズ測定に適した画像信号が得られると共に、プロセッサ３０に接続されるビデオスコープの交換などにより、撮像素子のノイズ特性が変化しても、それに合わせてノイズ低減処理、エンハンス処理を行うことができる。また、ＭＯＳなど固定パターンノイズが多い撮像素子が使用されている場合、固定ノイズを除去することができる。

ノイズ分析は、輝度、色差信号の代わりにＲＡＷデータを用いてもよい。固定パターンノイズは、巡回形フィルタ以外の方式（例えば、減算式）によって行ってもよい。また、ランダムノイズの低減処理として、フィルタ処理以外の方法で行ってもよい。エンハンス設定処理は、オペレータが段階的に設定する構成の代わりに、自動的に１つのエンハンスカーブを設定してもよい。あるいは、残存レベル量に応じて各輝度レベルのエンハンスレベルを逐次的に決定するように構成してもよい。

ノイズ低減回路、エンハンス回路を、プロセッサの代わりにビデオスコープに設けてもよい。また、ホワイトバランス調整以外の画像信号処理に関するパラメータを設定するタイミングに合わせてフィルタ、エンハンスカーブの設定を行ってもよい。あるいは、専用ボタンの押下によって設定処理を行ってもよい。さらに、内視鏡装置ではなく、撮像、画像信号処理を行う装置に適用してもよい。

本実施形態である電子内視鏡装置のブロック図である。 システムコントロール回路によって実行されるフィルタおよびエンハンスカーブ設定処理を示したフローチャートである。 ノイズのスペクトル分布を示した図である。 エンハンスカーブを示した図である。 エンハンスの強度レベルとエンハンスカーブの組み合わせを示した図である。ノイズのスペクトル分布を示した図である。

符号の説明

１０ ビデオスコープ
１２ ＣＣＤ
３０ プロセッサ
３４ ノイズ除去回路
３５ 固定ノイズ除去回路
３６ エンハンス回路
３８ ノイズ分析回路
４０ システムコントロール回路

Claims (10)

1. 撮像素子から読み出される画像信号のノイズのスペクトル分布を検出するノイズ検出手段と、
   ノイズのスペクトル分布に基づいて画像信号のノイズ低減処理方法を設定するノイズ低減設定手段と、
   設定されたノイズ低減処理方法に基づく画像信号のノイズ低減後に残る残存ノイズの量を、輝度レベルに応じて検出する残存ノイズ検出手段と、
   検出された残存ノイズの量に基づき、残存ノイズ量が大きいほどエンハンスレベルを抑えるように各輝度レベルのエンハンスレベルを設定するエンハンス設定手段と
   を備えたことを特徴とする内視鏡装置。
2. 前記ノイズ低減手段が、ノイズの周波数帯域に応じたフィルタを設定することを特徴とする請求項１に記載の内視鏡装置。
3. 前記エンハンス設定手段が、残存ノイズの量が大きいほど、エンハンスレベルを抑えたエンハンスカーブを設定することを特徴とする請求項１に記載の内視鏡装置。
4. ノイズ低減後の画像信号の固定パターンノイズが所定値以上である場合、固定パターンノイズをさらに除去するように設定する固定パターンノイズ低減設定手段をさらに有することを特徴とする請求項１に記載の内視鏡装置。
5. 前記ノイズ検出手段が、画像信号処理に関する初期パラメータを設定する時にノイズを検出することを特徴とする請求項１に記載の内視鏡装置。
6. 撮像素子を有するビデオスコープに接続可能な内視鏡装置のプロセッサであって、
   前記撮像素子から読み出される画像信号のノイズのスペクトル分布を検出するノイズ検出手段と、
   ノイズのスペクトル分布に基づいて画像信号のノイズ低減処理方法を設定するノイズ低減設定手段と、
   設定されたノイズ低減処理方法に基づく画像信号のノイズ低減後に残る残存ノイズの量を、輝度レベルに応じて検出する残存ノイズ検出手段と、
   検出された残存ノイズの量に基づき、残存ノイズ量が大きいほどエンハンスレベルを抑えるように各輝度レベルのエンハンスレベルを設定するエンハンス設定手段と
   を備えたことを特徴とする内視鏡装置のプロセッサ。
7. 前記ノイズ検出手段が、ホワイトバランス調整時の画像信号に基づいてノイズのスペクトル分布を検出することを特徴とする請求項６に記載の内視鏡装置のプロセッサ。
8. 撮像素子から読み出される画像信号のノイズのスペクトル分布を検出するノイズ検出手段と、
   ノイズのスペクトル分布に基づいて画像信号のノイズ低減処理方法を設定するノイズ低減設定手段と、
   設定されたノイズ低減処理方法に基づく画像信号のノイズ低減後に残る残存ノイズの量を、輝度レベルに応じて検出する残存ノイズ検出手段と、
   検出された残存ノイズの量に基づき、残存ノイズ量が大きいほどエンハンスレベルを抑えるように各輝度レベルのエンハンスレベルを設定するエンハンス設定手段と
   を備えたことを特徴とする画像信号処理装置。
9. 撮像素子から読み出される画像信号のノイズのスペクトル分布を検出するノイズ検出手段と、
   ノイズのスペクトル分布に基づいて画像信号のノイズ低減処理方法を設定するノイズ低減設定手段と、
   設定されたノイズ低減処理方法に基づく画像信号のノイズ低減後に残る残存ノイズの量を、輝度レベルに応じて検出する残存ノイズ検出手段と、
   検出された残存ノイズの量に基づき、残存ノイズ量が大きいほどエンハンスレベルを抑えるように各輝度レベルのエンハンスレベルを設定するエンハンス設定手段と
   を機能させることを特徴とする画像信号処理装置のプログラム。
10. 撮像素子から読み出される画像信号のノイズのスペクトル分布を検出し、
    ノイズのスペクトル分布に基づいて画像信号のノイズ低減処理方法を設定し、
    設定されたノイズ低減処理方法に基づく画像信号のノイズ低減後に残る残存ノイズの量を、輝度レベルに応じて検出し、
    検出された残存ノイズの量に基づき、残存ノイズ量が大きいほどエンハンスレベルを抑えるように各輝度レベルのエンハンスレベルを設定することを特徴とする画像信号処理方法。
    

Images