JP2013244250A

JP2013244250A - 電子内視鏡装置及びその撮像画像補正方法

Info

Publication number: JP2013244250A
Application number: JP2012120644A
Authority: JP
Inventors: Masanobu Uchihara; 匡信内原
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2012-05-28
Filing date: 2012-05-28
Publication date: 2013-12-09
Anticipated expiration: 2032-05-28
Also published as: JP5847017B2; EP2670131A2; EP2670131A3; US20130314516A1

Abstract

【課題】暗い撮影環境下でも高品質の動画像を表示する。
【解決手段】欠陥画素の他に、フレームにより、正常な出力をする場合と、正常出力からずれた出力をする場合がある画素を監視対象画素として予め正常画素，欠陥画素と区別しておき、監視対象画素の検出信号値に対してフレームごとに正常出力をしているかずれた出力をしているかを判定し、ずれた出力をしているフレームのみ、周囲の正常画素の検出信号値により該監視対象画素の検出信号値の補正を行う（ステップＳ２）。
【選択図】図５

Description

本発明は内視鏡スコープ先端部に撮像素子を内蔵した電子内視鏡装置に係り、特に、暗時の撮像画像のチラツキを抑制する電子内視鏡装置及びその撮像画像補正方法に関する。

近年のイメージセンサ（撮像素子）は、多画素化が進んで画素数が多いため、受光面上の全ての画素（フォトダイオード）を、欠陥無く製造することが非常に困難である。このため、欠陥画素が存在していても、欠陥画素数がそれほど多くなければ、その撮像素子を使用せざるを得ない状況にある。

しかし、欠陥画素が存在する撮像素子で、被写体の動画像を撮影すると、欠陥画素に起因する固定パターンノイズが動画像に毎フレーム重畳し、撮像画像の画質を著しく劣化させてしまう。

そこで、下記の特許文献１，２に記載されている様に、欠陥画素位置の撮像画像信号を、欠陥画素周辺の正常画素による撮像画像信号で補間して推定し、この推定値を用いて、１フレーム１フレームの被写体画像を生成することが普通に行われている。

欠陥画素位置の撮像画像信号を、周辺正常画素の撮像画像信号で画素補間すれば、欠陥画素起因の固定パターンノイズを良好に除去することができる。しかし、欠陥画素を特許文献１，２に記載の方法で補正しても、例えば暗い環境下の動画像で、画面にチラツキが生じてしまうことがある。

内視鏡装置で体腔内を観察する場合、スコープの挿入状況によって、明るい部分と暗い部分が生じる。特に暗い環境下で動画像を撮影すると、上記の欠陥画素に起因するのではない画面のチラツキが視認される場合がある。

この画面のチラツキは、１つの画素に着目したとき、毎フレーム常に異常出力をする欠陥画素とは異なり、フレームにより、正常な出力をする場合と、離散的に正常出力からずれた出力をする場合がある画素が存在することが原因である。図８は、黒レベルの検出値を示すグラフである。この出力のずれは、暗い画像でも明るい画像でも同様に生じるが、明るい画像では信号レベルが大きいため目立ちにくく、暗い画像では、信号レベルが小さいため、ノイズとして目立ちやすくなる。

撮像素子の正常画素で「真っ暗」な状態を撮像した場合でも、各画素の検出値は「０」ではなく、ある値を出力する。例えば、１０ビットの「１０２４」階調を撮像する撮像素子で、画素値「６４」を黒レベルの判定閾値にしたとする。

多くの正常画素は、「真っ暗」な状態を何回撮影しても、例えば画素値「６４」付近の値を検出するが、中には、真っ暗な状態を撮影する度に、フレームにより「５０」「６４」「８０」…と検出値に揺らぎが生じてしまう画素が存在する。

つまり、「６４±α」の揺らぎを持った画素が存在する。暗い環境下で撮影を行う場合、αの揺らぎにより、動画像の画面にチラツキノイズが生じてしまう。

これは、画素と、相関二重サンプリング処理回路，アンプ，Ａ／Ｄ変換器との組み合わせに起因すると考えられる。近年の撮像素子は、読出速度を高速にするために、これらアンプ等を画素列（あるいは画素行）毎に設け、処理の並列化を図っている。

しかし、これら画素列毎（画素行毎）の処理回路を全く同一に製造することは困難であるため、画素列（又は画素行）と、アンプ等との組み合わせで上記αの揺らぎが生じると考えられる。或いは、ある画素列とアンプ等との組み合わせが固定されると、これが固定パターンノイズになる虞があるため、所定周期で、画素列とアンプ等との組み合わせを切り替える撮像素子も存在する。この場合も、暗い撮影環境下における動画像のチラツキの原因になる。

特開２００８―１４８１１５号公報特開２００６―２６２３４号公報

本発明の目的は、暗い撮影環境下での動画像撮影時にも画面のチラツキノイズを低減した電子内視鏡装置及びその撮像画像補正方法を提供することにある。

本発明の電子内視鏡装置及びその撮像画像補正方法は、正常画素及び欠陥画素の他に、フレームにより、正常な出力をする場合と、正常出力からずれた出力をする場合がある画素（以下、監視対象画素という。）を有する撮像素子と、前記監視対象画素の位置アドレスを格納したメモリと、画像処理部とを備える電子内視鏡装置及びその撮像画像補正方法であって、
前記撮像素子による撮像画像を画像処理するに際し、前記監視対象画素の検出信号値に対して前記メモリの格納情報に基づき該監視対象画素に対してフレームごとに正常出力をしているかずれた出力をしているかを判定し、ずれた出力をしているフレームのみ、周囲にある前記正常画素の検出信号値により該監視対象画素の検出信号値の補正を行って画像処理することを特徴とする。

本発明によれば、暗い撮影環境下での動画像撮影時にもモニタ表示する動画像のチラツキノイズを低減することが可能となる。

本発明の一実施形態に係る電子内視鏡装置の全体構成図である。図１に示す電子内視鏡の先端部の先端面正面図である。図１に示す電子内視鏡の先端部の縦断面図である。図１に示す電子内視鏡装置の制御系のブロック構成図である。図４に示すプロセッサ装置が実行する撮像画像補正処理手順を示すフローチャートである。図５の画面チラツキ補正処理の詳細処理手順を示すフローチャートである。カラーフィルタ配列がベイヤ配列の撮像素子の表面模式図である。撮像素子の正常画素のうち黒レベル検出値が揺らぐ画素の説明図である。

以下、本発明の一実施形態について、図面を参照して説明する。

図１は本発明の一実施形態に係る電子内視鏡装置のシステム全体を示した構成図である。本実施形態の電子内視鏡装置（内視鏡システム）１０は、内視鏡スコープ１２と、本体装置を構成するプロセッサ装置１４及び光源装置１６とから構成される。内視鏡スコープ１２は、患者（被検体）の体腔内に挿入される可撓性の挿入部２０と、挿入部２０の基端部分に連設された操作部２２と、プロセッサ装置１４及び光源装置１６に接続されるユニバーサルコード２４とを備えている。

挿入部２０の先端には先端部２６が連設され、先端部２６内に、体腔内撮影用の撮像チップ（撮像装置）５４（図３参照）が内蔵される。先端部２６の後方には、複数の湾曲駒を連結した湾曲部２８が設けられている。湾曲部２８は、操作部２２に設けられたアングルノブ３０が操作されたとき、挿入部２０内に挿設されたワイヤが押し／引きされ、上下左右方向に湾曲動作する。これにより、先端部２６が体腔内で所望の方向に向けられる。

ユニバーサルコード２４の基端にはコネクタ３６が設けられている。コネクタ３６は、複合タイプのものであり、プロセッサ装置１４に接続される他、光源装置１６にも接続される。

プロセッサ装置１４は、ユニバーサルコード２４内に挿通されたケーブル６８（図３参照）を介して内視鏡スコープ１２に給電を行い、撮像チップ５４の駆動を制御すると共に、撮像チップ５４からケーブル６８を介して伝送された撮像信号を受信し、受信した撮像信号に各種信号処理を施して画像データに変換する。

プロセッサ装置１４で変換された画像データは、プロセッサ装置１４にケーブル接続されたモニタ３８に内視鏡撮影画像（観察画像）として表示される。また、プロセッサ装置１４は、コネクタ３６を介して光源装置１６とも電気的に接続され、光源装置１６を含め電子内視鏡装置１０の動作を統括的に制御する。

図２は、内視鏡スコープ１２の先端部２６の先端面２６ａを示した正面図である。図２に示すように、先端部２６の先端面２６ａには、観察窓４０と、照明窓４２と、鉗子出口４４と、送気・送水用ノズル４６が設けられている。

観察窓４０は、先端面２６ａの中央且つ片側に偏心して配置されている。照明窓４２は、観察窓４０に関して対称な位置に２個配され、体腔内の被観察部位に光源装置１６からの照明光を照射する。

鉗子出口４４は、挿入部２０内に配設された鉗子パイプ７０（図３参照）に接続され、操作部２２に設けられた鉗子口３４（図１参照）に連通している。鉗子口３４には、注射針や高周波メスなどが先端に配された各種処置具が挿通され、各種処置具の先端が鉗子出口４４から体腔内に出される。

送気・送水用ノズル４６は、操作部２２に設けられた送気・送水ボタン３２（図１参照）の操作に応じて、光源装置１６に内蔵された送気・送水装置から供給される洗浄水や空気を、観察窓４０や体腔内に向けて噴射する。

図３は内視鏡スコープ１２の先端部２６の縦断面図である。図３に示すように、観察窓４０の奥には、体腔内の被観察部位の像光を取り込むための対物光学系５０を保持する鏡筒５２が配設されている。鏡筒５２は、挿入部２０の中心軸に対物光学系５０の光軸が平行となるように取り付けられている。鏡筒５２の後端には、対物光学系５０を経由した被観察部位の像光を、略直角に曲げて撮像チップ５４に向けて導光するプリズム５６が接続されている。

撮像チップ５４は、固体撮像素子５８と、固体撮像素子５８の駆動及び信号の入出力を行う周辺回路６０とが一体形成されたモノリシック半導体（センサチップ）であり、支持基板６２上に実装されている。

固体撮像素子５８の撮像面（受光面）５８ａは、プリズム５６の出射面と対向するように配置されている。撮像面５８ａ上には、矩形枠状のスペーサ６３を介して矩形板状のカバーガラス６４が取り付けられている。撮像チップ５４とスペーサ６３とカバーガラス６４とは、接着剤を介して組み付けられており、これにより、塵埃などの侵入から撮像面５８ａが保護される。

挿入部２０の後端に向けて延設された支持基板６２の後端部には、複数の入出力端子６２ａが支持基板６２の幅方向に並べて設けられている。入出力端子６２ａには、ユニバーサルコード２４を介してプロセッサ装置１４との各種信号のやり取りを媒介するための信号線６６が接合されている。入出力端子６２ａは、支持基板６２に形成された配線やボンディングパッド等（図示せず）を介して撮像チップ５４内の周辺回路６０と電気的に接続されている。

信号線６６は、可撓性の管状のケーブル６８内にまとめて挿通されている。ケーブル６８は、挿入部２０、操作部２２、及びユニバーサルコード２４の各内部を挿通し、コネクタ３６に接続されている。

また、図２，図３では図示を省略しているが、照明窓４２の奥には、照明部が設けられている。照明部には、光源装置１６からの照明光を導くライトガイド１２０（図４参照）の出射端１２０ａが配されており、この出射端１２０ａが照明窓４２に対面して設けられている。ライトガイド１２０は、ケーブル６８と同様に、挿入部２０、操作部２２、及びユニバーサルコード２４の各内部を挿通し、コネクタ３６に入射端が接続されている。

図４は、電子内視鏡装置１０の制御系を示したブロック図である。図４に示すように、内視鏡スコープ１２の先端部２６には、固体撮像素子５８と、アナログ信号処理回路（ＡＦＥ：アナログフロントエンド）７２と、ＴＧ（タイミングジェネレータ）７８と、ＣＰＵ８０とが設けられている。ＡＦＥ７２やＴＧ７８が、図３の周辺回路６０に相当する。

ＣＰＵ８０にはＥＥＰＲＯＭ等のメモリ８１が接続されている。このメモリ８１に、内視鏡スコープ１２固有のデータや固体撮像素子５８固有のデータが保存される。例えば、固体撮像素子５８の欠陥画素の位置データが保存される。

ＴＧ７８は、ＣＰＵ８０の制御に基づき、固体撮像素子５８の駆動パルス（垂直／水平走査パルス、リセットパルス等）とＡＦＥ７２用の同期パルスとを発生する。固体撮像素子５８は、ＴＧ７８から入力される駆動パルスにより駆動され、対物光学系５０を介して撮像面５８ａに結像された光学像を光電変換して撮像信号として出力する。

固体撮像素子５８の撮像面５８ａには、多数の画素がマトリクス状に配置されており、各画素にはそれぞれフォトセンサ（光電変換素子）が設けられている。固体撮像素子５８の撮像面５８ａに入射した光は各画素のフォトセンサに電荷として蓄積される。そして、垂直走査回路及び水平走査回路（いずれも不図示）による垂直方向と水平方向の走査によって、各画素のフォトセンサに蓄積された信号電荷量は画素信号として順次読み出され、所定のフレームレートで出力される。

固体撮像素子５８は、複数の色セグメントからなるカラーフィルタ（例えば、ベイヤ配列の原色カラーフィルタ）を備えた単板カラー撮像方式の固体撮像素子である。

また、固体撮像素子５８の各フォトセンサの蓄積電荷を撮像信号として読み出す信号読出回路の構成は従来周知であり、例えば３トランジスタ構成や４トランジスタ構成などの一般的な構成を適用することが可能であり、ここでは説明を省略する。

ＡＦＥ７２は、相関二重サンプリング（ＣＤＳ）回路と、自動ゲイン回路（ＡＧＣ）と、Ａ／Ｄ変換器とにより構成されている。ＣＤＳ回路は、固体撮像素子５８から出力される撮像信号に対して相関二重サンプリング処理を施し、固体撮像素子５８で生じるリセット雑音及びアンプ雑音の除去を行う。ＡＦＥ７２は、固体撮像素子５８の各画素列毎に設けられている。

ＡＧＣは、ＣＤＳ回路によりノイズ除去が行われた撮像信号を、ＣＰＵ８０から指定されたゲイン（増幅率）で増幅する。Ａ／Ｄ変換器は、ＡＧＣにより増幅された撮像信号を、所定のビット数のデジタル信号に変換して出力する。ＡＦＥ７２でデジタル化されて出力された撮像信号（デジタル撮像信号）は、信号線６６を通してプロセッサ装置１４に入力される。

プロセッサ装置１４は、ＣＰＵ８２と、ＲＯＭ８４と、ＲＡＭ８５と、画像処理回路（ＤＳＰ）８６と、表示制御回路８８とを備えて構成される。

ＣＰＵ８２は、プロセッサ装置１４内の各部を制御するとともに、電子内視鏡装置１０の全体を統括的に制御する。ＲＯＭ８４には、プロセッサ装置１４の動作を制御するための各種プログラムや制御用データ等が予め格納されている。また、ＲＡＭ８５には、ＣＰＵ８２により実行されるプログラムやデータなどが一時記憶される。

ＤＳＰ８６は、ＣＰＵ８２の制御に基づき、ＡＦＥ７２から入力された撮像信号に対し、画面チラツキ補正処理、色補間，色分離，色バランス調整，ガンマ補正，画像強調処理等を施し、画像データを生成する。

ＤＳＰ８６から出力された画像データは表示制御回路８８に入力され、表示制御回路８８は、ＤＳＰ８６から入力された画像データを、モニタ３８に対応した信号形式に変換しモニタ３８の画面に表示させる。

プロセッサ装置１４の操作部９０は、固体撮像素子５８の動作モードを選択し又は切り替えるためのモード切替ボタンや、その他ユーザの指示入力を受け付ける各種ボタンが設けられている。

光源装置１６は、主光源１００と、主光源駆動回路１０１と、特殊光光源１０２と、特殊光源駆動回路１０３と、ＣＰＵ１０４と、合波部１０５とを備えて構成される。ＣＰＵ１０４は、プロセッサ装置１４のＣＰＵ８２と通信を行い、主光源駆動回路１０１，特殊光源駆動回路１０３の制御を行う。

主光源１００は白色光を発光し、特殊光光源１０２は、例えば４２０ｎｍを中心とする狭帯域の特殊光を発光する。白色光または特殊光は、合波部１０５を通ってライトガイド１２０の入射端１２０ｂに出射される。

上記のように構成された電子内視鏡装置１０で体腔内を観察する際には、内視鏡スコープ１２と、プロセッサ装置１４と、光源装置１６と、モニタ３８の電源をオンにして、内視鏡スコープ１２の挿入部２０を体腔内に挿入し、光源装置１６からの照明光で体腔内を照明しながら、固体撮像素子５８により撮像される体腔内の動画像をモニタ３８で観察することになる。

ＤＳＰ８６は、モニタ３８に表示する画像を生成する場合、固体撮像素子５８から出力される撮像画像信号（ＲＡＷ信号）を取り込んで、画面チラツキ補正を行う。そして、画面チラツキ補正後の各画素位置の撮像画像信号に、同時化処理（デモザイク処理），ガンマ補正処理，ＲＧＢ／ＹＣ変換処理等の周知の各種画像処理を施し、モニタ３８に表示する画像を生成する。

以下、本実施形態で行う撮像画像補正処理（画面チラツキ補正処理）ついて説明する。

撮像素子の各画素は、正常画素と欠陥画素とに分けられる。欠陥画素については、従来公知の方法で補正する。即ち、プロセッサ装置１４のＣＰＵ８２は、内視鏡スコープ１２のＣＰＵ８０と通信を行い、スコープ１２に内蔵された固体撮像素子５８の欠陥画素位置情報（メモリ８１内の情報）を取得し、これをＤＳＰ８６に渡す。これにより、ＤＳＰ８６は、欠陥画素位置の撮像画像信号を周囲画素の撮像画像信号から画素補間により算出する。

正常画素のうち、図８で説明した様に、検出値が検出する毎に不安定になる画素は、全ての正常画素で発生するのではなく、発生する画素を事前の検査で特定することができる。そこで、この画素を監視対象画素とし、欠陥画素の位置情報と同様に、メモリ８１にその画素位置（画素アドレス）を書き込んでおく。そして、ＣＰＵ８２は、ＣＰＵ８０と通信を行い、この画素位置情報を取得してＤＳＰ８６に渡し、ＤＳＰ８６は、画面のチラツキ補正を、以下の様にして行う。

図５は、プロセッサ装置１４のＣＰＵ８２が配下のＤＳＰ８６等を用いて実行する撮像画像補正処理手順を示すフローチャートである。先ず、ステップＳ１で、撮像素子５８から出力される撮像画像信号を取り込む。

そして、次のステップＳ２で、詳細は後述する画面チラツキ補正処理を行い、ステップＳ３に進む。ステップＳ３では、メモリ８１から読み取ったアドレス位置の欠陥画素各々に付いて、周知の欠陥画素補正処理を行う。

次のステップＳ４では、他の周知の画像処理（例えばγ補正，デモザイク処理，ＲＧＢ／ＹＣ変換処理など）を行い、ステップＳ５で、画像処理した１フレーム分の撮像画像データをモニタ画面に表示する。次のステップＳ６では、次フレームの撮像画像信号があるか否かを判定し、無い場合（動画像の撮影終了の場合）には、この処理を終了する。

次フレームの撮像画像信号が存在する場合には、ステップＳ６からステップＳ１に戻り、ステップＳ１〜ステップＳ６までを動画像が終了するまで繰り返す。

図６は、図５のステップＳ２の詳細処理手順を示すフローチャートであり、画像チラツキ補正処理手順を示す。先ず、ステップＳ２１で、メモリ８１から読み取った監視対象画素の総数ｍを求めると共に、各監視対象画素にナンバリング（番号付け）を施す。そして、次のステップＳ２２で、変数ｎの値を「ｎ＝１」に設定し、ステップＳ２３に進む。

ステップＳ２３では、ｎ＝１番目の監視対象画素について、縦，横，右斜め，左斜めの４方向について、監視対象画素以外の同色正常画素との差分値を求める。

図７は、固体撮像素子５８の表面模式図である。この例では、各画素が正方格子配列されており、その上に、三原色のカラーフィルタＲ（赤）Ｇ（緑）Ｂ（青）がベイヤ配列されている。Ｂ色が並ぶ行のＧ色をＧｂとし、Ｒ色が並ぶ行のＧ色をＧｒとしている。ＧｂとＧｒは同色であるが、本実施形態では、異なる色として取り扱う。勿論、同色として取り扱っても良い。

図中の×印を付した画素が欠陥画素であり、その欠陥画素補正は、図５のステップＳ３で行う。△印を付した画素が、今回の監視対象画素であり、その補正を、図６の処理で行う。

今、監視対象画素であるＢ画素１を例に説明する。Ｂ画素１の水平（横）方向左，右には、１画素置いて同色のＢ画素２，３が存在する。画素１の検出値と画素２の検出値との差分と、画素１の検出値と画素３の検出値との差分の平均値を、横方向の差分値Ｈとする。

Ｂ画素１の垂直（縦）方向上，下には、１画素置いて、同色のＢ画素４，５が存在する。画素１の検出値と画素４の検出値との差分と、画素１の検出値と画素５の検出値との差分の平均値を、縦方向の差分値Ｖとする。

Ｂ画素１の右斜め４５度方向には、１画素置いて、同色のＢ画素６，７が存在する。画素１の検出値と画素６の検出値との差分と、画素１の検出値と画素７の検出値との差分の平均値を、右斜め方向の差分値Ｒとする。

Ｂ画素１の左斜め４５度方向には、１画素置いて、同色のＢ画素８，９が存在する。画素１の検出値と画素８の検出値との差分と、画素１の検出値と画素９の検出値との差分の平均値を、左斜め方向の差分値Ｌとする。

なお、画素２〜９のうちのいずれかが欠陥画素或いは監視対象画素となる場合もある。その場合には、欠陥画素，監視対象画素を除き、上記の差分値Ｈ，Ｖ，Ｒ，Ｌを求める。２つの値の平均値ではなく、１つの値そのものを差分値とすることもある。例えば画素２，３の両方共が、欠陥画素或いは監視対象画素となった場合には、画素２，３より更に１画素置いた同色画素の検出値を用いことになる。

ステップＳ２３で、４方向の差分値Ｈ，Ｖ，Ｒ，Ｌを求めた後、次のステップＳ２４に進み、４つの差分値Ｈ，Ｖ，Ｒ，Ｌの全てが閾値αを超えたか否かを判定する。

４つの差分値Ｈ，Ｖ，Ｒ，Ｌのうち少なくとも１つが閾値αを超えていない場合（判定結果がＮｏ）には、このｎ＝１番目の監視対象画素の検出信号値は揺らいでいないと判断し、この監視対象画素の検出信号を正常値と判断する。

そして次にステップＳ２５に進み、ｎ＝ｍに達したか否かを判定する。即ち、全ての監視対象画素について処理が終了したか否かを判定する。ｎ＝ｍに達していない場合には、ステップＳ２５からステップＳ２６に進み、ｎ＝ｎ＋１として、ステップＳ２３に戻る。以降、ｎ＝２番目の監視対象画素についてステップＳ２３以降を実行することになる。

ステップＳ２４の判定の結果、４つの差分値Ｈ，Ｖ，Ｒ，Ｌの全てが閾値αを超えている場合には、この監視対象画素の検出信号値が揺らいでおり、正常な検出値ではないと判断する。そして、ステップＳ２７に進み、当該監視対象画素の検出値を補正値に置き換えて、ステップＳ２５に進む。

ステップＳ２７で用いる補正値は、例えば、次の様に決定する。４つの差分値Ｈ，Ｖ，Ｒ，Ｌで一番小さな値の差分値を選択する。例えば差分値Ｈが他の差分値Ｖ，Ｒ，Ｌのいずれよりも小さい場合、水平方向の差分値Ｈを選択する。つまり、図７の例では、画素１に対し水平方向の画素２，３を選択し、画素２，３の検出値の平均値を、監視対象画素１の検出値とする。或いは、画素２又は画素３の１つの検出値をそのまま監視対象画素１の検出値とする。

この様にして監視対象画素の検出補正値を決定する理由は、次の通りである。例えば、細かな血管画像（撮像画像中の主要被写体画像）を撮影しているとする。今、細かな１本の血管の像光が、「画素２→画素１→画素３」と走っていた場合、差分値Ｈが他の差分値Ｖ，Ｒ，Ｌよりも小さな値になる蓋然性が高い。それは、画素１，２，３が同じ血管画像を撮像しているからである。そして、画素１による暗い画像の検出値が不安定となっているため、この画素１の検出値を、画素２，３の検出値の平均値で置き換えれば、細かな血管画像を再生することができる。

これに対し、画素３，４の検出値を用いて監視対象画素１の補正検出値にすると、画素２→画素１→画素３の検出値で段差ができ、血管画像が途切れてしまうことになる。

以上の処理を、全ての監視対象画素について、毎フレーム行うことで、画面のチラツキが抑制される。

以上述べた実施形態によれば、検出出力値が不安定となり、特に暗い環境下でチラツキが視認される画素が存在しても、良好に補正ができ、品質の高いモニタ画像を提供可能となる。

本実施形態が補正対象とする監視対象画素は、欠陥画素とは異なる。欠陥画素は、毎フレーム常に出力値が正常画素の出力値に比べてずれる画素である。このため、毎フレーム周囲の正常画素値を用いて補間する必要がある。一方、監視対象画素は、フレームにより正常な出力をする場合と、ずれる出力をする場合がある画素である。監視対象画素の場合、正常出力をしているフレームで周囲画素の出力値を用いて補間すると過補正となる虞があるため、あえて補間する必要はなく、ずれた出力値の時のみ補間を行えばよい。

尚、欠陥画素と同様に、経年的に監視対象画素になってしまう正常画素も存在する。この場合には、定期的に内視鏡スコープの検査を行い、新たに監視対象画素になった画素のアドレスをメモリ８１に登録しておけば良い。

また、上記実施形態では、図６のステップＳ２７で、監視対象画素に近接し且つ少ない画素数（実施形態では２画素）の検出値だけを用いて監視対象画素の補正値を求めた。しかし、周辺の縦，横，斜めの同色画素の検出値を補間演算して補正値を決定することも可能である。しかしながら、補正値算出に用いる画素を、最も近い同色画素だけに限定すると、撮像画像の精細感を損なわないため好ましいといえる。

以上述べた実施形態の電子内視鏡装置及びその撮像画像補正方法は、正常画素及び欠陥画素の他に、フレームにより、正常な出力をする場合と、正常出力からずれた出力をする場合がある画素（以下、監視対象画素という。）を有する撮像素子と、前記監視対象画素の位置アドレスを格納したメモリと、画像処理部とを備える電子内視鏡装置及びその撮像画像補正方法であって、
前記撮像素子による撮像画像を画像処理するに際し、前記監視対象画素の検出信号値に対して前記メモリの格納情報に基づき該監視対象画素に対してフレームごとに正常出力をしているかずれた出力をしているかを判定し、ずれた出力をしているフレームのみ、周囲にある前記正常画素の検出信号値により該監視対象画素の検出信号値の補正を行って画像処理することを特徴とする。

また、実施形態の電子内視鏡装置の前記画像処理部は、前記監視対象画素の検出信号値と周囲の前記正常画素の検出信号値との差分が所要閾値範囲内のときは該監視対象画素を正常画素と同等に取り扱い前記補正を行わないことを特徴とする。

また、実施形態の電子内視鏡装置は、前記監視対象画素の検出信号値と該監視対象画素の水平方向周囲に存在する前記正常画素の検出信号値との間の差分値と、前記監視対象画素の検出信号値と該監視対象画素の垂直方向周囲に存在する前記正常画素の検出信号値との間の差分値と、前記監視対象画素の検出信号値と該監視対象画素の右斜め方向周囲に存在する前記正常画素の検出信号値との間の差分値と、前記監視対象画素の検出信号値と該監視対象画素の左斜め方向周囲に存在する前記正常画素の検出信号値との間の差分値とのいずれもが前記所要閾値範囲を超えたとき、該監視対象画素の検出信号値を補正することを特徴とする。

また、実施形態の電子内視鏡装置は、前記監視対象画素の周囲の前記正常画素のうち、前記４つの差分値のうち最も小さな差分値が得られる前記方向に存在する前記正常画素の検出信号値で前記監視対象画素の検出信号値を置き換えることで前記監視対象画素の補正を行うことを特徴とする。

また、実施形態の電子内視鏡装置は、静止画像撮影モード時には前記監視対象画素の補正は行わずに動画撮影モード時に前記監視対象画素の補正を行うことを特徴とする。

以上述べた実施形態によれば、暗い撮影環境下での動画像撮影時に、検出値が不安定となる画素が存在しても画面のチラツキを防止でき、品質の高い画像を得ることが可能となる。

本発明に係る撮像画像補正方法は、検出値が不安定となる画素が存在しても暗い撮影環境下でも高品質の動画像を表示することができ、電子内視鏡装置に適用すると有用である。

１監視対象画素
２，３，４，５，６，７，８，９周辺同色画素
１０電子内視鏡装置（内視鏡システム）
１２内視鏡スコープ
１４プロセッサ装置
１６光源装置
２６先端部
３８モニタ
４０観察窓
４２照明窓
５０対物光学系
５４撮像チップ
５６プリズム
５８撮像素子（イメージセンサ）
６２基板
６８ケーブル
８０，８２，１０４ＣＰＵ
８１メモリ（ＥＥＰＲＯＭ）
８４ＲＯＭ
８６ＤＳＰ

Claims

正常画素及び欠陥画素の他に、フレームにより、正常な出力をする場合と、正常出力からずれた出力をする場合がある画素（以下、監視対象画素という。）を有する撮像素子と、
前記監視対象画素の位置アドレスを格納したメモリと、
前記撮像素子による撮像画像を画像処理するに際し、前記監視対象画素の検出信号値に対して前記メモリの格納情報に基づき該監視対象画素に対してフレームごとに正常出力をしているかずれた出力をしているかを判定し、ずれた出力をしているフレームのみ、周囲にある前記正常画素の検出信号値により該監視対象画素の検出信号値の補正を行って画像処理する画像処理部と
を備える電子内視鏡装置。
請求項１に記載の電子内視鏡装置であって、前記画像処理部は、前記監視対象画素の検出信号値と周囲の前記正常画素の検出信号値との差分が所要閾値範囲内のときは該監視対象画素を正常画素と同等に取り扱い前記補正を行わない電子内視鏡装置。
請求項２に記載の電子内視鏡装置であって、前記監視対象画素の検出信号値と該監視対象画素の水平方向周囲に存在する前記正常画素の検出信号値との間の差分値と、前記監視対象画素の検出信号値と該監視対象画素の垂直方向周囲に存在する前記正常画素の検出信号値との間の差分値と、前記監視対象画素の検出信号値と該監視対象画素の右斜め方向周囲に存在する前記正常画素の検出信号値との間の差分値と、前記監視対象画素の検出信号値と該監視対象画素の左斜め方向周囲に存在する前記正常画素の検出信号値との間の差分値とのいずれもが前記所要閾値範囲を超えたとき、該監視対象画素の検出信号値を補正する電子内視鏡装置。
請求項３に記載の電子内視鏡装置であって、前記監視対象画素の周囲の前記正常画素のうち、前記４つの差分値のうち最も小さな差分値が得られる前記方向に存在する前記正常画素の検出信号値で前記監視対象画素の検出信号値を置き換えることで前記監視対象画素の補正を行う電子内視鏡装置。
正常画素及び欠陥画素の他に、フレームにより、正常な出力をする場合と、正常出力からずれた出力をする場合がある画素（以下、監視対象画素という。）を有する撮像素子と、前記監視対象画素の位置アドレスを格納したメモリと、画像処理部とを備える電子内視鏡装置の撮像画像補正方法であって、
前記撮像素子による撮像画像を画像処理するに際し、前記監視対象画素の検出信号値に対して前記メモリの格納情報に基づき該監視対象画素に対してフレームごとに正常出力をしているかずれた出力をしているかを判定し、ずれた出力をしているフレームのみ、周囲にある前記正常画素の検出信号値により該監視対象画素の検出信号値の補正を行って画像処理する電子内視鏡装置の撮像画像補正方法。