JP2007128220A - 撮像装置および該撮像装置の白黒反転補正方法 - Google Patents
撮像装置および該撮像装置の白黒反転補正方法 Download PDFInfo
- Publication number
- JP2007128220A JP2007128220A JP2005319406A JP2005319406A JP2007128220A JP 2007128220 A JP2007128220 A JP 2007128220A JP 2005319406 A JP2005319406 A JP 2005319406A JP 2005319406 A JP2005319406 A JP 2005319406A JP 2007128220 A JP2007128220 A JP 2007128220A
- Authority
- JP
- Japan
- Prior art keywords
- black
- white
- inversion
- address
- high luminance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Input (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Studio Devices (AREA)
Abstract
【課題】高輝度光の漏れ光による白黒反転現象のない画像が得られる撮像装置および該撮像装置の白黒反転補正方法を提供すること。
【解決手段】高輝度光の漏れ光による白黒反転現象を起こしている画素を、撮像データを解析することで検出し、既定の補正値、あるいは白黒反転していない周辺画素から演算される補正値を用いて補正することにより、白黒反転現象のない画像が得られる撮像装置および該撮像装置の白黒反転補正方法を提供することができる。
【選択図】図4
【解決手段】高輝度光の漏れ光による白黒反転現象を起こしている画素を、撮像データを解析することで検出し、既定の補正値、あるいは白黒反転していない周辺画素から演算される補正値を用いて補正することにより、白黒反転現象のない画像が得られる撮像装置および該撮像装置の白黒反転補正方法を提供することができる。
【選択図】図4
Description
本発明は、撮像装置および該撮像装置の白黒反転補正方法に関し、特に、順次転送型の全画素同時露光方式の撮像素子を備えた撮像装置および該撮像装置の白黒反転補正方法に関する。
監視カメラ等の撮像装置において、特に屋外を撮影する際には、太陽や夜間照明用ライト、車のヘッドライト等の非常に高輝度な物体を良好に撮影すると共に、影となる部分も撮影する必要があるため、適正な出力信号を得ることができる入射光量範囲、すなわちダイナミックレンジの広い撮像素子が必要となる。これを実現するために、対数変換方式のCMOS(Complimentary Metal Oxide Semiconductor)型撮像素子が提案されている(例えば、特許文献1参照)。
また、入射光量に応じて電気信号が対数的に変換されて出力され、広ダイナミックレンジ撮像が可能な対数変換型撮像素子において、トランジスタに特定のリセット電圧を与えることで、入射光量に応じて電気信号が線形的に変換されて出力される線形特性状態と、対数的に変換されて出力される対数特性状態とを自動的に切り替えることが可能な(以下、リニアログ特性と言う)対数変換型撮像素子(以下、リニアログセンサと言う)が提案されている(例えば、特許文献2参照)。
さらに、特に車両等の移動する物体の形状を歪みなく撮影するためには、典型的な順次転送型撮像素子であるCMOS型撮像素子で一般的に行われている、露光と撮像データ読み出しを画素配列の行毎に時系列で行う線順次方式ではなく、全画素同時露光方式が望ましいため、そのための回路も特許文献2に提案されている。
さらに、全画素同時露光方式の撮像素子で課題となる、リセット用トランジスタのリーク電流によるシェーディングノイズ対策案として、リセット用トランジスタのリセット電圧を2値化する方法が提案されている(例えば特許文献3参照)。
特開平11−298798号公報
特開2002−77733号公報
特開2004−349907号公報
しかしながら、これらの種々の電気的対応を施した撮像素子においても、非常に輝度の高い被写体を撮影した場合に、高輝度光の漏れ光によって回路の誤動作が起き、非常に輝度の高い被写体であるにも関わらず、真っ黒な被写体であるかのごとき画像データになってしまう、いわゆる白黒反転という不具合現象が発生する場合がある。図19を用いて、白黒反転現象について説明する。
図19(a)は、例として、高輝度被写体の代表である太陽SUNが、撮像光学系211を通して撮像素子162上に結像する場合を示している。図19(b)は、撮像素子162の撮像面162a上の輝度分布を示している。太陽SUNの像IM001が撮像面162aの中央より図19(b)において下側に入射している。この時、理想的な撮像が行われれば、図19(c)のように、太陽に相当する部分が全て明るくなった画像が得られ、像IM001の中心を通る水平X行目の輝度分布データは、図19(d)のように、太陽に相当する輝度領域は全域高輝度を表す輝度分布を示すはずである。
しかしながら、例えば太陽のように非常に輝度の高い被写体の場合は、図19(e)のように、像IM001の中心部IM002が真っ黒になる白黒反転現象が発生し、像IM001の中心を通る水平X行目の輝度分布データは、図19(f)のように、中央が凹になった形状になる。これが「白黒反転」である。
本件出願人による検討の結果、以上に述べた白黒反転現象は、高輝度光の漏れ光が撮像素子の画素を構成するトランジスタに入射することにより、回路が誤動作することで発生している可能性が高いことが分かっている。
本発明は、上記事情に鑑みてなされたもので、高輝度光の漏れ光による白黒反転現象を検出して補正することにより、白黒反転現象のない画像が得られる撮像装置および該撮像装置の白黒反転補正方法を提供することを目的とする。
本発明の目的は、下記構成により達成することができる。
1. 順次転送型の全画素同時露光方式の撮像素子を備えた撮像装置において、
白黒反転処理手段を備え、
白黒反転処理手段は、高輝度領域抽出手段と、白黒反転判定手段と、画像補正手段とを具備し、
高輝度領域抽出手段は、前記撮像素子で撮像された撮像データから高輝度領域を抽出し、
白黒反転判定手段は、前記高輝度領域抽出手段で抽出された高輝度領域での白黒反転発生の有無を判定し、
画像補正手段は、前記白黒反転判定手段の判定結果に基づき、前記高輝度領域抽出手段で抽出された高輝度領域の撮像データに白黒反転の補正を施すことを特徴とする撮像装置。
白黒反転処理手段を備え、
白黒反転処理手段は、高輝度領域抽出手段と、白黒反転判定手段と、画像補正手段とを具備し、
高輝度領域抽出手段は、前記撮像素子で撮像された撮像データから高輝度領域を抽出し、
白黒反転判定手段は、前記高輝度領域抽出手段で抽出された高輝度領域での白黒反転発生の有無を判定し、
画像補正手段は、前記白黒反転判定手段の判定結果に基づき、前記高輝度領域抽出手段で抽出された高輝度領域の撮像データに白黒反転の補正を施すことを特徴とする撮像装置。
2. 前記高輝度領域抽出手段は、高輝度画素値メモリ手段と、比較手段と、2値化手段と、境界線追跡手段とを具備し、
高輝度画素値メモリ手段には、高輝度を示す閾値が記録され、
比較手段は、前記撮像データと前記高輝度画素値メモリ手段に記録された閾値とを比較し、
2値化手段は、前記比較手段の比較結果に応じて2値化処理を行い、
境界線追跡手段は、前記2値化手段の出力の境界線追跡を行うことで、高輝度領域を示すアドレスを得ることを特徴とする1に記載の撮像装置。
高輝度画素値メモリ手段には、高輝度を示す閾値が記録され、
比較手段は、前記撮像データと前記高輝度画素値メモリ手段に記録された閾値とを比較し、
2値化手段は、前記比較手段の比較結果に応じて2値化処理を行い、
境界線追跡手段は、前記2値化手段の出力の境界線追跡を行うことで、高輝度領域を示すアドレスを得ることを特徴とする1に記載の撮像装置。
3. 前記白黒反転判定手段は、行アドレス演算手段と、2値分布調査手段と、反転判定手段とを具備し、
行アドレス演算手段は、前記高輝度領域抽出手段で抽出された高輝度領域を示すアドレスから2値分布を求める行アドレスを演算し、
2値分布調査手段は、前記行アドレス演算手段で求められた行アドレスの2値分布を求め、
反転判定手段は、前記2値分布調査手段から出力される2値分布から、高輝度領域内に黒を示す値が存在した場合白黒反転していると判定し、存在しない場合反転していないと判定することを特徴とする1または2に記載の撮像装置。
行アドレス演算手段は、前記高輝度領域抽出手段で抽出された高輝度領域を示すアドレスから2値分布を求める行アドレスを演算し、
2値分布調査手段は、前記行アドレス演算手段で求められた行アドレスの2値分布を求め、
反転判定手段は、前記2値分布調査手段から出力される2値分布から、高輝度領域内に黒を示す値が存在した場合白黒反転していると判定し、存在しない場合反転していないと判定することを特徴とする1または2に記載の撮像装置。
4. 前記高輝度領域抽出手段は、微分手段と、境界線追跡手段と、比較手段と、高輝度画素値メモリ手段とを具備し、
微分手段は、前記撮像データに対して微分処理を施し、
境界線追跡手段は、前記微分手段の出力の境界線追跡を行うことで画像の輪郭抽出を行って、高輝度領域の輪郭を抽出することで、高輝度領域を示すアドレスを求め、
高輝度画素値メモリ手段には、高輝度を示す閾値が記録され、
比較手段は、前記境界線追跡手段で抽出された輪郭で囲まれた領域の前記撮像データと、前記高輝度画素値メモリ手段に記録された閾値とを比較することを特徴とする1に記載の撮像装置。
微分手段は、前記撮像データに対して微分処理を施し、
境界線追跡手段は、前記微分手段の出力の境界線追跡を行うことで画像の輪郭抽出を行って、高輝度領域の輪郭を抽出することで、高輝度領域を示すアドレスを求め、
高輝度画素値メモリ手段には、高輝度を示す閾値が記録され、
比較手段は、前記境界線追跡手段で抽出された輪郭で囲まれた領域の前記撮像データと、前記高輝度画素値メモリ手段に記録された閾値とを比較することを特徴とする1に記載の撮像装置。
5. 前記白黒反転判定手段は、行アドレス演算手段と、輝度分布調査手段と、判定値メモリ手段と、反転判定手段とを具備し、
行アドレス演算手段は、前記高輝度領域抽出手段で抽出された高輝度領域を示すアドレスから輝度分布を求める行アドレスを演算し、
輝度分布調査手段は、前記行アドレス演算手段で求められた行アドレスの輝度分布を求め、
判定値メモリ手段には、白黒反転の判定値が記録され、
反転判定手段は、前記輝度分布調査手段で求められた輝度分布と、前記判定値メモリ手段に記録された白黒反転の判定値とを比較して、前記輝度分布調査手段で求められた輝度分布の方が大きい場合には白黒反転していないと判定し、小さいまたは同じ場合には白黒反転していると判定することを特徴とする1、2または4の何れか1項に記載の撮像装置。
行アドレス演算手段は、前記高輝度領域抽出手段で抽出された高輝度領域を示すアドレスから輝度分布を求める行アドレスを演算し、
輝度分布調査手段は、前記行アドレス演算手段で求められた行アドレスの輝度分布を求め、
判定値メモリ手段には、白黒反転の判定値が記録され、
反転判定手段は、前記輝度分布調査手段で求められた輝度分布と、前記判定値メモリ手段に記録された白黒反転の判定値とを比較して、前記輝度分布調査手段で求められた輝度分布の方が大きい場合には白黒反転していないと判定し、小さいまたは同じ場合には白黒反転していると判定することを特徴とする1、2または4の何れか1項に記載の撮像装置。
6. 前記白黒反転判定手段は、変化量演算手段と、行・列アドレス演算手段と、判定値メモリ手段と、反転判定手段とを具備し、
行・列アドレス演算手段は、前記高輝度領域抽出手段で抽出された高輝度領域を示すアドレスから変化量を求める行・列アドレスを演算し、
変化量演算手段は、前記行・列アドレス演算手段で求められた行・列アドレスの撮像データの変化量を演算し、
判定値メモリ手段には、白黒反転の判定の閾値となる撮像データの変化量が記録され、
反転判定手段は、前記変化量演算手段で求められた撮像データの変化量と、前記判定値メモリ手段に記録された白黒反転の判定の閾値となる撮像データの変化量とを比較して、前記変化量演算手段で求められた撮像データの変化量の方が大きいまたは同じ場合には白黒反転していると判定し、小さい場合には白黒反転していないと判定することを特徴とする1、2または4の何れか1項に記載の撮像装置。
行・列アドレス演算手段は、前記高輝度領域抽出手段で抽出された高輝度領域を示すアドレスから変化量を求める行・列アドレスを演算し、
変化量演算手段は、前記行・列アドレス演算手段で求められた行・列アドレスの撮像データの変化量を演算し、
判定値メモリ手段には、白黒反転の判定の閾値となる撮像データの変化量が記録され、
反転判定手段は、前記変化量演算手段で求められた撮像データの変化量と、前記判定値メモリ手段に記録された白黒反転の判定の閾値となる撮像データの変化量とを比較して、前記変化量演算手段で求められた撮像データの変化量の方が大きいまたは同じ場合には白黒反転していると判定し、小さい場合には白黒反転していないと判定することを特徴とする1、2または4の何れか1項に記載の撮像装置。
7. 前記画像補正手段は、反転画素アドレス検出手段と、アドレス記録手段と、補正値記録手段と、補間手段とを具備し、
反転画素アドレス検出手段は、前記白黒反転判定手段の判定結果から白黒反転が発生している画素のアドレスを求め、
アドレス記録手段には、前記反転画素アドレス検出手段で求められた白黒反転が発生している画素のアドレスが記録され、
補正値記録手段には、白黒反転の補正に用いる既定値が記録され、
補間手段は、前記アドレス記録手段に記録されているアドレスの画像データを、白黒反転が発生していない周辺画素の撮像データから求めた補正データ、または前記補正値記録手段に記録されている補正値に置き換えることを特徴とする1乃至6の何れか1項に記載の撮像装置。
反転画素アドレス検出手段は、前記白黒反転判定手段の判定結果から白黒反転が発生している画素のアドレスを求め、
アドレス記録手段には、前記反転画素アドレス検出手段で求められた白黒反転が発生している画素のアドレスが記録され、
補正値記録手段には、白黒反転の補正に用いる既定値が記録され、
補間手段は、前記アドレス記録手段に記録されているアドレスの画像データを、白黒反転が発生していない周辺画素の撮像データから求めた補正データ、または前記補正値記録手段に記録されている補正値に置き換えることを特徴とする1乃至6の何れか1項に記載の撮像装置。
8. 前記境界線追跡手段は、前処理手段を具備し、
前処理手段は、前記境界線追跡手段の入力に、拡張カルマンフィルタ処理、ハフ変換処理または最小二乗法処理の内、少なくとも1つの処理を施すことを特徴とする2乃至7の何れか1項に記載の撮像装置。
前処理手段は、前記境界線追跡手段の入力に、拡張カルマンフィルタ処理、ハフ変換処理または最小二乗法処理の内、少なくとも1つの処理を施すことを特徴とする2乃至7の何れか1項に記載の撮像装置。
9. 前記撮像素子は、対数変換型撮像素子であることを特徴とする1乃至8の何れか1項に記載の撮像装置。
10. 順次転送型の全画素同時露光方式の撮像素子と、撮像光学系とを備えた撮像装置の白黒反転補正方法であって、
前記撮像素子で撮像された撮像データから高輝度領域を抽出し、抽出された高輝度領域での白黒反転発生の有無を判定し、前記白黒反転発生の有無の判定結果に基づいて、抽出された高輝度領域の撮像データに白黒反転の補正を施すことを特徴とする撮像装置の白黒反転補正方法。
前記撮像素子で撮像された撮像データから高輝度領域を抽出し、抽出された高輝度領域での白黒反転発生の有無を判定し、前記白黒反転発生の有無の判定結果に基づいて、抽出された高輝度領域の撮像データに白黒反転の補正を施すことを特徴とする撮像装置の白黒反転補正方法。
本発明によれば、高輝度光の漏れ光による白黒反転現象を起こしている画素を、撮像データを解析することで検出し、既定の補正値、あるいは白黒反転していない周辺画素から演算される補正値を用いて補正することにより、白黒反転現象のない画像が得られる撮像装置および該撮像装置の白黒反転補正方法を提供することができる。
以下、図面に基づき本発明の実施の形態を説明する。
まず、本発明における撮像素子の構成とその特性、および「白黒反転」現象の発生のメカニズムを、図1乃至図3を用いて説明する。
図1は、順次転送型の、全画素同時露光方式の撮像素子162の回路構成の例を示すブロック図である。図1において、撮像素子162の撮像面162a上には、画素162bが複数個2次元に配列され、各画素には2次元配列の水平行と垂直列のアドレスが割り付けられている。
各画素は、垂直走査回路162cの行選択線162iと垂直信号線162jとにそれぞれ接続され、全画素同時露光が行われて各画素毎に撮像信号が保持された後、垂直走査回路162cの行選択線162iで指定された水平行の全画素の撮像信号が、垂直信号線162jを介して同時にサンプルホールド回路162dに転送されて保持され、水平走査回路162fの動作によって、出力回路162eから出力アンプ162gを介して順次転送され、撮像出力162kとして撮像素子の外部に出力される。これらの動作は、撮像制御手段161の制御信号161aに基づき、タイミングジェネレータ162hにより制御される。
図2は、図1に示した順次転送型の、全画素同時露光方式の撮像素子162を構成する画素の回路例で、前述したリニアログセンサの1例である。図示しない撮像光学系によって撮像素子162上に結像された被写体からの光は、画素162bのフォトダイオードPDで光電変換され、トランジスタT1でリニアログ変換され、全画素同時露光期間中、トランジスタT1とミラー回路接続されたトランジスタT2によって、リニアログ特性の電荷がキャパシタC1に蓄積される。
図3は、図2に示した画素162bの回路の光電変換特性を示す模式図である。横軸には、撮像素子面照度を対数軸でとってあり、縦軸には撮像出力162kを線形軸でとってある。上述したように、図2のトランジスタT1のソース電圧φVPSの制御によって、図3の特性162mに示すような対数特性から、特性162nに示す線形特性までを切り換えることが可能である。
特性162pは、撮像素子面照度が低照度の場合は特性162nと同じ線形特性、撮像素子面照度が高照度の場合は特性162mと同じ傾きの対数特性を示すリニアログ特性であり、線形特性と対数特性の切り替わり点(以下、変曲点と言う)162rは、上述のトランジスタT1のソース電位φVPSの制御によって任意に設定可能である。φVPSの設定条件を撮像素子162の駆動条件と呼ぶ。
図2に戻って、全画素同時露光終了のタイミングで信号φSWが一定期間オンされてトランジスタT4が一定期間オンされ、キャパシタC1とC2の容量比に従って、C1に蓄積された電荷がC2に転送される。これで、全画素同時に撮像信号が記憶されたことになる。トランジスタT4オフ後、信号φRS1が一定期間オンされてトランジスタT3が一定期間オンされ、キャパシタC1の電位が電位RSBにリセットされ、次の撮像が可能になる。
次に、図1に示した垂直走査回路162cにより、撮像素子162の各水平行の中の読み出し行のφV(行選択信号162i)が一定期間オンされてトランジスタT7がオンされ、トランジスタT6を介して、キャパシタC2に記憶された撮像信号が垂直信号線162jに出力され、図1に示したサンプルホールド回路162dに転送される。転送後、φRS2が一定期間オンされてトランジスタT5が一定期間オンされ、キャパシタC2の電位が電位RSBにリセットされる。以上が正常な動作である。
ここで、撮像素子162への入射光が非常に高輝度の場合、上述のように全画素同時に撮像信号がキャパシタC2に記憶されてから、キャパシタC2に記憶された撮像信号が垂直信号線162jに出力されるまでに、例えばトランジスタT4やT5に高輝度光の漏れ光が入射すると、トランジスタT4やT5が誤動作してキャパシタC2に記憶されている電荷を放電してしまう。漏れ光による誤動作の度合いが強過ぎると、キャパシタC2に記憶された電荷は完全に放電されてしまい、暗黒状態と同じ撮像信号となる。これが「白黒反転」である。
キャパシタC2に記憶された撮像信号の垂直信号線162jへの転送は、通常は撮像素子162の水平行毎に順次行われるので、転送の順番が遅い水平行ほど高輝度光の漏れ光による放電の度合いが強くなり、白黒反転の量も大きくなる。
もちろん、このようなトランジスタの誤動作を防ぐために、画素162bのパターン設計では遮光パターンを用いて遮光が行われるが、感度を確保するために光電変換回路PEC中のフォトダイオード部は開口を極力大きくする必要があり、かつ、最近の撮像素子は非常に小型化されているため、遮光パターンによる遮光率は相対的に低くなり、漏れ光がトランジスタに入射することを完全に抑制することは困難で、漏れ光による誤動作は防ぎきれない。
そこで、本発明の実施の形態においては、撮像素子から出力された撮像データから高輝度領域を抽出し、更に高輝度領域の内側に白黒反転した領域が存在するか否かを確認し、白黒反転した領域が存在する場合は画像補正することで白黒反転を修正する。以下、本発明の実施の形態を詳述する。
まず、本発明における撮像装置の実施の形態について、図4乃至図11を用いて説明する。図4は、本発明における撮像装置の実施の形態を示す主要回路ブロック図であり、図4(a)は撮像装置単体での例であり、図4(b)は複数台の撮像装置を備えた撮像システムの例である。
図4(a)において、撮像装置1の鏡胴20内には撮像光学系211が設けられている。撮像装置1の筐体10内で、撮像光学系211の結像面位置に、撮像面162aが光軸200に垂直となるように、前述した撮像素子162が配置されている。撮像素子162の撮像出力162kは、アンプ163で増幅された後、アナログデジタル変換手段(以下、A/D変換手段と言う)164でデジタル撮像データ164aに変換され、本発明の主要部である白黒反転処理手段170で白黒反転の補正が施され、画像処理手段165で、ノイズ除去、画素補間、色補正等の一般的な画像処理が施されて撮像データ165aとなる。これらの動作は、撮像制御手段161で制御される。
図4(b)において、撮像システム3は、複数台のカメラ(例えば、第1のカメラ1A、第2のカメラ1B、第3のカメラ1Cの3台のカメラ)と撮像制御システム30とで構成される。各々のカメラは、撮像光学系と撮像素子、アンプ、A/D変換手段および撮像制御手段から構成されており、図4(a)に示した撮像装置から白黒反転処理手段170と画像処理手段165を省いた構成となっている。
各々のカメラのデジタル撮像データ164aは、インターフェース32を介して撮像制御システム30の白黒反転処理手段170に入力され、白黒反転の補正を施された後画像処理手段165に入力される。これらの動作は、撮像制御システム30のシステム制御手段31によって制御される。
本構成によれば、各々のカメラの構成が簡単となり、小型化、低コスト化が可能であり、消費電力の削減もできるので長時間の電池駆動が可能となり、カメラの設置場所の制約が大きく緩和される。さらに、撮像制御システム30には高性能のパーソナルコンピュータ等を用いることが可能であり、白黒反転の補正処理や画像処理の高速化、高性能化が可能である。
図5は、図4に示した白黒反転処理手段170の第1の実施の形態を示す回路ブロック図である。図中、図4と同じ部分には同じ番号を付与した。
図5において、白黒反転処理手段170は、高輝度領域抽出手段120、白黒反転判定手段130、画像補正手段140および画像メモリ150からなる。
まず、高輝度領域抽出手段120の第1の実施の形態について述べる。デジタル撮像データ164aは、高輝度領域抽出手段120の比較手段121に入力されると共に、画像メモリ150に入力されて記憶され、必要に応じて以後の各処理で使用される。
デジタル撮像データ164aは、比較手段121に入力され、高輝度画素値メモリ手段122に記録されている高輝度閾値123と比較される。高輝度閾値123は、高輝度領域を判定する既定値であり、太陽の直接像、ガラスや金属表面などの鏡面での太陽の反射像、サーチライトや自動車のヘッドライトなどの明るい光源の直接像等の高輝度像のみがそのレベルを超えるような撮像データ値、またはそれより少し低い撮像データ値に設定される。また高輝度閾値123は、上述した撮像素子162の駆動条件(つまり、リニアログセンサにおける変曲点の設定値)に対応した複数の値が準備され、撮像素子162の駆動条件に合わせて最適なものが用いられることが望ましい。
比較手段121の比較結果に応じて、2値化手段124で、全画素のデジタル撮像データ164aの2値化処理が行われ、2値化画像125が出力される。2値化画像125は、例えば高輝度閾値123よりデジタル撮像データ164aが大きい場合は白を示す1、小さい場合は黒を示す0で表現される。上述したように、高輝度閾値123は明るい光源の直接像等の高輝度像のみがそのレベルを超えるような撮像データ値であるので、一般的な被写体を撮像した画像であれば、2値化画像125は全て0(黒)の画像となる。
次に、境界線追跡手段127で境界線追跡を行うことで、高輝度領域が抽出される。高輝度領域の抽出は2値化画像125を用いて行ってもよいが、以下に述べる理由から、2値化画像125に前処理を施すのが望ましい。
図19に示したように、撮像素子162に白黒反転が発生しなかった場合、高輝度光が入射すると、高輝度領域IM001の中心を通る水平X行の輝度分布データは、図19(d)に示すように、高輝度光付近で急激に輝度値が高くなり、更に高輝度光の中心に向かうにしたがって輝度値は高くなる。
しかし、白黒反転が発生すると、図19(e)、(f)に示すように、高輝度光の周辺は輝度値が高く、本来更に輝度値が高くなるはずの中心部は完全に黒となった、いわゆるドーナツ状の高輝度領域となる。言い換えると白黒反転を起こしている場所を特定するには、ドーナツ状の高輝度領域を検出することが重要である。
ところが、実際の画像で2値化処理を行った場合、白黒反転を起こした高輝度領域は、例えば高輝度閾値123の設定によって、必ずしもドーナツ状の高輝度領域を示す形状にはならず、かすれたり切れ切れになったような形状になる場合があり、高輝度領域を抽出するのに支障をきたすことがある。境界線追跡手段127は前処理手段126を備え、このような場合の画像処理での常套手段として、2値化画像125に対して、拡張カルマンフィルタ処理、ハフ変換処理または最小二乗法処理などの前処理が行われる。これによって、簡単にかつ高精度に、ドーナツ状の高輝度領域を検出することが可能となる。
次に、境界線追跡手段127で前処理後画像128に対して境界線追跡が行われて高輝度領域が抽出され、高輝度領域信号129として、例えば図10(a)に示すように、高輝度領域の存在するアドレス、すなわち、高輝度領域の高さを示す上下各々の行アドレス129a、129bと、高輝度領域の横幅を示す左右各々の列アドレス129c、129dが出力される。ここに、図10は、前処理後画像128中の高輝度部の近傍の模式図であり、白い部分Wは高輝度部、斜線部分Bkは低輝度部または白黒反転部を示す。
次に、白黒反転判定手段130の第1の実施の形態について述べる。図5において、高輝度領域抽出手段120から出力された高輝度領域信号129中の、高輝度領域の高さを示す行アドレス129a、129bから、行アドレス演算手段132により高輝度領域の存在する、例えば中心付近の中心行アドレス133が演算で求められ、2値分布調査手段131に送信される。2値分布調査手段131により、前処理後画像128の中心行アドレス133の2値分布が求められ、求められた結果が反転判定手段134に送られる。
反転判定手段134により、2値分布調査手段131の2値分布出力の、高輝度領域信号129中の高輝度領域の存在する列アドレス129cと129dの間に、黒を示す0が存在するか否かが確認され、0が存在する場合は白黒反転を起こしていると判定され、存在しない場合は起こしていないと判定されて、判定結果135が画像補正手段140に出力される。
次に、画像補整手段140の第1の実施の形態について述べる。画像補正手段140により、白黒反転判定手段130の判定結果135に従って画像補正が行われる。判定結果135が反転を起こしていないことを示している場合、画像補正手段140は、デジタル撮像データ164aに補正処理を施さずに、そのまま白黒反転処理済の撮像データ170aとして画像処理手段165に出力する。
白黒反転判定手段130の判定結果135が反転を起こしていることを示している場合、白黒反転を起こしている画素のアドレスを特定するために、以下のことが行われる。高輝度領域は行アドレス129a、129bと列アドレス129c、129dに囲まれた領域に存在する。そこで、前処理後画像128の行アドレス129aから行アドレス129bの範囲の各行の2値分布の中で、列アドレス129cから列アドレス129dの2値の変化に注目して、図10(b)と図11とを用いて、反転画素アドレス検出手段142の動作を説明する。
図10(b)は、白黒反転を起こした画像における、前処理後画像128の一例を示す模式図である。図10(b)において、水平の破線は上から順に行アドレス129a、A行、B行、C行、D行、E行、行アドレス129bを示している。行アドレス129aと行アドレス129bは、上述の通り各々高輝度領域の始まる上下位置を示すものである。A行は高輝度領域内で白黒反転を起こしていない任意の行、B行は上側を基準にしたときの高輝度領域で白黒反転を起こす最初の行、C行は高輝度領域の中心で最も白黒反転を起こしている行、D行は白黒反転を起こす最後の行、E行は高輝度領域内の白黒反転を起こしていない任意の行を各々示している。
図11は、図10(b)に示した行アドレス129a、A行、B行、C行、D行、E行、行アドレス129bの各行での、列アドレスを横軸に取った前処理後画像128の2値分布を示す模式図で、図11(a)は行アドレス129aの、図11(b)はA行の、図11(c)はB行の、図11(d)はC行の、図11(e)はD行の、図11(f)はE行の、図11(g)は行アドレス129bの2値分布である。また図11(c)のF、図11(d)のG、図11(e)のHは、白黒反転を起こしている部分を示している。図の縦方向には、高輝度領域を示す列アドレス129cと列アドレス129dを一点鎖線で記した。
白黒反転を起こしていない図11(a)、(b)、(f)、(g)では、列アドレス129cと129dの範囲で、画素値が「0→1→0」を示すのに対し、白黒反転を起こしている図11(c)、(e)の場合は、「0→1→0→1→0」、また図11(d)の場合は、「1→0→1」と変化する。
図5に戻って、反転画素アドレス検出手段142は、列アドレス129cと列アドレス129dの間で、前処理後画像128の2値化画素値1で挟まれた2値化画素値0の範囲、すなわち上述した白黒反転を示す画素の行アドレスと列アドレスを検出し、アドレス記録手段143に、この白黒反転画素アドレス142aを記録する。
画像メモリ150に記憶されたデジタル撮像データ164aは、反転画素アドレスの検出動作に合わせて補間手段145に入力される。補間手段145は、デジタル撮像データ164a中の、アドレス記録手段143に記録されている白黒反転画素アドレス142aに対応する画素のデータを、予め補正値記録手段144に記録されている補正値、または白黒反転画素の周辺の白黒反転を起こしていない画素のデータから演算で求めた補正値に置き換えることで、白黒反転の補正を行う。以上のようにすることで、簡単かつ正確に白黒反転を補正することが可能となる。
次に、図5で示した回路の動作の流れについて、図6乃至図9を用いて説明する。図6は白黒反転補正の動作の流れを示すフローチャートのメインルーチンで、図7乃至図9が、図6のフローチャートの第1の実施の形態の動作の流れを示すサブルーチンである。
まず、ステップS101で、デジタル撮像データ164aは、高輝度領域抽出手段120に入力されると共に、画像メモリ150に入力されて記憶され、必要に応じて以後の各処理で使用される。
ステップS120は、高輝度領域抽出の動作の流れを示すサブルーチンである。ステップS130は、白黒反転判定の動作の流れを示すサブルーチンである。ステップ140は、画像補正の動作の流れを示すサブルーチンである。次に、図7乃至図9を用いて、第1の実施の形態の動作の流れを説明する。
図7は、図6のステップS120「高輝度領域抽出サブルーチン」の第1の実施の形態である。ステップS121で、デジタル撮像データ164aと高輝度画素値メモリ手段122に記録されている高輝度閾値123とが比較手段121で比較される。
比較の結果、デジタル撮像データ164aの方が小さい場合(ステップS121;YES)は、ステップS122で該当する画素の2値データを「0」にして、ステップS124に進む。デジタル撮像データ164aの方が大きいか等しい場合(ステップS121;NO)は、ステップS123で該当する画素の2値データを「1」にして、ステップS124に進む。ステップS124で、全画素の2値化が完了したか否かが確認され、完了している場合(ステップS124;YES)は、ステップS125に進み、完了していない場合(ステップS124;NO)はステップS121に戻って、ステップS121からステップS124の動作をくり返す。
ステップS125で、2値化画像125に対して、拡張カルマンフィルタ処理、ハフ変換処理または最小二乗法処理などの前処理を行い、ステップS126に進む。ステップS126で、前処理後画像128に対して境界線追跡手段127を用いて境界線追跡を行うことで高輝度領域を抽出し、ステップS127で、高輝度領域の存在するアドレス、すなわち、高輝度領域の高さを示す上下各々の行アドレス129a、129bと、高輝度領域の横幅を示す左右各々の列アドレス129c、129dを高輝度領域信号129として出力し、図6のステップS120に戻る。
図8は、図6のステップS130「白黒反転判定サブルーチン」の第1の実施の形態である。ステップS131で、行アドレス演算手段132により、高輝度領域抽出手段120から出力された高輝度領域信号129中の、高輝度領域の高さを示す行アドレス129a、129bから高輝度領域の中心付近の中心行アドレス133が演算で求められ、2値分布調査手段131に送信される。ステップS132で、2値分布調査手段131により、前処理後画像128の中心行アドレス133の2値分布が求められ、求められた結果が反転判定手段134に送られる。
ステップS133で、反転判定手段134により、2値分布調査手段131の2値分布出力の、高輝度領域信号129中の高輝度領域の存在する列アドレス129cと129dの間に、黒を示す0が存在するか否かが確認され、0が存在する場合は白黒反転を起こしていると判定し、存在しない場合は起こしていないと判定し、判定結果135が画像補正手段140に出力される。
図9は、図6のステップS140「画像補正サブルーチン」の第1の実施の形態である。ステップS141で、ステップS130で判定された白黒反転フラグが「1(白黒反転有り)」であるか否かが確認される。「0(白黒反転なし)」の場合(ステップS141;NO)、ステップS142に進み、デジタル撮像データ164aは、画像補正手段140による補正処理が施されずに、ステップS147で、そのまま白黒反転処理済の撮像データ170aとして画像処理手段165に出力される。
白黒反転フラグが「1(白黒反転有り)」の場合(ステップS141;YES)、白黒反転を起こしている画素のアドレスの特定が行われる。ステップS143で、前処理後画像128の行アドレス129a、129bと列アドレス129c、129dに囲まれた領域の各行の2値分布の中で、列アドレス129cから列アドレス129dの2値の変化が、「1→0→1」と変化している部分が確認され、「1→0→1」と変化する部分が存在する場合(ステップS143;YES)、ステップS144でアドレス記録手段143に白黒反転画素アドレス142aが記録される。
「1→0→1」と変化する部分が存在しない場合(ステップS143;NO)、そのままステップS145に進む。ステップS145で高輝度領域の全行の画素値変化が確認されたか否かが確認され、確認が完了している場合(ステップS145;YES)は、ステップS146に進む。完了していない場合(ステップS145;NO)、ステップS143に戻り、高輝度領域の全行の画素値変化の確認が完了するまでステップS143からS145がくり返される。
ステップS146で、補間手段145により、デジタル撮像データ164a中の、アドレス記録手段143に記録されている白黒反転画素アドレス142aに対応する画素のデータが、予め補正値記録手段144に記録されている補正値、または白黒反転画素の周辺の白黒反転を起こしていない画素のデータから演算で求められた補正値に置き換えられ、白黒反転の補正が行われる。
次に、白黒反転処理手段170の第2の実施の形態について、図12乃至図16を用いて説明する。図12は、図4に示した白黒反転処理手段170の第2の実施の形態を示す回路ブロック図である。図中、図4および図5と同じ部分には同じ番号を付与した。
まず、高輝度領域抽出手段120の第2の実施の形態について述べる。デジタル撮像データ164aは、高輝度領域抽出手段120の微分手段324に入力されると共に、画像メモリ150に入力されて記憶され、必要に応じて以後の各処理で使用される。微分手段324は、入力されたデジタル撮像データ164aに対して、一般的な微分手段(例えばソベルフィルタ等)を用いて微分処理を行う。微分処理によりおおよその境界線追跡は可能であるが、図5でも述べたように、境界線追跡が確実に行えるように、前処理手段126にてハフ変換等の前処理を行うことが望ましい。次に、境界線追跡手段127で境界線追跡を行い、高輝度領域と思われる領域を抽出する。
画像メモリ150から比較手段121に入力されたデジタル撮像データ164a中の、境界線追跡手段127で検出された高輝度領域と思われる領域の撮像データと、高輝度画素値メモリ手段122に記録されている、撮像素子162の駆動条件に対応した既定の高輝度閾値123とを、比較手段121にて比較することで、この領域が高輝度領域か否かが判定される。上述した段階を踏む理由は、画像に対して微分処理を行うと輝度変化のある輪郭を全て抽出するため、高輝度閾値123と比較して高輝度領域だけを抽出する必要があるためである。
高輝度領域と判定された場合、比較手段121は、比較出力121aとして、図10(a)に示したと同じ、高輝度領域の存在範囲を示す行アドレス129a、129b、列アドレス129c、129dを、白黒反転判定手段130の比較出力記録手段332に出力する。本例では、図5に示したように全画素の撮像データを高輝度閾値123と比較するのではなく、微分処理の結果高輝度領域と思われる領域の画素の撮像データだけを高輝度閾値123と比較するため、比較演算にかかる時間を短縮することができる。
次に、白黒反転判定手段130の第2の実施の形態について述べる。輝度分布調査手段331は、比較出力記録手段332に記録された比較出力121aに従って、画像メモリ150に記憶されているデジタル撮像データ164a中の、行アドレス129aから129bの間の各行の輝度分布を求める。
反転判定手段334は、輝度分布調査手段331によって求められた高輝度領域の存在する行アドレス129aから129bの間の各行の輝度分布の内、列アドレス129cから129dの各画素の輝度分布と、判定値メモリ手段335に記録されている既定の白黒反転判定値336とを比較し、輝度分布が白黒反転判定値336より小さいか若しくは同じ場合は白黒反転を起こしていると判定し、大きい場合は起こしていないと判定し、判定結果334aを画像補正手段140の反転画素アドレス検出手段342に出力する。
ここに、例えば高輝度光源のムラにより中心の輝度値が周辺よりも低くなった場合や、円形の蛍光灯を直視した場合等のようにドーナツ状の高輝度光源の中心の輝度値が低い場合等を白黒反転と誤判断しないように、白黒反転判定値336は、高輝度光源の中の暗い部分が取る可能性のある撮像データより低い値に設定される。
次に、画像補正手段140の第2の実施の形態について説明する。画像補正手段140は、白黒反転判定手段130の判定結果334aに従って画像補正を行う。判定結果334aが白黒反転を起こしていないことを示している場合、画像補正手段140は、画像メモリ150に記憶されているデジタル撮像データ164aに補正処理を施さずに、そのまま白黒反転処理済の撮像データ170aとして画像処理手段165に出力する。
判定結果334aが白黒反転していることを示している場合、反転を起こしている画素を特定するために以下のことを行う。高輝度領域は行アドレス129a、129bと列アドレス129c、129dに囲まれた領域に存在する。そこで反転画素アドレス検出手段342は、行アドレス129aから129bの輝度分布を求め、更に列アドレス129cから129dの範囲の輝度値の変化に注目する。
図16は、図11と同様に、図10(b)に示した行アドレス129a、A行、B行、C行、D行、E行、行アドレス129bの輝度分布を示す模式図である。図16の輝度分布は、図11のような2値化された分布ではなく、多値(例えば、0から255の8ビット)のデジタル撮像データである。
図16(a)から(g)は、横軸を列アドレスに取った、行アドレス129aから行アドレス129b近傍の輝度分布である。縦軸のTHは、白黒反転判定値336を示す。また、縦方向の1点鎖線の左側は列アドレス129c、右側は列アドレス129dを示している。図16においては、図16(c)のF、図16(d)のG、図16(e)のHがTH(白黒反転判定値336)より低い値を示しており、白黒反転を起こしていることになる。
白黒反転を起こしていない、例えば図16(a)の輝度分布の変化は、高輝度領域の横幅を示す列アドレス129cから129dの範囲では、左側から「低→高→低」と変化している。次に、白黒反転を起こしている、例えば図16(d)の輝度分布の変化は、同様に考えると、「高→低→高」と変化している。
図12に戻って、以上より、反転アドレス検出手段342は、列アドレス129cと列アドレス129dの間で且つ高輝度(高)に挟まれた低輝度(低)を示す画素の行アドレスと列アドレスを検出し、アドレス記録手段143に前記アドレス342aを記録しておけばよいことになる。
補間手段145は、画像メモリ150に記憶されたデジタル撮像データ164a中の、アドレス記録手段143に記録されている白黒反転画素アドレス342aに対応する画素のデータを、予め補正値記録手段144に記録されている補正値、または白黒反転画素の周辺の白黒反転を起こしていない画素のデータから演算で求めた補正値に置き換えることで、白黒反転の補正を行う。以上のようにすることで、簡単かつ正確に白黒反転を補正することが可能となる。
次に、図12で示した回路の動作の流れについて、図13乃至図15を用いて説明する。図6が白黒反転補正の実施の形態の動作の流れを示すフローチャートのメインルーチンであり、図13乃至図15は、図6のフローチャートの第2の実施の形態の動作の流れを示すサブルーチンである。図6乃至図9と同じステップには同じステップ番号を付与する。
図13は、図6のステップS120「高輝度領域抽出サブルーチン」の第2の実施の形態である。ステップS221で、微分手段324により、デジタル撮像データ164aに対して一般的な微分手段(例えばソベルフィルタ等)を用いた微分処理が施される。ステップS125で、ステップS221の微分出力にハフ変換等の前処理が施される。ステップS126で、境界線追跡が行われ、高輝度領域と思われる候補領域が抽出され、ステップS222で、候補領域内のデジタル撮像データ164aと、高輝度画素値メモリ手段122に記録されている、撮像素子162の駆動条件に対応した既定の高輝度閾値123とが、比較され、高輝度領域か否かが判断される。
ステップS222の比較の結果、高輝度領域と判断された場合(ステップS222;YES)、ステップS223で高輝度領域のアドレスが記録され、ステップS224に進む。高輝度領域と判断されなかった場合(ステップS222;NO)、そのままステップS224に進む。ステップS224で、全ての高輝度領域の候補領域に対する比較が完了したか否かが確認され、完了するまでステップS222からステップS224がくり返される。
全ての高輝度領域の候補領域に対する比較が完了したら(ステップS224;YES)、ステップS225で、図10(a)に示したと同様に、ステップS223で記録された高輝度領域の存在範囲を示す行アドレス129a、129b、列アドレス129c、129dが、比較出力121aとして出力され、図6のステップS120に戻る。
図14は、図6のステップS130「白黒反転判定サブルーチン」の第2の実施の形態である。ステップS331で、比較出力記録手段332に記録された比較出力121aに従って、輝度分布調査手段331により、画像メモリ150に記憶されているデジタル撮像データ164a中の、行アドレス129aから129bの間の各行の輝度分布が求められる。
ステップS332で、反転判定手段334により、輝度分布調査手段331によって求められた高輝度領域の存在する行アドレス129aから129bの間の各行の輝度分布の内、列アドレス129cから129dの各画素の輝度分布と、判定値メモリ手段335に記録されている既定の白黒反転判定値336とが比較される。
輝度分布が白黒反転判定値336より小さい若しくは同じ場合は白黒反転を起こしていると判定され(ステップS133;YES)、ステップS134で白黒反転フラグが「1(白黒反転有り)」に設定され、輝度分布が白黒反転判定値336より大きい場合は白黒反転を起こしていないと判定され(ステップS133;NO)、ステップS135で白黒反転フラグが「0(白黒反転なし)」に設定され、図6のステップS130に戻る。
図15は、図6のステップS140「画像補正サブルーチン」の第2の実施の形態である。ステップS141で、ステップS130で判定された白黒反転フラグが「1(白黒反転有り)」であるか否かが確認される。「0(白黒反転なし)」の場合(ステップS141;NO)、ステップS142に進み、デジタル撮像データ164aは、画像補正手段140による補正処理が施されずに、ステップS147で、そのまま白黒反転処理済の撮像データ170aとして画像処理手段165に出力される。
白黒反転フラグが「1(白黒反転有り)」の場合(ステップS141;YES)、ステップS441で、行アドレス129aから129bの輝度分布と白黒反転判定値336とが比較されて、その結果として、輝度分布と白黒反転判定値336の高低の関係が「高→低→高」と変化しているか否かが確認される。「高→低→高」と変化している部分が存在する場合(ステップS441;YES)は白黒反転を起こしていると判断され、ステップS144でアドレス記録手段143に白黒反転画素アドレス342aが記録される。
「高→低→高」と変化している部分が存在しない場合(ステップS441;NO)、そのままステップS145に進む。ステップS145で高輝度領域の全行の画素値変化が確認されたか否かが確認され、確認が完了している場合(ステップS145;YES)は、ステップS146に進む。完了していない場合(ステップS145;NO)、ステップS441に戻り、高輝度領域の全行の画素値変化の確認が完了するまでステップS441からS145がくり返される。
ステップS146で、補間手段145により、デジタル撮像データ164a中の、アドレス記録手段143に記録されている白黒反転画素アドレス142aに対応する画素のデータが、予め補正値記録手段144に記録されている補正値、または白黒反転画素の周辺の白黒反転を起こしていない画素のデータから演算で求められた補正値に置き換えられ、白黒反転の補正が行われる。
続いて、白黒反転処理手段170の第3の実施の形態について、図17と図18を用いて説明する。図17は、図4に示した白黒反転処理手段170の第3の実施の形態を示す回路ブロック図である。図中、図4および図5と同じ部分には同じ番号を付与した。なお、本第3の実施の形態は、図5に示した第1の実施の形態中の白黒反転判定手段130を変更したものであり、異なる部分についてのみ説明する。
行・列アドレス演算手段532は、境界線追跡手段127から高輝度領域信号129(行アドレス129a、129b、列アドレス129c、129d)を受信し、図18で後述する高輝度領域の中心付近の中心行・列アドレス533(例えば、(533x,533y))を演算で求め、変化量演算手段531に出力する。変化量演算手段531は、高輝度領域の、例えば中心部の画素と周辺部の画素の輝度の変化量538を求めて、反転判定手段334に出力する。ここに、中心部の画素とは、中心行・列アドレス533(533x,533y)の画素であり、周辺部の画素とは、例えば(中心行アドレス533x、列アドレス129c)画素である。
反転判定手段334は、変化量演算手段531によって求められた、高輝度領域の中心部と周辺部の輝度の変化量538と、判定値メモリ手段335に記録されている既定の白黒反転判定値336とを比較し、輝度の変化量538が白黒反転判定値336より大きいか同じ場合は白黒反転を起こしていると判定し、小さい場合は起こしていないと判定し、判定結果334aを画像補正手段140の反転画素アドレス検出手段142に出力する。その他は図5と同じである。
輝度の変化量によって白黒反転を見極めることができる理由は、以下の通りである。つまり、ドーナツ形状の高輝度光源を考えた場合には、撮像光学系211のフレアや解説等により、暗部と高輝度部の境界付近の輝度変化はあまり急峻にはならない。一方、図2で説明したように、高輝度光の漏れ光によるトランジスタの誤動作が原因の白黒反転の場合、画素内のキャパシタC2に記憶された電荷は完全に放電されてしまうため、暗黒状態と同じ撮像データとなり、ドーナツ形状の高輝度光源の暗部と高輝度部の境界付近の輝度変化とは比較にならないほど急峻な輝度変化を示す。以上より、白黒反転判定値336を適切に設定することで、白黒反転とドーナツ形状の光源との違いを切り分けることが可能である。
次に、図17で示した白黒反転判定手段130の動作の流れについて、図18を用いて説明する。図18は、図6のステップS130「白黒反転判定サブルーチン」の第3の実施の形態である。
ステップS361で、行・列アドレス演算手段532により、高輝度領域信号129(行アドレス129a、129b、列アドレス129c、129d)から、高輝度領域の中心部の中心行・列アドレス533(例えば、(533x,533y))を演算する。ステップS362で、変化量演算手段531により、高輝度領域の中心部の画素と周辺部の画素との輝度の変化量538を求める。ステップS363で、ステップS362で求められた高輝度領域の中心部と周辺部の輝度の変化量538と、判定値メモリ手段335に記録されている既定の白黒反転判定値336とが比較され、輝度の変化量538が白黒反転判定値336より大きいか同じ場合は白黒反転を起こしていると判定され(ステップS363;YES)、ステップS134で白黒反転フラグが「1(白黒反転有り)」に設定され、輝度の変化量538が白黒反転判定値336より小さい場合は白黒反転を起こしていないと判定され(ステップS363;NO)、ステップS135で白黒反転フラグが「0(白黒反転なし)」に設定され、図6のステップS130に戻る。
なお、上述した第3の実施の形態は、第1の実施の形態の白黒反転判定手段130を変更したものとして説明したが、第2の実施の形態の白黒反転手段130を入れ替えたものとしても成り立つことは言うまでもない。
以上に述べたように、本発明の各実施の形態によれば、高輝度光の漏れ光による白黒反転現象を起こしている画素を、撮像データを解析することで検出し、既定の補正値、あるいは白黒反転していない周辺画素から演算される補正値を用いて補正することにより、白黒反転現象のない画像が得られる撮像装置および該撮像装置の白黒反転補正方法を提供することができる。
また、高輝度部分のみを用いて白黒反転の発生を検出するので、検出のための処理が容易になり、短時間で検出を行うことができる。さらに、抽出した高輝度領域に現れる特有の明暗パターンに由来する上記領域内の輝度の変化に基づいて白黒反転の有無を検出することにより、比較的容易に高い精度で検出を行うことができる。
尚、本発明に係る撮像装置および該撮像装置の白黒反転補正方法を構成する各構成の細部構成および細部動作に関しては、本発明の趣旨を逸脱することのない範囲で適宜変更可能である。
1 撮像装置
10 筐体
20 鏡胴
200 光軸
1A 第1のカメラ
1B 第2のカメラ
1C 第3のカメラ
3 撮像システム
30 撮像制御システム
31 システム制御手段
32 インターフェース
211 撮像光学系
161 撮像制御手段
162 撮像素子
162b 画素
162k 撮像出力
163 アンプ
164 A/D変換手段
164a デジタル撮像データ
165 画像処理手段
170 白黒反転処理手段
120 高輝度領域抽出手段
121 比較手段
122 高輝度画素値メモリ手段
123 高輝度閾値
124 2値化手段
125 2値化画像
126 前処理手段
127 境界線追跡手段
128 前処理後画像
129 高輝度領域信号
130 白黒反転判定手段
131 2値分布調査手段
132 行アドレス演算手段
133 中心行アドレス
134 反転判定手段
135 判定結果
140 画像補正手段
142 反転画素アドレス検出手段
143 アドレス記録手段
144 補正値記録手段
145 補間手段
150 画像メモリ
324 微分手段
331 輝度分布調査手段
332 比較出力記録手段
334 反転判定手段
334a 判定結果
335 判定値メモリ手段
336 白黒反転判定値
342 反転画素アドレス検出手段
531 変化量演算手段
532 行・列アドレス演算手段
533 中心行・列アドレス
538 輝度の変化量
10 筐体
20 鏡胴
200 光軸
1A 第1のカメラ
1B 第2のカメラ
1C 第3のカメラ
3 撮像システム
30 撮像制御システム
31 システム制御手段
32 インターフェース
211 撮像光学系
161 撮像制御手段
162 撮像素子
162b 画素
162k 撮像出力
163 アンプ
164 A/D変換手段
164a デジタル撮像データ
165 画像処理手段
170 白黒反転処理手段
120 高輝度領域抽出手段
121 比較手段
122 高輝度画素値メモリ手段
123 高輝度閾値
124 2値化手段
125 2値化画像
126 前処理手段
127 境界線追跡手段
128 前処理後画像
129 高輝度領域信号
130 白黒反転判定手段
131 2値分布調査手段
132 行アドレス演算手段
133 中心行アドレス
134 反転判定手段
135 判定結果
140 画像補正手段
142 反転画素アドレス検出手段
143 アドレス記録手段
144 補正値記録手段
145 補間手段
150 画像メモリ
324 微分手段
331 輝度分布調査手段
332 比較出力記録手段
334 反転判定手段
334a 判定結果
335 判定値メモリ手段
336 白黒反転判定値
342 反転画素アドレス検出手段
531 変化量演算手段
532 行・列アドレス演算手段
533 中心行・列アドレス
538 輝度の変化量
Claims (10)
- 順次転送型の全画素同時露光方式の撮像素子を備えた撮像装置において、
白黒反転処理手段を備え、
白黒反転処理手段は、高輝度領域抽出手段と、白黒反転判定手段と、画像補正手段とを具備し、
高輝度領域抽出手段は、前記撮像素子で撮像された撮像データから高輝度領域を抽出し、
白黒反転判定手段は、前記高輝度領域抽出手段で抽出された高輝度領域での白黒反転発生の有無を判定し、
画像補正手段は、前記白黒反転判定手段の判定結果に基づき、前記高輝度領域抽出手段で抽出された高輝度領域の撮像データに白黒反転の補正を施すことを特徴とする撮像装置。 - 前記高輝度領域抽出手段は、高輝度画素値メモリ手段と、比較手段と、2値化手段と、境界線追跡手段とを具備し、
高輝度画素値メモリ手段には、高輝度を示す閾値が記録され、
比較手段は、前記撮像データと前記高輝度画素値メモリ手段に記録された閾値とを比較し、
2値化手段は、前記比較手段の比較結果に応じて2値化処理を行い、
境界線追跡手段は、前記2値化手段の出力の境界線追跡を行うことで、高輝度領域を示すアドレスを得ることを特徴とする請求項1に記載の撮像装置。 - 前記白黒反転判定手段は、行アドレス演算手段と、2値分布調査手段と、反転判定手段とを具備し、
行アドレス演算手段は、前記高輝度領域抽出手段で抽出された高輝度領域を示すアドレスから2値分布を求める行アドレスを演算し、
2値分布調査手段は、前記行アドレス演算手段で求められた行アドレスの2値分布を求め、
反転判定手段は、前記2値分布調査手段から出力される2値分布から、高輝度領域内に黒を示す値が存在した場合白黒反転していると判定し、存在しない場合反転していないと判定することを特徴とする請求項1または2に記載の撮像装置。 - 前記高輝度領域抽出手段は、微分手段と、境界線追跡手段と、比較手段と、高輝度画素値メモリ手段とを具備し、
微分手段は、前記撮像データに対して微分処理を施し、
境界線追跡手段は、前記微分手段の出力の境界線追跡を行うことで画像の輪郭抽出を行って、高輝度領域の輪郭を抽出することで、高輝度領域を示すアドレスを求め、
高輝度画素値メモリ手段には、高輝度を示す閾値が記録され、
比較手段は、前記境界線追跡手段で抽出された輪郭で囲まれた領域の前記撮像データと、前記高輝度画素値メモリ手段に記録された閾値とを比較することを特徴とする請求項1に記載の撮像装置。 - 前記白黒反転判定手段は、行アドレス演算手段と、輝度分布調査手段と、判定値メモリ手段と、反転判定手段とを具備し、
行アドレス演算手段は、前記高輝度領域抽出手段で抽出された高輝度領域を示すアドレスから輝度分布を求める行アドレスを演算し、
輝度分布調査手段は、前記行アドレス演算手段で求められた行アドレスの輝度分布を求め、
判定値メモリ手段には、白黒反転の判定値が記録され、
反転判定手段は、前記輝度分布調査手段で求められた輝度分布と、前記判定値メモリ手段に記録された白黒反転の判定値とを比較して、前記輝度分布調査手段で求められた輝度分布の方が大きい場合には白黒反転していないと判定し、小さいまたは同じ場合には白黒反転していると判定することを特徴とする請求項1、2または4の何れか1項に記載の撮像装置。 - 前記白黒反転判定手段は、変化量演算手段と、行・列アドレス演算手段と、判定値メモリ手段と、反転判定手段とを具備し、
行・列アドレス演算手段は、前記高輝度領域抽出手段で抽出された高輝度領域を示すアドレスから変化量を求める行・列アドレスを演算し、
変化量演算手段は、前記行・列アドレス演算手段で求められた行・列アドレスの撮像データの変化量を演算し、
判定値メモリ手段には、白黒反転の判定の閾値となる撮像データの変化量が記録され、
反転判定手段は、前記変化量演算手段で求められた撮像データの変化量と、前記判定値メモリ手段に記録された白黒反転の判定の閾値となる撮像データの変化量とを比較して、前記変化量演算手段で求められた撮像データの変化量の方が大きいまたは同じ場合には白黒反転していると判定し、小さい場合には白黒反転していないと判定することを特徴とする請求項1、2または4の何れか1項に記載の撮像装置。 - 前記画像補正手段は、反転画素アドレス検出手段と、アドレス記録手段と、補正値記録手段と、補間手段とを具備し、
反転画素アドレス検出手段は、前記白黒反転判定手段の判定結果から白黒反転が発生している画素のアドレスを求め、
アドレス記録手段には、前記反転画素アドレス検出手段で求められた白黒反転が発生している画素のアドレスが記録され、
補正値記録手段には、白黒反転の補正に用いる既定値が記録され、
補間手段は、前記アドレス記録手段に記録されているアドレスの画像データを、白黒反転が発生していない周辺画素の撮像データから求めた補正データ、または前記補正値記録手段に記録されている補正値に置き換えることを特徴とする請求項1乃至6の何れか1項に記載の撮像装置。 - 前記境界線追跡手段は、前処理手段を具備し、
前処理手段は、前記境界線追跡手段の入力に、拡張カルマンフィルタ処理、ハフ変換処理または最小二乗法処理の内、少なくとも1つの処理を施すことを特徴とする請求項2乃至7の何れか1項に記載の撮像装置。 - 前記撮像素子は、対数変換型撮像素子であることを特徴とする請求項1乃至8の何れか1項に記載の撮像装置。
- 順次転送型の全画素同時露光方式の撮像素子と、撮像光学系とを備えた撮像装置の白黒反転補正方法であって、
前記撮像素子で撮像された撮像データから高輝度領域を抽出し、抽出された高輝度領域での白黒反転発生の有無を判定し、前記白黒反転発生の有無の判定結果に基づいて、抽出された高輝度領域の撮像データに白黒反転の補正を施すことを特徴とする撮像装置の白黒反転補正方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005319406A JP2007128220A (ja) | 2005-11-02 | 2005-11-02 | 撮像装置および該撮像装置の白黒反転補正方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005319406A JP2007128220A (ja) | 2005-11-02 | 2005-11-02 | 撮像装置および該撮像装置の白黒反転補正方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007128220A true JP2007128220A (ja) | 2007-05-24 |
Family
ID=38150837
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005319406A Pending JP2007128220A (ja) | 2005-11-02 | 2005-11-02 | 撮像装置および該撮像装置の白黒反転補正方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007128220A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008312169A (ja) * | 2007-06-18 | 2008-12-25 | Canon Inc | 画像処理装置及び方法、及び撮像装置 |
KR20230042997A (ko) * | 2021-09-23 | 2023-03-30 | 한국자동차연구원 | 이미지 센서 가림막을 이용하여 역광에 대응하는 카메라 제어 시스템 |
-
2005
- 2005-11-02 JP JP2005319406A patent/JP2007128220A/ja active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008312169A (ja) * | 2007-06-18 | 2008-12-25 | Canon Inc | 画像処理装置及び方法、及び撮像装置 |
KR20230042997A (ko) * | 2021-09-23 | 2023-03-30 | 한국자동차연구원 | 이미지 센서 가림막을 이용하여 역광에 대응하는 카메라 제어 시스템 |
KR102717394B1 (ko) * | 2021-09-23 | 2024-10-14 | 한국자동차연구원 | 이미지 센서 가림막을 이용하여 역광에 대응하는 카메라 제어 시스템 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101151496B1 (ko) | 이미지 신호 처리 방법 및 장치 | |
US7884868B2 (en) | Image capturing element, image capturing apparatus, image capturing method, image capturing system, and image processing apparatus | |
JP2000285229A (ja) | ディジタルイメージャのための不良画素フィルタリング | |
US20090116829A1 (en) | Method and apparatus of determining the best focus position of a lens | |
CN1426238A (zh) | 固态成像设备 | |
US8937680B2 (en) | Image pickup unit and image processing unit for image blur correction | |
US9497427B2 (en) | Method and apparatus for image flare mitigation | |
JP2005174280A (ja) | 画像取得装置、指紋認証装置及び画像取得方法 | |
JP2007128220A (ja) | 撮像装置および該撮像装置の白黒反転補正方法 | |
US9275268B2 (en) | Image processing device, image processing method, and non-transitory recording medium | |
JP2000101924A (ja) | 画像入力装置における欠陥検出補正装置 | |
US7773805B2 (en) | Method and apparatus for flare cancellation for image contrast restoration | |
JP2006304166A (ja) | 撮像装置及びその制御方法 | |
US10791289B2 (en) | Image processing apparatus, image processing method, and non-transitory computer readable recording medium | |
JP2011114760A (ja) | カメラモジュールの検査方法 | |
JP2007174032A (ja) | 撮像装置 | |
KR100931859B1 (ko) | 웨이퍼 검사용 카메라 | |
JP5028077B2 (ja) | 撮像装置、及びその欠陥画素の判別方法、並びにプログラム | |
KR101072095B1 (ko) | 씨씨디 카메라의 스미어 현상 보정장치 및 방법 | |
WO2024116745A1 (ja) | 画像生成装置、画像生成方法および画像生成プログラム | |
WO2021145158A1 (ja) | 撮像装置及び撮像装置の制御方法 | |
JP2006352535A (ja) | 撮像装置 | |
US20040131253A1 (en) | Method for recognizing abnormal image | |
US20150156382A1 (en) | Multi-channel glare-suppression device of a digital image system | |
EP3511900B1 (en) | Image processing device and light distribution control system |