JP2014154913A - 画像処理装置、画像処理方法、及びプログラム - Google Patents
画像処理装置、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP2014154913A JP2014154913A JP2013020396A JP2013020396A JP2014154913A JP 2014154913 A JP2014154913 A JP 2014154913A JP 2013020396 A JP2013020396 A JP 2013020396A JP 2013020396 A JP2013020396 A JP 2013020396A JP 2014154913 A JP2014154913 A JP 2014154913A
- Authority
- JP
- Japan
- Prior art keywords
- image
- correction
- pattern noise
- fixed pattern
- storage means
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims description 87
- 238000003672 processing method Methods 0.000 title description 2
- 238000012937 correction Methods 0.000 claims abstract description 94
- 238000003384 imaging method Methods 0.000 claims abstract description 23
- 238000009825 accumulation Methods 0.000 claims description 31
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000000034 method Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 13
- 238000003705 background correction Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 239000007787 solid Substances 0.000 description 7
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 230000006837 decompression Effects 0.000 description 5
- 230000007547 defect Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000002950 deficient Effects 0.000 description 3
- 238000003702 image correction Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000009931 harmful effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Abstract
【課題】固定パターンノイズ補正の必要性を判別するときに使用するメモリ領域を削減し、かつ判別精度の低下を抑制する。
【解決手段】暗電流の平均蓄積量が同程度になるように、撮像素子を遮光状態としたままで撮影した黒画像から使用する領域を選択して、固定パターンノイズ補正の要否を判断するために用いる間引いた黒画像を遮光画像(間引き画像)生成部が生成し、その間引いた黒画像を用いて、撮像素子を露光させて撮影した本画像に対する固定パターンノイズ補正の要否を補正要否判断部が判断するようにして、黒画像を保持するためのメモリ領域を削減し、かつ補正要否の判別精度の低下を抑制できるようにする。
【選択図】図2
【解決手段】暗電流の平均蓄積量が同程度になるように、撮像素子を遮光状態としたままで撮影した黒画像から使用する領域を選択して、固定パターンノイズ補正の要否を判断するために用いる間引いた黒画像を遮光画像(間引き画像)生成部が生成し、その間引いた黒画像を用いて、撮像素子を露光させて撮影した本画像に対する固定パターンノイズ補正の要否を補正要否判断部が判断するようにして、黒画像を保持するためのメモリ領域を削減し、かつ補正要否の判別精度の低下を抑制できるようにする。
【選択図】図2
Description
本発明は、固定パターンノイズ補正に係る画像処理装置、画像処理方法、及びプログラムに関する。
近年、デジタルビデオカメラやデジタルスチルカメラ等の撮像機器が一般に普及している。これらの撮像機器に搭載される固体撮像素子は、多数の画素を有する。また、半導体ウエハには、ある程度の基板欠損が必ず存在する。したがって、量産時において、1つでも欠陥画素がある固体撮像素子のすべてを不良品にすると、歩留まりが著しく低下して製造コストを引き上げてしまうので、ある程度の欠陥画素があっても良品にすることにより歩留まりを向上させ製造コストを抑えている。
固体撮像素子の出力信号に含まれる固定パターンノイズ(FPN)を補正する技術として、本画像の撮影後に黒画像を撮影し、黒画像を本画像から減算することで補正を行う黒引き撮影がある。また、特許文献1には、固体撮像素子における欠陥画素の位置及びその出力信号に含まれる欠陥成分レベルのデータを記憶しておき、電荷蓄積時間や撮影時温度に応じて欠陥量を予測して補正を行う画像補正技術が提案されている。
固体撮像素子の出力信号に含まれる固定パターンノイズのレベルは、撮影時の環境や条件等によって変わり得るため、固定パターンノイズの補正が必要となるときもあれば不要なときもある。固体撮像素子を搭載した撮像機器において、撮影時に本画像に対する固定パターンノイズ補正の必要性を、黒画像(遮光画像)の全領域を利用して判別する手法がある。しかし、黒画像の全領域を保持するためにメモリ領域を大きく占有してしまうという問題がある。
この問題を解決するために黒画像の任意のラインを選択することで画像を間引いて使用することが考えられるが、選択したラインの組み合わせによって暗電流の平均蓄積量が異なってしまう。そのため、黒画像の全領域が持つ暗電流の平均蓄積量と黒画像を間引いた画像が持つ暗電流の平均蓄積量とが等しくならない可能性があり、補正要否の判別精度の低下を招いてしまうという問題がある。
本発明の目的は、固定パターンノイズ補正の必要性を判別するときに使用するメモリ領域を削減するとともに、判別精度の低下を抑制することにある。
本発明に係る画像処理装置は、光電変換素子を含む複数の画素が行列状に配置されている撮像素子を露光させて撮影した第1の画像が記憶される第1の記憶手段と、前記撮像素子を遮光状態としたままで撮影した第2の画像から使用する領域を選択して第3の画像を生成する画像生成手段と、前記画像生成手段により生成された第3の画像が記憶される第2の記憶手段と、前記第2の記憶手段に記憶されている第3の画像を用いて、前記第1の画像に対する固定パターンノイズ補正の要否を判断する判断手段と、前記判断手段により前記第1の画像に対する固定パターンノイズ補正が必要であると判断された場合に、前記第1の記憶手段に記憶された第1の画像に補正処理を施す補正処理手段とを有し、前記画像生成手段は、前記第3の画像における暗電流の平均蓄積量が前記第2の画像における暗電流の平均蓄積量と同じになるように領域を選択することを特徴とする。
本発明によれば、暗電流の平均蓄積量が同じになるように、撮像素子を遮光した状態で撮影した画像から使用する領域を選択して固定パターンノイズ補正の必要性を判別するために用いる画像を生成する。これにより、固定パターンノイズ補正の必要性を判別するために用いる画像を保持するためのメモリ領域を削減することができるとともに、補正要否の判別精度の低下を抑制することができる。
以下、本発明の実施形態を図面に基づいて説明する。
(第1の実施形態)
本発明の第1の実施形態について説明する。
図1は、第1の実施形態に係る画像処理装置の構成例を示すブロック図である。画像処理装置100において、撮像素子14は、行列状に配置された複数の画素を有し、撮影レンズ10等により結像された光学像を電気信号に変換する。撮像素子14が有する画素の各々は、光電変換素子を有する。機械式シャッター12は絞り機能を有する。A/D(アナログ/デジタル)変換器16は、撮像素子14のアナログ信号出力をデジタル信号に変換する。
本発明の第1の実施形態について説明する。
図1は、第1の実施形態に係る画像処理装置の構成例を示すブロック図である。画像処理装置100において、撮像素子14は、行列状に配置された複数の画素を有し、撮影レンズ10等により結像された光学像を電気信号に変換する。撮像素子14が有する画素の各々は、光電変換素子を有する。機械式シャッター12は絞り機能を有する。A/D(アナログ/デジタル)変換器16は、撮像素子14のアナログ信号出力をデジタル信号に変換する。
タイミング発生回路18は、メモリ制御回路22及びシステム制御回路50により制御され、撮像素子14及びA/D変換器16にクロック信号や制御信号を供給する。タイミング発生回路18による撮像素子14のリセットタイミングの制御によって、電子シャッターとして蓄積時間を制御することが可能であり、動画撮影などに使用可能である。
画像処理回路20は、A/D変換器16或いはメモリ制御回路22からのデータに対して所定の画素補間処理や色変換処理を行う。また、画像処理回路20においては、撮像した画像データを用いて所定の演算処理を行う。この演算処理により得られた演算結果に基づいて、システム制御回路50が露光制御手段40や測距制御手段42に対して制御を行う、TTL方式のAF(オートフォーカス)処理やAE(自動露出)処理やEF(フラッシュプリ発光)処理を行っている。さらに、画像処理回路20においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてTTL方式のAWB(オートホワイトバランス)処理も行っている。
メモリ制御回路22は、A/D変換器16、タイミング発生回路18、画像処理回路20、メモリ30、及び圧縮・伸長回路32を制御する。A/D変換器16から出力されたデータが、画像処理回路20及びメモリ制御回路22を介して、あるいは直接メモリ制御回路22を介して、メモリ30に書き込まれる。画像表示部28は、TFT LCD等からなり、メモリ30に書き込まれた表示用の画像データに基づく画像を表示する。画像表示部28は、システム制御回路50の指示により任意に表示をオン/オフすることが可能である。
メモリ30は、撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。なお、メモリ30は、システム制御回路50の作業領域としても使用することが可能である。圧縮・伸長回路32は、適応離散コサイン変換(ADCT)等により画像データを圧縮伸長する。圧縮・伸長回路32は、メモリ30に格納された画像データを読み込んで圧縮処理或いは伸長処理を行い、処理を終えた画像データをメモリ30に書き込む。
露光制御手段40は、絞り機能を備えるシャッター12を制御する。測距制御手段42は、撮影レンズ10のフォーカシングを制御する。露光制御手段40及び測距制御手段42はTTL方式を用いて制御されている。ズーム制御手段44は、撮影レンズ10のズーミングを制御する。フラッシュ48は、AF補助光の投光機能やフラッシュ調光機能等を有する。システム制御回路50は、画像処理装置100全体を制御する。システム制御回路50は、図示しない不揮発性メモリ等からプログラムコードを読み出して実行し、画像処理装置100が有する各機能部を制御する。
システム制御回路50に対して各種の動作指示を入力するための操作手段60、62、64、66、70及び72は、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。モードダイアルスイッチ60は、電源オフ、自動撮影モード、撮影モード、パノラマ撮影モード、動画撮影モード、再生モード、PC接続モード等の各機能モードを切り替え設定することができる。
シャッタースイッチ(SW1)62は、シャッターボタンの操作途中でオンとなり、AF処理、AE処理、AWB処理等の動作開始を指示する。シャッタースイッチ(SW2)64は、シャッターボタンの操作完了でオンとなり、下記の一連の撮像処理の動作開始を指示する。撮像処理では、まず露光制御手段40による制御によって撮像素子14をAE処理で決定された露光時間分だけ露光させ、露光期間終了と同時に遮光することで、撮像素子14への露光を終了させる。次に、撮像素子14から信号を読み出してA/D変換器16、メモリ制御回路22を介しメモリ30に画像データを書き込む読み出し処理や、画像処理回路20やメモリ制御回路22での演算を用いた現像処理が行われる。また、メモリ30から画像データを読み出し、圧縮・伸長回路32で圧縮を行って、記録媒体200に画像データを書き込む記録処理が行われる。
表示切り替えスイッチ66は、画像表示部28の表示切り替えをすることができる。操作部70は、各種ボタン、タッチパネルや回転式ダイアル等からなり、各種の設定や選択の指示を行うことができる。ズームスイッチ72は、撮像画角を望遠側に変更させるテレスイッチ及び広角側に変更させるワイドスイッチからなり、ユーザーが撮像画像の倍率変更指示を行う。電源手段86は、一次電池や二次電池、ACアダプター等からなる。インタフェース90は、コネクタ92を介して接続されるメモリカードやハードディスク等の記録媒体200とのインタフェースである。
画像処理装置100は、光学ファインダ104を備えており、画像表示部28による電子ファインダ機能を使用することなしに光学ファインダ104のみを用いて撮影を行うことが可能である。通信手段110は、USB、IEEE1394、LAN、無線通信、等の各種通信機能を有し、画像処理装置100とコネクタ(無線通信の場合はアンテナ)112を介して接続された他の機器と通信を行う。記録媒体200は、例えばメモリカードやハードディスク等であり、半導体メモリや磁気ディスク等から構成される記録部202、画像処理装置100とのインタフェース204、及び画像処理装置100と接続を行うコネクタ206を備えている。
図2は、第1の実施形態における画像処理回路20の構成例を示すブロック図である。図2には、画像処理回路20が有する固定パターンノイズ補正及びその要否判別に係る構成だけを示している。なお、図示していないが、画像処理回路20は、色変換処理や所定の演算処理等の他の各種画像処理を行う構成も有している。
記憶部301は、撮影によって得られた画像データを記憶する。記憶部301は、本画像(撮影画像)の画像データを記憶するための第1の記憶手段としての撮影画像記憶部302、及び黒画像(遮光画像)の画像データを記憶するための第2の記憶手段としての遮光画像(間引き画像)記憶部303を有する。記憶部301は、例えば画像処理装置100内のメモリ30を用いたものであっても良いし、画像処理回路20内に別に設けたメモリ等を用いたものであっても良い。
第1の記憶手段としての撮影画像記憶部302には、撮像素子を露光させて撮影された第1の画像としての本画像(撮影画像)の画像データが記憶される。また、第2の記憶手段としての遮光画像(間引き画像)記憶部303には、撮像素子を遮光状態としたままで撮影された第2の画像としての黒画像(遮光画像)そのものではなく、第3の画像としての間引かれた黒画像の画像データが記憶される。第3の画像としての間引かれた黒画像は、撮像素子を遮光した状態で撮影された第2の画像としての黒画像を基に遮光画像(間引き画像)生成部304により生成される画像である。画像生成手段としての遮光画像(間引き画像)生成部304は、撮像素子を遮光した状態で撮影された黒画像(遮光画像)から使用する領域として複数のライン(フィールド)を選択することによってデータ量を削減し、間引かれた黒画像を新たに生成し出力する。
補正要否判断部305は、遮光画像(間引き画像)記憶部303に記憶された黒画像を用いて、撮影画像記憶部302に記憶された本画像に対する固定パターンノイズ補正の必要性を判断する。補正処理部306は、固定パターンノイズ補正が必要であると補正要否判断部305が判断した場合に、撮影画像記憶部302に記憶された本画像に対して固定パターンノイズ補正を行う。出力部307は、固定パターンノイズ補正が必要であると補正要否判断部305が判断した場合には、補正処理部306より補正処理された画像データを出力し、そうでない場合には撮影画像記憶部302に記憶されている画像データを出力する。
図3は、第1の実施形態における撮影動作を示すフローチャートである。
シャッターボタンが押下されシャッタースイッチ(SW2)64がオンとなると、図3に示す撮影シーケンスが実行される。撮影が開始されると、まずステップS11にて、撮像素子を露光させて本画像(撮影画像)が撮影され、本画像の画像データが取得される。この本画像の画像データは、記憶部301の撮影画像記憶部302に記憶される。
シャッターボタンが押下されシャッタースイッチ(SW2)64がオンとなると、図3に示す撮影シーケンスが実行される。撮影が開始されると、まずステップS11にて、撮像素子を露光させて本画像(撮影画像)が撮影され、本画像の画像データが取得される。この本画像の画像データは、記憶部301の撮影画像記憶部302に記憶される。
次に、ステップS12にて、撮像素子を遮光した状態で黒画像(遮光画像)が撮影され、黒画像の画像データが取得される。この黒画像の画像データは、遮光画像(間引き画像)生成部304に供給される。続いて、ステップS13にて、遮光画像(間引き画像)生成部304が、供給された黒画像を間引くことによって、固体パターンノイズ補正の必要性を判別するために用いる間引き画像を新たに生成する。この新たに生成された間引き黒画像の画像データが、記憶部301の遮光画像(間引き画像)記憶部303に記憶される。
次に、ステップS14にて、補正要否判断部305が、撮影画像記憶部302に記憶されている本画像に対する固体パターンノイズ補正の要否判別を行う。この補正要否判別では、遮光画像(間引き画像)記憶部303に記憶されている間引き黒画像を用いて、本画像に対して固体パターンノイズ補正の処理を行うか否かの判別を行う。その結果、本画像に対する固体パターンノイズ補正を行うと判断した場合には、ステップS15にて、補正処理部306が、本画像に対して固体パターンノイズ補正の処理を施す。一方、本画像に対する固体パターンノイズ補正が不要であると判断した場合には、本画像に対する固体パターンノイズ補正の処理を行わずに終了する。
図4は、システム制御回路50による制御に基づいて、インターラインに読み出される画像の構成例を示す図である。画像は、フィールドと呼ばれる単位で分割されており、例えば全部でN個のフィールドがインターレースとなって画像を構成している。この画像の画像データは、例えば図5に示すような読み出し順序で読み出される。図5に示す例では、システム制御回路50による制御に基づき、フィールド毎に1フィールド目からNフィールド目までを順番に読み出している。つまり、撮像素子から1フィールド目の画像データが読み出されるまでの時間が最も短く、Nフィールド目の画像データが読み出されるまでの時間が最も長くなる。よって、各フィールド間で撮像素子から画像データが読み出されるまでの時間に差が生じている。
図6は、システム制御回路50による制御に基づいて、インターラインに読み出される画像データの読み出し時間と暗電流の蓄積量との関係を示す図である。図6に示すように、暗電流の蓄積量は、画像データが読み出されるまでの時間に比例して増加していく。よって、図5に示されるフィールド間での撮像素子から画像データが読み出されるまでの時間差が、各フィールドにおける暗電流の蓄積量の差として現れている。
ここで、固定パターンノイズ補正の必要性を判別するために用いる間引き黒画像の暗電流の平均蓄積量は、撮影された黒画像の全領域での暗電流の平均蓄積量と等しくなることが望ましい。そのため、本実施形態では、インターラインに読み出される画像である場合、図6に示すように選択したフィールドの暗電流の平均蓄積量が、全領域での暗電流の平均蓄積量LVAに等しくなるようにフィールドを選択して、間引き黒画像を生成する。例えば、1フィールド目とNフィールド目とを組として選択したり、2フィールド目と(N−1)フィールド目とを組として選択したりする。すなわち、暗電流の影響量が同程度になるように使用するフィールドを選択する。これにより、固定パターンノイズ補正の必要性を判別する際の精度低下を防ぐことができる。
また、画像データの読み込みは、1フィールド目からNフィールド目まで順次行っていくため、選択したフィールド番号の最大値が小さい組み合わせを選択することによって、読み出し時間の短縮が図れる。なお、前述した間引き黒画像を生成するために選択するフィールドの組み合わせは一例であり、これに限定されるものではなく任意である。ただし、フィールド間での暗電流の蓄積量の差による影響を低減するために、選択したフィールド番号の平均値が、(画像の全フィールド数)/2+0.5となることが好ましい。
図7は、システム制御回路50による制御に基づいて、プログレッシブに読み出される画像の構成例を示す図である。画像は、ラインと呼ばれる単位で分割されている。図7には、Nラインで構成される画像を一例として示している。この画像の画像データは、撮像素子からすべて同時に読み出されるのではなく、例えば図8に示すような読み出し順序で読み出される。図8に示す例では、システム制御回路50による制御に基づき、ライン毎に1ライン目からNライン目までを順番に読み出している。つまり、撮像素子から1ライン目の画像データが読み出されるまでの時間が最も短く、Nライン目の画像データが読み出されるまでの時間が最も長くなる。よって、各ライン間で撮像素子から画像データが読み出されるまでの時間に差が生じている。
図9は、システム制御回路50による制御に基づいて、プログレッシブに読み出される画像データの読み出し時間と暗電流の蓄積量との関係を示す図である。図9に示すように、暗電流の蓄積量は、画像データが読み出されるまでの時間に比例して増加していく。よって、図8に示されるライン間での撮像素子から画像データが読み出されるまでの時間差が、各ラインにおける暗電流の蓄積量の差として現れてしまう。
前述したように、固定パターンノイズ補正の必要性を判別するために用いる間引き黒画像の暗電流の平均蓄積量は、撮影された黒画像の全領域での暗電流の平均蓄積量と等しくなることが望ましい。そのため、本実施形態では、プログレッシブに読み出される画像である場合、図9に示すように選択したラインの暗電流の平均蓄積量が、全領域での暗電流の平均蓄積量LVBに等しくなるようにラインを選択して、間引き黒画像を生成する。例えば、1ライン目とNライン目とを組として選択したり、2ライン目と(N−1)ライン目とを組として選択したりする。すなわち、暗電流の影響量が同程度になるように使用するラインを選択する。これにより、固定パターンノイズ補正の必要性を判別する際の精度低下を防ぐことができる。
また、画像データの読み込みは、1ライン目からNライン目まで順次行っていくため、選択したライン番号の最大値が小さい組み合わせを選択することによって、読み出し時間の短縮が図れる。なお、前述した間引き黒画像を生成するために選択するラインの組み合わせは一例であり、これに限定されるものではなく任意である。ただし、ライン間での暗電流の蓄積量の差による影響を低減するために、選択したライン番号の平均値が、(画像の全ライン数)/2+0.5となることが好ましい。
次に、本実施形態における固定パターンノイズ補正の対象が白点キズである場合、及びダークシェーディングである場合の例について、それぞれ説明する。
・固定パターンノイズ補正の対象が白点キズである場合
図10は、白点キズにおけるグレードの概念を示した図である。白点キズは、キズの程度に応じて、グレードと呼ばれる単位で分けられている。程度の最も悪い白点キズをグレード0に設定し、程度が良くなるにつれてグレードの値を大きくする。しかし、画像補正には弊害が存在するため、できる限り行わないことが望ましい。そこで、各グレード単位で補正要否の判別を行うことによって、必要以上の白点キズ補正を減らし、画像補正による弊害を減少させることができる。なお、各々の白点キズのグレード情報や位置情報は、あらかじめ調整された情報を保有しているものとする。
図10は、白点キズにおけるグレードの概念を示した図である。白点キズは、キズの程度に応じて、グレードと呼ばれる単位で分けられている。程度の最も悪い白点キズをグレード0に設定し、程度が良くなるにつれてグレードの値を大きくする。しかし、画像補正には弊害が存在するため、できる限り行わないことが望ましい。そこで、各グレード単位で補正要否の判別を行うことによって、必要以上の白点キズ補正を減らし、画像補正による弊害を減少させることができる。なお、各々の白点キズのグレード情報や位置情報は、あらかじめ調整された情報を保有しているものとする。
図11は、第1の実施形態における画像処理回路20での白点キズの補正処理の例を示すフローチャートである。ステップS21にて、あらかじめ設定されている情報に基づいて、使用するフィールド(ライン)が選択され、点キズ補正に用いる画像が生成される。ステップS22にて、各グレード毎に白点キズとされる画素とその周辺領域の画素との信号値の差分平均が算出される。また、ステップS23にて、同じグレード内の白点キズの標準偏差が算出される。
続いて、ステップS24にて、各グレード毎に白点キズの補正要否が判別される。この補正要否の判別では、ステップS22において算出された差分平均を用いて、周辺画素と信号値の差分が大きく異なっていないかが判断されるともに、ステップS23において算出された標準偏差を用いて、白点キズのバラつき具合が判断される。このように白点キズと周辺領域の信号値の差分だけではなく、同じグレード内の白点キズの標準偏差を加味することによって、大きな信号値が発生した一部の画素からの影響も考慮している。
ステップS24での判別の結果、白点キズの補正が必要であると判別された場合には、ステップS25にて、そのグレードの白点キズについて補正処理を施す。一方、白点キズの補正が不要であると判別された場合には、そのグレードの白点キズについて補正の処理を行わずに終了する。なお、補正が必要であると判断されたグレードの白点キズの補正は、例えば図12に示すように補正対象となる画素401の上下左右に配置されている同色4画素402、403、404、405の状態を考慮して行われる。
・固定パターンノイズ補正の対象がダークシェーディングである場合
図13は、複数のブロックに分割した黒画像を示した図である。ダークシェーディングの補正要否を判別する際には、判別に用いる黒画像を任意の分割数で区切り、黒画像をブロック単位で構成して処理を実行する。図13には、補正要否の判別に用いる黒画像を、M×N個のブロック領域に分割した例を示している。
図13は、複数のブロックに分割した黒画像を示した図である。ダークシェーディングの補正要否を判別する際には、判別に用いる黒画像を任意の分割数で区切り、黒画像をブロック単位で構成して処理を実行する。図13には、補正要否の判別に用いる黒画像を、M×N個のブロック領域に分割した例を示している。
図14は、第1の実施形態における画像処理回路20でのダークシェーディング補正処理の例を示すフローチャートである。ステップS31にて、あらかじめ設定されている情報に基づいて、使用するフィールド(ライン)が選択され、ダークシェーディング補正に用いる黒画像が生成される。次に、ステップS32にて、ステップS31において生成された黒画像をM×N個のブロック領域に分割する。
次に、ステップS33にて、ブロック毎に画素信号値の平均値を算出する。そして、S34にて、ステップS33において算出したM×N個の各ブロックについての平均値のなかから最大値と最小値を抽出する。次に、ステップS35にて、ステップS34において抽出した最大値と最小値に基づいて、ダークシェーディングの補正要否を判別する。
抽出した最大値と最小値の差分が閾値以上である場合には、ダークシェーディングの補正が必要であると判断し、ステップS36にて、ダークシェーディングの補正処理を行う。一方、抽出した最大値と最小値の差分が閾値より小さい場合には、ダークシェーディングの補正が不要であると判断し、補正処理を行わずに終了する。
抽出した最大値と最小値の差分が閾値以上である場合には、ダークシェーディングの補正が必要であると判断し、ステップS36にて、ダークシェーディングの補正処理を行う。一方、抽出した最大値と最小値の差分が閾値より小さい場合には、ダークシェーディングの補正が不要であると判断し、補正処理を行わずに終了する。
図15は、ダークシェーディングの補正方法を示す図である。図14に示したステップS35において、ダークシェーディングの補正が必要であると判断された場合、図15に示すようにして補正処理が行われる。すなわち、演算部501に補正対象の本画像502が入力される。また、演算部501には、補正の必要性を判別するために選択したフィールド(ライン)から生成された画像503が、ローパスフィルタ(LPF)504を通した後に、本画像502と同じサイズになるように変倍されて入力される。そして、演算部501が、本画像502から変倍された画像503を差し引くことによって、本画像に発生していたダークシェーディングが補正され、補正された画像505が得られる。
第1の実施形態によれば、撮像素子を遮光状態としたままで撮影された黒画像から、暗電流の平均蓄積量が同程度になるように使用するフィールド(ライン)を選択して、固定パターンノイズ補正の必要性を判別するために用いる間引かれた黒画像を生成する。したがって、補正要否を判別するために用いる黒画像のデータ量が削減でき、黒画像を保持するためのメモリ領域を削減することができる。また、暗電流の平均蓄積量が同程度になるように使用する領域を選択して間引かれた黒画像を生成することで、補正要否の判別精度の低下を抑制することができる。
(第2の実施形態)
次に、本発明の第2の実施形態について説明する。第2の実施形態に係る画像処理装置については、以下に説明する点が前述した第1の実施形態と相違し、それ他の点は前述した第1の実施形態と同様である。
次に、本発明の第2の実施形態について説明する。第2の実施形態に係る画像処理装置については、以下に説明する点が前述した第1の実施形態と相違し、それ他の点は前述した第1の実施形態と同様である。
図16は、第2の実施形態における画像処理回路20の構成例を示すブロック図である。図16において、図2に示した構成要素と同一の機能を有する構成要素には同一の符号を付している。なお、図16においても、画像処理回路20が有する固定パターンノイズ補正及びその要否判別に係る構成だけを図示しているが、画像処理回路20は、色変換処理や所定の演算処理等の他の各種画像処理を行う構成も有している。
第2の実施形態における画像処理回路は、記憶部301、遮光画像(間引き画像)生成部304、補正要否判断部305、補正処理部306、及び出力部307に加え、キズ情報保持部308を有する。キズ情報保持部308は、工場等で予め検出された撮像素子14が有する点キズに係るキズ情報を保持する。キズ情報保持部308に保持されるキズ情報には、例えば、点キズ毎に、付された番号、位置情報、キズの程度を示すグレード情報、次のキズまでの距離、及びキズが属しているフィールド番号(ライン番号)等を含む。
第2の実施形態では、遮光画像(間引き画像)生成部304が、撮影された黒画像(遮光画像)から間引き黒画像を生成する際、キズ情報保持部308に保持されているキズ情報を参照し、点キズを多く含む領域を優先的に選択して間引き黒画像を生成する。このように、撮像素子を遮光状態としたままで撮影された黒画像から、点キズを多く含む領域を優先的に選択して間引かれた黒画像を生成することで、黒画像を保持するためのメモリ領域を削減できるとともに、補正要否の判別精度の低下を抑えることができる。
例えば、インターレースで構成されている画像を間引く際には、予め調整して得られキズ情報保持部308に保持されているキズ情報を用いて、点キズを最も多く含んでいるフィールドを優先的に選択する。また、例えばプログレッシブで構成されている画像を間引く際には、予め調整して得られキズ情報保持部308に保持されているキズ情報を用いて、点キズを最も多く含んでいるラインを優先的に選択する。
図3に示した撮影動作では、ステップS13において生成される画像は、キズ情報保持部308に保持されているキズ情報を利用することによって、点キズを多く含むフィールド(ライン)を優先的に選択して生成した画像とする。
また、図11に示した白点キズの補正処理では、ステップS21において、キズ情報保持部308に保持されているキズ情報の位置情報を用いて、点キズを多く保有しているフィールド(ライン)が優先的に選択され、点キズ補正に用いる画像が生成される。また、図14に示したダークシェーディング補正処理では、ステップS31において、キズ情報保持部308に保持されているキズ情報の位置情報を用いて、点キズを多く保有しているフィールド(ライン)を優先的に選択し、補正に用いる画像を生成する。これらは、画像に含まれる点キズの数を利用できる最大数に保つことによって、補正要否の判別精度をできるだけ高い状態に保つためである。
(本発明の他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
例えば、第1及び第2の実施形態に係る画像処理装置は、図17に示すようなコンピュータ機能700を有し、そのCPU701により第1及び第2の実施形態での動作が実施される。
コンピュータ機能700は、図17に示すように、CPU701と、ROM702と、RAM703とを備える。また、操作部(CONS)709のコントローラ(CONSC)705と、CRTやLCD等の表示部としてのディスプレイ(DISP)710のディスプレイコントローラ(DISPC)706とを備える。さらに、ハードディスク(HD)711、及びフレキシブルディスク等の記憶デバイス(STD)712のコントローラ(DCONT)707と、ネットワークインタフェースカード(NIC)708とを備える。それら機能部701、702、703、705、706、707、708は、システムバス704を介して互いに通信可能に接続された構成としている。
CPU701は、ROM702又はHD711に記憶されたソフトウェア、又はSTD712より供給されるソフトウェアを実行することで、システムバス704に接続された各構成部を総括的に制御する。すなわち、CPU701は、前述したような動作を行うための処理プログラムを、ROM702、HD711、又はSTD712から読み出して実行することで、第1及び第2の実施形態での動作を実現するための制御を行う。RAM703は、CPU701の主メモリ又はワークエリア等として機能する。
CONSC705は、CONS709からの指示入力を制御する。DISPC706は、DISP710の表示を制御する。DCONT707は、ブートプログラム、種々のアプリケーション、ユーザファイル、ネットワーク管理プログラム、及び第1及び第2の実施形態における前記処理プログラム等を記憶するHD711及びSTD712とのアクセスを制御する。NIC708はネットワーク713上の他の装置と双方向にデータをやりとりする。
コンピュータ機能700は、図17に示すように、CPU701と、ROM702と、RAM703とを備える。また、操作部(CONS)709のコントローラ(CONSC)705と、CRTやLCD等の表示部としてのディスプレイ(DISP)710のディスプレイコントローラ(DISPC)706とを備える。さらに、ハードディスク(HD)711、及びフレキシブルディスク等の記憶デバイス(STD)712のコントローラ(DCONT)707と、ネットワークインタフェースカード(NIC)708とを備える。それら機能部701、702、703、705、706、707、708は、システムバス704を介して互いに通信可能に接続された構成としている。
CPU701は、ROM702又はHD711に記憶されたソフトウェア、又はSTD712より供給されるソフトウェアを実行することで、システムバス704に接続された各構成部を総括的に制御する。すなわち、CPU701は、前述したような動作を行うための処理プログラムを、ROM702、HD711、又はSTD712から読み出して実行することで、第1及び第2の実施形態での動作を実現するための制御を行う。RAM703は、CPU701の主メモリ又はワークエリア等として機能する。
CONSC705は、CONS709からの指示入力を制御する。DISPC706は、DISP710の表示を制御する。DCONT707は、ブートプログラム、種々のアプリケーション、ユーザファイル、ネットワーク管理プログラム、及び第1及び第2の実施形態における前記処理プログラム等を記憶するHD711及びSTD712とのアクセスを制御する。NIC708はネットワーク713上の他の装置と双方向にデータをやりとりする。
なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
14:撮像素子 20:画像処理回路 50:システム制御回路 301:記憶部 302:撮影画像記憶部 303:遮光画像(間引き画像)記憶部 304:遮光画像(間引き画像)生成部 305:補正要否判断部 306:補正処理部 307:出力部 308:キズ情報保持部
Claims (7)
- 光電変換素子を含む複数の画素が行列状に配置されている撮像素子を露光させて撮影した第1の画像が記憶される第1の記憶手段と、
前記撮像素子を遮光状態としたままで撮影した第2の画像から使用する領域を選択して第3の画像を生成する画像生成手段と、
前記画像生成手段により生成された第3の画像が記憶される第2の記憶手段と、
前記第2の記憶手段に記憶されている第3の画像を用いて、前記第1の画像に対する固定パターンノイズ補正の要否を判断する判断手段と、
前記判断手段により前記第1の画像に対する固定パターンノイズ補正が必要であると判断された場合に、前記第1の記憶手段に記憶された第1の画像に補正処理を施す補正処理手段とを有し、
前記画像生成手段は、前記第3の画像における暗電流の平均蓄積量が前記第2の画像における暗電流の平均蓄積量と同じになるように領域を選択することを特徴とする画像処理装置。 - 前記撮像素子が有するキズに係るキズ情報を保持する情報保持手段を有し、
前記画像生成手段は、前記情報保持手段が保持しているキズ情報を参照し、キズを多く含む領域を優先して選択し前記第2の画像から前記第3の画像を生成することを特徴とする請求項1記載の画像処理装置。 - 光電変換素子を含む複数の画素が行列状に配置されている撮像素子を露光させて撮影した第1の画像が記憶される第1の記憶手段と、
前記撮像素子を遮光状態としたままで撮影した第2の画像から使用する領域を選択して第3の画像を生成する画像生成手段と、
前記画像生成手段により生成された第3の画像が記憶される第2の記憶手段と、
前記第2の記憶手段に記憶されている第3の画像を用いて、前記第1の画像に対する固定パターンノイズ補正の要否を判断する判断手段と、
前記判断手段により前記第1の画像に対する固定パターンノイズ補正が必要であると判断された場合に、前記第1の記憶手段に記憶された第1の画像に補正処理を施す補正処理手段と、
前記撮像素子が有するキズに係るキズ情報を保持する情報保持手段とを有し、
前記画像生成手段は、前記情報保持手段が保持しているキズ情報を参照し、キズを多く含む領域を優先して選択し前記第2の画像から前記第3の画像を生成することを特徴とする画像処理装置。 - 前記画像生成手段は、前記第2の画像から使用する領域として選択したライン番号の平均値が、(前記第2の画像の全ライン数)/2+0.5となるように領域を選択し前記第3の画像を生成することを特徴とする請求項1〜3の何れか1項に記載の画像処理装置。
- 前記固定パターンノイズ補正の対象が白点キズ又はダークシェーディングであることを特徴とする請求項1〜4の何れか1項に記載の画像処理装置。
- 光電変換素子を含む複数の画素が行列状に配置されている撮像素子を露光させて撮影した第1の画像を第1の記憶手段に記憶する第1の記憶工程と、
前記撮像素子を遮光状態としたままで撮影した第2の画像から使用する領域を選択して第3の画像を生成する画像生成工程と、
前記画像生成工程にて生成された第3の画像を第2の記憶手段に記憶する第2の記憶工程と、
前記第2の記憶手段に記憶されている第3の画像を用いて、前記第1の画像に対する固定パターンノイズ補正の要否を判断する判断工程と、
前記判断工程にて前記第1の画像に対する固定パターンノイズ補正が必要であると判断された場合に、前記第1の記憶手段に記憶された第1の画像に補正処理を施す補正処理工程とを有し、
前記画像生成工程では、前記第3の画像における暗電流の平均蓄積量が前記第2の画像における暗電流の平均蓄積量と同じになるように領域を選択することを特徴とする画像処理方法。 - 光電変換素子を含む複数の画素が行列状に配置されている撮像素子を露光させて撮影した第1の画像を第1の記憶手段に記憶する第1の記憶ステップと、
前記撮像素子を遮光状態としたままで撮影した第2の画像と第3の画像における暗電流の平均蓄積量とが同じになるように、前記第2の画像から使用する領域を選択して前記第3の画像を生成する画像生成ステップと、
前記画像生成ステップにて生成された第3の画像を第2の記憶手段に記憶する第2の記憶ステップと、
前記第2の記憶手段に記憶されている第3の画像を用いて、前記第1の画像に対する固定パターンノイズ補正の要否を判断する判断ステップと、
前記判断ステップにて前記第1の画像に対する固定パターンノイズ補正が必要であると判断された場合に、前記第1の記憶手段に記憶された第1の画像に補正処理を施す補正処理ステップとをコンピュータに実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013020396A JP2014154913A (ja) | 2013-02-05 | 2013-02-05 | 画像処理装置、画像処理方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013020396A JP2014154913A (ja) | 2013-02-05 | 2013-02-05 | 画像処理装置、画像処理方法、及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014154913A true JP2014154913A (ja) | 2014-08-25 |
Family
ID=51576405
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013020396A Pending JP2014154913A (ja) | 2013-02-05 | 2013-02-05 | 画像処理装置、画像処理方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2014154913A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111832555A (zh) * | 2019-04-19 | 2020-10-27 | 泰州腾翔信息科技有限公司 | 基于导航数据的编号识别方法 |
-
2013
- 2013-02-05 JP JP2013020396A patent/JP2014154913A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111832555A (zh) * | 2019-04-19 | 2020-10-27 | 泰州腾翔信息科技有限公司 | 基于导航数据的编号识别方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6460721B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6418879B2 (ja) | 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置 | |
JP2015115714A (ja) | 撮像装置、撮像装置の制御方法、及び、プログラム | |
JP2011239157A (ja) | 画像処理装置およびその制御方法、撮像装置 | |
US11245846B2 (en) | Image capturing control apparatus and control method therefor | |
JP2014131190A (ja) | 撮像装置、その制御方法、および制御プログラム | |
JP5780885B2 (ja) | 撮像装置、その制御方法、および制御プログラム | |
JP2012090041A (ja) | 画像処理装置及び方法、並びにプログラム | |
JP5299159B2 (ja) | 撮像装置およびプログラム | |
JP2014154913A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2014143457A (ja) | Hdr切り替え制御方法 | |
JP7027205B2 (ja) | 撮像制御装置、撮像制御装置の制御方法およびプログラム | |
JP4717645B2 (ja) | 撮像装置及びその制御方法 | |
JP6355324B2 (ja) | 撮像装置およびその制御方法 | |
JP2014053777A (ja) | 撮像装置 | |
JP2013074368A (ja) | 撮像装置及び撮像方法 | |
JP2017038300A (ja) | 画像処理装置及び方法 | |
JP7523914B2 (ja) | 撮像装置及びその制御方法 | |
JP2017017440A (ja) | 撮像装置及びその制御方法 | |
JP6294596B2 (ja) | 撮像装置及びその制御方法 | |
JP6577820B2 (ja) | 撮像装置およびその制御方法ならびにプログラム | |
JP2016082454A (ja) | 撮像装置 | |
JP2020088599A (ja) | 撮像装置及びその制御方法並びにプログラム | |
JP2013162223A (ja) | 画像処理装置、画像処理方法及びプログラム | |
US20110267498A1 (en) | Image pickup apparatus and control method therefor |