JP2018066982A - 撮像装置、撮像装置の制御方法、及び、プログラム - Google Patents

Abstract

【課題】 本発明は、処理の高速性を確保しつつ、精度の高い補正を行うことを目的とする。【解決手段】 本発明の撮像装置１００は、複数の単位画素３０１を備える撮像素子３００と、撮像素子３００の出力信号に基づいて、第１方法で生成された第１画像の画素値を取得する第１取得手段４００と、撮像素子の出力信号に基づいて、第１方法とは異なる第２方法で生成されたオートフォーカス用の第２画像の画素値を取得する第２取得手段４００と、第１画像の画素値に基づいて、傷画素を検出する第１検出手段４０１と、第１検出手段４０１によって検出された傷画素の情報、及び、第２画像の画素値に基づいて、傷画素を検出する第２検出手段４０２と、第２検出手段４０２によって検出された傷画素に対応する第２画像の画素値を補正することで、第２画像を補正する補正手段４０２と、を備えることを特徴とする。【選択図】 図４

Description

本発明は、撮像装置、撮像装置の制御方法、及び、プログラムに関する。

近年、家庭用ビデオカメラやデジタルスチルカメラ等の撮像機器が一般に普及している。これらのカメラには、レンズのピント位置を自動で合わせるＡＦ（オートフォーカス）機能も搭載されており、ユーザは自らピントを調節することなく、カメラ任せで撮影可能であり、ユーザにとって有益な機能となっている。

撮像素子を使用したＡＦ機構は、構造上、コントラストＡＦ方式、及び、像面位相差ＡＦ方式の２種類に大きく分けられる。コントラストＡＦ方式では、通常、撮像画素からの出力をフィルタ処理して、フォーカスレンズを駆動しながら、フィルタ出力が最大となるところを探して、ピント位置を求める。この方式はシンプルに構成されるが、時間を要するという課題があった。撮像面位相差ＡＦ方式では、撮像素子内に測距用に画素を分割し、測距用分割画素の出力位相差からデフォーカス量を求めてピント位置を求めている。この方式はデフォーカス量が１フレームの画像から求まるので、時間が非常に短いというメリットがある。

一方で撮像素子には異常出力のある傷画素が含まれており、撮像面位相差ＡＦの測距性能に影響を及ぼしているため、傷の補正が必要となる。

傷画素の補正に関連する技術として、特許文献１には、次のような撮像装置が記載されている。特許文献１の撮像装置は、撮像素子と、撮像素子の焦点検出画素及び欠陥画素に関する情報を圧縮した状態で記憶する記憶手段と、圧縮された焦点検出画素、及び、欠陥画素に関する情報を復号する復号手段とを備える。特許文献１の撮像装置は、更に、復号手段により復号された情報に基づいて、画素信号のうち焦点検出画素から得られた焦点検出信号を分離する信号分離手段と、信号補間手段とを備える。信号補間手段は、復号手段により復号された情報に基づいて、欠陥画素に対応する画素信号を補間する。

特開２０１５−８０１２３号公報

ここで、オートフォーカスを行うための傷画素の画素値の補正を行う回路と、記録や表示のために行う傷画素の画素値の補正を行う回路とを異ならせることで、処理の高速性を確保することが考えられる。

しかしながら、処理の高速性を確保するために、オートフォーカスを行うための傷画素の画素値の補正を簡易な処理にすると、精度の高い補正を行えず、正確なオートフォーカスが行えないおそれがある。

本発明は、処理の高速性を確保しつつ、精度の高い補正を行うことを目的とする。

本発明の撮像装置は、複数の単位画素を備える撮像素子と、前記撮像素子の出力信号に基づいて、第１方法で生成された第１画像の画素値を取得する第１取得手段と、前記撮像素子の出力信号に基づいて、前記第１方法とは異なる第２方法で生成されたオートフォーカス用の第２画像の画素値を取得する第２取得手段と、前記第１画像の画素値に基づいて、異常出力する前記単位画素である傷画素を検出する第１検出手段と、前記第１検出手段によって検出された傷画素の情報、及び、前記第２画像の画素値に基づいて、傷画素を検出する第２検出手段と、前記第２検出手段によって検出された傷画素に対応する前記第２画像の画素値を補正することで、前記第２画像を補正する補正手段と、を備えることを特徴とする。

本発明によれば、処理の高速性を確保しつつ、精度の高い補正を行うことができる。

デジタルカメラの外観図である。 デジタルカメラのハードウェア構成のブロック図である。 撮像素子の構成図である。 画像処理部、及び、システム制御部の構成図である。 撮像素子からの信号の読出しタイミングを示す図である。 単位画素の配置を示す図である。 閾値決定処理のフローチャートである。 閾値の決定表を示す図である。 簡易傷補正を説明する図である。 補正方法の切り替えを説明する図である。 デフォーカス量の決定方法を説明する図である。 第２の実施形態に係る画像処理部、及び、システム制御部の構成図である。 第３の実施形態に係る画像処理部、及び、システム制御部の構成図である。

以下、図面を参照して本発明の好適な実施形態を説明する。

（第１の実施形態）
まず、図１を参照して、撮像装置の一例であるデジタルカメラ１００のハードウェア構成について説明する。図１は、デジタルカメラ１００の外観図である。

表示部１０１は、画像や各種情報を表示する表示部である。

操作部１１０は、ユーザからの各種操作を受け付ける各種スイッチ、ボタン、タッチパネル等の操作部材より構成される。操作部１１０には、シャッターボタン１１１、モード切替スイッチ１１４、電源スイッチ１１２、及び、コントローラホイール１１３が含まれる。

シャッターボタン１１１は、撮影指示を行うための操作部である。

電源スイッチ１１２は、デジタルカメラ１００の電源オン、電源オフを切り替える操作に使われるスイッチである。

コントローラホイール１１３は、操作部１１０に含まれる回転操作可能な操作部材である。

モード切替スイッチ１１４は、各種モードを切り替えるためのスイッチである。

記録媒体１２０は、メモリカードやハードディスク等の記録媒体であり、撮影された画像等を記録する。

記録媒体スロット１２１は、記録媒体１２０を格納するためのスロットである。記録媒体スロット１２１に格納された記録媒体１２０は、デジタルカメラ１００との通信が可能となる。

蓋１２２は、記録媒体スロット１２１の蓋である。

コネクタ１３０は、接続ケーブル１３１とデジタルカメラ１００とのコネクタである。

次に、図２を参照して、デジタルカメラ１００のハードウェア構成について説明する。図２は、デジタルカメラ１００のハードウェア構成のブロック図である。

撮影レンズ２０３は、ズームレンズ、フォーカスレンズを含むレンズ群である。

シャッター２０１は、絞り機能を備えるシャッターである。

撮像部２２２は、光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子、及び、Ａ／Ｄ変換を行うＡ／Ｄ変換部を備えている。

バリア２０２は、デジタルカメラ１００の撮影レンズ２０３を含む撮像系を覆うことにより、撮影レンズ２０３、シャッター２０１、撮像部２２２を含む撮像系の汚れや破損を防止する。

画像処理部２２４は、撮像部２２２から出力されるデータ、又は、メモリ制御部２１５からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部２２４は、撮像した画像データを用いて所定の演算処理を行う。画像処理部２２４による演算結果に基づいてシステム制御部２５０は露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＥ（自動露出）処理、ＥＦ（フラッシュ自動調光発光）処理が行われる。画像処理部２２４は、更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。

撮像部２２２の出力データは、画像処理部２２４、及び、メモリ制御部２１５を介して、又は、メモリ制御部２１５を介して、メモリ２３２に書き込まれる。

メモリ２３２は、システムメモリであり、ＲＡＭが用いられる。メモリ２３２には、システム制御部２５０の動作用の定数、変数、及び、不揮発性メモリ２５６から読み出したプログラム等が展開される。また、メモリ２３２は、撮像部２２２によって取得及びＡ／Ｄ変換された画像データや、表示部１０１に表示するための画像データを格納する。

また、メモリ２３２は、所定枚数の静止画像や所定時間の動画像及び音声を格納するのに十分な記憶容量を備えている。また、メモリ２３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。

Ｄ／Ａ変換器２１３は、メモリ２３２に格納されている画像表示用のデータをアナログ信号に変換して表示部１０１に供給する。こうして、メモリ２３２に書き込まれた表示用の画像データは、Ｄ／Ａ変換器２１３を介して、表示部１０１により表示される。

表示部１０１は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器２１３からのアナログ信号に応じた表示を行う。撮像部２２２で一度Ａ／Ｄ変換されメモリ２３２に蓄積されたデジタル信号をＤ／Ａ変換器２１３がアナログ変換して、表示部１０１に逐次転送して表示部１０１が表示することで、電子ビューファインダが実現されて、スルー画像表示を行える。

システム制御部２５０は、デジタルカメラ１００全体を制御する。システム制御部２５０がメモリ２３２に記録されたプログラムを実行することで、後述するデジタルカメラ１００の各機能が実現される。また、システム制御部２５０は、メモリ２３２、Ｄ／Ａ変換器２１３、表示部１０１等を制御することにより表示制御を行う。

不揮発性メモリ２５６は、電気的に消去・記録可能なメモリであり、例えばフラッシュメモリ等が用いられる。不揮発性メモリ２５６には、システム制御部２５０の動作用の定数、及び、プログラム等が記憶される。ここでいうプログラムは、本実施形態にて後述する各種フローチャートを実行するためのプログラムや各種機能を実現するためのプログラムを含む。

システムタイマ２５３は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。

モード切替スイッチ１１４、第１シャッタースイッチ２６２、第２シャッタースイッチ２６４、操作部１１０はシステム制御部２５０に各種の動作指示を入力するための操作手段である。

モード切替スイッチ１１４は、システム制御部２５０の動作モードを静止画記録モード、動画記録モード、及び、再生モード等のいずれかに切り替える。静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等がある。モード切替スイッチ１１４によって、静止画撮影モードに含まれるこれらのモードのいずれかに直接切り替えられる。モード切替スイッチ１１４で静止画撮影モードに一旦切り換えた後に、静止画撮影モードに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。

第１シャッタースイッチ２６２は、デジタルカメラ１００に設けられたシャッターボタン１１１の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生する。第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュ自動調光発光）処理等の動作が開始する。

第２シャッタースイッチ２６４は、シャッターボタン１１１の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部２５０は、第２シャッタースイッチ信号ＳＷ２により、撮像部２２２からの信号読み出しから記録媒体１２０に画像データを書き込むまでの一連の撮影処理の動作を開始する。

操作部１１０の各操作部材は、表示部１０１に表示される種々の機能アイコンがユーザによって選択操作される等により、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部１０１に表示される。ユーザは、表示部１０１に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。

ＡＦ補助光２７１は、システム制御部２５０の制御に基づいて低輝度時に発光して被写体を照明する。

コントローラホイール１１３は、操作部１１０に含まれる回転操作可能な操作部材であり、方向ボタンと共に選択項目を指示する際等に使用される。コントローラホイール１１３を回転操作すると、操作量に応じて電気的なパルス信号が発生し、このパルス信号に基づいてシステム制御部２５０はデジタルカメラ１００の各部を制御する。このパルス信号によって、システム制御部２５０は、コントローラホイール１１３が回転操作された角度や、何回転したか等を判定することができる。なお、コントローラホイール１１３は回転操作が検出できる操作部材であればどのようなものでもよい。例えば、ユーザの回転操作に応じてコントローラホイール１１３自体が回転してパルス信号を発生するダイヤル操作部材であってもよい。また、タッチセンサよりなる操作部材で、コントローラホイール１１３自体は回転せず、コントローラホイール１１３上でのユーザの指の回転動作等を検出するものであってもよい（いわゆる、タッチホイール）。

電源制御部２８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部２８０は、その検出結果及びシステム制御部２５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体１２０を含む各部へ供給する。

電源部２４０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。

記録媒体Ｉ／Ｆ２１８は、メモリカードやハードディスク等の記録媒体１２０とのインターフェースである。

ストロボ２９０は、発光装置であり、撮影の際にシステム制御部２５０によって選択的に発光制御されて、例えば、低照度の撮影シーン又は逆光シーンにおいて不足する照度を補って、被写体を照明する。

［撮像素子の構成］
次に、図３を参照して撮像部２２２を構成する撮像素子３００について説明する。図３は、撮像素子３００の構成図である。

撮像素子３００は、複数の単位画素３０１を備える。それぞれの単位画素３０１は、瞳分割されており、第１光電変換部であるＡ画素３０２と、第２光電変換部であるＢ画素３０３と、ＦＤ部とを備える。Ａ画素３０２、及び、Ｂ画素３０３は、受光素子であり、光の強弱を検出できる。Ａ画素３０２、及び、Ｂ画素３０３には、フォトダイオードが使われる。ＦＤ部は、Ａ画素３０２が出力する信号となる電荷、及び、Ｂ画素３０３が出力する信号となる電荷を電荷加算により加算できる。

Ａ画素３０２が出力する信号に基づく画像をＡ像と呼び、Ｂ画素３０３が出力する信号に基づく画像をＢ像と呼ぶ。Ａ像、及び、Ｂ像はオートフォーカス用の画像である。システム制御部２５０は、後に説明するように、Ａ像、及び、Ｂ像に基づいてデフォーカス量を算出して撮影レンズ２０３の焦点を合わせて、オートフォーカス処理を行う。

また、Ａ画素３０２が出力する信号となる電荷、及び、Ｂ画素３０３が出力する信号となる電荷がＦＤ部によって加算された信号に基づく画像を加算画像と呼ぶ。加算画像は、記録又は表示用の画像である。

［画像処理部、及び、システム制御部の構成］
次に、図４を参照して、画像処理部２２４の機能構成について説明する。図４は、画像処理部２２４、及び、システム制御部２５０の構成図である。

画像処理部２２４は、像分離部４００と、リアルタイム傷検出・補正部４０１と、簡易傷検出・補正部４０２とを備える。

像分離部４００は、システム制御部２５０の制御に基づいて、撮像部２２２を構成する撮像素子３００から信号を読出し、Ａ像、Ｂ像、及び、加算画像の画素値を出力する。像分離部４００により、単位画素３０１の出力信号が、Ａ像の画素値とＢ像の画素値とに分離される。

リアルタイム傷検出・補正部４０１は、加算画像の画素値に基づいて傷画素を検出して、加算画像を補正する。傷画素は、異常出力する単位画素３０１である。リアルタイム傷検出・補正部４０１は、検出した傷画素に関する情報である傷情報を簡易傷検出・補正部４０２やシステム制御部２５０に出力する。

簡易傷検出・補正部４０２は、Ａ像の画素値に基づいて傷画素を検出して、Ａ像を補正する。また、簡易傷検出・補正部４０２は、Ｂ像の画素値に基づいて傷画素を検出して、Ｂ像を補正する。デジタルカメラ１００では、リアルタイム傷検出・補正部４０１を構成する回路と簡易傷検出・補正部４０２を構成する回路とは独立している。

次に、図４を参照して、システム制御部２５０の機能構成について説明する。システム制御部２５０は、表示・記録部４１０と、画像処理制御部４１１と、補正部４１２と、閾値決定部４１３と、デフォーカス量決定部４１４と、レンズ制御部４１５とを備える。

表示・記録部４１０は、リアルタイム傷検出・補正部４０１によって補正された加算画像を、表示部１０１に表示する制御、及び、記録媒体１２０に記録する制御を行う。

画像処理制御部４１１は、像分離部４００を制御して、撮像素子３００から信号を読出す。

補正部４１２は、第２補正手段の例であり、簡易傷検出・補正部４０２によって補正されたＡ像を、傷情報に基づいて更に補正する。また、補正部４１２は、簡易傷検出・補正部４０２によって補正されたＢ像を、傷情報に基づいて更に補正する。

閾値決定部４１３は、傷情報に基づいて、傷検出閾値を決定する。傷検出閾値は、後に説明するように、簡易傷検出・補正部４０２による傷画素の検出に使われる閾値である。デフォーカス量決定部４１４は、補正部４１２によって補正されたＡ像、及び、Ｂ像に基づいて、デフォーカス量を決定する。

レンズ制御部４１５は、デフォーカス量決定部４１４によって決定されたデフォーカス量に基づいて、フォーカスレンズを移動させる制御を行い、撮影レンズ２０３による焦点合わせを行う。

像分離部４００が出力する加算画像は、リアルタイム傷検出・補正部４０１を経由して、表示・記録部４１０に送られる。この経路を本線系と呼ぶ。

像分離部４００が出力するＡ像は、簡易傷検出・補正部４０２を経由して、補正部４１２に送られる。この経路をＡ像系と呼ぶ。

像分離部４００が出力するＢ像は、簡易傷検出・補正部４０２を経由して、補正部４１２に送られる。この経路をＢ像系と呼ぶ。

［ＡＦ処理］
ＡＦ処理は、例えば、電子ビューファインダを実行するとき、及び、シャッターボタン１１１が半押しされて第１シャッタースイッチ信号ＳＷ１が発生したときに行われる。デジタルカメラ１００の設定等により、ＡＦ処理は、第１シャッタースイッチ信号ＳＷ１が発生したときにのみ行われるようにしてもよい。

ＡＦ処理は、画像読取処理、リアルタイム傷画素検出処理、リアルタイム補正処理、閾値決定処理、簡易傷画素検出処理、簡易補正処理、事後補正処理、デフォーカス量決定処理、及び、レンズ駆動処理により実現される。

［画像読取処理］
次に、図５を参照して、画像読取処理について説明する。図５は、撮像素子３００からの信号の読出しタイミングを示す図である。画像読取処理は、撮像素子３００の信号を読取り、Ａ像、Ｂ像、及び、加算画像の画素値を読取って、リアルタイム傷検出・補正部４０１又は簡易傷検出・補正部４０２に出力する処理である。

図５のＶＤは垂直同期信号であり、ＨＤは水平同期信号である。垂直同期信号ＶＤは、１つのフレームの読出し開始を表す基準信号となる。水平同期信号ＨＤは、１つのフレームの各ラインの読出し開始を表す基準信号となる。フレームのラインは、水平方向に並ぶ単位画素３０１の画素列を表す。

垂直同期信号ＶＤが発生したとき、像分離部４００は、システム制御部２５０の画像処理制御部４１１の制御に基づいて、１つのフレームについて、撮像素子３００の信号の読出しを開始する。水平同期信号ＨＤが発生したとき、像分離部４００は、画像処理制御部４１１の制御に基づいて、フレームの所定のラインについて、撮像素子３００の信号の読出しを開始する。

水平同期信号ＨＤが発生したとき、像分離部４００は、まず、フレームの所定のラインについて、撮像部２２２に含まれる撮像素子３００のＡ画素３０２のみの信号を読取る。次に、像分離部４００は、同じフレームのラインについて、撮像素子３００のＡ画素３０２の信号、及び、Ｂ画素３０３の信号が加算された加算信号を読取る。像分離部４００は、この読出しを有効ライン数分繰り返すことで、画面全体のＡ像信号、及び、加算信号を読取る。

加算信号は、単位画素３０１に含まれるＦＤ部によって、Ａ画素３０２が出力する信号となる電荷、及び、Ｂ画素３０３が出力する信号となる電荷を電荷加算により加算された信号である。加算画像は、加算信号をデジタル化した画像であり、表示用画像、及び、記録用画像として使用できる。

像分離部４００がＡ画素３０２の信号、及び、Ｂ画素３０３の信号を個別に読み出してからデジタル加算すると、加算によるノイズ劣化が生じてしまう。しかし、ＦＤ部で電荷加算することで、ノイズ劣化を低減させて、Ａ画素３０２の信号、及び、Ｂ画素３０３の信号を加算できる。

像分離部４００が撮像部２２２から読取るＡ画素３０２の信号は、撮像部２２２のＡ／Ｄ変換部によってデジタル化されており、Ａ画素３０２の画素値となる。このＡ画素３０２の画素値をＡ画素値と呼ぶ。また、像分離部４００が撮像部２２２から読取る加算信号は、撮像部２２２のＡ／Ｄ変換部によってデジタル化されており単位画素３０１の加算信号に対応する画素値となる。この単位画素３０１の加算信号に対応する画素値を加算画素値と呼ぶ。Ａ画素値からなる画像がＡ像であり、加算画素値からなる画像が加算画像である。

また、像分離部４００は、単位画素３０１の加算画素値からＡ画素３０２のＡ画素値を減算して、すなわち、「（単位画素３０１の加算画素値）−（Ａ画素３０２のＡ画素値）」の計算をして、Ｂ画素３０３の画素値とする。このＢ画素３０３の画素値をＢ画素値と呼ぶ。Ｂ画素値からなる画像がＢ像である。Ｂ画素値は、加算画素値からＡ画素３０２のＡ画素値を減算したものであるため、Ｂ画素３０３の信号に基づく画素値である。

そして、像分離部４００は、Ａ像、Ｂ像、及び、加算画像の画素値を出力する。

像分離部４００が加算画素値を生成する方法は第１方法の例であり、像分離部４００による加算画素値を読取って取得する処理は、第１取得手段による処理の例である。像分離部４００がＡ画素値及びＢ画素値を生成する方法は第２方法の例であり、像分離部４００によるＡ画素値及びＢ画素値を読取って取得する処理は、第２取得手段による処理の例である。

本実施形態では、像分離部４００は、１フレームの全てのラインについて、Ａ画素値、Ｂ画素値、及び、加算画素値を読取って出力する。しかし、像分離部４００は、消費電力の削減のため、１フレームの特定のラインのみ、Ａ画素値、Ｂ画素値、及び、加算画素値を読取って出力し、特定のライン以外のラインは、加算画素値のみを読取って出力してもよい。

また、本実施形態では、像分離部４００は、水平方向の全てのＡ画素値、及び、Ｂ画素値を読み出す。しかし、像分離部４００は、被写体周辺の一部についてのみ、Ａ画素値、及び、Ｂ画素値を読み出すようにしてもよい。

［リアルタイム傷画素検出処理］
次に、リアルタイム傷画素検出処理について説明する。

リアルタイム傷検出・補正部４０１は、像分離部４００が出力する加算画像について１ラインごとに傷画素の検出、及び、補正を行う。ここで、図４に示すように、本線系で送られる加算画像は、表示・記録される画像であるので、傷の補正は正確に行われなくてはならない。リアルタイム傷検出・補正部４０１は、像分離部４００から、処理対象のラインの上下の所定数のラインの加算画素値を取得してメモリ２３２に記録して参照することで、傷画素を正確に検出する。

次に、図６を参照して、リアルタイム傷画素検出処理の詳細を説明する。図６は、単位画素３０１の配置を示す図である。リアルタイム傷画素検出処理は、第１検出手段による処理の例である。

図６のＲ０からＲ８まではカラーフィルタが「Ｒ」の単位画素３０１である。図６のＧ０からＧ１１まではカラーフィルタが「Ｇ」の単位画素３０１である。図６のＢ０からＢ３まではカラーフィルタが「Ｂ」の単位画素３０１である。ここでは、傷画素の判定対象となる単位画素３０１である対象画素を図６の中央にあるＲ４として説明する。

まず、リアルタイム傷検出・補正部４０１は、対象画素の周辺にエッジ部があるか否かを判定する。エッジ部は、画素値が急激に変化する部分である。この判定は次のように行われる。

第１に、リアルタイム傷検出・補正部４０１は、対象画素の周囲に配置された同色の単位画素３０１の加算画素値の最大値ＰｉｘＭａｘと最小値ＰｉｘＭｉｎとを取得する。図６の例では、リアルタイム傷検出・補正部４０１は、対象画素Ｒ４の周辺に配置されたＲ０からＲ３まで、及び、Ｒ５からＲ８までの加算画素値の最大値ＰｉｘＭａｘと最小値ＰｉｘＭｉｎとを取得する。

第２に、リアルタイム傷検出・補正部４０１は、最大値ＰｉｘＭａｘと最小値ＰｉｘＭｉｎとの差分ＭａｘＭｉｎＤｉｆｆを算出する。差分ＭａｘＭｉｎＤｉｆｆは、次の式１で表される。
ＭａｘＭｉｎＤｉｆｆ＝ＰｉｘＭａｘ−ＰｉｘＭｉｎ・・・（１）

第３に、リアルタイム傷検出・補正部４０１は、差分ＭａｘＭｉｎＤｉｆｆが予め定められた第１所定値以下であれば、対象画素の周辺にエッジ部がないと判定する。リアルタイム傷検出・補正部４０１は、これ以外のときエッジ部があると判定する。

エッジ部の判定の後、リアルタイム傷検出・補正部４０１は、次のように傷画素を検出する。

リアルタイム傷検出・補正部４０１は、対象画素の周囲にエッジ部があるとき、対象画素は傷画素ではないと判定する。

リアルタイム傷検出・補正部４０１は、対象画素の周辺にエッジ部がないとき、対象画素の周囲に配置された同色の単位画素３０１の加算画素値の平均値を取得する。図６の例では、対象画素Ｒ４の周辺に配置されたＲ０からＲ３まで、及び、Ｒ５からＲ８までの加算画素値の平均値ＰｉｘＡｖｅを算出する。そして、リアルタイム傷検出・補正部４０１は、対象画素の加算画素値ＴａｒｇｅｔＰｉｘと平均値ＰｉｘＡｖｅとの差分ＰｉｘＤｉｆｆを算出する。差分ＰｉｘＤｉｆｆは、次の式２で表される。
ＰｉｘＤｉｆｆ＝ＴａｒｇｅｔＰｉｘ−ＰｉｘＡｖｅ・・・（２）

差分ＰｉｘＤｉｆｆは、第２基準値の例であり、対象画素を基準にして複数の方向にある単位画素３０１の加算画素値に基づく値である。

そして、リアルタイム傷検出・補正部４０１は、差分ＰｉｘＤｉｆｆが予め定められた第２所定値以上であれば、対象画素を傷画素と判定する。リアルタイム傷検出・補正部４０１は、差分ＰｉｘＤｉｆｆが予め定められた第２所定値未満であれば、対象画素を傷画素ではないと判定する。リアルタイム傷検出・補正部４０１は、差分ＰｉｘＤｉｆｆの絶対値が予め定められた第２所定値以上か否かに基づいて対象画素を傷画素と判定してもよい。

リアルタイム傷検出・補正部４０１は、全ての単位画素３０１についてこのような判定を行って、傷画素を検出する。

なお、リアルタイム傷検出・補正部４０１は、次のように平均値ＰｉｘＡｖｅを定めてもよい。すなわち、リアルタイム傷検出・補正部４０１は、対象画素を基準して対象画素を挟んで垂直方向に並ぶ２つの同色の単位画素３０１の加算画素値の差分を求める。同様に、リアルタイム傷検出・補正部４０１は、水平方向、及び、斜め方向に並ぶ単位画素３０１の加算画素値の差分を求める。これらの差分のうち、最も小さい値を平均値ＰｉｘＡｖｅとする。このように求めた平均値ＰｉｘＡｖｅも、対象画素を基準にして複数の方向にある単位画素３０１の加算画素値に基づく値である。このように平均値ＰｉｘＡｖｅを定める場合、リアルタイム傷検出・補正部４０１は、上記のエッジ部の判定を行わなくてもよい。

［リアルタイム補正処理］
次に、図６を参照して、加算画像に基づく補正処理について説明する。リアルタイム補正処理は、第３補正手段による処理の例であり、像分離部４００が出力する加算画素値に基づいて、リアルタイム傷画素検出処理で検出された傷画素の画素値を補正する処理である。

第１に、リアルタイム傷検出・補正部４０１は、リアルタイム傷画素検出処理で検出された傷画素の補正方向を決定する。補正方向は、傷画素の補正に使われる単位画素３０１の並ぶ方向である。補正方向を決定する処理は、方向決定手段による処理の例である。

より具体的には、リアルタイム傷検出・補正部４０１は、リアルタイム補正処理の処理対象となる傷画素である対象画素を基準して対象画素を挟んで第１斜め方向に並ぶ２つの同色の単位画素３０１の加算画素値の差分Ｄｉｆｆ１を求める。また、リアルタイム傷検出・補正部４０１は、対象画素を基準して対象画素を挟んで垂直方向に並ぶ２つの同色の単位画素３０１の加算画素値の差分Ｄｉｆｆ２を求める。また、リアルタイム傷検出・補正部４０１は、対象画素を基準して対象画素を挟んで第２斜め方向に並ぶ２つの同色の単位画素３０１の加算画素値の差分Ｄｉｆｆ３を求める。また、リアルタイム傷検出・補正部４０１は、対象画素を基準して対象画素を挟んで水平方向に並ぶ２つの同色の単位画素３０１の加算画素値の差分Ｄｉｆｆ４を求める。垂直方向、及び、水平方向から４５度の方向は、図６のＲ０とＲ８とをつなぐ方向と、Ｒ２とＲ６とをつなぐ方向との２つがある。これら２つの方向の一方を第１斜め方向、他方を第２斜め方向とする。

対象画素を図６のＲ４とすると、差分Ｄｉｆｆ１からＤｉｆｆ４までは、次の式３から６までによって求めることができる。差分Ｄｉｆｆ１からＤｉｆｆ４までは、それぞれ、第１斜め方向、垂直方向、第２斜め方向、及び、水平方向の加算画素値の変化量である。
Ｄｉｆｆ１＝｜（Ｒ０の加算画素値）−（Ｒ８の加算画素値）｜・・・（３）
Ｄｉｆｆ２＝｜（Ｒ１の加算画素値）−（Ｒ７の加算画素値）｜・・・（４）
Ｄｉｆｆ３＝｜（Ｒ２の加算画素値）−（Ｒ６の加算画素値）｜・・・（５）
Ｄｉｆｆ４＝｜（Ｒ３の加算画素値）−（Ｒ５の加算画素値）｜・・・（６）

そして、リアルタイム傷検出・補正部４０１は、差分Ｄｉｆｆ１からＤｉｆｆ４までのうち、最も小さい値に対応する方向を、補正方向と決定する。差分が最小ということは、最小の差分に対応する２つの単位画素３０１の間にはエッジ部がないことを表すため、この２つの単位画素３０１の加算画素値によって、傷画素の加算画素値を適切な値に補正ができる。

第２に、リアルタイム傷検出・補正部４０１は、対象画素を基準して対象画素を挟んで補正方向に並ぶ２つの同色の単位画素３０１の加算画素値の平均値を、傷画素の加算画素値とする。例えば、差分Ｄｉｆｆ１が最小となったとき、差分Ｄｉｆｆ１に対応する第１斜め方向が補正方向であり、傷画素の補正後の加算画素値ＰｉｘＣｏｒｒｅｃｔは、次に式７で計算される。
ＰｉｘＣｏｒｒｅｃｔ＝（（Ｒ０の加算画素値）＋（Ｒ８の加算画素値））／２・・・（７）

リアルタイム傷検出・補正部４０１は、リアルタイム傷画素検出処理で検出された傷画素の全てに対してこの補正を行う。

なお、リアルタイム傷検出・補正部４０１は、傷画素の周囲にある全ての同色の単位画素３０１の加算画素値の平均値を、傷画素の加算画素値としてもよい。また、リアルタイム傷検出・補正部４０１は、差分Ｄｉｆｆ１からＤｉｆｆ４までのうちが、予め定められた第３所定値以下の差分に対応する全ての単位画素３０１の加算画素値の平均値を、傷画素の加算画素値としてもよい。

また、リアルタイム傷検出・補正部４０１は、リアルタイム傷画素検出処理で検出された傷画素の情報である傷情報を生成して、簡易傷検出・補正部４０２やシステム制御部２５０に出力する。傷情報には、傷画素の座標、傷画素の補正方向、及び、傷レベルが含まれる。傷レベルは、式２で表される差分ＰｉｘＤｉｆｆであり、対象画素の加算画素値と基準値となる差分ＰｉｘＤｉｆｆとの相違を表す。傷レベルが大きいほど、傷画素の出力が正確ではないことを表す。

リアルタイム傷検出・補正部４０１は、例えばメモリ２３２を用いて、補正された加算画素値をシステム制御部２５０の表示・記録部４１０に送る。ただし、リアルタイム傷検出・補正部４０１は、リアルタイム傷画素検出処理によって傷画素と判定されなかった単位画素３０１の加算画素値は、補正せずに、表示・記録部４１０に送る。リアルタイム傷検出・補正部４０１が表示・記録部４１０に送る加算画素値によって、補正された加算画像が構成される。

［閾値決定処理］
次に、図７、８を参照して、閾値決定処理について説明する。図７は、閾値決定処理のフローチャートである。図８は、傷検出閾値の決定に使われる決定表を示す図である。閾値決定処理は、後述の簡易傷画素検出処理で使われる傷検出閾値を決定する処理であり、閾値決定手段による処理の例である。簡易傷画素検出処理では、傷検出閾値が小さいほど、傷画素を検出しやすくなる。

閾値決定処理では、撮像素子３００における単位画素３０１の座標ごとに、傷検出閾値を決定する。傷検出閾値を決定する対象となる座標を対象座標とする。対象座標の初期値は、例えば、単位画素３０１の一番左上の座標とする。

ステップＳ７００において、閾値決定部４１３は、対象座標の単位画素３０１についてのリアルタイム傷検出・補正部４０１の傷画素の検出結果を参照する。対象座標の単位画素３０１についてリアルタイム傷検出・補正部４０１が傷画素を検出したとき、リアルタイム傷検出・補正部４０１は、傷情報等を参照して、傷画素の傷レベルを取得する。

ステップＳ７０１において、閾値決定部４１３は、図８に示す決定表に基づいて、対象座標の単位画素３０１についての傷検出閾値を決定する。図８には、傷レベル閾値として、Ｔｈ＿Ａ１、Ｔｈ＿Ａ２、及び、Ｔｈ＿Ａ３が示される。Ｔｈ＿Ａ１が最も高く、Ｔｈ＿Ａ３が最も低い。また、図８には、傷検出閾値として、Ｔｈ＿Ｂ１、Ｔｈ＿Ｂ２、Ｔｈ＿Ｂ３、及び、Ｔｈ＿Ｂ４が示される。Ｔｈ＿Ｂ１が最も低く、Ｔｈ＿Ｂ２がＴｈ＿Ｂ１の次に低く、Ｔｈ＿Ｂ３がＴｈ＿Ｂ２の次に低く、Ｔｈ＿Ｂ４が最も高い。

図８に示すように、閾値決定部４１３は、対象座標の単位画素３０１の傷レベルが高いほど、低い傷検出閾値を決定する。例えば、傷レベルがＴｈ＿Ａ１以上のとき、傷検出閾値を最小のＴｈ＿Ｂ１と決定する。これにより、傷が非常に大きい傷画素を、簡易傷画素検出処理で確実に検出できる。また、閾値決定部４１３は、対象座標の単位画素３０１が傷画素と検出されていないとき、対象座標の単位画素３０１についての傷検出閾値を最大のＴｈ＿Ｂ４と決定する。これにより、簡易傷画素検出処理で、対象座標の単位画素３０１が傷画素と検出されることを抑制できる。このように傷検出閾値を決定することで、簡易傷画素検出処理の精度が改善し、デフォーカス量の精度が高まる。

ステップＳ７０２において、閾値決定部４１３は、直近のステップＳ７０１で決定された傷検出閾値を、簡易傷検出・補正部４０２が対象座標の単位画素３０１の傷画素を検出するときの傷検出閾値に設定する。

ステップＳ７０３において、閾値決定部４１３は、対象座標が撮像素子３００の最終座標であるか否かを判定する。閾値決定部４１３は、対象座標が撮像素子３００の最終座標のとき図８の処理を終了する。閾値決定部４１３は、対象座標が撮像素子３００の最終座標ではないとき、対象座標を、次の単位画素３０１を表す座標にして、処理をステップＳ７００に戻す。

［簡易傷画素検出処理］
次に、図９を参照して、簡易傷画素検出処理について説明する。図９は、簡易傷画素検出処理を説明する図であり、単位画素３０１の所定のラインの一部を示す図である。簡易傷画素検出処理は、第２検出手段による処理の例である。

簡易傷画素検出処理は、簡易傷検出・補正部４０２によって実行される。簡易傷検出・補正部４０２にはコストを掛けられないため、簡易傷検出・補正部４０２は、リアルタイム傷検出・補正部４０１のように、メモリ２３２に複数のラインの画素値を書き込んだりメモリ２３２から画素値を読み込んだりしない。簡易傷検出・補正部４０２は、所定方向である水平方向に並ぶ単位画素３０１の画素値のみを参照して、簡易傷画素検出処理、及び、後述の簡易補正処理を行う。簡易傷検出・補正部４０２は、像分離部４００から１ラインずつＡ画素値、及び、Ｂ画素値を取得して、１ラインごとに簡易傷画素検出処理、及び、後述の簡易補正処理を行う。

簡易傷画素検出処理、及び、後述の簡易補正処理は、簡易傷検出・補正部４０２で行われるため、リアルタイム傷検出・補正部４０１で行われるリアルタイム傷画素検出処理、及び、リアルタイム補正処理と並列に動作できる。ただし、簡易補正処理では傷情報が使われ、簡易傷画素検出処理では傷検出閾値が使われる。したがって、簡易傷画素検出処理、及び、簡易補正処理では、リアルタイム傷画素検出処理で傷画素か否かが判定されて傷検出閾値の決定が行われた単位画素３０１を対象として、順次、簡易傷画素検出処理、及び、簡易補正処理が行われる。

図９のＲ１からＲ５まではカラーフィルタが「Ｒ」の単位画素３０１である。図９のＧはカラーフィルタが「Ｇ」の単位画素３０１である。ここでは、傷画素の判定対象となる単位画素３０１である対象画素を図９の中央にあるＲ３として説明する。

まず、像分離部４００から取得するＡ画素値に基づいて、傷画素を検出する第１検出処理について説明する。ここでは、Ａ画素値に基づいて傷画素を検出するため、単位画素３０１のＡ画素３０２に傷があるか否かを検出できる。

第１に、簡易傷検出・補正部４０２は、第１基準値の例となる中央値Ｍｄを取得する。より具体的には、簡易傷検出・補正部４０２は、比較参照画素のＡ画素値、及び、対象画素のＡ画素値の中央値Ｍｄを取得する。比較参照画素は、対象画素と同色の単位画素３０１を同色画素と呼ぶと、対象画素の右側にある２つ同色画素、及び、対象画素の左側にある２つ同色画素のことである。図９の例では、対象画素Ｒ３の比較参照画素は、Ｒ１、Ｒ２、Ｒ４、及び、Ｒ５の４つの単位画素３０１である。簡易傷検出・補正部４０２は、次の式８のように、比較参照画素のＡ画素値、及び、対象画素のＡ画素値にメディアンフィルタをかけることで、中央値Ｍｄを選択する。
Ｍｄ＝Ｍｅｄｉａｎ（Ｒ１のＡ画素値，Ｒ２のＡ画素値，Ｒ３のＡ画素値，Ｒ４のＡ画素値，Ｒ５のＡ画素値）・・・（８）

第２に、簡易傷検出・補正部４０２は、対象画素に対応する座標の傷検出閾値を取得する。傷検出閾値は、上記の閾値決定処理で決定された値である。

第３に、簡易傷検出・補正部４０２は、取得した中央値Ｍｄと、対象画素のＡ画素値との差分Ｄｉｆｆを取得する。この差分Ｄｉｆｆは、次の式９で表される。
Ｄｉｆｆ＝｜（対象画素のＡ画素値）−Ｍｄ｜・・・（９）

第４に、簡易傷検出・補正部４０２は、取得した差分Ｄｉｆｆが、取得した傷検出閾値より大きいか否かを判定する。簡易傷検出・補正部４０２は、取得した差分Ｄｉｆｆが、傷検出閾値より大きいとき、対象画素を傷画素と判定し、傷検出閾値以下のとき、対象画素が傷画素ではないと判定する。

以上が、第１検出処理である。

簡易傷検出・補正部４０２は、傷検出の対象となる全てのラインの単位画素３０１について第１検出処理を行う。

次に、像分離部４００から取得するＢ画素値に基づいて、傷画素を検出する第２検出処理について説明する。ここでは、Ｂ画素値に基づいて傷画素を検出するため、単位画素３０１のＢ画素３０３に傷があるか否かを検出できる。

第２検出処理は、上記の第１検出処理と同様の処理である。ただし、第２検出処理では、Ａ画素値の代わりにＢ画素値を用いる。

［簡易補正処理］
次に、簡易補正処理について説明する。簡易補正処理は、Ａ像のＡ画素値、又は、Ｂ像のＢ画素値に基づいて、簡易傷画素検出処理で検出された傷画素の画素値を補正する処理であり、補正手段による処理の例である。

まず、Ａ画素値に基づいて、傷画素の画素値を補正する第１補正処理について説明する。第１補正処理では、第１検出処理で傷があると判定されたＡ画素３０２の画素値が補正される。

第１に、簡易傷検出・補正部４０２は、簡易傷画素検出処理の第１検出処理で検出された傷画素の補正方向を決定する。

より具体的には、簡易傷検出・補正部４０２は、リアルタイム傷検出・補正部４０１から取得した傷情報を参照して、第１検出処理で検出された傷画素の座標についての傷情報があるか否かを判断する。簡易傷検出・補正部４０２は、第１検出処理で検出された傷画素の座標についての傷情報がないとき、補正方向を水平方向と決定する。簡易傷検出・補正部４０２は、第１検出処理で検出された傷画素の座標についての傷情報があるとき、補正方向を、この傷情報に含まれる補正方向と決定する。

第２に、簡易傷検出・補正部４０２は、簡易傷画素検出処理の第１検出処理で検出された傷画素が、簡易傷検出・補正部４０２での補正の対象となる対象傷画素であるか対象外傷画素であるかを決定する。

対象傷画素は、第１検出処理で検出された傷画素のうち、この傷画素に対応するリアルタイム傷画素検出処理で検出された傷画素の補正方向が水平方向の傷画素である。対象傷画素の画素値が、簡易補正処理での補正の対象となる。

対象外傷画素は、第１検出処理で検出された傷画素のうち、対象傷画素以外の傷画素であり、傷画素の補正方向が水平方向以外の方向の傷画素である。対象傷画素の画素値は、後に説明する事後補正処理での補正の対象となる。

この点をまとめたものを図１０に示す。図１０は、補正方法の切り替えを説明する図である。図１０に示すように、補正方向が水平方向のとき、簡易補正処理で補正される。また、補正方向が水平方向以外、すなわち、補正方向が斜め方向、又は、垂直方向のとき、事後補正処理で補正される。

第３に、簡易傷検出・補正部４０２は、対象傷画素について簡易補正を行う。

簡易補正は、第１検出処理で検出された傷画素のＡ画素値を、この傷画素について第１検出処理で取得された中央値Ｍｄに置き換える補正である。補正後の傷画素のＡ画素値をＰｉｘＣｏｒｒｅｃｔとすると、簡易補正は次の式１０で表すことができる。
ＰｉｘＣｏｒｒｅｃｔ＝Ｍｄ・・・（１０）

簡易補正として、第１検出処理で検出された傷画素のＡ画素値を、この傷画素の水平方向に隣接する２つの単位画素３０１のＡ画素値の平均値に置き換える補正としてもよい。この簡易補正は、図９の例では、次の式１１で表すことができる。
ＰｉｘＣｏｒｒｅｃｔ＝（（Ｒ２のＡ画素値）＋（Ｒ４のＡ画素値））／２・・・（１１）
ただし、図９のＲ３が第１検出処理で検出された傷画素であるものとする。

このように、簡易補正は非常にシンプルであるため、簡易傷検出・補正部４０２の回路規模が少なくコストメリットがあるが、補正能力としては最低限度のものとなっている。このため、本実施形態では、後に説明するように、事後補正処理を行うことで、Ａ像、Ｂ像の補正の精度の向上を図っている。

第４に、簡易傷検出・補正部４０２は、対象外傷画素の情報をシステム制御部２５０の補正部４１２に通知する。

より具体的には、簡易傷検出・補正部４０２は、メモリ２３２にある所定のＡ画素用フラグをオンにして、第１検出処理で検出された傷画素の補正方向に水平方向以外のものがあることを補正部４１２に通知する。なお、Ａ画素用フラグは簡易補正処理の前に初期値であるオフにされているものとする。

さらに、簡易傷検出・補正部４０２は、対象外傷画素のＡ画素値を、補正方向に応じた値に変換する。本実施形態では、補正方向が垂直方向のとき「０」、補正方向が第１斜め方向のとき「１」、補正方向が第２斜め方向のとき「２」にする。

以上が、第１補正処理である。

簡易傷検出・補正部４０２は、第１検出処理で検出された傷画素の全てについて、第１補正処理を行う。

簡易傷検出・補正部４０２は、第１検出処理によって傷画素と判定されなかった単位画素３０１のＡ画素値を、「０」、「１」、「２」以外の値にする。例えば、Ａ画素値が１４ｂｉｔで表されるとすると、Ａ画素値は、「０」から「１６３８３」の値をとることができる。このうち、「０」、「１」、「２」は、上記の通り、傷画素の補正方向を表すため、簡易傷検出・補正部４０２は、第１検出処理によって傷画素と判定されなかった単位画素３０１のＡ画素値を「３」から「１６３８３」の値になるようにする。

次に、Ｂ画素値に基づいて傷画素の画素値を補正する第２補正処理について説明する。第２補正処理では、第２検出処理で傷があると判定されたＢ画素３０３の画素値が補正される。

第２補正処理は、上記の第１補正処理と同様の処理である。ただし、第２補正処理では、Ａ画素値の代わりにＢ画素値を用い、第１検出処理で検出された傷画素の代わりに、第２検出処理で検出された傷画素を用いる。また、所定のＡ画素用フラグの代わりに、所定のＢ画素用フラグを用いる。

簡易傷検出・補正部４０２は、第２検出処理で検出された傷画素の全てについて、第２補正処理を行う。

簡易傷検出・補正部４０２は、第２検出処理によって傷画素と判定されなかった単位画素３０１のＢ画素値を、「０」、「１」、「２」以外の値にする。例えば、Ｂ画素値が１４ｂｉｔで表されるとすると、Ｂ画素値は、「０」から「１６３８３」の値をとることができる。このうち、「０」、「１」、「２」は、上記の通り、傷画素の補正方向を表すため、簡易傷検出・補正部４０２は、第２検出処理によって傷画素と判定されなかった単位画素３０１のＢ画素値を「３」から「１６３８３」の値になるようにする。

簡易傷検出・補正部４０２は、例えばメモリ２３２を用いて、補正された画素値をシステム制御部２５０の補正部４１２に送る。ここで送られる画素値の「０」、「１」、「２」は傷画素の補正方向を表す。簡易傷検出・補正部４０２が補正部４１２に送る画素値によって、補正されたＡ像、及び、Ｂ像が構成される。

［事後補正処理］
次に、事後補正処理について説明する。事後補正処理は、簡易補正処理によって補正されたＡ画素値、及び、Ｂ画素値に基づくＡ像、及び、Ｂ像を、システム制御部２５０の補正部４１２が更に補正する処理であり、第２補正手段による処理の例である。

まず、簡易補正処理によって補正されたＡ画素値に基づくＡ像を補正部４１２が更に補正する第１事後補正処理について説明する。

第１に、補正部４１２は、簡易傷検出・補正部４０２から送られるＡ画素値をメモリ２３２に書き込む。

第２に、補正部４１２は、メモリ２３２の所定のＡ画素用フラグがオンであるか否かを判定する。この所定のＡ画素用フラグは、簡易補正処理で設定されるものであり、オンのとき、傷画素の補正方向に水平方向以外のものがあることを表す。補正部４１２は、所定のＡ画素用フラグがオンではないとき、Ａ像の補正を行わずに、第１事後補正処理を終了する。

第３に、補正部４１２は、所定のＡ画素用フラグがオンのとき、「０」、「１」、「２」のいずれかであるＡ画素値のそれぞれについて、図６を参照して説明したリアルタイム補正処理と同様の処理を行って補正する。より具体的に説明すると次のようになる。

「０」、「１」、「２」のいずれかであるＡ画素値を、処理の対象となる対象画素の画素値とする。補正部４１２は、対象画素を基準して対象画素を挟んで補正方向に並ぶ２つの同色の単位画素３０１のＡ画素値の平均値を、傷画素の画素値とする。なお、上記の通り、「０」は補正方向が垂直方向であること、「１」は補正方向が第１斜め方向であること、「２」は補正方向が第２斜め方向であることを表す。

以上が、第１事後補正処理である。

次に、簡易補正処理によって補正されたＢ画素値に基づくＢ像を補正部４１２が更に補正する第２事後補正処理について説明する。

第２事後補正処理は、上記の第１事後補正処理と同様の処理である。ただし、第２事後補正処理では、Ａ画素値の代わりにＢ画素値を用い、所定のＡ画素用フラグの代わりに、所定のＢ画素用フラグを用いる。

［デフォーカス量決定処理］
次に、図１１を参照して、デフォーカス量決定処理について説明する。デフォーカス量決定処理は、撮影レンズ２０３のデフォーカス量を決定する処理である。図１１は、Ａ像の画素値と、Ｂ像の画素値とを示すグラフを示す図である。図１１の横軸は画素の並び方向を表し、図１１の縦軸は画素値を表す。図１１のＡ信号１１００は、事後補正処理が行われたＡ像を表す。Ｂ信号１１０１は、事後補正処理が行われたＢ像を表す。

図１１の例では、撮影レンズ２０３が撮像素子３００に対してデフォーカスした状態であるため、Ａ信号１１００は左側に、Ｂ信号１１０１は右側にずれた状態となっている。システム制御部２５０のデフォーカス量決定部４１４は、Ａ信号１１００とＢ信号１１０１とのずれ量を、周知の相関演算等によって算出することにより、撮影レンズ２０３のデフォーカス量を決定する。

［レンズ駆動処理］
次に、レンズ駆動処理について説明する。レンズ駆動処理は、撮影レンズ２０３を駆動させて撮影レンズ２０３の焦点合わせを行う処理である。

システム制御部２５０のレンズ制御部４１５は、デフォーカス量決定処理で決定されたデフォーカス量から、フォーカスレンズ駆動量を算出して決定する。そして、レンズ制御部４１５は、撮影レンズ２０３に含まれるフォーカスレンズの位置が、フォーカスレンズ駆動量に対応するフォーカスレンズの位置になるように、フォーカスレンズを移動させる制御を行う。これにより、撮影レンズ２０３の焦点合わせが行われる。

［効果］
以上説明した通り、簡易傷検出・補正部４０２は、リアルタイム傷検出・補正部４０１が生成した傷画素の情報に基づく傷検出閾値に基づいて、傷画素を検出して補正する。そして、簡易傷検出・補正部４０２、及び、リアルタイム傷検出・補正部４０１は、独立した回路で構成できる。よって、表示又は記録用の画像の補正と、オートフォーカス用の画像の補正を並行して行うことができるため、デジタルカメラ１００全体としての処理の高速性を確保できる。また、オートフォーカス用の画像の補正は、リアルタイム傷検出・補正部４０１が生成した傷画素の情報に基づく傷検出閾値に基づいて行われる。したがって、簡易傷検出・補正部４０２は、傷画素を高精度に検出できるため、オートフォーカス用の画像の補正の精度が高くなる。

より具体的には、リアルタイム傷検出・補正部４０１は、対象画素の画素値と、平均値ＰｉｘＡｖｅとに基づく傷レベルである差分ＰｉｘＤｉｆｆに基づいて、対象画素が傷画素か否かを判定する。差分ＰｉｘＤｉｆｆは、対象画素を基準にして複数の方向にある単位画素３０１の画素値に基づく値である。したがって、リアルタイム傷検出・補正部４０１は高精度に傷画素を検出できる。

また、簡易傷検出・補正部４０２は、対象画素のＡ画素値又はＢ画素値と、中央値Ｍｄと、傷検出閾値とに基づいて、対象画素が傷画素か否かを判定する。中央値Ｍｄは、水平方向の画素列に含まれるＡ画素値、又は、Ｂ画素値である。また、傷検出閾値は、リアルタイム傷検出・補正部４０１による高精度の傷画素検出の結果に基づいて決定される。

したがって、簡易傷検出・補正部４０２は、傷画素を高精度に検出できるため、オートフォーカス用の画像の補正の精度が高くなる。

また、簡易傷検出・補正部４０２では、補正方向が水平方向の場合にのみ適切な補正が行えるが、補正方向が垂直方向、第１斜め方向、又は、第２斜め方向の場合ように、複数のラインの画素値が必要なる場合は、この補正方向での補正は行えない。

しかし、簡易傷検出・補正部４０２は、検出した傷画素の補正方向が水平方向以外のとき、傷画素の補正を行なわず、システム制御部２５０の補正部４１２が、補正方向に基づいて補正を行う。この補正方向は、リアルタイム傷検出・補正部４０１が生成する傷情報に含まれる。

よって、簡易傷検出・補正部４０２では精度が高い補正が行えない傷画素の画素値を、補正部４１２が高精度に補正できる。したがって、Ａ像、及び、Ｂ像の精度が上がり、正確なデフォーカス量の決定が可能となる。

（第２の実施形態）
つぎに、本発明の第２の実施形態について説明する。第１の実施形態と同一の構成に関しては同一の番号を付してあり、その詳細の説明は省略する。

［画像処理部、及び、システム制御部の構成］
第２の実施形態に係る画像処理部２２４、及び、システム制御部２５０の構成に関して、図１２を参照して説明する。第１の実施形態と異なる点は画像処理部２２４が傷情報メモリ４２０を備える点にある。第１の実施形態と同様に像分離部４００は、システム制御部２５０の制御に基づいて、撮像部２２２を構成する撮像素子３００から信号を読出し、Ａ像、Ｂ像、及び、加算画像の画素値を出力する。像分離部４００により、単位画素３０１の出力信号が、Ａ像の画素値とＢ像の画素値とに分離される。

リアルタイム傷検出・補正部４０１は、加算画像の画素値に基づいて傷画素を検出して、加算画像を補正する。傷画素は、異常出力する単位画素３０１である。リアルタイム傷検出・補正部４０１は、検出した傷画素に関する情報である傷情報を傷情報メモリ４２０や簡易傷検出・補正部４０２やシステム制御部２５０に出力する。傷情報メモリ４２０では加算画像中の傷情報として座標や傷レベルや補正パターンを各信号に対応して記憶しておく。傷情報メモリはキズ情報を複数フレーム分保持できるようにすることが好ましい。これによって、複数フレームの傷情報から測距用画像への補正判断を行ったり、過去のフレームの傷情報から測距用画像への補正判断を行ったりすることが可能となる。また、キズ情報を測距用画像のデータを関連付けて記憶することで、撮影後の後処理で傷の補正を行うことも可能である。また、複数フレームに渡って傷と判断された画素は、その後も記憶し続けることもできる。なお、本線系の加算画像と測距用画像であるＡ像・Ｂ像画像は、傷座標が異なる場合がある。これに対応するために、リアルタイム傷検出・補正部４０１からキズ情報メモリ４２０に書き込む際、又はキズ情報メモリ４２０上で、システム制御部２５０の制御に基づいて座標変換を行うことで対応可能である。

簡易傷検出・補正部４０２は、Ａ像の画素値に基づいて傷画素を検出して、Ａ像を補正する。また、簡易傷検出・補正部４０２は、Ｂ像の画素値に基づいて傷画素を検出して、Ｂ像を補正する。デジタルカメラ１００では、リアルタイム傷検出・補正部４０１を構成する回路と簡易傷検出・補正部４０２を構成する回路とは独立している。

（第３の実施形態）
つぎに、本発明の第３の実施形態について説明する。第１の実施形態及び第２の実施形態と同一の構成に関しては同一の番号を付してあり、その詳細の説明は省略する。

［画像処理部、及び、システム制御部の構成］
第３の実施形態に係る画像処理部２２４、及び、システム制御部２５０の構成に関して、図１３を参照して説明する。第１の実施形態と異なる点は、第２の実施形態と同様に画像処理部２２４が傷情報メモリ４２０を備える点にある。また、第２の実施形態と異なる点は、画像処理部２２４が像分離部４００を備えていない点にある。そして、撮像部２２が２系統の画像出力を持ち、１つが表示・記録用である本線系画像（加算画像）、もう一方は測距用である測距用画像を同時に出力できる構成となっている点である。

撮像部２２が２系統の画像出力を持つ場合においても、同様にシステム制御部２５０の制御に基づいて、撮像部２２を構成する撮像素子３００から信号を読出し、Ａ像、Ｂ像、及び、加算画像の画素値を出力する。

リアルタイム傷検出・補正部４０１は、加算画像の画素値に基づいて傷画素を検出して、加算画像を補正する。傷画素は、異常出力する単位画素３０１である。リアルタイム傷検出・補正部４０１は、検出した傷画素に関する情報である傷情報を傷情報メモリ４２０や簡易傷検出・補正部４０２やシステム制御部２５０に出力する。メモリ４２０では加算画像中の傷情報として座標や傷レベルや補正パターンを記憶しておく。第２の実施形態と同様に傷情報メモリ４２０は傷情報を複数フレーム分保持できる。

簡易傷検出・補正部４０２は、Ａ像の画素値に基づいて傷画素を検出して、Ａ像を補正する。また、簡易傷検出・補正部４０２は、Ｂ像の画素値に基づいて傷画素を検出して、Ｂ像を補正する。デジタルカメラ１００では、リアルタイム傷検出・補正部４０１を構成する回路と簡易傷検出・補正部４０２を構成する回路とは独立している。

なお、第３の実施形態における２系統の画像出力を持つ撮像部２２の構成としては複数の場合がある。一例としては、撮像部２２に含まれる撮像素子３００が入射光を光電変換して電気信号を出力する光電変換部を備える画素部に対して、当該電気信号を処理する回路部を積層構造で構成された積層型撮像素子の場合である。積層型撮像素子を用いることで、撮像面内の複数の領域から独立して信号を出力することが可能である。また他の例としては、撮像部２２に複数の撮像素子を含む場合である。この場合には複数の撮像素子からの信号を加算した信号を本線系としてもよいし、どちらか一方の撮像素子をマスタとして、マスタからの出力を本線系としてもよい。そして、マスタ以外の撮像素子をスレーブとして測距用である測距用画像としてもよい。

なお、第１の実施形態乃至第３の実施形態において、画像処理部２２４が本線系の他に測距用の処理系統を持つ例を示したが、２系統に限られるものではなく３系統以上を有する構成であってもよい。この場合には一つのリアルタイム傷検出・補正部４０１から取得する傷情報を他の系統でも利用することが可能となりさらに効果を得ることができる。また、本線系の他に設けた系統を測距用の系統としたが、ほかにも測光用であったり、被写体検出用であったりと他の用途に用いる構成としてもよい。この場合であっても本線系で取得した傷情報を用いることによって同様の効果を得ることができる。

［その他の実施形態］
上記の実施形態では、図４に示すように、リアルタイム傷検出・補正部４０１はメモリ２３２を使って、リアルタイム補正処理を行う。しかし、リアルタイム傷検出・補正部４０１は、メモリ２３２の代わりに、独自に参照用ＲＡＭを備えていてもよい。リアルタイム傷画素検出処理、及び、リアルタイム補正処理を高速に行うために、参照用ＲＡＭをＳＲＡＭで実現してもよい。

この場合であっても、簡易傷検出・補正部４０２は参照用ＲＡＭのようなコストがかかる回路を搭載することなく傷画素を高精度に検出できるため、オートフォーカス用の画像の補正の精度が高くなる。

本発明は、上記の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００ デジタルカメラ
２５０ システム制御部
４０１ リアルタイム傷検出・補正部
４０２ 簡易傷検出・補正部

Claims (17)

1. 複数の単位画素を備える撮像素子と、
   前記撮像素子の出力信号に基づいて、第１方法で生成された第１画像の画素値を取得する第１取得手段と、
   前記撮像素子の出力信号に基づいて、前記第１方法とは異なる第２方法で生成されたオートフォーカス用の第２画像の画素値を取得する第２取得手段と、
   前記第１画像の画素値に基づいて、前記単位画素のうち異常出力する傷画素を検出する第１検出手段と、
   前記第１検出手段によって検出された傷画素の情報、及び、前記第２画像の画素値に基づいて、傷画素を検出する第２検出手段と、
   前記第２検出手段によって検出された傷画素に対応する前記第２画像の画素値を補正することで、前記第２画像を補正する補正手段と、を備えることを特徴とする撮像装置。
2. 前記第２検出手段は、傷画素の判定対象となる前記単位画素のそれぞれについて、判定対象の前記単位画素に対応する前記第２画像の画素値と、判定対象の前記単位画素を含む所定方向の画素列に含まれる前記単位画素に対応する前記第２画像の画素値に基づく第１基準値と、前記第１検出手段によって検出された傷画素の情報に基づく閾値と、に基づいて、判定対象の前記単位画素が傷画素であるか否かを判定して、傷画素を検出することを特徴とする請求項１に記載の撮像装置。
3. 前記第１検出手段は、傷画素の判定対象となる前記単位画素のそれぞれについて、判定対象の前記単位画素に対応する前記第１画像の画素値と、判定対象の前記単位画素を基準にして複数の方向にある前記単位画素に対応する前記第１画像の画素値に基づく第２基準値との相違を表す傷レベルに基づいて、判定対象の前記単位画素が傷画素であるか否かを判定して、傷画素を検出し、
   前記傷レベルに基づいて前記閾値を決定する閾値決定手段を更に備えることを特徴とする請求項２に記載の撮像装置。
4. 前記閾値決定手段は、前記傷レベルが高いほど、前記閾値を低い値に決定することを特徴とする請求項３に記載の撮像装置。
5. 前記補正手段は、前記第２検出手段によって検出された傷画素を含む画素列であって前記所定方向に並ぶ画素列に含まれる前記単位画素に対応する前記第２画像の画素値に基づいて、前記第２検出手段によって検出された傷画素に対応する前記第２画像の画素値を補正することを特徴とする請求項２乃至４のいずれか１項に記載の撮像装置。
6. 前記第１検出手段によって検出された傷画素のそれぞれについて、前記傷画素を含む前記単位画素の画素列の方向である補正方向を決定する方向決定手段を更に備え、
   前記補正手段は、前記第２検出手段によって検出された傷画素が、前記第２検出手段によって検出された傷画素に対応する前記第１検出手段によって検出された傷画素について前記方向決定手段によって決定された前記補正方向が前記所定方向であると同じである対象傷画素のとき、前記対象傷画素を含む前記所定方向の画素列に含まれる前記単位画素に対応する前記第２画像の画素値に基づいて、前記対象傷画素に対応する前記第２画像の画素値を補正することを特徴とする請求項２乃至５のいずれか１項に記載の撮像装置。
7. 前記第２検出手段によって検出された傷画素のうち前記対象傷画素を除いた傷画素である対象外傷画素について、前記対象外傷画素を含んで前記補正方向に並ぶ画素列に含まれる前記単位画素に対応する画素値であって前記補正手段によって補正された前記第２画像の画素値に基づいて、前記補正手段によって補正された前記第２画像の前記対象外傷画素に対応する画素値を補正することで、前記補正手段によって補正された前記第２画像を更に補正する第２補正手段と、を更に備えることを特徴とする請求項６に記載の撮像装置。
8. 前記方向決定手段は、前記傷画素に対して第１方向に並ぶ前記単位画素に対応する前記第１画像の画素値の変化量が、前記傷画素に対して、予め定められた方向のうち、前記第１方向以外のそれぞれの方向に並ぶ前記単位画素に対応する前記第１画像の画素値の変化量のいずれよりも小さいとき、前記第１方向を前記補正方向と決定することを特徴とする請求項７に記載の撮像装置。
9. 前記補正手段は、前記方向決定手段の決定に基づいて、前記対象外傷画素の座標、及び、前記補正方向の情報を、前記第２補正手段に通知することを特徴とする請求項７又は８に記載の撮像装置。
10. 前記補正手段は、前記対象外傷画素に対応する前記第２画像の画素値に前記補正方向の情報を格納することで、前記対象外傷画素の座標、及び、前記補正方向の情報を、前記第２補正手段に通知することを特徴とする請求項９に記載の撮像装置。
11. 前記第２補正手段によって更に補正された前記第２画像に基づいてデフォーカス量を決定するデフォーカス量決定手段を更に備えることを特徴とする請求項７乃至１０のいずれか１項に記載の撮像装置。
12. 前記第１検出手段によって検出された傷画素を基準にして前記補正方向にある前記単位画素に対応する前記第１画像の画素値に基づいて、前記第１検出手段によって検出された傷画素に対応する前記第１画像の画素値を補正することで、前記第１画像を補正する第３補正手段と、
    前記第３補正手段によって補正された前記第１画像を表示する制御、又は、記録する制御を行う制御手段と、を更に備えることを特徴とする請求項７乃至１１のいずれか１項に記載の撮像装置。
13. 前記単位画素は、第１光電変換部と第２光電変換部とにより構成され、
    前記第１方法は、前記第１光電変換部の出力信号の値と前記第２光電変換部の出力信号の値とを加算した値に基づく値を画素値とする前記第１画像の生成方法であり、
    前記第２画像は、Ａ像とＢ像とからなり、
    前記第２方法は、前記第１光電変換部の出力信号の値に基づく値を画素値とする前記Ａ像の生成方法と、前記第２光電変換部の出力信号の値に基づく値を画素値とする前記Ｂ像の生成方法と、を含むことを特徴とする請求項１乃至１２のいずれか１項に記載の撮像装置。
14. 前記第２検出手段は、
    前記第１検出手段によって検出された傷画素の情報、及び、前記Ａ像の画素値に基づいて、傷画素を検出し、
    更に、前記第１検出手段によって検出された傷画素の情報、及び、前記Ｂ像の画素値に基づいて、傷画素を検出し、
    前記補正手段は、
    前記第２検出手段によって前記Ａ像に基づいて検出された傷画素に対応する前記Ａ像の画素値を補正することで、前記Ａ像を補正し、
    更に、前記第２検出手段によって前記Ｂ像に基づいて検出された傷画素に対応する前記Ｂ像の画素値を補正することで、前記Ｂ像を補正することを特徴とする請求項１３に記載の撮像装置。
15. 前記第１検出手段を構成する回路と、前記第２検出手段、及び、前記補正手段を構成する回路とは独立していることを特徴とする請求項１乃至１４のいずれか１項に記載の撮像装置。
16. 複数の単位画素を備える撮像素子を有する撮像装置の制御方法であって、
    前記撮像素子の出力信号に基づいて、第１方法で生成された第１画像の画素値を取得する第１取得ステップと、
    前記撮像素子の出力信号に基づいて、前記第１方法とは異なる第２方法で生成されたオートフォーカス用の第２画像の画素値を取得する第２取得ステップと、
    前記第１画像の画素値に基づいて、異常出力する前記単位画素である傷画素を検出する第１検出ステップと、
    前記第１検出ステップによって検出された傷画素の情報、及び、前記第２画像の画素値に基づいて、傷画素を検出する第２検出ステップと、
    前記第２検出ステップによって検出された傷画素に対応する前記第２画像の画素値を補正することで、前記第２画像を補正する補正ステップと、を備えることを特徴とする撮像装置の制御方法。
17. 複数の単位画素を備える撮像素子を有する撮像装置を制御するためのプログラムであって、
    前記撮像素子の出力信号に基づいて、第１方法で生成された第１画像の画素値を取得する第１取得ステップと、
    前記撮像素子の出力信号に基づいて、前記第１方法とは異なる第２方法で生成されたオートフォーカス用の第２画像の画素値を取得する第２取得ステップと、
    前記第１画像の画素値に基づいて、異常出力する前記単位画素である傷画素を検出する第１検出ステップと、
    前記第１検出ステップによって検出された傷画素の情報、及び、前記第２画像の画素値に基づいて、傷画素を検出する第２検出ステップと、
    前記第２検出ステップによって検出された傷画素に対応する前記第２画像の画素値を補正することで、前記第２画像を補正する補正ステップと、コンピュータに実行させるためのプログラム。

Images