JP2019047144A - 撮像装置、撮像装置の制御方法、及び、プログラム - Google Patents
撮像装置、撮像装置の制御方法、及び、プログラム Download PDFInfo
- Publication number
- JP2019047144A JP2019047144A JP2017164420A JP2017164420A JP2019047144A JP 2019047144 A JP2019047144 A JP 2019047144A JP 2017164420 A JP2017164420 A JP 2017164420A JP 2017164420 A JP2017164420 A JP 2017164420A JP 2019047144 A JP2019047144 A JP 2019047144A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- image
- unit
- correction
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
【課題】 本発明は、処理の高速性を確保しつつ、精度の高い補正を行うことを目的とする。【解決手段】 本発明の撮像装置100は、複数の単位画素301を備える撮像素子300と、撮像素子300の出力信号に基づいて、第1方法で生成された第1画像の画素値を取得する第1取得手段400と、撮像素子の出力信号に基づいて、第1方法とは異なる第2方法で生成されたオートフォーカス用の第2画像の画素値を取得する第2取得手段400と、第1画像の画素値に基づいて、傷画素を検出する第1検出手段401と、第1検出手段401によって検出された傷画素の情報、及び、第2画像の画素値に基づいて、傷画素を検出する第2検出手段402と、第2検出手段402によって検出された傷画素に対応する第2画像の画素値を補正することで、第2画像を補正する補正手段402と、を備えることを特徴とする。【選択図】 図4
Description
本発明は、撮像装置、撮像装置の制御方法、及び、プログラムに関する。
近年、家庭用ビデオカメラやデジタルスチルカメラ等の撮像機器が一般に普及している。これらのカメラには、レンズのピント位置を自動で合わせるAF(オートフォーカス)機能も搭載されており、ユーザは自らピントを調節することなく、カメラ任せで撮影可能であり、ユーザにとって有益な機能となっている。
撮像素子を使用したAF機構は、構造上、コントラストAF方式、及び、像面位相差AF方式の2種類に大きく分けられる。コントラストAF方式では、通常、撮像画素からの出力をフィルタ処理して、フォーカスレンズを駆動しながら、フィルタ出力が最大となるところを探して、ピント位置を求める。この方式はシンプルに構成されるが、時間を要するという課題があった。撮像面位相差AF方式では、撮像素子内に測距用に画素を分割し、測距用分割画素の出力位相差からデフォーカス量を求めてピント位置を求めている。この方式はデフォーカス量が1フレームの画像から求まるので、時間が非常に短いというメリットがある。
一方で撮像素子には異常出力のある傷画素が含まれており、撮像面位相差AFの測距性能に影響を及ぼしているため、傷の補正が必要となる。
傷画素の補正に関連する技術として、特許文献1には、次のような撮像装置が記載されている。特許文献1の撮像装置は、撮像素子と、撮像素子の焦点検出画素及び欠陥画素に関する情報を圧縮した状態で記憶する記憶手段と、圧縮された焦点検出画素、及び、欠陥画素に関する情報を復号する復号手段とを備える。特許文献1の撮像装置は、更に、復号手段により復号された情報に基づいて、画素信号のうち焦点検出画素から得られた焦点検出信号を分離する信号分離手段と、信号補間手段とを備える。信号補間手段は、復号手段により復号された情報に基づいて、欠陥画素に対応する画素信号を補間する。
ここで、オートフォーカスを行うための傷画素の画素値の補正を行う回路と、記録や表示のために行う傷画素の画素値の補正を行う回路とを異ならせることで、処理の高速性を確保することが考えられる。
しかしながら、処理の高速性を確保するために、オートフォーカスを行うための傷画素の画素値の補正を簡易な処理にすると、精度の高い補正を行えず、正確なオートフォーカスが行えないおそれがある。
本発明は、処理の高速性を確保しつつ、精度の高い補正を行うことを目的とする。
本発明の撮像装置は、複数の単位画素を備える撮像素子と、前記撮像素子の出力信号に基づいて、第1方法で生成された第1画像の画素値を取得する第1取得手段と、前記撮像素子の出力信号に基づいて、前記第1方法とは異なる第2方法で生成されたオートフォーカス用の第2画像の画素値を取得する第2取得手段と、前記第1画像の画素値に基づいて、異常出力する前記単位画素である傷画素を検出する第1検出手段と、前記第1検出手段によって検出された傷画素の情報、及び、前記第2画像の画素値に基づいて、傷画素を検出する第2検出手段と、前記第2検出手段によって検出された傷画素に対応する前記第2画像の画素値を補正することで、前記第2画像を補正する補正手段と、を備えることを特徴とする。
本発明によれば、処理の高速性を確保しつつ、精度の高い補正を行うことができる。
以下、図面を参照して本発明の好適な実施形態を説明する。
(第1の実施形態)
まず、図1を参照して、撮像装置の一例であるデジタルカメラ100のハードウェア構成について説明する。図1は、デジタルカメラ100の外観図である。
まず、図1を参照して、撮像装置の一例であるデジタルカメラ100のハードウェア構成について説明する。図1は、デジタルカメラ100の外観図である。
表示部101は、画像や各種情報を表示する表示部である。
操作部110は、ユーザからの各種操作を受け付ける各種スイッチ、ボタン、タッチパネル等の操作部材より構成される。操作部110には、シャッターボタン111、モード切替スイッチ114、電源スイッチ112、及び、コントローラホイール113が含まれる。
シャッターボタン111は、撮影指示を行うための操作部である。
電源スイッチ112は、デジタルカメラ100の電源オン、電源オフを切り替える操作に使われるスイッチである。
コントローラホイール113は、操作部110に含まれる回転操作可能な操作部材である。
モード切替スイッチ114は、各種モードを切り替えるためのスイッチである。
記録媒体120は、メモリカードやハードディスク等の記録媒体であり、撮影された画像等を記録する。
記録媒体スロット121は、記録媒体120を格納するためのスロットである。記録媒体スロット121に格納された記録媒体120は、デジタルカメラ100との通信が可能となる。
蓋122は、記録媒体スロット121の蓋である。
コネクタ130は、接続ケーブル131とデジタルカメラ100とのコネクタである。
次に、図2を参照して、デジタルカメラ100のハードウェア構成について説明する。図2は、デジタルカメラ100のハードウェア構成のブロック図である。
撮影レンズ203は、ズームレンズ、フォーカスレンズを含むレンズ群である。
シャッター201は、絞り機能を備えるシャッターである。
撮像部222は、光学像を電気信号に変換するCCDやCMOS素子等で構成される撮像素子、及び、A/D変換を行うA/D変換部を備えている。
バリア202は、デジタルカメラ100の撮影レンズ203を含む撮像系を覆うことにより、撮影レンズ203、シャッター201、撮像部222を含む撮像系の汚れや破損を防止する。
画像処理部224は、撮像部222から出力されるデータ、又は、メモリ制御部215からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部224は、撮像した画像データを用いて所定の演算処理を行う。画像処理部224による演算結果に基づいてシステム制御部250は露光制御、測距制御を行う。これにより、TTL(スルー・ザ・レンズ)方式のAE(自動露出)処理、EF(フラッシュ自動調光発光)処理が行われる。画像処理部224は、更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてTTL方式のAWB(オートホワイトバランス)処理を行う。
撮像部222の出力データは、画像処理部224、及び、メモリ制御部215を介して、又は、メモリ制御部215を介して、メモリ232に書き込まれる。
メモリ232は、システムメモリであり、RAMが用いられる。メモリ232には、システム制御部250の動作用の定数、変数、及び、不揮発性メモリ256から読み出したプログラム等が展開される。また、メモリ232は、撮像部222によって取得及びA/D変換された画像データや、表示部101に表示するための画像データを格納する。
また、メモリ232は、所定枚数の静止画像や所定時間の動画像及び音声を格納するのに十分な記憶容量を備えている。また、メモリ232は画像表示用のメモリ(ビデオメモリ)を兼ねている。
D/A変換器213は、メモリ232に格納されている画像表示用のデータをアナログ信号に変換して表示部101に供給する。こうして、メモリ232に書き込まれた表示用の画像データは、D/A変換器213を介して、表示部101により表示される。
表示部101は、LCD等の表示器上に、D/A変換器213からのアナログ信号に応じた表示を行う。撮像部222で一度A/D変換されメモリ232に蓄積されたデジタル信号をD/A変換器213がアナログ変換して、表示部101に逐次転送して表示部101が表示することで、電子ビューファインダが実現されて、スルー画像表示を行える。
システム制御部250は、デジタルカメラ100全体を制御する。システム制御部250がメモリ232に記録されたプログラムを実行することで、後述するデジタルカメラ100の各機能が実現される。また、システム制御部250は、メモリ232、D/A変換器213、表示部101等を制御することにより表示制御を行う。
不揮発性メモリ256は、電気的に消去・記録可能なメモリであり、例えばフラッシュメモリ等が用いられる。不揮発性メモリ256には、システム制御部250の動作用の定数、及び、プログラム等が記憶される。ここでいうプログラムは、本実施形態にて後述する各種フローチャートを実行するためのプログラムや各種機能を実現するためのプログラムを含む。
システムタイマ253は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。
モード切替スイッチ114、第1シャッタースイッチ262、第2シャッタースイッチ264、操作部110はシステム制御部250に各種の動作指示を入力するための操作手段である。
モード切替スイッチ114は、システム制御部250の動作モードを静止画記録モード、動画記録モード、及び、再生モード等のいずれかに切り替える。静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムAEモード、カスタムモード等がある。モード切替スイッチ114によって、静止画撮影モードに含まれるこれらのモードのいずれかに直接切り替えられる。モード切替スイッチ114で静止画撮影モードに一旦切り換えた後に、静止画撮影モードに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。
第1シャッタースイッチ262は、デジタルカメラ100に設けられたシャッターボタン111の操作途中、いわゆる半押し(撮影準備指示)でONとなり第1シャッタースイッチ信号SW1を発生する。第1シャッタースイッチ信号SW1により、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、EF(フラッシュ自動調光発光)処理等の動作が開始する。
第2シャッタースイッチ264は、シャッターボタン111の操作完了、いわゆる全押し(撮影指示)でONとなり、第2シャッタースイッチ信号SW2を発生する。システム制御部250は、第2シャッタースイッチ信号SW2により、撮像部222からの信号読み出しから記録媒体120に画像データを書き込むまでの一連の撮影処理の動作を開始する。
操作部110の各操作部材は、表示部101に表示される種々の機能アイコンがユーザによって選択操作される等により、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部101に表示される。ユーザは、表示部101に表示されたメニュー画面と、上下左右の4方向ボタンやSETボタンとを用いて直感的に各種設定を行うことができる。
AF補助光271は、システム制御部250の制御に基づいて低輝度時に発光して被写体を照明する。
コントローラホイール113は、操作部110に含まれる回転操作可能な操作部材であり、方向ボタンと共に選択項目を指示する際等に使用される。コントローラホイール113を回転操作すると、操作量に応じて電気的なパルス信号が発生し、このパルス信号に基づいてシステム制御部250はデジタルカメラ100の各部を制御する。このパルス信号によって、システム制御部250は、コントローラホイール113が回転操作された角度や、何回転したか等を判定することができる。なお、コントローラホイール113は回転操作が検出できる操作部材であればどのようなものでもよい。例えば、ユーザの回転操作に応じてコントローラホイール113自体が回転してパルス信号を発生するダイヤル操作部材であってもよい。また、タッチセンサよりなる操作部材で、コントローラホイール113自体は回転せず、コントローラホイール113上でのユーザの指の回転動作等を検出するものであってもよい(いわゆる、タッチホイール)。
電源制御部280は、電池検出回路、DC−DCコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部280は、その検出結果及びシステム制御部250の指示に基づいてDC−DCコンバータを制御し、必要な電圧を必要な期間、記録媒体120を含む各部へ供給する。
電源部240は、アルカリ電池やリチウム電池等の一次電池やNiCd電池やNiMH電池、Li電池等の二次電池、ACアダプター等からなる。
記録媒体I/F218は、メモリカードやハードディスク等の記録媒体120とのインターフェースである。
ストロボ290は、発光装置であり、撮影の際にシステム制御部250によって選択的に発光制御されて、例えば、低照度の撮影シーン又は逆光シーンにおいて不足する照度を補って、被写体を照明する。
[撮像素子の構成]
次に、図3を参照して撮像部222を構成する撮像素子300について説明する。図3は、撮像素子300の構成図である。
次に、図3を参照して撮像部222を構成する撮像素子300について説明する。図3は、撮像素子300の構成図である。
撮像素子300は、複数の単位画素301を備える。それぞれの単位画素301は、瞳分割されており、第1光電変換部であるA画素302と、第2光電変換部であるB画素303と、FD部とを備える。A画素302、及び、B画素303は、受光素子であり、光の強弱を検出できる。A画素302、及び、B画素303には、フォトダイオードが使われる。FD部は、A画素302が出力する信号となる電荷、及び、B画素303が出力する信号となる電荷を電荷加算により加算できる。
A画素302が出力する信号に基づく画像をA像と呼び、B画素303が出力する信号に基づく画像をB像と呼ぶ。A像、及び、B像はオートフォーカス用の画像である。システム制御部250は、後に説明するように、A像、及び、B像に基づいてデフォーカス量を算出して撮影レンズ203の焦点を合わせて、オートフォーカス処理を行う。
また、A画素302が出力する信号となる電荷、及び、B画素303が出力する信号となる電荷がFD部によって加算された信号に基づく画像を加算画像と呼ぶ。加算画像は、記録又は表示用の画像である。
[画像処理部、及び、システム制御部の構成]
次に、図4を参照して、画像処理部224の機能構成について説明する。図4は、画像処理部224、及び、システム制御部250の構成図である。
次に、図4を参照して、画像処理部224の機能構成について説明する。図4は、画像処理部224、及び、システム制御部250の構成図である。
画像処理部224は、像分離部400と、リアルタイム傷検出・補正部401と、簡易傷検出・補正部402とを備える。
像分離部400は、システム制御部250の制御に基づいて、撮像部222を構成する撮像素子300から信号を読出し、A像、B像、及び、加算画像の画素値を出力する。像分離部400により、単位画素301の出力信号が、A像の画素値とB像の画素値とに分離される。
リアルタイム傷検出・補正部401は、加算画像の画素値に基づいて傷画素を検出して、加算画像を補正する。傷画素は、異常出力する単位画素301である。リアルタイム傷検出・補正部401は、検出した傷画素に関する情報である傷情報を簡易傷検出・補正部402やシステム制御部250に出力する。
簡易傷検出・補正部402は、A像の画素値に基づいて傷画素を検出して、A像を補正する。また、簡易傷検出・補正部402は、B像の画素値に基づいて傷画素を検出して、B像を補正する。デジタルカメラ100では、リアルタイム傷検出・補正部401を構成する回路と簡易傷検出・補正部402を構成する回路とは独立している。
次に、図4を参照して、システム制御部250の機能構成について説明する。システム制御部250は、表示・記録部410と、画像処理制御部411と、補正部412と、閾値決定部413と、デフォーカス量決定部414と、レンズ制御部415とを備える。
表示・記録部410は、リアルタイム傷検出・補正部401によって補正された加算画像を、表示部101に表示する制御、及び、記録媒体120に記録する制御を行う。
画像処理制御部411は、像分離部400を制御して、撮像素子300から信号を読出す。
補正部412は、第2補正手段の例であり、簡易傷検出・補正部402によって補正されたA像を、傷情報に基づいて更に補正する。また、補正部412は、簡易傷検出・補正部402によって補正されたB像を、傷情報に基づいて更に補正する。
閾値決定部413は、傷情報に基づいて、傷検出閾値を決定する。傷検出閾値は、後に説明するように、簡易傷検出・補正部402による傷画素の検出に使われる閾値である。デフォーカス量決定部414は、補正部412によって補正されたA像、及び、B像に基づいて、デフォーカス量を決定する。
レンズ制御部415は、デフォーカス量決定部414によって決定されたデフォーカス量に基づいて、フォーカスレンズを移動させる制御を行い、撮影レンズ203による焦点合わせを行う。
像分離部400が出力する加算画像は、リアルタイム傷検出・補正部401を経由して、表示・記録部410に送られる。この経路を本線系と呼ぶ。
像分離部400が出力するA像は、簡易傷検出・補正部402を経由して、補正部412に送られる。この経路をA像系と呼ぶ。
像分離部400が出力するB像は、簡易傷検出・補正部402を経由して、補正部412に送られる。この経路をB像系と呼ぶ。
[AF処理]
AF処理は、例えば、電子ビューファインダを実行するとき、及び、シャッターボタン111が半押しされて第1シャッタースイッチ信号SW1が発生したときに行われる。デジタルカメラ100の設定等により、AF処理は、第1シャッタースイッチ信号SW1が発生したときにのみ行われるようにしてもよい。
AF処理は、例えば、電子ビューファインダを実行するとき、及び、シャッターボタン111が半押しされて第1シャッタースイッチ信号SW1が発生したときに行われる。デジタルカメラ100の設定等により、AF処理は、第1シャッタースイッチ信号SW1が発生したときにのみ行われるようにしてもよい。
AF処理は、画像読取処理、リアルタイム傷画素検出処理、リアルタイム補正処理、閾値決定処理、簡易傷画素検出処理、簡易補正処理、事後補正処理、デフォーカス量決定処理、及び、レンズ駆動処理により実現される。
[画像読取処理]
次に、図5を参照して、画像読取処理について説明する。図5は、撮像素子300からの信号の読出しタイミングを示す図である。画像読取処理は、撮像素子300の信号を読取り、A像、B像、及び、加算画像の画素値を読取って、リアルタイム傷検出・補正部401又は簡易傷検出・補正部402に出力する処理である。
次に、図5を参照して、画像読取処理について説明する。図5は、撮像素子300からの信号の読出しタイミングを示す図である。画像読取処理は、撮像素子300の信号を読取り、A像、B像、及び、加算画像の画素値を読取って、リアルタイム傷検出・補正部401又は簡易傷検出・補正部402に出力する処理である。
図5のVDは垂直同期信号であり、HDは水平同期信号である。垂直同期信号VDは、1つのフレームの読出し開始を表す基準信号となる。水平同期信号HDは、1つのフレームの各ラインの読出し開始を表す基準信号となる。フレームのラインは、水平方向に並ぶ単位画素301の画素列を表す。
垂直同期信号VDが発生したとき、像分離部400は、システム制御部250の画像処理制御部411の制御に基づいて、1つのフレームについて、撮像素子300の信号の読出しを開始する。水平同期信号HDが発生したとき、像分離部400は、画像処理制御部411の制御に基づいて、フレームの所定のラインについて、撮像素子300の信号の読出しを開始する。
水平同期信号HDが発生したとき、像分離部400は、まず、フレームの所定のラインについて、撮像部222に含まれる撮像素子300のA画素302のみの信号を読取る。次に、像分離部400は、同じフレームのラインについて、撮像素子300のA画素302の信号、及び、B画素303の信号が加算された加算信号を読取る。像分離部400は、この読出しを有効ライン数分繰り返すことで、画面全体のA像信号、及び、加算信号を読取る。
加算信号は、単位画素301に含まれるFD部によって、A画素302が出力する信号となる電荷、及び、B画素303が出力する信号となる電荷を電荷加算により加算された信号である。加算画像は、加算信号をデジタル化した画像であり、表示用画像、及び、記録用画像として使用できる。
像分離部400がA画素302の信号、及び、B画素303の信号を個別に読み出してからデジタル加算すると、加算によるノイズ劣化が生じてしまう。しかし、FD部で電荷加算することで、ノイズ劣化を低減させて、A画素302の信号、及び、B画素303の信号を加算できる。
像分離部400が撮像部222から読取るA画素302の信号は、撮像部222のA/D変換部によってデジタル化されており、A画素302の画素値となる。このA画素302の画素値をA画素値と呼ぶ。また、像分離部400が撮像部222から読取る加算信号は、撮像部222のA/D変換部によってデジタル化されており単位画素301の加算信号に対応する画素値となる。この単位画素301の加算信号に対応する画素値を加算画素値と呼ぶ。A画素値からなる画像がA像であり、加算画素値からなる画像が加算画像である。
また、像分離部400は、単位画素301の加算画素値からA画素302のA画素値を減算して、すなわち、「(単位画素301の加算画素値)−(A画素302のA画素値)」の計算をして、B画素303の画素値とする。このB画素303の画素値をB画素値と呼ぶ。B画素値からなる画像がB像である。B画素値は、加算画素値からA画素302のA画素値を減算したものであるため、B画素303の信号に基づく画素値である。
そして、像分離部400は、A像、B像、及び、加算画像の画素値を出力する。
像分離部400が加算画素値を生成する方法は第1方法の例であり、像分離部400による加算画素値を読取って取得する処理は、第1取得手段による処理の例である。像分離部400がA画素値及びB画素値を生成する方法は第2方法の例であり、像分離部400によるA画素値及びB画素値を読取って取得する処理は、第2取得手段による処理の例である。
本実施形態では、像分離部400は、1フレームの全てのラインについて、A画素値、B画素値、及び、加算画素値を読取って出力する。しかし、像分離部400は、消費電力の削減のため、1フレームの特定のラインのみ、A画素値、B画素値、及び、加算画素値を読取って出力し、特定のライン以外のラインは、加算画素値のみを読取って出力してもよい。
また、本実施形態では、像分離部400は、水平方向の全てのA画素値、及び、B画素値を読み出す。しかし、像分離部400は、被写体周辺の一部についてのみ、A画素値、及び、B画素値を読み出すようにしてもよい。
[リアルタイム傷画素検出処理]
次に、リアルタイム傷画素検出処理について説明する。
次に、リアルタイム傷画素検出処理について説明する。
リアルタイム傷検出・補正部401は、像分離部400が出力する加算画像について1ラインごとに傷画素の検出、及び、補正を行う。ここで、図4に示すように、本線系で送られる加算画像は、表示・記録される画像であるので、傷の補正は正確に行われなくてはならない。リアルタイム傷検出・補正部401は、像分離部400から、処理対象のラインの上下の所定数のラインの加算画素値を取得してメモリ232に記録して参照することで、傷画素を正確に検出する。
次に、図6を参照して、リアルタイム傷画素検出処理の詳細を説明する。図6は、単位画素301の配置を示す図である。リアルタイム傷画素検出処理は、第1検出手段による処理の例である。
図6のR0からR8まではカラーフィルタが「R」の単位画素301である。図6のG0からG11まではカラーフィルタが「G」の単位画素301である。図6のB0からB3まではカラーフィルタが「B」の単位画素301である。ここでは、傷画素の判定対象となる単位画素301である対象画素を図6の中央にあるR4として説明する。
まず、リアルタイム傷検出・補正部401は、対象画素の周辺にエッジ部があるか否かを判定する。エッジ部は、画素値が急激に変化する部分である。この判定は次のように行われる。
第1に、リアルタイム傷検出・補正部401は、対象画素の周囲に配置された同色の単位画素301の加算画素値の最大値PixMaxと最小値PixMinとを取得する。図6の例では、リアルタイム傷検出・補正部401は、対象画素R4の周辺に配置されたR0からR3まで、及び、R5からR8までの加算画素値の最大値PixMaxと最小値PixMinとを取得する。
第2に、リアルタイム傷検出・補正部401は、最大値PixMaxと最小値PixMinとの差分MaxMinDiffを算出する。差分MaxMinDiffは、次の式1で表される。
MaxMinDiff=PixMax−PixMin・・・(1)
MaxMinDiff=PixMax−PixMin・・・(1)
第3に、リアルタイム傷検出・補正部401は、差分MaxMinDiffが予め定められた第1所定値以下であれば、対象画素の周辺にエッジ部がないと判定する。リアルタイム傷検出・補正部401は、これ以外のときエッジ部があると判定する。
エッジ部の判定の後、リアルタイム傷検出・補正部401は、次のように傷画素を検出する。
リアルタイム傷検出・補正部401は、対象画素の周囲にエッジ部があるとき、対象画素は傷画素ではないと判定する。
リアルタイム傷検出・補正部401は、対象画素の周辺にエッジ部がないとき、対象画素の周囲に配置された同色の単位画素301の加算画素値の平均値を取得する。図6の例では、対象画素R4の周辺に配置されたR0からR3まで、及び、R5からR8までの加算画素値の平均値PixAveを算出する。そして、リアルタイム傷検出・補正部401は、対象画素の加算画素値TargetPixと平均値PixAveとの差分PixDiffを算出する。差分PixDiffは、次の式2で表される。
PixDiff=TargetPix−PixAve・・・(2)
PixDiff=TargetPix−PixAve・・・(2)
差分PixDiffは、第2基準値の例であり、対象画素を基準にして複数の方向にある単位画素301の加算画素値に基づく値である。
そして、リアルタイム傷検出・補正部401は、差分PixDiffが予め定められた第2所定値以上であれば、対象画素を傷画素と判定する。リアルタイム傷検出・補正部401は、差分PixDiffが予め定められた第2所定値未満であれば、対象画素を傷画素ではないと判定する。リアルタイム傷検出・補正部401は、差分PixDiffの絶対値が予め定められた第2所定値以上か否かに基づいて対象画素を傷画素と判定してもよい。
リアルタイム傷検出・補正部401は、全ての単位画素301についてこのような判定を行って、傷画素を検出する。
なお、リアルタイム傷検出・補正部401は、次のように平均値PixAveを定めてもよい。すなわち、リアルタイム傷検出・補正部401は、対象画素を基準して対象画素を挟んで垂直方向に並ぶ2つの同色の単位画素301の加算画素値の差分を求める。同様に、リアルタイム傷検出・補正部401は、水平方向、及び、斜め方向に並ぶ単位画素301の加算画素値の差分を求める。これらの差分のうち、最も小さい値を平均値PixAveとする。このように求めた平均値PixAveも、対象画素を基準にして複数の方向にある単位画素301の加算画素値に基づく値である。このように平均値PixAveを定める場合、リアルタイム傷検出・補正部401は、上記のエッジ部の判定を行わなくてもよい。
[リアルタイム補正処理]
次に、図6を参照して、加算画像に基づく補正処理について説明する。リアルタイム補正処理は、第3補正手段による処理の例であり、像分離部400が出力する加算画素値に基づいて、リアルタイム傷画素検出処理で検出された傷画素の画素値を補正する処理である。
次に、図6を参照して、加算画像に基づく補正処理について説明する。リアルタイム補正処理は、第3補正手段による処理の例であり、像分離部400が出力する加算画素値に基づいて、リアルタイム傷画素検出処理で検出された傷画素の画素値を補正する処理である。
第1に、リアルタイム傷検出・補正部401は、リアルタイム傷画素検出処理で検出された傷画素の補正方向を決定する。補正方向は、傷画素の補正に使われる単位画素301の並ぶ方向である。補正方向を決定する処理は、方向決定手段による処理の例である。
より具体的には、リアルタイム傷検出・補正部401は、リアルタイム補正処理の処理対象となる傷画素である対象画素を基準して対象画素を挟んで第1斜め方向に並ぶ2つの同色の単位画素301の加算画素値の差分Diff1を求める。また、リアルタイム傷検出・補正部401は、対象画素を基準して対象画素を挟んで垂直方向に並ぶ2つの同色の単位画素301の加算画素値の差分Diff2を求める。また、リアルタイム傷検出・補正部401は、対象画素を基準して対象画素を挟んで第2斜め方向に並ぶ2つの同色の単位画素301の加算画素値の差分Diff3を求める。また、リアルタイム傷検出・補正部401は、対象画素を基準して対象画素を挟んで水平方向に並ぶ2つの同色の単位画素301の加算画素値の差分Diff4を求める。垂直方向、及び、水平方向から45度の方向は、図6のR0とR8とをつなぐ方向と、R2とR6とをつなぐ方向との2つがある。これら2つの方向の一方を第1斜め方向、他方を第2斜め方向とする。
対象画素を図6のR4とすると、差分Diff1からDiff4までは、次の式3から6までによって求めることができる。差分Diff1からDiff4までは、それぞれ、第1斜め方向、垂直方向、第2斜め方向、及び、水平方向の加算画素値の変化量である。
Diff1=|(R0の加算画素値)−(R8の加算画素値)|・・・(3)
Diff2=|(R1の加算画素値)−(R7の加算画素値)|・・・(4)
Diff3=|(R2の加算画素値)−(R6の加算画素値)|・・・(5)
Diff4=|(R3の加算画素値)−(R5の加算画素値)|・・・(6)
Diff1=|(R0の加算画素値)−(R8の加算画素値)|・・・(3)
Diff2=|(R1の加算画素値)−(R7の加算画素値)|・・・(4)
Diff3=|(R2の加算画素値)−(R6の加算画素値)|・・・(5)
Diff4=|(R3の加算画素値)−(R5の加算画素値)|・・・(6)
そして、リアルタイム傷検出・補正部401は、差分Diff1からDiff4までのうち、最も小さい値に対応する方向を、補正方向と決定する。差分が最小ということは、最小の差分に対応する2つの単位画素301の間にはエッジ部がないことを表すため、この2つの単位画素301の加算画素値によって、傷画素の加算画素値を適切な値に補正ができる。
第2に、リアルタイム傷検出・補正部401は、対象画素を基準して対象画素を挟んで補正方向に並ぶ2つの同色の単位画素301の加算画素値の平均値を、傷画素の加算画素値とする。例えば、差分Diff1が最小となったとき、差分Diff1に対応する第1斜め方向が補正方向であり、傷画素の補正後の加算画素値PixCorrectは、次に式7で計算される。
PixCorrect=((R0の加算画素値)+(R8の加算画素値))/2・・・(7)
PixCorrect=((R0の加算画素値)+(R8の加算画素値))/2・・・(7)
リアルタイム傷検出・補正部401は、リアルタイム傷画素検出処理で検出された傷画素の全てに対してこの補正を行う。
なお、リアルタイム傷検出・補正部401は、傷画素の周囲にある全ての同色の単位画素301の加算画素値の平均値を、傷画素の加算画素値としてもよい。また、リアルタイム傷検出・補正部401は、差分Diff1からDiff4までのうちが、予め定められた第3所定値以下の差分に対応する全ての単位画素301の加算画素値の平均値を、傷画素の加算画素値としてもよい。
また、リアルタイム傷検出・補正部401は、リアルタイム傷画素検出処理で検出された傷画素の情報である傷情報を生成して、簡易傷検出・補正部402やシステム制御部250に出力する。傷情報には、傷画素の座標、傷画素の補正方向、及び、傷レベルが含まれる。傷レベルは、式2で表される差分PixDiffであり、対象画素の加算画素値と基準値となる差分PixDiffとの相違を表す。傷レベルが大きいほど、傷画素の出力が正確ではないことを表す。
リアルタイム傷検出・補正部401は、例えばメモリ232を用いて、補正された加算画素値をシステム制御部250の表示・記録部410に送る。ただし、リアルタイム傷検出・補正部401は、リアルタイム傷画素検出処理によって傷画素と判定されなかった単位画素301の加算画素値は、補正せずに、表示・記録部410に送る。リアルタイム傷検出・補正部401が表示・記録部410に送る加算画素値によって、補正された加算画像が構成される。
[閾値決定処理]
次に、図7、8を参照して、閾値決定処理について説明する。図7は、閾値決定処理のフローチャートである。図8は、傷検出閾値の決定に使われる決定表を示す図である。閾値決定処理は、後述の簡易傷画素検出処理で使われる傷検出閾値を決定する処理であり、閾値決定手段による処理の例である。簡易傷画素検出処理では、傷検出閾値が小さいほど、傷画素を検出しやすくなる。
次に、図7、8を参照して、閾値決定処理について説明する。図7は、閾値決定処理のフローチャートである。図8は、傷検出閾値の決定に使われる決定表を示す図である。閾値決定処理は、後述の簡易傷画素検出処理で使われる傷検出閾値を決定する処理であり、閾値決定手段による処理の例である。簡易傷画素検出処理では、傷検出閾値が小さいほど、傷画素を検出しやすくなる。
閾値決定処理では、撮像素子300における単位画素301の座標ごとに、傷検出閾値を決定する。傷検出閾値を決定する対象となる座標を対象座標とする。対象座標の初期値は、例えば、単位画素301の一番左上の座標とする。
ステップS700において、閾値決定部413は、対象座標の単位画素301についてのリアルタイム傷検出・補正部401の傷画素の検出結果を参照する。対象座標の単位画素301についてリアルタイム傷検出・補正部401が傷画素を検出したとき、リアルタイム傷検出・補正部401は、傷情報等を参照して、傷画素の傷レベルを取得する。
ステップS701において、閾値決定部413は、図8に示す決定表に基づいて、対象座標の単位画素301についての傷検出閾値を決定する。図8には、傷レベル閾値として、Th_A1、Th_A2、及び、Th_A3が示される。Th_A1が最も高く、Th_A3が最も低い。また、図8には、傷検出閾値として、Th_B1、Th_B2、Th_B3、及び、Th_B4が示される。Th_B1が最も低く、Th_B2がTh_B1の次に低く、Th_B3がTh_B2の次に低く、Th_B4が最も高い。
図8に示すように、閾値決定部413は、対象座標の単位画素301の傷レベルが高いほど、低い傷検出閾値を決定する。例えば、傷レベルがTh_A1以上のとき、傷検出閾値を最小のTh_B1と決定する。これにより、傷が非常に大きい傷画素を、簡易傷画素検出処理で確実に検出できる。また、閾値決定部413は、対象座標の単位画素301が傷画素と検出されていないとき、対象座標の単位画素301についての傷検出閾値を最大のTh_B4と決定する。これにより、簡易傷画素検出処理で、対象座標の単位画素301が傷画素と検出されることを抑制できる。このように傷検出閾値を決定することで、簡易傷画素検出処理の精度が改善し、デフォーカス量の精度が高まる。
ステップS702において、閾値決定部413は、直近のステップS701で決定された傷検出閾値を、簡易傷検出・補正部402が対象座標の単位画素301の傷画素を検出するときの傷検出閾値に設定する。
ステップS703において、閾値決定部413は、対象座標が撮像素子300の最終座標であるか否かを判定する。閾値決定部413は、対象座標が撮像素子300の最終座標のとき図8の処理を終了する。閾値決定部413は、対象座標が撮像素子300の最終座標ではないとき、対象座標を、次の単位画素301を表す座標にして、処理をステップS700に戻す。
[簡易傷画素検出処理]
次に、図9を参照して、簡易傷画素検出処理について説明する。図9は、簡易傷画素検出処理を説明する図であり、単位画素301の所定のラインの一部を示す図である。簡易傷画素検出処理は、第2検出手段による処理の例である。
次に、図9を参照して、簡易傷画素検出処理について説明する。図9は、簡易傷画素検出処理を説明する図であり、単位画素301の所定のラインの一部を示す図である。簡易傷画素検出処理は、第2検出手段による処理の例である。
簡易傷画素検出処理は、簡易傷検出・補正部402によって実行される。簡易傷検出・補正部402にはコストを掛けられないため、簡易傷検出・補正部402は、リアルタイム傷検出・補正部401のように、メモリ232に複数のラインの画素値を書き込んだりメモリ232から画素値を読み込んだりしない。簡易傷検出・補正部402は、所定方向である水平方向に並ぶ単位画素301の画素値のみを参照して、簡易傷画素検出処理、及び、後述の簡易補正処理を行う。簡易傷検出・補正部402は、像分離部400から1ラインずつA画素値、及び、B画素値を取得して、1ラインごとに簡易傷画素検出処理、及び、後述の簡易補正処理を行う。
簡易傷画素検出処理、及び、後述の簡易補正処理は、簡易傷検出・補正部402で行われるため、リアルタイム傷検出・補正部401で行われるリアルタイム傷画素検出処理、及び、リアルタイム補正処理と並列に動作できる。ただし、簡易補正処理では傷情報が使われ、簡易傷画素検出処理では傷検出閾値が使われる。したがって、簡易傷画素検出処理、及び、簡易補正処理では、リアルタイム傷画素検出処理で傷画素か否かが判定されて傷検出閾値の決定が行われた単位画素301を対象として、順次、簡易傷画素検出処理、及び、簡易補正処理が行われる。
図9のR1からR5まではカラーフィルタが「R」の単位画素301である。図9のGはカラーフィルタが「G」の単位画素301である。ここでは、傷画素の判定対象となる単位画素301である対象画素を図9の中央にあるR3として説明する。
まず、像分離部400から取得するA画素値に基づいて、傷画素を検出する第1検出処理について説明する。ここでは、A画素値に基づいて傷画素を検出するため、単位画素301のA画素302に傷があるか否かを検出できる。
第1に、簡易傷検出・補正部402は、第1基準値の例となる中央値Mdを取得する。より具体的には、簡易傷検出・補正部402は、比較参照画素のA画素値、及び、対象画素のA画素値の中央値Mdを取得する。比較参照画素は、対象画素と同色の単位画素301を同色画素と呼ぶと、対象画素の右側にある2つ同色画素、及び、対象画素の左側にある2つ同色画素のことである。図9の例では、対象画素R3の比較参照画素は、R1、R2、R4、及び、R5の4つの単位画素301である。簡易傷検出・補正部402は、次の式8のように、比較参照画素のA画素値、及び、対象画素のA画素値にメディアンフィルタをかけることで、中央値Mdを選択する。
Md=Median(R1のA画素値,R2のA画素値,R3のA画素値,R4のA画素値,R5のA画素値)・・・(8)
Md=Median(R1のA画素値,R2のA画素値,R3のA画素値,R4のA画素値,R5のA画素値)・・・(8)
第2に、簡易傷検出・補正部402は、対象画素に対応する座標の傷検出閾値を取得する。傷検出閾値は、上記の閾値決定処理で決定された値である。
第3に、簡易傷検出・補正部402は、取得した中央値Mdと、対象画素のA画素値との差分Diffを取得する。この差分Diffは、次の式9で表される。
Diff=|(対象画素のA画素値)−Md|・・・(9)
Diff=|(対象画素のA画素値)−Md|・・・(9)
第4に、簡易傷検出・補正部402は、取得した差分Diffが、取得した傷検出閾値より大きいか否かを判定する。簡易傷検出・補正部402は、取得した差分Diffが、傷検出閾値より大きいとき、対象画素を傷画素と判定し、傷検出閾値以下のとき、対象画素が傷画素ではないと判定する。
以上が、第1検出処理である。
簡易傷検出・補正部402は、傷検出の対象となる全てのラインの単位画素301について第1検出処理を行う。
次に、像分離部400から取得するB画素値に基づいて、傷画素を検出する第2検出処理について説明する。ここでは、B画素値に基づいて傷画素を検出するため、単位画素301のB画素303に傷があるか否かを検出できる。
第2検出処理は、上記の第1検出処理と同様の処理である。ただし、第2検出処理では、A画素値の代わりにB画素値を用いる。
[簡易補正処理]
次に、簡易補正処理について説明する。簡易補正処理は、A像のA画素値、又は、B像のB画素値に基づいて、簡易傷画素検出処理で検出された傷画素の画素値を補正する処理であり、補正手段による処理の例である。
次に、簡易補正処理について説明する。簡易補正処理は、A像のA画素値、又は、B像のB画素値に基づいて、簡易傷画素検出処理で検出された傷画素の画素値を補正する処理であり、補正手段による処理の例である。
まず、A画素値に基づいて、傷画素の画素値を補正する第1補正処理について説明する。第1補正処理では、第1検出処理で傷があると判定されたA画素302の画素値が補正される。
第1に、簡易傷検出・補正部402は、簡易傷画素検出処理の第1検出処理で検出された傷画素の補正方向を決定する。
より具体的には、簡易傷検出・補正部402は、リアルタイム傷検出・補正部401から取得した傷情報を参照して、第1検出処理で検出された傷画素の座標についての傷情報があるか否かを判断する。簡易傷検出・補正部402は、第1検出処理で検出された傷画素の座標についての傷情報がないとき、補正方向を水平方向と決定する。簡易傷検出・補正部402は、第1検出処理で検出された傷画素の座標についての傷情報があるとき、補正方向を、この傷情報に含まれる補正方向と決定する。
第2に、簡易傷検出・補正部402は、簡易傷画素検出処理の第1検出処理で検出された傷画素が、簡易傷検出・補正部402での補正の対象となる対象傷画素であるか対象外傷画素であるかを決定する。
対象傷画素は、第1検出処理で検出された傷画素のうち、この傷画素に対応するリアルタイム傷画素検出処理で検出された傷画素の補正方向が水平方向の傷画素である。対象傷画素の画素値が、簡易補正処理での補正の対象となる。
対象外傷画素は、第1検出処理で検出された傷画素のうち、対象傷画素以外の傷画素であり、傷画素の補正方向が水平方向以外の方向の傷画素である。対象傷画素の画素値は、後に説明する事後補正処理での補正の対象となる。
この点をまとめたものを図10に示す。図10は、補正方法の切り替えを説明する図である。図10に示すように、補正方向が水平方向のとき、簡易補正処理で補正される。また、補正方向が水平方向以外、すなわち、補正方向が斜め方向、又は、垂直方向のとき、事後補正処理で補正される。
第3に、簡易傷検出・補正部402は、対象傷画素について簡易補正を行う。
簡易補正は、第1検出処理で検出された傷画素のA画素値を、この傷画素について第1検出処理で取得された中央値Mdに置き換える補正である。補正後の傷画素のA画素値をPixCorrectとすると、簡易補正は次の式10で表すことができる。
PixCorrect=Md・・・(10)
PixCorrect=Md・・・(10)
簡易補正として、第1検出処理で検出された傷画素のA画素値を、この傷画素の水平方向に隣接する2つの単位画素301のA画素値の平均値に置き換える補正としてもよい。この簡易補正は、図9の例では、次の式11で表すことができる。
PixCorrect=((R2のA画素値)+(R4のA画素値))/2・・・(11)
ただし、図9のR3が第1検出処理で検出された傷画素であるものとする。
PixCorrect=((R2のA画素値)+(R4のA画素値))/2・・・(11)
ただし、図9のR3が第1検出処理で検出された傷画素であるものとする。
このように、簡易補正は非常にシンプルであるため、簡易傷検出・補正部402の回路規模が少なくコストメリットがあるが、補正能力としては最低限度のものとなっている。このため、本実施形態では、後に説明するように、事後補正処理を行うことで、A像、B像の補正の精度の向上を図っている。
第4に、簡易傷検出・補正部402は、対象外傷画素の情報をシステム制御部250の補正部412に通知する。
より具体的には、簡易傷検出・補正部402は、メモリ232にある所定のA画素用フラグをオンにして、第1検出処理で検出された傷画素の補正方向に水平方向以外のものがあることを補正部412に通知する。なお、A画素用フラグは簡易補正処理の前に初期値であるオフにされているものとする。
さらに、簡易傷検出・補正部402は、対象外傷画素のA画素値を、補正方向に応じた値に変換する。本実施形態では、補正方向が垂直方向のとき「0」、補正方向が第1斜め方向のとき「1」、補正方向が第2斜め方向のとき「2」にする。
以上が、第1補正処理である。
簡易傷検出・補正部402は、第1検出処理で検出された傷画素の全てについて、第1補正処理を行う。
簡易傷検出・補正部402は、第1検出処理によって傷画素と判定されなかった単位画素301のA画素値を、「0」、「1」、「2」以外の値にする。例えば、A画素値が14bitで表されるとすると、A画素値は、「0」から「16383」の値をとることができる。このうち、「0」、「1」、「2」は、上記の通り、傷画素の補正方向を表すため、簡易傷検出・補正部402は、第1検出処理によって傷画素と判定されなかった単位画素301のA画素値を「3」から「16383」の値になるようにする。
次に、B画素値に基づいて傷画素の画素値を補正する第2補正処理について説明する。第2補正処理では、第2検出処理で傷があると判定されたB画素303の画素値が補正される。
第2補正処理は、上記の第1補正処理と同様の処理である。ただし、第2補正処理では、A画素値の代わりにB画素値を用い、第1検出処理で検出された傷画素の代わりに、第2検出処理で検出された傷画素を用いる。また、所定のA画素用フラグの代わりに、所定のB画素用フラグを用いる。
簡易傷検出・補正部402は、第2検出処理で検出された傷画素の全てについて、第2補正処理を行う。
簡易傷検出・補正部402は、第2検出処理によって傷画素と判定されなかった単位画素301のB画素値を、「0」、「1」、「2」以外の値にする。例えば、B画素値が14bitで表されるとすると、B画素値は、「0」から「16383」の値をとることができる。このうち、「0」、「1」、「2」は、上記の通り、傷画素の補正方向を表すため、簡易傷検出・補正部402は、第2検出処理によって傷画素と判定されなかった単位画素301のB画素値を「3」から「16383」の値になるようにする。
簡易傷検出・補正部402は、例えばメモリ232を用いて、補正された画素値をシステム制御部250の補正部412に送る。ここで送られる画素値の「0」、「1」、「2」は傷画素の補正方向を表す。簡易傷検出・補正部402が補正部412に送る画素値によって、補正されたA像、及び、B像が構成される。
[事後補正処理]
次に、事後補正処理について説明する。事後補正処理は、簡易補正処理によって補正されたA画素値、及び、B画素値に基づくA像、及び、B像を、システム制御部250の補正部412が更に補正する処理であり、第2補正手段による処理の例である。
次に、事後補正処理について説明する。事後補正処理は、簡易補正処理によって補正されたA画素値、及び、B画素値に基づくA像、及び、B像を、システム制御部250の補正部412が更に補正する処理であり、第2補正手段による処理の例である。
まず、簡易補正処理によって補正されたA画素値に基づくA像を補正部412が更に補正する第1事後補正処理について説明する。
第1に、補正部412は、簡易傷検出・補正部402から送られるA画素値をメモリ232に書き込む。
第2に、補正部412は、メモリ232の所定のA画素用フラグがオンであるか否かを判定する。この所定のA画素用フラグは、簡易補正処理で設定されるものであり、オンのとき、傷画素の補正方向に水平方向以外のものがあることを表す。補正部412は、所定のA画素用フラグがオンではないとき、A像の補正を行わずに、第1事後補正処理を終了する。
第3に、補正部412は、所定のA画素用フラグがオンのとき、「0」、「1」、「2」のいずれかであるA画素値のそれぞれについて、図6を参照して説明したリアルタイム補正処理と同様の処理を行って補正する。より具体的に説明すると次のようになる。
「0」、「1」、「2」のいずれかであるA画素値を、処理の対象となる対象画素の画素値とする。補正部412は、対象画素を基準して対象画素を挟んで補正方向に並ぶ2つの同色の単位画素301のA画素値の平均値を、傷画素の画素値とする。なお、上記の通り、「0」は補正方向が垂直方向であること、「1」は補正方向が第1斜め方向であること、「2」は補正方向が第2斜め方向であることを表す。
以上が、第1事後補正処理である。
次に、簡易補正処理によって補正されたB画素値に基づくB像を補正部412が更に補正する第2事後補正処理について説明する。
第2事後補正処理は、上記の第1事後補正処理と同様の処理である。ただし、第2事後補正処理では、A画素値の代わりにB画素値を用い、所定のA画素用フラグの代わりに、所定のB画素用フラグを用いる。
[デフォーカス量決定処理]
次に、図11を参照して、デフォーカス量決定処理について説明する。デフォーカス量決定処理は、撮影レンズ203のデフォーカス量を決定する処理である。図11は、A像の画素値と、B像の画素値とを示すグラフを示す図である。図11の横軸は画素の並び方向を表し、図11の縦軸は画素値を表す。図11のA信号1100は、事後補正処理が行われたA像を表す。B信号1101は、事後補正処理が行われたB像を表す。
次に、図11を参照して、デフォーカス量決定処理について説明する。デフォーカス量決定処理は、撮影レンズ203のデフォーカス量を決定する処理である。図11は、A像の画素値と、B像の画素値とを示すグラフを示す図である。図11の横軸は画素の並び方向を表し、図11の縦軸は画素値を表す。図11のA信号1100は、事後補正処理が行われたA像を表す。B信号1101は、事後補正処理が行われたB像を表す。
図11の例では、撮影レンズ203が撮像素子300に対してデフォーカスした状態であるため、A信号1100は左側に、B信号1101は右側にずれた状態となっている。システム制御部250のデフォーカス量決定部414は、A信号1100とB信号1101とのずれ量を、周知の相関演算等によって算出することにより、撮影レンズ203のデフォーカス量を決定する。
[レンズ駆動処理]
次に、レンズ駆動処理について説明する。レンズ駆動処理は、撮影レンズ203を駆動させて撮影レンズ203の焦点合わせを行う処理である。
次に、レンズ駆動処理について説明する。レンズ駆動処理は、撮影レンズ203を駆動させて撮影レンズ203の焦点合わせを行う処理である。
システム制御部250のレンズ制御部415は、デフォーカス量決定処理で決定されたデフォーカス量から、フォーカスレンズ駆動量を算出して決定する。そして、レンズ制御部415は、撮影レンズ203に含まれるフォーカスレンズの位置が、フォーカスレンズ駆動量に対応するフォーカスレンズの位置になるように、フォーカスレンズを移動させる制御を行う。これにより、撮影レンズ203の焦点合わせが行われる。
[効果]
以上説明した通り、簡易傷検出・補正部402は、リアルタイム傷検出・補正部401が生成した傷画素の情報に基づく傷検出閾値に基づいて、傷画素を検出して補正する。そして、簡易傷検出・補正部402、及び、リアルタイム傷検出・補正部401は、独立した回路で構成できる。よって、表示又は記録用の画像の補正と、オートフォーカス用の画像の補正を並行して行うことができるため、デジタルカメラ100全体としての処理の高速性を確保できる。また、オートフォーカス用の画像の補正は、リアルタイム傷検出・補正部401が生成した傷画素の情報に基づく傷検出閾値に基づいて行われる。したがって、簡易傷検出・補正部402は、傷画素を高精度に検出できるため、オートフォーカス用の画像の補正の精度が高くなる。
以上説明した通り、簡易傷検出・補正部402は、リアルタイム傷検出・補正部401が生成した傷画素の情報に基づく傷検出閾値に基づいて、傷画素を検出して補正する。そして、簡易傷検出・補正部402、及び、リアルタイム傷検出・補正部401は、独立した回路で構成できる。よって、表示又は記録用の画像の補正と、オートフォーカス用の画像の補正を並行して行うことができるため、デジタルカメラ100全体としての処理の高速性を確保できる。また、オートフォーカス用の画像の補正は、リアルタイム傷検出・補正部401が生成した傷画素の情報に基づく傷検出閾値に基づいて行われる。したがって、簡易傷検出・補正部402は、傷画素を高精度に検出できるため、オートフォーカス用の画像の補正の精度が高くなる。
より具体的には、リアルタイム傷検出・補正部401は、対象画素の画素値と、平均値PixAveとに基づく傷レベルである差分PixDiffに基づいて、対象画素が傷画素か否かを判定する。差分PixDiffは、対象画素を基準にして複数の方向にある単位画素301の画素値に基づく値である。したがって、リアルタイム傷検出・補正部401は高精度に傷画素を検出できる。
また、簡易傷検出・補正部402は、対象画素のA画素値又はB画素値と、中央値Mdと、傷検出閾値とに基づいて、対象画素が傷画素か否かを判定する。中央値Mdは、水平方向の画素列に含まれるA画素値、又は、B画素値である。また、傷検出閾値は、リアルタイム傷検出・補正部401による高精度の傷画素検出の結果に基づいて決定される。
したがって、簡易傷検出・補正部402は、傷画素を高精度に検出できるため、オートフォーカス用の画像の補正の精度が高くなる。
また、簡易傷検出・補正部402では、補正方向が水平方向の場合にのみ適切な補正が行えるが、補正方向が垂直方向、第1斜め方向、又は、第2斜め方向の場合ように、複数のラインの画素値が必要なる場合は、この補正方向での補正は行えない。
しかし、簡易傷検出・補正部402は、検出した傷画素の補正方向が水平方向以外のとき、傷画素の補正を行なわず、システム制御部250の補正部412が、補正方向に基づいて補正を行う。この補正方向は、リアルタイム傷検出・補正部401が生成する傷情報に含まれる。
よって、簡易傷検出・補正部402では精度が高い補正が行えない傷画素の画素値を、補正部412が高精度に補正できる。したがって、A像、及び、B像の精度が上がり、正確なデフォーカス量の決定が可能となる。
(第2の実施形態)
つぎに、本発明の第2の実施形態について説明する。第1の実施形態と同一の構成に関しては同一の番号を付してあり、その詳細の説明は省略する。
つぎに、本発明の第2の実施形態について説明する。第1の実施形態と同一の構成に関しては同一の番号を付してあり、その詳細の説明は省略する。
[画像処理部、及び、システム制御部の構成]
第2の実施形態に係る画像処理部224、及び、システム制御部250の構成に関して、図12を参照して説明する。第1の実施形態と異なる点は画像処理部224が傷情報メモリ420を備える点にある。第1の実施形態と同様に像分離部400は、システム制御部250の制御に基づいて、撮像部222を構成する撮像素子300から信号を読出し、A像、B像、及び、加算画像の画素値を出力する。像分離部400により、単位画素301の出力信号が、A像の画素値とB像の画素値とに分離される。
第2の実施形態に係る画像処理部224、及び、システム制御部250の構成に関して、図12を参照して説明する。第1の実施形態と異なる点は画像処理部224が傷情報メモリ420を備える点にある。第1の実施形態と同様に像分離部400は、システム制御部250の制御に基づいて、撮像部222を構成する撮像素子300から信号を読出し、A像、B像、及び、加算画像の画素値を出力する。像分離部400により、単位画素301の出力信号が、A像の画素値とB像の画素値とに分離される。
リアルタイム傷検出・補正部401は、加算画像の画素値に基づいて傷画素を検出して、加算画像を補正する。傷画素は、異常出力する単位画素301である。リアルタイム傷検出・補正部401は、検出した傷画素に関する情報である傷情報を傷情報メモリ420や簡易傷検出・補正部402やシステム制御部250に出力する。傷情報メモリ420では加算画像中の傷情報として座標や傷レベルや補正パターンを各信号に対応して記憶しておく。傷情報メモリはキズ情報を複数フレーム分保持できるようにすることが好ましい。これによって、複数フレームの傷情報から測距用画像への補正判断を行ったり、過去のフレームの傷情報から測距用画像への補正判断を行ったりすることが可能となる。また、キズ情報を測距用画像のデータを関連付けて記憶することで、撮影後の後処理で傷の補正を行うことも可能である。また、複数フレームに渡って傷と判断された画素は、その後も記憶し続けることもできる。なお、本線系の加算画像と測距用画像であるA像・B像画像は、傷座標が異なる場合がある。これに対応するために、リアルタイム傷検出・補正部401からキズ情報メモリ420に書き込む際、又はキズ情報メモリ420上で、システム制御部250の制御に基づいて座標変換を行うことで対応可能である。
簡易傷検出・補正部402は、A像の画素値に基づいて傷画素を検出して、A像を補正する。また、簡易傷検出・補正部402は、B像の画素値に基づいて傷画素を検出して、B像を補正する。デジタルカメラ100では、リアルタイム傷検出・補正部401を構成する回路と簡易傷検出・補正部402を構成する回路とは独立している。
(第3の実施形態)
つぎに、本発明の第3の実施形態について説明する。第1の実施形態及び第2の実施形態と同一の構成に関しては同一の番号を付してあり、その詳細の説明は省略する。
つぎに、本発明の第3の実施形態について説明する。第1の実施形態及び第2の実施形態と同一の構成に関しては同一の番号を付してあり、その詳細の説明は省略する。
[画像処理部、及び、システム制御部の構成]
第3の実施形態に係る画像処理部224、及び、システム制御部250の構成に関して、図13を参照して説明する。第1の実施形態と異なる点は、第2の実施形態と同様に画像処理部224が傷情報メモリ420を備える点にある。また、第2の実施形態と異なる点は、画像処理部224が像分離部400を備えていない点にある。そして、撮像部22が2系統の画像出力を持ち、1つが表示・記録用である本線系画像(加算画像)、もう一方は測距用である測距用画像を同時に出力できる構成となっている点である。
第3の実施形態に係る画像処理部224、及び、システム制御部250の構成に関して、図13を参照して説明する。第1の実施形態と異なる点は、第2の実施形態と同様に画像処理部224が傷情報メモリ420を備える点にある。また、第2の実施形態と異なる点は、画像処理部224が像分離部400を備えていない点にある。そして、撮像部22が2系統の画像出力を持ち、1つが表示・記録用である本線系画像(加算画像)、もう一方は測距用である測距用画像を同時に出力できる構成となっている点である。
撮像部22が2系統の画像出力を持つ場合においても、同様にシステム制御部250の制御に基づいて、撮像部22を構成する撮像素子300から信号を読出し、A像、B像、及び、加算画像の画素値を出力する。
リアルタイム傷検出・補正部401は、加算画像の画素値に基づいて傷画素を検出して、加算画像を補正する。傷画素は、異常出力する単位画素301である。リアルタイム傷検出・補正部401は、検出した傷画素に関する情報である傷情報を傷情報メモリ420や簡易傷検出・補正部402やシステム制御部250に出力する。メモリ420では加算画像中の傷情報として座標や傷レベルや補正パターンを記憶しておく。第2の実施形態と同様に傷情報メモリ420は傷情報を複数フレーム分保持できる。
簡易傷検出・補正部402は、A像の画素値に基づいて傷画素を検出して、A像を補正する。また、簡易傷検出・補正部402は、B像の画素値に基づいて傷画素を検出して、B像を補正する。デジタルカメラ100では、リアルタイム傷検出・補正部401を構成する回路と簡易傷検出・補正部402を構成する回路とは独立している。
なお、第3の実施形態における2系統の画像出力を持つ撮像部22の構成としては複数の場合がある。一例としては、撮像部22に含まれる撮像素子300が入射光を光電変換して電気信号を出力する光電変換部を備える画素部に対して、当該電気信号を処理する回路部を積層構造で構成された積層型撮像素子の場合である。積層型撮像素子を用いることで、撮像面内の複数の領域から独立して信号を出力することが可能である。また他の例としては、撮像部22に複数の撮像素子を含む場合である。この場合には複数の撮像素子からの信号を加算した信号を本線系としてもよいし、どちらか一方の撮像素子をマスタとして、マスタからの出力を本線系としてもよい。そして、マスタ以外の撮像素子をスレーブとして測距用である測距用画像としてもよい。
なお、第1の実施形態乃至第3の実施形態において、画像処理部224が本線系の他に測距用の処理系統を持つ例を示したが、2系統に限られるものではなく3系統以上を有する構成であってもよい。この場合には一つのリアルタイム傷検出・補正部401から取得する傷情報を他の系統でも利用することが可能となりさらに効果を得ることができる。また、本線系の他に設けた系統を測距用の系統としたが、ほかにも測光用であったり、被写体検出用であったりと他の用途に用いる構成としてもよい。この場合であっても本線系で取得した傷情報を用いることによって同様の効果を得ることができる。
[その他の実施形態]
上記の実施形態では、図4に示すように、リアルタイム傷検出・補正部401はメモリ232を使って、リアルタイム補正処理を行う。しかし、リアルタイム傷検出・補正部401は、メモリ232の代わりに、独自に参照用RAMを備えていてもよい。リアルタイム傷画素検出処理、及び、リアルタイム補正処理を高速に行うために、参照用RAMをSRAMで実現してもよい。
上記の実施形態では、図4に示すように、リアルタイム傷検出・補正部401はメモリ232を使って、リアルタイム補正処理を行う。しかし、リアルタイム傷検出・補正部401は、メモリ232の代わりに、独自に参照用RAMを備えていてもよい。リアルタイム傷画素検出処理、及び、リアルタイム補正処理を高速に行うために、参照用RAMをSRAMで実現してもよい。
この場合であっても、簡易傷検出・補正部402は参照用RAMのようなコストがかかる回路を搭載することなく傷画素を高精度に検出できるため、オートフォーカス用の画像の補正の精度が高くなる。
本発明は、上記の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
100 デジタルカメラ
250 システム制御部
401 リアルタイム傷検出・補正部
402 簡易傷検出・補正部
250 システム制御部
401 リアルタイム傷検出・補正部
402 簡易傷検出・補正部
Claims (17)
- 複数の単位画素を備える撮像素子と、
前記撮像素子の出力信号に基づいて、第1方法で生成された第1画像の画素値を取得する第1取得手段と、
前記撮像素子の出力信号に基づいて、前記第1方法とは異なる第2方法で生成されたオートフォーカス用の第2画像の画素値を取得する第2取得手段と、
前記第1画像の画素値に基づいて、前記単位画素のうち異常出力する傷画素を検出する第1検出手段と、
前記第1検出手段によって検出された傷画素の情報、及び、前記第2画像の画素値に基づいて、傷画素を検出する第2検出手段と、
前記第2検出手段によって検出された傷画素に対応する前記第2画像の画素値を補正することで、前記第2画像を補正する補正手段と、を備えることを特徴とする撮像装置。 - 前記第2検出手段は、傷画素の判定対象となる前記単位画素のそれぞれについて、判定対象の前記単位画素に対応する前記第2画像の画素値と、判定対象の前記単位画素を含む所定方向の画素列に含まれる前記単位画素に対応する前記第2画像の画素値に基づく第1基準値と、前記第1検出手段によって検出された傷画素の情報に基づく閾値と、に基づいて、判定対象の前記単位画素が傷画素であるか否かを判定して、傷画素を検出することを特徴とする請求項1に記載の撮像装置。
- 前記第1検出手段は、傷画素の判定対象となる前記単位画素のそれぞれについて、判定対象の前記単位画素に対応する前記第1画像の画素値と、判定対象の前記単位画素を基準にして複数の方向にある前記単位画素に対応する前記第1画像の画素値に基づく第2基準値との相違を表す傷レベルに基づいて、判定対象の前記単位画素が傷画素であるか否かを判定して、傷画素を検出し、
前記傷レベルに基づいて前記閾値を決定する閾値決定手段を更に備えることを特徴とする請求項2に記載の撮像装置。 - 前記閾値決定手段は、前記傷レベルが高いほど、前記閾値を低い値に決定することを特徴とする請求項3に記載の撮像装置。
- 前記補正手段は、前記第2検出手段によって検出された傷画素を含む画素列であって前記所定方向に並ぶ画素列に含まれる前記単位画素に対応する前記第2画像の画素値に基づいて、前記第2検出手段によって検出された傷画素に対応する前記第2画像の画素値を補正することを特徴とする請求項2乃至4のいずれか1項に記載の撮像装置。
- 前記第1検出手段によって検出された傷画素のそれぞれについて、前記傷画素を含む前記単位画素の画素列の方向である補正方向を決定する方向決定手段を更に備え、
前記補正手段は、前記第2検出手段によって検出された傷画素が、前記第2検出手段によって検出された傷画素に対応する前記第1検出手段によって検出された傷画素について前記方向決定手段によって決定された前記補正方向が前記所定方向であると同じである対象傷画素のとき、前記対象傷画素を含む前記所定方向の画素列に含まれる前記単位画素に対応する前記第2画像の画素値に基づいて、前記対象傷画素に対応する前記第2画像の画素値を補正することを特徴とする請求項2乃至5のいずれか1項に記載の撮像装置。 - 前記第2検出手段によって検出された傷画素のうち前記対象傷画素を除いた傷画素である対象外傷画素について、前記対象外傷画素を含んで前記補正方向に並ぶ画素列に含まれる前記単位画素に対応する画素値であって前記補正手段によって補正された前記第2画像の画素値に基づいて、前記補正手段によって補正された前記第2画像の前記対象外傷画素に対応する画素値を補正することで、前記補正手段によって補正された前記第2画像を更に補正する第2補正手段と、を更に備えることを特徴とする請求項6に記載の撮像装置。
- 前記方向決定手段は、前記傷画素に対して第1方向に並ぶ前記単位画素に対応する前記第1画像の画素値の変化量が、前記傷画素に対して、予め定められた方向のうち、前記第1方向以外のそれぞれの方向に並ぶ前記単位画素に対応する前記第1画像の画素値の変化量のいずれよりも小さいとき、前記第1方向を前記補正方向と決定することを特徴とする請求項7に記載の撮像装置。
- 前記補正手段は、前記方向決定手段の決定に基づいて、前記対象外傷画素の座標、及び、前記補正方向の情報を、前記第2補正手段に通知することを特徴とする請求項7又は8に記載の撮像装置。
- 前記補正手段は、前記対象外傷画素に対応する前記第2画像の画素値に前記補正方向の情報を格納することで、前記対象外傷画素の座標、及び、前記補正方向の情報を、前記第2補正手段に通知することを特徴とする請求項9に記載の撮像装置。
- 前記第2補正手段によって更に補正された前記第2画像に基づいてデフォーカス量を決定するデフォーカス量決定手段を更に備えることを特徴とする請求項7乃至10のいずれか1項に記載の撮像装置。
- 前記第1検出手段によって検出された傷画素を基準にして前記補正方向にある前記単位画素に対応する前記第1画像の画素値に基づいて、前記第1検出手段によって検出された傷画素に対応する前記第1画像の画素値を補正することで、前記第1画像を補正する第3補正手段と、
前記第3補正手段によって補正された前記第1画像を表示する制御、又は、記録する制御を行う制御手段と、を更に備えることを特徴とする請求項7乃至11のいずれか1項に記載の撮像装置。 - 前記単位画素は、第1光電変換部と第2光電変換部とにより構成され、
前記第1方法は、前記第1光電変換部の出力信号の値と前記第2光電変換部の出力信号の値とを加算した値に基づく値を画素値とする前記第1画像の生成方法であり、
前記第2画像は、A像とB像とからなり、
前記第2方法は、前記第1光電変換部の出力信号の値に基づく値を画素値とする前記A像の生成方法と、前記第2光電変換部の出力信号の値に基づく値を画素値とする前記B像の生成方法と、を含むことを特徴とする請求項1乃至12のいずれか1項に記載の撮像装置。 - 前記第2検出手段は、
前記第1検出手段によって検出された傷画素の情報、及び、前記A像の画素値に基づいて、傷画素を検出し、
更に、前記第1検出手段によって検出された傷画素の情報、及び、前記B像の画素値に基づいて、傷画素を検出し、
前記補正手段は、
前記第2検出手段によって前記A像に基づいて検出された傷画素に対応する前記A像の画素値を補正することで、前記A像を補正し、
更に、前記第2検出手段によって前記B像に基づいて検出された傷画素に対応する前記B像の画素値を補正することで、前記B像を補正することを特徴とする請求項13に記載の撮像装置。 - 前記第1検出手段を構成する回路と、前記第2検出手段、及び、前記補正手段を構成する回路とは独立していることを特徴とする請求項1乃至14のいずれか1項に記載の撮像装置。
- 複数の単位画素を備える撮像素子を有する撮像装置の制御方法であって、
前記撮像素子の出力信号に基づいて、第1方法で生成された第1画像の画素値を取得する第1取得ステップと、
前記撮像素子の出力信号に基づいて、前記第1方法とは異なる第2方法で生成されたオートフォーカス用の第2画像の画素値を取得する第2取得ステップと、
前記第1画像の画素値に基づいて、異常出力する前記単位画素である傷画素を検出する第1検出ステップと、
前記第1検出ステップによって検出された傷画素の情報、及び、前記第2画像の画素値に基づいて、傷画素を検出する第2検出ステップと、
前記第2検出ステップによって検出された傷画素に対応する前記第2画像の画素値を補正することで、前記第2画像を補正する補正ステップと、を備えることを特徴とする撮像装置の制御方法。 - 複数の単位画素を備える撮像素子を有する撮像装置を制御するためのプログラムであって、
前記撮像素子の出力信号に基づいて、第1方法で生成された第1画像の画素値を取得する第1取得ステップと、
前記撮像素子の出力信号に基づいて、前記第1方法とは異なる第2方法で生成されたオートフォーカス用の第2画像の画素値を取得する第2取得ステップと、
前記第1画像の画素値に基づいて、異常出力する前記単位画素である傷画素を検出する第1検出ステップと、
前記第1検出ステップによって検出された傷画素の情報、及び、前記第2画像の画素値に基づいて、傷画素を検出する第2検出ステップと、
前記第2検出ステップによって検出された傷画素に対応する前記第2画像の画素値を補正することで、前記第2画像を補正する補正ステップと、コンピュータに実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017164420A JP2019047144A (ja) | 2017-08-29 | 2017-08-29 | 撮像装置、撮像装置の制御方法、及び、プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017164420A JP2019047144A (ja) | 2017-08-29 | 2017-08-29 | 撮像装置、撮像装置の制御方法、及び、プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019047144A true JP2019047144A (ja) | 2019-03-22 |
Family
ID=65816648
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017164420A Pending JP2019047144A (ja) | 2017-08-29 | 2017-08-29 | 撮像装置、撮像装置の制御方法、及び、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019047144A (ja) |
-
2017
- 2017-08-29 JP JP2017164420A patent/JP2019047144A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5322783B2 (ja) | 撮像装置及び該撮像装置の制御方法 | |
US10887515B2 (en) | Image capturing apparatus, image capturing method, and storage medium to generate a panoramic image having a high dynamic range | |
US10530986B2 (en) | Image capturing apparatus, image capturing method, and storage medium | |
US9531946B2 (en) | Image capturing apparatus, method of controlling the same, and storage medium | |
JP2013218297A (ja) | 焦点調節装置および焦点調節方法 | |
US11122226B2 (en) | Imaging apparatus and control method thereof | |
US10536621B2 (en) | Image capturing apparatus, storage medium and controlling method for correcting a second image by correcting a pixel value of the second image corresponding to a detected defective pixel | |
US10694096B2 (en) | Image pickup apparatus, method for controlling image pickup apparatus, and computer-readable storage medium | |
GB2548460A (en) | Imaging apparatus and control method thereof | |
JP6971715B2 (ja) | 撮像装置、撮像装置の制御方法、及び、プログラム | |
JP7129864B2 (ja) | 撮像装置及びその制御方法 | |
JP2019047144A (ja) | 撮像装置、撮像装置の制御方法、及び、プログラム | |
JP2008283477A (ja) | 画像処理装置及び画像処理方法 | |
JP2017011657A (ja) | 撮像装置 | |
CN107666571B (zh) | 具有焦点检测技术的摄像设备及其控制方法和存储介质 | |
WO2015182021A1 (ja) | 撮像制御装置、撮像装置および撮像制御方法 | |
US20230343064A1 (en) | Control apparatus and control method executed by image capture system | |
JP2017055268A (ja) | 撮像装置、撮像装置の制御方法及びプログラム | |
JP2017017440A (ja) | 撮像装置及びその制御方法 | |
JP2022150647A (ja) | 画像処理装置、画像処理方法、撮像装置、プログラムおよび記録媒体 | |
JP2017022623A (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP2020102794A (ja) | 画像処理装置 | |
JP2005326506A (ja) | 焦点検出装置及び焦点検出方法 | |
JP2018180053A (ja) | 撮像装置および制御方法 |