JP2015061137A - Imaging apparatus, control method of the same, and program - Google Patents
Imaging apparatus, control method of the same, and program Download PDFInfo
- Publication number
- JP2015061137A JP2015061137A JP2013192370A JP2013192370A JP2015061137A JP 2015061137 A JP2015061137 A JP 2015061137A JP 2013192370 A JP2013192370 A JP 2013192370A JP 2013192370 A JP2013192370 A JP 2013192370A JP 2015061137 A JP2015061137 A JP 2015061137A
- Authority
- JP
- Japan
- Prior art keywords
- evaluation value
- imaging
- unit
- image
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、撮像装置、その制御方法、及びプログラムに関する。 The present invention relates to an imaging apparatus, a control method thereof, and a program.
近年、デジタルビデオカメラをはじめとする撮像装置では、記録できる画素数が増してきている。これは、撮像装置により記録した映像を映し出すモニターの規格とも密接な関係がある。即ち、SD(Standard Definition)と呼ばれる規格から、HD(High Definition)と呼ばれる規格への移行があり、今後はさらなる解像度を持つモニターへの移行が予定されている。 In recent years, the number of pixels that can be recorded is increasing in imaging devices such as digital video cameras. This is also closely related to the standard of the monitor that displays the video recorded by the imaging device. That is, there is a shift from a standard called SD (Standard Definition) to a standard called HD (High Definition), and a shift to a monitor having a further resolution is planned in the future.
HDの解像度は主に横1920画素、縦1080画素(以下、1920×1080画素と表す)であるが、4K2Kと呼ばれる次の世代として考えられているモニターの解像度は、3840×2160画素とHDの4倍の画素数である。また、デジタルシネマで策定されている規格は、4096×2160画素で、4K2Kよりも画素数が多い。また、4K2Kよりも更に次の世代として、8K4Kと呼ばれる規格も考えられており、7680×4320画素もの画素数を持つ。これもデジタルシネマでは水平は8Kを超えるものと考えられる。 The resolution of HD is mainly 1920 pixels wide and 1080 pixels long (hereinafter referred to as 1920 × 1080 pixels), but the resolution of the monitor considered as the next generation called 4K2K is 3840 × 2160 pixels and HD. Four times the number of pixels. In addition, the standard established in digital cinema is 4096 × 2160 pixels, which has a larger number of pixels than 4K2K. Further, as a next generation after 4K2K, a standard called 8K4K is also considered and has a number of pixels of 7680 × 4320 pixels. This is also considered to be more than 8K in the digital cinema.
このような変化に伴い、撮像装置においても、記録できる画素数に関して高画素化が要求されている。例えば、前述のスーパーハイビジョンの記録画素に対応するには、レンズ、撮像素子、映像信号をデジタル処理する画像処理LSI、及び、映像信号を外部に出力する映像出力LSIなどが高画素数に対応する必要がある。 Along with such a change, an imaging apparatus is also required to have a high pixel count with respect to the number of pixels that can be recorded. For example, a lens, an image sensor, an image processing LSI that digitally processes a video signal, a video output LSI that outputs a video signal to the outside, and the like correspond to the high pixel count in order to support the above-described Super Hi-Vision recording pixels. There is a need.
近年、撮像装置の撮像素子として用いられているCMOSイメージセンサーは、その構造から、様々なノイズを生じる場合がある。具体的には、垂直方向の固定パターンノイズ(FPN:Fixed−pattern Noise)や、感度不均一性による縦線ノイズ(PRNU)、暗電流不均一性によるノイズ(DSNU)などがある。また、CMOSイメージセンサーは、画素欠陥による点キズなどを生じることもある。通常は、撮像装置内の画像処理LSIなどで、リアルタイムにFPN補正が行われる。 In recent years, a CMOS image sensor used as an image pickup element of an image pickup apparatus may generate various noises due to its structure. Specifically, there are vertical fixed pattern noise (FPN), vertical line noise (PRNU) due to sensitivity nonuniformity, noise due to dark current nonuniformity (DSNU), and the like. In addition, the CMOS image sensor may cause point scratches due to pixel defects. Usually, FPN correction is performed in real time by an image processing LSI in the imaging apparatus.
また、このような補正が行われた映像を解析することにより、オートフォーカスや露出の情報、防振の情報など、様々な情報(評価値)を取得することも行われている。撮像素子から得られる映像信号の高画素化に伴い、一層詳細な情報を取得することが可能である。 In addition, various information (evaluation values) such as autofocus and exposure information, image stabilization information, and the like are acquired by analyzing the video that has undergone such correction. With the increase in the number of pixels of the video signal obtained from the image sensor, more detailed information can be acquired.
特許文献1は、縮小画像を作成するために間引き読出しを行う場合に、フルサイズの映像信号で検出された傷アドレスのうち縮小画像に関連する傷アドレスに基づき、縮小画像でVライン傷が生じる画素列を前後の画素列で補間処理することを開示している。これにより、特許文献1は、縮小画像に対してVライン傷の補正を適切に行っている。
In
高画素化された映像信号は1フレーム当たりの情報量が多いため、これをリアルタイムに補正することは、処理負荷が高い。従って、画像処理LSIが大規模になったり、消費電力が増大したりするという問題がある。そこで、FPN補正を行わずに撮像画像を記録することが提案されているが、この場合、撮像画像に点キズなどが含まれている可能性があるため、撮像画像から取得する評価値の精度が低下する可能性がある。 Since a video signal with high pixels has a large amount of information per frame, correcting this in real time has a high processing load. Therefore, there is a problem that the image processing LSI becomes large-scale and power consumption increases. Therefore, it has been proposed to record a captured image without performing FPN correction. However, in this case, since the captured image may contain a point scratch or the like, the accuracy of the evaluation value acquired from the captured image May be reduced.
特許文献1の手法を用いた撮像装置では、結果的にフルサイズの画像に対してFPN補正を実施することになるため、処理負荷の増大を避けることができない。また、特許文献1には、オートフォーカスや露出の情報、防振の情報などの評価値を取得するための映像解析に関しては、特段の開示は無い。
In the imaging apparatus using the method of
本発明はこのような状況に鑑みてなされたものであり、処理負荷の増大及び精度の低下を抑制しつつ、縮小されていない撮像画像から評価値を取得する技術を提供することを目的とする。 The present invention has been made in view of such a situation, and an object thereof is to provide a technique for acquiring an evaluation value from a non-reduced captured image while suppressing an increase in processing load and a decrease in accuracy. .
上記課題を解決するために、本発明は、撮像素子を含む撮像手段と、前記撮像手段による撮像画像の画素数を減少させて縮小画像を生成する縮小手段と、前記縮小画像において欠陥画素を検出する検出手段と、前記検出手段で検出された欠陥画素の位置に基づき、前記撮像画像における欠陥画素の位置を取得する取得手段と、前記取得手段で取得された位置の画素を除いた前記撮像画像に基づき、前記撮像画像の撮像に関する評価値を生成する第1の生成手段と、を備えることを特徴とする撮像装置を提供する。 In order to solve the above-described problems, the present invention provides an imaging unit including an imaging device, a reduction unit that generates a reduced image by reducing the number of pixels of an image captured by the imaging unit, and a defective pixel is detected in the reduced image. Detecting means for acquiring, the acquiring means for acquiring the position of the defective pixel in the captured image based on the position of the defective pixel detected by the detecting means, and the captured image excluding the pixel at the position acquired by the acquiring means And a first generation unit that generates an evaluation value related to the imaging of the captured image.
なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。 Other features of the present invention will become more apparent from the accompanying drawings and the following description of the preferred embodiments.
本発明によれば、処理負荷の増大及び精度の低下を抑制しつつ、縮小されていない撮像画像から評価値を取得することが可能となる。 According to the present invention, it is possible to acquire an evaluation value from a non-reduced captured image while suppressing an increase in processing load and a decrease in accuracy.
以下、添付図面を参照して、本発明の実施形態を説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。 Embodiments of the present invention will be described below with reference to the accompanying drawings. The technical scope of the present invention is determined by the claims, and is not limited by the following individual embodiments. In addition, not all combinations of features described in the embodiments are essential to the present invention.
[第1の実施形態]
図1Aは、第1の実施形態に係る撮像装置100の構成を示すブロック図である。図1Aにおいて、光学レンズ101は、被写体の光を取り込む。光学レンズ101は、代表的なものとしては、ピントを合わせるためのフォーカス機構、光量や被写界深度を調節する絞り機構、及び、焦点距離を変化させるためのズーム機構を有する。但し、単焦点レンズであれば、ズーム機構は用意されない。また、パンフォーカスレンズであれば、フォーカスは無限遠の1点のみであり、フォーカス機構は用意されない。レンズのコストダウンのために、絞り位置を1点にし、光量を調整するためのNDフィルタで代用したものもある。本実施形態では、光学レンズ101は、撮像素子102に光を結像して入光するものであれば、いかなる光学レンズであっても構わない。
[First Embodiment]
FIG. 1A is a block diagram illustrating a configuration of the
撮像素子102は、光学レンズ101から入射光を受け、それを電気信号へ変換し、出力する。代表的なものとして、CCD(Charge Coupled Device)イメージセンサーや、CMOSイメージセンサーなどが挙げられる。撮像素子102としては、アナログの映像信号を直接出力する撮像素子が用いられてもよい。或いは、内部でAD(アナログデジタル)変換処理を行い、LVDS(Low voltage differential signaling)をはじめとするデジタルデータの形式で映像信号を出力する撮像素子が用いられてもよい。
The
映像分配器103は、撮像素子102からの映像信号を複数に分配する。記録媒体104は、映像分配器103から分配されたフルサイズの映像信号を記録する。本実施形態では、記録されるフルサイズの映像信号に対しては、FPN補正は行われない。
The
映像圧縮部105は、映像分配器103から分配されたフルサイズの映像信号に対してシュリンク処理(映像信号全体を加算する処理や、映像信号の一部を間引く処理など)を行い、映像信号の各フレーム(撮像画像)の画素数を減少させる。シュリンク処理により、縮小画像が生成される。ここでは、後述の縮小画像補正部106でリアルタイムにFPN補正を行うことが可能な程度にまで画素数が減少するように、シュリンク処理が行われる。
The
縮小画像補正部106は、映像圧縮部105でのシュリンク処理により得られた縮小画像に対し、FPN補正をリアルタイムに行う。ここで、FPN補正とは、様々な補正の総称であり、例えば、映像信号の黒のレベルを決定するOBクランプ、固定パターンノイズ(FPN)の補正、感度不均一性による縦線ノイズ(PRNU)の補正などを含む。また、暗電流不均一性によるノイズ(DSNU)の補正、画素欠陥による点キズなどの補正なども含む。この他にも、リアルタイムに行われる撮像素子固有の補正は、全てFPN補正に含まれる。縮小画像補正部106は、FPN補正に伴って検出した縦線キズ及び点キズのアドレス情報を詳細評価値生成部109へ送信する。なお、縮小画像補正部106は、縮小画像の補正を行わずに、縦線キズ及び点キズのアドレス情報の検出のみを行ってもよい。
The reduced
現像処理部107は、撮像装置100における代表的な画像処理機能を有し、ノイズリダクション、ガンマ補正、ニー、デジタルゲインなどをはじめ、キズ補正など各種現像処理を行なう。現像処理部107には、それぞれの補正や画像処理に必要となる設定値を記憶しておく記憶回路も含まれる。
The
表示部108は、現像処理部107で現像処理された映像を表示する。表示部108は、代表的なものとしては、撮像装置100に付属する液晶モニターやビューファインダーなどである。撮像装置100のユーザは、表示部108を通じて、画角や露出などを確認することができる。
The
詳細評価値生成部109は、映像分配器103から分配されたフルサイズの映像信号の各フレーム(撮像画像)に基づいて評価値を生成する。評価値は、撮像画像の撮像に関する情報を示すものであれば、いかなる種類のものであっても構わない。例として、撮像画像の合焦評価値、露出評価値、及びぶれ評価値などが挙げられる。合焦評価値、露出評価値、及びぶれ評価値は、それぞれ、次のフレームの撮像のためのフォーカス制御、露出制御、及び手ぶれ補正に利用可能である。フルサイズの映像信号には、縦線キズや点キズが含まれている。しかしながら、前述の通り、フルサイズの映像信号に対してはFPN補正が行われないため、フルサイズの画像における縦線キズや点キズの位置は検出されていない。そこで、詳細評価値生成部109は、縮小画像補正部106により検出された縦線キズ及び点キズのアドレス情報を受信し、縮小画像におけるアドレス情報をフルサイズの画像におけるアドレス情報に変換する。これにより、詳細評価値生成部109は、フルサイズの画像における縦線キズ及び点キズの位置を知ることができる。そして、詳細評価値生成部109は、縦線キズ及び点キズのアドレスにある画素は、評価値の生成を行う計算から除外する。詳細評価値生成部109は、評価値を撮像素子制御部110及びレンズ制御部111へ送信する。
The detailed evaluation
撮像素子制御部110及びレンズ制御部111は、詳細評価値生成部109から受信した評価値(合焦評価値、露出評価値、及びぶれ評価値など)に基づき、次の撮像画像が適正な状態になるように、撮像素子102及び光学レンズ101を制御する。
The imaging
次に、図2Aを参照して、縮小画像補正部106の動作について詳細に説明する。ここでは、撮像素子102のフルサイズの画像から1/4の縮小画像へのシュリンク処理(例えば、7680×4320画素から1920×1080画素へのシュリンク処理)を例に説明する。
Next, the operation of the reduced
符号201は、撮像素子102の一般的な画素構成を示している。撮像素子102は、レンズからの光を受けて映像信号を変換する有効撮像領域と、レンズからの光を遮り、黒レベルを出力するオプティカルブラック(OB)領域とを含む。特に、有効撮像領域の上部、もしくは下部に配置されたOB領域を垂直OB領域、有効撮像領域の左側、もしくは右側に配置されたOB領域を水平OB領域と呼ぶ。これらのOB領域は、主に映像信号の黒レベルを合わせるための水平OBクランプ、及び、撮像素子のFPN補正などに使用される。
符号202は、撮像素子102の有効撮像領域の一部(64画素)を拡大したものを示す。撮像画像を1/4に圧縮する場合、縮小画像補正部106は、水平・垂直方向に連続する4画素、合わせて16画素を、1画素に圧縮する。この圧縮の方法としては、単純に平均する方法、この16画素から1画素を抜き出す間引き方法、もっと周囲の画素の情報を使いフィルタを用いる方法など、多くの方法が提案されている。ここでは、平均化する場合を例として説明を行なう。
符号203は、符号202で示す16画素を平均化して1画素としてまとめたものを示す。縮小画像補正部106は、このような方法で、もともと64画素であった画素数を4画素へシュリンクすることを全画素に対して適用することにより、撮像画像を1/4にシュリンクする。
次に、図2B及び図2Cを参照して、詳細評価値生成部109の動作について詳細に説明する。
Next, the operation of the detailed evaluation
図2Bは、縮小画像補正部106が縮小画像において縦線キズ(傷列)を検出した場合の、詳細評価値生成部109の動作を示す。図2Bの左下に拡大して示す4画素のうち、2番及び4番の画素が傷列である。縮小画像補正部106は、縮小画像において傷列(縦線キズ)を1本検出した場合、詳細評価値生成部109に対して縦線キズのアドレスを送信する。図2Aに示すように縮小画像が1/4のシュリンクにより生成された場合は、詳細評価値生成部109は、入力されるフルサイズの画像において、縮小画像の縦線キズに対応する2番及び4番の4列分を、縦線キズがある列であると判断する(アドレス変換)。そして、詳細評価値生成部109は、評価値を算出するための演算対象画素から、縦線キズに対応する画素を除く。
FIG. 2B shows the operation of the detailed evaluation
図2Cは、縮小画像補正部106が縮小画像において欠陥画素を検出した場合の、詳細評価値生成部109の動作を示す。図2Cの左下に拡大して示す4画素のうち、4番の画素が欠陥画素である。縮小画像補正部106は、縮小画像において欠陥画素を1画素検出した場合、詳細評価値生成部109に対して欠陥画素のアドレスを送信する。図2Aに示すように縮小画像が1/4のシュリンクにより生成された場合は、詳細評価値生成部109は、入力されるフルサイズの画像において、縮小画像の欠陥画素に対応する4番の16画素分を、欠陥画素の可能性がある画素であると判断する。そして、詳細評価値生成部109は、評価値を算出するための演算対象画素から、欠陥画素に対応する画素を除く。
FIG. 2C shows the operation of the detailed evaluation
なお、図2B及び図2Cの説明においては、列単位の画素の欠陥を縦線キズと呼び、画素単位の画素の欠陥を欠陥画素と呼んで両者を区別した。しかし、縦線キズであっても、縦線キズを構成する各画素は評価値演算の対象から除外すべき欠陥であり、この点において、縦線キズも画素単位の画素の欠陥である欠陥画素と変わりはない。また、評価値演算の対象から除外すべき欠陥のある画素は、図2B及び図2Cで説明した種類のものに限定されない。従って、本願で欠陥画素と言った場合、文脈に応じて、図2Cに示す種類の欠陥画素に限らず、撮像素子102に由来する他の種類の欠陥画素(図2Bに示す縦線キズなど)も含む場合もある。 In the description of FIG. 2B and FIG. 2C, a pixel defect in a column unit is called a vertical line defect, and a pixel defect in a pixel unit is called a defective pixel to distinguish them. However, even if it is a vertical line flaw, each pixel constituting the vertical line flaw is a defect that should be excluded from the evaluation value calculation target. In this respect, a defective pixel in which the vertical line flaw is also a pixel defect of a pixel unit. And there is no difference. Further, the defective pixel to be excluded from the evaluation value calculation target is not limited to the type described in FIGS. 2B and 2C. Therefore, when it is referred to as a defective pixel in the present application, depending on the context, not only the defective pixel of the type shown in FIG. May also be included.
次に、図3Aを参照して、撮像装置100による評価値生成処理について説明する。図3Aにおいて、S1〜S7の処理は縮小画像補正部106によって実行され、S11〜S16の処理は詳細評価値生成部109によって実行される。
Next, an evaluation value generation process performed by the
S1で、縮小画像補正部106は、映像圧縮部105からの縮小画像の受信を開始する。S2で、縮小画像補正部106は、縮小画像に対するFPN補正を開始する。S3で、縮小画像補正部106は、現在のフレームに対するFPN補正を実行する。このFPN補正に伴い、縮小画像補正部106は、縮小画像における欠陥画素(図2Bの縦線キズや図2Cの欠陥画素など)を検出する。FPN補正での縦線キズや欠陥画素の検出は、撮像素子102及び撮像装置100の映像信号のゲイン値に基づき、所定の閾値を超えた画素又は画素の列を指し、この閾値は撮像素子102及び撮像装置100によって異なる。
In S <b> 1, the reduced
S4で、縮小画像補正部106は、S3において縦線キズ又は欠陥画素が検出されたか否かを判定する。検出された場合、処理はS5に進み、そうでない場合、処理はS6に進む。S5で、縮小画像補正部106は、検出された縦線キズ又は欠陥画素のアドレス情報を詳細評価値生成部109へ送信する。なお、縮小画像補正部106は、アドレス情報をフルサイズの画像におけるアドレス情報に変換してから詳細評価値生成部109へ送信してもよい。或いは、縮小画像補正部106は、変換前のアドレス情報を詳細評価値生成部109へ送信し、詳細評価値生成部109が後述のS13で変換処理を行ってもよい。換言すると、縮小画像におけるアドレス情報に基づいてフルサイズの画像におけるアドレス情報を取得する機能(アドレス変換機能)は、縮小画像補正部106に含まれていてもよいし、詳細評価値生成部109に含まれていてもよい。後者の場合、縮小画像補正部106は、アドレス情報と共に、どのようなシュリンク処理により縮小画像が生成されたかを示すシュリンク情報を詳細評価値生成部109へ送信する。
In S4, the reduced
S6で、縮小画像補正部106は、FPN補正を続行するか否かを判定する。補正を続行する場合、処理はS3に戻り、次のフレームについて同様の処理が繰り返される。補正を続行しない場合(例えば、撮像装置100の電源が切られた場合など)、処理はS7に進み、縮小画像補正部106は、FPN補正を終了する。
In S6, the reduced
他方、S11で、詳細評価値生成部109は、映像分配器103からフルサイズの画像の受信を開始する。S12で、詳細評価値生成部109は、フルサイズの画像に基づく評価値演算処理を開始する。評価値としては、オートフォーカス用の合焦位置の計算、露出調整用の映像の明るさの計算、手ぶれ補正用のぶれ量やベクトルの計算などにより得られるもの(合焦評価値、露出評価値、及びぶれ評価値など)が挙げられる。ここでは特に、縮小画像よりもフルサイズの画像を用いた方が撮像装置100の制御に有効である評価値を、演算の対象とする。
On the other hand, in S <b> 11, the detailed evaluation
S13で、詳細評価値生成部109は、縮小画像補正部106からアドレス情報及びシュリンク情報を受信する。詳細評価値生成部109は、シュリンク情報に基づき、縮小画像におけるアドレス情報をフルサイズの画像におけるアドレス情報に変換する。そして、詳細評価値生成部109は、変換後のアドレス情報が示す画素、即ち、縦線キズや点キズに対応する画素を、評価値演算処理の対象から除外する。なお、前述の通り、縮小画像補正部106がS5においてアドレス情報の変換を行う場合は、S13における変換処理は不要である。
In step S <b> 13, the detailed evaluation
S14で、詳細評価値生成部109は、S13において除外処理が適用されたフルサイズの画像に基づく演算により、評価値を生成する。こうして生成された評価値は、撮像素子制御部110及びレンズ制御部111へ送信され、後続のフレームの撮像のために利用される。
In S14, the detailed evaluation
S15で、詳細評価値生成部109は、評価値演算処理を続行するか否かを判定する。評価値演算処理を続行する場合、処理はS13に戻り、次のフレームについて同様の処理が繰り返される。評価値演算処理を続行しない場合(例えば、撮像装置100の電源が切られた場合や、撮像装置100が評価値の生成が不要な動作モードに入った場合)、処理はS16に進み、詳細評価値生成部109は、評価値演算処理を終了する。
In S15, the detailed evaluation
以上説明したように、第1の実施形態によれば、撮像装置100は、縮小画像に対してFPN補正を行うことにより縦線キズ及び欠陥画素のアドレス情報を検出し、このアドレス情報をフルサイズの画像におけるアドレス情報に変換する。そして、撮像装置100は、変換後のアドレス情報に対応する画素をフルサイズの画像から除外した上で、フルサイズの画像に基づいて評価値を生成する。
As described above, according to the first embodiment, the
これにより、フルサイズの画像に対してFPN補正を行わなくても、縦線キズに対応する画素及び欠陥画素を除外して、フルサイズの画像に基づいて評価値を生成することができる。従って、処理負荷の増大及び精度の低下を抑制しつつ、フルサイズの画像(縮小されていない撮像画像)から評価値を取得することが可能となる。 Thereby, even if it does not perform FPN correction | amendment with respect to a full-size image, the pixel and defect pixel corresponding to a vertical-line flaw can be excluded, and an evaluation value can be produced | generated based on a full-size image. Therefore, it is possible to acquire an evaluation value from a full-size image (a non-reduced captured image) while suppressing an increase in processing load and a decrease in accuracy.
[第2の実施形態]
第1の実施形態では、図3AのS13において、詳細評価値生成部109は、フルサイズの画像において評価値演算の対象となる領域を考慮せずに、縦線キズに対応する画素や欠陥画素の除外処理を行った。しかし、実際には、例えば図2B及び図2Cの右上において「フォーカス計算領域」と示すように、フルサイズの画像の一部の領域だけが評価値演算の対象領域である場合がある。そこで、本実施形態では、処理負荷を軽減するために、縦線キズに対応する画素や欠陥画素が評価値演算の対象領域に含まれる場合に除外処理を行うことについて説明する。なお、本実施形態において、撮像装置100の基本的な構成は第1の実施形態と同様である(図1A参照)。
[Second Embodiment]
In the first embodiment, in S13 of FIG. 3A, the detailed evaluation
図3Bを参照して、撮像装置100の詳細評価値生成部109による評価値生成処理について説明する。図3Bは、図3AのS11〜S16を置き換えるものであり、図3Aと同一又は同様の処理が行われるステップには同一の符号を付し、説明を省略する。縮小画像補正部106の処理は第1の実施形態と同様である(図3A参照)。
With reference to FIG. 3B, the evaluation value generation process by the detailed evaluation
S21で、詳細評価値生成部109は、縮小画像補正部106からアドレス情報及びシュリンク情報を受信し、縦線キズ又は欠陥画素が存在するか否かを判定する。存在する場合、処理はS22に進む。存在しない場合、除外処理は不要なため、処理はS14に進む。
In step S <b> 21, the detailed evaluation
S22で、詳細評価値生成部109は、シュリンク情報に基づき、縮小画像におけるアドレス情報をフルサイズの画像におけるアドレス情報に変換する。そして、詳細評価値生成部109は、縦線キズ又は欠陥画素が評価値演算の対象領域内に存在するか否かを判定する。存在する場合、処理はS23に進む。存在しない場合、除外処理は不要なため、処理はS14に進む。なお、第1の実施形態と同様、縮小画像補正部106がS5においてアドレス情報の変換を行う場合は、S22における変換処理は不要である。
In S22, the detailed evaluation
S23で、詳細評価値生成部109は、変換後のアドレス情報が示す画素、即ち、縦線キズに対応する画素や欠陥画素のうち、評価値演算の対象領域内の画素を、評価値演算処理の対象から除外する。
In S23, the detailed evaluation
以上説明したように、第2の実施形態によれば、撮像装置100は、縦線キズに対応する画素や欠陥画素が評価値演算の対象領域に含まれる場合に除外処理を行う。これにより、処理負荷が軽減される。
As described above, according to the second embodiment, the
[第3の実施形態]
第3の実施形態では、フルサイズの画像に基づいて評価値を生成するか、縮小画像に基づいて評価値を生成するかを切り替え可能な構成について説明する。詳細な評価値が不要な場合は、縮小画像に基づいて評価値を生成することにより、処理負荷を軽減することができる。
[Third Embodiment]
In the third embodiment, a configuration that can switch between generating an evaluation value based on a full-size image or generating an evaluation value based on a reduced image will be described. When a detailed evaluation value is unnecessary, the processing load can be reduced by generating the evaluation value based on the reduced image.
図1Bは、第3の実施形態に係る撮像装置150の構成を示すブロック図である。図1Bにおいて、図1Aの撮像装置100と同一又は同様の機能を持つブロックには同一の符号を付し、説明を省略する。
FIG. 1B is a block diagram illustrating a configuration of an
簡易評価値生成部112は、縮小画像補正部106から、FPN補正を実施した後の縮小画像を受信し、縮小画像に基づいて評価値を生成する。そして、簡易評価値生成部112は、評価値を撮像素子制御部110及びレンズ制御部111へ送信する。
The simple evaluation
切替部113は、詳細評価値生成部109(第1の生成手段)及び簡易評価値生成部112(第2の生成手段)を制御することにより、フルサイズの画像に基づいて評価値を生成するか、縮小画像に基づいて評価値を生成するかを切り替える。これにより、例えば、被写体に対して、まずは縮小映像から演算された合焦位置を使用して大雑把にフォーカスを合わせ、その後、フルサイズの画像から演算された合焦位置を使用して、詳細にフォーカスを合わせるような処理が可能になる。大雑把にフォーカスを合わせる処理の間は、詳細評価値生成部109によるフルサイズの画像に基づく評価値の演算が行われないため、処理負荷が軽減される。
The
以上説明したように、第3の実施形態によれば、撮像装置150は、状況に応じて、フルサイズの画像に基づいて評価値を生成するか、縮小画像に基づいて評価値を生成するかを切り替える。これにより、評価値演算の処理負荷が軽減される。
As described above, according to the third embodiment, whether the
[その他の実施形態]
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムを読み出して実行する処理である。
[Other Embodiments]
The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, etc.) of the system or apparatus reads the program. It is a process to be executed.
Claims (10)
前記撮像手段による撮像画像の画素数を減少させて縮小画像を生成する縮小手段と、
前記縮小画像において欠陥画素を検出する検出手段と、
前記検出手段で検出された欠陥画素の位置に基づき、前記撮像画像における欠陥画素の位置を取得する取得手段と、
前記取得手段で取得された位置の画素を除いた前記撮像画像に基づき、前記撮像画像の撮像に関する評価値を生成する第1の生成手段と、
を備えることを特徴とする撮像装置。 Imaging means including an imaging element;
Reduction means for generating a reduced image by reducing the number of pixels of an image taken by the imaging means;
Detecting means for detecting defective pixels in the reduced image;
Obtaining means for obtaining the position of the defective pixel in the captured image based on the position of the defective pixel detected by the detecting means;
First generation means for generating an evaluation value related to imaging of the captured image based on the captured image excluding the pixel at the position acquired by the acquisition means;
An imaging apparatus comprising:
前記検出手段は、前記補正手段での補正に伴い、前記欠陥画素を検出する
ことを特徴とする請求項1に記載の撮像装置。 A correction unit that corrects defective pixels derived from the image sensor in the reduced image;
The imaging apparatus according to claim 1, wherein the detection unit detects the defective pixel in accordance with correction by the correction unit.
前記第1の生成手段に前記評価値を生成させるか前記第2の生成手段に前記評価値を生成させるかを切り替える切替手段と、
を更に備えることを特徴とする請求項2に記載の撮像装置。 Second generation means for generating the evaluation value based on the reduced image corrected by the correction means;
Switching means for switching whether the first generation means generates the evaluation value or the second generation means generates the evaluation value;
The imaging apparatus according to claim 2, further comprising:
前記撮像装置は、前記取得手段で取得された位置の画素が前記一部の領域に含まれるか否かを判定する判定手段を更に備え、
前記第1の生成手段は、前記取得手段で取得された位置の画素のうち前記一部の領域に含まれる画素を除いて、前記評価値を生成する
ことを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。 The first generation unit is configured to generate the evaluation value based on a partial region of the captured image,
The imaging apparatus further includes a determination unit that determines whether or not the pixel at the position acquired by the acquisition unit is included in the partial area.
The said 1st production | generation means produces | generates the said evaluation value except the pixel contained in the said one part area | region among the pixels of the position acquired by the said acquisition means. The Claim 1 thru | or 3 characterized by the above-mentioned. The imaging device according to any one of the above.
ことを特徴とする請求項1乃至4のいずれか1項に記載の撮像装置。 The imaging apparatus according to claim 1, further comprising a control unit that controls next imaging by the imaging unit based on the evaluation value.
ことを特徴とする請求項1乃至5のいずれか1項に記載の撮像装置。 The imaging device according to claim 1, wherein the defective pixel includes a defective pixel in a column unit or a defective pixel in a pixel unit derived from the imaging element.
ことを特徴とする請求項1乃至6のいずれか1項に記載の撮像装置。 The imaging apparatus according to claim 1, wherein the evaluation value includes a focus evaluation value, an exposure evaluation value, or a blur evaluation value of the captured image.
ことを特徴とする請求項1乃至7のいずれか1項に記載の撮像装置。 The imaging apparatus according to claim 1, further comprising a distribution unit that distributes the captured image to the detection unit and the first generation unit.
前記撮像装置の縮小手段が、前記撮像手段による撮像画像の画素数を減少させて縮小画像を生成する縮小工程と、
前記撮像装置の検出手段が、前記縮小画像において欠陥画素を検出する検出工程と、
前記撮像装置の取得手段が、前記検出工程で検出された欠陥画素の位置に基づき、前記撮像画像における欠陥画素の位置を取得する取得工程と、
前記撮像装置の第1の生成手段が、前記取得工程で取得された位置の画素を除いた前記撮像画像に基づき、前記撮像画像の撮像に関する評価値を生成する第1の生成工程と、
を備えることを特徴とする制御方法。 A method for controlling an imaging apparatus including an imaging unit including an imaging element,
A reduction step in which the reduction unit of the imaging apparatus generates a reduced image by reducing the number of pixels of the image captured by the imaging unit;
A detection step in which the detection means of the imaging device detects a defective pixel in the reduced image;
The acquisition unit of the imaging device acquires the position of the defective pixel in the captured image based on the position of the defective pixel detected in the detection step;
A first generation step in which a first generation unit of the imaging apparatus generates an evaluation value related to imaging of the captured image based on the captured image excluding the pixel at the position acquired in the acquisition step;
A control method comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013192370A JP2015061137A (en) | 2013-09-17 | 2013-09-17 | Imaging apparatus, control method of the same, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013192370A JP2015061137A (en) | 2013-09-17 | 2013-09-17 | Imaging apparatus, control method of the same, and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015061137A true JP2015061137A (en) | 2015-03-30 |
Family
ID=52818355
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013192370A Pending JP2015061137A (en) | 2013-09-17 | 2013-09-17 | Imaging apparatus, control method of the same, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2015061137A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016088628A1 (en) * | 2014-12-02 | 2016-06-09 | オリンパス株式会社 | Image evaluation device, endoscope system, method for operating image evaluation device, and program for operating image evaluation device |
-
2013
- 2013-09-17 JP JP2013192370A patent/JP2015061137A/en active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016088628A1 (en) * | 2014-12-02 | 2016-06-09 | オリンパス株式会社 | Image evaluation device, endoscope system, method for operating image evaluation device, and program for operating image evaluation device |
JPWO2016088628A1 (en) * | 2014-12-02 | 2017-04-27 | オリンパス株式会社 | Image evaluation apparatus, endoscope system, operation method of image evaluation apparatus, and operation program of image evaluation apparatus |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6271926B2 (en) | Imaging device, control method thereof, and program | |
JP4742652B2 (en) | Imaging device | |
JP6351231B2 (en) | IMAGING DEVICE, IMAGING SYSTEM, IMAGING DEVICE CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM | |
JP5746521B2 (en) | IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM | |
JP6678504B2 (en) | Imaging device, control method therefor, program, and storage medium | |
JP2015130630A (en) | Imaging apparatus, control method of the same, program, and storage medium | |
JPWO2014041845A1 (en) | Imaging apparatus and signal processing method | |
JP2011166422A (en) | Imaging apparatus | |
JP5299159B2 (en) | Imaging apparatus and program | |
JP5387341B2 (en) | Imaging device | |
JP5245642B2 (en) | Imaging apparatus and defect correction apparatus | |
JP2015061137A (en) | Imaging apparatus, control method of the same, and program | |
US10136088B2 (en) | Image pickup apparatus that reduces amount of information of defective pixels, method of controlling the same, and storage medium | |
JP2006121165A (en) | Imaging apparatus and image forming method | |
JP5271201B2 (en) | Image signal processing apparatus and imaging apparatus | |
JP2010056817A (en) | Imaging apparatus | |
JP2007243558A (en) | Solid-state image pickup device | |
JP5968145B2 (en) | Image processing apparatus and control method thereof | |
JP6218408B2 (en) | Image processing apparatus, image processing method, and program | |
JP2013115547A (en) | Imaging apparatus and control method of the same | |
WO2015182021A1 (en) | Image pickup control apparatus, image pickup apparatus, and image pickup control method | |
JP6765953B2 (en) | Imaging device and its control method | |
JP2017169026A (en) | Flash band determination device, control method therefor, and control program, and imaging device | |
JP2017163233A (en) | Photographing apparatus and photographing method | |
JP2006128882A (en) | Image pickup device |