JP2016006930A - 撮像装置および撮像方法 - Google Patents

撮像装置および撮像方法 Download PDF

Info

Publication number
JP2016006930A
JP2016006930A JP2014127024A JP2014127024A JP2016006930A JP 2016006930 A JP2016006930 A JP 2016006930A JP 2014127024 A JP2014127024 A JP 2014127024A JP 2014127024 A JP2014127024 A JP 2014127024A JP 2016006930 A JP2016006930 A JP 2016006930A
Authority
JP
Japan
Prior art keywords
detection
exposure time
exposure
image signal
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014127024A
Other languages
English (en)
Inventor
龍之介 横矢
Ryunosuke Yokoya
龍之介 横矢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2014127024A priority Critical patent/JP2016006930A/ja
Priority to PCT/JP2015/002382 priority patent/WO2015194091A1/ja
Priority to US15/314,796 priority patent/US10237488B2/en
Publication of JP2016006930A publication Critical patent/JP2016006930A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • G03B7/093—Digital circuits for control of exposure time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time

Abstract

【課題】露光制御などの性能を向上させた撮像装置を提供する。【解決手段】この撮像装置は、撮像素子を有する撮像部と、単位時間毎に、画像出力用の露光時間を含む露光条件で撮像素子を露光させて出力用の画像信号を生成させ、この出力用の画像信号をもとに露光条件の制御値を算出し、単位時間に、画像出力用の露光時間より長い第１の検波用の露光時間および画像出力用の露光時間より短い第２の検波用の露光時間のうち少なくともいずれか一方を追加して検波用画像信号を生成させ、この検波用画像信号をもとに制御値を補正する制御部とを具備する。【選択図】図６

Description

本技術は、撮像装置および撮像方法に係り、特に露出制御を改良した撮像装置および撮像方法に関する。
撮像装置では、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）、ＣＣＤ（Charge Coupled Device）などの撮像素子の露光量を、絞りやシャッター速度の制御によって調整することによって、撮像画の明るさを調節することができる。しかし、輝度差の比較的大きい逆光シーンなどを撮像する際には、撮像素子のダイナミックレンジの不足によって、露光の飽和による白とびや、露光の不足による黒つぶれが発生することがある。
このようなダイナミックレンジの不足による白とびや黒つぶれを防止する公知技術として次のものがある。例えば、特許文献１には、単位期間（１フィールド期間＝1/60秒）に異なる露光時間で撮像素子を２度露光し、２つの露光画像信号を信号処理によって合成することによって、ダイナミックレンジの広い、白とびや黒つぶれの生じない撮像画像を得る技術について開示されている。しかし、かかる公知技術にも幾つかの課題が指摘されている。
特開２０１１−１７６８８０号公報
撮像装置には、輝度差の比較的大きい条件下での撮像において、撮像素子のダイナミックレンジの不足によって白とびや黒つぶれが発生しやすいなど、露出制御に関連した未解決の課題が残されている。さらには、撮像画像の画質の向上、高速化など、性能面での様々な改善すべき課題がある。
以上のような事情に鑑み、本技術の目的は、より性能を向上させた撮像装置および撮像方法を提供することにある。
上記の課題を解決するために、本技術に係る第１の形態の撮像装置は、撮像素子を有する撮像部と、単位時間毎に、画像出力用の露光時間を含む露光条件で前記撮像素子を露光させて出力用の画像信号を生成させ、この出力用の画像信号をもとに前記露光条件の制御値を算出し、前記単位時間に、前記画像出力用の露光時間より長い第１の検波用の露光時間および前記画像出力用の露光時間より短い第２の検波用の露光時間のうち少なくともいずれか一方を追加して検波用画像信号を生成させ、この検波用画像信号をもとに前記制御値を補正する制御部とを具備する。
本技術に係る第１の形態の撮像装置において、前記制御部は、前記出力用の画像信号において、前記撮像素子のダイナミックレンジの下限値に相当する輝度値を有する画素の数が全体において占める割合が第１の閾値以上であるとき、前記第１の検波用の露光時間を追加し、前記撮像素子のダイナミックレンジの上限値に相当する輝度値を有する画素の数が前記撮像素子の有効画素全体において占める割合が第２の閾値以上であるとき、前記第２の検波用の露光時間を追加するように構成されたものであってよい。
前記制御部は、前記第１の検波用の露光時間および前記第２の検波用の露光時間の少なくとも一方で撮像された前記検波用画像信号から主要被写体を検出し、前記第１の検波用の露光時間で撮像された第１の検波用画像信号から前記主要被写体が検出された場合には前記制御値を露光量を増やすように補正し、前記第２の検波用の露光時間で撮像された第２の検波用画像信号から前記主要被写体が検出された場合には前記制御値を露光量を減らすように補正するように構成されたものであってもよい。
本技術に係る第１の形態の撮像装置は、前記検波用画像信号から輝度値毎の画素数を示すヒストグラムの情報を生成する検波部をさらに有し、前記制御部は、前記主要被写体の代表的な輝度値の前記ヒストグラムにおける位置情報を算出し、この位置情報をもとに前記制御値を補正するように構成されたものであってもよい。
前記制御部は、前記制御部は、前記第１の検波用画像信号および前記第２の検波用画像信号の両方から前記主要被写体が検出された場合、前記主要被写体の検出結果を比較し、この比較結果をもとに一方の前記主要被写体について算出された前記位置情報を選択し、この位置情報をもとに前記制御値を補正するように構成されたものであってよい。
前記制御部は、前記第１の検波用画像信号から検出された前記主要被写体の代表的な輝度値が、前記ヒストグラムにおける下限値の近傍範囲にあるとき、前記第１の検波用の露光時間を延長し、前記第２の検波用画像信号から検出された前記主要被写体の代表的な輝度値が、前記ヒストグラムにおける上限値の近傍範囲にあるとき、前記第２の検波用の露光時間を短縮するように構成されたものであってもよい。
前記制御部は、前記第１の検波用の露光時間および前記第２の検波用の露光時間が、前記単位時間から前記画像出力用の露光時間を差し引いた残り時間よりも長い場合には、前記第１の検波用の露光時間および前記第２の検波用の露光時間の追加を停止するように構成されたものであってよい。
前記制御部は、前記ヒストグラムの情報を視覚化した表示データを生成し、表示部に表示させるように構成されたものであってもよい。
以上のように、本技術によれば、撮像装置の性能の向上を図ることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
１フレーム分の画像信号における輝度（横軸）と画素数（縦軸）との関係を示したヒストグラムの例を示す図である。 上記ヒストグラムの他の例を示す図である。 本技術に係る第１の実施形態の撮像装置の動作の概要を示す図である。 第１の検波用の露光時間Ｔ１で撮像された画像信号のヒストグラムを画像出力用の露光条件で撮像された画像信号のヒストグラムと比較して示す図である。 第２の検波用の露光時間Ｔ２で撮像された画像信号のヒストグラムを画像出力用の露光条件で撮像された画像信号のヒストグラムと比較して示す図である。 本実施形態の撮像装置１の構成を示すブロック図である。 本実施形態の撮像装置１の全体的な動作のフローチャートである 第１の検波用の露光時間Ｔ１の追加判定の動作のフローチャートである。 第２の検波用の露光時間Ｔ２の追加判定の動作のフローチャートである。 第１の検波用の露光時間Ｔ１の算定動作のフローチャートである。 第１の検波用の露光時間Ｔ１の算定について説明するための図である。 第２の検波用の露光時間Ｔ２の算定動作のフローチャートである。 第２の検波用の露光時間Ｔ２の算定について説明するための図である。 画像出力用の露光条件の制御値の補正に関するフローチャートである。 検波用の露光の停止判断に関するフローチャートである。 本技術に係る変形例である、画像出力用の露光条件で撮像された画像信号と第１の検波用画像信号から生成された各々のヒストグラムを連続的に統合して表示させた形態を示す図である。
以下、本技術に係る実施形態を、図面を参照しながら説明する。
＜第１の実施形態＞
［概要］
撮像装置では、撮像された画像信号の明るさが適正となるように絞り値およびシャッタースピード（露光時間）などの露光条件が制御される。
しかしながら、例えば逆光撮像など、１フレーム中の画像信号における輝度値の差が比較的大きくなる状況下での撮像においては、撮像素子のダイナミックレンジが制約となって、露光条件を適正に補正できない場合がある。
図１は、１フレーム分の画像信号における輝度値（横軸）と画素数（縦軸）との関係を示したヒストグラムの一例である。ここで、輝度値のＭｉｎ（下限値）からＭａｘ（上限値）は撮像素子のダイナミックレンジによって検出が制限される輝度値の範囲である。図１において、実線はダイナミックレンジ内のヒストグラムであり、点線はダイナミックレンジの外側のヒストグラムである。
図１のヒストグラムは、撮像者であるユーザが撮像しようとしている物体である主要被写体の像を構成する一部の画素の輝度値が、実際にはダイナミックレンジによる制約によって検出可能な輝度値の範囲のＭｉｎ（下限値）よりも低いことから、主要被写体の像の一部が黒つぶれを生じている場合を示している。この場合、黒つぶれとなっている領域の正しい輝度情報が得られないため、露光条件を正しく補正できない。
また、図２のヒストグラムは、主要被写体の像の構成する一部の画素の輝度値が、実際にはダイナミックレンジによる制約によって検出可能な輝度値の範囲のＭａｘ（上限値）を超えていることから、主要被写体の像の一部が白とびを生じている場合を示している。この場合も、白とびになっている領域の正しい輝度情報が得られないため、露光条件を正しく補正できない。
図３は、このような課題を解決することが可能な本技術に係る第１の実施形態の撮像装置の動作の概要を示す図である。
本実施形態の撮像装置では、撮像された画像信号に黒つぶれまたは白とびが発生した場合、フレーム中に、画像出力用の露光条件に基づく露光時間Ｔ０とは別に、この露光時間Ｔ０よりも長い第１の検波用の露光時間Ｔ１および露光時間Ｔ０より短い第２の検波用の露光時間Ｔ２のうち、少なくともいずれか一方が追加される。
すなわち、画像出力用の露光条件に基づく露光時間Ｔ０で撮像された画像信号１００（以下、適宜これを「出力用の画像信号１００」と呼ぶ。）において、黒つぶれが発生した領域が全体において占める割合が第１の閾値以上であるとき、次フレームに、画像出力用の露光条件に基づく露光時間Ｔ０とは別に、この露光時間Ｔ０よりも長い第１の検波用の露光時間Ｔ１が追加される。
また、画像出力用の露光条件に基づく露光時間Ｔ０で撮像された出力用の画像信号１００において、白とびが発生した領域が全体において占める割合が第２の閾値以上であるとき、次フレームに、画像出力用の露光条件に基づく露光時間Ｔ０とは別に、この露光時間Ｔ０よりも短い第２の検波用の露光時間Ｔ２が追加される。
なお、第１の閾値と第２の閾値は同じでもよいし、異なってもよい。
フレーム中の画像出力用の露光条件に基づく露光時間Ｔ０、第１の検波用の露光時間Ｔ１、第２の検波用の露光時間Ｔ２の順番は図３に示される順番に限定されない。例えば、第１の検波用の露光時間Ｔ１、第２の検波用の露光時間Ｔ２の次に露光時間Ｔ０が配置されてもよい。
画像出力用の露光条件とは、一般的な撮像装置での画像の表示や記録のために行われる撮像のための露光条件のことである。露光条件は、撮像部における絞り値および露光時間Ｔ０によって決まってくる。本技術では、少なくとも露光時間Ｔ０の調整により露光条件が制御される場合を想定している。すなわち、露光条件の制御は、絞り値と露光時間Ｔ０の両方を調整するか、露光時間Ｔ０のみを調整して行われることとする。
第１の検波用の露光時間Ｔ１で撮像された画像信号を、この明細書では「第１の検波用画像信号１０１」と適宜呼ぶこととする。図４に示すように、第１の検波用の露光時間Ｔ１での撮像によれば、検出される輝度値の範囲が、画像出力用の露光条件で撮像された場合に検出される輝度値の範囲に対して低輝度側にシフトする。このため、画像出力用の露光条件による撮像ではダイナミックレンジの制約によって黒つぶれとなった画素についても、より正しく輝度値が検出されるようになる。
また、第２の検波用の露光時間Ｔ２で撮像された画像信号を、この明細書では「第２の検波用画像信号１０２」と適宜呼ぶこととする。図５に示すように、第２の検波用の露光時間Ｔ２によれば、検出される輝度値の範囲が、画像出力用の露光条件で撮像された場合に検出される輝度値の範囲に対して高輝度側にシフトする。このため、画像出力用の露光条件による撮像ではダイナミックレンジの制約によって白とびをおこした画素についても、より正しい輝度値が検出されるようになる。
図３に戻って、これら第１の検波用画像信号１０１および第２の検波用画像信号１０２からの主要被写体の検出１０３（図３参照）は、例えば、画像信号からの顔認識、その他の物体の認識、動きベクトル検出などの周知あるいは公知の画像認識技術によって行われる。
第１の検波用画像信号１０１から主要被写体が検出された場合には、画像出力用の露光条件の制御値１０４が露光量を増やすように補正される（補正１０５）。このとき、露光条件の制御値１０４の補正量は予め決められた値でもよい。また、例えば、第１の検波用画像信号１０１のヒストグラムにおいて、主要被写体の平均輝度値などの代表輝度値がどの位置にあるかを示す第１の被写体位置情報を少なくとも用いて、主要被写体が適正な露出となるように補正量が算出されてもよい。
また、第２の検波用画像信号１０２から主要被写体が検出された場合には、画像出力用の露光条件の制御値１０４が露光量を減らすように補正される（補正１０５）。このとき、露光条件の制御値１０４の補正量は予め決められた値でもよい。また、例えば、第２の検波用画像信号１０２のヒストグラムにおいて、主要被写体の平均輝度値などの代表輝度値がどの位置にあるかを示す第２の被写体位置情報を少なくとも用いて、主要被写体が適正な露出となるように補正量が算出されてもよい。
さらに、図３に表現されていないが、第１の検波用の露光時間Ｔ１および第２の検波用の露光時間Ｔ２についても、第１の被写体位置情報および第２の被写体位置情報をもとに補正される。
これにより、画像出力用の露光条件をより適正に補正することができる。
なお、画像出力用の露光条件の制御値１０４は、例えば、出力用の画像信号１００の輝度平均値と参照値１０６との比較１０７により得られる差分などをもとに生成される。但し、本技術はこれに限定されない。また、輝度平均値は、フレーム単位の画像信号全体の輝度平均値、あるいは画像中央部分の輝度平均値などであってよい。
次に、本実施形態の撮像装置について、さらに詳細に説明する。
［撮像装置の構成］
図６は、本技術の第１の実施形態である撮像装置１の構成を示すブロック図である。
撮像装置１は、撮像部１１、Ａ／Ｄ変換部１２、検波部１３、画像処理部１４、表示部１５、記録デバイス１６、ＣＰＵ（Central Processing Unit）１７、操作部１８、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）１９、プログラムＲＯＭ（Read-Only Memory）２０およびＲＡＭ（Random Access Memory）２１などで構成される。
撮像部１１は、撮像レンズ４１、４３、絞り４２、および撮像素子４４を備える。撮像レンズ４１、４３は撮像素子４４の撮像面に被写体の像を結像させるレンズ群である。通過する光の量を調整する絞り４２は、撮像レンズ４１、４３のレンズ群の間に配置される。絞り４２は、ＣＰＵ１７がプログラムＲＯＭ２０に格納されたプログラムを実行することによって実現される撮像制御部６１によって図示しない絞り機構を制御することによって調整される。その他、撮像部１１には、フォーカス調整、ズーム調整、その他各種調整用の機構が設けられる。一方、ＣＰＵ１７は、プログラムＲＯＭ２０に格納されたプログラムを実行することによって上記のフォーカス調整、ズーム調整、その他各種調整用の機構を各々制御する制御部（図示せず）として動作する。
撮像素子４４は、撮像レンズ４１、４３および絞り４２を通過して撮像面に結像した光を、光の強度に対応する画素毎のアナログ信号に変換する。撮像素子４４にて得られた画素毎のアナログ信号はＡ／Ｄ変換部１２に供給される。
Ａ／Ｄ変換部１２は、撮像部１１より供給された画素毎のアナログ信号をデジタル信号に変換し、フレーム単位のＲＡＷデータを生成し、検波部１３、画像処理部１４およびＣＰＵ１７の被写体認識部６３に各々供給する。
検波部１３は、Ａ／Ｄ変換部１２より供給されたフレーム毎のＲＡＷデータについて、輝度値毎の画素数を算出し、上記のヒストグラムの情報を生成する。生成されたヒストグラムの情報はＣＰＵ１７の撮像制御部６１および被写体認識部６３に各々供給される。
なお、本技術に係る第１の実施形態の撮像装置１において、検波部１３によってヒストグラムの情報が生成される対象のＲＡＷデータは、図３に示したように、画像出力用の露光条件で撮像された出力用の画像信号１００、第１の検波用の露光時間Ｔ１で撮像された第１の検波用画像信号１０１および第２の検波用の露光時間Ｔ２で撮像された第２の検波用画像信号１０２である。
画像処理部１４は、ＣＰＵ１７がプログラムＲＯＭ２０に格納されたプログラムを実行することによって機能的なモジュールとして構成される記録制御部６２からの指令に従って、上記のフレーム単位のＲＡＷデータに対してホワイトバランス調整、ガンマ補正などの各種調整および補正を含む現像処理を行う。現像処理によって生成された画像データのうち、画像出力用の露光条件で撮像された画像データは表示部１５に供給される。また、この画像データは、記録制御部６２からの指令に従って、記録に適した所定のフォーマットの画像ファイルあるいは動画ファイルに変換され、記録デバイス１６に供給される。記録用のフォーマットとしては、静止画として例えば、ＴＩＦＦ（Tagged Image File Format）、ＪＰＥＧ（Joint Photographic Experts Group）などがある。動画としては例えばＭＰＥＧ（Moving Picture Experts Group）などがある。さらに、現像処理によって生成された画像データのうち、第１の検波用画像信号１０１および第２の検波用画像信号１０２に各々対応する画像データは、ＣＰＵ１７がプログラムＲＯＭ２０に格納されたプログラムを実行することによって機能的なモジュールとして構成される被写体認識部６３にも供給される。
表示部１５は、表示制御部と表示デバイスを有する。表示制御部は、画像処理部１４より供給された画像データを表示デバイスに適した表示データに変換し、表示デバイスに供給する。これにより、画像データがユーザにより視覚可能な状態で出力される。
記録デバイス１６は、着脱自在な記録メディアとメディア書き込み部を有する。メディア書き込み部は、画像処理部１４より供給された所定のフォーマットの画像ファイルや動画ファイルを、着脱自在な記録メディアに書き込む。
ＣＰＵ１７は、プログラムＲＯＭ２０に格納されたプログラムを実行することによって撮像装置１の全体的な制御を行う。またＣＰＵ１７は、プログラムＲＯＭ２０に格納されたプログラムを実行することによって、少なくとも撮像制御部６１、記録制御部６２および被写体認識部６３として機能する。
撮像制御部６１は、撮像部１１の撮像素子４４の制御、絞り４２の制御、その他、フォーカス、ズームなどの制御を行う。撮像制御部６１は、撮像素子４４の制御として、上記の画像出力用の露光に関するスタートタイミング、露光時間、読み出しタイミングなどの制御の他、上記の第１の検波用および第２の検波用各々の露光に関するスタートタイミング、露光時間、読み出しタイミングなどの制御などを行う。
撮像制御部６１は、検波部１３より供給された、画像出力用の露光条件で撮像されたフレーム単位の画像信号に対する検波結果であるヒストグラムの情報をもとに、黒つぶれとなっている画素数（ヒストグラムにおいて下限値の輝度値を有する画素の総数）の、撮像素子４４の有効全画素数における割合が第１の閾値以上であるかどうかを判定する。撮像制御部６１は、その割合が第１の閾値以上である場合には露光量が不足しているとして、画像出力用の露光条件の少なくとも一つである露光時間Ｔ０（図３参照）よりも長い露光時間を第１の検波用の露光時間Ｔ１として次フレームに追加する。
撮像制御部６１は、検波部１３より供給されたヒストグラムの情報をもとに、白とびになっている画素数（ヒストグラムにおいて上限値の輝度値を有する画素の総数）（輝度値がヒストグラムの上限値である画素の総数）の、撮像素子４４の有効全画素数における割合が第２の閾値以上であるかどうかを判定する。撮像制御部６１は、その割合が第２の閾値以上である場合には露光量が過大であるとして、画像出力用の露光条件の少なくとも一つである露光時間Ｔ０よりも短い露光時間を第２の検波用の露光時間Ｔ２として次フレームに追加する。
撮像制御部６１は、後で詳細を説明する被写体認識部６３から通知された第１の被写体位置情報および第２の被写体位置情報をもとに、主要被写体に露出が合うように画像出力用の露光条件の制御値を補正する。
また、撮像制御部６１は、被写体認識部６３より、主要被写体の平均輝度値などの代表輝度値がヒストグラムのどの位置にあるかを示す第１の被写体位置情報を取得し、主要被写体の代表輝度値がヒストグラムのＭｉｎ（下限値）の近傍範囲に位置するかどうかを判断する。撮像制御部６１は、主要被写体の代表輝度値がヒストグラムのＭｉｎ（下限値）の近傍範囲に位置することを判断すると、次フレームに追加される第１の検波用の露光時間Ｔ１を、現フレームに追加された第１の検波用の露光時間Ｔ１より例えば一定時間長くする。
すなわち、主要被写体の代表輝度値がヒストグラムのＭｉｎ（下限値）の近傍範囲に位置するということは、主要被写体の像の一部が黒つぶれをおこしている可能性があり、主要被写体の代表輝度値そのものの精度が疑わしい。このような場合、撮像制御部６１は、第１の検波用の露光時間Ｔ１をさらに長くすることによって主要被写体の像における黒つぶれをおこした画素の数を低減させることで、主要被写体の代表輝度値としてより適正な値を得ることができる。
同様に、撮像制御部６１は、被写体認識部６３より、主要被写体の平均輝度値などの代表輝度値がヒストグラムのどの位置にあるかを示す第２の被写体位置情報を取得し、主要被写体の代表輝度値がヒストグラムのＭａｘ（上限値）の近傍範囲に位置するかどうかを判断する。撮像制御部６１は、主要被写体の代表輝度値がヒストグラムのＭａｘ（上限値）の近傍範囲に位置することを判断すると、次フレームに追加される第２の検波用の露光時間Ｔ２を、現フレームに追加された第２の検波用の露光時間Ｔ２より例えば一定時間短くする。
これも、主要被写体の代表輝度値がヒストグラムのＭａｘ（上限値）の近傍範囲に位置するということは、主要被写体の像の一部が白とびをおこしている可能性があり、主要被写体の代表輝度値そのものの精度が疑わしいからである。そこで、このような場合、撮像制御部６１は、第２の検波用の露光時間Ｔ２をさらに短くすることによって主要被写体の像における白とびを低減あるいは解消させることで、主要被写体の代表輝度値としてより適正な値を得ることができる。
被写体認識部６３は、第１の検波用の露光時間Ｔ１で撮像された第１の検波用画像信号および第２の検波用の露光時間Ｔ２で撮像された第２の検波用画像信号から主要被写体を検出する。被写体認識部６３は、検波部１３より供給された、第１の検波用画像信号についての検波結果であるヒストグラムの情報を取得し、主要被写体の例えば平均輝度値などの代表輝度値がヒストグラムのどの位置にあるかを示す低輝度側の被写体位置情報である第１の被写体位置情報を撮像制御部６１に供給する。また、被写体認識部６３は、検波部１３より供給された、第２の検波用画像信号についての検波結果であるヒストグラムの情報を取得し、主要被写体の例えば平均輝度値などの代表輝度値がヒストグラムのどの位置にあるかを示す高輝度側の被写体位置情報である第２の被写体位置情報を撮像制御部６１に供給する。
記録制御部６２は、画像処理部１４による現像処理の制御と、画像データを記録用のファイルフォーマットに変換するための制御などを行う。
操作部１８は、撮像者であるユーザからの撮像のための各種の入力を受け付けて、ＣＰＵ１７に、その入力に対応したデータを供給する。操作部１８は、例えば、ボタン、キー、レバー、タッチパネルなどで構成される。
ＥＥＰＲＯＭ１９は、例えば、ユーザより入力された撮像パラメータなどの各種の設定データなどが記憶される書き換え可能なＲＯＭである。
プログラムＲＯＭ２０は、ＣＰＵ１７に実行させるプログラムやその他の固定情報が格納されたＲＯＭである。
ＲＡＭ２１は、ＣＰＵ１７がプログラムに基づいて演算処理を行うための作業領域（メインメモリ）として用いられる。
撮像装置１は、その他の構成として、有線および無線による通信用のインタフェースなどを備えたものであってよい。
なお、以上の構成の説明は、撮像装置１の全ての構成を説明したものではない。
［撮像装置１の動作］
次に、本実施形態の撮像装置１において、主に、検波用の露光を用いて、画像出力用の露光条件の制御値を補正する処理の動作を説明する。
かかる動作の説明は、次の順番で行われる。
１．全体的な動作の流れ
２．第１の検波用の露光時間Ｔ１の追加判定
３．第２の検波用の露光時間Ｔ２の追加判定
４．第１の検波用の露光時間Ｔ１の算定
５．第２の検波用の露光時間Ｔ２の算定
６．画像出力用の露光条件の制御値の補正
７．検波用の露光の停止判断
［１．全体的な動作の流れ］
図７は、本実施形態の撮像装置１の全体的な動作の流れを示すフローチャートである。
まず、撮像制御部６１は、画像出力用の露光条件で撮像された出力用の画像信号をもとに、次フレームに第１の検波用の露光時間Ｔ１を追加すべきかどうかを判定する（ステップＳ１０１）。この処理の詳細については後で図８のフローチャートにより説明する。
次に、撮像制御部６１は、同じく出力用の画像信号をもとに、次フレームに第２の検波用の露光時間Ｔ２を追加すべきかどうかを判定する（ステップＳ１０２）。この処理の詳細については後で図９のフローチャートにより説明する。
なお、ステップＳ１０１とＳ１０２はどちらが先であってもよい。
次に、撮像制御部６１は、次フレームの第１の検波用の露光時間Ｔ１を決定する処理を行う（ステップＳ１０３）。この処理の詳細については後で図１０のフローチャートにより説明する。
次に、撮像制御部６１は、次フレームの第２の検波用の露光時間Ｔ２を決定する処理を行う（ステップＳ１０４）。この処理の詳細については後で図１２のフローチャートにより説明する。
なお、ステップＳ１０３とＳ１０４はどちらが先であってもよい。
次に、撮像制御部６１は、次フレームの画像出力用の露光条件を決定する処理を行う（ステップＳ１０５）。この処理の詳細については後で図１４のフローチャートにより説明する。
最後に、撮像制御部６１は、ステップＳ１０３で決定された第１の検波用の露光時間Ｔ１、ステップＳ１０４で決定された第２の検波用の露光時間Ｔ２、およびステップＳ１０５で決定された画像出力用の露光条件である露光時間Ｔ０などから、第１の検波用の露光時間Ｔ１および第２の検波用の露光時間Ｔ２による検波用の露光を継続するか停止するかを判断する処理を行う（ステップＳ１０６）。この処理の詳細については後で図１５のフローチャートにより説明する。
［２．第１の検波用の露光時間Ｔ１の追加判定］
図８は、第１の検波用の露光時間Ｔ１の追加判定の動作のフローチャートである。
撮像制御部６１は、フレーム単位の出力用の画像信号について、検波部１３より供給されたヒストグラムの情報をもとに、黒つぶれとなっている画素数の、撮像素子４４の有効全画素数における割合が第１の閾値以上であるかどうかを判定する（ステップＳ２０１）。
ここで、黒つぶれとなっている画素数は、輝度値がヒストグラムのＭｉｎ（下限値）である画素の数で代用することとする。
黒つぶれとなっている画素数の、撮像素子４４の有効全画素数における割合が第１の閾値以上である場合、撮像制御部６１は、現フレームに第１の検波用の露光時間Ｔ１が既に追加されているかどうかを判定する（ステップＳ２０２）。
現フレームに第１の検波用の露光時間Ｔ１が追加されていない場合（ステップＳ２０２のＮｏ）、撮像制御部６１は、次フレームに第１の検波用の露光時間Ｔ１を追加することを決定し（ステップＳ２０３）、本動作を終了する。
現フレームに第１の検波用の露光時間Ｔ１が既に追加されている場合（ステップＳ２０２のＹｅｓ）、撮像制御部６１は、次フレームにそのまま第１の検波用の露光時間Ｔ１を追加することを決定する。これで本動作が終了になる。
また、ステップＳ２０１の判定で、黒つぶれとなっている画素数の、撮像素子４４の有効全画素数における割合が第１の閾値未満である場合には（ステップＳ２０１のＮｏ）、撮像制御部６１は、現フレームに第１の検波用の露光時間Ｔ１が既に追加されているかどうかを判定する（ステップＳ２０４）。
現フレームに第１の検波用の露光時間Ｔ１が既に追加されている場合（ステップＳ２０４のＹｅｓ）、撮像制御部６１は、次フレームに第１の検波用の露光時間Ｔ１を追加しないことを決定する（ステップＳ２０５）。これで本動作が終了になる。
ステップＳ２０４で現フレームに第１の検波用の露光時間Ｔ１が追加されていないことが判定された場合は（ステップＳ２０４のＮｏ）、このまま本動作が終了になる。
［３．第２の検波用の露光時間Ｔ２の追加判定］
図９は、第２の検波用の露光時間Ｔ２の追加判定の動作のフローチャートである。
撮像制御部６１は、フレーム単位の出力用の画像信号について、検波部１３より供給されたヒストグラムの情報をもとに、白とびになっている画素数の、撮像素子４４の有効全画素数における割合が第２の閾値以上であるかどうかを判定する（ステップＳ３０１）。
ここで、白とびとなっている画素数は、輝度値がヒストグラムのＭａｘ（上限値）である画素の数で代用することとする。
判定の結果がＹｅｓである場合、撮像制御部６１は、現フレームに第２の検波用の露光時間Ｔ２が既に追加されているかどうかを判定する（ステップＳ３０２）。
現フレームに第２の検波用の露光時間Ｔ２が追加されていない場合（ステップＳ３０２のＮｏ）、撮像制御部６１は、次フレームに第２の検波用の露光時間Ｔ２を追加することを決定し（ステップＳ３０３）、本動作を終了する。
現フレームに第２の検波用の露光時間Ｔ２が既に追加されている場合（ステップＳ３０２のＹｅｓ）、撮像制御部６１は、次フレームにそのまま第２の検波用の露光時間Ｔ２を追加することを決定する。これで本動作が終了になる。
また、ステップＳ３０１の判定で、白とびになっている画素数の、撮像素子４４の有効全画素数における割合が第２の閾値未満である場合には（ステップＳ３０１のＮｏ）、撮像制御部６１は、現フレームに第２の検波用の露光時間Ｔ２が既に設定されているかどうかを判定する（ステップＳ３０４）。
現フレームに第２の検波用の露光時間Ｔ２が既に追加されている場合（ステップＳ３０４のＹｅｓ）、撮像制御部６１は、次フレームに第２の検波用の露光時間Ｔ２を追加しないことを決定する（ステップＳ３０５）。これで本動作が終了になる。
ステップＳ３０４で現フレームに第２の検波用の露光時間Ｔ２が追加されていないことが判定された場合は（ステップＳ３０４のＮｏ）、このまま本動作が終了になる。
［４．第１の検波用の露光時間Ｔ１の算定］
図１０は、第１の検波用の露光時間Ｔ１の算定動作のフローチャートである。
まず、撮像制御部６１は、現フレームに第１の検波用の露光時間Ｔ１が追加されているかどうかを判定する（ステップＳ４０１）。第１の検波用の露光時間Ｔ１が追加されていない場合（ステップＳ４０１のＮｏ）、撮像制御部６１は、上記の２．第１の検波用の露光時間Ｔ１の追加判定によって、次フレームに第１の検波用の露光時間Ｔ１を追加することが決められているかどうかを判断する（ステップＳ４０２）。
次フレームに第１の検波用の露光時間Ｔ１が追加されることが決められている場合（ステップＳ４０２のＹｅｓ）、撮像制御部６１は、その第１の検波用の露光時間Ｔ１として基準の時間を設定する（ステップＳ４０３）。そして本動作を終了する。
なお、ここでの基準の時間とは、例えば、現フレームの画像出力用の露光条件に基づく露光時間Ｔ０を例えば一定時間分長くした時間など、少なくとも現フレームの画像出力用の露光条件に基づく露光時間Ｔ０よりも長い時間である。
次フレームに第１の検波用の露光時間Ｔ１が追加されない場合（ステップＳ４０２のＮｏ）は、このまま本動作が終了となる。
また、ステップＳ４０１で、現フレームに第１の検波用の露光時間Ｔ１が既に追加されていることが判定された場合（ステップＳ４０１のＹｅｓ）、撮像制御部６１は被写体認識部６３に主要被写体の検出を依頼する。
被写体認識部６３は、この依頼を受けると、第１の検波用の露光時間Ｔ１で撮像された第１の検波用画像信号から主要被写体を検出する。また、被写体認識部６３は、検波部１３より、第１の検波用画像信号に対するヒストグラムの情報を取得し、検出した主要被写体の例えば平均輝度値などの代表輝度値がヒストグラムのどの位置にあるかを示す第１の被写体位置情報を生成して撮像制御部６１に供給する。なお、代表輝度値は、主要被写体の平均輝度値の他、画素数最大の輝度値であってもよい。
被写体認識部６３にて主要被写体が検出されない場合もある。この場合には、例えば、低輝度側被写体位置の検出エラーが撮像制御部６１に通知される。
被写体認識部６３が主要被写体の検出に成功し、第１の被写体位置情報が撮像制御部６１に与えられた場合の動作を次に説明する。
撮像制御部６１は、被写体認識部６３より与えられた第１の被写体位置情報をもとに、例えば、図１１に示すように、主要被写体の代表輝度値Ａ１が、例えば、ヒストグラム（検出可能な輝度値の範囲）のＭｉｎ（下限値）の近傍範囲にあるかどうかを判定する（ステップＳ４０４）。
主要被写体の代表輝度値Ａ１がヒストグラムのＭｉｎ（下限値）の近傍範囲にある場合（ステップＳ４０４のＹｅｓ）、撮像制御部６１は、次フレームの第１の検波用の露光時間Ｔ１を、現フレームに追加されている第１の検波用の露光時間Ｔ１（基準時間）より例えば一定時間だけ長い時間（Ｔ１＋α）に変更する（ステップＳ４０５）。
これにより、図１１に示すように、次フレームの第１の検波用画像信号の輝度値の範囲は、現フレームの第１の検波用画像信号の輝度値の範囲を全体的に低輝度側に延長時間αの相当分だけシフトさせたものとなるので、主要被写体の平均輝度値や画素数最大の輝度値などの代表輝度値Ａ１の判定精度が向上し、画像出力用の露光条件の制御値の補正精度が向上する。
また、ステップＳ４０４で、主要被写体の代表輝度値Ａ１がヒストグラムのＭｉｎ（下限値）の近傍範囲よりも高輝度側にある場合には（ステップＳ４０４のＮｏ）、撮像制御部６１は、次フレームの第１の検波用の露光時間Ｔ１として、上記の基準の時間（現フレームの画像出力用の露光条件に基づく露光時間Ｔ０よりも一定時間長い時間）をそのまま設定する（ステップＳ４０３）。そして本動作を終了する。
［５．第２の検波用の露光時間Ｔ２の算定］
図１２は、第２の検波用の露光時間Ｔ２の算定動作のフローチャートである。
まず、撮像制御部６１は、現フレームに第２の検波用の露光時間Ｔ２が追加されているかどうかを判定する（ステップＳ５０１）。第２の検波用の露光時間Ｔ２が追加されていない場合（ステップＳ５０１のＮｏ）、撮像制御部６１は、上記の３．第２の検波用の露光時間Ｔ２の追加判定によって、次フレームに第２の検波用の露光時間Ｔ２を追加することが決められているかどうかを判断する（ステップＳ５０２）。
次フレームに第２の検波用の露光時間Ｔ２が追加されることが決められている場合（ステップＳ５０２のＹｅｓ）、撮像制御部６１は、その第２の検波用の露光時間Ｔ２として、基準の時間を設定する（ステップＳ５０３）。そして本動作を終了する。
なお、ここでの基準の時間とは、例えば、現フレームの画像出力用の露光条件に基づく露光時間Ｔ０を例えば一定時間分短くした時間など、少なくとも現フレームの画像出力用の露光条件に基づく露光時間Ｔ０よりも短い時間である。
次フレームに第２の検波用の露光時間Ｔ２が追加されない場合（ステップＳ５０２のＮｏ）は、このまま本動作が終了となる。
また、ステップＳ５０１で、現フレームに第２の検波用の露光時間Ｔ２が既に追加されていることが判定された場合（ステップＳ５０１のＹｅｓ）、撮像制御部６１は被写体認識部６３に主要被写体の検出を依頼する。
被写体認識部６３は、この依頼を受けると、第２の検波用の露光時間Ｔ２で撮像された第２の検波用画像信号から主要被写体を検出する。被写体認識部６３は、検波部１３より、第２の検波用画像信号に対するヒストグラムの情報を取得し、検出した主要被写体の例えば平均輝度値などの代表輝度値がヒストグラムのどの位置にあるかを示す第２の被写体位置情報を生成して撮像制御部６１に供給する。なお、この場合も、代表輝度値は、主要被写体の平均輝度値の他、画素数最大の輝度値であってもよい。
被写体認識部６３において、主要被写体が検出されない場合には、例えば、高輝度側被写体位置の検出エラーが撮像制御部６１に通知される。
被写体認識部６３が主要被写体の検出に成功し、第２の被写体位置情報が撮像制御部６１に与えられた場合の動作を次に説明する。
撮像制御部６１は、被写体認識部６３より与えられた第２の被写体位置情報をもとに、例えば、図１３に示すように、主要被写体の代表輝度値Ｂ１が、例えば、ヒストグラムのＭａｘ（上限値）の近傍範囲にあるかどうかを判定する（ステップＳ５０４）。
主要被写体の代表輝度値Ｂ１がヒストグラムのＭａｘ（上限値）の近傍範囲にある場合（ステップＳ５０４のＹｅｓ）、撮像制御部６１は、次フレームの第２の検波用の露光時間Ｔ２を、現フレームに追加されている第２の検波用の露光時間Ｔ２（基準時間）より例えば一定時間だけ短い時間（露光時間Ｔ２−β）に変更する（ステップＳ５０５）。
これにより、図１３に示すように、次フレームの第２の検波用画像信号の輝度値の範囲は、現フレームの第２の検波用画像信号の輝度値の範囲を全体的に高輝度側に短縮時間βの相当分だけシフトさせたものとなるので、主要被写体の平均輝度値や画素数最大の輝度値などの代表輝度値Ｂ１の判定精度が向上し、画像出力用の露光条件の制御値の補正の精度が向上する。
また、ステップＳ５０４で、主要被写体の代表輝度値Ｂ１がヒストグラムのＭａｘ（上限値）の近傍範囲よりも低輝度側にある場合には（ステップＳ５０４のＮｏ）、撮像制御部６１は、次フレームの第２の検波用の露光時間Ｔ２として、上記の基準の時間（現フレームの画像出力用の露光条件に基づく露光時間Ｔ０よりも一定時間短い時間）をそのまま設定する（ステップＳ５０３）。そして本動作を終了する。
［６．画像出力用の露光条件の制御値の補正］
図１４は、画像出力用の露光条件の制御値の補正に関するフローチャートである。
なお、この動作では、輝度値の差が大きい画像信号について黒つぶれと白とびが同時に発生した場合に、低輝度側への補正と高輝度側への補正との間で優先度を求めるための処理が別途行われる。この処理については後で説明する。
撮像制御部６１は、現フレームに第１の検波用の露光時間Ｔ１が既に追加されているかどうかを判定する（ステップＳ６０１）。
現フレームに第１の検波用の露光時間Ｔ１が既に追加されている場合（ステップＳ６０１のＹｅｓ）、撮像制御部６１は、被写体認識部６３からの第１の被写体位置情報の供給の有無を判断する（ステップＳ６０２）。第１の被写体位置情報が供給されたなら（ステップＳ６０２のＹｅｓ）、撮像制御部６１は、この第１の被写体位置情報をもとに、画像出力用の露光条件の制御値を補正するための第１の補正情報を算出する（ステップＳ６０３）。
撮像制御部６１は、現フレームに第１の検波用の露光時間Ｔ１が追加されていないことを判断した場合（ステップＳ６０１のＮｏ）、または、被写体認識部６３より第１の被写体位置情報の検出エラーの通知を受けた場合には（ステップＳ６０２のＮｏ）、ステップＳ６０３の第１の補正情報の算出をスキップして次のステップＳ６０４に移行する。
ステップＳ６０４で、撮像制御部６１は、現フレームに第２の検波用の露光時間Ｔ２が既に追加されているかどうかを判定する（ステップＳ６０４）。
現フレームに第２の検波用の露光時間Ｔ２が既に追加されている場合（ステップＳ６０４のＹｅｓ）、撮像制御部６１は、被写体認識部６３からの第２の被写体位置情報の供給の有無を判断する（ステップＳ６０５、第２の被写体位置情報が供給されたなら（ステップＳ６０５のＹｅｓ）、撮像制御部６１は、この第２の被写体位置情報をもとに、画像出力用の露光条件の制御値を補正するための第２の補正情報を算出する（ステップＳ６０６）。
撮像制御部６１は、現フレームに第２の検波用の露光時間Ｔ２が追加されていないことを判断した場合（ステップＳ６０４のＮｏ）、または、被写体認識部６３より第２の被写体位置情報の検出エラーの通知を受けた場合（ステップＳ６０５のＮｏ）、第２の補正情報の算出をスキップして次のステップＳ６０７に移行する。
ステップＳ６０７では、ここまでの処理の結果から、次フレームの画像出力用の露光条件の制御値を補正するための最終的な補正情報を決定する処理が行われる（ステップＳ６０７）。
例えば、第１の補正情報が得られ、第２の補正情報が得られなかった場合には、第１の補正情報が最終的な補正情報として決定される。逆に第２の補正情報が得られ、第１の補正情報が得られなかった場合には、第２の補正情報が最終的な補正情報として決定される。第１の補正情報と第２の補正情報が得られなかった場合には最終的な補正情報は無しとされる。第１の補正情報と第２の補正情報の両方が得られた場合、別の観点から、どちらの補正情報を採用することかが決定される。
第１の補正情報と第２の補正情報の両方が得られた場合にどちらの補正情報を採用するかを決定する方法には、例えば以下がある。
１．撮像制御部６１は、被写体認識部６３にて検出された主要被写体の種類に応じて、優先度の高い種類の主要被写体が検出された方の補正情報を採用する。例えば、低輝度側である第１の検波用画像信号から人の顔が検出され、高輝度側である第２の検波用画像信号から乗り物が検出された場合には第１の補正情報を採用する。主要被写体の各種類の優先度の上下関係は予め設定されていてもよいし、それをユーザが自由に変更できるようにしてもよい。低輝度側と高輝度側の両方の検波用画像信号から同じ種類の主要被写体が検出された場合には、撮像制御部６１は、例えば、各々の主要被写体が占める領域の割合が大きい方を採用する。
２．撮像制御部６１は、基準情報とのマッチングに基づく主要被写体の認識結果において主要被写体の基準情報との一致度のスコアが高い方を優先する。例えば、低輝度側である第１の検波用画像信号から主要被写体が検出されたときのスコアが"８１"、高輝度側である第２の検波用画像信号から主要被写体が検出されたときのスコアが"９０"の場合には、撮像制御部６１はスコアの高い第２の補正情報を採用する。ここで、低輝度側である第１の検波用画像信号から検出された主要被写体の種類と、高輝度側である第２の検波用画像信号から検出された主要被写体の種類は異なっていてもよい。
３．上記の１と２の方法を組み合せてもよい。この場合、主要被写体の種類に応じてスコアに対する重みが予めユーザなどにより設定される。ここで、人の顔の重みが"１．４"、乗り物の重みが"１．１"として与えられている場合を想定する。低輝度側である第１の検波用画像信号から人の顔が検出されたときのスコアが"８１"、高輝度側である第２の検波用画像信号から乗り物が検出されたときのスコアが"９０"の場合、
人の顔に対する最終スコア＝８１×１．４＝１１３．４
乗り物に対する最終スコア＝９０×１．１＝９９
となる。
この例では、最終スコアが高い方は人の顔であるから、撮像制御部６１は、第２の補正情報を最終的な補正情報として決定する。
４．その他にも様々な方法がある。
［７．検波用の露光の停止判断］
画像出力用の露光条件の制御値の補正により露光時間Ｔ０を増大させて行くと、露光時間を１フレーム期間から差し引いた残り時間が短くなる。このため、フレーム期間内の残り時間に検波用の露光時間が入りきらない状況が起こる可能性がある。このような場合、無意味な検波用の露光が行われることとなり、ＣＰＵ１７の負担が無駄に増大するだけである。
そこで、本実施形態では、次のような検波用の露光の停止判断を行うこととしている。
図１５は、このような検波用の露光の停止判断に関するフローチャートである。
撮像制御部６１は、図７のステップＳ１０３およびステップＳ１０４において次フレームに追加すべき検波用の露光時間（Ｔ１およびＴ２の少なくともいずれか一方）が求められているかどうかを確認する（ステップＳ７０１）。検波用の露光時間が求められていない場合（ステップＳ７０１のＮｏ）、つまり次フレームで検波用の露光が実施されない場合には本動作は終了となる。
検波用の露光時間が得られている場合（ステップＳ７０１のＹｅｓ）、この検波用の露光時間が１フレームの時間から次フレームの画像出力用の露光時間Ｔ０を差し引いた残り時間よりも長いかどうかを判定する（ステップＳ７０２）。
ここで、評価される検波用の露光時間とは、第１の検波用の露光時間Ｔ１および第２の検波用の露光時間Ｔ２のうち次フレームに追加される予定の検波用の露光時間である。例えば、第１の検波用の露光時間Ｔ１と第２の検波用の露光時間Ｔ２の両方が求められている場合は、Ｔ１＋Ｔ２の時間が、評価される検波用の露光時間となる。一方のみが追加される場合には、その追加される側の検波用の露光時間のみが評価の対象となる。
この判定で、検波用の露光時間がフレームの残り時間より長くない場合は（ステップＳ７０２のＮｏ）、本動作は終了となる。
検波用の露光時間がフレームの残り時間よりも長い場合（ステップＳ７０２のＹｅｓ）、撮像制御部６１は、次フレームでの検波用の露光時間の追加を無効にする。つまり、次フレームでの検波用の露光を停止させる（ステップＳ７０３）。これで本動作は終了となる。
以上のような検波用の露光の停止判断を採用することによって、無意味な検波用の露光が行われなくなり、ＣＰＵ１７の負担が無駄に増大することがなくなる。
＜変形例１＞
ＣＰＵ１７は、画像出力用の露光条件で撮像された出力用の画像信号と、第１の検波用画像信号および／または第２の検波用画像信号から検波部１３によって各々の生成されたヒストグラムの情報を統合して表示部１５に視覚化して表示させる。
図１６は、画像出力用の露光条件で撮像された画像信号と第１の検波用画像信号から生成された各々のヒストグラムを連続的に統合して表示させた形態を示す図である。
この例は、横軸に輝度値、縦軸に画素数を各々割り当てられた座標空間においてヒストグラムを表現した例である。輝度値のＭｉｎ（下限値）からＭａｘ（上限値）は現在の画像出力用の露光条件に基づく輝度値の範囲を示している。すなわち、この輝度値の範囲において実線は、現在の画像出力用の露光条件で撮像された画像信号のヒストグラム（以後これを「画像出力用ヒストグラムｈ１」と呼ぶ。）である。
この例では、画像出力用ヒストグラムｈ１に、低輝度側の第１の検波用画像信号から生成されたヒストグラム（以後これを「第１の検波用ヒストグラム」と呼ぶ。）の一部が連続的に統合して表示される。輝度値の範囲から低輝度側に外に延びた点線は、第１の検波用ヒストグラムから抽出された部分の検波用ヒストグラムｈ２を示している。
このような表示を実現するために、ＣＰＵ１７は、検波部１３より取得した画像出力用ヒストグラムの情報と第１の検波用ヒストグラムの情報とを比較して両ヒストグラムの輝度軸方向のずれ量を算出する。ＣＰＵ１７は、このずれ量をもとに、第１の検波用ヒストグラムから、画像出力用ヒストグラムｈ１のＭｉｎ（下限値）より低輝度側の部分に相当する検波用ヒストグラムｈ２を抽出し、画像出力用ヒストグラムｈ１の低輝度側に、点線などによって識別可能な形態で表示させる。
これにより、ユーザは、表示部に表示されたヒストグラムを見て、例えば、マニュアル調整などによって露出を合せることができる。なお、露出が適正に調整されたなら、点線などによる第１の検波用ヒストグラムの表示がなくなるので、ユーザは露出の調整が適正に完了したことを知ることができる。
なお、ここでは、低輝度側の第１の検波用画像信号から生成された第１の検波用ヒストグラムの表示について説明したが、高輝度側の第２の検波用画像信号から生成された第２の検波用ヒストグラムの表示も同様に行われる。
＜変形例２＞
以上の説明では、フレーム毎に、検波用の露光を行い、画像出力用の露光条件の制御値を補正することとしたが、例えば、Ｎフレームに１回の周期で、検波および制御値の補正を行うようにしてもよい。ここでＮは１以上の整数である。その他、所定の単位時間毎に行うようにしてもよい。
なお、本技術は以下のような構成もとることができる。
（１）撮像素子を有する撮像部と、
単位時間毎に、画像出力用の露光時間を含む露光条件で前記撮像素子を露光させて出力用の画像信号を生成させ、この出力用の画像信号をもとに前記露光条件の制御値を算出し、
前記単位時間に、前記画像出力用の露光時間より長い第１の検波用の露光時間および前記画像出力用の露光時間より短い第２の検波用の露光時間のうち少なくともいずれか一方を追加して検波用画像信号を生成させ、この検波用画像信号をもとに前記制御値を補正する制御部と
を具備する撮像装置。
（２）上記（１）に記載の撮像装置であって、
前記制御部は、
前記出力用の画像信号において、前記撮像素子のダイナミックレンジの下限値に相当する輝度値を有する画素の数が全体において占める割合が第１の閾値以上であるとき、前記第１の検波用の露光時間を追加し、前記撮像素子のダイナミックレンジの上限値に相当する輝度値を有する画素の数が前記撮像素子の有効画素全体において占める割合が第２の閾値以上であるとき、前記第２の検波用の露光時間を追加するように構成された
撮像装置。
（３）上記（１）または（２）の撮像装置であって、
前記制御部は、
前記第１の検波用の露光時間および前記第２の検波用の露光時間の少なくとも一方で撮像された前記検波用画像信号から主要被写体を検出し、
前記第１の検波用の露光時間で撮像された第１の検波用画像信号から前記主要被写体が検出された場合には前記制御値を露光量を増やすように補正し、
前記第２の検波用の露光時間で撮像された第２の検波用画像信号から前記主要被写体が検出された場合には前記制御値を露光量を減らすように補正するように構成された
撮像装置。
（４）上記（３）に記載の撮像装置であって、
前記検波用画像信号から輝度値毎の画素数を示すヒストグラムの情報を生成する検波部をさらに有し、
前記制御部は、
前記主要被写体の代表的な輝度値の前記ヒストグラムにおける位置情報を算出し、この位置情報をもとに前記制御値を補正するように構成された
撮像装置。
（５）上記（３）または（４）に記載の撮像装置であって、
前記制御部は、
前記第１の検波用画像信号および前記第２の検波用画像信号の両方から前記主要被写体が検出された場合、前記主要被写体の検出結果を比較し、この比較結果をもとに一方の前記主要被写体について算出された前記位置情報を選択し、この位置情報をもとに前記制御値を補正するように構成された
撮像装置。
（６）上記（３）ないし（５）のいずれかに記載の撮像装置であって、
前記制御部は、
前記第１の検波用画像信号から検出された前記主要被写体の代表的な輝度値が、前記ヒストグラムにおける下限値の近傍範囲にあるとき、前記第１の検波用の露光時間を延長し、
前記第２の検波用画像信号から検出された前記主要被写体の代表的な輝度値が、前記ヒストグラムにおける上限値の近傍範囲にあるとき、前記第２の検波用の露光時間を短縮するように構成された
撮像装置。
（７）上記（１）ないし（６）のいずれかに記載の撮像装置であって、
前記制御部は、
前記第１の検波用の露光時間および前記第２の検波用の露光時間が、前記単位時間から前記画像出力用の露光時間を差し引いた残り時間よりも長い場合には、前記第１の検波用の露光時間および前記第２の検波用の露光時間の追加を停止するように構成された
撮像装置。
（８）上記（４）ないし（７）のいずれかに記載の撮像装置であって、
前記制御部は、前記ヒストグラムの情報を視覚化した表示データを生成し、表示部に表示させるように構成された
撮像装置。
１…撮像装置
１１…撮像部
１２…Ａ／Ｄ変換部
１３…検波部
１４…画像処理部
１５…表示部
１６…記録デバイス
１７…ＣＰＵ
１８…操作部
２０…プログラムＲＯＭ
２１…ＲＡＭ
４１、４３…撮像レンズ
４４…撮像素子
６１…撮像制御部
６２…記録制御部
６３…被写体認識部

Claims (9)

  1. 撮像素子を有する撮像部と、
    単位時間毎に、画像出力用の露光時間を含む露光条件で前記撮像素子を露光させて出力用の画像信号を生成させ、この出力用の画像信号をもとに前記露光条件の制御値を算出し、
    前記単位時間に、前記画像出力用の露光時間より長い第１の検波用の露光時間および前記画像出力用の露光時間より短い第２の検波用の露光時間のうち少なくともいずれか一方を追加して検波用画像信号を生成させ、この検波用画像信号をもとに前記制御値を補正する制御部と
    を具備する撮像装置。
  2. 請求項１に記載の撮像装置であって、
    前記制御部は、
    前記出力用の画像信号において、前記撮像素子のダイナミックレンジの下限値に相当する輝度値を有する画素の数が全体において占める割合が第１の閾値以上であるとき、前記第１の検波用の露光時間を追加し、前記撮像素子のダイナミックレンジの上限値に相当する輝度値を有する画素の数が前記撮像素子の有効画素全体において占める割合が第２の閾値以上であるとき、前記第２の検波用の露光時間を追加するように構成された
    撮像装置。
  3. 請求項２に記載の撮像装置であって、
    前記制御部は、
    前記第１の検波用の露光時間および前記第２の検波用の露光時間の少なくとも一方で撮像された前記検波用画像信号から主要被写体を検出し、
    前記第１の検波用の露光時間で撮像された第１の検波用画像信号から前記主要被写体が検出された場合には前記制御値を露光量を増やすように補正し、
    前記第２の検波用の露光時間で撮像された第２の検波用画像信号から前記主要被写体が検出された場合には前記制御値を露光量を減らすように補正するように構成された
    撮像装置。
  4. 請求項３に記載の撮像装置であって、
    前記検波用画像信号から輝度値毎の画素数を示すヒストグラムの情報を生成する検波部をさらに有し、
    前記制御部は、
    前記主要被写体の代表的な輝度値の前記ヒストグラムにおける位置情報を算出し、この位置情報をもとに前記制御値を補正するように構成された
    撮像装置。
  5. 請求項４に記載の撮像装置であって、
    前記制御部は、
    前記第１の検波用画像信号および前記第２の検波用画像信号の両方から前記主要被写体が検出された場合、前記主要被写体の検出結果を比較し、この比較結果をもとに一方の前記主要被写体について算出された前記位置情報を選択し、この位置情報をもとに前記制御値を補正するように構成された
    撮像装置。
  6. 請求項５に記載の撮像装置であって、
    前記制御部は、
    前記第１の検波用画像信号から検出された前記主要被写体の代表的な輝度値が、前記ヒストグラムにおける下限値の近傍範囲にあるとき、前記第１の検波用の露光時間を延長し、
    前記第２の検波用画像信号から検出された前記主要被写体の代表的な輝度値が、前記ヒストグラムにおける上限値の近傍範囲にあるとき、前記第２の検波用の露光時間を短縮するように構成された
    撮像装置。
  7. 請求項６に記載の撮像装置であって、
    前記制御部は、
    前記第１の検波用の露光時間および前記第２の検波用の露光時間が、前記単位時間から前記画像出力用の露光時間を差し引いた残り時間よりも長い場合には、前記第１の検波用の露光時間および前記第２の検波用の露光時間の追加を停止するように構成された
    撮像装置。
  8. 請求項７に記載の撮像装置であって、
    前記制御部は、前記ヒストグラムの情報を視覚化した表示データを生成し、表示部に表示させるように構成された
    撮像装置。
  9. 制御部が、
    単位時間毎に、画像出力用の露光時間を含む露光条件で撮像素子を露光させて出力用の画像信号を生成させ、この出力用の画像信号をもとに前記露光条件の制御値を算出し、
    前記単位時間に、前記画像出力用の露光時間より長い第１の検波用の露光時間および前記画像出力用の露光時間より短い第２の検波用の露光時間のうち少なくともいずれか一方を追加して検波用画像信号を生成させ、この検波用画像信号をもとに前記制御値を補正する
    撮像方法。
JP2014127024A 2014-06-20 2014-06-20 撮像装置および撮像方法 Pending JP2016006930A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014127024A JP2016006930A (ja) 2014-06-20 2014-06-20 撮像装置および撮像方法
PCT/JP2015/002382 WO2015194091A1 (ja) 2014-06-20 2015-05-11 撮像装置および撮像方法
US15/314,796 US10237488B2 (en) 2014-06-20 2015-05-11 Image capturing apparatus and image capturing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014127024A JP2016006930A (ja) 2014-06-20 2014-06-20 撮像装置および撮像方法

Publications (1)

Publication Number Publication Date
JP2016006930A true JP2016006930A (ja) 2016-01-14

Family

ID=54935107

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014127024A Pending JP2016006930A (ja) 2014-06-20 2014-06-20 撮像装置および撮像方法

Country Status (3)

Country Link
US (1) US10237488B2 (ja)
JP (1) JP2016006930A (ja)
WO (1) WO2015194091A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018066454A1 (ja) * 2016-10-04 2018-04-12 富士フイルム株式会社 撮像装置、撮像方法、およびプログラム
JP2019029750A (ja) * 2017-07-27 2019-02-21 株式会社Ｊｖｃケンウッド 撮像装置
KR20200006067A (ko) 2017-05-11 2020-01-17 소니 세미컨덕터 솔루션즈 가부시키가이샤 촬상 소자 및 그 구동 방법, 그리고 전자 기기

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
PL3155099T3 (pl) 2014-06-23 2018-08-31 Regeneron Pharmaceuticals, Inc. Łączenie dna mediowane nukleazą
JP2018152777A (ja) * 2017-03-14 2018-09-27 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、撮像装置および電子機器
JP6921886B2 (ja) 2019-03-19 2021-08-18 キヤノン株式会社 情報処理装置および情報処理方法
US11257237B2 (en) * 2019-08-29 2022-02-22 Microsoft Technology Licensing, Llc Optimized exposure control for improved depth mapping

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5929908A (en) 1995-02-03 1999-07-27 Canon Kabushiki Kaisha Image sensing apparatus which performs dynamic range expansion and image sensing method for dynamic range expansion
JP3639627B2 (ja) * 1995-02-03 2005-04-20 キヤノン株式会社 画像合成装置
JP2008206111A (ja) 2007-02-23 2008-09-04 Victor Co Of Japan Ltd 撮影装置及び撮影方法
JP4341691B2 (ja) * 2007-04-24 2009-10-07 ソニー株式会社 撮像装置、撮像方法、露光制御方法、プログラム
BRPI0814365A2 (pt) * 2007-07-25 2018-07-31 Candela Microsystems S Pte Ltd controle de exposição de um sistema de imagem
JP4424403B2 (ja) * 2007-09-28 2010-03-03 ソニー株式会社 撮像装置、撮像方法及び撮像プログラム
JP4438847B2 (ja) * 2007-09-28 2010-03-24 ソニー株式会社 撮像装置、撮像制御方法及び撮像制御プログラム
JP5224898B2 (ja) * 2008-05-09 2013-07-03 キヤノン株式会社 放射線画像撮影装置及びその駆動方法
JP2011024088A (ja) 2009-07-17 2011-02-03 Sony Corp 撮像装置および撮像制御方法
KR20110076729A (ko) * 2009-12-18 2011-07-06 삼성전자주식회사 전자 셔터를 이용한 다단계 노출 이미지 획득 방법 및 이를 이용한 촬영 장치
US9584733B2 (en) * 2010-09-30 2017-02-28 Apple Inc. High dynamic range transition
JP2013021660A (ja) * 2011-07-14 2013-01-31 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP5647209B2 (ja) * 2012-11-07 2014-12-24 オリンパスイメージング株式会社 撮像装置及び撮像方法
US9197813B2 (en) * 2013-05-15 2015-11-24 Nokia Technologies Oy Method and apparatus for obtaining a digital image
US20150097978A1 (en) * 2013-10-07 2015-04-09 Qualcomm Incorporated System and method for high fidelity, high dynamic range scene reconstruction with frame stacking
US20150130967A1 (en) * 2013-11-13 2015-05-14 Nvidia Corporation Adaptive dynamic range imaging

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018066454A1 (ja) * 2016-10-04 2018-04-12 富士フイルム株式会社 撮像装置、撮像方法、およびプログラム
US10778903B2 (en) 2016-10-04 2020-09-15 Fujifilm Corporation Imaging apparatus, imaging method, and program
KR20200006067A (ko) 2017-05-11 2020-01-17 소니 세미컨덕터 솔루션즈 가부시키가이샤 촬상 소자 및 그 구동 방법, 그리고 전자 기기
JP2019029750A (ja) * 2017-07-27 2019-02-21 株式会社Ｊｖｃケンウッド 撮像装置
JP7091031B2 (ja) 2017-07-27 2022-06-27 サムスン エレクトロニクス カンパニー リミテッド 撮像装置

Also Published As

Publication number Publication date
WO2015194091A1 (ja) 2015-12-23
US20170201665A1 (en) 2017-07-13
US10237488B2 (en) 2019-03-19

Similar Documents

Publication Publication Date Title
WO2015194091A1 (ja) 撮像装置および撮像方法
JP5398156B2 (ja) ホワイトバランス制御装置およびその制御方法並びに撮像装置
US9373022B2 (en) Image processing apparatus, method of processing image, and computer-readable storage medium
JP5738080B2 (ja) 撮像装置及びその制御方法
JP5643563B2 (ja) 画像処理装置及びその制御方法
JP5939705B2 (ja) 被写体判定装置、被写体判定方法及びプログラム
US8237850B2 (en) Electronic camera that adjusts the distance from an optical lens to an imaging surface
JP6720881B2 (ja) 画像処理装置及び画像処理方法
JP2009177472A (ja) 画像処理方法、画像処理装置及び撮像装置
US9589339B2 (en) Image processing apparatus and control method therefor
US9706131B2 (en) Image combining apparatus for generating a combined image from a plurality of images, image combining system, and image combining method
JP2009118051A (ja) 信号処理装置及び信号処理プログラム
JP5882702B2 (ja) 撮像装置
JP5395650B2 (ja) 被写体領域抽出装置およびその制御方法、被写体追跡装置、並びにプログラム
JP6423668B2 (ja) 画像処理装置およびその制御方法ならびにプログラム
JP6327892B2 (ja) 撮像装置及びその制御方法
KR101792990B1 (ko) 촬상장치 및 그 제어 방법
JP5744490B2 (ja) 画像処理方法、画像処理装置、記憶媒体及びプログラム
JP2020005084A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2018046478A (ja) 画像処理装置
JP2011221680A (ja) 画像合成方法、画像合成プログラムおよび画像合成装置
JP2007333909A (ja) 電子カメラ
JP2024012828A (ja) 撮像装置およびその制御方法
JP2023110779A (ja) 撮像装置、情報処理装置、制御方法、プログラムおよび記憶媒体
JP6601062B2 (ja) 撮像制御装置、撮像制御方法及びプログラム