JP2015231095A - 撮像装置、その制御方法、および制御プログラム - Google Patents

撮像装置、その制御方法、および制御プログラム Download PDF

Info

Publication number
JP2015231095A
JP2015231095A JP2014115749A JP2014115749A JP2015231095A JP 2015231095 A JP2015231095 A JP 2015231095A JP 2014115749 A JP2014115749 A JP 2014115749A JP 2014115749 A JP2014115749 A JP 2014115749A JP 2015231095 A JP2015231095 A JP 2015231095A
Authority
JP
Japan
Prior art keywords
pixel
mode
imaging device
setting
flicker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014115749A
Other languages
English (en)
Other versions
JP6362091B2 (ja
JP2015231095A5 (ja
Inventor
谷口 英則
Hidenori Taniguchi
英則 谷口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2014115749A priority Critical patent/JP6362091B2/ja
Priority to US14/723,806 priority patent/US9854178B2/en
Publication of JP2015231095A publication Critical patent/JP2015231095A/ja
Publication of JP2015231095A5 publication Critical patent/JP2015231095A5/ja
Application granted granted Critical
Publication of JP6362091B2 publication Critical patent/JP6362091B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/745Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • H04N25/533Control of the integration time by using differing integration times for different sensor regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/581Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

【課題】被写体の光量変化特性を精度よく算出するとともに測光の際のダイナミックレンジを拡大する。【解決手段】AEセンサー111は2次元マトリックス状に配列された複数の単位画素領域を備え、単位画素領域は複数の画素を有し、AEセンサーは複数の画素の出力を合成して画像信号を出力する。カメラCPU119の制御下で、AECPU118は単位画素領域において複数の画素毎に蓄積時間を設定し、フリッカー光源のフリッカー周期においてAEセンサーで複数の撮像を行ってフリッカー周期とそのピーク位置を検出するフリッカー検出モードとAEセンサーで撮像を行って被写体輝度を検出するための被写体輝度検出モードとのいずれかを選択する。フリッカー検出モードを選択すると、AECPUはAEセンサーを制御して単位画素領域の全てにおいて複数の画素における同一の画素について蓄積時間の重心位置を一致させる。【選択図】図1

Description

本発明は、撮像装置、その制御方法、および制御プログラムに関し、特に、被写体の光量変化特性を算出するとともにダイナミックレンジを拡大することのできる撮像装置に関する。
従来、デジタルカメラなどの撮像装置において、交流点灯による照明などに起因する被写体からの光の周期的な光量変化(フリッカー)による露光ムラを抑制することが行われている。例えば、電荷蓄積型の測光素子に、測光のための第1蓄積時間と光源の周期的な輝度変化に起因するフリッカーを検出するための第2蓄積時間とのいずれか一方で電荷の蓄積を行わせるようにした撮像装置がある。この撮像装置では、第1蓄積時間で蓄積された測光素子からの出力に基づいて、測光を行い、第2蓄積時間で蓄積された測光素子からの出力に基づいてフリッカー検出を行うようにしている(特許文献1参照)。
さらに、撮像装置に備えられた撮像部において、画像にフリッカーを発生させる原因となる光源に与えられる電源の周波数を検出するためのフリッカー検出用蓄積を行うとともに、フリッカー検出用蓄積以外の通常の撮像用蓄積を行うようにしたものがある(特許文献2参照)。
また、光源の発光周期と位相とを測定して、光源の発光周期に応じて光量が大きくなるタイミングで電子シャッターとメカニカルシャッターとを同期させて動作させるようにした撮像装置がある(特許文献3参照)。
一方、撮像装置において撮影の結果得られた画像におけるダイナミックレンジを拡大するため、撮像装置に備えられた撮像素子に互いに感度の異なる複数の画素を配列するようにしたものがある。そして、この撮像装置では、一回の露光動作においてダイナミックレンジの広い画像を生成するようにしている。
特開2012−235325号公報 特開2013−42298号公報 特開2004−193922号公報
ところが、フリッカーの検出といった被写体の光量変化特性の算出と測光におけるダイナミックレンジの拡大とを両立させることは困難であり、測光の際のダイナミックレンジを拡大しようとすれば、被写体の光量変化特性を正確に算出することは困難である。
従って、本発明の目的は、被写体の光量変化特性を精度よく算出するとともに、測光の際のダイナミックレンジを拡大することのできる撮像装置、その制御方法、および制御プログラムを提供することにある。
上記の目的を達成するため、本発明による撮像装置は、2次元マトリックス状に配列された複数の単位画素領域を備える撮像素子を備え、前記撮像素子から画像信号を得る撮像装置であって、前記単位画素領域に含まれる第1の画素と第2の画素の蓄積時間をそれぞれ設定する設定手段と、被写体からの光の光量変化特性を算出するために用いる画像信号を取得する第1のモードと被写体輝度を検出するために用いる画像信号を取得する第2のモードとのいずれかを選択するモード選択手段と、を有し、前記設定手段は、前記モード選択手段によって前記第1のモードが選択された場合、複数の前記単位画素領域に含まれる複数の前記第1の画素の蓄積時間の重心位置である第1の重心位置と、複数の前記単位画素領域に含まれる複数の前記第2の画素の蓄積時間の重心位置である第2の重心位置とが一致するように、前記第1の画素と前記第2の画素の蓄積時間を設定することを特徴とする。
本発明による制御方法は、2次元マトリックス状に配列された複数の単位画素領域を備える撮像素子を備え、前記撮像素子から画像信号を得る撮像装置の制御方法であって、前記単位画素領域に含まれる第1の画素と第2の画素の蓄積時間をそれぞれ設定する設定ステップと、被写体からの光の光量変化特性を算出するために用いる画像信号を取得する第1のモードと被写体輝度を検出するために用いる画像信号を取得する第2のモードとのいずれかを選択するモード選択ステップと、を有し、前記設定ステップは、前記モード選択ステップで前記第1のモードが選択された場合、複数の前記単位画素領域に含まれる複数の前記第1の画素の蓄積時間の重心位置である第1の重心位置と、複数の前記単位画素領域に含まれる複数の前記第2の画素の蓄積時間の重心位置である第2の重心位置とが一致するように、前記第1の画素と前記第2の画素の蓄積時間を設定することを特徴とする。
本発明による制御プログラムは、2次元マトリックス状に配列された複数の単位画素領域を備える撮像素子を備え、前記撮像素子から画像信号を得る撮像装置で用いられる制御プログラムであって、前記撮像装置が備えるコンピュータに、前記単位画素領域に含まれる第1の画素と第2の画素の蓄積時間をそれぞれ設定する設定ステップと、被写体からの光の光量変化特性を算出するために用いる画像信号を取得する第1のモードと被写体輝度を検出するために用いる画像信号を取得する第2のモードとのいずれかを選択するモード選択ステップと、を実行させ、前記設定ステップは、前記モード選択ステップで前記第1のモードが選択された場合、複数の前記単位画素領域に含まれる複数の前記第1の画素の蓄積時間の重心位置である第1の重心位置と、複数の前記単位画素領域に含まれる複数の前記第2の画素の蓄積時間の重心位置である第2の重心位置とが一致するように、前記第1の画素と前記第2の画素の蓄積時間を設定することを特徴とする。
本発明によれば、被写体の光量変化特性を精度よく算出するとともに測光の際のダイナミックレンジを拡大することのできる撮像装置を提供することができる。
本発明の実施の形態による撮像装置の一例についてその構成を示す断面図である。 図1に示すAEセンサーの構成についてその一例を示すブロック図である。 図2に示すAEセンサーの動作を説明するためのタイミング図である。 図2に示すAEセンサーの出力と輝度(EV)との関係を説明するための図であり、(a)は合成前の状態を示す図、(b)は合成後の状態を示す図である。 図1に示すカメラで行われる被写体輝度検出モードおよびフリッカー検出モードにおける蓄積および読み出しとフリッカー光源との関係を説明するための図であり、(a)は被写体輝度検出モードにおける蓄積および読み出しとフリッカー光源との関係を示す図、(b)はフリッカー検出モードにおける蓄積および読み出しとフリッカー光源との関係を示す図である。 図1に示すカメラで行われる撮影処理を説明するためのフローチャートである。
以下に、本発明の実施の形態による撮像装置の一例について図面を参照して説明する。
図1は、本発明の実施の形態による撮像装置の一例についてその構成を示す断面図である。
図示の撮像装置は、所謂デジタル一眼レフカメラ(以下単にカメラと呼ぶ)であり、カメラ本体101と撮影レンズユニット(以下単に撮影レンズと呼ぶ)102とを有している。そして、撮影レンズ102はカメラ本体101の前面に装着される。撮影レンズ102はカメラ本体101に対して交換可能であって、カメラ本体101と撮影レンズ102とはマウント接点群112を介して電気的に接続される。
撮影レンズ102は絞り113を備えており、当該絞り113によってカメラ本体101に入射する光量が調整される。さらに、撮影レンズ102はフォーカシングレンズ116を備えており、フォーカシングレンズ116を光軸に沿って移動させて焦点調節が行われる。なお、撮影レンズ102にはレンズCPU120が備えられ、レンズCPU120はマウント接点部112によって、カメラ本体101に備えられたカメラCPU119と接続される。
カメラ本体101にはメインミラー103が配置されており、このメインミラー103は、例えば、ハーフミラーである。メインミラー103はファインダー観察状態においては撮影光路(つまり、光軸)上に斜めに位置づけられる。これによって、メインミラー103は撮影レンズ102から入射した光学像をファインダー光学系に反射する一方、メインミラー103を透過した透過光はサブミラー104を介してAFユニット105に入射する。
なお、撮影状態となると、メインミラー103およびサブミラー104は撮影光路外に退避される。
図示の例では、AFユニット105は所謂位相差検出方式のAFセンサーである。なお、位相差方式による焦点検出については既知であるので、詳細な制御に関しては説明を省略する。位相差方式による焦点検出においては、撮影レンズ102の二次結像面が焦点検出ラインセンサー上に形成される。これによって、撮影レンズ102の焦点調節状態を検出して、当該検出結果に応じてフォーカシングレンズ116を駆動して自動焦点検出が行われる。
サブミラー104の後側には、フォーカルプレーンシャッター107、ローパスフィルター106、および撮像素子108が配置されている。また、メインミラー109の上側には、ピント板109が配置されている。ピント板109はファインダー光学系を構成し、撮影レンズ102の予定結像面に配置される。
ピント板109の上側にはファインダー光路変更用のペンタプリズム110が配置される。そして、ペンタプリズムを通過した光学像はアイピース114に送られる。これによって、撮影者はアイピース114からピント板109を観察することによって、破線で示すように撮影画面を確認することができる。
さらに、ペンタプリズム110を介して実線で示すように光学像がAEセンサー111に入射する。これによって、AEセンサー111は光学像(つまり、被写体像)の明るさを測光する。AECPU118は、AEセンサー111を制御して、AEセンサー111による測光結果を読み出す。そして、AECPU118は後述するようにして、被写体からの光の光量変化周期や光量が所定の条件を満たすタイミング(例えば、光量が最大や最少となるタイミング)などの光量変化特性を算出する変化特性演算(以下、フリッカー検出演算とする)を行う。さらに、AECPU118は後述するようにして、被写体輝度検出演算を行う。なお、AECPU118は双方向通信ライン(図示せず)によって後述するカメラ用CPU119と接続されている。
カメラ本体101には内蔵LCD115が配置されており、この内蔵LCD115は各種の撮影情報を表示するために用いられる。撮影者であるユーザーがアイピース114を覗いている際には、ユーザーは内蔵LCD115によって露出条件などの撮影情報を確認することができる。ここでは、図中一点鎖線で示すように、ユーザーがアイピース114を覗くと画面下側に各種の撮影情報が表示される。
カメラ本体101の後面にはディスプレイユニット117が配置されている。このディスプレイユニット117は、例えば、液晶パネルによって構成される。ディスプレイユニット117には、撮影の結果得られた画像が表示される。さらには、撮像素子108で得られた画像信号をリアルタイムにディスプレイユニット117に表示すれば、ユーザーは被写体の様子を観測することができる。
カメラCPU119はカメラ全体の制御を行うカメラ用マイコンであって、AECPU118、レンズCPU120、画像処理チップ、AFCPU、および各種のスイッチ(ともに図とせず)などと接続されている。
レンズCPU120は、前述のように、カメラCPU120とマウント接点部112を介して接続され、カメラCPU129の制御下で、撮影レンズ102のフォーカスおよび絞り駆動などのレンズ制御を行う。
図2は、図1に示すAEセンサー111の構成についてその一例を示すブロック図である。図示のAEセンサー111は、例えば、CMOSセンサー又はCCDなどの撮像素子であり、ここでは簡略化のため、AEセンサー111はCMOSセンサーであり、2行×2列の画素配列で示されている。
AEセンサー111は単位ユニットを構成する単位画素領域(以下単に単位画素と呼ぶ)201を有しており、これら単位画素201は2次元マトリックス状に配列されている。単位画素201の各々は高感度画素202と、当該高感度画素202よりも感度が低い低感度画素203を有している。図示の例では、高感度画素202および低感度画素203は互いに画素面積(受光面積)が異なり、これによって感度に差が設定される。
図示はしないが、これら高感度画素202および低感度画素203の各々はフォトダイオード、画素アンプ、浮遊容量(以下FD容量という)を有している。さらに、フォトダイオードおよびFD容量をリセットするためのリセットトランジスタ、および画素アンプを選択するための選択トランジスタを有している。なお、CMOSセンサーの構成については、既知であるので、ここでは、詳細な説明は省略する。
なお、高感度画素202および低感度画素203の画素面積を同一として、配線層によって開口部の面積を異ならせるようにしてもよく、さらには、フィルターの透過率を異ならせて、感度に差を設定するようにしてもよい。また、ここでは、単位画素201は互いに感度が異なる2つの画素を備えているが、互いに感度が異なる3つ以上の画素で単位画素201を構成するようにしてもよい。さらには、単位画素201を1つの画素で構成するようにしてもよい。
図示のAEセンサー111においては、列毎にAD変換器204(AD0_H、AD0_L、AD1_H、およびAD1_L)が配置されており、これによって、1行毎に画素信号をAD変換することができる。合成部205は、高感度画素202および低感度画素203の出力である画素信号を単位画素201毎に合成して出力する。
高感度画素202および低感度画素203はリセット信号206によってリセットされる。ここでは、高感度画素202はリセット信号RES0_H又はRES1_Hによってリセットされ、低感度画素203はリセット信号RES0_L又はRES1_Lによってリセットされる。AECPU118は高感度画素202および低感度画素203をそれぞれ異なるタイミングでリセット制御することができる。
高感度画素202および低感度画素203の各々においてフォトダイオードに蓄積された電荷は転送制御信号207によってFD容量に転送される。ここでは、高感度画素202および低感度画素203の各々において、転送制御信号TX0又はTX1によって電荷がFD容量に転送される。
高感度画素202および低感度画素203の各々において、画素アンプは選択信号208によって選択制御される。ここでは、高感度画素202および低感度画素203の各々において、選択信号SEL0又はSEL1によって画素アンプが選択制御される。画素アンプはFD容量に転送された電荷を電圧に変換するためのものであり、選択信号208によって画素アンプの出力が選択されて、AD変換器204に与えられる。なお、リセット信号206、転送制御信号207、および選択信号208は行毎に制御される。
なお、AEセンサー111が図2に示した全てのブロックを有していなくてもよく、例えばAECPU118が合成部205を有していてもよい。
図3は、図2に示すAEセンサー111の動作を説明するためのタイミング図である。
ここでは、AEセンサー111における電荷の蓄積および読み出しについて既知のローリングシャッターによる制御によって説明する。図3において、横軸は時間の経過を示しており、ローリングシャッターの動作に応じて、行単位で画素のリセット、蓄積、転送、AD変換、画素合成、および読み出しが連続的に行われる。なお、ここでは、AEセンサー111の単位画素配列は4行×4列であるとして説明する。
また、縦軸は垂直走査の順序を示しており、高感度0および低感度0から、高感度3および低感度3まで順次走査が行われる。画素リセット301のタイミングで、1行目から順次ローリングリセット動作が行われる。なお、高感度画素と低感度画素とは、互いに異なるタイミングで画素リセット動作が行われる。すなわち、高感度画素と低感度画素とは、互いに異なるタイミングで露光(電荷蓄積)が開始される。
ここでは、画素毎に蓄積時間が設定される。例えば、低感度画素における蓄積時間304は、高感度画素の蓄積時間302と同一又は高感度画素の蓄積時間302よりも短い時間に設定される。これによって、ダイナミックレンジの広い出力を得ることができる。
電荷の転送タイミングは、同じ単位画素領域内では高感度画素と低感度画素とで同一である。すなわち、高感度画素と低感度画素とは、同一のタイミングで露光(電荷蓄積)が終了される。
高感度画素の蓄積時間重心303は、1行目の高感度画素の蓄積開始から4行目の高感度画素の蓄積終了までの時間の重心を示し、1フレームにおける高感度画素全体の蓄積時間の中心を示す重心位置である。低感度画素の蓄積時間重心305は、1行目の低感度画素の蓄積開始から4行目の低感度画素の蓄積終了までの時間の重心を示し、1フレームにおける低感度画素全体の蓄積時間の中心を示す重心位置である。高感度画素および低感度画素の蓄積時間を異ならせると、両者の蓄積時間の重心位置は異なることになる。
図4は、図2に示すAEセンサー111の出力と輝度(EV)との関係を説明するための図である。そして、図4(a)は合成前の状態を示す図であり、図4(b)は合成後の状態を示す図である。
図4において、縦軸は画素の出力を示し、横軸はEV(exposure value)値を示す。図4(a)において、高感度画素は所定の蓄積時間に設定され、画素出力(つまり、画素信号)306を出力する。ここでは、Ev2からEv12程度まで画素出力306が得られる。低感度画素の蓄積時間を高感度画素の蓄積時間と一致させると、低感度画素から画素出力307が出力される。
ここで、高感度画素と低感度画素との感度差を8倍とすると、Ev5からEv15程度まで画素出力307が得られる。そして、画素出力306および307を合成すれば、Ev2からEv15まで3段程度ダイナミックレンジが拡大した合成出力が得られる。
一方、低感度画素の蓄積時間を高感度画素の蓄積時間の1/8に設定すると、低感度画素は画素出力308を出力する。ここでは、Ev8からEv18程度まで画素出力308が得られることを示している。そして、画素出力306および308を合成すれば、Ev2からEv18までさらに3段ダイナミックレンジが拡大した合成出力が得られる。
このように、低感度画素の蓄積時間を高感度画素の蓄積時間よりも短く設定することによって、単位画素のダイナミックレンジを広げることができる。また、両者の感度が同一であっても、蓄積時間に差を設けるようにすれば、蓄積時間の差に応じてダイナミックレンジを拡大することができる。
図2で説明した合成部205は、高感度画素の画素出力を所定値、例えば、512カウントと比較する。そして、高感度画素の画素出力が所定値以下であると、合成部205は高感度画素の画素出力を選択して当該画素出力を出力する。
一方、高感度画素の画素出力が所定値よりも大きいと、合成部205は低感度画素の画素出力を選択する。この際、合成部205は感度差および蓄積時間の比に応じて、低感度画素の画素出力をゲイン補正した後に出力する。
図4(b)に示す合成後の画素出力309において、実線の部分は高感度画素の画素出力を示し、破線の部分はゲイン補正された低感度画素の画素出力を示す。このようにして、合成部205によって低感度画素の画素出力をゲイン補正することによって、後段における補正が不要となって、信号処理を簡単にすることができる。
図5は、図1に示すカメラで行われる被写体輝度検出モードおよびフリッカー検出モードにおける蓄積および読み出しとフリッカー光源との関係を説明するための図である。フリッカー検出モードとは、被写体からの光の光量変化周期や光量が所定の条件を満たすタイミング(例えば、光量が最大や最少となるタイミング)などの光量変化特性を算出する際に用いる画像信号を取得するモードである。そして、図5(a)は被写体輝度検出モードにおける蓄積および読み出しとフリッカー光源との関係を示す図であり、図5(b)はフリッカー検出モードにおける蓄積および読み出しとフリッカー光源との関係を示す図である。なお、ここでは、フリッカー光源の一例として、周波数50Hzで点灯する光源を例に挙げて説明する。
いま、後述するフリッカー検出モードにおいてフリッカー光源が検出された場合には、被写体検出モードにおいては、フリッカーの影響を除去して平均測光値が得られるように蓄積時間が設定されて測光が行われる。図5(a)に示す例では、高感度画素の蓄積時間は20ms、低感度画素の蓄積時間は10msに設定される。つまり、ここでは、蓄積時間はそれぞれフリッカー周期のn倍(所定倍)に設定されて、それぞれフリッカーの影響が除去された平均測光値(AEave)を得ることができる。
この際、高感度画素と低感度画素とにおいて蓄積時間に差を設けるようにすれば、広いダイナミックレンジを得ることができる。そして、蓄積時間の差を、被写体輝度およびフリッカー検出の有無に応じて設定すれば、さらに広いダイナミックレンジを得ることができる。
図5(b)に示す例では、周波数50Hzのフリッカー光源を600Hzのフレームレートで測光した例が示されている。600Hzのフレームレートにおいては、周波数50Hzのフリッカー光源では12フレーム分測光すれば、フリッカー光源の2周期分をサンプリングすることができる。なお、周波数60Hzのフリッカー光源では、10フレーム分測光すれば、フリッカー光源の2周期分をサンプリングすることができる。
フリッカー光源の2周期分を測光するようにすれば、AECPU118はサンプリング開始時点t0からフリッカー光源のピーク位置tpeakまでの時間を求めて、2周期分の各々のピーク位置の時間差に応じてフリッカー光源の周波数を検出することができる。ピーク位置tpeakは、真のピーク位置tpeakを跨ぐ複数のサンプリングポイントのデータを用いて補間演算などによって求めることができる。補間演算の詳細については既知の方法が種々提案されているので、ここでは説明を省略する。
サンプリング開始時点t0を起点として、ピーク位置tpeakおよびフリッカー周期が分かれば、AECPU118はシャッター107を動作させるための同期信号(フリッカー同期信号)をピーク位置tpeakの周期に合わせて生成する。なお、同期信号はシャッター107の動作のタイムラグなども考慮して生成される。これによって、フリッカー同期信号を用いて、本露光のシャッタータイミングをフリッカー光源のピーク位置tpeakに同期させることが可能になって、フリッカー光源下においても高速シャッターを用いてフリッカーを抑制した撮影を行うことができる。
また、フリッカー検出モードにおいては、前述のように、600Hzなどの高フレームレートで測光を行うので、蓄積時間は1.66msまでの設定となる。このため、低輝度まで検出するためには、単位画素の出力を全画素又は所定のブロックに区切って加算して、S/N比を向上させることが必要になる。
上述のAEセンサー111においては、ダイナミックレンジを広くするため単位画素に複数の感度の異なる画素を備えるとともに、これら画素の蓄積時間を異ならせて、ダイナミックレンジを拡大するようにしている。
一方、画素の蓄積時間を異ならせてダイナミックレンジを拡大しようとすると、図2に示す合成部205によって合成処理を行う関係上、合成後の画素出力が得られるのみである。そして、AEセンサー111で得られた画像の全画面又は所定のブロックにおいては、蓄積時間の異なる画素信号が混在することになって、全画面又はブロックにおいて蓄積時間の重心位置を正確に推定することができない。このため、フリッカー検出の精度が悪化してしまう。
このため、図5(b)に示すように、高感度画素および低感度画素のローリングリセットのタイミングを同一として、蓄積時間の重心位置が合成部205による合成処理に拘わらず変化しないようにする。つまり、高感度画素および低感度画素における蓄積および読み出し制御が略同一に行われるようにして、合成部205における合成処理に拘わらず正確にフリッカー検出を行うことができるようにする。
図6は、図1に示すカメラで行われる撮影処理を説明するためのフローチャートである。なお、図示のフローチャートに係る処理は、カメラCPU119の制御下で行われる。
撮影処理を開始すると、カメラ用CPU119はAECPU118に測光動作の開始を指示する。これによって、AECPU118は測光動作を開始する。まず、AECPU118はフリッカー光源の有無、そして、ピーク位置およびフリッカー周期を検出するためのフリッカー検出モードを実行するようにAEセンサー111を制御する。そして、AECPU118はAEセンサー111から画像信号を得る(ステップS601)。
次に、AECPU118は画像信号についてフリッカー検出演算を行って、フリッカーの有無、そして、ピーク位置およびフリッカー周期を求める(ステップS602)。そして、AECPU118はフリッカー検出結果をチェックして、フリッカーが検出されたか否かを判定する(ステップS603)。フリッカーが検出されると(ステップS603において、YES)、AECPU118は、検出の結果得られたピーク位置およびフリッカー周期に応じて、前述のフリッカー同期信号を生成して、当該フリッカー同期信号をカメラCPU119に出力する(ステップS604)。
続いて、AECPU118は、前述の被写体輝度検出モードを行って、被写体輝度を測光する(ステップS605)。なお、フリッカーが検出されないと(ステップS603において、NO)、AECPU118はステップS605の処理に進む。
被写体輝度検出モードの実行によって、AEセンサー111からダイナミックレンジの広い画像信号を得ることができるので、飽和および黒つぶれによる誤検出が防止されて測光精度の向上させることができる。なお、AE用CPU118は、フリッカー検出モードおよび被写体輝度検出モードが完了すると、その旨をカメラCPU119に通知する。
次に、カメラCPU119は、レリーズボタン(図示せず)が全押しされてスイッチSW2がオンしたか否かを判定する(ステップS606)。スイッチSW2がオフであると(ステップS606において、NO)、カメラCPU119はステップS601の処理に戻って、AECPU118にフリッカー検出モードを行わせる。
スイッチSW2がオンとなると(ステップS606において、YES)、カメラCPU119は被写体輝度検出モードで得られた被写体輝度検出結果をAECPU118から受けて、当該検出結果に応じて露光条件を決定して、シャッタースピード、絞り、およびISO感度を設定する(ステップS607)。そして、カメラCPU119はフリッカー検出結果を参照してフリッカーが検出されているか否かを判定する(ステップS608)。
フリッカーが検出されていると(ステップS608において、YES)、カメラCPU11はフリッカー同期信号に応じてフリッカーピーク位置に同期させてシャッターを動作させて撮像素子108を露光する(ステップS609)。そして、カメラCPU119は撮影処理を終了する。
一方、フリッカー検出されていないと(ステップS608において、NO)、カメラCPU119はシャッターを動作させて撮像素子108を露光して(ステップS610)、撮影処理を終了する。
このように、本発明の実施の形態では、AEセンサー111の単位画素に備えられた互いに感度の異なる複数の画素においてその蓄積時間をフリッカー検出モードと被写体輝度検出モードとで異ならせる。これによって、フリッカーを抑制するとともに、測光又は撮像の際のダイナミックレンジを拡大することができる。
上述の説明から明らかなように、図1に示す例では、AEセンサー111は撮像素子であり、AECPU118およびカメラCPU119は設定手段、モード選択手段として機能する。
以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
例えば、上記の実施の形態の機能を制御方法として、この制御方法を撮像装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを撮像装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。
上記の制御方法および制御プログラムの各々は、少なくとも設定ステップ、モード選択ステップ、および制御ステップを有している。
また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPUなど)がプログラムを読み出して実行する処理である。
102 撮影レンズ
103 メインミラー
105 AFユニット
107 シャッター
108 撮像素子
111 AEセンサー
118 AECPU
117 ディスプレイユニット
119 カメラCPU
120 レンズCPU

Claims (8)

  1. 2次元マトリックス状に配列された複数の単位画素領域を備える撮像素子を備え、前記撮像素子から画像信号を得る撮像装置であって、
    前記単位画素領域に含まれる第1の画素と第2の画素の蓄積時間をそれぞれ設定する設定手段と、
    被写体からの光の光量変化特性を算出するために用いる画像信号を取得する第1のモードと被写体輝度を検出するために用いる画像信号を取得する第2のモードとのいずれかを選択するモード選択手段と、を有し、
    前記設定手段は、前記モード選択手段によって前記第1のモードが選択された場合、複数の前記単位画素領域に含まれる複数の前記第1の画素の蓄積時間の重心位置である第1の重心位置と、複数の前記単位画素領域に含まれる複数の前記第2の画素の蓄積時間の重心位置である第2の重心位置とが一致するように、前記第1の画素と前記第2の画素の蓄積時間を設定することを特徴とする撮像装置。
  2. 前記設定手段は、前記モード選択手段によって前記第1のモードが選択された場合、前記第1の画素と前記第2の画素の蓄積時間を同一の長さに設定することを特徴とする請求項1に記載の撮像装置。
  3. 前記設定手段は、前記モード選択手段によって前記第2のモードが選択された場合、前記第1の重心位置と前記第2の重心位置とが一致しないように、前記第1の画素と前記第2の画素の蓄積時間を設定することを特徴とする請求項1又は2に記載の撮像装置。
  4. 前記設定手段は、前記モード選択手段によって前記第2のモードが選択された場合、記第1の画素と前記第2の画素の蓄積時間を互いに異なる長さに設定することを特徴とする請求項1〜3のいずれか1項に記載の撮像装置。
  5. 前記第1の画素と前記第2の画素は互いに感度が異なることを特徴とする請求項1〜4のいずれか1項に記載の撮像装置。
  6. 前記設定手段は、前記モード選択手段によって前記第2のモードが選択された場合、前記第1の画素と前記第2の画素のうち、感度の高い方が蓄積時間の長さが長くなるように設定することを特徴とする請求項5に記載の撮像装置。
  7. 2次元マトリックス状に配列された複数の単位画素領域を備える撮像素子を備え、前記撮像素子から画像信号を得る撮像装置の制御方法であって、
    前記単位画素領域に含まれる第1の画素と第2の画素の蓄積時間をそれぞれ設定する設定ステップと、
    被写体からの光の光量変化特性を算出するために用いる画像信号を取得する第1のモードと被写体輝度を検出するために用いる画像信号を取得する第2のモードとのいずれかを選択するモード選択ステップと、を有し、
    前記設定ステップは、前記モード選択ステップで前記第1のモードが選択された場合、複数の前記単位画素領域に含まれる複数の前記第1の画素の蓄積時間の重心位置である第1の重心位置と、複数の前記単位画素領域に含まれる複数の前記第2の画素の蓄積時間の重心位置である第2の重心位置とが一致するように、前記第1の画素と前記第2の画素の蓄積時間を設定することを特徴とする制御方法。
  8. 2次元マトリックス状に配列された複数の単位画素領域を備える撮像素子を備え、前記撮像素子から画像信号を得る撮像装置で用いられる制御プログラムであって、
    前記撮像装置が備えるコンピュータに、
    前記単位画素領域に含まれる第1の画素と第2の画素の蓄積時間をそれぞれ設定する設定ステップと、
    被写体からの光の光量変化特性を算出するために用いる画像信号を取得する第1のモードと被写体輝度を検出するために用いる画像信号を取得する第2のモードとのいずれかを選択するモード選択ステップと、を実行させ、
    前記設定ステップは、前記モード選択ステップで前記第1のモードが選択された場合、複数の前記単位画素領域に含まれる複数の前記第1の画素の蓄積時間の重心位置である第1の重心位置と、複数の前記単位画素領域に含まれる複数の前記第2の画素の蓄積時間の重心位置である第2の重心位置とが一致するように、前記第1の画素と前記第2の画素の蓄積時間を設定することを特徴とする制御プログラム。
JP2014115749A 2014-06-04 2014-06-04 撮像装置、その制御方法、および制御プログラム Active JP6362091B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014115749A JP6362091B2 (ja) 2014-06-04 2014-06-04 撮像装置、その制御方法、および制御プログラム
US14/723,806 US9854178B2 (en) 2014-06-04 2015-05-28 Image pickup apparatus with flicker detection and having plurality of unit pixel areas, control method therefor, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014115749A JP6362091B2 (ja) 2014-06-04 2014-06-04 撮像装置、その制御方法、および制御プログラム

Publications (3)

Publication Number Publication Date
JP2015231095A true JP2015231095A (ja) 2015-12-21
JP2015231095A5 JP2015231095A5 (ja) 2017-07-06
JP6362091B2 JP6362091B2 (ja) 2018-07-25

Family

ID=54770579

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014115749A Active JP6362091B2 (ja) 2014-06-04 2014-06-04 撮像装置、その制御方法、および制御プログラム

Country Status (2)

Country Link
US (1) US9854178B2 (ja)
JP (1) JP6362091B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017139752A (ja) * 2016-01-29 2017-08-10 パナソニックIpマネジメント株式会社 撮像装置
JP2017153069A (ja) * 2016-02-22 2017-08-31 キヤノン株式会社 撮像装置及び再生装置
WO2018105474A1 (ja) * 2016-12-08 2018-06-14 パナソニックIpマネジメント株式会社 固体撮像装置および撮像装置
US11637976B2 (en) 2016-01-22 2023-04-25 Panasonic Intellectual Property Management Co., Ltd. Imaging device
US11895419B2 (en) 2014-10-08 2024-02-06 Panasonic Intellectual Property Management Co., Ltd. Imaging device

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9686488B2 (en) 2015-09-30 2017-06-20 Semiconductor Components Industries, Llc Imaging systems with flicker mitigation and high dynamic range
CN109076177B (zh) * 2016-05-30 2021-06-15 索尼公司 图像拾取装置、固态图像拾取元件和图像拾取装置的控制方法
JP6827801B2 (ja) * 2016-12-26 2021-02-10 キヤノン株式会社 撮像装置および制御方法
ES2981443T3 (es) 2019-04-25 2024-10-08 Beijing Ruisizhixin Tech Co Ltd Sensor de visión delta
ES2962472T3 (es) * 2020-06-26 2024-03-19 Alpsentek Gmbh Sensor de imagen delta con almacenamiento de píxeles digital
RS64457B1 (sr) 2020-08-14 2023-09-29 Alpsentek Gmbh Senzor slike sa konfigurabilnim piksel kolom i postupak
US12078538B2 (en) 2021-02-01 2024-09-03 Spectricity Detection of light source distortion in an imaging system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007288522A (ja) * 2006-04-17 2007-11-01 Fujifilm Corp 撮像装置及び固体撮像素子駆動方法
JP2008011226A (ja) * 2006-06-29 2008-01-17 Kyocera Corp 撮像装置のフリッカ検出方法と装置
JP2009027512A (ja) * 2007-07-20 2009-02-05 Fujifilm Corp 撮像装置
US20110267506A1 (en) * 2010-04-29 2011-11-03 Jan Klijn Method for processing an image signal for double or multiple exposure cameras
WO2012002298A1 (ja) * 2010-06-30 2012-01-05 富士フイルム株式会社 撮像装置および撮像方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004193922A (ja) 2002-12-11 2004-07-08 Sharp Corp カメラ装置
US8525917B2 (en) 2007-08-06 2013-09-03 Canon Kabushiki Kaisha Image sensing apparatus with plural focus detection pixel groups
US8441551B2 (en) * 2008-11-14 2013-05-14 Ati Technologies Ulc Flicker detection circuit for imaging sensors that employ rolling shutters
US9100580B2 (en) * 2009-08-25 2015-08-04 Robert Bosch Gmbh Digital camera system and method
JP2011091775A (ja) * 2009-10-26 2011-05-06 Toshiba Corp 固体撮像装置
US20110292241A1 (en) * 2010-05-30 2011-12-01 Logitech Europe S.A. Extended flicker cancellation for auto exposure for a video camera
JP2012235325A (ja) 2011-05-02 2012-11-29 Nikon Corp 撮像装置
JP2013042298A (ja) 2011-08-12 2013-02-28 Nikon Corp 撮像装置及びフリッカー発生周波数検出方法
JP2013121099A (ja) * 2011-12-08 2013-06-17 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2013219708A (ja) * 2012-04-12 2013-10-24 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US9083887B2 (en) * 2013-04-08 2015-07-14 Samsung Electronics Co., Ltd. Image capture devices configured to generate compensation gains based on an optimum light model and electronic apparatus having the same
US20150130967A1 (en) * 2013-11-13 2015-05-14 Nvidia Corporation Adaptive dynamic range imaging
US9407832B2 (en) * 2014-04-25 2016-08-02 Himax Imaging Limited Multi-exposure imaging system and method for eliminating rolling shutter flicker

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007288522A (ja) * 2006-04-17 2007-11-01 Fujifilm Corp 撮像装置及び固体撮像素子駆動方法
JP2008011226A (ja) * 2006-06-29 2008-01-17 Kyocera Corp 撮像装置のフリッカ検出方法と装置
JP2009027512A (ja) * 2007-07-20 2009-02-05 Fujifilm Corp 撮像装置
US20110267506A1 (en) * 2010-04-29 2011-11-03 Jan Klijn Method for processing an image signal for double or multiple exposure cameras
WO2012002298A1 (ja) * 2010-06-30 2012-01-05 富士フイルム株式会社 撮像装置および撮像方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11895419B2 (en) 2014-10-08 2024-02-06 Panasonic Intellectual Property Management Co., Ltd. Imaging device
US11637976B2 (en) 2016-01-22 2023-04-25 Panasonic Intellectual Property Management Co., Ltd. Imaging device
US12022215B2 (en) 2016-01-22 2024-06-25 Panasonic Intellectual Property Management Co., Ltd. Imaging device
JP2017139752A (ja) * 2016-01-29 2017-08-10 パナソニックIpマネジメント株式会社 撮像装置
US11552115B2 (en) 2016-01-29 2023-01-10 Panasonic Intellectual Property Management Co., Ltd. Imaging device including photoelectric converters and capacitive element
US12021094B2 (en) 2016-01-29 2024-06-25 Panasonic Intellectual Property Management Co., Ltd. Imaging device including photoelectric converters and capacitor
JP2017153069A (ja) * 2016-02-22 2017-08-31 キヤノン株式会社 撮像装置及び再生装置
WO2018105474A1 (ja) * 2016-12-08 2018-06-14 パナソニックIpマネジメント株式会社 固体撮像装置および撮像装置

Also Published As

Publication number Publication date
JP6362091B2 (ja) 2018-07-25
US20150358570A1 (en) 2015-12-10
US9854178B2 (en) 2017-12-26

Similar Documents

Publication Publication Date Title
JP6362091B2 (ja) 撮像装置、その制御方法、および制御プログラム
JP6220225B2 (ja) 撮像装置、撮像装置の制御方法、プログラム、及び記録媒体
JP2008187615A (ja) 撮像素子、撮像装置、制御方法、及びプログラム
US9380200B2 (en) Image pickup apparatus and control method in which object searching based on an image depends on pixel combining on the image
JP6320503B1 (ja) 撮像装置、フリッカ検出方法、およびプログラム
JP5597243B2 (ja) 撮像装置
JP2018093275A (ja) 撮像装置およびフリッカ判定方法
JP2012113171A (ja) 撮像装置およびその制御方法
JP2009199047A (ja) 撮像装置、およびレンズ装置
JP2010178027A (ja) カメラシステム
WO2019065555A1 (ja) 撮像装置、情報取得方法及び情報取得プログラム
JP2015111252A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP5791765B2 (ja) 撮像装置及びその制御方法
US10212344B2 (en) Image capturing device and control method capable of adjusting exposure timing based on detected light quantity change characteristic
US20180367735A1 (en) Image pickup apparatus that performs photometric control by using image sensor, control method therefor, and storage medium
JP4095630B2 (ja) 撮像装置
US10616469B2 (en) Image capturing apparatus and control method therefor
JP6541312B2 (ja) 撮像装置及びその制御方法
JP2012063664A (ja) 測光装置及び電子カメラ
JP5961058B2 (ja) 撮像装置及びその制御方法、画像処理装置及びその制御方法
JP2018006802A (ja) 撮像装置、その制御方法、及びプログラム
JP6924089B2 (ja) 撮像装置およびその制御方法
JP2020072392A (ja) 撮像装置、撮像装置の制御方法およびプログラム
JP2021004989A (ja) 焦点調節装置および焦点調節方法
JP2017098777A (ja) 撮像装置及びその制御方法、プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170529

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170529

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180511

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180522

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180619

R151 Written notification of patent or utility model registration

Ref document number: 6362091

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151