JP2014093705A - 撮影装置、撮影装置の制御方法 - Google Patents

撮影装置、撮影装置の制御方法 Download PDF

Info

Publication number
JP2014093705A
JP2014093705A JP2012244183A JP2012244183A JP2014093705A JP 2014093705 A JP2014093705 A JP 2014093705A JP 2012244183 A JP2012244183 A JP 2012244183A JP 2012244183 A JP2012244183 A JP 2012244183A JP 2014093705 A JP2014093705 A JP 2014093705A
Authority
JP
Japan
Prior art keywords
time
display
charge accumulation
line
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012244183A
Other languages
English (en)
Other versions
JP5929712B2 (ja
Inventor
Ryuichi Shiobara
隆一 塩原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2012244183A priority Critical patent/JP5929712B2/ja
Priority to US13/683,628 priority patent/US8860864B2/en
Priority to EP13853447.4A priority patent/EP2890111B1/en
Priority to CN201380054941.7A priority patent/CN104737529B/zh
Priority to PCT/JP2013/006499 priority patent/WO2014073192A1/ja
Publication of JP2014093705A publication Critical patent/JP2014093705A/ja
Priority to US14/511,335 priority patent/US9241108B2/en
Priority to US14/966,729 priority patent/US9451186B2/en
Application granted granted Critical
Publication of JP5929712B2 publication Critical patent/JP5929712B2/ja
Priority to US15/259,615 priority patent/US9609216B2/en
Priority to US15/459,196 priority patent/US9924095B2/en
Priority to US15/892,509 priority patent/US10554889B2/en
Priority to US16/724,521 priority patent/US11032474B2/en
Priority to US17/314,120 priority patent/US11637955B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/72Combination of two or more compensation controls
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/75Circuitry for compensating brightness variation in the scene by influencing optical camera components

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

【課題】ライブビュー表示における表示遅延時間を短縮する。
【解決手段】ライン単位で電荷蓄積の開始および終了が制御される撮像センサーの出力に基づいて画像データを表示部のライン単位で生成する画像データ生成手段と、生成された前記画像データを前記表示部にライン単位で順に表示させる表示制御手段と、撮像対象ラインの電荷蓄積を開始させてから第一の時間経過後に電荷蓄積を終了させ、前記撮像対象ラインの電荷蓄積を終了させてから第二の時間経過後に前記撮像対象ラインに対応する表示対象ラインの前記画像データの表示を開始させる制御手段と、を備える。前記第二の時間は、前記撮像対象ラインの電荷蓄積を終了してから前記表示対象ラインに前記画像データの表示を開始するまでに要する時間である。制御手段では、前記第一の時間が、(前記撮像センサーの垂直同期期間−前記第二の時間)以下となるように前記撮像対象ラインの電荷蓄積を開始させる。
【選択図】図1

Description

本発明は、撮影装置およびその制御方法に関し、特にライブビューの表示遅延時間を短縮する技術に関する。
従来、特許文献1,2に記載されているように、撮像センサーで撮影した画像をライブビューとして液晶ディスプレイ等の表示部に表示する撮影装置が知られている。
特開2007−295401号公報 特開2000−92380号公報
ライブビューを表示する撮影装置において、被写体の像が被写体から遅延して表示されることが知られている。表示遅延時間は、被写体の像を示す光を撮像センサーが受光し電荷として蓄積することを開始してから当該被写体の像を示す画像データが表示部に表示されるまでに要する時間と定義することができる。このように定義した場合、表示遅延時間には、電荷蓄積時間と、撮像センサーの出力に基づいて表示用の画像データを生成し表示するまでに要する処理時間と、が含まれる。一般的には電荷蓄積時間は撮影環境に応じてAE処理によって決定されるものであるため、処理時間の方を短期化することで表示遅延時間を短縮することが考えられてきた。一方で、さらなる表示遅延時間の短縮のために、電荷蓄積時間の方を短くすることが考えられる。
特許文献1の0094〜0097段落には、センサーのゲインと絞りが設定された後、撮影環境に応じてフレームレートが決定され、電荷蓄積時間はフレームレートに対応する時間(垂直同期期間)よりも短い時間であれば任意に設定してよいことが記載されている。また、特許文献2(図2)には、ライブビュー表示の場合は電荷蓄積時間を限界(コマ落ちしない程度の最長時間、0003段落)まで長くしそれでも暗い場合にセンサーのゲインを上げることが記載されている。そして、記録用の画像を撮影する際には、ゲインを上げていた場合はゲインを戻した場合の電荷蓄積時間を決定し(ゲインを上げていたときより長い)、ゲインを戻して当該電荷蓄積時間で撮影を行うことが記載されている。このように、ライブビュー表示において垂直同期期間より電荷蓄積時間が結果的に短くなる場合があることは従来から知られているが、電荷蓄積時間は表示遅延時間を意図的に短期化することを目的に決定されるものではなかった。そのため、AE処理によって適正露出となる電荷蓄積時間が例えば垂直同期期間と同じ長さとなる場合、表示遅延時間は(垂直同期期間+処理時間)より短くならなかった。
本発明は、上記課題に鑑みてなされたもので、ライブビュー表示における表示遅延時間を短縮することを目的とする。
上記目的を達成するための撮影装置は、画像データ生成手段と、表示制御手段と、制御手段と、を備える。画像データ生成手段は、ライン単位で電荷蓄積の開始および終了が制御される撮像センサーの出力に基づいて画像データを表示部のライン単位(1または複数のライン単位)で生成する。表示制御手段は、生成された画像データを表示部にライン単位(1または複数のライン単位)で順に表示させる。制御手段は、撮像対象ラインの電荷蓄積を開始させてから第一の時間経過後に電荷蓄積を終了させ、撮像対象ラインの電荷蓄積を終了させてから第二の時間経過後に撮像対象ラインに対応する表示対象ラインの画像データの表示を開始させる。この場合に、第二の時間は、撮像対象ラインの電荷蓄積を終了してから表示対象ラインに画像データの表示を開始するまでに要する時間を指す。第二の時間には、撮像センサーから出力データを読み出す時間、画像データ生成手段による画像データ生成処理時間、生成された画像データを表示部に転送し表示が開始されるまでの時間を含む。制御手段は、第一の時間が、(撮像センサーの垂直同期期間−第二の時間)以下となるように撮像対象ラインの電荷蓄積を開始させる。
本発明の撮影装置では、第一の時間すなわち電荷蓄積時間が(垂直同期期間−第二の時間)以下となるように意図的に制御されるため、撮像対象ラインの電荷蓄積を開始してから当該撮像対象ラインに対応する表示対象ラインの表示開始までの時間(表示遅延時間=第一の時間+第二の時間)を短縮することができる。AE処理によって適正露出となる電荷蓄積時間が例えば垂直同期期間と同じ長さとなる場合、従来の設計思想では、表示遅延時間(第一の時間+第二の時間)は(垂直同期期間+第二の時間)と同じとなり、これより短くはならなかったが、本発明によるとこの場合にも表示遅延時間(第一の時間+第二の時間)を(垂直同期期間+第二の時間)より短くすることが可能である。なぜなら、第一の時間が(垂直同期期間−第二の時間)以下となるように制御されるためである。
なお、「撮像対象ラインに対応する表示対象ライン」の「撮像対象ライン」とは、ある表示対象ラインの画像データを生成するための出力データを出力する撮像センサーのラインを意味する。表示対象ラインに対応する撮像対象ラインは1ラインであってもよいし複数ラインであってもよい。
さらに、上記目的を達成するための撮影装置において、制御手段は、第一の時間を(垂直同期期間−第二の時間)以下とすることにより適正露出と比較して露出アンダーとなる場合、撮像センサーのゲインを増加させて適正露出にしてもよい。
この結果、第一の時間(電荷蓄積時間)を意図的に短く制御する場合も適正露出のライブビューを表示することができる。
さらに、上記目的を達成するための撮影装置において、制御手段は、ゲインを上限値まで増加させた場合に適正露出となる最短の電荷蓄積時間以上の時間を第一の時間として選択してもよい。
上述したように、第一の時間を(垂直同期期間−第二の時間)以下とすることにより適正露出と比較して露出アンダーとなる場合、撮像センサーのゲインを増加させることによって適正露出になるように調整することができる。ライブビュー表示のための撮影においては、ゲインを上限値まで増加させた場合に適正露出となる最短の電荷蓄積時間以上でかつ(垂直同期期間−第二の時間)以下である時間を第一の時間(電荷蓄積時間)として選択可能である。
さらに、上記目的を達成するための撮影装置において、制御手段は、露出制御のための撮影装置における制御値の組み合わせを規定したプログラム線図であって、少なくとも制御値としての電荷蓄積時間と制御値としてのゲインとの組み合わせを規定したプログラム線図に基づいて、上述の条件を満たす電荷蓄積時間を第一の時間として選択してもよい。上述の条件とはすなわち、ゲインを上限値まで増加させた場合に適正露出となる最短の電荷蓄積時間以上で、かつ、(前記垂直同期期間−前記第二の時間)以下であるという条件を指す。
すなわち、制御手段は任意の電荷蓄積時間の時間調整を行う仕組みを備える必要はなく、露出制御のための制御値の組み合わせを予め定めたプログラム線図を用いて上述の条件を満たす電荷蓄積時間を選択することで、表示遅延時間の短縮と露出制御を実現することができる。
さらに、上記目的を達成するための撮影装置において、制御手段は、同一撮影環境において記録用画像を撮影する場合に適正露出となる最短の電荷蓄積時間未満の時間を、ライブビュー表示のための撮影における電荷蓄積時間である第一の時間として選択する。
すなわち、同一撮影環境(被写体の明るさが同じ環境)において記録用画像を撮影する場合には選択されないような短い電荷蓄積時間でライブビュー表示のための撮影を行うことで、本発明の撮影装置はライブビュー表示における表示遅延時間の短期化を図っている。
さらに、上記目的を達成するための撮影装置において、8ms以下の時間を第一の時間として選択してもよい。
垂直同期周期が60fps〜120fpsの場合、8ms以下の時間を第一の時間として選択することで良好の結果を得ることができる。
さらに、上記目的を達成するための撮影装置は、画像データに基づいて表示部に表示される画像の画質よりも表示遅延時間の短縮の方を優先させる第一のモードと、表示遅延時間の短縮よりも画像の画質の方を優先させる第二のモードと、をユーザーに選択させるライブビューモード選択手段を備えてもよい。その場合に制御手段は、第一のモードが選択された場合に、第一の時間が(垂直同期期間−第二の時間)以下となるように撮像対象ラインの電荷蓄積を開始させる。
表示部に表示される画像の画質よりも表示遅延時間の短縮の方を優先させる第一のモードと、表示遅延時間の短縮よりも画像の画質の方を優先させる第二のモードと、をユーザーが選択可能であることにより、ライブビュー表示に関するユーザーのニーズに応えることができる。すなわち、第一のモードが選択された場合は、上述したように電荷蓄積時間およびゲインが選択される。適正露出とするためにゲインを上げる場合はノイズ成分が増加し画質が低下するが、表示遅延時間の短縮を実現することができるため、第一のモードを選択したユーザーのニーズに応えることができる。第二のモードが選択された場合は、電荷蓄積時間は上述した設計思想に基づいて選択されるわけではないので第一のモード選択時より表示遅延時間を短縮する効果は期待できない。しかし電荷蓄積時間は第一のモード選択時よりも短くならないということは同一撮影環境であればゲインは第一のモード選択時よりも小さい値となるため、ノイズ成分は第一のモード選択時より少なく画質は第一のモード選択時より向上する。そのため第二のモードを選択したユーザーのニーズに応えることができる。
なお、例えばシャッターボタンが押されていない状態でのライブビュー撮影においては画質優先の第二のモードで電荷蓄積時間が選択され、シャッターボタンが半押しの状態でのライブビュー撮影においては表示遅延時間短縮優先の第一のモードで電荷蓄積時間が選択されてもよい。
さらに、本発明のように、ライブビュー表示のための撮影において第一の時間≦(垂直同期期間−第二の時間)とする手法は、プログラムや方法の発明としても成立する。また、以上のような装置、プログラム、方法は、単独の装置として実現される場合もあれば、複合的な機能を有する装置において共有の部品を利用して実現される場合もあり、各種の態様を含むものである。
撮影装置の構成を示すブロック図。 撮影処理を示すフローチャート。 (3A)は表示画面を示す模式図、(3B)は電荷蓄積タイミングと表示タイミングを説明するためのタイミングチャート。 第一実施形態にかかるプログラム線図。 ライブビュー時の撮影および表示を示すタイミングチャート。 (6A)および(6B)は他の実施形態にかかるプログラム線図。 他の実施形態にかかるプログラム線図。 (8A)および(8B)は他の実施形態にかかるタイミングチャート。
以下、本発明の実施の形態を添付図面を参照しながら説明する。尚、各図において対応する構成要素には同一の符号が付され、重複する説明は省略される。
1.第一実施形態
1−1.撮影装置の構成
図1は本発明の一実施形態にかかる撮影装置1の構成を示すブロック図である。撮影装置1は、EVF(Electronic View Finder)を備えたミラーレスデジタルカメラである。本実施形態の撮影装置1は、レンズユニット10、シャッター13、シャッター制御部50、撮像センサー14、バッファー15、画像処理部80、タイミング制御部60、表示部20、記録部30、操作部40、CPU70、RAM71、ROM72等を備えている。CPU70は、RAM71を適宜利用してROM72に記録されたプログラムを実行する。当該プログラムの機能によりCPU70は、操作部40に対する操作に応じて撮像センサー14にて撮影された被写体を示す画像データを生成し、表示部20に表示したりリムーバブルメモリーに記録する機能を実行する。また、ROMにはライブビュー撮影や本撮影に用いる複数種類のプログラム線図が記録されている。なお操作部40は、シャッターボタンと、電荷蓄積時間(シャッター速度)や絞り12の開口径を切り換えるためのダイヤルスイッチと、撮影モードを切り換えるためのダイヤルスイッチと、ISO感度を切り換えるためのスイッチと各種の設定メニューを操作するためのスイッチとを備えている。
レンズユニット10は、レンズ11、絞り12、レンズ駆動部11a、絞り駆動部12a等を備える。レンズユニット10は、撮影装置1の図示しない筐体に交換可能に取り付けられる。レンズ11は図1では簡略化して1枚のレンズで表しているが、光軸方向に並べられた複数枚のレンズを含み、各レンズは外縁部で支持される。レンズ駆動部11aは、CPU70から出力された制御信号に応じて、光軸方向に少なくとも1枚のレンズを移動させることにより、フォーカスやズーム倍率を調整する。絞り12は、開口径を変化させることのできる複数の遮光板で構成されている。絞り駆動部12aは、CPU70から出力された制御信号に応じて、絞り12を駆動して絞り12の開口径を変化させる。
シャッター13は機械式のフォーカルプレーン型シャッターであり、撮像センサー14の撮影センサー面に対して平行な平面板状の遮光部としての開閉式(折り畳み式)の複数の遮光幕を備えている。遮光幕はシャッター制御部50からの制御信号に応じて光軸に対して垂直な方向に移動するように構成されており、通常は遮光幕が光軸に平行な方向の光路を遮らない状態で保持されている。また、遮光幕が光路を遮らない状態で保持されている状態において、所定のトリガが与えられると当該遮光幕が光路を遮らない状態で保持された状態が解除され、遮光幕は光軸に対して垂直な方向に駆動して複数の羽根が光路を遮る状態となる。また、図1においては、遮光幕の移動方向を破線の矢印Amで示している。
撮像センサー14は、例えばベイヤー配列されたカラーフィルターと、光量に応じた電荷を光電変換によって画素ごとに蓄積する複数の光電変換素子(フォトダイオード)とを備えるCMOS(Complementary Metal Oxide Semiconductor)イメージセンサーである。むろん、撮影センサーはCCD(Charge Coupled Device)イメージセンサー等の他のセンサーであってもよい。撮像センサー14の画素の位置は直交座標系における座標で規定され、一方の座標軸に平行な方向に並ぶ複数の画素によってラインが構成され、複数のラインが他方の座標軸に平行な方向に並ぶように構成されている。本明細書では、ラインに平行な方向を水平方向、ラインに垂直な方向を垂直方向と呼ぶ。また本実施形態において撮像センサー14の全画素によって構成される1画面を1フレームと呼ぶ。撮像センサー14は垂直方向がシャッター13の移動方向(Am)と平行になるように備えられている。
本実施形態における撮像センサー14においては、ライン単位で光電変換素子に蓄積された電荷のリセット(放電)が可能である。すなわち、同一のラインに属する複数の光電変換素子においては互いに同時に電荷がリセットされ、リセット解除に伴い互いに同時に電荷蓄積が開始する。撮像センサー14は、光電変換素子に蓄積された電荷をライン単位で読み出す。なお、撮像センサー14は、必要な画質や速度に応じて、全ラインから読み出すことをせずに、NラインごとにMラインずつ読み出す(NおよびMはN>Mを満たす自然数)間引き読み出しを行うことができる。光電変換素子では、電荷の読み出しが行われた場合にも電荷がリセットされた状態となる。
撮像センサー14は、CPU70からの制御信号に応じて画素の電荷蓄積量の読出し値に対するゲイン(ISO感度に対応)を調整することができる。すなわち、光電変換素子にて蓄積された電荷を示す信号の増幅の程度を段階的に変化させることができる。撮像センサー14は、読み出した電荷に対応する露光量の階調値をA/D変換器等によりA/D変換して各画素に対応付けた14bit(少なくとも10bit)の出力データを生成する。撮像センサー14から読み出された出力データは、バッファー15に蓄積され、後述の画像処理部80によって出力データに対する各種画像処理が実行される。
タイミング制御部60はセンサー制御部61と表示制御部62とを備える。センサー制御部61は、各光電変換素子の各種動作タイミングを制御するための信号を生成し、撮像センサー14に出力する。具体的にはセンサー制御部61は、例えば1フレーム分の光電変換素子の検出結果を読み出すための期間(垂直同期期間)を規定する垂直同期信号(SVsync)、1ライン分の光電変換素子の検出結果を読み出すための期間(水平同期期間)を規定する水平同期信号(SHsync)、各画素の画像データの読み出しタイミング等を規定するデータクロック信号(SDotclock)、対応する1ライン分の光電変換素子の電荷を破棄するタイミングを規定するリセット信号(SHreset)を出力する。撮像センサー14は、垂直同期信号SVsyncに応じて1フレーム分の出力データの出力を開始し、水平同期信号SHsyncにて規定される期間内にデータクロック信号SDotclockに応じたタイミングで撮像センサー14の画素に対応する光電変換素子の検出結果を示す出力データ(SD)を逐次読み出す。また撮像センサー14はリセット信号SHresetに応じたタイミングで指定されたラインの光電変換素子の電荷を破棄する。CPU70とセンサー制御部61は「制御手段」に相当する。
また、表示制御部62は、表示部20の各表示画素の表示タイミングを制御するための信号を生成し、表示部20に出力する。表示部20はEVFであり、撮像センサー14の出力データに基づいて生成された画像データをライブビュー(動画)として表示し、また、本撮影した被写体の静止画像を表示する。表示部20は、図示しないインターフェース回路と液晶パネルドライバーと液晶パネルと接眼レンズ等を備えている。液晶パネルドライバーは、各サブピクセルに電圧を印加して液晶を駆動するための信号を液晶パネルに対して出力する。液晶パネルドライバーは、液晶パネルにおける表示を行うための各種信号、例えば、1フレーム分の表示を行うための期間を規定する垂直同期信号(DVsync)、1ライン分の表示を行うための期間を規定する水平同期信号(DHsync)、各ライン内での画像データの取り込み期間を規定するデータアクティブ信号(DDactive)、各画素の画像データの取り込みタイミング等を規定するドットクロック信号(DDotclock)、各画素の画像データ(DD)を出力するように構成されている。これらの垂直同期信号DVsync、水平同期信号DHsync、データアクティブ信号DDactive、データクロック信号DDotclockは表示制御部62によって生成され、表示部20に出力される。
なお、本実施形態において水平同期信号DHsyncの出力タイミングは可変であり、後述するように画像データ生成部81から次の表示対象ラインを表示する準備が整ったことを示す進捗情報を表示制御部62が取得した後、表示制御部62によって水平同期信号DHsyncが出力され、当該次の表示対象ラインの表示が開始される。なお進捗情報としては次の表示対象ラインをNライン目のラインとすると(Nは自然数)、Nライン目の画像データを表示する準備が整ったことを表示制御部62が判断することができる情報であればよく、具体的には様々な態様が考えられる。例えば進捗情報は、画像データ生成部81のリサイズ処理部の処理が終了しNライン目の画像データが生成されたタイミングで画像データ生成部81から表示制御部62に出力されるパルス信号であってもよい。また例えば、Nライン目の画像データの生成が完了し当該Nライン目の画像データのバッファー15への書き込みが完了したタイミングで出力されるパルス信号であってもよい。また例えば、Nライン目の画像データだけでなくNライン目から(N+i)ライン目(iは自然数)の画像データの生成も完了しN〜(N+i)ライン目までの画像データのバッファー15への書き込みが完了したタイミングで出力されるパルス信号であってもよい。また例えば、進捗情報は、上述のようなタイミングでパルス信号として出力されるものでなくてもよく、例えば画像データが所定のバッファーに転送されたことを示すその他の態様の情報(例えば、転送済みのライン数をカウントするカウンターの値等)であってもよい。また例えば、次に述べるようなカウンターの値とパルス信号との組み合わせが進捗情報として扱われてもよい。この場合のカウンターは例えば、画像データ生成部81のリサイズ処理部の処理が終了しNライン目の画像データが生成されたタイミングでカウントアップしてNの値を示すカウンターである。そしてこの場合のパルス信号は例えば、上述のタイミングでカウンターがカウントアップした際にカウンター値が変化したことを示すために表示制御部62に出力されるパルス信号である。そして、画像データの生成が完了したラインを示す(何ライン目まで生成が完了したかを示す)カウンターの値と、カウンターが更新されたタイミングを示すパルス信号を表示制御部62が取得することで、表示制御部62側のタイミングが生成されてもよい。
本実施形態では、Nライン目の画像データの生成が完了し当該Nライン目の画像データのバッファー15への書き込みが完了したタイミングで出力されるパルス信号を進捗情報として扱う。
画像処理部80は画像データ生成部81を備える。画像データ生成部81は、バッファー15に予め確保されたラインバッファーやフレームバッファーを利用し、撮像センサー14から出力された出力データSDに対してパイプライン処理によって各種画像処理を実行する。画像処理部80は例えばASICやDSP等で構成されたSOCである。画像データ生成部81は、画素補間部と色再現処理部とフィルター処理部とガンマ補正部とリサイズ処理部と画像データ出力部とを備えており、撮像センサー14の出力データSDに基づいてライン単位で画像データDDを生成することができる。
具体的には画像データ生成部81は、撮像センサー14から出力された出力データSDをバッファー15のラインバッファーから取得する。画素補間部は、注目画素について当該注目画素の周辺画素の階調値を用いた補間処理を行うことにより、各画素に対応する光電変換素子に備えられたカラーフィルターの色とは異なる2チャネルの色の階調値を算出する。この結果、各画素について3チャネルの階調値が対応付けられたデータが生成される。色再現処理部は、画素補間が完了したデータの各画素の階調値に対して3×3の行列演算を行うことによってより正しい色を再現するための色変換処理を行う。フィルター処理部は、色再現処理が完了したデータに対してシャープネス調整やノイズ除去処理などのフィルター処理を実行する。ガンマ補正部は、画像出力する際の階調特性を補正する処理を行う。すなわち撮像センサー14の出力データの階調値が示す色を、表示部20における色特性に応じたガンマ関数によって補正するガンマ補正を、フィルター処理が完了したデータに対して実行する。リサイズ処理部はバッファー15のラインバッファーに記録されていくガンマ補正処理後のデータを逐次参照して、リムーバブルメモリーへの画像データの記録サイズや表示部20の画面サイズに応じて目標サイズへとリサイズする。リサイズ処理部にてリサイズが完了すると、画像処理部80における各画像処理が完了された画像データDDが生成できる。
この画像データDDはバッファー15に一時的に記憶される。ライブビュー表示の場合には、1ライン分の画像データDDがバッファー15に出力完了したタイミングで画像データ生成部81が上述の進捗情報を表示制御部62に通知する(上述したように進捗情報としては様々な態様が想定されうるが本実施形態では進捗情報を次の表示対象ライン1ライン分の画像データがバッファー15に出力完了したタイミングを示すパルス信号であるとしている)。表示制御部62は進捗情報に基づいて次の表示対象ラインの表示準備が整ったことを判断すると水平同期信号DHsyncを表示部20に対して出力する。また、バッファー15に一時記憶されている画像データDDは画像データ出力部によって表示部20に線順次に受け渡され水平同期信号DHsyncが規定するタイミングで表示部20に表示される。この結果、撮像センサー14で撮影された被写体の像が表示部20の液晶パネルに表示される。また、画像データ出力部は、表示部20の表示を行う際に、バッファー15のフレームメモリーに記録されたOSDデータを画像データDDとして表示部20に対して線順次に出力する。この結果、撮影条件等の文字が表示部20の液晶パネルに表示される。また本撮影の場合には、生成されバッファー15に一時記憶されている画像データDDは画像データ出力部によって記録部30に受け渡され記録部30に装着されたリムーバルメモリーに記録される。
また画像処理部80が実行する処理には、AE(Automatic Exposure)処理を行うための評価値を出力する処理とAF(Automatic Focus)処理を行うための評価値を出力する処理とが含まれる。すなわち画像処理部80は、撮像センサー14による撮影範囲内に設定された所定の測光エリアに含まれる画素の明るさを評価するための評価値(例えば、輝度の平均値等)を特定し、AE処理を行うための評価値として出力することが可能である。また、画像処理部80は、撮像センサー14による撮影範囲内に設定された所定の測距エリアに含まれる画素の合焦度合いを評価するための評価値(例えば、コントラストの大きさを示す値等)を特定し、AF処理を行うための評価値として出力することが可能である。また、画像処理部80は他にも、AWB(自動ホワイトバランス機能)等のデジタルカメラが必要とする一般的な画像処理機能を実現する処理部を備えている。
本実施形態にかかる撮影装置1によって記録用の画像を撮影する際(本撮影)には、機械シャッターであるシャッター13と撮像センサー14の電子シャッターとの組み合わせによって電荷蓄積時間を制御する。すなわち、本実施形態において本撮影の場合には、撮像センサー14における電子シャッターで露光を開始させ、シャッター13の遮光幕で露光を終了させる電子先幕−機械後幕シャッター方式によって露光時間が制御される。具体的には、本撮影の場合、電子シャッターによりライン順次で露光が開始され、ライン毎の露光時間が、設定されたシャッター速度(秒時)となるタイミングで各ラインが遮光されるように機械シャッターによる遮光が開始される。また、ライブビュー表示を行うための画像を撮影する際には、電子シャッター方式によって露光時間(すなわち電荷蓄積時間)が制御される。すなわち、先幕も後幕も電子シャッターによって制御される。
記録部30は、図示しないリムーバブルメモリーを挿入することが可能であり、記録部30にリムーバブルメモリーが挿入された状態で、リムーバブルメモリーに対して情報を記録し、また、リムーバブルメモリーから情報を読み出すことができる。本撮影で生成された画像データはリムーバブルメモリーに記録される。
1−2.撮影処理
次に、本実施形態における撮影処理を詳細に説明する。図2は撮影装置1の電源がオンされて、初期化処理終了後、撮影モードがユーザーに選択されたことで開始する撮影処理のフローチャートである。撮影装置1では、表示部20において被写体のライブビュー表示を行い、利用者が当該ライブビュー表示を視認しながらシャッターチャンスを待ち、記録用画像の撮影指示等を行う。このため、CPU70は、撮影処理においてステップS100〜S105にてライブビュー表示を行うための準備処理を行う。
具体的には、CPU70は、まずャッター13を開放する(ステップS100)。すなわち、CPU70は、シャッター制御部50に制御信号を出力し、シャッター13が光路を遮らない状態で保持された状態とする。また、CPU70は、絞り12が所定の開口径となるように調整する(ステップS105)。本実施形態においては、絞り優先でライブビュー表示のための撮影や本撮影が行われるものとして説明を行う。すなわち、CPU70は、絞り駆動部12aに制御信号を出力し、例えばユーザーが操作部40を操作して指定した絞り値に対応する開口径となるように制御してもよい。撮影モードごとに予め決められているデフォルトの絞り値に対応する開口径となるように制御されてもよい。なお、シャッター13を開放する前に絞り12の制御を行ってもよい。
次に、CPU70は、撮影および表示を開始する(ステップS110)。図3Aは、本実施形態における表示部20の液晶パネルの画面を示す模式図である。表示画面は、被写体像表示領域R1と情報表示領域R2とで構成される。被写体像表示領域R1は撮像センサー14から出力された出力データに基づいて生成される画像データを表示する領域である。情報表示領域R2は、撮影条件等の情報を文字や図形で表示する領域である。図3Aにおいてoは被写体像表示領域R1の高さ(ライン数)を表しており、pは情報表示領域R2の高さ(ライン数)を表している。
図3Bは、撮像センサー14におけるある撮像対象ラインの電荷蓄積タイミングや当該撮像対象ラインに対応する表示対象ラインの表示のタイミングを簡略化して示したタイミングチャートである。撮像センサー14から出力された画像は、リサイズ処理部にて被写体像表示領域R1に応じたサイズにリサイズされるため、撮像対象ラインと表示対象ラインとは必ずしも1:1に対応しないが(例えば複数の撮像対象ラインに対応する出力データから1ライン分の表示対象ラインの画像データが生成されうる)、本実施形態では説明を簡便にするため撮像対象ラインと表示対象ラインとは1:1に対応する(図3Aに示す被写体像表示領域R1(ライン数o)の1ライン分の画像データを生成するための出力データを出力する撮像対象ラインは1ラインである)ものとして説明を行う。
図3Bにおいて第一の時間T1はある撮像対象ラインにおける電荷蓄積時間を示している。第二の時間T2は、撮像対象ラインの出力データSDに基づいて画像データ生成部81が画像データDDを生成し、生成された画像データDDを表示対象ラインに表示開始するまでの時間を示している。すなわち第二の時間T2には、撮像センサー14から出力データを読み出す時間(A)と、出力データに基づいて画像データを生成する時間(B)と、生成した画像データを表示部20に転送し表示開始するまでの時間(C)と、が含まれる。画像データDDを生成しバッファー15への出力が完了すると画像データ生成部81は進捗情報を表示制御部62に出力し、表示制御部62は進捗情報に応じて表示対象ラインの画像データDDの表示を開始する。第三の時間T3は、現フレームにおいて当該表示対象ラインの表示を開始してから次フレームにおいて当該表示対象ラインの表示が更新されるまでの時間を指し、表示部20のフレームレートで示される1フレームあたりの垂直同期期間に相当する。言い換えると期間T3の長さは、当該表示対象ラインの画像データを表示させる期間(水平同期期間)の始まりを規定する水平同期信号DHsyncを出力してから次のフレームにおいて当該表示対象ラインの画像データを表示させる期間(水平同期期間)の始まりを規定する水平同期信号DHsyncを出力するまでの期間の長さと等しい。
本実施形態では、第一の時間T1と第二の時間T2を合わせた時間を表示遅延時間と呼ぶ。時間(B)はラインごとに変動しうるため第二の時間も変動しうるが、設計段階において時間(B)の最大値は把握可能であるため第二の時間の最大値も把握可能である。本実施形態では第二の時間の最大値を第二の時間T2として扱う。そして本実施形態では、第一の時間T1≦(垂直同期期間−第二の時間T2)となるように各撮像対象ラインにおける電荷蓄積時間が制御される。タイミング制御部60は、表示部20のフレームレートが撮像センサー14のフレームレートと等しくなるように制御する。上述したように時間(B)はラインごとに変動しうるため被写体像表示領域R1の水平同期期間の長さは変動しうるが、情報表示領域R2の各ラインの水平同期期間の長さを調整して(例えば、被写体像表示領域R1の水平同期期間が遅れ気味なのであれば被写体像表示領域R1の各ラインの水平同期間よりも情報表示領域R2の水平同期期間を短くして)表示することにより、表示部20のフレームレートは撮像センサー14のフレームレートと同期させることができる(表示部20の垂直同期期間の長さを撮像センサー14の垂直同期期間の長さと等しくすることができる)。なお、情報表示領域R2に表示されるOSDデータは、撮像センサー14の動作によらず予め作成しバッファー15に記録しておくことが可能であるため、OSDデータに基づく表示を短い水平同期期間によって実行したとしても、データ読み出しの追い越しを発生させることなく適正な表示を行うことが可能である。
本実施形態では、ライブビューにおける撮像センサー14のフレーレートは100fpsで駆動されるものとしている。また表示部20が撮像センサー14に同期するように制御されることで結果的に表示部20のフレームレートも100fpsで駆動するものとして以降の説明を行う。フレームレートが100fpsである場合、垂直同期期間は10msである。センサー制御部61は垂直同期信号SVsyncを10msごとに生成する。したがって第二の時間T2の最大値が例えば3msである場合、第一の時間T1は7ms以下になるように制御される。
撮影と表示に並行してCPU70は、ライブビュー用AE処理を行う(ステップS115)。すなわち、ステップS110において生成される画像データに基づいて画像処理部80がライブビュー用AE処理を行うための評価値を出力すると、CPU70は、センサー制御部61に対して制御信号を出力して当該評価値が予め決められた適正範囲に含まれる状態となるように電荷蓄積時間(T1)を調整することにより、露出が適正露出となるように電荷蓄積時間をフィードバック制御する。
図4は、絞り(Av)がF4.0固定である場合の電荷蓄積時間(Tv)とISO感度(Sv)との組み合わせを示す自動露出(AE)制御のプログラム線図の一例を示している(図4に示すように撮影装置1は、電荷蓄積時間(Tv)として1〜1/8000の範囲で選択可能であり、ISO感度(Sv)は100〜6400の範囲で選択可能である。したがってこれら全ての組み合わせを選択可能である場合、本撮影装置1では露出量として17EV〜−2EVの制御が可能であることを示している。)。
本実施形態ではステップS105において絞り12の開口径がF4.0に対応する大きさとなるように制御されたものとして説明を行う。電荷蓄積時間すなわち第一の時間T1が上述のように7ms以下と決定された場合、図4の破線4aで囲まれた領域内の6×7=42個の交点に対応する(Sv,Tv)の組み合わせを選択可能であり、選択可能な電荷蓄積時間の範囲は1/8000〜1/250となる。また選択可能なISO感度の範囲は100〜6400である。ISO感度を100〜6400の間で変化させ、電荷蓄積時間を1/8000s(約0.125ms)〜1/250s(約4ms)の間で変化させることで、EV17〜EV6の範囲でAE処理が可能である。
ただし、同じEV値となる複数の組み合わせの中では、ISO感度の値が大きい組み合わせほど画質が低下するため、本実施形態では破線4a内で同じEV値となる複数の組み合わせのうちISO感度の値がなるべく小さくなる組み合わせが選択されるようなプログラム線図(図4の太線)を採用する。図4に示す太線は、太線上の黒丸で示される点が、EV17〜EV6とすることができる組み合わせのうちISO感度がなるべく小さくなる組み合わせとなるように設定されている。
なお、図4において電荷蓄積時間(Tv)は1、1/2、1/4、1/8、1/15、1/30…1/8000と表記されているが、厳密には1/2(0≦n≦13)で示される秒数が電荷蓄積時間として用いられる。例えば1/250との表記は厳密には1/256s(≒3.9ms)を意味し、1/500との表記は厳密には1/512s(≒1.95ms)を意味する。
ここで例えば、(Sv,Tv)の組み合わせが(800,1/250)の場合に画像処理部80から出力された評価値としての輝度値が適正露出とするための目標輝度値に対して1EV露出アンダーであること示している場合、CPU70は(Sv,Tv)の組み合わせが(1600,1/250)となるように制御する。すなわち、(800,1/250)の状態からISO感度(ゲイン)を上げる。こうすることによって電荷蓄積時間を1/250s以下に保った状態で適正露出の状態で撮影を行うことができる。
なお、破線4aに含まれる42個の組み合わせから選択される場合、EV8が適正露出と判明した場合は、撮影装置1におけるISO感度の上限値である6400と電荷蓄積時間1/1000sとの組み合わせが選択可能である。その場合、電荷蓄積時間は1/1000s〜1/250sの間で選択可能である。すなわちこの場合、「ゲインを上限値まで増加させた場合に適正露出となる最短の電荷蓄積時間」は1/1000となる。図2のフローチャートの説明に戻る。
次に、CPU70は、シャッターボタンが半押しされたか否かを判定し(ステップS120)、半押しされたと判定されるまでステップS110〜S115の処理を繰り返す。一方、ステップS120において、シャッターボタンが半押しされたと判定された場合、CPU70は、ステップS125〜S135において本撮影の準備を行う。ここで、ステップS125〜S130はステップS110〜S115と同じ処理であるため説明を省略する。
ステップS135のAF処理では、ステップS125において生成される画像データに基づいて画像処理部80がAF処理を行うための評価値を出力すると、CPU70は、当該評価値を取得する。そして、CPU70は、当該評価値に基づいてレンズ駆動部11aに制御信号を出力し、当該評価値が所定の合焦範囲に含まれるようにレンズ11を移動させてフォーカス調整を行う。
次に、CPU70は、シャッターボタンの半押しが解除されたか否かを判定し(ステップS140)、半押しが解除されたと判定された場合には、再度ステップS110以降を実行してライブビュー表示を継続する。一方、ステップS140において、シャッターボタンの半押しが解除されたと判定されない場合、さらに、CPU70は、シャッターボタンが全押しされたか否かを判定し(ステップS145)、全押しされたと判定されない場合、ステップS125以降の処理を繰り返す。
したがって、ステップS110〜S135が繰り返される間、表示部20にはライブビューが表示される。図5はライブビュー表示の際の、撮像センサー14による電荷蓄積タイミング(SD1〜SD4)と、画像データ生成部81等による処理タイミング(P1〜P4)と、表示部20による表示タイミング(DD1〜DD4)とを示すタイミングチャートである。図5において、SD1〜SD4の識別子が付された平行四辺形は、それぞれ1フレーム目から4フレーム目までの各ラインの電荷蓄積タイミングを示している。各平行四辺形の上辺aは撮像センサー14の有効ライン(被写体像表示領域R1に表示する画像データを生成するための出力データを出力するライン)のうちの最上ラインの電荷蓄積時間(=第一の時間T1)を示しており、下辺bは撮像センサー14の有効ラインのうちの最下ラインの電荷蓄積時間を示している。高さeは撮像センサー14の有効ラインのライン数を示している。上辺aおよび下辺bと平行で、左辺cおよび右辺dを両端とする図示しない線分は撮像センサー14の各有効ラインにおける電荷蓄積時間を示している。左辺cは撮像センサー14の各有効ラインにおける電荷蓄積開始タイミングを示しており、右辺dは各有効ラインにおける電荷蓄積終了タイミングを示している。すなわち、左辺cと各ラインの線分との交点が示すタイミングで当該ラインに対するリセット信号SHResetが撮像センサー14に対して出力されることによって対応するラインの電荷蓄積が開始する。また右辺dと各ラインの線分との交点が示すタイミングで対応するラインの光電変換素子から図示しない水平同期信号SHsyncが規定する水平同期期間中に出力データSDが読み出されることを意味する。
P1〜P4の識別子が付された平行四辺形の上辺fおよび下辺gと平行で左辺hおよび右辺iを両端とする線分は、SD1〜SD4の右辺dに示すタイミングで電荷蓄積が終了した各ラインの出力データSDに基づいて画像データDDを生成し表示部20に表示を開始するまでに要する処理時間(図3Bの第二の時間T2に相当)を示している。高さjは処理ライン数を示している。本実施形態では説明を簡便にするため、高さeが示すライン数と高さjが示す処理ライン数と後述する高さoが示すライン数は等しいものとして説明している。
DD1〜DD4の識別子が付された平行四辺形はそれぞれ1フレーム目から4フレーム目までの被写体像表示領域R1の表示タイミングを示している。OSD1〜OSD3はそれぞれ1フレーム目から3フレーム目までの情報表示領域R2の表示タイミングを示している。上辺k〜下辺lまでの距離としての高さoは被写体像表示領域R1のライン数を表している。高さpは情報表示領域R2のライン数を表している。上辺kは被写体像表示領域R1の最上ラインの表示を継続する時間(現フレームにおける表示開始から次フレームにおいて新しい画像データで書き換わるまでの時間)を示している。すなわち左辺mは表示開始タイミングを示しており右辺nは表示終了タイミングを示しており、現フレームにおける表示終了タイミングnと次フレームにおける表示開始タイミングmとは一致する。左辺mは、P1〜P4の右辺iのタイミングと一致する。下辺lは被写体像表示領域R1の最下ラインの表示を継続する時間を示している。上辺kおよび下辺lと平行で左辺mおよび右辺nとの交点を両端とする図示しない線分の長さは、被写体像表示領域R1の各ラインの表示継続時間を示している。
OSD1〜OSD3において表示開始タイミングを示す左辺rおよび表示終了タイミングを示す右辺sの傾きは、DD1〜DD4における左辺mおよび右辺nの傾きより急である。これは、情報表示領域R2を表示するための水平同期信号DHsyncの生成間隔が、被写体像表示領域R1を表示するための水平同期信号DHsyncの生成間隔よりも短く、情報表示領域R2が被写体像表示領域R1より高速に表示されることを意味する。このようにして、1垂直同期期間Td内に被写体像表示領域R1と情報表示領域R2の画像を更新することができる。
このように、本実施形態ではライブビュー表示のための撮影において、電荷蓄積時間(第一の時間T1)+処理時間(第二の時間T2)で表される表示遅延時間ΔTが、垂直同期期間Ts(=Td)以下となるように電荷蓄積時間が制御されることにより、表示遅延時間を意図的に短期化することができる。蓄積された電荷を読み出すタイミング(SDnの右辺d)は垂直同期信号SVsyncによって規定される垂直同期期間Tsを基準に決められているため、電荷蓄積時間の長さ(SDnの上辺a)は、電荷蓄積を開始させるタイミング(SDnの左辺c)の位置を時間軸方向に変化させることで調整される。なお、表示遅延時間ΔTは、特願2012-226674、特願2012-226675、特願2012-226676に開示されている方法で測定することが可能である。また、(ΔT+T3)=(T1+T2+T3)で示される時間も上記方法で測定可能である。本発明の発明者らの調査によると、ライブビュー表示において観察者が主観的に遅れを認識しにくくなる実用的な範囲は、少なくとも(T1+T2+T3)≦33.3msであることが必要であり、(T1+T2+T3)≦20〜25msであることが望ましいことが分かった。本実施形態の例の場合、(T1+T2+T3)=約4ms+3ms+10ms=約17msとなり、良好な結果を得ることができる。また、発明者らは第一の時間T1の値は8ms以下で可能な限り短い方が良好である事を確認した。これは、垂直同期周期が60fpsの場合には第一の時間T1を16ms程度の設定した場合、遅れと共にブレが見られた。前述の16msは1/60のシャッター速度に該当し、動きのある被写体では撮影ブレが発生しやすい速度に該当する。8msは1/125のシャッター速度に該当し、撮影ブレが発生しにくい速度に該当する。8msよりさらに短い4ms(1/250のシャッター速度に該当)は、より被写体ブレが少ない撮影が可能なシャッター速度であると言える。この様に8ms以下の時間に設定すると被写体ブレが発生せず、しかも表示遅れが短い撮影が可能である。
なお、本実施形態のように進捗情報によって画像データの表示準備が整ったことが特定されたラインを表示部20に順次表示させる方法を採用した撮影装置1は、ΔT(=T1+T2)は6ms(±4ms)を実現できることが発明者らによって確認された。また、(ΔT+T3)=(T1+T2+T3)は16ms(±4ms)を実現できることが発明者らによって確認された。
図2のフローチャートの説明に戻る。
ステップS145において、シャッターボタンが全押しされたと判定された場合、CPU70は、本撮影用AE処理を行って本撮影用(記録用画像撮影用。本撮影用の画素数はライブビューより高解像度(例:1800万画素等)の画像を撮影する。)の電荷蓄積時間を決定し(ステップS150)、決定した電荷蓄積時間にて記録用の画像を撮影してリムーバブルメモリーに記録する(ステップS155)。すなわち、CPU70は、ピントの位置と、ステップS105にて設定された絞り12の開口径とが維持された状態で、センサー制御部61に制御信号を出力して撮像センサー14における電荷蓄積をライン順次に開始させ、シャッター制御部50に制御信号を出力し、撮像センサー14の各ラインの電荷蓄積時間がステップS150にて決定された時間となるようなタイミングでシャッター13を駆動させる。この結果、撮像センサー14から出力された出力データに基づいて画像処理部80がバッファー15を利用しながら画像データを生成する。CPU70は、生成された画像データを記録部30に転送し、図示しないリムーバブルメモリーに記録させる。そして、撮影が終了すると次の撮影に向けてS100に戻る。
ステップS150の本撮影用AE処理では、図4とは異なるプログラム線図が用いられる。本実施形態では、絞りが例えば4.0で固定として本撮影用AE処理も行われる(いわゆる絞り優先自動露出処理である)。ISO感度は予めユーザーが設定した値(または撮影モードの種類に応じたデフォルト値)が選択されるため、本撮影用AE処理では、撮影環境に応じて電荷蓄積時間は1/8000s〜1sまでの間が選択されうる。ここで、繰り返しステップS130のライブビュー用AE処理が行われたうちの最後(シャッターボタンが全押しされる直前)のステップS130で適正露出と判定されたEV値になるように、ステップS150では電荷蓄積時間が選択される。例えばユーザーが設定した(あるいは撮影モードの種類に応じたデフォルトの)ISO感度の値が100であり、適正露出がEV8であることが判明している場合、本実施形態においては絞りが4.0で固定となるようにAE処理されるため本撮影用の電荷蓄積時間としては1/15sが選択される(図4の白丸参照)。
すなわち、同一撮影環境において記録用画像を撮影する場合には、電荷蓄積時間として1/15sが選択され、ライブビュー表示のための撮影の場合には、1/15sより高速な(短い)時間である1/250sが電荷蓄積時間として選択される。このように、同一撮影環境において記録用画像を撮影する場合には選択されないような短い電荷蓄積時間でライブビュー表示のための撮影を行うことで、撮影装置1はライブビュー表示における表示遅延時間の短期化を図っている。
2.他の実施形態
尚、本発明の技術的範囲は、上述した実施例に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。例えば、画像データに基づいて表示部に表示される画像の画質よりも表示遅延時間の短縮の方を優先させる第一のモードと、表示遅延時間の短縮よりも画像の画質の方を優先させる第二のモードと、をユーザーに選択させるライブビューモード選択スイッチを備えてもよい。そして、第一のモードが選択された場合に、第一実施形態で説明したように第一の時間が(垂直同期期間−第二の時間)以下となるように撮像対象ラインの電荷蓄積を開始させるようにしてもよい。第二のモードが選択された場合は、ユーザーが選択した(あるいはデフォルトの)ISO感度を優先させて、絞りあるいは電荷蓄積時間を適宜変更させてAE処理を行ってもよい。
また、上記実施形態では、シャッターボタンを半押しする前の場合も半押し状態の場合も、第一の時間≦(垂直同期期間−第二の時間)となるように電荷蓄積時間が選択されていたが、半押し前の場合には画質優先として上述の第二のモードと同様の処理を行い、半押し状態の場合は表示遅延短縮優先として上述の第一のモードと同様の処理を行うようにしてもよい。すなわち、シャッターボタンが半押しの状態は、ユーザーがシャッターチャンスを窺っている状態であると考えられるため、シャッターボタンが半押しの状態の場合に被写体の動きからの遅れがより少ない状態でライブビューを提供する。この結果,ユーザーはシャッターボタンを半押した状態で被写体の微妙な動きを確認することができ、シャッターチャンスを逃さずに適切なタイミングで被写体を撮影することができる。
また、図4のプログラム線図では1EV刻みで露出を制御することが可能であったが、電荷蓄積時間を1/3EV刻みで変化させることにより露出を1/3EV刻みで制御することができてもよい。図6Aは電荷蓄積時間(Tv)を1/3EV刻みで変化させることが可能な場合のプログラム線図の例を示している。また、さらにISO感度(Sv)を1/3EV刻みで変化させることができてもよい。図6Bは、電荷蓄積時間(Tv)とISO感度(Sv)の両方が1/3EV刻みで制御可能な場合のプログラム線図の例を示している。1/3EV刻みで制御することにより、ライブビュー表示の露出切り換えをなめらかに行うことができる。なお、例えば1/250〜1/500までの電荷蓄積時間を1/3EV刻みで制御する場合、1/256、1/322.5、1/406.4、1/512という刻みで制御される。また、例えばISO感度100から200までの範囲を1/3EV刻みで変化させる場合は、100、126、159、200という刻みで制御される。またISO感度(Sv)は、1/3EVよりさらに細かい刻みで制御可能であってもよい。図7は、EV17〜EV12において電荷蓄積時間(Tv)を1/3EV刻みで制御可能であり、EV12〜EV6においてISO感度(Sv)を1/3EVより細かい刻みで制御可能である場合のプログラム線図の例を示している。
また、図4や図6,図7に示すプログラム線図では、絞り12を固定としてEV17〜EV6の範囲でAE処理を可能としたが、例えば(Sv,Tv)を(6400,1/250)に固定した状態でさらに絞り値をF4.0からF2.8からF2.0へと変化させることで、EV5およびEV4がAE処理の制御範囲にさらに含まれるようにしてもよい。
なお、第一実施形態では撮像対象ラインと表示対象ラインとは1:1に対応するものとして説明を行ったが、例えば撮像センサー14のzライン(zは2以上の自然数)分の出力データに基づいて表示部20の1ライン分の画像データが生成される場合は、撮像センサー14の当該zラインに含まれる各ラインの電荷蓄積時間の平均を「第一の時間」としてもよい(各ラインの電荷蓄積時間は同じであるので、各ラインの電荷蓄積時間の平均は各ラインの電荷蓄積時間と等しい)。そしてこの場合、撮像センサー14の当該zラインのうちの1ライン目の電荷蓄積が終了してから、zライン目の電荷蓄積を終えてzライン分の出力データから1ライン分の画像データを生成し、撮像センサー14の当該zラインに対応する表示部20の1ライン分の画像データの表示を開始するまでの時間を「第二の時間」としてもよい。図8Aは、この場合の第一の時間T1と第二の時間T2と表示遅延時間ΔTを示している(図8Aではz=2としている)。
また例えば、撮像センサー14の当該zラインのうちの1ライン目の電荷蓄積を開始させてから当該zラインのうちのzライン目の電荷蓄積を終了するまでの時間を「第一の時間」としてもよい。そしてこの場合、撮像センサー14の当該zラインのうちzライン目の電荷蓄積を終了してから、撮像センサー14の当該zラインに対応する表示部20の1ラインの画像データの表示を開始するまでの時間を「第二の時間」としてもよい。図8Bは、この場合の第一の時間T1'と第二の時間T2'と表示遅延時間ΔTを示している(図8Bではz=2としている)。
1…撮影装置、10…レンズユニット、11…レンズ、11a…レンズ駆動部、12a…絞り駆動部、13…シャッター、14…撮像センサー、15…バッファー、20…表示部、30…記録部、40…操作部、50…シャッター制御部、60…タイミング制御部、61…センサー制御部、62…表示制御部、80…画像処理部、81…画像データ生成部、R1…被写体像表示領域、R2…情報表示領域、T1…第一の時間、T2…第二の時間、T3…第三の時間、Td…垂直同期期間(表示部)、Ts…垂直同期期間(撮像センサー)、ΔT…表示遅延時間

Claims (8)

  1. ライン単位で電荷蓄積の開始および終了が制御される撮像センサーの出力に基づいて画像データを表示部のライン単位で生成する画像データ生成手段と、
    生成された前記画像データを前記表示部にライン単位で順に表示させる表示制御手段と、
    撮像対象ラインの電荷蓄積を開始させてから第一の時間経過後に電荷蓄積を終了させ、前記撮像対象ラインの電荷蓄積を終了させてから第二の時間経過後に前記撮像対象ラインに対応する表示対象ラインの前記画像データの表示を開始させる制御手段であって、
    前記第二の時間は、前記撮像対象ラインの電荷蓄積を終了してから前記表示対象ラインに前記画像データの表示を開始するまでに要する時間であり、
    前記第一の時間が、(前記撮像センサーの垂直同期期間−前記第二の時間)以下となるように前記撮像対象ラインの電荷蓄積を開始させる、
    制御手段と、
    を備える撮影装置。
  2. 前記制御手段は、前記第一の時間を(前記垂直同期期間−前記第二の時間)以下とすることにより適正露出と比較して露出アンダーとなる場合、前記撮像センサーのゲインを増加させて適正露出にする、
    請求項1に記載の撮影装置。
  3. 前記制御手段は、前記ゲインを上限値まで増加させた場合に適正露出となる最短の電荷蓄積時間以上の時間を前記第一の時間として選択する、
    請求項2に記載の撮影装置。
  4. 前記制御手段は、撮影装置における露出制御のための制御値の組み合わせを規定したプログラム線図であって、少なくとも前記制御値としての電荷蓄積時間と前記制御値としての前記ゲインとの組み合わせを規定したプログラム線図に基づいて、前記最短の電荷蓄積時間以上で、かつ、(前記垂直同期期間−前記第二の時間)以下であるという条件を満たす電荷蓄積時間を前記第一の時間として選択する、
    請求項3に記載の撮影装置。
  5. 前記制御手段は、同一撮影環境において記録用画像を撮影する場合に適正露出となる最短の電荷蓄積時間未満の時間を、ライブビュー表示のための撮影における電荷蓄積時間である前記第一の時間として選択する、
    請求項1〜請求項4のいずれかに記載の撮影装置。
  6. 前記制御手段は、8ms以下の時間を前記第一の時間として選択する、
    請求項1〜請求項5のいずれかに記載の撮影装置。
  7. 前記画像データに基づいて前記表示部に表示される画像の画質よりも表示遅延時間の短縮の方を優先させる第一のモードと、前記表示遅延時間の短縮よりも前記画像の画質の方を優先させる第二のモードと、をユーザーに選択させるライブビューモード選択手段を備え、
    前記制御手段は、前記第一のモードが選択された場合に、前記第一の時間が(前記垂直同期期間−前記第二の時間)以下となるように前記撮像対象ラインの電荷蓄積を開始させる、
    請求項1〜請求項6のいずれかに記載の撮影装置。
  8. ライン単位で電荷蓄積の開始および終了が制御される撮像センサーの出力に基づいて画像データを表示部のライン単位で生成する画像データ生成工程と、
    生成された前記画像データを前記表示部にライン単位で順に表示させる表示制御工程と、
    撮像対象ラインの電荷蓄積を開始させてから第一の時間経過後に電荷蓄積を終了させ、前記撮像対象ラインの電荷蓄積を終了させてから第二の時間経過後に前記撮像対象ラインに対応する表示対象ラインの前記画像データの表示を開始させる制御工程であって、
    前記第二の時間は、前記撮像対象ラインの電荷蓄積を終了してから前記表示対象ラインに前記画像データの表示を開始するまでに要する時間であり、
    前記第一の時間が、(前記撮像センサーの垂直同期期間−前記第二の時間)以下となるように前記撮像対象ラインの電荷蓄積を開始させる、
    制御工程と、
    を含む撮影装置の制御方法。
JP2012244183A 2012-11-06 2012-11-06 撮影装置、撮影装置の制御方法 Active JP5929712B2 (ja)

Priority Applications (12)

Application Number Priority Date Filing Date Title
JP2012244183A JP5929712B2 (ja) 2012-11-06 2012-11-06 撮影装置、撮影装置の制御方法
US13/683,628 US8860864B2 (en) 2012-11-06 2012-11-21 Image-displaying device and method for controlling image-displaying device
EP13853447.4A EP2890111B1 (en) 2012-11-06 2013-11-01 Photography device, and photography device control method
CN201380054941.7A CN104737529B (zh) 2012-11-06 2013-11-01 拍摄装置、拍摄装置的控制方法
PCT/JP2013/006499 WO2014073192A1 (ja) 2012-11-06 2013-11-01 撮影装置、撮影装置の制御方法
US14/511,335 US9241108B2 (en) 2012-11-06 2014-10-10 Image-displaying device and method for controlling image-displaying device
US14/966,729 US9451186B2 (en) 2012-11-06 2015-12-11 Image-displaying device and method for controlling image-displaying device
US15/259,615 US9609216B2 (en) 2012-11-06 2016-09-08 Image-displaying device and method for controlling image-displaying device
US15/459,196 US9924095B2 (en) 2012-11-06 2017-03-15 Image-displaying device and method for controlling image-displaying device
US15/892,509 US10554889B2 (en) 2012-11-06 2018-02-09 Image-displaying device and method for controlling image-displaying device
US16/724,521 US11032474B2 (en) 2012-11-06 2019-12-23 Image-displaying device
US17/314,120 US11637955B2 (en) 2012-11-06 2021-05-07 Image-displaying device and method for controlling image-displaying device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012244183A JP5929712B2 (ja) 2012-11-06 2012-11-06 撮影装置、撮影装置の制御方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2016090062A Division JP6123935B2 (ja) 2016-04-28 2016-04-28 撮像表示装置、撮像装置、画像処理装置および撮像表示装置の制御方法

Publications (2)

Publication Number Publication Date
JP2014093705A true JP2014093705A (ja) 2014-05-19
JP5929712B2 JP5929712B2 (ja) 2016-06-08

Family

ID=50622011

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012244183A Active JP5929712B2 (ja) 2012-11-06 2012-11-06 撮影装置、撮影装置の制御方法

Country Status (5)

Country Link
US (8) US8860864B2 (ja)
EP (1) EP2890111B1 (ja)
JP (1) JP5929712B2 (ja)
CN (1) CN104737529B (ja)
WO (1) WO2014073192A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016021162A1 (ja) * 2014-08-08 2016-02-11 セイコーエプソン株式会社 撮像装置、画像処理装置、及び、撮像表示装置
JP2018523142A (ja) * 2015-05-04 2018-08-16 グーグル エルエルシー 取込まれた像のパススルー表示

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5929712B2 (ja) * 2012-11-06 2016-06-08 セイコーエプソン株式会社 撮影装置、撮影装置の制御方法
US9432582B2 (en) * 2013-01-04 2016-08-30 Canon Kabushiki Kaisha Image signal processing apparatus and a control method thereof, and an image pickup apparatus and a control method thereof
US10089691B2 (en) * 2013-12-04 2018-10-02 State Farm Mutual Automobile Insurance Company Systems and methods for detecting potentially inaccurate insurance claims
JP6166848B2 (ja) * 2014-08-29 2017-07-19 富士フイルム株式会社 撮影装置、撮影装置本体、及びレンズ鏡筒
JP2016076771A (ja) * 2014-10-03 2016-05-12 キヤノン株式会社 撮像装置
JP5843027B1 (ja) * 2015-03-10 2016-01-13 株式会社リコー 撮像装置、制御方法およびプログラム
KR20170026705A (ko) * 2015-08-26 2017-03-09 삼성디스플레이 주식회사 표시 장치 및 그 구동 방법
JP6432005B2 (ja) * 2016-09-23 2018-11-28 富士フイルム株式会社 撮像装置、撮像装置の作動方法、撮像装置の作動プログラム
US20190162566A1 (en) * 2017-11-29 2019-05-30 Groking Lab Limited System and method for tracking liquid consumption
JP7251095B2 (ja) * 2018-10-22 2023-04-04 セイコーエプソン株式会社 位置検出装置、表示装置、表示システム、及び、位置検出方法
US11743593B2 (en) * 2019-03-29 2023-08-29 Sony Group Corporation Imaging device, imaging signal processing device, and imaging signal processing method to reduce image display delay
JP2021114749A (ja) * 2020-01-21 2021-08-05 キヤノン株式会社 撮像制御装置、撮像装置及びその制御方法
CN114615537B (zh) * 2020-11-24 2024-03-29 深圳市奥拓电子股份有限公司 一种零帧延时的视频控制系统及方法、led显示系统
CN112667191A (zh) * 2021-01-19 2021-04-16 青岛海尔科技有限公司 显示方法和装置、存储介质及电子装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000092380A (ja) * 1998-09-14 2000-03-31 Casio Comput Co Ltd カメラ装置及びその露出制御方法並びに記録媒体
JP2011259269A (ja) * 2010-06-10 2011-12-22 Seiko Epson Corp 撮影装置

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000350168A (ja) * 1999-06-02 2000-12-15 Seiko Epson Corp 画像信号処理方法および画像信号処理装置
US20010043279A1 (en) * 2000-03-07 2001-11-22 Masahito Niikawa Digital camera
JP4288965B2 (ja) 2003-03-07 2009-07-01 カシオ計算機株式会社 電子カメラ及び撮像制御プログラム
JP4745851B2 (ja) * 2006-02-09 2011-08-10 キヤノン株式会社 撮像装置
JP4917345B2 (ja) 2006-04-21 2012-04-18 オリンパスイメージング株式会社 同期信号生成装置、デジタルカメラ、及び同期信号生成方法
JP4750616B2 (ja) 2006-04-26 2011-08-17 キヤノン株式会社 撮像装置及びその制御方法
JP4789767B2 (ja) * 2006-09-28 2011-10-12 キヤノン株式会社 撮像装置及びその制御方法
JP4912141B2 (ja) * 2006-12-26 2012-04-11 キヤノン株式会社 撮像表示装置、撮像表示制御方法及びシステム
JP2009111844A (ja) 2007-10-31 2009-05-21 Fujifilm Corp 撮影装置
JP4556195B2 (ja) * 2008-02-15 2010-10-06 カシオ計算機株式会社 撮像装置、動画再生装置及びそのプログラム
JP5371474B2 (ja) 2009-02-16 2013-12-18 キヤノン株式会社 撮像装置、制御方法、及びプログラム
JP5240213B2 (ja) * 2010-02-09 2013-07-17 株式会社リコー 撮像装置および撮像装置の制御方法
US8937673B2 (en) * 2010-05-18 2015-01-20 Seiko Epson Corporation Image-displaying device and display timing control circuit
EP2388771B1 (en) 2010-05-18 2019-10-16 Seiko Epson Corporation Image-displaying device and display control circuit
JP5195818B2 (ja) * 2010-06-01 2013-05-15 セイコーエプソン株式会社 表示制御装置
JP2011254416A (ja) * 2010-06-04 2011-12-15 Seiko Epson Corp 撮影装置
JP5251926B2 (ja) 2010-06-16 2013-07-31 セイコーエプソン株式会社 撮影装置およびタイミング制御回路
JP5163702B2 (ja) 2010-06-16 2013-03-13 セイコーエプソン株式会社 撮影装置およびタイミング制御回路
US8531537B2 (en) * 2010-09-08 2013-09-10 Olympus Corporation Imaging apparatus for processing still picture signals and live view signals output from an image sensor
JP5163728B2 (ja) 2010-10-13 2013-03-13 セイコーエプソン株式会社 タイミングジェネレーター、撮影装置、ドットクロック出力方法
CN103392335B (zh) * 2011-02-25 2017-06-13 福通尼斯荷兰公司 实时获取和显示图像的设备及方法
JP5637058B2 (ja) 2011-04-22 2014-12-10 大同特殊鋼株式会社 棒材の計数方法
JP5802423B2 (ja) 2011-04-22 2015-10-28 株式会社日立産機システム 移動体
JP5635941B2 (ja) 2011-04-22 2014-12-03 日立オートモティブシステムズ株式会社 自動車用電子制御装置
JP2013034039A (ja) * 2011-07-29 2013-02-14 Sony Computer Entertainment Inc 撮像装置、情報処理装置、情報処理システムおよびフレームデータ出力同期化方法
JP5929712B2 (ja) * 2012-11-06 2016-06-08 セイコーエプソン株式会社 撮影装置、撮影装置の制御方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000092380A (ja) * 1998-09-14 2000-03-31 Casio Comput Co Ltd カメラ装置及びその露出制御方法並びに記録媒体
JP2011259269A (ja) * 2010-06-10 2011-12-22 Seiko Epson Corp 撮影装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016021162A1 (ja) * 2014-08-08 2016-02-11 セイコーエプソン株式会社 撮像装置、画像処理装置、及び、撮像表示装置
JP2016039628A (ja) * 2014-08-08 2016-03-22 セイコーエプソン株式会社 撮像装置、画像処理装置、及び、撮像表示装置
US10154217B2 (en) 2014-08-08 2018-12-11 Seiko Epson Corporation Imaging apparatus, image processing apparatus, and imaging display apparatus
JP2018523142A (ja) * 2015-05-04 2018-08-16 グーグル エルエルシー 取込まれた像のパススルー表示
JP2021060590A (ja) * 2015-05-04 2021-04-15 グーグル エルエルシーGoogle LLC 取込まれた像のパススルー表示
US11024082B2 (en) 2015-05-04 2021-06-01 Google Llc Pass-through display of captured imagery

Also Published As

Publication number Publication date
US9451186B2 (en) 2016-09-20
US20170187958A1 (en) 2017-06-29
US9924095B2 (en) 2018-03-20
US11032474B2 (en) 2021-06-08
US20140125839A1 (en) 2014-05-08
US20200128182A1 (en) 2020-04-23
EP2890111A4 (en) 2016-06-01
EP2890111B1 (en) 2018-07-04
JP5929712B2 (ja) 2016-06-08
CN104737529A (zh) 2015-06-24
US20150022688A1 (en) 2015-01-22
US9241108B2 (en) 2016-01-19
CN104737529B (zh) 2018-02-09
US20180167556A1 (en) 2018-06-14
WO2014073192A1 (ja) 2014-05-15
US9609216B2 (en) 2017-03-28
EP2890111A1 (en) 2015-07-01
US8860864B2 (en) 2014-10-14
US10554889B2 (en) 2020-02-04
US20160381293A1 (en) 2016-12-29
US20160100112A1 (en) 2016-04-07
US11637955B2 (en) 2023-04-25
US20210266462A1 (en) 2021-08-26

Similar Documents

Publication Publication Date Title
JP5929712B2 (ja) 撮影装置、撮影装置の制御方法
JP6051516B2 (ja) 撮影装置および撮影方法
JP2010268388A (ja) 撮像装置
JP2011232671A (ja) 撮像装置
JP2015207809A (ja) 撮像装置
JP2010068046A (ja) 撮像装置
JP5947625B2 (ja) 撮像装置、及びその制御方法
JP6562021B2 (ja) 撮像表示装置、画像処理装置、撮像装置および撮像表示装置の制御方法
JP6123935B2 (ja) 撮像表示装置、撮像装置、画像処理装置および撮像表示装置の制御方法
JP4597887B2 (ja) 撮影装置
JP2016226015A (ja) 撮像装置
JP2013044938A (ja) 撮像装置及び撮像方法
JP2013186369A (ja) 画像表示装置および画像表示方法
JP2014202879A (ja) 撮影装置
JP5927958B2 (ja) 画像生成装置および露光開始タイミングの調整方法
JP5794187B2 (ja) 撮影装置、撮影方法
JP2010166461A (ja) 撮影装置
JP2013153371A (ja) 撮影装置および撮影方法
JP5927957B2 (ja) 画像生成装置および露光開始タイミングの調整方法
JP2014171203A (ja) 撮像装置及び画像表示方法
JP2011217317A (ja) カメラ
JP2013224996A (ja) 撮影装置および画質調整方法
JP2013118562A (ja) 撮像装置
JP2013003348A (ja) 撮像装置

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20150108

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150716

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160405

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160418

R150 Certificate of patent or registration of utility model

Ref document number: 5929712

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150