JP2015126386A - Image pickup device, and control method and program of the same - Google Patents
Image pickup device, and control method and program of the same Download PDFInfo
- Publication number
- JP2015126386A JP2015126386A JP2013269681A JP2013269681A JP2015126386A JP 2015126386 A JP2015126386 A JP 2015126386A JP 2013269681 A JP2013269681 A JP 2013269681A JP 2013269681 A JP2013269681 A JP 2013269681A JP 2015126386 A JP2015126386 A JP 2015126386A
- Authority
- JP
- Japan
- Prior art keywords
- row
- image
- accumulation
- light emitting
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、動画を取得しつつ静止画を取得することが可能な撮像装置および、その制御方法とプログラムに関する。 The present invention relates to an imaging apparatus capable of acquiring a still image while acquiring a moving image, and a control method and program thereof.
従来、動画を取得しつつ静止画を取得することが可能な撮像装置が一般的に知られている。このような撮像装置において、静止画の取得時にストロボなどの発光装置を発光させると、当該発光の影響が取得する動画に及んでしまう場合がある。 2. Description of the Related Art Conventionally, an imaging apparatus that can acquire a still image while acquiring a moving image is generally known. In such an imaging device, if a light emitting device such as a strobe is caused to emit light when a still image is acquired, the influence of the light emission may affect the acquired moving image.
特許文献１には、１つの撮像素子において、動画記録用のフレームと静止画記録用のフレームとが交互に設けられた電子カメラが記載されている。そして、ストロボを発光させて静止画を取得する場合は、静止画記録用のフレームにおいてストロボ発光させることについて記載されている。 Patent Document 1 describes an electronic camera in which a moving image recording frame and a still image recording frame are alternately provided in one image sensor. In the case of acquiring a still image by emitting a strobe, strobe emission is described in a still image recording frame.
しかしながら、特許文献１の電子カメラは、１つの撮像素子において動画用のフレームと静止画用のフレームとが交互に設けられているので、動画のフレームレートにより、静止画の蓄積時間が制限されてしまう場合がある。 However, in the electronic camera of Patent Document 1, since a moving image frame and a still image frame are alternately provided in one image sensor, the accumulation time of the still image is limited by the frame rate of the moving image. May end up.
本発明の目的は、１つの撮像素子を用いて動画と静止画を取得する場合であって、ストロボを発光して静止画を取得する際に、静止画の蓄積時間が制限されることなく、ストロボの発光が動画へ影響することを抑制することである。 An object of the present invention is to acquire a moving image and a still image using a single image sensor, and when a still image is acquired by emitting a strobe, the accumulation time of the still image is not limited, This is to prevent the flash light from affecting the movie.
上記目的を達成するための本発明に係る撮像装置は、行方向と列方向に並べられた複数の撮像用の画素を有し、第１の行と前記第１の行とは異なる第２の行とで、それぞれ独立して読み出し周期の制御が可能な電荷蓄積型の撮像素子と、被写体を照明する発光手段の発光を制御する第１の制御手段と、前記撮像素子の第１の行と前記第２の行の蓄積時間を設定する第２の制御手段と、を有し、前記第１の制御手段は、前記発光手段を発光させて前記第２の行で静止画用に被写体を撮像する場合に、前記第１の行で動画用の蓄積が終了してから次の動画用の蓄積が開始されるまでの期間で前記発光手段を発光させ、前記第２の制御手段は、前記発光手段を発光させる期間と少なくとも一部が重複する期間で、前記第２の行での静止画用の蓄積を行うことを特徴とする。 In order to achieve the above object, an imaging apparatus according to the present invention has a plurality of imaging pixels arranged in a row direction and a column direction, and the first row is different from the first row. A charge storage type image sensor capable of controlling the readout cycle independently for each row, first control means for controlling the light emission of the light emitting means for illuminating the subject, and the first row of the image sensor. Second control means for setting the accumulation time of the second row, and the first control means causes the light emitting means to emit light and images a subject for a still image in the second row. In this case, the light emitting unit is caused to emit light in a period from the end of the accumulation of the moving image in the first row to the start of accumulation of the next moving image, and the second control unit The storage for the still image in the second row is performed in a period at least partially overlapping with the period in which the means emits light. And wherein the Ukoto.
本発明によれば、１つの撮像素子を用いて動画と静止画を取得する場合であって、ストロボを発光して静止画を取得する際に、静止画の蓄積時間が制限されることなく、ストロボの発光が動画へ影響することを抑制することが出来る。 According to the present invention, when a moving image and a still image are acquired using a single imaging device, and the still image is acquired by emitting a strobe light, the accumulation time of the still image is not limited, It is possible to suppress the flash light from affecting the moving image.
（第１実施形態）
本発明に係る第１実施形態としての撮像装置であるデジタルカメラ（以下、単にカメラと称す）１００について図１〜図１０を参照して説明する。
(First embodiment)
A digital camera (hereinafter simply referred to as a camera) 100 as an imaging apparatus according to a first embodiment of the present invention will be described with reference to FIGS.
図１は、本発明を実施した撮像装置の第１実施形態であるカメラ１００を説明する図であって、カメラ１００の背面図を示している。以下、図１に記載された各部を説明する。
FIG. 1 is a diagram for explaining a
カメラ１００の背面には、画像や各種情報を表示する表示部１０１が設けられている。表示部１０１は、例えば、液晶ディスプレイ或いは有機ＥＬディスプレイ等であり、タッチパネルとして入力機能を備えることにより操作部として機能するものであってもよい。
A
また、カメラ１００の背面には、ユーザによる各種操作を受け付ける各種スイッチやボタン等の操作部材からなる操作部１０２が設けられている。なお、操作部１０２の一部は、カメラ１００の上面にも設けられている。
Further, an
また、カメラ１００の背面には、被写体に対する撮影モード等を切り替えるモード切り替えスイッチ１０４と、回転操作可能なコントローラホイール１０３が設けられている。操作部１０２、コントローラホイール１０３及びモード切り替えスイッチ１０４の機能等の詳細については、図２を参照して後述する。
Further, on the back surface of the
カメラ１００の上面には、撮影指示を行うシャッタボタン１２１と、カメラ１００の電源オン／電源オフを切り替える電源スイッチ１２２とが設けられている。シャッタボタン１２１の機能の詳細については、図２を参照して後述する。
On the upper surface of the
カメラ１００の側面には、コネクタ１１２が設けられている。カメラ１００はこのコネクタ１１２と、コネクタ１１２に接続可能な接続ケーブル１１１を介して、不図示の外部装置と接続ができる。そして、カメラ１００は、接続ケーブル１１１及びコネクタ１１２を介して、不図示の外部装置に静止画、動画に係るデジタル画像データを出力することができる。
A
カメラ１００の下面には、蓋１３１により開閉可能な記録媒体スロット（不図示）が設けられており、当該記録媒体スロットには、メモリカード等の記録媒体１３０を挿抜することができるようになっている。記録媒体スロットに格納された記録媒体１３０は、図２を参照して後述するシステム制御部（ＣＰＵ）２１１と通信が可能である。なお、記録媒体１３０は、記録媒体スロットに対して挿抜可能なメモリカード等に限定されるものではなく、ＤＶＤ−ＲＷディスク等の光学ディスクやハードディスク等の磁気ディスクであってもよい。さらに、カメラ１００に内蔵されていてもよい。
A recording medium slot (not shown) that can be opened and closed by a
図２は、本発明を実施した撮像装置の第１実施形態であるカメラ１００の内部構成を説明するブロック図である。以下、図２を参照して、カメラ１００の内部構成について説明する。
FIG. 2 is a block diagram illustrating the internal configuration of the
カメラ１００は、バリア２０１と、撮像光学系を構成する撮影レンズ２０２及びシャッタ２０３と、撮像部２０４と、ストロボ２１８とを備える。
The
バリア２０１は、撮像光学系を覆うことにより、撮像光学系の汚れや破損を防止する。
The
撮影レンズ２０２は、ズームレンズやフォーカスレンズを含むレンズ群である。シャッタ２０３は、絞り機能を備え、撮像素子２０５に入射する光量を調節する。
The photographing
撮像部２０４は、光学像を電気信号（アナログ電気信号）に変換する撮像素子２０５を有する。撮像素子２０５は、電荷を蓄積することで画像を生成することが可能な、ＣＣＤやＣＭＯＳなどの固体撮像素子からなる電荷蓄積型の撮像手段である。
The
撮像部２０４には、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）が設けられており、当該ＡＦＥによって、撮像素子２０５から出力されたアナログ電気信号（アナログ画像データ）に対するゲイン量の調節やサンプリングなどが行われる。なお、後述のＣＰＵ２１１からの指示に応じ、当該ＡＦＥが、取得された画像データに対するゲイン量の増幅や減少に関する調節を行う。
The
また、撮像部２０４は、Ａ／Ｄ変換部２０６を有している。Ａ／Ｄ変換部２０６は、撮像素子２０５から出力され、ゲイン量が調節されたアナログ画像データをデジタル信号（デジタル画像データ）に変換する。
In addition, the
なお、本実施形態では、撮像部２０４で得た画像データを基に、後述するシステム制御部（ＣＰＵ）２１１の測光演算部２１９が被写体の輝度値を算出する。この点については後述する。
In the present embodiment, based on the image data obtained by the
カメラ１００は、画像処理部２０７、メモリ制御部２０８、Ｄ／Ａ変換部２０９、メモリ２１０、システム制御部（ＣＰＵ）２１１、不揮発性メモリ２１２、システムタイマ２１３、システムメモリ２１４及び表示部１０１を備える。
The
画像処理部２０７とメモリ制御部２０８は、撮像部２０４においてＡ／Ｄ変換処理により生成されたデジタル画像データを受信する。画像処理部２０７は、撮像部２０４から受信するデジタル画像データ、または、メモリ制御部２０８から受信するデジタル画像データに対し、所定の画素補間や縮小等のリサイズ処理、色変換処理等の処理を行う。また、本実施形態において、画像処理部２０７は、撮像部２０４から出力されたデジタル画像データに対するゲイン量の調節を行うことができる。なお、ＣＰＵ２１１からの指示に応じて、画像処理部２０７が、取得されたデジタル画像データに対するゲイン量の増幅や減少に関する調節を行うものとする。すなわち、アナログ画像データおよびデジタル画像データの両方のゲイン量の調節は、ＣＰＵ２１１（第３の制御手段）によって設定されたゲイン量に基づいて行われる。
The
なお、デジタル画像データは画像処理部２０７で各種の処理が施された後にＣＰＵ２１１に送られて、被写体の輝度値に応じて露出制御やフォーカス制御などが実行される。例えば、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、調光処理、ＡＷＢ（オートホワイトバランス）処理等である。なお、本実施形態では、画像処理部２０７から送られたデジタル画像データを基に、ＣＰＵ２１１が、被写体を撮像する際の露出量や、撮影レンズ２０２の位置などを算出する。そして、ＣＰＵ２１１によって当該算出の結果に基づいた露出制御やフォーカス制御が実行される。
The digital image data is subjected to various processes by the
また、撮像部２０４から出力されるデジタル画像データは、画像処理部２０７とメモリ制御部２０８を介して、あるいは、メモリ制御部２０８を介して、メモリ２１０に一時的に記録される。
In addition, digital image data output from the
メモリ２１０は、ＤＲＡＭなどの記録素子からなる記録部であり、撮像部２０４によって取得されたデジタル画像データや、表示部１０１に表示する表示用のアナログ画像データを記録することができる。また、メモリ２１０は、所定枚数の静止画や所定時間の動画、音声データを記録することができる十分な記憶容量を備えている。また、メモリ２１０は、画像表示用メモリ（ビデオメモリ）を兼ねている。
The
メモリ２１０に一時的に記録されたデジタル画像データは、Ｄ／Ａ変換部２０９に送信される。Ｄ／Ａ変換部２０９は、受け取ったデジタル画像データを表示用のアナログ画像データに変換して表示部１０１に送信する。そして、表示部１０１は、ＣＰＵ２１１からの指示によって、受け取った表示用のアナログ画像データを表示部１０１に表示する。なお、表示用のアナログ画像データを、表示部１０１に逐次表示することにより、被写体を撮像したスルー画像をライブビュー表示することが可能となる。また、表示部１０１のみでなく、不図示の電子ビューファインダに当該スルー画像をライブビュー表示させることも可能である。
The digital image data temporarily recorded in the
不揮発性メモリ２１２は、電気的に消去や記憶が可能なメモリであり、例えば、フラッシュメモリ等に代表されるＥＥＰＲＯＭ等である。不揮発性メモリ２１２には、本実施形態において使用される種々のデータが格納されている。例えば、カメラ１００において実行されるプログラムや動作用の定数、種々の露出条件、カメラ１００内の処理で使用する算出式、ストロボ２１８の発光条件などが不揮発性メモリ２１２に格納されている。なお、カメラ１００において実行されるプログラムとは、図５、図９に示すフローと同様の動作を指示するためのプログラムである。
The
ＣＰＵ２１１は、不揮発性メモリ２１２に記憶されている各種のプログラムを実行するだけでなく、カメラ１００の全体的な動作を統括的に制御する。例えば、ＣＰＵ２１１は、メモリ２１０やＤ／Ａ変換部２０９、表示部１０１等を制御することにより、静止画および動画の表示制御を行う。また、画像処理部２０７やメモリ制御部２０８、後述の電源制御部２１６などに対して制御の指示を行う。なお、ＣＰＵ２１１の内部には測光演算部２１９、調光演算部２２０、ストロボ制御部２２１、合成部２２２などが設けられている。
The
測光演算部２１９は、撮像部２０４によって取得したデジタル画像データを受け、撮像部２０４で撮像した被写体の輝度値を算出する。測光演算部２１９による輝度値の算出方法として、まず、撮像部２０４で取得した画像データ（一画面分）を複数のブロックに分割する。次に、これらのブロックごとに平均輝度値を算出する。そして、全ブロックの平均輝度値を積分して代表輝度値を算出する。本実施形態では、この代表輝度値を用いて後述する種々の処理を実行する。
The
なお、代表輝度値の算出方法としては、公知のものであればどのようなものでもよい。例えば、平均輝度値と基準となるブロック（基準ブロック）との輝度値の差、および、ブロックの位置に応じた重みづけを行った後、輝度値の加算処理を行う。この重みづけ加算された輝度値を代表輝度値とするような構成であってもよい。測光演算部２１９によって算出した代表輝度値（以下、単に輝度値と称す）は、メモリ２１０へと送られる。
As a method for calculating the representative luminance value, any known method may be used. For example, the luminance value is added after performing the weighting according to the difference between the average luminance value and the luminance value of the reference block (reference block) and the position of the block. A configuration may be adopted in which the weighted luminance value is used as the representative luminance value. A representative luminance value (hereinafter simply referred to as a luminance value) calculated by the
また、測光演算部２１９は、先に算出した輝度値に基づいて、ストロボ２１８によって被写体を照明する必要があるかないかを判定する。この判定の結果に応じて、ストロボ２１８の発光の要否が設定され、当該発光の要否はメモリ２１０に記録される。なお、上述した第１の行と第２の行は、撮像素子２０５の各行のうち、それぞれ異なる行として配置されている。この点については図３、４を参照して後述する。
Further, the
調光演算部２２０は、ストロボ２１８を発光させる際のストロボ２１８の発光量を調節するための調光手段である。調光演算部２２０は、撮像素子２０５の、動画用の蓄積をおこなう行（以下、第１の行と称す）と、静止画用の蓄積をおこなう行（以下、第２の行と称す）のそれぞれで取得した画像データを比較して、ストロボ２１８の発光量を算出する。算出されたストロボ２１８の発光量はメモリ２１０に記録される。
The dimming
ストロボ制御部２２１は、調光演算部２２０によって設定されたストロボ２１８の発光の要否や発光量に関する情報をメモリ２１０から読み出すことで、ストロボ２１８の発光を制御する発光制御手段（第１の制御手段）である。なお、ストロボ制御部２２１は、後述する動画取得処理におけるストロボ２１８の発光タイミングの制御も行う。
The
合成部２２２は、複数の画像を合成して記録用の静止画を生成する合成手段（第１の合成手段、第２の合成手段、第３の合成手段）である。本実施形態においては、合成部２２２は、第１の行で取得した画像データと第２の行で取得した画像データとのインターレース合成と、第２の画像に基づく補間処理によって新たな画像データを生成することができる。また、合成部２２２は、インターレース合成処理によって生成された画像データと補間処理に基づいて生成された画像データとを合成して記録用の静止画（画像データ）を生成することができる。以上説明した、調光演算部２２０、ストロボ制御部２２１、合成部２２２における各種の処理については図５〜図１０を参照して後述する。
The combining
なお、本実施形態では、ＣＰＵ２１１からの指示に応じて、上述したような制御部や処理部がカメラ１００の各種の制御を実行するような構成であるがこれに限定されるものではない。例えば、上述したような制御部や処理部を設けずに、ＣＰＵ２１１がカメラ１００内の各部を制御するような構成であっても良いし、ＣＰＵ２１１を設けずに上述した各部が連動して、カメラ１００の制御（処理）をおこなうような構成であってもよい。
In the present embodiment, the control unit and the processing unit as described above execute various controls of the
ＣＰＵ２１１が不揮発性メモリ２１２から読み出したプログラムや動作用の定数や変数等は、システムメモリ２１４において展開される。システムメモリ２１４にはＲＡＭが用いられる。システムタイマ２１３は、各種の制御に用いる時間やタイミングが内蔵された時計の時間を計測する。
The program read by the
操作部１０２を構成する各種の操作部材は、表示部１０１に表示される種々の機能アイコンの選択等に用いられ、所定の機能アイコンが選択されることにより、場面毎に、適宜、機能が割り当てられる。即ち、操作部１０２の各操作部材は、各種の機能ボタンとして用いられる。
Various operation members constituting the
回転操作が可能な操作部材であるコントローラホイール１０３は、４方向ボタンと共に選択項目を指示するとき等に使用される。コントローラホイール１０３を回転操作すると、操作量（回転角度や回転回数等）に応じた電気的なパルス信号が発生する。ＣＰＵ２１１は、このパルス信号を解析して、カメラ１００の各部を制御する。
A
なお、コントローラホイール１０３は、回転操作が検出できる操作部材であれば、部材自体が回転するものや、部材自体は回転しないがタッチセンサで回転操作を検出するものなど、どのようなものでもよい。
Note that the
シャッタボタン１２１は、第１スイッチＳＷ１と、第２スイッチＳＷ２とを有する。第１スイッチＳＷ１は、シャッタボタン１２１の操作途中の半押し状態でＯＮとなり、これにより、撮影準備を指示する信号がＣＰＵ２１１に送信される。ＣＰＵ２１１は、第１スイッチＳＷ１がＯＮになった信号を受信すると、前述したＡＦ処理、ＡＥ処理、ＡＷＢ処理、調光処理等などの、露出制御やフォーカス制御を開始する。
The
第２スイッチＳＷ２は、シャッタボタン１２１の操作が完了する全押し状態でＯＮとなり、これにより、被写体の撮像開始を指示する信号がＣＰＵ２１１に送信される。ＣＰＵ２１１は、第２スイッチＳＷ２がＯＮになった信号を受信すると、撮像部２０４において蓄積された電荷に応じたアナログ画像データとして読み出す。次に、当該アナログ画像データから変換されたデジタル画像データを記録媒体１３０に書き込む。同時に、デジタル画像データから変換された表示用のアナログ画像データをスルー画像として表示部１０１に表示させる。以上説明した一連の撮影動作が、第２スイッチＳＷ２のＯＮに応じて行われる。
The second switch SW2 is turned on when the
モード切り替えスイッチ１０４は、カメラ１００の動作モードを、静止画記憶モード、動画記憶モード、再生モード等の各種モードの間で切り替えるためのスイッチである。静止画記憶モードには、例えば、オート撮影モード、オートシーン判定モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等がある。モード切り替えスイッチ１０４の操作により、静止画記憶モードに含まれるこれらのモードのいずれかに、直接、切り替えることができるようになっている。但し、このような構成に限定されず、例えば、モード切り替えスイッチ１０４で静止画記憶モードに切り替えた後に、他の操作部材を用いて静止画記憶モードに含まれる前述のモードのいずれかに切り替えるようにしてもよい。同様に、動画記憶モードにも、複数のモードが含まれていてもよい。
The
カメラ１００は、電源部２１５と、電源制御部２１６を備える。電源部２１５は、アルカリ電池やリチウム電池等の一次電池、ＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、或いは、ＡＣアダプター等であり、電源制御部２１６へ電力を供給する。電源制御部２１６は、電池検出回路やＤＣ−ＤＣコンバータ、通電ブロックを切り替えるスイッチ回路等により構成されている。電源制御部２１６は、電源部２１５における電池の装着の有無、電池の種類、電池残量等を検出し、その検出結果及びＣＰＵ２１１の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体１３０を含む各部へ供給する。
The
カメラ１００は、記録媒体１３０が記録媒体スロット（不図示）に装着された際に、記録媒体１３０とＣＰＵ２１１との間の通信を可能にするためのＩ／Ｆ（インターフェース）２１７を備える。
The
以下、図３を参照して撮像部２０４の詳細について説明する。図３は本発明を実施した撮像装置の第１実施形態であるカメラ１００の撮像部２０４を説明する図であって、（ａ）は撮像部２０４の概略斜視図であって、（ｂ）は撮像部２０４を示すブロック図である。
Hereinafter, details of the
まず、前述した撮像部２０４は、複数の画素３０１が形成されて光入射側に配置される第１のチップ３０と、列走査回路３１３ａ、３１３ｂや行走査回路３１２等の画素駆動回路（以下、周辺回路と称す）が形成された第２のチップ３１からなる。この第１のチップ３０が、本実施形態の撮像素子２０５であり、前述したＡ／Ｄ変換部２０６は第２のチップ３１に設けられている。
First, the
撮像部２０４は、第１のチップ３０が第２のチップ３１の上に積層されて構成されている。第１のチップ３０に画素３０１を形成し、第２のチップ３１に周辺回路を形成することにより、周辺回路と画素３０１の製造プロセスを分けることができる。これにより、周辺回路部の配線の細線化、高密度化による高速化、小型化、高機能化を実現することができる。
The
第１のチップ３０は、マトリクス状に行方向と列方向に一定の間隔で配置された複数の画素３０１を有する。なお、本実施形態では、複数の画素３０１は被写体を撮像する撮像用の画素であるが、これ以外の用途で使用するような構成であってもよい。
The
第１のチップ３０は、各画素３０１に行方向（水平方向）に接続された転送信号線３０３と、リセット信号線３０４及び行選択信号線３０５と、各画素３０１の列方向に接続された列信号線３０２ａ、３０２ｂとを有する。列信号線３０２ａ、３０２ｂはそれぞれ、読み出し行単位によって接続先が区別されている。読み出し行の詳細については図４を参照して後述する。
The
第２のチップ３１は、列信号線３０２ａ、３０２ｂがそれぞれ接続されるカラムＡＤＣブロックであるＡ／Ｄ変換部２０６と、各行を走査する行走査回路３１２と、各列を走査する列走査回路３１３ａ、３１３ｂを有する。また、第２のチップ３１は、タイミング制御回路３１４と、水平信号線３１５ａ、３１５ｂを有する。
The
タイミング制御回路３１４は、ＣＰＵ２１１からの制御信号を受けて、行走査回路３１２、列走査回路３１３ａ、３１３ｂ及びＡ／Ｄ変換部２０６のそれぞれの動作のタイミングを制御する。水平信号線３１５ａ、３１５ｂは、列走査回路３１３ａ、３１３ｂにより制御されるタイミングに従い、Ａ／Ｄ変換部２０６からのデジタル画像データ（デジタル信号）を転送する。そして、水平信号線３１５ｂから転送された各画像データは、水平信号線３１５ａ、３１５ｂに接続された画像処理部２０７に送られる。
The
第１のチップ３０（撮像素子２０５）において、画素３０１は、フォトダイオードＰＤ、フローティングディフュージョンＦＤ、転送トランジスタＭ１、リセットトランジスタＭ２、増幅トランジスタＭ３及び選択トランジスタＭ４を含む。なお、ここでは、各トランジスタはｎチャネルＭＯＳＦＥＴであるとする。
In the first chip 30 (image sensor 205), the
転送トランジスタＭ１、リセットトランジスタＭ２及び選択トランジスタＭ４の各ゲートには、転送信号線３０３、リセット信号線３０４及び行選択信号線３０５が接続されている。これらの信号線は、行方向に延在して、同一行に含まれる画素３０１を同時に駆動するようになっており、これによりライン順次動作型のローリングシャッタや、全行同時動作型のグローバルシャッタの動作を制御することが可能になっている。選択トランジスタＭ４のソースには、列信号線３０２ａ又は列信号線３０２ｂが、行単位で分かれて接続されている。
A
フォトダイオードＰＤは、光電変換により生成された電荷を蓄積し、そのＰ側は接地され、そのＮ側は転送トランジスタＭ１のソースに接続されている。転送トランジスタＭ１がＯＮすると、フォトダイオードＰＤの電荷がフローティングディフュージョンＦＤに転送されるが、フローティングディフュージョンＦＤには寄生容量があるので、この部分に電荷が蓄積される。 The photodiode PD accumulates electric charges generated by photoelectric conversion, the P side is grounded, and the N side is connected to the source of the transfer transistor M1. When the transfer transistor M1 is turned on, the charge of the photodiode PD is transferred to the floating diffusion FD. However, since the floating diffusion FD has a parasitic capacitance, the charge is accumulated in this portion.
増幅トランジスタＭ３のドレインは電源電圧Ｖｄｄとされ、増幅トランジスタＭ３のゲートはフローティングディフュージョンＦＤに接続されているものとする。増幅トランジスタＭ３は、フローティングディフュージョンＦＤの電圧を電気信号に変換する。選択トランジスタＭ４は、信号を読み出す画素を行単位で選択するためのものである。選択トランジスタＭ４のドレインは増幅トランジスタＭ３のソースに接続され、選択トランジスタＭ４のソースは列信号線３０２ａ又は列信号線３０２ｂに接続されている。選択トランジスタＭ４がＯＮしたときに、フローティングディフュージョンＦＤの電圧に対応する電圧が列信号線３０２ａ又は列信号線３０２ｂに出力される。リセットトランジスタＭ２のドレインは電源電圧Ｖｄｄとされ、リセットトランジスタＭ２のソースはフローティングディフュージョンＦＤに接続されている。リセットトランジスタＭ２は、フローティングディフュージョンＦＤの電圧を電源電圧Ｖｄｄにリセットする。
The drain of the amplification transistor M3 is assumed to be the power supply voltage Vdd, and the gate of the amplification transistor M3 is connected to the floating diffusion FD. The amplification transistor M3 converts the voltage of the floating diffusion FD into an electric signal. The selection transistor M4 is for selecting a pixel from which a signal is read out in units of rows. The drain of the selection transistor M4 is connected to the source of the amplification transistor M3, and the source of the selection transistor M4 is connected to the
以上説明したように、本実施形態では、第１のチップ３０（撮像素子２０５）を構成する各画素を行単位で同時に駆動、及び読み出しが可能である。したがって、前述した第１の行および第２の行についても、駆動の周期および読み出しの周期を、それぞれ独立して制御することが出来る。 As described above, in the present embodiment, each pixel constituting the first chip 30 (image sensor 205) can be simultaneously driven and read out in units of rows. Accordingly, the driving cycle and the reading cycle can be independently controlled for the first row and the second row described above.
次に、図４を参照して、前述した撮像素子２０５の列信号線３０２ａ、３０２ｂにおける画素選択について説明する。図４は、本発明を実施する撮像装置の第１実施形態であるカメラ１００の撮像素子２０５からの信号の読み出し行を模式的に説明する図である。
Next, pixel selection on the
図４の左側には、撮像素子２０５の画素３０１の配列を、画素配列に対応して配置されるベイヤー配列を有するカラーフィルタの各色（Ｒ、Ｇ（Ｇｂ、Ｇｒ）、Ｂ）で示している。図４の右側は、動画取得用の蓄積行（第１の行）および静止画取得用の蓄積行（第２の行）を例示的に示している。なお、以下の説明では、動画の取得中に静止画を取得する場合について説明する。
On the left side of FIG. 4, the arrangement of the
ユーザよって、操作部１０２もしくは、モード切り替えスイッチ１０４などが操作されることで動画記憶モードが設定された場合、動画と静止画の取得を並行して行うために、画像データの読み出し行を分ける。以下の説明において、動画取得用の電気信号は列信号線３０２ａに出力され、静止画取得用の電気信号は列信号線３０２ｂへと出力される。なお、以下の説明では、動画取得用の電気信号および静止画取得用の電気信号を撮像信号と称す。
When the moving image storage mode is set by the operation of the
本実施形態では、図４に示す行番号１、２、５、６は動画を取得するための蓄積をする行（第１の行）であり、行番号１、２、５、６から、動画取得用に蓄積した電荷に対応した撮像信号の読み出しがされる。なお、動画記憶モードにおいて動画用の画像データを取得する場合に、行番号１、２、５、６から撮像信号が読み出される。
In the present embodiment,
図４に示す行番号３、４、７、８は静止画を取得するための蓄積をする行（第２の行）であり、行番号３、４、７、８から、静止画取得用に蓄積した電荷に対応した撮像信号の読み出しがされる。なお、動画を取得しない静止画記憶モードにおいては、行番号１〜８の全ての行から撮像信号が読み出される。また、動画記憶モード中に、ユーザによる静止画取得の指示がされた場合なども、静止画用の画像データを取得するために、行番号３、４、７、８から撮像信号が読み出される。
本実施形態では、行番号１、２、５、６及び行番号３、４、７、８からの読み出し走査を行単位で順次行うこととし、８行単位で繰り返して読み出し走査を行うとする。なお、本実施形態では、ライブビュー表示を行う場合は、第１の行を用いて被写体の撮像を行うような構成であるが、第２の行を用いるような構成や、第１の行と第２の行の両方を用いるような構成であっても良い。
In this embodiment, it is assumed that readout scanning from
第１の行で取得された動画取得用の撮像信号は列信号線３０２ａに出力される。列信号線３０２ａに出力された動画取得用の撮像信号は、Ａ／Ｄ変換部２０６においてアナログ信号（アナログ画像データ）からデジタル信号（デジタル画像データ）に変換される。変換された動画用のデジタル画像データは列走査回路３１３ａの操作によってＡ／Ｄ変換部２０６から水平信号線３１５ａへ読み出される。水平信号線３１５ａへ読み出された動画用のデジタル画像データは、撮像部２０４から画像処理部２０７に出力される。
The moving image acquisition imaging signal acquired in the first row is output to the
第２の行で取得された静止画取得用の撮像信号は列信号線３０２ｂに出力される。列信号線３０２ｂに出力された静止画取得用の撮像信号は、Ａ／Ｄ変換部２０６においてアナログ信号（アナログ画像データ）からデジタル信号（デジタル画像データ）に変換される。変換された静止画用のデジタル画像データは列走査回路３１３ｂの操作によってＡ／Ｄ変換部２０６から水平信号線３１５ｂへ読み出される。水平信号線３１５ｂへ読み出された静止画用のデジタル画像データは画像処理部２０７に出力される。
The still image acquisition image signal acquired in the second row is output to the
以上説明したように、本実施形態において撮像素子２０５を構成する撮像用の各画素は、第１の行と第２の行とでそれぞれ独立して制御することが出来る。特に、第１の行と第２の行とで独立して被写体の撮像を行うため、蓄積した電荷に対応する撮像信号の読み出し周期（フレームレート）は、第１の行と第２の行とで独立した制御が可能となる。したがって、本実施形態のカメラ１００は、動画のフレームレートを低下させることなく静止画（画像データ）を取得することが可能である。また、第１の行と第２の行のフレームレートを独立して制御することが出来るので、静止画の蓄積時間が制限されることを抑制することができる。
As described above, in the present embodiment, each of the imaging pixels constituting the
第２の行によって静止画用に被写体を撮像する場合は、第２の行によって取得された静止画用のデジタル画像データが、水平信号線３１５ｂから画像処理部２０７へと出力される。また、第２の行によって静止画用に被写体を撮像しない場合は、第２の行によって取得されたデジタル画像データに基づいて、フォーカス制御を行っても良い。
When a subject is imaged for a still image by the second row, the still image digital image data acquired by the second row is output from the
本実施形態におけるフォーカス制御としては、まず、第１の行および第２の行の一方、もしくは双方で取得したデジタル画像データに基づいて、各画像データの輝度成分のコントラスト情報からＡＦ評価値を算出する。そして、算出されたＡＦ評価値に基づいてＣＰＵ２１１が撮影レンズ２０２の位置を設定することで、フォーカス制御が実行される。
As focus control in the present embodiment, first, an AF evaluation value is calculated from contrast information of luminance components of each image data based on digital image data acquired in one or both of the first row and the second row. To do. Then, the
以下、本発明の第１実施形態における動画の取得処理について図５を参照して説明する。図５は本発明を実施した撮像装置の第１実施形態であるカメラ１００の動画取得処理を説明するフローチャートである。
Hereinafter, the moving image acquisition process according to the first embodiment of the present invention will be described with reference to FIG. FIG. 5 is a flowchart for explaining the moving image acquisition process of the
ユーザによって動画取得が指示されると、ステップＳ１０１でＣＰＵ２１１は、撮像素子２０５の第１の行から出力される撮像信号に対応して動画用に被写体を撮像するための各種条件を設定する。
When the user gives an instruction to acquire a moving image, in step S101, the
設定する撮像条件としては、ＣＰＵ２１１からカメラ１００内の各部への指示に応じて、被写体の輝度値に応じた露出量、露出補正量、撮影レンズ２０２の位置などを設定する。これらの撮像条件は、ＣＰＵ２１１からカメラ１００の各部に対して、前述したようなＡＥ制御、ＡＷＢ制御、フォーカス制御などが動画取得用に行われることで設定されることとする。なお、本実施形態における露出量とは、取得する画像の明るさを設定するための値であって、絞り値や蓄積時間、ゲイン量（ＩＳＯ感度）などを変化させることによって変化する。
As the imaging conditions to be set, the exposure amount, the exposure correction amount, the position of the photographing
次に、ステップＳ１０２でＣＰＵ２１１は、静止画用に被写体の撮像が指示されたか否かを判定する。すなわち、ＣＰＵ２１１は、動画用に被写体を撮像している途中で、静止画用に被写体の撮像が指示されたか否かを判定する。静止画の取得が指示されたと判定した場合は、ステップＳ１０３へと進み、静止画の取得が指示されていない場合はステップＳ１１５へと進む。
Next, in step S102, the
次に、ステップＳ１０３でストロボ制御部２２１は、静止画用に被写体を撮像する際に、ストロボ２１８を発光させるか否かを判定する。ストロボ制御部２２１によって、ストロボ２１８を発光させるとが判定された場合はステップＳ１０４へと進み、ストロボ２１８を発光させないと判定された場合はステップＳ１１４へと進む。
Next, in step S103, the
次に、ステップＳ１０４でＣＰＵ２１１は、撮像部２０４の第１の行における露出量を再設定する。具体的には、第１の行における蓄積時間は、ストロボ２１８を発光して静止画用に被写体を撮像する際に、並行して取得する動画にストロボ２１８による発光が影響しない蓄積時間が設定される。
Next, in step S <b> 104, the
また、第１の行で取得したデジタル画像データのゲイン量は、蓄積時間を再設定したことで変化した露出量を補償するように設定される。以下、撮像素子２０５の第１の行と第２の行における蓄積時間とストロボ２１８の発光タイミングについて図６を参照して説明する。
In addition, the gain amount of the digital image data acquired in the first row is set so as to compensate for the exposure amount changed by resetting the accumulation time. Hereinafter, the accumulation time and the light emission timing of the
図６は本発明を実施した撮像装置の第１実施形態であるカメラ１００のストロボ２１８の発光タイミングと撮像素子２０５の蓄積タイミングを説明するタイミングチャートである。図中の上側は、第１の行および第２の行における蓄積期間（白色部分）とリセット期間（黒色部分）を示している。図中の下側は、図５のフローチャートの各ステップの処理のタイミングを示している。なお、本実施形態においてリセット期間とは、第１の行で動画用の蓄積が終了してから次の動画用の蓄積が開始されるまでの期間（第１の期間）である。
FIG. 6 is a timing chart for explaining the light emission timing of the
すなわち、第１の期間は撮像素子２０５の第１の行を構成する各画素よって蓄積された電荷を電気信号として撮像素子２０５の外部に読み出してから、当該読み出し済みの電気信号をリセットトランジスタＭ２によってリセットするまでの期間である。
That is, in the first period, the electric charge accumulated by each pixel constituting the first row of the
図６に図示するように、本実施形態では、動画用に被写体を撮像している際にストロボ２１８を発光させて静止画の取得が指示されると、第１の行の蓄積時間（第１の蓄積時間）Ｅ１を蓄積時間（第２の蓄積時間）Ｅ２へと変更する。すなわち、ストロボ２１８を発光させる場合は、撮像素子２０５における動画を取得するための蓄積時間を通常時よりも短くする。この構成によって、ストロボ２１８の発光が、取得した動画に影響することを防止することが出来る。なお、ＣＰＵ２１１（第２の制御手段）によって、撮像素子２０５における蓄積時間の設定がされる。
As illustrated in FIG. 6, in this embodiment, when capturing a still image by causing the
前述したように、第２の蓄積時間Ｅ２としては、ストロボ２１８の発光による影響が動画に及ばない程度の蓄積時間が設定される。そして、後述するストロボ２１８の本発光が終了するまでの間は、第１の行で当該第２の蓄積時間Ｅ２が設定された状態が維持される。すなわち、本実施形態では、予め設定された第１の行の第２の蓄積時間Ｅ２に合わせて、ストロボ２１８の発光量が設定される。
As described above, as the second accumulation time E2, the accumulation time is set such that the influence of the light emission of the
図５のステップＳ１０４では、第１の行の蓄積時間を短くすることに対応してゲイン量の再設定も行われる。この構成によって、蓄積時間を短くすることで減少した露出量を補償することができる。具体的には、１フレーム（の期間）をＴｆｌａｍｅとし、再設定前の蓄積時間をＴ＿ｏｌｄ、再設定後の第１の行のリセット期間をＴｒｅｓ２とすると、増加させるゲイン量ＧａｉｎＵＰは式（１）を用いて、
ＧａｉｎＵＰ＝Ｔ＿ｏｌｄ／（Ｔｆｌａｍｅ−Ｔｒｅｓ２）・・・（１）
として算出できる。
In step S104 of FIG. 5, the gain amount is also reset in response to shortening the accumulation time of the first row. With this configuration, it is possible to compensate for the reduced exposure amount by shortening the accumulation time. Specifically, assuming that one frame (period) is Tframe, the accumulation time before resetting is T_old, and the reset period of the first row after resetting is Tres2, the gain amount GainUP to be increased is given by equation (1). Using,
GainUP = T_old / (Tframe-Tres2) (1)
Can be calculated as
また、再設定する蓄積時間をＴ＿ｎｅｗ、再設定前のゲイン量をＧａｉｎ＿ｏｌｄとすると、再設定するゲイン量Ｇａｉｎ＿ｎｅｗは式（２）を用いて、
Ｇａｉｎ＿ｎｅｗ＝（Ｇａｉｎ＿ｏｌｄ×Ｔ＿ｏｌｄ）／Ｔ＿ｎｅｗ・・・（２）
として算出できる。上述した（１）、（２）式のうちのどちらかを用いて第１の行によって取得される画像のゲイン量を再設定する。
Also, assuming that the accumulation time to be reset is T_new, and the gain amount before resetting is Gain_old, the gain amount Gain_new to be reset is calculated using Equation (2):
Gain_new = (Gain_old × T_old) / T_new (2)
Can be calculated as The gain amount of the image acquired by the first row is reset using either of the above-described expressions (1) and (2).
以上説明したように、図５のステップＳ１０４でＣＰＵ２１１は、第１の行の蓄積時間と、当該蓄積時間で取得した画像データのゲイン量を再設定する。すなわち、ＣＰＵ２１１によって撮像素子２０５における蓄積時間の設定と（第２の制御手段）、取得された画像データのゲイン量の設定（第３の制御手段）が行われる。
As described above, in step S104 of FIG. 5, the
図５に戻り、ステップＳ１０５でストロボ制御部２２１は、ストロボ２１８の発光制御をおこなう。図６に図示するように、ストロボ２１８の発光タイミングは、動画用に被写体を撮像する第１の行のリセット期間（第１の期間）に行う。なお、図７に図示するように、第１の行のリセット期間（第１の期間）に発光の開始から終了までが収まるように、ストロボ制御部２２１によってストロボ２１８の発光タイミングが制御される。
Returning to FIG. 5, in step S <b> 105, the
発光タイミングの詳細としては、静止画の取得が指示されると、その次のフレームにおける第１の行のリセット期間（第１の期間）を、ストロボ２１８によってプリ発光を行うタイミングとする。次に、プリ発光を行ったフレームからその次のフレームの終了までを、ストロボ２１８の本発光用の調光演算のタイミングとする。そして、更に次のフレームにおける、第１の行のリセット期間（第１の期間）をストロボ２１８の本発光のタイミングとして設定する。以上説明したタイミングを、ストロボ２１８の発光タイミングとする。
As details of the light emission timing, when acquisition of a still image is instructed, the reset period (first period) of the first row in the next frame is set as a timing at which the
次に、ステップＳ１０６でＣＰＵ２１１は、次のフレームにおいて実行するストロボ２１８の発光に関する処理が、プリ発光、調光演算、本発光の内のいずれであるかを判定する。次のフレームでの処理がプリ発光である場合はステップＳ１０７に進む。また、次のフレームでの処理が調光演算である場合はステップＳ１１０に進む。また、次のフレームでの処理が本発光である場合はステップＳ１１３に進む。
Next, in step S <b> 106, the
ステップＳ１０７でストロボ制御部２２１は、先に設定したストロボ２１８の発光タイミングに基づいて、第２の行のリセット期間Ｔｒｅｓ１が経過した後に、ストロボ２１８をプリ発光させて被写体を照明する。
In step S <b> 107, the
ここで、本実施形態におけるストロボ２１８の発光のタイミングと、撮像素子２０５の各行における蓄積のタイミングについて図７を参照して説明する。図７は本発明を実施した撮像装置の第１実施形態であるカメラ１００のストロボ２１８の発光時間と撮像素子２０５の蓄積時間との関係を説明するタイミングチャートである。
Here, the light emission timing of the
図７に図示するように、撮像素子２０５の第２の行に蓄積した電荷をクリアするためのリセットトランジスタＭ２のリセット期間を、最も短いリセット期間（第２の期間）Ｔｒｅｓ１に設定する。この構成によって、第２の行によって、静止画用に被写体を撮像する際の蓄積時間をより短い時間に設定することができる。
As shown in FIG. 7, the reset period of the reset transistor M2 for clearing the charge accumulated in the second row of the
第２の期間Ｔｒｅｓ１が経過したのち、動画用の画像データを取得するための露光が開始される時刻ｔ１において、ストロボ２１８を発光させる発光トリガ信号がストロボ制御部２２１からストロボ２１８に出力される。
After the second period Tres1 elapses, a light emission trigger signal for causing the
ストロボ２１８の発光量は少し遅れて立ち上がり、発光トリガを解除した後も発光を持続する。発光が終了する時刻ｔ２において動画用に第１の行での蓄積を開始する。すなわち、ストロボ２１８を発光させて静止画を取得する場合、第１の行のリセット期間（第１の期間）Ｔｒｅｓ２の終了のタイミングと時刻ｔ２とは同じタイミングとなる。
The light emission amount of the
なお、後述する第２の行で静止画用に取得する画像に対し、ストロボ２１８の発光による影響が少なければ、時刻ｔ２と第１の期間Ｔｒｅｓ２の終了タイミングとが一致しないような構成であってもよい。例えば、第１の期間Ｔｒｅｓ２の終了タイミングよりも前に、ストロボ２１８の発光が終了するような構成であってもよい。また、ストロボ２１８の発光によるわずかな残光が、第２の行によって取得する静止画用の画像に影響するくらいであれば、ストロボ２１８の発光の終了が第１の期間Ｔｒｅｓ２の終了タイミングの少し後であってもよい。
Note that the time t2 and the end timing of the first period Tres2 do not coincide with each other unless the influence of the
以上説明したストロボ２１８の発光タイミングと、撮像素子２０５の各行の蓄積時間の関係であれば、ストロボ２１８の発光による影響を抑制して、動画用の画像データを取得することが出来る。この構成によって、動画のフレームレートを変化させることなく、静止画用にストロボ２１８を発光させた状態で被写体を撮像することが出来る。この際、撮像素子２０５の、動画用の第１の行と静止画用の第２の行とは、それぞれ独立してフレームレートが制御されているので、静止画用の画像データを取得する際の第２の行の蓄積時間が制限されることはない。
If the light emission timing of the
図５に戻り、ステップＳ１０８でＣＰＵ２１１は、撮像素子２０５の第２の行によって、静止画用に被写体を撮像させる。前述したように、第２の行の第２のリセット期間（第２の期間）が経過したあとであって、第１の行のリセット期間（第１の期間）においてストロボ２１８をプリ発光させる。
Returning to FIG. 5, in step S <b> 108, the
そして、当該第１の期間において、ストロボ２１８をプリ発光させる期間と少なくとも一部が重複するような期間において、第２の行での静止画用の蓄積を行う。すなわち、第２の行によって取得される画像データは、ストロボ２１８のプリ発光によって被写体が照明されている状態の画像データとなる。第２の行での蓄積の終了後、取得した発光状態の被写体の静止画用の画像データはメモリ２１０に記録される。
Then, in the first period, accumulation for still images in the second row is performed in a period at least partially overlapping with the period in which the
なお、本実施形態では、リセット期間が終わった画素から順に、第２の行で静止画用の蓄積を開始するような構成であるが、これに限定されるものではない。例えば、第１の期間Ｔｒｅｓ１が経過してから、第２の行の全ての画素での蓄積を開始するような構成であってもよい。 In the present embodiment, the still image storage is started in the second row in order from the pixel for which the reset period has ended. However, the present invention is not limited to this. For example, after the first period Tres1 has elapsed, it may be configured to start accumulation in all the pixels in the second row.
また、本実施形態では、第２の行での静止用の蓄積を開始した後にストロボ２１８のプリ発光を行うような構成であるが、これに限定されるものではない。例えば、第１の行のリセット期間（第１の期間）に、第２の行での蓄積の開始から終了までが収まるような構成であれば、第２の行での蓄積の期間がストロボ２１８のプリ発光の期間よりも短いような構成であってもよい。すなわち、ストロボ２１８のプリ発光を開始してから第２の行での蓄積を開始し、当該第２の行での蓄積が終了してからストロボ２１８のプリ発光を終了するような構成であってもよい。
Further, in the present embodiment, the
さらに、撮像素子２０５が、所謂グローバルシャッタ方式を採用するような場合は、ストロボ２１８のプリ発光を開始してから第２の行での蓄積を開始して、ストロボ２１８のプリ発光が終了してから第２の行での蓄積を終了するような構成であってもよい。この場合も、ストロボ２１８のプリ発光の期間が、静止画用の第２の行での蓄積を行う期間の少なくとも一部と重複するようの構成であればよい。
Further, when the
次に、ステップＳ１０９でＣＰＵ２１１は、撮像素子２０５の第１の行によって、動画用に被写体を撮像させる。なお、図６に図示するように、このタイミングではストロボ２１８よって被写体が照明されていない状態で被写体の撮像が行われる。取得した非発光状態の被写体の動画用の画像データはメモリ２１０に記録される。また、取得した動画用の画像データは記録用の動画（の画像データ）として記録媒体１３０に記録される。さらに、取得した動画用の画像データは、画像処理、圧縮・符号化などが適宜行われた状態で、Ｄ／Ａ変換部２０９によって動画として表示するための表示用の画像データに変換され、表示部１０１に表示される。
Next, in step S <b> 109, the
次に、ステップＳ１１０で調光演算部２２０は、先に取得した、ストロボ２１８のプリ発光によって照明された状態の静止画用の画像データと、照明されていない状態の動画用の画像データに基づいて、ストロボ２１８の本発光用に調光演算を行う。以下、その詳細について図８を参照して説明する。図８は本発明を実施した撮像装置の第１実施形態であるカメラ１００の調光演算を説明する図である。
Next, in step S110, the dimming
前述したように、本実施形態では、ストロボ２１８のプリ発光によって発光状態で取得した静止画用の画像データと、非発光状態で取得した動画用の画像データを予め取得している。この際、静止画用の画像データは、第１の期間を含む期間に第２の行における蓄積によって取得したものである。すなわち、ストロボ２１８をプリ発光させる期間と重複する期間において、第２の行による蓄積によって取得された静止画用の画像データである。
As described above, in this embodiment, image data for a still image acquired in a light emission state by pre-flash of the
そして、動画用の画像データは、第１の期間が終了した後すぐに取得されたものである。すなわち、本実施形態では図６に図示するように、それぞれの蓄積時間が重複するような期間において取得された動画用の画像データと静止画用の画像データを調光演算に用いる。この２つの画像データから、発光状態と非発光状態の被写体の輝度値を算出し、当該２つの輝度値に基づいて、本発光時におけるストロボ２１８の本発光時の発光量を算出する。
The image data for moving images is obtained immediately after the first period ends. That is, in the present embodiment, as illustrated in FIG. 6, moving image data and still image data acquired in a period in which the respective accumulation times overlap are used for dimming calculation. From the two image data, the luminance value of the subject in the light emitting state and the non-light emitting state is calculated, and the light emission amount during the main light emission of the
まず、メモリ２１０から、先に取得した静止画用の画像データと動画用の画像データを読み出し、当該２つの画像データを図８に図示するような複数のブロックに分割する。
First, the previously acquired image data for still image and image data for moving image are read from the
次に、動画用の画像データと静止画用の画像データとでは、被写体を撮像した際の蓄積時間が異なるため、蓄積時間以外のパラメータを用いて露出量の変換処理を行う。本実施形態では露出量が略等しくなるようなゲイン量を設定することで、当該変換処理を行う。 Next, the image data for moving images and the image data for still images have different accumulation times when the subject is imaged, and therefore exposure amount conversion processing is performed using parameters other than the accumulation time. In the present embodiment, the conversion process is performed by setting a gain amount so that the exposure amounts are substantially equal.
動画用の画像データの蓄積時間およびゲイン量をＴｍｏｖｉｅ、Ｇａｉｎ＿ｍｏｖｉｅとし、静止画用の画像データを取得した際の蓄積時間およびゲイン量をＴｓｔｉｌｌ、Ｇａｉｎ＿ｓｔｉｌｌとすると、露出量の変換係数ＥｘｐＣｏｆｆは、式（３）を用いて、
ＥｘｐＣｏｆｆ＝（Ｔｓｔｉｌｌ×Ｇａｉｎ＿ｓｔｉｌｌ）／（Ｔｍｏｖｉｅ×Ｇａｉｎ＿ｍｏｖｉｅ）・・・（３）
として算出できる。算出されたＥｘｐＣｏｆｆを動画用の画像データに掛けることで、静止画用の画像データと同じ露出量に合わせることができる。
If the accumulation time and gain amount of moving image data are Tmovie and Gain_movie, and the accumulation time and gain amount when acquiring still image data are Tstill and Gain_still, the exposure conversion coefficient ExpCoff is expressed by the equation ( 3)
ExpCoff = (Tstil × Gain_still) / (Tmovie × Gain_movie) (3)
Can be calculated as By multiplying the calculated ExpCoff with the image data for moving images, it is possible to match the exposure amount with the image data for still images.
次に、静止画用の画像データの各画素の輝度値から、動画用の画像データの各画素の輝度値にＥｘｐＣｏｆｆを掛けたものを減算する。例えば、背景となる被写体の前面に立つ人物を主被写体とする場合、ストロボ２１８を発光することによって当該人物の部分のみが照明され、背景部分は照明されない。この場合、背景部分の輝度値は、ストロボ２１８を発光させた場合と発光させない場合とで大きな差がない。したがって、画像データの各画素の輝度値を比較することで、静止画用の画像データにおいて、ストロボ２１８によって照明された被写体の領域だけを切り取ることができる。
Next, a value obtained by multiplying the luminance value of each pixel of the image data for moving image by ExpCoff is subtracted from the luminance value of each pixel of the image data for still image. For example, when a person standing in front of a subject as a background is a main subject, only the portion of the person is illuminated by emitting the
すなわち、静止画用の画像データを、ストロボ２１８によって照明されている被写体の領域と、ストロボ２１８によって照明されていない被写体の領域（ストロボ２１８によって照明されている被写体の領域以外）に分けることができる。例えば、主被写体が人物である場合は、図８において静止画用の画像データとして図示したうちの、人物の部分（白線の網掛け部分）を切りだすことができる。
That is, the image data for a still image can be divided into a subject area illuminated by the
切り出された部分の平均輝度値をＹａｖｅ、被写体の目標輝度をＹｒｅｆ、プリ発光時のストロボ２１８の発光量をＥＦｐｒｅとすると、本発光用のストロボ２１８の発光量ＥＦｓｔｉｌｌは、式（４）を用いて、
ＥＦｓｔｉｌｌ＝ＥＦｐｒｅ×Ｙｒｅｆ／Ｙａｖｅ・・・（４）
として算出できる。算出した発光量ＥＦｓｔｉｌｌはメモリ２１０に記録される。
Assuming that the average luminance value of the cut-out portion is Yave, the target luminance of the subject is Yref, and the light emission amount of the
EFstill = EFpre × Yref / Yave (4)
Can be calculated as The calculated light emission amount EFstill is recorded in the
この構成によって、時差の少ない状態で取得した発光状態および非発光状態の被写体の輝度値に基づき調光演算ができる。したがって、被写体が動くことによる調光精度の低下を抑制することができる。すなわち、調光時の時差によってストロボ２１８の本発光用の発光量が変動してしまうことを抑制することができる。
With this configuration, the dimming calculation can be performed based on the luminance value of the subject in the light emitting state and the non-light emitting state acquired with a small time difference. Therefore, it is possible to suppress a decrease in light control accuracy due to the movement of the subject. That is, it is possible to suppress fluctuations in the light emission amount for the main light emission of the
図５に戻り、ステップＳ１１１でＣＰＵ２１１は、撮像素子２０５の第２の行によって、静止画用に被写体を撮像させる。なお、当該ステップで取得した静止画用の画像データは、後述する被写体の静止画像を生成する際に利用することはないので、ステップＳ１１１の工程を除外するような構成であってもよい。
Returning to FIG. 5, in step S <b> 111, the
次に、ステップＳ１１２でＣＰＵ２１１は、撮像素子２０５の第１の行によって、動画用に被写体を撮像させる。取得した動画用の画像データはメモリ２１０に記録される。また、取得した動画用の画像データは記録用の動画（の画像データ）として記録媒体１３０にも記録される。さらに、取得した動画用の画像データは、画像処理、圧縮・符号化などが適宜行われた状態で、Ｄ／Ａ変換部２０９によって動画として表示するための表示用の画像データに変換され、表示部１０１に表示される。
Next, in step S <b> 112, the
次に、ステップＳ１１３でストロボ制御部２２１は、先に算出したストロボ２１８の本発光用の発光量ＥＦｓｔｉｌｌをメモリ２１０から読み出し、当該発光量ＥＦｓｔｉｌｌに基づきストロボ２１８を本発光させる。この際、ストロボ２１８の発光は、前述したプリ発光と同様に、第２の行の第２のリセット期間（第２の期間）が経過したあとであって、第１の行のリセット期間（第１の期間）に行う。
Next, in step S113, the
次に、ステップＳ１１４でＣＰＵ２１１は、撮像素子２０５の第２の行によって、静止画用に被写体を撮像させる。なお、前述したプリ発光時と同様に、ストロボ２１８を本発光させる期間と少なくとも一部が重複する期間において、第２の行での静止画用の蓄積を行う。すなわち、第２の行によって取得される画像データは、ストロボ２１８の本発光によって被写体が照明されている状態の画像データとなる。第２の行での蓄積の終了後、取得した発光状態の被写体の静止画用の画像データ静止画はメモリ２１０に記録される。
Next, in step S <b> 114, the
なお、プリ発光時と同様に、ストロボ２１８の本発光の期間よりも、第２の行で静止画用の蓄積を行う期間の方が短いような構成や、ストロボ２１８の本発光を開始してから、静止画用に第２の行での蓄積を開始するような構成であってもよい。
Note that, as in the case of the pre-flash, a configuration in which the period for storing still images in the second row is shorter than the period of the main flash of the
次に、ステップＳ１１５でＣＰＵ２１１は、撮像素子２０５の第１の行によって、動画用に被写体を撮像させる。なお、図６に図示するように、このタイミングではストロボ２１８よって被写体が照明されていない状態で被写体の撮像が行われる。取得した非発光状態の被写体の動画用の画像データはメモリ２１０に記録される。また、取得した動画用の画像データは記録用の動画（の画像データ）として記録媒体１３０に記録される。さらに、取得した動画用の画像データは、画像処理、圧縮・符号化などが適宜行われた状態で、Ｄ／Ａ変換部２０９によって動画として表示するための表示用の画像データに変換され、表示部１０１に表示される。
Next, in step S <b> 115, the
以上説明したように、動画用の画像データは、ストロボ２１８を発光させた状態で取得した静止画用の画像データと略等しいタイミングで取得可能であって、当該取得した動画用の画像データはストロボ２１８による発光の影響を受けない。
As described above, the moving image data can be acquired at substantially the same timing as the still image data acquired in a state where the
次に、ステップＳ１１６で合成部２２２は、記録用の静止画を生成する静止画生成処理を実行する。なお、ステップＳ１０２において、静止画の取得が指示されていない場合は、当該ステップＳ１１６はスルーして、静止画生成処理を実行せずにステップＳ１１７へと進む。
Next, in step S116, the
以下、静止画生成処理について説明する。前述したように、本実施形態では、撮像素子２０５の撮像用の画素を、動画取得用の蓄積行である第１の行と、静止画取得用の蓄積行である第２の行に分けている。この際、撮像素子２０５を構成する撮像用の全画素の半分を第１の行に振り分け、もう半分を第２の行に振り分ける。したがって、前述した各ステップで算出した静止画用の画像データは、撮像素子２０５の撮像用の画素数の半分の画素数の画像データが取得されたことになる。
Hereinafter, the still image generation process will be described. As described above, in this embodiment, the imaging pixels of the
ここで、本実施形態では、記録用の静止画の解像度を向上させるために、本来、動画用に取得した画像データを用いて、記録用の静止画（の画像データ）を生成する。すなわち、第１の行によって取得した画像データを、記録用の静止画を生成するために利用する。 Here, in this embodiment, in order to improve the resolution of a recording still image, a recording still image (image data) is generated using image data originally acquired for a moving image. That is, the image data acquired by the first row is used to generate a recording still image.
この詳細について図９、１０を参照して説明する。図９は、本発明を実施した撮像装置の第１実施形態であるカメラ１００の静止画生成処理を説明するフローチャートである。図１０は、本発明を実施した撮像装置の第１実施形態であるカメラ１００の静止画生成処理を説明する図である。なお、以下の説明では例示的に、ストロボ２１８を発光する際の静止画生成処理について説明する。
Details thereof will be described with reference to FIGS. FIG. 9 is a flowchart for describing still image generation processing of the
図９に図示するように、ステップＳ２０１でＣＰＵ２１１は、図５のステップＳ１１４で取得した静止画用の画像データと、ステップＳ１１５で取得した動画用の画像データをメモリ２１０から読み出す。
As illustrated in FIG. 9, in step S <b> 201, the
次に、ステップＳ２０２でＣＰＵ２１１は、先に読み出した各画像データを、ストロボ２１８によって照明されている領域と、照明されていない領域に分ける。なお、上述した被写体の領域分けは、前述したストロボ２１８のプリ発光による調光演算のときと同様の方法で行う。
Next, in step S <b> 202, the
本実施形態では、ストロボ２１８によって照明されていない被写体の領域は、第１の行によって取得した動画用の画像データと第２の行によって取得した静止画用の画像データとを用いてインターレース合成処理によって記録用の静止画を生成する。以下、この詳細について説明する。
In the present embodiment, the area of the subject that is not illuminated by the
本実施形態では、撮像素子２０５の、第１の行で取得された画像データ（第１の画像データ）と、第２の行で取得された画像データ（第２の画像データ）とを合成して、記録用の静止画の画像データ（以下、単に静止画と称す）を生成する。
In the present embodiment, the
第２の行で取得した第２の画像データと、静止画用ではない第１の行によって取得した第１の画像データとを合成すると、撮像素子２０５の撮像用の画素の画素数の画像データを生成することができる。しかし、第１の画像データと第２の画像データとでは、蓄積時間の違いによって露出量が異なるので、第１の画像データと第２の画像データとを単純に合成することで生成した画像データは不自然な明るさの画像とデータとなってしまう。このような不自然な明るさの画像データを記録用の静止画とすることは望ましくない。
When the second image data acquired in the second row and the first image data acquired in the first row that is not for still images are combined, image data of the number of pixels for imaging of the
そこで、調光演算と同様に、第１の画像データに変換係数ＥｘｐＣｏｆｆを掛けることで、第１の画像データと第２の画像データの露出量を略等しくする。すなわち、第１の画像データの露出量が、第２の画像データの露出量と略等しくなるように、第１の画像データのゲイン量を設定する。そして、露出量が略等しい状態で、第１の画像データと２の画像データとを合成する。変換前の第１の画像データ（デジタル画像データ）をＰｉｘＭｏｖｉｅ（ｘ，ｙ）とすると、インターレース合成処理に用いる変換後の第１の画像データＰｉｘＳｔｉｌｌ（ｘ，ｙ）は、式（５）を用いて、
ＰｉｘＳｔｉｌｌ（ｘ，ｙ）＝ＰｉｘＭｏｖｉｅ（ｘ，ｙ）×ＥｘｐＣｏｆｆ・・・（５）
として算出できる。なお、式（５）の処理は、画像処理部２０７がＣＰＵ２１１の指示に応じて、撮像部２０４から出力された第１の画像データ（デジタル画像データ）に対し、変換係数ＥｘｐＣｏｆｆを掛けてゲイン量を調節することで実行される。
Therefore, similarly to the dimming calculation, the first image data and the second image data are made substantially equal in exposure amount by multiplying the first image data by the conversion coefficient ExpCoff. That is, the gain amount of the first image data is set so that the exposure amount of the first image data is substantially equal to the exposure amount of the second image data. Then, the first image data and the second image data are synthesized with the exposure amounts being substantially equal. Assuming that the first image data (digital image data) before conversion is PixMovie (x, y), the first image data PixStill (x, y) after conversion used for interlace synthesis processing uses Equation (5). And
PixStill (x, y) = PixMovie (x, y) × ExpCoff (5)
Can be calculated as In the process of Expression (5), the
算出した変換後の第１の画像データＰｉｘＳｔｉｌｌ（ｘ，ｙ）と第２の画像データとをインターレース合成することで、ストロボ２１８によって照明されていない被写体の領域の記録用の静止画を生成することができる。なお、インターレース合成処理を行う被写体の領域は、図１０に示すインターレース合成領域に該当する領域である。そして、当該インターレース合成領域の第１の行で取得した第１の画像データと第２の行で取得した第２の画像データを用いて合成を行う。
Interlaced synthesis of the calculated first image data PixStill (x, y) after conversion and the second image data generates a still image for recording the area of the subject not illuminated by the
次に、ストロボ２１８によって照明されている被写体の領域の記録用の静止画を生成する方法について説明する。ストロボ２１８によって照明されている被写体の領域については、第１の画像データと第２の画像データとで被写体の明るさが大きく異なる。この状態で、第２の画像データの露出量と略等しくなるように第１の画像データのゲイン量を設定すると、ノイズの影響によって第１の画像データの品位は低下してしまう。この様に、ノイズが増えた画像データを用いてインターレース合成処理しても生成される画像は不自然なものとなってしまうため、ストロボ２１８によって照明されている被写体の領域についてはインターレース合成処理を行うことは望ましくない。
Next, a method for generating a still image for recording in the area of the subject illuminated by the
そこで、ストロボ２１８によって照明されている被写体の領域については、第２の画像データを用いた補間処理によって新たな画像データを生成し、当該新たな画像データと第２の画像データとを合成することで記録用の静止画を生成する。以下、その詳細について説明する。
Therefore, for the area of the subject illuminated by the
まず、図１０に示す補間領域において、撮像素子２０５の第１の行（１・２・５・６行目）の各画素に対応する画像データを、撮像素子２０５の第２の行（３・４・７・８行目）の各画素によって取得した第２の画像データを用いた補間処理によって生成する。
First, in the interpolation region shown in FIG. 10, image data corresponding to each pixel in the first row (1, 2, 5, 6th) of the
撮像素子２０５の５行目に該当する画素に対応する画像データを補間処理によって生成する場合について例示的に説明する。撮像素子２０５の列方向の画素の位置を（ｘ）で表わすと、撮像素子２０５の５行目の画素に対応した画像データｓｔｉｌｌ＿５（ｘ）は、式（６）を用いて、
ｓｔｉｌｌ＿５（ｘ）＝（ｓｔｉｌｌ＿３（ｘ）＋ｓｔｉｌｌ＿７（ｘ））／２・・・（６）
と設定できる。ｓｔｉｌｌ＿３（ｘ）とｓｔｉｌｌ＿７（ｘ）はそれぞれ３行目と７行目の撮像用の画素によって取得された画像データである。
A case will be described as an example in which image data corresponding to the pixel corresponding to the fifth row of the
still_5 (x) = (still_3 (x) + still_7 (x)) / 2 (6)
Can be set. Still_3 (x) and still_7 (x) are image data acquired by pixels for imaging in the third and seventh rows, respectively.
すなわち、本実施形態では、撮像素子２０５の５行目の画素に対応する画像データは、撮像素子２０５の３行目に対応する画像データと７行目に対応する画像データを用いた補間処理によって生成する。なお、撮像素子２０５の５行目の各画素は、３行目と７行目の各画素のカラーフィルタと同じものとする。
That is, in the present embodiment, the image data corresponding to the pixels in the fifth row of the
以上の処理を図１０に示す補間領域の全体で行うことで、第１の行の各画素に対応した画像データを取得することが出来る。そして、当該補間処理によって生成した画像データと第２の画像データとを合成することで、ストロボ２１８によって照明された領域の被写体に対応する、記録用の静止画を生成することができる。
By performing the above processing for the entire interpolation area shown in FIG. 10, image data corresponding to each pixel in the first row can be acquired. Then, by combining the image data generated by the interpolation processing and the second image data, a recording still image corresponding to the subject in the area illuminated by the
図９に戻り、ステップＳ２０３で合成部（第１の合成手段）２２２は、先に分けた被写体の領域のうち、ストロボ２１８によって照明されていない被写体の領域について、インターレース合成処理を実行する。なお、インターレース合成処理の詳細は前述した通りである。
Returning to FIG. 9, in step S <b> 203, the combining unit (first combining unit) 222 performs interlace combining processing on the subject area that is not illuminated by the
そして、インターレース合成処理によって生成された記録用の（ストロボ２１８によって照明さいれていない被写体の領域の）画像データはメモリ２１０に記録される。
Then, the image data for recording (in the area of the subject not illuminated by the strobe 218) generated by the interlace synthesis process is recorded in the
次に、ステップＳ２０４で合成部（補間手段）２２２は、先に分けた被写体の領域のうち、ストロボ２１８によって照明されている被写体の領域について、補間処理を実行する。なお、補間処理の詳細は前述した通りである。
Next, in step S <b> 204, the combining unit (interpolating unit) 222 performs interpolation processing on the subject area illuminated by the
そして、合成部（第２の合成手段）２２２は補間処理によって生成された画像データと第２の画像とを合成することで、ストロボ２１８によって照明されている被写体の領域の記録用の静止画を生成する。当該生成された記録用の静止画はメモリ２１０に記録される。
The synthesizing unit (second synthesizing unit) 222 synthesizes the image data generated by the interpolation process and the second image, thereby generating a still image for recording the area of the subject illuminated by the
次に、ステップＳ２０５で合成部２２２は、メモリ２１０から、ストロボ２１８によって照明されている被写体の領域と照明されていない領域の記録用の静止画をそれぞれ読み出す。そしてそれぞれの画像を合成することで、撮像素子２０５の撮像用の画素の数と同等の画素数の記録用の静止画を生成する。すなわち、ストロボ２１８によって照明されている被写体の領域と照明されていない被写体の領域の双方が高精細な、１つの記録用の静止画の画像データを生成する。生成された画像データはメモリ２１０に記録される。また、当該画像データは記録用の静止画として記録媒体１３０にも記録される。以上が、本実施形態の静止画生成処理である。
Next, in step S <b> 205, the
図５に戻り、ステップＳ１１７でＣＰＵ２１１は、動画の取得を続行するか否かを判定する。動画の取得を続行する場合はステップＳ１０２に戻り、動画の取得を終了する場合は動画の取得を終了し、動画取得処理を終了する。以上が本実施形態の動画取得処理である。
Returning to FIG. 5, in step S <b> 117, the
なお、生成した記録用の静止画は、当該記録用の静止画を生成時した際に表示部１０１に表示させるような構成ではないが、本実施形態はこれに限定されるものではない。例えば、記録用の静止画を生成した際に、当該記録用の静止画をＤ／Ａ変換部２０９によって表示用のアナログ画像データに変換して、表示部１０１に表示させるような構成であってもよい。
The generated recording still image is not configured to be displayed on the
以上説明したように、本実施形態のカメラ１００は、動画取得中であって撮像素子２０５の第１の行のリセット期間（第１の期間）において、撮像素子２０５の第２の行で、ストロボ２１８を発光させた状態で静止画用に被写体を撮像することができる。この構成によって、取得した動画にストロボ２１８の発光が影響することを抑制することができる。
As described above, the
また、本実施形態では、１つの撮像素子２０５のみで動画と静止画とを独立して取得することができるため、ユーザによって設定できる動画と静止画の蓄積時間の自由度を向上させることができる。特に、静止画に関しては、動画の蓄積時間によって、蓄積の開始タイミングが制限されるだけで、蓄積時間が制限されることはない。
Further, in the present embodiment, since the moving image and the still image can be acquired independently by using only one
したがって、本実施形態のカメラ１００は、１つの撮像素子で動画と、ストロボ２１８を発光させた状態で静止画を取得する場合であっても、静止画の蓄積時間が制限されることなく、ストロボ２１８の発光が動画へ影響することを抑制することができる。
Therefore, the
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、本実施形態では、記録用の静止画は、解像度を向上させる為に静止画生成処理を行うような構成であるが、これに限定されるものではない。静止画生成処理を行うことなく、ストロボ２１８を本発光させ状態で静止画用に撮像した被写体の画像データを記録用の静止画とするような構成であってもよい。
As mentioned above, although preferable embodiment of this invention was described, this invention is not limited to these embodiment, A various deformation | transformation and change are possible within the range of the summary. For example, in the present embodiment, the recording still image is configured to perform still image generation processing in order to improve the resolution, but is not limited thereto. The configuration may be such that the image data of the subject captured for the still image with the
また、本実施形態では、撮像素子２０５の１・２・５・６行目を動画用の第１の行とし、３・４・７・８行目を静止画用の第２の行としたが、これに限定されるものではない。例えば、第１の行と第２の行は、動画および静止画の解像度がある程度保障されるものであれば、撮像素子２０５のうちのどの行としてもよい。
In this embodiment, the first, second, fifth, and sixth lines of the
さらに、本実施形態では、撮像素子２０５の撮像用の画素を構成する行の数は例示的に８行としたが、勿論これに限定されるものではなく、当該撮像素子２０５の行の数が８行ではないような構成であっても良い。
Furthermore, in the present embodiment, the number of rows constituting the imaging pixels of the
また、本実施形態では、撮像素子２０５の第１の行と第２の行のフレームレート（読み出し周期）を独立して制御することが出来るため、それぞれ異なるタイミングで第１の行と第２の行の読み出しを行ってもよい。例えば、第１の行で１回読み出しをする間に、第２の行で２回読み出しをするような構成であってもよいし、第１の行で２回読み出しをする間に、第２の行で１回読み出しをするような構成であってもよい。すなわち、第１の行と第２の行の読み出しタイミングを自由に設定するような構成であってもよい。
In this embodiment, since the frame rate (reading cycle) of the first row and the second row of the
なお、この場合も、第１の行のリセット期間（第１の期間）において、ストロボ２１８を発光させた状態で第２の行での蓄積を開始するようにストロボ２１８の発光タイミングと、撮像素子２０５の蓄積時間を設定する。本実施形態では、このような構成によって、第２の行によって取得する静止画用の蓄積時間を自由に設定することができる。
In this case as well, in the reset period (first period) of the first row, the light emission timing of the
また、本実施形態は、予め第１の行での蓄積時間を設定してから、当該第１の行の蓄積時間に合わせてストロボ２１８の発光量（に応じた発光時間）を設定するような構成であるが、これに限定されるものではない。
In the present embodiment, the accumulation time in the first row is set in advance, and then the light emission amount (according to the light emission time) of the
例えば、ストロボ２１８の発光量を先に設定し、当該発光量に応じて変化するストロボ２１８の発光時間に合わせて、第１の行の蓄積時間を設定するような構成であってもよい。なお、第１の行の蓄積時間を改めて設定することで変化した分の露出量は、前述した（１）式および（２）式を用いて、第１の行で取得される画像データのゲイン量を再設定することで対応する。
For example, the light emission amount of the
この構成であれば、ストロボ２１８の発光量を、より自由に設定することが可能となる。また、プリ発光後の調光演算の結果に応じて、ストロボ２１８の本発光時の発光量を変化させることも可能である。すなわち、プリ発光を行う際の第１の行の蓄積時間と、本発光時を行う際の第１の行の蓄積時間とを異ならせることも可能である。
With this configuration, the light emission amount of the
さらに、本発明においてカメラ１００内の各部の駆動は、画像処理部２０７、メモリ制御部２０８、ＣＰＵ２１１とＣＰＵ２１１を構成する各部、電源制御部２１６、タイミング制御回路３１４などによって制御されるがこれに限定されるものではない。例えば、前述した図５、図９のフローに従ったプログラムを不揮発性メモリ２１２に記憶させておき、ＣＰＵ２１１が該プログラムを実行することでカメラ１００内の各部の駆動を制御するような構成であってもよい。この際、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。また、プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記録媒体でもあってもよい。
Furthermore, in the present invention, the driving of each unit in the
なお、前述した実施形態では、デジタルカメラ１００を、本発明を実施する撮像装置の一例として説明したが、これに限定されるものではない。例えば、デジタルビデオカメラやスマートフォンなどの可搬型デバイスなど、本発明はその要旨の範囲内で種々の撮像装置に適用することが可能である。
In the above-described embodiment, the
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワークまたは各種記録媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
(Other embodiments)
The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various recording media. Then, the computer (or CPU, MPU, etc.) of the system or apparatus reads out and executes the program.
２０４ 撮像部
２０５ 撮像素子
２１１ システム制御部（ＣＰＵ）
２１８ ストロボ（発光手段）
２２１ ストロボ制御部
204
218 Strobe (light emission means)
221 Strobe control unit
Claims (13)
被写体を照明する発光手段の発光を制御する第１の制御手段と、
前記撮像素子の第１の行と前記第２の行の蓄積時間を設定する第２の制御手段と、
を有し、
前記第１の制御手段は、前記発光手段を発光させて前記第２の行で静止画用に被写体を撮像する場合に、前記第１の行で動画用の蓄積が終了してから次の動画用の蓄積が開始されるまでの期間で前記発光手段を発光させ、
前記第２の制御手段は、前記発光手段を発光させる期間と少なくとも一部が重複する期間で、前記第２の行での静止画用の蓄積を行わせることを特徴とする撮像装置。 It has a plurality of imaging pixels arranged in the row direction and the column direction, and the reading cycle can be controlled independently in the first row and the second row different from the first row. A charge storage type imaging device;
First control means for controlling light emission of the light emitting means for illuminating the subject;
Second control means for setting accumulation times of the first row and the second row of the image sensor;
Have
When the first control unit causes the light emitting unit to emit light and captures an image of a subject for a still image in the second row, the first moving image is stored after the accumulation of the moving image is completed in the first row. The light emitting means is caused to emit light in a period until accumulation for use starts,
The imaging apparatus according to claim 2, wherein the second control unit causes accumulation of still images in the second row in a period at least partially overlapping a period in which the light emitting unit emits light.
前記発光手段は、前記第１の行で動画用の蓄積が終了してから次の動画用の蓄積が開始されるまでの期間で、被写体に対する前記発光手段をプリ発光させる制御が可能であって、
前記調光手段は、前記発光手段をプリ発光させる期間と重複する期間で、前記第２の行での蓄積によって取得した画像と、当該プリ発光の後に前記第１の行での蓄積によって取得した動画用の画像を用いて、前記第２の行によって静止画用に被写体を撮像する際の前記発光手段の発光量を調節することを特徴とする請求項１乃至３の何れか一項に記載の撮像装置。 A light control means for adjusting the light emission amount of the light emitting means;
The light emitting means is capable of controlling the light emitting means to pre-emit the subject in a period from the end of the accumulation of the moving image in the first row to the start of the accumulation of the next moving image. ,
The dimming means is obtained by accumulation in the first row after the pre-light emission and an image obtained by accumulation in the second row in a period overlapping with a period in which the light-emitting means is pre-lit. 4. The amount of light emitted from the light emitting unit when the subject is imaged for a still image by the second row is adjusted using an image for moving images. 5. Imaging device.
前記発光手段を発光させて前記第２の行で静止画用に被写体を撮像する場合に、前記発光手段によって照明された被写体の領域の、前記第２の行によって取得した画像と、前記補間手段によって生成された前記第１の行に対応した画像とを合成することで、前記発光手段によって照明された被写体の領域の画像を生成する第２の合成手段とを有することを特徴とする請求項８に記載の撮像装置。 Interpolation means for generating an image corresponding to the first row by an interpolation process using the image acquired in the second row;
An image acquired by the second row of the area of the subject illuminated by the light emitting means when the subject is imaged for a still image in the second row by causing the light emitting means to emit light, and the interpolation means 2. A second combining unit configured to generate an image of a region of the subject illuminated by the light emitting unit by combining the image corresponding to the first row generated by the first light emitting unit. 8. The imaging device according to 8.
被写体を照明する発光手段の発光を制御する第１の制御工程と、
前記撮像素子の第１の行と前記第２の行の蓄積時間を設定する第２の制御工程とを有し、
前記第１の制御工程は、前記発光手段を発光させて前記第２の行で静止画用に被写体を撮像する場合に、前記第１の行で動画用の蓄積が終了してから次の動画用の蓄積が開始されるまでの期間で前記発光手段を発光させ、
前記第２の制御工程は、前記発光手段を発光させる期間と少なくとも一部が重複する期間で、前記第２の行での静止画用の蓄積を行わせることを特徴とする撮像装置の制御方法。 It has a plurality of imaging pixels arranged in the row direction and the column direction, and the reading cycle can be controlled independently in the first row and the second row different from the first row. A method for controlling an imaging apparatus including a charge storage type imaging device,
A first control step for controlling the light emission of the light emitting means for illuminating the subject;
A second control step of setting an accumulation time of the first row and the second row of the image sensor;
In the first control step, when the subject is imaged for a still image in the second row by causing the light emitting means to emit light, the next moving image is stored after the accumulation of the moving image is completed in the first row. The light emitting means is caused to emit light in a period until accumulation for use starts,
In the second control step, the still image accumulation in the second row is performed in a period at least partially overlapping with a period during which the light emitting unit emits light. .
A computer-readable program for causing a computer to execute the control method of the imaging apparatus according to claim 12.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013269681A JP2015126386A (en) | 2013-12-26 | 2013-12-26 | Image pickup device, and control method and program of the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013269681A JP2015126386A (en) | 2013-12-26 | 2013-12-26 | Image pickup device, and control method and program of the same |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2015126386A true JP2015126386A (en) | 2015-07-06 |
Family
ID=53536804
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013269681A Pending JP2015126386A (en) | 2013-12-26 | 2013-12-26 | Image pickup device, and control method and program of the same |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2015126386A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220377225A1 (en) * | 2021-05-21 | 2022-11-24 | Canon Kabushiki Kaisha | Image pickup apparatus capable of executing emission photographing and control method therefor |
-
2013
- 2013-12-26 JP JP2013269681A patent/JP2015126386A/en active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220377225A1 (en) * | 2021-05-21 | 2022-11-24 | Canon Kabushiki Kaisha | Image pickup apparatus capable of executing emission photographing and control method therefor |
| US11843869B2 (en) | 2021-05-21 | 2023-12-12 | Canon Kabushiki Kaisha | Image pickup apparatus capable of executing emission photographing and control method therefor |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5045791B2 (en) | Imaging apparatus and imaging method | |
| US9609223B2 (en) | Image pickup element, image pickup apparatus, and method and program for controlling the same | |
| JP5004544B2 (en) | Imaging apparatus and exposure control method | |
| US20120236191A1 (en) | Image pickup apparatus including image pickup element provided with charge holding portion, control method and control program therefor, and storage medium | |
| JP2020088446A (en) | Imaging apparatus and control method of the same | |
| US9924094B2 (en) | Image pickup apparatus capable of changing drive mode and image signal control method | |
| JP2008109485A (en) | Imaging apparatus and imaging control method | |
| JP5063372B2 (en) | Image processing apparatus, control method, and program | |
| JP6296767B2 (en) | Imaging apparatus and image signal processing method | |
| JP5216711B2 (en) | Compound eye imaging apparatus, imaging method, and program | |
| JP2012119788A (en) | Imaging device, image processing device, imaging method and image processing method | |
| JP2018006828A (en) | Imaging apparatus, control method therefor and program | |
| JP2016197826A (en) | Imaging apparatus and imaging control program | |
| JP4716182B2 (en) | Imaging apparatus and imaging control program | |
| JP2010171930A (en) | Imaging apparatus and imaging method | |
| JP2008083243A (en) | Photographing device and exposure control method | |
| JP2015126386A (en) | Image pickup device, and control method and program of the same | |
| JP7086774B2 (en) | Imaging equipment, imaging methods and programs | |
| US20100171843A1 (en) | Imager capturing an image with a rolling shutter | |
| US10462360B2 (en) | Image capturing apparatus and control method utilizing an image sensor with two-dimensional pixels and pixel signal storing unit | |
| JP5961058B2 (en) | Imaging apparatus and control method thereof, image processing apparatus and control method thereof | |
| JP2018148388A (en) | Imaging apparatus and control method therefor | |
| JP2011166515A (en) | Imaging apparatus | |
| JP2010107900A (en) | Imaging apparatus, compound eye imaging apparatus, imaging method and program | |
| JP2015159518A (en) | Imaging apparatus, control method thereof and program |