JP2010093631A - 撮像装置及び撮像装置の制御方法 - Google Patents

Abstract

【課題】動画撮影時にストロボ発光による静止画撮影を行う際に、ストロボの光が被写体像に適切に反映された静止画像を得る事ができると共に、ストロボの光が写りこまない動画像を得る事ができる撮像装置を提供する。
【解決手段】撮像装置１１は、被写体光を取り込む際、動画像用露光期間と補助静止画像用露光期間とに分けて撮像素子１を駆動するＴＧ３と、動画像用露光期間に撮像素子１に露光されて光電変換された動画像用電荷に基づいて動画像を生成する動画像処理部５と、補助静止画像用露光期間に撮像素子１に露光されて光電変換された補助静止画像用電荷と前記動画像用電荷とに基づいて静止画像を生成する静止画像処理部６と、動画撮影中の静止画撮影におけるストロボ２０の発光タイミングが動画像用露光期間である場合に、ストロボ２０の発光タイミングを補助静止画像用露光期間に変更する制御手段８とを備える。
【選択図】図１

Description

本発明は、動画の撮影中に静止画の撮影が可能な撮像装置及び撮像装置の制御方法に関する。

従来より、動画及び静止画の双方を撮影可能な撮像装置が知られている。このような撮像装置は、静止画撮影モードと動画撮影モードとを有しており、ユーザ操作によりこれらの動作モードが切り換えられる。

また、近年では、動画の撮影中に静止画の撮影が可能な撮像装置も提案されており、動画の撮影中に静止画を撮影する際には、動画の複数フレームを抜き出して合成処理を施す事により静止画を生成している（特許文献１及び２）。
特開２００５−３１１６６５号公報 特開２００７−２７４２１０号公報

ところで、動画の撮影中の静止画を撮影する場合においても、ユーザにより指定された全ての露光期間において被写体光が照射された撮像素子から露光期間に連続性のある画像を得る事が望ましい。

一方、動画撮影では、動画撮影中の静止画撮影に関わらず、被写体に応じて適切な露光時間により生成されたフレームによる動画像が生成される事が望ましい。

しかし、従来では、動画の撮影中に静止画を撮影する際、動画の複数フレームを抜き出して合成処理を施すため、露光期間が動画撮影用に調整されて得られたフレームの合成処理となってしまう。このため、露光期間に連続性のある静止画を得ることができず、この問題は、特に動画撮影中の長秒露光時に顕著になる。

例えば、速く動作する被写体を静止画撮影しようとした場合、従来においては、動画用に生成された、露光されていない期間も含むフレームを合成して静止画を生成するため、生成された静止画像は露光期間に連続性がないものとなってしまう。

具体的には、図１４に示すように、左下から右上にボールが飛んでいる状態を長秒露光にて撮影する場合、動画撮影中の静止画撮影では、図１５に示すように、動画用露光期間に露光された動画用の電荷による信号からフレーム１〜フレーム３が生成される。しかし、動画用露光期間と異なる期間Ｔ１００，Ｔ１０１は露光されないため、フレーム１〜フレーム３の合成処理から得られる静止画は連続性がないものとなってしまう。

また、動画撮影中の静止画撮影において、静止画像の露光期間の連続性を優先して露光期間が長く調整された状態で動画の撮影を行うと、適切な動画像が得られないという問題が生じる。

さらに、動画撮影中のストロボ発光による静止画撮影では、ストロボ発光による光が反映された被写体像を適切に取り込む撮像素子により静止画像を得る事が望ましい。

しかし、動画撮影中にストロボ発光による静止画撮影を行う際、従来のように、動画の複数フレームを抜き出して合成処理を施す事により静止画を生成すると、次のような問題が生じる。

すなわち、ストロボ発光のタイミングによっては、撮影される静止画像にストロボ発光による光が反映されない被写体像を取り込む場合があり、この場合、適切な静止画像が得られないという問題がある。また、撮影される動画像にストロボによる光が写ってしまい適切な動画像が得られないという問題もある。

そこで、本発明は、動画撮影中に静止画撮影を行う際に、動画撮影に影響を与えることなく、露光期間に連続性のある静止画を得ることができる撮像装置及び撮像装置の制御方法を提供する事を目的とする。

また、本発明は、動画撮影中にストロボ発光による静止画撮影を行う際に、ストロボの光が被写体像に適切に反映された静止画像、及びストロボの光の影響を受けない動画像を得ることができる撮像装置及び撮像装置の制御方法を提供する事を目的とする。

上記目的を達成するために、本発明の撮像装置は、被写体光を光電変換して電荷を蓄積する撮像素子を備え、動画の撮影中に静止画の撮影が可能な撮像装置であって、被写体光を取り込む際、動画像用の露光期間と補助静止画像用の露光期間とに分けて前記撮像素子を駆動する駆動手段と、前記動画像用の露光期間に前記撮像素子に露光されて光電変換された動画像用電荷に基づいて動画像を生成する動画像処理手段と、前記補助静止画像用の露光期間に前記撮像素子に露光されて光電変換された補助静止画像用電荷と前記動画像用電荷とに基づいて静止画像を生成する静止画像処理手段と、動画撮影中の静止画撮影におけるストロボの発光タイミングが前記動画像用の露光期間か否かを判断する判断手段と、該判断手段により前記ストロボの発光タイミングが前記動画像用の露光期間であると判断された場合に、前記ストロボの発光タイミングを前記補助静止画像用の露光期間に変更する制御手段と、を備えることを特徴とする。

本発明の撮像装置の制御方法は、被写体光を光電変換して電荷を蓄積する撮像素子を備え、動画の撮影中に静止画の撮影が可能な撮像装置の制御方法であって、被写体光を取り込む際、動画像用の露光期間と補助静止画像用の露光期間とに分けて前記撮像素子を駆動する駆動ステップと、前記動画像用の露光期間に前記撮像素子に露光されて光電変換された動画像用電荷に基づいて動画像を生成する動画像処理ステップと、前記補助静止画像用の露光期間に前記撮像素子に露光されて光電変換された補助静止画像用電荷と前記動画像用電荷とに基づいて静止画像を生成する静止画像処理ステップと、動画撮影中の静止画撮影におけるストロボの発光タイミングが前記動画像用の露光期間か否かを判断する判断ステップと、該判断ステップで前記ストロボの発光タイミングが前記動画像用の露光期間であると判断された場合に、前記ストロボの発光タイミングを前記補助静止画像用の露光期間に変更する変更ステップと、を備えることを特徴とする。

本発明によれば、動画撮影中に静止画撮影を行う際に、動画撮影に影響を与えることなく、露光期間に連続性のある静止画像を得ることができる。

また、本発明によれば、動画撮影時にストロボ発光による静止画撮影を行う際に、ストロボの光が被写体像に適切に反映された静止画像を得る事ができると共に、ストロボの光が写りこまない動画像を得る事が可能になる。

以下、本発明の実施形態を図面を参照して説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態である撮像装置を説明するためのブロック図である。

図１に示すように、本実施形態の撮像装置１１は、レンズ２、撮像素子１、ＴＧ（タイミングジェネレータ）３、画像処理部４、メモリ７、ストロボ２０及び各ブロックを制御するＣＰＵ８を備える。なお、ストロボ２０は、撮像装置１１に一体に設けられていてもよいし、撮像装置１１に対して着脱自在であってもよい。

撮像素子１は、レンズ２を通過した被写体光を光電変換により電気信号に変換し、ＴＧ３は、撮像素子１の画素の電子シャッタの駆動タイミング及びストロボ２０の発光タイミングを制御する。

画像処理部４は、動画像処理部５及び静止画像処理部６を有する。動画像処理部５は、動画像用電圧出力線９を介して撮像素子１から出力された動画像用電圧から動画像用、及び動画撮影中の静止画用のフレーム生成を行い、メモリ７及び静止画像処理部６へ出力する。

静止画像処理部６は、補助静止画像用電圧出力線１０を介して撮像素子１から出力された補助静止画像用電圧から補助静止画像フレームを生成する。なお、本実施形態では、動画像用電圧出力線９と補助静止画像用電圧出力線１０とは個別に設けられている。また、静止画像処理部６は、補助静止画像フレームと動画処理部５から入力されたフレームとを加算合成して露光期間に連続性のある静止画像を生成し、メモリ７に出力する。

次に、図２及び図３を参照して、本実施形態の撮像装置において、動画撮影中に露光期間に連続性のある静止画を得るための動作例を説明する。

図２は、動画撮影中の静止画撮影における撮像装置１１の動作例を説明するためのフローチャート図である。図２での各処理は、撮像素子１４及びＣＰＵ８により実行され、ＣＰＵ８は、ＲＡＭにロードされた、ＲＯＭ等に記憶されたプログラムに従って処理を行う。

まず、ステップＳ１００では、ＣＰＵ８は、ユーザによる動画撮影の開始指示により、レンズ２を介して撮像素子１が被写体光を受光すると、ステップＳ１０１に進む。

ステップＳ１０１では、ＣＰＵ８は、ＴＧ３により、動画像用の露光タイミングを電子シャッタで制御して、動画像用電荷を生成し、ステップＳ１０２に進む。

ステップＳ１０２では、撮像素子１４の処理により、ステップＳ１０１で生成した動画像用電荷を電圧変換して動画像用電圧出力線９を介して動画像処理部５に出力し、ステップＳ１０３に進む。

ステップＳ１０３では、ＣＰＵ８は、動画像処理部５を制御して動画像を生成し、生成した動画像をメモリ７及び静止画像処理部６に出力して、ステップＳ１０４に進む。

ステップＳ１０４では、ＣＰＵ８は、静止画撮影が開始されたか否かを判断し、静止画撮影が開始された場合はステップＳ１０４ａに進み、静止画撮影が開始されていない場合はステップＳ１０２に戻る。

ステップＳ１０４ａでは、ＣＰＵ８は、ストロボ２０がＯＮされているか否かを判断し、ＯＮされていればステップＳ１０４ｂに進み、ＯＮされていなければステップＳ１０５に進む。

ステップＳ１０４ｂでは、ＣＰＵ８は、動画像用の露光期間が否かを判断し、動画像用の露光期間であれば、ステップＳ１０４ｃに進み、動画像用の露光期間でなければ、ステップＳ１０４ｄに進んでストロボ２０を発光させ、ステップＳ１０５に進む。

ステップＳ１０４ｃでは、ＣＰＵ８は、ＴＧ３を制御して、ストロボ２０の発光タイミングを補助静止画像用露光期間に変更してストロボ２０を発光させ、ステップＳ１０５に進む。

ステップＳ１０５では、ＣＰＵ８は、ＴＧ３により、動画像用電荷情報と補助静止画像用電荷情報との露光タイミングを電子シャッタで制御して、動画像用電荷と補助静止画像用電荷を生成し、ステップＳ１０６に進む。

ステップＳ１０６では、ＣＰＵ８は、撮像素子１を制御して、補助静止画像用電荷を電圧変換し、補助静止画像用電圧出力線１０を介して静止画像処理部６に出力する。また、ＣＰＵ８は、撮像素子１を制御して、動画像用電荷を電圧変換し、動画像用電圧出力線９を介して動画像処理部５へ出力し、ステップＳ１０７に進む。

ステップＳ１０７では、ＣＰＵ８は、静止画像処理部６で生成された補助静止画用フレームと動画像処理部５から静止画処理部６に出力された動画用フレームとを加算合成して静止画を生成し、メモリ７に出力する。また、ＣＰＵ８は、動画像処理部５で生成された動画フレームは動画像としてメモリ７に出力し、ステップＳ１０４に戻る。

図３は、動画撮影中の静止画撮影における撮像素子１での動画フレームと補助静止画フレームとの生成に関するタイミングチャートである。

図３において、期間Ｔ１は、１フレームの露光期間であり、タイミングＴ４０で動画の撮影が開始される。

タイミングＴ４１では、期間Ｔ５０の時間で動画像用の露光が行われ、撮像素子１の画素３０１を構成するフォトダイオード１０００（図５参照）で光電変換された動画像用電荷がＭフローティングディフュージョン４０３−１に蓄積される。

タイミングＴ４２では、斜線で示すように、１フレーム分の動画像ライン出力４１２が行われ、動画像処理部５により動画フレーム（静止画未撮影時）４０６が生成される。

タイミングＴ４３では、動画撮影中の静止画撮影が開始されると、期間Ｔ５１の時間で補助静止画用の露光が行われ、フォトダイオード１０００で光電変換された補助静止画用電荷がＳフローティングディフュージョン４０３−２に蓄積される。

タイミングＴ４４では、横線で示すように、補助静止画用ライン出力４１３が行われ、静止画処理部６により補助静止画フレーム４０８が生成される。

タイミングＴ４５では、動画撮影中の静止画撮影が終了すると、補助静止画フレームの生成が終了する。

期間Ｔ５２の時間で得られた動画フレーム（動画撮影用、静止画合成用）４０７は、静止画用のフレームとして静止画像処理部６へ出力され、補助静止画フレーム４０８と加算合成されて、連続性のある静止画が生成される。

また、動画フレーム４０６と動画フレーム４０７とは、動画像処理部５にて動画像として生成される。

以上より、動画撮影中の静止画撮影において、露光期間に連続性のある静止画像と、静止画撮影の影響を受けない動画像を得ることができる。

図４は、撮像素子１の構成例の概略を示す図である。

図４に示すように、撮像素子１には、複数の画素３０１が２次元マトリクス上に配置されている。垂直走査線回路３００は、動画像用の電圧の列読み出し線（ロウセレクタ３０２（図５参照）の制御線）３０２と補助静止画像用の電圧の列読み出し線（ロウセレクタＳ３０３（図５参照）の制御線）３０３を制御する。電圧出力線３１０は、動画像用電圧を出力し、電圧出力線３１１は、補助静止画像用電圧を出力する。

ＣＤＳ（相関二重サンプリング）３１２は、動画像用電圧のノイズ除去を行い、ＣＤＳ３０５は、補助静止画像用電圧のノイズ除去を行う。水平走査線回路３０６は、動画像用電圧を動画像処理部５へ出力する動画像用電圧出力線９と補助静止画像用電圧を静止画像処理部６へ出力する補助静止画像用電圧出力線１０とを選択制御する。

次に、撮像素子１の動作を説明すると、垂直走査線回路３００の制御により列読み出し線３０２が選択されると、選択された列の動画像用電荷は画素３０１内で電圧に変換された後、電圧出力線３１０から出力される。電圧出力線３１０から出力された動画像用電圧は、ＣＤＳ３１２を介してノイズ除去され、水平走査線回路３０６の制御により動画像用電圧出力線９を介して動画像処理部５に出力される。

また、垂直走査線回路３００の制御により列読み出し線３０３が選択されると、選択された列の補助静止画像用電荷は画素３０１内で電圧変換された後、電圧出力線３１１から出力される。電圧出力線３１１から出力された補助静止画用電圧は、ＣＤＳ３０５を介してノイズ除去され、水平走査線回路３０６の制御により補助静止画像用電圧出力線１０を介して静止画像処理部６に出力される。

図５は、図４に示す撮像素子１の画素３０１の回路構成例を示す図である。

図５において、フォトダイオード１０００は、光情報を電荷に変換し蓄積する。Ｍ（動画用）リセットゲート４０１−１は、フォトダイオード１０００に蓄積された動画像用電荷をリセットする。Ｍリードアウトゲート４０２−１のオンにより露光が行われ、フォトダイオード１０００にて光電変換されたに蓄積された電荷をＭフローティングディフュージョン４０３−１に読み出す。ソースフォロアアンプ４０４−１は、Ｍフローティングディフュージョン４０３−１に蓄積された電荷情報を電圧情報に変換する。ロウセレクタＭ３０２は、動画像用電圧を動画像用電圧出力線３１０を介して動画像処理回路５に出力する動画用画素の列を選択する。

Ｓ（補助静止画用）リセットゲート４０１−２は、フォトダイオード１０００に蓄積された補助静止画像用電荷をリセットする。Ｓリードアウトゲート４０２−２のオンにより露光が行われ、フォトダイオード１０００にて光電変換された電荷をＳフローティングディフュージョン４０３−２に読み出す。Ｓソースフォロアアンプ４０４−２は、Ｓフローティングディフュージョン４０３−２に蓄積された電荷情報を電圧情報に変換する。ロウセレクタＳ３０３は、補助静止画像用電圧を補助静止画像用画電圧出力線３１１を介して静止画像処理回路６に出力する補助静止画像用画素の列を選択する。

図６は、画素３０１に蓄積された動画像用電荷と補助静止画像用電荷を１フレームずつ出力し、動画撮影中の静止画撮影における動画フレーム及び補助静止画フレームを生成するタイミングを示すタイミングチャートである。

図６において、期間Ｔ１は、１フレームの露光期間（１ＶＤ）である。このタイミングチャートでは、タイミングＴ２以前に既に動画撮影は開始されており、動画像処理部５にて動画フレーム４０６が生成されている。

まず、動画の撮影中に静止画の撮影が行われた際の動画フレームの出力について説明する。

タイミングＴ２では、Ｍリセットゲート４０１−１とロウセレクタ３０２がオンとなり、Ｍフローティングディフュージョン４０３−１に蓄積された電荷がリセットされる。

タイミングＴ３では、Ｍリセットゲート４０１−１とロウセレクタ３０２がオフとなり、動画像用の露光期間であるＴ１３の期間、Ｍリードアウトゲート４０２−１がオンとなる。これにより、Ｍフローティングディフュージョン４０３−１に斜線で示す通り電荷が蓄積される。

タイミングＴ４では、Ｍリセットゲート４０１−１とロウセレクタ３０２がオンとなり、Ｍフローティングディフュージョン４０３−１に蓄積された電荷がＭソースフォロアアンプ４０４−１によって電圧情報に変換される。

期間Ｔ１５の期間において、動画フレームの１フレームを構成する全ての画素の電圧がロウセレクタ３０２のオンにより１水平ライン毎に動画像処理部５に出力される。そして、動画像処理部５にて動画像フレーム４０７を生成し、動画撮影用のフレームは静止画像処理部６及びメモリ７に出力される。

次に、動画撮影中に静止画撮影が行われた際の補助静止画フレームの出力について説明する。

タイミングＴ７で、動画撮影中の静止画撮影期間４１０が開始されると、タイミングＴ８で、Ｓリセットゲート４０１−２とロウセレクタＳ３０３がオンとなる。これにより、Ｓフローティングディフュージョン４０３−２に蓄積された電荷がリセットされる。

タイミングＴ９では、Ｓリセットゲート４０１−２がオフとなり、補助静止画用の露光期間の期間Ｔ１４の期間、Ｓリードアウトゲート４０２−２がオンとなり、Ｓフローティングディフュージョン４０３−２に横線で示す通り電荷が蓄積される。

タイミングＴ１０では、Ｓリセットゲート４０１−２とロウセレクタ３０３がオンとなり、Ｓフローティングディフュージョン４０３−２に蓄積された電荷がＳソースフォロアアンプ４０４−２によって電荷情報が電圧情報に変換される。

期間Ｔ１６の期間において補助静止画フレームの１フレームを構成する全ての画素の電圧がロウセレクタ３０３のオンにより１水平ライン毎に静止画像処理部６に出力される。静止画像処理部６に出力された電圧の画像処理により補助静止画フレーム４０８が生成される。

補助静止画フレームの生成は、動画撮影中の静止画撮影の終了タイミングＴ１２まで行われ、補助静止画像用の全ての電荷を静止画像処理部６へ出力し、補助静止画フレームを生成して終了する。

上記手順後、動画撮影中の静止画像は、静止画撮影中に動画像処理部５から出力された動画フレーム４０７と補助静止画像用フレーム４０８とを静止画像処理部６にて加算合成して生成されるため、露光期間に連続性のある静止画を生成する事ができる。

図６において、動画像、補助静止画像の１フレームを読み出す期間において、実際のＣＭＯＳセンサーでは、１水平ラインを構成する画素毎に読み出す。この為、Ｓリセットゲート４０１−２とロウセレクタＳ３０３のオンとオフのタイミングは１水平ライン毎に記載されるべきである。

しかし、図６においては、１フレームを同一タイミングにて記載している為、１水平ライン毎に読み出す際のＳリセットゲート４０１−２とロウセレクタＳ３０３のオンとオフのタイミングのずれも含めて省略し同時にオン、オフする記載としている。

なお、図６では、トランジスタのオンの期間が長く見えるため、動画撮影中の静止画撮影における、静止画像用のフレームの露光期間に連続性がないように見える。しかし、実際は、１フレームの露光期間Ｔ１は１／３０秒、１／６０秒であるのに対して、トランジスタのオンの時間は十分短いため、静止画像用のフレームの露光期間は近似的に連続性があると考えて良い。

また、動画撮影は、静止画のフレームと分離して動画像処理部５にて画像処理されるため静止画撮影に影響を受ける事なく出力する事ができる。

次に、図７を参照して、動画撮影中の静止画撮影時のストロボ２０の発光タイミングについて説明する。

まず、動画撮影中の静止画撮影時の先幕シンクロによるストロボ発光４１１のタイミングについて説明する。

図７において、期間Ｔ１は、１フレームの露光期間である。ユーザ操作による動画撮影中の静止画撮影の際、タイミングＴ２０で静止画撮影期間４１０が開始する。先幕シンクロタイミングＴ２１で、期間Ｔ２２の時間、本来はストロボ発光４１１が行なわれる。

ストロボ発光４１１のタイミングが動画用露光期間４０５−１の期間Ｔ２７に重なった場合、タイミングＴ２３（動画撮影中の静止画撮影における、４０５−１の始めの補助静止画用の露光期間Ｔ２９）にＴＧ３によりストロボ発光４１１のタイミング制御を行う。

次に、動画撮影中の静止画撮影時の後幕シンクロによるストロボ発光４１１のタイミングについて説明する。

ユーザ操作による動画撮影中の静止画撮影の際、タイミングＴ２４で静止画撮影期間４１０が終了する。後幕シンクロのタイミングＴ２５で期間Ｔ２２の時間、本来はストロボ発光４１１が行なわれる。

ストロボ発光４１１のタイミングが動画像用露光期間４０５−１の期間Ｔ２８に重なった場合、タイミングＴ２６（動画撮影中の静止画撮影における、４０５−２の最後の補助静止画用露光期間Ｔ３０）にＴＧ３によりストロボ発光４１１のタイミング制御を行う。

上述したストロボ発光４１１のタイミング制御により、動画撮影時にストロボ発光による静止画撮影を行う際に、ストロボ２０の光が被写体像に適切に反映された静止画像を得る事ができると共に、ストロボ２０の光が写りこまない動画像を得る事が可能になる。

（第２の実施形態）
次に、図８を参照して、本発明の第２の実施形態である撮像装置について説明する。なお、上記第１の実施形態と重複する部分については、その説明を省略する。

本実施形態では、被写体の光量によって撮像素子１での動画像用の露光期間が短くなった場合を例に採る。

なお、図８において、撮像素子１から１フレーム分の電圧の画像処理部４への出力にかかる期間は、１ＶＤ／２とする。

期間Ｔ１は、撮像素子１における１フレームの露光期間であり、タイミングＴ３０で期間Ｔ３４の時間の動画像用の露光が行われる。

タイミングＴ３１では、期間Ｔ３６の時間、動画像の１フレームを構成する動画像用電圧が動画像用電圧出力線９を介して１水平ライン毎に斜線で示すように動画像処理部５に出力される。また、タイミングＴ３１では、期間Ｔ３５の時間、補助静止画像用の露光が行われる。

タイミングＴ３７から期間Ｔ３８の時間間、補助静止画像の１フレームを構成する補助静止画像用電圧が補助静止画像用電圧出力線１０を介して１水平ライン毎に横線で示すように静止画像処理部６に出力される。

このように、本実施形態では、動画像用の電圧と補助静止画像用の電圧の出力部をそれぞれ持つ事で、撮像素子１から並列に出力することができ、結果として、１ＶＤでそれぞれ１フレームずつの動画フレーム及び補助静止画フレームを得ることができる。その他の構成及び作用効果は、上記第１の実施形態と同様である。

（第３の実施形態）
次に、図９〜図１２を参照して、本発明の第３の実施形態である撮像装置について説明する。なお、上記第１の実施形態と重複する部分については各図に同一符号を付してその説明を省略する。

図９は本発明の第３の実施形態である撮像装置を説明するためのブロック図、図１０は撮像素子の構成例を示す概略図、図１１は撮像素子の画素の回路構成図である。

図９に示すように、本実施形態の撮像装置１３は、撮像素子１４を備える。この撮像素子１４は、図９及び図１０に示すように、動画像用電圧の動画像処理部５への出力、及び補助静止画像用電圧の動画像処理部５への出力を１本の出力線１２を介して時分割で行う。

また、図１１に示すように、撮像素子１４の画素３０９は、動画像用電荷、及び補助静止画像用電荷を保持するＭフローティングディフュージョン（第１の保持手段）４０３−１、及びＳフローティングディフュージョン（第２の保持手段）４０３−２を有する。

また、画素３０９は、動画像用電圧の出力線と補助静止画像用電圧の出力線とはワイアードＯＲで接続され、図１０及び図１１に示すように、動画像用電圧の出力線と補助静止画像用電圧の出力線とが共有されて１本の電圧出力線３１３とされている。

次に、図１２を参照して、撮像素子１４において、動画像用電圧と補助静止画像用電圧とを時分割で出力する動作タイミングを説明する。

本実施形態では、被写体の光量によって撮像素子１４での動画像用の露光期間が短くなった場合を例に採る。なお、撮像素子１４から１フレーム分の電圧の画像処理部４への出力にかかる期間は、１ＶＤ／２とする。

図１２において、期間Ｔ１は、撮像素子１４での１フレームの露光期間（１ＶＤ）であり、タイミングＴ２０で期間Ｔ２４の時間、動画像用の露光が行われる。

タイミングＴ２１から期間Ｔ２６の時間、動画像の１フレームを構成する動画像用電圧が出力線１２を介して動画像処理部５に斜線で示すように１水平ライン毎に出力される。

動画像用電圧の動画像処理部５への出力期間、つまり、１ＶＤ／２は、補助静止画像用の露光期間Ｔ２５より短いため、動画像の１フレームを構成する全ての電圧の動画像処理部６への１水平ライン毎の出力が完了する。

補助静止画像用電圧は、タイミングＴ２０で出力線１２を介して静止画像処理部６へ１水平ライン毎に横線で示すように出力が開始されるが、タイミングＴ２１では補助静止画像用の露光が始まる。つまり、期間Ｔ２４が１ＶＤ／２より短い。このため、補助静止画像の１フレームを構成する全ての電圧を静止画像処理部６へ出力することができない。

そこで、垂直走査線回路３００の制御により、期間Ｔ２６の時間、補助静止画像用電圧の出力を中断して、上述した動画像用電圧の出力を１水平ライン毎に行う。

そして、タイミングＴ２２で、動画像用電圧の動画像処理部５への出力が終了後、残りの補助静止画像用電圧の出力を１水平ライン毎に横線で示すように開始し、タイミングＴ２３で１フレーム分の補助静止画用電圧の出力が完了する。

このように、本実施形態では、動画像用電圧の出力と補助静止画像用電圧の出力とを時分割に行う事で、結果として、１ＶＤでそれぞれ１フレームずつの動画フレーム及び補助静止画フレームを得ることができる。その他の構成及び作用効果は、上記第１の実施形態と同様である。

（第４の実施形態）
次に、図１３を参照して、本発明の第４の実施形態である撮像装置について説明する。
なお、上記第１の実施形態と重複する部分についてはその説明を省略する。

図１３において、動画像用露光期間Ｔ１３の途中で静止画撮影が終了した場合、適切な静止画を得るため、タイミングＴ１５〜Ｔ１７までの期間に露光されて光電変換された電荷を変換して得られる電圧により補助静止画フレームが生成される。そして、生成された補助静止画フレームを用いて静止画を生成する。ここで、タイミングＴ１５は、動画像用の露光期間Ｔ１３の開始タイミングである。タイミングＴ１６は、静止画撮影期間４１０の終了タイミングである。Ｔ１７は、最終の補助静止画像を非破壊読み出しで読み出すタイミングである。

Ｍフローティングディフュージョン４０３−２に露光された電荷の読み出しに関して、Ｔ３００の期間において、ロウセレクタ３０２のみオンして読み出し、Ｍリセットゲートをオンしない事で、非破壊読み出し５００を行い、本来は動画像用である電荷を消去することなく適切な補助静止画フレームを得ることができる。

動画撮影中の静止画像は、動画フレーム４０７と補助静止画フレーム４０８とを加算合成して生成する。その他の構成及び作用効果は、上記第１の実施形態と同様である。

（第５の実施形態）
第５の実施形態の概要は、動画撮影中の静止画撮影を行う際に、動画像用の電荷と、静止画像用の電荷を蓄積する電荷蓄積部が共通で、動画像用の信号と、静止画像用の信号の出力線が共通の画素を有する撮像素子を駆動する。そして、動画信号の読み出しに関しては非破壊読み出しにおいて行い、静止画像の読み出しにおいては破壊読出しを行うことで、動画撮影中に連続性のある静止画像を得る事を実現する。

図８、図１６〜図１９を参照して、本発明の第５の実施形態である撮像装置について説明する。なお、上記第１、３の実施形態と重複する部分については各図に同一符号を付してその説明を省略する。

なお、上記第１、３の実施形態と重複する部分についてはその説明を省略する。

図８は本発明の第５の実施形態である撮像装置を説明するためのブロック図である。

図１６は動画撮影中の静止画撮影における撮像装置３の動作例を説明するためのフローチャート図である。

図１６での各処理は、撮像素子１４と、ＲＡＭにロードされた、ＲＯＭ等に記憶されたプログラムを実行するＣＰＵ８とにより実行される。

まず、ステップＳ２００では、ＣＰＵ８は、ユーザによる動画撮影の開始指示により、レンズ２を介して撮像素子１４が被写体光を受光すると、ステップＳ２０１に進む。

ステップＳ２０１では、ＣＰＵ８は、ＴＧ３により、動画像用の露光タイミングを電子シャッタで制御して、動画像用電荷を生成し、ステップＳ２０２に進む。

ステップＳ２０２では、撮像素子１４の処理により、ステップＳ２０１で生成した動画像用電荷を電圧変換して動画像用及び静止画像用の電圧出力線１０を介して動画像処理部５に出力し、ステップＳ２０３に進む。

ステップＳ２０３では、ＣＰＵ８は、動画像処理部５を制御して、撮像素子１４から出力された動画像用信号から動画像を生成し、生成した動画像をメモリ７に出力して、ステップＳ２０４に進む。

ステップＳ２０４では、ＣＰＵ８は、静止画撮影が開始されたか否かを判断し、静止画撮影が開始された場合はステップＳ２０５に進み、静止画撮影が開始されていない場合はステップＳ２０２に戻る。

ステップＳ２０５では、ＣＰＵ８は、ＴＧ３により、動画像用電荷情報と静止画像用電荷情報との露光タイミングを電子シャッタで制御して、動画像用電荷と静止画像用電荷を生成し、ステップＳ２０６に進む。

ステップＳ２０６では、ＣＰＵ８は、撮像素子１４を制御して、静止画像用信号を電圧変換し、静止画像用電圧出力線１０を介して静止画像処理部６に出力する。

また、ＣＰＵ８は、撮像素子１を制御して、動画像用電荷を電圧変換し、動画像用及び静止画像用の電圧出力線１０を介して動画像処理部５へ出力し、ステップＳ２０７に進む。

ステップＳ２０７では、ＣＰＵ８は、静止画像処理部６で生成された撮像素子１４から出力された静止画像用信号から静止画用フレームを複数フレーム生成し、加算合成する事で連続性のある静止画を生成しメモリ７に出力する。また、ＣＰＵ８は、動画像処理部５を制御して、撮像素子１４から出力された動画像用信号から動画像を生成し、生成した動画像をメモリ７に出力し、ステップＳ２０４に戻る。

図１７は、撮像素子１６の構成例の概略を示す図である。

まず、図１７の構成を説明する。

撮像素子１６には、複数の画素３１４が２次元マトリクス上に配置されている。

ロウセレクタ３０４は、動画像用と静止画像用の共通の電圧の列読み出し線である（ロウセレクタ３０４（図１８参照）の制御線）。

垂直走査線回路３００は、動画像用の電圧、又は静止画像用の電圧の列読み出しを行う際に制御線３０４を制御する。

電圧出力線３１３は、各画素からの動画像用電圧と静止画像用電圧を出力する。

ＣＤＳ３１５は、電圧出力線３１３から出力された電圧のノイズ除去を行う。

垂直走査線回路３０６は、動画像用の電圧と静止画像用の水平ラインの出力電圧選択線である。

次に、撮像素子１６の動作を説明する。

垂直走査線回路３００の制御により列読み出し線３０４が選択されると、選択された列の画素３１４内で露光された電荷は、動画像用、又は静止画像用電圧に変換された後、電圧出力線３１３から出力される。

電圧出力線３１３から出力された動画像用、又は静止画像用電圧は、ＣＤＳ３１５を介してノイズ除去され、水平走査線回路３０６の制御により電圧出力線１２を介して画像処理部４に出力される。

図１８は、図１７に示す撮像素子１６の画素３１４の回路構成例を示す図である。

図１８において、フォトダイオード１０００は、光情報を電荷に変換し蓄積する。
ＭＳリセットゲート４０１−３は、フォトダイオード１０００に蓄積された電荷をリセットする。

ＭＳリードアウトゲート４０２−３のオンにより露光が行われ、フォトダイオード１０００にて光電変換された電荷をＭフローティングディフュージョン４０３−３に読み出す。

ＭＳソースフォロアアンプ４０４−３は、ＭＳフローティングディフュージョン４０３−３に露光された電荷情報を電圧情報に変換する。

ロウセレクタ３０４により、動画像用電圧を動画像処理回路５と静止画処理回路６に出力する電圧出力線の列を選択する。

１フレームの露光期間（１ＶＤ）の途中で露光された電荷を読み出す際は、ロウセレクタ３０４をオンし、ＭＳリセットゲート４０１−３をオンしない事で、ＭＳフローティングディフュージョン４０３−３に露光されている電荷を非破壊読み出しにより読み出す。

１フレーム終わりで露光された信号を読み出す際は、ロウセレクタ３０４のオンによる信号読み出し後、ＭＳリセットゲート４０１−３をオンする事で、ＭＳフローティングディフュージョン４０３−３に露光されている電荷を破壊読み出しにより読み出す。

図１９は、画素３１４に蓄積された動画像用電荷と静止画像用電荷を１フレームずつ出力し、動画撮影中の静止画撮影における動画フレーム及び 静止画フレームを生成するタイミングを示すタイミングチャートである。

図１９において、期間Ｔ１は、１フレームの露光期間（１ＶＤ）である。

図１９において、４０７は撮像素子１６から出力される動画像用フレームを示す。

４０９は撮像素子１６から出力される静止画像用フレームを示す。

このタイミングチャートでは、既に動画撮影、静止画撮影双方が行われている。

まず、動画の撮影中に静止画の撮影が行われた際の動画フレームの出力について説明する。

タイミングＴ２では、ＭＳリセットゲート４０１−３とロウセレクタ３０４がオンとなり、フォトダイオード１０００とＭＳフローティングディフュージョン４０３−３に蓄積された電荷がリセットされる。

タイミングＴ３では、ＭＳリセットゲート４０１−３とロウセレクタ３０４がオフとなり、動画像用の露光期間であるＴ１３の期間、ＭＳリードアウトゲート４０２−３がオンとなる。これにより、ＭＳフローティングディフュージョン４０３−３に、フローティングディフュージョン４０３−３に横線で示す電荷が蓄積される。

タイミングＴ２００では、ロウセレクタ３０４がオンとなり、ＭＳフローティングディフュージョン４０３−３に蓄積された電荷が、ＭＳソースフォロアアンプ４０４−３によって電荷情報が電圧情報に変換される。

この際、ＭＳフローティングディフュージョン４０３−３に蓄積された電荷は非破壊読み出しで読み出される。

期間Ｔ１５の期間において、動画フレームの１フレームを構成する全ての画素の電圧がロウセレクタ３０４のオンにより１水平ライン毎に動画像処理部５にライン出力４１４され、動画像処理部５にて動画像フレーム４０７が生成される。

次に、静止画フレームの出力について説明する。

タイミングＴ２０２では、ロウセレクタ３０４がオフとなり、静止画像用の露光期間であるＴ１４の期間、ＭＳリードアウトゲート４０２−３がオンとなる。これにより、ＭＳフローティングディフュージョン４０３−３に、フローティングディフュージョン４０３−３に縦線で示す電荷が蓄積される。

タイミングＴ２０１で、ロウセレクタ３０４とリセットゲート４０１−３がオンとなる。これにより、ＭＳフローティングディフュージョン４０３−３の横線と縦線の部分で示す部分に露光された電荷が、タイミングＴ２０２において、ＭＳソースフォロアアンプ４０４−３によって電圧情報に変換される。

期間Ｔ１６の期間において、静止画フレームの１フレームを構成する全ての画素の電圧がロウセレクタ３０４のオンにより１水平ライン毎に静止画像処理部６にライン出力４１４され、静止画像処理部６にて静止画フレーム４０９が生成される。

上記手順後、動画撮影中の静止画像撮影による連続性のある静止画像は、静止画像用フレーム４０９とを静止画像処理部６にて加算合成して生成される。

（第６の実施形態）
第６の実施形態の概要は、動画撮影中の静止画撮影を行う際に、動画像用の電荷と、静止画像用の電荷を蓄積する電荷蓄積部が共通で、動画像用の信号と、静止画像用の信号の出力線が共通の画素を有する画素を有する撮像素子を駆動する。そして、動画信号の読み出しに関し、静止画像の読み出しの双方においては、破壊読出しを行うことで、動画撮影中に連続性のある静止画像を得る事を実現する。

次に、図８、図１８の画素３１４、図２０におタイミングチャートを用いて、本発明の第６の実施形態である撮像装置について説明する。なお、上記第１、３、５の実施形態と重複する部分については各図に同一符号を付してその説明を省略する。

なお、上記第１、３、５の実施形態と重複する部分についてはその説明を省略する。

図１８の撮像素子３１４は、第６の実施形態においては、１フレームの露光期間（１ＶＤ）内の途中で露光された電荷を読み出す際と、１フレーム終わりで露光された信号を読み出す際の双方において、ロウセレクタ３０４のオンによる信号を読み出す。その後、ＭＳリセットゲート４０１−３をオンする事で、ＭＳフローティングディフュージョン４０３−３に露光されている電荷を破壊読み出しにより読み出す。

図２０は、画素３１４に蓄積された動画像用電荷と補助静止画像用電荷を１フレームずつ出力し、動画撮影中の静止画撮影における動画フレーム及び補助静止画フレームを生成するタイミングを示すタイミングチャートである。

図２０において、期間Ｔ１は、１フレームの露光期間（１ＶＤ）である。このタイミングチャートは、既に動画撮影、静止画撮影双方が行われている。

まず、動画の撮影中に静止画の撮影が行われた際の動画フレームの出力について説明する。

タイミングＴ２では、ＭＳリセットゲート４０１−３とロウセレクタ３０４がオンとなり、ＭＳフローティングディフュージョン４０３−３に蓄積された電荷がリセットされる。

タイミングＴ３では、ＭＳリセットゲート４０１−３とロウセレクタ３０４がオフとなり、動画像用の露光期間であるＴ１３の期間、ＭＳリードアウトゲート４０２−３がオンとなる。これにより、ＭＳフローティングディフュージョン４０３−１に横線で示すように電荷が蓄積される。

タイミングＴ２００では、ＭＳリセットゲート４０１−３とロウセレクタ３０４がオンとなり、横線の部分で示すＭＳフローティングディフュージョン４０３−３に露光された電荷が、ＭＳソースフォロアアンプ４０４−３によって電圧情報に変換される。この際、ＭＳフローティングディフュージョン４０３−３に蓄積された電荷は破壊読み出し５０１で読み出される。

期間Ｔ１５の期間において、動画フレームの１フレームを構成する全ての画素の電圧がロウセレクタ３０２のオンにより１水平ライン毎に動画像処理部５にライン出力４１４され、動画像処理部５にて動画像フレーム４０７が生成される。

次に、補助静止画フレームの出力について説明する。

タイミングＴ２０２では、ロウセレクタ３０４がオフとなり、静止画像用の露光期間であるＴ１４の期間、ＭＳリードアウトゲート４０２−３がオンとなる。これにより、ＭＳフローティングディフュージョン４０３−３に、フローティングディフュージョン４０３−３に縦線で示す電荷が蓄積される。

タイミングＴ２０１で、ロウセレクタ３０４がオンとなり、ＭＳフローティングディフュージョン４０３−３の縦線の部分で示す部分に露光された電荷が、ＭＳソースフォロアアンプ４０４−３によって電圧情報に変換される。

期間Ｔ１６の期間において、補助静止画フレームの１フレームを構成する全ての画素の電圧がロウセレクタ３０４のオンにより１水平ライン毎に静止画像処理部６にライン出力４１４され、静止画像処理部６にて静止画フレーム４０８が生成される。

上記手順後、動画撮影中の静止画像は、静止画撮影中に動画像処理部５から出力された動画フレーム４０７と補助静止画像用フレーム４０８とを静止画像処理部６にて加算合成して生成されるため、露光期間に連続性のある静止画を生成する事ができる。

なお、本発明は、上記各実施形態に例示したものに限定されるものではなく、本発明の要旨を逸脱しない範囲において適宜変更可能である。

本発明の第１の実施形態である撮像装置を説明するためのブロック図である。 動画撮影中の静止画撮影における撮像装置の動作例を説明するためのフローチャート図である。 動画撮影中の静止画撮影における撮像素子での動画フレームと補助静止画フレームとの生成に関するタイミングチャート図である。 撮像素子の構成例の概略を示す図である。 図４に示す撮像素子の画素の回路構成例を示す図である。 画素に蓄積された動画像用電荷と補助静止画像用電荷を１フレームずつ出力し、動画撮影中の静止画撮影における動画フレーム及び補助静止画フレームを生成するタイミングを示すタイミングチャート図である。 動画撮影中の静止画撮影時のストロボ発光のタイミングについて説明するためのタイミングチャート図である。 本発明の第２の実施形態である撮像装置を説明するためのタイミングチャート図である。 本発明の第３の実施形態である撮像装置を説明するためのブロック図である。 撮像素子の構成例を示す概略図である。 図１０に示す撮像素子の画素の回路構成図である。 撮像素子において、動画像用電圧と補助静止画像用電圧とを時分割で出力する動作タイミングを説明するためのタイミングチャート図である。 本発明の第４の実施形態である撮像装置を説明するためのタイミングチャート図である。 従来例を説明するための図であり、左下から右上にボールが飛んでいる状態を長秒露光にて撮影する場合を示す図である。 従来例における動画撮影中の長秒露光時の撮影における静止画を説明するための図である。 本発明の第５の実施形態である動画撮影中の静止画撮影における撮像装置の動作例を説明するためのフローチャート図である。 撮像素子の構成例の概略を示す図である。 図１７に示す撮像素子の画素の回路構成図である。 画素に蓄積された動画像用電荷と静止画像用電荷を１フレームずつ出力し、動画撮影中の静止画撮影における動画フレーム及び補助静止画フレームを生成するタイミングを示すタイミングチャート図である。 本発明の第６の実施形態である画素に蓄積された動画像用電荷と補助静止画像用電荷を１フレームずつ出力し、動画撮影中の静止画撮影における動画フレーム及び補助静止画フレームを生成するタイミングを示すタイミングチャート図である。

符号の説明

１， １４ 撮像素子
２ レンズ
３ ＴＧ（タイミングジェネレータ）
４ 画像処理部
５ 動画像処理部
６ 静止画像処理部
７ メモリ
８ ＣＰＵ
９ 動画像用電圧出力線
１０ 補助静止画像用電圧出力線
１１，１３ 撮像装置
１２ 動画像用及び静止画像用の電圧出力線
２０ ストロボ
３００ 垂直走査線回路
３０１，３０９，３１４ 画素
３０２ ロウセレクタＭ
３０３ ロウセレクタＳ
３０５，３１２，３１５ ＣＤＳ回路
３０６ 水平走査線回路
３０７ 動画用電圧出力線
３０８ 補助静止画用電圧出力線
３１０ 電圧出力線
３１１ 電圧出力線
３１３ 電圧出力線
４０１−１ Ｍリセットゲート
４０１−２ Ｓリセットゲート
４０１−３ ＭＳリセットゲート
４０２−１ Ｍリードアウトゲート
４０２−２ Ｓリードアウトゲート
４０２−３ ＭＳリードアウトゲート
４０３−１ Ｍフローティングディフュージョン
４０３−２ Ｓフローティングディフュージョン
４０３−３ ＭＳフローティングディフュージョン
４０４−１ Ｍソースフォロアアンプ
４０４−２ Ｓソースフォロアアンプ
１０００ フォトダイオード

Claims (7)

1. 被写体光を光電変換して電荷を蓄積する撮像素子を備え、動画の撮影中に静止画の撮影が可能な撮像装置であって、
   被写体光を取り込む際、動画像用の露光期間と補助静止画像用の露光期間とに分けて前記撮像素子を駆動する駆動手段と、
   前記動画像用の露光期間に前記撮像素子に露光されて光電変換された動画像用電荷に基づいて動画像を生成する動画像処理手段と、
   前記補助静止画像用の露光期間に前記撮像素子に露光されて光電変換された補助静止画像用電荷と前記動画像用電荷とに基づいて静止画像を生成する静止画像処理手段と、
   動画撮影中の静止画撮影におけるストロボの発光タイミングが前記動画像用の露光期間か否かを判断する判断手段と、
   該判断手段により前記ストロボの発光タイミングが前記動画像用の露光期間であると判断された場合に、前記ストロボの発光タイミングを前記補助静止画像用の露光期間に変更する制御手段と、を備える
   ことを特徴とする撮像装置。
2. 前記撮像素子は、１フレーム分の露光期間に１フレーム分の前記動画像用の電荷と前記補助静止画像用の電荷とを読み出す読み出し手段を備える
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記撮像素子の画素は、前記動画像用の電荷を保持する第１の保持手段と、前記補助静止画像用の電荷を保持する第２の保持手段とを有する、
   ことを特徴とする請求項１又は２に記載の撮像装置。
4. 前記撮像素子は、前記動画像用の露光期間の途中で静止画の撮影が終了した際、最後の前記動画用の露光期間の開始から静止画の撮影が終了までの期間、前記動画像用の電荷を、前記第２の保持手段に非破壊読み出しで読み出す非破壊読み出し手段を有する、
   ことを特徴とする請求項３に記載の撮像装置。
5. 前記撮像素子には、前記動画像用の電荷から生成される信号の出力線と、前記補助静止画像用の電荷から生成される信号の出力線とが設けられる、
   ことを特徴とする請求項１〜４のいずれか一項に記載の撮像装置。
6. 前記動画像用の電荷から生成される信号の出力線と、前記補助静止画像用の電荷から生成される信号の出力線とが１本の出力線で構成される、
   ことを特徴とする請求項５に記載の撮像装置。
7. 被写体光を光電変換して電荷を蓄積する撮像素子を備え、動画の撮影中に静止画の撮影が可能な撮像装置の制御方法であって、
   被写体光を取り込む際、動画像用の露光期間と補助静止画像用の露光期間とに分けて前記撮像素子を駆動する駆動ステップと、
   前記動画像用の露光期間に前記撮像素子に露光されて光電変換された動画像用電荷に基づいて動画像を生成する動画像処理ステップと、
   前記補助静止画像用の露光期間に前記撮像素子に露光されて光電変換された補助静止画像用電荷と前記動画像用電荷とに基づいて静止画像を生成する静止画像処理ステップと、
   動画撮影中の静止画撮影におけるストロボの発光タイミングが前記動画像用の露光期間か否かを判断する判断ステップと、
   該判断ステップで前記ストロボの発光タイミングが前記動画像用の露光期間であると判断された場合に、前記ストロボの発光タイミングを前記補助静止画像用の露光期間に変更する変更ステップと、を備える
   ことを特徴とする撮像装置の制御方法。

Images