JP2015019243A - 撮像装置、及びその制御方法とプログラム - Google Patents

撮像装置、及びその制御方法とプログラム Download PDF

Info

Publication number
JP2015019243A
JP2015019243A JP2013145114A JP2013145114A JP2015019243A JP 2015019243 A JP2015019243 A JP 2015019243A JP 2013145114 A JP2013145114 A JP 2013145114A JP 2013145114 A JP2013145114 A JP 2013145114A JP 2015019243 A JP2015019243 A JP 2015019243A
Authority
JP
Japan
Prior art keywords
imaging
frame rate
recording
unit
predetermined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013145114A
Other languages
English (en)
Other versions
JP6103481B2 (ja
JP2015019243A5 (ja
Inventor
丈晴 竹内
Takeharu Takeuchi
丈晴 竹内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2013145114A priority Critical patent/JP6103481B2/ja
Publication of JP2015019243A publication Critical patent/JP2015019243A/ja
Publication of JP2015019243A5 publication Critical patent/JP2015019243A5/ja
Application granted granted Critical
Publication of JP6103481B2 publication Critical patent/JP6103481B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】動画撮影中にフレームレートを切り替え可能とする場合において、より質の高い動画像を記録可能とする。【解決手段】動画撮影時には撮像素子を高速の撮像フレームレート(120fps)で駆動する状態を維持する。動画像を撮像フレームレートと同じ速度の記録フレームレートで記録する間は、ISO感度を所定の値(800)に設定して撮像した各フレームの画像をそのまま記録する。動画像を撮像フレームレート未満の記録フレームレート(60fps,30fps)で記録する間は、ISO感度を下げた値(400,200)に設定し、撮像した画像を、撮像フレームレートと記録フレームレートとの比率に応じたフレーム数分だけ合成し、合成後の画像を記録する。動画像として記録する各フレームの画像のノイズが低減できるとともに、記録フレームレートの変更前後における画像の明るさを一定に維持することができる。【選択図】図3

Description

本発明は、撮像装置、及びその制御方法とプログラムに関し、特に動画撮影中にフレームレートを変更可能とする場合における動画像の質を向上させる技術に関するものである。
従来、撮像装置においては動画撮影中にフレームレートを変更可能なものがある。係る撮像装置においては、例えば低速のフレームレートで撮影を行っている間に、被写体の動きが速い特定の撮影シーンのみを高速のフレームレートでの撮影を行うことができ、記録する動画像のデータ量を徒に増大させることなく、撮影後には特定の撮影シーンのみをスロー再生することができる。
また、下記特許文献1には、動画撮影中におけるフレームレートの変更に際し、例えば絞り値をシャッタースピードやゲインよりも優先して決定した後、決定した絞り値に応じてシャッタースピードやゲインを設定する技術が記載されている。係る技術によれば、フレームレートの変更前後において発生するフレーム間での画像の明るさの変化を低減することができる。
特開2009−141834号公報
ところで、動画撮影中にフレームレートを切り替えるときには、撮像素子の駆動速度の切り替えにタイムラグが発生し、その間の画像が欠落してしまう。これを回避するためには、動画撮影中に高速のフレームレートへの切り替えを可能とする際には、撮像素子を常に高速のフレームレートで駆動しておき、低速のフレームレートでの撮影中には、そのフレームレートに応じたフレームの画像のみを抜き出して記録すればよい。
しかし、撮像素子を常に高速のフレームレートで駆動する場合には、シャッタースピードの調整による最大露光時間が制限されるため、適正な露出を得るには撮影感度、すなわち撮像素子の出力信号のゲインを常に上げておく必要があり、記録画像のノイズが増大するという問題があった。
本発明は、かかる従来の課題に鑑みてなされたものであり、動画撮影中にフレームレートを切り替え可能とする場合において、より質の高い動画像を記録可能とする撮像装置、及びその制御方法とプログラムを提供することを目的とする。
前記課題を解決するため、本発明にあっては、 被写体の画像を撮像する撮像手段と、 所定の撮像フレームレートで前記撮像手段が撮像した複数枚の画像を合成する合成手段と、前記撮像手段が撮像した画像または前記合成手段による合成後の画像を所定の記録フレームレートで記録する記録手段と、撮像フレームレートを前記所定の撮像フレームレートに固定した状態で前記撮像手段に撮像動作を開始させる撮像制御手段と、前記撮像手段における前記所定の撮像フレームレートでの撮像動作期間中に、前記所定の記録フレームレートを前記所定の撮像フレームレートを上限とした範囲内で変更する変更手段と、前記変更手段による変更後の記録フレームレートが前記所定の撮像フレームレートと一致する場合には、前記記録手段が記憶する画像を前記撮像手段により撮像された画像に変更し、前記変更手段による変更後の記録フレームレートが前記所定の撮像フレームレート未満である場合には、前記合成手段に前記複数枚の画像の合成を開始させるとともに、前記記録手段が記憶する画像を前記合成手段による合成後の画像に変更する記録制御手段と、前記変更手段による記録フレームレートの変更に伴い、前記撮像手段の撮像動作における撮像感度を前記変更後の記録フレームレートに応じて制御する感度制御手段とを備えたことを特徴とする。
本発明によれば、動画撮影中にフレームレートを切り替え可能とする場合において、より質の高い動画像が記録可能となる。
本発明の撮像装置として例示するデジタルカメラのブロック図である。 記録フレームレート切替機能を使用する場合のデジタルカメラ1の動作内容を示す図である。 撮像フレームレートが120fpsである場合におけるフレーム画像の順次合成を示す模式図である。 撮像フレームレートが60fpsである場合におけるフレーム画像の重複合成を示す模式図である。 記録フレームレート切替機能を使用した動画撮影モードでの処理内容を示すフローチャートである。
以下、本発明の実施形態について説明する。図1は、本発明の撮像装置として例示するデジタルカメラ1の概略構成を示すブロック図である。このデジタルカメラ1は、撮影モードとして静止画撮影モード及び動画撮影モードを有するものである。
デジタルカメラ1は、レンズブロック2と撮像素子3とを有している。レンズブロック2は、フォーカスレンズを含むレンズ群と、絞りと、レンズ群を駆動するレンズモータ、絞りを開閉駆動するアクチュエータから構成される。レンズモータやアクチュエータは、CPU(Central Processing Unit)8の指令に基づき光学系駆動部4によって駆動されることにより、焦点位置や撮像素子3の受光量が調整される。
撮像素子3は、CCD(Charge Coupled Device)やCMOS(Complementary Meta1 0xide Semiconductor)センサであり、駆動回路5により駆動され、被写体の光学像を光電変換し、変換後の光学像に応じた電気信号つまり撮像信号をAFE(Analog Front End)6へ出力する。
前記駆動回路5は、撮像素子3をCPU8の指令に基づき複数の駆動モードで駆動することが可能であり、より具体的には、撮像素子3を駆動する際のフレームレート(以下、撮像フレームレートという。)が120fpsの高速モードと、60fpsの中速モードと、30fpsの低速モードの3種類の駆動モードで駆動することが可能である。なお、低速モードは、静止画撮影モードや動画撮影モードでの撮影待機状態において使用され、中速モード及び高速モードは、動画撮影モードでの動画撮影時において使用されるモードである。
AFE6は、CDS(Correlated Double Sampling)回路や、PGA(Programmable Gain Amp)、ADC(Analog-to-Digital Converter)等によって構成される。AFE6は、撮像素子3が出力した撮像信号のゲイン調整を含む所定のアナログ処理を行い、アナログ処理後の撮像信号をデジタル信号に変換した後、変換後の画像データを画像処理部7へ出力する。
AFE6における撮像信号のゲイン調整は、撮影時に設定されるISO感度(撮像感度)に応じてCPU8の指令に基づき行われる。
画像処理部7は、AFE6から入力したゲイン調整後の画素データを一時記録するメモリ7aを有している。メモリ7aには複数フレーム分の画素データを記憶可能なメモリ容量が確保されている。
画像処理部7は、メモリ7aに一時記憶された画像データに対し、画像の記録に向けた種々の画像処理を行う。画像処理部7が行う画像処理は、ガンマ補正や、ホワイトバランス調整、画素毎のR,G,Bの色成分データの生成、生成したRGBデータからYUVデータを生成するYUV変換等である。そして、画像処理部7は、生成した1フレーム分のYUVデータを、撮影待機状態にある間にはCPU8へ供給し、かつ撮影時にはCODEC(Coder & Decoder:符号器/復号器)9へ供給する。
また、動画撮影時において画像処理部7は、必要に応じ、後述するように前記メモリ7aに一時記憶した複数フレーム分の画像データを合成(加算)する処理も行う。
撮影待機状態においてCPU8へ供給されたYUVデータは表示部10へ供給され、表示部10においてライブビュー画像として表示される。表示部10は、ライブビュー画像等を表示する液晶表示器と、液晶表示器を駆動する駆動回路等から構成される。
CODEC9は、撮影時に画像処理部7から供給された画像データ(YUVデータ)を符号化し、また、符号化されている任意の画像データを復号する。図示しないが、CODEC9は、画像データの符号化、及び復号化を行うための直交変換回路、量子化回路、動き検出回路、順方向予測回路、符号化回路、復号化回路、逆直交変換回路、フレームメモリ等から構成される。
撮影時に画像処理部7からCODEC9へ出力されたYUVデータは、静止画モードでの撮影時にはJPEG(Joint Photographic Expert Group)方式等により圧縮符号化された後、静止画ファイルとして画像メモリ11に記録され、動画モードでの撮影時にはMPEG(Motion Picture Experts Group)方式等によりフレーム毎に圧縮符号化された後、順次画像メモリ11に送られ最終的には動画ファイルとして記録される。
また、CODEC9は、再生モードにおいてCPU8により画像メモリ11から読み出された静止画または動画データ(符号化データ)を復号しCPU8へ出力する。復号されたデータは表示部10において静止画、又は動画像として再生される。なお、画像メモリ11は、例えばカメラ本体に内蔵されたフラッシュメモリや、カメラ本体に着脱自在な各種のメモリカードである。
また、CPU8には、操作部12、RAM(Random Access memory)13、プログラムメモリ14が接続されている。RAM13はCPU8のワーキングメモリである。
操作部12は、電源キーや、シャッターキー、デジタルカメラ1の基本の動作モードである撮影モードと、記録画像の表示用の再生モードとの切り替えを行うモード切替キー、撮影モードの下位モードの設定等の種々の設定作業に使用されるMENUキー、方向キー等の図示しない複数キーを含む。操作部12における各キーはCPU8によって操作状態を随時スキャンされる。
シャッターキーは、半押し操作と全押し操作との2段階操作が可能な所謂ハーフシャッター機能を有する構成である。シャッターキーの半押し操作は、AE(Auto Exposure)動作、及びAF(Auto Focus)動作の開始指示等に使用され、シャッターキーの全押し操作は撮影指示に使用される。
プログラムメモリ14は、例えば記憶データが書き換え可能なEEPROM(Electric Erasable Programmable Read Only Memory)であるフラッシュメモリである。プログラムメモリ14には、CPU8にデジタルカメラ1の全体の動作を制御させるための制御プログラムや各種のデータが記憶されている。
前記制御プログラムには、CPU8にAE制御、AF制御、AWB(Auto white balance)制御を行わせるためのプログラム、及びCPU8に動画撮影モードにおいて後述する処理を行わせるためのプログラムが含まれる。
前記各種のデータには、撮影時の適正な露出値に対応する絞り値とシャッタースピードとの組み合わせを示すプログラム線図を構成する制御データが含まれる。プログラム線図は、静止画撮影時に使用されるもの、及び撮像素子3の駆動モード別の複数のもの(高速モード用、中速モード用、低速モード用)が存在する。
そして、以上の構成からなるデジタルカメラ1には、動画撮影に際し撮像フレームレートを固定した状態で、記録する動画像のフレームレート(以下、記録フレームレートという。)を適宜切替可能とする記録フレームレート切替機能が設けられている。
この記録フレームレート切替機能は、動画撮影中おいて被写体の動きが速い特定の撮影シーンでは記録フレームレートを高速に設定し、それ以外のシーンでは記録フレームレートを低速に設定することを可能とするものである。つまり記録フレームレート切替機能は、記録する動画像のデータ量を抑制しつつ、撮影後に特定の撮影シーンのみを良質な動画像でスロー再生可能とするためのものである。
なお、デジタルカメラ1において、記録した動画像を再生する際のフレームレート(以下、再生フレームレートという。)は、記録フレームレートに関係なく30fpsに固定されている。
図2は、上記の記録フレームレート切替機能を使用する場合のデジタルカメラ1の動作内容を示した図である。図2に示したように、記録フレームレート切替機能を使用する場合、撮像フレームレートは120fps又は60fpsのいずれかに設定される。
また、ユーザーが指定可能な記録フレームレートは、撮像フレームレートの範囲内のフレームレートである。すなわち撮像フレームレートが120fpsのときには120fps、60fps、30fpsのいずれかが指定可能であり、撮像フレームレートが60fpsのときには60fps又は30fpsが指定可能である。
また、記録フレームレート切替機能を使用する場合、ISO感度は記録フレームレートに応じた値に固定される。すなわち記録フレームレートが120fpsのときのISO感度は800、記録フレームレートが60fpsのときのISO感度は400、記録フレームレートが30fpsのときのISO感度は200にそれぞれ固定される。
また、記録フレームレート切替機能を使用する場合、前述した撮像フレームレートで撮像された各フレームの画像が、それぞれ記録フレームレートに応じたフレーム数だけ合成され、合成後の画像が動画像を構成するフレーム画像として記録される。なお、以下の説明では、撮像フレームレートで撮像されたフレーム画像を撮像フレーム画像と称し、動画像を構成するフレーム画像を記録フレーム画像と称することにより両者を区別する。
撮像フレーム画像の合成枚数(フレーム合成数)は、記録フレームレートが60fpsのときは2枚(2フレーム)であり、記録フレームレートが30fpsのときは4枚(4フレーム)である。但し、撮像フレームレートと記録フレームレートとが共に120fpsのときには、撮像フレーム画像が、そのまま記録フレーム画像として使用される。
さらに、撮像フレーム画像の合成方法は2種類あり、撮像フレームレートが120fpsのときの合成方法は順次合成であり、撮像フレームレートが60fpsのときの合成方法は重複合成である。係る合成方法を具体的に説明すると以下の通りである。
図3は、撮像フレームレートが120fpsである場合における順次合成を示した模式図である。同図(a)に示したように、記録フレームレートが60fpsのときには、撮像フレーム画像が2フレーム毎に合成される。
また、同図(b)に示したように、記録フレームレートが30fpsのときには、撮像フレーム画像が4フレーム毎に合成される。
図4は、撮像フレームレートが60fpsである場合における重複合成を示した模式図である。同図(a)に示したように、記録フレームレートが60fpsのときには、撮像フレームの1フレーム毎に、当該フレームの撮像フレーム画像と前回のフレームの撮像フレーム画像とが合成される。つまり一部の撮像フレーム画像が、相前後する記録フレーム画像の生成に重複して使用される。
また、同図(b)に示したように、記録フレームレートが30fpsのときには、撮像フレームの2フレーム毎に、当該フレームの撮像フレーム画像と直前3フレーム分の撮像フレーム画像とが合成される。つまりこの場合も一部の撮像フレーム画像が、相前後する記録フレーム画像の生成に重複して使用される。
以下、記録フレームレート切替機能を使用した動画撮影モードにおけるCPU8の処理内容を図5のフローチャートに従い説明する。
すなわちCPU8は動画撮影モードの設定とともに動作を開始し、直ちに撮像素子3の駆動モードを低速モード(30fps)に設定して撮像を開始するとともに(ステップS1)、表示部10におけるライブビュー画像の表示を開始する(ステップS2)。なお、ライブビュー画像の表示中には、前述した低速モード用のプログラム線図を使用したAE制御が行われる。
ライブビュー画像の表示中においてCPU8は、ユーザーによる動画撮影モードの終了指示(静止画撮影モードへの変更指示等)の有無を逐次確認し、動画撮影モードの終了指示があれば(ステップS3:YES)、その時点で全ての処理を終了する。
また、CPU8は、ライブビュー画像の表示中にユーザーによる撮影開始指示の有無を逐次確認し、撮影開始指示があると(ステップS4:YES)、その直前に画像処理部7のメモリ7aに一時記憶された画像データに基づき、現在の被写体の明るさを示すLV値を取得する(ステップS5)。なお、このLV値は、例えばデジタルカメラ1に光量を検出する測光センサが設けられている場合には、その測光センサの出力信号に基づき取得しても構わない。
しかる後、CPU8は、LV値が予め決められている閾値以上であるか否かを確認する(ステップS6)。上記閾値は、仮に高速モード(120fps)で撮像素子3を駆動した場合、撮像フレーム画像に一定以上の明るさが確保可能であると判断できる値である。
そして、CPU8は、LV値が閾値以上である場合には(ステップS6:YES)、前記駆動回路5における撮像素子3の駆動モードを高速モード(120fps)に設定する(ステップS7)。しかる後、CPU8は、記録フレームレートを初期設定値である30fps、つまり再生フレームレートと同一に設定するとともに、前述した順次合成による動画記録を開始する(ステップS8)。
なお、ステップS8に際してCPU8は、AFE6におけるゲインをISO感度200に応じた値に設定するとともに、動画記録中には、高速モード用のプログラム線図を使用したAE制御を行う。
つまり、CPU8は、画像処理部7に、図3(b)に示したように、ISO感度200で撮像した撮像フレーム画像を4フレーム毎に合成し、記録フレーム画像を生成する処理を開始させ、生成された記録フレーム画像をCODEC9において圧縮して画像メモリ11に記録する処理を開始する。
また、CPU8は、LV値が閾値未満である場合には(ステップS6:NO)、前記駆動回路5における撮像素子3の駆動モードを中速モード(60fps)に設定する(ステップS9)。これにより、各フレームの撮像画像の明るさとして、撮像素子3を高速モードで駆動する場合の2倍の明るさを確保可能にする。しかる後、CPU8は、この場合も記録フレームレートを初期設定値である30fpsに設定するとともに、前述した重複合成による動画記録を開始する(ステップS10)。
なお、ステップS10に際してCPU8は、AFE6におけるゲインをISO感度200に応じた値に設定するとともに、動画記録中には、中速モード用のプログラム線図を使用したAE制御を行う。
つまり、CPU8は、画像処理部7に、図4(b)に示したように、ISO感度200で撮像した撮像フレームの2フレーム毎に、当該フレームの撮像フレーム画像と直前3フレーム分の撮像フレーム画像とを合成し記録フレーム画像を生成する処理を開始させ、生成された記録フレーム画像をCODEC9において圧縮して画像メモリ11に記録する処理を開始する。
以後、撮像素子3を高速モード又は中速モードで駆動して動画撮影を行っている間、CPU8は、ユーザーによって記録フレームレートの変更指示がなく(ステップS11:NO)、かつ撮影終了指示もなければ(ステップS13:NO)、ステップS8又はステップS10で開始した前述した設定内容での動画記録処理を続行する。
そして、動画記録中にユーザーによって記録フレームレートの変更指示があった場合(ステップS11:YES)、CPU8は、ユーザーから指示に応じて記録フレームレートを変更するとともに、ISO感度、加算枚数を、変更後の記録フレームレートと、その時点の撮像素子3の駆動モード、つまり撮像フレームレートに応じて予め決められている値(図2参照)に変更する(ステップS12)。
これにより、例えば撮像フレームレートが120fpsである場合においては、ユーザーが記録フレームレートを30fpsから120fpsに変更したときには、図3(b)に示したように、ISO感度が800、加算枚数が1枚(=加算なし)に変更された状態で動画記録処理が続行される。
また、ユーザーが記録フレームレートを30fpsから60fpsに変更したときには、ISO感度が400、加算枚数が2枚に変更された状態で動画記録処理が続行される(図3(a)参照)。
さらに、記録フレームレートが120fps又は60fpsから初期設定時の30fpsに変更されたときには、再びISO感度が200、加算枚数が4枚に設定された状態で動画記録処理が続行される(図3(b)参照)。
一方、上記とは異なり、例えば撮像フレームレートが60fpsである場合においては、ユーザーが記録フレームレートを30fpsから60fpsに変更したときには、図4(a)に示したように、ISO感度が400、加算枚数が2枚に変更された状態で動画記録処理が続行される。
さらに、記録フレームレートが60fpsに変更された後、ユーザーによりいずれかの時点で記録フレームレートが初期設定時の30fpsに変更されたときには、再びISO感度が200、加算枚数が4枚に変更された状態で動画記録処理が続行される(図4(b)参照)。
以上のようにCPU8は、ユーザーの指示に応じて記録フレームレートを変更する場合においても、撮像フレームレートを変更することなく、ユーザーの指示に応じた記録フレームレートで記録フレーム画像を生成し記録する。
同時に、ISO感度と撮像フレーム画像の合成枚数とを調整することによって、撮像フレームレートが120fpsのときには、各記録フレーム画像に、記録フレームレートが120fps、ISO感度が800のときと同じ明るさを常に確保し、また、撮像フレームレートが60fpsのときには、各記録フレーム画像に、記録フレームレートが60fps、ISO感度が400のときと同じ明るさを常に確保する。
そして、CPU8は、上述した動画記録処理を繰り返している間に、ユーザーによる撮影終了指示があれば(ステップS13:YES)、その時点で動画記録を終了した後(ステップS14)、撮像素子3の駆動モードを低速モード(30fps)に設定(変更)する(ステップS15)。つまり撮像フレームレートをライブビュー画像の表示が可能な程度まで低下させ、無駄な電力消費を防止する。
以後、CPU8は、ステップS3の処理へ戻り、ユーザーによる動画撮影モードの終了指示があるまでの間(ステップS3:NO)、前述したステップS4以降の処理を繰り返し実行する。
以上のように記録フレームレート切替機能を使用した動画撮影モードにおいては、動画撮影中の撮像フレームレートを記録フレームレートに関係なく120fps又は60fpsに固定するため、動画撮影中に記録フレームレートを変更しても撮像動作にタイムラグが発生することがない。
また、記録フレームレートを撮像フレームレート未満に設定したときには、記録フレームレートに応じたフレーム数分の撮像フレーム画像を合成して記録フレーム画像を生成することにより、記録フレームレートを固定したまま、実質的な露光時間を長くすることができる。しかも、合成対象となる複数の撮像フレーム画像に存在するランダムノイズは合成後の画像において増大することがない。
同時にISO感度を、記録フレームレートに応じた値であって、記録フレームレートが撮像フレームレートと同じときよりも低い値に設定することにより、記録フレーム画像のノイズが低減できるとともに、記録フレームレートの変更前後における画像の明るさを一定に維持することができる。
したがって、動画撮影中に記録フレームレートを切り替え可能とする場合においても、より質の高い動画像を記録することができる。
また、動画撮影中の撮像フレームレートを、撮影開始時点で被写体の明るさ(LV値)に応じて設定するようにし、被写体の明るさが閾値未満である場合には、設定可能な最速の撮像フレームレートである120fpsよりも低速の60fpsに設定するようにした。つまり各フレームの撮像画像の明るさとして、撮像素子3を高速モードで駆動する場合の2倍の明るさを確保可能とした。
したがって、撮像フレームレートを常に120fpsに固定する場合に比べ、記録フレームレート切替機能を使用する場合において、より暗い被写体の撮影を可能とすることができる。つまり動画撮影時における記録フレームレート切替機能の使用範囲を広げることができる。
また、記録フレームレートを撮像フレームレート未満に設定されている間における撮像フレーム画像の合成方法を、撮像フレームレートが120fpsに固定されているときには前述した順次合成とし、かつ撮像フレームレートが60fpsに固定されているときには前述した重複合成とした。
そのため、撮像フレームレートに関係なく、記録フレームレートが同一の場合にはISO感度を同一とすることができ(図2参照)、被写体の明るさに応じて撮像フレームレートを異なる値に固定したとしても、記録フレーム画像に不可避的に生ずるISO感度に応じたノイズ量を同程度とすることができる。
したがって、記録フレームレートが同一の場合には、被写体の明るさに関係なく記録する動画像の質を安定させることができる。
なお、本実施形態においては、設定可能な最速の撮像フレームレートが120fpsであるとともに、動画撮影中に変更(設定)可能な記録フレームレートが120fps、60fps、30fpsの3段階である場合について説明した。
しかし、本発明の実施に際しては、設定可能な最速の撮像フレームレートは120fps以上であってもよい。また、動画撮影中に変更(設定)可能な記録フレームレートは最速の撮像フレームレートよりも低速であればよく、記録フレームレートは3段階以上であってもよい。
また、変更(設定)可能な記録フレームレートは、必ずしも設定可能な最速の撮像フレームレートの1/n(nは整数)でなくともよく、それ以外の場合においても、ISO感度を撮像フレームレートと記録フレームレートとの比率に応じて予め決められた値に固定することにより、より質の高い動画像を記録することができる。
また、本実施形態においては、動画撮影中における記録フレームレートの切替をユーザーによる変更指示に応じて行うものについて説明したが、本発明の実施に際しては、記録フレームレートの切替を所定のタイミングで自動的に行わせるようにしてもよい。
より具体的には、例えば記録フレームレートを、動画撮影の開始後、ユーザーが予め設定した時間等の所定時間が経過したタイミングで、再生フレームレートと同じ記録フレームレート(30fps)から、それよりも高速の記録フレームレート(設定可能な最速の記録フレームレート等)に自動的に切り替えるようにしてもよい。
その場合、例えばユーザーが三脚等にデジタルカメラ1を固定した状態で、自己のゴルフスイングのフォームを撮影する場合には都合がよい。すなわち、ユーザーが上記の所定時間として、撮影開始操作を行ってから画角内でゴルフスイングを開始するまでの所要時間を設定しておけば、ゴルフスイングを行っている間のみを最速の記録フレームレートで撮影することができる。つまりゴルフスイングを開始するまでの動画データの記録量を削減しつつ、ゴルフスイングを行っている間のみを、良質な動画像でスロー再生することができる。
さらに、上記に加え、最速の記録フレームレートによる撮影時間もユーザーが予め設定した時間等の所定時間とし、係る所定時間が経過したタイミングで記録フレームレートを自動的に30fpsに切り替える(戻す)ようにしてもよい。その場合には、ゴルフスイングを終了してから動画撮影を終了するまでの動画データの記録量も削減することができる。
また、例えば動画撮影中には、動画像の記録と並行して、撮像フレーム画像に基づき公知の画像認識技術を用いて被写体の特定の動きを検出する動体検出を行い、特定の動きを検出したタイミングで記録フレームレートを最速の記録フレームレートに自動的に切り替えるようにしてもよい。
さらには、上記のように記録フレームレートを最速の記録フレームレートに切り替えた後、被写体の特定の動きが検出できた時点で、記録フレームレートを自動的に30fpsに切り替える(戻す)ようにしてもよい。
その場合には、例えば動画撮影中に、動画像の記録と並行して、撮像フレーム画像に基づいて任意の人物によるゴルフスイングの開始時点(例えばバックスイングの開始時点)、及びゴルフスイングの終了時点(例えばフォロースルーの完了時点)を検出させれば、正確にゴルフスイングを行っている間のみを最速の記録フレームレートで撮影することができる。
また、以上の例とは別に、動画撮影中における記録フレームレートの切り替えは、例えばパンニングに伴い画角が急激に変化したタイミングで自動的に行わせるようにしてもよい。その場合にも、画角が急激に変化し始めた時点に加え、その後、画角が安定した時点も検出し、その時点で記録フレームレートを自動的に30fpsに切り替える(戻す)ようにしてもよい。
なお、画角が急激に変化した時点や画角が安定した時点の検出は、公知の画像認識技術を用いれば撮像フレーム画像に基づいて行うことができ、またカメラ本体に加速度センサが設けられていれば、加速度センサの検出信号によって行うことができる。
その場合には、例えば動画撮影中に主たる被写体が動き出し、それに追随してカメラをパンさせたときには、記録フレームレートを最速の記録フレームレートに自動的に切り替えることができ、撮影後には、カメラをパンさせている間の主たる被写体、及びその背景を含む全ての被写体の変化状態を良質な動画像でスロー再生することができる。
以上、本発明の実施形態、及びその変形例について説明したが、これらは本発明の作用効果が得られる範囲内であれば適宜変更が可能であり、変更後の実施形態も特許請求の範囲に記載された発明、及びその発明と均等の発明の範囲に含まれる。以下に、本出願の当初の特許請求の範囲に記載された発明を付記する。
[請求項1]
被写体の画像を撮像する撮像手段と、
所定の撮像フレームレートで前記撮像手段が撮像した複数枚の画像を合成する合成手段と、
前記撮像手段が撮像した画像または前記合成手段による合成後の画像を所定の記録フレームレートで記録する記録手段と、
撮像フレームレートを前記所定の撮像フレームレートに固定した状態で前記撮像手段に撮像動作を開始させる撮像制御手段と、
前記撮像手段における前記所定の撮像フレームレートでの撮像動作期間中に、前記所定の記録フレームレートを前記所定の撮像フレームレートを上限とした範囲内で変更する変更手段と、
前記変更手段による変更後の記録フレームレートが前記所定の撮像フレームレートと一致する場合には、前記記録手段が記憶する画像を前記撮像手段により撮像された画像に変更し、前記変更手段による変更後の記録フレームレートが前記所定の撮像フレームレート未満である場合には、前記合成手段に前記複数枚の画像の合成を開始させるとともに、前記記録手段が記憶する画像を前記合成手段による合成後の画像に変更する記録制御手段と、
前記変更手段による記録フレームレートの変更に伴い、前記撮像手段の撮像動作における撮像感度を前記変更後の記録フレームレートに応じて制御する感度制御手段と
を備えたことを特徴とする撮像装置。
[請求項2]
前記記録制御手段は、前記変更後の記録フレームレートが前記所定の撮像フレームレート未満である場合、前記合成手段に、前記所定の撮像フレームレートと前記変更後の記録フレームレートとの比率に応じて決められている枚数分の複数枚の画像の合成を開始させることを特徴とする請求項1記載の撮像装置。
[請求項3]
前記感度制御手段は、前記撮像感度を、前記所定の撮像フレームレートと前記変更後の記録フレームレートとの比率に応じて決められている撮像感度に固定することを特徴とする請求項1又は2記載の撮像装置。
[請求項4]
前記撮像手段における撮像動作の開始時点の被写体の明るさを取得する取得手段をさらに備え、
前記撮像制御手段は、前記所定の撮像フレームレートとして、前記取得手段が取得した被写体の明るさに応じた撮像フレームレートを設定し、設定した撮像フレームレートに撮像フレームレートを固定した状態で前記撮像手段に撮像動作を開始させる
ことを特徴とする請求項1又は2,3記載の撮像装置。
[請求項5]
前記撮像制御手段は、前記取得手段が取得した被写体の明るさが閾値以上の場合には、前記所定の撮像フレームレートとして設定可能な最速の撮像フレームレートを設定し、前記取得手段が取得した被写体の明るさが閾値以上の場合には、前記所定の撮像フレームレートとして前記最速の撮像フレームレートの2分の1の撮像フレームレートを設定することを特徴とする請求項4記載の撮像装置。
[請求項6]
前記記録制御手段は、前記変更手段による変更後の記録フレームレートが前記所定の撮像フレームレート未満であって、前記合成手段に前記複数枚の画像の合成を開始させる際、
前記撮像制御手段により設定された前記所定の撮像フレームレートが前記最速の撮像フレームレートである場合には、前記合成手段に、合成対象の複数枚の画像の全てが記録フレーム毎に異なる順次合成を開始させ、
前記撮像制御手段により設定された前記所定の撮像フレームレートが前記最速の撮像フレームレートの2分の1の撮像フレームレートである場合には、前記合成手段に、記録フレーム毎の合成対象の複数枚の画像に前回の記録フレームで使用した1又は複数の画像が含まれる重複合成を開始させる
ことを特徴とする請求項4記載の撮像装置。
[請求項7]
前記変更手段は、前記撮像手段における前記所定の撮像フレームレートでの撮像動作期間中に、使用者の要求に応じ前記所定の記録フレームレートを変更することを特徴とする請求項1乃至6のいずれか1項に記載の撮像装置。
[請求項8]
前記変更手段は、前記撮像手段における前記所定の撮像フレームレートでの撮像動作期間中に、所定のタイミングで前記所定の記録フレームレートを自動的に変更することを特徴とする請求項1乃至6のいずれか1項に記載の撮像装置。
[請求項9]
被写体の画像を撮像する撮像手段と、所定の撮像フレームレートで前記撮像手段が撮像した複数枚の画像を合成する合成手段と、前記撮像手段が撮像した画像または前記合成手段による合成後の画像を所定の記録フレームレートで記録する記録手段とを備えた撮像装置の制御方法であって、
撮像フレームレートを前記所定の撮像フレームレートに固定した状態で前記撮像手段に撮像動作を開始させる工程と、
前記撮像手段における前記所定の撮像フレームレートでの撮像動作期間中に、前記所定の記録フレームレートを前記所定の撮像フレームレートを上限とした範囲内で変更する工程と、
変更後の記録フレームレートが前記所定の撮像フレームレートと一致する場合には、前記記録手段が記憶する画像を前記撮像手段により撮像された画像に変更し、変更後の記録フレームレートが前記所定の撮像フレームレート未満である場合には、前記合成手段に前記複数枚の画像の合成を開始させるとともに、前記記録手段が記憶する画像を前記合成手段による合成後の画像に変更する工程と、
前記記録フレームレートの変更に伴い、前記撮像手段の撮像動作における撮像感度を前記変更後の記録フレームレートに応じて制御する工程と
を含むことを特徴とする撮像装置の制御方法。
[請求項10]
被写体の画像を撮像する撮像手段と、所定の撮像フレームレートで前記撮像手段が撮像した複数枚の画像を合成する合成手段と、前記撮像手段が撮像した画像または前記合成手段による合成後の画像を所定の記録フレームレートで記録する記録手段とを備えた撮像装置が有するコンピュータを、
撮像フレームレートを前記所定の撮像フレームレートに固定した状態で前記撮像手段に撮像動作を開始させる撮像制御手段と、
前記撮像手段における前記所定の撮像フレームレートでの撮像動作期間中に、前記所定の記録フレームレートを前記所定の撮像フレームレートを上限とした範囲内で変更する変更手段と、
前記変更手段による変更後の記録フレームレートが前記所定の撮像フレームレートと一致する場合には、前記記録手段が記憶する画像を前記撮像手段により撮像された画像に変更し、前記変更手段による変更後の記録フレームレートが前記所定の撮像フレームレート未満である場合には、前記合成手段に前記複数枚の画像の合成を開始させるとともに、前記記録手段が記憶する画像を前記合成手段による合成後の画像に変更する記録制御手段と、
前記変更手段による記録フレームレートの変更に伴い、前記撮像手段の撮像動作における撮像感度を前記変更後の記録フレームレートに応じて制御する感度制御手段と
して機能させることを特徴とするプログラム。
1 デジタルカメラ
2 レンズブロック
3 撮像素子
4 光学系駆動部
5 駆動回路
6 AFE
7 画像処理部
7a メモリ
8 CPU
9 CODEC
10 表示部
11 画像メモリ
12 操作部
13 RAM
14 プログラムメモリ

Claims (10)

  1. 被写体の画像を撮像する撮像手段と、
    所定の撮像フレームレートで前記撮像手段が撮像した複数枚の画像を合成する合成手段と、
    前記撮像手段が撮像した画像または前記合成手段による合成後の画像を所定の記録フレームレートで記録する記録手段と、
    撮像フレームレートを前記所定の撮像フレームレートに固定した状態で前記撮像手段に撮像動作を開始させる撮像制御手段と、
    前記撮像手段における前記所定の撮像フレームレートでの撮像動作期間中に、前記所定の記録フレームレートを前記所定の撮像フレームレートを上限とした範囲内で変更する変更手段と、
    前記変更手段による変更後の記録フレームレートが前記所定の撮像フレームレートと一致する場合には、前記記録手段が記憶する画像を前記撮像手段により撮像された画像に変更し、前記変更手段による変更後の記録フレームレートが前記所定の撮像フレームレート未満である場合には、前記合成手段に前記複数枚の画像の合成を開始させるとともに、前記記録手段が記憶する画像を前記合成手段による合成後の画像に変更する記録制御手段と、
    前記変更手段による記録フレームレートの変更に伴い、前記撮像手段の撮像動作における撮像感度を前記変更後の記録フレームレートに応じて制御する感度制御手段と
    を備えたことを特徴とする撮像装置。
  2. 前記記録制御手段は、前記変更後の記録フレームレートが前記所定の撮像フレームレート未満である場合、前記合成手段に、前記所定の撮像フレームレートと前記変更後の記録フレームレートとの比率に応じて決められている枚数分の複数枚の画像の合成を開始させることを特徴とする請求項1記載の撮像装置。
  3. 前記感度制御手段は、前記撮像感度を、前記所定の撮像フレームレートと前記変更後の記録フレームレートとの比率に応じて決められている撮像感度に固定することを特徴とする請求項1又は2記載の撮像装置。
  4. 前記撮像手段における撮像動作の開始時点の被写体の明るさを取得する取得手段をさらに備え、
    前記撮像制御手段は、前記所定の撮像フレームレートとして、前記取得手段が取得した被写体の明るさに応じた撮像フレームレートを設定し、設定した撮像フレームレートに撮像フレームレートを固定した状態で前記撮像手段に撮像動作を開始させる
    ことを特徴とする請求項1又は2,3記載の撮像装置。
  5. 前記撮像制御手段は、前記取得手段が取得した被写体の明るさが閾値以上の場合には、前記所定の撮像フレームレートとして設定可能な最速の撮像フレームレートを設定し、前記取得手段が取得した被写体の明るさが閾値以上の場合には、前記所定の撮像フレームレートとして前記最速の撮像フレームレートの2分の1の撮像フレームレートを設定することを特徴とする請求項4記載の撮像装置。
  6. 前記記録制御手段は、前記変更手段による変更後の記録フレームレートが前記所定の撮像フレームレート未満であって、前記合成手段に前記複数枚の画像の合成を開始させる際、
    前記撮像制御手段により設定された前記所定の撮像フレームレートが前記最速の撮像フレームレートである場合には、前記合成手段に、合成対象の複数枚の画像の全てが記録フレーム毎に異なる順次合成を開始させ、
    前記撮像制御手段により設定された前記所定の撮像フレームレートが前記最速の撮像フレームレートの2分の1の撮像フレームレートである場合には、前記合成手段に、記録フレーム毎の合成対象の複数枚の画像に前回の記録フレームで使用した1又は複数の画像が含まれる重複合成を開始させる
    ことを特徴とする請求項4記載の撮像装置。
  7. 前記変更手段は、前記撮像手段における前記所定の撮像フレームレートでの撮像動作期間中に、使用者の要求に応じ前記所定の記録フレームレートを変更することを特徴とする請求項1乃至6のいずれか1項に記載の撮像装置。
  8. 前記変更手段は、前記撮像手段における前記所定の撮像フレームレートでの撮像動作期間中に、所定のタイミングで前記所定の記録フレームレートを自動的に変更することを特徴とする請求項1乃至6のいずれか1項に記載の撮像装置。
  9. 被写体の画像を撮像する撮像手段と、所定の撮像フレームレートで前記撮像手段が撮像した複数枚の画像を合成する合成手段と、前記撮像手段が撮像した画像または前記合成手段による合成後の画像を所定の記録フレームレートで記録する記録手段とを備えた撮像装置の制御方法であって、
    撮像フレームレートを前記所定の撮像フレームレートに固定した状態で前記撮像手段に撮像動作を開始させる工程と、
    前記撮像手段における前記所定の撮像フレームレートでの撮像動作期間中に、前記所定の記録フレームレートを前記所定の撮像フレームレートを上限とした範囲内で変更する工程と、
    変更後の記録フレームレートが前記所定の撮像フレームレートと一致する場合には、前記記録手段が記憶する画像を前記撮像手段により撮像された画像に変更し、変更後の記録フレームレートが前記所定の撮像フレームレート未満である場合には、前記合成手段に前記複数枚の画像の合成を開始させるとともに、前記記録手段が記憶する画像を前記合成手段による合成後の画像に変更する工程と、
    前記記録フレームレートの変更に伴い、前記撮像手段の撮像動作における撮像感度を前記変更後の記録フレームレートに応じて制御する工程と
    を含むことを特徴とする撮像装置の制御方法。
  10. 被写体の画像を撮像する撮像手段と、所定の撮像フレームレートで前記撮像手段が撮像した複数枚の画像を合成する合成手段と、前記撮像手段が撮像した画像または前記合成手段による合成後の画像を所定の記録フレームレートで記録する記録手段とを備えた撮像装置が有するコンピュータを、
    撮像フレームレートを前記所定の撮像フレームレートに固定した状態で前記撮像手段に撮像動作を開始させる撮像制御手段と、
    前記撮像手段における前記所定の撮像フレームレートでの撮像動作期間中に、前記所定の記録フレームレートを前記所定の撮像フレームレートを上限とした範囲内で変更する変更手段と、
    前記変更手段による変更後の記録フレームレートが前記所定の撮像フレームレートと一致する場合には、前記記録手段が記憶する画像を前記撮像手段により撮像された画像に変更し、前記変更手段による変更後の記録フレームレートが前記所定の撮像フレームレート未満である場合には、前記合成手段に前記複数枚の画像の合成を開始させるとともに、前記記録手段が記憶する画像を前記合成手段による合成後の画像に変更する記録制御手段と、
    前記変更手段による記録フレームレートの変更に伴い、前記撮像手段の撮像動作における撮像感度を前記変更後の記録フレームレートに応じて制御する感度制御手段と
    して機能させることを特徴とするプログラム。
JP2013145114A 2013-07-11 2013-07-11 撮像装置、及びその制御方法とプログラム Active JP6103481B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013145114A JP6103481B2 (ja) 2013-07-11 2013-07-11 撮像装置、及びその制御方法とプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013145114A JP6103481B2 (ja) 2013-07-11 2013-07-11 撮像装置、及びその制御方法とプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2017027469A Division JP6354877B2 (ja) 2017-02-17 2017-02-17 撮像制御装置、及びその制御方法とプログラム

Publications (3)

Publication Number Publication Date
JP2015019243A true JP2015019243A (ja) 2015-01-29
JP2015019243A5 JP2015019243A5 (ja) 2016-07-21
JP6103481B2 JP6103481B2 (ja) 2017-03-29

Family

ID=52439856

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013145114A Active JP6103481B2 (ja) 2013-07-11 2013-07-11 撮像装置、及びその制御方法とプログラム

Country Status (1)

Country Link
JP (1) JP6103481B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105681665A (zh) * 2016-02-29 2016-06-15 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
WO2020250831A1 (ja) * 2019-06-13 2020-12-17 ソニー株式会社 撮像装置、撮像制御方法およびプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007281548A (ja) * 2006-04-03 2007-10-25 Samsung Techwin Co Ltd 撮像装置および撮像方法
JP2010114857A (ja) * 2008-11-10 2010-05-20 Canon Inc 撮像装置及び撮像方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007281548A (ja) * 2006-04-03 2007-10-25 Samsung Techwin Co Ltd 撮像装置および撮像方法
JP2010114857A (ja) * 2008-11-10 2010-05-20 Canon Inc 撮像装置及び撮像方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105681665A (zh) * 2016-02-29 2016-06-15 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
WO2020250831A1 (ja) * 2019-06-13 2020-12-17 ソニー株式会社 撮像装置、撮像制御方法およびプログラム

Also Published As

Publication number Publication date
JP6103481B2 (ja) 2017-03-29

Similar Documents

Publication Publication Date Title
JP5234119B2 (ja) 撮像装置、撮像処理方法及びプログラム
JP4591325B2 (ja) 撮像装置及びプログラム
JP4569389B2 (ja) 撮像装置、画像処理方法及びプログラム
JP5002931B2 (ja) 撮像装置及びそのプログラム
US8743227B2 (en) Imaging apparatus and control method for reducing a load of writing image data on a recording medium
JP2007318725A (ja) カメラ、カメラの撮影制御方法、プログラム、記録媒体
JP2012151705A (ja) 動画像処理装置、動画像処理方法及びプログラム
JP5158409B2 (ja) 撮像装置及びそのプログラム
JP2006033123A (ja) 撮像装置
JP4556195B2 (ja) 撮像装置、動画再生装置及びそのプログラム
JP2009065573A (ja) 撮像装置、フォーカス制御方法、フォーカス制御プログラム
JP2009111518A (ja) 撮像装置、画像再生装置及びそのプログラム、画像ファイルのデータ構造
US20170280066A1 (en) Image processing method by image processing apparatus
JP5182253B2 (ja) 撮像装置
JP5141324B2 (ja) 撮像装置および撮像装置の制御方法、ならびに、信号処理装置および信号処理方法
JP6354877B2 (ja) 撮像制御装置、及びその制御方法とプログラム
JP4761048B2 (ja) 撮像装置及びそのプログラム
JP6103481B2 (ja) 撮像装置、及びその制御方法とプログラム
JP4785460B2 (ja) 撮像装置及び撮像方法
JP5909997B2 (ja) 撮像装置および撮像装置の制御方法
JP4678273B2 (ja) 撮像装置、動画記憶方法および動画記憶プログラム
JP5012985B2 (ja) 撮像装置及びそのプログラム
JP7110408B2 (ja) 画像処理装置、撮影装置、画像処理方法及び画像処理プログラム
JP2006101473A (ja) 動画撮影中の静止画撮影方法、撮像装置、及びプログラム
JP2021034844A (ja) 撮像装置、および撮像装置の制御方法

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160606

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160606

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170206

R150 Certificate of patent or registration of utility model

Ref document number: 6103481

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170219