JP2019062427A - 撮像装置、撮像装置の制御方法およびプログラム - Google Patents
撮像装置、撮像装置の制御方法およびプログラム Download PDFInfo
- Publication number
- JP2019062427A JP2019062427A JP2017186066A JP2017186066A JP2019062427A JP 2019062427 A JP2019062427 A JP 2019062427A JP 2017186066 A JP2017186066 A JP 2017186066A JP 2017186066 A JP2017186066 A JP 2017186066A JP 2019062427 A JP2019062427 A JP 2019062427A
- Authority
- JP
- Japan
- Prior art keywords
- display
- recording
- frame rate
- control unit
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Abstract
【課題】映像記録処理時にスローモーション映像またはクイックモーション映像を表示することができるようにすることを課題とする。【解決手段】撮像装置は、撮像部(203)と、前記撮像部からの映像データを、再生フレームレートと異なる記録フレームレートで映像記録処理を行うことが可能な映像記録手段(204)と、を備える撮像装置であって、前記再生フレームレートと異なる記録フレームレートで前記映像記録処理を行う場合に、前記記録フレームレートと前記再生フレームレートの比に対応する倍速率で、前記撮像部からの映像データに基づく表示画像を表示手段に順次表示するように制御する表示制御手段であって、所定のタイミングで、前記表示手段に表示される表示画像を調整する表示制御手段(210)を有する。【選択図】図2
Description
本発明は、撮像装置、撮像装置の制御方法およびプログラムに関する。
近年、デジタルビデオカメラをはじめ、動画記録が可能な撮像装置が普及してきており、一般ユーザが簡単に動画を撮影することができるようになっている。撮像装置の中には、特殊な記録方式として可変フレーム周波数記録の機能を備えているものがある。可変フレーム周波数記録は、例えば毎秒60フレームといった、通常のフレーム周波数に対して、高いフレーム周波数または低いフレーム周波数で撮像した動画像を記録する機能である。可変フレーム周波数記録したストリームを通常のフレーム周波数で再生すると、視覚的な演出効果が得られる。高いフレーム周波数で撮像した動画は、滑らかなスローモーションで再生される。低いフレーム周波数で撮像した動画は、クイックモーションで再生される。このような、可変フレーム周波数記録を実現する技術は、例えば特許文献1に記載されている。
前述した可変フレーム周波数記録は、CM撮影や映画撮影などでよく利用されてきた撮影技法である。近年、可変フレーム周波数記録可能な撮像装置を、一般ユーザが入手しやすくなってきている。また、低フレームレートの撮像機器は、撮像装置のフレーム周波数で生成される撮像フレームを所定の間隔で間引いてから符号化して記録する。これにより、撮像機器は、撮像装置のフレーム周波数の範囲よりもさらに広いクイックモーション動画(以降、「インターバル動画」と称する)を作成可能である。撮像機器は、撮像フレームの間引き方を1フレーム毎に間引いたり、所定フレーム数を連続して符号化した後にインターバルをおいて再び所定フレーム数を連続して符号化するといった間欠的なフレーム符号化パターンで記録することが可能である。
しかし、上記の可変フレーム周波数記録およびインターバル動画記録を行う際、ユーザが撮影装置およびリモート撮影端末の液晶パネルなどで確認できる画像はリアルタイム画像のみである。ユーザは、スローモーション効果・クイックモーション効果を確認しながら撮影ができず、撮影後に再生を行うことでしか効果を確認できない。
本発明の目的は、スローモーション映像またはクイックモーション映像の映像記録処理時に、スローモーション映像またはクイックモーション映像を表示することができるようにすることである。
本発明の撮像装置は、撮像部と、前記撮像部からの映像データを、再生フレームレートと異なる記録フレームレートで映像記録処理を行うことが可能な映像記録手段と、を備える撮像装置であって、前記再生フレームレートと異なる記録フレームレートで前記映像記録処理を行う場合に、前記記録フレームレートと前記再生フレームレートの比に対応する倍速率で、前記撮像部からの映像データに基づく表示画像を表示手段に順次表示するように制御する表示制御手段であって、所定のタイミングで、前記表示手段に表示される表示画像を調整する表示制御手段を有する。
本発明によれば、スローモーション映像またはクイックモーション映像の映像記録処理時に、スローモーション映像またはクイックモーション映像を表示することができる。
図1は、本発明の実施形態に係る撮像装置100の外観例を示す図である。撮像装置100は、主電源のオン/オフを操作するための電源ボタン101、表示パネル102およびカメラ部103を有する。撮像装置100は、電源ボタン101がオンに操作され、起動後、撮影準備状態になる。表示パネル102は、カメラ部103により撮影されたスルー画像(ライブ画像)と、アイコン等のオンスクリーンディスプレイ(OSD)表示を表示する。また、表示パネル102は、その表面にタッチ操作受付可能なタッチパネルを有する。カメラ部103は、レンズ、メカシャッタ機構、CMOSセンサ、ジャイロ等を備え、レンズによりCMOSセンサ上に結像した画像をアナログ/デジタル変換によりデジタル化して画像データを取得し、信号処理部に出力する。
撮像装置100は、静止画を撮影するためのシャッタボタン104を有し、シャッタボタン104の操作により、撮影した画像を記録用カード105に記録する。記録用カードは、メモリカードである。モードダイヤル106は、静止画および動画の撮影モードを設定可能である。撮像装置100は、ズームレバー、動画撮影ボタン、十字ボタン、MENUボタン、FUNCボタン、撮影/再生切換スイッチ等の各種操作ボタン107を有し、様々なカメラ制御操作が可能である。撮像装置100の筐体下部には、バッテリ108、および、バッテリ108および記録用カード105用の蓋109が設けられる。さらに、撮像装置100は、外部接続用端子110を有する。外部接続用端子110は、接続ケーブル111を介して、USB、Wi−Fiモジュール等の外部接続が可能である。
図2は、撮像装置100の構成例を示すブロック図である。主制御部201は、マイクロコンピュータを有し、プログラム、記憶部202の情報、操作制御部208からの情報などに従って、撮像装置100の各部を制御する。また、主制御部201は、信号処理部204および音声処理部206により符号化されたデータをMP4などのファイルフォーマットに多重化し、記録媒体制御部211を介して記録媒体212に記録指示する。記憶部202は、撮像部203により生成された画像データ、および符号化された画像データを一時記憶する。また、記憶部202は、主制御部201で演算される各種データを記憶する。
撮像部203は、図1のカメラ部103に相当し、画像データを入力する入力手段として機能し、被写体を撮影して画像データを生成する。信号処理部204は、記録時に撮像部203により生成された画像データに所定の処理を施すと共に、JPEG形式(静止画)またはMPEG形式(動画)等に従って符号化する。また、信号処理部204は、再生時には、符号化されたデータを再生画像データへ復号する。
マイク205は、外部の音声を入力し、音声信号を生成する。音声処理回路206は、マイク206からの音声信号をアナログ/デジタル変換し、音声符号化処理を行う。
操作部207は、図1の電源ボタン101、シャッタボタン104、モードダイヤル106、各種操作ボタン107等の操作ボタン、および表示パネル102上に配置されるタッチパネル等に相当する。操作制御部208は、操作部207の操作に応じて、主制御部201に操作情報(イベント)を通知する。
表示部209は、図1の表示パネル102に相当する。表示制御部210は、撮影時には、撮像部203により生成された動画データに係る画像を、表示部209に表示し、再生時には、再生動画データに係る画像を表示部209に表示する。また、表示制御部210は、撮影画像およびメニュー画面等の各種の情報を表示部209に表示する。
記録媒体212は、図1の記録用カード105に相当する。記録媒体制御部211は、信号処理部204により符号化されたJPEG形式(静止画)またはMPEG形式(動画)等のデータを、記録媒体212に記録し、また、記録媒体212から動画データを読み出す。記録媒体212は、例えばメモリカードであり、ランダムアクセス可能な記録媒体である。また、記録媒体制御部211は、FATファイルシステム等の公知のファイルシステムに従い、記録媒体212に記録する各種のデータをファイルとして管理する。
データバス213は、各部の間でデータまたはコマンドを送受信する。外部接続制御部214は、パーソナルコンピュータによるPTP接続やWi−Fi接続などの各種通信プロトコルに応じて、図1の外部接続用端子110を経由して、外部接続制御を行う。
次に、図3(a)および(b)を用いて、撮像装置100のスローモーション/クイックモーション記録時のフレーム選択制御の例を、撮像部203の出力および記録データ、再生時効果を含めて説明する。
図3(a)は、2倍クイックモーション記録の例を示す図である。撮像部203は、映像データ用フレーム301を出力する。映像データ用フレーム301は、フレームレートが60fps(1秒間に60フレーム)である。信号処理部204は、撮像部203の映像データ用フレーム301を1/2に間引き、1秒間に30フレームの記録データ用フレーム302を生成する。そして、信号処理部204は、記録データ用フレーム302を符号化する。記録媒体制御部211は、その符号化された記録データ用フレーム302を記録媒体212に記録する。以上のように、信号処理部204は、映像記録手段であり、撮像部203からの映像データ用フレーム301を、30fpsの記録フレームレートで映像記録処理を行う。
同様に、音声処理部206は、マイク205の音声信号に対して、サンプリング数を1/2に間引いてサンプリングを行い、時間圧縮した音声データを生成し、符号化する。
次に、再生時効果を説明する。記録媒体制御部211は、符号化された記録データ用フレーム302を記録媒体212から読み出す。信号処理部204は、その符号化された記録データ用フレーム302を復号し、再生データ用フレーム303を生成する。そして、信号処理部204は、その再生データ用フレーム303を60fpsの再生フレームレートで表示制御部210に出力する。再生フレームレートは、上記の記録フレームレートと異なる。再生データ用フレーム303は、撮像部203の映像データ用フレーム301に対して、2倍のクイックモーション効果が付加された画像データになる。表示制御部210は、2倍クイックモーション動画として、再生データ用フレーム303の30フレームを0.5秒で表示部209に表示する。クイックモーション動画の倍速率は、記録フレームレート(30fps)に対する再生フレームレート(60fps)の比(2倍)に対応する。
なお、信号処理部204が、撮像部203の映像データ用フレーム301を1/2に間引くことにより、記録データ用フレーム302のフレームレートを30fpsとする場合に限定されず、撮像部203が30fpsのフレームを出力してもよい。その場合、信号処理部204は、上記と同様に、記録データ用フレーム302を符号化し、再生データ用フレーム303を主制御部201に出力する。
図3(b)は、1/2倍スローモーション記録の例を示す図である。撮像部203は、映像データ用フレーム307を出力する。映像データ用フレーム307は、フレームレートが120fpsである。信号処理部204は、撮像部203の映像データ用フレーム307のすべてを記録データ用フレーム308とする。そして、信号処理部204は、1秒間に120フレームの記録データ用フレーム308を符号化する。記録媒体制御部211は、その符号化された記録データ用フレーム308を記録媒体212に記録する。記録フレームレートは、120fpsである。
同様に、音声処理部206は、マイク205の音声信号に対して、サンプリング数を2倍にしてサンプリングを行い、時間伸長した音声データを生成し、符号化する。
次に、再生時効果を説明する。記録媒体制御部211は、符号化された記録データ用フレーム308を記録媒体212から読み出す。信号処理部204は、その符号化された記録データ用フレーム308を復号し、再生データ用フレーム309を生成する。そして、信号処理部204は、その再生データ用フレーム309を60fpsの再生フレームレートで表示制御部210に出力する。再生データ用フレーム309は、撮像部203の映像データ用フレーム307に対して、1/2倍のスローモーション効果が付加された画像データになる。表示制御部210は、1/2倍スローモーション動画として、再生データ用フレーム309の60フレームを1秒で表示部209に表示する。スローモーション動画の倍速率は、記録フレームレート(120fps)に対する再生フレームレート(60fps)の比(1/2倍)に対応する。
図4は、撮像装置100の制御方法を示すフローチャートである。主制御部201は、信号処理部204により生成された記録データ用フレーム302または308を記憶部202に蓄積する。記憶部202は、バッファ手段であり、記録データ用フレーム302または308をバッファリングする。主制御部201は、図4の処理により、表示制御部210に所定タイミングで記録データ用フレームを表示制御部210に表示指示して表示部209に表示する。これにより、撮像装置100は、クイックモーション動画またはスローモーション動画を簡易表示する。
まず、ステップS401において、主制御部201は、フレーム蓄積速度がフレーム再生速度より小さいか否かを判定する。フレーム蓄積速度は、主制御部201が、信号処理部204により生成された記録データ用フレーム302または308を記憶部202に蓄積する速度であり、記録データ用フレーム302または308のフレームレートである。フレーム再生速度は、信号処理部204が再生データ用フレーム303または309を表示制御部210に表示指示して表示部209に表示する速度であり、再生データ用フレーム303または309のフレームレートである。主制御部201は、フレーム蓄積速度がフレーム再生速度より小さい場合には、ステップS402に進み、フレーム蓄積速度がフレーム再生速度より小さくない場合には、ステップS410に進む。
図3(a)の場合、フレーム蓄積速度は、記録データ用フレーム302のフレームレート(30fps)であり、フレーム再生速度は、再生データ用フレーム303のフレームレート(60fps)である。その場合、主制御部201は、ステップS401からステップS402に進む。
図3(b)の場合、フレーム蓄積速度は、記録データ用フレーム308のフレームレート(120fps)であり、フレーム再生速度は、再生データ用フレーム309のフレームレート(60fps)である。その場合、主制御部201は、ステップS401からステップS410に進む。
ステップS402において、主制御部201は、ステップS402およびS409のループ端に囲まれているステップS403ないしS409の処理を、撮影する間かつスローモーション/クイックモーション倍速率が変更されない間、繰り返す。
ステップS402において、主制御部201は、撮影モードがオン状態であり、かつ、スローモーション/クイックモーション倍速率が変更されていないことの条件を満たすか否かを判定する。撮影モードは、撮影中または撮影待機状態であり、画面にリアルタイムなスルー画表示またはスローモーション/クイックモーション画像を表示する状態である。主制御部201は、上記の条件を満たす場合には、ステップS403に進み、上記の条件を満たさない場合には、ステップS415に進む。
ステップS403において、主制御部201は、記憶部202に蓄積された記録データ用フレーム302の数が所定の蓄積数(第1の閾値)以上であるか否かを判定する。主制御部201は、記録データ用フレーム302の数が第1の閾値以上である場合には、ステップS404に進み、記録データ用フレーム302の数が第1の閾値以上でない場合には、ステップS405に進む。
ステップS404において、主制御部201は、表示制御部210に対してフレーム表示処理を行うための表示更新フラグをセットし、ステップS405に進む。なお、初期時、表示更新フラグは、クリアされている。
ステップS405において、主制御部201は、表示更新フラグがセットされているか否かを判定する。主制御部201は、表示更新フラグがセットされている場合には、ステップS406に進み、表示更新フラグがセットされていない場合には、ステップS407に進む。
ステップS406において、主制御部201は、クイックモーション倍速率に応じたフレームレートで、記憶部202から取得した記録データ用フレーム302を表示制御部210に出力する。表示制御部210は、記録データ用フレーム302に基づく表示画像を、クイックモーション画像の倍速率で、表示部209に表示するように制御する。
ステップS407において、主制御部201は、記憶部202に蓄積された記録データ用フレーム302のうちの第1の閾値のフレーム数のフレームをすべて表示したか否かを判定する。主制御部201は、すべて表示した場合には、ステップS408に進み、すべて表示していない場合には、ステップS409に進む。
ステップS408において、主制御部201は、ステップS404においてセットされた表示更新フラグをクリアする。ステップS409は、ループ端であり、主制御部201は、ステップS402に戻り、上記の処理を繰り返す。
図3(a)の場合、ステップS403の第1の閾値は、8フレームである。主制御部201は、ステップS402ないしS409の繰り返し処理を行う。撮像部203が映像データ用フレーム301としてフレーム番号15を出力した時点で、主制御部201は、8フレームの記録データ用フレーム302を記憶部202に蓄積している。この場合、主制御部201は、ステップS403からステップS404に進む。ステップS406において、主制御部201は、8フレームの表示データ用フレーム304を表示制御部210に出力する。表示制御部210は、2倍クイックモーション動画として、8フレームの表示データ用フレーム304を表示部209に表示する。
次に、撮像部203が映像データ用フレーム301としてフレーム番号31を出力した時点で、主制御部201は、ステップS403からステップS404に進む。ステップS406において、主制御部201は、8フレームの表示データ用フレーム305を表示制御部210に出力する。表示制御部210は、2倍クイックモーション動画として、8フレームの表示データ用フレーム305を表示部209に表示する。
次に、撮像部203が映像データ用フレーム301としてフレーム番号47を出力した時点で、主制御部201は、ステップS403からステップS404に進む。ステップS406において、主制御部201は、8フレームの表示データ用フレーム306を表示制御部210に出力する。表示制御部210は、2倍クイックモーション動画として、8フレームの表示データ用フレーム306を表示部209に表示する。
以上のように、再生フレームレートよりも記録フレームレートの方が遅く、クイック再生する場合に、主制御部201は、所定のタイミングまでは同じ画像を表示させ、所定のタイミングからは、クイック再生をするように制御する。主制御部201は、所定のタイミングまでは同じ画像を表示させ、所定のタイミングからは、記録フレームレートと再生フレームレートの比に対応する倍速率で、撮像部203からの映像データに基づく表示画像を順次表示するように制御する。主制御部201は、所定のタイミングから、所定のフレーム数だけ撮像部203からの映像データに基づく表示画像を順次表示させ、その後、最後のフレームに対応する表示画像を次の所定のタイミングまで表示させるように制御する。
所定のタイミングは、周期的なタイミングであり、記録フレームレートに応じて決定されるタイミングである。また、所定のタイミングは、表示部209に表示される表示画像に対応する映像データから実時間に対応する映像データまでのフレーム数が所定量となるタイミングである。所定量は、倍速率に応じて異なる値である。
なお、第1の閾値は、8フレームの固定値である場合を例に説明したが、これに限定されない。主制御部201は、実時間からの差異に応じて、第1の閾値を変更してもよい。例えば、主制御部201は、クイックモーション倍速率によらず、常に10秒で蓄積された画像を表示するような第1の閾値を設定することにより、クイックモーション倍速率が大きい場合に再生される確認画像の実時間からの遅延を所定範囲内に収めることができる。
また、簡易表示の表示データ用フレーム304、305、306の表示期間は、簡易表示が行われない区間を含む。そのため、主制御部201は、非表示期間内に過去の記録媒体212等に記録された動画データを再生してもよい。また、主制御部201は、非表示期間に同一フレーム列を繰り返し再生してもよい。また、主制御部201は、最終表示フレームを継続して表示し続けてもよい。
ステップS410において、主制御部201は、ステップS410およびS414のループ端に囲まれているステップS411ないしS413の処理を、撮影する間かつスローモーション/クイックモーション倍速率が変更されない間、繰り返す。
ステップS402において、主制御部201は、撮影モードがオン状態であり、かつ、スローモーション/クイックモーション倍速率が変更されていないことの条件を満たすか否かを判定する。主制御部201は、上記の条件を満たす場合には、ステップS411に進み、上記の条件を満たさない場合には、ステップS415に進む。
ステップS411において、主制御部201は、スローモーション倍速率に応じたフレームレートで、記憶部202から取得した記録データ用フレーム308を表示制御部210に出力する。表示制御部210は、記録データ用フレーム308に基づく表示画像を、スローモーション画像の倍速率で、表示部209に表示するように制御する。
ステップS412において、主制御部201は、記憶部202に蓄積された記録データ用フレーム308の数が所定の蓄積最大数(第2の閾値)以上であるか否かを判定する。主制御部201は、記録データ用フレーム308の数が第2の閾値以上である場合には、ステップS413に進み、記録データ用フレーム308の数が第2の閾値以上でない場合には、ステップS414に進む。
ステップS413において、主制御部201は、記憶部202に蓄積されている記録データ用フレーム308を削除する。ステップS414は、ループ端であり、主制御部201は、ステップS410に戻り、上記の処理を繰り返す。
図3(b)の場合、ステップS412の第2の閾値は、15である。主制御部201は、ステップS410ないしS414の繰り返し処理を行う。ステップS411において、主制御部201は、表示データ用フレーム310のフレーム番号1〜15の表示処理を行う。ステップS411において、主制御部201が表示データ用フレーム310のフレーム番号15を出力した時点で、記憶部202に蓄積されている記録データ用フレーム308は、フレーム番号16〜30の計15フレームである。その場合、主制御部201は、ステップS412からステップS413に進む。ステップS413において、主制御部201は、記憶部202に蓄積されている記録データ用フレーム308のフレーム番号16〜30のフレームを削除する。そのため、次のステップS411において、主制御部201は、表示データ用フレーム310に示すように、フレーム番号31から表示処理を行う。
再生フレームレートよりも記録フレームレートの方が速く、スロー再生する場合に、主制御部201は、所定のタイミングで、実時間に対応する表示画像を表示部209に表示させることにより、一部の期間の映像データを表示させない。主制御部201は、記憶部202にバッファされた映像データに基づく表示画像を表示部209に表示させるように制御する。主制御部201は、所定のタイミングで、実時間に対応する表示画像を表示部209に表示させるとともに、記憶部202にバッファリングされている映像データを削除するように制御する。主制御部201は、再生フレームレートよりも記録フレームレートの方が速く、スロー再生する場合には、所定のタイミングで、実時間に対応する表示画像を表示部209に表示させるように制御する。
なお、第2の閾値は、15フレームの固定値である場合を例に説明したが、これに限定されない。主制御部201は、実時間からの差異に応じて、第2の閾値を変更してもよい。例えば、主制御部201は、スローモーション倍速率によらず、常に2秒で蓄積された画像を表示するような第2の閾値を設定する。これにより、撮像装置100は、スローモーション倍速率が小さい(スロー効果が大きい)場合に再生される確認画像の実時間からの遅延を所定範囲内に収めることができる。
図4のステップS415において、主制御部201は、記憶部202に蓄積されている記録データ用フレーム302または308の削除処理を行い、ステップS416に進む。
ステップS416において、主制御部201は、記録モードがオン状態であるか否かを判定する。主制御部201は、記録モードがオン状態である場合には、ステップS401に戻り、記録モードがオン状態でない場合には、図4の処理を終了する。
撮像装置100は、スローモーション/クイックモーション倍速率を撮影中に切り替えることができる。以下、図5(a)および(b)を参照しながら、スローモーション/クイックモーション倍速率の切り替え方法を説明する。
図5(a)は、4倍クイックモーション記録から2倍クイックモーション記録に切り替えて撮影する際の処理の一例を示す図である。4倍クイックモーション記録では、撮像部203は、60fpsの映像データ用フレーム312を出力する。信号処理部204は、映像データ用フレーム312を1/4に間引き、記録データ用フレーム314を生成する。記録データ用フレーム314は、映像データ用フレーム312に対して、フレーム数が1/4であり、再生時に4倍クイックモーション効果を有する。信号処理部204は、記録データ用フレーム314を符号化し、記録媒体制御部211は、符号化された記録データ用フレーム314を記録媒体212に記録する。
同様に、音声処理部206は、マイク205の音声信号に対して、サンプリング数を1/4に間引いてサンプリングを行い、時間圧縮した音声データを生成し、符号化する。
次に、主制御部201は、4倍クイックモーション記録から2倍クイックモーション記録に切り替える。撮像部313は、60fpsの映像データ用フレーム313を出力する。信号処理部204は、映像データ用フレーム313を1/2に間引き、記録データ用フレーム315を生成する。記録データ用フレーム315は、映像データ用フレーム313に対して、フレーム数が1/2であり、再生時に2倍クイックモーション効果を有する。信号処理部204は、記録データ用フレーム315を符号化し、記録媒体制御部211は、符号化された記録データ用フレーム315を記録媒体212に記録する。
同様に、音声処理部206は、マイク205の音声信号に対して、サンプリング数を1/2に間引いてサンプリングを行い、時間圧縮した音声データを生成し、符号化する。
次に、再生時効果を説明する。記録媒体制御部211は、符号化された記録データ用フレーム314を記録媒体212から読み出す。信号処理部204は、その符号化された記録データ用フレーム314を復号し、再生データ用フレーム316aを生成する。そして、信号処理部204は、その再生データ用フレーム316aを60fpsのフレーム周波数で表示制御部210に出力する。再生データ用フレーム316aは、撮像部203の映像データ用フレーム312に対して、4倍のクイックモーション効果が付加された画像データになる。表示制御部210は、4倍クイックモーション動画として、再生データ用フレーム316aを表示部209に表示する。
同様に、記録媒体制御部211は、符号化された記録データ用フレーム315を記録媒体212から読み出す。信号処理部204は、その符号化された記録データ用フレーム315を復号し、再生データ用フレーム316bを生成する。そして、信号処理部204は、その再生データ用フレーム316bを60fpsのフレーム周波数で表示制御部210に出力する。再生データ用フレーム316bは、撮像部203の映像データ用フレーム313に対して、2倍のクイックモーション効果が付加された画像データになる。表示制御部210は、2倍クイックモーション動画として、再生データ用フレーム316bを表示部209に表示する。
以上のように、撮像装置100は、クイックモーション倍速率を切り替えて記録することにより、クイックモーション倍速率を切り替えた再生データ用フレーム316aおよび316bを生成する。
主制御部201は、図4の処理により、信号処理部204により生成された記録データ用フレーム314を記憶部202に保持し、表示制御部210に所定タイミングで表示データ用フレーム317および318を表示指示して表示部209に表示する。表示部209は、4倍クイックモーション動画として、表示データ用フレーム317および318を簡易表示する。図5(a)の場合、第1の閾値は、4フレームである。撮像部203が出力312のフレーム番号13を出力した時点で、主制御部201は、ステップS403からステップS404に進む。ステップS406において、主制御部201は、4フレームの表示データ用フレーム317の表示処理を行う。同様に、撮像部203が映像データ用フレーム312のフレーム番号29を出力した時点で、主制御部201は、4フレームの表示データ用フレーム318の表示処理を行う。同様に、撮像部203が映像データ用フレーム313のフレーム番号37を出力した時点で、主制御部201は、4フレームの表示データ用フレーム319の表示処理を行う。表示データ用フレーム320および321も同様である。
なお、上記のように、第1の閾値は、実時間からの差異に応じて変更可能である。以下、図5(b)を参照しながら、第1の閾値を変更する例を示す。
図5(b)は、4倍クイックモーション記録から2倍クイックモーション記録に切り替えて撮影した際の処理の一例を示す図である。撮像部203の映像データ用フレーム322および323は、それぞれ、図5(a)の撮像部203の映像データ用フレーム312および313と同じである。記録データ用フレーム324および325は、それぞれ、図5(a)の記録データ用フレーム314および315と同じである。再生データ用フレーム326aおよび326bは、それぞれ、図5(a)の再生データ用フレーム316aおよび316bと同じである。
次に、撮影確認画像について説明する。主制御部201は、簡易表示が実時間から0.5秒程度以内の差異となるように、第1の閾値を変更する。主制御部201は、4倍クイックモーション記録時には、第1の閾値を4フレームに設定し、2倍クイックモーション記録時には、第1の閾値を8フレームに設定する。第1の閾値は、クイックモーション倍速率に反比例した値とする。
主制御部201は、信号処理部204により生成された記録データ用フレーム324および325を記憶部202に保持し、図4の処理により、表示制御部210に所定タイミングで表示データ用フレーム327〜330を表示指示して表示部209に表示する。主制御部201は、4フレームの第1の閾値を用いて、記録データ用フレーム324から、4フレーム単位の表示データ用フレーム327および328を生成する。また、主制御部201は、8フレームの第1の閾値を用いて、記録データ用フレーム325から、8フレーム単位の表示データ用フレーム329および330を生成する。表示部209は、4倍クロックモーション動画として表示データ用フレーム327および328を簡易表示し、2倍クイックモーション動画として表示データ用フレーム329および330を簡易表示する。その結果、簡易表示される表示データ用フレーム327〜330は、映像データ用フレーム322および323の実時間からの差異を0.5秒程度以内に収めることが可能となる。
主制御部201および表示制御部210は、所定のタイミングで、表示部209に表示される表示画像の更新を一時停止するように制御する。主制御部201および表示制御部210は、表示部209に表示される表示画像に対応する映像データから実時間に対応する映像データまでのフレーム数が所定量となるか否かを判定する。所定量となる場合には、主制御部201および表示制御部210は、表示部209に表示される表示画像の更新を一時停止するように制御する。主制御部201および表示制御部210は、表示部209に表示される表示画像に対応する時間と実時間との差が所定量となる場合に、表示部209に表示される表示画像の更新を一時停止するように制御する。所定量は、倍速率に応じて異なる値である。主制御部201および表示制御部210は、所定の周期毎に、表示部209に表示される表示画像の更新を一時停止するように制御する。
図6は、1/2倍スローモーション記録から1/4倍スローモーション記録にスローモーション倍速率を変更した例を示す図である。
1/2倍スローモーション記録時には、撮像部203は、120fpsの映像データ用フレーム331を出力する。信号処理部204は、映像データ用フレーム331をそのまま記録データ用フレーム338として生成する。再生時には、信号処理部204は、60fpsの再生データ用フレーム333を表示制御部210に出力する。表示部209は、1/2倍スローモーション動画として、再生データ用フレーム333を表示する。
1/4倍スローモーション記録時には、撮像部203は、240fpsの映像データ用フレーム332を出力する。信号処理部204は、映像データ用フレーム332をそのまま記録データ用フレーム339として生成する。再生時には、信号処理部204は、60fpsの再生データ用フレーム340を表示制御部210に出力する。表示部209は、1/4倍スローモーション動画として、再生データ用フレーム340を表示する。
次に、撮影確認画像について説明する。主制御部201は、実時間からの差異が0.25秒程度以内となるように、第2の閾値を設定する。主制御部201は、1/2倍スローモーション記録時には、第2の閾値を15フレームに設定し、1/4倍スローモーション記録時には、第2の閾値を45フレームに設定する。
主制御部201は、信号処理部204により生成された記録データ用フレーム338および339を記憶部202に保持し、図4の処理により、表示制御部210に所定タイミングで表示データ用フレーム334〜337を表示指示して表示部209に表示する。主制御部201は、15フレームの第2の閾値を用いて、記録データ用フレーム338から、表示データ用フレーム334および335を生成する。また、主制御部201は、45フレームの第2の閾値を用いて、記録データ用フレーム339から、表示データ用フレーム336および337を生成する。表示部209は、1/2倍スローモーション動画として表示データ用フレーム334および335を簡易表示し、1/4倍スローモーション動画として表示データ用フレーム336および337を簡易表示する。その結果、簡易表示される表示データ用フレーム334〜337は、映像データ用フレーム331および332の実時間からの差異を0.25秒程度以内に収めることが可能となる。
主制御部201が表示データ用フレーム334のフレーム番号15を表示した時点で、記憶部202に蓄積されているフレームは、フレーム番号16〜30の計15フレームである。その場合、主制御部201は、ステップS412からステップS413に進む。ステップS413において、主制御部201は、フレーム番号16〜30のフレームの削除処理を行う。そのため、次のステップS411において、主制御部201は、表示データ用フレーム335のように、フレーム番号31から表示処理を行う。
同様に、主制御部201が表示データ用フレーム335のフレーム番号45を表示した時点で、記憶部202に蓄積されているフレームは、フレーム番号46〜60の計15フレームである。その場合、主制御部201は、ステップS412からステップS413に進む。ステップS413において、主制御部201は、フレーム番号46〜60のフレームの削除処理を行う。そのため、次のステップS411において、主制御部201は、表示データ用フレーム336のように、フレーム番号61から表示処理を行う。
映像データ用フレーム332の開始時点で、1/4倍スローモーション記録に切り替えが行われると、主制御部201は、第2の閾値を45フレームに設定する。主制御部201が表示データ用フレーム336のフレーム番号75を表示した時点で、記憶部202に蓄積されているフレームは、フレーム番号76〜120の計45フレームである。その場合、主制御部201は、ステップS412からステップS413に進む。ステップS413において、主制御部201は、フレーム番号76〜120のフレームの削除処理を行う。そのため、次のステップS411において、主制御部201は、表示データ用フレーム337のように、フレーム番号121から表示処理を行う。
同様に、主制御部201が表示データ用フレーム337のフレーム番号135を表示した時点で、記憶部202に蓄積されているフレームは、フレーム番号136〜180の計45フレームである。その場合、主制御部201は、ステップS412からステップS413に進む。ステップS413において、主制御部201は、フレーム番号136〜180のフレームの削除処理を行う。そのため、次のステップS411において、主制御部201は、フレーム番号181から表示処理を行う。
主制御部201および表示制御部210は、所定のタイミングで、表示部209に表示される表示画像を調整する。具体的には、主制御部201および表示制御部210は、所定のタイミングで、実時間に対応する表示画像を表示部209に表示させるように制御する。主制御部201および表示制御部210は、表示部209に表示される表示画像に対応する映像データから実時間に対応する映像データまでのフレーム数が所定量となるか否かを判定する。所定量となる場合に、主制御部201および表示制御部210は、実時間に対応する映像データに基づく表示画像を表示部209に表示するように制御する。所定量は、倍速率に応じて異なる値である。主制御部201および表示制御部210は、所定の周期毎に、前記表示手段に表示される表示画像を、実時間に対応する表示画像に設定する。
ステップS401において、主制御部201は、信号処理部204が再生フレームレートよりも大きい記録フレームレートで映像記録処理を行う場合には、ステップS410に進む。ステップS410〜S414では、主制御部201および表示制御部210は、所定のタイミングで、表示部209に表示される表示画像を、実時間に対応する表示画像に設定するように制御する。
また、ステップS401において、主制御部201は、信号処理部204が再生フレームレートよりも小さい記録フレームレートで映像記録処理を行う場合には、ステップS402に進む。ステップS402〜S409では、主制御部201は、所定のタイミングで、表示部209に表示される表示画像の更新を一時停止するように制御する。
図7は、1/2倍スローモーション記録から2倍クイックモーション記録に変更した例を示す図である。
1/2倍スローモーション記録時には、撮像部203は、120fpsの映像データ用フレーム331を出力する。信号処理部204は、映像データ用フレーム331をそのまま記録データ用フレーム338として生成する。再生時には、信号処理部204は、60fpsの再生データ用フレーム333を表示制御部210に出力する。表示部209は、1/2倍スローモーション動画として、再生データ用フレーム333を表示する。
2倍クイックモーション記録時には、撮像部203は、60fpsの映像データ用フレーム341を出力する。信号処理部204は、映像データ用フレーム341を1/2に間引き、記録データ用フレーム342を生成する。再生時には、信号処理部204は、60fpsの再生データ用フレーム343を表示制御部210に出力する。表示部209は、2倍クイックモーション動画として、再生データ用フレーム343を表示する。
次に、撮影確認画像について説明する。主制御部201は、実時間からの差異が16/60秒程度以内となるように、第1の閾値および第2の閾値を設定する。主制御部201は、1/2倍スローモーション記録時には、第2の閾値を15フレームに設定し、2倍クイックモーション記録時には、第1の閾値を8フレームに設定する。
主制御部201は、信号処理部204により生成された記録データ用フレーム338および342を記憶部202に保持し、図4の処理により、表示制御部210に所定タイミングで表示データ用フレーム334〜345を表示指示して表示部209に表示する。主制御部201は、15フレームの第2の閾値を用いて、記録データ用フレーム338から、表示データ用フレーム334および335を生成する。また、主制御部201は、8フレームの第1の閾値を用いて、記録データ用フレーム342から、表示データ用フレーム344および345を生成する。表示部209は、1/2倍スローモーション動画として表示データ用フレーム334および335を簡易表示し、2倍クイックモーション動画として表示データ用フレーム344および345を簡易表示する。その結果、簡易表示される表示データ用フレーム334,335,344,345は、映像データ用フレーム331および341の実時間からの差異を16/60秒以内に収めることが可能となる。
主制御部201が表示データ用フレーム334のフレーム番号15を表示した時点で、記憶部202に蓄積されているフレームは、フレーム番号16〜30の計15フレームである。その場合、主制御部201は、ステップS412からステップS413に進む。ステップS413において、主制御部201は、フレーム番号16〜30のフレームの削除処理を行う。そのため、次のステップS411において、主制御部201は、表示データ用フレーム335のように、フレーム番号31から表示処理を行う。同様に、主制御部201が表示データ用フレーム335のフレーム番号45を表示した時点で、記憶部202に蓄積されているフレームは、フレーム番号46〜60の計15フレームである。その場合、主制御部201は、ステップS412からステップS413に進む。ステップS413において、主制御部201は、フレーム番号46〜60のフレームの削除処理を行う。
映像データ用フレーム341の開始時点で、2倍クイックモーション記録に切り替えが行われると、主制御部201は、第1の閾値を8フレームに設定する。主制御部201は、撮像部203の映像データ用フレーム341のフレーム番号61から記憶部202に蓄積を開始する。主制御部201が映像データ用フレーム341のフレーム番号75を出力した時点で、記憶部202に蓄積されているフレーム数は8となる。すると、主制御部201は、ステップS403からステップS404に進む。ステップS406において、主制御部201は、8フレームの表示データ用フレーム344の表示処理を行う。同様に、主制御部201が映像データ用フレーム341のフレーム番号91を出力した時点で、記憶部202に蓄積されているフレーム数は8となる。すると、主制御部201は、ステップS403からステップS404に進む。ステップS406において、主制御部201は、8フレームの表示データ用フレーム345の表示処理を行う。
上述した例では、2倍クイックモーション記録時の第1の閾値を8フレームとしたため、表示部209は、およそ0.27秒周期で表示することになり、簡易表示の実時間からの差異が0.25秒を超過している。ただし、主制御部201は、簡易表示開始毎に、8フレームと7フレームを交互に切り替えて第1の閾値として設定することにより、表示部209の表示を0.25秒周期に近づけることができる。
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線/無線通信を用いてプログラムを実行可能なコンピュータを有するシステムまたは装置に供給し、そのプログラムを実行する場合も本発明に含む。
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等、プログラムの形態を問わない。
プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光/光磁気記憶媒体、不揮発性の半導体メモリでもよい。また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。
また、上述した実施形態では記録データ用フレームを簡易表示のために蓄積しているが、フレームデータを圧縮して小サイズ化したうえでバッファリングしても良い。また、上述した実施形態では撮像装置100として説明したが、外部撮像装置から映像信号等の映像データを受信し表示する表示装置であってもよい。撮像装置100は、デジタルカメラ、ビデオカメラの他、スマートフォン、タブレット、工業用カメラ、医療用カメラ等に適用可能である。
また、図4のステップS401において、倍速率が1の場合、ステップS410に進むとしたが、通常の等倍速率表示として別の処理を実施してもよい。主制御部201および表示制御部210は、ステップS406またはS411の表示画像と共に、撮像部203が出力する実時間に対応するスルー画像を表示することができる。
以上説明したように、撮像装置100は、スローモーション/クイックモーション動画の撮影の際に、スローモーション/クイックモーション動画の効果を簡易的に表示部209に表示する。これにより、ユーザは、スローモーション/クイックモーション動画の効果をリアルタイムで確認しつつ、記録設定を行うことが可能となる。
201 主制御部、202 記憶部、203 撮像部、204 信号処理部、205 マイク、206 音声処理部、207 操作部、208 操作制御部、209 表示部、210 表示制御部、211 記録媒体制御部、212 記録媒体、213 データバス、214 外部接続制御部
Claims (15)
- 撮像部と、
前記撮像部からの映像データを、再生フレームレートと異なる記録フレームレートで映像記録処理を行うことが可能な映像記録手段と、
を備える撮像装置であって、
前記再生フレームレートと異なる記録フレームレートで前記映像記録処理を行う場合に、前記記録フレームレートと前記再生フレームレートの比に対応する倍速率で、前記撮像部からの映像データに基づく表示画像を表示手段に順次表示するように制御する表示制御手段であって、所定のタイミングで、前記表示手段に表示される表示画像を調整する表示制御手段を有することを特徴とする撮像装置。 - 前記表示制御手段は、前記所定のタイミングで、実時間に対応する表示画像を前記表示手段に表示させるように制御することを特徴とする請求項1に記載の撮像装置。
- 前記再生フレームレートよりも前記記録フレームレートの方が速く、スロー再生する場合に、前記表示制御手段は、前記所定のタイミングで、実時間に対応する表示画像を前記表示手段に表示させることにより、一部の期間の映像データを表示させないことを特徴とする請求項2に記載の撮像装置。
- 前記表示制御手段は、前記所定のタイミングまでは同じ画像を表示させ、前記所定のタイミングからは、前記記録フレームレートと前記再生フレームレートの比に対応する倍速率で、前記撮像部からの映像データに基づく表示画像を順次表示するように制御することを特徴とする請求項1に記載の撮像装置。
- 前記表示制御手段は、前記所定のタイミングから、所定のフレーム数だけ前記撮像部からの映像データに基づく表示画像を順次表示させ、その後、最後のフレームに対応する表示画像を次の前記所定のタイミングまで表示させるように制御することを特徴とする請求項4に記載の撮像装置。
- 前記再生フレームレートよりも前記記録フレームレートの方が遅く、クイック再生する場合に、前記表示制御手段は、前記所定のタイミングまでは同じ画像を表示させ、前記所定のタイミングからは、クイック再生をするように制御することを特徴とする請求項4または5に記載の撮像装置。
- 前記所定のタイミングは、周期的なタイミングであることを特徴とする請求項1に記載の撮像装置。
- 前記所定のタイミングは、前記記録フレームレートに応じて決定されるタイミングであることを特徴とする請求項7に記載の撮像装置。
- 前記所定のタイミングは、前記表示手段に表示される表示画像に対応する映像データから実時間に対応する映像データまでのフレーム数が所定量となるタイミングであることを特徴とする請求項1に記載の撮像装置。
- 前記所定量は、前記倍速率に応じて異なる値であることを特徴とする請求項9に記載の撮像装置。
- さらに、前記撮像部からの映像データをバッファリングするバッファ手段を備え、
前記表示制御手段は、前記バッファ手段にバッファされた映像データに基づく表示画像を前記表示手段に表示させるように制御することを特徴とする請求項1に記載の撮像装置。 - 前記表示制御手段は、前記所定のタイミングで、実時間に対応する表示画像を前記表示手段に表示させるとともに、前記バッファ手段にバッファリングされている映像データを削除するように制御することを特徴とする請求項11に記載の撮像装置。
- 前記表示制御手段は、前記再生フレームレートよりも前記記録フレームレートの方が速く、スロー再生する場合には、前記所定のタイミングで、実時間に対応する表示画像を前記表示手段に表示させるように制御し、前記再生フレームレートよりも前記記録フレームレートの方が遅く、クイック再生する場合には、前記所定のタイミングまでは同じ画像を表示させ、前記所定のタイミングからは、前記記録フレームレートと前記再生フレームレートの比に対応する倍速率で、前記撮像部からの映像データに基づく表示画像を順次表示するように制御することを特徴とする請求項1に記載の撮像装置。
- 撮像部と、
前記撮像部からの映像データを、再生フレームレートと異なる記録フレームレートで映像記録処理を行うことが可能な映像記録手段と、
を備える撮像装置の制御方法であって、
表示制御手段により、前記再生フレームレートと異なる記録フレームレートで前記映像記録処理を行う場合に、前記記録フレームレートと前記再生フレームレートの比に対応する倍速率で、前記撮像部からの映像データに基づく表示画像を表示手段に順次表示するように制御する表示制御手段であって、所定のタイミングで、前記表示手段に表示される表示画像を調整する表示制御ステップを有することを特徴とする撮像装置の制御方法。 - コンピュータを、請求項1ないし13のいずれか1項に記載された撮像装置の表示制御手段として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017186066A JP2019062427A (ja) | 2017-09-27 | 2017-09-27 | 撮像装置、撮像装置の制御方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017186066A JP2019062427A (ja) | 2017-09-27 | 2017-09-27 | 撮像装置、撮像装置の制御方法およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019062427A true JP2019062427A (ja) | 2019-04-18 |
Family
ID=66177773
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017186066A Pending JP2019062427A (ja) | 2017-09-27 | 2017-09-27 | 撮像装置、撮像装置の制御方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019062427A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022111198A1 (zh) * | 2020-11-26 | 2022-06-02 | 展讯通信(上海)有限公司 | 视频处理方法、装置、终端设备及存储介质 |
-
2017
- 2017-09-27 JP JP2017186066A patent/JP2019062427A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022111198A1 (zh) * | 2020-11-26 | 2022-06-02 | 展讯通信(上海)有限公司 | 视频处理方法、装置、终端设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7705904B2 (en) | Moving-image recording device for recording moving image | |
US20160330372A1 (en) | Imaging device | |
CN101808211B (zh) | 记录动态图像的记录装置、记录方法 | |
US20160343403A1 (en) | Moving image generating apparatus, moving image generating method and storage medium | |
US8577161B2 (en) | Reproduction apparatus | |
JP2018026676A (ja) | マルチカメラシステム、カメラ、カメラの処理方法、確認装置および確認装置の処理方法 | |
JP2009111518A (ja) | 撮像装置、画像再生装置及びそのプログラム、画像ファイルのデータ構造 | |
JP6319491B2 (ja) | 撮像装置及び制御方法 | |
JP2019062427A (ja) | 撮像装置、撮像装置の制御方法およびプログラム | |
JP5012985B2 (ja) | 撮像装置及びそのプログラム | |
US9661217B2 (en) | Image capturing apparatus and control method therefor | |
JP6102825B2 (ja) | 動画データ再生装置、動画データ再生方法及びプログラム | |
JP2015023317A5 (ja) | 画像管理装置及び画像管理方法、プログラム、並びに記憶媒体 | |
JP2013110562A (ja) | 撮像装置 | |
JP2018195923A (ja) | 記録装置 | |
JP6583457B2 (ja) | 撮像装置及び制御方法 | |
JP7110985B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP5567858B2 (ja) | 記録装置及びその制御方法 | |
KR101480407B1 (ko) | 디지털 영상 처리 장치, 이의 제어 방법 및 상기 제어방법을 기록한 기록 매체 | |
JP7214538B2 (ja) | 撮像装置及び記録制御方法 | |
JP2014120926A (ja) | 撮像装置 | |
JP2014160927A (ja) | 撮像装置 | |
JP2018098664A (ja) | 記録装置、その制御方法、コンピュータプログラム及び記録媒体 | |
JP4312125B2 (ja) | 動画再生方法及び動画再生装置 | |
JP6351325B2 (ja) | 記録装置およびその制御方法 |