JP2020065219A - 撮像装置および撮像装置の制御方法 - Google Patents

撮像装置および撮像装置の制御方法 Download PDF

Info

Publication number
JP2020065219A
JP2020065219A JP2018197367A JP2018197367A JP2020065219A JP 2020065219 A JP2020065219 A JP 2020065219A JP 2018197367 A JP2018197367 A JP 2018197367A JP 2018197367 A JP2018197367 A JP 2018197367A JP 2020065219 A JP2020065219 A JP 2020065219A
Authority
JP
Japan
Prior art keywords
image data
still image
moving image
image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018197367A
Other languages
English (en)
Inventor
康孝 仲
Yasutaka Naka
康孝 仲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018197367A priority Critical patent/JP2020065219A/ja
Publication of JP2020065219A publication Critical patent/JP2020065219A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Details Of Cameras Including Film Mechanisms (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Abstract

【課題】連写撮影可能枚数または連写繰り返し性能を向上させることができる撮像装置を提供することである。【解決手段】撮像装置は、連写撮影指示に応じて、複数の静止画データを順に生成する撮像手段と、前記複数の静止画データが生成された後、前記複数の静止画データに基づく動画を生成する生成手段と、前記複数の静止画データと前記動画を記録媒体に記録する記録手段とを有する。【選択図】図7

Description

本発明は、撮像装置および撮像装置の制御方法に関する。
最近では、動画と静止画が一台で記録できる撮像装置が一般化している。さらには、動画と静止画を関連付けて記録することにより、ユーザに新しい撮影機能を提供する撮像装置が提供されている。
例えば、特許文献1では、撮像装置は、フレーミング時点から動画撮影を内部的に開始して所定時間分メモリに蓄積し、シャッタの全押しにより動画撮影を終了して、静止画撮影を行い、撮影により得られた動画ファイルと静止画ファイルとを関連づけて記録する。
特開2012−161047号公報
しかしながら、このような撮像装置は、一枚の静止画撮影に対して、静止画像と動画像を同時に処理して記録媒体に記録する必要があり、連写設定時に、単なる単写撮影の繰り返し処理を実施すると、データ処理量が多くなる。そのため、連写時の連続撮影可能枚数や連写繰り返し性能が十分に出せなかったり、それを実現するために大容量の一時メモリが必要になる等、実用的な連写撮影動作の実現に向けての課題がある。また、連写枚数に応じて、生成される動画の時間にバラつきがあり、機能性が損なわれるという課題がある。
本発明の目的は、連写撮影可能枚数または連写繰り返し性能を向上させることができる撮像装置および撮像装置の制御方法を提供することである。
本発明の撮像装置は、連写撮影指示に応じて、複数の静止画データを順に生成する撮像手段と、前記複数の静止画データが生成された後、前記複数の静止画データに基づく動画を生成する生成手段と、前記複数の静止画データと前記動画を記録媒体に記録する記録手段とを有する。
本発明によれば、連写撮影可能枚数または連写繰り返し性能を向上させることができる。
撮像装置の構成例を示す図である。 撮影記録処理を表すフローチャートである。 単写撮影記録処理を表すタイミングチャートである。 撮影処理用のメモリマップを示す図である。 連写撮影記録処理を表すタイミングチャートである。 動画ファイルの構成例を示す図である。 連写撮影記録処理を表すタイミングチャートである。 動画ファイルの構成例を示す図である。 連写撮影記録処理におけるメモリ使用方法を示す図である。
以下、図面を参照して本発明の実施形態を詳細に説明するが、この発明は以下の実施形態に限定されない。
(第1の実施形態)
図1は、本発明の第1の実施形態による撮像装置100の構成例を示すブロック図である。制御部101は、例えば、CPU(MPU)とメモリ(DRAM、SRAM)等を有する。制御部101は、マイクロコンピュータであってもよい。操作部102は、ユーザからの操作を受け付け、操作信号を制御部101に出力する。制御部101は、操作部102からの操作信号に応じて、各種処理(プログラム)を実行することにより、撮像装置100の各ブロックを制御したり、各ブロック間でのデータ転送を制御する。
操作部102は、例えば、電源ボタン、記録開始ボタン、ズーム調整ボタン、オートフォーカスボタン等の撮影に関連する各種操作を入力するスイッチ類を有する。また、操作部102は、メニュー表示ボタン、決定ボタン、カーソルキー、ポインティングデバイス、タッチパネル等を有し、ユーザによりこれらのキーやボタンが操作されると制御部101に操作信号を出力する。
バス103は、撮像装置100の各ブロックに対して、各種データ、制御信号、指示信号等を入出力するための汎用バスである。
撮像部110は、レンズにより取り込まれた被写体の光学像の光量を絞りにより制御して、CCDセンサやCMOSセンサ等の撮像素子により、被写体の光学像を画像信号に変換し、アナログデジタル変換をする。制御部101は、撮像部110により生成されたデジタル画像信号をメモリ104に記憶させる。
画像処理部111は、下記の処理を実行するプログラムを搭載したマイクロコンピュータであり、画像の記録再生に必要な処理を実行する。また、画像処理部111は、制御部101の一部の機能として下記の処理を実行するものであってもよい。画像処理部111は、メモリ104に記憶されたデジタル画像信号に対し、ホワイトバランス処理や、色、明るさ等をユーザに設定された設定値や画像の特性から判定した設定値に基づいて調整する画質調整処理を行う。
また、画像処理部111は、画質調整処理された複数のフレームの画像信号から動画データを生成する処理を行う。ここで、画像処理部111は、動画データの各フレームをフレーム内符号化して圧縮符号化された動画データを生成してもよい。また、画像処理部111は、動画データの複数のフレーム間での差分や動き予測等を利用して圧縮符号化された動画データを生成してもよい。例えば、画像処理部111は、MotionJPEG、MPEG、H.264(MPEG4−Part10 AVC)、等の様々な圧縮符号化方式の動画データを生成することができる。フレーム内符号化されたフレーム画像データをIフレームと呼び、前方のフレームとの差分を用いてフレーム間符号化された画像データをPフレームと呼び、前方後方のフレームとの差分を用いてフレーム間符号化された画像データをBフレームと呼ぶ。また、画像処理部111は、画質調整処理された画像信号から静止画データを生成する処理を実行することができる。画像処理部111は、静止画データを生成する際には、JPEG等の圧縮符号化方式を用いる。なお、静止画データについては、撮像部110により生成されたデジタル画像信号をそのまま記録する、いわゆるRAW画像データとしてもよい。
制御部101は、画像処理部111により処理された動画データまたは静止画データを、メモリ104の前述したデジタル画像信号が記憶されている領域以外の領域に記憶させる。なお、撮像部110により生成されたデジタル画像信号と、画像処理部111により生成された動画データまたは静止画データは、同一のメモリ104に記憶されるものとして説明するが、別のメモリであってもよい。
音声入力部120は、例えば、内蔵された無指向性のマイクまたは音声入力端子を介して接続された外部マイク等により、撮像装置100の周囲の音声を集音(収音)し、集音したアナログ音声信号をデジタル音声信号に変換する。制御部101は、音声入力部120により生成されたデジタル音声信号をメモリ104に記憶させる。
音声処理部121は、下記の処理を実行するプログラムを搭載したマイクロコンピュータであり、音声の記録再生に必要な処理を実行する。また、音声処理部121は、制御部101の一部の機能として下記の処理を実行するものであってもよい。音声処理部121は、メモリ104に記憶されたデジタル音声信号のレベルの適正化処理や雑音低減処理等の処理を行う。また、音声処理部121は、必要に応じて、デジタル音声信号を圧縮する処理を行う。音声圧縮方式については、AC3、AAC等の音声圧縮方式を用いる。制御部101は、音声処理部121により処理された音声データをメモリ104に記憶させる。
表示制御部131は、表示部130に画像を表示するための表示制御を行うマイクロコンピュータであり、メモリ104に記憶されたデジタル画像信号を読み出して、表示部130に表示させる。表示部130は、例えば、撮像装置100に搭載された液晶パネルや有機ELパネル等、または撮像装置100とは別の表示装置(例えば、テレビ、モニタ、プロジェクタ)である。
制御部101は、例えば、メモリ104に記憶された動画データと音声データ等を読み出して記録再生部140に出力する。記録再生部140は、動画データと音声データを録媒体141に記録する。記録再生部140は、動画データと音声データを一つの動画ファイルとして記録媒体141に記録する。制御部101は、撮影時のカメラ設定や、検出データ等を示す各種データを生成する。記録再生部140は、制御部101により生成された各種データを、動画データおよび音声データとともに記録媒体141に記録してもよい。
記録媒体141は、撮像装置100に内蔵された記録媒体、または取外し可能な記録媒体である。例えば、記録媒体141は、ハードディスク、光ディスク、光磁気ディスク、CD−R、DVD−R、磁気テープ、不揮発性の半導体メモリ、フラッシュメモリ、等の記録媒体である。
制御部101は、静止画ファイルを記録する場合には、メモリ104に記憶された静止画データを読み出して、記録再生部140に出力する。記録再生部140は、その静止画データを記録媒体141に静止画ファイルとして記録する。
記録再生部140は、記録媒体141に記録された動画ファイル等を読み出す(再生する)。そして、制御部101は、例えば、読み出した動画ファイルに含まれる動画のヘッダ情報を読み出し、そのヘッダ情報に基づいて、再生すべき動画データおよび音声データを記録媒体141から読み出すように記録再生部140を制御する。記録再生部140は、記録媒体141から動画データおよび音声データを読み出し、読み出した動画データを画像処理部111に出力し、読み出した音声データを音声処理部121に出力する。
画像処理部111は、読み出した動画データの各フレームの画像を順次、メモリ104に記憶させる。そして、表示制御部131は、メモリ104に記憶された各フレームの画像を順次読み出して、表示部130に表示する。
一方、音声処理部121は、読み出した音声データをデジタル音声信号に復号し、デジタル音声信号をアナログ音声信号へ変換し、アナログ音声信号を出力部(スピーカ、イヤホン端子、音声出力端子等)150に出力する。
また、静止画を再生する場合には、記録再生部140は、記録媒体141に記録された静止画ファイル等を読み出す(再生する)。そして、制御部101は、読み出した静止画ファイルに含まれる静止画データを画像処理部111に出力する。画像処理部111は、静止画データの画像をメモリ104に記憶させる。そして、表示制御部131は、メモリ104に記憶された画像を読み出して、表示部130に表示する。
また、出力部150は、画像信号や音声信号を外部装置に対して出力する音声端子や映像端子である。また、通信部151は、外部装置とデータの送受信を行うものであり、有線接続、無線接続を問わず接続可能である。
撮像装置100は、一例として、「QuickTime(登録商標)フォーマット」で動画ファイルを記録するものとするが、どのようなフォーマットであってもよい。記録媒体141のファイル管理システムは、組み込み機器で一般的に使用されているFATファイルシステムを使用するものとして説明をする。また、FATファイルフォーマットであるNTFSフォーマットやexFATフォーマット等を用いても良い。
記録媒体141の例えばフラッシュメモリ等は、内蔵されたマイクロコンピュータにより、記録媒体141内の物理的なメモリ領域を管理している。そして、記録媒体141は、記録再生部140からのアクセスに対しては、論理的にFATファイルシステムでデータが格納されているように見せている。
撮像装置100は、「ムービーダイジェストモード」と、「動画撮影モード」と、「静止画撮影モード」を有している。
撮像装置100の通常の動作について説明する。ユーザが操作部102の電源ボタンを操作すると、操作部102は、制御部101に起動の指示信号を出力する。制御部101は、この指示信号を入力すると、不図示の電源供給部を制御して、撮像装置100の各ブロックに対して電源を供給させる。
制御部101は、電源が供給されると、例えば、操作部102のモード切り換えスイッチが、「静止画撮影モード」、「動画撮影モード」、「再生モード」、「ムービーダイジェストモード」等のどのモードであるかを、操作部102からの指示信号により確認する。
「静止画撮影モード」では、撮像装置100は、撮影待機状態でユーザが操作部102の静止画記録ボタンを操作することにより静止画撮影を行い、静止画ファイルを記録媒体141に記録し、再び撮影待機状態になる。
「動画撮影モード」では、撮像装置100は、撮影待機状態でユーザが操作部102の動画記録開始ボタンを操作することにより動画撮影を開始し、その間、動画データと音声データを記録媒体141に記録する。そして、撮像装置100は、ユーザが操作部102の動画記録終了ボタンを操作することにより動画撮影を終了し、記録媒体141に記録していた動画データと音声データを動画ファイルとして完成させ、再び撮影待機状態になる。
「再生モード」では、撮像装置100は、ユーザが選択したファイルに関する静止画ファイルや動画ファイルを記録媒体141から読み出し、静止画、または、動画と音声を出力する。「ムービーダイジェストモード」については、後述する。
次に、「静止画撮影」モードの詳細について説明する。操作部102により静止画撮影モードが設定されると、前述のように、まず、制御部101は、撮像装置100の各ブロックを撮影待機状態に設定する。撮影待機状態では、撮像部110は、各フレームのデジタル画像信号を生成し、画像処理部111は、その各フレームのデジタル画像信号を処理してメモリ104に記憶させる。表示制御部131は、メモリ104に記憶された各フレームのデジタル画像信号を読み出し、表示部130にデジタル画像信号に関する映像を表示させる。ユーザは、この様にして表示された映像を見ながら撮影の準備を行う。
撮影待機状態で、ユーザが操作部102の静止画記録ボタンを操作することにより、操作部102は、制御部101に撮影指示信号を出力する。すると、制御部101は、撮影制御信号を撮像装置100の各ブロックに出力し、以下のような動作をさせるように制御する。
撮像部110は、レンズにより取り込まれた被写体の光学像を撮像素子により画像信号に変換し、アナログデジタル変換し、メモリ104にデジタル画像信号を静止画として記憶させる。画像処理部111は、メモリ104に記憶されたデジタル画像信号に対し、画質調整処理(ホワイトバランスや色、明るさ等の処理)を設定値に基づいて処理する。そして、画像処理部111は、処理したデジタル画像信号をメモリ104に記憶させる。表示制御部131は、処理されたデジタル画像信号をメモリ104から読み出し、表示部130に表示する。ユーザは、表示部130に表示された静止画を見ることで、撮影した静止画を確認することができる。
そして、画像処理部111は、メモリ104に記憶されたデジタル画像信号を読み出して所定の符号化を行うことにより、静止画データを生成し、記録再生部140に出力する。記録再生部140は、UDF、FAT等のファイルシステム管理の下に、静止画データを静止画ファイルとして記録媒体141に書き込んでいく。
なお、制御部101は、画像処理部111による符号化の動作が終了すると、撮影待機状態に移行させるように、制御信号を撮像装置100の各ブロックに出力して、撮影待機状態に戻る。
次に、「動画撮影モード」の詳細について説明する。操作部102により動画撮影モードが設定されると、前述のように、まず、制御部101は、撮像装置100の各ブロックを撮影待機状態に設定する。撮影待機状態では、撮像部110は、各フレームのデジタル画像信号を生成し、画像処理部111は、その各フレームのデジタル画像信号を処理してメモリ104に記憶させる。表示制御部131は、メモリ104に記憶される各フレームのデジタル画像信号を読み出して表示部130に映像を表示する。ユーザは、この様にして表示された映像を見ながら撮影の準備を行う。
撮影待機状態で、ユーザが操作部102の動画記録開始ボタンを操作することにより、操作部102は、制御部101に動画撮影開始の指示信号を出力する。すると、制御部101は、撮影開始の制御信号を撮像装置100の各ブロックに出力し、以下のような動作をさせるように制御する。
撮像部110は、レンズにより取り込まれた被写体の光学像を撮像素子により画像信号に変換し、アナログデジタル変換し、メモリ104に各フレームのデジタル画像信号を順次記憶していく。画像処理部111は、メモリ104に記憶された各フレームのデジタル画像信号の画質調整処理(ホワイトバランスや色、明るさ等の処理)を設定値に基づいて処理する。表示制御部131は、メモリ104に記憶された画像調整処理の施された各フレームのデジタル画像信号を読み出して表示部130に表示させる。
一方、音声入力部120は、マイクにより得られたアナログ音声信号をデジタル音声信号に変換し、そのデジタル音声信号をメモリ104に記憶していく。音声処理部121は、メモリ104に記憶されたデジタル音声信号のレベルの適正化処理等をして音声信号を出力する。なお、音声信号を圧縮する場合には、音声処理部121は、圧縮処理を実行する。
そして、画像処理部111および音声処理部121は、メモリ104に記憶された画像信号および音声信号を読み出して所定の符号化を行うことにより、動画データおよび音声データ等を生成する。そして、制御部101は、これらの動画データおよび音声データを合成し、データストリームを形成し、記録再生部140に出力する。記録再生部140は、FAT、exFAT等のファイルシステム管理の下に、データストリームを一つの動画ファイルとして記録媒体141に書き込んでいく。また、音声を圧縮しない場合には、制御部101は、音声処理部121により生成された音声信号を画像処理部111で生成された動画データとともに、記録再生部140に出力する。そして、記録再生部140は、前述したように、FAT、exFAT等のファイルシステム管理の下に、データストリームを一つの動画ファイルとして記録媒体141に書き込んでいく。撮像装置100は、以上の動作を撮影中は継続する。
また、制御部101は、撮影の間、ユーザによる操作部102の操作に応じて、または画像処理部111により生成された画像信号の解析結果に応じて、撮像部110、画像処理部111、音声処理部121等に各種制御信号を出力する。例えば、制御部101は、レンズの移動や絞り調整等をさせるための制御信号を撮像部110に出力するとともに、画像や音声を調整するための制御信号を画像処理部111や音声処理部121に出力する。
また、制御部101は、撮影の間、ユーザが操作部102のズームキーを操作することにより、撮像部110の「光学ズーム」機能や、画像処理部111の「電子ズーム」機能を動作させることができる。また、制御部101は、不図示の振動検出部により検出された加速度信号に基づいて、撮像部110の「光学防振」機能や、画像処理部111の「電子防振」機能を動作させる。
そして、ユーザが操作部102の動画記録終了ボタンを操作することにより、操作部102は、動画撮影終了の指示信号を制御部101に出力する。すると、制御部101は、撮影終了の制御信号を撮像装置100の各ブロックに出力し、以下のような動作をさせるように制御する。
画像処理部111と音声処理部121は、メモリ104に記憶されている残りの画像信号と音声信号を読み出して所定の符号化を行うことにより、動画データと音声データ等を生成する。制御部101は、これらの最後の動画データと音声データを合成し、データストリームを形成し、記録再生部140に出力する。音声を圧縮しない場合には、制御部101は、音声処理部121により生成された音声信号と、動画データとを記録再生部140に出力する。
記録再生部140は、FAT、exFAT等のファイルシステム管理の下に、データストリームを一つの動画ファイルとして記録媒体141に書き込んでいく。そして、制御部101は、データストリームの供給が停止したら、サムネイルを生成するために以下のような動作をさせるように制御する。
記録再生部140は、記録媒体141に記録した動画ファイルの先頭フレームの動画データを読み出し、画像処理部111に出力する。画像処理部111は、動画データをメモリ104に記憶させ、所定の手順で動画データを復号し、画像信号を得る。次に、画像処理部111は、得られた画像信号に対してサムネイル用の所定の符号化を行い、サムネイル用圧縮画像信号を生成する。そして、制御部101は、サムネイル用圧縮画像信号を記録再生部140に出力する。記録再生部140は、FAT、exFAT等のファイルシステム管理の下に、サムネイル用圧縮画像を、基となる動画ファイルに結合させるように記録媒体141に書き込み、動画ファイルを完成させるとともに記録動作を停止する。制御部101は、記録動作が停止すると、撮影待機状態に移行させるように制御信号を撮像装置100の各ブロックに出力して、撮影待機状態に戻る。
次に、再生モードについて説明する。操作部102により再生モードが設定されると、制御部101は、再生状態に移行させるように、制御信号を撮像装置100の各ブロックに出力し、以下のような動作をさせる。
記録再生部140は、記録媒体141に記録された圧縮画像信号からなる静止画ファイル、または圧縮画像信号と圧縮音声信号または音声信号とからなる動画ファイルを読み出す。制御部101は、読み出された圧縮画像信号および圧縮音声信号を、画像処理部111および音声処理部121に出力する。圧縮されていない音声信号であれば、制御部101は、音声出力部151に音声信号を出力する。
画像処理部111および音声処理部121は、圧縮画像信号および圧縮音声をメモリ104に記憶させ、所定の手順で復号する。そして、制御部101は、復号した音声信号を音声出力部151に出力し、復号した画像信号を表示制御部131に出力する。表示制御部131は、入力された画像信号に係る映像を表示部130に表示する。出力部150の音声出力系は、入力された音声信号に係る音声を内蔵されたスピーカや、接続されたイヤホンやスピーカから出力する。
図2は、撮像装置100の「ムービーダイジェストモード」の処理を示すフローチャートである。撮像装置100は、ムービーダイジェストモードに設定されたとき、図2の処理を行う。制御部101は、撮像装置100の各部を制御することにより、図2の処理を行う。操作部102によりムービーダイジェストモードが設定されると、制御部101は、撮像装置100の各ブロックを制御し、以下の動作を実行させる。
まず、ステップS201では、撮像部110は、デジタル画像信号を生成し、そのデジタル画像信号をメモリ104に出力して一時的に記憶させる。表示制御部131は、メモリ104に記憶されたデジタル画像信号を読み出して表示部130に表示させる。画像処理部111は、メモリ104に記憶されたデジタル画像信号を順次読み出し、そのデジタル画像信号を符号化処理することにより、動画データを生成する。また、音声入力部120は、デジタル音声信号を生成する。音声処理部121は、そのデジタル音声信号に対して種々の調整処理を行い、予め設定された音声用の符号化方式に従って符号化処理を実行することにより、音声データを生成する。
ステップS202では、画像処理部111と音声処理部121は、符号化された動画データと音声データをメモリ104に一時的に記憶していく。以後の説明では、音声データについては説明を省略するが、動画データとともに処理されるものとする。
ステップS203では、制御部101は、所定時間分以上の動画データがメモリ104に記憶されたか否かを判定する。制御部101は、所定時間以上の動画データが記憶されている場合(S203でYes)には、ステップS204に進む。ステップS204では、制御部101は、所定時間よりも過去の時点で撮影された画像を示す動画データをメモリ104から削除し、ステップS205に進む。削除するデータのサイズは、符号化単位で規定されるため、符号化方式によっては当該削除するデータのサイズをフレームまたは再生時間として決定することもできる。また、制御部101は、所定時間以上の動画データが記憶されていない場合(S203でNo)には、動画データを削除せずに、ステップS205に進む。上記の所定時間は、任意の時間であってよいが、例えば、4秒、6秒、8秒等であり、ユーザが選択できるようにしてもよい。
以上のように、制御部101は、メモリ104には常に直前の予め定められた時間分の動画データが記憶されるように、メモリ104に記憶されている動画データのうち、予め定められた時間より前に撮像された動画データを削除することができる。
ステップS205では、制御部101は、静止画の単写撮影指示が操作入力部112から入力されたか否かを判定する。制御部101は、静止画の単写撮影指示が入力されていない場合(S205でNo)には、ステップS201に戻り、上記の処理を繰り返す。
なお、本実施形態では、常に直前の予め定められた時間分の動画データがメモリ104には記憶されるものとして説明するが、これに限定されない。すなわち、メモリ104に記憶される動画データのサイズは、定量可能なものであればよく、例えばフレーム数、GOP(Group Of Pictures)数、データサイズ等で規定される、予め定められた量であってもよい。メモリ104に記憶されている動画データは、当該動画データのサイズが予め定められたサイズ以上となった場合に、当該予め定められたサイズ未満のサイズとなるまで、動画データのフレームのうちの撮影時刻が古いフレームから順に削除されるようにしてもよい。
なお、制御部101は、静止画の単写撮影指示が入力された場合(S205でYes)には、記録媒体141の記録可能容量をチェックするように記録再生部140を制御し、メモリ104に記憶されている動画データの記録が可能であるか否かを判定してもよい。この判定は、メモリ104に記憶されている動画データのサイズと、記録する静止画データの見込みサイズとの和が、記録媒体141の記録可能容量よりも小さいか否かを比較することにより判定される。静止画データの見込みサイズは、例えば4MBとしてもよいし、記録サイズや画質等に応じて変更してもよい。制御部101は、この判定により、動画データと静止画データとを記録媒体141に記録できない場合には、静止画撮影のみを行い、動画データを記録しないようにしてもよい。
また、制御部101は、静止画の単写撮影指示が入力された場合(S205でYes)には、メモリ104に例えば1秒未満や2秒未満等の短い時間分の動画データしか記憶されていない場合には、静止画の単写撮影指示を無効とするようにしてもよい。この時間もユーザが設定できるようにしてもよい。
制御部101は、静止画の単写撮影指示が入力された場合(S205でYes)には、ステップS210に進む。ステップS210では、制御部101は、撮像部110に対して、静止画データの撮影を実行させる。ステップS211では、制御部101は、撮像部110の静止画撮影処理を行いながら、記録再生部140を介して、上記の静止画の単写撮影指示の前にメモリ104に記憶した動画データを記録媒体141に記録していく。撮像部110は、一の静止画データを生成する。
ステップS212では、制御部101は、撮像部110の静止画撮影動作が完了した後に、ステップS210で撮影されたデジタル画像信号を静止画データとするべく、画像処理部111に対して、現像処理を行わせる。ステップS213では、制御部101は、画像処理部111に対して、ストップモーション用画像の生成処理を実行させる。すると、画像処理部111は、現像処理された静止画データを静止画サイズから動画サイズに変換し、ストップモーション動画の1フレームとしてストップモーション用画像を生成する。
ステップS214では、制御部101は、画像処理部111に対して、静止画の符号化処理を行わせる。画像処理部111は、現像処理済みの静止画データに対して、あらかじめ設定された静止画記録用の符号化処理を実施し、JPEG形式の静止画データを生成する。
ステップS215では、制御部101は、記録再生部140に対して、静止画の記録処理を行わせる。記録再生部140は、JPEG形式の静止画データを記録媒体141に記録する。
ステップS216では、制御部101は、画像処理部111に対して、ストップモーション動画の符号化処理を行わせる。画像処理部111は、ストップモーション用画像のフレームを所定時間分の動画データとして符号化し、ストップモーション動画を生成する。
ステップS217では、制御部101は、記録再生部140に対して、ストップモーション動画の記録処理を行わせる。記録再生部111は、ストップモーション動画を記録媒体141に記録する。
図3は、図2のムービーダイジェストモードにおける単写撮影時の時系列動作を示すタイミングチャートである。撮像部110は、静止画の単写撮影指示があるまで動画を撮影し、静止画の単写撮影指示があると、静止画を撮影する。画像処理部111は、静止画の撮影処理の後、ステップS212の静止画の現像処理と、ステップS213のストップモーション用画像の生成処理を行う。また、画像処理部111は、ステップS214の静止画の符号化処理により、JPEG形式の静止画データを生成する。また、画像処理部111は、撮像部110により撮影された動画を符号化する。メモリ104に記憶される動画の最大時間は、例えば4秒である。また、画像処理部111は、ステップS216のストップモーション動画の符号化処理を行う。ストップモーション動画の時間は、例えば1秒である。記録再生部140は、ステップS211の動画データの記録処理と、ステップS215の静止画データの記録処理と、ステップS217のストップモーション動画の記録処理を行う。
図4は、メモリ104のメモリマップの一例を示す図である。メモリ104は、静止画データのメモリ領域と、現像処理された静止画データのメモリ領域と、JPEG形式の静止画データのメモリ領域と、ストップモーション用画像のメモリ領域と、動画ストリームのメモリ領域を有する。
図5は、ムービーダイジェストモードにおける基本的な連写撮影時の時系列動作を示すタイミングチャートである。以下、図5が図3と異なる点を説明する。連写撮影の場合、撮像部110は、静止画の連写撮影指示が入力されると、例えば3つの静止画を順に撮影する。画像処理部111は、3つの静止画に対して、現像処理と、ストップモーション用画像の静止処理と、符号化処理を行う。また、画像処理部111は、3つに静止画に対して、それぞれ、1秒分のストップモーション動画の符号化処理を行う。記録再生部140は、動画、1つ目の静止画、2つ目の静止画、1つ目のストップモーション動画、3つ目の静止画、2つ目のストップモーション動画、3つ目のストップモーション動画を順に記録する。
連写撮影では、単写撮影の繰り返しとして、各静止画に対してストップモーション動画を生成する。ストップモーション動画の符号化処理や記録媒体141への記録処理に時間を要するため、メモリ104のデータの記録媒体141への書き出しが完了し、使用可能になるまでの期間、連続撮影動作を一次的に停止する必要があり、連写繰り返し性能が低下する。もしくは、データを多く一時記憶するために大容量のメモリ104を搭載する必要があり、コストが大きくなるという課題がある。
図6は、単写撮影の動画ファイルと連写撮影の動画ファイルの構成例を示す図である。単写撮影では、記録再生部140は、静止画の単写撮影指示毎の1つの動画と1つのストップモーション動画を有する動画ファイルを記録媒体141に記録する。連写撮影では、記録再生部140は、静止画の連写撮影指示毎の1つの動画と3つのストップモーション動画を有する動画ファイルを記録媒体141に記録する。連写撮影時に、単写撮影と同様に、各静止画に対してストップモーション動画を生成すると、連写時に、3つの類似したストップモーション動画が結合され、再生時に間延びした動画となってしまうという課題がある。以下、その課題を解決するための実施形態を説明する。
図7は、本実施形態によるムービーダイジェストモードにおける連写撮影時の時系列動作を示すタイミングチャートである。時刻T401では、撮像部110は、静止画の連写撮影指示があるまで、動画撮影処理により動画データを生成する。時刻T402では、画像処理部111は、撮像部110により生成された動画データを符号化し(S201)、所定時間以内の動画データをメモリ104に記憶する(S202〜S204)。所定時間は、例えば4秒である。
静止画の連写撮影指示があると、撮像部110は、時刻T404では、静止画データAを生成し、時刻T409では、静止画データBを生成し、時刻T414では、静止画データCを生成する(S210)。ここでは、3枚の静止画を連写する場合を例に説明するが、連写する静止画は3枚に限定されない。例えば、撮像部110は、撮影指示の入力が開始されると静止画データの生成を開始し、撮影指示の入力が終了すると静止画データの生成を終了する。時刻T403では、記録再生部140は、静止画の連写撮影指示の前にメモリ104に記憶した符号化後の動画データを記録媒体141に記録する(S211)。この際、記録再生部140は、連写撮影指示の前の最新の所定時間以内の動画データを記録する。
時刻T405では、画像処理部111は、静止画データAの撮影動作完了後に、静止画データAに対して、ステップS212の現像処理と、ステップS213のストップモーション用画像データAの生成処理を行う。時刻T410では、画像処理部111は、静止画データBに対して、ステップS212の現像処理と、ステップS213のストップモーション用画像データBの生成処理を行う。時刻T415では、画像処理部111は、静止画データCに対して、ステップS212の現像処理と、ステップS213のストップモーション用画像データCの生成処理を行う。
時刻T406では、画像処理部111は、現像処理された静止画データAに対して、ステップS214の符号化処理を行い、JPEG形式の静止画データAを生成する。時刻T411では、画像処理部111は、現像処理された静止画データBに対して、ステップS214の符号化処理を行い、JPEG形式の静止画データBを生成する。時刻T416では、画像処理部111は、現像処理された静止画データCに対して、ステップS214の符号化処理を行い、JPEG形式の静止画データCを生成する。
時刻T408では、記録再生部140は、JPEG形式の静止画データAを記録媒体141に記録する(S215)。時刻T413では、記録再生部140は、JPEG形式の静止画データBを記録媒体141に記録する(S215)。時刻T418では、記録再生部140は、JPEG形式の静止画データCを記録媒体141に記録する(S215)。
時刻T407では、画像処理部111は、ストップモーション用画像データAを1フレーム分のIフレームとして符号化し、ストップモーション動画用フレームAをメモリ104に記憶する(S216)。時刻T412では、画像処理部111は、ストップモーション用画像データBを1フレーム分のIフレームとして符号化し、ストップモーション動画用フレームBをメモリ104に記憶する(S216)。時刻T417では、画像処理部111は、ストップモーション用画像データCを1フレーム分のIフレームとして符号化し、ストップモーション動画用フレームCをメモリ104に記憶する(S216)。
時刻T419では、画像処理部111は、JPEG形式の静止画データCの記録後、ストップモーション動画用フレームA〜Cをコピーして、所定時間分(例えば1秒分)のストップモーション動画データを生成する(S216)。画像処理部111は、ストップモーション動画用フレームA〜Cの各フレーム数が均等になるように、ストップモーション動画データを生成する。これにより、ユーザは、静止画データA〜Cをストップモーション動画により確認することが可能になる。例えば、ストップモーション動画は、フレームレートが60fpsであり、記録時間が1秒分である。3枚の連写撮影を行った場合、ストップモーション動画データは、20フレームのストップモーション動画用フレームAと、20フレームのストップモーション動画用フレームBと、20フレームのストップモーション動画用フレームCを有する。以上のように、画像処理部111は、撮像部110により複数の静止画データA〜Cが生成された後、複数の静止画データA〜Cに基づくストップモーション動画データを生成する。時刻T420では、記録再生部140は、ストップモーション動画データを記録媒体141に記録する(S217)。
図8は、本実施形態による連写撮影時に生成される動画ファイルの構成例を示す図である。この動画ファイルは、最大4秒の動画データ801と、静止画A〜Cに基づく1秒のストップモーション動画802と、最大4秒の動画803と、静止画D〜Iに基づく1秒のストップモーション動画804とを有する。
まず、撮像部110は、動画データ801を生成する。ステップS201では、画像処理部111は、動画データ801を符号化する。ステップS202では、画像処理部111は、符号化した動画データ801をメモリ104に記憶する。静止画の連写撮影指示が入力されると、ステップS210では、撮像部110は、3枚の静止画を連写撮影し、3つの静止画データA〜Cを生成する。ステップS211では、記録再生部140は、符号化された動画データ801を動画ファイルとして記録媒体141に記録する。ステップS212では、画像処理部111は、静止画データA〜Cの現像処理を行う。ステップS213では、画像処理部111は、現像処理された静止画データA〜Cを静止画サイズから動画サイズに変換し、ストップモーション用画像A〜Cを生成する。ステップS214では、画像処理部111は、現像処理された静止画データA〜Cを符号化し、JPEG形式の静止画データA〜Cを生成する。ステップS215では、記録再生部140は、JPEG形式の静止画データA〜Cを記録媒体141に静止画ファイルとして記録する。ステップS216では、画像処理部111は、ストップモーション用画像A〜Cを基に1秒のストップモーション動画802を生成する。ステップS217では、記録再生部140は、ストップモーション動画802を記録媒体141の動画ファイル内に記録する。
続いて、撮像部110は、動画データ803を生成する。ステップS201では、画像処理部111は、動画データ803を符号化する。ステップS202では、画像処理部111は、符号化した動画データ803をメモリ104に記憶する。静止画の連写撮影指示が入力されると、ステップS210では、撮像部110は、6枚の静止画を連写撮影し、6つの静止画データD〜Iを生成する。ステップS211では、記録再生部140は、符号化された動画データ803を記録媒体141の動画ファイル内に記録する。ステップS212では、画像処理部111は、静止画データD〜Iの現像処理を行う。ステップS213では、画像処理部111は、現像処理された静止画データD〜Iを静止画サイズから動画サイズに変換し、ストップモーション用画像D〜Iを生成する。ステップS214では、画像処理部111は、現像処理された静止画データD〜Iを符号化し、JPEG形式の静止画データD〜Iを生成する。ステップS215では、記録再生部140は、JPEG形式の静止画データD〜Iを記録媒体141に静止画ファイルとして記録する。ステップS216では、画像処理部111は、ストップモーション用画像D〜Iを基に1秒のストップモーション動画804を生成する。ステップS217では、記録再生部140は、ストップモーション動画804を記録媒体141の動画ファイル内に記録する。
以上のように、ユーザは、3枚の静止画A〜Cを連写撮影し、一旦、連写を停止した後に、再度、6枚の静止画D〜Iを連写撮影した場合に、図8の動画ファイルが生成される。このように、撮像装置100は、連写撮影の静止画データA〜Cを基に合計1秒のストップモーション動画802を生成し、連写撮影の静止画データD〜Iを基に合計1秒のストップモーション動画804を生成する。これにより、一回の連写撮影のコマ速や撮影枚数によらず、所定時間のストップモーション動画が生成されるため、動画ファイルのダイジェスト動画としての機能性を損なうことなく、連写撮影を実現することができる。
このように、連写撮影期間では、ストップモーション動画の生成に必要な最低限のフレームデータのみをメモリ104に蓄積することで、連写撮影期間の画像処理負荷およびメモリ104の記憶領域を削減することが可能となる。撮像装置100は、連写撮影終了後にストップモーション動画を生成する。図6の場合、撮像装置100は、3枚の連写撮影指示により、1秒のストップモーション動画×3=3秒のストップモーション動画を生成する。図8の場合、撮像装置100は、3枚の連写撮影指示により、1秒のストップモーション動画802を生成するので、図6の場合より、ストップモーション動画の時間が短くなり、撮影後の処理時間が短くなり、連写繰り返し性能が向上する。
図7の時刻T407、T412、T417では、画像処理部111は、ストップモーション用画像A〜Cの符号化により、Iフレームのストップモーション動画用フレームA〜Cを生成する。時刻T419では、画像処理部111は、ストップモーション動画用フレームA〜Cを必要フレーム数分コピーすることにより、ストップモーション動画を生成する。なお、画像処理部111は、時刻T407、T412、T417の符号化処理を行わず、時刻T419において、時刻T405、T410、T415で生成したストップモーション用画像A〜Cを基にストップモーション動画を生成してもよい。
(第2の実施形態)
本発明の第2の実施形態によるムービーダイジェストモードの連写撮影動作について説明する。第1の実施形態では、多数枚の連写撮影を行った場合に、ストップモーション動画用フレームが、メモリ104の割り当てられた記憶領域に収まらないことがある。そのような場合には、「過去の古いフレームを記憶領域から削除して新しいフレームを記憶する」または「新しいフレームを記憶しない」のが一般的である。しかし、撮影した静止画データのダイジェストとしての目的を有するダイジェスト動画としては、時系列的に偏った動画データになることは好ましくない。
第2の実施形態では、制御部101は、連写撮影により、ストップモーション動画用フレームが、メモリ104の割り当てられた記憶領域を超えるか否かを判定する。超える場合、制御部101は、1/2フレーム間引きになるように過去の古いフレームをメモリ104の記憶領域から削除して、削除により空いた記憶領域に、1/2フレーム間引きでフレームを記憶していく。続いて、制御部101は、連写撮影がさらに継続された場合には、ストップモーション動画用フレームが、メモリ104の割り当てられた記憶領域を再び超えるか否かを判定する。超える場合には、制御部101は、1/4フレーム間引きになるように過去の古いフレームをメモリ104の記憶領域から削除して、削除により空いた記憶領域に1/4間引きでフレームを記憶していく。
図9は、第2の実施形態によるメモリ104のフレーム記憶領域を示す図である。メモリ104は、例えば、20枚分のフレームを蓄積可能な記憶領域を有する。制御部101は、連写枚数が20枚を超えた場合に、過去の2n番目のフレーム(2,4,・・・,20)を削除し、以降、2n−1番目のフレーム(21,23,・・・,39)を空いた領域に記憶していく。さらに、制御部101は、連写枚数が40枚を超えた場合には、過去の4n−1番目のフレーム(3,7,・・・,39)を削除し、以降、4n−1番目のフレーム(43,47,・・・,79)を空いた領域に記憶していく。
画像処理部111は、撮像部110により生成された静止画データの数が第1の閾値(例えば20枚)を超える場合には、撮像部110により生成された静止画データのうちの離散的な一部の静止画データに基づくストップモーション動画を生成する。画像処理部111は、撮像部110により生成された静止画データの数が第1の閾値を超える場合には、撮像部110により生成された静止画データのうちの1/2の静止画データになるように間引かれた静止画データに基づくストップモーション動画を生成する。すなわち、その場合、画像処理部111は、撮像部110により生成された複数の静止画データの中から選択した所定の数の静止画データに基づいてストップモーション動画を生成する。画像処理部111は、撮像部110により生成された静止画データの数が第2の閾値を超える場合には、撮像部110により生成された静止画データのうちの1/4の静止画データになるように間引かれた静止画データに基づくストップモーション動画を生成する。第2の閾値は、第1の閾値より大きく、例えば40枚である。すなわち、画像処理部111は、撮像部110により生成された複数の静止画データの中から選択した所定の数の静止画データに基づくストップモーション動画を生成する。
このように、制御部101は、フレームがメモリ104の割り当てられた領域を超える場合に、1/2n間引きになるように、フレームを記憶していくことで、連写撮影のストップモーション動画を時系列的な偏りなく生成することができる。
第1および第2の実施形態では、撮像装置100について説明した。撮像装置100は、コンパクトデジタルカメラ、デジタル一眼カメラ、ビデオカメラ、携帯電話、スマートフォン、タブレット、工業用カメラ、医療用カメラ、車載カメラ等に適用可能である。
第1および第2の実施形態によれば、連写撮影時のコマ速や撮影時間に依存して、連写撮影性能が低下することなく、かつ、一連写撮影あたりの動画時間にバラつきのないストップモーション動画を生成することができる。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
101:制御部、102:操作部、103:バス、104:メモリ、110:撮像部、111:画像処理部、120:音声入力部、121:音声処理部、130:表示部、131:表示制御部、140:記録再生部、141:記録媒体、150:出力部、151:通信部

Claims (14)

  1. 連写撮影指示に応じて、複数の静止画データを順に生成する撮像手段と、
    前記複数の静止画データが生成された後、前記複数の静止画データに基づく動画を生成する生成手段と、
    前記複数の静止画データと前記動画を記録媒体に記録する記録手段と
    を有することを特徴とする撮像装置。
  2. 前記生成手段は、前記複数の静止画データのフレームをコピーすることにより前記動画を生成することを特徴とする請求項1に記載の撮像装置。
  3. 前記生成手段は、前記複数の静止画データのフレームの各フレーム数が均等になるように前記動画を生成することを特徴とする請求項2に記載の撮像装置。
  4. 前記生成手段は、所定時間の前記動画を生成することを特徴とする請求項1〜3のいずれか1項に記載の撮像装置。
  5. 前記生成手段は、前記複数の静止画データを静止画サイズから動画サイズに変換し、前記動画サイズの複数の静止画データに基づいて前記動画を生成することを特徴とする請求項1〜4のいずれか1項に記載の撮像装置。
  6. 前記生成手段は、前記複数の静止画データを複数のフレームとしてそれぞれ符号化し、前記複数の静止画データのフレームに基づく前記動画を生成することを特徴とする請求項1〜5のいずれか1項に記載の撮像装置。
  7. 前記生成手段は、前記複数の静止画データを複数のIフレームとしてそれぞれ符号化することを特徴とする請求項6に記載の撮像装置。
  8. 前記生成手段は、前記撮像手段により生成された静止画データの数が第1の閾値を超える場合には、前記撮像手段により生成された静止画データのうちの離散的な一部の静止画データに基づいて前記動画を生成することを特徴とする請求項1〜7のいずれか1項に記載の撮像装置。
  9. 前記生成手段は、前記撮像手段により生成された静止画データの数が第1の閾値を超える場合には、前記撮像手段により生成された複数の静止画データの中から選択した所定の数の静止画データに基づいて前記動画を生成することを特徴とする請求項8に記載の撮像装置。
  10. 前記生成手段は、前記撮像手段により生成された静止画データの数が前記第1の閾値より大きい第2の閾値を超える場合には、前記撮像手段により生成された複数の静止画データの中から選択した所定の数の静止画データに基づいて前記動画を生成することを特徴とする請求項9に記載の撮像装置。
  11. 前記撮像手段は、前記連写撮影指示の前に、動画データを生成し、
    前記記録手段は、前記連写撮影指示の後に、前記動画データを記録媒体に記録することを特徴とする請求項1〜10のいずれか1項に記載の撮像装置。
  12. 前記記録手段は、前記連写撮影指示の前の最新の所定時間以内の動画データを記録することを特徴とする請求項11に記載の撮像装置。
  13. 単写撮影指示が入力されると、前記撮像手段は、一の静止画データを生成し、前記生成手段は、前記一の静止画データに基づいて前記動画を生成し、前記記録手段は、前記一の静止画データと前記動画を記録媒体に記録することを特徴とする請求項1〜12のいずれか1項に記載の撮像装置。
  14. 連写撮影指示に応じて、複数の静止画データを順に生成する撮像手段を有する撮像装置の制御方法であって、
    前記複数の静止画データが生成された後、前記複数の静止画データに基づく動画を生成する生成ステップと、
    前記複数の静止画データと前記動画を記録媒体に記録する記録ステップと
    を有することを特徴とする撮像装置の制御方法。
JP2018197367A 2018-10-19 2018-10-19 撮像装置および撮像装置の制御方法 Pending JP2020065219A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018197367A JP2020065219A (ja) 2018-10-19 2018-10-19 撮像装置および撮像装置の制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018197367A JP2020065219A (ja) 2018-10-19 2018-10-19 撮像装置および撮像装置の制御方法

Publications (1)

Publication Number Publication Date
JP2020065219A true JP2020065219A (ja) 2020-04-23

Family

ID=70387628

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018197367A Pending JP2020065219A (ja) 2018-10-19 2018-10-19 撮像装置および撮像装置の制御方法

Country Status (1)

Country Link
JP (1) JP2020065219A (ja)

Similar Documents

Publication Publication Date Title
US20110142410A1 (en) Reproducing apparatus for video data
US10362262B2 (en) Data recording apparatus and method of controlling the same
WO2006028172A1 (ja) 記録装置および方法、再生装置および方法、並びにプログラム
JP2007336281A (ja) 画像記録装置、画像再生装置、画像記録方法及び画像再生方法
US9357194B2 (en) Imaging apparatus for minimizing repetitive recording of moving image data of a similar scene on a recording medium
JP2007266659A (ja) 撮像再生装置
JP2009225361A (ja) 記録装置および記録方法、ならびに、編集装置および編集方法
JP2012161012A (ja) 動画記録装置
JP5164610B2 (ja) 撮像装置及びその制御方法
JP6057701B2 (ja) 記録装置及びその制御方法
JP5818599B2 (ja) 動画記録装置
JP3905450B2 (ja) デジタルスチルカメラ
JP5683301B2 (ja) 画像記録装置
JP2004015580A (ja) 記録装置
US8948573B2 (en) Image processing apparatus
JP2005303336A (ja) 映像信号記録装置および映像信号再生装置
JP2020065219A (ja) 撮像装置および撮像装置の制御方法
JP2005318180A (ja) ハードディスクレコーダ、映像記録装置
JP2012165050A (ja) 動画記録装置、情報処理装置
KR101480407B1 (ko) 디지털 영상 처리 장치, 이의 제어 방법 및 상기 제어방법을 기록한 기록 매체
JP2015192227A (ja) 撮像装置およびその制御方法、ならびにプログラム
JP2006005610A (ja) パノラマ映像記録再生装置
JP2015099995A (ja) 記録装置及び記録装置の制御方法
JP6463967B2 (ja) 撮像装置及びその制御方法
JP6332963B2 (ja) 画像処理装置及び画像処理装置の制御方法