JP2015035752A - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP2015035752A JP2015035752A JP2013166507A JP2013166507A JP2015035752A JP 2015035752 A JP2015035752 A JP 2015035752A JP 2013166507 A JP2013166507 A JP 2013166507A JP 2013166507 A JP2013166507 A JP 2013166507A JP 2015035752 A JP2015035752 A JP 2015035752A
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- unit
- file
- control unit
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
Abstract
【課題】ユーザの編集作業における利便性を向上させることができる画像処理装置を提供する。
【解決手段】記録媒体に記録された動画ファイルを編集する画像処理装置であって、再生手段により再生された動画ファイルの動画の一部を指定する指定手段と、前記指定手段により指定された部分の動画を示す情報を表示装置に表示させる表示手段と、前記指定手段により指定された部分の動画を含む新たな動画ファイルを生成する編集手段において、前記指定手段により指定された部分の動画を復号するための動画データを前記再生手段により再生された動画ファイルから抽出して新たな動画ファイルを生成する第2の編集モードを有し、表示手段は、第2のモードで編集を行う場合、指定手段により指定された部分とは異なる位置の動画が新たな動画ファイルに含まれること表示装置に表示する。
【選択図】図5
【解決手段】記録媒体に記録された動画ファイルを編集する画像処理装置であって、再生手段により再生された動画ファイルの動画の一部を指定する指定手段と、前記指定手段により指定された部分の動画を示す情報を表示装置に表示させる表示手段と、前記指定手段により指定された部分の動画を含む新たな動画ファイルを生成する編集手段において、前記指定手段により指定された部分の動画を復号するための動画データを前記再生手段により再生された動画ファイルから抽出して新たな動画ファイルを生成する第2の編集モードを有し、表示手段は、第2のモードで編集を行う場合、指定手段により指定された部分とは異なる位置の動画が新たな動画ファイルに含まれること表示装置に表示する。
【選択図】図5
Description
本発明は、画像処理装置に関する。
従来、画像処理装置として、被写体を撮像し、得られた画像に基づいて動画データを生成して記録媒体に記録する撮像装置が知られている。画像処理装置の例としては、デジタルカメラ、携帯電話、コンピュータなどが知られている。たとえばコンピュータにおいては、動画データを編集したり圧縮したりするものが知られている(たとえば特許文献1)。また、MPEG方式の動画データを編集する際に、編集点に対応するフレームを復号するのに必要な画像データを含むように、編集点を自動的にGOP単位に変更して、再度圧縮符号化をすることなく動画データを編集するものが知られている(たとえば特許文献2)。
しかしながら、従来の画像処理装置においては、編集後の動画ファイルを生成するに当たり、元の動画ファイルを一度復号化し、編集点に対応する画像データを動画データとして圧縮符号化する編集モードと、編集点に対応する動画データを抽出し圧縮符号化しない編集モードを有するものにおいて、編集位置が変更されるのか、されないのか、をユーザが知ることができず、不便であるという問題があった。
そこで、本発明は、たとえば、ユーザの利便性を向上させることができる画像処理装置を提供することを目的とする。
このような目的を達成するために、本発明の画像処理装置は、記録媒体に記録された動画ファイルを編集する画像処理装置であって、記録媒体から動画ファイルを再生する再生手段と、前記再生手段により再生された動画ファイルの動画の一部を指定する指定手段と、前記指定手段により指定された部分の動画を示す情報を表示装置に表示させる表示手段と、前記指定手段により指定された部分の動画を含む新たな動画ファイルを生成する編集手段とを有し、前記編集手段は、前記指定手段により指定された部分の動画を復号し、復号した動画のうち指定された部分に対応する動画を符号化した動画データを含む新たな動画ファイルを生成する第1の編集モードと、前記指定手段により指定された部分の動画を復号するための動画データを前記再生手段により再生された動画ファイルから抽出して新たな動画ファイルを生成する第2の編集モードとを有し、前記表示手段は、前記第2のモードで編集を行う場合、前記指定手段により指定された部分とは異なる範囲の動画が新たな動画ファイルに含まれること前記表示装置に表示することを特徴とする。
本発明によれば、たとえば、ユーザの編集作業における利便性を向上させることができる。
以下、図面を参照して本発明の実施例を詳細に説明するが、この発明は以下の実施の形態に限定されない。なお、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。
なお、本実施例において説明される各機能ブロックは必ずしも個別のハードウェアである必要はない。すなわち、例えばいくつかの機能ブロックの機能は、1つのハードウェアにより実行されても良い。また、いくつかのハードウェアの連係動作により1つの機能ブロックの機能または、複数の機能ブロックの機能が実行されても良い。また、各機能ブロックの機能は、CPUがメモリ上に展開したコンピュータプログラムにより実行されても良い。
(実施例1)
本実施例では、撮像装置を例にとって説明するが、動画データを編集することができる装置であればどのような装置でも良い。たとえば、携帯電話、スマートフォン、タブレット型情報端末、ノート型情報端末、コンピュータ等であってもよい。
本実施例では、撮像装置を例にとって説明するが、動画データを編集することができる装置であればどのような装置でも良い。たとえば、携帯電話、スマートフォン、タブレット型情報端末、ノート型情報端末、コンピュータ等であってもよい。
以下、このような撮像装置について説明する。
<全体構成>
まず、図1を用いて、本実施例の撮像装置100の主要な構成を説明する。図1において、制御部101は、例えば、CPU(MPU)、メモリ(DRAM、SRAM)、不揮発性メモリ(EEPROM)などからなり、各種処理(プログラム)を実行して撮像装置100の各ブロックを制御したり、各ブロック間でのデータ転送を制御したりする。また、制御部101は、ユーザからの操作を受け付ける操作部102からの操作信号に応じて、撮像装置100の各ブロックを制御する。また、制御部101は、後述の画像処理部111によって得られた画像を解析し、その解析結果に応じて、撮像装置100の各ブロックを制御する。
まず、図1を用いて、本実施例の撮像装置100の主要な構成を説明する。図1において、制御部101は、例えば、CPU(MPU)、メモリ(DRAM、SRAM)、不揮発性メモリ(EEPROM)などからなり、各種処理(プログラム)を実行して撮像装置100の各ブロックを制御したり、各ブロック間でのデータ転送を制御したりする。また、制御部101は、ユーザからの操作を受け付ける操作部102からの操作信号に応じて、撮像装置100の各ブロックを制御する。また、制御部101は、後述の画像処理部111によって得られた画像を解析し、その解析結果に応じて、撮像装置100の各ブロックを制御する。
操作部102は、例えば、電源ボタン、静止画記録ボタン、動画記録開始ボタン、ズーム調整ボタン、オートフォーカスボタンなどの撮影に関連する各種操作を入力するスイッチ類からなる。また、メニュー表示ボタン、決定ボタン、その他カーソルキー、ポインティングデバイス、タッチパネル等からなり、ユーザによりこれらのキーやボタンが操作されると制御部101に操作信号を送信する。また、バス103は、各種データ、制御信号、指示信号などを撮像装置100の各ブロックに送るための汎用バスである。不揮発性メモリ105は、電気的に消去・記録可能なメモリであり、制御部101の動作用の定数、プログラム等が記憶される。
撮像部110は、レンズにより取り込まれた被写体の光学像を、絞りにより光量を制御して、CCDセンサやCMOSセンサ等の撮像素子により画像信号に変換し、アナログデジタル変換をして、画像処理部111に送信する。画像処理部111は、入力されたデジタル画像信号に、設定値に基づいてホワイトバランスや色、明るさなどを調整する画質調整処理を行う。そして、画像処理部111で処理された画像信号は、制御部101により、メモリ104や後述の映像出力部150や表示制御部131に送信される。
本実施例においては、例えば、撮像部110は、「光学ズーム」機能、「光学防振」機能を有し、画像処理部111は、「電子ズーム」機能、「電子防振」機能を有している。ここで、「光学ズーム」機能、「電子ズーム」機能は、ユーザの操作に応じて、得られる画像を拡大する機能である。また、「光学防振」機能、「電子防振」機能は、撮像装置100本体の振動による画像の揺れを防止する機能である。そして、これらの機能は、制御部101の制御の元、同時に使用されたり交互に使用されたり、単独で使用されたりする。
ここで、「光学ズーム」機能とは、ユーザにより操作部102のズームキーが操作されたことに応じて、撮像部110のレンズを移動させ、取り込まれる被写体の光学像を拡大/縮小する機能である。また、「電子ズーム」機能とは、ユーザにより操作部102のズームキーが操作されたことに応じて、画像処理部111が、撮像部110により生成された画像のうち一部を切り出した画像を拡大した画像信号を生成する処理である。また、「光学防振」機能とは、不図示の振動検出部からの加速度信号の値に基づいて、レンズの移動量を算出し、レンズを移動させることで、取得される画像の揺れを防止する機能である。また、「電子防振」機能とは、不図示の振動検出部からの加速度信号の値に基づいて、撮像部110により取得された画像信号の位置を調整することにより、画像の揺れを防止する機能である。また、「電子防振」機能は、不図示の振動検出部からの加速度信号の値に基づいて、撮像部110の撮像素子における読み出し位置をずらすことによっても実現できる。これらの機能は公知の技術であるため、詳細な説明は省略する。
また、音声入力部120は、例えば、内蔵された無指向性のマイクまたは音声入力端子を介して接続された外部マイク等により、撮像装置100の周囲の音声を集音(収音)し、アナログデジタル変換をして音声処理部121に送信する。音声処理部121は、入力されたデジタル音声信号のレベルの適正化処理等の音声に関する処理を行う。そして、音声処理部121で処理された音声信号は、制御部101によりメモリ104に送信される。メモリ104は、画像処理部111、音声処理部121により得られた画像信号及び音声信号を一時的に記憶する。
画像処理部111及び音声処理部121は、メモリ104に一時的に記憶された画像信号や音声信号を読み出して画像信号の符号化、音声信号の符号化などを行い、圧縮画像信号、圧縮音声信号等を生成する。制御部101は、これらの圧縮画像信号、圧縮音声信号を、記録再生部140に送信する。
記録再生部140は、記録媒体141に対して画像処理部111及び音声処理部121で生成された圧縮画像信号、圧縮音声信号、その他撮影に関する制御データ等を記録する。また、音声信号を圧縮符号化しない場合には、制御部101は、音声処理部121により生成された音声信号と画像処理部111により生成された圧縮画像信号とを、記録再生部140に送信し記録媒体141に記録させる。ここで、記録媒体141は、撮像装置に内蔵された記録媒体でも、取外し可能な記録媒体でもよく、撮像装置100で生成した圧縮画像信号、圧縮音声信号、音声信号、各種データなどを記録することができればよい。例えば、記録媒体141は、ハードディスク、光ディスク、光磁気ディスク、CD−R、DVD−R、磁気テープ、不揮発性の半導体メモリ、フラッシュメモリ、などのあらゆる方式の記録媒体を含む。
また、記録再生部140は、記録媒体141に記録された圧縮画像信号、圧縮音声信号、音声信号、各種データ、プログラムを読み出す(再生する)。そして読み出した圧縮画像信号、圧縮音声信号を、制御部101は画像処理部111及び音声処理部121に送信する。画像処理部111及び音声処理部121は、圧縮画像信号、圧縮音声信号を一時的にメモリ104に記憶させ、所定の手順で復号し、復号した音声信号を音声出力部151へ、復号化した画像信号を映像出力部150や表示制御部131に送信する。また、音声信号が記録媒体141に非圧縮記録されている場合には、制御部101は、音声信号を直接音声出力部151に送信する。
音声出力部151は、例えば音声出力端子からなり、接続されたイヤホンやスピーカなどから音声を出力させるために音声信号を送信する。また、音声出力部151は、撮像装置100に内蔵され、音声信号にかかる音声を出力するスピーカであってもよい。映像出力部150は、例えば映像出力端子からなり、接続された外部ディスプレイ等に映像を表示させるために画像信号を送信する。また、音声出力部151、映像出力部150は、統合された1つの端子、例えばHDMI(登録商標)(High−Definition Multimedia Interface)端子のような端子であってもよい。
また、表示制御部131は、画像処理部111から送信された画像信号による映像や、撮像装置100の操作をするための操作画面(メニュー画面)等を表示部130に表示させる。表示部130は、例えば、液晶ディスプレイ、有機ELディスプレイ、電子ペーパー等の表示デバイスであれば何でもよい。
通信部152は、撮像装置100と外部装置との間で通信を行うもので、例えば、音声信号、画像信号、圧縮音声信号、圧縮画像信号などのデータを送信したり受信したりする。また、撮影開始や終了コマンド等の、撮影にかかる制御信号や、その他の情報を送信したり受信したりする。通信部152は、例えば、赤外線通信モジュール、Bluetooth(登録商標)通信モジュール、無線LAN通信モジュール、WirelessUSB、GPS受信機等の無線通信モジュールである。
<通常動作>
ここで、本実施例の撮像装置100の通常の動作について説明する。
ここで、本実施例の撮像装置100の通常の動作について説明する。
本実施例の撮像装置100は、ユーザが操作部102の電源ボタンを操作すると、操作部102から制御部101に起動の指示が出される。この指示を受けて、制御部101は、不図示の電源供給部を制御して、撮像装置100の各ブロックに対して電源を供給させる。電源が供給されると、制御部101は、例えば、操作部102のモード切り換えスイッチが、例えば、静止画撮影モード、動画撮影モード、再生モード等のどのモードであるかを操作部102からの指示信号により確認する。
静止画撮影モードでは、撮像装置100は撮影待機状態でユーザが操作部102の静止画記録ボタンを操作することで撮影を行い、圧縮画像信号が記録媒体141に記録される。そして再び撮影待機状態になる。動画撮影モードでは、撮像装置100は撮影待機状態でユーザが操作部102の動画記録開始ボタンを操作することで撮影を開始し、その間、圧縮画像信号と圧縮音声信号または音声信号が記録媒体141に記録される。そしてユーザが操作部102の動画記録終了ボタンを操作することで撮影を終了し、再び撮影待機状態になる。再生モードでは、ユーザが選択したファイルに関する圧縮画像信号や圧縮音声信号または音声信号を記録媒体141から再生して、音声出力部151から音声信号を出力し、表示部130に映像を表示させる。
まず、静止画撮影モードについて説明する。操作部102により静止画撮影モードが設定されると前述のようにまず、制御部101は、撮像装置100の各ブロックを撮影待機状態に設定させる。
撮影待機状態では、画像処理部111、113は、画像信号を表示制御部131に送信し表示部130に画像信号に関する映像を表示させる。ユーザはこの様にして表示された画面を見ながら撮影の準備を行う。
撮影待機状態で、ユーザが操作部102の静止画記録ボタンを操作することにより撮影指示信号が送信されると、制御部101は撮影制御信号を撮像装置100の各ブロックに送信し、以下のような動作をさせるように制御する。
撮像部110、112は、レンズにより取り込まれた被写体の光学像を撮像素子により画像信号に変換し、アナログデジタル変換し、画像処理部111に送信する。画像処理部111は、入力されたデジタル画像信号の画質調整処理(ホワイトバランスや色、明るさなど)を設定値に基づいて処理する。そして、画像処理部111、113で処理された画像信号は、制御部101によりメモリ104や映像出力部150や表示制御部131に送信される。ここで、表示部130に表示された映像を見ることで、ユーザは撮影した静止画を確認することができる。
そして、画像処理部111、113は、メモリ104に一時的に記憶された画像信号を読み出して所定の符号化を行い、圧縮画像信号を生成し、記録再生部140に出力する。記録再生部140は、UDF、FAT等のファイルシステム管理のもとに、圧縮画像信号を静止画ファイルとして記録媒体141に書き込んでいく。
なお、制御部101は、画像処理部111、113による符号化の動作が終了すると、撮影待機状態に移行させるように制御信号を撮像装置100の各ブロックに送信して、撮影待機状態に戻る。
次に、動画撮影モードについて説明する。操作部102により動画撮影モードが設定されると前述のようにまず、制御部101は、撮像装置100の各ブロックを撮影待機状態に設定させる。
撮影待機状態では、画像処理部111、113は、画像信号を表示制御部131に送信し表示部130に画像信号に関する映像を表示させる。ユーザはこの様にして表示された画面を見ながら撮影の準備を行う。
撮影待機状態で、ユーザが操作部102の動画記録開始ボタンを操作することにより撮影開始の指示信号が送信されると、制御部101は撮影開始の制御信号を撮像装置100の各ブロックに送信し、以下のような動作をさせるように制御する。
撮像部110、112は、レンズにより取り込まれた被写体の光学像を撮像素子により画像信号に変換し、アナログデジタル変換し、画像処理部111、113に送信する。画像処理部111、113は、入力されたデジタル画像信号の画質調整処理(ホワイトバランスや色、明るさなど)を設定値に基づいて処理する。そして、画像処理部111、113で処理された画像信号は、制御部101により表示制御部131、メモリ104に送信される。表示制御部131は、受信した画像信号に関する映像を表示部130に表示させる。
一方、音声入力部120は、マイクにより得られたアナログ音声信号をデジタル変換し、得られたデジタル音声信号を音声処理部121に送信する。音声処理部121は、入力されたデジタル音声信号のレベルの適正化処理等をして音声信号を出力する。制御部101は、音声処理部121により処理された音声信号をメモリ104に送信する。
そして、画像処理部111、113及び音声処理部121は、メモリ104に一時的に記憶された画像信号や音声信号を読み出して所定の符号化を行い、圧縮画像信号、圧縮音声信号等を生成する。そして、制御部101は、これらの圧縮画像信号、圧縮音声信号を合成し、データストリームを形成し、記録再生部140に出力する。記録再生部140は、UDF、FAT等のファイルシステム管理のもとに、データストリームを一つの動画ファイルとして記録媒体141に書き込んでいく。また、音声を圧縮しない場合には、制御部101は、音声処理部121で生成した音声信号を画像処理部111、113で生成された圧縮画像信号とともに、記録再生部140に出力する。そして、記録再生部140は、前述したように、UDF、FAT等のファイルシステム管理のもとに、データストリームを一つの動画ファイルとして記録媒体141に書き込んでいく。
以上の動作を撮影中は継続する。
また、撮影の間、ユーザによる操作部102の操作に応じて、または画像処理部111、113により生成された画像信号の解析結果に応じて、制御部101は、撮像部110、112や画像処理部111,113、音声処理部121などに各種制御信号を送信している。例えば、レンズの移動や絞り調整などをさせるための制御信号を撮像部110、112に送信するとともに、画像や音声を調整するための制御信号を画像処理部111、113、音声処理部121に送信する。
また、同様に撮影の間、ユーザにより操作部102のズームキーを操作することで、制御部101により、撮像部110、112の「光学ズーム」機能や、画像処理部111、113の「電子ズーム」機能を動作させることができる。また、不図示の振動検出部により検出された加速度信号に基づいて、制御部101により、撮像部110、112の「光学防振」機能や、画像処理部111、113の「電子防振」機能が動作している。
そして、ユーザが操作部110の動画記録終了ボタンを操作することにより撮影終了の指示信号が制御部101に送信されると、制御部101は、撮影終了の制御信号を撮像装置100の各ブロックに送信し、以下のような動作をさせるように制御する。
画像処理部111、113、音声処理部121は、それぞれ画像信号、音声信号のメモリ104への送信を停止する。そして、メモリ104に記憶されている残りの画像信号と音声信号とを読み出して所定の符号化を行い、圧縮画像信号、圧縮音声信号等を生成する。
制御部101は、これらの最後の圧縮画像信号、圧縮音声信号を合成し、データストリームを形成し、記録再生部140に出力する。音声を圧縮しない場合には、制御部101は、音声処理部121により生成された音声信号と、圧縮画像信号とを記録再生部140に出力する。
記録再生部140は、UDF、FAT等のファイルシステム管理のもとに、データストリームを一つの動画ファイルとして記録媒体141に書き込んでいく。そして、データストリームの供給が停止したら、制御部101はサムネイルを生成するために以下のような動作をさせるように制御する。
記録再生部140は記録媒体141に記録した動画ファイルの先頭フレームの圧縮画像信号を読み出し、画像処理部111、113に送信する。画像処理部111、113は、圧縮画像信号を一時的にメモリ104に記憶させ、所定の手順で復号する。次に画像処理部111、113は得られた画像信号に対してサムネイル用の所定の符号化を行い、サムネイル用圧縮画像信号を生成する。そして、制御部101はサムネイル用圧縮画像信号を記録再生部140に出力する。記録再生部140は、UDF、FAT等のファイルシステム管理のもとに、サムネイル用圧縮画像を、基となる動画ファイルに結合させるように記録媒体141に書き込み、動画ファイルを完成させるとともに記録動作を停止する。
制御部101は、記録動作が停止すると、撮影待機状態に移行させるように制御信号を撮像装置100の各ブロックに送信して、撮影待機状態に戻る。
ユーザによる操作部102の操作に応じて、著作権者名および作成者名を不揮発性メモリ105に記憶させることが可能である。また、操作部102が操作されるたびに、不揮発性メモリ105に記憶された著作権者名および作成者名を変更することが可能である。不揮発性メモリ105に記憶された著作権者名および作成者名は、撮影処理に応じて静止画ファイルまたは動画ファイルにメタデータとして記録される。
前述のアウトカメラおよびインカメラはそれぞれが、静止画撮影モードと動画撮影モードと切り替えることが可能である。アウトカメラおよびインカメラが両方とも静止画撮影モードの場合は、2つの静止画ファイルを同時に記録する。アウトカメラおよびインカメラが両方とも動画撮影モードの場合は、2つの動画ファイルを同時に記録する。アウトカメラおよびインカメラのどちらか一方が静止画撮影モードでもう一方が動画撮影モードの場合、1つの静止画ファイルと1つの動画ファイルを同時に記録する。
次に、再生モードについて説明する。操作部102により再生モードが設定されると、制御部101は、再生状態に移行させるように制御信号を撮像装置100の各ブロックに送信し、以下のような動作をさせる。
記録再生部140は、記録媒体141に記録された圧縮画像信号からなる静止画ファイル、または圧縮画像信号と圧縮音声信号または音声信号とからなる動画ファイルを読み出す。制御部101は読み出された圧縮画像信号、圧縮音声信号を、画像処理部111、113及び音声処理部121に送る。圧縮されていない音声信号であれば、制御部101は、音声出力部151に音声信号を送信する。
画像処理部111、113及び音声処理部121は、圧縮画像信号、圧縮音声を一時的にメモリ104に記憶させ、所定の手順で復号する。そして制御部101は、復号化した音声信号を音声出力部151へ、復号化した画像信号を映像出力部150や表示制御部131に送信する。表示制御部131は、入力された画像信号にかかる映像を表示部130に表示させ、音声出力部151は、入力された音声信号にかかる音声を内蔵されたスピーカや、接続されたイヤホンやスピーカから出力する。
本実施例の撮像装置は以上のように、静止画、動画の記録再生を行う。
<動画ファイルについて>
次に図2を用いて動画ファイルのフォーマットについて説明する。本実施例で扱う動画ファイルのフォーマットはMP4とする。
次に図2を用いて動画ファイルのフォーマットについて説明する。本実施例で扱う動画ファイルのフォーマットはMP4とする。
MP4フォーマットでは、ファイルに記録されるデータは「ボックス」と呼ばれるデータ構造の内部に記述され、ボックスを単位としてファイルに記録される。ボックスは次のようなフィールドから構成される。
Size:Sizeフィールドを含む、ボックス全体のデータサイズを表す4バイトのフィールド
Type:ボックスの種類を表す4バイトのタイプ識別子
Size:Sizeフィールドを含む、ボックス全体のデータサイズを表す4バイトのフィールド
Type:ボックスの種類を表す4バイトのタイプ識別子
なお、Typeフィールド以降のフィールドはボックスによってはオプションであるため、ここでは説明を省略する。また、ボックス内にボックスを包含することが可能であり、それにより入れ子構造を実現している。
まず、動画ファイルは、大きく分けて、ftyp(ファイルタイプボックス)201と、moov(ムービーボックス)202、mdat(ムービーデータボックス)203のボックスからなる。ftyp(ファイルタイプボックス)201は、ファイルの種別を表すボックスである。moov(ムービーボックス)202は、後述のmvhd(ムービーヘッダボックス)やtrak(トラックボックス)などを含む、音声や映像に関する情報が格納されるボックスである。mdat(ムービーデータボックス)203は、音声や映像、テキストなどの実データが格納されるボックスである。
次に、moov(ムービーボックス)202の内部構成について説明する。mdat(ムービーデータボックス)203は、uuid(汎用一意識別子ボックス)204、udta(ユーザーデータボックス)205、mvhd206は、映像用trak207、音声用trak208、テキスト用trak209からなる。uuid(汎用一意識別子ボックス)204は、任意の識別子やデータが格納されるボックスである。udta(ユーザーデータボックス)205は、撮像装置100のモデル名や通信部152で受信した撮像装置100の位置情報やUTC時刻などのメタデータが格納されるボックスである。mvhd206は、動画の作成日時や修正日時、タイムスケール、Duraionなどが格納されるボックスである。映像用trak207には、映像のコーデックの種類や後述のstsc(サンプルチャンクボックス)やstss(同期サンプルボックス)、stsz(サンプルサイズボックス)、stco(チャンクオフセット)などmdat内の映像データに関する情報が格納される。音声用trak208には、音声のサンプリング周波数やビット数、チャンネル数などのmdat内の音声データに関する情報が格納される。テキスト用trakには、mdat内のテキストデータに関する情報が格納される。
また、映像用trak207は、tkhd210、tref211、stsc212、stts213、stsz214、stco215からなる。tkhd210は、そのトラックの作成日時やDuration、そしてIDなどが格納される。本実施例では、映像トラックのIDは1、音声トラックのIDは2、テキストトラックのIDは3、とする。tref211は、トラック間の参照情報が格納される。本実施例では、映像トラックがテキストトラックをチャプタとして参照するため、映像用のtref211には、テキストトラックのIDである3が記載され、それをチャプタとして参照するため、識別子として‘chap’と記載されている。音声用trak208も同様の構造である。なお、テキスト用trak209にはtrefは存在しない。stsc212は、1チャンクがいくつのサンプル(映像の場合はフレーム)数で構成されているかを示す情報が格納される。本実施例では全ての映像チャンクが1チャンク=15サンプル(フレーム)から構成されるものとする。stts213は、サンプル数と各サンプルのDurationを格納する。stsz214は、各サンプルのデータサイズを格納する。stco215は、各チャンクのファイルオフセットを格納する。
mdat203は、Wide216および、実データかなる。実データは、動画データ、音声データ、テキストデータであって、それらを分割した映像チャンク、音声チャンク、テキストチャンクからなる。Wide216は、動画ファイルサイズが4GB以上の場合の64Bit拡張用のボックスである。217、218はmdat内に格納されているテキストチャンクであり、チャプタのタイトルに対応するがテキストデータが格納される。219および220はmdat内に格納されている音声チャンクであり、221および222はmdat内に格納されている映像チャンクデータである。
動画ファイルは以上のような構造になっており、動画ファイルを再生する場合や動画ファイルを編集する場合には、制御部101が、stsz214およびstco215に格納されている情報を用いて再生を行う。これにより、動画データの任意のフレーム、そのフレームに対応する音声データ、にアクセスすることができるようになっている。
<動画ファイルの編集>
次に、選択された動画ファイルを編集する際の動作について説明する。本実施例の撮像装置100は、記録媒体141に記録された動画ファイルを編集して新たな動画ファイルを生成することができる。このとき、制御部101は、記録媒体141に記録された動画ファイルを読み出すように記録再生部140を制御する。そして、制御部101は、操作部102からの指示により指定されたフレームに対応する画像を復号化するように画像処理部111を制御する。そして、制御部101は、記録媒体141に記録された動画ファイルの動画のうち、操作部102からの指示により指定された部分を新たな動画ファイルに含めるように編集をする。
次に、選択された動画ファイルを編集する際の動作について説明する。本実施例の撮像装置100は、記録媒体141に記録された動画ファイルを編集して新たな動画ファイルを生成することができる。このとき、制御部101は、記録媒体141に記録された動画ファイルを読み出すように記録再生部140を制御する。そして、制御部101は、操作部102からの指示により指定されたフレームに対応する画像を復号化するように画像処理部111を制御する。そして、制御部101は、記録媒体141に記録された動画ファイルの動画のうち、操作部102からの指示により指定された部分を新たな動画ファイルに含めるように編集をする。
本実施例の撮像装置100は、少なくとも、2つの編集モードを有する。一つは、指定された部分の動画を復号し、復号した動画のうち指定された部分に対応する動画を符号化し、得られた動画データを含む新たな動画ファイルを生成する第1の編集モード。もう一つは、指定された部分の動画を復号するための動画データを元の動画ファイルから抽出して新たな動画ファイルを生成する第2の編集モード。第1の編集モードでは、制御部101は、指定された部分の動画を復号するように画像処理部111を制御し、さらに指定された部分の動画を再び圧縮および符号化するように画像処理部111を制御する。そして得られた動画データを含む新たな動画ファイルを生成し、記録媒体141に記録するように記録再生部140を制御する。第2の編集モードでは、制御部101は、指定された部分の動画を復号するための動画データを特定し、記録媒体141から読みだすように記録再生部140を制御する。そして、読みだされた動画データを含むあらたな動画ファイルを生成し、記録媒体141に記録するように記録再生部140を制御する。このとき、制御部101は、画像処理部111に圧縮及び符号化を行わせない。また、第2の編集モードにおいては、ユーザの操作部102の操作により指定された部分とは異なる範囲の動画が新たな動画ファイルに含まれることを示す情報を表示装置130に表示するように表示制御部131を制御する。
ここでは、ユーザが操作部102を操作して編集対象の動画ファイルを選択した場合の動作について説明する。
図3は、撮像装置100の表示部130に表示される画面の遷移を示している。図4は、編集動作の処理手順を示すフロー図である。図4は、制御部101が、撮像装置100の各ブロックを制御することで実行する動作を示している。なお、本実施例では、編集動作のとして複数の編集モードを有する。第1の編集モードは、指定された範囲の画像を動画データとして圧縮して動画ファイルを生成し、記録媒体に記録するモードである。第2の編集モードは、指定された範囲に対応する動画データを編集対象の動画ファイルから抽出し、抽出した動画データを圧縮せずに新たな動画ファイルを生成する。
図3において、In点選択アイコン301は、編集対象の動画のIn点指定するためのIn点指定アイコン307を選択するためのGUIボタンである。Out点選択アイコン302は、編集対象の動画のOut点を指定するためのOut点指定アイコン308を選択するためのGUIボタンである。ここで、「In点」とは、編集後の動画における再生開始位置であり、「Out点」とは、編集後の動画における再生終了位置である。ユーザは、In点指定アイコン307、Out点指定アイコン308を、選択された動画ファイルの動画の再生開始から再生終了までの時間を示すバーアイコン309上で移動させて編集後の動画の再生開始位置、再生終了位置を選択する。次に、再生アイコン303は、In点指定アイコン307、Out点指定アイコン308により指定されたIn点とOut点の区間の再生を指示するためのGUIボタンである。保存アイコン304は、In点指定アイコン307、Out点指定アイコン308により指定されたIn点とOut点の区間の動画を動画ファイルとして保存する指示をするためのGUIボタンである。キャンセルアイコン305は、編集処理のキャンセルを指示するためのGUIボタンである。キャンセルアイコン305が選択され、決定ボタンが操作されると、編集動作を終了する。カット可能アイコン306はIn点指定アイコン307、Out点指定アイコン308により指定されたIn点、Out点が2GOP(Group Of Pictures)の倍数である場合に、表示されるアイコンである。ここで、GOPとは、いわゆるMPEG等のフレーム間予測符号化を用いる動画における、「フレーム内符号化された画像を少なくとも一つ含むフレーム画像の集合」である。本実施例においては、GOPは15フレームで構成されるものとする。すなわち、カット可能アイコン305は、In点指定アイコン307、Out点指定アイコン308により指定されたIn点、Out点が、0フレーム目、30フレーム目、60フレーム目、90フレーム目、など、30フレーム毎に表示される。時間表示領域310には、編集後の動画の総再生時間を表示が表示される領域である。また、フレーム画像表示領域311には、In点指定アイコン307、Out点指定アイコン308により指定されたIn点、Out点に対応するフレームの画像が表示される。
編集対象の動画ファイルが選択されると、図4に示す動作が開始される。まず、制御部101は、図3Aに示す画面を表示部130に表示するように表示制御部131を制御する。
(S401)
次に、制御部101は、操作部102からの操作信号に応じて、In点指定アイコン307により指定されたIn点「f1」特定する。ここで、「f1」は選択された動画ファイルの動画のフレーム番号を示すものとする。
次に、制御部101は、操作部102からの操作信号に応じて、In点指定アイコン307により指定されたIn点「f1」特定する。ここで、「f1」は選択された動画ファイルの動画のフレーム番号を示すものとする。
(S402)
次に、制御部101は、操作部102からの操作信号に応じて、Out点指定アイコン308により指定されたOut点「f2」を特定する。ここで、「f2」は選択された動画ファイルの動画のフレーム番号を示すものとする。
次に、制御部101は、操作部102からの操作信号に応じて、Out点指定アイコン308により指定されたOut点「f2」を特定する。ここで、「f2」は選択された動画ファイルの動画のフレーム番号を示すものとする。
(S403)
次に、制御部101は、操作部102からの操作信号に応じて、保存アイコン304が選択されたか否かを判定する。すなわち、ユーザにより、In点、Out点の位置が特定され、編集後の動画を動画ファイルとして記録媒体141に記録する指示が入力されたか否かを判定する。保存アイコン304が選択されるまでは、S401からS403を繰り返す。このときの表示部130の表示状態を示すものが図3Bである。図3Bでは保存アイコン304が選択され、In点指定アイコン307、Out点指定アイコン308により、選択された動画ファイルに対応する動画上でIn点とOut点が指定された状態を示している。
次に、制御部101は、操作部102からの操作信号に応じて、保存アイコン304が選択されたか否かを判定する。すなわち、ユーザにより、In点、Out点の位置が特定され、編集後の動画を動画ファイルとして記録媒体141に記録する指示が入力されたか否かを判定する。保存アイコン304が選択されるまでは、S401からS403を繰り返す。このときの表示部130の表示状態を示すものが図3Bである。図3Bでは保存アイコン304が選択され、In点指定アイコン307、Out点指定アイコン308により、選択された動画ファイルに対応する動画上でIn点とOut点が指定された状態を示している。
(S404)
一方、S403で、保存アイコン304が選択された場合、制御部101は、記録媒体141の空き容量を算出する。ここで、本実施例の撮像装置100は、記録媒体141の空き容量として、2種類の空き容量を算出する。空き容量「x1」は、記録媒体141の空きクラスタ数とクラスタサイズcを掛け合わせた値である。一方、SC空き容量「x2」は、記録媒体141のスピードクラスに対応したスピードクラス記録を行える空き容量である。スピードクラス記録とは、所定数の連続した空きクラスタからなるアクセスユニット単位で記録を行う。したがって、SC空き容量「x2」は、所定数の連続した空きクラスタからなるアクセスユニットの数と、アクセスユニットを構成するクラスタ数と、クラスタサイズcを掛け合わせた値である。記録媒体の記録領域が断片化している場合は、(空き容量「x1」)>(SC空き容量「x2」)となる。そのため、制御部101は、記録媒体141のFAT(ファイルアロケーションテーブル)および、記録媒体141のブートセクタに記載されたクラスタサイズcの情報を取得するように記録再生部140を制御する。そして、制御部101は、取得したFATの空きクラスタの状態を判定し、空き容量「x1」およびSC空き容量「x2」を算出する。
一方、S403で、保存アイコン304が選択された場合、制御部101は、記録媒体141の空き容量を算出する。ここで、本実施例の撮像装置100は、記録媒体141の空き容量として、2種類の空き容量を算出する。空き容量「x1」は、記録媒体141の空きクラスタ数とクラスタサイズcを掛け合わせた値である。一方、SC空き容量「x2」は、記録媒体141のスピードクラスに対応したスピードクラス記録を行える空き容量である。スピードクラス記録とは、所定数の連続した空きクラスタからなるアクセスユニット単位で記録を行う。したがって、SC空き容量「x2」は、所定数の連続した空きクラスタからなるアクセスユニットの数と、アクセスユニットを構成するクラスタ数と、クラスタサイズcを掛け合わせた値である。記録媒体の記録領域が断片化している場合は、(空き容量「x1」)>(SC空き容量「x2」)となる。そのため、制御部101は、記録媒体141のFAT(ファイルアロケーションテーブル)および、記録媒体141のブートセクタに記載されたクラスタサイズcの情報を取得するように記録再生部140を制御する。そして、制御部101は、取得したFATの空きクラスタの状態を判定し、空き容量「x1」およびSC空き容量「x2」を算出する。
(S405)
次に、制御部101は、編集対象の動画ファイルのヘッダサイズhを検出、取得する。ヘッダサイズhは、図2のftyp(ファイルタイプボックス)201と、moov(ムービーボックス)202のデータサイズの合計である。
次に、制御部101は、編集対象の動画ファイルのヘッダサイズhを検出、取得する。ヘッダサイズhは、図2のftyp(ファイルタイプボックス)201と、moov(ムービーボックス)202のデータサイズの合計である。
(S406)
次に、制御部101は、編集後のファイルサイズを算出する。一つは、「圧縮せずに新規保存」(第2の編集モードで生成した動画ファイルを保存)をした場合のファイルサイズs1である。「圧縮せずに新規保存」とは、編集対象の動画ファイルの動画をIn点、Out点に対応する正確なフレームではなく、2GOP単位の動画データを動画ファイルから抽出して抽出した動画データを新たな動画ファイルとして記録媒体141に記録するものである。すなわち、GOP単位で動画を編集するため、動画データの各フレームを一度復号化して、再度MPEG等の圧縮符号化技術を用いて圧縮する必要がない。そのため、制御部101は、In点「f1」、Out点「f2」を含む2GOP単位の編集点を特定して新たにIn点「f1」、Out点「f2」を設定し、そのIn点「f1」、Out点「f2」に対応する動画データのサイズを算出する。なお、2GOP単位の編集点としての新たなIn点「f1」、Out点「f2」は、以下の式で算出される。なお、本実施例ではGOPは15フレームからなる。
f1=floor(f1/30)×30
f2=ceil(f2/30)×30
次に、制御部101は、編集後のファイルサイズを算出する。一つは、「圧縮せずに新規保存」(第2の編集モードで生成した動画ファイルを保存)をした場合のファイルサイズs1である。「圧縮せずに新規保存」とは、編集対象の動画ファイルの動画をIn点、Out点に対応する正確なフレームではなく、2GOP単位の動画データを動画ファイルから抽出して抽出した動画データを新たな動画ファイルとして記録媒体141に記録するものである。すなわち、GOP単位で動画を編集するため、動画データの各フレームを一度復号化して、再度MPEG等の圧縮符号化技術を用いて圧縮する必要がない。そのため、制御部101は、In点「f1」、Out点「f2」を含む2GOP単位の編集点を特定して新たにIn点「f1」、Out点「f2」を設定し、そのIn点「f1」、Out点「f2」に対応する動画データのサイズを算出する。なお、2GOP単位の編集点としての新たなIn点「f1」、Out点「f2」は、以下の式で算出される。なお、本実施例ではGOPは15フレームからなる。
f1=floor(f1/30)×30
f2=ceil(f2/30)×30
このようにして算出された新たなIn点「f1」、Out点「f2」に基づいて、制御部101は、In点「f1」、Out点「f2」に対応するフレームの動画データのファイルオフセットを特定する。In点「f1」のファイルオフセットをCoff、Out点「f2」のファイルオフセットをVoffとすると、動画データの実データに対応するデータのサイズm1は、以下の式で求められる。すなわち、編集後の動画ファイルのmdat203のサイズである。
m1=Voff−Coff+a×2
m1=Voff−Coff+a×2
ここで、「a」は、mdat203のボックスサイズ及びボックスタイプを示すデータであり、一般的には、8[byte]である。これに、ヘッダサイズhと、マージンとしての2クラスタを足し合わせたものが、「圧縮せずに新規保存」をした場合のファイルサイズs1である。すなわち、「圧縮せずに新規保存」をした場合のファイルサイズs1は以下の式で求められる。
s1=h+m1+c×2
s1=h+m1+c×2
以上のように、制御部101は、「圧縮せずに新規保存」をした場合のファイルサイズs1を算出する。
(S407)
次に、制御部101は。「圧縮して新規保存」(第1の編集モードで生成した動画ファイルを保存)をした場合のファイルサイズs2を算出する。「圧縮して新規保存」とは、編集対象の動画ファイルの動画のIn点、Out点に対応するフレームの画像を、元のGOP構造とは関係なく、新たな動画データとして画像を符号化し、動画ファイルとして記録媒体141に記録するものである。すなわち、GOP単位で動画を編集しないため、動画データの各フレームを一度復号化して、再度MPEG等の圧縮符号化技術を用いて画像を圧縮する必要がある。制御部101は、圧縮後のビットレート(動画と音声を含む)をb[byte/秒]、編集対象の動画のフレームレートを29.97(=30000/1001)[fps]とする。このときの圧縮後のmdat203のサイズをm2とすると、
m2=b×(f2−f1+1)×29.97+a×2
となる。
次に、制御部101は。「圧縮して新規保存」(第1の編集モードで生成した動画ファイルを保存)をした場合のファイルサイズs2を算出する。「圧縮して新規保存」とは、編集対象の動画ファイルの動画のIn点、Out点に対応するフレームの画像を、元のGOP構造とは関係なく、新たな動画データとして画像を符号化し、動画ファイルとして記録媒体141に記録するものである。すなわち、GOP単位で動画を編集しないため、動画データの各フレームを一度復号化して、再度MPEG等の圧縮符号化技術を用いて画像を圧縮する必要がある。制御部101は、圧縮後のビットレート(動画と音声を含む)をb[byte/秒]、編集対象の動画のフレームレートを29.97(=30000/1001)[fps]とする。このときの圧縮後のmdat203のサイズをm2とすると、
m2=b×(f2−f1+1)×29.97+a×2
となる。
そして、ヘッダサイズhと圧縮後のmdatサイズm2をそれぞれクラスタサイズで繰り上げた値をhc、m2cとすると、「圧縮して新規保存」をした場合のファイルサイズs2は、以下の式で求められる。
s2=hc+m2c+c×2
s2=hc+m2c+c×2
以上のように、制御部101は、「圧縮して新規保存」をした場合のファイルサイズs2を算出する。
(S408)
次に、制御部101は、S404、S406、S407で算出したx1、x2、s1、s2を比較して、s1>x1かつs2>x2であるか否かを判定する。そして、s1>x1かつs2>x2でなければ処理をS410に、s1>x1かつs2>x2であれば、処理をS411に移行させる。
次に、制御部101は、S404、S406、S407で算出したx1、x2、s1、s2を比較して、s1>x1かつs2>x2であるか否かを判定する。そして、s1>x1かつs2>x2でなければ処理をS410に、s1>x1かつs2>x2であれば、処理をS411に移行させる。
(S410)
S408で、s1>x1かつs2>x2でない場合、制御部101は、図3Cに示すような画面を表示部130に表示するように表示制御部131を制御する。図3Cにおいては、「新規保存」アイコンが選択可能な状態である。すなわち、制御部101は、「新規保存」を選択可能とし、編集により生成された新たな動画ファイルを記録媒体141に記録する処理を実行可能とする。
S408で、s1>x1かつs2>x2でない場合、制御部101は、図3Cに示すような画面を表示部130に表示するように表示制御部131を制御する。図3Cにおいては、「新規保存」アイコンが選択可能な状態である。すなわち、制御部101は、「新規保存」を選択可能とし、編集により生成された新たな動画ファイルを記録媒体141に記録する処理を実行可能とする。
(S411)
一方、S408で、s1>x1かつs2>x2である場合、制御部101は、図3Dに示すような画面を表示部130に表示するように表示制御部131を制御する。図3Dにおいては、「新規保存」アイコンが選択不可な状態である。すなわち、制御部101は、「新規保存」を選択不可とする。
一方、S408で、s1>x1かつs2>x2である場合、制御部101は、図3Dに示すような画面を表示部130に表示するように表示制御部131を制御する。図3Dにおいては、「新規保存」アイコンが選択不可な状態である。すなわち、制御部101は、「新規保存」を選択不可とする。
(S412)
次に、制御部101は、操作部102からの操作信号に応じて、「新規保存」が選択されたか否かを判定する。「新規保存」が選択された場合は、処理をS420に移し、「新規保存」が選択されなかった場合は、処理をS413に移す。
次に、制御部101は、操作部102からの操作信号に応じて、「新規保存」が選択されたか否かを判定する。「新規保存」が選択された場合は、処理をS420に移し、「新規保存」が選択されなかった場合は、処理をS413に移す。
(S413)
S412で、「新規保存」が選択されなかった場合、制御部101は、操作部102からの操作信号に応じて、「上書保存」が選択されたか否かを判定する。「上書保存」が選択された場合は、処理を後述のS442に移し、「上書保存」が選択されなかった場合は、処理をS413に移す。
S412で、「新規保存」が選択されなかった場合、制御部101は、操作部102からの操作信号に応じて、「上書保存」が選択されたか否かを判定する。「上書保存」が選択された場合は、処理を後述のS442に移し、「上書保存」が選択されなかった場合は、処理をS413に移す。
(S414)
S413で、「上書保存」が選択されなかった場合、制御部101は、操作部102からの操作信号に応じて、「キャンセル」が選択されたか否かを判定する。「キャンセル」が選択された場合は、処理をS401に戻し、「キャンセル」が選択されなかった場合は、処理をS412に戻す。
S413で、「上書保存」が選択されなかった場合、制御部101は、操作部102からの操作信号に応じて、「キャンセル」が選択されたか否かを判定する。「キャンセル」が選択された場合は、処理をS401に戻し、「キャンセル」が選択されなかった場合は、処理をS412に戻す。
(S420)
一方、S412で、「新規保存」が選択された場合、制御部101は、s1>x1であるか否かを判定する。すなわち、「圧縮せずに新規保存」した場合のファイルサイズs1が記録媒体141の空き容量x1よりも大きいか否かを判定する。s1>x1である場合は、処理をS421に移し、s1>x1でない場合は、処理をS422に移す。
一方、S412で、「新規保存」が選択された場合、制御部101は、s1>x1であるか否かを判定する。すなわち、「圧縮せずに新規保存」した場合のファイルサイズs1が記録媒体141の空き容量x1よりも大きいか否かを判定する。s1>x1である場合は、処理をS421に移し、s1>x1でない場合は、処理をS422に移す。
(S421)
S420で、s1>x1である場合は、制御部101は、図3Eに示すような画面を表示部130に表示するように表示制御部131を制御する。図3Eにおいては、「圧縮せずに新規保存」アイコンが選択不可な状態である。すなわち、制御部101は、「圧縮せずに新規保存」を選択不可とする。
S420で、s1>x1である場合は、制御部101は、図3Eに示すような画面を表示部130に表示するように表示制御部131を制御する。図3Eにおいては、「圧縮せずに新規保存」アイコンが選択不可な状態である。すなわち、制御部101は、「圧縮せずに新規保存」を選択不可とする。
(S422)
一方、S420で、s1>x1でない場合は、制御部101は、s2>x2であるか否かを判定する。すなわち、「圧縮して新規保存」した場合のファイルサイズs2が、記録媒体141のスピードクラス記録に対応する書き込み領域SC空き容量x2よりも大きいか否かを判定する。s2>x2である場合は、処理をS423に移し、s2>x2でない場合は、処理をS424に移す。
一方、S420で、s1>x1でない場合は、制御部101は、s2>x2であるか否かを判定する。すなわち、「圧縮して新規保存」した場合のファイルサイズs2が、記録媒体141のスピードクラス記録に対応する書き込み領域SC空き容量x2よりも大きいか否かを判定する。s2>x2である場合は、処理をS423に移し、s2>x2でない場合は、処理をS424に移す。
(S423)
S422で、s2>x2である場合、制御部101は、図3Fに示すような画面を表示部130に表示するように表示制御部131を制御する。図3Fにおいては、「圧縮して新規保存」アイコンが選択不可な状態である。すなわち、制御部101は、「圧縮して新規保存」を選択不可とする。
S422で、s2>x2である場合、制御部101は、図3Fに示すような画面を表示部130に表示するように表示制御部131を制御する。図3Fにおいては、「圧縮して新規保存」アイコンが選択不可な状態である。すなわち、制御部101は、「圧縮して新規保存」を選択不可とする。
(S424)
一方、S420で、s2>x2でない場合は、制御部101は、図3Gに示すような画面を表示部130に表示するように表示制御部131を制御する図3Gにおいては、「圧縮せずに新規保存」アイコン、「圧縮して新規保存」アイコン、のいずれも選択可能な状態である。すなわち、制御部101は、「圧縮せずに新規保存」、「圧縮して新規保存」のいずれも選択可能とする。
一方、S420で、s2>x2でない場合は、制御部101は、図3Gに示すような画面を表示部130に表示するように表示制御部131を制御する図3Gにおいては、「圧縮せずに新規保存」アイコン、「圧縮して新規保存」アイコン、のいずれも選択可能な状態である。すなわち、制御部101は、「圧縮せずに新規保存」、「圧縮して新規保存」のいずれも選択可能とする。
(S430)
S421、S423、S424で、「圧縮せずに新規保存」アイコン、「圧縮して新規保存」アイコン、「キャンセル」アイコンをそれぞれ表示すると、次に、制御部101は、圧縮せずに新規保存」アイコンが選択されたか否かを判定する。「圧縮せずに新規保存」アイコンが選択された場合は、処理をS440に移し、「圧縮せずに新規保存」アイコンが選択されなかった場合は、処理をS431に移す。
S421、S423、S424で、「圧縮せずに新規保存」アイコン、「圧縮して新規保存」アイコン、「キャンセル」アイコンをそれぞれ表示すると、次に、制御部101は、圧縮せずに新規保存」アイコンが選択されたか否かを判定する。「圧縮せずに新規保存」アイコンが選択された場合は、処理をS440に移し、「圧縮せずに新規保存」アイコンが選択されなかった場合は、処理をS431に移す。
(S431)
S430で、「圧縮せずに新規保存」アイコンが選択されなかった場合、制御部101は、操作部102からの操作信号に応じて、圧縮して新規保存」アイコンが選択されたか否かを判定する。「圧縮して新規保存」アイコンが選択された場合は、処理をS441に移し、「圧縮して新規保存」アイコンが選択されなかった場合は、処理をS432に移す。
S430で、「圧縮せずに新規保存」アイコンが選択されなかった場合、制御部101は、操作部102からの操作信号に応じて、圧縮して新規保存」アイコンが選択されたか否かを判定する。「圧縮して新規保存」アイコンが選択された場合は、処理をS441に移し、「圧縮して新規保存」アイコンが選択されなかった場合は、処理をS432に移す。
(S432)
S431で、「圧縮して新規保存」アイコンが選択されなかった場合、制御部101は、操作部102からの操作信号に応じて、「キャンセル」アイコンが選択されたか否かを判定する。「キャンセル」アイコンが選択された場合は、処理をS408に戻し、「キャンセル」アイコンが選択されなかった場合は、処理をS430に戻す。
S431で、「圧縮して新規保存」アイコンが選択されなかった場合、制御部101は、操作部102からの操作信号に応じて、「キャンセル」アイコンが選択されたか否かを判定する。「キャンセル」アイコンが選択された場合は、処理をS408に戻し、「キャンセル」アイコンが選択されなかった場合は、処理をS430に戻す。
(S440)
一方、S430で、「圧縮せずに新規保存」アイコンが選択された場合、制御部101は、ユーザにより指定されたIn点、Out点のフレームの画像を含む2GOP単位の画像を編集対象の動画ファイルから抽出して、記録媒体141に記録させる。具体的には、ユーザにより指定されたIn点、Out点に対応する正確なフレームではなく、2GOP単位の動画データを抜き出して動画データを形成して新しい動画ファイルとして記録媒体141に記録する。すなわち、前述の第2の編集モードで動画を編集して新たな動画ファイルを生成する。第2の編集モードは、前述したように指定された部分の動画を復号するための動画データを元の動画ファイルから抽出して新たな動画ファイルを生成する編集モードである。第2の編集モードでは、制御部101は、指定された部分の動画を復号するための動画データを特定し、記録媒体141から読みだすように記録再生部140を制御する。そして、読みだされた動画データを含むあらたな動画ファイルを生成し、記録媒体141に記録するように記録再生部140を制御する。このとき、制御部101は、画像処理部111に圧縮及び符号化を行わせない。すなわち、GOP単位で動画を編集するため、動画データの各フレームを一度復号化して、再度MPEG等の圧縮符号化技術を用いて圧縮しない。制御部101は、In点「f1」、Out点「f2」を含む2GOP単位の編集点を特定して新たにIn点「f1」、Out点「f2」を設定し、そのIn点「f1」、Out点「f2」に対応する動画データを編集対象の動画ファイルから抽出する。そして、抽出された動画データと必要なヘッダを合わせて新たな動画ファイルとして記録媒体141に記録する。
一方、S430で、「圧縮せずに新規保存」アイコンが選択された場合、制御部101は、ユーザにより指定されたIn点、Out点のフレームの画像を含む2GOP単位の画像を編集対象の動画ファイルから抽出して、記録媒体141に記録させる。具体的には、ユーザにより指定されたIn点、Out点に対応する正確なフレームではなく、2GOP単位の動画データを抜き出して動画データを形成して新しい動画ファイルとして記録媒体141に記録する。すなわち、前述の第2の編集モードで動画を編集して新たな動画ファイルを生成する。第2の編集モードは、前述したように指定された部分の動画を復号するための動画データを元の動画ファイルから抽出して新たな動画ファイルを生成する編集モードである。第2の編集モードでは、制御部101は、指定された部分の動画を復号するための動画データを特定し、記録媒体141から読みだすように記録再生部140を制御する。そして、読みだされた動画データを含むあらたな動画ファイルを生成し、記録媒体141に記録するように記録再生部140を制御する。このとき、制御部101は、画像処理部111に圧縮及び符号化を行わせない。すなわち、GOP単位で動画を編集するため、動画データの各フレームを一度復号化して、再度MPEG等の圧縮符号化技術を用いて圧縮しない。制御部101は、In点「f1」、Out点「f2」を含む2GOP単位の編集点を特定して新たにIn点「f1」、Out点「f2」を設定し、そのIn点「f1」、Out点「f2」に対応する動画データを編集対象の動画ファイルから抽出する。そして、抽出された動画データと必要なヘッダを合わせて新たな動画ファイルとして記録媒体141に記録する。
(S441)
また、S431で、「圧縮して新規保存」アイコンが選択された場合、制御部101は、ユーザにより指定されたIn点、Out点のフレームを開始フレーム、終了フレームとした動画データを含む動画ファイルを生成して記録媒体141に記録する。具体的には、編集対象の動画ファイルの動画のIn点、Out点に対応するフレームの画像を、元のGOP構造とは関係なく、新たな動画データとして画像を符号化し、動画ファイルとして記録媒体141に記録する。すなわち前述の第1の編集モードで動画を編集して新たな動画ファイルを生成する。第1の編集モードは、指定された部分の動画を復号し、復号した動画のうち指定された部分に対応する動画を符号化し、得られた動画データを含む新たな動画ファイルを生成する編集モードである。第1の編集モードでは、制御部101は、指定された部分の動画を復号するように画像処理部111を制御し、さらに指定された部分の動画を再び圧縮および符号化するように画像処理部111を制御する。そして得られた動画データを含む新たな動画ファイルを生成し、記録媒体141に記録するように記録再生部140を制御する。すなわち、GOP単位で動画を編集しないため、動画データの各フレームを一度復号化して、再度MPEG等の圧縮符号化技術を用いて画像を圧縮する。そのため、制御部101は、編集対象の動画ファイルの動画データを復号するように、画像処理部111を制御し、画像処理部111で復号された各フレームの画像から、In点に対応するフレームの画像を特定する。そして、In点に対応するフレームの画像からOut点に対応するフレームの画像までは、GOP単位でMPEG等の圧縮符号化技術を用いて動画として符号化する。そして、生成された動画データと必要なヘッダを合わせて新たな動画ファイルとして記録媒体141に記録する。なお、「圧縮して新規保存」を行う場合には、記録媒体141に新たな動画ファイルを記録する際に、スピードクラス記録を行うように記録再生部140を制御する。
また、S431で、「圧縮して新規保存」アイコンが選択された場合、制御部101は、ユーザにより指定されたIn点、Out点のフレームを開始フレーム、終了フレームとした動画データを含む動画ファイルを生成して記録媒体141に記録する。具体的には、編集対象の動画ファイルの動画のIn点、Out点に対応するフレームの画像を、元のGOP構造とは関係なく、新たな動画データとして画像を符号化し、動画ファイルとして記録媒体141に記録する。すなわち前述の第1の編集モードで動画を編集して新たな動画ファイルを生成する。第1の編集モードは、指定された部分の動画を復号し、復号した動画のうち指定された部分に対応する動画を符号化し、得られた動画データを含む新たな動画ファイルを生成する編集モードである。第1の編集モードでは、制御部101は、指定された部分の動画を復号するように画像処理部111を制御し、さらに指定された部分の動画を再び圧縮および符号化するように画像処理部111を制御する。そして得られた動画データを含む新たな動画ファイルを生成し、記録媒体141に記録するように記録再生部140を制御する。すなわち、GOP単位で動画を編集しないため、動画データの各フレームを一度復号化して、再度MPEG等の圧縮符号化技術を用いて画像を圧縮する。そのため、制御部101は、編集対象の動画ファイルの動画データを復号するように、画像処理部111を制御し、画像処理部111で復号された各フレームの画像から、In点に対応するフレームの画像を特定する。そして、In点に対応するフレームの画像からOut点に対応するフレームの画像までは、GOP単位でMPEG等の圧縮符号化技術を用いて動画として符号化する。そして、生成された動画データと必要なヘッダを合わせて新たな動画ファイルとして記録媒体141に記録する。なお、「圧縮して新規保存」を行う場合には、記録媒体141に新たな動画ファイルを記録する際に、スピードクラス記録を行うように記録再生部140を制御する。
(S442)
また、S413で、「上書保存」アイコンが選択された場合、制御部101は、ユーザにより指定されたIn点、Out点のフレームの画像を含む2GOP単位の動画データを編集対象の動画ファイルに残し、それ以外の動画データを削除する。具体的には、ユーザにより指定されたIn点、Out点に対応する正確なフレームではなく、2GOP単位の動画データを編集対象の動画ファイルに残し、それ以外の動画データを削除する。
また、S413で、「上書保存」アイコンが選択された場合、制御部101は、ユーザにより指定されたIn点、Out点のフレームの画像を含む2GOP単位の動画データを編集対象の動画ファイルに残し、それ以外の動画データを削除する。具体的には、ユーザにより指定されたIn点、Out点に対応する正確なフレームではなく、2GOP単位の動画データを編集対象の動画ファイルに残し、それ以外の動画データを削除する。
そして、制御部101は、S440、S441、S442の処理が終了すると、図4に示す編集動作を終了する。
以上のように、本実施例の撮像装置100は、「圧縮せずに新規保存」「圧縮して新規保存」のいずれかにより記録媒体141に編集後の動画データを含む動画ファイルを記録できるかどうかをあらかじめ判定している。そして、「圧縮せずに新規保存」「圧縮して新規保存」のいずれかにより記録媒体141に編集後の動画データを含む動画ファイルを記録できるときには、「新規保存」のアイコンを選択可能としている。一方で、「圧縮せずに新規保存」「圧縮して新規保存」のいずれでも記録媒体141に編集後の動画データを含む動画ファイルを記録できない場合には、「新規保存」を選択できないようにしている。このように、編集後のファイルを生成する処理を開始する前に本実施例の撮像装置100は、ユーザに「新規保存」が可能かどうかを提示することができるので、編集作業におけるユーザの利便性を向上させることができる。
また、本実施例において、S430からS432において、「圧縮せず新規保存」アイコン、「圧縮して新規保存」アイコンが選択された場合に、図5A、図5Bに示すような表示をしてもよい。図5Aは、「圧縮して新規保存」アイコンが選択された状態を示している。この状態では、ユーザにより指定された部分の動画に対応する動画データが新たな動画データに含まれることをしめしている。一方、図5Bは、「圧縮せず新規保存」アイコンが選択された状態を示している。この状態では、上述したように、2GOP単位で動画データを元の動画ファイルから抽出するので、ユーザにより指定された部分よりも広い範囲の動画データが抽出されることになる。そこで、制御部101は、表示部140に図5Bのように、指定された部分とは異なる範囲の動画が新たな動画ファイルに含まれることを示す表示をしてもよい。これは、図5Aの警告表示501のように単なる警告表示としてもよい。また、In点指定アイコン307、Out点指定アイコン308を、移動させて、指定された範囲とは異なる範囲の動画が新たな動画ファイルに含まれることを示してもよい。また、編集後の動画ファイルに含まれる動画の時間が変更されるので、ユーザが指定した部分の動画の再生時間と、変更後の動画の再生時間が異なることを示す表示をしてもよい。
また、本実施例においては、「圧縮して新規保存」を行う場合、スピードクラス記録を行うようにしている。このようにすることで、画像処理部111において、撮影時と同じ速度で圧縮符号化を行っても確実に記録媒体141に新たな動画ファイルを記録することができる。そのため、画像処理部111を撮影時に圧縮符号化を行う速度と異なる速度で圧縮符号化を行わせるような制御を行わせずに済むため、回路の煩雑化を防止することができる。
なお、本実施例では、記録媒体141空き領域として、FAT上の未記録領域から算出した空き容量x1と、スピードクラス記録が可能な空き領域であるSC空き領域x2を算出した。しかし、「圧縮して新規保存」が選択された場合であってもスピードクラス記録を行わない場合は、SC空き領域x2を用いずに、空き領域x1をx2の代わりに用いてもよい。
また、本実施例では、「圧縮して新規保存」を行う場合に、ビットレートを変更する例で説明をしたが、再圧縮を行う際に、画像のサイズ、フレームレートを変更してもよい。
(他の実施形態)
上述の実施形態は、システム或は装置のコンピュータ(或いはCPU、MPU等)によりソフトウェア的に実現することも可能である。従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。
上述の実施形態は、システム或は装置のコンピュータ(或いはCPU、MPU等)によりソフトウェア的に実現することも可能である。従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。
なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線/無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、MO、CD、DVD等の光/光磁気記憶媒体、不揮発性の半導体メモリなどがある。
有線/無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル(プログラムファイル)をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。
また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するOSの機能を利用するものであってもよい。さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるCPUで実行するようにしてもよい。
Claims (3)
- 記録媒体に記録された動画ファイルを編集する画像処理装置であって、
記録媒体から動画ファイルを再生する再生手段と、
前記再生手段により再生された動画ファイルの動画の一部を指定する指定手段と、
前記指定手段により指定された部分の動画を示す情報を表示装置に表示させる表示手段と、
前記指定手段により指定された部分の動画を含む新たな動画ファイルを生成する編集手段とを有し、
前記編集手段は、
前記指定手段により指定された部分の動画を復号し、復号した動画のうち指定された部分に対応する動画を符号化した動画データを含む新たな動画ファイルを生成する第1の編集モードと、
前記指定手段により指定された部分の動画を復号するための動画データを前記再生手段により再生された動画ファイルから抽出して新たな動画ファイルを生成する第2の編集モードとを有し、
前記表示手段は、前記第2のモードで編集を行う場合、前記指定手段により指定された部分とは異なる位置の動画が新たな動画ファイルに含まれること前記表示装置に表示することを特徴とする画像処理装置。 - 前記表示手段は、前記第2のモードで編集を行う場合、前記指定された部分の動画を示す情報の表示を変更することを特徴とする請求項1に記載の画像処理装置。
- 前記編集手段の前記第1の編集モードにおいては、前記記録媒体に対してスピードクラス記録を行う記録手段を有することを特徴とする請求項1または2に記載の画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013166507A JP2015035752A (ja) | 2013-08-09 | 2013-08-09 | 画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013166507A JP2015035752A (ja) | 2013-08-09 | 2013-08-09 | 画像処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015035752A true JP2015035752A (ja) | 2015-02-19 |
Family
ID=52543972
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013166507A Pending JP2015035752A (ja) | 2013-08-09 | 2013-08-09 | 画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2015035752A (ja) |
-
2013
- 2013-08-09 JP JP2013166507A patent/JP2015035752A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5783737B2 (ja) | 撮像装置および動画記録装置の制御方法 | |
JP2009225361A (ja) | 記録装置および記録方法、ならびに、編集装置および編集方法 | |
JP2012161012A (ja) | 動画記録装置 | |
JP2012156587A (ja) | 動画記録装置 | |
JP5818599B2 (ja) | 動画記録装置 | |
JP6745629B2 (ja) | 情報処理装置およびその制御方法 | |
JP2005117083A (ja) | 再生装置、記録装置、再生プログラム、及び再生プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JP5713701B2 (ja) | 動画記録装置 | |
JP2012161047A (ja) | 画像記録装置 | |
JP2008283708A (ja) | 再生装置 | |
JP6218489B2 (ja) | 画像処理装置 | |
JP2015023317A (ja) | 画像管理装置及びその制御方法、プログラム、並びに記憶媒体 | |
JP6278353B2 (ja) | 記録装置、記録方法、プログラム、ならびに撮像装置 | |
JP2014036402A (ja) | 記録装置及び記録方法 | |
JP2015035752A (ja) | 画像処理装置 | |
JP6071358B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
JP6463967B2 (ja) | 撮像装置及びその制御方法 | |
JP2020170998A (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム | |
JP5889459B2 (ja) | 記録装置 | |
JP6643081B2 (ja) | アルバム動画生成装置、アルバム動画生成方法及びプログラム | |
JP6566826B2 (ja) | 画像処理装置、およびその制御方法、および制御プログラム | |
JP6395532B2 (ja) | 画像記録装置および方法、並びにプログラム | |
JP6478626B2 (ja) | 記録装置およびその制御方法、プログラム | |
JP6049369B2 (ja) | 画像処理装置及び画像処理装置の制御方法 | |
JP2017108224A (ja) | 記録装置 |