JP2011071965A - 画像編集装置およびそれを搭載した撮像装置、ならびに画像再生装置およびそれを搭載した撮像装置 - Google Patents

Abstract

【課題】画像内容が共通し、かつ画質が異なる複数の動画像ファイルを編集する場合にて、ユーザの利便性を向上させる。
【解決手段】復号部６０は、画像内容が共通する、第１画質の動画像符号化データおよび当該第１画質と異なる第２画質の動画像符号化データの一方を復号する。編集部７０は、復号部６０により復号される、第１画質の動画像または第２画質の動画像をユーザ操作に起因して編集する。編集部７０は、第１画質の動画像および第２画質の動画像の一方に施した編集を、ユーザ操作に関わらずその他方の動画像符号化データに反映させる。
【選択図】図３

Description

本発明は、動画像を編集する画像編集装置、およびそれを搭載した撮像装置、ならびに動画像符号化データを復号して所定の表示装置に表示再生させる画像再生装置、およびそれを搭載した撮像装置に関する。

近年、一般ユーザが手軽に動画像を撮影することができるデジタルムービーカメラが普及してきており、それらのなかには、フルＨＤ（high definition）（１９２０×１０８０ピクセル）の動画像を撮影することができるものもある。このようなデジタルムービーカメラで撮影された動画像は、様々な用途に使用される。たとえば、テレビやＰＣで鑑賞されたり、電子メールに添付して送信されたり、インターネット上の動画共有サイト、ブログサイトまたはＳＮＳ（Social Networking Service）サイトにアップロードされたりする。

特開２００９−１０５６８４号公報

フルＨＤで撮像された動画像は高画質であり、ハイビジョン対応テレビで鑑賞するのに適している。しかしながら、フルＨＤで撮像された動画像は容量が大きくなるため、メールに添付して送信したり、インターネット上のサイトにアップロードするには、あまり適しているとはいえない。たとえば、動画共有サイト、ブログサイトおよびＳＮＳサイトの多くは、アップロードされる動画像に対して、容量制限を課している。

したがって、フルＨＤで撮像された動画像をインターネット上のサイトにアップロードする場合、その動画像をいったんＰＣに取り込み、低解像度および／または低フレームレートの動画像に変換してから、アップロードすることになる。

また、撮影の段階で、複数の異なる画質の動画像を並列的に符号化して、異なる画質の動画像ファイルを複数生成することが考えられる。たとえば、デジタルムービーカメラ内に二つのエンコーダを搭載し、画質の異なる二つの動画像ファイルを生成することが考えられる。

このように、画像内容が共通し、かつ画質が異なる複数の動画像ファイルが生成される状況が、従来より多く発生するようになってきている。

本発明はこうした状況に鑑みなされたものであり、本発明の第１の目的は、画像内容が共通し、かつ画質が異なる複数の動画像ファイルを編集する場合にて、ユーザの利便性を向上させることができる技術を提供することにある。また、本発明の第２の目的は、画像内容が共通し、かつ画質が異なる複数の動画像ファイルのいずれかを特殊再生する場合にて、表示品質を向上させることができる技術を提供することにある。

本発明のある態様の画像編集装置は、画像内容が共通する、第１画質の動画像符号化データおよび当該第１画質と異なる第２画質の動画像符号化データの一方を復号する復号部と、復号部により復号される、第１画質の動画像または第２画質の動画像を編集する編集部と、を備える。編集部は、ユーザ操作に起因して第１画質の動画像および第２画質の動画像の一方に施した編集を、ユーザ操作に関わらずその他方の動画像符号化データに反映させる。

本発明の別の態様は、撮像装置である。この装置は、動画像を取得する撮像部と、撮像部により撮像される動画像を、第１画質および第２画質の両方で符号化する符号化部と、上述した画像編集装置と、を備える。

本発明のある態様の画像再生装置は、画像内容が共通する、第１画質の動画像符号化データおよび当該第１画質より低画質の第２画質の動画像符号化データを選択的に復号可能な復号部と、復号部により復号される、第１画質の動画像または第２画質の動画像を表示装置に表示させる制御部と、を備える。制御部は、通常再生が指示されたとき第１画質の動画像を表示させ、早送り再生または巻き戻し再生が指示されたとき第２画質の動画像を表示させてもよい。また、制御部は、通常再生が指示されたとき第２画質の動画像を表示させ、スロー送り再生またはスロー戻し再生が指示されたとき第１画質の動画像を表示させてもよい。また、制御部は、第１画質の動画像の通常再生中またはその停止後に、早送り再生または巻き戻し再生が指示されたとき、第１画質の動画像から第２画質の動画像に切り替えて表示させてもよい。また、制御部は、第２画質の動画像の通常再生中またはその停止後に、スロー送り再生またはスロー戻し再生が指示されたとき第２画質の動画像から第１画質の動画像に切り替えて再生表示させてもよい。

本発明のさらに別の態様は、撮像装置である。この装置は、動画像を取得する撮像部と、撮像部により撮像される動画像を、第１画質および第２画質の両方で符号する符号化部と、上述した画像再生装置と、画像再生装置により再生される動画像を表示する表示装置と、を備える。

なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明の画像編集装置およびそれを搭載した撮像装置によれば、画像内容が共通し、かつ画質が異なる複数の動画像ファイルを編集する場合にて、ユーザの利便性を向上させることができる。本発明の画像再生装置およびそれを搭載した撮像装置によれば、画像内容が共通し、かつ画質が異なる複数の動画像ファイルのいずれかを特殊再生する場合にて、表示品質を向上させることができる。

実施の形態１に係る画像処理装置を搭載した撮像装置の構成図である。 分岐部に入力されるフレーム画像、第１画像符号化部により符号化されるフレーム画像および第２画像符号化部により符号化されるフレーム画像の関係を示す図である。 実施の形態２に係る画像編集装置を備える画像編集システムの構成図である。 実施の形態２に係る画像編集装置の編集動作を説明するための図である。 ＨＤサイズによるシングルエンコードモードと、ＨＤサイズおよびＳＤサイズによるデュアルエンコードモードとの切り替えタイミング例を示す図である。 実施の形態３に係る画像再生装置を備える画像表示システムの構成図である。 実施の形態３に係る画像再生装置の動作例１における、再生指示の種別と再生画質との対応関係を規定したテーブルである。図７（ａ）は動作例１−１におけるテーブルを示し、図７（ｂ）は、動作例１−２におけるテーブルを示す。 実施の形態３に係る画像再生装置の動作例２における再生画質の遷移例を示す図である。図８（ａ）は高速再生期間を含む遷移例を示し、図８（ｂ）は、スロー再生期間を含む遷移例を示す。 変形例に係る処理装置を搭載した撮像装置の構成図である。 変形例をもとに、図２に示した例を発展させた図である。

図１は、実施の形態１に係る画像処理装置１００を搭載した撮像装置３００の構成図である。撮像装置３００は、撮像部２１０および画像処理装置１００を備える。

撮像部２１０は、フレーム画像を連続的に取得し、動画像として画像処理装置１００に供給する。撮像部２１０は、ＣＣＤ（Charge Coupled Devices）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの図示しない固体撮像素子、およびその固体撮像素子から出力される信号を処理する図示しない信号処理回路を備える。当該信号処理回路は、上記固体撮像素子から出力されるアナログの三原色信号Ｒ、Ｇ、Ｂを、デジタルの輝度信号Ｙおよび色差信号Ｃｒ、Ｃｂに変換することができる。

画像処理装置１００は、主に、撮像部２１０により取得される動画像を処理する。画像処理装置１００は、分岐部１１、解像度変換部１２、画像符号化部２０、多重化部４０および記録部４１を含む。画像符号化部２０は、第１画像符号化部２１および第２画像符号化部２２を含む。

画像処理装置１００の構成は、ハードウェア的には、任意のプロセッサ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。

分岐部１１は、撮像部２１０から供給される動画像を、第１画像符号化部２１および解像度変換部１２の両方に出力する。

解像度変換部１２は、分岐部１１から入力される動画像を構成するフレーム画像の解像度を変換する。ここでは、当該フレーム画像の解像度を低下させる。解像度変換部１２は、当該フレーム画像の中央領域を切り出し、その周辺領域を削除して当該解像度を低下させてもよいし、当該フレーム画像内の画素を間引いて、低下させてもよい。解像度変換部１２は、解像度を変換させた後のフレーム画像で構成される動画像を第２画像符号化部２２に出力する。

画像符号化部２０は、撮像部２１０により撮像される動画像を、第１画質および当該第１画質と異なる第２画質の両方で、並列的または同時に符号化する。すなわち、一種類の動画像をデュアルエンコードする。図１では、第１画像符号化部２１が分岐部１１から入力される動画像を、第２画像符号化部２２が解像度変換部１２から入力される動画像を、並列的または同時に符号化する。

上記第１画質の動画像と上記第２画質の動画像とは、異なる解像度で符号化される。上記第１画質の動画像の解像度と上記第２画質の動画像の解像度との組み合わせは、様々な組み合わせが可能である。たとえば、１９２０×１０８０ピクセルサイズ、１２８０×７２０ピクセルサイズ、６４０×４８０ピクセルサイズ、４４８×３３６ピクセルサイズおよび１９２×１０８ピクセルサイズの、任意の二つの組み合わせであってもよい。

また、上記第１画質の動画像と上記第２画質の動画像とは、異なる解像度で符号化されるとともに、異なるフレームレートで符号化されてもよい。たとえば、６０ｆｐｓ、３０ｆｐｓおよび１５ｆｐｓの、任意の二つの組み合わせであってもよい。また、４４８×３３６ピクセルサイズまたは１９２×１０８ピクセルサイズなど、低解像度の場合、２４０ｆｐｓや６００ｆｐｓなど、高フレームレートを割り当てることも可能である。

画像符号化部２０は、当該第１画質の動画像および当該第２画質の動画像を所定の規格にしたがい圧縮符号化する。たとえば、Ｈ．２６４／ＡＶＣ、Ｈ．２６４／ＳＶＣ、ＭＰＥＧ−２、またはＭＰＥＧ−４などの規格にしたがい圧縮符号化することができる。

画像符号化部２０は、一つのハードウェアエンコーダまたは汎用プロセッサによるソフトウェア処理により、上記第１画質の動画像と上記第２画質の動画像を時分割に符号化してもよいし、二つのハードウェアエンコーダにより、当該第１画質の動画像と当該第２画質の動画像とを平行に符号化してもよい。画像符号化部２０は、符号化した、第１画質の動画像符号化データ（符号化ストリームともいう）および第２画質の動画像符号化データを多重化部４０に出力する。

多重化部４０は、第１画像符号化部２１から入力される上記第１画質の動画像符号化データ、および第２画像符号化部２２から入力される上記第２画質の動画像符号化データを多重化して、一つの動画像ファイルを生成する。たとえば、ＭＰ４ファイルフォーマットにしたがった、コンテナファイルを生成することができる。当該コンテナファイルには、各符号化データのヘッダ情報、メタデータ、時刻情報などを記述したコンテナを含めることができる。復号側で当該コンテナファイルが参照されることにより、上記第１画質の動画像および上記第２画質の動画像間の同期をとることや、ランダムアクセスすることが容易に可能となる。

記録部４１は、多重化部４０により多重化された動画像ファイルを当該記録媒体に記録する。当該記録媒体として、内蔵メモリと着脱可能なリムーバブルメモリの少なくとも一方を採用することができる。たとえば、内蔵メモリとして、半導体メモリまたはハードディスクを採用することができる。また、リムーバブルメモリとして、メモリーカード、リムーバブルハードディスク、または光ディスクを採用することができる。

図示しない入出力部は、本撮像装置３００と所定のインターフェイスを介して外部機器と通信する。たとえば、ＵＳＢケーブルでＰＣや外付けハードディスクと接続して、上記記録媒体に記録された動画像ファイルをＰＣや外付けハードディスクに転送することができる。また、Ｄ端子、Ｓ端子またはＨＤＭＩ端子でテレビと接続して、上記第１画質の動画像および上記第２画質の動画像をテレビ画面に表示させることもできる。

以下、実施の形態１に係る画像処理装置１００の動作を、上記第１画質の動画像がＨＤ（１２８０×７２０ピクセル）サイズのフレーム画像で構成される動画像、および上記第２画質の動画像がＳＤ（６４０×４８０ピクセル）サイズのフレーム画像で構成される動画像である場合を例に説明する。

図２は、分岐部１１に入力されるフレーム画像Ｆ１、第１画像符号化部２１により符号化されるフレーム画像Ｆ２および第２画像符号化部２２により符号化されるフレーム画像Ｆ３の関係を示す図である。上述した例では、分岐部１１にＨＤサイズのフレーム画像Ｆ１が入力される。なお、撮像部２１０から画像処理装置１００に入力されるフレーム画像には、手振れ補正用の領域が含まれている場合もあるが、その手振れ補正用の領域の画素データは、分岐部１１に入力される前に切り取られているものとする。

分岐部１１は、ＨＤサイズのフレーム画像Ｆ１を第１画像符号化部２１および解像度変換部１２に出力する。解像度変換部１２は、ＨＤサイズのフレーム画像Ｆ１をＳＤサイズのフレーム画像Ｆ３に変換する。第１画像符号化部２１は、分岐部１１から入力されたＨＤサイズのフレーム画像Ｆ１をそのまま符号化する。第２画像符号化部２２は、解像度変換部１２から入力されたＳＤサイズのフレーム画像Ｆ３を符号化する。

第１画像符号化部２１により符号化される、ＨＤサイズのフレーム画像Ｆ２のアスペクト比は１６：９であり、第２画像符号化部２２により符号化される、ＳＤサイズのフレーム画像Ｆ３のアスクペクト比は４：３である。ＳＤサイズのフレーム画像Ｆ３は、ＨＤサイズのフレーム画像Ｆ２の中央領域が残され、その周辺領域が削除されて生成される。

第１画像符号化部２１により符号化されたＨＤサイズの動画像符号化データは、ＰＣやテレビでの観賞用に保存することに適しており、第２画像符号化部２２により符号化されたＳＤサイズの動画像符号化データは、メールに添付して送信したり、インターネット上のサイトに投稿することに適している。このように、ユーザはＨＤサイズの動画像符号化データとＳＤサイズの動画像符号化データとを適宜選択して、使用することができる。

以上説明したように実施の形態１によれば、撮影時に、動画像をデュアルエンコードすることにより、動画像ファイルのトランスコーディングの必要性を低減させることができる。すなわち、二種類の画質の動画像符号化データを生成することにより、その符号化データを用途に応じて使い分けすることができ、トランスコーディングの頻度を低減させることができる。

図３は、実施の形態２に係る画像編集装置５００を備える画像編集システム７００の構成図である。画像編集システム７００は、画像編集装置５００、表示装置６１０、操作部６２０および記憶装置６３０を備える。

画像編集システム７００は、様々なハードウェア構成が可能である。たとえば、画像編集システム７００を、上述した撮像装置３００と、ケーブル接続されたテレビにより構築することができる。この場合、画像編集装置５００が撮像装置３００の制御機能、操作部６２０が撮像装置３００の操作機能、記憶装置６３０が撮像装置３００の記憶機能、および表示装置６１０が当該テレビの表示機能により、それぞれ構築可能である。

また、画像編集システム７００を、実施の形態１に係る画像処理装置１００により生成された動画像ファイルを受信したＰＣにより構築可能である。この場合、画像編集装置５００、操作部６２０、記憶装置６３０および表示装置６１０のそれぞれをＰＣの制御機能、操作機能、記憶機能および表示機能によりそれぞれ構築可能である。ＰＣの代わりに、携帯電話機、ＰＤＡ、携帯型音楽プレイヤなどを用いる場合も同様である。

また、画像編集システム７００を、上述した撮像装置３００単体で構築可能である。この場合、画像編集装置５００、操作部６２０、記憶装置６３０および表示装置６１０のそれぞれを撮像装置３００の制御機能、操作機能、記憶機能および表示機能によりそれぞれ構築可能である。当該撮像装置３００には、実施の形態１に係る画像処理装置１００も含まれる。

画像編集装置５００は、バッファ５０、復号部６０、編集部７０および符号化部８０を含む。画像編集装置５００の構成は、ハードウェア的には、任意のプロセッサ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。

記憶装置６３０は、上述した記録媒体（半導体メモリ、ハードディスクなど）で構成され、実施の形態１に係る画像処理装置１００により生成された動画像ファイルを保持する。当該動画像ファイルは、画像編集装置５００からアクセスされると、画像編集装置５００内のバッファ５０に出力される。

バッファ５０は、記憶装置６３０から入力された動画像ファイルを一時記憶する。また、バッファ５０は、編集部７０からの制御信号にしたがい、当該動画像ファイルに含まれる、上記第１画質の動画像符号化データおよび上記第２画質の動画像符号化データのいずれかを復号部６０に供給する。より具体的には、ユーザの編集対象となっている方の動画像符号化データを復号部６０に供給する。

復号部６０は、画像内容が共通する、上記第１画質の動画像符号化データおよび上記第２画質の動画像符号化データの一方を復号する。より具体的には、バッファ５０から供給される上記第１画質の動画像符号化データまたは上記第２画質の動画像符号化データを復号する。たとえば、当該第１画質の動画像は上記ＨＤサイズの動画像、当該第２画質の動画像は上記ＳＤサイズの動画像であってもよい。

操作部６２０は、ユーザの指示を受け付け、その指示にもとづく制御信号を生成し、編集部７０に出力する。本実施の形態では、操作部６２０は、主に、ユーザから各種の編集操作を受け付ける。各種の編集には、画像の切り貼り、エフェクト処理、テキスト挿入、オーディオ挿入などが含まれる。

編集部７０は、復号部６０により復号される、第１画質の動画像または第２画質の動画像を編集する。より具体的には、編集部７０は、編集対象として選択された動画像の再生画面を含む編集画面を表示装置６１０に表示させる。ユーザは、その編集画面を見て操作部６２０を操作することにより、各種の編集作業を行う。たとえば、不要なシーンを削除する。また、複数のシーンを切り取り、それらのシーンをつなぎ合わせて別の動画像ファイルやプレイリストを作成する。また、選択したフレームにメッセージを挿入したり、選択したシーンにＢＧＭを挿入したりする。

編集部７０は、ユーザ操作に起因して第１画質の動画像および第２画質の動画像の一方に施した編集を、ユーザ操作に関わらずその他方の動画像符号化データに反映させる。たとえば、ユーザ操作に起因して第１画質の動画像のあるシーンが削除された場合、第２画質の動画像の対応シーンを削除する。

なお、編集部７０は、第１画質の動画像および第２画質の動画像の一方に施した編集を、その他方に反映させるに先立ち、他方の動画像に反映させてよいか否かを確認させるためのメッセージをユーザに対して報知してもよい。たとえば、表示装置６１０の画面内に、”ＳＤサイズの動画像にも反映させますか？”などのメッセージを表示させてもよい。また、図示しない音声出力部からメッセージを音声出力させてもよい。編集部７０は、操作部６２０を介してユーザからＯＫが指示された場合、上記他方の動画像への反映処理を実行し、ＮＧが指示された場合、当該反映処理を中止する。

編集部７０は、フレーム画像内にテキストを挿入したり、フレーム画像内の色をセピア調に変色したりなど、フレーム画像そのものを加工する場合、加工後の画像を符号化部８０に出力する。符号化部８０は、入力される加工後の画像を符号化し、バッファ５０に出力する。また、編集部７０は、その加工をバッファ５０内の他方の動画像符号化データに反映させるべく、当該動画像符号化データを復号部６０に復号させる。編集部７０は、復号された動画像に同様の加工を施し、加工後の画像を符号化部８０に符号化させる。

一方、編集部７０は、シーンの削除や切り出しなど、フレーム画像そのものを加工しない編集を行う場合、バッファ５０内の編集対象の動画像符号化データを直接、編集することができる。また、編集部７０は、その編集をバッファ５０内の他方の動画像符号化データに対しても直接、編集することができる。たとえば、削除が指示されたシーンのフレーム画像を、両方の動画像符号化データから単純に取り除けばよい。

各種の編集のうちシーンの削除は、いったんシーンが削除されてしまうと、そのシーンを復元することが困難であるため慎重になされるべきである。また、高画質（たとえば、ＨＤサイズ）の動画像と、低画質（たとえば、ＳＤ画質）の動画像とが存在する場合、前者の動画像のシーンを削除するのと、後者の動画像のシーンを削除するのとでは、ユーザの意図が異なる場合がある。

すなわち、高画質の動画像は主に、保存用に用いられるため、シーンの削除がそのシーンは必要ないとのユーザの判断にもとづいて、実施されるケースが比較的多い。これに対し、低画質の動画像は主に、メール送信やインターネット上のサイトへの投稿用に用いられるため、シーンの削除が容量の削減を主な目的として、実施されるケースが比較的多い。

以下、この考察を反映させた処理について説明する。編集部７０は、ユーザ操作に起因して、第１画質の動画像および第２画質の動画像のうち、高画質のほうの動画像の一部区間を削除したときは、低画質のほうの動画像の対応区間を削除する。すなわち、その一部区間は、ユーザにとって不要なシーンである可能性が高いため、低画質のほうの動画像にも反映させる。

一方、編集部７０は、ユーザ操作に起因して低画質のほうの動画像の一部区間を削除したとき、高画質のほうの動画像の対応区間を無条件に削除しない。その一部区間のシーンをユーザは残しておきたいが、インターネット上のサイトに投稿するために容量を圧縮する必要から削除した可能性があるためである。この可能性をユーザに確認すべく、編集部７０は、高画質のほうの動画像の対応区間を削除するか否かを確認させるためのメッセージをユーザに対して報知してもよい。これに対して、ユーザからＯＫが指示された場合、当該対応区間の削除を実行し、ＮＧが指示された場合、その削除を中止する。

図４は、実施の形態２に係る画像編集装置５００の編集動作を説明するための図である。図４では、画像内容が共通する、ＨＤサイズの動画像符号化データとＳＤサイズの動画像符号化データが存在することを前提とする。ここでは、ユーザはＨＤサイズの動画像を編集する。表示装置６１０の編集画面には、ＨＤサイズの動画像のコマが表示される。図４では、五つのシーン（第１シーンＳ１〜第５シーンＳ５）の、それぞれの最初のコマ（すなわち、前のシーンからの切り替わりのコマ）が表示される。ユーザは、第４シーンＳ４および第５シーンＳ５が不要であるため、それらのシーンを編集作業により削除する。編集部７０は、この手動による編集作業をＳＤサイズの動画像に反映させる。すなわち、ＳＤサイズの動画像の第４シーンＳ４および第５シーンＳ５を自動編集により削除する。

以上説明したように実施の形態２によれば、画像内容が共通し、かつ画質が異なる複数の動画像ファイルを編集する場合にて、ユーザの利便性を向上させることができる。たとえば、高画質の動画像ファイルと低画質の動画像ファイルとが存在する場合について考える。この場合、一方の動画像ファイルに施された編集を、他方の動画像ファイルにも反映させることにより、ユーザによる編集作業を軽減させることができる。両方の動画像ファイルを同様に編集しようとしているユーザにとって、編集作業の手間を半分に軽減することができる。

また、両方の動画像ファイルに対する編集の同一性を担保することができる。両方の動画像ファイルに対して、完全に同じ編集を施そうとしているユーザにとって好適である。両方の動画像ファイルに対して手動で編集すると、完全に同じ編集とならないケースも発生する。本実施の形態によれば、編集の同一性を担保しつつ、その編集作業の手間を軽減することができる。

また、ユーザが一方の動画像ファイルへの編集を、他方の動画像ファイルへ反映させることを必ずしも望んでいない可能性があるケースでは、その反映を実施しないか、ユーザに確認を求めることにより、その実情を反映させることができる。たとえば、低画質のほうの動画像ファイルの一部シーンを削除する場合、容量圧縮を意図している可能性があり、高画質のほうの動画像ファイルに無条件をその削除を反映しないように処理する。

図６は、実施の形態３に係る画像再生装置１５００を備える画像表示システム１７００の構成図である。画像表示システム１７００は、画像再生装置１５００、表示装置１６１０および操作部１６２０を備える。

画像表示システム１７００は、様々なハードウェア構成が可能である。たとえば、画像表示システム１７００を、上述した撮像装置３００と、ケーブル接続されたテレビにより構築することができる。この場合、画像再生装置１５００が撮像装置３００の制御機能、操作部１６２０が撮像装置３００の操作機能、および表示装置１６１０が当該テレビの表示機能により構築可能である。

また、画像表示システム１７００を、実施の形態１に係る画像処理装置１００により生成された動画像ファイルを受信したＰＣにより構築可能である。この場合、画像再生装置１５００、操作部１６２０および表示装置１６１０のそれぞれをＰＣの制御機能、操作機能および表示機能によりそれぞれ構築可能である。ＰＣの代わりに、携帯電話機、ＰＤＡ、携帯型音楽プレイヤなどを用いる場合も同様である。

また、画像表示システム１７００を、上述した撮像装置３００単体で構築可能である。この場合、画像再生装置１５００、操作部１６２０および表示装置１６１０のそれぞれを撮像装置３００の制御機能、操作機能および表示機能によりそれぞれ構築可能である。当該撮像装置３００には、実施の形態１に係る画像処理装置１００も含まれる。

画像再生装置１５００は、バッファ１０５０、復号部１０６０および制御部１０７０を含む。画像再生装置１５００の構成は、ハードウェア的には、任意のプロセッサ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。

バッファ１０５０は、実施の形態１に係る画像処理装置１００により生成された動画像ファイルを一時記憶する。また、バッファ１０５０は、制御部１０７０からの制御信号にしたがい、当該動画像ファイルに含まれる、上記第１画質の動画像符号化データおよび上記第２画質の動画像符号化データのいずれかを復号部１０６０に供給する。

復号部１０６０は、画像内容が共通する、第１画質の動画像符号化データおよび当該第１画質より低画質の第２画質の動画像符号化データを選択的に復号する。より具体的には、バッファ１０５０から供給される上記第１画質の動画像符号化データまたは上記第２画質の動画像符号化データを復号する。たとえば、当該第１画質の動画像は上記ＨＤサイズの動画像、当該第２画質の動画像は上記ＳＤサイズの動画像であってもよい。以下、本実施の形態では、当該第１画質を高画質、当該第２画質を低画質と表記する。

操作部１６２０は、ユーザの指示を受け付け、その指示にもとづく制御信号を生成し、制御部１０７０に出力する。本実施の形態では、主に、高画質の動画像または低画質の動画像の各種の再生指示、および停止指示を受け付ける。ここで、各種の再生指示には特殊再生指示（たとえば、早送り再生、巻き戻し再生、スロー送り再生、スロー戻し再生）が含まれる。

制御部１０７０は、復号部１０６０により復号される、上記高画質の動画像または上記低画質の動画像を表示装置１６１０に表示させる。制御部１０７０は、操作部１６２０から各種の再生指示に起因する制御信号が入力されると、当該再生指示の種別に応じた画質の動画像を表示装置１６１０に表示させる。

まず、動作例１について説明する。動作例１は、再生指示の種別と再生画質との対応関係があらかじめ設定されている例である。以下に説明する、動作例１−１は通常再生が高画質に設定される例であり、動作例１−２は通常再生が低画質に設定される例である。たとえば、動作例１−１は、ＰＣなど高スペックなハードウェア資源で動画像を再生表示する場合に適している。また、動作例１−２は携帯機器など低スペックなハードウェア資源で動画像を再生表示する場合に適している。すなわち、通常再生を低画質で行えば、再生負荷の低減および消費電力の低減に資する。

図７は、実施の形態３に係る画像再生装置１５００の動作例１における、再生指示の種別と再生画質との対応関係を規定したテーブルである。図７（ａ）は動作例１−１におけるテーブル１０７１ａを示し、図７（ｂ）は、動作例１−２におけるテーブル１０７１ｂを示す。

図７（ａ）に示すように動作例１−１では、制御部１０７０は、通常再生が指示されたとき高画質（ここでは、ＨＤサイズ）の動画像を表示させ、早送り再生または巻き戻し再生（以下、高速再生と総称する）が指示されたとき低画質（ここでは、ＳＤサイズ）の動画像を表示装置１６１０に表示させる。また、制御部１０７０は、スロー送り再生またはスロー戻し再生（以下、スロー再生と総称する）が指示されたとき高画質（ここでは、ＨＤサイズ）の動画像を表示させる。なお、スロー再生にはコマ送り再生およびコマ戻し再生も含まれる。

また、図７（ｂ）に示すように動作例１−２では、制御部１０７０は、通常再生が指示されたとき低画質（ここでは、ＳＤサイズ）の動画像を表示させ、スロー再生が指示されたとき高画質（ここでは、ＨＤサイズ）の動画像を表示装置１６１０に表示させる。また、制御部１０７０は、高速再生が指示されたとき低画質（ここでは、ＳＤサイズ）の動画像を表示させる。

つぎに、動作例２について説明する。動作例１では、ユーザが通常再生指示を出したとき、あらかじめ設定された画質で再生される例を説明したが、動作例２では、ユーザが通常再生指示を出す際、ユーザが画質を指定することができる例である。たとえば、ユーザは、画面内に表示された、高画質の動画像ファイルおよび低画質のファイルの一方を選択して再生する。

図８は、実施の形態３に係る画像再生装置１５００の動作例２における再生画質の遷移例を示す。図８（ａ）は高速再生期間を含む遷移例を示し、図８（ｂ）は、スロー再生期間を含む遷移例を示す。

図８（ａ）に示すように、制御部１０７０は、高画質の動画像の通常再生中またはその停止後に高速再生が指示されたとき、表示装置１６１０に表示させる動画像を、高画質の動画像から低画質の動画像に切り替える。なお、低画質の動画像の通常再生中またはその停止後に、高速再生が指示されたときは、そのまま低画質の動画像を表示させる。

制御部１０７０は、低画質の動画像の高速再生中またはその停止後に通常再生が指示されたとき、当該高速再生前の通常再生中に表示されていた画質に戻す。たとえば、当該高速再生前の通常再生中に高画質の動画像が表示されていた場合、表示装置１６１０に表示させる動画像を、低画質の動画像から高画質の動画像に切り替える。

また、図８（ｂ）に示すように、制御部１０７０は、低画質の動画像の通常再生中またはその停止後にスロー再生が指示されたとき、表示装置１６１０に表示させる動画像を、低画質の動画像から高画質の動画像に切り替える。なお、高画質の動画像の通常再生中またはその停止後にスロー再生が指示されたときは、そのまま高画質の動画像を表示させる。

制御部１０７０は、高画質の動画像のスロー再生中またはその停止後に通常再生が指示されたとき、当該スロー再生前の通常再生中に表示されていた画質に戻す。たとえば、当該スロー再生前の通常再生中に低画質の動画像が表示されていた場合、表示装置１６１０に表示させる動画像を、高画質の動画像から低画質の動画像に切り替える。

上述したように、低画質の動画像符号化データを高速再生する際、すべてのフレームを復号して再生してもよいが、一部のフレームの復号をスキップしてもよい。たとえば、当該動画像符号化データがＭＰＥＧシリーズの規格で符号化されている場合、ＩフレームおよびＰフレームの復号を実行し、Ｂフレームの復号をスキップしてもよい。

以上説明したように実施の形態３によれば、画像内容が共通し、かつ画質が異なる複数の動画像ファイルのいずれかを特殊再生する場合にて、再生負荷の増大を抑制しながら、表示品質を向上させることができる。たとえば、高画質の動画像ファイルと低画質の動画像ファイルとが存在する場合について考える。高速再生が指示された場合、その前の状況に関わりなく（たとえば、高画質の動画像の通常再生中であっても）、低画質の動画像を高速再生する。これにより、より多くのフレーム画像を再生することができる。

すなわち、高速再生する場合、高スペックなハードウェア資源を用いて処理負荷を大きく増大させない限り、高画質の動画像の全フレームを再生することは困難である。したがって、高画質の動画像を高速再生する場合、フレームを間引いて再生されることが一般的である。たとえば、当該高画質の動画像がＭＰＥＧシリーズの規格で符号化されている場合、Ｉフレームの復号を実行し、ＰフレームおよびＢフレームの復号をスキップする処理が使用される。この場合、再生されるフレーム数が非常に少なくなるため、残像が目立つ、カクカクした画像となってしまう。

これに対し、上記低画質の動画像の場合、一フレームあたりの処理負荷が上記高画質の動画像より小さくなるため、上記高画質の動画像と比較し、再生されるフレーム数を多くすることが容易に可能である。したがって、高速再生する場合に、高スペックなハードウェア資源を用いて処理負荷を大きく増大させなくても、残像感の少ない滑らかな画像を表示させることができる。

また、スロー再生が指示された場合、その前の状況に関わりなく（たとえば、低画質の動画像の通常再生中であっても）、高画質の動画像をスロー再生する。スロー再生では一フレームの処理にかけることができる時間を長くすることができるため、低スペックなハードウェア資源でも、コマ落ちせずに再生することができる。

また、これら画質の切り替えを自動的に行うことにより、ユーザの手間を増大させずに、特殊再生時の表示品質を向上させることができる。

以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

上記実施の形態１、２では、所定の動画像を、上記第１画質および上記第２画質の両方で継続的に符号化され、上記第１画質の動画像符号化データおよび上記第２画質の動画像符号化データが生成される例を説明した。この点、変形例では、所定の動画像を、上記第１画質で継続的に符号化されて上記第１画質の動画像符号化データが生成され、上記第２画質で断続的に符号化されて上記第２画質の動画像符号化データが生成される。

すなわち、上記第１画質および上記第２画質の両方で符号化されるデュアルエンコード期間と、上記第１画質のみで符号化されるシングルエンコード期間とが設定される。このデュアルエンコード期間とシングルエンコード期間との切り替えタイミングは、撮影時のユーザ操作により設定されてもよいし、システムにより自動設定されてもよい。たとえば、フレーム画像内に所定のオブジェクト（たとえば、顔）が検出される期間がデュアルエンコード期間に設定され、検出されない期間がシングルエンコード期間に設定されてもよい。

以下、上記第１画質がＨＤサイズ、上記第２画質がＳＤサイズの場合を例に説明する。
図５は、ＨＤサイズによるシングルエンコードモードと、ＨＤサイズおよびＳＤサイズによるデュアルエンコードモードとの切り替えタイミング例を示す図である。この例では、撮像された動画像が、ＨＤサイズで継続的に符号化され、ＳＤサイズで断続的に符号化される。

編集部７０は、ユーザ操作に起因して第１画質（ここでは、ＨＤサイズ）の動画像の一部区間の削除が指示されると、その一部区間が第２画質（ここでは、ＳＤサイズ）の動画像に存在するか否かを判定し、一部区間が第２画像（ここでは、ＳＤサイズ）の動画像に存在しない区間を含む場合、当該削除の指示を確定させるか否かを選択させるためのメッセージを、ユーザに対して報知する。これに対して、ユーザからＯＫが指示された場合、当該対応区間の削除を実行し、ＮＧが指示された場合、その削除を中止する。

図５の例では、ＨＤサイズの動画像において削除が指示されているシーンが、時刻Ｔ０〜Ｔ１の期間、時刻Ｔ２〜Ｔ３の期間、または時刻Ｔ４〜Ｔ５の期間を含む場合、編集部７０は、上記メッセージをユーザに対して報知する。すなわち、これらの期間を含むシーンを削除すると、それらの期間の映像を見ることができなくなるため、ユーザに対して注意を促す。ユーザは、一方の動画像ファイルの一部のシーンを削除しても、他方の動画像ファイルにそのシーンの映像が残っていると考えている可能性がある。しかしながら、本変形例では、シングルエンコード期間を含むため、その期間内の映像を削除してしまうと、当該映像を復元することが困難となる。本変形例によれば、ユーザの勘違いによる削除を抑制することができる。

上記実施の形態２では、実施の形態１に係る画像処理装置１００により、撮影時にデュアルエンコードされた二種類の動画像符号化データを再生する場合にて説明した。この点、撮影時にシングルエンコードされた一種類の動画像符号化データをトランスコーディングして事後的に生成された動画像符号化データを含む、二種類の動画像符号化データを再生する場合にも適用可能である。

また、上記実施の形態１、２では、二種類の動画像符号化データを生成および再生する例を説明したが、三種類以上の動画像符号化データを生成および再生してもよい。その場合、一つの動画像符号化データに対する編集が、残りすべての動画像符号化データに反映されてもよいし、その一部の動画像符号化データに反映されてもよい。

また、上記第１画質の動画像符号化データおよび上記第２画質の動画像符号化データの一方が撮像装置３００内に存在し、その他方がＰＣに存在する場合、撮像装置３００とＰＣがケーブルやドッキングステーションを介して接続された後、上記実施の形態２で説明した、編集の同期処理が実行される。この編集の同期処理は、両者が接続された直後に自動的に実行されてもよいし、ユーザ操作を条件に実行されてもよい。撮像装置３００と他の機器との間においても同様である。

上記実施の形態３では、実施の形態１に係る画像処理装置１００により、撮影時にデュアルエンコードされた二種類の動画像符号化データを再生する場合にて説明した。この点、撮影時にシングルエンコードされた一種類の動画像符号化データをトランスコーディングして事後的に生成された動画像符号化データを含む、二種類の動画像符号化データを再生する場合にも適用可能である。

また、上記実施の形態１、３では、二種類の動画像符号化データを生成および再生する例を説明したが、三種類以上の動画像符号化データを生成および再生してもよい。その場合にて、高速再生が指示された場合、最も低画質の動画像符号化データが再生されてもよい。また、スロー再生が指示された場合、最も高画質の動画像符号化データが再生されてもよい。

上述した実施の形態１〜３では、上記第１画質の動画像と上記第２画質の動画像とを異なる解像度で符号化する例を前提に説明した。以下の変形例では、上記第１画質の動画像と上記第２画質の動画像とを同じ解像度で異なる画角で符号化する例を説明する。

図９は、変形例に係る画像処理装置１００を搭載した撮像装置３００の構成図である。図９の画像処理装置１００は、図１の画像処理装置１００に超解像処理部１４が追加された構成である。以下、図１の説明と重複する説明は適宜、省略する。超解像処理部１４は、解像度変換部１２により、解像度が低下されたフレーム画像の解像度を超解像処理により向上させる。ここで、超解像処理として既存のフレーム内処理および／またはフレーム間処理を用いた手法を採用することができる。

図１０は、当該変形例をもとに、図２に示した例を発展させた図である。フレーム画像Ｆ１、フレーム画像Ｆ２およびフレーム画像Ｆ３については図２の説明と同様である。当該変形例では、超解像処理部１４はフレーム画像Ｆ３をＨＤサイズのフレーム画像Ｆ４に変換する。これにより、同じ解像度で異なる画角の二つのフレーム画像Ｆ２、フレーム画像Ｆ４が生成される。

なお、図９、１０に示した変形例は一例であり、撮像装置３００によりデュアルエンコードされる上記第１画質の動画像と上記第２画質の動画像は、解像度および画角の両方が同じでなければよく、解像度および画角の少なくとも一方が異なっていればよい。それを実現するために、解像度変換部１２および超解像処理部１４の配置も様々なバリエーションが考えられる。たとえば、分岐部１１と第１画像符号化部２１との間にも、解像度変換部１２および超解像処理部１４を配置し、上記第１画質の動画像の解像度および画角を調整してもよい。

当該変形例によれば、デュアルエンコードされる動画像のスペックをよりきめ細かく、より柔軟に設定することができる。

１１ 分岐部、 １２ 解像度変換部、 １４ 超解像処理部、 ２０ 画像符号化部、 ２１ 第１画像符号化部、 ２２ 第２画像符号化部、 ４０ 多重化部、 ４１ 記録部、 ５０ バッファ、 ６０ 復号部、 ７０ 編集部、 ８０ 符号化部、 １００ 画像処理装置、 ２１０ 撮像部、 ３００ 撮像装置、 ５００ 画像編集装置、 ６１０ 表示装置、 ６２０ 操作部、 ６３０ 記憶装置、 ７００ 画像編集システム。

Claims (10)

1. 画像内容が共通する、第１画質の動画像符号化データおよび当該第１画質と異なる第２画質の動画像符号化データの一方を復号する復号部と、
   前記復号部により復号される、前記第１画質の動画像または前記第２画質の動画像を編集する編集部と、を備え、
   前記編集部は、ユーザ操作に起因して前記第１画質の動画像および前記第２画質の動画像の一方に施した編集を、ユーザ操作に関わらずその他方の動画像符号化データに反映させることを特徴とする画像編集装置。
2. 前記第１画質は、前記第２画質より高画質であり、
   前記編集部は、
   ユーザ操作に起因して前記第１画質の動画像の一部区間を削除したとき、前記第２画質の動画像の対応区間を削除し、
   ユーザ操作に起因して前記第２画質の動画像の一部区間を削除したとき、前記第１画質の動画像の対応区間を削除しないことを特徴とする請求項１に記載の画像編集装置。
3. 前記第１画質は、前記第２画質より高画質であり、
   前記編集部は、
   ユーザ操作に起因して前記第１画質の動画像の一部区間を削除したとき、前記第２画質の動画像の対応区間を削除し、
   ユーザ操作に起因して前記第２画質の動画像の一部区間を削除したとき、前記第１画質の動画像の対応区間を削除するか否かを確認させるためのメッセージを、ユーザに対して報知することを特徴とする請求項１に記載の画像編集装置。
4. 前記第１画質の動画像符号化データは、所定の動画像が継続的に符号化されて生成され、前記第２画質の動画像符号化データは、前記動画像が断続的に符号化されて生成され、
   前記編集部は、ユーザ操作に起因して前記第１画質の動画像の一部区間の削除が指示されると、その一部区間が前記第２画質の動画像に存在するか否かを判定し、前記一部区間が前記第２画質の動画像に存在しない区間を含む場合、前記削除の指示を確定させるか否かを選択させるためのメッセージを、ユーザに対して報知することを特徴とする請求項１に記載の画像編集装置。
5. 動画像を取得する撮像部と、
   前記撮像部により撮像される動画像を、前記第１画質および前記第２画質の両方で符号化する符号化部と、
   請求項１から４のいずれかに記載の画像編集装置と、
   を備えることを特徴とする撮像装置。
6. 画像内容が共通する、第１画質の動画像符号化データおよび当該第１画質より低画質の第２画質の動画像符号化データを選択的に復号可能な復号部と、
   前記復号部により復号される、前記第１画質の動画像または前記第２画質の動画像を表示装置に表示させる制御部と、を備え、
   前記制御部は、通常再生が指示されたとき前記第１画質の動画像を表示させ、早送り再生または巻き戻し再生が指示されたとき前記第２画質の動画像を表示させることを特徴とする画像再生装置。
7. 画像内容が共通する、第１画質の動画像符号化データおよび当該第１画質より低画質の第２画質の動画像符号化データを選択的に復号可能な復号部と、
   前記復号部により復号される、前記第１画質の動画像または前記第２画質の動画像を表示装置に表示させる制御部と、を備え、
   前記制御部は、通常再生が指示されたとき前記第２画質の動画像を表示させ、スロー送り再生またはスロー戻し再生が指示されたとき前記第１画質の動画像を表示させることを特徴とする画像再生装置。
8. 画像内容が共通する、第１画質の動画像符号化データおよび当該第１画質より低画質の第２画質の動画像符号化データを選択的に復号可能な復号部と、
   前記復号部により復号される、前記第１画質の動画像または前記第２画質の動画像を表示装置に表示させる制御部と、を備え、
   前記制御部は、前記第１画質の動画像の通常再生中またはその停止後に、早送り再生または巻き戻し再生が指示されたとき、前記第１画質の動画像から前記第２画質の動画像に切り替えて表示させることを特徴とする画像再生装置。
9. 画像内容が共通する、第１画質の動画像符号化データおよび当該第１画質より低画質の第２画質の動画像符号化データを選択的に復号可能な復号部と、
   前記復号部により復号される、前記第１画質の動画像または前記第２画質の動画像を表示装置に再生表示させる制御部と、を備え、
   前記制御部は、前記第２画質の動画像の通常再生中またはその停止後に、スロー送り再生またはスロー戻し再生が指示されたとき前記第２画質の動画像から前記第１画質の動画像に切り替えて再生表示させることを特徴とする画像再生装置。
10. 動画像を取得する撮像部と、
    前記撮像部により撮像される動画像を、前記第１画質および前記第２画質の両方で符号する符号化部と、
    請求項６から９のいずれかに記載の画像再生装置と、
    前記画像再生装置により再生される動画像を表示する表示装置と、
    を備えることを特徴とする撮像装置。

Images