JP2011053655A - 画像表示制御装置およびそれを搭載した撮像装置、ならびに画像処理装置およびそれを用いた撮像装置 - Google Patents

Abstract

【課題】撮影の段階で生成された、複数の異なる画質の動画像ファイルのいずれかを表示再生する場合にて、視聴者の利便性を向上させることができる。
【解決手段】復号部６０は、撮像される動画像を、第１画質および当該第１画質と異なる第２画質の両方で符号化することも、第１画質および第２画質の一方で符号化することもできる符号化装置により生成された符号化データを復号する。表示制御部７０は、復号部６０により復号される、第１画質の動画像または第２画質の動画像を表示装置６１０に表示させる。表示制御部７０は、第１画質および第２画質の両方の符号化データが存在する場合、現在表示されている動画像を別の画質で表示可能なことを示す情報を表示装置６１０の画面内に表示させる。
【選択図】図７

Description

本発明は、符号化画像データを復号して所定の表示装置に表示させる画像表示制御装置、およびそれを搭載した撮像装置、ならびに撮像される動画像を符号化する画像処理装置およびそれを搭載した撮像装置に関する。

近年、一般ユーザが手軽に動画像を撮影することができるデジタルムービーカメラが普及してきており、それらのなかには、フルＨＤ（high definition）（１９２０×１０８０ピクセル）の動画像を撮影することができるものもある。このようなデジタルムービーカメラで撮影された動画像は、様々な用途に使用される。たとえば、テレビやＰＣで鑑賞されたり、電子メールに添付して送信されたり、インターネット上の動画共有サイト、ブログサイトまたはＳＮＳ（Social Networking Service）サイトにアップロードされたりする。

特開２００９−１０５６８４号公報

フルＨＤで撮像された動画像は高画質であり、ハイビジョン対応テレビで鑑賞するのに適している。しかしながら、フルＨＤで撮像された動画像は容量が大きくなるため、メールに添付して送信したり、インターネット上のサイトにアップロードするには、あまり適しているとはいえない。たとえば、動画共有サイト、ブログサイトおよびＳＮＳサイトの多くは、アップロードされる動画像に対して、容量制限を課している。

したがって、フルＨＤで撮像された動画像をインターネット上のサイトにアップロードする場合、その動画像をいったんＰＣに取り込み、低解像度および／または低フレームレートの動画像に変換して、その容量を小さくする必要がある。この変換処理は、元の動画像が高画質であるほど時間がかかり、ユーザにとって煩雑な作業となる。

これに対し、撮影の段階で、複数の異なる画質の動画像を並列的に符号化して、異なる画質の動画像ファイルを複数生成することが考えられる。たとえば、デジタルムービーカメラ内に二つのエンコーダを搭載し、画質の異なる二つの動画像ファイルを生成することが考えられる。

本発明はこうした状況に鑑みなされたものであり、本発明の第１の目的は、撮影の段階で生成された、複数の異なる画質の動画像ファイルのいずれかを表示再生する場合にて、視聴者の利便性を向上させることができる技術を提供することにある。また、複数の異なる画質の符号化データを生成する場合、当然のことながら、一種類の符号化データを生成する場合と比較し、動画像ファイル全体の容量が大きくなる。本発明の第２の目的は、動画像ファイルの容量の増加を抑制しながら、動画像ファイルのトランスコーディングの必要性を低減させることができる技術を提供することにある。

本発明のある態様の画像表示制御装置は、撮像される動画像を、第１画質および当該第１画質と異なる第２画質の両方で符号化することも、第１画質および第２画質の一方で符号化することもできる符号化装置により生成された符号化データを復号するための復号部と、復号部により復号される、第１画質の動画像または第２画質の動画像を所定の表示装置に表示させる表示制御部と、を備える。表示制御部は、第１画質および第２画質の両方の符号化データが存在する場合、現在表示されている動画像を別の画質で表示可能なことを示す情報を表示装置の画面内に表示させる。

本発明の別の態様は、撮像装置である。この装置は、動画像を取得する撮像部と、撮像部により撮像される動画像を、第１画質および当該第１画質と異なる第２画質の両方で符号化することも、第１画質および第２画質の一方で符号化することもできる符号化装置と、上述した画像表示制御装置と、画像表示制御装置により表示制御される表示装置と、を備える。

本発明のある態様の画像処理装置は、撮像される動画像を、第１画質および当該第１画質と異なる第２画質の両方で符号化することも、その一方で符号化することもできる画像符号化部と、画像符号化部に、所定の条件を満たす第１期間、第１画質および第２画質の両方で符号化するよう指定し、条件を満たさない第２期間、第１画質および第２画質の一方で符号化するよう指定する制御部と、を備える。

本発明の別の態様は、撮像装置である。この装置は、動画像を取得する撮像部と、撮像部により取得される動画像を処理する上述した画像処理装置と、を備える。

なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明の画像表示制御装置およびそれを搭載した撮像装置によれば、撮影の段階で生成された、複数の異なる画質の動画像ファイルのいずれかを表示再生する場合にて、視聴者の利便性を向上させることができる。また、本発明の画像処理装置およびそれを用いた撮像装置によれば、動画像ファイルの容量の増加を抑制しながら、動画像ファイルのトランスコーディングの必要性を低減させることができる。

実施の形態１に係る処理装置を搭載した撮像装置の構成図である。 分岐部に入力されるフレーム画像、第１画像符号化部により符号化されるフレーム画像および第２画像符号化部により符号化されるフレーム画像の関係を示す図である。 ＨＤ画質によるシングルコーデックモードと、ＨＤ画質およびＳＤ画質によるデュアルコーデックモードとの切り替えタイミング例を示す図である。 ＳＤ画質によるシングルコーデックモードと、ＨＤ画質およびＳＤ画質によるデュアルコーデックモードとの切り替えタイミング例を示す図である。 実施の形態２に係る処理装置を搭載した撮像装置の構成図である。 注目領域の設定例を示す図である。 実施の形態３に係る画像表示制御装置を備える画像表示システムの構成図である。 画質情報の表示例（その１）を示す図である。図８（ａ）は、ＳＤ画質で表示可能なことを示す画質情報を示し、図８（ｂ）は、ＨＤ画質で表示可能なことを示す画質情報を示す。 画質情報の表示例（その２）を示す図である。 トリガ情報を伴う画質情報の表示例を示す図である。図１０（ａ）は、ユーザ操作をトリガ条件とするトリガ情報を伴う画質情報の表示例を示し、図１０（ｂ）は、音声信号レベルの閾値超えをトリガ条件とするトリガ情報を伴う画質情報の表示例を示し、図１０（ｃ）は、オブジェクト検出をトリガ条件とするトリガ情報を伴う画質情報の表示例を示す。 変形例に係る処理装置を搭載した撮像装置の構成図である。 変形例をもとに、図２に示した例を発展させた図である。

図１は、実施の形態１に係る処理装置１００を搭載した撮像装置３００の構成図である。撮像装置３００は、撮像部２１０、音声取得部２２０、処理装置１００、操作部２３０を備える。

撮像部２１０は、フレーム画像を連続的に取得し、動画像として処理装置１００に供給する。撮像部２１０は、ＣＣＤ（Charge Coupled Devices）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの図示しない固体撮像素子、およびその固体撮像素子から出力される信号を処理する図示しない信号処理回路を備える。当該信号処理回路は、上記固体撮像素子から出力されるアナログの三原色信号Ｒ、Ｇ、Ｂを、デジタルの輝度信号Ｙおよび色差信号Ｃｒ、Ｃｂに変換することができる。

音声取得部２２０は、外部から取得される音を電気信号に変換して、音声信号として処理装置１００（より具体的には、処理装置１００内の制御部１０および音声符号化部３０）に出力する。

処理装置１００は、主に、撮像部２００により取得される動画像を処理する。処理装置１００は、制御部１０、分岐部１１、解像度変換部１２、画像符号化部２０、音声符号化部３０、多重化部４０、記録部４１および入出力部４２を含む。画像符号化部２０は、第１画像符号化部２１および第２画像符号化部２２を含む。

処理装置１００の構成は、ハードウェア的には、任意のプロセッサ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。

分岐部１１は、制御部１０からの制御信号による指示にしたがい、撮像部２１０から供給される動画像を第１画像符号化部２１に出力するか、解像度変換部１２に出力するか、またはその両方に出力する。

解像度変換部１２は、分岐部１１から入力される動画像を構成するフレーム画像の解像度を変換する。ここでは、当該フレーム画像の解像度を低下させる。解像度変換部１２は、当該フレーム画像の中央領域を切り出し、その周辺領域を削除して当該解像度を低下させてもよいし、当該フレーム画像内の画素を間引いて、低下させてもよい。解像度変換部１２は、解像度を変換させた後のフレーム画像で構成される動画像を第２画像符号化部２２に出力する。

画像符号化部２０は、撮像部２１０により撮像される動画像を、第１画質および当該第１画質と異なる第２画質の両方で、並列的または同時に符号化することができる。すなわち、一種類の動画像をデュアルコーデックすることができる。図１では、第１画像符号化部２１が分岐部１１から入力される動画像を、第２画像符号化部２２が解像度変換部１２から入力される動画像を、並列的または同時に符号化することができる。

上記第１画質の動画像と上記第２画質の動画像とは、異なる解像度で符号化される。上記第１画質の動画像の解像度と上記第２画質の動画像の解像度との組み合わせは、様々な組み合わせが可能である。たとえば、１９２０×１０８０ピクセルサイズ、１２８０×７２０ピクセルサイズ、６４０×４８０ピクセルサイズ、４４８×３３６ピクセルサイズおよび１９２×１０８ピクセルサイズの、任意の二つの組み合わせであってもよい。

また、上記第１画質の動画像と上記第２画質の動画像とは、異なる解像度で符号化されるとともに、異なるフレームレートで符号化されてもよい。たとえば、６０ｆｐｓ、３０ｆｐｓおよび１５ｆｐｓの、任意の二つの組み合わせであってもよい。また、４４８×３３６ピクセルサイズまたは１９２×１０８ピクセルサイズなど、低解像度の場合、２４０ｆｐｓや６００ｆｐｓなど、高フレームレートを割り当てることも可能である。

画像符号化部２０は、当該第１画質の動画像および当該第２画質の動画像を所定の規格にしたがい圧縮符号化する。たとえば、Ｈ．２６４／ＡＶＣ、Ｈ．２６４／ＳＶＣ、ＭＰＥＧ−２、またはＭＰＥＧ−４などの規格にしたがい圧縮符号化することができる。

画像符号化部２０は、一つのハードウェアエンコーダまたは汎用プロセッサによるソフトウェア処理により、上記第１画質の動画像と上記第２画質の動画像を時分割に符号化してもよいし、二つのハードウェアエンコーダにより、当該第１画質の動画像と当該第２画質の動画像とを平行に符号化してもよい。画像符号化部２０は、符号化した、第１画質の動画像の符号化データ（符号化ストリームともいう）および第２画質の動画像の符号化データを多重化部４０に出力する。

音声符号化部３０は、音声取得部２２０から供給される音声信号を符号化する。たとえば、ＡＡＣ、ＭＰ３などの規格にしたがい圧縮符号化する。音声符号化部３０は、符号化した、音声の符号化データを多重化部４０に出力する。

多重化部４０は、第１画像符号化部２１から入力される上記第１画質の動画像の符号化データ、第２画像符号化部２２から入力される上記第２画質の動画像の符号化データ、および音声符号化部３０から入力される音声の符号化データを多重化して、一つの動画像ファイルを生成する。たとえば、ＭＰ４ファイルフォーマットにしたがった、コンテナファイルを生成することができる。当該コンテナファイルには、各符号化データのヘッダ情報、メタデータ、時刻情報などを記述したコンテナを含めることができる。復号側で当該コンテナファイルが参照されることにより、上記第１画質の動画像、上記第２画質の動画像および上記音声間の同期をとることや、ランダムアクセスすることが容易に可能となる。

記録部４１は、多重化部４０により多重化された動画像ファイルを当該記録媒体に記録する。当該記録媒体として、内蔵メモリと着脱可能なリムーバブルメモリの少なくとも一方を採用することができる。たとえば、内蔵メモリとして、半導体メモリまたはハードディスクを採用することができる。また、リムーバブルメモリとして、メモリーカード、リムーバブルハードディスク、または光ディスクを採用することができる。

入出力部４２は、所定のインターフェイスを介して外部機器と通信する。たとえば、ＵＳＢケーブルでＰＣや外付けハードディスクと接続して、上記記録媒体に記録された動画像ファイルをＰＣや外付けハードディスクに転送することができる。また、Ｄ端子、Ｓ端子またはＨＤＭＩ端子でテレビと接続して、上記第１画質の動画像および上記第２画質の動画像をテレビ画面に表示させることもできる。

操作部２３０は、ユーザの指示を受け付け、その指示にもとづく制御信号を生成し、制御部１０に出力する。本実施の形態では、上記デュアルコーデックを指示するための専用ボタンが設置されてもよい。この場合、ユーザは、当該デュアルコーデック用の専用ボタンを押下することにより、当該デュアルコーデックの開始指示および終了指示を処理装置１００に与えることができる。

制御部１０は、画像符号化部２０に、所定の条件を満たす第１期間（以下、注目期間という）、上記第１画質および上記第２画質の両方で符号化するよう指定し、当該条件を満たさない第２期間（以下、非注目期間という）、上記第１画質および上記第２画質の一方で符号化するよう指定する。図１では、制御部１０は、分岐部１１に制御信号を送信して、撮像部２１０から供給される動画像を、第１画像符号化部２１に出力するか、解像度変換部１２に出力するか、その両方に出力するかを指示する。

制御部１０は、上記注目期間の開始タイミングおよび終了タイミングの少なくとも一方を、操作部２３０により受け付けられたユーザの指示にもとづいて決定することができる。たとえば、撮像された動画像を上記第１画質および上記第２画質の一方で符号化されるシングルコーデックモードにおいて、制御部１０は、上記専用ボタンが押下されると、上記第１画質および上記第２画質の両方で符号化されるデュアルコーデックモードに遷移させる。また、当該デュアルコーデックモードにおいて、上記専用ボタンが押下されると、上記シングルコーデックモードに遷移させる。

また、制御部１０は、音声取得部２２０から取得される音声信号のレベルが所定の閾値を超えたとき、上記注目期間を開始させてもよい。当該音声信号のレベルが当該閾値を瞬間的に超えた時点を、上記注目期間の開始タイミングとしてもよいし、当該閾値を所定の開始判定期間、継続的に超えた時点を、上記注目期間の開始タイミングとしてもよい。

また、制御部１０は、音声取得部２２０から取得される音声信号のレベルが上記閾値を下回ったとき、上記注目期間を終了させてもよい。当該音声信号のレベルが当該閾値を瞬間的に下回った時点を、上記注目期間の終了タイミングとしてもよいし、当該閾値を所定の終了判定期間、継続的に下回った時点を、上記注目期間の終了タイミングとしてもよい。

上記閾値は、設計者が実験やシミュレーションを通じて得られる経験則にもとづく値に設定されることが可能である。また、当該閾値は、ユーザが適宜、設定変更可能であってもよい。上記開始判定期間および上記終了判定期間についても同様である。たとえば、上記閾値を平均的な人間の、普通の話し声の音声レベルに設定し、かつ静かな場所で人物を撮影している場合、その人物が話している期間が上記注目期間に設定され、その人物が黙っている期間が上記非注目期間に設定される。

また、上記閾値を高く設定し、かつスポーツ（たとえば、野球やサッカー）の試合を撮影している場合、大きな歓声が上がっているハイライトシーンが上記注目期間に設定され、それ以外のシーンが上記非注目期間に設定される。

制御部１０は、上記ユーザ操作による上記デュアルコーデックモードへの突入処理および上記シングルコーデックモードへの復帰処理と、上記音声認識によるそれらの処理とを併用してもよい。たとえば、単純に両方の機能を有効化させてもよい。この場合、上記シングルコーデックモードにおいて、上記専用ボタンの押下および上記音声信号レベルの上記閾値上抜けのいずれのイベントが発生しても、上記デュアルコーデックモードに突入する。また、上記デュアルコーデックモードにおいて、上記専用ボタンの押下および上記音声信号レベルの上記閾値を下抜けのいずれのイベントが発生しても、上記シングルコーデックモードに復帰する。

また、上記両方の機能の一部ずつを組み合わせてもよい。たとえば、上記音声信号レベルの上記閾値上抜けにより、上記シングルコーデックモードから上記デュアルコーデックモードに突入し、上記専用ボタンの押下により、上記デュアルコーデックモードから上記シングルコーデックモードに復帰する。この逆の設定も可能である。

以下、本実施の形態に係る処理装置１００の動作を、上記第１画質の動画像がＨＤ（１２８０×７２０ピクセル）サイズのフレーム画像で構成される動画像、および上記第２画質の動画像がＳＤ（６４０×４８０ピクセル）サイズのフレーム画像で構成される動画像である場合を例に説明する。

図２は、分岐部１１に入力されるフレーム画像Ｆ１、第１画像符号化部２１により符号化されるフレーム画像Ｆ２および第２画像符号化部２２により符号化されるフレーム画像Ｆ３の関係を示す図である。上述した例では、分岐部１１にＨＤサイズのフレーム画像Ｆ１が入力される。なお、撮像部２１０から処理装置１００に入力されるフレーム画像には、手振れ補正用の領域が含まれている場合もあるが、その手振れ補正用の領域の画素データは、分岐部１１に入力される前に切り取られているものとする。

分岐部１１は、ＨＤサイズのフレーム画像Ｆ１を第１画像符号化部２１および解像度変換部１２に出力する。解像度変換部１２は、ＨＤサイズのフレーム画像Ｆ１をＳＤサイズのフレーム画像Ｆ３に変換する。第１画像符号化部２１は、分岐部１１から入力されたＨＤサイズのフレーム画像Ｆ１をそのまま符号化する。第２画像符号化部２２は、解像度変換部１２から入力されたＳＤサイズのフレーム画像Ｆ３を符号化する。

第１画像符号化部２１により符号化される、ＨＤサイズのフレーム画像Ｆ２のアスペクト比は１６：９であり、第２画像符号化部２２により符号化される、ＳＤサイズのフレーム画像Ｆ３のアスクペクト比は４：３である。ＳＤサイズのフレーム画像Ｆ３は、ＨＤサイズのフレーム画像Ｆ２の中央領域が残され、その周辺領域が削除されて生成される。

図３は、ＨＤ画質によるシングルコーデックモードと、ＨＤ画質およびＳＤ画質によるデュアルコーデックモードとの切り替えタイミング例を示す図である。この例は、全撮影期間においてＨＤ画質の動画像を符号化し、当該全撮影期間のうちの上記注目期間において、ＨＤ画質の動画像とＳＤ画質の動画像の両方を符号化するものである。すなわち、画像符号化部２０は、撮像された動画像を、ＨＤ画質で継続的に符号化し、ＳＤ画質で断続的に符号化する。

この例は、ＰＣやテレビでの観賞用に高画質の動画像を保存することを主たる目的とし、その一部の注目シーンをメールに添付して送信したり、インターネット上のサイトに投稿することを従たる目的とする場合に適している。たとえば、ユーザは、上記専用ボタンを押下することにより、インターネット上のサイトに投稿すべきシーンの、ＳＤ画質の符号化データを、撮影時に得ることができる。

図３では、全撮影期間中に、二つの注目期間が設定されている。撮影開始タイミングＴｓ０で撮影が開始され、ＨＤ画質によるシングルコーデックが開始される。続いて、第１注目期間開始タイミングＴｓ１でＨＤ画質およびＳＤ画質によるデュアルコーデックが開始される。続いて、第１注目期間終了タイミングＴｅ１でＨＤ画質およびＳＤ画質によるデュアルコーデックが終了し、ＨＤ画質によるシングルコーデックが開始される。続いて、第２注目期間開始タイミングＴｓ２でＨＤ画質およびＳＤ画質によるデュアルコーデックが開始される。続いて、第２注目期間終了タイミングＴｅ２でＨＤ画質およびＳＤ画質によるデュアルコーデックが終了し、ＨＤ画質によるシングルコーデックが開始される。最後に、撮影終了タイミングＴｅ０で撮影が終了され、ＨＤ画質によるシングルコーデックが終了される。

図４は、ＳＤ画質によるシングルコーデックモードと、ＨＤ画質およびＳＤ画質によるデュアルコーデックモードとの切り替えタイミング例を示す図である。この例は、全撮影期間においてＳＤ画質の動画像を符号化し、当該全撮影期間のうちの上記注目期間において、ＨＤ画質の動画像とＳＤ画質の動画像の両方を符号化するものである。すなわち、画像符号化部２０は、撮像された動画像を、ＳＤ画質で継続的に符号化し、ＨＤ画質で断続的に符号化する。

この例は、撮影した動画像の全編をメールに添付して送信したり、インターネット上のサイトに投稿することを主たる目的とし、その一部の注目シーンをＰＣやテレビでの観賞用に保存することを従たる目的とする場合に適している。たとえば、ユーザは、上記専用ボタンを押下することにより、高画質で保存したいシーンの、ＨＤ画質の符号化データを得ることができる。

図４に示す切り替え例は、図３に示す切り替え例の、ＨＤ画質とＳＤ画質とを入れ替えたものと同様であるため、その説明を省略する。

以上説明したように実施の形態１によれば、撮影時に、注目すべきシーンの動画像をデュアルコーデックし、それ以外のシーンをシングルコーデックすることにより、動画像ファイルの容量の増加を抑制しながら、動画像ファイルのトランスコーディングの必要性を低減させることができる。すなわち、全撮影期間に渡ってデュアルコーデックする場合と比較し、動画像ファイルの容量を削減することができる。また、注目すべきシーンについては二種類の画質の符号化データを生成することにより、その符号化データを用途に応じて使い分けすることができ、トランスコーディングの頻度を低減させることができる。

また、上記注目期間の開始および終了を、ユーザ操作により指示可能とする構成を採用した場合、デュアルコーデックする期間をユーザの嗜好を反映させて、設定することができる。また、上記注目期間の開始および終了を、音声認識により自動的に設定する構成を採用した場合、ユーザ操作を必要とせずにデュアルコーデックする期間を設定することができる。また、客観的な事象にもとづき上記注目期間が設定されるため、ユーザの判断遅れや誤操作により、注目すべきシーンのデュアルコーデックの失敗を抑制することができる。

図５は、実施の形態２に係る処理装置１００を搭載した撮像装置３００の構成図である。実施の形態２に係る処理装置１００は、図１に示した実施の形態１に係る処理装置１００に、オブジェクト検出部１３が追加された構成である。以下、実施の形態１と重複する説明は適宜、省略する。

オブジェクト検出部１３には、撮像部２１０により撮像された動画像が供給される。オブジェクト検出部１３は、当該動画像を構成するフレーム画像内から、所定のオブジェクトを検出する。たとえば、当該オブジェクトは人物の顔であってもよい。その場合、オブジェクト検出部１３は、一般的な顔検出追尾機能を利用して、上記フレーム画像内から人物の顔を検出する。また、特定人物の顔の識別器を生成することにより、特定人物の顔のみを検出することも可能である。

オブジェクト検出部１３は、上記オブジェクトの検出結果を制御部１０に通知する。より具体的には、上記動画像を構成する各フレーム画像内における上記オブジェクトの検出有無、検出された場合の当該オブジェクトの上記フレーム画像内の位置を通知する。

制御部１０は、オブジェクト検出部１３により上記オブジェクトが検出されると、上記注目期間を開始させ、当該オブジェクトが検出されなくなると、当該注目期間を終了する。すなわち、上記シングルコーデックモードにおいて、制御部１０は、当該オブジェクトが検出されると上記デュアルコーデックモードに遷移させ、当該オブジェクトが検出されなくなると、上記シングルコーデックモードに復帰させる。

上記オブジェクト検出により上記デュアルコーデックモードに遷移し、二種類の符号化データが生成される場合、制御部１０は、その一方の符号化データを、フレーム画像内の注目領域を符号化させて生成させてもよい。たとえば、制御部１０は、上記オブジェクトを含むＳＤサイズの領域を当該注目領域に設定し、解像度変換部１２にその注目領域を切り出すよう指示する。

制御部１０は、当該オブジェクトの移動に連動させて当該注目領域の位置を適応的に変化させてもよい。各フレーム画像内の当該注目領域の位置は、当該オブジェクトを当該注目領域の中央に含む位置に設定されてもよい。このように、解像度変換部１２が切り出すべき領域の位置を可変させる場合、制御部１０は、フレーム画像ごとに当該注目領域の位置を解像度変換部１２に指定する。または、当該注目領域の位置が変化するたびに、その位置を解像度変換部１２に指定する。

制御部１０は、上記オブジェクト検出による上記デュアルコーデックモードへの突入処理および上記シングルコーデックモードへの復帰処理と、上記ユーザ操作によるそれらの処理とを併用してもよい。たとえば、単純に両方の機能を有効化させてもよい。この場合、上記シングルコーデックモードにおいて、上記専用ボタンの押下および上記オブジェクトの出現のいずれのイベントが発生しても、上記デュアルコーデックモードに突入する。また、上記デュアルコーデックモードにおいて、上記専用ボタンの押下および上記オブジェクトの消失のいずれのイベントが発生しても、上記シングルコーデックモードに復帰する。

また、上記両方の機能の一部ずつを組み合わせてもよい。たとえば、上記オブジェクトの出現により、上記シングルコーデックモードから上記デュアルコーデックモードに突入し、上記専用ボタンの押下により、上記デュアルコーデックモードから上記シングルコーデックモードに復帰する。この逆の設定も可能である。

また、制御部１０は、上記オブジェクト検出による上記デュアルコーデックモードへの突入処理および上記シングルコーデックモードへの復帰処理と、上記ユーザ操作によるそれらの処理と、上記音声認識によるそれらの処理とを併用してもよい。

図６は、注目領域Ｆｒの設定例を示す図である。図６では、動画像を構成する三つのフレーム画像（第１フレーム画像Ｆ１１、第２フレーム画像Ｆ１２、第３フレーム画像Ｆ１３）が描かれている。第１フレーム画像Ｆ１１、第２フレーム画像Ｆ１２および第３フレーム画像Ｆ１３は、時間経過順に並べられている。第１フレーム画像Ｆ１１にはオブジェクトが含まれない。したがって、第１フレーム画像Ｆ１１は上記シングルコーデックモードで符号化される。

つぎに、第２フレーム画像Ｆ１２にはオブジェクトＯ１（ここでは、人物の顔）が含まれる。したがって、第２フレーム画像Ｆ１２は上記デュアルコーデックモードで符号化される。また、第２フレーム画像Ｆ１２の注目領域Ｆｒ１は、オブジェクトＯ１を中心に設定され、ここでは第２フレーム画像Ｆ１２内の左上領域に設定される。

つぎに、第３フレーム画像Ｆ１３にもオブジェクトＯ１が含まれる。したがって、第３フレーム画像Ｆ１３も上記デュアルコーデックモードで符号化される。また、第３フレーム画像Ｆ１３の注目領域Ｆｒ２も、オブジェクトＯ１を中心に設定され、ここでは第３フレーム画像Ｆ１３内の中央上領域に設定される。図６では、動画像を構成するフレーム画像内にて、被写体とすべき人物が左側から右側に走っているため、当該注目領域Ｆｒ１、２も、その人物の移動に応じて移動する。

以上説明したように実施の形態２によれば、基本的に、実施の形態１と同様の効果を奏する。実施の形態２では、上記注目期間の開始および終了を、オブジェクト検出により設定可能とすることにより、ユーザ操作を必要とせずにデュアルコーデックする期間を設定することができる。また、客観的な事象にもとづき上記注目期間が設定されるため、ユーザの判断遅れや誤操作により、注目すべきシーンのデュアルコーデックの失敗を抑制することができる。とくに、上記オブジェクトを人物の顔に設定すれば、人物が写っているシーンのみの符号化データを生成することができる。

二種類の符号化データのうち、低解像度の符号化データのほうを、フレーム画像内の固定領域ではなく、上記オブジェクトを含む可変領域を符号化して生成することにより、常にオブジェクトが写った動画像の符号化データを生成することができる。さらに、当該オブジェクトが当該可変領域の中心に位置するように当該可変領域の位置を設定すれば、常にオブジェクトが中心に写った動画像の符号化データを生成することができる。

図７は、実施の形態３に係る画像表示制御装置５００を備える画像表示システム７００の構成図である。画像表示システム７００は、画像表示制御装置５００および表示装置６１０および操作部６２０を備える。

画像表示システム７００は、様々なハードウェア構成が可能である。たとえば、画像表示システム７００を、上述した撮像装置３００と、ケーブル接続されたテレビにより構築することができる。この場合、画像表示制御装置５００が撮像装置３００の制御機能、操作部６２０が撮像装置３００の操作機能、および表示装置６１０が当該テレビの表示機能により構築可能である。

また、画像表示システム７００を、実施の形態１または２に係る処理装置１００により生成された動画像ファイルを受信したＰＣにより構築可能である。この場合、画像表示制御装置５００、操作部６２０および表示装置６１０のそれぞれをＰＣの制御機能、操作機能および表示機能によりそれぞれ構築可能である。ＰＣの代わりに、携帯電話機、ＰＤＡ、携帯型音楽プレイヤなどを用いる場合も同様である。

また、画像表示システム７００を、上述した撮像装置３００単体で構築可能である。この場合、画像表示制御装置５００、操作部６２０および表示装置６１０のそれぞれを撮像装置３００の制御機能、操作機能および表示機能によりそれぞれ構築可能である。当該撮像装置３００には、実施の形態１または２に係る処理装置１００も含まれる。

画像表示制御装置５００は、バッファ５０、復号部６０および表示制御部７０を含む。画像表示制御装置５００の構成は、ハードウェア的には、任意のプロセッサ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。

バッファ５０は、実施の形態１または２に係る処理装置１００により生成された動画像ファイルを一時記憶する。また、バッファ５０は、表示制御部７０からの制御信号にしたがい、当該動画像ファイルに含まれる、上記第１画質の動画像の符号化データおよび上記第２画質の動画像の符号化データのいずれかを復号部６０に供給する。

復号部６０は、実施の形態１または２に係る処理装置１００内の画像符号化部２０により符号化された符号化データを復号する。より具体的には、バッファ５０から供給される上記第１画質の動画像の符号化データまたは上記第２画質の動画像の符号化データを復号する。

操作部６２０は、ユーザの指示を受け付け、その指示にもとづく制御信号を生成し、表示制御部７０に出力する。本実施の形態では、主に、上記動画像の再生指示、および表示中の動画像を別の画質で表示させるための指示を受け付ける。

表示制御部７０は、復号部６０により復号される、上記第１画質の動画像または上記第２画質の動画像を表示装置６１０に表示させる。表示制御部７０は、操作部６２０から上記再生指示に起因する制御信号が入力されると、当該動画像を表示装置６１０に表示させる。その際、表示制御部７０は、表示装置６１０に表示させるべき当該動画像の画質を決定する。

より具体的には、操作部６２０から画質が指定されている場合、その画質に決定する。画質が指定されていない場合、二種類の符号化データのうち継続的に符号化されたほうの画質に決定する。なお、上記非注目期間では一種類の符号化データしか生成されないため、自動的にその符号化データの画質に決定する。表示制御部７０は、表示装置６１０に表示させるべき動画像の画質を決定すると、その画質をバッファ５０に指定する。

表示制御部７０は、上記第１画質および上記第２画質の両方の符号化データが存在する期間（すなわち、上記注目期間）、現在表示されている動画像を別の画質で表示可能なことを示す情報（以下、画質情報という）を表示装置６１０の画面内に表示させる。当該画質情報は、文字列、記号、アイコンなどで表示することが可能である。表示制御部７０は、当該動画像を構成する各フレーム画像に当該画質情報を重畳させることにより、当該画面内に当該画質情報を表示させることができる。

上記注目期間において、表示制御部７０は、当該画面に当該第１画質の動画像が表示されている場合、当該第２画質の動画像を表示可能なことを示す画質情報を当該画面内に表示させる。一方、当該画面に当該第２画質の動画像が表示されている場合、当該第１画質の動画像を表示可能なことを示す画質情報を当該画面内に表示させる。

上述したように、上記動画像は、上記第１画質および上記第２画質の一方で継続的に符号化され、その他方で断続的に符号化される。表示制御部７０は、当該他方の画質で表示可能なことを示す画質情報を当該画面内に表示させる場合、その画質情報に付随させて、当該他方の画質による符号化が発動されたトリガ条件を示す情報（以下、トリガ情報と表記する）を表示させる。

ここで、当該画質情報に付随させて当該トリガ情報を表示させるとは、当該画質情報の近傍に当該トリガ情報を表示させる形態であってもよいし、当該画質情報と当該トリガ情報とを時分割で表示させる形態であってもよいし、ユーザ操作に起因して、当該画質情報と当該トリガ情報とを切り替え表示させる形態であってもよい。

当該トリガ情報も、上記画質情報と同様に、文字列、記号、アイコンなどで表示することが可能である。表示制御部７０は、当該動画像を構成する各フレーム画像に当該トリガ情報を重畳させるとにより、当該画面内に当該トリガ情報を表示させることができる。

上記トリガ条件は、実施の形態１および２で説明した、ユーザ操作、動画像を構成するフレーム画像内からのオブジェクト検出、および撮像の際に取得される音声信号レベルの閾値超えのいずれかであってもよい。表示制御部７０は、上記符号化データに関する付随情報を参照して、上記トリガ条件の種別を特定する。たとえば、当該付随情報は、上述した動画像ファイルに含まれる上記コンテナファイルに記述されているか、断続的に符号化された動画像の、各区間の最初のフレーム画像のヘッダに記述されている。

上記トリガ条件の種別は、断続的に符号化された動画像の、各区間ごとに異なっている場合もある。また、一つの区間において開始トリガ条件と終了トリガ条件とが異なっている場合もある。この場合、表示制御部７０は、上記画質情報に付随させて、開始トリガ情報と終了トリガ情報の両方を表示させる。

図８は、画質情報の表示例（その１）を示す図である。図８（ａ）は、ＳＤ画質で表示可能なことを示す画質情報８１を示し、図８（ｂ）は、ＨＤ画質で表示可能なことを示す画質情報８２を示す。以下、上記第１画質の動画像がＨＤサイズのフレーム画像で構成される動画像、および上記第２画質の動画像がＳＤサイズのフレーム画像で構成される動画像である場合を例に説明する。

図８（ａ）は、表示装置６１０（ここでは、テレビ６１０ａ）にＨＤ画質の動画像が表示されている状態を描いている。上記注目期間では、その画面内にＳＤ画質で表示可能なことを示す画質情報８１が表示される。視聴者は、この画質情報８１により、現在、ＨＤ画質で表示されている動画像をＳＤ画質で表示可能なことを認識することができる。当該視聴者は操作部６２０を操作することにより、ＳＤ画質での表示に切り替えることができる。なお、上記非注目期間では、当該画質情報８１は表示されない。

図８（ｂ）は、テレビ６１０ａにＳＤ画質の動画像が表示されている状態を描いている。上記注目期間では、その画面内にＨＤ画質で表示可能なことを示す画質情報８２が表示される。視聴者は、この情報８２により、現在、ＳＤ画質で表示されている動画像をＨＤ画質で表示可能なことを認識することができる。当該視聴者は操作部６２０を操作することにより、ＨＤ画質での表示に切り替えることができる。なお、上記非注目期間では、当該画質情報８２は表示されない。

図９は、画質情報の表示例（その２）を示す図である。図９は、テレビ６１０ａにＨＤ画質の動画像が表示されている状態を描いている。この表示例は、現在表示されている画質に関する情報を含む、すべての画質情報が表示される。図９では、ＳＤ画質で表示可能なことを示す画質情報８１とＨＤ画質で表示可能なことを示す画質情報８２の両方が表示されている。なお、実際に表示中の動画像の画質を視聴者が認識可能な態様でそれらを表示してもよい。図９では、表示中の動画像の画質がＨＤ画質であるため、ＨＤ画質で表示可能なことを示す画質情報８２のほうを太枠で囲っている。

図１０は、トリガ情報を伴う画質情報の表示例を示す図である。図１０（ａ）は、ユーザ操作をトリガ条件とするトリガ情報８３ａを伴う画質情報８２の表示例を示し、図１０（ｂ）は、音声信号レベルの閾値超えをトリガ条件とするトリガ情報８３ｂを伴う画質情報８２の表示例を示し、図１０（ｃ）は、オブジェクト検出をトリガ条件とするトリガ情報８３ｃを伴う画質情報８２の表示例を示す。

図１０（ａ）〜（ｃ）は、テレビ６１０ａにＨＤ画質の動画像が表示されている状態を描いている。図１０（ａ）では、ＳＤ画質で表示可能なことを示す画質情報８１の左隣に、ユーザ操作をトリガ条件とするトリガ情報８３ａ（ここでは、ユーザ操作を連想させる指のアイコン）が表示されている。図１０（ｂ）では、ＳＤ画質で表示可能なことを示す画質情報８１の左隣に、音声信号レベルの閾値超えをトリガ条件とするトリガ情報８３ｂ（ここでは、音声認識を連想させる音符のアイコン）が表示されている。図１０（ｃ）では、ＳＤ画質で表示可能なことを示す画質情報８１の左隣に、顔検出をトリガ条件とするトリガ情報８３ｃ（ここでは、顔検出を連想させる顔のアイコン）が表示されている。

以上説明したように実施の形態３によれば、実施の形態１または２に係る処理装置１００により生成された動画像ファイルを表示再生する場合にて、視聴者の利便性を向上させることができる。すなわち、上記画質情報を画面内に表示させることにより、視聴者は別の画質でも表示可能であるか否かを容易に認識することができる。

また、上記画質情報に付随させて上記トリガ情報を表示することにより、視聴者は、上記音声認識による上記デュアルコーデックモードへの遷移機能および上記オブジェクト検出による上記デュアルコーデックモードへの遷移機能の、それぞれの感度を確認することができる。たとえば、視聴者はこれを参考に、上記音声認識による上記デュアルコーデックモードへの遷移機能に使用される上記閾値を調整することも可能となる。

以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

たとえば、上記実施の形態１〜３では、撮像された動画像を二種類の画質で並列的に符号化する例を説明したが、三種類以上の画質で並列的に符号化してもよい。この場合、実施の形態３では、さらに多くの上記画質情報が表示されることになる。

また、上記実施の形態１では、音声取得部２２０により取得される音声信号レベルが上記閾値を超えたことを、上記デュアルコーデックモードに遷移するためのトリガ条件としたが、当該音声信号レベルの変化量が所定の別の閾値を超えたことを、当該トリガ条件としてもよい。

また、上記実施の形態３では、全撮影期間に渡ってデュアルコーデックされた動画像ファイルにも適用可能である。すなわち、上記注目期間のみの動画像にも適用可能である。その場合、上記別の画質で表示可能なことを示す画質情報が表示され続けることになる。

上述した実施の形態１〜３では、上記第１画質の動画像と上記第２画質の動画像とを異なる解像度で符号化する例を前提に説明した。以下の変形例では、上記第１画質の動画像と上記第２画質の動画像とを同じ解像度で異なる画角で符号化する例を説明する。

図１１は、変形例に係る処理装置１００を搭載した撮像装置３００の構成図である。図１１の処理装置１００は、図１の処理装置１００に超解像処理部１４が追加された構成である。以下、図１の説明と重複する説明は適宜、省略する。超解像処理部１４は、解像度変換部１２により、解像度が低下されたフレーム画像の解像度を超解像処理により向上させる。ここで、超解像処理として既存のフレーム内処理および／またはフレーム間処理を用いた手法を採用することができる。

図１２は、当該変形例をもとに、図２に示した例を発展させた図である。フレーム画像Ｆ１、フレーム画像Ｆ２およびフレーム画像Ｆ３については図２の説明と同様である。当該変形例では、超解像処理部１４はフレーム画像Ｆ３をＨＤサイズのフレーム画像Ｆ４に変換する。これにより、同じ解像度で異なる画角の二つのフレーム画像Ｆ２、フレーム画像Ｆ４が生成される。

なお、図１１、１２に示した変形例は一例であり、撮像装置３００によりデュアルコーデックされる上記第１画質の動画像と上記第２画質の動画像は、解像度および画角の両方が同じでなければよく、解像度および画角の少なくとも一方が異なっていればよい。それを実現するために、解像度変換部１２および超解像処理部１４の配置も様々なバリエーションが考えられる。たとえば、分岐部１１と第１画像符号化部２１との間にも、解像度変換部１２および超解像処理部１４を配置し、上記第１画質の動画像の解像度および画角を調整してもよい。

当該変形例によれば、デュアルコーデックされる動画像のスペックをよりきめ細かく、より柔軟に設定することができる。

１０ 制御部、 １１ 分岐部、 １２ 解像度変換部、 １３ オブジェクト検出部、 １４ 超解像処理部、 ２０ 画像符号化部、 ２１ 第１画像符号化部、 ２２ 第２画像符号化部、 ３０ 音声符号化部、 ４０ 多重化部、 ４１ 記録部、 ４２ 入出力部、 ５０ バッファ、 ６０ 復号部、 ７０ 表示制御部、 １００ 処理装置、 ２１０ 撮像部、 ２２０ 音声取得部、 ２３０ 操作部、 ３００ 撮像装置、 ５００ 画像表示制御装置、 ６１０ 表示装置、 ６２０ 操作部、 ７００ 画像表示システム。

Claims (10)

1. 撮像される動画像を、第１画質および当該第１画質と異なる第２画質の両方で符号化することも、前記第１画質および前記第２画質の一方で符号化することもできる符号化装置により生成された符号化データを復号するための復号部と、
   前記復号部により復号される、前記第１画質の動画像または前記第２画質の動画像を表示装置に表示させる表示制御部と、を備え、
   前記表示制御部は、前記第１画質および前記第２画質の両方の符号化データが存在する場合、現在表示されている動画像を別の画質で表示可能なことを示す情報を前記表示装置の画面内に表示させることを特徴とする画像表示制御装置。
2. 前記動画像が撮像される期間には、前記第１画質と前記第２画質の両方で符号化される第１期間と、前記第１画質と前記第２画質の一方で符号化される第２期間とが含まれ、
   前記表示制御部は、前記第１期間に撮像された動画像を表示させるとき、
   前記画面内に前記第１画質の動画像が表示されている場合、前記第２画質の動画像を表示可能なことを示す情報を前記画面内に表示させ、
   前記画面内に前記第２画質の動画像が表示されている場合、前記第１画質の動画像を表示可能なことを示す情報を前記画面内に表示させることを特徴とする請求項１に記載の画像表示制御装置。
3. 前記動画像は、前記第１画質および前記第２画質の一方で継続的に符号化され、前記第１画質および前記第２画質の他方で断続的に符号化され、
   前記表示制御部は、当該他方の画質で表示可能なことを示す情報を前記画面内に表示させるとき、その情報に付随させて、当該他方の画質による符号化が発動されたトリガ条件を示す情報を表示させることを特徴とする請求項１または２に記載の画像表示制御装置。
4. 前記トリガ条件は、ユーザ操作、前記動画像を構成するフレーム画像内からのオブジェクト検出、および撮像の際に取得される音声レベルの閾値超え、のいずれかであり、
   前記表示制御部は、前記符号化データに関する付随情報を参照して、前記トリガ条件の種別を特定することを特徴とする請求項３に記載の画像表示制御装置。
5. 動画像を取得する撮像部と、
   前記撮像部により撮像される動画像を、前記第１画質および前記第２画質の両方で符号化することも、前記第１画質および前記第２画質の一方で符号化することもできる符号化装置と、
   請求項１から４のいずれかに記載の画像表示制御装置と、
   前記画像表示制御装置により表示制御される表示装置と、
   を備えることを特徴とする撮像装置。
6. 撮像される動画像を、第１画質および当該第１画質と異なる第２画質の両方で符号化することも、前記第１画質および前記第２画質の一方で符号化することもできる画像符号化部と、
   前記画像符号化部に、所定の条件を満たす第１期間、前記第１画質および前記第２画質の両方で符号化するよう指定し、前記条件を満たさない第２期間、前記第１画質および前記第２画質の一方で符号化するよう指定する制御部と、
   を備えることを特徴とする画像処理装置。
7. 前記制御部は、前記第１期間の開始タイミングおよび終了タイミングの少なくとも一方を、操作部により受け付けられたユーザの指示にもとづいて決定することを特徴とする請求項６に記載の画像処理装置。
8. 前記制御部は、外部から取得される音声レベルが所定の閾値を超えたとき、前記第１期間を開始させることを特徴とする請求項６または７に記載の画像処理装置。
9. 前記動画像を構成するフレーム画像内から、所定のオブジェクトを検出するオブジェクト検出部をさらに備え、
   前記制御部は、前記オブジェクト検出部により前記オブジェクトが検出されると、前記第１期間を開始させ、前記オブジェクトが検出されなくなると、前記第１期間を終了させることを特徴とする請求項６に記載の画像処理装置。
10. 動画像を取得する撮像部と、
    前記撮像部により取得される動画像を処理する請求項６から９のいずれかに記載の画像処理装置と、
    を備えることを特徴とする撮像装置。

Images