JP2011527841A - 画像処理装置およびそれを用いた撮像装置 - Google Patents

Abstract

注目領域設定部１０は、連続的に撮像されるフレーム画像内に注目領域を設定する。符号化部３０は、上記フレーム画像が連続した全体領域動画像と、注目領域設定部１０により設定される注目領域の画像が連続した注目領域動画像を符号化する。記録部４０は、符号化部３０により符号化された、上記全体領域動画像の符号化データおよび上記注目領域動画像の符号化データを関連づけて記録する。
【選択図】図１

Description

本発明は、画像処理装置およびそれを搭載した撮像装置に関する。

一般ユーザが手軽に動画を撮影することができるデジタルムービーカメラが普及してきている。一般ユーザはデジタルムービーカメラを使用して、特定のオブジェクトが画面内に継続して収まるよう、そのオブジェクトを追尾しながら撮影することが多い。たとえば、運動会で、走っている自分の子供を撮影する場合が典型例である。

特許文献１は目標追尾装置を開示し、この目標追尾装置は微妙な色の違いや色の変化に合わせて特徴量を抽出して目標を追尾する。

特開平７−９５５９７号公報

特定のオブジェクトを注目対象として撮影された動画像を再生して視聴する場合、そのオブジェクトがよりアップに写った画像を視聴したいという要請があるとともに、背景が広く写った画像を視聴したいという要請もある。とくに、そのオブジェクトが写っていないコマでは、後者の要請が強くなる。このような要請を満たす動画像を生成するには煩雑な編集作業が必要であった。たとえば、撮影され、符号化された動画像を復号再生し、そのオブジェクトを含む領域を任意のフレーム画像からユーザ操作により選択し、その選択された領域の画像を再符号化し、元のフレーム画像と置き換えるなどの作業を必要とした。

本発明はこうした状況に鑑みなされたものであり、その目的は、特定のオブジェクトを適宜、強調的または優先的に表示可能な動画像を簡単に得ることができる技術を提供することにある。

本発明のある態様の画像処理装置は、連続的に撮像されるフレーム画像内に注目領域を設定する注目領域設定部と、フレーム画像が連続した全体領域動画像と、注目領域設定部により設定される注目領域の画像が連続した注目領域動画像を符号化する符号化部と、符号化部により符号化された、全体領域動画像の符号化データおよび注目領域動画像の符号化データを関連づけて記録する記録部と、を備える。

本発明の別の態様もまた、画像処理装置である。この装置は、連続的に撮像されるフレーム画像内に注目領域を設定する注目領域設定部と、フレーム画像が連続した全体領域動画像を符号化する第１符号化部と、注目領域設定部により設定される注目領域の画像が連続した注目領域動画像を、第１符号化部による全体領域動画像の符号化と平行して、符号化する第２符号化部と、第１符号化部により符号化された全体領域動画像の符号化データ、および第２符号化部により符号化された注目領域動画像の符号化データを関連づけて記録する記録部と、を備える。

なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、特定のオブジェクトを適宜、強調的または優先的に表示可能な動画像を簡単に得ることができる。

実施の形態１に係る撮像装置の構成図である。 実施の形態１に係る注目領域抽出部の構成図である。 実施の形態１に係る撮像部で撮像されたフレーム画像、全体領域動画像のフレーム画像、注目領域動画像の単位画像を示す図である。 実施の形態２に係る画像再生装置の構成図である。 実施の形態２に係る表示部による表示例を示す図である。 実施の形態１の変形例１に係る撮像装置の構成図である。 実施の形態１の変形例２に係る撮像装置の構成図である。 実施の形態１の変形例２に係る撮像部で撮像されたフレーム画像、第１領域画像、第２領域画像を示す図である。

図１は、実施の形態１に係る撮像装置３００の構成図である。実施の形態１に係る撮像装置３００は、撮像部２００および画像処理装置１００を備える。撮像部２００は、フレーム画像を連続的に取得し、動画像として画像処理装置１００に供給する。撮像部２００は、ＣＣＤ（Charge Coupled Devices）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの図示しない固体撮像素子、およびその固体撮像素子から出力される信号を処理する図示しない信号処理回路を備える。当該信号処理回路は、上記固体撮像素子から出力されるアナログの三原色信号Ｒ、Ｇ、Ｂを、デジタルの輝度信号Ｙおよび色差信号Ｃｒ、Ｃｂに変換することができる。

画像処理装置１００は、撮像部２００により取得されるフレーム画像を処理する。画像処理装置１００は、注目領域設定部１０、解像度変換部２０、符号化部３０および記録部４０を備える。画像処理装置１００の構成は、ハードウェア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。

注目領域設定部１０は、撮像部２００により連続的に撮像されるフレーム画像内に注目領域を設定する。撮像部２００から供給されるすべてのフレーム画像について注目領域を設定してもよいし、一部のフレーム画像について注目領域を設定してもよい。後者の場合、ユーザ操作に起因して注目領域の設定が指示されている期間のみ設定してもよい。

注目領域設定部１０は、設定した注目領域の画像を解像度変換部２０に供給する。なお、その注目領域の画像に対し解像度変換部２０による解像度変換処理が施されない場合、符号化部３０に供給する。なお、注目領域設定部１０の詳細は後述する。解像度変換部２０の詳細も後述する。

符号化部３０は、撮像部２００から供給されるフレーム画像が連続した全体領域動画像と、注目領域設定部１０により設定される注目領域の画像が連続した注目領域動画像を符号化する。符号化部３０は、上記全体領域動画像と上記注目領域動画像を所定の規格にしたがい圧縮符号化する。たとえば、Ｈ．２６４／ＡＶＣ、Ｈ．２６４／ＳＶＣ、ＭＰＥＧ−２、またはＭＰＥＧ−４などの規格にしたがい圧縮符号化する。

符号化部３０は、一つのハードウェアエンコーダを用いて、全体領域動画像と注目領域動画像とを時分割に符号化してもよいし、二つのハードウェアエンコーダを用いて、全体領域動画像と注目領域動画像とを平行に符号化してもよい。前者を採用する場合、図示しないバッファを設け、全体領域動画像の符号化が終了するまで、そのバッファに注目領域動画像を一時保存し、その終了後にそのバッファから注目領域動画像を取り出して符号化することができる。

後者を採用する場合、符号化部３０は、二つのハードウェアエンコーダ、すなわち第１符号化部３２および第２符号化部３４で構成される。第１符号化部３２は、上記全体領域動画像を符号化する。第２符号化部３４は、上記注目領域動画像を第１符号化部３２による上記全体領域動画像の符号化と平行して、符号化する。すべてのフレーム画像から注目領域の画像を取得する場合、符号化すべき画像の枚数が、全体領域動画像と注目領域動画像とで一致するため、第１符号化部３２および第２符号化部３４が同期をとりながら符号化してもよい。

記録部４０は、図示しない記録媒体を備え、上記全体域動画像の符号化データおよび上記注目領域動画像の符号化データを関連づけてその記録媒体に記録する。この記録媒体として、メモリカード、ハードディスク、光ディスクなどを採用することができる。なお、当該記録媒体は撮像装置３００内に設置または装着されているものにかぎらず、ネットワーク上に設置されたものであってもよい。

記録部４０は、全体領域動画像と注目領域動画像を合成して一つのファイルとしてもよいし、それぞれを別のファイルとしてもよい。いずれの場合も、全体領域動画像内のあるフレーム画像と、注目領域動画像内の、そのフレーム画像に対応する単位画像が関連づけられていればよい。たとえば、すべてのフレーム画像から注目領域の画像を取得する場合、全体領域動画像のフレーム画像と注目領域動画像の単位画像との対応するもの同士に、同じシリアルナンバーが付されてもよい。

図２は、実施の形態１に係る注目領域設定部１０の構成図である。注目領域設定部１０は、オブジェクト検出部１２、オブジェクト登録部１４、オブジェクト追尾部１６および注目領域抽出部１８を含む。オブジェクト検出部１２は、フレーム画像内から特定のオブジェクトを検出する。オブジェクト登録部１４は、特定のオブジェクトをオブジェクト検出部１２に登録する。たとえば、撮像部２００を用いて子供の顔を撮像して登録することができる。オブジェクトの例として、人物、犬や猫などのペット、自動車や電車などの移動体などが挙げられる。以下、オブジェクトが人物の場合を例に説明する。

オブジェクトとしての人物は、動画像の撮像が開始された後、フレーム画像内から最初に検出された人物であってもよいし、オブジェクト登録部１４により登録された特定の人物であってもよい。前者の場合、人物全般を検出するための辞書データが用いられ、後者の場合、登録された特定の人物を検出するための辞書データが用いられる。最初に検出された人物または登録された特定の人物は、後続するフレーム画像内での追尾対象となる。

オブジェクト検出部１２は、フレーム画像内の顔を検出することにより人物を特定することができる。オブジェクト検出部１２は、検出した顔を含む顔領域の下方に胴体領域を設定する。胴体領域の大きさは顔領域の大きさに比例させる。また、追尾の対象とすべく、人物の全身を含む人物領域を設定してもよい。

顔検出処理は、公知の方法で行えばよく、とくに限定されるものではない。たとえば、エッジ検出法、ブースティング法、色相抽出法または肌色抽出法による顔検出方法を用いることができる。

エッジ検出法は、あらかじめ顔の大きさや濃淡値を正規化した顔画像の目、鼻、口、顔の輪郭などを含む顔領域から様々なエッジ特徴を抽出し、顔であるか否かを識別するのに有効な特徴量を統計的手法に基づき学習することにより顔識別器を構築する。なお、オブジェクト登録部１４から登録される、特定の人物の顔についてはその顔画像から顔識別器を構築する。

入力画像の中から顔を検出するために、学習の際に正規化した顔サイズで入力画像の端からラスタスキャンしながら、同様な特徴量を抽出する。その特徴量から、識別器によりその領域が顔か否か判断する。特徴量には、たとえば、水平エッジ、垂直エッジ、右斜めエッジ、左斜めエッジなどを用いることができる。顔が検出されなければ、入力画像を一定の割合で縮小し、縮小後の画像に対して、上記と同様にラスタスキャンしながら顔を検索する。このような処理を繰り返すことにより、画像中から任意の大きさの顔を見つけることができる。

オブジェクト追尾部１６は、オブジェクト検出部１２により検出された特定のオブジェクトを後続のフレーム画像内で追尾する。また、オブジェクト追尾部１６は、フレーム画像単位で追尾の成否を特定することができる。その場合、符号化部３０は、上記全体領域動画像の各フレーム画像および上記注目領域動画像の各単位画像の少なくとも一方の、ヘッダ領域またはユーザの書き込みが許可されている領域（以下、ユーザ領域という）に、追尾の成否を追尾情報として付加する。なお、各フレーム画像の追尾の成否を、ピクチャヘッダ領域ではなく、シーケンスヘッダ領域またはＧＯＰ(Group Of Picture)ヘッダ領域にまとめて記述してもよい。

オブジェクト追尾部１６は、特定のオブジェクトの追尾をオブジェクトの色情報に基づいて行うことができる。上述した例では、上記胴体領域の色に類似する色の領域を、後続フレーム画像内で探索することにより追尾する。なお、後続フレーム画像内での、オブジェクト検出部１２による顔検出の結果を加味すれば、追尾の精度を高めることができる。

上記追尾の成否はつぎのように判定される。すなわち、オブジェクト追尾部１６は、フレーム画像内に追尾すべきオブジェクトが含まれている場合、そのフレーム画像を追尾成功と判定し、フレーム画像内に追尾すべきオブジェクトが含まれていない場合、そのフレーム画像を追尾失敗と判定する。ここで、オブジェクトの追尾単位は、上記顔領域単位であってもよいし、上記人物領域単位であってもよい。

オブジェクト追尾部１６は、各フレーム画像ごとに追尾の成否をフラグとして生成することができる。この場合、符号化部３０は、各フレーム画像および各単位画像の少なくとも一方の、ヘッダ領域またはユーザ領域に当該フラグを上記追尾情報として記述する。

オブジェクト追尾部１６は、特定のオブジェクトがフレーム画像内から外れたフレーム画像を特定することができる。その場合、符号化部３０は、上記ヘッダ領域またはユーザ領域に、フレーム画像内から外れた旨を示す情報を上記追尾情報として付加する。また、オブジェクト追尾部１６は、特定のオブジェクトがフレーム画像内に戻ったフレーム画像を特定することができる。その場合、符号化部３０は、上記ヘッダ領域またはユーザ領域に、フレーム画像内に戻った旨を示す情報を上記追尾情報として付加する。

注目領域抽出部１８は、オブジェクト検出部１２により検出され、オブジェクト追尾部１６により追尾される特定のオブジェクトを含む領域の画像を上記注目領域の画像として抽出する。図１では、フレーム画像が全体領域動画像用と注目領域動画像用の二系統に分岐させているため、上記注目領域の画像を抽出すると表現したが、分岐前の元のフレーム画像を基準に考えれば、そのフレーム画像内の注目領域の画像を複写していることになる。

上記注目領域は、オブジェクト全体を包含し、かつその周辺領域を含む矩形領域であってもよい。その場合、その矩形領域のアスペクト比は一定であることが好ましい。さらに、そのアスペクト比が、上記全体領域動画像のフレーム画像のアスペクト比と実質的に等しく設定されてもよい。この設定は、後述するように上記注目領域動画像の単位画像のサイズと上記全体領域動画像のフレーム画像のサイズを対応させる場合、有効である。

上記注目領域内において、オブジェクトの上方向、下方向、左方向、および右方向のそれぞれに、そのオブジェクトの大きさに対してどの程度の割合の周辺領域を確保するかは、設計者が任意に設定することができる。たとえば、上記アスペクト比を満たすように、オブジェクトの左右方向に上下方向より、そのオブジェクトの大きさに対して大きな割合の周辺領域を設定してもよい。

注目領域抽出部１８は、上記特定のオブジェクトが検出されず、そのオブジェクトの追尾が失敗しているフレーム画像にも注目領域を設定し、その注目領域の画像を抽出する。注目領域抽出部１８は、この注目領域を、追尾が成功していた最後のフレーム画像に設定した注目領域と同じ位置に設定してもよいし、フレーム画像内の中央の位置に設定してもよい。また、フレーム画像の全体領域を注目領域に設定してもよい。オブジェクトの追尾が失敗しているフレーム画像にも注目領域を設定することにより、全体領域動画像のフレーム画像の枚数と、注目領域動画像の単位画像の枚数を一致させることができる。

図１に戻り、解像度変換部２０は、符号化部３０により符号化すべき注目領域動画像の単位画像のサイズを一定にすべく、その単位画像の解像度を変換する。上記注目領域のサイズがオブジェクトの大きさに応じて変化する場合、上記注目領域動画像の単位画像のサイズも変化する。この場合、解像度変換部２０は、設定されたサイズに単位画像のサイズを統一すべく、設定されたサイズより小さいサイズの単位画像についてはその単位画像を拡大し、設定されたサイズより大きいサイズの単位画像についてはその単位画像を縮小する。

解像度変換部２０は、拡大すべき単位画像を空間的な画素補間処理により拡大することができる。この画素補間処理として、単純な線形補間処理やＦＩＲフィルタを用いた補間処理を採用することができる。

また、解像度変換部２０は、拡大すべき単位画像を超解像処理により拡大してもよい。超解像処理とは、微少な位置ずれを持つ複数の画像から、それら画像の解像度より高い解像度の画像を生成する技術である。超解像処理の詳細は、（青木伸著、「複数のデジタル画像データによる超解像処理」、Ricoh Technical Report No.24, NOVEMBER, 1998）などに開示されている。上述した微少な位置ずれを持つ複数の画像として、上記拡大すべき単位画像を抽出したフレーム画像に時間的に隣接するフレーム画像の、対応する位置の部分画像を用いることができる。

解像度変換部２０は、縮小すべき単位画像を間引き処理により縮小することができる。具体的には、縮小率に応じてその単位画像の画素データを間引く。また、解像度変換部２０は、縮小すべき単位画像をフィルタ処理により縮小してもよい。たとえば、隣接する複数の画素データの平均値を算出して、その複数の画素データを一つの画素データに変換することにより縮小する。

解像度変換部２０は、符号化部３０により符号化すべき全体領域動画像のフレーム画像のサイズに、上記注目領域動画像の単位画像のサイズが対応するよう、その単位画像の解像度を変換してもよい。たとえば、両者のサイズを一致または略一致させてもよい。この場合、上述した単位画像の統一すべきサイズとして、上記全体領域動画像のフレーム画像のサイズが設定されればよい。また、両者のサイズを比例関係を持つ値に設定してもよい。また、当該フレーム画像のアスペクト比が１６：９、当該単位画像のアスペクト比が４：３に設定されてもよい。

図３は、実施の形態１に係る撮像部２００で撮像されたフレーム画像５０、全体領域動画像のフレーム画像６０、注目領域動画像の単位画像７０を示す図である。撮像されたフレーム画像５０の解像度は、撮像部２００に含まれる固体撮像素子内の受光素子の数に対応する。多数の受光素子が配列される撮像領域は、有効画素領域とその外周に手振れ補正用領域５２を持つ。撮像されたフレーム画像５０内には、注目領域設定部１０により注目領域５１が設定される。ここでは４番のゼッケンを着けているボールを蹴る瞬間の子供をオブジェクトとして認識し、そのオブジェクトを含む領域を注目領域５１に設定している。

図３は、全体領域動画像のフレーム画像６０および注目領域動画像の単位画像７０のサイズを一致させる例を示している。いずれの画像も１０８０ｉ（１９２０×１０８０ピクセル）サイズに設定される。

動画像の撮像では、画像処理の負荷を軽減するため固体撮像素子の有効画素数より少ない画素数のフレーム画像が生成されることがある。この画素数を減少させる処理は、撮像部２００内の図示しない信号処理回路で実行されてもよいし、画像処理装置１００内の図示しない縮小部で実行されてもよいし、その両方で実行されてもよい。画像処理装置１００内で間引き処理またはフィルタ処理する場合、図１に示した画像処理装置１００内の第１符号化部３２の前段に縮小部２５を設ける（後述する図６参照）。

以上説明したように実施の形態１によれば、関連づけられた、全体領域動画像の符号化データと注目領域動画像の符号化データを生成することができるため、特定のオブジェクトを適宜、強調的または優先的に表示可能な動画像を、煩雑な作業を経ることなく簡単に得ることができる。

また、全体領域動画像のフレーム画像のサイズと注目領域動画像の単位画像のサイズとを対応させることにより、再生表示や編集を容易にすることができる。たとえば、全体領域動画像のフレーム画像と注目領域動画像の単位画像とを適宜、切り替えながら表示する場合に、解像度の変換をする必要がない。また、全体領域動画像のフレーム画像と注目領域動画像の単位画像とを適宜、組み合わせて別の動画像を生成する場合も、解像度の変換をする必要がない。

また、注目領域動画像の各単位画像および全体領域動画像の各フレーム画像の少なくとも一方の、ヘッダ領域またはユーザ領域に、上記追尾の成否を付加することにより、再生側または編集側に有効な情報を与えることができる。活用方法の例は後述する。

図４は、実施の形態２に係る画像再生装置４００の構成図である。実施の形態２に係る画像再生装置４００は、撮像装置３００の一機能として搭載されてもよいし、単体の機器として構成されてもよい。画像再生装置４００は、画像処理部４１０、表示部４２０および操作部４３０を備える。

画像処理部４１０は、実施の形態１に係る画像処理装置１００で生成された全体領域動画像の符号化データおよび注目領域動画像の符号化データを処理する。画像処理部４１０は、第１復号部４１２、第２復号部４１４、制御部４１６および切替部４１８を含む。

以下の説明では、全体領域動画像の各フレーム画像と注目領域動画像の各単位画像とは同期がとれており、両画像のサイズが等しいことを前提とする。また、注目領域動画像の各単位画像のヘッダ領域またはユーザ領域に、追尾の成否を示す追尾情報が付加されていることを前提とする。

第１復号部４１２および第２復号部４１４は、別々のハードウェアデコーダで構成される。第１復号部４１２は、全体領域動画像の符号化データを復号する。第２復号部４１４は、注目領域動画像の符号化データを復号する。第２復号部４１４は、注目領域動画像の各単位画像の追尾の成否を制御部４１６に供給する。

切替部４１８は、第１復号部４１２から供給される全体領域動画像の各フレーム画像と、第２復号部４１４から供給される注目領域動画像の各単位画像とのいずれかを優先して、表示部４２０に供給する。たとえば、同期がとれている、フレーム画像と単位画像とのいずれかを選択して表示部４２０に出力する。また、同期がとれている、フレーム画像と単位画像とのうち、優先するほうの画像のサイズを優先しないほうの画像のサイズより大きくなるよう、少なくとも一方の画像の解像度を変換した後、両方の画像を表示部４２０に出力する。たとえば、単位画像のほうを優先する場合、単位画像をそのまま表示部４２０に出力し、フレーム画像を縮小して表示部４２０に出力する。

制御部４１６は、同期がとれている、フレーム画像と単位画像とのいずれを優先するか切替部４１８に指定する。制御部４１６は、第２復号部４１４から受ける追尾情報を参照していずれを優先するか決定することができる。この場合、追尾が成功している単位画像の場合、その単位画像を優先し、追尾が失敗している単位画像の場合、それに対応するフレーム画像を優先するよう決定する。また、制御部４１６は、ユーザ操作に起因して操作部４３０からフレーム画像と単位画像とのいずれを優先するかを指示する指示情報を受けた場合、その指示情報に応じていずれを優先するか決定する。当該追尾情報による判定と、当該指示情報による判定を併用する場合、後者を優先させる。

表示部４２０は、切替部４１８から連続的に供給される、フレーム画像および単位画像の少なくとも一方を表示する。

図５は、実施の形態２に係る表示部４２０による表示例を示す図である。表示部４２０は、メインウインドウ８０とサブウインドウ８２を持つ。図５ではメインウインドウ８０内にサブウインドウ８２が設けられる例を描いている。表示部４２０は、同期がとれている、フレーム画像と単位画像のうち、優先するほうをメインウインドウ８０に表示し、優先しないほうをサブウインドウ８２に表示する。たとえば、上記追尾情報による優先順位の判定がなされている場合、オブジェクトの追尾が成功している場合、メインウインドウ８０に単位画像を表示し、サブウインドウ８２にフレーム画像を表示する。逆に、オブジェクトの追尾が失敗している場合、メインウインドウ８０にフレーム画像を表示し、サブウインドウ８２に単位画像を表示する。

以上説明したように実施の形態２によれば、実施の形態１により生成された、全体領域動画像の符号化データおよび注目領域動画像の符号化データを用いて、特定のオブジェクトを適宜、強調的または優先的に表示することができる。とくに、各フレーム画像ごとに追尾の成否が特定されている場合、自動的に上記単位画像を優先するか上記フレーム画像を優先するか決定することができる。

以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

たとえば、実施の形態１では全体領域動画像のフレーム画像のサイズと注目領域動画像の単位画像のサイズを一致させる例を説明した。この点、変形例では全体領域動画像のフレーム画像のサイズを注目領域動画像の単位画像のサイズより小さく設定する。

図６は、実施の形態１の変形例１に係る撮像装置３００の構成図である。図１に示した基本例に係る撮像装置３００の画像処理装置１００内に縮小部２５が追加された構成である。縮小部２５は、撮像部２００から供給されるフレーム画像を縮小する。解像度変換部２０による縮小処理と同様に、間引き処理やフィルタ処理により当該フレーム画像を縮小することができる。その際、解像度変換部２０により解像度変換された後の単位画像の解像度より、低解像度のフレーム画像を生成する。これによれば、全体領域動画像のデータ量を低減することができる。オブジェクト追尾の精度が高い場合、単位画像が多く使用され、フレーム画像がほとんど使用されなくなる。この場合、全体領域動画像のフレーム画像の解像度を低下させても影響が小さいため、この変形例１を採用することが有力である。

図７は、実施の形態１の変形例２に係る撮像装置３００の構成図である。実施の形態１の変形例２に係る撮像装置３００は、図１に示した撮像装置３００と比較し、分岐部１１が追加され、注目領域設定部１０が削除された構成である。分岐部１１は、撮像部２００により連続的に撮像されたフレーム画像内の第１領域の画像を符号化部３０に出力し、当該フレーム画像内の第２領域の画像を解像度変換部２０に出力する。ここで、当該第１領域は当該フレーム画像の全体領域、当該第２領域は当該フレーム画像の横方向の領域を一部省略した領域であってもよい。より具体的には、当該第１領域はアスペクト比が１６：９の領域、当該第２領域はアスペクト比が４：３の領域であってもよい。

解像度変換部２０は、当該第２領域の画像の解像度が当該第１領域の画像の解像度より低くなるよう、当該第２領域の画像の解像度を変換する。たとえば、当該第１領域の画像が１０８０ｉ（１９２０×１０８０ピクセル）サイズに設定される場合、解像度変換部２０は、当該第２領域の画像のサイズをＶＧＡ（６４０×４８０）サイズに変換する。より具体的には、横方向の領域が一部省略された１０８０ｉ（１９２０×１０８０ピクセル）サイズの第２領域の画像の画素を間引いて、ＶＧＡ（６４０×４８０）サイズの第２領域の画像に変換する。

符号化部３０は、当該第１領域の画像が連続した第１領域動画像、および当該第２領域の画像が連続した第２領域動画像を符号化する。当該第２領域動画像は、当該第１領域動画像より低解像度で符号化されることになる。記録部４０は、符号化部３０により符号化された、当該第１領域動画像の符号化データおよび当該第２領域動画像の符号化データを関連づけて記録する。

図８は、実施の形態１の変形例２に係る撮像部２００で撮像されたフレーム画像５０、第１領域の画像６１、第２領域の画像７１を示す図である。フレーム画像５０の手振れ補正用領域５２を除く領域には、切出領域５３と省略領域５４とが含まれる。図８では、省略領域５４が右端に設定される例を描いているが、左端に設定されてもよいし、左端と右端に分割されて設定されてもよい。分岐部１１は、フレーム画像５０の手振れ補正用領域５２を除く領域を、第１領域の画像６１として符号化部３０に供給し、切出領域５３の画像を解像度変換部２０に供給する。解像度変換部２０は、省略領域５４が省略された１０８０ｉ（１９２０×１０８０ピクセル）サイズの切出領域５３の画像を、ＶＧＡ（６４０×４８０）サイズの第２領域の画像７１に変換し、符号化部３０に供給する。符号化部３０は、当該第１領域の画像６１が連続した第１領域動画像および当該第２領域の画像７１が連続した第２領域動画像を符号化する。記録部４０は、当該第１領域動画像の符号化データを視聴用として保持し、当該第２領域動画像の符号化データをインターネットサイトへの投稿用として保持する。

以上説明したように変形例２によれば、一つの撮像素子から１６：９のフルＨＤ画質の動画像とＳＤ画質の動画像を同時に圧縮符号化することができる。前者の動画像を大型ディスプレイ（たとえば、自宅の大型テレビ）での視聴用に、後者の動画像をインターネット上のＷｅｂサイトへのアップロード用に使用することができる。前者の動画像のみを圧縮符号化して記録部４０に記録した場合、その動画像に対応していないインターネット上のＷｅｂサイトへアップロードする場合、その動画像の符号化データをトランスコーデックする必要がある。この点、変形例２ではこのような煩雑な処理が不要となる。

なお、変形例２では、第１領域と第２領域が異なる例を説明したが、第１領域と第２領域が同じであってもよい。その場合、内容が同じで、解像度が異なる二種類の動画像が符号化されることになる。

１０ 注目領域設定部、 １２ オブジェクト検出部、 １４ オブジェクト登録部、 １６ オブジェクト追尾部、 １８ 注目領域抽出部、 ２０ 解像度変換部、 ２５ 縮小部、 ３０ 符号化部、 ３２ 第１符号化部、 ３４ 第２符号化部、 ４０ 記録部、 ８０ メインウインドウ、 ８２ サブウインドウ、 １００ 画像処理装置、 ２００ 撮像部、 ３００ 撮像装置、 ４００ 画像再生装置、 ４１０ 画像処理部、 ４１２ 第１復号部、 ４１４ 第２復号部、 ４１６ 制御部、 ４１８ 切替部、 ４２０ 表示部、 ４３０ 操作部。

本発明によれば、動画を撮影するための撮像装置に利用可能である。

Claims (8)

1. 連続的に撮像されるフレーム画像内に注目領域を設定する注目領域設定部と、
   前記フレーム画像が連続した全体領域動画像と、前記注目領域設定部により設定される注目領域の画像が連続した注目領域動画像を符号化する符号化部と、
   前記符号化部により符号化された、前記全体領域動画像の符号化データおよび前記注目領域動画像の符号化データを関連づけて記録する記録部と、
   を備えることを特徴とする画像処理装置。
2. 前記注目領域設定部は、
   前記フレーム画像内から特定のオブジェクトを検出するオブジェクト検出部と、
   前記オブジェクト検出部により検出された特定のオブジェクトを後続のフレーム画像内で追尾するオブジェクト追尾部と、
   前記オブジェクト検出部により検出され、前記オブジェクト追尾部により追尾される特定のオブジェクトを含む領域の画像を前記注目領域の画像として抽出する注目領域抽出部と、
   を含むことを特徴とする請求項１に記載の画像処理装置。
3. 前記オブジェクト追尾部は、前記フレーム画像ごとに追尾の成否を特定し、
   前記符号化部は、前記全体領域動画像の各フレーム画像および前記注目領域動画像の各単位画像の少なくとも一方の、ヘッダ領域またはユーザの書き込みが許可されている領域に、前記追尾の成否を付加することを特徴とする請求項２に記載の画像処理装置。
4. 前記符号化部により符号化すべき前記注目領域動画像の単位画像のサイズを一定にすべく、その単位画像の解像度を変換する解像度変換部をさらに備えることを特徴とする請求項１から３のいずれかに記載の画像処理装置。
5. 前記解像度変換部は、前記符号化部により符号化すべき前記全体領域動画像のフレーム画像のサイズに、前記注目領域動画像の単位画像のサイズが対応するよう、前記単位画像の解像度を変換することを特徴とする請求項４に記載の画像処理装置。
6. 連続的に撮像されるフレーム画像内に注目領域を設定する注目領域設定部と、
   前記フレーム画像が連続した全体領域動画像を符号化する第１符号化部と、
   前記注目領域設定部により設定される注目領域の画像が連続した注目領域動画像を、前記第１符号化部による前記全体領域動画像の符号化と平行して、符号化する第２符号化部と、
   前記第１符号化部により符号化された全体領域動画像の符号化データ、および前記第２符号化部により符号化された注目領域動画像の符号化データを関連づけて記録する記録部と、
   を備えることを特徴とする画像処理装置。
7. 連続的に撮像されるフレーム画像の第１領域の画像が連続した第１領域動画像、および前記フレーム画像の第２領域の画像が連続した第２領域動画像を符号化する符号化部と、
   前記符号化部により符号化された、前記第１領域動画像の符号化データおよび前記第２領域動画像の符号化データを関連づけて記録する記録部と、を備え、
   前記第２領域動画像は、前記第１領域動画像より低解像度で符号化されることを特徴とする画像処理装置。
8. フレーム画像を取得する撮像部と、
   前記撮像部により取得されるフレーム画像を処理する請求項１から７のいずれかに記載の画像処理装置と、
   を備えることを特徴とする撮像装置。

Images