JP2009246935A - 画像処理装置およびそれを搭載した撮像装置 - Google Patents

Abstract

【課題】特定の操作をすることなしに特定のオブジェクトを優先的に視聴したい。
【解決手段】復号部２０は、動画像が符号化された符号化ストリームを復号する。表示部２２は、復号部２０により復号された動画像を表示する。取得部２４は、符号化ストリーム内に付加された、動画像に含まれるフレーム画像内で検出された特定のオブジェクトの検出の有無を示す識別情報を示す追尾情報を取得する。制御部２６は、取得部２４により取得された検出情報を参照して、特定のオブジェクトの追尾が失敗しているフレーム画像の少なくとも一枚をスキップまたは早送りする。
【選択図】図３

Description

本発明は、動画像を処理する画像処理装置およびそれを搭載した撮像装置に関する。

一般ユーザが手軽に動画を撮影することができるデジタルムービーカメラが普及してきている。それとともに、このようなカメラで撮像された動画像を再生するプレーヤも普及してきている。

一般ユーザはデジタルムービーカメラを使用して、特定のオブジェクトが画面内に継続して収まるよう、そのオブジェクトを追尾しながら撮影することが多い。たとえば、運動会で、走っている自分の子供を撮影する場合が典型例である。

特許文献１は目標追尾装置を開示し、この目標追尾装置は微妙な色の違いや色の変化に合わせて特徴量を抽出して目標を追尾する。
特開平７−９５５９７号公報

一般ユーザはプレーヤを使用して、デジタルムービーカメラで撮影した動画像を視聴することができる。特定のオブジェクトを注目対象として撮影された動画像を視聴する場合、当然のことながらそのオブジェクトを視聴することが主な目的となる。

しかしながら、特定のオブジェクトを追尾しながら撮影しようとしても、追尾しきれない場合、すなわち画面内からそのオブジェクトが外れてしまう場合がある。そのオブジェクトが写っていないシーンは、写っているシーンより視聴の優先度が低いシーンといえる。ユーザによっては早送りボタンを押下して、そのオブジェクトが写っていないシーンを早送りする者もいる。なお、自分が撮影したものではない動画像についても特定のオブジェクトを視聴することを主な目的とする場合、同様のことがいえる。

本発明はこうした状況に鑑みなされたものであり、その目的は、特定の操作をすることなしに、特定のオブジェクトを優先的に視聴することができる、またはその視聴を支援することができる画像処理装置およびそれを搭載した撮像装置を提供することにある。

本発明のある態様の画像処理装置は、動画像を再生する際、特定のオブジェクトが含まれるフレーム画像を通常再生し、特定のオブジェクトを含まないフレーム画像の少なくとも一枚をスキップまたは早送り再生する。

本発明のさらに別の態様もまた、画像処理装置である。この装置は、動画像を符号化して符号化ストリームを生成する符号化部と、動画像に含まれるフレーム画像内から特定のオブジェクトを検出するオブジェクト検出部と、オブジェクト検出部により検出された特定のオブジェクトを追尾し、その追尾状況に基づいて追尾情報を生成するオブジェクト追尾部と、を備える。符号化部は、オブジェクト追尾部により生成された追尾情報を、符号化ストリーム内に付加する。

なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、特定の操作をすることなしに特定のオブジェクトを優先的に視聴することができる、またはその視聴を支援することができる。

図１は、実施の形態１に係る撮像装置５００の構成図である。実施の形態１に係る撮像装置５００は、撮像部５０および画像処理装置１００を備える。

撮像部５０は、動画像を取得し画像処理装置１００に供給する。撮像部５０は、ＣＣＤ（Charge Coupled Devices）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの図示しない固体撮像素子、およびその固体撮像素子から出力
される信号を処理する図示しない信号処理回路を備える。当該信号処理回路は、上記固体撮像素子から出力されるアナログの三原色信号Ｒ、Ｇ、Ｂを、デジタルの輝度信号Ｙおよび色差信号Ｃｒ、Ｃｂに変換することができる。

画像処理装置１００は、撮像部５０により取得される動画像を処理する。画像処理装置１００は、符号化部１０、オブジェクト検出部１２、オブジェクト登録部１４およびオブジェクト追尾部１６を含む。画像処理装置１００の構成は、ハードウェア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。

符号化部１０は、撮像部５０により取得される動画像を符号化して符号化ストリームを生成する。より具体的には、その動画像を所定の規格にしたがい圧縮符号化して符号化ストリームを生成する。たとえば、Ｈ．２６４／ＡＶＣ、ＭＰＥＧ−２、またはＭＰＥＧ−４などの規格にしたがい圧縮符号化する。

オブジェクト検出部１２は、撮像部５０により取得される動画像に含まれるフレーム画像内から特定のオブジェクトを検出する。オブジェクト登録部１４は、特定のオブジェクトをオブジェクト検出部１２に登録する。たとえば、撮像部５０を用いて子供の顔を撮像して登録することができる。オブジェクトの例として、人物、犬や猫などのペット、自動車や電車などの移動体などが挙げられる。以下、オブジェクトが人物の場合を例に説明する。

オブジェクトとしての人物は、動画像の撮像が開始された後、フレーム画像内から最初に検出された人物であってもよいし、オブジェクト登録部１４により登録された特定の人物であってもよい。前者の場合、人物全般を検出するための辞書データが用いられ、後者の場合、登録された特定の人物を検出するための辞書データが用いられる。最初に検出された人物または登録された特定の人物は、後続するフレーム画像内での追尾対象となる。

オブジェクト検出部１２は、フレーム画像内の顔を検出することにより人物を特定することができる。オブジェクト検出部１２は、検出した顔を含む顔領域の下方に胴体領域を設定する。胴体領域の大きさは顔領域の大きさに比例させる。また、追尾の対象とすべく、人物の全身を含む人物領域を設定してもよい。

顔検出処理は、公知の方法で行えばよく、とくに限定されるものではない。たとえば、エッジ検出法、ブースティング法、色相抽出法または肌色抽出法による顔検出方法を用いることができる。

エッジ検出法は、あらかじめ顔の大きさや濃淡値を正規化した顔画像の目、鼻、口、顔の輪郭などを含む顔領域から様々なエッジ特徴を抽出し、顔であるか否かを識別するのに有効な特徴量を統計的手法に基づき学習することにより顔識別器を構築する。なお、オブジェクト登録部１４から登録される、特定の人物の顔についてはその顔画像から顔識別器を構築する。

入力画像の中から顔を検出するために、学習の際に正規化した顔サイズで入力画像の端からラスタスキャンしながら、同様な特徴量を抽出する。その特徴量から、識別器によりその領域が顔か否か判断する。特徴量には、たとえば、水平エッジ、垂直エッジ、右斜めエッジ、左斜めエッジなどを用いることができる。顔が検出されなければ、入力画像を一定の割合で縮小し、縮小後の画像に対して、上記と同様にラスタスキャンしながら顔を検索する。このような処理を繰り返すことにより、画像中から任意の大きさの顔を見つけることができる。

オブジェクト追尾部１６は、オブジェクト検出部１２により検出された特定のオブジェクトを追尾し、その追尾状況に基づいて追尾情報を生成する。そして、この生成した追尾情報を符号化部１０に供給する。符号化部１０は、オブジェクト追尾部１６により生成された追尾情報を当該符号化ストリーム内に付加する。

オブジェクト追尾部１６は、オブジェクト検出部１２により検出された特定のオブジェクトを後続のフレーム画像内で追尾し、フレーム画像単位で追尾の成否を特定することができる。その場合、符号化部１０は、各フレーム画像の、ヘッダ領域またはユーザの書き込みが許可されている領域（以下、ユーザ領域という）に、当該追尾の成否を上記追尾情報として付加する。なお、各フレーム画像の追尾の成否を、ピクチャヘッダ領域ではなく、シーケンスヘッダ領域またはＧＯＰ(Group Of Picture)ヘッダ領域にまとめて記述してもよい。

オブジェクト追尾部１６は、特定のオブジェクトの追尾をオブジェクトの色情報に基づいて行うことができる。上述した例では、上記胴体領域の色に類似する色の領域を、後続フレーム画像内で探索することにより追尾する。なお、後続フレーム画像内での、オブジェクト検出部１２による顔検出の結果を加味すれば、追尾の精度を高めることができる。

上記追尾の成否はつぎのように判定される。すなわち、オブジェクト追尾部１６は、フレーム画像内に追尾すべきオブジェクトが含まれている場合、そのフレーム画像を追尾成功と判定し、フレーム画像内に追尾すべきオブジェクトが含まれていない場合、そのフレーム画像を追尾失敗と判定する。ここで、オブジェクトの追尾単位は、上記顔領域単位であってもよいし、上記人物領域単位であってもよい。

オブジェクト追尾部１６は、上記追尾情報として各フレーム画像ごとに追尾の成否をフラグとして生成することができる。この場合、符号化部１０は、各フレーム画像の、ヘッダ領域またはユーザ領域に当該フラグを記述する。

オブジェクト追尾部１６は、特定のオブジェクトが画面内から外れたフレーム画像を特定することができる。その場合、符号化部１０は、オブジェクト追尾部１６により特定されたフレーム画像のヘッダ領域またはユーザ領域に、画面内から外れた旨を示す情報を上記追尾情報として付加する。また、オブジェクト追尾部１６は、特定のオブジェクトが画面内に戻ったフレーム画像を特定することができる。その場合、符号化部１０は、オブジェクト追尾部１６により特定されたフレーム画像のヘッダ領域またはユーザ領域に、画面内に戻った旨を示す情報を上記追尾情報として付加する。

符号化部１０は、上記追尾情報を付加した符号化ストリームＣＳを生成し、メモリカードやハードディスクや光ディスクなどの、図示しない記録媒体に記録するか、ネットワークに送出する。

図２は、実施の形態１に係る画像処理装置１００の動作例を説明するための図である。所定の動画像は、時間経過順に、第１フレーム画像Ｆ１、第２フレーム画像Ｆ２、第３フレーム画像Ｆ３および第４フレーム画像Ｆ４を含む。この動画像は、特定の人物を注目対象として撮像されたものである。

オブジェクト検出部１２は、第１フレーム画像Ｆ１内から特定の人物をオブジェクトとして検出して、その人物の全身を含む人物領域４０を設定する。オブジェクト追尾部１６は、それ以降のフレーム画像内でこの人物領域４０を追尾する。符号化部１０は、各フレーム画像を符号化して符号化ストリームＣＳを生成する。その際、各ピクチャのヘッダ領域Ｈまたはユーザ領域Ｕに、追尾の成否を示すフラグを付加する。ここでは、ユーザ領域Ｕに付加している。このフラグは「１」で追尾成功、「０」で追尾失敗を示す。

図２では、第１フレーム画像Ｆ１を符号化したピクチャ１、第２フレーム画像Ｆ２を符号化したピクチャ２、および第４フレーム画像Ｆ４を符号化したピクチャ４の各ユーザ領域Ｕに「１」が付加され、第３フレーム画像Ｆ３を符号化したピクチャ３のユーザ領域ＵにＵに「０」が付加される。第３フレーム画像Ｆ３には特定の人物が写っていないためである。

以上説明したように実施の形態１によれば、符号化ストリーム内に追尾情報を付加することにより、再生側で、特定の操作をすることなしに特定のオブジェクトを優先的に視聴することを支援することができる。また、特定のオブジェクトが最初に検出されたフレーム画像、特定のオブジェクトが画面内から外れたフレーム画像、および特定のオブジェクトが画面内に戻ったフレーム画像のみに、その変化を示す情報を追尾情報として付加すれば、追尾情報の付加に必要な符号量を削減することができる。再生側は、追尾情報が付加されていないフレーム画像について、追尾情報が付加されている最新のフレーム画像の、追尾の成否が維持されていると認識すればよい。

図３は、実施の形態２に係る画像処理装置２００の構成図である。実施の形態２に係る画像処理装置２００は、撮像装置５００の一機能として搭載されてもよいし、単体の機器として構成されてもよい。画像処理装置２００は、動画像を再生する機能を備え、動画像を再生する際、特定のオブジェクトが含まれるフレーム画像を通常再生し、その特定のオブジェクトを含まないフレーム画像の少なくとも一枚をスキップまたは早送り再生する。ここで、通常再生とは再生速度が通常の再生方法を意味する。

一般的に、追尾されている特定のオブジェクトが画面内から外れると、再び画面内に戻ってくるまでに複数のフレーム画像が経過することになる。したがって、特定のオブジェクトを含まないフレーム画像が連続する区間が発生することになり、その区間に再生される動画像を早送り再生の対象とすることができる。スキップまたは早送り再生すべきフレーム画像は、特定のオブジェクトを含まないフレーム画像のすべてであってもよいし、その一部であってもよい。たとえば、特定のオブジェクトを含まないフレーム画像であっても、そのフレーム画像が連続する区間の、開始区間および終了区間の少なくとも一方の区間では、通常再生させてもよい。また、その開始区間および終了区間では早送り再生し、それら区間に挟まれた区間ではスキップしてもよい。これらの場合、特定のオブジェクトを含まないフレーム画像が連続する区間の変わり目をユーザに対して十分に認識させることができる。

以下、より具体的に説明する。画像処理装置２００は、復号部２０、表示部２２、取得部２４、制御部２６および操作部２８を備える。

復号部２０は、動画像が符号化された符号化ストリームＣＳを復号する。この符号化ストリームＣＳは、実施の形態１に係る画像処理装置１００で生成されたものであってもよい。表示部２２は、復号部２０により復号された動画像を表示する。

取得部２４は、符号化ストリームＣＳ内に付加された、動画像に含まれるフレーム画像内で検出された特定のオブジェクトの検出の有無を示す識別情報を取得する。この識別情報は、上述した追尾情報であってもよい。

制御部２６は、取得部２４により取得された識別情報を参照して、特定のオブジェクトの追尾が失敗しているフレーム画像の少なくとも一枚をスキップまたは早送りする。スキップの場合、復号部２０により復号されたフレーム画像が一時記憶されている、図示しないバッファ内の、スキップすべきフレーム画像を破棄するよう制御する。早送りの場合、当該バッファから表示部２２への、早送りすべきフレーム画像の出力タイミングを速くするよう制御する。

操作部２８は、ユーザの指示を受けつけて制御部２６に伝達する。本実施の形態では、特定のオブジェクトを含む動画像の再生方法の指定を受け付ける。この再生方法は、以下に示す三つのモードから選択することができる。
（１）すべてのフレーム画像を通常再生する通常モード
（２）特定のオブジェクトが写っていないフレーム画像をスキップするスキップモード
（３）特定のオブジェクトが写っていないフレーム画像が連続する区間を早送りする早送りモード
制御部２６は、操作部２８を介して通常モードが指定されたとき、特定のオブジェクトの追尾が失敗しているフレーム画像を、追尾が成功しているフレーム画像と同様に再生する。制御部２６は、操作部２８を介してスキップモードが指定されたとき、特定のオブジェクトの追尾が失敗しているフレーム画像をスキップする。操作部２８を介して早送りモードが指定されたとき、特定のオブジェクトの追尾が失敗しているフレーム画像を早送りする。

図４は、実施の形態２に係る画像処理装置２００の動作例を説明するための図である。図４の動画像は、図２に示した、実施の形態１に係る画像処理装置１００により撮像されたものである。

取得部２４は、符号化ストリームＣＳの各ピクチャのユーザ領域Ｕから追尾の成否を示すフラグを取得する。制御部２６は、そのフラグを参照して、各ピクチャが復号された各フレーム画像を通常再生するか、スキップ（スキップではなく早送り再生でもよい。）するか決定する。

図４では、フラグとして「１」が付加されている、ピクチャ１を復号した第１フレーム画像Ｆ１、ピクチャ２を復号した第２フレーム画像Ｆ２、およびピクチャ４を復号した第４フレーム画像Ｆ４を通常再生する。フラグとして「０」が付加されている、ピクチャ３を復号した第３フレーム画像Ｆ３をスキップする。

以上説明したように実施の形態２によれば、符号化ストリーム内に付加された追尾情報を使用することにより、特定の操作をすることなしに特定のオブジェクトを優先的に視聴することができる。すなわち、ユーザが早送りボタンを押下しなくても、特定のオブジェクトが写っていない区間の画像を自動的にスキップまたは早送りすることができる。また、その区間の画像の再生方法について、通常再生、スキップ、早送りのなかから選択可能とすることにより、様々なユーザの趣向を満たすことができる。

以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

第１の変形例として、オブジェクト検出部１２は特定のオブジェクトのサイズを特定し、特定のオブジェクトを含む領域に対する超解像処理の適正度を判定してもよい。超解像処理とは、微少な位置ずれを持つ複数の画像から、それら画像の解像度より高い解像度の画像を生成する技術である。超解像処理の詳細は、（青木伸著、「複数のデジタル画像データによる超解像処理」、Ricoh Technical Report No.24, NOVEMBER, 1998）、特開２００５−１９７９１０号公報、特開２００７−２０５号公報、特開２００７−１９３５０８号公報などに開示されている。

再生側の機器に、特定のオブジェクトを含む領域を、動画像に含まれる複数のフレーム画像を用いて超解像処理する機能が搭載される場合、その機器は特定のオブジェクトを拡大表示するためにその機能を利用することができる。ただし、特定のオブジェクトのサイズが小さすぎる場合、微少な位置ずれのある複数のフレーム画像を用いても、高周波成分を復元することは難しく、超解像処理の効果を得られなくなる。むしろ、ノイズが多い画像が生成されてしまう可能性もある。設計者は、超解像処理の効果が得られなくなるサイズを実験やシミュレーションにより求めて、そのサイズを閾値に設定することができる。

オブジェクト検出部１２は、特定のオブジェクトのサイズが上記閾値以下の場合、超解像処理の適正無しと判定し、そのサイズが上記閾値を超える場合、超解像処理の適正有りと判定する。オブジェクト追尾部１６は、各フレーム画像のヘッダ領域またはユーザ領域に付加すべき追尾情報に、この超解像処理の適正の有無も含めることができる。たとえば、「１」で適正有りを示し、「０」で適正無しを示すフラグを生成してもよい。

取得部２４はこの適正の有無を取得して、制御部２６は超解像処理に適しているか否かを判定することができる。たとえば、超解像処理の適正なしと判定された領域の拡大が指示されたとき、拡大不能として処理するか、空間的な画素補間処理により拡大する。この画素補間処理として、単純な線形補間処理やＦＩＲフィルタを用いた補間処理を採用することができる。

第２の変形例として、実施の形態１では追尾が失敗しているフレーム画像についても、追尾が成功しているフレーム画像と同様に符号化して符号化ストリームを生成したが、追尾が失敗しているフレーム画像を除いて符号化ストリームを生成してもよい。すなわち、符号化部１０は、オブジェクト追尾部１６により特定された、追尾が失敗しているフレーム画像の少なくとも一枚を除いて上記符号化ストリームを生成する。除かれたフレーム画像は別ファイルとして生成してもよいし、破棄してもよい。これによれば、再生側で何ら処理する必要なく、特定のオブジェクトが写っていないフレーム画像をスキップすることができる。

第３の変形例として、実施の形態１では符号化部１０は上記追尾情報を符号化ストリーム内に付加したが、上記追尾情報を符号化ストリームと別のファイルに記録してもよい。この場合、再生側で符号化ストリームを解読しなくても、上記追尾情報を取得することができる。

第４の変形例として、第２の変形例では追尾が失敗しているフレーム画像を除いて符号化ストリームを生成したが、特定のオブジェクトが画面内から外れたフレーム画像または特定のオブジェクトが画面内に戻ったフレーム画像に、ユーザがアクセスし易いよう符号化ストリームを生成してもよい。ここで、Ｈ．２６４／ＡＶＣ、ＭＰＥＧ−２、またはＭＰＥＧ−４などの規格にしたがう圧縮符号化では、予測した参照画像と符号化すべき対象画像の差分である予測誤差に対して直交変換、量子化などの処理を行う。このとき、符号化すべきフレーム内の画像から参照画像を予測するフレーム内予測符号化のほうが、符号化すべきフレーム外の画像も利用して参照画像を予測するフレーム間予測符号化によりも、復号時のアクセス性が良くなる。フレーム間予測符号化したフレーム画像を復号するためには、復号対象とすべきフレーム画像の他、その参照画像を含む他のフレーム画像を復号する必要があるためである。そこで、符号化部１０は、特定のオブジェクトが画面内から外れたフレーム画像または特定のオブジェクトが画面内に戻ったフレーム画像をフレーム内予測符号化して符号化ストリームを生成する。特定のオブジェクトが画面内から外れたフレーム画像、特定のオブジェクトが画面内に戻ったフレーム画像ともフレーム内予測符号化してもよく、少なくともどちらか一方をフレーム内予測符号化してもよい。これによれば、これらのフレーム画像を効率的にサーチすることが可能となり、ユーザの嗜好に応じた符号化を実現できる。

第５の変形例として、第２の変形例では追尾が失敗しているフレーム画像を除いて符号化ストリームを生成したが、特定のオブジェクトが画面内から外れたフレーム画像から特定のオブジェクトが画面内に戻ったフレーム画像まで、つまり特定のオブジェクトの追尾が失敗している期間は、圧縮率を高くして符号化ストリームを生成してもよい。特定のオブジェクトの追尾が失敗している間のシーンは、特定のオブジェクトの追尾が成功している間のシーンに比べ、視聴の優先度が低く、圧縮率を高めて符号量を抑制したほうが効率的といえるからである。そこで、符号化部１０は、特定のオブジェクトの追尾が失敗している期間は、例えば、量子化ステップサイズを大きく設定して、圧縮率の高い符号化ストリームを生成する。圧縮率は、特定のオブジェクトの追尾が失敗している期間の符号量が抑制できるように設定すればよく、例えば、フレーム内予測符号化するフレーム画像では特定のオブジェクの追尾が成功している期間よりも圧縮率を高くし、フレーム間予測符号化するフレーム画像では特定のオブジェクの追尾が成功している期間と圧縮率を同じ、もしくは低く設定してもよい。これによれば、特定のオブジェクトの追尾に失敗している期間の符号量を抑制した符号化ストリームを生成できるので、ユーザの嗜好に応じた符号化を実現できる。また、符号化ストリーム全体の容量を削減できる。

第６の変形例として、第２の変形例では追尾が失敗しているフレーム画像を除いて符号化ストリームを生成したが、特定のオブジェクトの追尾が失敗している期間は、解像度を低くして符号化ストリームを生成してもよい。特定のオブジェクトの追尾が失敗している間のシーンは、特定のオブジェクトの追尾が成功している間のシーンに比べ、視聴の優先度が低く、解像度を低くして符号量を抑制したほうが効率的といえるからである。そこで、符号化部１０は、特定のオブジェクトの追尾が失敗している期間は、所定の間隔で画素を間引いた低解像度フレーム画像を生成し、この低解像度フレーム画像から符号化ストリームを生成する。このとき、画素を間引くことによる不自然さを抑制するため、例えば、ＦＩＲフィルタでフレーム画像に平滑化処理を行ってから、間引き処理を実行してもよい。解像度は、特定のオブジェクトの追尾が失敗している期間の符号量が抑制できるように設定すればよく、例えば、フレーム内予測符号化するフレーム画像では特定のオブジェクの追尾が成功している期間よりも解像度を低くし、フレーム間予測符号化するフレーム画像では特定のオブジェクの追尾が成功している期間と解像度を同じ、もしくは高く設定してもよい。これによれば、特定のオブジェクトの追尾に失敗している期間の符号量を抑制した符号化ストリームを生成できるので、ユーザの嗜好に応じた符号化を実現できる。また、符号化ストリーム全体の容量を削減できる。

実施の形態１に係る撮像装置の構成図である。 実施の形態１に係る画像処理装置の動作例を説明するための図である。 実施の形態２に係る画像処理装置の構成図である。 実施の形態２に係る画像処理装置の動作例を説明するための図である。

符号の説明

１０ 符号化部、 １２ オブジェクト検出部、 １６ オブジェクト追尾部、 １４
オブジェクト登録部、 ２０ 復号部、 ２２ 表示部、 ２４ 取得部、 ２６ 制御部、 ２８ 操作部、 ５０ 撮像部、 １００ 画像処理装置、 ２００ 画像処理装置、 ５００ 撮像装置。

Claims (10)

1. 動画像を再生する際、特定のオブジェクトが含まれるフレーム画像を通常再生し、前記特定のオブジェクトを含まないフレーム画像の少なくとも一枚をスキップまたは早送り再生することを特徴とする画像処理装置。
2. 動画像が符号化された符号化ストリームを復号する復号部と、
   前記復号部により復号された動画像を表示する表示部と、
   前記符号化ストリーム内に付加された、前記動画像に含まれるフレーム画像内で検出された特定のオブジェクトの検出の有無を示す識別情報を取得する取得部と、
   前記取得部により取得された識別情報を参照して、前記特定のオブジェクトの追尾が失敗しているフレーム画像の少なくとも一枚をスキップまたは早送りする制御部と、
   を備えることを特徴とする画像処理装置。
3. 動画像を符号化して符号化ストリームを生成する符号化部と、
   前記動画像に含まれるフレーム画像内から特定のオブジェクトを検出するオブジェクト検出部と、
   前記オブジェクト検出部により検出された特定のオブジェクトを追尾し、その追尾状況に基づいて追尾情報を生成するオブジェクト追尾部と、を備え、
   前記符号化部は、前記オブジェクト追尾部により生成された追尾情報を、前記符号化ストリーム内に付加することを特徴とする画像処理装置。
4. 前記オブジェクト追尾部は、前記オブジェクト検出部により検出された特定のオブジェクトを後続のフレーム画像内で追尾し、フレーム画像単位で追尾の成否を特定し、
   前記符号化部は、各フレーム画像の、ヘッダ領域またはユーザの書き込みが許可されている領域に、前記追尾の成否を前記追尾情報として付加することを特徴とする請求項３に記載の画像処理装置。
5. 前記オブジェクト追尾部は、前記特定のオブジェクトが画面内から外れたフレーム画像を特定し、
   前記符号化部は、前記オブジェクト追尾部により特定されたフレーム画像の、ヘッダ領域またはユーザの書き込みが許可されている領域に、前記画面内から外れた旨を示す情報を前記追尾情報として付加し、
   前記オブジェクト追尾部は、前記特定のオブジェクトが画面内に戻ったフレーム画像を特定し、
   前記符号化部は、前記オブジェクト追尾部により特定されたフレーム画像の、ヘッダ領域またはユーザの書き込みが許可されている領域に、前記画面内に戻った旨を示す情報を前記追尾情報として付加することを特徴とする請求項３に記載の画像処理装置。
6. 動画像を符号化して符号化ストリームを生成する符号化部と、
   前記動画像に含まれるフレーム画像内から特定のオブジェクトを検出するオブジェクト検出部と、
   前記オブジェクト検出部により検出された特定のオブジェクトを追尾するオブジェクト追尾部と、を備え、
   前記符号化部は、前記オブジェクト追尾部により特定された、追尾が失敗しているフレーム画像の少なくとも一枚を除いて前記符号化ストリームを生成することを特徴とする画像処理装置。
7. 動画像を符号化して符号化ストリームを生成する符号化部と、
   前記動画像に含まれるフレーム画像内から特定のオブジェクトを検出するオブジェクト検出部と、
   前記オブジェクト検出部により検出された特定のオブジェクトを追尾するオブジェクト追尾部と、を備え、
   前記符号化部は、前記オブジェクト追尾部により特定された、前記特定のオブジェクトが画面内から外れたフレーム画像および前記特定のオブジェクトが画面内に戻ったフレーム画像のうち、少なくとも一枚をフレーム内予測符号化することで前記符号化ストリームを生成することを特徴とする画像処理装置。
8. 動画像を符号化して符号化ストリームを生成する符号化部と、
   前記動画像に含まれるフレーム画像内から特定のオブジェクトを検出するオブジェクト検出部と、
   前記オブジェクト検出部により検出された特定のオブジェクトを追尾するオブジェクト追尾部と、を備え、
   前記符号化部は、前記オブジェクト追尾部により特定された、追尾が失敗しているフレーム画像の少なくとも一枚を、追尾が成功しているフレーム画像と異なる圧縮率で符号化することで前記符号化ストリームを生成することを特徴とする画像処理装置。
9. 動画像を符号化して符号化ストリームを生成する符号化部と、
   前記動画像に含まれるフレーム画像内から特定のオブジェクトを検出するオブジェクト検出部と、
   前記オブジェクト検出部により検出された特定のオブジェクトを追尾するオブジェクト追尾部と、を備え、
   前記符号化部は、前記オブジェクト追尾部により特定された、追尾が失敗しているフレーム画像の少なくとも一枚を、追尾が成功しているフレーム画像と異なる解像度で符号化することで前記符号化ストリームを生成することを特徴とする画像処理装置。
10. 動画像を取得する撮像部と、
    前記撮像部により取得される動画像を処理する請求項３から９のいずれかに記載の画像処理装置と、
    を備えることを特徴とする撮像装置。
    

Images