JP2010041515A - 画像処理装置 - Google Patents

Abstract

【課題】
注目領域の滑らかな切り替えを実現すること。
【解決手段】
注目領域設定部１０１１は、第１の注目領域と第２の注目領域を設定する。中間領域設定部１０１２は、動画像に含まれるフレーム画像上において、第１の注目領域と第２の注目領域との空間的、時間的な中間の領域内に、中間領域を設定する。符号化部１０１３は、第１の注目領域符号化データと第２の注目領域符号化データと中間領域符号化データを含めて符号化ストリームを生成する。復号部１０２０は、符号化ストリームから第１の注目領域動画像、第２の注目領域動画像および中間領域画像を復号する。出力部１０２２は、第１の注目領域から第２の注目領域に切り替える場合、中間領域画像を表示部４０に出力した後、第２の注目領域動画像を表示部４０に出力する。
【選択図】図１

Description

本発明は、動画像を処理する画像処理装置に関する。

近年、動画を撮影することができるデジタルムービーカメラが普及してきている。このようなデジタルムービーカメラのなかには、特定のオブジェクトの形状、色などオブジェクトの特徴量を抽出してこれを追尾するものもある。ユーザは、このようなデジタルムービーカメラを利用して、例えば、運動会で走っている子供を所定の注目領域内に継続して収まるように追尾しながら撮影することができる。（例えば、特許文献１）
特開平７−９５５９７号公報

特定のオブジェクトを追尾しながら撮影した場合、ユーザはその特定のオブジェクトを含む注目領域内の動画像を主な視聴対象とする。しかしながら、注目領域内に特定のオブジェクトが継続して収まるように追尾しながら撮影したくても、特定のオブジェクトの検出ができても注目領域の追尾に失敗したり、特定のオブジェクトの検出自体に失敗する場合など、注目領域からそのオブジェクトが外れてしまうことがある。このような場合、特定のオブジェクトが再度注目領域内に収まるように、そのオブジェクトの検出からやり直すが、その間に特定のオブジェクトが移動していると、特定のオブジェクトが外れたときの注目領域内の背景と、特定のオブジェクトを検出し追尾を再開できたときの注目領域内の背景とが空間的、時間的に不連続になることがある。このため、特定のオブジェクトが外れたときの動画像と、特定のオブジェクトの追尾を再開できたときの動画像の切り替えが不自然となり、注目領域内の動画像を視聴しているユーザに違和感を与えることがあった。

本発明はこのような状況に鑑みてなされたものであり、注目領域の動画像を滑らかに切り替えることができる画像処理装置を提供することを目的とする。

本発明のある態様は、画像処理装置である。この画像処理装置は、画像上に注目領域を設定する設定部と、前記注目領域内の画像を符号化して符号化ストリームを生成する符号部と、前記符号化ストリームを復号する復号部と、前記復号部において復号された画像を出力する出力部とを備え、前記設定部は、第１の注目領域と第２の注目領域を設定するとともに、前記画像上において、前記第１の注目領域と前記第２の注目領域との空間的、時間的に中間の領域内に、中間領域を設定し、前記符号部は、前記第１の注目領域内の画像を符号化した第１の符号化データと、前記第２の注目領域内の画像を符号化した第２の符号化データと、前記中間領域内の画像を符号化した第３の符号化データとを含めて符号化ストリームを生成し、前記出力部は、出力すべき画像を前記第１の符号化データを復号して生成した第１の画像から前記第２の符号化データを復号して生成した第２の画像に変更する場合、前記第３の符号化データを復号して生成した第３の画像を出力してから、前記第２の画像を出力することをその要旨とする。

また、前記画像に含まれる特定のオブジェクトを検出する検出部をさらに備え、前記設定部は、前記検出部で検出した特定のオブジェクトの動きに、前記注目領域を追従させることが望ましい。

また、前記設定部は、前記検出部で検出した特定のオブジェクトの動きに前記第１の注目領域を追従させており、かつ、前記特定のオブジェクトが前記第１の注目領域内から外れた場合に、前記制御部は、前記符号化の対象とすべき注目領域を、前記第１の注目領域から前記第２の注目領域に切り替えることが望ましい。

また、前記設定部は、前記検出部で検出した特定のオブジェクトの動きに前記第１の注目領域を追従させており、かつ、前記第１のオブジェクトの動き量があらかじめ規定したしきい値より大きくなった場合に、前記制御部は、前記符号化の対象とすべき注目領域を、前記第１の注目領域から前記第２の注目領域に切り替えることが望ましい。

本発明によれば、注目領域の動画像を滑らかに切り替えることができる。

本発明を具体的に説明する前に概要について述べる。本発明の実施の形態は、特定のオブジェクトを追尾しながら撮像することができる撮像装置に関する。撮像装置は、動画像に含まれるフレーム画像内に、人物などの特定のオブジェクトを検出すると、フレーム画像上（以下、全体領域とも言う)に、そのオブジェクトを含むように注目領域を設定する。さらに撮像装置は、オブジェクトから特徴量（例えば、人物の顔の形状など）を抽出し、そのオブジェクトを追尾する。そして、注目領域にオブジェクトが継続的に収まるように、そのオブジェクトの動きに注目領域を追従させる。なお、以下においては説明の便宜上、フレーム画像とは、撮像対象とした全領域の画像を言う。例えば、撮像対象をＨＤサイズ（１９２０×１０８０ピクセル）で撮像した場合、フレーム画像は、ＨＤサイズを撮像の単位とする領域画像になる。なお、フレーム画像は、撮像対象の任意領域分割となる撮像画像を結合した画像でもよく、撮像中に、撮像の単位を、例えば、ＳＤサイズ（７２０×５４０ピクセル）や４ｋサイズ（４０９６×２３０４ピクセル）など異なるサイズに変更してもよい。また、フレーム画像が連続した動画像、つまり撮像対象とした全領域の動画像を原動画像とも言う。

オブジェクトの追尾に失敗し、注目領域からオブジェクトが外れると、撮像装置は、オブジェクトを再検出する。オブジェクトの再検出に成功すれば、そのオブジェクトの追尾を再開する。ここで、オブジェクトの再検出にはある程度の時間を要するため、オブジェクトの追尾を再開したときの注目領域内の画像は、オブジェクトが外れたときの注目領域内の画像と空間的、時間的に不連続になることもある。そこで、本発明の実施の形態における撮像装置は次の処理を実行する。

撮像装置は、オブジェクトが外れたときの注目領域に、空間的、時間的に近くなるような領域（以下、中間領域とも言う）を全体領域上に設定する。そして、オブジェクトが外れるまでの注目領域内の画像と、オブジェクトの追尾を再開してからの注目領域内の画像とともに、中間領域内の画像を記録しておく。

これにより、注目領域内の画像を再生する場合、オブジェクトの追尾を再開することで特定した注目領域の画像よりも、オブジェクトが外れたときの画象に空間的、時間的により近い中間領域の画像を利用した動画像で、切り替えの不自然さを低減することができる。

図１は、本発明の実施の形態における撮像装置１の構成を示す概念図である。撮像装置１は画像処理部１０、撮像部２０、記録媒体３０および表示部４０を含む。

撮像部２０は、動画像を取得し画像処理装置１０に供給する。撮像部２０は、ＣＣＤ（Charge Coupled Devices）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの固体撮像素子、固体撮像素子からアナログの三原色信号をデジタルの輝度信号および色差信号に変更する信号処理部を含む。

記録媒体３０は、例えば、ＨＤＤ（Hard Disk Drive）、光ディスク、フラッシュメモリなどであり、画像処理部１０で生成した動画像の符号化ストリームを記録する。

表示部４０は、例えば、液晶ディスプレイなどであり、撮像中の動画像や、記録媒体３０に記録された動画像を表示したり、各種の設定画面や各種のステータス情報などを表示する。

画像処理装置１０は、記録部１０１、再生部１０２、入力部１０３および制御部１０４を含む。記録部１０１は、撮像部１０から受け取った動画像を符号化して符号化ストリームを生成し、記録媒体３０に記録する。再生部１０２は、記録媒体３０から読み出した符号化ストリームを復号し、表示部４０に出力する。入力部１０３は、例えば、操作ボタンや音声マイクであり、ユーザから指示を受け取り、これを制御部１０４に出力する。制御部１０４は、入力部１０３から受け取ったユーザの指示に従い、撮像装置１全体の制御を行う。

図２は、記録部１０１の構成を示す概念図である。記録部１０１は、オブジェクト抽出部１０１０、注目領域設定部１０１１、中間領域設定部１０１２、符号化部１０１３およびインデックス情報生成部１０１４を含む。

オブジェクト抽出部１０１０は、撮像部１０から受け取った動画像に含まれるフレーム画像内から特定のオブジェクトを検出する。オブジェクト抽出部１０１０が検出すべき特定のオブジェクトは、ユーザが入力部１０３から指定をすることができる。オブジェクトの具体例としては、人物、犬や猫などペット、自動車や飛行機などの移動体などが挙げられる。以下においては、説明の便宜上、特定のオブジェクトとして人物を検出するものとする。

オブジェクト抽出部１０１０は、フレーム画像内の顔を検出することにより人物を特定する。検出した顔を含む顔領域の下方に顔領域の大きさに比例させた胴体領域を設定する。顔検出は、公知な方法で行えばよく、本発明の実施の形態においては、エッジ検出法を用いるものとする。

エッジ検出法は、あらかじめ顔の大きさや濃淡値を正規化した顔画像の目、鼻、口、顔の輪郭などを含む顔領域から様々なエッジ特徴を抽出し、顔であるか否かを識別するのに有効な特徴量を統計的手法に基づき学習することにより顔の識別器を構築する。

入力画像の中から顔を検出するために、学習の際に正規化した顔サイズで入力画像の端からラスタスキャンしながら、同様な特徴量を抽出する。その特徴量から、識別器によりその領域が顔か否かを判断する。特徴量には、たとえば、水平エッジ、垂直エッジ、右斜めエッジ、左斜めエッジなどを用いることができる。顔が検出されなければ、入力画像を一定の割合で縮小し、縮小後の画像に対して、上記と同様にラスタスキャンしながら顔を検索する。このような処理を繰り返すことにより、画像中から任意の大きさの顔を見つけることができる。

オブジェクト抽出部１０１０は、上記胴体領域の色に類似する色の領域を、後続フレーム画像内で探索することにより人物を追尾する。なお、後続フレーム画像内での、顔検出の結果を加味すれば、追尾の精度を高めることができる。

注目領域設定部１０１１は、オブジェクト抽出部１０１０が検出した人物を含むよう、フレーム画像上に注目領域を設定する。注目領域は人物全体を包含し、かつその周辺領域を含む矩形の形状であってもよい。注目領域の設定はユーザが入力部１０３から行ってもよく、オブジェクト抽出部１０１０から検出した人物の全体領域内における位置情報やサイズ情報を受け取り、自動的に行ってもよい。

また、注目領域設定部１０１１は、オブジェクト抽出部１０１０の追尾状況から人物全体の動きベクトルを検出し、その動きベクトルに応じて注目領域を移動させ、人物の動きに注目領域を追従させる。

中間領域設定部１０１２は、注目領域を切り替える場合、切り替え先の注目領域（以下、第２の注目領域と言う）よりも、切り替え元の注目領域（以下、第１の注目領域と言う）と空間的、時間的に近くなるようなフレーム画像上の領域内に、中間領域を設定する。

具体的に説明するため、第１の注目領域が設定されており、第１の注目領域内の画像が処理の対象であった場合に、フレーム画像（Ｋ）で第１の注目領域の設定を解除して、第１の注目領域を対象とした処理を終了し、そこからＮ番目のフレーム画像（Ｋ＋Ｎ）で、第２の注目領域を設定して、処理の対象を第２の注目領域内の画像に切り替え、第２の注目領域を対象とした処理を開始したとする。このとき、第１の注目領域と空間的、時間的に近くなるようなフレーム画像上の領域とは、その間のフレーム画像上にあって、第１の注目領域の中心点と空間的に同じ位置の点と、第２の注目領域の中心点と空間的に同じ位置の点とを結ぶ線の周辺領域を言う。ここで、「線」とは「直線」に限定されず、「曲線」であってもよい。

また、中間領域設定部１０１２は、上記線上に沿って中間領域の中心点が空間的に移動していくように、周辺領域内に複数の中間領域を設定してもよい。このとき、フレーム画像（Ｋ＋Ｎ）に時間的に近いフレーム画像ほど、中間領域の中心点の空間的な位置が、第２の注目領域の中心点の空間的な位置に近くなるように設定してもよい。また、上記複数の中間領域のなかに、第１の注目領域が追従すべき人物の少なくとも一部を含む中間領域と、第２の注目領域が追従すべき人物の少なくとも一部を含む中間領域とがあるように設定してもよい。また、第１の注目領域の形状と第２の注目領域の形状が同じであった場合、それらと同じ形状で設定してもよい。また、上記複数の中間領域が、空間的に一部重複するように設定してもよい。また、第１の注目領域の中心点と第２の注目領域の中心点との間の空間的な距離が大きくなるほど、中間領域の数が多くなるように設定してもよい。

符号化部１０１３は、注目領域設定部１０１１からフレーム画像上における注目領域の位置情報や形状情報などを受け取る。これらの情報を参照して、撮像部２０から受け取った動画像に含まれるフレーム画像から、注目領域内の画像を抽出する。

これにより、符号化部１０１３は、フレーム画像ごとに抽出された注目領域内の画像を単位画像（以下、注目領域単位画像）とし、この注目領域単位画像が連続した注目領域動画像を構成する。符号化部１０１３は、例えば、Ｈ．２６４／ＡＶＣ、ＭＰＥＧ−２、またはＭＰＥＧ−４などの所定の規格に準拠もしくは、拡張した圧縮符号化方式により、注目領域内の画像を圧縮符号化し、注目領域符号化データを生成する。

また、符号化部１０１３は、フレーム画像上における中間領域の位置情報や形状情報などを受け取る。そして、これらの情報を参照して、撮像部２０から受け取った動画像に含まれるフレーム画像から、中間領域内の画像を抽出する。これにより、フレーム画像ごとに抽出される中間領域内の画像を単位画像（以下、中間領域単位画像）とし、少なくともひとつの中間領域単位画像を含む中間領域画像を構成する。符号化部１０１３は、中間領域画像を、所定の規格に準拠し圧縮符号化して、中間領域符号化データを生成する。なお、注目領域符号化データと中間領域符号化データは、それぞれ別々、および同一の圧縮符号化処理のどちらの処理で生成されてもよい。また、符号化データも、独立してもよいし圧縮符号化上の参照関係を持つなどの従属性があってもよい。

さらに符号化部１０１３は、注目領域符号化データに、中間領域符号化データとインデックス情報生成部１０１４から受け取ったインデックス情報とを重畳した注目領域符号化ストリームを生成し、記録媒体３０へ出力する。このようにして、注目領域符号化ストリームは、注目領域内の画像と注目領域間の切り替え画像である中間領域内の画像を符号化した符号化データを含むように構成される。

インデックス情報生成部１０１４は、注目領域符号化データと中間領域符号化データとを関連づけて再生するためのインデックス情報を生成し、符号化部１０１３に出力する。インデックス情報については後述する。

図３は、再生部１０２の構成を示す概念図である。再生部１０２は、復号部１０２０、インデックス情報抽出部１０２１および出力部１０２２を含む。

復号部１０２０は、記録媒体３０から受け取った注目領域符号化ストリームから注目領域符号化データと中間領域符号化データを抽出する。注目領域符号化データから注目領域動画像を復号するとともに、中間領域符号化データから中間領域画像を復号し、これらを出力部１０２２に出力する。

インデックス情報抽出部１０２１は、記録媒体３０から受け取った注目領域符号化ストリームからインデックス情報を抽出し、制御部１０４に出力する。

出力部１０２２は、インデックス情報に基づく制御部１０４の指示により、注目領域動画像に含まれる注目領域単位画像と、中間領域画像に含まれる中間領域単位画像とのいずれかを選択して表示部４０に出力する。

出力部１０２２は、再生対象の注目領域を第１の注目領域から第２の注目領域に切り替える場合に、第２の注目領域よりも、第１の注目領域と空間的、時間的に近い中間領域画像を、所定の期間出力してから第２の注目領域の動画像の出力を行う。このため、注目領域の滑らかな切り替えを実現することができ、ユーザの違和感を低減できる。

ここで、第１の注目領域と第２の注目領域の空間的な距離が大きくなるほど、上記中間領域画像を出力する所定の期間を長くしてもよい。また、中間領域画像をスローモーションやコマ送りして表示するため、中間領域画像の出力タイミングを調整してもよい。なお、出力部１０２２で出力タイミングを調整するのではなく、中間領域画像をスローモーションなど特殊効果映像として記録しておいてもよい。こうした映像効果は、これまで撮影処理とは別の独立した映像編集手続により、相応しい対象シーンを抽出して編集する負荷が大きい手続で実現されていたが、予め中間領域画像を対象とする処理を行うことで、これを大幅に簡易なものにすることができ、撮像と同時に処理できることになる。

次に、本発明の実施の形態における撮像装置１の中間領域の設定方法について具体例を挙げて説明する。

図４に、注目領域を切り替えた場合に設定される中間領域の例を示す。

原動画像は、時間経過順にフレーム画像２００、フレーム画像２０１、フレーム画像２０２およびフレーム画像２０３を含む。また、原動画像は、オブジェクト２１０、オブジェクト２１１およびオブジェクト２１２を含む。図４では、オブジェクト２１０全体を包含するように設定されていた注目領域２２０がフレーム画像２００で解除され、オブジェクト２１２全体を包含するにように新たな注目領域２２３が、フレーム画像２０３で設定されている。

このとき、注目領域２２０よりも、注目領域２２３と空間的、時間的に近くなるようなフレーム画像上の領域は、フレーム画像２０１上の直線２３０の周辺領域、またはフレーム画像２０２上の直線２３１の周辺領域となる。ここで、直線２３０は、フレーム画像２０１上にあって、注目領域２２０の中心点と空間的に同じ位置の点と、注目領域２２３の中心点と空間的に同じ位置の点を両端とする直線である。直線２３１も同様である。

図４では、フレーム画像２０１上において、直線２３０の周辺領域内に中間領域２２１が設定されている。また、フレーム画像２０２上において、直線２３１の周辺領域内に中間領域２２２が設定されている。また、フレーム画像２０１よりも、フレーム画像２０３と時間的に近いフレーム画像２０２上では、中間領域２２２の中心点が、フレーム画像２０１上に設定された中間領域２２１の中心点より、注目領域２２３の中心点と空間的に近くなるように設定されている。

なお、注目領域２２０よりも、注目領域２２３と空間的、時間的に近くなるようなフレーム画像上の領域は、注目領域２２０を含むフレーム画像２００上および注目領域２２３を含むフレーム画像上にあってもよい。

以上、フレーム画像上にひとつの中間領域が設定される例について説明したが、フレーム画像に複数の中間領域が設定されてもよい。

図５に、複数の中間領域が設定される例を示す。

原動画像は、時間経過順にフレーム画像３００、フレーム画像３０１、フレーム画像３０２およびフレーム画像３０３を含む。また、原動画像は、オブジェクト３１０、オブジェクト３１１およびオブジェクト３１２を含む。図５では、オブジェクト３１０全体を包含するように設定されていた注目領域３２０がフレーム画像３００で解除され、オブジェクト３１２全体を包含するにように新たな注目領域３２３が、フレーム画像３０３で設定されている。

このとき、注目領域３２０よりも、注目領域３２３と空間的、時間的に近くなるようなフレーム画像上の領域は、フレーム画像３０１上の曲線３３０の周辺領域、またはフレーム画像３０２上の曲線３３１の周辺領域となる。

図５では、フレーム画像３０１上において、曲線３３０の周辺領域内に中間領域３２１、３２２が設定されている。このとき、中間領域３２１の中心点と中間領域３２２の中心点とが曲線３３０上に沿って空間的に移動していくように中間領域の設定がされている。また、中間領域３２１と中間領域３２２は、一部重複するように設定されている。

以上、第１の注目領域が追従するオブジェクトと第２の注目領域が追従するオブジェクトが、それぞれ異なる場合に中間領域を設定することについて説明したが、オブジェクトの追従に失敗し、その後、同じオブジェクトの追従を再開したときなど、第１の注目領域が追従するオブジェクトと第２の注目領域が追従するオブジェクトが同じ場合に中間領域を設定してもよい。

なお、本発明の実施の形態においては、第１の注目領域がオブジェクトの追従に失敗したため解除された後、同じオブジェクトの追従を再開したため第２の注目領域が再設定された場合も「第１の注目領域から第２の注目領域に切り替える」という。

図６は、オブジェクトの追従に失敗した場合に設定される中間領域の例を示す。

原動画像は、時間経過順にフレーム画像４００、フレーム画像４０１、フレーム画像４０２およびフレーム画像４０３を含む。また、原動画像は、オブジェクト４１０およびオブジェクト４１１を含む。図６では、フレーム画像４００でオブジェクト４１０の追従に失敗したため、注目領域４２０が解除されている。その後、フレーム画像４０３でオブジェクト４１０の追従を再開したため、注目領域４２３が再設定されている。

図６では、オブジェクトの追従に失敗してから、オブジェクトの追従を再開するまでのフレーム画像４０１、４０２上に中間領域４２１、４２２がそれぞれ設定されている。

なお、図６では、オブジェクト４１０の一部が注目領域４２０から外れると直ぐに注目領域４２０の設定を解除しているが、オブジェクト４１０の一部が注目領域４２０から外れて所定期間経過した場合に、注目領域４２０の設定を解除してもよい。また、オブジェクト４２３の追従を再開したときに注目領域４２３を設定しているが、あらかじめオブジェクトごとに優先度を付与しておき、次に優先度が高いオブジェクトの検出し、追従できるようになったときに、そのオブジェクト全体を包含するように注目領域４２３を設定してもよい。また、オブジェクトの優先度は、フレーム画像の中央近くに位置するオブジェクトほど高くなるように付与してもよい。また、フレーム画像全体に占める割合が大きいオブジェクトほど優先度が高くなるように付与してもよい。また、オブジェクトを拡大処理したとき、そのオブジェクトの優先度を高くしてもよい。

以上、オブジェクトの追従に失敗したときに中間領域を設定する例について説明したが、オブジェクトの追従ができている場合であっても、オブジェクトが大きく動くことがあれば、中間領域を設定してもよい。

図７は、オブジェクトが大きく動く場合に設定される中間領域の例を示す。

原動画像は、時間経過順にフレーム画像５００、フレーム画像５０１、フレーム画像５０２およびフレーム画像５０３を含む。また、原動画像は、オブジェクト５１０およびオブジェクト５１１を含む。図７では、フレーム画像５００とフレーム画像５０１の間で、オブジェクト５１０の移動量があらかじめ規定したしきい値より大きくなったため、注目領域５２０が解除されている。その後、フレーム画像５０２とフレーム画像５０３の間で、オブジェクト５１０の移動量があらかじめ規定したしきい値より小さくなったため、注目領域５２３が設定されている。

図７では、フレーム間におけるオブジェクトの移動量がしきい値より大きいフレーム画像５０１、５０２上に中間領域５２１、５２２がそれぞれ設定されている。

なお、動画像の特性に応じて、オブジェクトの移動量に関するしきい値を調整してもよい。例えば、動画像がスポーツなど動きの激しいものであった場合は、上記しきい値を大きくし、オブジェクトの移動量が大きくても、容易に注目領域が解除されないようにする。また、移動量の大きいオブジェクトほど、上記優先度を低くしてもよい。

以上、ひとつの注目領域はひとつのオブジェクトを包含している場合について説明したが、ひとつの注目領域が複数のオブジェクトを包含しているときに、複数のオブジェクトごとに注目領域を設定し直した場合、中間領域を設定してもよい。

図８は、ひとつの注目領域に包含されていた複数のオブジェクトに対して、それぞれ注目領域を設定し直した場合に設定される中間領域の例を示す。

原動画像は、時間経過順にフレーム画像６００、フレーム画像６０１、フレーム画像６０２およびフレーム画像６０３を含む。また、原動画像は、オブジェクト６１０、オブジェクト６１１およびオブジェクト６１２を含む。ここで、オブジェクト６１０の優先度は、オブジェクト６１２より高く設定されている。図８では、注目領域６２０は、オブジェクト６１０およびオブジェクト６１２に追従するように設定されていたが、フレーム画像６００でオブジェクト６１２の追従に失敗したため、その設定が解除されている。その後、フレーム画像６０３で、オブジェクト６１０およびオブジェクト６１２のそれぞれに追従できるようになったため、オブジェクト６１０に対して注目領域６２６が、オブジェクト６１２に対して注目領域６２５が設定されている。

図８では、複数のオブジェクトのうち少なくともひとつのオブジェクトの追従に失敗してから、複数のオブジェクトのそれぞれに追従できるまでのフレーム画像６０１上に、中間領域６２１、６２２が、フレーム画像６０２上に、中間領域６２３、６２４がそれぞれ設定されている。

なお、図８では、オブジェクト６１２の一部が注目領域６２０から外れると直ぐに注目領域６２０の設定を解除しているが、オブジェクト６１２の一部が注目領域６２０から外れて所定期間経過した場合に、注目領域６２０の設定を解除してもよい。

次にインデックス情報について説明する。

インデックス情報には、符号化ストリーム内での符号化データの開始、終了位置を示す符号化データ位置情報、注目領域のフレーム画像上の位置情報など注目領域に関する情報（以下、注目領域情報とも言う）、中間領域のフレーム画像上の位置情報など中間領域に関する情報（以下、中間領域情報とも言う）が含まれる。

図９は、符号化データ位置情報のテーブル構造である。「符号化データ識別子」欄は、注目領域符号化データおよび中間領域符号化データのそれぞれを識別するための識別番号を示す。「開始位置情報」欄は、符号化ストリーム内での符号化データの開始位置を示す。「終了位置情報」欄は、符号化ストリーム内での符号化データの終了位置を示す。開始、終了位置は、例えば、タイムスタンプ、フレーム番号、記録媒体３０の論理アドレスなどを用いる。

図１０は、注目領域情報のテーブル構造である。図１０に、図８の注目領域６２０に関する注目領域情報を具体例として示す。注目領域情報は、設定が解除された注目領域と対応付けられている。「注目領域識別子」欄は、注目領域を識別するための識別番号を示す。「位置情報」欄は、フレーム画像上における注目領域の中心点の座標位置を示す。「検出状況」欄は、注目領域内でのオブジェクトの検出状況を示す。「切り替え先」欄は、切り替え先の注目領域と、その注目領域に切り替える過程で表示すべき中間領域画像（以下、シーンとも言う）を示す。

図１１は、中間領域情報のテーブル構造である。図１１に、図８の中間領域６２２に関する中間領域情報を具体例として示す。中間領域情報は、中間領域ごとに対応付けられている。「中間領域識別子」欄は、中間領域を識別するための識別番号を示す。「位置情報」欄は、フレーム画像上における中間領域の中心点の座標位置を示す。「検出状況」欄は、中間領域内でのオブジェクトの検出状況を示す。「表示順序」欄は、シーンとして表示されるときの順番を示す。

次に撮像装置１の注目領域符号化ストリームの記録動作を図１、２に基づいて説明する。

ユーザは、入力部１０３により注目すべき第１のオブジェクトを制御部１０４に指示する。制御部１０４は、第１のオブジェクトを検出するようオブジェクト抽出部１０１０を制御する。オブジェクト抽出部１０１０は、第１のオブジェクトを検出すると制御部１０４に通知する。通知を受けた制御部１０４は、第１のオブジェクト全体を包含するように注目領域設定部１０１１を制御する。注目領域設定部１０１１は、第１のオブジェクト全体を包含するよう、第１の注目領域を動画像に含まれるフレーム画像に設定するとともに、第１のオブジェクトの動きに第１の注目領域を追従させる。また、フレーム画像上における第１の注目領域の位置情報などを符号化部１０１３に出力する。符号化部１０１３は、受け取った第１の注目領域の位置情報などを参照し、第１の注目領域符号化データを生成する。

ユーザは、入力部１０３により、注目すべきオブジェクトを第２のオブジェクトに切り替えるため、制御部１０４に指示をする。制御部１０４は、第２のオブジェクトを検出するようにオブジェクト抽出部１０１０を制御する。さらに、制御部１０４は、第２のオブジェクトが検出されるまで動画像に含まれるフレーム画像をバッファリングするよう符号化部１０１３を制御する。

ここで、中間領域を設定すべきフレーム画像の決定は、第２のオブジェクトが検出され第２の注目領域が設定された以降になるため、第１の注目領域の設定が解除されてから第２の注目領域が設定されるまでの各フレーム画像に後から中間領域を設定できるよう、符号化部１０１３はこれらフレーム画像のバッファリングを行う。

なお、第１の注目領域の設定を解除してから第２の注目領域を設定するまでの期間が長くなるとバッファリングに必要な容量が増大する。そこで、第２の注目領域を設定するまで第１の注目領域の設定を解除せず、第２の注目領域を設定した同一フレーム画像上で第１の注目領域の設定を解除してもよい。また、第２の注目領域を設定するまでの期間の長さに応じて、これらを適応的に切り替えてもよい。

なお、第２の注目領域を設定するまでに第１の注目領域が第１のオブジェクトの追従に失敗した場合は、それまでの第１のオブジェクトの動きから第１オブジェクトの動きを推定し、これに第１の注目領域を追従させておく。このとき、第１のオブジェクトの動きの推定精度が良くないと第２のオブジェクトを検出し、第２の注目領域を設定できるようになった時点で直ちに切り替えると違和感を生じることがある。そこで、第２のオブジェクトを検出し、第２の注目領域を設定できるようになった時点から一定の期間は中間領域を設定しておき、その後、第２の注目領域の設定を行ってもよい。また、違和感を解消するためでなく、例えば、擬似的なカメラワーク表現による効果を得るために、第２のオブジェクトを検出し、第２の注目領域を設定できるようになった時点から一定の期間は中間領域を設定しておき、その後、第２の注目領域の設定を行ってもよい。

オブジェクト抽出部１０１０は、第２のオブジェクトを検出すると制御部１０４に通知する。通知を受けた制御部１０４は、第２のオブジェクト全体を包含するように注目領域設定部１０１１を制御する。注目領域設定部１０１１は、第２のオブジェクト全体を包含するように第２の注目領域を動画像に含まれるフレーム画像に設定するとともに、第２のオブジェクトの動きに注目領域を追従させる。また、フレーム画像上における第２の注目領域の位置情報などを符号化部１０１３に出力する。符号化部１０１３は、受け取った第２の注目領域の位置情報などを参照し、第２の注目領域符号化データを生成する。

また、制御部１０４は、オブジェクト抽出部１０１０から第２のオブジェクトを検出した旨の通知を受けると、中間領域を設定するように中間領域設定部１０１２を制御する。中間領域設定部１０１２は、バッファリングされたフレーム画像に中間領域を設定する。また、フレーム画像上における中間領域の位置情報などを符号化部１０１３に出力する。符号化部１０１３は、受け取った中間領域の位置情報などを参照し、中間領域符号化データを生成する。

符号化部１０１３は、第１の注目領域符号化データ、第２の注目領域符号化データおよび中間領域符号化データから注目領域符号化ストリームを生成する。インデックス情報生成部１０１４は、注目領域符号化ストリーム内での各符号化ストリームの位置情報から符号化データ位置情報を生成する。また、設定を解除されたフレーム画像上の第１の注目領域の位置情報などから注目領域情報を生成する。また、フレーム画像上の中間領域の位置情報などから中間領域情報を生成する。これらをまとめてインデックス情報生成部１０１４は、インデックス情報を生成し、符号化部１０１３は、注目領域符号化ストリームにインデックス情報を重畳する。

なお、ユーザが注目領域の切り替え頻度、切り替えタイミングなどの記録条件を制御部１０４に指示し、その記録条件に基づき、制御部１０４が注目領域の切り替えを自動的に行ってもよい。また、記録条件の達成状況（例えば、第１の注目領域符号化ストリームは記録条件どおり生成できたが、第２の注目領域符号化ストリームは記録条件どおり達成できなかったなど）をアイコンや音声案内でユーザに通知してもよい。

次に撮像装置１の注目領域符号化ストリームの再生動作を図１、３に基づいて説明する。

ユーザは、入力部１０３により注目領域符号化ストリームの再生を制御部１０４に指示する。インデックス情報抽出部１０２１は、注目領域符号化ストリームからインデックス情報を抽出し、制御部１０４に出力する。制御部１０４は、受け取ったインデックス情報から符号化データ位置情報を抽出し、復号部１０２０に出力する。復号部１０２０は、符号化データ位置情報を参照して、第１の注目領域符号化データ、第２の注目領域符号化データおよび中間領域符号化データを抽出し、それぞれ復号して出力部１０２２に出力する。制御部１０４はインデックス情報から抽出した注目領域情報を参照し、注目領域を切り替えるべきタイミングまで第１の注目領域動画像の出力するよう出力部１０２２を制御する。注目領域を切り替えるべきタイミングになると、インデックス情報から抽出した中間領域情報を参照し、シーンに基づいて中間領域画像を出力するよう出力部１０２２を制御する。シーンの終了となる中間領域画像を出力すると、制御部１０４は、第２の注目領域動画像を出力するように出力部１０２２を制御する。

なお、制御部１０４は、注目領域を切り替えるべきタイミングで、アイコン、文字情報、音声案内等などによりユーザに注目領域が切り替わる旨の通知を行ってもよい。

次に撮像装置１の注目領域符号化ストリームの編集動作を図１−３に基づいて説明する。

ここでは、記録時は全体領域符号化ストリームが記録され、ユーザがその全体領域符号化ストリームを視聴しながら注目領域符号化ストリームを生成するものとして編集動作の説明を行う。

ユーザは、入力部１０３により全体領域符号化ストリームの再生を制御部１０４に指示する。制御部１０４は、復号部１０２０を制御して全体領域符号化ストリームを復号し、出力部１０２２を制御して復号した全体領域動画像を表示部４０に出力する。ユーザは、表示部４０に表示される全体領域動画像を視聴しながら、注目すべき第１のオブジェクトを制御部１０４に指示する。制御部１０４は、全体領域動画像を記録部１０１にも出力するよう出力部１０２２を制御する。そして、第１のオブジェクトを検出するようオブジェクト抽出部１０１０を制御する。オブジェクト抽出部１０１０は、第１のオブジェクトを検出すると制御部１０４に通知する。通知を受けた制御部１０４は、第１のオブジェクト全体を包含するように注目領域設定部１０１１を制御する。注目領域設定部１０１１は、第１のオブジェクト全体を包含するように第１の注目領域を動画像に含まれるフレーム画像に設定するとともに、第１のオブジェクトの動きに第１の注目領域を追従させる。また、フレーム画像上における第１の注目領域の位置情報などを符号化部１０１３に出力する。符号化部１０１３は、受け取った第１の注目領域の位置情報などを参照し、第１の注目領域符号化データを生成する。

ユーザは、表示部４０に表示される全体領域動画像を見ながら、注目すべきオブジェクトを第２のオブジェクトに切り替えるため、制御部１０４に指示をする。制御部１０４は、第２のオブジェクトを検出するようにオブジェクト抽出部１０１０を制御する。さらに、制御部１０４は、第２のオブジェクトが検出されるまで、動画像に含まれるフレーム画像をバッファリングするよう符号化部１０１３を制御する。オブジェクト抽出部１０１０は、第２のオブジェクトを検出すると制御部１０４に通知する。通知を受けた制御部１０４は、第２のオブジェクト全体を包含するように注目領域設定部１０１１を制御する。注目領域設定部１０１１は、第２のオブジェクト全体を包含するよう、第２の注目領域を動画像に含まれるフレーム画像に設定するとともに、第２のオブジェクトの動きに第２の注目領域を追従させる。また、フレーム画像上における第２の注目領域の位置情報などを符号化部１０１３に出力する。符号化部１０１３は、受け取った第２の注目領域の位置情報などを参照し、第２の注目領域符号化データを生成する。

また、制御部１０４は、オブジェクト抽出部１０１０から第２のオブジェクトを検出した旨の通知を受けると、中間領域を設定するように中間領域設定部１０１２を制御する。中間領域設定部１０１２は、バッファリングされたフレーム画像に中間領域を設定する。また、フレーム画像上における中間領域の位置情報などを符号化部１０１３に出力する。符号化部１０１３は、受け取った中間領域の位置情報などを参照し、中間領域符号化データを生成する。

符号化部１０１３は、第１の注目領域符号化データ、第２の注目領域符号化データおよび中間領域符号化データから注目領域符号化ストリームを生成する。インデックス情報生成部１０１４は、注目領域符号化ストリーム内での各符号化ストリームの位置情報から符号化データ位置情報を生成する。また、設定を解除されたフレーム画像上の第１の注目領域の位置情報などから注目領域情報を生成する。また、フレーム画像上の中間領域の位置情報などから中間領域情報を生成する。インデックス情報生成部１０１４は、これらをまとめてインデックス情報を生成し、符号化部１０１３は、注目領域符号化ストリームにインデックス情報を重畳する。

なお、表示部４０に表示される全体領域動画像に注目領域のオブジェクト追従状況をアイコンや文字情報で重畳したり、全体領域動画像上の座標位置に対応させ、注目領域と、一連の中間領域画像を重畳して表示させることでシーンに基づく表示状況を確認できるようにしてもよいし、この映像自体を編集後の記録としてもよい。また、注目領域のオブジェクト映像へのアイコン、文字情報などの表示追加、音声注釈のデータ追加に加えて、中間領域画像による切り替え映像に、切り替え映像のアイコン、文字情報、音声注釈のデータ追加による切り替え情報（切り替え元と切り替え先）などの注目、中間領域に基づく補助情報を付与して視聴するようにしてもよいし、さらに付与する補助情報利用のインデックス情報への追加と、補助情報となる映像音声データを注目領域符号化ストリームに重畳して記録してもよい。

また、以上の説明では、注目領域符号化ストリームの生成およびインデックス情報付与に関連する処理は、注目領域、中間領域の設定及びその領域画像への処理が行われる前の動画像を対象としているが、撮影時記録の時点で、注目領域、中間領域が設定されている、もしくは注目領域、中間領域の画像を選択的に残した動画像を対象としてよい。つまり、撮影記録からの編集や、編集後の再編集であって、これまでの説明は適用可能である。

次に本発明の変形例について説明する。本発明の変形例も注目領域の動画像を記録、再生する撮像装置に関する。本発明の変形例も図１−３に示された撮像装置１と同様のタイプのため、同じ構成の部分については説明を省略する。

本発明の変形例は、図１において図示しない全体領域動画像の音声（以下、全体領域音声とも言う）を集音する無指向性マイクと注目領域動画像の音声（以下、注目領域音声とも言う）を集音する指向性マイクを備える。

符号化部１０１３は、全体領域音声を全体領域動画像に関連づけ、ＡＡＣなどの所定の規格に準拠し圧縮符号化して、全体領域音声符号化データを生成する。また、注目領域音声を注目領域動画像に関連づけ、所定の規格に準拠し圧縮符号化して、注目領域音声符号化データを生成する。そしてこれら音声符号化データを対応する符号化ストリームに重畳し、記録媒体３０に出力する。

復号部１０２０は、全体領域符号化ストリームから全体領域音声符号化データを抽出し、全体領域音声を復号する。また、注目領域符号化ストリームから注目領域音声符号化データを抽出し、注目領域音声を復号する。さらに、復号部１０２０は、全体領域音声に第１の重み係数を乗じ、注目領域音声に第２の重み係数を乗じてこれらを加算し、注目領域動画像と同期して再生するための音声（以下、再生注目領域音声とも言う）を生成する。また、切り替え元である第１の注目領域の中心点と切り替え先である第２の注目領域の中心点との空間的な距離に応じて、第１の重み係数と第２の重み係数を調整して乗じることで、中間領域画像と同期して再生するための音声（以下、再生中間領域音声）を生成する。これにより、注目領域を切り替える場合に、音声の滑らかな切り替えが実現できる。

このような本発明の実施の形態によれば、以下の通りの作用効果を享受することができる。

（１）注目領域設定部１０１１は、第１の注目領域と第２の注目領域を設定し、中間領域設定部１０１２は、動画像に含まれるフレーム画像上において、第１の注目領域と第２の注目領域との空間的、時間的な中間の領域内に、中間領域を設定し、符号化部１０１３は、第１の注目領域符号化データと第２の注目領域符号化データと中間領域符号化データを含めて符号化ストリームを生成し、復号部１０２０は、符号化ストリームから第１の注目領域動画像、第２の注目領域動画像および中間領域画像を復号し、出力部１０２２は、第１の注目領域から第２の注目領域に切り替える場合、中間領域画像を表示部４０に出力した後、第２の注目領域動画像を表示部４０に出力する。このため、第１の注目領域動画像から第２の注目領域動画像に切り替える場合、第２の注目領域動画像よりも、空間的、時間的に第１の注目領域動画像と近い中間領域画像を表示することができるので、滑らかな切り替えを実現できる。

（２）オブジェクト抽出部１０１０は、動画像に含まれるオブジェクトを検出し、注目領域設定部１０１１は、そのオブジェクト全体を包含するように設定した注目領域を、そのオブジェクトに追従させ、符号化部１０１３は、その注目領域内の動画像を符号化して記録する。このため、注目しているオブジェクトのみを記録することが可能となり、ユーザの利便性が向上する。

（３）注目領域設定部１０１１は、第１のオブジェクトに第１の注目領域を追従させているときに、第１のオブジェクトが第１の注目領域から外れた場合、第１に注目領域から第２の注目領域に切り替える。このため、オブジェクトの追従に失敗した後、オブジェクトの追従を再開した場合でも滑らかな切り替えを実現できる。

（４）注目領域設定部１０１１は、第１のオブジェクトに第１の注目領域を追従させているときに、第１のオブジェクトの移動量がしきい値より大きくなった場合、第１に注目領域から第２の注目領域に切り替える。このため、オブジェクトの移動量の変動が激しい場合であっても、滑らかな切り替えを実現できる。

以上、本発明を実施するための最良の形態について説明をしてきたが、本発明は、この実施の形態の構成に限定されるものではなく、特許請求の範囲に規定された本発明の適用範囲にあり、上述した実施の形態の構成が備える機能を達成可能であれば、いろいろな変形が可能である。

例えば、本発明の実施の形態において複数のオブジェクトをひとつの注目領域で追従させ、同時刻ではひとつの注目領域のみを主たる符号化対象としたが、複数のオブジェクトを複数の注目領域で追従させ、同時刻に複数の注目領域を主たる符号化対象としてもよい。このような変形例によれば、複数の注目領域間で双方向に切り替える編集や再生が可能となり、ユーザの利便性が向上する。

また、本発明の実施の形態においてユーザが注目領域の切り替え頻度などの記録条件を制御部１０４に指示し、その記録条件に基づき、制御部１０４が注目領域の切り替えを自動的に行うとしたが、撮影時にオブジェクトの追尾状況を統計処理し、その結果に基づき、優先度を変更するなどして注目領域の切り替えを行ってもよい。このような変形例によれば、追尾できているオブジェクトが多い場合は追尾判定の難易度を上げ、追尾できているオブジェクトが少ない場合は追尾判定の難易度を下げることでオブジェクト追尾状況に適した注目領域の切り替えを実現することができ、オブジェクトの追尾に失敗したときの違和感をより少なくすることができる。さらに、撮影後の編集時にオブジェクトの追尾状況の統計処理し、その結果を表示するようにしてもよい。例えば、統計処理結果として対象オブジェクトの追尾に失敗した回数や対象オブジェクトの実検出の映像時間など表示すれば、編集作業におけるユーザの利便性が向上する。

また、本発明の実施の形態においてインデックス情報は、注目領域および中間領域のフレーム画像上の位置情報などを含むとしたが、注目領域および中間領域の大きさや形状に関する情報を含んでもよい。このような変形例によれば、注目領域および中間領域を表示する際の大きさや形状をインデックス情報で指定することができるので、ユーザが意図する視聴効果を容易に実現できる。さらに、このフレーム画像上の位置情報に基づき、注目領域あるいは中間領域の切り替えを行ってもよい。例えば、フレーム画像上におけるふたつの注目領域の位置関係が最も接近した時点で、これら注目領域を切り替えると、中間領域内の画像が利用できない場合であっても注目領域の滑らかな切り替えを実現できる。

本発明の実施の形態における撮像装置１の構成を示す概念図 記録部１０１の構成を示す概念図 再生部１０２の構成を示す概念図 注目領域を切り替えた場合に設定される中間領域の例を示す図 複数の中間領域が設定される例を示す図 オブジェクトの追従に失敗した場合に設定される中間領域の例を示す図 オブジェクトが大きく動く場合に設定される中間領域の例を示す図 複数のオブジェクトに対して、それぞれ注目領域を設定し直した場合に設定される中間領域の例を示す図 符号化データ位置情報のテーブル構造 注目領域情報のテーブル構造 中間領域情報のテーブル構造

符号の説明

１０ 画像処理部
２０ 撮像部
３０ 記録媒体
４０ 表示部
１０１ 記録部
１０２ 再生部
１０３ 入力部
１０４ 制御部
１０１０ オブジェクト抽出部
１０１１ 注目領域設定部
１０１２ 中間領域設定部
１０１３ 符号化部
１０１４ インデックス情報生成部
１０２０ 復号部
１０２１ インデックス情報抽出部
１０２２ 出力部

Claims (4)

1. 画像上に注目領域を設定する設定部と、
   前記注目領域内の画像を符号化して符号化ストリームを生成する符号部と、
   前記符号化ストリームを復号する復号部と、
   前記復号部において復号された画像を出力する出力部とを備え、
   前記設定部は、第１の注目領域と第２の注目領域を設定するとともに、前記画像上において、前記第１の注目領域と前記第２の注目領域との空間的、時間的な中間の領域内に、中間領域を設定し、
   前記符号部は、前記第１の注目領域内の画像を符号化した第１の符号化データと、前記第２の注目領域内の画像を符号化した第２の符号化データと、前記中間領域内の画像を符号化した第３の符号化データとを含めて符号化ストリームを生成し、
   前記出力部は、出力すべき画像を前記第１の符号化データを復号して生成した第１の画像から前記第２の符号化データを復号して生成した第２の画像に変更する場合、前記第３の符号化データを復号して生成した第３の画像を出力してから、前記第２の画像を出力することを特徴とする画像処理装置。
2. 前記画像に含まれる特定のオブジェクトを検出する検出部をさらに備え、
   前記設定部は、前記検出部で検出した特定のオブジェクトの動きに、前記注目領域を追従させることを特徴とする請求項１に記載の画像処理装置。
3. 前記設定部は、前記検出部で検出した特定のオブジェクトの動きに前記第１の注目領域を追従させており、かつ、前記特定のオブジェクトが前記第１の注目領域内から外れた場合に、
   前記制御部は、前記符号化の対象とすべき注目領域を、前記第１の注目領域から前記第２の注目領域に切り替えることを特徴とする請求項２に記載の画像処理装置。
4. 前記設定部は、前記検出部で検出した特定のオブジェクトの動きに前記第１の注目領域を追従させており、かつ、前記第１のオブジェクトの動き量があらかじめ規定したしきい値より大きくなった場合に、
   前記制御部は、前記符号化の対象とすべき注目領域を、前記第１の注目領域から前記第２の注目領域に切り替えることを特徴とする請求項２に記載の画像処理装置。
   
   

Images