JP2015106271A - 方法、画像処理装置およびプログラム - Google Patents

Abstract

【課題】動画において、所定のシーン内の同一物体を正確に推定すること。
【解決手段】実施形態の方法は、動画の所定のシーンを構成するフレーム画像に含まれる領域ごとの動き情報に基づいて、フレーム画像間における領域の動きの履歴を求め、動きが類似する複数の領域を、同一物体を構成する複数の領域を示す物体領域として特定することを含む。
【選択図】図１

Description

本発明の実施形態は、方法、画像処理装置およびプログラムに関する。

動画の高画質化技術として、動画の一つのシーン内で注目度の高い物体を特定し、その注目領域と当該注目領域以外の領域で異なる画像処理を行うことにより、動画の画像内に強弱を施すという技術が従来から知られている。画像が静止画の場合には、画像内の顔検出結果や画像中心からの距離などから、画像内の注目領域を特定することができる。

特開２００６−９９４０４号公報

しかしながら、画像が動画の場合には、注目領域を特定するための対象フレームと前後のフレームとの整合性を考慮する必要がある。また、動画内の被写体は移動する可能性があり、同一物体のシーン内の動きも考慮する必要がある。

実施形態の方法は、動画の所定のシーンを構成するフレーム画像に含まれる領域ごとの動き情報に基づいて、フレーム画像間における領域の動きの履歴を求め、動きが類似する複数の領域を、同一物体を構成する複数の領域を示す物体領域として特定することを含む。

図１は、本実施形態にかかる画像処理装置の機能的構成の一例を示すブロック図である。 図２は、本実施形態の注目度算出部の詳細構成の一例を示すブロック図である。 図３は、本実施形態の画像処理について説明するための図である。 図４は、本実施形態における領域を統合する状態を示す図である。 図５は、本実施形態の高画質化処理の一例を示す図である。 図６は、本実施形態の高画質化処理の一例を示す図である。 図７は、本実施形態の画像処理の手順の一例を示すフローチャートである。

以下、添付図面を参照して本実施形態について説明する。本実施形態の画像処理装置は、ハードディスクドライブ装置（ＨＤＤ）やＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、Ｂｌｕ−ｒａｙ（登録商標）ディスク等の記憶媒体に記憶された動画データをデコードして再生する再生装置に適用されるが、これに限定されるものではない。

本実施形態の画像処理装置１００は、図１に示すように、デコーダ１と、画像取得部１０と、動き情報取得部１１と、動き履歴推定部１２と、同一物体特定部１３と、注目度算出部２１と、高画質化処理部２２とを主に備えている。

デコーダ１は、ＨＤＤやＤＶＤ等の記憶媒体から、入力画像としての符号化された動画データを入力し、動画データを復号化する。このとき、デコーダ１は、動画データを復号化するとともに、動き情報としての動きベクトルを生成する。ここで、デコーダ１は、動きベクトルを、動画データを構成するフレームの中の所定の領域ごとに生成する。所定の領域は、符号化方式がＨ．２６４の場合にはマクロブロックであり、符号化方式がＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）／Ｈ．２６５の場合にはＰＵであるが、これらに限定されるものではない。

画像取得部１０は、デコーダ１から、復号化された動画データの対象のシーンの動画を構成するフレーム画像を取得する。ここで、シーンとは、動画データ内の連続した場面をいい、例えば、カメラの録画ボタンを押してから停止するまでの間の動画等が該当するが、これに限定されるものではない。

図３の（ａ）〜（ｄ）は画像処理の中の各処理の段階における動画データの対象シーンを構成するフレーム画像を示している。ここで、図３の（ａ）〜（ｄ）のそれぞれにおいて、時間ｔ＝０のフレーム画像、ｔ＝ｎのフレーム画像、ｔ＝ｎ＋αのフレーム画像のように、上から下へ時系列にフレーム画像を並べて示している。画像取得部１０は、図３（ａ）に示すようなフレーム画像を取得する。

動き情報取得部１１は、デコーダ１から、フレーム画像の領域ごとの動きベクトルを取得する。ここで、図３（ｂ）において、各領域における矢印が動きベクトルを示している。図３（ｂ）において、点線で囲まれる矩形の範囲が所定の領域を示している。なお、説明の都合上、図３では、一部の領域の動きベクトルを省略して示している。

動き履歴推定部１２は、動画データ中の対象シーンの動画を構成するフレーム画像に含まれる領域ごとの動きベクトルに基づいて、フレーム画像間における領域の動きの履歴を求める。より具体的には、動き履歴推定部１２は、一シーン内の動画のフレーム画像の動きベクトルを辿ることで、そのシーン中に領域がどのような動きをしたかという動きの履歴を推定する。例えば、図３（ｂ）の自動車を含む領域は、動きベクトルの動き量に差はあるが、常に画面左から右へ動いていることがわかる。

同一物体特定部１３は、動き履歴推定部１２で推定された動きの履歴を参照して、動きが類似した互いに隣接する複数の領域を、同一物体を構成する複数の領域を示す物体領域として統合することにより、同一物体を特定する。ここで、動きが類似するとは、例えば、動きベクトルの向きが同一である場合等が該当するがこれに限定されるものではない。

図３（ｃ）は、同一物体の領域を統合して物体領域とした状態を示している。図３（ｃ）において、点線で囲まれた領域が同一物体の物体領域を示している。図３（ｃ）の例では、人物の物体領域と自動車の物体領域とが特定されている。図４は、人物と自動車のそれぞれにおいて領域を統合する状態を示している。

注目度算出部２１は、同一物体特定部１３によって特定された物体領域に対して、物体領域のサイズ、フレーム画像の中心からの距離、物体の動き量に基づいて、シーン内での注目度合いを示す注目度を算出しする。

注目度算出部２１は、図２に示すように、領域サイズ算出部２０１と、中心距離算出部２０２と、動き量算出部２０３と、総合注目度算出部２０４とを備えている。

領域サイズ算出部２０１は、フレーム画像の中で特定された物体領域のサイズをフレーム画像ごとに算出する。領域サイズ算出部２０１は、物体領域を構成する画素の画素数をサイズとして算出する。

中心距離算出部２０２は、フレーム画像、すなわち画面の中心位置からの物体領域までの距離（中心距離）をフレーム画像ごとに算出する。中心距離算出部２０２は、物体領域の重心と画面中心とのユークリッド距離を算出する。

動き量算出部２０３は、フレーム画像の中に存在する物体領域の動き量を、動きベクトルを用いて、フレーム画像ごとに算出する。動き量算出部２０３は、例えば、物体領域に含まれるマクロブロックの動きベクトルの平均値を動き量として算出する。

総合注目度算出部２０４は、対象シーン内での各物体領域の注目度を、中心距離、領域サイズ、動き量に基づいて算出する。視聴者は大きい物に目がいきやすいため、物体領域のサイズが大きいほど注目度が高いと考えられる。また、一般的に、視聴者は画面中心を見ていることが多いため、画面中心との距離が短いほど注目度が高いと考えられる。さらに、一般的に、視聴者は素早く動く物体に目がいく性質があるため、動き量が多いほど注目度が高いと考えられる。

このため、総合注目度算出部２０４は、領域サイズ算出部２０１で算出されたフレーム画像における物体領域のサイズが大きい程、注目度を高い値とし、中心距離が短い程注目度を高い値とし、動き量が大きい程注目度を高い値として算出する。

より具体的には、総合注目度算出部２０４は、まず、対象シーン内の各フレーム画像内の物体領域の注目度を算出する。各フレーム画像の注目度Ｒは、領域サイズ算出部２０１で算出された物体領域のサイズをＡ、中心距離算出部２０２で算出された中心距離をＢ、動き量算出部２０３で算出された動き量をＣとすると、重み係数β、γ、δを用いた重み付け加算で次の（１）式で算出される。
Ｒ ＝ βＡ＋γＢ＋δＣ ・・・（１）
そして、総合注目度算出部２０４は、対象シーン内での各フレーム画像の注目度の合計値を算出し、そのシーン内での総合注目度とする。

図３（ｃ）の例では、ｔ＝０のフレーム画像では、自動車よりも人物の方が画面中心の近くにあり、このフレーム画像のみであれば、人物の方が自動車よりも注目度が高くなる。しかしながら、その後のｔ＝ｎ、ｔ＝ｎ＋αのフレーム画像では、自動車の物体領域の方が人物の物体領域より画面中心に近くなり、かつ領域サイズも大きいため、総合注目度算出部２０４は、シーン全体では、自動車の注目度を人物の注目度より高くなるように算出する。図３（ｄ）では、注目度が高い自動車の物体領域にハッチングを付与して示している。

高画質化処理部２２は、注目度算出部２１で算出された注目度に基づいて物体領域に対して高画質化処理を行う。ここで、高画質化処理部２２は、画像処理部の一例である。本実施形態では、高画質化処理部２２は、注目度が高い物体領域ほど高画質化の処理等、注目度に応じて異なる高画質化処理を行う。

例えば、高画質化処理部２２は、図５に示すように、注目度の高い物体領域（図５の例では、自動車）のコントラストを高め、より臨場感を増加させることができる。また、例えば、高画質化処理部２２は、図６に示すように、動きが大きい物体の場合は（図６の例では、自動車）、当該物体の物体領域には先鋭度を高くする処理は行わず、あえて動き方向にぼかすような画像処理を行う。これにより、スピード感を増加させ、臨場感が高めることができる。なお、高画質化処理としては、これらに限定されるものではない。

次に、以上のように構成された本実施形態にかかる画像処理装置１００による画像処理について図７を用いて説明する。

まず、画像取得部１０がデコーダ１から動画データ中の対象シーンのフレーム画像を取得する（ステップＳ１１）。そして、動き情報取得部１１がデコーダ１から動画データ中の対象シーンの動きベクトルを領域ごとに取得する（ステップＳ１２）。

次に、動き履歴推定部１２は、領域ごとの動きベクトルから領域の動きの履歴を推定する（ステップＳ１３）。次に、同一物体特定部１３は、動きの履歴から、類似する動きの隣接する領域を同一物体であると特定し、当該領域を統合して物体領域とする（ステップＳ１４）。

次に、注目度算出部２１は、シーン中における物体領域の注目度を上述のように算出する（ステップＳ１５）。そして、高画質化処理部２２は、シーン中の物体の画像に対して、注目度に応じて異なる高画質化処理を行う（ステップＳ１６）。

このように本実施形態では、動画の所定のシーンを構成するフレーム画像に対して、デコーダ１による復号化処理で求められた領域ごとの動きベクトルに基づいて、フレーム画像間における領域の動きの履歴を求め、動きが類似する複数の領域を、同一物体を構成する複数の領域を示す物体領域として特定している。このため、本実施形態によれば、動画において、所定のシーン内の同一物体を正確に推定することができる。

また、本実施形態では、さらに、物体領域に対して、シーンにおける注目度を算出し、注目度に基づいて物体領域に対して高画質化の画像処理を行っている。このため、本実施形態によれば、動き推定処理が不要となり、動画においても、少ない処理量で注目領域を特定して、適切な画像処理を行うことができる。

なお、本実施形態では、シーン内の総合注目度として１つの値を算出し、同一物体の物体領域には各フレーム画像で同程度の高画質化処理を行っているが、これに限定されるものではない。例えば、各フレーム画像の注目度に応じて高画質化処理を変動させるように高画質化処理部２２を構成してもよい。例えば、図３に示す例の自動車の物体領域に対して、ｔ＝ｎのときが最も注目度が高いため高画質になるように設定し、ｔ＝０，ｔ＝ｎ＋αのときには高画質化の程度を低く設定することで、シーン内にメリハリをつけることが可能である。

また、本実施形態では、動き情報として、デコーダ１で求められた動きベクトルを用いていたが、これに限定されるものではない。デコーダ１における復号化処理で求められる動きに関する情報であれば、適宜用いることが可能である。

また、本実施形態では、画像処理として高画質化処理をあげているが、これに限定されるものではなく、注目度に応じた画像処理であればいずれも適用することができる。

さらに本実施形態では、記憶媒体に保存された動画データを再生する際の画像処理に適用しているが、これに限定されるものではなく、リアルタイムに取得する動画データに対しても適用することが可能である。

本実施形態の画像処理装置１００は、ＣＰＵなどの制御装置と、ＲＯＭ（Read Only Memory）やＲＡＭなどの記憶装置と、ＨＤＤ、ＣＤドライブ装置などの外部記憶装置と、ディスプレイ装置などの表示装置と、キーボードやマウスなどの入力装置を備えている。

本実施形態の画像処理装置１００で実行される画像処理プログラムは、ＲＯＭ等に予め組み込まれてコンピュータプログラムプロダクトとして提供される。

本実施形態の画像処理装置１００で実行される画像処理プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録してコンピュータプログラムプロダクトとして提供するように構成してもよい。

さらに、本実施形態の画像処理装置１００で実行される画像処理プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることによりコンピュータプログラムプロダクトとして提供するように構成しても良い。また、本実施形態の画像処理装置１００で実行される画像処理プログラムをコンピュータプログラムプロダクトとしてインターネット等のネットワーク経由で提供または配布するように構成しても良い。

本実施形態の画像処理装置１００で実行される画像処理プログラムは、上述した各部（画像取得部１０と、動き情報取得部１１と、動き履歴推定部１２と、同一物体特定部１３と、注目度算出部２１と、高画質化処理部２２）を含むモジュール構成となっており、ＣＰＵが上記ＲＯＭから画像処理プログラムを読み出して実行することにより上記各部がＲＡＭ上にロードされ、画像取得部１０と、動き情報取得部１１と、動き履歴推定部１２と、同一物体特定部１３と、注目度算出部２１と、高画質化処理部２２がＲＡＭ上に生成されるようになっている。

さらに、ここに記述されたシステムの種々のモジュールは、ソフトウェア・アプリケーション、ハードウェアおよび／またはソフトウェア・モジュール、あるいはサーバのような1台以上のコンピュータ上のコンポーネントとしてインプリメントすることができる。種々のモジュールは、別々に説明されているが、それらは同じ根本的なロジックかコードのうちのいくつかあるいはすべてを共有してもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ デコーダ
１０ 画像取得部
１１ 動き情報取得部
１２ 動き履歴推定部
１３ 同一物体特定部
２１ 注目度算出部
２２ 高画質化処理部
１００ 画像処理装置
２０１ 領域サイズ算出部
２０２ 中心距離算出部
２０３ 動き量算出部
２０４ 総合注目度算出部

Claims (15)

1. 動画の所定のシーンを構成するフレーム画像に含まれる領域ごとの動き情報に基づいて、フレーム画像間における前記領域の動きの履歴を求め、
   前記動きが類似する複数の領域を、同一物体を構成する複数の領域を示す物体領域として特定する、
   ことを含む方法。
2. 前記フレーム画像の中心位置からの前記物体領域までの距離が短い程、前記物体領域に対して、前記シーンにおける注目度合いを示す注目度を高い値で算出する、
   請求項１に記載の方法。
3. 前記フレーム画像における前記物体領域のサイズが大きい程、前記物体領域に対して、前記シーンにおける注目度合いを示す注目度を高い値で算出する、
   請求項１に記載の方法。
4. 前記物体領域の動き量が大きい程、前記物体領域に対して、前記シーンにおける注目度合いを示す注目度を高い値で算出する、
   請求項１に記載の方法。
5. 前記注目度に基づいて前記物体領域に対して画像処理を行う、
   請求項２〜４のいずれか一つに記載の方法。
6. 動画の所定のシーンを構成するフレーム画像に含まれる領域ごとの動き情報に基づいて、フレーム画像間における前記領域の動きの履歴を求める推定部と、
   前記動きが類似する複数の領域を、同一物体を構成する複数の領域を示す物体領域として特定する特定部と、
   を備えた画像処理装置。
7. 前記フレーム画像の中心位置からの前記物体領域までの距離が短い程、前記物体領域に対して、前記シーンにおける注目度合いを示す注目度を高い値で算出する算出部、
   をさらに備えた請求項６に記載の画像処理装置。
8. 前記フレーム画像における前記物体領域のサイズが大きい程、前記物体領域に対して、前記シーンにおける注目度合いを示す注目度を高い値で算出する算出部、
   をさらに備えた請求項６に記載の画像処理装置。
9. 前記算出部は、前記物体領域の動き量が大きい程、前記物体領域に対して、前記シーンにおける注目度合いを示す注目度を高い値で算出する算出部、
   をさらに備えた請求項６に記載の画像処理装置。
10. 前記注目度に基づいて前記物体領域に対して画像処理を行う画像処理部、
    をさらに備えた請求項７〜９のいずれか一つに記載の画像処理装置。
11. 動画の所定のシーンを構成するフレーム画像に含まれる領域ごとの動き情報に基づいて、フレーム画像間における前記領域の動きの履歴を求め、
    前記動きが類似する複数の領域を、同一物体を構成する複数の領域を示す物体領域として特定する、
    ことをコンピュータに実行させるためのプログラム。
12. 前記フレーム画像の中心位置からの前記物体領域までの距離が短い程、前記物体領域に対して、前記シーンにおける注目度合いを示す注目度を高い値で算出する、
    ことを前記コンピュータに実行させる請求項１１に記載のプログラム。
13. 前記フレーム画像における前記物体領域のサイズが大きい程、前記物体領域に対して、前記シーンにおける注目度合いを示す注目度を高い値で算出する、
    ことを前記コンピュータに実行させる請求項１１に記載のプログラム。
14. 前記物体領域の動き量が大きい程、前記物体領域に対して、前記シーンにおける注目度合いを示す注目度を高い値で算出する、
    ことを前記コンピュータに実行させる請求項１１に記載のプログラム。
15. 前記注目度に基づいて前記物体領域に対して画像処理を行う、
    ことをさらに前記コンピュータに実行させる請求項１２〜１４のいずれか一つに記載のプログラム。