JP2015008461A - ビデオにおいて仮想オブジェクトを挿入する方法及び装置並びにコンピュータ可読媒体 - Google Patents

Abstract

【課題】ビデオにおいて仮想オブジェクトを挿入する方法及び装置について記載する。
【解決手段】方法は、ビデオの画像におけるビューアからの注視割り当てを特性化するサリエンシーマップを利用し、該サリエンシーマップに基づきビデオの画像において仮想オブジェクトを挿入する。方法は、仮想オブジェクトの挿入（１１）後にビデオの画像のサリエンシーマップを生成するステップ（１２）と、挿入された仮想オブジェクトの少なくとも１つの視覚特性を調整することによってサリエンシーマップに基づき仮想オブジェクトの挿入を調整するステップ（１３）とを有する。
【選択図】図１

Description

本発明は、ビデオにおけるビューアからの注視割り当てを特性化するビデオのサリエンシーマップを利用することによってビデオにおいて仮想オブジェクトを挿入する方法及び装置に関する。本発明は更に、ビデオにおいて仮想オブジェクトを挿入するそのような方法及び装置に適したコンピュータ可読媒体に関する。

視覚コンテンツの挿入は、ビデオ解析の新興の応用であり、視聴者のビューイング経験を改善するためにビデオ増補において幅広く適用されている。仮想コンテンツ挿入の１つの実用的な応用は、広告主に巨大なビジネスチャンスを提供するビデオ広告である。例えば、映像共有ウェブサイトであるＹｏｕＴｕｂｅ（登録商標）は、時々、映像の下に商業広告のためのバナーを挿入する。

ビデオにおける仮想コンテンツ挿入のための１つの大きな課題は、その２つの相反するタスクのバランスをとることである。これは、挿入されるコンテンツをビューアによって気付かれるほど十分に目立たせながら、原コンテンツにおけるビューアのビューイング経験に干渉しないことである。仮想コンテンツをビデオストリームに挿入する従来のインストリーム挿入は、ビデオの表示の間、ビューアのビューイングを妨げる。干渉は、ビデオの始まり又は終わりに仮想コンテンツを挿入することによって低減され得るが、挿入されたコンテンツは、場合により、ビューアによってスキップされ回避される。仮想コンテンツをビデオフレーム内に挿入するインビデオ挿入は、より有効な挿入のための他の選択肢である。それはオーバレイ挿入、すなわち、仮想コンテンツが原コンテンツ上に流れ、あるいは、仮想コンテンツがビデオに埋め込まれるインシーン挿入であり得る。いずれの方法も、ビデオフレーム内に適切なタイミング及び位置で仮想コンテンツを挿入する可能性を提供する。

自動的なインビデオ挿入のためのアプローチ及びシステムは、有効な挿入を達成しながら同時にビューアに対する干渉を最小限にするために検討されてきた。１つの有用なツールは、ビデオにおけるビューアからの注視割り当てを予測し解析するビデオのための視覚的注意解析、すなわち、サリエンシー解析（saliency analysis）である。一般的に、サリエンシー解析は、いつどこで仮想コンテンツをビデオにおいて挿入すべきかを決定するよう挿入前に行われる。興味をそそる場面が通常は挿入時点として選択され、最も低い顕著性を有するビデオフレーム内の興味をそそられない領域は、ビューアに対する干渉を低減するために挿入場所として選択される。しかし、これは、ビューアが原コンテンツに集中し、挿入された仮想オブジェクトを無視するという挿入の有効性を低減し得る。加えて、サリエンシー解析は挿入前に遂行されるので、挿入結果は見直されず、挿入の品質は悪いことがある。

従って、本発明は、挿入が十分に顕示的でありながらビューアにとって過度に煩わしくないようにビデオにおいて仮想オブジェクトを挿入する改善された解決法を提案することを目的とする。

本発明の第１の態様に従って、ビデオにおける仮想オブジェクトの挿入方法であって、前記ビデオの画像におけるビューアからの注視割り当てを特性化するサリエンシーマップを利用し、該サリエンシーマップに基づき前記ビデオの前記画像において前記仮想オブジェクトを挿入する方法は、前記仮想オブジェクトの挿入後に前記ビデオの前記画像のサリエンシーマップを生成し、挿入された前記仮想オブジェクトの少なくとも１つの視覚特性を調整することによって前記サリエンシーマップに基づき前記仮想オブジェクトの挿入を調整することを特徴とする。

然るに、ビデオにおいて仮想オブジェクトを挿入するよう構成される装置は、ビデオの画像において仮想オブジェクトを挿入する挿入モジュールと、前記ビデオの前記画像のサリエンシーマップを生成するサリエンシーモジュールであって、前記サリエンシーマップが前記仮想オブジェクトの挿入後に当該サリエンシーモジュールによって生成される、前記サリエンシーモジュールと、挿入された前記仮想オブジェクトの少なくとも１つの視覚特性を調整することによって前記仮想オブジェクトの挿入を調整する調整モジュールとを有する。

また、ビデオの画像におけるビューアからの注視割り当てを特性化するサリエンシーマップを利用し、該サリエンシーマップに基づき前記ビデオの前記画像において仮想オブジェクトを挿入することによって、前記ビデオにおいて前記仮想オブジェクトを挿入する命令を記憶したコンピュータ可読媒体が提供される。コンピュータによって実行される場合に、前記命令は、前記コンピュータに、前記仮想オブジェクトの挿入後に前記ビデオの前記画像のサリエンシーマップを生成させ、挿入された前記仮想オブジェクトの少なくとも１つの視覚特性を調整することによって前記サリエンシーマップに基づき前記仮想オブジェクトの挿入を調整させる。

本発明の実施形態によれば、挿入が十分に顕示的でありながらビューアにとって過度に煩わしくないようにビデオにおいて仮想オブジェクトを挿入する改善された解決法が提供される。

本発明に従ってビデオにおいて仮想オブジェクトを挿入する方法を表すフローチャートである。 本発明に従ってビデオにおいて領域を選択するステップを表すフローチャートである。 本発明に従う仮想オブジェクト挿入方法を実施する装置を表す概略図である。

より良い理解のために、本発明は目下、図面を参照して以下の説明においてより詳細に説明されるべきである。本発明は、この開示される実例となる実施形態に制限されず、特定される特徴は、特許請求の範囲において定義される本発明の適用範囲から逸脱することなしに、便宜上結合及び／又は変更され得ることが理解される。

以下で、本発明は、ビデオにおいて、例えば、ビデオの画像において、ビデオのサリエンシーマップ（saliency map）を利用して、仮想オブジェクトを挿入する方法及び装置に関して、説明されるべきである。サリエンシーマップは、対象のビデオにおける、例えば、ビデオの画像におけるビューアからの注視割り当てを特性化するために使用され、当該分野において知られている如何なる方法又は技術によっても計算され得る。例えば、サリエンシーマップは、Urban, F.等、“Medium Spatial Frequencies, a Strong Predictor of Saliency”、Cognitive Computation 3(1)、37-47（２０１１）において、及びLe Meur, O.等、“Predicting visual fixations on video based on low-level visual features”、Vision Research、Vol.47/19、2483-2498（２００７）において記載されている方法を用いて計算され得る。

図１を参照すると、本発明に従う方法の好適実施形態は、ビデオにおいて領域を選択するステップ１０と、ビデオにおいて、望ましくは、選択された領域において、仮想オブジェクトを挿入するステップ１１と、仮想オブジェクトの挿入後にビデオのサリエンシーマップを生成するステップ１２と、挿入された仮想オブジェクトの少なくとも１つの視覚特性を調整することによってサリエンシーマップに基づき仮想オブジェクトの挿入を調整するステップ１３とを有する。望ましくは、方法は、ビデオのサリエンシーマップを生成するステップと、サリエンシーマップに基づき仮想オブジェクトの挿入を調整するステップとを繰り返すステップ１４を更に有する。例えば、挿入された仮想オブジェクトの視覚特性は、仮想オブジェクトの透明度、輝度又は色であってよく、調整可能であり且つ挿入の視機能にとって影響力が大きい。仮想オブジェクトは、例えば、しばしば商業目的でビデオシーケンスにおいて挿入される２Ｄイメージ又はビデオ広告であってよい。任意に、仮想オブジェクトの挿入は、オーバレイ挿入又はインシーン挿入であってよく、それらのいずれも、当該分野においてよく知られており、幅広く適用されている。オーバレイ挿入は、仮想オブジェクトが対象のビデオの原コンテンツ上に流れる挿入を指し、一方、インシーン挿入に関し、挿入される画像は、ビデオの原コンテンツに埋め込まれる。

本発明に従う方法の利点の１つは、仮想オブジェクトの挿入が調整可能である点である。サリエンシーマップが仮想オブジェクトの挿入後に生成されるので、挿入の効果と、結果として得られるビデオの視機能とは、ユーザによって見直され得る。仮想オブジェクトの挿入は、ビューアにとっての知覚性及び煩わしさに基づき調整可能であり、よって、挿入結果、例えば、仮想オブジェクトのシームレスな挿入、を改善し最適化する。例えば、仮想オブジェクトの透明度及び輝度は、挿入が過度に派手であって且つ押しつけがましい場合に低減され得る。これに反して、挿入は、広告効果又は挿入の目的が達成されるように、適切に目立つよう調整され得る。任意に、挿入の調整は、ユーザの要求に依存して繰り返し行われ得る。

例えば、仮想オブジェクトの挿入１１及びサリエンシーマップの生成１２の後、ビデオの全体的なサリエンシーマップの平均サリエンシー値が、当該技術における何らかの既知の技術を用いて、定義され測定され得る。任意に、ユーザは手動により、ユーザの要求に応じて予め平均サリエンシー値のための閾値Ｔを定義し選択することができる。仮想オブジェクトの挿入のための調整は、例えば、サリエンシーマップの結果として得られる平均サリエンシー値が閾値Ｔによって境界されるように、挿入される仮想オブジェクトの透明度アルファを調整することによって、行われ得る。任意に、調整は、最適な挿入結果を達成するよう繰り返され得る。当然に、閾値Ｔは、調整の間のいずれかの時点に再定義又は再選択され得る。加えて、１よりも多い閾値Ｔ又は他のリファレンス値が、調整を改善するために定義され選択され得る。当然に、挿入される仮想オブジェクトの透明度アルファに加えて、輝度及び色のような、挿入される仮想オブジェクトの他の視覚特性も調整のために調整され得る。１つの優先は、挿入後のサリエンシーマップの結果として得られる平均サリエンシー値が、挿入前の測定される平均サリエンシー値に近いことである。

図２を参照して、好適には、本発明の好適実施形態の、ビデオにおいて領域を選択するステップ１０は、領域の幾何学特性に基づき領域を選択するステップ１０１と、選択された幾何学領域を計算するステップ１０２と、ビデオの予備的なサリエンシーマップを生成するステップ１０３と、被視認性に基づき領域を選択するステップ１０４と、ビデオにおける仮想オブジェクトの挿入（１１）のために候補領域を選択するステップ１０５とを有する。生成ステップ１０３及び選択ステップ１０４は、選択ステップ１０１及び計算ステップ１０２の前、後又はそれらと同時に遂行され得る。つまり、領域の幾何学特性に基づく選択及びビデオの被視認性に基づく選択のためのシーケンスは柔軟である。

ビデオにおける領域の幾何学特性に基づく領域の選択１０１は、ユーザによって手動で、又はプロセッサによって自動で、行われ得る。好適に、選択された領域は、広告バナー、トラックの外側部、建物等のように、四角形の領域である。例えば、ユーザは手動により、Lucas, B. D.及びKanade, T.、“An iterative image registration technique with an application to stereo vision”、International Joint Conference on Artificial Intelligence、674-679（１９８１）において記載されるＫＬＴ Ｔｒａｃｋｅｒのようなトラッカによってビデオ全体においてその後に見つけ出されるビデオの第１のフレームにおける領域の４つの極値点を示すことによって、ビデオにおいて四角形の領域を選択することができる。

領域を選択するための自動的な方法は、例えば、ロバストエッジ検出器を使用することができる。領域は、領域のエッジがビデオにおいて平行四辺形を形成する場合且つ領域の形状がビデオシーケンスに沿って実行される動き推定と一致する場合に検出器によって抽出され選択される。

領域の幾何学特性に基づく領域の選択１０１の後、選択された幾何学領域は、幾何学特性、例えば、ポーズ及びサイズ、並びに測光的特性、例えば、局所的変化及び領域と挿入される仮想オブジェクトとの間の色距離のような様々な特性についてステップ１２で解析される。例えば、選択された領域にわたる強度の変化が計算され、そして、ビデオの画像を構成するパッチに関する平均分散を計算することによって推定されるビデオの画像ノイズと比較される。強度の変化が小さく且つ鏡面性が低い領域が、仮想オブジェクトの挿入のための候補領域であるよう好まれる。これは、シームレスな挿入にとって有益である。

ビデオにおけるビューアからの注視割り当て（gaze allocation）、すなわち、被視認性（conspicuousness）の程度を表す予備的なサリエンシーマップの生成１０３は、上述されたような当該分野において何らかのよく知られている技術によって行われ得る。被視認性に基づく領域の選択１０４は、予備的なサリエンシーマップにより遂行される。好適に、選択された領域は、ビューアにとって視覚的に顕著であるよう十分に高く、しかしながら、良好に自然であって、ビューアにとって過度に派手でも且つ押しつけがましくもないよう十分に低いサリエンシーを有する。代替的に、選択された領域は、ビデオのサリエンシーマップにおける最高又は最低のサリエンシーを有してよい。

ビデオにおける仮想オブジェクトの挿入１１のために候補領域を選択するステップ１０５は、例えば、投票方法（voting method）によって、行われ得る。例えば、投票方法は、ステップ１０１及び１０２において計算される領域の幾何学特性及び測光的特性と、上述されたような予備的なサリエンシーマップに基づく領域の被視認性とを含む様々な基準の線形重み付け平衡であってよい。当然に、領域の如何なる他の特性も投票方法において考慮され得る。基準の夫々１つは、テストデータベースにおいて学習されるか又はユーザによって手動で合わせられるかのいずれかである何らかのパラメータによって重み付けされる。夫々の領域は、このようにして、候補領域を区別するために使用され得るスコアを与えられる。つまり、候補領域は、様々な状況のための異なる基準及び異なるユーザの要求に応じて選択され得る。例えば、候補領域は、最も低い画像ノイズ及び最も低い鏡面性を有する領域であってよく、該領域は、挿入される仮想オブジェクトの色と比較される色に関して最も適当であり、該領域は、予備的なサリエンシーマップにおける最高又は最低のサリエンシーを有し、あるいは、該領域は、ビデオの画像中心に最も近い。

好適に、選択された候補領域は、投票方法によって決定される最適な領域である。

任意に、本発明に従う、ビデオにおいて仮想オブジェクトを挿入する方法は、ビデオを一連の場面に分解するステップを更に有し、場面の夫々は、例えば、ビデオの１以上の画面を含む。分解ステップは、図１及び２において示される方法のいずれの段階でも遂行され得る。ビデオの分解によれば、本発明の方法の各ステップは、ビデオシーケンス全体について、又はビデオの場面の一部についてのみ、行われ得る。挿入プロシージャは従って簡略化され、その時間消費は削減される。

図３は、本発明に従ってビデオにおいて仮想オブジェクトを挿入する方法を実行するよう構成される装置２０のための好適実施形態を概略的に表す。装置２０は、仮想オブジェクトの挿入のためにビデオにおいて領域を選択する選択モジュール２１と、ビデオにおいて仮想オブジェクトを挿入する挿入モジュール２２と、ビデオのサリエンシーマップを生成するサリエンシーモジュール２３と、挿入された仮想オブジェクトの少なくとも１つの視覚特性を調整することによって仮想オブジェクトの挿入を調整する調整モジュール２４とを有する。サリエンシーモジュール２３は、仮想オブジェクトの挿入後のサリエンシーマップ、及び仮想オブジェクトの挿入前の、ビデオにおいて領域を選択するために使用される予備的なサリエンシーマップの両方を生成するために使用され得る。任意に、装置２０は、ビデオを一連の場面に分解する分解モジュール２５を更に有する。ビデオの分解は、上述されたようにプロシージャのいずれの段階でも行われ得る。実際には、装置２０は、本発明の方法が様々な装置において実行され得るように、ＳＴＢ、サーバ、ブロードキャストヘッドエンド、等であってよい。当然に、装置２０の様々なモジュールは同様に、部分的に、完全に単一のモジュールにまとめられても、又はプロセッサで実行されるソフトウェアとして実施されてもよい。

２０ 装置
２１ 選択モジュール
２２ 挿入モジュール
２３ サリエンシーモジュール
２４ 挿入モジュール
２５ 分解モジュール

Claims (14)

1. ビデオにおける仮想オブジェクトの挿入方法であって、前記ビデオの画像におけるビューアからの注視割り当てを特性化するサリエンシーマップを利用し、該サリエンシーマップに基づき前記ビデオの前記画像において前記仮想オブジェクトを挿入する方法において、
   前記仮想オブジェクトの挿入後に前記ビデオの前記画像のサリエンシーマップを生成するステップと、
   挿入された前記仮想オブジェクトの少なくとも１つの視覚特性を調整することによって前記サリエンシーマップに基づき前記仮想オブジェクトの挿入を調整するステップと
   を有することを特徴とする方法。
2. 前記ビデオの前記画像のサリエンシーマップを生成するステップと、前記サリエンシーマップに基づき前記仮想オブジェクトの挿入を調整するステップとを繰り返す
   ことを特徴とする請求項１に記載の方法。
3. 前記仮想オブジェクトの挿入の前に、前記ビデオの前記画像において領域を選択する
   ことを特徴とする請求項１又は２に記載の方法。
4. 前記領域を選択することは、前記領域の幾何学特性に基づく、
   請求項３に記載の方法。
5. 選択された前記領域は平行四辺形である、
   ことを特徴とする請求項４に記載の方法。
6. 前記画像において領域を選択する前に前記ビデオの前記画像の予備的なサリエンシーマップを生成し、前記領域を選択することは、前記予備的なサリエンシーマップに基づく、
   ことを特徴とする請求項３に記載の方法。
7. 当該方法は、前記ビデオを一連の場面に分解するステップを有し、前記場面の夫々は、少なくとも１つの画像を含む、
   ことを特徴とする請求項１乃至３のうちいずれか一項に記載の方法。
8. 前記仮想オブジェクトの視覚特性は、前記仮想オブジェクトの透明度及び／又は輝度である、
   ことを特徴とする請求項１又は２に記載の方法。
9. 前記仮想オブジェクトの挿入は、前記仮想オブジェクトが前記ビデオの前記画像における原コンテンツ上に流れるようなオーバレイ挿入、又は前記仮想オブジェクトが前記ビデオの前記画像に埋め込まれるようなインシーン挿入である、
   ことを特徴とする請求項１又は２に記載の方法。
10. 挿入される前記仮想オブジェクトは、２Ｄイメージ広告又はビデオ広告である、
    ことを特徴とする請求項１又は２に記載の方法。
11. ビデオにおいて仮想オブジェクトを挿入するよう構成される装置であって、前記ビデオの画像におけるビューアからの注視割り当てを特性化するサリエンシーマップを利用し、該サリエンシーマップに基づき前記ビデオの前記画像において前記仮想オブジェクトを挿入する装置において、
    ビデオの画像において仮想オブジェクトを挿入する挿入モジュールと、
    前記ビデオの前記画像のサリエンシーマップを生成するサリエンシーモジュールであって、前記サリエンシーマップが前記仮想オブジェクトの挿入後に当該サリエンシーモジュールによって生成される、前記サリエンシーモジュールと、
    挿入された前記仮想オブジェクトの少なくとも１つの視覚特性を調整することによって前記仮想オブジェクトの挿入を調整する調整モジュールと
    を有する装置。
12. 前記仮想オブジェクトの挿入のために前記ビデオの前記画像において領域を選択する選択モジュール
    を更に有する請求項１１に記載の装置。
13. 前記ビデオを一連の場面に分解する分解モジュールを更に有し、前記場面の夫々は少なくとも１つの画像を含む、
    請求項１１又は１２に記載の装置。
14. ビデオの画像におけるビューアからの注視割り当てを特性化するサリエンシーマップを利用し、該サリエンシーマップに基づき前記ビデオの前記画像において仮想オブジェクトを挿入することによって、前記ビデオにおいて前記仮想オブジェクトを挿入する命令を記憶したコンピュータ可読媒体であって、
    コンピュータによって実行される場合に、前記命令が、前記コンピュータに、
    前記仮想オブジェクトの挿入後に前記ビデオの前記画像のサリエンシーマップを生成させ、
    挿入された前記仮想オブジェクトの少なくとも１つの視覚特性を調整することによって前記サリエンシーマップに基づき前記仮想オブジェクトの挿入を調整させる、
    ことを特徴とするコンピュータ可読媒体。

Images