JP2010508691A5 - - Google Patents
Download PDFInfo
- Publication number
- JP2010508691A5 JP2010508691A5 JP2009534035A JP2009534035A JP2010508691A5 JP 2010508691 A5 JP2010508691 A5 JP 2010508691A5 JP 2009534035 A JP2009534035 A JP 2009534035A JP 2009534035 A JP2009534035 A JP 2009534035A JP 2010508691 A5 JP2010508691 A5 JP 2010508691A5
- Authority
- JP
- Japan
- Prior art keywords
- video sequence
- depth map
- primary
- client
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000605 extraction Methods 0.000 claims description 24
- 230000005540 biological transmission Effects 0.000 claims description 9
- 238000000034 method Methods 0.000 claims description 5
- 238000009795 derivation Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 230000000875 corresponding Effects 0.000 description 7
- 238000009877 rendering Methods 0.000 description 6
- 239000000203 mixture Substances 0.000 description 5
- 238000001514 detection method Methods 0.000 description 3
- 239000000969 carrier Substances 0.000 description 1
- 230000000295 complement Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006011 modification reaction Methods 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
Description
本発明はビデオ深度マップ調整に関する。より詳細には、本発明は、編集や他の処理によって1次ビデオ・シーケンスから得た2次ビデオ・シーケンスの深度マップを生成する方法及びシステムに関する。
動画又は他の画像シーケンスのようなビデオ・シーケンスの深度マップを生成することが良く知られており、当該深度マップは、2次元(2D)画像を3次元(3D)画像に変換することを可能にする深度情報を提供する。
特許文献1(IBM)は、コンピューター・ネットワーク上の3次元幾何学モデルから成る、合成コンテンツを生成し、配信するシステムを開示している。このシステムはサーバー・コンピューターとクライアント・コンピューターを用い、ビデオ・ストリームは、サーバーのレンダリング対象のための時間依存深度マップを含むこともある。ビデオ・シーケンスはサーバーからクライアントへローカル・レンダリングのために送られ、深度マップは、クライアントが3D機能を有していない場合は送信されない。
幾つかのアプリケーションでは、ビデオ・シーケンスはクライアントで既に利用可能な場合もある。そして、深度マップは後で追加されることもある。これは、ユーザーが2次元動画の録画されたバージョンを持っていて、3次元動画を得るために深さを追加したい場合にあり得る。この動画の録画されたバージョンは、例えば、DVD(デジタル・ヴァーサタイル・ディスク)、ハードディスク・レコーダー、又はコンピューターのハードディスクに録画され得る。(リモート・)サーバーから動画と関連付けられた深度マップを得ることが可能である。しかし、この録画されたバージョンは、標準的には元のバージョンと同一である。この録画されたバージョンは、例えば、テレビから録画され得る。元のバージョンと対比すると、動画のテレビ・バージョンは、暴力的な場面が削除される一方で、コマーシャルを含むことがある。更に、録画時間はテレビ放送の時間と正確には一致しないかもしれない。そして、ユーザーはその人自身のバージョンを編集したかもしれない。これらの理由により、サーバーから利用可能な深度マップは、標準的には録画されたビデオ・シーケンスとは適合せず、望ましくない深度の不適合を生じるだろう。
もちろん、サーバーからビデオ・シーケンスの元のバージョン(深度マップと適合しているバージョン)を得ること、及び、深度マップの正しい調整が得られるように1次(元の)ビデオ・シーケンスと2次(変更された)ビデオ・シーケンスを合わせることが可能である。しかし、サーバー上の元のビデオ・シーケンスのほとんどといったかなりの量を複製することによって、クライアント上の変更された(例えば、編集された)ビデオ・シーケンスと一致するとはいえ、元の又は変更されたビデオ・シーケンスのいずれかを送信することは、比較的大きな帯域を要求する。
本発明の目的は、従来技術の上述の及び他の問題を克服し、2次ビデオ・シーケンスの深度マップを生成する方法及びシステムを提供することである。当該方法及びシステムでは、2次ビデオ・シーケンスは元の又は1次ビデオ・シーケンスから導出される。当該方法及びシステムは、1次又は2次ビデオ・シーケンスのいずれかの送信を回避すると同時に、深度マップと2次ビデオ・シーケンスとの優れた適合を提供する。
本発明は方法を提供する。前記方法は、2次ビデオ・シーケンスの2次深度マップを生成し、前記2次ビデオ・シーケンスは、1次深度マップを有する1次ビデオ・シーケンスから導出され、前記2次ビデオ・シーケンスは、クライアントで利用可能であり、前記1次深度マップは、サーバーで利用可能であり、前記クライアント及びサーバーは、ネットワークにより結合され、前記方法は:
−前記1次深度マップを前記サーバーから前記クライアントへ送信する段階;
−調整情報を生成するために、前記クライアントで、前記1次深度マップを前記2次ビデオ・シーケンスに合わせる段階;
−前記クライアントで、前記2次深度マップを前記1次深度マップから前記調整情報を用いて導出する段階;を有する。
−前記1次深度マップを前記サーバーから前記クライアントへ送信する段階;
−調整情報を生成するために、前記クライアントで、前記1次深度マップを前記2次ビデオ・シーケンスに合わせる段階;
−前記クライアントで、前記2次深度マップを前記1次深度マップから前記調整情報を用いて導出する段階;を有する。
調整情報を生成するためにクライアントで1次深度マップを2次ビデオ・シーケンスと合わせること、及び1次深度マップと前記調整情報とに基づき2次深度マップを導出することにより、2次深度マップは、1次ビデオ・シーケンスを送信することなく得られる。2次深度マップは、標準的に、2次ビデオ・シーケンスと完全に合わせられるので、如何なるアーチファクトも導入することなく、2次ビデオ・シーケンスを完全に補完する。1次深度マップ(及び1次ビデオ・シーケンスを有する任意の追加データ)を送信することのみによって、有意に帯域を節約できる。
1次深度マップの2次ビデオ・シーケンスへの調整は、深度マップの画像をビデオ・シーケンスの画像と照合させ、個々の画像の対応を示す調整情報を生成することを含む。当該対応は、個々の画像に又はそれらの画像の特徴に適用される相互相関のような類似点測定を用いて決定されうる。調整情報は、例えば、(1次)深度マップのどの画像が(2次)ビデオ・シーケンスの画像と対応するかを、例えば関連画像番号を列挙することにより、示してよい。画像番号の代わりに、特定時点からの時間期間、タイムスタンプ等のような他の指標又はマーカーを用いてもよい。
調整情報を用いて2次深度マップを1次深度マップから導出する段階は、例えば、画像番号又は調整情報に含まれる他の指標を用い、1次深度マップから対応するセクションを選択し、選択したセクションを2次ビデオ・シーケンスに対応する2次深度マップにコンパイルする段階を有してよい。
クライアントで、1次深度マップを2次ビデオ・シーケンスに合わせる段階は、
−2次ビデオ・シーケンスから特徴を抽出する段階、
−1次深度マップから特徴を抽出する段階、及び
−前記抽出した特徴を照合させる段階、を有する。
−2次ビデオ・シーケンスから特徴を抽出する段階、
−1次深度マップから特徴を抽出する段階、及び
−前記抽出した特徴を照合させる段階、を有する。
2次ビデオ・シーケンスと1次深度マップの両方から特徴を抽出することにより、比較的簡単に調整を達成できる。抽出した特徴は、ショット・カット(つまり、場面の変化)、色、及び/又は明るさの統計(輝度ヒストグラムのような)、エッジ・マップ等を有してよい。照合させる段階は、相互相関、距離等のような類似点測定を有してよい。
1次深度マップを2次ビデオ・シーケンスに合わせる段階は、
−2次ビデオ・シーケンスから予備の2次深度マップを導出する段階、及び
−前記予備の2次深度マップと前記1次深度マップを照合させる段階、を有する。
−2次ビデオ・シーケンスから予備の2次深度マップを導出する段階、及び
−前記予備の2次深度マップと前記1次深度マップを照合させる段階、を有する。
本実施例では、予備の2次深度マップは、クライアントで、2次ビデオ・シーケンスから、それ自体知られた技術を用いて導出される。この予備の2次深度マップは、次に、サーバーから受信した1次深度マップと照合される。特徴抽出段階は、照合させる段階の前に行われる。本実施例では、深度マップが、標準的に当該深度マップが導出されるビデオ・シーケンスよりも少ない情報しか有さないので、調整段階でデータ量が削減される。
上述の実施例では、調整はクライアントで行われる。しかし、本発明はそれに限定されない。代替の実施例では、調整はサーバーで行われる。
従って、本発明は方法も提供する。当該方法は、2次ビデオ・シーケンスの2次深度マップを生成し、前記2次ビデオ・シーケンスは、1次深度マップを有する1次ビデオ・シーケンスから導出され、前記2次ビデオ・シーケンスは、クライアントで利用可能であり、前記1次ビデオ・シーケンスと前記1次深度マップは、サーバーで利用可能であり、前記クライアント及びサーバーは、ネットワークにより結合され、前記方法は:
−前記サーバーで、前記1次ビデオ・シーケンスから1次特徴を抽出する段階;
−前記クライアントで、前記2次ビデオ・シーケンスから2次特徴を抽出する段階;
−前記2次特徴を前記クライアントから前記サーバーへ送信する段階;
−前記サーバーで、調整情報を生成するために、前記1次特徴を前記2次特徴と揃える段階;
−前記サーバーで、前記調整情報を用いて、前記1次深度マップから前記2次深度マップを導出する段階;及び
−前記2次深度マップを前記サーバーから前記クライアントへ送信する段階;を有する。
−前記サーバーで、前記1次ビデオ・シーケンスから1次特徴を抽出する段階;
−前記クライアントで、前記2次ビデオ・シーケンスから2次特徴を抽出する段階;
−前記2次特徴を前記クライアントから前記サーバーへ送信する段階;
−前記サーバーで、調整情報を生成するために、前記1次特徴を前記2次特徴と揃える段階;
−前記サーバーで、前記調整情報を用いて、前記1次深度マップから前記2次深度マップを導出する段階;及び
−前記2次深度マップを前記サーバーから前記クライアントへ送信する段階;を有する。
クライアントで、2次ビデオ・シーケンスから特徴を抽出することにより、サーバーにおいて、2次ビデオ・シーケンスを送信することなく調整を実行することが可能である。代わりに、抽出した特徴が送信され、結果として帯域幅の要求は、2次ビデオ・シーケンス自体を送信するよりも低くなる。特徴の抽出、2次深度マップの調整及び導出は、これらの段階がクライアントで実行される第1の実施例の対応する部分と同様であってよい。サーバーでこれらの段階を実行することは、サーバーが標準的にクライアントより高い処理能力を有しているので、結果として方法の段階をより高速に実行するという利点を有する。
理解されるべき点は、この第2の実施例と上述の第1の実施例は、1次ビデオ・シーケンスも2次ビデオ・シーケンスも送信しないので、帯域幅が節約されるという利点を有する。
第3の実施例では、前記サーバーで抽出する段階は、前記1次ビデオ・シーケンスからではなく、前記1次深度マップから特徴を抽出する段階を有する。本実施例では、従って、1次特徴は1次深度マップに基づき、2次ビデオ・シーケンスから抽出した2次特徴と比較される。この第3の実施例は、深度マップが標準的に対応するビデオ・シーケンスよりも少ない情報しか有さないので、必要とされる処理能力が少ないという利点を有する。
本発明は、ビデオ・シーケンス内のコマーシャル又は他の追加された場面を検出する方法及びシステムも提供する。2次深度マップを生成することに代えて又はそれに追加して、2次ビデオ・シーケンスのどの部分が元の1次ビデオ・シーケンスに存在していないかを示す調整情報が用いられうる。
本発明は、上述の方法を実行するコンピューター・プログラムも提供する。コンピューター・プログラムは、CD又はDVDのようなデータ担体に格納された、コンピューターが実行可能な命令のセットを有して良い。コンピューターが実行可能な命令のセットは、プログラム可能なコンピューターに以上に定められた方法を実行させ、またリモートサーバーからの、例えばインターネットを介したダウンロードに利用可能であって良い。
本発明はシステムを更に提供する。前記システムは、2次ビデオ・シーケンスの2次深度マップを生成し、前記2次ビデオ・シーケンスは、1次深度マップを有する1次ビデオ・シーケンスから導出され、前記2次ビデオ・シーケンスは、クライアントで利用可能であり、前記1次深度マップは、サーバーで利用可能であり、前記クライアント及びサーバーは、ネットワークにより結合され、前記システムでは、前記サーバーは:
−前記1次深度マップを前記クライアントへ送信する送信ユニット;を有し、前記クライアントは:
−調整情報を生成するために、前記1次深度マップを前記2次ビデオ・シーケンスに合わせる調整ユニット;
−前記調整情報を用いて、前記2次深度マップを前記1次深度マップから導出する導出ユニット;を有する。
−前記1次深度マップを前記クライアントへ送信する送信ユニット;を有し、前記クライアントは:
−調整情報を生成するために、前記1次深度マップを前記2次ビデオ・シーケンスに合わせる調整ユニット;
−前記調整情報を用いて、前記2次深度マップを前記1次深度マップから導出する導出ユニット;を有する。
当該システムは、対応する方法と同様の利点を有する。
本発明によるシステムの第2の実施例では、クライアントは、2次特徴を2次ビデオ・シーケンスから抽出するクライアント抽出ユニット、及び抽出した2次特徴をサーバーへ送信する送信ユニット、を有し、サーバーは、特徴を1次ビデオ・シーケンスから抽出するサーバー抽出ユニット、及びサーバーに設置された調整ユニット、を有し、2次深度マップをサーバーで生成する。この第2の実施例では、サーバー送信ユニットは、1次深度マップの代わりに、2次深度マップをクライアントへ送信する。
本発明によるシステムの第3の実施例では、前記サーバー抽出ユニットは、前記1次ビデオ・シーケンスからではなく、前記1次深度マップから特徴を抽出する。
本発明は、ビデオ・シーケンス内のコマーシャル又は他の追加された場面を検出するコマーシャル検出システムとしても用いられてよい。
本発明は、上述のシステムで用いられるクライアント・ユニット及びサーバー・ユニットを更に提供する。クライアント・ユニットは、コンピューター・システム、デジタル・テレビジョン装置、ハードディスク・レコーダー、又は如何なる他の適切な装置を有してもよい。サーバー・ユニットは、本発明の方法の段階を実行するのに適切なソフトウェア・プログラムを備えられた専用の又は汎用のコンピューター・システムを有してよい。
本発明は、例である図示された実施例を参照し、以下に更に説明される。
図1に単なる非限定的な例として示された本発明の方法は、クライアントC及びネットワークNを介して接続された又は接続可能なサーバーSを含んでいる。図5に示すように、クライアントCは、ハードディスク・レコーダー並びにテレビ装置及び/又はそれと同等な装置(コンピューター・システムのような)を有して良い。一方、サーバーSは、専用のコンピューター・システム又は適切なソフトウェア・プログラムを実行している汎用目的のコンピューター・システムを有して良い。ネットワークNは、インターネット、POTS(アナログ電話サービス)ネットワーク、ISDNネットワーク、LAN(ローカル・エリア・ネットワーク)、ケーブルでの直接接続、及び/又は、サーバーSとクライアントCとの他の適切なリンクを有して良い。
サーバーSでは、元の又は1次ビデオ・シーケンスMが利用可能である。1次ビデオ・シーケンスは、例えば、動画やビデオ・クリップであるが、これは、サーバー自身のハードディスク若しくは他の記憶装置、又は、そのサーバーに接続された外部記憶装置に格納されてよい。1次ビデオ・シーケンスMに対応する元の又は1次深度マップも、サーバー上で利用可能である。この深度マップDは、適切なビデオ・レンダリング装置がビデオ・シーケンスMの3次元レンダリングを生成することを可能とする情報を含む。換言すると、深度マップDは、追加深度情報を含んでいる。前記深度情報は、それぞれのビデオ・シーケンス画像毎に与えられてもよいが、標準的には、所要データ量を低減するために画像セット(例えば、5、10又は20のシーケンスの連続する画像のセット)毎に与えられ、クライアントCでのビデオ・レンダリング装置は、ビデオ・シーケンスの個々の画像毎に深度情報を生成するために深度情報を補間する及び/又は推定することが可能である。
クライアントCは、ビデオ・シーケンスの変更したバージョンM*を保存する。この変更した又は2次ビデオ・シーケンスM*は編集、エラー発生中の複製、その他によって、1次ビデオ・シーケンスから導出されうる。これは図6に示されており、図6は、図5のシステムにおけるサーバーに格納された元の(1次)ビデオ・シーケンスMが長さLを有していることを示す。この元のビデオ・シーケンスMは、放送されない又はレンタル若しくはダウンロードのバージョンからは削除されたかもしれない不適切な表現がある場面を含みうる。
2次ビデオ・シーケンスM*は、放送を録画すること、DVD(デジタル・ヴァーサタイル・ディスク)を複製すること、又は、インターネットからダウンロードすることによって得られうる。放送バージョンは、標準的にはコマーシャルYを含む。
ユーザーが放送ビデオ・シーケンスを録画するとき、録画開始時間と放送開始時間に相違があり得る。その結果、実際のビデオ・シーケンスの前及び後ろにそれぞれ追加期間X及びZが生じる。結果的に、当該変更された(2次)ビデオ・シーケンスM*は、元の長さLよりも長い長さL*を有する。コマーシャルY並びに追加部分X及びZが削除された場合でさえ、元のビデオ・シーケンスMと録画されたビデオ・シーケンスM*には相違が残存する。
この相違は、例えばアナログ・ソース(アナログ・テレビ又はVHSビデオ・テープ)からの録画によって品質の如何なる損失によっても一層ひどくなりうる。結果的に、元の深度マップDは、録画されたビデオ・シーケンスM*には適合せず、画像の歪み及び不要なアーチファクトをもたらすこととなる。この問題を解決するため、元のビデオ・シーケンスをサーバーからクライアントへ(再)送信することは、もちろん可能である。
しかし、これはかなりの量の帯域幅(データ送信能力)を必要とし、結局ビデオ・データの複製となる。更に、例えばクライアントがアナログのビデオ・レコーダーを用いるときは、クライアントが元のビデオ・シーケンスの厳密な複製を保存することが可能でない場合がありうる。
本発明によると、元のビデオ・シーケンスMは送信又は再送信されない。代わりに、元の(1次)深度マップDが、クライアントで変更された(2次)深度マップD*を生成する(図1及び2)ために送信される、又は、変更された(2次)ビデオ・シーケンスM*の特徴が、サーバーで変更された(2次)深度マップD*を生成する(図3及び4)ために送信される。深度マップは、対応するビデオ・シーケンスより標準的には有意に少ない情報しか含まないので、ビデオ・シーケンスの代わりに深度マップを送信することはかなりの帯域幅削減につながることが理解されるだろう。同様に、ビデオ・シーケンスの特徴もまた、標準的にはビデオ・シーケンス自体より有意に少ない情報しか含まないので、この場合も、かなりの帯域幅削減が達成されうる。
図1に、本発明の第1の実施例の方法の段階を図示する。サーバーS上で、1次ビデオ・シーケンスMとそれに関連付けられた深度マップDは利用可能であり、一方、2次ビデオ・シーケンスM*はクライアントCで利用可能である。留意すべき点は、本発明を実行する時、サーバーでの1次ビデオ・シーケンスMの利用可能性は必須ではないことである。
本発明によると、1次深度マップDは、クライアントで2次深度マップD*を導出するために、サーバーからネットワークNを介してクライアントCへ送信される。一方、元のビデオ・シーケンスMは送信されない(留意すべき点は、元のビデオ・シーケンスMはより早い段階では送信される場合があり、結果的に変更されたビデオ・シーケンスM*をもたらすことである。本発明は、2次ビデオ・シーケンスM*がクライアントで利用可能な状況に特に適用される。)。上述のように、ネットワークNは、1本のケーブルより構成されてよいが、標準的には、インターネット及び/又は電話ネットワークにより構成される。
クライアントC上で、2次ビデオ・シーケンスM*は、シーケンスM*とマップDの調整(又はマッチング)を表す調整情報AIを生成するために、1次深度マップDと揃えられる(段階AL)。前記調整情報AIは、その後、クライアントの2次ビデオ・シーケンスM*と合う2次(調整された)深度マップD*を導出するために、1次深度マップDを調整又は編集(段階ED)するために用いられる。前記2次深度マップD*及び前記2次ビデオ・シーケンスM*は、3Dテレビ・セットのような3次元視聴に適したレンダリング装置に入力されうる。
図1の実施例において、1次深度マップの特徴FD及び2次ビデオ・シーケンスの特徴FM*をそれぞれ生成する任意の特徴抽出(FE)段階が、1次深度マップDと2次ビデオ・シーケンスM*との調整(段階AL)の前に行われる。
従来の特徴抽出は、含まれるデータ量を削減することによって調整を実現する。
種々の特徴は、別個に又は組み合わせて抽出され、調整に使われてよい。ショット・カット検出方法がよく知られているように、非常に適している特徴は、ショット・カット(場面切り替え)である。その他の特徴は、色(色統計を含む)、明るさ(輝度ヒストグラムを含む)、エッジ・マップ、山及び/又は谷、その他を含む。ビデオ・シーケンスがオーディオ・シーケンスを伴っている場合は、例えば、無音期間のような音声の特徴も用いられてよい。原則的に、1次深度マップDと2次ビデオ・シーケンスM*の画像(のセット)の対応を決めることを可能にする如何なる特徴が用いられてもよい。
調整(AL)段階は、近似文字列照合といった周知のテクニックを有してよい。特徴を用いることに代えて、又はそれに加えて、ピクセル相関テクニックを用いてもよい。
編集(ED)段階は、2次深度マップD*を導出するために、調整情報AIと1次深度マップDの両方を含む。この編集段階は、調整情報によって示された深度マップDの選択された部分を復号することを含んでよい。これらの部分は、次に、2次深度マップD*を生成するために再符号化される。
図2の実施例では、調整(AL)段階の前に、深度マップ推定(DME)段階が行われる。深度マップ推定(DME)段階は、2次ビデオ・シーケンスM*から導出された予備2次深度マップD**をもたらす。深度マップ生成技術は、それ自体知られている。
予備2次深度マップD**は、1次深度マップに直接合わせられてもよいし、又は、図2に示されているような個々の特徴抽出(FE)段階を介して合わせられてもよい。深度マップからの特徴抽出は、ビデオ・シーケンスからの特徴抽出と一致し得る。
1次深度マップDに加え、1次ビデオ・シーケンスMに関連付けられたメタデータが、サーバーSからクライアントCへ送信されうる。適切なメタデータはタイムスタンプ、ショット・カット表示、エントリー・ポイント等を有してよい。
図1及び図2の実施例では、調整と2次深度マップD*の生成が、クライアントCで実行される。図3及び4の代替の実施例では、これらの段階はサーバーSで実行される。
図3に示すように、2次ビデオ・シーケンスM*の特徴FM*は、特徴抽出(FE)段階において、クライアントCで最初に抽出される。この段階は、サーバーSに送信されるデータ量を有意に削減する。サーバー上では、1次ビデオ・シーケンスMの特徴FMも抽出され、特徴FM及びFM*の調整(AL)が可能となり、その結果、調整情報AIが生成される。編集(ED)段階では、この調整情報AIは、2次深度マップD*を生成するため、1次深度マップDを「編集」するのに利用される。2次深度マップD*は、その後、クライアントCに送信される。これらの段階は、図1の実施例の段階と密接に対応することが分かる。
図4の実施例は、サーバー上で機能抽出を行うことを除いて、図3の実施例と基本的に同一である。図3の実施例では、1次ビデオ・シーケンスMの特徴FEがサーバー上で抽出されるのに対して、図4の実施例では、1次深度マップDの特徴FDが抽出される(段階FE)。これにより、1次ビデオ・シーケンスMがサーバーS上に存在する必要がなくなる。
図7に、クライアント・ユニット10の例である実施例を示す。図7の単なる例であり、非限定的な実施例では、クライアント・ユニット10は、第1の特徴抽出(FE)ユニット11、第2の特徴抽出(FE)ユニット12、調整(AL)ユニット13、編集(ED)ユニット14、組合せ(CO)ユニット15、記憶(ST)ユニット16、インターフェース(IF)ユニット17及び任意の深度マップ推定(DME)ユニット18を有する。クライアント・ユニット10は、例えば送信ユニットのような、説明図の明確化のために示していない更なるコンポーネントを有してよい。
記憶ユニット16は、2次ビデオ・シーケンスM*を格納する。2次ビデオ・シーケンスM*は、直接又は任意の深度マップ推定ユニット18を介して、第1特徴抽出ユニット11へ入力される。インターフェース・ユニット17は、サーバー(図1のS)から1次深度マップDを受信し、この深度マップDを第2特徴抽出ユニット12に入力する。この抽出された特徴は、調整ユニット13で揃えられ(つまり、照合され)、結果として生じた調整情報が、1次深度マップDとともに編集ユニット14へと入力される。編集ユニット14で生成された2次深度マップD*は、組合せユニット15へ入力され、組合せユニット15で2次ビデオ・シーケンスと組み合わされ、3Dテレビ装置のような適切なレンダリング装置に送信される。
図8に、サーバー・ユニット20の例である実施例を示す。図8の単なる例であり、非限定的な実施例では、サーバー・ユニット20は、特徴抽出(FE)ユニット21、調整(AL)ユニット23、編集(ED)ユニット24、記憶(ST)ユニット26、インターフェース(IF)ユニット27及び送信(TR)ユニット29を有する。サーバー・ユニット20は、説明図の明確化のために示していない更なるコンポーネントを有してよい。
1次深度マップD及び(任意の)1次ビデオ・シーケンスMは、記憶ユニット26に格納される。記憶ユニット26は、深度マップDを編集ユニット24に入力し、深度マップD又は1次ビデオ・シーケンスMを特徴抽出ユニット21に供給する。インターフェース・ユニット27は、クライアントCから、2次ビデオ・シーケンスから抽出された特徴FM*を受信し、これらの特徴を調整ユニット23へと送る。調整ユニット23は、抽出ユニット21で抽出された特徴も受け取る。その結果生成される調整情報及び1次深度マップが、2次深度マップD*を生成するために、編集ユニット24で用いられる。2次深度マップは、送信ユニット29によってクライアントへ送信される。
本発明は、コマーシャル検出に利用されてもよい。図6に示すように、コマーシャルYは、元のビデオ・シーケンスMに割り込みうる。これらのコマーシャル中、1次深度マップDは、もはや2次ビデオ・シーケンスM*に適合しなくなる。より詳細には、コマーシャル中は調整が不可能である。結果的に、調整情報(図1乃至4のAI)は、コマーシャル及び(1次)ビデオ・シーケンスの同様の割り込みの存在又は不在を表す。
本発明は、2次ビデオ・シーケンスの2次深度マップを生成する方法として要約されうる。当該方法では、2次ビデオ・シーケンスは1次深度マップを有している1次ビデオ・シーケンスから前もって導出され、2次ビデオ・シーケンスはクライアント上で利用可能であり、1次ビデオ・シーケンス及び1次深度マップはサーバーで利用可能である。クライアントとサーバーはネットワークで接続され、当該方法はサーバー及びクライアント間のビデオ・シーケンスの送信の段階を排除する。
本発明は、1次ビデオ・シーケンスから又は2次ビデオ・シーケンスから特徴を抽出すること、並びに、1次深度マップ及び抽出された特徴から2次深度マップを生成することによってビデオ・シーケンスの送信が回避できるという見識に基づく。
留意すべき点は、本願明細書で用いられた如何なる語も、本発明の範囲を限定するものと見なされるべきでないことである。特に「有する」の語は、詳細に記載されない如何なる要素を排除することを意味しない。単数の(回路)要素は、複数の(回路)要素又はそれらの等価物で代用されてよい。
当業者には、本発明は以上に説明された例である実施例に限定されず、複数の変形及び変更が請求の範囲に定められた本発明の範囲内で可能であることが明らかであろう。
Claims (15)
- 方法であって、2次ビデオ・シーケンスの2次深度マップを生成し、前記2次ビデオ・シーケンスは、1次深度マップを有する1次ビデオ・シーケンスから導出され、前記1次ビデオ・シーケンスは元のビデオ・シーケンスであり、前記2次ビデオ・シーケンスは前記元のビデオ・シーケンスの変更されたバージョンであり、前記2次ビデオ・シーケンスは、クライアントで利用可能であり、前記1次深度マップは、サーバーで利用可能であり、前記クライアント及びサーバーは、ネットワークにより結合され、前記方法は:
−前記1次深度マップを前記サーバーから前記クライアントへ送信する段階;
−前記クライアントで、前記1次深度マップの画像を前記2次ビデオ・シーケンスの画像と照合させ、前記1次深度マップの画像と前記2次ビデオ・シーケンスの画像との間の対応を示す調整情報を生成する段階;
−前記クライアントで、前記2次深度マップを前記1次深度マップから前記調整情報を用いて導出する段階;を有する方法。 - 前記照合は:
−前記2次ビデオ・シーケンスから特徴を抽出する段階、
−前記1次深度マップから特徴を抽出する段階、
−前記抽出した特徴を照合させる段階、を有し、前記抽出した特徴は、ショット・カット、エッジ・マップ、色統計、及び/又は明るさの統計を有する、請求項1記載の方法。 - 前記照合は:
−前記2次ビデオ・シーケンスから予備の2次深度マップを抽出する段階、及び
−前記予備の2次深度マップと前記1次深度マップを照合させる段階、を有する、請求項1記載の方法。 - 前記1次ビデオ・シーケンスは、前記サーバーでも利用可能である、請求項1記載の方法。
- 方法であって、2次ビデオ・シーケンスの2次深度マップを生成し、前記2次ビデオ・シーケンスは、1次深度マップを有する1次ビデオ・シーケンスから導出され、前記1次ビデオ・シーケンスは元のビデオ・シーケンスであり、前記2次ビデオ・シーケンスは前記元のビデオ・シーケンスの変更されたバージョンであり、前記2次ビデオ・シーケンスは、クライアントで利用可能であり、前記1次ビデオ・シーケンスと前記1次深度マップは、サーバーで利用可能であり、前記クライアント及びサーバーは、ネットワークにより結合され、前記方法は:
−前記サーバーで、前記1次ビデオ・シーケンスから1次特徴を抽出する段階;
−前記クライアントで、前記2次ビデオ・シーケンスから2次特徴を抽出する段階;
−前記2次特徴を前記クライアントから前記サーバーへ送信する段階;
−前記サーバーで、前記1次特徴を前記2次特徴と照合させ、前記1次深度マップの画像と前記2次ビデオ・シーケンスの画像との間の対応を示す調整情報を生成する段階;
−前記サーバーで、前記調整情報を用いて、前記1次深度マップから前記2次深度マップを導出する段階;及び
−前記2次深度マップを前記サーバーから前記クライアントへ送信する段階;を有し、
前記抽出した特徴は、ショット・カット、エッジ・マップ、色統計、及び/又は明るさの統計を有する、方法。 - 前記サーバーで抽出する段階は、前記1次ビデオ・シーケンスからではなく、前記1次深度マップから特徴を抽出する段階を有する、請求項5記載の方法。
- 前記照合は、前記サーバーから前記クライアントへ送信されたメタデータを更に有する、請求項1記載の方法。
- コンピューター・プログラムであって、請求項1又は5記載の方法を実行するコンピューター・プログラム。
- システムであって、2次ビデオ・シーケンスの2次深度マップを生成し、前記2次ビデオ・シーケンスは、1次深度マップを有する1次ビデオ・シーケンスから導出され、前記1次ビデオ・シーケンスは元のビデオ・シーケンスであり、前記2次ビデオ・シーケンスは前記元のビデオ・シーケンスの変更されたバージョンであり、前記2次ビデオ・シーケンスは、クライアントで利用可能であり、前記1次深度マップは、サーバーで利用可能であり、前記クライアント及びサーバーは、ネットワークにより結合され、前記クライアント及びサーバーは、それぞれクライアント・ユニット及びサーバー・ユニットを有し、
前記サーバー・ユニットは:
−前記1次深度マップを前記クライアントへ送信する送信ユニット;を有し、
前記クライアント・ユニットは:
−前記1次深度マップの画像を前記2次ビデオ・シーケンスの画像と照合させ、前記1次深度マップの画像と前記2次ビデオ・シーケンスの画像との間の対応を示す調整情報を生成する照合ユニット;
−前記調整情報を用い、前記2次深度マップを前記1次深度マップから導出する導出ユニット;を有する、システム。 - 前記クライアント・ユニットは:
−前記2次ビデオ・シーケンスから特徴を抽出する第1の抽出ユニット、
−前記1次深度マップから特徴を抽出する第2の抽出ユニット、及び
−前記抽出した特徴を合わせる調整ユニット、を有し、前記抽出した特徴は、ショット・カット、エッジ・マップ、色統計、及び/又は明るさの統計を有する、請求項9記載のシステム。 - 前記クライアント・ユニットは:
−前記2次ビデオ・シーケンスから予備の2次深度マップを抽出する更なる導出ユニットを有し、
−前記照合ユニットは、前記予備の2次深度マップと前記1次深度マップを照合する、請求項9記載のシステム。 - −前記予備の2次深度マップから特徴を抽出する第1の抽出ユニット、
−前記1次深度マップから特徴を抽出する第2の抽出ユニット、を更に有し、前記抽出した特徴は、ショット・カット、エッジ・マップ、色統計、及び/又は明るさの統計を有する、請求項11記載のシステム。 - システムであって、2次ビデオ・シーケンスの2次深度マップを生成し、前記2次ビデオ・シーケンスは、1次深度マップを有する1次ビデオ・シーケンスから導出され、前記1次ビデオ・シーケンスは元のビデオ・シーケンスであり、前記2次ビデオ・シーケンスは前記元のビデオ・シーケンスの変更されたバージョンであり、前記2次ビデオ・シーケンスは、クライアントで利用可能であり、前記1次ビデオ・シーケンスと前記1次深度マップは、サーバーで利用可能であり、前記クライアント及びサーバーは、ネットワークにより結合され、前記システムにおいて、
前記クライアントは:
−前記2次ビデオ・シーケンスから2次特徴を抽出するクライアント抽出ユニット、
−前記2次特徴を前記サーバーへ送信するクライアント送信ユニット、を有し、
前記サーバーは:
−前記1次ビデオ・シーケンスから1次特徴を抽出するサーバー抽出ユニット、
−前記1次特徴を前記2次特徴と照合させ、前記1次深度マップの画像と前記2次ビデオ・シーケンスの画像との間の対応を示す調整情報を生成する照合ユニット、
−前記調整情報を用いて、前記1次深度マップから前記2次深度マップを導出する導出ユニット、及び
−前記2次深度マップを前記クライアントへ送信するサーバー送信ユニット、を有し、前記抽出した特徴は、ショット・カット、エッジ・マップ、色統計、及び/又は明るさの統計を有する、システム。 - クライアント・ユニットであって、請求項9又は13に記載のシステムで用いられるクライアント・ユニット。
- サーバー・ユニットであって、請求項9又は13に記載のシステムで用いられるサーバー・ユニット。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP06123176 | 2006-10-30 | ||
EP06123176.7 | 2006-10-30 | ||
PCT/IB2007/054360 WO2008053417A1 (en) | 2006-10-30 | 2007-10-26 | Video depth map alignment |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2010508691A JP2010508691A (ja) | 2010-03-18 |
JP2010508691A5 true JP2010508691A5 (ja) | 2013-03-07 |
JP5462629B2 JP5462629B2 (ja) | 2014-04-02 |
Family
ID=38969576
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009534035A Expired - Fee Related JP5462629B2 (ja) | 2006-10-30 | 2007-10-26 | ビデオ深度マップ調整 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8358301B2 (ja) |
EP (1) | EP2080385A1 (ja) |
JP (1) | JP5462629B2 (ja) |
CN (1) | CN101536534B (ja) |
WO (1) | WO2008053417A1 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2353298B1 (en) | 2008-11-07 | 2019-04-03 | Telecom Italia S.p.A. | Method and system for producing multi-view 3d visual contents |
US8588465B2 (en) * | 2009-01-30 | 2013-11-19 | Microsoft Corporation | Visual target tracking |
EP2460360A1 (en) * | 2009-07-27 | 2012-06-06 | Koninklijke Philips Electronics N.V. | Combining 3d video and auxiliary data |
JP2011199414A (ja) * | 2010-03-17 | 2011-10-06 | Toshiba Corp | 素材収録装置及び素材収録方法 |
KR101291071B1 (ko) * | 2010-06-08 | 2013-08-01 | 주식회사 에스칩스 | 입체 영상 오류 개선 방법 및 장치 |
KR20120031790A (ko) * | 2010-09-27 | 2012-04-04 | 삼성전자주식회사 | 영상처리장치, 컨텐츠 제공서버 및 그들의 제어방법 |
US20120201472A1 (en) * | 2011-02-08 | 2012-08-09 | Autonomy Corporation Ltd | System for the tagging and augmentation of geographically-specific locations using a visual data stream |
TWI586143B (zh) * | 2012-04-05 | 2017-06-01 | 皇家飛利浦電子股份有限公司 | 用於提供用於傳送至三維[3d]目標裝置之3d視訊信號之3d源裝置、方法及記錄載體以及用於自3d源裝置接收3d視訊信號之3d目標裝置 |
JP6018119B2 (ja) | 2014-05-14 | 2016-11-02 | トヨタ自動車株式会社 | タンクの製造方法、ヘリカル巻き装置、及び、フィラメントワインディング装置 |
EP4297418A1 (en) * | 2022-06-24 | 2023-12-27 | Beijing Xiaomi Mobile Software Co., Ltd. | Signaling encapsulated data representing primary video sequence and associated auxiliary video sequence |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0870473A (ja) * | 1994-08-29 | 1996-03-12 | Nippon Telegr & Teleph Corp <Ntt> | 距離情報を用いた立体画像の通信方式 |
US6055012A (en) * | 1995-12-29 | 2000-04-25 | Lucent Technologies Inc. | Digital multi-view video compression with complexity and compatibility constraints |
JP3231618B2 (ja) * | 1996-04-23 | 2001-11-26 | 日本電気株式会社 | 3次元画像符号化復号方式 |
US6377257B1 (en) | 1999-10-04 | 2002-04-23 | International Business Machines Corporation | Methods and apparatus for delivering 3D graphics in a networked environment |
WO2001029767A2 (en) * | 1999-10-21 | 2001-04-26 | Koninklijke Philips Electronics N.V. | System and method for three-dimensional modeling |
EP1433335B1 (en) * | 2001-08-15 | 2010-09-29 | Koninklijke Philips Electronics N.V. | 3d video conferencing system |
US6940538B2 (en) * | 2001-08-29 | 2005-09-06 | Sony Corporation | Extracting a depth map from known camera and model tracking data |
JP2004200814A (ja) * | 2002-12-16 | 2004-07-15 | Sanyo Electric Co Ltd | 立体映像生成方法及び立体映像生成装置 |
JP4188968B2 (ja) * | 2003-01-20 | 2008-12-03 | 三洋電機株式会社 | 立体視用映像提供方法及び立体映像表示装置 |
KR100585966B1 (ko) | 2004-05-21 | 2006-06-01 | 한국전자통신연구원 | 3차원 입체 영상 부가 데이터를 이용한 3차원 입체 디지털방송 송/수신 장치 및 그 방법 |
JP2006041811A (ja) * | 2004-07-26 | 2006-02-09 | Kddi Corp | 自由視点画像ストリーミング方式 |
JP2006195018A (ja) * | 2005-01-12 | 2006-07-27 | Nippon Telegr & Teleph Corp <Ntt> | 3次元表示方法、画像生成側装置、および画像表示側装置 |
US8401304B2 (en) * | 2007-07-27 | 2013-03-19 | Sportvision, Inc. | Detecting an object in an image using edge detection and morphological processing |
US20100195867A1 (en) * | 2009-01-30 | 2010-08-05 | Microsoft Corporation | Visual target tracking using model fitting and exemplar |
-
2007
- 2007-10-26 US US12/447,525 patent/US8358301B2/en not_active Expired - Fee Related
- 2007-10-26 WO PCT/IB2007/054360 patent/WO2008053417A1/en active Application Filing
- 2007-10-26 CN CN2007800407497A patent/CN101536534B/zh not_active Expired - Fee Related
- 2007-10-26 JP JP2009534035A patent/JP5462629B2/ja not_active Expired - Fee Related
- 2007-10-26 EP EP07826879A patent/EP2080385A1/en not_active Withdrawn
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5462629B2 (ja) | ビデオ深度マップ調整 | |
JP2010508691A5 (ja) | ||
US11805291B2 (en) | Synchronizing media content tag data | |
US9633696B1 (en) | Systems and methods for automatically synchronizing media to derived content | |
US20110282471A1 (en) | Apparatus and Method for Synchronizing Additional Data and Base Data | |
JP3657206B2 (ja) | 個人用映画コレクションの作成を可能にするシステム | |
JP2021530928A (ja) | フレーム精度のコンテンツ修正の円滑化を支援する、低レートフィンガープリンティングを用いた補間に基づく時間マッピングの確立及び使用 | |
US7738767B2 (en) | Method, apparatus and program for recording and playing back content data, method, apparatus and program for playing back content data, and method, apparatus and program for recording content data | |
US20140365491A1 (en) | Method for managing personalized playing lists of the type comprising a URL template and a list of segment identifiers | |
TW200833116A (en) | Extracting features of video and audio signal content to provide a reliable identification of the signals | |
KR20020030610A (ko) | 통신상에서 불법 유통되는 디지털 음악파일에 의해 음반의판매량이 감소되는 것을 방지하는 방법 | |
JP2010523068A (ja) | 音声信号内の時点を決定する方法 | |
CN101401439B (zh) | 对内容进行处理以在稍后插入数字水印和其它数据的系统和方法 | |
KR20030062315A (ko) | 디지털 스트림 콘텐츠를 작성하고 기록하며 분배하는방법, 시스템 및 프로그램 | |
US20040158579A1 (en) | Server side play-list | |
JP3766280B2 (ja) | コンテンツ仲介装置およびコンテンツ仲介処理方法 | |
JP6215866B2 (ja) | インターネット動画再生システム、及びプログラム | |
JP6367882B2 (ja) | クライアント端末及びそれを備えたインターネット動画再生システム | |
EP1958202A1 (fr) | Procede d'identification d'un document enregistre par affichage et selection d'images clefs, et recepteur associe | |
JP2004220286A (ja) | 要約生成装置及び要約生成方法並びに要約生成プログラム及びそのプログラムを記録した記録媒体 | |
JP4171315B2 (ja) | 情報編集装置、情報編集システム、情報編集方法、情報編集プログラム | |
KR20110010082A (ko) | 콘텐츠 데이터의 메타 정보 생성 방법 및 장치 | |
JP2010124036A (ja) | デジタルコンテンツ視聴実績管理システム | |
JP2005176034A (ja) | 映像受信再生装置を動作させるプログラムおよび当該プログラムを記録したコンピュータ可読である記憶媒体および、映像受信再生装置および方法 |