JP2010515303A - 複雑適応２Ｄ−ｔｏ−３Ｄビデオシーケンス変換 - Google Patents

複雑適応２Ｄ−ｔｏ−３Ｄビデオシーケンス変換 Download PDF

Info

Publication number
JP2010515303A
JP2010515303A JP2009543286A JP2009543286A JP2010515303A JP 2010515303 A JP2010515303 A JP 2010515303A JP 2009543286 A JP2009543286 A JP 2009543286A JP 2009543286 A JP2009543286 A JP 2009543286A JP 2010515303 A JP2010515303 A JP 2010515303A
Authority
JP
Japan
Prior art keywords
image
image class
frame
flat image
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009543286A
Other languages
English (en)
Other versions
JP4938861B2 (ja
Inventor
ワン、ハオホン
リ、シアン−ツン
マンジュナス、シャラス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2010515303A publication Critical patent/JP2010515303A/ja
Application granted granted Critical
Publication of JP4938861B2 publication Critical patent/JP4938861B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects

Abstract

２次元（２Ｄ）入力のフレームを平坦画像クラスおよび非平坦画像クラスのうちの１つに分類する、複雑適応のおよび自動の、２次元（２Ｄ）から３次元（３Ｄ）への画像およびビデオ変換に対する技術を記述する。平坦画像クラスのフレームは、表示するために３Ｄステレオに直接変換される。非平坦画像クラスとして分類されるフレームは、複雑さに基づいて、自動的に、かつ適応的にさらに処理されて、奥行きマップ推定が生成される。その後、奥行きマップ推定または調整された奥行きマップを使用して、非平坦画像クラスのフレームは、３Ｄステレオ画像に変換される。調整された奥行きマップは、複雑さに基づいて処理される。

Description

背景
Ｉ．分野
本開示は一般に、ステレオビデオ技術に関し、より詳細には、複雑適応２Ｄ−ｔｏ−３Ｄ画像およびビデオ変換に対する技術に関する。
ＩＩ．背景
ステレオビデオ技術の発展は、左右のビューの間の両眼視差によって、実際的なシーンの３次元（３Ｄ）の知覚を可能にする。これは人間の視覚システムによく似ており、人間の視覚システムは、我々の左右の眼によって見られる２つの異なるビューを取得できる。ステレオビデオ技術は、人間の脳の重要な部分だけが両眼情報の処理に専用であるという仮定に基づいている。すなわち、これらのステレオシステムは我々の脳の機能を利用して、ビューの視差を測定し、観察者からのシーン中のオブジェクトの相対距離を測定する。
現在、ステレオビデオを取り込み、処理し、圧縮し、送信し、および表示するアプローチを開発するのに多大な努力がなされている。他のいくつかの努力がこれらの技術を標準化するのになされている。しかしながら、展開されている現在のマルチメディアデバイスのほとんどは、単眼のインフラストラクチャ内で実現されており、生成され、市場で売られるビデオのほとんどは、２次元（２Ｄ）の映画である。それゆえに、２Ｄ−ｔｏ−３Ｄビデオ変換技術が、３Ｄメディア消費市場を拡大するために期待されている。
最近、２Ｄから３Ｄに画像を変換することにおいていくつかの試みがある。１つのアプローチにおいて、リアルタイムの方法は、２Ｄ画像の多数の分離したエリアの、コントラスト、鮮鋭度、およびクロミナンスから、ならびに動き情報から、それらのエリアの深さを計算する。その後、変換が、取得されたステレオ情報に基づいて行われる。別のアプローチにおいて、顔の特徴ベースのパラメトリック奥行きマップ発生スキームが、２Ｄの頭および肩の画像を３Ｄに変換する。同様に、さらなるアプローチにおいて、運動学および人間の歩行の動きモデルが、予備知識の源として使用されて、単眼画像シーケンスの３Ｄの歩行が推定される。
２Ｄから３Ｄに画像を変換する別の試みにおいて、奥行きマップが、混合された１組の自動および手動の技術に基づいて抽出され、手動の処理は、自動のデータ相関解析が失敗したときに呼び出される。さらに別の試みにおいて、奥行きマップ発生に対して教師なし方法が提案されている。しかしながら、例えば、予備的処理における画像の分類のような、アプローチにおけるいくつかのステップは、些細なものではなく、実現するのに非常に複雑であるかもしれない。したがって、実施は、現実的でない。さらなる試みにおいて、リアルタイムの２Ｄ ｔｏ ３Ｄ画像変換アルゴリズムは、動き検出と領域セグメント化とを使用する。しかしながら、オブジェクトのセグメント化およびオブジェクトの奥行き推定の不正確さにより、アーティファクトが回避可能でない。セグメント化されたオブジェクトが使用されて、オブジェクトのセグメント化のアーティファクトが回避される。
２Ｄから３Ｄに画像を変換するさらなるアプローチにおいて、カメラの動きの解析が、ＶＯＰ（ビデオオブジェクトプレーン）の動きベクトルのデータに対して実施され、オブジェクトは、カメラの動きのタイプにしたがって別々に水平にシフトされる。さらなるアプローチにおいて、例えば、拡張カルマンフィルタのような、典型的なＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）法が、オブジェクトレベルの処理に対して拡張される。さらなるアプローチにおいて、新しいオンラインＩＣＡ混合モデルが、画像のセグメント化のために使用されており、システムは、奥行き推定および画素シフトのアルゴリズムを経て、３Ｄ効果画像を発生させる。
容易に理解できるように、２Ｄ−ｔｏ−３Ｄ画像および／またはビデオ変換のための既存のアプローチは、複雑さ適応でない。さらに、２Ｄ−ｔｏ−３Ｄ画像および／またはビデオ変換のための既知のアプローチは、リアルタイムおよびオフラインの２Ｄ−ｔｏ−３Ｄビデオ変換の両方に対して一般的ではなく、または、いくつかの以前に記録された２Ｄ映画の３Ｄ効果を向上させるために使用されない。
それゆえに、複雑適応の２Ｄ−ｔｏ−３Ｄ画像およびビデオ変換のための技術に対して技術的必要性が存在する。
概要
複雑適応の２Ｄ−ｔｏ−３Ｄ画像およびビデオ変換のための技術をここで記述する。１つの実施形態において、装置は、２次元（２Ｄ）の入力のフレームを、第１の画像クラスまたは第２の画像クラスに分類するように動作可能な画像分類モジュールを含む。装置はまた、奥行きマップ推定を生成するために、第２の画像クラスとして分類されたそれらのフレームを、複雑さに基づいて、自動的に、かつ適応的に処理するように動作可能な画像奥行きマップ推定モジュールを含む。３Ｄ画像対発生モジュールが提供され、３Ｄ画像対発生モジュールは、第１の画像クラスとして分類されたそれらのフレームを直接に、第２の画像クラスとして分類されたフレームを、奥行きマップ推定を使用して、３Ｄステレオ画像に変換するように動作可能である。
別の観点において、方法は、２Ｄ入力を解析することと、平坦画像クラスと、非平坦画像クラスとから選択されるクラスに２Ｄ入力のフレームを分類することとを含む。非平坦画像クラスとして分類されたフレームは、複雑さに基づいて、自動的にかつ適応的に処理されて、奥行きマップ推定が生成される。平坦画像クラスとして分類されたフレームは、３Ｄステレオ画像に直接変換される。処理ステップの後に、非平坦画像クラスとして分類されたフレームは、３Ｄステレオ画像に変換される。
本開示のさまざまな観点および実施形態を、以下でさらに詳細に記述する。
同じ参照文字が全体にわたってそれに応じて識別する図面に関連して取り入れられるとき、以下で示した詳細な説明から、本開示の観点および実施形態は、より明らかになるだろう。
図１は、３Ｄステレオ画像装置のブロック図を図示する。 図２は、画像奥行き推定モジュールのブロック図を図示する。 図３は、ステレオ画像対発生モジュールのブロック図を図示する。 図４は、複雑適応および自動の２Ｄ−ｔｏ−３Ｄ画像およびビデオ変換方法のフローチャートを説明する。 図５は、フレームを分類する（ズームされた画像を決定する）方法のフローチャート図を説明する。 図６は、評価段階にある、選択されるセグメント化領域を図示する。 図７は、オブジェクトのセグメント化のための、複雑適応プロセスのフローチャートを図示する。 図８は、複雑適応セグメント化および画像奥行きマップ調整のプロセスのブロック図を図示する。 図９は、ステレオ画像対発生プロセスのフローチャートを説明する。 図１０Ａは、両眼視の左右のビューを図示する。 図１０Ｂは、視差マップを計算するパラメータである、両眼視の幾何学モデルを図示する。 図１１Ａは、Ｚバッファベースの３Ｄ補間プロセスのフローチャートを説明する。 図１１Ｂは、Ｚバッファベースの３Ｄ補間プロセスのフローチャートを説明する。
詳細な説明
２次元（２Ｄ）画像のビデオシーケンスを、３Ｄステレオビデオシーケンスに変換する特定の適用とともに、３Ｄステレオ画像装置の実施形態を以下で記述する。しかしながら、本発明は、リアルタイムおよびオフラインを要求する変換の両方において、他のタイプの２Ｄ画像を３Ｄに変換するのに十分適合されることも当業者によって理解されるだろう。いくつかの以前に記録された２Ｄ映画の３Ｄ効果を向上させるために、実施形態はまた、ＹＵＶフォーマット、または、赤、緑、青（ＲＧＢ）フォーマットで処理された画像に対して適合されている。２Ｄ画像は、単一センサのカメラセンサによって取り込まれる単眼画像を含んでいてもよい。
これから図１を参照すると、一般的に１０で示された３Ｄステレオ画像装置が示されている。３Ｄステレオ画像装置１０は、一般に、ここで記述する装置１０の動作を制御するプロセッサ２４と、レンズ１２と、２次元（２Ｄ）の画像取り込みユニット１４と、２Ｄ−ｔｏ−３Ｄビデオシーケンスコンバータ３０とを含んでいる。プロセッサ２４は、メモリ２６中に記憶されているプログラム命令またはプログラミングコードを実行して、ここで記述する動作を実行する。２Ｄ画像取り込みユニット１４は、カメラセンサモジュール１６と、ズームモジュール１８と、自動焦点モジュール２０とを含んでいる。カメラ、カムコーダー、および他のビデオ画像デバイス（例えば、ビデオ機能を有する移動電話機）の、ズーム機能および自動焦点機能は十分確立されており、さらなる説明を必要としない。装置１０は、ワイヤードまたはワイヤレス通信ネットワークまたはデバイスと通信するための通信ユニット２５をさらに含んでいる。したがって、装置１０は、ビデオ機能を有する、モバイルの、セルラの、衛星の、ワイヤレス通信デバイスまたは他の電話機に適している。装置１０は、ビデオ機能を有する、ラップトップ、タブレットＰＣ、ノートブックなどのような、他のハンドヘルドまたはポータブルのデバイスを含んでいてもよい。
カメラセンサモジュール１６は、単一センサのカメラセンサモジュールであり、ズームモジュール１８および／または自動焦点モジュール２０を使用して、単眼の画像またはビデオシーケンスを取り込む。例示目的のために、１つの画像だけが取り込まれることから、そのような画像は、ディスプレイ２２上でのステレオ画像化および表示に対して左（Ｌ）ビューを表すために使用される。左ビュー（最初の取り込まれた画像）および画像奥行きマップから、ステレオ画像対発生器モジュール５０において、第２のすなわち欠けている右（Ｒ）ビューを発生させるために、ステレオ画像対発生器モジュール５０が、２Ｄ−ｔｏ−３Ｄビデオシーケンスコンバータ３０中に含まれている。図３において最もよく見られるように、ステレオ画像対発生器モジュール５０は一般に、視差マップサブモジュール５２と、Ｚバッファ３Ｄ表面回復サブモジュール５４と、ステレオビュー発生器サブモジュール５６とを備えている。
２Ｄ−ｔｏ−３Ｄビデオシーケンスコンバータ３０は、画像奥行き推定モジュール４０と、３Ｄ効果発生器モジュール６０とをさらに含んでいる。ステレオ画像対発生器モジュール５０の出力は、３Ｄ効果発生器モジュール６０によりさらに処理される左右のビューを出力する。例示的な実施形態において、３Ｄ効果発生器モジュール６０は、結果として生じる３Ｄ効果を実証する高価でない赤と青のアナグリフである。発生されるステレオビューは、ホログラフィックデバイスおよびステレオデバイスのような他のメカニズムによって表示されるのに適している。
これから図２を参照すると、画像奥行き推定モジュール４０のブロック図が示されている。画像奥行き推定モジュール４０は、画像分類サブモジュール４２と、画像奥行きマップ推定サブモジュール４６とを含んでいる。画像分類サブモジュール４２は、平坦画像検出器４４Ａを有しており、平坦画像検出器４４Ａは、画像を平坦または非平坦のタイプに分類して、平坦画像を処理する計算の複雑さを低減させ、画像奥行きマップ推定サブモジュール４６によって実行される画像奥行きマップ発生において、可能性のあるアウトライアーを低減させる支援をする。画像分類サブモジュール４２は、適切なときに、推定の精度を適応的に調整する複雑さ評価器４４Ｂをさらに含む。変換プロセスを単純化して、処理速度と推定の精度を交換できるという意味において、複雑さは適応性がある。
画像奥行きマップ推定サブモジュール４６は、オブジェクトセグメント化器４８Ａを含み、オブジェクトセグメント化器４８Ａは、オブジェクトのセグメント化に対してルールベースのアプローチを使用して、同じオブジェクトに属している画素の奥行きの調整を支援する。画像奥行きマップ推定サブモジュール４６はまた、時間的奥行き平滑化を使用して、奥行きマップ調整器４８Ｂによって、セグメント化エラーによりもたらされる視覚上の不快感を回避する。
これから図４を参照して、２Ｄ−ｔｏ−３Ｄビデオシーケンスコンバータ３０の動作を記述する。そのような動作は、複雑適応および自動の２Ｄ−ｔｏ−３Ｄ画像およびビデオ変換方法と呼ばれており、一般的に１００で示されている。記述的な目的のために、処理に対する画像は、ＹＵＶまたはＲＧＢフォーマットを有し、出力は左右のビューであると仮定している。
複雑適応および自動の２Ｄ−ｔｏ−３Ｄ画像およびビデオ変換方法１００は、ステップＳ１０２において入力画像を解析する。入力画像は、２Ｄ画像取り込みユニット１４によって取り込まれている。代わりに、入力画像は、古いまたは以前に記録された２Ｄ映画からのものであってもよい。ステップＳ１０４がステップＳ１０２の後に続き、ステップＳ１０４において、１組のヒューリスティック論理により、平坦または非平坦のフレーム（シーン）に入力画像を分類するために、画像解析が行われる。方法１００において、非平坦なフレーム（シーン）だけが、それらの複雑さに基づいて、さらにセグメント化され、処理される。それに応じて、ステップＳ１０８がステップＳ１０４の後に続き、ステップＳ１０８において、平坦画像検出器４４Ａによって入力画像が平坦なシーンであるかどうかが決定される。平坦画像検出器４４Ａの動作は、図５に関して詳細に記述する。ステップＳ１０８において、決定が“はい”である場合（シーンが平坦なシーンであることを意味する）、ステップＳ１１８がステップＳ１０８の後に続く。平坦画像に対して、結果として生じる左ビューおよび右ビューは、元の画像と同じである。それゆえに、奥行き推定／セグメント化のような、さらなる処理は必要とされない。デフォルトによって、ステレオ画像対発生ステップＳ１１８は、左右のビューの両方に対してステップＳ１０８からの元の画像を使用する。
しかしながら、ステップＳ１０８における決定が“いいえ”である場合（シーンが非平坦シーンであることを意味する）、ステップＳ１１０がステップＳ１０８の後に続き、それにより、さらなるセグメント化および処理が後に続いて起こり得る。一般に、フレームの奥行き情報はオブジェクトのセグメント化によって推定され、奥行きは、観察から抽出される、多数の予め規定されているルールにより調整される。複雑適応を向上させるために、関連している奥行きマップを発生させるプロセスは、低複雑さのアプリケーションに対するセグメント化動作を除去することにより単純化できる。その結果、ステップＳ１１０において、画素の奥行きの推定が行われる。ステップＳ１１２がステップＳ１１０の後に続き、ステップＳ１１２において、計算リソースの利用可能性および計算複雑さ要求が決定または評価され、それにより、方法１００および装置１０は、適切な複雑さ解決方法（例えば、低複雑さ解決方法、中複雑さ解決方法、および高複雑さ解決方法）をスマートに選択できる。したがって、この評価に基づいて、低複雑さ解決方法が要求されているかどうか、または処理がリアルタイムで実施されているかどうかが決定される。ステップＳ１１２における決定が“いいえ”である場合、ステップＳ１１４において、セグメント化動作による複雑適応（図８）が行われる。そうでなくて、ステップＳ１１２における決定が“はい”である場合、オブジェクトセグメント化器４８によるオブジェクトのセグメント化が回避され、ステップＳ１１８がステップＳ１１２の後に続く。ステップＳ１１８において、ステレオ画像対の発生が、ステレオ画像対発生器モジュール５０により行われる。
これからステップＳ１１４に戻ると、ステップＳ１０４における画像解析の間に、統計データがステップＳ１０６において発生される。そのような統計データは、ステップＳ１１４のオブジェクトのセグメント化を実行するためにオブジェクトセグメント化器４８Ａによって使用される。ステップＳ１１６がステップＳ１１４の後に続き、ステップＳ１１６において、図８に関してより詳細に記述するように、画素の奥行き調整が行われる。ステップＳ１１８がまた、ステップＳ１１６の後に続き、ステップＳ１１８において、図９に関してより詳細に記述するように、ステレオ画像対の発生が行われる。ステップＳ１２０がステップＳ１１８の後に続き、ステップＳ１２０において、さらにいくつかのフレームがあるかどうかが決定される。フレームが最後のフレームでない場合、ステップＳ１２０はステップ１０２に戻る。さもなければ、最後のフレームが到着したときに方法１００は終了する。
画像がステップＳ１０２において入力され、ステップＳ１０４において解析されるとき、入力画像が平坦なシーンを表すかどうかを検出するために、色ベースの解析が平坦画像検出器４４Ａによって使用される。入力画像が平坦なシーンである場合、両方（左および右）のビューが同じであり、したがって、ステップＳ１１８において、元の画像を（右）ビューに対して使用できる。
画像が非平坦なシーンである場合、ステップＳ１１０において、ルールベースの画像画素奥行き推定プロセスが使用されて、入力画像中の各画素に対して概算された奥行きが割り当てられる。ステップＳ１１２において決定される、低複雑さの制約がない場合、または、アプリケーションがリアルタイムで実施されている場合、ステップＳ１１４におけるオブジェクトのセグメント化とステップＳ１１６における画素奥行き調整とを使用することにより奥行きが調整され、それにより、同じオブジェクトを表している画素は、類似の奥行き値を有することができる。複雑さ評価器４４Ｂにより決定されるような、低複雑さの制約がある場合、ステップＳ１１４（オブジェクトのセグメント化）およびステップＳ１１６（画素奥行き調整）はスキップされ、または部分的にスキップされて、速度と精度が交換される。用語“部分的にスキップされる”は、オブジェクトのセグメント化におけるいくつかのステップ（例えば、動き推定）を、低／中の複雑さ要求を満たすためにスキップできることを意味する。画像奥行きマップ推定サブモジュール４６から発生される奥行きマップが処理されて、ステレオ画像対発生器モジュール５０によって、左右のビューを表しているステレオ画像対が自動的に発生される。
画像奥行き推定
ステップＳ１１０において、画像奥行き推定モジュール４０は、画像中の各画素に対して奥行きを推定する。ステレオビューが単眼画像とその関連する奥行きマップから発生される。一般に、画像奥行き推定プロセスは、観察から取得される１組のルールに基づいている。一例として、屋外の画像に対して、上部側は空を表す可能性が強く、地面は通常、画像の下部に位置している。これは、画像の中心および下部側が、一般的な画像における上部側よりもより近い傾向があるという観測に適合する。最も重要な部分は、オブジェクトの正確な奥行きを取得する代わりに、オブジェクト間の相対位置を発見することである。上述したようなルールは、オブジェクト間の相対位置（例えば、上部側は、中心および下部側より遠い）を検出するための基本的なガイドラインを与える。いったん（どちらがどちらよりも遠いような）オブジェクト間の関係が推定されると、オブジェクトの奥行きが、奥行きにおける線形または非線形の補間を使用することにより推定できる。
画像分類
画像分類サブモジュール４２は最初に、（ステップＳ１０８において）“平坦画像”および“非平坦画像”のクラスに画像を分類する。平坦画像クラスは、ほとんど奥行き情報を含まず、したがって、奥行きの推定は必要とされない。一般に、可能性のある平坦画像には、２種類の画像がある。平坦なシーンの画像の第１のタイプは、ズームされた画像である。ズームされた画像において、画像中の画素の奥行きの差異は、ズームモジュール１８によるズーム効果により、視覚的に無視できるほどである。平坦なシーンの画像の第２のタイプは、９０度のカメラの仰角による上（または下）からのビューに対応する画像を含む。上からのビューの画像は、ユーザが飛行機中で立っている間に、または他のいくつかの場所において、地球、地面などの方を見下ろしている間に、取り込まれた画像である。下からのビューの画像は、ユーザが立っているか、または他のいくつかの場所におり、画像を取り込むために見上げている間に取り込まれた画像である。
９０度よりも小さい仰角を有するビューは、十分な奥行き情報を含んでいる。さらに、視野角は奥行きの知覚を増加させることから、これらのビューからの奥行き情報は、ゼロ度（０°）の仰角によるビューからの奥行き情報よりも抽出することが容易である。
記述的な目的のために、処理するためのビデオは、ユーザによって注意深く生成され、したがって、視覚上の不快感が低い確率に制限されていると仮定する。それゆえに、ビデオにおいて、さかさまの画像の発生、および９０度のカメラの仰角による上（または下）からのビューは無視してもよいと結論づける（仮定する）ことは妥当であろう。したがって、レンズ１２の方向は、通常の知覚により標準的に合わされる（水平平面に沿って合わされる）と仮定される。
ズームモジュール１８によるズームインおよびズームアウトの動作は、２Ｄ画像取り込みユニット１４によるビデオまたは画像の取り込みのときに、カメラの動作において一般に使用される。したがって、平坦画像を検出するために、２Ｄ−ｔｏ−３Ｄビデオシーケンスコンバータ３０は、ズームされたフレームを自動的に検出できる必要がある。理論的に言えば、ズームインのフレームに対して、“膨張する”動きパターンが、動き推定において生じるだろう。すなわち、マクロブロックの動きベクトルが、ズーム動作の中心からの距離に比例するベクトルの長とともに、ズーム動作の中心から外側に向いているだろう。しかしながら、フレーム中のノイズが、不正確な動き推定と、それゆえに誤った検出とを生じさせるかもしれない。さらに、動き推定は、低複雑さのアプリケーションに対してかなり計算量が多い。
ズームされたフレームを自動的に検出してフレームを分類するために、色ベースの、ズームされた画像検出アルゴリズムが用いられる。ほとんどのビデオシーケンスにおいて、カメラのズーム動作は、ズームイン −＞ステイ −＞ズームアウト、またはズームイン −＞ステイ −＞シーンの変更、のシーケンスをたどり、それにより、ズームされ、取り込まれた画像は、色のヒストグラムの変化により検出できる。
図５は、フレームを分類する（ズームされた画像を決定する）ステップＳ１０８に対する方法のフローチャート図を示す。図５中で示したロジックに対応する擬似コードは、次のように示される。
Figure 2010515303
最初に、ｎは現在のフレームｆnのインデックスを示し、Ｔnは現在の画像のズームのタイプを示し（Ｔn＝１は、ズームされた画像を表し、その他の場合は、Ｔn＝０）、Ｖnは現在の画像の分散を示し、Ｈn（Ｃn,m）は３２のビンの色のヒストグラムを示し、Ｃn,mはソートされたヒストグラムを有する色（すなわち、Ｃn,０は、最も高いヒストグラムを有する色）を示し、Ｓ（ｆn-1，ｆn）は、２つのフレームｆn-1とｆnとの間のシーンの類似性を示す（Ｓ（ｆn-1，ｆn）＝１は、シーンの変更があることを意味する）。Ｓ（ｆn-1，ｆn）は、等式（１）および等式（２）において次のように定義される。
Figure 2010515303
Ｔｈは、画像の類似性を検出するためのしきい値である。
ステップＳ１０８に対する方法は、ステップＳ１５２から開始し、ステップＳ１５２において、Ｔn-1＝１（前のフレーム（ｎ−１）がズームされたフレームであったことを意味する）であるかどうかが決定される。ステップＳ１５２における決定が“はい”である場合、ステップＳ１５４がステップＳ１５２の後に続き、ステップＳ１５４において、上の等式（１）および等式（２）に基づいて、Ｓ（ｆn-1，ｆn）＝１（シーンの変更を意味する）であるかどうか、別の決定がなされる。ステップＳ１５４における決定が“はい”である場合（シーンの変更を意味する）、ステップＳ１６２がステップＳ１５４に続き、ステップＳ１６２において、Ｔnが０に等しくなるように設定される（現在のフレームがズームされた画像でないことを意味する）。したがって、現在のフレームは、非平坦画像である。
ステップＳ１５２において、前のフレームがズームされた画像（Ｔn-1＝１）であり、かつ、ステップＳ１５４において、現在のフレームがシーンの変更でない場合（Ｓ（ｆn-1，ｆn）≠１を意味する）、ステップＳ１５８において、ステップＳ１０８の方法は、２Ｄ画像取り込みユニット１４のズームモジュール１８がズームアウトしているかどうかを決定する。一例として、Ｖnとして示される画像の分散の段階的な増加と、最近のフレーム中のある色（前のフレームの原色成分）のパーセンテージの段階的な減少とにより、ズームアウトしている状態が決定できる。同様に、前のフレームｆn-1がズームされた画像でない場合（Ｔn-1＝０を意味する）、ステップＳ１０８の方法はまた、ステップ１５６においてカメラがズームインしているかどうかを検出する必要がある。したがって、ステップＳ１５６がステップＳ１５２の後に続く。
値ｋは、フレームレートと標準的なズーム速度とにより決定される定数であることに注目すべきである。ビデオクリップ当たり３０フレーム秒に対して、ｋ＝１０は、妥当な設定となり得る。
ステップＳ１５４に再び戻ると、決定が“いいえ”である場合（現在のフレームはシーンの変更でないことを意味する）、ステップＳ１５８がステップＳ１５４の後に続き、ステップＳ１５８において、次の等式（３）が満たされるかどうかが決定される。
Figure 2010515303
ステップＳ１５８における決定が“いいえ”である場合、ステップＳ１６０がステップＳ１５８の後に続き、ステップＳ１６０において、Ｔnが１に等しくなるように設定される（現在のフレームがズームされた画像であることを意味する）。しかしながら、ステップＳ１５８における決定が“はい”である場合、ステップＳ１６２がステップＳ１５８の後に続き、ステップＳ１６２において、Ｔnが０に等しくなるように設定される（現在のフレームがズームされた画像でないことを意味する）。したがって、現在のフレームは非平坦画像である。
ステップＳ１５２における決定が“いいえ”である場合（前のフレームｆn-1がズームされた画像でないことを意味する）、ステップＳ１５６がステップＳ１５２の後に続く。ステップＳ１５６において、次の等式（４）が満たされるかどうかが決定される。
Figure 2010515303
ステップＳ１５６における決定が“はい”である場合、ステップＳ１６０がステップＳ１５６の後に続き、ステップＳ１６０において、Ｔnが１に等しくなるように設定される（現在のフレームがズームされた画像であることを意味する）。しかしながら、ステップＳ１５６における決定が“いいえ”である場合、ステップＳ１６２がステップＳ１５６の後に続き、ステップＳ１６２において、Ｔnが０に等しくなるように設定される（現在のフレームがズームされた画像でないことを意味する）。したがって、現在のフレームは非平坦画像である。
画像奥行きマップ推定
平坦画像クラスはほとんど奥行き情報を含まないことから、（ステップＳ１０８において）平坦画像であると決定されたそれらの画像は、奥行き推定を必要としない。したがって、以下の記述は、非平坦画像に対してステップＳ１１０において実行される画像奥行きマップ推定に関する。例示的な実施形態は、画像画素の実際の奥行きを回復しない。代わりに、例示的な実施形態は、画像奥行きマップを発生させるか、または推定して、元の画像の３Ｄ効果を向上させる。ステップＳ１１０の画像奥行きマップ推定プロセスは、２つの基本的な仮定に基づいている。第１の仮定は、シーンは多数のオブジェクトによって構成され、同じオブジェクトに対応する画素はより近い奥行き値を有し、それらの差異は無視してよいものとし得ることである。第２の仮定は、ほとんどの非平坦画像に対して、オブジェクトの奥行きは、上部から下部にかけて減少するということである。仮定に対していくつかの反対の例があり、それらは、例えば、屋内のシーンや、閉塞が発生するケースである。しかしながら、そのようなシーンの検出は、極度に難しく、時間を消費し、利用可能な低複雑さ解決方法がない。一般に、上で示した２つの仮定は、ほとんどのビデオクリップに対して有効であり、反対の例は、発生される３Ｄ画像の視覚効果に対し重大な影響を与えない。
さらに図４を参照すると、ステップＳ１１０の画像奥行きマップ推定プロセスは、最初に、各画素に奥行き値を割り当て、奥行き値は、その垂直座標値に比例している。その後、奥行きマップは、図７中で示したステップＳ１１４においてオブジェクトのセグメント化の結果に基づいて調整される。特に図６および図７を参照すると、計算の複雑さを低減させるために、必要な場合に、画像の一部だけがセグメント化のために選択される。しかしながら、ステップＳ１１２において、低複雑さ解決方法が要求される場合、オブジェクトのセグメント化および画素奥行き調整のステップＳ１１４およびＳ１１６はスキップできる。
中心および下部の領域は通常、より視覚的に感度がよい、より近いオブジェクトに対応することから、図６において最もよく見られるように、これらの領域はセグメント化に対する領域として選ばれる。セグメント化領域は、元の画像の下部を中心とした部分として選択される。例示的な実施形態において、下部を中心とした部分の上端は、元の画像の上端よりも下に１／３のところにあり、すなわち、元の画像の垂直高さ（ｙ）の２／３である。セグメント化領域の下端は、元の画像の下端に位置合せされる。しかしながら、セグメント化領域の左右の端は、左端から水平長さ（ｘ）の１／１０と、右端から水平長さ（ｘ）の１／１０とである距離から始まる。セグメント化領域において、オブジェクトのセグメント化は、領域を多数の副領域（またはオブジェクト）に分けるように行われる。しかしながら、垂直高さ（ｙ）の１／３および水平長さ（ｘ）の１／１０以外の他の比率をセグメント化領域に対して代用してもよい。
再び図７を参照すると、オブジェクトセグメント化器４８Ａによって要求されるとき、複雑適応機能はまた、より高い複雑さ解決方法を使用する。したがって、ステップＳ１１４はステップＳ１６３から開始し、ステップＳ１６３において、計算リソースおよび計算複雑さ要求に基づいて、高複雑さ解決方法が要求されるかどうかが決定される。決定が“はい”である場合、ステップＳ１６４がステップＳ１６３の後に続き、ステップＳ１６４において、例えば、高複雑さ解決方法が用いられるとき、色情報だけでなく、動き推定から動き情報が取得される。ステップＳ１６５がステップＳ１６４の後に続き、ステップＳ１６５において、例えば、色および動き情報を使用して、オブジェクトがセグメント化される。
しかしながら、ステップＳ１６３における決定が“いいえ”である場合、ステップＳ１６６がステップＳ１６３の後に続き、ステップＳ１６６において、中複雑さ解決方法が要求されるかどうかが決定される。ステップＳ１６６における決定が“はい”である場合（オブジェクトのセグメント化に対して中複雑さの手続きが用いられることを意味する）、ステップＳ１６７がステップＳ１６６の後に続く。ステップＳ１６７において、中複雑さの手続きは、色情報だけを用いる。しかしながら、他の中複雑さの手続きを代用してもよい。ステップＳ１６８がステップＳ１６７の後に続き、ステップＳ１６８において、オブジェクトは、中複雑さの手続きを使用して色情報によりセグメント化される。ステップＳ１６５およびＳ１６８は、ステップＳ１１４に対するプロセスを終了させる。さらに、ステップＳ１６６における決定が“いいえ”である場合、ステップＳ１１４のプロセスはまた終了する。
理解できるように、中複雑さ解決方法がより高い優先順位を有するかどうか次第で、決定ステップＳ１６３およびＳ１６６の配列をシフトできる。一般に、高複雑さ解決方法はより正確である。動き推定および色情報は、オブジェクトのセグメント化ステップＳ１１４の一部とすることができ、または、画像解析ステップＳ１０４によって提供される、ステップＳ１０６における統計データの一部とすることができる。通常、動き推定プロセスは、かなり時間を消費する。したがって、動き推定プロセスは、ステップ１０４において必ずしも実行されず、複雑さ要求次第でステップＳ１１４において行われる。しかしながら、動き推定プロセスがいくつかのアプリケーションに対して利用可能である場合、オブジェクトのセグメント化（ステップＳ１１４）は労力を節約できる。
中複雑さ解決方法が要求されるとき、色情報だけがセグメント化に対して使用される。リアルタイムのアプリケーションに対して、または、低複雑さ解決方法が要求されるとき、セグメント化動作は、計算に重い負担をかけることを回避するためにスキップされる。３Ｄステレオ画像装置１０の現在のステータス（例えば、リソース割り振り、およびＣＰＵの使用）をプログラムコードに知らせるために、プロセッサ２４からフィードバックチャネルがあると仮定される。プロセッサ２４は、画像の複雑さに基づいて適応的に解決方法を選ぶことができる。複雑さ要求は、例えば、移動電話機中の、アプリケーションレベルのソフトウェアにより基本的に調整される。電力消費を制御するソフトウェアは、計算複雑さ要求に直接影響を及ぼす各実行タスクに対して、計算能力を動的に割り振る。
図８において、オブジェクトのセグメント化および奥行きマップ（画素奥行き）調整の両方の複雑適応プロセスを示す。プロセスは一般に、ステップＳ１１４とＳ１１６との両方に対するものであり、ステップＳ１７２から開始し、ステップＳ１７２において、セグメント化領域（図６）がフェッチされた画像において選択される。ステップＳ１７４がステップＳ１７２の後に続き、ステップＳ１７４において、連結成分ラベリングアプローチを使用して、同じ領域内の画素が類似の色強度を有する多数の小さい連結領域に画像を分割する。ステップＳ１７６がステップＳ１７４の後に続き、ステップＳ１７６において、いずれかの隣接する副領域が、近い、平均の色強度を有する場合、色ベースの領域マージアルゴリズムを使用して、これらの小さい領域をより大きい領域にマージする。ステップＳ１７８がステップＳ１７６の後に続き、ステップＳ１７８において、（利用可能な場合）動き情報をさらに使用して、動きベースの領域マージアルゴリズムにより、類似の方向に動いている領域をより大きいオブジェクトにマージする。
ステップＳ１７２、Ｓ１７４、Ｓ１７６、およびＳ１７８はセグメント化ステップである。ステップＳ１７６およびＳ１７８は、選択的に使用でき、ステップＳ１７８は、高複雑さ解決方法に対してだけに使用される。セグメント化ステップが完了した後に、ステップＳ１８０がステップＳ１７８の後に続き、ステップＳ１８０において、画素奥行きが各オブジェクトに対して調整され、オブジェクト内の各画素の奥行きには、オブジェクト中の画素の最小の奥行きが割り当てられる。最後に、ステップＳ１８２がステップＳ１８０の後に続き、ステップＳ１８２において、時間的奥行き平滑化プロセスを使用して、隣接フレーム間の急激な奥行きの変化を回避する。時間的奥行き平滑化プロセスに対するモチベーションは、一般に、ビデオクリップのフレームレートが十分高く、それにより、いくつかの閉塞のケースを除いて、シーン中のオブジェクトが奥行きにおいてあまり速く動かないことである。（ｎ−１）番目およびｎ番目のフレーム中の画素（ｉ，ｊ）の奥行きを、ｄn-1（ｉ，ｊ）およびｄn（ｉ，ｊ）により表し、ｄn（ｉ，ｊ）は、次の等式（５）にしたがって調整される。
Figure 2010515303
元の画像に対応する推定奥行きマップは、より遠いオブジェクトに対応するより明るいエリアと、より近いオブジェクトに対応するより暗いエリアとを有する。例示的な実施形態において、よりよいセグメント化のための意味情報の欠如により、いくつかの分類が誤られたオブジェクトが存在するが、図８中で示した調整を有する画像奥行きマップ推定プロセスは、より近いオブジェクトからより遠いオブジェクトを分類することができる。
これから図１、３および９を参照すると、装置１０は、ここまでは、画像すなわち左ビューを取り込み、画像奥行きマップ推定サブモジュール４６の出力において、対応する画像奥行きマップを取得している。ステレオ画像対発生モジュール５０は、これから記述するステップＳ１１８における画像対発生プロセスを使用する。ステップＳ２０６において、左ビューが取得され、ステップＳ２０４において、その対応する画像奥行きマップが取得される。
ステップＳ１１８の画像対発生プロセスは最初に、取得されたまたは取り込まれた画像が３Ｄステレオ画像装置１０のステップＳ２０６における左ビューであることを仮定しているが、代わりに、取得されたまたは取り込まれた画像は、右ビューと考えることができる。次に、ステップＳ２０２において、ステップＳ２０４において取得された画像奥行きマップ（画像奥行き推定モジュール４０の出力）に基づいて、画像に対する視差マップ（両方のビューにおける画像点間の画素における距離）が、視差マップサブモジュール５２において計算される。視差マップサブモジュール５２による視差マップの計算は、図１１Ａおよび１１Ｂに関連して以下で記述する。左ビューおよび奥行きマップの両方が視差マップを計算するために入力されるが、３Ｄのビューの発生に対して、ステップＳ２０６の左ビューおよびステップＳ２０４の奥行きマップは、Ｚバッファベースの表面回復プロセスに直接寄与する。ステップＳ２０８がステップＳ２０２の後に続き、ステップＳ２０８において、Ｚバッファ３Ｄ表面回復サブモジュール５４による、Ｚバッファベースの３Ｄ補間プロセスが、右眼からのシーンに対する３Ｄ可視表面を構築するために呼び出される。ステップＳ２１０がステップＳ２０８の後に続き、ステップＳ２１０において、図１０Ｂにおいて最もよく見られるように、３Ｄ表面を投影面に投影することにより、右ビューが取得される。
図１０Ａにおいて、遠方のオブジェクトに対する、投影面上の左（Ｌ）および右（Ｒ）のビューを使用して、両眼視の幾何学モデルを示している。図１０（Ｂ）において、Ｆは焦点距離であり、Ｌ（ｘL，ｙL，０）は左眼であり、Ｒ（ｘR，ｙR，０）は右眼であり、Ｔ（ｘT，ｙT，ｚ）はシーンにおける３Ｄ点であり、Ｐ（ｘP，ｙP，Ｆ）およびＱ（ｘQ，ｙQ，Ｆ）は、左右の投影面へのＴの投影点である。明らかに、投影面上でのＰおよびＱの水平位置は、（ｘP−ｘL）および（ｘQ−ｘR）であり、したがって、視差は、ｄ＝［（ｘQ−ｘR）−（ｘP−ｘL）］である。
図１０Ｂ中で示したように、Ｆとｚとの比は、次の等式（６）中で規定される。
Figure 2010515303
ここでｚは、奥行きであり、それにより次の等式（７）および（８）が成り立つ。
Figure 2010515303
したがって、視差ｄは、次の等式（９）により取得できる。
Figure 2010515303
したがって、左ビューにおけるすべての画素に対して、右ビューにおけるその対応する画素は、等式（９）において取得される視差値の距離だけ左側または右側にシフトされる。しかしながら、可能性のある閉塞により、左ビューから右ビューへのマッピングは、１対１のマッピングではなく、それゆえに、さらなる処理が右ビュー画像を取得するために必要とされる。
したがって、ステップＳ２１０のＺバッファベースの３Ｄ補間プロセスが、右ビュー発生のためにＺバッファ３Ｄ表面回復サブモジュール５４により実行される。（図１０Ａ中で示したように）眼からオブジェクトまでの距離と比較して、２つの眼の間の距離は非常に小さい。したがって、オブジェクトから左眼までの距離は、そのオブジェクトから右眼までの距離にほぼ等しいと仮定され、計算が非常に単純化される。したがって、奥行きマップＺ（ｘ，ｙ）（ここでＺ（ｘ，ｙ）は実際に画像奥行きマップであるが、検出すべき未知のマップである）は、右（Ｒ）ビューに対して維持され、ここでｘ，ｙは、ビューにおける画素の位置である。
これから図１１Ａおよび１１Ｂを参照して、右ビューに対する３Ｄ可視表面を再構築するためのステップＳ２１０のプロセスを記述する。開始（ステップＳ２２２）において、奥行きマップは無限大として初期化される。ステップＳ２２４がステップＳ２２２の後に続き、ステップＳ２２４において、左ビュー中の画素（ｘ0，ｙ0）が取得される。次に、ステップＳ２２６において、奥行きｚ0と視差値ｄ0とを有する、左ビュー中のすべての画素（ｘ0，ｙ0）に対して、次のように規定される等式（１０）により、奥行きマップが右ビュー中のその対応する画素のために更新される。
Figure 2010515303
ステップＳ２２８がステップＳ２２６の後に続き、ステップＳ２２８は、さらに画素があるかどうかを決定するための決定ステップである。決定が“はい”である場合、ステップＳ２２８は次の画素を得るためにステップＳ２２４に戻る。しかしながら、左ビューにおけるすべての画素が処理された後（したがって、ステップＳ２２８における決定は“いいえ”である）は、ステップＳ２３０がステップＳ２２８の後に続き、ステップＳ２３０において、再構築された奥行きマップがチェックされ、無限大に等しい値を有する画素（左ビュー上で有効なマップがない画素）がサーチされる。ステップＳ２３２がステップＳ２３０の後に続き、ステップＳ２３２において、画素値（ＰＶ）が無限大に等しいかどうかが決定される。ステップＳ２３２における決定が“いいえ”である場合、画素値（ＰＶ）は有効であり、図１０ＢのステップＳ２４４において強度値として直接使用できる。
ステップＳ２３２における決定がそのような画素に対して“はい”である場合、ステップＳ２３４に続き、ステップＳ２３４において、最初に、利用可能な奥行き値を有する隣接する画素に基づいて、２Ｄ補間により、対応する画素に対する奥行きを計算する。ステップＳ２３６がステップＳ２３４の後に続き、ステップＳ２３６において、上述の等式（９）を使用して視差値が計算される。ステップＳ２３８がステップＳ２３６の後に続き、ステップＳ２３８において、プロセスは、左ビュー中の対応する画素を逆に発見する。画素が発見されたかどうかを決定するステップＳ２４０がステップＳ２３８の後に続く。対応する画素が利用可能である場合、ステップＳ２４４がステップＳ２４０の後に続き、ステップＳ２４４において、対応する強度値を右ビューの画素に関して使用できる。そうではなくて、ステップＳ２４０における決定が“いいえ”である場合、ステップＳ２４２がステップＳ２４０の後に続き、ステップＳ２４２において、補間が使用されて、利用可能な強度値を有する、右ビュー中の隣接画素に基づいて、強度値が計算される。
直接的な強度補間方法に対して、提案されたアルゴリズムを使用する利益は、それがステレオ効果に対してよりよいリアル感をもたらす、オブジェクト形状の３Ｄの連続性を考慮することである。左ビューの目に見えないエリアを回復する問題は不良設定問題である。１つの既知の解決方法において、欠けている画素の奥行きは、より遠い表面に対応する、水平方向におけるその隣接画素を使用することにより回復され、より遠い表面は、後ろに目に見える他の表面がシーン中にないという仮定を有する。いくつかのケースに対して、仮定は無効であるかもしれない。より可能性のあるケースを考慮するために、提案される解決方法において、表面の回復は、すべての方向におけるすべての隣接画素の奥行きを考慮し、それは、無効な仮定の機会を低減させ、回復された表面のよりよい３Ｄの連続性をもたらすだろう。
実験結果
多数のビデオクリップに対して方法１００をテストした。発生されるステレオビューは、ホログラフィックデバイスおよびステレオデバイスのようなメカニズムによって表示されるのに適しているが、高価でない赤および青のアナグリフを使用して、結果として生じる３Ｄ効果を実証した。アナグリフの結果は、一般に、元の画像中のオブジェクトに直接隣接した、元の画像中のオブジェクトの半透明シャドウまたはゴーストを実証する。赤および青のアナグリフは、青色および／または赤色により、半透明シャドウまたはゴーストに色をつける。１対の赤および青の３Ｄ眼鏡により、著しく向上した３Ｄ効果を観察できる。実験結果は、変換されたビデオの３Ｄ効果が実に明白であることを示している。
理解できるように、装置１０および方法１００は、複雑適応のおよび自動の、２Ｄ−ｔｏ−３Ｄ画像および／またはビデオ変換を提供する。さらに、装置１０および方法１００は、リアルタイムおよびオフラインの２Ｄ−ｔｏ−３Ｄビデオ変換の両方に対して汎用である２Ｄ−ｔｏ−３Ｄ画像および／またはビデオ変換を提供し、それを使用して、以前に記録された、いくつかの２Ｄ映画の３Ｄ効果を向上させることができる。
入力画像（すなわち、圧縮したまたは生のデータ）のビットストリームのフォーマットや、出力ビデオに対する表示方法のような他の問題は、ここで記述した範囲の範囲内でないことに注目すべきである。
いかなる当業者であっても本開示を実施しまたは使用できるように、開示した実施形態の記述をこれまでに提供している。これらの実施形態に対してさまざまな修正が当業者に容易に明らかになり、本開示の精神または範囲から逸脱することなく、ここで規定した一般的な原理を、他の実施形態に適用してもよい。したがって、本開示は、ここで示した実施形態に限定するように向けられてはいないが、ここで開示した原理および新規な特徴と一致する最も広い範囲に一致すべきである。

Claims (30)

  1. 方法において、
    ２Ｄ入力を解析することと、
    平坦画像クラスと非平坦画像クラスとから選択されるクラスに前記２Ｄ入力のフレームを分類することと、
    奥行きマップ推定を生成するために、前記非平坦画像クラスとして分類されたそれらのフレームを、複雑さに基づいて、自動的に、かつ適応的に処理することと、
    前記平坦画像クラスとして分類されたそれらのフレームを直接に、前記非平坦画像クラスとして分類されたそれらのフレームを前記処理ステップ後に、３Ｄステレオ画像に変換することとを含む方法。
  2. 前記処理ステップは、前記奥行きマップ推定を推定することと、現在のアプリケーションが前記非平坦画像クラスとして分類されたフレームに対して低複雑さ解決方法を要求するかどうかを決定することと、前記低複雑さ解決方法が要求されるとき、前記奥行きマップ推定を使用して、前記非平坦画像クラスとして分類されたそれらのフレームを直接変換することとを含む請求項１記載の方法。
  3. 前記処理ステップは、前記非平坦画像クラスとして分類されたフレームを多数のセグメント化された領域にオブジェクトセグメント化することと、前記セグメント化された領域の画素奥行きを調整することとをさらに含む請求項２記載の方法。
  4. 前記処理ステップは、利用可能な計算リソースと計算複雑さ要求とを決定することと、前記低複雑さ解決方法、中複雑さ解決方法、または高複雑さ解決方法を選択して、前記計算複雑さ要求を満たすこととをさらに含み、
    前記高複雑さ解決方法または前記中複雑さ解決方法が要求される場合、前記オブジェクトセグメント化ステップは色情報を使用し、
    前記高複雑さ解決方法が要求される場合、色情報と動き推定情報とが前記セグメント化ステップに対して使用される請求項３記載の方法。
  5. 前記処理ステップは、連結成分ラベリングプロセスにより、前記セグメント化された領域を処理して第１の出力を形成することと、色ベースの領域マージプロセスにより、前記第１の出力を処理して第２の出力を形成することと、動きベースの領域マージプロセスにより、前記第２の出力を処理して第３の出力を形成することと、前記第３の出力の画素奥行きを調整して第４の出力を形成することと、前記第４の出力を時間的奥行き平滑化することとをさらに含む請求項３記載の方法。
  6. 前記分類ステップは、前記フレームがズームされたシーンに対するものであるかどうかを決定することを含み、
    前記フレームがズームされたシーンに対するものである場合、前記フレームは前記平坦画像クラスとして分類され、前記フレームがズームされたシーンに対するものでない場合、前記フレームは前記非平坦画像クラスとして分類される請求項１記載の方法。
  7. 前記２Ｄ入力は、オフライン２Ｄ画像、単眼画像、および以前に記録された２Ｄ映画、のうちの１つを含む請求項１記載の方法。
  8. 前記変換ステップは、前記平坦画像クラスとして分類されたフレームを左ビューおよび右ビューの両方として割り当てることを含む請求項１記載の方法。
  9. 前記変換ステップは、前記非平坦画像クラスとして分類されたフレームを左ビューとして使用することと、前記非平坦画像クラスとして分類されたフレームの左ビューに対して、両眼視幾何学の左右のビューにおける画像点間の画素の距離に基づいて視差マップを計算することと、欠けている右視点からの３Ｄ可視表面を構築して、構築された３Ｄ表面を形成することと、前記構築された３Ｄ表面を投影面に投影することによりステレオビューを発生させることとを含む請求項１記載の方法。
  10. 装置において、
    ２次元（２Ｄ）入力を解析する解析手段と、
    平坦画像クラスおよび非平坦画像クラスから選択されるクラスに前記２Ｄ入力のフレームを分類する分類手段と、
    奥行きマップ推定を生成するために、前記非平坦画像クラスとして分類されたそれらのフレームを、複雑さに基づいて、自動的に、かつ適応的に処理する処理手段と、
    前記平坦画像クラスとして分類されたそれらのフレームを直接に、前記非平坦画像クラスとして分類されたそれらのフレームを、前記奥行きマップ推定を使用して、３Ｄステレオ画像に変換する変換手段とを具備する装置。
  11. 前記処理手段は、前記奥行きマップ推定を推定する推定手段と、現在のアプリケーションが前記非平坦画像クラスとして分類されたフレームに対して低複雑さ解決方法を要求するかどうかを決定する決定手段とを備え、
    前記低複雑さ解決方法が要求されるとき、前記変換手段は、前記奥行きマップ推定を使用して、前記非平坦画像クラスとして分類されたそれらのフレームを直接変換する請求項１０記載の装置。
  12. 前記処理手段は、
    前記低複雑さ解決方法が要求されないとき、前記非平坦画像クラスとして分類されたフレームを多数のセグメント化された領域にオブジェクトセグメント化するセグメント化手段と、
    前記セグメント化された領域の画素奥行きを調整する調整手段とをさらに備える請求項１１記載の装置。
  13. 前記処理手段は、
    高複雑さ解決方法または中複雑さ解決方法が、前記非平坦画像クラスとして分類されたフレームを処理する現在のアプリケーションによって要求されるかどうかを決定する決定手段をさらに備え、
    前記中複雑さ解決方法が要求されるとき、前記セグメント化手段は色情報だけを使用し、
    前記高複雑さ解決方法が要求されるとき、前記セグメント化手段は動き推定情報と色情報とを使用する請求項１２記載の装置。
  14. 前記処理手段は、
    前記セグメント化領域にラベルを付けて第１の出力を形成する連結成分ラベリング手段と、
    前記第１の出力をマージして第２の出力を形成する色ベースの領域マージ手段と、
    前記第２の出力をマージして第３の出力を形成する動きベースの領域マージ手段と、
    前記第３の出力の画素奥行きを調整して第４の出力を形成する画素奥行き調整手段と、
    前記第４の出力を時間的奥行き平滑化する時間的奥行き平滑化手段とをさらに備える請求項１３記載の装置。
  15. 前記分類手段は、前記フレームがズームされたシーンに対するものであるかどうかを決定し、前記フレームがズームされたシーンに対するものである場合、前記フレームを前記平坦画像クラスとして分類し、前記フレームがズームされたシーンに対するものでない場合、前記フレームを前記非平坦画像クラスとして分類する決定手段を備える請求項１０記載の装置。
  16. 前記２Ｄ入力は、オフライン２Ｄ画像、単眼画像、および以前に記録された２Ｄ映画、のうちの１つを含むリアルタイム２Ｄ画像である請求項１０記載の装置。
  17. 前記変換手段は、前記平坦画像クラスとして分類されたフレームを左ビューおよび右ビューの両方として割り当てる割当手段を備える請求項１０記載の装置。
  18. 前記変換手段は、
    前記非平坦画像クラスとして分類されたフレームを左ビューとして使用する手段と、
    前記フレームの左ビューに対して、両眼視幾何学の左右のビューにおける画像点間の画素の距離に基づいて視差マップを計算する計算手段と、
    欠けている右視点からの３Ｄ可視表面を構築して、構築された３Ｄ表面を形成する構築手段と、
    前記構築された３Ｄ表面を投影面に投影することによりステレオビューを発生させる発生手段とを備える請求項１０記載の装置。
  19. コンピュータプログラムプロダクトにおいて、
    ２次元（２Ｄ）入力を解析することと、
    平坦画像クラスおよび非平坦画像クラスから選択されるクラスに前記２Ｄ入力のフレームを分類することと、
    奥行きマップ推定を生成するために、前記非平坦画像クラスとして分類されたそれらのフレームを、複雑さに基づいて、自動的に、かつ適応的に処理することと、
    前記平坦画像クラスとして分類されたそれらのフレームを直接に、前記非平坦画像クラスとして分類されたそれらのフレームを前記処理ステップ後に、３Ｄステレオ画像に変換することと、
    をコンピュータに生じさせるための命令を有するコンピュータ読み取り可能媒体を含むコンピュータプログラムプロダクト。
  20. 装置において、
    第１の画像クラスまたは第２の画像クラスに２次元（２Ｄ）入力のフレームを分類するように動作可能な画像分類モジュールと、
    奥行きマップ推定を生成するために、前記第２の画像クラスとして分類されたそれらのフレームを、複雑さに基づいて、自動的に、かつ適応的に処理するように動作可能な画像奥行きマップ推定モジュールと、
    前記第１の画像クラスとして分類されたそれらのフレームを直接に、前記第２の画像クラスとして分類されたそれらのフレームを、前記奥行きマップ推定を使用して、３Ｄステレオ画像に変換するように動作可能な３Ｄ画像対発生器モジュールとを具備する装置。
  21. 前記第１の画像クラスは平坦画像を含み、前記第２の画像クラスは非平坦画像クラスを含む請求項２０記載の装置。
  22. 前記画像奥行きマップ推定モジュールはさらに、前記奥行きマップ推定を推定し、低複雑さ解決方法が現在のアプリケーションに対して要求されるかどうかを決定し、前記低複雑さ解決方法が要求される場合、前記奥行きマップ推定を使用して、前記第２の画像クラスとして分類されたそれらのフレームを直接変換するように動作可能である請求項２１記載の装置。
  23. 前記画像奥行きマップ推定モジュールはさらに、前記低複雑さ解決方法が要求されないとき、前記第２の画像クラスとして分類されたフレームを多数のセグメント化された領域にオブジェクトセグメント化し、前記セグメント化された領域の画素奥行きを調整するように動作可能である請求項２２記載の装置。
  24. 前記画像奥行きマップ推定モジュールはさらに、高複雑さ解決方法または中複雑さ解決方法が、前記第２の画像クラスとして分類されたフレームを処理する現在のアプリケーションによって要求されるかどうかを決定するように動作し、
    前記中複雑さ解決方法が要求されるとき、前記第２の画像クラスは色情報だけを使用してセグメント化され、
    前記高複雑さ解決方法が要求されるとき、動き推定情報と色情報とが使用される請求項２３記載の装置。
  25. 前記画像奥行きマップ推定モジュールはさらに、前記セグメント化領域に連結成分ラベルを付けて第１の出力を形成し、前記第１の出力を色ベースの領域マージして第２の出力を形成し、前記第２の出力を動きベースの領域マージして第３の出力を形成し、前記第３の出力の画素奥行きを調整して第４の出力を形成し、前記第４の出力を時間的奥行き平滑化するように動作可能である請求項２３記載の装置。
  26. 前記画像分類モジュールはさらに、前記フレームがズームされたシーンに対するものであるかどうかを決定し、前記フレームがズームされたシーンに対するものである場合、前記フレームを前記平坦画像として分類し、前記フレームがズームされたシーンに対するものでない場合、前記フレームを前記非平坦画像として分類するように動作可能である請求項２１記載の装置。
  27. 前記２Ｄ入力は、オフライン２Ｄ画像、単眼画像、および以前に記録された２Ｄ映画、のうちの１つを含むリアルタイム２Ｄ画像である請求項２０記載の装置。
  28. 前記３Ｄ画像対発生器モジュールはさらに、前記第１の画像クラスとして分類されたフレームを左ビューおよび右ビューの両方として割り当てるように動作可能である請求項２０記載の装置。
  29. 前記３Ｄ画像対発生器モジュールはさらに、前記第２の画像クラスとして分類されたフレームを左ビューとして使用し、前記フレームの左ビューに対して、両眼視幾何学の左右のビューにおける画像点間の画素の距離に基づいて視差マップを計算し、欠けている右視点からの３Ｄ可視表面を構築し、前記構築された３Ｄ表面を投影面に投影することによりステレオビューを発生させるように動作可能である請求項２０記載の装置。
  30. 前記装置は、ビデオ機能を有する、移動の、セルラの、または衛星の電話機、ビデオ機能を有する、単眼カメラ、ビデオデバイス、ラップトップ、タブレットＰＣ、あるいは、他の計算デバイス、のうちの１つを含む請求項２０記載の装置。
JP2009543286A 2006-12-22 2007-12-22 複雑適応２Ｄ−ｔｏ−３Ｄビデオシーケンス変換 Expired - Fee Related JP4938861B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/615,393 US8330801B2 (en) 2006-12-22 2006-12-22 Complexity-adaptive 2D-to-3D video sequence conversion
US11/615,393 2006-12-22
PCT/US2007/088758 WO2008080156A1 (en) 2006-12-22 2007-12-22 Complexity-adaptive 2d-to-3d video sequence conversion

Publications (2)

Publication Number Publication Date
JP2010515303A true JP2010515303A (ja) 2010-05-06
JP4938861B2 JP4938861B2 (ja) 2012-05-23

Family

ID=39326023

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009543286A Expired - Fee Related JP4938861B2 (ja) 2006-12-22 2007-12-22 複雑適応２Ｄ−ｔｏ−３Ｄビデオシーケンス変換

Country Status (7)

Country Link
US (1) US8330801B2 (ja)
EP (1) EP2119247A1 (ja)
JP (1) JP4938861B2 (ja)
KR (1) KR101096468B1 (ja)
CN (1) CN101563933B (ja)
TW (1) TW200843479A (ja)
WO (1) WO2008080156A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012035783A1 (ja) * 2010-09-17 2012-03-22 パナソニック株式会社 立体映像作成装置および立体映像作成方法
JP2012141240A (ja) * 2011-01-05 2012-07-26 Ricoh Co Ltd 測距装置、測距方法および撮像装置、撮像方法
JP2014504074A (ja) * 2011-01-23 2014-02-13 エクストリーム リアリティー エルティーディー． 立体三次元イメージおよびビデオを生成する方法、システム、装置、および、関連する処理論理回路
JP2014515153A (ja) * 2011-05-17 2014-06-26 サムスン エレクトロニクス カンパニー リミテッド コンテンツ変換装置、コンテンツ変換方法及びその貯蔵媒体
JP5891425B2 (ja) * 2011-03-03 2016-03-23 パナソニックＩｐマネジメント株式会社 追体験映像を提供することができる映像提供装置、映像提供方法、映像提供プログラム
US9596455B2 (en) 2012-03-28 2017-03-14 Fujifilm Corporation Image processing device and method, and imaging device

Families Citing this family (130)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4618166B2 (ja) * 2006-03-07 2011-01-26 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
EP2130178A1 (en) * 2007-03-23 2009-12-09 Thomson Licensing System and method for region classification of 2d images for 2d-to-3d conversion
EP2201784B1 (en) * 2007-10-11 2012-12-12 Koninklijke Philips Electronics N.V. Method and device for processing a depth-map
JP5083052B2 (ja) * 2008-06-06 2012-11-28 ソニー株式会社 立体視画像生成装置、立体視画像生成方法およびプログラム
US8665258B2 (en) * 2008-09-16 2014-03-04 Adobe Systems Incorporated Generating a depth map based on a single image
US8345956B2 (en) * 2008-11-03 2013-01-01 Microsoft Corporation Converting 2D video into stereo video
EP2374280A1 (en) * 2008-11-24 2011-10-12 Koninklijke Philips Electronics N.V. Combining 3d video and auxiliary data
KR101491556B1 (ko) * 2008-12-02 2015-02-09 삼성전자주식회사 깊이 추정 장치 및 방법
KR101506926B1 (ko) * 2008-12-04 2015-03-30 삼성전자주식회사 깊이 추정 장치 및 방법, 및 3ｄ 영상 변환 장치 및 방법
KR101547151B1 (ko) * 2008-12-26 2015-08-25 삼성전자주식회사 영상 처리 방법 및 장치
US8405742B2 (en) * 2008-12-30 2013-03-26 Massachusetts Institute Of Technology Processing images having different focus
CN101521829B (zh) * 2009-01-23 2014-01-08 浙江大学 一种深度图像序列处理的方法及装置
US8774512B2 (en) * 2009-02-11 2014-07-08 Thomson Licensing Filling holes in depth maps
GB2467932A (en) * 2009-02-19 2010-08-25 Sony Corp Image processing device and method
CN101815225B (zh) * 2009-02-25 2014-07-30 三星电子株式会社 生成深度图的方法及其设备
US9124874B2 (en) * 2009-06-05 2015-09-01 Qualcomm Incorporated Encoding of three-dimensional conversion information with two-dimensional video sequence
KR101719980B1 (ko) * 2010-06-22 2017-03-27 엘지전자 주식회사 3차원 컨텐츠를 출력하는 디스플레이 기기의 영상 처리 방법 및 그 방법을 채용한 디스플레이 기기
CN101945295B (zh) * 2009-07-06 2014-12-24 三星电子株式会社 生成深度图的方法和设备
WO2011014419A1 (en) * 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for creating three-dimensional (3d) images of a scene
US9380292B2 (en) 2009-07-31 2016-06-28 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene
US8436893B2 (en) * 2009-07-31 2013-05-07 3Dmedia Corporation Methods, systems, and computer-readable storage media for selecting image capture positions to generate three-dimensional (3D) images
EP2293586A1 (en) * 2009-08-04 2011-03-09 Samsung Electronics Co., Ltd. Method and system to transform stereo content
WO2011017310A1 (en) * 2009-08-04 2011-02-10 Shenzhen Tcl New Technology Ltd. Systems and methods for three-dimensional video generation
JP2011060216A (ja) * 2009-09-14 2011-03-24 Fujifilm Corp 画像処理装置および画像処理方法
US8659592B2 (en) * 2009-09-24 2014-02-25 Shenzhen Tcl New Technology Ltd 2D to 3D video conversion
JP2011081453A (ja) 2009-10-02 2011-04-21 Toshiba Corp 映像再生装置及び映像再生方法
US9699434B2 (en) * 2009-10-07 2017-07-04 Samsung Electronics Co., Ltd. Apparatus and method for adjusting depth
KR101699920B1 (ko) * 2009-10-07 2017-01-25 삼성전자주식회사 깊이 조절 방법 및 장치
US8537200B2 (en) * 2009-10-23 2013-09-17 Qualcomm Incorporated Depth map generation techniques for conversion of 2D video data to 3D video data
WO2011060579A1 (en) * 2009-11-18 2011-05-26 Industrial Technology Research Institute Method for generating depth maps from monocular images and systems using the same
US9137513B2 (en) * 2009-12-08 2015-09-15 Broadcom Corporation Method and system for mixing video and graphics
US20120249751A1 (en) * 2009-12-14 2012-10-04 Thomson Licensing Image pair processing
US9491432B2 (en) 2010-01-27 2016-11-08 Mediatek Inc. Video processing apparatus for generating video output satisfying display capability of display device according to video input and related method thereof
KR101082545B1 (ko) 2010-01-28 2011-11-10 주식회사 팬택 영상 변환 기능을 구비한 이동통신 단말기
US8520935B2 (en) * 2010-02-04 2013-08-27 Sony Corporation 2D to 3D image conversion based on image content
US9398289B2 (en) * 2010-02-09 2016-07-19 Samsung Electronics Co., Ltd. Method and apparatus for converting an overlay area into a 3D image
US20110199469A1 (en) * 2010-02-15 2011-08-18 Gallagher Andrew C Detection and display of stereo images
US20110222757A1 (en) 2010-03-10 2011-09-15 Gbo 3D Technology Pte. Ltd. Systems and methods for 2D image and spatial data capture for 3D stereo imaging
KR101157049B1 (ko) * 2010-03-29 2012-06-21 (주)루쏘코리아 3차원영상 제작시스템
US20110242342A1 (en) 2010-04-05 2011-10-06 Qualcomm Incorporated Combining data from multiple image sensors
US8896668B2 (en) 2010-04-05 2014-11-25 Qualcomm Incorporated Combining data from multiple image sensors
CN101917636B (zh) * 2010-04-13 2012-02-22 上海易维视科技有限公司 复杂场景的二维视频转换为三维视频的方法及系统
US8421847B2 (en) * 2010-05-21 2013-04-16 Mediatek Inc. Apparatus and method for converting two-dimensional video frames to stereoscopic video frames
US8970672B2 (en) 2010-05-28 2015-03-03 Qualcomm Incorporated Three-dimensional image processing
US20110304706A1 (en) * 2010-06-09 2011-12-15 Border John N Video camera providing videos with perceived depth
US9053562B1 (en) 2010-06-24 2015-06-09 Gregory S. Rabin Two dimensional to three dimensional moving image converter
US8488870B2 (en) * 2010-06-25 2013-07-16 Qualcomm Incorporated Multi-resolution, multi-window disparity estimation in 3D video processing
TWI470994B (zh) * 2010-07-06 2015-01-21 Himax Media Solutions Inc 視訊顯示調整方法及視訊顯示調整裝置
US20120019616A1 (en) * 2010-07-26 2012-01-26 Chen wei hong 3D image capturing and playing device
US20120019528A1 (en) * 2010-07-26 2012-01-26 Olympus Imaging Corp. Display apparatus, display method, and computer-readable recording medium
US8654144B2 (en) * 2010-08-06 2014-02-18 Vp Assets Limited (British Virgin Islands) 3D/2D multiprimary color image device and method for controlling the same
US9100640B2 (en) * 2010-08-27 2015-08-04 Broadcom Corporation Method and system for utilizing image sensor pipeline (ISP) for enhancing color of the 3D image utilizing z-depth information
US8655093B2 (en) * 2010-09-02 2014-02-18 Edge 3 Technologies, Inc. Method and apparatus for performing segmentation of an image
KR20120023431A (ko) * 2010-09-03 2012-03-13 삼성전자주식회사 깊이 조정이 가능한 2차원/3차원 영상 변환 방법 및 그 장치
EP2434764A1 (en) 2010-09-23 2012-03-28 Thomson Licensing Adaptation of 3D video content
EP2437220A1 (en) * 2010-09-29 2012-04-04 Alcatel Lucent Method and arrangement for censoring content in three-dimensional images
US20120256906A1 (en) * 2010-09-30 2012-10-11 Trident Microsystems (Far East) Ltd. System and method to render 3d images from a 2d source
US20120105581A1 (en) * 2010-10-29 2012-05-03 Sony Corporation 2d to 3d image and video conversion using gps and dsm
WO2012061549A2 (en) 2010-11-03 2012-05-10 3Dmedia Corporation Methods, systems, and computer program products for creating three-dimensional video sequences
US20120120190A1 (en) * 2010-11-16 2012-05-17 Hung-Chia Lee Display device for use in a frame sequential 3d display system and related 3d display system
US20120120191A1 (en) * 2010-11-17 2012-05-17 Hung-Chia Lee Image processor for use in a frame sequential 3d display system and related 3d display system
KR20120059367A (ko) * 2010-11-30 2012-06-08 삼성전자주식회사 에너지값을 이용한 이미지 처리 장치와 그 이미지 처리 방법 및 디스플레이 방법
AU2011348121B2 (en) * 2010-12-22 2016-08-18 Legend 3D, Inc. System and method for minimal iteration workflow for image sequence depth enhancement
US8274552B2 (en) 2010-12-27 2012-09-25 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
WO2012092246A2 (en) 2010-12-27 2012-07-05 3Dmedia Corporation Methods, systems, and computer-readable storage media for identifying a rough depth map in a scene and for determining a stereo-base distance for three-dimensional (3d) content creation
US10200671B2 (en) 2010-12-27 2019-02-05 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
JP2012138787A (ja) * 2010-12-27 2012-07-19 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
TWI493960B (zh) * 2011-01-07 2015-07-21 Himax Media Solutions Inc 用於場序式三維顯示系統之影像處理器及相關三維顯示系統
US8861836B2 (en) * 2011-01-14 2014-10-14 Sony Corporation Methods and systems for 2D to 3D conversion from a portrait image
TWI463434B (zh) * 2011-01-28 2014-12-01 Chunghwa Picture Tubes Ltd 將２ｄ影像形成３ｄ影像之影像處理方法
WO2012114236A1 (en) * 2011-02-23 2012-08-30 Koninklijke Philips Electronics N.V. Processing depth data of a three-dimensional scene
CN102685517B (zh) * 2011-03-09 2015-01-28 联想(北京)有限公司 一种实现2d图像转3d图像的装置、方法和系统
TWI419078B (zh) * 2011-03-25 2013-12-11 Univ Chung Hua 即時立體影像產生裝置與方法
CN102111637A (zh) * 2011-03-29 2011-06-29 清华大学 生成立体视频深度图的方法及装置
US9470778B2 (en) * 2011-03-29 2016-10-18 Microsoft Technology Licensing, Llc Learning from high quality depth measurements
US8655055B2 (en) * 2011-05-04 2014-02-18 Texas Instruments Incorporated Method, system and computer program product for converting a 2D image into a 3D image
US20120293489A1 (en) * 2011-05-20 2012-11-22 Himax Technologies Limited Nonlinear depth remapping system and method thereof
TWI481262B (zh) 2011-07-28 2015-04-11 Ind Tech Res Inst 影像編碼系統及影像編碼方法
US8749548B2 (en) * 2011-09-01 2014-06-10 Samsung Electronics Co., Ltd. Display system with image conversion mechanism and method of operation thereof
US20130070049A1 (en) * 2011-09-15 2013-03-21 Broadcom Corporation System and method for converting two dimensional to three dimensional video
KR101675041B1 (ko) 2011-10-05 2016-11-10 비트애니메이트 인코포레이티드 해상도가 향상된 3d 비디오 렌더링 시스템 및 방법
TWI450576B (zh) * 2011-10-05 2014-08-21 Himax Media Solutions Inc 影像處理裝置與影像處理方法
US9471988B2 (en) 2011-11-02 2016-10-18 Google Inc. Depth-map generation for an input image using an example approximate depth-map associated with an example similar image
US9672609B1 (en) * 2011-11-11 2017-06-06 Edge 3 Technologies, Inc. Method and apparatus for improved depth-map estimation
US9661307B1 (en) 2011-11-15 2017-05-23 Google Inc. Depth map generation using motion cues for conversion of monoscopic visual content to stereoscopic 3D
CN103152586B (zh) * 2011-12-06 2016-01-13 北京大学深圳研究生院 一种基于深度模板的2d视频转3d视频传输及重建方法
WO2013086137A1 (en) 2011-12-06 2013-06-13 1-800 Contacts, Inc. Systems and methods for obtaining a pupillary distance measurement using a mobile computing device
US9414048B2 (en) 2011-12-09 2016-08-09 Microsoft Technology Licensing, Llc Automatic 2D-to-stereoscopic video conversion
US8897542B2 (en) * 2011-12-15 2014-11-25 Sony Corporation Depth map generation based on soft classification
TWI483612B (zh) * 2011-12-22 2015-05-01 Nat Univ Chung Cheng Converting the video plane is a perspective view of the video system
US9137519B1 (en) * 2012-01-04 2015-09-15 Google Inc. Generation of a stereo video from a mono video
WO2013102790A2 (en) * 2012-01-04 2013-07-11 Thomson Licensing Processing 3d image sequences cross reference to related applications
KR20130084341A (ko) * 2012-01-17 2013-07-25 삼성전자주식회사 이미지 변환 메커니즘을 갖는 디스플레이 시스템 및 그 운용 방법
US9111350B1 (en) 2012-02-10 2015-08-18 Google Inc. Conversion of monoscopic visual content to stereoscopic 3D
CN102630029A (zh) * 2012-03-31 2012-08-08 彩虹集团公司 一种基于对比度统计实现2d 转3d 的方法
US9031316B2 (en) * 2012-04-05 2015-05-12 Mediatek Singapore Pte. Ltd. Method for identifying view order of image frames of stereo image pair according to image characteristics and related machine readable medium thereof
AU2013249004B2 (en) * 2012-04-20 2018-05-10 Affirmation, Llc Systems and methods for real-time conversion of video into three-dimensions
EP2658265B1 (en) * 2012-04-24 2014-08-20 Vestel Elektronik Sanayi ve Ticaret A.S. Adaptive depth offset calculation for an image
US9286715B2 (en) 2012-05-23 2016-03-15 Glasses.Com Inc. Systems and methods for adjusting a virtual try-on
US9483853B2 (en) 2012-05-23 2016-11-01 Glasses.Com Inc. Systems and methods to display rendered images
US9311746B2 (en) 2012-05-23 2016-04-12 Glasses.Com Inc. Systems and methods for generating a 3-D model of a virtual try-on product
US8644596B1 (en) * 2012-06-19 2014-02-04 Google Inc. Conversion of monoscopic visual content using image-depth database
JP5962393B2 (ja) * 2012-09-28 2016-08-03 株式会社Ｊｖｃケンウッド 画像処理装置、画像処理方法及び画像処理プログラム
NL2009616C2 (en) * 2012-10-11 2014-04-14 Ultra D Co Peratief U A Adjusting depth in a three-dimensional image signal.
WO2014064897A1 (ja) * 2012-10-25 2014-05-01 日本電気株式会社 情報処理装置、情報処理方法および情報処理プログラム
US9098911B2 (en) 2012-11-01 2015-08-04 Google Inc. Depth map generation from a monoscopic image based on combined depth cues
EP2959684A4 (en) 2013-02-20 2016-11-09 Intel Corp REAL-TIME AUTOMATIC CONVERSION OF IMAGES OR TWO-DIMENSIONAL VIDEO TO OBTAIN STEREO IMAGES OR VIDEO IN THREE DIMENSIONS
US9992021B1 (en) 2013-03-14 2018-06-05 GoTenna, Inc. System and method for private and point-to-point communication between computing devices
US9674498B1 (en) 2013-03-15 2017-06-06 Google Inc. Detecting suitability for converting monoscopic visual content to stereoscopic 3D
US9967549B2 (en) * 2013-03-20 2018-05-08 Mediatek Inc. 3D image capture method with 3D preview of preview images generated by monocular camera and related electronic device thereof
EP3058724A2 (en) * 2013-10-14 2016-08-24 Koninklijke Philips N.V. Remapping a depth map for 3d viewing
US20150103146A1 (en) * 2013-10-16 2015-04-16 Qualcomm Incorporated Conversion of at least one non-stereo camera into a stereo camera
KR101694522B1 (ko) * 2014-02-11 2017-01-10 한국전자통신연구원 2차원 동영상을 3차원 동영상으로 변환하는 방법 및 장치
KR101907127B1 (ko) * 2014-06-10 2018-10-11 비트애니메이트 인코포레이티드 입체 비디오 주밍 및 비디오 내의 전경 및 배경 검출
US10217223B2 (en) 2014-10-28 2019-02-26 Hewlett-Packard Development Company, L.P. Image data segmentation
KR101709974B1 (ko) * 2014-11-05 2017-02-27 전자부품연구원 뎁스맵 등심선 생성 방법 및 시스템
CN104616341A (zh) * 2015-02-06 2015-05-13 浪潮集团有限公司 一种图像处理方法
KR102286572B1 (ko) * 2015-03-04 2021-08-06 한국전자통신연구원 2ｄ 동영상으로부터 새로운 3ｄ 입체 동영상 제작을 위한 장치 및 방법
US10019657B2 (en) * 2015-05-28 2018-07-10 Adobe Systems Incorporated Joint depth estimation and semantic segmentation from a single image
US10346996B2 (en) 2015-08-21 2019-07-09 Adobe Inc. Image depth inference from semantic labels
CN105631868A (zh) * 2015-12-25 2016-06-01 清华大学深圳研究生院 一种基于图像分类的深度信息提取方法
TWI550556B (zh) * 2015-12-28 2016-09-21 A Method of Establishing Stereo Image Model by Kalman Filtering
US10560683B2 (en) 2016-04-08 2020-02-11 Maxx Media Group, LLC System, method and software for producing three-dimensional images that appear to project forward of or vertically above a display medium using a virtual 3D model made from the simultaneous localization and depth-mapping of the physical features of real objects
CN107465939B (zh) * 2016-06-03 2019-12-06 杭州海康机器人技术有限公司 视频图像数据流的处理方法及装置
KR101853269B1 (ko) * 2017-04-12 2018-06-14 주식회사 씨오티커넥티드 스테레오 이미지들에 관한 깊이 맵 스티칭 장치
US10735707B2 (en) * 2017-08-15 2020-08-04 International Business Machines Corporation Generating three-dimensional imagery
KR102468897B1 (ko) 2017-10-16 2022-11-21 삼성전자주식회사 깊이 값을 추정하는 방법 및 장치
DE102018221625A1 (de) 2018-12-13 2020-06-18 Robert Bosch Gmbh Transfer von Zusatzinformation zwischen Kamerasystemen
CN110290374A (zh) * 2019-06-28 2019-09-27 宝琳创展国际文化科技发展（北京）有限公司 一种裸眼3d的实现方法
US11503266B2 (en) * 2020-03-06 2022-11-15 Samsung Electronics Co., Ltd. Super-resolution depth map generation for multi-camera or other environments

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001320731A (ja) * 1999-11-26 2001-11-16 Sanyo Electric Co Ltd ２次元映像を３次元映像に変換する装置及びその方法
JP2004280388A (ja) * 2003-03-14 2004-10-07 Sharp Corp 擬似３ｄ画像作製装置及びプロジェクタ装置
JP2005151534A (ja) * 2003-09-24 2005-06-09 Victor Co Of Japan Ltd 擬似立体画像作成装置及び擬似立体画像作成方法並びに擬似立体画像表示システム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6590573B1 (en) * 1983-05-09 2003-07-08 David Michael Geshwind Interactive computer system for creating three-dimensional image information and for converting two-dimensional image information for three-dimensional display systems
US6553184B1 (en) * 1994-03-14 2003-04-22 Sanyo Electric Co., Ltd. Method of converting two dimensional images into three-dimensional images
US5790086A (en) 1995-01-04 1998-08-04 Visualabs Inc. 3-D imaging system
AUPO894497A0 (en) * 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
US7116324B2 (en) * 1998-05-27 2006-10-03 In-Three, Inc. Method for minimizing visual artifacts converting two-dimensional motion pictures into three-dimensional motion pictures
US20050146521A1 (en) * 1998-05-27 2005-07-07 Kaye Michael C. Method for creating and presenting an accurate reproduction of three-dimensional images converted from two-dimensional images
KR100334722B1 (ko) * 1999-06-05 2002-05-04 강호석 Ｍｐｅｇ 데이터를 이용한 입체영상생성방법 및 그 장치
US7161614B1 (en) * 1999-11-26 2007-01-09 Sanyo Electric Co., Ltd. Device and method for converting two-dimensional video to three-dimensional video
US7489812B2 (en) * 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
WO2004077349A2 (en) * 2003-02-27 2004-09-10 Arizona Board Of Regents, A Body Corporate Of The State Of Arizona, Acting For And On Behal Of Arizona State University Comparative and analytic apparatus and method for converting two-dimensional bit map data into three-dimensional data
US20040212612A1 (en) * 2003-04-28 2004-10-28 Michael Epstein Method and apparatus for converting two-dimensional images into three-dimensional images
ITMI20031449A1 (it) * 2003-07-15 2005-01-16 St Microelectronics Srl Metodo per classificare una immagine digitale
US7292195B2 (en) * 2005-07-26 2007-11-06 Motorola, Inc. Energy diversity antenna and system
CA2553473A1 (en) * 2005-07-26 2007-01-26 Wa James Tam Generating a depth map from a tw0-dimensional source image for stereoscopic and multiview imaging
WO2007063478A2 (en) * 2005-12-02 2007-06-07 Koninklijke Philips Electronics N.V. Stereoscopic image display method and apparatus, method for generating 3d image data from a 2d image data input and an apparatus for generating 3d image data from a 2d image data input
US7573475B2 (en) * 2006-06-01 2009-08-11 Industrial Light & Magic 2D to 3D image conversion
TWI314832B (en) * 2006-10-03 2009-09-11 Univ Nat Taiwan Single lens auto focus system for stereo image generation and method thereof
US8610758B2 (en) * 2009-12-15 2013-12-17 Himax Technologies Limited Depth map generation for a video conversion system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001320731A (ja) * 1999-11-26 2001-11-16 Sanyo Electric Co Ltd ２次元映像を３次元映像に変換する装置及びその方法
JP2004280388A (ja) * 2003-03-14 2004-10-07 Sharp Corp 擬似３ｄ画像作製装置及びプロジェクタ装置
JP2005151534A (ja) * 2003-09-24 2005-06-09 Victor Co Of Japan Ltd 擬似立体画像作成装置及び擬似立体画像作成方法並びに擬似立体画像表示システム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012035783A1 (ja) * 2010-09-17 2012-03-22 パナソニック株式会社 立体映像作成装置および立体映像作成方法
US8908011B2 (en) 2010-09-17 2014-12-09 Panasonic Corporation Three-dimensional video creating device and three-dimensional video creating method
JP5891424B2 (ja) * 2010-09-17 2016-03-23 パナソニックＩｐマネジメント株式会社 立体映像作成装置および立体映像作成方法
JP2012141240A (ja) * 2011-01-05 2012-07-26 Ricoh Co Ltd 測距装置、測距方法および撮像装置、撮像方法
JP2014504074A (ja) * 2011-01-23 2014-02-13 エクストリーム リアリティー エルティーディー． 立体三次元イメージおよびビデオを生成する方法、システム、装置、および、関連する処理論理回路
JP5891425B2 (ja) * 2011-03-03 2016-03-23 パナソニックＩｐマネジメント株式会社 追体験映像を提供することができる映像提供装置、映像提供方法、映像提供プログラム
JP2014515153A (ja) * 2011-05-17 2014-06-26 サムスン エレクトロニクス カンパニー リミテッド コンテンツ変換装置、コンテンツ変換方法及びその貯蔵媒体
US9596455B2 (en) 2012-03-28 2017-03-14 Fujifilm Corporation Image processing device and method, and imaging device

Also Published As

Publication number Publication date
JP4938861B2 (ja) 2012-05-23
WO2008080156A1 (en) 2008-07-03
US20080150945A1 (en) 2008-06-26
CN101563933B (zh) 2012-02-08
CN101563933A (zh) 2009-10-21
KR101096468B1 (ko) 2011-12-20
TW200843479A (en) 2008-11-01
EP2119247A1 (en) 2009-11-18
KR20090080556A (ko) 2009-07-24
US8330801B2 (en) 2012-12-11

Similar Documents

Publication Publication Date Title
JP4938861B2 (ja) 複雑適応２Ｄ−ｔｏ−３Ｄビデオシーケンス変換
US20210314547A1 (en) Methods, systems, and computer-readable storage media for generating three-dimensional (3d) images of a scene
US8508580B2 (en) Methods, systems, and computer-readable storage media for creating three-dimensional (3D) images of a scene
KR101452172B1 (ko) 깊이―관련 정보를 처리하기 위한 방법, 장치 및 시스템
KR101669820B1 (ko) 볼륨 예측 기반 폐색 영역 양방향 복원 장치 및 방법
US9185388B2 (en) Methods, systems, and computer program products for creating three-dimensional video sequences
US9509980B2 (en) Real-time capturing and generating viewpoint images and videos with a monoscopic low power mobile device
JP4198054B2 (ja) ３ｄビデオ会議システム
CA2704479C (en) System and method for depth map extraction using region-based filtering
US8331614B2 (en) Method and apparatus for tracking listener's head position for virtual stereo acoustics
KR100799990B1 (ko) 2차원 영상의 3차원 영상 변환 장치 및 방법
WO2008156450A1 (en) System and method for stereo matching of images
KR100560464B1 (ko) 관찰자의 시점에 적응적인 다시점 영상 디스플레이 시스템을 구성하는 방법
US9661307B1 (en) Depth map generation using motion cues for conversion of monoscopic visual content to stereoscopic 3D
EP3665651B1 (en) Hierarchical disparity hypothesis generation with slanted support windows
US20160364865A1 (en) Image processing device, image processing method, and program
JP5210416B2 (ja) 立体画像生成装置、立体画像生成方法、プログラム、および記録媒体
Chen et al. 2D-to-3D conversion system using depth map enhancement
KR101578030B1 (ko) 이벤트 발생 장치 및 방법
JP3992607B2 (ja) 距離画像生成装置および方法並びにそのためのプログラムおよび記録媒体
Moran Video inpainting
Park et al. Web-based real-time multiview 3D display system

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120124

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120223

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150302

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees