JP2010140476A - 画像処理方法、コンピューター読み取り可能な媒体および画像処理システム - Google Patents

画像処理方法、コンピューター読み取り可能な媒体および画像処理システム Download PDF

Info

Publication number
JP2010140476A
JP2010140476A JP2009271228A JP2009271228A JP2010140476A JP 2010140476 A JP2010140476 A JP 2010140476A JP 2009271228 A JP2009271228 A JP 2009271228A JP 2009271228 A JP2009271228 A JP 2009271228A JP 2010140476 A JP2010140476 A JP 2010140476A
Authority
JP
Japan
Prior art keywords
image
region
depth map
regions
gradient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2009271228A
Other languages
English (en)
Inventor
Kar-Han Tan
ハン タン カー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of JP2010140476A publication Critical patent/JP2010140476A/ja
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

【課題】ビデオ画像から詳細な深度マップを合成するための画像処理方法を提供すること
。
【解決手段】ピクセルに相関した動きベクトルを用いて画像を領域にグループ化するステ
ップと、その領域間の境界領域を定義するステップと、その領域に深度値を割り当てるス
テップと境界領域のピクセルに深度値を割り当てるステップとによって粗い深度マップを
生成するステップと、画像からのエッジ情報と粗い深度マップから引き出された勾配マッ
プとを用いて勾配情報を演算するステップと、表面勾配積分の表面復元手法を前記勾配情
報に適用することにより前記深度マップを得るステップとを有する。
【選択図】図１

Description

本発明は一般的に画像処理に関わり、より具体的にビデオ画像から詳細な深度マップを
合成するための画像処理に関わる。
デジタルビデオ画像、またはビデオストリームから取り込まれたフレームは画像の画素
または「ピクセル」のアレーで表されるデジタル画像に加え、ビデオストリームから復号
化できる動きベクトルを含む。各ピクセルはアレーにおける位置とともに色強度を含み得
る１組の特徴を有する。ビデオ画像に結び付いた動きベクトルは画像にオーバレイされる
グリッド内に分布される。グリッドの各セルはピクセルのグループに対応する。MPEGビデ
オストリームの動きベクトルは通常まばらな形であり、これはグリッドの各セルがピクセ
ルのグループに対応することを意味する（例えば特許文献１参照）。
米国特許第７１２６５９８号明細書
動きベクトルからの情報を画像ピクセルにより現されるビデオ画像のオブジェクトに結
び付ける方法は動きベクトルを用いて画像ピクセルに深度値の特徴を割り当てることがで
きる。画像ピクセルの深度値のアレーを表すことにより画像の「深度マップ」を作成する
ことができる。
ステレオの三次元映写システムを設定するなど、複数のプロジェクターの位置合わせを
含む用途においてビデオ画像の深度マップを役立てることができる。動きベクトルのまば
らな分布により、深度情報を用いて例えばオブジェクトの位置合わせをするのは難しい。
従って、このような用途においてはビデオ画像の詳細な深度マップはより満足できる解決
法となる。
本発明の画像処理方法は、ピクセルおよび前記ピクセルに相関した動きベクトルを有す
る画像から深度マップを生成する画像処理方法であって、
前記動きベクトルを用いて前記画像を領域にグループ化するステップと、
前記領域の少なくともいくつかの間の境界領域を定義するステップと、
前記領域の少なくともいくつかに深度値を割り当てるステップと前記境界領域のピクセ
ルに深度値を割り当てるステップとによって粗い深度マップを生成するステップと、
前記画像からの少なくともいくらかのエッジ情報と前記粗い深度マップから引き出され
た勾配マップとを用いて勾配情報を演算するステップと、
表面勾配積分の表面復元手法を前記勾配情報に適用することにより前記深度マップを得
るステップとを有することを特徴とする。
また、本発明の画像処理方法において、前記境界領域を定義するステップは、
第１領域におけるピクセルを拡張して第１拡張領域を得るステップと、
第２領域におけるピクセルを拡張して第２拡張領域を得るステップと、
前記境界領域を前記第１領域および前記第２領域の交差点として定義するステップとを有
することを特徴とする。
また、本発明の画像処理方法において、前記境界領域のピクセルに深度値を割り当てる
ステップは、
前記第１拡張領域および前記第２拡張領域間における前記境界領域のピクセルの位置に
関連する加重係数によるブレンディングを有することを特徴とする。
また、本発明の画像処理方法において、前記勾配情報を演算するステップは、
前記粗い深度マップをアップサンプリングすることにより前記勾配マップを生成するス
テップと、
前記画像から前記エッジ情報を得るステップと、
前記エッジ情報の少なくともいくらかと前記境界領域における前記ピクセルからの前記
深度値の少なくともいくらかとを用いて前記勾配マップを生成するステップとを有するこ
とを特徴とする。
また、本発明の画像処理方法において、前記画像から前記エッジ情報を得るステップは
、
前記ピクセルの色チャンネルのセットにエッジ検出器を適用し、前記色チャンネルのセ
ットにわたる最高値を記録するステップを有することを特徴とする。
また、本発明の画像処理方法において、前記表面復元手法はFrankot‐Chellappa方法で
あることを特徴とする。
また、本発明の画像処理方法において、前記動きベクトルを用いて前記画像を領域にグ
ループ化するステップは、
アフィンモデルのセットを初期化するステップと、
前記画像の動きベクトル各々を、前記アフィンモデルの中から前記ベクトルを最も近く
予測するアフィンモデルに割り当てるステップと、
前記アフィンモデルに割り当てられた前記動きベクトルをはめ込むことにより前記各ア
フィンモデルを調節するステップと、
前記動きベクトル各々を割り当てるステップと前記各アフィンモデルを調節するステッ
プとを前記動きベクトルの割り当ての変更がなくなるまで反復するステップと、
前記画像を前記領域に分割するステップであって、前記領域は前記アフィンモデルに割
り当てられた前記動きベクトルに結び付いたピクセルに対応しているステップとを有する
ことを特徴とする。
また、本発明のコンピューター読み取り可能な媒体は、上記の画像処理方法を実施する
命令を有することを特徴とする。
ここで、本発明の画像処理方法は、ピクセルおよび前記ピクセルに相関する動きベクト
ルを有する画像から深度マップを生成する画像処理方法であって、
アフィンモデルのセットおよび前記動きベクトルを用いて前記画像を領域にグループ化
するステップと、
少なくともいくつかの前記領域の間の境界領域を定義するステップと、
少なくともいくつかの前記領域に深度値を割り当てるステップと、前記境界領域に隣接
する前記領域の深度値をブレンディングすることによって前記境界領域における前記ピク
セルに深度値を割り当てるステップとによって、粗い深度マップを生成するステップと、
前記画像からエッジ情報を得るステップと、
前記粗い深度マップからアップサンプルされた粗い深度マップを生成するステップと、
前記エッジ情報と前記アップサンプルされた粗い深度マップの少なくとも１つの勾配マ
ップとを用いて、勾配情報を生成するステップと、
前記勾配情報に表面復元手法を適用することにより前記深度マップを生成するステップ
とを有することを特徴とする。
また、本発明の画像処理方法において、前記境界領域を定義するステップは、
第１領域におけるピクセルを拡張して第１拡張領域を得るステップと、
第２領域におけるピクセルを拡張して第２拡張領域を得るステップと、
前記境界領域を前記第１領域および第２領域の交差点として定義するステップとを有す
ることを特徴とする。
また、本発明の画像処理方法において、前記境界領域に隣接する前記領域の深度値をブ
レンディングすることは、前記第１拡張領域および前記第２拡張領域間における前記境界
領域のピクセルの位置に関連する加重係数によるブレンディングを有することを特徴とす
る。
また、本発明の画像処理方法において、前記勾配情報は１対の勾配マップを有すること
を特徴とする。
また、本発明の画像処理方法において、前記表面復元手法はFrankot‐Chellappa方法で
あることを特徴とする。
また、本発明の画像処理方法において、前記画像を領域にグループ化するステップは、
前記アフィンモデルのセットを初期化するステップと、
前記画像の動きベクトル各々を前記アフィンモデルの中から前記ベクトルを最も近く予
測するアフィンモデルに割り当てるステップと、
前記アフィンモデルに割り当てられた前記動きベクトルをはめ込むことにより前記各ア
フィンモデルを調節するステップと、
前記動きベクトル各々を割り当てるステップと前記各アフィンモデルを調節するステッ
プとを前記動きベクトルの割り当ての変更がなくなるまで反復するステップと、
前記画像を前記領域に分割するステップであって、前記領域は前記アフィンモデルに割
り当てられた前記動きベクトルに結び付いたピクセルに対応しているステップとを有する
ことを特徴とする。
一方、本発明の画像処理システムは、動きベクトルを有する画像から深度マップを生成
する画像処理システムであって、
前記動きベクトルはピクセルのセットに対応する各領域にグループ化されており、
前記画像を受信するよう連結された、前記動きベクトルを用いて前記画像を前記領域に
グループ化する動きベクトルモデル化器と、
前記画像を受信するよう連結された粗い深度マップ生成器と、
前記粗い深度マップおよび前記画像を受信するよう連結された詳細な深度マップ合成器
とを有し、
前記粗い深度マップ生成器は、
少なくともいくつかの前記領域間の境界領域を定義するステップと、
少なくともいくつかの前記領域に深度値を割り当てるとともに前記境界領域におけるピ
クセルに対し深度値を割り当てるステップとによって、前記粗い深度マップを生成するも
のであり、
前記詳細な深度マップ合成器は、前記画像からエッジ情報を得るステップと、前記エッ
ジ情報の少なくともいくらかと前記粗い深度マップから引き出された勾配マップとを用い
て勾配情報を演算するステップと、表面勾配積分の表面復元手法を前記勾配情報に適用す
るステップとによって前記深度マップを得るものであることを特徴とする。
また、本発明の画像処理システムにおいて、前記境界領域を定義するステップは、
第１領域におけるピクセルを拡張して第１拡張領域を得るステップと、
第２領域におけるピクセルを拡張して第２拡張領域を得るステップと、
前記境界領域を前記第１領域および前記第２領域の交差点として定義するステップとを
有することを特徴とする。
また、本発明の画像処理システムにおいて、前記勾配情報を演算するステップは、
前記粗い深度マップをアップサンプリングすることにより前記勾配マップを生成するス
テップと、
前記画像から前記エッジ情報を得るステップと、
前記エッジ情報の少なくともいくらかおよび前記境界領域におけるピクセルからの深度
値の少なくともいくらかを用いて前記勾配マップを生成するステップとを有することを特
徴とする。
また、本発明の画像処理システムにおいて、前記動きベクトルを用いて画像を領域にグ
ループ化することは、
アフィンモデルのセットを初期化するステップと、
前記画像の前記動きベクトル各々を前記アフィンモデルの中から前記ベクトルを最も近
く予測するアフィンモデルに割り当てるステップと、
前記アフィンモデルに割り当てられた前記動きベクトルをはめ込むことにより各前記ア
フィンモデルを調節するステップと、
前記各動きベクトルを割り当てるステップと各前記アフィンモデルを調節するステップ
とを、前記動きベクトルの割り当ての変更がなくなるまで反復するステップと、
前記画像を前記領域に分割するステップであって、前記領域は前記アフィンモデルに割
り当てられた前記動きベクトルに結び付いたピクセルに対応するステップとを有すること
を特徴とする。
発明の各種実施形態によりビデオ画像から詳細な深度マップを合成するシステムのブロック図である。 本発明の各種実施形態によりビデオ画像から詳細な深度マップを合成する方法を示す図である。 （Ａ）は、本発明の各種実施形態による動きベクトルを図示するビデオ画像の例である。（Ｂ）は、本発明の各種実施形態による図３（Ａ）におけるビデオ画像例のある領域の拡大図である。 本発明の各種実施形態によりビデオ画像におけるベクトルをアフィンモデルのセットに割り当てる方法を示す図である。 本発明の各種実施形態によりビデオ画像の分割化された領域内のピクセルに深度値を割り当てる方法を描く図である。 （Ａ）は、本発明の各種実施形態によりビデオ画像の分割化された領域内の拡大ピクセルの例示す図である。（Ｂ）は、本発明の各種実施形態による図６（Ａ）のビデオ画像の分割化された領域の拡大図である。 本発明の各種実施形態により粗い勾配マップおよびエッジ情報から勾配マップを生成する方法を描く図である。 （Ａ）は、本発明の各種実施形態による、動きベクトルに基づき分割されたビデオ画像の例を示す図である。（Ｂ）は、本発明の各種実施形態により図８（Ａ）に図示されたのと同じビデオ画像から生成された詳細な勾配マップの例を示す図である。 本発明の各種実施形態によりビデオ画像の詳細な勾配マップから生成された三次元画像の例を示す図である。 本発明の各種実施形態による演算システムのブロック図である。
ビデオ画像から深度マップを合成するシステムおよび方法がここに説明される。本発明
の実施形態において、ビデオストリームから復号化される動きベクトルはアフィンモデル
に基づくＫモデルのクラスターリング手法の適用によりグループに分類することができ、
動きベクトルのクラスターに従って分割された画像を用いて画像ピクセルの粗い深度マッ
プを生成することができる。実施形態において、粗い深度マップとともに画像からのエッ
ジ情報を用いて画像の高解像度勾配マップを生成することができ、Frankot‐Chellappaア
ルゴリズムなど、勾配情報から表面を構築するアルゴリズムを高解像度勾配マップに適用
して画像の詳細な深度マップを合成することができる。さらに画像の詳細な深度マップを
用いて例えば三次元表面を表示することができる。
本発明のいくつかの特徴および利点が本要約部において全般的に説明される。しかしさ
らなる特徴、利点、および実施形態が本明細書において呈示され、または本明細書におけ
る図面、明細書、およびクレームに照らし通常の同業者に明らかになるであろう。従って
、発明の範囲は本要約部に開示される特定の実施形態により限定されないことが理解され
よう。
以下の記述において、説明の目的から発明の理解を提供すべく具体的な詳細が述べられ
る。しかし同業者であれば発明がこれらの詳細なしで実施できることが明らかになろう。
同業者であれば以下にいくつか説明される本発明の実施形態はカメラ、スキャナー、プリ
ンター、コンピューター、ファクシミリ装置、表示またはカメラ機能を有する装置を含む
携帯装置、マルチメディア装置、等々を含み、いくつか異なるシステムおよび装置に組み
入れ得ることを理解しよう。本発明の実施形態はソフトウェア、ハードウェア、ファーム
ウェア、またはそれらの組み合わせに実装することができる。
ブロック図で示される構成要素、またはモジュール、は発明の代表的な実施形態を示す
もので、発明を分かりにくくすることを避けることを意図している。また本考察を通じ構
成要素は別個の機能ユニットとして説明されることができ、これらはサブユニットを有し
てなることができるが、同業者であればさまざまな構成要素またはそれらの一部は別個の
構成要素に分割されることができ、または単一のシステムまたは構成要素への一体化を含
み一体化され得ることを理解しよう。
さらに、図内における構成要素間の接続は直接の接続に限定される意図はない。逆に、
これら構成要素間のデータは中間構成要素により改変、再フォーマット化、またはその他
変更されることができる。また、より多いまたはより少ない接続を用いることができる。
さらに、「連結される」または「通信的に連結される」の用語は直接接続、１つ以上の中
間装置を通した間接接続、および無線接続を含むと理解されることが特記される。
明細書において「一実施形態」、「ある実施形態」、または「実施形態」への言及はそ
の実施形態に関連して説明された特定の特徴、構造、特性、または機能が発明の少なくと
も１つの実施形態に含まれ、１つを超える実施形態に含まれ得ることを意味する。明細書
の各所における「一実施形態で」、「ある実施形態で」、または「実施形態」の言い回し
は必ずしも同じ実施形態を指すものではない。
（システムの実施）
図１は発明の各種実施形態により入力ビデオ画像105から詳細な深度マップ125を合成す
るシステム100を描く。システム100は動きベクトルモデル化器110、粗い深度マップ生成
器115、および詳細な深度マップ合成器120を有してなる。
実施形態において、動きベクトルモデル化器110は入力ビデオ画像105から復号化された
動きベクトルのセットを受信し、動きベクトルを各々異なるモデルで表されるベクトルの
セットにグループ化する。実施形態において、動きベクトルはMPEGビデオストリームから
復号化され得、ベクトルは例えばピクセルの１６×１６のブロック毎に１ベクトルのよう
なまばらな形であることができる。実施形態において、アフィンモデルを用いてベクトル
のグループを表すことができる。画像の動きベクトルは各クラスターが異なるアフィンモ
デルに対応するようにＫ個のクラスターにグループ化することができる。同業者であれば
、アフィンモデルのパラメーターの選択およびアフィンモデルの選ばれた数、Ｋ、は発明
に肝要でないことを理解しよう。
実施形態において、粗い深度マップ生成器115はピクセルの少なくともいくつかは動き
ベクトルクラスターリングに基づき領域に割り当てられているビデオ画像を受信し、その
クラスターリング情報を用いて画像の粗い深度マップを合成する。実施形態において、Ｋ
個のアフィンモデル周囲に作成されたＫ個のクラスターの少なくともいくつかに基づき領
域に分割されることができる。例えば、ある実施形態においては画像の動きベクトルが画
像の前景および背景層に対応する２つの領域にクラスターされているかもしれない。実施
形態において、分割された各領域における画像ピクセルは形態拡大演算を用いて拡大する
ことができる。同業者であれば、形態拡大演算において多数のサイズおよび形状の拡大オ
ブジェクトを用いることができ、拡大オブジェクトの選択は発明に肝要でないことを理解
しよう。実施形態において、境界領域は画像における２つ以上の拡大領域の交差個所と特
定することができる。２つの領域に分割された画像例で示される実施形態において、境界
領域は画像の前景および背景層の交差個所として特定することができる。
実施形態において、画像の各分割化領域に深度値を割り当てることができ、各領域内の
ピクセルはそれらが対応する領域に割り当てられた深度値が割り当てられることができる
。
実施形態において、境界領域内の各ピクセルの深度値は境界領域に隣接する各領域とピ
クセルとの距離の関数として計算することができる。前景および背景領域など２つの領域
に分割された画像例で示される実施形態において、境界領域内における各ピクセルの深度
値は次の方程式により計算することができる。
ここでｚcbは境界内におけるピクセルの計算された深度値で、ｚfとｚbは各々前景およ
び背景層に割り当てられた深度値、およびｄfとｄbはピクセルから各々前景および背景領
域までの距離である。
実施形態において、画像ピクセルに割り当てられた深度値を用いて画像の粗い深度マッ
プを作成することができる。この粗い深度マップは画像に対し復号化された動きベクトル
のグリッドと同じ解像度を有することが特記される。例えば、１つのベクトルがピクセル
の１６×１６のブロックを表すMPEG画像から生成される深度マップは深度マップにおける
各１点がピクセルの１６×１６のブロックを表している。このまばらな解像度は粗い深度
マップにおいて画像層の間でギザギザしたエッジをもたらし得、画像内のオブジェクトの
エッジと位置合わせされていない可能性が高い。
実施形態において、詳細な深度マップ合成器120は粗い深度マップおよびビデオ画像を
受信し、その入力を用いて画像の詳細な深度マップ125を合成する。実施形態において、
粗い深度マップをアップサンプルすることにより、より高い解像度の粗い勾配マップを生
成することができる。同業者であれば、アップサンプリングのパラメーターまたは適用方
法の選択は発明に肝要でないことを理解しよう。
実施形態において、エッジ検出方法を画像に適用して画像におけるエッジ・ピクセルを
特定することができる。同業者であれば、多数のエッジ検出方法が存在し、特定方法の選
択は発明に肝要でないことを理解しよう。エッジ検出方法の一例はソーベル・エッジ検出
で、画像のピクセルに水平および垂直のソーベル演算子を適用して水平および垂直なエッ
ジ双方を検出することができる。画像の各ピクセルに対し水平（Ex）および垂直（Ey）方
向双方の強度勾配値を演算することができる。勾配の大きさが予め定義された閾値を超え
るピクセルはエッジ・ピクセルとして分類することができる。
実施形態において、各ピクセルにおいてチャンネルにわたる最大勾配値が双方の配向に
維持されるように、ソーベル演算子を例えばRGBチャンネルなど、画像のすべての色チャ
ンネルに適用することができる。実施形態において、エッジ検出器の適用からのエッジ情
報および粗い深度マップからの深度情報により、次の方程式に従い画像に対する１対の勾
配マップを形成することができる。
ここで、点pにおいて、Ｇx（p）は水平の勾配値で、Ｇy（p）は垂直の勾配値、Δxｚ（
p）はアップサンプルされた粗い深度マップからの深度値の水平（x）方向に沿った変化率
、Δyｚ（p）はアップサンプルされた粗い深度マップからの深度値の垂直（y）方向に沿
った変化率、E（p）はエッジ値、およびＴeは予め設定された閾値である（実施形態にお
いて、閾値の例は20％である）。実施形態において、粗い深度マップからの勾配値はエッ
ジ値により囲われると言え、従って勾配はエッジが存在する個所にのみ存在する。
実施形態において、画像の高解像度深度マップは表面勾配統合の表面復元手法を用いる
ことにより合成することができる。この手法は入力として勾配マップを取り入れ、深度マ
ップを生成する。実施形態において、Frankot‐Chellappaのフーリエ・ベースの投影手法
を用いることができるが、同業者であれば別の投影手法を用い得ることを理解しようが、
同業者であれば勾配情報から表面を構築する他のアルゴリズムを用い得ることを理解しよ
う。実施形態において、ビデオ画像の高解像度深度マップは上記に開示されたように形成
される詳細な勾配マップの対にFrankot‐Chellappaアルゴリズムを適用することにより演
算することができる。
実施形態において、ビデオ画像の詳細な深度マップ125は例えば三次元の表面を描くの
に用いることができる。
（ビデオ画像から詳細な深度マップを合成する方法）
図２は発明の実施形態により入力ビデオ画像105から詳細な深度マップ125を合成する方
法200を描く。方法200はＫ‐モデルの動きベクトルクラスターリングを画像から復号化さ
れた動きベクトルに適用すること（工程205）、画像ピクセルの粗い深度マップを作成す
ること（工程210）、画像の勾配マップを生成すること（工程215）、および画像勾配マッ
プに表面復元アルゴリズムを適用することにより詳細な深度マップ125を生成すること（
工程220）の工程を有してなる。方法200はシステム100の実施形態により実施することが
できる。
（Ｋ‐モデルの動きベクトルクラスターリング）
図３（Ａ）は動きベクトルが復号化されたMPEGビデオ画像を図示する。画像の一部分（
305）の拡大図が図３（Ｂ）に図示される。動きベクトルがMPEGビデオストリームから復
号化され得た実施形態において、ベクトル（310aおよび310b）は例えば１６×１６のピク
セルブロック毎に１ベクトルなど、まばらな形であり得る。
図４はＫ‐モデルの動きベクトルクラスターリングを用いて画像の動きベクトルをグル
ープに分類する方法400を描く。方法400は方法200において工程200としておよび動きベク
トルモデル化器110の実施形態において実施することができる。
カー・ハン・タンおよびアヌープ・バッタチャルジャを発明者として記載し２００５年
１２月５日に出願された「没入型サラウンド視界」と題する同一所有の米国特許出願番号
第１１／２９４０２３号明細書（米国公開番号第２００７／０１２６９３８ Ａ１号明細
書）において、MPEGビデオストリームから復号化されたまばらな動きベクトルがどのよう
にアフィンモデルにより表すことができるかが考察され、この出願は引用により全体とし
て本明細書に組み入れられる。モデルのパラメーターは次のような線形最小二乗のはめ込
みによって推定できる。光の流れベクトルn個、従ってn個の対応する点のペアpoints（ｘ
1，ｙ1）…（ｘn，ｙn）および（ｕ1，ｖ1）…（ｕn，ｖn）を仮定すると、
を解くとアフィンモデルの最小二乗の解としてａ1、ａ2、ａ3、ａ4、ａ5、およびａ6が
得られる。
実施形態において、アフィンモデルを用いてベクトルのグループを表すことができる。
画像の動きベクトルは各クラスターが異なるアフィンモデルに対応するようなＫ個のクラ
スターにグループ化することができる。同業者であればアフィンモデルのパラメーターの
初期選択およびアフィンモデルの数、Ｋ、は発明に肝要でないことを理解しよう。
工程405において、Ｋ個のアフィンモデルがランダムのパラメーター値で初期化される
。画像の各動きベクトルはベクトルを最も厳密に予測するモデルのグループに割り当てら
れる（工程410）。画像の動きベクトルがすべて割り当てられた後、各モデルはそのグル
ープのベクトルを用いてパラメーターを推定することにより更新できる（工程415）。モ
デルの更新後ベクトルを異なるグループに割り当てし直す必要がある場合（工程420）、
グループが安定するまで工程410および415が繰り返される（工程425）。
（粗い深度マップの合成）
図５は発明の実施形態によりビデオ画像の粗い深度マップを合成する方法500を描く。
方法500は方法200において工程210として、また粗い深度マップ生成器115の実施形態にお
いて実施できる。
実施形態において、画像はＫ個のアフィンモデルの周りに作成されたＫ個のクラスター
の少なくともいくつかに基づく領域に分割することができる。例えばある実施形態におい
ては、画像の動きベクトル画像の前景および背景層に対応する２つの領域にクラスターさ
れて良い。実施形態において、各分割化領域における画像ピクセル形態拡大演算を用いて
拡大することができる（工程510）。同業者であれば、形態拡大演算において多数のサイ
ズおよび形状の拡大オブジェクトを用いることができ、拡大オブジェクトの選択は発明に
肝要でないことを理解しよう。実施形態において、境界領域は画像における２つ以上の拡
大領域の交差個所と特定することができる。２つの領域に分割された画像例で示される実
施形態において、境界領域は画像の前景および背景層の交差個所として特定することがで
きる。
図６（Ａ）は発明の実施形態により拡大されたピクセルが領域に分割された、図３のMP
EG画像を図示する。画像の一部（605）の拡大図が図６（Ｂ）に図示される。本例におい
て、前景領域（620）、背景領域（610）、およびこの２つの領域が交差する境界領域（61
5aおよび615b）がある。
図８（Ａ）は図３（Ａ）に図示されるMPEG画像用に作成された２つの分割化領域を図示
する。本説明図において前景層（805）のピクセルは白く塗られる一方背景層（810）のピ
クセルは黒く塗られている。深度マップの解像度は図３（Ａ）における動きベクトルのグ
リッドの解像度と同じであるためエッジは滑らかでない。
実施形態において、画像の各分割化領域に深度値を割り当てることができ、各領域内の
ピクセルはそれらが対応する領域に割り当てられた深度値が割り当てられることができる
（工程515）。実施形態において、境界領域内の各ピクセルの深度値は境界領域に隣接す
る各領域とピクセルとの距離の関数として計算することができる（工程520）。前景およ
び背景領域など２つの領域に分割された画像例で示される実施形態において、境界領域内
における各ピクセルの深度値は次の方程式により計算することができる。
ここでｚcbは境界内におけるピクセルの計算された深度値で、ｚfとｚbは各々前景およ
び背景層に割り当てられた深度値、およびｄfとｄbはピクセルから各々前景および背景領
域までの距離である。
実施形態において、画像ピクセルに割り当てられた深度値を用いて画像の粗い深度マッ
プを作成することができる。この粗い深度マップは画像に対し復号化された動きベクトル
のグリッドと同じ解像度を有することが特記される。例えば、１つのベクトルがピクセル
の１６×１６のブロックを表すMPEG画像から生成される深度マップは深度マップにおける
各１点がピクセルの１６×１６のブロックを表している。このまばらな解像度は粗い深度
マップにおいて画像層の間でギザギザしたエッジをもたらし得、画像内のオブジェクトの
エッジと位置合わせされていない可能性が高い。
（詳細な勾配マップの生成）
図７は発明の実施形態によりビデオ画像の詳細な勾配マップを生成する方法700を描く
。方法700は方法200の工程215として、および詳細な深度マップ合成器120の実施形態にお
いて実施することができる。
実施形態において、粗い深度マップをアップサンプルすることにより、より高い解像度
の粗い勾配マップを生成することができる（工程705）。同業者であれば、アップサンプ
リングのパラメーターまたは適用方法の選択は発明に肝要でないことを理解しよう。
実施形態において、エッジ検出方法を画像に適用して画像におけるエッジ・ピクセルを
特定することができる（工程710）。同業者であれば、多数のエッジ検出方法が存在し、
特定方法の選択は発明に肝要でないことを理解しよう。エッジ検出方法の一例はソーベル
・エッジ検出で、画像のピクセルに水平および垂直のソーベル演算子を適用して水平およ
び垂直なエッジ双方を検出することができる。画像の各ピクセルに対し水平（Ｅx）およ
び垂直（Ｅy）方向双方の強度勾配値を演算することができる。勾配の大きさが予め定義
された閾値を超えるピクセルはエッジ・ピクセルとして分類することができる。
実施形態において、各ピクセルにおいてチャンネルにわたる最大勾配値が双方の配向に
維持されるように、ソーベル演算子を例えばRGBチャンネルなど、画像のすべての色チャ
ンネルに適用することができる。実施形態において、エッジ検出器の適用からのエッジ情
報および粗い深度マップからの深度情報により、次の方程式に従い画像に対する１対の勾
配マップを形成することができる。
ここで、点pにおいて、Ｇx（p）は水平の勾配値で、Ｇy（p）は垂直の勾配値、Δxｚ（
p） はアップサンプルされた粗い深度マップからの深度値の水平（x）方向に沿った変化
率、Δyz（p）はアップサンプルされた粗い深度マップからの深度値の垂直（y）方向に沿
った変化率、E（p）はエッジ値、およびＴeは予め設定された閾値である（実施形態にお
いて、閾値の例は20％である）。実施形態において、粗い深度マップからの勾配値はエッ
ジ値により囲われると言え、従って勾配はエッジが存在する個所にのみ存在する。
（詳細な深度マップの生成）
方法200の工程220および詳細な深度マップ合成器120の実施形態において、画像の高解
像度深度マップは表面勾配統合の表面復元手法を用いることにより合成することができる
。この手法は入力として勾配マップを取り入れ、深度マップを生成する。実施形態におい
て、Frankot‐Chellappaのフーリエ・ベースの投影手法を用いることができるが、同業者
であれば別の投影手法を用い得ることを理解しよう。実施形態において、ビデオ画像の高
解像度深度マップは上記に開示されたように形成される詳細な勾配マップの対にFrankot
‐Chellappaアルゴリズムを適用することにより演算することができる。
図８（Ｂ）は図３（Ａ）で図示されたMPEG画像用に作成された詳細な深度マップ125を
図示する。本説明図において前景層（805）のピクセルは白く塗られ、背景層（810）のピ
クセルは黒く塗られ、エッジに沿いブレンドされた境界領域は灰色の色合いで塗られる。
図８（Ａ）に図示される画像ピクセルのマップにおけるエッジに比べ、エッジはなめらか
にない、図３（Ａ）に図示される入力画像のエッジにより近い。
実施形態において、ビデオ画像の詳細な深度マップ125は例えば三次元の表面を描くの
に用いることができる。同業者であれば三次元の表面を描くのに標準のテクスチャ・マッ
ピング操作を用いることができ、いずれの特定なテクスチャ・マッピング操作も肝要でな
いことを理解しよう。図９は図８（Ｂ）に図示される深度マップから描かれた三次元画像
を図示する。
本発明は画像データを処理し得る任意の命令実行／演算装置またはシステムにおいて実
施できることが特記され、これには汎用コンピューターおよび画像処理用の特定コンピュ
ーターが含まれるがこれらに限定されない。本発明はさらに他の演算装置およびシステム
に実装することができ、これにはデジタルカメラ、プリンター、スキャナー、多機能プリ
ンター・スキャナー、ファクシミリ機、マルチメディア装置、および画像を処理し、取り
込み、伝送し、または記憶する他の任意の装置が含まれるがこれらに限定されない。さら
に、本発明の態様はいずれの装置内においてもソフトウェア、ハードウェア、ファームウ
ェア、またはこれらの組み合わせを含み、広範囲な形で実施することができる。例えば、
本発明の様々な態様を実施する機能は個々の論理部品、１つ以上の特定用途向け集積回路
（ASIC）、および／またはプログラム制御プロセッサーを含み広範囲な形で実装される部
品により実施することができる。これらの部品が実装される形は本発明に肝要ではないこ
とが特記される。
図１０は本発明の実施形態を実施または具現し得る命令実行／演算装置（演算システム
）1000の実施形態の機能的ブロック図を描く。図１０に示すように、プロセッサー1002が
ソフトウェア命令を実行し、他のシステムコンポーネントとやりとりする。一実施形態に
おいて、プロセッサーは（限定ではなく例として）AMD（登録商標）プロセッサー、INTEL
（登録商標）プロセッサー、SUN MICROSYSTEMS（登録商標）プロセッサー、またはPOWERP
C（登録商標）対応CPUなど汎用プロセッサー、またはプロセッサーは特定用途向けの１つ
または複数のプロセッサーであることができる。プロセッサー1002に連結された記憶装置
1004はデータおよびソフトウェアプログラムの長期的記憶を提供する。記憶装置1004はハ
ードディスクドライブおよび／またはコンピューター読み取り可能な媒体（例、ディスケ
ット、テープ、コンパクトディスク、DVD、等々）またはソリッドステート記憶装置など
データを記憶できる別の装置であって良い。記憶装置1004はプロセッサー1002で使用する
プログラム、命令、および／またはデータを収納することができる。一実施形態において
、記憶装置1004に記憶されそこからロードされるプログラムまたは命令はメモリー1006に
ロードされ、プロセッサー1002により実行される。一実施形態において、記憶装置1004は
プロセッサー1002でオペレーティングシステムを実施するプログラムまたは命令を収納す
る。一実施形態において、考えられるオペレーティングシステムはUNIX（登録商標）、AI
X（登録商標）、LINUX、Microsoft Windows（登録商標）、およびApple Macintosh OSが
含まれるが、これらに限定されない。実施形態において、オペレーティングシステムは演
算システム1000上で実行し、システムの稼動を制御する。
プロセッサー1002に連結されるアドレス可能なメモリー1006はデータおよびプロセッサ
ー1002により実行されるソフトウェア命令を記憶するのに使用することができる。メモリ
ー1006は例えばファームウェア、読み取り専用メモリー（ROM）、フラッシュメモリー、
不揮発性ランダム・アクセス・メモリー（NVRAM）、ランダム・アクセス・メモリー（RAM
）、またはこれらの任意の組み合わせであって良い。一実施形態において、メモリー1006
は別途サービス、ユーティリティー、コンポーネント、またはモジュールとして知られる
ソフトウェア・オブジェクトをいくつか記憶している。同業者であれば、さらに記憶装置
1004およびメモリー1006は同じ品目で双方の立場で機能し得ることを理解しよう。一実施
形態において、図１の１つ以上の要素が記憶装置1004、メモリー1006に記憶されプロセッ
サー1002により実行されるモジュールであることができる。
一実施形態において、演算システム1000は他の装置、他のネットワーク、または双方と
通信する能力を提供する。演算システム1000は１つ以上のネットワークインターフェイス
1012またはアダプターなどの通信ポート1014を含むことができ、演算システム1000を他の
ネットワークおよび装置と通信できるよう連結する。例えば、演算システム1000はネット
ワークインターフェイス1012、通信ポート1014、または双方、を含むことができ、これら
の各々はプロセッサー1002に通信できるよう連結され、演算システム1000を他のコンピュ
ーターシステム、ネットワーク、および装置に連結するために使用することができる。
一実施形態において、演算システム1000はプロセッサー1002に連結されグラフィックス
およびテキストの表示を容易にする１つ以上の出力装置1008を含むことができる。出力装
置1008はディスプレイ、LCD画面、CRTモニター、プリンター、タッチ画面、または情報を
表示する他の装置を含むことができるが、これらに限定されない。演算システム1000はさ
らに出力装置1008に情報または画像を表示するのを助けるグラフィイクス・アダプター（
図示せず）を含むことができる。
プロセッサー1002に通信できるよう連結される１つ以上の入力装置1010を用いてユーザ
ー入力を円滑にすることができる。入力装置1010はマウス、トラックボール、またはタッ
チ・パッドなどのポインター装置を含むことができるが、これらに限定されず、さらにデ
ータまたは命令を演算システム1000に入力するためにキーボードまたはキーパッドを含む
ことができる。
一実施形態において、演算システム1000は通信ポート1014、ネットワークインターフェ
イス1012、記憶装置1004，メモリー1006に記憶されるデータ、または入力装置を通してに
せよ、スキャナー、コピー機、ファクシミリ機、または他の演算装置から入力を受信する
ことができる。
同業者であれば、本発明の実施にいずれの演算システムも重要ではないことを理解しよ
う。同業者であればさらに上述の要素のいくつかはサブ・モジュールに物理的および／ま
たは機能的に分けられ、または組み合わせられることを理解しよう。
本発明の実施形態はさらに各種コンピューター実施の操作を行なうためのコンピュータ
ーコードを有するコンピューター読み取り可能な媒体を有するコンピューター製品に関わ
ることができることが特記される。媒体およびコンピューターコードは本発明の目的のた
めに特別に設計され構築されたものでも良く、または該当技術の当事者に知られ、利用可
能な種類のものであっても良い。コンピューター読み取り可能な媒体の例は、ハードディ
スク、フロッピー（登録商標）ディスク、および磁気テープなどの磁気媒体、CD‐ROMお
よびホログラフィー装置などの光媒体、光磁気媒体、および特定用途向け集積回路（ASIC
）、プログラマブル論理装置（PLD）、フラッシュメモリー装置、およびROMやRAM装置な
ど、プログラムコードを記憶し、または記憶して実行するよう特別に構成されるハードウ
ェア装置を含むがこれらに限定されない。コンピューターコードの例はコンパイラーによ
り作成されるような機械コード、およびインタプリタを用いてコンピューターにより実行
されるより高レベルのコードを含むファイルを含む。
発明は各種の改変および代わりの形を許すが、その具体的な例が図面に示され、本明細
書において詳細に説明される。しかし、発明は開示される特定の形に限定されるものでは
なく、逆に発明は添付クレームの範囲内に入るすべての改変、同等のもの、および代わり
のものを包含することが理解されよう。
３１０ ベクトル、６１０ 背景領域、６１５ 境界領域、６２０ 前景領域、８０５
前景層。

Claims (19)

  1. ピクセルおよび前記ピクセルに相関した動きベクトルを有する画像から深度マップを生
    成する画像処理方法であって、
    前記動きベクトルを用いて前記画像を領域にグループ化するステップと、
    前記領域の少なくともいくつかの間の境界領域を定義するステップと、
    前記領域の少なくともいくつかに深度値を割り当てるステップと前記境界領域のピクセ
    ルに深度値を割り当てるステップとによって粗い深度マップを生成するステップと、
    前記画像からの少なくともいくらかのエッジ情報と前記粗い深度マップから引き出され
    た勾配マップとを用いて勾配情報を演算するステップと、
    表面勾配積分の表面復元手法を前記勾配情報に適用することにより前記深度マップを得
    るステップとを有する画像処理方法。
  2. 前記境界領域を定義するステップは、
    第１領域におけるピクセルを拡張して第１拡張領域を得るステップと、
    第２領域におけるピクセルを拡張して第２拡張領域を得るステップと、
    前記境界領域を前記第１領域および前記第２領域の交差点として定義するステップとを
    有する請求項１に記載の画像処理方法。
  3. 前記境界領域のピクセルに深度値を割り当てるステップは、
    前記第１拡張領域および前記第２拡張領域間における前記境界領域のピクセルの位置に
    関連する加重係数によるブレンディングを有する請求項２に記載の画像処理方法。
  4. 前記勾配情報を演算するステップは、
    前記粗い深度マップをアップサンプリングすることにより前記勾配マップを生成するス
    テップと、
    前記画像から前記エッジ情報を得るステップと、
    前記エッジ情報の少なくともいくらかと前記境界領域における前記ピクセルからの前記
    深度値の少なくともいくらかとを用いて前記勾配マップを生成するステップとを有する請
    求項１に記載の画像処理方法。
  5. 前記画像から前記エッジ情報を得るステップは、
    前記ピクセルの色チャンネルのセットにエッジ検出器を適用し、前記色チャンネルのセ
    ットにわたる最高値を記録するステップを有する請求項４に記載の画像処理方法。
  6. 前記表面復元手法はFrankot‐Chellappa方法である請求項１に記載の画像処理方法。
  7. 前記動きベクトルを用いて前記画像を領域にグループ化するステップは、
    アフィンモデルのセットを初期化するステップと、
    前記画像の動きベクトル各々を、前記アフィンモデルの中から前記ベクトルを最も近く
    予測するアフィンモデルに割り当てるステップと、
    前記アフィンモデルに割り当てられた前記動きベクトルをはめ込むことにより前記各ア
    フィンモデルを調節するステップと、
    前記動きベクトル各々を割り当てるステップと前記各アフィンモデルを調節するステッ
    プとを前記動きベクトルの割り当ての変更がなくなるまで反復するステップと、
    前記画像を前記領域に分割するステップであって、前記領域は前記アフィンモデルに割
    り当てられた前記動きベクトルに結び付いたピクセルに対応しているステップとを有する
    請求項１に記載の画像処理方法。
  8. 請求項１の方法を実施する命令を有するコンピューター読み取り可能な媒体。
  9. ピクセルおよび前記ピクセルに相関する動きベクトルを有する画像から深度マップを生
    成する画像処理方法であって、
    アフィンモデルのセットおよび前記動きベクトルを用いて前記画像を領域にグループ化
    するステップと、
    少なくともいくつかの前記領域の間の境界領域を定義するステップと、
    少なくともいくつかの前記領域に深度値を割り当てるステップと、前記境界領域に隣接
    する前記領域の深度値をブレンディングすることによって前記境界領域における前記ピク
    セルに深度値を割り当てるステップとによって、粗い深度マップを生成するステップと、
    前記画像からエッジ情報を得るステップと、
    前記粗い深度マップからアップサンプルされた粗い深度マップを生成するステップと、
    前記エッジ情報と前記アップサンプルされた粗い深度マップの少なくとも１つの勾配マ
    ップとを用いて、勾配情報を生成するステップと、
    前記勾配情報に表面復元手法を適用することにより前記深度マップを生成するステップ
    とを有する画像処理方法。
  10. 前記境界領域を定義するステップは、
    第１領域におけるピクセルを拡張して第１拡張領域を得るステップと、
    第２領域におけるピクセルを拡張して第２拡張領域を得るステップと、
    前記境界領域を前記第１領域および第２領域の交差点として定義するステップとを有す
    る請求項９に記載の画像処理方法。
  11. 前記境界領域に隣接する前記領域の深度値をブレンディングすることは、前記第１拡張
    領域および前記第２拡張領域間における前記境界領域のピクセルの位置に関連する加重係
    数によるブレンディングを有する請求項１０に記載の画像処理方法。
  12. 前記勾配情報は１対の勾配マップを有する請求項９に記載の画像処理方法。
  13. 前記表面復元手法はFrankot‐Chellappa方法である請求項９に記載の画像処理方法。
  14. 前記画像を領域にグループ化するステップは、
    前記アフィンモデルのセットを初期化するステップと、
    前記画像の動きベクトル各々を前記アフィンモデルの中から前記ベクトルを最も近く予
    測するアフィンモデルに割り当てるステップと、
    前記アフィンモデルに割り当てられた前記動きベクトルをはめ込むことにより前記各ア
    フィンモデルを調節するステップと、
    前記動きベクトル各々を割り当てるステップと前記各アフィンモデルを調節するステッ
    プとを前記動きベクトルの割り当ての変更がなくなるまで反復するステップと、
    前記画像を前記領域に分割するステップであって、前記領域は前記アフィンモデルに割
    り当てられた前記動きベクトルに結び付いたピクセルに対応しているステップとを有する
    請求項９に記載の画像処理方法。
  15. 請求項９の方法を実施する命令を有するコンピューター読み取り可能な媒体。
  16. 動きベクトルを有する画像から深度マップを生成する画像処理システムであって、
    前記動きベクトルはピクセルのセットに対応する各領域にグループ化されており、
    前記画像を受信するよう連結された、前記動きベクトルを用いて前記画像を前記領域に
    グループ化する動きベクトルモデル化器と、
    前記画像を受信するよう連結された粗い深度マップ生成器と、
    前記粗い深度マップおよび前記画像を受信するよう連結された詳細な深度マップ合成器
    とを有し、
    前記粗い深度マップ生成器は、
    少なくともいくつかの前記領域間の境界領域を定義するステップと、
    少なくともいくつかの前記領域に深度値を割り当てるとともに前記境界領域におけるピ
    クセルに対し深度値を割り当てるステップとによって、前記粗い深度マップを生成するも
    のであり、
    前記詳細な深度マップ合成器は、前記画像からエッジ情報を得るステップと、前記エッ
    ジ情報の少なくともいくらかと前記粗い深度マップから引き出された勾配マップとを用い
    て勾配情報を演算するステップと、表面勾配積分の表面復元手法を前記勾配情報に適用す
    るステップとによって前記深度マップを得るものである画像処理システム。
  17. 前記境界領域を定義するステップは、
    第１領域におけるピクセルを拡張して第１拡張領域を得るステップと、
    第２領域におけるピクセルを拡張して第２拡張領域を得るステップと、
    前記境界領域を前記第１領域および前記第２領域の交差点として定義するステップとを
    有する請求項１６に記載の画像処理システム。
  18. 前記勾配情報を演算するステップは、
    前記粗い深度マップをアップサンプリングすることにより前記勾配マップを生成するス
    テップと、
    前記画像から前記エッジ情報を得るステップと、
    前記エッジ情報の少なくともいくらかおよび前記境界領域におけるピクセルからの深度
    値の少なくともいくらかを用いて前記勾配マップを生成するステップとを有する請求項１
    ６に記載の画像処理システム。
  19. 前記動きベクトルを用いて画像を領域にグループ化することは、
    アフィンモデルのセットを初期化するステップと、
    前記画像の前記動きベクトル各々を前記アフィンモデルの中から前記ベクトルを最も近
    く予測するアフィンモデルに割り当てるステップと、
    前記アフィンモデルに割り当てられた前記動きベクトルをはめ込むことにより各前記ア
    フィンモデルを調節するステップと、
    前記各動きベクトルを割り当てるステップと各前記アフィンモデルを調節するステップ
    とを、前記動きベクトルの割り当ての変更がなくなるまで反復するステップと、
    前記画像を前記領域に分割するステップであって、前記領域は前記アフィンモデルに割
    り当てられた前記動きベクトルに結び付いたピクセルに対応するステップとを有する請求
    項１６に記載の画像処理システム。
JP2009271228A 2008-12-09 2009-11-30 画像処理方法、コンピューター読み取り可能な媒体および画像処理システム Withdrawn JP2010140476A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US12/331,084 US8248410B2 (en) 2008-12-09 2008-12-09 Synthesizing detailed depth maps from images

Publications (1)

Publication Number Publication Date
JP2010140476A true JP2010140476A (ja) 2010-06-24

Family

ID=42230550

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009271228A Withdrawn JP2010140476A (ja) 2008-12-09 2009-11-30 画像処理方法、コンピューター読み取り可能な媒体および画像処理システム

Country Status (2)

Country Link
US (1) US8248410B2 (ja)
JP (1) JP2010140476A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013081383A1 (ko) * 2011-11-29 2013-06-06 삼성전자주식회사 깊이 영상을 고해상도로 변환하는 방법 및 장치
JP2013545200A (ja) * 2010-11-23 2013-12-19 クゥアルコム・インコーポレイテッド グローバル動きに基づく深度の推定
US9123115B2 (en) 2010-11-23 2015-09-01 Qualcomm Incorporated Depth estimation based on global motion and optical flow
US9613293B2 (en) 2011-11-29 2017-04-04 Samsung Electronics Co., Ltd. Method and apparatus for converting depth image in high resolution
JP2017509986A (ja) * 2014-12-19 2017-04-06 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 超音波深度検出を使用するオプティカルフロー画像化システム及び方法
KR101828814B1 (ko) * 2011-07-07 2018-02-13 삼성전자주식회사 깊이 영상 변환 장치 및 방법

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120269458A1 (en) * 2007-12-11 2012-10-25 Graziosi Danillo B Method for Generating High Resolution Depth Images from Low Resolution Depth Images Using Edge Layers
US7992087B1 (en) * 2008-02-27 2011-08-02 Adobe Systems Incorporated Document mapped-object placement upon background change
KR101526866B1 (ko) * 2009-01-21 2015-06-10 삼성전자주식회사 깊이 정보를 이용한 깊이 노이즈 필터링 방법 및 장치
US9417700B2 (en) * 2009-05-21 2016-08-16 Edge3 Technologies Gesture recognition systems and related methods
US20110025830A1 (en) * 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation
KR101660312B1 (ko) * 2009-09-22 2016-09-27 삼성전자주식회사 3차원 비디오의 움직임 탐색 장치 및 방법
KR101807886B1 (ko) * 2009-10-14 2017-12-11 돌비 인터네셔널 에이비 깊이 맵 처리를 위한 방법 및 디바이스
KR101665567B1 (ko) * 2010-05-20 2016-10-12 삼성전자주식회사 3차원 뎁스 영상 시간 보간 방법 및 장치
US8655055B2 (en) * 2011-05-04 2014-02-18 Texas Instruments Incorporated Method, system and computer program product for converting a 2D image into a 3D image
US9047681B2 (en) * 2011-07-07 2015-06-02 Samsung Electronics Co., Ltd. Depth image conversion apparatus and method
US9787980B2 (en) 2011-08-17 2017-10-10 Telefonaktiebolaget Lm Ericsson (Publ) Auxiliary information map upsampling
KR20130086911A (ko) * 2012-01-26 2013-08-05 삼성전자주식회사 3차원 비디오를 위한 영상 처리 방법 및 장치
US9111376B2 (en) * 2012-01-26 2015-08-18 Samsung Electronics Co., Ltd. Image processing method and apparatus for 3D video
CN104350748B (zh) * 2012-04-19 2018-01-23 瑞典爱立信有限公司 使用低分辨率深度图的视图合成
CN102902978A (zh) * 2012-08-31 2013-01-30 电子科技大学 一种面向对象的高分辨率遥感图像分类方法
CN103974055B (zh) * 2013-02-06 2016-06-08 城市图像科技有限公司 3d照片生成系统及方法
US9729857B2 (en) * 2014-04-08 2017-08-08 Semyon Nisenzon High resolution depth map computation using multiresolution camera clusters for 3D image generation
US20150309663A1 (en) * 2014-04-28 2015-10-29 Qualcomm Incorporated Flexible air and surface multi-touch detection in mobile platform
JP2016001464A (ja) * 2014-05-19 2016-01-07 株式会社リコー 処理装置、処理システム、処理プログラム、及び、処理方法
US9772405B2 (en) * 2014-10-06 2017-09-26 The Boeing Company Backfilling clouds of 3D coordinates
US9679387B2 (en) * 2015-02-12 2017-06-13 Mitsubishi Electric Research Laboratories, Inc. Depth-weighted group-wise principal component analysis for video foreground/background separation
US10326981B2 (en) * 2015-05-15 2019-06-18 Semyon Nisenzon Generating 3D images using multi-resolution camera set
CN105374039B (zh) * 2015-11-16 2018-09-21 辽宁大学 基于轮廓锐度的单目图像深度信息估计方法
US11589031B2 (en) * 2018-09-26 2023-02-21 Google Llc Active stereo depth prediction based on coarse matching
CN110388919B (zh) * 2019-07-30 2023-05-23 上海云扩信息科技有限公司 增强现实中基于特征图和惯性测量的三维模型定位方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5613048A (en) 1993-08-03 1997-03-18 Apple Computer, Inc. Three-dimensional image synthesis using view interpolation
US6484101B1 (en) 2000-08-16 2002-11-19 Imagelinks, Inc. 3-dimensional interactive image modeling system
FR2837597A1 (fr) 2002-03-25 2003-09-26 Thomson Licensing Sa Procede de modelisation d'une scene 3d
AU2002952874A0 (en) 2002-11-25 2002-12-12 Dynamic Digital Depth Research Pty Ltd 3D image synthesis from depth encoded source view
US7015926B2 (en) 2004-06-28 2006-03-21 Microsoft Corporation System and process for generating a two-layer, 3D representation of a scene
CA2553473A1 (en) * 2005-07-26 2007-01-26 Wa James Tam Generating a depth map from a tw0-dimensional source image for stereoscopic and multiview imaging
EP1917642A2 (en) * 2005-08-17 2008-05-07 Nxp B.V. Video processing method and device for depth extraction
US20070174010A1 (en) 2006-01-24 2007-07-26 Kiran Bhat Collective Behavior Modeling for Content Synthesis
US7794090B2 (en) 2006-01-24 2010-09-14 Seiko Epson Corporation Efficient dual photography

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013545200A (ja) * 2010-11-23 2013-12-19 クゥアルコム・インコーポレイテッド グローバル動きに基づく深度の推定
US9123115B2 (en) 2010-11-23 2015-09-01 Qualcomm Incorporated Depth estimation based on global motion and optical flow
US9171372B2 (en) 2010-11-23 2015-10-27 Qualcomm Incorporated Depth estimation based on global motion
KR101828814B1 (ko) * 2011-07-07 2018-02-13 삼성전자주식회사 깊이 영상 변환 장치 및 방법
WO2013081383A1 (ko) * 2011-11-29 2013-06-06 삼성전자주식회사 깊이 영상을 고해상도로 변환하는 방법 및 장치
US9613293B2 (en) 2011-11-29 2017-04-04 Samsung Electronics Co., Ltd. Method and apparatus for converting depth image in high resolution
JP2017509986A (ja) * 2014-12-19 2017-04-06 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 超音波深度検出を使用するオプティカルフロー画像化システム及び方法
US9704265B2 (en) 2014-12-19 2017-07-11 SZ DJI Technology Co., Ltd. Optical-flow imaging system and method using ultrasonic depth sensing

Also Published As

Publication number Publication date
US8248410B2 (en) 2012-08-21
US20100141651A1 (en) 2010-06-10

Similar Documents

Publication Publication Date Title
JP2010140476A (ja) 画像処理方法、コンピューター読み取り可能な媒体および画像処理システム
US9396530B2 (en) Low memory content aware image modification
CN109360235B (zh) 一种基于光场数据的混合深度估计方法
CN103718540B (zh) 用于生成全景图像的方法、用户终端和计算机可读记录介质
US8665258B2 (en) Generating a depth map based on a single image
JP5645842B2 (ja) スケールスペースを使用した画像処理装置及び方法
JP5299173B2 (ja) 画像処理装置および画像処理方法、並びにプログラム
CN111754517A (zh) 使用神经网络的交互式图像抠图
JP2015522987A (ja) 動き領域による多次元信号および補助領域による補助情報における動き情報の推定、符号化、および復号化
TWI764959B (zh) 用於產生光強度影像之裝置與方法
JP2007000205A (ja) 画像処理装置及び画像処理方法並びに画像処理プログラム
WO2011060579A1 (en) Method for generating depth maps from monocular images and systems using the same
CN108510536A (zh) 多视点图像的深度估计方法和深度估计设备
JP2023552538A (ja) 画像処理方法及び装置、電子機器、記憶媒体ならびにコンピュータプログラム
JP2016071682A (ja) オブジェクト配置装置、オブジェクト配置方法、及び、プログラム
KR20150046810A (ko) 영상 처리 방법 및 장치
US7907147B2 (en) Texture filtering apparatus, texture mapping apparatus, and method and program therefor
WO2012169174A1 (ja) 画像処理装置および画像処理方法
JP2019159904A (ja) テクスチャマッピング装置およびテクスチャマッピング用プログラム
US7734118B2 (en) Automatic image feature embedding
KR20120118462A (ko) 이미지 기반의 비주얼 헐에서의 오목 표면 모델링
Ren et al. Constrained sampling for image retargeting
JP4009289B2 (ja) フットプリントに係るテクセルのカラー値をカラー計算するための重み付けファクタを決定する方法
JP6854629B2 (ja) 画像処理装置、画像処理方法
JP2015103960A (ja) 画像奥行き指定方法、プログラム、および装置

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20130205