JP2011525769A - 少なくとも２つの画像に基づいて推定される深度または視差のマップの遮蔽の領域での充填のための方法および装置 - Google Patents

少なくとも２つの画像に基づいて推定される深度または視差のマップの遮蔽の領域での充填のための方法および装置 Download PDF

Info

Publication number
JP2011525769A
JP2011525769A JP2011515551A JP2011515551A JP2011525769A JP 2011525769 A JP2011525769 A JP 2011525769A JP 2011515551 A JP2011515551 A JP 2011515551A JP 2011515551 A JP2011515551 A JP 2011515551A JP 2011525769 A JP2011525769 A JP 2011525769A
Authority
JP
Japan
Prior art keywords
pixel
map
value
depth
invalid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011515551A
Other languages
English (en)
Other versions
JP5474061B2 (ja
Inventor
ダヴィド・アレッサンドリーニ
ラファエル・バルテル
ステファーヌ・パトゥー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
France Telecom SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by France Telecom SA filed Critical France Telecom SA
Publication of JP2011525769A publication Critical patent/JP2011525769A/ja
Application granted granted Critical
Publication of JP5474061B2 publication Critical patent/JP5474061B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

深度または視差のマップの遮蔽の領域での充填の方法であって、マップは、少なくとも2つの画像に基づいて推定され、1組の行および列を形成する画素の行列から成り立ち、マップの各画素は、「画素値」と呼ばれる深度値または視差値と関連し、「無効画素」と呼ばれる遮蔽領域の任意の画素は、無効であると識別可能な画素の値に関連している方法は、既定の方向へのマップの各行の1画素ずつのジグザグ進行(E1、E2、E10)、および、現在行で遭遇する(E3)各無効画素Piへの値の割り当てを備え、この値は、現在行で無効画素Piに続き、かつ、現在行で無効画素Piに先行する最後の有効画素P0が存在する場合にその値V(P0)に対して値V(P1)がより大きな深度またはより小さな視差に対応する、最初の有効画素P1が存在する場合、その周りの既定の近傍にある画素に関連する値の関数として決定される(E4〜E9)。

Description

本発明は、デジタル画像の処理、および詳細には、少なくとも2つの画像から推定される深度マップまたは視差マップ内の遮蔽領域を充填するための技術に関する。
深度マップ(depth map)または視差マップとして知られているマップは、浮彫効果表示(display in relief)、3次元でのシーンの再構成、および映像画像での仮想空間移動等の3次元映像(3D映像)で従来から使用されている。これらのマップは、複数のビデオカメラにより取得される、または同じ映像での異なる時間に対応する、立体視映像(stereoscopic video)または多視点映像(multiview video)が元になる同じシーンの少なくとも2つの画像からの推定の処理により得られる。
一般的には、立体視コンテンツを送信する特定の場合で、2つの方法が使用されている。第1の方法では、人間の視覚システムを再現するように配置された1対の従来型のビデオカメラが使用され、各カメラは1つの目に対応している。ユーザには、取得された2つの単眼映像シーケンスが送信される。別の方法では、各画素に関連する深度情報が付随する、ただ1つの単眼カラー映像シーケンスが送信される。この場合、深度マップに基づくレンダリングアルゴリズムにより、ユーザエンドでは1つまたは複数の仮想視点を合成することができる。この深度マップの方法は、送信のために使用される帯域幅全体を低減するという特別の利点を有しており、データ圧縮を伴う映像符号化に直接適用可能である。
従来から何が深度マップおよび視差マップと呼ばれているかを定義し、かつ説明を簡単にするために、例えばビデオカメラにより、2つの異なる視点から同じシーンの2つの画像が生成される、2眼式立体視の特定の場合を考えてみる。2つの画像は、従来から右側画像および左側画像と呼ばれている。本明細書の文脈では、所与の画像(例えば、右側画像または左側画像)に対応する深度マップは、各画素が、当該の画素のカメラからの距離に特有な色(例えば灰色の陰影(shade of grey))を示す値に関連しているデジタル画像である。
図1は深度マップを示しており、そこでは、画像内に出現する物体の、シーンを撮影したカメラに対する距離が、最も近い物体に対する白から最も遠い物体に対する黒までの濃淡階調で示される。すなわちこの例では、テーブルおよび花が入った花瓶は、より薄い色合いであるが、このシーンの最も近い物体(前景)であり、示されているスクリーンは、最も遠い物体(背景)のように見える。
図2aおよび図2bは、それから深度マップを推定することが可能な、1対の立体視画像を示す。図2aは左側画像を示し、図2bは右側画像を示す。
視差マップは、上述の2つの画像のステレオスコピックマッチング(stereoscopic matching)の結果を具体的に表現したものである。ステレオスコピックマッチングは、左側画像および右側画像の中に、相同である画素、すなわちシーンでの同じ実体の映像である画素を探し出すことである。視差マップは、このマッチングの結果を視覚的に示す1つの方法であり、視差マップの各画素は、視差の大きさ、すなわち左側画像内の画素の位置と、右側画像内でそれに対応するものの位置との間の距離を示す。このように、視差マップの各画素は、視差の大きさの色特性を示す値に関連している。この従来型の処理は、ここでも灰色の色合いを使用する。例えば、画素が暗くなるにつれて、視差は小さくなり、完全に白い画素は、2つの画像の1つの中に対応するものがない画素を示す。
画像の所与の画素に関連する深度値が高くなるにつれて、対応する視差値は低くなることを説明するのは容易である。このように、深度と視差は大きさが両者で反比例の関係にあるが、本発明は、深度マップまたは視差マップに対し等しく適用することができる。残りの説明では、深度マップおよび視差マップは交替可能に言及され、マップという用語は、これらのマップのどちらかを指す。
深度マップまたは視差マップの使用は、映像での仮想空間移動、浮彫効果表示、3Dモデリング、および映像符号化等の新興の技術の流れの中では、最も重要なものである。異なる視界からの予測により得られる深度マップは、深度マップを用いて視界を予測することにより圧縮を実行する圧縮の応用例に対しても使用することができる。このタイプの方法では、冗長な情報の送信を制限する目的で、同じシーンの他の映像内の対応する視界を予測するために深度マップが使用されるが、特に、複数の映像および関連する深度マップからなるMVD(多視点映像および深度)データが用いられる。最終的な応用例が何であっても、したがってこれらのマップの精度は、再構成される視界の品質に対して、および符号化の応用例での効率的な映像圧縮に対して、クリティカルである。
特に、深度/視差マップの品質は、当該のマップ内の遮蔽領域(occluded area)の存在と結びついている。遮蔽領域は、マップの領域であって、それに対して画素が当該画像のうち1つの画像中に対応するものを持たず、ただ1つの画像内で見える部分を有するものである。これらの遮蔽領域は、本質的には、シーン内の遮蔽物体と呼ばれる物体により発生するものである。遮蔽物体は、すなわち、2つの画像(右側または左側)の一方で、示されたシーンの、他方の画像では直接見ることができる特定の領域をマスクする物体である。遮蔽領域は、本質的には、マップ内で深度の不連続により発生する境界の周りに見られる。
図3は、グラフカットに基づく周知のアルゴリズムを用いて推定される、視差マップの一例を示す。より正確には、使用されるアルゴリズムは、例えば非特許文献1の文書内で説明されているものである。
示された画像では、白い領域が上述のグラフカットアルゴリズムにより検出された遮蔽領域であり、それのために、画素値を決定することは、図2aおよび図2bでそれぞれ示される左側画像および右側画像内に対応するものがないため、可能ではなかった。
したがって、深度マップまたは視差マップ内のこれらの遮蔽領域を考慮することは、これらのマップに基づく再構成または合成の処理により得られる画像の品質を高めるために必要である。特に、欠けている情報に対応する遮蔽領域内の空白部を検出かつ/または充填することが課題である。
上述の深度マップまたは視差マップの欠陥を処理するための周知の技術は、特に、深度マップまたは視差マップから再構成される画像に作用する技術の第1の種類を含む。
この第1の種類の解決方法は、例えば非特許文献2の文書で説明されている。これらの解決方法によれば、再構成される画像内の空白部は、それらの近傍から得られる値を伝搬させること(propagating)により充填される。しかしながら、深度マップまたは視差マップから再構成される画像に作用するこの種類の技術は、深度マップの特有の特徴を利用するにしてもほとんど利用しないという欠点を有する。それらのマップは、テクスチャの細部、および物体の相対的な位置の深度への影響がない等、テクスチャ付きの2次元(2D)画像とは異なる特徴を有するデータを示す。
周知の技術の第2の種類は、深度マップまたは視差マップに直接作用する。例えば、非特許文献3の文書では、遮蔽領域またはテクスチャのない領域を高めるために、深度マップに対し適用可能な後処理が説明されている。この後処理は、非線形拡散、すなわち、エッジ検出と組み合わされたガウス平滑化による充填に基づいている。
非特許文献4の文書で説明されている別の技術では、遮蔽画素に最も近い2つの有効画素の深度値を比較することにより、背景を伝搬させる。
図4aおよび図4bはそれぞれ、図3からの視差マップの細部、およびグラフカットに基づく周知の技術を用いて遮蔽領域を充填した後の同じ細部を示す。図4bで示される画像は、すなわち、図3からの視差マップと同じ細部であるが、画像を1行ずつ取り扱い、遮蔽領域の無効画素を、現在行(行が沿う方向は、深度マップが関連する画像の関数である)でその無効画素に続く最初の有効(非遮蔽)画素で充填するアルゴリズムを用いて、遮蔽領域を充填した後のものを示す。そのような充填アルゴリズムは、例えば、非特許文献5の文書で説明されている。
充填後に得られた図4bの画像で、人物の左に、特にその右手の周りに見える白い領域は、遮蔽領域を充填する際に発生したエラーに対応する。これらのエラーは、主として、間違った値が割り当てられていて、そのために充填処理を混乱させた遮蔽領域の画素により、でなければ、例えば画像で示された人物の右手の周りのように、細部の損失を発生させた充填中の不正確な値の伝搬により発生する。
「Multi-camera scene reconstruction via graph cuts」、V. KolmogorovおよびR. Zabih、Proceedings of the European Conference on Computer Vision、2002 「Stereoscopic imaging: Filling disoccluded areas in image-based rendering」、C. Vazquez、W.J. Tam、およびF. Speranza、Proceedings of the SPIE Three-Dimensional TV, Video, and Display、第6392巻、0D1〜0D12頁、2006 「Improving depth maps by nonlinear diffusion」、J. YinおよびJ.R. Cooperstock、Proc. 12th International Conference Computer Graphics, Visualization and Computer Vision、Pizen、Czech Republic、2004年2月 「Design Considerations for View Interpolation in a 3D Video Coding Framework」、Yannick Morvan、Dirk Farin、およびPeter H.N. de With、27th Symposium on Information Theory in The Benelux、第1巻、2006年6月、Noordwijk、Netherlands 「Occlusions in motion processing」、Abhijit Ogale、Cornelia Fermuller、およびYiannis Aloimonos、SpatioTemporal Image Processing、2004年3月、London、UK
深度マップまたは視差マップに直接作用する技術は、このように、遮蔽領域内のエラーやアーチファクト(artifact)を適切に処理できない、および/または、特に示された物体のエッジで、適用された処理のために、不鮮明な外見を生じさせるという欠点を有する。さらに、無効画素に隣接する最初の有効画素の値のみを比較することにより、特に凹形の物体に関して、背景の伝搬は確かなものではない。
したがって、上述の技術は深度マップまたは視差マップの欠陥、ならびにこれらのマップの欠陥から結果として生じるアーチファクト、不正確な値の伝搬、および細部の損失を部分的にのみ処理する。というのは、深度/視差マップから予測される画像を用いた、再構成される画像で、および浮彫効果表示(display in relief)の間、遮蔽領域の存在により矛盾が発生するためである。
そのため、視差マップおよび深度マップの品質を、特に物体の輪郭の周りのそれらの精度に関して向上させる真の必要性がある。
特に上述した必要性に対処するために、本発明の第1の側面は、深度マップまたは視差マップの遮蔽領域を充填する方法を提供する。
この方法では、マップは少なくとも2つの画像から推定され、1組の行および列を形成する画素の行列からなり、マップの各画素は、「画素値」と呼ばれる深度値または視差値と関連し、「無効画素」と呼ばれる遮蔽領域の任意の画素は、無効であると識別可能な画素値に関連している。
本発明によれば、この方法は、
・マップの各行を1画素ずつ既定の方向に処理するステップと、
・現在行で遭遇する各無効画素Piに値を割り当てるステップであって、前記値は、現在行で無効画素Piに続き、かつ、現在行で無効画素Piに先行する最後の有効画素P0がある場合にその値V(P0)に対して値V(P1)がより大きな深度またはより小さな視差に対応する、最初の有効画素P1がある場合、その周りの既定の近傍内の画素に関連する値の関数として決定されるステップと
を含む。
無効画素に対して、上で説明したようにして得られた値を割り当てることにより行われる、遮蔽領域のそのような充填により、背景(すなわち、最大の深度値または最低の視差値)、および背景のみを伝搬することが可能になる。というのは、遮蔽物体により発生する遮蔽領域は、遮蔽物体の後側の位置にある物体と同じ側の位置に常にあり、そのことが、既定の方向で行を処理する際に考慮されるからである。無効画素に割り当てられる深度(視差)値を、行からの遮蔽領域の前での最後の値より非常に高い(低い)ように強制することにより、空白部を充填するために使用される値が背景に対応することが確かなものになる。本発明のこの方法により空白部を充填することで、特に、背景ではなく、物体の画素が伝搬するのを防止することが可能になり、かつ、必要に応じて、特に凹形の物体に関して頻繁に発生することであるが、画像の部分が結合すべきでないときに結合するのを防止することが可能になる。したがって、特に、同じ凹形の物体内の細部を保存すること、例えば人物では、特に腕と手との間の区別を保存することが可能である。
本発明の方法の好ましい特徴によれば、
・有効画素P0はあるが有効画素P1はない場合、画素値が無効画素Piに割り当てられ、この画素値は、現在行で無効画素Piに続く最初の有効画素P2がある場合、その周りの既定の近傍内の画素に関連する値の関数として決定される。
・有効画素P2がない場合、画素値が無効画素Piに割り当てられ、この画素値は、画素P0の周りの既定の近傍内の画素に関連する値の関数として決定される。
・有効画素P0がない場合、画素値が無効画素Piに割り当てられ、この画素値は、現在行で無効画素Piに続く最初の有効画素P2がある場合、その周りの既定の近傍内の画素に関連する値の関数として決定され、そうではなく、有効画素P2がない場合、デフォルト値Vdが無効画素Piに割り当てられる。
本発明の好ましい実装では、無効画素Piに割り当てられる画素値は、当該の画素の近傍内の画素に関連する値の関数として、当該の近傍内の画素の値に対するメディアンまたは平均値の数学関数の適用により決定される。
実際には、画素の周りの近傍は、当該の画素を中心とした有効画素のブロックからなる。
深度マップまたは視差マップが1対の右側画像および左側画像から得られる、ある特定の応用例では、マップの画素の行を処理する既定の方向は、マップが左側画像から推定される場合は、右から左の方向に、マップが右側画像から推定される場合は、左から右の方向に対応する。
遮蔽領域は、一方のカメラから他方に移れば覆われていない領域であり、したがって基本的には、並列画像または補正(rectified)画像(すなわち、カメラを収束させた(converging cameras)画像取得に対応するが、ここでは2つの画像のエピポーラ線はそろえられている)に対しては、右側(または(respectively to)左側)画像に対しては、物体の左に(または右に)位置する。
本発明はまた、上で簡潔に定義されたような充填方法によりマップの遮蔽領域を充填するステップを含む、深度マップまたは視差マップをデジタル処理する方法を提供する。
本発明のデジタル処理方法の特定の特徴によれば、遮蔽領域を充填する作用の前に、
・マップの遮蔽領域内の推定エラーを除去することを意図する、クロージャモルフォロジフィルタリング(closure morphological filtering)の作用、および/または、
・マップの全体にわたる、既定のサイズのブロックごとに解析される画素の値のメディアンフィルタリングを用いた、マップの局所的均一化(local uniformization)の作用
が先行することができる。
関連する方法では、本発明は、深度マップまたは視差マップをデジタル処理するための装置を提供し、この装置は、上で簡潔に定義されたような本発明の充填方法を使用するように構成された、マップの遮蔽領域を充填するためのモジュールを含むという点で注目される。
本発明はさらに、コンピュータシステムで実行されるときに、深度マップまたは視差マップをデジタル処理するために、本発明の方法を実行するための命令を含むという点で注目される、デジタル画像処理コンピュータプログラムを提供する。ここで、コンピュータシステムという表現は、デジタルデータを処理するように構成された、任意のプロセッサに基づく装置を意味する。
本発明のコンピュータプログラムおよびデジタル処理装置により得られる利点は、特に、本発明の充填方法、または深度/視差マップをデジタル処理するための本発明の方法に関して上で述べたことを含む。
本発明は、単に例として与えられる以下の詳細な説明を読み、および各図面を参照すれば、よりよく理解することができる。
深度マップの一例を示す図である。 深度マップを推定することが可能な、1対の立体視画像の一方を示す図である。 深度マップを推定することが可能な、1対の立体視画像の他方を示す図である。 グラフカットに基づく周知のアルゴリズムを用いて推定される、視差マップの一例を示す図である。 図3の視差マップからの細部を示す図である。 従来型の技術を用いて遮蔽領域を充填した後の同じ細部を示す図である。 深度マップまたは視差マップ内の遮蔽領域を充填する、本発明の方法のメインステップを示すフローチャートである。 深度マップまたは視差マップ内の遮蔽領域を充填する、本発明の方法のメインステップを示すフローチャートである。 充填作用の前に、マップの推定エラーの除去の作用、およびマップの局所的均一化の作用が先行する、本発明の1つの実装での深度/視差マップをデジタル処理するための方法および装置を示す図である。 モルフォロジフィルタの適用前の、図4aで示されたマップの同じ細部を示す図である。 モルフォロジフィルタの適用後の、図4aで示されたマップの同じ細部を示す図である。 モルフォロジフィルタの適用後に得られた視差マップに対する局所的均一化フィルタの適用の結果に関し、局所的均一化フィルタの適用前のマップを示す図である。 モルフォロジフィルタの適用後に得られた視差マップに対する局所的均一化フィルタの適用の結果に関し、局所的均一化フィルタの適用後のマップを示す図である。 遮蔽領域を充填するための本発明による処理後の、図8bからの視差マップを示す図である。
図5aおよび図5bは、深度マップまたは視差マップ内の遮蔽領域を充填するための、本発明の方法のメインステップのフローチャートを示す。上述のように、深度マップおよび視差マップは反比例のデータに対応するので、本発明は深度マップまたは視差マップに対し交替可能に適用される。
本発明の方法は、少なくとも2つの画像、例えば右側画像および左側画像から推定されるか、そうでなければ、例えば圧縮アルゴリズムに基づいた異なる視界からの予測でのように、別の視界からの予測により得られる、深度マップまたは視差マップに対し適用される。
問題のマップは、従来から、1組の行および列を形成する画素の行列からなる。マップの各画素は、画素値と呼ばれる深度値または視差値と関連している。この値は、典型的には、8ビットで符号化される2進数値であり、0から255までの10進数値とみなすことができる。この範囲内の値で、いくつかは有効な深度/視差値であり、特定の値が無効値である。したがって、遮蔽領域を示すために選択された色が白である場合、関連する深度/視差値は、典型的には10進数値255である。したがって、マップの遮蔽領域に対応する画素は、関連する画素値から無効であると識別可能である。
実際には、深度/視差マップの遮蔽領域を充填するための本発明の方法は、データ処理システム内で実行されるコンピュータプログラムにより実施され、処理すべきマップは、あらかじめデータ処理システム内に格納されている。本発明の方法は、深度/視差マップ(以下ではマップと呼ばれる)を1行ずつとみなし、各行に対しては1画素ずつとみなす。マップの各行は、1画素ずつ既定の方向に処理される。
したがって、実際には、マップが右側画像および左側画像を備える1対の画像から得られた場合、マップの画素の行を処理する方向は、マップが左側画像から推定された場合は右から左の方向に対応する。一方、マップが右側画像から推定された場合は、マップの画素の行を処理する方向は、左から右である。
図5aに示されるように、深度/視差マップの遮蔽領域を充填するための本発明の方法は、マップの行を選択するステップ(E1)から開始され、この行は現在行と呼ばれる。次いで、選択された行から画素を選択するステップ(E2)に進み、この画素は現在画素Pcと呼ばれる。
検査ステップE3では、現在画素Pcが無効画素か否かが、関連する画素値が無効値(例えば、白に対応する値255)に対応するか否かに応じて判定される。その結果、現在画素が有効である場合(検査E3、'0')、それは遮蔽領域にはないので、次いで検査ステップE10が実行され、現在行の処理が完了したかどうか、およびマップが完全に処理されたかどうかが判定される。
そうして、ステップE10で現在行の処理が完了していないと判定された場合(E10、'00')、現在行の次の画素を選択するためにステップE2に戻る。現在行のすべてが処理されたがマップのすべての行は処理されていない場合(E10、'10')、マップから別の行、例えば処理された行の直下の行を選択するためにステップE1に戻る。最後に、マップのすべての行が処理された場合、マップの処理は完了したことになる(E10、'11')。
現在画素Pcが、ステップE3で無効であると判定された場合(Pc=Pi; E3、'1')、P0と記される、行上で無効画素Piに先行する最後の有効画素に対する検索(ステップE4)が行われる。実際には、マップの任意の行を処理するとき、検査された画素のそれぞれに関する情報(位置、有効性、関連する値など)が格納され、それにより、すでに検査された画素に関する情報を後から非常に迅速に得ることが可能になる。
そのような画素P0が存在する場合(E5、'1')、現在行を既定の方向に処理することにより、最初の有効画素P1に対する検索(ステップE6)が行われる。この最初の有効画素P1は、行上で無効画素Piに続き、関連する画素値V(P1)が、画素P0の値V(P0)より大きな深度(または、視差マップを処理する場合は、より低い視差)に対応するようになっている。画素P0に対してより大きな深度に対応する、検索された画素P1は、図5aでは、不等式V(P1) > V(P0)の条件により記号化される。
実際には、当該の無効画素Piの後の位置にある有効画素に対する検索は、本発明の方法のユーザが変更することが可能な、複数の画素、例えば50画素により定義される固定した範囲内でなされる。
そのような画素P1が存在する場合(ステップE7、'1')、ステップE8では、画素P1の周りの画素の近傍N1が決定され、その後ステップE9で、Vcal(Pi)と記される、無効画素Piに割り当てるべき深度(または視差)値が計算される。
本発明によれば、深度値Vcal(Pi)は、画素P1の周りの画素の近傍N1内にある画素に関連する深度(または視差)値の関数として決定され、ステップE8での式「Ncal=N1」は、深度値Vcal(Pi)の計算に対する画素の近傍N1の割り当てを記号により示している。
実際には、画素の周りに決定される近傍は、問題の画素を中心とした画素のブロック、例えば5つの有効画素からなるブロックからなることが可能である。
本発明の好ましい実装では、当該の無効画素Piに割り当てるべき値Vcal(Pi)は、当該の画素の近傍にある画素の値の数学的メディアンを計算することにより決定される。あるいは、数学的メディアンの代わりに数学的平均値を使用することができる。このように、画素P1の周りの画素の近傍N1に対して、近傍N1の画素に関連する深度(または視差)値のメディアンが計算される。
ステップE7に戻ると、マップの現在行で、無効画素Piに続き、画素P0に対してより大きな深度に対応する有効画素P1がない場合(ステップE7、'0')、適用される処理はケース2と表され、図5bに示される。この場合、現在行上で無効画素Piに続く最初の有効画素P2に対する検索が行われる(ステップE21)。そのような画素P2がある場合(E22、'1')、画素P2の周りの画素の近傍N2が上述のように決定され(ステップE23)、その後で、(図5bのステップE25を経由して)ステップE9(図5a)に戻る。ステップE9(「Val_Pi」と記される)では、Vcal(Pi)と記され、無効画素Piに割り当てるべき深度値または視差値が、画素P2の周りの画素の近傍N2内の画素に関連する深度(または視差)値の関数として計算される。実際には、近傍N2の画素に関連する深度(または視差)値の数学的メディアンが計算される。
一方、そのような画素P2がない場合(ステップE22、'0')、あらかじめ(ステップE4)決定された画素P0が使用され、それによって、N0と記される、画素P0の周りの画素の近傍が上で説明されたように決定される(ステップE24)。その後で、(図5bのステップE25を経由して)図5aのステップE9に戻る。ステップE9では、無効画素Piに割り当てるべき深度(または視差)値Vcal(Pi)は、画素P0の周りの画素の近傍N0内の画素に関連する深度(または視差)値の関数として計算される。実際には、近傍N0の画素に関連する深度(または視差)値の数学的メディアンが計算される。
最後に、図5aのステップE5で、現在行上で無効画素Piに先行する有効画素P0がない場合(E5、'0')、ケース1と表され、図5bに示された処理が適用される。この場合、現在行上で無効画素Piに続く最初の有効画素P2に対する検索が行われる(ステップE11)。そのような画素P2が存在する場合(E12、'1')、画素P2の周りの画素の近傍N2が先に説明したように決定され(ステップE13)、その後で、(図5bのステップE16を経由して)図5aのステップE9に戻る。ステップE9では、Vcal(Pi)と記され、無効画素Piに割り当てるべき深度(または視差)値が、画素P2の周りの画素の近傍N2内の画素に関連する深度(または視差)値の関数として計算される。実際には、近傍N2の画素に関連する深度(または視差)値の数学的メディアンが計算される。
一方、そのような画素P2がない場合(ステップE12、'0')、画素Piには、Val_defと記されるデフォルト値が割り当てられる(ステップE14)。この後、上で説明された図5aの検査E10に戻る(ステップE15)。
実際には、無効画素Piに割り当てられるデフォルト値Val_defは、例えば、平均の深度(または視差)に対応する128に等しいように決められる。
図6は、充填作用の前に、マップの推定エラーを除去する作用、およびマップを局所的に均一にする作用が先行する、深度/視差マップをデジタル処理するための本発明の1つの実装の方法および装置を示す。
図6に示されるように、深度マップまたは視差マップをデジタル処理するための本発明の装置は、マップの遮蔽領域を充填するためのモジュール63を含み、さらに、以下に説明するそれぞれの機能の2つの追加のモジュール61および62の1つまたは両方を含むことができる。最後に、深度/視差マップをデジタル処理するための本発明の装置はまた、複数の画像から深度マップまたは視差マップを推定するためのモジュール60を含むことができる。
1つの好ましい実装では、これらのモジュールは、実際には、深度/視差マップをデジタル処理するための本発明の方法を実行するように構成された命令を含む、1組のコンピュータプログラムからなる。それにより、この方法は、上述の組のプログラムが、コンピュータまたはデータ処理システム内で実行されるときに実行される。
図6に示される実施形態では、同じシーンの2つの(右側および左側)画像Imは、Aと記される、2つの画像Imから視差マップを推定する作用を実行するために、ソフトウェアモジュール60に供給される。例えば、モジュール60はグラフカットに基づくアルゴリズムで、例えば上で言及され、かつ非特許文献1の文書内で説明されたものを使用することができる。図3に示すように、モジュール60は結果として、その出力に視差マップCinを供給する。
示され、かつ説明された実施形態では、入力画像(Im)に対して視差(または深度)マップを推定する間に、モジュール60により発生した推定エラー(アウトライア(outlier)として知られる)を除去するために、視差マップCinはモジュール61に引き継がれる。これらのエラーは、本質的には、視差マップ内の遮蔽領域により発生する。1つの実施形態では、モジュール61は視差マップに対し、視差推定アルゴリズムにより充填されなかった遮蔽領域内にのみ、周知のクロージャモルフォロジフィルタを適用する。図4aおよび図4bに示したように、このフィルタリングにより、遮蔽領域内のアウトライアがそれらの領域の充填を妨げないように、そのアウトライアを除去することが可能になる。モルフォロジフィルタは、マップ内の空白部を平滑化し、それによって、無効画素の近傍からの値を用いた、後に続く遮蔽領域の充填によるエラーの伝搬を防ぐことが可能になる。
図7aおよび図7bはそれぞれ、モルフォロジフィルタの適用前の(図7a)、およびモルフォロジフィルタの適用後の(図7b)、図4aで示された視差マップの同じ詳細を示す。このように、左側画像(図7a)内の環状領域内の2つの灰色の点は、その画像内に示される人物の右手親指の周りに存在する推定エラーに対応するが、右側画像(図7b)内では消失してしまった。
再び図6を参照すると、説明された実施形態では、上述のモルフォロジフィルタリング(作用B)を受けた後で、視差マップは、局所的均一化モジュール62により実行される局所的均一化作用Cを受ける。
フィルタリングの第2段階が、この作用Cの間に視差マップに適用される。作用Bの間に適用されるフィルタリングに対して、この第2段階のフィルタリングは、視差マップを局所的に均一化し、その上に物体の輪郭のすべての細部を保存するように、マップの全体に対し適用される。こうして、適用されたフィルタリングにより、特に映像に関して、視差/深度マップを時間的にきわめて変わりやすくする、非常に詳細な物体(例えば木)により発生する小さな遮蔽領域を、除去または統合することが特に可能になる。
モジュール62により適用されるフィルタリングの第2段階は、以下の方法で作用する。アウトライアは、視差/深度画像全体から検出される。マップの各画素に対し、近傍Vは、当該の画素を中心としたブロック内に含まれるすべての近傍画素viに対応するものとする。ブロック内の近傍画素viは、当該の画素pに関連する値に対して、類似する値を有する、および異なる値を有するブロックの画素の数を評価するために調査される。当該の画素のブロックは、例えば1辺の長さが7画素の正方形であってよいが、ブロックのサイズは、処理される画像の種類の関数として、本発明の画像処理装置のユーザにより変更することができる。
画素値の類似性および相違性の概念は、処理をより堅牢にするために、しきい値s1およびs3に基づいて定義される。すなわち、画素pの周りの近傍V内の画素viは、それらの値の間の差が、以下の式で表されるように、しきい値s1(例えば、10に設定できる)より小さい場合、類似しているものとする。
同様に、例えば40に設定できるしきい値s3に基づいた、値の相違性の概念は、以下のように定義される。
解析されたブロックの当該の各画素に対して、ブロック内の類似する画素の割合がしきい値s2以下である場合、および/または、異なる画素の割合がしきい値s4より大きい場合、当該の画素はアウトライア(エラー画素)として検出される。以下の値、例えばs2=30%およびs4=60%を使用することができる。アウトライアであると識別された画素に割り当てるべき補正値は、エラーを検出するために使用されたブロックのメディアンフィルタリングにより得られるものである。
適用される処理は、以下の式により要約される。
使用されるしきい値s1、s2、s3、およびs4は、当該の画像またはシーケンスの関数として、ユーザにより変更することができる。
図8aおよび図8bは、上述のフィルタモジュール61により使用されるようなモルフォロジフィルタの適用後に得られた視差マップに対する、上で説明したような局所的均一化フィルタの適用の結果を示す。特に、図8aは全体として視差マップを示し、図7bで示された細部はそこから得られる。図8bは、均一化フィルタの図8aのマップへの適用後に得られるマップを示す。
図8aおよび図8bを比較すればわかるように、図8aの画像に存在する白い点が、図8bの画像では消失してしまった。したがって、上で説明したフィルタモジュール62による局所的均一化フィルタリングにより、図8aのマップ内に存在する画素であって、それらの近傍と幾何学的に矛盾がある画素が、図8bのマップ内で処理されている。
最後に、図9は、遮蔽領域を充填するための本発明による、上で説明した充填モジュール63が処理した後の、図8bからの視差マップを示す。
図9のマップを、図3に示される初期のマップ、および、図4bで示され、従来技術の充填方法によるマップの処理後に得られる同じマップの細部と比較すると、本発明により得られる図9のマップに関して、特に以下の点が認められる。
・はるかに均一であるように見える。
・人物の周りの遮蔽領域は、例えば人物の右手の周りで、細部の精度を失うことなく消失した。
60 ソフトウェアモジュール
61 フィルタモジュール
62 局所的均一化モジュール
63 充填モジュール

Claims (14)

  1. 少なくとも2つの画像から推定され、かつ、1組の行および列を形成する画素の行列を有する、深度マップまたは視差マップの遮蔽領域を充填する方法において、前記マップの各画素は、画素値と呼ばれる深度値または視差値と関連し、無効画素と呼ばれる遮蔽領域の任意の画素は、無効であると識別可能な画素値に関連し、
    前記マップの各行を1画素ずつ既定の方向に処理するステップ(E1、E2、E10)と、現在行で遭遇する(E3)各無効画素Piに画素値を割り当てるステップ(E4〜E9)とを含み、前記現在行で前記無効画素Piに続き、かつ、前記現在行で前記無効画素Piに先行する最後の有効画素P0がある場合に、その値V(P0)に対して値V(P1)がより大きな深度またはより小さな視差に対応する、最初の有効画素P1がある場合、その周りの既定の近傍内の画素に関連する値の関数として、前記画素値は決定されることを特徴とする方法。
  2. 有効画素P0はある(E5)が有効画素P1はない(E7)場合、画素値が前記無効画素Piに割り当てられ(E21〜E23、E25、E9)、前記現在行で前記無効画素Piに続く最初の有効画素P2がある場合、その周りの既定の近傍内の画素に関連する値の関数として、前記画素値は決定される請求項1に記載の方法。
  3. 有効画素P2がない場合(E22)、前記画素P0の周りの既定の近傍内の画素に関連する値の関数として決定される画素値が、前記無効画素Piに割り当てられる(E24、E25、E9)請求項2に記載の方法。
  4. 有効画素P0がない場合(E5)、画素値が前記無効画素Piに割り当てられ(E11〜E13、E16、E9)、前記現在行で前記無効画素Piに続く最初の有効画素P2がある場合、その周りの既定の近傍内の画素に関連する値の関数として、前記画素値は決定され、そうではなく、有効画素P2がない場合(E12)、デフォルト値Vdが前記無効画素Piに割り当てられる(E14)請求項1に記載の方法。
  5. 前記無効画素Piに割り当てられる前記画素値は、当該の画素の近傍内の画素に関連する値の関数として、当該の近傍内の画素の前記値に対するメディアンまたは平均値の数学関数の適用により決定される請求項1から4のいずれか1項に記載の方法。
  6. 当該の画素の周りの近傍は、前記当該の画素を中心とした有効画素のブロックからなる請求項1から5のいずれか1項に記載の方法。
  7. 前記深度マップまたは視差マップは、1対の右側画像および左側画像から得られ、前記マップの画素の行を処理する前記既定の方向は、前記マップが前記左側画像から推定される場合は、右から左の方向に、前記マップが前記右側画像から推定される場合は、左から右の方向に対応する請求項1から6のいずれか1項に記載の方法。
  8. 請求項1から7のいずれか1項に記載の方法を用いて、遮蔽領域を充填する動作(D)を含むことを特徴とする深度マップまたは視差マップをデジタル処理する方法。
  9. 前記遮蔽領域を充填する前記動作(D)の前に、前記マップの遮蔽領域内の推定エラーを除去することを意図する、クロージャモルフォロジフィルタリングの動作(B)が先行する請求項8に記載の処理する方法。
  10. 前記遮蔽領域を充填する前記作用(D)の前に、前記マップの全体にわたる、既定のサイズのブロックごとに解析される画素の値のメディアンフィルタリングを用いた、前記マップの局所的均一化の動作(C)が先行する、請求項8または9に記載の処理する方法。
  11. 深度マップまたは視差マップをデジタル処理する装置において、請求項1から7のいずれか1項に記載の充填方法を使用するように構成された前記マップの遮蔽領域を充填するモジュール(63)を含むことを特徴とする装置。
  12. 遮蔽領域の前記充填の前に、前記マップの前記遮蔽領域内の推定エラーを除去するクロージャモルフォロジフィルタモジュール(61)をさらに含むことを特徴とする請求項11に記載の装置。
  13. 前記遮蔽領域の前記充填の前に、前記マップの全体にわたる、既定のサイズのブロックごとに解析される前記画素値のメディアンフィルタリングを用いた、前記マップの局所的均一化を行うモジュール(62)をさらに含むことを特徴とする請求項11または12に記載の装置。
  14. デジタル画像を処理するコンピュータプログラムにおいて、前記プログラムがコンピュータシステムで実行されるときに、請求項1から10のいずれか1項に記載の方法を実行するように構成された命令を含むことを特徴とするコンピュータプログラム。
JP2011515551A 2008-06-24 2009-06-22 少なくとも２つの画像に基づいて推定される深度または視差のマップの遮蔽の領域での充填のための方法および装置 Active JP5474061B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR0854157 2008-06-24
FR0854157A FR2932911A1 (fr) 2008-06-24 2008-06-24 Procede et dispositif de remplissage des zones d'occultation d'une carte de profondeur ou de disparites estimee a partir d'au moins deux images.
PCT/FR2009/051184 WO2010007285A1 (fr) 2008-06-24 2009-06-22 Procede et dispositif de remplissage des zones d'occultation d'une carte de profondeur ou de disparites estimee a partir d'au moins deux images

Publications (2)

Publication Number Publication Date
JP2011525769A true JP2011525769A (ja) 2011-09-22
JP5474061B2 JP5474061B2 (ja) 2014-04-16

Family

ID=40342117

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011515551A Active JP5474061B2 (ja) 2008-06-24 2009-06-22 少なくとも２つの画像に基づいて推定される深度または視差のマップの遮蔽の領域での充填のための方法および装置

Country Status (9)

Country Link
US (1) US8817069B2 (ja)
EP (1) EP2304686B1 (ja)
JP (1) JP5474061B2 (ja)
KR (1) KR101594888B1 (ja)
CN (1) CN102077244B (ja)
BR (1) BRPI0914333A2 (ja)
FR (1) FR2932911A1 (ja)
RU (1) RU2504010C2 (ja)
WO (1) WO2010007285A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013054463A1 (ja) * 2011-10-11 2013-04-18 パナソニック株式会社 撮像装置とその集積回路、撮像方法、撮像プログラム、および撮像システム
JP2013225740A (ja) * 2012-04-20 2013-10-31 Nlt Technologies Ltd 画像生成装置、画像表示装置及び画像生成方法並びに画像生成プログラム
JP2014033366A (ja) * 2012-08-03 2014-02-20 Jvc Kenwood Corp 画像処理装置、画像処理方法及び画像処理プログラム
JP2015173441A (ja) * 2014-03-03 2015-10-01 ノキア コーポレイション 立体画像の視差マップ推定のための方法，装置及びコンピュータプログラム製品

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011123174A1 (en) * 2010-04-01 2011-10-06 Thomson Licensing Disparity value indications
US8594425B2 (en) * 2010-05-31 2013-11-26 Primesense Ltd. Analysis of three-dimensional scenes
KR101669820B1 (ko) * 2010-07-02 2016-10-27 삼성전자주식회사 볼륨 예측 기반 폐색 영역 양방향 복원 장치 및 방법
US8774267B2 (en) * 2010-07-07 2014-07-08 Spinella Ip Holdings, Inc. System and method for transmission, processing, and rendering of stereoscopic and multi-view images
US20120056995A1 (en) * 2010-08-31 2012-03-08 Texas Instruments Incorporated Method and Apparatus for Stereo-Based Proximity Warning System for Vehicle Safety
FR2964775A1 (fr) 2011-02-18 2012-03-16 Thomson Licensing Procede d'estimation de l'occultation dans un environnement virtuel
BR112013030469B1 (pt) 2011-06-23 2022-07-26 Sun Patent Trust Método de decodificação de imagem, método de codificação de imagem, aparelho de decodificação de imagem, aparelho de codificação de imagem, e aparelho de codificação e decodificação de imagem
USRE47366E1 (en) 2011-06-23 2019-04-23 Sun Patent Trust Image decoding method and apparatus based on a signal type of the control parameter of the current block
US9106919B2 (en) 2011-06-24 2015-08-11 Panasonic Intellectual Property Corporation Of America Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus
EP3407610B1 (en) 2011-06-24 2019-09-04 Sun Patent Trust Coding method and coding apparatus
EP4270950A3 (en) 2011-06-27 2024-02-14 Sun Patent Trust Encoding apparatus and decoding apparatus
EP2728867A4 (en) 2011-06-28 2014-12-03 Panasonic Ip Corp America IMAGE DECODING METHOD, IMAGE ENCODING METHOD, IMAGE DECODING DEVICE, IMAGE ENCODING DEVICE, AND IMAGE ENCODING / DECODING DEVICE
KR102006032B1 (ko) 2011-06-29 2019-07-31 선 페이턴트 트러스트 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치
KR102007047B1 (ko) 2011-06-30 2019-08-02 선 페이턴트 트러스트 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치
WO2013001769A1 (ja) 2011-06-30 2013-01-03 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置及び画像符号化復号装置
RU2714371C2 (ru) 2011-07-11 2020-02-14 Сан Пэтент Траст Способ декодирования изображений, способ кодирования изображений, устройство декодирования изображений, устройство кодирования изображений и устройство кодирования и декодирования изображений
EP2547111B1 (en) 2011-07-12 2017-07-19 Samsung Electronics Co., Ltd. Method and apparatus for processing multi-view image using hole rendering
US9007441B2 (en) 2011-08-04 2015-04-14 Semiconductor Components Industries, Llc Method of depth-based imaging using an automatic trilateral filter for 3D stereo imagers
US8817073B2 (en) * 2011-08-12 2014-08-26 Himax Technologies Limited System and method of processing 3D stereoscopic image
US9299154B2 (en) * 2011-09-29 2016-03-29 Thomson Licensing Method and device for filtering a disparity map
US9098908B2 (en) 2011-10-21 2015-08-04 Microsoft Technology Licensing, Llc Generating a depth map
TWI489418B (zh) * 2011-12-30 2015-06-21 Nat Univ Chung Cheng Parallax Estimation Depth Generation
KR20130084850A (ko) * 2012-01-18 2013-07-26 삼성전자주식회사 시차 값을 생성하는 영상 처리 방법 및 장치
US9237326B2 (en) * 2012-06-27 2016-01-12 Imec Taiwan Co. Imaging system and method
CN103546736B (zh) * 2012-07-12 2016-12-28 三星电子株式会社 图像处理设备和方法
US9225962B2 (en) * 2012-07-16 2015-12-29 Cisco Technology, Inc. Stereo matching for 3D encoding and quality assessment
US9514522B2 (en) * 2012-08-24 2016-12-06 Microsoft Technology Licensing, Llc Depth data processing and compression
JP6021541B2 (ja) * 2012-09-13 2016-11-09 キヤノン株式会社 画像処理装置及び方法
US20140241612A1 (en) * 2013-02-23 2014-08-28 Microsoft Corporation Real time stereo matching
US9259840B1 (en) * 2013-03-13 2016-02-16 Hrl Laboratories, Llc Device and method to localize and control a tool tip with a robot arm
US9380286B2 (en) * 2013-04-19 2016-06-28 Adobe Systems Incorporated Stereoscopic target region filling
US9350969B2 (en) 2013-04-19 2016-05-24 Adobe Systems Incorporated Target region filling involving source regions, depth information, or occlusions
CN104112268A (zh) * 2013-04-22 2014-10-22 株式会社理光 稀疏视差图像处理方法和装置以及物体检测方法和装置
IN2013CH05313A (ja) * 2013-11-18 2015-05-29 Nokia Corp
US9519956B2 (en) 2014-02-28 2016-12-13 Nokia Technologies Oy Processing stereo images
WO2017023210A1 (en) * 2015-08-06 2017-02-09 Heptagon Micro Optics Pte. Ltd. Generating a merged, fused three-dimensional point cloud based on captured images of a scene
EP3185208A1 (en) * 2015-12-22 2017-06-28 Thomson Licensing Method for determining missing values in a depth map, corresponding device, computer program product and non-transitory computer-readable carrier medium
TWI672938B (zh) * 2017-03-31 2019-09-21 鈺立微電子股份有限公司 可校正遮蔽區的深度圖產生裝置
US11720745B2 (en) * 2017-06-13 2023-08-08 Microsoft Technology Licensing, Llc Detecting occlusion of digital ink
KR20200126129A (ko) * 2019-04-29 2020-11-06 엘지이노텍 주식회사 카메라 모듈
US11847771B2 (en) 2020-05-01 2023-12-19 Samsung Electronics Co., Ltd. Systems and methods for quantitative evaluation of optical map quality and for data augmentation automation
CN115176459B (zh) * 2021-01-25 2024-09-17 京东方科技集团股份有限公司 虚拟视点合成方法、电子设备和计算机可读介质
CN114972450A (zh) * 2021-02-24 2022-08-30 嘉楠明芯(北京)科技有限公司 图像的立体匹配方法以及装置
CN114359209A (zh) * 2021-12-29 2022-04-15 浙江大华技术股份有限公司 图像处理方法及装置、存储介质、电子装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07282259A (ja) * 1994-04-13 1995-10-27 Matsushita Electric Ind Co Ltd 視差演算装置及び画像合成装置
JP2007108626A (ja) * 2005-09-16 2007-04-26 Excellead Technology:Kk 立体映像生成システム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5909251A (en) * 1997-04-10 1999-06-01 Cognitech, Inc. Image frame fusion by velocity estimation using region merging
JP3732317B2 (ja) * 1997-09-17 2006-01-05 株式会社ソニー・コンピュータエンタテインメント 情報処理装置および方法、並びに伝送媒体
US6269175B1 (en) * 1998-08-28 2001-07-31 Sarnoff Corporation Method and apparatus for enhancing regions of aligned images using flow estimation
US6674887B1 (en) * 2000-07-24 2004-01-06 Honeywell International Inc. Apparatus and method for characterizing fiber crimps
GB0125774D0 (en) * 2001-10-26 2001-12-19 Cableform Ltd Method and apparatus for image matching
US7239399B2 (en) * 2001-11-13 2007-07-03 Cyberoptics Corporation Pick and place machine with component placement inspection
RU2237283C2 (ru) * 2001-11-27 2004-09-27 Самсунг Электроникс Ко., Лтд. Устройство и способ представления трехмерного объекта на основе изображений с глубиной
RU2237284C2 (ru) * 2001-11-27 2004-09-27 Самсунг Электроникс Ко., Лтд. Способ генерирования структуры узлов, предназначенных для представления трехмерных объектов с использованием изображений с глубиной
US7224355B2 (en) * 2002-10-23 2007-05-29 Koninklijke Philips Electronics N.V. Method for post-processing a 3D digital video signal
EP1437898A1 (en) * 2002-12-30 2004-07-14 Koninklijke Philips Electronics N.V. Video filtering for stereo images
US7512262B2 (en) * 2005-02-25 2009-03-31 Microsoft Corporation Stereo-based image processing
US7599547B2 (en) * 2005-11-30 2009-10-06 Microsoft Corporation Symmetric stereo model for handling occlusion
KR100745691B1 (ko) 2005-12-08 2007-08-03 한국전자통신연구원 차폐영역 검출을 이용한 양안 또는 다시점 스테레오 정합장치 및 그 방법
US8280149B2 (en) * 2007-09-11 2012-10-02 Motorola Solutions, Inc. Method and apparatus to facilitate processing a stereoscopic image using first and second images to facilitate computing a depth/disparity image
US8160391B1 (en) * 2008-06-04 2012-04-17 Google Inc. Panoramic image fill
US8315426B2 (en) * 2010-03-12 2012-11-20 Mitsubishi Electric Research Laboratories, Inc. Method for handling pixel occlusions in stereo images using iterative support and decision processes
WO2011123174A1 (en) * 2010-04-01 2011-10-06 Thomson Licensing Disparity value indications
US8873835B2 (en) * 2011-11-30 2014-10-28 Adobe Systems Incorporated Methods and apparatus for correcting disparity maps using statistical analysis on local neighborhoods

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07282259A (ja) * 1994-04-13 1995-10-27 Matsushita Electric Ind Co Ltd 視差演算装置及び画像合成装置
JP2007108626A (ja) * 2005-09-16 2007-04-26 Excellead Technology:Kk 立体映像生成システム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013054463A1 (ja) * 2011-10-11 2013-04-18 パナソニック株式会社 撮像装置とその集積回路、撮像方法、撮像プログラム、および撮像システム
JPWO2013054463A1 (ja) * 2011-10-11 2015-03-30 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 撮像装置とその集積回路、撮像方法、撮像プログラム、および撮像システム
JP2013225740A (ja) * 2012-04-20 2013-10-31 Nlt Technologies Ltd 画像生成装置、画像表示装置及び画像生成方法並びに画像生成プログラム
US9361725B2 (en) 2012-04-20 2016-06-07 Nlt Technologies, Ltd. Image generation apparatus, image display apparatus, image generation method and non-transitory computer readable medium
JP2014033366A (ja) * 2012-08-03 2014-02-20 Jvc Kenwood Corp 画像処理装置、画像処理方法及び画像処理プログラム
JP2015173441A (ja) * 2014-03-03 2015-10-01 ノキア コーポレイション 立体画像の視差マップ推定のための方法，装置及びコンピュータプログラム製品

Also Published As

Publication number Publication date
BRPI0914333A2 (pt) 2019-09-24
CN102077244A (zh) 2011-05-25
EP2304686A1 (fr) 2011-04-06
KR101594888B1 (ko) 2016-02-17
US8817069B2 (en) 2014-08-26
CN102077244B (zh) 2014-09-17
JP5474061B2 (ja) 2014-04-16
KR20110036591A (ko) 2011-04-07
FR2932911A1 (fr) 2009-12-25
WO2010007285A1 (fr) 2010-01-21
EP2304686B1 (fr) 2018-04-18
RU2011102402A (ru) 2012-07-27
US20110080464A1 (en) 2011-04-07
RU2504010C2 (ru) 2014-01-10

Similar Documents

Publication Publication Date Title
JP5474061B2 (ja) 少なくとも２つの画像に基づいて推定される深度または視差のマップの遮蔽の領域での充填のための方法および装置
JP7012642B2 (ja) アーチファクトを意識したビュー合成のための補助データ
CN109712067B (zh) 一种基于深度图像的虚拟视点绘制方法
US8384763B2 (en) Generating a depth map from a two-dimensional source image for stereoscopic and multiview imaging
EP2087466B1 (en) Generation of depth map for an image
Conze et al. Objective view synthesis quality assessment
Zinger et al. Free-viewpoint depth image based rendering
Ahn et al. A novel depth-based virtual view synthesis method for free viewpoint video
EP3311361B1 (en) Method and apparatus for determining a depth map for an image
TWI524734B (zh) 產生深度圖的方法及裝置
CN109462747B (zh) 基于生成对抗网络的dibr系统空洞填充方法
Lee et al. Discontinuity-adaptive depth map filtering for 3D view generation
Do et al. Quality improving techniques for free-viewpoint DIBR
JP4796072B2 (ja) 画像セグメンテーションに基づく画像レンダリング
TW202037169A (zh) 基於視訊的點雲壓縮的區塊分段的方法及裝置
Kao Stereoscopic image generation with depth image based rendering
JP4899151B2 (ja) 視差補間処理方法および処理装置
Smirnov et al. A memory-efficient and time-consistent filtering of depth map sequences
KR101589670B1 (ko) 깊이맵을 이용하여 2차원 동영상으로부터 3차원 동영상을 생성하는 방법
Kao Design and Implementation of Stereoscopic Image Generation
Jayachandran et al. Application of exemplar-based inpainting in depth image based rendering
Vázquez View generation for 3D-TV using image reconstruction from irregularly spaced samples
Kannan et al. Image matting based high-quality stereo view synthesis
Muddala et al. Edge-aided virtual view rendering for multiview video plus depth
Yuan et al. Stereoscopic image-inpainting-based view synthesis algorithm for glasses-based and glasses-free 3D displays

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120613

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130809

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130813

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140204

R150 Certificate of patent or registration of utility model

Ref document number: 5474061

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250