JP2012194751A - 画像処理方法、画像処理装置及びコンピュータプログラム - Google Patents

画像処理方法、画像処理装置及びコンピュータプログラム Download PDF

Info

Publication number
JP2012194751A
JP2012194751A JP2011057897A JP2011057897A JP2012194751A JP 2012194751 A JP2012194751 A JP 2012194751A JP 2011057897 A JP2011057897 A JP 2011057897A JP 2011057897 A JP2011057897 A JP 2011057897A JP 2012194751 A JP2012194751 A JP 2012194751A
Authority
JP
Japan
Prior art keywords
depth
image
pixel
subject
likelihood
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2011057897A
Other languages
English (en)
Inventor
Jin Niigaki
仁 新垣
Ai Isogai
愛 磯貝
Harumi Kawamura
春美 川村
Hajime Noto
肇 能登
Kaori Wakabayashi
佳織 若林
Nobuhiko Matsuura
宣彦 松浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2011057897A priority Critical patent/JP2012194751A/ja
Publication of JP2012194751A publication Critical patent/JP2012194751A/ja
Withdrawn legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】画像間の対応付けが困難な場合であっても、奥行き推定誤差を抑制することができ、高品質な仮想視点画像を合成することができる仮想視点画像合成装置を提供する。
【解決手段】奥行き推定部は、カメラ画像・カメラパラメータ記憶部からカメラパラメータと画像データとを取得し、奥行き推定結果を出力する。この際、奥行き推定が困難な画素について、その画素が所属する被写体を推定し、その被写体の奥行き情報を用いて補正を行う。また、被写体の境界付近にある奥行きが急激に変化する箇所の画素について、対応付けが困難な場合にも、同一被写体の奥行き情報を付与する。画像合成部は、カメラパラメータと画像データ、奥行き推定結果に基づいて、仮想視点から見た合成画像を出力する。
【選択図】図１

Description

本発明は、仮想視点画像合成方法、装置及びプログラムに関し、特に、被写体にテクスチャが少ない領域やオクルージョンがある場合に有効な技術に関する。
複数のカメラから撮影された多視点画像を用いて、仮想の視点位置から見た画像を合成することを仮想視点画像合成という。多視点画像を用いて任意の視点位置の画像を合成するためには、２次元の画像群から３次元情報（奥行き）を推定する必要がある。奥行き推定精度が低いと、仮想視点の合成画像の品質が劣化してしまうという問題がある。
奥行きを推定する手法にステレオマッチング法がある。これは、多視点画像間の画素の対応づけとカメラの内部パラメータと外部パラメータを用いることで、三角測量の原理により、注目画素の実空間での位置を計算により求める技術である。例えば、図９に示すように、地点Ｐ１と地点Ｐ２から注目地点Ｍを見たとすると、地点Ｐ１とＰ２を結んだ直線の距離と、注目地点Ｍと地点Ｐ１と地点Ｐ２とを結んだときにできる三角形の各頂点の角度が求まれば、地点Ｐ１及びＰ２から注目地点Ｍへのそれぞれの距離を求めることができる。
しかしながら、模様（テクスチャ）が少ない領域や、周期的なテクスチャが存在する領域や、オクルージョンの影響を受けた領域がある場合には、その領域内の画素の対応付けは困難である。例えば、図１０に示すように、鳥のような被写体Ｂが横切るなど，オクルージョンが生じた場合を考えると、地点Ｐ１からは注目地点Ｍが見えないので対応付けができない。
このとき、ステレオマッチング法では，地点Ｐ２から見える地点Ｍについて、地点Ｐ１から似たような形状として見える地点Ｍ’や，地点Ｍ”と誤って対応付けを行いやすい。そして、誤った奥行きを推定した画素の影響により、合成画像に不自然な像（アーティファクト）が生じる。つまり、仮想視点画像合成において、奥行き推定が困難な画素について、推定誤差を抑制することが品質向上に繋がる重要な課題である。
従来の仮想視点画像合成手法では、このような対応付けが困難な画素について、大きく分けて２つのアプローチをとっていた。
１つ目は、カメラの台数を増やすアプローチである。複数のカメラを用いることで対応付けの曖昧性を除去することや、オクルージョンの影響を受けにくくなる利点がある。また、オクルージョンの影響を受けていないカメラ映像を優先的に用いることで、合成された画像の品質劣化を抑制する手法もある。
しかしながら、当該手法では、少なくとも２つ以上のカメラがオクルージョンの影響を受けていないことを前提としている。また、当該アプローチのようにカメラ台数が多くなると、撮影のための装置が大掛かりになるなど、管理コストや、撮影の労力が大きくなることや、専用の撮影環境が必要になる等の問題が生じる。
２つ目は、対応付けが正しく行えた近傍画素の奥行き情報を用いることで、対応付けが困難な画素の奥行きの補正を行うアプローチである。例えば、画素の色（Ｒ、Ｇ、Ｂ）情報を基にして画像を細かくセグメンテーションし、同じセグメント内の画素は、同一の平面（曲面）上に存在すると仮定する。この仮定の基に、画素の奥行きを再推定する手法（例えば非特許文献１参照）がある。他にも、前景と背景という２つの被写体を対象として、ステレオマッチングの尤度と対応づけが困難な画素と類似した色を持つ被写体（前景か背景）の奥行き情報を用いて奥行きの尤度を補正する手法（例えば非特許文献２参照）等がある。
C. Lawrence Zitnick, Sing Bing Kang, Matthew Uyttendaele, Simon Winder, Richard Szeliski : High-quality video view interpolation using a layered representation, in Prof. of ACM SIGGRAPH, pp. 600-608 (2004) 石井，高橋，苗村：自由視点画像のための合成とセグメンテーションの連結手法，3次元画像コンファレンス，5-1, pp.49-52 (2009)
上述のように、奥行きの補正を行うための関連した技術では、ある画素の奥行き情報を補正するときに、類似した色を持つ近傍画素を用いて補正を行っていた。しかしながら、被写体の境界付近に類似した色を持つ別の被写体が存在する場合、誤った奥行き情報に基づいて補正を行ってしまう。そのため、誤った補正の影響により、被写体境界付近では奥行きの推定誤差が大きくなってしまう。例えば、被写体のパーツ（顔、足、手など）の一部が欠損したり、拡大・縮小するようなアーティファクトが生じる課題があった。また、テクスチャが少ない領域が大きい場合や、オクルージョンの領域が大きい場合には、それらの領域内の広範囲な画素の奥行き推定結果が悪くなる。広範囲の画素の奥行き推定精度が低いため、近傍画素の情報を用いても補正を正しく行えないという問題がある。
本発明は、このような事情を考慮してなされたものであり、その目的は、テクスチャが少ない領域や、オクルージョンの影響により画像間の対応付けが困難な場合であっても、奥行き推定誤差を抑制し、高品質な仮想視点画像を合成することができる技術を提供することにある。
上述した課題を解決するために、本発明の一態様は、複数の異なる視点から被写体を撮影した多視点画像に基づいて、任意の仮想視点位置から見た前記被写体の画像を合成する画像処理方法であって、前記多視点画像に対して、各画素の奥行きに対する尤度を算出する第１のステップと、前記尤度と近傍画素の奥行きの推定結果とが近い値になるように個々の画素の奥行きを推定する第２のステップと、前記多視点画像と前記推定した奥行きとに基づいて、各被写体の奥行き情報を取得する第３のステップと、前記第１のステップで対応付けが困難であった画素を検出し、その画素が所属する被写体の奥行き情報に基づいて、その画素の尤度を補正する第４のステップと、前記補正された尤度と同一の被写体に所属する前記近傍画素の奥行きの推定結果とが近い値になるように個々の画素の奥行きを再推定する第５のステップと、前記仮想カメラの視点位置に近いカメラ画像と該カメラ画像に対する前記第５のステップで推定された奥行きとに基づいて、前記被写体の画像を合成する第６のステップとを含む。
本発明の一態様は、上記の画像処理方法において、前記第１のステップは、前記多視点画像に対して、注目画像と複数の画像間のエピポーラ線上の局所領域の相関情報を算出し、相関の高さに応じて、各画素の奥行きに対する尤度を決定する。
本発明の一態様は、上記の画像処理方法において、前記第２のステップは、前記尤度が高いほど小さいコストを出力し、また近傍画素の奥行き推定結果が近いほど小さいコストを出力するエネルギー関数を定義し、該エネルギー関数と空間的な平滑化項により定義されるエネルギー関数の最小化問題により個々の画素の奥行きを求める。
本発明の一態様は、上記の画像処理方法において、前記第３のステップは、画素と被写体との対応関係をセグメンテーションにより決定し、被写体の奥行き情報を、その被写体に属する画素の奥行きにより算出する。
本発明の一態様は、上記の画像処理方法において、前記第４のステップは、前記第１のステップで対応付けが困難である画素を前記尤度の値から決定し、各被写体の奥行きを求めるステップと、事前に学習した画像特徴と前記推定した画素の奥行き情報に基づいて前記被写体を検出するステップとを含む。
本発明の一態様は、上記の画像処理方法において、前記第４のステップは、前記各被写体の奥行きを空間的に分割して取得するステップと、前記尤度の補正について、前記第１のステップで求めた画素の尤度と、その画素が所属する被写体であって、かつ、その画素から空間的に近い奥行き情報とを統合するステップとを含む。
本発明の一態様は、上記の画像処理方法において、前記第５のステップは、前記補正された尤度が高いほど小さいコストを出力し、また、近傍画素の奥行き推定結果が近いほど小さいコストを出力するエネルギー関数を定義し、該エネルギー関数の最小化問題により奥行きを求める。
本発明の一態様は、上記の画像処理方法において、前記第６のステップは、前記仮想カメラの視点位置に近いカメラ画像と該カメラ画像の推定された奥行きとに基づいて、３次元ワーピングにより前記被写体の画像を合成するステップと、前記仮想カメラの視点位置とカメラとの距離に応じた重み付き加算による色と各画素の推定された奥行きに対する尤度による重み付け加算による色とを統合するステップとを含む。
本発明の一態様は、複数の異なる視点から被写体を撮影した多視点画像に基づいて、任意の仮想視点位置から見た前記被写体の画像を合成する画像処理装置であって、前記多視点画像に対して、各画素の奥行きに対する尤度を算出する尤度算出部と、前記尤度と近傍画素の奥行きの推定結果とが近い値になるように個々の画素の奥行きを推定する奥行き推定部と、前記多視点画像と前記推定した奥行きとに基づいて、各被写体の奥行き情報を取得する奥行き情報取得部と、前記尤度算出部による対応付けが困難であった画素を検出し、その画素が所属する被写体の奥行き情報に基づいて、その画素の尤度を補正する尤度補正部と、前記補正された尤度と同一の被写体に所属する前記近傍画素の奥行きの推定結果とが近い値になるように個々の画素の奥行きを再推定する奥行き再推定部と、前記仮想カメラの視点位置に近いカメラ画像と該カメラ画像に対する前記奥行き再推定部により推定された奥行きとに基づいて、前記被写体の画像を合成する画像合成部とを備える。
本発明の一態様は、複数の異なる視点から被写体を撮影した多視点画像に基づいて、任意の仮想視点位置から見た前記被写体の画像を合成する画像処理装置のコンピュータに、前記多視点画像に対して、各画素の奥行きに対する尤度を算出する尤度算出ステップと、前記尤度と近傍画素の奥行きの推定結果とが近い値になるように個々の画素の奥行きを推定する奥行き推定ステップと、前記多視点画像と前記推定した奥行きとに基づいて、各被写体の奥行き情報を取得する奥行き情報取得ステップと、前記尤度算出ステップによる対応付けが困難であった画素を検出し、その画素が所属する被写体の奥行き情報に基づいて、その画素の尤度を補正する尤度補正ステップと、前記補正された尤度と同一の被写体に所属する前記近傍画素の奥行きの推定結果とが近い値になるように個々の画素の奥行きを再推定する奥行き再推定ステップと、前記仮想カメラの視点位置に近いカメラ画像と該カメラ画像に対する前記奥行き再推定ステップにより推定された奥行きとに基づいて、前記被写体の画像を合成する画像合成ステップと、を実行させるためのコンピュータプログラムである。
本発明によれば、テクスチャが少ない領域や、オクルージョンの影響により画像間の対応付けが困難な場合であっても、奥行き推定誤差を抑制し、高品質な仮想視点画像を合成することができる。
仮想視点画像合成システムの構成を示すブロック図である。 本実施形態による仮想視点画像合成方法を説明するためのフローチャートである。 本実施形態による仮想視点画像合成方法で用いるカメラの配置例を示す概念図である。 本実施形態による奥行きに対する尤度の計算方法を説明するための概念図である。 複数の画像間のエピポーラ線を説明するための概念図である。 本実施形態による被写体の奥行き情報の取得方法を説明するための概念図である。 本実施形態による、仮想視点位置の画像合成を説明するための概念図である。 本実施形態による、３Ｄワーピングについて説明するための概念図である。 従来技術によるステレオマッチング法を説明するための概念図である。 ステレオマッチング法の問題点を説明するための概念図である。
仮想視点画像合成システムは、複数の多視点画像に基づき任意の仮想視点から見た画像を合成する技術に関するものである。仮想視点画像合成システムの特徴は、テクスチャが少ない場合や、オクルージョンの影響により画像間の対応付けが困難な場合においても、精度よく奥行きを推定できることである。また、その結果として高品質な仮想視点画像を合成することが可能となる。
関連技術では、奥行きの推定誤差を抑制するために、「近傍画素の奥行きは近い」とか「近傍で、かつ、色が似ている画素の奥行きは近い」という事前知識を用いた補正を行っていた。しかし、オクルージョンなどの影響により、奥行き推定が困難な画素が広範囲に存在する場合、どの画素の奥行き情報を利用して補正すればよいか分からなかった。
仮想視点画像合成システムでは、奥行き推定が困難な画素について、その画素が所属する被写体を推定し、その被写体の奥行き情報を用いて補正を行うことで、推定誤差の抑制が可能となる。
また、仮想視点画像合成システムでは、物理的に正しい奥行きを推定することを目的としているのではない。仮想視点画像合成システムは、仮想視点位置の画像を合成したときに、人間が知覚してしまうようなアーティファクトが発生しないことを目指している。仮想視点画像合成システムは、被写体の境界付近にある奥行きが急激に変化する箇所の画素について、対応付けが困難な場合にも、同一被写体の奥行き情報を付与する。これによって、背景など大幅に間違った奥行き推定結果になることを抑制することができる。仮想視点画像合成システムは、ステレオマッチング法により求めた尤度の大きさを用いる。
仮想視点画像合成システムは、卓球や、テニスなどのスポーツの鑑賞や、大学等の授業を撮影した遠隔教育の教材向けに、視聴者があたかも撮影した環境にいると思えるような臨場感のある画像を、高品質に合成できる。
仮想視点画像合成システムは、関連技術の光線空間法や、視体積交差法のように、カメラを密に配置する撮影環境や、被写体を全方位から撮影できるような撮影環境ではなくて、実際の競技場や、イベント会場での撮影環境を想定している。仮想視点画像合成システムは、特殊な撮影環境内で被写体を撮影しなくても、高品質な仮想視点画像の合成を実現する技術である。
上述したように、仮想視点画像合成システムでは、注目する画素についてその画素の所属する被写体の奥行き情報を用いて補正を行う。仮想視点画像合成システムは、注目画素を含む局所領域がどの被写体に属しているかを識別するために、事前にトレーニングデータ（画像にラベルを付与したもの）を基に学習を行う。例えば、テニスや、ボクシング、コンサートにおいて、数時間のコンテンツのうち数分間分をトレーニングデータとして、人手によりラベルを与える。ラベルとは、画像中の被写体と画像特徴との関連性を示すものであり、被写体の識別器の学習に用いる。仮想視点画像合成システムでは、特定のコンテンツに特化する。これによって、関連技術の課題である対応付けの難しい画素についての奥行き推定誤差を解消してアーティファクトを抑制することができる。
（合成装置全体の説明）
図１は、仮想視点画像合成システムの構成を示すブロック図である。被写体撮影部１０１は、複数台のカメラで構成される多視点画像取得システムである。被写体撮影部１０１は、撮影した映像信号Ｓ１をカメラ画像取得部１０２に供給する。カメラパラメータ入力部１０３は、キャリブレーションしたカメラパラメータＰ１を入力する装置である。仮想視点位置入力部１０５は、ユーザーが希望する視点位置を入力する装置である。カメラパラメータ入力部１０３と仮想視点位置入力部１０５は、例えば、キーボードや、マウス、タッチ入力装置などのユーザーインタフェースや、ＤＶＤ（Digital Versatile Disc）や、ＵＳＢ（Universal Serial Bus）メモリ等の外部記憶装置である。
仮想視点画像合成装置１００は、カメラ画像取得部１０２、奥行き推定部１０４、仮想視点位置決定部１０６、画像データ記憶部１０７、画像合成部１０８、及び合成画像出力部１０９を備える。カメラ画像取得部１０２は、被写体撮影部１０１からの映像信号Ｓ１を取得し、画像データＤ１として画像データ記憶部１０７に供給する。仮想視点位置決定部１０６は、仮想視点位置入力部１０５により与えられた、仮想視点位置のカメラパラメータを決定し、画像合成部１０８に供給する。
画像データ記憶部１０７は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。画像データ記憶部１０７は、カメラ画像・カメラパラメータ記憶部１０７ａ、奥行き記憶部１０７ｂ、及び合成画像記憶部１０７ｃを備える。各記憶部は、同一の記憶装置上に構成されても良いし、それぞれ異なる記憶装置上に構成されても良い。カメラ画像・カメラパラメータ記憶部１０７ａは、カメラ画像取得部１０２からの画像データＤ１を記憶する。奥行き記憶部１０７ｂは、後述する奥行き推定部１０４から出力される推定された奥行きデータＤ２を記憶する。合成画像記憶部１０７ｃは、後述する画像合成部１０８から出力される画像データＤ３を記憶する。被写体撮影部１０１のカメラによる被写体撮影で予め撮影したシーンの画像とキャリブレーションで求めたカメラパラメータＰ１と奥行き推定部１０４の出力結果Ｄ２とを、それぞれカメラ画像・カメラパラメータ記憶部１０７ａと奥行き記憶部１０７ｂとに記憶しておき、ユーザーが希望する仮想視点位置の入力に応じて画像合成を独立して実行することが可能となる。
奥行き推定部１０４は、カメラ画像・カメラパラメータ記憶部１０７ａからカメラパラメータＰ１と画像データＤ１とを取得し、奥行き推定結果Ｄ２を出力して奥行き記憶部１０７ｂに供給する。
画像合成部１０８は、カメラ画像・カメラパラメータ記憶部１０７ａからカメラパラメータＰ１と画像データＤ１とを取得し、奥行き記憶部１０７ｂから奥行き推定結果Ｄ２を取得して、合成画像（仮想視点から見た画像）データＤ３を出力する。
合成画像出力部１０９は、合成画像記憶部１０７ｃに記憶された合成画像データＤ３を、出力用画像データとして読み出し、ディスプレイ表示用の映像信号Ｓ２として合成画像表示部１１０に出力する。合成画像表示部１１０は、例えば、ディスプレイ端子等の合成画像出力部１０９に接続されたＣＲＴ（Cathode Ray Tube）、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）等の表示装置である。合成画像表示部１１０は、合成画像出力部１０９からの映像信号Ｓ２に従って合成画像を表示する。なお、合成画像表示部１１０は、例えば、２次元平面状の装置でもよいし、装置利用者を取り囲むような曲面状の表示装置であってもよい。
（画像合成方法の説明）
次に、本実施形態の仮想視点画像合成装置１００による仮想視点画像合成方法について説明する。図２は、本実施形態による仮想視点画像合成方法を説明するためのフローチャートである。カメラの配置は、本来自由でよい。しかし、本実施形態では、複数台のカメラで共通視野を確保しやすくするために、格子状、もしくは一直線上にカメラを配置する。図３は、本実施形態による仮想視点画像合成方法で用いるカメラの配置例を示す概念図である。図３に示すように、カメラＣｎ−２、Ｃｎ−１、Ｃｎ、Ｃｎ＋１、…の向きは、並行、もしくは特定の被写体を注視点Ｍとするように放射線状に配置されており、全てのカメラＣｎ−２、Ｃｎ−１、Ｃｎ、Ｃｎ＋１、…は同期している。
［多視点画像とカメラパラメータの入力］
まず、カメラパラメータ入力部１０３で、前処理として各カメラのカメラパラメータをキャリブレーションにより求める（ステップＳ１）。カメラ番号をｎ（＝１，２，３，…，Ｎ）、カメラの内部パラメータをＡｎ、外部パラメータをＲｎ、Ｔｎ、カメラＣｎの画像の画素の位置をｍｎとすると、カメラＣｎの画像上の位置ｍｎ＝［ｘｎ，ｙｎ］とカメラＣｎの座標系の位置Ｍｃ＝［Ｘｃ，Ｙｃ，Ｚｃ］、世界座標系の位置Ｍ＝［Ｘ，Ｙ，Ｚ］の関係は次式（１）、（２）で求まる。
数式（１）と数式（２）より、
となる。但し、ｓｎは奥行き方向のスケールを決める正の定数、右上添え字のＴは転置行列を意味し、チルダ（~）ｍｎとチルダ（~）Ｍとは拡張ベクトルであり、チルダ（~）ｍｎ＝［ｘｎ，ｙｎ，１］Ｔ，チルダ（~）Ｍ＝［Ｘ，Ｙ，Ｚ，１］Ｔである。
画像の奥行きが分かれば、数式（１）により定数ｓｎが決定されカメラＣｎの座標系での位置Ｍｃが分かる。そして、数式（２）により世界座標系での位置Ｍを求めることができる。
また、カメラＣｎの画素ｍｎの奥行きがｄのとき、カメラＣｎ−１の画像上の画素ｍｎ−１は、ホモグラフィ行列Ｈｎ，ｎ−１により求めることができる。
［奥行きに対する尤度の計算］
次に、奥行き推定部１０４が、カメラＣｎの画像Ｉｎについて、奥行きに対する尤度をステレオマッチング法により求める（ステップＳ２）。カメラＣｎ以外の全てのカメラの画像についても、同様にして奥行きを推定することが可能である。多視点画像を前提としているので、２眼ステレオで利用されるＳＳＤ（Sum of Squared Difference）を拡張した複数基線長を利用したステレオマッチング（参考文献１：奥富，金出：複数の基線長を利用したステレオマッチング， 信学論, vol. J75-D-II, no. 8, pp. 1317-1327 (1992)）のＳＳＳＤ（Sum of SSDs）を尤度の計算に用いる。
ここで、ＳＳＤの代わりにＮＣＣ（Normalized Cross Correlation）や、ＭＩ（Mutual information）等を拡張して利用することも可能である。ＳＳＤの場合には、ＳＳＤが小さいほど相関が高いことを意味するのに対して、ＮＣＣや、ＭＩの場合には、値が大きいほど相関が高いことを意味する。
以下では、ＮＣＣを用いた場合の尤度の計算を示すが、同様にしてＳＳＤや、ＭＩを利用することも可能である。カメラＣｎの画像Ｉｎの注目画素ｐについて、奥行きｄに対する尤度Ｌｐ（ｄ）は、次式（６）で表現される。
但し、ＯはカメラＣｎの周辺カメラの集合とし、νｐは画像Ｉｎにおいて画素ｐ周辺の局所領域の画像のＲ，Ｇ，Ｂの輝度値を並べたベクトルであり、ｒは数式（４）のホモグラフィ行列Ｈｎ，ｏにより求まる画像Ｉｏの画素の位置、νγは画像Ｉｏにおいて画素ｒ周辺の局所領域の画像のＲ，Ｇ，Ｂの輝度値を並べたベクトルである。νｐ・νγは、ベクトルの内積を表し、ｎｏｒｍは、ベクトルの大きさを表し、１−ノルム、２−ノルム等を意味する。
図４は、本実施形態による奥行きに対する尤度の計算方法を説明するための概念図である。また、図５は、複数の画像間のエピポーラ線（ＥＬ１、ＥＬ２）を説明するための概念図である。図５において、ＩＰ１で表される平面は、レンズ中心Ｃ１に対応する画像平面を表す。ＩＰ３で表される平面は、レンズ中心Ｃ３に対応する画像平面を表す。ＥＬ１で表される線分は、画像平面ＩＰ１におけるエピポーラ線を表す。ＥＬ２で表される線分は、画像平面ＩＰ２におけるエピポーラ線を表す。ＥＰで表されるエピポーラ平面は、エピポーラ線ＥＬ１及びエピポーラ線ＥＬ２に対応するエピポーラ平面を表す。
局所領域とは、図４の右側に示すように、注目画素周辺の３×３や、５×５、７×７などの領域である。局所領域は、Ｒ，Ｇ，Ｂ成分の値をラスタースキャンしたベクトルで表すことができる。例えば、局所領域の大きさが３×３の場合には、それぞれの成分が９次元なので、νｐは２７（＝９次元×３成分）次元のベクトルとなる。つまり、ここでは、Ｃｎの画素ｐについて、数式（４）により複数の画像間のエピポーラ線（図５を参照）上の局所領域の相関情報を計算することにより尤度を求める。
カメラＣｎに対して、周辺カメラＣｏの選び方は撮影環境に依存する。共通視野がなるべく多いカメラを選ぶことで対応付けが行いやすくなる。そのため、少なくともカメラＣｎから近い２台以上のカメラを選んだ方が好ましい。Γｐは、奥行きｄを変化させたとき、尤度Ｌｐ（ｄ）の総和が１になるようにする正規化定数である。
［近傍画素を考慮した奥行き推定］
次に、奥行き推定部１０４が、個々の画素の尤度と平滑化項で定義されるエネルギー関数の最小化問題を解くことで、多視点画像の奥行きを推定する（ステップＳ３）。個々の画素の奥行きに対する尤度と近傍画素の奥行きの推定結果とが近い値になるような平滑化項により、エネルギー関数が定義される。ステレオマッチングの尤度の結果だけでは、被写体表面が凸凹に推定されがちである。しかし、平滑化項を設定することで推定結果が滑らかになる効果があり、その有効性が報告されている（参考文献２：Li Hong, George Chen : Segment-based Stereo matching Using Graph Cuts, in Proc. of CVPR, vol. 1, pp. 74-81 (2004)）。
カメラＣｎの画像Ｉｎについて、注目画素をｐ、近傍画素をｑで表わすと、エネルギー関数は、以下の数式（７）、（８）、（９）ように定義される。
但し、大文字のＤ（ｐ）は、画素ｐの推定された奥行きであり、ＥＬｉｋｅｌｉｈｏｏｄは、画素ｐの奥行きがＤ（ｐ）と推定されたときのコストを出力する関数であり、Ｅｓｍｏｏｔｈは、平滑化項であり、λは、２つの関数を重視する比率である。尤度が大きい程、コストは小さくなる。Ｅｓｍｏｏｔｈは、画素ｐと近傍画素の奥行きの推定結果Ｄ（ｐ）とＤ（ｑ）の差が小さいほど、小さいコストを出力する関数である。εは、０割りを避けるための微小値である。
また、平滑化項については、数式（９）以外にも、近傍画素ｑとの色の違いによりコストの大きさを変化させるような次式（１０）の形でもよい。
ここで、Ｉ（ｐ）とＩ（ｑ）は、カメラＣｎの画素ｐと画素ｑの色情報であり、画素ｐとｑの位置の［Ｒ，Ｇ，Ｂ］成分を並べたベクトルであり、||Ｉ（ｐ）−Ｉ（ｑ）||は、２−ノルムを表す。数式（１０）の平滑化項は、色が切り替わるところでは、近傍画素の奥行きも変化しやすい効果が得られる。
次に、数式（７）のエネルギー関数Ｅｔｏｔａｌが最小にするような奥行きを求める。この最小化問題は、Ｓｉｍｕｌａｔｅｄ Ａｎｎｅａｌｉｎｇ法や、Ｇｒａｐｈ Ｃｕｔｓ法、Ｂｅｌｉｅｆ Ｐｒｏｐａｇａｔｉｏｎ法などのアルゴリズムにより近似解を得ることができる。
［被写体ごとの奥行き情報の取得］
次に、奥行き推定部１０４が、画素と被写体との対応関係をセグメントにより決定する。そして、奥行き推定部１０４が、被写体の奥行き情報を、その被写体に属する画素の奥行きにより計算する（ステップＳ４）。本実施形態では、被写体が３次元空間中のどこに存在しているか調べ、その情報を基にして対応付けが困難な画素の奥行き推定誤差を抑制する。つまり、撮影シーンの被写体の状況を理解し、その情報を積極的に活用することで合成結果の品質改善を実現する。
例えば、テニスのようなスポーツのコンテンツを考えた場合、選手の顔の左半分がオクルージョンによりある１台のカメラでしか撮影できていなかったとする。その際、本実施形態では、オクルージョンの領域の画素が選手に属していることを判断する。そして、同一選手内のオクルージョンの影響を受けていない右半分の顔や、顔周辺の奥行き情報などを基に、顔左半分の奥行きの尤度を補正する。また、ネットや、コートの模様など位置が固定な被写体については、一枚の画像だけからでも、奥行き情報を事前知識より求めることができる。
まず、被写体の３次元空間中の位置を把握するために、被写体をカテゴリとしたセグメンテーションを行う。このとき、被写体は、Ｋ種類存在するとする。セグメンテーションは、画素毎に抽出される画像特徴量と、各被写体に所属する尤度の算出と、空間的な平滑化項の設定による最適化問題により行われる。
これは、既存の研究により行われている方法であり、参考文献３（豊田，田上，長谷川：局所情報と大域情報を統合する条件付確率場による画像ラベリング，信学論, vol. J90-D, no. 6, pp. 1542-1554 (2007)）等がある。これらの研究と仮想視点画像合成システムが異なる点は、画像特徴量に加えて、推定された奥行き結果を、最適化問題を解く際に利用していることである。
（ステップＳＡ１：各カテゴリに所属する尤度の算出）
カテゴリｋに対する尤度Ｆ（ｋ）は、画素毎に抽出された画像特徴量を用いて、事前学習による被写体の識別器により算出される。画像特徴量は、参考文献３と同様に注目画素ｐを含むＮ×Ｎ画素の局所領域から抽出される。局所領域の画像特徴量（特徴ベクトル）には、例えば、図４で示したような局所領域の輝度値をラスタースキャンしたようなテクスチャ特徴量や、ＳＩＦＴ（Scale-Invariant Feature Transform）特徴量、ＳＵＲＦ（Speeded-Up Robust Features）特徴量、ＨＯＧ（Histograms of Oriented Gradients）特徴量、カラーヒストグラムなど様々なものがある。
識別器は、画素ｐの特徴ベクトルが入力されると、あるカテゴリｋの画像特徴量（辞書特徴ベクトル）との類似性を出力する関数とする。例えば、あるカテゴリｋについて、辞書特徴ベクトル群の重心と注目画素の特徴ベクトルの距離や、辞書特徴ベクトル群と注目画素の特徴ベクトルとのマハラノビス距離、最近傍探索した結果の最近傍ベクトルとの距離や、辞書特徴ベクトル群の部分空間との内積角度を計算する。内積や、距離を用いたときのカテゴリｋ（∈Ｋ）に対する尤度Ｆ（ｋ）の計算例を、次式（１１）、（１２）に示す。
但し、θは辞書ベクトルと注目画素ｐの特徴ベクトルとの成す角度であり、ｇは辞書ベクトルと注目画素ｐの特徴ベクトルとの距離である。ΓＦは、カテゴリｋを変えたときの尤度の総和が１になるようにするための正規化定数である。数式（１１）、（１２）において、距離の２乗や内積の２乗、指数乗の形にしてもよい。εは０割りを避けるための微小値である。
（ステップＳＡ２：最適化処理による画像のセグメンテーション）
カメラＣｎの画像Ｉｎのセグメンテーションを、画素ｐにラベル（Ｘｖ∈｛１，２，…，Ｋ｝）を割り当てるエネルギー最小化問題として解く。注目画素をｐ、近傍画素をｑとし、近傍画素との平滑化項により以下の数式（１３）、（１４）、（１５）を定義する。
但し、
ここで、βとγは平滑化項を重視する度合いであり、εは０割りを避けるための微小値である。βを大きくすると、近傍画素は、同じ被写体と推定されやすくなり、γを大きくすると近傍画素、かつ、数式（７）の最小化により推定した奥行きの差分の絶対値が閾値δ以下のときには、より同じ被写体と推定されやすくなる効果がある。
（ステップＳＡ３：被写体の奥行き情報の取得）
被写体毎に、奥行き情報を求める。対応付けが正しくできた画素の上記推定した奥行きを用いる。対応付けが正しくできたという判断は、実施形態では尤度を用いる。例えば、注目画素ｐについて、推定された奥行きＤ（ｐ）の尤度Ｌ（Ｄ（ｐ））が閾値Ｔｈ１以上だった場合、その画素が正しく奥行きを推定できたと判断する。尤度を用いない方法としては、ＳＩＦＴ（Scale-Invariant Feature Transform）や、ＳＵＲＦ（Speeded-Up Robust Features）などの局所特徴量によってステレオマッチングした画素を対応付けが正しく行える画素と見なすこともできる。
被写体ｋに属する画素を、上記ステップＳＡ２の結果より見つける。次に、被写体ｋに属する画素のうち、対応付けが正しく行えた画素について、その画素の奥行きの投票によりヒストグラムを作成する。このヒストグラムを要素数で割ったものを、被写体の奥行きに対する（離散的な）確率分布とする。
ここで、図６は、本実施形態による被写体の奥行き情報の取得方法を説明するための概念図である。図６Ａは、カテゴリｋを覆う直方体Ｓｋの断面図である。図６Ｂは、被写体を分割する処理を説明するための概念図である。図６Ｃは、カテゴリｋに属する画素による投票の結果の例を示す図である。例えば、図６Ｂに示すように、カテゴリｋに属する画素の中で、奥行きが１ｍの画素が８個、奥行きが２ｍの画素が１２個、奥行きが３ｍの画素が４個存在すると、カテゴリｋについて奥行きが１ｍである確率は、１／３（＝８／（８＋１２＋４））となり、奥行きが２ｍの確率は、１／２となる。図６では説明の都合上断面を用いたが、本実施形態では断面にも厚さがありその断面の領域内（ボクセル内の画素）について、上記の確率を計算している。
しかしながら、被写体とカメラとの距離がカメラ間隔に比べて相対的に近い場合には、同一被写体であっても、パーツ（顔、手、足など）による奥行きの影響が大きくなる。そこで、本実施形態では、図６に示すように、各被写体を空間的に格子状に分割し、分割された領域ｊ（＝１，２，…，Ｊ）毎の奥行きを確率で表現する。対応付けが困難な画素の尤度の補正を、その画素に空間的に近い領域の確率分布を用いて行うことで、高精度な尤度の補正を行うことができる。
ここで、「空間的に近い」とは、３次元空間でのユークリッド距離が近いという意味である。多視点画像を用いた場合、カメラＣｎにおける被写体の奥行きに対する確率分布を算出する場合には、カメラＣｎ以外の画像の奥行き推定結果を利用することで更に高精度に求めることができる。
各カメラのカメラパラメータと奥行き情報を、数式（１）、（２）に代入することで、世界座標系における被写体の位置が計算できる。つまり、多視点画像を用いて、被写体ｋに属する３次元空間の位置を点群により表現でき、この点群からカメラＣｎにおける被写体ｋの確率分布が算出できる。例えば、被写体を覆う直方体を等分割にした領域ｊ毎に確率分布を求めたり、点群をｋ−ｍｅａｎｓ法によりクラスタリングして、その結果のクラスターを領域ｊとして確率分布を求める。
［尤度の補正］
次に、対応付けが困難な画素について、その画素が属する被写体の奥行き情報により尤度を補正する（ステップＳ５）。本実施形態では、画素の尤度の最大値が閾値Ｔｈ２以下である場合に、注目画素ｐの対応付けが困難であると判断する。この方法以外にも、注目画素周辺にテクスチャが少ない場合や、繰り返しテクスチャがある場合や、オクルージョンの影響を受けているか否か調べる方法を前処理に入れても良い。例えば、画像に対してソーベルフィルタ（Sobel Filter：水平、垂直方向の輝度値の微分フィルタ）を適用し、画素毎にフィルタ後の値をエッジ強度として、テクスチャが多いか少ないかの判定が可能である。
対応付け困難な画素ｐが所属する被写体をｋとし、被写体ｋの奥行きに対する確率分布の中で画素ｐに空間的に近い確率分布をＰｐ（ｋ，ｄ）とすると、補正後の尤度Ｌ’（ｐ）は次式（１８）で表される。
ここで、ｗ（０＜ｗ＜１）は、ステレオマッチングで計算した尤度と上記算出した確率分布とのいずれを重視するかを表す割合いである。ｗが大きいとステレオマッチングの尤度を重視することとなる。
［画像の奥行きの再推定］
次に、個々の画素の尤度と平滑化項で定義されるエネルギー関数の最小化問題を解くことで、奥行きを再推定する（ステップＳ６）。すなわち、数式（７）に補正後の尤度を代入することで、奥行きを再推定する。
［仮想視点位置の画像合成］
次に、仮想視点位置に近いカメラを選択し、選択されたＮ個のカメラ画像と推定された奥行き情報とから３次元ワーピングにより画像を合成する（ステップＳ７）。色をブレンドする際には、各カメラと仮想視点との位置の近さや、推定された奥行きの尤度の強さに応じた加重平均を行う。
ここで、図７は、仮想視点位置の画像合成を説明するための概念図である。３次元ワーピング法は、多視点画像と画像の奥行き（デプスマップ）を基にして、仮想視点位置のカメラＣｖの画像の画素ｍｖの色Ｉｖ（ｍｖ）を決める方法である。図７に２台のカメラの例を示す。カメラの選択は、仮想視点から適当な距離の範囲にあるカメラを用いればよいので、２台以上でも可能である。
カメラＣ１とカメラＣ２の内部パラメータと外部パラメータをそれぞれＡ１、Ａ２、Ｒ１、Ｔ１、Ｒ２、Ｔ２とし、カメラＣ１とカメラＣ２の画像の奥行きをＤ１，Ｄ２とする。このとき、点Ｍの色はカメラＣ１、カメラＣ２それぞれから式（３）により仮想視点カメラＣｖへ射影される。仮想視点カメラの内部パラメータをＡｖ、外部パラメータをＲｖ、Ｔｖとすると、
となる。ここで、チルダ（~）ｍｖ １とチルダ（~）ｍｖ ２は、カメラＣ１とカメラＣ２の画素ｍ１、ｍ２を数式（３）で射影したときの、位置の拡張ベクトルである。
仮想視点とカメラＣ１、カメラＣ２との距離の比と画素ｍ１と画素ｍ２の奥行きの尤度により、仮想視点の画像の画素ｍｖの色Ｉ（ｍｖ）を加重平均により求める。仮想視点とカメラＣ１とカメラＣ２の距離の比率をα：（１−α）（０＜α＜１）とし、尤度をＬ（Ｄｍ１）：Ｌ（Ｄｍ２）とすると、
但し、Ｌ（Ｄｍ１）、Ｌ（Ｄｍ２）は、カメラＣ１、カメラＣ２の画像の画素ｍ１、ｍ２について、奥行き推定時に計算した尤度である。また、距離の比率と尤度の比率を加算によりｗ１とｗ２を求めたが、どちらか一方のみを利用することや、比率を掛け算することで求めてもよい。
ここで、図８Ａ及び図８Ｂは、本実施形態による、３Ｄワーピングについて説明するための概念図である。３Ｄワーピングした際に、図８に示す状況のように、異なる点Ｐと点Ｑが仮想視点カメラＣｖから見ると、一直線上に存在する場合がある。このときは、点Ｐと点ＱについてカメラＣｖの座標系における奥行きが小さい方の点Ｐが仮想カメラＣｖから見える。例えば、カメラＣ１から見える点ＰとカメラＣ２から見える点Ｑについて、カメラＣｖの座標系での奥行きがそれぞれＤｖ（Ｐ）、Ｄｖ（Ｑ）としたときに、（Ｄｖ（Ｑ）−Ｄｖ（Ｐ））＞δとすると、
となる。但し、δは閾値のパラメータであり、事前に予備実験により決める。閾値δ以下の場合には、数式（２１）により色を混合する。
上述した実施形態によれば、テクスチャが少ない領域や、オクルージョンの影響により画像間の対応付けが困難な場合、特に、従来手法では困難である被写体の境界付近に類似した色を持つ別の被写体が存在する場合であっても、奥行き推定誤差を抑制することができ、高品質な仮想視点画像を合成することができる。
以上、本発明を、実施形態に基づき具体的に説明したが、本発明は、実施形態に限定されるものではなく、その要旨を逸脱しない範囲においての変更可能であることは勿論である。
１００ 仮想視点画像合成装置
１０１ 被写体撮影部
１０２ カメラ画像取得部
１０３ カメラパラメータ入力部
１０４ 奥行き推定部
１０５ 仮想視点位置入力部
１０６ 仮想視点位置決定部
１０７ 画像データ記憶部
１０７ａ カメラ画像・カメラパラメータ記憶部
１０７ｂ 奥行き記憶部
１０７ｃ 合成画像記憶部
１０８ 画像合成部
１０９ 合成画像出力部
１１０ 合成画像表示部

Claims (10)

  1. 複数の異なる視点から被写体を撮影した多視点画像に基づいて、任意の仮想視点位置から見た前記被写体の画像を合成する画像処理方法であって、
    前記多視点画像に対して、各画素の奥行きに対する尤度を算出する第１のステップと、
    前記尤度と近傍画素の奥行きの推定結果とが近い値になるように個々の画素の奥行きを推定する第２のステップと、
    前記多視点画像と前記推定した奥行きとに基づいて、各被写体の奥行き情報を取得する第３のステップと、
    前記第１のステップで対応付けが困難であった画素を検出し、その画素が所属する被写体の奥行き情報に基づいて、その画素の尤度を補正する第４のステップと、
    前記補正された尤度と同一の被写体に所属する前記近傍画素の奥行きの推定結果とが近い値になるように個々の画素の奥行きを再推定する第５のステップと、
    前記仮想カメラの視点位置に近いカメラ画像と該カメラ画像に対する前記第５のステップで推定された奥行きとに基づいて、前記被写体の画像を合成する第６のステップと
    を含む画像処理方法。
  2. 前記第１のステップは、
    前記多視点画像に対して、注目画像と複数の画像間のエピポーラ線上の局所領域の相関情報を算出し、相関の高さに応じて、各画素の奥行きに対する尤度を決定する請求項１に記載の画像処理方法。
  3. 前記第２のステップは、
    前記尤度が高いほど小さいコストを出力し、また近傍画素の奥行き推定結果が近いほど小さいコストを出力するエネルギー関数を定義し、該エネルギー関数と空間的な平滑化項により定義されるエネルギー関数の最小化問題により個々の画素の奥行きを求める請求項１又は２に記載の画像処理方法。
  4. 前記第３のステップは、
    画素と被写体との対応関係をセグメンテーションにより決定し、被写体の奥行き情報を、その被写体に属する画素の奥行きにより算出する請求項１〜３のいずれかに記載の画像処理方法。
  5. 前記第４のステップは、
    前記第１のステップで対応付けが困難である画素を前記尤度の値から決定し、各被写体の奥行きを求めるステップと、
    事前に学習した画像特徴と前記推定した画素の奥行き情報に基づいて前記被写体を検出するステップと
    を含む請求項１〜４のいずれかに記載の画像処理方法。
  6. 前記第４のステップは、
    前記各被写体の奥行きを空間的に分割して取得するステップと、
    前記尤度の補正について、前記第１のステップで求めた画素の尤度と、その画素が所属する被写体であって、かつ、その画素から空間的に近い奥行き情報とを統合するステップと
    を含む請求項１〜４のいずれかに記載の画像処理方法。
  7. 前記第５のステップは、
    前記補正された尤度が高いほど小さいコストを出力し、また、近傍画素の奥行き推定結果が近いほど小さいコストを出力するエネルギー関数を定義し、該エネルギー関数の最小化問題により奥行きを求める請求項１〜６のいずれかに記載の画像処理方法。
  8. 前記第６のステップは、
    前記仮想カメラの視点位置に近いカメラ画像と該カメラ画像の推定された奥行きとに基づいて、３次元ワーピングにより前記被写体の画像を合成するステップと、
    前記仮想カメラの視点位置とカメラとの距離に応じた重み付き加算による色と各画素の推定された奥行きに対する尤度による重み付け加算による色とを統合するステップと
    を含む請求項１〜７のいずれかに記載の画像処理方法。
  9. 複数の異なる視点から被写体を撮影した多視点画像に基づいて、任意の仮想視点位置から見た前記被写体の画像を合成する画像処理装置であって、
    前記多視点画像に対して、各画素の奥行きに対する尤度を算出する尤度算出部と、
    前記尤度と近傍画素の奥行きの推定結果とが近い値になるように個々の画素の奥行きを推定する奥行き推定部と、
    前記多視点画像と前記推定した奥行きとに基づいて、各被写体の奥行き情報を取得する奥行き情報取得部と、
    前記尤度算出部による対応付けが困難であった画素を検出し、その画素が所属する被写体の奥行き情報に基づいて、その画素の尤度を補正する尤度補正部と、
    前記補正された尤度と同一の被写体に所属する前記近傍画素の奥行きの推定結果とが近い値になるように個々の画素の奥行きを再推定する奥行き再推定部と、
    前記仮想カメラの視点位置に近いカメラ画像と該カメラ画像に対する前記奥行き再推定部により推定された奥行きとに基づいて、前記被写体の画像を合成する画像合成部と
    を備える画像処理装置。
  10. 複数の異なる視点から被写体を撮影した多視点画像に基づいて、任意の仮想視点位置から見た前記被写体の画像を合成する画像処理装置のコンピュータに、
    前記多視点画像に対して、各画素の奥行きに対する尤度を算出する尤度算出ステップと、
    前記尤度と近傍画素の奥行きの推定結果とが近い値になるように個々の画素の奥行きを推定する奥行き推定ステップと、
    前記多視点画像と前記推定した奥行きとに基づいて、各被写体の奥行き情報を取得する奥行き情報取得ステップと、
    前記尤度算出ステップによる対応付けが困難であった画素を検出し、その画素が所属する被写体の奥行き情報に基づいて、その画素の尤度を補正する尤度補正ステップと、
    前記補正された尤度と同一の被写体に所属する前記近傍画素の奥行きの推定結果とが近い値になるように個々の画素の奥行きを再推定する奥行き再推定ステップと、
    前記仮想カメラの視点位置に近いカメラ画像と該カメラ画像に対する前記奥行き再推定ステップにより推定された奥行きとに基づいて、前記被写体の画像を合成する画像合成ステップと、
    を実行させるためのコンピュータプログラム。
JP2011057897A 2011-03-16 2011-03-16 画像処理方法、画像処理装置及びコンピュータプログラム Withdrawn JP2012194751A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011057897A JP2012194751A (ja) 2011-03-16 2011-03-16 画像処理方法、画像処理装置及びコンピュータプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011057897A JP2012194751A (ja) 2011-03-16 2011-03-16 画像処理方法、画像処理装置及びコンピュータプログラム

Publications (1)

Publication Number Publication Date
JP2012194751A true JP2012194751A (ja) 2012-10-11

Family

ID=47086585

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011057897A Withdrawn JP2012194751A (ja) 2011-03-16 2011-03-16 画像処理方法、画像処理装置及びコンピュータプログラム

Country Status (1)

Country Link
JP (1) JP2012194751A (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013012054A1 (ja) * 2011-07-19 2013-01-24 独立行政法人産業技術総合研究所 画像処理方法および装置
JP2014120079A (ja) * 2012-12-18 2014-06-30 Nippon Telegr & Teleph Corp <Ntt> 陰影情報導出装置、陰影情報導出方法及びプログラム
CN104599231A (zh) * 2015-01-16 2015-05-06 汕头大学 一种基于Kinect和网络摄像机的动态人像合成方法
JP2015122711A (ja) * 2013-12-25 2015-07-02 Ｎｅｃプラットフォームズ株式会社 表示装置、表示方法および表示プログラム
CN104767986A (zh) * 2014-01-02 2015-07-08 财团法人工业技术研究院 景深图校正方法及系统
JP2015215235A (ja) * 2014-05-09 2015-12-03 トヨタ自動車株式会社 物体検出装置及び物体検出方法
US9462251B2 (en) 2014-01-02 2016-10-04 Industrial Technology Research Institute Depth map aligning method and system
CN112085770A (zh) * 2020-09-10 2020-12-15 上海庞勃特科技有限公司 一种用于乒乓球轨迹捕捉的双目多目标匹配与筛选方法
CN113570530A (zh) * 2021-06-10 2021-10-29 北京旷视科技有限公司 图像融合方法、装置、计算机可读存储介质和电子设备

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013012054A1 (ja) * 2011-07-19 2013-01-24 独立行政法人産業技術総合研究所 画像処理方法および装置
JP2014120079A (ja) * 2012-12-18 2014-06-30 Nippon Telegr & Teleph Corp <Ntt> 陰影情報導出装置、陰影情報導出方法及びプログラム
JP2015122711A (ja) * 2013-12-25 2015-07-02 Ｎｅｃプラットフォームズ株式会社 表示装置、表示方法および表示プログラム
CN104767986A (zh) * 2014-01-02 2015-07-08 财团法人工业技术研究院 景深图校正方法及系统
US9462251B2 (en) 2014-01-02 2016-10-04 Industrial Technology Research Institute Depth map aligning method and system
JP2015215235A (ja) * 2014-05-09 2015-12-03 トヨタ自動車株式会社 物体検出装置及び物体検出方法
CN104599231A (zh) * 2015-01-16 2015-05-06 汕头大学 一种基于Kinect和网络摄像机的动态人像合成方法
CN104599231B (zh) * 2015-01-16 2017-10-27 汕头大学 一种基于Kinect和网络摄像机的动态人像合成方法
CN112085770A (zh) * 2020-09-10 2020-12-15 上海庞勃特科技有限公司 一种用于乒乓球轨迹捕捉的双目多目标匹配与筛选方法
CN113570530A (zh) * 2021-06-10 2021-10-29 北京旷视科技有限公司 图像融合方法、装置、计算机可读存储介质和电子设备
CN113570530B (zh) * 2021-06-10 2024-04-16 北京旷视科技有限公司 图像融合方法、装置、计算机可读存储介质和电子设备

Similar Documents

Publication Publication Date Title
JP2012194751A (ja) 画像処理方法、画像処理装置及びコンピュータプログラム
CN109166077B (zh) 图像对齐方法、装置、可读存储介质及计算机设备
US11348267B2 (en) Method and apparatus for generating a three-dimensional model
CN105374019B (zh) 一种多深度图融合方法及装置
EP2383699B1 (en) Method for estimating a pose of an articulated object model
Hong et al. A local stereo matching algorithm based on weighted guided image filtering for improving the generation of depth range images
CN118212141A (zh) 用于混合深度正则化的系统和方法
CN103607584B (zh) 一种kinect拍摄的深度图与彩色摄像机拍摄视频的实时配准方法
Zhi et al. Toward dynamic image mosaic generation with robustness to parallax
CN107798702B (zh) 一种用于增强现实的实时图像叠加方法以及装置
CN107767339B (zh) 一种双目立体图像拼接方法
CN107798704B (zh) 一种用于增强现实的实时图像叠加方法及装置
JP2013012045A (ja) 画像処理方法、画像処理装置及びコンピュータプログラム
Fickel et al. Stereo matching and view interpolation based on image domain triangulation
Sharma et al. A flexible architecture for multi-view 3DTV based on uncalibrated cameras
Eichhardt et al. Affine correspondences between central cameras for rapid relative pose estimation
CN101945299B (zh) 一种基于拍摄设备阵列的动态场景深度恢复方法
Lin et al. Consistent volumetric warping using floating boundaries for stereoscopic video retargeting
Teng et al. 360BEV: Panoramic Semantic Mapping for Indoor Bird's-Eye View
Gao et al. Design of signal processing pipeline for stereoscopic cameras
JP7275583B2 (ja) 背景モデル生成装置、背景モデル生成方法及び背景モデル生成プログラム
Jorissen et al. Multi-camera epipolar plane image feature detection for robust view synthesis
Ruhl et al. Integrating approximate depth data into dense image correspondence estimation
Liu et al. Gradient-domain-based enhancement of multi-view depth video
Xiong et al. Linearly estimating all parameters of affine motion using radon transform

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20140603