JP2006024141A - 画像処理装置及び方法、プログラム - Google Patents
画像処理装置及び方法、プログラム Download PDFInfo
- Publication number
- JP2006024141A JP2006024141A JP2004203811A JP2004203811A JP2006024141A JP 2006024141 A JP2006024141 A JP 2006024141A JP 2004203811 A JP2004203811 A JP 2004203811A JP 2004203811 A JP2004203811 A JP 2004203811A JP 2006024141 A JP2006024141 A JP 2006024141A
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- matching
- pixel position
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Image Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Image Analysis (AREA)
Abstract
【課題】 各カメラから得られる画像におけるスキャンライン上にある全ての画素につき動的な対応付け(伸縮マッチング)として取り扱うことにより、画像間の対応付けをよりロバストかつ高精度に行い、仮想視点映像を生成する。
【解決手段】 少なくとも2台のカメラ11,12により互いに異なる視点から被写体を撮像することにより得られた各画像間において、上記被写体と関連させつつ互いに同一の水平ライン上にある画素位置毎に対応関係を求め、求めた対応関係に基づき、上記撮像された各画像間において互いに非対応な画像領域としてのオクリュージョン領域を、上記仮想視点画像から画素単位で検出し、検出したオクリュージョン領域に対して画像平滑化処理を施す。また、対応付けした画素位置並びにその輝度成分から、仮想的に設置される仮想カメラにより生成すべき仮想視点画像を構成する画素位置並びにその輝度成分を求める。
【選択図】図2
【解決手段】 少なくとも2台のカメラ11,12により互いに異なる視点から被写体を撮像することにより得られた各画像間において、上記被写体と関連させつつ互いに同一の水平ライン上にある画素位置毎に対応関係を求め、求めた対応関係に基づき、上記撮像された各画像間において互いに非対応な画像領域としてのオクリュージョン領域を、上記仮想視点画像から画素単位で検出し、検出したオクリュージョン領域に対して画像平滑化処理を施す。また、対応付けした画素位置並びにその輝度成分から、仮想的に設置される仮想カメラにより生成すべき仮想視点画像を構成する画素位置並びにその輝度成分を求める。
【選択図】図2
Description
本発明は、例えばテレビ会議システム或いはテレビ電話システム等に適用され、送受信する画像を撮像してこれをあたかも仮想カメラにより撮像した仮想視点画像に再構成する画像処理装置及び方法、プログラムに関する。
テレビ電話システムやテレビ会議システム等に代表されるように、複数のユーザが互いに離れた場所から相手の表示像を視認しながら遠隔対話するシステムが提案されている。このようなシステムでは、相手の表示像をディスプレイ上に表示するとともに、当該ディスプレイを視認するユーザを撮影対象として撮像し、得られた画像信号を公衆回線、専用回線等のネットワークを介して相手側の画像処理装置へ送信することにより、双方のユーザに対し臨場感を持たせることが可能となる。
従来におけるテレビ会議システムでは、ディスプレイの中心付近に写し出される相手の表示像を視認するユーザを、ディスプレイ上部にあるカメラにより撮像するため、ユーザが下を向いた状態の画像が相手側のディスプレイ上に表示されることになる。このため、実際にディスプレイを視認するユーザ間において視線が不一致の状態で対話がなされることになり、互いに違和感を与えてしまうという問題がある。
理想的には、相手の表示像が写し出されるディスプレイの中心付近にカメラを設置すれば、双方のユーザの視線を一致させた状態で対話を実現することができる。しかしながら、かかるディスプレイの中心付近にカメラを設置することは物理的に困難である。
このような視線不一致に関する問題点を解決すべく、従来において、ディスプレイの両側に配置された複数のカメラにより撮影された入力画像に基づいて被写体の3次元情報を抽出し、抽出した3次元情報と受信者の視点位置に関する情報に応じて被写体の出力画像を再構成し、これを相手側のディスプレイへ表示させる画像処理装置が提案されている(例えば、特許文献1参照。)。この画像処理装置では、一直線上に配置された複数のカメラ映像から生成されたエピポーラ平面画像を用いて画面中心の仮想視点カメラ映像を合成することにより、利用者の視線を一致させて臨場感の高いコミュニケーションを実現することができる。
また、TV会議で互いの視線を一致させるべく、画面の左右に設置された2台のカメラで撮影した画像に基づいて3次元位置情報を生成する画像通信装置(例えば、特許文献2参照。)も提案されている。
ところで、上述の如く被写体の出力画像を再構成する際には、少なくとも2台のカメラにより互いに異なる視点から被写体を撮像することにより得られた各画像につき、画素位置毎に対応関係を求める。これにより、被写体の形状や各カメラまでの距離を三角測量原理によって求めることが可能となり、ひいては、ディスプレイの中心付近に仮想的に設置した仮想カメラにより撮像された仮想視点画像を精度よく生成することが可能となるからである。
ここで基本的な構成として、画面の左右に設置された2台のカメラにより撮像された各画像間につきステレオ視における対応付けを行う場合について図11を用いて説明をする。
各カメラの光学中心C1,C2により互いに異なる視点から撮影対象のM点へ光軸を合わせて撮像を行うと、これにより生成される画像Ps1,Ps2は、各カメラの撮像面に対して平行となる。ここで各カメラと、M点を結ぶ直線の方向は、各カメラにより撮像された各画像Ps1,Ps2の法線方向p1,p2に一致するが、これらは互いに異なる方向を指している。
ちなみに対応付けは、被写体としてのPを構成する同一の箇所にある画素位置と輝度成分を画像Ps1,Ps2間で抽出して対応をとるようにする。例えば、画像Ps1のエピポーラ線L1上にある画素m1の対応点については、画像Ps2のエピポーラ線L1’上に存在することとなり、そのL1’上を探索することにより、画素m1に最も類似する画素m1’を対応点として検出することができる。また、対応付けした画素m1,画素m1’を利用することにより三次元空間内の対象Pを容易に推定することができる。
具体的な対応付けの手法として、従来よりPixel-basedマッチング、Area-basedマッチング、Feature-basedマッチング等が提案されている。Pixel-basedマッチングは、一方の画像における画素の対応点を、他方の画像においてそのまま探索する方法である(例えば、非特許文献1参照。)。Area-basedマッチングは、一方の画像における画素の対応点を、他方の画像において探索する場合に、その対応点の周囲における局所的な画像パターンを参照しつつ実行する対応付けを行う(例えば、非特許文献2,3参照。)。またFeature-basedマッチングは、画像から濃淡エッジ等を抽出し、画像間の特徴部分のみを参照して対応付けを行う(例えば、非特許文献4,5参照。)。
しかしながら、これらの手法は、あくまでエピポーラ線上に位置する画素の中から類似度の高いものを対応点として特定するため、例えばユーザを被写体として撮像した場合に得られた画像Ps1,Ps2間において、図12に示すように、繰り返しパターン(例えば、両目部分)や、輝度変化が殆ど生じないいわゆる非特徴点(例えば壁の部分)において対応付けが困難であった。
また、異なる視点から撮像することにより得られる画像Ps1,Ps2では、被写体からカメラに至るまでの距離に基づく視差により、例えば図12に示す頬や耳の部分等において表示される内容が異なってくる。以下、このような領域をオクリュージョン領域という。かかるオクリュージョン領域では、上記視差により、一方の画像Ps1に表示されている対象物の対応点が他方の画像Ps2において隠れてしまい、対応付けを行う場合に不都合が生じる場合があった。
また、異なる視点から撮像することにより得られる画像Ps1,Ps2は、例えば窓の部分等のように見る方向によって明るさが異なる領域や、ユーザの鼻の部分等のように正反射が生じる領域において、輝度成分,色成分につき格差が生じ、対応付けが困難となる場合があった。
このため、これら画像間の対応付けをより柔軟かつロバスト的に求めるために、グローバル最適化という考えに基づいた手法が従来において提案されたおり、その中の手法の一つとして、動的な計画法による画像間マッチング方法が提案されている(例えば、非特許文献6、7参照。)。この画像間マッチング方法では、特徴点同士の対応付けや、その間の伸縮マッチングによって、テクスチャ変化の少ない被写体や、上述した繰り返しパターンの問題を解決できることが示されている。
しかしながら、かかる画像間マッチング方法では、対応付けの精度の面において改善の余地があり、全てのパターンにおいて画像間のミスマッチの低減を図ることができなかった。
そこで本発明は、上述した問題点に鑑みて案出されたものであり、その目的とするところは、各カメラから得られる画像におけるスキャンライン上にある全ての画素につき動的な対応付け(伸縮マッチング)として取り扱うことにより、画像間の対応付けをよりロバストかつ高精度に行うことにより、高画質な仮想視点画像を生成することが可能な画像処理装置及び方法、プログラムを提供することにある。
本発明に係る画像処理装置は、上述した課題を解決するために、少なくとも2台のカメラにより互いに異なる視点から被写体を撮像することにより得られた各画像間において、被写体と関連させつつ互いに同一の水平ライン上にある画素位置毎に対応関係を求めるマッチング手段と、マッチング手段により互いに対応付けされた画素位置並びにその輝度成分から、仮想的に設置される仮想カメラにより生成すべき仮想視点画像を構成する画素位置並びにその輝度成分を求める画像生成手段と、マッチング手段により求められた対応関係に基づき、撮像された各画像間において互いに非対応な画像領域としてのオクリュージョン領域を、仮想視点画像から画素単位で検出する領域検出手段と、領域検出手段により検出されたオクリュージョン領域に対して画像平滑化処理を施す画像処理手段とを備え、マッチング手段は、対応関係を求める各画素位置につき輝度成分及び色成分を比較することによりその類似度を計算するとともに、計算した類似度に応じて対応関係を求め、被写体の各画像間における視差を識別する。
本発明に係る画像処理方法は、上述した課題を解決するために、少なくとも2台のカメラにより互いに異なる視点から被写体を撮像することにより得られた各画像間において、被写体と関連させつつ互いに同一の水平ライン上にある画素位置毎に対応関係を求めるマッチングステップと、マッチングステップにおいて互いに対応付けした画素位置並びにその輝度成分から、仮想的に設置される仮想カメラにより生成すべき仮想視点画像を構成する画素位置並びにその輝度成分を求める画像生成ステップと、マッチングステップにおいて求めた対応関係に基づき、撮像された各画像間において互いに非対応な画像領域としてのオクリュージョン領域を、仮想視点画像から画素単位で検出する領域検出ステップと、領域検出ステップにおいて検出したオクリュージョン領域に対して画像平滑化処理を施す画像処理ステップとを有し、マッチングステップでは、対応関係を求める各画素位置につき輝度成分及び色成分を比較することによりその類似度を計算するとともに、計算した類似度に応じて対応関係を求め、被写体の各画像間における視差を識別する。
本発明に係るプログラムは、上述した課題を解決するために、少なくとも2台のカメラにより互いに異なる視点から被写体を撮像することにより得られた各画像間において、被写体と関連させつつ互いに同一の水平ライン上にある画素位置毎に対応関係を求めるマッチングステップと、マッチングステップにおいて互いに対応付けした画素位置並びにその輝度成分から、仮想的に設置される仮想カメラにより生成すべき仮想視点画像を構成する画素位置並びにその輝度成分を求める画像生成ステップと、マッチングステップにおいて求めた対応関係に基づき、撮像された各画像間において互いに非対応な画像領域としてのオクリュージョン領域を、仮想視点画像から画素単位で検出する領域検出ステップと、領域検出ステップにおいて検出したオクリュージョン領域に対して画像平滑化処理を施す画像処理ステップとを有し、マッチングステップでは、対応関係を求める各画素位置につき輝度成分及び色成分を比較することによりその類似度を計算するとともに、計算した類似度に応じて対応関係を求め、被写体の各画像間における視差を識別することをコンピュータに実行させる。
求めたオクリュージョン領域につき選択的にノイズを除去していくことにより、オクリュージョン領域と非オクリュージョン領域間の輝度成分や色成分の格差により生じるノイズをより効率よく除去することができ、高画質な仮想視点画像を生成することが可能となる。
以下、本発明を実施するための最良の形態について図面を参照しながら詳細に説明する。
本発明を適用した通信システム1は、例えば図1に示すように、A地点のユーザaと、B地点のユーザbとの間で、互いに離れた場所から相手の表示像を視認しながら遠隔対話するシステムである。
A地点には、撮影対象としてのユーザaを互いに異なる視点から撮像するカメラ11a、カメラ12aと、B地点側で撮像されたユーザbの画像をユーザaに対して表示するためのディスプレイ5aと、カメラ11a,12aより撮像された各画像Pa1,Pa2に基づいて仮想視点画像Imaを生成し、これをネットワーク7を介してB地点へ送信する画像処理装置2aが配設されている。
B地点には、撮影対象としてのユーザbを互いに異なる視点から撮像するカメラ11b、カメラ12bと、A地点側で撮像されたユーザaの画像をユーザbに対して表示するためのディスプレイ5bと、カメラ11b,12bより撮像された各画像Pb1,Pb2に基づいて仮想視点画像Imbを生成し、これをネットワーク7を介してA地点へ送信する画像処理装置2bが配設されている。
なお、この画像処理装置2a,2bにより生成される上記仮想視点画像Ima,Imbは、相手の表示像が写し出されるディスプレイ5a,5bの中心付近において仮想的に設置された仮想カメラにより撮像される画像に相当する。
カメラ11a,11bは、それぞれユーザa,b側から見てディスプレイ5a,5bの左側面に設置されてなり、カメラ12a,12bは、それぞれユーザa,b側から見てディスプレイの右側面に設置されてなる。このカメラ11、12は、撮影方向、撮影画角が固定された状態で設置されるが、各ユーザa,bからの入力される情報に基づき、これらを自在に変更するようにしてもよい。ちなみに、この通信システム1では、ユーザの視線の高さに合わせて設置された2台のカメラにより撮影対象を撮像する場合を例に挙げて説明をする。
ディスプレイ5a,5bは、それぞれネットワーク7を介して相手側地点から供給される仮想視点画像Imb,Imaに基づく画像を、例えば液晶表示面を介して表示する。このディスプレイ5a,5bにおける液晶表示面は、多数の液晶表示素子等からなり、各仮想視点画像Imb,Imaに基づく出力信号に応じて液晶表示素子を光変調させてユーザに表示する画像を作り出す。
画像処理装置2a,2bは、通常、パーソナルコンピュータ(PC)等の電子機器で構成される。これらの画像処理装置2a,2bは、ネットワーク7を介して互いに通信するための機能を備え、相手側からの要求に応じて画像や音声を送信する。なお、画像処理装置2a,2bの構成については後において詳細に説明をする。
ネットワーク7は、例えば画像処理装置2と電話回線を介して接続されるインターネット網を始め、TA/モデムと接続されるISDN(Integrated Services Digital Network)/B(broadband)−ISDN等のように、情報の双方向送受信を可能とした公衆通信網である。ちなみにこの通信システム1を、一定の狭いエリア内で運用する場合には、このネットワーク7を、LAN(Local Area Network)で構成してもよい。さらにこのネットワーク7は、動画像を送信する場合には、インターネットプロトコル(IP)に基づき、例えばMPEG(Moving Picture Experts Group)データを始めとする動画像がある一つのチャネルから継続的に送信される。また静止画像を送信する場合には、動画像を送信するチャネルとは別のチャネルから一定時間毎に送信されることになる。なお、このネットワーク7には、さらに図示しないネットワークサーバを接続してもよい。この図示しないネットワークサーバは、例えばインターネット情報を管理し、画像処理装置2による要求を受けて、自身に格納してある所定の情報を送信する。
次に、画像処理装置2の構成について、画像処理装置2aを例にとり説明をする。画像処理装置2aは、図2に示すように、接続されたカメラ11a,12aより画像Pa1,Pa2が供給される補正部20と、この補正部20にそれぞれ接続されるカメラキャリブレーション部26並びに第1の切出処理部41,第2の切出処理部42と、各切出処理部41,42に接続されるマッチング部29と、さらにこのマッチング部29に接続される仮想視点画像生成部30並びにパス検出部45と、仮想視点画像生成部30により生成された仮想視点画像Imaにつき画像平滑化処理を施すフィルタ処理部43と、このフィルタ処理部43により処理された仮想視点画像Imaを相手側の端末装置2bへ送信するための出力制御部31と、各カメラ11a,12aに対するユーザaの相対的な位置関係を示す相対位置情報を生成する情報生成部33とを備えている。
補正部20は、カメラ11a,12aから送信される各画像Pa1,Pa2につき幾何学的な画像補正を施すための幾何学的画像補正部21,22と、これら幾何学的画像補正部21,22により画像補正が施された画像を正規化するための正規化処理部24とを備えている。
幾何学的画像補正部21,22は、カメラキャリブレーション部26から送信される、上記カメラ11a,12aの幾何学的な位置関係を含む制御情報に基づいて、各画像Pa1,Pa2を補正する。このカメラ11a,12aの幾何学的な位置関係は、上述したカメラキャリブレーション部26から送信される制御情報においてパラメータ化されていてもよい。また、各カメラ11a,12aの撮影方向及び/又は撮影画角を変更しつつ撮像を実行する場合には、カメラキャリブレーション部26においてこれらをパラメータ化し、画像を補正する際にこれらのパラメータを制御情報に含めるようにしてもよい。これにより、幾何学的画像補正部21,22は、各カメラ11a,12aの撮影方向及び/又は撮影画角に応じてリアルタイムに画像補正することができる。
なお、このカメラキャリブレーション部26は、同様にカメラ11a,12aの各レンズにおける色収差や歪み、光軸のずれを、例えば特開2000−350239号公報や、特開平11−53549号公報に示されているカメラキャリブレーション手法に基づいてパラメータ化し、これらを各補正部20へ送信するようにしてもよい。かかる場合において補正部20は、取得したパラメータに基づいて、カメラ11a,12aからの画像を射影変換することにより基準となる画像へ合わせ込む。輝度成分等についても同様にカメラ11a,12aからの画像間において輝度の誤差が最小となるような射影変換行列を用いることにより互いの調整を図る。
正規化処理部24は、各幾何学的画像補正部21,22において補正された画像がそれぞれ供給され、これらにつき幾何学的正規化処理を施す。この正規化処理部24は、各カメラにより撮像された各画像Pa1,Pa2の法線方向を合わせる。即ち、この正規化処理部24は、各画像Pa1,Pa2の法線方向を仮想的に設定された仮想平面πの法線方向に合わせることによりこれを正規化し、それぞれ正規化画像Pm1,Pm2,を生成する。かかる場合において、正規化処理部24は、各カメラ11a,12aにより撮像された各画像Pa1,Pa2を上記仮想平面πへ射影するための射影変換行列を求め、求めた射影変換行列に基づいて上記各画像の法線方向を上記仮想平面πの法線方向に合わせる。
ちなみに、カメラキャリブレーション部26は、カメラ11a,12aとしていわゆる固定視点カメラを適用する場合には、予めカメラキャリブレーション部26により画像Pa1,Pa2の法線方向を取得するようにしてもよい。また、各カメラ11a,12aの撮影方向及び/又は撮影画角を変更しつつ撮像を実行する場合には、カメラキャリブレーション部26においてこれらをパラメータ化し、画像を正規化する際にこれらのパラメータを制御情報に含めるようにしてもよい。これにより、ユーザa,bの位置に応じて撮影方向等を順次変更しつつ撮像を行う場合においても柔軟に対応することができる。
また、このカメラキャリブレーション部26において、これらのパラメータを図示しないROMやRAMへ格納しておくことにより、補正部20は、状況に応じて随時これらを参照することができ、高速な補正処理を実現することができる。またカメラキャリブレーション部26は、上記カメラ11a,12aから画像Pa1,Pa2が供給される度にこれらのパラメータを求めることにより、幾何学的画像補正部21,22において精度の高い補正処理を実現することができる。
第1の切出処理部41は、正規化処理部24により正規化された正規化画像Pm1が供給される。この第1の切出処理部41は、この正規化画像Pm1から前景画像領域と、その背景画像とをそれぞれ分離する。ちなみにこの前景画像領域は、ユーザaを構成する顔や上半身等が含まれている画像領域を抽出したものであり、背景画像は、画像Pm1から前景画像領域を除いた画像である。なおこの背景画像は、ユーザaが存在しない場合において、同一の撮影方向,撮影画角によりカメラ11aを介して撮像を行った結果得られる画像に相当する。
第2の切出処理部42は、第1の切出処理部41と同様に、正規化処理部24により正規化された正規化画像Pm2から前景画像領域と、その背景画像とをそれぞれ分離する。
ちなみに、各切出処理部41,42は、例えば各カメラ11a,12aにより撮像された各画像の色相並びに彩度に基づいて、或いは各カメラに対する被写体の距離に基づいて、これらの前景画像領域と背景画像とを分離するようにしてもよい。
マッチング部29は、各切出処理部41,42において背景画像が切り出された正規化画像Pm1,Pm2がそれぞれ供給される。このマッチング部29は、これら正規化画像Pm1,Pm2を構成する各画素位置につき対応関係を求める。
ちなみに、この対応付けは、ユーザaの顔を構成する同一の箇所にある画素位置と輝度成分を正規化画像Pm1,Pm2間で抽出して対応をとるようにする。例えば図3に示すように、正規化画像Pm1のスキャンラインL1上にある画素P11の対応点については、正規化画像Pm2のスキャンラインL1’上に存在することとなり、そのL1’上を探索することにより、最も類似する画素位置P11’を対応点として検出することができる。ちなみにマッチング部29は、この対応付けにつき特徴抽出した箇所のみについて実行してもよいし、正規化画像Pm1,Pm2を構成する全ての画素に対して実行してもよい。
情報生成部33は、画素位置毎に対応関係を求める際に必要な情報を生成し、これをマッチング部29へ供給する。情報生成部33は、この生成すべき相対位置情報をカメラ11a,12aから被写体としてのユーザaに至るまでの距離を識別し、これに基づく視差情報を生成するようにしてもよい。かかる距離の識別については、各カメラ11a,12aにより生成された画像情報からDepth情報を取得することにより実行してもよい。
また、この情報生成部33は、生成すべき相対位置情報をユーザaのディスプレイ5aに対する視線方向に基づいて生成してもよい。かかる場合において情報生成部30は、カメラ11a,12aから供給される画像Pa1,Pa2からユーザaの視線方向を取得し、これに基づいて相対位置情報を生成する。これにより、いわば仮想カメラの撮影方向をユーザaの視線方向に合わせ込むことと同様の処理を実現することができる。
仮想視点画像生成部30は、マッチング部29により互いに対応付けされた画素位置並びにその輝度成分がそれぞれ入力される。また、仮想視点画像生成部30は、互いに対応付けされた画素位置並びにその輝度成分から、情報生成部33より生成された相対位置情報に応じて、新たに生成すべき仮想視点画像Imaを構成する画素位置並びにその輝度成分を求める。仮想視点画像生成部30は、求めた画素位置並びにその輝度成分により構成される仮想視点画像Imaをフィルタ処理部43へ供給する。
パス検出部45は、マッチング部29により求められた対応関係に基づき、撮像された各画像Pa1,Pa2間において互いに非対応な画像領域としての後述するオクリュージョン領域を仮想視点画像から検出する。このパス検出部45は、仮想視点画像を構成する各画素につきオクリュージョン領域を構成するか否か識別することにより、いわばオクリュージョン領域を画素単位で検出することができる。このパス検出部45は、検出したオクリュージョン領域をフィルタ処理部43へ通知する。
フィルタ処理部43は、仮想視点画像生成部30において生成された仮想視点画像Imaにつき、パス検出部45から通知されたオクリュージョン領域に対して画像平滑化処理を施す。このフィルタ処理部43により施される画像平坦化処理では、横方向のメディアフィルタリング処理等を行うことにより、仮想視点画像全体のテクスチャ(輝度値と色)の連続性を改善し、突発的なノイズを除去する。
出力制御部31は、フィルタ処理部43において生成された仮想視点画像Imaを、ネットワーク7を介して画像処理装置2bへ送信するように制御する。かかる場合において、この出力制御部31は、カメラ11a,12aにより生成された画像Pa1,Pa2を単独で画像処理装置2bへ送信するように制御してもよい。
次に、この画像処理装置2aにおける具体的な動作につき説明をする。
撮影対象としてのユーザaは、カメラ11a,12aにより互いに異なる角度から撮影される。その結果、カメラ11a,12aにより生成される画像Pa1,Pa2上のユーザaの視線方向、顔の向き等は、互いに異なる状態となる。このような画像Pa1,Pa2は、それぞれ幾何学的画像補正部21,22に供給され、カメラキャリブレーション部26により予め求められた各カメラ11a,12aのレンズ歪みや画像中心等のパラメータに基づき、画像の歪みや画像中心がずれないように補正を行う。
これら幾何学的画像補正部21,22において補正された各画像Pa1,Pa2は、正規化処理部24へ供給されると以下に示される方法に基づいて正規化されることになる。
図4は、各カメラ11a,12aにより撮像した画像Pa1, Pa2を正規化する場合につき示している。この図4に示されるように、各カメラ11a,12aの光学中心C1,C2により互いに異なる視点から撮影対象のM点へ光軸を合わせて撮像を行うと、これにより生成される画像Pa1,Pa2は、各カメラ11a,12aの撮像面に対して平行となる。ここで各カメラ11a,12aと、M点を結ぶ直線の方向は、各カメラにより撮像された各画像Pa1,Pa2の法線方向k1,k2に一致するが、これらは互いに異なる方向を指している。これら各画像Pa1,Pa2の法線方向k1,k2が同一方向となるように幾何学的正規化を行うことにより、画像面が互いに平行な正規化画像Pm1,Pm2を作り出す。
この幾何学的正規化は、カメラキャリブレーション部26により予め求められた射影行列P1,P2を用いて、カメラ内部パラメータA1,A2、回転行列R1,R2、転移行列T1,T2を推定することにより実現する。その結果、補正後の画像撮像面の法線方向k1’,k2’が平行化された正規化画像Pm1,Pm2を生成することができる。
ちなみに、この幾何学的正規化を施す場合には、光学中心C1,C2を含む仮想平面πを設定しておき、この仮想平面πの法線方向に対してこれら各画像Pa1,Pa2の法線方向が同一方向となるように、射影行列P1,P2を用いて正規化するようにしてもよい。
正規化処理部24において上述の如く射影変換された正規化画像Pm1,Pm2は、それぞれ第1の切出処理部41,第2の切出処理部42により背景画像が切り出される。各正規化画像Pm1,Pm2から背景画像を切り出した結果、図5に示すようにユーザaのみを示す画像領域が選択的に抽出された前景画像を取得することができる。これらユーザaのみを示す画像領域間で後述するマッチング処理を行うことにより、背景画像による影響を軽減させた、より効率的なマッチング処理を行うことができ、ひいては仮想視点画像Imaを精度よく作成することができる。
ちなみに、この第1の切出処理部41,第2の切出処理部42により背景画像が切り出された各正規化画像Pm1,Pm2は、マッチング部29において撮影対象と関連させつつ、画素位置毎に対応付けされる。本発明においては、マッチング部29の前段にある正規化処理部24において予め正規化され、エピポーラ線が平行化されているため、画素探索のロバスト性を向上させることができる。
これら正規化画像Pm1とPm2につき、このマッチング部29において対応付けを行う場合において、図4に示すように正規化画像Pm1のスキャンラインL1上にある画素P11の対応点については、正規化画像Pm2のスキャンラインL1’上に存在することとなり、そのL1’上を探索することにより、対応点としての画素P11’を検出することができる。
例えば図6(a)に示すように、被写体としてのユーザaがそれぞれ写し出された正規化画像Pm1におけるスキャンラインL1上の画素と、正規化画像Pm2におけるスキャンラインL1’上の画素とを対応付けする場合に、スキャンラインL1上の特徴点の点列R1を左から順に{a1,a2,a3,a4,a5}とし、またスキャンラインL1’の特徴点の点列R2を左から順に{b1,b2,b3,b4,b5}とする。ここで、互いのスキャンラインL1,L1’上にある特徴点R1,R2を被写体との関係において対応付けるとき、先ず、a1に対してL1’上の特徴点はb1が該当し1:1で対応することとなるが、ユーザaの右耳を構成する特徴点a2,a3に対してL1’上の特徴点はb2が該当し、2:1で対応することとなる。同様に、ユーザaの左耳を構成する特徴点a4に対してL1’上の特徴点はb3,b4が該当し、1:2で対応することとなる。なお、a5に対してL1’上の特徴点はb5が該当し1:1で対応することとなる。
このように、異なる視点から撮像することにより得られる正規化画像Pm1,Pm2では、被写体からカメラに至るまでの距離に基づく視差により、ユーザaの耳の部分等において表示される内容が異なってくる。以下、このような領域をオクリュージョン領域という。かかるオクリュージョン領域では、上記視差により、一方の正規化画像に表示されている被写体の対応点が他方の正規化画像にて隠れてしまうため、従来と同様に、{(a1, b1)、(a2, b2)、(a3, b3)、(a4, b4)、(a5, b5)}と対応付けてしまうと、誤差が生じることになる。
このため、本発明を適用した画像処理装置2aにおけるマッチング部29では、かかる視差を識別することにより、図6(a)に示される正規化画像の特徴点の点列R1,R2を、結果的に図6(b)に示されるように{(a1, b1)、(a2, b2)、(a3, b2)、(a4, b3)、(a4, b4)、(a5, b5)}と対応付けられるように制御する。
具体的には、各正規化画像Pm1,Pm2におけるスキャンライン上にある全ての画素につき、図6(c)に示すようなDynamic Programming(DP:最短経路探索)を利用した動的な対応付けを行う。
この図6(c)におけるx軸にスキャンラインL1上の特徴点の点列R1{a1,a2,a3,a4,a5}を配列し、またy軸をスキャンラインL1’上の特徴点の点列R2{b1,b2,b3,b4,b5}とするとき、図6(b)に示される対応関係をこのグラフにあてはめると、図6(c)に示される太線で示される経路をとることになる。以下、この太線で示される対応点を結ぶ直線を最適経路という。
この最適経路において右上に線形増加する場合には、スキャンラインL1,L1’上を左から右へシフトさせて対応付けする際に、互いの特徴点を1:1で順次シフトさせて対応させることを示している。右上に線形増加する最適経路の例として、スキャンラインL1,L1’上の特徴点(a1, b1)から左から右へそれぞれ一つずつシフトさせることにより特徴点(a2, b2)を正確に対応付けすることができる。
また、この最適経路において水平方向にシフトする場合には、正規化画像Pm1,Pm2間において視差が生じた結果、正規化画像Pm1において示されている特徴点が正規化画像Pm2において隠れてしまったことを示唆している。かかる場合には、正規化画像Pm2上にある1の特徴点に対して、正規化画像Pm1上にある複数の特徴点を対応付ける。この水平方向にシフトする最適経路の例として、スキャンラインL1,L1’上の特徴点(a2, b2)においてユーザaの右耳を示すb2は、上述した視差により更にa3とも対応するため、b2をそのまま維持しつつこれにa3を対応付ける。
また、この最適経路において垂直方向へシフトする場合には、正規化画像Pm1,Pm2間において視差が生じた結果、正規化画像Pm2において示されている特徴点が正規化画像Pm1において隠れてしまったことを示唆している。かかる場合には、正規化画像Pm1上にある1の特徴点に対して、正規化画像Pm2上にある複数の特徴点を対応付ける。この垂直方向にシフトする最適経路の例として、スキャンラインL1,L1’上の特徴点(a4, b3)においてユーザaの左耳を示すa4は、上述した視差により更にb4とも対応するため、a4をそのまま維持しつつこれにb4を対応付ける。
マッチング部29は、これら対応付けを、互いの正規化画像Pm1,Pm2を構成する全てを構成する、或いは一部を構成するスキャンラインL1,L1’間において実行する。そしてスキャンラインL1,L1’毎に上述した最適経路を求めることにより、特徴点の点列R1,R2間における対応付けを行う。
図7は、スキャンラインL1,L1’上の任意の特徴点(x,y)に至るまでの最適経路を求める場合につき示している。
この特徴点(x,y)に至る最適経路は、特徴点(x−1,y−1)から左から右へそれぞれ一つずつシフトさせることにより図7に示されるグラフにおいて右上に線形増加し、或いは特徴点(x−1,y)においてyをそのまま維持しつつ水平方向に1シフトさせることにより図7に示されるグラフにおいて特徴点(x−1,y)から水平方向へ移動する。さらに、この特徴点(x,y)に至る最適経路は、特徴点(x,y−1)においてxをそのまま維持しつつ垂直方向へ1シフトさせることにより図7に示されるグラフにおいて特徴点(x,y−1)から垂直方向へ移動することになる。
即ち、特徴点(x,y)を通る最適経路は、図7に示すグラフにおいて、その左,左下,下に位置する特徴点(x−1,y),(x−1,y−1),(x,y−1)の何れかを経ることになる。本発明マッチング部29は、何れの特徴点(x−1,y),(x−1,y−1),(x,y−1)を経て特徴点(x,y)へ至るのかにつき、以下に説明する関数を順次求めてゆくことにより決定する。
マッチング部29は、以下に示すマッチングコスト関数d(x,y)と、動的なオクリュージョンコスト関数dx(x,y),dy(x,y)を求め、求めた各関数に応じて上述した最適経路を求める。マッチングコスト関数d(x,y)は、対応関係を求める各画素位置間における輝度成分及び色成分の類似度を示す関数であり、またオクリュージョンコスト関数dx(x,y)は、正規化画像Pm1の正規化画像Pm2に対する被写体画像の隠れ度合いを示す関数であり、またオクリュージョンコスト関数dy(x,y)は、正規化画像Pm2の正規化画像Pm1に対する被写体画像の隠れ度合いを示す関数である。これらオクリュージョンコスト関数dx(x,y),dy(x,y)は、被写体の各画像間における視差が反映される形となる。
先ず、マッチングコスト関数d(x,y)を求める方法につき説明をする。
d(x,y)につき、比較する輝度成分又は色成分のうち何れに重み付けをするか決定する。この重み付けは、重み付け係数αを用いて、以下の式(1)に基づいて行う。
dk(s,t)=α×dYk(s,t)+(1−α)dCk(s,t)・・・・・(1)
ここで(s,t)は、特徴点(x,y)に対応する正規化画像Pm1、正規化画像Pm2における画素位置を表している。またkは、正規化画像Pm1、正規化画像Pm2の何行目に該当するかを示している(つまりk=y)。この式(1)においてdYk(s,t)は、正規化画像Pm1と正規化画像Pm2との座標(s,t)間における輝度成分の差分絶対値を表し、以下の(2)式で定義される。
dYk(s,t)=|Y1k(s,t)−Y2k(s,t)|・・・・・(2)
また、この式(1)においてdCk(s,t)は、正規化画像Pm1と正規化画像Pm2との間における色成分の差分絶対値を表し、以下の(3)式で定義される。
dCk(s,t)=|C1k(s,t)−C2k(s,t)|・・・・・(3)
即ち、上記式(1)においてαをより高く設定することにより、求めるdk(s,t)につき、輝度成分の差分絶対値dYk(s,t)の成分をより反映させることができる。また上記式(1)においてαをより小さく設定することにより、求めるdk(s,t)につき、色成分の差分絶対値dCk(s,t)の成分をより反映させることができる。ちなみに、このαについては、色成分のマッチングコストと、輝度成分のマッチングコストとの平均値を割り当てるようにしてもよい。
dk(s,t)=α×dYk(s,t)+(1−α)dCk(s,t)・・・・・(1)
ここで(s,t)は、特徴点(x,y)に対応する正規化画像Pm1、正規化画像Pm2における画素位置を表している。またkは、正規化画像Pm1、正規化画像Pm2の何行目に該当するかを示している(つまりk=y)。この式(1)においてdYk(s,t)は、正規化画像Pm1と正規化画像Pm2との座標(s,t)間における輝度成分の差分絶対値を表し、以下の(2)式で定義される。
dYk(s,t)=|Y1k(s,t)−Y2k(s,t)|・・・・・(2)
また、この式(1)においてdCk(s,t)は、正規化画像Pm1と正規化画像Pm2との間における色成分の差分絶対値を表し、以下の(3)式で定義される。
dCk(s,t)=|C1k(s,t)−C2k(s,t)|・・・・・(3)
即ち、上記式(1)においてαをより高く設定することにより、求めるdk(s,t)につき、輝度成分の差分絶対値dYk(s,t)の成分をより反映させることができる。また上記式(1)においてαをより小さく設定することにより、求めるdk(s,t)につき、色成分の差分絶対値dCk(s,t)の成分をより反映させることができる。ちなみに、このαについては、色成分のマッチングコストと、輝度成分のマッチングコストとの平均値を割り当てるようにしてもよい。
d(x,y)は、(1)式により求められるdk(s,t)に基づいて、更に以下の(4)式により求められる。
d(x,y)=(Σdk(s,t))/2K k=−K,・・,K−1
・・・・・・・・・(4)
この(4)式は、スキャンラインの上下に位置する各画素との間で平均をとることにより、d(x,y)を求めることができることを意味している。この(4)式により、求めるd(x,y)につきスキャンラインの上下に位置する各画素との相関関係を反映させることができる。これにより対応付け精度の向上を大幅に図ることが可能となる。
d(x,y)=(Σdk(s,t))/2K k=−K,・・,K−1
・・・・・・・・・(4)
この(4)式は、スキャンラインの上下に位置する各画素との間で平均をとることにより、d(x,y)を求めることができることを意味している。この(4)式により、求めるd(x,y)につきスキャンラインの上下に位置する各画素との相関関係を反映させることができる。これにより対応付け精度の向上を大幅に図ることが可能となる。
即ち、上述の方法により求められるマッチングコストd(x,y)は、正規化画像Pm1と正規化画像Pm2の画素位置(s,t)における輝度成分、或いは色成分の差分絶対値が大きくなるにつれて増加する。換言すれば、正規化画像Pm2と正規化画像Pm1の画素位置(s,t)における輝度成分、或いは色成分の差異が大きくなるにつれて増加し、またこれらが類似するにつれて小さくなる。即ち、このマッチングコストd(x,y)により、正規化画像Pm1と正規化画像Pm2の画素位置(s,t)における輝度成分、或いは色成分の類似度を計算することが可能となる。
次にオクリュージョンコスト関数dx(x,y),dy(x,y)を求める方法につき説明をする。
これら各オクリュージョンコスト関数dx(x,y),dy(x,y)は、情報生成部33におより生成される視差情報に基づいて生成される。カメラ11a,12aから被写体としてのユーザaに至るまでの距離が小さくなるにつれて(視差が大きくなるにつれて)、オクリュージョン領域の発生する確率が高くなる。かかる場合において、マッチング部29は、オクリュージョンコスト関数dx(x,y),dy(x,y)を下げることにより対応する。一方、カメラ11a,12aから被写体としてのユーザaに至るまでの距離が長くなるにつれて(視差が小さくなるにつれて)、オクリュージョン領域の発生する確率が小さくなる。かかる場合において、マッチング部29は、オクリュージョンコスト関数dx(x,y),dy(x,y)を上げることにより対応する。
各オクリュージョンコスト関数dx(x,y),dy(x,y)は、以下の式(5)、(6)に基づいて求めることができる。
dx(x,y)=β×d(x,y)+T0・・・・・・・・(5)
dy(x,y)=γ×d(x,y)+T1・・・・・・・・(6)
ここで、d(x,y)は、マッチングコストであり、左画像と右画像の輝度値、色合いのばらつきを解消させるべく、オクリュージョンコストを動的に調整するものである。β、γは、d(x,y)の変化率を表しており、予め実験的に求めることができる。またT0、T1は、初期オクリュージョンコスト定数であり、これについても予め実験的に求めることができる。
dx(x,y)=β×d(x,y)+T0・・・・・・・・(5)
dy(x,y)=γ×d(x,y)+T1・・・・・・・・(6)
ここで、d(x,y)は、マッチングコストであり、左画像と右画像の輝度値、色合いのばらつきを解消させるべく、オクリュージョンコストを動的に調整するものである。β、γは、d(x,y)の変化率を表しており、予め実験的に求めることができる。またT0、T1は、初期オクリュージョンコスト定数であり、これについても予め実験的に求めることができる。
マッチング部29は、これら各関数dx(x,y),d(x,y),dy(x,y)を求めた後、それぞれ以下の式(7)〜式(9)に基づいて累積マッチングコストC(x−1,y),C(x−1,y−1),C(x,y−1)を加算し、総コストk1,k2,k3を算出する。
k1=C(x−1,y)+dx(x,y)・・・・・・・・(7)
k2=C(x−1,y−1)+d(x,y)・・・・・・・(8)
k3=C(x,y−1)+dy(x,y)・・・・・・・・(9)
ここでC(x−1,y),C(x−1,y−1),C(x,y−1)は、それぞれ特徴点(x−1,y),(x−1,y−1),(x,y−1)において求められた累積マッチングコストを示している。ちなみに、特徴点(x,y)における累積マッチングコストC(x,y)は、以下の式(10)に示すように、求めたk1,k2,k3の中から最小となるものが割り当てられる。
C(x,y)=min{k1,k2,k3}・・・・・・・(10)
マッチング部29は、求めた総コストk1,k2,k3の中から最小となるものを選択することにより最適経路を求める。
k1=C(x−1,y)+dx(x,y)・・・・・・・・(7)
k2=C(x−1,y−1)+d(x,y)・・・・・・・(8)
k3=C(x,y−1)+dy(x,y)・・・・・・・・(9)
ここでC(x−1,y),C(x−1,y−1),C(x,y−1)は、それぞれ特徴点(x−1,y),(x−1,y−1),(x,y−1)において求められた累積マッチングコストを示している。ちなみに、特徴点(x,y)における累積マッチングコストC(x,y)は、以下の式(10)に示すように、求めたk1,k2,k3の中から最小となるものが割り当てられる。
C(x,y)=min{k1,k2,k3}・・・・・・・(10)
マッチング部29は、求めた総コストk1,k2,k3の中から最小となるものを選択することにより最適経路を求める。
ここで、k1が最小となる場合には、視差が大きくなることにより、正規化画像Pm1において示されている特徴点が正規化画像Pm2において遮蔽されたことを意味している。かかる場合には、図7矢印J1に示すように特徴点(x−1,y)から水平方向にシフトさせることにより特徴点(x,y)に至るように最適経路が求められることになる。
またk3が最小となる場合には、視差が大きくなることにより、正規化画像Pm2において示されている特徴点が正規化画像Pm1において遮蔽されたことを意味している。かかる場合には、図7矢印J3に示すように、特徴点(x,y−1)から垂直方向にシフトさせることにより特徴点(x,y)に至るように最適経路が求められることになる。
更に、k2が最小となる場合には、正規化画像Pm1と正規化画像Pm2の画素位置(s,t)における輝度成分、或いは色成分の類似度が高いことを意味している。かかる場合には、図7矢印J2に示すように特徴点(x−1,y−1)から水平、垂直方向に一つずつシフトさせることにより特徴点(x,y)に至るように最適経路が求められることになる。
図8(b)は、図8(a)に示される正規化画像Pm1と正規化画像Pm2におけるスキャンラインL1,L1’上にある各特徴点の画素成分(輝度又は色成分)の対応関係を示している。
この図8(a)に示す正規化画像Pm1において、ユーザaの両側に示される壁の凹部L2,L3、並びに正規化画像Pm2において、ユーザaの両側に示される壁の凹部L2’,L3’は、図8(b)において画素成分の差分としてライン状に明確に現れている。同様に、ユーザaを構成する画素成分については、図8(b)の中心付近において画素成分の差分として明確に現れている。
この図8(b)において、最適経路が、スキャンラインL1,L1’上にある各特徴点において同一の画素成分の交点を通過している場合には、k2が最小となる結果、当該画素位置(s,t)における輝度成分、或いは色成分の類似度が高いことが優先されたことを意味している。これに対して、最適経路が、スキャンラインL1,L1’上にある各特徴点において同一の画素成分の交点以外を通過している場合には、k1又はk3が最小となる結果、視差により何れかの画像Pm1,Pm2が遮蔽されたことを意味している。
このようにして特徴点(x−1,y),(x−1,y−1),(x,y−1)の何れかから特徴点(x,y)に至るまでの最適経路が求められることになる。この最適経路が求められるということは、輝度成分及び色成分の類似度と、正規化画像Pm1,Pm2間の視差に応じて最適な対応関係が求められていることを意味しており、上記(10)式より得られるC(x,y)についても、画素位置毎に対応関係を求める上での最適な累積マッチングコストとして定義されることになる。これら累積マッチングコストC(x,y)を、上記グラフにおいて上、右上、右に位置する特徴点に至るまでの最適経路を求める際に累積的に参酌することができるため、対応付けの精度をより向上させることができる。
また、マッチング部29では、各関数dx(x,y),d(x,y),dy(x,y)を全く異なるコンセプトに基づいて算出するため、得られた総コストk1,k2,k3を式(10)に基づいて単純に比較する場合に、撮影環境や被写体に応じて誤差が生じる場合もある。かかる場合には、式(5),(6)におけるβ,γ,T0,T1を撮影環境や被写体に応じて予め最適化しておくことにより、各関数dx(x,y),d(x,y),dy(x,y)間の格差を解消することができる。
このように本発明を適用した画像処理装置2aにおけるマッチング部29では、上記各正規化画像Pm1,Pm2間における対応関係を求める際に、識別した類似度及び視差のうち何れを優先させるか決定し、類似度を優先させる場合には、水平ライン上にある同一画素位置間において対応付け、視差を優先させる場合には、一の画素位置に対し同一の水平ライン上にある複数の画素位置を対応付ける。これにより、オクリュージョン領域が存在する場合においてもより正確な対応付けを行うことができる。また、上述の手法に基づいて対応付けを行うことにより、例えば両目部分等の繰り返しパターンや、輝度変化が殆ど生じないいわゆる非特徴点(例えば壁の部分)においても対応付けの精度を向上させることができる。更に、例えば窓の部分等のように見る方向によって明るさが異なる領域や、ユーザの鼻の部分等のように正反射が生じる領域においても、輝度成分,色成分の格差に支配されることが少なく、比較的に容易に対応付けを行うことができる。
なお、本発明を適用した画像処理装置2aにおけるマッチング部29では、あくまで上記類似度を計算し、計算した類似度に応じて上記対応関係が求められていれば、上述の効果を得ることができることは勿論である。
仮想視点画像生成部30では、上述の如くマッチング部29において求められた対応関係に基づいて、仮想視点画像Imaを生成する。例えばマッチング部29において、正規化画像Pm1における画素位置P11に対して、正規化画像Pm2における画素位置P11’がその対応点として特定されていた場合に、かかる画素位置P11の座標を図9に示すように(x1,y1)とし、また画素位置P11’の座標を(x2,y2)とする。仮想視点画像生成部31は、かかる画素位置P11、P11’に対応する仮想視点画像Ima上の画素位置の座標(xt,yt)を、相対位置情報としてのm(≦1)に基づいて以下の式(11)により決定することができる。
(xt,yt)=(1−m)×(x1,y1)+m×(x2,y2)・・・(11)
また画素位置P11、P11’における輝度成分をそれぞれJ11, J11’としたときに、かかる仮想視点画像Ima上の画素位置Phにおける輝度成分Ptを以下の式(12)により決定することができる。
(xt,yt)=(1−m)×(x1,y1)+m×(x2,y2)・・・(11)
また画素位置P11、P11’における輝度成分をそれぞれJ11, J11’としたときに、かかる仮想視点画像Ima上の画素位置Phにおける輝度成分Ptを以下の式(12)により決定することができる。
Pt=(1−m)×J11+m×J11’ ・・・(12)
このように仮想視点画像生成部31は、仮想視点画像Imaを構成する各画素の座標並びにその輝度成分につき、相対位置情報としてのmに応じて決定することができる。ここでmは、仮想カメラにおける仮想視点がカメラ11aに近くなるにつれて小さくなり、また仮想視点がカメラ12aに近くなるにつれて大きくなる。
このように仮想視点画像生成部31は、仮想視点画像Imaを構成する各画素の座標並びにその輝度成分につき、相対位置情報としてのmに応じて決定することができる。ここでmは、仮想カメラにおける仮想視点がカメラ11aに近くなるにつれて小さくなり、また仮想視点がカメラ12aに近くなるにつれて大きくなる。
このため、式(11)に基づいて決定される座標(xt,yt)は、仮想視点がカメラ11aに近づくにつれて画素位置P11の座標(x1,y1)に近づき、また仮想視点がカメラ12aに近づくにつれて画素位置P12の座標(x2,y2)に近づくことになる。即ち、座標(xt,yt)を、仮想カメラの位置に応じて自在に決定することができるため、仮想視点画像Ima上に表示させるユーザaの位置を自在に変化させることができる。
また、式(12)に基づいて決定される輝度成分Ptは、仮想視点がカメラ11aに近づくにつれて画素位置P11の輝度成分J11に近づき、仮想視点がカメラ12aに近づくにつれて画素位置P11’の輝度成分J11’に近づくことになる。即ち、仮想カメラの位置に応じて、仮想視点画像Ima上のユーザaを構成する画素を輝度成分J11、又は輝度成分J11’に近づけることができる。
特に、カメラ11aとカメラ12aは互いに撮影方向が異なるため、正規化画像Pm1上にある画素位置P11と、これに対応する正規化画像Pm2上にある画素位置P11’との間では、輝度成分が互いに異なる。この互いに異なる輝度成分の何れか一方を最小値とし、他方が最大値となるようにして、相対位置情報としてのmに応じて輝度成分Ptを線形に増減させることにより、仮想カメラの位置に応じて仮想視点画像Ima上に表示させるユーザaを構成する画素の輝度成分を決定することが可能となる。また、この生成される仮想支点画像Imaは、上述したマッチング部29において対応付けられた関係に基づいて生成されるため、得られる画像の画質劣化をより減少させることができる。
上述のようにして画素位置Phにおける座標(xt,yt)並びにその輝度成分Ptを順次決定することにより、生成した仮想視点画像Imaは、表示されるユーザaの視線方向、顔の向き等は互いに異なっていた正規化画像Pm1,Pm2に対して、常時正面を向いている状態となる。
なお、この仮想視点画像生成部30は、カメラ11a、12aの何れか一方のみからしか視認することができないオクリュージョン領域は、互いに対応する画像領域が存在しないため、正規化画像Pm1,Pm2間において対応付けすることができない。このため、仮想視点画像Imaを作る際には、正規化画像Pm1,Pm2のうち何れか一方の画像のみを用いることになる。
例えば、スキャンラインL1,L1’上のオクリュージョン領域は、図10(a)に示す正規化画像Pm1,Pm2において、ユーザaの右耳を示す(a2, b2)、(a3, b2)と対応付けられる領域、並びにユーザbの左耳を示す(a4, b3)、(a4, b4)と対応付けられる領域である。このオクリュージョン領域は、正規化画像Pm1,Pm2に基づいて生成される図10(b)に示す仮想視点画像Ima上において、斜線で示す領域V1、V3に合成されることになる。ちなみに、この仮想視点画像Ima上のオクリュージョン領域V1は、ユーザaの右耳が全て写し出されている正規化画像Pm1の領域L1のみにより合成され、また仮想視点画像Ima上のオクリュージョン領域V3は、ユーザaの左耳が全て写し出されている正規化画像Pm3の領域R2のみにより合成される。
なお、このスキャンラインL1,L1’上の非オクリュージョン領域V2は、正規化画像Pm1の領域L2と正規化画像Pm2の領域R1と互いに対応するため、これら双方に基づいて合成することができる。
即ち、オクリュージョン領域は、正規化画像Pm1,Pm2のうち何れか一方のみを用いて生成されるのに対して、非オクリュージョン領域は、正規化画像Pm1,Pm2の双方を所定の割合で混ぜ合わせて合成するものであるため、両者間において輝度成分や色成分の格差が生じることがある。その結果、得られる仮想視点画像全体においてテクスチャの連続性を保つことが困難となり、これが画面上のノイズとなって現れてしまうため、相手方のユーザbに対して違和感を与えることになる。
このため、生成された仮想視点画像Imaのオクリュージョン領域につき、フィルタ処理部43において画像平滑化処理を施すことにより、かかる画面上に現れるノイズを除去する。実際にこのフィルタ処理部43においてフィルタ処理を施すオクリュージョン領域は、パス検出部45より通知される。このパス検出部45は、このオクリュージョン領域は、図6(b)に示す経路において、水平方向、又は垂直方向へのシフトを検出することにより容易に識別することができる。
全てのスキャンラインL1,L1’につきオクリュージョン領域を検出すると、当該領域は、図10(c)に示すような複数の画素で構成される画像領域で表されることになる。スキャンラインは全て画素単位で構成されていてもよいことから、かかるスキャンライン毎に検出されるオクリュージョン領域を画素単位で精度よく求めることも可能となる。
このようにして求められたオクリュージョン領域につき選択的にノイズを除去していくことにより、オクリュージョン領域と非オクリュージョン領域間の輝度成分や色成分の格差により生じるノイズをより効率よく除去することができる。非オクリュージョン領域に対しても同様なノイズ除去が施されると、画像全体、特にユーザの顔領域において画質の劣化が著しくなるが、本発明では、高精度にオクリュージョン領域を抽出することができることから、ノイズ除去に伴う画質の劣化を抑えることが可能となり、ひいてはオクリュージョン領域と非オクリュージョン領域とのテクスチャ連続性を改善することが可能となる。
なお、ノイズ除去処理が施された仮想視点画像Imaは、出力制御部31による制御の下、ネットワーク7へ送出される。そして相手側の画像処理装置2bへ送信された仮想視点画像Imaは、画像処理装置2bにおける制御の下、ディスプレイ5b上へ表示されることになる。ユーザbは、ディスプレイ5bに表示される仮想視点画像Ima上のユーザaを視認しつつ対話をすることになるが、ユーザaの顔、視線方向は正面を向いている状態にあるため、あたかも画面中央付近に設置された仮想カメラで撮像されたような画像を視認しているような感覚を味わうことができる。ユーザaについても同様にディスプレイ5aに表示される仮想視点画像Imb上のユーザbを視認しつつ対話をすることになるが、正面を向いているユーザbを視認することができる。即ち、この通信システム1では、いわば対話するユーザ間において常時視線を一致させたビジュアルコミュニケーションを実現することができ、よりリアルで臨場感のある遠隔対話を実現することができる。
特にこの通信システム1では、少なくとも2台のカメラ11,12をディスプレイ5
の両側に配設すれば足り、また被写体の3次元情報をその都度抽出する必要もなくなるため、システム全体が複雑化することがなくなるという利点もある。
の両側に配設すれば足り、また被写体の3次元情報をその都度抽出する必要もなくなるため、システム全体が複雑化することがなくなるという利点もある。
また、この通信システム1では、ハーフミラーやホログラムスクリーン、更にはプロジェクタ等のような特殊装置を用いる必要もなく、簡易で安価なシステムを構成することができる。
1 通信システム、2 画像処理装置、5 ディスプレイ、7 ネットワーク、11,12 カメラ、20 補正部、29 マッチング部、30 仮想視点画像生成部、31 出力制御部、33 情報生成部
Claims (11)
- 少なくとも2台のカメラにより互いに異なる視点から被写体を撮像することにより得られた各画像間において、上記被写体と関連させつつ互いに同一の水平ライン上にある画素位置毎に対応関係を求めるマッチング手段と、
上記マッチング手段により互いに対応付けされた画素位置並びにその輝度成分から、仮想的に設置される仮想カメラにより生成すべき仮想視点画像を構成する画素位置並びにその輝度成分を求める画像生成手段と、
上記マッチング手段により求められた対応関係に基づき、上記撮像された各画像間において互いに非対応な画像領域としてのオクリュージョン領域を、上記仮想視点画像から上記画素単位で検出する領域検出手段と、
上記領域検出手段により検出されたオクリュージョン領域に対して画像平滑化処理を施す画像処理手段とを備え、
上記マッチング手段は、上記対応関係を求める各画素位置につき輝度成分及び色成分を比較することによりその類似度を計算するとともに、上記計算した類似度に応じて上記対応関係を求め、上記被写体の各画像間における視差を識別すること
を特徴とする画像処理装置。 - 上記各カメラにより撮像された各画像から、上記被写体を含む前景画像領域とその背景画像とをそれぞれ分離する画像分離手段をさらに備え、
上記マッチング手段は、上記画像分離手段により分離された各前景画像領域間において上記対応関係を求めること
を特徴とする請求項1記載の画像処理装置。 - 上記仮想カメラにおける光学中心の上記各カメラに対する相対的な位置関係を示す相対位置情報を生成する情報生成手段をさらに備え、
上記画像生成手段は、上記情報生成手段により生成された相対位置情報に基づいて、上記仮想視点画像を構成する画素位置並びにその輝度成分を求めること
を特徴とする請求項1記載の画像処理装置。 - 上記マッチング手段は、上記各画像間における対応関係を求める際に、上記計算した類似度及び視差のうち何れを優先させるか決定し、類似度を優先させる場合には、上記水平ライン上にある同一画素位置間において対応付け、視差を優先させる場合には、一の画素位置に対し同一の水平ライン上にある複数の画素位置を対応付けること
を特徴とする請求項1記載の画像処理装置。 - 上記マッチング手段は、上記類似度を計算する際に比較する輝度成分又は色成分のうち何れかに重み付けをすること
を特徴とする請求項1記載の画像処理装置。 - 上記マッチング手段は、上記水平ラインの上下に位置する各画素位置における輝度成分及び色成分との相関関係を反映させつつ、上記類似度を計算すること
を特徴とする請求項1記載の画像処理装置。 - 上記マッチング手段は、上記各カメラから上記被写体までの距離に基づいて上記視差を推定すること
を特徴とする請求項1記載の画像処理装置。 - 上記画像補正手段は、上記各カメラにより撮像された各画像の法線方向を仮想的に設定された仮想平面の法線方向に合わせること
を特徴とする請求項1記載の画像処理装置。 - 上記画像補正手段は、上記各カメラにより撮像された各画像を上記仮想平面へ射影するための射影変換行列を求め、求めた射影変換行列に基づいて上記各画像の法線方向を上記仮想平面の法線方向に合わせること
を特徴とする請求項8記載の画像処理装置。 - 少なくとも2台のカメラにより互いに異なる視点から被写体を撮像することにより得られた各画像間において、上記被写体と関連させつつ互いに同一の水平ライン上にある画素位置毎に対応関係を求めるマッチングステップと、
上記マッチングステップにおいて互いに対応付けした画素位置並びにその輝度成分から、仮想的に設置される仮想カメラにより生成すべき仮想視点画像を構成する画素位置並びにその輝度成分を求める画像生成ステップと、
上記マッチングステップにおいて求めた対応関係に基づき、上記撮像された各画像間において互いに非対応な画像領域としてのオクリュージョン領域を、上記仮想視点画像から上記画素単位で検出する領域検出ステップと、
上記領域検出ステップにおいて検出したオクリュージョン領域に対して画像平滑化処理を施す画像処理ステップとを有し、
上記マッチングステップでは、上記対応関係を求める各画素位置につき輝度成分及び色成分を比較することによりその類似度を計算するとともに、上記計算した類似度に応じて上記対応関係を求め、上記被写体の各画像間における視差を識別すること
を特徴とする画像処理方法。 - 少なくとも2台のカメラにより互いに異なる視点から被写体を撮像することにより得られた各画像間において、上記被写体と関連させつつ互いに同一の水平ライン上にある画素位置毎に対応関係を求めるマッチングステップと、
上記マッチングステップにおいて互いに対応付けした画素位置並びにその輝度成分から、仮想的に設置される仮想カメラにより生成すべき仮想視点画像を構成する画素位置並びにその輝度成分を求める画像生成ステップと、
上記マッチングステップにおいて求めた対応関係に基づき、上記撮像された各画像間において互いに非対応な画像領域としてのオクリュージョン領域を、上記仮想視点画像から上記画素単位で検出する領域検出ステップと、
上記領域検出ステップにおいて検出したオクリュージョン領域に対して画像平滑化処理を施す画像処理ステップとを有し、
上記マッチングステップでは、上記対応関係を求める各画素位置につき輝度成分及び色成分を比較することによりその類似度を計算するとともに、上記計算した類似度に応じて上記対応関係を求め、上記被写体の各画像間における視差を識別することをコンピュータに実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004203811A JP2006024141A (ja) | 2004-07-09 | 2004-07-09 | 画像処理装置及び方法、プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004203811A JP2006024141A (ja) | 2004-07-09 | 2004-07-09 | 画像処理装置及び方法、プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006024141A true JP2006024141A (ja) | 2006-01-26 |
Family
ID=35797347
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004203811A Withdrawn JP2006024141A (ja) | 2004-07-09 | 2004-07-09 | 画像処理装置及び方法、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006024141A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013143702A (ja) * | 2012-01-11 | 2013-07-22 | Sharp Corp | 仮想視点画像生成装置、仮想視点画像生成方法、制御プログラム、記録媒体、および立体表示装置 |
JP2015082033A (ja) * | 2013-10-23 | 2015-04-27 | オリンパス株式会社 | 撮像装置及び位相差検出方法 |
JP2016533506A (ja) * | 2013-09-17 | 2016-10-27 | ザ プロクター アンド ギャンブル カンパニー | 繊維状構造体の画像を作成するための方法及び装置 |
WO2020013077A1 (ja) * | 2018-07-13 | 2020-01-16 | キヤノン株式会社 | 装置、制御方法、及びプログラム |
JPWO2019050038A1 (ja) * | 2017-09-11 | 2020-10-15 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 画像生成方法および画像生成装置 |
-
2004
- 2004-07-09 JP JP2004203811A patent/JP2006024141A/ja not_active Withdrawn
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013143702A (ja) * | 2012-01-11 | 2013-07-22 | Sharp Corp | 仮想視点画像生成装置、仮想視点画像生成方法、制御プログラム、記録媒体、および立体表示装置 |
JP2016533506A (ja) * | 2013-09-17 | 2016-10-27 | ザ プロクター アンド ギャンブル カンパニー | 繊維状構造体の画像を作成するための方法及び装置 |
JP2015082033A (ja) * | 2013-10-23 | 2015-04-27 | オリンパス株式会社 | 撮像装置及び位相差検出方法 |
WO2015059970A1 (ja) * | 2013-10-23 | 2015-04-30 | オリンパス株式会社 | 撮像装置及び位相差検出方法 |
JPWO2019050038A1 (ja) * | 2017-09-11 | 2020-10-15 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 画像生成方法および画像生成装置 |
WO2020013077A1 (ja) * | 2018-07-13 | 2020-01-16 | キヤノン株式会社 | 装置、制御方法、及びプログラム |
JP2020013216A (ja) * | 2018-07-13 | 2020-01-23 | キヤノン株式会社 | 装置、制御方法、及びプログラム |
JP7179515B2 (ja) | 2018-07-13 | 2022-11-29 | キヤノン株式会社 | 装置、制御方法、及びプログラム |
US11557081B2 (en) | 2018-07-13 | 2023-01-17 | Canon Kabushiki Kaisha | Image processing apparatus, control method for an image processing apparatus, and medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4069855B2 (ja) | 画像処理装置及び方法 | |
US7330584B2 (en) | Image processing apparatus and method | |
US10540806B2 (en) | Systems and methods for depth-assisted perspective distortion correction | |
US8792039B2 (en) | Obstacle detection display device | |
US20060120712A1 (en) | Method and apparatus for processing image | |
CN106981078B (zh) | 视线校正方法、装置、智能会议终端及存储介质 | |
WO2011014420A1 (en) | Methods, systems, and computer-readable storage media for selecting image capture positions to generate three-dimensional (3d) images | |
US20190158799A1 (en) | Aligning Two Images By Matching Their Feature Points | |
US10356383B2 (en) | Adjustment of perceived roundness in stereoscopic image of a head | |
US11068699B2 (en) | Image processing device, image processing method, and telecommunication system to generate an output image for telecommunication | |
JP4461739B2 (ja) | 撮像装置 | |
KR101933037B1 (ko) | 360도 동영상에서의 가상현실 재생 장치 | |
JP4617965B2 (ja) | 画像処理方法、その装置およびプログラム | |
CN112085659A (zh) | 一种基于球幕相机的全景拼接融合方法、系统及存储介质 | |
US20150195443A1 (en) | Systems and methods for real-time view-synthesis in a multi-camera setup | |
JP2001052177A (ja) | 画像処理装置および画像処理方法 | |
JP2006024141A (ja) | 画像処理装置及び方法、プログラム | |
JP2005142765A (ja) | 撮像装置及び方法 | |
JP2005149127A (ja) | 撮像表示装置及び方法、画像送受信システム | |
JP2005174148A (ja) | 撮像装置及び方法、撮像システム | |
US20230005213A1 (en) | Imaging apparatus, imaging method, and program | |
JP4586447B2 (ja) | 画像処理装置及び方法、プログラム | |
JP2006024142A (ja) | 画像処理装置及び方法、プログラム | |
CN109671107B (zh) | 通过对所投影一维图像轮廓进行匹配将多个相机图像对准 | |
KR20160101762A (ko) | 색상 정보를 활용한 자동 정합·파노라믹 영상 생성 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20071002 |