JP2000111321A - ステレオ画像の輝度修正方法及び装置 - Google Patents
ステレオ画像の輝度修正方法及び装置Info
- Publication number
- JP2000111321A JP2000111321A JP10279868A JP27986898A JP2000111321A JP 2000111321 A JP2000111321 A JP 2000111321A JP 10279868 A JP10279868 A JP 10279868A JP 27986898 A JP27986898 A JP 27986898A JP 2000111321 A JP2000111321 A JP 2000111321A
- Authority
- JP
- Japan
- Prior art keywords
- luminance
- segment
- point
- stereo image
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】ステレオ画像において、画像の特徴量の対応関
係から画像の輝度修正を行う。 【解決手段】ステレオ画像を入力し、各画像のエッジを
検出する（Ｓ１）。セグメントを抽出し（Ｓ２）、各セ
グメントの特徴量を求める（Ｓ３）。ステレオ画像間で
セグメントの対応を求め（Ｓ４）、その対応部分から遮
蔽輪郭線を除く（Ｓ５）。この処理により求まった輝度
の対応関係から輝度補正式を求め（Ｓ６）、ステレオ画
像の輝度を修正する（Ｓ７）。さらにステレオ画像間で
輝度の対応が一致するまで上述の処理を繰り返し、ステ
レオ画像の輝度修正を行う。
係から画像の輝度修正を行う。 【解決手段】ステレオ画像を入力し、各画像のエッジを
検出する（Ｓ１）。セグメントを抽出し（Ｓ２）、各セ
グメントの特徴量を求める（Ｓ３）。ステレオ画像間で
セグメントの対応を求め（Ｓ４）、その対応部分から遮
蔽輪郭線を除く（Ｓ５）。この処理により求まった輝度
の対応関係から輝度補正式を求め（Ｓ６）、ステレオ画
像の輝度を修正する（Ｓ７）。さらにステレオ画像間で
輝度の対応が一致するまで上述の処理を繰り返し、ステ
レオ画像の輝度修正を行う。
Description
【０００１】
【産業上の利用分野】本発明は、３次元幾何形状復元に
有用なステレオ画像修正方法及び装置に関する。例え
ば、産業用視覚システムやロボットに視覚を与えるため
に利用することができる。
有用なステレオ画像修正方法及び装置に関する。例え
ば、産業用視覚システムやロボットに視覚を与えるため
に利用することができる。
【０００２】
【従来の技術】ステレオ画像からそのシーンに存在する
３次元幾何形状を復元する手法は、撮影時のカメラの相
対位置関係が既知である場合、画像間で各画素の対応を
探索し、三角測量の原理によって３次元情報を復元する
ものである。このステレオ対応探索を行い、３次元情報
を生成する手法としては、例えば次のような手法が知ら
れている。
３次元幾何形状を復元する手法は、撮影時のカメラの相
対位置関係が既知である場合、画像間で各画素の対応を
探索し、三角測量の原理によって３次元情報を復元する
ものである。このステレオ対応探索を行い、３次元情報
を生成する手法としては、例えば次のような手法が知ら
れている。
【０００３】（１）第１に、一方の画像の一部（窓）を
取出し、それと同じ輝度分布を持つ窓をもう一方から見
つけ出す、つまり、相互の窓の相関を計算し、その値が
高いものを探し出して画像間の対応を求め、３次元形状
を復元する手法で、一般に相関法と呼ばれるものであ
る。この手法により、３次元面情報を復元できる。相関
法には大きく２通りあり、正規化された評価式を使う方
法と差分評価式を使う方法がある。図１に示すように、
前者の方法は、テクスチャなどのような相関窓内で輝度
変化が顕著な領域には有効であり、正規化しているため
絶対的な輝度一致がなくても良い。しかし、シェイジン
グ領域のように滑らかに輝度が変化する部分に対しては
誤対応を起こす可能性がある。シェイジング領域の正し
い視差を計算するためには、後者の方法が有効であり、
そのためには画像間の輝度対応が正しくなければならな
い。つまり、画像すべての領域の輝度に基づく正確な対
応関係を求めるためには、画像間の輝度調整が正しく行
われている必要がある。
取出し、それと同じ輝度分布を持つ窓をもう一方から見
つけ出す、つまり、相互の窓の相関を計算し、その値が
高いものを探し出して画像間の対応を求め、３次元形状
を復元する手法で、一般に相関法と呼ばれるものであ
る。この手法により、３次元面情報を復元できる。相関
法には大きく２通りあり、正規化された評価式を使う方
法と差分評価式を使う方法がある。図１に示すように、
前者の方法は、テクスチャなどのような相関窓内で輝度
変化が顕著な領域には有効であり、正規化しているため
絶対的な輝度一致がなくても良い。しかし、シェイジン
グ領域のように滑らかに輝度が変化する部分に対しては
誤対応を起こす可能性がある。シェイジング領域の正し
い視差を計算するためには、後者の方法が有効であり、
そのためには画像間の輝度対応が正しくなければならな
い。つまり、画像すべての領域の輝度に基づく正確な対
応関係を求めるためには、画像間の輝度調整が正しく行
われている必要がある。
【０００４】（２）第２に、画像の高次特徴量を検出し
て、その対応関係を求める構造解析法があり、例えば、
輝度変化が大きい部分、つまり、領域の境界線であるエ
ッジを検出して、それを局所的形状により意味のある線
分であるセグメントに分割し、このセグメントを単位と
するステレオ対応探索を行うことにより、その対応関係
から３次元形状を復元するセグメントベーストステレオ
法がある。この手法により、物体の輪郭線の３次元情報
を復元できる。エッジ部分は輝度が異なる領域間の境界
線であり、画像間で絶対的な輝度の一致がなくても、ほ
ぼ同じ場所にエッジは検出される。それゆえに、この特
徴量を用いるセグメントベーストステレオ法は輝度変化
に対して頑健である長所がある。しかし、この手法では
最初に求めた特徴量（エッジ部分など）しか３次元形状
が復元されず、面情報を復元できない問題がある。
て、その対応関係を求める構造解析法があり、例えば、
輝度変化が大きい部分、つまり、領域の境界線であるエ
ッジを検出して、それを局所的形状により意味のある線
分であるセグメントに分割し、このセグメントを単位と
するステレオ対応探索を行うことにより、その対応関係
から３次元形状を復元するセグメントベーストステレオ
法がある。この手法により、物体の輪郭線の３次元情報
を復元できる。エッジ部分は輝度が異なる領域間の境界
線であり、画像間で絶対的な輝度の一致がなくても、ほ
ぼ同じ場所にエッジは検出される。それゆえに、この特
徴量を用いるセグメントベーストステレオ法は輝度変化
に対して頑健である長所がある。しかし、この手法では
最初に求めた特徴量（エッジ部分など）しか３次元形状
が復元されず、面情報を復元できない問題がある。
【０００５】上記のように３次元の面情報を復元するた
めには相関法が有効であるが、正確な情報を得るために
は、画像間の輝度の調整が不可欠である。従来では、画
像撮影時にカメラの微調整を行うことで、画像間の輝度
調節を行ってきたが、調整し切れない場合があったり、
既に撮影済みの画像に関しては、手動で画像間の明るさ
の修正をする必要があった。
めには相関法が有効であるが、正確な情報を得るために
は、画像間の輝度の調整が不可欠である。従来では、画
像撮影時にカメラの微調整を行うことで、画像間の輝度
調節を行ってきたが、調整し切れない場合があったり、
既に撮影済みの画像に関しては、手動で画像間の明るさ
の修正をする必要があった。
【０００６】
【発明が解決しようとする課題】一般に、ステレオ画像
間で輝度調節が正確になされていない場合、相関法で３
次元幾何形状を復元しても正確な情報を得られることが
できなかった。
間で輝度調節が正確になされていない場合、相関法で３
次元幾何形状を復元しても正確な情報を得られることが
できなかった。
【０００７】本発明は、以上のような点を鑑み、上記の
ような、画像撮影時に輝度調整がしきれない場合、およ
び、撮影済の画像の輝度修正に対する問題点に着目して
なされたもので、輝度の変動には比較的頑健である特徴
の画像間の対応関係を、例えばセグメントベーストステ
レオ法などで求め、その対応部分の輝度情報を用いてス
テレオ画像の輝度修正を行う方法を提供することを目的
としている。
ような、画像撮影時に輝度調整がしきれない場合、およ
び、撮影済の画像の輝度修正に対する問題点に着目して
なされたもので、輝度の変動には比較的頑健である特徴
の画像間の対応関係を、例えばセグメントベーストステ
レオ法などで求め、その対応部分の輝度情報を用いてス
テレオ画像の輝度修正を行う方法を提供することを目的
としている。
【０００８】
【課題を解決するための手段】本発明に係るステレオ画
像の輝度修正方法は、ステレオ画像において、エッジを
検出して局所的形状によりセグメントに分割し、セグメ
ントの特徴量を求める工程と、前記特徴量に基づき、セ
グメントを対応単位とするステレオ対応探索処理により
ステレオ画像間の対応関係を求める工程と、ステレオ画
像において、対応部分から遮蔽輪郭線部分を除去する工
程と、ステレオ画像において、対応関係にある点列の輝
度情報を用いて画像の輝度修正を行う工程を有するよう
にしたものである。また、本発明に係るステレオ画像の
輝度修正装置は、ステレオ画像において、エッジを検出
して局所的形状によりセグメントに分割し、セグメント
の特徴量を求める手段と、前記特徴量に基づき、セグメ
ントを対応単位とするステレオ対応探索処理によりステ
レオ画像間の対応関係を求める手段と、ステレオ画像に
おいて、対応部分から遮蔽輪郭線部分を除去する手段
と、ステレオ画像において、対応関係にある点列の輝度
情報を用いて画像の輝度修正を行う手段を備えたもので
ある。
像の輝度修正方法は、ステレオ画像において、エッジを
検出して局所的形状によりセグメントに分割し、セグメ
ントの特徴量を求める工程と、前記特徴量に基づき、セ
グメントを対応単位とするステレオ対応探索処理により
ステレオ画像間の対応関係を求める工程と、ステレオ画
像において、対応部分から遮蔽輪郭線部分を除去する工
程と、ステレオ画像において、対応関係にある点列の輝
度情報を用いて画像の輝度修正を行う工程を有するよう
にしたものである。また、本発明に係るステレオ画像の
輝度修正装置は、ステレオ画像において、エッジを検出
して局所的形状によりセグメントに分割し、セグメント
の特徴量を求める手段と、前記特徴量に基づき、セグメ
ントを対応単位とするステレオ対応探索処理によりステ
レオ画像間の対応関係を求める手段と、ステレオ画像に
おいて、対応部分から遮蔽輪郭線部分を除去する手段
と、ステレオ画像において、対応関係にある点列の輝度
情報を用いて画像の輝度修正を行う手段を備えたもので
ある。
【０００９】
【発明の実施の形態】本発明に係るステレオ画像の輝度
修正方法及び装置は、ステレオ画像において、エッジを
検出して局所的形状によりセグメントに分割し、セグメ
ントの特徴量を求め、前記特徴量に基づき、セグメント
を対応単位とするステレオ対応探索処理によりステレオ
画像間の対応関係を求め、ステレオ画像において、対応
部分から遮蔽輪郭線部分を除去し、ステレオ画像におい
て、対応関係にある点列の輝度情報を用いて画像の輝度
修正を行うものである。図２はその工程を示す工程図で
ある。以下、図３〜図１８の各図とともにステレオ画像
の輝度修正過程について、順を追って説明する。
修正方法及び装置は、ステレオ画像において、エッジを
検出して局所的形状によりセグメントに分割し、セグメ
ントの特徴量を求め、前記特徴量に基づき、セグメント
を対応単位とするステレオ対応探索処理によりステレオ
画像間の対応関係を求め、ステレオ画像において、対応
部分から遮蔽輪郭線部分を除去し、ステレオ画像におい
て、対応関係にある点列の輝度情報を用いて画像の輝度
修正を行うものである。図２はその工程を示す工程図で
ある。以下、図３〜図１８の各図とともにステレオ画像
の輝度修正過程について、順を追って説明する。
【００１０】（１）エッジ検出（Ｓ１） まず、領域を分ける境界線、つまり、輝度変化が大きい
部分で、エッジを検出する。複数枚の画像で構成される
ステレオ画像（図３）の各画像に対して、例えば、図４
に示すような３×３の窓を持つＳｏｂｅｌオペレータの
積和を各点で計算し、非極大値を消去した後、閾値と比
較した結果により延長の画像処理を施すことによって、
図５に示すようなエッジ部分を抽出する。ここで言うエ
ッジは、画素点の集まり、つまり、点列である。ここで
検出したエッジ部分は輝度変化の大きい部分で、領域と
領域を分割する境界線であり、ステレオ画像間で絶対的
な輝度の一致がなくても、上記のような手法でほぼ同じ
場所にエッジは検出される。それゆえに、この特徴量は
輝度変化に対する依存性が低く、頑健である。
部分で、エッジを検出する。複数枚の画像で構成される
ステレオ画像（図３）の各画像に対して、例えば、図４
に示すような３×３の窓を持つＳｏｂｅｌオペレータの
積和を各点で計算し、非極大値を消去した後、閾値と比
較した結果により延長の画像処理を施すことによって、
図５に示すようなエッジ部分を抽出する。ここで言うエ
ッジは、画素点の集まり、つまり、点列である。ここで
検出したエッジ部分は輝度変化の大きい部分で、領域と
領域を分割する境界線であり、ステレオ画像間で絶対的
な輝度の一致がなくても、上記のような手法でほぼ同じ
場所にエッジは検出される。それゆえに、この特徴量は
輝度変化に対する依存性が低く、頑健である。
【００１１】（２）セグメント抽出（Ｓ２） 検出されたエッジをその局所的形状により、図６に示す
特徴点：分岐点、屈折点、変曲点、遷移点でセグメント
に分割する。分岐点は、その点から線分が３本以上分岐
している点であり、屈折点は角度の異なる直線と直線を
結ぶ点である。変曲点は、曲率の違う曲線と曲線を結ぶ
点であり、遷移点は直線と曲線を結ぶ点である。この特
徴点間の点の集まりによって構成される線分をセグメン
トと呼ぶ。
特徴点：分岐点、屈折点、変曲点、遷移点でセグメント
に分割する。分岐点は、その点から線分が３本以上分岐
している点であり、屈折点は角度の異なる直線と直線を
結ぶ点である。変曲点は、曲率の違う曲線と曲線を結ぶ
点であり、遷移点は直線と曲線を結ぶ点である。この特
徴点間の点の集まりによって構成される線分をセグメン
トと呼ぶ。
【００１２】（３）セグメント情報獲得（Ｓ３） 各セグメントは点の集まりである点列によって構成さ
れ、セグメントの形状、長さ、方向、輝度などの各セグ
メントが有する特徴量を計算する。特徴量であるセグメ
ントの形状は、図７に示すように、直線，凹曲線，凸曲
線の３種類に分類する。曲線の凹凸の判定は、セグメン
トが属する領域がセグメントの向きに対して右側に見る
ようにした場合に領域に食い込むような場合は凹曲線、
領域を包むような場合は凸曲線としている。セグメント
の長さは、セグメントを構成する点列の点の数を長さと
して定義する。セグメントの方向はセグメントの始点か
ら終点への画像面上での向きを意味する。また、セグメ
ントを構成する各点における輝度情報を求める手法を図
８を用いて説明する。まず、領域１と領域２を分ける境
界線であるセグメント上にある点は領域を分割する点で
あり、領域１と領域２の両方に属する点である。そこ
で、この点の輝度情報として、領域１の情報、領域２の
情報の両方を与える。まず、領域１に関する情報とし
て、注目点における接線方向と垂直で、領域１の方向を
向く法線を求める。その法線方向上にある近傍点におい
て、微分値を計算する。近傍の点のうち、微分値が一番
小さい点を求め、その輝度値と微分値を注目点の領域１
の輝度情報とする。輝度情報はこのようにエッジ部分そ
れ自身の輝度情報ではなく、その点が属する領域での輝
度情報を反映した点の情報を与えることになる。この注
目点の領域２に関する輝度情報も同様に求めることがで
きる。この処理をセグメントを構成する各エッジ点に対
して行う。
れ、セグメントの形状、長さ、方向、輝度などの各セグ
メントが有する特徴量を計算する。特徴量であるセグメ
ントの形状は、図７に示すように、直線，凹曲線，凸曲
線の３種類に分類する。曲線の凹凸の判定は、セグメン
トが属する領域がセグメントの向きに対して右側に見る
ようにした場合に領域に食い込むような場合は凹曲線、
領域を包むような場合は凸曲線としている。セグメント
の長さは、セグメントを構成する点列の点の数を長さと
して定義する。セグメントの方向はセグメントの始点か
ら終点への画像面上での向きを意味する。また、セグメ
ントを構成する各点における輝度情報を求める手法を図
８を用いて説明する。まず、領域１と領域２を分ける境
界線であるセグメント上にある点は領域を分割する点で
あり、領域１と領域２の両方に属する点である。そこ
で、この点の輝度情報として、領域１の情報、領域２の
情報の両方を与える。まず、領域１に関する情報とし
て、注目点における接線方向と垂直で、領域１の方向を
向く法線を求める。その法線方向上にある近傍点におい
て、微分値を計算する。近傍の点のうち、微分値が一番
小さい点を求め、その輝度値と微分値を注目点の領域１
の輝度情報とする。輝度情報はこのようにエッジ部分そ
れ自身の輝度情報ではなく、その点が属する領域での輝
度情報を反映した点の情報を与えることになる。この注
目点の領域２に関する輝度情報も同様に求めることがで
きる。この処理をセグメントを構成する各エッジ点に対
して行う。
【００１３】（４）セグメント対応（Ｓ４） ステレオ画像において、ステップＳ２、Ｓ３で求めたセ
グメントを対応単位として対応を求める。今回は一例と
して、セグメントベーストステレオ法による対応検索方
法を示す。その処理手順は図９に示すものであり、この
順に従って説明する。
グメントを対応単位として対応を求める。今回は一例と
して、セグメントベーストステレオ法による対応検索方
法を示す。その処理手順は図９に示すものであり、この
順に従って説明する。
【００１４】まず、ステレオ画像間で対応関係が成り立
つセグメントの組、対応候補を見つける。ステレオ画像
間において、一方の画像のある点に対応するもう一方の
点は図１０に示すように２つのカメラの焦点の位置と観
測している点で構成される平面と画像面が交差する直線
上に存在する。これをエピポーラ線と呼び、対応点探索
は画像全体ではなく、このエピポーラ線上のみを探索す
ればよい。これをエピポーラ条件と呼ぶ。そこで、セグ
メントの対応関係を求める際、このエピポーラ条件を用
いる。この条件を満し、かつ、ステップＳ３で求めたセ
グメントの特徴量であるセグメントの形状、方向、輝度
などが類似していて、矛盾しないセグメントの組を探
し、すべての条件を満すものを対応候補とする。そし
て、その対応候補の輝度、長さを考慮して局所類似度を
求める。
つセグメントの組、対応候補を見つける。ステレオ画像
間において、一方の画像のある点に対応するもう一方の
点は図１０に示すように２つのカメラの焦点の位置と観
測している点で構成される平面と画像面が交差する直線
上に存在する。これをエピポーラ線と呼び、対応点探索
は画像全体ではなく、このエピポーラ線上のみを探索す
ればよい。これをエピポーラ条件と呼ぶ。そこで、セグ
メントの対応関係を求める際、このエピポーラ条件を用
いる。この条件を満し、かつ、ステップＳ３で求めたセ
グメントの特徴量であるセグメントの形状、方向、輝度
などが類似していて、矛盾しないセグメントの組を探
し、すべての条件を満すものを対応候補とする。そし
て、その対応候補の輝度、長さを考慮して局所類似度を
求める。
【００１５】次に、求めた対応候補同志の接続性を調べ
る。それぞれの画像において、構成するセグメントが滑
らかに接続したり、同じような形状を構成したりするか
を、 （ａ）セグメント間の距離の差 （ｂ）セグメント間の輝度の差 （ｃ）セグメントのなす角度の差 の３要素で評価し、これらの条件をすべて満す対応候補
は接続していると見なす処理を行う。
る。それぞれの画像において、構成するセグメントが滑
らかに接続したり、同じような形状を構成したりするか
を、 （ａ）セグメント間の距離の差 （ｂ）セグメント間の輝度の差 （ｃ）セグメントのなす角度の差 の３要素で評価し、これらの条件をすべて満す対応候補
は接続していると見なす処理を行う。
【００１６】この求めた接続性を基に、一方の画像の境
界線と類似したセグメントの集まりをもう一方の画像中
から求める処理を行う。つまり、同じような形をした境
界線を見つけ出す処理を行う。ここでは接続しているセ
グメント群（以後、パスと呼ぶ）の局所的な類似度の和
集合を求め、パスの類似度としてパスを構成する各対応
候補のセグメントにパスの類似度を与える。これは局所
的な類似性ではなく、境界線の形状の類似性を鑑みた処
理であり、大局的な類似性を意味するものである。
界線と類似したセグメントの集まりをもう一方の画像中
から求める処理を行う。つまり、同じような形をした境
界線を見つけ出す処理を行う。ここでは接続しているセ
グメント群（以後、パスと呼ぶ）の局所的な類似度の和
集合を求め、パスの類似度としてパスを構成する各対応
候補のセグメントにパスの類似度を与える。これは局所
的な類似性ではなく、境界線の形状の類似性を鑑みた処
理であり、大局的な類似性を意味するものである。
【００１７】そして、求めた類似度を評価基準として、
選ばれた対応候補の中から対応が重なり合わない、つま
り、対応関係が一対一になる正しい対応を求める。つま
り、一方の画像のあるセグメントに対して、もう一方の
画像の複数のセグメントが候補として残っている場合、
先に求めた類似度を大きさでソートして、類似度の一番
大きいものを正しい対応として残し、それ以外のものは
類似度の大きいものから、既に求めた対応セグメントと
対応区間が重ならないものを残す処理を行うことであ
る。この処理により求まったセグメントは図１１の太線
部分である。
選ばれた対応候補の中から対応が重なり合わない、つま
り、対応関係が一対一になる正しい対応を求める。つま
り、一方の画像のあるセグメントに対して、もう一方の
画像の複数のセグメントが候補として残っている場合、
先に求めた類似度を大きさでソートして、類似度の一番
大きいものを正しい対応として残し、それ以外のものは
類似度の大きいものから、既に求めた対応セグメントと
対応区間が重ならないものを残す処理を行うことであ
る。この処理により求まったセグメントは図１１の太線
部分である。
【００１８】（５）遮蔽輪郭線除去（Ｓ５） ただし、ステップＳ４で求めた対応候補は図１２に示す
ような曲面の輪郭線、つまり、見る方向によって見える
輪郭線が異なる、見かけ上の輪郭線である遮蔽輪郭線も
含まれている。図１２の例のように視点１と視点２から
見える球の輪郭線は実際には異なる位置にあらわれる。
視点間の移動が小さい場合などはその位置ずれはほとん
ど問題にならない。そこで、ステップＳ４で述べた対応
評価の際には無視できるものとして対応に残している。
これは前述のように対応の評価をセグメントの接続性に
基づいて行っているからである。しかし、輝度修正にお
いては、遮蔽輪郭線の対応部分は厳密には真の対応では
ないため、この遮蔽輪郭線は用いるべきではない。修正
には真の輪郭線である固定エッジセグメントの対応関係
だけを使用する必要がある。
ような曲面の輪郭線、つまり、見る方向によって見える
輪郭線が異なる、見かけ上の輪郭線である遮蔽輪郭線も
含まれている。図１２の例のように視点１と視点２から
見える球の輪郭線は実際には異なる位置にあらわれる。
視点間の移動が小さい場合などはその位置ずれはほとん
ど問題にならない。そこで、ステップＳ４で述べた対応
評価の際には無視できるものとして対応に残している。
これは前述のように対応の評価をセグメントの接続性に
基づいて行っているからである。しかし、輝度修正にお
いては、遮蔽輪郭線の対応部分は厳密には真の対応では
ないため、この遮蔽輪郭線は用いるべきではない。修正
には真の輪郭線である固定エッジセグメントの対応関係
だけを使用する必要がある。
【００１９】そこで、次に遮蔽輪郭線を除く処理を行
う。一般に、遮蔽輪郭線部分の輝度変化は大きいため、
セグメントを構成する点列の各点における輝度情報の微
分値が大きくなる。この性質を利用して、対応点の輝度
情報の微分値を閾値と比較することにより、対応セグメ
ントの中から遮蔽輪郭線を除く。また、３眼以上の多眼
ステレオ画像の場合には、図１３に示すように視点１と
視点２から求まる対応点を他の視点３から観測すると、
真の輪郭線でない場合はその部分に輪郭線を検出できな
い。つまり、他の視点からの画像を検証用画像として用
い、検出位置のずれから遮蔽輪郭線を除くこともでき
る。遮蔽輪郭線部分を除去した後の結果は図１４とな
る。
う。一般に、遮蔽輪郭線部分の輝度変化は大きいため、
セグメントを構成する点列の各点における輝度情報の微
分値が大きくなる。この性質を利用して、対応点の輝度
情報の微分値を閾値と比較することにより、対応セグメ
ントの中から遮蔽輪郭線を除く。また、３眼以上の多眼
ステレオ画像の場合には、図１３に示すように視点１と
視点２から求まる対応点を他の視点３から観測すると、
真の輪郭線でない場合はその部分に輪郭線を検出できな
い。つまり、他の視点からの画像を検証用画像として用
い、検出位置のずれから遮蔽輪郭線を除くこともでき
る。遮蔽輪郭線部分を除去した後の結果は図１４とな
る。
【００２０】（６）輝度修正式計算（Ｓ６） 求まったセグメントの対応から、そのセグメントを構成
する点列の輝度情報の輝度値の関係が求まり、ステレオ
画像間の輝度の関係を求めることができる。基準となる
画像の基準画像をＩ１、輝度修正を被る画像をＩ２とし
て、輝度値に関して画像間（Ｉ１，Ｉ２）の対応点の輝
度分布は図１５のようになり、この分布から画像間の輝
度修正式を求める。対応点が正しければ、点はほぼ直線
上に分布するので、直線の修正式を計算する。
する点列の輝度情報の輝度値の関係が求まり、ステレオ
画像間の輝度の関係を求めることができる。基準となる
画像の基準画像をＩ１、輝度修正を被る画像をＩ２とし
て、輝度値に関して画像間（Ｉ１，Ｉ２）の対応点の輝
度分布は図１５のようになり、この分布から画像間の輝
度修正式を求める。対応点が正しければ、点はほぼ直線
上に分布するので、直線の修正式を計算する。
【００２１】Ｉ２（０） ＝ ａ Ｉ１ ＋ ｂ ａ，ｂ：係数 Ｉｉ（ｎ）：ｎ回修正後の画像Ｉｉ
【００２２】Ｉｉ（０）はＩｉと同じである。画像Ｉ
１，Ｉ２の対応点の輝度情報のうち輝度値を用いて、当
てはめ誤差が最小になるように、最小自乗法を用いて、
補正式の係数ａ，ｂを計算する。
１，Ｉ２の対応点の輝度情報のうち輝度値を用いて、当
てはめ誤差が最小になるように、最小自乗法を用いて、
補正式の係数ａ，ｂを計算する。
【００２３】（７）輝度修正（Ｓ７） 得られた修正式を基に画像Ｉ２（０）の輝度修正を行
い、修正画像Ｉ２（１）を求める。被修正画像Ｉ２
（０）とその修整画像Ｉ２（１）の関係式は以下のよう
になる。
い、修正画像Ｉ２（１）を求める。被修正画像Ｉ２
（０）とその修整画像Ｉ２（１）の関係式は以下のよう
になる。
【００２４】Ｉ２（０） ＝ ａ Ｉ２（１） ＋ ｂ 基準画像Ｉ１と輝度修正された画像Ｉ２（１）を入力ス
テレオ画像としてＳ１から同様な処理を繰り返し、修正
式がほぼＩ２（ｎ） ＝ Ｉ１になるまでｎ回繰り返す。
この繰り返し処理の補正式の係数ａ，ｂの推移は図１６
となり、ほぼａ＝ １，ｂ ＝ ０となっている。繰り返
し処理の結果、画像Ｉ１とＩ２（ｎ）の輝度分布は図１
７のようになる（この例ではｎ ＝ ６）。この処理によ
り得られた修正画像は図１８となる。
テレオ画像としてＳ１から同様な処理を繰り返し、修正
式がほぼＩ２（ｎ） ＝ Ｉ１になるまでｎ回繰り返す。
この繰り返し処理の補正式の係数ａ，ｂの推移は図１６
となり、ほぼａ＝ １，ｂ ＝ ０となっている。繰り返
し処理の結果、画像Ｉ１とＩ２（ｎ）の輝度分布は図１
７のようになる（この例ではｎ ＝ ６）。この処理によ
り得られた修正画像は図１８となる。
【００２５】以上の（１）〜（７）の処理によって、画
像データ自身を用いて、ステレオ画像を輝度対応がより
正確な修正画像に変換することができる。
像データ自身を用いて、ステレオ画像を輝度対応がより
正確な修正画像に変換することができる。
【００２６】
【発明の効果】以上のように、本発明によれば、輝度変
動に比較的頑健である特徴量の対応関係から、その対応
部分の輝度情報を用いて画像の輝度修正を行うことがで
き、相関法などにより３次元幾何形状復元を正しくでき
るという効果があり、産業用視覚システムやロボットに
視覚を与えるために利用することができる。
動に比較的頑健である特徴量の対応関係から、その対応
部分の輝度情報を用いて画像の輝度修正を行うことがで
き、相関法などにより３次元幾何形状復元を正しくでき
るという効果があり、産業用視覚システムやロボットに
視覚を与えるために利用することができる。
【図１】テクスチャ領域とシェイジング領域の相関を示
す図である。
す図である。
【図２】本発明に係る画像修正を示す工程図である。
【図３】原画像を示す図である。
【図４】Ｓｏｂｅｌオペレータを示す図である。
【図５】エッジを示す図である。
【図６】特徴点を示す図である。
【図７】セグメントの形状分類を示す図である。
【図８】セグメントを構成する点列の各点が持つ輝度情
報を示す図である。
報を示す図である。
【図９】セグメントベーストステレオ法の処理手順を示
す図である。
す図である。
【図１０】エピポーラ条件を示す図である。
【図１１】セグメントベーストステレオ法により求まっ
た対応セグメントを示す図である。
た対応セグメントを示す図である。
【図１２】遮蔽輪郭線を示す図である。
【図１３】遮蔽輪郭線を除去する方法を示す図である。
【図１４】遮蔽輪郭線部分を除去した後の対応セグメン
トを示す図である。
トを示す図である。
【図１５】原画像に対する輝度分布を示す図である。
【図１６】繰り返し処理の輝度補正式の係数の推移を示
す図である。
す図である。
【図１７】輝度修整後の輝度分布を示す図である。
【図１８】輝度修正された画像を示す図である。
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 2F065 AA12 AA53 BB05 DD00 FF02 FF05 FF09 PP25 QQ31 SS02 SS13 5B057 AA05 CE11 DA07 DB03 DC09 DC16 DC32
Claims (6)
- 【請求項１】ステレオ画像において、エッジを検出して
局所的形状によりセグメントに分割し、セグメントの特
徴量を求める工程と、 前記特徴量に基づき、セグメントを対応単位とするステ
レオ対応探索処理によりステレオ画像間の対応関係を求
める工程と、 ステレオ画像において、対応部分から遮蔽輪郭線部分を
除去する工程と、 ステレオ画像において、対応関係にある点列の輝度情報
を用いて画像の輝度修正を行う工程と、を備えたステレ
オ画像の輝度修正方法。 - 【請求項２】前記セグメントの特徴量を求める工程は、 セグメントを構成するエッジ上の点列の輝度情報を、エ
ッジ上の点のそれ自身の輝度値ではなく、その点が属す
る領域での輝度情報を反映した点の情報とすることから
成る請求項１に記載のステレオ画像の輝度修正方法。 - 【請求項３】前記エッジ点の輝度情報は、 分割される両方の領域の輝度情報を持ち、エッジ点にお
ける接線方向と垂直で、各領域の方向を向く法線を求
め、法線方向上にある近傍点において、微分値を計算
し、そのうち微分値が一番小さい点を求め、その輝度値
と微分値を注目点の各領域の輝度情報とすることから成
る請求項１又は請求項２に記載のステレオ画像の輝度修
正方法。 - 【請求項４】前記遮蔽輪郭線部分を除去する工程は、 遮蔽輪郭線上のエッジ点の輝度情報の微分値が真の輪郭
線上の固定エッジ点での微分値より大きくなる性質を利
用して、遮蔽輪郭線部分の対応点列を除去することから
成る請求項１〜請求項３のいずれかに記載のステレオ画
像の輝度修正方法。 - 【請求項５】前記画像の輝度修正を行う工程は、 ステレオ画像において、対応関係にある点列の輝度情報
の輝度値が一致するように画像全体の輝度を修正するこ
とから成る請求項１〜請求項４のいずれかに記載のステ
レオ画像の輝度修正方法。 - 【請求項６】ステレオ画像において、エッジを検出して
局所的形状によりセグメントに分割し、セグメントの特
徴量を求める手段と、 前記特徴量に基づき、セグメントを対応単位とするステ
レオ対応探索処理によりステレオ画像間の対応関係を求
める手段と、 ステレオ画像において、対応部分から遮蔽輪郭線部分を
除去する手段と、 ステレオ画像において、対応関係にある点列の輝度情報
を用いて画像の輝度修正を行う手段と、を備えたステレ
オ画像の輝度修正装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10279868A JP2958462B1 (ja) | 1998-10-01 | 1998-10-01 | ステレオ画像の輝度修正方法及び装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10279868A JP2958462B1 (ja) | 1998-10-01 | 1998-10-01 | ステレオ画像の輝度修正方法及び装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2958462B1 JP2958462B1 (ja) | 1999-10-06 |
| JP2000111321A true JP2000111321A (ja) | 2000-04-18 |
Family
ID=17617074
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10279868A Expired - Lifetime JP2958462B1 (ja) | 1998-10-01 | 1998-10-01 | ステレオ画像の輝度修正方法及び装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2958462B1 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7162074B2 (en) | 2001-11-20 | 2007-01-09 | Fuji Jukogyo Kabushiki Kaisha | Adjusting apparatus for stereoscopic camera |
| JP2012103815A (ja) * | 2010-11-08 | 2012-05-31 | National Institute Of Advanced Industrial & Technology | 画像処理方法、画像処理プログラム、これを記憶したコンピュータ読み取り可能な記憶媒体、及び画像処理装置 |
| JP2013500536A (ja) * | 2009-07-29 | 2013-01-07 | イーストマン コダック カンパニー | 立体画像対における遠近感および視差の調整 |
-
1998
- 1998-10-01 JP JP10279868A patent/JP2958462B1/ja not_active Expired - Lifetime
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7162074B2 (en) | 2001-11-20 | 2007-01-09 | Fuji Jukogyo Kabushiki Kaisha | Adjusting apparatus for stereoscopic camera |
| JP2013500536A (ja) * | 2009-07-29 | 2013-01-07 | イーストマン コダック カンパニー | 立体画像対における遠近感および視差の調整 |
| JP2012103815A (ja) * | 2010-11-08 | 2012-05-31 | National Institute Of Advanced Industrial & Technology | 画像処理方法、画像処理プログラム、これを記憶したコンピュータ読み取り可能な記憶媒体、及び画像処理装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2958462B1 (ja) | 1999-10-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7822267B2 (en) | Enhanced object reconstruction | |
| EP1944734B1 (en) | Distance correcting apparatus of surrounding monitoring system and vanishing point correcting apparatus thereof | |
| US8593524B2 (en) | Calibrating a camera system | |
| JP5955028B2 (ja) | 画像処理装置、画像処理方法および画像処理用のプログラム | |
| Wedel et al. | Detection and segmentation of independently moving objects from dense scene flow | |
| CN107424196B (zh) | 一种基于弱标定多目相机的立体匹配方法、装置及系统 | |
| CN113744315B (zh) | 一种基于双目视觉的半直接视觉里程计 | |
| US6480620B1 (en) | Method of and an apparatus for 3-dimensional structure estimation | |
| CN110800020B (zh) | 一种图像信息获取方法、图像处理设备及计算机存储介质 | |
| JP2958462B1 (ja) | ステレオ画像の輝度修正方法及び装置 | |
| Um et al. | Three-dimensional scene reconstruction using multiview images and depth camera | |
| Sato et al. | Efficient hundreds-baseline stereo by counting interest points for moving omni-directional multi-camera system | |
| JP3728460B2 (ja) | ステレオカメラの最適配置決定方法とそのシステム | |
| KR102125750B1 (ko) | 실루엣 기반 3d 영상 복원 장치 및 방법 | |
| JPH10289315A (ja) | 視差算出装置、距離算出装置およびこれらの方法 | |
| Pedersini et al. | Multi-camera parameter tracking | |
| JP3870255B2 (ja) | ３次元復元方法及び装置 | |
| Cornou et al. | Bundle adjustment: a fast method with weak initialisation. | |
| CN110706334B (zh) | 一种基于三目视觉的工业部件三维重构方法 | |
| KR20030015625A (ko) | 정육면체 프레임을 이용한 카메라 보정이 필요없는 물체의3차원 구조 복원 방법 | |
| Elias | Wide baseline matching through homographic transformation | |
| JP2004259043A (ja) | 向き方向検出装置および向き方向検出方法 | |
| CN109478326B (zh) | 一种图像处理方法、终端设备及计算机存储介质 | |
| Megyesi et al. | Surface normal aided dense reconstruction from images | |
| JPH02216413A (ja) | 距離計測方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |