JP2004177295A - 距離情報選択方法及び距離情報選択装置 - Google Patents
距離情報選択方法及び距離情報選択装置 Download PDFInfo
- Publication number
- JP2004177295A JP2004177295A JP2002344718A JP2002344718A JP2004177295A JP 2004177295 A JP2004177295 A JP 2004177295A JP 2002344718 A JP2002344718 A JP 2002344718A JP 2002344718 A JP2002344718 A JP 2002344718A JP 2004177295 A JP2004177295 A JP 2004177295A
- Authority
- JP
- Japan
- Prior art keywords
- image
- road surface
- distance
- distance information
- conversion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
【課題】両眼視画像を使用して不要な距離情報を削除する。
【解決手段】車両前方左右両端にカメラを1台ずつ設け、車両の進行方向にカメラの軸線を併せる。このようにして得られた2つのカメラ画像のうち、一方のカメラ画像を、変換後の路面の画像が他方のカメラ画像の路面と一致するような変換を行う。原点を消失点、左カメラ画像上水平右方向にx軸、x軸に垂直上方向にy軸、右カメラ画像上水平右方向にx’軸、x’軸に垂直上方向にy’軸をとり、aは正の定数としてx’=x+ay、y’=yである。これにより障害物、水平線より上の画像も併せて変換する。この変換後の左カメラ画像と右カメラ画像の各画素の輝度の差分画像の、輝度の不一致領域をもとめる。次に任意手段により障害物までの距離と方角からなる距離情報と、不一致領域とを進行方向と左右方向を各々軸とする平面上に展開し、不一致領域中の距離情報のみ選択する。
【選択図】 図11
【解決手段】車両前方左右両端にカメラを1台ずつ設け、車両の進行方向にカメラの軸線を併せる。このようにして得られた2つのカメラ画像のうち、一方のカメラ画像を、変換後の路面の画像が他方のカメラ画像の路面と一致するような変換を行う。原点を消失点、左カメラ画像上水平右方向にx軸、x軸に垂直上方向にy軸、右カメラ画像上水平右方向にx’軸、x’軸に垂直上方向にy’軸をとり、aは正の定数としてx’=x+ay、y’=yである。これにより障害物、水平線より上の画像も併せて変換する。この変換後の左カメラ画像と右カメラ画像の各画素の輝度の差分画像の、輝度の不一致領域をもとめる。次に任意手段により障害物までの距離と方角からなる距離情報と、不一致領域とを進行方向と左右方向を各々軸とする平面上に展開し、不一致領域中の距離情報のみ選択する。
【選択図】 図11
Description
【0001】
【発明の属する技術分野】
本発明は、予め位置及び撮像方向の定められた2つの撮像装置により撮像された2つの撮像画像を用いて、それらから又は他の方法により得られた距離情報から妥当な距離情報を選択する技術に関する。本発明は路面上を走行する車両が先行車両等の障害物迄の距離を認識するために特に有用である。
【0002】
【従来の技術】
いわゆる両眼視により得られた2つの撮像画像から、一致度の高い画素領域の視差情報を求め、予め位置及び撮像方向の定められた2つの撮像装置からの距離を決定する方法については広く知られている。例えば特許文献1及び非特許文献1参照。
【0003】
【特許文献1】
特開 2001−243456
【非特許文献1】
徐剛、辻三郎共著、「3次元ビジョン」、初版2刷、共立出版、平成11年5月25日、pp. 95−103
【0004】
この技術を、図1により説明する。図1は、車両前方右端及び左端に設置され、その撮像中心が車両の進行方向である消失点となり、且つ水平線の位置が互いに一致するよう設定された、2つのカメラによる撮像画像を示す。図1の(a)が左カメラ画像、図1の(b)が右カメラ画像であり、先行する車両の後部が撮影されている。尚、白線部分は路面標示された走行レーンであるが、説明のため連続線で且つ車両の幅員に略等しくした。
【0005】
ここで一方を基準画像とし、複数個の画素で構成される探索のための単位領域を決める。図1では(b)の右カメラ画像を基準画像とし、単位領域ARについて、(a)の左カメラ画像の単位領域の中から最も構成画素の輝度の一致度の高い領域を探索する。図1の(a)と(b)とを目視すれば、(b)の右カメラ画像の単位領域ARと一致するのは(a)の左カメラ画像の単位領域ALであることは容易に理解できる。しかし、CPUにより視差探索を行うためには、例えば単位領域ARと縦軸上の位置が一致し、横軸方向にある程度の範囲をもたせた、図1(a)の左カメラ画像の被探索範囲RLの各単位領域全てと一致度を比較する必要がある。
【0006】
【発明が解決しようとする課題】
ところで一致度の計算には例えば上記非特許文献1にもあるような相関値を求める他多数考えられるが、いずれも膨大な計算量を必要とし、単位領域ごとの一致度のみを基準としているため、本来対応していない左右のカメラ画像の単位領域同士を対応させてしまうという誤対応が頻繁に生ずる。
【0007】
これを図2に示す。図2の(a)、(b)は図1の(a)、(b)と同様の図であるが、図2(a)の単位領域E(AL)は、単位領域ALと画素構成が極めて似通っており、且つ図2(b)の単位領域ARに対する被探索範囲RLに入っているため、図2(b)の単位領域ARに対応づけられるという誤対応が生じかねない。
【0008】
ところで、図2で(b)の単位領域ARに(a)の単位領域E(AL)を対応づけた場合、その視差は大きいので、(a)の単位領域ALを対応づけた場合に算出される距離よりもずっと小さい距離が算出されることとなる。本発明はここに着目し、本来障害物が無い領域に、あたかも障害物が有るかの距離情報(距離及び方角)が得られても的確に排除する距離情報選択方法を提供するものである。
【0009】
【課題を解決するための手段】
上記の課題を解決するため、請求項1に記載の手段は、所望の範囲の障害物までの方角と距離とからなる1個以上の情報を得たのち、2つの撮像装置による2つの撮像画像又は1つの撮像装置の異なる位置における2つの撮像画像の一方を基準画像、他方を被探索画像として、路面を基準とする画像変換であって、前記被探索画像の変換後の路面画像が前記基準画像の路面画像と一致するような変換を前記被探索画像に対して行い、当該変換された被探索画像と、前記基準画像との各画素又は各領域の輝度の差による差分画像を求め、当該差分画像の輝度が所定値以上である不一致領域を各々一の閉曲線で囲まれた1個以上の領域として認識し、当該認識された一の閉曲線で囲まれた1個以上の領域を、前記基準画像を路面上に写像するか、又は前記方向と距離とからなる情報を画像上に変換し、当該領域内に存在する前記方角と距離とからなる情報のみを選択することを特徴とする距離情報選択方法である。
【0010】
また、請求項2に記載の手段は、請求項1に記載の距離情報選択方法において、前記路面を基準とする画像変換は、実際の路面の形状に拘わらず、路面を平面として推定することを特徴とする。また、請求項3に記載の手段は、前記不一致領域を決定するまでの画像変換と不一致領域を路面上の領域に写像する以降とで異なる解像度で行うことを特徴とする。
【0011】
また、請求項4に記載の手段は、2つの撮像装置による2つの撮像画像又は1つの撮像装置の異なる位置における2つの撮像画像の一方を基準画像、他方を被探索画像として、路面を基準とする画像変換であって、前記被探索画像の変換後の路面画像が前記基準画像の路面画像と一致するような変換を前記被探索画像に対して行う画像変換手段と、当該変換された被探索画像と、前記基準画像との各画素又は各領域の輝度の差による差分画像を求める差分画像作成手段と、当該差分画像の輝度が所定値以上である不一致領域を各々一の閉曲線で囲まれた1個以上の領域として認識する不一致領域決定手段と、当該認識された一の閉曲線で囲まれた1個以上の領域を、前記基準画像を路面上に写像するか、又は前記方向と距離とからなる情報を画像上に変換する対応手段と、外部装置である距離情報取得装置から、所望の範囲の障害物までの方角と距離とからなる1個以上の情報を得て、当該領域内に存在する前記方角と距離とからなる情報のみを選択する選択手段とを有することを特徴とする距離情報選択装置である。また、請求項5に記載の手段は、画像変換手段、前記差分画像作成手段、前記不一致領域決定手段、前記対応手段における解像度と、前記対応手段、前記選択手段における解像度とは異なるものであることを特徴とする請求項4に記載の距離情報選択装置である。
【0012】
【作用及び発明の効果】
本発明は障害物がある可能性の高い領域を、2つの画像から求め、それを路面上に写像して、距離情報がその障害物がある可能性の高い領域の外にあれば捨て、領域の中にあれば選択するものである。障害物がある可能性の高い領域を次のように求める。即ち、2つの画像から容易に得られる一方の変換画像と他方の画像との差分画像における輝度の所定値以上の不一致領域を各々一の閉曲線で囲まれた1個以上の領域として認識する。これにより、実際に障害物が有る場合には極めて確度の高い領域を設定できる。両眼視により距離情報を求める際に生じやすい誤対応による誤った距離情報も的確に捨てることが可能となる(請求項1)。
【0013】
路面は常に平面としてパラメータ等を仮定しても(請求項2)、また、2つの撮像画像から解像度を落したものについて用いても(請求項3)、問題は生じない。これらによって更に大幅な計算量の抑制が可能となる(請求項2、3)。
【0014】
このような方法は容易に装置として構成することが可能である(請求項4、5)。
【0015】
【発明の実施の形態】
本発明を図を用いて説明する。尚、本発明は以下の実施例に限定されるものではない。以下、車両前方左右にカメラを設置し、車両進行方向にカメラの消失点を有し、互いに水平線の位置が一致するような左右カメラ画像を仮定する。
【0016】
図1の(a)、(b)のように、左右カメラ画像が得られたとする。ここで、地上に道路表示以外何も無い状態であったとすると、それは図3の(a)、(b)のようである。図3の(a)の左カメラ画像において、車両が進行する走行レーンの左側表示をLLL、右側表示をLRLとする。また、図3の(b)の右カメラ画像において、車両が進行する走行レーンの左側表示をLLR、右側表示をLRRとする。図3の(a)図と、(b)図とを重ね、各レーンのエッジ線と水平線のみを示すと図4の(a)のようになる。ここで、各々2本の実線で示されたエッジを有するものが図4(a)の左カメラ画像の走行レーンの左側表示LLL、右側表示LRLであり、各々2本の点線で示されたエッジを有するものが図4(b)の右カメラ画像の走行レーンの左側表示LLR、右側表示LRRである。これから明らかなように、図3の(a)を変換して図3の(b)に重ねるためには、次のような画像変換をすれば良い。ただしここでは原点を消失点、左カメラ画像上水平右方向にx軸、x軸に垂直上方向にy軸をとり、右カメラ画像上水平右方向にx’軸、x’軸に垂直上方向にy’軸をとり、aは正の定数である。
【0017】
【数1】
x’=x+ay,
y’=y
【0018】
数1の関係を水平線よりも上方部分でも適用するならば、図4の(b)のようになる。ここで指摘しておくと、図4の(a)及び図4の(b)の水平線の下側で示された矢印の長さ、即ち左カメラ画像を右カメラ画像に路面が一致するように変換するものは、路面のカメラからの距離が近いほど、x座標が大きく変換される。今、レーンに垂直、即ちカメラの軸線に垂直に平面を立て、その平面上のの模様等を左カメラ画像と右カメラ画像で撮像したとする。ここで左カメラ画像を変換して右カメラ画像と重ね合わせる場合、当該レーンに垂直な平面が路面と交わる部分における変換量と同等にその平面上の全ての模様を変換しなければ左カメラ画像の変換画像の当該平面上の模様は右カメラ画像中の模様と一致しない。すると、図4の(b)のように、カメラからの距離に関係なく、左カメラ画像の水平線より下側の画像を「路面を変換する」のと同様に変換して右カメラ画像と比較すると、路面及び路面に密着した部分以外の障害物等の画像は、当該変換後の左カメラ画像と右カメラ画像とで必ずずれが生じることとなる。即ち、立体物等と路面が渾然一体となって撮像された左右カメラ画像において、左カメラ画像の路面が右カメラ画像のそれと一致するよう左カメラ画像の変換を行うと、左カメラ画像中の真の立体画像部分が歪んだ画像となる。
【0019】
そこで数1の関係(定数aは変換後の左カメラ画像と右カメラ画像の路面が一致するよう決定しておく)により図1(a)の左カメラ画像を変換すると図5のようになる。先行車両の画像は路面に密着した車輪部分から上が右方向に傾いたように変形している。次に図5の変換画像と図1(b)の右カメラ画像の輝度の差(絶対値とする)による差分画像をもとめると、大略図6のようになる。ここで、ボディや後部ガラスの輝度に変化無い部分は、互いに別の部分の画像であっても輝度の差分が0に近くなる。次に図6の画像を2値化すると図7のようになる。ここで図7の黒の閉曲線で囲まれた部分を略全て黒化するような処理を行うと図8のような1個の閉じた閉曲線で囲まれた領域ができる。この処理としては、例えば各画素に対し、自己を含む9個の隣接画素領域に黒(例えば2値化で1)の領域が2個以上あれば処理後も黒、1個以下ならば白(例えば2値化で0)とする処理を、図7の画像に4回以上行うことで可能である。
【0020】
さて、図8は仮想上の領域であるが、基本的には図1(b)の右カメラ画像における、障害物が存在する可能性の高い部分を示している。ここで図1(b)の右カメラ画像(横軸x’、縦軸y’)を、路面上に写像するような変換を考える。路面を右方向にx軸、縦方向を距離方向としてz軸とすると、図8においては水平線(z=∞)まで黒領域が達しているので、図9のような変換画像となる。尚、図1乃至8における横軸(x軸、x’軸)はあくまで画像中のそれであって、実空間上の水平方向軸ではないが、図9のx軸は実空間上の水平方向軸に対応するものである。
【0021】
一方、図1(a)、(b)(又は図2(a)、(b))の左右画像からの視差による距離情報、又は、レーダーその他の距離情報入手手段により、例えば図10のような距離情報が得られたとする。図10においても、路面上に写像したものであって、右方向にx軸、縦方向(上方向)を進行方向(距離)としてz軸としている。ここで図9の障害物のある可能性の高い領域と、図10の距離情報を重ねると、図11のように、図9の障害物のある可能性の高い領域の中にある距離情報と、当該領域の外にある距離情報とに分かれる。こうして、図12のように、障害物のある可能性の高い領域の中にある距離情報のみを選択することで、両眼視による誤対応や、その他の方法による誤認識による誤った距離情報を捨て、より確度の高い距離情報のみを選択することができる。
【0022】
上記の本発明は、具体的にはソフトウエア的にメモリとCPUによって実施できる。また、システムLSI等、ハードウエア的に処理する形でも実施可能である。これをフローチャートで説明する。以下において、本文中では「ステップ102等」との記載は図では「S102等」と記載し、本文中では「左カメラ画像」、「右カメラ画像」、「左及び右カメラ画像」との記載は図では「左画像」、「右画像」、「左右画像」と記載するものとする。左及び右カメラは上述の通り設定及び調整されており、左及び右カメラ画像はいずれも水平線がx軸、消失点が原点となるような画像であるものとする。
【0023】
〔実施例〕
本実施例は図13及び図14のフローチャートにより構成されるものである。まず、図13のステップ102において、左及び右カメラ画像の各画素の輝度が読み出されて記憶される。以下、本フローチャート終了まで、この読み出された各画素の輝度により左及び右カメラ画像が構成される。
【0024】
次にステップ104において、左カメラ画像から上記数1式により変換画像が作成される。次にステップ106において、変換画像の各画素の輝度と、同一座標の右カメラ画像の各画素の輝度の差の絶対値を当該座標の画素の輝度とする、差分画像が作成される。次にステップ108において、差分画像において輝度がある設定値よりも大きい画素の輝度を1、ある設定値よりも小さい画素の輝度を0として2値化画像を作成する。次にステップ110において、2値化画像を黒化する。黒化は輝度1が複数個近接してある部分についてより輝度1(黒)の画素を増加させて、2値化画像上の線を太く、黒部分をより面積を拡大するものである。この黒化は上述の通り、各画素に対し、自己を含む9個の隣接画素領域に黒(例えば2値化で1)の領域が2個以上あれば処理後も黒、1個以下ならば白(例えば2値化で0)とする処理を複数回繰り返す。
【0025】
次にステップ112において、黒化画像の閉じた領域を決定する。実質的には黒化画像の輝度1の部分をそのまま「閉じた領域」として良い。次にステップ114において、実空間のx−z座標系に当該「閉じた領域」を写像する。次に図14のフローチャートに移る。
【0026】
次にステップ116において、別途設けられた距離測定装置から、進行方向の一定範囲の距離情報を取得し、各距離情報を上記実空間のx−z座標系の座標を割り当てる。これは極座標系から直交座標系への変換が必要であれば行い、もともと距離測定装置からx−z座標系の座標として距離情報を得られるならば、各距離情報に番号を振って記憶することになる。次にステップ118において、各距離情報のフラグをOK、例えばフラグに1を立てておく。
【0027】
次にステップ120において、番号づけられた第1の距離情報のx−z座標系の座標を読み出す。次にステップ122において、当該距離情報の座標が、上記「閉じた領域」内かどうかを判定する。距離情報の座標が閉じた領域内あれば、ステップ124に進む。距離情報の座標が閉じた領域内でなければ、まずステップ126において当該距離情報のフラグをNG(例えば0)に変更した上、やはりステップ124に進む。次にステップ124において、全ての距離情報について「閉じた領域」の内か外かの判定が終了したかどうかが判定される。「閉じた領域」の内か外かの判定が終了していない距離情報があればステップ128に進み、次の距離情報のx−z座標系の座標を読み出し、ステップ122以下の処理を繰り返す。一方、ステップ124で、全ての距離情報について「閉じた領域」の内か外かの判定が終了したと判定されれば、処理を終了する。
【0028】
こうして、距離測定装置が出力する距離情報のうち、フラグがOKのもののみについてのちの処理に用いることで、距離測定装置が出力する誤った距離情報を捨てることができる。よって例えば左右カメラ画像の一致する画素領域の視差から距離を算定するような、誤認識の多い距離測定装置又は距離測定方法を用いる場合でも、適切に距離情報を取捨選択できる。
【0029】
〔変形例〕
図15は、図13を一部変更したものであり、上記実施例の変形例として構成されるものである。即ち、上記実施例の変形例として図15を前半、図14を後半として構成される。本変形例においては、閉じた領域の決定までを低解像度画像によるものである。左及び右カメラ画像の定解像度画像を粗左及び粗右カメラ画像と呼ぶものとする。
【0030】
まず、ステップ202において、左及び右カメラ画像が読み出され、記憶される。次にステップ204において、左及び右カメラ画像を順次読み出し、低解像度画像に変換して、粗左及び粗右カメラ画像として別途記憶する。低解像度画像への変換は、矩形状、例えば4個×4個の16個の画素ごとに輝度を平均して、1個の画素として都合1/16の画素数の画像を作れば良い。
【0031】
次にステップ206において、粗左カメラ画像から上記数1の変換公式により、粗変換画像を作成する。尚、低解像度画像の作成が正方形の画素を輝度平均させるものでない場合は、それに応じて数1の変換公式の定数aを調整する。次にステップ208において、粗変換画像と粗右カメラ画像の各画素の輝度の差の絶対値を当該画素の輝度とする粗差分画像を作成する。次にステップ210において、粗差分画像を2値化する。次にステップ212において黒化を行う。次にステップ214において「閉じた領域」を決定する。ここで閉じた領域は、上記実施例の図13のステップ118と同様にまず低解像度の黒化画像中の画素の座標として設定された後、右カメラ画像の解像度で、画素の座標として設定される。例えば粗差分画像中の1画素に対し、右カメラ画像の16画素を対応させ、当該右カメラ画像の16画素に全てフラグを立てる。
【0032】
以下は図14の処理と同様に処理される。本変形例は変換画像、差分画像、2値化、黒化、閉じた領域決定が低解像度画像で処理されるため、処理時間の短縮、記憶容量の抑制を図ることができ、処理装置の高速化及び小型化が可能となる。
【図面の簡単な説明】
【図1】(a)は車両前方左に固定されたカメラからの先行車両を含む画像、(b)は車両前方右に固定されたカメラからの先行車両を含む画像。
【図2】(a)、(b)は図1の(a)、(b)に対応する左右カメラ画像であって、誤対応を説明するための図。
【図3】(a)は車両前方左に固定されたカメラからの障害物のない、走行レーン表示のある地表のみの画像、(b)は車両前方右に固定されたカメラからの障害物のない、走行レーン表示のある地表のみの画像。
【図4】(a)は、図3(a)のエッジラインを実線で、図5の(b)のエッジラインを破線で示して重ね合わせて示すことによる、路面画像変換の説明図、(b)は、(a)の路面画像変換を水平線上方にも適用した変換の説明図
【図5】図4(b)の変換(数1)による図1(a)の変換画像。
【図6】図5と図1(b)の差分画像。
【図7】図6を2値化した変換図。
【図8】図7を1つの閉じた閉曲線で囲まれた領域とした図。
【図9】図8を路面上に写像した変換図。
【図10】任意の方法で得られた距離情報を路面上に写像した図。
【図11】図9と図10を重ね合わせた図。
【図12】図9の領域内にある図10の距離情報のみを選択した図。
【図13】実施例に係るフローチャートの前半。
【図14】実施例に係るフローチャートの後半。
【図15】変形例におけるフローチャートの前半。
【符号の説明】
下付きの「L」 左カメラ画像中のものを示す。
下付きの「R」 右カメラ画像中のものを示す。
AL,AR 視差探索のための単位領域
E(AL) ARに誤対応した左カメラ画像中の単位領域
RL 左カメラ画像中の単位領域ALについての被探索範囲
LLL,LLR 左右カメラ画像に撮像された左レーン
LRL,LRR 左右カメラ画像に撮像された右レーン
【発明の属する技術分野】
本発明は、予め位置及び撮像方向の定められた2つの撮像装置により撮像された2つの撮像画像を用いて、それらから又は他の方法により得られた距離情報から妥当な距離情報を選択する技術に関する。本発明は路面上を走行する車両が先行車両等の障害物迄の距離を認識するために特に有用である。
【0002】
【従来の技術】
いわゆる両眼視により得られた2つの撮像画像から、一致度の高い画素領域の視差情報を求め、予め位置及び撮像方向の定められた2つの撮像装置からの距離を決定する方法については広く知られている。例えば特許文献1及び非特許文献1参照。
【0003】
【特許文献1】
特開 2001−243456
【非特許文献1】
徐剛、辻三郎共著、「3次元ビジョン」、初版2刷、共立出版、平成11年5月25日、pp. 95−103
【0004】
この技術を、図1により説明する。図1は、車両前方右端及び左端に設置され、その撮像中心が車両の進行方向である消失点となり、且つ水平線の位置が互いに一致するよう設定された、2つのカメラによる撮像画像を示す。図1の(a)が左カメラ画像、図1の(b)が右カメラ画像であり、先行する車両の後部が撮影されている。尚、白線部分は路面標示された走行レーンであるが、説明のため連続線で且つ車両の幅員に略等しくした。
【0005】
ここで一方を基準画像とし、複数個の画素で構成される探索のための単位領域を決める。図1では(b)の右カメラ画像を基準画像とし、単位領域ARについて、(a)の左カメラ画像の単位領域の中から最も構成画素の輝度の一致度の高い領域を探索する。図1の(a)と(b)とを目視すれば、(b)の右カメラ画像の単位領域ARと一致するのは(a)の左カメラ画像の単位領域ALであることは容易に理解できる。しかし、CPUにより視差探索を行うためには、例えば単位領域ARと縦軸上の位置が一致し、横軸方向にある程度の範囲をもたせた、図1(a)の左カメラ画像の被探索範囲RLの各単位領域全てと一致度を比較する必要がある。
【0006】
【発明が解決しようとする課題】
ところで一致度の計算には例えば上記非特許文献1にもあるような相関値を求める他多数考えられるが、いずれも膨大な計算量を必要とし、単位領域ごとの一致度のみを基準としているため、本来対応していない左右のカメラ画像の単位領域同士を対応させてしまうという誤対応が頻繁に生ずる。
【0007】
これを図2に示す。図2の(a)、(b)は図1の(a)、(b)と同様の図であるが、図2(a)の単位領域E(AL)は、単位領域ALと画素構成が極めて似通っており、且つ図2(b)の単位領域ARに対する被探索範囲RLに入っているため、図2(b)の単位領域ARに対応づけられるという誤対応が生じかねない。
【0008】
ところで、図2で(b)の単位領域ARに(a)の単位領域E(AL)を対応づけた場合、その視差は大きいので、(a)の単位領域ALを対応づけた場合に算出される距離よりもずっと小さい距離が算出されることとなる。本発明はここに着目し、本来障害物が無い領域に、あたかも障害物が有るかの距離情報(距離及び方角)が得られても的確に排除する距離情報選択方法を提供するものである。
【0009】
【課題を解決するための手段】
上記の課題を解決するため、請求項1に記載の手段は、所望の範囲の障害物までの方角と距離とからなる1個以上の情報を得たのち、2つの撮像装置による2つの撮像画像又は1つの撮像装置の異なる位置における2つの撮像画像の一方を基準画像、他方を被探索画像として、路面を基準とする画像変換であって、前記被探索画像の変換後の路面画像が前記基準画像の路面画像と一致するような変換を前記被探索画像に対して行い、当該変換された被探索画像と、前記基準画像との各画素又は各領域の輝度の差による差分画像を求め、当該差分画像の輝度が所定値以上である不一致領域を各々一の閉曲線で囲まれた1個以上の領域として認識し、当該認識された一の閉曲線で囲まれた1個以上の領域を、前記基準画像を路面上に写像するか、又は前記方向と距離とからなる情報を画像上に変換し、当該領域内に存在する前記方角と距離とからなる情報のみを選択することを特徴とする距離情報選択方法である。
【0010】
また、請求項2に記載の手段は、請求項1に記載の距離情報選択方法において、前記路面を基準とする画像変換は、実際の路面の形状に拘わらず、路面を平面として推定することを特徴とする。また、請求項3に記載の手段は、前記不一致領域を決定するまでの画像変換と不一致領域を路面上の領域に写像する以降とで異なる解像度で行うことを特徴とする。
【0011】
また、請求項4に記載の手段は、2つの撮像装置による2つの撮像画像又は1つの撮像装置の異なる位置における2つの撮像画像の一方を基準画像、他方を被探索画像として、路面を基準とする画像変換であって、前記被探索画像の変換後の路面画像が前記基準画像の路面画像と一致するような変換を前記被探索画像に対して行う画像変換手段と、当該変換された被探索画像と、前記基準画像との各画素又は各領域の輝度の差による差分画像を求める差分画像作成手段と、当該差分画像の輝度が所定値以上である不一致領域を各々一の閉曲線で囲まれた1個以上の領域として認識する不一致領域決定手段と、当該認識された一の閉曲線で囲まれた1個以上の領域を、前記基準画像を路面上に写像するか、又は前記方向と距離とからなる情報を画像上に変換する対応手段と、外部装置である距離情報取得装置から、所望の範囲の障害物までの方角と距離とからなる1個以上の情報を得て、当該領域内に存在する前記方角と距離とからなる情報のみを選択する選択手段とを有することを特徴とする距離情報選択装置である。また、請求項5に記載の手段は、画像変換手段、前記差分画像作成手段、前記不一致領域決定手段、前記対応手段における解像度と、前記対応手段、前記選択手段における解像度とは異なるものであることを特徴とする請求項4に記載の距離情報選択装置である。
【0012】
【作用及び発明の効果】
本発明は障害物がある可能性の高い領域を、2つの画像から求め、それを路面上に写像して、距離情報がその障害物がある可能性の高い領域の外にあれば捨て、領域の中にあれば選択するものである。障害物がある可能性の高い領域を次のように求める。即ち、2つの画像から容易に得られる一方の変換画像と他方の画像との差分画像における輝度の所定値以上の不一致領域を各々一の閉曲線で囲まれた1個以上の領域として認識する。これにより、実際に障害物が有る場合には極めて確度の高い領域を設定できる。両眼視により距離情報を求める際に生じやすい誤対応による誤った距離情報も的確に捨てることが可能となる(請求項1)。
【0013】
路面は常に平面としてパラメータ等を仮定しても(請求項2)、また、2つの撮像画像から解像度を落したものについて用いても(請求項3)、問題は生じない。これらによって更に大幅な計算量の抑制が可能となる(請求項2、3)。
【0014】
このような方法は容易に装置として構成することが可能である(請求項4、5)。
【0015】
【発明の実施の形態】
本発明を図を用いて説明する。尚、本発明は以下の実施例に限定されるものではない。以下、車両前方左右にカメラを設置し、車両進行方向にカメラの消失点を有し、互いに水平線の位置が一致するような左右カメラ画像を仮定する。
【0016】
図1の(a)、(b)のように、左右カメラ画像が得られたとする。ここで、地上に道路表示以外何も無い状態であったとすると、それは図3の(a)、(b)のようである。図3の(a)の左カメラ画像において、車両が進行する走行レーンの左側表示をLLL、右側表示をLRLとする。また、図3の(b)の右カメラ画像において、車両が進行する走行レーンの左側表示をLLR、右側表示をLRRとする。図3の(a)図と、(b)図とを重ね、各レーンのエッジ線と水平線のみを示すと図4の(a)のようになる。ここで、各々2本の実線で示されたエッジを有するものが図4(a)の左カメラ画像の走行レーンの左側表示LLL、右側表示LRLであり、各々2本の点線で示されたエッジを有するものが図4(b)の右カメラ画像の走行レーンの左側表示LLR、右側表示LRRである。これから明らかなように、図3の(a)を変換して図3の(b)に重ねるためには、次のような画像変換をすれば良い。ただしここでは原点を消失点、左カメラ画像上水平右方向にx軸、x軸に垂直上方向にy軸をとり、右カメラ画像上水平右方向にx’軸、x’軸に垂直上方向にy’軸をとり、aは正の定数である。
【0017】
【数1】
x’=x+ay,
y’=y
【0018】
数1の関係を水平線よりも上方部分でも適用するならば、図4の(b)のようになる。ここで指摘しておくと、図4の(a)及び図4の(b)の水平線の下側で示された矢印の長さ、即ち左カメラ画像を右カメラ画像に路面が一致するように変換するものは、路面のカメラからの距離が近いほど、x座標が大きく変換される。今、レーンに垂直、即ちカメラの軸線に垂直に平面を立て、その平面上のの模様等を左カメラ画像と右カメラ画像で撮像したとする。ここで左カメラ画像を変換して右カメラ画像と重ね合わせる場合、当該レーンに垂直な平面が路面と交わる部分における変換量と同等にその平面上の全ての模様を変換しなければ左カメラ画像の変換画像の当該平面上の模様は右カメラ画像中の模様と一致しない。すると、図4の(b)のように、カメラからの距離に関係なく、左カメラ画像の水平線より下側の画像を「路面を変換する」のと同様に変換して右カメラ画像と比較すると、路面及び路面に密着した部分以外の障害物等の画像は、当該変換後の左カメラ画像と右カメラ画像とで必ずずれが生じることとなる。即ち、立体物等と路面が渾然一体となって撮像された左右カメラ画像において、左カメラ画像の路面が右カメラ画像のそれと一致するよう左カメラ画像の変換を行うと、左カメラ画像中の真の立体画像部分が歪んだ画像となる。
【0019】
そこで数1の関係(定数aは変換後の左カメラ画像と右カメラ画像の路面が一致するよう決定しておく)により図1(a)の左カメラ画像を変換すると図5のようになる。先行車両の画像は路面に密着した車輪部分から上が右方向に傾いたように変形している。次に図5の変換画像と図1(b)の右カメラ画像の輝度の差(絶対値とする)による差分画像をもとめると、大略図6のようになる。ここで、ボディや後部ガラスの輝度に変化無い部分は、互いに別の部分の画像であっても輝度の差分が0に近くなる。次に図6の画像を2値化すると図7のようになる。ここで図7の黒の閉曲線で囲まれた部分を略全て黒化するような処理を行うと図8のような1個の閉じた閉曲線で囲まれた領域ができる。この処理としては、例えば各画素に対し、自己を含む9個の隣接画素領域に黒(例えば2値化で1)の領域が2個以上あれば処理後も黒、1個以下ならば白(例えば2値化で0)とする処理を、図7の画像に4回以上行うことで可能である。
【0020】
さて、図8は仮想上の領域であるが、基本的には図1(b)の右カメラ画像における、障害物が存在する可能性の高い部分を示している。ここで図1(b)の右カメラ画像(横軸x’、縦軸y’)を、路面上に写像するような変換を考える。路面を右方向にx軸、縦方向を距離方向としてz軸とすると、図8においては水平線(z=∞)まで黒領域が達しているので、図9のような変換画像となる。尚、図1乃至8における横軸(x軸、x’軸)はあくまで画像中のそれであって、実空間上の水平方向軸ではないが、図9のx軸は実空間上の水平方向軸に対応するものである。
【0021】
一方、図1(a)、(b)(又は図2(a)、(b))の左右画像からの視差による距離情報、又は、レーダーその他の距離情報入手手段により、例えば図10のような距離情報が得られたとする。図10においても、路面上に写像したものであって、右方向にx軸、縦方向(上方向)を進行方向(距離)としてz軸としている。ここで図9の障害物のある可能性の高い領域と、図10の距離情報を重ねると、図11のように、図9の障害物のある可能性の高い領域の中にある距離情報と、当該領域の外にある距離情報とに分かれる。こうして、図12のように、障害物のある可能性の高い領域の中にある距離情報のみを選択することで、両眼視による誤対応や、その他の方法による誤認識による誤った距離情報を捨て、より確度の高い距離情報のみを選択することができる。
【0022】
上記の本発明は、具体的にはソフトウエア的にメモリとCPUによって実施できる。また、システムLSI等、ハードウエア的に処理する形でも実施可能である。これをフローチャートで説明する。以下において、本文中では「ステップ102等」との記載は図では「S102等」と記載し、本文中では「左カメラ画像」、「右カメラ画像」、「左及び右カメラ画像」との記載は図では「左画像」、「右画像」、「左右画像」と記載するものとする。左及び右カメラは上述の通り設定及び調整されており、左及び右カメラ画像はいずれも水平線がx軸、消失点が原点となるような画像であるものとする。
【0023】
〔実施例〕
本実施例は図13及び図14のフローチャートにより構成されるものである。まず、図13のステップ102において、左及び右カメラ画像の各画素の輝度が読み出されて記憶される。以下、本フローチャート終了まで、この読み出された各画素の輝度により左及び右カメラ画像が構成される。
【0024】
次にステップ104において、左カメラ画像から上記数1式により変換画像が作成される。次にステップ106において、変換画像の各画素の輝度と、同一座標の右カメラ画像の各画素の輝度の差の絶対値を当該座標の画素の輝度とする、差分画像が作成される。次にステップ108において、差分画像において輝度がある設定値よりも大きい画素の輝度を1、ある設定値よりも小さい画素の輝度を0として2値化画像を作成する。次にステップ110において、2値化画像を黒化する。黒化は輝度1が複数個近接してある部分についてより輝度1(黒)の画素を増加させて、2値化画像上の線を太く、黒部分をより面積を拡大するものである。この黒化は上述の通り、各画素に対し、自己を含む9個の隣接画素領域に黒(例えば2値化で1)の領域が2個以上あれば処理後も黒、1個以下ならば白(例えば2値化で0)とする処理を複数回繰り返す。
【0025】
次にステップ112において、黒化画像の閉じた領域を決定する。実質的には黒化画像の輝度1の部分をそのまま「閉じた領域」として良い。次にステップ114において、実空間のx−z座標系に当該「閉じた領域」を写像する。次に図14のフローチャートに移る。
【0026】
次にステップ116において、別途設けられた距離測定装置から、進行方向の一定範囲の距離情報を取得し、各距離情報を上記実空間のx−z座標系の座標を割り当てる。これは極座標系から直交座標系への変換が必要であれば行い、もともと距離測定装置からx−z座標系の座標として距離情報を得られるならば、各距離情報に番号を振って記憶することになる。次にステップ118において、各距離情報のフラグをOK、例えばフラグに1を立てておく。
【0027】
次にステップ120において、番号づけられた第1の距離情報のx−z座標系の座標を読み出す。次にステップ122において、当該距離情報の座標が、上記「閉じた領域」内かどうかを判定する。距離情報の座標が閉じた領域内あれば、ステップ124に進む。距離情報の座標が閉じた領域内でなければ、まずステップ126において当該距離情報のフラグをNG(例えば0)に変更した上、やはりステップ124に進む。次にステップ124において、全ての距離情報について「閉じた領域」の内か外かの判定が終了したかどうかが判定される。「閉じた領域」の内か外かの判定が終了していない距離情報があればステップ128に進み、次の距離情報のx−z座標系の座標を読み出し、ステップ122以下の処理を繰り返す。一方、ステップ124で、全ての距離情報について「閉じた領域」の内か外かの判定が終了したと判定されれば、処理を終了する。
【0028】
こうして、距離測定装置が出力する距離情報のうち、フラグがOKのもののみについてのちの処理に用いることで、距離測定装置が出力する誤った距離情報を捨てることができる。よって例えば左右カメラ画像の一致する画素領域の視差から距離を算定するような、誤認識の多い距離測定装置又は距離測定方法を用いる場合でも、適切に距離情報を取捨選択できる。
【0029】
〔変形例〕
図15は、図13を一部変更したものであり、上記実施例の変形例として構成されるものである。即ち、上記実施例の変形例として図15を前半、図14を後半として構成される。本変形例においては、閉じた領域の決定までを低解像度画像によるものである。左及び右カメラ画像の定解像度画像を粗左及び粗右カメラ画像と呼ぶものとする。
【0030】
まず、ステップ202において、左及び右カメラ画像が読み出され、記憶される。次にステップ204において、左及び右カメラ画像を順次読み出し、低解像度画像に変換して、粗左及び粗右カメラ画像として別途記憶する。低解像度画像への変換は、矩形状、例えば4個×4個の16個の画素ごとに輝度を平均して、1個の画素として都合1/16の画素数の画像を作れば良い。
【0031】
次にステップ206において、粗左カメラ画像から上記数1の変換公式により、粗変換画像を作成する。尚、低解像度画像の作成が正方形の画素を輝度平均させるものでない場合は、それに応じて数1の変換公式の定数aを調整する。次にステップ208において、粗変換画像と粗右カメラ画像の各画素の輝度の差の絶対値を当該画素の輝度とする粗差分画像を作成する。次にステップ210において、粗差分画像を2値化する。次にステップ212において黒化を行う。次にステップ214において「閉じた領域」を決定する。ここで閉じた領域は、上記実施例の図13のステップ118と同様にまず低解像度の黒化画像中の画素の座標として設定された後、右カメラ画像の解像度で、画素の座標として設定される。例えば粗差分画像中の1画素に対し、右カメラ画像の16画素を対応させ、当該右カメラ画像の16画素に全てフラグを立てる。
【0032】
以下は図14の処理と同様に処理される。本変形例は変換画像、差分画像、2値化、黒化、閉じた領域決定が低解像度画像で処理されるため、処理時間の短縮、記憶容量の抑制を図ることができ、処理装置の高速化及び小型化が可能となる。
【図面の簡単な説明】
【図1】(a)は車両前方左に固定されたカメラからの先行車両を含む画像、(b)は車両前方右に固定されたカメラからの先行車両を含む画像。
【図2】(a)、(b)は図1の(a)、(b)に対応する左右カメラ画像であって、誤対応を説明するための図。
【図3】(a)は車両前方左に固定されたカメラからの障害物のない、走行レーン表示のある地表のみの画像、(b)は車両前方右に固定されたカメラからの障害物のない、走行レーン表示のある地表のみの画像。
【図4】(a)は、図3(a)のエッジラインを実線で、図5の(b)のエッジラインを破線で示して重ね合わせて示すことによる、路面画像変換の説明図、(b)は、(a)の路面画像変換を水平線上方にも適用した変換の説明図
【図5】図4(b)の変換(数1)による図1(a)の変換画像。
【図6】図5と図1(b)の差分画像。
【図7】図6を2値化した変換図。
【図8】図7を1つの閉じた閉曲線で囲まれた領域とした図。
【図9】図8を路面上に写像した変換図。
【図10】任意の方法で得られた距離情報を路面上に写像した図。
【図11】図9と図10を重ね合わせた図。
【図12】図9の領域内にある図10の距離情報のみを選択した図。
【図13】実施例に係るフローチャートの前半。
【図14】実施例に係るフローチャートの後半。
【図15】変形例におけるフローチャートの前半。
【符号の説明】
下付きの「L」 左カメラ画像中のものを示す。
下付きの「R」 右カメラ画像中のものを示す。
AL,AR 視差探索のための単位領域
E(AL) ARに誤対応した左カメラ画像中の単位領域
RL 左カメラ画像中の単位領域ALについての被探索範囲
LLL,LLR 左右カメラ画像に撮像された左レーン
LRL,LRR 左右カメラ画像に撮像された右レーン
Claims (5)
- 所望の範囲の障害物までの方角と距離とからなる1個以上の情報を得たのち、
2つの撮像装置による2つの撮像画像又は1つの撮像装置の異なる位置における2つの撮像画像の一方を基準画像、他方を被探索画像として、路面を基準とする画像変換であって、前記被探索画像の変換後の路面画像が前記基準画像の路面画像と一致するような変換を前記被探索画像に対して行い、
当該変換された被探索画像と、前記基準画像との各画素又は各領域の輝度の差による差分画像を求め、
当該差分画像の輝度が所定値以上である不一致領域を各々一の閉曲線で囲まれた1個以上の領域として認識し、
当該認識された一の閉曲線で囲まれた1個以上の領域を、前記基準画像を路面上に写像するか、又は前記方向と距離とからなる情報を画像上に変換し、
当該領域内に存在する前記方角と距離とからなる情報のみを選択することを特徴とする距離情報選択方法。 - 前記路面を基準とする画像変換は、実際の路面の形状に拘わらず、路面を平面として推定することを特徴とする請求項1に記載の距離情報選択方法。
- 前記不一致領域を決定するまでの画像変換と、不一致領域を路面上の領域に写像する以降とで異なる解像度で行うことを特徴とする請求項1又は請求項2に記載の距離情報選択方法。
- 2つの撮像装置による2つの撮像画像又は1つの撮像装置の異なる位置における2つの撮像画像の一方を基準画像、他方を被探索画像として、路面を基準とする画像変換であって、前記被探索画像の変換後の路面画像が前記基準画像の路面画像と一致するような変換を前記被探索画像に対して行う画像変換手段と、
当該変換された被探索画像と、前記基準画像との各画素又は各領域の輝度の差による差分画像を求める差分画像作成手段と、
当該差分画像の輝度が所定値以上である不一致領域を各々一の閉曲線で囲まれた1個以上の領域として認識する不一致領域決定手段と、
当該認識された一の閉曲線で囲まれた1個以上の領域を、前記基準画像を路面上に写像するか、又は前記方向と距離とからなる情報を画像上に変換する対応手段と、
外部装置である距離情報取得装置から、所望の範囲の障害物までの方角と距離とからなる1個以上の情報を得て、当該領域内に存在する前記方角と距離とからなる情報のみを選択する選択手段と
を有することを特徴とする距離情報選択装置。 - 前記画像変換手段、前記差分画像作成手段、前記不一致領域決定手段、前記対応手段における解像度と、前記対応手段、前記選択手段における解像度とは異なるものであることを特徴とする請求項4に記載の距離情報選択装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002344718A JP2004177295A (ja) | 2002-11-27 | 2002-11-27 | 距離情報選択方法及び距離情報選択装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002344718A JP2004177295A (ja) | 2002-11-27 | 2002-11-27 | 距離情報選択方法及び距離情報選択装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004177295A true JP2004177295A (ja) | 2004-06-24 |
Family
ID=32706082
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002344718A Pending JP2004177295A (ja) | 2002-11-27 | 2002-11-27 | 距離情報選択方法及び距離情報選択装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004177295A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006016663A1 (ja) * | 2004-08-11 | 2006-02-16 | Tokyo Institute Of Technology | 物体検出装置 |
WO2006016664A1 (ja) * | 2004-08-11 | 2006-02-16 | Honda Motor Co., Ltd. | 平面検出装置及び検出方法 |
WO2006016661A1 (ja) * | 2004-08-11 | 2006-02-16 | Tokyo Institute Of Technology | 移動体周辺監視装置 |
JP2009088840A (ja) * | 2007-09-28 | 2009-04-23 | Saxa Inc | ステレオ画像処理装置及び同画像処理用プログラム |
-
2002
- 2002-11-27 JP JP2002344718A patent/JP2004177295A/ja active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006016663A1 (ja) * | 2004-08-11 | 2006-02-16 | Tokyo Institute Of Technology | 物体検出装置 |
WO2006016664A1 (ja) * | 2004-08-11 | 2006-02-16 | Honda Motor Co., Ltd. | 平面検出装置及び検出方法 |
WO2006016661A1 (ja) * | 2004-08-11 | 2006-02-16 | Tokyo Institute Of Technology | 移動体周辺監視装置 |
US8154594B2 (en) | 2004-08-11 | 2012-04-10 | Tokyo Institute Of Technology | Mobile peripheral monitor |
US8180100B2 (en) | 2004-08-11 | 2012-05-15 | Honda Motor Co., Ltd. | Plane detector and detecting method |
US8331653B2 (en) | 2004-08-11 | 2012-12-11 | Tokyo Institute Of Technology | Object detector |
JP2009088840A (ja) * | 2007-09-28 | 2009-04-23 | Saxa Inc | ステレオ画像処理装置及び同画像処理用プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110569704B (zh) | 一种基于立体视觉的多策略自适应车道线检测方法 | |
JP3539788B2 (ja) | 画像間対応付け方法 | |
KR100513055B1 (ko) | 변이지도 및 깊이지도의 융합을 통한 3차원 장면 모델생성 장치 및 그 방법 | |
CN105957007B (zh) | 基于特征点平面相似度的图像拼接方法 | |
KR101121034B1 (ko) | 복수의 이미지들로부터 카메라 파라미터를 얻기 위한 시스템과 방법 및 이들의 컴퓨터 프로그램 제품 | |
CN109961399B (zh) | 基于图像距离变换的最佳缝合线搜寻方法 | |
KR100745691B1 (ko) | 차폐영역 검출을 이용한 양안 또는 다시점 스테레오 정합장치 및 그 방법 | |
CN104685513A (zh) | 根据使用阵列源捕捉的低分辨率图像的基于特征的高分辨率运动估计 | |
JP2004117078A (ja) | 障害物検出装置及び方法 | |
JP4872769B2 (ja) | 路面判別装置および路面判別方法 | |
JP2007333679A (ja) | 3次元位置補正装置 | |
JP2011058812A (ja) | 視差算出方法、および視差算出装置 | |
CN117036641A (zh) | 一种基于双目视觉的公路场景三维重建与缺陷检测方法 | |
JP6969738B2 (ja) | 物体検出装置及び方法 | |
US20160232705A1 (en) | Method for 3D Scene Reconstruction with Cross-Constrained Line Matching | |
JPH0719832A (ja) | 複数画像の対応点抽出方法 | |
JP4344860B2 (ja) | ステレオ画像を用いた道路平面領域並びに障害物検出方法 | |
JP2010224918A (ja) | 環境認識装置 | |
JP2003304561A (ja) | ステレオ画像処理装置 | |
JP4394487B2 (ja) | ステレオ画像処理装置 | |
JPH07103734A (ja) | ステレオ対応探索装置 | |
JPH05215547A (ja) | ステレオ画像間対応点決定方法 | |
CN111630569B (zh) | 双目匹配的方法、视觉成像装置及具有存储功能的装置 | |
JP2004177295A (ja) | 距離情報選択方法及び距離情報選択装置 | |
Um et al. | Three-dimensional scene reconstruction using multiview images and depth camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051125 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070601 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070710 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20071113 |