JP2003150936A - 画像処理装置および画像処理方法 - Google Patents
画像処理装置および画像処理方法Info
- Publication number
- JP2003150936A JP2003150936A JP2001343801A JP2001343801A JP2003150936A JP 2003150936 A JP2003150936 A JP 2003150936A JP 2001343801 A JP2001343801 A JP 2001343801A JP 2001343801 A JP2001343801 A JP 2001343801A JP 2003150936 A JP2003150936 A JP 2003150936A
- Authority
- JP
- Japan
- Prior art keywords
- image
- primary color
- parallax
- color
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0077—Colour aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
(57)【要約】
【課題】一対のカラー画像を用いてステレオ画像処理を
行うことで、距離データの信頼性の向上を図る。 【解決手段】それぞれが複数の原色画像で構成された一
対のカラー画像を用いて、ステレオマッチングを行う。
ステレオ演算回路６は、同一色の原色画像対を用いてス
テレオマッチングを行うことにより、それぞれの原色画
像に関する原色視差を算定する。融合処理部８は、視差
の算出単位となる一の画像領域に関して、それぞれの原
色視差を入力とした積和演算によって統一視差を算出す
る。
行うことで、距離データの信頼性の向上を図る。 【解決手段】それぞれが複数の原色画像で構成された一
対のカラー画像を用いて、ステレオマッチングを行う。
ステレオ演算回路６は、同一色の原色画像対を用いてス
テレオマッチングを行うことにより、それぞれの原色画
像に関する原色視差を算定する。融合処理部８は、視差
の算出単位となる一の画像領域に関して、それぞれの原
色視差を入力とした積和演算によって統一視差を算出す
る。
Description
【０００１】
【発明の属する技術分野】本発明は、一対のカラー画像
を用いてステレオ画像処理を行う画像処理装置および画
像処理方法に関する。
を用いてステレオ画像処理を行う画像処理装置および画
像処理方法に関する。
【０００２】
【従来の技術】ステレオカメラを用いたステレオ式車外
監視システムが知られている。このシステムでは、一対
のカメラ（ステレオカメラ）から得られる一対の撮像画
像を用いて、ステレオマッチングによって、輝度特性の
相関を有する小領域同士を特定し、両者の相対的なずれ
量より距離データを得る。従来のステレオ式車外監視シ
ステムでは、白黒のイメージセンサ（ＣＣＤやＣＭＯＳ
センサ等）が採用されており、モノクロ画像における輝
度情報を主体に車外の状況を認識していた。
監視システムが知られている。このシステムでは、一対
のカメラ（ステレオカメラ）から得られる一対の撮像画
像を用いて、ステレオマッチングによって、輝度特性の
相関を有する小領域同士を特定し、両者の相対的なずれ
量より距離データを得る。従来のステレオ式車外監視シ
ステムでは、白黒のイメージセンサ（ＣＣＤやＣＭＯＳ
センサ等）が採用されており、モノクロ画像における輝
度情報を主体に車外の状況を認識していた。
【０００３】
【発明が解決しようとする課題】しかしながら、モノク
ロ画像ではなくカラー画像を入力情報とし、輝度情報の
みならず色情報も用いたステレオ画像処理を行えば、距
離データの信頼性の向上が期待できる。それとともに、
走行状況の認識精度およびより複雑な状況認識も可能に
なる。しかしながら、実際には、カラー画像を用いてス
テレオ画像処理を行う際、カラー画像を構成する複数の
原色画像をどのように処理し、どのような情報を抽出す
るのかについて、十分な検討が行われていなかった。
ロ画像ではなくカラー画像を入力情報とし、輝度情報の
みならず色情報も用いたステレオ画像処理を行えば、距
離データの信頼性の向上が期待できる。それとともに、
走行状況の認識精度およびより複雑な状況認識も可能に
なる。しかしながら、実際には、カラー画像を用いてス
テレオ画像処理を行う際、カラー画像を構成する複数の
原色画像をどのように処理し、どのような情報を抽出す
るのかについて、十分な検討が行われていなかった。
【０００４】また、近年、画像処理関連の技術の発達に
伴い、画像を扱う様々な分野でカラー化が進んでおり、
カラーイメージセンサのコストもますます安価になって
いる。そのため、ステレオ式車外監視システムにおいて
も、コスト的な観点からも、カラーイメージセンサの採
用が望まれている。
伴い、画像を扱う様々な分野でカラー化が進んでおり、
カラーイメージセンサのコストもますます安価になって
いる。そのため、ステレオ式車外監視システムにおいて
も、コスト的な観点からも、カラーイメージセンサの採
用が望まれている。
【０００５】本発明は、かかる事情に鑑みてなされたも
のであり、その目的は、一対のカラー画像を用いてステ
レオ画像処理を行うことで、距離データの信頼性の向上
を図ることである。
のであり、その目的は、一対のカラー画像を用いてステ
レオ画像処理を行うことで、距離データの信頼性の向上
を図ることである。
【０００６】
【課題を解決するための手段】かかる課題を解決するた
めに、第１の発明は、それぞれが複数の原色画像で構成
された一対のカラー画像を用いて、ステレオマッチング
を行う画像処理装置を提供する。この画像処理装置は、
同一色の原色画像対を用いてステレオマッチングを行う
ことにより、それぞれの原色画像に関する原色視差を算
定する視差算定手段と、視差の算出単位となる一の画像
領域に関して、それぞれの原色視差の積和演算によっ
て、統一視差を算出する融合処理手段とを有する。
めに、第１の発明は、それぞれが複数の原色画像で構成
された一対のカラー画像を用いて、ステレオマッチング
を行う画像処理装置を提供する。この画像処理装置は、
同一色の原色画像対を用いてステレオマッチングを行う
ことにより、それぞれの原色画像に関する原色視差を算
定する視差算定手段と、視差の算出単位となる一の画像
領域に関して、それぞれの原色視差の積和演算によっ
て、統一視差を算出する融合処理手段とを有する。
【０００７】ここで、第１の発明において、上記融合処
理手段は、予め設定された重み情報を用いて、それぞれ
の原色視差の加重平均より統一視差を算出することが好
ましく、画像平面における画像領域の位置に応じて、画
像領域に対して適用する重み情報を設定する設定手段を
さらに有していてもよい。この設定手段は、重み情報を
検出すべき対象物の色に応じて設定することが望まし
い。例えば、この設定手段は、検出すべき対象物を選定
する対象物選定手段と、予め設定された複数種類の対象
物と、この対象物の重み情報とを対応づけた重みテーブ
ルを記憶した記憶手段と、重みテーブルを参照すること
によって、対象物選定手段によって選定されている対象
物に関する重み情報を指定する指定手段とを有していて
もよい。
理手段は、予め設定された重み情報を用いて、それぞれ
の原色視差の加重平均より統一視差を算出することが好
ましく、画像平面における画像領域の位置に応じて、画
像領域に対して適用する重み情報を設定する設定手段を
さらに有していてもよい。この設定手段は、重み情報を
検出すべき対象物の色に応じて設定することが望まし
い。例えば、この設定手段は、検出すべき対象物を選定
する対象物選定手段と、予め設定された複数種類の対象
物と、この対象物の重み情報とを対応づけた重みテーブ
ルを記憶した記憶手段と、重みテーブルを参照すること
によって、対象物選定手段によって選定されている対象
物に関する重み情報を指定する指定手段とを有していて
もよい。
【０００８】第２の発明は、それぞれが複数の原色画像
で構成された一対のカラー画像を用いて、ステレオマッ
チングを行う画像処理方法を提供する。この画像処理方
法は、同一色の原色画像対を用いてステレオマッチング
を行うことにより、それぞれの原色画像に関する原色視
差を算定する第１のステップと、視差の算出単位となる
一の画像領域に関して、それぞれの原色視差の積和演算
によって、統一視差を算出する第２のステップとを有す
る。
で構成された一対のカラー画像を用いて、ステレオマッ
チングを行う画像処理方法を提供する。この画像処理方
法は、同一色の原色画像対を用いてステレオマッチング
を行うことにより、それぞれの原色画像に関する原色視
差を算定する第１のステップと、視差の算出単位となる
一の画像領域に関して、それぞれの原色視差の積和演算
によって、統一視差を算出する第２のステップとを有す
る。
【０００９】ここで、第２の発明における上記第２のス
テップは、予め設定された重み情報を用いて、それぞれ
の原色視差の加重平均より統一視差を算出することが好
ましく、画像平面における画像領域の位置に応じて、画
像領域に対して適用する重み情報を設定する第３のステ
ップを含んでいてもよい。また、この第３のステップ
は、重み情報を検出すべき対象物の色に応じて設定する
ことが望ましい。例えば、第３のステップは、検出すべ
き対象物を選定するステップと、予め設定された複数種
類の対象物とこの対象物の重み情報との対応関係に基づ
いて、選定された対象物に関する重み情報を指定するス
テップとを含んでいてもよい。
テップは、予め設定された重み情報を用いて、それぞれ
の原色視差の加重平均より統一視差を算出することが好
ましく、画像平面における画像領域の位置に応じて、画
像領域に対して適用する重み情報を設定する第３のステ
ップを含んでいてもよい。また、この第３のステップ
は、重み情報を検出すべき対象物の色に応じて設定する
ことが望ましい。例えば、第３のステップは、検出すべ
き対象物を選定するステップと、予め設定された複数種
類の対象物とこの対象物の重み情報との対応関係に基づ
いて、選定された対象物に関する重み情報を指定するス
テップとを含んでいてもよい。
【００１０】
【発明の実施の形態】図１は、自動車等の車両に搭載さ
れるステレオ画像処理装置の概略的なブロック図であ
る。この画像処理装置は、カラー画像を構成する複数の
原色画像（赤画像、緑画像および青画像）のそれぞれを
ステレオマッチングの対象とし、原色画像毎に独立して
視差を算出する。そして、各原色画像において、位置的
に対応する視差同士を融合することにより、その位置に
おける統一的な視差を算出する。このような視差の融合
は、撮像画像に写し出された対象物の色を考慮した上で
行われる。以下、赤画像を「Ｒ画像」、緑画像を「Ｇ画
像」、青画像を「Ｂ画像」という。
れるステレオ画像処理装置の概略的なブロック図であ
る。この画像処理装置は、カラー画像を構成する複数の
原色画像（赤画像、緑画像および青画像）のそれぞれを
ステレオマッチングの対象とし、原色画像毎に独立して
視差を算出する。そして、各原色画像において、位置的
に対応する視差同士を融合することにより、その位置に
おける統一的な視差を算出する。このような視差の融合
は、撮像画像に写し出された対象物の色を考慮した上で
行われる。以下、赤画像を「Ｒ画像」、緑画像を「Ｇ画
像」、青画像を「Ｂ画像」という。
【００１１】車両前方を撮像するステレオカメラは、ル
ームミラーの近傍に取り付けられており、ＣＣＤやＣＭ
ＯＳセンサ等のイメージセンサを内蔵した一対のカメラ
１，２で構成されている。それぞれのカメラ１，２は、
車幅方向において所定の間隔（カメラ基線長）で取り付
けられている。基準画像を出力するメインカメラ１は、
車輌の進行方向に向かって右側に取り付けられている。
一方、比較画像を出力するサブカメラ２は、進行方向に
向かって左側に取り付けられている。
ームミラーの近傍に取り付けられており、ＣＣＤやＣＭ
ＯＳセンサ等のイメージセンサを内蔵した一対のカメラ
１，２で構成されている。それぞれのカメラ１，２は、
車幅方向において所定の間隔（カメラ基線長）で取り付
けられている。基準画像を出力するメインカメラ１は、
車輌の進行方向に向かって右側に取り付けられている。
一方、比較画像を出力するサブカメラ２は、進行方向に
向かって左側に取り付けられている。
【００１２】それぞれのカメラ１，２は、赤緑青のそれ
ぞれに別個のイメージセンサを内蔵している（例えば、
３板式カラーＣＣＤ）。メインカメラ１から出力される
基準画像は、実際には、Ｒ画像、Ｇ画像およびＢ画像の
３つの原色画像によって構成される。同様に、サブカメ
ラ２から出力される比較画像も、Ｒ画像、Ｇ画像および
Ｂ画像の３つの原色画像によって構成される。したがっ
て、一対のカメラ１，２が１回の撮影タイミングで出力
する画像は合計６枚になる。以下、基準画像を構成する
Ｒ画像を基準画像（Ｒ）と記す場合がある。同様に、基
準画像を構成するＧ画像を基準画像（Ｇ）、Ｂ画像を基
準画像（Ｂ）と記すことがある。比較画像についても、
Ｒ，Ｇ，Ｂ画像を、それぞれ、比較画像（Ｒ）、比較画
像（Ｇ）、比較画像（Ｂ）と記すことがある。
ぞれに別個のイメージセンサを内蔵している（例えば、
３板式カラーＣＣＤ）。メインカメラ１から出力される
基準画像は、実際には、Ｒ画像、Ｇ画像およびＢ画像の
３つの原色画像によって構成される。同様に、サブカメ
ラ２から出力される比較画像も、Ｒ画像、Ｇ画像および
Ｂ画像の３つの原色画像によって構成される。したがっ
て、一対のカメラ１，２が１回の撮影タイミングで出力
する画像は合計６枚になる。以下、基準画像を構成する
Ｒ画像を基準画像（Ｒ）と記す場合がある。同様に、基
準画像を構成するＧ画像を基準画像（Ｇ）、Ｂ画像を基
準画像（Ｂ）と記すことがある。比較画像についても、
Ｒ，Ｇ，Ｂ画像を、それぞれ、比較画像（Ｒ）、比較画
像（Ｇ）、比較画像（Ｂ）と記すことがある。
【００１３】一対のカメラ１，２の同期が取れている状
態において、それぞれのカメラ１，２から出力されたア
ナログ画像は、後段の回路の入力レンジに合致するよう
に、アナログインターフェース３において調整される。
アナログインターフェース３中のゲインコントロールア
ンプ（ＧＣＡ）３ａは、対になるアナログ画像信号の明
るさバランスを調整する。この調整は、互いに同じ色
（Ｒ，Ｇ，Ｂ）の画像同士で行う。アナログインターフ
ェース３において調整されたアナログ画像対は、Ａ／Ｄ
コンバータ４により、所定の輝度階調（例えば、２５６
階調のグレースケール）のデジタル画像に変換される。
態において、それぞれのカメラ１，２から出力されたア
ナログ画像は、後段の回路の入力レンジに合致するよう
に、アナログインターフェース３において調整される。
アナログインターフェース３中のゲインコントロールア
ンプ（ＧＣＡ）３ａは、対になるアナログ画像信号の明
るさバランスを調整する。この調整は、互いに同じ色
（Ｒ，Ｇ，Ｂ）の画像同士で行う。アナログインターフ
ェース３において調整されたアナログ画像対は、Ａ／Ｄ
コンバータ４により、所定の輝度階調（例えば、２５６
階調のグレースケール）のデジタル画像に変換される。
【００１４】補正回路５は、デジタル化された画像対を
構成する６つの原色画像のそれぞれについて、輝度の補
正および画像の幾何学的な変換等を行う。通常、一対の
カメラ１，２の取付位置は、程度の差こそあれ誤差があ
るため、それに起因したずれが左右の画像に存在してい
る。そこで、アフィン変換等を用いて、画像の回転や平
行移動等の幾何学的な変換を行う。これにより、ステレ
オマッチングを行う際の前提となる、画像対における水
平線（エピポーラライン）の一致が保証される。このよ
うな画像処理を経て、メインカメラ１の出力信号から、
水平方向（ｉ座標方向）が５１２画素（ピクセル）、垂
直方向（ｊ座標方向）が２００画素（ピクセル）の基準
画像データが生成される。また、サブカメラ２の出力信
号から、基準画像データと垂直方向長が同じで、基準画
像データよりも大きな水平方向長の比較画像データが生
成される（一例として、水平方向が６４０画素（ピクセ
ル）、垂直方向が２００画素（ピクセル））。補正回路
５において補正された１フレーム相当の基準画像データ
と比較画像データとは、ステレオ演算回路６に出力され
る一方、画像データメモリ７に格納される。
構成する６つの原色画像のそれぞれについて、輝度の補
正および画像の幾何学的な変換等を行う。通常、一対の
カメラ１，２の取付位置は、程度の差こそあれ誤差があ
るため、それに起因したずれが左右の画像に存在してい
る。そこで、アフィン変換等を用いて、画像の回転や平
行移動等の幾何学的な変換を行う。これにより、ステレ
オマッチングを行う際の前提となる、画像対における水
平線（エピポーラライン）の一致が保証される。このよ
うな画像処理を経て、メインカメラ１の出力信号から、
水平方向（ｉ座標方向）が５１２画素（ピクセル）、垂
直方向（ｊ座標方向）が２００画素（ピクセル）の基準
画像データが生成される。また、サブカメラ２の出力信
号から、基準画像データと垂直方向長が同じで、基準画
像データよりも大きな水平方向長の比較画像データが生
成される（一例として、水平方向が６４０画素（ピクセ
ル）、垂直方向が２００画素（ピクセル））。補正回路
５において補正された１フレーム相当の基準画像データ
と比較画像データとは、ステレオ演算回路６に出力され
る一方、画像データメモリ７に格納される。
【００１５】ステレオ演算回路６は、基準画像データと
比較画像データとに基づいて、ステレオマッチングを行
い、視差の算出単位となる画像領域（画素ブロック）毎
に視差を算出する。このステレオマッチングは、同一色
の原色画像対に関して別個に行われる。すなわち、Ｒ画
像（基準画像（Ｒ）と比較画像（Ｒ））、Ｇ画像（（基
準画像（Ｇ）と比較画像（Ｇ））、Ｂ画像（基準画像
（Ｂ）と比較画像（Ｂ））のそれぞれについて独立して
行われる。
比較画像データとに基づいて、ステレオマッチングを行
い、視差の算出単位となる画像領域（画素ブロック）毎
に視差を算出する。このステレオマッチングは、同一色
の原色画像対に関して別個に行われる。すなわち、Ｒ画
像（基準画像（Ｒ）と比較画像（Ｒ））、Ｇ画像（（基
準画像（Ｇ）と比較画像（Ｇ））、Ｂ画像（基準画像
（Ｂ）と比較画像（Ｂ））のそれぞれについて独立して
行われる。
【００１６】本実施形態では、４×４画素の画素ブロッ
クを視差の算出単位としている。したがって、１フレー
ム相当の画像全体では、基準画像に含まれる画素ブロッ
クの個数分、すなわち１２８×５０個の視差が算出され
得る。基準画像中の一画素ブロックをステレオマッチン
グの対象とした場合、この対象画素ブロックの輝度特性
と相関を有する領域を比較画像を探索することによって
特定する。周知のとおり、ステレオ画像に写し出された
対象物（例えば先行車や白線等）までの距離は、基準画
像と比較画像との間における対象物の水平方向のずれ量
（視差）より一義的に特定される。したがって、比較画
像の探索を行う場合、対象画素ブロックのｊ座標と同じ
水平線（エピポーラライン）上を探索すればよい。ステ
レオ演算回路６は、このエピポーラライン上を一画素ず
つシフトしながら、比較画像側の画素ブロック毎に、対
象画素ブロックとの輝度特性の相関を評価する。
クを視差の算出単位としている。したがって、１フレー
ム相当の画像全体では、基準画像に含まれる画素ブロッ
クの個数分、すなわち１２８×５０個の視差が算出され
得る。基準画像中の一画素ブロックをステレオマッチン
グの対象とした場合、この対象画素ブロックの輝度特性
と相関を有する領域を比較画像を探索することによって
特定する。周知のとおり、ステレオ画像に写し出された
対象物（例えば先行車や白線等）までの距離は、基準画
像と比較画像との間における対象物の水平方向のずれ量
（視差）より一義的に特定される。したがって、比較画
像の探索を行う場合、対象画素ブロックのｊ座標と同じ
水平線（エピポーラライン）上を探索すればよい。ステ
レオ演算回路６は、このエピポーラライン上を一画素ず
つシフトしながら、比較画像側の画素ブロック毎に、対
象画素ブロックとの輝度特性の相関を評価する。
【００１７】画素ブロック間における輝度特性の相関
は、例えば、シティブロック距離を算出することで評価
でき、基本的には、その値が最小となるものが相関を有
する画素ブロックである。そして、相関を有する画素ブ
ロック同士の水平方向のずれ量が視差として出力され
る。なお、シティブロック距離を算出するためのハード
ウェア構成については、特開平５−１１４００９号公報
に開示されているので、必要ならば参照されたい。
は、例えば、シティブロック距離を算出することで評価
でき、基本的には、その値が最小となるものが相関を有
する画素ブロックである。そして、相関を有する画素ブ
ロック同士の水平方向のずれ量が視差として出力され
る。なお、シティブロック距離を算出するためのハード
ウェア構成については、特開平５−１１４００９号公報
に開示されているので、必要ならば参照されたい。
【００１８】ステレオ演算回路６は、同一色の原色画像
同士（例えば、基準画像（Ｒ）と比較画像（Ｒ））でス
テレオマッチングを行い、後段の融合処理部８に出力す
る。これにより、基準画像における一画素ブロックに関
して、３つの視差、すなわち、Ｒ画像より算出された視
差Ｎｒ、Ｇ画像より算出された視差Ｎｇ、Ｂ画像より算
出された視差Ｎｂが算出される（以下、それぞれを「原
色視差」という）。なお、ステレオマッチング処理は、
モノクロ画像を用いる場合に比べて処理量が増大するた
め、ステレオ演算回路６には十分な処理速度の演算回路
を採用する。
同士（例えば、基準画像（Ｒ）と比較画像（Ｒ））でス
テレオマッチングを行い、後段の融合処理部８に出力す
る。これにより、基準画像における一画素ブロックに関
して、３つの視差、すなわち、Ｒ画像より算出された視
差Ｎｒ、Ｇ画像より算出された視差Ｎｇ、Ｂ画像より算
出された視差Ｎｂが算出される（以下、それぞれを「原
色視差」という）。なお、ステレオマッチング処理は、
モノクロ画像を用いる場合に比べて処理量が増大するた
め、ステレオ演算回路６には十分な処理速度の演算回路
を採用する。
【００１９】融合処理部８は、ある画素ブロックに関し
て算出された３つの原色視差Ｎｒ，Ｎｇ，Ｎｂを融合
し、その画素ブロックに関する統一的な視差Ｎｉ（以
下、「統一視差Ｎｉ」という）を算出する。このように
して求められた統一視差Ｎｉの１フレーム分の集合は、
画像平面上の位置（ｉ，ｊ）と対応付けた上で、距離デ
ータ（ｉ，ｊ，Ｎｉ）として距離データメモリ１２に格
納される。なお、詳細については後述するが、原色視差
Ｎｒ，Ｎｇ，Ｎｂの融合は、検出対象選定部９より得ら
れるパラメータ（具体的には各色の重み係数Ｏｒ，Ｏ
ｇ，Ｏｂ）に基づき、積和演算によって行われる。
て算出された３つの原色視差Ｎｒ，Ｎｇ，Ｎｂを融合
し、その画素ブロックに関する統一的な視差Ｎｉ（以
下、「統一視差Ｎｉ」という）を算出する。このように
して求められた統一視差Ｎｉの１フレーム分の集合は、
画像平面上の位置（ｉ，ｊ）と対応付けた上で、距離デ
ータ（ｉ，ｊ，Ｎｉ）として距離データメモリ１２に格
納される。なお、詳細については後述するが、原色視差
Ｎｒ，Ｎｇ，Ｎｂの融合は、検出対象選定部９より得ら
れるパラメータ（具体的には各色の重み係数Ｏｒ，Ｏ
ｇ，Ｏｂ）に基づき、積和演算によって行われる。
【００２０】マイクロコンピュータ１３（機能的に捉え
た場合、その機能的ブロックである認識部１４）は、道
路形状（直線やカーブ曲率）や車輌前方の立体物（例え
ば先行車）を認識する。この認識は、画像データメモリ
７に格納された画像データと距離データメモリ１２に格
納された距離データとに基づいて行われる。また、図示
していない車速センサや舵角センサからのセンサ情報、
或いはナビゲーション情報等も必要に応じて参照され
る。なお、道路形状の認識や立体物の認識に関する具体
的な手法については、特開平５−２６５５４７号公報に
開示されているので必要ならば参照されたい。これらの
認識結果に基づいて、警報が必要と判定された場合、モ
ニターやスピーカー等の警報装置１５を作動させてドラ
イバーに注意を促す。また、必要に応じて制御装置１６
を制御することにより、ＡＴ（自動変速機）のシフトダ
ウンやエンジン出力の抑制、或いはブレーキの作動とい
った車輌制御が適宜実行される。
た場合、その機能的ブロックである認識部１４）は、道
路形状（直線やカーブ曲率）や車輌前方の立体物（例え
ば先行車）を認識する。この認識は、画像データメモリ
７に格納された画像データと距離データメモリ１２に格
納された距離データとに基づいて行われる。また、図示
していない車速センサや舵角センサからのセンサ情報、
或いはナビゲーション情報等も必要に応じて参照され
る。なお、道路形状の認識や立体物の認識に関する具体
的な手法については、特開平５−２６５５４７号公報に
開示されているので必要ならば参照されたい。これらの
認識結果に基づいて、警報が必要と判定された場合、モ
ニターやスピーカー等の警報装置１５を作動させてドラ
イバーに注意を促す。また、必要に応じて制御装置１６
を制御することにより、ＡＴ（自動変速機）のシフトダ
ウンやエンジン出力の抑制、或いはブレーキの作動とい
った車輌制御が適宜実行される。
【００２１】つぎに、それぞれの原色視差Ｎｒ，Ｎｇ，
Ｎｂを融合して統一視差Ｎｉを算出する処理について詳
述する。融合処理部８は、ステレオ演算回路６によって
求められた、Ｒ，Ｇ，Ｂ画像に関する原色視差Ｎｒ，Ｎ
ｇ，Ｎｂを融合する。この融合は、数式１に示すよう
に、積和演算（本実施形態では加重平均）に基づいて行
われる。具体的には、ある画素ブロックに関する原色視
差Ｎｒ，Ｎｇ，Ｎｂに重み付けを与えた上で加算するこ
とにより、この画素ブロックに関する統一視差Ｎｉを算
出する。ここで、Ｏｒは赤（Ｒ）についての重み係数、
Ｏｇは緑（Ｇ）、Ｏｂは青（Ｂ）についての重み係数で
ある。
Ｎｂを融合して統一視差Ｎｉを算出する処理について詳
述する。融合処理部８は、ステレオ演算回路６によって
求められた、Ｒ，Ｇ，Ｂ画像に関する原色視差Ｎｒ，Ｎ
ｇ，Ｎｂを融合する。この融合は、数式１に示すよう
に、積和演算（本実施形態では加重平均）に基づいて行
われる。具体的には、ある画素ブロックに関する原色視
差Ｎｒ，Ｎｇ，Ｎｂに重み付けを与えた上で加算するこ
とにより、この画素ブロックに関する統一視差Ｎｉを算
出する。ここで、Ｏｒは赤（Ｒ）についての重み係数、
Ｏｇは緑（Ｇ）、Ｏｂは青（Ｂ）についての重み係数で
ある。
【数１】
Ｎｉ＝Ｏｒ・Ｎｒ ＋ Ｏｇ・Ｎｇ ＋ Ｏｂ・Ｎｂ
【００２２】重み係数のセット（Ｏｒ，Ｏｇ，Ｏｂ）
は、検出対象選定部９によって指定される。検出対象選
定部９は、現時点で検出したい対象物（例えば、追い越
し禁止のセンターライン等）を選定する。検出対象物
は、車両走行時に出現し得るものであり、複数の対象物
（例えば、追い越し禁止センターラインや先行車のリア
ランプ等）が予め設定されている。検出対象選定部９
は、図示しない車両の速度センサや操舵角センサ等より
特定される走行状況に応じて、いずれかの対象物を検出
対象物として選定し、その検出対象物に関する重み係数
のセット（Ｏｒ，Ｏｇ，Ｏｂ）を融合処理部８に対して
出力する。
は、検出対象選定部９によって指定される。検出対象選
定部９は、現時点で検出したい対象物（例えば、追い越
し禁止のセンターライン等）を選定する。検出対象物
は、車両走行時に出現し得るものであり、複数の対象物
（例えば、追い越し禁止センターラインや先行車のリア
ランプ等）が予め設定されている。検出対象選定部９
は、図示しない車両の速度センサや操舵角センサ等より
特定される走行状況に応じて、いずれかの対象物を検出
対象物として選定し、その検出対象物に関する重み係数
のセット（Ｏｒ，Ｏｇ，Ｏｂ）を融合処理部８に対して
出力する。
【００２３】重み係数のセット（Ｏｒ，Ｏｇ，Ｏｂ）
を、加重平均の重み係数として捉えると、具体的な係数
値Ｏｒ，Ｏｇ，Ｏｂは、数式２に示した４つの条件
（式）を具備する必要がある。
を、加重平均の重み係数として捉えると、具体的な係数
値Ｏｒ，Ｏｇ，Ｏｂは、数式２に示した４つの条件
（式）を具備する必要がある。
【数２】Ｏｒ＋Ｏｇ＋Ｏｂ＝１
０≦Ｏｒ≦１
０≦Ｏｇ≦１
０≦Ｏｂ≦１
【００２４】なお、検出対象物の認識精度を高めるため
に、重み係数のセット（Ｏｒ，Ｏｇ，Ｏｂ）には、対象
物の色を反映させることが好ましい。具体的には、それ
ぞれの重み係数Ｏｒ，Ｏｇ，Ｏｂは、数式３のように定
義する。同数式において、Ｉｒは対象物の赤色（Ｒ）の
色成分値、Ｉｇは緑色（Ｇ）の色成分値、Ｉｂは青色
（Ｂ）の色成分値である。重み係数Ｏｒ，Ｏｇ，Ｏｂの
具体値は、後述する色情報テーブル１１０の内容に基づ
き、数式３の演算を実行することによって決定する。
に、重み係数のセット（Ｏｒ，Ｏｇ，Ｏｂ）には、対象
物の色を反映させることが好ましい。具体的には、それ
ぞれの重み係数Ｏｒ，Ｏｇ，Ｏｂは、数式３のように定
義する。同数式において、Ｉｒは対象物の赤色（Ｒ）の
色成分値、Ｉｇは緑色（Ｇ）の色成分値、Ｉｂは青色
（Ｂ）の色成分値である。重み係数Ｏｒ，Ｏｇ，Ｏｂの
具体値は、後述する色情報テーブル１１０の内容に基づ
き、数式３の演算を実行することによって決定する。
【数３】
Ｏｒ＝Ｉｒ／（Ｉｒ ＋ Ｉｇ ＋ Ｉｂ）
Ｏｇ＝Ｉｇ／（Ｉｒ ＋ Ｉｇ ＋ Ｉｂ）
Ｏｂ＝Ｉｂ／（Ｉｒ ＋ Ｉｇ ＋ Ｉｂ）
【００２５】検出対象選定部９は、予め設定されたプロ
グラムを実行することで検出対象物を選定するマイクロ
コンピュータ１０と、プログラムおよび各種データが格
納されたメモリ１１とを有する。メモリ１１は、プログ
ラムおよびデータが固定的に格納されたＲＯＭと、マイ
クロコンピュータ１０のワーク領域等として使用される
ＲＡＭとを含む。このメモリ１１に格納されている情報
としては、例えば、上述した演算処理によって決定され
た重み係数Ｏｒ，Ｏｇ，Ｏｂの具体値、色情報テーブル
１１０が挙げられる。
グラムを実行することで検出対象物を選定するマイクロ
コンピュータ１０と、プログラムおよび各種データが格
納されたメモリ１１とを有する。メモリ１１は、プログ
ラムおよびデータが固定的に格納されたＲＯＭと、マイ
クロコンピュータ１０のワーク領域等として使用される
ＲＡＭとを含む。このメモリ１１に格納されている情報
としては、例えば、上述した演算処理によって決定され
た重み係数Ｏｒ，Ｏｇ，Ｏｂの具体値、色情報テーブル
１１０が挙げられる。
【００２６】数式３に示した演算によって決定された重
み係数のセット（Ｏｒ，Ｏｇ，Ｏｂ）は、メモリ１１
（ＲＡＭ）における所定のアドレス領域（以下、「重み
設定領域」という）に格納・保持される。そして、重み
係数のセット（Ｏｒ，Ｏｇ，Ｏｂ）が更新されると、こ
の重み設定領域に書き込まれている値も速やかに更新さ
れる。融合処理部８は、重み設定領域にアクセスするこ
とで、現時点で適用すべき重み係数のセット（Ｏｒ，Ｏ
ｇ，Ｏｂ）を獲得する。
み係数のセット（Ｏｒ，Ｏｇ，Ｏｂ）は、メモリ１１
（ＲＡＭ）における所定のアドレス領域（以下、「重み
設定領域」という）に格納・保持される。そして、重み
係数のセット（Ｏｒ，Ｏｇ，Ｏｂ）が更新されると、こ
の重み設定領域に書き込まれている値も速やかに更新さ
れる。融合処理部８は、重み設定領域にアクセスするこ
とで、現時点で適用すべき重み係数のセット（Ｏｒ，Ｏ
ｇ，Ｏｂ）を獲得する。
【００２７】図２は、色情報テーブル１１０の一例を示
す図である。この色情報テーブル１１０には、検出対象
物１１１と、その色を表現した色情報１１２とが対応付
けて記述されている。色情報１１２は、２５６階調の輝
度値で表現した色成分（Ｉｒ，Ｉｇ，Ｉｂ）である。例
えば、追い越し禁止のセンターライン（日本国内におい
ては黄色あるいはオレンジ色）は、Ｉｒ＝２４０，Ｉｇ
＝１９０，Ｉｂ＝０に設定されている。また、車両のリ
アランプおよびストップランプは、Ｉｒ＝２４０，Ｉｇ
＝０，Ｉｂ＝０に設定されている。
す図である。この色情報テーブル１１０には、検出対象
物１１１と、その色を表現した色情報１１２とが対応付
けて記述されている。色情報１１２は、２５６階調の輝
度値で表現した色成分（Ｉｒ，Ｉｇ，Ｉｂ）である。例
えば、追い越し禁止のセンターライン（日本国内におい
ては黄色あるいはオレンジ色）は、Ｉｒ＝２４０，Ｉｇ
＝１９０，Ｉｂ＝０に設定されている。また、車両のリ
アランプおよびストップランプは、Ｉｒ＝２４０，Ｉｇ
＝０，Ｉｂ＝０に設定されている。
【００２８】図３は、統一視差Ｎｉの算出手順を示すフ
ローチャートである。まず、ステップ１０１において、
ステレオ演算回路６は、画像データメモリ７に格納され
ている基準画像データと比較画像データとを読み出し、
ステレオマッチングを行う。上述したように、ステレオ
マッチングは、Ｒ画像，Ｇ画像，Ｂ画像のそれぞれにつ
いて互いに独立的に行われ、原色視差Ｎｒ，Ｎｇ，Ｎｂ
が別個に算出される。それぞれの原色画像に対して行わ
れるステレオマッチング自体は、モノクロ画像に対して
行われるステレオマッチングと同様である。
ローチャートである。まず、ステップ１０１において、
ステレオ演算回路６は、画像データメモリ７に格納され
ている基準画像データと比較画像データとを読み出し、
ステレオマッチングを行う。上述したように、ステレオ
マッチングは、Ｒ画像，Ｇ画像，Ｂ画像のそれぞれにつ
いて互いに独立的に行われ、原色視差Ｎｒ，Ｎｇ，Ｎｂ
が別個に算出される。それぞれの原色画像に対して行わ
れるステレオマッチング自体は、モノクロ画像に対して
行われるステレオマッチングと同様である。
【００２９】つぎに、ステップ１０２において、融合処
理部８は、検出対象選定部９から重み係数Ｏｒ，Ｏｇ，
Ｏｂを読み込む。検出対象選定部９（メモリ１１の重み
設定領域）には、検出対象物の色を考慮した重み係数
（Ｏｒ，Ｏｇ，Ｏｂ）が設定されている。ステップ１０
３において、融合処理部８は、先に求めた原色視差Ｎ
ｒ，Ｎｇ，Ｎｂと重み係数Ｏｒ，Ｏｇ，Ｏｂとを用い
て、上述した数式１に従い、統一視差Ｎｉを算出する。
ステップ１０４において、融合処理部８は、統一視差Ｎ
ｉを距離データメモリ１２に格納する。
理部８は、検出対象選定部９から重み係数Ｏｒ，Ｏｇ，
Ｏｂを読み込む。検出対象選定部９（メモリ１１の重み
設定領域）には、検出対象物の色を考慮した重み係数
（Ｏｒ，Ｏｇ，Ｏｂ）が設定されている。ステップ１０
３において、融合処理部８は、先に求めた原色視差Ｎ
ｒ，Ｎｇ，Ｎｂと重み係数Ｏｒ，Ｏｇ，Ｏｂとを用い
て、上述した数式１に従い、統一視差Ｎｉを算出する。
ステップ１０４において、融合処理部８は、統一視差Ｎ
ｉを距離データメモリ１２に格納する。
【００３０】ステレオ演算回路６および融合処理部８
は、処理対象を次の画素ブロックに変更したうえで同様
の処理を繰り返す。１フレーム分の統一視差Ｎｉを求め
ることで、距離データメモリ１２には１フレーム分の距
離データ（ｉ，ｊ，Ｎｉ）が格納される。
は、処理対象を次の画素ブロックに変更したうえで同様
の処理を繰り返す。１フレーム分の統一視差Ｎｉを求め
ることで、距離データメモリ１２には１フレーム分の距
離データ（ｉ，ｊ，Ｎｉ）が格納される。
【００３１】図４は、重み係数のセット（Ｏｒ，Ｏｇ，
Ｏｂ）の設定手順を示すフローチャートである。まず、
ステップ２０１において、検出対象選定部９は、図示し
ていない各種センサの検出結果等に基づいて、車速、加
減速の様子、舵角、方向指示器（あるいは、方向指示器
操作レバー）等の走行状況を検出する。
Ｏｂ）の設定手順を示すフローチャートである。まず、
ステップ２０１において、検出対象選定部９は、図示し
ていない各種センサの検出結果等に基づいて、車速、加
減速の様子、舵角、方向指示器（あるいは、方向指示器
操作レバー）等の走行状況を検出する。
【００３２】続くステップ２０２において、検出対象選
定部９は、検出された走行状態に基づいて、現時点で検
出すべき対象物を選定する。例えば、右の方向指示器が
点灯（点滅）している場面としては、（１）追い越し、
（２）右折、といった場面が考えられる。追い越しと右
折との区別は、車速、加速状況等を考慮することで可能
である。検出対象選定部９は、追い越しのために右の方
向指示器が点灯（厳密には点滅）していると判断した場
合には、検出対象物として追い越し禁止のセンターライ
ンを選定する。このようなセンターラインを検出対象物
にする理由は、追い越し禁止の区域を走行時に、ドライ
バによる追い越し操作に対する警告を与えるためであ
る。なお、方向指示器自体についてはランプ切れといっ
た事態も考えられるため、方向指示器の点灯状態ではな
く、方向指示器操作レバーの状態を検出してもよい。ま
た、検出対象選定部９は、車速、車間距離等を考慮する
ことで前方車両への追突を警戒する必要がある状況で
は、検出対象物として車両のストップランプを選定す
る。ストップランプの点灯状態を検出することで前方車
両の減速が予測でき、ドライバに警告を与えることが可
能となる。
定部９は、検出された走行状態に基づいて、現時点で検
出すべき対象物を選定する。例えば、右の方向指示器が
点灯（点滅）している場面としては、（１）追い越し、
（２）右折、といった場面が考えられる。追い越しと右
折との区別は、車速、加速状況等を考慮することで可能
である。検出対象選定部９は、追い越しのために右の方
向指示器が点灯（厳密には点滅）していると判断した場
合には、検出対象物として追い越し禁止のセンターライ
ンを選定する。このようなセンターラインを検出対象物
にする理由は、追い越し禁止の区域を走行時に、ドライ
バによる追い越し操作に対する警告を与えるためであ
る。なお、方向指示器自体についてはランプ切れといっ
た事態も考えられるため、方向指示器の点灯状態ではな
く、方向指示器操作レバーの状態を検出してもよい。ま
た、検出対象選定部９は、車速、車間距離等を考慮する
ことで前方車両への追突を警戒する必要がある状況で
は、検出対象物として車両のストップランプを選定す
る。ストップランプの点灯状態を検出することで前方車
両の減速が予測でき、ドライバに警告を与えることが可
能となる。
【００３３】続くステップ２０３において、検出対象選
定部９は、色情報テーブル１１０を参照することで、こ
の対象物についての色情報を得る。そして、ステップ２
０４において、この色情報（色成分）を用いて、上述し
た数式３の演算を実行することで重み係数のセット（Ｏ
ｒ，Ｏｇ，Ｏｂ）の具体値を算定する。
定部９は、色情報テーブル１１０を参照することで、こ
の対象物についての色情報を得る。そして、ステップ２
０４において、この色情報（色成分）を用いて、上述し
た数式３の演算を実行することで重み係数のセット（Ｏ
ｒ，Ｏｇ，Ｏｂ）の具体値を算定する。
【００３４】例えば、この実施形態の色情報テーブル１
１０では、追い越し禁止のセンターラインの色成分がＩ
ｒ＝２４０，Ｉｇ＝１９０，Ｉｂ＝０と規定されている
（図２参照）。したがって、これらが適用された場合の
重み係数は、Ｏｒ＝２４０／（２４０＋１９０＋０）、
Ｏｇ＝１９０／（２４０＋１９０＋０）、Ｏｂ＝０とな
る。また、ストップランプについては、色成分がＩｒ＝
２４０，Ｉｇ＝０，Ｉｂ＝０と規定されている（図２参
照）。この場合の重み係数は、Ｏｒ＝２４０／（２４０
＋０＋０）、Ｏｇ＝０、Ｏｂ＝０となる。
１０では、追い越し禁止のセンターラインの色成分がＩ
ｒ＝２４０，Ｉｇ＝１９０，Ｉｂ＝０と規定されている
（図２参照）。したがって、これらが適用された場合の
重み係数は、Ｏｒ＝２４０／（２４０＋１９０＋０）、
Ｏｇ＝１９０／（２４０＋１９０＋０）、Ｏｂ＝０とな
る。また、ストップランプについては、色成分がＩｒ＝
２４０，Ｉｇ＝０，Ｉｂ＝０と規定されている（図２参
照）。この場合の重み係数は、Ｏｒ＝２４０／（２４０
＋０＋０）、Ｏｇ＝０、Ｏｂ＝０となる。
【００３５】ステップ２０５において、検出対象選定部
９は、ステップ２０４で算定された値を、重み係数Ｏ
ｒ，Ｏｇ，Ｏｂの新たな値として設定する。具体的に
は、メモリ１１（ＲＡＭ）の重み設定領域が、新たに算
出された具体値に書き換えられる。なお、特定の検出対
象物が選定されていない状態では、検出対象選定部９
は、デフォルト値として、Ｏｒ＝Ｏｇ＝Ｏｂ＝１／３に
セットする（算出平均を意味する）。
９は、ステップ２０４で算定された値を、重み係数Ｏ
ｒ，Ｏｇ，Ｏｂの新たな値として設定する。具体的に
は、メモリ１１（ＲＡＭ）の重み設定領域が、新たに算
出された具体値に書き換えられる。なお、特定の検出対
象物が選定されていない状態では、検出対象選定部９
は、デフォルト値として、Ｏｒ＝Ｏｇ＝Ｏｂ＝１／３に
セットする（算出平均を意味する）。
【００３６】検出対象選定部９は、以上のような手順を
繰り返し実行することによって、走行状況に応じた検出
対象を適宜選定するとともに、検出対象物に応じて重み
係数のセット（Ｏｒ，Ｏｇ，Ｏｂ）を逐次更新・設定す
る。
繰り返し実行することによって、走行状況に応じた検出
対象を適宜選定するとともに、検出対象物に応じて重み
係数のセット（Ｏｒ，Ｏｇ，Ｏｂ）を逐次更新・設定す
る。
【００３７】本実施形態によれば、個々の原色画像に関
して原色視差Ｎｒ，Ｎｇ，Ｎｂを算出し、これらに基づ
いて統一視差Ｎｉを算出するため、信頼性の高い距離デ
ータを算出することができる。従来のモノクロ画像をベ
ースとしたステレオ画像処理では、入力情報に色情報は
存在せず、それぞれの原色の輝度の総和が輝度情報とし
て得られるにすぎない。このため、ある画像領域におい
て各原色の輝度が急激に変化していたとしても、輝度総
和が一定である限りは、変動量が互いに相殺し合うた
め、原色ベースでの輝度エッジとしては認識されない。
して原色視差Ｎｒ，Ｎｇ，Ｎｂを算出し、これらに基づ
いて統一視差Ｎｉを算出するため、信頼性の高い距離デ
ータを算出することができる。従来のモノクロ画像をベ
ースとしたステレオ画像処理では、入力情報に色情報は
存在せず、それぞれの原色の輝度の総和が輝度情報とし
て得られるにすぎない。このため、ある画像領域におい
て各原色の輝度が急激に変化していたとしても、輝度総
和が一定である限りは、変動量が互いに相殺し合うた
め、原色ベースでの輝度エッジとしては認識されない。
【００３８】これに対し、本実施形態のように、カラー
画像をベースとしたステレオ画像処理では、カラー画像
を構成する原色毎に撮像画像が得られるため、輝度エッ
ジも原色毎に認識でき、原色毎の輝度エッジに起因した
原色視差Ｎｒ，Ｎｇ，Ｎｂを別個に算出できる。その
際、ある画素ブロックに関して算出される３つの原色視
差Ｎｒ，Ｎｇ，Ｎｂは、必ずしも同じ値になるとは限ら
ない。このような原色視差の不一致は、画素ブロックに
対象物以外の背景部分が含まれてしまうこと、或いは、
その背景部分での色成分値が各原色によって異なること
に起因している。例えば、対象物が赤色であり、背景部
分が緑色である場合について考えると、Ｒ画像について
のステレオ画像認識の結果は、対象物までの距離を反映
した値となり、背景部分には赤色の成分は含まれていな
いため、背景部分の存在がＲ画像についての認識結果に
影響を与えることはない。しかしながら、背景部分には
緑色の成分が多く含まれているため、Ｇ画像についての
認識結果は、この背景までの距離を反映した値となって
しまう。その結果、緑の原色視差Ｎｇは赤の原色視差Ｎ
ｒと一致しなくなる。本実施形態は、このような原色視
差Ｎｒ，Ｎｇ，Ｎｂの不一致が生じ得る点に鑑みなされ
たものであり、原色視差Ｎｒ，Ｎｇ，Ｎｂの積和演算に
よって統一視差Ｎｉを画一的かつ一義的に決定すること
ができる。
画像をベースとしたステレオ画像処理では、カラー画像
を構成する原色毎に撮像画像が得られるため、輝度エッ
ジも原色毎に認識でき、原色毎の輝度エッジに起因した
原色視差Ｎｒ，Ｎｇ，Ｎｂを別個に算出できる。その
際、ある画素ブロックに関して算出される３つの原色視
差Ｎｒ，Ｎｇ，Ｎｂは、必ずしも同じ値になるとは限ら
ない。このような原色視差の不一致は、画素ブロックに
対象物以外の背景部分が含まれてしまうこと、或いは、
その背景部分での色成分値が各原色によって異なること
に起因している。例えば、対象物が赤色であり、背景部
分が緑色である場合について考えると、Ｒ画像について
のステレオ画像認識の結果は、対象物までの距離を反映
した値となり、背景部分には赤色の成分は含まれていな
いため、背景部分の存在がＲ画像についての認識結果に
影響を与えることはない。しかしながら、背景部分には
緑色の成分が多く含まれているため、Ｇ画像についての
認識結果は、この背景までの距離を反映した値となって
しまう。その結果、緑の原色視差Ｎｇは赤の原色視差Ｎ
ｒと一致しなくなる。本実施形態は、このような原色視
差Ｎｒ，Ｎｇ，Ｎｂの不一致が生じ得る点に鑑みなされ
たものであり、原色視差Ｎｒ，Ｎｇ，Ｎｂの積和演算に
よって統一視差Ｎｉを画一的かつ一義的に決定すること
ができる。
【００３９】また、本実施形態では、検出しようとする
対象物の色を考慮した重み係数のセット（Ｏｒ，Ｏｇ，
Ｏｂ）を設定し、検出対象物の色情報を反映した統一視
差Ｎｉを算出する。統一視差Ｎｉの算出する際に、検出
対象物の色情報も考慮することで、より信頼性の高い距
離データを算出することができる。これは、対象物の色
が特徴的なものである場合、例えば、周囲と比べて著し
く異なった色である場合において特に有効である。
対象物の色を考慮した重み係数のセット（Ｏｒ，Ｏｇ，
Ｏｂ）を設定し、検出対象物の色情報を反映した統一視
差Ｎｉを算出する。統一視差Ｎｉの算出する際に、検出
対象物の色情報も考慮することで、より信頼性の高い距
離データを算出することができる。これは、対象物の色
が特徴的なものである場合、例えば、周囲と比べて著し
く異なった色である場合において特に有効である。
【００４０】さらに、近年急速に価格が下がったカラー
ＣＣＤを使用できるため、画像処理装置の一層のコスト
低減を図ることができる。特に、イメージセンサのカラ
ー化が進んだ今日、白黒のイメージセンサを採用するこ
とはコスト的に却って高くつくという状況も生じつつあ
るが、本実施形態によればかかる不都合を回避すること
ができる。
ＣＣＤを使用できるため、画像処理装置の一層のコスト
低減を図ることができる。特に、イメージセンサのカラ
ー化が進んだ今日、白黒のイメージセンサを採用するこ
とはコスト的に却って高くつくという状況も生じつつあ
るが、本実施形態によればかかる不都合を回避すること
ができる。
【００４１】なお、本実施形態は、４色の補色フィルタ
（シアン、マゼンダ、イエロー、グリーン）を用いたカ
ラーカメラを用いた場合でも適用可能である。この補色
フィルタを用いたカラーカメラでは、光の利用効率が高
いため、高解像度化、暗い状況への対応という点で有利
である。ただし、上述した各種回路をそのまま使用する
ためには、このような補色フィルタを採用したカメラで
あっても、出力される画像データをＲＧＢのカラー画像
データに変換する必要がある。
（シアン、マゼンダ、イエロー、グリーン）を用いたカ
ラーカメラを用いた場合でも適用可能である。この補色
フィルタを用いたカラーカメラでは、光の利用効率が高
いため、高解像度化、暗い状況への対応という点で有利
である。ただし、上述した各種回路をそのまま使用する
ためには、このような補色フィルタを採用したカメラで
あっても、出力される画像データをＲＧＢのカラー画像
データに変換する必要がある。
【００４２】また、上述した実施形態では、融合処理部
８および検出対象選定部９が、他の構成部分とを別個に
設けている。しかしながら、融合処理部８および検出対
象選定部９は、ハードウエア構成上、必ずしも独立的に
存在している必要はなく、例えば、マイクロコンピュー
タ１３に所定のプログラムを実行させることでこれらを
実現してもよい。
８および検出対象選定部９が、他の構成部分とを別個に
設けている。しかしながら、融合処理部８および検出対
象選定部９は、ハードウエア構成上、必ずしも独立的に
存在している必要はなく、例えば、マイクロコンピュー
タ１３に所定のプログラムを実行させることでこれらを
実現してもよい。
【００４３】また、上述した実施形態では、重み係数Ｏ
ｒ，Ｏｇ，Ｏｂを、様々ある平均化処理のうちの一つで
ある、数式３に示した加重平均に基づいて決定してい
る。しかしながら、その決定の仕方はこれに限定される
ものではなく、例えば算術平均によって決定してもよ
い。実際に、特定の検出対象物が選定されていない状態
では、デフォルト値（Ｏｒ＝Ｏｇ＝Ｏｂ＝１／３）が適
用されるため、実質的に算術平均が行われる。さらに、
本発明は、数式１に示すように、加重平均および算術平
均を含む積和演算に広く適用可能である。
ｒ，Ｏｇ，Ｏｂを、様々ある平均化処理のうちの一つで
ある、数式３に示した加重平均に基づいて決定してい
る。しかしながら、その決定の仕方はこれに限定される
ものではなく、例えば算術平均によって決定してもよ
い。実際に、特定の検出対象物が選定されていない状態
では、デフォルト値（Ｏｒ＝Ｏｇ＝Ｏｂ＝１／３）が適
用されるため、実質的に算術平均が行われる。さらに、
本発明は、数式１に示すように、加重平均および算術平
均を含む積和演算に広く適用可能である。
【００４４】また、上述した実施形態では、図２に示し
た色情報テーブル１１０に色情報１１２として色成分値
を格納し、色成分値より係数Ｏｒ，Ｏｇ，Ｏｂを算出し
ている。しかしながら、対象物毎に重み係数のセット
（Ｏｒ，Ｏｇ，Ｏｂ）を予め計算しておき、これをその
まま色情報１１２として色情報テーブル１１０に格納し
てもよい。これにより、検出対象選定部９における演算
負荷を下げることができる。
た色情報テーブル１１０に色情報１１２として色成分値
を格納し、色成分値より係数Ｏｒ，Ｏｇ，Ｏｂを算出し
ている。しかしながら、対象物毎に重み係数のセット
（Ｏｒ，Ｏｇ，Ｏｂ）を予め計算しておき、これをその
まま色情報１１２として色情報テーブル１１０に格納し
てもよい。これにより、検出対象選定部９における演算
負荷を下げることができる。
【００４５】また、検出すべき対象物は、撮像画像中の
領域に応じて切り替えてもよい。例えば、画像の上側領
域についてステレオマッチングを行っている間は信号の
赤あるいは標識を検出対象物として設定しておく。そし
て、ステレオマッチングを行う領域が画像の下側部分に
達した場合には、検出対象物をセンターラインに変更す
る。これにより、１フレーム相当の撮像画像において、
種類の異なる検出対象物を同時に検出できる。これによ
り、複数の検出対象物に関する距離データを、効率的か
つ高精度で算出できる。この場合、検出対象選定部９
は、対象物毎の重み係数のセット（Ｏｒ，Ｏｇ，Ｏｂ）
を、これを適用する画像領域を示す”領域指定情報”と
対応付けて保持する。融合処理部８は、融合対象となる
原色視差Ｎｒ，Ｎｇ，Ｎｂが、撮像画像のいずれの部分
に関するものであるかを認識した上で、重み係数のセッ
ト（Ｏｒ，Ｏｇ，Ｏｂ）を検出対象選定部９から読み出
す。ただし、上記”領域指定情報”は、必ずしもデータ
としての形態をとっている必要はない。すなわち、メモ
リ１１への格納順（あるいは、格納領域）、融合処理部
８による読み出し順、演算処理順などを適当に取り決め
ておくことで、結果的に領域毎に重み係数が使い分けら
れるようにしても構わない。この場合には、この取り決
め自体が、”領域指定情報”に相当する。
領域に応じて切り替えてもよい。例えば、画像の上側領
域についてステレオマッチングを行っている間は信号の
赤あるいは標識を検出対象物として設定しておく。そし
て、ステレオマッチングを行う領域が画像の下側部分に
達した場合には、検出対象物をセンターラインに変更す
る。これにより、１フレーム相当の撮像画像において、
種類の異なる検出対象物を同時に検出できる。これによ
り、複数の検出対象物に関する距離データを、効率的か
つ高精度で算出できる。この場合、検出対象選定部９
は、対象物毎の重み係数のセット（Ｏｒ，Ｏｇ，Ｏｂ）
を、これを適用する画像領域を示す”領域指定情報”と
対応付けて保持する。融合処理部８は、融合対象となる
原色視差Ｎｒ，Ｎｇ，Ｎｂが、撮像画像のいずれの部分
に関するものであるかを認識した上で、重み係数のセッ
ト（Ｏｒ，Ｏｇ，Ｏｂ）を検出対象選定部９から読み出
す。ただし、上記”領域指定情報”は、必ずしもデータ
としての形態をとっている必要はない。すなわち、メモ
リ１１への格納順（あるいは、格納領域）、融合処理部
８による読み出し順、演算処理順などを適当に取り決め
ておくことで、結果的に領域毎に重み係数が使い分けら
れるようにしても構わない。この場合には、この取り決
め自体が、”領域指定情報”に相当する。
【００４６】
【発明の効果】本発明では、一対のカラー画像を用いて
ステレオ画像処理を行う際、カラー画像を構成する同一
色の原色画像毎に原色視差を算出する。そして、それぞ
れの原色視差を入力とした積和演算によって統一視差を
一義的に算出できる。これにより、信頼性の高い距離デ
ータが算出可能になる。
ステレオ画像処理を行う際、カラー画像を構成する同一
色の原色画像毎に原色視差を算出する。そして、それぞ
れの原色視差を入力とした積和演算によって統一視差を
一義的に算出できる。これにより、信頼性の高い距離デ
ータが算出可能になる。
【図１】ステレオ画像処理装置の概要的なブロック図
【図２】色情報テーブルの一例を示す図
【図３】統一視差の算出手順を示すフローチャート
【図４】重み係数のセットの設定手順を示すフローチャ
ート
ート
１，２ カメラ
３ アナログインターフェース
４ Ａ／Ｄコンバータ
５ 補正回路
６ ステレオ演算回路
７ 画像データメモリ
８ 融合処理部
９ 検出対象選定部
１０ マイクロコンピュータ
１１ メモリ
１２ 距離データメモリ
１３ マイクロコンピュータ
１４ 認識部
１５ 警報装置
１６ 制御装置
─────────────────────────────────────────────────────
フロントページの続き
(51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考）
Ｈ０４Ｎ 7/18 Ｈ０４Ｎ 7/18 Ｊ
15/00 15/00
Ｆターム(参考） 2F112 AC03 AC06 BA03 CA05 FA31
FA35 FA45
5B057 BA13 CA01 CA08 CA13 CA16
CB01 CB08 CB16 CE16 CH07
CH09 DB03 DB06 DB09 DC02
DC30 DC32
5C054 AA01 AA05 CA04 CC02 EA01
EB05 FB03 FC15 FD02 HA18
HA26 HA30
5C061 AA25 AB01 AB04 AB08
5L096 AA02 AA06 AA09 BA02 CA05
EA39 FA66 FA69 FA70 GA17
GA40
Claims (10)
- 【請求項１】それぞれが複数の原色画像で構成された一
対のカラー画像を用いて、ステレオマッチングを行う画
像処理装置において、 同一色の原色画像対を用いてステレオマッチングを行う
ことにより、それぞれの原色画像に関する原色視差を算
定する視差算定手段と、 視差の算出単位となる一の画像領域に関して、それぞれ
の原色視差の積和演算によって、統一視差を算出する融
合処理手段とを有することを特徴とする画像処理装置。 - 【請求項２】前記融合処理手段は、予め設定された重み
情報を用いて、それぞれの原色視差の加重平均より統一
視差を算出することを特徴とする請求項１に記載された
画像処理装置。 - 【請求項３】前記融合処理手段は、画像平面における前
記画像領域の位置に応じて、前記画像領域に対して適用
する重み情報を設定する設定手段をさらに有することを
特徴とする請求項２に記載された画像処理装置。 - 【請求項４】前記設定手段は、前記重み情報を検出すべ
き対象物の色に応じて設定することを特徴とする請求項
３に記載された画像処理装置。 - 【請求項５】前記設定手段は、検出すべき対象物を選定
する対象物選定手段と、 予め設定された複数種類の対象物と、当該対象物の重み
情報とを対応づけた重みテーブルを記憶した記憶手段
と、 前記重みテーブルを参照することによって、前記対象物
選定手段によって選定されている対象物に関する重み情
報を指定する指定手段とを有することを特徴とする請求
項５に記載された画像処理装置。 - 【請求項６】それぞれが複数の原色画像で構成された一
対のカラー画像を用いて、ステレオマッチングを行う画
像処理方法において、 同一色の原色画像対を用いてステレオマッチングを行う
ことにより、それぞれの原色画像に関する原色視差を算
定する第１のステップと、 視差の算出単位となる一の画像領域に関して、それぞれ
の原色視差の積和演算によって、統一視差を算出する第
２のステップとを有することを特徴とする画像処理方
法。 - 【請求項７】前記第２のステップは、予め設定された重
み情報を用いて、それぞれの原色視差の加重平均より統
一視差を算出することを特徴とする請求項６に記載され
た画像処理方法。 - 【請求項８】前記第２のステップは、画像平面における
前記画像領域の位置に応じて、前記画像領域に対して適
用する重み情報を設定する第３のステップを含むことを
特徴とする請求項７に記載された画像処理方法。 - 【請求項９】前記第３のステップは、前記重み情報を検
出すべき対象物の色に応じて設定することを特徴とする
請求項８に記載された画像処理方法。 - 【請求項１０】前記第３のステップは、 検出すべき対象物を選定するステップと、 予め設定された複数種類の対象物と当該対象物の重み情
報との対応関係に基づいて、前記選定された対象物に関
する重み情報を指定するステップとを含むことを特徴と
する請求項９に記載された画像処理方法。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001343801A JP2003150936A (ja) | 2001-11-08 | 2001-11-08 | 画像処理装置および画像処理方法 |
| US10/288,933 US7065245B2 (en) | 2001-11-08 | 2002-11-07 | Image processing apparatus and the method thereof |
| EP02024959A EP1311130B1 (en) | 2001-11-08 | 2002-11-07 | Method for matching stereoscopic color images |
| DE60217616T DE60217616T2 (de) | 2001-11-08 | 2002-11-07 | Verfahren zum Abgleichen stereoskopischer Farbbilder |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001343801A JP2003150936A (ja) | 2001-11-08 | 2001-11-08 | 画像処理装置および画像処理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2003150936A true JP2003150936A (ja) | 2003-05-23 |
Family
ID=19157422
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001343801A Pending JP2003150936A (ja) | 2001-11-08 | 2001-11-08 | 画像処理装置および画像処理方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US7065245B2 (ja) |
| EP (1) | EP1311130B1 (ja) |
| JP (1) | JP2003150936A (ja) |
| DE (1) | DE60217616T2 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005119175A1 (ja) * | 2004-06-03 | 2005-12-15 | Matsushita Electric Industrial Co., Ltd. | カメラモジュール |
| CN103236057A (zh) * | 2013-04-24 | 2013-08-07 | 上海大学 | 一种改进的自适应权重视差匹配方法 |
| JP2015152484A (ja) * | 2014-02-17 | 2015-08-24 | キヤノン株式会社 | 距離計測装置、撮像装置、距離計測方法、およびプログラム |
| JP2018185162A (ja) * | 2017-04-24 | 2018-11-22 | キヤノン株式会社 | 測距装置、測距システム、および測距方法 |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4069855B2 (ja) * | 2003-11-27 | 2008-04-02 | ソニー株式会社 | 画像処理装置及び方法 |
| CN101558427B (zh) * | 2007-03-06 | 2012-03-21 | 松下电器产业株式会社 | 图像处理装置以及方法 |
| JP2009236811A (ja) | 2008-03-28 | 2009-10-15 | Fujifilm Corp | 画像処理装置および画像処理方法並びにプログラム |
| KR101763686B1 (ko) * | 2010-11-15 | 2017-08-01 | 삼성전자 주식회사 | 입체 영상 처리 장치 및 그 처리 방법 |
| JP5639024B2 (ja) * | 2011-09-27 | 2014-12-10 | 富士重工業株式会社 | 画像処理装置 |
| JP5860663B2 (ja) * | 2011-10-18 | 2016-02-16 | 日立オートモティブシステムズ株式会社 | ステレオ撮像装置 |
| US8787664B2 (en) | 2012-09-24 | 2014-07-22 | Adobe Systems Incorporated | Automatically matching colors in stereoscopic image pairs |
| JP6071422B2 (ja) | 2012-10-29 | 2017-02-01 | 日立オートモティブシステムズ株式会社 | 画像処理装置 |
| US9091558B2 (en) | 2013-12-23 | 2015-07-28 | Automotive Research & Testing Center | Autonomous driver assistance system and autonomous driving method thereof |
| US9607513B1 (en) * | 2015-12-03 | 2017-03-28 | Denso International America, Inc. | Systems and methods for informing driver of lane passing regulations |
| US10800455B2 (en) | 2015-12-17 | 2020-10-13 | Ford Global Technologies, Llc | Vehicle turn signal detection |
| CN107886770B (zh) * | 2016-09-30 | 2020-05-22 | 比亚迪股份有限公司 | 车辆识别方法、装置及车辆 |
| US10737618B2 (en) | 2017-04-10 | 2020-08-11 | Advanced Semiconductor Engineering, Inc. | Device and method for identifying relative position between objects |
| EP4128746A1 (en) * | 2020-04-22 | 2023-02-08 | Huawei Technologies Co., Ltd. | Device and method for depth estimation using color images |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5638116A (en) | 1993-09-08 | 1997-06-10 | Sumitomo Electric Industries, Ltd. | Object recognition apparatus and method |
| JPH0795598A (ja) * | 1993-09-25 | 1995-04-07 | Sony Corp | 目標追尾装置 |
| JPH08138053A (ja) * | 1994-11-08 | 1996-05-31 | Canon Inc | 被写体情報処理装置及び遠隔装置 |
| JP3866328B2 (ja) * | 1996-06-06 | 2007-01-10 | 富士重工業株式会社 | 車両周辺立体物認識装置 |
| JPH1069543A (ja) * | 1996-08-29 | 1998-03-10 | Oki Electric Ind Co Ltd | 被写体の曲面再構成方法及び被写体の曲面再構成装置 |
| JP2963991B1 (ja) * | 1998-06-29 | 1999-10-18 | 岡山大学長 | 面補間距離取得装置 |
| JP3280001B2 (ja) * | 1999-09-16 | 2002-04-30 | 富士重工業株式会社 | ステレオ画像の位置ずれ調整装置 |
| JP3352655B2 (ja) * | 1999-09-22 | 2002-12-03 | 富士重工業株式会社 | 車線認識装置 |
| US6597807B1 (en) * | 1999-09-27 | 2003-07-22 | The United States Of America As Represented By The Secretary Of The Army | Method for red green blue (RGB) stereo sensor fusion |
-
2001
- 2001-11-08 JP JP2001343801A patent/JP2003150936A/ja active Pending
-
2002
- 2002-11-07 US US10/288,933 patent/US7065245B2/en not_active Expired - Fee Related
- 2002-11-07 EP EP02024959A patent/EP1311130B1/en not_active Expired - Fee Related
- 2002-11-07 DE DE60217616T patent/DE60217616T2/de not_active Expired - Lifetime
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005119175A1 (ja) * | 2004-06-03 | 2005-12-15 | Matsushita Electric Industrial Co., Ltd. | カメラモジュール |
| CN103236057A (zh) * | 2013-04-24 | 2013-08-07 | 上海大学 | 一种改进的自适应权重视差匹配方法 |
| JP2015152484A (ja) * | 2014-02-17 | 2015-08-24 | キヤノン株式会社 | 距離計測装置、撮像装置、距離計測方法、およびプログラム |
| JP2018185162A (ja) * | 2017-04-24 | 2018-11-22 | キヤノン株式会社 | 測距装置、測距システム、および測距方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1311130A2 (en) | 2003-05-14 |
| DE60217616T2 (de) | 2007-05-16 |
| US7065245B2 (en) | 2006-06-20 |
| EP1311130A3 (en) | 2004-08-18 |
| EP1311130B1 (en) | 2007-01-17 |
| US20030085991A1 (en) | 2003-05-08 |
| DE60217616D1 (de) | 2007-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2003150936A (ja) | 画像処理装置および画像処理方法 | |
| EP2471691B1 (en) | Obstacle detection device, obstacle detection system provided therewith, and obstacle detection method | |
| US9542608B2 (en) | Image processing apparatus | |
| JP5171723B2 (ja) | 障害物検知装置、および当該装置を搭載した車両 | |
| JP2002319091A (ja) | 後続車両認識装置 | |
| CN107211096B (zh) | 摄像装置和方法以及记录介质 | |
| JP4151890B2 (ja) | 車両監視装置および車両監視方法 | |
| JP3287465B2 (ja) | ステレオ画像処理装置 | |
| JP2012221103A (ja) | 車両用画像処理装置 | |
| JP2001174696A (ja) | カラー撮像装置 | |
| CN111355880B (zh) | 半导体器件、图像处理系统和方法及计算机可读存储介质 | |
| JP4053280B2 (ja) | 画像処理装置および画像処理方法 | |
| CN110365872B (zh) | 相机像素的动态去马赛克 | |
| JP5235843B2 (ja) | 車両周辺監視装置および車両周辺監視方法 | |
| JP4804202B2 (ja) | ステレオ式監視装置 | |
| JP3084208B2 (ja) | 画像処理装置 | |
| JP4130601B2 (ja) | 対象物認識装置および対象物認識方法 | |
| JP2022188888A (ja) | 画像処理装置および画像処理方法 | |
| JP4574157B2 (ja) | 情報表示装置および情報表示方法 | |
| JP6266022B2 (ja) | 画像処理装置、警報装置、および画像処理方法 | |
| JP4398216B2 (ja) | 情報表示装置および情報表示方法 | |
| JP5904825B2 (ja) | 画像処理装置 | |
| JP4099011B2 (ja) | 監視装置および監視方法 | |
| JP2004102323A (ja) | 画像処理装置および画像処理方法 | |
| JP2014059642A (ja) | 路上映像情報システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040929 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070808 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070821 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071003 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20071121 |