JP2008262333A - 路面判別装置および路面判別方法 - Google Patents

路面判別装置および路面判別方法 Download PDF

Info

Publication number
JP2008262333A
JP2008262333A JP2007103801A JP2007103801A JP2008262333A JP 2008262333 A JP2008262333 A JP 2008262333A JP 2007103801 A JP2007103801 A JP 2007103801A JP 2007103801 A JP2007103801 A JP 2007103801A JP 2008262333 A JP2008262333 A JP 2008262333A
Authority
JP
Japan
Prior art keywords
road surface
region
area
edge
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007103801A
Other languages
English (en)
Other versions
JP4872769B2 (ja
Inventor
Tomoko Shimomura
倫子 下村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2007103801A priority Critical patent/JP4872769B2/ja
Publication of JP2008262333A publication Critical patent/JP2008262333A/ja
Application granted granted Critical
Publication of JP4872769B2 publication Critical patent/JP4872769B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】撮像画像内にエッジ強度が大きい線分が検出されない場合であっても、撮像画像に存在する路面や立体物の判別を行うことができるようにする。
【解決手段】画像処理部10が、車両に搭載されたカメラCで取得した車両の周囲の路面の画像から撮像画像を生成し、領域設定部21が、撮像画像を区画して、エッジ強度が第1の閾値以上となる強エッジの線分を含まない弱エッジ領域を設定し、特徴抽出部22が、エッジ強度が第1の閾値よりも小さい第2の閾値以上となる弱エッジを、弱エッジ領域内において検索すると共に、検索された弱エッジからなるテクスチャの特徴を抽出し、領域判定部23が、車両の直進走行時におけるテクスチャの特徴の経時的変化に基づいて、弱エッジ領域が路面領域と立体物の領域とのうちの何れであるのかを判定し、路面判別部24が、判定結果に基づいて、撮像画像における路面の判別を行う構成とした。
【選択図】図1

Description

本発明は、車両の周囲を撮像して得られた撮像画像に基づいて、車両の周囲の路面の判別や、車両の周囲に存在する障害物(立体物)の有無を判定する路面判別方法、および路面判別装置に関するものである。
近年、車両の周囲に存在する障害物を検出し、車両の駐車支援、車間距離制御、そして衝突防止制御などを行う運転支援装置が種々提案されている。
そして、車両の周囲に存在する障害物を検出するための装置として、例えば、特許文献1に開示された装置がある。この特許文献1に開示された装置では、カメラなどの撮像手段により車両の周囲を撮像して得られた撮像画像において線分を検出し、検出した線分に基づいて障害物の候補を設定し、障害物の候補と路面との運動視差に基づいて、障害物の候補が路面なのか、それとも路面上にある障害物(立体物)であるのかを判断している。
特開2004−032460号公報
しかし、特許文献1に開示された発明の場合、エッジ強度が大きい線分が撮像画像内において検出されない場合には、障害物の候補を設定することができず、撮像画像に存在する路面や立体物の判別ができないという問題があった。
よって、本発明は、撮像画像内にエッジ強度が大きい線分が検出されない場合であっても、撮像画像に存在する路面や立体物の判別を行うことができる装置およびその方法を提供することを目的とする。
本発明は、車両に搭載されて車両の周囲の路面を撮像するカメラで撮像した撮像画像において、(a)エッジ強度が第1の閾値以上となる強エッジの線分を検索すると共に、強エッジの線分を含まない領域を第1対象領域として設定し、(b)エッジ強度が第1の閾値よりも小さい第2の閾値以上となる弱エッジからなるテクスチャを、第1対象領域において検索すると共に、検索されたテクスチャの特徴を抽出し、(c)車両の直進走行時におけるテクスチャの特徴の経時的変化に基づいて、第1対象領域が、路面領域と立体物の領域とのうちの何れであるのかを判定し、(d)判定結果に基づいて路面の判別を行う構成とした。
本発明によれば、車両の周囲の路面の撮像により得られる撮像画像において、エッジ強度が第1の閾値以上となる強エッジの線分を含まない領域が、第1対象領域として設定される。続いて、エッジ強度が第2の閾値以上となる弱エッジからなるテクスチャが、第1対象領域内において検索されると共に、検索されたテクスチャの特徴が抽出される。そして、車両の直進走行時におけるテクスチャの特徴の経時的な変化に基づいて、第1対象領域が路面領域と立体物の領域とのうちの何れであるのかが判定されると共に、判定結果に基づいて路面の判別が行われる。
従って、特徴抽出をした際に特徴が顕著に表れる強エッジの線分を含まない領域の特徴に基づいて路面の判別が行われる。すなわち、特徴抽出をした際に特徴が顕著に表れる強エッジの線分の特徴ではなく、エッジ強度の小さい弱エッジからなる線分や模様などのテクスチャから抽出した特徴に基づいて路面の判別を行うので、撮像画像内に強エッジの線分が存在しない場合であっても、路面の判別を行える。
以下、本発明の好ましい実施形態を、添付図面を参照しながら説明する。
図1は、本実施形態に係る路面判別装置の構成を示すブロック図である。
路面判別装置1は、カメラCと、画像処理部10と、制御部20と、記憶部30とを含んで構成される。
カメラCは、車両の外部を撮像した映像をデジタルデータとして取り込むことができるものであり、広い範囲の撮像が可能な広角カメラが、カメラCとして車両に設けられている。
図2の(a)に示すように、車両の前方領域を撮像する前カメラC1と、車両の右側領域を撮像する右カメラC2と、車両の左側領域を撮像する左カメラC3と、車両の後方領域を撮像する後カメラC4とにより、車両の周囲全体の撮像が行われるように構成されている。
なお、以下の説明においては、これらカメラ(C1〜C4)を特に区別しない場合は、単にカメラCと表記する。
図1を参照して、画像処理部10は、撮像画像を生成し、生成した撮像画像を後記する制御部20に出力すると共に、記憶部30の画像メモリ31に格納する。
画像処理部10は、撮像画像生成部11と、撮像画像補正部12とを含んで構成される。
撮像画像生成部11は、各カメラC(C1〜C4)から入力される4つのそれぞれの画像から、車両の上方から見た画像である俯瞰画像を生成すると共に、この4つの俯瞰画像を合成し、この合成された俯瞰画像を制御部に出力する。また、この際に画像の中央部に、予め記憶しておいた車両を示すマークVを重畳(インポーズ)させて、制御部20に出力する。なお、今後、この車両マークVは、インポーズされたマークそのものと、実際の車両を模式的に現す際にも、「車両マークV」として表現することもある。また、この車両を示すマークVのインポーズは撮像画像生成部11でなく、制御部20で行っても良い。
図2の(b)に示すように、俯瞰画像では、車両マークVを中心にして、前カメラC1から入力される画像IM1が車両マークVの進行方向における前側(図面において上側)に、右カメラC2から入力される画像IM2が車両マークVの進行方向右側(図面において右側)に、左カメラC3から入力される画像IM3が車体の進行方向左側(図面において左側)に、そして後カメラC4から入力される画像IM4が車両マークVの進行方向における後側に、それぞれ配置されている。
図1に示すように、記憶部30には、各カメラCから入力される画像の各画素が、所定の画素範囲を有する俯瞰画像のどの位置の画素に対応するのかを示す設定テーブル32が予め用意されている。よって、撮像画像生成部11は、カメラCから画像が入力されると、設定テーブル32を参照して入力画像を変換して俯瞰画像を生成する。
図3は、撮像画像生成部11が生成する俯瞰画像において、車両の周囲がどのように現れるのかを説明する説明図である。なお、この説明図で、車両は符号Vで、路面に描かれた白線は符号Wで、路面は符号Rで、塀は符号Bで、それぞれ示されている。
撮像画像生成部11は、各カメラC(C1〜C4)から入力される広角画像の変換により俯瞰画像を生成する。この際、車両の周囲はすべて路面と同じ高さであるという仮定のもとで変換が行われる。
そのため、路面に描かれた白線のように路面と同じ高さにあるものは、俯瞰画像においても、車両の上方から見た場合と同じように現れる。すなわち、車両の側面に対して平行に位置する白線Wは、車両マークVの側面に平行に位置して現れる(図3の(a))。
しかし、路面上に存在する立体物の場合、立体物の側面が広角画像に映るので、俯瞰画像では、立体物の側面が一定の面積を有する領域として現れる。
例えば、車両の左斜め前方に位置すると共に路面Rに対して垂直方向に延出する円柱P1の場合、実際に車両の上方から見ると、3の(c)に示すように円で見えるが、円柱Pが高さを持っており、路面と同じ高さにないために、俯瞰変換を行った画像では、車両マークVから斜め左上方向に延出すると共に円柱P1の上部側が外側の位置に歪んだ略台形の形状として現れる(図3の(b)参照)。また、円柱P1に雨の汚れなどに起因する縦線がある場合には、その縦線に起因する線分が略台形の形状の領域に現れる。
俯瞰画像内に現れる立体物の形状は、立体物と車両との位置関係により変化する。車両の左側の側方に位置する円柱P2は、車両マークVから左方向に延出する略矩形の形状として、車両の左斜め後方に位置する円柱P3は、車両マークVから斜め左下方向に延出する略台形の形状として現れる。
また、路面に対して垂直方向に延出する壁Bの場合、車両の上方から見ると図3の(c)に示すように矩形で見えるが、俯瞰画像では、車両マークVの側方において一定の範囲を有する略矩形領域として現れる(図3の(b)参照)。そして、壁Bの表面の模様、例えば図3の(c)に示すような、路面に対して垂直となる方向に延びる模様M(M1〜M3)の場合、車両マークVの右斜め前方に位置する模様M1は、車両マークVから右斜め上方向に延出する略台形形状、車両マークVの右側の側方に位置する模様M2は、車両マークVから右方向に延出する略矩形形状、そして車両マークVの右斜め後方に位置する模様M3は、車両マークVから右斜め下方向に延出する略台形形状としてそれぞれ現れる。
このように、実際に車両を上方から見た場合とは若干異なると共に、立体物の側面が一定の面積を有する領域として現れる俯瞰画像が、撮像画像として採用されている。
撮像画像補正部12は、広角カメラのレンズ系の特徴に起因する影響を除外するように、撮像画像を補正する。
広角カメラの場合、レンズの周縁側に入射する光の量は、レンズの中心側に比べて少なくなる。そのため、撮像画像における4隅の領域は、広角カメラの撮像範囲の周縁側の領域に対応するので、撮像画像の中央側に比べて暗い画像となる。
また、広角画像の変換により撮像画像を生成する場合、撮像画像の4隅の領域の画像は、中央側の領域の画像に比べて引き延ばされることになるので、撮像画像の4隅の領域に存在するテクスチャは、その形状が歪んだ状態で撮像画像内に表示される。
このため、広角カメラで取得した画像から撮像画像を生成した際に生ずる画像の歪みや明るさの違いを補正する変換式が、レンズ系の特徴に基づいて、撮像画像内の位置ごとにあらかじめ設定されており、撮像画像補正部12は、変換式に基づいて撮像画像を補正して、広角カメラの撮像範囲内における位置に関係なく、同じ物体や同じテクスチャが撮像画像内において常に同じように表示されるようにする。
これにより、撮像画像内に存在する画像の歪み、暗さ、そして粗さなどの影響が除外されるので、補正後の撮像画像に基づいてより正確な特徴抽出を行うことができる。また、安定した特徴量の抽出が可能となり、領域判定部23における判別の精度を向上させることができる。
撮像画像の補正が完了すると、撮像画像補正部12は、補正後の撮像画像を制御部20に出力すると共に、記憶部30の画像メモリ31に格納する。
図1を参照して、制御部20は、画像処理部10から入力される撮像画像の処理により路面の判別を行い、判別結果を示す情報を出力する。
制御部20は、領域設定部21と、特徴抽出部22と、領域判定部23と、路面判別部24とを備えて構成される。
領域設定部21は、強エッジ検索部21aと設定部21bとを含んで構成される。
強エッジ検索部21aは、エッジ強度が第1の閾値よりも大きく、かつエッジ長さが所定長さ以上となるエッジの線分、すなわち強エッジ線分を撮像画像において検索する。この強エッジ線分は、特徴抽出をした際に特徴が顕著に現れる線分である。
そして、強エッジ線分が検出された場合に、撮像画像を構成する画素のうちのどの画素が強エッジ線分に対応する画素であるのかを示す強エッジ線分情報を生成する。
ここで、エッジの検索は、例えばSobelフィルタ用いる従来公知の方法で行い、エッジの長さは、連なっている画素の数に基づいて算出する。
また、エッジ長さが所定長さ以上の線分とは、第1の閾値以上のエッジ強度を有するエッジが所定数以上連なって形成される直線や曲線などの線分を意味する。
設定部21bは、強エッジ線分情報に基づいて強エッジ線分の位置を特定すると共に、撮像画像を区画して、強エッジ線分を含まない弱エッジ領域(第1対象領域)と、含む強エッジ領域(第2対象領域)とを設定する。
なお、強エッジ線分が撮像画像内に存在しない場合には、弱エッジ領域のみが設定される。
例えば、図4の(a)に示す撮像画像の場合、図中において太線で示した円柱Pのエッジと、白線Wのエッジと、壁Bの模様M(M1〜M3)のエッジとが、強エッジ線分として検索されるので、図4の(b)に示すように、設定部21bは、これら強エッジ線分を内部に含む所定の大きさの領域を強エッジ領域(図中、実線で囲んだ矩形の領域)として設定すると共に、強エッジ線分を含まない所定の大きさの領域を弱エッジ領域(図中、点線で囲んだ矩形の領域)として設定する。
強エッジ領域や弱エッジ領域の大きさは、予め決められていても良いが、検索された強エッジ線分の範囲に合わせて、それぞれ変更できるようにしても良い。また、強エッジ領域を矩形形状とせずに、強エッジ線分で囲まれた領域のみを切り出すような形状としても良い。
図5を参照して、特徴抽出部22は、弱エッジ領域や強エッジ領域の特徴を抽出するものであり、強エッジ領域内の強エッジ線分の特徴を抽出する強エッジ特徴抽出部22aと、弱エッジ領域内のテクスチャの特徴を抽出する弱エッジ特徴抽出部22bと、弱エッジ領域内に存在するグラデーションの特徴を抽出するグラデーション特徴抽出部22cと、弱エッジ領域内に存在する注目領域の特徴を抽出する注目領域特徴抽出部22dとを備えて構成される。
強エッジ特徴抽出部22aは、領域設定部21において生成された強エッジ線分情報を参照して、強エッジ領域内に存在する強エッジ線分の位置を特定すると共に、強エッジ線分の強エッジ領域内における位置、形状、そして傾きなどを示す強エッジ特徴情報を生成し、強エッジ領域の特徴とする。
例えば、図6に示すように、強エッジ線分が直線Soである場合、始点S1、終点S2、そして始点S1と終点S2とを結ぶ直線So上の複数の経路点S3、S4の座標データ、直線Soの傾き、そして直線Soを現す数式などが、強エッジ特徴情報の情報項目となる。
ここで、強エッジ線分の位置や傾きは、例えば、図6に示す撮像画像における左上の角を原点とし、図中右方向をX軸、下方向をY軸とした座標系を設定した場合、この座標系における座標を用いて現すことができ、始点S1の座標を(0、y0)、終点S2の座標を(x2、y2)とすると、直線Soの形状は、次式(1)で現すことができ、傾きは、(y2−y0)/x2となる。
y=(y2−y0)/x2・x+y0・・・(1)
また、強エッジ線分が曲線Voである場合、始点V1、終点V2、そして曲線Vo上の変曲点V3、V4、V5の座標データが、強エッジ特徴情報の情報項目となる。
なお、強エッジ領域内に強エッジ線分が複数存在する場合は、各々の線分について強エッジ特徴情報が生成される。
そして、強エッジ特徴抽出部22aは、強エッジ特徴情報を記憶部30の特徴履歴テーブル33に記憶すると共に、領域判定部23に出力する。
弱エッジ特徴抽出部22bは、特徴抽出の際に顕著な特徴となる線分が存在しない弱エッジ領域において、エッジ強度が第2の閾値以上となる弱エッジを検索し、検索された弱エッジからなる線分や模様などのテクスチャの特徴を示す弱エッジ特徴情報を生成し、弱エッジ領域の特徴とする。
なお、第2の閾値は、エッジ強度の小さいエッジを検出可能にするために、上記した第1の閾値よりも小さい値に設定されている。
弱エッジ領域において検索された弱エッジからなる線分が、所定の長さを有する直線や曲線などの線分である場合には、上記した強エッジ特徴抽出部22aの場合と同様にして、直線や曲線の始点、終点、経路点、変曲点などの座標データ、そして傾きなどを情報項目として含む弱エッジ特徴情報が生成される。
検索された弱エッジが、線分ではなく、図7の(a)に示すような、人工的な模様のテクスチャのエッジである場合には、テクスチャを構成する弱エッジの方向の頻度(エッジ方向ヒストグラム)が、弱エッジ特徴情報の情報項目となる。
ちなみに、図7の(a)に示すテクスチャは、エッジの方向が45度方向に揃った細かいエッジから構成されるので、図7の(b)に示すような45度の近辺に分布が集中したエッジ方向ヒストグラムが得られる。
グラデーション特徴抽出部22cは、弱エッジ領域内に存在するグラデーションを検出し、検出されたグラデーションの方向を示すグラデーション情報を、弱エッジ領域の特徴として生成する。
ここで、グラデーションとは、隣接する画素間における輝度の差は小さいものの、複数の画素から構成される所定範囲全体としては輝度がなだらかに変化する領域をいう。
図8の(a)乃至(c)は、エッジの方向が90度、45度、0度である強エッジを含む領域の画像を、図8の(d)乃至(f)は、エッジの方向が、90度、45度、0度であるグラデーションを含む領域の画像を示す図である。
図9の(a)乃至(c)は、強エッジの領域を検出するための強エッジ検出用フィルタであり、(e)乃至(g)は、グラデーションの領域を検出するためのグラデーション検出用フィルタである。そして、図9の(d)は、(a)に示す強エッジ検出用フィルタのX方向における輝度の変化を示し、(h)は、(e)のグラデーション検出用フィルタのX方向における輝度の変化を示す図である。図10は、グラデーションの領域と強エッジの領域とが存在する画像を示す図である。
図8の(a)乃至(c)に示すような隣り合う画素間における輝度の差が大きい領域の場合、図9の(a)乃至(c)に示すような輝度変化の勾配が急な強エッジ検出用フィルタとの間でコンボリューションをそれぞれ計算すると、高いコンボリューション値が得られる。すなわち、正規化相関を計算すると、同じ輝度変化を持つ画像との正規化相関となり、高い相関が得られるので、画像内における輝度変化の大きい領域を検索することができる。
しかし、図8の(d)乃至(f)のように、輝度変化がなだらかなグラデーションの領域を含む画像の場合、図9の(a)乃至(c)に示すようなフィルタを用いると、エッジの方向が同じであっても、輝度変化の勾配が異なるので、高いコンボリューション値は得られない。すなわち、輝度変化がなだらかなグラデーションの領域を検索することはできない。
このようなグラデーションの領域は、輝度変化の勾配が小さいものの、複数の画素から構成される所定範囲全体としては輝度がなだらかに変化するフィルタにより検出できる。
例えば、図8の(d)に示すような、左から右に進むに従って輝度が徐々に低くなる領域の場合、輝度変化の状態が、図9の(e)示すグラデーション検出用フィルタの輝度の変化と似ているので、図8の(d)に示す画像と、図9の(e)に示すフィルタとのコンボリューション(正規化相関)を計算すれば、高いコンボリューション値が得られる。
よって、輝度変化がなだらかなグラデーションは、輝度の変化の方向と輝度の変化の勾配が近似しているフィルタとの相関を求めることで、検索することができる。
よって、グラデーション特徴抽出部22cは、図9の(a)乃至(c)そして(e)乃至(g)に示すような輝度変化の方向と輝度変化の勾配とが異なる複数のグラデーション検出用フィルタや強エッジ検出用フィルタを予め用意し、各弱エッジ領域とこれらのフィルタとのコンボリューションを計算し、高いコンボリューション値が得られたフィルタがグラデーション検出用フィルタである場合に、弱エッジ領域内にグラデーションが存在すると判断する。
そして、高いコンボリューション値が得られたグラデーション検出用フィルタの輝度変化の方向を、当該弱エッジ領域の特徴として求める。
例えば、図10の(a)に示す範囲が弱エッジ領域として設定された場合、領域αは、図10の(b)に示す部分拡大図から判るように、図9の(f)に示すグラデーション検出用フィルタとの相関が最も高くなる。また、領域βは(b)に示すフィルタ、そして領域γは(a)に示すフィルタとの相関がそれぞれ最も高くなる。
この場合、グラデーション特徴抽出部22cは、弱エッジ領域内にグラデーションが存在すると判断し、(f)に示すフィルタにより特定されるグラデーションの方向、すなわち「0度」を情報項目の内容として含むグラデーション情報を生成し、弱エッジ領域の特徴とする。
注目領域特徴抽出部22dは、弱エッジ領域内において注目領域を検索し、検索された注目領域の位置を示す注目領域情報を生成し、弱エッジ領域の特徴とする。
注目領域の位置は、上記した強エッジ特徴抽出部22aが生成する強エッジ特徴情報の場合と同様に、撮像画像においてX−Y座標系を設定し、この座標系における座標で表される。
ここで、注目領域とは、路面や壁などに存在する汚れや石などに起因するテクスチャからなる領域を意味し、例えば、撮像画像内における弱エッジで囲まれた円形や三角形の領域や、任意の角度で交差する短いエッジ、そして線分と円形や三角形の領域との組み合わせなどがこれに相当する。なお、これらの領域は、円形エッジ検出用フィルタ、三角形検出用フィルタ、そしてコーナ検出用フィルタなどの従来公知のフィルタを用いて検索される。
そして、注目領域特徴抽出部22dは、注目領域情報を記憶部30の特徴履歴テーブル33に記憶すると共に、領域判定部23に出力する。
図5を参照して、領域判定部23は、強エッジ領域や弱エッジ領域から抽出した特徴の、車両の直進走行時における経時的な変化に基づいて、撮像画像において設定された強エッジ領域や弱エッジ領域の各々が、路面領域と立体物の領域とのうちの何れであるのかを判定する。
領域判定部23は、強エッジ特徴情報比較部23aと、弱エッジ特徴情報比較部23bと、グラデーション情報比較部23cと、注目領域情報比較部23dと、判定部23eとを含んで構成される。
強エッジ特徴情報比較部23aは、記憶部30の特徴履歴テーブル33を参照して、時刻tにおける強エッジ特徴情報と、時刻t+△tにおける強エッジ特徴情報とを比較し、強エッジ領域内に存在する強エッジ線分の位置、形状、傾きなどの経時的な変化の有無を確認する。
車両が直進走行している場合、強エッジ線分は、路面領域内にある場合と、立体物の領域内にある場合とでは、異なる経時的な挙動を示す。
例えば、図11に示すように、強エッジ線分が建物の影による直線状の線分Soであり、かかる線分Soが路面領域にある場合、撮像画像は、車両の上方から見た画像であるので、時刻tの撮像画像における線分Soは、時刻t+△tの撮像画像では、車両の進行方向における後側(図中、下方向)に平行移動するのみで、形状と傾きは経時的に変化しない。
一方、図12を参照して、強エッジ線分が、路面に対して垂直となる方向へ延出する立体物、例えば円柱Pのエッジの線分Poである場合、線分Poの位置と傾きは、円柱と車両との位置関係に応じて変化する。これは、撮像画像は、カメラCから入力される広角画像を、車両の周囲はすべて路面と同じ高さであるという仮定のもとで変換して生成されるので、撮像画像内では立体物の側面が現れており、この側面の現れ方は、円柱と車両との位置関係に応じて変化するからである。
よって、時刻tの撮像画像における線分Poは、時刻t+△tの撮像画像では車両の進行方向における後側に移動すると共に、車両と円柱Pとの位置関係の変化により傾きも変化する。すなわち、線分Poの位置と傾きが経時的に変化する。
従って、強エッジ線分が直線である場合、直線の傾きの経時的な変化の有無により、強エッジ線分が、路面領域のものであるのか、それとも立体物の領域のものであるのかが判る。
また、図11を参照して、強エッジ線分が、車両の影による曲線状の線分Voであり、かかる線分が路面領域にある場合、時刻tの撮像画像における線分Voの位置は、時刻t+△tの撮像画像でも変わらず、形状も経時的に変化しない。
一方、強エッジの線分が、壁などの立体物の表面に現れている線分である場合、線分の位置と形状は、立体物と車両との位置関係の変化に応じて、経時的に変化する。
従って、強エッジ線分が曲線である場合、曲線の形状の経時的な変化の有無により、強エッジ線分が、路面領域のものであるのか、それとも立体物の領域のものであるのかが判る。
よって、強エッジ特徴情報比較部23aは、強エッジ特徴情報を参照して、強エッジ線分が直線であるのかそれとも曲線であるのかを確認し、強エッジ線分が直線である場合には、時刻tにおける直線の傾きと、時刻t+△tにおける直線の傾きとを比較する。そして、傾きに変化がない場合、かかる強エッジ線分が存在する強エッジ領域が、路面領域に対応する旨の比較結果を生成する。
一方、傾きに変化がある場合、強エッジ領域は、立体物の領域に対応する旨の比較結果を生成する。
また、強エッジ線分が曲線である場合には、強エッジ特徴情報比較部23aは、時刻tにおける曲線の形状と、時刻t+△tにおける曲線の形状とを比較し、形状が同じである場合には、強エッジ領域が路面領域に対応する旨の比較結果を生成し、形状が異なる場合には、立体物の領域に対応する旨の比較結果を生成する。
弱エッジ特徴情報比較部23bは、記憶部30の特徴履歴テーブル33を参照して、時刻tにおける弱エッジ特徴情報と、時刻t+△tにおける弱エッジ特徴情報とを比較し、弱エッジ領域内に存在する弱エッジからなるテクスチャの経時変化の有無を確認する。
ここで、弱エッジからなるテクスチャが直線や曲線などの線分である場合における比較結果の生成は、上記した強エッジ特徴情報比較部23aにおける処理と同じであるので、説明は省略する。
そこで、弱エッジからなるテクスチャが線分ではなく、図13の(a)に示したような人工的な模様のテクスチャaである場合について説明をする。
車両が直進走行している場合、テクスチャは、路面領域内にある場合と、立体物の領域内にある場合とでは、異なる経時的な挙動を示す。
例えば、テクスチャaが路面領域に現れるテクスチャである場合、図13に示すテクスチャaから抽出されるエッジの方向の頻度は、車両の上方から見た画像である撮像画像では、経時的に変化せず45度のままである。
一方、テクスチャaが、例えば車両の右側にある壁などの立体物の表面に現れるテクスチャである場合、テクスチャaから抽出されるエッジの方向の頻度は、壁と車両との位置関係の変化に応じて変化する。
この場合、図13の(a)に示すテクスチャは、(b)に示すテクスチャ、(c)に示すテクスチャというように経時的に変化して、テクスチャから抽出されるエッジの方向の頻度も、45度、90度、135度というように経時的に変化する。
よって、弱エッジ領域内で弱エッジからなる線分のテクスチャが検出されない場合であっても、弱エッジからなる模様のテクスチャから抽出したエッジの方向の頻度の経時的な変化の有無を確認することで、弱エッジからなるテクスチャが、路面領域にあるのか、それとも立体物の領域にあるのかが判る
従って、弱エッジからなる線分が直線である場合には、弱エッジ特徴情報比較部23bは、時刻tにおける直線の傾きと、時刻t+△tにおける直線の傾きとを比較し、傾きに変化がない場合、かかる弱エッジ線分が存在する弱エッジ領域が平面の領域に対応する旨の比較結果を生成する。
一方、傾きに変化がある場合、弱エッジ領域は、立体物の領域に対応する旨の比較結果を生成する。
また、弱エッジ線分が曲線である場合には、弱エッジ特徴情報比較部23bは、時刻tにおける曲線の形状と、時刻t+△tにおける曲線の形状とを比較し、形状が同じである場合には、弱エッジ領域が路面領域に対応する旨の比較結果を生成し、形状が異なる場合には、立体物の領域に対応する旨の比較結果を生成する。
さらに、弱エッジからなるテクスチャが、線分ではなく、例えば人工的な模様のテクスチャである場合、時刻tにおけるエッジの方向の頻度と、時刻t+△tにおけるエッジの方向の頻度とを比較し、頻度に変化がない場合は、弱エッジ領域が路面領域に対応する旨の比較結果を生成し、頻度に変化がある場合は、弱エッジ領域が立体物の領域に対応する旨の比較結果を生成する。
グラデーション情報比較部23cは、記憶部30の特徴履歴テーブル33を参照して、時刻tにおけるグラデーション情報と、時刻t+△tにおけるグラデーション情報とを比較し、弱エッジ領域内に存在するグラデーションの経時変化の有無を確認する。
車両が直進走行している場合、グラデーションは、路面領域内にある場合と、立体物の領域内にある場合とでは、異なる経時的な挙動を示す。
図14に示す撮像画像において、グラデーションG1が路面領域内にあり、グラデーションG2が立体物の領域にある場合を例に挙げて説明をする。
撮像画像は車両の上方から見た画像であるので、時刻tの撮像画像おけるグラデーションG1は、時刻t+△tの撮像画像では、車両の進行方向における後側(図中、下方向)に平行移動するのみであり、グラデーションの方向は変化しない。一方、グラデーションG2は、車両と立体物との位置関係に応じて変化するので、時刻t+△tの撮像画像では、車両の進行方向における後側に移動すると共に、グラデーションの方向が変化する。
よって、弱エッジ領域内で弱エッジからなるテクスチャが検出されない場合であっても、弱エッジ領域内に存在するグラデーションの方向の経時的な変化を確認することで、弱エッジ領域が、路面領域にあるのか、それとも立体物の領域にあるのかが判る。
従って、グラデーション情報比較部23cは、時刻tにおけるグラデーションの方向と、時刻t+△tにおけるグラデーションの方向とを比較し、同じであれば、弱エッジ領域が路面領域に対応する旨の比較結果を生成し、異なる場合には、立体物の領域に対応する旨の比較結果を生成する。
注目領域情報比較部23dは、記憶部30の特徴履歴テーブル33を参照して、時刻tにおける注目領域情報と、時刻t+△tにおける注目領域情報とを比較し、弱エッジ領域内に存在する注目領域の中から選択した少なくとも2つの注目領域の位置関係の経時的変化の有無を確認する。
車両が直進走行している場合、撮像画像内で検索された注目領域のうちの任意の二つの位置関係は、注目領域が路面領域内にある場合と、立体物の領域にある場合とでは、異なる経時的な挙動を示す。
図15に示す撮像画像において検出された注目領域Q1乃至Q4のうち、注目領域Q1および注目領域Q2が路面領域内にあり、注目領域Q3および注目領域Q4が立体物の領域内にある場合を例に挙げて説明をする。
撮像画像は車両の上方から見た画像であるので、時刻tにおける注目領域Q1と注目領域Q2との相対的な位置関係は、時刻t+△tにおいても変化せず、注目領域Q1と注目領域Q2は、車両の進行方向とは反対の方向に平行移動するのみである。
一方、立体物の領域内にある注目領域の位置は、立体物と車両との位置関係により変化するので、時刻tにおける注目領域Q3と注目領域Q4との相対的な位置関係は、時刻t+△tにおいて変化し、この際、車両マークVから離れた位置にある注目領域ほど、経時的な移動量が大きくなる。
よって、弱エッジ領域内に、弱エッジからなる線分や模様などのテクスチャや、グラデーションが存在しない場合であっても、弱エッジ領域内に存在する注目領域の相対的な位置関係の経時的な変化を確認することで、弱エッジ領域が、路面領域にあるのか、それとも立体物の領域にあるのかが判る。
従って、注目領域情報比較部23dは、記憶部30の特徴履歴テーブル33に格納されている注目領域情報を参照して、弱エッジ領域内において2つ以上の注目領域が抽出されているか否かを確認する。そして、2つ以上の注目領域が抽出されている場合には、例えば、その中から任意に選択した2つの注目領域を結ぶ線分を設定し、その線分の傾きの経時的な変化を確認することで、注目領域の相対的な位置関係の経時的な変化の有無を確認する。
図15に示す撮像画像の場合、時刻tにおける注目領域Q1と注目領域Q2とを結ぶ線分L1の傾きが、時刻t+△tにおける線分L1の傾きと同じであるので、これらの注目領域Q1とQ2が存在する弱エッジ領域が、路面領域に対応する旨の比較結果を生成する。
一方、注目領域Q3と注目領域Q4とを結ぶ線分L2の傾きは、時刻tと時刻t+△tとでは異なるので、これらの注目領域Q3、Q4が存在する弱エッジ領域が、立体物の領域に対応する旨の比較結果を生成する。
図5を参照して、判定部23eは、強エッジ特徴情報比較部23a、弱エッジ特徴情報比較部23b、グラデーション情報比較部23c、そして注目領域情報比較部23dにおいて生成された比較結果に基づいて、強エッジ領域と弱エッジ領域とが、それぞれ路面の領域に対応するのか、それとも立体物の領域に対応するのかを判定する。
ここで、強エッジ領域については、強エッジ特徴情報比較部23aのみから判断結果が出力されるので、判定部23eは、強エッジ特徴情報比較部23aから比較結果が入力されると、比較結果により特定される種別が、強エッジ領域の種別であると判定する。
例えば、路面領域に対応する旨の比較結果が入力された場合は、当該比較結果が生成された強エッジ領域が、路面領域であると判定する。
一方、弱エッジ領域については、弱エッジ特徴情報比較部23b、グラデーション情報比較部23c、そして注目領域情報比較部23dから、比較結果が入力されるので、判定部23eは、入力された比較結果のうちの少なくとも一つに基づいて、弱エッジ領域が路面領域であるのか、それとも立体物の領域であるのかを判定する。よって、複数の比較結果に基づいて、路面領域と立体物の領域の判定が行うこともできるので、判定の信頼性が向上する。
ここで、各比較部(弱エッジ特徴情報比較部23b、グラデーション情報比較部23c、注目領域情報比較部23d)の優先順位を決めておき、優先順位の高い比較部から入力された比較結果に基づいて、弱エッジ領域の種別を判定するようにしても良い。また、各比較部から入力される比較結果が整合した場合にのみ、弱エッジ領域の種別を判別するようにしても良い。
さらに、総ての比較部(強エッジ特徴情報比較部23a、弱エッジ特徴情報比較部23b、グラデーション情報比較部23c、そして注目領域情報比較部23d)から入力される比較結果の互いの妥当性を考慮して、強エッジ領域と弱エッジ領域がそれぞれ、路面領域であるのか、それとも立体物の領域であるのかを判定する構成としても良い。
通常、路面や立体面は、ある程度の大きさの面積を有しているので、撮像画像において所定の大きさの範囲として現れる。そのため、路面領域と立体物の領域の連続性や、位置関係の妥当性を確認し、確認結果をふまえて、路面領域と立体物の領域との判定をするようにしても良い。
これにより、比較結果に基づいて判定した路面領域と立体物の領域と隣接関係などが明らかにおかしい場合には、弱エッジ領域や強エッジ領域の特徴の抽出をやり直すことができるので、強エッジ領域と弱エッジ領域の各々の種別の判定、そして路面判別部24における判別をより正確に行うことができる。
そして、判定部23eは、撮像画像において設定された総ての強エッジ領域および弱エッジ領域についての判定が完了すると、判定結果を示す判定結果情報を生成し、路面判別部24に出力する。
路面判別部24は、判定結果情報に基づいて、撮像画像におけるどの部分が路面領域であり、どの部分が壁などの立体物の領域であるのかを特定した上で、路面の判別を行い、判別結果を示す情報を路面判別装置1に接続された外部機器に出力する。
一般に、路面領域は、撮像画像において一定の大きさを占める連続する範囲として現れるので、路面判別部24は、路面領域と判定された領域が連続している部分を撮像画像において検索し、検索結果に基づいて路面の判別を行う。また、路面領域と立体物の領域、例えば壁の領域との境界を示す境界エッジが検出されている場合には、境界エッジも参照して路面の判別を行う。
ここで、判別結果が入力される外部機器が、車両と立体物との離間距離が所定距離以下となったときに警報を発する警報装置(図示せず)である場合には、車両の周囲に存在する立体物の位置と、車両と立体物との離間距離とが特定できるので、必要な場合に車両の運転者に注意を喚起することができる。
また、外部機器が、車両の駐車支援を行う駐車支援装置である場合には、車両内に設置された車両の周囲の状態を表示する表示部(図示せず)上で、車両の周囲が、路面の領域であるのか、立体物の領域であるのかを、重畳して表示させることができる。
また、車両の運転者が、表示部に表示された車両の周囲を示す画像において車両の駐車場所として指定した領域が、立体物の領域である場合、指定した場所には車両を駐車させることができない旨を運転者に通知して注意喚起することができる。
図16は、路面判別装置1における処理を説明するメインフローチャートである。
はじめに、ステップ101において、画像処理部10は、車両に設置された各カメラCから画像が入力されると、撮像画像を生成し制御部20に入力する。
ステップ102において、制御部20の領域設定部21では、強エッジ検索部21aが、撮像画像内に含まれるエッジ強度が第1の閾値以上となる線分、すなわち強エッジ線分を検索し、ステップ103において、設定部21bが、撮像画像を分割して領域設定をする。すなわち、強エッジ線分を含む強エッジ領域と、含まない弱エッジ領域を設定する。
強エッジ領域が撮像画像内において設定されている場合(ステップ104、Yes)、ステップ105において、特徴抽出部22の強エッジ特徴抽出部22aは、強エッジ領域内に含まれる強エッジ線分を特定する強エッジ特徴情報を生成し、強エッジ領域の特徴とする。
ステップ106において、領域判定部23の強エッジ特徴情報比較部23aは、強エッジ領域内に存在する強エッジ線分の経時変化の有無を確認するために、時刻tにおける強エッジ特徴情報と、時刻t+△tにおける強エッジ情報とを比較し、強エッジ領域が、路面領域と立体物の何れの領域に対応するのかを示す比較結果を生成する。
なお、強エッジ領域が撮像画像内において設定されていない場合(ステップ104、No)、ステップ107の処理に移行する。
弱エッジ領域が撮像画像内において設定されている場合(ステップ107、Yes)、ステップ108において、特徴抽出部22は、弱エッジ領域内において、エッジ強度の弱いエッジからなるテクスチャやグラデーションに基づく特徴を、弱エッジ領域の特徴として抽出する。
ステップ109において、領域判定部23は、弱エッジ領域から抽出された特徴の経時的な変化を確認するために、時刻tにおける弱エッジ特徴情報と、時刻t+△tにおける弱エッジ特徴情報とを比較し、弱エッジ領域が、路面領域と立体物の何れの領域に対応するのかを示す比較結果を生成する。
ステップ110において、領域判定部23の判定部23eは、強エッジ領域についての比較結果と、弱エッジ領域についての比較結果とに基づいて、強エッジ領域と弱エッジ領域が、路面領域であるのか、それとも立体物の領域であるのかを判定し、判定結果を示す判定結果情報を生成する。
ステップ111において、路面判別部24は、判定結果情報に基づいて、撮像画像におけるどの部分が路面の領域であり、どの部分が壁などの立体物であるのかを判別する。
図17は、ステップ108の処理の詳細を示すフローチャートである。
ステップ201において、特徴抽出部22の弱エッジ特徴抽出部22bは、弱エッジ領域においてエッジ強度が第2の閾値以上となるエッジ、すなわち弱エッジを検索し、ステップ202において、検索された弱エッジの中で、エッジ長さが所定長さ以上となる弱エッジ線分の有無を確認する。
弱エッジ線分が存在する場合(ステップ202、Yes)、ステップ203において、弱エッジ特徴抽出部22bは、弱エッジ線分の始点、終点、経路点、曲点、そして傾きなどを情報項目として含む弱エッジ特徴情報を生成し、弱エッジ領域の特徴とする。
一方、弱エッジ線分が存在しない場合(ステップ202、No)、ステップ204の処理に移行する。
ステップ204において、弱エッジ特徴抽出部22bは、弱エッジ領域において、テクスチャの模様を構成する細かいエッジ、すなわち弱エッジの有無を確認する。
かかる弱エッジが存在する場合(ステップ204、Yes)、ステップ205において、検索された弱エッジの方向の頻度を、弱エッジ領域の特徴として抽出する。一方、弱エッジが存在しない場合(ステップ204、No)、ステップ206の処理に移行する。
ステップ206において、グラデーション特徴抽出部22cは、弱エッジ領域内において、輝度変化の勾配と変化の方向が異なる複数のグラデーション検出用フィルタの各々とのコンボリューションを求めて、グラデーションの有無を確認する。
グラデーションが存在する場合(ステップ206、Yes)、ステップ207において、コンボリューションの値が最も大きいグラデーション検出用フィルタのグラデーションの方向を情報項目の内容として含むグラデーション情報を生成し、これを弱エッジ領域の特徴とする。
一方、グラデーションが存在しない場合(ステップ206、No)、ステップ208の処理に移行する。
ステップ208において、注目領域特徴抽出部22dは、弱エッジ領域内において、少なくとも二つの注目領域が存在するか否かを確認する。
存在する場合(ステップ208、Yes)、任意に選択された二つの注目領域を結ぶ線分を設定し、その線分の傾きを情報項目の内容として含む注目領域情報を生成し、これを弱エッジ領域の特徴とする。一方、存在しない場合(ステップ208,No)、処理は終了する。
図18は、ステップ106の処理の詳細を示すフローチャートである。
はじめに、領域判定部23の強エッジ特徴情報比較部23aは、強エッジ特徴情報が入力されると(ステップ301、Yes)、ステップ302において、時刻tにおける強エッジ特徴情報と、時刻t+△tにおける強エッジ特徴情報とを比較し、強エッジ領域内に存在する強エッジ線分の位置、形状、傾きなどの経時的な変化の有無を確認する。
ステップ303において、確認された経時的な変化に基づいて、強エッジ領域が路面領域と立体物の領域とのうちの何れに対応するのかを示す比較結果を生成する。
ここで、強エッジ領域内の強エッジ線分が直線である場合、直線の傾きが経時的に変化しないときは、強エッジ領域が路面領域に対応する旨の比較結果を生成し、経時的に変化するときは、立体物の領域に対応する旨の比較結果を生成する。
また、強エッジ線分が曲線である場合、曲線の形状が経時的に変化しないときは、強エッジ領域が路面領域に対応する旨の比較結果を生成し、経時的に変化するときは、立体物の領域に対応する旨の比較結果を生成する。
図19は、ステップ109の処理の詳細を示すフローチャートである。
はじめに、弱エッジ特徴情報比較部23bは、弱エッジ特徴情報が入力されると(ステップ401、Yes)、ステップ402において、時刻tにおける弱エッジ特徴情報と、時刻t+△tにおける弱エッジ特徴情報とを比較し、弱エッジ領域内に存在する線分や模様などのテクスチャの経時的な変化の有無を確認する。
ステップ403において、確認された経時的な変化に基づいて、弱エッジ領域が路面領域と立体物の領域とのうちの何れに対応するのかを示す比較結果を生成する。
ここで、弱エッジ領域内に存在するテクスチャが線分のテクスチャであり、線分が直線である場合、直線の傾きが経時的に変化しないときは、弱エッジ領域が路面領域に対応する旨の比較結果を生成し、経時的に変化するときは、立体物の領域に対応する旨の比較結果を生成する。
また、弱エッジ線分が曲線である場合、曲線の形状が経時的に変化しないときは、弱エッジ領域が路面領域に対応する旨の比較結果を生成し、経時的に変化するときは、立体物の領域に対応する旨の比較結果を生成する。
さらに、弱エッジ領域内に存在するテクスチャが模様である場合、模様を構成する弱エッジの方向の頻度が経時的に変化しないときは、弱エッジ領域が路面領域に対応する旨の比較結果を生成し、経時的に変化するときは、立体物の領域に対応する旨の比較結果を生成する。
なお、弱エッジ特徴情報が入力されない場合は(ステップ401、No)、ステップ404の処理に移行する。
グラデーション情報比較部23cは、グラデーション情報が入力されると(ステップ404、Yes)、ステップ405において、時刻tにおけるグラデーション情報と、時刻t+△tにおけるグラデーション情報とを比較して、弱エッジ領域内に存在するグラデーションの方向の経時的変化を確認する。
ステップ406において、グラデーションの方向が経時的に変化しないときは、弱エッジ領域が路面領域に対応する旨の比較結果を生成し、経時的に変化するときは、立体物の領域に対応する旨の比較結果を生成する。
注目領域情報比較部23dは、注目領域情報が入力されると(ステップ407、Yes)、ステップ408において、時刻tにおける注目領域情報と、時刻t+△tにおける注目領域情報とを比較し、弱エッジ領域内に存在する注目領域の中から選択した少なくとも2つの注目領域を結ぶ線分の傾きの経時的変化を確認する。
ステップ409において、2つの注目領域を結ぶ線分の傾きが経時的に変化しないときは、弱エッジ領域が路面領域に対応する旨の比較結果を生成し、経時的に変化するときは、立体物の領域に対応する旨の比較結果を生成する。
これにより、図16のステップ110において、判定部23eが、強エッジ特徴情報比較部23a、弱エッジ特徴情報比較部23b、グラデーション情報比較部23c、そして注目領域情報比較部23dにおいて生成された比較結果のうちの少なくともひとつに基づいて、強エッジ領域と弱エッジ領域とが、それぞれ路面の領域であるのか、それとも立体物の領域であるのかを判定し、判定結果を示す判定結果情報が生成されることになる。
本実施形態では、図16のフローチャートにおけるステップ102およびステップ103が、発明における領域設定部および領域設定段階に対応し、ステップ104およびステップ105並びにステップ107及びステップ108が、特徴抽出部及び特徴抽出段階に対応し、ステップ106、ステップ109、そしてステップ110が、領域判定部および領域判定段階に対応し、ステップ111が路面判別部および路面判別段階に対応している。
また、発明における第1対象領域は弱エッジ領域に、第2対象領域は強エッジ領域にそれぞれ対応する。
以上の通り、本実施形態では、車両に搭載されて車両の周囲の路面を撮像するカメラCで撮像した撮像画像に基づいて、車両周囲の路面の判別を行う路面判別装置1であって、エッジ強度が第1の閾値以上となる強エッジの線分を撮像画像において検索すると共に、撮像画像における強エッジの線分を含まない領域を弱エッジ領域として設定し、エッジ強度が第1の閾値よりも小さい第2の閾値以上となる弱エッジからなるテクスチャを、弱エッジ領域において検索すると共に、検索されたテクスチャの特徴を抽出し、車両の直進走行時におけるテクスチャの特徴の経時的変化に基づいて、弱エッジ領域が路面領域と立体物の領域とのうちの何れであるのかを判定し、判定結果に基づいて、路面の判別を行う構成とした。
よって、特徴抽出をした際に特徴が顕著に表れる強エッジの線分が含まれない弱エッジ領域においてエッジ強度の小さい弱エッジを検索し、検索された弱エッジからなるテクスチャの特徴に基づいて、弱エッジ領域が路面領域と立体物の領域とのうちの何れであるのかを判定し、判定結果に基づいて路面の判別を行うので、強エッジの線分が撮像画像内に存在しない場合であっても、撮像画像における路面領域と立体物の領域の判定と、路面の判別が行えるという効果が得られる。
さらに、テクスチャが、弱エッジからなる線分であり、弱エッジからなる線分の位置および形状を特定する座標データを、テクスチャの特徴とする構成とした。特に、線分が直線である場合には直線の位置や傾きを、曲線である場合は曲線の位置や形状を示すための座標データをテクスチャの特徴とし、これらの経時的変化に基づいて、弱エッジ領域が路面領域であるのか、それとも立体物の領域にあるのかを判定する構成とした。
よって、異なる時刻における直線の位置や傾き、曲線の位置や形状を、それぞれ比較するだけで、経時的な変化が判るので、複雑な計算を必要とせずに経時的な変化の確認が行えるという効果が得られる。
また、テクスチャが、弱エッジからなる模様であり、テクスチャの特徴を、模様を構成する弱エッジの方向の頻度とし、弱エッジの方向の頻度の経時的変化に基づいて、弱エッジ領域が路面領域であるのか、それとも立体物の領域にあるのかを判定する構成とした。
よって、異なる時刻における弱エッジの方向の頻度を比較するだけで経時的な変化が判るので、複雑な計算を必要とせずに経時的な変化の確認が行えるという効果が得られる。
また、弱エッジ領域においてグラデーションを検索すると共に、検索されたグラデーションの特徴を抽出し、テクスチャの特徴の経時的変化と、グラデーションの特徴の経時的変化とのうちの少なくとも一方に基づいて、弱エッジ領域が、路面領域と立体物の領域とのうちの何れであるのかを判定する構成とした。
よって、弱エッジ領域内で弱エッジからなるテクスチャが検出されない場合であっても、弱エッジ領域内に存在するグラデーションの経時的な変化を確認することで、弱エッジ領域が、路面領域と立体物の領域とのうちの何れの種別であるのかの判定を行うことができ、また判定結果に基づいて路面の判別とが行えるという効果が得られる。
また、テクスチャの特徴の経時的変化と、グラデーションの特徴の経時的変化の両方に基づいて、弱エッジ領域の種別の判定を行うことができ、また判定結果に基づいて路面の判別を行うこともできるので、路面の判別の確度がより向上するという効果が得られる。
さらに、弱エッジ領域と、輝度変化の勾配と変化の方向が異なる複数のグラデーション検出用フィルタの各々とのコンボリューションを求め、求めたコンボリューションの値が最も大きいグラデーション検出用フィルタのグラデーションの方向を、前記グラデーションの特徴とする構成としたので、従来のエッジフィルタでは、輝度変化が小さいために検索できなかったグラデーションの有無を確認できるという効果が得られる。
また、コンボリューション値の最も大きいグラデーション検出用フィルタのグラデーションの方向を、弱エッジ領域の特徴とする構成としたので、異なる時刻におけるグラデーションの方向を比較するだけで経時的な変化が判るので、複雑な計算を必要とせずに経時的な変化の確認が行えるという効果が得られる。
また、弱エッジ領域において注目領域を検索すると共に、検索された注目領域の中から選択した少なくとも二つの注目領域の位置関係を特徴として抽出し、位置関係の経時的変化を確認することで、弱エッジ領域が路面領域と立体物の領域とのうちの何れであるのかを判定する構成とした。
よって、弱エッジ領域内でテクスチャやグラデーションが検出されない場合であっても、弱エッジ領域内において、たとえばゴミや汚れなどに起因する小さな円形や三角形の領域、すなわち注目領域が検出できれば、少なくとも二つの注目領域の位置関係の経時的な変化を確認することで、弱エッジ領域が路面領域と立体物の領域とのうちの何れの種別であるのかの判定、そして路面の判別が行えるという効果が得られる。
また、テクスチャの特徴の経時的変化と、グラデーションの特徴の経時的変化と、注目領域の経時的な変化の少なくとも一つに基づいて、弱エッジ領域の種別の判定を行うことができ、判定結果に基づいて路面の判別とを行うこともできるので、複数の特徴の経時的変化に基づいて路面の判別を行うと、判別の確度がより向上するという効果が得られる。
特に、弱エッジ領域内に存在する注目領域の中から選択した任意の二つの注目領域の位置関係の経時的な変化を確認するために、これら二つの注目領域を結ぶ線分の傾きを弱エッジ領域の特徴とする構成としたので、異なる時刻における線分の傾きを比較するだけで、経時的な変化が判るので、複雑な計算を必要とせずに経時的な変化の確認が行えるという効果が得られる。
ここで、注目領域は、円形領域と直線線分とが組み合わさった領域、任意の角度で交差する短いエッジの領域、そして円形領域のいずれかである構成としたので、弱エッジ領域内に僅かでも弱エッジが存在すれば、検出された弱エッジの経時的な変化を確認することができ、対象領域が路面領域と立体物の領域とのうちの何れであるのかを判別することが可能となる。
また、強エッジの線分を含む領域を強エッジ領域として設定し、強エッジの線分の特徴を強エッジ領域の特徴として抽出し、車両の直進走行時における強エッジの線分の特徴の経時的変化に基づいて、強エッジ領域が、路面領域と立体物の領域とのうちの何れであるのかを判定し、強エッジ領域についての判定結果と、弱エッジ領域についての判定結果とに基づいて路面の判別を行う構成とした。
よって、弱エッジの線分、グラデーション、そして注目領域のうちの少なくともひとつの特徴の経時的な変化に基づく判定結果の他に、特徴抽出をした際に特徴が顕著に表れる強エッジの線分の特徴の経時的な変化に基づく判定結果を加味した上で、路面領域の判別が行えるので、路面判別の確度がより向上するという効果が得られる。
特に、強エッジ線分が直線である場合には直線の位置や傾き、曲線である場合には曲線の位置や形状を、強エッジ線分の特徴とすると、異なる時刻における直線の位置や傾き、曲線の位置や形状をそれぞれ比較するだけで、経時的な変化が簡単に判るという効果が得られる。
また、強エッジ線分の特徴のみならず、テクスチャ、グラデーション、そして注目領域などの弱エッジに起因する特徴も加味した上で、路面の判別が行われるので、強エッジ線分に基づいてのみ路面の判別などを行っている従来の路面判別法に比べ、判別の確度が向上するという効果が得られる。
さらに、撮像画像において弱エッジ領域と強エッジ領域とをそれぞれ複数設定し、弱エッジ領域の各々において、テクスチャの検索と検索されたテクスチャの特徴の抽出を行うと共に、強エッジ領域の各々において強エッジ線分の特徴の抽出を行い、弱エッジ領域と強エッジ領域の各々について、路面領域と立体物の領域とのうちの何れであるのかを判定する構成とした。
よって、路面領域と立体物の領域とのうちの何れの領域であるのかの判定をより細かく行うことができるので、判別結果に基づいて行われる路面判別の確度がより向上するという効果が得られる。
また、撮像画像は、カメラCからの画像データを、車両の上方から見た俯瞰画像に変換したものであり、画像の中央部に位置する車両を取り囲むように、車両の周囲の画像が配置されている構成としたので、車両が直進走行している際の、撮像画像内のテクスチャ(線分、模様、そしてグラデーションなど)の経時的な変化を確認することで、路面領域と立体物の領域との判別が容易に行える。例えば、路面に描かれた停止線を車両が横切る場合、撮像画像において停止線は車両の進行方向とは反対の方向に平行移動するが、壁の表面に存在する線分の場合には、平行移動ではなく線分の角度が撮像画像において変化するので、線分などの経時的な変化を確認することで、路面領域と立体物の領域との判別が容易に行える。従って、直線の平行移動の検出のような非常に簡単な検出処理を行うだけで、路面の検出が行えるという効果が得られる。
なお、本実施の形態では、撮像画像における強エッジ領域の設定は、設定部21bが、検索された強エッジ線分の位置に基づいて行う構成としたが、例えば、図19の(a)に示すように、撮像画像を格子状に区画して、区画された領域内に強エッジ線分が存在する場合には強エッジ領域と決定し、存在しない場合には弱エッジ領域とする構成としても良い。
例えば、図19の(a)に示す撮像画像の領域αと領域βの場合、領域αには強エッジ線分が含まれており、領域βには含まれていないので、領域αは強エッジ領域であり、領域βは弱エッジ領域であると、それぞれ決定されることになる。
これにより、強エッジ領域と弱エッジ領域の設定を画一的に短時間で行うことができる。
さらに、このようにして強エッジ領域と弱エッジ領域とを設定した後に、隣接する領域をまとめて、強エッジ領域と弱エッジ領域を再編成する構成としても良い。
例えば、図17の(b)に示す撮像画像では、車両マークVの前方と後方に位置する弱エッジ領域をそれぞれひとつに纏めることができるので、特徴抽出部22が特徴抽出をする際の処理の負担を軽減させることができる。
実施形態に係る路面判別装置の構成図である。 車両に搭載されたカメラの配置と画像処理部において生成される撮像画像の説明図である。 俯瞰画像の例を示す説明図である。 撮像画像における強エッジ領域と弱エッジ領域を示す説明図である。 路面判別装置の制御部の構成図である。 強エッジ特徴情報を説明する説明図 エッジの方向の頻度を説明する説明図である。 強エッジとグラデーションを説明する説明図である。 強エッジやグラデーションを検出するためのフィルタを説明する説明図である。 グラデーションの検出を説明する説明図である。 強エッジ線分の経時変化の判断要領を説明する説明図である 強エッジ線分の経時変化の判断要領を説明する説明図である エッジの方向の頻度の経時変化の判断要領を説明する説明図である。 グラデーションの経時変化の判断要領を説明する説明図である。 注目領域の相対的位置関係の経時変化の判断要領を説明する説明図である。 実施形態に係る路面判別装置における処理を説明するフローチャートである。 制御部の特徴抽出部における処理を説明するフローチャートである。 制御部の領域判定部における処理を説明するフローチャートである。 制御部の領域判定部における処理を説明するフローチャートである。 強エッジ領域と弱エッジ領域の設定の変形例を示す説明図である。
符号の説明
1 路面判別装置
10 画像処理部
11 撮像画像生成部
12 撮像画像補正部
20 制御部
21 領域設定部
21a 強エッジ検索部
21b 設定部
22 特徴抽出部
22a 強エッジ特徴抽出部
22b 弱エッジ特徴抽出部
22c グラデーション特徴抽出部
22d 注目領域特徴抽出部
23 領域判定部
23a 強エッジ特徴情報比較部
23b 弱エッジ特徴情報比較部
23c グラデーション情報比較部
23d 注目領域情報比較部
23e 判定部
24 路面判別部
30 記憶部
31 画像メモリ
32 設定テーブル
33 特徴履歴テーブル

Claims (12)

  1. 車両に搭載されて車両の周囲の路面を撮像するカメラで撮像した撮像画像に基づいて、車両周囲の路面の判別を行う路面判別装置であって、
    エッジ強度が第1の閾値以上となる強エッジの線分を前記撮像画像において検索すると共に、前記撮像画像における前記強エッジの線分を含まない領域を第1対象領域として設定する領域設定部と、
    エッジ強度が前記第1の閾値よりも小さい第2の閾値以上となる弱エッジからなるテクスチャを、前記第1対象領域において検索すると共に、検索されたテクスチャの特徴を抽出する特徴抽出部と、
    前記車両の直進走行時における前記テクスチャの特徴の経時的変化に基づいて、前記第1対象領域が、路面領域と立体物の領域とのうちの何れであるのかを判定する領域判定部と、
    判定結果に基づいて路面の判別を行う路面判別部と
    から構成されることを特徴とする路面判別装置。
  2. 前記テクスチャは、弱エッジからなる線分であり、前記テクスチャの特徴は、前記線分の位置および形状を特定する座標データであることを特徴とする請求項1に記載の路面判別装置。
  3. 前記テクスチャは、弱エッジからなる模様であり、前記テクスチャの特徴は、前記模様を構成する弱エッジの方向の頻度であることを特徴とする請求項1または請求項2に記載の路面判別装置。
  4. 前記特徴抽出部は、さらに、前記第1対象領域においてグラデーションを検索すると共に、検索されたグラデーションの特徴を抽出し、
    前記領域判定部は、前記テクスチャの特徴の経時的変化と、前記グラデーションの特徴の経時的変化とのうちの少なくとも一方に基づいて、前記第1対象領域が、路面領域と立体物の領域とのうちの何れであるのかを判定することを特徴とする請求項1乃至請求項3のうちの何れか一項に記載の路面判別装置。
  5. 前記特徴抽出部は、前記第1対象領域と、輝度変化の勾配と変化の方向が異なる複数のグラデーション検出用フィルタの各々とのコンボリューションを求め、求めたコンボリューションの値が最も大きいグラデーション検出用フィルタのグラデーションの方向を、前記グラデーションの特徴とすることを特徴とする請求項4に記載の路面判別装置。
  6. 前記特徴抽出部は、さらに、前記第1対象領域において注目領域を検索すると共に、検索された注目領域の中から選択した少なくとも二つの注目領域の位置関係を特徴として抽出し、
    前記領域判定部は、前記テクスチャの特徴の経時的変化と、前記注目領域の特徴の経時的変化とのうちの少なくとも一方に基づいて、前記第1対象領域が、路面領域と立体物の領域とのうちの何れであるのかを判定することを特徴とする請求項1乃至請求項3のうちの何れか一項に記載の路面判別装置。
  7. 前記特徴抽出部は、さらに、前記第1対象領域において注目領域を検索すると共に、検索された注目領域の中から選択した少なくとも二つの注目領域の位置関係を特徴として抽出し、
    前記領域判定部は、前記テクスチャの特徴の経時的変化と、前記グラデーションの特徴の経時的変化と、前記注目領域の特徴の経時的変化とのうちの少なくとも一つに基づいて、前記第1対象領域が、路面領域と立体物の領域とのうちの何れであるのかを判定することを特徴とする請求項4または請求項5に記載の路面判別装置。
  8. 前記注目領域は、円形領域と直線線分との組み合わせ、任意の角度で交差する短いエッジ、円形領域のいずれかであることを特徴とする請求項7に記載の路面判別装置。
  9. 前記領域設定部は、前記強エッジの線分を含む領域を第2対象領域として設定し、
    前記特徴抽出部は、前記強エッジの線分の特徴を前記第2対象領域の特徴として抽出し、
    前記領域判定部は、前記車両の直進走行時における前記強エッジの線分の特徴の経時的変化に基づいて、前記第2対象領域が、路面領域と立体物の領域とのうちの何れであるのかを判定し、
    前記路面判別部は、前記第2対象領域についての判定結果と、前記第1対象領域についての判定結果とに基づいて、路面の判別を行うことを特徴とする請求項1乃至請求項8のうちの何れか一項に記載の路面判別装置。
  10. 前記領域設定部は、前記撮像画像において第1対象領域と第2対象領域とをそれぞれ複数設定し、
    前記特徴抽出部は、前記第1対象領域の各々において、テクスチャの検索と検索されたテクスチャの特徴の抽出を行うと共に、前記第2対象領域の各々において、強エッジの線分の特徴の抽出を行い、
    前記領域判定部は、前記第1対象領域と第2対象領域の各々について、路面領域と立体物の領域とのうちの何れであるのかを判定することを特徴とする請求項9に記載の路面判別装置。
  11. 前記撮像画像は、前記カメラからの画像データを、車両の上方から見た俯瞰画像に変換したものであり、画像の中央部に配置された車両マークを取り囲むように、車両の周囲の俯瞰画像が配置されていることを特徴とする請求項1乃至請求項10のうちの何れか一項に記載の路面判別装置。
  12. 車両に搭載されて車両の周囲の路面を撮像するカメラで撮像した撮像画像に基づいて、車両周囲の路面の判別を行う路面判別方法であって、
    エッジ強度が第1の閾値以上となる強エッジの線分を前記撮像画像において検索すると共に、前記撮像画像における前記強エッジの線分を含まない領域を第1対象領域として設定する領域設定段階と、
    エッジ強度が前記第1の閾値よりも小さい第2の閾値以上となる弱エッジからなるテクスチャを、前記第1対象領域において検索すると共に、検索されたテクスチャの特徴を抽出する特徴抽出段階と、
    前記車両の直進走行時における前記テクスチャの特徴の経時的変化に基づいて、前記第1対象領域が、路面領域と立体物の領域とのうちの何れであるのかを判定する領域判定段階と、
    判定結果に基づいて路面の判別を行う路面判別段階とから構成されることを特徴とする路面判別方法。
JP2007103801A 2007-04-11 2007-04-11 路面判別装置および路面判別方法 Active JP4872769B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007103801A JP4872769B2 (ja) 2007-04-11 2007-04-11 路面判別装置および路面判別方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007103801A JP4872769B2 (ja) 2007-04-11 2007-04-11 路面判別装置および路面判別方法

Publications (2)

Publication Number Publication Date
JP2008262333A true JP2008262333A (ja) 2008-10-30
JP4872769B2 JP4872769B2 (ja) 2012-02-08

Family

ID=39984772

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007103801A Active JP4872769B2 (ja) 2007-04-11 2007-04-11 路面判別装置および路面判別方法

Country Status (1)

Country Link
JP (1) JP4872769B2 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2574958A1 (en) 2011-09-28 2013-04-03 Honda Research Institute Europe GmbH Road-terrain detection method and system for driver assistance systems
JP2013137767A (ja) * 2011-12-27 2013-07-11 Harman International (China) Holdings Company Ltd 障害物検出方法及び運転者支援システム
WO2014017626A1 (ja) * 2012-07-27 2014-01-30 日産自動車株式会社 カメラ装置、立体物検出装置及びレンズ洗浄方法
JP2015011619A (ja) * 2013-07-01 2015-01-19 株式会社リコー 情報検出装置、移動体機器制御システム、移動体及び情報検出用プログラム
JP2017121058A (ja) * 2015-12-31 2017-07-06 合盈光電科技股▲ふん▼有限公司H.P.B. Optoelectronics Co., Ltd. 車両用監視システム
KR101816038B1 (ko) 2016-08-25 2018-01-08 현대오트론 주식회사 영상 밝기 보정 장치 및 방법
KR20180034793A (ko) * 2016-09-28 2018-04-05 전자부품연구원 차량용 영상 인식 시스템의 효율적인 탐색 영역 설정 방법
JP2018181070A (ja) * 2017-04-17 2018-11-15 キヤノン株式会社 画像処理装置および画像処理方法
WO2019009110A1 (ja) 2017-07-05 2019-01-10 クラリオン株式会社 車両用外界認識装置
WO2022259373A1 (ja) * 2021-06-08 2022-12-15 日本電信電話株式会社 認識装置、認識方法、及び認識プログラム
CN116703924A (zh) * 2023-08-08 2023-09-05 通用电梯股份有限公司 一种高速电梯零部件磨损状态实时检测预警方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006339960A (ja) * 2005-06-01 2006-12-14 Nissan Motor Co Ltd 物体検出装置、および物体検出方法
JP2007316790A (ja) * 2006-05-24 2007-12-06 Nissan Motor Co Ltd 歩行者検出装置および歩行者検出方法
JP2007316685A (ja) * 2006-05-23 2007-12-06 Nissan Motor Co Ltd 走路境界検出装置および走路境界検出方法
JP2008158958A (ja) * 2006-12-26 2008-07-10 Nissan Motor Co Ltd 路面判別方法および路面判別装置。

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006339960A (ja) * 2005-06-01 2006-12-14 Nissan Motor Co Ltd 物体検出装置、および物体検出方法
JP2007316685A (ja) * 2006-05-23 2007-12-06 Nissan Motor Co Ltd 走路境界検出装置および走路境界検出方法
JP2007316790A (ja) * 2006-05-24 2007-12-06 Nissan Motor Co Ltd 歩行者検出装置および歩行者検出方法
JP2008158958A (ja) * 2006-12-26 2008-07-10 Nissan Motor Co Ltd 路面判別方法および路面判別装置。

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9435885B2 (en) 2011-09-28 2016-09-06 Honda Research Institute Europe Gmbh Road-terrain detection method and system for driver assistance systems
EP2574958A1 (en) 2011-09-28 2013-04-03 Honda Research Institute Europe GmbH Road-terrain detection method and system for driver assistance systems
JP2013137767A (ja) * 2011-12-27 2013-07-11 Harman International (China) Holdings Company Ltd 障害物検出方法及び運転者支援システム
US9804386B2 (en) 2012-07-27 2017-10-31 Nissan Motor Co., Ltd. Camera device, three-dimensional object detection device, and lens cleaning method
CN104507765A (zh) * 2012-07-27 2015-04-08 日产自动车株式会社 摄像机装置、三维物体检测装置以及镜头清洗方法
JPWO2014017626A1 (ja) * 2012-07-27 2016-07-11 日産自動車株式会社 カメラ装置、立体物検出装置及びレンズ洗浄方法
WO2014017626A1 (ja) * 2012-07-27 2014-01-30 日産自動車株式会社 カメラ装置、立体物検出装置及びレンズ洗浄方法
JP2015011619A (ja) * 2013-07-01 2015-01-19 株式会社リコー 情報検出装置、移動体機器制御システム、移動体及び情報検出用プログラム
JP2017121058A (ja) * 2015-12-31 2017-07-06 合盈光電科技股▲ふん▼有限公司H.P.B. Optoelectronics Co., Ltd. 車両用監視システム
KR101816038B1 (ko) 2016-08-25 2018-01-08 현대오트론 주식회사 영상 밝기 보정 장치 및 방법
KR20180034793A (ko) * 2016-09-28 2018-04-05 전자부품연구원 차량용 영상 인식 시스템의 효율적인 탐색 영역 설정 방법
KR101895678B1 (ko) * 2016-09-28 2018-09-06 전자부품연구원 차량용 영상 인식 시스템의 효율적인 탐색 영역 설정 방법
JP2018181070A (ja) * 2017-04-17 2018-11-15 キヤノン株式会社 画像処理装置および画像処理方法
WO2019009110A1 (ja) 2017-07-05 2019-01-10 クラリオン株式会社 車両用外界認識装置
US10867403B2 (en) 2017-07-05 2020-12-15 Clarion Co., Ltd. Vehicle external recognition apparatus
WO2022259373A1 (ja) * 2021-06-08 2022-12-15 日本電信電話株式会社 認識装置、認識方法、及び認識プログラム
CN116703924A (zh) * 2023-08-08 2023-09-05 通用电梯股份有限公司 一种高速电梯零部件磨损状态实时检测预警方法
CN116703924B (zh) * 2023-08-08 2023-10-20 通用电梯股份有限公司 一种高速电梯零部件磨损状态实时检测预警方法

Also Published As

Publication number Publication date
JP4872769B2 (ja) 2012-02-08

Similar Documents

Publication Publication Date Title
JP4872769B2 (ja) 路面判別装置および路面判別方法
JP4930046B2 (ja) 路面判別方法および路面判別装置
JP6550881B2 (ja) 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム
JP6519262B2 (ja) 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム
JP5127182B2 (ja) 物体検出装置
JP7072641B2 (ja) 路面検出装置、路面検出装置を利用した画像表示装置、路面検出装置を利用した障害物検知装置、路面検出方法、路面検出方法を利用した画像表示方法、および路面検出方法を利用した障害物検知方法
JP6274557B2 (ja) 移動面情報検出装置、及びこれを用いた移動体機器制御システム並びに移動面情報検出用プログラム
WO2017090326A1 (ja) 画像処理装置、撮像装置、機器制御システム、分布データ生成方法、及びプログラム
JP4816923B2 (ja) 車両周辺画像提供装置および方法
JP4893212B2 (ja) 周辺監視装置
JP2004112144A (ja) 前方車両追跡システムおよび前方車両追跡方法
WO2017138245A1 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
JP2013164351A (ja) ステレオ視差算出装置
JP6515704B2 (ja) 車線検出装置及び車線検出方法
JP2009053818A (ja) 画像処理装置及びその方法
KR101699014B1 (ko) 스테레오 카메라를 이용한 객체 검출 방법 및 장치
JP2009025910A (ja) 障害物検出装置、障害物検出システム及び障害物検出方法
JP2005217883A (ja) ステレオ画像を用いた道路平面領域並びに障害物検出方法
JP2015179301A (ja) 画像処理装置、画像処理方法、画像処理プログラム、及び移動体機器制御システム
JP4788399B2 (ja) 歩行者検出方法、装置、およびプログラム
JP5176523B2 (ja) 移動体検出装置、移動体検出方法および移動体検出プログラム
JP2009077022A (ja) 運転支援システム及び車両
EP3896387B1 (en) Image processing device
JP3532896B2 (ja) スミア検出方法及びこのスミア検出方法を用いた画像処理装置
JP2017151048A (ja) 測距プログラム、測距方法、及び測距装置

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080912

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100224

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20101013

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110728

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110830

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111006

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111025

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111107

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141202

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4872769

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150