JP2002310896A - Road surface condition discriminating device and road surface condition discriminating method - Google Patents
Road surface condition discriminating device and road surface condition discriminating methodInfo
- Publication number
- JP2002310896A JP2002310896A JP2001121516A JP2001121516A JP2002310896A JP 2002310896 A JP2002310896 A JP 2002310896A JP 2001121516 A JP2001121516 A JP 2001121516A JP 2001121516 A JP2001121516 A JP 2001121516A JP 2002310896 A JP2002310896 A JP 2002310896A
- Authority
- JP
- Japan
- Prior art keywords
- road surface
- determination
- state
- feature amount
- sample data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Road Repair (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、撮影された道路の
画像から路面の状態を判別してドライバや道路管理者に
知らせる道路管理支援システム等に用いて好適の、路面
状態判別装置及び路面状態判別方法に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a road condition judging device and a road condition judging device suitable for use in a road management support system for discriminating a road condition from a photographed road image and informing a driver or a road manager. Regarding the determination method.
【０００２】[0002]
【従来の技術】従来より路面の乾燥，湿潤，積雪及び凍
結等の路面状態を判別するための方法や装置が種々開
発、提案されている。例えば路面に非接触で路面状態を
判定する手法としては、レーザ光の反射特性の変化を利
用するものや、マイクロ波や赤外線を用いるものが知ら
れているが、いずれも測定範囲が比較的狭い領域に限定
されたり、路面状態によって種類分けが必要になったり
して、路面のような面的に広い領域を監視したいという
要望に必ずしも応えられるものではなかった。また、比
較的広範囲が検査できる赤外線カメラを利用した方法で
は、コスト的に高価となるなどの欠点もある。2. Description of the Related Art Hitherto, various methods and apparatuses have been developed and proposed for discriminating road surface conditions such as dry, wet, snowy and frozen road surfaces. For example, as a method of determining a road surface state in a non-contact manner with a road surface, a method using a change in a reflection characteristic of a laser beam and a method using microwaves or infrared rays are known, but all have a relatively narrow measurement range. It is not always possible to meet a demand for monitoring a wide area such as a road surface because the area is limited or a classification is required depending on a road surface condition. In addition, the method using an infrared camera that can inspect a relatively wide area has a drawback such as high cost.
【０００３】これに対して、可視カメラを用いた手法で
は、監視領域の点で１００〜１５０ｍ先までの比較的広
範囲が検査可能である上にコスト的にも比較的安価とな
る。また、可視カメラそのものは路面状態の判別とは別
の目的、例えば交通量の監視や事故の監視等の目的で既
に多数取り付けられており、また、道路の高度情報化の
流れの中で、今後も路線毎に比較的密に取り付けられる
ことが予想される。このため、可視カメラを用いて路面
状態を把握できれば、コスト面で非常に有益なシステム
なり得る。On the other hand, in the method using a visible camera, a relatively wide range from 100 m to 150 m can be inspected in terms of a monitoring area, and the cost is relatively low. In addition, many visible cameras have already been installed for purposes other than the determination of road surface conditions, for example, for monitoring traffic volume and accidents, etc. Are also expected to be installed relatively densely for each route. For this reason, if the road surface condition can be grasped using a visible camera, the system can be very useful in terms of cost.
【０００４】このような可視カメラを利用した路面状態
判別手法としては、例えば特開平１０−１１５６８４号
公報に開示された技術が知られている。この技術では、
俯瞰撮影した判別対象路面の水平偏光画像（Ｐ画像）と
垂直偏光画像（Ｓ画像）とから、これらの比であるＰＳ
比画像（又は単にＰＳ比ともいう）を求め、このＰＳ比
画像の輝度値，輝度の空間的ばらつき、またはＰ画
像から求められるテクスチャ（要素がある種の規則にし
たがって配列されてできる繰り返しパターン），粒状
性，画像の垂直方向の方向性および画像の水平方向
の方向性をそれぞれ求め、これに気温データを加えて多
変量判別分析により路面状態を判別している。A technique disclosed in Japanese Patent Application Laid-Open No. H10-115684 is known as a road surface state determination method using such a visible camera. With this technology,
From the horizontal polarization image (P image) and the vertical polarization image (S image) of the road to be discriminated taken by bird's-eye view, the ratio PS
A ratio image (or simply referred to as a PS ratio) is determined, and a luminance value of the PS ratio image, a spatial variation of the luminance, or a texture (repeated pattern formed by arranging elements according to a certain rule) from the P image is obtained. , Graininess, the vertical direction of the image, and the horizontal direction of the image are obtained, and temperature data is added thereto, and the road surface state is determined by multivariate determination analysis.
【０００５】[0005]
【発明が解決しようとする課題】しかしながら、このよ
うな従来の技術では、ＰＳ比は路面状態を判定しようと
する地点とカメラとの相対的な位置によって大きく変化
するため、広範囲に亘る路面状況の判別が困難であると
いう課題があった。ここで、図１０は水平偏光画像（Ｐ
画像）及び垂直偏光画像（Ｓ画像）の反射率特性を示す
ものであるが、この図からも、カメラの受光角、即ちカ
メラからの距離に応じて、ＰＳ比が大きく異なってしま
うことがわかる。このため、従来技術では、ＰＳ比画像
の差が最大となる受光角、即ち水のブリュースタ角５３
°付近のみを判定範囲としているのである。However, in such a conventional technique, the PS ratio greatly changes depending on the relative position between the point where the road surface state is to be determined and the camera, and therefore, the PS ratio in a wide range of road surface conditions can be reduced. There was a problem that it was difficult to determine. Here, FIG. 10 shows a horizontal polarization image (P
FIG. 7 shows the reflectance characteristics of the vertical polarization image (S image) and the vertical polarization image (S image). It can also be seen from this figure that the PS ratio greatly differs depending on the light receiving angle of the camera, that is, the distance from the camera. . For this reason, in the prior art, the light receiving angle at which the difference between the PS ratio images is maximum, that is, the Brewster angle of water 53
Thus, only the vicinity of ° is set as the determination range.
【０００６】本発明は、このような課題に鑑み創案され
たもので、路面状態の判別範囲を拡大するとともに路面
状態の検出精度を高めるようした、路面状態判別装置及
び路面状態判別方法を提供することを目的とする。SUMMARY OF THE INVENTION The present invention has been made in view of the above problems, and provides a road surface state determining apparatus and a road surface state determining method in which a determination range of a road surface state is expanded and detection accuracy of the road surface state is enhanced. The purpose is to:
【０００７】[0007]
【課題を解決するための手段】このため、請求項１記載
の本発明の路面状態判別装置は、路面を俯瞰するように
取り付けられた撮像手段で撮像された画像情報に基づい
て該路面の状態を判別する路面状態判別装置であって、
該撮像手段で撮像された画像情報に基づいて該路面の領
域を複数の判定領域に分割する画像処理手段と、該画像
情報から路面の状態を表す特徴量を該判定領域毎に算出
する特徴量算出手段と、該路面状態の判別基準となるサ
ンプルデータを予め該判定領域毎に記憶したデータベー
スと、該特徴量算出手段で算出された特徴量と該データ
ベースに記憶されたサンプルデータとを比較して該路面
の状態を該判定領域毎に判別する路面状態判別手段とを
そなえていることを特徴としている。According to a first aspect of the present invention, there is provided a road surface state determining apparatus according to the first aspect of the present invention, wherein the road surface state is determined based on image information taken by an image pickup device mounted so as to overlook the road surface. A road surface state determination device for determining
Image processing means for dividing the road surface area into a plurality of determination areas based on image information captured by the imaging means; and a feature quantity for calculating a feature quantity representing a road surface state from the image information for each of the determination areas Calculating means, a database in which sample data serving as a criterion for determining the road surface condition is stored in advance for each of the determination areas, and comparing the feature amount calculated by the feature amount calculating means with the sample data stored in the database. Road condition determining means for determining the condition of the road for each of the determination areas.
【０００８】また、請求項２記載の本発明の路面状態判
別装置は、上記請求項１において、該サンプルデータ
が、予め状態のわかっている路面を撮像して得られる該
路面の特徴量であって、該特徴量が該路面の状態毎に分
類されていることを特徴としている。また、請求項３記
載の本発明の路面状態判別装置は、上記請求項１又は２
において、該判定領域が、少なくとも水のブリュースタ
角を含む第１の領域と、該第１の領域よりも遠方の第２
の領域とに分割されていることを特徴としている。According to a second aspect of the present invention, in the first aspect, the sample data is a feature amount of the road surface obtained by imaging a road surface whose state is known in advance. The feature amount is classified for each road surface condition. Further, the road surface condition determining apparatus according to the third aspect of the present invention provides the road surface state determining apparatus according to the first or second aspect.
Wherein the determination area includes a first area including at least the Brewster angle of water, and a second area that is farther than the first area.
And is divided into two regions.
【０００９】また、請求項４記載の本発明の路面状態判
別装置は、上記請求項３において、該特徴量が、少なく
とも天候と時刻とに応じてさらに細かく分類されている
ことを特徴としている。また、請求項５記載の本発明の
路面状態判別方法は、路面を俯瞰するように取り付けら
れた撮像手段で撮像された画像情報に基づいて該路面の
状態を判別する路面状態判別方法であって、該路面状態
を判別する基準となるサンプルデータを予め記憶してお
き、該撮像手段で撮像された路面を複数の判定領域に分
割するとともに各判定領域毎に該路面の状態を表す特徴
量を算出し、該算出された特徴量と該記憶されたサンプ
ルデータとを判定領域毎に比較して該路面の状態を判別
することを特徴としている。According to a fourth aspect of the present invention, there is provided a road surface condition determining apparatus according to the third aspect, wherein the characteristic amount is further finely classified according to at least weather and time. According to a fifth aspect of the present invention, there is provided a road surface state determination method for determining a state of a road surface based on image information captured by an imaging unit mounted so as to look down on the road surface. Sample data serving as a reference for determining the road surface state is stored in advance, the road surface imaged by the imaging unit is divided into a plurality of determination regions, and a feature amount representing the state of the road surface is determined for each determination region. It is characterized in that the road surface state is calculated by comparing the calculated feature amount and the stored sample data for each determination area.
【００１０】また、請求項６記載の本発明の路面状態判
別方法は、上記請求項５において、該サンプルデータ
が、予め状態のわかっている路面を撮像して得られる該
路面の特徴量であって、該特徴量が該路面の状態毎に分
類されていることを特徴としている。また、請求項７記
載の本発明の路面状態判別方法は、上記請求項６におい
て、該特徴量が、少なくとも天候と時刻とに応じてさら
に細かく分類されていることを特徴としている。According to a sixth aspect of the present invention, in the road surface state determination method according to the fifth aspect, the sample data is a feature amount of the road surface obtained by imaging a road surface whose state is known in advance. The feature amount is classified for each road surface condition. According to a seventh aspect of the present invention, there is provided a road surface state determining method according to the sixth aspect, wherein the feature amount is further finely classified according to at least weather and time.
【００１１】[0011]
【発明の実施の形態】以下、図面により、本発明の第１
実施形態にかかる路面状態判別装置について説明する
と、図１はその要部の機能構成を示す模式的なブロック
図である。図１において、１は撮像手段としての可視カ
メラ、２は本装置の要部をなす演算装置（又は制御装
置）、７は偏光素子である。BRIEF DESCRIPTION OF THE DRAWINGS FIG.
FIG. 1 is a schematic block diagram showing a functional configuration of a main part of the road surface state determination device according to the embodiment. In FIG. 1, reference numeral 1 denotes a visible camera as an imaging unit, 2 denotes an arithmetic unit (or control unit) which is a main part of the present apparatus, and 7 denotes a polarizing element.
【００１２】このうち、可視カメラ（以下、単にカメラ
という）１は路面を俯瞰するように道路上の適当な高さ
（例えば７ｍ）の場所に固定されている。この可視カメ
ラ１で撮像された路面の画像情報は、例えば道路管理者
の管理センター等に設けられた演算装置２に入力される
ようになっている。そして、この演算装置内２で種々の
演算が行なわれて、撮像された路面が乾燥，湿潤，水
膜，積雪及び凍結等いずれの状態であるのかが判別され
るようになっている。Among them, a visible camera (hereinafter, simply referred to as a camera) 1 is fixed at an appropriate height (for example, 7 m) on the road so as to look down on the road surface. The image information of the road surface captured by the visible camera 1 is input to an arithmetic unit 2 provided at a management center of a road manager, for example. Then, various calculations are performed in the arithmetic unit 2, and it is determined whether the imaged road surface is in a dry, wet, water film, snowy or frozen state.
【００１３】演算装置２には、Ａ／Ｄ変換器（図示省
略），画像処理部（画像処理手段）３，特徴量算出部
（特徴量算出手段）４，路面状態判定部（路面状態判別
手段）５，データベース６及び偏光素子制御部８等が設
けられている。また、偏光素子７はカメラ１の前面に配
設され、上記偏光素子制御部８からの制御信号により偏
光素子７の偏光面が一定時間間隔で切り換えられるよう
になっている。The arithmetic unit 2 includes an A / D converter (not shown), an image processing unit (image processing unit) 3, a feature amount calculation unit (feature amount calculation unit) 4, a road surface state determination unit (road surface state determination unit) 5, a database 6, a polarizing element controller 8, and the like. The polarizing element 7 is disposed on the front of the camera 1, and the polarization plane of the polarizing element 7 can be switched at regular time intervals by a control signal from the polarizing element controller 8.
【００１４】また、カメラ１で撮像された画像情報は、
図示しないＡ／Ｄ変換器でディジタル変換された後、画
像処理部３に入力されるようになっている。また、この
画像処理部３には、偏光素子７の偏光面が垂直であるか
水平であるかのステータス信号も入力されるようになっ
ている。ここで、図１に示すように、カメラ１の取り付
け角度は、路面法線Ｎに対して水のブリュースタ角であ
る５３°を含むように固定されている。これは、撮像さ
れた路面画像の垂直偏光成分（Ｓ偏光成分）と水平偏光
成分（Ｐ偏光成分）との比（ＰＳ比）がブリュースタ角
５３°近傍で最大となるからであり（図１０参照）、こ
のようにＰＳ比が極力大きくなるようにカメラ１を取り
付けることで、路面状態の判別精度を高めているのであ
る。Further, image information captured by the camera 1 is as follows:
After being digitally converted by an A / D converter (not shown), it is input to the image processing unit 3. In addition, a status signal indicating whether the polarization plane of the polarization element 7 is vertical or horizontal is also input to the image processing unit 3. Here, as shown in FIG. 1, the mounting angle of the camera 1 is fixed so as to include 53 ° which is the Brewster angle of water with respect to the road surface normal N. This is because the ratio (PS ratio) between the vertical polarization component (S-polarization component) and the horizontal polarization component (P-polarization component) of the captured road surface image becomes maximum near the Brewster angle of 53 ° (FIG. 10). Thus, by mounting the camera 1 such that the PS ratio becomes as large as possible, the determination accuracy of the road surface state is improved.
【００１５】また、特徴量算出部４では、画像処理部３
で処理された画像情報から路面状態を表す特徴量が算出
されるようになっている。ここで、特徴量とは、後述の
路面状態判定部５において、路面の状態を判別するため
のパラメータとして用いられるものであり、具体的に
は、色相（色），彩度，明るさの空間的なばらつ
き，同相色差，直交色差，輝度勾配，輝度誤
差，同時生起行列から求められるテクスチャ（模様）
の種類及びＰＳ比をいう。さらに、上記のテクスチ
ャの種類としては、垂直方向及び水平方向毎にそれぞれ
セカンドモーメント，ディファレンスエントロピ，イン
フォメーションメジャーオブコーリレーションの６種類
のパラメータが算出されるようになっている。したがっ
て、本実施形態では結果的に合計１４種類の特徴量（パ
ラメータ）が算出されるようになっている。なお、これ
らのパラメータの算出手法はいずれも公知であるのでそ
の説明を省略する。The feature amount calculating section 4 includes an image processing section 3
Is calculated from the image information processed in step (1). Here, the feature amount is used as a parameter for determining a road surface state in a road surface state determination unit 5 described later, and specifically, a space of hue (color), saturation, and brightness. (Pattern) obtained from temporal variation, in-phase color difference, orthogonal color difference, luminance gradient, luminance error, and co-occurrence matrix
And the PS ratio. Further, as the types of the above-described textures, six kinds of parameters of a second moment, a difference entropy, and an information measure of correlation are calculated for each of the vertical direction and the horizontal direction. Therefore, in the present embodiment, a total of 14 types of feature amounts (parameters) are calculated as a result. In addition, since the calculation methods of these parameters are all publicly known, the description thereof is omitted.
【００１６】ところで、カメラ１で撮像された路面の画
像は、画像処理部３において、図１，図２に示すよう
に、ブリュースタ角付近のａ地点を含む領域Ａ（第１の
領域）と、ブリュースタ角から遠方に離れたｂ地点を含
む領域Ｂ（第２の領域）との２つの領域に分割（又は設
定）されるようになっている。そして、特徴量算出部４
では、各領域Ａ，Ｂ毎にそれぞれ上記の特徴量を算出す
るようになっている。なお、この場合、各画像領域Ａ，
Ｂの代表領域において特徴量を算出するようにしても良
いし、各画像領域Ａ，Ｂにおいて複数の領域毎に各特徴
量を算出した後これを平均化してもよい。また、これ以
外の手法で各領域Ａ，Ｂの特徴量を算出してもよい。ま
た、本実施形態では、画像領域をＡ，Ｂの２つに分割し
た場合について説明するが、画像領域を３つ以上に分割
してもよい。The image of the road surface taken by the camera 1 is, in the image processing section 3, as shown in FIGS. 1 and 2, an area A (first area) including a point a near the Brewster angle. And a region B (a second region) including a point b far away from the Brewster angle, and is divided (or set) into two regions. Then, the feature amount calculation unit 4
Then, the above-mentioned feature amount is calculated for each of the regions A and B. In this case, each image area A,
The feature amount may be calculated in the representative region of B, or may be averaged after calculating each feature amount for each of a plurality of regions in each of the image regions A and B. Further, the feature amount of each of the regions A and B may be calculated by a method other than the above. Further, in the present embodiment, a case will be described in which the image area is divided into two of A and B, but the image area may be divided into three or more.
【００１７】そして、路面状態判定部５では、上記特徴
量算出部４で算出された各種のパラメータを用いて多変
量判別分析が行なわれ、路面の状態が判別されるように
なっている。ここで、路面状態判定部５では、まず、特
徴量算出部４で算出されたパラメータを多次元空間（本
実施形態では１４次元空間）上にプロットし、この点が
判定関数データベース６内に格納された乾燥，湿潤，水
膜，積雪，凍結等のサンプルデータ群のうちどの状態の
グループ（クラス）に属しているか、又は一番近いかを
判定するようになっている。なお、このサンプルデータ
は、予め、各種の路面状態毎にカメラ１で撮像、取得し
ておき、上記の各領域毎にデータベース化されたもので
ある。The road surface state determination unit 5 performs a multivariate discriminant analysis using the various parameters calculated by the feature amount calculation unit 4 to determine the road surface state. Here, the road surface state determination unit 5 first plots the parameters calculated by the feature amount calculation unit 4 on a multidimensional space (14-dimensional space in the present embodiment), and stores this point in the determination function database 6. It is determined which group (class) the sample data group belongs to or which is closest to the sample data group such as dried, wet, water film, snow covered, frozen, and the like. The sample data is previously captured and acquired by the camera 1 for each of various road surface conditions, and is prepared as a database for each of the above-described regions.
【００１８】以下、このような路面状態の判定の具体例
について説明する。なお、以下では、説明を簡略化する
ために、特徴量（パラメータ）をＰＳ比と輝度値との２
つに限定して、２次元のマップで路面状態を判別する例
について説明するまず、本装置の運用以前に、準備段階
としてサンプルデータの収集を行なう。即ち、予め路面
状態がわかっている時点で、路面を撮影しておき、乾
燥，湿潤，水膜，積雪，凍結等におけるＰＳ比（特徴量
１）と輝度値（特徴量２）とを各路面領域Ａ，Ｂ毎に特
徴量算出部４で算出する。そして、これらの値がサンプ
ルデータとして記憶される。なお、このようなサンプル
データは多い方がよく、ある一定数のデータが蓄積され
るまで収集を行なう。Hereinafter, a specific example of the determination of the road surface state will be described. In the following, for the sake of simplicity, the feature amount (parameter) is set to 2 of the PS ratio and the luminance value.
First, sample data is collected as a preparatory stage before the operation of the present apparatus. That is, when the road surface condition is known in advance, the road surface is photographed, and the PS ratio (characteristic amount 1) and the luminance value (characteristic amount 2) in dry, wet, water film, snow covered, frozen, etc. are determined for each road surface. The characteristic amount calculation unit 4 calculates the characteristics for each of the regions A and B. Then, these values are stored as sample data. It is preferable that such sample data be large, and collection is performed until a certain number of data is accumulated.
【００１９】次に、上記の２つの特徴量から、路面領域
毎に図３（ａ），（ｂ）に示すようなデータベースを作
成する。つまり、路面が乾燥状態にあるときのサンプル
データの分布から乾燥状態での特徴量の存在領域（デー
タの広がり）を定め、同様に、湿潤状態，水膜状態等で
の特徴量の存在領域を定める。そして、このようなデー
タベースを、ブリュースタ角近傍（図２に示す領域Ａ）
とブリュースタ角から離れた地点（図２に示す領域Ｂ）
とでそれぞれ作成し、判定関数データベース６に格納す
る。Next, a database as shown in FIGS. 3 (a) and 3 (b) is created for each road surface area from the above two feature amounts. In other words, the area where the characteristic amount exists in the dry state (data spread) is determined from the distribution of the sample data when the road surface is in the dry state, and similarly, the area where the characteristic amount exists in the wet state and the water film state is determined. Determine. Then, such a database is stored in the vicinity of the Brewster angle (region A shown in FIG. 2).
And point away from Brewster's angle (region B shown in FIG. 2)
, Respectively, and stored in the judgment function database 6.
【００２０】このようにデータベースを作成した状態
で、路面状態の判定を行なう。まず、カメラ１で路面を
撮影し、カメラ１から画像情報を取り込んで画像処理部
３で画像領域を上記２つの領域に分割する。そして、特
徴量算出部６で、それぞれの領域毎に上記の２つの特徴
量（輝度値，ＰＳ比）を算出する。次に、これらの２つ
の特徴量を図３（ａ），（ｂ）に示すマップにプロット
し、この特徴点が、サンプルデータ群のどのクラスに属
しているかが判定される。そして、乾燥状態のクラスに
属していれば、撮影された路面の領域は乾燥状態である
と判定するのである。With the database created in this way, the road surface condition is determined. First, a road surface is photographed by the camera 1, image information is fetched from the camera 1, and an image processing unit 3 divides an image area into the two areas. Then, the feature amount calculating section 6 calculates the above two feature amounts (brightness value, PS ratio) for each region. Next, these two feature amounts are plotted on the maps shown in FIGS. 3A and 3B, and it is determined to which class of the sample data group the feature points belong. Then, if it belongs to the class in the dry state, it is determined that the photographed road surface area is in the dry state.
【００２１】このように、本発明の路面状態判別装置で
は、カメラ１からの距離（カメラ１の受光角）に応じて
異なるデータベースを作成、記憶するとともに、カメラ
１で撮影された路面を２つの領域に分割して、それぞれ
の領域に対応するデータベースを用いて路面の領域毎に
路面の状態を判定しているのである。一方、従来の技術
のように、カメラ１で撮影された全路面領域で特徴量の
サンプルデータを収集した場合には、受光角に起因する
ＰＳ比の相違により特徴量の散らばり方が大きくなり、
この結果各クラスが重なり合って正確な路面状態の判定
が困難であった（図１１参照）。As described above, in the road surface condition determination apparatus of the present invention, different databases are created and stored in accordance with the distance from the camera 1 (the light receiving angle of the camera 1), and the road surface photographed by the camera 1 is stored in two databases. The road surface is divided into regions, and the state of the road surface is determined for each road surface region using a database corresponding to each region. On the other hand, when the sample data of the feature amount is collected in the entire road surface area photographed by the camera 1 as in the conventional technology, the dispersion of the feature amount becomes large due to the difference in the PS ratio caused by the light receiving angle,
As a result, each class overlapped, and it was difficult to accurately determine the road surface state (see FIG. 11).
【００２２】これに対し、本発明の路面状態判別装置で
は、図１０に示す反射率の特性から、撮像された路面
を、ＰＳ比が略一定となる領域に区切って判別対象とす
ることで判別精度の向上を図っているのである。つま
り、上述のように、カメラ１の受光角に応じた複数の地
点（領域）毎に予めデータベースを作成することで、特
徴量のクラスの重なりを排除し、この路面領域毎に路面
状態を判定することで、正確な路面判定が実現できるの
である。On the other hand, according to the road surface condition determining apparatus of the present invention, the road surface is determined by dividing the imaged road surface into regions where the PS ratio is substantially constant from the reflectance characteristics shown in FIG. This is to improve the accuracy. That is, as described above, by creating a database in advance for each of a plurality of points (regions) corresponding to the light receiving angle of the camera 1, overlapping of the classes of the feature amounts is eliminated, and the road surface state is determined for each of the road surface regions. By doing so, accurate road surface determination can be realized.
【００２３】ところで、図３（ａ）に示すように、撮影
された路面の特徴点（図中×，＊で示す）は、マハラノ
ビス距離関数を用いて、どのクラスに属しているかが判
定される。ここでマハラノビス距離は下式で表される。 マハラノビス距離＝t（ｘ−ａc）Ｖc -1（ｘ−ａc） ｘ：変数（列ベクトル）であり、検査画像の特徴量ベク
トル ａc：クラスｃの平均特徴量ベクトル（列ベクトル） Ｖc：クラスｃの共分散行列であり、行列のｉｊ成分は
特徴量ｉと特徴量ｊとの共分散 なお、路面の特徴点がどのクラスに属しているかの判定
手法は、上記マハラノビス距離関数を用いたものに限定
されるものではなく、各クラスの中心からの距離（ユー
クリッド距離）を用いて判定しても良いし、他の手法で
判定してもよい。By the way, as shown in FIG. 3A, it is determined to which class the feature points (indicated by x and * in the figure) of the photographed road surface belong to using the Mahalanobis distance function. . Here, the Mahalanobis distance is represented by the following equation. Mahalanobis distance = t (x- ac ) Vc- 1 (x- ac ) x: variable (column vector), feature vector of inspection image ac : average feature vector of class c (column vector) V c is a covariance matrix of class c, and the ij component of the matrix is the covariance of the feature amount i and the feature amount j. The method of determining which class the feature point on the road belongs to is determined by the Mahalanobis distance function However, the determination is not limited to the method using, and may be determined using the distance from the center of each class (Euclidean distance), or may be determined using another method.
【００２４】本発明の第１実施形態にかかる路面状態判
別装置は上述のように構成されているので、以下のよう
にして路面の状態が判別される。まず、実際の運用開始
前にあらゆる状況で予め状態のわかっている路面を撮影
してサンプルデータを収集しデータベースを作成する。
これを図４に示すフローチャートを用いて説明すると、
最初にカメラ１で路面を撮影し（ステップＳ１）、画像
処理部３でカメラ１で撮影された各画像が、判定領域の
路面状態（乾燥，湿潤，水膜等の状態）毎に即ちクラス
毎に分類される（ステップＳ２）。そして、各画像のあ
る判定領域における特徴量が計算され（ステップＳ
３）、判定領域のクラス毎に各特徴量の平均値及び共分
散行列の逆行列からマハラノビス距離関数がそれぞれ算
出される（ステップＳ４）。また、このような判定領域
が他にもあるか否かを判定し（ステップＳ５）、他にも
判定領域があれば、全ての判定領域で上記ステップＳ１
〜Ｓ４の処理を繰り返す。そして、全ての判定領域につ
いて作業を終えると、これらのサンプルを判定関数デー
タベース６に格納して（ステップＳ６）、準備作業を終
了する。Since the road surface condition determining apparatus according to the first embodiment of the present invention is configured as described above, the condition of the road surface is determined as follows. First, before actual operation starts, a road surface whose state is known in advance in all situations is photographed, sample data is collected, and a database is created.
This will be described with reference to the flowchart shown in FIG.
First, the road surface is photographed by the camera 1 (step S1), and each image photographed by the camera 1 by the image processing unit 3 is used for each road surface state (dry, wet, water film, etc.) of the determination area, that is, for each class. (Step S2). Then, the feature amount in a certain determination area of each image is calculated (step S
3) A Mahalanobis distance function is calculated from the average value of each feature amount and the inverse matrix of the covariance matrix for each class of the determination region (step S4). Further, it is determined whether or not there is another such determination region (step S5). If there is another determination region, the above-described step S1 is performed for all the determination regions.
Steps S4 to S4 are repeated. When the work has been completed for all the determination areas, these samples are stored in the determination function database 6 (step S6), and the preparation work ends.
【００２５】ここで、図５を用いて上記マハラノビス距
離関数の作成手法について説明する。例えば乾燥状態の
路面の画像の数が３で、特徴量の数が２であって、 乾燥画像１の特徴量ベクトル＝（１，３０） 乾燥画像２の特徴量ベクトル＝（４，６） 乾燥画像３の特徴量ベクトル＝（１０，３） とすると、乾燥状態の路面の平均特徴量ベクトルａc は
下記のように表される。 ａc＝（５，１３） また、乾燥状態の路面共分散行列Ｖc は、この平均特徴
量ベクトルａc の各成分の共分散から算出される（具体
的な数値については図５参照）。Here, a method of creating the Mahalanobis distance function will be described with reference to FIG. For example, the number of images of the road surface in the dry state is 3, the number of feature amounts is 2, and the feature amount vector of the dry image 1 = (1, 30). The feature amount vector of the dry image 2 = (4, 6). Assuming that the feature vector of the image 3 = (10, 3), the average feature vector a c of the road surface in a dry state is expressed as follows. a c = (5,13) The road surface covariance matrix V c in a dry state is calculated from the covariance of each component of the average feature vector a c (see FIG. 5 for specific numerical values).
【００２６】次に、図６を用いて、実際の路面判別手法
を説明すると、まずカメラ１で対象となる路面を撮影し
（ステップＳ１１）、画像処理部３で路面の判定領域が
分割されるとともに、各判定領域での特徴量が特徴量算
出部４で算出される（ステップＳ１２）。次に、データ
ベース６に格納されたサンプルデータのうち、対応する
判定領域のサンプルデータを参照して、このサンプルデ
ータ（特徴量）の多次元空間位置から各クラスまでのマ
ハラノビス距離が算出される（ステップＳ１３）。そし
て、マハラノビス距離が最小となるクラスを決定し、対
象路面の状態がこのクラスに属していると判定される
（ステップＳ１４）。さらに、ステップＳ１１で撮像さ
れた路面に他に判定領域があるか否かを判定し（ステッ
プＳ１５）、他にも判定領域があれば、全ての判定領域
について、上記ステップＳ１１〜１４の処理を行ない、
判定領域毎に路面の状態を判別する。Next, the actual road surface discriminating method will be described with reference to FIG. 6. First, the target road surface is photographed by the camera 1 (step S11), and the image processing section 3 divides the road surface determination region. At the same time, the feature amount in each determination area is calculated by the feature amount calculation unit 4 (step S12). Next, with reference to the sample data of the corresponding determination area among the sample data stored in the database 6, the Mahalanobis distance from the multidimensional space position of the sample data (feature amount) to each class is calculated ( Step S13). Then, the class with the minimum Mahalanobis distance is determined, and it is determined that the state of the target road surface belongs to this class (step S14). Further, it is determined whether or not there is another determination area on the road surface imaged in step S11 (step S15). If there is another determination area, the processing of steps S11 to S14 is performed for all the determination areas. Do,
The state of the road surface is determined for each determination area.
【００２７】なお、路面判別が行なわれた後、当該判別
結果が正しかったことが確認できれば、このときのデー
タを新たなサンプルデータとして取得してもよい。この
場合には、装置の運用開始後の時間経過に伴いサンプル
データが増加するので、より的確にクラスを分類するこ
とができ、判別精度を高めることができる。図７
（ａ），（ｂ）に、従来の装置及び本実施形態にかかる
路面状態判別装置による判別試験の結果をそれぞれ示
す。この試験では、道路の状態として乾燥，湿潤及び水
膜の３つの状態について判別を行なった。また、従来の
装置では、路面の領域を分割せずに、撮影された路面の
全領域を判別対象とした。この結果、図示するように、
従来の装置では正しく路面状態を判別できた率（正解
率）が平均で０．６３６であったのに対して、本実施形
態にかかる路面状態判別装置では正解率は平均で０．９
６２と、大幅に正解率が向上した。特に、従来はほとん
ど判別できなかった湿潤状態を完全に判別することがで
き、本装置の有用性が確認できた。After the road surface is determined, if it is confirmed that the result of the determination is correct, the data at this time may be obtained as new sample data. In this case, the sample data increases with the lapse of time after the start of operation of the apparatus, so that the class can be classified more accurately and the discrimination accuracy can be increased. FIG.
(A) and (b) show the results of the discrimination test by the conventional device and the road surface condition discriminating device according to the present embodiment, respectively. In this test, discrimination was made for three states of the road, that is, dry, wet, and water film. Further, in the conventional apparatus, the entire area of the photographed road surface is set as a determination target without dividing the road surface area. As a result, as shown in the figure,
In the conventional apparatus, the rate of correctly determining the road surface state (correct answer rate) was 0.636 on average, whereas in the road surface state determining apparatus according to the present embodiment, the correct answer rate was 0.9 on average.
The correct answer rate was significantly improved to 62. In particular, the wet state, which could hardly be determined conventionally, could be completely determined, confirming the usefulness of the present apparatus.
【００２８】なお、水膜状態の路面の正解率のみに着目
すれば本装置は従来の装置よりも正解率が劣っている
が、従来の装置では、水膜状態の路面を正しく判定でき
なっかた事例のうち、その半分を乾燥状態と判別してお
り明らかな誤判定を招いている。一方、本装置では水膜
状態の路面を正しく判定できなかった事例であっても、
これらは全て湿潤状態と判別されており、路面状態を判
別する性能としては向上していることが確認できた。Note that if attention is paid only to the accuracy of the road surface in the water film state, the accuracy of the present device is inferior to that of the conventional device. However, the conventional device cannot correctly determine the road surface in the water film state. Of the cases, half of the cases were determined to be in a dry state, which caused a clear erroneous determination. On the other hand, even if this device could not correctly determine the road surface in the water film state,
These were all determined to be in the wet state, and it was confirmed that the performance for determining the road surface state was improved.
【００２９】このように、本第１実施形態にかかる路面
状態判別装置によれば、装置のハードウェアをほとんど
変更することなく路面状態の判別精度を大幅に向上させ
ることができる利点があるほか、ブリュースタ角近傍の
領域のみならず、１００〜１５０ｍ前方の領域の路面状
態を正確に判別でき、判別する路面の範囲を大幅に拡大
することができるという特有の利点を有している。As described above, the road surface condition determining apparatus according to the first embodiment has an advantage that the accuracy of determining the road surface state can be greatly improved without changing the hardware of the apparatus. It has the unique advantage that the road surface condition can be accurately determined not only in the region near the Brewster angle but also in the region 100 to 150 m ahead, and the range of the road surface to be determined can be greatly expanded.
【００３０】また、サンプルデータが、予め状態のわか
っている路面を撮像して得られる路面の特徴量であっ
て、このサンプルデータとしての特徴量を路面の状態毎
に分類することにより、従来より知られている多変量判
別分析の手法（例えばマハラノビスの距離を用いた判別
手法）等を適用できる。したがって、比較的簡単に路面
状態を判別することができるという利点がる。Further, the sample data is a feature amount of a road surface obtained by imaging a road surface whose state is known in advance, and by classifying the feature amount as the sample data for each road surface condition, A known multivariate discriminant analysis method (for example, a discrimination method using Mahalanobis distance) or the like can be applied. Therefore, there is an advantage that the road surface state can be determined relatively easily.
【００３１】次に、本発明の第２実施形態にかかる路面
状態判別装置について説明すると、本第２実施形態にか
かる路面状態判別装置は、上記第１実施形態で説明した
路面状態判別装置において、データベースを天候や時刻
等の条件に応じてさらに細かく分類したものである。し
たがって、装置の構成としては、第１実施形態のものと
略同様に構成されており、重複する部分については説明
を省略する。Next, a description will be given of a road condition determining apparatus according to a second embodiment of the present invention. The road condition determining apparatus according to the second embodiment is different from the road condition determining apparatus described in the first embodiment in that The database is further classified according to conditions such as weather and time. Therefore, the configuration of the device is substantially the same as that of the first embodiment, and the description of the overlapping portions will be omitted.
【００３２】さて、本第２実施形態にかかる路面状態判
別装置では、演算装置２に天候データを取り込むための
日照計（天候判別手段）及び太陽の位置を判定するため
の時計とが接続されており、これら日照計及び時計から
の情報に基づいて天候及び太陽の位置が取り込まれるよ
うになっている。これは、カメラ１で撮像された画像の
特徴量（特に輝度）は天候や太陽の位置（時刻）により
大きく変動することを考慮したものである。つまり、サ
ンプルデータを取得する際に天候や太陽の位置を考慮し
ない場合には、図８（ａ）に示すように、特徴量の分布
が広がってしまい、異なるクラスで重複する領域が生じ
る場合があった。この結果、路面状態を誤判定してしま
うおそれがあった。In the road surface condition determining apparatus according to the second embodiment, a sunshine meter (weather determining means) for taking in weather data into the arithmetic unit 2 and a clock for determining the position of the sun are connected. In addition, the weather and the position of the sun are taken in based on the information from the sunshine meter and the clock. This takes into account that the feature amount (particularly luminance) of the image captured by the camera 1 greatly varies depending on the weather and the position (time) of the sun. That is, if the weather and the position of the sun are not taken into account when acquiring the sample data, as shown in FIG. 8A, the distribution of the feature amounts may be widened, and overlapping regions may occur in different classes. there were. As a result, there is a possibility that the road surface state is erroneously determined.
【００３３】そこで、本第２実施形態では、天候や時間
に応じてクラスを分割するようになっており、これによ
り、例えば図８（ｂ）に示すように、天候が晴れのとき
の乾燥状態での特徴量の分布と、天候が曇りのときの乾
燥状態での特徴量の分布とを分けることができる。そし
て、判定対象の路面を撮影したときの天候や時刻のデー
タを取り込むことで、対応するサンプルデータを絞り込
むことができ、路面状態の判別精度を向上させることが
できるのである。Therefore, in the second embodiment, the classes are divided according to the weather and time, whereby the dry state when the weather is fine is obtained, as shown in FIG. 8B, for example. Can be separated from the distribution of the feature amount in the dry state when the weather is cloudy. Then, by taking in the data of the weather and the time when the road surface to be determined was photographed, the corresponding sample data can be narrowed down, and the accuracy of determining the road surface state can be improved.
【００３４】なお、ここでは特徴量が変動する要素とし
て天候や時刻を適用したが、これ以外にも種々のパラメ
ータを適用することができる。例えば、太陽の位置は季
節によっても変動するので、例えば１ヶ月毎にデータベ
ースを分類してもよいし、路面への影の影響の有無等に
より、さらに詳細にデータを分類しても良い。さらに
は、積雪状態のクラスを新雪と圧雪等のクラスに細分化
してもよい。Here, the weather and the time are applied as the elements in which the characteristic amount fluctuates, but various parameters other than these can be applied. For example, since the position of the sun changes depending on the season, the database may be classified, for example, every month, or the data may be classified in more detail according to the presence or absence of the influence of the shadow on the road surface. Furthermore, the class in the snowy state may be subdivided into classes such as fresh snow and compacted snow.
【００３５】本発明の第２実施形態にかかる路面状態判
別装置は上述のように構成されているので、例えば図９
に示すフローチャートにしたがってデータベースが作成
される。なお、このフローチャートでは説明を簡略化す
るために、撮影された路面のうち、ある１つの判定領域
に着目して説明する。まず、カメラ１で予め状態がわか
っている路面を多数撮影し（ステップＳ２１）、各画像
を路面状態，天候及び時刻等で細かく分類する（ステッ
プＳ２２）。次に、各画像毎に特徴量を算出し（ステッ
プＳ２３）、分類された全てのクラス毎に各特徴量の平
均値及び共分散行列の逆行列からマハラノビス距離関数
を算出する（ステップＳ２４）。そして、これらのサン
プルを判定関数データベース６に格納して（ステップＳ
２５）、準備作業を終了する。The road surface condition determining apparatus according to the second embodiment of the present invention is configured as described above.
A database is created according to the flowchart shown in FIG. Note that, in this flowchart, for simplicity of description, description will be made focusing on a certain determination area in the photographed road surface. First, the camera 1 photographs a large number of road surfaces whose state is known in advance (step S21), and classifies each image into finely classified by road surface conditions, weather, time, and the like (step S22). Next, a feature value is calculated for each image (step S23), and a Mahalanobis distance function is calculated from the average value of each feature value and the inverse matrix of the covariance matrix for all classified classes (step S24). Then, these samples are stored in the judgment function database 6 (step S
25), finish the preparation work.
【００３６】なお、これ以降は、上記の第１実施形態と
同様にして路面の判別が実行される。したがって、本第
２実施形態にかかる路面状態判別装置では、上記の第１
実施形態の路面状態判別装置と同様の利点があるほか、
天候や時間等のさまざまな外乱要因の影響を排除でき、
路面状態の判定精度をさらに高めることができるという
利点があるなお、本発明の路面状態判別装置は上述の各
実施形態に限定されるものではなく、本発明の趣旨を逸
脱しない範囲で種々の変形例が可能である。例えば演算
装置２をカメラ１と一体化しても良い。また、判別結果
を道路上に設けたディスプレイやカーナビゲーションに
表示してドライバに前方の路面状態を知らせるようなシ
ステムや、或いは道路の状態を道路管理者に知らせるよ
うなシステムに適用してもよい。また、このような路面
状態の伝達する手法としては、インターネットや無線通
信等の種々の手法を利用することができる。After that, the road surface is determined in the same manner as in the first embodiment. Therefore, in the road surface condition determination device according to the second embodiment, the first
In addition to the same advantages as the road surface condition determination device of the embodiment,
You can eliminate the effects of various disturbance factors such as weather and time,
There is an advantage that the determination accuracy of the road surface state can be further improved. The road surface state determination device of the present invention is not limited to the above embodiments, and various modifications may be made without departing from the spirit of the present invention. Examples are possible. For example, the arithmetic unit 2 may be integrated with the camera 1. Further, the present invention may be applied to a system in which a determination result is displayed on a display or a car navigation provided on a road to notify a driver of a road surface state ahead or a system of notifying a road manager of a road state. . In addition, various methods such as the Internet and wireless communication can be used as a method for transmitting such a road surface condition.
【００３７】[0037]
【発明の効果】以上詳述したように、請求項１記載の本
発明の路面状態判別装置によれば、撮像手段で撮像され
た画像情報に基づいて路面の領域を複数の判定領域に分
割する画像処理手段と、該画像情報から路面の状態を表
す特徴量を判定領域毎に算出する特徴量算出手段と、該
路面状態の判別基準となるサンプルデータを予め該判定
領域毎に記憶したデータベースと、該特徴量算出手段で
算出された特徴量と該データベースに記憶されたサンプ
ルデータとを比較して該路面の状態を該判定領域毎に判
別する路面状態判別手段とをそなえるという簡素な構成
により、従来の装置のハードウェアをほとんど変更する
ことなく、路面状態の判別範囲を拡大することができる
とともに、判別精度を大幅に向上させることができる。As described in detail above, according to the road surface condition determining apparatus of the present invention, a road surface region is divided into a plurality of determination regions based on image information taken by the image pickup means. An image processing unit, a feature amount calculating unit that calculates a feature amount representing a road surface state from the image information for each determination region, and a database in which sample data serving as a determination reference of the road surface state is stored in advance for each of the determination regions. A simple configuration that includes a road surface state determination unit that compares the characteristic amount calculated by the characteristic amount calculation unit with the sample data stored in the database and determines the state of the road surface for each of the determination regions. In addition, it is possible to expand the determination range of the road surface condition and hardly change the determination accuracy without changing the hardware of the conventional device.
【００３８】また、請求項２記載の本発明の路面状態判
別装置によれば、該サンプルデータが、予め状態のわか
っている路面を撮像して得られる該路面の特徴量であっ
て、該特徴量が該路面の状態毎に分類されているという
構成により、多変量判別分析等の手法により比較的簡単
に路面状態を判別することができる利点がある。また、
請求項３記載の本発明の路面状態判別装置によれば、該
判定領域が、少なくとも水のブリュースタ角を含む第１
の領域と、該第１の領域よりも遠方の第２の領域とに分
割されているので、サンプルデータの分布の重なり合う
領域を排除でき、正確な路面判定が実現できるという利
点がある。According to the second aspect of the present invention, the sample data is a feature amount of the road surface obtained by imaging a road surface whose state is known in advance. The configuration in which the quantity is classified for each road surface state has an advantage that the road surface state can be relatively easily determined by a technique such as multivariate discriminant analysis. Also,
According to the road surface condition determination device of the third aspect of the present invention, the determination region includes at least the first Brewster angle of water.
Is divided into a second area and a second area farther than the first area. Therefore, there is an advantage that an area where the distribution of the sample data overlaps can be excluded, and accurate road surface determination can be realized.
【００３９】また、請求項４記載の本発明の路面状態判
別装置によれば、特徴量が、少なくとも天候と時刻とに
応じてさらに細かく分類されているので、天候や時間に
よる外乱要因の影響を排除でき、路面状態の判定精度を
さらに高めることができるという利点がある。また、請
求項５記載の本発明の路面状態判別方法によれば、路面
状態を判別する基準となるサンプルデータを予め記憶し
ておき、撮像手段で撮像された路面を複数の判定領域に
分割するとともに各判定領域毎に該路面の状態を表す特
徴量を算出し、該算出された特徴量と記憶されたサンプ
ルデータとを該判定領域毎に比較して該路面の状態を判
別することにより、路面状態の判別範囲を拡大すること
ができるとともに、判別精度を大幅に向上させることが
できるという利点がある。Further, according to the road surface condition determining apparatus of the present invention, since the feature amount is further finely classified according to at least the weather and the time, the influence of disturbance factors due to the weather and time can be reduced. There is an advantage that the accuracy of determination of the road surface state can be further improved. According to the road surface state determination method of the present invention, sample data serving as a reference for determining the road surface state is stored in advance, and the road surface imaged by the imaging unit is divided into a plurality of determination regions. By calculating a feature amount representing the state of the road surface for each determination region, and comparing the calculated feature amount and the stored sample data for each determination region to determine the state of the road surface, There is an advantage that the determination range of the road surface state can be expanded and the determination accuracy can be greatly improved.
【００４０】また、請求項６記載の本発明の路面状態判
別方法によれば、サンプルデータが、予め状態のわかっ
ている路面を撮像して得られる路面の特徴量であって、
特徴量が該路面の状態毎に分類されているので、多変量
判別分析等の手法により比較的簡単に路面状態を判別す
ることができる利点がある。また、請求項７記載の本発
明の路面状態判別方法によれば、該特徴量が、少なくと
も天候と時刻とに応じてさらに細かく分類されているの
で、天候や時間による外乱要因の影響を排除でき、路面
状態の判定精度をさらに高めることができるという利点
がある。According to the road surface state determination method of the present invention, the sample data is a road surface characteristic amount obtained by imaging a road surface whose state is known in advance,
Since the feature amount is classified for each road surface state, there is an advantage that the road surface state can be determined relatively easily by a technique such as multivariate discriminant analysis. Further, according to the road surface condition determination method of the present invention, since the feature values are further finely classified according to at least the weather and the time, it is possible to eliminate the influence of disturbance factors due to the weather and time. There is an advantage that the determination accuracy of the road surface state can be further improved.
【図１】本発明の第１実施形態にかかる路面状態判別装
置の要部構成を示す模式的なブロック図である。FIG. 1 is a schematic block diagram illustrating a main configuration of a road surface condition determination device according to a first embodiment of the present invention.
【図２】本発明の第１実施形態にかかる路面状態判別装
置のカメラで撮影された路面の画像を示す模式図であ
る。FIG. 2 is a schematic diagram illustrating an image of a road surface captured by a camera of the road surface state determination device according to the first embodiment of the present invention.
【図３】（ａ），（ｂ）はともに本発明の第１実施形態
にかかる路面状態判別装置の作用を説明するための図で
あって、いずれも特徴量の分布を示す図である。FIGS. 3 (a) and 3 (b) are diagrams for explaining the operation of the road surface condition determination device according to the first embodiment of the present invention, and both are diagrams showing distributions of feature amounts;
【図４】本発明の第１実施形態にかかる路面状態判別装
置におけるデータベース作成の流れを説明するためのフ
ローチャートである。FIG. 4 is a flowchart illustrating a flow of creating a database in the road surface condition determination device according to the first embodiment of the present invention.
【図５】本発明の第１実施形態にかかる路面状態判別装
置におけるマハラノビス距離関数の作成手法を説明する
ための図である。FIG. 5 is a diagram for explaining a method of creating a Mahalanobis distance function in the road surface condition determination device according to the first embodiment of the present invention.
【図６】本発明の第１実施形態にかかる路面状態判別装
置における路面状態の判別時の流れを説明するためのフ
ローチャートである。FIG. 6 is a flowchart for explaining a flow at the time of determining a road surface state in the road surface state determination device according to the first embodiment of the present invention.
【図７】本発明の第１実施形態にかかる路面状態判別装
置による試験結果を従来の装置と比較して示す図であ
る。FIG. 7 is a diagram showing test results obtained by the road surface condition determination device according to the first embodiment of the present invention in comparison with a conventional device.
【図８】本発明の第２実施形態にかかる路面状態判別装
置の作用を従来の装置と比較して示す図である。FIG. 8 is a diagram illustrating the operation of a road surface condition determination device according to a second embodiment of the present invention in comparison with a conventional device.
【図９】本発明の第２実施形態にかかる路面状態判別装
置におけるデータベース作成の流れを説明するためのフ
ローチャートである。FIG. 9 is a flowchart for explaining a flow of creating a database in the road surface condition determination device according to the second embodiment of the present invention.
【図１０】一般的な水平偏光画像（Ｐ画像）及び垂直偏
光画像（Ｓ画像）の反射率特性を示す図である。FIG. 10 is a diagram illustrating reflectance characteristics of a general horizontal polarization image (P image) and a vertical polarization image (S image).
【図１１】従来の装置における特徴量の分布を示す図で
ある。FIG. 11 is a diagram showing a distribution of a feature amount in a conventional device.
１ 可視カメラ（撮像手段） ２ 演算装置 ３ 画像処理部（画像処理手段） ４ 特徴量算出部（特徴量算出手段） ５ 路面状態判定部（路面状態判別手段） ６ データベース ７ 偏光素子 ８ 偏光素子制御部 DESCRIPTION OF SYMBOLS 1 Visible camera (imaging means) 2 Arithmetic unit 3 Image processing part (image processing means) 4 Feature amount calculation part (feature amount calculation means) 5 Road surface state determination part (road surface state determination means) 6 Database 7 Polarizing element 8 Polarizing element control Department
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 2D053 AA32 AB01 AD01 FA03 2G059 AA05 BB08 CC11 EE02 EE05 EE13 FF01 FF08 JJ19 KK04 MM01 MM03 MM05 MM09 MM10 NN01 PP03 ──────────────────────────────────────────────────続 き Continued on front page F term (reference) 2D053 AA32 AB01 AD01 FA03 2G059 AA05 BB08 CC11 EE02 EE05 EE13 FF01 FF08 JJ19 KK04 MM01 MM03 MM05 MM09 MM10 NN01 PP03
Claims (7)
像手段で撮像された画像情報に基づいて該路面の状態を
判別する路面状態判別装置であって、 該撮像手段で撮像された画像情報に基づいて該路面の領
域を複数の判定領域に分割する画像処理手段と、 該画像情報から路面の状態を表す特徴量を該判定領域毎
に算出する特徴量算出手段と、 該路面状態の判別基準となるサンプルデータを予め該判
定領域毎に記憶したデータベースと、 該特徴量算出手段で算出された特徴量と該データベース
に記憶されたサンプルデータとを比較して該路面の状態
を該判定領域毎に判別する路面状態判別手段とをそなえ
ていることを特徴とする、路面状態判別装置。1. A road surface state determination device that determines a state of a road surface based on image information captured by an imaging unit attached to look down on the road surface, wherein the image information captured by the imaging unit is Image processing means for dividing the road surface area into a plurality of determination areas based on the information; feature quantity calculation means for calculating a feature quantity representing a road surface state from the image information for each of the determination areas; A database in which sample data to be stored in advance for each of the determination areas is compared with a feature amount calculated by the feature amount calculating means and the sample data stored in the database to determine the state of the road surface for each of the determination areas. A road surface state determining device for determining the road surface state.
ている路面を撮像して得られる該路面の特徴量であっ
て、該特徴量が該路面の状態毎に分類されていることを
特徴とする、請求項１記載の路面状態判別装置。2. The method according to claim 1, wherein the sample data is a feature amount of the road surface obtained by imaging a road surface whose state is known in advance, and the feature amount is classified for each road surface state. The road surface condition determination device according to claim 1, wherein
スタ角を含む第１の領域と、該第１の領域よりも遠方の
第２の領域とに分割されていることを特徴とする、請求
項１又は２記載の路面状態判別装置。3. The method according to claim 2, wherein the determination area is divided into a first area including at least the Brewster angle of water and a second area farther than the first area. Item 3. The road surface condition determination device according to item 1 or 2.
応じてさらに細かく分類されていることを特徴とする、
請求項２又は３記載の路面状態判別装置。4. The method according to claim 1, wherein the feature values are further classified according to at least weather and time.
The road surface condition determination device according to claim 2 or 3.
像手段で撮像された画像情報に基づいて該路面の状態を
判別する路面状態判別方法であって、 該路面状態を判別する基準となるサンプルデータを予め
記憶しておき、 該撮像手段で撮像された路面を複数の判定領域に分割す
るとともに各判定領域毎に該路面の状態を表す特徴量を
算出し、 該算出された特徴量と該記憶されたサンプルデータとを
該判定領域毎に比較して該路面の状態を判別することを
特徴とする、路面状態判別方法。5. A road surface state determination method for determining a state of a road surface based on image information captured by an imaging unit mounted so as to look down on the road surface, wherein a sample serving as a reference for determining the road surface state is provided. The data is stored in advance, the road surface imaged by the imaging unit is divided into a plurality of determination regions, and a characteristic amount representing the state of the road surface is calculated for each determination region. A road surface state determination method, comprising comparing the stored sample data with each of the determination regions to determine the road surface state.
ている路面を撮像して得られる該路面の特徴量であっ
て、該特徴量が該路面の状態毎に分類されていることを
特徴とする、請求項５記載の路面状態判別方法。6. A method according to claim 1, wherein the sample data is a feature amount of the road surface obtained by imaging a road surface of which the state is known in advance, and the feature amount is classified for each road surface state. The road surface state determination method according to claim 5, wherein
応じてさらに細かく分類されていることを特徴とする、
請求項６記載の路面状態判別方法。7. The method according to claim 1, wherein the characteristic amount is further finely classified according to at least weather and time.
The road surface state determination method according to claim 6.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001121516A JP2002310896A (en) | 2001-04-19 | 2001-04-19 | Road surface condition discriminating device and road surface condition discriminating method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001121516A JP2002310896A (en) | 2001-04-19 | 2001-04-19 | Road surface condition discriminating device and road surface condition discriminating method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002310896A true JP2002310896A (en) | 2002-10-23 |
Family
ID=18971373
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001121516A Withdrawn JP2002310896A (en) | 2001-04-19 | 2001-04-19 | Road surface condition discriminating device and road surface condition discriminating method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2002310896A (en) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003240869A (en) * | 2002-02-20 | 2003-08-27 | Natl Inst For Land & Infrastructure Management Mlit | Road surface condition determination method |
| DE102004023323A1 (en) * | 2004-05-07 | 2005-12-15 | Daimlerchrysler Ag | Sensor device, for identifying condition of road surface from inside motor vehicle, has radiation receiver to measure radiation emitted by area of road surface |
| JP2007263714A (en) * | 2006-03-28 | 2007-10-11 | Hokuriku Regional Development Bureau Ministry Land Infrastructure & Transport | Discrimination method and discrimination system of road-surface conditions in winter |
| JP2007309832A (en) * | 2006-05-19 | 2007-11-29 | Fujitsu Ten Ltd | Road surface state determination device and method |
| JP2010025915A (en) * | 2008-06-18 | 2010-02-04 | Ricoh Co Ltd | Imaging apparatus and road surface state discrimination method |
| US7676094B2 (en) | 2004-01-14 | 2010-03-09 | Denso Corporation | Road surface reflection detecting apparatus |
| JP2010060509A (en) * | 2008-09-05 | 2010-03-18 | Olympus Corp | Method, system, apparatus and program for determining image pattern, and computer readable recording medium to which this program is saved |
| JP2010276507A (en) * | 2009-05-29 | 2010-12-09 | Ricoh Co Ltd | Image recognizing device and vehicle-exterior monitoring device |
| JP2011214940A (en) * | 2010-03-31 | 2011-10-27 | Caloria Japan Co Ltd | Method and device for discriminating foreign matter contamination in object |
| WO2014024763A1 (en) * | 2012-08-08 | 2014-02-13 | 日産自動車株式会社 | Road surface state detection device and road surface state detection method |
| KR101556602B1 (en) | 2015-02-12 | 2015-10-01 | 연세대학교 산학협력단 | Apparatus ans Method for Detection of Wet Area on Road |
| JP2017503715A (en) * | 2013-11-15 | 2017-02-02 | コンティネンタル・テーベス・アクチエンゲゼルシヤフト・ウント・コンパニー・オッフェネ・ハンデルスゲゼルシヤフト | Method and apparatus for determining road surface condition using in-vehicle camera system |
| WO2019111366A1 (en) * | 2017-12-07 | 2019-06-13 | 日産自動車株式会社 | Road condition determination method and road condition determination device |
| KR20220129243A (en) * | 2021-03-16 | 2022-09-23 | (주)한국알앤디 | System for auto control of snow removal device |
-
2001
- 2001-04-19 JP JP2001121516A patent/JP2002310896A/en not_active Withdrawn
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003240869A (en) * | 2002-02-20 | 2003-08-27 | Natl Inst For Land & Infrastructure Management Mlit | Road surface condition determination method |
| US7676094B2 (en) | 2004-01-14 | 2010-03-09 | Denso Corporation | Road surface reflection detecting apparatus |
| DE102004023323A1 (en) * | 2004-05-07 | 2005-12-15 | Daimlerchrysler Ag | Sensor device, for identifying condition of road surface from inside motor vehicle, has radiation receiver to measure radiation emitted by area of road surface |
| DE102004023323B4 (en) * | 2004-05-07 | 2006-10-19 | Daimlerchrysler Ag | A sensor device and method in a vehicle for detecting the condition of the road surface |
| JP2007263714A (en) * | 2006-03-28 | 2007-10-11 | Hokuriku Regional Development Bureau Ministry Land Infrastructure & Transport | Discrimination method and discrimination system of road-surface conditions in winter |
| JP2007309832A (en) * | 2006-05-19 | 2007-11-29 | Fujitsu Ten Ltd | Road surface state determination device and method |
| JP2010025915A (en) * | 2008-06-18 | 2010-02-04 | Ricoh Co Ltd | Imaging apparatus and road surface state discrimination method |
| JP2010060509A (en) * | 2008-09-05 | 2010-03-18 | Olympus Corp | Method, system, apparatus and program for determining image pattern, and computer readable recording medium to which this program is saved |
| JP2010276507A (en) * | 2009-05-29 | 2010-12-09 | Ricoh Co Ltd | Image recognizing device and vehicle-exterior monitoring device |
| JP2011214940A (en) * | 2010-03-31 | 2011-10-27 | Caloria Japan Co Ltd | Method and device for discriminating foreign matter contamination in object |
| WO2014024763A1 (en) * | 2012-08-08 | 2014-02-13 | 日産自動車株式会社 | Road surface state detection device and road surface state detection method |
| CN104520735A (en) * | 2012-08-08 | 2015-04-15 | 日产自动车株式会社 | Road surface state detection device and road surface state detection method |
| CN104520735B (en) * | 2012-08-08 | 2016-03-02 | 日产自动车株式会社 | Pavement state pick-up unit and pavement state detection method |
| JP5907271B2 (en) * | 2012-08-08 | 2016-04-26 | 日産自動車株式会社 | Road surface state detection device and road surface state detection method |
| JP2017503715A (en) * | 2013-11-15 | 2017-02-02 | コンティネンタル・テーベス・アクチエンゲゼルシヤフト・ウント・コンパニー・オッフェネ・ハンデルスゲゼルシヤフト | Method and apparatus for determining road surface condition using in-vehicle camera system |
| US10289920B2 (en) | 2013-11-15 | 2019-05-14 | Continental Teves Ag & Co. Ohg | Method and device for determining a roadway state by means of a vehicle camera system |
| KR101556602B1 (en) | 2015-02-12 | 2015-10-01 | 연세대학교 산학협력단 | Apparatus ans Method for Detection of Wet Area on Road |
| WO2019111366A1 (en) * | 2017-12-07 | 2019-06-13 | 日産自動車株式会社 | Road condition determination method and road condition determination device |
| CN111433100A (en) * | 2017-12-07 | 2020-07-17 | 日产自动车株式会社 | Road surface state determination method and road surface state determination device |
| JPWO2019111366A1 (en) * | 2017-12-07 | 2020-09-03 | 日産自動車株式会社 | Road surface condition determination method and road surface condition determination device |
| US11364915B2 (en) | 2017-12-07 | 2022-06-21 | Nissan Motor Co., Ltd. | Road condition determination method and road condition determination device |
| KR20220129243A (en) * | 2021-03-16 | 2022-09-23 | (주)한국알앤디 | System for auto control of snow removal device |
| KR102594323B1 (en) * | 2021-03-16 | 2023-10-26 | (주)한국알앤디 | System for auto control of snow removal device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6807473B1 (en) | Road recognition system | |
| JP2002310896A (en) | Road surface condition discriminating device and road surface condition discriminating method | |
| US9070023B2 (en) | System and method of alerting a driver that visual perception of pedestrian may be difficult | |
| US7149327B2 (en) | Image processing apparatus and method | |
| US8107714B2 (en) | Methods for detecting and tagging scene changes | |
| KR19980701535A (en) | AUTOMATED LANE DEFINITION FOR MACHINE VISION TRAFFIC DETECTOR | |
| CN102901489A (en) | Pavement water accumulation and ice accumulation detection method and apparatus thereof | |
| CN108645375B (en) | Rapid vehicle distance measurement optimization method for vehicle-mounted binocular system | |
| JP2000207693A (en) | Obstacle detector on vehicle | |
| JP2001126065A (en) | Distance distribution detector | |
| Dhiman et al. | A multi-frame stereo vision-based road profiling technique for distress analysis | |
| KR101874968B1 (en) | Visibility measuring system base on image information and method for using the same | |
| US7330565B1 (en) | Scale insensitive vehicle detection algorithm for flir imagery | |
| JP2008052539A (en) | Vehicle model distinction device, vehicle model distinction system, vehicle model distinction method and vehicle model distinction program | |
| JP3500425B2 (en) | Road surface condition judgment method in visible image type road surface condition grasping device | |
| JP2870372B2 (en) | Object recognition device | |
| JP2707426B2 (en) | Road surface condition detection device | |
| CN108765954B (en) | Road traffic safety condition monitoring method based on SNN density ST-OPTIC improved clustering algorithm | |
| CN115909285A (en) | Radar and video signal fused vehicle tracking method | |
| JPH0778240A (en) | Calculating method for road disappearing point | |
| CN110008957A (en) | Cell based on Car license recognition and image variance algorithm, which is disobeyed, stops alarm method | |
| CN115546762A (en) | Image clustering method, device, storage medium and server | |
| JP2003240869A (en) | Road surface condition determination method | |
| JP3017122B2 (en) | Depth information extraction device and depth information extraction method | |
| JPH1096607A (en) | Object detector and plane estimation method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20080701 |