JP2009259215A - Road surface marking map generation method - Google Patents

Road surface marking map generation method Download PDF

Info

Publication number
JP2009259215A
JP2009259215A JP2009017472A JP2009017472A JP2009259215A JP 2009259215 A JP2009259215 A JP 2009259215A JP 2009017472 A JP2009017472 A JP 2009017472A JP 2009017472 A JP2009017472 A JP 2009017472A JP 2009259215 A JP2009259215 A JP 2009259215A
Authority
JP
Japan
Prior art keywords
image
road
road surface
path
sign
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009017472A
Other languages
Japanese (ja)
Inventor
Junichi Nakamura
純一 中村
Noboru Murata
昇 村田
Masatake Nishimura
昌毅 西村
Manabu Sakimura
学 崎村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zenrin Co Ltd
Original Assignee
Zenrin Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zenrin Co Ltd filed Critical Zenrin Co Ltd
Priority to JP2009017472A priority Critical patent/JP2009259215A/en
Publication of JP2009259215A publication Critical patent/JP2009259215A/en
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Navigation (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Instructional Devices (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To obtain a position coordinate of a road surface mark by generating an image including the road surface mark from an image obtained by photographing a road surface while traveling on the road. <P>SOLUTION: The road surface is photographed with a video camera while traveling on the road, and the position coordinates of each photographing point are acquired by a GPS, or the like. A computer converts each frame image of this moving image and generates an orthogonal image seen from the right overhead. It generates a linearly connected image by arranging the orthogonal image on a linear axis representing a travel distance from a reference point at a photographing time on the basis of the position coordinates of the photographing point. It recognizes the position and size of a road mark, such as a pedestrian crossing on the basis of the connected image. After that, it obtains the absolute coordinates of each mark by mapping a traveling track during photographing and the mark position to an absolute coordinate system. A road surface mark can be recognized with high accuracy in this way. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、道路面に施された標示を含む路面標示地図を生成する技術に関する。   The present invention relates to a technique for generating a road marking map including a marking applied to a road surface.

カーナビゲーションなどで使用される電子地図データには、多様な機能を実現するため、種々の詳細なデータが要求されている。その一つとして、横断歩道や中央線、車線境界線などの路面に描かれる標示が挙げられる。これらの標示を予め画像として取得しておくことにより、ユーザに対して実際の路面に近い画像を提供することができ、直感的に理解しやすい案内を実現することが可能となる。   Electronic map data used in car navigation or the like requires various detailed data in order to realize various functions. One example is the markings on road surfaces such as pedestrian crossings, central lines, and lane boundaries. By acquiring these signs as images in advance, it is possible to provide the user with an image close to the actual road surface, and to realize guidance that is easy to understand intuitively.

標示を含む路面の画像を効率的に生成するための技術として特許文献1、特許文献2などが挙げられる。
特許文献1は、車両の前後または側方に対してデジタルカメラ等により取得された画像から、路面の標示を含む静止画像を生成する技術を開示している。この技術では、目的の道路を車両で走行しながら、その車両に搭載されたデジタルカメラ等で路面の標示等を撮影する。そして、動画を構成する各フレーム画像を真上から見た状態の正射画像に変換し、撮影位置に応じて配列する。正射画像とは、道路の垂直上方の無限遠点に視点を置いた場合の道路画像を言う。複数のフレーム画像を配列することによって、1回の走行の軌跡(以下、パスと呼ぶこともある)に沿った道路面の合成画像を得ることができる。
As a technique for efficiently generating an image of a road surface including a sign, Patent Document 1, Patent Document 2, and the like can be cited.
Patent Document 1 discloses a technique for generating a still image including a road surface sign from an image acquired by a digital camera or the like with respect to the front or rear or side of a vehicle. In this technique, a road marking or the like is photographed with a digital camera or the like mounted on the vehicle while traveling on the target road with the vehicle. Then, each frame image constituting the moving image is converted into an orthogonal image as viewed from directly above, and arranged according to the shooting position. An orthographic image is a road image when the viewpoint is placed at an infinite point vertically above the road. By arranging a plurality of frame images, it is possible to obtain a composite image of the road surface along the trajectory of one run (hereinafter also referred to as a path).

特許文献2は、2つのパスで得られた画像を合成して幅広の道路画像を合成する技術を開示している。この技術では、まず一つのパスで得られた画像に対して、道路の車線境界線など、本来、直線的に描かれているものが直線として表示されるようにアフィン変換をかける。そして、2つのパスで共通して撮影されている車線境界線などの座標が一致するように、一方のパスの画像をアフィン変換する。また、同様の方法によって、パスごとに画像をアフィン変換しながら合成することによって3以上のパスを合成する技術も開示している。   Patent Document 2 discloses a technique for synthesizing a wide road image by synthesizing images obtained by two passes. In this technique, first, an affine transformation is applied to an image obtained in one pass so that what is originally drawn linearly, such as a road lane boundary line, is displayed as a straight line. Then, the image of one path is affine transformed so that the coordinates of the lane boundary line or the like that are photographed in common in the two paths coincide. Also disclosed is a technique of synthesizing three or more paths by synthesizing images while performing affine transformation for each path by a similar method.

特許文献3は、道路面の画像から、標示を抽出する技術を開示している。この技術では、航空写真などの画像から、画像処理によって道路ペイントに当たる部分を抽出し、抽出された部分の特徴量に基づいて道路ペイントの種別を判断する。特徴量としては、抽出した部分の長手方向を代表する軸と、道路ネットワークのリンクとの角度などが用いられている。   Patent document 3 is disclosing the technique which extracts a sign from the image of a road surface. In this technique, a portion corresponding to road paint is extracted from an image such as an aerial photograph by image processing, and the type of road paint is determined based on the feature amount of the extracted portion. As the feature amount, an angle between an axis representing the longitudinal direction of the extracted portion and a link of the road network is used.

特開2007−249103号公報JP 2007-249103 A 特許第3820428号公報Japanese Patent No. 3820428 特開2007−122665号公報JP 2007-122665 A

地図データには、経路探索用に道路をノード、リンクで表した道路ネットワーク、および地図を表示するために道路をポリゴンで表したデータなどがある。道路ネットワークでは、道路を1本または2本のリンクで代表させているため、リンクに付された座標は、道路のいずれの部分を表しているか厳密には分からない。描画データでは、道路を表すポリゴンの外周の位置座標は分かるものの、道路内部の地点についての位置座標は分からない。
例えば、道路内部の各地点の位置座標が詳細に得られている地図データが存在すれば、車両の現在位置に応じて、車両が道路のどの車線を走行しているかを判断して、車線変更の案内を行うことや、車両に横断歩道が接近していることを警告するなどの高機能な案内を実現することが可能となる。
しかし、従来の地図データは、これらの高精度、高機能な案内を実現するためには不十分な精度しか有していなかった。仮に車両の現在位置を精度良く把握したとしても、その位置情報を活かすだけの詳細な地図データが用意されていたとは言えなかったのである。
Map data includes a road network in which roads are represented by nodes and links for route search, and data in which roads are represented by polygons in order to display a map. In the road network, since the road is represented by one or two links, the coordinates attached to the link do not know exactly which part of the road is represented. In the drawing data, the position coordinates of the outer periphery of the polygon representing the road are known, but the position coordinates of the points inside the road are not known.
For example, if there is map data in which the position coordinates of each point inside the road are obtained in detail, the lane change is determined by determining which lane on the road the vehicle is driving according to the current position of the vehicle It is possible to realize highly functional guidance such as providing guidance on the vehicle and warning that a pedestrian crossing is approaching the vehicle.
However, the conventional map data has only insufficient accuracy to realize such high-precision and high-performance guidance. Even if the current position of the vehicle is grasped with high accuracy, it cannot be said that detailed map data has been prepared to make use of the position information.

路面の標示は道路上の位置座標を豊富にするための目的物として適している。例えば、横断歩道や車線境界線の位置座標が得られていれば、上述した高機能な案内の実現に資することができる。
しかし、従来技術は、いずれも道路面の合成画像を得ることを主目的としており、路面の標示の位置座標を得ることを目的としてはいなかった。
例えば、特許文献2の技術は、道路が直線か曲線かにかかわらず車両の進行方向をX軸とし、その移動距離をX座標として画像を表しているに過ぎず、このX軸に直交する方向にのみ画像をアフィン変換するに過ぎない。複数のパスで得られた画像について、このように定められたX座標が十分に一致しているという保証はないから、特許文献2の技術では路面の標示の位置座標を精度良く得ることはできない。
また、アフィン変換は、原画像の長方形領域を平行四辺形に歪ませる作用を持つ変換とも言えるから、特許文献2の技術では、アフィン変換によって画像の合成を行うことにより画質の劣化を招き、路面の標示の位置座標を一層低下させるという課題もある。
一方、特許文献1記載の技術は、1回のパスで得られる画像に対する処理を開示しているのみであり、道路全体を十分にカバーすることができない。
The road marking is suitable as an object for enriching the position coordinates on the road. For example, if the position coordinates of the pedestrian crossing and the lane boundary line are obtained, it is possible to contribute to the realization of the high-performance guidance described above.
However, all the prior arts have a main purpose of obtaining a composite image of a road surface, and have not been intended to obtain a position coordinate of a road surface sign.
For example, the technique of Patent Document 2 merely represents an image with the traveling direction of the vehicle as the X axis and the movement distance as the X coordinate regardless of whether the road is a straight line or a curve, and a direction orthogonal to the X axis. Only the image is affine transformed. Since there is no guarantee that the X coordinates determined in this manner are sufficiently coincident with each other for images obtained by a plurality of passes, the technique of Patent Document 2 cannot accurately obtain the position coordinates of road markings. .
The affine transformation can also be said to be a transformation having the effect of distorting the rectangular area of the original image into a parallelogram. Therefore, in the technique of Patent Document 2, image degradation is caused by combining images by affine transformation, and the road surface. There is also a problem of further reducing the position coordinates of the markings.
On the other hand, the technique described in Patent Document 1 only discloses processing for an image obtained in one pass and cannot sufficiently cover the entire road.

従来技術では、道路面の画像から標示を抽出する際にも、標示の位置精度を十分に確保できないという課題があった。特許文献3は、道路ネットワークで与えられるリンクとの位置関係で標示の種別や位置を認定しているものの、先に説明した通り、リンクに付された座標は、道路のいずれの部分を表しているか厳密には分からないデータである。従って、リンクを基準として標示の位置を認識しても、十分な精度を確保することはできない。
また、特許文献3では、道路画像から抽出された領域の主軸とリンクとの角度等を特徴量として用いているが、主軸の方向は、この領域の抽出精度に依存しており、安定的に高い精度で求められるとは限らない。主軸に含まれる誤差を考慮して、標示の種別を判断する際の基準値の幅を広げれば、標示の誤認識を生じる可能性もある。
The prior art has a problem that the position accuracy of the sign cannot be sufficiently secured even when the sign is extracted from the road surface image. Although Patent Document 3 recognizes the type and position of the sign by the positional relationship with the link given by the road network, as described above, the coordinates attached to the link represent any part of the road. It is data that we do not know exactly. Therefore, even if the position of the sign is recognized with reference to the link, sufficient accuracy cannot be ensured.
Further, in Patent Document 3, the angle between the main axis and the link of the area extracted from the road image is used as a feature amount. However, the direction of the main axis depends on the extraction accuracy of the area, and is stable. It is not always required with high accuracy. If the range of the reference value when judging the type of the label is increased in consideration of the error included in the main axis, there is a possibility of erroneous recognition of the label.

本発明は、これらの課題を解決し、道路面の合成画像から、路面の標示を高い位置精度で抽出し、これらの標示を含む地図の生成を可能とすることを目的とする。   It is an object of the present invention to solve these problems, extract road surface markings from a composite image of a road surface with high positional accuracy, and generate a map including these markings.

本発明は、道路面に施された標示が含まれる路面標示地図をコンピュータによって生成する路面標示地図生成方法として構成することができる。
本発明では、まず、コンピュータは、撮影対象である道路を移動しながら標示を含む道路面を撮影した連続画像の画像データと、この画像データの撮影位置を表す位置座標データとを入力する。
上述の画像データは、例えば、車両などの移動体に搭載した撮影装置によって撮影することができる。撮影装置としては、例えば、ディジタル・ビデオ・カメラなどを用いることができる。また、撮影装置には、撮影時の位置座標データを取得する位置計測装置を搭載しておくことが好ましい。位置計測装置は、例えば、GPS(Global Positioning System)や、ジャイロなどの慣性航法装置などを単独または組み合わせて用いることができる。また、処理の便宜上、撮影した画像と位置座標データを入力し、両者を同期させて記録する記録装置を用意しておくことが好ましい。
The present invention can be configured as a road marking map generation method in which a road marking map including a marking applied to a road surface is generated by a computer.
In the present invention, first, the computer inputs image data of a continuous image obtained by photographing a road surface including a sign while moving on a road to be photographed, and position coordinate data representing a photographing position of the image data.
The above-mentioned image data can be photographed by a photographing device mounted on a moving body such as a vehicle, for example. For example, a digital video camera or the like can be used as the photographing apparatus. Moreover, it is preferable that the photographing apparatus is equipped with a position measuring device that acquires position coordinate data at the time of photographing. As the position measuring device, for example, a GPS (Global Positioning System) or an inertial navigation device such as a gyro can be used alone or in combination. For convenience of processing, it is preferable to prepare a recording apparatus that inputs a photographed image and position coordinate data and records them in synchronization.

コンピュータは、入力された画像データを構成する各フレーム画像を変換して、道路面を真上から見た状態の正射画像を得る。正射画像は、各フレーム画像の一部を利用して生成してもよい。
次に、コンピュータが処理に用いる軸として、二次元平面において予め設定された方向に、撮影された道路を移動した際の移動軌跡であるパス上の基準点からの距離を表す直線状の距離軸を定義する。基準点は、パスの始点としてもよいし、パス上に設けられた任意の点としてもよい。距離軸は、二次元平面の任意の方向に定義できる。もっとも、x軸またはy軸と一致させておくことが、後述する各処理が簡易になるという点で好ましい。
そして、パスに沿った基準点からの距離に基づいて、正射画像を距離軸上に配置することにより、各パスの道路面を表す直線状の連結画像を生成する。この際、正射画像の一部が重なっても良い。正射画像は、例えば、その中心線が距離軸に沿う状態で配置することが好ましい。
こうすることで距離軸に沿った直線状の道路を表す連結画像を得ることができる。
The computer converts each frame image constituting the input image data to obtain an orthographic image in a state where the road surface is viewed from directly above. The orthographic image may be generated using a part of each frame image.
Next, a linear distance axis that represents the distance from the reference point on the path, which is the movement trajectory when the photographed road is moved in a predetermined direction on the two-dimensional plane, as an axis used by the computer for processing Define The reference point may be the start point of the path or an arbitrary point provided on the path. The distance axis can be defined in any direction in the two-dimensional plane. However, it is preferable to match with the x-axis or the y-axis from the viewpoint that each processing described later is simplified.
Based on the distance from the reference point along the path, the orthographic image is arranged on the distance axis, thereby generating a linear connected image representing the road surface of each path. At this time, a part of the orthographic image may overlap. For example, the orthographic image is preferably arranged with its center line along the distance axis.
In this way, a connected image representing a straight road along the distance axis can be obtained.

本発明では、コンピュータは、このように直線状となった連結画像に基づいて、道路面に施された標示の種別および位置を認識することができる。パスは道路面を撮影する際の走行軌跡である。走行しながら、位置座標データが取得されているから、位置精度が十分に確保されており、抽出される標示の位置精度も確保することができる。
また、距離軸上に正射画像を配置することにより、道路がカーブしている場合でも、直線状に伸びた連結画像を得ることができる。このように連結画像を生成した場合、道路上に施された標示は、距離軸に対して一定の位置関係で存在することになる。例えば、横断歩道や停止線は距離軸に直交するように描かれており、車線境界線は距離軸に平行に描かれることになる。このように連結画像内で抽出すべき標示の描かれ方が、標示ごとに一定となるため、標示を抽出するための条件を明確に設定することが可能となり、安定して標示を抽出することが可能となる。
In the present invention, the computer can recognize the type and position of the sign applied to the road surface based on the linearly connected image. A path is a travel locus when photographing a road surface. Since the position coordinate data is acquired while traveling, the position accuracy is sufficiently secured, and the position accuracy of the extracted sign can be secured.
Further, by arranging the orthographic image on the distance axis, it is possible to obtain a connected image extending linearly even when the road is curved. When the connected image is generated in this way, the sign given on the road exists in a certain positional relationship with respect to the distance axis. For example, pedestrian crossings and stop lines are drawn so as to be orthogonal to the distance axis, and lane boundary lines are drawn parallel to the distance axis. In this way, how to draw a sign to be extracted in the connected image is constant for each sign, so it is possible to clearly set the conditions for extracting the sign and extract the sign stably. Is possible.

本発明において、正射画像を配置した後、一枚の画像として結合した画像データや、航空写真などのように最初から道路全体を一枚の画像として得られた画像データなどを用いたとすれば、距離軸に沿った直線状の連結画像を得ることは非常に困難である。画像処理によってこれらの画像から道路の形状を認識した上で、道路が直線状になるように画像を変換する必要がある。道路の形状は様々であるから、この変換に要する演算も、道路の形状に応じて異なるものとなり、一般化することは困難である。
これに対し、本発明では、正射画像を配置して連結画像を生成している。従って、距離軸上に正射画像を配置することにより、直線状に伸びた連結画像を比較的容易に得ることができるという利点がある。
In the present invention, if an orthographic image is arranged and then image data combined as a single image or image data obtained from the beginning as a single image such as an aerial photograph is used. It is very difficult to obtain a linear connected image along the distance axis. It is necessary to recognize the shape of the road from these images by image processing and then convert the image so that the road becomes a straight line. Since the shape of the road is various, the calculation required for this conversion also differs depending on the shape of the road and is difficult to generalize.
On the other hand, in the present invention, orthographic images are arranged to generate a connected image. Therefore, by arranging the orthographic image on the distance axis, there is an advantage that it is possible to relatively easily obtain a linearly connected image.

道路幅が広い場合には、一つのパスでは、道路全体の標示を撮影できない場合がある。このような場合には、走行位置が異なる複数のパスで撮影した画像を合成して道路全体の画像を得るようにしてもよい。
この場合、いずれかの車線上を複数回移動して撮影してもよい。前者の場合は、車線とパスとが1対1に対応することになる。後者の場合は、パスと車線とが複数対1に対応することになる。本発明はいずれの場合にも適用可能である。
複数のパスで画像を撮影する際、パスごとに位置精度が同一とは限らない。従って、各パスの連結画像を、それぞれの位置座標データに基づいて配置しても、標示の位置に不整合が生じることがある。本発明は、このような不整合を解消し、複数の連結画像を合成して道路全体の画像を得るための方法に活用することもできる。
上述の合成を行うため、本発明において、コンピュータは、まず、複数のパスのそれぞれについて標示を抽出する。そして、複数のパスのうち2本以上のパスの連結画像に共通して撮影されている領域内で、それぞれの連結画像で得られた標示に基づいて、パス間で対応する対応点を特定する。例えば、2本のパスに横断歩道が共通に撮影されている場合には、それぞれの連結画像において横断歩道の縞模様のいずれかの角を対応する対応点とすることができる。対応点の特定は、距離軸上に正射画像を配置した連結画像ではなく、位置座標データに基づいて、パス上の各位置に正射画像を配置した絶対座標系での連結画像を用いることが好ましい。
コンピュータが、複数のパス間で、抽出された標示の種別および位置関係を比較し、標示の対応関係を特定することによって、標示上のいずれかの点を対応点として自動的に特定するようにしてもよい。また、連結画像および抽出された標示をコンピュータのディスプレイ上に表示し、オペレータがこの表示を見て、対応点を指示するようにしてもよい。
こうして特定された対応点同士のずれは、位置座標の誤差を表すことになる。
When the road width is wide, it may not be possible to photograph the entire road with one pass. In such a case, an image of the entire road may be obtained by combining images taken with a plurality of paths having different travel positions.
In this case, the image may be taken by moving a plurality of times on any lane. In the former case, the lane and the path have a one-to-one correspondence. In the latter case, the path and the lane correspond to each other in a plurality of one-to-one. The present invention is applicable to any case.
When an image is taken with a plurality of passes, the positional accuracy is not always the same for each pass. Therefore, even if the connected images of each path are arranged based on the respective position coordinate data, inconsistencies may occur in the positions of the markings. The present invention can also be used in a method for eliminating such inconsistencies and synthesizing a plurality of connected images to obtain an image of the entire road.
In order to perform the above-described composition, in the present invention, the computer first extracts a sign for each of a plurality of paths. Then, in a region photographed in common with a connected image of two or more passes among a plurality of passes, corresponding points corresponding to each other are specified based on the indication obtained with each connected image. . For example, when a pedestrian crossing is photographed in common in two paths, any corner of the striped pattern of the pedestrian crossing can be set as a corresponding point in each connected image. The corresponding point is identified by using a connected image in an absolute coordinate system in which the orthographic image is arranged at each position on the path based on the position coordinate data, not the connected image in which the orthographic image is arranged on the distance axis. Is preferred.
The computer compares the extracted sign types and positional relationships among multiple paths and identifies the corresponding correspondence of the sign so that any point on the sign is automatically identified as the corresponding point. May be. Further, the connected image and the extracted sign may be displayed on a computer display, and the operator may view the display and indicate the corresponding point.
The deviation between the corresponding points specified in this way represents an error in position coordinates.

コンピュータは、複数のパスのうち1本を基準パスとして設定する。この設定は、対応点が特定された後に行っても良いし、その前に行っても構わない。そして、対応する対応点の位置が一致するように設定された移動ベクトルに基づいて、基準パス以外のパスの連結画像に対して補正をかけることで、複数のパスにまたがる道路面の合成画像を生成する。
この補正は、移動ベクトルに基づいて、連結画像を構成する領域ごとに平行移動することによって行う。この領域は、一旦、生成された連結画像を元の正射画像に相当するサイズまたは別の任意に設定されたサイズに分割したものでもよい。また、連結画像を生成する際に、正射画像を合成せずに配置するだけに留めておく場合には、正射画像ごとに位置を修正するようにしてもよい。
The computer sets one of a plurality of paths as a reference path. This setting may be performed after the corresponding point is identified or may be performed before that. Then, based on the movement vector set so that the positions of the corresponding corresponding points coincide with each other, the combined image of the road surface extending over a plurality of paths can be obtained by correcting the connection image of the path other than the reference path. Generate.
This correction is performed by translating for each region constituting the connected image based on the movement vector. This area may be obtained by dividing the generated connected image once into a size corresponding to the original orthographic image or another arbitrarily set size. In addition, when generating a connected image, if the orthographic image is merely arranged without being synthesized, the position may be corrected for each orthographic image.

こうすれば、撮影時の位置座標データに基づいて各パスの路面を表す連結画像を生成することができるため、位置精度が確保された状態で連結画像を得ることができる。
そして、複数のパスの中から、一つを基準パスと設定し、この基準パスは固定した状態で、他のパスの位置を修正するため、基準パスの位置精度を確保した状態で、各パス間の位置精度の誤差を解消することができる。
また、各パスの合成は、連結画像を領域ごとに平行移動することによって行うため、各領域の正射画像に歪みを加えることなく位置を修正することができる。従って、この修正時には道路面の標示は、各領域の正射画像内での相対的な位置精度を保持しておくことができる。
以上の作用によって、本発明の路面標示地図生成方法によれば、位置精度を確保した状態で、路面の標示を含む合成画像を得ることができる。
In this way, since a connected image representing the road surface of each path can be generated based on the position coordinate data at the time of shooting, the connected image can be obtained in a state where positional accuracy is ensured.
Then, one of the multiple paths is set as the reference path, and this path is fixed, and the position of the other paths is corrected. It is possible to eliminate the positional accuracy error.
Further, since the synthesis of each path is performed by translating the connected image for each area, the position can be corrected without adding distortion to the orthographic image of each area. Therefore, at the time of this correction, the sign on the road surface can maintain the relative positional accuracy in the orthographic image of each region.
By the above operation, according to the road marking map generation method of the present invention, a composite image including road markings can be obtained while ensuring the position accuracy.

本発明の路面標示地図生成方法において、基準パスは、オペレータが指定するなど、種々の方法で設定することができる。
コンピュータは各パスについて、位置座標データの精度の評価データを併せて入力し、この評価データに基づいて基準パスを設定するようにしてもよい。例えば、複数のパスのうち、評価データに基づいて位置精度が最も高いと評価されるパスを基準パスと設定する方法が挙げられる。こうして設定された基準パスに他のパスを合わせるようにして合成画像を生成すれば、最も高い位置精度を確保することが可能となる。
評価データは、直接に位置精度を定量的に表すデータとしてもよいし、位置精度の算出に用いることができるデータとしてもよい。
In the road marking map generation method of the present invention, the reference path can be set by various methods such as designation by an operator.
The computer may also input evaluation data on the accuracy of the position coordinate data for each path and set a reference path based on the evaluation data. For example, among the plurality of paths, there is a method of setting a path that is evaluated as having the highest position accuracy based on evaluation data as a reference path. If a composite image is generated so as to match another path with the reference path set in this way, the highest position accuracy can be ensured.
The evaluation data may be data that directly represents the position accuracy quantitatively or may be data that can be used to calculate the position accuracy.

本発明では、距離軸上に正射画像を配置して得られた直線状の連結画像に基づいて標示を特定する。この座標系は、位置座標データに対応する絶対座標系とは異なるため、標示の位置も、連結画像内での相対的な位置でしかない。したがって、上述の位置合わせその他の処理に活用するためには、標示の位置を絶対座標系での位置に変換することが好ましい。
この変換方法の例は、例えば次の通りである。まず、標示の代表点から距離軸への垂線の足を標示の基準点とする。そして、位置座標データに基づく絶対座標系に示したパス上で基準点の位置を求め、この基準点からパスに垂直に垂線を描く。こうすれば、垂線の端点に標示の代表点を配置することによって、標示の絶対座標系での位置座標を得ることができる。また、各標示の四隅に位置座標データに対応する相対的な座標と絶対的な座標を持たせ、バイリニア変換などの変換を行ってもよいし、各標示の相対座標と、そのフレームに対応した時刻の軌跡データから、再度、絶対座標を再計算しても良い。
In the present invention, the sign is specified based on the linear connected image obtained by arranging the orthographic image on the distance axis. Since this coordinate system is different from the absolute coordinate system corresponding to the position coordinate data, the position of the sign is only a relative position in the connected image. Therefore, in order to utilize for the above-mentioned alignment and other processes, it is preferable to convert the position of the sign into a position in the absolute coordinate system.
An example of this conversion method is as follows, for example. First, a perpendicular foot from the representative point of the marking to the distance axis is used as the reference point of the marking. Then, the position of the reference point is obtained on the path shown in the absolute coordinate system based on the position coordinate data, and a perpendicular line is drawn from the reference point to the path. In this way, the position coordinates in the absolute coordinate system of the marking can be obtained by arranging the representative point of the marking at the end point of the perpendicular line. In addition, relative coordinates and absolute coordinates corresponding to the position coordinate data are given to the four corners of each sign, and conversion such as bilinear conversion may be performed, or the relative coordinates of each sign and the corresponding frame The absolute coordinates may be recalculated again from the time trajectory data.

標示は、画像データとして抽出・保存しておき、道路画像の表示等に利用する方法をとってもよい。
また、標示の種別ごとに幾何形状を定めておき、標示を包含するように位置およびサイズを決定する方法を採っても良い。例えば、横断歩道については、予め矩形または平行四辺形で表現するというように幾何形状を決めておく。そして、連結画像から横断歩道を抽出した結果に基づき、この矩形または平行四辺形の代表点の位置およびサイズを決定するのである。代表点には重心位置などを用いることができ、サイズには対角線長さなどを用いることができる。代表点およびサイズとして、対角にある頂点の位置を用いてもよい。他の標示についても同様である。
標示の抽出結果を、幾何形状の位置およびサイズで保存する場合には、画像データとして保存する場合よりもデータ量を削減することができる利点がある。標示を伴う道路画像を再現する際には、標示の種別ごとに用意された典型的なパターンを、幾何形状の位置およびサイズに合わせて、拡大・縮小等して表示すればよい。
The sign may be extracted and stored as image data and used for displaying a road image.
Alternatively, a method may be adopted in which a geometric shape is defined for each type of sign and the position and size are determined so as to include the sign. For example, the geometric shape of the pedestrian crossing is determined in advance so as to be expressed as a rectangle or a parallelogram. Then, based on the result of extracting the pedestrian crossing from the connected image, the position and size of the representative point of this rectangle or parallelogram are determined. The center of gravity can be used as the representative point, and the diagonal length can be used as the size. You may use the position of the vertex in a diagonal as a representative point and a size. The same applies to other signs.
When the sign extraction result is stored in the position and size of the geometric shape, there is an advantage that the data amount can be reduced as compared with the case where the result is extracted as image data. When reproducing a road image with a sign, a typical pattern prepared for each kind of sign may be displayed in an enlarged or reduced manner according to the position and size of the geometric shape.

本発明において、連結画像において標示を認識する際には、予め距離軸から所定距離以上離れた両端領域を削除しておくようにしてもよい。撮影した画像を変換して正射画像を得る場合、画像の両端は、変換時の歪みが比較的大きく生じやすい。正射画像を配置して得られた連結画像の両端領域を予め削除しておけば、このように歪みの大きい場所が除かれるため、位置精度が比較的高い良好な画像を用いて標示を認識することが可能となる。   In the present invention, when recognizing a sign in a connected image, both end regions separated by a predetermined distance or more from the distance axis may be deleted in advance. When a photographed image is converted to obtain an orthographic image, distortion at the time of conversion tends to be relatively large at both ends of the image. If the two end regions of the connected image obtained by arranging the orthographic image are deleted in advance, the area with such a large distortion is removed in this way, so the sign is recognized using a good image with relatively high position accuracy. It becomes possible to do.

本発明において、標示の認識は種々の方法で行うことができる。
第1の方法として、パターンマッチングを用いる方法が挙げられる。この方法では、まず、連結画像から標示に用いられる所定色の部分を抽出する。そして、標示の種別ごとに予め用意された標示パターンと抽出された部分とのマッチングによって標示の認識を行うのである。抽出すべき所定色としては、白および黄色を用いることができる。かかる領域を精度良く抽出するため、連結画像をグレースケール化し、所定以上の明度を有する領域を抽出する方法を採ることが出来る。
この第1の方法は、比較的、複雑な形状の標示を抽出するのに適している。第1の方法を適用できる標示例として、矢印、Uターン、通行規制の時刻標示、転回禁止、速度規制などの数字、横断歩道予告、バスレーン文字、終わり記号などが挙げられる。
In the present invention, the recognition of the sign can be performed by various methods.
As a first method, there is a method using pattern matching. In this method, first, a predetermined color portion used for marking is extracted from the connected image. Then, the sign is recognized by matching the sign pattern prepared in advance for each kind of sign and the extracted portion. White and yellow can be used as the predetermined colors to be extracted. In order to extract such regions with high accuracy, it is possible to adopt a method in which connected images are grayscaled and regions having a lightness of a predetermined level or more are extracted.
This first method is suitable for extracting a sign having a relatively complicated shape. Examples of indications to which the first method can be applied include arrows, U-turns, traffic indication time indications, numbers such as turn prohibition, speed restrictions, pedestrian crossing notices, bus lane characters, end symbols, and the like.

標示を認識する第2の方法として、標示に該当する部分の幾何学的な条件に基づいて標示を特定する方法が挙げられる。この方法では、第1の方法と同じく、まず、連結画像から標示に用いられる所定色の部分を抽出する。そして、この抽出された部分の距離軸に対する方向および大きさに基づいて、標示の種別を認識する。標示を認識するための条件を以下に例示する。
横断歩道…距離軸に平行な方向に、均等な平行線が複数認識される領域;
自転車横断帯…距離軸に直交する線分のうち、一定の間隔で描かれている2本線を表しているもの(横断歩道の付近という条件を加味してもよい);
停止線…距離軸に直交する線分のうち、1本線を表しているもの;
車線境界線…距離軸に平行な線分のうち、所定長さ以上のもの;
減速帯…距離軸に直交する所定長さ線分が、距離軸方向に平行に配置されているもの;
ゼブラ…所定間隔で平行線が描かれている領域のうち、横断歩道および減速帯に該当しないもの;
As a second method for recognizing the sign, there is a method of identifying the sign based on the geometric condition of the portion corresponding to the sign. In this method, as in the first method, first, a portion of a predetermined color used for marking is extracted from the connected image. Then, based on the direction and size of the extracted portion with respect to the distance axis, the type of the sign is recognized. The conditions for recognizing the sign are exemplified below.
Pedestrian crossing ... A region where multiple parallel lines are recognized in a direction parallel to the distance axis;
Bicycle crossing zone: A line segment perpendicular to the distance axis that represents two lines drawn at regular intervals (may be taken into account near the pedestrian crossing);
Stop line: one that represents one line among the line segments orthogonal to the distance axis;
Lane boundary line: A line segment parallel to the distance axis and longer than a predetermined length;
Deceleration zone: A predetermined length line segment orthogonal to the distance axis is arranged parallel to the distance axis direction;
Zebra: Areas with parallel lines drawn at predetermined intervals that do not fall under pedestrian crossings and deceleration zones;

本発明は、上述の通り、連結画像から標示を抽出することができる。しかし、実際の撮影時には、路面標示以外の種々の対象が写り込むことがある。例えば、車両で道路を走行しながら撮影を行う場合には、自車が走行する車線の隣に停車または走行する他の車両が画面内に写り込むことがある。
このような写り込みがある画像を用いて生成された連結画像内には、路面標示以外の認識不能な種々の画像(以下、「ゴミ画像」と呼ぶ)が含まれてしまう。この状態で、標示の認識をしようとすれば、ゴミ画像の部分が何らかの標示と誤認識されたり、認識不能でエラーとなったりするおそれがある。
かかる弊害を抑制するため、本発明では、ゴミ画像を認識するとともに、その結果を反映させて路面標示を認識させるようにしてもよい。
As described above, the present invention can extract a sign from a connected image. However, during actual shooting, various objects other than road markings may appear. For example, when taking a picture while traveling on a road with a vehicle, another vehicle that stops or travels next to the lane in which the vehicle travels may appear in the screen.
A connected image generated using an image having such a reflection includes various unrecognizable images (hereinafter referred to as “garbage images”) other than road markings. If an attempt is made to recognize a sign in this state, there is a risk that the dust image portion may be misrecognized as some sign or may be unrecognizable and result in an error.
In order to suppress such adverse effects, in the present invention, a dust image may be recognized, and a road marking may be recognized reflecting the result.

ゴミ画像を認識して、路面標示の認識に反映させる第1の方法は、次の通りである。
まず、コンピュータは、連続するフレーム画像間でオプティカルフローを求める。オプティカルフローとは、連続(隣接)する2つのフレーム画像のうち、前のフレーム画像内の複数の特徴点から、次のフレーム画像内の対応する特徴点への移動を表す複数のベクトルで構成されるものである。連続する2つのフレーム画像とは、必ずしも連続して撮影されたフレーム画像である必要はなく、撮影されたフレーム画像を、所定の距離間隔や時間間隔などで間引いた後のフレーム画像群で定義してもよい。
コンピュータのCPUは、こうして得られたオプティカルフローに基づいて、標示以外の写り込み、つまりゴミ画像をフレーム画像内で抽出する。フレーム画像内に路面標示とは異なる異物が写り込んでいる場合、そのオプティカルフローも、路面標示の部分のオプティカルフローとは大きさおよび方向が異なるからである。写り込みの抽出は、オプティカルフローの大きさおよび方向の双方に基づいて評価してもよいし、いずれか一方に基づいて評価してもよい。
A first method for recognizing a dust image and reflecting it in recognition of a road marking is as follows.
First, the computer obtains an optical flow between successive frame images. The optical flow is composed of a plurality of vectors representing movement from a plurality of feature points in the previous frame image to a corresponding feature point in the next frame image among two consecutive (adjacent) frame images. Is. The two consecutive frame images do not necessarily need to be consecutively captured frame images, and are defined as a group of frame images obtained by thinning the captured frame images at a predetermined distance interval or time interval. May be.
Based on the optical flow thus obtained, the CPU of the computer extracts an image other than the sign, that is, a dust image from the frame image. This is because when a foreign object different from the road marking appears in the frame image, the optical flow also has a different size and direction from the optical flow of the road marking portion. Reflection extraction may be evaluated based on both the magnitude and direction of the optical flow, or may be evaluated based on either one.

次に、CPUは、写り込みの抽出結果を反映した正射画像を生成する。ゴミ画像を考慮せずに生成された正射画像に加えて、ゴミ画像の正射画像を生成してもよい。また、ゴミ画像を考慮せずに生成された正射画像に代えて、フレーム画像からゴミ画像を除去した画像に基づいて正射画像を生成してもよい。   Next, the CPU generates an orthographic image reflecting the extraction result of the reflection. In addition to the orthographic image generated without considering the dust image, an orthographic image of the dust image may be generated. Further, instead of the orthographic image generated without considering the dust image, the orthographic image may be generated based on an image obtained by removing the dust image from the frame image.

CPUは、こうして生成された正射画像に基づき、ゴミ画像を反映した標示の認識を行う。標示の認識の前処理としてゴミ画像を反映させる場合には、写り込みの抽出結果を反映した連結画像を生成し、この連結画像に基づいて標示を認識する。かかる連結画像は、例えば、ゴミ画像を考慮せずに生成された正射画像を用いて得られた連結画像から、ゴミ画像を除去する方法で生成することができる。また、フレーム画像からゴミ画像を除去した画像に基づいて得られた正射画像を用いて連結画像を生成してもよい。
標示の認識の後処理としてゴミ画像を反映させる場合には、まず、CPUは、ゴミ画像を考慮せずに生成された正射画像を用いて得られた連結画像を用いて路面標示を認識する。そして、認識結果と、ゴミ画像の正射画像から得られた連結画像との対比により、ゴミ画像を誤って路面標示と認識したものと判断される場合には、その認識結果を除去する。
The CPU recognizes the sign reflecting the dust image based on the orthographic image thus generated. When a dust image is reflected as pre-processing for recognizing a sign, a connected image reflecting the reflection extraction result is generated, and the sign is recognized based on the connected image. Such a connected image can be generated by, for example, a method of removing a dust image from a connected image obtained by using an orthographic image generated without considering the dust image. Further, a connected image may be generated using an orthographic image obtained based on an image obtained by removing a dust image from a frame image.
When a dust image is reflected as post-processing for recognizing a sign, first, the CPU recognizes a road sign using a connected image obtained by using an orthographic image generated without considering the dust image. . If it is determined that the dust image is mistakenly recognized as a road marking by comparing the recognition result with the connected image obtained from the orthoimage of the dust image, the recognition result is removed.

このようにオプティカルフローを用いることによって、路面標示以外の異物の写り込みによるゴミ画像の部分を認識することができる。また、この認識結果を前処理または後処理として路面標示の認識に反映させることにより、路面標示の認識精度を向上させることができる。   By using the optical flow in this way, it is possible to recognize the portion of the dust image due to the reflection of foreign matter other than the road marking. Moreover, the recognition accuracy of the road marking can be improved by reflecting the recognition result on the recognition of the road marking as pre-processing or post-processing.

ゴミ画像を認識して、路面標示の認識に反映させる第2の方法は、次の通りである。
CPUは、距離軸上に配置された正射画像同士が重なる部分を切り出す。そして、この重複部分の正射画像間の各点の階調差分を求める。階調差分とは各点に記録されている色成分の差分である。カラー画像の場合、RGBの成分ごとに階調差分を求めても良いが、HSVの3要素に分解した上で明度(V)差分を求めることが好ましい。正射画像同士の重複部分では路面標示も重なっているはずなので、路面標示に対する階調差分は所定値以下となる。これに対し、路面標示以外の異物は、撮影時刻や撮影場所が異なれば正射画像への写り込みの形状、大きさが異なるのが通常であるため、大きな階調差分となる。従って、所定の閾値を超える階調差分が得られた点を抽出することにより、ゴミ画像を抽出することが可能となる。
こうしてゴミ画像が抽出されると、オプティカルフローの場合と同様、ゴミ画像の抽出結果を前処理または後処理で反映して、路面標示を認識することができる。
A second method for recognizing the dust image and reflecting it in the recognition of the road marking is as follows.
The CPU cuts out a portion where the orthogonal images arranged on the distance axis overlap. Then, the gradation difference of each point between the orthogonal images of the overlapping portion is obtained. The gradation difference is a difference between color components recorded at each point. In the case of a color image, a gradation difference may be obtained for each RGB component, but it is preferable to obtain a lightness (V) difference after decomposing into three elements of HSV. Since the road markings should overlap in the overlapping part between the orthogonal images, the gradation difference with respect to the road markings is a predetermined value or less. On the other hand, foreign objects other than road markings usually have large gradation differences because the shape and size of the reflection on the orthographic image are different when the shooting time and shooting location are different. Therefore, it is possible to extract a dust image by extracting a point where a gradation difference exceeding a predetermined threshold is obtained.
When the dust image is extracted in this manner, the road marking can be recognized by reflecting the dust image extraction result in the pre-processing or post-processing, as in the case of the optical flow.

上述の第2の方法でも、路面標示以外の異物の写り込みによるゴミ画像の部分を認識することができ、路面標示の認識精度を向上させることができる。また、第2の方法は、オプティカルフローを用いるよりも、処理負荷が軽いという利点もある。   Even in the second method described above, it is possible to recognize the portion of the dust image due to the appearance of a foreign object other than the road marking, and to improve the recognition accuracy of the road marking. In addition, the second method has an advantage that the processing load is lighter than that using the optical flow.

第2の方法を用いる場合には、正射画像に平滑化フィルタを適用した上で、階調差分を求めることが好ましい。画像を構成する画素単位で厳密に階調差分を求めると、正射画像を生成する際の位置誤差などによって、路面標示の部分も大きな階調差分が生じる場合があるからである。平滑化フィルタを適用することにより、画像内の階調変化を鈍化させることができるため、位置誤差などの影響を緩和し、ゴミ画像の抽出精度を向上することができる。   In the case of using the second method, it is preferable to obtain the gradation difference after applying a smoothing filter to the orthogonal image. This is because if the gradation difference is strictly determined for each pixel constituting the image, a large gradation difference may occur in the road marking portion due to a position error or the like when generating an orthographic image. By applying the smoothing filter, the gradation change in the image can be dulled, so that the influence of the position error and the like can be alleviated and the dust image extraction accuracy can be improved.

ゴミ画像の抽出は、フレーム画像全体に適用してもよいが、処理速度を向上させるため、一部にのみ適用してもよい。
例えば、正射画像の生成対象となる部分を対象とすることができる。
また別の態様として、パスを含む所定範囲が除かれた所定領域をゴミ画像の抽出対象としてもよい。パスに沿って移動しながら撮影を行うため、パス周辺の領域には、路面標示以外の異物が写り込んでいる可能性は低い。これは、自車が走行する走行レーンにおいては、前方を走行する車両が画像作成範囲に入ってこないように車間距離を開けて走行することが可能だからである。一方、走行レーン以外のレーンは、異物の写り込みを回避する手段がないのが現状である。
更に、両者を組み合わせた場合に正射画像の生成対象となる部分のうち、パスを含む所定範囲が除かれた所定領域をゴミ画像の抽出対象としてもよい。
The dust image extraction may be applied to the entire frame image, but may be applied to only a part of the frame image in order to improve the processing speed.
For example, it is possible to target a portion that is an orthographic image generation target.
As another aspect, a predetermined area from which a predetermined range including a path is removed may be a target for extracting a dust image. Since shooting is performed while moving along the path, it is unlikely that foreign objects other than road markings are reflected in the area around the path. This is because in the travel lane in which the host vehicle travels, it is possible to travel at a greater distance so that a vehicle traveling ahead does not enter the image creation range. On the other hand, in lanes other than the traveling lane, there is currently no means for avoiding the appearance of foreign objects.
Furthermore, a predetermined area from which a predetermined range including a path is excluded may be used as a dust image extraction target in a portion that is an orthographic image generation target when both are combined.

本発明は、必ずしも上述した特徴を全て備えている必要はなく、適宜、その一部を省略してもよいし、いくつかの特徴を適宜、組み合わせて備えるようにしてもよい。
本発明は、上述の路面標示地図生成方法に限らず、この路面標示地図生成方法によって道路面に施された標示が含まれる路面標示地図を生成する生成装置として構成してもよい。また、上述の路面標示地図生成方法をコンピュータに実現させるためのコンピュータプログラムとして構成してもよいし、かかるコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体として構成してもよい。記録媒体としては、例えば、フレキシブルディスクやCD−ROM、光磁気ディスク、ICカード、ROMカートリッジ、パンチカード、バーコードなどの符号が印刷された印刷物、コンピュータの内部記憶装置(RAMやROMなどのメモリ)および外部記憶装置等、コンピュータが読取り可能な種々の媒体を利用できる。
The present invention does not necessarily have all the above-described features, and some of them may be omitted as appropriate, or some features may be appropriately combined.
The present invention is not limited to the road marking map generation method described above, and may be configured as a generation device that generates a road marking map including the markings applied to the road surface by the road marking map generation method. The road marking map generation method described above may be configured as a computer program for causing a computer to realize the method, or may be configured as a computer-readable recording medium on which the computer program is recorded. Examples of the recording medium include a flexible disk, a CD-ROM, a magneto-optical disk, an IC card, a ROM cartridge, a punch card, a printed matter on which a code such as a bar code is printed, an internal storage device of a computer (a memory such as a RAM or a ROM). ) And external storage devices can be used.

道路を走行しながら取得したフレーム画像を正射変換して得られた正射画像を配置することにより、走行軌跡(パス)に沿って位置精度のよい連結画像を得ることができる。   By arranging the orthographic image obtained by orthorectifying the frame image acquired while traveling on the road, it is possible to obtain a connected image with high positional accuracy along the traveling locus (path).

実施例としての道路面撮影システムの構成を示す説明図である。It is explanatory drawing which shows the structure of the road surface imaging | photography system as an Example. 実施例としての路面標示地図生成装置の構成を示す説明図である。It is explanatory drawing which shows the structure of the road marking map production | generation apparatus as an Example. 路面標示地図の生成過程における中間データを示す説明図である。It is explanatory drawing which shows the intermediate data in the production | generation process of a road marking map. 実施例における道路画像の生成例を示す説明図である。It is explanatory drawing which shows the production example of the road image in an Example. 位置合わせ加工の概要を示す説明図である。It is explanatory drawing which shows the outline | summary of the alignment process. 交差点が存在する場合の位置合わせの手順を示す説明図である。It is explanatory drawing which shows the procedure of the alignment in case an intersection exists. 連結画像生成処理のフローチャートである。It is a flowchart of a connection image generation process. 位置合わせ加工のフローチャートである。It is a flowchart of an alignment process. 基準パス設定処理のフローチャートである。It is a flowchart of a standard path setting process. 連結画像移動処理のフローチャートである。It is a flowchart of a connection image movement process. 位置合わせ加工の処理例(1)を示す説明図である。It is explanatory drawing which shows the process example (1) of position alignment process. 位置合わせ加工の処理例(2)を示す説明図である。It is explanatory drawing which shows the process example (2) of an alignment process. 位置合わせ加工の処理(2)の加工結果を示す説明図である。It is explanatory drawing which shows the process result of the process (2) of position alignment process. 路面標示の絶対位置座標の取得方法を示す説明図である。It is explanatory drawing which shows the acquisition method of the absolute position coordinate of a road marking. 透明化ポリゴン設定処理の概要を示す説明図である。It is explanatory drawing which shows the outline | summary of a transparent polygon setting process. 透明化ポリゴン設定処理のフローチャートである。It is a flowchart of a transparent polygon setting process. 透明化ポリゴンを設定する前の道路画像例を示す説明図である。It is explanatory drawing which shows the example of a road image before setting a transparent polygon. 透明化ポリゴンの設定後の道路画像例を示す説明図である。It is explanatory drawing which shows the example of a road image after the setting of the transparent polygon. ペイント認識処理のフローチャートである。It is a flowchart of a paint recognition process. 縦配置処理の内容を示す説明図である。It is explanatory drawing which shows the content of the vertical arrangement | positioning process. 横断関連ペイント抽出処理のフローチャートである。It is a flowchart of a crossing related paint extraction process. サイドカット処理例(1)を示す説明図である。It is explanatory drawing which shows the side cut process example (1). サイドカット処理例(2)を示す説明図である。It is explanatory drawing which shows the side cut process example (2). 横断歩道候補領域の抽出処理等を示す説明図である。It is explanatory drawing which shows the extraction process etc. of a pedestrian crossing candidate area | region. 自転車横断帯/停止線候補領域の抽出処理等を示す説明図である。It is explanatory drawing which shows the extraction process etc. of a bicycle crossing zone / stop line candidate area | region. 境界線(実線)抽出処理の内容を示す説明図である。It is explanatory drawing which shows the content of a boundary line (solid line) extraction process. 境界線(破線)抽出処理の内容を示す説明図である。It is explanatory drawing which shows the content of a boundary line (broken line) extraction process. 矢印抽出処理の内容を示す説明図である。It is explanatory drawing which shows the content of the arrow extraction process. ゼブラ抽出処理の内容を示す説明図である。It is explanatory drawing which shows the content of a zebra extraction process. Uターン抽出処理の内容を示す説明図である。It is explanatory drawing which shows the content of the U-turn extraction process. 転回禁止抽出処理の内容を示す説明図である。It is explanatory drawing which shows the content of the rotation prohibition extraction process. 規制抽出処理の内容を示す説明図である。It is explanatory drawing which shows the content of the regulation extraction process. 数字抽出処理の内容を示す説明図である。It is explanatory drawing which shows the content of the number extraction process. 横断歩道予告抽出処理の内容を示す説明図である。It is explanatory drawing which shows the content of the pedestrian crossing notice extraction process. 減速帯抽出処理の内容を示す説明図である。It is explanatory drawing which shows the content of the deceleration zone extraction process. 路面塗装抽出処理の内容を示す説明図である。It is explanatory drawing which shows the content of the road surface painting extraction process. バスレーン文字抽出処理の内容を示す説明図である。It is explanatory drawing which shows the content of a bus lane character extraction process. 終り記号抽出処理の内容を示す説明図である。It is explanatory drawing which shows the content of the end symbol extraction process. 相対座標変換処理の内容を示す説明図である。It is explanatory drawing which shows the content of a relative coordinate conversion process. 異物の写り込みを例示する説明図である。It is explanatory drawing which illustrates the reflection of a foreign material. ゴミ画像の認識結果の反映方法を示すフローチャートである。It is a flowchart which shows the reflection method of the recognition result of a dust image. ゴミ画像認識処理(1)のフローチャートである。It is a flowchart of a dust image recognition process (1). オプティカルフローの例である。It is an example of an optical flow. 走行車両がある場合のオプティカルフローの例である。It is an example of the optical flow when there is a traveling vehicle. 停止車両がある場合のオプティカルフローの例である。It is an example of the optical flow when there is a stopped vehicle. ゴミ画像認識処理(2)のフローチャートである。It is a flowchart of a dust image recognition process (2). ゴミ画像の認識例を示す説明図である。It is explanatory drawing which shows the example of recognition of a dust image.

本発明の実施例について以下の順序で説明する。
A.システム構成:
A1.道路面撮影システム:
A2.路面標示地図生成装置:
B.処理概要:
B1.中間データ構成:
B2.処理例:
B3.位置合わせ加工概要:
C.路面標示地図生成方法:
C1.連結画像生成処理:
C2.位置合わせ加工:
C3.基準パス設定処理:
C4.連結画像移動処理:
C5.透明化ポリゴン設定処理:
C6.ペイント認識処理:
D.効果:
E.変形例:
Embodiments of the present invention will be described in the following order.
A. System configuration:
A1. Road surface photography system:
A2. Road marking map generator:
B. Outline of processing:
B1. Intermediate data structure:
B2. Processing example:
B3. Outline of alignment processing:
C. Road marking map generation method:
C1. Connected image generation processing:
C2. Alignment processing:
C3. Standard path setting process:
C4. Connected image movement processing:
C5. Transparent polygon setting process:
C6. Paint recognition process:
D. effect:
E. Variations:

A.システム構成:
本実施例では、車両に搭載したビデオカメラで撮影した道路面の画像を用いて、路面の標示を含む地図(以下、「路面標示地図」と呼ぶ)を生成する方法を示す。
本実施例のシステムは、道路面撮影システムと路面標示地図生成装置とを備える。道路面撮影システムは、道路を走行しながら道路面の画像をビデオカメラで撮影するシステムである。本実施例では、対象となる道路を、異なる走行軌跡で複数回走行し、それぞれ画像を撮影する。
路面標示地図生成装置は、道路面撮影システムで撮影された道路面の画像に基づいて路面標示地図を生成する装置である。まず、上述の各走行軌跡上に、撮影された画像を正射画像に変換した上で配置することで、道路面の一部の車線についての連結画像を生成する。そして、複数の走行軌跡の画像を、位置座標が整合するように配置することで道路全体の画像を生成する。また、こうして生成された連結画像から道路面の標示を抽出する。
以下、道路面撮影システムと路面標示地図生成装置のシステム構成について説明する。
A. System configuration:
In this embodiment, a method for generating a map including road markings (hereinafter referred to as a “road marking map”) using road surface images taken by a video camera mounted on a vehicle will be described.
The system of the present embodiment includes a road surface photographing system and a road marking map generating device. The road surface photographing system is a system for photographing an image of a road surface with a video camera while traveling on the road. In the present embodiment, the target road is traveled a plurality of times with different travel trajectories, and images are respectively captured.
The road marking map generation device is a device that generates a road marking map based on an image of a road surface photographed by a road surface photographing system. First, a connected image of a part of the lane on the road surface is generated by arranging the photographed image after converting it into an orthographic image on each of the above-described traveling trajectories. And the image of the whole road is produced | generated by arrange | positioning the image of a some driving | running | working locus so that a position coordinate may match. In addition, a road surface sign is extracted from the connection image thus generated.
Hereinafter, the system configuration of the road surface photographing system and the road marking map generating device will be described.

A1.道路面撮影システム:
図1は実施例としての道路面撮影システムの構成を示す説明図である。
道路面撮影システム100は、車両に搭載されたシステムである。図の下方のブロック図に基づき、システム構成を説明する。
ビデオカメラ120は、走行中の道路面の画像を撮影する。
位置計測部110は、撮影中の位置座標を計測する装置である。位置計測部110は、GPS(Global Positioning System)114、IMU(InertialMeasurement Unit)116、DMI(Distance Measuring Instrument)118およびコントローラ112を備える。GPS114は、全地球測位システムである。IMU116は、内部に3軸のジャイロおよび加速度センサを備えた慣性計測装置である。DMI118は、車輪の回転を検出して移動距離を計測する装置である。
A1. Road surface photography system:
FIG. 1 is an explanatory diagram showing a configuration of a road surface photographing system as an embodiment.
The road surface photographing system 100 is a system mounted on a vehicle. The system configuration will be described based on the block diagram below.
The video camera 120 captures an image of a running road surface.
The position measurement unit 110 is a device that measures position coordinates during shooting. The position measuring unit 110 includes a GPS (Global Positioning System) 114, an IMU (Inertial Measurement Unit) 116, a DMI (Distance Measuring Instrument) 118, and a controller 112. The GPS 114 is a global positioning system. The IMU 116 is an inertial measurement device including a triaxial gyro and an acceleration sensor inside. The DMI 118 is a device that measures the distance traveled by detecting the rotation of a wheel.

コントローラ112は、GPS114、IMU116、DMI118からの信号を受け、撮影時の位置座標を逐次出力する。位置座標は任意の座標系を採ることができるが、本実施例では、緯度経度および標高を用いた。
また、これらの信号の取得後、位置座標の計測精度の評価値である自己推定位置精度σを併せて出力する。一般にGPS114は、位置座標の検出に使用される人工衛星の配置、電波の受信状況、建造物などに反射した電波を受信することによるマルチパスの有無などによって検出精度が変動することが知られている。またディファレンシャル測位では、基準局の稼働状況によっても検出精度は影響を受ける。
自己推定位置精度σは、任意に定義可能である。例えば、GPS114の人工衛星の配置によって定まる精度低下率(DOP(Dilution of Precision))を用いて自己推定位置精度σを算出するようにしてもよい。
自己推定位置精度σは、取得されたデータを後述する路面標示地図生成装置で処理する際に、解析するようにしてもよい。
The controller 112 receives signals from the GPS 114, the IMU 116, and the DMI 118, and sequentially outputs position coordinates at the time of shooting. The position coordinates can take an arbitrary coordinate system, but in this embodiment, latitude and longitude and altitude are used.
In addition, after obtaining these signals, a self-estimated position accuracy σ, which is an evaluation value of the position coordinate measurement accuracy, is also output. In general, it is known that the detection accuracy of the GPS 114 varies depending on the arrangement of artificial satellites used for detecting position coordinates, the reception status of radio waves, the presence of multipath by receiving radio waves reflected on buildings, and the like. Yes. In differential positioning, the detection accuracy is also affected by the operating status of the reference station.
The self-estimated position accuracy σ can be arbitrarily defined. For example, the self-estimated position accuracy σ may be calculated using a precision reduction rate (DOP (Dilution of Precision)) determined by the arrangement of the satellites of the GPS 114.
The self-estimated position accuracy σ may be analyzed when the acquired data is processed by a road marking map generation device to be described later.

記録装置130は、ビデオカメラ120および位置計測部110の出力信号を同期して記録する。本実施例では、記録装置130は、汎用のパーソナルコンピュータに、記録用のハードディスク140を増設した装置によって構成した。ハードディスク140内には、図示する通り、画像データ142、同期データ144、計測データ146が記録される。画像データ142は、ビデオカメラで撮影された画像の動画ファイルである。計測データ146は、位置計測部110で得られた位置座標である。同期データ144は、画像データ142と計測データ146との取得時刻を対応づけるデータである。同期データ144および計測データ146を参照することにより、画像データ142のフレームごとに撮影地点の位置座標を得ることができる。
撮影時の記録用のデータ構造は、上述した構造に限られない。例えば、計測データ146は、画像データ142の各フレームの位置座標を順次、格納するデータとしてもよい。こうすることにより、同期データ144を省略することが可能となる。かかるデータを取得するためには、例えば、記録装置130がビデオカメラ120のフレームごとに同期信号を位置計測部110に出力し、その時の位置座標を取得する方法を採ることができる。
The recording device 130 records the output signals of the video camera 120 and the position measuring unit 110 in synchronization. In this embodiment, the recording device 130 is configured by a device in which a recording hard disk 140 is added to a general-purpose personal computer. In the hard disk 140, as shown in the figure, image data 142, synchronization data 144, and measurement data 146 are recorded. The image data 142 is a moving image file of an image taken with a video camera. The measurement data 146 is position coordinates obtained by the position measurement unit 110. The synchronization data 144 is data that associates the acquisition times of the image data 142 and the measurement data 146 with each other. By referring to the synchronization data 144 and the measurement data 146, the position coordinates of the shooting point can be obtained for each frame of the image data 142.
The data structure for recording at the time of shooting is not limited to the structure described above. For example, the measurement data 146 may be data that sequentially stores the position coordinates of each frame of the image data 142. In this way, the synchronization data 144 can be omitted. In order to acquire such data, for example, the recording device 130 can output a synchronization signal to the position measuring unit 110 for each frame of the video camera 120 and acquire the position coordinates at that time.

図の上方に、車両に搭載した状態を模式的に示した。
ビデオカメラ120は、前方画像を撮影できるよう、車両の前方に設置する。画角を広げるために広角レンズを装着してもよい。
GPS114のアンテナ114Aは、車両のルーフ上部に設置する。本実施例では、GPS用の人工衛星からの電波を確実に受信し、十分な位置精度を確保することができるよう、アンテナ114Aを車両の前後に主副の2台設置した。いずれか一台のみを用いるものとしてもよい。
IMU116、DMI118、コントローラ112は、それぞれ車両の後部に設置した。DMI118は、後輪の回転を検出可能に装着されている。
記録装置130およびハードディスク140は車室内の任意の場所に設置可能であるため、図示を省略した。
The state mounted on the vehicle is schematically shown in the upper part of the figure.
The video camera 120 is installed in front of the vehicle so that a front image can be taken. A wide-angle lens may be attached to widen the angle of view.
The antenna 114A of the GPS 114 is installed on the upper roof of the vehicle. In the present embodiment, two main and sub antennas 114A are installed in front of and behind the vehicle so that radio waves from GPS artificial satellites can be reliably received and sufficient positional accuracy can be ensured. Only one of them may be used.
The IMU 116, DMI 118, and controller 112 were installed at the rear of the vehicle. The DMI 118 is mounted so that the rotation of the rear wheel can be detected.
Since the recording device 130 and the hard disk 140 can be installed at any location in the vehicle interior, illustration is omitted.

A2.路面標示地図生成装置:
図2は実施例としての路面標示地図生成装置の構成を示す説明図である。道路面撮影システムで撮影された道路面の画像に基づいて路面標示地図を生成するための装置である。本実施例では、完全に自動で路面標示地図を生成するのではなく、適宜、オペレータからのコマンドによる指示を受けながら対話型または半自動で処理を進める方法を採用した。
図中には、路面標示地図生成装置200の機能ブロックを示した。本実施例では、路面標示地図生成装置200は、図示する各機能を実現するためのコンピュータプログラムを、汎用のパーソナルコンピュータにインストールすることによってソフトウェア的に構築した。これらの機能ブロックの一部は、OS(Operating System)によって提供してもよい。また、これらの機能ブロックは、それぞれハードウェア的に構成することも可能である。また、ここでは説明の便宜上、スタンドアロンで稼働する装置として説明するが、各機能ブロックをネットワークで接続された複数のコンピュータに分散して用意してもよい。
A2. Road marking map generator:
FIG. 2 is an explanatory diagram showing a configuration of a road marking map generating apparatus as an embodiment. It is an apparatus for generating a road marking map based on an image of a road surface photographed by a road surface photographing system. In this embodiment, a method of advancing the process interactively or semi-automatically while receiving an instruction by a command from an operator as appropriate, instead of generating a road marking map completely automatically.
In the figure, functional blocks of the road marking map generating apparatus 200 are shown. In the present embodiment, the road marking map generating apparatus 200 is constructed in software by installing a computer program for realizing each function shown in a general-purpose personal computer. Some of these functional blocks may be provided by an OS (Operating System). Each of these functional blocks can also be configured in hardware. In addition, here, for convenience of explanation, it is described as a stand-alone operating device, but each functional block may be distributed and prepared in a plurality of computers connected via a network.

主制御部201は、各機能ブロックを統合制御する。データ入力部204は、道路面撮影システム100で取得した各種データを記録したハードディスク140から、画像データ142、同期データ144、計測データ146を入力する。本実施例では、ハードディスク140を道路面撮影システム100から路面標示地図生成装置200に接続し直すことによって、これらのデータを受け渡す方法を採ったが、ネットワーク経由でデータを送信する方法や、DVDなどの記録媒体を用いてデータを受け渡す方法を採ってもよい。計測データには、位置計測部110で得られた位置座標が含まれるから、データ入力部204は、本発明における入力部に相当する。   The main control unit 201 performs integrated control of each functional block. The data input unit 204 inputs image data 142, synchronization data 144, and measurement data 146 from the hard disk 140 that records various data acquired by the road surface photographing system 100. In this embodiment, the hard disk 140 is reconnected to the road marking map generating apparatus 200 from the road surface photographing system 100 to transfer these data. However, a method of transmitting data via a network, a DVD, A method of transferring data using a recording medium such as the above may be adopted. Since the measurement data includes the position coordinates obtained by the position measurement unit 110, the data input unit 204 corresponds to the input unit in the present invention.

コマンド入力部202は、コンピュータに備えられたキーボードやマウスなどの操作を介して、オペレータからのコマンドを入力する。
表示制御部203は、コンピュータのディスプレイに、路面標示地図生成装置200での処理結果を表示したり、オペレータが種々のコマンドを指示するための画面を表示したりする。コマンド入力部202、表示制御部203の機能は、コンピュータのOS(Operating System)によって提供してもよい。
The command input unit 202 inputs a command from an operator through operations such as a keyboard and a mouse provided in the computer.
The display control unit 203 displays the processing result of the road marking map generation device 200 on a computer display, or displays a screen for an operator to instruct various commands. The functions of the command input unit 202 and the display control unit 203 may be provided by a computer OS (Operating System).

軌跡データ算出部205は、計測データ146に基づき、画像データ142を撮影した時の走行軌跡(以下、「パス」と呼ぶこともある)を表すデータを生成する。本実施例では、軌跡データ算出部205は、道路面撮影システム100によって得られる位置座標を記録した計測データ146に対して、位置座標が既知の基準局から提供されている検出情報に基づく補正を施すことによって軌跡データを生成する。基準局の情報を用いて位置座標を補正する技術は周知であるため、説明を省略する。この処理によって位置座標の精度を向上させることが可能となる。
もっとも、基準局からのデータを用いることは必須ではない。計測データ146で得られた位置座標をそのまま用いるものとしてもよい。かかる場合には、軌跡データ算出部205は省略することも可能である。
The trajectory data calculation unit 205 generates data representing a travel trajectory (hereinafter also referred to as “pass”) when the image data 142 is captured based on the measurement data 146. In this embodiment, the trajectory data calculation unit 205 corrects the measurement data 146 in which the position coordinates obtained by the road surface photographing system 100 are recorded based on detection information provided from a reference station whose position coordinates are known. Thus, trajectory data is generated. Since the technique for correcting the position coordinates using the information of the reference station is well known, the description thereof is omitted. This processing can improve the accuracy of position coordinates.
However, it is not essential to use data from the reference station. The position coordinates obtained from the measurement data 146 may be used as they are. In such a case, the trajectory data calculation unit 205 can be omitted.

画像変換部206は、正射投影、即ち画像データ142の各フレーム画像を真上から見た状態に変換して正射画像を生成する。
連結画像生成部としての1パス合成部207は、画像変換部206によって得られた各フレーム画像の正射画像を、その正射画像内の代表点が、撮影時の位置座標に基づいて定まる位置座標に来るように配置することによって、撮影時の走行軌跡(パス)に沿った道路面の画像を合成する。こうして合成された画像を、連結画像と呼ぶものとする。合成された連結画像は、処理データ記憶部210に保存される。
本実施例では、それぞれの道路に対して、異なる走行軌跡で、複数回走行して、撮影を行う。1パス画像合成部207は、それぞれのパスごとに合成画像を生成する。この結果、連結画像は、パスの本数に応じて、複数生成される。
The image conversion unit 206 generates an orthographic image by converting each frame image of the image data 142 into an orthographic projection, that is, a state as viewed from directly above.
A one-pass composition unit 207 serving as a connected image generation unit determines an orthographic image of each frame image obtained by the image conversion unit 206, and a position at which a representative point in the orthographic image is determined based on position coordinates at the time of shooting. By arranging so as to come to the coordinates, an image of the road surface along the traveling locus (path) at the time of photographing is synthesized. The image synthesized in this way is called a connected image. The combined connection image is stored in the processing data storage unit 210.
In this embodiment, each road is photographed by traveling a plurality of times with different traveling trajectories. The 1-pass image composition unit 207 generates a composite image for each pass. As a result, a plurality of connected images are generated according to the number of paths.

位置合わせ処理部220は、1パス画像合成部207で生成された複数の連結画像を、位置合わせ処理、即ち連結画像間の位置座標の誤差を修正して路面の画像が整合するように配置する処理を行うことで、道路全体の正射画像(以下、「道路画像」と呼ぶこともある)を生成する。位置合わせ処理は、オペレータからの指示に応じて行う。処理内容は後述する。
位置合わせで得られた道路画像は、処理データ記憶部210に保存される。
The alignment processing unit 220 arranges the plurality of connected images generated by the one-pass image combining unit 207 so that the road image is aligned by correcting the positional coordinate error between the connected images, that is, the connected images. By performing the process, an orthogonal image of the entire road (hereinafter also referred to as “road image”) is generated. The alignment process is performed according to an instruction from the operator. The processing contents will be described later.
The road image obtained by the alignment is stored in the processing data storage unit 210.

透明化ポリゴン設定部221は、得られた道路画像上に、オペレータの指示によって、透明化ポリゴンを設定する。上述の位置合わせを行う際には、隣接するパスに対応する正射画像の一部が重なり合うことがある。そして重なった部分では、下側に配置された正射画像の方に、路面標示が鮮明に写されている場合もある。透明化ポリゴンは、このような場合に、下側の画像が表示されるように上側の正射画像の一部を透明化する処理を施す領域を指定するためのポリゴンである。透明化ポリゴンを設定することにより、路面標示を正確に把握可能な地図を提供することが可能となる。   The transparent polygon setting unit 221 sets a transparent polygon on the obtained road image according to an operator's instruction. When performing the above-described alignment, a part of the orthographic image corresponding to the adjacent path may overlap. In the overlapped portion, the road marking may be clearly copied toward the orthographic image arranged on the lower side. In such a case, the transparent polygon is a polygon for designating an area to be subjected to processing for making a part of the upper orthographic image transparent so that the lower image is displayed. By setting the transparent polygon, it is possible to provide a map that can accurately grasp the road marking.

標示認識部としてのペイント認識部223は、道路面の標示(以下、「ペイント」と呼ぶこともある)を認識する。本実施例では、1パス画像合成部207で生成された連結画像に基づいて標示の認識を行うものとした。ペイント認識結果は、処理データ記憶部210に保存される。   A paint recognizing unit 223 as a sign recognizing unit recognizes a road surface sign (hereinafter also referred to as “paint”). In the present embodiment, the sign is recognized based on the connected image generated by the one-pass image combining unit 207. The paint recognition result is stored in the processing data storage unit 210.

路面標示地図生成装置は、以上で生成された道路画像に基づいて路面標示地図を出力することができる。例えば、道路画像を印刷可能なファイルとして出力してもよい。また、路面標示地図を電子地図として生成するように、道路画像を電子データとして出力してもよい。また、これらの出力に先立って、道路画像に基づいて路面標示の位置座標や形状データを取得する処理を行うようにしてもよい。   The road marking map generating device can output a road marking map based on the road image generated as described above. For example, a road image may be output as a printable file. Moreover, you may output a road image as electronic data so that a road marking map may be produced | generated as an electronic map. In addition, prior to these outputs, a process for obtaining position coordinates and shape data of road markings based on road images may be performed.

B.処理概要:
B1.中間データ構成:
図3は路面標示地図の生成過程における中間データを示す説明図である。これらのデータは、順次、処理データ記憶部210(図2参照)に記憶される。
本実施例では、道路を走行しながらビデオカメラ120および位置計測部110で取得したデータが記録装置130としてのパーソナルコンピュータによってハードディスク140内に格納されている。格納されるデータとしては、画像データ142、計測データ146、および両者の同期をとるための同期データ144がある。
B. Outline of processing:
B1. Intermediate data structure:
FIG. 3 is an explanatory diagram showing intermediate data in the process of generating a road marking map. These data are sequentially stored in the processing data storage unit 210 (see FIG. 2).
In this embodiment, data acquired by the video camera 120 and the position measuring unit 110 while traveling on a road is stored in the hard disk 140 by a personal computer as the recording device 130. The stored data includes image data 142, measurement data 146, and synchronization data 144 for synchronizing them.

計測データ146は、撮影時の位置座標データの記録である。本実施例では、基準局データ150を参照して、計測データ146を補正することにより、軌跡データ210aを算出する。これは、先に図2で説明した軌跡データ算出部205が行う処理である。基準局データ150は、位置座標が既知の基準点におけるGPSでの検出結果を表すデータであり、例えば、国土地理院が提供している基準点データなどを用いることができる。ここで得られた軌跡データ210aは、以下、それぞれの処理において、道路面の画像を撮影した際の軌跡(以下、「パス」と呼ぶこともある)を緯度経度、高度からなる絶対座標で表すデータとして利用される。   The measurement data 146 is a record of position coordinate data at the time of shooting. In this embodiment, the trajectory data 210a is calculated by correcting the measurement data 146 with reference to the reference station data 150. This is a process performed by the trajectory data calculation unit 205 described above with reference to FIG. The reference station data 150 is data representing a detection result by GPS at a reference point whose position coordinates are known. For example, reference point data provided by the Geospatial Information Authority of Japan can be used. The trajectory data 210a obtained here represents the trajectory (hereinafter also referred to as “path”) when an image of the road surface is captured in each processing, in absolute coordinates including latitude, longitude, and altitude. Used as data.

一方、画像データ142、同期データ144、軌跡データ210aからは、路面テクスチャ210cが生成される。また、同期データ144と軌跡データ210aから、路面軌跡データが生成される。
本実施例では、各道路を複数回走行して、道路面の画像を撮影する。従って、路面軌跡データ210bおよび路線軌跡データ210bは、各道路に対して複数パス分、生成されることになる。
On the other hand, a road surface texture 210c is generated from the image data 142, the synchronization data 144, and the trajectory data 210a. In addition, road surface trajectory data is generated from the synchronization data 144 and the trajectory data 210a.
In this embodiment, each road is traveled a plurality of times, and an image of the road surface is taken. Therefore, the road surface track data 210b and the route track data 210b are generated for a plurality of paths for each road.

路面テクスチャ210cおよび路線軌跡データ210bを用いて、連結画像210dが生成される。連結画像210dは、図2中の1パス画像合成部207によって生成される画像である。つまり、連結画像210dとは、路線軌跡データ210bで表される位置座標に基づき、各路面テクスチャ210cを配置することによって生成される各パスの路面画像である。連結画像210dも、各道路に対して複数パス分、生成されることになる。
連結画像210dは、路面テクスチャ210cを結合した一つの画像ファイルとして生成することもできる。本実施例では、後に続く処理の便宜上、合成画像として生成するのではなく、路面テクスチャ210cを配置して連結画像210dを生成するための情報(以下、「登録データ」と呼ぶこともある)を、路面テクスチャ210cの各画像と対応づけて格納するものとした。かかる情報には、路面テクスチャ210cを配置する位置座標、配置する際の姿勢(角度)、および隣接する路面テクスチャ210cを特定する情報、隣接する路面テクスチャ210cとの上下関係などを含めることができる。
A coupled image 210d is generated using the road surface texture 210c and the route trajectory data 210b. The connected image 210d is an image generated by the one-pass image composition unit 207 in FIG. That is, the connected image 210d is a road surface image of each path generated by arranging each road surface texture 210c based on the position coordinates represented by the route locus data 210b. The connected image 210d is also generated for a plurality of paths for each road.
The connected image 210d can also be generated as one image file obtained by combining the road surface texture 210c. In this embodiment, for convenience of subsequent processing, information (hereinafter also referred to as “registered data”) for generating the connected image 210d by arranging the road surface texture 210c is not generated as a composite image. The image is stored in association with each image of the road surface texture 210c. Such information can include position coordinates for placing the road surface texture 210c, posture (angle) at the time of placement, information for specifying the adjacent road surface texture 210c, vertical relationship with the adjacent road surface texture 210c, and the like.

こうして得られた連結画像210dを用いて、位置合わせおよび透明化ポリゴン設定などの処理を行う。これらの処理は、図2の位置合わせ処理部220、透明化ポリゴン設定部221が行う処理である。この処理によって、複数パス分の連結画像210dを合成して、道路ごとに道路画像210eを得ることができる。
道路画像210eについても、合成画像として生成してもよいし、路面テクスチャ210cを配置して道路画像210eを生成するための情報を、路面テクスチャ210cの各画像と対応づけて格納するようにしてもよい。本実施例では、後者の方法を採用した。それぞれの路面テクスチャ210cを配置する位置座標、配置する際の姿勢(角度)などの情報は、道路画像用登録データ210fとして保存されている。また、位置合わせの過程で、路線軌跡データ210bに対して、位置誤差を修正する処理が施されるため、この原データに対する修正過程を表す情報を、軌跡用登録データ210gとして保存する。
Using the connected image 210d thus obtained, processing such as alignment and transparent polygon setting is performed. These processes are processes performed by the alignment processing unit 220 and the transparent polygon setting unit 221 in FIG. By this process, the linked images 210d for a plurality of paths can be synthesized to obtain a road image 210e for each road.
The road image 210e may be generated as a composite image, or information for generating the road image 210e by arranging the road surface texture 210c may be stored in association with each image of the road surface texture 210c. Good. In this embodiment, the latter method is adopted. Information such as the position coordinates at which each road surface texture 210c is arranged and the posture (angle) at the time of arrangement are stored as road image registration data 210f. In addition, since a process for correcting the position error is performed on the route trajectory data 210b in the alignment process, information indicating the correction process for the original data is stored as the trajectory registration data 210g.

この他、連結画像210dのデータ(路面テクスチャ210c、路線軌跡データ210bを含む)も併せて保存する。原データである画像データ142、軌跡データ210aも保存しておくことが好ましい。仮に、合成画像化された形で連結画像210dを保存している場合には、道路画像210eは、連結画像210dを合成することになるため、合成の繰り返しで原データに比較して画質が劣化するおそれがある。これに対し、本実施例のように、路面テクスチャ210cも含めて、原データに近いデータを残しておくことにより、これらのデータを利用して道路画像210eを生成することが可能となる。従って、合成の繰り返しなど、画像データに重畳的に画像処理が施されることを抑制でき、道路画像210eの画質を向上させることが可能となる。   In addition, the data of the connected image 210d (including the road surface texture 210c and the route trajectory data 210b) are also stored. It is preferable to store the image data 142 and the trajectory data 210a as the original data. If the connected image 210d is stored in the form of a composite image, the road image 210e is combined with the connected image 210d, so that the image quality is deteriorated compared to the original data due to repeated combining. There is a risk. On the other hand, as in the present embodiment, by leaving data close to the original data including the road surface texture 210c, the road image 210e can be generated using these data. Therefore, it is possible to suppress the image processing being superimposed on the image data, such as repeated synthesis, and to improve the image quality of the road image 210e.

B2.処理例:
次に、本実施例における処理の概要理解を容易にするため、処理例を示す。
図4は実施例における道路画像の生成例を示す説明図である。図4(a)には、1本のパスに沿って得られた連結画像の生成例を示し、図4(b)には、複数パスの連結画像を配置して得られた道路画像の例を示している。
図4(a)中の直線L41〜L44は、それぞれ道路面撮影システム100で走行しながら道路画像を撮影した際の走行軌跡(パス)を表している。図4(a)のPIC41は、パスL43を走行して得られた画像データに基づいて生成された連結画像である。本実施例では、広角レンズを用いて撮影しているため、1回のパスでも複数車線を覆うだけの連結画像を得ることができている。連結画像の両端が、のこぎり刃状にギザギザになっているのは、画像データの各フレームを正射投影した際に生じる形状歪みの影響である。この連結画像PIC41は、ギザギザの山数に応じたフレーム数の正射画像(路面テクスチャ)を配置して生成されているのである。
このような連結画像は、図中のパスL41〜L44のそれぞれに対して得られる。
B2. Processing example:
Next, in order to facilitate understanding of the outline of processing in the present embodiment, a processing example will be shown.
FIG. 4 is an explanatory diagram illustrating a generation example of a road image in the embodiment. FIG. 4A shows an example of generation of a connected image obtained along one path, and FIG. 4B shows an example of a road image obtained by arranging connected images of a plurality of paths. Is shown.
Straight lines L <b> 41 to L <b> 44 in FIG. 4A represent travel trajectories (paths) when a road image is captured while traveling on the road surface photographing system 100. The PIC 41 in FIG. 4A is a linked image generated based on image data obtained by traveling on the path L43. In this embodiment, since the image is taken using the wide-angle lens, it is possible to obtain a connected image that only covers a plurality of lanes even in one pass. The fact that both ends of the connected image are serrated in a saw-tooth shape is due to the influence of shape distortion that occurs when each frame of image data is orthographically projected. The connected image PIC41 is generated by arranging orthogonal images (road surface texture) having the number of frames corresponding to the number of jagged peaks.
Such a connected image is obtained for each of the paths L41 to L44 in the drawing.

図4(b)は、パスL41〜L44に対する連結画像を合成して得られた道路画像PIC42を示している。図4(a)よりも幅広く、反対車線まで含めて道路画像が生成されていることが分かる。複数パスの連結画像を合成する際、各パスの位置座標に誤差があると、連結画像間にずれが生じる。これらのずれが存在すると、図4(b)中の横断歩道、車線境界線などの標示も途中でずれた状態で表示されてしまう。本実施例では、各パスの連結画像間の位置座標の誤差を修正しつつ合成を行う。この処理を位置合わせと呼ぶ。このように位置合わせを行って連結画像を合成することにより、図4(b)に示すように、横断歩道、車線境界線などの標示が整合した道路画像を得ることができる。   FIG. 4B shows a road image PIC42 obtained by synthesizing connected images for the paths L41 to L44. It can be seen that road images are generated that are wider than those in FIG. 4A and include the opposite lane. When combining a multi-pass connected image, if there is an error in the position coordinates of each pass, a shift occurs between the connected images. If these shifts exist, the signs such as the pedestrian crossing and the lane boundary in FIG. 4B are also displayed in a shifted state. In this embodiment, the composition is performed while correcting the positional coordinate error between the connected images of each path. This process is called alignment. By performing alignment in this way and synthesizing the connected images, as shown in FIG. 4B, a road image in which signs such as a pedestrian crossing and a lane boundary line are matched can be obtained.

B3.位置合わせ加工概要:
図5は位置合わせ加工の概要を示す説明図である。本実施例では、複数の連結画像に共通して撮影されている標示に基づいてオペレータが指定した対応点の位置を合わせるように、連結画像を平行移動することによって位置合わせを行う。
図5(a)には対応点が1つだけ指定された場合の処理方法を示した。図中には、2本の連結画像PIC51、PIC52が描かれている。これらには、それぞれ菱形の標示、つまり横断歩道の予告標示が含まれている。ただし、図5(a)左側の状態では、連結画像PIC51、PIC52には相対的に位置誤差があるため、標示の位置がずれている。
オペレータは、この表示画面を見ながら、マウス等のポインティングデバイスを用いて対応点を指定する。図の例では、横断歩道の予告表示の頂点に当たるP51、P52を指定した状態を示した。これらの対応点P51、P52は、連結画像PIC51、PIC52に位置誤差がなければ、本来、同じ位置に重なるはずの点である。そこで、本実施例では、対応点P51、P52が一致するよう、図中に矢印で示すように連結画像PIC51、PIC52を平行移動させる。
この際、連結画像PIC51、PIC52の一方を基準とし、他方を平行移動する方法を採った。図の例では、連結画像PIC51を基準とし、連結画像PIC52を移動させた例を示している。このように移動することにより、予告標示のずれが解消した状態の道路画像PIC53を得ることができる。
B3. Outline of alignment processing:
FIG. 5 is an explanatory diagram showing an outline of the alignment process. In the present embodiment, alignment is performed by moving the connected images in parallel so that the positions of corresponding points designated by the operator are aligned based on the signs photographed in common with the plurality of connected images.
FIG. 5A shows a processing method when only one corresponding point is designated. In the figure, two linked images PIC51 and PIC52 are drawn. Each of these includes a diamond sign, that is, a warning sign for a pedestrian crossing. However, in the state on the left side of FIG. 5 (a), the linked images PIC51 and PIC52 have a relative position error, so that the positions of the markings are shifted.
The operator designates corresponding points using a pointing device such as a mouse while looking at the display screen. In the example of the figure, a state is shown in which P51 and P52 corresponding to the apex of the notice of pedestrian crossing are designated. These corresponding points P51 and P52 are originally points that should overlap at the same position if the connected images PIC51 and PIC52 have no position error. Therefore, in this embodiment, the connected images PIC51 and PIC52 are translated as indicated by arrows in the drawing so that the corresponding points P51 and P52 coincide.
At this time, a method was adopted in which one of the connected images PIC51 and PIC52 is translated and the other is translated. In the example of the figure, an example in which the connected image PIC52 is moved with reference to the connected image PIC51 is shown. By moving in this way, it is possible to obtain the road image PIC53 in a state in which the shift of the warning sign is eliminated.

図5(b)には対応点が複数指定された場合の処理方法を示した。図中には、2本の連結画像PIC54、PIC55が描かれている。これらには、それぞれ横断歩道の予告標示が含まれている。但し、図5(b)の左側の状態では、連結画像PIC54、PIC55には相対的に位置誤差があるため、標示の位置がずれている。
この状態で、オペレータが、2組の対応点を指定したとする。対応点P54、P53の組と、対応点P56、P55の組である。連結画像PIC54では、連結画像PIC55に含まれる予告標示M52は全体が描かれており、連結画像PIC54に含まれる予告標示M51は一部が消えている。このような状態であっても、対応点P55、P56が対応することは明らかであるため、対応点として指定することは可能である。
このように複数組の対応点が指定されると、連結画像PIC54を基準として、それぞれの対応点が一致するように、連結画像PIC55を移動させる。ただし、対応点P53をP54に一致させるための第1の移動量と、対応点P55をP56に一致させるための第2の移動量とが同じであるとは限らない。そこで、対応点P53とP55との間の領域では、第1の移動量、第2の移動量を直線補間して、各点の移動量を設定する。こうすることにより、予告標示のずれが解消した状態の道路画像PIC56を得ることができる。
FIG. 5B shows a processing method when a plurality of corresponding points are designated. In the figure, two linked images PIC54 and PIC55 are drawn. Each of these includes a warning sign for a pedestrian crossing. However, in the state on the left side of FIG. 5B, since the linked images PIC54 and PIC55 have a relative position error, the positions of the markings are shifted.
In this state, it is assumed that the operator has specified two sets of corresponding points. A pair of corresponding points P54 and P53 and a pair of corresponding points P56 and P55. In the linked image PIC54, the entire warning sign M52 included in the linked image PIC55 is drawn, and a part of the warning sign M51 included in the linked image PIC54 has disappeared. Even in such a state, since it is clear that the corresponding points P55 and P56 correspond, it is possible to designate them as corresponding points.
When a plurality of sets of corresponding points are designated in this way, the linked image PIC 55 is moved so that the corresponding points match with the linked image PIC 54 as a reference. However, the first movement amount for matching the corresponding point P53 with P54 and the second movement amount for matching the corresponding point P55 with P56 are not necessarily the same. Therefore, in the region between the corresponding points P53 and P55, the first movement amount and the second movement amount are linearly interpolated to set the movement amount of each point. By doing so, it is possible to obtain the road image PIC 56 in a state in which the shift of the notice sign is eliminated.

図5(b)中には、透明化ポリゴンの設定例も併せて示した。
この例では、連結画像PIC54中の予告標示M51は半分が欠けている。この状態で位置合わせを行うと、この例では、連結画像PIC54をPIC55の上側に重ねるように表示しているから、連結画像PIC55の予告標示M52は、連結画像PIC54によって覆い隠されてしまう。この結果、連結画像PIC55では完全な状態で描かれている標示M52を道路画像PIC56で活かすことができない。
そこで、このような場合に、オペレータの指示によって予告標示M52を取り囲むように透明化ポリゴンTP50を設定する。透明化ポリゴンTP50が設定された箇所では、上側の連結画像が透明化され、切り取られたように表示される。この結果、透明化ポリゴンTP50の部分では、連結画像PIC54の下側に配置された連結画像PIC55に描かれている予告標示M52が表示される。
本実施例では、このように透明化ポリゴンを設定可能とすることによって、それぞれの連結画像で描かれている標示を、道路画像においても有効活用することができる。
FIG. 5B also shows an example of setting a transparent polygon.
In this example, half of the notice sign M51 in the linked image PIC54 is missing. If alignment is performed in this state, in this example, the connected image PIC54 is displayed so as to be superimposed on the upper side of the PIC55, so the notice sign M52 of the connected image PIC55 is covered by the connected image PIC54. As a result, the sign M52 drawn in the complete state in the connected image PIC55 cannot be utilized in the road image PIC56.
Therefore, in such a case, the transparent polygon TP50 is set so as to surround the notice sign M52 according to an instruction from the operator. At the place where the transparent polygon TP50 is set, the upper connected image is made transparent and displayed as if it was cut out. As a result, in the part of the transparent polygon TP50, the notice sign M52 drawn on the connection image PIC55 arranged below the connection image PIC54 is displayed.
In this embodiment, by making the transparent polygons settable in this way, the signs drawn in the respective connected images can be used effectively in the road image.

図6は交差点が存在する場合の位置合わせの手順を示す説明図である。図の煩雑化を避けるため、ここでは連結画像のパスの位置関係のみを示した。図中には、2つの交差点周辺の道路が描かれている。縦の道路では、それぞれパスBP61、BP62に沿って連結画像が得られているとする。横の道路については、破線で示したパスBP63b、BP64b、NP61bに沿って連結画像が得られているとする。   FIG. 6 is an explanatory diagram showing a procedure for alignment when an intersection exists. In order to avoid complication of the figure, only the positional relationship of the paths of the connected images is shown here. In the figure, roads around two intersections are drawn. It is assumed that connected images are obtained along the paths BP61 and BP62 on the vertical road, respectively. For the horizontal road, it is assumed that a connected image is obtained along the paths BP63b, BP64b, and NP61b indicated by broken lines.

本実施例では、複数のパス間の位置合わせを行う際には、いずれか一つのパスを基準パスに設定し、他のパスを平行移動して基準パスに合わせる。基準パス以外のパスを、以下、標準パスと呼ぶものとする。基準パスおよび標準パスは、任意の方法で設定可能であるが、本実施例では、後述する通り、位置精度が高いものを基準パスとして設定している。
図6の例では、縦の道路については、それぞれ単一のパスしか存在しないため、パスBP61、BP62が基準パスとなる。
横の道路については、区間D61ではパスBP63bとNP61bのうち位置精度が高い側を基準パスとし、区間D62についてはBP64bとNP61bのうち位置精度が高い側を基準パスとする。ここでは、それぞれパスBP63b、BP64bが基準パスとして設定されているものとする。更に、パスBP63b、BP64b間の位置精度を比較して、優劣を決める。パスBP63b、BP64bはそれぞれ区間D61、D62の基準パスではあるが、一本の道路に配置された連続するパスなので、これらのパス間でも位置合わせを行う必要があるからである。図6の例では、パスBP63bの方が、パスBP64bよりも位置精度が高いものとする。
この結果、横のパスについては、基準パスBP63b>基準パスBP64b>標準パスNP61bの順に位置合わせの優先度が定まる。
In this embodiment, when positioning between a plurality of paths, any one path is set as a reference path, and the other paths are translated to match the reference path. A path other than the reference path is hereinafter referred to as a standard path. Although the reference path and the standard path can be set by an arbitrary method, in this embodiment, as described later, a path with high position accuracy is set as the reference path.
In the example of FIG. 6, there is only a single path for each vertical road, so the paths BP61 and BP62 are the reference paths.
For the side road, in the section D61, the side having higher position accuracy among the paths BP63b and NP61b is set as a reference path, and for the section D62, the side in BP64b and NP61b having higher position accuracy is set as the reference path. Here, it is assumed that the paths BP63b and BP64b are set as reference paths, respectively. Further, the superiority or inferiority is determined by comparing the positional accuracy between the paths BP63b and BP64b. This is because the paths BP63b and BP64b are reference paths of the sections D61 and D62, respectively, but are continuous paths arranged on one road, and therefore it is necessary to perform alignment between these paths. In the example of FIG. 6, it is assumed that the path accuracy of the path BP63b is higher than that of the path BP64b.
As a result, for the horizontal path, the alignment priority is determined in the order of the reference path BP63b> reference path BP64b> standard path NP61b.

次に、上述の優先度に従って、それぞれのパスの位置合わせを行う。縦のパスBP61、BP62は既に位置合わせが完了しているものとする。
まず、基準パスBP63bの位置合わせを行う。オペレータの指示によって、基準パスBP63b上の対応点P63bが指定され、その本来の位置として、点P63aが指定されたとする。この結果、基準パスBP63bは、対応点P63bが、点P63aに一致するように移動され、実線で示した基準パスBP63aが得られる。
図示を省略したが、基準パスBP63bに対応した連結画像も基準パスBP63aに合わせて移動する。本実施例では、基準パスBP63bに沿って路面テクスチャを配置することによって連結画像を表示しており、これらの路面テクスチャを合成してはいない。従って、基準パスBP63aへの移動が行われた場合には、基準パスBP63aに沿うように、各路面テクスチャの位置を平行移動することによって、基準パスBP63aの連結画像を得ることができる。
Next, each path is aligned according to the above-described priority. Assume that the vertical paths BP61 and BP62 have already been aligned.
First, alignment of the reference path BP63b is performed. It is assumed that the corresponding point P63b on the reference path BP63b is designated by the operator's instruction, and the point P63a is designated as its original position. As a result, the reference path BP63b is moved so that the corresponding point P63b coincides with the point P63a, and the reference path BP63a indicated by the solid line is obtained.
Although not shown, the connected image corresponding to the reference path BP63b also moves in accordance with the reference path BP63a. In the present embodiment, the connected images are displayed by arranging road surface textures along the reference path BP63b, and these road surface textures are not synthesized. Therefore, when the movement to the reference path BP63a is performed, a connected image of the reference path BP63a can be obtained by translating the position of each road surface texture along the reference path BP63a.

次に、基準パスBP64bの位置合わせを行う。オペレータの指示によって、基準パスBP64b上の対応点P65b、P64bが指定され、その本来の位置として、点P65a、P64aが指定されたとする。この対応点は、基準パスBP63aの連結画像に基づいて指定されている。つまり、基準パスBP63bを基準パスBP63aに位置合わせする処理の結果に応じて、基準パスBP64bの位置合わせは影響を受けることになる。
対応点が指定されると、基準パスBP64bは、対応点P65b、P64bが、点P65a、P64aに一致するように移動され、実線で示した基準パスBP64aが得られる。これに合わせて、基準パスBP64bの連結画像を構成していた路面テクスチャも、それぞれ基準パスBP64a上に平行移動される。
Next, the reference path BP64b is aligned. It is assumed that corresponding points P65b and P64b on the reference path BP64b are designated by the operator's instruction, and points P65a and P64a are designated as their original positions. This corresponding point is designated based on the connected image of the reference path BP63a. That is, the alignment of the reference path BP64b is affected according to the result of the process of aligning the reference path BP63b with the reference path BP63a.
When the corresponding point is designated, the reference path BP64b is moved so that the corresponding points P65b and P64b coincide with the points P65a and P64a, and the reference path BP64a indicated by the solid line is obtained. In accordance with this, the road surface texture constituting the connected image of the reference path BP64b is also translated on the reference path BP64a.

最後に、標準パスNP61bの位置合わせを行う。オペレータの指示によって、標準パスNP61b上の対応点P68b、P67b、P66bが指定され、その本来の位置として、点P68a、P67a、P66aが指定されたとする。この対応点は、基準パスBP63a、BP64aの連結画像に基づいて指定されている。つまり、基準パスBP63bを基準パスBP63aに位置合わせする処理、および基準パスBP64bを基準パスBP64aに位置合わせする処理の結果に応じて、標準パスNP61bの位置合わせは影響を受けることになる。
対応点が指定されると、標準パスNP61bは、対応点P68b、P67bが、点P68a、P67aに一致するように移動されるとともに、対応点P67b、P66bが、点P67a、P66aに一致するように移動される。これらの3点は一直線上にはないから、結果として、標準パスNP61bは、折れ線状の標準パスN61aに移動される。これに合わせて、標準パスNP61bの連結画像を構成していた路面テクスチャも、それぞれ標準パスNP61a上に平行移動される。
Finally, the standard path NP61b is aligned. It is assumed that corresponding points P68b, P67b, and P66b on the standard path NP61b are specified by an operator's instruction, and points P68a, P67a, and P66a are specified as their original positions. This corresponding point is designated based on the connected image of the reference paths BP63a and BP64a. That is, the alignment of the standard path NP61b is affected by the result of the process of aligning the reference path BP63b with the reference path BP63a and the process of aligning the reference path BP64b with the reference path BP64a.
When the corresponding point is designated, the standard path NP61b is moved so that the corresponding points P68b and P67b coincide with the points P68a and P67a, and the corresponding points P67b and P66b coincide with the points P67a and P66a. Moved. Since these three points are not on a straight line, as a result, the standard path NP61b is moved to the broken line-shaped standard path N61a. In accordance with this, the road surface texture constituting the connected image of the standard path NP61b is also translated on the standard path NP61a.

本実施例では、図6に示すように複数のパスが存在する場合には、以上で説明した手順によって、位置精度が高いパスから優先的に位置合わせが行われる。こうすることによって、全体の位置精度を十分に確保しつつ位置合わせを行うことができる。
例えば、図6の処理において、位置精度が低い順、つまり標準パスNP61b、基準パスBP64b、基準パスBP63bの順に位置合わせをしたとする。この場合には、基準パスBP64bの位置合わせは、標準パスNP61bの位置合わせの影響を受け、位置精度が低下する。基準パスBP63bの位置合わせは、標準パスNP61b、基準パスBP64bの位置合わせの影響を受け、位置精度が低下する。従って、位置精度が低い順に位置合わせを行うと、パス間の相互作用によって全体の位置精度が低下してしまう。
本実施例では、これとは逆に、位置精度が高い順に位置合わせを行う。従って、最も位置精度が高いパスの位置精度を劣化させることなく、全体の位置合わせを行うことが可能となるのである。
In the present embodiment, when there are a plurality of paths as shown in FIG. 6, alignment is performed preferentially from a path with high position accuracy by the procedure described above. By doing so, it is possible to perform alignment while ensuring sufficient overall position accuracy.
For example, in the processing of FIG. 6, it is assumed that alignment is performed in the order of low position accuracy, that is, in order of the standard path NP61b, the reference path BP64b, and the reference path BP63b. In this case, the alignment of the reference path BP64b is affected by the alignment of the standard path NP61b, and the position accuracy decreases. The alignment of the reference path BP63b is affected by the alignment of the standard path NP61b and the reference path BP64b, and the position accuracy is lowered. Therefore, if the alignment is performed in the order from the lowest position accuracy, the overall position accuracy decreases due to the interaction between the paths.
In the present embodiment, on the contrary, the alignment is performed in the descending order of positional accuracy. Therefore, it is possible to perform the entire alignment without deteriorating the position accuracy of the path having the highest position accuracy.

C.路面標示地図生成方法:
以下、図1〜6で説明した路面標示地図の生成方法について、オペレータが必要に応じて指示を行う場合を例にとって、詳細に説明する。
まず、連結画像生成処理、つまり図2中の路面テクスチャ210c、路面軌跡データ210bに基づいて各パスの連結画像210dを得る処理について説明する。
次に、位置合わせ加工、つまり複数パスに対する連結画像210dの位置合わせを行う処理、および位置合わせ加工の中で行われる基準パス設定処理、連結画像移動処理について説明する。
また、透明化ポリゴンの設定処理について説明する。
上述の一連の処理においては、路面標示地図生成装置が連結画像内の標示の位置を表示するようにすれば、オペレータが対応点や透明化ポリゴンの位置を容易に指定可能となる。また、自動的に対応点を特定したり、透明化ポリゴンを設定したりすることも可能となる。こうした処理を可能にするための処理として、最後に、ペイント認識処理について説明する。
C. Road marking map generation method:
Hereinafter, the method for generating the road marking map described with reference to FIGS. 1 to 6 will be described in detail by taking as an example a case where an operator gives an instruction as necessary.
First, a connected image generation process, that is, a process of obtaining a connected image 210d of each path based on the road surface texture 210c and the road surface trajectory data 210b in FIG. 2 will be described.
Next, registration processing, that is, processing for positioning the connected image 210d with respect to a plurality of passes, reference path setting processing, and connected image movement processing performed during the positioning processing will be described.
Also, the transparent polygon setting process will be described.
In the series of processes described above, if the road marking map generating apparatus displays the position of the marking in the connected image, the operator can easily specify the corresponding point and the position of the transparent polygon. It is also possible to automatically identify corresponding points and set transparent polygons. Finally, a paint recognition process will be described as a process for enabling such a process.

C1.連結画像生成処理:
図7は連結画像生成処理のフローチャートである。ハードウェア的には路面標示地図生成装置200のCPUが実行する処理である。これは、図2に示した画像変換部206、1パス合成部207の処理に相当する。
処理を開始すると、CPUは、まずフレームデータを読み込む(ステップS10)。フレームデータとは、道路面撮影システム100(図1)のビデオカメラ120で撮影された画像データ142を構成する各フレームの画像である。
C1. Connected image generation processing:
FIG. 7 is a flowchart of linked image generation processing. In terms of hardware, this is a process executed by the CPU of the road marking map generating apparatus 200. This corresponds to the processing of the image conversion unit 206 and the one-pass synthesis unit 207 shown in FIG.
When the process is started, the CPU first reads frame data (step S10). The frame data is an image of each frame constituting the image data 142 photographed by the video camera 120 of the road surface photographing system 100 (FIG. 1).

図中にフレームデータの例を示した。ビデオカメラ120は、道路面撮影システム100の前方に向けて設置されているため、フレームデータには、車両の前方の道路、前方車両などが写っている。本実施例では、道路面の画像を生成したいため、このフレームデータの一部の領域を切り出して使用する。図中の領域A71は、道路面のみが含まれるように設定された切り出し領域を現している。本実施例では、車両の前方5〜7mの領域の画像を取得するように領域A71を設定した。領域A71の各フレーム内での相対的な位置は一定である。
領域A71は、上述の例に限らず、任意に設定可能である。ビデオカメラ120が一定のフレームレートで画像を撮影するため、フレームデータは、道路面を間欠的に撮影した画像群となる。従って、領域A71は、間欠的に撮影された画像群を並べた時に、道路が連続画像として再現できるように範囲を決定することが好ましい。例えば、領域A71の縦幅を狭くすれば、車両の速度が速い場合には、あるフレームデータから切り出された領域と、次のフレームデータから切り出された領域との間に隙間が生じやすくなる。一方、領域A71の縦幅を広くすれば、前方車両や空、建物など、道路画像とは異なる雑多な映像が含まれやすくなる。領域A71は、これらの影響を考慮した上で、設定すればよい。
An example of frame data is shown in the figure. Since the video camera 120 is installed toward the front of the road surface photographing system 100, the frame data includes a road ahead of the vehicle, a vehicle ahead, and the like. In this embodiment, since it is desired to generate an image of the road surface, a partial region of this frame data is cut out and used. A region A71 in the figure represents a cut-out region set to include only the road surface. In this embodiment, the area A71 is set so as to acquire an image of an area 5 to 7 m ahead of the vehicle. The relative position of the area A71 in each frame is constant.
The area A71 is not limited to the above example, and can be set arbitrarily. Since the video camera 120 captures images at a constant frame rate, the frame data is an image group obtained by intermittently capturing the road surface. Therefore, it is preferable to determine the range of the area A71 so that the road can be reproduced as a continuous image when the group of images photographed intermittently are arranged. For example, if the vertical width of the area A71 is narrowed, a gap is likely to be generated between an area cut out from certain frame data and an area cut out from the next frame data when the vehicle speed is high. On the other hand, if the vertical width of the area A71 is increased, miscellaneous images different from the road image such as the preceding vehicle, the sky, and the building are easily included. The area A71 may be set in consideration of these influences.

次に、CPUは、取得されたフレームデータを正射画像(路面テクスチャ)に画像変換する(ステップS12)。図中に処理の概要を示した。上側にはフレームデータの例である。ここでは路面の状態のみが撮影され、道路の左右の車線規制線L71、L72および標示M7が写されている例を示した。前方を撮影した画像であるため、パース(遠近法)の影響で、本来平行な車線規制線L71、L72が、ハの字状に写されている。
先に説明した通り、このフレームデータの一部の領域A71を切り出して使用する。
下段には、領域A71の画像を正射投影変換した状態を例示した。道路を真上から見た画像に変換するため、左右の車線規制線L71、L72は図示する通り、平行な線分に変換される。標示M7も同様に真上から見た状態の形状に変換される。
Next, the CPU converts the acquired frame data into an orthogonal image (road surface texture) (step S12). The outline of the processing is shown in the figure. On the upper side is an example of frame data. Here, an example is shown in which only the road surface state is photographed, and the left and right lane regulation lines L71 and L72 and the sign M7 are photographed. Since this is an image of the front, the lane restriction lines L71 and L72 that are essentially parallel are shown in a square shape under the influence of perspective (perspective).
As described above, a partial area A71 of this frame data is cut out and used.
The lower part illustrates a state in which the image of the area A71 is orthographically converted. In order to convert the road into an image viewed from directly above, the left and right lane regulation lines L71 and L72 are converted into parallel line segments as shown in the figure. The sign M7 is similarly converted into a shape as seen from directly above.

正射投影変換の方法を説明する。
まず、道路面撮影システム100を搭載した車両は水平面上を走行しており、被写体である道路も同一水平面上にあるものとする。
この時、道路画像、即ちフレームデータの画面上の2次元座標をm=[u,v]とする。また、地面に固定された世界座標系の3次元座標をM=[X,Y,Z]とする。これらの各座標に1の要素を直積で加えたベクトルを、次式(1)の通り定義する。
An orthographic projection conversion method will be described.
First, it is assumed that a vehicle on which the road surface photographing system 100 is mounted is traveling on a horizontal plane, and a road as a subject is also on the same horizontal plane.
At this time, the road image, that is, the two-dimensional coordinates on the screen of the frame data is m = [u, v] T. Further, the three-dimensional coordinate of the world coordinate system fixed to the ground is M = [X, Y, Z] T. A vector obtained by adding one element to each of these coordinates as a direct product is defined as the following equation (1).

3次元座標Mと、その投影画像の2次元座標mとの関係を以下の関係式(2)(3)によりモデル化する。   The relationship between the three-dimensional coordinate M and the two-dimensional coordinate m of the projected image is modeled by the following relational expressions (2) and (3).

ここで、sはスケール・ファクター;
[Rt]は、外部パラメータ行列;
Rは回転行列;
tは平行移動行列;
Aは内部パラメータ行列である。
Where s is the scale factor;
[Rt] is an external parameter matrix;
R is a rotation matrix;
t is a translation matrix;
A is an internal parameter matrix.

内部パラメータ行列Aは、ビデオカメラ120の焦点距離等を考慮した内部的なパラメータであり、実画像座標系(xy座標系)からフレーム座標系(uv座標系)への写像パラメータを表す。
α、βはそれぞれu軸、v軸方向のスケール因子、γは2つの画像軸のスキューにより表されるパラメータ;
[u0,v0は、画像の主点の座標(主点座標)である。
画像のピクセルサイズを(k、k)、u軸とv軸とのなす角をθ、焦点距離をfとすると、α、β、γは次式(4)で表される。
The internal parameter matrix A is an internal parameter considering the focal length of the video camera 120 and the like, and represents a mapping parameter from the real image coordinate system (xy coordinate system) to the frame coordinate system (uv coordinate system).
α and β are scale factors in the u-axis and v-axis directions, respectively, and γ is a parameter represented by the skew of the two image axes;
[U 0 , v 0 ] T is the coordinate (principal point coordinate) of the principal point of the image.
Assuming that the pixel size of the image is (k u , k v ), the angle between the u axis and the v axis is θ, and the focal length is f, α, β, and γ are expressed by the following equation (4).

外部パラメータ行列[Rt]は、ビデオカメラ120の設置位置、設置姿勢などによる外部的なパラメータであり、世界座標系(XYZ座標系)から実画像座標系(xy座標系)への写像パラメータを表す。世界座標系は、ビデオカメラ120の真下の路面を原点とし、車両の進行方向に対し垂直な水平軸をX軸、鉛直軸をY軸、進行方向の水平軸をZ軸とする。
平行移動ベクトルtは、世界座標系において原点に対する実画像の画像主点の移動ベクトルである。
ビデオカメラ120の高さ(実画像の画像主点の高さ)をhとすると、平行移動ベクトルtは次式(5)で表される。
The external parameter matrix [Rt] is an external parameter depending on the installation position, installation posture, and the like of the video camera 120, and represents a mapping parameter from the world coordinate system (XYZ coordinate system) to the real image coordinate system (xy coordinate system). . In the world coordinate system, the road surface directly below the video camera 120 is the origin, the horizontal axis perpendicular to the traveling direction of the vehicle is the X axis, the vertical axis is the Y axis, and the horizontal axis in the traveling direction is the Z axis.
The parallel movement vector t is a movement vector of the image principal point of the real image with respect to the origin in the world coordinate system.
When the height of the video camera 120 (the height of the main image point of the actual image) is h, the translation vector t is expressed by the following equation (5).

また、世界座標系において、実画像のヘディング方向の回転角(ヨー角)をφ、ピッチ角をω、ロール角をκとすると、回転行列Rは次式(6)で表される。
In the world coordinate system, if the rotation angle (yaw angle) in the heading direction of the real image is φ, the pitch angle is ω, and the roll angle is κ, the rotation matrix R is expressed by the following equation (6).

内部パラメータ行列Aは、事前の測定によって得られる。
ヨー角φ、ピッチ角ω、ロール角κおよび画像主点の高さhは、次の手順で得られる。まず、初期状態、即ち車両が水平な地面に設置されている状態において、ヨー角φ0、ピッチ角ω0、ロール角κ0、および高さh0の基準値を計測しておく。次に、走行中には逐次、車両の姿勢角の変化および車高の変化をジャイロ、加速度センサ等で記録しておき、上述の基準値にこの変化を反映することで、各地点でのヨー角φ、ピッチ角ω、ロール角κおよび高さを得ることができる。
The internal parameter matrix A is obtained by a prior measurement.
The yaw angle φ, pitch angle ω, roll angle κ, and height h of the image principal point are obtained by the following procedure. First, in an initial state, that is, a state where the vehicle is installed on a horizontal ground, reference values of the yaw angle φ 0 , the pitch angle ω 0 , the roll angle κ 0 , and the height h 0 are measured. Next, while driving, the change in the vehicle attitude angle and the change in vehicle height are recorded with a gyroscope, an acceleration sensor, etc., and this change is reflected in the above-mentioned reference value. The angle φ, the pitch angle ω, the roll angle κ, and the height can be obtained.

正射投影変換は、これらのパラメータに基づき、式(2)を用いることにより、行われ、フレーム座標系(uv座標系)の道路画像を、世界座標系(XYZ座標系)の投射道路画像に変換することができる。その手順は次の通りである。
まず、被写体である道路面を水平面(Y=0)の画像であると仮定する。この時、式(2)より、次式(7)の関係が成立する。
The orthographic projection conversion is performed by using the equation (2) based on these parameters, and a road image in the frame coordinate system (uv coordinate system) is converted into a projected road image in the world coordinate system (XYZ coordinate system). Can be converted. The procedure is as follows.
First, it is assumed that the road surface as a subject is an image of a horizontal plane (Y = 0). At this time, the relationship of the following equation (7) is established from the equation (2).

この結果、ピクセル(u,v)に対する世界座標(X,Z)およびスケールパラメータsは次式(8)により求めることができる。   As a result, the world coordinates (X, Z) and the scale parameter s for the pixel (u, v) can be obtained by the following equation (8).

次に、路面標示地図生成装置200のCPUは、被写体である道路面の傾斜を考慮した補正を行う。
まず、フレームデータを取得した各地点の位置座標データ(X,Y,Z)と、被写体である道路面付近の複数点の位置座標(X,Y,Z)とから、被写体である道路面の勾配を計算する。本実施例では、勾配は一様であるものと仮定した。
具体的には、撮影地点の世界座標点(X,Y,Z)付近の位置座標データから、高さの変化Δhを求める。つまり、Δh=Y−Yである。この時、一様な勾配を仮定すると、道路面上の世界座標系(X’,Y’,Z’)の点の奥行きZ’は次式(9)で求めることができる。
Next, the CPU of the road marking map generating apparatus 200 performs correction in consideration of the inclination of the road surface that is the subject.
First, from the position coordinate data (X 0 , Y 0 , Z 0 ) of each point where the frame data is acquired, and the position coordinates (X i , Y i , Z i ) of a plurality of points near the road surface that is the subject, The slope of the road surface that is the subject is calculated. In this embodiment, it is assumed that the gradient is uniform.
Specifically, the height change Δh is obtained from position coordinate data in the vicinity of the world coordinate point (X, Y, Z) of the shooting point. That is Δh = Y-Y 0. At this time, assuming a uniform gradient, the depth Z ′ of the points in the world coordinate system (X ′, Y ′, Z ′) on the road surface can be obtained by the following equation (9).

補正した道路面上の奥行きZ’が決まると、式(2)より、フレーム座標点(u,v)と世界座標点(X’,Y’,Z’)との関係は次式(10)の通りとなる。   When the corrected depth Z ′ on the road surface is determined, the relationship between the frame coordinate point (u, v) and the world coordinate point (X ′, Y ′, Z ′) is expressed by the following equation (10) from the equation (2). It becomes as follows.

これより、世界座標点のX’,Y’を次式(11)によって計算することができる。
Thus, X ′ and Y ′ of the world coordinate point can be calculated by the following equation (11).

以上の通り、フレームデータ上の点(u,v)を、それぞれ(X’,Z’)に写像すれば、正射画像(路面テクスチャ)を得ることができる。図7中に示すように、フレームデータを矩形の領域A71で切り出した上で正射投影すると、上方が広がる台形状の正射画像(路面テクスチャ)A72が得られる。
本実施例では、後に続く処理の便宜のため、正射画像(路面テクスチャ)を低解像度/高解像度の2通りで生成するものとした。高解像度の正射画像(路面テクスチャ)(以下、「高解像度画像」と呼ぶ)は、もとのフレームデータの切り出し領域A71をそのまま利用して生成された画像、即ち原画像と同じ解像度で生成された画像である。低解像度の正射画像(路面テクスチャ)(以下、「低解像度画像」と呼ぶ)は、解像度を原データよりも下げた画像である。低解像度画像の解像度は、路面標示地図生成装置200が軽い負荷で画像を表示することができる程度の値とすることが好ましく、原画像の解像度の半分など、任意に設定可能である。
As described above, an orthographic image (road surface texture) can be obtained by mapping the point (u, v) on the frame data to (X ′, Z ′), respectively. As shown in FIG. 7, when the frame data is cut out in a rectangular area A71 and orthographically projected, a trapezoidal orthographic image (road surface texture) A72 spreading upward is obtained.
In the present embodiment, for the convenience of the subsequent processing, the orthographic image (road surface texture) is generated in two ways of low resolution / high resolution. A high-resolution orthographic image (road texture) (hereinafter referred to as a “high-resolution image”) is generated with the same resolution as the original image, ie, an image generated by using the cut-out area A71 of the original frame data as it is. It is an image that was made. A low-resolution orthographic image (road surface texture) (hereinafter referred to as a “low-resolution image”) is an image whose resolution is lower than that of the original data. The resolution of the low-resolution image is preferably set to such a value that the road marking map generating apparatus 200 can display the image with a light load, and can be arbitrarily set such as half the resolution of the original image.

次に、路面標示地図生成装置200のCPUは、得られた正射画像(路面テクスチャ)を配置して1パス画像の合成を行う(ステップS14)。図中に1パス画像合成の例を示した。この例では、正射画像(路面テクスチャ)A72[0]〜A72[5]が合成されている。
各正射画像(路面テクスチャ)A72は、フレーム座標系(uv座標系)の原点に対応する点を、各フレームデータの撮影時の位置座標に基づいて配置すればよい。フレームデータは車両の位置よりも前方を写したものであるため、正射画像(路面テクスチャ)は、車両位置から一定距離だけ前方に移動させた地点に配置する必要がある。本実施例では、フレームデータ毎に車両位置とフレーム座標系の位置関係を計算して配置する。また、正射画像(路面テクスチャ)は、時系列的に古い画像から新しい画像に順次、配置するものとした。
このように正射画像(路面テクスチャ)を配置することによって、道路面の車線境界線L71、L72および標示M7が再現される。
本実施例では、連結画像生成処理の段階では、正射画像(路面テクスチャ)を1枚の画像に結合することなく、配置して表示する状態に留めている。従って、1パス画像合成処理(ステップS14)で生成されるのは、合成画像ではなく、各正射画像(路面テクスチャ)の配置を決定する情報となる。もっとも、この処理において、正射画像(路面テクスチャ)を1枚の画像に結合する方法を採ることもできる。
Next, the CPU of the road marking map generating apparatus 200 arranges the obtained orthographic image (road surface texture) and synthesizes a one-pass image (step S14). An example of 1-pass image synthesis is shown in the figure. In this example, orthographic images (road surface texture) A72 [0] to A72 [5] are synthesized.
In each orthographic image (road surface texture) A72, a point corresponding to the origin of the frame coordinate system (uv coordinate system) may be arranged based on the position coordinates at the time of shooting each frame data. Since the frame data is a forward image of the position of the vehicle, the orthographic image (road surface texture) needs to be arranged at a point moved forward by a certain distance from the vehicle position. In this embodiment, the positional relationship between the vehicle position and the frame coordinate system is calculated and arranged for each frame data. In addition, the orthographic image (road surface texture) is sequentially arranged from the old image to the new image in time series.
By arranging the orthographic image (road surface texture) in this way, the lane boundary lines L71 and L72 and the marking M7 on the road surface are reproduced.
In the present embodiment, at the stage of the connected image generation processing, the orthographic image (road surface texture) is kept arranged and displayed without being combined with one image. Therefore, what is generated by the one-pass image synthesis process (step S14) is not a synthesized image but information that determines the arrangement of each orthogonal image (road surface texture). However, in this process, a method of combining an orthographic image (road surface texture) into one image can be adopted.

C2.位置合わせ加工:
図8は位置合わせ加工のフローチャートである。ハードウェア的には路面標示地図生成装置200のCPUが実行する処理である。これは、図2に示した位置合わせ処理部220の処理に相当する。
処理を開始すると、CPUは、まず処理の対象となる道路(以下、「対象道路」と言う)についてのオペレータからの指定を入力する(ステップS20)。そして、対象道路に対応する連結画像を入力する(ステップS22)。本実施例では、それぞれの道路について、走行位置を変えながら複数回走行して、路面画像を撮影している。従って、各走行に対応するパスに基づいて、それぞれ連結画像が生成されている。ステップS22では、これらの複数の連結画像を読み込む。
C2. Alignment processing:
FIG. 8 is a flowchart of alignment processing. In terms of hardware, this is a process executed by the CPU of the road marking map generating apparatus 200. This corresponds to the processing of the alignment processing unit 220 shown in FIG.
When the process is started, the CPU first inputs a designation from the operator regarding a road to be processed (hereinafter referred to as “target road”) (step S20). Then, a connected image corresponding to the target road is input (step S22). In this embodiment, each road is traveled a plurality of times while changing the travel position, and a road surface image is taken. Therefore, a connected image is generated based on the path corresponding to each run. In step S22, the plurality of connected images are read.

次に、CPUは基準パスを設定する(ステップS30)。基準パスとは、複数のパスの位置合わせをする際に、基準となるパスである。本実施例では、対象道路に対応するパスのうち、位置精度の評価値、即ち自己推定位置精度が最も高いものを選択する。基準パスの設定方法については、後述する。   Next, the CPU sets a reference path (step S30). The reference path is a path that serves as a reference when positioning a plurality of paths. In the present embodiment, among the paths corresponding to the target road, the evaluation value of the position accuracy, that is, the one having the highest self-estimated position accuracy is selected. The reference path setting method will be described later.

基準パスが設定されると、CPUはオペレータの操作に従い、各パスについて対応点を設定する処理を行う(ステップS40)。
本実施例では、図中に示すように、基準パスおよび標準パスの連結画像をディスプレイに表示し、オペレータが、マウスなどのポインティングデバイスを操作して、この画面内で対応点を設定するという方法を採った。図の例では、標準パスの画像内で菱形をした横断歩道予告標示の頂点を対応点として指定し、次に、これに対応する頂点を基準パスの画像内で指定する例を示した。対応点は、1点に限らず、複数の点を指定可能である。
後述するペイント認識処理が行われており、各連結画像内の標示が抽出されている場合には、CPUは、抽出した標示をディスプレイに表示し、オペレータがこの中から対応点として用いるべき標示を選択するようにしてもよい。また、連結画像間で抽出した標示の位置関係に基づいて、対応する標示を特定し、対応点や透明化ポリゴンを自動的に設定可能としてもよい。
When the reference path is set, the CPU performs processing for setting corresponding points for each path in accordance with the operation of the operator (step S40).
In this embodiment, as shown in the figure, a method of displaying a linked image of a reference path and a standard path on a display, and an operator operating a pointing device such as a mouse to set corresponding points in this screen. Was taken. In the example of the figure, the vertex of the pedestrian crossing warning sign having a rhombus shape in the standard path image is designated as the corresponding point, and then the corresponding vertex is designated in the reference path image. The corresponding points are not limited to one point, and a plurality of points can be designated.
When a paint recognition process, which will be described later, is performed and a sign in each connected image has been extracted, the CPU displays the extracted sign on the display, and the sign that the operator should use as a corresponding point from this is displayed. You may make it select. Further, it is possible to identify a corresponding label based on the positional relationship between the labels extracted between connected images, and to automatically set corresponding points and transparent polygons.

本実施例では、この連結画像の表示には、低解像度画像を用いる。こうすることにより、対応点を指定する際に、表示の移動、拡大・縮小を円滑に行うことができ、作業効率を高めることができる利点がある。   In this embodiment, a low-resolution image is used for displaying the connected image. By doing so, there is an advantage that when the corresponding point is designated, the display can be smoothly moved, enlarged and reduced, and the work efficiency can be improved.

対応点が指定されると、CPUは、対応点同士が一致するように、標準パスの連結画像を基準パスの連結画像に合わせるよう移動する処理を行って、位置合わせ加工を終了する(ステップS50)。
先に説明した通り、本実施例では、連結画像は一枚の合成画像として生成されている訳ではなく、正射画像(路面テクスチャ)を配置して表示している。従って、ステップS50の処理では、それぞれの正射画像(路面テクスチャ)を移動することで、連結画像の移動処理が行われる。移動処理と併せて、それぞれの正射画像を低解像度画像から高解像度画像に置換する処理が行われる。高解像度画像を用いて、正射画像を再配置する処理を行うものとしてもよい。
連結画像移動処理の内容は、後で詳述する。
When the corresponding point is designated, the CPU performs a process of moving the standard path connected image to match the reference path connected image so that the corresponding points match each other, and ends the alignment process (step S50). ).
As described above, in the present embodiment, the connected image is not generated as a single composite image, but an orthographic image (road surface texture) is arranged and displayed. Therefore, in the process of step S50, the movement process of a connected image is performed by moving each orthogonal image (road surface texture). Along with the movement process, a process of replacing each orthogonal image from a low resolution image to a high resolution image is performed. Processing for rearranging the orthographic image may be performed using the high-resolution image.
The contents of the connected image moving process will be described in detail later.

C3.基準パス設定処理:
図9は基準パス設定処理のフローチャートである。位置合わせ加工(図8)のステップS30に相当する処理であり、複数のパスの位置合わせをする際に、自己推定位置精度が最も高いものを基準パスとして設定するための処理である。
C3. Standard path setting process:
FIG. 9 is a flowchart of the reference path setting process. This process corresponds to step S30 of the alignment process (FIG. 8), and is a process for setting a reference path having the highest self-estimated position accuracy when aligning a plurality of paths.

CPUは、処理を開始すると、対象道路の各パスについて、フレーム画像が取得されている各地点での位置精度を入力する(ステップS31)。撮影時には、図中に示すように、パスにそって点P91,P92、P93等でフレーム画像を撮影するとともに、各点ごとに東西方向の位置精度AC1、南北方向の位置精度AC2が記録されている。   When starting the processing, the CPU inputs the position accuracy at each point where the frame image is acquired for each path of the target road (step S31). At the time of shooting, as shown in the figure, a frame image is shot along the path at points P91, P92, P93, etc., and position accuracy AC1 in the east-west direction and position accuracy AC2 in the north-south direction are recorded for each point. Yes.

一般にGPS114は、位置座標の検出に使用される人工衛星の配置、電波の受信状況、建造物などに反射した電波を受信することによるマルチパスの有無などによって検出精度が変動することが知られている。またディファレンシャル測位では、基準局の稼働状況によっても検出精度は影響を受ける。位置精度は、これらの影響を定量的に評価したものである。位置精度は、任意に定義可能であり、例えば、精度低下率(DOP(Dilution of Precision))等を用いても良い。   In general, it is known that the detection accuracy of the GPS 114 varies depending on the arrangement of artificial satellites used for detecting position coordinates, the reception status of radio waves, the presence of multipath by receiving radio waves reflected on buildings, and the like. Yes. In differential positioning, the detection accuracy is also affected by the operating status of the reference station. The position accuracy is a quantitative evaluation of these effects. The position accuracy can be arbitrarily defined. For example, a precision reduction rate (DOP (Dilution of Precision)) or the like may be used.

CPUは、各点の位置精度に基づいて、パスごとに自己推定位置精度σを算出する(ステップS32)。   The CPU calculates the self-estimated position accuracy σ for each path based on the position accuracy of each point (step S32).

自己位置推定精度は、GPSと、IMU、DMI等とのずれに基づいて定まる値としてもよい。この場合は、例えば、ずれ量の標準偏差を用いても良い。また、東西方向の標準偏差の自乗と、南北方向の標準偏差の自乗の和を求め、この平方根を自己位置推定精度として用いても良い。このように、GPSと、IMU、DMI等のずれ量に応じた値とする場合には、自己位置推定精度は、ずれが大きい程、大きい値となる。つまり、自己推定位置精度は値が小さい方が、精度が高いことを示す評価値となる。
各パスの自己推定位置精度σが得られると、CPUはこの値が最小となるパスを基準パスとして設定する(ステップS33)。対象道路に対して単一のパスしか存在しない場合には、無条件にそのパスが基準パスとして設定されることになる。この基準パスの自己推定位置精度をσとする。
The self-position estimation accuracy may be a value determined based on a difference between GPS and IMU, DMI, or the like. In this case, for example, a standard deviation of the deviation amount may be used. Alternatively, the sum of the square of the standard deviation in the east-west direction and the square of the standard deviation in the north-south direction may be obtained, and this square root may be used as the self-position estimation accuracy. As described above, when the GPS, IMU, DMI, and other values are used, the self-position estimation accuracy increases as the deviation increases. That is, the smaller the value of the self-estimated position accuracy is, the higher the accuracy is.
When the self-estimated position accuracy σ of each path is obtained, the CPU sets the path having the minimum value as the reference path (step S33). If there is only a single path for the target road, that path is unconditionally set as the reference path. Let the self-estimated position accuracy of this reference path be σ B.

ステップS33で設定された基準パスの自己推定位置精度σが、所定の閾値σTHよりも低い場合には(ステップS34)、基準パス設定処理を終了する。
これに対し、自己推定位置精度σが、所定の閾値σTH以上の場合には、エラー表示を行って(ステップS35)、処理を終了する。この場合には、基準パスの位置精度が十分確保されていないことを意味するため、位置合わせ処理を行っても、位置精度が十分に保証されないからである。
所定の閾値σTHは、上述の通り、路面標示地図として確保すべき位置精度に基づいて任意に設定可能である。
If the self-estimated position accuracy σ B of the reference path set in step S33 is lower than the predetermined threshold σ TH (step S34), the reference path setting process is terminated.
On the other hand, if the self-estimated position accuracy σ B is equal to or greater than the predetermined threshold σ TH , an error display is performed (step S35), and the process ends. In this case, it means that the position accuracy of the reference path is not sufficiently ensured, and therefore the position accuracy is not sufficiently ensured even if the alignment process is performed.
As described above, the predetermined threshold σ TH can be arbitrarily set based on the position accuracy to be secured as the road marking map.

エラー表示(ステップS35)を行うか否かの判断対象となるのは、基準パスの自己推定位置精度σのみとした。他の標準パスについては、自己推定位置精度が低い場合でも、基準パスを基準として位置合わせを行うことにより、位置精度を高めることが可能だからである。
もっとも、位置合わせ処理における修正は、いずれのパスに対してもできるだけ小さい方が、より好ましいと言える。従って、ステップS34において、全てのパスの自己推定位置精度を閾値σTHと比較し、いずれか一本でも、この閾値を下回る精度のパスが存在する場合にはエラー表示を行うようにしてもよい。
ただし、標準パスにも基準パスと同等の位置精度を要求すると、エラー表示が頻繁になされるおそれがある。かかる弊害を回避するため、標準パスでは基準パスよりも高い閾値σTHを用いるようにしてもよい。つまり、標準パスについては位置精度の要求を基準パスよりも緩めるのである。こうすることによって、標準パスについても最低限の位置精度を保証しつつ、エラー表示が頻繁になされるのを回避することができる。
It is only the self-estimated position accuracy σ B of the reference path that is the object of determination as to whether or not to perform error display (step S35). This is because, with respect to other standard paths, even if the self-estimated position accuracy is low, it is possible to improve the position accuracy by performing alignment with reference to the reference path.
However, it can be said that the correction in the alignment process is preferably as small as possible for any path. Therefore, in step S34, the self-estimated position accuracy of all the paths is compared with the threshold value σTH, and if any one of the paths has an accuracy lower than the threshold value, an error display may be performed. .
However, if the standard path is required to have the same position accuracy as the reference path, there is a possibility that error display is frequently performed. In order to avoid such an adverse effect, a higher threshold σ TH may be used in the standard path than in the reference path. In other words, for the standard path, the positional accuracy requirement is relaxed compared to the reference path. By doing so, it is possible to avoid frequent error display while guaranteeing the minimum position accuracy for the standard path.

C4.連結画像移動処理:
(1)フローチャート:
図10は連結画像移動処理のフローチャートである。位置合わせ処理(図8)のステップS50の処理に相当する。
処理を開始すると、CPUは移動対象となる標準パスのデータおよび対応点のデータを入力する(ステップS51)。標準パスのデータとは、フレーム画像が撮影された時の位置座標を順次、記録した点列からなる軌跡データである。対応点のデータは、図8のステップS20において、基準パスおよび標準パスが表示された画面内でオペレータが指定した対応点の座標値である。
C4. Connected image movement processing:
(1) Flow chart:
FIG. 10 is a flowchart of the connected image movement process. This corresponds to the processing in step S50 of the alignment processing (FIG. 8).
When the process is started, the CPU inputs standard path data and corresponding point data to be moved (step S51). The standard path data is trajectory data including a point sequence in which position coordinates when a frame image is taken are sequentially recorded. The corresponding point data is the coordinate value of the corresponding point designated by the operator in the screen on which the reference path and the standard path are displayed in step S20 of FIG.

CPUは、次に、標準パス上で正射画像(路面テクスチャ)が配置されている点ごとに、移動ベクトルを算出する(ステップS52)。
図中に移動ベクトルの算出例を示した。この例では、標準パスNP10について、対応点P101、P103が指定されているものとする。標準パス上には、図中に台形で示すように正射画像(路面テクスチャ)が配置されている。
Next, the CPU calculates a movement vector for each point where the orthographic image (road surface texture) is arranged on the standard path (step S52).
An example of movement vector calculation is shown in the figure. In this example, it is assumed that corresponding points P101 and P103 are designated for the standard path NP10. On the standard path, an orthographic image (road surface texture) is arranged as shown by a trapezoid in the drawing.

対応点P101、P103に対応する点としては、基準パス上では、対応点P102、P104が指定されているものとする。CPUは、これらの指定結果に基づき、対応点について移動ベクトルを求める。図の例では、標準パスの対応点P101からP102に向かう移動ベクトルV10と、対応点P103からP104に向かう移動ベクトルV11が得られる。   As points corresponding to the corresponding points P101 and P103, it is assumed that corresponding points P102 and P104 are designated on the reference path. The CPU obtains a movement vector for the corresponding points based on these designation results. In the illustrated example, a movement vector V10 from the corresponding point P101 to P102 of the standard path and a movement vector V11 from the corresponding point P103 to P104 are obtained.

対応点は、標示の頂点など、オペレータが基準パスと標準パスとで対応をとりやすい点を指定するため、必ずしも標準パスNP10上で指定されるとは限らない。対応点が標準パスNP10からずれた場所で指定されている場合には、図中に破線で示すように標準パスNP10からずれた場所に移動ベクトルV10aが得られる。従って、この移動ベクトルV10aの始点が標準パスNP10上に来るように、標準パスNP10に垂直方向に移動させて移動ベクトルV10を求めればよい。   The corresponding point is not necessarily specified on the standard path NP10 because the operator specifies a point such as the apex of the sign that the operator can easily correspond with the standard path and the standard path. When the corresponding point is specified at a location deviated from the standard path NP10, the movement vector V10a is obtained at a location deviated from the standard path NP10 as indicated by a broken line in the drawing. Therefore, the movement vector V10 may be obtained by moving in the vertical direction to the standard path NP10 so that the starting point of the movement vector V10a is on the standard path NP10.

対応点での移動ベクトルV10、V11が得られると、CPUは、これらを補間することによって、対応点P101、P103の間に位置する各点での移動ベクトルを求める。例えば、図中に示すように、フレーム画像の撮影地点PP10で移動ベクトルを求める場合には、この地点を始点とするように移動ベクトルV10、V11を平行移動し、両ベクトルの終点を結ぶ線分を、対応点P101〜PP10の距離、P103〜PP10の距離の比で内分する点を求める。こうすることによって、点PP10を始点とし、この内分点を終点とする移動ベクトルVP10を求めることができる。   When the movement vectors V10 and V11 at the corresponding points are obtained, the CPU obtains the movement vectors at the respective points located between the corresponding points P101 and P103 by interpolating these. For example, as shown in the figure, when the movement vector is obtained at the shooting point PP10 of the frame image, the movement vectors V10 and V11 are translated so that this point is the starting point, and a line segment connecting the end points of both vectors is obtained. Is internally divided by the ratio of the distance between corresponding points P101 to PP10 and the distance between P103 to PP10. By doing so, it is possible to obtain a movement vector VP10 starting from the point PP10 and ending at this internal dividing point.

2つの移動ベクトルV10、V11に挟まれた区間に存在しない点については、最も近い位置にある移動ベクトルをそのまま用いる。図中の例では、点P101よりも右側の区間では、移動ベクトルV10をそのまま用い、点P103の左側の区間では、移動ベクトルV11をそのまま用いることになる。
また、対応点が一つしか指定されておらず、移動ベクトルが一つしか与えられない場合は、この移動ベクトルを用いる。
For points that do not exist in the section between the two movement vectors V10 and V11, the movement vector at the closest position is used as it is. In the example in the figure, the movement vector V10 is used as it is in the section on the right side of the point P101, and the movement vector V11 is used as it is in the section on the left side of the point P103.
Further, when only one corresponding point is specified and only one movement vector is given, this movement vector is used.

CPUは以上の処理で得られた移動ベクトルに従って、正射画像(路面テクスチャ)を平行移動して(ステップS53)、連結画像移動処理を終了する。図の例では、標準パスNP10の点PP10に配置されていた路面テクスチャTX11が、移動ベクトルVP10に従って路面テクスチャTX12の位置に平行移動される例を示している。
この処理と併せて、標準パスNP10上の点PP10の位置も移動ベクトルVP10によって修正される。従って、ステップS53の処理では、路面テクスチャの移動と共に、標準パスNP10の軌跡も修正されることになる。
The CPU translates the orthographic image (road surface texture) according to the movement vector obtained by the above processing (step S53), and ends the connected image movement processing. In the example of the figure, an example is shown in which the road surface texture TX11 arranged at the point PP10 of the standard path NP10 is translated to the position of the road surface texture TX12 according to the movement vector VP10.
Along with this processing, the position of the point PP10 on the standard path NP10 is also corrected by the movement vector VP10. Therefore, in the process of step S53, the locus of the standard path NP10 is also corrected along with the movement of the road surface texture.

(2)位置合わせ加工の処理例(1):
図11は位置合わせ加工の処理例(1)を示す説明図である。図11(a)〜図11(c)のそれぞれには、標準パスNP11および基準パスBP11に対する連結画像を重ねて表示した状態を示している。図11(a)は標準パスNP11の連結画像を、基準パスBP11の連結画像よりも上に配置した状態である。先に説明した通り、連結画像は多数の路面テクスチャを配置することで構成されているが、図中には、説明の便宜上、一つの路面テクスチャTX11に輪郭を付して示した。
オペレータは、この画面中で、標準パスNP11における対応点P111を指定する。対応点P111は、任意に設定可能である。本実施例では、分離帯標示M11の白線の斜め縞模様の端点の一つを対応点P111として選択している。
(2) Positioning processing example (1):
FIG. 11 is an explanatory view showing a processing example (1) of alignment processing. Each of FIGS. 11A to 11C shows a state in which the linked images for the standard path NP11 and the reference path BP11 are displayed in an overlapping manner. FIG. 11A shows a state in which the connected image of the standard path NP11 is arranged above the connected image of the reference path BP11. As described above, the connected image is configured by arranging a large number of road surface textures, but for the sake of convenience of explanation, one road surface texture TX11 is illustrated with an outline.
The operator designates the corresponding point P111 in the standard path NP11 in this screen. The corresponding point P111 can be arbitrarily set. In this embodiment, one of the end points of the white stripe diagonal stripe pattern of the separation band sign M11 is selected as the corresponding point P111.

図11(b)は、基準パスBP11の連結画像を上側にして配置した状態を示している。この状態では、標準パスNP11と基準パスBP11の位置がずれている。従って、基準パスBP11の連結画像を上側に表示すると、対応点P111の位置は、分離帯標示M12の白線の斜め縞模様からずれてしまう。   FIG. 11B shows a state where the connected images of the reference path BP11 are arranged on the upper side. In this state, the positions of the standard path NP11 and the reference path BP11 are shifted. Therefore, when the connected image of the reference path BP11 is displayed on the upper side, the position of the corresponding point P111 is deviated from the diagonal stripe pattern of the white line of the separation band sign M12.

図11(c)は、基準パスBP11の連結画像を上側にした状態で、対応点P112を指定した状態を示している。つまり、基準パスBP11を上側にした画像内で、分離帯標示M11の白線の斜め縞模様の端点を対応点P112として選択すればよい。
対応点P112が指定されると、標準パスNP11の対応点P111から基準パスBP11の対応点P112に向かうように移動ベクトルV11が求められる。この移動ベクトルV11に従って、路面テクスチャTX11を移動すれば、対応点P111は対応点P112に一致し、分離帯標示M11、M12の位置も一致させることができる。
FIG. 11C shows a state in which the corresponding point P112 is specified with the connected image of the reference path BP11 facing upward. That is, in the image with the reference path BP11 on the upper side, the end point of the white stripe of the separation band sign M11 may be selected as the corresponding point P112.
When the corresponding point P112 is designated, the movement vector V11 is obtained so as to go from the corresponding point P111 of the standard path NP11 to the corresponding point P112 of the reference path BP11. If the road texture TX11 is moved according to the movement vector V11, the corresponding point P111 coincides with the corresponding point P112, and the positions of the separation band signs M11 and M12 can also coincide.

路面テクスチャTX11だけでなく、位置合わせ加工では、標準パスNP11を構成する他の路面テクスチャも同様に、移動ベクトルV11に従って移動させる。ここでは対応点を一つだけ指定した処理例を示したが、対応点は複数指定してもよい。例えば、図の例では、横断歩道の縞模様、停止線、車線境界線の端点などを対応点として利用することが考えられる。   In the alignment process, not only the road surface texture TX11 but also other road surface textures constituting the standard path NP11 are similarly moved according to the movement vector V11. Although an example of processing in which only one corresponding point is specified is shown here, a plurality of corresponding points may be specified. For example, in the example of the figure, it is conceivable to use the crossing stripe pattern, the stop line, the end point of the lane boundary line, or the like as the corresponding point.

(3)位置合わせ加工の処理例(2):
図12は位置合わせ加工の処理例(2)を示す説明図である。標準パスNP12、基準パスBP12の連結画像を重ねた状態を示した。説明の便宜上、双方の路面標示を視認可能な状態で示している。位置合わせ前は、標準パスNP12、基準パスBP12の位置がずれているため、車線境界線などの標示の位置はずれている。
オペレータは、ここでは破線での車線境界線の端点の一つを対応点として選択している。標準パスNP12については車線境界線L122の端点を対応点P122として選択し、基準パスBP12については車線境界線L121の端点を対応点P121として選択する。この結果、標準パスNP12の対応点P122から基準パスBP12の対応点P121に向かう移動ベクトルV12が定まる。
(3) Positioning processing example (2):
FIG. 12 is an explanatory view showing a processing example (2) of alignment processing. The state where the connected images of the standard path NP12 and the reference path BP12 are overlapped is shown. For convenience of explanation, both road markings are shown in a visible state. Before the alignment, the positions of the standard path NP12 and the reference path BP12 are deviated, and thus the positions of the markings such as the lane boundary line are deviated.
Here, the operator selects one of the end points of the lane boundary line indicated by a broken line as a corresponding point. For the standard path NP12, the end point of the lane boundary line L122 is selected as the corresponding point P122, and for the reference path BP12, the end point of the lane boundary line L121 is selected as the corresponding point P121. As a result, a movement vector V12 from the corresponding point P122 of the standard path NP12 toward the corresponding point P121 of the reference path BP12 is determined.

図13は位置合わせ加工の処理(2)の加工結果を示す説明図である。
上述の通り、標準パスNP12の連結画像を、移動ベクトルV12に従って移動することによって、車線境界線の位置を合わせることができる。位置合わせの結果が車線境界線L13である。
また、この位置合わせ加工によって、標準パスも基準パスの位置に合わせられる。本実施例は、本来、異なる位置を走行した複数のパスを位置合わせすることによって、道路面の画像を生成する。この際、図12、図13の比較から分かる通り、対応点に基づいて設定される移動ベクトルに従って、標準パスを平行移動することにより、複数のパス間で、路面標示の位置関係およびパスの位置関係を、非常によく一致させることができる。
FIG. 13 is an explanatory diagram showing a processing result of the positioning processing (2).
As described above, the position of the lane boundary line can be adjusted by moving the connected image of the standard path NP12 according to the movement vector V12. The result of the alignment is the lane boundary line L13.
In addition, by this alignment process, the standard path is also aligned with the position of the reference path. In the present embodiment, an image of a road surface is generated by aligning a plurality of paths originally traveling at different positions. At this time, as can be seen from the comparison between FIG. 12 and FIG. 13, by moving the standard path in parallel according to the movement vector set based on the corresponding point, the positional relationship of the road marking and the position of the path between the plurality of paths. Relationships can be matched very well.

(4)絶対座標の取得:
図14は路面標示の絶対位置座標の取得方法を示す説明図である。図の例では、標準パスNP14上の路面テクスチャTX142、基準パスBP14上の路面テクスチャTX141を例示した。路面テクスチャTX141、TX142内には、それぞれ標示M141、M142が含まれている。
路面テクスチャTX141、TX142は、それぞれの代表点が、基準パスBP14上の点P141、および標準パスNP14上の点P143に一致するように配置される。
(4) Acquisition of absolute coordinates:
FIG. 14 is an explanatory diagram showing a method for obtaining the absolute position coordinates of the road marking. In the illustrated example, the road surface texture TX142 on the standard path NP14 and the road surface texture TX141 on the reference path BP14 are illustrated. In the road surface textures TX141 and TX142, signs M141 and M142 are included, respectively.
The road surface textures TX141 and TX142 are arranged so that their representative points coincide with a point P141 on the reference path BP14 and a point P143 on the standard path NP14.

路面テクスチャTX141内で、標示M141の頂点P142の位置は、代表点を原点とする相対的な座標(x142,y142)で特定することができる。従って、代表点の絶対座標、即ち路面テクスチャTX141が配置されている位置座標(X141,Y141)が分かれば、これに、上述の相対的な座標を加えることによって、標示M141の頂点P142の絶対位置座標を取得することができる。   In the road surface texture TX141, the position of the vertex P142 of the sign M141 can be specified by relative coordinates (x142, y142) with the representative point as the origin. Therefore, if the absolute coordinates of the representative point, that is, the position coordinates (X141, Y141) where the road surface texture TX141 is arranged are known, the absolute position of the vertex P142 of the sign M141 is added by adding the relative coordinates described above. Coordinates can be acquired.

路面テクスチャTX142内も同様に、標示M142の頂点P145の位置は、代表点を原点とする相対的な座標(x145,Y145)で特定することができる。従って、代表点の絶対座標、即ち路面テクスチャTX142が配置されている位置座標(X143,Y143)が分かれば、これに、上述の相対的な座標を加えることによって、標示M142の頂点P145の絶対位置座標を取得することができる。   Similarly, in the road surface texture TX142, the position of the vertex P145 of the sign M142 can be specified by relative coordinates (x145, Y145) with the representative point as the origin. Accordingly, if the absolute coordinates of the representative point, that is, the position coordinates (X143, Y143) where the road surface texture TX142 is arranged are known, the relative position described above is added to the absolute position of the vertex P145 of the sign M142. Coordinates can be acquired.

路面テクスチャTX142については、位置合わせ加工によって、移動ベクトルV14に従って、代表点の位置P143が点P144に移動したとする。この時、位置合わせ後の点P144の絶対位置座標は、移動前の点P143の位置座標(X143,Y143)に、移動ベクトルV14の成分(VX14,VY14)を加えることで得ることができる。更に、こうして得られた点P144の絶対位置座標に対して、点P145の相対的な座標(x145,Y145)を加えれば、位置合わせ加工後の標示M142の頂点P145の絶対位置座標を取得することができる。   For the road surface texture TX142, it is assumed that the position P143 of the representative point is moved to the point P144 according to the movement vector V14 by the alignment process. At this time, the absolute position coordinates of the point P144 after alignment can be obtained by adding the components (VX14, VY14) of the movement vector V14 to the position coordinates (X143, Y143) of the point P143 before movement. Furthermore, if the relative coordinates (x145, Y145) of the point P145 are added to the absolute position coordinates of the point P144 obtained in this way, the absolute position coordinates of the vertex P145 of the sign M142 after the alignment processing are obtained. Can do.

ここでは、路面テクスチャ内の標示M141,M142の頂点について絶対位置座標を取得する方法を示したが、路面テクスチャ内の任意の点は、それぞれ路面テクスチャの代表点を基準とする相対的な座標で特定可能であるから、同様の方法によって任意の点の絶対位置座標を取得することが可能である。   Here, the method of obtaining the absolute position coordinates for the vertices of the signs M141 and M142 in the road texture has been shown. However, each arbitrary point in the road texture is a relative coordinate based on the representative point of the road texture. Since it can be specified, the absolute position coordinates of an arbitrary point can be obtained by a similar method.

C5.透明化ポリゴン設定処理:
(1)処理概要:
図15は透明化ポリゴン設定処理の概要を示す説明図である。透明化ポリゴン設定処理は、重ねられた道路画像上に、オペレータの指示によって、透明化ポリゴンを設定することによって、隣接するパスに対応する正射画像同士が重なり合っている部分で、上側の正射画像の一部を透明化して、下側の正射画像を透視可能とする処理である。
図の中央に、正射画像P152の上に正射画像P151が重ねられている様子を斜視図的に示した。下側の正射画像P152には、横断歩道A154が分断された状態で含まれており、停止線A153が完全な状態で含まれている。上側の正射画像P151には、横断歩道A152が完全な形で含まれており、停止線A151が分断された状態で含まれている。それぞれ分断された部分を、破線で囲んで示した。
この状態で正射画像P151、P152を重ねると、左側に示したように表示される。つまり、両者が重なった部分では、上側の正射画像P151の画像のみが表示されるため、横断歩道A152は完全な状態で表示されるが、停止線A151は分断された状態で示されてしまうのである。
仮に、正射画像P151、P152の上下関係を変えたとすれば、今度は、停止線A153は完全な状態で表示することができるが、横断歩道A154が分断された状態で表示されることになる。このように、正射画像P151、P152の上下関係だけでは、横断歩道、停止線の双方を完全な状態で表示させることはできない。
C5. Transparent polygon setting process:
(1) Process overview:
FIG. 15 is an explanatory diagram showing an outline of the transparent polygon setting process. In the transparent polygon setting process, the transparent polygon is set on the superimposed road image according to the operator's instruction so that the orthographic image corresponding to the adjacent path overlaps at the upper orthographic image. This is a process in which a part of the image is made transparent so that the lower orthographic image can be seen through.
In the center of the figure, a state in which the orthographic image P151 is superimposed on the orthographic image P152 is shown in a perspective view. The lower orthographic image P152 includes the pedestrian crossing A154 in a divided state, and includes the stop line A153 in a complete state. In the upper orthographic image P151, the pedestrian crossing A152 is included in a complete form, and the stop line A151 is included in a divided state. Each divided part is shown surrounded by a broken line.
When the orthographic images P151 and P152 are overlapped in this state, they are displayed as shown on the left side. That is, in the part where both overlap, only the image of the upper orthographic image P151 is displayed, so the pedestrian crossing A152 is displayed in a complete state, but the stop line A151 is shown in a divided state. It is.
If the vertical relationship between the orthogonal images P151 and P152 is changed, the stop line A153 can be displayed in a complete state, but the pedestrian crossing A154 is displayed in a divided state. . Thus, it is not possible to display both the pedestrian crossing and the stop line in a complete state only by the vertical relationship between the orthogonal images P151 and P152.

そこで、本実施例では、透明化ポリゴンPOL15を設定する。この例では、上側の正射画像P151において、分断されている停止線A151を覆うように設定した例を示した。透明化ポリゴンPOL15内では、上側の正射画像P151は透過した状態で表示される。従って、図の右側に示すように、正射画像P151、P152を重ねた状態では、透明化ポリゴンPOL15の内部では、下側の正射画像P152が表示され、その他の部分では、上側の正射画像P151が表示される。この結果、下側の正射画像P151に含まれる停止線A153と、上側の正射画像P152に含まれる横断歩道A152が表示され、停止線および横断歩道の双方を完全な形で表示することができる。   Therefore, in this embodiment, the transparent polygon POL15 is set. In this example, the upper orthographic image P151 is set so as to cover the divided stop line A151. In the transparent polygon POL15, the upper orthographic image P151 is displayed in a transparent state. Therefore, as shown on the right side of the figure, when the orthographic images P151 and P152 are overlapped, the lower orthographic image P152 is displayed inside the transparent polygon POL15, and the upper orthographic image is displayed in other portions. An image P151 is displayed. As a result, the stop line A153 included in the lower orthographic image P151 and the pedestrian crossing A152 included in the upper orthographic image P152 are displayed, and both the stop line and the pedestrian crossing can be displayed in a complete form. it can.

(2)フローチャート:
図16は透明化ポリゴン設定処理のフローチャートである。ハードウェア的には路面標示地図生成装置200のCPUが実行する処理である。これは、図2に示した透明化ポリゴン設定部221の処理に相当する。
処理を開始すると、CPUは、オペレータからの対象道路の指定を入力し(ステップS100)、対象道路に対応する連結画像を入力する(ステップS102)。対象道路に対して複数のパスが対応している場合には、これらのパスに対応する複数の連結画像が入力される。
(2) Flow chart:
FIG. 16 is a flowchart of the transparent polygon setting process. In terms of hardware, this is a process executed by the CPU of the road marking map generating apparatus 200. This corresponds to the processing of the transparent polygon setting unit 221 shown in FIG.
When the process is started, the CPU inputs designation of the target road from the operator (step S100), and inputs a connected image corresponding to the target road (step S102). When a plurality of paths correspond to the target road, a plurality of connected images corresponding to these paths are input.

CPUは、これらの連結画像を表示し、オペレータの操作に基づいて優先パスの指定を入力する(ステップS104)。優先パスとは、複数のパスのうち路面画像が最も良好なパスを言い、複数のパスの連結画像を重ねる際に最も上に位置するパスを言う。優先パスは、位置合わせ加工で用いられた基準パスとは異なる。基準パスは位置精度が最も良いものを意味したが、位置精度が良いからといって、路面画像が良好とは限らないからである。複数のパス間の連結画像の重ね合わせの上下関係がどのような状態であっても、位置合わせは支障なく行うことが可能であるから、位置合わせ用の基準パスと優先パスとは相互に独立して設定可能である。
本実施例では、優先パスは、オペレータが各パスの連結画像を比較しながら、任意に設定することができる。仮に、路面画像が最も粗いパスを優先パスに指定しても構わない。このような場合には、後述する透明化ポリゴンの設定数が増えるだけのことである。
The CPU displays these connected images and inputs designation of a priority path based on the operation of the operator (step S104). The priority path refers to a path having the best road image among a plurality of paths, and refers to a path positioned at the top when overlapping connected images of a plurality of paths. The priority path is different from the reference path used in the alignment process. The reference path means the one with the best position accuracy, but just because the position accuracy is good does not mean that the road surface image is good. Regardless of the top-to-bottom relationship of the overlay of connected images between multiple paths, alignment can be performed without any problem, so the alignment reference path and priority path are independent of each other. And can be set.
In this embodiment, the priority path can be arbitrarily set while the operator compares the linked images of the paths. The path with the roughest road surface image may be designated as the priority path. In such a case, only the number of transparent polygons to be described later increases.

優先パスが設定されると、CPUは、オペレータの操作に従い透明化ポリゴンを設定する(ステップS106)。
図中に透明化ポリゴンの設定例を示した。この例では、優先パスに沿った路面テクスチャTX161と、その他のパスに沿った路面テクスチャTX162を示した。
撮影時には矩形の画像が、正射画像変換により、台形になるため、路面テクスチャTX161、TX162を配置すると、図示するようにのこぎり刃状になる。のこぎり刃状の部分からは、路面画像の見栄えを落とすと共に、分断された路面画像しか得られないため、完全な路面画像を得るという目的からは不要な部分となる。そこで、図の例では、路面テクスチャTX161、TX162が重なり合った部分では、のこぎり刃状になった路面テクスチャTX161の左端の部分に透明化ポリゴンPOL161を設定し、のこぎり刃状の部分が表示されないようにしている。
When the priority path is set, the CPU sets a transparent polygon according to the operation of the operator (step S106).
An example of transparent polygon setting is shown in the figure. In this example, the road surface texture TX161 along the priority path and the road surface texture TX162 along the other paths are shown.
At the time of shooting, a rectangular image becomes a trapezoid by orthographic image conversion. Therefore, when the road surface textures TX161 and TX162 are arranged, it becomes a saw blade shape as shown in the figure. From the saw blade portion, the appearance of the road surface image is deteriorated and only the divided road surface image can be obtained. Therefore, the portion is unnecessary for the purpose of obtaining a complete road surface image. Therefore, in the example shown in the figure, in the portion where the road surface textures TX161 and TX162 overlap, the transparent polygon POL161 is set at the left end portion of the road surface texture TX161 having a saw blade shape so that the saw blade portion is not displayed. ing.

一方、路面テクスチャTX161、TX162が重なりあっていない部分、図の例では、両端の領域A161、A162の部分には、透明化ポリゴンは設定しない。この部分では、それぞれ路面テクスチャTX161、TX162によって得られる画像が、唯一の画像情報となるからである。両端の領域に透明化ポリゴンを設定すると、この部分に含まれる路面画像の情報は活用し得なくなる。本実施例では、このように他の路面テクスチャと重なり合っていない部分には、透明化ポリゴンを設定しないようにすることで、路面テクスチャに含まれる路面画像の情報を有効活用できるようにした。
かかる設定は、単に路面テクスチャが重なっていない部分を避けて、オペレータが透明化ポリゴンを設定するという運用によって実現してもよいが、透明化ポリゴンの設定処理(ステップS106)において、透明化ポリゴンの設定位置を制限するようにしてもよい。つまり、路面テクスチャが重なり合っている部分についてのみ、オペレータによる透明化ポリゴンの設定操作を受け付けるようにしても良い。
On the other hand, transparent polygons are not set in the portions where the road surface textures TX161 and TX162 do not overlap, in the example shown in the figure, the regions A161 and A162 at both ends. This is because in this portion, the images obtained by the road surface textures TX161 and TX162 are the only image information. If transparent polygons are set in the regions at both ends, the information on the road surface image included in this portion cannot be used. In the present embodiment, the information on the road surface image included in the road surface texture can be effectively used by not setting the transparent polygon in the portion that does not overlap with the other road surface texture.
Such a setting may be realized by an operation in which the operator sets a transparent polygon by simply avoiding a portion where the road surface texture does not overlap, but in the transparent polygon setting process (step S106), the transparent polygon You may make it restrict | limit a setting position. In other words, the transparent polygon setting operation by the operator may be accepted only for the portion where the road surface texture overlaps.

路面テクスチャTX161によって隠されている標示がある場合には、オペレータはその標示が視認できるように透明化ポリゴンを設定する。図の例では、矢印の標示を覆うように、透明化ポリゴンPOL162が設定されている例を示した。矢印の標示は、テクスチャTX161の下側に配置されているテクスチャに含まれている画像である。   When there is a sign hidden by the road surface texture TX161, the operator sets the transparent polygon so that the sign can be visually recognized. In the example shown in the figure, the transparent polygon POL 162 is set so as to cover the arrow mark. The arrow mark is an image included in the texture arranged on the lower side of the texture TX161.

このように標示を覆う透明化ポリゴンPOL162を設定するためには、一旦、路面テクスチャTX161を他の路面テクスチャよりも下側に位置するように上下関係を変更したり、路面テクスチャTX161を非表示としたりすればよい。これらの操作によって、路面テクスチャTX161に隠された標示を視認可能な状態にした上で、その標示を覆うように透明化ポリゴンPOL162を設定し、路面テクスチャTX161の表示を元に戻せばよい。   In order to set the transparent polygon POL162 that covers the sign in this way, the vertical relationship is temporarily changed so that the road texture TX161 is positioned below the other road texture, or the road texture TX161 is not displayed. Just do it. With these operations, the sign hidden in the road texture TX161 is made visible, the transparent polygon POL162 is set so as to cover the sign, and the display of the road texture TX161 is restored.

以上の処理によって、透明化ポリゴンの設定が終わると、CPUは、設定結果を出力して、透明化ポリゴン設定処理を終了する。   When the setting of the transparent polygon is completed by the above processing, the CPU outputs the setting result and ends the transparent polygon setting processing.

(3)処理例:
図17は透明化ポリゴンを設定する前の道路画像例を示す説明図である。この例では、パスP171、P172の2本に沿って得られた連結画像の位置合わせを行って生成された道路画像を示した。パスP172の連結画像と、パスP171の連結画像とで、のこぎり刃状の両端の形状が逆向きになっているのは、これらのパスP171,P172を道路面撮影システム100の車両が走行する方向が逆だからである。
(3) Processing example:
FIG. 17 is an explanatory diagram showing an example of a road image before setting a transparent polygon. In this example, a road image generated by performing alignment of connected images obtained along two paths P171 and P172 is shown. The shape of both ends of the saw blade in the connected image of the path P172 and the connected image of the path P171 are opposite to each other in the direction in which the vehicle of the road surface photographing system 100 travels on these paths P171 and P172. This is because the opposite is true.

パスP172の連結画像が、パスP171の連結画像と重なっている部分では、パスP172の連結画像の端部B17ののこぎり刃状の境界が現れており、道路画像の画質を劣化させている。ただし、図17では、図示の都合上、のこぎり刃状の輪郭を付して端部B17の形状を強調してある。
また、パスP172の路面画像が端の方で不鮮明なため、例えば、領域A171では横断歩道の縞模様が歪んでいる。領域A172では、停止線が分断された状態となっている。領域A173では、路線バス等優先通行帯(いわゆるバスレーン)であることを示す「バス専用」の文字が読めない程に崩れている。領域A174では、破線状の車線境界線が途中で分断された状態となっている。
In a portion where the connected image of the path P172 overlaps with the connected image of the path P171, a saw-toothed boundary at the end B17 of the connected image of the path P172 appears, degrading the image quality of the road image. However, in FIG. 17, for the convenience of illustration, the shape of the end portion B <b> 17 is emphasized with a saw-blade contour.
Further, since the road surface image of the path P172 is unclear at the end, for example, in the region A171, the stripe pattern of the pedestrian crossing is distorted. In the area A172, the stop line is divided. In the area A173, the character “bus only” indicating that the route is a preferential traffic zone such as a route bus (so-called bus lane) is broken so that it cannot be read. In the area A174, the broken-line lane boundary line is divided in the middle.

これらの影響を回避するため、図17では、領域A171〜A174および端部B17を包含する透明化テクスチャPOL17を図中の一点鎖線のように設定した。
このように透明化ポリゴンPOL17を設定すると、パスP172側の路面テクスチャは、透明化ポリゴンPOL17の内部では透視状態となり、下側に配置されたパスP171側の路面テクスチャが視認されるようになる。
In order to avoid these influences, in FIG. 17, the transparent texture POL <b> 17 including the regions A <b> 171 to A <b> 174 and the end B <b> 17 is set as indicated by a one-dot chain line in the drawing.
When the transparent polygon POL17 is set in this way, the road surface texture on the path P172 side is in a transparent state inside the transparent polygon POL17, and the road surface texture on the path P171 side arranged below is visually recognized.

図18は透明化ポリゴンの設定後の道路画像例を示す説明図である。上述の透明化ポリゴンの作用により、領域A181では、下側の画像が表示されるため、図17で示した横断歩道の分断状態が解消される。領域A182でも同様に、停止線が完全な状態で表示される。また、領域B18に例示するように、路面テクスチャの端部ののこぎり刃状の輪郭は視認されなくなり、道路画像全体の画質が向上する。
領域A183では、バス専用の文字が、はっきりと判読可能な状態となる。領域A184では、車線境界線が完全な状態で表示される。
このように、本実施例では、透明化ポリゴンを設定することにより、道路画像の画質を向上させることができるとともに、道路面の標示の画質も向上させることができる。
FIG. 18 is an explanatory diagram showing an example of a road image after setting a transparent polygon. Due to the action of the transparent polygon described above, the lower image is displayed in the area A181, so that the divided state of the pedestrian crossing shown in FIG. 17 is eliminated. Similarly, in the area A182, the stop line is displayed in a complete state. Further, as exemplified in the region B18, the saw-tooth profile at the end of the road surface texture is not visually recognized, and the image quality of the entire road image is improved.
In the area A183, the bus-specific characters are clearly readable. In the area A184, the lane boundary line is displayed in a complete state.
As described above, in this embodiment, by setting the transparent polygon, the image quality of the road image can be improved and the image quality of the marking on the road surface can be improved.

C6.ペイント認識処理:
(1)全体処理:
図19はペイント認識処理のフローチャートである。ハードウェア的には路面標示地図生成装置200のCPUが実行する処理である。これは、図2に示したペイント認識部223の処理に相当する。
処理を開始すると、CPUは処理データ記憶部210から、処理対象となっている道路の画像、即ち路面テクスチャ、パスのデータを読み込む(ステップS300)。
次に、CPUは縦配置処理を行って(ステップS302)、縦配置画像を生成し、処理データ記憶部210に格納する。
C6. Paint recognition process:
(1) Overall processing:
FIG. 19 is a flowchart of the paint recognition process. In terms of hardware, this is a process executed by the CPU of the road marking map generating apparatus 200. This corresponds to the processing of the paint recognition unit 223 shown in FIG.
When the processing is started, the CPU reads from the processing data storage unit 210 an image of a road to be processed, that is, road texture and path data (step S300).
Next, the CPU performs vertical arrangement processing (step S302), generates a vertical arrangement image, and stores it in the processing data storage unit 210.

図20は縦配置処理の内容を示す説明図である。図20(a)に通常の処理における連結画像を示した。図中の一点鎖線の矢印PA20は画像を撮影した際のパスを表している。通常の処理では、パスPA20に沿って路面テクスチャTx20を配置する。パスPA20の位置座標は、緯度経度などの絶対座標系XYで得られている。従って、絶対座標系でパスPA20および路面テクスチャTx20を配置すると、図20(a)に示すように連結画像は斜めに表示されることがある。この例では、直線状の道路を例示しているが、道路がカーブしている場合には、連結画像もカーブした状態となる。   FIG. 20 is an explanatory diagram showing the contents of the vertical arrangement processing. FIG. 20A shows a connected image in normal processing. A one-dot chain line arrow PA20 in the figure represents a path when an image is taken. In normal processing, the road surface texture Tx20 is arranged along the path PA20. The position coordinates of the path PA20 are obtained in an absolute coordinate system XY such as latitude and longitude. Therefore, when the path PA20 and the road surface texture Tx20 are arranged in the absolute coordinate system, the connected image may be displayed obliquely as shown in FIG. In this example, a straight road is illustrated, but when the road is curved, the connected image is also curved.

図20(b)は縦配置した画像例を示した。道路が直線状のため、図20(a)の向きを矢印A20方向に回転した状態の画像となっている。
縦配置の画像は、次の手順で生成することができる。まず、2次元座標xyの縦(y)方向に距離軸を設定する。距離軸とは、パスPA20に沿って画像を撮影する際の開始点からの移動距離を表す軸である。パスPA20が直線状の時は、パスPA20の進行方向を上向きに表示した状態となる。パスが曲線状のときには、パスを直線状に伸ばした状態となる。
FIG. 20B shows an example of vertically arranged images. Since the road is straight, the image in FIG. 20A is rotated in the direction of arrow A20.
The vertically arranged image can be generated by the following procedure. First, a distance axis is set in the longitudinal (y) direction of the two-dimensional coordinate xy. The distance axis is an axis representing a moving distance from the start point when an image is taken along the path PA20. When the path PA20 is linear, the traveling direction of the path PA20 is displayed upward. When the path is curved, the path is straightened.

それぞれの路面テクスチャTx20については、撮影時の位置座標データおよび撮影開始からの移動距離が得られているから(図1の位置計測部110参照)、これらのデータに基づき、距離軸上に路面テクスチャTx20を配置する。路面テクスチャTx20は、画像内の代表点を距離軸上に置き、左右対称軸が距離軸に平行になるよう配置する。こうすることによって、パスが曲線状か否かにかかわらず、進行方向が縦方向に直線状に伸ばされた状態の連結画像を表示することができる。この連結画像によれば、図示する通り、横断歩道および停止線は距離軸に直交する方向(図中の左右方向)に描かれ、車線境界線は距離軸に沿う方向(図中の上下方向)に描かれる。縦配置画像には、このように道路の標示が一定の位置関係で描画されるため、これらの認識がしやすくなるという利点がある。
ここでは、距離軸を縦に配置する例を示したが、横または斜めなど任意の方向に配置可能である。
For each road texture Tx20, since the position coordinate data at the time of shooting and the movement distance from the start of shooting are obtained (see the position measuring unit 110 in FIG. 1), the road texture on the distance axis is based on these data. Tx20 is arranged. The road surface texture Tx20 is arranged such that the representative point in the image is placed on the distance axis and the left-right symmetry axis is parallel to the distance axis. By doing so, it is possible to display a connected image in which the traveling direction is linearly extended in the vertical direction regardless of whether the path is curved. According to this connected image, as shown in the figure, the pedestrian crossing and the stop line are drawn in a direction perpendicular to the distance axis (left and right direction in the figure), and the lane boundary line is in a direction along the distance axis (up and down direction in the figure). Drawn in. In the vertically arranged image, road markings are drawn in a fixed positional relationship in this way, so that there is an advantage that these can be easily recognized.
Here, an example is shown in which the distance axis is arranged vertically, but the distance axis can be arranged in any direction such as laterally or diagonally.

図19に戻り、ペイント認識処理について説明する。
縦配置処理が完了すると、CPUは横断関連ペイント抽出処理を行う(ステップS310)。これは、横断歩道、自転車横断帯、停止線など交差点近辺の標示を抽出する処理である。処理内容については後で詳述する。本実施例では、処理データ記憶部210に格納された縦配置画像を用い、そこに描かれた標示を画像処理で抽出するとともに、標示に含まれる線分の位置関係や長さなどに基づく条件判断によって標示の種別を判断するようにした。
Returning to FIG. 19, the paint recognition process will be described.
When the vertical arrangement process is completed, the CPU performs a crossing-related paint extraction process (step S310). This is a process of extracting signs in the vicinity of intersections such as pedestrian crossings, bicycle crossings, and stop lines. Details of the processing will be described later. In the present embodiment, a vertically arranged image stored in the processing data storage unit 210 is used, and a sign drawn there is extracted by image processing, and a condition based on the positional relationship, length, etc. of the line segment included in the sign Judgment type is judged by judgment.

横断関連ペイント処理が終わると、CPUは各種ペイント抽出処理を行う(ステップS350)。この処理で抽出対象となる標示を図中に示した。
「境界線」とは、実線および破線などで描かれた車線境界線である。
「矢印」とは、交差点内の進行方向の規制を示すために、交差点付近で各車線に示されている矢印である。
「ゼブラ」とは、横断歩道とは異なり、中央分離帯や右左折用の車線が増える箇所などに標示されている縞模様である。
「Uターン」とは、Uターン禁止道路に描かれているU字形状の矢印である。
「転回禁止」とは、Uターンの矢印とともに描かれている×印である。
「規制」とは、通行規制の時刻標示等である。例えば、バスレーンなどの標示と併せて描かれる「17−19」の標示(17時〜19時であることを意味)のような通行態様の規制等である。
When the crossing-related paint process ends, the CPU performs various paint extraction processes (step S350). Indices to be extracted in this process are shown in the figure.
The “boundary line” is a lane boundary line drawn with a solid line or a broken line.
“Arrow” is an arrow shown in each lane in the vicinity of the intersection in order to indicate regulation of the traveling direction within the intersection.
Unlike a pedestrian crossing, the “zebra” is a striped pattern that is marked on the median strip or where there are more lanes for turning left and right.
“U-turn” is a U-shaped arrow drawn on a U-turn prohibited road.
“Turning prohibited” is a cross marked with a U-turn arrow.
“Regulation” means time marking of traffic regulation. For example, traffic mode restrictions such as a sign “17-19” (meaning from 17:00 to 19:00) drawn together with a sign such as a bus lane.

「数字」とは、速度規制などの数字である。
「横断歩道予告」とは、横断歩道手前に描かれている菱形の記号である。
「減速帯」とは、車速の減速を促すために、路面上にパスに直交する方向の線分をパスの進行方向に沿って平行に複数本配置することで描かれている縞模様である。
「路面塗装」は、急カーブその他の運転者の注意を喚起すべき箇所に対し、通行の安全のために施されている赤色等の舗装領域である。
「バスレーン文字」とは、バスレーンとして使用される車線に付される「バス専用」「バス優先」という文字である。本実施例では、バスレーンを例示しているが、バスレーンに限らず、路面に標示される文字一般を対象としてもよい。
「終わり記号」とは、バスレーンなどの終了地点を示す「0」形状の記号である。
本実施例では、これらの標示を対象としているが、これらは例示に過ぎず、更に多くの標示を対象としてもよいし、この中の一部を抽出処理の対象外としても構わない。
The “number” is a number such as speed regulation.
“Pedestrian crossing notice” is a diamond-shaped symbol drawn in front of the pedestrian crossing.
The “deceleration zone” is a striped pattern drawn by arranging a plurality of line segments in a direction perpendicular to the path on the road surface in parallel along the traveling direction of the path in order to promote the deceleration of the vehicle speed. .
“Road surface painting” is a pavement area such as red, which is provided for safety of traffic at sharp curves and other places where the driver should be alerted.
The “bus lane character” is a character “bus exclusive” or “bus priority” attached to a lane used as a bus lane. In the present embodiment, the bus lane is illustrated, but the present invention is not limited to the bus lane, and may be a general character displayed on the road surface.
The “end symbol” is a “0” -shaped symbol indicating an end point such as a bus lane.
In the present embodiment, these signs are targeted, but these are merely examples, and more signs may be targeted, and some of them may be excluded from the extraction process.

各種ペイント抽出処理(ステップS350)では、予め用意されたモデルを用いて、パターンマッチングを行う。本実施例では、人工モデル画像、OCRモデル画像の2種類を用いるものとした。これらのモデルは、予め処理データ記憶部210に記憶されている。
人工モデル画像とは、コンピュータグラフィックスによって生成されたモデルである。Uターン、転回禁止など、比較的単純な標示のマッチング用のモデルとして適している。
OCRモデル画像とは、撮影された画像から、オペレータが手作業で切り出した画像に基づいて生成されたモデルである。例えば、数字、バスレーンなどの複雑な形状をした標示のマッチング用のモデルとして適している。これらのモデルをコンピュータグラフィックスによって生成することも不可能ではないが、文字の形状を現実の道路標示に併せてモデルを生成するためには、結局、撮影した画像をトレース等する必要が生じるため、結果としてOCRモデルを利用しているのと大差ない。
In various paint extraction processes (step S350), pattern matching is performed using a model prepared in advance. In this embodiment, two types of artificial model images and OCR model images are used. These models are stored in the processing data storage unit 210 in advance.
An artificial model image is a model generated by computer graphics. It is suitable as a model for relatively simple marking matching, such as U-turn and turn prohibition.
An OCR model image is a model generated based on an image manually cut out by an operator from a captured image. For example, it is suitable as a model for matching signs having complicated shapes such as numbers and bus lanes. Although it is not impossible to generate these models by computer graphics, in order to generate a model by combining the shape of characters with actual road markings, it is necessary to trace the captured image after all. As a result, it is not much different from using the OCR model.

CPUは、以上の処理を連結画像単位で、実行し、ペイント認識結果を処理データ記憶部210に格納して、ペイント認識処理を終了する。
以下では、横断関連ペイント抽出処理(ステップS310)、各種ペイント抽出処理(ステップS350)、および相対座標変換処理(ステップS370)についてそれぞれ詳細に説明する。
The CPU executes the above processing in units of connected images, stores the paint recognition result in the processing data storage unit 210, and ends the paint recognition processing.
Hereinafter, the crossing-related paint extraction process (step S310), various paint extraction processes (step S350), and the relative coordinate conversion process (step S370) will be described in detail.

(2)横断関連ペイント抽出処理:
図21は横断関連ペイント抽出処理のフローチャートである。この処理を開始すると、CPUは処理対象となる縦配置画像を読み込む(ステップS311)。
次に、CPUはサイドカット処理を行う(ステップS312)。サイドカット処理とは、縦配置画像の両端の所定範囲を削除する処理である。サイドカット処理は、以下で示す2つの処理例のいずれを用いても構わない。
(2) Cross-related paint extraction processing:
FIG. 21 is a flowchart of the cross-related paint extraction process. When this process is started, the CPU reads a vertically arranged image to be processed (step S311).
Next, the CPU performs side cut processing (step S312). The side cut process is a process of deleting a predetermined range at both ends of the vertically arranged image. Any of the two processing examples shown below may be used for the side cut processing.

(3)サイドカット処理:
図22はサイドカット処理例(1)を示す説明図である。図22(a)には、路面テクスチャTx22を配置した連結画像を示した。正射画像は画像変換時に逆台形となるため、連結画像は、両端がのこぎり刃状にギザギザとなる。ギザギザの部分は、正射画像への変換によって歪みが大きく生じている部分であり、標示が含まれているとしても、その位置精度は必ずしも高くない。また、ギザギザ部分に含まれる標示は、部分的に欠落している可能性があり、完全な形では得られない可能性が高い。このような理由から、本実施例では、サイドカット処理として、このギザギザ部分を削除する。ただし、ギザギザを除く部分を不用意に大きく削除すると、完全な形で描かれていた標示の一部または全部を削除してしまう可能性があるため、削除する領域はギザギザ部分をぎりぎり削除することができる程度に設定する。
(3) Side cut processing:
FIG. 22 is an explanatory view showing a side cut processing example (1). FIG. 22A shows a connected image in which the road surface texture Tx22 is arranged. Since the orthographic image becomes an inverted trapezoid at the time of image conversion, the connected image becomes jagged in a sawtooth shape at both ends. The jagged portion is a portion in which a large distortion is caused by the conversion to the orthographic image, and even if a sign is included, the positional accuracy is not necessarily high. In addition, the mark included in the jagged portion may be partially missing, and it is highly possible that it cannot be obtained in a complete form. For this reason, in this embodiment, this jagged portion is deleted as the side cut processing. However, if the part excluding the jagged portion is carelessly deleted, part or all of the sign drawn in the complete form may be deleted, so the area to be deleted should be barely deleted. Set to the extent that you can.

両端の削除する範囲を決定するため、CPUは、連結画像を包含する矩形領域RCT22を求める。矩形の中心線CL22は、距離軸に平行な直線となるが、必ずしも距離軸と一致しているとは限らない。路面テクスチャTX22の大きさまたは位置にばらつきがある場合には、矩形RCT22には、領域A22に示すように、路面テクスチャTx22と接触しない部分も生じてくる。この矩形RCT22の両端の辺が、削除すべき領域の外側を規定するラインとなる。   In order to determine a range to be deleted at both ends, the CPU obtains a rectangular region RCT22 that includes a connected image. The rectangular center line CL22 is a straight line parallel to the distance axis, but is not necessarily coincident with the distance axis. When the size or position of the road surface texture TX22 varies, a portion that does not come into contact with the road surface texture Tx22 also appears in the rectangular RCT22 as shown in the region A22. The sides at both ends of the rectangle RCT22 are lines that define the outside of the area to be deleted.

図22(b)は、削除すべき領域の内側のラインを規定するための処理例を示している。本実施例では、連結画像の全体でギザギザの内側に内接する円C22を求めた。このように設定された円C22を図中の上下方向に移動させた場合に、ギザギザの一部が円C22内に入り込むことはない。こうして設定された円C22の両端に上下方向に接する接線SC22L、SC22Rが、削除すべき領域の境界線となる。
図22(c)は、サイドカット処理において削除すべき領域を示している。図22(a)で設定された矩形RCT22の両端の辺と、図22(b)で設定された接線SC22L、SC22Rで挟まれた領域(図中のハッチングを付した領域)が削除すべき領域となる。
FIG. 22B shows an example of processing for defining a line inside the area to be deleted. In the present embodiment, a circle C22 that is inscribed inside the jagged surface of the entire connected image is obtained. When the circle C22 set in this way is moved in the vertical direction in the drawing, a part of the jaggedness does not enter the circle C22. The tangent lines SC22L and SC22R that are in contact with the both ends of the circle C22 set in this way in the vertical direction are the boundary lines of the area to be deleted.
FIG. 22C shows an area to be deleted in the side cut process. The area to be deleted (the hatched area in the drawing) sandwiched between the sides of the rectangle RCT22 set in FIG. 22A and the tangent lines SC22L and SC22R set in FIG. It becomes.

図23はサイドカット処理例(2)を示す説明図である。図23(a)は連結画像を示している。図示の都合上、ここでは横配置で連結画像を示した。
CPUは連結画像を2値化して道路部分をベタ画像化する(図23(b))。そして、この状態で道路部分のエッジL231を抽出する(図22(c))。
次に、CPUは抽出されたエッジL231の太らせ処理を行う。図22(c)の右下にエッジL231の拡大図を示した。実線が抽出されたエッジL231を示し、破線が太らせた結果を表している。太らせる量は、エッジのギザギザが消える範囲で任意に設定可能である。
FIG. 23 is an explanatory view showing a side cut processing example (2). FIG. 23A shows a connected image. For convenience of illustration, the connected images are shown here in a horizontal arrangement.
The CPU binarizes the connected image and converts the road portion into a solid image (FIG. 23B). In this state, the edge L231 of the road portion is extracted (FIG. 22C).
Next, the CPU thickens the extracted edge L231. An enlarged view of the edge L231 is shown in the lower right of FIG. The solid line indicates the extracted edge L231, and the broken line indicates the result of thickening. The amount of thickening can be arbitrarily set within a range where the jagged edges disappear.

太らせ処理によって、図23(d)に示すように、ギザギザ領域は、凹凸の振幅よりやや太い2本の帯L232となる。2本の帯L232の間の領域W23は、ギザギザ領域が除かれた道路画像となっている。
そこで、CPUは図23(e)に示すように、この領域W23に相当する部分のベタ画像を生成する。そして、図23(f)に示すように、連結画像(図23(a))とベタ画像(図23(e))との重なり部分のみを抽出することによって、ギザギザ領域を削除した状態の連結画像を得る。
By the thickening process, as shown in FIG. 23D, the jagged area becomes two bands L232 slightly thicker than the amplitude of the unevenness. A region W23 between the two bands L232 is a road image from which a jagged region is removed.
Therefore, the CPU generates a solid image of a portion corresponding to the region W23 as shown in FIG. Then, as shown in FIG. 23 (f), by extracting only the overlapping portion of the connected image (FIG. 23 (a)) and the solid image (FIG. 23 (e)), the connected state in which the jagged area is deleted. Get an image.

(4)横断歩道の抽出:
図21に戻り、横断関連ペイント抽出処理について説明する。
サイドカット処理が終了すると、CPUはエッジ抽出を行う(ステップS313)。
抽出は、RGBなど種々の色系で行うことが可能である。本実施例では、連結画像を、H(色相)、S(彩度)、V(明度)の色空間に変換した上で、V(明度)画像を用いて標示領域を抽出した。V画像は、無彩色で明度だけを成分として有する画像となるため、いわゆるグレースケールの画像である。種々の色空間で抽出を試みた結果、V画像を用いた場合に白色または黄色で描かれた標示を最も精度良く抽出できることが見いだされた。
エッジ抽出を行うと、連結画像内にある種々の標示の輪郭線が抽出される。ここには、横断歩道を表す縞模様も多数含まれる。
(4) Pedestrian crossing extraction:
Returning to FIG. 21, the crossing-related paint extraction process will be described.
When the side cut processing ends, the CPU performs edge extraction (step S313).
Extraction can be performed in various color systems such as RGB. In this embodiment, the connected image is converted into a color space of H (hue), S (saturation), and V (brightness), and then a marking area is extracted using the V (brightness) image. The V image is an achromatic image having only lightness as a component, and is a so-called gray scale image. As a result of the extraction in various color spaces, it was found that the sign drawn in white or yellow can be extracted with the highest accuracy when the V image is used.
When edge extraction is performed, contour lines of various signs in the connected image are extracted. This includes many striped patterns representing pedestrian crossings.

CPUは、エッジ抽出した画像に基づき、横断歩道候補領域を抽出する(ステップS314)。この処理は、抽出されたエッジ画像に対して、横断歩道としては明らかに小さすぎる領域や大きすぎる領域を削除することによって横断歩道の候補領域を抽出する処理である。
次に、CPUは、抽出された各候補領域に対して(ステップS315)、横断歩道抽出処理(ステップS316)、横断歩道領域処理(ステップS317)、横断歩道情報出力処理(ステップS318)を行う。
横断歩道抽出処理(ステップS316)とは、横断歩道の候補領域の中から、横断歩道に相当する部分を抽出する処理である。
横断歩道領域処理(ステップS317)とは、横断歩道として抽出された部分を包含する外形形状を求める処理である。
横断歩道情報出力処理(ステップS318)とは、横断歩道を包含する外形形状に近似した矩形形状を求め、出力する処理である。
The CPU extracts a pedestrian crossing candidate area based on the edge extracted image (step S314). This process is a process for extracting candidate areas for a pedestrian crossing by deleting an area that is clearly too small or too large as a pedestrian crossing for the extracted edge image.
Next, the CPU performs a pedestrian crossing extraction process (step S316), a pedestrian crossing area process (step S317), and a pedestrian crossing information output process (step S318) for each extracted candidate area (step S315).
The pedestrian crossing extraction process (step S316) is a process of extracting a portion corresponding to the pedestrian crossing from the candidate areas for the pedestrian crossing.
The pedestrian crossing area process (step S317) is a process for obtaining an outer shape including a portion extracted as a pedestrian crossing.
The pedestrian crossing information output process (step S318) is a process for obtaining and outputting a rectangular shape that approximates the outer shape including the pedestrian crossing.

図24は横断歩道候補領域の抽出処理等を示す説明図である。図23のステップS314〜S318の各処理例を示した。
図24(a)は、連結画像からエッジを抽出した画像(以下、「エッジ画像」と呼ぶ)を示している。この画像では、道路に描かれた種々の標示の輪郭部分が抽出されている。図の領域A24が横断歩道に相当する部分である。
CPUは、横断歩道候補領域の抽出処理として、エッジ画像から、横断歩道としては小さすぎる領域(例えば、図中の領域C24)や、大きすぎる領域(図中の領域B24)を削除する。エッジ画像では、領域A24に含まれる横断歩道の線分も必ずしも連続しているとは限らないため、横断歩道も領域C24と同様に削除されてしまう可能性がある。そこで、本実施例では、横断歩道候補領域の抽出処理を次の手順で行った。
FIG. 24 is an explanatory diagram showing extraction processing of a pedestrian crossing candidate area. Each processing example of steps S314 to S318 in FIG. 23 is shown.
FIG. 24A shows an image obtained by extracting an edge from a connected image (hereinafter referred to as “edge image”). In this image, contour portions of various signs drawn on the road are extracted. A region A24 in the figure is a portion corresponding to a pedestrian crossing.
As the pedestrian crossing candidate area extraction process, the CPU deletes, from the edge image, an area that is too small as a pedestrian crossing (for example, area C24 in the figure) or an area that is too large (area B24 in the figure). In the edge image, the line of the pedestrian crossing included in the area A24 is not necessarily continuous, so the pedestrian crossing may be deleted in the same manner as the area C24. Therefore, in this embodiment, the pedestrian crossing candidate area extraction process is performed according to the following procedure.

まず、エッジ画像の各線分を縦方向の線、横方向の線に分ける。縦方向の軸に対して±45°以内の傾きにある線分を縦方向線分とし、横方向の軸に対して±45°以内の傾きにある線分を横方向線分とすればよい。そして、これらの線分を連結する。連結は図中の領域C24に示すように、縦横方向に各線分を一定サイズだけ太らせ処理を行えばよい。この処理によって近接した線分同士は連結されることになる。太らせ量は、横断歩道を構成する各線分同士が連結される程度の値を設定しておけばよい。太らせ処理によって線分を連結した後は、細らせ処理によってもとの太さに戻しておくことが好ましい。   First, each line segment of the edge image is divided into a vertical line and a horizontal line. A line segment having an inclination within ± 45 ° with respect to the vertical axis may be defined as a vertical line segment, and a line segment having an inclination within ± 45 ° with respect to the horizontal axis may be defined as a horizontal line segment. . And these line segments are connected. As shown in a region C24 in the figure, the connection may be performed by thickening each line segment by a certain size in the vertical and horizontal directions. By this processing, adjacent line segments are connected to each other. The fattening amount may be set to a value such that each line segment constituting the pedestrian crossing is connected. After connecting the line segments by the thickening process, it is preferable to restore the original thickness by the thinning process.

こうして連結が完了したら、横断歩道としては長すぎる線分、および短すぎる線分を削除する。削除するための閾値は、横断歩道としての標準的な大きさに基づき任意に設定可能である。こうすることにより、例えば、領域B24は大きすぎる部分として削除でき、領域C24は短すぎる部分として削除することができる。   When the connection is completed in this way, a line segment that is too long and a line that is too short for a crosswalk is deleted. The threshold for deletion can be arbitrarily set based on the standard size as a pedestrian crossing. In this way, for example, the region B24 can be deleted as a too large portion, and the region C24 can be deleted as a too short portion.

図24(b)は、横断歩道候補領域を抽出した結果を示している。CPUは、この候補領域に対して、横断歩道抽出処理、即ち横断歩道の候補領域の中から、横断歩道に相当する部分を抽出する処理を行う。図中の例では、領域D24、E24を削除し、領域A24を抽出する処理である。本実施例では、統計処理によって他の線分よりも極端に長い線分、短い線分などを削除するものとした。
この処理を行うため、CPUは、まず領域内の縦方向の線分を抽出する。そして、各線分の位置情報、即ち中心位置、長さ、幅を求め、これらの平均値、標準偏差を求める。
FIG. 24B shows the result of extracting the pedestrian crossing candidate area. The CPU performs a pedestrian crossing extraction process, that is, a process of extracting a portion corresponding to the pedestrian crossing from the pedestrian crossing candidate area. In the example in the figure, the processing is to delete the areas D24 and E24 and extract the area A24. In this embodiment, statistically long lines, short lines, etc. that are extremely longer than other line segments are deleted.
In order to perform this process, the CPU first extracts vertical line segments in the area. Then, the position information of each line segment, that is, the center position, length, and width is obtained, and the average value and standard deviation thereof are obtained.

次に、CPUは「線分の高さ平均値+標準偏差」を超える長さの線分を、長すぎる線分として削除する。
CPUは、次に、各線分の横方向の間隔と、その平均値、標準偏差を求める。そして、隣の線分との間隔が、この「平均値+標準偏差」を超えるものについては、横断歩道の縞模様を形成するには、離れた位置にあると判断し、削除する。
更に、CPUは残った線分の中心位置の点列を直線近似する。そして、中心位置が近似直線から所定以上の距離にある線分を、横断歩道からずれた位置にある線分であると判断して削除する。
Next, the CPU deletes a line segment having a length exceeding “average height of line segment + standard deviation” as a line segment that is too long.
Next, the CPU obtains the horizontal interval of each line segment, its average value, and standard deviation. Then, in the case where the distance between the adjacent line segments exceeds the “average value + standard deviation”, in order to form a stripe pattern of the pedestrian crossing, it is determined that it is in a distant position and is deleted.
Further, the CPU linearly approximates the point sequence at the center position of the remaining line segment. Then, a line segment whose center position is at a predetermined distance or more from the approximate straight line is determined to be a line segment at a position shifted from the pedestrian crossing, and is deleted.

図24(c)は、横断歩道抽出処理を施した結果を表している。横断歩道の縞模様を構成する縦線分が抽出されている。領域F24に突出した部分があるのは、横断歩道に近接して描かれた車線境界線を誤って認識しているためである。同様にして横線分も抽出可能である。
CPUは、横断歩道領域処理として、横断歩道として抽出された部分(図24(c))を包含する外形形状を求める。この処理を行うため、CPUは、横断歩道の縞模様に当たる部分が閉図形となるように、図24(c)の縦線分および同様にして抽出された横線分を結合する。
そして、各閉図形の領域を太らせる。この処理によって隣接する縞模様同士が結合するため、図24(d)に示す凸形状の領域G24が得られる。かかる形状が得られた後、この領域G24を収縮させる処理を施しても良い。こうすることによって、凸部分が縮小し、矩形に近い領域を特定することが可能となる。
FIG. 24C shows the result of the pedestrian crossing extraction process. The vertical lines that make up the stripe pattern of the pedestrian crossing are extracted. The reason why there is a protruding portion in the region F24 is because the lane boundary line drawn close to the pedestrian crossing is erroneously recognized. Similarly, horizontal line segments can be extracted.
As the pedestrian crossing area process, the CPU obtains an outer shape that includes a portion extracted as a pedestrian crossing (FIG. 24C). In order to perform this processing, the CPU combines the vertical line segments in FIG. 24C and the horizontal line segments extracted in the same manner so that the portion corresponding to the stripe pattern of the pedestrian crossing becomes a closed figure.
Then, the area of each closed figure is fattened. Since the adjacent striped patterns are combined by this process, a convex region G24 shown in FIG. 24D is obtained. After such a shape is obtained, the region G24 may be contracted. By doing so, the convex portion is reduced, and an area close to a rectangle can be specified.

以上の処理が完了すると、CPUは最後に横断歩道情報出力処理として、横断歩道を包含する外形形状に近似した矩形形状を求め、出力する。図24(e)に示すように、横断歩道領域処理で得られた破線領域とのずれが最も小さくなるよう矩形H24の大きさを決定すればよい。
図24(e)の例では、凸形状の領域G24を利用する場合を示したが、凸形状の領域G24に対して縮小処理を施し、凸部分を縮小させてから、矩形H24を求めるようにしてもよい。
When the above processing is completed, the CPU finally obtains and outputs a rectangular shape that approximates the outer shape that includes the pedestrian crossing as pedestrian crossing information output processing. As shown in FIG. 24 (e), the size of the rectangle H24 may be determined so that the deviation from the broken line region obtained by the pedestrian crossing region process is minimized.
In the example of FIG. 24E, the case where the convex region G24 is used is shown. However, a reduction process is performed on the convex region G24 to reduce the convex portion, and then the rectangle H24 is obtained. May be.

(5)自転車横断帯等の抽出:
図21に戻り、横断関連ペイント抽出処理について説明する。
全候補領域について(図21のステップS315)、横断歩道の抽出が完了すると、CPUは自転車横断帯/停止線候補領域抽出を行う(ステップS320)。この処理は、抽出されたエッジ画像に対して、自転車横断帯/停止線としては明らかに小さすぎる領域や大きすぎる領域を削除することによってこれらの候補領域を抽出する処理である。
次に、CPUは、抽出された各候補領域に対して(ステップS321)、自転車横断帯/停止線抽出処理(ステップS322)を行う。これは、自転車横断帯/停止線の候補領域の中から、自転車横断帯/停止線に相当する部分を抽出する処理である。
そして、抽出された領域の太さが閾値Wthよりも大きい場合には(ステップS323)、自転車横断帯領域処理(ステップS324)、自転車横断帯情報出力処理(ステップS325)を行う。
(5) Extraction of bicycle crossing zone:
Returning to FIG. 21, the crossing-related paint extraction process will be described.
When extraction of the pedestrian crossing is completed for all candidate regions (step S315 in FIG. 21), the CPU performs bicycle crossing zone / stop line candidate region extraction (step S320). This process is a process of extracting these candidate areas by deleting an area that is clearly too small or too large as a bicycle crossing band / stop line with respect to the extracted edge image.
Next, the CPU performs a bicycle crossing zone / stop line extraction process (step S322) for each extracted candidate area (step S321). This is a process of extracting a portion corresponding to the bicycle crossing band / stop line from the candidate region for the bicycle crossing band / stop line.
If the extracted area is larger than the threshold value Wth (step S323), a bicycle crossing zone region process (step S324) and a bicycle crossing zone information output process (step S325) are performed.

閾値Wth以下の場合には、停止線領域処理(ステップS326)、停止線情報出力処理(ステップS327)を行う。
自転車横断帯領域処理(ステップS324)、停止線領域処理(ステップS326)とは、自転車横断帯または停止線として抽出された部分を包含する外形形状を求める処理である。
自転車横断帯情報出力処理(ステップS325)、停止線情報出力処理(ステップS327)とは、自転車横断帯または停止線を包含する外形形状に近似した矩形形状を求め、出力する処理である。
If it is equal to or less than the threshold value Wth, stop line area processing (step S326) and stop line information output processing (step S327) are performed.
The bicycle crossing band region process (step S324) and the stop line region process (step S326) are processes for obtaining an outer shape including a portion extracted as a bicycle crossing band or a stop line.
The bicycle crossing band information output process (step S325) and the stop line information output process (step S327) are processes for obtaining and outputting a rectangular shape that approximates the outer shape including the bicycle crossing band or the stop line.

図25は自転車横断帯/停止線候補領域の抽出処理等を示す説明図である。図23のステップS320〜S327の各処理例を示した。
図25(a)は、処理対象となる連結画像を示している。自転車横断帯とは、横断歩道の横に、横断歩道に平行に描かれている2本の直線からなる領域A25である。
図25(b)は、エッジ画像を示している。ここでは、道路のパスに直交する方向の線分のみを抽出した例を示した。領域D25が自転車横断帯を表しており、領域C25が停止線を表している。領域B25はノイズである。
CPUは、次の手順、自転車横断帯/停止線の領域を抽出する。まず、横方向の線分に対して縦方向の線分を結合して領域化する。そして、各領域に対して太らせ処理を行う。太らせ量は、自転車横断帯を構成する2本の平行線が結合される程度の値とする。太らせ処理の結果、自転車横断帯は2本線が結合した一つの幅広の領域となる。このように太らせ処理を行った後、CPUは、各領域に対して自転車横断帯の境界線および停止線を構成する線分としては小さすぎる領域(例えば、図中の領域B25)や、大きすぎる領域を削除する。
次に、CPUは残った領域のうち長手方向が距離軸に直交する方向つまり左右方向に伸びている領域を抽出し、そのうち太いものを自転車横断帯、細いものを停止線の候補領域とする。
FIG. 25 is an explanatory diagram showing a process of extracting a bicycle crossing zone / stop line candidate region. Each processing example of steps S320 to S327 in FIG. 23 is shown.
FIG. 25A shows a connected image to be processed. The bicycle crossing zone is an area A25 composed of two straight lines drawn beside the pedestrian crossing and parallel to the pedestrian crossing.
FIG. 25B shows an edge image. Here, an example in which only a line segment in a direction orthogonal to the road path is extracted is shown. A region D25 represents a bicycle crossing zone, and a region C25 represents a stop line. Region B25 is noise.
The CPU extracts the next procedure, bicycle crossing zone / stop line area. First, a vertical line segment is combined with a horizontal line segment to form a region. Then, a fattening process is performed on each area. The fattening amount is set to a value such that two parallel lines constituting the bicycle crossing band are combined. As a result of the fattening process, the bicycle crossing band becomes one wide area where two lines are joined. After performing the fattening processing in this way, the CPU is too small (for example, a region B25 in the drawing) or a region that is too small as a line segment constituting the boundary line and the stop line of the bicycle crossing band for each region. Remove too much space.
Next, the CPU extracts a region in which the longitudinal direction extends in the direction orthogonal to the distance axis, that is, in the left-right direction, from among the remaining regions, and sets a thick one as a bicycle crossing band and a thin one as a stop line candidate region.

図25(c)は、自転車横断帯の候補領域に対応する道路画像E25を示している。本実施例では、このように、道路画像からエッジを抽出し、自転車横断帯の候補領域を決定した後、再度、決定された領域に対応する道路画像を切り出し、この画像を用いて、より詳細に自転車横断帯を抽出する方法を採っている。   FIG. 25C shows a road image E25 corresponding to a candidate region for a bicycle crossing zone. In this embodiment, in this way, after extracting the edge from the road image and determining the candidate area of the bicycle crossing zone, the road image corresponding to the determined area is cut out again, and this image is used for more details. The method of extracting the bicycle crossing zone is adopted.

図25(d)は、抽出された画像(図25(c))に対してエッジ抽出を行った結果を示している。上の方に矩形波状の凹凸が表れているのは、自転車横断帯に隣接するように描かれている横断歩道の一部を抽出しているからである。CPUは、自転車横断帯抽出処理、即ち自転車横断帯の候補領域の中から、自転車横断帯に相当する部分を抽出する処理を行う。
この処理を行うため、CPUは、図25(d)中の拡大図で示したように、抽出した領域の輪郭の太らせ処理を行う。実線は輪郭を示し、破線は太らせ処理の結果を表している。太らせ処理を行うと、図25(d)中の凹凸部分は、それぞれ隣接する部分と結合して消滅する。この結果、図25(e)に示すように凹凸のない矩形に近似した外形形状を得ることができる。太らせ処理によって隣接する部分と結合させた後、もとの境界線が得られる程度まで外形形状を縮小してもよい。
FIG. 25D shows the result of edge extraction performed on the extracted image (FIG. 25C). The reason why the rectangular wavy irregularities appear on the upper side is that a part of the crosswalk drawn so as to be adjacent to the bicycle crossing zone is extracted. The CPU performs a bicycle crossing band extraction process, that is, a process of extracting a portion corresponding to the bicycle crossing band from the candidate areas of the bicycle crossing band.
In order to perform this process, the CPU performs a thickening process on the contour of the extracted area as shown in the enlarged view in FIG. The solid line indicates the outline, and the broken line indicates the result of the fattening process. When the thickening process is performed, the concavo-convex portions in FIG. 25D are combined with the adjacent portions and disappear. As a result, as shown in FIG. 25E, it is possible to obtain an outer shape that approximates a rectangle without unevenness. After combining with adjacent portions by thickening processing, the outer shape may be reduced to the extent that the original boundary line is obtained.

以上の処理が完了すると、CPUは最後に自転車横断帯情報出力処理として、自転車横断帯を包含する外形形状に近似した矩形形状を求め、出力する。図25(f)に示すように、自転車横断帯領域処理で得られた破線領域とのずれが最も小さくなるよう矩形F25の大きさを決定すればよい。
図25では、自転車横断帯の例を示したが、停止線の場合も同様である。図25(b)で太らせ処理を施した結果、自転車横断帯よりも幅が狭い領域を停止線として抽出すればよい。
以上で説明した処理によって、CPUは横断関連ペイント抽出処理を完了する。
When the above processing is completed, the CPU finally obtains and outputs a rectangular shape that approximates the outer shape including the bicycle crossing band as a bicycle crossing band information output process. As shown in FIG. 25 (f), the size of the rectangle F25 may be determined so that the deviation from the broken line region obtained by the bicycle crossing band region process is minimized.
FIG. 25 shows an example of a bicycle crossing band, but the same applies to a stop line. As a result of performing the fattening process in FIG. 25B, a region having a width smaller than the bicycle crossing band may be extracted as a stop line.
With the process described above, the CPU completes the crossing-related paint extraction process.

(6)境界線(実線)抽出処理:
図26は境界線(実線)抽出処理の内容を示す説明図である。図26(a)には、車線境界線を含む画像を例示した。図示の便宜上、画像を横配置の状態で示してある。図示する通り、この画像には、3本の車線を区分けする実線の車線境界線、停止線および進行方向の規制を示す矢印が含まれている。
(6) Boundary line (solid line) extraction processing:
FIG. 26 is an explanatory diagram showing the contents of the boundary line (solid line) extraction process. FIG. 26A illustrates an image including a lane boundary line. For convenience of illustration, the image is shown in a horizontally arranged state. As shown in the figure, this image includes solid lane boundary lines that divide the three lanes, stop lines, and arrows indicating the restriction of the traveling direction.

図26(b)は、画像を2値化して標示部分を抽出した状態を示している。本実施例では、図26(a)に示す画像を、H(色相)S(彩度)V(明度)の色空間に変換し、V画像を用いて、所定値以上の明度を有する部分を抽出した。2値化のための所定値は、白線および黄色線が精度良く抽出できる値を設定すればよい。   FIG. 26B shows a state in which the sign portion is extracted by binarizing the image. In this embodiment, the image shown in FIG. 26A is converted into a color space of H (hue) S (saturation) V (lightness), and a portion having a lightness equal to or higher than a predetermined value is obtained using the V image. Extracted. The predetermined value for binarization may be set to a value with which a white line and a yellow line can be accurately extracted.

次に、図26(c)に示すように、この画像から所定長さ以上の線分を抽出する。所定長さは、矢印等を排除できる範囲で任意に設定可能である。連結画像の画質によっては、2値化した画像(図26(b))において、車線境界線が分断されてしまう可能性もあるため、線分の抽出に先立って、線分の連結処理を施しても良い。つまり、各線分を一定範囲で太らせ処理をして、微小な間隙を埋めた後、縮小処理によってもとの太さに戻すのである。こうすることによって、車線境界線を精度良く抽出することができる。   Next, as shown in FIG. 26C, a line segment having a predetermined length or more is extracted from this image. The predetermined length can be arbitrarily set as long as an arrow or the like can be excluded. Depending on the image quality of the connected image, there is a possibility that the lane boundary line may be divided in the binarized image (FIG. 26B). Therefore, the line segment is connected before the line segment is extracted. May be. In other words, each line segment is thickened within a certain range to fill a minute gap, and then returned to the original thickness by a reduction process. By doing so, the lane boundary line can be extracted with high accuracy.

図26(c)の状態では、停止線の一部が誤って抽出されている。そこで、次は、抽出された線分のうち、距離軸に平行な線分のみを抽出する。この図では連結画像を横配置で示しているから、左右方向の線分を抽出することになる。こうすることにより、図26(d)に示すように、停止線が排除され、車線境界線を抽出することができる。   In the state of FIG. 26 (c), a part of the stop line is extracted by mistake. Therefore, next, only the line segment parallel to the distance axis is extracted from the extracted line segments. In this figure, since the connected image is shown in a horizontal arrangement, a line segment in the left-right direction is extracted. By doing so, as shown in FIG. 26 (d), the stop line is eliminated and the lane boundary line can be extracted.

こうして得られた車線境界線の画像データとして認識結果を出力してもよい。また、図示を省略したが、これらの車線境界線に対して、直線近似を施して、得られた直線を車線境界線の認識結果を出力してもよい。更に、原画像データ(図26(a))のH(色相)画像から、図26(d)で抽出された領域と重なる部分を抽出し、車線境界線が白色か黄色かの判断を行っても良い。   The recognition result may be output as image data of the lane boundary line thus obtained. Although not shown, linear approximation may be applied to these lane boundary lines, and the obtained straight line may be output as a lane boundary line recognition result. Further, from the H (hue) image of the original image data (FIG. 26 (a)), a portion overlapping the region extracted in FIG. 26 (d) is extracted, and it is determined whether the lane boundary line is white or yellow. Also good.

(7)境界線(破線)抽出処理:
図27は境界線(破線)抽出処理の内容を示す説明図である。図27(a)には、車線境界線を含む画像を例示した。図示する通り、この画像には、3本の車線を区分けする破線の車線境界線L27、および規制を示す文字C27が含まれている。この図には含まれていないが、場所によっては進行方向の規制を示す矢印などが含まれることもある。
(7) Boundary line (broken line) extraction processing:
FIG. 27 is an explanatory diagram showing the contents of the boundary line (broken line) extraction process. FIG. 27A illustrates an image including a lane boundary line. As shown in the drawing, this image includes a broken lane boundary line L27 that divides the three lanes, and a character C27 indicating restriction. Although not included in this figure, depending on the location, an arrow indicating the restriction of the traveling direction may be included.

図27(b)は、画像を2値化して標示部分を抽出した状態を示している。2値化の方法は、実線の車線境界線抽出の場合(図26(b))と同様である。
次に、この画像から所定長さ以上の線分を抽出する。所定長さは、矢印等を排除しつつ、破線の境界線を抽出できる範囲で任意に設定可能である。連結画像の画質によっては、2値化した画像(図27(b))において、車線境界線が分断されてしまう可能性もあるため、線分の抽出に先立って、線分の連結処理を施しても良い。つまり、各線分を一定範囲で太らせ処理をして、微小な間隙を埋めた後、縮小処理によってもとの太さに戻すのである。ただし、図27(a)に示すように車線境界線L27に接触しそうな程度に文字C27が描かれているため、車線境界線L27が文字C27に接触しない範囲で太らせ量を設定することが好ましい。太らせ処理を、距離軸に平行な方向(図中の縦方向)にのみ施すようにしてもよい。
また、線分の抽出に当たっては、距離軸に平行な方向の線分のみを抽出することが好ましい。
FIG. 27B shows a state in which the sign portion is extracted by binarizing the image. The binarization method is the same as in the case of extracting a solid lane boundary line (FIG. 26B).
Next, a line segment having a predetermined length or more is extracted from this image. The predetermined length can be arbitrarily set within a range in which a dashed boundary line can be extracted while excluding an arrow or the like. Depending on the image quality of the connected image, there is a possibility that the lane boundary line may be divided in the binarized image (FIG. 27 (b)). May be. In other words, each line segment is thickened within a certain range to fill a minute gap, and then returned to the original thickness by a reduction process. However, as shown in FIG. 27A, the character C27 is drawn to such an extent that the lane boundary line L27 is likely to come into contact with the lane boundary line L27. preferable. The thickening process may be performed only in a direction parallel to the distance axis (vertical direction in the figure).
Moreover, when extracting a line segment, it is preferable to extract only a line segment in a direction parallel to the distance axis.

図27(c)は、破線の車線境界線L27を抽出した結果を示している。
こうして得られた車線境界線の画像データの形で認識結果を出力してもよい。また、図示を省略したが、これらの車線境界線に対して、直線近似を施して、得られた直線を車線境界線の認識結果を出力してもよい。更に、原画像データ(図27(a))のH(色相)画像から、図27(c)で抽出された領域と重なる部分を抽出し、車線境界線が白色か黄色かの判断を行っても良い。
FIG. 27C shows a result of extracting a broken lane boundary line L27.
The recognition result may be output in the form of image data of the lane boundary line thus obtained. Although not shown, linear approximation may be applied to these lane boundary lines, and the obtained straight line may be output as a lane boundary line recognition result. Further, a portion overlapping with the region extracted in FIG. 27C is extracted from the H (hue) image of the original image data (FIG. 27A) to determine whether the lane boundary line is white or yellow. Also good.

(8)矢印抽出処理:
図28は矢印抽出処理の内容を示す説明図である。図28(a)には、矢印A281、A282、および車線境界線、横断歩道、停止線などが含まれている画像を例示した。図示の便宜上、距離軸が左右方向となる横配置で示している。
図28(b)は、この画像を2値化して標示部分を抽出した状態を示している。2値化の方法は、実線の車線境界線抽出の場合(図26(b))と同様である。2値化画像によって、矢印A281、A282、横断歩道A283などの標示部分が抽出されている。
(8) Arrow extraction process:
FIG. 28 is an explanatory diagram showing the contents of the arrow extraction process. FIG. 28A illustrates an image including arrows A281 and A282 and lane boundaries, pedestrian crossings, stop lines, and the like. For convenience of illustration, the distance axis is shown in a horizontal arrangement in the left-right direction.
FIG. 28B shows a state in which this image is binarized to extract a marking portion. The binarization method is the same as in the case of extracting a solid lane boundary line (FIG. 26B). Marked portions such as arrows A281 and A282 and a pedestrian crossing A283 are extracted from the binarized image.

次に、この画像から矢印に相当する長さ、幅の領域を抽出する。
矢印の長さは、横断歩道の縞模様一つ一つの線分の長さと類似している。また、図中には示していないが、路上にある速度規制の数字などとも似たサイズとなっている。そこで、これらの標示と矢印を区別するために予め各線分に太らせ処理を施すことが好ましい。太らせ処理によって、横断歩道の縞模様や、文字を構成する線分が結合されるため、矢印と明瞭に区分できる程度の大きな領域を構成させることができる。この太らせ処理は、かかる効果を狙って行うものであるため、距離軸に直交する方向、即ち図中の上下方向に大きな太らせ量とすることが好ましい。
このように太らせ処理を施すことで、横断歩道および文字等を排除することができる。
Next, a region having a length and a width corresponding to an arrow is extracted from the image.
The length of the arrow is similar to the length of each line segment on the crosswalk. Although not shown in the figure, the size is similar to the speed regulation numbers on the road. Therefore, it is preferable to apply a thickening process to each line segment in advance in order to distinguish these marks from the arrows. The thickening process combines the stripe pattern of the pedestrian crossing and the line segments constituting the character, so that a large area that can be clearly distinguished from the arrow can be formed. Since this thickening process is performed with the aim of such an effect, it is preferable that the thickening amount be large in the direction orthogonal to the distance axis, that is, in the vertical direction in the figure.
By performing the fattening process in this way, pedestrian crossings, characters, and the like can be eliminated.

図28(c)は、横断歩道等が排除された結果を示している。本実施例は、この画像に対して、OCRモデルを用いたパターンマッチングにより矢印を抽出する。OCRモデルとは、予め路面を撮影した画像からの切り出しによって生成されたパターンマッチング用の矢印の画像データである。OCRモデルは、道路面に描かれている矢印の種類に応じて用意されている。例えば、直進矢印、右折矢印、左折矢印、直進右折矢印、直進左折矢印などが挙げられる。
パターンマッチングでは、これらのOCRモデルを、図28(c)の画像に重ね合わせ、両者のずれが最小となるようにOCRモデルの位置およびサイズを変更する。そして、最小となった時のずれ量に応じて、画像に描かれている標示がOCRモデルと一致するか否かを判断するのである。本実施例では、信頼度が0.99以上の場合に、標示を矢印と認識するようにした。
FIG. 28 (c) shows the result of eliminating pedestrian crossings and the like. In this embodiment, an arrow is extracted from this image by pattern matching using an OCR model. The OCR model is image data of an arrow for pattern matching generated by cutting out an image obtained by photographing a road surface in advance. The OCR model is prepared according to the type of arrow drawn on the road surface. For example, a straight arrow, a right turn arrow, a left turn arrow, a straight right turn arrow, a straight left turn arrow, and the like can be given.
In pattern matching, these OCR models are superimposed on the image of FIG. 28C, and the position and size of the OCR model are changed so that the deviation between the two is minimized. Then, it is determined whether or not the sign drawn on the image matches the OCR model according to the amount of deviation when it becomes the minimum. In this embodiment, the sign is recognized as an arrow when the reliability is 0.99 or more.

こうして得られた矢印の画像データの形で認識結果を出力してもよい。また、図示を省略したが、これらの矢印に対して、存在領域の形で認識結果を出力してもよい。つまり、横断歩道の抽出(図24(e))で示したように、横断歩道が存在する領域を現す幾何形状の位置およびサイズを認識結果として出力するのである。矢印の場合には、矢印の種類、および矢印を包含する矩形などの幾何形状の位置およびサイズを認識結果として出力することができる。こうすることによって、低容量のデータで認識結果を保存することができる利点がある。   The recognition result may be output in the form of the image data of the arrow thus obtained. Although not shown, the recognition result may be output in the form of an existing area for these arrows. That is, as shown in the extraction of the pedestrian crossing (FIG. 24 (e)), the position and size of the geometric shape showing the area where the pedestrian crossing exists are output as the recognition result. In the case of an arrow, the type of arrow and the position and size of a geometric shape such as a rectangle including the arrow can be output as a recognition result. By doing so, there is an advantage that the recognition result can be saved with low-capacity data.

(9)ゼブラ抽出処理:
図29はゼブラ抽出処理の内容を示す説明図である。ゼブラとは、路面上の縞模様のうち、横断歩道や後述する減速帯とは異なるものを言う。中央分離帯や右左折車線が増える部分に設けられていることが多く、距離軸に対して斜めの縞模様となっている点が特徴である。
(9) Zebra extraction processing:
FIG. 29 is an explanatory diagram showing the contents of the zebra extraction process. Zebra refers to a striped pattern on a road surface that is different from a pedestrian crossing or a deceleration zone described later. It is often provided at the part where the median strip and right / left turn lanes increase, and is characterized by a diagonal stripe pattern with respect to the distance axis.

図29(a)にゼブラを含む画像の例を示した。図示の便宜上、距離軸が左右方向となる横配置で示している。この例では、中央分離帯の部分にゼブラA29が描かれている。
図29(b)は、この画像を2値化して標示部分を抽出した状態を示している。2値化の方法は、実線の車線境界線抽出の場合(図26(b))と同様である。
図29(c)は、2値画像に対して、所定値以上の領域を抽出した結果を示している。ゼブラA29は、距離軸に沿った方向(図中の左右方向)の境界線と斜線部とが結合しているため、全体の面積は比較的大きくなる。ゼブラA29を抽出するための所定値は、車線境界線よりも大きく、ゼブラA29よりも小さい範囲で任意に設定可能である。
FIG. 29 (a) shows an example of an image including a zebra. For convenience of illustration, the distance axis is shown in a horizontal arrangement in the left-right direction. In this example, a zebra A29 is drawn in the central separation zone.
FIG. 29B shows a state in which this image is binarized and a marking portion is extracted. The binarization method is the same as in the case of extracting a solid lane boundary line (FIG. 26B).
FIG. 29 (c) shows the result of extracting a region of a predetermined value or more from the binary image. The zebra A29 has a relatively large overall area because the boundary line in the direction along the distance axis (the left-right direction in the figure) and the hatched portion are coupled. The predetermined value for extracting the zebra A29 can be arbitrarily set in a range larger than the lane boundary line and smaller than the zebra A29.

次に、距離軸に直交する方向の幅が狭い領域を除去する。このために距離軸に直交する方向(図中の上下方向)に各領域を収縮させる。こうすることによって、図29(d)に示すように、ゼブラA29の境界線が除去される。境界線が除去された後、収縮分を戻すように、各領域を上下方向に膨張させる処理を施しておく。
今度は、図29(d)で得られた縞模様を、距離軸に沿う方向に太らせる。こうすることによって、縞模様同士が結合し、ゼブラ全体を包含するベタ領域を得ることができる。
そして、このベタ領域で原画像からゼブラを抽出する。図29(e)は、こうして得られたベタ領域で、原画像(図29(a))からゼブラA29のみを改めて切り出した状態を示している。つまり、図29(b)〜図29(d)までの処理は、連結画像から、ゼブラA29の候補領域を絞り込むための処理である。こうして得られた候補領域に該当する箇所を、原画像(図29(a))から改めて抽出し、より精度良くゼブラを抽出するのである。
Next, a region having a narrow width in the direction orthogonal to the distance axis is removed. For this purpose, each region is contracted in a direction (vertical direction in the figure) perpendicular to the distance axis. By doing so, the boundary line of the zebra A29 is removed as shown in FIG. After the boundary line is removed, a process for expanding each region in the vertical direction is performed so as to restore the contraction.
This time, the striped pattern obtained in FIG. 29D is thickened in the direction along the distance axis. By doing so, striped patterns are combined and a solid region including the entire zebra can be obtained.
Then, a zebra is extracted from the original image in this solid area. FIG. 29 (e) shows a state in which only the zebra A29 is newly cut out from the original image (FIG. 29 (a)) in the solid region thus obtained. That is, the processes from FIG. 29B to FIG. 29D are processes for narrowing down the candidate area of the zebra A 29 from the connected image. The part corresponding to the candidate region thus obtained is extracted again from the original image (FIG. 29A), and the zebra is extracted with higher accuracy.

抽出結果(図29(e))に対して施す処理は、図29(b)〜図29(d)と同様である。つまり、図29(e)の画像を2値化し、得られた線分を太らせ処理して、結合させることによって、図29(f)に示すようにゼブラB29を抽出する。ただし、この処理では、車線境界線など、ゼブラ以外の標示がほぼ排除されているため、太らせ処理における太らせ量などを、ゼブラB29の抽出に最適な値に設定しておくことが可能である。
このように、まずゼブラA29の存在する候補領域を絞り込んでおき、その結果を踏まえて再度、原画像から切り出した画像を処理するという2段階の処理を経ることによって、精度良くゼブラB29を抽出することが可能である。この2段階での処理は、ゼブラのみならず、他の標示に対しても適用することができる。
The processing applied to the extraction result (FIG. 29 (e)) is the same as in FIGS. 29 (b) to 29 (d). In other words, the zebra B29 is extracted as shown in FIG. 29 (f) by binarizing the image of FIG. 29 (e), thickening the obtained line segments, and combining them. However, in this process, signs other than the zebra such as the lane boundary line are almost eliminated, so that the fattening amount in the fattening process can be set to an optimum value for extracting the zebra B29. is there.
In this manner, first, the candidate region where the zebra A29 exists is narrowed down, and the zebra B29 is extracted with high accuracy by performing the two-step process of processing the image cut out from the original image again based on the result. It is possible. This two-stage process can be applied not only to zebra but also to other signs.

(10)Uターン抽出処理:
図30はUターン抽出処理の内容を示す説明図である。図30(a)にUターンを含む道路画像を示した。図示の便宜上、距離軸が横(図中の左右方向)に来る横配置で示した。Uターン矢印とは、図中の矢印A30である。
(10) U-turn extraction process:
FIG. 30 is an explanatory diagram showing the contents of the U-turn extraction process. FIG. 30A shows a road image including a U-turn. For convenience of illustration, the distance axis is shown in a horizontal arrangement in which the distance axis is horizontal (in the horizontal direction in the figure). The U-turn arrow is an arrow A30 in the figure.

本実施例では、Uターン矢印は、人工モデルを用いたパターンマッチングで抽出する。図30(b)はUターン矢印の人工モデルを示している。人工モデルは、コンピュータグラフィックスにより作成したものである。   In this embodiment, the U-turn arrow is extracted by pattern matching using an artificial model. FIG. 30B shows an artificial model of a U-turn arrow. The artificial model is created by computer graphics.

図30(c)は、原画像(図30(a))の2値化画像を示している。2値化の方法は、実線の車線境界線抽出の場合(図26(b))と同様である。
この画像に対して、各領域について、距離軸に沿った方向(図中の左右方向)の長さ、および距離軸に直交する方向(図中の上下方向)の幅を求める。そして、この長さ、幅が、Uターン矢印に相当する所定値範囲内にない領域を排除する。図30(d)は、排除結果を示している。Uターン矢印A30の他、同等のサイズを有する転回禁止記号B30(図中の×印)も抽出されていることが分かる。
こうして得られた抽出結果に対して、図30(b)で示した人工モデルを適用し、パターンマッチングによってUターン矢印を抽出する。本実施例では、信頼度が0.85以上の標示をUターン矢印と判断するようにした。
FIG. 30C shows a binarized image of the original image (FIG. 30A). The binarization method is the same as in the case of extracting a solid lane boundary line (FIG. 26B).
With respect to this image, for each region, the length in the direction along the distance axis (left-right direction in the figure) and the width in the direction orthogonal to the distance axis (up-down direction in the figure) are obtained. And the area | region which this length and width does not exist in the predetermined value range corresponded to a U-turn arrow is excluded. FIG. 30D shows an exclusion result. It can be seen that, in addition to the U-turn arrow A30, a turn prohibition symbol B30 (x mark in the figure) having an equivalent size is also extracted.
The artificial model shown in FIG. 30B is applied to the extraction result thus obtained, and a U-turn arrow is extracted by pattern matching. In the present embodiment, an indication having a reliability of 0.85 or higher is determined as a U-turn arrow.

こうして得られたUターン矢印の画像データの形で認識結果を出力してもよい。また、図示を省略したが、これらのUターン矢印に対して、存在領域の形で認識結果を出力してもよい。つまり、Uターン矢印を包含する矩形などの幾何形状の位置およびサイズを認識結果として出力することができる。こうすることによって、低容量のデータで認識結果を保存することができる利点がある。   The recognition result may be output in the form of image data of the U-turn arrow thus obtained. Although not shown, the recognition result may be output in the form of an existing area for these U-turn arrows. That is, the position and size of a geometric shape such as a rectangle including the U-turn arrow can be output as a recognition result. By doing so, there is an advantage that the recognition result can be saved with low-capacity data.

(11)転回禁止抽出処理:
図31は転回禁止抽出処理の内容を示す説明図である。図31(a)に転回禁止を含む道路画像を示した。図示の便宜上、距離軸が横(図中の左右方向)に来る横配置で示した。転回禁止とは、図中の×印A31である。
本実施例では、転回禁止は、人工モデルを用いたパターンマッチングで抽出する。図31(b)は転回禁止の人工モデルを示している。人工モデルは、コンピュータグラフィックスにより作成したものである。
(11) Inversion prohibition extraction processing:
FIG. 31 is an explanatory diagram showing the contents of the turn prohibition extraction process. FIG. 31A shows a road image including turning prohibition. For convenience of illustration, the distance axis is shown in a horizontal arrangement in which the distance axis is horizontal (in the horizontal direction in the figure). The rotation prohibition is a cross A31 in the figure.
In this embodiment, turning prohibition is extracted by pattern matching using an artificial model. FIG. 31 (b) shows an artificial model that prohibits turning. The artificial model is created by computer graphics.

図31(c)は、原画像(図31(a))の2値化画像を示している。2値化の方法は、実線の車線境界線抽出の場合(図26(b))と同様である。
この画像に対して、各領域について、距離軸に沿った方向(図中の左右方向)の長さ、および距離軸に直交する方向(図中の上下方向)の幅を求める。そして、この長さ、幅が、転回禁止に相当する所定値範囲内にない領域を排除する。図31(d)は、排除結果を示している。転回禁止A31の他、同等のサイズを有するUターン矢印B31も抽出されていることが分かる。
こうして得られた抽出結果に対して、図31(b)で示した人工モデルを適用し、パターンマッチングによって転回禁止を抽出する。本実施例では、信頼度が0.8以上の標示を転回禁止と判断するようにした。
FIG. 31C shows a binarized image of the original image (FIG. 31A). The binarization method is the same as in the case of extracting a solid lane boundary line (FIG. 26B).
With respect to this image, for each region, the length in the direction along the distance axis (left-right direction in the figure) and the width in the direction orthogonal to the distance axis (up-down direction in the figure) are obtained. And the area | region which this length and width does not exist in the predetermined value range corresponded to rotation prohibition is excluded. FIG. 31D shows the exclusion result. It can be seen that in addition to the rotation prohibition A31, a U-turn arrow B31 having an equivalent size is also extracted.
The artificial model shown in FIG. 31B is applied to the extraction result thus obtained, and the turn prohibition is extracted by pattern matching. In this embodiment, a sign having a reliability of 0.8 or more is determined to be prohibited from turning.

こうして得られた転回禁止の画像データの形で認識結果を出力してもよい。また、図示を省略したが、転回禁止に対して、存在領域の形で認識結果を出力してもよい。つまり、転回禁止を包含する矩形などの幾何形状の位置およびサイズを認識結果として出力することができる。こうすることによって、低容量のデータで認識結果を保存することができる利点がある。   The recognition result may be output in the form of image data for which rotation is prohibited thus obtained. Although not shown in the figure, the recognition result may be output in the form of an existing area for turning prohibition. That is, the position and size of a geometric shape such as a rectangle including the rotation prohibition can be output as a recognition result. By doing so, there is an advantage that the recognition result can be saved with low-capacity data.

(12)規制抽出処理:
図32は規制抽出処理の内容を示す説明図である。図32(a)に規制A32を含む画像を例示した。距離軸は上下方向となる縦配置で示している。
規制とは、例えば、バスレーン専用となる時間帯を表す文字(図中の「17−19」と書いた数字)など、通行の規制を示す文字、数字を言う。図中には、「専用」の文字も見えるが、これは後述する「バスレーン」標示で処理するため、規制の処理には含まない。
図32(b)は、この画像を2値化して標示部分を抽出した状態を示している。2値化の方法は、実線の車線境界線抽出の場合(図26(b))と同様である。
(12) Regulation extraction process:
FIG. 32 is an explanatory diagram showing the contents of the restriction extraction process. FIG. 32A illustrates an image including the regulation A32. The distance axis is indicated by a vertical arrangement in the vertical direction.
Regulations refer to letters and numbers indicating traffic restrictions, such as letters representing time zones dedicated to bus lanes (numbers written as “17-19” in the figure). In the figure, the word “dedicated” is also visible, but this is not included in the regulation process because it is processed by the “bus lane” marking described later.
FIG. 32 (b) shows a state in which this image is binarized and a marking portion is extracted. The binarization method is the same as in the case of extracting a solid lane boundary line (FIG. 26B).

次に、この画像の領域のうち、白色の領域を抽出する。白色を抽出したのは、この例で、規制が白色の数字を対象としているからである。黄色で描かれた規制を対象とする場合には、黄色の領域を抽出することが好ましい。
白色の領域が抽出されると、図32(c)に示すように、これらの領域に対して太らせ処理を施す。規制の抽出処理では、数字や文字などの標示を処理対象とするため、一旦、これらを結合して一つの領域として捉えた方が抽出しやすいからである。図の例では、「専用」の文字B32、および規制の数字(17−19)A32を構成する各線分が、それぞれ結合し、まとまった領域を形成していることが分かる。太らせ量は、このように、文字または数字を一つの領域にまとめられる範囲で任意に設定可能である。
Next, a white area is extracted from the image area. The reason why white color is extracted is that in this example, the regulation is for white numbers. In the case of targeting a restriction drawn in yellow, it is preferable to extract a yellow region.
When white areas are extracted, as shown in FIG. 32C, fattening processing is performed on these areas. This is because, in the regulation extraction process, since signs such as numbers and letters are processed, it is easier to extract them by combining them once as one area. In the example of the figure, it can be seen that the line segments constituting the “dedicated” character B32 and the regulation numeral (17-19) A32 are combined to form a unified area. As described above, the fattening amount can be arbitrarily set within a range in which letters or numbers can be combined into one area.

こうして太らせ処理によって、数字、文字を一つの領域にまとめた後、各領域の距離軸に沿う方向(図中の上下方向)の長さ、距離軸に直交する方向(図中の左右方向)の幅に基づいて、規制に相当する領域を抽出する。例えば、図32(c)の例では、「専用」の文字がつぶれた領域は、距離軸に沿う方向(図の上下方向)の長さが大きいため、規制とは区別することができる。車線境界線は、距離軸に沿う方向(図の上下方向)の長さが大きいと共に、距離軸に直交する方向(図中の左右方向)が細いため、規制とは区別することができる。
こうして、図32(d)に示すように、規制の領域を抽出することができる。
After thickening the numbers and letters into one area in this way, the length of each area in the direction along the distance axis (vertical direction in the figure) and the direction orthogonal to the distance axis (horizontal direction in the figure) Based on the width, the region corresponding to the restriction is extracted. For example, in the example of FIG. 32C, the area where the “dedicated” character is crushed has a large length in the direction along the distance axis (the vertical direction in the figure), and can be distinguished from the restriction. The lane boundary line has a large length in the direction along the distance axis (up and down direction in the figure) and is thin in the direction orthogonal to the distance axis (left and right direction in the figure), so that it can be distinguished from regulation.
In this way, the restricted area can be extracted as shown in FIG.

規制の領域を抽出した後は、この領域と重なる部分を、原画像(図32(a))から再度抽出し、2値化して白色の領域を抽出した後、OCRモデルを用いたパターンマッチングにより規制か否かを判定する。OCRモデルとは、予め路面を撮影した画像からの切り出しによって生成されたパターンマッチング用の規制の画像データである。OCRモデルは、道路面に描かれている規制の種類に応じて用意されている。本実施例では、信頼度が0.9以上の場合に、標示を規制と認識するようにした。   After extracting the restriction region, the portion overlapping this region is extracted again from the original image (FIG. 32 (a)), binarized, and the white region is extracted. Then, pattern matching using the OCR model is performed. Determine whether it is a regulation. The OCR model is regulated image data for pattern matching generated by clipping from an image obtained by photographing a road surface in advance. The OCR model is prepared according to the type of regulation drawn on the road surface. In this embodiment, when the reliability is 0.9 or more, the sign is recognized as the restriction.

こうして得られた規制の画像データの形で認識結果を出力してもよい。また、図示を省略したが、これらの規制に対して、存在領域の形で認識結果を出力してもよい。つまり、規制が存在する領域を現す幾何形状の位置およびサイズを認識結果として出力するのである。例えば、規制の種類、および規制を包含する矩形などの幾何形状の位置およびサイズを認識結果として出力することができる。こうすることによって、低容量のデータで認識結果を保存することができる利点がある。   The recognition result may be output in the form of regulated image data obtained in this way. Although not shown in the figure, the recognition result may be output in the form of an existing area for these restrictions. That is, the position and size of the geometric shape showing the area where the restriction exists are output as a recognition result. For example, the type of restriction and the position and size of a geometric shape such as a rectangle including the restriction can be output as a recognition result. By doing so, there is an advantage that the recognition result can be saved with low-capacity data.

(13)数字抽出処理:
図33は数字抽出処理の内容を示す説明図である。図33(a)に数字A33を含む画像を例示した。距離軸は上下方向となる縦配置で示している。
数字とは、ここでは、速度規制の数字を表している。図中では「50」の数字が描かれている。
図33(b)は、この画像を2値化して標示部分を抽出した状態を示している。2値化の方法は、実線の車線境界線抽出の場合(図26(b))と同様である。この際、黄色の領域のみを抽出するようにしてもよい。
(13) Number extraction processing:
FIG. 33 is an explanatory diagram showing the contents of the number extraction process. FIG. 33A illustrates an image including the number A33. The distance axis is indicated by a vertical arrangement in the vertical direction.
Here, the number represents a speed regulation number. In the figure, the number “50” is drawn.
FIG. 33 (b) shows a state in which this image is binarized and a marking portion is extracted. The binarization method is the same as in the case of extracting a solid lane boundary line (FIG. 26B). At this time, only the yellow region may be extracted.

次に、この画像に対して、図33(c)に示すように、太らせ処理を施す。数字の抽出処理では、2桁の数字を処理対象とするため、一旦、これらを結合して一つの領域として捉えた方が抽出しやすいからである。図の例では、数字A33の「5」と「0」が結合し、まとまった領域を形成していることが分かる。太らせ量は、このように数字を一つの領域にまとめられる範囲で任意に設定可能である。   Next, a fattening process is performed on the image as shown in FIG. This is because, in the number extraction process, two-digit numbers are processed, and it is easier to extract them by combining them once as one area. In the example of the figure, it can be seen that the numbers A33 “5” and “0” are combined to form a unified region. The fattening amount can be arbitrarily set in such a range that numbers can be combined into one area.

こうして太らせ処理によって、数字を一つの領域にまとめた後、各領域の距離軸に沿う方向(図中の上下方向)の長さ、距離軸に直交する方向(図中の左右方向)の幅に基づいて、数字に相当する領域を抽出する。例えば、図33(c)の例では、車線境界線は、距離軸に沿う方向(図の上下方向)の長さが大きいと共に、距離軸に直交する方向(図中の左右方向)が細いため、数字とは区別することができる。
こうして、図33(d)に示すように、数字の領域A33を抽出することができる。
After thickening the numbers into one area in this way, the length of each area in the direction along the distance axis (vertical direction in the figure) and the width in the direction perpendicular to the distance axis (horizontal direction in the figure) Based on the above, a region corresponding to a number is extracted. For example, in the example of FIG. 33 (c), the lane boundary line has a large length in the direction along the distance axis (vertical direction in the figure) and a direction perpendicular to the distance axis (horizontal direction in the figure) is thin. Can be distinguished from numbers.
In this way, a numerical area A33 can be extracted as shown in FIG.

数字の領域を抽出した後は、この領域と重なる部分を、原画像(図33(a))から再度抽出し、2値化した後、OCRモデルを用いたパターンマッチングにより数字か否かを判定する。OCRモデルは、道路面に描かれている数字の種類に応じて用意されている。本実施例では、信頼度が0.9以上の場合に、標示を数字と認識するようにした。   After extracting the number area, the part that overlaps with this area is extracted again from the original image (Fig. 33 (a)), binarized, and then determined whether it is a number by pattern matching using the OCR model To do. The OCR model is prepared according to the type of numbers drawn on the road surface. In this embodiment, the sign is recognized as a number when the reliability is 0.9 or more.

こうして得られた数字の画像データの形で認識結果を出力してもよい。また、図示を省略したが、これらの数字に対して、存在領域の形で認識結果を出力してもよい。つまり、数字が存在する領域を現す幾何形状の位置およびサイズを認識結果として出力するのである。例えば、数字の種類、および数字を包含する矩形などの幾何形状の位置およびサイズを認識結果として出力することができる。こうすることによって、低容量のデータで認識結果を保存することができる利点がある。   The recognition result may be output in the form of numeric image data obtained in this way. Although not shown, the recognition result may be output in the form of an existing area for these numbers. That is, the position and size of the geometric shape representing the area where the number exists are output as a recognition result. For example, the type of number and the position and size of a geometric shape such as a rectangle including the number can be output as a recognition result. By doing so, there is an advantage that the recognition result can be saved with low-capacity data.

(14)横断歩道予告抽出処理:
図34は横断歩道予告抽出処理の内容を示す説明図である。横断歩道予告とは、横断歩道の手前にある菱形の標示である。本実施例では、横断歩道予告の抽出には、人工モデルを用いた。図34(a)は横断歩道予告の人工モデルを表している。人工モデルは、コンピュータグラフィックスにより作成したものである。
(14) Crosswalk notice extraction process:
FIG. 34 is an explanatory diagram showing the contents of the pedestrian crossing trail extraction process. A pedestrian crossing notice is a rhombus sign in front of a pedestrian crossing. In this embodiment, an artificial model was used for extracting the pedestrian crossing notice. FIG. 34A shows an artificial model for notice of a pedestrian crossing. The artificial model is created by computer graphics.

図34(b)に、横断歩道予告を含む道路画像を示した。図示の便宜上、距離軸が横(図中の左右方向)に来る横配置で示した。横断歩道予告は、図中の菱形の標示A34である。
図34(c)は、原画像(図34(b))の2値化画像を示している。2値化の方法は、実線の車線境界線抽出の場合(図26(b))と同様である。
この画像に対して、各領域について、距離軸に沿った方向(図中の左右方向)の長さ、および距離軸に直交する方向(図中の上下方向)の幅を求める。そして、この長さ、幅が、横断歩道予告に相当する所定値範囲内となる領域を抽出する。図34(d)は、抽出結果を示している。菱形の標示A34が2つ抽出されていることが分かる。
FIG. 34B shows a road image including a pedestrian crossing notice. For convenience of illustration, the distance axis is shown in a horizontal arrangement in which the distance axis is horizontal (in the horizontal direction in the figure). The pedestrian crossing notice is a diamond-shaped sign A34 in the figure.
FIG. 34C shows a binarized image of the original image (FIG. 34B). The binarization method is the same as in the case of extracting a solid lane boundary line (FIG. 26B).
With respect to this image, for each region, the length in the direction along the distance axis (left-right direction in the figure) and the width in the direction orthogonal to the distance axis (up-down direction in the figure) are obtained. Then, an area in which the length and width are within a predetermined value range corresponding to the pedestrian crossing notice is extracted. FIG. 34 (d) shows the extraction result. It can be seen that two rhombus marks A34 are extracted.

こうして得られた抽出結果に対して、図34(a)で示した人工モデルを適用し、パターンマッチングによって横断歩道予告を抽出する。本実施例では、信頼度が0.85以上の標示を横断歩道予告と判断するようにした。   The artificial model shown in FIG. 34A is applied to the extraction result thus obtained, and a pedestrian crossing notice is extracted by pattern matching. In this embodiment, a sign having a reliability of 0.85 or more is determined to be a pedestrian crossing notice.

こうして得られた横断歩道予告の画像データの形で認識結果を出力してもよい。また、図示を省略したが、横断歩道予告に対して、存在領域の形で認識結果を出力してもよい。つまり、横断歩道予告を包含する矩形などの幾何形状の位置およびサイズを認識結果として出力することができる。こうすることによって、低容量のデータで認識結果を保存することができる利点がある。   The recognition result may be output in the form of image data for the pedestrian crossing notice obtained in this way. Although not shown, the recognition result may be output in the form of an existing area for the pedestrian crossing notice. That is, the position and size of a geometric shape such as a rectangle including a pedestrian crossing notice can be output as a recognition result. By doing so, there is an advantage that the recognition result can be saved with low-capacity data.

(15)減速帯抽出処理:
図35は減速帯抽出処理の内容を示す説明図である。減速帯とは、距離軸に直交する所定長さ線分が、距離軸方向に平行に配置されている標示を言う。
図35(a)に減速帯を含む道路画像を示している。図示の便宜上、距離軸が横(図中の左右方向)に来る横配置で示した。減速帯は、図中の縞模様A35である。
図35(b)は、原画像(図35(a))の2値化画像を示している。2値化の方法は、実線の車線境界線抽出の場合(図26(b))と同様である。減速帯は黄色・赤色で描かれているのが通常であるため、この段階で、黄色または赤色の領域を抽出するようにしてもよい。
(15) Deceleration zone extraction processing:
FIG. 35 is an explanatory diagram showing the contents of the deceleration band extraction process. The deceleration zone refers to a sign in which a predetermined length line segment orthogonal to the distance axis is arranged in parallel to the distance axis direction.
FIG. 35A shows a road image including a deceleration zone. For convenience of illustration, the distance axis is shown in a horizontal arrangement in which the distance axis is horizontal (in the horizontal direction in the figure). The deceleration band is a striped pattern A35 in the figure.
FIG. 35B shows a binarized image of the original image (FIG. 35A). The binarization method is the same as in the case of extracting a solid lane boundary line (FIG. 26B). Since the deceleration zone is usually drawn in yellow / red, a yellow or red region may be extracted at this stage.

次に、この画像に対して、各領域について、所定以上の面積の領域を抽出する。面積に代えて、距離軸に沿った方向(図中の左右方向)の長さ、および距離軸に直交する方向(図中の上下方向)の幅が、減速帯に相当する値となる領域を抽出するようにしてもよい。図35(c)は、面積に基づいて抽出した結果を示している。面積、長さ・幅のいずれを用いる場合も、減速帯の大きさに応じて、抽出するか否かの判断基準となる値を調整しておけばよい。図35(c)では、縞模様を構成する線分が部分的に断裂していることが分かる。
こうして得られた抽出結果に対して、図35(d)に示すように、各領域に太らせ処理を施す。こうすることによって、図35(c)に見られる断裂部分が埋められていることが分かる。
Next, a region having a predetermined area or more is extracted for each region of the image. Instead of the area, an area in which the length in the direction along the distance axis (left and right direction in the figure) and the width in the direction orthogonal to the distance axis (up and down direction in the figure) is a value corresponding to the deceleration band You may make it extract. FIG. 35C shows a result extracted based on the area. Regardless of the area, length, or width, a value that serves as a criterion for determining whether or not to extract may be adjusted according to the size of the deceleration zone. In FIG. 35 (c), it can be seen that the line segment constituting the striped pattern is partially broken.
The extraction result thus obtained is subjected to a fattening process on each area as shown in FIG. By doing so, it can be seen that the fractured portion seen in FIG. 35 (c) is filled.

次に、太らせ処理を施された領域A35に重なる領域を原画像(図35(a))から抽出する。図35(e)は、抽出結果を表している。
こうして抽出された画像から、黄色または赤色の領域を抽出することによって、図35(f)に示すように、減速帯を抽出することができる。この画像に対し、更に、収縮処理を施して、図中に生じている横線を削除するようにしてもよい。また、所定面積以下となる微少領域を削除し、減速帯のみを明瞭に抽出するようにしてもよい。
更に、縞模様を構成する各線分の長さを整えてもよい。
Next, a region overlapping the region A35 subjected to the thickening process is extracted from the original image (FIG. 35A). FIG. 35 (e) shows the extraction result.
By extracting a yellow or red area from the image thus extracted, a deceleration zone can be extracted as shown in FIG. The image may be further subjected to contraction processing to delete the horizontal line generated in the figure. Alternatively, a very small area having a predetermined area or less may be deleted, and only the deceleration band may be clearly extracted.
Furthermore, you may arrange the length of each line segment which comprises a striped pattern.

こうして得られた減速帯は、画像データの形で認識結果を出力してもよい。また、図示を省略したが、減速帯に対して、存在領域の形で認識結果を出力してもよい。つまり、減速帯を包含する矩形などの幾何形状の位置およびサイズを認識結果として出力することができる。こうすることによって、低容量のデータで認識結果を保存することができる利点がある。   The deceleration band obtained in this way may output a recognition result in the form of image data. Although not shown, the recognition result may be output in the form of an existing area for the deceleration zone. That is, the position and size of a geometric shape such as a rectangle including the deceleration zone can be output as a recognition result. By doing so, there is an advantage that the recognition result can be saved with low-capacity data.

(16)路面塗装抽出処理:
図36は路面塗装抽出処理の内容を示す説明図である。路面塗装とは、急カーブその他の運転者の注意を喚起すべき箇所に対し、通行の安全のために施されている赤色等の舗装領域である。
図36(a)に路面塗装を含む画像を例示した。距離軸が縦(図の上下方向)となる縦配置で示している。図示の便宜上、塗装A36にはハッチングを付して示したが、実際には、この領域全体が赤色でベタ塗りされている。
(16) Road surface paint extraction process:
FIG. 36 is an explanatory diagram showing the contents of the road surface paint extraction process. Road surface painting is a pavement area such as red that is applied for safety of traffic to sharp corners and other places where attention should be given to the driver.
FIG. 36A illustrates an image including road surface coating. The distance axis is shown as vertical (vertical direction in the figure). For convenience of illustration, the coating A36 is shown with hatching, but actually, the entire region is solidly painted in red.

他の標示が白または黄色で描かれているのに対し、ここで処理対象としている塗装部分は赤色で描かれている。従って、塗装部分の抽出としては、H(色相)S(彩度)V(明度)の色空間のうち、H(色相)画像を用い、赤色の部分を抽出する。図36(b)は抽出結果を示している。塗装部分A36が抽出されているが、塗りムラや光の反射、影などによる色調の変化があるため、一部の領域が抽出から漏れることにより、ホールH36が生じている。   While the other markings are drawn in white or yellow, the painted portion to be treated here is drawn in red. Therefore, as the extraction of the painted portion, the red portion is extracted using the H (hue) image in the H (hue) S (saturation) V (lightness) color space. FIG. 36B shows the extraction result. Although the painted portion A36 has been extracted, since there is a change in color tone due to uneven coating, light reflection, shadows, etc., a part of the area leaks from the extraction, resulting in a hole H36.

抽出された領域中のホールH36を埋めるため、抽出された領域に太らせ処理を施す。または、抽出された領域に囲まれている部分H36を、無条件に埋めるようにしてもよい。
図36(c)は、こうしてホールH36を埋めた結果を表している。ホールH36は埋められるものの、周囲に微少な領域B36が散在している。
In order to fill the hole H36 in the extracted area, the extracted area is thickened. Alternatively, the portion H36 surrounded by the extracted region may be unconditionally filled.
FIG. 36C shows a result of filling the hole H36 in this way. Although the hole H36 is filled, minute regions B36 are scattered around the hole H36.

そこで、次に、面積が所定値以上となる領域を抽出する。この所定値は、微少領域を排除しつつ、塗装部分を十分に抽出できる値を任意に設定可能である。
こうすることにより、塗装部分A36を抽出することができる。
塗装部分A36には、定型的な形状はないため、画像データとして認識結果を出力することになる。
Therefore, next, a region whose area is equal to or greater than a predetermined value is extracted. The predetermined value can be arbitrarily set to a value that can sufficiently extract the painted portion while excluding a minute region.
By doing so, the painted portion A36 can be extracted.
Since the painted portion A36 does not have a fixed shape, the recognition result is output as image data.

(17)バスレーン文字抽出処理:
図37はバスレーン文字抽出処理の内容を示す説明図である。バスレーン文字とは、「バス専用」、「バス優先」などの文字である。
図37(a)にバスレーン文字A37を含む画像を例示した。距離軸は上下方向となる縦配置で示している。図中では「バス専用」の数字が白色で描かれている。
図37(b)は、この画像を2値化して標示部分を抽出した状態を示している。2値化の方法は、実線の車線境界線抽出の場合(図26(b))と同様である。「バス専用」の文字の他、車線境界線が抽出されていることが分かる。
(17) Bus lane character extraction processing:
FIG. 37 is an explanatory diagram showing the contents of the bus lane character extraction process. The bus lane characters are characters such as “bus exclusive” and “bus priority”.
FIG. 37A illustrates an image including the bus lane character A37. The distance axis is indicated by a vertical arrangement in the vertical direction. In the figure, the numbers for "Bus only" are drawn in white.
FIG. 37 (b) shows a state in which this image is binarized and a marking portion is extracted. The binarization method is the same as in the case of extracting a solid lane boundary line (FIG. 26B). It can be seen that the lane boundary line is extracted in addition to the characters “bus only”.

次に、この画像に対して、図33(c)に示すように、太らせ処理を施す。ここでは、「バス専用」の濁点を「ハ」と結合させ得る程度の太らせ量で処理を行う。この結果に対して、所定面積以下の微少領域を削除する処理を施す。こうすることによって、「バ」の濁点を残しつつ、微少領域を排除することができる。   Next, a fattening process is performed on the image as shown in FIG. In this case, the processing is performed with a thickening amount that can combine the muddy point of “bus exclusive” with “c”. For this result, a process of deleting a minute area having a predetermined area or less is performed. By doing this, it is possible to eliminate a minute region while leaving the cloud point of “B”.

微少領域を削除した後、各領域の距離軸に沿う方向(図中の上下方向)の長さが「バス専用」の各文字に相当する値となっている領域を抽出する。車線境界線は、縦方向が長いため、こうすることによって、車線境界線を排除し、「バス専用」の文字のみを抽出することが可能となる。   After deleting the minute area, an area is extracted in which the length in the direction along the distance axis of each area (vertical direction in the figure) is a value corresponding to each character of “bus only”. Since the lane boundary line is long in the vertical direction, this makes it possible to eliminate the lane boundary line and extract only the characters “bus only”.

こうして抽出された結果に対して、図37(d)に示すように、太らせ処理を施す。この処理は、「バ」のように離れた線分で構成されている文字を、一つの領域として認識させるための処理である。太らせ量は、このような文字が結合される範囲で任意に設定可能である。   A fattening process is performed on the result thus extracted as shown in FIG. This process is a process for recognizing a character composed of separated line segments such as “B” as one area. The fattening amount can be arbitrarily set within a range in which such characters are combined.

太らせ処理が完了すると、図37(d)に示す領域と重なる部分を、原画像(図37(a))から再度抽出し、2値化した後、OCRモデルを用いたパターンマッチングによりバスレーン文字か否かを判定する。OCRモデルは、道路面に描かれているバスレーン文字の種類に応じて用意されている。本実施例では、信頼度が0.9以上の場合に、標示をバスレーン文字と認識するようにした。   When the fattening process is completed, the portion overlapping the region shown in FIG. 37 (d) is extracted again from the original image (FIG. 37 (a)), binarized, and then the bus lane characters by pattern matching using the OCR model. It is determined whether or not. The OCR model is prepared according to the type of bus lane character drawn on the road surface. In this embodiment, the sign is recognized as a bus lane character when the reliability is 0.9 or more.

こうして得られたバスレーン文字は、画像データの形で認識結果を出力してもよい。また、図示を省略したが、これらの文字全体を包含する存在領域の位置およびサイズを認識結果として出力してもよい。例えば、文字の種類、および文字を包含する矩形などの幾何形状の位置およびサイズを認識結果として出力することができる。こうすることによって、低容量のデータで認識結果を保存することができる利点がある。   The bus lane character thus obtained may be output as a recognition result in the form of image data. Although not shown in the figure, the position and size of an existing area that includes all of these characters may be output as a recognition result. For example, the character type and the position and size of a geometric shape such as a rectangle including the character can be output as a recognition result. By doing so, there is an advantage that the recognition result can be saved with low-capacity data.

(18)終り記号抽出処理:
図38は終り記号抽出処理の内容を示す説明図である。終わり記号とは、バスレーンなどの終了地点を示す「0」に斜め線を引いた形状の標示である。
図38(a)に終わり記号A38を含む画像を例示した。距離軸が上下方向となる縦配置で示している。
図38(b)は、この画像を2値化して標示部分を抽出した状態を示している。2値化の方法は、実線の車線境界線抽出の場合(図26(b))と同様である。
(18) End symbol extraction processing:
FIG. 38 is an explanatory diagram showing the contents of the end symbol extraction process. The end symbol is a sign having a shape in which an oblique line is drawn to “0” indicating an end point such as a bus lane.
FIG. 38A illustrates an image including the end symbol A38. The distance axis is shown in a vertical arrangement with the vertical direction.
FIG. 38 (b) shows a state in which this image is binarized and a marking portion is extracted. The binarization method is the same as in the case of extracting a solid lane boundary line (FIG. 26B).

次に、この画像に対して、図38(c)に示すように、領域内のホールを埋める処理を施す。つまり、終わり記号のように、抽出された領域で囲まれている部分を塗りつぶすのである。こうすることによって、終わり記号は、比較的大きい面積の領域となるため、他の標示と区別しやすくなる利点がある。   Next, as shown in FIG. 38C, this image is subjected to processing for filling holes in the area. In other words, a portion surrounded by the extracted area is filled in like an end symbol. By doing so, the end symbol becomes an area having a relatively large area, so that there is an advantage that it can be easily distinguished from other signs.

ホールを埋める処理が終了すると、面積、距離軸に沿う方向(図の上下方向)の長さ、および距離軸に直交する方向(図の左右方向)の幅が、終わり記号に相当する領域を抽出する。図38(d)は、抽出結果を示している。図38(c)に含まれる「バス」という文字は、終わり記号と上下方向の長さ、左右方向の幅は終わり記号と同等であるが、線分で構成されており面積が終わり記号に比べて小さいため、終わり記号と区別することができる。車線境界線は、上下方向の長さが終わり記号よりも大きいと共に、左右方向の幅が終わり記号よりも狭いため、終わり記号と区別することができる。こうして、図38(d)に示すように、終わり記号のみを抽出することができる。   When the hole filling process is completed, the area, length in the direction along the distance axis (up and down direction in the figure), and width in the direction perpendicular to the distance axis (left and right direction in the figure) are extracted as the end symbol. To do. FIG. 38D shows the extraction result. The character “bus” included in FIG. 38C is the end symbol, the length in the vertical direction, and the width in the left-right direction are the same as the end symbol, but it is composed of line segments and has a larger area than the end symbol. Can be distinguished from the end symbol. The lane boundary line can be distinguished from the end symbol because the vertical length is larger than the end symbol and the width in the left-right direction is narrower than the end symbol. In this way, only the end symbol can be extracted as shown in FIG.

次に、図38(d)に示す領域と重なる部分を、原画像(図38(a))から再度抽出し、2値化した後、OCRモデルを用いたパターンマッチングにより終わり記号か否かを判定する。本実施例では、信頼度が0.9以上の場合に、標示を終わり記号と認識するようにした。   Next, a portion overlapping with the region shown in FIG. 38 (d) is extracted again from the original image (FIG. 38 (a)), binarized, and then whether or not it is an end symbol by pattern matching using an OCR model. judge. In this embodiment, the sign is recognized as an end symbol when the reliability is 0.9 or more.

こうして得られた終わり記号は、画像データの形で認識結果を出力してもよい。また、図示を省略したが、終わり記号全体を包含する存在領域の位置およびサイズを認識結果として出力してもよい。こうすることによって、低容量のデータで認識結果を保存することができる利点がある。   The end symbol thus obtained may be output as a recognition result in the form of image data. Although not shown, the position and size of the existing area including the entire end symbol may be output as the recognition result. By doing so, there is an advantage that the recognition result can be saved with low-capacity data.

(19)相対座標変換処理:
図39は相対座標変換処理の内容を示す説明図である。本実施例では、以上で説明した各種標示の認識結果は、全て距離軸に沿って路面テクスチャを配置した直線状の画像を用いて得られている。従って、認識結果は、この直線状の画像を表示する座標系における相対的な位置が取得されているに過ぎない。相対座標変換処理は、この相対的な位置を、撮影時の位置座標に対応する絶対座標系の位置に変換する処理である。
(19) Relative coordinate conversion processing:
FIG. 39 is an explanatory diagram showing the contents of relative coordinate conversion processing. In the present embodiment, the recognition results of the various signs described above are all obtained using linear images in which road textures are arranged along the distance axis. Therefore, as a recognition result, only a relative position in the coordinate system displaying this linear image is acquired. The relative coordinate conversion process is a process of converting this relative position into an absolute coordinate system position corresponding to the position coordinate at the time of photographing.

図の左側には、直線状の連結画像で標示を認識した状態を示している。ここでは、矩形の存在領域M391、M392を示した。これらの存在領域M391、M392の位置は、代表点としての重心G391、G392の位置座標で表される。この座標は、直線状の連結画像を表示するための座標系xn、ynで与えられる。この座標系xn、ynは、例えば、距離軸NP39をyn軸として定義することが好ましい。   The left side of the figure shows a state in which the sign is recognized by a linear connected image. Here, rectangular existence areas M391 and M392 are shown. The positions of these existence areas M391 and M392 are represented by the position coordinates of the centroids G391 and G392 as representative points. These coordinates are given by a coordinate system xn, yn for displaying a linear connected image. In the coordinate systems xn and yn, for example, the distance axis NP39 is preferably defined as the yn axis.

連結画像では、路面テクスチャTx39の代表点が、撮影時の位置に応じて、距離軸上に配置されている。各路面テクスチャTx39内の各点の代表点からの相対的な座標は既知である。従って、各存在領域の重心G391、G392の路面テクスチャTx39内での相対的な座標が求まるため、重心G391、G392から距離軸におろした垂線の足R391、R392の座標も求めることができる。   In the connected image, the representative points of the road surface texture Tx39 are arranged on the distance axis according to the position at the time of shooting. The relative coordinates from the representative point of each point in each road surface texture Tx39 are known. Accordingly, since the relative coordinates within the road surface texture Tx39 of the centroids G391 and G392 of the respective existence areas are obtained, the coordinates of the perpendicular legs R391 and R392 taken from the centroids G391 and G392 on the distance axis can also be obtained.

図の右側には、絶対座標系XYに変換した状態を示した。道路は直線とは限らないから、絶対座標系では、撮影時に取得された位置座標に従い、パスRP39は曲線状に描かれることもある。
各存在領域M391、M392の位置および向きは次の方法で求める。
まず、この曲線状のパスRP39の基準点からの距離に応じて、存在領域の垂線の足R391、R392のパスRP39上での位置を求める。そして、点R391、R392から、それぞれ法線ベクトルV391、V392を描き、その終点を重心G391、G392とする。法線ベクトルV391、V392の大きさは、直線状の連結画像における点R391、G391間の距離、および点R392、G392間の距離にそれぞれ等しい。存在領域M391、M392の方向は、長手方向が法線ベクトルV391、V392と直交するように配置する。つまり、存在領域M391、M392と、重心G391、G392、および垂線の足R391、R392の相対的な位置関係が、直線状の連結画像(図の左側)と絶対座標系(図の右側)とで同一となるように、存在領域M391、M392を配置するのである。
この変換処理により、抽出された各標示の位置を絶対座標系の位置座標で表すことが可能となる。
The right side of the figure shows a state converted to the absolute coordinate system XY. Since the road is not always a straight line, in the absolute coordinate system, the path RP39 may be drawn in a curved line according to the position coordinates acquired at the time of shooting.
The positions and orientations of the respective existence areas M391 and M392 are obtained by the following method.
First, in accordance with the distance from the reference point of the curved path RP39, the positions of the perpendicular legs R391 and R392 of the existing area on the path RP39 are obtained. Then, normal vectors V391 and V392 are drawn from the points R391 and R392, respectively, and the end points are set as the center of gravity G391 and G392. The magnitudes of the normal vectors V391 and V392 are equal to the distance between the points R391 and G391 and the distance between the points R392 and G392 in the linear connected image, respectively. The directions of the existence regions M391 and M392 are arranged so that the longitudinal direction is orthogonal to the normal vectors V391 and V392. In other words, the relative positional relationship between the existence areas M391, M392, the centroids G391, G392, and the perpendicular legs R391, R392 is expressed by a linear connected image (left side in the figure) and an absolute coordinate system (right side in the figure). The existence areas M391 and M392 are arranged so as to be the same.
By this conversion process, the position of each extracted sign can be expressed by the position coordinates of the absolute coordinate system.

上述した絶対座標系への位置座標の変換処理は、次の方法で行っても良い。
まず、各存在領域の構成点、つまり存在領域の頂点の位置を、それぞれの頂点が属する路面テクスチャの代表点を基準とする相対座標で求める。そして、それぞれの路面テクスチャを絶対座標系XYでの配置に変換する際に、同様の変換をそれぞれの構成点に施すのである。こうすることにより、比較的容易に絶対座標系での構成点の位置座標を得ることができる。
ただし、この方法では、構成点ごとに座標変換するため、変換時に存在領域の形状が崩れる場合がある。従って、変換後の構成点の配置を、存在領域の形状に適合させる修正処理を施しても良い。
You may perform the conversion process of the position coordinate to an absolute coordinate system mentioned above with the following method.
First, the constituent points of each existence area, that is, the positions of the vertices of the existence area are obtained with relative coordinates based on the representative point of the road texture to which each vertex belongs. Then, when each road surface texture is converted into an arrangement in the absolute coordinate system XY, the same conversion is applied to each constituent point. By doing so, the position coordinates of the constituent points in the absolute coordinate system can be obtained relatively easily.
However, in this method, since the coordinate conversion is performed for each constituent point, the shape of the existing area may be destroyed during the conversion. Therefore, a correction process may be performed to adapt the arrangement of the converted component points to the shape of the existing area.

D.効果:
以上で説明した実施例の道路面撮影システム100および路面標示地図生成装置200によれば、道路を走行しながら取得したフレーム画像を正射変換して得られた路面テクスチャを配置することにより、走行軌跡(パス)に沿って位置精度のよい連結画像を得ることができる。更に、複数のパスに沿って得られた連結画像同士を、位置合わせして合成することにより、道路全体の路面画像を得ることができる。この際、画像を撮影した際の各パスの位置精度が最も高いものを基準パスとして、他のパスをこの基準パスに合わせる方法を採ることにより、全体の位置精度を確保しつつ路面画像を生成することができる。
本実施例では、各パスの連結画像は、路面テクスチャを配置するまでに留め、これらを一枚の画像として合成していない。従って、路面テクスチャ単位で配置を平行移動することによって、複数パスの連結画像を容易に合成可能である。
D. effect:
According to the road surface photographing system 100 and the road marking map generating device 200 of the embodiment described above, the road surface texture obtained by orthogonal transformation of the frame image acquired while traveling on the road is arranged, thereby driving. A connected image with high positional accuracy can be obtained along a trajectory (path). Furthermore, a road surface image of the entire road can be obtained by aligning and synthesizing connected images obtained along a plurality of paths. At this time, a road surface image is generated while ensuring the overall position accuracy by adopting a method that uses the path with the highest position accuracy of each path when taking an image as a reference path and aligning other paths with this reference path. can do.
In the present embodiment, the connected images of the respective paths are limited until the road surface texture is arranged, and these are not combined as a single image. Therefore, it is possible to easily synthesize a multi-pass connected image by translating the arrangement in units of road surface texture.

本実施例では、各パスの連結画像の生成、および複数パスの連結画像の合成のいずれの処理も、路面テクスチャに対するアフィン変換を施す必要がなく、単純な平行移動で行う。従って、複雑な画像処理に伴う画質の劣化を回避することができ、路面標示が鮮明な状態で表示された路面画像を得ることが可能である。また、平行移動で行うため、路面テクスチャ内の代表点を基準とする相対的な座標系は、連結画像の生成および合成の前後で維持される。この結果、代表点の絶対位置座標が得られれば、路面テクスチャ内の各点の絶対位置座標を容易に取得することが可能となり、路面標示の絶対位置座標を取得することも可能となる。   In this embodiment, both the generation of the connected image of each path and the synthesis of the combined images of a plurality of paths do not need to perform affine transformation on the road surface texture, and are performed by simple parallel movement. Therefore, it is possible to avoid deterioration in image quality due to complicated image processing, and to obtain a road surface image displayed with a clear road marking. Further, since the translation is performed by parallel movement, a relative coordinate system based on the representative point in the road texture is maintained before and after the generation and synthesis of the connected images. As a result, if the absolute position coordinates of the representative point are obtained, the absolute position coordinates of each point in the road texture can be easily obtained, and the absolute position coordinates of the road marking can also be obtained.

また、本実施例では、距離軸に沿って路面テクスチャを配置することによって、直線状の連結画像を生成し、道路面の標示を抽出することができる。この結果、横断歩道は距離軸に平行な線分が、距離軸に直交する方向に並ぶ縞模様になるなど、それぞれの標示は定型的な現れ方をするため、比較的精度良く標示を認識することが可能となる。
こうして認識された標示の認識結果は、存在領域の位置および大きさで表すこともできるため、比較的低容量のデータで認識結果を保存することができる利点もある。
更に、直線状の連結画像を描くための座標系から、絶対座標の座標系に変換することによって、認識された標示の位置を、絶対座標系で得ることができる。従って、本実施例によれば、道路を撮影した画像から、道路面の標示の位置を精度良く取得することが可能となる。
Further, in this embodiment, by arranging the road surface texture along the distance axis, it is possible to generate a linear connected image and extract a road surface sign. As a result, the pedestrian crossing has a striped pattern in which the line segments parallel to the distance axis are arranged in a direction perpendicular to the distance axis. It becomes possible.
Since the recognition result of the sign recognized in this way can be expressed by the position and size of the existing area, there is an advantage that the recognition result can be saved with relatively low volume of data.
Furthermore, the position of the recognized sign can be obtained in the absolute coordinate system by converting the coordinate system for drawing a linear connected image into the coordinate system of absolute coordinates. Therefore, according to the present embodiment, it is possible to accurately acquire the position of the road surface marking from the image of the road.

E.変形例:
(1)ゴミ画像による影響:
実施例では、連結画像にペイントが比較的良好に写されている場合に、ペイントを認識する処理を例示した。しかし、実際の撮影時には、ペイント以外の種々の対象が写り込むことがある。例えば、車両で道路を走行しながら撮影を行う場合には、自車が走行する車線の隣に停車または走行する他の車両が画面内に写り込むことがある。
E. Variations:
(1) Impact of dust images:
In the embodiment, the process of recognizing the paint when the paint is copied relatively well in the connected image is exemplified. However, during actual shooting, various objects other than paint may appear. For example, when taking a picture while traveling on a road with a vehicle, another vehicle that stops or travels next to the lane in which the vehicle travels may appear in the screen.

図40は異物の写り込みを例示する説明図である。
図40(a)にはフレーム画像を例示した。図中の中央あたりの枠A40内が、路面テクスチャの生成に利用される部分である(図7参照)。この例では、矢印P40cが描かれた車線を走行しているものとする。この枠内には、矢印P40cや車線境界線P40bなどのペイントが写されている他、右隣の車線を走行するトラックの後部P40aが異物として写り込んでいる。
図40(b)は、異物が写り込んだフレーム画像を用いて生成した連結画像を示している。図40(a)のように異物が写り込んだ部分は、連結画像では、図中の領域G40に示すように、ペイントとして認識不能な部分として表される。以下、フレーム画像内に写り込んだ異物や、連結画像に表された異物をゴミ画像と呼ぶ。
このようなゴミ画像がある状態で、標示の認識をしようとすれば、ゴミ画像の部分が何らかの標示と誤認識されたり、認識不能でエラーとなったりするおそれがある。
かかる弊害を抑制するため、変形例では、ゴミ画像を認識し、その結果を反映させてペイントを認識させるものとした。
FIG. 40 is an explanatory diagram illustrating the reflection of foreign matter.
FIG. 40A illustrates a frame image. The inside of the frame A40 around the center in the figure is a portion used for generating road surface texture (see FIG. 7). In this example, it is assumed that the vehicle is traveling in the lane on which the arrow P40c is drawn. In this frame, paint such as an arrow P40c and a lane boundary line P40b is shown, and a rear part P40a of a truck traveling in the right lane is shown as a foreign object.
FIG. 40B shows a connected image generated using a frame image in which a foreign object is reflected. The part in which the foreign object is reflected as shown in FIG. 40A is represented as a part that cannot be recognized as paint in the connected image, as shown in a region G40 in the figure. Hereinafter, the foreign matter reflected in the frame image or the foreign matter shown in the connected image is referred to as a dust image.
If an attempt is made to recognize a sign in a state where there is such a dust image, there is a risk that the part of the dust image may be misrecognized as some kind of sign or an error may occur due to unrecognition.
In order to suppress such an adverse effect, in the modified example, a dust image is recognized, and the paint is recognized by reflecting the result.

(2)ゴミ画像の認識結果の反映方法:
図41はゴミ画像の認識結果の反映方法を示すフローチャートである。ゴミ画像の認識結果は、ペイントの抽出に先立って行う前処理による反映方法と、ペイントの抽出後に行う後処理による反映方法とが可能である。
図中のフローチャートでは、左側に前処理、右側に後処理の場合の反映方法を示した。
これらの処理を実行するにあたり、別途、ゴミ認識処理(ステップS410)によって、フレーム画像または連結画像内のゴミ画像が認識されており、その結果がゴミ画像データに格納されているものとする。ゴミ認識処理(ステップS410)の内容は、後述する。
ここでは、ゴミ認識処理を独立して行う例を示しているが、前処理または後処理の過程に組み込んでも構わない。
(2) Method of reflecting the recognition result of dust images:
FIG. 41 is a flowchart showing a method for reflecting the result of recognition of dust images. The result of recognizing the dust image can be reflected by a pre-processing performed prior to paint extraction or by a post-processing performed after paint extraction.
In the flowchart in the figure, the reflection method in the case of pre-processing on the left side and post-processing on the right side is shown.
In executing these processes, it is assumed that a dust image in a frame image or a connected image is recognized separately by dust recognition processing (step S410), and the result is stored in dust image data. The contents of the dust recognition process (step S410) will be described later.
Here, an example is shown in which the dust recognition process is performed independently, but it may be incorporated in the process of pre-processing or post-processing.

前処理の場合、コンピュータのCPUはフレーム画像を読み込み(ステップS300A)、ゴミ画像データを用いて、フレーム画像からゴミ画像を削除する(ステップS301)。この処理によって、例えば、図40(a)に示した画像では、トラック後部の写り込みP40aが削除されることになる。
CPUは、ゴミ画像が除去されたフレーム画像を用いて、実施例(図21参照)で説明した手順に従って、ペイントを抽出する。つまり、縦配置処理を行い(ステップS302)、横断関連ペイントを抽出し(ステップS310)、各種ペイントの抽出を行う(ステップS350)。そして、相対座標変換処理(図39参照)を行う(ステップS370)。
前処理の方法によれば、ゴミ画像が除去されたフレーム画像を用いてペイントを抽出するため、ゴミ画像による誤認識を抑制することができる。
In the case of preprocessing, the CPU of the computer reads the frame image (step S300A), and deletes the dust image from the frame image using the dust image data (step S301). By this process, for example, in the image shown in FIG. 40A, the reflection P40a at the rear of the track is deleted.
The CPU extracts the paint according to the procedure described in the embodiment (see FIG. 21) using the frame image from which the dust image has been removed. That is, vertical arrangement processing is performed (step S302), cross-related paint is extracted (step S310), and various paints are extracted (step S350). Then, a relative coordinate conversion process (see FIG. 39) is performed (step S370).
According to the preprocessing method, the paint is extracted using the frame image from which the dust image is removed, so that erroneous recognition due to the dust image can be suppressed.

後処理の場合、CPUはフレーム画像を読み込み(ステップS300A)、実施例(図21)で説明した手順に従って、縦配置処理(ステップS302)、横断関連ペイント抽出(ステップS310)、各種ペイント抽出(ステップS350)、および相対座標変換処理(ステップS370)を行う。ここまでの処理は、ゴミ画像が含まれた連結画像を用いて行われるため、ゴミ画像による誤認識も含まれている。
次に、CPUはゴミ画像データを用いてゴミ画像の存在位置を読み込む(ステップS411)。ゴミ画像の存在位置とは、フレーム画像内で認識されたゴミ画像を、実施例と同様の方法で正射投影し(図7参照)、位置合わせ加工(図8参照)を施したものである。ゴミ画像はペイント抽出に使用される訳ではないので、縦配置処理は不要であり、縦配置の結果を絶対座標系の位置に変換するための相対座標変換処理は不要である。
CPUは、こうしてゴミ画像の存在領域が得られると、ペイントとゴミ画像の存在領域の位置関係を調べ、存在領域に重なるペイントを削除する(ステップS412)。かかるペイントは、ゴミ画像が誤認識されたものと判断されるからである。
後処理の方法によれば、認識されたペイントのうち、ゴミ画像と位置的に重複するものを除去するため、ゴミ画像を誤認識したペイントが残存するのを抑制することができる。
In the post-processing, the CPU reads the frame image (step S300A), and in accordance with the procedure described in the embodiment (FIG. 21), the vertical arrangement process (step S302), the crossing related paint extraction (step S310), and various paint extractions (step S350) and relative coordinate conversion processing (step S370) are performed. Since the processing so far is performed using a connected image including a dust image, misrecognition due to the dust image is also included.
Next, the CPU reads the dust image location using the dust image data (step S411). The presence position of the dust image is obtained by orthographically projecting the dust image recognized in the frame image (see FIG. 7) and performing alignment processing (see FIG. 8). . Since dust images are not used for paint extraction, vertical arrangement processing is unnecessary, and relative coordinate conversion processing for converting the result of vertical arrangement into a position in the absolute coordinate system is unnecessary.
When the dust image existence area is thus obtained, the CPU checks the positional relationship between the paint and the dust image existence area and deletes the paint overlapping the existence area (step S412). This is because it is determined that such a paint has erroneously recognized a dust image.
According to the post-processing method, since the part of the recognized paint that overlaps with the dust image is removed, it is possible to prevent the paint that erroneously recognized the dust image from remaining.

図41では、前処理と後処理とを別個独立の処理として説明した。ゴミ認識結果の反映は、前処理または後処理のいずれか一方の方法で行うものとしてもよいし、前処理を行った上で、更に後処理を適用してもよい。
以下では、ステップS410のゴミ画像認識処理の内容について具体的に説明する。ゴミ画像の認識方法としては、オプティカルフローによる方法と、階調差分による方法とがある。
In FIG. 41, the pre-processing and the post-processing have been described as separate independent processes. The reflection of the dust recognition result may be performed by either the pre-processing or the post-processing, or the post-processing may be further applied after performing the pre-processing.
Hereinafter, the details of the dust image recognition process in step S410 will be described in detail. As a dust image recognition method, there are an optical flow method and a gradation difference method.

(3)ゴミ画像認識処理(1)〜オプティカルフロー:
図42はゴミ画像認識処理(1)のフローチャートである。オプティカルフローを利用する処理例を示した。
CPUは、まず撮影位置約1m間隔で配置された2枚のフレームデータを読み込む。走行しながら撮影されたフレーム画像は、1mよりも短い距離間隔で得られているが、処理負荷を軽減するため、約1m間隔でフレーム画像を間引き、その中の連続した2枚を読み込むものとした。約1mとしたのは、フレーム画像は厳密に1m間隔で撮影されている訳ではないからである。
CPUは、フレーム画像の読み込みと併せて、その位置座標に基づき、フレーム間の距離を算出する(ステップS422)。算出された距離は、後述する正規化に利用される。
(3) Dust image recognition processing (1) to optical flow:
FIG. 42 is a flowchart of the dust image recognition process (1). An example of processing using optical flow is shown.
First, the CPU reads two pieces of frame data arranged at an interval of about 1 m from the photographing position. Frame images taken while traveling are obtained at distance intervals shorter than 1 m, but in order to reduce the processing load, frame images are thinned out at intervals of about 1 m and two consecutive images are read. did. The reason why it is set to about 1 m is that the frame images are not strictly taken at intervals of 1 m.
The CPU calculates the distance between the frames based on the position coordinates together with the reading of the frame image (step S422). The calculated distance is used for normalization described later.

次に、CPUは各フレーム画像から左右の検査領域を抽出する(ステップS423)。図中に検査領域の概要を示した。検査領域とは、フレーム画像FL42のうち、路面テクスチャの生成に使用される矩形領域の中で、更に中央部分A42Cを除いた左右の領域A42L、A42Rである。路面テクスチャの生成に使用される領域に限るのは、この他の領域にゴミ画像が存在してもペイントの認識には影響を与えないからである。中央部分A42Cを除いたのは、自車が走行している車線には他の停車車両その他の異物は存在しないためである。なぜならば、自車が走行する走行レーンにおいては前方を走行する車両が画像作成範囲に入ってこないように車間距離を開けて走行することが可能だからである。
検査領域は、フレーム画像を解析して得るものではなく、フレーム画像内における固定の領域でよい。カメラが車両に固定された状態で撮影が行われているため、フレーム画像FL42のうちテクスチャに使用可能な部分は固定されるし、ゴミ画像の認識が不要となる車両正面の領域A42Cも固定されるからである。車両正面の領域A42Cは、任意に設定可能であるが、例えば、自車が走行する車線幅に相当する領域となるよう設定することができる。
Next, the CPU extracts left and right inspection areas from each frame image (step S423). The outline of the inspection area is shown in the figure. The inspection areas are the left and right areas A42L and A42R excluding the central part A42C in the rectangular area used for generating the road surface texture in the frame image FL42. The reason for limiting to the area used for generating the road surface texture is that the recognition of the paint is not affected even if a dust image exists in the other area. The reason why the central portion A42C is excluded is that there are no other stopped vehicles or other foreign objects in the lane in which the vehicle is traveling. This is because in a travel lane in which the host vehicle travels, it is possible to travel with a large inter-vehicle distance so that a vehicle traveling ahead does not enter the image creation range.
The inspection area is not obtained by analyzing the frame image, but may be a fixed area in the frame image. Since shooting is performed with the camera fixed to the vehicle, the portion of the frame image FL42 that can be used for texture is fixed, and the area A42C in front of the vehicle that does not require recognition of the dust image is also fixed. This is because that. The area A42C in front of the vehicle can be set arbitrarily, but can be set to be an area corresponding to the lane width in which the host vehicle travels, for example.

次に、CPUは、左右の検査領域の画像に基づきオプティカルフローを生成する(ステップS424)。オプティカルフローの大きさは、生成に利用される2つのフレーム画像の間隔にも依存する。CPUは、フレーム画像の間隔に依存しない値に、オプティカルフローを正規化する。この例では、正規化として1m間隔のフレーム画像から得られる値相当に換算する方法を採った。正規化は、例えば、次の方法で行うことができる。
(Vx,Vy)=(OFx/DIST,OFy/DIST);
Vx,Vy…正規化移動ベクトルのx、y成分;
OFx,OFy…オプティカルフローのx、y成分;
DIST…2つのフレーム画像の間隔;
CPUは、検査領域内の各オプティカルフローを正規化して得られた正規化移動量ベクトルのそれぞれについて、次の3種類の評価値を求める(ステップS425)。
|V|…正規化移動量ベクトルの大きさ;
Vx…正規化移動量ベクトルのx成分;
Vy…正規化移動量ベクトルのy成分;
Next, the CPU generates an optical flow based on the images of the left and right inspection areas (step S424). The magnitude of the optical flow also depends on the interval between two frame images used for generation. The CPU normalizes the optical flow to a value that does not depend on the frame image interval. In this example, as a normalization, a method of converting to a value corresponding to a value obtained from a frame image having an interval of 1 m is adopted. Normalization can be performed by the following method, for example.
(Vx, Vy) = (OFx / DIST, OFy / DIST);
Vx, Vy ... x, y components of the normalized movement vector;
OFx, OFy ... optical flow x and y components;
DIST: interval between two frame images;
The CPU obtains the following three types of evaluation values for each normalized movement amount vector obtained by normalizing each optical flow in the inspection region (step S425).
| V |: the size of the normalized movement amount vector;
Vx: x component of the normalized movement amount vector;
Vy: y component of the normalized movement amount vector;

そして、いずれかの評価値が異常となる点、即ち予め設定された閾値範囲を超える点を抽出する(ステップS426)。例えば、正規化移動量ベクトルの大きさ|V|が、予め設定された最小値|V|minより小さくなったり、最大値|V|maxよりも大きくなったりした場合には、異常と判断される。同様に、x成分、y成分についても、その最小値Vxmin、Vyminより小さくなったり、最大値Vxmax,Vymaxよりも大きくなったちした場合には、異常と判断される。
閾値範囲は評価値の絶対値の許容範囲として設定してもよい。この場合には、正規化移動量ベクトルの大きさ|V|が、予め設定された閾値|V|thを超える場合に異常と判断される。同様に、x成分、y成分についても、その絶対値|Vx|、|Vy|が、それぞれの閾値|Vx|th、|Vy|thを超える場合に異常と判断される。
評価値が異常か否かを判断するための閾値は任意に設定可能である。例えば、異物の写っていない画面の正規化移動量ベクトルを求め、ここから得られる評価値の範囲に基づいて設定する方法を採ることができる。
また、ここでは検査領域の全点に対し、統一的な閾値を用いるものとしたが、左右の検査領域で異なる閾値を用いてもよい。検査領域を更に細分化した部分ごとに閾値を変化させてもよい。
ステップS426では、正規化移動量ベクトルの大きさ、x成分、y成分のいずれか一つでも異常と判断された点を抽出しているが、全ての点が異常となる点を抽出するなど、他の評価方法をとることもできる。
Then, a point where any evaluation value becomes abnormal, that is, a point exceeding a preset threshold range is extracted (step S426). For example, when the magnitude | V | of the normalized movement amount vector is smaller than a preset minimum value | V | min or larger than a maximum value | V | max, it is determined as abnormal. The Similarly, regarding the x component and the y component, if they become smaller than the minimum values Vxmin and Vymin or become larger than the maximum values Vxmax and Vymax, they are determined to be abnormal.
The threshold range may be set as an allowable range of the absolute value of the evaluation value. In this case, it is determined that there is an abnormality when the magnitude | V | of the normalized movement amount vector exceeds a preset threshold value | V | th. Similarly, regarding the x component and the y component, if the absolute values | Vx | and | Vy | exceed the respective threshold values | Vx | th and | Vy | th, they are determined to be abnormal.
A threshold value for determining whether or not the evaluation value is abnormal can be arbitrarily set. For example, it is possible to obtain a normalized movement amount vector of a screen on which no foreign object is shown and set based on a range of evaluation values obtained therefrom.
In addition, here, a uniform threshold value is used for all points in the inspection area, but different threshold values may be used for the right and left inspection areas. The threshold value may be changed for each portion obtained by further subdividing the inspection area.
In step S426, the point at which any one of the magnitude of the normalized movement amount vector, the x component, and the y component is determined to be abnormal is extracted, but the points where all the points are abnormal are extracted. Other evaluation methods can also be taken.

CPUは、次に、異常と判断された点を包含する凸ポリゴンを生成し、これをゴミ画像として格納する(ステップS427)。
CPUは以上の処理を、全フレームデータについて繰り返し実行して(ステップS428)、ゴミ画像認識処理を終了する。
Next, the CPU generates a convex polygon including the point determined to be abnormal, and stores this as a dust image (step S427).
The CPU repeatedly executes the above process for all the frame data (step S428), and ends the dust image recognition process.

図43はオプティカルフローの例である。自車の走行レーン正面の領域A43Cの両側に実線で囲んだ部分が検査領域A43L、A43Rである。図中に点状に示したのがオプティカルフローV43である。この例では、検査領域A43L、A43Rにかかわらず、画像内全体でオプティカルフローV43を求めた例を示した。検査領域A43L、A43Rには異物が存在していないため、オプティカルフローは自車の走行に伴って画面内で路面標示が移動する量および方向を示すベクトルとなる。1m程度の移動では、図示するように点状に表される程度の大きさのベクトルに過ぎない。
このオプティカルフローを正規化した上で、正規化移動量ベクトルの大きさ、x成分、y成分の分布を求めれば、その最大値、最小値に基づいて、ゴミ認識処理(図42)のステップS426で用いる閾値を設定することができる。
FIG. 43 shows an example of an optical flow. The portions surrounded by solid lines on both sides of the area A43C in front of the traveling lane of the host vehicle are inspection areas A43L and A43R. The optical flow V43 is shown in the form of dots in the drawing. In this example, the optical flow V43 is obtained over the entire image regardless of the inspection areas A43L and A43R. Since no foreign matter is present in the inspection areas A43L and A43R, the optical flow is a vector indicating the amount and direction of the road marking to move within the screen as the vehicle travels. A movement of about 1 m is only a vector having a magnitude represented in a dot shape as illustrated.
After normalizing this optical flow, if the magnitude of the normalized movement amount vector, the x component, and the y component distribution are obtained, the dust recognition process (FIG. 42) step S426 is performed based on the maximum value and the minimum value. It is possible to set a threshold value used in.

図44は走行車両がある場合のオプティカルフローの例である。自車の左側の車線を車両C44が追い越していった場合の例を示した。左側の検査領域について、オプティカルフローV44を示している。自車を追い越す車両の特徴点は、自車の移動よりも速い速度で移動するから、自車に対して前方、即ち画面内の右上方向に移動する。従って、オプティカルフローV44は、右上方向を向くベクトルとなる。
この結果、車両A44に該当する部分では、オプティカルフローV44の評価値(大きさ、x成分、y成分)は、予め設定された閾値を超え、異常と判断される。
異常と判断された点を包含する凸ポリゴンを生成することにより、ゴミ画像A44が認識される。車両C44の上側および左側がゴミ画像A44に含まれていないのは、これらの部分が検査領域外だからである。また、ゴミ画像A44内の曲線L44は、正規化移動量ベクトルの大きさ、x成分、y成分のうち、いずれの評価値で閾値を超えたかによる区分を表している。変形例では、いずれかの評価値が閾値を超えていれば全てゴミ画像と判断しているため、曲線L44は特に意味を持たない。
FIG. 44 shows an example of an optical flow when there is a traveling vehicle. An example in which the vehicle C44 overtakes the left lane of the own vehicle is shown. An optical flow V44 is shown for the inspection area on the left side. Since the feature point of the vehicle overtaking the own vehicle moves at a speed faster than the movement of the own vehicle, it moves forward with respect to the own vehicle, that is, in the upper right direction in the screen. Therefore, the optical flow V44 is a vector pointing in the upper right direction.
As a result, in the portion corresponding to the vehicle A44, the evaluation value (size, x component, y component) of the optical flow V44 exceeds a preset threshold value and is determined to be abnormal.
The dust image A44 is recognized by generating a convex polygon including a point determined to be abnormal. The upper and left sides of the vehicle C44 are not included in the dust image A44 because these portions are outside the inspection area. A curve L44 in the dust image A44 represents a classification according to which evaluation value has exceeded the threshold value among the magnitude of the normalized movement amount vector, the x component, and the y component. In the modified example, if any evaluation value exceeds the threshold value, all the images are determined as dust images, and therefore the curve L44 has no particular meaning.

図45は停止車両がある場合のオプティカルフローの例である。自車の左側の車線に車両C45が停車している場合の例を示した。左側の検査領域について、オプティカルフローV45を示している。停車車両C45は移動速度が0という点では路面標示と何ら変わらないが、路面標示と異なり立体であるため、フレーム画像では路面標示とは異なるオプティカルフローが得られる。追い越し車両(図44)が、全体に右斜め上方向のオプティカルフローが得られているのに対し、停止車両では、車両右側面では左斜め下方向のオプティカルフローが得られ、車両後部では、左方向その他の複雑なオプティカルフローとなっている。
これらのオプティカルフローV45を正規化し、閾値範囲を超える異常な点を包含する凸ポリゴンを生成した結果が、ゴミ画像A45である。この例では、車両C45の全体をゴミ画像と認識することはできていないが、閾値範囲を調整することにより、全体をゴミ画像と認識することも可能である。
FIG. 45 is an example of an optical flow when there is a stopped vehicle. The example in case the vehicle C45 has stopped on the left lane of the own vehicle was shown. An optical flow V45 is shown for the inspection area on the left side. The stopped vehicle C45 is not different from the road marking in that the moving speed is 0, but is different from the road marking, and is a three-dimensional vehicle. Therefore, an optical flow different from the road marking is obtained in the frame image. The overtaking vehicle (FIG. 44) has an optical flow in the upper right direction, whereas the stationary vehicle has an optical flow in the lower left direction on the right side of the vehicle, while Direction and other complex optical flows.
The result of normalizing these optical flows V45 and generating convex polygons including abnormal points exceeding the threshold range is a dust image A45. In this example, the entire vehicle C45 cannot be recognized as a dust image, but the entire vehicle C45 can also be recognized as a dust image by adjusting the threshold range.

(4)ゴミ画像認識処理(2)〜階調差分:
図46はゴミ画像認識処理(2)のフローチャートである。階調差分を利用する処理例を示した。
CPUは、まず連結画像において連続するテクスチャ画像の重なり領域を抽出する(ステップS461)。図中に処理例を示した。左側に示すように連結画像内で隣接するテクスチャT461、T462に着目する。両者は、ハッチングの部分で重複している。従って、CPUは、右側に示すように、テクスチャT461のうち、テクスチャT462と重なる領域A461を切り出す。また、同様に、テクスチャT462からは領域A461を切り出す。
(4) Dust image recognition processing (2)-gradation difference:
FIG. 46 is a flowchart of the dust image recognition process (2). An example of processing using gradation difference is shown.
First, the CPU extracts an overlapping region of consecutive texture images in the connected image (step S461). An example of processing is shown in the figure. As shown on the left side, attention is paid to adjacent textures T461 and T462 in the connected image. Both overlap in the hatched part. Therefore, as shown on the right side, the CPU cuts out a region A461 that overlaps the texture T462 from the texture T461. Similarly, a region A461 is cut out from the texture T462.

次に、CPUは、平滑化フィルタを適用し、重なり領域の画像をぼかす(ステップS462)。平滑化フィルタは、任意のものを適用可能である。
平滑化を行う理由は次の通りである。このゴミ認識処理では、後述する通り、上述の重なり領域の画素ごとの階調差分に基づいてゴミ画像か否かを判断する。重なり領域では路面標示同士も重なるはずであり、ゴミ画像の部分にのみ階調差分が生じるはずだからである。しかし、実際には撮影時や処理過程で種々の誤差が含まれるため、重なり領域で路面標示の位置が完全に一致するとは限らない。かかる状態で、画素ごとに階調差分を算出すると、路面標示の部分もゴミ画像と誤認識されるおそれがある。そこで、ステップS462では、重なり領域の画像に平滑化フィルタを施し、重なり領域で路面標示の位置にずれが生じた場合でも、大きな階調差分が生じないようにした。
Next, the CPU applies a smoothing filter to blur the image of the overlapping area (step S462). Any smoothing filter can be applied.
The reason for smoothing is as follows. In this dust recognition process, as will be described later, it is determined whether or not the image is a dust image based on the gradation difference for each pixel in the overlapping region. This is because road markings should overlap each other in the overlapping area, and a gradation difference should occur only in the dust image portion. However, since various errors are actually included at the time of photographing or in the processing process, the position of the road marking does not always coincide completely in the overlapping region. If the gradation difference is calculated for each pixel in this state, the road marking portion may be erroneously recognized as a dust image. Therefore, in step S462, a smoothing filter is applied to the image of the overlapping area so that a large gradation difference does not occur even when the position of the road marking is shifted in the overlapping area.

こうして平滑化された画像を用いて、CPUは重なり領域間の階調差分を求め、階調差分が閾値を超える画素を抽出する(ステップS463)。
図中に処理例を示した。重なり画像A461の画素Pxaの色成分がH(色相)S(彩度)V(明度)系で(Ha、Sa、Va)と表されるとする。重なり画像A462内で、これに対応する画素Pxbの色成分が(Hb、Sb、Vb)と表されるとする。
そして、両者の階調差分が閾値を超える画素を抽出する。
色相については|Ha−Hb|>閾値THHとなる画素が抽出される。
彩度については|Sa−Sb|>閾値THSとなる画素が抽出される。
明度については|Va−Vb|>閾値THVとなる画素が抽出される。
ここでは、明度の差分が閾値を超える画素を抽出する方法をとった。路面標示は白または黄色が使われているため、路面標示とその他のゴミ画像とは、明度の階調差分が最も顕著に生じるからである。もっとも、色相、彩度についての階調差分が閾値を超える画素も併せて抽出してもよい。また、明度、彩度、色相の全てで閾値を超える画素のみを抽出する方法をとることもできる。
Using the image thus smoothed, the CPU obtains the gradation difference between the overlapping regions, and extracts pixels whose gradation difference exceeds the threshold value (step S463).
An example of processing is shown in the figure. Assume that the color component of the pixel Pxa of the overlapping image A461 is expressed as (Ha, Sa, Va) in the H (hue) S (saturation) V (brightness) system. In the overlap image A462, the color component of the pixel Pxb corresponding to this is expressed as (Hb, Sb, Vb).
Then, a pixel whose gradation difference exceeds the threshold is extracted.
For the hue, pixels satisfying | Ha−Hb |> threshold THH are extracted.
For saturation, pixels satisfying | Sa−Sb |> threshold THS are extracted.
For brightness, pixels satisfying | Va−Vb |> threshold THV are extracted.
Here, a method of extracting pixels whose brightness difference exceeds a threshold value is adopted. This is because white or yellow is used for the road marking, so that the lightness gradation difference is most prominent between the road marking and other dust images. Of course, pixels whose tone difference regarding hue and saturation exceeds a threshold value may also be extracted. Further, it is possible to take a method of extracting only pixels that exceed a threshold value in all of lightness, saturation, and hue.

CPUは、抽出された画素を結合して、ゴミ画像領域を特定する(ステップS464)。結合は、例えば、次の方法で行うことができる。まず、ゴミ画像として抽出された画素のうち、隣接する部分を結合する。次に、各画素について上下左右に所定画素ずつ太らせ処理を行う。太らせ処理は、図22のサイドカット処理例で説明したのと同様の処理である。この太らせ処理の結果、結合された画素があれば、その部分も一つのポリゴンとして認識する。こうすることにより、CPUはゴミ画像領域を生成することができる。画素を結合して得られたポリゴンの凹部を埋め合わせて凸ポリゴン化してもよい。
最後に、CPUは閾値以下の微小面積の領域を削除する(ステップS465)。停車車両その他の異物は通常、大きなゴミ画像として認識されるからであり、また、微小面積のゴミ画像は残しておいたとしてもペイントの認識に大きな悪影響を与えないからである。もっとも、この処理は省略しても差し支えない。
The CPU combines the extracted pixels to specify a dust image area (step S464). The bonding can be performed, for example, by the following method. First, adjacent portions of pixels extracted as dust images are combined. Next, each pixel is thickened by predetermined pixels vertically and horizontally. The fattening process is the same process as described in the side cut process example of FIG. As a result of the fattening process, if there is a combined pixel, that portion is also recognized as one polygon. By doing so, the CPU can generate a dust image area. A convex polygon may be formed by filling a concave portion of a polygon obtained by combining pixels.
Finally, the CPU deletes a region having a minute area that is equal to or smaller than the threshold (step S465). This is because a stopped vehicle or other foreign object is normally recognized as a large dust image, and even if a small area dust image is left, it does not have a significant adverse effect on the recognition of paint. However, this process can be omitted.

図47はゴミ画像の認識例を示す説明図である。図47(a)および図47(b)が、二つのテクスチャから切り出された重なり領域である。両者は、右側にゴミ画像G472、G473が写り込んでいる。また、図47(a)には、別のゴミ画像G471が写り込んでいる。
図47(c)、図47(d)は、それぞれ図47(a)、図47(b)に平滑化フィルタを適用した結果である。原データに比較して、路面標示等の輪郭がぼけていることが分かる。
図47(e)、図47(f)は、それぞれ図47(c)と図47(d)の間の階調差分を求めた結果である。明度の階調差分が閾値THVを超える範囲が実線で示したゴミ画像G474〜G477である。ゴミ画像G474,G476、およびG475,G477は、それぞれ同じものとなる。ここでは、図47(c)、図47(d)との対比が分かるよう、それぞれと重ね合わせて示したに過ぎない。
例えば、図47(f)だけを見るとゴミ画像G476の部分は適正な路面標示に見える。しかし、ここと重ね合わされる図47(e)のゴミ画像G474が存在するため、階調差分は閾値を超える異常値となっているのである。
一方、ゴミ画像G475,G477は、異物の写り込みである。この例では、異物の写り込み全体をゴミ画像と認識できてはいないが、閾値の調整次第で全体を認識することが可能である。
FIG. 47 is an explanatory diagram showing an example of dust image recognition. 47 (a) and 47 (b) are overlapping regions cut out from two textures. In both cases, dust images G472 and G473 are reflected on the right side. In FIG. 47A, another dust image G471 is shown.
47 (c) and 47 (d) show the results of applying the smoothing filter to FIGS. 47 (a) and 47 (b), respectively. It can be seen that the contours of road markings are blurred compared to the original data.
47 (e) and 47 (f) show the results of obtaining the gradation difference between FIGS. 47 (c) and 47 (d), respectively. The range where the lightness gradation difference exceeds the threshold value THV is dust images G474 to G477 indicated by solid lines. The dust images G474, G476, and G475, G477 are the same. Here, in order to understand the comparison with FIG. 47 (c) and FIG. 47 (d), they are merely superimposed on each other.
For example, when only FIG. 47 (f) is viewed, the portion of the dust image G476 appears to be an appropriate road marking. However, since there is the dust image G474 of FIG. 47E superimposed on this, the gradation difference is an abnormal value exceeding the threshold value.
On the other hand, the dust images G475 and G477 are reflections of foreign matters. In this example, the entire reflection of the foreign object cannot be recognized as a dust image, but the entire image can be recognized depending on the adjustment of the threshold value.

図47(g)は、別のテクスチャについての認識結果である。上述の方法で階調差分を求めた結果、ゴミ画像G478が認識されている。ただし、これらのゴミ画像G478は、微小であるため、CPUはゴミ画像から除外する(図46のステップS465参照)。   FIG. 47G shows a recognition result for another texture. As a result of obtaining the gradation difference by the above method, the dust image G478 is recognized. However, since these dust images G478 are very small, the CPU excludes them from the dust images (see step S465 in FIG. 46).

(5)効果:
以上で説明したゴミ認識処理によれば、フレーム画像またはテクスチャ内のゴミ画像を認識して抽出することができる。
このゴミ画像の抽出結果をペイント認識処理の前処理として反映させることにより、ゴミ画像を除去した連結画像に基づいてペイントを認識することができ、認識精度を向上させることができる。
また、ゴミ画像の抽出結果をペイント認識処理の後処理に反映させれば、ペイントの認識結果に対して、ゴミ画像か否かを判断することが可能となり、ゴミ画像に基づくペイントの誤認識を排除することができる。
(5) Effect:
According to the dust recognition process described above, a dust image in a frame image or texture can be recognized and extracted.
By reflecting this dust image extraction result as a pre-process of the paint recognition process, the paint can be recognized based on the connected image from which the dust image has been removed, and the recognition accuracy can be improved.
In addition, if the extraction result of the dust image is reflected in the post-processing of the paint recognition process, it is possible to determine whether or not it is a dust image based on the paint recognition result, and erroneous recognition of paint based on the dust image can be determined. Can be eliminated.

変形例では、ゴミ画像の認識方法として、オプティカルフローを用いた方法と、階調差分を用いた方法の2通りを説明した。これらの方法は、単独で用いても良いし、併用してもよい。併用することにより、ゴミ画像の認識精度をより向上させることができる利点がある。   In the modified example, two methods, the method using the optical flow and the method using the gradation difference, have been described as the dust image recognition method. These methods may be used alone or in combination. By using in combination, there is an advantage that the dust image recognition accuracy can be further improved.

以上、本発明の種々の実施例について説明したが、本発明はこれらの実施例に限定されず、その趣旨を逸脱しない範囲で種々の構成を採ることができることはいうまでもない。
例えば、連結画像は、路面テクスチャを合成した一枚の画像として生成してもよい。この場合、複数パスの合成を行う際には、連結画像を路面テクスチャに相当する複数の領域に分割した上で、領域ごとに平行移動すればよい。
本実施例では、車両に搭載したビデオカメラで撮影した画像を利用する例を示したが、車両に限らず自転車その他の種々の移動体を利用可能であり、歩行しながら撮影する方法を採っても良い。
As mentioned above, although the various Example of this invention was described, it cannot be overemphasized that this invention is not limited to these Examples, and can take a various structure in the range which does not deviate from the meaning.
For example, the connected image may be generated as a single image obtained by combining road textures. In this case, when synthesizing a plurality of paths, the connected image may be divided into a plurality of regions corresponding to the road texture, and then translated for each region.
In this embodiment, an example of using an image taken with a video camera mounted on a vehicle is shown. However, not only a vehicle but also various other moving bodies can be used, and a method of taking a picture while walking is adopted. Also good.

100…道路面撮影システム
110…位置計測部
110…計測データ
112…コントローラ
114…GPS
114A…アンテナ
116…IMU
118…DMI
120…ビデオカメラ
130…記録装置
140…ハードディスク
142…画像データ
144…同期データ
146…計測データ
150…基準局データ
200…路面標示地図生成装置
201…主制御部
202…コマンド入力部
203…表示制御部
204…データ入力部
205…軌跡データ算出部
206…画像変換部
207…1パス画像合成部
210a…軌跡データ
210b…路面軌跡データ
210c…路面テクスチャ
210d…連結画像
210e…道路画像
210f…道路画像用登録データ
210g…軌跡用登録データ
210…処理データ記憶部
220…位置合わせ処理部
221…透明化ポリゴン設定部
DESCRIPTION OF SYMBOLS 100 ... Road surface imaging | photography system 110 ... Position measurement part 110 ... Measurement data 112 ... Controller 114 ... GPS
114A ... Antenna 116 ... IMU
118 ... DMI
DESCRIPTION OF SYMBOLS 120 ... Video camera 130 ... Recording apparatus 140 ... Hard disk 142 ... Image data 144 ... Synchronization data 146 ... Measurement data 150 ... Base station data 200 ... Road marking map generator 201 ... Main control part 202 ... Command input part 203 ... Display control part 204 ... Data input unit 205 ... Track data calculation unit 206 ... Image conversion unit 207 ... 1-pass image synthesis unit 210a ... Track data 210b ... Road surface track data 210c ... Road surface texture 210d ... Linked image 210e ... Road image 210f ... Road image registration data 210g ... Registration data for locus 210 ... Processing data storage unit 220 ... Alignment processing unit 221 ... Transparent polygon setting unit

Claims (12)

道路面に施された標示が含まれる路面標示地図をコンピュータによって生成する路面標示地図生成方法であって、
コンピュータが実行する工程として、
(a) 撮影対象である道路を移動しながら前記標示が施された道路面を撮影した連続画像の画像データ、および該画像データの撮影位置を表す位置座標データを入力する工程と、
(b) 前記入力された画像データを構成する各フレーム画像を変換して、前記道路面を真上から見た状態の正射画像を得る工程と、
(c) 二次元平面において予め設定された方向に、撮影された道路を移動した際の移動軌跡であるパス上の基準点からの距離を表す直線状の距離軸上に、前記パスに沿った前記基準点からの距離に基づいて、前記正射画像を配置することにより、前記パスの道路面を表す直線状の連結画像を生成する工程と、
(d) 前記連結画像に基づいて、前記道路面に施された標示の種別および位置を認識する標示認識工程と
を備える路面標示地図生成方法。
A road marking map generation method for generating a road marking map including a marking given to a road surface by a computer,
As a process executed by the computer,
(A) a step of inputting image data of a continuous image obtained by photographing the road surface on which the sign is given while moving on a road to be photographed, and position coordinate data representing a photographing position of the image data;
(B) converting each frame image constituting the input image data to obtain an orthographic image in a state in which the road surface is viewed from directly above;
(C) Along a path along a linear distance axis representing a distance from a reference point on the path, which is a movement locus when the photographed road is moved in a predetermined direction on a two-dimensional plane. Generating a linear connected image representing a road surface of the path by arranging the orthographic image based on a distance from the reference point; and
(D) A road marking map generation method comprising: a sign recognition step for recognizing a type and position of a sign given to the road surface based on the connected image.
請求項1記載の路面標示地図生成方法であって、更に、
(f1) 複数のパスのうち2本以上のパスの連結画像に共通して撮影されている領域内で、前記工程(d)において認識された標示に基づいて、パス間で対応する対応点を特定する工程と、
(f2) 前記複数のパスのうち1本を基準パスとして設定する工程と、
(f3) 前記位置座標データを表す絶対座標系において、前記対応する対応点の位置が一致するように設定された移動ベクトルに基づいて、前記基準パス以外のパスを構成する領域ごとに平行移動して、前記複数のパスにまたがる前記道路面の合成画像を生成する工程と
を備える路面標示地図生成方法。
The road marking map generation method according to claim 1, further comprising:
(F1) Based on the indication recognized in the step (d), corresponding points corresponding to each other in a region that is photographed in common in a connected image of two or more passes among a plurality of passes. Identifying process;
(F2) setting one of the plurality of paths as a reference path;
(F3) In the absolute coordinate system representing the position coordinate data, a parallel movement is performed for each region constituting a path other than the reference path based on a movement vector set so that the positions of the corresponding corresponding points coincide with each other. And a step of generating a composite image of the road surface across the plurality of paths.
請求項1または2記載の路面標示地図生成方法であって、更に、
(g) 前記標示の代表点から前記距離軸への垂線の足を標示の基準点とし、前記位置座標データに基づく絶対座標系に示した前記パス上の前記基準点から該パスに垂直に前記垂線を描き、該垂線の端点に前記標示の代表点を配置することによって、前記標示の絶対座標系での位置座標を得る工程を備える路面標示地図生成方法。
The road marking map generating method according to claim 1 or 2, further comprising:
(G) A perpendicular foot from the representative point of the marking to the distance axis is used as a reference point of the indication, and the reference point on the path shown in the absolute coordinate system based on the position coordinate data is perpendicular to the path. A road marking map generation method comprising a step of obtaining a position coordinate in an absolute coordinate system of the marking by drawing a perpendicular and arranging a representative point of the marking at an end point of the perpendicular.
請求項1〜3いずれか記載の路面標示地図生成方法であって、
前記工程(d)は、前記標示を包含するように、該標示の種別ごとに定められた幾何形状の位置およびサイズを決定する路面標示地図生成方法。
A road marking map generation method according to any one of claims 1 to 3,
The road marking map generation method wherein the step (d) determines the position and size of the geometric shape determined for each type of the marking so as to include the marking.
請求項1〜4いずれか記載の路面標示地図生成方法であって、
前記工程(d)は、予め前記連結画像について前記距離軸から所定距離以上離れた両端領域を削除した上で前記標示の認識を行う路面標示地図生成方法。
A road marking map generation method according to any one of claims 1 to 4,
The step (d) is a road marking map generation method for recognizing the sign after deleting both end areas that are separated from the distance axis by a predetermined distance or more in advance for the connected image.
請求項1〜5いずれか記載の路面標示地図生成方法であって、
前記工程(d)は、前記連結画像から前記標示に用いられる所定色の部分を抽出した上で、前記標示の種別ごとに予め用意された標示パターンと該抽出された部分とのマッチングによって前記標示の認識を行う路面標示地図生成方法。
A road marking map generation method according to any one of claims 1 to 5,
In the step (d), after extracting a portion of a predetermined color used for the indication from the connected image, the indication is performed by matching the indication pattern prepared in advance for each type of the indication and the extracted portion. Road marking map generation method for recognizing.
請求項1〜5いずれか記載の路面標示地図生成方法であって、
前記工程(d)は、前記連結画像から前記標示に用いられる所定色の部分を抽出した上で、該抽出された部分の前記距離軸に対する方向および大きさに基づいて、前記標示の種別を認識する路面標示地図生成方法。
A road marking map generation method according to any one of claims 1 to 5,
In the step (d), after extracting a portion of a predetermined color used for the marking from the connected image, the type of the marking is recognized based on the direction and size of the extracted portion with respect to the distance axis. To create a road marking map.
請求項1〜7いずれか記載の路面標示地図生成方法であって、更に、
(e) 連続する2つのフレーム画像から、複数の特徴点の移動を表すオプティカルフローを求める工程と、
(f) 前記オプティカルフローに基づいて、前記標示以外の写り込みを前記フレーム画像内で抽出する工程と
を備え、前記工程(b)では、前記正射画像とともに、または前記正射画像に代えて、前記フレーム画像に前記写り込みの抽出結果を反映した正射画像を生成し、
前記工程(c)または工程(d)では、前記工程(b)で生成された正射画像に基づき、前記写り込みの抽出結果を反映した連結画像の生成、または前記道路面に施された標示の種別および位置の認識を行う路面標示地図生成方法。
The road marking map generation method according to any one of claims 1 to 7, further comprising:
(E) obtaining an optical flow representing movement of a plurality of feature points from two consecutive frame images;
(F) based on the optical flow, extracting a reflection other than the marking in the frame image, and in the step (b), together with the orthographic image or instead of the orthographic image , Generating an orthographic image reflecting the extraction result of the reflection in the frame image,
In the step (c) or the step (d), based on the orthographic image generated in the step (b), the generation of a connected image reflecting the extraction result of the reflection, or the indication applied to the road surface A road marking map generation method for recognizing the type and position of the road.
請求項1〜8いずれか記載の路面標示地図生成方法であって、更に、
(h) 前記距離軸上に配置された正射画像同士が重なる部分において、該正射画像間の各点の階調差分に基づいて前記標示以外の写り込みを抽出する工程を備え、
前記工程(c)または工程(d)では、前記工程(h)における前記写り込みの抽出結果を反映した連結画像の生成、または前記道路面に描かれた標示の種別および位置の認識を行う路面標示地図生成方法。
The road marking map generation method according to any one of claims 1 to 8, further comprising:
(H) in a portion where the orthographic images arranged on the distance axis overlap with each other, comprising a step of extracting a reflection other than the marking based on a gradation difference of each point between the orthographic images,
In the step (c) or the step (d), a road surface that generates a connected image reflecting the extraction result of the reflection in the step (h) or recognizes the type and position of a sign drawn on the road surface. Marking map generation method.
請求項9記載の路面標示地図生成方法であって、
前記工程(h)では、前記正射画像に平滑化フィルタを適用した上で、前記階調差分を求める路面標示地図生成方法。
A road marking map generation method according to claim 9,
In the step (h), a road marking map generation method for obtaining the gradation difference after applying a smoothing filter to the orthogonal image.
道路面に施された標示が含まれる路面標示地図を生成する路面標示地図生成装置であって、
撮影対象である道路を移動しながら前記標示が施された道路面を撮影した連続画像の画像データ、および該画像データの撮影位置を表す位置座標データを入力する入力部と、
前記入力された画像データを構成する各フレーム画像を変換して、前記道路面を真上から見た状態の正射画像を得る画像変換部と、
二次元平面において予め設定された方向に、撮影された道路を移動した際の移動軌跡であるパス上の基準点からの距離を表す直線状の距離軸上に、前記パスに沿った前記基準点からの距離に基づいて、前記正射画像を配置することにより、前記パスの道路面を表す直線状の連結画像を生成する連結画像生成部と、
前記連結画像に基づいて、前記道路面に描かれた標示の種別および位置を認識する標示認識部と
を備える路面標示地図生成装置。
A road marking map generating device for generating a road marking map including a marking applied to a road surface,
An input unit for inputting image data of a continuous image obtained by photographing the road surface on which the sign is given while moving on a road to be photographed, and position coordinate data representing a photographing position of the image data;
An image converter that converts each frame image constituting the input image data and obtains an orthographic image in a state in which the road surface is viewed from directly above;
The reference point along the path on a linear distance axis that represents the distance from the reference point on the path, which is the movement trajectory when the photographed road is moved in a predetermined direction on a two-dimensional plane A connected image generation unit that generates a linear connected image representing the road surface of the path by arranging the orthographic image based on a distance from
A road marking map generating apparatus comprising: a sign recognition unit that recognizes a type and position of a sign drawn on the road surface based on the connected image.
道路面に施された標示が含まれる路面標示地図を生成するためのコンピュータプログラムであって、
撮影対象である道路を移動しながら前記標示が施された道路面を撮影した連続画像の画像データ、および該画像データの撮影位置を表す位置座標データを入力する入力サブプログラムと、
前記入力された画像データを構成する各フレーム画像を変換して、前記道路面を真上から見た状態の正射画像を得る画像変換サブプログラムと、
二次元平面において予め設定された方向に、撮影された道路を移動した際の移動軌跡であるパス上の基準点からの距離を表す直線状の距離軸上に、前記パスに沿った前記基準点からの距離に基づいて、前記正射画像を配置することにより、前記パスの道路面を表す直線状の連結画像を生成する連結画像生成サブプログラムと、
前記連結画像に基づいて、前記道路面に描かれた標示の種別および位置を認識する標示認識サブプログラムと
を備えるコンピュータプログラム。
A computer program for generating a road marking map including a marking applied to a road surface,
An input subprogram for inputting image data of a continuous image obtained by photographing the road surface on which the sign is given while moving on a road to be imaged, and position coordinate data representing a photographing position of the image data;
An image conversion subprogram that converts each frame image constituting the input image data to obtain an orthographic image in a state in which the road surface is viewed from directly above;
The reference point along the path on a linear distance axis that represents the distance from the reference point on the path, which is the movement trajectory when the photographed road is moved in a predetermined direction on a two-dimensional plane A connected image generation subprogram for generating a linear connected image representing the road surface of the path by arranging the orthographic image based on the distance from
A computer program comprising a sign recognition subprogram for recognizing the type and position of a sign drawn on the road surface based on the connected image.
JP2009017472A 2008-03-18 2009-01-29 Road surface marking map generation method Pending JP2009259215A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009017472A JP2009259215A (en) 2008-03-18 2009-01-29 Road surface marking map generation method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008070217 2008-03-18
JP2009017472A JP2009259215A (en) 2008-03-18 2009-01-29 Road surface marking map generation method

Publications (1)

Publication Number Publication Date
JP2009259215A true JP2009259215A (en) 2009-11-05

Family

ID=41386505

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009017472A Pending JP2009259215A (en) 2008-03-18 2009-01-29 Road surface marking map generation method

Country Status (1)

Country Link
JP (1) JP2009259215A (en)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013122739A (en) * 2011-12-12 2013-06-20 Fujitsu Ltd Analysis device, analysis program and analysis method
US20130190981A1 (en) * 2012-01-17 2013-07-25 LimnTech LLC Roadway mark data acquisition and analysis apparatus, systems, and methods
WO2015177865A1 (en) * 2014-05-20 2015-11-26 日産自動車株式会社 Object detection device and object detection method
US9298991B2 (en) 2012-01-17 2016-03-29 LimnTech LLC GPS-based machine vision roadway mark locator, inspection apparatus, and marker
CN106203401A (en) * 2016-08-11 2016-12-07 电子科技大学 A kind of method for quick of lane line
US9784843B2 (en) 2012-01-17 2017-10-10 Limn Tech LLC Enhanced roadway mark locator, inspection apparatus, and marker
CN107993502A (en) * 2018-01-25 2018-05-04 陈尚松 The demonstration device of size marking
CN110120081A (en) * 2018-02-07 2019-08-13 北京四维图新科技股份有限公司 A kind of method, apparatus and storage equipment of generation electronic map traffic lane line
WO2020045210A1 (en) * 2018-08-28 2020-03-05 パイオニア株式会社 Map data structure
JP2020061020A (en) * 2018-10-11 2020-04-16 トヨタ自動車株式会社 Pedestrian crossing sign estimation device
JP2020095628A (en) * 2018-12-14 2020-06-18 株式会社デンソーテン Image processing device and image processing method
CN111380543A (en) * 2018-12-29 2020-07-07 沈阳美行科技有限公司 Map data generation method and device
JP6889319B1 (en) * 2020-08-27 2021-06-18 朝日航洋株式会社 Map data generator and map data generation method
CN112991726A (en) * 2021-02-08 2021-06-18 东南大学 Method for setting road marking in urban expressway interweaving area
US11261571B2 (en) 2012-01-17 2022-03-01 LimnTech LLC Roadway maintenance striping control system
WO2022071315A1 (en) * 2020-09-30 2022-04-07 学校法人明治大学 Autonomous moving body control device, autonomous moving body control method, and program
JP7406480B2 (en) 2020-12-18 2023-12-27 株式会社豊田中央研究所 Map generation device, map generation method, and computer program
CN117490727A (en) * 2023-12-27 2024-02-02 合众新能源汽车股份有限公司 Positioning accuracy evaluation method and device and electronic equipment

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06130076A (en) * 1992-10-15 1994-05-13 Daihatsu Motor Co Ltd Detecting method of running vehicle at obliquely back position
JPH06236437A (en) * 1993-02-10 1994-08-23 Canon Inc Image processor
JPH11175736A (en) * 1997-12-15 1999-07-02 Toshiba Corp Device and method for tracking body area
JPH11328368A (en) * 1998-05-15 1999-11-30 Fujitsu Ten Ltd Image recognizing device
JP2003123197A (en) * 2001-10-16 2003-04-25 Alpine Electronics Inc Recognition device for road mark or the like
JP2004178610A (en) * 2003-12-22 2004-06-24 Nissan Motor Co Ltd Approach prediction device
JP2004258924A (en) * 2003-02-25 2004-09-16 Nagoya City Correcting method and synthesizing method for road image
JP2006214854A (en) * 2005-02-03 2006-08-17 Nagoya City Apparatus and method for creating road surface image
JP2006253872A (en) * 2005-03-09 2006-09-21 Toshiba Corp Apparatus and method for displaying vehicle perimeter image
JP2007122665A (en) * 2005-10-31 2007-05-17 Aisin Aw Co Ltd System and method for recognizing road paint and method of creating road paint database
JP2007147521A (en) * 2005-11-29 2007-06-14 Aisin Aw Co Ltd Vehicle travel auxiliary system
JP2007249103A (en) * 2006-03-20 2007-09-27 Zenrin Co Ltd Road image creation system, road image creation method, and road image compositing device
JP2007316025A (en) * 2006-05-29 2007-12-06 Toyota Motor Corp Own vehicle positioning system
JP2008085710A (en) * 2006-09-28 2008-04-10 Sanyo Electric Co Ltd Driving support system
WO2008080606A1 (en) * 2006-12-29 2008-07-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Device, method, and computer program for determining a position on the basis of a camera image

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06130076A (en) * 1992-10-15 1994-05-13 Daihatsu Motor Co Ltd Detecting method of running vehicle at obliquely back position
JPH06236437A (en) * 1993-02-10 1994-08-23 Canon Inc Image processor
JPH11175736A (en) * 1997-12-15 1999-07-02 Toshiba Corp Device and method for tracking body area
JPH11328368A (en) * 1998-05-15 1999-11-30 Fujitsu Ten Ltd Image recognizing device
JP2003123197A (en) * 2001-10-16 2003-04-25 Alpine Electronics Inc Recognition device for road mark or the like
JP2004258924A (en) * 2003-02-25 2004-09-16 Nagoya City Correcting method and synthesizing method for road image
JP2004178610A (en) * 2003-12-22 2004-06-24 Nissan Motor Co Ltd Approach prediction device
JP2006214854A (en) * 2005-02-03 2006-08-17 Nagoya City Apparatus and method for creating road surface image
JP2006253872A (en) * 2005-03-09 2006-09-21 Toshiba Corp Apparatus and method for displaying vehicle perimeter image
JP2007122665A (en) * 2005-10-31 2007-05-17 Aisin Aw Co Ltd System and method for recognizing road paint and method of creating road paint database
JP2007147521A (en) * 2005-11-29 2007-06-14 Aisin Aw Co Ltd Vehicle travel auxiliary system
JP2007249103A (en) * 2006-03-20 2007-09-27 Zenrin Co Ltd Road image creation system, road image creation method, and road image compositing device
JP2007316025A (en) * 2006-05-29 2007-12-06 Toyota Motor Corp Own vehicle positioning system
JP2008085710A (en) * 2006-09-28 2008-04-10 Sanyo Electric Co Ltd Driving support system
WO2008080606A1 (en) * 2006-12-29 2008-07-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Device, method, and computer program for determining a position on the basis of a camera image
JP2010515135A (en) * 2006-12-29 2010-05-06 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ Apparatus, method, and computer program for determining position based on camera image from camera

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013122739A (en) * 2011-12-12 2013-06-20 Fujitsu Ltd Analysis device, analysis program and analysis method
US11261571B2 (en) 2012-01-17 2022-03-01 LimnTech LLC Roadway maintenance striping control system
US20130190981A1 (en) * 2012-01-17 2013-07-25 LimnTech LLC Roadway mark data acquisition and analysis apparatus, systems, and methods
US8935057B2 (en) * 2012-01-17 2015-01-13 LimnTech LLC Roadway mark data acquisition and analysis apparatus, systems, and methods
US9298991B2 (en) 2012-01-17 2016-03-29 LimnTech LLC GPS-based machine vision roadway mark locator, inspection apparatus, and marker
US9784843B2 (en) 2012-01-17 2017-10-10 Limn Tech LLC Enhanced roadway mark locator, inspection apparatus, and marker
US9767372B2 (en) 2014-05-20 2017-09-19 Nissan Motor Co., Ltd. Target detection apparatus and target detection method
JPWO2015177865A1 (en) * 2014-05-20 2017-04-20 日産自動車株式会社 Target detection apparatus and target detection method
CN106461403A (en) * 2014-05-20 2017-02-22 日产自动车株式会社 Object detection device and object detection method
CN106461403B (en) * 2014-05-20 2019-02-15 日产自动车株式会社 Article detection device and object detecting method
WO2015177865A1 (en) * 2014-05-20 2015-11-26 日産自動車株式会社 Object detection device and object detection method
CN106203401A (en) * 2016-08-11 2016-12-07 电子科技大学 A kind of method for quick of lane line
CN106203401B (en) * 2016-08-11 2019-07-19 电子科技大学 A kind of rapid detection method of lane line
CN107993502A (en) * 2018-01-25 2018-05-04 陈尚松 The demonstration device of size marking
CN110120081A (en) * 2018-02-07 2019-08-13 北京四维图新科技股份有限公司 A kind of method, apparatus and storage equipment of generation electronic map traffic lane line
CN110120081B (en) * 2018-02-07 2023-04-25 北京四维图新科技股份有限公司 Method, device and storage equipment for generating lane markings of electronic map
WO2020045210A1 (en) * 2018-08-28 2020-03-05 パイオニア株式会社 Map data structure
JP7032280B2 (en) 2018-10-11 2022-03-08 トヨタ自動車株式会社 Pedestrian crossing marking estimation device
JP2020061020A (en) * 2018-10-11 2020-04-16 トヨタ自動車株式会社 Pedestrian crossing sign estimation device
JP7203587B2 (en) 2018-12-14 2023-01-13 株式会社デンソーテン Image processing device and image processing method
JP2020095628A (en) * 2018-12-14 2020-06-18 株式会社デンソーテン Image processing device and image processing method
CN111380543B (en) * 2018-12-29 2023-05-05 沈阳美行科技股份有限公司 Map data generation method and device
CN111380543A (en) * 2018-12-29 2020-07-07 沈阳美行科技有限公司 Map data generation method and device
JP2022039005A (en) * 2020-08-27 2022-03-10 朝日航洋株式会社 Map data generation device and map data generation method
JP6889319B1 (en) * 2020-08-27 2021-06-18 朝日航洋株式会社 Map data generator and map data generation method
WO2022071315A1 (en) * 2020-09-30 2022-04-07 学校法人明治大学 Autonomous moving body control device, autonomous moving body control method, and program
JP7406480B2 (en) 2020-12-18 2023-12-27 株式会社豊田中央研究所 Map generation device, map generation method, and computer program
CN112991726A (en) * 2021-02-08 2021-06-18 东南大学 Method for setting road marking in urban expressway interweaving area
CN117490727A (en) * 2023-12-27 2024-02-02 合众新能源汽车股份有限公司 Positioning accuracy evaluation method and device and electronic equipment
CN117490727B (en) * 2023-12-27 2024-03-29 合众新能源汽车股份有限公司 Positioning accuracy evaluation method and device and electronic equipment

Similar Documents

Publication Publication Date Title
JP2009259215A (en) Road surface marking map generation method
US11270131B2 (en) Map points-of-change detection device
JP5363752B2 (en) Road marking map generation method
JP2009237901A (en) Method of creating road marker map
JP5324240B2 (en) Road marking map generation method and road marking map generation device
US11085775B2 (en) Methods and systems for generating and using localisation reference data
JP2009223817A (en) Method for generating road surface marked map
KR102558055B1 (en) Suboptimal estimation method
US11670087B2 (en) Training data generating method for image processing, image processing method, and devices thereof
US9488483B2 (en) Localization using road markings
US11625851B2 (en) Geographic object detection apparatus and geographic object detection method
CN111373223B (en) Method, device and system for displaying augmented reality navigation information
EP2261604A1 (en) Computer arrangement for and method of mapping range sensor data on image sensor data
JP5281424B2 (en) Road marking map generation method
CN109635737B (en) Auxiliary vehicle navigation positioning method based on road marking line visual identification
CA2705375A1 (en) Method of and apparatus for producing lane information
JP2006053756A (en) Object detector
JP2006053757A (en) Plane detector and detection method
US20100040289A1 (en) Load Sign Recognition Apparatus and Load Sign Recognition Method
WO2020004231A1 (en) Lane estimation device, method, and program
CN113518995A (en) Method for training and using neural networks to detect self-component position
JP2013196387A (en) Image processor and image processing method
CN110023988B (en) Method and system for generating a combined overhead image of a roadway
JP4731380B2 (en) Self-vehicle position recognition device and self-vehicle position recognition method
JP2019100924A (en) Vehicle trajectory correction device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111118

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120720

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120814

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130111