JP2008059104A - Road image generation system - Google Patents
Road image generation system Download PDFInfo
- Publication number
- JP2008059104A JP2008059104A JP2006232923A JP2006232923A JP2008059104A JP 2008059104 A JP2008059104 A JP 2008059104A JP 2006232923 A JP2006232923 A JP 2006232923A JP 2006232923 A JP2006232923 A JP 2006232923A JP 2008059104 A JP2008059104 A JP 2008059104A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- road
- road surface
- image
- optical system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 230000003287 optical effect Effects 0.000 claims abstract description 32
- 238000005259 measurement Methods 0.000 description 18
- 238000000034 method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、道路画像生成システムに関する。詳しくは、車両に固定された光学系を用いて路面を撮影し、このようにして得られた路面画像から道路画像を生成するシステムに関する。 The present invention relates to a road image generation system. More specifically, the present invention relates to a system for photographing a road surface using an optical system fixed to a vehicle and generating a road image from the road surface image thus obtained.
カーナビゲーションシステムなどに用いられる地図データに必要な情報(道路の中央線に描かれた道路標示など)を道路画像から取得することが求められている。その一つの方法として、航空機などを使用して上空から空中写真を撮影し、その撮影された空中写真を、真上から見たようにオルソ作成処理することで道路画像が作成される。しかしながら、上空から空中写真を撮影する方法では、道路上に車両などの障害物が存在しているときに空中写真を撮影すると、車両が映り込んだ空中写真となり精度の高い道路画像を作成することができない。そして、その障害物の下にペイントされた道路標示を撮影することもできない。仮に、道路標示（例えば、「と」「ま」「れ」）を映しだすことができたとしても、その各文字の間の距離の誤差が大きく、地図データとして用いることが難しい。
一方、超広角のＣＣＤカメラを車両搭載して、路面上の道路標示を撮影する発明もなされている（例えば、特許文献１参照）。
On the other hand, there has also been an invention in which a super wide-angle CCD camera is mounted on a vehicle and a road marking on a road surface is photographed (see, for example, Patent Document 1).
しかし、ＣＣＤカメラによる道路標示を撮影する発明は、道路標示を認識することを目的とするものであり、撮影された画像には地理的座標が関連付けられておらず、カーナビゲーションシステムなどの地図データとして利用することができない。
そこで、本発明は、地理的座標が関連付けられた路面を撮影し、該撮影画像を合成することで道路画像を作成するシステムを提供することを課題とする。
However, the invention of photographing a road sign by a CCD camera is intended to recognize the road sign, and the photographed image is not associated with geographical coordinates, and map data such as a car navigation system is used. Can not be used as.
Therefore, an object of the present invention is to provide a system that creates a road image by photographing a road surface associated with geographical coordinates and combining the photographed images.
本発明は以上の課題を解決するために、次の構成からなる。即ち、
車両に固定された光学系を用いて該車両から所定の位置関係にある基準パターンを撮影し、撮影された前記基準パターンに基づき前記光学系の撮影画像の所定のピクセルに映し出されるべき路面の部分に対する前記車両からの相対位置を特定する相対位置特定手段と、
前記光学系による撮影時の前記車両の位置を特定する車両位置特定手段と、
前記車両位置特定手段と、前記相対位置特定手段に基づき、前記光学系で撮影された路面画像における所定のピクセルに映し出される路面の部分の絶対位置を特定し、該絶対位置の特定された路面の部分を合成して道路画像を生成する、道路画像生成システムである。
In order to solve the above problems, the present invention has the following configuration. That is,
A portion of the road surface that is to be displayed on a predetermined pixel of a captured image of the optical system based on the captured reference pattern based on a captured reference pattern from the vehicle using an optical system fixed to the vehicle Relative position specifying means for specifying a relative position from the vehicle with respect to
Vehicle position specifying means for specifying the position of the vehicle at the time of photographing by the optical system;
Based on the vehicle position specifying means and the relative position specifying means, the absolute position of the portion of the road surface projected on a predetermined pixel in the road surface image photographed by the optical system is specified, and the road surface of which the absolute position is specified is specified. A road image generation system that generates a road image by combining parts.
上記第１の構成により、車両に固定された光学系を用いて当該光学系から所定の位置（光学系から一定の距離にある位置）にある路面上に描かれた基準パターンを撮影する。この撮影時には、光学系の一部としてレンズを用いる。レンズを介して映しだされる基準パターンは歪曲した基準パターンとなる。
撮影した画像に映し出された基準パターンの所定部分を含むピクセルと基準パターンにおいて当該部分の路面上における座標とを対応させる。例えば、基準パターンとして市松模様を採用した場合は、路面に描かれた市松模様の格子点と基準パターンの撮影画像において当該格子点が存在するピクセルとを対応させる。車両に固定された光学系からみて路面に描かれた各格子点の座標は定められているので、撮影画像において格子点を映し出しているピクセルは常に車両から見て所定の位置の路面の部分を表示していることがわかる。これにより、撮影画像の所定のピクセルに映し出される映像（路面の部分）と車両からみた路面上の当該部分の座標とが対応される。
また、本システムの車両は地理的座標を特定する手段も備える。従って、所定のピクセルに映し出される路面の部分の座標の絶対位置を特定することができる。よって、各ピクセルに映し出された路面の部分（絶対位置が特定されている）を合成することで、道路画像を生成することができ、この道路画像はカーナビゲーションシステムに適用可能となる。
With the first configuration, a reference pattern drawn on a road surface at a predetermined position (a position at a certain distance from the optical system) is photographed using the optical system fixed to the vehicle. At the time of photographing, a lens is used as a part of the optical system. The reference pattern projected through the lens is a distorted reference pattern.
A pixel including a predetermined portion of the reference pattern displayed in the photographed image is associated with coordinates on the road surface of the portion in the reference pattern. For example, when a checkered pattern is adopted as the reference pattern, a checkered lattice point drawn on the road surface is associated with a pixel in which the lattice point exists in the captured image of the reference pattern. Since the coordinates of each lattice point drawn on the road surface as determined from the optical system fixed to the vehicle are determined, the pixel displaying the lattice point in the photographed image always shows the portion of the road surface at a predetermined position as seen from the vehicle. You can see that it is displayed. Thereby, the image (road surface portion) displayed on a predetermined pixel of the captured image is associated with the coordinates of the portion on the road surface as viewed from the vehicle.
The vehicle of the system also includes means for identifying geographical coordinates. Accordingly, it is possible to specify the absolute position of the coordinates of the portion of the road surface projected on the predetermined pixel. Therefore, a road image can be generated by synthesizing a portion of the road surface (absolute position is specified) displayed on each pixel, and this road image can be applied to a car navigation system.
第２の構成によれば、第１の構成において、基準パターンが市松模様である。
市松模様は白色の正方形と黒色の正方形が交互に整列して組み合わされた模様である。このような市松模様を基準パターンとすると、市松模様を構成する正方形の格子点（頂点）の座標を特定することが容易になる。
なお、基準パターンは正方形の市松模様に限定されず、長方形でもよい。また、基準パターンの模様も市松模様に限定されず、規則性のある模様(例えば、格子、ドット)を用いてもよい。
According to the second configuration, in the first configuration, the reference pattern is a checkered pattern.
The checkered pattern is a pattern in which white squares and black squares are alternately aligned and combined. When such a checkered pattern is used as a reference pattern, it is easy to specify the coordinates of square lattice points (vertices) constituting the checkered pattern.
The reference pattern is not limited to a square checkered pattern, and may be a rectangle. Further, the pattern of the reference pattern is not limited to the checkered pattern, and a regular pattern (for example, a lattice or a dot) may be used.
第３の構成によれば、第１又は第２の構成において、光学系は魚眼レンズを含む。
光学系として魚眼レンズを用いることにより、レンズの全周方向の撮影が可能となる。従って、車両の進行方向へ向けてかつ車両から突き出す方法で魚眼レンズを取り付けたとき、車両先端の下部路面（ナンバープレートの直下の路面）まで撮影が可能となる。これにより、自車両の前方を走行する車両の影の影響を受けない画像を撮影することが可能となる。
さらに、魚眼レンズは全周方向の撮影が可能なため、道路際に設置される道路標識や建物の撮影も可能となる。これにより、撮影した画像の編集時に、地理的座標と実在の道路標識や建物の位置とを比較しながら道路画像を生成することができるため、精度の高い道路画像を生成することが可能となる。
なお、車両に搭載される光学系（魚眼レンズ）は２台以上でもよい。光学系を車両の前後に取り付けることで、２台の光学系で撮影された画像のうち、建物や他の車両による影の影響を受けていない画像を選び出してもよい。また、逆光の影響がでるようなときには、逆光の影響を受けていない画像を選択してもよい。
According to the third configuration, in the first or second configuration, the optical system includes a fisheye lens.
By using a fisheye lens as the optical system, it is possible to shoot in the entire circumference of the lens. Therefore, when the fish-eye lens is attached in the direction of travel of the vehicle and protruding from the vehicle, it is possible to photograph the lower road surface at the front end of the vehicle (the road surface directly below the license plate). This makes it possible to capture an image that is not affected by the shadow of the vehicle traveling in front of the host vehicle.
Furthermore, since the fisheye lens can shoot in all directions, it can also shoot road signs and buildings installed on the road. As a result, when editing the captured image, the road image can be generated while comparing the geographical coordinates with the actual road sign or the position of the building, so that a highly accurate road image can be generated. .
Two or more optical systems (fisheye lenses) may be mounted on the vehicle. By attaching the optical system to the front and rear of the vehicle, an image that is not affected by the shadow of a building or another vehicle may be selected from images captured by the two optical systems. In addition, when the influence of backlighting appears, an image that is not affected by backlighting may be selected.
第４の構成によれば、第３の構成において、光学系は魚眼レンズと該魚眼レンズを通過した光を撮影するＣＣＤカメラとを備え、撮影時に生じるスミアが水平方向に発生するようにＣＣＤカメラの向きを設置する。
ＣＣＤカメラが通常設置の場合、太陽光などの強い光がＣＣＤカメラに入射すると、画面の縦方向にスミア（輝線）が生じる。したがって、スミアの生じた画像を素材として利用することはできない。一方、本発明では路面画像を利用するため、撮影した画像においてもっぱら下半分が必要となる。
そこで、ＣＣＤカメラを横置きに配置し、ＣＣＤカメラに生じるスミアが画面の横方向に生じるようにした。また、画面の上半分にスミアが生じるようにＣＣＤカメラの設置角度を調整することで、スミアの影響を受けない路面画像の取得が可能となる。
According to the fourth configuration, in the third configuration, the optical system includes a fish-eye lens and a CCD camera that captures the light that has passed through the fish-eye lens, and the orientation of the CCD camera is such that smear that occurs during the capture is generated in the horizontal direction. Is installed.
When a CCD camera is normally installed, smears (bright lines) are generated in the vertical direction of the screen when strong light such as sunlight enters the CCD camera. Therefore, an image with smear cannot be used as a material. On the other hand, since a road surface image is used in the present invention, the lower half of the captured image is required.
Therefore, the CCD camera was placed horizontally so that smear generated in the CCD camera occurred in the horizontal direction of the screen. Further, by adjusting the installation angle of the CCD camera so that smear occurs in the upper half of the screen, it is possible to obtain a road surface image that is not affected by smear.
第５の構成によれば、第１〜第４の何れかの構成において、光学系により撮影可能な位置に配置される発光体が更に備えられ、該発光体は道路画像生成に用いられるべき路面画像の撮影時に消灯し、他のタイミングでは点灯する。
発光体（例えば、ＬＥＤ素子）は収録スイッチと同期しており、収録スイッチをオンしたタイミングで発光体は消灯し、消灯した時点が計測区間の始点となる。その後、計測区間を収録し終わった後、収録スイッチはオフされて発光体は点灯する。これにより、撮影した画像の編集作業時に発光体の点灯の有無で計測区間かどうかの判断ができるため、編集作業の効率が良くなる。
なお、発光体の点灯又は消灯は、必ずしも収録開始又は終了と同期させる必要はない。路面画像の編集作業を効率良くするため、収録を開始してから、車両が計測区間の始点に到達したとき、ＬＥＤ素子を消灯させてもよい。また、ＬＥＤ素子を点灯させて後に収録を終了させてもよい。このように、計測区間の前後の画像を含めることで編集作業の効率が良く行える。
According to the fifth configuration, in any one of the first to fourth configurations, a light emitter that is disposed at a position that can be photographed by the optical system is further provided, and the light emitter is a road surface to be used for road image generation. Turns off when taking an image and turns on at other times.
The illuminant (for example, the LED element) is synchronized with the recording switch, and the illuminant is turned off at the timing when the recording switch is turned on. Thereafter, after the recording of the measurement section is completed, the recording switch is turned off and the light emitter is lit. Thus, since it is possible to determine whether or not the measurement section is based on whether or not the light emitter is turned on when editing the photographed image, the efficiency of the editing operation is improved.
It should be noted that lighting or extinguishing of the light emitter is not necessarily synchronized with the start or end of recording. In order to efficiently edit the road surface image, the LED element may be turned off when the vehicle reaches the starting point of the measurement section after the start of recording. Alternatively, the recording may be terminated later by turning on the LED element. Thus, the efficiency of editing work can be improved by including images before and after the measurement section.
図１は本発明の実施例で用いられる道路画像生成システム１０の構成図である。図２は魚眼レンズ１３を備えるＤＶカメラ１４を搭載した車両１００の側面図である。図３は魚眼レンズ１３を介して撮影された基準パターンを含む写真である。
道路画像生成システム１０は、魚眼レンズ１３を備えるＤＶカメラ１４、魚眼レンズ１３に写りこむように配置されたＬＥＤ素子１５、収録スイッチ１６、ＧＰＳアンテナ１７、ヨージャイロ１８、車速パルス生成部１９、後退信号２０、道路画像生成部２１及び記憶部３１を備える。
FIG. 1 is a configuration diagram of a road image generation system 10 used in an embodiment of the present invention. FIG. 2 is a side view of the vehicle 100 on which the DV camera 14 including the fisheye lens 13 is mounted. FIG. 3 is a photograph including a reference pattern photographed through the fisheye lens 13.
The road image generation system 10 includes a DV camera 14 having a fisheye lens 13, an LED element 15 arranged so as to be reflected in the fisheye lens 13, a recording switch 16, a GPS antenna 17, a yaw gyroscope 18, a vehicle speed pulse generator 19, a backward signal 20, a road An image generation unit 21 and a storage unit 31 are provided.
ＤＶカメラ１４（ＣＣＤカメラ内蔵）は路面を動画として撮影するために用いられる。このＤＶカメラ１４は魚眼レンズ１３を備える。この魚眼レンズ１３は全周画像を取得可能であり、走行中の車線及び隣接する車線、道路に設置された標識、車線に隣接する街路を撮影可能である。
ＤＶカメラ１４に内蔵されたＣＣＤカメラは横向きに設置する。これにより、輝度の強い光（例えば、太陽光）がＣＣＤに入射したときに生じるスミアを、撮影画像の水平方向に生じさせることができる。さらに、ＤＶカメラ１４の設置角度の向きを調整することで、撮影画像にスミアが映り込むことを防止することができる。
The DV camera 14 (with a built-in CCD camera) is used for photographing the road surface as a moving image. The DV camera 14 includes a fisheye lens 13. The fish-eye lens 13 can acquire an all-round image, and can capture a running lane, an adjacent lane, a sign installed on a road, and a street adjacent to the lane.
The CCD camera built in the DV camera 14 is installed sideways. As a result, smear that occurs when light having a high luminance (for example, sunlight) enters the CCD can be generated in the horizontal direction of the captured image. Furthermore, by adjusting the direction of the installation angle of the DV camera 14, it is possible to prevent smear from appearing in the captured image.
収録スイッチ１６は計測区間の始点及び終点を確定するためのＬＥＤ１５を点灯又は消灯させるために使用される。また、収録スイッチ１６のオン及びオフの情報（すなわち、ＬＥＤ１５の消灯又は点灯の情報）は位置履歴情報に関係付けられ、計測区間の始点と終点の地理的座標を特定することを容易にする。
計測区間の始点に車両が到達したとき、収録スイッチ１６はオンされ、ＬＥＤ１５は消灯する。計測区間を走行中は常にＬＥＤ１５は消灯状態であるため、撮影画像にＬＥＤ１５の光は映りこんでいない。一方、計測区間の終点に到達したときに収録スイッチ１６はオフされ、ＬＥＤ１５を点灯することになる。
The recording switch 16 is used to turn on or off the LED 15 for determining the start point and end point of the measurement section. In addition, information on ON / OFF of the recording switch 16 (that is, information on whether the LED 15 is turned off or on) is related to the position history information, and it is easy to specify the geographical coordinates of the start point and end point of the measurement section.
When the vehicle reaches the start point of the measurement section, the recording switch 16 is turned on and the LED 15 is turned off. Since the LED 15 is always turned off while traveling in the measurement section, the light of the LED 15 is not reflected in the captured image. On the other hand, when the end point of the measurement section is reached, the recording switch 16 is turned off and the LED 15 is turned on.
ＧＰＳアンテナ１７は車両位置特定手段として用いられる。ＧＰＳアンテナ１７は収録スイッチと同期して作動させることができる。収録スイッチがオンされたとき、ＧＰＳアンテナ１７は車両の地理的座標を特定する。特定された車両の地理的座標は位置履歴記憶領域３１３に記憶される。
ヨージャイロ１８は車両のヨー方向（車両の左右方向の向き）を計測する。車両が計測区間を走行中に障害物（例えば、自転車）と遭遇したとき、左右方向に車両を移動させた情報を計測しておくことで、車両の地理的座標を特定することができる。
車速パルス生成部１９は車両が一定間隔を進行する毎にパルスを送出する。そのパルスの数を記憶しておくことで、車両の進行距離を把握する。すなわち、最初に特定した車両の地理的座標からの相対位置を決定するために用いられる。
後退信号２０は車両が後退した距離を車速パルス生成部１９に反映させて、最初に特定した地理的座標からの相対位置を決定するために用いられる。
The GPS antenna 17 is used as vehicle position specifying means. The GPS antenna 17 can be operated in synchronization with the recording switch. When the recording switch is turned on, the GPS antenna 17 specifies the geographical coordinates of the vehicle. The identified geographical coordinates of the vehicle are stored in the position history storage area 313.
The yaw gyroscope 18 measures the yaw direction of the vehicle (the left-right direction of the vehicle). When the vehicle encounters an obstacle (for example, a bicycle) while traveling in the measurement section, the geographical coordinates of the vehicle can be specified by measuring information obtained by moving the vehicle in the left-right direction.
The vehicle speed pulse generator 19 sends out a pulse every time the vehicle advances at a constant interval. By memorizing the number of pulses, the traveling distance of the vehicle is grasped. That is, it is used to determine the relative position from the geographical coordinates of the first identified vehicle.
The reverse signal 20 is used to reflect the distance the vehicle has moved backward in the vehicle speed pulse generator 19 and to determine the relative position from the first identified geographical coordinates.
魚眼レンズ１３を介して撮影された画像は歪曲しているため、この歪曲した撮影画像を合成させただけでは、真上から見た道路画像を生成することはできない。そこで、道路画像生成部２１では撮影画像の所定のピクセルにつき、そこに映し出された路面上の座標を特定し、特定された座標へ該当するピクセルの明度を割り付けることにより、道路画像を生成することとした。 Since the image photographed through the fisheye lens 13 is distorted, a road image viewed from directly above cannot be generated simply by combining the distorted photographed image. Therefore, the road image generation unit 21 generates a road image by specifying the coordinates on the road surface projected on a predetermined pixel of the captured image and assigning the brightness of the corresponding pixel to the specified coordinates. It was.
記憶部３１は制御プログラム記憶領域３１１、相対位置記憶領域３１２、位置履歴記憶領域３１３、画像記憶領域３１４、道路画像記憶領域３１５を備える。
制御プログラム記憶領域３１１は制御部１１に備えられたＣＰＵ１２を制御するための制御プログラムが記憶される領域である。道路画像生成システム１０を構成する各要素はこのＣＰＵ１２にバスを介して接続されており、このＣＰＵ１２を動作させる制御プログラムに従って、所定の動作を行うことになる。
相対位置保存領域３１２は撮影画像の所定のピクセルと該ピクセルに映し出された路面の部分の座標との関係を保存する。この路面の座標は車両に対する相対位置である。
位置履歴記憶領域３１３はＧＰＳアンテナ１７、ヨージャイロ１８、車速パルス生成部１９、後退信号２０で得られた車両の位置履歴情報が記憶される。この位置履歴情報は、まず、ＧＰＳアンテナ１７で車両の地理的座標を決定する。その決定された地理的座標に対して、左右方向の傾き、車速パルスの数、車両の後退を示す情報が関連付けられて記憶される。これらの情報を読み出すことによって、計測区間内における車両の地理的座標を特定することができる。
画像記憶領域３１４はＤＶカメラ１４で撮影された路面画像を記憶する領域である。撮影された路面画像は位置履歴記憶領域３１３に記憶されている車両の地理的座標と関連付けられて記憶されている。すなわち、画像記憶領域３１４に記憶された路面画像の所定のピクセルに映し出された路面の部分に対して、絶対位置を特定することが可能となる。
The storage unit 31 includes a control program storage area 311, a relative position storage area 312, a position history storage area 313, an image storage area 314, and a road image storage area 315.
The control program storage area 311 is an area in which a control program for controlling the CPU 12 provided in the control unit 11 is stored. Each element constituting the road image generation system 10 is connected to the CPU 12 via a bus, and performs a predetermined operation according to a control program for operating the CPU 12.
The relative position storage area 312 stores a relationship between a predetermined pixel of the photographed image and the coordinates of the portion of the road surface projected on the pixel. The coordinates of the road surface are relative positions with respect to the vehicle.
The position history storage area 313 stores vehicle position history information obtained from the GPS antenna 17, the yaw gyroscope 18, the vehicle speed pulse generator 19, and the reverse signal 20. For the position history information, first, the geographical coordinates of the vehicle are determined by the GPS antenna 17. Information indicating the inclination in the left-right direction, the number of vehicle speed pulses, and the reverse of the vehicle is stored in association with the determined geographical coordinates. By reading out these pieces of information, the geographical coordinates of the vehicle in the measurement section can be specified.
The image storage area 314 is an area for storing a road surface image photographed by the DV camera 14. The photographed road surface image is stored in association with the geographical coordinates of the vehicle stored in the position history storage area 313. That is, it is possible to specify the absolute position with respect to the portion of the road surface projected on the predetermined pixel of the road surface image stored in the image storage area 314.
図２は魚眼レンズ１３を備えたＤＶカメラ１４を搭載した車両１００の側面図である。車両１００の上部に延長棒１０１を固定し、ＤＶカメラ１４はその延長棒１０１の先端に固定される。ＤＶカメラ１４の固定される位置は車両の先端の直下が映り込むように、できるだけ車両の先端にカメラを配置することが好ましい。車両の先端の直下は前方を走行する車両の影響（例えば、前方を走る車両の影）を受けにくいためである。
また、ＤＶカメラ１４に備えられたＣＣＤカメラの設置する向きを真横にし、さらにＣＣＤカメラの路面に対する設置角度を調整することで、もっぱら道路が映される撮影画像の下半分にスミアが現れないようにすることができる。
延長棒１０１に固定されたＤＶカメラ１４は車両内部に搭載された道路画像生成システム１０と通信可能なように接続され、ＤＶカメラ１４で撮影された画像を記憶部３１に記憶することができる。
FIG. 2 is a side view of the vehicle 100 on which the DV camera 14 having the fisheye lens 13 is mounted. An extension rod 101 is fixed to the top of the vehicle 100, and the DV camera 14 is fixed to the tip of the extension rod 101. It is preferable to arrange the camera at the tip of the vehicle as much as possible so that the position immediately below the tip of the vehicle is reflected at the position where the DV camera 14 is fixed. This is because the portion immediately below the front end of the vehicle is not easily affected by the vehicle traveling in front (for example, the shadow of the vehicle traveling in front).
Also, by setting the orientation of the CCD camera provided in the DV camera 14 to the side and adjusting the installation angle of the CCD camera with respect to the road surface, smears do not appear in the lower half of the captured image on which the road is projected. Can be.
The DV camera 14 fixed to the extension rod 101 is connected so as to be communicable with the road image generation system 10 mounted inside the vehicle, and an image photographed by the DV camera 14 can be stored in the storage unit 31.
図３は魚眼レンズ１３を介して映しだされた基準パターンを示す写真の一例である。画面の下側にある白色の模様と黒色の模様とが交互に組み合わされ、円弧上に歪曲した部分が基準パターンとなる。このように魚眼レンズ１３を用いることで、魚眼レンズ１３の前方、両側及びレンズの直下まで撮影することができる。 FIG. 3 is an example of a photograph showing a reference pattern projected through the fisheye lens 13. A white pattern and a black pattern on the lower side of the screen are alternately combined, and a portion distorted on the arc becomes a reference pattern. By using the fisheye lens 13 in this way, it is possible to photograph the front, both sides of the fisheye lens 13 and directly under the lens.
図４（Ａ）は魚眼レンズを介して撮影された基準パターンの模式図である。図４（Ｂ）は真上から見た基準パターンであり、車両（図４（Ｃ））からみたときの路面上の座標が特定される。例えば、図４（Ａ）におけるピクセル（ｘｐ０，ｙｐ０）、（ｘｐｎ，ｙｐｎ）は図４（Ｂ）における座標(相対座標)（ｘｃ０，ｙｃ０）、（ｘｃｎ，ｙｃｎ）にそれぞれ対応する。 FIG. 4A is a schematic diagram of a reference pattern photographed through a fisheye lens. FIG. 4B is a reference pattern viewed from directly above, and coordinates on the road surface when viewed from the vehicle (FIG. 4C) are specified. For example, the pixels (x p0 , y p0 ) and (x pn , y pn ) in FIG. 4A are the coordinates (relative coordinates) (x c0 , y c0 ), (x cn , y cn ) in FIG. ) Respectively.
図５は基準パターンに基づき、撮影画像のピクセルに映されるべき画像と該画像の路面における座標（車両からの相対位置）との関係を特定するための処理を説明するフローチャートである。
まず、基準パターンの撮像画像において市松模様の格子点を映すピクセルを抽出する（ステップ１）。抽出されたピクセルに映し出された市松模様の格子点の路面上の座標（車両からみた相対位置）を特定し、格子点を映すピクセルとその路面上での座標とを関連づける（ステップ３）。
ステップ５では、撮像画像においてデータ取得する領域を特定する。この実施例では基準パターンが映されている領域（撮像画像では三日月形状となる。図３参照）を当該データ取得領域としている。データ取得領域は任意に設定することができる。
ステップ７では、ステップ３で求めた関係（格子点のピクセルとその座標との関係）を基準にして、データ取得領域を構成する全ピクセルにつきそこに映し出されるべき路面の部分の座標を線形補間などの周知の方法を用いて演算により求める。演算の方法は特に限定されるものではない。このようにして求められたピクセルとそこ映し出される路面の部分の座標との関係は相対位置記憶領域３１２に保存される。
FIG. 5 is a flowchart for explaining processing for specifying a relationship between an image to be projected on a pixel of a captured image and coordinates on the road surface (relative position from the vehicle) based on the reference pattern.
First, pixels that show checkerboard lattice points are extracted from the captured image of the reference pattern (step 1). The coordinates on the road surface of the checkered lattice points projected on the extracted pixels (relative position as seen from the vehicle) are specified, and the pixels on which the lattice points are projected are associated with the coordinates on the road surface (step 3).
In step 5, an area for acquiring data in the captured image is specified. In this embodiment, the area where the reference pattern is shown (in the captured image, it has a crescent shape, see FIG. 3) is the data acquisition area. The data acquisition area can be set arbitrarily.
In step 7, with reference to the relationship obtained in step 3 (the relationship between the pixel of the grid point and its coordinates), the coordinates of the portion of the road surface that should be displayed for all the pixels constituting the data acquisition area are linearly interpolated, etc. Is obtained by calculation using a known method. The calculation method is not particularly limited. The relationship between the pixels thus obtained and the coordinates of the portion of the road surface projected there is stored in the relative position storage area 312.
図６は道路画像生成システム１０を搭載した車両１００を走向させて、実際に路面を撮影し、当該撮影画像を用いて道路画像を生成する処理を示すフローチャートである。
車両１００が計測区間の始点に到着したときに、ＧＰＳアンテナ１７から車両１００の地理的座標を取得する（ステップ２１）。取得された地理的座標は位置履歴記憶領域３１３に記憶される。地理的座標の取得と同時に、ヨージャイロ１８、車両パルス１９、後退信号２０の計測を開始する（ステップ２３）。計測開始後は所定のタイミングで位置履歴（ヨージャイロ１８、車両パルス生成部１９、後退信号２０）を位置履歴記憶領域３１３に記憶していく（ステップ２５）。
一方、収録はＤＶカメラ１４で行われ、計測区間に入る前から収録を開始する（ステップ２７）。この時点では、ＬＥＤ１５は点灯した状態にある。その後、車両１００が計測区間の始点に到達したとき、収録スイッチ１６をオンにすることで、ＬＥＤ１５を消灯させる（ステップ２９）。そして、所望の計測区間の収録が行われる（ステップ３１）。計測区間の終点に到達したとき、収録スイッチ１６をオフにするとともに、ＬＥＤ１５が点灯し（ステップ３３）、その後、録画が終了される（ステップ３４）。
FIG. 6 is a flowchart showing a process of turning a vehicle 100 equipped with the road image generation system 10 to actually take a road surface and generating a road image using the taken image.
When the vehicle 100 arrives at the start point of the measurement section, the geographical coordinates of the vehicle 100 are acquired from the GPS antenna 17 (step 21). The acquired geographical coordinates are stored in the position history storage area 313. Simultaneously with the acquisition of the geographical coordinates, measurement of the yaw gyro 18, the vehicle pulse 19, and the reverse signal 20 is started (step 23). After the measurement is started, the position history (the yaw gyro 18, the vehicle pulse generator 19, the reverse signal 20) is stored in the position history storage area 313 at a predetermined timing (step 25).
On the other hand, recording is performed by the DV camera 14, and recording is started before entering the measurement section (step 27). At this time, the LED 15 is lit. Thereafter, when the vehicle 100 reaches the start point of the measurement section, the recording switch 16 is turned on to turn off the LED 15 (step 29). Then, a desired measurement section is recorded (step 31). When the end point of the measurement section is reached, the recording switch 16 is turned off, the LED 15 is turned on (step 33), and then the recording is terminated (step 34).
撮影した画像はステップ２１及び２３で得られた位置履歴と関連付けて、画像記憶領域３１４に記憶される（ステップ３５）。DVカメラで撮影した画像は動画として保存されているので、所定のタイミングで静止画を抽出して路面画像とする。このタイミングは、車両の位置履歴の取得タイミングと等しくする。これにより、静止画を取得時の車両の位置を特定出来るからである。なお、撮影された時系列順に路面画像へ画像番号１〜Ｔを付すものとする。
そして路面画像の中から、データ取得領域を切り出す(ステップ３７)。切り出されたデータ取得領域を構成する全てのピクセルにつき、相対位置記憶領域３１２に保存されている関係を参照して、各ピクセルに映し出された画像とその路面上での座標（相対位置）を特定する（ステップ３９）。この座標は位置履歴記憶領域３１３に記録されている車両の位置履歴を参照することにより、地図データ上の座標（絶対位置）となるので、ステップ４１では、データ取得領域を構成する全てのピクセルにつきそこに映し出された路面の部分の絶対座標を特定する。
The captured image is stored in the image storage area 314 in association with the position history obtained in steps 21 and 23 (step 35). Since the image photographed with the DV camera is stored as a moving image, a still image is extracted at a predetermined timing to obtain a road surface image. This timing is made equal to the acquisition timing of the vehicle position history. This is because the position of the vehicle when acquiring the still image can be specified. It is assumed that image numbers 1 to T are attached to the road surface image in the time series in which the images are taken.
Then, a data acquisition area is cut out from the road surface image (step 37). For all the pixels that make up the extracted data acquisition area, refer to the relationship stored in the relative position storage area 312 to specify the image displayed on each pixel and its coordinates (relative position) on the road surface. (Step 39). This coordinate becomes a coordinate (absolute position) on the map data by referring to the vehicle position history recorded in the position history storage area 313. Therefore, in step 41, for every pixel constituting the data acquisition area, The absolute coordinates of the portion of the road surface projected there are specified.
ステップ４３では、路面画像とそのピクセルに特定された絶対座標との関係を用いて道路画像を形成する。ステップ４３の詳細を図７に示す。
ステップ４３１では道路画像のテンプレート２００を作成する。このテンプレート２００は画像を構成するものであって、一般的な道路データに基づいて全てのピクセルに対して絶対座標が付されており、当初は全てのピクセルを黒色としている。テンプレート２００におけるデフォルト時の各ピクセルの明度は任意に指定できる。そして、テンプレート２００における対象道路部分（道路画像の作成対象となる道路）に対応するピクセルが指定される（ステップ４３２）。この対象道路部分を概念的に示すため、図８では当該対象道路部分を白抜き部分２０１として示している。
In step 43, a road image is formed using the relationship between the road surface image and the absolute coordinates specified for the pixel. Details of step 43 are shown in FIG.
In step 431, a road image template 200 is created. The template 200 constitutes an image, and absolute coordinates are assigned to all pixels based on general road data, and all the pixels are initially black. The brightness of each pixel at the time of default in the template 200 can be arbitrarily specified. Then, a pixel corresponding to a target road portion (a road on which a road image is to be created) in the template 200 is designated (step 432). In order to conceptually show the target road portion, the target road portion is shown as a white portion 201 in FIG.
ステップ４３３ではこの対象道路部分２０１のピクセルの絶対座標が特定され、ステップ４３５において当該対象道路部分２０１の上縁左端のピクセルＰ０において当該ピクセルＰ０の絶対座標と等しい絶対座標の有無を撮影順序の新しい路面画像（画像番号Ｔ）から古い路面画像へ、即ち画像番号をＴ−１、Ｔ−２，Ｔ−３ … ２、１とスキャンする。対象道路部分２０１のピクセルＰ０と等しい絶対座標をそのデータ取得領域に有する路面画像が存在したらその後のスキャンは省略する（ステップ４３７）。これにより、撮影順序が最も新しい路面画像における対応絶対座標のピクセルが特定されるので、当該ピクセルの明度を読出し、この明度を対象道路部分２０１のピクセルＰ０の明度として指定する（ステップ４３９）。 In step 433 the identified absolute coordinates of the pixels of the object road section 201, the presence or absence of the absolute coordinate equal absolute coordinate shooting order of the pixel P 0 in the upper edge leftmost pixel P 0 of the target road section 201 in step 435 From the new road surface image (image number T) to the old road surface image, that is, the image numbers are scanned as T-1, T-2, T-3. If there is a road surface image having an absolute coordinate equal to the pixel P 0 of the target road portion 201 in the data acquisition area, the subsequent scan is omitted (step 437). Thereby, since the pixel of the corresponding absolute coordinate in the road surface image with the newest photographing order is specified, the brightness of the pixel is read out, and this brightness is designated as the brightness of the pixel P 0 of the target road portion 201 (step 439).
この実施例では、テンプレートの上縁左端のピクセルＰ０から下縁右端のピクセルＰｍにつき順次ステップ４３５−４３９を繰り返す（ステップ４４１，４４３）。
このようにして得られた道路画像の例を図９（Ａ）に示す。図９（Ｂ）は路面画像の例を示す。
図６に戻り、ステップ４５においてこの道路画像が保存される。
In this embodiment, Steps 435 to 439 are sequentially repeated for the pixel P 0 at the left edge of the upper edge to the pixel P m at the right edge of the lower edge (Steps 441 and 443).
An example of a road image obtained in this way is shown in FIG. FIG. 9B shows an example of a road surface image.
Returning to FIG. 6, in step 45, the road image is stored.
この実施例では、車両の先端側に光学系が設置されているので、対象道路部分２０１の各ピクセルの明度には最も新しく撮影された路面画像のピクセルの明度が採用されている。これにより、対象道路部分２０１の各ピクセルの絶対座標に対応する路面部分を最も近い距離で撮影した路面画像を採用し、その明度を指定できるようにしている。よって、路面の傾きや車両の捻れなどの誤差の影響を出来る限り排除できる。
同様の理由により、車両の後端側に光学系を設置した場合には、対象道路部分２０１の各ピクセルの明度には最も古く撮影された路面画像のピクセルの明度を採用することが好ましい。
In this embodiment, since the optical system is installed at the front end side of the vehicle, the brightness of each pixel of the road surface image taken most recently is adopted as the brightness of each pixel of the target road portion 201. Thus, a road surface image obtained by photographing the road surface portion corresponding to the absolute coordinates of each pixel of the target road portion 201 at the closest distance is adopted, and the lightness can be designated. Therefore, the influence of errors such as the inclination of the road surface and the torsion of the vehicle can be eliminated as much as possible.
For the same reason, when the optical system is installed on the rear end side of the vehicle, it is preferable to adopt the brightness of the pixel of the road surface image taken the oldest as the brightness of each pixel of the target road portion 201.
この発明では、基準パターンに基づき、路面画像における所定のピクセルに映し出されるべき路面の部分の絶対位置が特定され、もって平面的な道路画像が生成される。ここにおいて、光学系を他の車両に載せ替えたり、光学系の位置が移動した場合においても、図５のフローチャートに示した処理を行い、相対位置記録領域の内容を校正することにより、道路画像生成作業を簡単に再開することが出来る。
なお、この実施例では、路面画像の撮影から道路画像の生成までは１つシステムが行なっているが、撮影された路面画像を編集して道路画像を生成する処理を別のシステムで行なうようにすることもできる。
In the present invention, based on the reference pattern, the absolute position of the portion of the road surface to be displayed on a predetermined pixel in the road surface image is specified, and thus a planar road image is generated. Here, even when the optical system is replaced with another vehicle or the position of the optical system is moved, the processing shown in the flowchart of FIG. 5 is performed and the contents of the relative position recording area are calibrated to obtain a road image. Generation work can be easily resumed.
In this embodiment, one system performs from the road surface image capturing to the road image generation. However, the processing for editing the captured road image and generating the road image is performed in another system. You can also
この発明は上記発明の実施の態様及び実施例の説明に何ら限定されるものではない。特許請求の範囲を逸脱せず、当業者が容易に想到できる範囲で種々の変形態様もこの発明に含まれる。 The present invention is not limited to the description of the embodiments and examples of the invention described above. Various modifications are also included in the present invention as long as those skilled in the art can easily conceive without departing from the scope of the claims.
１０ 道路画像生成システム、
１３ 魚眼レンズ
１４ ＤＶカメラ
１７ ＧＰＳアンテナ
３１ 記憶部
１００ 車両
10 Road image generation system,
13 Fisheye Lens 14 DV Camera 17 GPS Antenna 31 Storage Unit 100 Vehicle
Claims (5)
前記光学系による撮影時の前記車両の位置を特定する車両位置特定手段と、
前記車両位置特定手段と、前記相対位置特定手段に基づき、前記光学系で撮影された路面画像における所定のピクセルに映し出される路面の部分の絶対位置を特定し、該絶対位置の特定された路面の部分を合成して道路画像を生成する、道路画像生成システム。 A portion of the road surface that is to be displayed on a predetermined pixel of a captured image of the optical system based on the captured reference pattern based on a captured reference pattern from the vehicle using an optical system fixed to the vehicle Relative position specifying means for specifying a relative position from the vehicle with respect to
Vehicle position specifying means for specifying the position of the vehicle at the time of photographing by the optical system;
Based on the vehicle position specifying means and the relative position specifying means, the absolute position of the portion of the road surface projected on a predetermined pixel in the road surface image photographed by the optical system is specified, and the road surface of which the absolute position is specified is specified. A road image generation system that generates road images by combining parts.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006232923A JP2008059104A (en) | 2006-08-30 | 2006-08-30 | Road image generation system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006232923A JP2008059104A (en) | 2006-08-30 | 2006-08-30 | Road image generation system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2008059104A true JP2008059104A (en) | 2008-03-13 |
Family
ID=39241791
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006232923A Withdrawn JP2008059104A (en) | 2006-08-30 | 2006-08-30 | Road image generation system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2008059104A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011049118A1 (en) * | 2009-10-20 | 2011-04-28 | 株式会社パスコ | Road surface image capturing/editing device and road surface image capturing/editing program |
| KR101393273B1 (en) | 2012-12-05 | 2014-05-09 | 이엔지정보기술 주식회사 | System for advanced road texture image |
-
2006
- 2006-08-30 JP JP2006232923A patent/JP2008059104A/en not_active Withdrawn
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011049118A1 (en) * | 2009-10-20 | 2011-04-28 | 株式会社パスコ | Road surface image capturing/editing device and road surface image capturing/editing program |
| JP2011090367A (en) * | 2009-10-20 | 2011-05-06 | Pasuko:Kk | Road surface image capturing/editing device and road surface image capturing/editing program |
| KR101393273B1 (en) | 2012-12-05 | 2014-05-09 | 이엔지정보기술 주식회사 | System for advanced road texture image |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4725391B2 (en) | Visibility measuring device for vehicle and driving support device | |
| JP4970516B2 (en) | Surrounding confirmation support device | |
| JP5893054B2 (en) | Image processing apparatus, image processing server, image processing method, image processing program, and recording medium | |
| JP4189028B2 (en) | Road image generation system | |
| US20080013789A1 (en) | Apparatus and System for Recognizing Environment Surrounding Vehicle | |
| WO2013161028A1 (en) | Image display device, navigation device, image display method, image display program and recording medium | |
| JP2010136289A (en) | Device and method for supporting drive | |
| JP6616967B2 (en) | Map creation apparatus and map creation method | |
| JPWO2014084251A1 (en) | In-vehicle image processing device | |
| JP2007318460A (en) | Vehicle upper viewpoint image displaying apparatus | |
| CN104976968A (en) | Three-dimensional geometrical measurement method and three-dimensional geometrical measurement system based on LED tag tracking | |
| JP2011170599A (en) | Outdoor structure measuring instrument and outdoor structure measuring method | |
| JP2009140402A (en) | Information display device, information display method, information display program, and recording medium with recorded information display program | |
| JP2006333009A (en) | Overlooking picture display and overlooking picture displaying method | |
| JP2007133007A (en) | Road surface imaging device and road marking measuring device | |
| JP2004265396A (en) | Image forming system and image forming method | |
| JP2009052924A (en) | Mobile system | |
| US9014964B2 (en) | Navigation apparatus capable of providing real-time navigation images | |
| JP2011228857A (en) | Calibration device for on-vehicle camera | |
| JP6715205B2 (en) | Work machine surrounding image display device | |
| JP2008059104A (en) | Road image generation system | |
| JP5262232B2 (en) | Image orientation display method and apparatus, and photograph | |
| JP2008293280A (en) | Traffic light detection device, traffic light detection method, and program | |
| JP5231595B2 (en) | Navigation device | |
| JP2009264835A (en) | Navigation device, navigation method and navigation program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20091110 |