JP2009053059A - Object specifying device, object specifying method, and object specifying program - Google Patents
Object specifying device, object specifying method, and object specifying program Download PDFInfo
- Publication number
- JP2009053059A JP2009053059A JP2007220405A JP2007220405A JP2009053059A JP 2009053059 A JP2009053059 A JP 2009053059A JP 2007220405 A JP2007220405 A JP 2007220405A JP 2007220405 A JP2007220405 A JP 2007220405A JP 2009053059 A JP2009053059 A JP 2009053059A
- Authority
- JP
- Japan
- Prior art keywords
- group
- point
- data
- unit
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Navigation (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、例えば、レーザレーダで計測したデータに基づいて生成された三次元点群モデルとカメラ画像とを用いて道路標識の位置を計測する対象特定装置、対象特定方法および対象特定プログラムに関するものである。 The present invention relates to an object specifying device, an object specifying method, and an object specifying program for measuring the position of a road sign using, for example, a three-dimensional point cloud model generated based on data measured by a laser radar and a camera image It is.
近年、カーナビゲーションシステムなどに代表される、GIS(Geographical Information System)とGPS(Global Positioning System)を組み合わせた製品が普及著しい。また、交通事故や交通渋滞などを解消するためにITS(Intelligent Transport Systems)の開発が推進されている。また、各自治体では道路周辺(道路、道路上、道路脇など)の地物(道路標識、キロポスト、信号機、白線、ガードレール、電柱など)の情報を道路管理台帳として記録しており、この道路管理台帳の高度化・高精度化が望まれている。
これらの理由により、道路周辺の地物の位置情報を高精度に容易に取得することが重要となる。
In recent years, products combining GIS (Geographical Information System) and GPS (Global Positioning System) represented by car navigation systems and the like have been widely used. Development of ITS (Intelligent Transport Systems) is being promoted in order to eliminate traffic accidents and traffic congestion. In addition, each municipality records information on features (road signs, kilometer posts, traffic lights, white lines, guardrails, utility poles, etc.) around roads (roads, roads, roadsides, etc.) as road management ledgers. Advancement and high accuracy of the ledger are desired.
For these reasons, it is important to easily acquire position information of features around the road with high accuracy.
しかしながら、道路周辺の地物の位置情報を高精度に容易に取得することは非常に困難なことである。
例えば、道路周辺の地物の位置情報を1/500のスケールで記録した道路管理台帳の作成には、高い精度の測量が必要なため、GPSと距離・角度を計測するトータルステーションとを用いた静止測量が行われている。また、国道には往復30kmの区間に計測対象となる地物が約2000も存在していることもある。そのため、全国の道路管理台帳の高度化・高精度化には莫大な費用と時間とを要する。
However, it is very difficult to easily acquire the position information of the features around the road with high accuracy.
For example, the creation of a road management ledger that records the position information of features around roads at a scale of 1/500 requires high-precision surveying, so stationary using GPS and a total station that measures distance and angle Surveying is being performed. On the national road, there may be approximately 2000 features to be measured in a 30 km round-trip section. Therefore, enormous costs and time are required for the advancement and accuracy of road management ledgers nationwide.
そこで、情報収集時間および費用の縮減を目的として道路を走行する車両から各種情報を取得するMMS(Mobile Mapping System)が注目され研究開発されている。
また、特許文献1では道路線形を測量する装置の一例を開示している。
Patent Document 1 discloses an example of an apparatus for surveying road alignment.
本発明は、例えば、MMSを用いて道路周辺の地物の高精度な位置情報を容易に取得できるようにすることを目的とする。 An object of the present invention is to make it possible to easily acquire highly accurate position information of features around a road using, for example, MMS.
本発明の対象特定装置は、3次元座標を示す複数の3次元点データにより地物を3次元で表す3次元点群データを記憶機器を用いて記憶する点群データ記憶部と、異なる位置で撮像された2次元画像を表す第1の画像データと第2の画像データとを記憶機器を用いて記憶する画像データ記憶部と、前記画像データ記憶部に記憶された第1の画像データの表す2次元画像と前記画像データ記憶部に記憶された第2の画像データの表す2次元画像とから特定の対象物が撮像された対象撮像範囲をCPU(Central Proccessing Unit)を用いて特定する対象撮像範囲特定部と、前記点群データ記憶部に記憶された3次元点群データを前記画像データ記憶部に記憶された第1の画像データの表す2次元画像に対してCPUを用いて投影する第1の点群画像投影部と、前記対象撮像範囲特定部が特定した第1の画像データの対象撮像範囲に対して前記第1の点群画像投影部が投影した3次元点群データをCPUを用いて抽出する第1の対象投影点群抽出部と、前記第1の対象投影点群抽出部が抽出した3次元点群データを各3次元点データの示す3次元座標に基づいて複数のグループ点群データとしてCPUを用いてグループ分けする点群グルーピング部と、前記点群グルーピング部がグループ分けした複数のグループ点群データを前記画像データ記憶部に記憶された第2の画像データの表す2次元画像に対してCPUを用いて投影する第2の点群画像投影部と、前記対象撮像範囲特定部が特定した第2の画像データの対象撮像範囲に対して前記第2の点群画像投影部が投影した各グループ点群データをCPUを用いて抽出する第2の対象投影点群抽出部と、前記点群グルーピング部がグループ分けした各グループ点群データを前記第2の対象投影点群抽出部が抽出した各グループ点群データと比較し、前記点群グルーピング部がグループ分けした各グループ点群データの中で3次元点データの残存率が最も大きいグループ点群データを前記特定の対象物を3次元で表す対象点群データとしてCPUを用いて特定する対象点群特定部とを備えたことを特徴とする。 The object specifying device of the present invention is different from a point cloud data storage unit that stores, using a storage device, three-dimensional point cloud data that represents a feature in three dimensions using a plurality of three-dimensional point data indicating three-dimensional coordinates. An image data storage unit that stores first image data and second image data representing a captured two-dimensional image using a storage device, and the first image data stored in the image data storage unit Target imaging that uses a CPU (Central Processing Unit) to specify a target imaging range in which a specific target is captured from a two-dimensional image and a two-dimensional image represented by the second image data stored in the image data storage unit The CPU is used for the two-dimensional image represented by the first image data stored in the image data storage unit and the range specifying unit and the three-dimensional point group data stored in the point group data storage unit. A first point cloud image projecting unit that projects and a three-dimensional point cloud projected by the first point cloud image projecting unit on the target imaging range of the first image data specified by the target imaging range specifying unit A first target projection point group extraction unit that extracts data using a CPU, and the three-dimensional point group data extracted by the first target projection point group extraction unit based on the three-dimensional coordinates indicated by the three-dimensional point data. A second group image stored in the image data storage unit, and a plurality of group point group data grouped by the point group grouping unit. A second point cloud image projecting unit that projects using a CPU on a two-dimensional image represented by the data, and a second target image capturing range specified by the target capturing range specifying unit; Point cloud image projection unit A second target projection point group extraction unit that extracts each projected group point group data using a CPU, and each group point group data grouped by the point group grouping unit includes the second target projection point group extraction unit. Is compared with the group point cloud data extracted by the point cloud grouping unit, and the group point cloud data having the largest residual rate of the three-dimensional point data among the group point cloud data grouped by the point group grouping unit is determined as the specific object. A target point group specifying unit that uses a CPU as target point group data expressed in three dimensions is provided.
本発明によれば、例えば、計測対象の地物を表す対象点群データを3次元点群データと画像データとを用いて特定することができる。そして、対象点群データに基づいて計測対象の地物の位置を高精度に算出することができる。また、3次元点群データと画像データとはMMSで道路を走行することにより容易に取得できる。つまり、本発明によれば、道路周辺の地物の高精度な位置情報を容易に取得することができる。 According to the present invention, for example, target point cloud data representing a feature to be measured can be specified using three-dimensional point cloud data and image data. And the position of the measurement target feature can be calculated with high accuracy based on the target point cloud data. Further, the three-dimensional point cloud data and the image data can be easily obtained by traveling on the road with MMS. That is, according to the present invention, it is possible to easily acquire highly accurate position information of features around the road.
実施の形態1.
図1は、実施の形態1における道路標識位置計測システム900の機能構成図である。
図1に示すように、実施の形態1における道路標識位置計測システム900は、道路を走行して道路周辺の画像データと道路周辺の地物を表す距離方位データとを取得する計測車両200(MMS)と、計測車両200が取得した画像データと距離方位データとに基づいて道路標識の三次元座標を計測する道路標識位置計測装置100とを有する。
実施の形態1の説明では道路標識の三次元座標を計測するが、道路標識位置計測装置100はその他の道路周辺の地物(路面の白線、電柱、信号機、走行車両など)の三次元座標を道路標識と同様にして計測しても構わない。
Embodiment 1 FIG.
FIG. 1 is a functional configuration diagram of a road sign position measurement system 900 according to the first embodiment.
As shown in FIG. 1, a road sign position measurement system 900 according to Embodiment 1 is a measurement vehicle 200 (MMS) that travels on a road and acquires image data around the road and distance direction data representing features around the road. ), And a road sign position measuring device 100 that measures the three-dimensional coordinates of the road sign based on the image data and the distance direction data acquired by the measurement vehicle 200.
In the description of the first embodiment, the three-dimensional coordinates of the road sign are measured. However, the road sign position measuring apparatus 100 calculates the three-dimensional coordinates of other features around the road (white lines on the road surface, power poles, traffic lights, traveling vehicles, etc.). It may be measured in the same way as a road sign.
計測車両200(MMS)は、GPS受信機210、3軸ジャイロ220、オドメータ230、カメラ240およびLRF250(Lazer Range Finder)が屋根部分に設けられた天板201(基台)に固定して設置されている。
また、計測車両200はGPS受信機210、3軸ジャイロ220、オドメータ230、カメラ240およびLRF250で取得されたデータを記憶機器を用いて記憶する観測データ記憶部291、画像データ記憶部292および距離方位点群記憶部293を備える。
The measuring vehicle 200 (MMS) is fixedly installed on a top plate 201 (base) provided with a GPS receiver 210, a three-axis gyro 220, an odometer 230, a camera 240, and an LRF 250 (Laser Range Finder) on a roof portion. ing.
The measurement vehicle 200 includes an observation data storage unit 291, an image data storage unit 292, and a distance azimuth that store data acquired by the GPS receiver 210, the three-axis gyro 220, the odometer 230, the camera 240, and the LRF 250 using a storage device. A point cloud storage unit 293 is provided.
GPS受信機210は計測車両200に3機備わり、各GPS受信機210は複数のGPS衛星それぞれから発信された測位信号の搬送波を観測する。そして、各GPS受信機210は、搬送波の観測情報に基づいて、各GPS衛星と自GPS受信機210との擬似距離、自GPS受信機210のアンテナ位置を3次元座標で示す単独測位結果、搬送波の位相情報、測位信号が示す航法メッセージ(衛星軌道情報)などを観測データとして観測データ記憶部291に記憶する。 Three GPS receivers 210 are provided in the measurement vehicle 200, and each GPS receiver 210 observes a carrier wave of a positioning signal transmitted from each of a plurality of GPS satellites. Then, each GPS receiver 210, based on the observation information of the carrier wave, a single positioning result indicating the pseudo distance between each GPS satellite and the own GPS receiver 210, the antenna position of the own GPS receiver 210 in three-dimensional coordinates, the carrier wave And the navigation message (satellite orbit information) indicated by the positioning signal are stored in the observation data storage unit 291 as observation data.
3軸ジャイロ220は計測車両200の方位角[ヨー角]、仰角[ピッチ角]、回転角[ロール角]の角加速度(レートともいう)を計測し、各時刻における角加速度を角加速度データとして観測データ記憶部291に記憶する。 The triaxial gyro 220 measures the angular acceleration (also called rate) of the azimuth angle [yaw angle], elevation angle [pitch angle], and rotation angle [roll angle] of the measurement vehicle 200, and the angular acceleration at each time is used as angular acceleration data. Store in the observation data storage unit 291.
オドメータ230は計測車両200の走行速度を計測し、各時刻における走行速度を車速データとして観測データ記憶部291に記憶する。 The odometer 230 measures the traveling speed of the measuring vehicle 200 and stores the traveling speed at each time in the observation data storage unit 291 as vehicle speed data.
カメラ240は走行する計測車両200の前方(走行方向)を異なる時刻に撮像し、撮像した各画像の画像データを画像データ記憶部292に記憶する。つまり、カメラ240は異なる地点で撮像した道路の画像データを画像データ記憶部292に記憶する。
以下、画像データ記憶部292には計測車両200がP0地点を通過した際にカメラ240が撮像した道路の画像データ(以下、撮像画像Aとする)と計測車両200がP1地点を通過した際にカメラ240が撮像した道路の画像データ(以下、撮像画像Bとする)とが記憶されているものとする。また、撮像画像Aと撮像画像Bとには同一の道路標識が写っているものとする。実施の形態1において道路標識位置計測装置100は撮像画像Aおよび撮像画像Bに写っている道路標識について三次元座標を計測する。
The camera 240 images the front (traveling direction) of the traveling measuring vehicle 200 at different times, and stores the image data of each captured image in the image data storage unit 292. That is, the camera 240 stores road image data captured at different points in the image data storage unit 292.
Hereinafter, the image data measurement vehicle 200 is in the storage unit 292 the image data of the road by the camera 240 is captured when passing through the P 0 point (hereinafter referred to as captured image A) and the measurement vehicle 200 has passed the P 1 point Assume that road image data (hereinafter referred to as captured image B) captured by the camera 240 is stored. Further, it is assumed that the same road sign is reflected in the captured image A and the captured image B. In the first embodiment, the road sign position measuring apparatus 100 measures the three-dimensional coordinates of the road signs shown in the captured image A and the captured image B.
LRF250は、走行する計測車両200の側方にレーザを照射し、地物に反射して戻ってきたレーザを観測し、レーザを観測した各観測点での観測値に基づいて当該地物が位置するLRF250に対する相対距離および相対方位を示す複数の点データ(点群データ)を生成するレーザレーダである。LRF250は生成した点群データを地物を表す距離方位点群データとして距離方位点群記憶部293に記憶する。
以下、距離方位点群記憶部293に記憶された距離方位点群データには、撮像画像Aおよび撮像画像Bに写っている道路標識を表す点群データも含まれているものとする。実施の形態1において道路標識位置計測装置100は距離方位点群データが表す道路標識について三次元座標を計測する。
The LRF 250 irradiates the side of the traveling measuring vehicle 200 with a laser, observes the laser reflected back to the feature, and locates the feature based on the observation values at each observation point where the laser was observed. This is a laser radar that generates a plurality of point data (point group data) indicating a relative distance and a relative direction with respect to the LRF 250. The LRF 250 stores the generated point cloud data in the distance bearing point cloud storage unit 293 as distance bearing point cloud data representing the feature.
Hereinafter, it is assumed that the distance azimuth point cloud data stored in the distance azimuth point cloud storage unit 293 includes point cloud data representing road signs reflected in the captured image A and the captured image B. In the first embodiment, the road sign position measuring apparatus 100 measures three-dimensional coordinates for the road sign represented by the distance direction point group data.
道路標識位置計測装置100(対象特定装置)は、車両位置姿勢標定部110、道路標識画像認識部120、三次元点群モデル復元部130、点群画像投影部140、グルーピング部150、標識点群特定部160および標識位置計算部170を備える。
また、道路標識位置計測装置100は、各データを記憶機器を用いて記憶する車両位置姿勢記憶部191、認識画像記憶部192、三次元点群モデル記憶部193、二次元投影点群記憶部194および標識候補点群記憶部195を備える。また、道路標識位置計測装置100は計測車両200の観測データ記憶部291、画像データ記憶部292および距離方位点群記憶部293から記憶された各データを入力し、入力した各データを記憶機器を用いて記憶する。つまり、道路標識位置計測装置100は観測データ記憶部291、画像データ記憶部292および距離方位点群記憶部293に相当する記憶部(図示省略)を備えるものとする。
The road sign position measuring device 100 (target identification device) includes a vehicle position / orientation locating unit 110, a road sign image recognizing unit 120, a three-dimensional point cloud model restoring unit 130, a point cloud image projecting unit 140, a grouping unit 150, a sign point group. The identification unit 160 and the marker position calculation unit 170 are provided.
Further, the road sign position measuring apparatus 100 includes a vehicle position / posture storage unit 191, a recognition image storage unit 192, a three-dimensional point cloud model storage unit 193, and a two-dimensional projection point cloud storage unit 194 that store each data using a storage device. And a marker candidate point cloud storage unit 195. Further, the road sign position measuring apparatus 100 inputs each data stored from the observation data storage unit 291, the image data storage unit 292, and the distance azimuth point group storage unit 293 of the measurement vehicle 200, and stores each input data as a storage device. Use and remember. That is, the road sign position measuring apparatus 100 includes a storage unit (not shown) corresponding to the observation data storage unit 291, the image data storage unit 292, and the distance / azimuth point group storage unit 293.
車両位置姿勢標定部110は観測データ記憶部291に記憶されたGPS受信機210の観測データ、3軸ジャイロ220の角加速度データおよびオドメータ230の車速データに基づいて各時刻における計測車両200の三次元座標および姿勢角(ロール、ピッチ、ヨー)を標定する。
車両位置姿勢標定部110は計測車両200の三次元座標および姿勢角を車両位置・姿勢データとして車両位置姿勢記憶部191に記憶する。
The vehicle position / orientation locating unit 110 is based on the observation data of the GPS receiver 210 stored in the observation data storage unit 291, the angular acceleration data of the three-axis gyro 220, and the vehicle speed data of the odometer 230. Coordinates and attitude angles (roll, pitch, yaw) are standardized.
The vehicle position / orientation locating unit 110 stores the three-dimensional coordinates and the attitude angle of the measurement vehicle 200 in the vehicle position / orientation storage unit 191 as vehicle position / orientation data.
道路標識画像認識部120(対象撮像範囲特定部)は画像データ記憶部292に記憶された撮像画像A(第1の画像データ)の表す2次元画像と撮像画像B(第2の画像データ)の表す2次元画像とから道路標識(特定の対象物)が撮像された標識撮像範囲Aa・Ba(対象撮像範囲、ウィンドウ)をCPU(Central Proccessing Unit)を用いて特定する。
道路標識画像認識部120は標識撮像範囲Aa、標識撮像範囲Baを示す認識画像Ar、認識画像Brを認識画像記憶部192に記憶する。
The road sign image recognition unit 120 (target imaging range specifying unit) includes a two-dimensional image and a captured image B (second image data) represented by the captured image A (first image data) stored in the image data storage unit 292. A sign imaging range Aa / Ba (target imaging range, window) in which a road sign (specific object) is imaged from the represented two-dimensional image is specified using a CPU (Central Processing Unit).
Road sign image recognition unit 120 stores labeled imaging range A a, recognition image A r indicating the labeled imaging range B a, the recognition image B r to the recognition image storage unit 192.
三次元点群モデル復元部130は、距離方位点群記憶部293に記憶された距離方位点群データに基づいて、3次元座標を示す複数の3次元点データにより道路周辺の地物を3次元で表す3次元点群データ(以下、三次元点群モデルとする)を生成する。
三次元点群モデル復元部130は三次元点群モデルを三次元点群モデル記憶部193(点群データ記憶部)に記憶する。
The three-dimensional point cloud model restoration unit 130 three-dimensionally identifies features around the road by using a plurality of three-dimensional point data indicating three-dimensional coordinates based on the distance direction point cloud data stored in the distance direction point group storage unit 293. 3D point cloud data (hereinafter referred to as a 3D point cloud model) is generated.
The 3D point cloud model restoring unit 130 stores the 3D point cloud model in the 3D point cloud model storage unit 193 (point cloud data storage unit).
点群画像投影部140(第1の点群画像投影部)は三次元点群モデルを撮像画像Aの表す2次元画像に対してCPUを用いて投影する。
以下、撮像画像Aの表す2次元画像に対して投影された点群データを画像投影点群Aipとする。
さらに、点群画像投影部140(第2の点群画像投影部)は標識点群ラベル限定部153が画像投影点群Aipから特定した各グループ点群データ(以下、標識候補点群Acとする)を撮像画像Bの表す2次元画像に対してCPUを用いて投影する。
以下、撮像画像Bの表す2次元画像に対して投影された点群データを画像投影点群Bipとする。
点群画像投影部140は画像投影点群Aip、画像投影点群Bipを二次元投影点群記憶部194に記憶する。
The point cloud image projecting unit 140 (first point cloud image projecting unit) projects the 3D point cloud model onto the 2D image represented by the captured image A using the CPU.
Hereinafter, the point cloud data projected on the two-dimensional image represented by the captured image A is referred to as an image projection point cloud A ip .
Further, the point cloud image projecting unit 140 (second point cloud image projecting unit) has the group point cloud data (hereinafter referred to as marker candidate point cloud A c) identified by the marker point cloud label limiting unit 153 from the image projected point cloud A ip. Are projected onto the two-dimensional image represented by the captured image B using the CPU.
Hereinafter, the point cloud data projected on the two-dimensional image represented by the captured image B is referred to as an image projection point cloud B ip .
The point group image projection unit 140 stores the image projection point group A ip and the image projection point group B ip in the two-dimensional projection point group storage unit 194.
グルーピング部150は標識投影点群抽出部151、標識点群ラベリング部152および標識点群ラベル限定部153を備え、標識撮像範囲Aaに投影された点群データ(以下、標識投影点群Aspとする)を抽出し、標識投影点群Aspを異なる地物を表すグループ点群にグループ分けし、道路標識と同程度の大きさを示すグループ点群(標識候補点群Ac)を特定する。
また、グルーピング部150は標識撮像範囲Baに投影された点群データ(以下、標識投影点群Bspとする)について標識候補点群Bcを特定する。
グルーピング部150は標識候補点群Ac、標識候補点群Bcを標識候補点群記憶部195に記憶する。
The grouping unit 150 includes a marker projection point group extraction unit 151, a marker point group labeling unit 152, and a marker point group label limiting unit 153, and includes point group data projected on the marker imaging range A a (hereinafter, marker projection point group A sp). And the sign projection point group A sp is grouped into group point groups representing different features, and a group point group (sign candidate point group A c ) having the same size as a road sign is identified. To do.
Further, the grouping unit 150 labeled imaging range B a the projected point cloud data (hereinafter referred to as labeled projected point cloud B sp) for identifying the labeled candidate point group B c.
The grouping unit 150 stores the label candidate point group A c and the label candidate point group B c in the label candidate point group storage unit 195.
標識投影点群抽出部151(第1の対象投影点群抽出部)は標識撮像範囲Aaに投影された画像投影点群AipをCPUを用いて抽出する。
また、標識投影点群抽出部151(第2の対象投影点群抽出部)は標識撮像範囲Baに投影された画像投影点群BipをCPUを用いて抽出する。
以下、標識撮像範囲Aaに投影された点群データを標識投影点群Asp、標識撮像範囲Baに投影された点群データを標識投影点群Bspとする。
Labeled projected point cloud extracting section 151 (first target projection point cloud extracting section) extracts the projected image projected point cloud A ip signs imaging range A a using CPU.
Moreover, labeled projected point cloud extracting section 151 (second target projection point cloud extracting section) extracts an image projected point cloud B ip projected on labeled imaging range B a with CPU.
Hereinafter, the point cloud data projected onto the marker imaging range A a is referred to as a marker projection point cloud A sp , and the point cloud data projected onto the marker imaging range B a is referred to as a marker projection point group B sp .
標識点群ラベリング部152(点群グルーピング部)は標識投影点群Aspを各3次元点データの示す3次元座標に基づいて複数のグループ点群データとしてCPUを用いてグループ分けする。
特に、標識点群ラベリング部152は、複数の3次元領域(以下、ボクセルとする)に分割した3次元空間(以下、ボクセル空間とする)を設定し、標識投影点群Aspを各3次元点データの示す3次元座標に基づいてボクセル空間に投票し、隣接する各ボクセルに投票された各3次元点データを1つのグループ点群データとする。
The marker point group labeling unit 152 (point group grouping unit) groups the marker projection point group Asp as a plurality of group point group data using the CPU based on the three-dimensional coordinates indicated by the three-dimensional point data.
In particular, the sign point group labeling unit 152 sets a three-dimensional space (hereinafter referred to as voxel space) divided into a plurality of three-dimensional regions (hereinafter referred to as voxels), and sets the sign projection point group Asp to each three-dimensional area. Voting is performed on the voxel space based on the three-dimensional coordinates indicated by the point data, and each three-dimensional point data voted for each adjacent voxel is set as one group point group data.
標識点群ラベル限定部153(点群グループ限定部)は複数のグループ点群データのそれぞれが表す地物(グループ体)のサイズを各3次元点データの示す3次元座標に基づいてCPUを用いて特定し、特定した地物のサイズを道路標識のサイズとCPUを用いて比較し、地物のサイズが道路標識のサイズに対応する各グループ点群データ(標識候補点群Ac)をCPUを用いて特定する。 The sign point cloud label limiting unit 153 (point cloud group limiting unit) uses the CPU to determine the size of the feature (group body) represented by each of the plurality of group point cloud data based on the 3D coordinates indicated by the 3D point data. The size of the identified feature is compared with the size of the road sign using the CPU, and each group point cloud data (marker candidate point group A c ) corresponding to the size of the feature corresponds to the size of the road sign. Use to specify.
標識点群特定部160(対象点群特定部)は標識候補点群Acを構成する各グループ点群データを標識投影点群Bspを構成する当該グループ点群データと比較し、標識候補点群Acを構成する各グループ点群データの中で標識投影点群Bspにおいて3次元点データの残存率が最も大きいグループ点群データを道路標識を3次元で表す標識三次元点群(対象点群データ)としてCPUを用いて特定する。
標識点群特定部160は標識三次元点群を標識三次元点群記憶部196に記憶する。
The marker point group specifying unit 160 (target point group specifying unit) compares each group point cloud data constituting the marker candidate point group Ac with the group point cloud data constituting the marker projection point group Bsp , and the marker candidate point labeled three-dimensional point group representing the largest group point group data is three-dimensional point data of the residual rate in the labeled projected point cloud B sp in each group point cloud data constituting the group a c road signs in three dimensions (subject The point cloud data is specified using a CPU.
The sign point group specifying unit 160 stores the sign three-dimensional point group in the sign three-dimensional point group storage unit 196.
標識位置計算部170(対象位置算出部)は標識三次元点群を構成する各3次元点データの示す3次元座標に基づいて道路標識の中心を示す3次元座標を道路標識の位置としてCPUを用いて算出する。 The sign position calculation unit 170 (target position calculation unit) uses the CPU as the position of the road sign using the three-dimensional coordinates indicating the center of the road sign based on the three-dimensional coordinates indicated by the three-dimensional point data constituting the sign three-dimensional point group. Use to calculate.
図2は、実施の形態1における道路標識位置計測装置100のハードウェア資源の一例を示す図である。
図3は、実施の形態1における計測車両200のハードウェア資源の一例を示す図である。
図2、図3において、道路標識位置計測装置100および計測車両200は、プログラムを実行するCPU911(Central・Processing・Unit、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサともいう)を備えている。CPU911は、バス912を介してROM913、RAM914、通信ボード915、磁気ディスク装置920と接続され、これらのハードウェアデバイスを制御する。磁気ディスク装置920の代わりにその他の記憶装置(例えば、RAMやフラッシュメモリなどの半導体メモリ)を用いてもよい。
さらに、道路標識位置計測装置100はCRT(Cathode・Ray・Tube)やLCD(液晶)の表示画面を有する表示装置901、キーボード902(Key・Board:K/B)、マウス903、FDD904(Flexible・Disk・Drive)、CDD905(コンパクトディスク装置)も備え、CPU911はこれらハードウェアデバイスも制御する。
また、計測車両200は、さらに、カメラ240、GPS受信機210、3軸ジャイロ220、オドメータ230、LRF250も備え、CPU911はこれらハードウェアデバイスも制御する。
FIG. 2 is a diagram illustrating an example of hardware resources of the road sign position measurement apparatus 100 according to the first embodiment.
FIG. 3 is a diagram illustrating an example of hardware resources of the measurement vehicle 200 according to the first embodiment.
2 and 3, the road sign position measurement device 100 and the measurement vehicle 200 are also referred to as a CPU 911 (Central Processing Unit, central processing unit, processing unit, arithmetic unit, microprocessor, microcomputer, processor for executing a program. ). The CPU 911 is connected to the ROM 913, the RAM 914, the communication board 915, and the magnetic disk device 920 via the bus 912, and controls these hardware devices. Instead of the magnetic disk device 920, another storage device (for example, a semiconductor memory such as a RAM or a flash memory) may be used.
Further, the road sign position measuring device 100 includes a display device 901 having a CRT (Cathode / Ray / Tube) or LCD (liquid crystal) display screen, a keyboard 902 (Key / Board: K / B), a mouse 903, an FDD 904 (Flexible Disk / Drive) and CDD905 (compact disk device), and the CPU 911 also controls these hardware devices.
The measurement vehicle 200 further includes a camera 240, a GPS receiver 210, a three-axis gyro 220, an odometer 230, and an LRF 250. The CPU 911 also controls these hardware devices.
RAM914は、揮発性メモリの一例である。ROM913、磁気ディスク装置920の記憶媒体は、不揮発性メモリの一例である。これらは、記憶機器、記憶装置あるいは記憶部の一例である。また、入力データが記憶されている記憶機器は入力機器、入力装置あるいは入力部の一例であり、出力データが記憶される記憶機器は出力機器、出力装置あるいは出力部の一例である。
通信ボード915、キーボード902、マウス903、FDD904、CDD905は、入力機器、入力装置あるいは入力部の一例である。
また、通信ボード915、表示装置901、FDD904、CDD905は、出力機器、出力装置あるいは出力部の一例である。
The RAM 914 is an example of a volatile memory. The storage medium of the ROM 913 and the magnetic disk device 920 is an example of a nonvolatile memory. These are examples of a storage device, a storage device, or a storage unit. A storage device in which input data is stored is an example of an input device, an input device, or an input unit, and a storage device in which output data is stored is an example of an output device, an output device, or an output unit.
The communication board 915, the keyboard 902, the mouse 903, the FDD 904, and the CDD 905 are examples of input devices, input devices, or input units.
The communication board 915, the display device 901, the FDD 904, and the CDD 905 are examples of an output device, an output device, or an output unit.
通信ボード915は、有線または無線で、LAN(Local Area Network)、インターネット、ISDN等のWAN(ワイドエリアネットワーク)、電話回線などの通信網に接続されている。 The communication board 915 is wired or wirelessly connected to a communication network such as a LAN (Local Area Network), the Internet, a WAN (Wide Area Network) such as ISDN, and a telephone line.
磁気ディスク装置920には、OS921(オペレーティングシステム)、プログラム群923、ファイル群924が記憶されている。プログラム群923のプログラムは、CPU911、OS921により実行される。 The magnetic disk device 920 stores an OS 921 (operating system), a program group 923, and a file group 924. The programs in the program group 923 are executed by the CPU 911 and the OS 921.
上記プログラム群923には、実施の形態において「〜部」として説明する機能を実行するプログラムが記憶されている。プログラムは、CPU911により読み出され実行される。 The program group 923 stores a program for executing a function described as “˜unit” in the embodiment. The program is read and executed by the CPU 911.
ファイル群924には、実施の形態において、「〜部」の機能を実行した際の「〜の判定結果」、「〜の計算結果」、「〜の処理結果」などの結果データ、「〜部」の機能を実行するプログラム間で受け渡しするデータ、その他の情報やデータや信号値や変数値やパラメータが、「〜ファイル」や「〜データベース」の各項目として記憶されている。撮像画像、観測データ、距離方位点群、車両位置・姿勢、認識画像、三次元点群モデル、画像投影点群、標識候補点群、標識三次元点群、道路標識位置などのデータはファイル群924に含まれるものの一例である。
「〜ファイル」や「〜データベース」は、ディスクやメモリなどの記録媒体に記憶される。ディスクやメモリなどの記憶媒体に記憶された情報やデータや信号値や変数値やパラメータは、読み書き回路を介してCPU911によりメインメモリやキャッシュメモリに読み出され、抽出・検索・参照・比較・演算・計算・処理・出力・印刷・表示などのCPUの動作に用いられる。抽出・検索・参照・比較・演算・計算・処理・出力・印刷・表示のCPUの動作の間、情報やデータや信号値や変数値やパラメータは、メインメモリやキャッシュメモリやバッファメモリに一時的に記憶される。
また、実施の形態において説明するフローチャートの矢印の部分は主としてデータや信号の入出力を示し、データや信号値は、RAM914のメモリ、磁気ディスク装置920の磁気ディスク、その他の記録媒体に記録される。また、データや信号値は、バス912や信号線やケーブルその他の伝送媒体によりオンライン伝送される。
In the file group 924, in the embodiment, result data such as “determination result”, “calculation result of”, “processing result of” when executing the function of “to part”, “to part” The data to be passed between programs that execute the function “,” other information, data, signal values, variable values, and parameters are stored as items “˜file” and “˜database”. Data such as captured images, observation data, distance azimuth points, vehicle positions / postures, recognition images, 3D point cloud models, image projection points, sign candidate points, sign 3D points, and road sign positions are file groups 924 is an example of what is included in 924.
The “˜file” and “˜database” are stored in a recording medium such as a disk or a memory. Information, data, signal values, variable values, and parameters stored in a storage medium such as a disk or memory are read out to the main memory or cache memory by the CPU 911 via a read / write circuit, and extracted, searched, referenced, compared, and calculated. Used for CPU operations such as calculation, processing, output, printing, and display. Information, data, signal values, variable values, and parameters are temporarily stored in the main memory, cache memory, and buffer memory during the CPU operations of extraction, search, reference, comparison, operation, calculation, processing, output, printing, and display. Is remembered.
In addition, arrows in the flowcharts described in the embodiments mainly indicate input / output of data and signals, and the data and signal values are recorded in the memory of the RAM 914, the magnetic disk of the magnetic disk device 920, and other recording media. . Data and signal values are transmitted online via a bus 912, signal lines, cables, or other transmission media.
また、実施の形態において「〜部」として説明するものは、「〜回路」、「〜装置」、「〜機器」であってもよく、また、「〜ステップ」、「〜手順」、「〜処理」であってもよい。すなわち、「〜部」として説明するものは、ROM913に記憶されたファームウェアで実現されていても構わない。或いは、ソフトウェアのみ、或いは、素子・デバイス・基板・配線などのハードウェアのみ、或いは、ソフトウェアとハードウェアとの組み合わせ、さらには、ファームウェアとの組み合わせで実施されても構わない。ファームウェアとソフトウェアは、プログラムとして、磁気ディスクやその他の記録媒体に記憶される。プログラムはCPU911により読み出され、CPU911により実行される。すなわち、対象特定プログラムは、「〜部」としてコンピュータを機能させるものである。あるいは、「〜部」の手順や方法をコンピュータに実行させるものである。 In addition, what is described as “˜unit” in the embodiment may be “˜circuit”, “˜device”, “˜device”, and “˜step”, “˜procedure”, “˜”. Processing ". That is, what is described as “˜unit” may be realized by firmware stored in the ROM 913. Alternatively, it may be implemented only by software, only hardware such as elements, devices, substrates, wirings, etc., or a combination of software and hardware, and further a combination of firmware. Firmware and software are stored as programs on a magnetic disk or other recording medium. The program is read by the CPU 911 and executed by the CPU 911. That is, the target specifying program causes the computer to function as “to part”. Alternatively, the procedure or method of “to part” is executed by a computer.
図4は、実施の形態1における計測車両200の配置関係図である。
図5は、実施の形態1におけるLRF250のレーザ計測方法を示す図である。
実施の形態1におけるLRF250のレーザ計測方法について図4および図5に基づいて説明する。
図4に示すように、計測車両200は車両本体202の屋根に天板201が固定して設置され、天板201には3台のGPS受信機210(210a〜210b)、カメラ240、3軸ジャイロ220およびLRF250が固定して設置されている。
3軸ジャイロ220の設置点Oの座標および3軸ジャイロ220の設置点での姿勢角を計測車両200の位置および姿勢角とする。
FIG. 4 is an arrangement relation diagram of the measurement vehicle 200 in the first embodiment.
FIG. 5 is a diagram illustrating a laser measurement method of the LRF 250 in the first embodiment.
A laser measurement method for LRF 250 in the first embodiment will be described with reference to FIGS.
As shown in FIG. 4, the measurement vehicle 200 is installed with a top plate 201 fixed on the roof of the vehicle body 202, and the top plate 201 has three GPS receivers 210 (210 a to 210 b), a camera 240 and three axes. The gyro 220 and the LRF 250 are fixedly installed.
The coordinates of the installation point O of the 3-axis gyro 220 and the attitude angle at the installation point of the 3-axis gyro 220 are defined as the position and the attitude angle of the measurement vehicle 200.
以下、3軸ジャイロ220の設置点Oを原点O(0,0,0)とする極座標系xyzを車両座標系とする。車両座標系で表された座標および姿勢角は計測車両200に対する相対座標および相対姿勢角を示す。
z軸は計測車両200の進行方向(長手方向、奥行き方向、縦方向)を示し、x軸は計測車両200の幅方向(横方向)を示し、y軸は計測車両200の高さ方向(垂直方向)を示し、z軸回りの角度Φは回転角(ロール角)を示し、x軸回りの角度θは仰角(ピッチ角)を示し、y軸回りの角度ψは方位角(ヨー角)を示す。
また、車両座標系におけるカメラ240の座標、姿勢角を(Δxcam,Δycam,Δzcam)、(Φcam,θcam,ψcam)とする。以下、(Δxcam,Δycam,Δzcam)、(Φcam,θcam,ψcam)をカメラ取付オフセットという。
また、車両座標系におけるLRF250の座標、姿勢角を(Δxlrf,Δylrf,Δzlrf)、(Φlrf,θlrf,ψlrf)とする。以下、(Δxlrf,Δylrf,Δzlrf)、(Φlrf,θlrf,ψlrf)をLRF取付オフセットという。
また、同様に、各GPS受信機210の車両座標系における座標、姿勢角を受信機取付オフセットとする。
また、カメラ240の位置を原点としてカメラ240に対する相対座標および相対姿勢角を表す極座標系をカメラ座標系とし、LRF250の位置を原点としてLRF250に対する相対座標および相対姿勢角を表す極座標系をLRF座標系とし、各GPS受信機210の位置を原点として各GPS受信機210に対する相対座標および相対姿勢角を表す極座標系を受信機座標系とする。
Hereinafter, the polar coordinate system xyz having the installation point O of the three-axis gyro 220 as the origin O (0, 0, 0) is defined as a vehicle coordinate system. The coordinates and attitude angles represented in the vehicle coordinate system indicate relative coordinates and relative attitude angles with respect to the measurement vehicle 200.
The z axis indicates the traveling direction (longitudinal direction, depth direction, vertical direction) of the measuring vehicle 200, the x axis indicates the width direction (lateral direction) of the measuring vehicle 200, and the y axis indicates the height direction (vertical) of the measuring vehicle 200. Direction), an angle Φ around the z axis indicates a rotation angle (roll angle), an angle θ around the x axis indicates an elevation angle (pitch angle), and an angle ψ around the y axis indicates an azimuth angle (yaw angle). Show.
In addition, the coordinates and posture angles of the camera 240 in the vehicle coordinate system are (Δx cam , Δy cam , Δz cam ), (Φ cam , θ cam , ψ cam ). Hereinafter, (Δx cam , Δy cam , Δz cam ) and (Φ cam , θ cam , ψ cam ) are referred to as camera mounting offsets.
In addition, the coordinates and posture angles of the LRF 250 in the vehicle coordinate system are (Δx lrf , Δy lrf , Δz lrf ), (Φ lrf , θ lrf , ψ lrf ). Hereinafter, (Δx lrf , Δy lrf , Δz lrf ) and (Φ lrf , θ lrf , ψ lrf ) are referred to as LRF attachment offsets.
Similarly, the coordinates and attitude angles of each GPS receiver 210 in the vehicle coordinate system are set as a receiver mounting offset.
A polar coordinate system representing the relative coordinates and relative attitude angles with respect to the camera 240 with the position of the camera 240 as the origin is taken as the camera coordinate system, and a polar coordinate system representing the relative coordinates and relative attitude angles with respect to the LRF 250 with the position of the LRF 250 as the origin. And a polar coordinate system representing a relative coordinate and a relative attitude angle with respect to each GPS receiver 210 with the position of each GPS receiver 210 as an origin is defined as a receiver coordinate system.
計測車両200は走行中、継続して各GPS受信機210によりGPS衛星からの搬送波を観測し、カメラ240により前方の道路周辺を撮像し、LRF250により左側方の地物に対してレーザ計測する。 While traveling, the measuring vehicle 200 continuously observes a carrier wave from a GPS satellite by each GPS receiver 210, images the surroundings of the road ahead by the camera 240, and performs laser measurement on the features on the left side by the LRF 250.
図5において、LRF250は上下方向(y軸方向)に機首を1°単位で180°振りながらレーザを照射し、地物に反射したレーザを観測して地物までの距離と方位とを計測し、これを繰り返す。
例えば、LRF250は、a地点において走査ラインSaの各点について地物までの距離と方位(方向)とを示す距離方位点群データを取得し、計測車両200が進行したb地点において走査ラインSbの各点について距離方位点群データを取得する。そして、LRF250は、計測車両200の走行中、このレーザ計測を繰り返すことにより、計測車両200が走行した道路の左方に位置する各地物について距離方位点群データを取得する。また、計測車両200は、道路を往復して、道路の左右両側に位置する各地物について距離方位点群データを取得する。なお、LRF250がレーザ計測する際に計測車両200がa地点、b地点、・・・と各点で停車するのではなく、計測車両200が連続走行しながらLRF250がレーザ計測を連続して行う。
例えば、距離方位点群データの示す各点の間隔が10〜14センチメートル程度になるような速さで、LRF250は機首を上下動しながらレーザの照射・観測を行う。または、計測車両200の走行速度を調整する。
In FIG. 5, the LRF 250 irradiates the laser while swinging the nose 180 degrees in the vertical direction (y-axis direction) in units of 1 °, and observes the laser reflected on the feature to measure the distance and direction to the feature. And repeat this.
For example, the LRF 250 acquires distance azimuth point group data indicating the distance to the feature and the azimuth (direction) for each point of the scanning line S a at the point a, and the scanning line S at the point b where the measurement vehicle 200 travels. Distance azimuth point cloud data is acquired for each point b . Then, the LRF 250 repeats this laser measurement while the measuring vehicle 200 is traveling, thereby acquiring distance azimuth point data for each feature located on the left side of the road on which the measuring vehicle 200 has traveled. In addition, the measurement vehicle 200 travels back and forth on the road and acquires distance azimuth point cloud data for each feature located on the left and right sides of the road. When the LRF 250 performs laser measurement, the measurement vehicle 200 does not stop at points a, b,..., But the LRF 250 continuously performs laser measurement while the measurement vehicle 200 continuously travels.
For example, the LRF 250 performs laser irradiation and observation while moving the nose up and down at such a speed that the interval between the points indicated by the distance and azimuth point group data is about 10 to 14 cm. Alternatively, the traveling speed of the measurement vehicle 200 is adjusted.
図6は、実施の形態1における道路標識位置計測処理を示すフローチャートである。
図7は、実施の形態1における前処理(S100)を示すフローチャートである。
実施の形態1における道路標識位置計測装置100が実行する道路標識位置計測処理(対象特定方法)について、図6および図7に基づいて以下に説明する。
道路標識位置計測装置100を構成する各部は、以下に説明する各処理をCPU911を用いて実行する。
FIG. 6 is a flowchart showing the road sign position measurement process in the first embodiment.
FIG. 7 is a flowchart showing pre-processing (S100) in the first embodiment.
A road sign position measurement process (target identification method) executed by the road sign position measurement apparatus 100 according to the first embodiment will be described below with reference to FIGS. 6 and 7.
Each part which comprises the road sign position measuring apparatus 100 performs each process demonstrated below using CPU911.
<S100:前処理>
まず、道路標識位置計測装置100は計測車両200から異なる地点で撮像された撮像画像Aおよび撮像画像Bに対して道路標識が写っている範囲を特定した認識画像Arおよび認識画像Brを認識画像記憶部192に記憶する。
また、道路標識位置計測装置100は計測車両200で計測された距離方位点群データに基づいて生成した三次元点群モデルを三次元点群モデル記憶部193に記憶する。
ここで、前処理(S100)の詳細を図7に基づいて説明する。
<S100: Pre-processing>
First, recognizing a recognition image A r and recognition image B r specified range that is reflected road sign with respect to a road marker position measurement device 100 measures the vehicle 200 captured images captured at different points of A and the captured image B The image is stored in the image storage unit 192.
In addition, the road sign position measuring apparatus 100 stores a three-dimensional point group model generated based on the distance direction point group data measured by the measurement vehicle 200 in the three-dimensional point group model storage unit 193.
Here, details of the preprocessing (S100) will be described with reference to FIG.
<S110>
まず、車両位置姿勢標定部110は各時刻における計測車両200の位置および姿勢角を特定の座標系で標定する。例えば、車両位置姿勢標定部110は座標を緯度、経度および高度で表す緯度経度座標系で計測車両200の位置および姿勢角を標定する。また例えば、車両位置姿勢標定部110は、計測車両200の走行開始地点を原点として、座標を東方向、北方向および上方向(垂直方向)で表すENU(East North Up)座標系で計測車両200の位置および姿勢角を標定する。
<S110>
First, the vehicle position and orientation determination unit 110 determines the position and orientation angle of the measurement vehicle 200 at each time using a specific coordinate system. For example, the vehicle position and orientation determination unit 110 determines the position and orientation angle of the measurement vehicle 200 in a latitude / longitude coordinate system in which coordinates are represented by latitude, longitude, and altitude. Further, for example, the vehicle position / orientation locating unit 110 uses the travel start point of the measurement vehicle 200 as an origin and the measurement vehicle 200 in an ENU (East North Up) coordinate system in which coordinates are expressed in the east direction, the north direction, and the upward direction (vertical direction). The position and attitude angle of
このとき、車両位置姿勢標定部110は観測データ記憶部291から各時刻における観測データ、角加速度データおよび車速データを入力し、入力した各データに基づいて各時刻における計測車両200の位置および姿勢角(ロール角、ピッチ角、ヨー角)を標定する。車両位置姿勢標定部110は標定した各時刻における計測車両200の位置および姿勢角を車両位置・姿勢データとして車両位置姿勢記憶部191に記憶する。
ここで、観測データには単独測位結果、擬似距離、搬送波位相、衛星軌道情報などが含まれている。
At this time, the vehicle position and orientation determination unit 110 inputs observation data, angular acceleration data, and vehicle speed data at each time from the observation data storage unit 291, and the position and posture angle of the measurement vehicle 200 at each time based on the input data. (Roll angle, pitch angle, yaw angle) are standardized. The vehicle position and orientation determination unit 110 stores the position and posture angle of the measurement vehicle 200 at each determined time in the vehicle position and orientation storage unit 191 as vehicle position and orientation data.
Here, the observation data includes a single positioning result, pseudorange, carrier phase, satellite orbit information, and the like.
例えば、車両位置姿勢標定部110は、GPS受信機210の単独測位結果を受信機取付オフセット分補正して、計測車両200の三次元座標を標定する。
また例えば、車両位置姿勢標定部110は、3軸ジャイロ220の角加速度データおよびオドメータ230の車速データを積分した変化量を前回の標定値に加算して行うデッドレコニングにより、計測車両200の三次元座標および姿勢角を標定する。
また例えば、車両位置姿勢標定部110はデッドレコニングの結果に含まれる誤差をカルマンフィルタ処理で推定し、推定誤差を用いてデッドレコニングの結果を補正して計測車両200の三次元座標および姿勢角を標定する。カルマンフィルタ処理とは、状態量のダイナミクスをモデル化した状態方程式と、観測量と状態量との関係を定式化した観測方程式との両方程式に基づいて状態量の誤差を推定する処理である。カルマンフィルタ処理において、車両位置姿勢標定部110は擬似距離の観測残差や搬送波位相の観測残差を観測量とし、デッドレコニングによる標定結果を状態量とする。例えば、車両位置姿勢標定部110はデッドレコニングにより算出したGPS受信機210の位置と衛星軌道情報が示すGPS衛星の位置とによりGPS受信機210とGPS衛星との距離を算出し、算出した距離と観測データが示す擬似距離との差を観測残差とする。また例えば、車両位置姿勢標定部110はデッドレコニングにより算出したGPS受信機210の位置と衛星軌道情報が示すGPS衛星の位置とによりGPS受信機210から見たGPS衛星の位置する方向を示すLOS(Line Of Sight)ベクトルを算出し、受信機取付オフセットに基づいてGPS受信機210間の距離および方向を示す基線ベクトルを算出し、LOSベクトルと基線ベクトルとに基づいて搬送波位相を算出し、算出した搬送波位相と観測データが示す搬送波位相との差を観測残差とする。
For example, the vehicle position / orientation locating unit 110 corrects the single positioning result of the GPS receiver 210 by the receiver mounting offset, and determines the three-dimensional coordinates of the measurement vehicle 200.
Further, for example, the vehicle position / orientation locating unit 110 adds the change amount obtained by integrating the angular acceleration data of the three-axis gyro 220 and the vehicle speed data of the odometer 230 to the previous orientation value, thereby performing the three-dimensional measurement of the measurement vehicle 200. Position coordinates and attitude angles.
Further, for example, the vehicle position / orientation locating unit 110 estimates an error included in the result of dead reckoning by the Kalman filter process, and corrects the result of dead reckoning using the estimation error to determine the three-dimensional coordinates and the attitude angle of the measurement vehicle 200. To do. The Kalman filter process is a process for estimating an error of a state quantity based on both equations of a state equation that models the dynamics of the state quantity and an observation equation that formulates the relationship between the observed quantity and the state quantity. In the Kalman filter processing, the vehicle position / orientation locating unit 110 uses the observation residual of the pseudorange and the observation residual of the carrier wave phase as the observation amount, and the localization result by dead reckoning as the state amount. For example, the vehicle position / orientation locating unit 110 calculates the distance between the GPS receiver 210 and the GPS satellite based on the position of the GPS receiver 210 calculated by dead reckoning and the position of the GPS satellite indicated by the satellite orbit information. The difference from the pseudorange indicated by the observation data is taken as the observation residual. Further, for example, the vehicle position / orientation locating unit 110 uses the position of the GPS receiver 210 calculated by dead reckoning and the position of the GPS satellite indicated by the satellite orbit information to indicate the LOS (LOS) indicating the direction of the GPS satellite as viewed from the GPS receiver 210. (Line Of Light) vector, a baseline vector indicating the distance and direction between the GPS receivers 210 based on the receiver mounting offset, a carrier phase calculated based on the LOS vector and the baseline vector, and calculated The difference between the carrier phase and the carrier phase indicated by the observation data is defined as an observation residual.
<S120:対象撮像範囲特定処理>
次に、道路標識画像認識部120は撮像画像Aおよび撮像画像Bから同一の道路標識が写っている標識撮像範囲Aaおよび標識撮像範囲Baを特定する。
このとき、道路標識画像認識部120は画像データ記憶部292から撮像画像Aおよび撮像画像Bを入力し、撮像画像Aおよび撮像画像Bに対して同一の道路標識を認識する任意の画像認識処理を行う。そして、道路標識画像認識部120は、画像認識処理結果に基づいて、撮像画像Aに対して当該道路標識が写っている標識撮像範囲Aaを特定し、撮像画像Bに対して当該道路標識が写っている標識撮像範囲Baを特定する。例えば、道路標識画像認識部120は予め記憶機器に記憶された各道路標識の特徴情報(形状、色、模様など)とのパターンマッチングにより撮像画像から標識撮像範囲を特定する。または、道路標識画像認識部120は画像データ記憶部292から複数の撮像画像を入力し、各撮像画像に対して画像認識処理を行い、標識撮像範囲を特定できた2枚の撮像画像を撮像画像Aおよび撮像画像Bとして選択する。
また、道路標識画像認識部120は車両位置姿勢記憶部191から撮像画像Aを撮像時の計測車両200の位置および姿勢角と撮像画像Bを撮像時の計測車両200の位置および姿勢角とを取得する。
次に、道路標識画像認識部120は、計測車両200の位置および姿勢角とカメラ取付オフセットとに基づいて、撮像画像Aを撮像時のカメラ240の位置および姿勢角と撮像画像Bを撮像時のカメラ240の位置および姿勢角とを特定の座標系で算出する。カメラ取付オフセットは予め記憶機器に記憶されているものとする。
そして、道路標識画像認識部120は撮像画像A、標識撮像範囲Aaおよび撮像画像Aを撮像時のカメラ240の位置・姿勢角を示す認識画像Arと、撮像画像B、標識撮像範囲Baおよび撮像画像Bを撮像時のカメラ240の位置・姿勢角を示す認識画像Brとを認識画像記憶部192に記憶する。
以下、標識撮像範囲は、四角形で表され、撮像画像の左上を原点として撮像画像のピクセル(画素)を単位とする画像座標系において、四角形を表す対角線上の2つの座標値を示すものとする。例えば、この画像座標系は、撮像画像が横1600ピクセル×縦1200ピクセルであれば、画像左上の座標が(0,0)、画像右上の座標が(1599,0)、画像左下の座標が(0,1199)、画像右下の座標が(1599,1199)となる。
<S120: Target imaging range specifying process>
Next, the road sign image recognizing unit 120 specifies the sign image pickup range A a and the sign image pickup range B a in which the same road sign is captured from the captured image A and the captured image B.
At this time, the road sign image recognition unit 120 inputs the captured image A and the captured image B from the image data storage unit 292, and performs arbitrary image recognition processing for recognizing the same road sign for the captured image A and the captured image B. Do. The road sign image recognition unit 120, based on the image recognition processing result, to identify the labeled imaging range A a in which the road sign is captured on the captured image A, is the road sign on the captured image B identifying a is reflected labeled imaging range B a. For example, the road sign image recognition unit 120 identifies the sign image pickup range from the picked-up image by pattern matching with the feature information (shape, color, pattern, etc.) of each road sign stored in advance in the storage device. Alternatively, the road sign image recognition unit 120 inputs a plurality of captured images from the image data storage unit 292, performs image recognition processing on each captured image, and captures two captured images that have been able to identify the sign imaging range. A and picked-up image B are selected.
Further, the road sign image recognition unit 120 acquires the position and posture angle of the measurement vehicle 200 when the captured image A is captured and the position and posture angle of the measurement vehicle 200 when the captured image B is captured from the vehicle position and orientation storage unit 191. To do.
Next, the road sign image recognition unit 120 uses the position and orientation angle of the measurement vehicle 200 and the camera mounting offset to capture the position and orientation angle of the camera 240 when capturing the captured image A and the captured image B when capturing the captured image B. The position and posture angle of the camera 240 are calculated in a specific coordinate system. Assume that the camera mounting offset is stored in advance in the storage device.
The road sign image recognition unit 120 recognizes the captured image A, the sign imaging range A a, and the recognition image Ar indicating the position / posture angle of the camera 240 at the time of capturing the captured image A, the captured image B, and the sign imaging range B a. In addition, the recognition image storage unit 192 stores the recognition image Br indicating the position / posture angle of the camera 240 at the time of capturing the captured image B.
Hereinafter, the sign imaging range is represented by a quadrangle and indicates two coordinate values on a diagonal line representing the quadrangle in an image coordinate system in which the upper left of the captured image is the origin and the pixel of the captured image is a unit. . For example, in this image coordinate system, when the captured image is 1600 pixels wide × 1200 pixels long, the coordinates at the upper left of the image are (0, 0), the coordinates at the upper right of the image are (1599, 0), and the coordinates at the lower left of the image are ( 0, 1199), the coordinates on the lower right of the image are (1599, 1199).
<S130>
そして、三次元点群モデル復元部130は三次元座標を示す複数の三次元点データにより道路周辺の地物を三次元で表す三次元点群モデルを生成する。
このとき、三次元点群モデル復元部130は距離方位点群記憶部293から距離方位点群データを入力する。
次に、三次元点群モデル復元部130は、距離方位点群データの各点が示すLRF250に対する相対距離および相対方位(方向)に基づいて、距離方位点群データの各点についてLRF座標系における三次元座標を算出する。
次に、三次元点群モデル復元部130は車両位置姿勢記憶部191から各時刻における計測車両200の位置および姿勢角を取得する。
そして、三次元点群モデル復元部130は、計測車両200の位置および姿勢角とLRF取付オフセットとに基づいて、LRF座標系における各点の三次元座標を三次元アフィン変換して三次元点群モデルを生成する。LRF取付オフセットは予め記憶機器に記憶されているものとする。
三次元点群モデルの各点は特定の座標系(例えば、ENU座標系および車両座標系)で表される。
三次元点群モデル復元部130は生成した三次元点群モデルを三次元点群モデル記憶部193に記憶する。
<S130>
Then, the three-dimensional point cloud model restoration unit 130 generates a three-dimensional point cloud model that represents the features around the road in three dimensions using a plurality of three-dimensional point data indicating the three-dimensional coordinates.
At this time, the three-dimensional point cloud model restoration unit 130 inputs distance azimuth point cloud data from the distance azimuth point cloud storage unit 293.
Next, the three-dimensional point cloud model restoration unit 130 uses the relative distance and relative azimuth (direction) with respect to the LRF 250 indicated by each point of the distance azimuth point cloud data for each point of the distance azimuth point cloud data in the LRF coordinate system. Calculate three-dimensional coordinates.
Next, the three-dimensional point cloud model restoration unit 130 acquires the position and posture angle of the measurement vehicle 200 at each time from the vehicle position / posture storage unit 191.
Then, the three-dimensional point cloud model restoration unit 130 performs three-dimensional affine transformation on the three-dimensional coordinates of each point in the LRF coordinate system based on the position and posture angle of the measurement vehicle 200 and the LRF attachment offset, thereby obtaining a three-dimensional point cloud. Generate a model. It is assumed that the LRF attachment offset is stored in the storage device in advance.
Each point of the three-dimensional point cloud model is represented by a specific coordinate system (for example, the ENU coordinate system and the vehicle coordinate system).
The 3D point cloud model restoration unit 130 stores the generated 3D point cloud model in the 3D point cloud model storage unit 193.
ここで、三次元アフィン変換について説明する。以下の各式で用いている各記号は図4に示す記号に対応している。 Here, the three-dimensional affine transformation will be described. Each symbol used in the following equations corresponds to the symbol shown in FIG.
まず、距離方位点群データから得られたLRF座標系における各点の三次元座標(x0,y0,z0)は、計測車両200に対するLRF250の相対位置(Δxlrf,Δylrf,Δzlrf)および相対姿勢(Φlrf,θlrf,ψlrf)(LRF取付オフセット)を用いた以下の式1、式2によって、車両座標系の三次元座標(x2,y2,z2)に変換される。 First, the three-dimensional coordinates (x 0 , y 0, z 0 ) of each point in the LRF coordinate system obtained from the distance azimuth point group data are relative positions (Δx lrf , Δy lrf , Δz lrf ) of the LRF 250 with respect to the measurement vehicle 200. ) And relative posture (Φ lrf , θ lrf , ψ lrf ) (LRF mounting offset), and converted into the three-dimensional coordinates (x 2 , y 2 , z 2 ) of the vehicle coordinate system by the following expressions 1 and 2 Is done.
そして、車両座標系における各点の三次元座標(x2,y2,z2)は、ENU座標系における計測車両200の座標(Ev,Nv,Uv)および姿勢角(Φv,θv,ψv)を用いた以下の式3、式4によって、ENU座標系の三次元座標(Elrf,Nlrf,Ulrf)に変換される。 The three-dimensional coordinates (x 2 , y 2 , z 2 ) of each point in the vehicle coordinate system are the coordinates (Ev, Nv, Uv) and the attitude angle (Φv, θv, ψv) of the measurement vehicle 200 in the ENU coordinate system. Are converted into three-dimensional coordinates (E lrf , N lrf , U lrf ) of the ENU coordinate system by the following formulas 3 and 4 using.
図8は、実施の形態1における三次元点群モデル復元部130が生成する三次元点群モデルの一例を示す図である。
三次元点群モデル復元部130が生成した三次元点群モデルは表示装置901により図8に示すような三次元画像として表示される。図8では、車道(計測車両200の進行方向)と平行して道路脇に道路標識、電柱、木が順に並んでいることを示している。
FIG. 8 is a diagram illustrating an example of a three-dimensional point group model generated by the three-dimensional point group model restoration unit 130 according to the first embodiment.
The three-dimensional point cloud model generated by the three-dimensional point cloud model restoration unit 130 is displayed as a three-dimensional image as shown in FIG. FIG. 8 shows that road signs, utility poles, and trees are arranged in order on the side of the road in parallel with the roadway (traveling direction of the measuring vehicle 200).
なお、三次元点群モデル復元部130はLRF250からの水平距離が所定値以下である点のみについて三次元点群モデルを生成するものとする。例えば、図8は、塀の向こうに存在する地物が三次元点群モデルに含まれていないことを示している。 It is assumed that the 3D point cloud model restoration unit 130 generates a 3D point cloud model only for points whose horizontal distance from the LRF 250 is a predetermined value or less. For example, FIG. 8 shows that a feature that exists beyond the reed is not included in the three-dimensional point cloud model.
次に、図6に戻り、前処理(S100)後の道路標識位置計測処理について説明する。
実施の形態1における道路標識位置計測装置100は、三次元点群モデルを構成する複数の点のうち、どの点群が道路標識を表しているかを特定するために、撮像画像上で認識した道路標識に対応する点群を特定する。
そこで、前処理(S100)後、道路標識位置計測装置100は三次元点群モデルを構成する各点を撮像画像Aおよび撮像画像Bに投影し(S140、S160)、投影した各点のうち道路標識が写っている標識撮像範囲Aa、標識撮像範囲Baに位置する各点を抽出し(S151、S171)、抽出した各点をグルーピングし(S152)、各グループ点群のうち標識撮像範囲Aaと標識撮像範囲Baとで共通するグループ点群を道路標識を表すグループ点群として特定する(S180)。そして、道路標識位置計測装置100は特定した道路標識を表すグループ点群を構成する各点が示す三次元座標に基づいて当該道路標識の三次元座標を算出する(S190)。
Next, returning to FIG. 6, the road sign position measurement processing after the preprocessing (S100) will be described.
The road sign position measuring apparatus 100 according to the first embodiment recognizes a road recognized on a captured image in order to identify which point group represents a road sign among a plurality of points constituting the three-dimensional point cloud model. Identify the point cloud corresponding to the sign.
Therefore, after the preprocessing (S100), the road sign position measuring apparatus 100 projects each point constituting the three-dimensional point cloud model onto the captured image A and the captured image B (S140, S160), and the road among the projected points. Each point located in the marker imaging range A a and the marker imaging range B a in which the marker is reflected is extracted (S151, S171), the extracted points are grouped (S152), and the marker imaging range of each group point group A group point group common to A a and the sign imaging range B a is specified as a group point group representing a road sign (S180). Then, the road sign position measuring apparatus 100 calculates the three-dimensional coordinates of the road sign based on the three-dimensional coordinates indicated by the points constituting the group point group representing the specified road sign (S190).
図9は、実施の形態1における道路標識位置計測処理の概念図である。
ここで、車道(計測車両200の進行方向)と平行して道路標識、木および電柱が並ぶ三次元点群モデルを点P0で撮像された二次元の撮像画像A(画像平面I0)に投影した場合、標識撮像範囲Aaにはカメラ240のLOS(視線方向)に位置する道路標識、木および電柱のそれぞれを表す各グループ点群が重畳して投影される。しかし、同一の三次元点群モデルを点P1で撮像された二次元の撮像画像B(画像平面I1)に投影した場合、同一の道路標識に対する点P1からのLOSは点P0からのLOSと異なるため、標識撮像範囲Baには道路標識を表す点群グループと木の一部を表す点群グループのみが投影される。このため、道路標識位置計測装置100は視点が異なる標識撮像範囲Aaと標識撮像範囲Baとに共通して投影されたグループ点群を道路標識を表すグループ点群として特定することができる。
FIG. 9 is a conceptual diagram of road sign position measurement processing in the first embodiment.
Here, a two-dimensional captured image A (image plane I 0 ) obtained by capturing a three-dimensional point cloud model in which road signs, trees, and utility poles are arranged in parallel with the roadway (traveling direction of the measuring vehicle 200) is captured at the point P 0. when projected, road signs located LOS of camera 240 (viewing direction), each group point group representing each tree and the utility pole is projected superimposed on labeling imaging range a a. However, when projected to the same three-dimensional point cloud model a two-dimensional image captured by the points P 1 B (image plane I 1), the LOS is the point P 0 from the point P 1 to the same road sign since different from the LOS, only groupings that represent a portion of the point cloud groups and trees representing the road signs for labeling imaging range B a is projected. For this reason, the road sign position measuring apparatus 100 can specify the group point group projected in common to the sign imaging range A a and the sign imaging range B a having different viewpoints as a group point group representing a road sign.
図6に従い、以下に、S140〜S190の各処理の詳細について説明する。 Details of each process of S140 to S190 will be described below with reference to FIG.
<S140:点群画像投影処理A>
まず、点群画像投影部140は三次元点群モデルを撮像画像Aに投影する。
このとき、点群画像投影部140は認識画像記憶部192から認識画像Aを取得し、三次元点群モデル記憶部193から三次元点群モデルを取得する。ここで、認識画像Aは、前述の通り、撮像画像A、標識撮像範囲Aaおよび撮像画像Aを撮像時のカメラ240の位置・姿勢角を示す。
そして、以下のようにして、三次元点群モデルを構成する各点を撮像画像Aに投影し、各点について三次元点群モデルが示す三次元座標と撮像画像Aに投影後の二次元座標とを示す画像投影点群Aipを二次元投影点群記憶部194に記憶する。以下、三次元点群モデルを投影後の画像を投影画像とする。また、画像投影点群の二次元座標は、前述の標識撮像範囲と同様、撮像画像の左上を原点とし、撮像画像のピクセル(画素)を単位とする座標値を示すものとする。
<S140: Point Cloud Image Projection Processing A>
First, the point cloud image projection unit 140 projects a three-dimensional point cloud model onto the captured image A.
At this time, the point cloud image projection unit 140 acquires the recognition image A from the recognition image storage unit 192 and acquires the 3D point cloud model from the 3D point cloud model storage unit 193. Here, as described above, the recognition image A indicates the position / posture angle of the camera 240 when the captured image A, the sign capturing range Aa, and the captured image A are captured.
Then, the points constituting the 3D point cloud model are projected onto the captured image A as follows, and the 3D coordinates indicated by the 3D point cloud model and the 2D coordinates after projection onto the captured image A are projected for each point. Is stored in the two-dimensional projection point group storage unit 194. Hereinafter, an image after projecting the three-dimensional point cloud model is referred to as a projected image. Further, the two-dimensional coordinates of the image projection point group indicate coordinate values with the upper left corner of the captured image as the origin and the pixel of the captured image as a unit, as in the above-described marker imaging range.
図10は、実施の形態1における二次元の画像平面Iに対する三次元座標の点の投影を示す概念図である。
以下の各式で用いている各記号は図4、図10に示す記号に対応している。
FIG. 10 is a conceptual diagram showing projection of a point of three-dimensional coordinates on the two-dimensional image plane I in the first embodiment.
Each symbol used in the following equations corresponds to the symbol shown in FIGS.
まず、三次元点群モデルの点Dが示す車両座標系の座標(xlrf,ylrf,zlrf)は、車両座標系におけるカメラ240の座標(Δxcam,Δycam,Δzcam)および姿勢角(Φcam,θcam,ψcam)を用いた以下の式5、式6によって、カメラ座標系の座標(xcam,ycam,zcam)に変換される。 First, the coordinates (x lrf , y lrf , z lrf ) of the vehicle coordinate system indicated by the point D of the three-dimensional point cloud model are the coordinates (Δx cam , Δy cam , Δz cam ) and attitude angle of the camera 240 in the vehicle coordinate system. The coordinates are converted into the coordinates (x cam , y cam , z cam ) of the camera coordinate system by the following formulas 5 and 6 using (Φ cam , θ cam , ψ cam ).
そして、カメラ座標系における点Dの座標(xcam,ycam,zcam)とカメラ中心C(xcam0,ycam0,zcam0)とを結ぶ直線Lは以下の式7、式8、式9および式10で表わされる。カメラ中心Cはカメラ240の撮像素子の中心またはカメラ座標の原点を示す。 A straight line L connecting the coordinates (x cam , y cam , z cam ) of the point D in the camera coordinate system and the camera center C (x cam0 , y cam0 , z cam0 ) is expressed by the following formulas 7, 8, and 9: And is represented by Equation 10. The camera center C indicates the center of the image sensor of the camera 240 or the origin of the camera coordinates.
また、画像平面Iはカメラ240を理想的なピンホールカメラと仮定すると焦点距離fを用いて以下の式11で表される。焦点距離fはカメラ中心Cと画像平面Iの中心C’との距離を示す。
z=f ・・・(式11)
Further, assuming that the camera 240 is an ideal pinhole camera, the image plane I is expressed by the following expression 11 using the focal length f. The focal length f indicates the distance between the camera center C and the center C ′ of the image plane I.
z = f (Formula 11)
点群画像投影部140は、上記式7〜式11を用いて、画像平面Iと直線Lとの交点D’の座標を算出する。この交点D’の座標が撮像画像に投影した三次元点群モデルの点Dの二次元座標である。 The point cloud image projecting unit 140 calculates the coordinates of the intersection D ′ between the image plane I and the straight line L using the above formulas 7 to 11. The coordinates of the intersection D ′ are the two-dimensional coordinates of the point D of the three-dimensional point cloud model projected on the captured image.
図11は、実施の形態1における投影画像Aの一例を示す図である。
例えば、点群画像投影部140は三次元点群モデルを撮像画像Aに投影して図11に示すような投影画像Apを生成する。図11では、上記の点群画像投影処理A(S140)により、三次元点群モデルを投影した画像投影点群Aipを構成する各点が撮像画像Aに写っている各地物に対応していることを示している。例えば、図11において、左側の画像のα部分を拡大した右側の画像は、電柱の伸張方向に沿って点群が投影されていることを示している。
FIG. 11 is a diagram showing an example of the projection image A in the first embodiment.
For example, point group image projection unit 140 generates a projection image A p as shown in FIG. 11 by projecting the three-dimensional point cloud model to the captured image A. In FIG. 11, the points constituting the image projection point group A ip on which the three-dimensional point group model is projected correspond to each feature in the captured image A by the above point group image projection processing A (S140). It shows that. For example, in FIG. 11, the right image obtained by enlarging the α portion of the left image indicates that the point group is projected along the extension direction of the utility pole.
<S151:対象投影点群抽出処理A>
図6において、標識投影点群抽出部151は撮像画像Aに対して標識撮像範囲Aaに投影された標識投影点群Aspを抽出する。
このとき、標識投影点群抽出部151は認識画像記憶部192から認識画像Arを取得し、二次元投影点群記憶部194から画像投影点群Aipを取得する。ここで、撮像画像A、標識撮像範囲Aaおよび撮像画像Aを撮像時のカメラ240の位置・姿勢角を示し、画像投影点群Aipは各点について三次元座標と撮像画像A上の二次元座標とを示す。
そして、標識投影点群抽出部151は、標識撮像範囲Aaと撮像画像A上の二次元座標とに基づいて、画像投影点群Aipから標識撮像範囲Aa内に位置する点群を抽出し、抽出した点群を標識投影点群Aspとする。標識投影点群Aspは標識撮像範囲Aa内に位置する各点について三次元座標と撮像画像A上の二次元座標とを示す。
<S151: Target Projection Point Group Extraction Processing A>
6, is labeled projected point cloud extracting section 151 extracts the labeled imaging range A a a projected labeled projected point cloud A sp the captured image A.
At this time, labeled projected point cloud extracting section 151 obtains a recognition image A r from the recognition image storage unit 192, obtains an image projected point cloud A ip from a two-dimensional projection point group storage unit 194. Here, the captured image A, the labeled imaging range A a and captured image A shows the location and orientation angle of the camera 240 at the time of imaging, image projection point cloud A ip is on the three-dimensional coordinates and the captured image A for each point two Dimensional coordinates are shown.
Then, the sign projection point group extraction unit 151 extracts a point group located in the sign imaging range A a from the image projection point group A ip based on the sign imaging range A a and the two-dimensional coordinates on the captured image A. Then, the extracted point group is set as a marker projection point group Asp . Labeling projected point cloud A sp showing the two-dimensional coordinates on the three-dimensional coordinates and the captured image A for each point located within the labeled imaging range A a.
図12は、実施の形態1における標識投影点群Asp[2次元]の一例を示す図である。
図13は、実施の形態1における標識投影点群Asp[3次元]の一例を示す図である。
例えば、標識投影点群抽出部151は、図12に示すように、認識画像Arが示す標識撮像範囲Aa内に投影された標識投影点群Aspを抽出する。図12では、左側に認識画像Arの全体を示し、中央に拡大した標識撮像範囲Aaを示している。なお、図12の標識撮像範囲Aaには、右図に示すように、横断歩道の標識、標識の背後に位置する電柱および木が写っている。
つまり、標識投影点群Aspは、図13に示すように、道路標識を表す点群と電柱を表す点群と木を表す点群とを含んでいる。
FIG. 12 is a diagram illustrating an example of the marker projection point group A sp [two-dimensional] according to the first embodiment.
FIG. 13 is a diagram illustrating an example of the marker projection point group A sp [three-dimensional] according to the first embodiment.
For example, labeled projected point cloud extracting section 151, as shown in FIG. 12, it extracts a recognition image A r represents labeled imaging range A a label projected point cloud projected on the A sp. In Figure 12, the left side shows the overall recognition image A r, shows a labeled imaging range A a which is extended to the center. In addition, as shown in the right figure, the sign imaging range Aa of FIG. 12 includes a sign for a pedestrian crossing, a utility pole and a tree located behind the sign.
That is, as shown in FIG. 13, the sign projection point group Asp includes a point group representing a road sign, a point group representing a utility pole, and a point group representing a tree.
<S152:点群グルーピング処理>
図6において、標識点群ラベリング部152は標識投影点群Aspをグループ毎にラベリングする。
例えば、図13に示した標識投影点群Aspに対して、標識点群ラベリング部152は、以下のようにして、道路標識を表す点群と電柱を表す点群と木を表す点群とにグループ分けし、各グループ点群にラベルを設定する。
図14は、実施の形態1におけるボクセルモデルを示す図である。
図15は、実施の形態1におけるラベリング(グルーピング)を示す図である。
以下に、点群グルーピング処理(S152)の詳細について図14および図15に基づいて説明する。
<S152: Point cloud grouping process>
In FIG. 6, the marker point group labeling unit 152 labels the marker projection point group Asp for each group.
For example, with respect to the sign projection point group Asp shown in FIG. 13, the sign point group labeling unit 152 performs a point group representing a road sign, a point group representing a power pole, and a point group representing a tree as follows. And set a label for each group point cloud.
FIG. 14 is a diagram illustrating a voxel model according to the first embodiment.
FIG. 15 is a diagram illustrating labeling (grouping) in the first embodiment.
Details of the point group grouping process (S152) will be described below with reference to FIGS.
まず、標識点群ラベリング部152はボクセル空間を設定する(S152a[図14左図参照])。
ボクセル空間とは三次元空間を立方体(ボクセル)を単位とする立方格子状に分割したものである。例えば、標識点群ラベリング部152は標識投影点群Aspを構成する各点の三次元座標について座標成分x、yおよびzそれぞれの最小値を検索し、最小値が示す座標を原点として一辺が20センチメートルのボクセルを分割単位とするボクセル空間を設定する。但し、標識点群ラベリング部152は直方体や三角錐など他の立体形により三次元空間を分割してもよい。
次に、標識点群ラベリング部152は標識投影点群Aspを構成する各点を三次元座標に基づいて該当するボクセルに投票する。このとき、標識点群ラベリング部152は、標識投影点群Aspを構成する各点の三次元座標と各ボクセルが形成する三次元空間の座標とに基づいて、各ボクセル内に位置する標識投影点群Aspの点を特定する。以下、標識投影点群Aspを構成する各点が位置するボクセルを特定し、標識投影点群Aspの点とボクセルとを対応付けることを投票という(S152b[図14中央図参照])。
次に、標識点群ラベリング部152は標識投影点群Aspのいずれかの点が投票されたボクセルをボクセルモデルとして抽出する(S152c[図14右図参照])。
次に、標識点群ラベリング部152はボクセルモデルに対して隣接するボクセルを一つのグループとしてグループ分けし、各グループに対して当該グループを構成する各ボクセルに投票されたグループ点群にラベルを設定する(S152d[図15右図参照])。
First, the sign point cloud labeling unit 152 sets a voxel space (S152a [see the left diagram in FIG. 14)].
The voxel space is obtained by dividing a three-dimensional space into a cubic lattice having a cube (voxel) as a unit. For example, the sign point group labeling unit 152 searches for the minimum value of each of the coordinate components x, y, and z with respect to the three-dimensional coordinates of each point constituting the sign projection point group Asp , and one side is set with the coordinate indicated by the minimum value as the origin. A voxel space is set with a 20 centimeter voxel as a division unit. However, the marker point cloud labeling unit 152 may divide the three-dimensional space by other solid shapes such as a rectangular parallelepiped or a triangular pyramid.
Next, the sign point group labeling unit 152 votes each point constituting the sign projection point group Asp to the corresponding voxel based on the three-dimensional coordinates. At this time, the sign point group labeling unit 152 performs the sign projection located in each voxel based on the three-dimensional coordinates of each point constituting the sign projection point group Asp and the coordinates of the three-dimensional space formed by each voxel. The point of the point group A sp is specified. Hereinafter, identifies voxels each of the points composing the labeled projected point group A sp is located, that vote be associated with a point and voxel labeled projected point cloud A sp (S152b [14 middle panel Reference).
Then, the landmark group labeling unit 152 extracts one voxel found the point labeled projected point cloud A sp as a voxel model (S152c [14 right view Reference).
Next, the marker point cloud labeling unit 152 groups the adjacent voxels with respect to the voxel model as one group, and sets labels for the group point cloud voted for each voxel constituting the group for each group. (S152d [see the right figure of FIG. 15]).
例えば、標識点群ラベリング部152は周囲26方向において隣接するボクセルを連結してグループ分けを行い、各グループにラベルを設定する。つまり、ある一つのボクセルは自身を中心とした3×3×3のキューブ内に位置する他のボクセルと同じグループに属する。 For example, the sign point cloud labeling unit 152 performs grouping by connecting adjacent voxels in the surrounding 26 directions, and sets a label for each group. That is, a certain voxel belongs to the same group as other voxels located in a 3 × 3 × 3 cube centered on itself.
図15では、ボクセルモデルがグループ1、グループ2、グループ3およびグループ4の4つのグループにグループ分けされていることを示す。グループ1のボクセルに投票されたグループ点群はラベル1で識別され、グループ2のボクセルに投票されたグループ点群はラベル2で識別され、グループ3のボクセルに投票されたグループ点群はラベル3で識別され、グループ4のボクセルに投票されたグループ点群はラベル4で識別される。 FIG. 15 shows that the voxel models are grouped into four groups, group 1, group 2, group 3, and group 4. The group point cloud voted for the voxel of group 1 is identified by label 1, the group point cloud voted for the voxel of group 2 is identified by label 2, and the group point cloud voted for the voxel of group 3 is labeled 3 And the group point group voted for the voxel of group 4 is identified by label 4.
S152aにおいて設定されたボクセルのサイズが大きすぎる場合、道路標識を表す点群とその他の地物を表す点群とが同一のボクセルまたは隣接するボクセルに投票され、道路標識を表す点群とその他の地物を表す点群とにグループ分けすることができない。また、ボクセルのサイズが小さすぎる場合、同一の道路標識を表す各点が同一のボクセルにも隣接するボクセルにも投票されずにそれぞれ離れたボクセルに投票され、道路標識を表す各点を一つのグループ点群にすることができない。そこで、標識点群ラベリング部152はLRF250が計測する各点の間隔や計測対象とする道路標識の大きさなどに応じてボクセルのサイズを設定する。例えば、標識点群ラベリング部152はLRF250が計測する各点の間隔(例えば、10〜14センチメートル)の1.5倍以上2.0倍以下程度を一辺の長さとしてボクセルを設定する。また例えば、標識点群ラベリング部152は計測対象とする道路標識の一辺の長さ(例えば、40〜180センチメートル)の0.1倍以上0.5倍以下程度を一辺の長さとしてボクセルを設定する。 If the size of the voxel set in S152a is too large, the point cloud representing the road sign and the point cloud representing the other feature are voted for the same or adjacent voxels, and the point cloud representing the road sign and the other Cannot be grouped into point clouds that represent features. Also, if the size of the voxel is too small, each point representing the same road sign is voted for a voxel that is distant without voting to the same or adjacent voxel, and each point representing the road sign is Cannot be a group point cloud. Therefore, the sign point cloud labeling unit 152 sets the voxel size according to the interval between the points measured by the LRF 250, the size of the road sign to be measured, and the like. For example, the marker point cloud labeling unit 152 sets a voxel with a length of one side that is 1.5 times or more and 2.0 times or less of an interval (for example, 10 to 14 centimeters) between points measured by the LRF 250. Further, for example, the sign point cloud labeling unit 152 sets the voxel to be about 0.1 to 0.5 times the length of one side (for example, 40 to 180 centimeters) of the road sign to be measured. Set.
図16は、実施の形態1における点群グルーピング処理(S152)後の標識投影点群Asp[3次元]の一例を示す図である。
標識点群ラベリング部152は、上記点群グルーピング処理(S152)により、図13に示した標識投影点群Asp[3次元]をラベル1で識別する点群、ラベル2で識別する点群およびラベル3で識別する点群にグループ分けすることができる。
FIG. 16 is a diagram illustrating an example of the marker projection point group A sp [three-dimensional] after the point group grouping process (S152) in the first embodiment.
The sign point group labeling unit 152 performs the point group grouping process (S152) to identify the mark projection point group A sp [three-dimensional] shown in FIG. They can be grouped into point groups identified by label 3.
<S153:点群グループ限定処理>
図6において、標識点群ラベル限定部153は標識点群ラベリング部152がグループ分けした各グループ点群に対して標識候補点群Acとなる点群グループを限定する。
このとき、標識点群ラベル限定部153は各グループ点群について各点の三次元座標に基づいて当該グループ点群で表される地物のサイズ(幅、高さ、奥行き)を算出する。
次に、標識点群ラベル限定部153は計測対象とする道路標識の大きさを示すサイズ範囲と各グループ点群が表す地物のサイズとを比較して地物のサイズが道路標識のサイズ範囲内であるグループ点群を特定する。道路標識のサイズ範囲は予め記憶機器に定義されているものとする。
そして、標識点群ラベル限定部153は特定した各グループ点群を構成する点群それぞれを標識候補点群Acとして標識候補点群記憶部195に記憶し、標識候補点群Ac以外の点群を除去する。標識候補点群Aは計測対象の道路標識と同程度のサイズである地物を表す各グループ点群について各点の三次元座標と各点の撮像画像A上の二次元座標とを示す。
<S153: Point cloud group limited processing>
6, is labeled point group label limited portion 153 is labeled point group labeling unit 152 to limit the group set point at which the labeled candidate point group A c for each group point group that has been grouped.
At this time, the sign point group label limiting unit 153 calculates the size (width, height, depth) of the feature represented by the group point group based on the three-dimensional coordinates of each point for each group point group.
Next, the sign point cloud label limiting unit 153 compares the size range indicating the size of the road sign to be measured with the size of the feature represented by each group point cloud, and the size of the feature is the size range of the road sign. The group point group which is inside is specified. It is assumed that the size range of the road sign is defined in the storage device in advance.
Then, each labeled point group label limited section 153 point group constituting each group point group identified and stored as a label candidate point group A c signs the candidate point group storage unit 195, a point other than the labeled candidate point group A c Remove the group. The sign candidate point group A indicates the three-dimensional coordinates of each point and the two-dimensional coordinates on the captured image A of each point with respect to each group point group representing a feature having the same size as the road sign to be measured.
図17は、実施の形態1における標識投影点群Asp[3次元]がEast−North平面で存在する範囲の一例を示すグラフである。
図18は、実施の形態1における標識投影点群Asp[3次元]がEast−Up平面で存在する範囲の一例を示すグラフである。
図19は、実施の形態1における標識候補点群Ac[3次元]の一例を示す図である
図16に示したラベル1、ラベル2またはラベル3で識別される各グループ点群を構成する各点はEast−North平面において図17のように存在し、East−Up平面において図18のように存在する。図17は上方から見た場合の各点の存在範囲を示し、図18は側方から見た場合の各点の存在範囲を示している。図17および図18における目盛りはLRF250がレーザ計測を開始した地点からの距離を示している。なお、図17においてカメラ240のLOS(視線方向)はグラフの右上からの方向であり、図18においてカメラ240のLOSはグラフの右下から方向である。
ここで、計測対象とする道路標識(例えば、横断歩道標識)のサイズ範囲を幅方向で0.4メートル以上1.8メートル以下、高さ方向で0.4メートル以上1.8メートル以下とした場合、図18において、ラベル1、ラベル2またはラベル3で識別される各グループ点群はいずれも高さ方向のサイズ条件を充たしている。一方、図17において、ラベル1またはラベル3で識別される各グループ点群は幅方向のサイズ条件を充たしているが、ラベル2で識別されるグループ点群は幅方向のサイズ条件を充たしていない。
この場合、標識点群ラベル限定部153は“ラベル2”で識別されるグループ点群を削除し、図19に示すように、“ラベル3”で識別されていたグループ点群のラベル名を“ラベル2”に更新する。図19において、“ラベル1”で識別されるグループ点群と“ラベル2(旧ラベル1)”で識別されるグループ点群とが標識候補点群Acとなる。
FIG. 17 is a graph illustrating an example of a range in which the marker projection point group A sp [three-dimensional] in the first embodiment exists on the East-North plane.
FIG. 18 is a graph showing an example of a range in which the marker projection point group A sp [3D] in the first embodiment exists on the East-Up plane.
FIG. 19 is a diagram showing an example of the label candidate point group A c [three-dimensional] in the first embodiment. Each group point group identified by the label 1, label 2 or label 3 shown in FIG. Each point exists as shown in FIG. 17 in the East-North plane, and as shown in FIG. 18 in the East-Up plane. FIG. 17 shows the existence range of each point when viewed from above, and FIG. 18 shows the existence range of each point when viewed from the side. The scales in FIGS. 17 and 18 indicate the distance from the point where the LRF 250 starts laser measurement. In FIG. 17, the LOS (line-of-sight direction) of the camera 240 is the direction from the upper right of the graph, and in FIG. 18, the LOS of the camera 240 is the direction from the lower right of the graph.
Here, the size range of a road sign (for example, a pedestrian crossing sign) to be measured is set to 0.4 to 1.8 meters in the width direction and 0.4 to 1.8 meters in the height direction. In FIG. 18, each group point group identified by label 1, label 2 or label 3 satisfies the size condition in the height direction. On the other hand, in FIG. 17, each group point group identified by label 1 or label 3 satisfies the size condition in the width direction, but the group point group identified by label 2 does not satisfy the size condition in the width direction. .
In this case, the sign point cloud label limiting unit 153 deletes the group point cloud identified by “label 2”, and the label name of the group point cloud identified by “label 3” is changed to “label 3” as shown in FIG. Update to label 2 ". In FIG. 19, the group point group identified by “label 1” and the group point group identified by “label 2 (old label 1)” are the marker candidate point group Ac .
<S160:点群画像投影処理B>
図6において、点群画像投影部140は標識候補点群Acを撮像画像Bに投影する。
このとき、点群画像投影部140は認識画像記憶部192から認識画像Bを取得し、標識候補点群記憶部195から標識候補点群Acを取得する。
そして、点群画像投影部140は、点群画像投影処理A(S140)と同様に、標識候補点群Acを撮像画像Bに投影し、撮像画像Bに投影した画像投影点群Bipを二次元投影点群記憶部194に記憶する。
但し、点群画像投影部140は三次元点群モデルを構成する全ての点を撮像画像Bに投影するのではなく、標識点群ラベル限定部153が限定した標識候補点群Acを構成する点のみを撮像画像Bに投影する。
ここで、認識画像Brは撮像画像B、標識撮像範囲Baおよび撮像画像Bを撮像時のカメラ240の位置・姿勢角を示している。また、標識候補点群Acは計測対象の道路標識と同程度のサイズである地物を表す各点群グループについて各点の三次元座標と撮像画像A上の二次元座標とを示し、画像投影点群Bipは標識候補点群Acの各点の三次元座標と撮像画像B上の二次元座標とを示す。
<S160: Point Cloud Image Projection Processing B>
In FIG. 6, the point cloud image projecting unit 140 projects the marker candidate point cloud Ac onto the captured image B.
At this time, point cloud image projection section 140 acquires the recognition image B from the recognition image storage unit 192, acquires the labeled candidate point group A c from the labeled candidate point group storage unit 195.
The point cloud image projection unit 140, like the point cloud image projection processing A (S140), by projecting the labeled candidate point group A c in the captured image B, the image projected point cloud B ip projected in the captured image B This is stored in the two-dimensional projection point group storage unit 194.
However, point cloud image projection section 140 is not to project the all points constituting the three-dimensional point cloud model to the captured image B, and constitute the labeled candidate point group A c the label point group label limited section 153 is limited Only the points are projected onto the captured image B.
Here, the recognition image Br indicates the position / posture angle of the camera 240 when the captured image B, the sign capturing range Ba, and the captured image B are captured. Moreover, labeled candidate point group A c represents the two-dimensional coordinates on the three-dimensional coordinates and the captured image A of each point for each point cloud group representing the feature is the size of the road sign and comparable measurement object image projected point cloud B ip denotes the two-dimensional coordinates on the three-dimensional coordinates and the captured image B of each point labeled candidate point group a c.
<S171:対象投影点群抽出処理B>
次に、標識投影点群抽出部151は撮像画像Bに対して標識撮像範囲Baに投影された標識投影点群Bspを標識候補点群Bcとして抽出する。
このとき、標識投影点群抽出部151は認識画像記憶部192から認識画像Brを取得し、二次元投影点群記憶部194から画像投影点群Bipを取得する。
そして、標識投影点群抽出部151は、対象投影点群抽出処理A(S151)と同様に、標識撮像範囲Baに投影された標識投影点群Bspを抽出する。標識投影点群抽出部151は抽出した標識投影点群Bspを標識候補点群Bcとして標識候補点群記憶部195に記憶 する。
つまり、標識投影点群抽出部151は標識候補点群Acを構成する複数の点を標識撮像範囲Baに投影された点に絞り込んで標識候補点群Bcとしている。
<S171: Target Projection Point Group Extraction Processing B>
Next, the labeled projection point group extracting unit 151 extracts the labeled imaging range B a the projected labeled projected point group B sp as labeled candidate point group B c the captured image B.
At this time, labeled projected point cloud extracting unit 151 obtains a recognition image B r from the recognition image storage unit 192, obtains an image projected point cloud B ip from a two-dimensional projection point group storage unit 194.
Then, labeled projected point cloud extracting section 151, like the target projected point cloud extracting process A (S151), it extracts the projected into labeled imaging range B a label projected point cloud B sp. Labeling projected point cloud extracting section 151 stores the extracted labeled projected point cloud B sp as labeled candidate point group B c signs the candidate point group storage unit 195.
That is, the labeled projected point cloud extracting section 151 is a labeled candidate point group B c narrow down to the projected point of the plurality of points constituting the labeled candidate point group A c signs imaging range B a.
<S180:対象点群特定処理>
次に、標識点群特定部160は標識候補点群Acと標識候補点群Bcとを比較して道路標識を表す標識三次元点群を特定する。
このとき、標識点群特定部160は標識候補点群記憶部195から標識候補点群Acと標識候補点群Bcとを取得する。
そして、標識点群特定部160は標識候補点群Acを構成する各グループ点群と標識候補点群Bcを構成する各グループ点群とを比較し、点群の一致度が最も大きいグループ点群を道路標識を表す標識三次元点群として標識三次元点群記憶部196に記憶する。標識候補点群Bcを構成する各点は標識候補点群Acを構成するいずれかの点であり、標識候補点群Acにおけるグループと同じグループに属するものとして扱う。標識点群特定部160は、標識候補点群Acを構成する各グループ点群の中で、当該グループ点群を構成する各点が標識候補点群Bcを構成する点として残存した割合の最も高いグループ点群を標識三次元点群とする。標識三次元点群は道路標識を表す各点の三次元座標を示す。
<S180: Target Point Cloud Specifying Process>
Next, the sign point group specifying unit 160 compares the sign candidate point group Ac and the sign candidate point group B c to specify a sign three-dimensional point group representing a road sign.
At this time, labeled point group specification unit 160 acquires the labeled candidate point group A c and labeled candidate point group B c from the labeled candidate point group storage unit 195.
The landmarks group specifier 160 compares the respective groups point group constituting each group point group and labeled candidate point group B c constituting the labeled candidate point group A c, the largest group matching score of the points is The point cloud is stored in the sign three-dimensional point cloud storage unit 196 as a sign three-dimensional point cloud representing a road sign. Each point constituting the labeled candidate point group B c is a point one constituting the labeled candidate point group A c, handled as belonging to the same group as the group of labeled candidate point group A c. Landmarks group specifier 160, in each group point group constituting the labeled candidate point group A c, the proportion of the points constituting the group point group remained as points constituting the labeled candidate point group B c The highest group point cloud is defined as a marker 3D point cloud. The sign three-dimensional point group indicates the three-dimensional coordinates of each point representing the road sign.
ここで、図9に示したように、点P0で撮像された撮像画像Aと点P1で撮像された撮像画像Bとでは道路標識に対するカメラ240のLOS(視線方向)が異なるため、標識撮像範囲Aaに投影された標識投影点群Aspと標識撮像範囲Baに投影された標識投影点群Bspとは一致しない。しかし、撮像画像Aと撮像画像Bとは共に同一の道路標識の全体を写しているため、標識投影点群Aと標識投影点群Bとにおいて道路標識を表すグループ点群については一致する。つまり、図19に示した標識候補点群Acと標識候補点群Bcとを比較した場合、道路標識を表すグループ点群(ラベル2)の方が木を表すグループ点群(ラベル1)より点群の一致度・残存率が高くなる。このため、標識点群特定部160は、図20に示すように、木を表すグループ点群(ラベル1)を棄却し、道路標識を表すグループ点群(ラベル2)を標識三次元点群として特定することができる。
図20は、実施の形態1における標識三次元点群の一例を示す図である。
Here, as shown in FIG. 9, the captured image A captured at the point P 0 and the captured image B captured at the point P 1 differ in the LOS (line-of-sight direction) of the camera 240 with respect to the road sign. It does not coincide with the imaging range a labeled projected point cloud projected on a a sp and labeled imaging range B a the projected labeled projected point cloud B sp. However, since both the captured image A and the captured image B represent the same road sign, the group point groups representing the road signs in the sign projection point group A and the sign projection point group B coincide. That is, when the marker candidate point group A c and the marker candidate point group B c shown in FIG. 19 are compared, the group point group representing the road sign (label 2) is the group point group representing the tree (label 1). The degree of coincidence / residual rate of the point group becomes higher. For this reason, as shown in FIG. 20, the sign point group specifying unit 160 rejects the group point group (label 1) representing the tree, and sets the group point group (label 2) representing the road sign as the sign three-dimensional point group. Can be identified.
FIG. 20 is a diagram showing an example of a marker three-dimensional point group in the first embodiment.
<S190:対象位置算出処理>
図6において、標識位置計算部170は標識三次元点群に基づいて道路標識の位置を算出する。
このとき、標識位置計算部170は標識三次元点群記憶部196から標識三次元点群を取得する。
そして、標識位置計算部170は標識三次元点群が示す各点の三次元座標に基づいて道路標識の中心点(重心点)の三次元座標を道路標識の位置として算出する。このとき、標識位置計算部170は標識三次元点群を構成する各点の三次元座標について座標成分x、yおよびzそれぞれの平均値を道路標識の位置として算出する。例えば、標識位置計算部170は、座標成分x、yおよびzそれぞれについて、各点の座標値から最小値と最大値とを検索し、最小値と最大値との合計値を2で除算した値を道路標識の位置として算出する。また例えば、標識位置計算部170は、座標成分x、yおよびzそれぞれについて、各点の座標値を合計し、合計値を点の数で除算した値を道路標識の位置として算出する。
<S190: Target position calculation process>
In FIG. 6, the sign position calculation unit 170 calculates the position of the road sign based on the sign three-dimensional point group.
At this time, the marker position calculation unit 170 acquires the marker three-dimensional point group from the marker three-dimensional point group storage unit 196.
Then, the sign position calculation unit 170 calculates the three-dimensional coordinates of the center point (center of gravity) of the road sign as the position of the road sign based on the three-dimensional coordinates of each point indicated by the sign three-dimensional point group. At this time, the sign position calculation unit 170 calculates the average value of the coordinate components x, y, and z as the position of the road sign with respect to the three-dimensional coordinates of each point constituting the sign three-dimensional point group. For example, for each of the coordinate components x, y, and z, the marker position calculation unit 170 searches for the minimum value and the maximum value from the coordinate values of each point, and the value obtained by dividing the total value of the minimum value and the maximum value by 2 Is calculated as the position of the road sign. Further, for example, the sign position calculation unit 170 calculates the value obtained by summing the coordinate values of each point for each of the coordinate components x, y, and z and dividing the total value by the number of points as the position of the road sign.
図21は、実施の形態1における道路標識位置を示す図である。
標識位置計算部170は、図21に示すように、図20に示した標識三次元点群の中心点を道路標識位置として算出する。図21は道路標識を正面から表した標識三次元点群(左図)と道路標識を側方から表した標識三次元点群(右図)とを示している。
FIG. 21 is a diagram showing a road sign position in the first embodiment.
As shown in FIG. 21, the sign position calculation unit 170 calculates the center point of the sign three-dimensional point group shown in FIG. 20 as the road sign position. FIG. 21 shows a sign three-dimensional point group (left figure) representing a road sign from the front and a sign three-dimensional point group (right figure) representing a road sign from the side.
実施の形態1では、高精度な車体位置姿勢を基にLRFにより得られたデータから計算した三次元復元点群(三次元点群モデル)およびカメラ画像を用いて道路標識位置を計測する道路標識位置計測方法について説明した。本手法の特徴は、視点の異なる複数カメラ画像間の視差を利用することで、標識の周辺や裏に隠れている標識以外の地物に対応するレーザ計測点を棄却し、標識から直接反射して戻っているレーザ点のみを用いて標識の位置を計測する点である。 In the first embodiment, a road sign that measures a road sign position using a three-dimensional restoration point cloud (three-dimensional point cloud model) calculated from data obtained by LRF based on a highly accurate vehicle body position and orientation and a camera image. The position measurement method has been described. The feature of this method is that the parallax between multiple camera images with different viewpoints is used, so that the laser measurement points corresponding to the features other than the signs hidden around or behind the sign are rejected and reflected directly from the sign. The position of the marker is measured using only the returning laser point.
実施の形態1における道路標識位置計測装置100は、点群画像投影部140が三次元点群モデルではなく標識候補点群Acを撮像画像Bに投影することにより(S160)、処理する点データの数を減らし、処理時間を短縮することができる。
また、道路標識位置計測装置100は、標識点群ラベル限定部153が各グループ点群の表す地物の大きさに基づいてグループ点群を限定することにより(S153)、道路標識とは大きさの異なる地物のグループ点群を標識三次元点群として誤検出することを防ぐことができる。
In the road sign position measuring apparatus 100 according to the first embodiment, the point cloud image projection unit 140 projects the marker candidate point cloud Ac on the captured image B instead of the 3D point cloud model (S160), and the point data to be processed is processed. The number can be reduced and the processing time can be shortened.
Further, the road sign position measuring device 100 limits the group point cloud based on the size of the feature represented by each group point cloud by the sign point cloud label limiting unit 153 (S153), so that the road sign size is large. It is possible to prevent erroneous detection of group point clouds of different features as mark three-dimensional point clouds.
実施の形態2.
実施の形態2では、点群グループ限定処理(S153)を実行しない道路標識位置計測処理について説明する。
以下、実施の形態1と異なる事項について主に説明し、説明を省略する事項は実施の形態1と同様であるものとする。
Embodiment 2. FIG.
In the second embodiment, a road sign position measurement process that does not execute the point cloud group limitation process (S153) will be described.
Hereinafter, items different from the first embodiment will be mainly described, and items that will not be described are the same as those in the first embodiment.
図22は、実施の形態2における道路標識位置計測処理を示すフローチャートである。
図22に示すように、実施の形態2における道路標識位置計測装置100は点群グループ限定処理(S153)を実行しない。
そして、点群グルーピング処理(S152b)において、標識点群ラベリング部152は標識投影点群Aspを構成する各グループ点群を標識候補点群Acとして標識候補点群記憶部195に記憶し、点群画像投影処理B(S160b)において、点群画像投影部140は標識点群ラベリング部152が記憶した標識候補点群Acを撮像画像Bに投影する。
FIG. 22 is a flowchart showing a road sign position measurement process in the second embodiment.
As shown in FIG. 22, the road sign position measuring apparatus 100 according to the second embodiment does not execute the point cloud group limiting process (S153).
Then, the point cloud grouping process (S152b), the landmark group labeling unit 152 stores each group point group constituting the labeled projected point group A sp as labeled candidate point group A c signs the candidate point group storage unit 195, in point cloud image projection processing B (S160b), the point cloud image projection section 140 projects the labeled candidate point group a c the label point group labeling unit 152 stores the captured image B.
これにより、道路標識位置計測装置100は標識点群ラベル限定部153を備えなくても道路標識の位置を算出することができる。 As a result, the road sign position measuring apparatus 100 can calculate the position of the road sign without the sign point cloud label limiting unit 153.
実施の形態3.
実施の形態3では、実施の形態1とは異なる対象点群特定処理(S180)を実行する道路標識位置計測処理について説明する。
以下、実施の形態1と異なる事項について主に説明し、説明を省略する事項は実施の形態1と同様であるものとする。
Embodiment 3 FIG.
In the third embodiment, a road sign position measurement process for executing a target point group identification process (S180) different from that in the first embodiment will be described.
Hereinafter, items different from the first embodiment will be mainly described, and items that will not be described are the same as those in the first embodiment.
図23は、実施の形態3における道路標識位置計測処理を示すフローチャートである。
実施の形態3における道路標識位置計測処理について、図23に基づいて以下に説明する。
対象点群特定処理(S180c)において、標識点群特定部160は標識候補点群Acと標識候補点群Bcとを比較して算出した各グループ点群の一致度(残存率)を比較し、一致度が他の全てのグループ点群の一致度より所定の閾値以上大きい1つのグループ点群を標識三次元点群として特定する。
そして、S181cにおいて、道路標識位置計測装置100は標識点群特定部160が標識三次元点群を特定できなかった場合、つまり、各グループ点群の一致度に所定の閾値以上の差が無かった場合、点群画像投影処理B(S160c)から処理を繰り返す。
このとき、点群画像投影処理B(S160c)では、点群画像投影部140が標識候補点群Acを新たに別の撮像画像x(第3の撮像画像)に投影する。
以後、標識投影点群抽出部151が撮像画像xについて標識候補点群xcを抽出し(S171c)、標識点群特定部160が標識候補点群Acと標識候補点群xcとを比較して標識三次元点群を特定する。
道路標識位置計測装置100は標識三次元点群が特定できるまでS160c〜S181cを異なる撮像画像を用いて繰り返す。
FIG. 23 is a flowchart showing a road sign position measurement process in the third embodiment.
The road sign position measurement process in the third embodiment will be described below with reference to FIG.
Comparison in the target point cloud specifying process (S180c), landmarks group specifier 160 matching degree for each group point group calculated by comparing the labeled candidate point group A c and labeled candidate point group B c (the residual ratio) Then, one group point group whose degree of coincidence is greater than the degree of coincidence of all other group point groups by a predetermined threshold or more is specified as a marker three-dimensional point group.
In S181c, the road sign position measurement apparatus 100 has the sign point group specifying unit 160 that cannot specify the sign three-dimensional point group, that is, the degree of coincidence of each group point group is not more than a predetermined threshold. In this case, the processing is repeated from the point cloud image projection processing B (S160c).
At this time, the point cloud image projection processing B (S160c), the point cloud image projection section 140 projects a different captured image x the labeled candidate point group A c new (third captured image).
Thereafter, comparison labeled projected point cloud extracting section 151 and the extracts labeled candidate point group x c (S171c), group landmarks group specifier 160 labeled candidate point A c and labeled candidate point group x c captured image x Thus, the marker three-dimensional point group is specified.
The road sign position measuring apparatus 100 repeats S160c to S181c using different captured images until the sign three-dimensional point group can be specified.
つまり、道路標識位置計測装置100は撮像画像Aと撮像画像Bとが近接する地点で撮像され、視点の差が小さい場合であっても、撮像画像Aとの視点の差が大きい他の撮像画像を利用して標識三次元点群を特定することができる。これにより、道路標識位置計測装置100は標識三次元点群の誤検出を防ぐことができる。 In other words, the road sign position measuring apparatus 100 is picked up at a point where the picked-up image A and the picked-up image B are close to each other, and even if the difference in viewpoint is small, the other picked-up image having a large viewpoint difference from the picked-up image A. Can be used to identify the marked three-dimensional point cloud. Thereby, the road sign position measuring apparatus 100 can prevent erroneous detection of the sign three-dimensional point group.
実施の形態4.
実施の形態4では、各撮像画像に対して、三次元点群モデルについて点群画像投影処理(S140d)〜点群グループ限定処理(S153d)を実行する道路標識位置計測処理について説明する。
以下、実施の形態1と異なる事項について主に説明し、説明を省略する事項は実施の形態1と同様であるものとする。
Embodiment 4 FIG.
In the fourth embodiment, a road sign position measurement process for executing a point group image projection process (S140d) to a point group group limitation process (S153d) for a three-dimensional point group model for each captured image will be described.
Hereinafter, items different from the first embodiment will be mainly described, and items that will not be described are the same as those in the first embodiment.
図24は、実施の形態4における道路標識位置計測処理を示すフローチャートである。
実施の形態4における道路標識位置計測処理について、図24に基づいて以下に説明する。
点群画像投影処理(S140d)において、点群画像投影部140は撮像画像Aと撮像画像Bとに対して三次元点群モデルを投影する。
そして、標識投影点群抽出部151は標識投影点群Aspおよび標識投影点群Bspを抽出し(S151d)、標識点群ラベリング部152は標識投影点群Aspおよび標識投影点群Bspをグループ分けし(S152d)、標識点群ラベル限定部153は標識候補点群Acおよび標識候補点群Bcを特定する(S153d)。
FIG. 24 is a flowchart showing a road sign position measurement process in the fourth embodiment.
The road sign position measurement process in the fourth embodiment will be described below with reference to FIG.
In the point cloud image projection process (S140d), the point cloud image projection unit 140 projects a three-dimensional point cloud model on the captured image A and the captured image B.
Then, the labeled projected point cloud extracting section 151 extracts labeling projected point cloud A sp and labeled projected point group B sp (S151d), the landmark group labeling unit 152 labels the projected point cloud A sp and labeled projected point group B sp the grouped (S152d), the landmark group label limited section 153 identifies the labeled candidate point group a c and labeled candidate point group B c (S153d).
これにより、道路標識位置計測装置100は点群画像投影処理(S140d)〜点群グループ限定処理(S153d)を撮像画像毎に並列に実行し、処理時間を短縮することができる。 Thereby, the road sign position measuring apparatus 100 can execute the point cloud image projection process (S140d) to the point cloud group limitation process (S153d) in parallel for each captured image, and can shorten the processing time.
道路標識位置計測装置100は実施の形態2と同様に点群グループ限定処理(S153d)を省略しても構わない。
また、道路標識位置計測装置100は3つ以上の撮像画像について処理を行い、3つ以上の標識候補点群を比較して標識三次元点群を特定しても構わない。
The road sign position measuring apparatus 100 may omit the point group group limiting process (S153d) as in the second embodiment.
Further, the road sign position measuring apparatus 100 may process three or more captured images, and may identify a sign three-dimensional point group by comparing three or more sign candidate point groups.
100 道路標識位置計測装置、110 車両位置姿勢標定部、120 道路標識画像認識部、130 三次元点群モデル復元部、140 点群画像投影部、150 グルーピング部、151 標識投影点群抽出部、152 標識点群ラベリング部、153 標識点群ラベル限定部、160 標識点群特定部、170 標識位置計算部、191 車両位置姿勢記憶部、192 認識画像記憶部、193 三次元点群モデル記憶部、194 二次元投影点群記憶部、195 標識候補点群記憶部、196 標識三次元点群記憶部、200 計測車両、201 天板、202 車両本体、210 GPS受信機、220 3軸ジャイロ、230 オドメータ、240 カメラ、250 LRF、291 観測データ記憶部、292 画像データ記憶部、293 距離方位点群記憶部、900 道路標識位置計測システム、901 表示装置、902 キーボード、903 マウス、904 FDD、905 CDD、911 CPU、912 バス、913 ROM、914 RAM、915 通信ボード、920 磁気ディスク装置、921 OS、923 プログラム群、924 ファイル群。 DESCRIPTION OF SYMBOLS 100 Road sign position measuring apparatus, 110 Vehicle position and orientation determination part, 120 Road sign image recognition part, 130 Three-dimensional point cloud model reconstruction part, 140 Point cloud image projection part, 150 Grouping part, 151 Sign projection point cloud extraction part, 152 Marking point cloud labeling unit, 153 Marking point cloud label limiting unit, 160 Marking point group specifying unit, 170 Marking point calculation unit, 191 Vehicle position and orientation storage unit, 192 Recognition image storage unit, 193 Three-dimensional point cloud model storage unit, 194 Two-dimensional projection point cloud storage unit, 195 Marking candidate point cloud storage unit, 196 Marking three-dimensional point cloud storage unit, 200 Measuring vehicle, 201 Top plate, 202 Vehicle body, 210 GPS receiver, 220 3-axis gyroscope, 230 odometer, 240 camera, 250 LRF, 291 observation data storage unit, 292 image data storage unit, 293 distance Position group storage unit, 900 road sign position measurement system, 901 display device, 902 keyboard, 903 mouse, 904 FDD, 905 CDD, 911 CPU, 912 bus, 913 ROM, 914 RAM, 915 communication board, 920 magnetic disk device, 921 OS, 923 program group, 924 file group.
Claims (8)
異なる位置で撮像された2次元画像を表す第1の画像データと第2の画像データとを記憶機器を用いて記憶する画像データ記憶部と、
前記画像データ記憶部に記憶された第1の画像データの表す2次元画像と前記画像データ記憶部に記憶された第2の画像データの表す2次元画像とから特定の対象物が撮像された対象撮像範囲をCPU(Central Proccessing Unit)を用いて特定する対象撮像範囲特定部と、
前記点群データ記憶部に記憶された3次元点群データを前記画像データ記憶部に記憶された第1の画像データの表す2次元画像に対してCPUを用いて投影する第1の点群画像投影部と、
前記対象撮像範囲特定部が特定した第1の画像データの対象撮像範囲に対して前記第1の点群画像投影部が投影した3次元点群データをCPUを用いて抽出する第1の対象投影点群抽出部と、
前記第1の対象投影点群抽出部が抽出した3次元点群データを各3次元点データの示す3次元座標に基づいて複数のグループ点群データとしてCPUを用いてグループ分けする点群グルーピング部と、
前記点群グルーピング部がグループ分けした複数のグループ点群データを前記画像データ記憶部に記憶された第2の画像データの表す2次元画像に対してCPUを用いて投影する第2の点群画像投影部と、
前記対象撮像範囲特定部が特定した第2の画像データの対象撮像範囲に対して前記第2の点群画像投影部が投影した各グループ点群データをCPUを用いて抽出する第2の対象投影点群抽出部と、
前記点群グルーピング部がグループ分けした各グループ点群データを前記第2の対象投影点群抽出部が抽出した各グループ点群データと比較し、前記点群グルーピング部がグループ分けした各グループ点群データの中で3次元点データの残存率が最も大きいグループ点群データを前記特定の対象物を3次元で表す対象点群データとしてCPUを用いて特定する対象点群特定部と
を備えたことを特徴とする対象特定装置。 A point group data storage unit for storing, using a storage device, three-dimensional point group data representing a feature in three dimensions with a plurality of three-dimensional point data indicating three-dimensional coordinates;
An image data storage unit that stores first image data and second image data representing a two-dimensional image captured at different positions using a storage device;
A target obtained by capturing a specific object from a two-dimensional image represented by the first image data stored in the image data storage unit and a two-dimensional image represented by the second image data stored in the image data storage unit A target imaging range specifying unit that specifies an imaging range using a CPU (Central Processing Unit);
A first point cloud image that projects the 3D point cloud data stored in the point cloud data storage unit onto a 2D image represented by the first image data stored in the image data storage unit using a CPU. A projection unit;
First target projection for extracting, using a CPU, three-dimensional point group data projected by the first point cloud image projection unit with respect to a target imaging range of first image data identified by the target imaging range identification unit A point cloud extraction unit;
A point group grouping unit that groups the three-dimensional point group data extracted by the first target projection point group extraction unit using the CPU as a plurality of group point group data based on the three-dimensional coordinates indicated by the respective three-dimensional point data. When,
A second point cloud image projected by the CPU onto the two-dimensional image represented by the second image data stored in the image data storage unit by grouping the plurality of group point cloud data grouped by the point cloud grouping unit A projection unit;
Second target projection for extracting, using the CPU, each group point group data projected by the second point group image projection unit with respect to the target imaging range of the second image data specified by the target imaging range specification unit A point cloud extraction unit;
Each group point group data grouped by the point group grouping unit is compared with each group point group data extracted by the second target projection point group extraction unit, and each group point group grouped by the point group grouping unit A target point group specifying unit for specifying, using the CPU, group point cloud data having the largest remaining ratio of three-dimensional point data among the data as target point group data representing the specific target object in three dimensions An object identification device characterized by.
前記点群グルーピング部がグループ分けした複数のグループ点群データのそれぞれが表すグループ体のサイズを各3次元点データの示す3次元座標に基づいてCPUを用いて特定し、特定したグループ体のサイズを前記特定の対象物のサイズとCPUを用いて比較し、グループ体のサイズが前記特定の対象物のサイズに対応する各グループ点群データをCPUを用いて特定する点群グループ限定部を備え、
前記第2の点群画像投影部は、前記点群グループ限定部が特定した各グループ点群データを第2の画像データの表す2次元画像に対して投影する
ことを特徴とする請求項1記載の対象特定装置。 The target specifying device further includes:
The size of the group body represented by each of the plurality of group point group data grouped by the point group grouping unit is specified using the CPU based on the three-dimensional coordinates indicated by each three-dimensional point data, and the size of the specified group body A point group group limiting unit that compares the size of the specific object with the CPU and uses the CPU to identify each group point cloud data whose group body size corresponds to the size of the specific object. ,
2. The second point cloud image projection unit projects each group point cloud data specified by the point cloud group limitation unit onto a two-dimensional image represented by the second image data. Targeting device.
前記対象点群特定部が特定した対象点群データを構成する各3次元点データの示す3次元座標に基づいて前記特定の対象物の中心を示す3次元座標を前記特定の対象物の3次元座標としてCPUを用いて算出する対象位置算出部
を備えたことを特徴とする請求項1〜請求項2いずれかに記載の対象特定装置。 The target specifying device further includes:
Based on the three-dimensional coordinates indicated by the respective three-dimensional point data constituting the target point cloud data specified by the target point cloud specifying unit, the three-dimensional coordinates indicating the center of the specific target object are set to the three-dimensional coordinates of the specific target object. The target specifying device according to claim 1, further comprising a target position calculating unit that calculates using a CPU as coordinates.
ことを特徴とする請求項1〜請求項3いずれかに記載の対象特定装置。 The point group grouping unit sets a three-dimensional space divided into a plurality of three-dimensional regions, and the three-dimensional point data indicated by the three-dimensional point data indicates the three-dimensional point group data extracted by the first target projection point group extraction unit. 4. The system according to claim 1, wherein each of the three-dimensional point data voted on the three-dimensional space based on the coordinates is voted on each adjacent three-dimensional area as one group point group data. The object specifying device described in 1.
異なる位置で撮像された2次元画像を表す複数の画像データを記憶機器を用いて記憶する画像データ記憶部と、
前記画像データ記憶部に記憶された各画像データの表す2次元画像から特定の対象物が撮像された対象撮像範囲をCPU(Central Proccessing Unit)を用いて特定する対象撮像範囲特定部と、
前記点群データ記憶部に記憶された3次元点群データを前記画像データ記憶部に記憶された第1の画像データの表す2次元画像に対してCPUを用いて投影する第1の点群画像投影部と、
前記対象撮像範囲特定部が特定した第1の画像データの対象撮像範囲に対して前記第1の点群画像投影部が投影した3次元点群データをCPUを用いて抽出する第1の対象投影点群抽出部と、
前記第1の対象投影点群抽出部が抽出した3次元点群データを各3次元点データの示す3次元座標に基づいて複数のグループ点群データとしてCPUを用いてグループ分けする点群グルーピング部と、
前記点群グルーピング部がグループ分けした複数のグループ点群データを前記画像データ記憶部に記憶された第2の画像データの表す2次元画像に対してCPUを用いて投影する第2の点群画像投影部と、
前記対象撮像範囲特定部が特定した第2の画像データの対象撮像範囲に対して前記第2の点群画像投影部が投影した各グループ点群データをCPUを用いて抽出する第2の対象投影点群抽出部と、
前記点群グルーピング部がグループ分けした各グループ点群データを前記第2の対象投影点群抽出部が抽出した各グループ点群データと比較し、前記点群グルーピング部がグループ分けした各グループ点群データを構成する各3次元点データの残存率を算出し、残存率が他の全てのグループ点群データの残存率より所定の閾値以上大きい1つのグループ点群データを前記特定の対象物を3次元で表す対象点群データとしてCPUを用いて特定する対象点群特定部とを備え、
前記対象点群特定部が対象点群データとして1つのグループ点群データを特定できなかった場合、
前記第2の点群画像投影部は、第3の画像データの表す2次元画像に対して複数のグループ点群データを投影し、
前記第2の対象投影点群抽出部は、第3の画像データの対象撮像範囲に対して前記第2の画像投影部が投影した各グループ点群データを抽出し、
前記対象点群特定部は、前記点群グルーピング部がグループ分けした各グループ点群データを前記第2の対象投影点群抽出部が第3の画像データに対して抽出した各グループ点群データと比較して対象点群データを特定する
ことを特徴とする対象特定装置。 A point group data storage unit for storing, using a storage device, three-dimensional point group data representing a feature in three dimensions with a plurality of three-dimensional point data indicating three-dimensional coordinates;
An image data storage unit that stores a plurality of image data representing two-dimensional images captured at different positions using a storage device;
A target imaging range identifying unit that identifies a target imaging range in which a specific target is captured from a two-dimensional image represented by each image data stored in the image data storage unit using a CPU (Central Processing Unit);
A first point cloud image that projects the 3D point cloud data stored in the point cloud data storage unit onto a 2D image represented by the first image data stored in the image data storage unit using a CPU. A projection unit;
First target projection for extracting, using a CPU, three-dimensional point group data projected by the first point cloud image projection unit with respect to a target imaging range of first image data identified by the target imaging range identification unit A point cloud extraction unit;
A point group grouping unit that groups the three-dimensional point group data extracted by the first target projection point group extraction unit using the CPU as a plurality of group point group data based on the three-dimensional coordinates indicated by the respective three-dimensional point data. When,
A second point cloud image projected by the CPU onto the two-dimensional image represented by the second image data stored in the image data storage unit by grouping the plurality of group point cloud data grouped by the point cloud grouping unit A projection unit;
Second target projection for extracting, using the CPU, each group point group data projected by the second point group image projection unit with respect to the target imaging range of the second image data specified by the target imaging range specification unit A point cloud extraction unit;
Each group point group data grouped by the point group grouping unit is compared with each group point group data extracted by the second target projection point group extraction unit, and each group point group grouped by the point group grouping unit The residual rate of each three-dimensional point data constituting the data is calculated, and one group point cloud data whose residual rate is larger than the residual rate of all other group point cloud data by a predetermined threshold or more is determined as 3 A target point group specifying unit that specifies using a CPU as target point group data represented in a dimension,
When the target point cloud identification unit could not identify one group point cloud data as target point cloud data,
The second point cloud image projecting unit projects a plurality of group point cloud data on the two-dimensional image represented by the third image data;
The second target projection point group extraction unit extracts each group point group data projected by the second image projection unit with respect to the target imaging range of the third image data,
The target point group identification unit includes group point group data obtained by extracting the group point group data grouped by the point group grouping unit from the third image data by the second target projection point group extraction unit; A target specifying device characterized by specifying target point cloud data by comparison.
異なる位置で撮像された2次元画像を示す複数の画像データを記憶機器を用いて記憶する画像データ記憶部と、
前記画像データ記憶部に記憶された各画像データの表す2次元画像から特定の対象物が撮像された対象撮像範囲をCPU(Central Proccessing Unit)を用いて特定する対象撮像範囲特定部と、
前記点群データ記憶部に記憶された3次元点群データを前記画像データ記憶部に記憶された各画像データの表す2次元画像に対してCPUを用いて投影する点群画像投影部と、
前記対象撮像範囲特定部が特定した各画像データの対象撮像範囲に対して前記点群画像投影部が投影した3次元点群データを対象投影点群データとしてCPUを用いて抽出する対象投影点群抽出部と、
前記対象投影点群抽出部が対象投影点群データを抽出した各画像データについて、当該画像データの対象投影点群データを各3次元点データの示す3次元座標に基づいて複数のグループ点群データとしてCPUを用いてグループ分けする点群グルーピング部と、
前記点群グルーピング部がグループ分けした複数のグループ点群データのうち、複数の画像データ間で当該グループ点群データに含まれる各3次元点データの一致度が最も大きいグループ点群データを前記特定の対象物を3次元で表す対象点群データとしてCPUを用いて特定する対象点群特定部と
を備えたことを特徴とする対象特定装置。 A point group data storage unit for storing, using a storage device, three-dimensional point group data representing a feature in three dimensions with a plurality of three-dimensional point data indicating three-dimensional coordinates;
An image data storage unit that stores a plurality of image data indicating two-dimensional images captured at different positions using a storage device;
A target imaging range identifying unit that identifies a target imaging range in which a specific target is captured from a two-dimensional image represented by each image data stored in the image data storage unit using a CPU (Central Processing Unit);
A point cloud image projection unit for projecting the 3D point cloud data stored in the point cloud data storage unit to a 2D image represented by each image data stored in the image data storage unit using a CPU;
Target projection point group that uses the CPU to extract the three-dimensional point group data projected by the point cloud image projection unit for the target imaging range of each image data identified by the target imaging range identification unit as target projection point group data An extractor;
For each piece of image data from which the target projection point group extraction unit has extracted target projection point group data, a plurality of group point group data is obtained based on the three-dimensional coordinates indicated by the three-dimensional point data. A point cloud grouping unit for grouping using a CPU as
Among the plurality of group point group data grouped by the point group grouping unit, the group point group data having the highest degree of coincidence of the three-dimensional point data included in the group point group data among the plurality of image data is specified. A target specifying apparatus comprising: a target point group specifying unit that uses a CPU as target point group data representing the target object in three dimensions.
第1の点群画像投影部が、3次元座標を示す複数の3次元点データにより地物を3次元で表す3次元点群データを記憶機器を用いて記憶する点群データ記憶部に記憶された3次元点群データを前記画像データ記憶部に記憶された第1の画像データの表す2次元画像に対してCPUを用いて投影する第1の点群画像投影処理を行い、
第1の対象投影点群抽出部が、前記対象撮像範囲特定部の特定した第1の画像データの対象撮像範囲に対して前記第1の点群画像投影部の投影した3次元点群データをCPUを用いて抽出する第1の対象投影点群抽出処理を行い、
点群グルーピング部が、前記第1の対象投影点群抽出部の抽出した3次元点群データを各3次元点データの示す3次元座標に基づいて複数のグループ点群データとしてCPUを用いてグループ分けする点群グルーピング処理を行い、
第2の点群画像投影部が、前記点群グルーピング部のグループ分けした複数のグループ点群データを前記画像データ記憶部に記憶された第2の画像データの表す2次元画像に対してCPUを用いて投影する第2の点群画像投影処理を行い、
第2の対象投影点群抽出部が、前記対象撮像範囲特定部の特定した第2の画像データの対象撮像範囲に対して前記第2の点群画像投影部の投影した各グループ点群データをCPUを用いて抽出する第2の対象投影点群抽出処理を行い、
対象点群特定部が、前記点群グルーピング部のグループ分けした各グループ点群データを前記第2の対象投影点群抽出部の抽出した各グループ点群データと比較し、前記点群グルーピング部のグループ分けした各グループ点群データの中で3次元点データの残存率が最も大きいグループ点群データを前記特定の対象物を3次元で表す対象点群データとしてCPUを用いて特定する対象点群特定処理を行う
ことを特徴とする対象特定方法。 The first image stored in the image data storage unit in which the target imaging range specifying unit stores the first image data representing the two-dimensional image captured at different positions and the second image data using a storage device. Using a CPU (Central Processing Unit), specify a target imaging range in which a specific target is captured from the two-dimensional image represented by the data and the two-dimensional image represented by the second image data stored in the image data storage unit. Target imaging range identification process to be performed,
A first point cloud image projection unit is stored in a point cloud data storage unit that stores, using a storage device, three-dimensional point cloud data representing a feature in three dimensions using a plurality of three-dimensional point data indicating three-dimensional coordinates. Performing a first point cloud image projection process using the CPU to project the 3D point cloud data on the 2D image represented by the first image data stored in the image data storage unit,
The first target projection point group extraction unit outputs the three-dimensional point group data projected by the first point group image projection unit to the target imaging range of the first image data specified by the target imaging range specification unit. Performing a first target projection point group extraction process to be extracted using a CPU;
The point group grouping unit uses the CPU to group the three-dimensional point group data extracted by the first target projection point group extraction unit as a plurality of group point group data based on the three-dimensional coordinates indicated by each three-dimensional point data. Perform the point cloud grouping process to divide
The second point cloud image projection unit sends a CPU to the two-dimensional image represented by the second image data stored in the image data storage unit by the plurality of group point cloud data grouped by the point cloud grouping unit. Performing a second point cloud image projection process using
The second target projection point group extraction unit extracts the group point group data projected by the second point group image projection unit with respect to the target imaging range of the second image data specified by the target imaging range specification unit. Perform second target projection point group extraction processing to extract using the CPU,
The target point group identification unit compares each group point group data grouped by the point group grouping unit with each group point group data extracted by the second target projection point group extraction unit, and the point group grouping unit A target point group that uses a CPU to identify group point cloud data having the largest remaining rate of three-dimensional point data among grouped group point cloud data as target point group data representing the specific target in three dimensions. An object identification method characterized by performing identification processing.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007220405A JP4232167B1 (en) | 2007-08-27 | 2007-08-27 | Object identification device, object identification method, and object identification program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007220405A JP4232167B1 (en) | 2007-08-27 | 2007-08-27 | Object identification device, object identification method, and object identification program |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008301775A Division JP4978615B2 (en) | 2008-11-27 | 2008-11-27 | Target identification device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP4232167B1 JP4232167B1 (en) | 2009-03-04 |
JP2009053059A true JP2009053059A (en) | 2009-03-12 |
Family
ID=40504259
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007220405A Expired - Fee Related JP4232167B1 (en) | 2007-08-27 | 2007-08-27 | Object identification device, object identification method, and object identification program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4232167B1 (en) |
Cited By (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011022062A (en) * | 2009-07-17 | 2011-02-03 | Topcon Corp | Position measurement method and position measuring instrument |
JP2011164069A (en) * | 2010-02-15 | 2011-08-25 | Mitsubishi Electric Corp | Position correction system |
JP2011252833A (en) * | 2010-06-03 | 2011-12-15 | Mitsubishi Electric Corp | Locating device, locating method and locating program |
JP2012083157A (en) * | 2010-10-08 | 2012-04-26 | Mitsubishi Electric Corp | Outdoor feature detection system, program for the same, and record media of program for the same |
JP2012144355A (en) * | 2011-01-13 | 2012-08-02 | Nittetsu Hokkaido Control Systems Corp | Device and method for detecting working position of moving machine in raw material yard |
JP2012242318A (en) * | 2011-05-23 | 2012-12-10 | Mitsubishi Electric Corp | Position correction data generation device, position rating device, user interface device, position correction data generation method of position correction data generation device, position rating method of position rating device, information processing method of user interface device, position correction data generation program, position rating program and user interface program |
JP2014153336A (en) * | 2013-02-13 | 2014-08-25 | Nippon Telegr & Teleph Corp <Ntt> | Point group analysis processing device and point group analysis processing program |
JP2016057308A (en) * | 2015-11-18 | 2016-04-21 | 三菱電機株式会社 | Specified point projection method, program and computer |
JP2016529475A (en) * | 2013-06-14 | 2016-09-23 | ウーバー テクノロジーズ,インコーポレイテッド | Classification of object movement based on lidar |
WO2017006577A1 (en) * | 2015-07-03 | 2017-01-12 | 三菱電機株式会社 | Device for selecting three-dimensional point group, and method for selecting three-dimensional point group |
JP2017026430A (en) * | 2015-07-21 | 2017-02-02 | 日本電信電話株式会社 | Marker detection device, method, and program |
JP2017058274A (en) * | 2015-09-17 | 2017-03-23 | 株式会社東芝 | Measurement device, method, and program |
JP2018097609A (en) * | 2016-12-13 | 2018-06-21 | 三菱電機株式会社 | Facility management device and display data generation method |
JP2018195240A (en) * | 2017-05-22 | 2018-12-06 | 日本電信電話株式会社 | Facility state detection method, detection system and program |
JP2019095876A (en) * | 2017-11-20 | 2019-06-20 | 三菱電機株式会社 | Three-dimensional point group display device, three-dimensional point group display system, method for displaying three-dimensional point group, three-dimensional point group display program, and recording medium |
JP2019138822A (en) * | 2018-02-14 | 2019-08-22 | オムロン株式会社 | Three-dimensional measuring system and three-dimensional measuring method |
JP2019148471A (en) * | 2018-02-27 | 2019-09-05 | 国際航業株式会社 | Portable type laser surveying machine pedestal, measurement vehicle, and laser measurement method |
KR102062680B1 (en) * | 2015-08-04 | 2020-01-06 | 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 | Laser point cloud based urban road recognition method, device, storage medium and device |
JP2020509494A (en) * | 2017-03-17 | 2020-03-26 | 本田技研工業株式会社 | Combining 3D object detection and orientation estimation by multimodal fusion |
WO2020121838A1 (en) * | 2018-12-12 | 2020-06-18 | 日立オートモティブシステムズ株式会社 | External environment recognition device |
WO2020183839A1 (en) * | 2019-03-14 | 2020-09-17 | 日本電信電話株式会社 | Data compression device, data compression method, and program |
JPWO2020250620A1 (en) * | 2019-06-14 | 2020-12-17 | ||
JPWO2022097387A1 (en) * | 2020-11-05 | 2022-05-12 | ||
JP2022549757A (en) * | 2019-07-31 | 2022-11-29 | ボルボトラックコーポレーション | Method for forming a vehicle travel path |
WO2023286217A1 (en) * | 2021-07-14 | 2023-01-19 | 日本電信電話株式会社 | Position detection device, position detection method, and position detection program |
WO2023007660A1 (en) * | 2021-07-29 | 2023-02-02 | 日本電信電話株式会社 | Three-dimensional point group identification device, three-dimensional point group identification method, and three-dimensional point group identification program |
WO2023058092A1 (en) * | 2021-10-04 | 2023-04-13 | 日揮株式会社 | Structure display system, structure display method, program |
US11828603B2 (en) * | 2017-05-19 | 2023-11-28 | Pioneer Corporation | Measurement device, measurement method and program |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9221461B2 (en) * | 2012-09-05 | 2015-12-29 | Google Inc. | Construction zone detection using a plurality of information sources |
WO2019103158A1 (en) * | 2017-11-27 | 2019-05-31 | パイオニア株式会社 | Data structure, information transmission device, information processing device, control method, program, and storage medium |
JP7501398B2 (en) | 2020-02-18 | 2024-06-18 | 株式会社デンソー | Object detection device |
CN115176175A (en) * | 2020-02-18 | 2022-10-11 | 株式会社电装 | Object detection device |
CN113566839B (en) * | 2021-07-23 | 2024-02-06 | 湖南省计量检测研究院 | Road interval shortest distance measuring method based on three-dimensional modeling |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005025497A (en) * | 2003-07-02 | 2005-01-27 | Nissan Motor Co Ltd | Sign recognizing device |
JP2007078409A (en) * | 2005-09-12 | 2007-03-29 | Mitsubishi Electric Corp | Object positioning system |
-
2007
- 2007-08-27 JP JP2007220405A patent/JP4232167B1/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005025497A (en) * | 2003-07-02 | 2005-01-27 | Nissan Motor Co Ltd | Sign recognizing device |
JP2007078409A (en) * | 2005-09-12 | 2007-03-29 | Mitsubishi Electric Corp | Object positioning system |
Non-Patent Citations (1)
Title |
---|
吉田光伸、外4名: "モービルマッピングシステム", 三菱電機技報, vol. 第81巻,第8号, JPN6008036718, 25 August 2007 (2007-08-25), pages 15 - 18, ISSN: 0001168493 * |
Cited By (47)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011022062A (en) * | 2009-07-17 | 2011-02-03 | Topcon Corp | Position measurement method and position measuring instrument |
JP2011164069A (en) * | 2010-02-15 | 2011-08-25 | Mitsubishi Electric Corp | Position correction system |
JP2011252833A (en) * | 2010-06-03 | 2011-12-15 | Mitsubishi Electric Corp | Locating device, locating method and locating program |
JP2012083157A (en) * | 2010-10-08 | 2012-04-26 | Mitsubishi Electric Corp | Outdoor feature detection system, program for the same, and record media of program for the same |
JP2012144355A (en) * | 2011-01-13 | 2012-08-02 | Nittetsu Hokkaido Control Systems Corp | Device and method for detecting working position of moving machine in raw material yard |
JP2012242318A (en) * | 2011-05-23 | 2012-12-10 | Mitsubishi Electric Corp | Position correction data generation device, position rating device, user interface device, position correction data generation method of position correction data generation device, position rating method of position rating device, information processing method of user interface device, position correction data generation program, position rating program and user interface program |
JP2014153336A (en) * | 2013-02-13 | 2014-08-25 | Nippon Telegr & Teleph Corp <Ntt> | Point group analysis processing device and point group analysis processing program |
JP2016529475A (en) * | 2013-06-14 | 2016-09-23 | ウーバー テクノロジーズ,インコーポレイテッド | Classification of object movement based on lidar |
WO2017006577A1 (en) * | 2015-07-03 | 2017-01-12 | 三菱電機株式会社 | Device for selecting three-dimensional point group, and method for selecting three-dimensional point group |
JPWO2017006577A1 (en) * | 2015-07-03 | 2017-11-24 | 三菱電機株式会社 | 3D point group selection device and 3D point group selection method |
JP2017026430A (en) * | 2015-07-21 | 2017-02-02 | 日本電信電話株式会社 | Marker detection device, method, and program |
KR102062680B1 (en) * | 2015-08-04 | 2020-01-06 | 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 | Laser point cloud based urban road recognition method, device, storage medium and device |
JP2017058274A (en) * | 2015-09-17 | 2017-03-23 | 株式会社東芝 | Measurement device, method, and program |
JP2016057308A (en) * | 2015-11-18 | 2016-04-21 | 三菱電機株式会社 | Specified point projection method, program and computer |
JP2018097609A (en) * | 2016-12-13 | 2018-06-21 | 三菱電機株式会社 | Facility management device and display data generation method |
JP2020509494A (en) * | 2017-03-17 | 2020-03-26 | 本田技研工業株式会社 | Combining 3D object detection and orientation estimation by multimodal fusion |
US11828603B2 (en) * | 2017-05-19 | 2023-11-28 | Pioneer Corporation | Measurement device, measurement method and program |
JP2018195240A (en) * | 2017-05-22 | 2018-12-06 | 日本電信電話株式会社 | Facility state detection method, detection system and program |
JP2019095876A (en) * | 2017-11-20 | 2019-06-20 | 三菱電機株式会社 | Three-dimensional point group display device, three-dimensional point group display system, method for displaying three-dimensional point group, three-dimensional point group display program, and recording medium |
CN111566437A (en) * | 2018-02-14 | 2020-08-21 | 欧姆龙株式会社 | Three-dimensional measurement system and three-dimensional measurement method |
CN111566437B (en) * | 2018-02-14 | 2021-10-29 | 欧姆龙株式会社 | Three-dimensional measurement system and three-dimensional measurement method |
JP7253323B2 (en) | 2018-02-14 | 2023-04-06 | オムロン株式会社 | Three-dimensional measurement system and three-dimensional measurement method |
WO2019160032A1 (en) * | 2018-02-14 | 2019-08-22 | オムロン株式会社 | Three-dimensional measuring system and three-dimensional measuring method |
JP2019138822A (en) * | 2018-02-14 | 2019-08-22 | オムロン株式会社 | Three-dimensional measuring system and three-dimensional measuring method |
US11302022B2 (en) | 2018-02-14 | 2022-04-12 | Omron Corporation | Three-dimensional measurement system and three-dimensional measurement method |
JP7147176B2 (en) | 2018-02-27 | 2022-10-05 | 国際航業株式会社 | Portable laser survey instrument pedestal, measurement vehicle, and laser measurement method |
JP2019148471A (en) * | 2018-02-27 | 2019-09-05 | 国際航業株式会社 | Portable type laser surveying machine pedestal, measurement vehicle, and laser measurement method |
WO2020121838A1 (en) * | 2018-12-12 | 2020-06-18 | 日立オートモティブシステムズ株式会社 | External environment recognition device |
JPWO2020121838A1 (en) * | 2018-12-12 | 2021-10-14 | 日立Astemo株式会社 | External recognition device |
US12061267B2 (en) | 2018-12-12 | 2024-08-13 | Hitachi Astemo, Ltd. | External environment recognition device |
JP7123167B2 (en) | 2018-12-12 | 2022-08-22 | 日立Astemo株式会社 | External recognition device |
WO2020183839A1 (en) * | 2019-03-14 | 2020-09-17 | 日本電信電話株式会社 | Data compression device, data compression method, and program |
JPWO2020183839A1 (en) * | 2019-03-14 | 2021-10-21 | 日本電信電話株式会社 | Data compression equipment, data compression methods, and programs |
US11818361B2 (en) | 2019-03-14 | 2023-11-14 | Nippon Telegraph And Telephone Corporation | Data compression apparatus, data compression method, and program |
JP7060157B2 (en) | 2019-03-14 | 2022-04-26 | 日本電信電話株式会社 | Data compression device, data compression method, and program |
CN113785331A (en) * | 2019-06-14 | 2021-12-10 | 富士胶片株式会社 | Point cloud data processing device, point cloud data processing method, and program |
JPWO2020250620A1 (en) * | 2019-06-14 | 2020-12-17 | ||
WO2020250620A1 (en) * | 2019-06-14 | 2020-12-17 | 富士フイルム株式会社 | Point cloud data processing device, point cloud data processing method, and program |
JP7344289B2 (en) | 2019-06-14 | 2023-09-13 | 富士フイルム株式会社 | Point cloud data processing device, point cloud data processing method, and program |
JP2022549757A (en) * | 2019-07-31 | 2022-11-29 | ボルボトラックコーポレーション | Method for forming a vehicle travel path |
JP7316442B2 (en) | 2019-07-31 | 2023-07-27 | ボルボトラックコーポレーション | Method, control system, vehicle, and computer program product for forming a vehicle travel path |
JPWO2022097387A1 (en) * | 2020-11-05 | 2022-05-12 | ||
JP7399312B2 (en) | 2020-11-05 | 2023-12-15 | 日立Astemo株式会社 | Vehicle control device |
WO2022097387A1 (en) * | 2020-11-05 | 2022-05-12 | 日立Astemo株式会社 | Vehicle control device |
WO2023286217A1 (en) * | 2021-07-14 | 2023-01-19 | 日本電信電話株式会社 | Position detection device, position detection method, and position detection program |
WO2023007660A1 (en) * | 2021-07-29 | 2023-02-02 | 日本電信電話株式会社 | Three-dimensional point group identification device, three-dimensional point group identification method, and three-dimensional point group identification program |
WO2023058092A1 (en) * | 2021-10-04 | 2023-04-13 | 日揮株式会社 | Structure display system, structure display method, program |
Also Published As
Publication number | Publication date |
---|---|
JP4232167B1 (en) | 2009-03-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4232167B1 (en) | Object identification device, object identification method, and object identification program | |
JP4978615B2 (en) | Target identification device | |
US10598489B2 (en) | Visual odometry and pairwise alignment for high definition map creation | |
Brenner | Extraction of features from mobile laser scanning data for future driver assistance systems | |
CN105512646B (en) | A kind of data processing method, device and terminal | |
US8571265B2 (en) | Measurement apparatus, measurement method, and feature identification apparatus | |
CN104280036B (en) | A kind of detection of transport information and localization method, device and electronic equipment | |
JP5404861B2 (en) | Stationary object map generator | |
JP5388082B2 (en) | Stationary object map generator | |
KR101444685B1 (en) | Method and Apparatus for Determining Position and Attitude of Vehicle by Image based Multi-sensor Data | |
US20090154793A1 (en) | Digital photogrammetric method and apparatus using intergrated modeling of different types of sensors | |
EP3842735B1 (en) | Position coordinates estimation device, position coordinates estimation method, and program | |
US11846520B2 (en) | Method and device for determining a vehicle position | |
Jende et al. | A fully automatic approach to register mobile mapping and airborne imagery to support the correction of platform trajectories in GNSS-denied urban areas | |
CN112805766A (en) | Apparatus and method for updating detailed map | |
Soheilian et al. | Generation of an integrated 3D city model with visual landmarks for autonomous navigation in dense urban areas | |
CN116147613A (en) | Method and system for generating and locating environmental models using cross sensor feature point references | |
JP2009204385A (en) | Targeting device, method, and program | |
CN112446915A (en) | Picture-establishing method and device based on image group | |
Senapati et al. | Geo-referencing system for locating objects globally in LiDAR point cloud | |
Roncella et al. | Photogrammetric bridging of GPS outages in mobile mapping | |
JP7308772B2 (en) | DATA PROCESSING DEVICE, DATA PROCESSING METHOD AND DATA PROCESSING PROGRAM | |
Grinstead et al. | Developing detailed a priori 3D models of large environments to aid in robotic navigation tasks | |
CN116465422A (en) | Map information generation method and device, electronic equipment and storage medium | |
CN112446234A (en) | Position determination method and device based on data association |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081127 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111219 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111219 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121219 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121219 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131219 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |