JP2013140515A - Solid object detection device and program - Google Patents
Solid object detection device and program Download PDFInfo
- Publication number
- JP2013140515A JP2013140515A JP2012000675A JP2012000675A JP2013140515A JP 2013140515 A JP2013140515 A JP 2013140515A JP 2012000675 A JP2012000675 A JP 2012000675A JP 2012000675 A JP2012000675 A JP 2012000675A JP 2013140515 A JP2013140515 A JP 2013140515A
- Authority
- JP
- Japan
- Prior art keywords
- dimensional object
- distance information
- dimensional
- information
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Traffic Control Systems (AREA)
Abstract
Description
本発明は、立体物検出装置及びプログラムに係り、特に路面上の立体物を検出する立体物検出装置及びプログラムに関する。 The present invention relates to a three-dimensional object detection apparatus and program, and more particularly to a three-dimensional object detection apparatus and program for detecting a three-dimensional object on a road surface.
近年において、道路整備の進展や車両側の安全対策の向上等により、交通事故による死者数は減少の傾向にあるものの、毎年、５，０００人あまりの人命が奪われているという事実がある。特に、歩行者の死亡事故が全体の約３５％を占めており、車両側から歩行者を認識して歩行者を保護するため、車載センサを用いた歩行者の認識技術の開発が急がれている。 In recent years, due to the progress of road maintenance and the improvement of safety measures on the vehicle side, the number of deaths due to traffic accidents has been decreasing, but there is a fact that about 5,000 lives are lost every year. In particular, pedestrian deaths account for about 35% of the total, and in order to protect pedestrians by recognizing pedestrians from the vehicle side, development of pedestrian recognition technology using in-vehicle sensors is urgent. ing.
従来より、撮影した画像の中から歩行者を検索するための試みがなされ、例えば、道路上を撮影した画像から「人」らしい形の部分を探索し、画像中の空（そら）に相当する部分は検索しない等の制約を設けた手法がとられていた。しかし、検索対象である人が大人と子供とでは身長差があり、道路上に位置するときの奥行きも異なることに加えて、カメラを搭載した車両のピッチ変動に対応するため、検索領域を広げることで空の部分まで探すことになり、計算量の増大と誤検出が生じるという問題があった。 Conventionally, attempts have been made to search for pedestrians in captured images. For example, a portion that looks like a “person” is searched from an image captured on a road, and corresponds to the sky in the image. A method of providing a restriction such as not searching for the part was taken. However, there is a difference in height between the person being searched for between an adult and a child, the depth when the person is located on the road is also different, and the search area is expanded in order to cope with the pitch fluctuation of a vehicle equipped with a camera. As a result, there is a problem that an empty portion is searched for, and the amount of calculation increases and erroneous detection occurs.
例えば、特許文献１には、車載カメラによって車両前方の画像を撮影し、車両前方に存在する障害物を検出する技術（車両用画像処理装置）が開示されている。特許文献１では、レーダで検出された前方物体までの距離、横位置及び反射強度の情報に基づき、カメラにより撮影された撮影画像における前方物体の存在する領域を処理領域として特定し、特定した処理領域の画像から検出されるエッジに基づき前方物体が立体物であるか否かを判定している。 For example, Patent Document 1 discloses a technique (vehicle image processing apparatus) that captures an image in front of a vehicle with an in-vehicle camera and detects an obstacle existing in front of the vehicle. In Patent Document 1, based on the information on the distance to the front object, the lateral position, and the reflection intensity detected by the radar, a region where the front object exists in the captured image captured by the camera is specified as a processing region, and the specified processing is performed. It is determined whether or not the front object is a three-dimensional object based on the edge detected from the image of the region.
また、特許文献２には、車載レーダにより車両周囲の第１監視範囲内に所在する物体と車両との距離を検出し、車両に搭載された撮像手段により、上記第１監視範囲と重複する第２監視範囲を撮像し、上記レーダで検出した距離情報と、上記撮像手段で撮影した撮像画像とに基づいて車両周辺を監視する車両周辺監視装置が記載されている。 In Patent Document 2, the distance between an object located in the first monitoring range around the vehicle and the vehicle is detected by the on-vehicle radar, and the first monitoring range is overlapped by the imaging means mounted on the vehicle. 2 describes a vehicle periphery monitoring device that images a monitoring range and monitors the periphery of the vehicle based on distance information detected by the radar and a captured image captured by the imaging means.
上述した特許文献１に記載の車両用画像処理装置では、レーダによって検出された物体を基準に、カメラで撮影した画像中における処理領域（前方物体の存在する領域）を決定している。そのため、レーダが物体を見落とした場合には、システム全体として、画像による立体物判定の修復（リカバリー）ができないという問題がある。 In the vehicle image processing apparatus described in Patent Document 1 described above, a processing area (an area where a forward object exists) in an image captured by a camera is determined based on an object detected by a radar. Therefore, when the radar overlooks an object, there is a problem that the solid system determination cannot be restored (recovered) by the image as a whole system.
特許文献２に記載の車両周辺監視装置は、撮像画像内で、監視対象物の画像部分が含まれる可能性のある画像処理対象領域を設定しているが、レーダによる距離情報で探索範囲を限定するとともに、監視対象物の特定部位（頭や脚）に応じて設定された特徴量を有する特徴領域を抽出し、探索範囲を特定部位に合わせて設定し直している。また、特許文献２には、物体と路面との接触部に対応する撮像画像上の位置を検知するとあるが、位置検知の具体的方法が開示されておらず、画像の中から部分特徴として、その画像パターンから当該位置を推定することは、画像の中で設定した枠内から当該部分のパターン領域をさらに検索する必要がある。すなわち、設定範囲内で頭部に対応する特徴量や脚に対応する特徴量があれば、探索範囲を頭や脚に合わせて設定し直す必要がある。そのため、検索そのものが困難となり、そのための演算量も膨大になるという問題がある。 The vehicle periphery monitoring device described in Patent Literature 2 sets an image processing target area that may include an image portion of a monitoring target in a captured image, but limits a search range by distance information from a radar. In addition, a feature region having a feature amount set according to a specific part (head or leg) of the monitoring target is extracted, and the search range is reset according to the specific part. Further, in Patent Document 2, a position on a captured image corresponding to a contact portion between an object and a road surface is detected. However, a specific method of position detection is not disclosed, and a partial feature from an image is as follows. In order to estimate the position from the image pattern, it is necessary to further search the pattern area of the part from the frame set in the image. That is, if there is a feature value corresponding to the head or a feature value corresponding to the leg within the set range, it is necessary to reset the search range according to the head or leg. For this reason, there is a problem that the search itself becomes difficult and the amount of calculation for that becomes enormous.
本発明は、上述した課題を解決するために提案されたものであり、車両周辺に存在する立体物の誤検出を減らすとともに、立体物検出のための演算量を削減できる立体物検出装置を提供することを目的とする。 The present invention has been proposed to solve the above-described problems, and provides a three-dimensional object detection device capable of reducing erroneous detection of a three-dimensional object existing around a vehicle and reducing the amount of calculation for detecting the three-dimensional object. The purpose is to do.
上記の目的を達成するため、本発明に係る立体物検出装置は、自車両周辺環境の画像を撮影する撮影手段と、自車両周辺環境の３次元距離情報を取得する距離情報取得手段と、前記撮影手段で撮影された画像、及び前記距離情報取得手段で取得した３次元距離情報に基づいて前記自車両周辺環境に存在する立体物までの距離情報を抽出する距離情報抽出手段と、前記３次元距離情報を、前記立体物を示す３次元距離情報である立体物情報と、平面を示す３次元距離情報である平面情報とに分割し、前記立体物情報、及び注目する立体物周辺の所定領域に対応する前記平面情報に基づいて該立体物が該平面に接する接地点位置を抽出する接地点位置抽出手段と、前記距離情報抽出手段で抽出された距離情報と、前記接地点位置抽出手段で抽出された接地点位置とに基づいて、前記撮影手段で撮影された画像内における前記立体物の探索範囲を決定する探索範囲決定手段と、前記探索範囲決定手段で決定された探索範囲から路面上の立体物を検出する立体物検出手段と、を備えることを特徴とする。 In order to achieve the above object, a three-dimensional object detection device according to the present invention includes a photographing unit that captures an image of an environment surrounding the host vehicle, a distance information acquisition unit that acquires three-dimensional distance information of the surrounding environment of the host vehicle, Distance information extracting means for extracting distance information to a three-dimensional object existing in the surrounding environment of the host vehicle based on an image photographed by the photographing means and three-dimensional distance information obtained by the distance information obtaining means; The distance information is divided into three-dimensional object information that is three-dimensional distance information indicating the three-dimensional object and plane information that is three-dimensional distance information indicating a plane, and the three-dimensional object information and a predetermined area around the target three-dimensional object A ground point position extracting unit that extracts a ground point position where the solid object contacts the plane based on the plane information corresponding to the distance information, the distance information extracted by the distance information extracting unit, and the ground point position extracting unit Extracted A search range determining means for determining a search range of the three-dimensional object in an image photographed by the photographing means based on the contact point position, and a solid on the road surface from the search range determined by the search range determining means. Three-dimensional object detection means for detecting an object.
このような構成とすることで、検出対象である立体物までの距離と接地点とによって立体物の探索枠の大きさが制限され、立体物検出装置における車両周辺に存在する立体物の誤検出を低減することができる。 By adopting such a configuration, the size of the three-dimensional object search frame is limited by the distance to the three-dimensional object to be detected and the ground contact point, and the three-dimensional object in the vicinity of the vehicle in the three-dimensional object detection device is erroneously detected. Can be reduced.
本発明において、前記接地点位置抽出手段は、前記３次元距離情報を２次元グリッドマップに展開して、前記立体物情報と前記平面情報とを取得することを特徴とする。 In the present invention, the ground contact point position extracting unit expands the three-dimensional distance information into a two-dimensional grid map, and acquires the three-dimensional object information and the plane information.
本発明の立体物検出装置は、前記３次元距離情報の分布に基づいて前記立体物の高さ情報を抽出する高さ情報抽出手段をさらに備え、前記探索範囲決定手段は、前記距離情報抽出手段で抽出された距離情報と、前記接地点位置抽出手段で抽出された接地点位置と、前記高さ情報抽出手段で抽出された高さ情報とに基づいて、前記撮影手段で撮影された画像内における前記立体物の探索範囲を決定する。 The three-dimensional object detection device of the present invention further includes height information extraction means for extracting height information of the three-dimensional object based on the distribution of the three-dimensional distance information, and the search range determination means is the distance information extraction means. In the image photographed by the photographing means on the basis of the distance information extracted in Step 1, the ground point position extracted by the ground point position extracting means, and the height information extracted by the height information extracting means. The search range of the three-dimensional object at is determined.
また、本発明の立体物検出装置は、自車両の移動に伴う運動成分を取得する運動成分取得手段と、前記運動成分取得手段で取得した運動成分を考慮しながら、前記距離情報取得手段で取得した３次元距離情報を時間的に蓄積する３次元距離情報蓄積手段と、をさらに備え、前記距離情報抽出手段は、前記３次元距離情報蓄積手段で蓄積された３次元距離情報に基づいて前記自車両周辺環境に存在する立体物までの距離情報を抽出し、前記接地点位置抽出手段は、該蓄積された３次元距離情報に基づいて前記立体物が平面に接する接地点位置を抽出し、前記高さ情報抽出手段は、該蓄積された３次元距離情報の分布に基づいて前記立体物の高さ情報を抽出する。 The three-dimensional object detection device of the present invention is acquired by the distance information acquisition unit while taking into account the movement component acquisition unit that acquires the movement component accompanying the movement of the host vehicle and the movement component acquired by the movement component acquisition unit. 3D distance information storage means for storing the 3D distance information temporally, the distance information extraction means based on the 3D distance information stored in the 3D distance information storage means. Extracting distance information to a three-dimensional object existing in the surrounding environment of the vehicle, the grounding point position extracting means extracts a grounding point position where the three-dimensional object is in contact with a plane based on the accumulated three-dimensional distance information, The height information extraction unit extracts the height information of the three-dimensional object based on the distribution of the accumulated three-dimensional distance information.
本発明において、前記探索範囲決定手段は、前記立体物の探索範囲を該立体物の種類に合わせて変える。また、前記立体物は歩行者であり、前記探索範囲決定手段は、該歩行者の頭部位置を推定して前記探索範囲を決定する。 In the present invention, the search range determining means changes the search range of the three-dimensional object according to the type of the three-dimensional object. Further, the three-dimensional object is a pedestrian, and the search range determining means estimates the pedestrian's head position and determines the search range.
また、本発明において、前記距離情報抽出手段により抽出された距離情報は、前記距離情報取得手段による各走査位置における所定の矩形領域に存在する最近傍の立体物までの距離を示す。 In the present invention, the distance information extracted by the distance information extraction unit indicates a distance to the nearest three-dimensional object existing in a predetermined rectangular area at each scanning position by the distance information acquisition unit.
本発明の立体物検出プログラムは、コンピュータを、撮影手段で撮影された画像、及び距離情報取得手段で取得した３次元距離情報に基づいて自車両周辺環境に存在する立体物までの距離情報を抽出する距離情報抽出手段、前記３次元距離情報を、立体物を示す３次元距離情報である立体物情報と、平面を示す３次元距離情報である平面情報とに分割し、前記立体物情報、及び注目する立体物周辺の所定領域に対応する前記平面情報に基づいて該立体物が該平面に接する接地点位置を抽出する接地点位置抽出手段、前記距離情報抽出手段で抽出された距離情報と、前記接地点位置抽出手段で抽出された接地点位置とに基づいて、撮影手段で撮影された画像内における前記立体物の探索範囲を決定する探索範囲決定手段、前記探索範囲決定手段で決定された探索範囲から路面上の立体物を検出する立体物検出手段、として機能させることを特徴とする。 The three-dimensional object detection program of the present invention extracts the distance information to the three-dimensional object existing in the surrounding environment of the vehicle based on the image photographed by the photographing means and the three-dimensional distance information obtained by the distance information obtaining means. A distance information extracting means for dividing the three-dimensional distance information into three-dimensional object information that is three-dimensional distance information indicating a three-dimensional object and plane information that is three-dimensional distance information indicating a plane; Grounding point position extracting means for extracting a grounding point position where the solid object is in contact with the plane based on the plane information corresponding to a predetermined area around the solid object of interest; distance information extracted by the distance information extracting means; Search range determining means for determining a search range for the three-dimensional object in an image photographed by the photographing means based on the ground point position extracted by the ground point position extracting means, and the search range determining means Three-dimensional object detection means for detecting a three-dimensional object on the road surface from the determined search range, wherein the function as.
本発明に係る立体物検出装置は、車両周辺に存在する立体物認識の検出性能を落とすことなく立体物認識のための演算量を効果的に削減し、誤検出をなくすことができる、という優れた効果を有する。 The three-dimensional object detection device according to the present invention is excellent in that it can effectively reduce the amount of calculation for three-dimensional object recognition without degrading the detection performance of three-dimensional object recognition existing around the vehicle, and eliminate erroneous detection. It has the effect.
以下、添付図面を参照して本発明の実施形態について詳細に説明する。
＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る立体物検出装置の全体構成を示すブロック図である。図１に示す立体物検出装置１０は、測距データ取得部１５で取得された測距データと、画像取得部１７で取得された画像をもとに、立体物検出部として機能する中央制御部２０において立体物を検出し、その検出結果、例えば、立体物の位置、大きさ等を出力部１９に出力する。
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
<First Embodiment>
FIG. 1 is a block diagram showing the overall configuration of the three-dimensional object detection device according to the first embodiment of the present invention. The three-dimensional object detection device 10 illustrated in FIG. 1 is a central control unit that functions as a three-dimensional object detection unit based on distance measurement data acquired by the distance measurement data acquisition unit 15 and an image acquired by the image acquisition unit 17. A solid object is detected at 20, and the detection result, for example, the position and size of the solid object is output to the output unit 19.
中央制御部２０は、例えばマイクロプロセッサからなるＣＰＵ(Central Processing Unit)であり、立体物を検出するための機能部として、測距データ取得部１５より測距データが入力される距離情報抽出部２１と、同じく測距データが入力される接地点情報抽出部２３と、これら距離情報抽出部２１及び接地点情報抽出部２３からの出力と画像取得部１７からの画像をもとに、立体物を検出するため撮影画像中における探索範囲を決定する探索範囲決定部２７と、決定された探索範囲から立体物を識別するための特徴量を算出する画像探索部２９と、を含んで構成される。 The central control unit 20 is a CPU (Central Processing Unit) made of, for example, a microprocessor, and is a distance information extraction unit 21 to which ranging data is input from the ranging data acquisition unit 15 as a functional unit for detecting a three-dimensional object. Similarly, based on the ground point information extraction unit 23 to which the distance measurement data is input, the output from the distance information extraction unit 21 and the ground point information extraction unit 23, and the image from the image acquisition unit 17, A search range determination unit 27 that determines a search range in the captured image for detection, and an image search unit 29 that calculates a feature amount for identifying a three-dimensional object from the determined search range are configured.
中央制御部２０は、データバスＢを介して接続された、読み取り専用メモリ（ＲＯＭ）である記憶部１１に格納された、立体物の検出制御手順を示す立体物検出プログラム１１ａ、オペレーティングシステム（ＯＳ）等の基本プログラム等により、立体物検出装置１０全体の制御を司るとともに、後述する立体物の検出処理を実行する。同様に、データバスＢを介して中央制御部２０に接続されたメモリ１２は、立体物の検出制御等に用いる各種データを一時的に記憶する記憶媒体である随時読出し／書込みメモリ（ＲＡＭ）である。また、識別情報記憶部２５には、事前に学習した識別情報が格納される。 The central control unit 20 includes a three-dimensional object detection program 11a indicating a three-dimensional object detection control procedure stored in a storage unit 11 that is a read-only memory (ROM) connected via the data bus B, an operating system (OS In addition to controlling the entire three-dimensional object detection device 10 by a basic program such as), a solid object detection process described later is executed. Similarly, the memory 12 connected to the central control unit 20 via the data bus B is a read / write memory (RAM) as needed, which is a storage medium that temporarily stores various data used for three-dimensional object detection control and the like. is there. The identification information storage unit 25 stores identification information learned in advance.
次に、本実施形態に係る立体物検出装置における立体物検出手順について説明する。図２は、本実施形態に係る立体物検出装置の立体物検出プログラムによって立体物を検出する手順を示すフローチャートである。なお、ここでは、立体物として歩行者を想定しているが、対象は歩行者に限定されず、平面（路面）から屹立している立体物すべてが検出対象となる。 Next, a three-dimensional object detection procedure in the three-dimensional object detection device according to the present embodiment will be described. FIG. 2 is a flowchart illustrating a procedure for detecting a three-dimensional object by the three-dimensional object detection program of the three-dimensional object detection device according to the present embodiment. Here, a pedestrian is assumed as a three-dimensional object, but the target is not limited to a pedestrian, and all three-dimensional objects standing on a plane (road surface) are detection targets.
図２のステップＳ１１で、立体物検出装置１０の中央制御部２０は、自車両に搭載した測距データ取得部１５を制御して、検出対象を含む周辺環境（立体物のみならず、路面も含む）の３次元距離データ（３次元距離情報ともいう）を取得する。ここでは、測距データ取得部１５として、レーザビームの走査ラインを複数備え、高解像度のレンジデータ（距離データ）を取得できるレーザレーダを使用する。なお、距離データについては、その計測手段、計測性能、及びデータの出力形式等は、特に限定されない。例えば、計測手段としてステレオカメラを用いてもよい。また、距離データを測距データ取得部１５からの距離と方位で表わしてもよいし、測距データ取得部１５を中心とする座標系での３次元位置座標を持つデータとして表現されるようにしてもよい。 In step S11 of FIG. 2, the central control unit 20 of the three-dimensional object detection device 10 controls the distance measurement data acquisition unit 15 mounted on the host vehicle, and the surrounding environment including the detection target (not only the three-dimensional object but also the road surface). 3D distance data (also referred to as 3D distance information). Here, a laser radar that includes a plurality of laser beam scanning lines and can acquire high-resolution range data (distance data) is used as the distance measurement data acquisition unit 15. In addition, about distance data, the measuring means, measurement performance, the output format of data, etc. are not specifically limited. For example, a stereo camera may be used as the measuring means. Further, the distance data may be expressed as a distance and direction from the distance measurement data acquisition unit 15 or may be expressed as data having a three-dimensional position coordinate in a coordinate system centered on the distance measurement data acquisition unit 15. May be.
また、立体物検出装置１０の中央制御部２０は、ステップＳ１１において、上記レーザレーダによる距離データの取得と同期させて、画像取得部１７（例えば、ＳＸＧＡ解像度のモノクロの車載カメラ等）で、自車両の周辺環境の検出対象を含む画像を撮影し、それを画像データとして取り込む。測距データ取得部１５と画像取得部１７の車両への取付け位置の相互関係については、所定の座標変換をして対応づけることができる。 In step S11, the central control unit 20 of the three-dimensional object detection device 10 synchronizes with the acquisition of the distance data by the laser radar in the image acquisition unit 17 (for example, a monochrome vehicle camera with SXGA resolution). An image including an object to be detected in the surrounding environment of the vehicle is taken and taken as image data. The mutual relationship between the mounting positions of the distance measurement data acquisition unit 15 and the image acquisition unit 17 on the vehicle can be associated by performing predetermined coordinate conversion.
図３（ａ）と図４（ａ）は、画像取得部１７（車載カメラ）で撮影した映像の一例であり、図３（ｂ）と図４（ｂ）は、測距データ取得部１５としての高解像度レーザレーダで取得された点群データ（３次元点群）の例を示している。図３は、自車両前方の近傍に立体物がない場合の例であり、図４は、自車両前方の近傍に立体物（歩行者）がある場合の例である。 FIGS. 3A and 4A are examples of images taken by the image acquisition unit 17 (on-vehicle camera). FIGS. 3B and 4B show the distance measurement data acquisition unit 15. 2 shows an example of point cloud data (three-dimensional point cloud) acquired by a high-resolution laser radar. FIG. 3 is an example when there is no three-dimensional object in the vicinity of the front of the host vehicle, and FIG. 4 is an example when there is a three-dimensional object (pedestrian) in the vicinity of the front of the host vehicle.
さらに、中央制御部２０は、ステップＳ１３において、上記のステップＳ１１で取得した３次元点群を立体物と路面とに振り分ける（分割する）処理をする。ここでは、図５に示すように、路面に平行な平面を格子状に分割したグリッドマップ（２次元グリッドマップ）３３をメモリ１２内に用意し、そのグリッドマップ３３上に、計測データである計測点群３１を投影する。各セルに投影された３次元点群は、撮像画像中の立体物と路面の存在に従って、高さ方向（グリッドマップ３３に垂直な方向）にばらつく。その結果、複数のセルが、このばらつきに基づいて立体物セルと路面セルとに分割される。 Further, in step S13, the central control unit 20 performs a process of distributing (dividing) the three-dimensional point group acquired in step S11 into a three-dimensional object and a road surface. Here, as shown in FIG. 5, a grid map (two-dimensional grid map) 33 obtained by dividing a plane parallel to the road surface into a grid is prepared in the memory 12, and measurement data as measurement data is prepared on the grid map 33. A point group 31 is projected. The three-dimensional point group projected on each cell varies in the height direction (direction perpendicular to the grid map 33) according to the presence of the three-dimensional object and the road surface in the captured image. As a result, a plurality of cells are divided into a three-dimensional object cell and a road surface cell based on this variation.
中央制御部２０は、図５において符号３９で示すように、セル内における点群の高さの分布が予め定めた閾値を超える場合、そのセルは、高さ方向に分布がある領域に対応するとして、立体物に属すると判定する。また、中央制御部２０は、セル内の点群の高さの分布が予め定めた閾値以下の場合には、そのセルが、高さ方向に分布がない領域に対応するとして、路面に属すると判定する。 As indicated by reference numeral 39 in FIG. 5, when the distribution of the height of the point group in the cell exceeds a predetermined threshold, the central control unit 20 corresponds to a region having a distribution in the height direction. It is determined that the object belongs to a three-dimensional object. In addition, when the height distribution of the point cloud in the cell is equal to or less than a predetermined threshold, the central control unit 20 determines that the cell belongs to the road surface as corresponding to a region having no distribution in the height direction. judge.
このように、グリッドマップ３３上における点群の高さの分布をもとに、計測データから、３次元距離情報である立体物情報３５と、同じく３次元距離情報である路面情報３７とが得られる。すなわち、距離データが、立体物を示す３次元距離データと、路面を示す３次元距離データとに分割される。中央制御部２０は、各セル内における点群の高さの分布状態の相違（ばらつき）に基づいて立体物と路面を判別する。なお、本実施形態では、測距にレーザレーダを使用しているため、レーザレーダの受信パルスの幅をもとに路面を判定することも可能である。 As described above, based on the distribution of the height of the point group on the grid map 33, the three-dimensional object information 35 that is three-dimensional distance information and the road surface information 37 that is also three-dimensional distance information are obtained from the measurement data. It is done. That is, the distance data is divided into three-dimensional distance data indicating a three-dimensional object and three-dimensional distance data indicating a road surface. The central control unit 20 determines the three-dimensional object and the road surface based on the difference (variation) in the distribution state of the height of the point group in each cell. In the present embodiment, since the laser radar is used for ranging, it is possible to determine the road surface based on the width of the received pulse of the laser radar.
中央制御部２０は、ステップＳ１５で、距離情報抽出部２１における動作により、自車両の周辺に存在する立体物までの距離情報を抽出する。ここでは最初に、上記ステップＳ１３で求められ、測距データ取得部１５より入力された、立体物に属する点群を、画像取得部１７で取得した画像に投影する。図６は、画像取得部１７で取得した画像に、立体物に属する点群を投影したときの様子を示す画像である。 In step S15, the central control unit 20 extracts the distance information to the three-dimensional object existing around the host vehicle by the operation of the distance information extraction unit 21. Here, first, the point cloud belonging to the three-dimensional object obtained in step S13 and input from the distance measurement data acquisition unit 15 is projected onto the image acquired by the image acquisition unit 17. FIG. 6 is an image showing a state when a point group belonging to a three-dimensional object is projected onto the image acquired by the image acquisition unit 17.
中央制御部２０は、さらに、図６において画像４１の上端から下端へ向かってｙ方向に延びるとともに、例えば、ｘ方向に所定画素単位の幅を有する矩形領域４３を設定する。そして、点群が投影された画像４１に対して、矩形領域４３を画像４１の左端から右端へ順次、ずらして、画像４１全体を走査する。この走査に伴って、各走査位置において矩形領域４３内、すなわち、車載カメラ（画像取得部１７）で撮影した画像４１を縦方向（図６のｙ方向）に複数に分割したときの各列の領域で最近傍に存在する立体物までの距離情報ｒｊ（ただし、ｊ＝０，１，２…ｗ）を抽出する処理を行う。 The central control unit 20 further sets a rectangular region 43 that extends in the y direction from the upper end to the lower end of the image 41 in FIG. 6 and has a width of a predetermined pixel unit in the x direction, for example. Then, the entire image 41 is scanned by sequentially shifting the rectangular region 43 from the left end to the right end of the image 41 with respect to the image 41 on which the point group is projected. Along with this scanning, each column when the image 41 captured by the in-vehicle camera (image acquisition unit 17) in the rectangular region 43 at each scanning position is divided into a plurality of portions in the vertical direction (y direction in FIG. 6). A process of extracting distance information r j (j = 0, 1, 2,... W) to the nearest solid object in the region is performed.
画像４１を縦方向に複数に分割したときの各列から抽出された距離情報ｒ０〜ｒＷは、カメラの各方位に存在する最近傍の立体物までの距離を示す情報である。このようにして生成された距離情報を、レンジプロファイルｒという。距離情報ｒ０〜ｒＷの抽出処理の結果、車載カメラの視野角全体での立体物探索が可能となる。なお、ここでは、画像認識の検出対象を隠蔽のない歩行者としているため、最近傍点までの距離を抽出したが、隠蔽を考慮する場合には、最遠点までの距離も抽出するようにしてもよい。 The distance information r 0 to r W extracted from each column when the image 41 is divided into a plurality of parts in the vertical direction is information indicating the distance to the nearest three-dimensional object existing in each direction of the camera. The distance information generated in this way is called a range profile r. As a result of the extraction processing of the distance information r 0 to r W , a three-dimensional object search can be performed over the entire viewing angle of the in-vehicle camera. Here, since the detection target of image recognition is a pedestrian without concealment, the distance to the nearest point is extracted, but when concealment is considered, the distance to the farthest point is also extracted. Also good.
次に、抽出された距離情報ｒｊをもとに、歩行者の画像中での高さを求める方法について説明する。図７に示すように、実空間における歩行者の身長をＨ（例えば、０．８〜２．０ｍと設定する）、画像４１の垂直方向の解像度（画素数）をＲｖ、車載カメラの垂直画角をθｖとすると、画像平面上での歩行者の高さｈは、次式によって求めることができる。
次に、中央制御部２０は、ステップＳ１７において、立体物の接地点位置を検知する。画像中の歩行者を検出するためには、後述するように、画像中の歩行者の探索範囲（探索枠）を決定する必要がある。一般的には、立体物（歩行者）の距離情報により探索枠の大きさを限定できるが、路面上に存在する歩行者に関しては、探索枠の下端位置（図９、図１０参照）は、カメラのピッチ変動に依存するため確定できない。そこで、本実施形態に係る立体物検出装置では、上述したレンジプロファイルに対応した立体物の接地点位置を抽出する。 Next, the central control unit 20 detects the contact point position of the three-dimensional object in step S17. In order to detect a pedestrian in the image, it is necessary to determine a search range (search frame) for the pedestrian in the image, as will be described later. In general, the size of the search frame can be limited by the distance information of the three-dimensional object (pedestrian), but for the pedestrian existing on the road surface, the lower end position of the search frame (see FIGS. 9 and 10) is: Cannot be determined because it depends on the camera pitch variation. Therefore, in the three-dimensional object detection device according to the present embodiment, the ground point position of the three-dimensional object corresponding to the above-described range profile is extracted.
ここで、レンジプロファイルに対応した立体物の接地点を算出する方法を説明する。図８は、レーダで計測された３次元点群を投影した２次元グリッドマップの模式図である。上述したステップＳ１３における処理によって、撮影画像における立体物と路面領域が分っているので、図８に示すように、２次元グリッドマップ４５は、立体物セル４７と路面セル４９に分割される。ただし、単にレーザの計測点が得られていない領域、立体物の後方にあって立体物の影となるため計測できない領域等は、立体物と路面とに分割できず、不観測セル４８となる。 Here, a method for calculating the ground contact point of the three-dimensional object corresponding to the range profile will be described. FIG. 8 is a schematic diagram of a two-dimensional grid map in which a three-dimensional point group measured by a radar is projected. Since the three-dimensional object and the road surface area in the captured image are known by the processing in step S13 described above, the two-dimensional grid map 45 is divided into a three-dimensional object cell 47 and a road surface cell 49 as shown in FIG. However, the area where the laser measurement point is not obtained, the area behind the three-dimensional object that cannot be measured because it is a shadow of the three-dimensional object cannot be divided into the three-dimensional object and the road surface, and becomes an unobserved cell 48. .
図８の２次元グリッドマップ４５において、レンジプロファイルに対応する立体物セル４７の手前（カメラ５５寄り）に位置するセルは、路面点を含むセルである。そこで、立体物の接地位置を算出するため、注目しているその立体物に対応する領域（図８における注目セル５０の位置）の手前にある領域で点群情報を探索する。ここでは、図８において符号５３で示す、注目セル５０の手前にある６個のセルからなる領域（路面セル領域ともいう）を探索する。なお、路面セル領域５３は、上記のように６セルからなる広さに限定されず、可能な限り広くとることで誤検出等を防止できる。 In the two-dimensional grid map 45 of FIG. 8, the cell located in front of the three-dimensional object cell 47 corresponding to the range profile (near the camera 55) is a cell including a road surface point. Therefore, in order to calculate the ground contact position of the three-dimensional object, the point cloud information is searched for in an area before the area corresponding to the target three-dimensional object (the position of the target cell 50 in FIG. 8). Here, a region (also referred to as a road surface cell region) composed of six cells in front of the cell of interest 50 indicated by reference numeral 53 in FIG. 8 is searched. Note that the road surface cell region 53 is not limited to the size of 6 cells as described above, and can be prevented from being erroneously detected by taking it as wide as possible.
このように、注目する立体物セル４７（ここでは、注目セル５０）の手前にある路面点を含むセル（路面セル領域５３）を探索して、その領域に含まれる点群の平均高さを算出し、算出された高さを立体物（歩行者）の接地点とする。画像中における歩行者の足元の位置（接地点）が決まれば、後述する探索の範囲をより制限できる。なお、探索する路面セル領域５３に含まれる点群の平均高さに代えて、高さ方向の最小値あるいは最大値を算出して、接地点を決めてもよい。 In this way, the cell (road surface cell region 53) including the road surface point in front of the target three-dimensional object cell 47 (here, the target cell 50) is searched, and the average height of the point group included in the region is determined. The calculated height is set as the ground contact point of the three-dimensional object (pedestrian). If the position of the pedestrian's feet (grounding point) in the image is determined, the search range described later can be more limited. In addition, instead of the average height of the point group included in the road surface cell region 53 to be searched, the minimum value or the maximum value in the height direction may be calculated to determine the contact point.
図９は、上記のようにして算出した接地点を画像に重畳した例を示している。レンジプロファイルに対応した立体物の接地点を算出することによって、図９に示すように、画像の中央部付近にいる横断歩行者や路側物の接地点６１を良好に検出できることが分る。 FIG. 9 shows an example in which the contact point calculated as described above is superimposed on an image. By calculating the ground contact point of the three-dimensional object corresponding to the range profile, as shown in FIG. 9, it can be seen that the ground contact point 61 of the crossing pedestrian and roadside object located near the center of the image can be detected well.
続くステップＳ１９で、中央制御部２０は、探索範囲決定部２７の動作により、立体物を走査する探索枠の位置と大きさを設定する。ここでは、探索範囲決定部２７が、距離情報抽出部２１及び接地点情報抽出部２３からの情報と、画像取得部１７からの画像をもとに、撮影画像中における歩行者の探索範囲を決定する。上述した画像を複数に分割した各列における探索枠の大きさは、上記の式（１）により示されるように、距離情報ｒｊに基づいて決めることができる。また、検出対象である歩行者は、必ず路面に接しているため、図１０に示すように、歩行者の探索枠６５ａ（最大枠）、及び探索枠６５ｂ（最小枠）は、枠の下端中央が接地点６１と一致する位置に限定することができる。なお、画像内での探索枠の位置は、所定の計算によって求めることができる。 In subsequent step S <b> 19, the central control unit 20 sets the position and size of the search frame for scanning the three-dimensional object by the operation of the search range determination unit 27. Here, the search range determination unit 27 determines the pedestrian search range in the captured image based on the information from the distance information extraction unit 21 and the contact point information extraction unit 23 and the image from the image acquisition unit 17. To do. The size of the search frame in each column obtained by dividing the above-described image into a plurality can be determined based on the distance information r j as shown by the above equation (1). Further, since the detection target pedestrian is always in contact with the road surface, as shown in FIG. 10, the search frame 65a (maximum frame) and the search frame 65b (minimum frame) of the pedestrian are at the center of the lower end of the frame. Can be limited to a position that coincides with the grounding point 61. Note that the position of the search frame in the image can be obtained by a predetermined calculation.
上述したように、検出対象とする歩行者の身長Ｈを０．８〜２．０ｍと仮定することで、仮定された身長と距離情報とから探索枠の大きさが決まる。図１０に示す例では、最大の探索枠６５ａを大人の歩行者に対応させ、最小の探索枠６５ｂを子供の歩行者に対応させている。このようにして決定した探索枠をもとに、その枠の範囲内だけを探索することで、効率的に歩行者を検出できる。 As described above, assuming that the height H of the pedestrian to be detected is 0.8 to 2.0 m, the size of the search frame is determined from the assumed height and distance information. In the example shown in FIG. 10, the maximum search frame 65a is associated with an adult pedestrian, and the minimum search frame 65b is associated with a child pedestrian. A pedestrian can be detected efficiently by searching only within the range of the frame based on the search frame determined in this way.
なお、探索範囲決定部２７における立体物走査のための探索枠については、検出対象とする立体物の種類に応じて、その大きさを変えるようにしてもよい。ここでは、検出対象を歩行者としているが、歩行者以外の立体物を検出する場合、その立体物の種類により探索枠の大きさを可変にすることは、検出効率の向上のためにも有効な方法である。 Note that the size of the search frame for scanning the three-dimensional object in the search range determination unit 27 may be changed according to the type of the three-dimensional object to be detected. Here, the detection target is a pedestrian, but when detecting a three-dimensional object other than a pedestrian, changing the size of the search frame depending on the type of the three-dimensional object is also effective for improving detection efficiency. It is a simple method.
中央制御部２０は、ステップＳ２１において、画像探索部２９の動作により、探索範囲決定部２７で限定された歩行者の探索枠から歩行者を識別するため、その探索枠に対して画像特徴量を算出し、その画像特徴量と、予め識別情報記憶部２５に格納された事前の学習で得た識別情報とを比較評価する。ここでは、画像の特徴を抽出する方法として、例えば、Histograms of Oriented Gradients(HOG)を使用して入力画像の勾配を求め、局所領域でエッジ方向ごとにその強度をヒストグラム化した特徴量、あるいは、Haar-like Featuresを使用して輝度に着目した特徴量を算出する。また、画像探索部２９で使用する識別器として、例えば、ＳＶＭ（Support Vector Machine）、Ada-Boost識別器、Decision Tree等を利用する。なお、特徴量や識別器はこれらに限定されず、適宜、最適な特徴量や識別器を使用できることは言うまでもない。 In step S21, the central control unit 20 identifies the pedestrian from the pedestrian search frame limited by the search range determination unit 27 by the operation of the image search unit 29. The image feature amount is calculated and compared with the identification information obtained by the prior learning stored in the identification information storage unit 25 in advance. Here, as a method of extracting the features of the image, for example, using Histograms of Oriented Gradients (HOG), the gradient of the input image is obtained, and the feature amount is histogramd for each edge direction in the local region, or Use Haar-like Features to calculate features that focus on luminance. Further, as a classifier used in the image search unit 29, for example, an SVM (Support Vector Machine), an Ada-Boost classifier, a Decision Tree, or the like is used. Needless to say, the feature quantity and the classifier are not limited to these, and an optimum feature quantity and classifier can be used as appropriate.
ステップＳ２３では、中央制御部２０は、上記ステップＳ２１における比較評価によって得られた評価値と、所定の閾値とを比較し、評価値が閾値以上であれば、ステップＳ２５において、ステップＳ１９で設定した、立体物走査のための探索枠の位置と大きさを所定のリストに登録する。そして、中央制御部２０は、ステップＳ２７で、すべての候補（歩行者の検出対象として抽出された画像）について、比較評価が終了したか否かを判定する。なお、ステップＳ２３で、評価値が閾値よりも小さいと判断された場合は、立体物走査のための探索枠の位置と大きさのリスト登録をせずに、処理をステップＳ２７へ進める。 In step S23, the central control unit 20 compares the evaluation value obtained by the comparative evaluation in step S21 with a predetermined threshold value. If the evaluation value is equal to or greater than the threshold value, the central control unit 20 sets the value in step S19 in step S25. The position and size of the search frame for scanning the three-dimensional object are registered in a predetermined list. And central control part 20 judges whether comparison evaluation was completed about all candidates (an image extracted as a detection target of a pedestrian) at Step S27. If it is determined in step S23 that the evaluation value is smaller than the threshold value, the process proceeds to step S27 without registering a list of the position and size of the search frame for scanning the three-dimensional object.
ステップＳ２７において、すべての候補についての比較評価が終了したと判定された場合、中央制御部２０は、ステップＳ２９で、出力部１９より、上記ステップＳ２５で登録された歩行者リストを出力する。すべての候補についての比較評価が終了していなければ、再度、ステップＳ２１に戻り、中央制御部２０は、算出された画像特徴量と、識別情報記憶部２５に格納された識別情報とを比較評価する処理を繰り返す。 If it is determined in step S27 that the comparative evaluation has been completed for all candidates, the central control unit 20 outputs the pedestrian list registered in step S25 from the output unit 19 in step S29. If comparison evaluation has not been completed for all candidates, the process returns to step S21 again, and the central control unit 20 compares and evaluates the calculated image feature amount and the identification information stored in the identification information storage unit 25. Repeat the process.
次に、本実施形態に係る立体物検出装置におけるレーザ情報に基づく画像探索の効率化について、その有効性を確認した結果について説明する。図１１は、画像探索の効率化による画像認識の性能改善（性能曲線）を示すグラフであり、図１２〜図１４は、画像探索の効率化による画像認識の誤検出除去の結果の一例を示す画像である。図１１において、横軸は誤検出の数（誤検出頻度）、縦軸は検出率（％）であり、性能曲線が図の左上に位置するほど、対象物の認識性能が高いことを意味する。 Next, a result of confirming the effectiveness of the image search efficiency based on the laser information in the three-dimensional object detection device according to the present embodiment will be described. FIG. 11 is a graph showing the performance improvement (performance curve) of image recognition by improving the efficiency of image search, and FIGS. 12 to 14 show examples of the results of false detection and removal of image recognition by improving the efficiency of image search. It is an image. In FIG. 11, the horizontal axis represents the number of false detections (false detection frequency), the vertical axis represents the detection rate (%), and the higher the performance curve is located in the upper left of the figure, the higher the recognition performance of the object. .
図１１中の性能曲線Ａは、従来の全検索、すなわち、検索枠の大きさ及び距離に制限を設けず、すべての範囲で検索したときの検出率である。また、図１２は、従来の全検索を行ったときの誤検出除去に対応する画像である。図１２に示す例では、対象の検索にレーザ情報を使用していないため、歩行者以外の対象物や歩行者の存在しない空の部分にも探索枠が設定されていることが分かる。 A performance curve A in FIG. 11 is a detection rate when a conventional full search, that is, the search frame size and distance are not limited and the search is performed in the entire range. FIG. 12 is an image corresponding to false detection removal when a conventional full search is performed. In the example shown in FIG. 12, since the laser information is not used for the object search, it can be seen that the search frame is also set in the empty part where the object other than the pedestrian and the pedestrian do not exist.
図１１中の性能曲線Ｂ、及び図１３は、対象の検索にレーザ情報を使用し、距離のみによる効率化を図るとともに、枠の大きさにだけ制限をかけたときの例を示している。この場合も、図１３に示すように、歩行者の存在しない空の部分にも探索枠が設定されることが分かる。一方、図１１中の性能曲線Ｃ、及び図１４は、対象の検索にレーザ情報を使用し、かつ距離と接地点とによる効率化を行って画像探索をしたときの例を示している。図１４に示すように、接地点による効率化により、歩行者のみに探索枠が設定され、歩行者の存在しない空の部分には探索枠が設定されないことが分かる。 The performance curve B and FIG. 13 in FIG. 11 show an example in which laser information is used for searching for an object, efficiency is increased only by distance, and only the frame size is limited. Also in this case, as shown in FIG. 13, it can be seen that a search frame is also set in an empty portion where no pedestrian exists. On the other hand, the performance curve C and FIG. 14 in FIG. 11 show an example when the image search is performed by using the laser information for the object search and performing the efficiency by the distance and the contact point. As shown in FIG. 14, it can be seen that the search frame is set only for the pedestrians and the search frame is not set for the empty portion where no pedestrians exist due to the efficiency by the ground contact point.
図１１に示す性能曲線について、例えば、検出率が９０％のとき、全探索の場合、その性能曲線Ａからは誤検出頻度が３．５付近にあることが分かる。また、距離の制約をした場合、その性能曲線Ｂから誤検出頻度が約１．３となるが、距離に加えて接地点の制約をしたときは、その性能曲線Ｃより、誤検出頻度が約０．５と顕著に減少することが分かる。 With respect to the performance curve shown in FIG. 11, for example, when the detection rate is 90%, in the case of full search, it can be seen from the performance curve A that the false detection frequency is around 3.5. Further, when the distance is restricted, the false detection frequency is about 1.3 from the performance curve B. However, when the ground point is restricted in addition to the distance, the false detection frequency is about from the performance curve C. It can be seen that the number is significantly reduced to 0.5.
図１５は、上記の全検索の場合、距離のみによる効率化を図った場合、距離と接地点とによる効率化を行った場合のそれぞれにおける、画像探索に要する計算時間（処理時間）を比較して示す図である。図１５に示すように、距離の制約を用いた場合は、全探索に比べて評価される歩行者の探索枠が小さくなるため、処理時間が大幅に削減できる。また、距離に加えて接地位置に制約を加えた場合には、距離のみの制約時に比べて、処理時間を約１／２にすることができる。 FIG. 15 compares the calculation time (processing time) required for the image search in the case of the above-described all searches, when efficiency is achieved only by the distance, and when efficiency is achieved by the distance and the contact point. FIG. As shown in FIG. 15, when the distance restriction is used, the pedestrian search frame to be evaluated is smaller than that of the full search, so that the processing time can be greatly reduced. In addition, when the grounding position is restricted in addition to the distance, the processing time can be reduced to about ½ compared to the restriction only with the distance.
以上説明したように、本実施形態によれば、画像中における立体物（歩行者）の探索範囲（探索枠）が歩行者の存在する範囲に限定されるので、通常、歩行者の存在しない空の部分を探索したり、あるいは歩行者に該当しない大きさの画像を探索する等の誤検出を確実に防止できる。すなわち、歩行者までの距離と接地点とによって探索枠の大きさと位置を制限することで、歩行者までの距離だけで探索枠の大きさを制限する場合に比べて、歩行者の誤検出を大幅に削減することができる。 As described above, according to the present embodiment, the search range (search frame) of the three-dimensional object (pedestrian) in the image is limited to the range in which the pedestrian exists, and therefore, normally, there is no pedestrian in the sky. It is possible to reliably prevent erroneous detection such as searching for a portion of the above or searching for an image having a size not corresponding to a pedestrian. In other words, by limiting the size and position of the search frame based on the distance to the pedestrian and the ground contact point, pedestrians can be detected more incorrectly than when the size of the search frame is limited only by the distance to the pedestrian. It can be greatly reduced.
より詳細には、検出対象を含む画像を撮影するカメラの各方位（図６のｘ方向の画素単位）に存在する最近傍の歩行者までの距離情報であるレンジプロファイルを生成し、それを用いることで撮影画像の各列において適切な大きさの探索枠を設定できる。その結果、近傍から遠方まで手当たり次第に探索する従来の全探索よりも効率的に歩行者を探索でき、検出対象からみて存在しない大きさ、位置の探索枠を評価しないので、宙に浮いた状態の誤検出、歩行者以外の背景や路面のパターンに起因する誤検出等を大幅に削減できる。また、レーザを用いた効率化により、検出精度（検出率）を維持したまま、誤検出を効果的に減らすことができる。 More specifically, a range profile that is distance information to the nearest pedestrian existing in each direction (pixel unit in the x direction in FIG. 6) of the camera that captures the image including the detection target is generated and used. Thus, a search frame having an appropriate size can be set in each row of the captured image. As a result, it is possible to search for pedestrians more efficiently than the conventional full search that searches from the vicinity to the distance, and does not evaluate the search frame for the size and position that do not exist from the detection target, so it is in a floating state False detection, false detection due to backgrounds other than pedestrians and road surface patterns, etc. can be greatly reduced. Further, the efficiency using a laser can effectively reduce false detection while maintaining the detection accuracy (detection rate).
さらに、立体物（歩行者）探索の際、路面（平面）全体を推定しないため演算量が少なく、平面仮定からずれる場所、例えば、車道脇の段差のある歩道や、勾配変化のある道路に対しても精度よく立体物の接地点位置を検知して、確実な立体物認識が可能となる。言い換えれば、立体物が存在する付近の局所的な領域の路面点をピックアップするので、立体物の検出が勾配や段差に影響されない。 In addition, when searching for three-dimensional objects (pedestrians), the entire road surface (plane) is not estimated, so the amount of calculation is small, and for places that deviate from the plane assumption, such as sidewalks with steps beside the roadway or roads with gradient changes However, it is possible to accurately detect the three-dimensional object by detecting the position of the ground point of the three-dimensional object with high accuracy. In other words, since a road surface point in a local region in the vicinity where the three-dimensional object exists is picked up, the detection of the three-dimensional object is not affected by the gradient or the step.
＜第２の実施形態＞
以下、本発明の第２の実施形態に係る立体物検出装置について説明する。図１６は、第２の実施形態に係る立体物検出装置全体の構成を示すブロック図である。また、図１７は、本実施形態に係る立体物検出装置における立体物の検出手順を示すフローチャートである。なお、図１６において、図１に示す第１の実施形態に係る立体物検出装置と同一構成要素には同一の符号を付して、ここでは、それらの説明を省略する。同様に、図１７に示す立体物の検出手順において、図２に示す第１の実施形態に係る立体物検出装置における立体物の検出手順と同一処理には同一の符号を付して、それらの説明を省略する。
<Second Embodiment>
Hereinafter, the three-dimensional object detection device according to the second embodiment of the present invention will be described. FIG. 16 is a block diagram illustrating a configuration of the entire three-dimensional object detection device according to the second embodiment. FIG. 17 is a flowchart illustrating a procedure for detecting a three-dimensional object in the three-dimensional object detection device according to the present embodiment. In FIG. 16, the same components as those of the three-dimensional object detection device according to the first embodiment shown in FIG. 1 are denoted by the same reference numerals, and description thereof is omitted here. Similarly, in the three-dimensional object detection procedure shown in FIG. 17, the same processes as those of the three-dimensional object detection procedure in the three-dimensional object detection device according to the first embodiment shown in FIG. Description is omitted.
立体物検出装置１１０において立体物検出部として機能する中央制御部１２０は、例えばマイクロプロセッサからなるＣＰＵ(Central Processing Unit)であり、データバスＢを介して接続された、読み取り専用メモリ（ＲＯＭ）である記憶部１１に格納された、立体物の検出制御手順を示す立体物検出プログラム、オペレーティングシステム（ＯＳ）等の基本プログラム等により、装置全体の制御を司るとともに立体物の検出処理を実行する。 The central control unit 120 functioning as a three-dimensional object detection unit in the three-dimensional object detection device 110 is a CPU (Central Processing Unit) made of, for example, a microprocessor, and is a read-only memory (ROM) connected via a data bus B. A solid object detection program indicating a detection control procedure for a three-dimensional object, a basic program such as an operating system (OS), etc. stored in a storage unit 11 controls the entire apparatus and executes a three-dimensional object detection process.
図１６に示す立体物検出装置１１０では、画像取得部１７（例えば、カメラ）を搭載した自車両の計測間における移動、すなわち、前回の計測から今回の計測の間に自車両が移動した運動成分を考慮する。そこで、立体物検出装置１１０の中央制御部１２０は、車両運動取得部１３の動作により、例えば、ジャイロ等の車両運動センサから自車両の運動成分を取得する。なお、運動成分は、ＩＣＰ(Iterative Closest Point)アルゴリズム等を用いて時刻の異なる距離データを照合することで推定してもよい。 In the three-dimensional object detection device 110 illustrated in FIG. 16, movement between measurements of the host vehicle on which the image acquisition unit 17 (for example, a camera) is mounted, that is, a motion component that the host vehicle has moved between the previous measurement and the current measurement. Consider. Therefore, the central control unit 120 of the three-dimensional object detection device 110 acquires the motion component of the host vehicle from a vehicle motion sensor such as a gyro, for example, by the operation of the vehicle motion acquisition unit 13. The motion component may be estimated by collating distance data at different times using an ICP (Iterative Closest Point) algorithm or the like.
また、中央制御部１２０は、環境マップ生成部２４の動作により、測距データ取得部１５としての高解像度レーザレーダで取得された計測点群（３次元点群）を、不図示の記憶領域に用意したグリッドマップ上に随時、蓄積する。具体的には、レーザによる１回の走査（スキャン）では、走査されない隙間ができて、グリッドマップ上に３次元点群の存在しないセルも出てくる。そこで、立体物検出装置１１０における立体物（歩行者）の検出処理（図１７のステップＳ１４）では、時間的に連続して３次元情報をグリッドマップ上に溜め込むため、車両運動取得部１３から入力される運動成分をもとに、自車両の動きを考慮しながら３次元点群を蓄積する。こうすることで、グリッドマップ上における３次元点群の密度が増し、検出対象である歩行者に対して点群のぬけをなくすことができる。 In addition, the central control unit 120 stores the measurement point group (three-dimensional point group) acquired by the high-resolution laser radar as the distance measurement data acquisition unit 15 in a storage area (not shown) by the operation of the environment map generation unit 24. Accumulate from time to time on the prepared grid map. Specifically, in one scan (scan) with a laser, a gap that is not scanned is formed, and cells that do not have a three-dimensional point group appear on the grid map. Therefore, in the three-dimensional object (pedestrian) detection process (step S14 in FIG. 17) in the three-dimensional object detection device 110, three-dimensional information is accumulated on the grid map continuously in time, and therefore input from the vehicle motion acquisition unit 13. A three-dimensional point cloud is accumulated based on the motion component that is taken into account while taking into account the movement of the host vehicle. By doing so, the density of the three-dimensional point group on the grid map increases, and it is possible to eliminate the point group for the pedestrian that is the detection target.
中央制御部１２０は、高さ情報抽出部２２の動作により、上述したレンジプロファイルに対応した立体物（歩行者）の高さを抽出する。より具体的には、図１７のステップＳ１８において、中央制御部２０は、図８に示す、上述した第１の実施形態に係る立体物検出装置における注目セル５０のように、レンジプロファイルに対応した立体物セルに含まれる点群の高さ方向の分布幅を算出する。なお、レーザレーダで抽出される計測点群は、図１８に示すように垂直方向に離散的である。そのため、必ずしも検出対象である歩行者の足元から頭部までの正確な高さを計測できない。つまり、レーザレーダと歩行者との距離が離れるほど、計測点群の幅と立体物の高さとの差が大きくなる。 The central control unit 120 extracts the height of the three-dimensional object (pedestrian) corresponding to the above-described range profile by the operation of the height information extraction unit 22. More specifically, in step S18 in FIG. 17, the central control unit 20 corresponds to the range profile as in the attention cell 50 in the three-dimensional object detection device according to the first embodiment shown in FIG. 8 described above. The distribution width in the height direction of the point group included in the three-dimensional object cell is calculated. Note that the measurement point group extracted by the laser radar is discrete in the vertical direction as shown in FIG. Therefore, it is not always possible to measure the exact height from the feet of the pedestrian that is the detection target to the head. That is, as the distance between the laser radar and the pedestrian increases, the difference between the width of the measurement point group and the height of the three-dimensional object increases.
そこで、高さ情報抽出部２２では、図１８に示すように、歩行者の足元側と頭部側に、レーザレーダのスキャンラインの垂直方向の間隔を加味したマージンΔｈを付ける。この場合、垂直方向の解像度と歩行者までの距離とに基づいて、マージンΔｈを算出する。そして、中央制御部１２０は、探索範囲決定部２７の動作により、距離情報抽出部２１、及び接地点情報抽出部２３からの情報、画像取得部１７からの画像、さらに、高さ情報抽出部２２からの高さ情報をもとに、歩行者を走査する探索枠の位置と大きさを設定し、撮影画像中における歩行者の探索範囲の上限を制限する。 Therefore, as shown in FIG. 18, the height information extraction unit 22 adds a margin Δh to the pedestrian's foot side and head side in consideration of the vertical interval of the scan line of the laser radar. In this case, the margin Δh is calculated based on the vertical resolution and the distance to the pedestrian. The central control unit 120 operates the search range determination unit 27 to perform information from the distance information extraction unit 21 and the contact point information extraction unit 23, an image from the image acquisition unit 17, and a height information extraction unit 22. The position and size of the search frame for scanning the pedestrian is set based on the height information from the pedestrian, and the upper limit of the pedestrian search range in the captured image is limited.
高さ情報抽出部２２で抽出した歩行者の高さ情報（図１８のｈ）から、歩行者の頭部の位置を推定することも可能である。歩行者の頭部位置が分かれば、探索枠をさらに小さくすることができ、画像探索に要する計算時間も短縮できる。 It is also possible to estimate the position of the pedestrian's head from the pedestrian's height information extracted by the height information extraction unit 22 (h in FIG. 18). If the head position of the pedestrian is known, the search frame can be further reduced, and the calculation time required for the image search can be shortened.
このように第２の実施形態に係る立体物検出装置は、レーザレーダで取得された計測点群を、グリッドマップ上に随時、蓄積することで、１回の計測ではレーザのスキャンラインが当たらない領域に対しても情報が得られ、歩行者の推定精度を向上できる。また、数ラインのスキャンラインを持つレーザレーダであっても、解像度の高いレーダを使用したときと同様の立体物検出結果を生成できる。 As described above, the three-dimensional object detection apparatus according to the second embodiment accumulates the measurement point group acquired by the laser radar on the grid map at any time, so that the laser scan line does not hit in one measurement. Information is also obtained for the area, and the estimation accuracy of the pedestrian can be improved. In addition, even a laser radar having several scan lines can generate the same three-dimensional object detection result as when a high-resolution radar is used.
また、高さ情報抽出部において、レンジプロファイルに対応した立体物セルに含まれる点群の高さ方向の分布幅を算出して、歩行者の高さ情報を抽出することで、距離と接地点に加えて、高さも加味して探索領域を効率的に絞り込むことができ、歩行者検出の精度をさらに向上できる。 In addition, the height information extraction unit calculates the distribution width in the height direction of the point cloud included in the three-dimensional object cell corresponding to the range profile, and extracts the pedestrian height information, so that the distance and the ground contact point are extracted. In addition, the search area can be efficiently narrowed in consideration of the height, and the accuracy of pedestrian detection can be further improved.
１０，１１０ 立体物検出装置
１１ 記憶部
１１ａ 立体物検出プログラム
１２ メモリ
１３ 車両運動取得部
１５ 測距データ取得部
１７ 画像取得部
１９ 出力部
２０，１２０ 中央制御部（ＣＰＵ）
２１ 距離情報抽出部
２２ 高さ情報抽出部
２３ 接地点情報抽出部
２４ 環境マップ生成部
２５ 識別情報記憶部
２７ 探索範囲決定部
２９ 画像探索部
DESCRIPTION OF SYMBOLS 10,110 Three-dimensional object detection apparatus 11 Storage part 11a Three-dimensional object detection program 12 Memory 13 Vehicle motion acquisition part 15 Distance data acquisition part 17 Image acquisition part 19 Output part 20,120 Central control part (CPU)
21 Distance information extraction unit 22 Height information extraction unit 23 Grounding point information extraction unit 24 Environment map generation unit 25 Identification information storage unit 27 Search range determination unit 29 Image search unit
Claims (8)
自車両周辺環境の３次元距離情報を取得する距離情報取得手段と、
前記撮影手段で撮影された画像、及び前記距離情報取得手段で取得した３次元距離情報に基づいて前記自車両周辺環境に存在する立体物までの距離情報を抽出する距離情報抽出手段と、
前記３次元距離情報を、前記立体物を示す３次元距離情報である立体物情報と、平面を示す３次元距離情報である平面情報とに分割し、前記立体物情報、及び注目する立体物周辺の所定領域に対応する前記平面情報に基づいて該立体物が該平面に接する接地点位置を抽出する接地点位置抽出手段と、
前記距離情報抽出手段で抽出された距離情報と、前記接地点位置抽出手段で抽出された接地点位置とに基づいて、前記撮影手段で撮影された画像内における前記立体物の探索範囲を決定する探索範囲決定手段と、
前記探索範囲決定手段で決定された探索範囲から路面上の立体物を検出する立体物検出手段と、
を備える立体物検出装置。 Photographing means for photographing an image of the environment around the vehicle;
Distance information acquisition means for acquiring three-dimensional distance information of the surrounding environment of the vehicle;
Distance information extracting means for extracting distance information to a three-dimensional object existing in the surrounding environment of the host vehicle based on the image photographed by the photographing means and the three-dimensional distance information obtained by the distance information obtaining means;
The three-dimensional distance information is divided into three-dimensional object information, which is three-dimensional distance information indicating the three-dimensional object, and plane information, which is three-dimensional distance information indicating a plane, and the three-dimensional object information and the surrounding three-dimensional object of interest Grounding point position extracting means for extracting a grounding point position where the three-dimensional object is in contact with the plane based on the plane information corresponding to the predetermined area;
Based on the distance information extracted by the distance information extraction unit and the contact point position extracted by the contact point position extraction unit, a search range for the three-dimensional object in the image photographed by the photographing unit is determined. A search range determination means;
A three-dimensional object detection means for detecting a three-dimensional object on the road surface from the search range determined by the search range determination means;
A three-dimensional object detection apparatus.
請求項１に記載の立体物検出装置。 The three-dimensional object detection device according to claim 1, wherein the contact point position extraction unit acquires the three-dimensional object information and the plane information by expanding the three-dimensional distance information into a two-dimensional grid map.
前記探索範囲決定手段は、前記距離情報抽出手段で抽出された距離情報と、前記接地点位置抽出手段で抽出された接地点位置と、前記高さ情報抽出手段で抽出された高さ情報とに基づいて、前記撮影手段で撮影された画像内における前記立体物の探索範囲を決定する
請求項１又は請求項２に記載の立体物検出装置。 Further comprising height information extraction means for extracting height information of the three-dimensional object based on the distribution of the three-dimensional distance information;
The search range determining means includes distance information extracted by the distance information extracting means, a contact point position extracted by the contact point position extracting means, and height information extracted by the height information extracting means. The three-dimensional object detection device according to claim 1, wherein a search range of the three-dimensional object in an image photographed by the photographing unit is determined based on the three-dimensional object detection device.
前記運動成分取得手段で取得した運動成分を考慮しながら、前記距離情報取得手段で取得した３次元距離情報を時間的に蓄積する３次元距離情報蓄積手段と、をさらに備え、
前記距離情報抽出手段は、前記３次元距離情報蓄積手段で蓄積された３次元距離情報に基づいて前記自車両周辺環境に存在する立体物までの距離情報を抽出し、前記接地点位置抽出手段は、該蓄積された３次元距離情報に基づいて前記立体物が平面に接する接地点位置を抽出し、前記高さ情報抽出手段は、該蓄積された３次元距離情報の分布に基づいて前記立体物の高さ情報を抽出する
請求項３に記載の立体物検出装置。 Motion component acquisition means for acquiring a motion component accompanying movement of the host vehicle;
3D distance information storage means for temporally storing the 3D distance information acquired by the distance information acquisition means while taking into account the motion component acquired by the motion component acquisition means,
The distance information extracting means extracts distance information to a three-dimensional object existing in the surrounding environment of the host vehicle based on the three-dimensional distance information accumulated by the three-dimensional distance information accumulating means, and the contact point position extracting means Extracting a grounding point position where the three-dimensional object is in contact with a plane based on the accumulated three-dimensional distance information, and the height information extracting means is configured to extract the three-dimensional object based on the distribution of the accumulated three-dimensional distance information. The three-dimensional object detection device according to claim 3, wherein height information is extracted.
請求項１から請求項４のいずれか１項に記載の立体物検出装置。 The three-dimensional object detection device according to any one of claims 1 to 4, wherein the search range determining unit changes a search range of the three-dimensional object according to a type of the three-dimensional object.
請求項５に記載の立体物検出装置。 The three-dimensional object detection apparatus according to claim 5, wherein the three-dimensional object is a pedestrian, and the search range determination unit determines the search range by estimating a head position of the pedestrian.
請求項１から請求項６のいずれか１項に記載の立体物検出装置。 The distance information extracted by the distance information extraction unit indicates a distance to the nearest three-dimensional object existing in a predetermined rectangular area at each scanning position by the distance information acquisition unit. The three-dimensional object detection apparatus according to item 1.
撮影手段で撮影された画像、及び距離情報取得手段で取得した３次元距離情報に基づいて自車両周辺環境に存在する立体物までの距離情報を抽出する距離情報抽出手段、
前記３次元距離情報を、立体物を示す３次元距離情報である立体物情報と、平面を示す３次元距離情報である平面情報とに分割し、前記立体物情報、及び注目する立体物周辺の所定領域に対応する前記平面情報に基づいて該立体物が該平面に接する接地点位置を抽出する接地点位置抽出手段、
前記距離情報抽出手段で抽出された距離情報と、前記接地点位置抽出手段で抽出された接地点位置とに基づいて、撮影手段で撮影された画像内における前記立体物の探索範囲を決定する探索範囲決定手段、
前記探索範囲決定手段で決定された探索範囲から路面上の立体物を検出する立体物検出手段、
として機能させるための立体物検出プログラム。 Computer
Distance information extracting means for extracting distance information to a three-dimensional object existing in the surrounding environment of the vehicle based on the image photographed by the photographing means and the three-dimensional distance information obtained by the distance information obtaining means;
The three-dimensional distance information is divided into three-dimensional object information, which is three-dimensional distance information indicating a three-dimensional object, and plane information, which is three-dimensional distance information indicating a plane. A grounding point position extracting means for extracting a grounding point position where the three-dimensional object is in contact with the plane based on the plane information corresponding to a predetermined area;
A search for determining a search range of the three-dimensional object in an image photographed by the photographing means based on the distance information extracted by the distance information extracting means and the ground point position extracted by the ground point position extracting means. Range determination means,
A three-dimensional object detection means for detecting a three-dimensional object on the road surface from the search range determined by the search range determination means;
Program for detecting three-dimensional objects.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012000675A JP2013140515A (en) | 2012-01-05 | 2012-01-05 | Solid object detection device and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012000675A JP2013140515A (en) | 2012-01-05 | 2012-01-05 | Solid object detection device and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2013140515A true JP2013140515A (en) | 2013-07-18 |
Family
ID=49037888
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012000675A Pending JP2013140515A (en) | 2012-01-05 | 2012-01-05 | Solid object detection device and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2013140515A (en) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104318954A (en) * | 2014-09-23 | 2015-01-28 | 汤淼 | Method for permanently storing data and stereo information carrier |
| JP2016535377A (en) * | 2013-10-02 | 2016-11-10 | コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングＣｏｎｔｉ Ｔｅｍｉｃ ｍｉｃｒｏｅｌｅｃｔｒｏｎｉｃ ＧｍｂＨ | Method and apparatus for displaying the periphery of a vehicle, and driver assistant system |
| JP2017203766A (en) * | 2016-05-10 | 2017-11-16 | 株式会社デンソー | Three-dimensional object detection processing device |
| JP2018101200A (en) * | 2016-12-19 | 2018-06-28 | 日立オートモティブシステムズ株式会社 | Object detection device |
| US10140526B2 (en) | 2014-08-26 | 2018-11-27 | Hitachi Automotive Systems, Ltd. | Object detecting device |
| KR20190082060A (en) * | 2017-12-29 | 2019-07-09 | 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 | Method and apparatus for generating grid maps |
| CN112286178A (en) * | 2019-07-24 | 2021-01-29 | 本田技研工业株式会社 | Identification system, vehicle control system, identification method, and storage medium |
| JP7034231B1 (en) | 2020-10-20 | 2022-03-11 | 三菱電機株式会社 | Vehicle position detection device and vehicle position detection method |
| WO2022085369A1 (en) * | 2020-10-22 | 2022-04-28 | パナソニック株式会社 | Pedestrian device, information collection device, base station device, positioning method, user management method, information collection method, and facility monitoring method |
| CN114762019A (en) * | 2019-12-17 | 2022-07-15 | 日立安斯泰莫株式会社 | Camera system |
| JP7417465B2 (en) | 2020-05-07 | 2024-01-18 | 株式会社トヨタマップマスター | Information processing device, information processing method, and information processing program |
| JP7417466B2 (en) | 2020-05-07 | 2024-01-18 | 株式会社トヨタマップマスター | Information processing device, information processing method, and information processing program |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10143659A (en) * | 1996-11-06 | 1998-05-29 | Komatsu Ltd | Object detector |
| JP2000329852A (en) * | 1999-05-17 | 2000-11-30 | Nissan Motor Co Ltd | Obstacle recognition device |
| JP2001052171A (en) * | 1999-08-06 | 2001-02-23 | Nissan Motor Co Ltd | Surrounding environment recognizing device |
| JP2002157697A (en) * | 2000-11-21 | 2002-05-31 | Mazda Motor Corp | Controller for vehicle |
| JP2003058997A (en) * | 2001-08-09 | 2003-02-28 | Nissan Motor Co Ltd | Traveling road environment detecting device |
| JP2008026997A (en) * | 2006-07-18 | 2008-02-07 | Denso Corp | Pedestrian recognition device and pedestrian recognition method |
| WO2008139529A1 (en) * | 2007-04-27 | 2008-11-20 | Honda Motor Co., Ltd. | Vehicle periphery monitoring system, vehicle periphery monitoring program and vehicle periphery monitoring method |
| US20100020074A1 (en) * | 2006-10-30 | 2010-01-28 | Lukasz Piotr Taborowski | Method and apparatus for detecting objects from terrestrial based mobile mapping data |
| JP2010160777A (en) * | 2008-12-12 | 2010-07-22 | Toyota Central R&D Labs Inc | Map generation device, track estimation device, movable area estimation device and program |
| US20120081542A1 (en) * | 2010-10-01 | 2012-04-05 | Andong University Industry-Academic Cooperation Foundation | Obstacle detecting system and method |
| JP2012242247A (en) * | 2011-05-19 | 2012-12-10 | Honda Motor Co Ltd | Object detector |
-
2012
- 2012-01-05 JP JP2012000675A patent/JP2013140515A/en active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10143659A (en) * | 1996-11-06 | 1998-05-29 | Komatsu Ltd | Object detector |
| JP2000329852A (en) * | 1999-05-17 | 2000-11-30 | Nissan Motor Co Ltd | Obstacle recognition device |
| JP2001052171A (en) * | 1999-08-06 | 2001-02-23 | Nissan Motor Co Ltd | Surrounding environment recognizing device |
| JP2002157697A (en) * | 2000-11-21 | 2002-05-31 | Mazda Motor Corp | Controller for vehicle |
| JP2003058997A (en) * | 2001-08-09 | 2003-02-28 | Nissan Motor Co Ltd | Traveling road environment detecting device |
| JP2008026997A (en) * | 2006-07-18 | 2008-02-07 | Denso Corp | Pedestrian recognition device and pedestrian recognition method |
| US20100020074A1 (en) * | 2006-10-30 | 2010-01-28 | Lukasz Piotr Taborowski | Method and apparatus for detecting objects from terrestrial based mobile mapping data |
| WO2008139529A1 (en) * | 2007-04-27 | 2008-11-20 | Honda Motor Co., Ltd. | Vehicle periphery monitoring system, vehicle periphery monitoring program and vehicle periphery monitoring method |
| JP2010160777A (en) * | 2008-12-12 | 2010-07-22 | Toyota Central R&D Labs Inc | Map generation device, track estimation device, movable area estimation device and program |
| US20120081542A1 (en) * | 2010-10-01 | 2012-04-05 | Andong University Industry-Academic Cooperation Foundation | Obstacle detecting system and method |
| JP2012242247A (en) * | 2011-05-19 | 2012-12-10 | Honda Motor Co Ltd | Object detector |
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016535377A (en) * | 2013-10-02 | 2016-11-10 | コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングＣｏｎｔｉ Ｔｅｍｉｃ ｍｉｃｒｏｅｌｅｃｔｒｏｎｉｃ ＧｍｂＨ | Method and apparatus for displaying the periphery of a vehicle, and driver assistant system |
| US10140526B2 (en) | 2014-08-26 | 2018-11-27 | Hitachi Automotive Systems, Ltd. | Object detecting device |
| CN104318954A (en) * | 2014-09-23 | 2015-01-28 | 汤淼 | Method for permanently storing data and stereo information carrier |
| JP2017203766A (en) * | 2016-05-10 | 2017-11-16 | 株式会社デンソー | Three-dimensional object detection processing device |
| US11024051B2 (en) | 2016-12-19 | 2021-06-01 | Hitachi Automotive Systems, Ltd. | Object detection device |
| JP2018101200A (en) * | 2016-12-19 | 2018-06-28 | 日立オートモティブシステムズ株式会社 | Object detection device |
| WO2018116841A1 (en) * | 2016-12-19 | 2018-06-28 | 日立オートモティブシステムズ株式会社 | Object detection device |
| US11030803B2 (en) | 2017-12-29 | 2021-06-08 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and apparatus for generating raster map |
| KR20190082060A (en) * | 2017-12-29 | 2019-07-09 | 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 | Method and apparatus for generating grid maps |
| JP7068989B2 (en) | 2017-12-29 | 2022-05-17 | バイドゥ オンライン ネットワーク テクノロジー（ペキン） カンパニー リミテッド | How to create a grid map and equipment |
| KR102235827B1 (en) * | 2017-12-29 | 2021-04-07 | 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 | Method and apparatus for generating grid maps |
| JP2019120927A (en) * | 2017-12-29 | 2019-07-22 | バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド | Method and device for creating grid map |
| CN112286178B (en) * | 2019-07-24 | 2023-12-01 | 本田技研工业株式会社 | Identification system, vehicle control system, identification method, and storage medium |
| JP2021021967A (en) * | 2019-07-24 | 2021-02-18 | 本田技研工業株式会社 | Recognition system, vehicle control system, recognition method, and program |
| JP7165630B2 (en) | 2019-07-24 | 2022-11-04 | 本田技研工業株式会社 | Recognition system, vehicle control system, recognition method, and program |
| CN112286178A (en) * | 2019-07-24 | 2021-01-29 | 本田技研工业株式会社 | Identification system, vehicle control system, identification method, and storage medium |
| CN114762019A (en) * | 2019-12-17 | 2022-07-15 | 日立安斯泰莫株式会社 | Camera system |
| JP7417465B2 (en) | 2020-05-07 | 2024-01-18 | 株式会社トヨタマップマスター | Information processing device, information processing method, and information processing program |
| JP7417466B2 (en) | 2020-05-07 | 2024-01-18 | 株式会社トヨタマップマスター | Information processing device, information processing method, and information processing program |
| JP7034231B1 (en) | 2020-10-20 | 2022-03-11 | 三菱電機株式会社 | Vehicle position detection device and vehicle position detection method |
| CN114379562A (en) * | 2020-10-20 | 2022-04-22 | 三菱电机株式会社 | Vehicle position detection device and vehicle position detection method |
| JP2022067169A (en) * | 2020-10-20 | 2022-05-06 | 三菱電機株式会社 | Vehicle position detector, and vehicle position detecting method |
| CN114379562B (en) * | 2020-10-20 | 2024-05-10 | 三菱电机株式会社 | Vehicle position detection device and vehicle position detection method |
| WO2022085369A1 (en) * | 2020-10-22 | 2022-04-28 | パナソニック株式会社 | Pedestrian device, information collection device, base station device, positioning method, user management method, information collection method, and facility monitoring method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2013140515A (en) | Solid object detection device and program | |
| JP5407898B2 (en) | Object detection apparatus and program | |
| US10169667B2 (en) | External environment recognizing device for vehicle and vehicle behavior control device | |
| US8867790B2 (en) | Object detection device, object detection method, and program | |
| US9047518B2 (en) | Method for the detection and tracking of lane markings | |
| JP5251800B2 (en) | Object tracking device and program | |
| JP5136504B2 (en) | Object identification device | |
| CN110543807B (en) | Method for verifying obstacle candidates | |
| CN107750213B (en) | Front vehicle collision warning device and warning method | |
| JPWO2017090326A1 (en) | Image processing apparatus, imaging apparatus, device control system, distribution data generation method, and program | |
| JP6021689B2 (en) | Vehicle specification measurement processing apparatus, vehicle specification measurement method, and program | |
| WO2017130640A1 (en) | Image processing device, imaging device, mobile entity apparatus control system, image processing method, and program | |
| JP6226368B2 (en) | Vehicle monitoring apparatus and vehicle monitoring method | |
| JP6687039B2 (en) | Object detection device, device control system, imaging device, object detection method, and program | |
| JP6846230B2 (en) | In-vehicle control device and in-vehicle environment recognition device | |
| JP2011134207A (en) | Drive recorder and map generation system | |
| JPWO2017145634A1 (en) | Image processing apparatus, imaging apparatus, mobile device control system, image processing method, and program | |
| JP6069938B2 (en) | Pop-up detection device | |
| JP2009245042A (en) | Traffic flow measurement device and program | |
| CN108629225B (en) | Vehicle detection method based on multiple sub-images and image significance analysis | |
| JP2012203884A (en) | Jumping-out pedestrian determining device and program | |
| EP3410345B1 (en) | Information processing apparatus and non-transitory recording medium storing thereon a computer program | |
| US10614323B2 (en) | Scene analysis method and visual navigation device | |
| JP5981284B2 (en) | Object detection device and object detection method | |
| JP6431299B2 (en) | Vehicle periphery monitoring device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141010 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150626 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150707 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150904 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160209 |