JP7332731B1 - External recognition device - Google Patents
External recognition device Download PDFInfo
- Publication number
- JP7332731B1 JP7332731B1 JP2022022672A JP2022022672A JP7332731B1 JP 7332731 B1 JP7332731 B1 JP 7332731B1 JP 2022022672 A JP2022022672 A JP 2022022672A JP 2022022672 A JP2022022672 A JP 2022022672A JP 7332731 B1 JP7332731 B1 JP 7332731B1
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- road
- detection area
- unit
- external world
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 claims abstract description 128
- 238000010586 diagram Methods 0.000 description 13
- 238000000034 method Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
【課題】処理負荷を低減しつつ、車両周囲の外界状況を精度よく認識する。【解決手段】外界認識装置50は、自車両の周囲に電磁波を照射して自車両の周囲の外界状況を検出するライダ5と、自車両の進行方向の道路構造を認識する道路認識部111と、道路認識部111により認識された道路構造に基づいて、ライダ5から照射される電磁波の照射方向に対し略垂直な方向の平面上に、進行方向に沿って所定距離毎に検出領域を画定する画定部112と、画定部112により画定された検出領域内に、予め定められた検出対象の大きさに基づいてライダ5の照射位置を設定する設定部113と、を備える。画定部112は、自車両から検出領域までの距離と道路認識部111により認識された道路構造とに基づいて検出領域の大きさを決定し、決定した大きさに従って検出領域を画定する。【選択図】図2An object of the present invention is to accurately recognize an external situation around a vehicle while reducing processing load. An external world recognition device (50) includes a rider (5) that irradiates electromagnetic waves around the own vehicle to detect external conditions around the own vehicle, and a road recognition unit (111) that recognizes the road structure in the traveling direction of the own vehicle. , based on the road structure recognized by the road recognition unit 111, a detection area is demarcated at predetermined distance intervals along the traveling direction on a plane substantially perpendicular to the irradiation direction of the electromagnetic wave emitted from the lidar 5. A defining unit 112 and a setting unit 113 that sets an irradiation position of the rider 5 within the detection area defined by the defining unit 112 based on a predetermined size of a detection target. The defining unit 112 determines the size of the detection area based on the distance from the vehicle to the detection area and the road structure recognized by the road recognition unit 111, and defines the detection area according to the determined size. [Selection drawing] Fig. 2
Description
本発明は、車両の外界状況を認識する外界認識装置に関する。 The present invention relates to an external world recognition device for recognizing the external world situation of a vehicle.
この種の装置として、従来、自律走行時の処理負荷を低減するように、自車両から検出された物体までの距離や物体の位置に応じて注視すべきエリアを決定し、自車両に搭載された複数の車載カメラのうち、該エリアに対応する車載カメラのみからの情報を自律走行に使用するようにした装置が提案されている(例えば特許文献1参照)。
As this type of device, conventionally, in order to reduce the processing load during autonomous driving, the area to be observed is determined according to the distance from the own vehicle to the detected object and the position of the object, and the area to be watched is determined. A device has been proposed in which information from only one of a plurality of on-board cameras corresponding to the area is used for autonomous driving (see
ところで、良好な自律走行を行うためには、車両周囲における外界状況を十分に認識する必要がある。しかしながら、上記特許文献1記載の装置では、注視すべきエリアが一部の領域に限定されるため、必要な外界状況の情報が得られず、自律走行を良好に行うことができないおそれがある。
By the way, in order to perform good autonomous driving, it is necessary to fully recognize the external conditions around the vehicle. However, with the device described in
本発明の一態様である外界認識装置は、自車両の周囲に電磁波を照射して自車両の周囲の外界状況を検出する車載検出器と、自車両の進行方向の道路構造を認識する道路認識部と、道路認識部により認識された道路構造に基づいて、車載検出器から照射される電磁波の照射方向に対し略垂直な方向の平面上に、進行方向に沿って所定距離毎に検出領域を画定する画定部と、画定部により画定された検出領域内に、予め定められた検出対象の大きさに基づいて車載検出器の照射位置を設定する設定部と、を備える。画定部は、自車両から検出領域までの距離と道路認識部により認識された道路構造とに基づいて検出領域の大きさを決定し、決定した大きさに従って検出領域を画定し、設定部は、予め定められた検出対象の大きさと、検出領域の自車両からの距離とに基づき、検出領域に対応する角度分解能を算出し、角度分解能に基づき検出領域を左右方向に分割して得られる各矩形領域に、車載検出器の照射位置を対応付ける。
An external world recognition device, which is one aspect of the present invention, includes an in-vehicle detector that emits electromagnetic waves around the own vehicle to detect the external world situation around the own vehicle, and a road recognition device that recognizes the road structure in the traveling direction of the own vehicle. and the road structure recognized by the road recognition unit, on a plane substantially perpendicular to the irradiation direction of the electromagnetic wave emitted from the vehicle-mounted detector, along the direction of travel, a detection area is set at every predetermined distance. and a setting unit configured to set an irradiation position of the vehicle-mounted detector based on a predetermined size of a detection target within the detection area defined by the defining unit. The defining unit determines the size of the detection area based on the distance from the vehicle to the detection area and the road structure recognized by the road recognition unit, and defines the detection area according to the determined size. Angular resolution corresponding to the detection area is calculated based on the predetermined size of the detection target and the distance of the detection area from the own vehicle, and each rectangle obtained by dividing the detection area horizontally based on the angular resolution. The area is associated with the irradiation position of the vehicle-mounted detector .
本発明によれば、処理負荷を低減しつつ、車両周囲の外界状況を精度よく認識できる。 Advantageous Effects of Invention According to the present invention, it is possible to accurately recognize the external situation around the vehicle while reducing the processing load.
以下、図1A~図6を参照して本発明の実施形態について説明する。本発明の実施形態に係る外界認識装置は、自動運転機能を有する車両、すなわち自動運転車両に適用することができる。なお、本実施形態に係る外界認識装置が適用される車両を、他車両と区別して自車両と呼ぶことがある。自車両は、内燃機関(エンジン)を走行駆動源として有するエンジン車両、走行モータを走行駆動源として有する電気自動車、エンジンと走行モータとを走行駆動源として有するハイブリッド車両のいずれであってもよい。自車両は、ドライバによる運転操作が不要な自動運転モードでの走行だけでなく、ドライバの運転操作による手動運転モードでの走行も可能である。 Embodiments of the present invention will now be described with reference to FIGS. 1A to 6. FIG. The external world recognition device according to the embodiment of the present invention can be applied to a vehicle having an automatic driving function, that is, an automatic driving vehicle. A vehicle to which the external world recognition device according to the present embodiment is applied may be called an own vehicle to distinguish it from other vehicles. The host vehicle may be any of an engine vehicle having an internal combustion engine (engine) as a drive source, an electric vehicle having a drive motor as a drive source, and a hybrid vehicle having both an engine and a drive motor as drive sources. The self-vehicle can run not only in an automatic driving mode that does not require driving operations by the driver, but also in a manual driving mode that requires driving operations by the driver.
自動運転車両は、自動運転モードでの走行(以下、自動走行または自律走行と呼ぶ。)時、カメラやライダ(LiDAR:Light Detection and Ranging)等の車載検出器の検出データに基づき自車両の周囲の外界状況を認識する。自動運転車両は、その認識結果に基づいて、現時点から所定時間先の走行軌道(目標軌道)を生成し、目標軌道に沿って自車両が走行するように走行用アクチュエータを制御する。 When driving in autonomous driving mode (hereinafter referred to as automatic driving or autonomous driving), an autonomous vehicle detects the surroundings of the vehicle based on detection data from on-board detectors such as cameras and lidar (LiDAR: Light Detection and Ranging). to recognize the external world situation. Based on the recognition result, the autonomous vehicle generates a travel trajectory (target trajectory) for a predetermined time from the current time, and controls the travel actuator so that the vehicle travels along the target trajectory.
図1Aは、自動運転車両である自車両101が道路RDを走行する様子を示す図である。図1Bは、自車両101に搭載されたライダにより得られた検出データ(特徴点)の一例を示す図である。特徴点とは、物体の特徴的な箇所のことであり、例えばエッジの交点(建物の角や道路標識の角)などである。また、図1Bに示すような複数の特徴点で構成されたデータを、点群データと呼ぶ。図1Bには、図1Aの地点に対応する点群データが示されている。自車両101は、図1Bに示すような点群データに基づいて車両周囲の外界状況、より詳細には車両周囲の道路構造や物体を認識し、その認識結果に基づいて目標軌道を生成する。
FIG. 1A is a diagram showing how a self-
ところで、車両周囲の外界状況を十分に認識する方法として、ライダ等の車載検出器から照射される電磁波の照射点数を増やすことが考えられる。一方で、照射点数を増やすと、車載検出器を制御するための処理負荷や、車載検出器により得られる検出データ(点群データ)の容量が増大するおそれがある。特に、図1Bに示すように、道路脇に物体(樹木の他、人や建物など)が多く存在する状況では、点群データの容量がさらに増大する。また、このような問題に対処しようとすると装置の規模を増大させるおそれがある。この点を考慮して、本実施形態では以下のように車両制御装置を構成する。 By the way, as a method of sufficiently recognizing the external environment around the vehicle, it is conceivable to increase the number of irradiation points of electromagnetic waves emitted from an on-vehicle detector such as a lidar. On the other hand, increasing the number of irradiation points may increase the processing load for controlling the vehicle-mounted detector and the amount of detection data (point cloud data) obtained by the vehicle-mounted detector. In particular, as shown in FIG. 1B, in situations where there are many objects (people, buildings, etc. in addition to trees) on the side of the road, the volume of point cloud data further increases. Moreover, when trying to deal with such problems, there is a risk of increasing the scale of the apparatus. In consideration of this point, in the present embodiment, the vehicle control device is configured as follows.
図2は、本発明の実施形態に係る車両制御装置100の要部構成を示すブロック図である。この車両制御装置100は、コントローラ10と、通信ユニット1と、測位ユニット2と、内部センサ群3と、カメラ4と、ライダ5と、走行用のアクチュエータACとを有する。また、車両制御装置100は、車両制御装置100の一部を構成する外界認識装置50を有する。外界認識装置50は、カメラ4やライダ5等の車載検出器の検出データに基づいて、自車両101の外界の状況、より具体的には、自車両101の周囲の道路構造や物体を認識するものである。
FIG. 2 is a block diagram showing the essential configuration of the
通信ユニット1は、インターネット網や携帯電話網等に代表される無線通信網を含むネットワークを介して図示しない各種サーバと通信し、地図情報、走行履歴情報および交通情報などを定期的に、あるいは任意のタイミングでサーバから取得する。ネットワークには、公衆無線通信網だけでなく、所定の管理地域ごとに設けられた閉鎖的な通信網、例えば無線LAN、Wi-Fi(登録商標)、Bluetooth(登録商標)等も含まれる。取得した地図情報は、記憶部12に出力され、地図情報が更新される。測位ユニット(GNSSユニット)2は、測位衛星から送信された測位用の信号を受信する測位センサを有する。測位衛星は、GPS衛星や準天頂衛星などの人工衛星である。測位ユニット2は、測位センサが受信した測位情報を利用して、自車両101の現在位置(緯度、経度、高度)を測定する。
The
内部センサ群3は、自車両101の走行状態を検出する複数のセンサ(内部センサ)の総称である。例えば内部センサ群3には、自車両101の車速を検出する車速センサ、自車両101の前後方向の加速度および左右方向の加速度(横加速度)をそれぞれ検出する加速度センサ、走行駆動源の回転数を検出する回転数センサ、自車両101の重心の鉛直軸回りの回転角速度を検出するヨーレートセンサなどが含まれる。手動運転モードでのドライバの運転操作、例えばアクセルペダルの操作、ブレーキペダルの操作、ステアリングホイールの操作等を検出するセンサも内部センサ群3に含まれる。
The internal sensor group 3 is a general term for a plurality of sensors (internal sensors) that detect the running state of the
カメラ4は、CCDやCMOS等の撮像素子を有して自車両101の周辺(前方、後方および側方)を撮像する。ライダ5は、自車両101の全方位の照射光(電磁波の一種)に対する散乱光を測定して自車両101から周辺の物体までの距離や物体の位置や形状等を測定する。
The
アクチュエータACは、自車両101の走行を制御するための走行用アクチュエータである。走行駆動源がエンジンである場合、アクチュエータACには、エンジンのスロットルバルブの開度(スロットル開度)を調整するスロットル用アクチュエータが含まれる。走行駆動源が走行モータである場合、走行モータがアクチュエータACに含まれる。自車両101の制動装置を作動するブレーキ用アクチュエータと転舵装置を駆動する転舵用アクチュエータもアクチュエータACに含まれる。
Actuator AC is a travel actuator for controlling travel of
コントローラ10は、電子制御ユニット(ECU)により構成される。より具体的には、コントローラ10は、CPU(マイクロプロセッサ)等の演算部11と、ROM,RAM等の記憶部12と、I/Oインターフェース等の図示しないその他の周辺回路とを有するコンピュータを含んで構成される。なお、エンジン制御用ECU、走行モータ制御用ECU、制動装置用ECU等、機能の異なる複数のECUを別々に設けることができるが、図2では、便宜上、これらECUの集合としてコントローラ10が示される。
The
記憶部12には、高精度の詳細な地図情報(高精度地図情報と呼ぶ)が記憶される。高精度地図情報には、道路の位置情報、道路形状(曲率など)の情報、道路の勾配の情報、交差点や分岐点の位置情報、車線数の情報、車線の幅員および車線毎の位置情報(車線の中央位置や車線位置の境界線の情報)、地図上の目印としてのランドマーク(信号機、標識、建物等)の位置情報、路面の凹凸などの路面プロファイルの情報が含まれる。記憶部12には、各種制御のプログラム、プログラムで用いられる閾値等の情報についての情報も記憶される。
The
演算部11は、機能的構成として、道路認識部111と、画定部112と、設定部113と、走行制御部114とを有する。なお、図2に示すように、道路認識部111と画定部112と設定部113とは外界認識装置50に含まれる。
The
道路認識部111は、自車両101の進行方向の道路構造を認識する。具体的には、道路認識部111は、ライダ5により検出された検出データ(特徴点)を用いて、3次元の点群データ(3次元地図データ)を生成する。なお、カメラ4により取得された、進行方向の撮像画像データ(以下、単に撮像画像と呼ぶ。)から、画素毎の輝度や色の情報に基づいて物体の輪郭を示すエッジを抽出するとともに、そのエッジ情報を用いて特徴点を抽出して、点群データを生成してもよい。
The
道路認識部111は、生成した点群データに基づいて道路構造を認識する。より詳細には、道路認識部111は、機械学習を用いて、点群データに含まれる、進行方向前方の道路RDの境界線(縁石や区画線)RL,RBを認識する。なお、境界線の認識方法はこれに限らず、その他の方法により境界線を認識してもよい。道路認識部111は、境界線RL,RBで挟まれた領域を道路に対応する領域(以下、道路セグメントと呼ぶ。)として認識する。なお、道路認識部111は、記憶部12に記憶された高精度地図情報を取得し、取得した高精度地図情報と、測位ユニット2のセンサ値により認識される自車位置とに基づき、道路セグメントを認識してもよい。また、道路セグメントの認識方法はこれに限らず、その他の方法により道路セグメントを認識してもよい。
The
なお、前方車両等の背後に境界線RL,RBが隠れてしまい、道路セグメントの一部が認識できない状況、すなわちオクルージョンが発生する場合がある。したがって、道路認識部111は、オクルージョンが発生しているか否かを判定し、オクルージョンが発生しているときには、道路セグメントを補完する。具体的には、道路認識部111は、過去に生成した点群データのうち現在の自車位置付近の点群データを用いて、オクルージョンが発生している領域の道路セグメントを認識し、その認識結果で道路セグメントを補完する。道路認識部111により過去に生成された点群データは記憶部12に記憶されているものとする。なお、道路認識部111は、記憶部12に記憶された高精度地図情報を用いて道路セグメントを補完してもよい。
In some cases, the boundary lines RL and RB are hidden behind the vehicle in front, and a part of the road segment cannot be recognized, that is, occlusion may occur. Therefore, the
画定部112は、道路認識部111により認識された道路セグメントに基づいて、ライダ5から照射される電磁波の照射方向に対し略垂直な方向の平面(以下、仮想平面と呼ぶ。)であって、進行方向に沿って所定距離毎に設けられた仮想平面上にそれぞれ検出領域を画定する。画定部112は、自車両101からの距離が増加するに従い検出領域の大きさが小さくなるように各検出領域を画定する。ただし、距離が増加するに従い道路幅が大きくなるような状況においては、検出領域は、距離の増加に従い大きくなることがある。画定部112は、内部センサ群3の車速センサにより検出された自車両101の車速に基づいて、ライダ5が外界状況を検出すべき進行方向の範囲を示す最大検出距離を算出する。このとき、画定部112は、自車両101の現在の車速に基づいて、所定の減速度以下で自車両101を停止可能な制動距離を算出し、その制動距離を最大検出距離としてもよいし、その制動距離に所定の係数を乗算して得られる距離を最大検出距離としてもよい。画定部112は、自車両101から最大検出距離離れた地点から自車両101に向かって、所定距離毎に仮想平面を設定し、各仮想平面上に検出領域を画定する。
The defining
図3A、図3Bおよび図3Cは、検出領域を説明するための図である。図3Aに示す領域RSは、自車両101が図1Aの道路RDを走行中に、道路認識部111により認識された道路セグメントである。図3Aの矩形ボックスBXは、自車両101から最大検出距離離れた地点に設定された仮想平面上に画定された検出領域である。図3Aの矢印線Fの長さは、最大検出距離を表す。矢印線Fで示されるように、最大検出距離は、詳細には、ライダ5の設置位置から検出領域BXの左下隅または右下隅までの距離である。検出領域BXは、自動運転モードでの走行時に注視されるべき領域を含むように、その幅および高さが設定される。具体的には、検出領域BXは、道路幅方向の中心位置が道路セグメントの道路幅方向の中心位置に重なるように画定される。検出領域BXの幅は、その位置における道路幅と同じ長さになるようにまたは道路幅よりも所定長さ長くなるように設定される。検出領域BXの高さは、自車両101の車高と同じ長さになるようにまたは車高よりも所定長さ長くなるように設定される。
3A, 3B, and 3C are diagrams for explaining detection areas. A region RS shown in FIG. 3A is a road segment recognized by the
図3Bには、所定距離D毎に設定された仮想平面上に画定された検出領域BXが模式的に示されている。図3Cには、ライダ5を視点とする自車両101の前方の画像に、図3Bの各検出領域BXを模式的に重ね合わせた図が示されている。図3Cに示すように、ライダ5の視点から見ると、自車両101からの距離が遠い検出領域BXほど(図3Cにおいてより内側の検出領域BXほど)その大きさが小さくなる。ただし、距離が増加するに従い道路幅が大きくなるような状況においては、検出領域BXは、距離の増加に従い大きくなることがある。
FIG. 3B schematically shows the detection areas BX defined on the virtual plane set at every predetermined distance D. As shown in FIG. FIG. 3C shows a diagram in which each detection region BX in FIG. 3B is schematically superimposed on an image in front of the
設定部113は、画定部112により画定された各検出領域BX内に、予め設定された検出対象の最小サイズに基づいて、ライダ5の電磁波(照射光)を照射する位置(以下、照射点または照射ポイントと呼ぶ。)を算出する。より詳細には、設定部113は、検出対象の最小サイズと、各検出領域BXの自車両101からの距離(進行方向の距離)とに基づき算出される角度分解能に従って、検出領域BX毎に照射ポイントを算出する。設定部113は、算出した照射ポイントの位置を示す情報(以下、照射ポイント情報と呼ぶ。)を生成し、自車両101の現在の走行位置を示す位置情報に対応付けて記憶部12に記憶する。
The
設定部113は、自車両101が自動運転モードで走行しているとき、自車両101の現在の走行位置に対応する照射ポイント情報を記憶部12から読み出して、その照射ポイント情報に従ってライダ5の照射ポイントを設定する。これにより、ライダ5からの照射光は、設定された照射ポイントに向けて照射される。
The
走行制御部114は、自動運転モードにおいて、ライダ5の検出データに基づき認識される車両周囲の外界状況に基づいて目標軌道を生成し、その目標軌道に沿って自車両101が走行するようにアクチュエータACを制御する。なお、手動運転モードでは、走行制御部114は、内部センサ群3により取得されたドライバからの走行指令(ステアリング操作等)に応じてアクチュエータACを制御する。
In the automatic driving mode, the
図4は、設定部113により算出される各検出領域BXの照射ポイントを説明するための図である。図4の各検出領域BX内の格子の上下方向および左右方向の間隔は、各検出領域BXに対応した角度分解能を表す。格子の交点はライダ5の照射ポイントを表し、ライダ5の照射光は、格子の交点に向けて照射される。なお、ライダ5の照射光は、ラスタ走査方式で照射されてもよいし、設定部113により設定された照射ポイントにのみ電磁波が照射されるように断続的に電磁波が照射されてもよいし、その他の態様で照射されてもよい。
FIG. 4 is a diagram for explaining irradiation points of each detection area BX calculated by the
図4に示すように、自車両101から最大検出距離離れた地点に対応する検出領域BXの角度分解能が最も小さくなり、自車両101に最も近い検出領域BXの角度分解能が最も大きくなる。このように、各検出領域BXの角度分解能は、検出領域BXと自車両101との距離が長くなるほど(検出領域BXのサイズが小さくなるほど)小さくなるように決定される。これにより、遠方の物体の位置や大きさの認識精度や、遠方の物体との距離の認識精度を低下させることなく、ライダ5の照射ポイント数を低減できる。なお、図4において、検出領域BX内に他の検出領域BXの格子の交点が含まれるとき、角度分解能がより小さい方の検出領域BXの格子の交点が優先的に照射ポイントとして設定される。
As shown in FIG. 4, the angular resolution of the detection area BX corresponding to the maximum detection distance away from the
図5は、予め定められたプログラムに従い図2のコントローラ10で実行される処理の一例を示すフローチャートである。図5のフローチャートに示す処理は、例えば、自車両101が自動運転モードで走行中に所定周期毎に繰り返される。
FIG. 5 is a flow chart showing an example of processing executed by the
まず、ステップS11で、ライダ5により検出された検出データを用いて、3次元の点群データを生成する。ステップS12で、道路セグメンテーションを実行する。具体的には、ステップS11で生成された点群データから自車両前方の道路の境界線を認識し、その境界線に基づいて道路セグメントを認識する。ステップS13で、オクルージョンが発生しているか否かを判定する。ステップS13で否定されると、ステップS15に進む。ステップS13で肯定されると、ステップS14で、道路セグメントのデータを補完する。
First, in step S11, three-dimensional point cloud data is generated using detection data detected by the
ステップS15で、ステップS14で認識された道路セグメント上の最大検出距離前方の地点に、検出領域BXを設定する。具体的には、最大検出距離前方の地点に仮想平面を設定し、その仮想平面上に検出領域BXを画定する。次いで、ステップS16で、進行方向に沿って所定距離毎に検出領域BXを設定する。具体的には、進行方向に沿って所定距離毎に仮想平面を設定し、各仮想平面上に検出領域BXを画定する。このとき、自車両101から検出領域BXまでの距離と、ステップS12,S13で認識された道路セグメントとに基づいて検出領域BXの大きさを決定し、決定した大きさに従って検出領域BXを画定する。道路幅がほとんど変化しない状況では、各検出領域BXは、検出領域BXと自車両101との距離が増加するに従い小さくなるように設定される(図3C)。ただし、距離が増加するに従い道路幅が大きくなるような状況においては、検出領域BXは、距離の増加に従い大きくなることがある。
In step S15, a detection area BX is set at a point ahead of the maximum detection distance on the road segment recognized in step S14. Specifically, a virtual plane is set at a point ahead of the maximum detection distance, and a detection area BX is defined on the virtual plane. Next, in step S16, detection areas BX are set at predetermined distance intervals along the traveling direction. Specifically, virtual planes are set at predetermined distances along the direction of travel, and the detection area BX is defined on each virtual plane. At this time, the size of the detection area BX is determined based on the distance from the
ステップS17で、各検出領域BXに対応する角度分解能を算出する。ステップS18で、ステップS17で算出した角度分解能に従って検出領域BX毎に照射ポイントを算出し、算出した照射ポイントを示す照射ポイント情報を、自車両101の現在の走行位置を示す位置情報に対応付けて記憶部12に記憶する。
In step S17, the angular resolution corresponding to each detection area BX is calculated. In step S18, the irradiation point is calculated for each detection area BX according to the angular resolution calculated in step S17, and the irradiation point information indicating the calculated irradiation point is associated with the position information indicating the current traveling position of the
本実施形態に係る外界認識装置50の動作をまとめると以下のようになる。自車両101が道路RDを初めて走行するとき、記憶部12には、その走行位置に対応する照射ポイント情報が記憶されていないので、照射ポイント情報に基づく照射ポイントの設定は行われない。そのため、ライダ5からの照射光は、自車両101の前方の全域に対して照射されるので、図1Bに示すような検出データ(点群データ)が取得される(S11)。次いで、点群データに基づき認識された道路セグメントに従って所定距離毎に検出領域BXが画定され(S12~S16)、検出領域毎に照射ポイントが算出される。そして、算出された照射ポイントを示す照射ポイント情報が記憶部12に記憶される(S17,S18)。一方、自車両101が自動運転モードで道路RDを再度走行するときには、記憶部12にその走行位置に対応する照射ポイント情報が記憶されている。したがって、ライダ5からの照射光は、照射ポイント情報で指定された照射ポイントに照射されるため、自動走行時に注視すべき領域に対応する検出データ(点群データ)のみが取得される(S11)。なお、このとき取得された点群データに基づき認識される道路セグメントの位置や形状が(S12)、前回走行時に認識された道路セグメントと所定程度以上の差異がないときには、以降の処理、すなわち、S13~S18の処理をスキップしてもよい。
The operation of the external
本実施形態によれば以下のような作用効果を奏することができる。
(1)外界認識装置50は、自車両101の周囲に電磁波を照射して自車両101の周囲の外界状況を検出するライダ5と、自車両101の進行方向の道路構造を認識する道路認識部111と、道路認識部111により認識された道路構造に基づいて、ライダ5から照射される電磁波(照射光)の照射方向に対し略垂直な方向の平面上に、進行方向に沿って所定距離毎に検出領域BXを画定する画定部112と、画定部112により画定された検出領域BX内に、予め定められた検出対象の大きさに基づいてライダ5の照射位置(照射ポイント)を設定する設定部113とを備える。画定部112は、自車両101から検出領域BXまでの距離と道路認識部111により認識された道路構造とに基づいて検出領域BXの大きさを決定し、決定した大きさに従って検出領域BXを画定する。予め定められた検出対象は、ライダ5が検出すべき物体のうち最小サイズの物体である。これにより、外界状況の認識精度を低下させることなく、ライダ5の照射ポイント数を低減できる。その結果、処理負荷を低減しつつ、車両周囲の外界状況を精度よく認識できる。
According to this embodiment, the following effects can be obtained.
(1) The external
(2)設定部113は、上記最小サイズの値と、検出領域BXの自車両101からの距離とに基づき、検出領域BXに対応する角度分解能を算出し、算出した角度分解能に基づき検出領域BXを左右方向(図4における左右方向)に分割して得られる各矩形領域に、ライダ5の照射位置を対応付ける。また、設定部113は、算出した角度分解能に基づき検出領域BXを上下方向(図4における上下方向)にさらに分割して得られる各矩形領域に、ライダ5の照射位置を対応付ける。これにより、ライダ5の物体の検出精度を低下させることなく、ライダ5の照射ポイント数を低減できる。
(2) The
(3)画定部112は、自車両101の車速に基づいて、ライダ5が外界状況を検出すべき進行方向の範囲を示す最大距離(最大検出距離)を算出し、自車両101から最大検出距離離れた地点から自車両101に向かって、所定距離毎に検出領域BXを画定する。これにより、自車両101の車速によらずに、車両周囲の外界状況を精度よく認識できる。
(3) The
(4)道路認識部111は、ライダ5の検出データに基づいて自車両101の進行方向の道路の境界線を認識し、該境界線により示される道路構造を認識する。これにより、地図情報を用いることなく道路構造を認識できる。なお、道路認識部111は、記憶部12に地図情報(高精度地図情報)が記憶されているとき、ライダ5の検出データの代わりに、または、ライダ5の検出データとともに地図情報に基づいて、自車両101の進行方向の道路構造を認識する。これにより、道路構造を精度よく認識できる。
(4) The
上記実施形態は種々の形態に変形することができる。以下、いくつかの変形例について説明する。上記実施形態では、設定部113が、ライダ5の照射光を照射する位置を示す照射ポイント情報を生成し、その照射ポイント情報に基づいてライダ5の照射ポイントを設定するようにしたが、設定部の構成はこれに限らない。例えば、車両制御装置が、車載検出器として、電磁波を照射し反射波を検出することで自車両周辺の他車両や障害物等を検出するレーダを有している場合には、設定部は、レーダの電磁波を照射する位置を示す照射ポイント情報を生成し、その照射ポイント情報に基づいてレーダの照射ポイントを設定してもよい。そして、外界認識装置は、レーダの検出データに基づいて自車両101の外界の状況を認識してもよい。
The above embodiment can be modified in various forms. Some modifications will be described below. In the above embodiment, the
また、上記実施形態では、画定部112が、検出領域BXの道路幅方向の中心位置が道路セグメントの道路幅方向の中心位置に重なるように、検出領域BXを画定するようにした。しかしながら、自車両101が走行する道路の形状によっては、このように検出領域BXを設定すると、見逃しエリアが発生する可能性がある。図6の(a)は、見逃しエリアを説明するための図である。なお、図6の(a)には、説明の簡略化のため、4つの検出領域BX(BX1~BX4)のみが示されている。図6の(a)に示すように、道路RDが右側に極端にカーブしているとき、検出領域BX1の右端部が、検出領域BX1よりも後方の検出領域BX2の右端部よりも極端に左側に配置される。その結果、自動運転モードでの走行時に注視すべき領域であるにもかかわらず、検出領域BX1,BX2のいずれにも含まれない領域、すなわち、ライダ5の照射光が照射されない領域(見逃しエリア)が発生する。このような見逃しエリアは、検出領域BX2,BX3の間および検出領域BX3,BX4の間においても同様に発生する。図中の網掛された領域MAは、見逃しエリアを表す。
In the above embodiment, the
そこで、見逃しエリアMAが発生するような場合には、画定部112は、図6の(b)に示すように、検出領域BX1,BX2,BX3の右端部の位置をそれぞれ、1つ後方の検出領域BX2,BX3,BX4の右端部の位置に合わせるように、図中の矢印の方向にシフトしてもよい。これにより、道路が極端にカーブしているときでも、車両周囲の外界状況を精度よく認識できる。
Therefore, when the overlooked area MA occurs, the
また、上記実施形態では、図5に示す処理が、自車両101が自動運転モードで走行中に繰り返し実行される例を示したが、図5に示す処理は、自車両101が手動運転モードで走行中に繰り返し実行されてもよい。詳細には、手動運転モードで走行中に照射ポイント情報を生成して記憶部12に記憶し、手動運転モードで走行した道路を再度自動運転モードで走行するときに、記憶部12に記憶された照射ポイント情報に従ってライダ5の照射ポイントを設定してもよい。
Further, in the above-described embodiment, the process shown in FIG. 5 shows an example in which the process shown in FIG. 5 is repeatedly executed while the
さらに、上記実施形態では、外界認識装置50を自動運転車両に適用したが、外界認識装置50は、自動運転車両以外の車両にも適用可能である。例えば、ADAS(Advanced driver-assistance systems)を備える手動運転車両にも外界認識装置50を適用することができる。
Furthermore, in the above embodiment, the external
以上の説明はあくまで一例であり、本発明の特徴を損なわない限り、上述した実施形態および変形例により本発明が限定されるものではない。上記実施形態と変形例の一つまたは複数を任意に組み合わせることも可能であり、変形例同士を組み合わせることも可能である。 The above description is merely an example, and the present invention is not limited by the above-described embodiments and modifications as long as the features of the present invention are not impaired. It is also possible to arbitrarily combine one or more of the above embodiments and modifications, and it is also possible to combine modifications with each other.
1 通信ユニット、2 測位ユニット、3 内部センサ群、4 カメラ、5 ライダ、10 コントローラ、12 記憶部、111 道路認識部、112 画定部、113 設定部、114 走行制御部、AC アクチュエータ 1 communication unit, 2 positioning unit, 3 internal sensor group, 4 camera, 5 lidar, 10 controller, 12 storage unit, 111 road recognition unit, 112 demarcation unit, 113 setting unit, 114 traveling control unit, AC actuator
Claims (7)
自車両の進行方向の道路構造を認識する道路認識部と、
前記道路認識部により認識された道路構造に基づいて、前記車載検出器から照射される電磁波の照射方向に対し略垂直な方向の平面上に、進行方向に沿って所定距離毎に検出領域を画定する画定部と、
前記画定部により画定された前記検出領域内に、予め定められた検出対象の大きさに基づいて前記車載検出器の照射位置を設定する設定部と、を備え、
前記画定部は、自車両からの前記検出領域までの距離と前記道路認識部により認識された道路構造とに基づいて前記検出領域の大きさを決定し、決定した前記大きさに従って前記検出領域を画定し、
前記設定部は、前記予め定められた検出対象の大きさと、前記検出領域の自車両からの距離とに基づき、前記検出領域に対応する角度分解能を算出し、前記角度分解能に基づき前記検出領域を左右方向に分割して得られる各矩形領域に、前記車載検出器の照射位置を対応付けることを特徴とする外界認識装置。 an in-vehicle detector that emits electromagnetic waves around the own vehicle to detect external conditions around the own vehicle;
a road recognition unit that recognizes the road structure in the traveling direction of the own vehicle;
Based on the road structure recognized by the road recognition unit, a detection area is demarcated at predetermined distance intervals along the traveling direction on a plane substantially perpendicular to the irradiation direction of the electromagnetic wave emitted from the vehicle-mounted detector. a defining part to
a setting unit that sets an irradiation position of the vehicle-mounted detector based on a predetermined size of a detection target within the detection area defined by the defining unit;
The defining unit determines the size of the detection area based on the distance from the vehicle to the detection area and the road structure recognized by the road recognition unit, and determines the detection area according to the determined size. demarcate ,
The setting unit calculates angular resolution corresponding to the detection area based on the predetermined size of the detection target and the distance of the detection area from the vehicle, and determines the detection area based on the angular resolution. An external world recognition device , wherein each rectangular area obtained by dividing in the horizontal direction is associated with an irradiation position of the vehicle-mounted detector .
前記予め定められた検出対象は、前記車載検出器が検出すべき物体のうち最小サイズの物体であることを特徴とする外界認識装置。 In the external world recognition device according to claim 1,
The external world recognition apparatus, wherein the predetermined detection target is an object of minimum size among objects to be detected by the vehicle-mounted detector.
前記設定部は、前記角度分解能に基づき前記検出領域を上下方向にさらに分割して得られる各矩形領域に、前記車載検出器の照射位置を対応付けることを特徴とする外界認識装置。 The external world recognition device, wherein the setting unit associates the irradiation position of the vehicle-mounted detector with each rectangular area obtained by further dividing the detection area in the vertical direction based on the angular resolution.
前記画定部は、自車両の車速に基づいて、前記車載検出器が前記外界状況を検出すべき進行方向の範囲を示す最大距離を算出し、自車両から前記最大距離離れた地点から自車両に向かって、前記所定距離毎に前記検出領域を画定することを特徴とする外界認識装置。 Based on the vehicle speed of the own vehicle, the defining unit calculates a maximum distance indicating a range of a traveling direction in which the on-vehicle detector should detect the external situation, An apparatus for recognizing external worlds, wherein the detection area is demarcated for each of the predetermined distances.
前記道路認識部は、前記車載検出器の検出データに基づいて自車両の進行方向の道路の境界線を認識し、該境界線により示される道路構造を認識することを特徴とする外界認識装置。 The external world recognition device, wherein the road recognition unit recognizes a boundary line of a road in a traveling direction of the vehicle based on detection data of the vehicle-mounted detector, and recognizes a road structure indicated by the boundary line.
地図情報を記憶する記憶部をさらに備え、 further comprising a storage unit for storing map information,
前記道路認識部は、前記記憶部に記憶された地図情報に基づいて、自車両の進行方向の道路構造を認識することを特徴とする外界認識装置。 The external world recognition device, wherein the road recognition unit recognizes the road structure in the traveling direction of the vehicle based on the map information stored in the storage unit.
前記車載検出器が、ライダであることを特徴とする外界認識装置。 The external world recognition device, wherein the vehicle-mounted detector is a lidar.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022022672A JP7332731B1 (en) | 2022-02-17 | 2022-02-17 | External recognition device |
CN202310093542.7A CN116609792A (en) | 2022-02-17 | 2023-02-02 | External recognition device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022022672A JP7332731B1 (en) | 2022-02-17 | 2022-02-17 | External recognition device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP7332731B1 true JP7332731B1 (en) | 2023-08-23 |
JP2023121166A JP2023121166A (en) | 2023-08-31 |
Family
ID=87576995
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022022672A Active JP7332731B1 (en) | 2022-02-17 | 2022-02-17 | External recognition device |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7332731B1 (en) |
CN (1) | CN116609792A (en) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017203766A (en) | 2016-05-10 | 2017-11-16 | 株式会社デンソー | Three-dimensional object detection processing device |
JP2018138402A (en) | 2017-02-24 | 2018-09-06 | マツダ株式会社 | Vehicle driving assisting system and method |
JP2018155694A (en) | 2017-03-21 | 2018-10-04 | 株式会社Ihiエアロスペース | Concave obstacle detection device and method |
WO2020003776A1 (en) | 2018-06-29 | 2020-01-02 | ソニーセミコンダクタソリューションズ株式会社 | Information processing device, information processing method, imaging device, computer program, information processing system, and mobile apparatus |
JP2020118666A (en) | 2019-01-28 | 2020-08-06 | 株式会社データ変換研究所 | Mobile entity position estimation system |
JP2020126065A (en) | 2016-09-20 | 2020-08-20 | イノヴィズ テクノロジーズ リミテッド | LIDAR system and method |
JP2021081235A (en) | 2019-11-15 | 2021-05-27 | 日本信号株式会社 | Object detection device and object detection program |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3324821B2 (en) * | 1993-03-12 | 2002-09-17 | 富士重工業株式会社 | Vehicle exterior monitoring device |
-
2022
- 2022-02-17 JP JP2022022672A patent/JP7332731B1/en active Active
-
2023
- 2023-02-02 CN CN202310093542.7A patent/CN116609792A/en active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017203766A (en) | 2016-05-10 | 2017-11-16 | 株式会社デンソー | Three-dimensional object detection processing device |
JP2020126065A (en) | 2016-09-20 | 2020-08-20 | イノヴィズ テクノロジーズ リミテッド | LIDAR system and method |
JP2018138402A (en) | 2017-02-24 | 2018-09-06 | マツダ株式会社 | Vehicle driving assisting system and method |
JP2018155694A (en) | 2017-03-21 | 2018-10-04 | 株式会社Ihiエアロスペース | Concave obstacle detection device and method |
WO2020003776A1 (en) | 2018-06-29 | 2020-01-02 | ソニーセミコンダクタソリューションズ株式会社 | Information processing device, information processing method, imaging device, computer program, information processing system, and mobile apparatus |
JP2020118666A (en) | 2019-01-28 | 2020-08-06 | 株式会社データ変換研究所 | Mobile entity position estimation system |
JP2021081235A (en) | 2019-11-15 | 2021-05-27 | 日本信号株式会社 | Object detection device and object detection program |
Also Published As
Publication number | Publication date |
---|---|
CN116609792A (en) | 2023-08-18 |
JP2023121166A (en) | 2023-08-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10795374B2 (en) | Vehicle control device | |
CN114581877A (en) | Vehicle position estimation device | |
US20220266824A1 (en) | Road information generation apparatus | |
US11874135B2 (en) | Map generation apparatus | |
JP7332731B1 (en) | External recognition device | |
US10981597B2 (en) | Vehicle control device and method | |
US11867526B2 (en) | Map generation apparatus | |
CN115050205B (en) | Map generation device and position recognition device | |
JP7301897B2 (en) | map generator | |
US20220268587A1 (en) | Vehicle position recognition apparatus | |
US20220254056A1 (en) | Distance calculation apparatus and vehicle position estimation apparatus | |
JP7141479B2 (en) | map generator | |
US11828618B2 (en) | Map generation apparatus | |
US11920949B2 (en) | Map generation apparatus | |
JP7141477B2 (en) | map generator | |
US20220307861A1 (en) | Map generation apparatus | |
US20220291016A1 (en) | Vehicle position recognition apparatus | |
US20220291015A1 (en) | Map generation apparatus and vehicle position recognition apparatus | |
JP2022152051A (en) | travel control device | |
JP2023149511A (en) | Map generation device | |
JP2023078605A (en) | Vehicle control device | |
JP2022150534A (en) | Travelling control device | |
JP2024035512A (en) | Compartment line recognition device | |
JP2022123988A (en) | Division line recognition device | |
JP2024035511A (en) | external world recognition device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220928 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230606 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230711 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230808 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230810 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7332731 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |