JP2022550291A - レーザーレーダーに基づく検出方法、装置及びコンピュータ読み取り可能な記憶媒体 - Google Patents

レーザーレーダーに基づく検出方法、装置及びコンピュータ読み取り可能な記憶媒体 Download PDF

Info

Publication number
JP2022550291A
JP2022550291A JP2022518172A JP2022518172A JP2022550291A JP 2022550291 A JP2022550291 A JP 2022550291A JP 2022518172 A JP2022518172 A JP 2022518172A JP 2022518172 A JP2022518172 A JP 2022518172A JP 2022550291 A JP2022550291 A JP 2022550291A
Authority
JP
Japan
Prior art keywords
algorithm
laser radar
sub
grid
algorithms
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022518172A
Other languages
English (en)
Other versions
JP7305884B2 (ja
Inventor
陳沢奇
薛磊
梅羨林
頼鵬程
陳新科
羅躍輝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Publication of JP2022550291A publication Critical patent/JP2022550291A/ja
Application granted granted Critical
Publication of JP7305884B2 publication Critical patent/JP7305884B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38Concurrent instruction execution, e.g. pipeline or look ahead
    • G06F9/3885Concurrent instruction execution, e.g. pipeline or look ahead using a plurality of independent parallel functional units
    • G06F9/3887Concurrent instruction execution, e.g. pipeline or look ahead using a plurality of independent parallel functional units controlled by a single instruction for multiple data lanes [SIMD]
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50Systems of measurement based on relative movement of target
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808Evaluating distance, position or velocity data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4817Constructional features, e.g. arrangements of optical elements relating to scanning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38Concurrent instruction execution, e.g. pipeline or look ahead
    • G06F9/3885Concurrent instruction execution, e.g. pipeline or look ahead using a plurality of independent parallel functional units
    • G06F9/3889Concurrent instruction execution, e.g. pipeline or look ahead using a plurality of independent parallel functional units controlled by multiple instructions, e.g. MIMD, decoupled access or execute
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757Matching configurations of points or features
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0043Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/005Sampling
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0043Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0052Filtering, filters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408Radar; Laser, e.g. lidar
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/20Static objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】レーザーレーダーに基づく検出方法、装置及びコンピュータ読み取り可能な記憶媒体である。【解決手段】前記検出方法は、レーザーレーダーに基づく検出方法が提供され、レーザーレーダーの走査データを取得すること(S101)と、前記走査データに基づいて検出するための特徴アルゴリズムをアルゴリズム分割し、前記特徴アルゴリズムにおいて並列処理が可能である少なくとも1つのサブアルゴリズムを得ること(S102)と、前記走査データを処理するように少なくとも1つの前記サブアルゴリズムに対して異種アクセラレーションを行い、処理結果から、検出された障害物の位置及び走行可能な領域を得ること(S103)と、を含む。【選択図】図1

Description

関連出願の相互参照
本願は、出願番号が201911377026.7である、出願日が2019年12月27日である中国特許出願に基づいて提出され、当該中国特許出願の優先権が主張され、その開示全体はここで援用により本願に組み込まれるものとする。
本願の実施例は、ヘテロジニアスコンピューティング(Heterogeneous Computing)の分野に関し、特に、レーザーレーダーに基づく検出方法、装置及びコンピュータ読み取り可能な記憶媒体に関する。
従来の自動運転システムは、ポジショニング、知覚、融合、意思決定計画、制御などのモジュールに分けることができる。そのうち、知覚モジュールは、自動運転システムの1つの重要な部分であり、それは、後で効果的な情報融合と意思決定計画を容易に行うように、車両に周囲の道路状況情報をタイムリーに取得させ、動的環境の変化を深く了解させることができる。自動運転中、周囲の道路状況情報は、カメラ、ミリ波レーダー、超音波レーダー、レーザーレーダーなどの様々なセンサーを介して車両の電子制御ユニット(Electronic Control Unit、ECU)に送信される。
レーザーレーダーは、自動運転において1つの重要なセンサーであり、高い測定分解能、強力な干渉防止能力、強力なステルス防止能力、強力な浸透能力、及び全天候型作業の特徴を有する。それは、レーザー送信機の検出対象に投影された折り返し時間を利用して、検出対象の距離情報を算出し、3次元点群図を描画することができ、それと共に、レーザービームが物体の表面に投射されるときに、物体の表面の異なる反射率に応じて異なる表面特徴情報も生成され、ターゲット検出と追跡にとって非常に重要な参考となっている。レーザーレーダーを用いて車両周辺環境情報を知覚することで、障害物の距離情報及び物体表面属性を正確に検出でき、その認識精度はカメラミリ波レーダなどのセンサーによっても達成できない。しかしながら、レーザーレーダーのセンシングプロセスでは、データの計算量が多く、現在のレーザーレーダーの知覚プロセスにおけるデータの計算速度が速くないため、レーザーレーダーの信頼性に直接影響してしまう。
本願の実施形態には、レーザーレーダーに基づく検出方法が提供され、レーザーレーダーの走査データを取得することと、前記走査データに基づいて検出するための特徴アルゴリズムをアルゴリズム分割し、前記特徴アルゴリズムにおいて並列処理が可能である少なくとも1つのサブアルゴリズムを得ることと、前記走査データを処理するように少なくとも1つの前記サブアルゴリズムに対して異種アクセラレーションを行い、処理結果から、検出された障害物の位置及び走行可能な領域を得ることと、を含む。
本願の実施形態には、プロセッサによって実行される際に上記のレーザーレーダーに基づく検出方法を実現するコンピュータプログラムが格納されているコンピュータ読み取り可能な記憶媒体がさらに提供される。
本願の実施形態には、プロセッサによって実行される際に上記のレーザーレーダーに基づく検出方法を実現すコンピュータプログラムが格納されているメモリと、プロセッサとを備えるレーザーレーダーに基づく検出装置がさらに提供される。
一つまたは複数の実施例は、それに対応する添付図面における図で例示的に説明され、これらの例示的な説明は、実施例を限定するものではない。図面において、同じ参照番号を有する要素は、類似の要素として表され、特に断りのない限り、添付図面における図は縮尺制限を構成しない。
図1は、本願の第1実施形態に係るレーザーレーダーに基づく検出方法のフローチャートである。 図2は、本願の第2実施形態に係るレーザーレーダーに基づく検出方法のフローチャートである。 図3は、本願の第2実施形態に係るターゲット検出追跡方法のフローチャートである。 図4は、本願の第2実施形態に係る極座標グリッド点群区画図である。 図5は、本願の第2実施形態に係る点群クラスタリングのフローチャートである。 図6は、本願の第2実施形態に係る障害物の外部輪郭フレーム抽出のフローチャートである。 図7は、本願の第2実施形態に係るターゲット検出追跡アルゴリズムを分割するフローチャートである。 図8は、本願の第3実施形態に係るレーザーレーダーに基づく検出方法のフローチャートである。 図9は、本願の第3実施形態に係る走行可能領域認識アルゴリズムのフローチャートである。 図10は、本願の第4実施形態に係るレーザーレーダーに基づく検出方法のフローチャートである。 図11は、本願の第4実施形態に係る地面着色効果図である。 図12は、本願の第6実施形態に係るレーザーレーダーに基づく検出装置の構成を示す図である。 図13は、本願の第7実施形態に係るレーザーレーダーに基づく検出装置の構成を示す図である。
本願の目的、技術考案及び利点をより明確にするために、以下、図面を参照しながら本願の各実施形態を詳しく説明する。ただし、本発明の各実施形態において、本発明に対する理解を便宜にするために、多くの技術的細部が記載されているが、これらの技術的細部及び以下の各実施形態に基づく種々の変化及び修正がなくても、本願が保護しようとする技術考案を実現可能であることは、当業者にとって理解し得ることである。
本願の実施形態は、レーザーレーダーの知覚過程におけるデータ演算速度を向上させ、レーザーレーダーの信頼性を向上させることができるレーザーレーダーに基づく検出方法、装置及びコンピュータ読み取り可能な記憶媒体を提供することを目的とする。
上記の技術的課題を解決するために、本発明の実施形態には、レーザーレーダーに基づく検出方法が提供され、
レーザーレーダーの走査データを取得することと、前記走査データに基づいて検出するための特徴アルゴリズムをアルゴリズム分割し、前記特徴アルゴリズムにおいて並列処理が可能である少なくとも1つのサブアルゴリズムを得ることと、前記走査データを処理するように少なくとも1つの前記サブアルゴリズムに対して異種アクセラレーション(Heterogeneous acceleration)を行い、処理結果から、検出された障害物の位置及び走行可能な領域を得ることと、を含む。
幾つかの例において、前記走査データに基づいて検出するための特徴アルゴリズムをアルゴリズム分割し、前記特徴アルゴリズムにおいて並列処理が可能である少なくとも1つのサブアルゴリズムを得ることは、具体的に、前記走査データに基づいて障害物の位置を検出するための第1特徴アルゴリズム、前記走査データに基づいて走行可能な領域を検出するための第2特徴アルゴリズムをアルゴリズム分割し、前記第1特徴アルゴリズムにおいて並列処理が可能である複数の第1サブアルゴリズム、前記第2特徴アルゴリズムにおいて並列処理が可能である複数の第2サブアルゴリズムを得ることを含む。前記走査データを処理するように少なくとも1つの前記サブアルゴリズムに対して異種アクセラレーションを行うことは、具体的に、前記走査データを処理するように、前記複数の第1サブアルゴリズムのうちの少なくとも1つのアルゴリズムおよび/または前記複数の第2サブアルゴリズムのうちの少なくとも1つのアルゴリズムに対して異種アクセラレーションを行うことを含む。
幾つかの例において、前記第1特徴アルゴリズムは、前記走査データに基づいて地面をフィッティング(fitting)するフィッティングアルゴリズムと、地面フィッティングの結果に基づいて前記障害物をセグメント化かつクラスタリングするためのセグメンテーションクラスタリングアルゴリズムと、セグメンテーションクラスタリングの結果に基づいて前記障害物のエッジフレームを抽出するためのエッジ抽出アルゴリズムと、前記エッジフレームに基づいて前記障害物の位置を認識する位置認識アルゴリズムとを含む。前記走査データに基づいて障害物の位置を検出するための第1特徴アルゴリズムをアルゴリズム分割することは、具体的に、前記のフィッティングアルゴリズム、セグメンテーションクラスタリングアルゴリズム、エッジ抽出アルゴリズム及び位置認識アルゴリズムのうちの少なくとも1つをアルゴリズム分割することを含む。
幾つかの例において、エッジ抽出アルゴリズムをアルゴリズム分割する場合、前記エッジ抽出アルゴリズムを次のステップに分割する:前記セグメンテーションクラスタリングの結果に基づいて、前記障害物のM個の2次元マッピング外部輪郭点座標を抽出し、ここで、Mは1より大きい整数であるステップ、前記M個の2次元マッピング外部輪郭点座標に基づいてM本のフィッティング直線を取得し、前記M本のフィッティング直線のM個の傾斜角度を算出し、ここで、1つの前記2次元マッピング外部輪郭点座標は1つの傾斜角度に対応するステップ、前記傾斜角度に応じて、対応する前記2次元マッピング外部輪郭点座標を回転させて、前記障害物の立方体フレームを取得するステップ。これにより、第1特徴アルゴリズムにおける演算に時間がかかるエッジ抽出アルゴリズムをアルゴリズム分割して、エッジ抽出アルゴリズムにおける異種アクセラレーション条件を満たすステップに対して異種アクセラレーションを行うことができ、レーザーレーダーの知覚過程におけるデータ演算速度を向上させ、レーザーレーダーの信頼性を向上させる。
幾つかの例において、前記複数の第1サブアルゴリズムのうちの少なくとも1つのサブアルゴリズムおよび/または前記複数の第2サブアルゴリズムのうちの少なくとも1つのサブアルゴリズムに対して異種アクセラレーションを行うことは、具体的に、前記エッジ抽出アルゴリズムの少なくとも1つのステップに対して異種アクセラレーションを行うことである。前記エッジ抽出アルゴリズムの少なくとも1つのステップに対して異種アクセラレーションを行うことは、具体的に、前記M個の2次元マッピング外部輪郭点座標に基づいてM本のフィッティング直線を取得することを並列処理することを含む。
幾つかの例において、前記第2特徴アルゴリズムは、前記走査データを360度グリッドで分類して格納する分類格納アルゴリズムと、前記360度グリッドによる分類格納の結果に基づいて、前記走査データにおける地面点を取得し、前記地面点を予備着色処理する地面点判定アルゴリズムと、前記地面点に基づいてグリッド画像を確立し、前記グリッド画像を細かく着色処理し、前記走行可能な領域を得るグリッド着色アルゴリズムとを含む。レーザーレーダーの走行可能な領域を検出するための第2特徴アルゴリズムをアルゴリズム分割することは、具体的に、前記分類格納アルゴリズム、前記地面点判定アルゴリズム、前記グリッド着色アルゴリズムのうちの少なくとも1つをアルゴリズム分割するこを含む。
幾つかの例において、前記分類格納アルゴリズムをアルゴリズム分割する場合、前記分類格納アルゴリズムを次のステップに分割する:前記の元々のレーザーレーダー点群データに基づいて、元々のレーザーレーダー点の極座標を取得するステップ、前記レーザーレーダーの走査領域を予め設定されたラジアンで区画し、N個のセクターを取得し、ここで、Nは1より大きい整数であるステップ、それぞれの前記元々のレーザーレーダー点の極座標が位置するセクター位置に基づいて、前記元々のレーザーレーダー点のそれぞれを前記セクターごとに2次元配列として格納するステップ。これにより、第2特徴アルゴリズムにおける演算に時間がかかる分類格納アルゴリズムをアルゴリズム分割することができ、分類格納アルゴリズムに異種アクセラレーション条件を満たさせて、分類格納アルゴリズムに対して異種アクセラレーションを行うことができ、レーザーレーダーの知覚過程におけるデータ演算速度をさらに向上させ、レーザーレーダーの信頼性をさらに向上させる。
幾つかの例において、前記複数の第1サブアルゴリズムのうちの少なくとも1つのサブアルゴリズムおよび/または前記複数の第2サブアルゴリズムのうちの少なくとも1つのサブアルゴリズムに対して異種アクセラレーションを行うことは、具体的に、前記分類格納アルゴリズムの少なくとも1つのステップに対して異種アクセラレーションを行うことである。前記分類格納アルゴリズムの少なくとも1つのステップに対して異種アクセラレーションを行うことは、具体的に、前記複数のセクター位置内の前記元々のレーザーレーダー点を並列処理することを含む。
幾つかの例において、前記分類格納アルゴリズム、前記地面点判定アルゴリズム、前記グリッド着色アルゴリズムのうちの少なくとも1つをアルゴリズム分割することは、具体的に、前記グリッド着色アルゴリズムをアルゴリズム分割することである。前記グリッド着色アルゴリズムをアルゴリズム分割することは、具体的に、前記グリッド着色アルゴリズムを次のステップに分割することである:前記グリッド画像における各グリッドが地面であるか否かを判断し、地面であると判定されたグリッドを着色処理するステップ。これにより、第2特徴アルゴリズムにおける演算に時間がかかるグリッド着色アルゴリズムをアルゴリズム分割することができ、グリッド着色アルゴリズムに異種アクセラレーション条件を満たさせて、グリッド着色アルゴリズムに対して異種アクセラレーションを行うことができ、レーザーレーダーの知覚過程におけるデータ演算速度をさらに向上させ、レーザーレーダーの信頼性をさらに向上させる。
幾つかの例において、前記複数の第1サブアルゴリズムのうちの少なくとも1つのアルゴリズムおよび/または前記複数の第2サブアルゴリズムのうちの少なくとも1つのアルゴリズムに対して異種アクセラレーションを行うことは、具体的に、前記複数の第2サブアルゴリズムのうちの少なくとも1つのアルゴリズムに対して異種アクセラレーションを行うことである。前記複数の第2サブアルゴリズムのうちの少なくとも1つのアルゴリズムに対して異種アクセラレーションを行うことは、具体的に、前記グリッド画像における各グリッドが地面であるか否かを判断することを並列処理することを含む。
本願の第1実施形態は、レーザーレーダーに基づく検出方法に関し、本実施形態の具体的なプロセスを図1に示し、以下のことを含む。
S101:レーザーレーダーの走査データを取得する。
具体的には、レーザーレーダーの作動中に大量の走査データが生成され、これらの走査データには、元々のレーザーポイントの距離、位置座標などが含まれるが、これらに限定されない。本実施形態において、取得した走査データは、元のレーザーレーダー点群データである。
S102:走査データに基づいて検出するための特徴アルゴリズムをアルゴリズム分割し、特徴アルゴリズムにおいて並列処理が可能である少なくとも1つのサブアルゴリズムを得る。
具体的には、本実施形態において、分割された特徴アルゴリズムは、1つであってもよいし、複数であってもよい。例えば、本実施形態において、特徴アルゴリズムは、障害物の位置を検出し、障害物が検出された位置で当該障害物を追跡できるターゲット検出追跡アルゴリズムと、走行可能な領域を検出でき、自動運転の基本条件を満たす走行可能領域認識アルゴリズムとを含むことができる。
S103:走査データを処理するように少なくとも1つのサブアルゴリズムに対して異種アクセラレーションを行い、処理結果から、検出された障害物の位置及び走行可能な領域を得る。
具体的には、異種アクセラレーションは、並列及び分散型アクセラレーションの特別な形式であり、SIMD方式とMIMD方式を同時にサポートできる単一のスタンドアロンコンピュータまたは高速ネットワークで相互に接続された1つのセットのスタンドアロンコンピュータによりコンピューティングタスクを完了する。それは、性能、構成それぞれ異なるマシンを調和的に利用して異なるコンピューティングニーズを満たすことができ、全体的なパフォーマンスを最大化するようにコード(またはコードセグメント)を実行させることができる。ターゲット検出追跡アルゴリズムを特徴アルゴリズムの例とすると、ターゲット検出追跡アルゴリズムには、複数のサブアルゴリズムが含まれており、走査データを処理するようにそのうちの少なくとも1つのサブアルゴリズムに対して異種アクセラレーションを行うことにより、システムの演算速度を速めると共に、アルゴリズムのCPU占有率を低減することができる。
本願の実施形態では、前記走査データに基づいて検出するための特徴アルゴリズムをアルゴリズム分割し、前記特徴アルゴリズムにおいて並列処理が可能である少なくとも1つのサブアルゴリズムを得ることについて、特徴アルゴリズムに複数の実現プロセスがあるため、特徴アルゴリズムの実現プロセスを分割することにより、前記特徴アルゴリズムにおいて並列処理が可能である少なくとも1つのサブアルゴリズムを得ており、異種アクセラレーションの条件を満たし、そして、前記走査データを処理するように少なくとも1つの前記サブアルゴリズムに対して異種アクセラレーションを行うことができる。並列処理が可能なサブアルゴリズムはいずれもデータ量が多く、計算に時間がかかり、かつCPU占有率が高いアルゴリズムであるため、少なくとも1つのサブアルゴリズムに対して異種アクセラレーションを行うことで、レーザーレーダーの知覚アルゴリズムの全体的な時間消費を効果的に低減し、レーザーレーダーの知覚過程におけるデータ演算速度を向上させ、レーザーレーダーの信頼性を向上させることができる。また、CPU占有率の高いサブアルゴリズムは異種アクセラレーションによりそのCPU占有率が大幅に低下するため、消費電力とコストがより低いプロセッサ及びヘテロジニアスコンピューティングデバイスを選択することができ、レーザーレーダーに基づくターゲット検出装置の製造コストを削減する。
本願の第2実施形態は、レーザーレーダーに基づく検出方法に関し、第2実施形態は、第1実施形態に基づいてさらに改良されたものであり、具体的な改良点としては、第2実施形態において、特徴アルゴリズムを次のように細分化した点にある:特徴アルゴリズムは、前記走査データに基づいて障害物の位置を検出するための第1特徴アルゴリズムと、前記走査データに基づいて走行可能な領域を検出するための第2特徴アルゴリズムとを含み、第1特徴アルゴリズムは、フィッティングアルゴリズム、セグメンテーションクラスタリングアルゴリズム及び位置認識アルゴリズムを含み、かつ、第2実施形態のいて、第1特徴アルゴリズムのフィッティングアルゴリズムをアルゴリズム分割する。これにより、第1特徴アルゴリズムにおける演算に時間がかかるエッジ抽出アルゴリズムをアルゴリズム分割し、エッジ抽出アルゴリズムのアルゴリズムステップが異種アクセラレーション条件を満たしてエッジ抽出アルゴリズムに対して異種アクセラレーションを行い、レーザーレーダーの知覚過程におけるデータ演算速度をさらに向上させ、レーザーレーダーの信頼性をさらに向上させることができる。
本実施形態の具体的なプロセスを図2に示し、以下のことを含む。
S201:レーザーレーダーの走査データを取得する。
S202:エッジ抽出アルゴリズムをアルゴリズム分割し、エッジ抽出アルゴリズムにおいて並列処理が可能である少なくとも1つのサブアルゴリズムを得る。
具体的に、本実施形態において、第1特徴アルゴリズムは、ターゲット検出追跡アルゴリズムであり、前記走査データに基づいて地面をフィッティングするフィッティングアルゴリズムと、前記地面フィッティングの結果に基づいて前記障害物をセグメント化かつクラスタリングするセグメンテーションクラスタリングアルゴリズムと、前記セグメンテーションクラスタリングの結果に基づいて前記障害物のエッジフレームを抽出するためのエッジ抽出アルゴリズムと、前記エッジフレームに基づいて前記障害物の位置を認識する位置認識アルゴリズムとを含む。理解できるように、本実施形態は、エッジ抽出アルゴリズムをアルゴリズム分割することにより、レーザーレーダーの知覚過程におけるデータ演算速度を向上させる。
理解を容易にしかつターゲット検出追跡アルゴリズムをさらに詳しく説明するために、図3に示されるように、ターゲット検出追跡アルゴリズムは、以下のステップを含むことができる。
S2021:走査データの有効性を判断し、有効であると判定された走査データを格納する。
ステップS2021について、具体的には、走査データには、元々のレーザーレーダー点の距離と高さの情報が含まれており、距離は、即ち元々のレーザーレーダー点とレーザーレーダーの最初の中心点との間の距離であり、高さは、即ち元々のレーザーレーダー点の地面からの高さであり、距離閾値と高さ閾値を予め設定することにより、距離が距離閾値より大きい場合、元々のレーザーレーダー点が無効であると判定され、高さが高さ閾値より大きい場合、元々のレーザーレーダー点が無効であると判定される。なお、本実施形態において、走査データにおける有効なデータを順に格納する。格納された全ての点群データを極座標で区画し、2度を1つのセクターとし、各点が位置するセクター位置に応じて、全ての座標点をセクターごとに1次元配列として格納する。理解できるように、当業者は、他のラジアンに従ってセクターを区画することもできるが、本実施形態では、特にこれを限定しない。
S2022:走査データの格納結果に基づいて、走査データにおける地面点をスクリーニングする。
ステップS2022について、具体的には、各セクターを個体として、各セクター内の全てのレーザー点群データのうちのZ軸方向における最も低い点を見つけ出し、当該セクター内の各点をその最も低い点と比較し、同時に、当該点のZ軸方向における値をレーザーレーダーの地面からの装着高さと比較すると、一定の高さよりも低い場合、当該レーザー点は地上点であると一応認められ、このように、全てのセクター内のポイントセットを循環するようにトラバースする。つまり、レーザー点群データの高さが一定の高さ(実際の必要に応じて予め設定されることができる)よりも低い場合、当該点は地上点であると判定できる。
S2023:スクリーニングされた地面点に基づいて、2次元平面をフィッティングする。
ステップS2023について、具体的には、スクリーニングされた地面点を利用して、RANSACアルゴリズムを用いてフィッティングを行い、2次元平面をフィッティングし、平面方程式ax+by+cz+d=0のパラメータ値(ここで、a、b、c、dはいずれも定数であり、x、y、zは引数である)を求め、同時に、平面方程式におけるzのパラメータcが正数であることを確保する。上記の方法によりフィッティングされた平面方程式を利用して、有効な点群データセットの各点を、当該平面上のX軸とY軸の位置点と同じZ軸方向における値と比較し、合理的な範囲(実際の必要に応じて合理的な範囲を予め設定することができる)にあるものを地面点とし、残りの点を非地面点として分類する。
なお、上述したステップS2021~ステップS2023は、フィッティングアルゴリズムのステップであり、ステップS2021~ステップS2023を実行することにより、フィッティングされた地面を得ることができる。
S2024:地面点を除去した走査データを元々の点群データとし、元々の点群データを分類する。
ステップS2024について、具体的には、図4に示されるように、最大距離と最大高さを超えて元々の点群データを分離すると、残りのデータは分割可能な部分になる。当該部分のデータを、極座標グリッド法に従って格納して2次元配列として格納し、各配列ユニットには当該グリッド内の全てのポイントセットデータを格納する。上記の格納されたグリッドデータを利用して、それに対応する2次元配列P(200*360)を確立し、データがあるそれぞれのグリッドを1としてマークし、それ以外の場合は0としてマークし、得られた2次元配列を拡張処理し、孤立したグリッドポイントを解消する。理解できるように、元々の点群データのうちレーザーレーダーの中心点から遠いまたは高さが高いデータについて、無効なデータ(即ち、当該データは障害物を特徴付けていないと認定できる)とみなすことができ、最大距離と最大高さを超えて元々の点群データを分離することにより、無効なデータを分離し、後続のステップの計算量を大幅に削減し、レーザーレーダー知覚アルゴリズムの計算性能をさらに向上させることができる。
S2025:元々の点群データ分類の結果に基づいて、元々の点群データをクラスタリングする。
ステップS2025について、具体的には、上記のステップにおける2次元配列Pデータに基づいて、各データ点をトラバースし、当該点の周囲の8箇所の点が1であるか否かを判断し、1であると判断されると、これらのグリッド領域の点を同一のカテゴリに分類し、即ち、同一の障害部の点からなる点であり、0であると判断されると、全てのP内の点が全部トラバースされることを完了するまで、次のPデータ点の位置に進んで上記の判断を行い、全ての同一のカテゴリのP点に対応するグリッドからなる点が同一の障害物のポイントセットである。図5に示されるように、元々の点群データを以下のステップによりクラスタリングすることができる。
S1:元々の点群データは、ラベルマトリックス要素にマッピングされる。
S2:グリッドラベルマトリックスを拡張させる。
S3:グリッド及び上下左右の領域がアイドルであるか否かを判断し、YESである場合、ステップS1を実行し、NOである場合、ステップS4を実行する。
S4:同じ数値ラベルとしてマークする。
S5:グリッドをトラバースするか否かを判断し、YESである場合、ステップS6を実行し、NOである場合、ステップS1を実行する。
S6:ラベルマトリックスをクラスタリングする。
S2026:元々の点群データクラスタリングの結果に基づいて、単一の障害物点群データを得る。
ステップS2026について、具体的には、得られた各障害物点を利用して、それの位置するグリッド内の全てのレーザー点群データを同一のカテゴリに分類し、障害物点群データを得る。
なお、以上のステップS2024~ステップS2026は、セグメンテーションクラスタリングアルゴリズムのステップであり、ステップS2024~ステップS2026を実行することにより、障害物をセグメント化かつクラスタリングすることができる。
S2027:障害物点群データに基づいて、障害物のM個の2次元マッピング外部輪郭点座標を抽出する。
ステップS2027について、具体的には、Mは1より大きい整数であり、本実施形態において、2次元マッピング外部輪郭点座標は以下の方法で抽出されることができる:まず、グリッドを設計し、障害物点群データのX方向またはY方向における最大点、最小点を見つけ出し(以下、X方向を基準とする)、この幾つかの点から原点までの距離に応じて等ラジアンのグリッドを適宜に設定し(レーザーレーダーのハーネスの角度と距離を基準とする)、距離が大きいほど、グリッドの間隔が大きくなる。点群を分割し、全ての点について、クイックソート方法を使用してX軸座標値に従ってそれらの点の位置するグリッドを検索し、それらの点をグリッドに配置する。各グリッド内のY軸方向における最大値点と最小値点を格納する。
S2028:M個の2次元マッピング外部輪郭点座標に基づいてM本のフィッティング直線を取得し、M本のフィッティング直線のM個の傾斜角度を算出する。
ステップS2028について、具体的には、1つの前記2次元マッピング外部輪郭点座標は、1つの傾斜角度に対応し、S2027で得られた全てのポイントセットを利用して、ランダムサンプリング一致原理に従って平面直線をフィッティングし、当該直線とX軸方向における夾角の大きさβを算出し、即ち当該直線の傾斜角度を得ることができる。
S2029:傾斜角度に従って対応する2次元マッピング外部輪郭点座標を回転させ、障害物の立方体フレームを得る。
ステップS2029について、具体的には、ステップ2で得られた夾角β(フィッティングされた直線とX軸方向との夾角)に基づいて、ステップ1で得られた全てのポイントセットについて、座標をβで回転させ、即ち、
Point[i].x_new=Point[i].x*cosβ-Point[i].y*sinβ、
Point[i].y_new=Point[i].x*sinβ+Point[i].y*cosβである。
描画された立方体フレームの障害物情報には、障害物の速度、ポイント数、中心点座標、3次元フレームコーナーポイント座標、追跡id番号、カテゴリ、及び最後に追跡された時間などが含まれる。
なお、以上のステップS2027~ステップS2029は、エッジ抽出アルゴリズムのステップであり、ステップS2027~ステップS2029を実行することにより、障害物の位置を検出することができる。概して、図6に示されるように、障害物外部輪郭フレーム抽出は、レーザー点群の2次元座標マッピング外部輪郭点の抽出、RANSACによるフィッティング直線の計算、外部輪郭点の回転による極値座標の抽出、極値による障害物立方体フレームの計算というステップに分けることができる。
好ましくは、障害物の立方体フレームを取得した後、追跡されたターゲットを格納するためのキューを配置し、そして、全ての障害物の座標情報をグローバル座標系に変換し、追跡の具体的な過程は、以下の通りである。
関連マトリックスを計算し、前のフレームの点群内の全ての障害物と本フレームの点群の全ての障害物に基づいて、2つのフレーム間の各ターゲット間の距離差とポイント数の差を計算することによって、コスト関数を算出し、2つのフレーム間の全てのターゲットの関連マトリックスを確立し、ハンガリーのアルゴリズムを利用してマッチングし、2つのフレーム間の追跡のマッチングのうちの最適な結果を得る。
最新の追跡オブジェクトリストを更新する。
新しい障害物には、新しいid番号が割り当てられ、フレームを新たに描画し、かつ、カテゴリを記録する。
図7に示されるように、概して、ターゲット検出追跡アルゴリズムは、平面フィッティング、地面セグメンテーション、クラスタリング、フレーム描画及び追跡というステップに分けることができる。平面フィッティングの過程は、具体的に、「元々のポイントセットをセクターごとに分類して格納する」、「各セクターにおいて地面点を予備スクリーニングし、統合して記録する」、「予備スクリーニングされた全ての地面点についてransacを用いて平面方程式を生成する」というステップに分けることができる。地面セグメンテーションの過程は、即ち平面方程式により元々のポイントセットを地面点と非地面点にセグメント化する。クラスタリングの過程は、具体的に、「360度グリッドで非地面点を分類して格納する」、「グリッドを単位としてクラスタリングする」、「クラスタリングされたグリッド内の点を抽出し、異なるオブジェクトとして格納する」というステップに分けることができる。フレーム描画の過程は、具体的に、「レーザー点群の2次元マッピング外部輪郭点を抽出する」、「フィッティング直線をハフ変換し、直線の傾斜角度を算出する」、「ポイントセット座標を回転させ、立方体フレームを描画する」というステップに分けることができる。追跡の過程は、具体的に、「座標系を変換する」、「関連マトリックスを算出する」、「ハンガリーのアルゴリズムにより最適なマッチングを計算する」というステップに分けることができる。
S203:走査データを処理するように少なくとも1つのサブアルゴリズムに対して異種アクセラレーションを行い、処理結果から、検出された障害物の位置及び走行可能な領域を得る。
具体的には、本実施形態において、走査データを処理するように少なくとも1つのサブアルゴリズムに対して異種アクセラレーションを行うことは、M個の2次元マッピング外部輪郭点座標に基づいてM本のフィッティング直線を取得し、M本のフィッティング直線のM個の傾斜角度を算出することを並列処理することであってもよい。ターゲット検出アルゴリズムのフレーム描画の過程において、ハフ変換を利用して単一のオブジェクトのエッジに平面直線をフィッティングし、オブジェクトの3次元境界矩形フレームを取得する。ハフ変換は、画像処理において画像から幾何学的形状を認識する基本的な方法の1つであり、直線を探すことについて、他の方法と比べて、この方法はノイズ干渉をより良好に低減することができる。その基本的な原理は、点と線の二重性(duality)を利用して、元々の画像空間内の特定曲線を曲線式形式によりパラメータ空間内の点に変えることである。このように、元々の画像の特定曲線を検出する問題は、パラメータ空間のピーク値を検出する問題に変換される。ハフ変換は、各点に対し同じ処理を行い、多くの重複作業があり、異種アクセラレーションで実現し、異なる点を適当に並列処理し、各点の演算プロセスをパイプライニングで実現し、時間の消費を大幅に削減する。
理解を容易にするために、以下、如何にして障害物の立方体フレームを描画するかについて、例を挙げて詳しく説明する。
まず、極座標系での直線の表現式は、r=x・cosθ+y・sinθである。ハフ変換は、1つの画像ポイントセットを処理し、各点(x,y)について、極座標において、それを通過する全ての直線を極直径極角平面にて描画して、1本の正弦曲線を得る。上記の操作により得られた曲線が平面θ-rで交差する2つの異なる点がある場合、それらは同じ直線を通過することを意味する。以上の方法は、各点に対し同じ処理を行い、多くの重複作業がある。CPUで実行する時に画像の全ての点を順次トラバースし、消費されら時間は点の数と正比例する。FPGAで実現すれば、異なる点を適当に並列処理し、各点の演算プロセスをパイプライニングで実現し、時間の消費を大幅に削減する。
HLSソフトウェアを使用して、ハフ変換のアルゴリズムをコンパイル指導かつ最適化し、RTLレベルのハードウェア記述コードを生成する。コンパイル指導と最適化は、次の原則に基づく。
(1)浮動小数点型の代わりに固定小数点型を可能な限り使用して内部変数を定義する。HLSでは、データの精度はハードウェアリソースの占有率に大きく影響し、HLSは配置可能な固定小数点演算をサポートし、精度を満たすことを前提として、固定小数点数を使用すると、ハードウェアリソースの消費を削減し、より高いクロック周波数で実行されることができる。
(2)単層ループの場合、ループ内においてパイプラインモードとして設計され、パイプライン最適化命令set_directive_pipelineを使用する。パイプライニング方式により、リソース利用率を高め、次回のループは前回のループが完了するまで待たずに開始し、演算並列レベル及び計算速度を高速化することができる。
(3)ネスティングループの場合、内層ループに対してパイプライン最適化命令set_directive_pipelineを使用することができる。この特徴としては、pipelineを用いた現在の層以下のループ層が自動的に最適化展開され、現在の層以上(当該層を含む)のループが単層ループに降格される。内層ループが展開された後、内層操作ステップに対応するハードウェア回路が複数コピーされ、並列処理が実現される。
(4)配列を分割し、分割最適化命令set_directive_array_partitionを使用する。なお、分割配列の最適化は孤立したものではなく、具体的な使用と組み合わせる必要がある。配列が分割された後、複数のblock RAM(他のタイプのRAMとして指定されることも可能である)に統合され、複数のインターフェイスの同時アクセスを満足し、データのスループット率を向上させる。展開された複数のハードウェア回路と合わせて使用すると、ハードウェア回路の並列実行能力を最大限に発揮することができる。
理解できるように、ハフ変換のコードは多く実現されているが、重複を避けるために、ここで説明を省略する。各部分の大量の画像点の密集操作を含む機能モジュールについて、いずれも上記原則に従って設計して指導を最適化することにより、ターゲット検出画像枠機能のFPGAの並列加速処理を実現し、処理遅延を大幅に低減することができる。
なお、本実施形態において、エッジ抽出アルゴリズムの他のステップに対して異種アクセラレーションを行ってもよいし、フィッティングアルゴリズム及びセグメンテーションクラスタリングアルゴリズムの他のアルゴリズムに対して異種アクセラレーションを行ってもよく、つまり、本実施形態では、異種アクセラレーションを行うアルゴリズムの種類が具体的に限定されていないと共に、異種アクセラレーションを行うアルゴリズムの数が具体的に限定されておらず、例えば、エッジ抽出アルゴリズム及びフィッティングアルゴリズムに対して同時に異種アクセラレーションを行うことで、システムの演算性能をさらに向上させることができる。また、如何にして検出した障害物の位置を得るかについて、本実施形態におけるステップS2021~ステップS2029で詳細に説明しており、重複を避けるために、ここで説明を省略する。
本願の実施形態では、前記走査データに基づいて検出するための特徴アルゴリズムをアルゴリズム分割し、前記特徴アルゴリズムにおいて並列処理が可能である少なくとも1つのサブアルゴリズムを得ることについて、特徴アルゴリズムに複数の実現プロセスがあるため、特徴アルゴリズムの実現プロセスを分割することにより、前記特徴アルゴリズムにおいて並列処理が可能である少なくとも1つのサブアルゴリズムを得ており、異種アクセラレーションの条件を満たし、そして、走査データを処理するように少なくとも1つの前記サブアルゴリズムに対して異種アクセラレーションを行うことができる。並列処理が可能なサブアルゴリズムはいずれもデータ量が多く、計算に時間がかかり、かつCPU占有率が高いアルゴリズムであるため、少なくとも1つのサブアルゴリズムに対して異種アクセラレーションを行うことで、レーザーレーダーの知覚アルゴリズムの全体的な時間消費を効果的に低減し、レーザーレーダーの知覚過程におけるデータ演算速度を向上させ、レーザーレーダーの信頼性を向上させることができる。また、CPU占有率の高いサブアルゴリズムは異種アクセラレーションによりそのCPU占有率が大幅に低下するため、消費電力とコストがより低いプロセッサ及びヘテロジニアスコンピューティングデバイスを選択することができ、レーザーレーダーに基づくターゲット検出装置の製造コストを削減する。
本願の第3実施形態は、レーザーレーダーに基づく検出方法に関し、第3実施形態は、第1実施形態に基づいてさらに改良されたものであり、具体的な改良点としては、第3実施形態において、第2特徴アルゴリズムを次のように細分化した点にある:第2特徴アルゴリズムは、分類格納アルゴリズム、地面点判定アルゴリズム及びグリッド着色アルゴリズムを含み、かつ、第3実施形態のいて、第2特徴アルゴリズムの分類格納アルゴリズムをアルゴリズム分割する。これにより、第2特徴アルゴリズムにおける演算に時間がかかる分類格納アルゴリズムをアルゴリズム分割し、分類格納アルゴリズムのステップが異種アクセラレーション条件を満たして分類格納アルゴリズムに対して異種アクセラレーションを行うことができ、レーザーレーダーの知覚過程におけるデータ演算速度をさらに向上させ、レーザーレーダーの信頼性をさらに向上させる。
本実施形態の具体的なプロセスを図8に示し、以下のことを含む。
S301:レーザーレーダーの走査データを取得する。
S302:分類格納アルゴリズムをアルゴリズム分割し、分類格納アルゴリズムにおいて並列処理が可能である少なくとも1つのサブアルゴリズムを得る。
具体的には、本実施形態において、第2特徴アルゴリズムは、走行可能領域認識アルゴリズムであってもよく、走行可能領域認識とは、レーザーレーダーによって収集された点群データを水平面方向に投影し、その後、領域を分割し、分割された領域内の点群データを処理し、最終的に当該領域が走行可能であるか否かを結論付けることである。一般的に、レーザーレーダーは、高速回転しながら、高周波レーザービームを発射して外部環境を継続的に走査し、この作業方式は、極座標系での領域分割方法を用いることが最適である。走行可能領域認識アルゴリズムは、走査データを360度グリッドで分類して格納する分類格納アルゴリズムと、360度グリッドによる分類格納の結果に基づいて走査データにおける地面点を取得し、地面点を予備着色処理する地面点判定アルゴリズムと、地面点に基づいてグリッド画像を確立し、グリッド画像を細かく着色処理し、走行可能な領域を得るグリッド着色アルゴリズムとを含む。理解できるように、本実施形態は、レーザーレーダーの知覚過程におけるデータ演算速度を向上させるように、分類格納アルゴリズムをアルゴリズム分割する。
理解を容易にし、かつ走行可能領域認識アルゴリズムをさらに詳しく説明するために、図9に示されるように、走行可能領域認識アルゴリズムは、以下のステップを含むことができる。
S3021:走査データに基づいて、元々のレーザーレーダー点の極座標を得る。
S3022:レーザーレーダーの走査領域を予め設定されたラジアンで区画し、N個のセクターを得る。
具体的には、Nは1より大きい整数であり、区画されたN個のセクターを図4に示す。
S3023:それぞれの元々のレーザーレーダー点の極座標が位置するセクターの位置に基づいて、元々のレーザーレーダー点のそれぞれをセクターごとに2次元配列として格納する。
なお、上記のステップS3021~ステップS3023は分類格納アルゴリズムのステップであり、ステップS3021~ステップS3023を実行することにより、レーザーレーダー点を分類して格納することができる。
S3024:各グリッドのZ軸方向における最低点を取得する。
S3025:各グリッドのZ軸方向における最低点に基づいて、極座標の座標系の第1グリッド画像を確立する。
具体的には、各グリッドのうちのZ軸方向における最低点について、対応する極座標の極座標系のグリッド画像を確立し、全部で1に初期化し、原点から極座標で外側に発散し、レーザーポイントのない場合は、0としてマークし、現在のグリッドの最低点と比較すると、地面のレーザーポイントであると判定された場合、0としてマークし、非地面点であると判定された場合、当該グリッドからセクター領域の後に全部1としてマークする。全てのレーザーポイントをトラバースした後に、第1グリッド画像をより明確に観察できるように、第1グリッド画像に対して拡張処理を行う。
なお、上記のステップS3024~ステップS3025は、地面点判定アルゴリズムのステップであり、ステップS3024~ステップS3025を実行することにより、地面点と非地面点とを判定することができ、地面点を着色処理することができる。
S3026:デカルト座標系を用いて第2グリッド画像を確立し、第1グリッド画像及び第2グリッド画像に基づいて走行可能な領域を得る。
具体的には、デカルト座標系を用いてより高精度の画像グリッド500*500を確立し、各画素点のカバレッジ精度は0.1*0.1(m)であり、この画像グリッドを用いて極座標グリッドにおける同じ位置が0であるか否かを判断し、0である場合は走行可能な領域を表し、0でない場合は走行不可能な領域としてマークする。
なお、上記のステップS3026はグリッド着色アルゴリズムのステップであり、ステップS3026を実行することにより、最終的な走行可能な領域を描画することができる。
S303:走査データを処理するように少なくとも1つのサブアルゴリズムに対して異種アクセラレーションを行い、処理結果から、検出された障害物の位置及び走行可能な領域を得る。
具体的には、本実施形態において、走査データを処理するように少なくとも1つのサブアルゴリズムに対して異種アクセラレーションを行うことは、前記元々のレーザーレーダー点のそれぞれを前記セクターごとに2次元配列として格納することであってもよい。この過程において、全ての元々のレーザーレーダー点のデータをトラバースし、グリッドにマッピングされた各点のインデックス位置を算出して、グリッドに格納する必要がある。異種アクセラレーションで実現し、パイプラインモードを使用して異なる点を算出することにより、各点の座標変換と領域属性の計算を1つのクロックのみで完了でき、従来のCPUと比べて何千倍の効率が向上した。
理解を容易にするために、以下、如何にして前記元々のレーザーレーダー点のそれぞれを前記セクターごとに2次元配列として格納することを並列処理するかについて、具体的な例を挙げて説明する。
まず、レーザーレーダーによって収集された点群データを水平面方向に投影し、その後、領域を分割し、点を分割されたグリッドごとに分類して格納する。当該過程は、全ての元々の点群データをトラバースし、グリッドにマッピングされた各点のインデックス位置を算出して、グリッドに格納する必要がある。異種アクセラレーションで実現し、パイプラインモードを使用して異なる点を算出することにより、各点の座標変換と領域属性の計算を1つのクロックのみで完了でき、従来のCPUと比べて何千倍の効率が向上し、詳しいステップは以下の通りである。
水平面について、極座標系にて一定のステップ幅rとθで領域を分割し、次に、全ての空間デカルト直交座標系における点群データを水平面に投影し、平面直交座標系の特徴記述データを取得し、そして、座標変換を行って、極座標系における特徴記述データを取得し、その後、当該特徴記述データに基づいて当該点がどの分割された領域に位置するかを算出し、当該領域に対応するコンテナに当該点の特徴データを格納する。
説明の便宜上、まず、関連する符号の意味を次のように定義する。
r:極座標系における半径変数、
θ:極座標系における極角変数、
L:極座標平面円の半径、
r′:極半径軸切断ステップ幅、
θ′:極角軸切断ステップ幅、
M:極半径方向に切断されたブロックの数、
N:極角方向に切断されたブロックの数、
X:直交座標系におけるある点群特徴データのx座標方向値、
Y:直交座標系におけるある点群特徴データのy座標方向値、
Z:直交座標系におけるある点群特徴データのz座標方向値、
PointCloud_Array:点群データの配列、配列の各要素はx、y、zである、
M:ある点群が極半径方向に位置するブロック数番号、
N:ある点群が極角方向に位置するブロック数番号、
PointAttr_Array:点群属性情報配列、配列の各要素はm、nである、
Size:点群データ配列要素の数。
(1)レーザーレーダーを原点として、水平面においてr(θ)=L(半径はLである)の円を極半径軸と極角軸にて均等に切断し、ここで、極半径軸切断ステップ幅がr′であり、極角軸切断ステップ幅がθ′である場合、合計切断領域の数は(L/r′)*(2π/θ′)であり、L/r′をMとし、2π/θ′をNとすると、半径Lの円をM*Nブロック領域に分割する。
(2)まず、同じデータ型の点群データを統一して格納する。点群データの量に応じて特定のメモリを割り当て、空間デカルト直交座標系における全ての点群特徴データ(x、y、z)セットを順にこのメモリに格納して、配列PointCloud_Arrayを形成する。なお、同じタイプの点群またはその他のデータについて、配列を用いて格納し、例えばvectorなどの動的メモリ管理を含むデータ構造を使用しない。ここでの目的は、HLS最適化アクセラレーションモジュールがAXIバスを使用して外部ストレージデバイスに直接アクセスできるようにすることである。配列の別の機能としては、HLSを用いてFPGA内部のストレージリソースとしてマッピングして、同時アクセスを実現することであり、後続の実施例では使用可能である。以下の実施例はいずれもこの原則に従うものである。
(3)点群データ量に応じて、ハードウェアアクセラレーションによって算出された各点の領域属性情報を格納するための特定のメモリを割り当て、配列PointAttr_Arrayを形成し、当該配列要素は、PointCloud_Array配列要素と1対1で対応する。
(4)PointCloud_Array配列の先頭アドレスと配列サイズsizeを入力パラメータとしてアクセラレーション関数に渡し、アクセラレーション関数を設計する場合、当該配列のアクセス形式をシーケンシャルアクセス形式に設定し、このように、メモリからロジックユニットにデータを転送するプロセスにおいて、FPGAがメモリにアクセスする方法は連続し、同時に、zero_copy(ゼロコピー)命令を使用して、コンパイラはハードウェアアクセラレータのインターフェイスをプロセッサのS_AXIポートに直接接続してデータ伝送を完了し、このように、インターフェイスの一部の性能を大幅に向上させる。
(5)PointAttr_Array配列の先頭アドレスを出力パラメータとしてアクセラレーション関数に渡し、同様に、当該配列のアクセス形式をシーケンシャルアクセス形式に設定し、zero_copy命令を使用して当該配列のデータ伝送方法を記述する。
(6)FPGAアクセラレーション関数の内部は、ループ数がsizeである単層ループ体であり、点群データをループで処理するたびに、パイプラインPIPELINE命令を使用して当該ループ本体を最適化して済む。このタイプの最適化により、FPGAはi番目のループに対してデータを計算すると同時に、i+1番目のループに必要なデータを読み取り、i-1番目のループによって出力された計算結果を同時に格納することもできる。各ループは次のように動作する:まず、PointCloud_Array配列要素点(x,y,z)を読み取り、そして、式
Figure 2022550291000002
及び
Figure 2022550291000003
によって当該要素極座標系の特徴データ(r,θ)を算出し、m=r/r′かつm<=M、n=θ/θ′かつn<=Nとして表記し、これまで、点(x,y,z)が(m,n)領域ブロックに位置することを算出し、最後に(m,n)を当該点に対応するPointAttr_Array配列要素に格納する。
なお、如何にして検出された走行可能な領域を得るかについて、本実施形態におけるステップS3021~ステップS3026で詳しく説明した。重複を避けるために、ここで説明を省略する。
本願の実施形態では、前記走査データに基づいて検出するための特徴アルゴリズムをアルゴリズム分割し、前記特徴アルゴリズムにおいて並列処理が可能である少なくとも1つのサブアルゴリズムを得ることについて、特徴アルゴリズムに複数の実現プロセスがあるため、特徴アルゴリズムの実現プロセスを分割することにより、前記特徴アルゴリズムにおいて並列処理が可能である少なくとも1つのサブアルゴリズムを得ており、異種アクセラレーションの条件を満たし、そして、走査データを処理するように少なくとも1つの前記サブアルゴリズムに対して異種アクセラレーションを行うことができる。並列処理が可能なサブアルゴリズムはいずれもデータ量が多く、計算に時間がかかり、かつCPU占有率が高いアルゴリズムであるため、少なくとも1つのサブアルゴリズムに対して異種アクセラレーションを行うことで、レーザーレーダーの知覚アルゴリズムの全体的な時間消費を効果的に低減し、レーザーレーダーの知覚過程におけるデータ演算速度を向上させ、レーザーレーダーの信頼性を向上させることができる。また、CPU占有率の高いサブアルゴリズムは異種アクセラレーションによりそのCPU占有率が大幅に低下するため、消費電力とコストがより低いプロセッサ及びヘテロジニアスコンピューティングデバイスを選択することができ、レーザーレーダーに基づくターゲット検出装置の製造コストを削減する。
本願の第4実施形態は、レーザーレーダーに基づく検出方法に関し、第4実施形態は第3実施形態とほぼ同じであり、主な相違点は、第4実施形態において、前記分類格納アルゴリズム、前記地面点判定アルゴリズム及び前記グリッド着色アルゴリズムのうちの少なくとも1つをアルゴリズム分割することであり、具体的に、前記グリッド着色アルゴリズムをアルゴリズム分割することである。前記グリッド着色アルゴリズムをアルゴリズム分割することは、具体的に、前記グリッド着色アルゴリズムを以下のステップに分割することである:前記グリッド画像における各グリッドが地面であるか否かを判断し、地面であると判定されたグリッドを着色処理する。これにより、第2特徴アルゴリズムにおける演算に時間がかかるグリッド着色アルゴリズムをアルゴリズム分割し、グリッド着色アルゴリズムのステップに異種アクセラレーション条件を満たさせて、グリッド着色アルゴリズムに対して異種アクセラレーションを行うことができ、レーザーレーダーの知覚過程におけるデータ演算速度をさらに向上させ、レーザーレーダーの信頼性をさらに向上させる。
本実施形態の具体的なプロセスを図10に示し、以下のことを含む。
S401:レーザーレーダーの走査データを取得する。
S402:グリッド着色アルゴリズムをアルゴリズム分割し、グリッド着色アルゴリズムにおいて並列処理が可能である少なくとも1つのサブアルゴリズムを得る。
具体的には、走行可能領域認識アルゴリズムは、走査データを360度グリッドで分類して格納する分類格納アルゴリズムと、360度グリッドによる分類格納の結果に基づいて走査データにおける地面点を取得し、地面点を予備着色処理する地面点判定アルゴリズムと、地面点に基づいてグリッド画像を確立し、グリッド画像を細かく着色処理し、走行可能な領域を得るグリッド着色アルゴリズムとを含む。理解できるように、本実施形態は、レーザーレーダーの知覚過程におけるデータ演算速度を向上させるように、グリッド着色アルゴリズムをアルゴリズム分割する。
S403:走査データを処理するように少なくとも1つのサブアルゴリズムに対して異種アクセラレーションを行い、処理結果から、検出された障害物の位置及び走行可能な領域を得る。
S404について、具体的には、本実施形態において、走査データを処理するように少なくとも1つのサブアルゴリズムに対して異種アクセラレーションを行うことは、前記グリッド画像における各グリッドが地面であるか否かを判断し、地面であると判定されたグリッドを着色処理することを並列処理することであってもよい。地面領域を着色することは、走行可能な領域を色でマークしてから、それをビジュアルインターフェースに送信して表示することである。それは、全ての着色待ちの領域をトラバースし、各領域について、前のステップにおけるグリッドと着色待ちの領域の対応する位置関係を算出し、グリッドにおける地面情報を抽出して、正方形に着色する。異種アクセラレーションで実現することにより、異なる領域を適当に並列処理し、前後のステップのパイプライン操作を実現し、時間の消費を大幅に削減する。
理解を容易にするために、以下、如何にして前記グリッド画像における各グリッドが地面であるか否かを判断し、地面であると判定されたグリッドを着色処理することを並列処理するかについて、例を挙げて詳しく説明する。
地面の着色機能を処理する処理ユニットによって入力されるものは、前のステップで出力されたグリッドであり、各グリッドが地面であるか否かを既にマークし、図11における第1部分に示されるように、0は地面領域であり、1は非地面領域である。着色の領域は、1つの正方形に限定され、500×500部に固定的に分割されている。着色領域の各部について、グリッドにおける対応する位置を抽出して、それが地面であるか否かを判断する必要があり、YESである場合、正方形に着色し、NOである場合、着色しない。図11の第2部分を参照すると、数値は、着色の深さを表し、60は走行可能な路面を表し、90は走行不可能な領域を表す。
上記の過程において、着色待ちの領域の500×500部をトラバースする必要があり、各部について、いずれもグリッドと着色待ちの領域の対応する位置関係を算出し、グリッドにおける地面情報を抽出して、正方形に着色する。各部の領域の操作は比較的独立しており、互いに依存関係がない。CPUによって実行される場合、順に処理され、消費される時間は、領域区画の部数と正比例し、FPGAによって実現される場合、異なる着色領域を適当に並列処理し、前後のステップのパイプライン操作を実現し、時間の消費を大幅に削減する。
HLSを使用して当該プロセスをコンパイル指導かつ最適化し、その後、RTLレベルのハードウェア記述コードを生成する。着色部分のコード構造は次の通りである。
ループ1:for(x=0;x<500;x++){
ループ2:for(y=0;y<500;y++){
着色待ちの領域の色を初期化する
eg.colour[y*500+x]=90、
インデックス値x、yで表される着色の領域に対応するグリッドの位置a、bを算出する
グリッド領域の地面情報を抽出する
地面であるか否かを判断して、着色する
eg.
if(grid_info[a,b]==0)//地面である
colour[y*500+x]=60;//着色

上記のコード構造において、ループ1とループ2は着色領域全体をトラバースし、ループの回数は定数である。変数x、yは着色領域の位置をインデックス化することに用いられ、変数a、bはグリッドの位置をインデックス化することに用いられる。配列grid_info[]には、グリッド情報が格納されており、配列colour[]には、着色領域情報が格納されている。
上記のコードは、アクセラレーションモジュール内に位置し、配列grid_info []であっても、colour[]であっても、いずれも内部定義である。アクセラレーション関数は、まず導入された外部配列を関数の内部配列にコピーする必要があり、HLSは最終的に内部配列をFPGA内部のストレージリソースとしてマッピングし、同時アクセスを実現する。アクセラレーションモジュールによる実行中に、結果データが出力されるまでにデータインタラクションは異種プロセッサ間に行われなくなる。このように、異種プロセッサ間の頻繁なアクセスを減らし、演算性能を大幅に向上させることができる。
ループ1について、パイプライン最適化命令set_directive_pipelineを使用する。当該命令により、ループ2を最適化して展開し、ループ2の大括弧における内容によって生成されたハードウェア回路が複数部にコピーされ、ループ1自体は影響されていない。配列colour[]に対して分割最適化命令set_directive_array_partitionを使用する。配列grid_info[]の2つのディメンションに対していずれも分割最適化命令set_directive_array_partitionを使用することができる。配列は、総合された後に複数のblock RAMにマッピングされ、分割された部数で複数のデータに同時にアクセスでき、ループ2で展開された複数部のハードウェア回路とマッチングされ、データの並列処理を実現する。配列colour[]と配列grid_info[]の分割部数は、必要に応じて調整されることができる。分割部数が多いほど、RAMによって提供されるポートの数が多くなり、性能が向上するが、占有されるリソースは多くなり、逆に、RAMポート数が少ないほど、性能が低下するが、占有されるリソースは少なくなる。以上の操作により、地面領域着色機能のFPGAの並列加速処理を実現し、処理遅延を大幅に短縮することができる。
本願の実施形態では、前記走査データに基づいて検出するための特徴アルゴリズムをアルゴリズム分割し、前記特徴アルゴリズムにおいて並列処理が可能である少なくとも1つのサブアルゴリズムを得ることについて、特徴アルゴリズムに複数の実現プロセスがあるため、特徴アルゴリズムの実現プロセスを分割することにより、前記特徴アルゴリズムにおいて並列処理が可能である少なくとも1つのサブアルゴリズムを得ており、異種アクセラレーションの条件を満たし、そして、走査データを処理するように少なくとも1つの前記サブアルゴリズムに対して異種アクセラレーションを行うことができる。並列処理が可能なサブアルゴリズムはいずれもデータ量が多く、計算に時間がかかり、かつCPU占有率が高いアルゴリズムであるため、少なくとも1つのサブアルゴリズムに対して異種アクセラレーションを行うことで、レーザーレーダーの知覚アルゴリズムの全体的な時間消費を効果的に低減し、レーザーレーダーの知覚過程におけるデータ演算速度を向上させ、レーザーレーダーの信頼性を向上させることができる。また、CPU占有率の高いサブアルゴリズムは異種アクセラレーションによりそのCPU占有率が大幅に低下するため、消費電力とコストがより低いプロセッサ及びヘテロジニアスコンピューティングデバイスを選択することができ、レーザーレーダーに基づくターゲット検出装置の製造コストを削減する。
本願の第5実施形態は、コンピュータプログラムが格納されているコンピュータ読み取り可能な記憶媒体に関する。コンピュータプログラムは、プロセッサによって実行される際に上述した方法実施例を実現する。
即ち、当業者なら理解できるように、上述した実施例方法におけるステップの全部または一部を実現することは、プログラムで関連するハードウェアを指示することによって実現されることができ、当該プログラムは、1つの記憶媒体に格納されており、1つのデバイス(シングルチップマイクロコンピュータ、チップなどであってもよい)またはプロセッサ(processor)に本願の各実施例に記載の方法のステップの全部または一部を実行させるように複数の命令を含む。前述の記憶媒体は、Uディスク、モバイルハードディスク、読み取り専用メモリ(ROM、Read-Only Memory)、ランダムアクセスメモリ(RAM、Random Access Memory)、磁気ディスクまたは光ディスクなどの、プログラムコードを格納可能な様々な媒体を含む。
本願の第6実施形態は、レーザーレーダーに基づく検出装置100に関し、具体的な構成を図12に示し、レーザーレーダーの走査データを取得し、前記走査データをアルゴリズム分割モジュール2に送信するための取得モジュール1と、前記走査データを受信し、前記走査データに基づいて検出するための特徴アルゴリズムをアルゴリズム分割し、前記特徴アルゴリズムにおいて並列処理が可能である少なくとも1つのサブアルゴリズムを得るためのアルゴリズム分割モジュール2と、前記走査データを処理するように少なくとも1つの前記サブアルゴリズムに対して異種アクセラレーションを行い、処理結果から、検出された障害物の位置及び走行可能な領域を得るための異種アクセラレーションモジュール3と、を備える。
なお、レーザーレーダーに基づく検出装置100は、取得モジュール1を含んでいなくてもよく、アルゴリズム分割モジュール2によりレーザーレーダーの走査データを直接に取得することができ、これによって、レーザーレーダーに基づく検出装置100の構成をより簡素化することができる。
具体的には、本実施形態における特徴アルゴリズムは、ターゲット検出追跡アルゴリズム及び走行可能領域認識アルゴリズムであってもよく、つまり、アルゴリズム分割モジュール2は2つの機能を有し、一つは、ターゲット検出追跡アルゴリズム及び走行可能領域認識アルゴリズムを実現することであり、もう一つは、2つのアルゴリズムの実現プロセスを合理的に分割することであり、異種アクセラレーションモジュール3は、アルゴリズム分割モジュール2における並行処理部分を選択して異種アクセラレーションを実現する。
なお、アルゴリズム分割モジュールによってアルゴリズム分割された後、「データ量が大きく、時間がかかり、かつ並列処理で実現可能である」という特徴を有する操作ステップはいずれも異種アクセラレーション方式で実現でき、本願の保護範囲に含まれる。また、本実施形態では、高レベルの統合技術(HLS)を用いてFPGAを実現することができるが、本願は、この方式を含むが、これに限定されず、従来のRTL言語を用いて実現することができる。
明らかに、当業者なら分かるはずであるが、上記の本願の各モジュールまたは各ステップは、汎用コンピューティングデバイスによって実現でき、それらは単一のコンピューティングデバイスに集中されるか、または複数のコンピューティングデバイスからなるネットワークに分布されてもよく、選択できるように、それらはコンピューティングデバイスによって実行可能なプログラムコードによって実現できるため、記憶装置に格納されてコンピューティングデバイスによって実行されることができる。また、場合によっては、ここに示したり説明したりするステップをここと異なる順序で実行することができ、または、それらを、それぞれ複数の集積回路モジュールに作製したり、それらのうちの複数のモジュールまたはステップを単一の集積回路に作製したりすることで実現することができる。このように、本願は、任意に指定されたハードウェアとソフトウェアとの組み合わせに限定されない。
本願の第7実施形態は、レーザーレーダーに基づく検出装置に関し、図13に示されるように、少なくとも1つのプロセッサ701と、少なくとも1つのプロセッサ701と通信接続されたメモリ702とを備え、そのうち、メモリ702には、少なくとも1つのプロセッサ701によって実行可能な命令が格納されており、命令は、少なくとも1つのプロセッサ701に上記のレーザーレーダーに基づく検出方法を実行させることができるように少なくとも1つのプロセッサ701によって実行される。
そのうち、メモリ702とプロセッサ701は、バスの方式により接続され、バスは、任意の数の相互接続されたバス及びブリッジを含んでもよく、バスは、一つまたは複数のプロセッサ701およびメモリ702の種々の回路を接続している。バスは、周辺機器、電圧レギュレータ、パワーマネジメント回路など様々な他の回路を接続することもでき、これらは、本分野で周知されたものであるため、本明細書でこれ以上説明しない。バスインタフェースは、バスと送受信機との間にインタフェースを提供する。送受信機は、一つの素子であってもよいし、複数の素子、例えば複数の受信器及び送信器であってもよく、伝送媒体上で種々の他の装置と通信するためのユニットを提供する。プロセッサ701で処理されたデータは、アンテナを介して無線媒体上を伝送され、アンテナはさらにデータを受信して、プロセッサ701にデータを送信する。
プロセッサ701は、バスの管理及び通常の処理を担うものであり、タイミング、周辺インタフェース、電圧調整、電源管理および他の制御機能を含む様々な機能を提供することもできる。メモリ702は、プロセッサ701が操作を実行する際に使用するデータを格納するために使用されてもよい。
当業者であれば、上述した各実施形態は本願を実現する具体的な実施例であるが、実際の応用において、本願の精神と範囲を逸脱することなく、形態及び細部において様々な変更が可能であることが理解できる。
図7に示されるように、概して、ターゲット検出追跡アルゴリズムは、平面フィッティング、地面セグメンテーション、クラスタリング、フレーム描画及び追跡というステップに分けることができる。平面フィッティングの過程は、具体的に、「元々のポイントセットをセクターごとに分類して格納する」、「各セクターにおいて地面点を予備スクリーニングし、統合して記録する」、「予備スクリーニングされた全ての地面点についてransacを用いて平面方程式を生成する」というステップに分けることができる。地面セグメンテーションの過程は、即ち平面方程式により元々のポイントセットを地面点と非地面点にセグメント化する。クラスタリングの過程は、具体的に、「360度グリッドで地面点を分類して格納する」、「グリッドを単位としてクラスタリングする」、「クラスタリングされたグリッド内の点を抽出し、異なるオブジェクトとして格納する」というステップに分けることができる。フレーム描画の過程は、具体的に、「レーザー点群の2次元マッピング外部輪郭点を抽出する」、「フィッティング直線をハフ変換し、直線の傾斜角度を算出する」、「ポイントセット座標を回転させ、立方体フレームを描画する」というステップに分けることができる。追跡の過程は、具体的に、「座標系を変換する」、「関連マトリックスを算出する」、「ハンガリーのアルゴリズムにより最適なマッチングを計算する」というステップに分けることができる。
S403について、具体的には、本実施形態において、走査データを処理するように少なくとも1つのサブアルゴリズムに対して異種アクセラレーションを行うことは、前記グリッド画像における各グリッドが地面であるか否かを判断し、地面であると判定されたグリッドを着色処理することを並列処理することであってもよい。地面領域を着色することは、走行可能な領域を色でマークしてから、それをビジュアルインターフェースに送信して表示することである。それは、全ての着色待ちの領域をトラバースし、各領域について、前のステップにおけるグリッドと着色待ちの領域の対応する位置関係を算出し、グリッドにおける地面情報を抽出して、正方形に着色する。異種アクセラレーションで実現することにより、異なる領域を適当に並列処理し、前後のステップのパイプライン操作を実現し、時間の消費を大幅に削減する。

Claims (12)

  1. レーザーレーダーの走査データを取得することと、
    前記走査データに基づいて検出するための特徴アルゴリズムをアルゴリズム分割し、前記特徴アルゴリズムにおいて並列処理が可能である少なくとも1つのサブアルゴリズムを得ることと、
    前記走査データを処理するように少なくとも1つの前記サブアルゴリズムに対して異種アクセラレーションを行い、処理結果から、検出された障害物の位置及び走行可能な領域を得ることと、を含む、
    ことを特徴とするレーザーレーダーに基づく検出方法。
  2. 前記走査データに基づいて検出するための特徴アルゴリズムをアルゴリズム分割し、前記特徴アルゴリズムにおいて並列処理が可能である少なくとも1つのサブアルゴリズムを 得ることは、
    前記走査データに基づいて障害物の位置を検出するための第1特徴アルゴリズム、前記走査データに基づいて走行可能な領域を検出するための第2特徴アルゴリズムをアルゴリズム分割し、前記第1特徴アルゴリズムにおいて並列処理が可能である複数の第1サブアルゴリズム、前記第2特徴アルゴリズムにおいて並列処理が可能である複数の第2サブアルゴリズムを得ることを含み、
    前記走査データを処理するように少なくとも1つの前記サブアルゴリズムに対して異種アクセラレーションを行うことは、具体的に、
    前記走査データを処理するように、前記複数の第1サブアルゴリズムのうちの少なくとも1つのサブアルゴリズムおよび/または前記複数の第2サブアルゴリズムのうちの少なくとも1つのサブアルゴリズムに対して異種アクセラレーションを行うことを含む、
    ことを特徴とする請求項1に記載のレーザーレーダーに基づく検出方法。
  3. 前記第1特徴アルゴリズムは、前記走査データに基づいて地面をフィッティングするフィッティングアルゴリズムと、地面フィッティングの結果に基づいて前記障害物をセグメント化かつクラスタリングするためのセグメンテーションクラスタリングアルゴリズムと、セグメンテーションクラスタリングの結果に基づいて前記障害物のエッジフレームを抽出するためのエッジ抽出アルゴリズムと、前記エッジフレームに基づいて前記障害物の位置を認識する位置認識アルゴリズムとを含み、
    前記走査データに基づいて障害物の位置を検出するための第1特徴アルゴリズムをアルゴリズム分割することは、
    前記のフィッティングアルゴリズム、セグメンテーションクラスタリングアルゴリズム、エッジ抽出アルゴリズム及び位置認識アルゴリズムのうちの少なくとも1つをアルゴリズム分割することを含む、
    ことを特徴とする請求項2に記載のレーザーレーダーに基づく検出方法。
  4. 前記エッジ抽出アルゴリズムをアルゴリズム分割する場合、前記エッジ抽出アルゴリズムを次のステップに分割する:
    前記セグメンテーションクラスタリングの結果に基づいて、前記障害物のM個の2次元マッピング外部輪郭点座標を抽出し、ここで、Mは1より大きい整数であるステップ、
    前記M個の2次元マッピング外部輪郭点座標に基づいてM本のフィッティング直線を取得し、前記M本のフィッティング直線のM個の傾斜角度を算出し、ここで、1つの前記2次元マッピング外部輪郭点座標は1つの傾斜角度に対応するステップ、
    前記傾斜角度に応じて、対応する前記2次元マッピング外部輪郭点座標を回転させて、前記障害物の立方体フレームを取得するステップ、
    ことを特徴とする請求項3に記載のレーザーレーダーに基づく検出方法。
  5. 前記複数の第1サブアルゴリズムのうちの少なくとも1つのサブアルゴリズムおよび/または前記複数の第2サブアルゴリズムのうちの少なくとも1つのサブアルゴリズムに対して異種アクセラレーションを行うことは、具体的に、前記エッジ抽出アルゴリズムのうちの少なくとも1つのアルゴリズムに対して異種アクセラレーションを行うことであり、
    前記エッジ抽出アルゴリズムの少なくとも1つのアルゴリズムに対して異種アクセラレーションを行うことは、
    前記M個の2次元マッピング外部輪郭点座標に基づいてM本のフィッティング直線を取得し、前記M本のフィッティング直線のM個の傾斜角度を算出することを並列処理することを含む、
    ことを特徴とする請求項4に記載のレーザーレーダーに基づく検出方法。
  6. 前記第2特徴アルゴリズムは、前記走査データを360度グリッドで分類して格納する分類格納アルゴリズムと、前記360度グリッドによる分類格納の結果に基づいて、前記走査データにおける地面点を取得し、前記地面点を予備着色処理する地面点判定アルゴリズムと、前記地面点に基づいてグリッド画像を確立し、前記グリッド画像を細かく着色処理し、前記走行可能な領域を得るグリッド着色アルゴリズムとを含み、
    レーザーレーダーの走行可能な領域を検出するための第2特徴アルゴリズムをアルゴリズム分割することは、
    前記分類格納アルゴリズム、前記地面点判定アルゴリズム、前記グリッド着色アルゴリズムのうちの少なくとも1つをアルゴリズム分割するこを含む、
    ことを特徴とする請求項1に記載のレーザーレーダーに基づく検出方法。
  7. 前記分類格納アルゴリズムをアルゴリズム分割する場合、前記分類格納アルゴリズムを次のステップに分割する:
    前記走査データに基づいて、元々のレーザーレーダー点の極座標を取得するステップ、
    前記レーザーレーダーの走査領域を予め設定されたラジアンで区画し、N個のセクターを取得し、ここで、Nは1より大きい整数であるステップ、
    それぞれの前記元々のレーザーレーダー点の極座標が位置するセクター位置に基づいて、前記元々のレーザーレーダー点のそれぞれを前記セクターごとに2次元配列として格納するステップ、
    ことを特徴とする請求項6に記載のレーザーレーダーに基づく検出方法。
  8. 前記複数の第1サブアルゴリズムのうちの少なくとも1つのサブアルゴリズムおよび/または前記複数の第2サブアルゴリズムのうちの少なくとも1つのサブアルゴリズムに対して異種アクセラレーションを行うことは、具体的に、前記分類格納アルゴリズムの少なくとも1つのアルゴリズムに対して異種アクセラレーションを行うことであり、
    前記分類格納アルゴリズムの少なくとも1つのアルゴリズムに対して異種アクセラレーションを行うことは、
    それぞれの前記元々のレーザーレーダー点の極座標が位置するセクター位置に基づいて、前記元々のレーザーレーダー点のそれぞれを前記セクターごとに2次元配列として格納することを並列処理することを含む、
    ことを特徴とする請求項7に記載のレーザーレーダーに基づく検出方法。
  9. 前記分類格納アルゴリズム、前記地面点判定アルゴリズム、前記グリッド着色アルゴリズムのうちの少なくとも1つをアルゴリズム分割することは、具体的に、前記グリッド着色アルゴリズムをアルゴリズム分割することであり、
    前記グリッド着色アルゴリズムをアルゴリズム分割することは、具体的に、前記グリッド着色アルゴリズムを次のステップに分割することである:
    前記グリッド画像における各グリッドが地面であるか否かを判断し、地面であると判定されたグリッドを着色処理するステップ、
    ことを特徴とする請求項6に記載のレーザーレーダーに基づく検出方法。
  10. 前記複数の第1サブアルゴリズムのうちの少なくとも1つのアルゴリズムおよび/または前記複数の第2サブアルゴリズムのうちの少なくとも1つのアルゴリズムに対して異種アクセラレーションを行うことは、具体的に、前記複数の第2サブアルゴリズムのうちの少なくとも1つのアルゴリズムに対して異種アクセラレーションを行うことであり、
    前記複数の第2サブアルゴリズムのうちの少なくとも1つのアルゴリズムに対して異種アクセラレーションを行うことは、具体的に、
    前記グリッド画像における各グリッドが地面であるか否かを判断し、地面であると判定されたグリッドを着色処理することを並列処理することを含む、
    ことを特徴とする請求項9に記載のレーザーレーダーに基づく検出方法。
  11. プロセッサによって実行される際に請求項1~10のいずれか1項に記載のレーザーレーダーに基づく検出方法を実現するコンピュータプログラムが格納されている、
    ことを特徴とするコンピュータ読み取り可能な記憶媒体。
  12. プロセッサによって実行される際に請求項1~10のいずれか1項に記載のレーザーレーダーに基づく検出方法を実現すコンピュータプログラムが格納されているメモリと、プロセッサとを備える、
    ことを特徴とするレーザーレーダーに基づく検出装置。
JP2022518172A 2019-12-27 2020-12-22 レーザーレーダーに基づく検出方法、装置及びコンピュータ読み取り可能な記憶媒体 Active JP7305884B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201911377026.7A CN113050993A (zh) 2019-12-27 2019-12-27 基于激光雷达的检测方法、装置及计算机可读存储介质
CN201911377026.7 2019-12-27
PCT/CN2020/138365 WO2021129619A1 (zh) 2019-12-27 2020-12-22 基于激光雷达的检测方法、装置及计算机可读存储介质

Publications (2)

Publication Number Publication Date
JP2022550291A true JP2022550291A (ja) 2022-12-01
JP7305884B2 JP7305884B2 (ja) 2023-07-10

Family

ID=76506299

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022518172A Active JP7305884B2 (ja) 2019-12-27 2020-12-22 レーザーレーダーに基づく検出方法、装置及びコンピュータ読み取り可能な記憶媒体

Country Status (6)

Country Link
US (1) US11994593B2 (ja)
EP (1) EP4016292A4 (ja)
JP (1) JP7305884B2 (ja)
KR (1) KR20220052348A (ja)
CN (1) CN113050993A (ja)
WO (1) WO2021129619A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113486446B (zh) * 2021-07-06 2023-11-07 沈阳航空航天大学 一种飞机油箱内单管路多目标优化布局方法
CN113640826B (zh) * 2021-08-11 2023-10-20 山东大学 一种基于3d激光点云的障碍物识别方法及系统
CN113985429A (zh) * 2021-09-23 2022-01-28 天津大学 基于三维激光雷达的无人机环境扫描与重构方法
CN114495026A (zh) * 2022-01-07 2022-05-13 武汉市虎联智能科技有限公司 一种激光雷达识别方法、装置、电子设备和存储介质
CN116540260A (zh) * 2023-04-20 2023-08-04 中国人民解放军国防科技大学 一种基于单线激光雷达的三维成像方法、系统及介质
CN116188803B (zh) * 2023-04-23 2023-09-15 武汉工程大学 一种基于极坐标的边界点云提取方法、系统、设备及介质
CN116452422B (zh) * 2023-04-24 2024-02-20 上海几何伙伴智能驾驶有限公司 一种4d成像毫米波雷达的回环检测方法
CN116528172B (zh) * 2023-06-25 2023-09-05 成都工业学院 融合二次雷达信息的民航甚高频地空通信抗干扰方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09288179A (ja) * 1996-04-22 1997-11-04 Nissan Motor Co Ltd 車両用カーブ径推定装置および目標先行車検出装置
JPH11345394A (ja) * 1998-06-03 1999-12-14 Mitsubishi Electric Corp 車両の周辺監視装置
JP2005506625A (ja) * 2001-10-18 2005-03-03 シーメンス アクチエンゲゼルシヤフト 自動車の座席占有状態を検出するためのシステムおよび方法
JP2012198730A (ja) * 2011-03-21 2012-10-18 Denso Corp 車両用道路形状認識方法及び装置、記録媒体
US20130282208A1 (en) * 2012-04-24 2013-10-24 Exelis, Inc. Point cloud visualization of acceptable helicopter landing zones based on 4d lidar
US20150049178A1 (en) * 2009-02-17 2015-02-19 Board Of Regents, The University Of Texas System Methods of producing laser speckle contrast images
JP2015036684A (ja) * 2013-08-09 2015-02-23 ゼロックス コーポレイションXerox Corporation フィッシャー及びプロファイル署名を使用したレーザスキャナからの車両分類

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101808126B (zh) * 2010-03-12 2012-11-14 清华大学 一种用于实时视频处理的分布式计算系统和方法
US9170846B2 (en) 2011-03-29 2015-10-27 Daniel Delling Distributed data-parallel execution engines for user-defined serial problems using branch-and-bound algorithm
CN102819951B (zh) 2011-06-09 2016-05-11 无锡物联网产业研究院 一种道路目标检测系统、方法及装置
CN106022245B (zh) 2016-05-16 2019-09-06 中国资源卫星应用中心 一种基于算法分类的多源遥感卫星数据并行处理系统及方法
CN109814552B (zh) 2018-12-28 2024-05-24 阿波罗智能技术(北京)有限公司 车载控制单元、基于fpga的车辆自动驾驶方法及装置
CN110134042B (zh) 2019-05-10 2021-11-05 吉林大学 车辆路径跟踪预测控制器及fpga异构加速实现方法
CN110503195A (zh) 2019-08-14 2019-11-26 北京中科寒武纪科技有限公司 利用人工智能处理器执行任务的方法及其相关产品

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09288179A (ja) * 1996-04-22 1997-11-04 Nissan Motor Co Ltd 車両用カーブ径推定装置および目標先行車検出装置
JPH11345394A (ja) * 1998-06-03 1999-12-14 Mitsubishi Electric Corp 車両の周辺監視装置
JP2005506625A (ja) * 2001-10-18 2005-03-03 シーメンス アクチエンゲゼルシヤフト 自動車の座席占有状態を検出するためのシステムおよび方法
US20150049178A1 (en) * 2009-02-17 2015-02-19 Board Of Regents, The University Of Texas System Methods of producing laser speckle contrast images
JP2012198730A (ja) * 2011-03-21 2012-10-18 Denso Corp 車両用道路形状認識方法及び装置、記録媒体
US20130282208A1 (en) * 2012-04-24 2013-10-24 Exelis, Inc. Point cloud visualization of acceptable helicopter landing zones based on 4d lidar
JP2015036684A (ja) * 2013-08-09 2015-02-23 ゼロックス コーポレイションXerox Corporation フィッシャー及びプロファイル署名を使用したレーザスキャナからの車両分類

Also Published As

Publication number Publication date
EP4016292A1 (en) 2022-06-22
CN113050993A (zh) 2021-06-29
WO2021129619A1 (zh) 2021-07-01
US11994593B2 (en) 2024-05-28
JP7305884B2 (ja) 2023-07-10
KR20220052348A (ko) 2022-04-27
EP4016292A4 (en) 2022-10-26
US20220342077A1 (en) 2022-10-27

Similar Documents

Publication Publication Date Title
JP7305884B2 (ja) レーザーレーダーに基づく検出方法、装置及びコンピュータ読み取り可能な記憶媒体
EP3506212B1 (en) Method and apparatus for generating raster map
CN111045024B (zh) 一种基于光检测和测距的车辆追踪方法和系统
JP2022546397A (ja) 自律運転アプリケーションのためのマップ作成及びローカリゼーション
US20210323572A1 (en) A point clouds registration system for autonomous vehicles
CN102248947B (zh) 使用3-d激光测距仪的目标和车辆检测及跟踪
CN110663060B (zh) 一种用于表示环境元素的方法、装置、系统、以及车辆/机器人
CN114902295A (zh) 用于自主驾驶应用的三维路口结构预测
JP2021515254A (ja) 自動運転車のためのリアルタイム地図生成システム
JP2023503729A (ja) 自律運転アプリケーションのための曲線適合を使用するランドマーク検出
CN110386142A (zh) 用于自动驾驶车辆的俯仰角校准方法
CN116129376A (zh) 一种道路边缘检测方法和装置
WO2021118809A1 (en) Surface profile estimation and bump detection for autonomous machine applications
WO2024012211A1 (zh) 自动驾驶环境感知方法、介质及车辆
JP2023031237A (ja) 自律マシン・アプリケーションのためのLiDARデータを使用する物体追跡
CN111045023A (zh) 一种基于光检测和测距的车辆追踪方法和系统
CN111221334A (zh) 一种用于自动驾驶汽车仿真的环境传感器模拟方法
CN113569958A (zh) 激光点云数据聚类方法、装置、设备及介质
CN114092660A (zh) 高精地图生成方法、装置及用于生成地图的车辆
WO2021000787A1 (zh) 道路几何识别方法及装置
CN116311114A (zh) 一种可行驶区域生成方法、装置、电子设备及存储介质
JP2023066377A (ja) 自律システム及びアプリケーションのための人工知能を使用した点群高密度化を有する3d表面再構成
JP2023001859A (ja) 駐車に適した車両進路計画立案の並列処理
CN116136599A (zh) 可行驶区域的确定方法、装置及存储介质
Sun et al. Mathematical Method for Lidar-based Obstacle Detection of Intelligent Vehicle

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220324

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220324

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20221021

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230417

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230530

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230628

R150 Certificate of patent or registration of utility model

Ref document number: 7305884

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150