JP2022511990A - 情報補完方法、車線認識方法、インテリジェント走行方法及び関連製品 - Google Patents

情報補完方法、車線認識方法、インテリジェント走行方法及び関連製品 Download PDF

Info

Publication number
JP2022511990A
JP2022511990A JP2021539461A JP2021539461A JP2022511990A JP 2022511990 A JP2022511990 A JP 2022511990A JP 2021539461 A JP2021539461 A JP 2021539461A JP 2021539461 A JP2021539461 A JP 2021539461A JP 2022511990 A JP2022511990 A JP 2022511990A
Authority
JP
Japan
Prior art keywords
point cloud
cloud data
target
frame
intensity map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021539461A
Other languages
English (en)
Other versions
JPWO2021082745A5 (ja
Inventor
チェン，シェンチョウ
リウ，ユキアン
Original Assignee
チョーチアン センスタイム テクノロジー デベロップメント カンパニー，リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by チョーチアン センスタイム テクノロジー デベロップメント カンパニー，リミテッド filed Critical チョーチアン センスタイム テクノロジー デベロップメント カンパニー，リミテッド
Publication of JP2022511990A publication Critical patent/JP2022511990A/ja
Publication of JPWO2021082745A5 publication Critical patent/JPWO2021082745A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本願の実施例は、情報補完方法、車線認識方法、インテリジェント走行方法及び関連製品を開示し、該情報補完方法は、各フレームの点群データが深度情報及び強度情報を含むマルチフレームの点群データを取得するステップと、前記マルチフレームの点群データのうちの、参照点群データ以外の少なくとも１フレームの点群データの深度情報及び強度情報に基づいて、参照点群データを補完して、前記参照点群データに対応する目標点群データを得るステップとを含み、前記目標点群データの深度情報は、前記参照点群データの深度情報より密であり、かつ前記目標点群データの強度情報は、前記参照点群データの強度情報より密であり、前記参照点群データは、前記マルチフレームの点群データのうちの任意の１フレームの点群データである。

Description

本願は、２０１９年１０月３１日に提出された、出願番号２０１９１１０５０９０４．４、出願名称「情報補完方法、車線認識方法、インテリジェント走行方法及び関連製品」の中国特許出願の優先権を主張するものであり、その全ての内容は参照により本願に組み込まれるものとする。
本願は、コンピュータビジョンの技術分野に関し、具体的に情報補完方法、車線認識方法、インテリジェント走行方法及び関連製品に関する。
現在、目標物検知の面では、ライダー（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ、ＬｉＤＡＲと略称する）を用いて、目標物に複数の走査線を持つパルスレーザを能動的に投射し、後方散乱エコーにより目標物を測定する。レーザが可視光に属さないため、照明条件が悪い場合であっても、ＬｉＤＡＲが依然として良好に動作し、したがって、ライダーは、様々な分野に広く適用され、例えば、無人運転において、ＬｉＤＡＲを用いて車線を抽出する。ＬｉＤＡＲは、光線の影響を受けないが、その垂直解像度及び角度解像度の制限により、ＬｉＤＡＲの測定データが非常にまばらであり、ＬｉＤＡＲの測定データを十分に用いるために、まず測定データにおけるまばらな深度情報を密な深度情報に補完する。しかしながら、ＬｉＤＡＲの測定データにおいて強度情報がさらに含まれるが、強度情報が目標物の表面材料、レーザの入射角方向などの他の要因に関連するため、強度情報を補完することができず、したがって、現在、ＬｉＤＡＲの測定データに対する利用率が低く、また、強度情報を補完できず、補完後の深度情報のみを用いて車線を認識する場合、周囲の明るさが深度情報の取得に影響を及ぼすため、認識率が低くなり、ロバスト性が低くなる。
本願の実施例は、点群データリソースの利用率及び車線の認識精度を高めるために、情報補完方法、車線認識方法、インテリジェント走行方法及び関連製品を提供する。
第１の様態では、本願の実施例に係る情報補完方法は、
各フレームの点群データが深度情報及び強度情報を含むマルチフレームの点群データを取得するステップと、
前記マルチフレームの点群データのうちの、参照点群データ以外の少なくとも１フレームの点群データの深度情報及び強度情報に基づいて、参照点群データを補完して、前記参照点群データに対応する目標点群データを得るステップとを含み、
前記目標点群データの深度情報は、前記参照点群データの深度情報より密であり、かつ前記目標点群データの強度情報は、前記参照点群データの強度情報より密であり、前記参照点群データは、前記マルチフレームの点群データのうちの任意の１フレームの点群データである。
第２の様態では、本願の実施例に係る車線認識方法は、
道路の点群データを収集するステップと、
第１の態様に記載の情報補完方法を用い、前記点群データを補完して、前記点群データに対応する目標強度マップを得るステップと、
前記目標強度マップに基づいて車線を認識して、車線認識結果を得るステップとを含む。
第３の様態では、本願の実施例に係るインテリジェント走行方法は、
インテリジェント走行機器の周りのシーンの点群データを収集するステップと、
第１の態様に記載の情報補完方法を用い、前記点群データを補完して、前記点群データに対応する目標強度マップを得るステップと、
前記目標強度マップに基づいて前記周りのシーンにおける目標物を認識するステップと、
認識結果に基づいて、前記インテリジェント走行機器の走行を制御するステップとを含む。
第４の様態では、本願の実施例に係る情報補完装置は、
各フレームの点群データが深度情報及び強度情報を含むマルチフレームの点群データを取得する取得ユニットと、
前記マルチフレームの点群データのうちの、参照点群データ以外の少なくとも１フレームの点群データの深度情報及び強度情報に基づいて、参照点群データを補完して、前記参照点群データに対応する目標点群データを得る補完ユニットとを含み、
前記目標点群データの深度情報は、前記参照点群データの深度情報より密であり、かつ前記目標点群データの強度情報は、前記参照点群データの強度情報より密であり、前記参照点群データは、前記マルチフレームの点群データのうちの任意の１フレームの点群データである。
第５の様態では、本願の実施例に係る車線認識装置は、
道路の点群データを収集する収集ユニットと、
第１の態様に記載の情報補完方法を用い、前記点群データを補完して、前記点群データに対応する目標強度マップを得る補完ユニットと、
前記目標強度マップに基づいて車線を認識して、車線認識結果を得る認識ユニットとを含むことを特徴とする。
第６の様態では、本願の実施例に係るインテリジェント走行機器は、
周りのシーンの点群データを収集する収集ユニットと、
第１の態様に記載の情報補完方法を用い、前記点群データを補完して、前記点群データに対応する目標強度マップを得る補完ユニットと、
前記目標強度マップに基づいて前記周りのシーンにおける目標物を認識する認識ユニットと、
認識結果に基づいて走行を制御する制御ユニットとを含む。
第７の態様では、本願の実施例に係る電子機器は、プロセッサ、メモリ、通信インタフェース及び１つ以上のプログラムを含み、前記１つ以上のプログラムは、前記メモリに記憶されており、かつ前記プロセッサによって実行されるように構成され、前記プログラムは、第１の態様、第２の態様又は第３の態様に記載の方法におけるステップを実行するコマンドを含む。
第８の態様では、本願の実施例に係るコンピュータ読み取り可能な記憶媒体は、前記コンピュータに第１の態様、第２の態様又は第３の態様に記載の方法を実行させるコンピュータプログラムが記憶されている。
第９の態様では、本願の実施例に係るコンピュータプログラム製品は、コンピュータプログラム製品が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体を含み、前記コンピュータに第１の態様、第２の態様又は第３の態様に記載の方法を実行させるように操作することができる。
本願の実施例の実施は、以下の有益な効果を有する。
本願の実施例では、点群データにおける深度情報及び強度情報を補完することにより、収集されたまばらな点群データを密な点群データに補完して、点群データにおける強度情報を補完することを実現し、点群データリソースに対する利用率を高めることが分かる。
本願の実施例における技術的解決手段をより明確に説明するために、以下、実施例の記載に必要な図面を簡単に説明し、明らかに、以下の記載における図面は、本願のいくつかの実施例であり、当業者であれば、創造的な労働をしない前提で、これらの図面に基づいて他の図面を得ることができる。
本願の実施例に係る情報補完方法のフローチャートである。 本願の実施例に係る別の情報補完方法のフローチャートである。 本願の実施例に係る情報補完モデルの構造図である。 本願の実施例に係る車線認識方法のフローチャートである。 本願の実施例に係るインテリジェント走行方法のフローチャートである。 本願の実施例に係る情報補完装置の概略構成図である。 本願の実施例に係る車線認識装置の概略構成図である。 本願の実施例に係るインテリジェント走行機器の概略構成図である。 本願の実施例に係る情報補完装置の機能ユニットのブロック構成図である。 本願の実施例に係る車線認識装置の機能ユニットのブロック構成図である。 本願の実施例に係るインテリジェント走行機器の機能ユニットのブロック構成図である。
以下、本願の実施例における図面を参照しながら、本願の実施例における技術的解決手段を明確かつ完全に説明する。明らかに、説明される実施例は、本願の実施例の一部に過ぎず、全てではない。本願の実施例に基づいて、当業者が創造的な労働をしない前提で得られる他の全ての実施例は、いずれも本願の保護範囲に属するものである。
本願の明細書、特許請求の範囲及び上記図面における用語「第１」、「第２」、「第３」、及び「第４」などは、異なる対象を区別するためのものであり、特定の順序を説明するためのものではない。また、用語「含む」、「備える」及びそれらのいかなる変形は、非排他的な包含をカバーすることを意図する。例えば、一連のステップ又はユニットを含むプロセス、方法、システム、製品又は機器は、示されたステップ又はユニットに限定されないが、好ましくは、示されていないステップ又はユニットをさらに含むか、又は好ましくは、これらのプロセス、方法、製品又は機器に固有の他のステップ又はユニットをさらに含む。
本明細書において「実施例」に言及することは、実施例を参照して説明した特定の特徴、結果又は特性が本願の少なくとも１つの実施例に含まれてよいことを意味する。明細書における各箇所に該フレーズが出現することは必ずしも同じ実施例を意味するものではなく、他の実施例と排他的な独立した実施例又は代替の実施例でもない。当業者が明確かつ暗黙的に理解するように、本明細書に説明される実施例は、他の実施例と組み合わせることができる。
ＬｉＤＡＲは、目標（観測点）にレーザビームを発射し、目標から反射されたエコー信号を受信し、エコー信号を送信信号と比較して、目標の深度情報（ＸＹＺ座標情報）、エコー回数、強度情報、ＲＧＢ画素値、走査角度、走査方向などを含む目標の点群データを得る。ＬｉＤＡＲの垂直解像度及び角度解像度の制限により、点群データは、非常にまばらである。点群データを十分に用いるために、まず点群データにおけるまばらな深度情報を密な深度情報に補完する。しかしながら、点群データにおいて強度情報がさらに含まれるが、強度情報がＬｉＤＡＲの入射角、目標との距離及び目標の表面材質などの他の要因に関連するため、強度情報を補完することができず、さらに、強度情報を利用することができず、その結果、ＬｉＤＡＲの測定データに対する利用率が低くなる。強度情報を補完できないため、補完後の深度情報を用いて車線を認識しかできないが、周囲の明るさが深度情報の取得に影響を及ぼすため、車線の認識率が低くなり、ロバスト性が低くなる。以上の欠陥を解消するために、本願の技術的解決手段を特に提供し、それにより点群データのまばらな深度情報及び強度情報の同期補完を実現し、かつ車線識別のロバスト性を高める。
図１に示すように、図１は、本願の実施例に係る情報補完方法のフローチャートであり、該方法は、以下のステップ１０１～１０２を含むがそれらに限定されない。
ステップ１０１では、マルチフレームの点群データを取得する。
該マルチフレームの点群データは、連続的に収集された点群データ、即ち隣接する点群データであってもよく、不連続的に収集された点群データであってもよい。本願において隣接する点群データを例として具体的に説明する。
また、該フレームの点群データのうちの各フレームの点群データは、深度情報及び強度情報を含む。
ステップ１０２では、上記マルチフレームの点群データのうちの、参照点群データ以外の少なくとも１フレームの点群データの深度情報及び強度情報に基づいて、参照点群データを補完して、上記参照点群データに対応する目標点群データを得る。
該参照点群データは、マルチフレームの点群データのうちの任意の１フレームの点群データであり、該少なくとも１フレームの点群データは、該マルチフレームの点群データのうちの、該参照点群データ以外の点群データにおける全て又は一部の点群データである。
一般的には、該参照点群データは、該マルチフレームの点群データの中間位置にある点群データであるため、該参照点群データの前後に同じ数の点群データがあり、情報補完を行う場合、参照点群データを情報が密な目標点群データによりよく補完することができる。
該目標点群データの深度情報は、該参照点群データの深度情報より密であり、かつ該目標点群データの強度情報は、該参照点群データの強度情報より密である。
さらに、該目標点群データは、目標深度マップ及び目標強度マップを含む。目標深度マップにおける深度情報は、該参照点群データに対応する深度マップにおける深度情報より密であり、かつ目標強度マップにおける強度情報は、参照点群データに対応する強度マップにおける強度情報より密である。
以下、参照点群データに対して深度情報及び強度情報を補完する過程を詳細に説明する。
図２に示すように、図２は、本願の実施例に係る別の情報補完方法のフローチャートであり、該方法は、以下のステップ２０１～２０３を含むがそれらに限定されない。
ステップ２０１では、点群データ集合における各フレームの点群データの深度情報を再投影して、上記点群データ集合における各フレームの点群データに対応する深度マップを得る。
該点群データ集合は、上記少なくとも１フレームの点群データと上記参照点群データで構成される。
該点群集合における各フレームの点群データを再投影して、各フレームの点群データに対応する深度マップ及び強度マップを得ることができ、再投影は、従来技術であるため、説明を省略する。
ステップ２０２では、上記点群データ集合における各フレームの点群データに対応する深度マップに基づいて、上記参照点群データに対して深度情報補完を行って、上記参照点群データに対応する目標深度マップを得る。
好ましくは、ライダーが各フレームの点群データを収集する場合に位置及び姿勢が変化するため、各フレームの点群データを収集する時のレーダ座標系が異なり、したがって、該少なくとも１フレームの点群データのうちの各フレームの点群データに対応する第１のレーダ座標系、及び該参照点群データに対応する参照レーダ座標系を取得し、各第１のレーダ座標系を該参照レーダ座標系に変換する時に対応する各第１の変換行列を取得し、各第１の変換行列に基づいて、該少なくとも１フレームの点群データのうちの、該第１の変換行列に対応するフレームの点群データの深度マップを変換し、即ち該フレームの点群データの深度マップを参照レーダ座標系で変換して、該フレームの点群データに対応する第１の深度マップを取得し、さらに該少なくとも１フレームの点群データのうちの各フレームの点群データに対応する第１の深度マップを得て、次に、該少なくとも１フレームの点群データのうちの各フレームの点群データに対応する第１の深度マップを該参照点群データに対応する深度マップと重畳して、該参照点群データに対応する目標深度マップを得る。
なお、該少なくとも１フレームの点群データのうちの各フレームの点群データの深度マップを該参照点群データの深度マップと重畳して、新たな深度マップを得る。該少なくとも１フレームの点群データのうちの第ｉフレームの点群データの深度マップを重畳する場合、最新の深度マップにおいて該第ｉフレームの点群データの深度マップにおける観測点の深度情報が含まれれば、該観測点の深度情報に対する重畳を無視し、該観測点の深度情報が含まれなければ、該観測点の深度情報を最新の深度マップに重畳して、現在の最新の深度マップを得て、該少なくとも１フレームの点群データに対応する全ての深度マップの重畳が終了する場合、該参照点群データに対応する目標深度マップを得ることができる。
ステップ２０３では、上記参照点群データに対応する目標深度マップに基づいて、上記参照点群データに対して強度情報補完を行って、上記参照点群データに対応する目標強度マップを得る。
本願の実施例では、点群データにおける深度情報及び強度情報を補完することにより、収集されたまばらな点群データを密な点群データに補完し、深度情報と強度情報を同期補完することにより、補完過程において２つの情報が互いに参考になり、さらに情報補完の精度を向上させて、補完エラーを回避し、また、点群データにおける強度情報を補完することを実現し、点群データリソースに対する利用率を高めることが分かる。
いくつかの可能な実施形態では、該点群集合における各フレームの点群データに対応する強度マップに対して距離補償を行って、該点群集合における各フレームの点群データに対応する第１の強度マップを得ることができ、次に、該点群集合における各フレームの点群データに対応する第１の強度マップに対して角度補償を行って、該点群集合における各フレームの点群データに対応する第２の強度マップを得て、最後に、該少なくとも１フレームの点群データに対応する第２の強度マップを該参照点群データに対応する第２の強度マップと重畳して、該参照点群データに対応する目標強度マップを得る。
上記各フレームの点群データの強度マップに対する距離補償及び角度補償は、優先順位がない。例えば、距離補償を行った後、角度補償を行ってもよく、角度補償を行った後、距離補償を行ってもよく、角度補償と距離補償を同期して行ってもよい。
いくつかの可能な実施形態では、ライダーのレーダパラメータに基づいて、距離補償項を得て、距離補償項ｇ（Ｄ）に基づいて、該点群データ集合における各フレームの点群データに対応する第１の強度マップ
Figure 2022511990000002
を決定する。ここで、該距離補償項ｇ（Ｄ）及び第１の強度マップ
Figure 2022511990000003
は式（１）を満たす。
Figure 2022511990000004
 （１）
Figure 2022511990000005
は、該点群集合における１フレームの点群データの強度マップであり、Ｄは、該フレームの点群データの深度マップであり、
Figure 2022511990000006
、
Figure 2022511990000007
及び
Figure 2022511990000008
は、ライダーの固有パラメータである。
各観測点（ライダーの光線が照射された物体の表面）の強度情報は、各観測点からライダーまでの距離（深度情報）に関連する。したがって、各フレームの点群データの強度マップに距離補償項、即ち該距離の影響とは逆のパラメータを追加し、該距離補償項により強度情報への距離の影響を除去する。例えば、各観測点の強度情報と距離が正比例の関係にある場合、反比例により各観測点の強度情報への距離の影響を除去する。したがって、第１の強度マップにおける異なる距離の観測点の強度情報は、距離と無関係である。
さらに、距離補償を行って、該点群データ集合における各フレームの点群データに対応する第１の強度マップを取得した後、参照点群データに対応する目標深度マップと該点群データ集合における各フレームの点群データに対応する第１の強度マップに基づいて、該参照点群データに対応する目標強度マップを決定することができる。
具体的には、深度マップにおける各観測点の深度情報、即ち（Ｘ，Ｙ，Ｚ）座標は、該観測点の空間位置を表す。したがって、参照レーダ座標系では、参照点群データの目標深度マップ上の各観測点に対して平面フィッティングを行って、目標空間平面及び該目標空間平面の向きを得て、該目標空間平面の向きに基づいて該目標空間平面の法線ベクトル
Figure 2022511990000009
を得て、該参照点群データの目標深度マップにおける各観測点の深度座標（Ｘ，Ｙ，Ｚ）及び法線ベクトル
Figure 2022511990000010
に基づいて、該参照点群データの目標深度マップにおける各観測点の入射角を得ることにより、該参照点群データの目標深度マップに対応する目標入射角行列
Figure 2022511990000011
を得ることができ、該目標入射角行列
Figure 2022511990000012
は、即ち参照点群データの第１の入射角行列である。
例えば、観測点の深度情報が
Figure 2022511990000013
であり、法線ベクトルが
Figure 2022511990000014
である場合、該観測点の入射角は、
Figure 2022511990000015
であり、かつ
Figure 2022511990000016
である。
次に、該少なくとも１フレームの点群データのうちの各フレームの点群データの第１の変換行列（即ち、２つのレーダ座標系の間の変換行列）に基づいて該目標入射角行列を逆変換する。即ち、該第１の変換行列に対応する逆行列を用いて該目標入射角行列を逆変換し、該フレームの点群データに対応する第１の入射角行列を得て、該点群集合における各フレームの点群データの第１の入射角行列を得ることができる。該第１の入射角行列における各入射角は、該点群データ集合における各フレームの点群データを収集する時のライダーの入射光線と目標平面の法線との間の夾角であり、該目標平面は、該フレームの点群データに対応する全ての観測点が位置する空間平面、例えば、上記の目標空間平面である。
また、各観測点の強度情報は、入射角の影響を受け、即ち、材質が同じでライダーとの距離が同じである観測点は、入射角が異なると、強度情報も異なる。
したがって、該点群集合における各フレームの点群データに対応する第１の入射角行列を用いて該点群集合における各フレームの点群データの第１の強度マップに対して角度補償を行って、該点群集合における各フレームの点群データの第２の強度マップを得ることにより、該第２の強度マップにおいて強度情報への角度（入射角）の影響を除去する。
具体的には、該点群集合における各フレームの点群データの第１の入射角行列及び予め設定された拘束係数により、該点群データ集合における各フレームの点群データの第１の強度マップに対して角度補償を行って、該点群データ集合における各フレームの点群データの第２の強度マップを得る。
該第２の強度マップは、式（２）を満たす。
Figure 2022511990000017
 （２）；
Figure 2022511990000018
は、点群データ集合における１フレームの点群データの第２の強度マップであり、
Figure 2022511990000019
は、該フレームの点群データに対応する第１の強度マップであり、
Figure 2022511990000020
は、該フレームの点群データに対応する第１の入射角行列であり、
Figure 2022511990000021
及び
Figure 2022511990000022
は、予め設定された拘束係数である。
各観測点に対応する強度情報は、入射角の余弦値に関連する。したがって、該余弦値とは逆の方式で各観測点の強度情報を補償することにより、各観測点の強度情報への入射角の影響を除去するため、第２の強度マップにおける各観測点に対応する強度情報は、該観測点の表面材質のみに関連し、距離及び角度の影響を受けない。即ち、各観測点の強度情報は、該観測点の反射率のみに関連する。
さらに、各フレームの点群データに対応する第２の強度マップを得た後、該少なくとも１フレームの点群データのうちの各フレームの点群データに対応する第２の強度マップを参照点群データに対応する第２の強度マップと重畳して、該参照点群データに対応する目標強度マップを得る。
同様に、該少なくとも１フレームの点群データのうちの各フレームの点群データの第２の強度マップを該参照点群データに対応する第２の強度マップと重畳して、最新の強度マップを得る。該少なくとも１フレームの点群データのうちの第ｉフレームの点群データの第２の強度マップを重畳する場合、該最新の強度マップにおいて該第ｉフレームの点群データの第２の強度マップにおける観測点の強度情報が含まれれば、該観測点の強度情報に対する重畳を無視し、該観測点の強度情報が含まれなければ、該観測点の強度情報を該最新の強度マップに重畳して、現在の最新の強度マップを得て、該少なくとも１フレームの点群データに対応する全ての第２の強度マップの重畳が終了する場合、該参照点群データに対応する目標強度マップ
Figure 2022511990000023
を得る。
理解できるように、該目標強度マップ
Figure 2022511990000024
における観測点は、表面材質が同じであれば、観測点からライダーまでの距離及び入射角にかかわらず、それに対応する強度情報が同じである。しかしながら、実際に収集する場合、異なる距離や異なる入射角を有する観測点の強度情報は異なる。したがって、それに対応する強度情報は異なり、強度マップを直接重畳することができれば、重畳後の強度マップにおいて同じ材質の観測点を得ることができるが、ライダーとの距離が異なり、入射角が異なれば、両者に対応する強度情報が異なり、それにより実際の強度マップを得る。したがって、目標強度マップ
Figure 2022511990000025
を得た後、目標強度
Figure 2022511990000026
に対して逆正規化処理を行い、即ち上記目標入射角行列及び予め設定された拘束係数に基づいて該目標強度マップ
Figure 2022511990000027
に対して逆正規化処理を行って、該参照点群データに対応する元の強度マップ
Figure 2022511990000028
を得て、該元の強度マップ
Figure 2022511990000029
は、該少なくとも１フレームの点群データのうちの各フレームの点群データの強度マップを該参照点群データの強度マップと直接重畳して得られた強度マップに相当する。
該元の強度マップ
Figure 2022511990000030
は、式（３）を満たす。
Figure 2022511990000031
 （３）
ここで、
Figure 2022511990000032
は、目標入射角行列であり、
Figure 2022511990000033
は、目標強度マップであり、
Figure 2022511990000034
及び
Figure 2022511990000035
は、予め設定された拘束係数である。
好ましくは、該元の強度マップ
Figure 2022511990000036
を得た後、該元の強度マップ
Figure 2022511990000037
を可視化し表示して、点群データの強度情報を直接補完した後の補完結果を表示し、強度情報の補完を実現する。
いくつかの可能な実施形態では、上記参照点群データへの情報補完は、ニューラルネットワークを用いて実行され、該ニューラルネットワークは、以下のステップａ～ｃによりトレーニングして得られる。
ステップａでは、サンプルの点群データに対して情報補完を行い、補完後のサンプルの点群データを出力し、
ステップｂでは、上記補完後のサンプルの点群データに基づいて、上記サンプルの点群データの予測された目標深度マップ、予測された目標強度マップ及び予測された元の強度マップを得て、
ステップｃでは、上記サンプルの点群データのマーキングされた目標深度マップ、マーキングされた目標強度マップ及びマーキングされた元の強度マップと上記サンプルの点群データの予測された目標深度マップ、予測された目標強度マップ及び予測された元の強度マップに基づいて、上記ニューラルネットワークのネットワークパラメータを調整する。
具体的には、まずサンプルデータに対して深度情報及び強度情報を補完した結果を取得して、該サンプルの点群データに対応する目標深度マップ、目標強度マップ及び元の強度マップ、即ちマーキングされた目標深度マップ、マーキングされた目標強度マップ及びマーキングされた元の強度マップ（教師ラベル）を得て、補完結果が他の方法で実現されてよく、次に、該サンプルの点群データを初期のニューラルネットワークに入力して、補完後の目標深度マップ、目標強度マップ及び元の強度マップ、即ち予測された目標深度マップ、予測された目標強度マップ及び予測された元の強度マップ（予測結果）を得て、該予測結果と教師ラベルに基いて、目標損失値を得て、即ち該補完後の目標深度マップに対応する第１の損失値（上記マーキングされた目標深度マップと上記予測された目標深度マップに基づいて決定される）、目標強度マップに対応する第２の損失値（上記マーキングされた目標強度マップ及び上記予測された目標強度マップに基づいて決定される）及び該元の強度マップに対応する第３の損失値（上記マーキングされた元の強度マップ及び上記予測された元の強度マップに基づいて決定される）に基づいて、目標損失値を得る。
該目標損失値は、式（４）を満たす。
Figure 2022511990000038
 （４）
ここで、
Figure 2022511990000039
は、第１の損失値であり、
Figure 2022511990000040
は、第２の損失値であり、
Figure 2022511990000041
は、第３の損失値であり、
Figure 2022511990000042
及び
Figure 2022511990000043
は、予め設定された重み付け係数である。
勾配降下法及び該目標損失により該初期のニューラルネットワークをトレーニングして、上記ニューラルネットワークを得る。
いくつかの可能な実施形態では、本開示の実施例に係るニューラルネットワークの構造は、図３に示す情報補完モデルであってよい。該情報補完モデルは、マルチタスク学習モデル構造であり、該情報補完モデルは、予測ネットワークブロック及び逆正規化ネットワークブロックを含み、
該予測ネットワークブロックは、コーディングネットワークブロック、畳み込みネットワークブロック、復号化ネットワークブロックを含む。該コーディングネットワークは、４つの残差ネットワークで構成され、畳み込みネットワークブロックは、畳み込み層と膨張ネットワークで構成され、該復号化ネットワークブロックは、５つの転置畳み込みネットワークで構成される。
該予測ネットワークブロックは、コーディングネットワークブロック、畳み込みネットワークブロック及び復号化ネットワークブロックにより、入力されたサンプルの点群データに対して情報補完を行って、サンプルの点群データに対応する予測目標深度マップ
Figure 2022511990000044
及び予測目標強度マップ
Figure 2022511990000045
を得る。
逆正規化ネットワークブロックは、予測目標強度マップ
Figure 2022511990000046
に対して逆正規化処理を行って、予測初期強度マップ
Figure 2022511990000047
を得る。
次に、サンプルの点群データの教師情報、即ち目標深度マップ、中間強度マップ及び目標強度マップに基づいて、サンプルの点群データに対応する第１の損失値、第２の損失値及び第３の損失値を算出し、かつ第１の損失値、第２の損失値及び第３の損失値に対して重み付け処理を行って、目標損失値を得て、目標損失値に基づいて情報補完モデルに対して最適化トレーニングを行う。
補完モデルによって、点群データにおける深度情報及び強度情報を補完することにより、収集されたまばらな点群データを密な点群データに補完し、深度情報と強度情報を同期補完することにより、補完過程において２つの情報が互いに参考になり、さらに情報補完の精度を向上させて、補完エラーを回避し、また、点群データにおける強度情報を補完することを実現し、点群データリソースに対する利用率を高めることが分かる。
図４に示すように、図４は、本願の実施例に係る車線認識方法のフローチャートであり、該方法は、以下のステップ４０１～４０３を含むがそれらに限定されない。
ステップ４０１では、道路の点群データを収集する。
ライダーにより道路の点群データを収集することができる。
ステップ４０２では、上記点群データを補完して、上記点群データに対応する目標強度マップを得る。
上記情報補完方法を用いて該点群データに対して情報補完を行って、該点群データに対応する目標強度マップを取得し、該目標強度マップは、強度情報への距離及び入射角の影響を除去する目標強度マップであり、具体的な補完過程は、ステップ２０３に記載の内容を参照することができ、説明を省略する。
ステップ４０３では、上記目標強度マップに基づいて車線を認識して、車線認識結果を得る。
該目標強度マップにおける強度情報には、距離及び入射角の影響が除去される。したがって、該目標強度マップにおける観測点の強度情報は、該観測点の表面材質のみに関連し、つまり、該目標強度マップにおける観測点の強度情報は、該観測点に対応する材質の表面反射率を反映する。したがって、該目標強度における強度情報（表面反射率）と車線の強度情報（表面反射率）に対応する観測点が全て車線での点であると決定することができ、即ち該目標強度マップにより車線を認識することができる。
本願の実施例では、補完後の目標強度マップを用いて車線を認識することが分かる。レーザが可視光帯域に属さないため、暗い環境又は過酷な環境でも、依然として密な強度情報を有する目標強度マップを取得することができ、さらに車線認識の安定性及び成功率を高める。
図５は、本願の実施例に係るインテリジェント走行方法のフローチャートであり、該方法は、以下のステップ５０１～５０４を含むがそれらに限定されない。
ステップ５０１では、インテリジェント走行機器の周りのシーンの点群データを収集する。
該インテリジェント走行機器は、自動運転車両、先進運転支援システム（Ａｄｖａｎｃｅｄ Ｄｒｉｖｉｎｇ Ａｓｓｉｓｔａｎｔ Ｓｙｓｔｅｍ、ＡＤＡＳ）が取り付けられた車両、インテリジェントロボットなどであってよい。
ステップ５０２では、上記点群データを補完して、上記点群データに対応する目標強度マップを得る。
上記情報補完方法を用いて該点群データの強度情報を補完して、距離及び入射角の影響を除去する目標強度マップを得て、具体的な補完過程は、ステップ２０３に記載の内容を参照することができ、説明を省略する。
ステップ５０３では、上記目標強度マップに基づいて上記周りのシーンにおける目標物を認識する。
該目標物は、車線、様々な信号機、交通標識、障害物、歩行者又は他のインテリジェント走行機器、及び走行時に遭遇可能な様々な物体であってよい。
具体的には、該目標強度マップにおける各観測点の強度情報、即ち各観測点の表面反射率を取得し、次に、各観測点の表面反射率を様々な物体に対応する表面反射率と比較することにより、各観測点の物体のタイプを決定して、該周りのシーンにおける目標物を認識する。
ステップ５０４では、認識結果に基づいて、上記インテリジェント走行機器の走行を制御する。
好ましくは、認識された該周りのシーンにおける目標物に基づいて、経路計画を行い、計画された走行経路に応じてインテリジェント機器の走行を自動的に制御してもよく、提示情報を出力して、該提示情報により該インテリジェント走行機器の操作員に認識された目標物に基づいて該インテリジェント機器の走行を制御することを提示してもよい。
本願の実施形態では、収集された点群データを補完して、目標強度マップを取得し、レーザが可視光帯域に属さないため、暗い環境又は過酷な環境でも、依然として密な強度情報を有する目標強度マップを取得することができ、かつ該目標強度マップの観測点の反射率は、距離及び入射角度の影響を受けず、該目標強度マップに基づいて目標物を認識することにより、目標物の認識成功率を高めることができることが分かる。したがって、いかなる環境条件でも、インテリジェント走行機器の周囲の環境レイアウトを正確に取得することができ、該環境レイアウトに基づいてインテリジェント走行機器のタイプ設計を制御し、さらにインテリジェント走行機器の走行の安全性を高める。
図６は、本願の実施例に係る情報補完装置６００の概略構成図である。情報補完装置６００は、プロセッサ、メモリ、通信インタフェース及び１つ以上のプログラムを含み、上記１つ以上のプログラムは、上記１つ以上のアプリケーションプログラムとは異なり、かつ上記メモリに記憶されており、上記プロセッサによって実行されるように構成され、上記プログラムは、
各フレームの点群データが深度情報及び強度情報を含むマルチフレームの点群データを取得するステップと、
上記マルチフレームの点群データのうちの、参照点群データ以外の少なくとも１フレームの点群データの深度情報及び強度情報に基づいて、参照点群データを補完して、上記参照点群データに対応する目標点群データを得るステップとを実行するコマンドを含み、
上記目標点群データの深度情報は、上記参照点群データの深度情報より密であり、かつ上記目標点群データの強度情報は、上記参照点群データの強度情報より密であり、上記参照点群データは、上記マルチフレームの点群データのうちの任意の１フレームの点群データである。
いくつかの可能な実施形態では、上記マルチフレームの点群データのうちの、参照点群データ以外の少なくとも１フレームの点群データの深度情報及び強度情報に基づいて、参照点群データを補完して、上記参照点群データに対応する目標点群データを得る面では、上記プログラムは、具体的に、
上記少なくとも１フレームの点群データと上記参照点群データで構成される点群データ集合における各フレームの点群データの深度情報を再投影して、上記点群データ集合における各フレームの点群データに対応する深度マップを得るステップと、
上記点群データ集合における各フレームの点群データに対応する深度マップに基づいて、上記参照点群データに対して深度情報補完を行って、上記参照点群データに対応する目標深度マップを得るステップと、
上記参照点群データに対応する目標深度マップに基づいて、上記参照点群データに対して強度情報補完を行って、上記参照点群データに対応する目標強度マップを得るステップとを実行するコマンドに用いられる。
いくつかの可能な実施形態では、上記点群データ集合における各フレームの点群データに対応する深度マップに基づいて、上記参照点群データに対して深度情報補完を行って、上記参照点群データに対応する目標深度マップを得る面では、上記プログラムは、具体的に、
上記少なくとも１フレームの点群データのうちの各フレームの点群データの第１のレーダ座標系と上記参照点群データに対応する参照レーダ座標系を取得するステップと、
各第１のレーダ座標系を上記参照レーダ座標系に変換する各第１の変換行列を決定するステップと、
各第１の変換行列に基づいて対応するフレームの点群データの深度マップを変換して、第１の深度マップを得るステップと、
上記少なくとも１フレームの点群データのうちの各フレームの点群データに対応する第１の深度マップを上記参照点群データの深度マップと重畳して、上記参照点群データに対応する目標深度マップを得るステップとを実行するコマンドに用いられる。
いくつかの可能な実施形態では、上記参照点群データに対応する目標深度マップに基づいて、上記参照点群データに対して強度情報補完を行って、上記参照点群データに対応する目標強度マップを得る面では、上記プログラムは、具体的に、
上記点群データ集合における各フレームの点群データの強度情報を再投影して、上記点群データ集合における各フレームの点群データに対応する強度マップを得るステップと、
上記点群データ集合における各フレームの点群データの強度マップに対して、強度情報への距離の影響を除去する距離補償を行って、上記点群データ集合における各フレームの点群データに対応する第１の強度マップを得るステップと、
上記参照点群データに対応する目標深度マップと上記点群データ集合における各フレームの点群データに対応する第１の強度マップに基づいて、上記参照点群データに対応する目標強度マップを決定するステップとを実行するコマンドに用いられる。
いくつかの可能な実施形態では、上記点群データ集合における各フレームの点群データに対応する強度マップに対して距離補完を行って、上記点群データ集合における各フレームの点群データに対応する第１の強度マップを得る面では、上記プログラムは、具体的に、
ライダーのレーダパラメータに基づいて、距離補償項を得るステップと、
上記距離補償項に基づいて、上記点群データ集合における各フレームの点群データに対応する第１の強度マップを決定するステップとを実行するコマンドに用いられる。
いくつかの可能な実施形態では、上記目標深度マップと上記点群データ集合における各フレームの点群データに対応する第１の強度マップに基づいて、上記参照点群データに対応する目標強度マップを決定する面では、上記プログラムは、具体的に、
上記参照点群データに対応する目標深度マップに基づいて、上記点群データ集合における各フレームの点群データに対応する第１の入射角行列を得るステップと、
上記点群データ集合における各フレームの点群データに対応する第１の入射角行列に基づいて、上記点群データ集合における各フレームの点群データに対応する第１の強度マップに対して、強度情報への入射角度の影響を除去する角度補償を行って、上記点群データ集合における各フレームの点群データに対応する第２の強度マップを得るステップと、
上記少なくとも１フレームの点群データのうちの各フレームの点群データに対応する第２の深度マップを上記参照点群データに対応する第２の強度マップと重畳して、上記参照点群データに対応する目標強度マップを得るステップとを実行するコマンドに用いられる。
いくつかの可能な実施形態では、上記参照点群データに対応する目標深度マップに基づいて、上記点群データ集合における各フレームの点群データに対応する第１の入射角行列を得る面では、上記プログラムは、具体的に、
上記参照点群データに対応する目標深度マップにおける深度情報に基づいて平面フィッティングを行って、目標空間平面を得るステップと、
上記参照点群データを収集する時のライダーの入射光線と目標平面の法線との間の夾角に基づいて、上記参照点群データの第１の入射角行列である、上記参照点群データに対応する目標深度マップに対応する目標入射角行列を決定するステップと、
上記少なくとも１フレームの点群データのうちの各フレームの点群データの第１の変換行列に基づいて、上記参照点群データに対応する深度マップに対応する目標入射角行列に対して逆変換を行って、上記少なくとも１フレームの点群データのうちの各フレームの点群データの第１の入射角行列を得るステップとを実行するコマンドに用いられる。
いくつかの可能な実施形態では、上記点群データ集合における各フレームの点群データに対応する第１の入射角行列に基づいて、上記点群データ集合における各フレームの点群データに対応する第１の強度マップに対して角度補償を行って、上記点群データ集合における各フレームの点群データに対応する第２の強度マップを得る面では、上記プログラムは、具体的に、
上記点群データ集合における各フレームの点群データに対応する第１の入射角行列、予め設定された拘束係数、及び上記点群データ集合における各フレームの点群データの第１の強度マップに基づいて、上記点群データ集合における各フレームの点群データに対応する第２の強度マップを決定するステップを実行するコマンドに用いられる。
いくつかの可能な実施形態では、上記プログラムは、さらに、
上記参照点群データに対応する目標強度マップに基づいて、上記参照点群データに対応する元の強度マップを決定するステップを実行するコマンドに用いられる。
いくつかの可能な実施形態では、上記参照点群データに対応する目標強度マップに基づいて、上記参照点群データに対応する元の強度マップを決定する面では、上記プログラムは、具体的に、
上記参照点群データに対応する目標深度マップに対応する目標入射角行列及び予め設定された拘束係数に基づいて、上記参照点群データに対応する目標強度マップを処理して、上記参照点群データに対応する元の強度マップを決定するステップを実行するコマンドに用いられる。
いくつかの可能な実施形態では、情報補完装置は、ニューラルネットワークを介して上記参照点群を補完し、上記プログラムは、さらに、
サンプルの点群データに対して情報補完を行い、補完後のサンプルの点群データを出力するステップと、
上記補完後のサンプルの点群データに基づいて、上記サンプルの点群データの予測された目標深度マップ、予測された目標強度マップ及び予測された元の強度マップを得るステップと、
上記サンプルの点群データのマーキングされた目標深度マップ、マーキングされた目標強度マップ及びマーキングされた元の強度マップと上記サンプルの点群データの予測された目標深度マップ、予測された目標強度マップ及び予測された元の強度マップに基づいて、上記ニューラルネットワークのネットワークパラメータを調整するステップとを実行するコマンドに用いられる。
いくつかの可能な実施形態では、上記サンプルの点群データのマーキングされた目標深度マップ、マーキングされた目標強度マップ及びマーキングされた元の強度マップと上記サンプルの点群データの予測された目標深度マップ、予測された目標強度マップ及び予測された元の強度マップに基づいて、上記ニューラルネットワークのネットワークパラメータを調整する面では、上記プログラムは、具体的に、
上記サンプルの点群データのマーキングされた目標深度マップ、マーキングされた目標強度マップ及びマーキングされた元の強度マップと上記サンプルの点群データの予測された目標深度マップ、予測された目標強度マップ及び予測された元の強度マップに基づいて、第１の損失値、第２の損失値及び第３の損失値を得るステップと、
上記第１の損失値、第２の損失値及び第３の損失値に対して重み付け処理を行って、目標損失値を得るステップと、
上記目標損失値に基づいて上記ニューラルネットワークのネットワークパラメータを調整するステップとを実行するコマンドに用いられ、上記第１の損失値は、上記マーキングされた目標深度マップと上記予測された目標深度マップに基づいて決定され、上記第２の損失値は、上記マーキングされた目標強度マップと上記予測された目標強度マップに基づいて決定され、上記第３の損失値は、上記マーキングされた元の強度マップと上記予測された元の強度マップに基づいて決定される。
図７は、本願の実施例に係る車線認識装置７００の概略構成図である。車線認識装置７００は、プロセッサ、メモリ、通信インタフェース及び１つ以上のプログラムを含み、上記１つ以上のプログラムは、上記１つ以上のアプリケーションプログラムとは異なり、かつ上記メモリに記憶されており、上記プロセッサによって実行されるように構成され、上記プログラムは、
道路の点群データを収集するステップと、
上記点群データを補完して、上記点群データに対応する目標強度マップを得るステップと、
上記目標強度マップに基づいて車線を認識して、車線認識結果を得るステップとを実行するコマンドに用いられる。
図８は、本願の実施例に係るインテリジェント走行機器８００の概略構成図である。インテリジェント走行機器８００は、プロセッサ、メモリ、通信インタフェース及び１つ以上のプログラムを含み、上記１つ以上のプログラムは、上記１つ以上のアプリケーションプログラムとは異なり、かつ上記メモリに記憶されており、上記プロセッサによって実行されるように構成され、上記プログラムは、
周りのシーンの点群データを収集するステップと、
上記点群データを補完して、上記点群データに対応する目標強度マップを得るステップと、
上記目標強度マップに基づいて上記周りのシーンにおける目標物を認識するステップと、
認識結果に基づいて走行を制御するステップとを実行するコマンドを含む。
図９は、本願の実施例に係る情報補完装置の機能ユニットのブロック構成図である。
情報補完装置９００は、
各フレームの点群データが深度情報及び強度情報を含むマルチフレームの点群データを取得する取得ユニット９１０と、
上記マルチフレームの点群データのうちの、参照点群データ以外の少なくとも１フレームの点群データの深度情報及び強度情報に基づいて、参照点群データを補完して、上記参照点群データに対応する目標点群データを得る補完ユニット９２０とを含み、
上記目標点群データの深度情報は、上記参照点群データの深度情報より密であり、かつ上記目標点群データの強度情報は、上記参照点群データの強度情報より密であり、上記参照点群データは、上記マルチフレームの点群データのうちの任意の１フレームの点群データである。
いくつかの可能な実施形態では、補完ユニット９２０は、具体的に、
上記少なくとも１フレームの点群データと上記参照点群データで構成される点群データ集合における各フレームの点群データの深度情報を再投影して、上記点群データ集合における各フレームの点群データに対応する深度マップを得て、
上記点群データ集合における各フレームの点群データに対応する深度マップに基づいて、上記参照点群データに対して深度情報補完を行って、上記参照点群データに対応する目標深度マップを得て、
上記参照点群データに対応する目標深度マップに基づいて、上記参照点群データに対して強度情報補完を行って、上記参照点群データに対応する目標強度マップを得る。
いくつかの可能な実施形態では、上記点群データ集合における各フレームの点群データに対応する深度マップに基づいて、上記参照点群データに対して深度情報補完を行って、上記参照点群データに対応する目標深度マップを得る面では、補完ユニット９２０は、具体的に、
上記少なくとも１フレームの点群データのうちの各フレームの点群データの第１のレーダ座標系と上記参照点群データに対応する参照レーダ座標系を取得し、
各第１のレーダ座標系を上記参照レーダ座標系に変換する各第１の変換行列を決定し、
各第１の変換行列に基づいて対応するフレームの点群データの深度マップを変換して、第１の深度マップを得て、
上記少なくとも１フレームの点群データのうちの各フレームの点群データに対応する第１の深度マップを上記参照点群データの深度マップと重畳して、上記参照点群データに対応する目標深度マップを得る。
いくつかの可能な実施形態では、上記参照点群データに対応する目標深度マップに基づいて、上記参照点群データに対して強度情報補完を行って、上記参照点群データに対応する目標強度マップを得る面では、補完ユニット９２０は、具体的に、
上記点群データ集合における各フレームの点群データの強度情報を再投影して、上記点群データ集合における各フレームの点群データに対応する強度マップを得て、
上記点群データ集合における各フレームの点群データの強度マップに対して、強度情報への距離の影響を除去する距離補償を行って、上記点群データ集合における各フレームの点群データに対応する第１の強度マップを得て、
上記参照点群データに対応する目標深度マップと上記点群データ集合における各フレームの点群データに対応する第１の強度マップに基づいて、上記参照点群データに対応する目標強度マップを決定する。
いくつかの可能な実施形態では、上記点群データ集合における各フレームの点群データに対応する強度マップに対して距離補完を行って、上記点群データ集合における各フレームの点群データに対応する第１の強度マップを得る面では、補完ユニット９２０は、具体的に、
ライダーのレーダパラメータに基づいて、距離補償項を得て、
上記距離補償項に基づいて、上記点群データ集合における各フレームの点群データに対応する第１の強度マップを決定する。
いくつかの可能な実施形態では、上記目標深度マップと上記点群データ集合における各フレームの点群データに対応する第１の強度マップに基づいて、上記参照点群データに対応する目標強度マップを決定する面では、補完ユニット９２０は、具体的に、
上記参照点群データに対応する目標深度マップに基づいて、上記点群データ集合における各フレームの点群データに対応する第１の入射角行列を得て、
上記点群データ集合における各フレームの点群データに対応する第１の入射角行列に基づいて、上記点群データ集合における各フレームの点群データに対応する第１の強度マップに対して、強度情報への入射角度の影響を除去する角度補償を行って、上記点群データ集合における各フレームの点群データに対応する第２の強度マップを得て、
上記少なくとも１フレームの点群データのうちの各フレームの点群データに対応する第２の深度マップを上記参照点群データに対応する第２の強度マップと重畳して、上記参照点群データに対応する目標強度マップを得る。
いくつかの可能な実施形態では、上記参照点群データに対応する目標深度マップに基づいて、上記点群データ集合における各フレームの点群データに対応する第１の入射角行列を得る面では、補完ユニット９２０は、具体的に、
上記参照点群データに対応する目標深度マップにおける深度情報に基づいて平面フィッティングを行って、目標空間平面を得て、
上記参照点群データを収集する時のライダーの入射光線と目標平面の法線との間の夾角に基づいて、上記参照点群データの第１の入射角行列である、上記参照点群データに対応する目標深度マップに対応する目標入射角行列を決定し、
上記少なくとも１フレームの点群データのうちの各フレームの点群データの第１の変換行列に基づいて、上記参照点群データに対応する深度マップに対応する目標入射角行列に対して逆変換を行って、上記少なくとも１フレームの点群データのうちの各フレームの点群データの第１の入射角行列を得る。
いくつかの可能な実施形態では、上記点群データ集合における各フレームの点群データに対応する第１の入射角行列に基づいて、上記点群データ集合における各フレームの点群データに対応する第１の強度マップに対して角度補償を行って、上記点群データ集合における各フレームの点群データに対応する第２の強度マップを得る面では、補完ユニット９２０は、具体的に、
上記点群データ集合における各フレームの点群データに対応する第１の入射角行列、予め設定された拘束係数、及び上記点群データ集合における各フレームの点群データの第１の強度マップに基づいて、上記点群データ集合における各フレームの点群データに対応する第２の強度マップを決定する。
いくつかの可能な実施形態では、補完ユニット９２０は、さらに、上記参照点群データに対応する目標強度マップに基づいて上記参照点群データに対応する元の強度マップを決定する。
いくつかの可能な実施形態では、上記参照点群データに対応する目標強度マップに基づいて上記参照点群データに対応する元の強度マップを決定する面では、補完ユニット９２０は、具体的に、
上記参照点群データに対応する目標深度マップに対応する目標入射角行列及び予め設定された拘束係数に基づいて、上記参照点群データに対応する目標強度マップを処理して、上記参照点群データに対応する元の強度マップを決定する。
いくつかの可能な実施形態では、上記情報補完装置は、ニューラルネットワークを介して上記参照点群を補完し、情報補完装置９００は、トレーニングユニット９３０をさらに含み、トレーニングユニット９３０は、上記ニューラルネットワークをトレーニングするために、
サンプルの点群データに対して情報補完を行い、補完後のサンプルの点群データを出力するステップと、
上記補完後のサンプルの点群データに基づいて、上記サンプルの点群データの予測された目標深度マップ、予測された目標強度マップ及び予測された元の強度マップを得るステップと、
上記サンプルの点群データのマーキングされた目標深度マップ、マーキングされた目標強度マップ及びマーキングされた元の強度マップと上記サンプルの点群データの予測された目標深度マップ、予測された目標強度マップ及び予測された元の強度マップに基づいて、上記ニューラルネットワークのネットワークパラメータを調整するステップとを実行する。
いくつかの可能な実施形態では、上記サンプルの点群データのマーキングされた目標深度マップ、マーキングされた目標強度マップ及びマーキングされた元の強度マップと上記サンプルの点群データの予測された目標深度マップ、予測された目標強度マップ及び予測された元の強度マップに基づいて、上記ニューラルネットワークのネットワークパラメータを調整する面では、トレーニングユニット９３０は、具体的に、
上記サンプルの点群データのマーキングされた目標深度マップ、マーキングされた目標強度マップ及びマーキングされた元の強度マップと上記サンプルの点群データの予測された目標深度マップ、予測された目標強度マップ及び予測された元の強度マップに基づいて、第１の損失値、第２の損失値及び第３の損失値を得て、
上記第１の損失値、第２の損失値及び第３の損失値に対して重み付け処理を行って、目標損失値を得て、
上記目標損失値に基づいて上記ニューラルネットワークのネットワークパラメータを調整し、上記第１の損失値は、上記マーキングされた目標深度マップと上記予測された目標深度マップに基づいて決定され、上記第２の損失値は、上記マーキングされた目標強度マップと上記予測された目標強度マップに基づいて決定され、上記第３の損失値は、上記マーキングされた元の強度マップと上記予測された元の強度マップに基づいて決定される。
トレーニングユニット９３０は、情報補完装置に必要なものではない。
図１０は、本願の実施例に係る車線認識装置の機能ユニットのブロック構成図である。車線認識装置１０００は、
道路の点群データを収集する収集ユニット１１００と、
第１の態様に記載の情報補完方法を用い、上記点群データを補完して、上記点群データに対応する目標強度図を得る補完ユニット１２００と、
上記目標強度図に基づいて車線を認識して、車線認識結果を得る認識ユニット１３００とを含む。
図１１は、本願の実施例に係るインテリジェント走行機器の機能ユニットのブロック構成図である。インテリジェント走行機器１１００は、
周りのシーンの点群データを収集する収集ユニット１１１０と、
第１の態様に記載の情報補完方法を用い、上記点群データを補完して、上記点群データに対応する目標強度マップを得る補完ユニット１１２０と、
上記目標強度マップに基づいて上記周りのシーンにおける目標物を認識する認識ユニット１１３０と、
認識結果に基づいて走行を制御する制御ユニット１１４０とを含む。
本願の実施例に係るコンピュータ記憶媒体は、プロセッサによって実行されると、上記方法の実施例に記載の情報補完方法の一部又は全部のステップ、車線認識方法の一部又は全部のステップ、又はインテリジェント走行方法の一部又は全部のステップを実現するコンピュータプログラムが記憶されている。
本願の実施例に係るコンピュータプログラム製品は、コンピュータに上記方法の実施例に記載の情報補完方法の一部又は全部のステップ、車線認識方法の一部又は全部のステップ、又はインテリジェント走行方法の一部又は全部のステップを実行させるように操作されるコンピュータプログラムが記憶されている非一時的なコンピュータ読み取り可能な記憶媒体を含む。
なお、前述の各方法の実施例については、説明を簡便にするために、一連の動作の組み合わせとして表現したが、本願が説明された動作順序に限定されるものではなく、本願により、一部のステップが他の順序で又は同時に行われてもよいことは、当業者に理解されたい。また、本明細書に説明された実施例がいずれも好ましい実施例であり、係る動作及びモジュールが必ずしも本願に必要なものではないことは、当業者に理解されたい。
上記実施例では、各実施例に対する説明は、いずれも重点を置き、ある実施例では詳述されない部分は、他の実施例の関連説明を参照することができる。
本願に係るいくつかの実施例では、開示される装置は他の形態により実現することができることを理解されたい。例えば、上述した装置の実施例は、例示的なものに過ぎず、例えば、上記ユニットの区分は、論理上の機能の区分に過ぎず、実際に実現する場合に他の区分方式も可能であり、例えば、複数のユニット又はコンポーネントは、組み合わせられてもよく、別のシステムに集積されてもよく、或いは、いくつかの特徴を無視してもよく、実行しなくてもよい。また、示されるか又は議論される相互結合、直接結合又は通信接続は、いくつかのインタフェースを使用して実現でき、装置又はユニット間の間接結合又は通信接続は、電気的形態であってもよく、他の形態であってもよい。
別個の部品として説明した上記ユニットは、物理的に別個であってもなくてもよく、ユニットとして表示される部品は、物理的ユニットであってもなくてもよく、すなわち、１つの箇所に位置してもよく、複数のネットワークユニットに配置されてもよい。実際の需要に応じて、それらのうちの一部又は全部のユニットを選択して本実施例の技術手段の目的を達成することができる。
また、本願の各実施例において、各機能ユニットは、１つの処理ユニットに集積されてもよく、各ユニットが別個に物理的に存在してもよく、２つ以上のユニットが１つのユニットに集積されてもよい。上記集積されたユニットをハードウェアの形態で実現することができ、ソフトウェアプログラムモジュールの形態で実現することもできる。
上記集積されたユニットは、ソフトウェアプログラムモジュールの形態で実現され、かつ独立した製品として販売又は使用されれば、コンピュータ読み取り可能なメモリに記憶されてよい。このような理解に基づいて、本願の技術的解決手段は、本質的に、又は、従来技術に寄与する部分又は該技術的解決手段の全て又は一部は、ソフトウェア製品の形態で具現化されてよく、該コンピュータソフトウェア製品は、メモリに記憶されており、コンピュータ装置（パーソナルコンピュータ、サーバ、又はネットワーク装置等であってよい）に本願の各実施例に記載の方法の全部又は一部のステップを実行させるためのいくつかのコマンドを含む。前述のメモリは、Ｕディスク、読み取り専用メモリ（ＲＯＭ、Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、リムーバブルハードディスク、磁気ディスク又は光ディスクなどの、プログラムコードを記憶可能な様々な媒体を含む。
上記実施例の各方法における全部又は一部のステップがプログラムにより関連ハードウェアを命令することによって実現することができ、該プログラムがコンピュータ読み取り可能なメモリに記憶することができ、メモリがフラッシュディスク、読み取り専用メモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭと略称する）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭと略称する）、磁気ディスク又は光ディスクなどを含んでよいことは、当業者に理解されるところである。
以上、本願の実施例について詳細に説明し、本明細書において具体例を用いて本願の原理及び実施形態を説明したが、以上の実施例の説明は、本願の方法及びその核心思想を容易に理解するためのものに過ぎず、なお、当業者であれば、本願の思想に照らし、具体的な実施形態及び適用範囲を変更することが可能であり、要するに、本明細書の内容は本願を限定するものと理解すべきではない。

Claims (19)

  1. 各フレームの点群データが深度情報及び強度情報を含むマルチフレームの点群データを取得するステップと、
    前記マルチフレームの点群データのうちの、参照点群データ以外の少なくとも１フレームの点群データの深度情報及び強度情報に基づいて、参照点群データを補完して、前記参照点群データに対応する目標点群データを得るステップとを含み、
    前記目標点群データの深度情報は、前記参照点群データの深度情報より密であり、かつ前記目標点群データの強度情報は、前記参照点群データの強度情報より密であり、前記参照点群データは、前記マルチフレームの点群データのうちの任意の１フレームの点群データであることを特徴とする、情報補完方法。
  2. 前記マルチフレームの点群データのうちの、参照点群データ以外の少なくとも１フレームの点群データの深度情報及び強度情報に基づいて、参照点群データを補完して、前記参照点群データに対応する目標点群データを得る前記ステップは、
    前記少なくとも１フレームの点群データと前記参照点群データで構成される点群データ集合における各フレームの点群データの深度情報を再投影して、前記点群データ集合における各フレームの点群データに対応する深度マップを得るステップと、
    前記点群データ集合における各フレームの点群データに対応する深度マップに基づいて、前記参照点群データに対して深度情報補完を行って、前記参照点群データに対応する目標深度マップを得るステップと、
    前記参照点群データに対応する目標深度マップに基づいて、前記参照点群データに対して強度情報補完を行って、前記参照点群データに対応する目標強度マップを得るステップとを含むことを特徴とする、請求項１に記載の方法。
  3. 前記点群データ集合における各フレームの点群データに対応する深度マップに基づいて、前記参照点群データに対して深度情報補完を行って、前記参照点群データに対応する目標深度マップを得る前記ステップは、
    前記少なくとも１フレームの点群データのうちの各フレームの点群データの第１のレーダ座標系と前記参照点群データに対応する参照レーダ座標系を取得するステップと、
    各第１のレーダ座標系を前記参照レーダ座標系に変換する各第１の変換行列を決定するステップと、
    各第１の変換行列に基づいて対応するフレームの点群データの深度マップを変換して、第１の深度マップを得るステップと、
    前記少なくとも１フレームの点群データのうちの各フレームの点群データに対応する第１の深度マップを前記参照点群データの深度マップと重畳して、前記参照点群データに対応する目標深度マップを得るステップとを含むことを特徴とする、請求項２に記載の方法。
  4. 前記参照点群データに対応する目標深度マップに基づいて、前記参照点群データに対して強度情報補完を行って、前記参照点群データに対応する目標強度マップを得る前記ステップは、
    前記点群データ集合における各フレームの点群データの強度情報を再投影して、前記点群データ集合における各フレームの点群データに対応する強度マップを得るステップと、
    前記点群データ集合における各フレームの点群データの強度マップに対して、強度情報への距離の影響を除去する距離補償を行って、前記点群データ集合における各フレームの点群データに対応する第１の強度マップを得るステップと、
    前記参照点群データに対応する目標深度マップと前記点群データ集合における各フレームの点群データに対応する第１の強度マップに基づいて、前記参照点群データに対応する目標強度マップを決定するステップとを含むことを特徴とする、請求項２又は３に記載の方法。
  5. 前記点群データ集合における各フレームの点群データの強度マップに対して距離補償を行って、前記点群データ集合における各フレームの点群データに対応する第１の強度マップを得る前記ステップは、
    ライダーのレーダパラメータに基づいて、距離補償項を得るステップと、
    前記距離補償項に基づいて、前記点群データ集合における各フレームの点群データに対応する第１の強度マップを決定するステップとを含むことを特徴とする、請求項４に記載の方法。
  6. 前記目標深度マップと前記点群データ集合における各フレームの点群データに対応する第１の強度マップに基づいて、前記参照点群データに対応する目標強度マップを決定する前記ステップは、
    前記参照点群データに対応する目標深度マップに基づいて、前記点群データ集合における各フレームの点群データに対応する第１の入射角行列を得るステップと、
    前記点群データ集合における各フレームの点群データに対応する第１の入射角行列に基づいて、前記点群データ集合における各フレームの点群データに対応する第１の強度マップに対して、強度情報への入射角度の影響を除去する角度補償を行って、前記点群データ集合における各フレームの点群データに対応する第２の強度マップを得るステップと、
    前記少なくとも１フレームの点群データのうちの各フレームの点群データに対応する第２の深度マップを前記参照点群データに対応する第２の強度マップと重畳して、前記参照点群データに対応する目標強度マップを得るステップとを含むことを特徴とする、請求項４又は５に記載の方法。
  7. 前記参照点群データに対応する目標深度マップに基づいて、前記点群データ集合における各フレームの点群データに対応する第１の入射角行列を得る前記ステップは、
    前記参照点群データに対応する目標深度マップにおける深度情報に基づいて平面フィッティングを行って、目標空間平面を得るステップと、
    前記参照点群データを収集する時のライダーの入射光線と目標平面の法線との間の夾角に基づいて、前記参照点群データの第１の入射角行列である、前記参照点群データに対応する目標深度マップに対応する目標入射角行列を決定するステップと、
    前記少なくとも１フレームの点群データのうちの各フレームの点群データの第１の変換行列に基づいて、前記参照点群データに対応する目標深度マップに対応する目標入射角行列に対して逆変換を行って、前記少なくとも１フレームの点群データのうちの各フレームの点群データの第１の入射角行列を得るステップとを含むことを特徴とする、請求項６に記載の方法。
  8. 前記点群データ集合における各フレームの点群データに対応する第１の入射角行列に基づいて、前記点群データ集合における各フレームの点群データに対応する第１の強度マップに対して角度補償を行って、前記点群データ集合における各フレームの点群データに対応する第２の強度マップを得るステップは、
    前記点群データ集合における各フレームの点群データに対応する第１の入射角行列、予め設定された拘束係数、及び前記点群データ集合における各フレームの点群データの第１の強度マップに基づいて、前記点群データ集合における各フレームの点群データに対応する第２の強度マップを決定するステップを含むことを特徴とする、請求項６又は７に記載の方法。
  9. 前記方法は、
    前記参照点群データに対応する目標強度マップに基づいて、前記参照点群データに対応する元の強度マップを決定するステップをさらに含むことを特徴とする、請求項６～８のいずれか１項に記載の方法。
  10. 前記参照点群データに対応する目標強度マップに基づいて、前記参照点群データに対応する元の強度マップを決定する前記ステップは、
    前記参照点群データに対応する目標深度マップに対応する目標入射角行列及び予め設定された拘束係数に基づいて、前記参照点群データに対応する目標強度マップを処理して、前記参照点群データに対応する元の強度マップを決定するステップを含むことを特徴とする、請求項９に記載の方法。
  11. 前記情報補完方法は、ニューラルネットワークによって実行され、前記ニューラルネットワークは、
    サンプルの点群データに対して情報補完を行い、補完後のサンプルの点群データを出力するステップと、
    前記補完後のサンプルの点群データに基づいて、前記サンプルの点群データの予測された目標深度マップ、予測された目標強度マップ及び予測された元の強度マップを得るステップと、
    前記サンプルの点群データのマーキングされた目標深度マップ、マーキングされた目標強度マップ及びマーキングされた元の強度マップと前記サンプルの点群データの予測された目標深度マップ、予測された目標強度マップ及び予測された元の強度マップに基づいて、前記ニューラルネットワークのネットワークパラメータを調整するステップとを用いてトレーニングされることを特徴とする、請求項１～１０のいずれか１項に記載の方法。
  12. 前記サンプルの点群データのマーキングされた目標深度マップ、マーキングされた目標強度マップ及びマーキングされた元の強度マップと前記サンプルの点群データの予測された目標深度マップ、予測された目標強度マップ及び予測された元の強度マップに基づいて、前記ニューラルネットワークのネットワークパラメータを調整する前記ステップは、
    前記サンプルの点群データのマーキングされた目標深度マップ、マーキングされた目標強度マップ及びマーキングされた元の強度マップと前記サンプルの点群データの予測された目標深度マップ、予測された目標強度マップ及び予測された元の強度マップに基づいて、第１の損失値、第２の損失値及び第３の損失値を得るステップと、
    前記第１の損失値、第２の損失値及び第３の損失値に対して重み付け処理を行って、目標損失値を得るステップと、
    前記目標損失値に基づいて前記ニューラルネットワークのネットワークパラメータを調整するステップとを含み、前記第１の損失値は、前記マーキングされた目標深度マップと前記予測された目標深度マップに基づいて決定され、前記第２の損失値は、前記マーキングされた目標強度マップと前記予測された目標強度マップに基づいて決定され、前記第３の損失値は、前記マーキングされた元の強度マップと前記予測された元の強度マップに基づいて決定されることを特徴とする、請求項１１に記載の方法。
  13. 道路の点群データを収集するステップと、
    請求項１～１２のいずれか１項に記載の情報補完方法を用い、前記点群データを補完して、前記点群データに対応する目標強度マップを得るステップと、
    前記目標強度マップに基づいて車線を認識して、車線認識結果を得るステップとを含むことを特徴とする、車線認識方法。
  14. インテリジェント走行機器の周りのシーンの点群データを収集するステップと、
    請求項１～１２のいずれか１項に記載の情報補完方法を用い、前記点群データを補完して、前記点群データに対応する目標強度マップを得るステップと、
    前記目標強度マップに基づいて前記周りのシーンにおける目標物を認識するステップと、
    認識結果に基づいて、前記インテリジェント走行機器の走行を制御するステップとを含むことを特徴とする、インテリジェント走行方法。
  15. 各フレームの点群データが深度情報及び強度情報を含むマルチフレームの点群データを取得する取得ユニットと、
    前記マルチフレームの点群データのうちの、参照点群データ以外の少なくとも１フレームの点群データの深度情報及び強度情報に基づいて、参照点群データを補完して、前記参照点群データに対応する目標点群データを得る補完ユニットとを含み、
    前記目標点群データの深度情報は、前記参照点群データの深度情報より密であり、かつ前記目標点群データの強度情報は、前記参照点群データの強度情報より密であり、前記参照点群データは、前記マルチフレームの点群データのうちの任意の１フレームの点群データであることを特徴とする、情報補完装置。
  16. 道路の点群データを収集する収集ユニットと、
    請求項１～１２のいずれか１項に記載の情報補完方法を用い、前記点群データを補完して、前記点群データに対応する目標強度マップを得る補完ユニットと、
    前記目標強度マップに基づいて車線を認識して、車線認識結果を得る認識ユニットとを含むことを特徴とする、車線認識装置。
  17. 周りのシーンの点群データを収集する収集ユニットと、
    請求項１～１２のいずれか１項に記載の情報補完方法を用い、前記点群データを補完して、前記点群データに対応する目標強度マップを得る補完ユニットと、
    前記目標強度マップに基づいて前記周りのシーンにおける目標物を認識する認識ユニットと、
    認識結果に基づいて走行を制御する制御ユニットとを含むことを特徴とする、インテリジェント走行機器。
  18. 請求項１～１２のいずれか１項に記載の方法、請求項１３に記載の方法又は請求項１４に記載の方法を実行するために、コンピュータ読み取り可能なコマンドを記憶するメモリと、前記メモリに記憶されているコマンドを呼び出すプロセッサとを含むことを特徴とする、電子装置。
  19. プロセッサにより実行されると、前記プロセッサが請求項１～１２のいずれか１項に記載の方法、請求項１３に記載の方法又は請求項１４に記載の方法を実現するコンピュータプログラムが記憶されていることを特徴とする、コンピュータ読み取り可能な記憶媒体。
JP2021539461A 2019-10-31 2020-09-08 情報補完方法、車線認識方法、インテリジェント走行方法及び関連製品 Pending JP2022511990A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201911050904.4 2019-10-31
CN201911050904.4A CN112749594B (zh) 2019-10-31 2019-10-31 信息补全方法、车道线识别方法、智能行驶方法及相关产品
PCT/CN2020/114032 WO2021082745A1 (zh) 2019-10-31 2020-09-08 信息补全方法、车道线识别方法、智能行驶方法及相关产品

Publications (2)

Publication Number Publication Date
JP2022511990A true JP2022511990A (ja) 2022-02-01
JPWO2021082745A5 JPWO2021082745A5 (ja) 2022-09-02

Family

ID=75641251

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021539461A Pending JP2022511990A (ja) 2019-10-31 2020-09-08 情報補完方法、車線認識方法、インテリジェント走行方法及び関連製品

Country Status (4)

Country Link
JP (1) JP2022511990A (ja)
KR (1) KR102428050B1 (ja)
CN (1) CN112749594B (ja)
WO (1) WO2021082745A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113592932A (zh) * 2021-06-28 2021-11-02 北京百度网讯科技有限公司 深度补全网络的训练方法、装置、电子设备及存储介质
CN113850914A (zh) * 2021-08-13 2021-12-28 江苏瑞沃建设集团有限公司 一种线激光三维扫描点云数据的矩阵换方法
CN113706676B (zh) * 2021-08-26 2024-01-16 京东鲲鹏(江苏)科技有限公司 用于点云数据的模型自监督训练方法和装置
CN114119889B (zh) * 2021-11-12 2024-04-09 杭州师范大学 基于跨模态融合的360度环境深度补全和地图重建方法
CN114926485B (zh) * 2022-02-22 2024-06-18 广州文远知行科技有限公司 图像深度标注方法、装置、设备及存储介质
CN115905434B (zh) * 2022-10-26 2023-10-13 南京航空航天大学 一种基于学习插值预测的道路网轨迹补全方法
CN116047537B (zh) * 2022-12-05 2023-12-26 北京中科东信科技有限公司 基于激光雷达的道路信息生成方法及系统
CN116299300B (zh) * 2023-05-15 2023-08-08 北京集度科技有限公司 可行驶区域的确定方法、装置、计算机设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016206026A (ja) * 2015-04-23 2016-12-08 株式会社デンソー 物体認識装置
CN109900298A (zh) * 2019-03-01 2019-06-18 武汉光庭科技有限公司 一种车辆定位校准方法及系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9972067B2 (en) * 2016-10-11 2018-05-15 The Boeing Company System and method for upsampling of sparse point cloud for 3D registration
CN106780590B (zh) * 2017-01-03 2019-12-24 成都通甲优博科技有限责任公司 一种深度图的获取方法及系统
EP3429207A1 (en) * 2017-07-13 2019-01-16 Thomson Licensing A method and apparatus for encoding/decoding a colored point cloud representing the geometry and colors of a 3d object
CN108229366B (zh) * 2017-12-28 2021-12-14 北京航空航天大学 基于雷达和图像数据融合的深度学习车载障碍物检测方法
CN108230379B (zh) * 2017-12-29 2020-12-04 百度在线网络技术（北京）有限公司 用于融合点云数据的方法和装置
KR102042343B1 (ko) * 2018-04-13 2019-11-07 경북대학교 산학협력단 3차원 스캐닝을 통해 획득된 점군 데이터 기반에서 깊이 이미지를 생성하는 장치 및 방법 및 이를 이용한 3차원 객체 식별 방법
CN108898669A (zh) * 2018-07-17 2018-11-27 网易（杭州）网络有限公司 数据处理方法、装置、介质和计算设备
CN109325972B (zh) * 2018-07-25 2020-10-27 深圳市商汤科技有限公司 激光雷达稀疏深度图的处理方法、装置、设备及介质
CN109613557B (zh) * 2018-11-28 2022-04-29 南京莱斯信息技术股份有限公司 一种补全激光雷达三维点云目标的系统及方法
CN109903372B (zh) * 2019-01-28 2021-03-23 中国科学院自动化研究所 深度图超分辨率补全方法及高质量三维重建方法与系统
CN110047144A (zh) * 2019-04-01 2019-07-23 西安电子科技大学 一种基于Kinectv2的完整物体实时三维重建方法
CN109766878B (zh) * 2019-04-11 2019-06-28 深兰人工智能芯片研究院（江苏）有限公司 一种车道线检测的方法和设备
CN110232315A (zh) * 2019-04-29 2019-09-13 华为技术有限公司 目标检测方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016206026A (ja) * 2015-04-23 2016-12-08 株式会社デンソー 物体認識装置
CN109900298A (zh) * 2019-03-01 2019-06-18 武汉光庭科技有限公司 一种车辆定位校准方法及系统

Also Published As

Publication number Publication date
CN112749594B (zh) 2022-04-22
KR20210093351A (ko) 2021-07-27
CN112749594A (zh) 2021-05-04
KR102428050B1 (ko) 2022-08-01
WO2021082745A1 (zh) 2021-05-06

Similar Documents

Publication Publication Date Title
JP2022511990A (ja) 情報補完方法、車線認識方法、インテリジェント走行方法及び関連製品
US12020476B2 (en) Data synthesis for autonomous control systems
CN111553859B (zh) 一种激光雷达点云反射强度补全方法及系统
US10817731B2 (en) Image-based pedestrian detection
US10943355B2 (en) Systems and methods for detecting an object velocity
US20210142095A1 (en) Image disparity estimation
CN109470254B (zh) 地图车道线的生成方法、装置、系统及存储介质
CN108764187A (zh) 提取车道线的方法、装置、设备、存储介质以及采集实体
JP2021089724A (ja) 構造的制約及び物理的制約を伴う３ｄ自動ラベル付け
CN108594244B (zh) 基于立体视觉和激光雷达的障碍物识别迁移学习方法
WO2018066352A1 (ja) 画像生成システム、プログラム及び方法並びにシミュレーションシステム、プログラム及び方法
CN115861601B (zh) 一种多传感器融合感知方法及装置
CN112753038A (zh) 识别车辆变道趋势的方法和装置
CN115496923B (zh) 一种基于不确定性感知的多模态融合目标检测方法及装置
CN113835102A (zh) 车道线生成方法和装置
CN116052124A (zh) 多相机生成局部地图模板理解加强目标检测方法及系统
CN113988197A (zh) 基于多相机、多激光雷达的联合标定及目标融合检测方法
CN110727269B (zh) 车辆控制方法及相关产品
CN117036607A (zh) 基于隐式神经渲染的自动驾驶场景数据生成方法及系统
Surgailis et al. Avoiding forward car collision using stereo vision system
Ahmed et al. Lane marking detection using LiDAR sensor
CN113624223B (zh) 一种室内停车场地图构建方法及装置
Sari et al. Traffic sign detection and recognition system for autonomous RC cars
CN112784868A (zh) 用于训练用于对象识别设备的机器学习系统的方法、执行方法、对象识别设备及计算机程序
Hellinckx Lane Marking Detection Using LiDAR Sensor

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210705

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210705

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210705

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220317

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220513

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20220810

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221014

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230510