JP2021051716A - 情報を出力するための方法及び装置 - Google Patents

情報を出力するための方法及び装置 Download PDF

Info

Publication number
JP2021051716A
JP2021051716A JP2020034868A JP2020034868A JP2021051716A JP 2021051716 A JP2021051716 A JP 2021051716A JP 2020034868 A JP2020034868 A JP 2020034868A JP 2020034868 A JP2020034868 A JP 2020034868A JP 2021051716 A JP2021051716 A JP 2021051716A
Authority
JP
Japan
Prior art keywords
time threshold
obstacles
obstacle
threshold value
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020034868A
Other languages
English (en)
Other versions
JP7201887B2 (ja
Inventor
シャン・リウ
Shan Liu
シュアン・チャン
Shuang Zhang
ビン・ガオ
Bin Gao
シャオシン・ジュ
Xiaoxing Zhu
ジンジン・シュエ
Jingjing Xue
ファン・ヤン
Fan Yang
ジュンピン・ワン
Junping Wang
チャンファ・ワン
Jianhua Wang
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Publication of JP2021051716A publication Critical patent/JP2021051716A/ja
Application granted granted Critical
Publication of JP7201887B2 publication Critical patent/JP7201887B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Image Analysis (AREA)

Abstract

【課題】障害物の数量に応じて時間閾値を確定することができ、手動による調整を行う必要がなく、時間閾値の自動調整を実現する方法及び装置を提供する。【解決手段】方法は、車両が走行中に収集した点群データ及び画像データを取得するステップ２０１と、予め設定された時間閾値の取り得る範囲に基づいて、複数の時間閾値を決定するステップ２０２と、各点群フレーム及び各画像フレームに含まれる障害物をそれぞれ認識し、各障害物の間の類似度を確定し、類似度閾値よりも大きい場合に、類似する２つの障害物に対応する点群フレームと画像フレームとの時間間隔が該時間閾値よりも小さいか否かを判定し、判定結果に基づいて認識された障害物を処理し、障害物の数量を確定し、複数の数量に基づいて、目標時間閾値を確定して出力する処理ステップを時間閾値ごとに実行するステップ２０３とを備える。【選択図】図２

Description

本願の実施例は、コンピュータ技術分野に関し、具体的には情報を出力するための方法及び装置に関する。
現在、ライダーによる測距は、その優れた特性及び外界環境への強い適応性のため、自動運転、運転支援等の分野で幅広く適用されている。ライダーによって収集されたデータの適用シーンにおいて、一般的に多くのパラメータを調整する必要がある。これらのパラメータを手動で調整することは、通常時間がかかり、手間もかかる。
本願の実施例は、情報を出力するための方法及び装置を提供している。
第１態様において、本願の実施例は、車両が走行中に収集した、点群データ及び画像データを含む障害物データを取得するステップと、予め設定された時間閾値の取り得る範囲に基づいて、複数の時間閾値を決定するステップと、前記点群データにおける各点群フレーム及び前記画像データにおける各画像フレームに含まれる障害物をそれぞれ認識することと、各点群フレームにおける障害物と各画像フレームにおける障害物との類似度を確定することと、前記類似度が予め設定された類似度閾値よりも大きいことに応答して、類似する２つの障害物に対応する点群フレームと画像フレームとの時間間隔が該時間閾値よりも小さいか否かを判定することと、判定結果に基づいて認識された障害物を処理して障害物の数量を確定することとを含む処理ステップを、時間閾値ごとに実行するステップと、得られた複数の数量に応じて、目標時間閾値を確定して出力するステップと、を備える情報を出力するための方法を提供している。
いくつかの実施例において、前記予め設定された時間閾値の取り得る範囲に基づいて、複数の時間閾値を決定するステップは、前記時間閾値の取り得る範囲から予め設定された時間間隔で複数の点を複数の時間閾値として選択することを含む。
いくつかの実施例において、前記判定結果に基づいて認識された障害物を処理して障害物の数量を確定するステップは、前記時間間隔が該時間閾値未満である場合に、類似する２つの障害物を同一障害物として関連付けることと、前記時間間隔が該時間閾値以上である場合に、類似する２つの障害物を同一障害物として関連付けないことと、を含む。
いくつかの実施例において、前記方法は、類似する２つの障害物が同一障害物として関連付けられたことに応答して、類似する２つの障害物に対応する点群フレーム及び画像フレームに基づいて、類似する２つの障害物を融合するステップをさらに含む。
いくつかの実施例において、前記得られた複数の数量に応じて、目標時間閾値を確定して出力するステップは、複数の数量及び数量ごとに対応する時間閾値に基づいて、数量−時間閾値の曲線を確定することと、各時間閾値における前記曲線の傾きを確定して、各傾きに基づいて目標時間閾値を確定することと、を含む。
いくつかの実施例において、前記各傾きに基づいて目標時間閾値を確定することは、各傾きの絶対値のうちの最大値を確定することと、前記最大値に対応する時間閾値を目標時間閾値とすることとを含む。
第２態様において、本願の実施例は、車両が走行中に収集した、点群データ及び画像データを含む障害物データを取得するように構成されるデータ取得ユニットと、予め設定された時間閾値の取り得る範囲に基づいて、複数の時間閾値を決定するように構成される閾値決定ユニットと、前記点群データにおける各点群フレーム及び前記画像データにおける各画像フレームに含まれる障害物をそれぞれ認識することと、各点群フレームにおける障害物と各画像フレームにおける障害物との類似度を確定することと、前記類似度が予め設定された類似度閾値よりも大きいことに応答して、類似する２つの障害物が存在する点群フレームと画像フレームとの時間間隔が該時間閾値よりも小さいか否かを判定することと、判定結果に基づいて認識された障害物を処理して障害物の数量を確定することとを含む処理ステップを、時間閾値ごとに実行するように構成されるデータ処理ユニットと、得られた複数の数量に応じて、目標時間閾値を確定して出力するように構成される目標確定ユニットと、を備える情報を出力するための装置を提供している。
いくつかの実施例において、前記閾値決定ユニットはさらに、前記時間閾値の取り得る範囲から予め設定された時間間隔で複数の点を複数の時間閾値として選択するように構成される。
いくつかの実施例において、前記データ処理ユニットはさらに、前記時間間隔が該時間閾値未満である場合に、類似する２つの障害物を同一障害物として関連付けることと、前記時間間隔が該時間閾値以上である場合に、類似する２つの障害物を同一障害物として関連付けないように構成される。
いくつかの実施例において、前記装置は、類似する２つの障害物が同一障害物として関連付けられたことに応答して、類似する２つの障害物に対応する点群フレーム及び画像フレームに基づいて、類似する２つの障害物を融合するように構成されるデータ融合ユニットをさらに備える。
いくつかの実施例において、前記目標確定ユニットはさらに、複数の数量及び数量ごとに対応する時間閾値に基づいて、数量−時間閾値の曲線を確定し、各時間閾値における前記曲線の傾きを確定して、各傾きに基づいて目標時間閾値を確定するように構成される。
いくつかの実施例において、前記目標確定ユニットはさらに、各傾きの絶対値のうちの最大値を確定し、前記最大値に対応する時間閾値を目標時間閾値とするように構成される。
第３態様において、本願の実施例は、１つ又は複数のプロセッサと、１つ又は複数のプログラムが格納されている記憶装置と、を含む電子機器であって、前記１つ又は複数のプログラムが前記１つ又は複数のプロセッサによって実行されると、前記１つ又は複数のプロセッサに第１態様のいずれかの実施例に記載の方法を実現させる電子機器を提供している。
第４態様において、本願の実施例は、コンピュータプログラムが格納されているコンピュータ可読媒体であって、該コンピュータプログラムがプロセッサによって実行されると、第１態様のいずれかの実施例に記載の方法を実現するコンピュータ可読媒体を提供している。
本願の前記実施例に係る情報を出力するための方法及び装置は、まず、車両が走行中に収集した、点群データ及び画像データを含み得る障害物データを取得することができる。次に、予め設定された時間閾値の取り得る範囲に基づいて、複数の時間閾値を決定することができる。次に、点群データにおける各点群フレーム及び画像データにおける各画像フレームに含まれる障害物をそれぞれ認識することと、各点群フレームにおける障害物と各画像フレームにおける障害物との類似度を確定することと、類似度が予め設定された類似度閾値よりも大きい場合に、類似する２つの障害物が存在する点群フレームと画像フレームとの時間間隔が該時間閾値よりも小さいか否かを判定することと、判定結果に基づいて認識された障害物を処理して障害物の数量を確定することとを含む処理ステップを時間閾値ごとに実行することができる。最後に、得られた複数の数量に応じて、目標時間閾値を確定して出力する。本実施例の方法によれば、障害物の数量に応じて障害物データ処理中の時間閾値を確定することができ、手動による調整を行う必要がなく、時間閾値の自動調整が実現された。
本願の他の特徴、目的及び利点は、以下の図面を参照してなされる非限定的な実施例に係る詳細な説明を読むことにより、より明らかになるであろう。
本願の一実施例を適用できる例示的なシステムアーキテクチャを示す図である。 本願に係る情報を出力するための方法の一実施例を示すフローチャートである。 本願に係る情報を出力するための方法の一適用シーンを示す概略図である。 本願に係る情報を出力するための方法において目標時間閾値を確定する一実施例を示すフローチャートである。 本願に係る情報を出力するための装置の一実施例を示す構造概略図である。 本願の実施例を実施するための電子機器に適用されるコンピュータシステムを示す構造概略図である。
以下、添付図面及び実施例を参照しながら、本願をより詳細に説明する。ここで説明する具体的な実施例は、関連する発明を説明するためのものに過ぎず、当該発明を限定するものではないことを理解されたい。また、説明の便宜上、図面には発明に関連する部分のみが示されていることに留意されたい。
なお、本願の実施例及び実施例における特徴は、矛盾を生じない限り、相互に組み合わせることができる。以下、添付図面及び実施例を参照しながら、本願を詳細に説明する。
図１は、本願の情報を出力するための方法又は情報を出力するための装置を適用できる実施例の例示的なシステムアーキテクチャ１００が示されている。
図１に示すように、システムアーキテクチャ１００は、自動運転車両１０１、１０２、１０３、ネットワーク１０４及びサーバ１０５を含んでもよい。ネットワーク１０４は、自動運転車両１０１、１０２、１０３とサーバ１０５との間に通信リンクの媒体を提供するために用いられる。ネットワーク１０４は、有線、無線通信リンク、又は光ファイバケーブル等のような、様々な接続タイプを含んでもよい。
自動運転車両１０１、１０２、１０３には、ライダー（ＬｉＤＡＲ）又は画像取り込み装置などのような様々なセンサが搭載されることで、自動運転車両１０１、１０２、１０３の走行環境の点群データ又は画像データを取り込むことができる。自動運転車両１０１、１０２、１０３にはさらに、ナビゲーションデバイス、無人車両コントローラ、アンチロックブレーキシステム、制動力配分制御システム等のような様々な電子機器が搭載されていてもよい。自動運転車両１０１、１０２、１０３は、自動運転モードの車両を含んでもよく、完全自動運転の車両も、自動運転モードに切り替え可能な車両も含まれる。
サーバ１０５は、例えば、車両１０１、１０２、１０３により収集された障害物データを処理するバックエンドサーバなど、様々なサービスを提供するサーバであってもよい。バックエンドサーバは、受信された障害物データ等のデータを解析する等の処理を行うとともに、目標時間閾値等の処理結果を車両１０１、１０２、１０３にフィードバックすることができる。
なお、サーバ１０５は、ハードウェアであってもよいし、ソフトウェアであってもよい。サーバ１０５がハードウェアである場合には、複数のサーバからなる分散サーバクラスタとして実現されてもよいし、単一のサーバとして実現されてもよい。サーバ１０５がソフトウェアである場合には、複数のソフトウェア又はソフトウェアモジュール（例えば、分散サービスを提供するためのもの）として実現されてもよいし、単一のソフトウェア又はソフトウェアモジュールとして実現されてもよい。ここでは特に限定されない。
なお、本願の実施例に係る情報を出力するための方法は、車両１０１、１０２、１０３によって実行されてもよいし、サーバ１０５によって実行されてもよい。したがって、情報を出力するための装置が車両１０１、１０２、１０３に設けられてもよいし、サーバ１０５に設けられてもよい。
なお、図１における車両、ネットワーク及びサーバの数は、単なる例示的なものに過ぎない。車両、ネットワーク及びサーバは、必要に応じて任意の数に設けられてもよい。
引き続き図２を参照して、本願に係る情報を出力するための方法の一実施例を示すフロー２００が示されている。本実施例の情報を出力するための方法は、ステップ２０１、ステップ２０２、ステップ２０３及びステップ２０４を含む。
ステップ２０１：車両が走行中に収集した障害物データを取得する。
本実施例において、情報を出力するための方法の実行主体（例えば、図１に示すサーバ１０５）が、有線接続方式又は無線接続方式により車両が走行中に収集した障害物データを取得することができる。前記障害物データは点群データ及び画像データを含むことができる。前記点群データは複数の点群フレームを含んでもよく、点群フレームのそれぞれには複数の点群点が含まれてもよい。画像データは複数の画像フレームを含むことができる。車両が走行している間に周囲環境の点群データ及び画像データを収集するために、ライダーセンサ及びカメラが車両に搭載されてもよい。
ステップ２０２：予め設定された時間閾値の取り得る範囲に基づいて、複数の時間閾値を決定する。
本実施例において、実行主体は、予め設定された複数の時間閾値の取り得る値に基づいて決定されてもよい予め設定された時間閾値の取り得る範囲を取得することができる。例えば、予め設定された複数の時間閾値は、０．５ｍｓ、１．０ｍｓ、１．５ｍｓを含んでもよく、時間閾値のそれぞれは、当業者が自身の経験に基づいて設定することができる。実行主体は、複数の時間閾値を得るために、時間閾値の取り得る範囲から予め設定された時間間隔で値を取ることができる。例えば、時間閾値の取り得る範囲は０．５ｍｓ〜１．５ｍｓであり、実行主体は０．１ｍｓ間隔ごとに値をとることができ、それぞれ０．５ｍｓ、０．６ｍｓ、０．７ｍｓ、…、１．５ｍｓの複数の時間閾値を得ることができる。あるいは、実行主体は、上記の時間閾値の取り得る範囲から複数の時間閾値をランダムに選択してもよい。
本実施例のいくつかの選択可能な実施形態において、実行主体は、時間閾値の取り得る範囲から予め設定された時間間隔で複数の点を複数の時間閾値として選択するステップ（図２に示されていない）によって複数の時間閾値を決定することができる。
本実施形態において、実行主体は、時間閾値の取り得る範囲から予め設定された時間間隔で複数の点を複数の時間閾値として選択することができる。具体的には、前記時間閾値の取り得る範囲は、時間間隔で割り切れることができる。
ステップ２０３：以下の処理ステップ２０３１〜２０３４を時間閾値ごとに実行する。
複数の時間閾値が得られた後に、実行主体は、時間閾値ごとにステップ２０３１〜２０３４の処理を行ってもよい。
ステップ２０３１：点群データにおける各点群フレーム及び画像データにおける各画像フレームに含まれる障害物をそれぞれ認識する。
実行主体は、予めトレーニングされた障害物認識モデル又は障害物認識アルゴリズム（例えば、点群分割アルゴリズム、特徴抽出アルゴリズム等）によって点群データにおける各点群フレームに含まれる障害物を認識してもよいし、画像データにおける各画像フレームに含まれる障害物を認識してもよい。具体的には、実行主体は、点群データにおける各点群フレーム又は画像データにおける各画像フレームを障害物認識モデルの入力側から入力することができ、障害物認識モデルの出力側から認識された障害物を得ることができる。
ステップ２０３２：各点群フレームにおける障害物と各画像フレームにおける障害物との類似度を確定する。
各点群フレーム及び各画像フレームに含まれる障害物を認識した後に、実行主体は、各点群フレームにおける障害物と各画像フレームにおける障害物との類似度を算出することができる。具体的には、実行主体は、各障害物の特徴を抽出し、特徴ベクトル間の距離に基づいて各障害物間の類似度を算出することができる。
ステップ２０３３：前記類似度が予め設定された類似度閾値よりも大きいことに応答して、類似する２つの障害物に対応する点群フレームと画像フレームとの時間間隔が該時間閾値よりも小さいか否かを判定する。
得られた類似度ごとに、実行主体は、該類似度が予め設定された類似度閾値よりも大きいか否かを判定することができる。ここで、類似度閾値が障害物同士間の類似程度を表すために用いられてもよい。類似度が該類似度閾値よりも大きい場合に、２つの障害物が非常に類似していると意味する。実行主体は更に、類似した２つの障害物が位置する点群フレーム及び画像フレームを確定することができる。次に、点群フレームと画像フレームとの時間間隔を算出するとともに、前記時間間隔が該時間閾値よりも大きいか否かを判定する。
ステップ２０３４：判定結果に基づいて認識された障害物を処理して障害物の数量を確定する。
実行主体は、判定結果が得られた後に、判定結果に基づいて認識された障害物を処理して障害物の数量を確定する。具体的には、時間間隔が時間閾値未満である場合に、実行主体は、２つの障害物を同一障害物として認定してもよい。時間間隔が時間閾値以上である場合に、実行主体は、２つの障害物を同一障害物として認定しない。２つの障害物が同一障害物として認定された場合に、障害物の数量をカウントする際に、該２つの障害物が１つの障害物としてカウントされることを理解されたい。２つの障害物が同一障害物として認定されていない場合に、障害物の数量をカウントする際に、該２つの障害物が２つの障害物としてカウントされる。これにより、各時間閾値について認識された障害物の数量を確定することができる。
実施例のいくつかの選択可能な実施形態において、実行主体は、時間間隔が該時間閾値未満である場合に、類似する２つの障害物を同一障害物として関連付け、時間間隔が該時間閾値以上である場合に、類似する２つの障害物を同一障害物として関連付けない方式（図２に示されていない）によって障害物の数量を確定することができる。
実施例のいくつかの選択可能な実施形態において、前記方法は、類似する２つの障害物が同一障害物として関連付けられたことに応答して、類似する２つの障害物に対応する点群フレーム及び画像フレームに基づいて、類似する２つの障害物を融合するステップ（図２に示されていない）をさらに含んでもよい。
２つの障害物が同一障害物として関連付けられた場合に、実行主体は、類似する２つの障害物に対応する点群フレーム及び画像フレームに基づいて、類似する２つの障害物を融合させてもよい。これにより、自動運転車両の走行を案内するための、より正確な障害物情報を得ることができる。
ステップ２０４：得られた複数の数量に応じて、目標時間閾値を確定して出力する。
本実施例において、時間閾値が大きくなるにつれて、類似する障害物が関連付けられる可能性が高くなるほど、得られる障害物の数量が少なくなる。相応して、時間閾値が小さいほど、類似する障害物が関連付けられる可能性が低くなり、得られる障害物の数量が多くなる。実行主体は、得られた各数量に基づいて、障害物の数量の変化率を確定するとともに、変化率に応じて目標時間閾値を確定することができる。
引き続き図３を参照して、図３は、本実施例に係る情報を出力するための方法の一適用シーンを示す概略図である。図３の適用シーンにおいて、自動運転車両３０１は、走行中に、搭載されたライダーセンサによって点群データを収集し、搭載されたカメラによって画像データを取り込み、点群データ及び画像データをサーバ３０２に送信する。サーバ３０２は、点群データ及び画像データについてステップ２０１〜２０４の処理を行い、目標時間閾値を決定するとともに、目標時間閾値を自動運転車両３０１に送信する。自動運転車両３０１は、上記の目標時間閾値に基づいて走行中に障害物の融合を行うことができる。
本願の前記実施例に係る情報を出力するための方法は、車両が走行中に収集した、点群データ及び画像データを含み得る障害物データを取得することができる。次に、予め設定された時間閾値の取り得る範囲に基づいて、複数の時間閾値を決定することができる。次に、点群データにおける各点群フレーム及び画像データにおける各画像フレームに含まれる障害物をそれぞれ認識することと、各点群フレームにおける障害物と各画像フレームにおける障害物との類似度を確定することと、類似度が予め設定された類似度閾値よりも大きい場合に、類似する２つの障害物が存在する点群フレームと画像フレームとの時間間隔が該時間閾値よりも小さいか否かを判定することと、判定結果に基づいて認識された障害物を処理して障害物の数量を確定することとを含む処理ステップを時間閾値ごとに実行することができる。最後に、得られた複数の数量に応じて、目標時間閾値を確定して出力する。本実施例の方法によれば、障害物の数量に応じて障害物データ処理中の時間閾値を確定することができ、手動による調整を行う必要がなく、時間閾値の自動調整が実現された。
引き続き、本願に係る情報を出力するための方法において目標時間閾値を確定する一実施例を示すフロー４００が示されている図４を参照する。図４に示すように、本実施例に係る情報を出力するための方法は、目標時間閾値を以下のステップによって確定することができる。
ステップ４０１：複数の数量及び数量ごとに対応する時間閾値に基づいて、数量−時間閾値の曲線を確定する。
本実施例において、実行主体は、得られた複数の数量及び数量ごとに対応する時間閾値に基づいて、時間閾値をＸ軸とし、障害物の数量をＹ軸として、数量−時間閾値の曲線を得ることができる。
ステップ４０２：各時間閾値における曲線の傾きを確定する。
次いで、実行主体は、曲線の方程式に基づいて、時間閾値毎における曲線の傾きを確定することができる。ここでの傾きは、障害物の数量の変化率を表すことができる。実行主体は、得られた各傾きに基づいて目標時間閾値を決定することができる。例えば、実行主体は、傾きの絶対値が最大となる時間閾値を目標時間閾値としてもよい。又は、実行主体は、各傾きの平均値を算出した後、前記平均値に対応する時間閾値を目標時間閾値としてもよい。目標時間閾値は、曲線に基づいて決定され、予め設定された時間閾値と同じであってもよいし、異なっていてもよいことを理解されたい。
ステップ４０３：各傾きの絶対値のうちの最大値を確定する。
本実施例において、実行主体は、各傾きの絶対値のうちの最大値を確定することができる。時間閾値が小さいほど、即ち障害物の数量が多いほど、誤検知の可能性が高くなり、誤検知率が高くなることを理解されたい。時間閾値が大きいほど、即ち障害物の数量が少ないほど、検知漏れの可能性が高くなり、検知漏れ率が高くなる。ここで、該最大値に対応する点は、障害物の数量の減少が最も速い点であり、誤検知率曲線と検知漏れ率曲線との交点でもある。
ステップ４０４：最大値に対応する時間閾値を目標時間閾値とする。
実行主体は、最大値に対応する時間閾値を目標時間閾値としてもよい。
本願の前記実施例により提供された情報を出力するための方法は、適切な時間閾値を自動的に確定することができ、障害物データ処理中の作業量を減らすことができる。
さらに図５を参照して、上記の各図に示される方法の実施態様として、本願は、図２に示される方法の実施例に対応する情報を出力するための装置の一実施例を提供し、当該装置は、具体的に様々な電子機器に適用可能である。
図５に示すように、本実施例に係る情報を出力するための装置５００は、データ取得ユニット５０１、閾値決定ユニット５０２、データ処理ユニット５０３及び目標確定ユニット５０４を備える。
データ取得ユニット５０１は、車両が走行中に収集した障害物データを取得するように構成される。前記障害物データは点群データ及び画像データを含む。
閾値決定ユニット５０２は、予め設定された時間閾値の取り得る範囲に基づいて、複数の時間閾値を決定するように構成される。
データ処理ユニット５０３は、点群データにおける各点群フレーム及び画像データにおける各画像フレームに含まれる障害物をそれぞれ認識することと、各点群フレームにおける障害物と各画像フレームにおける障害物との類似度を確定することと、類似度が予め設定された類似度閾値よりも大きいことに応答して、類似する２つの障害物に対応する点群フレームと画像フレームとの時間間隔が該時間閾値よりも小さいか否かを判定することと、判定結果に基づいて認識された障害物を処理して障害物の数量を確定することとを含む処理ステップを、時間閾値ごとに実行するように構成される。
目標確定ユニットは、得られた複数の数量に応じて、目標時間閾値を確定して出力するように構成される。
本実施例のいくつかの選択可能な実施形態において、閾値決定ユニット５０２はさらに、時間閾値の取り得る範囲から予め設定された時間間隔で複数の点を複数の時間閾値として選択するように構成される。
本実施例のいくつかの選択可能な実施形態において、データ処理ユニット５０３はさらに、時間間隔が該時間閾値未満である場合に、類似する２つの障害物を同一障害物として関連付けることと、時間間隔が該時間閾値以上である場合に、類似する２つの障害物を同一障害物として関連付けないように構成される。
本実施例のいくつかの選択可能な実施形態において、前記装置５００は、類似する２つの障害物が同一障害物として関連付けられたことに応答して、類似する２つの障害物に対応する点群フレーム及び画像フレームに基づいて、類似する２つの障害物を融合するように構成されるデータ融合ユニット（図５に示されていない）をさらに備えてもよい。
本実施例のいくつかの選択可能な実施形態において、目標確定ユニット５０４はさらに、複数の数量及び数量ごとに対応する時間閾値に基づいて、数量−時間閾値の曲線を確定し、各時間閾値における曲線の傾きを確定して、各傾きに基づいて目標時間閾値を確定するように構成される。
本実施例のいくつかの選択可能な実施形態において、目標確定ユニット５０４はさらに、各傾きの絶対値のうちの最大値を確定することと、最大値に対応する時間閾値を目標時間閾値とするように構成される。
なお、情報を出力するための装置５００に記載されたユニット５０１〜ユニット５０４それぞれは、図２を参照して記述した方法における各ステップに対応するものである。したがって、情報を出力するための方法について上述した動作及び特徴は同様に、装置５００及び装置５００に含まれるユニットにも適用され、ここでその説明が省略される。
以下、本開示の実施例を実現するのに適した電子機器６００の構造概略図が示される図６を参照する。図６に示された電子機器はただの例示に過ぎず、本開示の実施例の機能及び使用範囲にいかなる限定を加えるものではない。
図６に示すように、電子機器６００は、読み出し専用メモリ（ＲＯＭ）６０２に格納されているプログラム又は記憶デバイス６０８からランダムアクセスメモリ（ＲＡＭ）６０３にロードされたプログラムによって、各種の適当な動作及び処理を実行することができる処理デバイス（例えば、中央処理装置、グラフィックプロセッサ等）６０１を含んでもよい。ＲＡＭ６０３には、電子機器６００の操作に必要な様々なプログラム及びデータがさらに格納されている。処理デバイス６０１、ＲＯＭ６０２及びＲＡＭ６０３がバス６０４を介して互いに接続されている。入力／出力（Ｉ／Ｏ）インターフェース６０５もバス６０４に接続されている。
通常、Ｉ／Ｏインターフェース６０５には、例えば、タッチスクリーン、タッチパッド、キーボード、マウス、カメラ、マイク、加速度計、ジャイロスコープ等を含む入力デバイス６０６、例えば、液晶ディスプレイ（ＬＣＤ）、スピーカ、バイブレータ等を含む出力デバイス６０７、例えば磁気テープ、ハードディスク等を含む記憶デバイス６０８及び通信デバイス６０９が接続されてもよい。通信デバイス６０９は、電子機器６００がデータを交換するために他のデバイスと無線又は有線で通信することを可能にする。図６は、様々なデバイスを有する電子機器６００が示されているが、示されたデバイスの全てを実施又は具備するように要求しないことを理解されたい。これより多い又は少ないデバイスが代替的に実施され又は具備されてもよい。図６に示すブロックそれぞれは、１つのデバイスを表すものであってもよいし、必要に応じて複数のデバイスを表すものであってもよい。
特に、本開示の実施例によれば、以上でフローチャートを参照して記述されたプロセスは、コンピュータソフトウェアプログラムとして実現されてもよい。例えば、本開示の実施例は、コンピュータ可読媒体に担持されるコンピュータプログラムを備えるコンピュータプログラム製品を備え、該コンピュータプログラムは、フローチャートで示される方法を実行するためのプログラムコードを含む。このような実施例において、該コンピュータプログラムは、通信デバイス６０９を介してネットワークからダウンロードされてインストールされてもよく、又は記憶デバイス６０８からインストールされてもよく、又はＲＯＭ６０２からインストールされてもよい。該コンピュータプログラムが処理デバイス６０１によって実行される場合に、本開示の実施例の方法で限定された上記の機能を実行する。
注意すべきなのは、本開示の実施例に記載のコンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読記憶媒体、又はこれらの任意の組み合わせであってもよい。コンピュータ可読記憶媒体は、例えば、電気、磁気、光学、電磁気、赤外線、又は半導体のシステム、装置若しくはデバイス、又はこれらの任意の組み合わせを含むことができるが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例としては、１本又は複数本の導線を有する電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ若しくはフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）、光メモリ、磁気メモリ、又はこれらの任意の適切な組み合わせを含むことができるが、これらに限定されない。本開示の実施例において、コンピュータ可読記憶媒体は、命令実行システム、装置若しくはデバイスで使用可能な、又はそれらに組み込まれて使用可能なプログラムを包含又は格納する任意の有形の媒体であってもよい。本開示の実施例において、コンピュータ可読信号媒体は、ベースバンド内で、又はキャリアの一部として伝送されるデータ信号を含んでもよく、コンピュータ可読プログラムコードが担持されている。このような伝送されたデータ信号は、様々な形態をとることができ、電磁信号、光信号、又はこれらの任意の適切な組み合わせを含むことができるが、これらに限定されない。コンピュータ可読信号媒体は、さらにコンピュータ可読記憶媒体以外の任意のコンピュータ可読媒体であってもよい。該コンピュータ可読信号媒体は、命令実行システム、装置若しくはデバイスによって使用されるか、又はそれらに組み込まれて使用されるプログラムを、送信、伝搬又は伝送することができる。コンピュータ可読媒体に含まれるプログラムコードは任意の適切な媒体で伝送することができ、有線、光ケーブル、ＲＦ（無線周波数）など、又はこれらの任意の適切な組み合わせを含むが、これらに限定されない。
上記のコンピュータ可読媒体は、上記の電子機器に含まれるものであってもよく、独立に存在して該電子機器に組み込まれていないものであってもよい。前記コンピュータ可読媒体には１つ又は複数のプログラムが担持され、前記１つ又は複数のプログラムが該電子機器によって実行される場合に、車両が走行中に収集した、点群データ及び画像データを含む障害物データを取得するステップと、予め設定された時間閾値の取り得る範囲に基づいて、複数の時間閾値を決定するステップと、点群データにおける各点群フレーム及び画像データにおける各画像フレームに含まれる障害物をそれぞれ認識することと、各点群フレームにおける障害物と各画像フレームにおける障害物との類似度を確定することと、類似度が予め設定された類似度閾値よりも大きいことに応答して、類似する２つの障害物が存在する点群フレームと画像フレームとの時間間隔が該時間閾値よりも小さいか否かを判定することと、判定結果に基づいて認識された障害物を処理して障害物の数量を確定することとを含む処理ステップを、時間閾値ごとに実行するステップと、得られた複数の数量に応じて、目標時間閾値を確定して出力するステップと、を備える動作を該電子機器に実行させる。
１つ又は複数の種類のプログラミング言語又はそれらの組み合わせで、本開示の実施例の操作を実行するためのコンピュータプログラムコードを編集することができ、前記プログラミング言語には、オブジェクト向けのプログラミング言語、例えばＪａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋が含まれ、通常の手続き型プログラミング言語、例えば「Ｃ」言語又は類似しているプログラミング言語も含まれる。プログラムコードは、完全的にユーザコンピュータに実行されてもよく、部分的にユーザコンピュータに実行されてもよく、１つのスタンドアロンソフトウェアパッケージとして実行されてもよく、部分的にユーザコンピュータに実行され且つ部分的にリモートコンピュータに実行されてもよく、又は完全的にリモートコンピュータ又はサーバに実行されてもよい。リモートコンピュータに係る場合に、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）又はワイドエリアネットワーク（ＷＡＮ）を含む任意の種類のネットワークを介して、ユーザコンピュータ、又は、外部コンピュータに接続できる（例えば、インターネットサービスプロバイダによりインターネットを介して接続できる）。
図面におけるフローチャート及びブロック図は、本開示の各実施例に係るシステム、方法及びコンピュータプログラム製品により実現可能なアーキテクチャ、機能及び操作を示す。ここで、フローチャート又はブロック図における各ブロックは、モジュール、プログラムセグメント若しくはコードの一部を示してもよく、該モジュール、プログラムセグメント、又はコードの一部は、規定されたロジック機能を達成するための１つ以上の実行可能な命令を含む。なお、いくつかの代替実施態様において、ブロック内に示された機能は、図面に示された順番とは異なるもので実行されてもよい。例えば、連続して示された２つのブロックは、実際には関連する機能に応じて、ほぼ並行に実行されてもよく、逆の順番で実行されてもよい。なお、ブロック図及び／又はフローチャートにおける各ブロック、並びに、ブロック図及び／又はフローチャートにおけるブロックの組み合わせは、規定された機能若しくは操作を実行する、ハードウェアに基づく専用システムで実現されてもよく、又は専用ハードウェアとコンピュータ命令との組み合わせで実行されてもよい。
本開示の実施例に係るユニットは、ソフトウェアの形式で実現されてもよいし、ハードウェアの形式で実現されてもよい。記述されたユニットは、プロセッサに設けられてもよく、例えば、データ取得ユニット、閾値決定ユニット、データ処理ユニット及び目標確定ユニットを備えるプロセッサと記述されてもよい。ここで、これらのユニットの名称は、該ユニット自体を限定するものではなく、例えば、データ取得ユニットがさらに「車両が走行中に収集した障害物データを取得するユニット」と記述されてもよい。
以上の記載は、本開示の好ましい実施例、及び使用される技術的原理に関する説明に過ぎない。本開示の実施例に係る発明の範囲が、上記の技術的特徴の特定の組み合わせからなる技術案に限定されるものではなく、上記の発明趣旨を逸脱しない範囲で、上記の技術的特徴又はそれらの同等の特徴を任意に組み合わせてなる他の技術案も含まれるべきであることを、当業者に理解されたい。例えば、上記の特徴と、本開示の実施例に開示された類似の機能を持っている技術的特徴（これらに限定されていない）とを互いに置き換えてなる技術案が挙げられる。

Claims (14)

  1. 情報を出力するための方法であって、
    車両が走行中に収集した、点群データ及び画像データを含む障害物データを取得するステップと、
    予め設定された時間閾値の取り得る範囲に基づいて、複数の時間閾値を決定するステップと、
    前記点群データにおける各点群フレーム及び前記画像データにおける各画像フレームに含まれる障害物をそれぞれ認識することと、各点群フレームにおける障害物と各画像フレームにおける障害物との類似度を確定することと、前記類似度が予め設定された類似度閾値よりも大きいことに応答して、類似する２つの障害物に対応する点群フレームと画像フレームとの時間間隔が該時間閾値よりも小さいか否かを判定することと、判定結果に基づいて認識された障害物を処理して障害物の数量を確定することとを含む処理ステップを、時間閾値ごとに実行するステップと、
    得られた複数の数量に応じて、目標時間閾値を確定して出力するステップと、を含む情報を出力するための方法。
  2. 前記予め設定された時間閾値の取り得る範囲に基づいて、複数の時間閾値を決定するステップは、
    前記時間閾値の取り得る範囲から予め設定された時間間隔で複数の点を複数の時間閾値として選択すること、を含む請求項１に記載の方法。
  3. 前記判定結果に基づいて認識された障害物を処理して障害物の数量を確定するステップは、
    前記時間間隔が該時間閾値未満である場合に、類似する２つの障害物を同一障害物として関連付けることと、
    前記時間間隔が該時間閾値以上である場合に、類似する２つの障害物を同一障害物として関連付けないことと、を含む請求項１に記載の方法。
  4. 前記方法は、類似する２つの障害物が同一障害物として関連付けられたことに応答して、類似する２つの障害物に対応する点群フレーム及び画像フレームに基づいて、類似する２つの障害物を融合するステップ、をさらに含む請求項３に記載の方法。
  5. 前記得られた複数の数量に応じて、目標時間閾値を確定して出力するステップは、
    複数の数量及び数量ごとに対応する時間閾値に基づいて、数量−時間閾値の曲線を確定することと、
    各時間閾値における前記曲線の傾きを確定して、各傾きに基づいて目標時間閾値を確定することと、を含む請求項１に記載の方法。
  6. 前記各傾きに基づいて目標時間閾値を確定することは、
    各傾きの絶対値のうちの最大値を確定することと、
    前記最大値に対応する時間閾値を目標時間閾値とすることと、を含む請求項５に記載の方法。
  7. 情報を出力するための装置であって、
    車両が走行中に収集した、点群データ及び画像データを含む障害物データを取得するように構成されるデータ取得ユニットと、
    予め設定された時間閾値の取り得る範囲に基づいて、複数の時間閾値を決定するように構成される閾値決定ユニットと、
    前記点群データにおける各点群フレーム及び前記画像データにおける各画像フレームに含まれる障害物をそれぞれ認識することと、各点群フレームにおける障害物と各画像フレームにおける障害物との類似度を確定することと、前記類似度が予め設定された類似度閾値よりも大きいことに応答して、類似する２つの障害物が存在する点群フレームと画像フレームとの時間間隔が該時間閾値よりも小さいか否かを判定することと、判定結果に基づいて認識された障害物を処理して障害物の数量を確定することとを含む処理ステップを、時間閾値ごとに実行するように構成されるデータ処理ユニットと、
    得られた複数の数量に応じて、目標時間閾値を確定して出力するように構成される目標確定ユニットと、を備える情報を出力するための装置。
  8. 前記閾値決定ユニットは、さらに、
    前記時間閾値の取り得る範囲から予め設定された時間間隔で複数の点を複数の時間閾値として選択する、ように構成される請求項７に記載の装置。
  9. 前記データ処理ユニットは、さらに、
    前記時間間隔が該時間閾値未満である場合に、類似する２つの障害物を同一障害物として関連付けることと、
    前記時間間隔が該時間閾値以上である場合に、類似する２つの障害物を同一障害物として関連付けない、ように構成される請求項７に記載の装置。
  10. 前記装置は、
    類似する２つの障害物が同一障害物として関連付けられたことに応答して、類似する２つの障害物に対応する点群フレーム及び画像フレームに基づいて、類似する２つの障害物を融合する、ように構成されるデータ融合ユニット、をさらに備える請求項７に記載の装置。
  11. 前記目標確定ユニットは、さらに、
    複数の数量及び数量ごとに対応する時間閾値に基づいて、数量−時間閾値の曲線を確定し、
    各時間閾値における前記曲線の傾きを確定して、各傾きに基づいて目標時間閾値を確定する、ように構成される請求項７に記載の装置。
  12. 前記目標確定ユニットは、さらに、
    各傾きの絶対値のうちの最大値を確定し、
    前記最大値に対応する時間閾値を目標時間閾値とする、ように構成される請求項１１に記載の装置。
  13. １つ又は複数のプロセッサと、
    １つ又は複数のプログラムが格納されている記憶装置と、を含む電子機器であって、
    前記１つ又は複数のプログラムが前記１つ又は複数のプロセッサによって実行されると、前記１つ又は複数のプロセッサに請求項１〜６のいずれか一項に記載の方法が実現される電子機器。
  14. コンピュータプログラムが格納されているコンピュータ可読媒体であって、
    該プログラムがプロセッサによって実行されると、請求項１〜６のいずれか一項に記載の方法が実現されるコンピュータ可読媒体。
JP2020034868A 2019-09-24 2020-03-02 情報を出力するための方法及び装置 Active JP7201887B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910906113.0 2019-09-24
CN201910906113.0A CN112630799B (zh) 2019-09-24 2019-09-24 用于输出信息的方法和装置

Publications (2)

Publication Number Publication Date
JP2021051716A true JP2021051716A (ja) 2021-04-01
JP7201887B2 JP7201887B2 (ja) 2023-01-11

Family

ID=69960342

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020034868A Active JP7201887B2 (ja) 2019-09-24 2020-03-02 情報を出力するための方法及び装置

Country Status (4)

Country Link
US (1) US11328518B2 (ja)
EP (1) EP3798902A1 (ja)
JP (1) JP7201887B2 (ja)
CN (1) CN112630799B (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113060131B (zh) * 2021-04-16 2022-08-05 中国第一汽车股份有限公司 一种障碍物地图生成方法、装置、车辆及存储介质
CN113642616B (zh) * 2021-07-27 2023-10-31 北京三快在线科技有限公司 一种基于环境数据的训练样本的生成方法及装置
CN113744565B (zh) * 2021-09-06 2023-03-10 北京百度网讯科技有限公司 一种碰撞预警方法、装置、电子设备及自动驾驶车辆
CN114923523A (zh) * 2022-05-27 2022-08-19 中国第一汽车股份有限公司 感知数据的采集方法、装置、存储介质及电子装置
CN115546293B (zh) * 2022-12-02 2023-03-07 广汽埃安新能源汽车股份有限公司 障碍物信息融合方法、装置、电子设备和计算机可读介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109738904A (zh) * 2018-12-11 2019-05-10 北京百度网讯科技有限公司 一种障碍物检测的方法、装置、设备和计算机存储介质

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3357749B2 (ja) * 1994-07-12 2002-12-16 本田技研工業株式会社 車両の走行路画像処理装置
US20030065409A1 (en) * 2001-09-28 2003-04-03 Raeth Peter G. Adaptively detecting an event of interest
US8050863B2 (en) * 2006-03-16 2011-11-01 Gray & Company, Inc. Navigation and control system for autonomous vehicles
US20110190972A1 (en) * 2010-02-02 2011-08-04 Gm Global Technology Operations, Inc. Grid unlock
US8781721B2 (en) * 2012-06-06 2014-07-15 Google Inc. Obstacle evaluation technique
US8849494B1 (en) * 2013-03-15 2014-09-30 Google Inc. Data selection by an autonomous vehicle for trajectory modification
US10137890B2 (en) * 2016-06-28 2018-11-27 Toyota Motor Engineering & Manufacturing North America, Inc. Occluded obstacle classification for vehicles
CN107945198B (zh) * 2016-10-13 2021-02-23 北京百度网讯科技有限公司 用于标注点云数据的方法和装置
CN106707293B (zh) * 2016-12-01 2019-10-29 百度在线网络技术（北京）有限公司 用于车辆的障碍物识别方法和装置
CN106548630B (zh) * 2017-01-11 2019-09-06 青岛海信移动通信技术股份有限公司 一种驾驶行为的检测方法及装置
CN108629231B (zh) * 2017-03-16 2021-01-22 百度在线网络技术（北京）有限公司 障碍物检测方法、装置、设备及存储介质
CN109145680B (zh) * 2017-06-16 2022-05-27 阿波罗智能技术(北京)有限公司 一种获取障碍物信息的方法、装置、设备和计算机存储介质
CN109214248B (zh) * 2017-07-04 2022-04-29 阿波罗智能技术(北京)有限公司 用于识别无人驾驶车辆的激光点云数据的方法和装置
CN109285188B (zh) * 2017-07-21 2020-04-21 百度在线网络技术（北京）有限公司 用于生成目标物体的位置信息的方法和装置
CN109492507B (zh) * 2017-09-12 2022-09-23 阿波罗智能技术(北京)有限公司 红绿灯状态的识别方法及装置、计算机设备及可读介质
JP7018277B2 (ja) * 2017-09-14 2022-02-10 株式会社デンソー 物体検出装置、物体検出方法及び車両制御システム
JP7045155B2 (ja) * 2017-09-14 2022-03-31 株式会社デンソー 物標認識装置、物標認識方法及び車両制御システム
CN109509210B (zh) * 2017-09-15 2020-11-24 百度在线网络技术（北京）有限公司 障碍物跟踪方法和装置
US20190145765A1 (en) * 2017-11-15 2019-05-16 Uber Technologies, Inc. Three Dimensional Object Detection
CN109840448A (zh) * 2017-11-24 2019-06-04 百度在线网络技术（北京）有限公司 用于无人驾驶车辆的信息输出方法和装置
US10671862B2 (en) * 2018-01-30 2020-06-02 Wipro Limited Method and system for detecting obstacles by autonomous vehicles in real-time
US11244242B2 (en) * 2018-09-07 2022-02-08 Intel Corporation Technologies for distributing gradient descent computation in a heterogeneous multi-access edge computing (MEC) networks
CN109633688B (zh) * 2018-12-14 2019-12-24 北京百度网讯科技有限公司 一种激光雷达障碍物识别方法和装置
CN111380526B (zh) * 2018-12-27 2022-04-05 北京航迹科技有限公司 一种路径确定的系统和方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109738904A (zh) * 2018-12-11 2019-05-10 北京百度网讯科技有限公司 一种障碍物检测的方法、装置、设备和计算机存储介质

Also Published As

Publication number Publication date
EP3798902A1 (en) 2021-03-31
CN112630799B (zh) 2022-11-29
US11328518B2 (en) 2022-05-10
CN112630799A (zh) 2021-04-09
US20210089792A1 (en) 2021-03-25
JP7201887B2 (ja) 2023-01-11

Similar Documents

Publication Publication Date Title
JP2021051716A (ja) 情報を出力するための方法及び装置
KR102189262B1 (ko) 엣지 컴퓨팅을 이용한 교통 정보 수집 장치 및 방법
CN110278383A (zh) 聚焦方法、装置以及电子设备、存储介质
US10795357B2 (en) Method and device for controlling vehicle and autonomous driving vehicle
CN109871385B (zh) 用于处理数据的方法和装置
CN113569825B (zh) 视频监控方法、装置、电子设备和计算机可读介质
CN111251307B (zh) 应用于机器人的语音采集方法和装置、一种机器人
CN110119725B (zh) 用于检测信号灯的方法及装置
KR20190043396A (ko) 도로 경로 촬영 영상을 이용한 도로 경로 별 날씨정보 생성 및 제공하기 위한 방법 및 시스템
CN112622923A (zh) 用于控制车辆的方法和装置
CN113992860A (zh) 基于云边协同的行为识别方法、装置、电子设备和介质
JP6894992B2 (ja) 情報を処理するための方法及び装置
CN111340880B (zh) 用于生成预测模型的方法和装置
US11619515B2 (en) Method and apparatus for processing positioning data, device, storage medium and vehicle
CN112558036A (zh) 用于输出信息的方法和装置
CN112634487B (zh) 用于输出信息的方法和装置
CN110588666B (zh) 用于控制车辆行驶的方法及装置
CN112560548B (zh) 用于输出信息的方法和装置
CN115577318B (zh) 基于半实物的数据融合评估方法、系统、设备及储存介质
CN110362086B (zh) 用于控制自动驾驶车辆的方法和装置
CN115848358B (zh) 车辆泊车方法、装置、电子设备和计算机可读介质
WO2023207360A1 (zh) 图像分割方法、装置、电子设备及存储介质
EP4357872A1 (en) Information-generating method, information-generating device, and program
CN114889628A (zh) 基于操控意图的车辆控制方法、装置及相关设备
CN115661781A (zh) 目标类别检测方法、装置、设备、存储介质及车辆

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200325

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200325

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210601

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210831

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20211029

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220630

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220915

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221108

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20221115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221129

R150 Certificate of patent or registration of utility model

Ref document number: 7201887

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20221228