JP2021051716A - 情報を出力するための方法及び装置 - Google Patents
情報を出力するための方法及び装置 Download PDFInfo
- Publication number
- JP2021051716A JP2021051716A JP2020034868A JP2020034868A JP2021051716A JP 2021051716 A JP2021051716 A JP 2021051716A JP 2020034868 A JP2020034868 A JP 2020034868A JP 2020034868 A JP2020034868 A JP 2020034868A JP 2021051716 A JP2021051716 A JP 2021051716A
- Authority
- JP
- Japan
- Prior art keywords
- time threshold
- obstacles
- obstacle
- threshold value
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000012545 processing Methods 0.000 claims abstract description 39
- 230000004044 response Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 10
- 230000004927 fusion Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
- G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
- G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Image Analysis (AREA)
Abstract
Description
Claims (14)
- 情報を出力するための方法であって、
車両が走行中に収集した、点群データ及び画像データを含む障害物データを取得するステップと、
予め設定された時間閾値の取り得る範囲に基づいて、複数の時間閾値を決定するステップと、
前記点群データにおける各点群フレーム及び前記画像データにおける各画像フレームに含まれる障害物をそれぞれ認識することと、各点群フレームにおける障害物と各画像フレームにおける障害物との類似度を確定することと、前記類似度が予め設定された類似度閾値よりも大きいことに応答して、類似する2つの障害物に対応する点群フレームと画像フレームとの時間間隔が該時間閾値よりも小さいか否かを判定することと、判定結果に基づいて認識された障害物を処理して障害物の数量を確定することとを含む処理ステップを、時間閾値ごとに実行するステップと、
得られた複数の数量に応じて、目標時間閾値を確定して出力するステップと、を含む情報を出力するための方法。 - 前記予め設定された時間閾値の取り得る範囲に基づいて、複数の時間閾値を決定するステップは、
前記時間閾値の取り得る範囲から予め設定された時間間隔で複数の点を複数の時間閾値として選択すること、を含む請求項1に記載の方法。 - 前記判定結果に基づいて認識された障害物を処理して障害物の数量を確定するステップは、
前記時間間隔が該時間閾値未満である場合に、類似する2つの障害物を同一障害物として関連付けることと、
前記時間間隔が該時間閾値以上である場合に、類似する2つの障害物を同一障害物として関連付けないことと、を含む請求項1に記載の方法。 - 前記方法は、類似する2つの障害物が同一障害物として関連付けられたことに応答して、類似する2つの障害物に対応する点群フレーム及び画像フレームに基づいて、類似する2つの障害物を融合するステップ、をさらに含む請求項3に記載の方法。
- 前記得られた複数の数量に応じて、目標時間閾値を確定して出力するステップは、
複数の数量及び数量ごとに対応する時間閾値に基づいて、数量−時間閾値の曲線を確定することと、
各時間閾値における前記曲線の傾きを確定して、各傾きに基づいて目標時間閾値を確定することと、を含む請求項1に記載の方法。 - 前記各傾きに基づいて目標時間閾値を確定することは、
各傾きの絶対値のうちの最大値を確定することと、
前記最大値に対応する時間閾値を目標時間閾値とすることと、を含む請求項5に記載の方法。 - 情報を出力するための装置であって、
車両が走行中に収集した、点群データ及び画像データを含む障害物データを取得するように構成されるデータ取得ユニットと、
予め設定された時間閾値の取り得る範囲に基づいて、複数の時間閾値を決定するように構成される閾値決定ユニットと、
前記点群データにおける各点群フレーム及び前記画像データにおける各画像フレームに含まれる障害物をそれぞれ認識することと、各点群フレームにおける障害物と各画像フレームにおける障害物との類似度を確定することと、前記類似度が予め設定された類似度閾値よりも大きいことに応答して、類似する2つの障害物が存在する点群フレームと画像フレームとの時間間隔が該時間閾値よりも小さいか否かを判定することと、判定結果に基づいて認識された障害物を処理して障害物の数量を確定することとを含む処理ステップを、時間閾値ごとに実行するように構成されるデータ処理ユニットと、
得られた複数の数量に応じて、目標時間閾値を確定して出力するように構成される目標確定ユニットと、を備える情報を出力するための装置。 - 前記閾値決定ユニットは、さらに、
前記時間閾値の取り得る範囲から予め設定された時間間隔で複数の点を複数の時間閾値として選択する、ように構成される請求項7に記載の装置。 - 前記データ処理ユニットは、さらに、
前記時間間隔が該時間閾値未満である場合に、類似する2つの障害物を同一障害物として関連付けることと、
前記時間間隔が該時間閾値以上である場合に、類似する2つの障害物を同一障害物として関連付けない、ように構成される請求項7に記載の装置。 - 前記装置は、
類似する2つの障害物が同一障害物として関連付けられたことに応答して、類似する2つの障害物に対応する点群フレーム及び画像フレームに基づいて、類似する2つの障害物を融合する、ように構成されるデータ融合ユニット、をさらに備える請求項7に記載の装置。 - 前記目標確定ユニットは、さらに、
複数の数量及び数量ごとに対応する時間閾値に基づいて、数量−時間閾値の曲線を確定し、
各時間閾値における前記曲線の傾きを確定して、各傾きに基づいて目標時間閾値を確定する、ように構成される請求項7に記載の装置。 - 前記目標確定ユニットは、さらに、
各傾きの絶対値のうちの最大値を確定し、
前記最大値に対応する時間閾値を目標時間閾値とする、ように構成される請求項11に記載の装置。 - 1つ又は複数のプロセッサと、
1つ又は複数のプログラムが格納されている記憶装置と、を含む電子機器であって、
前記1つ又は複数のプログラムが前記1つ又は複数のプロセッサによって実行されると、前記1つ又は複数のプロセッサに請求項1〜6のいずれか一項に記載の方法が実現される電子機器。 - コンピュータプログラムが格納されているコンピュータ可読媒体であって、
該プログラムがプロセッサによって実行されると、請求項1〜6のいずれか一項に記載の方法が実現されるコンピュータ可読媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910906113.0 | 2019-09-24 | ||
CN201910906113.0A CN112630799B (zh) | 2019-09-24 | 2019-09-24 | 用于输出信息的方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021051716A true JP2021051716A (ja) | 2021-04-01 |
JP7201887B2 JP7201887B2 (ja) | 2023-01-11 |
Family
ID=69960342
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020034868A Active JP7201887B2 (ja) | 2019-09-24 | 2020-03-02 | 情報を出力するための方法及び装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11328518B2 (ja) |
EP (1) | EP3798902A1 (ja) |
JP (1) | JP7201887B2 (ja) |
CN (1) | CN112630799B (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113060131B (zh) * | 2021-04-16 | 2022-08-05 | 中国第一汽车股份有限公司 | 一种障碍物地图生成方法、装置、车辆及存储介质 |
CN113642616B (zh) * | 2021-07-27 | 2023-10-31 | 北京三快在线科技有限公司 | 一种基于环境数据的训练样本的生成方法及装置 |
CN113744565B (zh) * | 2021-09-06 | 2023-03-10 | 北京百度网讯科技有限公司 | 一种碰撞预警方法、装置、电子设备及自动驾驶车辆 |
CN114923523A (zh) * | 2022-05-27 | 2022-08-19 | 中国第一汽车股份有限公司 | 感知数据的采集方法、装置、存储介质及电子装置 |
CN115546293B (zh) * | 2022-12-02 | 2023-03-07 | 广汽埃安新能源汽车股份有限公司 | 障碍物信息融合方法、装置、电子设备和计算机可读介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109738904A (zh) * | 2018-12-11 | 2019-05-10 | 北京百度网讯科技有限公司 | 一种障碍物检测的方法、装置、设备和计算机存储介质 |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3357749B2 (ja) * | 1994-07-12 | 2002-12-16 | 本田技研工業株式会社 | 車両の走行路画像処理装置 |
US20030065409A1 (en) * | 2001-09-28 | 2003-04-03 | Raeth Peter G. | Adaptively detecting an event of interest |
US8050863B2 (en) * | 2006-03-16 | 2011-11-01 | Gray & Company, Inc. | Navigation and control system for autonomous vehicles |
US20110190972A1 (en) * | 2010-02-02 | 2011-08-04 | Gm Global Technology Operations, Inc. | Grid unlock |
US8781721B2 (en) * | 2012-06-06 | 2014-07-15 | Google Inc. | Obstacle evaluation technique |
US8849494B1 (en) * | 2013-03-15 | 2014-09-30 | Google Inc. | Data selection by an autonomous vehicle for trajectory modification |
US10137890B2 (en) * | 2016-06-28 | 2018-11-27 | Toyota Motor Engineering & Manufacturing North America, Inc. | Occluded obstacle classification for vehicles |
CN107945198B (zh) * | 2016-10-13 | 2021-02-23 | 北京百度网讯科技有限公司 | 用于标注点云数据的方法和装置 |
CN106707293B (zh) * | 2016-12-01 | 2019-10-29 | 百度在线网络技术(北京)有限公司 | 用于车辆的障碍物识别方法和装置 |
CN106548630B (zh) * | 2017-01-11 | 2019-09-06 | 青岛海信移动通信技术股份有限公司 | 一种驾驶行为的检测方法及装置 |
CN108629231B (zh) * | 2017-03-16 | 2021-01-22 | 百度在线网络技术(北京)有限公司 | 障碍物检测方法、装置、设备及存储介质 |
CN109145680B (zh) * | 2017-06-16 | 2022-05-27 | 阿波罗智能技术(北京)有限公司 | 一种获取障碍物信息的方法、装置、设备和计算机存储介质 |
CN109214248B (zh) * | 2017-07-04 | 2022-04-29 | 阿波罗智能技术(北京)有限公司 | 用于识别无人驾驶车辆的激光点云数据的方法和装置 |
CN109285188B (zh) * | 2017-07-21 | 2020-04-21 | 百度在线网络技术(北京)有限公司 | 用于生成目标物体的位置信息的方法和装置 |
CN109492507B (zh) * | 2017-09-12 | 2022-09-23 | 阿波罗智能技术(北京)有限公司 | 红绿灯状态的识别方法及装置、计算机设备及可读介质 |
JP7045155B2 (ja) * | 2017-09-14 | 2022-03-31 | 株式会社デンソー | 物標認識装置、物標認識方法及び車両制御システム |
JP7018277B2 (ja) * | 2017-09-14 | 2022-02-10 | 株式会社デンソー | 物体検出装置、物体検出方法及び車両制御システム |
CN109509210B (zh) * | 2017-09-15 | 2020-11-24 | 百度在线网络技术(北京)有限公司 | 障碍物跟踪方法和装置 |
US20190145765A1 (en) * | 2017-11-15 | 2019-05-16 | Uber Technologies, Inc. | Three Dimensional Object Detection |
CN109840448A (zh) * | 2017-11-24 | 2019-06-04 | 百度在线网络技术(北京)有限公司 | 用于无人驾驶车辆的信息输出方法和装置 |
US10671862B2 (en) * | 2018-01-30 | 2020-06-02 | Wipro Limited | Method and system for detecting obstacles by autonomous vehicles in real-time |
US11244242B2 (en) * | 2018-09-07 | 2022-02-08 | Intel Corporation | Technologies for distributing gradient descent computation in a heterogeneous multi-access edge computing (MEC) networks |
CN109633688B (zh) * | 2018-12-14 | 2019-12-24 | 北京百度网讯科技有限公司 | 一种激光雷达障碍物识别方法和装置 |
CN111380526B (zh) * | 2018-12-27 | 2022-04-05 | 北京航迹科技有限公司 | 一种路径确定的系统和方法 |
-
2019
- 2019-09-24 CN CN201910906113.0A patent/CN112630799B/zh active Active
-
2020
- 2020-03-02 JP JP2020034868A patent/JP7201887B2/ja active Active
- 2020-03-24 EP EP20165120.5A patent/EP3798902A1/en not_active Ceased
- 2020-06-25 US US16/912,352 patent/US11328518B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109738904A (zh) * | 2018-12-11 | 2019-05-10 | 北京百度网讯科技有限公司 | 一种障碍物检测的方法、装置、设备和计算机存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112630799B (zh) | 2022-11-29 |
CN112630799A (zh) | 2021-04-09 |
US11328518B2 (en) | 2022-05-10 |
JP7201887B2 (ja) | 2023-01-11 |
EP3798902A1 (en) | 2021-03-31 |
US20210089792A1 (en) | 2021-03-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2021051716A (ja) | 情報を出力するための方法及び装置 | |
KR102189262B1 (ko) | 엣지 컴퓨팅을 이용한 교통 정보 수집 장치 및 방법 | |
CN110278383B (zh) | 聚焦方法、装置以及电子设备、存储介质 | |
US10795357B2 (en) | Method and device for controlling vehicle and autonomous driving vehicle | |
CN113569825B (zh) | 视频监控方法、装置、电子设备和计算机可读介质 | |
CN109871385B (zh) | 用于处理数据的方法和装置 | |
CN111251307B (zh) | 应用于机器人的语音采集方法和装置、一种机器人 | |
CN110119725B (zh) | 用于检测信号灯的方法及装置 | |
KR20190043396A (ko) | 도로 경로 촬영 영상을 이용한 도로 경로 별 날씨정보 생성 및 제공하기 위한 방법 및 시스템 | |
CN115339453B (zh) | 车辆换道决策信息生成方法、装置、设备和计算机介质 | |
CN112622923B (zh) | 用于控制车辆的方法和装置 | |
CN113992860A (zh) | 基于云边协同的行为识别方法、装置、电子设备和介质 | |
CN114199268A (zh) | 基于语音提示的机器人导航领路方法、装置和引领机器人 | |
CN111340880B (zh) | 用于生成预测模型的方法和装置 | |
CN112558036B (zh) | 用于输出信息的方法和装置 | |
US11619515B2 (en) | Method and apparatus for processing positioning data, device, storage medium and vehicle | |
JP6894992B2 (ja) | 情報を処理するための方法及び装置 | |
CN112634487B (zh) | 用于输出信息的方法和装置 | |
CN112560548B (zh) | 用于输出信息的方法和装置 | |
CN115577318B (zh) | 基于半实物的数据融合评估方法、系统、设备及储存介质 | |
CN110362086B (zh) | 用于控制自动驾驶车辆的方法和装置 | |
CN115848358B (zh) | 车辆泊车方法、装置、电子设备和计算机可读介质 | |
CN112904366B (zh) | 应用于扫地机的重定位方法、装置、电子设备和介质 | |
WO2023207360A1 (zh) | 图像分割方法、装置、电子设备及存储介质 | |
EP4357872A1 (en) | Information-generating method, information-generating device, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200325 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200325 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210601 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210831 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20211029 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220630 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220915 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221108 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20221115 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221129 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7201887 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20221228 |