CN107816976A - 一种接近物体的位置确定方法和装置 - Google Patents

一种接近物体的位置确定方法和装置 Download PDF

Info

Publication number
CN107816976A
CN107816976A CN201711020454.5A CN201711020454A CN107816976A CN 107816976 A CN107816976 A CN 107816976A CN 201711020454 A CN201711020454 A CN 201711020454A CN 107816976 A CN107816976 A CN 107816976A
Authority
CN
China
Prior art keywords
close
determined
automatic driving
driving vehicle
cloud data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711020454.5A
Other languages
English (en)
Other versions
CN107816976B (zh
Inventor
李晨旸
侯晓迪
刘思远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tucson Ltd
Beijing Tusen Weilai Technology Co Ltd
Original Assignee
Beijing Tusimple Future Technology Co Ltd
Tusimple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tusimple Future Technology Co Ltd, Tusimple Inc filed Critical Beijing Tusimple Future Technology Co Ltd
Publication of CN107816976A publication Critical patent/CN107816976A/zh
Application granted granted Critical
Publication of CN107816976B publication Critical patent/CN107816976B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种接近物体的位置确定方法和装置，以解决现有技术中无法准确的确定得到自动驾驶车辆的接近物体以及接近物体的位置的问题。包括：自动驾驶车辆的控制装置在当前处理周期中接收来自摄像头的图像数据和来自距离测量装置的点云数据，其中摄像头和距离测量装置搭载在自动驾驶车辆上；确定图像数据中接近自动驾驶车辆的物体以及接近的物体的二维位置；确定点云数据中接近自动驾驶车辆的物体以及接近的物体与自动驾驶车辆之间的距离；根据从图像数据中接近的物体以及接近的物体的二维位置、和点云数据中接近的物体以及接近的物体与自动驾驶车辆之间的距离，确定实际接近物体；根据点云数据确定当前处理周期中实际接近物体的三维位置。

Description

一种接近物体的位置确定方法和装置
技术领域
本发明涉及自动驾驶领域，特别地，涉及一种接近物体的位置确定方法和装置。
背景技术
在现有的自动驾驶技术领域中，通常会对接近自动驾驶车辆的物体进行识别。识别的方法主要有两种，一种是通过搭载在自动驾驶车辆上的摄像头采集到的视频图像数据进行识别，一种是通过搭载在自动驾驶车辆上的测距装置采集到的距离数据进行识别。进一步还会确定识别到的物体的位置。
但是在现有技术中都无法通过这两种方法识别确定得到准确的物体和物体位置。
发明内容
鉴于上述问题，提供了一种接近物体的位置确定方法和装置，以解决现有技术中无法准确的识别确定得到自动驾驶车辆的接近物体以及接近物体的位置的问题。
根据本申请的一个方面，一些实施例中提供了一种接近物体的位置确定方法，包括：
自动驾驶车辆的控制装置在当前处理周期中接收来自摄像头的图像数据和来自距离测量装置的点云数据，其中摄像头和距离测量装置搭载在自动驾驶车辆上；
确定图像数据中接近自动驾驶车辆的物体以及接近的物体的二维位置；
确定点云数据中接近自动驾驶车辆的物体以及接近的物体与自动驾驶车辆之间的距离；
根据从图像数据中接近的物体以及接近的物体的二维位置、和点云数据中接近的物体以及接近的物体与自动驾驶车辆之间的距离，确定实际接近物体；
根据点云数据确定当前处理周期中实际接近物体的三维位置。
在本申请的一些实施例中，确定图像数据中接近自动驾驶车辆的物体以及接近的物体的二维位置，包括：在图像数据中识别出物体，将识别出来的物体确定为接近自动驾驶车辆的物体；并确定接近的物体的二维位置。
在本申请的一些实施例中，确定点云数据中接近自动驾驶车辆的物体以及接近的物体与自动驾驶车辆之间的距离，包括：从点云数据中识别出至少一个物体；根据至少一个物体在点云数据中的三维位置和自动驾驶车辆的三维位置，确定至少一个物体与自动驾驶车辆的距离；将距离小于预定距离所对应的物体确定为接近的物体；保存接近的物体与自动驾驶车辆之间的距离。
在本申请的一些实施例中，确定的实际接近物体，包括：根据点云数据中接近的物体的位置、以及接近的物体与自动驾驶车辆之间的距离，确定该接近的物体在图像上的位置；根据点云数据中接近的物体在图像上的位置，将点云数据中接近的物体与图像数据中相同位置上的接近的物体进行对比，确定点云数据中接近的物体与图像数据中的接近的物体是同一物体的概率；在所确定的概率大于预定概率的情况下，确定点云数据中的接近的物体与图像数据中的接近的物体是同一物体，并确定该同一物体为实际接近物体。
在本申请的一些实施例中，确定点云数据中接近的物体与图像数据中的接近的物体是同一物体的概率，包括：将点云数据中接近的物体对应的点云投射到图像数据中相同位置上接近的物体上，确定点云落在图像数据中相同位置上接近的物体的边界框内的概率。
在本申请的一些实施例中，根据点云数据确定当前处理周期中实际接近物体的三维位置，包括：将实际接近物体对应的点云的位置确定为实际接近物体的三维位置。
在本申请的一些实施例中，所述方法还包括：根据当前处理周期和相邻的上一个处理周期中分别确定的实际接近物体，确定实际接近物体的速度。
在本申请的一些实施例中，确定实际接近物体的速度，包括：将当前处理周期中实际接近物体对应的点云和相邻的上一个处理周期中实际接近物体对应的点云进行匹配，确定两个点云之间的位移；根据确定的位移和相邻两个处理周期的时间差确定实际接近物体的速度。
在本申请的一些实施例中，方法还包括：确定两个点云之间的位移方向，根据位移方向和实际接近物体的速度确定实际接近物体的速度矢量。
在本申请的一些实施例中，方法还包括：对多个处理周期中确定的实际接近物体建立关联关系；在当前处理周期相邻的上一个处理周期缺乏图像数据和/或点云数据的情况下，根据所建立的实际接近物体的关联关系，确定在当前处理周期之前最近的处理周期中确定的实际接近物体；根据该最近的处理周期中确定的实际接近物体和当前处理周期中确定的实际接近物体，确定实际接近物体的速度。
根据本申请的另一个方面，还提供了一种接近物体的位置确定装置，包括：
接收模块，用于在当前处理周期中接收来自摄像头的图像数据和来自距离测量装置的点云数据，其中摄像头和距离测量装置搭载在自动驾驶车辆上；
第一确定模块，用于确定图像数据中接近自动驾驶车辆的物体以及接近的物体的二维位置；
第二确定模块，用于确定点云数据中接近自动驾驶车辆的物体以及接近的物体与自动驾驶车辆之间的距离；
物体确定模块，用于根据从图像数据中接近的物体以及接近的物体的二维位置、和点云数据中接近的物体以及接近的物体与自动驾驶车辆之间的距离，确定的实际接近物体；
位置确定模块，根据点云数据确定当前处理周期中实际接近物体的三维位置。
在本申请的一些实施例中，第一确定模块具体用于：在图像数据中识别出物体，将识别出来的物体确定为接近自动驾驶车辆的物体；并确定接近的物体的二维位置。
在本申请的一些实施例中，第二确定模块具体用于：从点云数据中识别出至少一个物体；根据至少一个物体在点云数据中的三维位置和自动驾驶车辆的三维位置，确定至少一个物体与自动驾驶车辆的距离；将距离小于预定距离所对应的物体确定为接近的物体；保存接近的物体与自动驾驶车辆之间的距离。
在本申请的一些实施例中，物体确定模块具体用于：根据点云数据中接近的物体的位置、以及接近的物体与自动驾驶车辆之间的距离，确定该接近的物体在图像上的位置；根据点云数据中接近的物体在图像上的位置，将点云数据中接近的物体与图像数据中相同位置上的接近的物体进行对比，确定点云数据中接近的物体与图像数据中的接近的物体是同一物体的概率；在所确定的概率大于预定概率的情况下，确定点云数据中的接近的物体与图像数据中的接近的物体是同一物体，并确定该同一物体为实际接近物体。
在本申请的一些实施例中，物体确定模块确定点云数据中接近的物体与图像数据中的接近的物体是同一物体的概率，包括：将点云数据中接近的物体对应的点云投射到图像数据中相同位置上接近的物体上，确定点云落在图像数据中相同位置上接近的物体的边界框内的概率。
在本申请的一些实施例中，位置确定模块具体用于：将实际接近物体对应的点云的位置确定为实际接近物体的三维位置。
在本申请的一些实施例中，装置还包括：速度确定模块，用于根据当前处理周期和相邻的上一个处理周期中分别确定的实际接近物体，确定实际接近物体的速度。
在本申请的一些实施例中，速度确定模块具体用于：将当前处理周期中实际接近物体对应的点云和相邻的上一个处理周期中实际接近物体对应的点云进行匹配，确定两个点云之间的位移；根据确定的位移和相邻两个处理周期的时间差确定实际接近物体的速度。
在本申请的一些实施例中，速度确定模块还用于：确定两个点云之间的位移方向，根据位移方向和实际接近物体的速度确定实际接近物体的速度矢量。
在本申请的一些实施例中，速度确定模块还用于：对多个处理周期中确定的实际接近物体建立关联关系；在当前处理周期相邻的上一个处理周期缺乏图像数据和/或点云数据的情况下，根据所建立的实际接近物体的关联关系，确定在当前处理周期之前最近的处理周期中确定的实际接近物体；根据该最近的处理周期中确定的实际接近物体和当前处理周期中确定的实际接近物体，确定实际接近物体的速度。
根据本申请的另一个方面，还提供了一种接近物体的位置确定装置，包括：一个处理器和至少一个存储器，所述至少一个存储器中存储有至少一条机器可执行指令，所述处理器执行所述至少一条指令，以实现：
在当前处理周期中接收来自摄像头的图像数据和来自距离测量装置的点云数据，其中摄像头和距离测量装置搭载在自动驾驶车辆上；
确定图像数据中接近自动驾驶车辆的物体以及接近的物体的二维位置；
确定点云数据中接近自动驾驶车辆的物体以及接近的物体与自动驾驶车辆之间的距离；
根据从图像数据中接近的物体以及接近的物体的二维位置、和点云数据中接近的物体以及接近的物体与自动驾驶车辆之间的距离，确定实际接近物体；
根据点云数据确定当前处理周期中实际接近物体的三维位置。
在本申请的一些实施例中，所述处理器执行所述至少一条指令实现确定图像数据中接近自动驾驶车辆的物体以及接近的物体的二维位置，包括：在图像数据中识别出物体，将识别出来的物体确定为接近自动驾驶车辆的物体；并确定接近的物体的二维位置。
在本申请的一些实施例中，所述处理器执行所述至少一条指令实现确定点云数据中接近自动驾驶车辆的物体以及接近的物体与自动驾驶车辆之间的距离，包括：从点云数据中识别出至少一个物体；根据至少一个物体在点云数据中的三维位置和自动驾驶车辆的三维位置，确定至少一个物体与自动驾驶车辆的距离；将距离小于预定距离所对应的物体确定为接近的物体；保存接近的物体与自动驾驶车辆之间的距离。
在本申请的一些实施例中，所述处理器执行所述至少一条指令实现确定的实际接近物体，包括：根据点云数据中接近的物体的位置、以及接近的物体与自动驾驶车辆之间的距离，确定该接近的物体在图像上的位置；根据点云数据中接近的物体在图像上的位置，将点云数据中接近的物体与图像数据中相同位置上的接近的物体进行对比，确定点云数据中接近的物体与图像数据中的接近的物体是同一物体的概率；在所确定的概率大于预定概率的情况下，确定点云数据中的接近的物体与图像数据中的接近的物体是同一物体，并确定该同一物体为实际接近物体。
在本申请的一些实施例中，所述处理器执行所述至少一条指令实现确定点云数据中接近的物体与图像数据中的接近的物体是同一物体的概率，包括：将点云数据中接近的物体对应的点云投射到图像数据中相同位置上接近的物体上，确定点云落在图像数据中相同位置上接近的物体的边界框内的概率。
在本申请的一些实施例中，所述处理器执行所述至少一条指令实现根据点云数据确定当前处理周期中实际接近物体的三维位置，包括：将实际接近物体对应的点云的位置确定为实际接近物体的三维位置。
在本申请的一些实施例中，所述处理器执行所述至少一条指令还实现：根据当前处理周期和相邻的上一个处理周期中分别确定的实际接近物体，确定实际接近物体的速度。
在本申请的一些实施例中，所述处理器执行所述至少一条指令实现确定实际接近物体的速度，包括：将当前处理周期中实际接近物体对应的点云和相邻的上一个处理周期中实际接近物体对应的点云进行匹配，确定两个点云之间的位移；根据确定的位移和相邻两个处理周期的时间差确定实际接近物体的速度。
在本申请的一些实施例中，所述处理器执行所述至少一条指令还实现：确定两个点云之间的位移方向，根据位移方向和实际接近物体的速度确定实际接近物体的速度矢量。
在本申请的一些实施例中，所述处理器执行所述至少一条指令还实现：对多个处理周期中确定的实际接近物体建立关联关系；在当前处理周期相邻的上一个处理周期缺乏图像数据和/或点云数据的情况下，根据所建立的实际接近物体的关联关系，确定在当前处理周期之前最近的处理周期中确定的实际接近物体；根据该最近的处理周期中确定的实际接近物体和当前处理周期中确定的实际接近物体，确定实际接近物体的速度。
根据本申请实施例提供的接近物体的位置确定方法和装置，通过结合使用摄像头获取的图像数据和测距装置获取的点云数据，综合从图像数据中识别出的物体以及从测距数据(即点云数据)中识别的物体，确定得到实际接近物体，能够准确地确定得到自动驾驶车辆周围的实际接近物体，并根据点云数据确定得到实际接近物体的三维位置，从而能够解决相关技术中无法通过图像数据或者距离数据来确定得到准确的接近物体以及接近物体的位置的问题。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
图1a为本申请多个实施例中的一种接近物体的位置确定方法的处理流程图；
图1b为图1a中步骤102的处理流程图；
图1c为图1a中步骤103的处理流程图；
图1d为图1a中步骤104的处理流程图；
图2a为本申请多个实施例中的接近物体的位置确定方法的处理流程图；
图2b为本申请多个实施例中的接近物体的位置确定方法的另一个处理流程图；
图3a为本申请多个实施例中的接近物体的位置确定装置的应用环境示意图；
图3b为本申请多个实施例中的接近物体的位置确定装置的结构框图；
图3c为本申请多个实施例中的接近物体的位置确定装置的另一个结构框图；
图4为本申请多个实施例中的接近物体的位置确定装置的另一个结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
在相关技术中，使用摄像头获取到的图像数据来识别接近自动驾驶车辆的物体，能够准确的识别出物体，但是无法计算确定物体准确的位置信息，会存在定位不准确的问题。通过测距装置获取的测距数据，通常能够确定得到准确的位置信息，但是无法准确的识别物体。从而在相关技术中，均无法通过图像数据或者距离数据来确定得到准确的接近物体以及接近物体的位置。
针对相关技术中的上述问题，本申请提出了一种接近物体的位置确定方法和装置，在该方法中，通过结合使用图像数据和测距数据可以准确地识别出物体，并且准确地确定得到物体的位置。具体地，在当前处理周期中，确定图像数据中接近自动驾驶车辆的物体以及接近的物体的二维位置，确定点云数据中接近自动驾驶车辆的物体以及接近的物体与自动驾驶车辆之间的距离，根据从图像数据中接近的物体以及接近的物体的二维位置、和点云数据中接近的物体以及接近的物体与自动驾驶车辆之间的距离，确定实际接近物体和实际接近物体的三维位置。从而，本申请提供的方法能够准确地识别出自动驾驶车辆的接近物体，以及确定得到解决物体的准确位置，能够解决相关技术中无法通过图像数据或者距离数据来确定得到准确的接近物体以及接近物体的位置的问题。
下面对本申请的技术方案进行说明。
图1a示出了本申请多个实施例中的一种接近物体的位置确定方法的处理流程，如图1a所示，该处理流程包括：
步骤11，自动驾驶车辆的控制装置在当前处理周期中接收来自摄像头的图像数据和来自距离测量装置的点云数据，其中摄像头和距离测量装置搭载在自动驾驶车辆上。
其中处理周期可以是一个预定的时间周期，例如50毫秒，该时间周期可以根据具体应用的需要而具体设置。
步骤12，确定图像数据中接近自动驾驶车辆的物体以及接近的物体的二维位置。
其中，物体可以是接近自动驾驶车辆的车辆、行人以及其它多种物体。
在一些实施例中，如图1b所示，可以通过如下步骤进行确定：
步骤1201，在图像数据中识别出物体，将识别出来的物体确定为接近自动驾驶车辆的物体；
步骤1202，确定接近的物体的二维位置。
步骤13，确定点云数据中接近自动驾驶车辆的物体以及接近的物体与自动驾驶车辆之间的距离。
在一些实施例中，如图1c所示，可以通过如下步骤进行确定：
步骤1301，从点云数据中识别出至少一个物体；可以通过多种方法从点云数据中识别接近的物体，本申请对此不进行限制。
步骤1302，根据至少一个物体的在点云数据中的三维位置和自动驾驶车辆的三维位置，确定至少一个物体与自动驾驶车辆的距离；
步骤1303，将距离小于预定距离所对应的物体确定为接近的物体；
步骤1304，保存接近的物体与自动驾驶车辆之间的距离。
步骤14，根据从图像数据中接近的物体以及接近的物体的二维位置、和点云数据中接近的物体以及接近的物体与自动驾驶车辆之间的距离，确定实际接近物体。
也即，根据物体的位置，将图像数据中接近的物体与点云数据中接近的物体进行匹配，判断匹配的概率，在匹配概率超过预定概率的情况下，认为这两个物体是同一个物体，也即实际接近物体；
在一些实施例中，如图1d所示，可以通过如下的步骤确定实际接近的物体：
步骤1401、根据点云数据中的接近的物体与自动驾驶车辆之间的距离，确定该接近的物体在图像上的位置；
根据点云数据中接近的物体的位置、以及接近的物体与自动驾驶车辆之间的距离，可以将点云数据中接近的物体定位到图像中；
步骤1402、根据点云数据中接近的物体在图像上的位置，将点云数据中接近的物体与图像数据中相同位置上的接近的物体进行对比，确定点云数据中接近的物体与图像数据中的接近的物体是同一物体的概率；
在一些实施例中，可以将点云数据中接近的物体对应的点云投射到图像数据中相同位置上接近的物体上，确定点云落在图像数据中相同位置上接近的物体的边界框内的概率；
其中，物体的边界框是在图像数据中识别物体时，对物体进行标定的一种信息，在具体应用中也可以是其它的对物体进行标定的信息。
其中，由于图像处理技术的限制以及对常识的理解，“相同的位置”应当理解为大致相同的位置，或者理解为在一个位置附近的预定距离范围内的区域；
步骤1403、在所确定的概率大于预定概率的情况下，确定点云数据中的接近的物体与图像数据中的接近的物体是同一物体，并确定该同一物体为实际接近物体。
如果点云落在物体的边界框内的概率超过预定概率，可以认为点云数据中接近的物体和图像数据中接近的物体，在物体位置和物体大小上都是较为匹配的，从而可以认为这两个物体是同一个物体，也即该物体是实际接近物体。如果点云落在物体的边界框内的概率低于预定概率，可以认为点云中的接近物体与图像数据中的接近物体，在物体位置和/或物体大小上并不匹配，这两个物体并不是同一个物体，也即不能确定出实际接近物体。
步骤15，根据点云数据确定当前处理周期中实际接近物体的三维位置。
在一些实施例中，可以将实际接近物体对应的点云的位置确定为实际接近物体的三维位置。由于可以从点云数据得出较为准确的三维位置，从而可以直接将实际接近物体对应的点云的位置确定为其的三维位置。
通过上述处理过程，通过结合使用摄像头获取的图像数据和测距装置获取的点云数据，综合从图像数据中识别出的物体以及从测距数据(即点云数据)中识别的物体，确定得到实际接近物体，能够准确地确定得到自动驾驶车辆周围的实际接近物体，并根据点云数据确定得到实际接近物体的三维位置，从而能够解决相关技术中无法通过图像数据或者距离数据来确定得到准确的接近物体以及接近物体的位置的问题。
在上述处理过程的基础上，本申请提供的方法还可以进一步确定实际接近物体的速度，在一些实施例中，可以根据当前处理周期和相邻的上一个处理周期中分别确定的实际接近物体，确定实际接近物体的速度。
图2a示出了确定实际接近物体的速度的处理流程，包括：
步骤21，将当前处理周期中实际接近物体对应的点云和相邻的上一个处理周期中实际接近物体对应的点云进行匹配，确定两个点云之间的位移；
匹配的过程可以通过迭代最近点(Iteration Closet Point，ICP)算法来实现，具体地，可以将相邻的上一个处理周期中实际接近物体对应的点云和当前处理周期中实际接近物对应的点云进行匹配，找到最佳的匹配向量，也即两个点云之间的位移；
步骤22，根据确定的位移和相邻两个处理周期的时间差确定实际接近物体的速度；
两个点云之间的位移除以位移时间差(也即相邻两个处理周期的时间差)就是实际接近物体的速度；
更进一步地，还可以包括下面的步骤23；
步骤23，确定两个点云之间的位移方向，根据位移方向和实际接近物体的速度确定实际接近物体的速度矢量。
此外，在自动驾驶车辆的实际运行过程中，可能会发生丢失某个处理周期的数据的情况，也就在某个处理周期中没有接收到图像数据和/或点云数据，在这种情况下，本申请可以通过如下处理过程确定得到实际接近物体的速度，如图2b所示，该处理过程包括：
步骤21s、对多个处理周期中确定的实际接近物体建立关联关系；
也即对多个处理周期中的实际接近物体进行追踪，确定多个处理周期中的同一个实际接近物体，并记录该实际接近物体的相关信息；
步骤22s、在当前处理周期相邻的上一个处理周期缺乏图像数据和/或点云数据的情况下，根据所建立的实际接近物体的关联关系，确定在当前处理周期之前最近的处理周期中确定的实际接近物体；
步骤23s、根据该最近的处理周期中确定的实际接近物体和当前处理周期中确定的实际接近物体，确定实际接近物体的速度。确定速度的处理过程可以如图2a所示的处理过程所示。
图2a和图2b的处理过程可以结合使用，从而能够更高效地确定实际接近物体的速度。
通过上述处理过程，本申请在确定实际接近物体的位置的基础上，还能够准确的确定得到实际接近物体的速度，为自动驾驶车辆的其它控制和规划功能提供准确的数据输入。
基于相同的发明构思，本申请的实施例中还提供了一种接近物体的位置确定装置。
图3a中示出了本申请提供的接近物体的位置确定装置的应用环境，也即图3a示出了一个车辆系统1001的示意图，本申请提供的接近物体的位置确定装置300应用在自动驾驶车辆105(以下有些地方简称为车辆105)中。车辆系统1001包括多个系统和多个构件，这些系统和构件能够生成和/或传输一个或多个源信息/源数据，系统1001还包括与车内控制系统150和接近物体的位置确定装置300相关的多个服务。系统1001能够被安装在车辆105中。例如，安装在车辆105中的摄像头作为车辆子系统140中的一个装置，能够生成图像数据和计时数据，该图像数据和计时数据能够被控制系统150接收到。车辆感应子系统144中包括多种距离测量装置，可以包括LiDAR、雷达、惯性感应器、全球定位系统等装置，距离测量装置用于获取包括点云数据等的距离数据。车内控制系统150以及在其中运行的接近物体的位置确定装置300能够接收所输入的上述图像数据和距离数据(例如点云数据)。接近物体的位置确定装置300用于在当前处理周期中接收来自摄像头的图像数据和来自距离测量装置的点云数据，其中摄像头和距离测量装置搭载在自动驾驶车辆上；确定图像数据中接近自动驾驶车辆的物体以及接近的物体的二维位置；确定点云数据中接近自动驾驶车辆的物体以及接近的物体与自动驾驶车辆之间的距离；根据从图像数据中接近的物体以及接近的物体的二维位置、和点云数据中接近的物体以及接近的物体与自动驾驶车辆之间的距离，确定实际接近物体；根据点云数据确定当前处理周期中实际接近物体的三维位置。
在本申请提供的一个实施例中，控制系统150能够与多个车辆子系统140进行数据通信，所有这些车辆子系统140常驻在车辆105中。一个车辆子系统接口141被用于促进控制系统150和多个车辆子系统140之间的数据通信。控制系统150包括一个数据处理器171以执行接近物体的位置确定方法，用以处理从一个或多个车辆子系统140接收到的图像数据和点云数据。该数据处理器171能够与一个数据存储装置172合并设置，并作为控制系统150中的计算系统170的一部分。数据存储装置172能够被用于存储数据、存储处理参数、以及存储数据处理指令。处理模块接口165被用于促进数据处理器171和接近物体的位置确定装置300之间的数据通信。在多个实施例中，多个处理模块被配置为与接近物体的位置确定装置300相类似的配置，并被数据处理器171执行。如图3a中的虚线所示，接近物体的位置确定装置300能被集成到控制系统150中，或者可选地被下载到控制系统150中。
控制系统150能够用于与广域网120进行数据的接收/发送，以及与和广域网相连接的网络资源122进行数据的接收/发送。可联网装置130和/或用户移动装置132能够用于通过网络120进行通信。可联网装置接口131能够被控制系统150使用，以促进控制系统150、以及通过可联网的装置130所连接的网络120之间的数据通信。相类似地，用户移动装置接口133能够被控制系统150使用，以促进控制系统150和通过用户移动装置132连接到的网络120之间的数据通信。以该种方式，控制系统150能够实时地通过网络120接入到网络资源122中。数据处理器171能够从网络资源122获取被数据处理器171所执行的多个处理模块、用于训练内部神经网络的数据内容、多个系统参数以及其它数据。
系统1001包括广域数据网络120。网络120为一个或多个传统广域数据网，例如因特网、一个蜂窝电话网络、卫星网络、寻呼网络、无线广播网络、游戏网络、WiFi网络、点到点网络、IP电话(VoIP)网络等等。一个或多个这样的网络120能够将一个用户或者一个客户端系统连接到网络资源122，例如多个网站、多个服务器、多个中央控制网站，或者类似的网络资源。网络资源122能够生成和/或发布数据，该数据能够被车辆105通过车内可联网装置130或者用户移动装置132接收到。网络资源122也可以提供网络云服务，网络资源122能够支持在处理图像输入分析或者图像输出分析中进行计算或者辅助计算的函数。天线用于通过蜂窝、卫星、无线电或者其它传统的信号接收方案，将控制系统150和接近物体的位置确定装置300连接到数据网络120。这样的蜂窝数据网络是当前可获得的(例如，VerizonTM，AT&TTM，T-MobileTM，等等)。这样的基于卫星的数据网络或内容网络也是当前可获得的(例如，SiriusTM，HughesNetTM，等等)。传统的广播网络也是为人熟知的，例如，多个AM/FM无线网络、寻呼网络、UHF网络、游戏网络、WiFi网络、点到点网络、IP电话(VoIP)网络，以及类似的网络。从而，如下详述，控制系统150和接近物体的位置确定装置300能够通过可联网装置接口131接收基于网络的数据或内容，该可联网装置接口131用于连接可联网装置接收器130和网络120。以该种方式，控制系统150以及接近物体的位置确定装置300能够支持车辆105其中的多个可连接网络的车内装置和系统。
如图3a所示，控制系统150和接近物体的位置确定装置300也能够接收来自用户移动装置132的数据、图像处理控制参数、以及训练内容，该用户移动装置132能够被设置在车辆105之中或靠近车辆105。用户移动装置132可以是标准移动装置，例如蜂窝电话、智能电话、个人数字助理(PAD’s)、MP3播放器、平板计算装置(例如，iPaDTM)、手提计算机、CD播放器、以及其它移动装置，用户移动装置132能够为控制系统150和接近物体的位置确定装置300产生、接收和/或发送数据、图像处理控制参数以及内容。如图3a所示，移动装置132也能够与网络云120进行数据通信。移动装置132能够从其自身内部的存储部件中获取数据和内容，也能通过网络120从网络资源122中获取数据和内容。此外，移动装置132自身可以包括一个GPS数据接收器、多个加速计、多个WiFi三角测量或者其它地理位置探测器或部件，这些部件能够被用于在任何时刻确定用户的实时地理位置。在任何情况下，如图3a所示，控制系统150和接近物体的位置确定装置300能从移动装置132接收数据。
继续参考图3a，实施例中的系统101包括车辆可操作子系统140。在车辆105已实施的实施例中，许多标准车辆包括多个可操作子系统，例如，多个电子控制单元(ECUs)，支持对引擎、刹车、变速器、电子系统、排气系统、内部环境等等进行监视/控制的子系统。例如，在车辆可操作子系统140(例如车辆105的ECUs)与控制系统150通过车辆子系统接口141进行通信的数据信号中，包括车辆105的一个或多个部件或者子系统的状态的信息。特别地，该数据信号能够从车辆可操作子系统140发送到车辆105的一个控制器局域网(CAN)总线，该数据信号能够通过车辆子系统接口141被控制系统150接收和处理。本申请描述的装置能够实质性的被用于任何使用CAN总线、或者本申请所定义的使用类似的数据通信总线的机械化的系统，该系统包括但不限于工业装置、船只、卡车、机械装置或汽车；从而，这里使用的术语“车辆”包括任何上述机械化的系统。本申请描述的装置的实施例也能够与任何配置有某种形式的网络数据通信的系统一起使用，但是，这样的网络通信不是必须的。
继续参考图3a，实施例中的系统101以及其中的车辆可操作子系统140能够包括支持车辆105运行的多个车辆子系统。通常而言，车辆105可以是一个轿车、卡车、摩托车、公共汽车、船只、飞机、直升机、割草机、挖土机、摩托雪橇、航空器、旅游休闲车、游乐园车辆、农场装置、建筑装置、有轨电车、高尔夫车、火车、无轨电车。也可以是其它车辆。车辆105可以完全地或部分地以自动模式进行运行。例如，车辆105可以在自动模式下同时控制其自身，并且还可以被操作以确定车辆的当前状态以及车辆所处环境的当前状态，确定在该环境中的其它至少一个车辆的一个预测行为，确定上述其它至少一个车辆执行所述预测行为的可能性所对应信任等级，并且基于所确定的信息来控制车辆105。在处于自动驾驶模式下时，车辆105可以在无人交互的情况下运行。
车辆105可能包括各种车辆子系统，例如一个车辆驱动子系统142、车辆传感器子系统144、车辆控制子系统146、以及乘员接口子系统148。如上所述，车辆105还可以包括控制系统150、计算子系统170、以及接近物体的位置确定装置300。车辆105或多或少地包括一些子系统，每个子系统可以包括多个单元。进一步地，车辆105的每个子系统和单元之间可以是互联的。从而，车辆105的一个或多个所描述的功能可以被划分为附加的功能性部件或者实体部件，或者结合为数量更少的功能性部件或者实体部件。在更进一步的例子中，附加的功能性部件或者实体部件可以增加到如图3a所示的示例中。
车辆驱动子系统142可以包括为车辆105提供动能的多个可操作部件。在一个实施例中，车辆驱动子系统142可以包括一个发动机或电动机、多个轮子/轮胎、一个变速器、一个电子子系统、以及一个动力源。发动机或者电动机可以是如下装置的任意组合：一个内燃机、电机、蒸汽机、燃料电池发动机、丙烷发动机、或者其它形式的发动机或电动机。在一些实施例中，发动机可以将一种动力源转换为机械能。在一些实施例中，车辆驱动子系统142可以包括多种发动机或电动机。例如，一个油电混合轿车可以包括一个汽油发动机和一个电动机，也可以包括其它的情况。
车辆105的多个轮子可以是标准车轮。车辆105的多个轮子可以是多种形式的轮子，包括一个独轮、双轮、三轮、或者一个四轮形式，例如轿车或卡车上的四轮。其它数量的轮子也是可以的，例如六轮或者更多的轮子。车辆105的任何组合的轮子可被操作为与其他轮子的旋转方向不同。轮子可以是至少一个与变速器固定连接的轮子，以及至少一个轮胎与轮子的边缘相匹配使得轮子与驾驶表面相接触。这些轮子可以包括金属与橡胶的结合，或者是其他物质的结合。变速器可以包括可被操作以将发动机的机械动力传送到轮子的单元。出于这个目的，变速器可以包括一个齿轮箱、一个离合器、一个差动齿轮，和多个传动轴。变速器也可以包括其它单元。传动轴可以包括与轮子相匹配的一个或多个轮轴。电子系统可以包括用于传送或控制车辆105的电子信号的单元。这些电子信号可用于启动车辆105中的多个灯、多个伺服机构、多个电动机，以及其它电子驱动或者控制的装置。动力源可以是全部或部分地为发动机或电动机提供动力的能源。也即，发动机或电动机能够将动力源转换为机械能。示例性地，动力源可以包括汽油、石油、石油类燃料、丙烷、其它压缩气体燃料、乙醇、燃料电池、太阳能板、电池以及其它电能源。动力源可以附加的或者可选地包括燃料箱、电池、电容、或者飞轮的任意组合。动力源也可以为车辆105的其它子系统提供能量。
车辆传感器子系统144可以包括多个传感器，这些传感器用于感应车辆105的环境和条件的信息。例如，车辆感应器子系统144可以包括一个惯性测量单元(IMU)、一个全球定位系统(GPS)收发器、一个雷达单元、一个激光测距仪/LIDAR单元(或其它距离测量装置)、以及一个或多个摄像头或图像捕捉装置。车辆传感器子系统144可以包括用于监视车辆105内部系统的多个感应器(例如，一个氧气(O2)监视器、一个油量表传感器、一个发动机油压传感器，等等)。还可以配置其它传感器。被包括在车辆传感器子系统144中的一个或多个传感器可以被单独驱动或者被集体驱动，以更新一个或多个传感器的位置、方向，或者这二者。
IMU可以包括任何传感器的结合(例如加速器和陀螺仪)，用于基于惯性加速来感应车辆105的位置变化和方向变化。GPS收发器可以是任何用于估计车辆105的地理位置的传感器。出于该目的，GPS收发器可以包括一个接收器/发送器以提供车辆105相对于地球的位置信息。雷达单元可以是使用无线电信号来感应车辆105所在环境中的对象的系统。在一些实施例中，除感应对象之外，雷达单元还可以用于感应接近车辆105的物体的速度和前进方向。激光测距仪或LIDAR单元(或者其它距离测量装置)可以是任何使用激光来感应车辆105所在环境中的物体的传感器。在一个实施例中，激光测距仪/LIDAR单元可以包括位于其它系统部件中的一个或多个激光源、一个激光扫描仪、以及一个或多个探测器。激光测距仪/LIDAR单元用于以连续(例如使用外差检测)或者不连续的检测模式进行工作。摄像头可以包括一个或多个用于捕捉车辆105所在环境的多个图像的装置。摄像头可以是静态图像摄像头或者动态视频摄像头。
车辆控制系统146用于控制对车辆105及其构件的操作。相应地，车辆控制系统146可以包括各种单元，例如一个转向单元、一个油门、一个刹车单元、一个导航单元和一个自动控制系统。
转向单元可以是任何调整车辆105前进方向的机械的组合。油门，例如可以被用于控制发动机的运转速度，进而控制车辆105的速度。刹车单元可以包括用于对车辆105进行减速的机械的组合。刹车单元可以以标准方式利用摩擦力来使轮胎减速。在其他实施例中，刹车单元可以将轮子的动能转化为电流。刹车单元也可以采用其它形式。导航单元可以是任何为车辆105确定驾驶路径或路线的系统。导航单元还可以在车辆105行进的过程中动态的更新驾驶路径。在一些实施例中，导航单元用于将来自接近物体的位置确定装置300的数据、来自GPS收发器的数据、以及一个或多个预定地图的数据结合起来，从而确定车辆105的驾驶路径。自动控制单元可以是一个用于识别、评估、以及避免或越过车辆105所在环境中的潜在障碍的系统。通常，自动控制单元可以用于在没有驾驶员的情况下控制车辆105，或者为驾驶员控制车辆提供辅助。在一些实施例中，自动控制单元用于将来自接近物体的位置确定装置300的数据、GPS收发器的数据、雷达数据、LIDAR数据、摄像头数据、以及来自其它车辆子系统的数据结合起来，来确定车辆105的驾驶路径或路线。车辆控制系统146还可以附加地或者可选地包括其它未示出或未描述的部件。
乘员接口子系统148可以用于允许车辆105与外部传感器、其它车辆、其它计算系统和/或车辆105的一个乘员或者使用者之间的互动。例如，乘员接口子系统148可以包括标准视觉显示装置(例如，等离子显示器、液晶显示器(LCDs)，触屏显示器、头戴显示器，或其它类似的显示器)，扬声器或其它音频输出装置，麦克风或者其它音频输入装置，导航接口、以及控制车辆105的内部环境(例如温度、风扇，等等)的接口。
在一个实施例中，乘员接口子系统148可以提供为车辆105的使用者或乘员与其它车辆子系统进行互动的方式。视觉显示装置可以为车辆105的使用者提供信息。用户接口装置也可以通过触屏从使用者或者驾驶员那里接收输入。触屏可以通过电容感应、电阻感应或者表面声波处理，或者通过其它方式，来至少感应使用者手指的位置和手指移动中的一种。触屏可以感应到平行于触屏表面的手指运动或面状的手指运动，垂直于触屏表面的手指运动，或者以上皆有，也可以用于感应施加到触屏表面的压力水平。触屏可以由一个或多个半透明或透明绝缘层以及一个或多个半透明或透明的导电层构成。触屏也可以具有其它形式。
在其他一些例子中，乘员接口子系统148可以为车辆105提供与其所在环境中的其它车辆进行通信的方式。麦克风可以用于从车辆105的使用者那里接收音频(例如，一个声音命令或者其它音频输入)。类似地，扬声器可以用于输出音频给车辆的使用者。在一个示例性的实施例中，乘员接口子系统148可以直接或者通过通信网络与一个或多个设备进行无线通信。例如，一个无线通信系统可以使用3G蜂窝通信，例如CDMA、EVDO、GSM/GPRS、或者4G蜂窝通信，例如WiMAX或LTE。可选地，无线通信系统可以与一个无线本地局域网(WLAN)进行通信，例如，使用在一些实施例中，无线通信系统146可以直接与一个设备进行通信，例如，使用红外线路，或者ZIGBEE。其它无线协议，例如各种车载通信系统，也在本申请公开的范围之内。例如，无线通信系统可以包括一个或多个专用短程通信(DSRC)装置，这些装置会与车辆和/或路边站进行公开或私密的数据通信。
计算系统170能控制车辆105的部分或者全部功能。计算系统170可以包括至少一个数据处理器171(可以包括至少一个微处理器)，数据处理器171执行存储在非易失性计算机可读介质中存储的处理指令，例如数据存储装置172。计算系统170也可以是多个计算装置，这些计算装置分布式地控制车辆105的个别部件或者个别子系统。在一些实施例中，数据存储装置172中可以包含被数据处理器171执行来实现车辆105的各种功能的处理指令(例如，程序逻辑)，这些功能包括本申请所描述的附图中的功能。数据存储装置172还可以包括其它指令，包括用于数据发送的指令、用于数据接收的指令、用于互动的指令、或者用于控制一个或多个车辆驱动子系统140、车辆感应器子系统144、车辆控制子系统146和乘员接口子系统148的指令。
除存储处理指令之外，数据存储设备172可以存储多种信息，包括存储数据，例如图像处理参数、训练数据、道路地图、和路径信息。在车辆105以自动方式、半自动方式和/或手动模式运行的期间，这些信息可以被车辆105和计算系统170所使用。
车辆105可以包括一个用户界面，该用户界面用于为车辆105的使用者或乘员提供信息，或者接收来自车辆105的使用者或者乘员的输入。用户界面可以控制或者使能控制交互式图像的内容和图层，该交互式图像可以显示在一个显示设备上。进一步地，用户界面可以包括一组乘员接口子系统148中的一个或多个输入/输出设备，例如显示设备、扬声器、麦克风、或者一个无线通信系统。
计算系统170可以根据从各种车辆子系统(例如，车辆驱动子系统142，车辆传感器子系统144，以及车辆控制子系统146)接收到的输入，或者从乘员接口子系统148接收到的输入，来控制车辆105的功能。例如，计算系统170可以使用来自车辆控制系统146的输入来控制转向单元，来避开由车辆传感器子系统144以及接近物体的位置确定装置300检测到的障碍物。在一个实施例中，计算系统170可以用来控制车辆105及其子系统的多个方面。
虽然图3a中显示了集成到车辆105中的各种构件，例如车辆子系统140、计算系统170、数据存储设备172、控制系统150、以及接近物体的位置确定装置300，这些部件中的一个或多个部件可以搭载到车辆105上或单独关联到车辆105上。例如，数据存储装置172可以部分或者全部地独立于车辆105存在。从而，车辆105能够以分离的或者集成的设备单元的形式而存在。构成车辆105的设备单元可以以有线通信或者无线通信的方式实现通信聚合。在多个实施例中，进行数据通信的控制系统150和接近物体的位置确定装置300可以被实施为一个集成的部件或者是分离的部件。在一个实施例中，通过与移动装置132进行数据通信和/或通过网络120连接到网络资源122进行数据通信，控制系统150和/或接近物体的位置确定装置300的软件部件能得到动态的更新、修改和/或扩展。控制系统150能够周期性地询问一个移动设备132或者一个网络资源122以进行更新，或者该更新能够推送给控制系统150。
在上述实施例中，接近物体的位置确定装置300可以包括一个与控制系统150进行通信的接口，如图3a所示，如本申请所述的接近物体的位置确定装置300通过该接口可以发送和接收数据。此外，接近物体的位置确定装置300可以包括一个与控制系统150和/或系统101的其它子系统进行通信的接口，通过该接口接近物体的位置确定装置300可以从如上所述的各种数据源接收辅助数据。基于多个因素该辅助数据可以被用来扩展、修改或者训练接近物体的位置确定装置300的操作，这多个因素包括使用者操作车辆的环境(例如，车辆的位置、具体目的地、行车方向、速度、时刻、车辆状态，等等)，以及如本文所述的可以从本地和远程的多个资源获取到的其它多种数据。如上所述，接近物体的位置确定装置300可以实施在系统和平台上，该系统和平台没有配置在车辆中、不是必须在车辆中使用的或者也不是必须与车辆一起使用的。
图3b中示出了本申请的实施例中提供的一种接近物体的位置确定装置，该装置即为图3a中的接近物体的位置确定装置，如图3b所示，该装置包括：
接收模块31，用于在当前处理周期中接收来自摄像头的图像数据和来自距离测量装置的点云数据，其中摄像头和距离测量装置搭载在自动驾驶车辆上；
第一确定模块32，用于确定图像数据中接近自动驾驶车辆的物体以及接近的物体的二维位置；
第二确定模块33，用于确定点云数据中接近自动驾驶车辆的物体以及接近的物体与自动驾驶车辆之间的距离；
物体确定模块34，用于根据从图像数据中接近的物体以及接近的物体的二维位置、和点云数据中接近的物体以及接近的物体与自动驾驶车辆之间的距离，确定实际接近物体；
位置确定模块35，根据点云数据确定当前处理周期中实际接近物体的三维位置。
在本申请的一些实施例中，第一确定模块32具体用于：在图像数据中识别出物体，将识别出来的物体确定为接近自动驾驶车辆的物体；并确定接近的物体的二维位置。
在本申请的一些实施例中，第二确定模块33具体用于：从点云数据中识别出至少一个物体；根据至少一个物体在点云数据中的三维位置和自动驾驶车辆的三维位置，确定至少一个物体与自动驾驶车辆的距离；将距离小于预定距离所对应的物体确定为接近的物体；保存接近的物体与自动驾驶车辆之间的距离。
在本申请的一些实施例中，物体确定模块34具体用于：根据点云数据中接近的物体的位置、以及接近的物体与自动驾驶车辆之间的距离，确定该接近的物体在图像上的位置；根据点云数据中接近的物体在图像上的位置，将点云数据中接近的物体与图像数据中相同位置上的接近的物体进行对比，确定点云数据中接近的物体与图像数据中的接近的物体是同一物体的概率；在所确定的概率大于预定概率的情况下，确定点云数据中的接近的物体与图像数据中的接近的物体是同一物体，并确定该同一物体为实际接近物体。
在本申请的一些实施例中，物体确定模块34确定点云数据中接近的物体与图像数据中的接近的物体是同一物体的概率，包括：将点云数据中接近的物体对应的点云投射到图像数据中相同位置上接近的物体上，确定点云落在图像数据中相同位置上接近的物体的边界框内的概率。
在本申请的一些实施例中，位置确定模块35具体用于：将实际接近物体对应的点云的位置确定为实际接近物体的三维位置。
在本申请的一些实施例中，如图3c所示，该装置还包括：速度确定模块36，用于根据当前处理周期和相邻的上一个处理周期中分别确定的实际接近物体，确定实际接近物体的速度。
在本申请的一些实施例中，速度确定模块36体用于：将当前处理周期中实际接近物体对应的点云和相邻的上一个处理周期中实际接近物体对应的点云进行匹配，确定两个点云之间的位移；根据确定的位移和相邻两个处理周期的时间差确定实际接近物体的速度。
在本申请的一些实施例中，速度确定模块36还用于：确定两个点云之间的位移方向，根据位移方向和实际接近物体的速度确定实际接近物体的速度矢量。
在本申请的一些实施例中，速度确定模块36还用于：对多个处理周期中确定的实际接近物体建立关联关系；在当前处理周期相邻的上一个处理周期缺乏图像数据和/或点云数据的情况下，根据所建立的实际接近物体的关联关系，确定在当前处理周期之前最近的处理周期中确定的实际接近物体；根据该最近的处理周期中确定的实际接近物体和当前处理周期中确定的实际接近物体，确定实际接近物体的速度。
根据本申请实施例提供的装置，通过结合使用摄像头获取的图像数据和测距装置获取的点云数据，综合从图像数据中识别出的物体以及从测距数据(即点云数据)中识别的物体，确定得到实际接近物体，能够准确地确定得到自动驾驶车辆周围的实际接近物体，并根据点云数据确定得到实际接近物体的三维位置，从而能够解决相关技术中无法通过图像数据或者距离数据来确定得到准确的接近物体以及接近物体的位置的问题。
更进一步地，根据本申请实施例提供的装置，还能够准确的确定得到实际接近物体的速度，为自动驾驶车辆的其它控制和规划功能提供准确的数据输入。
基于相同的发明构思，本申请的实施例中还提供了一种接近物体的位置确定装置，如图4所示，该装置包括：一个处理器401和至少一个存储器402，所述至少一个存储器402中存储有至少一条机器可执行指令，所述处理器401执行所述至少一条指令，以实现：
在当前处理周期中接收来自摄像头的图像数据和来自距离测量装置的点云数据，其中摄像头和距离测量装置搭载在自动驾驶车辆上；
确定图像数据中接近自动驾驶车辆的物体以及接近的物体的二维位置；
确定点云数据中接近自动驾驶车辆的物体以及接近的物体与自动驾驶车辆之间的距离；
根据从图像数据中接近的物体以及接近的物体的二维位置、和点云数据中接近的物体以及接近的物体与自动驾驶车辆之间的距离，确定实际接近物体；
根据点云数据确定当前处理周期中实际接近物体的三维位置。
在一些实施例中，处理器401执行至少一条指令实现确定图像数据中接近自动驾驶车辆的物体以及接近的物体的二维位置，包括：在图像数据中识别出物体，将识别出来的物体确定为接近自动驾驶车辆的物体；并确定接近的物体的二维位置。
在一些实施例中，处理器401执行至少一条指令实现确定点云数据中接近自动驾驶车辆的物体以及接近的物体与自动驾驶车辆之间的距离，包括：从点云数据中识别出至少一个物体；根据至少一个物体在点云数据中的三维位置和自动驾驶车辆的三维位置，确定至少一个物体与自动驾驶车辆的距离；将距离小于预定距离所对应的物体确定为接近的物体；保存接近的物体与自动驾驶车辆之间的距离。
在一些实施例中，处理器401执行至少一条指令实现确定的实际接近物体，包括：根据点云数据中接近的物体的位置、以及接近的物体与自动驾驶车辆之间的距离，确定该接近的物体在图像上的位置；根据点云数据中接近的物体在图像上的位置，将点云数据中接近的物体与图像数据中相同位置上的接近的物体进行对比，确定点云数据中接近的物体与图像数据中的接近的物体是同一物体的概率；在所确定的概率大于预定概率的情况下，确定点云数据中的接近的物体与图像数据中的接近的物体是同一物体，并确定该同一物体为实际接近物体。
在一些实施例中，处理器401执行至少一条指令实现确定点云数据中接近的物体与图像数据中的接近的物体是同一物体的概率，包括：将点云数据中接近的物体对应的点云投射到图像数据中相同位置上接近的物体上，确定点云落在图像数据中相同位置上接近的物体的边界框内的概率。
在一些实施例中，处理器401执行至少一条指令实现根据点云数据确定当前处理周期中实际接近物体的三维位置，包括：将实际接近物体对应的点云的位置确定为实际接近物体的三维位置。
在一些实施例中，处理器401执行至少一条指令还实现：根据当前处理周期和相邻的上一个处理周期中分别确定的实际接近物体，确定实际接近物体的速度。
在一些实施例中，处理器401执行至少一条指令实现确定实际接近物体的速度，包括：将当前处理周期中实际接近物体对应的点云和相邻的上一个处理周期中实际接近物体对应的点云进行匹配，确定两个点云之间的位移；根据确定的位移和相邻两个处理周期的时间差确定实际接近物体的速度。
在一些实施例中，处理器401执行至少一条指令还实现：确定两个点云之间的位移方向，根据位移方向和实际接近物体的速度确定实际接近物体的速度矢量。
在一些实施例中，处理器401执行至少一条指令还实现：对多个处理周期中确定的实际接近物体建立关联关系；在当前处理周期相邻的上一个处理周期缺乏图像数据和/或点云数据的情况下，根据所建立的实际接近物体的关联关系，确定在当前处理周期之前最近的处理周期中确定的实际接近物体；根据该最近的处理周期中确定的实际接近物体和当前处理周期中确定的实际接近物体，确定实际接近物体的速度。
根据本申请实施例提供的装置，通过结合使用摄像头获取的图像数据和测距装置获取的点云数据，综合从图像数据中识别出的物体以及从测距数据(即点云数据)中识别的物体，确定得到实际接近物体，能够准确地确定得到自动驾驶车辆周围的实际接近物体，并根据点云数据确定得到实际接近物体的三维位置，从而能够解决相关技术中无法通过图像数据或者距离数据来确定得到准确的接近物体以及接近物体的位置的问题。
更进一步地，根据本申请实施例提供的装置，还能够准确的确定得到实际接近物体的速度，为自动驾驶车辆的其它控制和规划功能提供准确的数据输入。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (30)

1.一种接近物体的位置确定方法，其特征在于，包括：
自动驾驶车辆的控制装置在当前处理周期中接收来自摄像头的图像数据和来自距离测量装置的点云数据，其中摄像头和距离测量装置搭载在自动驾驶车辆上；
确定图像数据中接近自动驾驶车辆的物体以及接近的物体的二维位置；
确定点云数据中接近自动驾驶车辆的物体以及接近的物体与自动驾驶车辆之间的距离；
根据从图像数据中接近的物体以及接近的物体的二维位置、和点云数据中接近的物体以及接近的物体与自动驾驶车辆之间的距离，确定实际接近物体；
根据点云数据确定实际接近物体的三维位置。
2.根据权利要求1的方法，其特征在于，确定图像数据中接近自动驾驶车辆的物体以及接近的物体的二维位置，包括：
在图像数据中识别出物体，将识别出来的物体确定为接近自动驾驶车辆的物体；
并确定接近的物体的二维位置。
3.根据权利要求1所述的方法，其特征在于，确定点云数据中接近自动驾驶车辆的物体以及接近的物体与自动驾驶车辆之间的距离，包括：
从点云数据中识别出至少一个物体；
根据至少一个物体在点云数据中的三维位置和自动驾驶车辆的三维位置，确定至少一个物体与自动驾驶车辆的距离；
将距离小于预定距离所对应的物体确定为接近的物体；
保存接近的物体与自动驾驶车辆之间的距离。
4.根据权利要求1的方法，其特征在于，确定实际接近物体，包括：
根据点云数据中接近的物体的位置、以及接近的物体与自动驾驶车辆之间的距离，确定该接近的物体在图像上的位置；
根据点云数据中接近的物体在图像上的位置，将点云数据中接近的物体与图像数据中相同位置上的接近的物体进行对比，确定点云数据中接近的物体与图像数据中的接近的物体是同一物体的概率；
在所确定的概率大于预定概率的情况下，确定点云数据中的接近的物体与图像数据中的接近的物体是同一物体，并确定该同一物体为实际接近物体。
5.根据权利要求4的方法，其特征在于，确定点云数据中接近的物体与图像数据中的接近的物体是同一物体的概率，包括：
将点云数据中接近的物体对应的点云投射到图像数据中相同位置上接近的物体上，确定点云落在图像数据中相同位置上接近的物体的边界框内的概率。
6.根据权利要求1的方法，其特征在于，根据点云数据确定当前处理周期中实际接近物体的三维位置，包括：
将实际接近物体对应的点云的位置确定为实际接近物体的三维位置。
7.根据权利要求1的方法，其特征在于，所述方法还包括：
根据当前处理周期和相邻的上一个处理周期中分别确定的实际接近物体，确定实际接近物体的速度。
8.根据权利要求7的方法，其特征在于，确定实际接近物体的速度，包括：
将当前处理周期中实际接近物体对应的点云和相邻的上一个处理周期中实际接近物体对应的点云进行匹配，确定两个点云之间的位移；
根据确定的位移和相邻两个处理周期的时间差确定实际接近物体的速度。
9.根据权利要求8的方法，其特征在于，方法还包括：
确定两个点云之间的位移方向，根据位移方向和实际接近物体的速度确定实际接近物体的速度矢量。
10.根据权利要求7的方法，其特征在于，方法还包括：
对多个处理周期中确定的实际接近物体建立关联关系；
在当前处理周期相邻的上一个处理周期缺乏图像数据和/或点云数据的情况下，根据所建立的实际接近物体的关联关系，确定在当前处理周期之前最近的处理周期中确定的实际接近物体；
根据该最近的处理周期中确定的实际接近物体和当前处理周期中确定的实际接近物体，确定实际接近物体的速度。
11.一种接近物体的位置确定装置，其特征在于，包括：
接收模块，用于在当前处理周期中接收来自摄像头的图像数据和来自距离测量装置的点云数据，其中摄像头和距离测量装置搭载在自动驾驶车辆上；
第一确定模块，用于确定图像数据中接近自动驾驶车辆的物体以及接近的物体的二维位置；
第二确定模块，用于确定点云数据中接近自动驾驶车辆的物体以及接近的物体与自动驾驶车辆之间的距离；
物体确定模块，用于根据从图像数据中接近的物体以及接近的物体的二维位置、和点云数据中接近的物体以及接近的物体与自动驾驶车辆之间的距离，确定实际接近物体；
位置确定模块，根据点云数据确定实际接近物体的三维位置。
12.根据权利要求11所述的装置，其特征在于，第一确定模块具体用于：
在图像数据中识别出物体，将识别出来的物体确定为接近自动驾驶车辆的物体；
并确定接近的物体的二维位置。
13.根据权利要求11所述的装置，其特征在于，第二确定模块具体用于：
从点云数据中识别出至少一个物体；
根据至少一个物体在点云数据中的三维位置和自动驾驶车辆的三维位置，确定至少一个物体与自动驾驶车辆的距离；
将距离小于预定距离所对应的物体确定为接近的物体；
保存接近的物体与自动驾驶车辆之间的距离。
14.根据权利要求11所述的装置，其特征在于，物体确定模块具体用于：
根据点云数据中接近的物体的位置、以及接近的物体与自动驾驶车辆之间的距离，确定该接近的物体在图像上的位置；
根据点云数据中接近的物体在图像上的位置，将点云数据中接近的物体与图像数据中相同位置上的接近的物体进行对比，确定点云数据中接近的物体与图像数据中的接近的物体是同一物体的概率；
在所确定的概率大于预定概率的情况下，确定点云数据中的接近的物体与图像数据中的接近的物体是同一物体，并确定该同一物体为实际接近物体。
15.根据权利要求14所述的装置，其特征在于，物体确定模块确定点云数据中接近的物体与图像数据中的接近的物体是同一物体的概率，包括：
将点云数据中接近的物体对应的点云投射到图像数据中相同位置上接近的物体上，确定点云落在图像数据中相同位置上接近的物体的边界框内的概率。
16.根据权利要求11所述的装置，其特征在于，位置确定模块具体用于：
将实际接近物体对应的点云的位置确定为实际接近物体的三维位置。
17.根据权利要求11所述的装置，其特征在于，装置还包括：
速度确定模块，用于根据当前处理周期和相邻的上一个处理周期中分别确定的实际接近物体，确定实际接近物体的速度。
18.根据权利要求17所述的装置，其特征在于，速度确定模块具体用于：
将当前处理周期中实际接近物体对应的点云和相邻的上一个处理周期中实际接近物体对应的点云进行匹配，确定两个点云之间的位移；
根据确定的位移和相邻两个处理周期的时间差确定实际接近物体的速度。
19.根据权利要求18所述的装置，其特征在于，速度确定模块还用于：
确定两个点云之间的位移方向，根据位移方向和实际接近物体的速度确定实际接近物体的速度矢量。
20.根据权利要求17所述的装置，其特征在于，速度确定模块还用于：
对多个处理周期中确定的实际接近物体建立关联关系；
在当前处理周期相邻的上一个处理周期缺乏图像数据和/或点云数据的情况下，根据所建立的实际接近物体的关联关系，确定在当前处理周期之前最近的处理周期中确定的实际接近物体；
根据该最近的处理周期中确定的实际接近物体和当前处理周期中确定的实际接近物体，确定实际接近物体的速度。
21.一种接近物体的位置确定装置，其特征在于，包括：一个处理器和至少一个存储器，所述至少一个存储器中存储有至少一条机器可执行指令，所述处理器执行所述至少一条指令，以实现：
在当前处理周期中接收来自摄像头的图像数据和来自距离测量装置的点云数据，其中摄像头和距离测量装置搭载在自动驾驶车辆上；
确定图像数据中接近自动驾驶车辆的物体以及接近的物体的二维位置；
确定点云数据中接近自动驾驶车辆的物体以及接近的物体与自动驾驶车辆之间的距离；
根据从图像数据中接近的物体以及接近的物体的二维位置、和点云数据中接近的物体以及接近的物体与自动驾驶车辆之间的距离，确定实际接近物体；
根据点云数据确定当前处理周期中实际接近物体的三维位置。
22.根据权利要求21所述的装置，其特征在于，所述处理器执行所述至少一条指令实现确定图像数据中接近自动驾驶车辆的物体以及接近的物体的二维位置，包括：
在图像数据中识别出物体，将识别出来的物体确定为接近自动驾驶车辆的物体；
并确定接近的物体的二维位置。
23.根据权利要求21所述的装置，其特征在于，所述处理器执行所述至少一条指令实现确定点云数据中接近自动驾驶车辆的物体以及接近的物体与自动驾驶车辆之间的距离，包括：
从点云数据中识别出至少一个物体；
根据至少一个物体在点云数据中的三维位置和自动驾驶车辆的三维位置，确定至少一个物体与自动驾驶车辆的距离；
将距离小于预定距离所对应的物体确定为接近的物体；
保存接近的物体与自动驾驶车辆之间的距离。
24.根据权利要求21所述的装置，其特征在于，所述处理器执行所述至少一条指令实现确定的实际接近物体，包括：
根据点云数据中接近的物体的位置、以及接近的物体与自动驾驶车辆之间的距离，确定该接近的物体在图像上的位置；
根据点云数据中接近的物体在图像上的位置，将点云数据中接近的物体与图像数据中相同位置上的接近的物体进行对比，确定点云数据中接近的物体与图像数据中的接近的物体是同一物体的概率；
在所确定的概率大于预定概率的情况下，确定点云数据中的接近的物体与图像数据中的接近的物体是同一物体，并确定该同一物体为实际接近物体。
25.根据权利要求24所述的装置，其特征在于，所述处理器执行所述至少一条指令实现确定点云数据中接近的物体与图像数据中的接近的物体是同一物体的概率，包括：
将点云数据中接近的物体对应的点云投射到图像数据中相同位置上接近的物体上，确定点云落在图像数据中相同位置上接近的物体的边界框内的概率。
26.根据权利要求21所述的装置，其特征在于，所述处理器执行所述至少一条指令实现根据点云数据确定当前处理周期中实际接近物体的三维位置，包括：
将实际接近物体对应的点云的位置确定为实际接近物体的三维位置。
27.根据权利要求21所述的装置，其特征在于，所述处理器执行所述至少一条指令还实现：根据当前处理周期和相邻的上一个处理周期中分别确定的实际接近物体，确定实际接近物体的速度。
28.根据权利要求27所述的装置，其特征在于，所述处理器执行所述至少一条指令实现确定实际接近物体的速度，包括：
将当前处理周期中实际接近物体对应的点云和相邻的上一个处理周期中实际接近物体对应的点云进行匹配，确定两个点云之间的位移；
根据确定的位移和相邻两个处理周期的时间差确定实际接近物体的速度。
29.根据权利要求28所述的装置，其特征在于，所述处理器执行所述至少一条指令还实现：
确定两个点云之间的位移方向，根据位移方向和实际接近物体的速度确定实际接近物体的速度矢量。
30.根据权利要求27所述的装置，其特征在于，所述处理器执行所述至少一条指令还实现：
对多个处理周期中确定的实际接近物体建立关联关系；
在当前处理周期相邻的上一个处理周期缺乏图像数据和/或点云数据的情况下，根据所建立的实际接近物体的关联关系，确定在当前处理周期之前最近的处理周期中确定的实际接近物体；
根据该最近的处理周期中确定的实际接近物体和当前处理周期中确定的实际接近物体，确定实际接近物体的速度。
CN201711020454.5A 2017-04-25 2017-10-27 一种接近物体的位置确定方法和装置 Active CN107816976B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/496,113 US10552691B2 (en) 2017-04-25 2017-04-25 System and method for vehicle position and velocity estimation based on camera and lidar data
USUS15/496,113 2017-04-25

Publications (2)

Publication Number Publication Date
CN107816976A true CN107816976A (zh) 2018-03-20
CN107816976B CN107816976B (zh) 2020-06-16

Family

ID=61603195

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201711020454.5A Active CN107816976B (zh) 2017-04-25 2017-10-27 一种接近物体的位置确定方法和装置
CN201880027842.2A Active CN110914707B (zh) 2017-04-25 2018-05-18 基于相机和lidar数据的车辆位置和速度估计的系统和方法
CN202311407767.1A Pending CN117452428A (zh) 2017-04-25 2018-05-18 基于相机和lidar数据的车辆位置和速度估计的系统和方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN201880027842.2A Active CN110914707B (zh) 2017-04-25 2018-05-18 基于相机和lidar数据的车辆位置和速度估计的系统和方法
CN202311407767.1A Pending CN117452428A (zh) 2017-04-25 2018-05-18 基于相机和lidar数据的车辆位置和速度估计的系统和方法

Country Status (5)

Country Link
US (3) US10552691B2 (zh)
EP (1) EP3616020A4 (zh)
CN (3) CN107816976B (zh)
AU (2) AU2018256926B2 (zh)
WO (1) WO2018201162A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110068826A (zh) * 2019-03-27 2019-07-30 东软睿驰汽车技术（沈阳）有限公司 一种测距的方法及装置
CN110163904A (zh) * 2018-09-11 2019-08-23 腾讯大地通途（北京）科技有限公司 对象标注方法、移动控制方法、装置、设备及存储介质
CN110281950A (zh) * 2019-07-08 2019-09-27 睿镞科技(北京)有限责任公司 基于三维声像传感器的载运工具控制与可视化环境体验
CN111045024A (zh) * 2018-10-15 2020-04-21 图森有限公司 一种基于光检测和测距的车辆追踪方法和系统
CN113888903A (zh) * 2021-11-05 2022-01-04 四川启睿克科技有限公司 一种头戴式车辆接近告警系统
CN114367110A (zh) * 2022-01-10 2022-04-19 腾讯科技（深圳）有限公司 数据处理方法、装置、电子设备及存储介质

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10552691B2 (en) 2017-04-25 2020-02-04 TuSimple System and method for vehicle position and velocity estimation based on camera and lidar data
US10752246B2 (en) 2017-07-01 2020-08-25 Tusimple, Inc. System and method for adaptive cruise control with proximate vehicle detection
US10737695B2 (en) * 2017-07-01 2020-08-11 Tusimple, Inc. System and method for adaptive cruise control for low speed following
KR102420568B1 (ko) * 2018-04-27 2022-07-13 삼성전자주식회사 차량의 위치를 결정하는 방법 및 이를 위한 차량
CN109684944B (zh) * 2018-12-10 2021-09-03 百度在线网络技术（北京）有限公司 障碍物检测方法、装置、计算机设备和存储介质
RU2767955C1 (ru) 2019-05-27 2022-03-22 Общество с ограниченной ответственностью "Яндекс Беспилотные Технологии" Способы и системы для определения компьютером наличия динамических объектов
US11300677B2 (en) * 2019-07-08 2022-04-12 GM Global Technology Operations LLC Automated driving systems and control logic for host vehicle velocity estimation using wide aperture radar
US11235768B2 (en) 2019-07-25 2022-02-01 Ford Global Technologies, Llc Detection of vehicle operating conditions
US11556000B1 (en) 2019-08-22 2023-01-17 Red Creamery Llc Distally-actuated scanning mirror
US11067668B1 (en) * 2020-02-03 2021-07-20 Outsight SA System, method, and computer program product for automatically configuring a detection device
CN112193073B (zh) * 2020-09-30 2023-09-08 江苏悦达专用车有限公司 一种电动汽车整车控制器降功率处理系统
CN112598705B (zh) * 2020-12-17 2024-05-03 太原理工大学 一种基于双目视觉的车身姿态检测方法
JP7494724B2 (ja) * 2020-12-18 2024-06-04 トヨタ自動車株式会社 自動運転車両
JP2022152402A (ja) * 2021-03-29 2022-10-12 本田技研工業株式会社 認識装置、車両システム、認識方法、およびプログラム
EP4378183A1 (en) * 2021-07-25 2024-06-05 Tusimple, Inc. Systems and methods for operating an autonomous vehicle

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070055446A1 (en) * 2005-09-02 2007-03-08 Schiffmann Jan K Method for estimating unknown parameters for a vehicle object detection system
US8055445B2 (en) * 2008-09-24 2011-11-08 Delphi Technologies, Inc. Probabilistic lane assignment method
CN104102218A (zh) * 2014-06-30 2014-10-15 西北工业大学 基于视觉伺服的感知与规避方法及系统
CN105358397A (zh) * 2013-05-03 2016-02-24 谷歌公司 对控制车辆的速度的预测性推理
CN106354130A (zh) * 2016-10-31 2017-01-25 北京新能源汽车股份有限公司 无人驾驶汽车及其控制方法和远程监控系统

Family Cites Families (122)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5877897A (en) 1993-02-26 1999-03-02 Donnelly Corporation Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array
US6822563B2 (en) 1997-09-22 2004-11-23 Donnelly Corporation Vehicle imaging system with accessory control
US7103460B1 (en) 1994-05-09 2006-09-05 Automotive Technologies International, Inc. System and method for vehicle diagnostics
US7783403B2 (en) 1994-05-23 2010-08-24 Automotive Technologies International, Inc. System and method for preventing vehicular accidents
US7655894B2 (en) 1996-03-25 2010-02-02 Donnelly Corporation Vehicular image sensing system
WO2003093857A2 (en) 2002-05-03 2003-11-13 Donnelly Corporation Object detection system for vehicle
KR100446636B1 (ko) * 2002-11-21 2004-09-04 삼성전자주식회사 이동체의 움직임 및 이동체 전방에 위치한 물체의 3차원정보 측정 기능을 구비한 이동체 및 그 방법
US6777904B1 (en) 2003-02-25 2004-08-17 Ford Global Technologies, Llc Method and system for controlling a motor
US7263209B2 (en) * 2003-06-13 2007-08-28 Sarnoff Corporation Vehicular vision system
US20070230792A1 (en) 2004-04-08 2007-10-04 Mobileye Technologies Ltd. Pedestrian Detection
WO2005098782A1 (en) 2004-04-08 2005-10-20 Mobileye Technologies Limited Collision warning system
WO2005098751A1 (en) 2004-04-08 2005-10-20 Mobileye Technologies Limited Crowd detection
US7526103B2 (en) 2004-04-15 2009-04-28 Donnelly Corporation Imaging system for vehicle
EP1790541A2 (en) 2005-11-23 2007-05-30 MobilEye Technologies, Ltd. Systems and methods for detecting obstructions in a camera field of view
US8164628B2 (en) 2006-01-04 2012-04-24 Mobileye Technologies Ltd. Estimating distance to an object using a sequence of images recorded by a monocular camera
US7689559B2 (en) 2006-02-08 2010-03-30 Telenor Asa Document similarity scoring and ranking method, device and computer program product
US7786898B2 (en) 2006-05-31 2010-08-31 Mobileye Technologies Ltd. Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications
US8139109B2 (en) * 2006-06-19 2012-03-20 Oshkosh Corporation Vision system for an autonomous vehicle
EP2383713B1 (en) 2006-12-06 2013-05-29 Mobileye Technologies Limited Detecting and recognizing traffic signs
US20080249667A1 (en) 2007-04-09 2008-10-09 Microsoft Corporation Learning and reasoning to enhance energy efficiency in transportation systems
US7839292B2 (en) 2007-04-11 2010-11-23 Nec Laboratories America, Inc. Real-time driving danger level prediction
US8041111B1 (en) 2007-10-15 2011-10-18 Adobe Systems Incorporated Subjective and locatable color theme extraction for images
EP2071515A1 (en) * 2007-12-11 2009-06-17 Honda Research Institute Europe GmbH Visually tracking an object in real world using 2D appearance and multicue depth estimations
US9176006B2 (en) 2008-01-15 2015-11-03 Mobileye Vision Technologies Ltd. Detection and classification of light sources using a diffraction grating
US9041915B2 (en) * 2008-05-09 2015-05-26 Ball Aerospace & Technologies Corp. Systems and methods of scene and action capture using imaging system incorporating 3D LIDAR
US9117133B2 (en) 2008-06-18 2015-08-25 Spectral Image, Inc. Systems and methods for hyperspectral imaging
US20100049397A1 (en) 2008-08-22 2010-02-25 Garmin Ltd. Fuel efficient routing
US8989972B2 (en) * 2008-09-11 2015-03-24 Deere & Company Leader-follower fully-autonomous vehicle with operator on side
US8126642B2 (en) 2008-10-24 2012-02-28 Gray & Company, Inc. Control and systems for autonomously driven vehicles
US9459515B2 (en) 2008-12-05 2016-10-04 Mobileye Vision Technologies Ltd. Adjustable camera mount for a vehicle windshield
US8812226B2 (en) * 2009-01-26 2014-08-19 GM Global Technology Operations LLC Multiobject fusion module for collision preparation system
US8175376B2 (en) 2009-03-09 2012-05-08 Xerox Corporation Framework for image thumbnailing based on visual similarity
WO2010109419A1 (en) 2009-03-26 2010-09-30 Koninklijke Philips Electronics N.V. Method and apparatus for modifying an image by using a saliency map based on color frequency
US8271871B2 (en) 2009-04-30 2012-09-18 Xerox Corporation Automated method for alignment of document objects
US8392117B2 (en) 2009-05-22 2013-03-05 Toyota Motor Engineering & Manufacturing North America, Inc. Using topological structure for path planning in semi-structured environments
US9683854B2 (en) 2009-07-19 2017-06-20 Aaron T. Emigh Pricing by historical comparison
JP2011176748A (ja) 2010-02-25 2011-09-08 Sony Corp 画像処理装置および方法、並びにプログラム
US8260539B2 (en) * 2010-05-12 2012-09-04 GM Global Technology Operations LLC Object and vehicle detection and tracking using 3-D laser rangefinder
US9280711B2 (en) 2010-09-21 2016-03-08 Mobileye Vision Technologies Ltd. Barrier and guardrail detection using a single camera
US9118816B2 (en) 2011-12-06 2015-08-25 Mobileye Vision Technologies Ltd. Road vertical contour detection
US8509982B2 (en) 2010-10-05 2013-08-13 Google Inc. Zone driving
US9179072B2 (en) 2010-10-31 2015-11-03 Mobileye Vision Technologies Ltd. Bundling night vision and other driver assistance systems (DAS) using near infra red (NIR) illumination and a rolling shutter
WO2012068154A1 (en) 2010-11-15 2012-05-24 Huawei Technologies Co., Ltd. Method and system for video summarization
US9251708B2 (en) 2010-12-07 2016-02-02 Mobileye Vision Technologies Ltd. Forward collision warning trap and pedestrian advanced warning system
US8401292B2 (en) 2011-04-26 2013-03-19 Eastman Kodak Company Identifying high saliency regions in digital images
US9233659B2 (en) 2011-04-27 2016-01-12 Mobileye Vision Technologies Ltd. Pedestrian collision warning system
KR101777875B1 (ko) 2011-04-28 2017-09-13 엘지디스플레이 주식회사 입체 영상 표시장치와 그 입체 영상 조절 방법
US9183447B1 (en) 2011-06-09 2015-11-10 Mobileye Vision Technologies Ltd. Object detection using candidate object alignment
JP5564620B2 (ja) 2011-07-28 2014-07-30 本田技研工業株式会社 ワイヤレス送電方法
DE102011083749B4 (de) 2011-09-29 2015-06-11 Aktiebolaget Skf Rotorblatt einer Windkraftanlage mit einer Vorrichtung zum Erfassen eines Abstandswertes und Verfahren zum Erfassen eines Abstandswertes
US9297641B2 (en) 2011-12-12 2016-03-29 Mobileye Vision Technologies Ltd. Detection of obstacles at night by analysis of shadows
FR2984254B1 (fr) 2011-12-16 2016-07-01 Renault Sa Controle de vehicules autonomes
JP5605381B2 (ja) 2012-02-13 2014-10-15 株式会社デンソー クルーズ制御装置
US9042648B2 (en) 2012-02-23 2015-05-26 Microsoft Technology Licensing, Llc Salient object segmentation
US9128185B2 (en) * 2012-03-15 2015-09-08 GM Global Technology Operations LLC Methods and apparatus of fusing radar/camera object data and LiDAR scan points
US9476970B1 (en) 2012-03-19 2016-10-25 Google Inc. Camera based localization
US9134402B2 (en) 2012-08-13 2015-09-15 Digital Signal Corporation System and method for calibrating video and lidar subsystems
US9025880B2 (en) 2012-08-29 2015-05-05 Disney Enterprises, Inc. Visual saliency estimation for images and video
US9120485B1 (en) 2012-09-14 2015-09-01 Google Inc. Methods and systems for smooth trajectory generation for a self-driving vehicle
US9111444B2 (en) 2012-10-31 2015-08-18 Raytheon Company Video and lidar target detection and tracking system and method for segmenting moving targets
US9092430B2 (en) 2013-01-02 2015-07-28 International Business Machines Corporation Assigning shared catalogs to cache structures in a cluster computing system
US8788134B1 (en) 2013-01-04 2014-07-22 GM Global Technology Operations LLC Autonomous driving merge management system
CN110213565B (zh) 2013-01-15 2021-03-09 移动眼视力科技有限公司 成像系统和用于深度计算的方法
US9277132B2 (en) 2013-02-21 2016-03-01 Mobileye Vision Technologies Ltd. Image distortion correction of a camera with a rolling shutter
US9111355B1 (en) 2013-03-13 2015-08-18 Hrl Laboratories, Llc Selective color processing for vision systems that enables optimal detection and recognition
US9147255B1 (en) 2013-03-14 2015-09-29 Hrl Laboratories, Llc Rapid object detection by combining structural information from image segmentation with bio-inspired attentional mechanisms
US9342074B2 (en) 2013-04-05 2016-05-17 Google Inc. Systems and methods for transitioning control of an autonomous vehicle to a driver
US9438878B2 (en) 2013-05-01 2016-09-06 Legend3D, Inc. Method of converting 2D video to 3D video using 3D object models
US9671243B2 (en) 2013-06-13 2017-06-06 Mobileye Vision Technologies Ltd. Vision augmented navigation
US9110163B2 (en) * 2013-06-14 2015-08-18 Microsoft Technology Licensing, Llc Lidar-based classification of object movement
US9336436B1 (en) * 2013-09-30 2016-05-10 Google Inc. Methods and systems for pedestrian avoidance
US9315192B1 (en) 2013-09-30 2016-04-19 Google Inc. Methods and systems for pedestrian avoidance using LIDAR
US9122954B2 (en) 2013-10-01 2015-09-01 Mobileye Vision Technologies Ltd. Performing a histogram using an array of addressable registers
US9738280B2 (en) 2013-10-03 2017-08-22 Robert Bosch Gmbh Adaptive cruise control with on-ramp detection
US9299004B2 (en) 2013-10-24 2016-03-29 Adobe Systems Incorporated Image foreground detection
US9330334B2 (en) 2013-10-24 2016-05-03 Adobe Systems Incorporated Iterative saliency map estimation
US8989944B1 (en) * 2013-11-26 2015-03-24 Google Inc. Methods and devices for determining movements of an object in an environment
US9796400B2 (en) * 2013-11-27 2017-10-24 Solfice Research, Inc. Real time machine vision and point-cloud analysis for remote sensing and vehicle control
US9090260B2 (en) 2013-12-04 2015-07-28 Mobileye Vision Technologies Ltd. Image-based velocity control for a turning vehicle
US9285230B1 (en) * 2013-12-20 2016-03-15 Google Inc. Methods and systems for detecting road curbs
CA2935617C (en) 2013-12-30 2023-09-12 Craig Arnold Tieman Connected vehicle system with infotainment interface for mobile devices
US9272709B2 (en) 2014-01-30 2016-03-01 Mobileye Vision Technologies Ltd. Systems and methods for detecting traffic lights
EP3108264A2 (en) 2014-02-20 2016-12-28 Mobileye Vision Technologies Ltd. Advanced driver assistance system based on radar-cued visual imaging
CN103793925B (zh) 2014-02-24 2016-05-18 北京工业大学 融合时空特征的视频图像视觉显著程度检测方法
DE102014205170A1 (de) 2014-03-20 2015-11-26 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Ermitteln einer Trajektorie für ein Fahrzeug
US9481295B2 (en) * 2014-03-22 2016-11-01 Ford Global Technologies, Llc Emergency vehicle maneuver communications
US9098754B1 (en) * 2014-04-25 2015-08-04 Google Inc. Methods and systems for object detection using laser point clouds
CN105100134A (zh) 2014-04-28 2015-11-25 思科技术公司 屏幕共享缓存管理
CN106663193B (zh) 2014-05-14 2020-12-25 御眼视觉技术有限公司 用于路缘检测和行人危险评估的系统和方法
US9720418B2 (en) 2014-05-27 2017-08-01 Here Global B.V. Autonomous vehicle monitoring and control
US10572744B2 (en) 2014-06-03 2020-02-25 Mobileye Vision Technologies Ltd. Systems and methods for detecting an object
US9457807B2 (en) 2014-06-05 2016-10-04 GM Global Technology Operations LLC Unified motion planning algorithm for autonomous driving vehicle in obstacle avoidance maneuver
US9554030B2 (en) 2014-09-29 2017-01-24 Yahoo! Inc. Mobile device image acquisition using objects of interest recognition
US9746550B2 (en) 2014-10-08 2017-08-29 Ford Global Technologies, Llc Detecting low-speed close-range vehicle cut-in
KR101664582B1 (ko) 2014-11-12 2016-10-10 현대자동차주식회사 자율주행차량의 주행경로 생성장치 및 방법
US20160231746A1 (en) * 2015-02-06 2016-08-11 Delphi Technologies, Inc. System And Method To Operate An Automated Vehicle
US10115024B2 (en) 2015-02-26 2018-10-30 Mobileye Vision Technologies Ltd. Road vertical contour detection using a stabilized coordinate frame
US9625582B2 (en) * 2015-03-25 2017-04-18 Google Inc. Vehicle with multiple light detection and ranging devices (LIDARs)
JP6421684B2 (ja) 2015-04-17 2018-11-14 井関農機株式会社 乗用草刈機
US10635761B2 (en) 2015-04-29 2020-04-28 Energid Technologies Corporation System and method for evaluation of object autonomy
US9836056B2 (en) * 2015-06-05 2017-12-05 Bao Tran Smart vehicle
US9711050B2 (en) * 2015-06-05 2017-07-18 Bao Tran Smart vehicle
DE102015211926A1 (de) 2015-06-26 2016-12-29 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ermitteln bzw. Bewerten einer Soll-Trajektorie eines Kraftfahrzeugs
CN107925476B (zh) 2015-07-23 2020-11-10 日本电气株式会社 路由切换设备、路由切换系统和路由切换方法
EP3995783A1 (en) * 2015-08-03 2022-05-11 TomTom Global Content B.V. Methods and systems for generating and using localisation reference data
US9587952B1 (en) 2015-09-09 2017-03-07 Allstate Insurance Company Altering autonomous or semi-autonomous vehicle operation based on route traversal values
US9630619B1 (en) * 2015-11-04 2017-04-25 Zoox, Inc. Robotic vehicle active safety systems and methods
US9841763B1 (en) * 2015-12-16 2017-12-12 Uber Technologies, Inc. Predictive sensor array configuration system for an autonomous vehicle
KR102373926B1 (ko) * 2016-02-05 2022-03-14 삼성전자주식회사 이동체 및 이동체의 위치 인식 방법
US9568915B1 (en) 2016-02-11 2017-02-14 Mitsubishi Electric Research Laboratories, Inc. System and method for controlling autonomous or semi-autonomous vehicle
US9535423B1 (en) 2016-03-29 2017-01-03 Adasworks Kft. Autonomous vehicle with improved visual detection ability
CN107817503B (zh) * 2016-09-14 2018-12-21 北京百度网讯科技有限公司 应用于激光点云数据的运动补偿方法和装置
WO2018060313A1 (en) * 2016-09-28 2018-04-05 Tomtom Global Content B.V. Methods and systems for generating and using localisation reference data
US10248872B2 (en) * 2016-10-19 2019-04-02 Texas Instruments Incorporated Estimation of time to collision in a computer vision system
EP3392798A1 (en) * 2017-04-21 2018-10-24 Delphi Technologies, Inc. A method for the semantic segmentation of an image
US10552691B2 (en) * 2017-04-25 2020-02-04 TuSimple System and method for vehicle position and velocity estimation based on camera and lidar data
US10558864B2 (en) * 2017-05-18 2020-02-11 TuSimple System and method for image localization based on semantic segmentation
US10493988B2 (en) * 2017-07-01 2019-12-03 TuSimple System and method for adaptive cruise control for defensive driving
US10737695B2 (en) * 2017-07-01 2020-08-11 Tusimple, Inc. System and method for adaptive cruise control for low speed following
US10163017B2 (en) * 2017-09-01 2018-12-25 GM Global Technology Operations LLC Systems and methods for vehicle signal light detection
US20180095475A1 (en) * 2017-11-22 2018-04-05 GM Global Technology Operations LLC Systems and methods for visual position estimation in autonomous vehicles
US10546202B2 (en) * 2017-12-14 2020-01-28 Toyota Research Institute, Inc. Proving hypotheses for a vehicle using optimal experiment design

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070055446A1 (en) * 2005-09-02 2007-03-08 Schiffmann Jan K Method for estimating unknown parameters for a vehicle object detection system
US8055445B2 (en) * 2008-09-24 2011-11-08 Delphi Technologies, Inc. Probabilistic lane assignment method
CN105358397A (zh) * 2013-05-03 2016-02-24 谷歌公司 对控制车辆的速度的预测性推理
CN104102218A (zh) * 2014-06-30 2014-10-15 西北工业大学 基于视觉伺服的感知与规避方法及系统
CN106354130A (zh) * 2016-10-31 2017-01-25 北京新能源汽车股份有限公司 无人驾驶汽车及其控制方法和远程监控系统

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163904B (zh) * 2018-09-11 2022-04-22 腾讯大地通途（北京）科技有限公司 对象标注方法、移动控制方法、装置、设备及存储介质
CN110163904A (zh) * 2018-09-11 2019-08-23 腾讯大地通途（北京）科技有限公司 对象标注方法、移动控制方法、装置、设备及存储介质
US11893785B2 (en) 2018-09-11 2024-02-06 Tencent Technology (Shenzhen) Company Limited Object annotation method and apparatus, movement control method and apparatus, device, and storage medium
CN111045024B (zh) * 2018-10-15 2024-04-19 图森有限公司 一种基于光检测和测距的车辆追踪方法和系统
CN111045024A (zh) * 2018-10-15 2020-04-21 图森有限公司 一种基于光检测和测距的车辆追踪方法和系统
CN110068826B (zh) * 2019-03-27 2021-05-07 东软睿驰汽车技术（沈阳）有限公司 一种测距的方法及装置
CN110068826A (zh) * 2019-03-27 2019-07-30 东软睿驰汽车技术（沈阳）有限公司 一种测距的方法及装置
US11538251B2 (en) 2019-07-08 2022-12-27 Rayz Technologies Co. Ltd. Vehicle control and 3D environment experience with or without visualization based on 3D audio/visual sensors
CN110281950B (zh) * 2019-07-08 2020-09-04 睿镞科技(北京)有限责任公司 基于三维声像传感器的载运工具控制与可视化环境体验
CN110281950A (zh) * 2019-07-08 2019-09-27 睿镞科技(北京)有限责任公司 基于三维声像传感器的载运工具控制与可视化环境体验
CN113888903A (zh) * 2021-11-05 2022-01-04 四川启睿克科技有限公司 一种头戴式车辆接近告警系统
CN114367110A (zh) * 2022-01-10 2022-04-19 腾讯科技（深圳）有限公司 数据处理方法、装置、电子设备及存储介质
CN114367110B (zh) * 2022-01-10 2023-06-20 腾讯科技（深圳）有限公司 数据处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN107816976B (zh) 2020-06-16
AU2018256926A1 (en) 2019-10-31
US20200160071A1 (en) 2020-05-21
EP3616020A4 (en) 2020-12-30
US11928868B2 (en) 2024-03-12
US20180308250A1 (en) 2018-10-25
CN110914707A (zh) 2020-03-24
US20230162510A1 (en) 2023-05-25
EP3616020A1 (en) 2020-03-04
AU2018256926B2 (en) 2023-03-30
WO2018201162A1 (en) 2018-11-01
AU2023203964A1 (en) 2023-07-13
US10552691B2 (en) 2020-02-04
CN117452428A (zh) 2024-01-26
CN110914707B (zh) 2023-11-07
US11557128B2 (en) 2023-01-17

Similar Documents

Publication Publication Date Title
CN107816976A (zh) 一种接近物体的位置确定方法和装置
CN107796374A (zh) 一种图像定位方法、系统和装置
US11710153B2 (en) Autonomy first route optimization for autonomous vehicles
CN107776574B (zh) 一种自动驾驶车辆的驾驶模式切换方法和装置
US11727811B2 (en) System and method for determining car to lane distance
US10551207B2 (en) Autonomous vehicle sensor data and map integration
US10845803B2 (en) Method and apparatus for simultaneous processing and logging of automotive vision system with controls and fault monitoring
US10982968B2 (en) Sensor fusion methods for augmented reality navigation
US11014569B2 (en) Vehicle control system using nonlinear dynamic model states and steering offset estimation
US10818110B2 (en) Methods and systems for providing a mixed autonomy vehicle trip summary
US20210239793A1 (en) High precision multi-sensor extrinsic calibration via production line and mobile station
US11636077B2 (en) Methods, devices, and systems for processing sensor data of vehicles
CN110356401A (zh) 一种自动驾驶车辆及其变道控制方法和系统
US11820255B2 (en) Predictive regenerative braking
US11647164B2 (en) Methods and systems for camera sharing between autonomous driving and in-vehicle infotainment electronic control units
CN115330923B (zh) 点云数据渲染方法、装置、车辆、可读存储介质及芯片
US10891048B2 (en) Method and system for user interface layer invocation
CN114937351B (zh) 车队控制方法、装置、存储介质、芯片、电子设备及车辆
US11571987B2 (en) Optimization of battery pack size using swapping
US11619950B2 (en) Systems and methods for projecting a three-dimensional (3D) surface to a two-dimensional (2D) surface for use in autonomous driving
US11257230B2 (en) Adaptive feature map anchor pruning
CN114964294A (zh) 导航方法、装置、存储介质、电子设备、芯片和车辆
CN117194741A (zh) 数据采集方法、装置、控制器、车辆、存储介质与芯片

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 101300 Shunyi District Zhongguancun Science Park, Shunyi Park, No. 1 Linkong Second Road, Shunyi District, Beijing

Patentee after: BEIJING TUSEN WEILAI TECHNOLOGY Co.,Ltd.

Patentee after: Tucson Ltd.

Address before: 101300 Shunyi District Zhongguancun Science Park, Shunyi Park, No. 1 Linkong Second Road, Shunyi District, Beijing

Patentee before: BEIJING TUSEN WEILAI TECHNOLOGY Co.,Ltd.

Patentee before: TUSIMPLE

CP01 Change in the name or title of a patent holder