CN111666876B - 用于检测障碍物的方法、装置、电子设备和路侧设备 - Google Patents

用于检测障碍物的方法、装置、电子设备和路侧设备 Download PDF

Info

Publication number
CN111666876B
CN111666876B CN202010507273.0A CN202010507273A CN111666876B CN 111666876 B CN111666876 B CN 111666876B CN 202010507273 A CN202010507273 A CN 202010507273A CN 111666876 B CN111666876 B CN 111666876B
Authority
CN
China
Prior art keywords
camera
grid
obstacle
coordinate system
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010507273.0A
Other languages
English (en)
Other versions
CN111666876A (zh
Inventor
贾金让
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apollo Intelligent Connectivity Beijing Technology Co Ltd
Original Assignee
Apollo Zhilian Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apollo Zhilian Beijing Technology Co Ltd filed Critical Apollo Zhilian Beijing Technology Co Ltd
Priority to CN202010507273.0A priority Critical patent/CN111666876B/zh
Publication of CN111666876A publication Critical patent/CN111666876A/zh
Application granted granted Critical
Publication of CN111666876B publication Critical patent/CN111666876B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了用于检测障碍物的方法、装置、电子设备和路侧设备，涉及智能交通领域。具体实现方案为：获取呈现有障碍物的障碍物图像，其中，障碍物图像为目标相机所拍摄的；确定障碍物在障碍物图像中的预设接地点，获取接地点在障碍物图像中的像素坐标；利用像素坐标和预设的搜索参数，从预先生成的栅格中提取目标栅格；获取目标栅格的相机坐标，利用相机坐标，确定障碍物所在位置的地面方程集合；利用地面方程集合，将障碍物在像素坐标系下的像素坐标转换成在相机坐标系下的相机坐标，其中，像素坐标系以障碍物图像的预设位置点为坐标原点。该实施方式提高了路侧相机或车辆相机对障碍物的检测效率。

Description

用于检测障碍物的方法、装置、电子设备和路侧设备
技术领域
本申请实施例涉及计算机技术领域，具体涉及智能交通技术领域。
背景技术
路侧感知技术是通过路侧传感器和感知算法将感知到的障碍物发送给车辆，从而帮助车实现自动驾驶功能的一种技术。在基于路侧相机的路侧感知场景中，由于路测相机缺少深度信息，计算2D图像中的障碍物在3D世界里的真实位置需要障碍物位置的地面方程。准确的地面方程可以极大地提高回3D(确定障碍物在世界坐标系下的位置的过程)的精度。
发明内容
提供了一种用于检测障碍物的方法、装置、电子设备和路侧设备。
根据第一方面，提供了一种用于检测障碍物的方法，包括：获取呈现有障碍物的障碍物图像，其中，障碍物图像为目标相机所拍摄的；确定障碍物在障碍物图像中的预设接地点，获取接地点在障碍物图像中的像素坐标；利用像素坐标和预设的搜索参数，从预先生成的栅格中提取目标栅格；获取目标栅格的相机坐标，利用相机坐标，确定障碍物所在位置的地面方程集合，其中，相机坐标是在目标相机的相机坐标系下的坐标；利用地面方程集合，将障碍物在像素坐标系下的像素坐标转换成在相机坐标系下的相机坐标，其中，像素坐标系以障碍物图像的预设位置点为坐标原点。
根据第二方面，提供了一种用于检测障碍物的装置，包括：获取单元，被配置成获取呈现有障碍物的障碍物图像，其中，障碍物图像为目标相机所拍摄的；第一确定单元，被配置成确定障碍物在障碍物图像中的预设接地点，获取接地点在障碍物图像中的像素坐标；提取单元，被配置成利用像素坐标和预设的搜索参数，从预先生成的栅格中提取目标栅格；第二确定单元，被配置成获取目标栅格的相机坐标，利用相机坐标，确定障碍物所在位置的地面方程集合，其中，相机坐标是在目标相机的相机坐标系下的坐标；转换单元，被配置成利用地面方程集合，将障碍物在像素坐标系下的像素坐标转换成在相机坐标系下的相机坐标，其中，像素坐标系以障碍物图像的预设位置点为坐标原点。
根据第三方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行第一方面中任一项的方法。
根据第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行第一方面中任一项的方法。
根据第五方面，提供了一种路侧设备，包括第三方面中的电子设备。
根据第六方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现上述方法。
根据本申请的技术，首先获取呈现有障碍物的障碍物图像；之后，确定上述障碍物在上述障碍物图像中的预设接地点，获取上述接地点在上述障碍物图像中的像素坐标；而后，利用上述像素坐标和预设的搜索参数，从预先生成的栅格中提取目标栅格；然后，获取上述目标栅格的相机坐标，利用上述相机坐标，确定上述障碍物所在位置的地面方程集合；最后，利用上述地面方程集合，将上述障碍物在像素坐标系下的像素坐标转换成在上述相机坐标系下的相机坐标。通过这种方式，可以直接查找障碍物所在位置的预设区域内的所有栅格预先确定的相机坐标，构建障碍物的地面方程，这种构建地面方程的方式的时间复杂度为O(n)，从而提高了路侧相机或车辆相机对障碍物的检测效率。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是本申请的各个实施例可以应用于其中的示例性系统架构图；
图2是根据本申请的用于检测障碍物的方法的一个实施例的流程图；
图3是根据本申请的用于检测障碍物的方法的一个应用场景的示意图；
图4是根据本申请的用于检测障碍物的方法中生成栅格的一个实施例的流程图；
图5是根据本申请的用于检测障碍物的装置的一个实施例的结构示意图；
图6是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1示出了可以应用本申请的用于检测障碍物的方法的实施例的示例性系统架构100。
如图1所示，系统架构100可以包括相机101，网络1021、1022、1023，检测服务器103，无人车的车载终端设备104和处理服务器105。网络1021用以在相机101和检测服务器103之间提供通信链路的介质。网络1022用以在检测服务器103和车载终端设备104之间提供通信链路的介质。网络1023用以在检测服务器103和处理服务器105之间提供通信链路的介质。网络1021、1022、1023可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
相机101可以通过网络1021与检测服务器103交互，以发送或接收消息等(例如，相机101可以向检测服务器103发送拍摄到的障碍物图像)等。
在这里，相机101通常是路侧相机，例如，可以是在十字路口对违法(比如，跨越车道压实线、逆向行驶、占用非机动车道、不按导向标识行驶、闯红灯等)车辆进行抓拍的电子警察，还可以是安装于高速公路、省道和国道的一些重点路段用来抓拍超速开车违法行为的卡口相机。
车载终端设备104可以通过网络1022与检测服务器103交互，以接收或发送消息等。车载终端设备104可以接收检测服务器103发送的障碍物的世界坐标，以控制对应的无人车对障碍物进行躲避。
处理服务器105可以通过网络1023与检测服务器103交互，以接收或发送消息等，例如，处理服务器105可以将生成的栅格发送给检测服务器103，也可以将确定出的栅格在相机坐标系下的相机坐标发送给检测服务器103。
需要说明的是，处理服务器105可以是硬件，也可以是软件。当处理服务器105为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当处理服务器105为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。
检测服务器103可以是提供各种服务的服务器。例如，可以是对障碍物图像进行分析的后台服务器。检测服务器103可以首先从相机101中获取呈现有障碍物的障碍物图像；之后，可以确定上述障碍物在上述障碍物图像中的预设接地点，获取上述接地点在上述障碍物图像中的像素坐标；而后，可以利用上述像素坐标和预设的搜索参数，从预先生成的栅格中提取目标栅格；然后，可以获取上述目标栅格的相机坐标，利用上述相机坐标，确定上述障碍物所在位置的地面方程集合；最后，可以利用上述地面方程集合，将上述障碍物在像素坐标系下的像素坐标转换成在上述相机坐标系下的相机坐标。
需要说明的是，检测服务器103可以是硬件，也可以是软件。当检测服务器103为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当检测服务器103为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。
需要说明的是，本申请实施例所提供的用于检测障碍物的方法一般由检测服务器103执行，相应地，用于检测障碍物的装置一般设置于检测服务器103中。
还需要说明的是，检测服务器103的本地可以存储有预先生成的栅格和栅格的相机坐标，检测服务器103可以从本地获取预先生成的栅格和栅格的相机坐标。此时示例性系统架构100可以不存在处理服务器105和网络1023。
应该理解，图1中的相机、网络、检测服务器、无人车的车载终端设备和处理服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的相机、网络、检测服务器、无人车的车载终端设备和处理服务器。
继续参考图2，示出了根据本申请的用于检测障碍物的方法的一个实施例的流程200。该用于检测障碍物的方法，包括以下步骤：
步骤201，获取呈现有障碍物的障碍物图像。
在本实施例中，用于检测障碍物的方法的执行主体(例如图1所示的检测服务器103)可以获取呈现有障碍物的障碍物图像。上述障碍物图像可以是目标相机所拍摄的，上述目标相机通常是路侧相机。路侧相机通常是安装在道路两侧、用于对道路情况进行记录的相机。在这里，障碍物可以包括但不限于以下至少一项：车辆、行人、树木和建筑物。
步骤202，确定障碍物在障碍物图像中的预设接地点，获取接地点在障碍物图像中的像素坐标。
在本实施例中，上述执行主体可以确定上述障碍物在上述障碍物图像中的预设接地点。在这里，上述接地点可以近似于接近地面的点。作为一种示例，可以将障碍物区域的四个交点中离目标相机最近的点(障碍物区域的四个交点中离2D检测框的下边缘最近的点)作为接地点。作为另一种示例，也可以将2D检测框的下边缘的中心点作为接地点。
在本实施例中，上述2D检测框用于对障碍物进行检测，可以为包含障碍物区域的最小外接矩形。上述2D检测框可以是将上述障碍物图像输入预先训练的检测模型中得到的。上述检测模型可以用于表征障碍物图像与障碍物图像所呈现的障碍物的2D检测框之间的对应关系。
之后，上述执行主体可以获取上述接地点在上述障碍物图像中的像素坐标，上述接地点的像素坐标通常是在像素坐标系下的坐标。在这里，像素坐标系通常是以上述障碍物图像的预设位置点(例如，左上角)为坐标原点，向右向下分别为横坐标轴正方向和纵坐标轴正方向的坐标系。
步骤203，利用像素坐标和预设的搜索参数，从预先生成的栅格中提取目标栅格。
在本实施例中，上述执行主体可以利用上述接地点的像素坐标和预设的搜索参数，从预先生成的栅格中提取目标栅格。上述搜索参数可以包括搜索半径，例如，可以近似为车辆长度的一半(如2.5米)。上述搜索参数也可以包括搜索长度(如6米)和搜索宽度(如5米)。
作为一种示例，上述执行主体可以以上述接地点的像素坐标为圆心、以上述搜索半径为半径，从预先生成的栅格中提取栅格作为目标栅格。
作为另一种示例，上述执行主体也可以以上述接地点的像素坐标为矩形的中心点、以上述搜索长度和搜索宽度为矩形的边长，从预先生成的栅格中提取栅格作为目标栅格。
步骤204，获取目标栅格的相机坐标，利用相机坐标，确定障碍物所在位置的地面方程集合。
在本实施例中，上述执行主体可以获取上述目标栅格的相机坐标。上述相机坐标通常是在上述目标相机的相机坐标系下的坐标。上述相机坐标系通常是以上述目标相机的聚焦中心为坐标原点、以光轴为Z轴建立的三维直角坐标系。
在这里，栅格的相机坐标可以是上述执行主体或者其他电子设备预先离线确定出的。上述执行主体中通常存储有栅格的标识(例如，栅格的位置信息)与栅格的相机坐标之间的对应关系。在提取出目标栅格之后，上述执行主体可以通过索引获取上述目标栅格的相机坐标。
之后，上述执行主体可以利用上述相机坐标，确定上述障碍物所在位置的地面方程集合。地面方程通常在相机坐标系下，地面方程也可以称为平面方程，指的是空间中所有处于同一平面的点所对应的方程，其一般式形如Ax+By+Cz+D＝0。由上述一般式可知，三点可以确定一个平面，因此，由三个目标栅格的相机坐标就可以确定一个地面方程，利用多个目标栅格的相机坐标可以确定多个地面方程组成地面方程集合。利用上述地面方程集合可以对障碍物所在位置的地面进行拟合。
步骤205，利用地面方程集合，将障碍物在像素坐标系下的像素坐标转换成在相机坐标系下的相机坐标。
在本实施例中，上述执行主体可以利用上述地面方程集合，将上述障碍物在像素坐标系下的像素坐标转换成在上述相机坐标系下的相机坐标。上述执行主体可以利用上述目标相机的内参将像素坐标转换成相机坐标。相机的内参通常是与相机自身特性相关的参数，比如相机的焦距、像素大小等。由于从像素坐标转换到相机坐标缺少深度信息，将像素坐标系中的某一点转换到相机坐标系下是一条射线，所以需要地平面。将这条射线与利用上述地面方程集合所拟合出的地面的交点作为这一点对应的地平面，通过这种方式可以实现坐标转换。需要说明的是，从像素坐标转换成相机坐标的转换方法是目前广泛研究和应用的公知技术，在此不再赘述。
本申请的上述实施例提供的方法可以直接查找障碍物所在位置的预设区域内的所有栅格预先确定的相机坐标，构建障碍物的地面方程，这种构建地面方程的方式的时间复杂度为O(n)，从而提高了路侧相机或车辆相机对障碍物的检测效率。本申请方法可用于路侧相机或是车辆相机等各类位置的相机设备上。
在本实施例的一些可选的实现方式中，上述栅格在上述相机坐标系下的Z坐标值可以是通过如下方式确定的：针对划分得到的栅格中的每个栅格，可以将与该栅格对应的参考点在上述相机坐标系下的Z坐标值确定为该栅格在上述相机坐标系下的Z坐标值。在这里，与该栅格对应的参考点可以为X坐标值在该栅格的X坐标区间内、且Y坐标值在该栅格的Y坐标区间内的参考点。作为示例，若栅格S的X坐标区间为10-20，Y坐标区间为40-50，参考点i在相机坐标系下的坐标为(15,47,18)，则参考点i与栅格S相对应，可以将参考点i的Z坐标值18作为栅格S在相机坐标系下的Z坐标值。之后，可以遍历各个栅格，对不存在Z坐标值的栅格进行最近邻插值处理。由于并不是所有的栅格都对应有参考点，此时，对于不存在Z坐标值的栅格中的每个栅格，将与该栅格最邻近的栅格的Z坐标值赋给该栅格。通过这种方式可以准确地确定出栅格在相机坐标系下的Z坐标值，并且保证了每个栅格在相机坐标系下均存在Z坐标值。
需要说明的是，若该栅格最邻近的栅格的数量大于等于2，则可以求取最近邻的至少两个栅格的Z坐标值的平均值赋给该栅格。
还需要说明的是，栅格的X坐标值可以是栅格的X坐标区间内指定位置上的坐标值，例如，可以是X坐标区间的中心位置上的坐标值。栅格的Y坐标值可以是栅格的Y坐标区间内指定位置上的坐标值，例如，可以是Y坐标区间的中心位置上的坐标值。
还需要说明的是，上述栅格在上述相机坐标系下的Z坐标值可以是上述执行主体确定的，也可以是除上述执行主体之外的其它电子设备确定出的。若上述栅格在上述相机坐标系下的Z坐标值是由其它电子设备确定出的，其它电子设备可以将确定出的上述栅格在上述相机坐标系下的Z坐标值发送给上述执行主体。
在本实施例的一些可选的实现方式中，针对划分得到的栅格中的每个栅格，可以通过如下步骤将与该栅格对应的参考点在上述相机坐标系下的Z坐标值确定为该栅格在上述相机坐标系下的Z坐标值：针对划分得到的栅格中的每个栅格，可以确定与该栅格对应的参考点的数目是否大于预设数目。在这里，上述数目通常为1，即确定与该栅格对应的参考点的数目是否大于1。若确定出与该栅格对应的参考点的数目大于1，则可以确定与该栅格对应的至少两个参考点在上述相机坐标系下的Z坐标值的中位数作为该栅格在上述相机坐标系下的Z坐标值。中位数又可以称为中值，是按顺序排列的一组数据中居于中间位置的数，代表一个样本、种群或概率分布中的一个数值，其可将数值集合划分为相等的上下两部分。对于有限的数集，可以通过把所有观察值按照从高到低或者从低到高的顺序排序后找出正中间的一个作为中位数。如果观察值的数目为偶数个，通常可以取最中间的两个数值的平均数作为中位数。通过这种方式可以对对应有多个参考点的栅格的Z坐标值进行确定，通过取Z坐标值的中位数的这种方式避免了异常值的影响，使得所设置的栅格的Z坐标值更加合理。
在另一种实现方式中，若确定出与该栅格对应的参考点的数目大于1，也可以确定与该栅格对应的至少两个参考点在上述相机坐标系下的质心的Z坐标值作为该栅格在上述相机坐标系下的Z坐标值。质量中心简称质心，指物质系统上被认为质量集中于此的一个假想点。
继续参见图3，图3是根据本实施例的用于检测障碍物的方法的一个应用场景的示意图。在图3的应用场景中，目标相机302采集到呈现有障碍物的障碍物图像303，服务器301可以从目标相机302获取障碍物图像303。之后，服务器301可以确定障碍物在障碍物图像303中的预设接地点。在这里，服务器301可以将2D检测框的下边缘的中心点作为障碍物的接地点。图标3041为障碍物“汽车”的2D检测框，图标3042为障碍物“汽车”在障碍物图像303中的接地点。服务器301可以获取障碍物“汽车”的接地点3042在障碍物图像303中的像素坐标305，在这里，像素坐标305为(52，66)。而后，服务器301可以利用像素坐标305和预设的搜索参数306，从预先生成的栅格中提取目标栅格。在这里，可以以障碍物的像素坐标305为中心点、以搜索参数306中的搜索长度和搜索宽度为矩形的边长，提取出目标栅格，如图标307所示。然后，服务器301可以获取目标栅格307的相机坐标308，利用相机坐标308，确定障碍物“汽车”所在位置的地面方程集合309。最后，服务器301可以利用地面方程集合309，将障碍物“汽车”在像素坐标系下的像素坐标305转换成在相机坐标系下的相机坐标310。
进一步参考图4，其示出了根据本申请的用于检测障碍物的方法中生成栅格的一个实施例的流程400。如图4所示，本实施例中，生成栅格的生成步骤包括：
步骤401，获取地面元素的预设参考点在世界坐标系下的世界坐标。
在本实施例中，生成步骤的执行主体(例如图1中的检测服务器103或处理服务器105)可以获取上述目标相机在相机视野内拍摄的地面元素的预设参考点在世界坐标系下的世界坐标。上述地面元素可以包括以下至少一项：车道线和停止线。车道线通常指的是车道标线，包括导向车道线和可变导向车道线。导向车道线通常指的是引导方向的车道标线，用来指示车辆在路口驶入段应按所指方向行驶。可变导向车道线通常指的是进入该车道后的走向须根据对应车道信号灯的指示确定。停止线通常指的是在道路交叉口(通常是红绿灯路口)横在前面的白色实线，表示等待释放通行信号的车辆位置，并且不能超过或压下停止线。
在这里，上述目标相机拍摄到2D图像之后，可以将上述2D图像发送给上述生成步骤的执行主体，上述执行主体可以将上述2D图像投影到高精地图。由于高精地图中存在一系列的参考点，因此，将2D图像投影到高精地图，可以得到相机视野内所拍摄到的2D图像中地面元素的参考点。由于高精地图的地图信息中通常包括每个参考点在世界坐标系下的世界坐标，上述执行主体可以获取上述地面元素的参考点的世界坐标。
步骤402，利用目标相机的相机外参，将参考点的世界坐标转换成在相机坐标系下的相机坐标。
在本实施例中，上述执行主体可以利用上述目标相机的相机外参，将上述参考点的世界坐标转换成在上述相机坐标系下的相机坐标。相机外参通常包括旋转矩阵和平移矩阵。旋转矩阵和平移矩阵共同描述了如何把点从世界坐标系转换到相机坐标系。
公式(1)为将参考点的世界坐标Pw转换成相机坐标Pc的过程，其中，R为旋转矩阵，T为平移矩阵，R和T为事先离线标定好的外参。
Figure GDA0002876728230000101
步骤403，确定包含参考点的参考区域，对参考区域进行栅格化处理，得到栅格。
在本实施例中，上述执行主体可以确定包含上述参考点的参考区域。具体地，上述执行主体可以对上述参考点进行遍历，找到上述参考点中最大的横坐标和最小的横坐标，以及找到上述参考点中最大的纵坐标和最小的纵坐标。将上述最小的横坐标和上述最大的横坐标所组成的横坐标区间确定为参考区域的横坐标区间，将上述最小的纵坐标和上述最大的纵坐标所组成的纵坐标区间确定为参考区域的纵坐标区间。
之后，上述执行主体可以对上述参考区域进行栅格化处理，得到栅格。栅格化处理通常是指对上述参考区域的横纵坐标区间按照预设间隔进行划分，得到多个矩形网格。具体地，上述参考区域的横坐标区间长度通常为Xmax-Xmin、上述参考区域的纵坐标区间长度为Ymax-Ymin，若利用分段间隔R对上述参考区域的横坐标区间进行划分，可以得到横坐标的分段数量为
Figure GDA0002876728230000102
利用分段间隔R对上述参考区域的纵坐标区间进行划分，可以得到纵坐标的分段数量为/>
Figure GDA0002876728230000103
此时，所得到的栅格数量为/>
Figure GDA0002876728230000104
需要说明的是，若横坐标区间长度或纵坐标区间长度除以分段间隔所得到的分段数量不是整数，需要对分段数量向上取整。
本申请的上述实施例提供的方法可以预先离线生成栅格，为在线计算地面方程提供计算基础。利用所生成的栅格，可以分段计算地面方程，提高了障碍物的检测精度。
在本实施例的一些可选的实现方式中，上述执行主体可以通过如下方式对上述参考区域进行栅格化处理，得到栅格：上述执行主体可以以小于目标数值的分段间隔对上述参考区域进行栅格化处理，得到稠密化的栅格。上述目标数值通常为能使栅格划分的足够稠密的数值，例如，10厘米。通过稠密栅格的划分方式可以实现参考点的均匀分布，足够稠密的参考点使拟合平面时不会产生异常解，提高了划分精度和鲁棒性。
进一步参考图5，作为对上述各图所示方法的实现，本申请提供了一种用于检测障碍物的装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图5所示，本实施例的用于检测障碍物的装置500包括：获取单元501、第一确定单元502、提取单元503、第二确定单元504和转换单元505。其中，获取单元501被配置成获取呈现有障碍物的障碍物图像，其中，障碍物图像为目标相机所拍摄的；第一确定单元502被配置成确定障碍物在障碍物图像中的预设接地点，获取接地点在障碍物图像中的像素坐标；提取单元503被配置成利用像素坐标和预设的搜索参数，从预先生成的栅格中提取目标栅格；第二确定单元504被配置成获取目标栅格的相机坐标，利用相机坐标，确定障碍物所在位置的地面方程集合，其中，相机坐标是在目标相机的相机坐标系下的坐标；转换单元505被配置成利用地面方程集合，将障碍物在像素坐标系下的像素坐标转换成在相机坐标系下的相机坐标，其中，像素坐标系以障碍物图像的预设位置点为坐标原点。
在本实施例中，用于检测障碍物的装置500的获取单元501、第一确定单元502、提取单元503、第二确定单元504和转换单元505的具体处理及其所带来的技术效果可分别参考图2对应实施例中的步骤201-205的相关说明，在此不再赘述。
在本实施例的一些可选的实现方式中，用于检测障碍物的装置500还可以包括生成单元(图中未示出)。上述生成单元可以首先获取上述目标相机在相机视野内拍摄的地面元素的预设参考点在世界坐标系下的世界坐标。上述地面元素可以包括以下至少一项：车道线和停止线。之后，上述生成单元可以利用上述目标相机的相机外参，将上述参考点的世界坐标转换成在上述相机坐标系下的相机坐标。相机外参通常包括旋转矩阵和平移矩阵。旋转矩阵和平移矩阵共同描述了如何把点从世界坐标系转换到相机坐标系。然后，上述生成单元可以确定包含上述参考点的参考区域。具体地，上述生成单元可以对上述参考点进行遍历，找到上述参考点中最大的横坐标和最小的横坐标，以及找到上述参考点中最大的纵坐标和最小的纵坐标。将上述最小的横坐标和上述最大的横坐标所组成的横坐标区间确定为参考区域的横坐标区间，将上述最小的纵坐标和上述最大的纵坐标所组成的纵坐标区间确定为参考区域的纵坐标区间。最后，上述生成单元可以对上述参考区域进行栅格化处理，得到栅格。栅格化处理通常是指对上述参考区域的横纵坐标区间按照预设间隔进行划分，得到多个矩形网格。具体地，上述参考区域的横坐标区间长度通常为Xmax-Xmin、上述参考区域的纵坐标区间长度为Ymax-Ymin，若利用分段间隔R对上述参考区域的横坐标区间进行划分，可以得到横坐标的分段数量为
Figure GDA0002876728230000121
利用分段间隔R对上述参考区域的纵坐标区间进行划分，可以得到纵坐标的分段数量为/>
Figure GDA0002876728230000122
此时，所得到的栅格数量为
Figure GDA0002876728230000123
需要说明的是，若横坐标区间长度或纵坐标区间长度除以分段间隔所得到的分段数量不是整数，需要对分段数量向上取整。
在本实施例的一些可选的实现方式中，上述生成单元可以通过如下方式对上述参考区域进行栅格化处理，得到栅格：上述生成单元可以以小于目标数值的分段间隔对上述参考区域进行栅格化处理，得到稠密化的栅格。上述目标数值通常为能使栅格划分的足够稠密的数值，例如，10厘米。通过稠密栅格的划分方式可以实现参考点的均匀分布，足够稠密的参考点使拟合平面时不会产生异常解，提高了划分精度和鲁棒性。
在本实施例的一些可选的实现方式中，用于检测障碍物的装置500还可以包括第三确定单元(图中未示出)。上述第三确定单元可以通过如下方式确定上述栅格在上述相机坐标系下的Z坐标值：针对划分得到的栅格中的每个栅格，上述第三确定单元可以将与该栅格对应的参考点在上述相机坐标系下的Z坐标值确定为该栅格在上述相机坐标系下的Z坐标值。在这里，与该栅格对应的参考点可以为X坐标值在该栅格的X坐标区间内、且Y坐标值在该栅格的Y坐标区间内的参考点。作为示例，若栅格S的X坐标区间为10-20，Y坐标区间为40-50，参考点i在相机坐标系下的坐标为(15,47,18)，则参考点i与栅格S相对应，上述第三确定单元可以将参考点i的Z坐标值18作为栅格S在相机坐标系下的Z坐标值。之后，上述第三确定单元可以遍历各个栅格，对不存在Z坐标值的栅格进行最近邻插值处理。由于并不是所有的栅格都对应有参考点，此时，对于不存在Z坐标值的栅格中的每个栅格，将与该栅格最邻近的栅格的Z坐标值赋给该栅格。通过这种方式可以准确地确定出栅格在相机坐标系下的Z坐标值，并且保证了每个栅格在相机坐标系下均存在Z坐标值。
需要说明的是，若该栅格最邻近的栅格的数量大于等于2，则上述第三确定单元可以求取最近邻的至少两个栅格的Z坐标值的平均值赋给该栅格。
还需要说明的是，栅格的X坐标值可以是栅格的X坐标区间内指定位置上的坐标值，例如，可以是X坐标区间的中心位置上的坐标值。栅格的Y坐标值可以是栅格的Y坐标区间内指定位置上的坐标值，例如，可以是Y坐标区间的中心位置上的坐标值。
还需要说明的是，上述栅格在上述相机坐标系下的Z坐标值可以是第三确定单元确定的，也可以是除上述执行主体之外的其它电子设备确定出的。若上述栅格在上述相机坐标系下的Z坐标值是由其它电子设备确定出的，其它电子设备可以将确定出的上述栅格在上述相机坐标系下的Z坐标值发送给上述第三确定单元。
在本实施例的一些可选的实现方式中，针对划分得到的栅格中的每个栅格，上述第三确定单元可以通过如下步骤将与该栅格对应的参考点在上述相机坐标系下的Z坐标值确定为该栅格在上述相机坐标系下的Z坐标值：针对划分得到的栅格中的每个栅格，上述第三确定单元可以确定与该栅格对应的参考点的数目是否大于预设数目。在这里，上述数目通常为1，即确定与该栅格对应的参考点的数目是否大于1。若确定出与该栅格对应的参考点的数目大于1，则上述第三确定单元可以确定与该栅格对应的至少两个参考点在上述相机坐标系下的Z坐标值的中位数作为该栅格在上述相机坐标系下的Z坐标值。中位数又可以称为中值，是按顺序排列的一组数据中居于中间位置的数，代表一个样本、种群或概率分布中的一个数值，其可将数值集合划分为相等的上下两部分。对于有限的数集，可以通过把所有观察值按照从高到低或者从低到高的顺序排序后找出正中间的一个作为中位数。如果观察值的数目为偶数个，通常可以取最中间的两个数值的平均数作为中位数。通过这种方式可以对对应有多个参考点的栅格的Z坐标值进行确定，通过取Z坐标值的中位数的这种方式避免了异常值的影响，使得所设置的栅格的Z坐标值更加合理。
在另一种实现方式中，若确定出与该栅格对应的参考点的数目大于1，上述第三确定单元也可以确定与该栅格对应的至少两个参考点在上述相机坐标系下的质心的Z坐标值作为该栅格在上述相机坐标系下的Z坐标值。质量中心简称质心，指物质系统上被认为质量集中于此的一个假想点。
根据本申请的实施例，本申请还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
如图6所示，是根据本申请实施例的用于检测障碍物的方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图6所示，该电子设备包括：一个或多个处理器601、存储器602，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图6中以一个处理器601为例。
存储器602即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的用于检测障碍物的方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的用于检测障碍物的方法。
存储器602作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的用于检测障碍物的方法对应的程序指令/模块(例如，附图5所示的获取单元501、第一确定单元502、提取单元503、第二确定单元504和转换单元505)。处理器601通过运行存储在存储器602中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的用于检测障碍物的方法。
存储器602可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据用于检测障碍物的方法的电子设备的使用所创建的数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器602可选包括相对于处理器601远程设置的存储器，这些远程存储器可以通过网络连接至用于检测障碍物的方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
用于检测障碍物的方法的电子设备还可以包括：输入装置603和输出装置604。处理器601、存储器602、输入装置603和输出装置604可以通过总线或者其他方式连接，图6中以通过总线连接为例。
输入装置603可接收输入的数字或字符信息，以及产生与用于检测障碍物的方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置604可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案，首先获取呈现有障碍物的障碍物图像；之后，确定上述障碍物在上述障碍物图像中的预设接地点，获取上述接地点在上述障碍物图像中的像素坐标；而后，利用上述像素坐标和预设的搜索参数，从预先生成的栅格中提取目标栅格；然后，获取上述目标栅格的相机坐标，利用上述相机坐标，确定上述障碍物所在位置的地面方程集合；最后，利用上述地面方程集合，将上述障碍物在像素坐标系下的像素坐标转换成在上述相机坐标系下的相机坐标。通过这种方式，可以直接查找障碍物所在位置的预设区域内的所有栅格预先确定的相机坐标，构建障碍物的地面方程，这种构建地面方程的方式的时间复杂度为O(n)，从而提高了障碍物的检测效率。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (13)

1.一种用于检测障碍物的方法，包括：
获取呈现有障碍物的障碍物图像，其中，所述障碍物图像为目标相机所拍摄的；
确定所述障碍物在所述障碍物图像中的预设接地点，获取所述接地点在所述障碍物图像中的像素坐标；
利用所述像素坐标和预设的搜索参数，从预先生成的栅格中提取目标栅格；
获取所述目标栅格的相机坐标，利用所述相机坐标，确定所述障碍物所在位置的地面方程集合，其中，所述相机坐标是在所述目标相机的相机坐标系下的坐标；
利用所述地面方程集合，将所述障碍物在像素坐标系下的像素坐标转换成在所述相机坐标系下的相机坐标，其中，所述像素坐标系以所述障碍物图像的预设位置点为坐标原点。
2.根据权利要求1所述的方法，其中，所述栅格是通过如下方式生成的：
获取地面元素的预设参考点在世界坐标系下的世界坐标，其中，所述地面元素包括以下至少一项：车道线和停止线，所述地面元素是所述目标相机在相机视野内所拍摄到的元素；
利用所述目标相机的相机外参，将所述参考点的世界坐标转换成在所述相机坐标系下的相机坐标；
确定包含所述参考点的参考区域，对所述参考区域进行栅格化处理，得到栅格。
3.根据权利要求2所述的方法，其中，所述对所述参考区域进行栅格化处理，得到栅格，包括：
以小于目标数值的分段间隔对所述参考区域进行栅格化处理，得到稠密化的栅格。
4.根据权利要求1所述的方法，其中，所述栅格在所述相机坐标系下的Z坐标值是通过如下方式确定的：
针对每个栅格，将与该栅格对应的参考点在所述相机坐标系下的Z坐标值确定为该栅格在所述相机坐标系下的Z坐标值，其中，与该栅格对应的参考点为X坐标值在该栅格的X坐标区间内、且Y坐标值在该栅格的Y坐标区间内的参考点；
遍历所述栅格，对不存在Z坐标值的栅格进行最近邻插值处理。
5.根据权利要求4所述的方法，其中，所述针对每个栅格，将与该栅格对应的参考点在所述相机坐标系下的Z坐标值确定为该栅格在所述相机坐标系下的Z坐标值，包括：
针对每个栅格，确定与该栅格对应的参考点的数目是否大于预设数目；
若是，则确定与该栅格对应的参考点在所述相机坐标系下的Z坐标值的中位数作为该栅格在所述相机坐标系下的Z坐标值。
6.一种用于检测障碍物的装置，包括：
获取单元，被配置成获取呈现有障碍物的障碍物图像，其中，所述障碍物图像为目标相机所拍摄的；
第一确定单元，被配置成确定所述障碍物在所述障碍物图像中的预设接地点，获取所述接地点在所述障碍物图像中的像素坐标；
提取单元，被配置成利用所述像素坐标和预设的搜索参数，从预先生成的栅格中提取目标栅格；
第二确定单元，被配置成获取所述目标栅格的相机坐标，利用所述相机坐标，确定所述障碍物所在位置的地面方程集合，其中，所述相机坐标是在所述目标相机的相机坐标系下的坐标；
转换单元，被配置成利用所述地面方程集合，将所述障碍物在像素坐标系下的像素坐标转换成在所述相机坐标系下的相机坐标，其中，所述像素坐标系以所述障碍物图像的预设位置点为坐标原点。
7.根据权利要求6所述的装置，其中，所述装置还包括生成单元，所述生成单元被配置成：
获取地面元素的预设参考点在世界坐标系下的世界坐标，其中，所述地面元素包括以下至少一项：车道线和停止线，所述地面元素是所述目标相机在相机视野内所拍摄到的元素；
利用所述目标相机的相机外参，将所述参考点的世界坐标转换成在所述相机坐标系下的相机坐标；
确定包含所述参考点的参考区域，对所述参考区域进行栅格化处理，得到栅格。
8.根据权利要求7所述的装置，其中，所述生成单元进一步被配置成通过如下方式对所述参考区域进行栅格化处理，得到栅格：
以小于目标数值的分段间隔对所述参考区域进行栅格化处理，得到稠密化的栅格。
9.根据权利要求6所述的装置，其中，所述装置还包括第三确定单元，所述第三确定单元被配置成：
针对每个栅格，将与该栅格对应的参考点在所述相机坐标系下的Z坐标值确定为该栅格在所述相机坐标系下的Z坐标值，其中，与该栅格对应的参考点为X坐标值在该栅格的X坐标区间内、且Y坐标值在该栅格的Y坐标区间内的参考点；
遍历所述栅格，对不存在Z坐标值的栅格进行最近邻插值处理。
10.根据权利要求9所述的装置，其中，所述第三确定单元进一步被配置成通过如下方式针对每个栅格，将与该栅格对应的参考点在所述相机坐标系下的Z坐标值确定为该栅格在所述相机坐标系下的Z坐标值：
针对每个栅格，确定与该栅格对应的参考点的数目是否大于预设数目；
若是，则确定与该栅格对应的参考点在所述相机坐标系下的Z坐标值的中位数作为该栅格在所述相机坐标系下的Z坐标值。
11.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5中任一项所述的方法。
12.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1-5中任一项所述的方法。
13.一种路侧设备，包括权利要求11所述的电子设备。
CN202010507273.0A 2020-06-05 2020-06-05 用于检测障碍物的方法、装置、电子设备和路侧设备 Active CN111666876B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010507273.0A CN111666876B (zh) 2020-06-05 2020-06-05 用于检测障碍物的方法、装置、电子设备和路侧设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010507273.0A CN111666876B (zh) 2020-06-05 2020-06-05 用于检测障碍物的方法、装置、电子设备和路侧设备

Publications (2)

Publication Number Publication Date
CN111666876A CN111666876A (zh) 2020-09-15
CN111666876B true CN111666876B (zh) 2023-06-09

Family

ID=72386940

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010507273.0A Active CN111666876B (zh) 2020-06-05 2020-06-05 用于检测障碍物的方法、装置、电子设备和路侧设备

Country Status (1)

Country Link
CN (1) CN111666876B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112711263A (zh) * 2021-01-19 2021-04-27 未来机器人（深圳）有限公司 仓储自动导引车避障方法、装置、计算机设备和存储介质
CN112883909B (zh) * 2021-03-16 2024-06-14 东软睿驰汽车技术（沈阳）有限公司 基于包围盒的障碍物位置检测方法、装置和电子设备
CN113820698B (zh) * 2021-09-13 2024-04-16 广州小鹏自动驾驶科技有限公司 障碍物测距方法、装置、电子设备及可读介质
CN113959398B (zh) * 2021-10-09 2024-04-12 广东汇天航空航天科技有限公司 基于视觉的测距方法、装置、可行驶设备及存储介质
CN115147809B (zh) * 2022-06-30 2023-09-22 阿波罗智能技术(北京)有限公司 一种障碍物检测方法、装置、设备以及存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103984362A (zh) * 2013-02-07 2014-08-13 佳能株式会社 位置和姿势测量装置、信息处理装置以及信息处理方法
CN106052674A (zh) * 2016-05-20 2016-10-26 青岛克路德机器人有限公司 一种室内机器人的slam方法和系统
CN106127153A (zh) * 2016-06-24 2016-11-16 南京林业大学 车载激光扫描点云数据的交通标牌识别方法
CN106503663A (zh) * 2016-11-01 2017-03-15 江苏大学 一种基于深度学习的信号灯时长检测方法
CN107985189A (zh) * 2017-10-26 2018-05-04 西安科技大学 面向高速驾驶环境下的驾驶员变道深度预警方法
CN109839628A (zh) * 2017-11-29 2019-06-04 杭州萤石软件有限公司 一种障碍物确定方法及移动机器人
CN110057295A (zh) * 2019-04-08 2019-07-26 河海大学 一种免像控的单目视觉平面距离测量方法
CN110119698A (zh) * 2019-04-29 2019-08-13 北京百度网讯科技有限公司 用于确定对象状态的方法、装置、设备和存储介质
CN110199322A (zh) * 2017-04-28 2019-09-03 谷歌有限责任公司 从内部空间的3d网格表示提取2d平面图
CN110738183A (zh) * 2019-10-21 2020-01-31 北京百度网讯科技有限公司 障碍物检测方法及装置
CN110766669A (zh) * 2019-10-18 2020-02-07 南京大学 一种基于多目视觉的管线测量方法
WO2020103427A1 (zh) * 2018-11-23 2020-05-28 华为技术有限公司 对象检测方法、相关设备及计算机存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3945279B2 (ja) * 2002-03-15 2007-07-18 ソニー株式会社 障害物認識装置、障害物認識方法、及び障害物認識プログラム並びに移動型ロボット装置
US9734429B2 (en) * 2011-10-24 2017-08-15 Texas Instruments Incorporated Method, system and computer program product for detecting an obstacle with a camera
WO2018095278A1 (zh) * 2016-11-24 2018-05-31 腾讯科技（深圳）有限公司 飞行器的信息获取方法、装置及设备

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103984362A (zh) * 2013-02-07 2014-08-13 佳能株式会社 位置和姿势测量装置、信息处理装置以及信息处理方法
CN106052674A (zh) * 2016-05-20 2016-10-26 青岛克路德机器人有限公司 一种室内机器人的slam方法和系统
CN106127153A (zh) * 2016-06-24 2016-11-16 南京林业大学 车载激光扫描点云数据的交通标牌识别方法
CN106503663A (zh) * 2016-11-01 2017-03-15 江苏大学 一种基于深度学习的信号灯时长检测方法
CN110199322A (zh) * 2017-04-28 2019-09-03 谷歌有限责任公司 从内部空间的3d网格表示提取2d平面图
CN107985189A (zh) * 2017-10-26 2018-05-04 西安科技大学 面向高速驾驶环境下的驾驶员变道深度预警方法
CN109839628A (zh) * 2017-11-29 2019-06-04 杭州萤石软件有限公司 一种障碍物确定方法及移动机器人
WO2020103427A1 (zh) * 2018-11-23 2020-05-28 华为技术有限公司 对象检测方法、相关设备及计算机存储介质
CN110057295A (zh) * 2019-04-08 2019-07-26 河海大学 一种免像控的单目视觉平面距离测量方法
CN110119698A (zh) * 2019-04-29 2019-08-13 北京百度网讯科技有限公司 用于确定对象状态的方法、装置、设备和存储介质
CN110766669A (zh) * 2019-10-18 2020-02-07 南京大学 一种基于多目视觉的管线测量方法
CN110738183A (zh) * 2019-10-21 2020-01-31 北京百度网讯科技有限公司 障碍物检测方法及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Alberto Rodr´ıguez等.Assisting the Visually Impaired: Obstacle Detection and Warning System by Acoustic Feedback.《Sensors》.2012,第12卷(第12期),第17476-17496页. *
Christian H¨ane等.Obstacle Detection for Self-Driving Cars Using Only Monocular Cameras and Wheel Odometry.《2015 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)》.2015,第5101-5107页. *
卢晋文.基于视觉融合的车辆与行人目标检测及测距方法研究.《中国优秀硕士学位论文全文数据库 信息科技辑》.2018,(第12期),第I138-1727页. *
胡颖.无人驾驶车辆双目视觉障碍物检测研究.《中国优秀硕士学位论文全文数据库 信息科技辑》.2019,(第2期),第I138-1478页. *

Also Published As

Publication number Publication date
CN111666876A (zh) 2020-09-15

Similar Documents

Publication Publication Date Title
CN111666876B (zh) 用于检测障碍物的方法、装置、电子设备和路侧设备
CN111612760B (zh) 用于检测障碍物的方法和装置
US11615605B2 (en) Vehicle information detection method, electronic device and storage medium
CN111324115B (zh) 障碍物位置检测融合方法、装置、电子设备和存储介质
EP4050562A1 (en) Method and device for detecting vehicle pose
JP2021119507A (ja) 車線の決定方法、車線測位精度の評価方法、車線の決定装置、車線測位精度の評価装置、電子デバイス、コンピュータ可読記憶媒体、及びプログラム
CN113362444A (zh) 点云数据的生成方法、装置、电子设备及存储介质
KR102643425B1 (ko) 차량의 차로변경을 탐지하는 방법과 장치, 전자 기기, 저장 장치, 노변 기기, 클라우드 제어 플랫폼 및 프로그램 제품
CN110795978B (zh) 路面点云数据提取方法、装置、存储介质及电子设备
CN111721281B (zh) 位置识别方法、装置和电子设备
CN111324616B (zh) 车道线变化信息的检测方法、装置及设备
EP3842995A1 (en) Method and apparatus for generating map
CN112184914A (zh) 目标对象三维位置的确定方法、装置和路侧设备
CN111767843B (zh) 三维位置预测方法、装置、设备以及存储介质
CN111291681A (zh) 车道线变化信息的检测方法、装置及设备
CN111353466A (zh) 车道线识别处理方法、设备、存储介质
CN115790621A (zh) 高精地图更新方法、装置及电子设备
US11619498B2 (en) Verification method and device for modeling route, unmanned vehicle, and storage medium
CN111753768B (zh) 表示障碍物形状的方法、装置、电子设备和存储介质
CN111784579B (zh) 制图方法及装置
CN111814634B (zh) 一种实时距离确定方法、装置、设备及介质
CN111784659A (zh) 图像检测的方法、装置、电子设备以及存储介质
CN111968071B (zh) 车辆的空间位置生成方法、装置、设备及存储介质
CN116703952B (zh) 过滤遮挡点云的方法、装置、计算机设备及存储介质
CN112509126B (zh) 三维物体检测的方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20211013

Address after: 100176 101, floor 1, building 1, yard 7, Ruihe West 2nd Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing

Applicant after: Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd.

Address before: 2 / F, baidu building, 10 Shangdi 10th Street, Haidian District, Beijing 100085

Applicant before: BEIJING BAIDU NETCOM SCIENCE AND TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant