CN111612760B - 用于检测障碍物的方法和装置 - Google Patents

用于检测障碍物的方法和装置 Download PDF

Info

Publication number
CN111612760B
CN111612760B CN202010429060.0A CN202010429060A CN111612760B CN 111612760 B CN111612760 B CN 111612760B CN 202010429060 A CN202010429060 A CN 202010429060A CN 111612760 B CN111612760 B CN 111612760B
Authority
CN
China
Prior art keywords
current image
image
offset
template image
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010429060.0A
Other languages
English (en)
Other versions
CN111612760A (zh
Inventor
贾金让
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apollo Zhilian Beijing Technology Co Ltd
Original Assignee
Apollo Zhilian Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apollo Zhilian Beijing Technology Co Ltd filed Critical Apollo Zhilian Beijing Technology Co Ltd
Priority to CN202010429060.0A priority Critical patent/CN111612760B/zh
Publication of CN111612760A publication Critical patent/CN111612760A/zh
Priority to US17/117,422 priority patent/US11688099B2/en
Priority to EP21165055.1A priority patent/EP3846129A3/en
Priority to JP2021052615A priority patent/JP7221324B2/ja
Priority to KR1020210040407A priority patent/KR102581429B1/ko
Application granted granted Critical
Publication of CN111612760B publication Critical patent/CN111612760B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4084—Transform-based scaling, e.g. FFT domain scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/60—Rotation of a whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/37—Determination of transform parameters for the alignment of images, i.e. image registration using transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/431—Frequency domain transformation; Autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Abstract

本申请公开了用于检测障碍物的方法和装置，涉及智能交通技术领域。具体实现方案为：获取相机采集的当前图像；将当前图像输入预先训练的检测模型，得到障碍物的检测框的位置并确定出接地点在当前图像中的第一像素坐标；确定当前图像和模板图像之间的偏移，其中，模板图像为进行相机的外参标定时所使用的图像；基于偏移将第一像素坐标转换成接地点的世界坐标；将接地点的世界坐标作为障碍物在世界坐标系下的位置输出。该实施方式从图像角度解决了相机抖动的问题，使路侧感知系统的鲁棒性大大提高，并节约了计算资源。

Description

用于检测障碍物的方法和装置
技术领域
本申请的实施例涉及计算机技术领域，具体涉及智能交通技术领域。
背景技术
路侧感知技术是通过路侧传感器和感知算法将感知到的障碍物发送给车辆，从而帮助车实现自动驾驶功能的一种技术，目前路侧感知传感器包含相机和激光雷达等。在V2X(vehicle to everything，车对外界的信息交换)路侧感知场景下，为了通过相机获取超视距的道路交通信息，通常将相机位置安装在路灯杆或红绿灯杆上。相机越高，在图像中获得的视场就越大，信息量就越多，路侧感知能力就越强。然而当相机安装在较高的杆子上时，由于风吹或重型车经过会引起相机抖动。当相机的位置有变化时，利用相机离线标定好的外参进行障碍物的回3D会引入抖动的误差，当抖动过大时外参将会失效，障碍物位置会严重不准。因此，一个鲁棒的稳定的路侧感知系统，需要解决相机的抖动问题。
常规的路侧感知算法框架通常选用离线外参，而当相机抖动时，使用离线外参会面临着外参失效带来的问题。
一般的解决相机抖动的方法有光学防抖、机械防抖方法和电子防抖方法。由于路侧感知的成本限制，需要额外成本的光学防抖和机械防抖都不能大规模使用。而普通的电子防抖在面临路侧相机的场景时，也会有较大的误差，比如剧烈移动的前景遮挡，特征点提取不鲁棒等问题。
一种比较流行的方法是进行外参的在线标定，通过实时计算相机的外参来更新离线外参，从而解决路侧感知系统中的离线外参失效问题。这种方法精度和实时性在较好的硬件上可以满足需求，但耗费算力，成本比较高。
发明内容
提供了一种用于检测障碍物的方法、装置、设备以及存储介质。
根据第一方面，提供了一种用于检测障碍物的方法，包括：获取相机采集的当前图像；将所述当前图像输入预先训练的检测模型，得到障碍物的检测框的位置并确定出接地点在所述当前图像中的第一像素坐标；确定所述当前图像和模板图像之间的偏移，其中，所述模板图像为进行相机的外参标定时所使用的图像；基于偏移将第一像素坐标转换成接地点的世界坐标；将接地点的世界坐标作为障碍物在世界坐标系下的位置输出。
根据第二方面，提供了一种用于检测障碍物的装置，包括：获取单元，被配置成获取相机采集的当前图像；检测单元，被配置成将所述当前图像输入预先训练的检测模型，得到障碍物的检测框的位置并确定出接地点在所述当前图像中的第一像素坐标；偏移单元，被配置成确定所述当前图像和模板图像之间的偏移，其中，所述模板图像为进行相机的外参标定时所使用的图像；转换单元，被配置成基于所述偏移将所述第一像素坐标转换成所述接地点的世界坐标；输出单元，被配置成将所述接地点的世界坐标作为障碍物在世界坐标系下的位置输出。
根据第三方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面中任一项所述的方法。
根据第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行第一方面中任一项所述的方法。
根据第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-6中任一项所述的方法。
根据本申请的技术，从图像角度解决了相机抖动的问题，使路侧感知系统的鲁棒性大大提高，可以面对存在相机抖动的场景。并且不需要添加额外的新传感器。同时相比于在线标定算法，节约了成本，可以节约原有耗费在在线标定上的计算资源，用来支持其他的应用和计算。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是本申请的一个实施例可以应用于其中的示例性系统架构图；
图2是根据本申请的用于检测障碍物的方法的一个实施例的流程图；
图3是根据本申请的用于检测障碍物的方法的一个应用场景的示意图；
图4是根据本申请的用于检测障碍物的方法的又一个实施例的流程图；
图5是根据本申请的用于检测障碍物的装置的一个实施例的结构示意图；
图6是根据本申请实施例的用于检测障碍物的方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1示出了可以应用本申请的用于检测障碍物的方法或用于检测障碍物的装置的实施例的示例性系统架构100。
如图1所示，系统架构100可以包括相机101、102、103，网络104和服务器105。网络104用以在相机101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用相机101、102、103通过网络104与服务器105交互，以接收或发送消息等。
相机101、102、103泛指用于进行拍照、可识别出障碍物的相机。可以是在十字路口对违法(比如，跨越车道压实线、逆向行驶、占用非机动车道、不按导向标识行驶、闯红灯等)车辆进行抓拍的电子警察。还可以是安装位置在高速公路、省道和国道的一些重点路段用来抓拍超速开车违法行为的卡口相机。相机101、102、103还可以是违停抓拍相机、流量监控相机、天网监控相机、流动抓拍相机等。还可以是用于辅助无人车自动驾驶的相机。
相机安装在路边，可能会由于风吹等原因抖动。从而导致标定好的相机外参不准确。本申请的目的就是解决相机抖动导致的障碍物检测不准确的问题。
服务器105可以是提供各种服务的服务器，例如对相机101、102、103上采集的障碍物数据提供分析的后台分析服务器。后台分析服务器可以对接收到的障碍物数据进行分析等处理，并将处理结果(例如障碍物位置)发送给无人车。
需要说明的是，服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。
需要说明的是，本申请实施例所提供的用于检测障碍物的方法一般由服务器105执行，相应地，用于检测障碍物的装置一般设置于服务器105中。
应该理解，图1中的相机、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的相机、网络和服务器。
继续参考图2，示出了根据本申请的用于检测障碍物的方法的一个实施例的流程200。该用于检测障碍物的方法，包括以下步骤：
步骤201，获取相机采集的当前图像。
在本实施例中，用于检测障碍物的方法的执行主体(例如图1所示的服务器)可以通过有线连接方式或者无线连接方式从路边的相机接收相机采集的当前图像。
步骤202，将当前图像输入预先训练的检测模型，得到障碍物的检测框的位置并确定出接地点在当前图像中的第一像素坐标。
在本实施例中，检测模型是用于目标检测的神经网络，例如YOLO((You Only LookOnce，一种基于深度神经网络的对象识别和定位算法)、RCNN(Regions with CNNfeatures，具有卷积神经网络特征的区域)等。通过检测模型可确定出障碍物的2D检测框的位置。接地点是检测框上靠近相机侧的一点。如图3所示，车辆右下角的点为接地点。可通过检测框确定出接地点在当前图像中的第一像素坐标。可选地，为了简化处理，可将接地点设为2D检测框的一角，例如左上角或右下角。此时使用的是像素坐标。像素坐标系是指可视化后图片的坐标系，通常左上角为原点，向右向下为正方向。
步骤203，确定当前图像和模板图像之间的偏移。
在本实施例中，模板图像为进行相机的外参标定时所使用的图像。相机外参标定是指在相机安装后，通过某种方法得到世界坐标系到相机坐标系的变换矩阵(由旋转矩阵和平移向量组成)，该变换矩阵即为相机外参。相机外参是将物体在真实世界的位置和图像中的像素位置连接起来的必要条件，在需要定位图像中物体位置的领域中十分重要，如自动驾驶、安防等。
可将模板图像作为基准参考图像，将当前图像作为待配准图像。然后通过图像配准的方法确定当前图像和模板图像之间的偏移。图像配准的方法可包括以下三种：
(1)基于待配准图像灰度信息的配准方法
以整幅图像的灰度信息为依据，建立待配准图像和基准参考图像之间的相似性度量，利用某种搜索算法，寻找出使得相似度量达到最优值的变换模型参数。也称之为直接配准法。
(2)基于待配准图像变换域内信息的配准方法
例如傅立叶变换、相位相关、Walsh Transform(沃尔什变换)等方法。
傅立叶变换能够用于具有平移、旋转、缩放的图像配准中是因为：
(a)对于两幅具有平移量的图像经过傅立叶变换后，他们的相位关系是不同的，因为在时域内平移量直接决定在傅立叶变换域内的相位关系；
(b)对于两幅具有旋转量的图像，在傅立叶变换域内的旋转量保持不变；
(c)对于两幅具有尺度缩放的图像，先进行坐标系转换，变换到对数坐标系当中，图像的缩放可以转换成图像平移进行处理。
(3)基于待配准图像特征信息的配准方法
基于特征的配准方法是目前最常用的配准方法之一，该算法只需要提取待配准图像中的点、线、边缘等特征信息，不需要其它辅助信息，在减少计算量、提高效率的同时，能够对图像灰度的变化有一定的鲁棒性。
根据选取的特征信息的不同，把基于特征的图像配准方法划分为三类：
(a)基于特征点的匹配
一般所选取的特征点是相对于其领域表现出来具有某种奇异性的像素点。特征点往往容易被提取到，但是特征点所包含的信息相对较少，只能反映出其在图像中的位置坐标信息，所以在两幅图像中寻找匹配的特征点是关键所在。
(b)基于特征区域的匹配
在图像中寻找某些明显的区域信息作为特征区域。
(c)基于特征边缘的匹配
图像中最明显的特征就是边缘，而边缘特征也是最好提取的特征之一。因此给予边缘的匹配方法鲁棒性较强，适用范围很广。
在本实施例的一些可选的实现方式中，确定当前图像和模板图像之间的偏移，包括：计算当前图像对模板图像的旋转和缩放系数；根据旋转和缩放系数对当前图像进行旋转和缩放；计算旋转和缩放后的当前图像对模板图像的偏移。针对图像的旋转问题，可运用对数极坐标变换、霍夫变换、小波变换和傅立叶变换等进行变换域内的相关系数法配准计算当前图像对模板图像的旋转和缩放系数。然后再根据计算出的旋转和缩放系数对当前图像进行旋转和缩放。再计算旋转和缩放后的当前图像对模板图像的平移，即为偏移。平移的计算方法，可以是对旋转和缩放后的当前图像进行傅立叶变换，并获取模板图像的傅立叶变换的结果；对当前图像的傅立叶变换的结果和模板图像的傅立叶变换的结果求归一化互功率谱矩阵；对功率谱矩阵进行逆傅立叶变换得到H矩阵；找到H矩阵中能量最大的点，计算该点的偏移。在傅里叶变换后，图像的平移成分转换到了相位，计算相位的最大匹配位置，就可以得到原始图像的平移量了，这就是相位相关。针对自动驾驶路侧感知这个场景，相机的抖动中旋转大于平移，因此需要先计算旋转，消除旋转的影响，再进一步调整平移，从而能提高计算偏移的准确率，进而提高障碍物检测的准确率。
在本实施例的一些可选的实现方式中，计算当前图像对模板图像的旋转和缩放系数作为偏移，不再计算平移。可针对不同的应用场景选择是否计算平移量。例如，针对自动驾驶路侧感知这个场景，相机的抖动中旋转大于平移，某些场景甚至可以简化为纯旋转，无需计算平移，提高图像配准速度。
步骤204，基于偏移将第一像素坐标转换成接地点的世界坐标。
在本实施例中，可根据偏移将接地点在当前图像中的第一像素坐标转换为接地点在模板图像中的第二像素坐标。再将第二像素坐标转换成相机坐标，最后将相机坐标转换成世界坐标。世界坐标系指的是用户定义的三维世界坐标系，以某个点为原点，为描述目标物在真实世界里的位置而被引入。相机坐标系指的是以相机为原点建立的坐标系，为了从相机的角度描述物体的位置而定义，作为沟通世界坐标系和像素坐标系的中间一环。障碍物在3D世界里的位置也称之为障碍物在世界坐标系下的位置，确定障碍物在世界坐标系下的位置的过程称之为回3D的过程。
而只有相机外参，是无法从图像中的障碍物像素坐标得到该障碍物的世界坐标的，因为缺少深度信息，可通过激光雷达、红外相机等装置获得深度信息。根据深度信息完成从2D像素坐标到3D像素坐标的转换。再通过相机的内参，完成像素坐标到相机坐标的转换，像素坐标到相机坐标的转换是现有技术，因此不再赘述。相机坐标转换成世界坐标的过程可参考下面的步骤2043。
在本实施例的一些可选的实现方式中，在缺少深度信息的情况下，可通过如下步骤实现像素坐标到世界坐标的转换：
步骤2041，根据第一像素坐标和偏移确定接地点在模板图像中的第二像素坐标。
在本实施例中，根据步骤203确定的偏移，将接地点在当前图像中的第一像素坐标转换为接地点在模板图像中的第二像素坐标。
步骤2042，将第二像素坐标通过预设的地面方程转换成接地点的相机坐标。
在本实施例中，在无法借助其它设备提供深度信息的情况下，可利用地面方程，即地面法向量，提供深度信息，就可以完成从2D像素坐标到3D像素坐标的转换。再通过相机的内参，完成像素坐标到相机坐标的转换，像素坐标到相机坐标的转换是现有技术，因此不再赘述。由于路侧相机的安装高度较高，相机会实时发生抖动导致其外参变化，而由于地面方程是在相机坐标系下，因此也需要实时计算地面方程。同时，由于相机场景内可能会出现地面坡度变化，不同位置的地面方程是不同的，因此为了提高回3D的精度，需要分段计算地面方程，而不能全局使用同一个地面方程。可通过以下方式计算地面方程：
(1)使用全局离线的地面方程代替实时计算的在线分段地面方程。
(2)离线构造深度图代替地面方程，这种方法可以很准确地获得深度信息，离线计算出每一像素的世界坐标。
(3)一种有效的计算分段地面方程的方法是将所有的地面3D点按照X，Y的坐标范围，将它们划分在不同的格子中，比如将相机拍摄到的地面分成10*20的栅格，然后计算不同栅格的地面方程。需要回3D的障碍物接地点落在哪个栅格中，就利用该栅格的地面方程进行回3D，这种方法的优势的速度快。
地面方程的具体计算方法为现有技术，因此不再赘述。
步骤2043，将接地点的相机坐标通过相机的外参转换成接地的世界坐标。
在本实施例中，相机的外参包括旋转矩阵和平移矩阵。旋转矩阵和平移矩阵共同描述了如何把点从世界坐标系转换到摄像机坐标系。
下式为世界坐标Pw转相机坐标Pc的过程，R为旋转矩阵，T为平移矩阵。R和T为事先离线标定好的外参。
相机坐标系转世界坐标系为上式的逆过程。
本申请的上述实施例提供的方法，从图像角度解决了相机抖动的问题，使路侧感知系统的鲁棒性大大提高，可以面对存在相机抖动的场景。并且不需要添加额外的新传感器。同时相比于在线标定算法，节约了成本，可以使原有耗费在在线标定上的计算资源被节约，用来支持其他的应用和计算。
步骤205，将接地点的世界坐标作为障碍物在世界坐标系下的位置输出。
在本实施例中，接地点回3D已经完成障碍物回3D了，因此得到障碍物在世界坐标系下的位置。将此位置作为障碍物在世界坐标系下的位置输出。
继续参见图3，图3是根据本实施例的用于检测障碍物的方法的应用场景的一个示意图。在图3的应用场景中，道路边的相机实时采集道路上的图像，并将采集的当前图像发送给服务器。服务器将当前图像输入预先训练的检测模型，得到障碍物的检测框的位置并确定出接地点。车辆右下角所示即为确定出的接地点。俯视图中检测框有四个角，右下角离相机最近，因此确定为接地点。之后再确定出接地点在当前图像中的第一像素坐标。可通过图像配准方式确定当前图像和模板图像之间的偏移。根据偏移确定出接地点对应于模板图像中的第二像素坐标。通过地面方程将接地点的第二像素坐标转换成相机坐标。再利用离线标定好的相机外参将相机坐标转换成世界坐标，即可确定出障碍物的位置。
继续参考图4，示出了根据本申请的用于检测障碍物的方法的又一个实施例的流程400。该用于检测障碍物的方法，包括以下步骤：
步骤401，获取相机采集的当前图像。
步骤402，将当前图像输入预先训练的检测模型，得到障碍物的检测框的位置并确定出接地点在当前图像中的第一像素坐标。
步骤401-402与步骤201-202基本相同，因此不再赘述。
步骤403，对当前图像和模板图像分别进行傅立叶梅林变换，求解出所述当前图像对模板图像的旋转和缩放系数，根据旋转和缩放系数对当前图像进行旋转和缩放。
在本实施例中，通过傅立叶梅林变换(Fourier-Mellin)，将当前图像和模板图像变换到对数极坐标下，求解出当前图像对模板图像的旋转和缩放系数。将笛卡尔坐标系下的旋转和缩放转化为对数极坐标坐标系下的平移，通过相位相关求得平移量就得到了缩放倍率和旋转角度。根据倍率和旋转角度做矫正，再直接通过相位相关求得平移量。于是就得到了两幅图像的相对位移、旋转和缩放，可以用于图像配准。傅立叶梅林变换能够提高图像配准速度。
步骤404，对当前图像的傅立叶变换的结果和模板图像的傅立叶变换的结果求归一化互功率谱矩阵。
在本实施例中，对旋转和缩放后的当前图像进行傅立叶变换，并获取模板图像的傅立叶变换的结果。可在设置模板图像后就对其进行傅立叶变换，将傅立叶变换的结果保存备用。对当前图像的傅立叶变换的结果和模板图像的傅立叶变换的结果求归一化互功率谱矩阵。
步骤405，对互功率谱矩阵进行逆傅立叶变换得到H矩阵，找到H矩阵中能量最大的点，计算该点的偏移。
在本实施例中，对功率谱矩阵进行逆傅立叶变换得到H矩阵。找到H矩阵中能量最大的点即配准点，计算该点的偏移。通过求取互功率谱矩阵的傅立叶反变换，得到一个狄拉克函数(脉冲函数)，再寻找函数峰值点对应的坐标，即可得到我们所要求得的配准点。实际上，在计算机处理中，连续域要用离散域代替，这使得狄拉克函数转化为离散时间单位冲击函数序列的形式。在实际运算中，两幅图像互功率谱相位的反变换，总是含有一个相关峰值代表两幅图像的配准点，和一些非相关峰值，相关峰值直接反映两幅图像间的一致程度。更精确的讲，相关峰的能量对应重叠区域的所占百分比，非相关峰对应非重叠区域所占百分比。使用该方法计算偏移，可简化计算过程，提高检测时间。
步骤406，根据第一像素坐标和偏移确定接地点在模板图像中的第二像素坐标。
在本实施例中，根据当前图像的2D障碍物检测结果的框的位置，将之前计算出的图像的偏移作为该障碍物的接地点位置的偏移量，并根据此偏移量更新接地点位置，即得到该障碍物的接地点在模板图像中所处的像素位置。
步骤407，将第二像素坐标通过预设的地面方程转换成接地点的相机坐标。
步骤408，将接地点的相机坐标通过相机的外参转换成接地的世界坐标。
步骤409，将接地点的世界坐标作为障碍物在世界坐标系下的位置输出。
步骤407-409与步骤204-205基本相同，因此不再赘述。
从图4中可以看出，与图2对应的实施例相比，本实施例中的用于检测障碍物的方法的流程400体现了通过傅立叶梅林变换求解偏移的步骤。由此，本实施例描述的方案能够加速检测速度，并且鲁棒。
进一步参考图5，作为对上述各图所示方法的实现，本申请提供了一种用于检测障碍物的装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图5所示，本实施例的用于检测障碍物的装置500包括：获取单元501、检测单元502、偏移单元503、转换单元504、输出单元505。其中，获取单元501，被配置成获取相机采集的当前图像。检测单元502，被配置成将当前图像输入预先训练的检测模型，得到障碍物的检测框的位置并确定出接地点在当前图像中的第一像素坐标。偏移单元503，被配置成确定当前图像和模板图像之间的偏移，其中，模板图像为进行相机的外参标定时所使用的图像。转换单元504，被配置成基于偏移将第一像素坐标转换成接地点的世界坐标；输出单元505，被配置成将接地点的世界坐标作为障碍物在世界坐标系下的位置输出。
在本实施例中，用于检测障碍物的装置500的获取单元501、检测单元502、偏移单元503、转换单元504、输出单元505的具体处理可以参考图2对应实施例中的步骤201、步骤202、步骤203、步骤204、步骤205。
在本实施例的一些可选的实现方式中，转换单元504进一步被配置成：根据第一像素坐标和偏移确定接地点在模板图像中的第二像素坐标；将第二像素坐标通过预设的地面方程转换成接地点的相机坐标；将接地点的相机坐标通过相机的外参转换成接地点的世界坐标。
在本实施例的一些可选的实现方式中，偏移单元503进一步被配置成：计算当前图像对模板图像的旋转和缩放系数；根据旋转和缩放系数对当前图像进行旋转和缩放；计算旋转和缩放后的当前图像对模板图像的偏移。
在本实施例的一些可选的实现方式中，偏移单元503进一步被配置成：计算当前图像对模板图像的旋转和缩放系数；以及根据第一像素坐标和偏移确定接地点在模板图像中的第二像素坐标，包括：将第一像素坐标乘以旋转和缩放系数得到接地点在模板图像中的第二像素坐标。
在本实施例的一些可选的实现方式中，偏移单元503进一步被配置成：对当前图像和模板图像分别进行傅立叶梅林变换，求解出当前图像对模板图像的旋转和缩放系数。
在本实施例的一些可选的实现方式中，偏移单元503进一步被配置成：对旋转和缩放后的当前图像进行傅立叶变换，并获取模板图像的傅立叶变换的结果；对当前图像的傅立叶变换的结果和模板图像的傅立叶变换的结果求归一化互功率谱矩阵；对功率谱矩阵进行逆傅立叶变换得到H矩阵；找到H矩阵中能量最大的点，计算该点的偏移。
根据本申请的实施例，本申请还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
如图6所示，是根据本申请实施例的用于检测障碍物的方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图6所示，该电子设备包括：一个或多个处理器601、存储器602，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图6中以一个处理器601为例。
存储器602即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的用于检测障碍物的方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的用于检测障碍物的方法。
存储器602作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的用于检测障碍物的方法对应的程序指令/模块(例如，附图5所示的获取单元501、检测单元502、偏移单元503、转换单元504、输出单元505)。处理器601通过运行存储在存储器602中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的用于检测障碍物的方法。
存储器602可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据用于检测障碍物的电子设备的使用所创建的数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器602可选包括相对于处理器601远程设置的存储器，这些远程存储器可以通过网络连接至用于检测障碍物的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
用于检测障碍物的方法的电子设备还可以包括：输入装置603和输出装置604。处理器601、存储器602、输入装置603和输出装置604可以通过总线或者其他方式连接，图6中以通过总线连接为例。
输入装置603可接收输入的数字或字符信息，以及产生与用于检测障碍物的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置604可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案，从图像角度解决了相机抖动的问题，使路侧感知系统的鲁棒性大大提高，可以面对存在相机抖动的场景。并且不需要添加额外的新传感器。同时相比于在线标定算法，节约了成本，可以使原有耗费在在线标定上的计算资源被节约，用来支持其他的应用和计算。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (12)

1.一种用于检测障碍物的方法，包括：
获取路边的相机采集的当前图像；
将所述当前图像输入预先训练的检测模型，得到障碍物的检测框的位置并确定出接地点在所述当前图像中的第一像素坐标，其中，所述接地点是所述检测框上靠近相机侧的一点，所述第一像素坐标为像素坐标系的坐标，像素坐标系是指可视化后图片的坐标系，左上角为原点，向右向下为正方向；
确定所述当前图像和模板图像之间的偏移，其中，所述模板图像为进行相机的外参标定时所使用的图像；
基于所述偏移将所述第一像素坐标转换成所述接地点的世界坐标；
将所述接地点的世界坐标作为障碍物在世界坐标系下的位置输出；
其中，所述基于所述偏移将所述第一像素坐标转换成所述接地点的世界坐标，包括：
根据所述第一像素坐标和所述偏移确定所述接地点在所述模板图像中的第二像素坐标；
将所述第二像素坐标通过预设的地面方程转换成所述接地点的相机坐标；
将所述接地点的相机坐标通过所述相机的外参转换成所述接地点的世界坐标。
2.根据权利要求1所述的方法，其中，所述确定所述当前图像和模板图像之间的偏移，包括：
计算所述当前图像对模板图像的旋转和缩放系数；
根据所述旋转和缩放系数对所述当前图像进行旋转和缩放；
计算旋转和缩放后的当前图像对模板图像的偏移。
3. 根据权利要求1所述的方法，其中，所述确定所述当前图像和模板图像之间的偏移，包括：
计算所述当前图像对模板图像的旋转和缩放系数；以及
所述根据所述第一像素坐标和所述偏移确定所述接地点在所述模板图像中的第二像素坐标，包括：
将所述第一像素坐标乘以所述旋转和缩放系数得到所述接地点在所述模板图像中的第二像素坐标。
4.根据权利要求2或3所述的方法，其中，所述计算所述当前图像对模板图像的旋转和缩放系数，包括：
对所述当前图像和模板图像分别进行傅立叶梅林变换，求解出所述当前图像对模板图像的旋转和缩放系数。
5.根据权利要求2所述的方法，其中，所述计算旋转和缩放后的当前图像对所述模板图像的平移，包括：
对旋转和缩放后的当前图像进行傅立叶变换，并获取所述模板图像的傅立叶变换的结果；
对所述当前图像的傅立叶变换的结果和所述模板图像的傅立叶变换的结果求归一化互功率谱矩阵；
对所述功率谱矩阵进行逆傅立叶变换得到H矩阵；
找到所述H矩阵中能量最大的点，计算该点的偏移。
6.一种用于检测障碍物的装置，包括：
获取单元，被配置成获取路边的相机采集的当前图像；
检测单元，被配置成将所述当前图像输入预先训练的检测模型，得到障碍物的检测框的位置并确定出接地点在所述当前图像中的第一像素坐标，其中，所述接地点是所述检测框上靠近相机侧的一点，所述第一像素坐标为像素坐标系的坐标，像素坐标系是指可视化后图片的坐标系，左上角为原点，向右向下为正方向；
偏移单元，被配置成确定所述当前图像和模板图像之间的偏移，其中，所述模板图像为进行相机的外参标定时所使用的图像；
转换单元，被配置成基于所述偏移将所述第一像素坐标转换成所述接地点的世界坐标；
输出单元，被配置成将所述接地点的世界坐标作为障碍物在世界坐标系下的位置输出；
其中，所述转换单元进一步被配置成：
根据所述第一像素坐标和所述偏移确定所述接地点在所述模板图像中的第二像素坐标；
将所述第二像素坐标通过预设的地面方程转换成所述接地点的相机坐标；
将所述接地点的相机坐标通过所述相机的外参转换成所述接地点的世界坐标。
7.根据权利要求6所述的装置，其中，所述偏移单元进一步被配置成：
计算所述当前图像对模板图像的旋转和缩放系数；
根据所述旋转和缩放系数对所述当前图像进行旋转和缩放；
计算旋转和缩放后的当前图像对模板图像的偏移。
8. 根据权利要求6所述的装置，其中，所述偏移单元进一步被配置成：
计算所述当前图像对模板图像的旋转和缩放系数；以及
所述根据所述第一像素坐标和所述偏移确定所述接地点在所述模板图像中的第二像素坐标，包括：
将所述第一像素坐标乘以所述旋转和缩放系数得到所述接地点在所述模板图像中的第二像素坐标。
9.根据权利要求7或8所述的装置，其中，所述偏移单元进一步被配置成：
对所述当前图像和模板图像分别进行傅立叶梅林变换，求解出所述当前图像对模板图像的旋转和缩放系数。
10.根据权利要求7所述的装置，其中，所述偏移单元进一步被配置成：
对旋转和缩放后的当前图像进行傅立叶变换，并获取所述模板图像的傅立叶变换的结果；
对所述当前图像的傅立叶变换的结果和所述模板图像的傅立叶变换的结果求归一化互功率谱矩阵；
对所述功率谱矩阵进行逆傅立叶变换得到H矩阵；
找到所述H矩阵中能量最大的点，计算该点的偏移。
11. 一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5中任一项所述的方法。
12.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1-5中任一项所述的方法。
CN202010429060.0A 2020-05-20 2020-05-20 用于检测障碍物的方法和装置 Active CN111612760B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202010429060.0A CN111612760B (zh) 2020-05-20 2020-05-20 用于检测障碍物的方法和装置
US17/117,422 US11688099B2 (en) 2020-05-20 2020-12-10 Method and apparatus for detecting obstacle
EP21165055.1A EP3846129A3 (en) 2020-05-20 2021-03-25 Method and apparatus for detecting obstacle
JP2021052615A JP7221324B2 (ja) 2020-05-20 2021-03-26 障害物を検出するための方法および装置、電子機器、記憶媒体並びにコンピュータプログラム
KR1020210040407A KR102581429B1 (ko) 2020-05-20 2021-03-29 장애물을 탐지하는 방법, 장치, 전자 기기, 저장 매체 및 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010429060.0A CN111612760B (zh) 2020-05-20 2020-05-20 用于检测障碍物的方法和装置

Publications (2)

Publication Number Publication Date
CN111612760A CN111612760A (zh) 2020-09-01
CN111612760B true CN111612760B (zh) 2023-11-17

Family

ID=72202030

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010429060.0A Active CN111612760B (zh) 2020-05-20 2020-05-20 用于检测障碍物的方法和装置

Country Status (5)

Country Link
US (1) US11688099B2 (zh)
EP (1) EP3846129A3 (zh)
JP (1) JP7221324B2 (zh)
KR (1) KR102581429B1 (zh)
CN (1) CN111612760B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112150558B (zh) * 2020-09-15 2024-04-12 阿波罗智联(北京)科技有限公司 用于路侧计算设备的障碍物三维位置获取方法及装置
CN112101209B (zh) * 2020-09-15 2024-04-09 阿波罗智联(北京)科技有限公司 用于路侧计算设备的确定世界坐标点云的方法和装置
CN112707340B (zh) * 2020-12-10 2022-07-19 安徽有光图像科技有限公司 基于视觉识别的设备控制信号生成方法、装置及叉车
CN112581526A (zh) * 2020-12-11 2021-03-30 北京百度网讯科技有限公司 障碍物检测的测评方法、装置、设备以及存储介质
CN112507956A (zh) * 2020-12-21 2021-03-16 北京百度网讯科技有限公司 信号灯识别方法、装置、电子设备、路侧设备和云控平台
CN112560769B (zh) * 2020-12-25 2023-08-29 阿波罗智联(北京)科技有限公司 用于检测障碍物的方法、电子设备、路侧设备和云控平台
CN112668505A (zh) 2020-12-30 2021-04-16 北京百度网讯科技有限公司 基于路侧相机的外参的三维感知信息获取方法和路侧设备
CN112818990B (zh) * 2021-01-29 2023-08-22 中国人民解放军军事科学院国防科技创新研究院 目标检测框的生成方法、图像数据自动标注方法及系统
CN112991446A (zh) 2021-03-10 2021-06-18 北京百度网讯科技有限公司 图像稳像方法、装置、路侧设备以及云控平台
CN112883909A (zh) * 2021-03-16 2021-06-01 东软睿驰汽车技术（沈阳）有限公司 基于包围盒的障碍物位置检测方法、装置和电子设备
CN113820698B (zh) * 2021-09-13 2024-04-16 广州小鹏自动驾驶科技有限公司 障碍物测距方法、装置、电子设备及可读介质
CN113777618B (zh) * 2021-09-13 2024-04-16 广州小鹏自动驾驶科技有限公司 障碍物测距方法、装置、电子设备及可读介质
CN115147809B (zh) * 2022-06-30 2023-09-22 阿波罗智能技术(北京)有限公司 一种障碍物检测方法、装置、设备以及存储介质
CN115166721B (zh) * 2022-09-05 2023-04-07 湖南众天云科技有限公司 路侧感知设备中雷达与gnss信息标定融合方法及装置
CN115797467B (zh) * 2023-02-02 2023-07-28 深圳市德驰微视技术有限公司 车辆相机标定结果检测方法、装置、设备及存储介质
CN116563817B (zh) * 2023-04-14 2024-02-20 禾多科技（北京）有限公司 障碍物信息生成方法、装置、电子设备和计算机可读介质
CN116740382B (zh) * 2023-05-08 2024-02-20 禾多科技（北京）有限公司 障碍物信息生成方法、装置、电子设备和计算机可读介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006041939A (ja) * 2004-07-27 2006-02-09 Victor Co Of Japan Ltd 監視装置及び監視プログラム
CN101582161A (zh) * 2009-06-15 2009-11-18 北京航空航天大学 一种基于透视成像模型标定的c型臂图像校正方法
CN101852609A (zh) * 2010-06-02 2010-10-06 北京理工大学 一种基于机器人双目立体视觉的地面障碍物检测方法
CN103413313A (zh) * 2013-08-19 2013-11-27 国家电网公司 基于电力机器人的双目视觉导航系统及方法
CN103827921A (zh) * 2011-09-30 2014-05-28 西门子工业公司 用于在存在长期图像漂移的情况下使实时视频稳定的方法和系统
CN103837869A (zh) * 2014-02-26 2014-06-04 北京工业大学 基于向量关系的单线激光雷达和ccd相机标定方法
CN104010130A (zh) * 2014-05-05 2014-08-27 中国科学院国家天文台 一种多窗口跟踪的稳像方法
CN104596502A (zh) * 2015-01-23 2015-05-06 浙江大学 一种基于cad模型与单目视觉的物体位姿测量方法
WO2018058356A1 (zh) * 2016-09-28 2018-04-05 驭势科技（北京）有限公司 基于双目立体视觉的汽车防碰撞预警方法和系统
CN108876826A (zh) * 2017-05-10 2018-11-23 深圳先进技术研究院 一种图像匹配方法及系统
CN110738183A (zh) * 2019-10-21 2020-01-31 北京百度网讯科技有限公司 障碍物检测方法及装置
CN110962844A (zh) * 2019-10-28 2020-04-07 纵目科技（上海）股份有限公司 一种车辆航向角修正方法及系统、存储介质及终端

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6266452B1 (en) 1999-03-18 2001-07-24 Nec Research Institute, Inc. Image registration method
JP4406381B2 (ja) * 2004-07-13 2010-01-27 株式会社東芝 障害物検出装置及び方法
JP4254802B2 (ja) * 2006-05-11 2009-04-15 ソニー株式会社 画像処理装置および方法、プログラム並びに記録媒体
JP2008015848A (ja) 2006-07-07 2008-01-24 Kobe Univ 物体領域探索方法，物体領域探索プログラムおよび物体領域探索装置
JP5299513B2 (ja) * 2009-08-12 2013-09-25 日本電気株式会社 障害物検知装置及び方法並びに障害物検知システム
US8611692B2 (en) * 2011-09-26 2013-12-17 Northrop Grumman Systems Corporation Automated image registration with varied amounts of a priori information using a minimum entropy method
US20160125266A1 (en) * 2013-06-17 2016-05-05 Konica Minolta, Inc. Image Processing Method, Image Processing Device, And Image Processing Program
JP6972938B2 (ja) * 2017-11-07 2021-11-24 株式会社アイシン 周辺監視装置
CN109146938B (zh) 2018-08-30 2020-09-15 百度在线网络技术（北京）有限公司 动态障碍物的位置校准方法、装置、设备及存储介质
JP7040374B2 (ja) 2018-09-14 2022-03-23 トヨタ自動車株式会社 物体検出装置、車両制御システム、物体検出方法及び物体検出用コンピュータプログラム
CN109343061B (zh) 2018-09-19 2021-04-02 百度在线网络技术（北京）有限公司 传感器标定方法、装置、计算机设备、介质和车辆

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006041939A (ja) * 2004-07-27 2006-02-09 Victor Co Of Japan Ltd 監視装置及び監視プログラム
CN101582161A (zh) * 2009-06-15 2009-11-18 北京航空航天大学 一种基于透视成像模型标定的c型臂图像校正方法
CN101852609A (zh) * 2010-06-02 2010-10-06 北京理工大学 一种基于机器人双目立体视觉的地面障碍物检测方法
CN103827921A (zh) * 2011-09-30 2014-05-28 西门子工业公司 用于在存在长期图像漂移的情况下使实时视频稳定的方法和系统
CN103413313A (zh) * 2013-08-19 2013-11-27 国家电网公司 基于电力机器人的双目视觉导航系统及方法
CN103837869A (zh) * 2014-02-26 2014-06-04 北京工业大学 基于向量关系的单线激光雷达和ccd相机标定方法
CN104010130A (zh) * 2014-05-05 2014-08-27 中国科学院国家天文台 一种多窗口跟踪的稳像方法
CN104596502A (zh) * 2015-01-23 2015-05-06 浙江大学 一种基于cad模型与单目视觉的物体位姿测量方法
WO2018058356A1 (zh) * 2016-09-28 2018-04-05 驭势科技（北京）有限公司 基于双目立体视觉的汽车防碰撞预警方法和系统
CN108876826A (zh) * 2017-05-10 2018-11-23 深圳先进技术研究院 一种图像匹配方法及系统
CN110738183A (zh) * 2019-10-21 2020-01-31 北京百度网讯科技有限公司 障碍物检测方法及装置
CN110962844A (zh) * 2019-10-28 2020-04-07 纵目科技（上海）股份有限公司 一种车辆航向角修正方法及系统、存储介质及终端

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Li Li等.Road edge and obstacle detection on the SmartGuard navigation system.《Proceedings of the 2014 3rd International Conference on Applied Robotics for the Power Industry》.2015,第1-4页. *
Prateek Khandelwal等.Using Computer Vision to enhance Safety of Workforce in Manufacturing in a Post COVID World.《Computer Vision and Pattern Recognition》.2020,第1-7页. *
牟新刚等.《红外探测器成像与信息处理》.重庆大学出版社,2016,第177-180页. *

Also Published As

Publication number Publication date
JP2021120864A (ja) 2021-08-19
EP3846129A2 (en) 2021-07-07
KR20210042274A (ko) 2021-04-19
US20210366155A1 (en) 2021-11-25
US11688099B2 (en) 2023-06-27
KR102581429B1 (ko) 2023-09-20
JP7221324B2 (ja) 2023-02-13
EP3846129A3 (en) 2021-10-06
CN111612760A (zh) 2020-09-01

Similar Documents

Publication Publication Date Title
CN111612760B (zh) 用于检测障碍物的方法和装置
CN109270534B (zh) 一种智能车激光传感器与相机在线标定方法
JP7422105B2 (ja) 路側計算装置に用いる障害物３次元位置の取得方法、装置、電子デバイス、コンピュータ可読記憶媒体、及びコンピュータプログラム
CN111666876B (zh) 用于检测障碍物的方法、装置、电子设备和路侧设备
CN110675635B (zh) 相机外参的获取方法、装置、电子设备及存储介质
CN110929669B (zh) 数据标注方法及装置
CN111578839B (zh) 障碍物坐标处理方法、装置、电子设备及可读存储介质
CN113568435B (zh) 一种基于无人机自主飞行态势感知趋势的分析方法与系统
CN110793544A (zh) 感知传感器参数标定方法、装置、设备及存储介质
CN111721281B (zh) 位置识别方法、装置和电子设备
CN113887400B (zh) 障碍物检测方法、模型训练方法、装置及自动驾驶车辆
CN113989450A (zh) 图像处理方法、装置、电子设备和介质
US11867801B2 (en) Vehicle information detection method, method for training detection model, electronic device and storage medium
CN110634138A (zh) 一种基于视觉感知的桥梁变形的监测方法、装置及设备
Ma et al. Crlf: Automatic calibration and refinement based on line feature for lidar and camera in road scenes
CN116188893A (zh) 基于bev的图像检测模型训练及目标检测方法和装置
WO2022246812A1 (zh) 定位方法、装置、电子设备及存储介质
CN112509058B (zh) 外参的计算方法、装置、电子设备和存储介质
Zhou et al. Information-efficient 3-D visual SLAM for unstructured domains
CN112509126A (zh) 三维物体检测的方法、装置、设备及存储介质
CN116129422A (zh) 单目3d目标检测方法、装置、电子设备和存储介质
CN115937449A (zh) 高精地图生成方法、装置、电子设备和存储介质
CN111784659A (zh) 图像检测的方法、装置、电子设备以及存储介质
CN113313764B (zh) 定位方法、装置、电子设备和存储介质
CN113066152B (zh) 一种agv地图构建方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20211015

Address after: 100176 101, floor 1, building 1, yard 7, Ruihe West 2nd Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing

Applicant after: Apollo Zhilian (Beijing) Technology Co.,Ltd.

Address before: 2 / F, baidu building, 10 Shangdi 10th Street, Haidian District, Beijing 100085

Applicant before: BEIJING BAIDU NETCOM SCIENCE AND TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant