CN111381585B - 一种构建占据栅格地图的方法及其装置、相关设备 - Google Patents

一种构建占据栅格地图的方法及其装置、相关设备 Download PDF

Info

Publication number
CN111381585B
CN111381585B CN201811511159.4A CN201811511159A CN111381585B CN 111381585 B CN111381585 B CN 111381585B CN 201811511159 A CN201811511159 A CN 201811511159A CN 111381585 B CN111381585 B CN 111381585B
Authority
CN
China
Prior art keywords
grid
category
probability
occupation
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811511159.4A
Other languages
English (en)
Other versions
CN111381585A (zh
Inventor
林轩
王乃岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tusimple Technology Co Ltd
Original Assignee
Beijing Tusimple Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tusimple Technology Co Ltd filed Critical Beijing Tusimple Technology Co Ltd
Priority to CN201811511159.4A priority Critical patent/CN111381585B/zh
Priority to CN202310491699.5A priority patent/CN116592872A/zh
Publication of CN111381585A publication Critical patent/CN111381585A/zh
Application granted granted Critical
Publication of CN111381585B publication Critical patent/CN111381585B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3811—Point data, e.g. Point of Interest [POI]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3844—Data obtained from position sensors only, e.g. from inertial navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3859—Differential updating map data
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种构建占据栅格地图的方法及其装置、相关设备，以提高占据栅格地图中栅格的分类的准确性。方法包括：根据车辆位置和前一次占据栅格地图，构建本次占据栅格地图；将本次占据栅格地图的各栅格映射到最近一次从车载摄像头接收到的图像上，得到各栅格对应的像素；对所述图像进行语义分割得到每个像素的语义信息；针对每个栅格，根据所述栅格对应的像素的语义信息确定所述栅格归属各占据类别的本次观测概率；根据所述栅格归属各占据类别的前次概率、归属各占据类别的本次观测概率，确定所述栅格归属各占据类别的本次概率；根据各栅格归属各占据类别的本次概率更新本次占据栅格地图中相应占据栅格的占据类别。

Description

一种构建占据栅格地图的方法及其装置、相关设备
技术领域
本发明涉及人工智能领域，特别涉及一种构建占据栅格地图的方法、一种构建占据栅格地图的装置、一种计算机服务器、一种处理设备。
背景技术
占据栅格地图(Occupancy grid map)作为人工智能领域(例如自动驾驶车辆、机器人等)最常用的建图方法，将地图细化为一定精度的栅格，根据传感器回传的环境信息，估计占据栅格地图中的每个栅格被占据的概率，为路径规划提供依据。
传统的占据栅格地图是一个二态的地图，即每个栅格只有两种状态：被占据(occupied)或者自由空间(free space)。
与本发明技术方案最为接近的现有技术为M.Himstedt and E.Maehle发表的论文“Online semantic mapping of logistic environments using RGB-D cameras”，在该论文中公开以下构建占据栅格地图的技术方案，如图1所示：
首先，根据深度图像进行点云重建得到点云，采用RANSAC过滤掉点云中类型为地面的点，保留属于障碍物的点；
然后，从保留的点云中提取障碍物的轮廓，并根据所述轮廓的长宽比等信息估计障碍物的类别，并确定障碍物在RGB图像中的区域(以下称为ROI(Region Of Interest)区域)；
再然后，用深度神经网络提取所述ROI区域的特征，并采用SVM(Support VectorMachine，支持向量机)分类方法得到障碍物的精确类别；
最后，将所述障碍物在ROI区域内的点云映射到极坐标栅格中，得到具有语义信息的占据栅格地图。
前述占据栅格地图构建的方案对障碍物类别预估精准性依赖于该障碍物的长宽比是否固定、障碍物在图像中呈现的角度是否合适，若障碍物的长宽比固定且障碍物在该图像中的呈现角度较好，则该种方案可以精准的估计出障碍物的类别；但是，当障碍物的长宽比不固定、长宽比不显著或者障碍物在图像中呈现的形状不规则时(例如一堵墙、摞起来的集装箱、呈现侧面的岸桥等)很难精准的获取到ROI区域，因此根据不精准的ROI区域的特征对障碍物进行分类所得到的分类结果不准确，从而导致占据栅格地图中栅格的分类结果不精准。
发明内容
鉴于上述问题，本发明提供一种构建占据栅格地图的方法及其装置、计算机服务器，以提高对占据栅格地图中栅格进行分类的准确性。
本发明实施例，第一方面，提供一种构建占据栅格地图的方法，在车辆上设置有至少一路车载摄像头，所述方法包括：
根据车辆位置和前一次占据栅格地图，构建本次占据栅格地图；
将本次占据栅格地图的各栅格映射到最近一次从车载摄像头接收到的图像上，得到各栅格对应的像素；
对所述图像进行语义分割得到每个像素的语义信息；
针对每个栅格，根据所述栅格对应的像素的语义信息确定所述栅格归属各占据类别的本次观测概率；根据所述栅格归属各占据类别的前次概率、归属各占据类别的本次观测概率，确定所述栅格归属各占据类别的本次概率；
根据各栅格归属各占据类别的本次概率更新本次占据栅格地图中相应占据栅格的占据类别。
本发明实施例，第二方面，提供一种构建占据栅格地图的装置，所述装置与车辆上设置的至少一路车载摄像头通信连接，所述装置包括：
地图构建单元，用于根据车辆位置和前一次占据栅格地图，构建本次占据栅格地图；
映射单元，用于将本次占据栅格地图的各栅格映射到最近一次从车载摄像头接收到的图像上，得到各栅格对应的像素；
语义分割单元，用于对所述图像进行语义分割得到每个像素的语义信息；
地图更新单元，用于针对每个栅格，根据所述栅格对应的像素的语义信息确定所述栅格归属各占据类别的本次观测概率；根据所述栅格归属各占据类别的前次概率、归属各占据类别的本次观测概率，确定所述栅格归属各占据类别的本次概率；以及，根据各栅格归属各占据类别的本次概率更新本次占据栅格地图中相应占据栅格的占据类别。
本发明实施例，第三方面，提供一种计算机服务器，包括存储器，以及与所述存储器通信连接的一个或多个处理器；
所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行，以使所述一个或多个处理器实现如权利要求1～10中任一项所述的构建占据栅格地图的方法。
本发明实施例，第四方面，提供一种处理设备，包括第一通信单元、第二通信单元和处理单元，所述第一通信单元与车辆上的定位设备通信连接，第二通信单元与至少一路车载摄像头通信连接，其中：
第一通信单元，用于从定位设备接收车辆的位置，并将车辆的位置发送给处理单元；
第二通信单元，用于在从车载摄像头接收到图像时，将所述图像发送给处理单元；
处理单元，用于根据车辆位置和前一次占据栅格地图，构建本次占据栅格地图；将本次占据栅格地图的各栅格映射到最近一次从车载摄像头接收到的图像上，得到各栅格对应的像素；对所述图像进行语义分割得到每个像素的语义信息；针对每个栅格，根据所述栅格对应的像素的语义信息确定所述栅格归属各占据类别的本次观测概率；根据所述栅格归属各占据类别的前次概率、归属各占据类别的本次观测概率，确定所述栅格归属各占据类别的本次概率；根据各栅格归属各占据类别的本次概率更新本次占据栅格地图中相应占据栅格的占据类别。
本发明技术方案，根据最近一次从车载摄像头接收到的图像对本次占据栅格地图进行更新过程中，将占据栅格地图中的每个栅格与图像中的像素对应，对图像进行语义分割得到每个像素的语义信息，而对图像进行像素级的语义分割能够得到每个像素的精准分类信息，从而可以获知与该像素对应的栅格的精准语义信息，根据栅格的精准语义信息可以得到该栅格更为精准的占据类别，本领域技术人员可以根据实际需求灵活设置占据类别的细粒度，甚至可以将占据类别设置为与语义类别一致，解决了现有技术占据栅格地图语义信息不精准的问题；并且，语义分割可以适用于任何形状的障碍物，并不仅限于宽度、高度相对固定的障碍物并且也不需要障碍物必须在图像中以一个较好的角度呈现，适用范围更广。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
图1为现有技术构建占据栅格地图的示意图；
图2为本发明实施例中构建占据栅格地图的方法流程图之一；
图3为本发明实施例中构建占据栅格地图的方法流程图之二；
图4为本发明实施例中在图3所示的方式下构建本次占据栅格地图的示意图；
图5为本发明实施例中构建占据栅格地图的方法流程图之三；
图6为本发明实施例中在图5所示的方式下构建本次占据栅格地图的示意图；
图7为本发明实施例中构建占据栅格地图的方法流程图之四；
图8本发明实施例中在图7所示的方式下构建本次占据栅格地图的示意图；
图9为本发明实施例中构建的占据栅格地图的示意图之一；
图10为本发明实施例中构建的占据栅格地图的示意图之二；
图11为本发明实施例中构建占据栅格地图的装置的结构示意图；
图12为本发明实施例中计算机服务器的结构示意图；
图13为本发明实施例中处理设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
实施例一
参见图2，为本发明实施例中构建占据栅格地图的方法的流程图，在车辆上设置有至少一路车载摄像头(本申请不对车载摄像头的结构类型、数量进行严格限定，本领域技术人员可根据实际需求选取摄像头的结构类型和数量)，该方法包括：
步骤101、根据车辆位置和前一次占据栅格地图，构建本次占据栅格地图；
步骤102、将本次占据栅格地图的各栅格映射到最近一次从车载摄像头接收到的图像上，得到各栅格对应的像素；
步骤103、对所述图像进行语义分割得到每个像素的语义信息；
步骤104、针对每个栅格，根据所述栅格对应的像素的语义信息确定所述栅格归属各占据类别的本次观测概率；根据所述栅格归属各占据类别的前次概率、归属各占据类别的本次观测概率，确定所述栅格归属各占据类别的本次概率；
步骤105、根据各栅格归属各占据类别的本次概率更新本次占据栅格地图中相应占据栅格的占据类别。
本发明实施例中，所述步骤102和步骤103之间没有严格的先后执行顺序，可以先执行步骤102再执行步骤103，也可以先执行步骤103再执行步骤102，也可以是步骤102和步骤103同步执行，本申请不作严格限定。
在一些可选的实施例中，前述步骤101中，根据车辆位置和前一次占据栅格地图，构建本次占据栅格地图，具体可通过以下步骤A1～步骤A2实现，如图3、如图4所示：
步骤A1、在每接收到车辆位置时，以车辆位置为基准构建初始占据栅格地图；
步骤A2、根据前一次占据栅格地图的各栅格的占据类别更新所述初始占据栅格地图中相应的栅格的占据类别，以得到本次占据栅格地图。
如图4中，每接收到一个车辆位置即构建一个占据栅格地图，例如在T1时刻接收到车辆位置P1，则以车辆位置P1为基准构建本次占据栅格地图为G1，在T2时刻到来之前，根据T1时刻和T2时刻之间接收到的图像分别依次对G1进行更新；当T2时刻到来时接收到车辆位置P2，以车辆位置P2为基准构建本次占据栅格地图G2，此时G1则成为前一次占据栅格地图，在T3时刻到来之前，根据T2时刻和T3时刻之间接收到的图像分别依次对G2进行更新；当T3时刻到来时接收到车辆位置P3，以车辆位置P3为基准构建本次占据栅格地图G3，此时G2则成为前一次占据栅格地图，在T4时刻到来之前，根据T3时刻和T4时刻之间接收到的图像分别依次对G3进行更新；依此类推。
在图3所示的流程中，在前述步骤101与步骤102之间还可进一步包括步骤101A～步骤101B，如图5、图6所示：
步骤101A、计算最近一次从车载摄像头接收图像的时刻与最近一次接收车辆位置的时刻之间的时间差；
步骤101B、判断所述时间差是否小于等于预置的时长阈值，若是则执行步骤102，若否则忽略最近一次从车载摄像头接收到的图像。
如图6中，每接收到一个车辆位置即构建一个占据栅格地图，例如在T1时刻接收到车辆位置P1，则以车辆位置P1为基准构建本次占据栅格地图为G1，在T2时刻到来之前，在T1时刻和T2时刻之间每接收到一个图像时，判断该图像的接收时刻与T1时刻之间的时间差是否大于设置的时长阈值，若否则根据该图像更新G1，若是则忽略该图像不对G1进行更新；当T2时刻到来时接收到车辆位置P2，以车辆位置P2为基准构建本次占据栅格地图G2，此时G1则成为前一次占据栅格地图，在T3时刻到来之前，在T2时刻和T3时刻之间每接收到一张图像，则判断该图像的接收时刻与T2时刻之间的时间差是否大于设置的时长阈值，若否则根据该图像更新G2，若是则忽略该图像不对G2进行更新；当T3时刻到来时接收到车辆位置P3，以车辆位置P3为基准构建本次占据栅格地图G3，此时G2则成为前一次占据栅格地图，在T4时刻到来之前，在T3时刻和T4时刻之间每接收到一张图像，则判断该图像的接收时刻与T3时刻之间的时间差是否大于设置的时长阈值，若否则根据该图像更新G3，若是则忽略该图像不对G3进行更新；依此类推。
在一些可选的实施例中，前述步骤101中，根据车辆位置和前一次占据栅格地图，构建本次占据栅格地图，具体可通过以下步骤B1～步骤B2实现，如图7、图8所示：
步骤B1、在每从车载摄像头接收到图像时，确定最近一次接收到的车辆位置，以车辆位置为基准构建初始占据栅格地图；
步骤B2、根据前一次占据栅格地图的各栅格的占据类别更新所述初始占据栅格地图中相应的栅格的占据类别，以得到本次占据栅格地图。
在一些可选的实施例中，所述步骤A1和步骤B1中，以车辆位置为基准构建初始占据栅格地图，具体可通过以下步骤C1～步骤C3实现：
步骤C1、在车体坐标系中以车辆位置为基准构建第一占据栅格地图；
步骤C2、根据车体坐标系的原点与地面的高度对所述第一占据栅格地图中各栅格赋予初始高度值；
步骤C2中，可以将第一占据栅格地图中的每个栅格的初始高度值均设置为车体坐标系与地面的高度；
步骤C3、根据预置的地形地图对所述第一占据栅格地图中各栅格的初始高度值进行修正，以得到所述初始占据栅格地图。
此时，步骤102中将本次占据栅格地图的各栅格映射到最近一次从车载摄像头接收到的图像上，具体包括：根据预置车体坐标系与所述车载摄像头的相机坐标系之间的外参，将本次占据栅格地图转换到相机坐标系中；根据所述车载摄像头内参，将相机坐标系中的本次占据栅格地图映射到所述图像上，以得到每个栅格对应的像素。
如图8中，每接收到一张图像即构建一个占据栅格地图，例如在t1时刻接收到一张图像cam1，确定在t1时刻之前最近一次接收到的车辆位置为T1时刻接收到的车辆位置P1，则以车辆位置P1为基准构建本次占据栅格地图为G1，并根据cam1更新G1；在t2时刻接收到图像cam2时，确定在t2时刻之前最近一次接收到的车辆位置为T1时刻接收到的车辆位置P1，则以车辆位置P1为基准构建本次占据栅格地图为G2，此时G1为前一次占据栅格地图，根据cam2更新G2；在t3时刻接收到图像cam3时，确定在t3时刻之前最近一次接收到的车辆位置为T2时刻接收到的车辆位置P2，则以车辆位置P2为基准构建本次占据栅格地图为G3，此时G2为前一次占据栅格地图，根据cam3更新G3；在t4时刻接收到图像cam4时，确定在t4时刻之前最近一次接收到的车辆位置为T2时刻接收到的车辆位置P2，则以车辆位置P2为基准构建本次占据栅格地图为G4，此时G3为前一次占据栅格地图，根据cam4更新G4；依此类推。
在一些可选的实施例中，可以采用装载在车辆上的IMU(Inertial MeasurementUnit，惯性测量单元)的IMU坐标系作为车体坐标系，车体坐标系的原点为IMU坐标系的原点，该原点可以为IMU安装位置。
在一些可选的实施例中，可以采用笛卡尔坐标作为车体坐标系或者采用极坐标系作为车体坐标系。例如：以车辆的位置为原点，在笛卡尔坐标系下构建占据栅格地图，栅格分布均匀且所有栅格的精度一致，如图9所示；或者，以车辆的当前位置为原点构建极坐标占据栅格地图，同一列的栅格所处射线相对水平方向的夹角相同，但是近处的栅格精度更高，如图10所示，本申请对如何构建占据栅格地图的方式不做严格限定。
在一些可选的实施例中，所述步骤A1和步骤B1中，以车辆位置为基准构建初始占据栅格地图，具体可通过以下步骤D1实现：在地形地图(即terrain map，为预先创建的包含还海拔高度等地理信息的地图)中，以车辆位置为基准构建初始占据栅格地图。此时，所述步骤102中将本次占据栅格地图的各栅格映射到最近一次从车载摄像头接收到的图像上，具体包括：确定地形地图坐标系与所述车载摄像头的相机坐标系之间的外参；根据所述外参将所述初始占据栅格地图转换到所述车载摄像头的相机坐标系中；根据所述车载摄像头内参，将相机坐标系中的本次占据栅格地图映射到所述图像上，以得到每个栅格对应的像素。
本发明实施例中，terrain map坐标系可以是地球坐标系或者ENU坐标系(即东-北-天坐标系)。
在前述所有实施例中，可选地，所述步骤103中可采用语义分割神经网络对图像进行语义分割处理，可以得到图像中每个像素归属各语义类别的表征特性值。所述语义信息为像素归属各语义类别的表征特性值；前述步骤104中根据所述栅格对应的像素的语义信息确定所述栅格归属各占据类别的观测概率中，具体可通过以下步骤104A～步骤104B实现，其中：
步骤104A、根据所述栅格对应的像素归属各语义类别的表征特性值，确定所述像素归属各语义类别的概率；
步骤104B、针对每个占据类别，根据预置的语义类别与占据类别的对应关系，确定与所述占据类别对应的目标语义类别；将所述像素归属各目标语义类别的概率的和值，作为所述栅格归属所述占据类别的本次观测概率。
本发明实施例中，像素归属各语义类别的表征特性值是指能够表明该像素的语义为某一语义类别的可能性的衡量值，例如可以以分数表示。例如语义类别包括车辆、摩托车、自行车、人，某一像素的语义分别为车辆、摩托车、自行车、人的表征特性值为6、2、1、1。在一个实例中，步骤103中采用语义分割神经网络对图像进行语义分割，则所述像素归属各语义类别的表征特性值可以为该语义分割神经网络中softmax层的输入值。
例如，语义类别包括车辆、摩托车、自行车、人、地面、树木、路灯、交通灯、马路牙子、栅栏等，占据类别包括地面类别、静态物体类别和动态物体类别，预先设置的语义类别与占据类别的对应关系为：车辆、摩托车、自行车和人均为动态物体类别，地面为地面类别，树木、路灯、交通灯、马路牙子、栅栏等为静态物体类别。假设一个像素分别归属车辆、摩托车、自行车、人、地面、树木、路灯、交通灯、马路牙子、栅栏的概率依次为94％、2％、1％、1％、0.8％、0.2％、0.1％、0.2％、0.6％、0.1％，则与该像素对应的栅格归属动态物体类别、静态物体类别和地面的概率依次为98％、1.2％、0.8％。
在一个示例中，所述步骤104A中，可以根据以下公式(1)确定像素归属各语义类别的概率：
Figure BDA0001900803850000091
公式(1)中，P(y＝i)为像素归属第i个语义类别的概率，Zi为所述像素归属第i个语义类别的表征特性值。
由于每个栅格的语义由与该栅格对应的像素的语义信息所决定，而在同一车载摄像头，近处场景的分割结果比远处场景的分割结果的可信度更高，为进一步提高每个栅格对应的像素的语义分割结果更为精准，在一个示例中，在前述步骤104A中，在计算每个栅格对应的像素归属各语义类别的概率时引入该栅格的温度参数T，该温度参数T为所述栅格与所述车载摄像头的距离d的函数且正比于所述d，因此，前述步骤104A中，可以根据以下公式(2)确定像素归属各语义类别的概率：
Figure BDA0001900803850000092
公式(2)中，P(y＝i)为像素归属第i个语义类别的概率，Zi为所述像素归属第i个语义类别的表征特性值，T为所述像素对应的栅格与所述车载摄像头的距离d的函数且正比于所述d。
在一些可选的实施例中，前述步骤104B具体实现可通过步骤104B1～步骤104B2实现：
步骤104B1、根据所述栅格归属各占据类别的前次概率、归属各占据类别的本次观测概率、当前占据栅格地图前一次观测和本次观测的时间间隔，确定所述栅格归属各占据类别的前次概率的权重和所述栅格归属各占据类别的本次观测概率的权重；
步骤104B2、针对每个占据类别，将所述栅格归属所述占据类别的前次概率、所述栅格归属所述占据类别的本次观测概率进行加权求和，得到所述栅格归属所述占据类别的本次概率。
在一个示例中，本发明实施例中占据类别包括动态物体类别、静态物体类别和地面，其中栅格归属动态物体类别、静态物体类别和地面的前次概率依次表示为p(D|z1:t-Δt),p(S|z1:t-Δt),p(R|z1:t-Δt)，栅格归属动态物体类别、静态物体类别和地面的本次观测概率依次表示为p(D|zt),p(S|zt),p(R|zt)。前述步骤104B1可根据以下公式(3)计算得到栅格归属各占据类别的前次概率的权重和所述栅格归属各占据类别的本次观测概率的权重：
Figure BDA0001900803850000101
wt＝1-wt-Δt 公式(3)
公式(3)中，wt-Δt为前次概率的权重，wt为本次观测概率的权重，t表示本次观测的时间，Δt表示本次观测与前次观测的时间间隔，ε为预置的前次概率应占的最小比重用于平滑输出，τ为预置的经验值。
在一个示例中，当占据类别包括多个类别时，将栅格归属该多个类别中的静态物体类别的前次概率的和值作为公式(3)中的p(S|z1:t-Δt)，依此得到栅格归属各占据类别的前次概率的权重。例如，本发明实施例中占据类别包括车辆、自行车、行人、马路牙子、栅栏、路灯、交通灯、地面，其中，车辆、自行车、行人属于动态物体，马路牙子、栅栏、路灯、交通灯属于静态物体，则可根前述公式(3)计算得到栅格归属各占据类别的前次概率的权重，此时，公式(3)中的p(S|z1:t-Δt)是指栅格归属马路牙子、栅栏、路灯和交通灯的前次概率的和值；p(S|zt)是指栅格归属马路牙子、栅栏、路灯和交通灯的本次观测概率的和值。
相应地，步骤104B2可根据以下公式(4)栅格归属所述占据类别的本次概率：
p(i|z1:t)＝wt-Δt·p(i|z1:t-Δt)+(1-wt-Δt)·p(i|zt) 公式(4)
公式(4)中，wt-Δt为栅格归属第i个占据类别的前次概率的权重，1-wt-Δt为栅格归属第i个占据类别的本次观测概率的权重，p(i|z1:t)为栅格归属第i个占据类别的本次概率，p(i|z1:t-Δt)表示栅格归属第i个占据类别的前次概率，p(i|zt)表示栅格归属第i个占据类别的本次观测概率。
当然，作为可替代方案，本领域技术人员也可以根据实际需求灵活设置步骤104B1中的权重的取值，例如直接根据经验值将栅格归属各占据类别的前次概率的权重和所述栅格归属各占据类别的本次观测概率的权重设置为一个预置的定值，并不仅限于通过前述公式(3)的方式确定得到。
在一些可选的实施例中，前述步骤104B具体实现可通过步骤104B3～步骤104B5实现，其中：
步骤104B3、根据栅格分别归属静态物体类别、动态物体类别的本次观测概率，得到栅格的本次观测被占据概率；
步骤104B4、根据栅格的本次观测被占据概率和前次被占据概率，确定栅格的本次被占据概率；
步骤104B5、根据栅格归属静态物体类别的本次观测概率和当前观测概率，以及栅格的本次观测被占据概率、前次被占据概率和本次被占据概率，计算得到栅格归属各占据类别的本次概率
在一个示例中，本发明实施例中占据类别包括动态物体类别、静态物体类别和地面，栅格归属动态物体类别、静态物体类别和地面的本次观测概率依次表示为P(D)、P(S)、P(R)，栅格本次观测被占据概率用P(O)表示(即表示本次观测到的该栅格被占据的概率)。根据下式(5)计算栅格的本次观测被占据概率：
p(O)＝p(S)+p(D) 式(5)
对p(O)进行变形，例如计算p(O)的对数奇数比(log-odd ratio)如式(6)：
Figure BDA0001900803850000121
假设栅格的本次被占据概率用p(O|z1:t)表示，p(O|z1:t)的对数奇数比用l(O|z1:t)表示，栅格的前次被占据概率用p(O|z1:t-Δt)表示，p(O|z1:t-Δt)的对数奇数比用l(O|z1:t-Δt)表示，本次观测被占据概率用l(O|zt)表示，则计算栅格的本次被占据概率可如下：
l(O|z1:t)＝l(O|z1:t-Δt)+λ l(O|zt) 式(7)
Figure BDA0001900803850000122
式(7)中，λ为预设的和传感器类型相关的常数。
栅格归属静态物体类别的本次概率用p(S|z1:t)表示，栅格归属动态物体类别的本次概率用p(D|z1:t)表示，栅格归属静态物体类别的前次概率用p(S|z1:t-Δt)表示，计算栅格归属静态物体类别、动态物体类别的本次概率如下式(9)和式(10)：
Figure BDA0001900803850000123
p(D|z1:t)＝p(O|z1:t)-p(S|z1:t) 式(10)
其中，式(9)中的wt,wt-Δt分别为栅格归属静态物体类别的本次观测概率的权重、栅格归属静态物体类别的前次概率的权重，具体表达如下式(11)：
wt-Δt＝max(ε,max(p(S|z1:t-Δt),p(S|zt))·e-Δt/τ) 式(11)
wt＝1-wt-Δt
实施例二
基于前述实施例一提供的构建占据栅格地图的方法的相同构思，本发明实施例二提供一种构建占据栅格地图的装置1，该装置1与车辆上设置的至少一路车载摄像头通信连接，该装置1的结构可如图11所示，包括：
地图构建单元11，用于根据车辆位置和前一次占据栅格地图，构建本次占据栅格地图；
映射单元12，用于将本次占据栅格地图的各栅格映射到最近一次从车载摄像头接收到的图像上，得到各栅格对应的像素；
语义分割单元13，用于对所述图像进行语义分割得到每个像素的语义信息；
地图更新单元14，用于针对每个栅格，根据所述栅格对应的像素的语义信息确定所述栅格归属各占据类别的本次观测概率；根据所述栅格归属各占据类别的前次概率、归属各占据类别的本次观测概率，确定所述栅格归属各占据类别的本次概率；以及，根据各栅格归属各占据类别的本次概率更新本次占据栅格地图中相应占据栅格的占据类别。
在一些可选的实施例中，所述地图构建单元11具体用于：在每接收到车辆位置时，以车辆位置为基准构建初始占据栅格地图；根据前一次占据栅格地图的各栅格的占据类别更新所述初始占据栅格地图中相应的栅格的占据类别，以得到本次占据栅格地图。相应地，所述映射单元12在每从车载摄像头接收到图像时，将本次占据栅格地图的各栅格映射到该图像上，得到各栅格对应的像素。
在一些可选的实施例中，所述地图构建单元11具体用于：在每接收到车辆位置时，以车辆位置为基准构建初始占据栅格地图；根据前一次占据栅格地图的各栅格的占据类别更新所述初始占据栅格地图中相应的栅格的占据类别，以得到本次占据栅格地图。相应地，所述映射单元12在每从车载摄像头接收到图像时，计算接收该图像的时刻与最近一次接收车辆位置的时刻之间的时间差；判断所述时间差是否小于等于预置的时长阈值；若是，则执行所述将本次占据栅格地图的各栅格映射到最近一次从车载摄像头接收到的图像上的步骤；若否，则忽略最近一次从车载摄像头接收到的图像。
在一些可选的实施例中，所述地图构建单元11具体用于：在每从车载摄像头接收到图像时，确定最近一次接收到的车辆位置，以车辆位置为基准构建初始占据栅格地图；根据前一次占据栅格地图的各栅格的占据类别更新所述初始占据栅格地图中相应的栅格的占据类别，以得到本次占据栅格地图。
在一些可选的实施例中，所述地图构建单元11以车辆位置为基准构建初始占据栅格地图，具体包括：在车体坐标系中以车辆位置为基准构建第一占据栅格地图；根据车体坐标系的原点与地面的高度对所述第一占据栅格地图中各栅格赋予初始高度值；根据预置的地形地图对所述第一占据栅格地图中各栅格的初始高度值进行修正，以得到所述初始占据栅格地图；将本次占据栅格地图的各栅格映射到最近一次从车载摄像头接收到的图像上，具体包括：根据预置车体坐标系与所述车载摄像头的相机坐标系之间的外参，将本次占据栅格地图转换到相机坐标系中；根据所述车载摄像头内参，将相机坐标系中的本次占据栅格地图映射到所述图像上，以得到每个栅格对应的像素。具体可详见实施例一中的相关内容，在此不再赘述。
在一些可选的实施例中，所述地图构建单元11以车辆位置为基准构建初始占据栅格地图，具体包括：在地形地图中，以车辆位置为基准构建初始占据栅格地图；将本次占据栅格地图的各栅格映射到最近一次从车载摄像头接收到的图像上，具体包括：确定地形地图坐标系与所述车载摄像头的相机坐标系之间的外参；根据所述外参将所述初始占据栅格地图转换到所述车载摄像头的相机坐标系中；根据所述车载摄像头内参，将相机坐标系中的本次占据栅格地图映射到所述图像上，以得到每个栅格对应的像素。具体可详见实施例一中的相关内容，在此不再赘述。
在一些可选的实施例中，所述语义信息为像素归属各语义类别的表征特性值；地图更新单元14根据所述栅格对应的像素的语义信息确定所述栅格归属各占据类别的本次观测概率，具体包括：根据所述栅格对应的像素归属各语义类别的表征特性值，确定所述像素归属各语义类别的概率；针对每个占据类别，根据预置的语义类别与占据类别的对应关系，确定与所述占据类别对应的目标语义类别；将所述像素归属各目标语义类别的概率的和值，作为所述栅格归属所述占据类别的本次观测概率。具体可详见实施例一中的相关内容，在此不再赘述。
在一些可选的实施例中，所述地图更新单元14根据所述栅格归属各占据类别的前次概率、归属各占据类别的本次观测概率，确定所述栅格归属各占据类别的本次概率，具体包括：根据所述栅格归属各占据类别的前次概率、归属各占据类别的本次观测概率、当前占据栅格地图前一次观测和本次观测的时间间隔，确定所述栅格归属各占据类别的前次概率的权重和所述栅格归属各占据类别的本次观测概率的权重；针对每个占据类别，将所述栅格归属所述占据类别的前次概率、所述栅格归属所述占据类别的本次观测概率进行加权求和，得到所述栅格归属所述占据类别的本次概率。具体可详见实施例一中的相关内容，在此不再赘述。
在一些可选的实施例中，所述地图更新单元14根据所述栅格归属各占据类别的前次概率、归属各占据类别的本次观测概率，确定所述栅格归属各占据类别的本次概率，具体包括：根据栅格分别归属静态物体类别、动态物体类别的本次观测概率，得到栅格的本次观测被占据概率；根据栅格的本次观测被占据概率和前次被占据概率，确定栅格的本次被占据概率；根据栅格归属静态物体类别的本次观测概率和当前观测概率，以及栅格的本次观测被占据概率、前次被占据概率和本次被占据概率，计算得到栅格归属各占据类别的本次概率。具体可详见实施例一中的相关内容，在此不再赘述。
实施例三
基于前述实施例一提供的构建占据栅格地图的方法的相同构思，本发明实施例三提供一种计算机服务器，该计算机服务器的结构如图12所示，包括存储器，以及与所述存储器通信连接的一个或多个处理器；
所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行，以使所述一个或多个处理器实现实施例一提供的任一种实施例所提供的构建占据栅格地图的方法。
实施例四
基于前述实施例一提供的构建占据栅格地图的方法的相同构思，本发明实施例四提供一种处理设备，该处理设备的结构如图13所示，包括第一通信单元21、第二通信单元22和处理单元23，所述第一通信单元21与车辆上的定位设备通信连接，第二通信单元22与至少一路车载摄像头通信连接，其中：
第一通信单元21，用于从定位设备接收车辆的位置，并将车辆的位置发送给处理单元23；
第二通信单元22，用于在从车载摄像头接收到图像时，将所述图像发送给处理单元23；
处理单元23，用于根据车辆位置和前一次占据栅格地图，构建本次占据栅格地图；将本次占据栅格地图的各栅格映射到最近一次从车载摄像头接收到的图像上，得到各栅格对应的像素；对所述图像进行语义分割得到每个像素的语义信息；针对每个栅格，根据所述栅格对应的像素的语义信息确定所述栅格归属各占据类别的本次观测概率；根据所述栅格归属各占据类别的前次概率、归属各占据类别的本次观测概率，确定所述栅格归属各占据类别的本次概率；根据各栅格归属各占据类别的本次概率更新本次占据栅格地图中相应占据栅格的占据类别。
本发明实施例中，第一通信单元21可以是与车载定位设备进行数据传输的通信接口，第二通信设备22可以是与车载摄像头进行数据传输的通信接口；处理单元23可以是处理设备的CPU(Central Processing Unit，中央处理器)。
在一些可选的实施例中，所述处理单元23根据车辆位置和前一次占据栅格地图，构建本次占据栅格地图，具体包括：在从第一通信单元21每接收到车辆位置时，以车辆位置为基准构建初始占据栅格地图；根据前一次占据栅格地图的各栅格的占据类别更新所述初始占据栅格地图中相应的栅格的占据类别，以得到本次占据栅格地图。
在一些可选的实施例中，所述处理单元23根据车辆位置和前一次占据栅格地图，构建本次占据栅格地图，具体包括：在每从第二通信单元22接收到图像时，确定从第一通信单元21最近一次接收到的车辆位置，以车辆位置为基准构建初始占据栅格地图；根据前一次占据栅格地图的各栅格的占据类别更新所述初始占据栅格地图中相应的栅格的占据类别，以得到本次占据栅格地图。
在一些可选的处理单元23以车辆位置为基准构建初始占据栅格地图，具体包括：在车体坐标系中以车辆位置为基准构建第一占据栅格地图；根据车体坐标系的原点与地面的高度对所述第一占据栅格地图中各栅格赋予初始高度值；根据预置的地形地图对所述第一占据栅格地图中各栅格的初始高度值进行修正，以得到所述初始占据栅格地图；将本次占据栅格地图的各栅格映射到最近一次从车载摄像头接收到的图像上，具体包括：根据预置车体坐标系与所述车载摄像头的相机坐标系之间的外参，将本次占据栅格地图转换到相机坐标系中；根据所述车载摄像头内参，将相机坐标系中的本次占据栅格地图映射到所述图像上，以得到每个栅格对应的像素。
在一些可选的实施例中，处理单元23以车辆位置为基准构建初始占据栅格地图，具体包括：在地形地图中，以车辆位置为基准构建初始占据栅格地图；将本次占据栅格地图的各栅格映射到最近一次从车载摄像头接收到的图像上，具体包括：确定地形地图坐标系与所述车载摄像头的相机坐标系之间的外参；根据所述外参将所述初始占据栅格地图转换到所述车载摄像头的相机坐标系中；根据所述车载摄像头内参，将相机坐标系中的本次占据栅格地图映射到所述图像上，以得到每个栅格对应的像素。
在一些可选的实施例中，所述语义信息为像素归属各语义类别的表征特性值；所述处理单元23根据所述栅格对应的像素的语义信息确定所述栅格归属各占据类别的本次观测概率，具体包括：根据所述栅格对应的像素归属各语义类别的表征特性值，确定所述像素归属各语义类别的概率；针对每个占据类别，根据预置的语义类别与占据类别的对应关系，确定与所述占据类别对应的目标语义类别；将所述像素归属各目标语义类别的概率的和值，作为所述栅格归属所述占据类别的本次观测概率。
在一些可选的实施例中，处理单元23根据所述栅格归属各占据类别的前次概率、归属各占据类别的本次观测概率，确定所述栅格归属各占据类别的本次概率，具体包括：根据所述栅格归属各占据类别的前次概率、归属各占据类别的本次观测概率、当前占据栅格地图前一次观测和本次观测的时间间隔，确定所述栅格归属各占据类别的前次概率的权重和所述栅格归属各占据类别的本次观测概率的权重；针对每个占据类别，将所述栅格归属所述占据类别的前次概率、所述栅格归属所述占据类别的本次观测概率进行加权求和，得到所述栅格归属所述占据类别的本次概率。
在一些可选的实施例中，所述占据类别包括静态物体类别、动态物体类别和路面；处理单元23根据所述栅格归属各占据类别的前次概率、归属各占据类别的本次观测概率，确定所述栅格归属各占据类别的本次概率，具体包括：根据栅格分别归属静态物体类别、动态物体类别的本次观测概率，得到栅格的本次观测被占据概率；根据栅格的本次观测被占据概率和前次被占据概率，确定栅格的本次被占据概率；根据栅格归属静态物体类别的本次观测概率和当前观测概率，以及栅格的本次观测被占据概率、前次被占据概率和本次被占据概率，计算得到栅格归属各占据类别的本次概率。
以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，对本领域普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中，以硬件固件、软件或者他们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用它们的基本编程技能就能实现的。
本领域普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的上述实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括上述实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (28)

1.一种构建占据栅格地图的方法，其特征在于，在车辆上设置有至少一路车载摄像头，所述方法包括：
根据车辆位置和前一次占据栅格地图，构建本次占据栅格地图；
将本次占据栅格地图的各栅格映射到最近一次从车载摄像头接收到的图像上，得到各栅格对应的像素；
对所述图像进行语义分割得到每个像素的语义信息；
针对每个栅格，根据所述栅格对应的像素的语义信息确定所述栅格归属各占据类别的本次观测概率；根据所述栅格归属各占据类别的前次概率、归属各占据类别的本次观测概率，确定所述栅格归属各占据类别的本次概率；
根据各栅格归属各占据类别的本次概率更新本次占据栅格地图中相应占据栅格的占据类别。
2.根据权利要求1所述的方法，其特征在于，所述根据车辆位置和前一次占据栅格地图，构建本次占据栅格地图，具体包括：
在每接收到车辆位置时，以车辆位置为基准构建初始占据栅格地图；
根据前一次占据栅格地图的各栅格的占据类别更新所述初始占据栅格地图中相应的栅格的占据类别，以得到本次占据栅格地图。
3.根据权利要求2所述的方法，其特征在于，在执行所述将本次占据栅格地图的各栅格映射到最近一次从车载摄像头接收到的图像上的步骤之前还包括：
计算最近一次从车载摄像头接收图像的时刻与最近一次接收车辆位置的时刻之间的时间差；
判断所述时间差是否小于等于预置的时长阈值；
若是，则执行所述将本次占据栅格地图的各栅格映射到最近一次从车载摄像头接收到的图像上的步骤；
若否，则忽略最近一次从车载摄像头接收到的图像。
4.根据权利要求1所述的方法，其特征在于，所述根据车辆位置和前一次占据栅格地图，构建本次占据栅格地图，具体包括：
在每从车载摄像头接收到图像时，确定最近一次接收到的车辆位置，以车辆位置为基准构建初始占据栅格地图；
根据前一次占据栅格地图的各栅格的占据类别更新所述初始占据栅格地图中相应的栅格的占据类别，以得到本次占据栅格地图。
5.根据权利要求2～4任一项所述的方法，其特征在于，以车辆位置为基准构建初始占据栅格地图，具体包括：在车体坐标系中以车辆位置为基准构建第一占据栅格地图；根据车体坐标系的原点与地面的高度对所述第一占据栅格地图中各栅格赋予初始高度值；根据预置的地形地图对所述第一占据栅格地图中各栅格的初始高度值进行修正，以得到所述初始占据栅格地图；
将本次占据栅格地图的各栅格映射到最近一次从车载摄像头接收到的图像上，具体包括：根据预置车体坐标系与所述车载摄像头的相机坐标系之间的外参，将本次占据栅格地图转换到相机坐标系中；根据所述车载摄像头内参，将相机坐标系中的本次占据栅格地图映射到所述图像上，以得到每个栅格对应的像素。
6.根据权利要求2～4任一项所述的方法，其特征在于，以车辆位置为基准构建初始占据栅格地图，具体包括：
在地形地图中，以车辆位置为基准构建初始占据栅格地图；
将本次占据栅格地图的各栅格映射到最近一次从车载摄像头接收到的图像上，具体包括：确定地形地图坐标系与所述车载摄像头的相机坐标系之间的外参；根据所述外参将所述初始占据栅格地图转换到所述车载摄像头的相机坐标系中；根据所述车载摄像头内参，将相机坐标系中的本次占据栅格地图映射到所述图像上，以得到每个栅格对应的像素。
7.根据权利要求1～4任一项所述的方法，其特征在于，所述语义信息为像素归属各语义类别的表征特性值；根据所述栅格对应的像素的语义信息确定所述栅格归属各占据类别的本次观测概率，具体包括：
根据所述栅格对应的像素归属各语义类别的表征特性值，确定所述像素归属各语义类别的概率；
针对每个占据类别，根据预置的语义类别与占据类别的对应关系，确定与所述占据类别对应的目标语义类别；将所述像素归属各目标语义类别的概率的和值，作为所述栅格归属所述占据类别的本次观测概率。
8.根据权利要求7所述的方法，其特征在于，根据所述栅格对应的像素归属各语义类别的表征特性值，确定所述像素归属各语义类别的概率，具体包括：
根据以下公式得到所述像素归属各语义类别的概率：
Figure FDA0001900803840000031
P(y＝i)为像素归属第i个语义类别的概率，Zi为所述像素归属第i个语义类别的表征特性值，T为所述像素对应的栅格与所述车载摄像头的距离d的函数且正比于所述d。
9.根据权利要求1～4任一项所述的方法，其特征在于，根据所述栅格归属各占据类别的前次概率、归属各占据类别的本次观测概率，确定所述栅格归属各占据类别的本次概率，具体包括：
根据所述栅格归属各占据类别的前次概率、归属各占据类别的本次观测概率、当前占据栅格地图前一次观测和本次观测的时间间隔，确定所述栅格归属各占据类别的前次概率的权重和所述栅格归属各占据类别的本次观测概率的权重；
针对每个占据类别，将所述栅格归属所述占据类别的前次概率、所述栅格归属所述占据类别的本次观测概率进行加权求和，得到所述栅格归属所述占据类别的本次概率。
10.根据权利要求1～4任一项所述的方法，其特征在于，所述占据类别包括静态物体类别、动态物体类别和路面；所述根据所述栅格归属各占据类别的前次概率、归属各占据类别的本次观测概率，确定所述栅格归属各占据类别的本次概率，具体包括：
根据栅格分别归属静态物体类别、动态物体类别的本次观测概率，得到栅格的本次观测被占据概率；
根据栅格的本次观测被占据概率和前次被占据概率，确定栅格的本次被占据概率；
根据栅格归属静态物体类别的本次观测概率和当前观测概率，以及栅格的本次观测被占据概率、前次被占据概率和本次被占据概率，计算得到栅格归属各占据类别的本次概率。
11.一种构建占据栅格地图的装置，其特征在于，所述装置与车辆上设置的至少一路车载摄像头通信连接，所述装置包括：
地图构建单元，用于根据车辆位置和前一次占据栅格地图，构建本次占据栅格地图；
映射单元，用于将本次占据栅格地图的各栅格映射到最近一次从车载摄像头接收到的图像上，得到各栅格对应的像素；
语义分割单元，用于对所述图像进行语义分割得到每个像素的语义信息；
地图更新单元，用于针对每个栅格，根据所述栅格对应的像素的语义信息确定所述栅格归属各占据类别的本次观测概率；根据所述栅格归属各占据类别的前次概率、归属各占据类别的本次观测概率，确定所述栅格归属各占据类别的本次概率；以及，根据各栅格归属各占据类别的本次概率更新本次占据栅格地图中相应占据栅格的占据类别。
12.根据权利要求11所述的装置，其特征在于，所述地图构建单元具体用于：
在每接收到车辆位置时，以车辆位置为基准构建初始占据栅格地图；
根据前一次占据栅格地图的各栅格的占据类别更新所述初始占据栅格地图中相应的栅格的占据类别，以得到本次占据栅格地图。
13.根据权利要求12所述的装置，其特征在于，所述地图构建单元具体用于：在每从车载摄像头接收到图像时，确定最近一次接收到的车辆位置，以车辆位置为基准构建初始占据栅格地图；
根据前一次占据栅格地图的各栅格的占据类别更新所述初始占据栅格地图中相应的栅格的占据类别，以得到本次占据栅格地图。
14.根据权利要求13所述的装置，其特征在于，所述映射单元在执行所述将本次占据栅格地图的各栅格映射到最近一次从车载摄像头接收到的图像上的步骤之前，还进一步用于：
计算最近一次从车载摄像头接收图像的时刻与最近一次接收车辆位置的时刻之间的时间差；判断所述时间差是否小于等于预置的时长阈值；
若是，则执行所述将本次占据栅格地图的各栅格映射到最近一次从车载摄像头接收到的图像上的步骤；
若否，则忽略最近一次从车载摄像头接收到的图像。
15.根据权利要求12～14任一项所述的装置，其特征在于，地图构建单元以车辆位置为基准构建初始占据栅格地图，具体包括：在车体坐标系中以车辆位置为基准构建第一占据栅格地图；根据车体坐标系的原点与地面的高度对所述第一占据栅格地图中各栅格赋予初始高度值；根据预置的地形地图对所述第一占据栅格地图中各栅格的初始高度值进行修正，以得到所述初始占据栅格地图；
将本次占据栅格地图的各栅格映射到最近一次从车载摄像头接收到的图像上，具体包括：根据预置车体坐标系与所述车载摄像头的相机坐标系之间的外参，将本次占据栅格地图转换到相机坐标系中；根据所述车载摄像头内参，将相机坐标系中的本次占据栅格地图映射到所述图像上，以得到每个栅格对应的像素。
16.根据权利要求12～14任一项所述的装置，其特征在于，地图构建单元以车辆位置为基准构建初始占据栅格地图，具体包括：
在地形地图中，以车辆位置为基准构建初始占据栅格地图；
将本次占据栅格地图的各栅格映射到最近一次从车载摄像头接收到的图像上，具体包括：确定地形地图坐标系与所述车载摄像头的相机坐标系之间的外参；根据所述外参将所述初始占据栅格地图转换到所述车载摄像头的相机坐标系中；根据所述车载摄像头内参，将相机坐标系中的本次占据栅格地图映射到所述图像上，以得到每个栅格对应的像素。
17.根据权利要求11～14任一项所述的装置，其特征在于，所述语义信息为像素归属各语义类别的表征特性值；地图更新单元根据所述栅格对应的像素的语义信息确定所述栅格归属各占据类别的本次观测概率，具体包括：
根据所述栅格对应的像素归属各语义类别的表征特性值，确定所述像素归属各语义类别的概率；
针对每个占据类别，根据预置的语义类别与占据类别的对应关系，确定与所述占据类别对应的目标语义类别；将所述像素归属各目标语义类别的概率的和值，作为所述栅格归属所述占据类别的本次观测概率。
18.根据权利要求11～14任一项所述的装置，其特征在于，所述地图更新单元根据所述栅格归属各占据类别的前次概率、归属各占据类别的本次观测概率，确定所述栅格归属各占据类别的本次概率，具体包括：
根据所述栅格归属各占据类别的前次概率、归属各占据类别的本次观测概率、当前占据栅格地图前一次观测和本次观测的时间间隔，确定所述栅格归属各占据类别的前次概率的权重和所述栅格归属各占据类别的本次观测概率的权重；
针对每个占据类别，将所述栅格归属所述占据类别的前次概率、所述栅格归属所述占据类别的本次观测概率进行加权求和，得到所述栅格归属所述占据类别的本次概率。
19.根据权利要求11～14任一项所述的装置，其特征在于，所述地图更新单元根据所述栅格归属各占据类别的前次概率、归属各占据类别的本次观测概率，确定所述栅格归属各占据类别的本次概率，具体包括：
根据栅格分别归属静态物体类别、动态物体类别的本次观测概率，得到栅格的本次观测被占据概率；
根据栅格的本次观测被占据概率和前次被占据概率，确定栅格的本次被占据概率；
根据栅格归属静态物体类别的本次观测概率和当前观测概率，以及栅格的本次观测被占据概率、前次被占据概率和本次被占据概率，计算得到栅格归属各占据类别的本次概率。
20.一种计算机服务器，其特征在于，包括存储器，以及与所述存储器通信连接的一个或多个处理器；
所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行，以使所述一个或多个处理器实现如权利要求1～10中任一项所述的构建占据栅格地图的方法。
21.一种处理设备，其特征在于，包括第一通信单元、第二通信单元和处理单元，所述第一通信单元与车辆上的定位设备通信连接，第二通信单元与至少一路车载摄像头通信连接，其中：
第一通信单元，用于从定位设备接收车辆的位置，并将车辆的位置发送给处理单元；
第二通信单元，用于在从车载摄像头接收到图像时，将所述图像发送给处理单元；
处理单元，用于根据车辆位置和前一次占据栅格地图，构建本次占据栅格地图；将本次占据栅格地图的各栅格映射到最近一次从车载摄像头接收到的图像上，得到各栅格对应的像素；对所述图像进行语义分割得到每个像素的语义信息；针对每个栅格，根据所述栅格对应的像素的语义信息确定所述栅格归属各占据类别的本次观测概率；根据所述栅格归属各占据类别的前次概率、归属各占据类别的本次观测概率，确定所述栅格归属各占据类别的本次概率；根据各栅格归属各占据类别的本次概率更新本次占据栅格地图中相应占据栅格的占据类别。
22.根据权利要求21所述的处理设备，其特征在于，所述处理单元根据车辆位置和前一次占据栅格地图，构建本次占据栅格地图，具体包括：
在从第一通信单元每接收到车辆位置时，以车辆位置为基准构建初始占据栅格地图；根据前一次占据栅格地图的各栅格的占据类别更新所述初始占据栅格地图中相应的栅格的占据类别，以得到本次占据栅格地图。
23.根据权利要求21所述的处理设备，其特征在于，所述处理单元根据车辆位置和前一次占据栅格地图，构建本次占据栅格地图，具体包括：
在每从第二通信单元接收到图像时，确定从第一通信单元最近一次接收到的车辆位置，以车辆位置为基准构建初始占据栅格地图；
根据前一次占据栅格地图的各栅格的占据类别更新所述初始占据栅格地图中相应的栅格的占据类别，以得到本次占据栅格地图。
24.根据权利要求22或23所述的处理设备，其特征在于，处理单元以车辆位置为基准构建初始占据栅格地图，具体包括：
在车体坐标系中以车辆位置为基准构建第一占据栅格地图；根据车体坐标系的原点与地面的高度对所述第一占据栅格地图中各栅格赋予初始高度值；根据预置的地形地图对所述第一占据栅格地图中各栅格的初始高度值进行修正，以得到所述初始占据栅格地图；
将本次占据栅格地图的各栅格映射到最近一次从车载摄像头接收到的图像上，具体包括：根据预置车体坐标系与所述车载摄像头的相机坐标系之间的外参，将本次占据栅格地图转换到相机坐标系中；根据所述车载摄像头内参，将相机坐标系中的本次占据栅格地图映射到所述图像上，以得到每个栅格对应的像素。
25.根据权利要求22或23所述的处理设备，其特征在于，处理单元以车辆位置为基准构建初始占据栅格地图，具体包括：
在地形地图中，以车辆位置为基准构建初始占据栅格地图；
将本次占据栅格地图的各栅格映射到最近一次从车载摄像头接收到的图像上，具体包括：确定地形地图坐标系与所述车载摄像头的相机坐标系之间的外参；根据所述外参将所述初始占据栅格地图转换到所述车载摄像头的相机坐标系中；根据所述车载摄像头内参，将相机坐标系中的本次占据栅格地图映射到所述图像上，以得到每个栅格对应的像素。
26.根据权利要求21～23任一项所述的处理设备，其特征在于，所述语义信息为像素归属各语义类别的表征特性值；所述处理单元根据所述栅格对应的像素的语义信息确定所述栅格归属各占据类别的本次观测概率，具体包括：
根据所述栅格对应的像素归属各语义类别的表征特性值，确定所述像素归属各语义类别的概率；
针对每个占据类别，根据预置的语义类别与占据类别的对应关系，确定与所述占据类别对应的目标语义类别；将所述像素归属各目标语义类别的概率的和值，作为所述栅格归属所述占据类别的本次观测概率。
27.根据权利要求21～23任一项所述的处理设备，其特征在于，处理单元根据所述栅格归属各占据类别的前次概率、归属各占据类别的本次观测概率，确定所述栅格归属各占据类别的本次概率，具体包括：
根据所述栅格归属各占据类别的前次概率、归属各占据类别的本次观测概率、当前占据栅格地图前一次观测和本次观测的时间间隔，确定所述栅格归属各占据类别的前次概率的权重和所述栅格归属各占据类别的本次观测概率的权重；
针对每个占据类别，将所述栅格归属所述占据类别的前次概率、所述栅格归属所述占据类别的本次观测概率进行加权求和，得到所述栅格归属所述占据类别的本次概率。
28.根据权利要求21～23任一项所述的处理设备，其特征在于，所述占据类别包括静态物体类别、动态物体类别和路面；处理单元根据所述栅格归属各占据类别的前次概率、归属各占据类别的本次观测概率，确定所述栅格归属各占据类别的本次概率，具体包括：
根据栅格分别归属静态物体类别、动态物体类别的本次观测概率，得到栅格的本次观测被占据概率；
根据栅格的本次观测被占据概率和前次被占据概率，确定栅格的本次被占据概率；
根据栅格归属静态物体类别的本次观测概率和当前观测概率，以及栅格的本次观测被占据概率、前次被占据概率和本次被占据概率，计算得到栅格归属各占据类别的本次概率。
CN201811511159.4A 2018-12-11 2018-12-11 一种构建占据栅格地图的方法及其装置、相关设备 Active CN111381585B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201811511159.4A CN111381585B (zh) 2018-12-11 2018-12-11 一种构建占据栅格地图的方法及其装置、相关设备
CN202310491699.5A CN116592872A (zh) 2018-12-11 2018-12-11 一种更新占据栅格地图的方法及其装置、相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811511159.4A CN111381585B (zh) 2018-12-11 2018-12-11 一种构建占据栅格地图的方法及其装置、相关设备

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202310491699.5A Division CN116592872A (zh) 2018-12-11 2018-12-11 一种更新占据栅格地图的方法及其装置、相关设备

Publications (2)

Publication Number Publication Date
CN111381585A CN111381585A (zh) 2020-07-07
CN111381585B true CN111381585B (zh) 2023-06-16

Family

ID=71214590

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202310491699.5A Pending CN116592872A (zh) 2018-12-11 2018-12-11 一种更新占据栅格地图的方法及其装置、相关设备
CN201811511159.4A Active CN111381585B (zh) 2018-12-11 2018-12-11 一种构建占据栅格地图的方法及其装置、相关设备

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202310491699.5A Pending CN116592872A (zh) 2018-12-11 2018-12-11 一种更新占据栅格地图的方法及其装置、相关设备

Country Status (1)

Country Link
CN (2) CN116592872A (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111737395B (zh) * 2020-08-19 2020-12-22 浙江欣奕华智能科技有限公司 一种占据栅格地图生成方法、装置及机器人系统
CN112433529B (zh) * 2020-11-30 2024-02-27 东软睿驰汽车技术（沈阳）有限公司 运动物体确定方法、装置及设备
CN113077551A (zh) * 2021-03-30 2021-07-06 苏州臻迪智能科技有限公司 占据栅格地图构建方法、装置、电子设备和存储介质
CN114004874B (zh) * 2021-12-30 2022-03-25 贝壳技术有限公司 占用栅格地图的获取方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006011880A (ja) * 2004-06-25 2006-01-12 Sony Corp 環境地図作成方法、環境地図作成装置、及び移動型ロボット装置
CN106940704A (zh) * 2016-11-25 2017-07-11 北京智能管家科技有限公司 一种基于栅格地图的定位方法及装置
CN107063258A (zh) * 2017-03-07 2017-08-18 重庆邮电大学 一种基于语义信息的移动机器人室内导航方法
CN107194504A (zh) * 2017-05-09 2017-09-22 云南师范大学 土地使用状态的预测方法、装置和系统
CN107564012A (zh) * 2017-08-01 2018-01-09 中国科学院自动化研究所 面向未知环境的增强现实方法及装置
CN108920584A (zh) * 2018-06-25 2018-11-30 广州视源电子科技股份有限公司 一种语义栅格地图生成方法及其装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6559535B2 (ja) * 2015-10-22 2019-08-14 株式会社東芝 障害物マップ生成装置、その方法、及び、そのプログラム
JP6239664B2 (ja) * 2016-03-16 2017-11-29 株式会社デンソーアイティーラボラトリ 周辺環境推定装置及び周辺環境推定方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006011880A (ja) * 2004-06-25 2006-01-12 Sony Corp 環境地図作成方法、環境地図作成装置、及び移動型ロボット装置
CN106940704A (zh) * 2016-11-25 2017-07-11 北京智能管家科技有限公司 一种基于栅格地图的定位方法及装置
CN107063258A (zh) * 2017-03-07 2017-08-18 重庆邮电大学 一种基于语义信息的移动机器人室内导航方法
CN107194504A (zh) * 2017-05-09 2017-09-22 云南师范大学 土地使用状态的预测方法、装置和系统
CN107564012A (zh) * 2017-08-01 2018-01-09 中国科学院自动化研究所 面向未知环境的增强现实方法及装置
CN108920584A (zh) * 2018-06-25 2018-11-30 广州视源电子科技股份有限公司 一种语义栅格地图生成方法及其装置

Also Published As

Publication number Publication date
CN111381585A (zh) 2020-07-07
CN116592872A (zh) 2023-08-15

Similar Documents

Publication Publication Date Title
CN111307166B (zh) 一种构建占据栅格地图的方法及其装置、处理设备
CN111381585B (zh) 一种构建占据栅格地图的方法及其装置、相关设备
JP6833630B2 (ja) 物体検出装置、物体検出方法およびプログラム
CN111448478B (zh) 用于基于障碍物检测校正高清地图的系统和方法
CN113916242B (zh) 车道定位方法和装置、存储介质及电子设备
CN111351502B (zh) 用于从透视图生成环境的俯视图的方法，装置和计算机程序产品
JP2015148601A (ja) マッピング、位置特定、及び姿勢補正のためのシステム及び方法
CN111860227A (zh) 训练轨迹规划模型的方法、装置和计算机存储介质
US20210149408A1 (en) Generating Depth From Camera Images and Known Depth Data Using Neural Networks
CN113935428A (zh) 基于图像识别的三维点云聚类识别方法及系统
CN114248778B (zh) 移动设备的定位方法和定位装置
CN111062405A (zh) 训练图像识别模型的方法和装置以及图像识别方法和装置
CN112257668A (zh) 主辅路判断方法、装置、电子设备及存储介质
CN112749584B (zh) 一种基于图像检测的车辆定位方法及车载终端
Kühnl et al. Visual ego-vehicle lane assignment using spatial ray features
CN113223064A (zh) 一种视觉惯性里程计尺度的估计方法和装置
CN111126327A (zh) 车道线检测方法、系统、车载系统及车辆
CN112712563A (zh) 相机取向估计
CN114419573A (zh) 动态占据栅格估计方法及装置
CN112912892A (zh) 自动驾驶方法和装置、距离确定方法和装置
CN113902047B (zh) 图像元素匹配方法、装置、设备以及存储介质
CN116403191A (zh) 一种基于单目视觉的三维车辆跟踪方法、装置和电子设备
CN115390868A (zh) 自动驾驶系统感知的开发
CN112989909A (zh) 用于地图增强的道路属性检测和分类
FR3106108A1 (fr) Procédé et dispositif de détermination de trajectoire d’une route

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant