CN113486796B - 无人车位置检测方法、装置、设备、存储介质及车辆 - Google Patents

无人车位置检测方法、装置、设备、存储介质及车辆 Download PDF

Info

Publication number
CN113486796B
CN113486796B CN202110763591.8A CN202110763591A CN113486796B CN 113486796 B CN113486796 B CN 113486796B CN 202110763591 A CN202110763591 A CN 202110763591A CN 113486796 B CN113486796 B CN 113486796B
Authority
CN
China
Prior art keywords
coordinate
coordinates
target object
camera
lane line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110763591.8A
Other languages
English (en)
Other versions
CN113486796A (zh
Inventor
刘铭剑
王煜城
孙迅
谢术富
翟玉强
王昊
夏添
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202110763591.8A priority Critical patent/CN113486796B/zh
Publication of CN113486796A publication Critical patent/CN113486796A/zh
Application granted granted Critical
Publication of CN113486796B publication Critical patent/CN113486796B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Medical Informatics (AREA)
  • Game Theory and Decision Science (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Navigation (AREA)

Abstract

本发明实施例公开了一种无人车位置检测方法、装置、设备、存储介质及车辆。所述方法包括：检测摄像头所拍摄当前图像中的第一车道线；基于第一车道线的检测结果，对世界坐标系与摄像头坐标系之间的初始变换矩阵进行优化；根据优化后得到的变换矩阵获得所述当前图像中的目标物体的第一3D坐标，根据第一3D坐标确定所述目标物体的最终3D坐标。本发明实施例提供的无人车位置检测方法，利用优化后的变换矩阵获取图像中目标物体的第一3D坐标，然后根据第一3D坐标确定目标物体的最终3D坐标，可以提高无人车系统中检测目标物体比如障碍物的3D位置坐标的准确度。

Description

无人车位置检测方法、装置、设备、存储介质及车辆
本申请是申请号为201811044487.8专利申请的分案申请(原申请的申请日为2018年9月7日，发明名称为位置检测方法、装置、设备、存储介质。
技术领域
本发明实施例涉及无人车技术领域，尤其涉及一种无人车位置检测方法、装置、设备、存储介质及车辆。
背景技术
目前，无人车系统采用基于视觉的检测算法对障碍物的3D位置进行检测。
具体的，首先根据如下公式计算障碍物的z轴坐标值：h/H＝f/z，其中z为障碍物的z轴坐标值，f为无人车上安装的摄像头的焦距，h为障碍物在摄像头所拍摄图像中的高度值，H为障碍物的实际高度值；然后，根据z轴坐标值得到x轴坐标值和y轴坐标值，进而得到障碍物的3D位置坐标。
上述方案中H的取值根据预先训练得到的机器模型得到，准确度较低，进而降低了障碍物的3D位置坐标的准确度。
发明内容
本发明实施例提供一种无人车位置检测方法、装置、设备、存储介质及车辆，以提高无人车系统中检测目标物体的3D位置坐标的准确度。
第一方面，本发明实施例提供了一种无人车位置检测方法，所述方法包括：
检测摄像头所拍摄当前图像中的第一车道线；
确定第一车道线消失点所对应的俯仰角，所述俯仰角是指摄像头的光轴与地平面之间的夹角；
根据在拍摄所述当前图像之前拍摄的历史图像上车道线消失点所对应的俯仰角，采用设定滤波算法对所述第一车道线消失点所对应的俯仰角进行平滑去噪；
根据平滑去噪后得到的俯仰角以及世界坐标系与摄像头坐标系之间的初始变换矩阵，得到优化后的世界坐标系与摄像头坐标系之间的变换矩阵；
根据优化后得到的变换矩阵获得所述当前图像中的目标物体的第一3D坐标，根据第一3D坐标确定所述目标物体的最终3D坐标。
第二方面，本发明实施例还提供了一种无人车位置检测装置，该装置包括：
第一车道线检测模块，用于检测摄像头所拍摄当前图像中的第一车道线；
俯仰角确定模块，用于确定第一车道线消失点所对应的俯仰角，所述俯仰角是指摄像头的光轴与地平面之间的夹角；
俯仰角平滑去噪模块，用于根据在拍摄所述当前图像之前拍摄的历史图像上车道线消失点所对应的俯仰角，采用设定滤波算法对所述第一车道线消失点所对应的俯仰角进行平滑去噪；
初始变换矩阵优化模块，用于根据平滑去噪后得到的俯仰角以及世界坐标系与摄像头坐标系之间的初始变换矩阵，得到优化后的世界坐标系与摄像头坐标系之间的变换矩阵；
3D坐标确定模块，用于根据优化后得到的变换矩阵获得所述当前图像中的目标物体的第一3D坐标，根据第一3D坐标确定所述目标物体的最终3D坐标。
第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明实施例所述的无人车位置检测方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例所述的无人车位置检测方法。
第五方面，本发明实施例还提供了一种车辆，包括车体，还包括第三方面所述的电子设备，以及设置在车体上的摄像头。
本发明实施例，首先检测摄像头所拍摄当前图像中的第一车道线，然后基于第一车道线的检测结果，对世界坐标系与摄像头坐标系之间的初始变换矩阵进行优化，根据优化后得到的变换矩阵获得当前图像中的目标物体的第一3D坐标，根据第一3D坐标确定目标物体的最终3D坐标。本发明实施例提供的无人车位置检测方法，利用优化后的变换矩阵获取图像中目标物体的第一3D坐标，然后根据第一3D坐标确定目标物体的最终3D坐标，可以提高无人车系统中检测目标物体比如障碍物的3D位置坐标的准确度。
附图说明
图1本发明实施例一中的一种无人车位置检测方法的流程图；
图2是本发明实施例二中的一种无人车位置检测方法的流程图；
图3是本发明实施例二中的另一种无人车位置检测方法的流程图；
图4是本发明实施例三中的一种无人车位置检测装置的结构示意图；
图5是本发明实施例四中的一种电子设备的结构示意图；
图6是本发明实施例五中的一种车辆的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种无人车位置检测方法的流程图，本实施例可适用于无人车系统中检测目标物体的3D坐标位置的情况，该方法可以由无人车位置检测装置来执行，该装置可由硬件和/或软件组成，并一般可集成在具有无人车位置检测功能的设备中，该设备可以是移动终端、车载设备等电子设备。如图1所示，该方法具体包括如下步骤：
S110，检测摄像头所拍摄当前图像中的第一车道线。
具体的，无人车在行驶过程中，车载摄像头持续获取车辆前方的图像，摄像头在拍摄到当前图像时，检测当前图像中的第一车道线，以获得第一车道线上各个点的坐标或者第一车道线消失点对应的俯仰角。
S120，基于第一车道线的检测结果，对世界坐标系与摄像头坐标系之间的初始变换矩阵进行优化。
其中，变换矩阵可以是能够反映世界坐标系与摄像头坐标系之间的映射关系的矩阵，变换矩阵乘以世界坐标系中某一点的坐标可以获得该点映射到摄像头坐标系中的坐标。
可选的，基于第一车道线的检测结果，对世界坐标系与摄像头坐标系之间的初始变换矩阵进行优化，可通过下述方式实施：根据世界坐标系与摄像头坐标系之间的初始变换矩阵，将地图上的车道线(具体指地图上的、拍摄当前图像时所在位置的车道线)投影到当前图像上，得到第二车道线；根据第一车道线和第二车道线在当前图像上的位置对初始变换矩阵进行优化，以使根据优化后的变换矩阵重新将地图上的车道线投影到当前图像上得到的新的第二车道线与第一车道线之间的距离，小于调整前的第二车道线与第一车道线之间的距离。
其中，地图是以世界坐标系为基准建立的。将地图上的车道线投影到当前图像上，得到第二车道线的实现方式可以是：根据地图对应的世界坐标系与摄像头坐标系之间的初始变换矩阵，将地图上的车道线上每个点投影到图像的像素上，由投影到的各像素构成第二车道线。示例性的，将地图上的车道线投影到当前图像上，得到第二车道线可通过下述公式实现：
其中，u、v为图像像素点坐标，X、Y、Z为世界坐标系坐标，P为世界坐标系与摄像头坐标系之间的变换矩阵。
具体的，地图上的车道线上的每个点具有基于世界坐标系的坐标，利用世界坐标系与摄像头坐标系之间的初始变化矩阵，可以将地图上车道线上的每个点的坐标转化为图像中基于摄像头坐标系的坐标，从而将地图上的车道线上每个点投影到图像的像素上，最后由投影到的各像素构成第二车道线。在获得第二车道线之后，根据第一车道线和第二车道线在当前图像上的位置对初始变化矩阵进行优化。
可选的，根据第一车道线和第二车道线在图像上的位置对初始变换矩阵进行优化，可通过下述方式实施：根据第一车道线和第二车道线在图像上的位置，确定第一车道线上设定数量的点到第二车道线的最短距离，基于最短距离确定第一损失函数；按照第一损失函数变小的方向对第二车道线的位置进行至少一次调整；根据至少一次调整后得到的新的第二车道线在当前图像上的位置、以及世界坐标系中车道线的位置，得到优化后的世界坐标系与摄像头坐标系之间的变换矩阵。
其中，第一车道线和第二车道线在图像上的位置可以由构成第一车道线和第二车道线的每个点的坐标来表征。基于最短距离确定第一损失函数的方式可以是将第一车道线上设定数量的点到第二车道线的最短距离进行求和。第一损失函数的表达式为：J＝sum((x1-x2)2+(y1-y2)2)1/2，其中，(x1,y1)为第一车道线上的一个点，(x2,y2)为第二车道线上与(x1,y1)距离最小的点，((x1-x2)2+(y1-y2)2)1/2表示这两点之间的距离，即(x1,y1)与第二车道线之间的最短距离，sum表示各最短距离进行求和计算。
按照第一损失函数变小的方向对第二车道线的位置进行至少一次调整的实现方式可以是：首先按照设定步长调整第二车道线上各点的坐标，具体可以调整第二车道线上的、与第一车道线上设定数量的点的距离最小的各点，在调整时可以将待调整的点的坐标与设定步长相加或相减，调整第二车道线上点的坐标之后，由调整后的各点重新形成新的第二车道线，进而根据第一车道线和新的第二车道线的位置，重新确定第一损失函数的值。然后判断重新确定的第一损失函数的值是变大还是变小，若变大，则本次调整无效，按照设定步长反方向调整第二车道线上各点的坐标(即若上次的无效调整是与步长相加，则本次调整是相减，若上次的无效调整是与步长相减，则本次调整是与步长相加)；若变小，则本次调整有效，按照设定步长同方向调整第二车道线上各点的坐标(即若上次的有效调整是与步长相加，则本次调整还是与步长相加，若上次的有效调整是与步长相减，则本次调整还是与步长相减)。当上述调整次数达到设定迭代次数或损失函数的取值小于设定阈值时，停止调整。最后一次调整后得到的各点的坐标构成最终的新的第二车道线，根据最终的新的第二车道线以及世界坐标系中车道线的位置，得到一个变化矩阵即为求取的优化的变化矩阵。
S130，根据优化后得到的变换矩阵获得当前图像中的目标物体的第一3D坐标，根据第一3D坐标确定目标物体的最终3D坐标。
具体的，在获得优化后的变换矩阵之后，根据目标物体在当前图像中的二维坐标与优化后的变换矩阵获取目标物体的第一3D坐标。
可选的，根据优化后得到的变换矩阵获得当前图像中的目标物体的第一3D坐标，可通过下述方式实施：根据优化后得到的变换矩阵的逆矩阵，将当前图像中的目标物体的二维坐标反向投影到世界坐标系中，得到目标物体的第一3D坐标。
其中，二维坐标可以是目标物体的2D框的底边上点的二维坐标，相应的第一3D坐标为目标物体的触地点的3D坐标。2D框可以根据现有算法自动获得。具体的，将变换矩阵的逆矩阵乘以当前图像中的目标物体的二维坐标，获得目标物体的第一3D坐标。示例性的，第一3D坐标可以利用如下计算公式获得：其中，u、v为图像像素点坐标，X、Y、Z为世界坐标系坐标，/>为优化后的变化矩阵的逆矩阵。
可选的，根据第一3D坐标确定目标物体的最终3D坐标包括：将第一3D坐标确定为目标物体的最终3D坐标；或者，将第一3D坐标与按照设定检测算法得到的目标物体的第二3D坐标进行比较，若比对结果不一致，则根据第一3D坐标对第二3D坐标进行修正，将修正后的第二3D坐标作为目标物体的最终3D坐标。
其中，设定检测算法可以是现有的基于视觉的检测算法。可选的，根据第一3D坐标对第二3D坐标进行修正，将修正后的第二3D坐标作为目标物体的最终3D坐标，可通过下述方式实施：基于第二3D坐标与第一3D坐标之间的差距确定第二损失函数；按照第二损失函数变小的方向对第二3D坐标进行至少一次调整；将至少一次调整后得到的第二3D坐标，确定为目标物体的最终3D坐标。
其中，第二3D坐标与第一3D坐标之间的差距可以是目标物体的触地点的第二3D坐标与第一3D坐标之间的差距，可以利用下述公式表示：d＝((x1-x2)2+(y1-y2)2+(z1-z2)2)1/2，其中，(x1，y1，z1)为目标物体的其中一个触地点的第一3D坐标，(x2，y2，z2)为目标物体的该触地点的第二3D坐标，d为第二3D坐标与第一3D坐标之间的差距。确定第二损失函数的方式可以是对目标物体的设定数量的触地点的第二3D坐标与第一3D坐标之间的差距进行求和。
具体的，按照第二损失函数变小的方向对第二3D坐标进行至少一次调整的实现方式可以是：按照设定步长对第二3D坐标进行调整，在调整时可以将待调整的点的坐标与设定步长相加或相减，调整后重新确定第二损失函数的值。判断重新确定的第二损失函数的值是变大或是变小，若变大，则本次调整无效，重新按照设定步长对第二3D坐标进行反方向的调整(即若上次的无效调整是与步长相加，则本次调整是相减，若上次的无效调整是与步长相减，则本次调整是与步长相加)；若变小，则按照设定步长对第二3D坐标进行同方向的再次调整(即若上次的无效调整是与步长相加，则本次调整还是相加，若上次的无效调整是与步长相减，则本次调整还是与步长相减)。当上述调整次数达到设定迭代次数或第二损失函数的取值小于设定阈值时，停止调整。最后，将停止调整后得到的第二3D坐标确定为目标物体的最终3D坐标。
可选的，该方法还包括如下步骤：在每次对第二3D坐标进行调整后，获取当前图像中定位元素的3D位置坐标，若定位元素与摄像头的距离大于目标物体与摄像头的距离，则判断调整后的第二3D坐标是否小于定位元素的3D位置坐标，若是，则本次调整有效，否则，本次调整无效，重新对第二3D坐标进行反方向的调整；若定位元素与摄像头的距离小于目标物体与摄像头的距离，则判断调整后的第二3D坐标是否大于等于定位元素的3D位置坐标，若是，则本次调整有效，否则，本次调整无效，重新对第二3D坐标进行反方向的调整。
其中，定位元素可以包括交通标志牌、路灯、以及电线杆中的至少一个。本实施例中，若图像中定位元素在目标物体之上，则定位元素与摄像头的距离大于目标物体与摄像头的距离，若定位元素在目标物体之下，则定位元素与摄像头的距离小于目标物体与摄像头的距离。比较调整后的第二3D坐标与定位元素的3D坐标可以是比较两个3D坐标中纵坐标的大小。本实施例中，以定位元素为参考来调整第二3D坐标，可以提高3D坐标调整的准确性。
本实施例的技术方案，首先检测摄像头所拍摄当前图像中的第一车道线，然后基于第一车道线的检测结果，对世界坐标系与摄像头坐标系之间的初始变换矩阵进行优化，根据优化后得到的变换矩阵获得当前图像中的目标物体的第一3D坐标，根据第一3D坐标确定目标物体的最终3D坐标。本发明实施例提供的无人车位置检测方法，利用优化后的变换矩阵获取图像中目标物体的第一3D坐标，然后根据第一3D坐标确定目标物体的最终3D坐标，可以提高无人车系统中检测目标物体比如障碍物的3D位置坐标的准确度。
实施例二
图2为本发明实施例二提供的一种无人车位置检测方法的流程图，以上述实施为基础，基于第一车道线的检测结果，对世界坐标系与摄像头坐标系之间的初始变换矩阵进行优化，可通过下述方式实施：确定第一车道线消失点所对应的俯仰角，俯仰角是指摄像头的光轴与地平面之间的夹角；根据俯仰角和世界坐标系与摄像头坐标系之间的初始变换矩阵，得到优化后的世界坐标系与摄像头坐标系之间的变换矩阵。如图2所示，该方法具体包括如下步骤：
S210，检测摄像头所拍摄当前图像中的第一车道线。
S220，确定第一车道线消失点所对应的俯仰角。
其中，俯仰角是指摄像头的光轴与地平面之间的夹角。第一车道线消失点可以是两条车道线的交点。
可选的，获取第一车道线消失点所对应的俯仰角可以通过如下公式计算：Y＝tan(pitch)*fy+cy，其中，Y为第一车道线消失点对应的纵轴坐标值；pitch为第一车道线消失点所对应的俯仰角；fy为摄像头的焦距，cy为摄像头的感光单元上的像素大小。
S230，根据俯仰角以及世界坐标系与摄像头坐标系之间的初始变换矩阵，得到优化后的世界坐标系与摄像头坐标系之间的变换矩阵。
具体的，将初始的地图对应的世界坐标系与摄像头坐标系之间的变换矩阵中的俯仰角元素，替换为第一车道线消失点所对应的俯仰角，得到优化后的变换矩阵。
可选的，根据所述俯仰角以及世界坐标系与摄像头坐标系之间的初始变换矩阵，得到优化后的世界坐标系与摄像头坐标系之间的变换矩阵，可通过下述方式实施：根据在拍摄当前图像之前拍摄的历史图像上车道线消失点所对应的俯仰角，采用设定滤波算法对第一车道线消失点所对应的俯仰角进行平滑去噪；根据平滑去噪后得到的俯仰角以及世界坐标系与摄像头坐标系之间的初始变换矩阵，得到优化后的世界坐标系与摄像头坐标系之间的变换矩阵。
其中，设定滤波算法可以是卡尔波曼滤波或者直方图平滑滤波等算法。具体的，在获得多个历史图像上车道线消失点所对应的俯仰角后，根据多个历史俯仰角采用设定滤波算法对当前图像中的第一车道线消失点所对应的俯仰角进行平滑去噪，将初始的地图对应的世界坐标系与摄像头坐标系之间的变换矩阵中的俯仰角元素，替换为平滑去燥后得到的俯仰角，从而得到优化后的世界坐标系与摄像头坐标系之间的变换矩阵。
S240，根据优化后得到的变换矩阵获得当前图像中的目标物体的第一3D坐标，根据第一3D坐标确定目标物体的最终3D坐标。
本实施例的技术方案，根据俯仰角和世界坐标系与摄像头坐标系之间的初始变换矩阵，得到优化后的世界坐标系与摄像头坐标系之间的变换矩阵，根据优化后得到的变换矩阵获得当前图像中的目标物体的第一3D坐标，根据第一3D坐标确定目标物体的最终3D坐标，可以提高无人车系统中检测障碍物的3D位置坐标的准确度。
图3为本发明实施例二提供的另一种无人车位置检测方法的流程图，作为对上述实施例的进一步解释，如图3所示，该方法包括如下步骤：
S310，检测摄像头所拍摄当前图像中的第一车道线，若检测的是第一车道线的位置坐标，则执行步骤320，若检测的是第一车道线消失点的俯仰角，则执行步骤350。
S320，根据世界坐标系与摄像头坐标系之间的初始变换矩阵，将地图上的车道线投影到当前图像上，得到第二车道线。
S330，根据第一车道线和第二车道线在图像上的位置，确定第一车道线上设定数量的点到第二车道线的最短距离，基于最短距离确定第一损失函数；按照第一损失函数变小的方向对第二车道线的位置进行至少一次调整。
S340，根据至少一次调整后得到的新的第二车道线在当前图像上的位置、以及世界坐标系中车道线的位置，得到优化后的世界坐标系与摄像头坐标系之间的变换矩阵。
S350，按照如下公式确定第一车道线消失点所对应的俯仰角：Y＝tan(pitch)*fy+cy；根据在拍摄当前图像之前拍摄的历史图像上车道线消失点所对应的俯仰角，采用设定滤波算法对第一车道线消失点所对应的俯仰角进行平滑去噪。
S360，根据平滑去噪后得到的俯仰角以及世界坐标系与摄像头坐标系之间的初始变换矩阵，得到优化后的世界坐标系与摄像头坐标系之间的变换矩阵。
S370，根据优化后得到的变换矩阵的逆矩阵，将当前图像中的目标物体的二维坐标反向投影到世界坐标系中，得到目标物体的第一3D坐标。
S380，将第一3D坐标确定为目标物体的最终3D坐标；或者，将第一3D坐标与按照设定检测算法得到的目标物体的第二3D坐标进行比较，若比对结果不一致，则根据第一3D坐标对第二3D坐标进行修正，将修正后的第二3D坐标作为目标物体的最终3D坐标。
实施例三
图4为本发明实施例三提供的一种无人车位置检测装置的结构示意图。如图4所示，该装置包括：第一车道线检测模块410，俯仰角确定模块420，俯仰角平滑去噪模块430，初始变换矩阵优化模块440和3D坐标确定模块450。
第一车道线检测模块410，用于检测摄像头所拍摄当前图像中的第一车道线；
俯仰角确定模块420，用于确定第一车道线消失点所对应的俯仰角，所述俯仰角是指摄像头的光轴与地平面之间的夹角；
俯仰角平滑去噪模块430，用于根据在拍摄所述当前图像之前拍摄的历史图像上车道线消失点所对应的俯仰角，采用设定滤波算法对所述第一车道线消失点所对应的俯仰角进行平滑去噪；
初始变换矩阵优化模块440，用于根据平滑去噪后得到的俯仰角以及世界坐标系与摄像头坐标系之间的初始变换矩阵，得到优化后的世界坐标系与摄像头坐标系之间的变换矩阵；
3D坐标确定模块450，用于根据优化后得到的变换矩阵获得当前图像中的目标物体的第一3D坐标，根据第一3D坐标确定目标物体的最终3D坐标。
可选的，按照如下公式确定第一车道线消失点所对应的俯仰角：
Y＝tan(pitch)*fy+cy；
其中Y为第一车道线消失点对应的纵轴坐标值；pitch为第一车道线消失点所对应的俯仰角；fy为摄像头的焦距，cy为摄像头的感光单元上的像素大小。
可选的，3D坐标确定模块450，还用于：
根据优化后得到的变换矩阵的逆矩阵，将当前图像中的目标物体的二维坐标反向投影到世界坐标系中，得到目标物体的第一3D坐标。
可选的，3D坐标确定模块450，还用于：
将第一3D坐标确定为目标物体的最终3D坐标；或者，
将第一3D坐标与按照设定检测算法得到的目标物体的第二3D坐标进行比较，若比对结果不一致，则根据第一3D坐标对第二3D坐标进行修正，将修正后的第二3D坐标作为目标物体的最终3D坐标。
可选的，3D坐标确定模块450，还用于：
基于第二3D坐标与第一3D坐标之间的差距确定第二损失函数；
按照第二损失函数变小的方向对第二3D坐标进行至少一次调整；
将至少一次调整后得到的第二3D坐标，确定为目标物体的最终3D坐标。
可选的，还包括：
定位元素3D坐标获取模块，用于在每次对第二3D坐标进行调整后，获取当前图像中定位元素的3D位置坐标，若定位元素与摄像头的距离大于目标物体与摄像头的距离，则判断调整后的第二3D坐标是否小于定位元素的3D位置坐标，若是，则本次调整有效，否则，本次调整无效，重新对第二3D坐标进行反方向的调整；
调整模块，用于当定位元素与摄像头的距离小于目标物体与摄像头的距离时，判断调整后的第二3D坐标是否大于等于定位元素的3D位置坐标，若是，则本次调整有效，否则，本次调整无效，重新对第二3D坐标进行反方向的调整。
可选的，定位元素包括交通标志牌、路灯、以及电线杆中的至少一个。
上述装置可执行本发明前述所有实施例所提供的方法，具备执行上述方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明前述所有实施例所提供的方法。
实施例四
图5为本发明实施例四提供的一种电子设备的结构示意图。图5示出了适于用来实现本发明实施方式的电子设备512的框图。图5显示的电子设备512仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。设备512典型的是承担无人车位置检测功能的计算设备。
如图5所示，电子设备512以通用计算设备的形式表现。电子设备512的组件可以包括但不限于：一个或者多个处理器516，存储装置528，连接不同系统组件(包括存储装置528和处理器516)的总线518。
总线518表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture，ISA)总线，微通道体系结构(Micro Channel Architecture，MCA)总线，增强型ISA总线、视频电子标准协会(Video Electronics Standards Association，VESA)局域总线以及外围组件互连(Peripheral Component Interconnect，PCI)总线。
电子设备512典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备512访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储装置528可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory，RAM)530和/或高速缓存存储器532。电子设备512可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统534可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如只读光盘(Compact Disc-Read Only Memory，CD-ROM)、数字视盘(Digital Video Disc-Read Only Memory，DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线518相连。存储装置528可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块526的程序536，可以存储在例如存储装置528中，这样的程序模块526包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块526通常执行本发明所描述的实施例中的功能和/或方法。
电子设备512也可以与一个或多个外部设备514(例如键盘、指向设备、摄像头、显示器524等)通信，还可与一个或者多个使得用户能与该电子设备512交互的设备通信，和/或与使得该电子设备512能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口522进行。并且，电子设备512还可以通过网络适配器520与一个或者多个网络(例如局域网(Local Area Network，LAN)，广域网Wide Area Network，WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器520通过总线518与电子设备512的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备512使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of Independent Disks，RAID)系统、磁带驱动器以及数据备份存储系统等。
处理器516通过运行存储在存储装置528中的程序，从而执行各种功能应用以及数据处理，例如实现本发明上述实施例所提供的无人车位置检测方法。
实施例五
本发明实施例五还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例所提供的无人车位置检测方法。
当然，本发明实施例所提供的一种计算机可读存储介质，其上存储的计算机程序不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的无人车位置检测方法中的相关操作。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
进一步地，图6为本发明实施例五提供的一种车辆的结构示意图，如图6所示，该车辆包括车体610，上述实施例所述的电子设备620以及设置在车体上的摄像头630。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种无人车位置检测方法，其特征在于，所述方法包括：
检测摄像头所拍摄当前图像中的第一车道线；
确定第一车道线消失点所对应的俯仰角，所述俯仰角是指摄像头的光轴与地平面之间的夹角；所述第一车道线消失点为两条车道线的交点；
根据在拍摄所述当前图像之前拍摄的历史图像上车道线消失点所对应的俯仰角，采用设定滤波算法对所述第一车道线消失点所对应的俯仰角进行平滑去噪；
根据平滑去噪后得到的俯仰角以及世界坐标系与摄像头坐标系之间的初始变换矩阵，得到优化后的世界坐标系与摄像头坐标系之间的变换矩阵；
根据优化后得到的变换矩阵获得所述当前图像中的目标物体的第一3D坐标，根据第一3D坐标确定所述目标物体的最终3D坐标；
其中，根据第一3D坐标确定所述目标物体的最终3D坐标，包括：将第一3D坐标与按照设定检测算法得到的目标物体的第二3D坐标进行比较，若比对结果不一致，则：基于第二3D坐标与第一3D坐标之间的差距确定第二损失函数；按照所述第二损失函数变小的方向对第二3D坐标进行至少一次调整；将至少一次调整后得到的第二3D坐标，确定为所述目标物体的最终3D坐标。
2.根据权利要求1所述的方法，其特征在于，按照如下公式确定第一车道线消失点所对应的俯仰角：
Y = tan(pitch) * fy + cy；
其中Y为第一车道线消失点对应的纵轴坐标值；pitch为第一车道线消失点所对应的俯仰角；fy为摄像头的焦距，cy为摄像头的感光单元上的像素大小。
3.根据权利要求1或2所述的方法，其特征在于，根据优化后得到的变换矩阵获得所述当前图像中的目标物体的第一3D坐标，包括：
根据优化后得到的变换矩阵的逆矩阵，将所述当前图像中的目标物体的二维坐标反向投影到世界坐标系中，得到目标物体的第一3D坐标。
4.根据权利要求1或2所述的方法，其特征在于，根据第一3D坐标确定所述目标物体的最终3D坐标，包括：
将第一3D坐标确定为所述目标物体的最终3D坐标。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在每次对第二3D坐标进行调整后，获取所述当前图像中定位元素的3D位置坐标，若所述定位元素与摄像头的距离大于目标物体与摄像头的距离，则判断调整后的第二3D坐标是否小于定位元素的3D位置坐标，若是，则本次调整有效，否则，本次调整无效，重新对第二3D坐标进行反方向的调整；
若定位元素与摄像头的距离小于目标物体与摄像头的距离，则判断调整后的第二3D坐标是否大于等于定位元素的3D位置坐标，若是，则本次调整有效，否则，本次调整无效，重新对第二3D坐标进行反方向的调整。
6.根据权利要求5所述的方法，其特征在于，所述定位元素包括交通标志牌、路灯、以及电线杆中的至少一个。
7.一种无人车位置检测装置，其特征在于，所述装置包括：
第一车道线检测模块，用于检测摄像头所拍摄当前图像中的第一车道线；
俯仰角确定模块，用于确定第一车道线消失点所对应的俯仰角，所述俯仰角是指摄像头的光轴与地平面之间的夹角；所述第一车道线消失点为两条车道线的交点；
俯仰角平滑去噪模块，用于根据在拍摄所述当前图像之前拍摄的历史图像上车道线消失点所对应的俯仰角，采用设定滤波算法对所述第一车道线消失点所对应的俯仰角进行平滑去噪；
初始变换矩阵优化模块，用于根据平滑去噪后得到的俯仰角以及世界坐标系与摄像头坐标系之间的初始变换矩阵，得到优化后的世界坐标系与摄像头坐标系之间的变换矩阵；
3D坐标确定模块，用于根据优化后得到的变换矩阵获得所述当前图像中的目标物体的第一3D坐标，根据第一3D坐标确定所述目标物体的最终3D坐标；
其中，根据第一3D坐标确定所述目标物体的最终3D坐标，包括：将第一3D坐标与按照设定检测算法得到的目标物体的第二3D坐标进行比较，若比对结果不一致，则：基于第二3D坐标与第一3D坐标之间的差距确定第二损失函数；按照所述第二损失函数变小的方向对第二3D坐标进行至少一次调整；将至少一次调整后得到的第二3D坐标，确定为所述目标物体的最终3D坐标。
8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6中任一所述的无人车位置检测方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的无人车位置检测方法。
10.一种车辆，包括车体，其特征在于，还包括权利要求8所述的电子设备，以及设置在车体上的摄像头。
CN202110763591.8A 2018-09-07 2018-09-07 无人车位置检测方法、装置、设备、存储介质及车辆 Active CN113486796B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110763591.8A CN113486796B (zh) 2018-09-07 2018-09-07 无人车位置检测方法、装置、设备、存储介质及车辆

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110763591.8A CN113486796B (zh) 2018-09-07 2018-09-07 无人车位置检测方法、装置、设备、存储介质及车辆
CN201811044487.8A CN109300159B (zh) 2018-09-07 2018-09-07 位置检测方法、装置、设备、存储介质及车辆

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201811044487.8A Division CN109300159B (zh) 2018-09-07 2018-09-07 位置检测方法、装置、设备、存储介质及车辆

Publications (2)

Publication Number Publication Date
CN113486796A CN113486796A (zh) 2021-10-08
CN113486796B true CN113486796B (zh) 2023-09-05

Family

ID=65166401

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201811044487.8A Active CN109300159B (zh) 2018-09-07 2018-09-07 位置检测方法、装置、设备、存储介质及车辆
CN202110763591.8A Active CN113486796B (zh) 2018-09-07 2018-09-07 无人车位置检测方法、装置、设备、存储介质及车辆
CN202110763599.4A Active CN113486797B (zh) 2018-09-07 2018-09-07 无人车位置检测方法、装置、设备、存储介质及车辆

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201811044487.8A Active CN109300159B (zh) 2018-09-07 2018-09-07 位置检测方法、装置、设备、存储介质及车辆

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202110763599.4A Active CN113486797B (zh) 2018-09-07 2018-09-07 无人车位置检测方法、装置、设备、存储介质及车辆

Country Status (4)

Country Link
US (1) US11210534B2 (zh)
EP (1) EP3633539A3 (zh)
JP (1) JP6866439B2 (zh)
CN (3) CN109300159B (zh)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109300159B (zh) * 2018-09-07 2021-07-20 百度在线网络技术（北京）有限公司 位置检测方法、装置、设备、存储介质及车辆
CN109703569B (zh) * 2019-02-21 2021-07-27 百度在线网络技术（北京）有限公司 一种信息处理方法、装置及存储介质
CN109949367B (zh) * 2019-03-11 2023-01-20 中山大学 一种基于圆形投影的可见光成像定位方法
CN109839937B (zh) * 2019-03-12 2023-04-07 百度在线网络技术（北京）有限公司 确定车辆自动驾驶规划策略的方法、装置、计算机设备
CN109931944B (zh) * 2019-04-02 2021-12-07 阿波罗智联(北京)科技有限公司 一种ar导航方法、装置、车端设备、服务端及介质
CN111775944B (zh) * 2019-04-04 2021-12-28 富泰华工业（深圳）有限公司 辅助驾驶装置、方法及计算机可读存储介质
CN110148173B (zh) * 2019-05-21 2021-08-06 北京百度网讯科技有限公司 车路协同中目标定位的方法和装置、电子设备、介质
CN110163930B (zh) * 2019-05-27 2023-06-27 北京百度网讯科技有限公司 车道线生成方法、装置、设备、系统及可读存储介质
CN112184799A (zh) * 2019-07-05 2021-01-05 北京地平线机器人技术研发有限公司 车道线空间坐标确定方法、装置、存储介质和电子设备
CN112304293B (zh) * 2019-08-02 2022-09-13 北京地平线机器人技术研发有限公司 道路高度检测方法、装置、可读存储介质和电子设备
CN112348874B (zh) * 2019-08-08 2024-05-14 北京地平线机器人技术研发有限公司 一种车道线的结构化参数表示确定方法及装置
CN112348875B (zh) * 2019-08-08 2024-04-16 北京地平线机器人技术研发有限公司 一种标志杆的结构化参数表示确定方法及装置
CN111275662B (zh) * 2019-08-29 2024-02-06 上海飞机制造有限公司 基于二维码的工件定位方法、装置、设备和存储介质
CN111160132B (zh) * 2019-12-12 2022-08-19 苏州智加科技有限公司 障碍物所在车道的确定方法、装置、电子设备和存储介质
CN111443704B (zh) * 2019-12-19 2021-07-06 苏州智加科技有限公司 用于自动驾驶系统的障碍物定位方法及装置
DE102020202964A1 (de) * 2020-03-09 2021-09-09 Continental Automotive Gmbh Die Erfindung betrifft ein Verfahren zur Erhöhung der Sicherheit von Fahrfunktionen.
CN111445533B (zh) * 2020-03-27 2023-08-01 广东博智林机器人有限公司 一种双目相机标定方法、装置、设备及介质
CN111477013B (zh) * 2020-04-01 2021-06-25 清华大学苏州汽车研究院（吴江） 一种基于地图影像的车辆测量方法
CN111524185A (zh) * 2020-04-21 2020-08-11 上海商汤临港智能科技有限公司 定位方法及装置、电子设备和存储介质
CN111540020B (zh) * 2020-04-28 2023-10-10 浙江大华技术股份有限公司 目标行为的确定方法及装置、存储介质、电子装置
CN111667539B (zh) * 2020-06-08 2023-08-29 武汉唯理科技有限公司 一种相机标定及平面测量方法
CN112101209B (zh) * 2020-09-15 2024-04-09 阿波罗智联(北京)科技有限公司 用于路侧计算设备的确定世界坐标点云的方法和装置
CN112037316B (zh) * 2020-09-22 2024-04-16 阿波罗智联(北京)科技有限公司 映射的生成方法、装置和路侧设备
CN112419423A (zh) * 2020-10-30 2021-02-26 上海商汤临港智能科技有限公司 一种标定方法、装置、电子设备及存储介质
CN114531580B (zh) * 2020-11-23 2023-11-21 北京四维图新科技股份有限公司 图像处理方法及装置
CN112668428A (zh) * 2020-12-21 2021-04-16 北京百度网讯科技有限公司 车辆变道的检测方法、路侧设备、云控平台和程序产品
CN112560769B (zh) * 2020-12-25 2023-08-29 阿波罗智联(北京)科技有限公司 用于检测障碍物的方法、电子设备、路侧设备和云控平台
CN112750166B (zh) * 2020-12-29 2023-07-28 上海西井科技股份有限公司 岸桥球机摄像头自动标定方法、系统、设备及存储介质
CN112561990B (zh) * 2021-01-21 2022-05-31 禾多科技（北京）有限公司 定位信息生成方法、装置、设备和计算机可读介质
CN113052904B (zh) * 2021-03-19 2022-12-13 上海商汤临港智能科技有限公司 一种定位方法、装置、电子设备及存储介质
CN113066135A (zh) * 2021-04-26 2021-07-02 深圳市商汤科技有限公司 图像采集设备的标定方法及装置、电子设备和存储介质
CN113432620B (zh) * 2021-06-04 2024-04-09 苏州智加科技有限公司 误差估计方法、装置、车载终端及存储介质
CN113296131B (zh) * 2021-06-23 2023-04-11 国能黄骅港务有限责任公司 一种船舶以及装船机的定位方法、装置
CN113392794B (zh) * 2021-06-28 2023-06-02 北京百度网讯科技有限公司 车辆跨线识别方法、装置、电子设备和存储介质
CN113588058A (zh) * 2021-07-09 2021-11-02 中车大同电力机车有限公司 一种机车车体称重调平识别方法及系统
CN113899377B (zh) * 2021-08-23 2023-10-27 武汉光庭信息技术股份有限公司 一种基于相机的自动泊车终点相对坐标的测量方法及系统
CN113639639A (zh) * 2021-08-31 2021-11-12 追觅创新科技(苏州)有限公司 位置数据的数据处理方法、装置及存储介质
CN113792674B (zh) * 2021-09-17 2024-03-26 支付宝(杭州)信息技术有限公司 空座率的确定方法、装置和电子设备
CN114140538B (zh) * 2021-12-03 2022-09-27 禾多科技（北京）有限公司 车载相机位姿调整方法、装置、设备和计算机可读介质
CN116563814A (zh) * 2022-01-28 2023-08-08 灵动科技（北京）有限公司 自主移动机器人及利用其进行车道线检测的方法
CN116772804A (zh) * 2022-03-10 2023-09-19 华为技术有限公司 一种定位方法和相关设备
CN114937091B (zh) * 2022-04-28 2023-07-11 广州导远电子科技有限公司 一种车道线的检测方法、系统、电子设备及存储介质
CN116612459B (zh) * 2023-07-18 2023-11-17 小米汽车科技有限公司 目标检测方法、装置、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102592124A (zh) * 2011-01-13 2012-07-18 汉王科技股份有限公司 文本图像的几何校正方法、装置和双目立体视觉系统
CN102682292A (zh) * 2012-05-10 2012-09-19 清华大学 基于单目视觉的道路边缘检测及粗定位方法
CN103324936A (zh) * 2013-05-24 2013-09-25 北京理工大学 一种基于多传感器融合的车辆下边界检测方法
CN104859563A (zh) * 2015-05-28 2015-08-26 北京汽车股份有限公司 车道偏离预警方法和系统
CN107389026A (zh) * 2017-06-12 2017-11-24 江苏大学 一种基于固定点射影变换的单目视觉测距方法
CN107578002A (zh) * 2017-08-28 2018-01-12 沈阳中科创达软件有限公司 一种车道线识别结果的监测方法、装置、设备和介质
CN109300159B (zh) * 2018-09-07 2021-07-20 百度在线网络技术（北京）有限公司 位置检测方法、装置、设备、存储介质及车辆

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2917681B2 (ja) * 1992-06-29 1999-07-12 日産自動車株式会社 道路形状計測装置
JP2514779B2 (ja) * 1993-09-08 1996-07-10 住友電気工業株式会社 カメラ姿勢パラメ―タ算出方法
JP3063481B2 (ja) * 1993-09-21 2000-07-12 日産自動車株式会社 車両用物体検出装置
JP2986439B2 (ja) * 1998-01-12 1999-12-06 松下電器産業株式会社 車両用画像処理装置
US6977630B1 (en) * 2000-07-18 2005-12-20 University Of Minnesota Mobility assist device
TWI246665B (en) * 2001-07-12 2006-01-01 Ding-Jang Tzeng Method for aiding the driving safety of road vehicle by monocular computer vision
WO2003093857A2 (en) * 2002-05-03 2003-11-13 Donnelly Corporation Object detection system for vehicle
JP3986360B2 (ja) * 2002-05-14 2007-10-03 松下電器産業株式会社 カメラ校正装置
JP4222411B2 (ja) * 2006-11-08 2009-02-12 日本電気株式会社 消失点検出システム、消失点検出方法および消失点検出用プログラム
US20110115912A1 (en) * 2007-08-31 2011-05-19 Valeo Schalter Und Sensoren Gmbh Method and system for online calibration of a video system
US8355539B2 (en) * 2007-09-07 2013-01-15 Sri International Radar guided vision system for vehicle validation and vehicle motion characterization
EP2154650A1 (en) * 2008-08-12 2010-02-17 IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. 3D time-of-flight camera system and position/orientation calibration method therefor
JP2010218226A (ja) * 2009-03-17 2010-09-30 Suzuki Motor Corp 計測マップ生成装置及び走行環境確認装置
JP5455124B2 (ja) * 2010-04-01 2014-03-26 国立大学法人鳥取大学 カメラ姿勢パラメータ推定装置
JP5588812B2 (ja) * 2010-09-30 2014-09-10 日立オートモティブシステムズ株式会社 画像処理装置及びそれを用いた撮像装置
US9834153B2 (en) * 2011-04-25 2017-12-05 Magna Electronics Inc. Method and system for dynamically calibrating vehicular cameras
DE102011017697A1 (de) * 2011-04-28 2012-10-31 Robert Bosch Gmbh Verfahren zur Leuchtweitenregulierung zumindest eines Scheinwerfers eines Fahrzeugs und Lichtsteuergerät
EP2562681B1 (de) * 2011-08-25 2014-08-13 Delphi Technologies, Inc. Objektverfolgungsverfahren für ein Kamerabasiertes Fahrerassistenzsystem
KR101841668B1 (ko) * 2012-02-15 2018-03-27 한국전자통신연구원 입체 모델 생성 장치 및 방법
CN103020941A (zh) * 2012-12-28 2013-04-03 昆山市工业技术研究院有限责任公司 基于全景拼接的旋转摄像头背景建立法及运动物体检测法
WO2015058297A1 (en) * 2013-10-25 2015-04-30 Vakanski Aleksandar Image-based trajectory robot programming planning approach
CN103559791B (zh) * 2013-10-31 2015-11-18 北京联合大学 一种融合雷达和ccd摄像机信号的车辆检测方法
FR3014553A1 (fr) * 2013-12-11 2015-06-12 Parrot Procede de calibration angulaire de la position d'une camera video embarquee dans un vehicule automobile
CN103996049B (zh) * 2014-05-05 2017-02-15 南京大学 一种基于视频图像的船舶超长超宽检测方法
CN105224908A (zh) * 2014-07-01 2016-01-06 北京四维图新科技股份有限公司 一种基于正射投影的道路标线采集方法及装置
US9792664B2 (en) * 2015-01-29 2017-10-17 Wipro Limited System and method for mapping object coordinates from a video to real world coordinates using perspective transformation
KR102267562B1 (ko) * 2015-04-16 2021-06-22 한국전자통신연구원 무인자동주차 기능 지원을 위한 장애물 및 주차구획 인식 장치 및 그 방법
CN104751151B (zh) * 2015-04-28 2017-12-26 苏州安智汽车零部件有限公司 一种实时多车道识别及跟踪方法
US10282914B1 (en) * 2015-07-17 2019-05-07 Bao Tran Systems and methods for computer assisted operation
CN108450058B (zh) * 2015-12-28 2022-07-26 英特尔公司 实时自动车载相机校准
US10665115B2 (en) * 2016-01-05 2020-05-26 California Institute Of Technology Controlling unmanned aerial vehicles to avoid obstacle collision
CN108885106A (zh) * 2016-01-08 2018-11-23 国际智能技术公司 使用地图的车辆部件控制
US11402402B2 (en) * 2016-01-12 2022-08-02 Bigmotion Technologies Inc. Systems and methods for human body motion capture
EP3236286B1 (en) * 2016-04-18 2023-01-25 Otis Elevator Company Auto commissioning system and method
CN106384085A (zh) * 2016-08-31 2017-02-08 浙江众泰汽车制造有限公司 一种无人车偏航角计算方法
US10529083B2 (en) * 2016-12-08 2020-01-07 Lighmetrics Technologies Pvt. Ltd. Methods and systems for estimating distance of an object from a moving vehicle
JP2018116369A (ja) * 2017-01-16 2018-07-26 株式会社Ｓｏｋｅｎ 車線認識装置
US10489965B1 (en) * 2017-03-24 2019-11-26 Mappedin Inc. Systems and methods for positioning a virtual camera
CN107481284A (zh) * 2017-08-25 2017-12-15 京东方科技集团股份有限公司 目标物跟踪轨迹精度测量的方法、装置、终端及系统
US10699135B2 (en) * 2017-11-20 2020-06-30 Here Global B.V. Automatic localization geometry generator for stripe-shaped objects

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102592124A (zh) * 2011-01-13 2012-07-18 汉王科技股份有限公司 文本图像的几何校正方法、装置和双目立体视觉系统
CN102682292A (zh) * 2012-05-10 2012-09-19 清华大学 基于单目视觉的道路边缘检测及粗定位方法
CN103324936A (zh) * 2013-05-24 2013-09-25 北京理工大学 一种基于多传感器融合的车辆下边界检测方法
CN104859563A (zh) * 2015-05-28 2015-08-26 北京汽车股份有限公司 车道偏离预警方法和系统
CN107389026A (zh) * 2017-06-12 2017-11-24 江苏大学 一种基于固定点射影变换的单目视觉测距方法
CN107578002A (zh) * 2017-08-28 2018-01-12 沈阳中科创达软件有限公司 一种车道线识别结果的监测方法、装置、设备和介质
CN109300159B (zh) * 2018-09-07 2021-07-20 百度在线网络技术（北京）有限公司 位置检测方法、装置、设备、存储介质及车辆

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于多线激光雷达与视觉信息的实时行人检测;陆怡悦 等;《计算机与数字工程》;第45卷(第11期);第2256-2262页 *

Also Published As

Publication number Publication date
JP2020042804A (ja) 2020-03-19
CN113486796A (zh) 2021-10-08
CN109300159B (zh) 2021-07-20
US20200082183A1 (en) 2020-03-12
EP3633539A2 (en) 2020-04-08
CN113486797B (zh) 2023-08-11
CN109300159A (zh) 2019-02-01
US11210534B2 (en) 2021-12-28
EP3633539A3 (en) 2020-09-09
CN113486797A (zh) 2021-10-08
JP6866439B2 (ja) 2021-04-28

Similar Documents

Publication Publication Date Title
CN113486796B (zh) 无人车位置检测方法、装置、设备、存储介质及车辆
CN109242903B (zh) 三维数据的生成方法、装置、设备及存储介质
CN110163930B (zh) 车道线生成方法、装置、设备、系统及可读存储介质
CN109635685B (zh) 目标对象3d检测方法、装置、介质及设备
US11763575B2 (en) Object detection for distorted images
CN109345593B (zh) 一种摄像机姿态的检测方法及装置
EP3968266B1 (en) Obstacle three-dimensional position acquisition method and apparatus for roadside computing device
CN110263713B (zh) 车道线检测方法、装置、电子设备及存储介质
KR20180056685A (ko) 비 장애물 영역 검출을 위한 시스템 및 방법
CN106183979A (zh) 一种根据车距对车辆进行提醒的方法和装置
US11417080B2 (en) Object detection apparatus, object detection method, and computer-readable recording medium
US20210056710A1 (en) Video object detection
CN113297958A (zh) 一种自动化标注方法、装置、电子设备和存储介质
CN113838125A (zh) 目标位置确定方法、装置、电子设备以及存储介质
JPWO2018159467A1 (ja) 移動体検知装置、移動体検知方法、及びプログラム
CN114037977B (zh) 道路灭点的检测方法、装置、设备及存储介质
JP2009077022A (ja) 運転支援システム及び車両
CN113147746A (zh) 坡道车位的探测方法及装置
CN115690767B (zh) 车牌识别方法、装置、无人机及存储介质
US20240112363A1 (en) Position estimation system, position estimation method, and program
CN113312979B (zh) 图像处理方法、装置、电子设备、路侧设备及云控平台
WO2023176695A1 (ja) 移動体検知装置、移動体検知方法、及びコンピュータ読み取り可能な記録媒体
CN113038070A (zh) 一种设备调焦方法、装置和云平台
CN116543381A (zh) 单目三维目标检测后处理方法、装置和电子设备
CN115457538A (zh) 一种基于红外相机的3d目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant