CN115578470A - 一种单目视觉定位方法、装置、存储介质和电子设备 - Google Patents

一种单目视觉定位方法、装置、存储介质和电子设备 Download PDF

Info

Publication number
CN115578470A
CN115578470A CN202211170253.4A CN202211170253A CN115578470A CN 115578470 A CN115578470 A CN 115578470A CN 202211170253 A CN202211170253 A CN 202211170253A CN 115578470 A CN115578470 A CN 115578470A
Authority
CN
China
Prior art keywords
dimension
target object
detection frame
detection
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211170253.4A
Other languages
English (en)
Inventor
王进
邱翰
胡桂雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rainbow Software Co ltd
Original Assignee
Rainbow Software Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rainbow Software Co ltd filed Critical Rainbow Software Co ltd
Priority to CN202211170253.4A priority Critical patent/CN115578470A/zh
Publication of CN115578470A publication Critical patent/CN115578470A/zh
Priority to PCT/CN2023/118614 priority patent/WO2024061079A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats

Abstract

本申请涉及了一种单目视觉定位方法、装置、存储介质和电子设备，其中，该单目视觉定位方法包括：确定采集图像中目标对象的第一检测框；根据所述第一检测框，通过点对模型获取所述目标对象在当前帧中的第一维度，其中，所述点对模型为基于像素坐标系和世界坐标系的点对差建立的映射关系；根据所述第一维度结合采集图像装置的内外参，确定所述目标对象的位置。本发明解决了以至少解决现有技术中测距硬件成本高和位置检测精度低的技术问题，并通过时序信息提高了鲁棒性。

Description

一种单目视觉定位方法、装置、存储介质和电子设备
技术领域
本发明涉及辅助驾驶技术，尤其涉及一种单目视觉定位方法、装置、存储介质和电子设备。
背景技术
在众多的交通事故中，如果驾驶员能够实时感知车身周围车辆的位置和状态，那么就能实时预测可能出现各种危险，在一定程度上减少一些交通事故的发生。为了达到这个目前，研究一种实时测量司机车身周围车辆的位置的方案，就成为能及时提醒司机规避危险交通情形的一种有利手段。
针对这种情形，一种可能的方案是车辆同时安装相机和雷达，但是该种方案因为采用雷达，使得整体成本偏高，无法推广到所有的应用场景，且雷达会产生鬼影等噪声问题；而主流的视觉测距方案，一方面受限于标定场景，针对地面不平以及镜头大朝角场景并不适用，另一方面位置的精度依赖于单张图像对目标的实际物理状态的估计值。
因此，有必要提出一种单目视觉定位方法，能够依赖采集的图像实现对周围车辆位置的准确检测。
发明内容
本申请提供了一种单目视觉定位方法、装置、存储介质和电子设备，以至少解决现有技术中测距硬件成本高和位置检测精度低的技术问题。
根据本发明实施例中的一个方面，本申请提供了一种单目视觉定位方法，包括：确定采集图像中目标对象的第一检测框；根据所述第一检测框，通过点对模型获取所述目标对象在当前帧中的第一维度，其中，上述点对模型为基于像素坐标系和世界坐标系的点对差建立的映射关系；根据上述第一维度结合采集图像装置的内外参，确定上述目标对象的位置。
可选的，根据所述第一检测框，通过点对模型获取所述目标对象在当前帧中的第一维度，包括：基于所述第一检测框中至少两个端点之间的几何约束关系和图像坐标，通过所述点对模型，确定所述目标对象在所述采集图像中的几何参数和/或姿态参数；所述几何参数和/或姿态参数组成所述第一维度。
可选的，所述第一检测框中至少两个端点之间的几何约束关系为至少两个所述端点位于同一平面。
可选的，根据所述第一维度结合采集图像装置的内外参，确定所述目标对象的位置，包括：根据所述第一维度和所述内外参，通过面积测距关系确定所述目标对象的位置，其中，所述位置包括所述目标对象相对于采集图像装置的前向距离和横向距离，所述面积测距关系通过所述目标对象在像素坐标系和世界坐标系中的成像面积比确定。
可选的，根据所述第一检测框，通过点对模型获取所述目标对象在当前帧中的第一维度之前，还包括：基于第一时序检测框序列对所述第一检测框进行异常检测及修正；其中，所述第一时序检测框序列包括所述采集图像前至少一帧图像对应的已修正的检测框。
可选的，所述基于第一时序检测框序列对所述第一检测框进行异常检测及修正，包括：通过第一一致性函数对所述第一检测框进行异常判断，其中，所述第一一致性函数通过所述第一时序检测框序列的时序属性拟合得到，以表示所述目标对象时间和属性之间的关系；若存在异常情况，基于所述第一一致性函数对所述第一检测框进行修正，得到修正后的第一检测框；将所述修正后的第一检测框更新至所述第一时序检测框序列；若不存在异常情况，将所述第一检测框更新至所述第一时序检测框序列。
可选的，所述时序属性为所述第一时序检测框序列每帧检测框中对应的宽高比。
可选的，所述基于所述第一一致性函数修正所述第一检测框，得到修正后的第一检测框，包括：获取所述第一检测框的第一属性，通过所述第一一致性函数获取所述第一检测框的第二属性；融合所述第一属性和所述第二属性，获得所述第一检测框的目标属性；结合所述目标属性、所述第一属性和第一阈值修正所述第一检测框，获得所述修正后的第一检测框。
可选的，所述根据所述第一维度结合采集图像装置的内外参，确定所述目标对象的位置之前，所述方法包括：基于所述第一时序维度序列对所述第一维度进行修正，获得修正后的第一维度，其中，所述第一时序维度序列包括所述采集图像前至少一帧图像对应的已修正的维度。
可选的，基于所述第一时序维度序列对所述第一维度进行修正，获得修正后的第一维度，包括：通过所述第二一致性函数计算获得所述第二维度，其中所述第二一致性函数为通过所述第一时序维度序列的时序维度拟合得到，以表示所述目标对象时间和维度之间的关系；基于所述第二维度对所述第一维度进行修正，获得所述修正后的第一维度。
可选的，根据所述第一维度和所述内外参，通过面积测距关系确定所述目标对象的位置，包括：根据所述第一维度和所述内外参，通过所述面积测距关系确定所述前向距离；根据所述前向距离，通过逆透视变换确定所述横向距离。
可选的，当所述采集图像装置的偏航角大于第二阈值时，结合二维路径搜索或面积测距关系修正确定所述目标对象的位置。
可选的，所述结合所述二维路径搜索确定所述目标对象的位置，包括：基于所述二维路径，确定与所述第一检测框的底边中心最接近的第一候选框；根据所述第一候选框，通过逆透视变换确定所述目标对象的位置。
可选的，获得所述二维路径包括：基于所述第一维度，根据多组预设横向距离和预设前向距离建立路径搜索二维表，其中，每组预设横向距离和预设前向距离对应一个候选成像框；基于全部预设横向距离，在所述路径搜索二维表中搜索出与所述第一检测框成像尺寸相同的全部候选成像框；基于所述全部候选成相框的成像位置，获得二维路径。
可选的，所述通过所述面积测距关系修正确定所述目标对象的位置，包括：根据所述第一维度、所述内外参和所述偏航角，通过所述面积测距关系修正确定所述前向距离；根据所述目标对象的前向距离，通过逆透视变换确定所述横向距离。
可选的，所述方法还包括：所述采集图像装置根据实际光照强度进行类型切换，包括：当所述实际光照强度小于或等于第三阈值时，所述采集图像装置为红外摄像头；当所述实际光照强度大于所述第三阈值时，则所述采集图像装置为普通摄像头。
根据本发明实施例中的另一个方面，本申请提供了一种单目视觉定位装置，包括：检测模块，用于确定采集图像中目标对象的第一检测框；维度计算模块，根据所述第一检测框，通过点对模型获取所述目标对象在当前帧中的第一维度，其中，所述点对模型为基于像素坐标系和世界坐标系的点对差建立的映射关系；距离估计模块，用于根据所述第一维度结合采集图像装置的内外参，确定所述目标对象的位置。
根据本发明实施例中的另一个方面，本申请提供了一种计算机可读存介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述任意一项所述的方法。
根据本发明实施例中的另一个方面，本申请提供了一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行任意一项所述的单目视觉定位方法。
与相关技术相比，本实施例中提供单目视觉定位装置，确定采集图像中目标对象的第一检测框；根据所述第一检测框，通过点对模型获取所述目标对象在当前帧中的第一维度，其中，上述点对模型为基于像素坐标系和世界坐标系的点对差建立的映射关系；根据上述第一维度结合采集图像装置的内外参，确定上述目标对象的位置，以至少解决现有技术中测距硬件成本高和位置检测精度低的技术问题，并通过时序信息提高了鲁棒性。
本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的其他优点可通过在说明书以及附图中所描述的方案来实现和获得。
附图说明
附图用来提供对本申请技术方案的理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。
图1是根据本发明实施例一种可选的单目视觉定位方法的流程图；
图2是根据本发明实施例一种可选的的单目视觉定位的应用场景；
图3是根据本发明实施例另一种可选的的单目视觉定位的应用场景；
图4是根据本发明实施例另一种可选的的单目视觉定位的应用场景；
图5是根据本发明实施例一种可选的成像面示意图；
图6是根据本发明实施例另一种可选的单目视觉定位方法流程图；
图7是根据本发明实施例另一种可选的单目视觉定位方法流程图。
图8是根据本发明实施例一种可选的大偏航角的应用场景；
图9是根据本发明实施例一种可选的单目视觉定位装置的结构框图。
具体实施方式
本申请描述了多个实施例，但是该描述是示例性的，而不是限制性的，并且对于本领域的普通技术人员来说显而易见的是，在本申请所描述的实施例包含的范围内可以有更多的实施例和实现方案。尽管在附图中示出了许多可能的特征组合，并在具体实施方式中进行了讨论，但是所公开的特征的许多其它组合方式也是可能的。除非特意加以限制的情况以外，任何实施例的任何特征或元件可以与任何其它实施例中的任何其他特征或元件结合使用，或可以替代任何其它实施例中的任何其他特征或元件。
本申请包括并设想了与本领域普通技术人员已知的特征和元件的组合。本申请已经公开的实施例、特征和元件也可以与任何常规特征或元件组合，以形成由权利要求限定的独特的发明方案。任何实施例的任何特征或元件也可以与来自其它发明方案的特征或元件组合，以形成另一个由权利要求限定的独特的发明方案。因此，应当理解，在本申请中示出和/或讨论的任何特征可以单独地或以任何适当的组合来实现。因此，除了根据所附权利要求及其等同替换所做的限制以外，实施例不受其它限制。此外，可以在所附权利要求的保护范围内进行各种修改和改变。
此外，在描述具有代表性的实施例时，说明书可能已经将方法和/或过程呈现为特定的步骤序列。然而，在该方法或过程不依赖于本文所述步骤的特定顺序的程度上，该方法或过程不应限于所述的特定顺序的步骤。如本领域普通技术人员将理解的，其它的步骤顺序也是可能的。因此，说明书中阐述的步骤的特定顺序不应被解释为对权利要求的限制。此外，针对该方法和/或过程的权利要求不应限于按照所写顺序执行它们的步骤，本领域技术人员可以容易地理解，这些顺序可以变化，并且仍然保持在本申请实施例的精神和范围内。
本申请实施例提供了一种单目视觉定位方法、系统和装置，该定位方法可以适用于测量采集图像装置周围多种目标的位置及状态，本发明实施例提出了一种硬件成本低、处理精度高、可实时、可应用于绝大部分目标的定位方法。
下面通过详细的实施例来说明本发明。
根据本发明的一个方面，提供了一种单目视觉定位方法。参考图1，是根据本发明实施例的一种可选的单目视觉定位方法的流程图。如图1上述，该方法包括以下步骤：
S100，确定采集图像中目标对象的第一检测框；
S120，根据第一检测框，通过点对模型计算获取目标对象在当前帧中的第一维度，其中，点对模型为基于像素坐标系和世界坐标系的点对差建立的映射关系；
S140，根据第一维度结合采集图像装置的内外参，确定目标对象的位置。
在本发明实施例中，确定采集图像中目标对象的第一检测框；根据第一检测框，通过点对模型计算获取目标对象在当前帧中的第一维度，其中，点对模型为基于像素坐标系和世界坐标系的点对差建立的映射关系；根据第一维度结合采集图像装置的内外参，确定目标对象的位置。通过上述步骤，实现了道路上目标对象相对于本车位置的实时检测，解决了现有技术中测距硬件成本高和位置检测精度低的技术问题。
下面结合上述各实施步骤进行详细说明。
S100，确定采集图像中目标对象的第一检测框；
具体的，本发明并不限制采集图像装置的位置，只需保证采集图像装置获取的采集图像包含车身前方和周边的图像。可选的，采集图像装置位于本车的前方。此外，通过目标检测获得包含目标对象的边界框，即为第一检测框，检测框中包含目标对象的像素尺寸，可基于映射关系恢复目标对象的在世界坐标系中的维度(几何参数和/或姿态参数)。本发明并不限制目标检测方法，例如Yolo，SSD和FCOS等。进一步的，第一检测框的数目由出现于采集图像中的目标对象的数目决定，故第一检测框的数目可为0，亦可以为多个。目标对象包括规则对象和不规则对象，具体包括但不限于为车辆、行人和交通指示，无论目标对象的种类为哪种，第一检测框均采用四边形框表示，规范化的表示为后续时序检测框进行修正提供了可能。
S120，根据第一检测框，通过点对模型计算获取目标对象在当前帧中的第一维度，其中，点对模型为基于像素坐标系和世界坐标系的点对差建立的映射关系；
根据物理投影规则，特定高度、宽度和朝向角的目标对象在离采集图像装置不同的距离下，投影在像素坐标系下的像素宽高不同，从而使得目标对象的位置和成像像素宽高呈现一定的相关性，故本申请首先根据第一检测框获取目标对象实际物理的维度。具体的，世界坐标系的原点为本车上的任意位置，优选的，为本车的正中位置。
在一种可选的实施例中，根据第一检测框，通过点对模型获取目标对象在当前帧中的第一维度，包括：基于第一检测框中至少两个端点之间的几何约束关系和图像坐标，通过点对模型，确定目标对象在采集图像中几何参数和/或姿态参数；上述几何参数和/或姿态参数组成第一维度。
在一种可选的实施例中，第一检测框中至少两个端点之间的几何约束关系为至少两个所述端点位于同一平面。
具体的，现有技术在恢复目标对象的维度时需依赖地平面或天际线作为参考面，故当存在地面不平等因素导致参考面选取产生误差时，会对第一维度的精度产生巨大的影响。本申请通过设计点对模型和结合目标对象满足的几何约束关系计算第一维度避免了选取参考面，在提高计算鲁棒性的同时保证了准确度。第一检测框为包含目标对象边界信息的四边形，目标对象和采集图像装置处于不同相对位置时，四边形的具体状态不同，当目标对象正对采集图像装置方时，四边形为矩形，当目标对象不正对采集图像装置，则四边形会呈现不规则的形态，如梯形或菱形等。根据第一检测框的至少两个端点位置，进一步结合几何约束关系，通过点对模型，恢复实际物理下目标对象的第一维度。此外，本申请中几何参数为目标对象在世界坐标系下的宽度和高度，姿态参数为目标对象在世界坐标下相对于采集装置的朝向角。
具体的，对第一检测框中包含的两个端点，其在像素坐标系和对应世界坐标系分别为：(u1，v1)，(u2，v2)和(x1，y1，z1)，(x1+Δx，y1+Δy，z1+Δz)，根据逆透视变换矩阵
Figure BDA0003859667730000081
代入两组端点坐标值后相减，可得到点对模型：
Figure BDA0003859667730000082
其中，A＝R*K-1，aij＝A[i][j]，T＝[T1 T2 T3]t，R为标定中的旋转矩阵，K为内参，T为平移矩阵。
图2是根据本发明实施例一种可选的的单目视觉定位的应用场景，以目标对象为前方车辆为例。以图2所示对目标对象的第一维度计算分别进行说明，采集图像包括第一检测框，目标对象为前方车辆。
宽度估计：
图中A，B点为第一检测框底边两个端点，在像素坐标系和对应世界坐标系中分别为：(u1，v1)，(u2，v2)和(x1，y1，z1)，(x1+Δx，y1+Δy，z1+Δz)。A，B端点满足的几何约束关系为位于同一前向平面，即满足：z＝Δz＝0；Δx＝0；v2＝v1+Δv，则满足几何约束关系的点对模型简化为：
Figure BDA0003859667730000091
令：
α1＝a20*u1+a21*v1+a22，α2＝a20*u2+a21*v1+a22
Figure BDA0003859667730000092
依据以上信息解得车辆实际宽度为：
Figure BDA0003859667730000093
高度估计：
图3是根据本发明实施例另一种可选的的单目视觉定位的应用场景，如图3所示，图中C，D点为第一检测框侧边两个端点，且C,D端点满足的几何约束关系为位于同一前向平面，即满足：z＝0；Δx＝Δy＝0；u2＝u2+Δu，类似于宽度测距，此时简化点对模型后，可求得车辆的实际高度为：
Figure BDA0003859667730000096
其中：
Figure BDA0003859667730000094
朝向估计：
利用标定的内外参，确定目标车辆在图像上每点的方向，在此时解得车辆的朝向角β为：
Figure BDA0003859667730000095
其中，各符号定义如下图4所示，图4是根据本发明实施例另一种可选的的单目视觉定位的应用场景，α为世界坐标系下互相垂直的网格线在图像上体现出的夹角，γ为目标车辆的车轮连线和网格线其中一边的最小夹角：
本申请避免了选取参考面，通过设计包含映射关系的点对模型，结合目标对象满足的几何约束关系计算第一维度，无论在平坦还是颠簸区域均可以准确计算第一维度，在提高计算鲁棒性的同时保证了准确度，从而保证后续位置的精确定位。
S140，根据第一维度结合采集图像装置的内外参，确定目标对象的位置；
在一种可选的实施例中，根据第一维度和内外参，通过面积测距关系确定目标对象的位置，其中，位置包括目标对象相对于采集图像装置的前向距离和横向距离，面积测距关系通过目标对象在像素坐标系和世界坐标系中的成像面积比确定。
依据S120中测得目标对象的第一维度，利用透视原理确定目标对象的位置。结合采集装置标定的内外参，以及相机成像原理，针对目标对象的任意点，其在世界坐标系上与像素坐标系下的关系，满足以下透视原理：
Figure BDA0003859667730000101
其中，β为车辆朝向相对于相机的旋转角度(朝向角)，fx,fy为相机的焦距，L为车辆车头/车尾经过β角旋转和相机坐标系平行后，平移到到相机坐标系原点所需的距离，zc为前向距离，xw为世界坐标系目标对象的横坐标，yw为世界坐标系目标对象的纵坐标，u为像素坐标系目标对象的横坐标，v为像素坐标系目标对象的纵坐标；
基于透视原理，对目标对象上的任意两组点对(u1，v1)
Figure BDA0003859667730000102
和(u2，v2)
Figure BDA0003859667730000103
存在以下关系：
Figure BDA0003859667730000104
Figure BDA0003859667730000105
由于第一检测框包括边界信息，故在不同坐标下，对位于检测框任意对角线上一组边界端点求差并相乘，可进一步确认目标对象的成像面积，图5是根据本发明实施例一种可选的成像面示意图，如图5所示，spixel为在像素坐标系下的成像面积，sregion为在世界坐标系下的成像面积，由于成像面积未必是规则的矩形，故则对成像面的上下两条边进行离散积分可得面积，公式如下：
spixel＝∑(ui-uj)*(vi-vj)
Figure BDA0003859667730000111
其中，如图5所示，(ui，vi)和(uj，vj)为像素坐标系下检测框中对边上端点之间任意两点的坐标，
Figure BDA0003859667730000112
和
Figure BDA0003859667730000113
为对应的世界坐标系下检测框中对边上端点之间任意两点的坐标。
通过面积测距关系，根据第一维度和内外参确定目标对象的前向距离zc，具体的，面积测距关系通过将目标对象在像素坐标系和世界坐标系中的成像面积求比获得，如下：
Figure BDA0003859667730000114
在获取前向距离后，即获得了目标对象的深度信息，通过逆透视变换公式，结合目标对象的像素坐标计算横向距离。目标对象相对于采集图像装置的前向距离和横向距离组成了目标对象的位置。优选的，目标对象的像素坐标为像素坐标系中检测框底边中心的坐标。
本发明通过单个摄像头采集图像，依据目标对象检测框包含的边界信息，通过点对模型结合端点几何约束关系确定目标对象的维度，并根据维度和采集装置的参数恢复目标对象的位置，降低了硬件成本，避免了参考平面的获取，实现了道路上目标对象相对于本车位置的实时检测，解决了现有技术中测距硬件成本高和位置检测精度低的技术问题。
目标对象检测框的准确度决定了维度估计的精度，从而影响了后续位置解析解的精度，故高精度的检测框是高精度位置估计的基础。然后在实际的应用场景中，由于存在硬件的限制和场景复杂等因素，导致图像质量低下，无法检测出目标对象的对应检测框。本申请结合同一目标对象之前的位置状态联合推定当前时刻的目标对象的位置，从而提升位置估计精度。
图6是根据本发明实施例的另一种可选的单目视觉定位方法流程图。如图6所述，该方法包括以下步骤：
S600，确定采集图像中目标对象的第一检测框；
S620，基于第一时序检测框序列对所述第一检测框进行异常检测及修正；其中，所述第一时序检测框序列包括采集图像前至少一帧图像对应的已修正的检测框。
S640，根据第一检测框，通过点对模型计算获取目标对象在当前帧中的第一维度，其中，点对模型为基于像素坐标系和世界坐标系的点对差建立的映射关系；
S660，根据第一维度结合采集图像装置的内外参，确定目标对象的位置。
上述步骤S600,S620和S660与图1中的步骤S100，S120和S140相同，具体可参见图1的相应描述，在此不再详细描述。
图6所描述的实施例与图1的不同之处在于，该单目视觉定位方法还包括步骤S640，基于第一时序检测框序列对第一检测框进行异常检测及修正；其中，所述第一时序检测框序列包括采集图像前至少一帧图像对应的已修正的检测框。
在一种可选的实施例中，基于第一时序检测框序列对第一检测框进行异常检测及修正，包括：通过第一一致性函数对第一检测框进行异常判断，其中，第一一致性函数通过第一时序检测框序列的时序属性拟合得到，以表示目标对象时间和属性之间的关系；若存在异常情况，基于所述第一一致性函数对所述第一检测框进行修正，得到修正后的第一检测框；将修正后的第一检测框更新至所述第一时序检测框序列；若不存在异常情况，将第一检测框更新至所述第一时序检测框序列。
正常情况下，同一目标对象在采集的图像时序序列中能检测出一系列的较高的一致性的时序检测框，一致性通过时序检测框的时序属性体现，且属性在对应时间区域内几乎无波动。实际应用中，当前帧的检测框可能会出现异常，导致当前检测框和历史检测框的一致性较差，此时需要给予历史信息对当前帧的检测框进行检测和修正。第一时序检测框序列由当前采集图像前至少一帧图像对应的已修正的检测框组成，包含高精度和高稳定性的历史信息。
在一种可选的实施例中，时序属性为第一时序检测框序列每帧检测框对应的宽高比。
具体的，现有技术依赖选取参考地平面，并把时序检测框高度或时序检测框宽度作为时序属性，故其对应的一致性函数将依赖初始化的精确度且容易受复杂场景引起较大波动的影响，例如道路崎岖，强光逆光，检测不稳定，遮挡和屏幕边缘截断等。本申请依据相机投影原理，即便检测框的宽度或者检测框的长度在时序出现较大浮动的波动，但目标对象的检测框在像素坐标上的成像的宽高比例也基本恒定为定值，即在第一时序检测框序列对应的时间区间内，每帧检测框对应的宽高比相似，本申请将其作为时序属性。
进一步的，通过时序属性拟合并表示目标对象时间和属性之间的关系的第一一致性函数。针对t时刻的采集图像，提取前t-1帧修正后的检测框，计算其在像素坐标系上的宽高比，获得时序宽高比(时序属性)
Figure BDA0003859667730000131
通过t-1个时序宽高比拟合关于时间的方程，即第一一致性函数。本申请并不限制第一一致性函数的形式，可为一次方程，二次方程和正弦函数等。以拟合一次方程
Figure BDA0003859667730000132
为例，其中，k和b为一次方程参数，拟合方案包括但不限于，加权最小二次方程或Hough变换拟合。
获得第一一致性函数后，首先通过第一一致性函数对第一检测框进行异常判断，本文不限制异常判断的具体方法，其本质为直线或曲线(第一一致性函数曲线)和点(第一检测框的宽高比)之间的距离判断，并通过阈值对距离进筛选判定最终结果，根据最终结果对第一检测框进行不同的处理。若存在异常情况，基于第一一致性函数对第一检测框进行修正，得到修正后的第一检测框；将修正后的第一检测框更新至第一时序检测框序列；若不存在异常情况，将第一检测框更新至第一时序检测框序列。通过历史信息对时序检测框筛选和更新保证了检测框序列之间高一致性和稳定性，从而为复杂场景低质量图像恢复检测框信息提供了可能，提高了单目定位的鲁棒性。
在一种可选的实施例中，基于第一一致性函数修正第一检测框，得到修正后的第一检测框，包括：获取第一检测框的第一属性，通过第一一致性函数获取第一检测框的第二属性；融合第一属性和第二属性，获得第一检测框的目标属性；结合目标属性、第一属性和第一阈值修正所述第一检测框，获得所述修正后的第一检测框。
本申请通过融合检测值和先验值从而实现对第一检测框属性的修正处理，多维度保证属性的准确。以第一一致性函数为一次方程
Figure BDA0003859667730000141
为例，由于第一一致性函数为宽高比关于时间的方程，可为当前帧的第一检测框提供先验信息
Figure BDA0003859667730000142
即第二属性，而提取第一检测框的第一属性
Figure BDA0003859667730000143
作为检测值，加权融合获得第一检测框的最终宽高比(目标属性)
Figure BDA0003859667730000144
权重τ由实际应用场景自适应调节，例如当车辆行驶在平坦地，第一属性的权重高，在崎岖路则第二属性的权重高。
为了进一步保证时序属性的高度一致性，本申请通过第一阈值限定属性的修正范围，进一步降低了时序属性的波动幅度，从而降低了检测噪音的干扰。添加第一阈值后计算目标属性和第一属性的差值：
Figure BDA0003859667730000145
此外，ρ为第一阈值，用于限定属性的修正范围，保证gap处于[-ρ，ρ]中，若gap超过修正范围，则取范围的端值，从而保证了目标对象检测框持续稳定地检测和跟踪。根据目标属性和第一属性的差值完成对第一检测框的修正，得到修正后的第一检测框，如下：
Figure BDA0003859667730000146
其中，width和height为第一检测框的宽度和高度，width*和height*为修正后的第一检测框的宽度和高度。
此外，时序检测框的对应的序列长度根据定位精度需求进行选择，并随着采集的推进不断更新时序检测框。时序检测框在初始阶段由于数据缺乏或极端场景无法拟合高精度一致性函数时，可补充目标对象的常规属性值进行时序信息的补充。由于目标对象的种类各异，即便同种类也细分多个子分类，例如，车辆也包括多种子分类：轿车，越野车，货车，卡车等。可选的，对采集图像首先通过识别方法确定具体分类，并根据分类结果提供对应分类的先验信息，使时序检测框尽快收敛至高精度状态。进一步的，本发明不限制识别算法，采用传统目标检测或深度学习检测方法。随着采集图像的输入和处理，从而通过检测值和历史先验值实现综合修正。
本申请通过历史信息保证了时序检测框序列之间高一致性和稳定性，即便是复杂场景下获取的低质量图像，如遮挡、处于边缘等，依旧可以保证获取到目标对象高精度的检测框。通过结合同一目标之前的位置状态联合推定当前时刻的目标对象的位置，在不增加硬件成本的同时提升位置估计的精度。
目标对象的第一检测框一定程度上决定了维度估计的精度，然而由于硬件标定参数存在误差等原因，基于第一检测框或修正后的第一检测框确定当前帧的第一维度依旧可能存在噪声，进而影响了后续位置解析解的精度，故保证第一维度的准确度是高精度位置估计的必要条件。同样，本申请结合同一目标对象之前的位置状态联合推定当前时刻的目标对象的位置，从而提升位置估计精度。
图7是根据本发明实施例的另一种可选的单目视觉定位方法流程图。如图7所述，该方法包括以下步骤：
S700，确定采集图像中目标对象的第一检测框；
S720，根据第一检测框，通过点对模型计算获取目标对象在当前帧中的第一维度，其中，点对模型为基于像素坐标系和世界坐标系的点对差建立的映射关系；
S740，基于所述第一时序维度序列对所述第一维度进行修正，获得修正后的第一维度，其中，所述第一时序维度序列包括所述采集图像前至少一帧图像对应的已修正的维度。
S760，根据第一维度结合采集图像装置的内外参，确定目标对象的位置。
上述步骤S700,S720和S760与图1中的步骤S100，S120和S140相同，具体可参见图1的相应描述，在此不再详细描述。
图7所描述的实施例与图1的不同之处在于，该单目视觉定位方法还包括步骤S740，基于第一时序维度序列对所述第一维度进行修正，获得修正后的第一维度，其中，第一时序维度序列包括采集图像前至少一帧图像对应的已修正的维度。
在一种可选的实施例中，基于第一时序维度序列对第一维度进行修正，获得修正后的第一维度，包括：通过第二一致性函数计算获得第二维度，其中第二一致性函数为通过第一时序维度序列的时序维度拟合得到，以表示目标对象时间和维度之间的关系；基于第二维度对第一维度进行修正，获得修正后的第一维度。
通常，同一目标对象通过时序检测框确定一系列较高一致性的时序维度，且维度在对应时间区域内几乎无波动。实际应用中，当前帧的第一维度可能会出现异常，导致第一维度和历史维度的一致性较差，此时需要给予历史信息对当前帧的第一维度进行检测和修正。第一时序维度序列包括采集图像前至少一帧图像对应的已修正的维度，包含具有高精度和高鲁棒性的历史信息。
进一步的，通过时序维度拟合并表示目标对象时间和维度之间的关系的第二一致性函数。由于维度包含几何参数和/或姿态参数，故需要对维度包含的各维度分别拟合对应的一致性函数。针对t时刻的采集图像，提取前t-1帧修正后的维度，获得时序维度。通过上述时序维度拟合关于时间的方程，即第二一致性函数。本申请并不限制第二一致性函数的形式，可为一次方程，二次方程和正弦函数等，且本申请也不限制方程的拟合方案，例如拟合一次方程的方案包括但不限于加权最小二次方程或Hough变换拟合。
以维度为目标对象的宽度m为例，对应时序宽度为mi(i＝1，2，3，…，t-1)，通过t-1个时序宽度拟合关于时间一次方程，可最终拟合一次方程为：mi＝k1*t+b1，其中，k1和b1为一次方程参数。
获得第二一致性函数以后，本申请通过融合检测值和先验值从而实现对第一维度的修正处理，多维度在保证维度的准确性。通过第二一致性函数估计先验信息(第二维度)
Figure BDA0003859667730000161
而基于当前帧的检测框恢复的第一维度
Figure BDA0003859667730000162
作为检测值。加权融合第一维度和第二维度实现对第一维度进行修正，获得修正后的第一维度mt，
Figure BDA0003859667730000163
其中，权重μ可实际应用场景自适应调节，例如当车辆行驶在平坦地，第一维度的权重高，在崎岖路则第二维度的权重高。
本申请不仅通过历史信息辅助修正第一维度，还引入运动学模型对维度进行滤波以克服不确定性扰动和传感器误差。从而在存在诸多不确定性情况的组合信息中估计动态系统的状态，本申请不限制滤波方案，例如可以基于运动学模型的卡尔曼滤波从而克服不确定性扰动和传感器检测误差。
在一种可选的实施例中，在步骤S720之前补充步骤S620，从而时序信息不仅帮助修正第一检测框，还辅助修正第一维度，进一步保证了准确的单目视觉定位。
本申请通过历史信息保证了时序维度序列之间高一致性和稳定性，即便通过第一检测框恢复的维度存在噪声，通过结合同一目标之前的维度状态联合推定当前时刻的目标对象的维度，在不增加硬件成本的同时可提升位置估计的精度。
在一种可选的实施例中，当采集图像装置的偏航角大于第二阈值时，结合二维路径搜索或面积测距关系修正确定目标对象的位置。具体的，偏航角为相机坐标系和世界坐标系之间的偏航角。
图8是根据本发明实施例一种可选的大偏航角的应用场景，当采集装置相对于本车具有较大偏航角时，即便同一个目标对象位于同一前向距离，将导致处于不同的横向距离时，其在像素坐标系下宽度和高度不一，进而影响宽高比r，具体的成像影响如下：
Figure BDA0003859667730000171
其中，L,h为像素成像的宽和高，如图8所示，α、β分别为车辆底边偏转的角度和车辆底边在世界坐标系中相对于采集装置的成像角度。此外，第二阈值根据应用需求设定。即便图像序列之间一致性高，检测框宽高比变化的波动范围仍较大，故需要更新单目测距方法，本申请提出两种测距方法克服上述问题：
测距方法一：
在一种可选的实施例中，结合二维路径搜索确定目标对象的位置，包括：基于二维路径，确定与第一检测框的底边中心最接近的第一候选框；根据第一候选框，通过逆透视变换确定所述目标对象的位置。
在一种可选的实施例中，获得二维路径包括：基于第一维度，根据多组预设横向距离和预设前向距离建立路径搜索二维表，其中，每组预设横向距离和预设前向距离对应一个候选成像框；基于全部预设横向距离，在所述路径搜索二维表中搜索出与第一检测框成像尺寸相同的全部候选成像框；基于全部候选成相框的成像位置，获得二维路径。
具体的，对于已知目标对象的宽度和高度，朝向角，依据相机的内外参，可知道目标对象在横向距离为x，前向距离为y的位置成像的宽度和高度分别为wxy和hxy，此时可以建立一张行列属性分别为预设横向距离和预设前向距离，关于成像高度和宽度的路径搜索二维表，每组预设横向距离和预设前向距离对应一个候选成像框。
在路径搜索二维表中，搜索出与第一检测框成像尺寸相同(检测框的高度和宽度相同)的全部候选成像框。首先，分别搜索每一行(同样的预设横向距离)与目标对象尺寸相同的成像框所处的位置，得到当前横向距离下的目标对象的前向距离，同时透过逆透视表换得到该距离在图像上的成像点，n行就有n个点；依据一系列估计点，拟合出搜索曲线(二维路径)为l＝f(p1,p2,...,pn)。基于估计的二维路径，通过目标对象第一检测框底边中点到二维路径的最近垂点，再基于逆透视变换矩阵得到当前目标对象的位置。预设横向距离和/或预设前向距离的间隔越小，估计点数目增加，二维路径的精度越高。通过先验信息和投影关系建立的路径搜索二维表，可以在克服偏航角大带来的波动影响，同时能快速确定目标对象的位置。
测距方法二：
在一种可选的实施例中，通过面积测距关系修正确定目标对象的位置，包括：根据第一维度、内外参和偏航角，通过面积测距关系修正确定所述前向距离；根据目标对象的前向距离，通过逆透视变换确定横向距离
由于偏航角太大主要影响成像在不同坐标下的面积投影关系，在图1所示面积测距关系基础上，依据镜头旋转角度为λ，则修正相机坐标系下的面积测量公式为：
Figure BDA0003859667730000181
详细步骤在S140中已阐述，在此不再赘述。本文明不限制镜头旋转角度的来源，可通过预设角度或标定获取。
本申请通过结合二维路径搜索或面积测距关系修正确定目标对象的位置，克服了镜头较大的偏航角带来的测量问题
由于实际生活中，由于夜晚等因素使得环境光较为昏暗，此时普通RGB摄像头在较为昏暗的场景下成像质量较差，此时可以使用红外摄像头拍摄对于目标对象进行捕捉，然后检测和定位方案同图1-图8包含实施例相同。
在实际应用中，可根据车外实际的光照强度和第三阈值(光照强度阈值)，自动地实现较为稳定的图像类型切换，并采用对应的模型进行定位估计。
在一种可选的实施例中，上述方法还包括：采集图像装置根据实际光照强度进行类型切换，包括：当实际光照强度小于或等于第三阈值，采集图像装置为红外摄像头；当实际光照强度大于第三阈值，则采集图像装置为普通摄像头
根据场景光照强度信息来判断当前摄像头类型，自动选择对应的模型，适应多种场景的应用。
该技术主要用于道路上车辆相对于本车位置的实时监测，通过监测前车运行轨迹，基于车辆整个过程中的时序状态信息，提取估计车辆的物理意义上的宽的和高度，再利用时序信息，抑制遮挡抖动等因素车辆像素宽度和高度的变换，结合三角测距原理，融合宽度和被高度测距信息，得到车辆相对于本车的位置，从而帮助驾驶员规避可能的交通事故的发生。
本申请主要用于道路上目标对象相对于本车位置的实时监测，通过监测目标对象运行轨迹，基于目标对象整个过程中的时序状态信息，提取估计目标对象的物理意义上的宽的和高度，再利用时序信息，抑制遮挡抖动等因素车辆像素宽度和高度的变换，结合三角测距原理，融合宽度和被高度测距信息，得到目标对象相对于本车的位置，同时针对镜头有较大的转向角的问题提出二维搜索和面积公式修正法，一定程度上克服了该问题，最后引入滤波对进行平滑，从而帮助驾驶员规避可能的交通事故的发生，解决了现有技术中测距硬件成本高和位置检测精度低的技术问题。
在本实施例中还提供了一种单目视觉定位装置实施例，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
参考图9，是根据本发明实施例一种可选的单目视觉定位装置的结构框图。如图9所示，单目视觉定位装置90包括：
检测模块920，用于确定采集图像中目标对象的第一检测框；
维度计算模块940，用于根据所述第一检测框，通过点对模型获取所述目标对象在当前帧中的第一维度，其中，所述点对模型为基于像素坐标系和世界坐标系的点对差建立的映射关系；
距离估计模块960，用于根据所述第一维度结合采集图像装置的内外参，确定所述目标对象的位置。
在本发明实施例中单目视觉定位装置，通过检测模块920确定采集图像中目标对象的第一检测框；通过维度计算模块940根据所述第一检测框，通过点对模型获取所述目标对象在当前帧中的第一维度；通过距离估计模块960，用于根据所述第一维度结合采集图像装置的内外参，确定所述目标对象的位置，从而实现了道路上目标对象相对于本车位置的实时检测，解决了现有技术中测距硬件成本高和位置检测精度低的技术问题。
在一种可选的实施例中，维度计算模块940，用于基于所述第一检测框中至少两个端点之间的几何约束关系和图像坐标，通过所述点对模型，确定所述目标对象在所述采集图像中几何参数和/或姿态参数；用于所述几何参数和/或姿态参数组成所述第一维度。
本申请避免了选取参考面，通过设计包含映射关系的点对模型，结合目标对象满足的几何约束关系计算第一维度，无论在平坦还是颠簸区域均可以准确计算第一维度，在提高计算鲁棒性的同时保证了准确度，从而保证后续位置的精确定位。
在一种可选的实施例中，距离估计模块960，用于根据所述第一维度和所述内外参，通过面积测距关系确定所述目标对象的位置，其中，所述位置包括所述目标对象相对于采集图像装置的前向距离和横向距离，所述面积测距关系通过所述目标对象在像素坐标系和世界坐标系中的成像面积比确定。
本发明通过单个摄像头采集图像，依据目标对象检测框包含的边界信息，通过点对模型结合端点几何约束关系确定目标对象的维度，并根据维度和采集装置的参数恢复目标对象的位置，降低了硬件成本，避免了参考平面的获取，实现了道路上目标对象相对于本车位置的实时检测，解决了现有技术中测距硬件成本高和位置检测精度低的技术问题。
在一种可选的实施例中，距离估计模块960，还用于当所述采集图像装置的偏航角大于第二阈值时，结合二维路径搜索或面积测距关系修正确定所述目标对象的位置。本申请通过结合二维路径搜索或面积测距关系修正确定目标对象的位置，克服了镜头较大的偏航角带来的测量问题
在一种可选的实施例中，所述单目视觉定位装置90还包括第一修正模块970，第一修正模块970通过基于第一时序检测框序列对所述第一检测框进行异常检测及修正；其中，所述第一时序检测框序列包括所述采集图像前至少一帧图像对应的已修正的检测框。
本申请通过历史信息保证了时序检测框序列之间高一致性和稳定性，即便是复杂场景下获取的低质量图像，如遮挡、处于边缘等，依旧可以保证获取到目标对象高精度的检测框。通过结合同一目标之前的位置状态联合推定当前时刻的目标对象的位置，在不增加硬件成本的同时提升位置估计的精度
在一种可选的实施例中，所述单目视觉定位装置90还包括第二修正模块980，第二修正模块980通过基于所述第一时序维度序列对所述第一维度进行修正，获得修正后的第一维度，其中，所述第一时序维度序列包括所述采集图像前至少一帧图像对应的已修正的维度。
本申请通过历史信息保证了时序维度序列之间高一致性和稳定性，即便通过第一检测框恢复的维度存在噪声，通过结合同一目标之前的维度状态联合推定当前时刻的目标对象的维度，在不增加硬件成本的同时可提升位置估计的精度。
根据本发明实施例的另一方面，还提供了一种电子设备，包括：处理器；以及存储器，用于存储处理器的可执行指令；其中，处理器配置为经由执行可执行指令来执行任意一项的单目视觉定位方法。
根据本发明实施例的另一方面，还提供了一种计算机可读存储介质，计算机可读存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行任意一项单目视觉定位方法。
本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

Claims (19)

1.一种单目视觉定位方法，所述方法包括：
确定采集图像中目标对象的第一检测框；
根据所述第一检测框，通过点对模型获取所述目标对象在当前帧中的第一维度，其中，所述点对模型为基于像素坐标系和世界坐标系的点对差建立的映射关系；
根据所述第一维度结合采集图像装置的内外参，确定所述目标对象的位置。
2.根据权利要求1所述的方法，其特征在于，根据所述第一检测框，通过点对模型获取所述目标对象在当前帧中的第一维度，包括：
基于所述第一检测框中至少两个端点之间的几何约束关系和图像坐标，通过所述点对模型，确定所述目标对象在所述采集图像中的几何参数和/或姿态参数；
所述几何参数和/或姿态参数组成所述第一维度。
3.根据权利要求2所述的方法，其特征在于，所述第一检测框中至少两个端点之间的几何约束关系为至少两个所述端点位于同一平面。
4.根据权利要求1所述的方法，其特征在于，所述根据所述第一维度结合采集图像装置的内外参，确定所述目标对象的位置，包括：
根据所述第一维度和所述内外参，通过面积测距关系确定所述目标对象的位置，其中，所述位置包括所述目标对象相对于所述采集图像装置的前向距离和横向距离，所述面积测距关系通过所述目标对象在所述像素坐标系和所述世界坐标系中的成像面积比确定。
5.根据权利要求1所述的方法，其特征在于，所述根据所述第一检测框，通过点对模型获取所述目标对象在当前帧中的第一维度之前，还包括：
基于第一时序检测框序列对所述第一检测框进行异常检测及修正；
其中，所述第一时序检测框序列包括所述采集图像前至少一帧图像对应的已修正的检测框。
6.根据权利要求5所述的方法，其特征在于，所述基于第一时序检测框序列对所述第一检测框进行异常检测及修正，包括：
通过第一一致性函数对所述第一检测框进行异常判断，其中，所述第一一致性函数通过所述第一时序检测框序列的时序属性拟合得到，以表示所述目标对象时间和属性之间的关系；
若存在异常情况，基于所述第一一致性函数对所述第一检测框进行修正，得到修正后的第一检测框；将所述修正后的第一检测框更新至所述第一时序检测框序列；
若不存在异常情况，将所述第一检测框更新至所述第一时序检测框序列。
7.根据权利要求6所述的方法，其特征在于，所述时序属性为所述第一时序检测框序列中每帧检测框对应的宽高比。
8.根据权利要求6所述的方法，其特征在于，所述基于所述第一一致性函数修正所述第一检测框，得到修正后的第一检测框，包括：
获取所述第一检测框的第一属性，通过所述第一一致性函数获取所述第一检测框的第二属性；
融合所述第一属性和所述第二属性，获得所述第一检测框的目标属性；
结合所述目标属性、所述第一属性和第一阈值修正所述第一检测框，获得所述修正后的第一检测框。
9.根据权利要求1所述的方法，其特征在于，所述根据所述第一维度结合采集图像装置的内外参，确定所述目标对象的位置之前，所述方法包括：
基于第一时序维度序列对所述第一维度进行修正，获得修正后的第一维度，其中，所述第一时序维度序列包括所述采集图像前至少一帧图像对应的已修正的维度。
10.根据权利要求9所述的方法，其特征在于，所述基于所述第一时序维度序列对所述第一维度进行修正，获得修正后的第一维度，包括：
通过第二一致性函数计算获得第二维度，其中所述第二一致性函数为通过所述第一时序维度序列的时序维度拟合得到，以表示所述目标对象时间和维度之间的关系；
基于所述第二维度对所述第一维度进行修正，获得所述修正后的第一维度。
11.根据权利要求4所述的方法，其特征在于，所述根据所述第一维度和所述内外参，通过面积测距关系确定所述目标对象的位置，还包括：
根据所述第一维度和所述内外参，通过所述面积测距关系确定所述前向距离；
根据所述前向距离，通过逆透视变换确定所述横向距离。
12.根据权利要求4所述的方法，其特征在于，当所述采集图像装置的偏航角大于第二阈值时，结合二维路径搜索或面积测距关系修正确定所述目标对象的位置。
13.根据权利要求12所述的方法，其特征在于，所述结合所述二维路径搜索确定所述目标对象的位置，包括：
基于所述二维路径，确定与所述第一检测框的底边中心最接近的第一候选框；
根据所述第一候选框，通过逆透视变换确定所述目标对象的位置。
14.根据权利要求12所述的方法，其特征在于，获得所述二维路径包括：
基于所述第一维度，根据多组预设横向距离和预设前向距离建立路径搜索二维表，其中，每组预设横向距离和预设前向距离对应一个候选成像框；
基于全部预设横向距离，在所述路径搜索二维表中搜索出与所述第一检测框成像尺寸相同的全部候选成像框；
基于所述全部候选成相框的成像位置，获得所述二维路径。
15.根据权利要求12所述的方法，其特征在于，所述通过所述面积测距关系修正确定所述目标对象的位置，包括：
根据所述第一维度、所述内外参和所述偏航角，通过所述面积测距关系修正确定所述前向距离；
根据所述前向距离，通过逆透视变换确定所述横向距离。
16.根据权利要求1所述的方法，其特征在于，所述方法还包括：
所述采集图像装置根据实际光照强度进行类型切换，包括：
当所述实际光照强度小于或等于第三阈值时，所述采集图像装置为红外摄像头；
当所述实际光照强度大于所述第三阈值时，则所述采集图像装置为普通摄像头。
17.一种单目视觉定位装置，其特征在于，包括，
检测模块，用于确定采集图像中目标对象的第一检测框；
维度计算模块，用于根据所述第一检测框，通过点对模型获取所述目标对象在当前帧中的第一维度，其中，所述点对模型为基于像素坐标系和世界坐标系的点对差建立的映射关系；
距离估计模块，用于根据所述第一维度结合采集图像装置的内外参，确定所述目标对象的位置。
18.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1至16中任一项所述的方法。
19.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至16中任意一项所述的单目视觉定位方法。
CN202211170253.4A 2022-09-22 2022-09-22 一种单目视觉定位方法、装置、存储介质和电子设备 Pending CN115578470A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211170253.4A CN115578470A (zh) 2022-09-22 2022-09-22 一种单目视觉定位方法、装置、存储介质和电子设备
PCT/CN2023/118614 WO2024061079A1 (zh) 2022-09-22 2023-09-13 单目视觉定位方法、装置、存储介质和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211170253.4A CN115578470A (zh) 2022-09-22 2022-09-22 一种单目视觉定位方法、装置、存储介质和电子设备

Publications (1)

Publication Number Publication Date
CN115578470A true CN115578470A (zh) 2023-01-06

Family

ID=84581981

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211170253.4A Pending CN115578470A (zh) 2022-09-22 2022-09-22 一种单目视觉定位方法、装置、存储介质和电子设备

Country Status (2)

Country Link
CN (1) CN115578470A (zh)
WO (1) WO2024061079A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115713736A (zh) * 2023-01-10 2023-02-24 四川大学 一种基于仿射变换的全天候车牌单目测距方法及装置
CN117315035A (zh) * 2023-11-30 2023-12-29 武汉未来幻影科技有限公司 一种车辆朝向的处理方法、装置以及处理设备
WO2024061079A1 (zh) * 2022-09-22 2024-03-28 虹软科技股份有限公司 单目视觉定位方法、装置、存储介质和电子设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190347808A1 (en) * 2018-05-09 2019-11-14 Ford Global Technologies, Llc Monocular Visual Odometry: Speed And Yaw Rate Of Vehicle From Rear-View Camera
CN110619662A (zh) * 2019-05-23 2019-12-27 深圳大学 一种基于单目视觉的多行人目标空间连续定位方法及系统
CN111780716A (zh) * 2020-07-03 2020-10-16 杭州电子科技大学 一种基于目标像素面积和宽高比的单目实时测距方法
CN112001208A (zh) * 2019-05-27 2020-11-27 虹软科技股份有限公司 用于车辆盲区的目标检测方法、装置和电子设备
CN113763484A (zh) * 2021-09-17 2021-12-07 交通运输部水运科学研究所 基于视频图像分析技术的船舶目标定位及速度估算方法
CN113819890A (zh) * 2021-06-04 2021-12-21 腾讯科技（深圳）有限公司 测距方法、装置、电子设备及存储介质
KR20220004607A (ko) * 2020-12-25 2022-01-11 아폴로 인텔리전트 커넥티비티 (베이징) 테크놀로지 씨오., 엘티디. 목표 검출방법, 전자장치, 노변장치와 클라우드 컨트롤 플랫폼
CN114419143A (zh) * 2022-01-18 2022-04-29 浙江吉利控股集团有限公司 深度测量方法、深度测量设备及存储介质
CN114413958A (zh) * 2021-12-28 2022-04-29 浙江大学 无人物流车的单目视觉测距测速方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021148730A (ja) * 2020-03-23 2021-09-27 パナソニックＩｐマネジメント株式会社 位置推定方法、位置推定装置、及び、プログラム
CN113920183A (zh) * 2021-10-22 2022-01-11 安徽江淮汽车集团股份有限公司 基于单目视觉的车前障碍物测距方法
CN114119749A (zh) * 2021-11-24 2022-03-01 同济大学 一种基于密集关联的单目3d车辆检测方法
CN114581522A (zh) * 2022-03-03 2022-06-03 电子科技大学长三角研究院(衢州) 一种支撑点搜索的单目视觉室内定位方法
CN115035188A (zh) * 2022-05-25 2022-09-09 深圳市优必选科技股份有限公司 一种基于目标的距离测量方法、装置及终端设备
CN115578470A (zh) * 2022-09-22 2023-01-06 虹软科技股份有限公司 一种单目视觉定位方法、装置、存储介质和电子设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190347808A1 (en) * 2018-05-09 2019-11-14 Ford Global Technologies, Llc Monocular Visual Odometry: Speed And Yaw Rate Of Vehicle From Rear-View Camera
CN110619662A (zh) * 2019-05-23 2019-12-27 深圳大学 一种基于单目视觉的多行人目标空间连续定位方法及系统
CN112001208A (zh) * 2019-05-27 2020-11-27 虹软科技股份有限公司 用于车辆盲区的目标检测方法、装置和电子设备
CN111780716A (zh) * 2020-07-03 2020-10-16 杭州电子科技大学 一种基于目标像素面积和宽高比的单目实时测距方法
KR20220004607A (ko) * 2020-12-25 2022-01-11 아폴로 인텔리전트 커넥티비티 (베이징) 테크놀로지 씨오., 엘티디. 목표 검출방법, 전자장치, 노변장치와 클라우드 컨트롤 플랫폼
CN113819890A (zh) * 2021-06-04 2021-12-21 腾讯科技（深圳）有限公司 测距方法、装置、电子设备及存储介质
CN113763484A (zh) * 2021-09-17 2021-12-07 交通运输部水运科学研究所 基于视频图像分析技术的船舶目标定位及速度估算方法
CN114413958A (zh) * 2021-12-28 2022-04-29 浙江大学 无人物流车的单目视觉测距测速方法
CN114419143A (zh) * 2022-01-18 2022-04-29 浙江吉利控股集团有限公司 深度测量方法、深度测量设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
XINZHU MA, ET AL.: "Delving into Localization Errors for Monocular 3D Object Detection", PROCEEDINGS OF THE IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), 31 December 2021 (2021-12-31), pages 4721 - 4730 *
王永森;刘宏哲;: "基于单目视觉的车辆下边沿估计和逆透视变换的车距测量", 计算机工程与科学, no. 07, 15 July 2020 (2020-07-15), pages 97 - 106 *
邹斌;袁宇翔;: "面向智能交通的单目视觉测距方法研究", 交通运输系统工程与信息, no. 04, 15 August 2018 (2018-08-15), pages 50 - 57 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024061079A1 (zh) * 2022-09-22 2024-03-28 虹软科技股份有限公司 单目视觉定位方法、装置、存储介质和电子设备
CN115713736A (zh) * 2023-01-10 2023-02-24 四川大学 一种基于仿射变换的全天候车牌单目测距方法及装置
CN117315035A (zh) * 2023-11-30 2023-12-29 武汉未来幻影科技有限公司 一种车辆朝向的处理方法、装置以及处理设备
CN117315035B (zh) * 2023-11-30 2024-03-22 武汉未来幻影科技有限公司 一种车辆朝向的处理方法、装置以及处理设备

Also Published As

Publication number Publication date
WO2024061079A1 (zh) 2024-03-28

Similar Documents

Publication Publication Date Title
US11348266B2 (en) Estimating distance to an object using a sequence of images recorded by a monocular camera
US11050933B2 (en) Device and method for determining a center of a trailer tow coupler
CN110930459B (zh) 灭点提取方法、相机标定方法以及存储介质
CN115578470A (zh) 一种单目视觉定位方法、装置、存储介质和电子设备
US9846812B2 (en) Image recognition system for a vehicle and corresponding method
US11393126B2 (en) Method and apparatus for calibrating the extrinsic parameter of an image sensor
JP4919036B2 (ja) 移動物体認識装置
US8259174B2 (en) Camera auto-calibration by horizon estimation
US20200349366A1 (en) Onboard environment recognition device
US9862318B2 (en) Method to determine distance of an object from an automated vehicle with a monocular device
US11151729B2 (en) Mobile entity position estimation device and position estimation method
JP6458651B2 (ja) 路面標示検出装置及び路面標示検出方法
US20200285913A1 (en) Method for training and using a neural network to detect ego part position
US11341681B2 (en) Method for calibrating the position and orientation of a camera relative to a calibration pattern
US10991105B2 (en) Image processing device
CN112017249A (zh) 车载摄像头滚转角获取、安装角度校正方法及设备
CN115187941A (zh) 目标检测定位方法、系统、设备及存储介质
Michalke et al. Towards a closer fusion of active and passive safety: Optical flow-based detection of vehicle side collisions
CN109815812B (zh) 一种基于水平边缘信息累积的车辆下底边定位方法
US20180060671A1 (en) Image processing device, imaging device, equipment control system, equipment, image processing method, and recording medium storing program
CN114415200A (zh) 车辆定位方法、装置、电子设备及计算机可读存储介质
WO2020036039A1 (ja) ステレオカメラ装置
CN112020722A (zh) 基于三维传感器数据识别路肩
KR101949349B1 (ko) 어라운드 뷰 모니터링 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination