CN113188509B - 一种测距方法、装置、电子设备及存储介质 - Google Patents
一种测距方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113188509B CN113188509B CN202110468630.1A CN202110468630A CN113188509B CN 113188509 B CN113188509 B CN 113188509B CN 202110468630 A CN202110468630 A CN 202110468630A CN 113188509 B CN113188509 B CN 113188509B
- Authority
- CN
- China
- Prior art keywords
- frame
- distance information
- historical
- road surface
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000691 measurement method Methods 0.000 title description 2
- 230000008859 change Effects 0.000 claims abstract description 90
- 238000000034 method Methods 0.000 claims abstract description 73
- 238000001514 detection method Methods 0.000 claims description 59
- 238000004590 computer program Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 229910000831 Steel Inorganic materials 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Abstract
本公开提供了一种测距方法、装置、电子设备及存储介质,其中,该测距方法包括:获取目标装置上的采集设备采集的当前帧路面图像;基于当前帧路面图像,确定目标装置与当前帧路面图像中的目标对象的待调整距离信息;基于目标对象在采集设备采集的多帧历史帧路面图像中相邻两帧路面图像中的尺度之间的尺度变化信息、以及多帧历史帧路面图像中每帧历史帧路面图像中的目标对象与目标装置之间的历史第一距离信息,对待调整距离信息进行调整,得到目标装置与目标对象之间的当前第一距离信息。
Description
技术领域
本公开涉及图像处理技术领域,具体而言,涉及一种测距方法、装置、电子设备及存储介质。
背景技术
随着人工智能技术的迅速发展,传统工业与信息技术结合,为人们的生活带来便利,比如将汽车行业与信息技术结合,可以产生能够自动驾驶的智能汽车,智能汽车在自动驾驶过程中,测距是非常重要的环节。
在智能汽车辅助驾驶所采用的测距传感器中,视觉传感器能够获得较丰富的道路结构环境信息,价格也较为低廉,在视觉测距中,单目视觉测距技术相对于多目视觉测距技术具有成本低廉、系统安装简单、稳定性好等特点,因而被广泛采用。
发明内容
本公开实施例至少提供一种测距方案。
第一方面,本公开实施例提供了一种测距方法,包括:
获取目标装置上的采集设备采集的当前帧路面图像;
基于所述当前帧路面图像,确定所述目标装置与所述当前帧路面图像中的目标对象的待调整距离信息;
基于所述目标对象在所述采集设备采集的多帧历史帧路面图像中相邻两帧路面图像中的尺度之间的尺度变化信息、以及所述多帧历史帧路面图像中每帧历史帧路面图像中的所述目标对象与所述目标装置之间的历史第一距离信息,对所述待调整距离信息进行调整,得到所述目标装置与所述目标对象之间的当前第一距离信息。
在一种可能的实施方式中,所述对所述待调整距离信息进行调整,得到所述目标装置与所述目标对象之间的当前第一距离信息,包括:
对所述待调整距离信息进行调整,直至所述尺度变化信息的误差量最小,得到调整后的距离信息;其中,所述误差量基于所述待调整距离信息、所述尺度变化信息以及所述多帧历史帧路面图像中每帧历史帧路面图像对应的历史第一距离信息确定;
基于所述调整后的距离信息,确定所述当前第一距离信息。
本公开实施例中,通过对目标对象在当前帧路面图像和与当前帧路面图像相邻的历史帧路面图像中的尺度之间的尺度变化信息进行不断优化,可以降低获取到的目标对象在当前帧路面图像和与当前帧路面图像相邻的历史帧路面图像中的尺度之间的尺度变化信息的误差,从而提高调整后的距离信息的稳定性。
在一种可能的实施方式中,所述基于所述调整后的距离信息,确定所述当前第一距离信息之前,所述测距方法还包括:
对所述当前帧路面图像进行目标检测,确定所述当前帧路面图像中包含的所述目标对象的检测框的位置信息;
基于所述检测框的位置信息、以及所述采集设备的标定参数,确定当前第二距离信息;
所述基于所述调整后的距离信息,确定所述当前第一距离信息,包括:
基于所述当前第二距离信息、所述多帧历史帧路面图像中的每帧历史帧路面图像中所述目标对象与所述目标装置之间的历史第二距离信息、该帧历史帧路面图像对应的所述历史第一距离信息以及所述调整后的距离信息,确定针对所述调整后的距离信息的距离偏置信息;
基于所述距离偏置信息对所述调整后的距离信息进行调整,得到所述当前第一距离信息。
本公开实施例中,在得到距离偏置信息后,可以对调整后的距离信息进行进一步调整,从而得到目标装置和目标对象在当前准确度较高的距离信息。
在一种可能的实施方式中,所述基于所述当前第二距离信息、所述多帧历史帧路面图像中的每帧历史帧路面图像中所述目标对象与所述目标装置之间的历史第二距离信息、该帧历史帧路面图像对应的所述历史第一距离信息以及所述调整后的距离信息,确定针对所述调整后的距离信息的距离偏置信息,包括:
基于所述当前第二距离信息以及所述多帧历史帧路面图像中的每帧历史帧路面图像对应的所述历史第二距离信息,确定由所述多帧历史帧路面图像中的每帧历史帧路面图像对应的所述历史第二距离信息和所述当前第二距离信息拟合成的第一拟合曲线的第一线性拟合系数;
基于所述多帧历史帧路面图像中的每帧历史帧路面图像对应的所述历史第一距离信息以及所述调整后的距离信息,确定由所述多帧历史帧路面图像中的每帧历史帧路面图像对应的所述历史第一距离信息和所述调整后的距离信息拟合成的第二拟合曲线的第二线性拟合系数;
基于所述第一线性拟合系数和所述第二线性拟合系数,确定针对所述调整后的距离信息的距离偏置信息。
在一种可能的实施方式中,所述基于所述检测框的位置信息、以及所述采集设备的标定参数,确定所述当前第二距离信息,包括:
基于所述检测框的位置信息,获取所述检测框中设定角点的像素坐标值;
基于所述设定角点的像素坐标值、所述采集设备的标定参数以及在确定所述采集设备的标定参数时使用的车道线消失点的像素坐标值,确定所述当前第二距离信息。
在一种可能的实施方式中,所述采集设备的标定参数包括所述采集设备相对于地面的第一高度值以及所述采集设备的焦距;
所述基于所述设定角点的像素坐标值、所述采集设备的标定参数以及在确定所述采集设备的标定参数时使用的车道线消失点的像素坐标值,确定所述当前第二距离信息,包括:
基于所述车道线消失点的像素坐标值以及所述检测框中设定角点的像素坐标值,确定所述采集设备相对于地面的第一像素高度值;
基于所述设定角点的像素坐标值,确定所述当前帧路面图像中的所述目标对象相对于地面的第二像素高度值;
基于所述第一像素高度值、所述第二像素高度值以及所述第一高度值,确定所述目标对象相对于地面的第二高度值;
基于所述第二高度值、所述采集设备的焦距以及所述第二像素高度值,确定所述当前第二距离信息。
本公开实施例中,在能够检测出当前帧路面图像中的目标对象的完整检测框的情况下,可以通过引入车道线消失点的像素坐标值、采集设备的标定参数快速准确的得到目标对象的实际高度值,进一步可以快速准确地确定出目标装置与目标对象的当前第二距离信息。
在一种可能的实施方式中,所述基于所述当前帧路面图像,确定所述目标装置与所述当前帧路面图像中的目标对象的待调整距离信息,包括:
获取所述目标对象在所述当前帧路面图像中的尺度和在与所述当前帧路面图像相邻的历史帧路面图像中的尺度之间的尺度变化信息;
基于所述尺度变化信息、以及与所述当前帧路面图像相邻的历史帧路面图像对应的所述历史第一距离信息,确定所述待调整距离信息。
本公开实施例中,通过与当前帧路面图像相邻的历史帧路面图像对应的准确度较高的历史第一距离信息,以及所述目标对象在当前帧路面图像和与当前帧路面图像相邻的历史帧路面图像中的尺度之间的尺度变化信息,可以较为准确的得到待调整距离信息,以便在后期基于该待调整距离信息确定当前第一距离信息时,能够提高调整速度。
在一种可能的实施方式中,按照以下方式确定所述目标对象在相邻两帧路面图像中的尺度之间的尺度变化信息:
分别提取所述目标对象包含的多个特征点在所述相邻两帧路面图像中前一帧路面图像中的第一位置信息,以及在后一帧路面图像中的第二位置信息;
基于所述第一位置信息和所述第二位置信息,确定所述目标对象在相邻两帧路面图像中的尺度之间的尺度变化信息。
在一种可能的实施方式中,所述基于所述第一位置信息和所述第二位置信息,确定所述目标对象在相邻两帧路面图像中的尺度之间的尺度变化信息,包括:
基于所述第一位置信息,确定所述目标对象包含的多个特征点所构成的目标线段在所述前一帧路面图像中的第一尺度值;
基于所述第二位置信息,确定所述目标线段在所述后一帧路面图像中的第二尺度值;
基于所述第一尺度值和所述第二尺度值,确定所述目标对象在相邻两帧路面图像中的尺度之间的尺度变化信息。
本公开实施例中,通过提取目标对象包含的多个特征点在路面图像中的位置信息,可以更加准确的表示目标对象在路面图像中位置信息,从而得到更加准确的尺度变化信息,便于在基于该尺度变化信息调整待调整距离信息时,能够得到更加准确的当前第一距离信息。
第二方面,本公开实施例提供了一种测距装置,包括:
获取模块,用于获取目标装置上的采集设备采集的当前帧路面图像;
确定模块,用于基于所述当前帧路面图像,确定所述目标装置与所述当前帧路面图像中的目标对象的待调整距离信息;
调整模块,用于基于所述目标对象在所述采集设备采集的多帧历史帧路面图像中相邻两帧路面图像中的尺度之间的尺度变化信息、以及所述多帧历史帧路面图像中每帧历史帧路面图像中的所述目标对象与所述目标装置之间的历史第一距离信息,对所述待调整距离信息进行调整,得到所述目标装置与所述目标对象之间的当前第一距离信息。
第三方面,本公开实施例提供了一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如第一方面所述的测距方法的步骤。
第四方面,本公开实施例提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如第一方面所述的测距方法的步骤。
为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种测距方法的流程图;
图2示出了本公开实施例所提供的一种确定尺度变化信息的方法流程图;
图3示出了本公开实施例所提供的一种确定待调整距离信息的方法流程图;
图4示出了本公开实施例所提供的一种确定当前第一距离信息的方法流程图;
图5示出了本公开实施例所提供的一种确定当前第二距离信息的方法流程图;
图6示出了本公开实施例所提供的一种目标装置、采集设备和目标对象之间的位置关系示意图;
图7示出了本公开实施例所提供的一种目标对象的检测框的示意图;
图8示出了本公开实施例所提供的一种确定当前第二距离信息的原理示意图;
图9示出了本公开实施例所提供的一种确定当前第二距离信息的场景示意图;
图10示出了本公开实施例所提供的一种测距装置的结构示意图;
图11示出了本公开实施例所提供的一种电子设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
本文中术语“和/或”,仅仅是描述一种关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括A、B、C中的至少一种,可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
在使用单目相机测量针对目标对象的距离的过程中,可以通过检测出的单目相机拍摄的路面图像中目标对象的检测框,确定目标对象与智能汽车之间的距离,但是在智能汽车行驶过程中,随着行驶路况的变化,可能会存在道路颠簸或者障碍物遮挡等问题,这种情况下在基于当前帧路面图像中目标对应的检测框进行测距时,可能无法检测出与目标物之间的准确距离,比如采集设备因路面颠簸,采集到路面图像中的检测框的尺寸不稳定,因此在基于检测框持续检测与目标对象之间的距离时,得到的目标装置与目标对象之间的距离在时序上的稳定性不高。
基于上述研究,本公开提供了一种测距方法,
可以根据基于目标对象在多帧历史帧路面图像中相邻两帧路面图像中的尺度之间的尺度变化信息、以及历史过程中已经调整得到的目标装置与目标对象之间的历史第一距离信息,对基于当前路面图像获取的待调整距离信息进行调整,这样可以使得相邻两帧路面图像中的同一目标对象与目标装置之间的距离变化较为平稳,能够真实反应目标装置在行驶过程中与目标对象之间的实际距离变化情况,可以提高预测得到的目标装置与目标对象之间的距离在时序的稳定性。
另外,由于目标对象在相邻两帧路面图像中的尺度之间的尺度变化信息同样可以反应目标装置与目标对象之间的距离变化,因此在基于目标对象在采集设备采集的多帧历史帧路面图像中相邻两帧路面图像中的尺度之间的尺度变化信息、以及多帧历史帧路面图像中每帧历史帧路面图像中的同一目标对象与所述目标装置之间的历史第一距离信息对待调整距离信息进行调整后,可以得到较为准确的当前第一距离信息。为便于对本实施例进行理解,首先对本公开实施例所公开的一种测距方法进行详细介绍,本公开实施例所提供的测距方法的执行主体一般为具有一定计算能力的计算机设备,该计算机设备例如包括:终端设备或服务器或其它处理设备,终端设备可以为计算设备、车载设备等。在一些可能的实现方式中,该测距方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
参见图1所示,为本公开实施例提供的测距方法的流程图,该测距方法包括以下S101~S103:
S101,获取目标装置上的采集设备采集的当前帧路面图像。
示例性地,目标装置可以包含车辆、机器人等可以移动的装置,本公开实施例以车辆为例进行阐述。
示例性地,采集设备可以为设置于目标车辆上的单目相机,用于在目标车辆行驶过程中进行拍摄,其拍摄的方向可以预先设定好,基于拍摄得到的当前帧路面图像,可以检测周围是否存在目标对象,以及目标对象与目标车辆之间的距离。
S102,基于当前帧路面图像,确定目标装置与当前帧路面图像中的目标对象的待调整距离信息。
示例性性地,目标对象可以包括但不限于车辆、行人、固定障碍物等,本公开是实施例以目标对象为车辆为例进行介绍。
示例性地,本公开实施例提供的当前帧路面图像均为非首次检测到目标对象的路面图像,如果当前帧路面图像是首次检测到目标对象的路面图像,可以直接基于目标对象在当前帧路面图像中的位置信息,以及上述标定过程中得到的采集设备的参数信息以及消失点的像素坐标值确定与目标对象之间的当前第二距离信息,可以将当前第二距离信息直接作为当前第一距离信息,具体确定当前第二距离信息的过程详见后文介绍。
示例性地,在当前帧路面图像为非首次采集到目标对象的情况下,当前帧路面图像对应的当前第一距离信息,或者每帧历史帧路面图像对应的历史第一距离信息均表示经过调整后得到的距离信息。
示例性地,这里在基于当前帧路面图像,确定目标装置与目标对象的待调整距离信息时,可以基于与当前帧路面图像相邻的历史帧路面图像对应的历史第一距离信息、以及当前帧路面图像和与当前帧路面图像相邻的历史帧路面图像中的尺度之间的尺度变化信息来确定,后续再对该待调整距离信息进行调整。
S103,基于目标对象在采集设备采集的多帧历史帧路面图像中相邻两帧路面图像中的尺度之间的尺度变化信息、以及多帧历史帧路面图像中每帧历史帧路面图像中的目标对象与目标装置之间的历史第一距离信息,对待调整距离信息进行调整,得到目标装置与目标对象之间的当前第一距离信息。
示例性地,目标对象在采集设备采集的多帧历史帧路面图像中相邻两帧路面图像(比如包括路面图像i和路面图像j)中的尺度变化信息包括目标对象在后一帧路面图像j中的尺度与目标对象在前一帧路面图像i中的尺度的比值,具体确定过程将在后文进行阐述。
示例性地,本公开实施例确定每帧历史帧路面图像对应的目标装置与目标对象之间的历史第一距离信息的方式与确定目标装置与目标对象之间的当前第一距离信息的方式相同,因此本公开实施例将不再对确定历史第一距离信息的过程进行赘述。
本公开实施例中,可以根据基于目标对象在多帧历史帧路面图像中相邻两帧路面图像中的尺度变化信息、以及历史过程中已经调整得到的目标装置与目标对象之间的历史第一距离信息,对基于当前路面图像获取的待调整距离信息进行调整,这样可以使得相邻两帧路面图像对应目标装置与目标对象之间的距离变化较为平稳,能够真实反应目标装置在行驶过程中与目标对象之间的实际距离变化情况,可以提高预测得到的目标装置与目标对象之间的距离在时序的稳定性。
另外,目标对象在相邻两帧路面图像中的尺度变化信息同样可以反应目标装置与目标对象之间的距离变化,多帧历史帧路面图像中每帧历史帧路面图像对应目标装置与目标对象之间的历史第一距离信息为经过调整得到的较为准确的距离信息,因此在基于目标对象在采集设备采集的多帧历史帧路面图像中相邻两帧路面图像中的尺度变化信息、以及多帧历史帧路面图像中每帧历史帧路面图像对应的所述目标装置与目标对象之间的历史第一距离信息对待调整距离信息进行调整后,可以得到较为准确的当前第一距离信息。
下面将结合具体实施例对上述S101~S103进行阐述。
首先针对上述提到的尺度变化信息,如图2所示,可以按照以下方式确定目标对象在相邻两帧路面图像中的尺度之间的尺度变化信息,包括以下S201~S202:
S201,分别提取目标对象包含的多个特征点在相邻两帧路面图像中前一帧路面图像中的第一位置信息,以及在后一帧路面图像中的第二位置信息。
示例性地,可以基于预先训练的目标检测模型对路面图像进行目标检测,得到用于表示目标对象在路面图像中的位置的检测框,然后可以在检测框内提取构成目标对象的多个特征点,这些特征点是指可以是目标对象中像素变化比较剧烈的点,比如拐点、角点等。
S202,基于第一位置信息和第二位置信息,确定目标对象在相邻两帧路面图像中的尺度之间的尺度变化信息。
示例性地,多个特征点中的任意两个特征点在同一帧路面图像中的连线可以构成线段,这样由任意两个特征点在前一帧路面图像中的第一位置信息,可以得到任意两个特征点构成的线段在前一帧路面图像中的尺度,同样,由任意两个特征点在后一帧路面图像中的第二位置信息,可以得到任意两个特征点构成的线段在后一帧路面图像中的尺度,按照该方式可以得到目标对象上的多条线段分别在前一帧路面图像中的尺度,以及分别在后一帧路面图像中的尺度。
进一步,可以根据多条线段分别在前一帧路面图像中的尺度,以及分别在后一帧路面图像中的尺度,确定目标对象在相邻两帧路面图像中的尺度变化信息。
具体地,针对S202,在基于第一位置信息和第二位置信息,确定目标对象在相邻两帧路面图像中的尺度之间的尺度变化信息时,包括以下S2021~S2022:
S2021,基于第一位置信息,确定目标对象包含的多个特征点所构成的目标线段在前一帧路面图像中的第一尺度值。
S2021,基于第二位置信息,确定目标线段在后一帧路面图像中的第二尺度值。
示例性地,目标线段包含n条,n大于或等于1,且小于设定阈值,基于每条目标线段包含的特征点的第一位置信息,可以得到该条目标线段对应的第一尺度值,以及,基于每条目标线段包含的特征点的第二位置信息,可以得到该条目标线段对应的第二尺度值。
S2023,基于第一尺度值和第二尺度值,确定目标对象在相邻两帧路面图像中的尺度之间的尺度变化信息。
示例性地,可以通过任一条目标线段分别对应的第二尺度值和第一尺度值之间的比值,表示该条目标线段对应的尺度变化信息,进一步根据多条目标线段分别对应的尺度变化信息,确定目标对象在相邻两帧路面图像中的尺度变化信息,比如,可以将设定条数的目标线段对应的尺度变化信息的平均值作为目标对象在相邻两帧路面图像中的尺度变化信息。
相比通过检测框的两个角点在路面图像中的位置信息来表示目标对象的尺度的方式,比如通过检测框的左上角点和右下角点在路面图像中的位置信息表示目标对象在路面图像中的尺度的方式,本公开实施例通过选择多个特征点分别在相邻两帧路面图像中的位置信息,确定出的目标对象在相邻两帧路面图像中的尺度变化信息,该方式通过提取目标对象包含的多个特征点在路面图像中的位置信息,可以更加准确的表示目标对象在路面图像中位置信息,从而得到更加准确的尺度变化信息。
本公开实施例中,通过提取目标对象包含的多个特征点在路面图像中的位置信息,可以更加准确的表示目标对象在路面图像中位置信息,从而得到更加准确的尺度变化信息,便于在基于该尺度变化信息调整待调整距离信息时,能够得到更加准确的当前第一距离信息。
针对上述S102,在基于当前帧路面图像,确定目标装置与当前帧路面图像中的目标对象的待调整距离信息时,如图3所示,可以包括以下S301~S302:
S301,获取目标对象在当前帧路面图像中的尺度和在与当前帧路面图像相邻的历史帧路面图像中的尺度之间的尺度变化信息。
示例性地,与当前帧路面图像相邻的历史帧路面图像是指采集时刻位于当前帧路面图像之前的前一帧路面图像,目标对象在当前帧路面图像和与当前帧路面图像相邻的历史帧路面图像之间的尺度变化信息可以通过目标对象在当前帧路面图像中的尺度与目标对象在与当前帧路面图像相邻的历史帧路面图像中的尺度的比值来表示,具体确定过程将在后文进行阐述。
S302,基于尺度变化信息、以及与当前帧路面图像相邻的历史帧路面图像对应的历史第一距离信息,确定待调整距离信息。
考虑到目标装置与目标对象在靠近的过程中,采集到的路面图像中目标对象的尺度会逐渐增大,即目标对象在相邻两帧路面图像中的尺度和这两帧路面图像对应的目标装置与目标对象之间的距离之间存在比例关系,基于此,可以通过以下公式(1)来确定待调整距离信息:
d0_scale=scale×D1_final; (1);
其中,d0_scale表示待调整距离信息;scale表示目标对象在当前帧路面图像中的尺度与目标对象在与当前帧路面图像相邻的历史帧路面图像中的尺度的比值;D1_final表示与当前帧路面图像相邻的历史帧路面图像对应的历史第一距离信息。
本公开实施例中,通过与当前帧路面图像相邻的历史帧路面图像对应的历史第一距离信息,以及目标对象在当前帧路面图像和与当前帧路面图像相邻的历史帧路面图像中的尺度之间的尺度变化信息,可以得到较为准确的待调整距离信息,以便在后期基于该待调整距离信息确定当前第一距离信息时,能够提高调整速度。
示例性地,上述获取到的目标对象在当前帧路面图像和与当前帧路面图像相邻的历史帧路面图像之间的尺度变化信息可能会存在误差,比如在拍摄当前路面图像时发生抖动,或者检测的目标对象错误,基于此得到的尺度变化信息相比多帧历史帧路面图像中相邻两帧路面图像中的尺度变化信息会存在突变情况,这样基于此得到的待调整距离信息相比相邻的历史第一距离信息也会存在突变情况,此时,可以通过目标对象在采集设备采集的多帧历史帧路面图像中相邻两帧路面图像中的尺度变化信息、以及多帧历史帧路面图像中每帧历史帧路面图像对应的历史第一距离信息对该待调整距离信息进行调整。
具体地,在对待调整距离信息进行调整,得到目标装置与目标对象之间的当前第一距离信息时,如图4所示,可以包括以下S401~S403:
S401,对待调整距离信息进行调整,直至尺度变化信息的误差量最小,得到调整后的距离信息;其中,误差量基于待调整距离信息、尺度变化信息以及多帧历史帧路面图像中每帧历史帧路面图像对应的历史第一距离信息确定。
示例性地,可以基于以下公式(2)来预测用于表示目标对象在当前帧路面图像和与当前帧路面图像相邻的历史帧路面图像之间的尺度变化信息的误差量:
其中,E表示目标对象在当前帧路面图像和与当前帧路面图像相邻的历史帧路面图像之间的尺度变化信息的误差量;T包含目标对象的路面图像的帧数,T小于或等于预设帧数;t用于指示历史帧路面图像,表示从当前帧路面图像开始的第t帧历史帧路面图像,比如t=1表示从当前帧路面图像开始的第一帧历史帧路面图像;Lt表示从当前帧路面图像开始的第t帧历史帧路面图像在确定误差量E时的预设权重,Dt_final表示从当前帧路面图像开始的第t帧历史帧路面图像对应的历史第一距离信息;scalei表示从当前帧路面图像开始的第i帧历史帧路面图像和第i+1帧历史帧路面图像之间的尺度变化信息。
示例性地,可以通过多种优化方式对上述公式(2)进行优化,比如可以包含但不限于牛顿梯度下降法的方式对上述公式(2)中的d0_scale进行调整,在E最小时,得到调整后的距离信息D0_scale。
通过上述方式对目标对象在当前帧路面图像和与当前帧路面图像相邻的历史帧路面图像之间的尺度变化信息进行不断优化,可以降低获取到的目标对象在当前帧路面图像中和在与当前帧路面图像相邻的历史帧路面图像之间的尺度变化信息的误差,从而提高确定的调整后的距离信息的稳定性。
S402,基于调整后的距离信息,确定当前第一距离信息。
示例性地,在得到调整后的距离信息后,为了进一步提高调整后的距离信息的准确度,还可以进一步对调整后的距离信息进行调整,得到目标装置与目标对象之间的当前第一距离信息。
具体地,在基于调整后的距离信息,确定当前第一距离信息之前,如图5所示,本公开实施例提供的测距方法还包括以下S501~S502:
S501,对当前帧路面图像进行目标检测,确定当前帧路面图像中包含的目标对象的检测框的位置信息。
S502,基于检测框的位置信息、以及采集设备的标定参数,确定当前第二距离信息。
示例性地,在目标装置行驶之前,可以对设置在目标装置上的采集设备进行标定,比如将采集设备安装于目标装置的顶部,如图6所示,使得目标装置位于平行车道线中间,保持采集设备的光轴与水平地面平行,且与目标车里前进方向平行,按照该方式可以获取到采集设备的焦距(fx,fy)以及采集设备相对于地面的高度Hc。
示例性地,可以通过预先训练的目标检测模型对当前帧路面图像进行目标检测,得到当前帧路面图像中包含的目标对象,以及该目标对象对应的检测框,如图6所示,检测框的位置信息可以包含检测框的角点在当前帧路面图像中的位置信息,比如可以包含角点A、B、C和D在当前帧路面图像中的像素坐标值。
进一步地,按照小孔成像原理,可以得到以下公式(3)和公式(4):
其中,Hx表示目标对象的实际宽度;Hy表示目标对象相对于地面的实际高度;wb表示目标对象在当前帧路面图像中的像素宽度,可以通过目标对象的检测框ABCD的像素宽确定;hb表示目标对象相对于地面的像素高度,可以通过目标对象的检测框ABCD的像素高确定;D0表示目标装置与目标对象之间的当前第二距离信息。
示例性地,在一种实施方式中,Hx和Hy可以通过检测出的目标对象的类型进行确定,比如目标对象为车辆时,可以基于检测出的目标装置的类型,以及预先存储的车辆类型和车辆对应的高度、以及宽度之间的对应关系,确定目标装置的实际宽度和实际高度。
示例性地,目标对象在当前帧路面图像中的宽度wb可以通过如图7中的检测框ABCD中的角点AB在当前帧路面图像中的像素坐标值确定,或者通过角点CD在当前帧路面图像中的像素坐标值确定;目标对象在当前帧路面图像中的高度hb可以通过角点BC在当前帧路面图像中的像素坐标值确定,或者通过角点AD在当前帧路面图像中的像素坐标值确定,在此不进行赘述。
考虑到存在无法识别出目标对象的类型的情况,因此可能无法直接获取到目标对象的实际高度或者实际宽度,本公开实施例以确定目标对象的实际高度为例进行阐述,针对上述S502,在基于检测框的位置信息、以及采集设备的标定参数,确定当前第二距离信息时,包括以下S5021~S5022:
S5021,基于检测框的位置信息,获取检测框中设定角点的像素坐标值。
S5022,基于设定角点的像素坐标值、采集设备的标定参数以及在确定采集设备的标定参数时使用的车道线消失点的像素坐标值,确定当前第二距离信息。
下面将结合图8所示,对这里基于设定角点的像素坐标值、采集设备的标定参数以及在确定采集设备的标定参数时使用的车道线消失点的像素坐标值,确定当前第二距离信息的原理进行说明:
示例性地,在初始对采集设备进行标定过程中,可以将目标装置停放在平行车道线之间,远处的平行车道线在采集设备的相平面投影时相交于一点,可以称为车道线消失点,车道线消失点近似与图8中的V点重合,可以通过该车道线消失点表示采集设备在路面图像中的投影位置,该车道线消失点的像素坐标值可以表示采集设备在当前帧路面图像中的像素坐标值。
如图8所示,EG两点之间的距离可以表示采集设备相对于地面的实际高度Hc;FG两点之间的距离可以表示目标对象相对于地面的实际高度Hy;MN两点之间的距离可以表示目标对象相对于地面的像素高度hb;MV两点之间的距离可以表示采集设备相对于地面的像素高度。
进一步地,如图8所示,根据小孔成像原理,确定采集设备在拍摄当前帧路面图像时,采集设备相对于地面的实际高度Hc和目标对象相对于地面的实际高度Hy的比值,等于采集设备相对于地面的像素高度和目标对象相对于地面的像素高度hb的比值,这样,在确定出M点、V点以及N点的像素坐标值后,可以进一步确定出标对象相对于地面的像素高度hb以及采集设备相对于地面的像素高度,从而预测出目标对象相对于地面的实际高度Hy。
进一步地,在预测出目标对象相对于地面的实际高度后,可以结合上述公式(3)确定出当前第二距离信息。
上述结合图8对确定当前第二距离信息的原理进行了介绍,下面将结合图9所示,介绍如何确定当前第二距离信息的具体过程:
如图9所示,在对当前帧路面图像进行去畸变处理后,针对当前帧路面图像建立图像坐标系,在该图像坐标系中标记道路线消失点V的像素坐标值(xv,yv);目标对象的检测框的左上角点A的像素坐标值(xtl,ytl),右下点C的像素坐标值(xbr,ybr),进一步地,可以通过角点AC沿y轴方向上的像素坐标值确定如图8所示MN两点之间的距离;可以通过角点CV沿y轴方向上的像素坐标值确定如图8所示MV两点之间的距离。
具体地,采集设备的标定参数包括采集设备相对于地面的第一高度值以及采集设备的焦距;针对上述S5022,在基于设定角点的像素坐标值、采集设备的标定参数以及在确定采集设备的标定参数时使用的车道线消失点的像素坐标值,确定当前第二距离信息时,包括以下S50221~S50224:
S50221,基于车道线消失点的像素坐标值以及检测框中设定角点的像素坐标值,确定采集设备相对于地面的第一像素高度值。
结合上图9所示,可以得到第一像素高度值:ybr-yv。
S50222,基于设定角点的像素坐标值,确定当前帧路面图像中的目标对象相对于地面的第二像素高度值。
比如可以将上述图9中AC两角点沿y轴上的像素坐标值之间的差值作为这里的第二像素高度值,可以通过hb来表示。
S50223,基于第一像素高度值、第二像素高度值以及第一高度值,确定目标对象相对于地面的第二高度值。
其中,Hc表示第一高度值,用来表示采集设备相对于地面的实际高度,可以在对采集设备进行标定时获取;Hy表示第二高度值,用来表示目标对象相对于地面的实际高度。
S50224,基于第二高度值、采集设备的焦距以及第二像素高度值,确定当前第二距离信息。
示例性地,当前第二距离信息可以通过上述公式(3)进行确定。
本公开实施例中,在能够检测出当前帧路面图像中的目标对象对应的完整检测框的情况下,可以通过引入车道线消失点的像素坐标值、采集设备的标定参数快速准确的得到目标对象的实际高度值,进一步可以快速准确的确定出目标装置与目标对象的当前第二距离信息。
在得到目标装置与目标对象的当前第二距离信息后,针对上述S403在基于调整后的距离信息,确定当前第一距离信息时,包括以下S4031~S4032:
S4031,基于当前第二距离信息、多帧历史帧路面图像中的每帧历史帧路面图像中目标对象与目标装置之间的历史第二距离信息、该帧历史帧路面图像对应的历史第一距离信息以及调整后的距离信息,确定针对调整后的距离信息的距离偏置信息。
示例性地,当前第二距离信息和每个历史第二距离信息均为基于单帧路面图像确定的目标装置与目标对象之间的距离信息,该方式在确定第二距离信息时,如果能够检测到目标对象准确完整的检测框,可以基于该检测框的位置信息得到目标装置与目标对象之间准确度较高的第二距离信息,反之,若无法检测到目标对象准确的检测框,或者检测到的目标对象的检测框不完整,得到的第二距离信息的准确度较低,因此在基于该方式确定的多个第二距离信息的准确度较高,但是波动较大。
示例性地,每个历史第一距离信息为基于多帧路面图像确定得到的距离信息,调整后的距离信息也为基于多个历史第一距离信息调整后得到的距离信息,因此,基于该方式得到的多个历史第一距离信息和调整后的距离信息之间波动较小,但是由于在确定历史第一距离信息以及调整后的距离信息时,使用到了相邻两帧路面图像对应的尺度变化信息,而尺度变化信息的确定过程依赖于识别目标对象的特征点在路面图像中的位置信息,当存在误差时,误差会进行累计,因此确定的多个历史第一距离信息以及调整后的距离信息的准确度相比基于完整的检测框确定出的第二距离信息的准确度。
考虑到基于检测框确定的当前第二距离信息和历史第二距离信息的准确度高,基于尺度变化信息确定的历史第一距离信息和调整后得到的距离信息之间的稳定性高,为了得到准确度高且稳定性的当前第一距离信息,可以通过两种方式分别对确定的多帧路面图像对应的目标装置与目标对象之间的距离信息对调整后的距离信息进行进一步调整。
S4032,基于距离偏置信息对调整后的距离信息进行调整,得到当前第一距离信息。
示例性地,在得到距离偏置信息后,可以基于该距离偏置信息对调整后的距离信息进行进一步调整,使得当前第一距离信息更加准确。
本公开实施例中,在得到距离偏置信息后,可以对调整后的距离信息进行进一步调整,从而得到目标装置和目标对象在当前准确度较高的距离信息。
在一种实施方式中,在基于当前第二距离信息、多帧历史帧路面图像中的每帧历史帧路面图像中目标对象与目标装置之间的历史第二距离信息、该帧历史帧路面图像对应的历史第一距离信息以及调整后的距离信息,确定针对调整后的距离信息的距离偏置信息时,可以包括以下S40311~S40313:
S40311,基于当前第二距离信息以及多帧历史帧路面图像中的每帧历史帧路面图像对应的历史第二距离信息,确定由多帧历史帧路面图像中的每帧历史帧路面图像对应的历史第二距离信息和当前第二距离信息拟合成的第一拟合曲线的第一线性拟合系数。
示例性地,可以通过D0表示当前第二距离信息,分别通过D1、D2、D3…表示多个历史第二距离信息,可以通过D0和D1、D2、D3…进行线性拟合,得到由多个历史第二距离信息和当前第二距离信息构成的第一拟合曲线,该第一拟合曲线可以通过以下公式(6)表示:
y1=ax+bx2+c (6);
在拟合过程中,可以将确定多个第二距离信息时使用的路面图像的帧号0,1,2,3…作为x值,以及与帧号分别对应的第二距离信息D0、D1、D2、D3…作为y值输入公式(6),可以得到第一线性拟合系数:a,b,c。
S40312,基于多帧历史帧路面图像中的每帧历史帧路面图像对应的历史第一距离信息以及调整后的距离信息,确定由多帧历史帧路面图像中的每帧历史帧路面图像对应的历史第一距离信息和调整后的距离信息拟合成的第二拟合曲线的第二线性拟合系数。
示例性地,可以通过D0_scale表示调整后的距离信息,分别通过D1_final、D2_final、D3_final…表示多个历史第一距离信息,可以通过D0_scale和D1_final、D2_final、D3_final…进行线性拟合,得到由多个历史第一距离信息和调整后的距离信息构成的第二拟合曲线,该第二拟合曲线可以通过以下公式(7)表示:
y2=a′x+b′x2+c′ (7);
在拟合过程中,可以将确定多个历史第一距离信息以及调整后的距离信息时使用的路面图像的帧号0,1,2,3…作为x值,以及与帧号分别对应的调整后的距离信息和多个历史第一距离信息D0_scale、D1_final、D2_final、D3_final…作为y值输入公式(7),可以得到第二线性拟合系数:a′,b′,c′。
S40313,基于第一线性拟合系数和第二线性拟合系数,确定针对调整后的距离信息的距离偏置信息。
示例性地,可以通过以下公式(8)来确定距离偏置信息:
L=(a/a′+b/b′+c/c′)/3 (8);
通过该方式确定的距离偏置信息,可以按照以下公式(9)来对待调整的距离信息进行调整,得到当前第一距离信息D0_final:
D0_final=D0_scale×L (9);
在另一种实施方式中,在基于当前第二距离信息、多帧历史帧路面图像中的每帧历史帧路面图像中目标对象与目标装置之间的历史第二距离信息、该帧历史帧路面图像对应的历史第一距离信息以及调整后的距离信息,确定针对调整后的距离信息的距离偏置信息时,还可以通过卡尔曼滤波算法进行确定,进一步基于卡尔曼滤波算法确定出当前第一距离信息。
在基于卡尔曼滤波算法确定当前第一距离信息时,可以通过以下公式(10)进行确定:
D0_final=kal(D0_scale,D0,R,Q) (10);
其中,R表示D0_scale和D1_final、D2_final、D3_final…的方差;Q表示D0和D1、D2、D3…的方差,通过R和Q可以确定针对D0_scale的距离偏置信息,进一步基于该距离偏置信息对调整后的距离信息进行修正,得到准确度较高的当前第一距离信息。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一技术构思,本公开实施例中还提供了与测距方法对应的测距装置,由于本公开实施例中的装置解决问题的原理与本公开实施例上述测距方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
参照图10所示,为本公开实施例提供的一种测距装置600的示意图,该测距装置600包括:
获取模块601,用于获取目标装置上的采集设备采集的当前帧路面图像;
确定模块602,用于基于当前帧路面图像,确定目标装置与当前帧路面图像中的目标对象的待调整距离信息;
调整模块603,用于基于目标对象在采集设备采集的多帧历史帧路面图像中相邻两帧路面图像中的尺度之间的尺度变化信息、以及多帧历史帧路面图像中每帧历史帧路面图像中的目标对象与目标装置之间的历史第一距离信息,对待调整距离信息进行调整,得到目标装置与目标对象之间的当前第一距离信息。
在一种可能的实施方式中,调整模块603在用于对待调整距离信息进行调整,得到目标装置与目标对象之间的当前第一距离信息时,包括:
对待调整距离信息进行调整,直至尺度变化信息的误差量最小,得到调整后的距离信息;其中,误差量基于待调整距离信息、尺度变化信息以及多帧历史帧路面图像中每帧历史帧路面图像对应的历史第一距离信息确定;
基于调整后的距离信息,确定当前第一距离信息。
在一种可能的实施方式中,调整模块603在基于调整后的距离信息,确定当前第一距离信息之前,还用于:
对当前帧路面图像进行目标检测,确定当前帧路面图像中包含的目标对象的检测框的位置信息;
基于检测框的位置信息、以及采集设备的标定参数,确定当前第二距离信息;
调整模块603在用于基于调整后的距离信息,确定当前第一距离信息时,包括:
基于当前第二距离信息、多帧历史帧路面图像中的每帧历史帧路面图像中目标对象与目标装置之间的历史第二距离信息、该帧历史帧路面图像对应的历史第一距离信息以及调整后的距离信息,确定针对调整后的距离信息的距离偏置信息;
基于距离偏置信息对调整后的距离信息进行调整,得到当前第一距离信息。
在一种可能的实施方式中,调整模块603在用于基于当前第二距离信息、多帧历史帧路面图像中的每帧历史帧路面图像中目标对象与目标装置之间的历史第二距离信息、该帧历史帧路面图像对应的历史第一距离信息以及调整后的距离信息,确定针对调整后的距离信息的距离偏置信息时,包括:
基于当前第二距离信息以及多帧历史帧路面图像中的每帧历史帧路面图像对应的历史第二距离信息,确定由多帧历史帧路面图像中的每帧历史帧路面图像对应的历史第二距离信息和当前第二距离信息拟合成的第一拟合曲线的第一线性拟合系数;
基于多帧历史帧路面图像中的每帧历史帧路面图像对应的历史第一距离信息以及调整后的距离信息,确定由多帧历史帧路面图像中的每帧历史帧路面图像对应的历史第一距离信息和调整后的距离信息拟合成的第二拟合曲线的第二线性拟合系数;
基于第一线性拟合系数和第二线性拟合系数,确定针对调整后的距离信息的距离偏置信息。
在一种可能的实施方式中,调整模块603在用于基于检测框的位置信息、以及采集设备的标定参数,确定当前第二距离信息时,包括:
基于检测框的位置信息,获取检测框中设定角点的像素坐标值;
基于设定角点的像素坐标值、采集设备的标定参数以及在确定采集设备的标定参数时使用的车道线消失点的像素坐标值,确定当前第二距离信息。
在一种可能的实施方式中,采集设备的标定参数包括采集设备相对于地面的第一高度值以及采集设备的焦距;调整模块603在用于基于设定角点的像素坐标值、采集设备的标定参数以及在确定采集设备的标定参数时使用的车道线消失点的像素坐标值,确定当前第二距离信息时,包括:
基于车道线消失点的像素坐标值以及检测框中设定角点的像素坐标值,确定采集设备相对于地面的第一像素高度值;
基于设定角点的像素坐标值,确定当前帧路面图像中的目标对象相对于地面的第二像素高度值;
基于第一像素高度值、第二像素高度值以及第一高度值,确定目标对象相对于地面的第二高度值;
基于第二高度值、采集设备的焦距以及第二像素高度值,确定当前第二距离信息。
在一种可能的实施方式中,确定模块602在用于基于当前帧路面图像,确定目标装置与当前帧路面图像中的目标对象的待调整距离信息时,包括:
获取目标对象在当前帧路面图像中的尺度和在与当前帧路面图像相邻的历史帧路面图像中的尺度之间的尺度变化信息;
基于尺度变化信息、以及与当前帧路面图像相邻的历史帧路面图像对应的历史第一距离信息,确定待调整距离信息。
在一种可能的实施方式中,确定模块602还用于按照以下方式确定目标对象在相邻两帧路面图像中的尺度之间的尺度变化信息:
分别提取目标对象包含的多个特征点在相邻两帧路面图像中前一帧路面图像中的第一位置信息,以及在后一帧路面图像中的第二位置信息;
基于第一位置信息和第二位置信息,确定目标对象在相邻两帧路面图像中的尺度之间的尺度变化信息。
在一种可能的实施方式中,确定模块602在用于基于第一位置信息和第二位置信息,确定目标对象在相邻两帧路面图像中的尺度之间的尺度变化信息时,包括:
基于第一位置信息,确定目标对象包含的多个特征点所构成的目标线段在前一帧路面图像中的第一尺度值;
基于第二位置信息,确定目标线段在后一帧路面图像中的第二尺度值;
基于第一尺度值和第二尺度值,确定目标对象在相邻两帧路面图像中的尺度之间的尺度变化信息。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明,这里不再详述。
对应于图1中的测距方法,本公开实施例还提供了一种电子设备700,如图11所示,为本公开实施例提供的电子设备700结构示意图,包括:
处理器71、存储器72、和总线73;存储器72用于存储执行指令,包括内存721和外部存储器722;这里的内存721也称内存储器,用于暂时存放处理器71中的运算数据,以及与硬盘等外部存储器722交换的数据,处理器71通过内存721与外部存储器722进行数据交换,当电子设备700运行时,处理器71与存储器72之间通过总线73通信,使得处理器71执行以下指令:获取目标装置上的采集设备采集的当前帧路面图像;基于当前帧路面图像,确定目标装置与当前帧路面图像中的目标对象的待调整距离信息;基于目标对象在采集设备采集的多帧历史帧路面图像中相邻两帧路面图像中尺度之间的尺度变化信息、以及多帧历史帧路面图像中每帧历史帧路面图像中的目标对象与目标装置之间的历史第一距离信息,对待调整距离信息进行调整,得到目标装置与目标对象之间的当前第一距离信息。
本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的测距方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品,该计算机程序产品承载有程序代码,所述程序代码包括的指令可用于执行上述方法实施例中所述的测距方法的步骤,具体可参见上述方法实施例,在此不再赘述。
其中,上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software Development Kit,SDK)等等。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本公开的具体实施方式,用以说明本公开的技术方案,而非对其限制,本公开的保护范围并不局限于此,尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应所述以权利要求的保护范围为准。
Claims (11)
1.一种测距方法,其特征在于,包括:
获取目标装置上的采集设备采集的当前帧路面图像;
基于所述当前帧路面图像,确定所述目标装置与所述当前帧路面图像中的目标对象的待调整距离信息;
基于所述目标对象在所述采集设备采集的多帧历史帧路面图像中相邻两帧路面图像中的尺度之间的尺度变化信息、以及所述多帧历史帧路面图像中每帧历史帧路面图像中的所述目标对象与所述目标装置之间的历史第一距离信息,对所述待调整距离信息进行调整,得到调整后的距离信息;
对所述当前帧路面图像进行目标检测,确定所述当前帧路面图像中包含的所述目标对象的检测框的位置信息;
基于所述检测框的位置信息、以及所述采集设备的标定参数,确定当前第二距离信息;
基于所述当前第二距离信息、所述多帧历史帧路面图像中的每帧历史帧路面图像中所述目标对象与所述目标装置之间的历史第二距离信息、该帧历史帧路面图像对应的所述历史第一距离信息以及所述调整后的距离信息,确定针对所述调整后的距离信息的距离偏置信息;
基于所述距离偏置信息对所述调整后的距离信息进行调整,得到当前第一距离信息。
2.根据权利要求1所述的测距方法,其特征在于,所述基于所述目标对象在所述采集设备采集的多帧历史帧路面图像中相邻两帧路面图像中的尺度之间的尺度变化信息、以及所述多帧历史帧路面图像中每帧历史帧路面图像中的所述目标对象与所述目标装置之间的历史第一距离信息,对所述待调整距离信息进行调整,得到调整后的距离信息,包括:
对所述待调整距离信息进行调整,直至所述尺度变化信息的误差量最小,得到调整后的距离信息;其中,所述误差量基于所述待调整距离信息、所述尺度变化信息以及所述多帧历史帧路面图像中每帧历史帧路面图像对应的历史第一距离信息确定。
3.根据权利要求1所述的测距方法,其特征在于,所述基于所述当前第二距离信息、所述多帧历史帧路面图像中的每帧历史帧路面图像中所述目标对象与所述目标装置之间的历史第二距离信息、该帧历史帧路面图像对应的所述历史第一距离信息以及所述调整后的距离信息,确定针对所述调整后的距离信息的距离偏置信息,包括:
基于所述当前第二距离信息以及所述多帧历史帧路面图像中的每帧历史帧路面图像对应的所述历史第二距离信息,确定由所述多帧历史帧路面图像中的每帧历史帧路面图像对应的所述历史第二距离信息和所述当前第二距离信息拟合成的第一拟合曲线的第一线性拟合系数;
基于所述多帧历史帧路面图像中的每帧历史帧路面图像对应的所述历史第一距离信息以及所述调整后的距离信息,确定由所述多帧历史帧路面图像中的每帧历史帧路面图像对应的所述历史第一距离信息和所述调整后的距离信息拟合成的第二拟合曲线的第二线性拟合系数;
基于所述第一线性拟合系数和所述第二线性拟合系数,确定针对所述调整后的距离信息的距离偏置信息。
4.根据权利要求1或3所述的测距方法,其特征在于,所述基于所述检测框的位置信息、以及所述采集设备的标定参数,确定所述当前第二距离信息,包括:
基于所述检测框的位置信息,获取所述检测框中设定角点的像素坐标值;
基于所述设定角点的像素坐标值、所述采集设备的标定参数以及在确定所述采集设备的标定参数时使用的车道线消失点的像素坐标值,确定所述当前第二距离信息。
5.根据权利要求4所述的测距方法,其特征在于,所述采集设备的标定参数包括所述采集设备相对于地面的第一高度值以及所述采集设备的焦距;
所述基于所述设定角点的像素坐标值、所述采集设备的标定参数以及在确定所述采集设备的标定参数时使用的车道线消失点的像素坐标值,确定所述当前第二距离信息,包括:
基于所述车道线消失点的像素坐标值以及所述检测框中设定角点的像素坐标值,确定所述采集设备相对于地面的第一像素高度值;
基于所述设定角点的像素坐标值,确定所述当前帧路面图像中的所述目标对象相对于地面的第二像素高度值;
基于所述第一像素高度值、所述第二像素高度值以及所述第一高度值,确定所述目标对象相对于地面的第二高度值;
基于所述第二高度值、所述采集设备的焦距以及所述第二像素高度值,确定所述当前第二距离信息。
6.根据权利要求1所述的测距方法,其特征在于,所述基于所述当前帧路面图像,确定所述目标装置与所述当前帧路面图像中的目标对象的待调整距离信息,包括:
获取所述目标对象在所述当前帧路面图像中的尺度和在与所述当前帧路面图像相邻的历史帧路面图像中的尺度之间的尺度变化信息;
基于所述尺度变化信息、以及与所述当前帧路面图像相邻的历史帧路面图像对应的所述历史第一距离信息,确定所述待调整距离信息。
7.根据权利要求1所述的测距方法,其特征在于,按照以下方式确定所述目标对象在相邻两帧路面图像中的尺度之间的尺度变化信息:
分别提取所述目标对象包含的多个特征点在所述相邻两帧路面图像中前一帧路面图像中的第一位置信息,以及在后一帧路面图像中的第二位置信息;
基于所述第一位置信息和所述第二位置信息,确定所述目标对象在相邻两帧路面图像中的尺度之间的尺度变化信息。
8.根据权利要求7所述的测距方法,其特征在于,所述基于所述第一位置信息和所述第二位置信息,确定所述目标对象在相邻两帧路面图像中的尺度之间的尺度变化信息,包括:
基于所述第一位置信息,确定所述目标对象包含的多个特征点所构成的目标线段在所述前一帧路面图像中的第一尺度值;
基于所述第二位置信息,确定所述目标线段在所述后一帧路面图像中的第二尺度值;
基于所述第一尺度值和所述第二尺度值,确定所述目标对象在相邻两帧路面图像中的尺度之间的尺度变化信息。
9.一种测距装置,其特征在于,包括:
获取模块,用于获取目标装置上的采集设备采集的当前帧路面图像;
确定模块,用于基于所述当前帧路面图像,确定所述目标装置与所述当前帧路面图像中的目标对象的待调整距离信息;
调整模块,用于基于所述目标对象在所述采集设备采集的多帧历史帧路面图像中相邻两帧路面图像中的尺度之间的尺度变化信息、以及所述多帧历史帧路面图像中每帧历史帧路面图像中的所述目标对象与所述目标装置之间的历史第一距离信息,对所述待调整距离信息进行调整,得到调整后的距离信息;对所述当前帧路面图像进行目标检测,确定所述当前帧路面图像中包含的所述目标对象的检测框的位置信息;基于所述检测框的位置信息、以及所述采集设备的标定参数,确定当前第二距离信息;基于所述当前第二距离信息、所述多帧历史帧路面图像中的每帧历史帧路面图像中所述目标对象与所述目标装置之间的历史第二距离信息、该帧历史帧路面图像对应的所述历史第一距离信息以及所述调整后的距离信息,确定针对所述调整后的距离信息的距离偏置信息;基于所述距离偏置信息对所述调整后的距离信息进行调整,得到当前第一距离信息。
10.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至9任一所述的测距方法的步骤。
11.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至9任一所述的测距方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110468630.1A CN113188509B (zh) | 2021-04-28 | 2021-04-28 | 一种测距方法、装置、电子设备及存储介质 |
PCT/CN2022/071565 WO2022227708A1 (zh) | 2021-04-28 | 2022-01-12 | 一种测距方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110468630.1A CN113188509B (zh) | 2021-04-28 | 2021-04-28 | 一种测距方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113188509A CN113188509A (zh) | 2021-07-30 |
CN113188509B true CN113188509B (zh) | 2023-10-24 |
Family
ID=76980055
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110468630.1A Active CN113188509B (zh) | 2021-04-28 | 2021-04-28 | 一种测距方法、装置、电子设备及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN113188509B (zh) |
WO (1) | WO2022227708A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113188509B (zh) * | 2021-04-28 | 2023-10-24 | 上海商汤临港智能科技有限公司 | 一种测距方法、装置、电子设备及存储介质 |
CN113607064A (zh) * | 2021-08-06 | 2021-11-05 | 广联达科技股份有限公司 | 目标物体的间距测算方法、装置、设备及可读存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101337536A (zh) * | 2008-08-11 | 2009-01-07 | 北京中星微电子有限公司 | 一种汽车装置以及一种确定车距的方法 |
CN104899554A (zh) * | 2015-05-07 | 2015-09-09 | 东北大学 | 一种基于单目视觉的车辆测距方法 |
CN105279770A (zh) * | 2015-10-21 | 2016-01-27 | 浪潮(北京)电子信息产业有限公司 | 一种目标跟踪控制方法及装置 |
CN108108706A (zh) * | 2017-12-29 | 2018-06-01 | 北京华航无线电测量研究所 | 目标检测中滑动窗口的优化方法及系统 |
CN110672074A (zh) * | 2019-10-24 | 2020-01-10 | 北京地平线机器人技术研发有限公司 | 一种测量目标对象距离的方法及装置 |
CN111819418A (zh) * | 2018-02-28 | 2020-10-23 | 古野电气株式会社 | 导航装置、vslam校正方法、空间信息估计方法、vslam校正程序及空间信息估计程序 |
CN111829484A (zh) * | 2020-06-03 | 2020-10-27 | 江西江铃集团新能源汽车有限公司 | 基于视觉的目标距离测算方法 |
CN112489136A (zh) * | 2020-11-30 | 2021-03-12 | 商汤集团有限公司 | 标定方法、位置确定方法、装置、电子设备及存储介质 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107305632B (zh) * | 2017-02-16 | 2020-06-12 | 武汉极目智能技术有限公司 | 基于单目计算机视觉技术的目标对象距离测量方法与系统 |
JP2019015621A (ja) * | 2017-07-07 | 2019-01-31 | 株式会社日立製作所 | 自己位置推定及び地形計測装置を備えた移動体 |
CN108596116B (zh) * | 2018-04-27 | 2021-11-05 | 深圳市商汤科技有限公司 | 测距方法、智能控制方法及装置、电子设备和存储介质 |
CN108776974B (zh) * | 2018-05-24 | 2019-05-10 | 南京行者易智能交通科技有限公司 | 一种适用于公共交通场景的实时目标跟踪方法 |
CN108875603B (zh) * | 2018-05-31 | 2021-06-04 | 上海商汤智能科技有限公司 | 基于车道线的智能驾驶控制方法和装置、电子设备 |
CN111982072B (zh) * | 2020-07-29 | 2022-07-05 | 西北工业大学 | 一种基于单目视觉的目标测距方法 |
CN113188509B (zh) * | 2021-04-28 | 2023-10-24 | 上海商汤临港智能科技有限公司 | 一种测距方法、装置、电子设备及存储介质 |
-
2021
- 2021-04-28 CN CN202110468630.1A patent/CN113188509B/zh active Active
-
2022
- 2022-01-12 WO PCT/CN2022/071565 patent/WO2022227708A1/zh active Application Filing
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101337536A (zh) * | 2008-08-11 | 2009-01-07 | 北京中星微电子有限公司 | 一种汽车装置以及一种确定车距的方法 |
CN104899554A (zh) * | 2015-05-07 | 2015-09-09 | 东北大学 | 一种基于单目视觉的车辆测距方法 |
CN105279770A (zh) * | 2015-10-21 | 2016-01-27 | 浪潮(北京)电子信息产业有限公司 | 一种目标跟踪控制方法及装置 |
CN108108706A (zh) * | 2017-12-29 | 2018-06-01 | 北京华航无线电测量研究所 | 目标检测中滑动窗口的优化方法及系统 |
CN111819418A (zh) * | 2018-02-28 | 2020-10-23 | 古野电气株式会社 | 导航装置、vslam校正方法、空间信息估计方法、vslam校正程序及空间信息估计程序 |
CN110672074A (zh) * | 2019-10-24 | 2020-01-10 | 北京地平线机器人技术研发有限公司 | 一种测量目标对象距离的方法及装置 |
CN111829484A (zh) * | 2020-06-03 | 2020-10-27 | 江西江铃集团新能源汽车有限公司 | 基于视觉的目标距离测算方法 |
CN112489136A (zh) * | 2020-11-30 | 2021-03-12 | 商汤集团有限公司 | 标定方法、位置确定方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113188509A (zh) | 2021-07-30 |
WO2022227708A1 (zh) | 2022-11-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111210477B (zh) | 一种运动目标的定位方法及系统 | |
CN113188509B (zh) | 一种测距方法、装置、电子设备及存储介质 | |
CN108692719B (zh) | 物体检测装置 | |
CN110587597B (zh) | 一种基于激光雷达的slam闭环检测方法及检测系统 | |
CN105627932A (zh) | 一种基于双目视觉的测距方法及装置 | |
CN105335955A (zh) | 对象检测方法和对象检测装置 | |
CN107636679A (zh) | 一种障碍物检测方法及装置 | |
CN104395692A (zh) | 三维测定方法、装置、系统以及图像处理装置 | |
CN110390306A (zh) | 直角车位的检测方法、车辆和计算机可读存储介质 | |
EP3690814A1 (en) | Lane recognition device | |
CN113129339B (zh) | 一种目标跟踪方法、装置、电子设备及存储介质 | |
CN112489136A (zh) | 标定方法、位置确定方法、装置、电子设备及存储介质 | |
CN113103957B (zh) | 一种盲区监测方法、装置、电子设备及存储介质 | |
CN110992424B (zh) | 基于双目视觉的定位方法和系统 | |
CN111460866B (zh) | 车道线检测及驾驶控制方法、装置和电子设备 | |
CN113673288B (zh) | 空闲车位检测方法、装置、计算机设备及存储介质 | |
CN113344906A (zh) | 车路协同中相机评估方法、装置、路侧设备和云控平台 | |
CN110864670B (zh) | 目标障碍物位置的获取方法和系统 | |
JP2011060138A (ja) | ナンバプレート読取装置およびナンバプレート読取方法 | |
CN112837404A (zh) | 一种平面对象的三维信息的构建方法及装置 | |
CN111192283A (zh) | 一种限高杆检测和高度计算方法 | |
CN114782496A (zh) | 一种对象的跟踪方法、装置、存储介质及电子装置 | |
CN114842443A (zh) | 一种基于机器视觉的目标物识别和测距方法、装置、设备及存储介质 | |
CN112466112A (zh) | 用于生成车辆数据的设备和方法以及系统 | |
CN113129378A (zh) | 一种定位方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40054451 Country of ref document: HK |
|
GR01 | Patent grant | ||
GR01 | Patent grant |