CN110796606A - 一种确定IPM matrix参数的方法及装置 - Google Patents
一种确定IPM matrix参数的方法及装置 Download PDFInfo
- Publication number
- CN110796606A CN110796606A CN201810865281.5A CN201810865281A CN110796606A CN 110796606 A CN110796606 A CN 110796606A CN 201810865281 A CN201810865281 A CN 201810865281A CN 110796606 A CN110796606 A CN 110796606A
- Authority
- CN
- China
- Prior art keywords
- image
- matrix parameter
- ipm matrix
- ipm
- inverse
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000011159 matrix material Substances 0.000 title claims abstract description 336
- 238000000034 method Methods 0.000 title claims abstract description 73
- 230000009466 transformation Effects 0.000 claims abstract description 32
- 238000001514 detection method Methods 0.000 claims abstract description 11
- 238000013507 mapping Methods 0.000 claims description 35
- 238000012545 processing Methods 0.000 claims description 17
- 238000001914 filtration Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 abstract description 11
- 238000005516 engineering process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G06T5/80—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Abstract
本申请公开了一种确定IPM matrix参数的方法及装置,其中该方法包括:基于第一图像生成第一IPM matrix参数,以及基于第二图像生成第二IPM matrix参数。并根据第一权重系数计算第一IPM matrix参数和第二IPM matrix参数的加权平均数,从而生成第一图像IPM matrix参数。通过应用本申请的技术方案,可以根据当前的道理实际路况,生成对应的IPM matrix参数,进而避免现有技术中在车辆行驶过程中,当摄像装置采集道路视频的采集角度与在车道偏离预警系统初始化时汽车摄像装置的采集角度发生变化时,依然利用系统初始化时基于摄像装置的采集角度获取的IPM matrix参数对当前采集的道路图像进行逆投影变换所导致的影响车道线的检测准确率的问题。
Description
技术领域
本申请涉及图像处理技术,尤其是一种确定IPM matrix参数的方法及装置。
背景技术
随着通信时代与社会的发展,利用车辆出行已经渐渐成为了人们生活中必不可少的一项选择。
伴随着人们对于汽车的依赖以及人工智能技术的发展和应用,越来越多的高级辅助驾驶系统等技术已被逐步的部署到汽车上。其中,以车道偏离预警系统为例,车道偏离预警系统是通过安装在汽车上的摄像头采集的图像中找出车道线在图像中的位置,并利用摄像头的初始标定数据计算出车辆与车道线的相对位置,从而达到当检测到车辆偏离车道线时可以及时预警的目的。由上可知,车道线检测方法的准确性直接影响着车道偏离预警系统的性能,现有技术中,开发者通常会利用IPM(逆透视映射Inverse PerspectiveMapping)方法来计算车道线的位置。该方法通过霍夫变换(Hough Transform)技术在由汽车上的摄像头采集的道路图像中检测直线段,并结合逆投影映射图以及卡尔曼滤波来从采集到的直线段中估算出车道线的位置。
一般的,使用IPM方法计算车道线位置的过程中,需要在车道偏离预警系统初始化时获取IPM matrix(逆投影变换关系矩阵)参数,进而利用该IPM matrix参数计算得到车道线的位置。而该IPM matrix参数则需要在系统初始化时通过摄像装置采集的道路图像中获取。并且在后续汽车行驶过程中,车道偏离预警系统始终基于在系统初始化时获取的IPMmatrix参数,在后续汽车行驶过程中对摄像装置采集的道路图像上进行逆投影变换,从而计算得到车道线的位置。
然而,在一般情况下在基于IPM方法计算车道线位置时,均会出现一个问题,即:一旦当前汽车摄像装置的采集道路视频角度与在车道偏离预警系统初始化时汽车摄像装置的采集角度发生变化时(道路环境激变所导致的等),如果此时依然利用系统初始化时获取的IPM matrix参数对当前采集的道路图像进行逆投影变换,会极大影响车道线的检测准确率。因此,如何设计一种可以依据当前实际采集到的道路视频而自动确定IPM matrix参数的方法,成为了本领域技术人员迫待解决的问题。
发明内容
本申请实施例所要解决的一个技术问题是:一旦当前汽车摄像装置的采集道路视频的角度与在车道偏离预警系统初始化时汽车摄像装置的采集角度发生变化时(道路环境激变所导致的等),如果此时依然利用系统初始化时获取的IPM matrix参数对当前采集的道路图像进行逆投影变换,会极大影响车道线的检测准确率的问题。
根据本申请实施例的一个方面,提供的一种确定IPM matrix参数的方法,包括:
基于所述第一图像,生成第一逆投影变换关系矩阵IPM matrix参数,所述第一图像为当前采集的道路视频图像中的任意一帧图像;
根据第一权重系数,计算所述第一IPM matrix参数与第二IPM matrix参数的加权平均数,生成第一图像IPM matrix参数,所述第二IPM matrix参数为基于第二图像生成的IPM matrix参数,所述第二图像为所述第一图像的之前帧图像,所述第一权重系数为所述第一IPM matrix参数的所占权重比例,所述第一图像IPM matrix参数用于获取所述第一图像的车道线的位置。
可选的,根据本申请实施例的另外一个方面,当所述第一图像为所述道路视频图像中的第一帧图像时,所述第一图像IPM matrix参数为预设的IPM matrix参数。
可选的,根据本申请实施例的另外一个方面,所述根据第一权重系数,计算所述第一IPM matrix参数与第二IPM matrix参数的加权平均数,生成第一图像IPM matrix参数,包括:
P=a*W+c*(1-W);
其中,所述P为所述第一图像IPM matrix参数,所述a为所述第一IPMmatrix参数,所述W为所述第一权重系数,所述c为所述第二IPM matrix参数。
可选的,根据本申请实施例的另外一个方面,所述基于所述第一图像,生成第一逆投影变换关系矩阵IPM matrix参数,包括:
将所述第一图像转换为第一灰度图;
从所述第一灰度图中选取第一感兴趣区域图像,并对所述第一感兴趣区域图像进行二值化处理,生成第一待细化图像,所述第一感兴趣区域图像为至少包含道路的图像;
对所述第一待细化图像进行图像细化处理,生成第一待变换图像;
对所述第一待变换图像进行霍夫变换,得到第一直线段组,所述第一直线段组中至少包含有一条直线段;
当检测到当前需要更新IPM matrix参数时,基于所述第一直线段组,生成所述第一图像的消失点;
根据所述消失点以及所述第一感兴趣区域图像,生成第一交点组,所述第一交点组为所述消失点与所述第一感兴趣区域图像的交点;
根据所述第一交点组,生成所述第一IPM matrix参数。
可选的,根据本申请实施例的另外一个方面,根据第二图像IPM matrix参数以及第一逆逆投影映射图Inverse IPM matrix参数,生成所述第一权重系数,所述第二图像IPMmatrix参数为根据所述第二图像生成的IPM matrix参数,所述第一Inverse IPM matrix参数为根据所述第二图像IPM matrix参数生成的Inverse IPM matrix参数。
可选的,根据本申请实施例的另外一个方面,所述第一Inverse IPM matrix参数为根据所述第二图像IPM matrix参数生成的Inverse IPM matrix参数,包括:
基于所述第二图像,生成所述第二图像IPM matrix参数;
基于所述第二图像IPM matrix参数,对所述第二感兴趣区域图像进行投影运算,得到第一逆投影映射图,所述第一逆投影映射图为所述第二感兴趣区域图像的逆投影映射图,所述第二感兴趣区域图像为基于所述第二图像生成的感兴趣区域图像;
根据卡尔曼滤波方程以及所述第二直线段组,对所述第一逆投影映射图进行过滤,得到第二逆投影映射图,所述第二逆投影映射图为过滤掉干扰直线段的逆投影映射图,所述第二直线段组为根据所述第二感兴趣区域图像生成的直线段组;
根据所述第二逆投影映射图,得到第一车道线,所述第一车道线为所述第二逆投影映射图中的车道线的位置;
根据所述第二逆投影映射图,得到第二交点组,所述第二交点组为所述第一车道线与所述第二逆投影映射图的交点;
将所述第二交点组反向映射到所述第二感兴趣区域图像中,得到第三交点组,所述第三交点组为所述第二感兴趣区域图像中的车道线与所述第二感兴趣区域图像的交点;
根据所述第三交点组,生成所述第一Inverse IPM matrix参数。
可选的,根据本申请实施例的另外一个方面,所述根据所述第二IPM matrix参数、第一逆逆投影变换关系矩阵Inverse IPM matrix参数,生成所述第一权重系数,包括:
计算所述第二IPM matrix参数与所述第一Inverse IPM matrix参数之间的第一梯度值;
根据所述第一梯度值生成第一动量以及第二动量;
根据所述第一动量以及所述第二动量计算所述第二权重系数的下降梯度,所述第二权重系数为在计算所述第二图像IPM matrix参数时,所述第二IPM matrix参数的所占权重比例;
计算所述第二权重系数与所述第二权重系数的下降梯度的差值,生成所述第一权重系数。
可选的,根据本申请实施例的另外一个方面,在所述根据第一权重系数,计算所述第一IPM matrix参数与第二IPM matrix参数的加权平均数,生成第一图像IPM matrix参数之后,包括:
解析所述第一图像IPM matrix参数;
当所述第一图像IPM matrix参数达到预设范围时,根据所述第一图像IPM matrix参数,获取所述第一图像中车道线的位置;
当所述第一图像IPM matrix参数未达到所述预设范围时,丢弃所述第一图像IPMmatrix参数。
根据本申请实施例的又一个方面,提供的一种确定IPM matrix参数的装置,包括:
第一生成模块,用于基于所述第一图像,生成第一逆投影变换关系矩阵IPMmatrix参数,所述第一图像为当前采集的道路视频图像中的任意一帧图像。
第二生成模块,用于根据第一权重系数,计算所述第一IPM matrix参数与第二IPMmatrix参数的加权平均数,生成第一图像IPM matrix参数,所述第二IPM matrix参数为基于第二图像生成的IPM matrix参数,所述第二图像为所述第一图像的之前帧图像,所述第一权重系数为所述第一IPM matrix参数的所占权重比例,所述第一图像IPM matrix参数用于获取所述第一图像的车道线的位置。
根据本申请实施例的又一个方面,提供的一种电子设备,包括:
存储器,用于存储可执行指令;以及
处理器,用于与所述存储器通信以执行所述可执行指令从而完成上述任一所述确定IPM matrix参数的方法的操作。
根据本申请实施例的还一个方面,提供的一种计算机可读存储介质,用于存储计算机可读取的指令,所述指令被执行时执行上述任一所述确定IPM matrix参数的方法的操作。
本申请公开了一种确定IPM matrix参数的方法、装置、电子设备及介质,其中该方法包括:基于第一图像生成第一IPM matrix参数,以及基于第二图像生成第二IPM matrix参数。并根据第一权重系数计算第一IPM matrix参数和第二IPM matrix参数的加权平均数,从而生成第一图像IPM matrix参数。通过应用本申请的技术方案,可以根据当前的道理实际路况,生成对应的IPM matrix参数,进而避免现有技术中在车辆行驶过程中,当摄像装置采集道路视频的采集角度与在车道偏离预警系统初始化时汽车摄像装置的采集角度发生变化时,依然利用系统初始化时基于摄像装置的采集角度获取的IPM matrix参数对当前采集的道路图像进行逆投影变换所导致的影响车道线的检测准确率的问题。
下面通过附图和实施例,对本申请的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本申请的实施例,并且连同描述一起用于解释本申请的原理。
参照附图,根据下面的详细描述,可以更加清楚地理解本申请,其中:
图1为本申请确定IPM matrix参数的方法一个实施例的流程图。
图2为本申请确定IPM matrix参数的方法另一个实施例的流程图。
图2(a)-图2(f)为本申请确定IPM matrix参数的示意图。
图3为本申请确定IPM matrix参数的一个实施例的结构示意图。
图4为本申请确定IPM matrix参数的装置的结构示意图。
图5为本申请确定IPM matrix参数的设备结构示意图。
具体实施方式
现在将参照附图来详细描述本申请的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。
同时,应当明白,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本申请及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
需要说明,本申请实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等,如果该特定姿态发生改变时,则该方向性指示也相应地随之改变。
另外,在本申请中如涉及“第一”、“第二”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
在本申请中,除非另有明确的规定和限定,术语“连接”、“固定”等应做广义理解,例如,“固定”可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系,除非另有明确的限定。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本申请中的具体含义。
另外,本申请各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本申请要求的保护范围之内。
下面结合图1至图3来描述根据本申请示例性实施方式的用于进行确定IPMmatrix参数的方法。需要注意的是,下述应用场景仅是为了便于理解本申请的精神和原理而示出,本申请的实施方式在此方面不受任何限制。相反,本申请的实施方式可以应用于适用的任何场景。
本申请提出一种确定IPM matrix参数的方法、装置、电子设备及介质,旨在解决当前汽车行驶时的摄像装置的采集角度与在车道偏离预警系统初始化时汽车摄像装置的采集角度发生变化时,依然利用系统初始化时获取的IPM matrix参数对当前采集的道路图像进行逆投影变换所导致的影响车道线的检测准确率的问题。
图1示意性地示出了根据本申请实施方式的一种确定IPM matrix参数的方法的流程示意图。如图1所示,包括:
S101,基于第一图像,生成第一逆投影变换关系矩阵IPM matrix参数,第一图像为当前采集的道路视频图像中的任意一帧图像。
首先需要说明的是,本申请的技术方案基于IPM(逆透视映射InversePerspective Mapping)方法来计算车道线的位置。其中,IPM即为在数学上将三维景象进行俯视投影的逆变换过程。通过IPM方法,可以将由摄像装置采集到的图像画面进行消除畸变,进而从该图像画面上获取到人们想要获取到的真实,有效的信息。
需要注意的是,本申请中不对采集道路视频的方式做具体限定,即可以通过安装于设备上的摄像装置中采集得到,也可以通过智能电子终端的摄像装置中采集得到,例如手机,PAD,笔记本电脑等。采集道路视频的具体方式变化并不会影响本申请的保护范围。
在现有技术使用IPM方法计算道路图像上车道线位置的过程中,首先需要设定好逆投影变换关系矩阵,进而通过该逆投影变换关系矩阵获取道路图像上车道线的位置。而该逆投影变换关系矩阵是由逆投影变换关系矩阵IPM matrix参数来确定的。进一步的,以本申请应用于汽车中为例,第一图像即为汽车前摄像装置中拍摄的任意一帧的汽车前视图,而根据该任意一帧的前视图,可以生成第一图像IPM matrix参数,进而通过该第一图像IPM matrix参数,确定对逆投影变换关系矩阵的设定。
S102,根据第一权重系数,计算第一IPM matrix参数与第二IPM matrix参数的加权平均数,生成第一图像IPM matrix参数,第二IPM matrix参数为基于第二图像生成的IPMmatrix参数,第二图像为第一图像的之前帧图像,第一权重系数为第一IPM matrix参数的所占权重比例,第一图像IPM matrix参数用于获取第一图像的车道线的位置。
可选的,本申请中,第二IPM matrix参数即为基于第一图像的之前帧图像(第二图像)生成的IPM matrix参数。例如,当第一IPM matrix参数为基于道路视频中第5帧图像生成的IPM matrix参数时,第二IPM matrix参数即为基于道路视频中第4帧的某一帧图像生成的IPM matrix参数。
在此需要说明的是,当第一IPM matrix参数为基于道路视频中第1帧图像生成的IPM matrix参数时,第一图像IPM matrix参数即为预先设立的IPM matrix参数。
进一步的,第一图像IPM matrix参数用于获取第一图像中车道线的位置。可选的,本申请基于由第一IPM matrix参数以及第二IPM matrix参数所计算的加权平均数作为第一图像IPM matrix参数,并根据该第一图像IPM matrix参数来确定逆投影变换关系矩阵的设定,进而根据该确定好的逆投影变换关系矩阵,实现基于IPM方法获取道路视频图像中第一图像上的车道线的位置。
本申请公开了一种确定IPM matrix参数的方法、装置、电子设备及介质,其中该方法包括:基于第一图像生成第一IPM matrix参数,以及基于第二图像生成第二IPM matrix参数。并根据第一权重系数计算第一IPM matrix参数和第二IPM matrix参数的加权平均数,从而生成第一图像IPM matrix参数。通过应用本申请的技术方案,可以根据当前的道理实际路况,生成对应的IPM matrix参数,进而避免现有技术中在车辆行驶过程中,当摄像装置采集道路视频的采集角度与在车道偏离预警系统初始化时汽车摄像装置的采集角度发生变化时,依然利用系统初始化时基于摄像装置的采集角度获取的IPM matrix参数对当前采集的道路图像进行逆投影变换所导致的影响车道线的检测准确率的问题。
进一步的,在本申请中S102(根据第一权重系数,计算第一IPM matrix参数与第二IPM matrix参数的加权平均数,生成第一图像IPM matrix参数)的一种具体的实施方式中,可以由以下方式生成得到:
P=a*W+c*(1-W);
其中,P为第一图像IPM matrix参数,a为第一IPM matrix参数,W为第一权重系数,c为第二IPM matrix参数。
本申请中,将计算由第一图像生成的第一IPM matrix参数以及由第二图像生成的第二IPM matrix参数二者的加权平均数,并将计算出的该加权平均数值作为第一图像IPMmatrix参数。
在本申请的其中一种实施方式中,在S101(基于第一图像,生成第一逆投影变换关系矩阵IPM matrix参数)的步骤中,可以由以下步骤生成第一IPM matrix参数:
S201,将第一图像转换为第一灰度图。
可选的,可以将第一图像转换为对应的灰度图像。
S202,从第一灰度图中选取第一感兴趣区域图像,并对第一感兴趣区域图像进行二值化处理,生成第一待细化图像,第一感兴趣区域图像为至少包含道路的图像。
可选的,由于摄像装置采集到的道路视频图像的图像信息较为丰富,车道仅是图像内容的一部分。例如,如图2(a)所示,即为由汽车的前摄像装置采集的道路视频中的其中一张图像,该图像的内容包含有:车道、天空、树木、道路栏杆、前方车辆、车道线、由于阳光所产生的物体的影子。但在应用本申请的技术方案中,为了避免图像中无关内容出现过多所导致的检测结果不准确的问题,本申请将对该图像进行针对性的选取,以保证选取后的图像中至少包含交通道路的图像即可。
进一步的,如图2(b)所示,即为本申请中从第一灰度图中选取的第一感兴趣区域图像,由图2(b)可以看出,该感兴趣区域图像即为至少包含交通道路的图像。更进一步的,对第一感兴趣区域图像进行二值化处理并生成第一待细化图像。
S203,对第一待细化图像进行图像细化处理,生成第一待变换图像。
可选的,图像细化处理即为将二值图像的骨架化(ImageSkeletonization)的一种操作运算。也即将第一待细化图像的线条从多像素宽度减少到单位像素宽度的处理过程。
S204,对第一待变换图像进行霍夫变换,得到第一直线段组,第一直线段组中至少包含有一条直线段。
本申请中,利用霍夫变换方法对第一待变换图像进行识别处理,进而得到该第一待变换图像中的第一直线段组。
需要说明的是,本申请中不对第一直线段组中的直线段数量进行具体限定,即第一直线段组中的直线段数量可以为1个,第一直线段组中的直线段数量也可以为多个。
S205,当检测到当前需要更新IPM matrix参数时,生成第一图像的消失点。
进一步可选的,以图2(c)为例,图2(c)中的301处即为第一图像的消失点。由图2(c)可以看出,消失点301即为在S204中得到的直线段组中的两条直线段的延线交汇点。
S206,根据消失点以及第一感兴趣区域图像,生成第一交点组,第一交点组为消失点与第一感兴趣区域图像的交点。
进一步可选的,以图2(d)为例,图2(d)中的401-404处即为第一交点组。由图2(d)可以看出,该第一交点组即为第一图像中的消失点的延线直线段与第一感兴趣区域图像中的4个交点。
S207,根据第一交点组,生成第一IPM matrix参数。
本申请中,该第一交点组即为第一IPM matrix参数。
在本申请的另外一种实施方式中,可以由以下方式具体生成第一权重系数:
根据第二图像IPM matrix参数、第一逆逆投影映射图Inverse IPM matrix参数,生成第一权重系数,第二图像IPM matrix参数为根据第二图像生成的IPM matrix参数,第一Inverse IPM matrix参数为根据第二图像IPM matrix参数生成的Inverse IPM matrix参数。
进一步可选的,在计算当前图像(第一图像)的图像IPM matrix参数(第一图像IPMmatrix参数)时,第一权重系数的确定方式需要由根据当前图像的之前帧图像(第二图像)的图像IPM matrix参数(第二图像IPM matrix参数)以及根据第二图像IPM matrix参数生成的第一Inverse IPM matrix参数得到。由于第二图像IPM matrix参数在计算第一图像IPM matrix参数之前已被计算得到,因此,在计算第一权重系数时,可以直接由第二图像IPM matrix参数以及第一Inverse IPM matrix参数得到。以下内容为对以上内容进行举例说明:
例如,当第一图像为道路视频中的第5帧图像时,第二图像即为第4帧图像。由于基于IPM技术检测车道线的方法是根据采集的道路视频,持续计算车道线的位置。因此在当前计算第5帧图像对应的图像IPM matrix参数时,必然已对之前帧的图像进行过图像IPMmatrix参数计算。也就是说,在计算第5帧图像对应的图像IPM matrix参数的第一权重系数时,可以直接根据对第4帧图像进行计算得到的第4帧对应的图像IPM matrix参数以及由该第4帧对应的图像IPM matrix参数得到的Inverse IPM matrix参数进行生成得到。
在本申请的又一种实施方式中,可以由以下方式获得第一逆逆投影映射图Inverse IPM matrix参数:
基于第二图像,生成第二图像IPM matrix参数。
本申请中基于第二图像,生成第二图像IPM matrix参数的方式与本申请上述提及的基于第一图像生成的第一图像IPM matrix参数的方式完全一致,在此不再赘述,不过值得注意的是,当第一图像为道路视频中的第一帧图像时,由于第一图像IPM matrix参数为预设的IPM matrix参数(第二图像也即为预设的图像),因此,基于第二图像(第二IPMmatrix参数)生成的第二图像IPM matrix参数也为预设的IPM matrix参数。
基于第二图像IPM matrix参数,对第二感兴趣区域图像进行投影运算,得到第一逆投影映射图,第一逆投影映射图为第二感兴趣区域图像的逆投影映射图,第二感兴趣区域图像为基于第二图像生成的感兴趣区域图像。
需要说明的是,本申请中生成第二感兴趣区域图像的方式与本申请上述提及的基于第一图像生成的第一感兴趣区域图像的方式完全一致,在此不再赘述。
可选的,根据第二图像IPM matrix参数,对第二感兴趣区域图像进行投影运算,以将第二感兴趣区域图像转换为第一逆投影映射图。
根据卡尔曼滤波方程以及第二直线段组,对第一逆投影映射图进行过滤,得到第二逆投影映射图,第二逆投影映射图为过滤掉干扰直线段的逆投影映射图。
可选的,如图2(e)所示,即为第二逆投影映射图。由图2(e)可以看出,该图像上已经过滤掉干扰直线段,即仅显示车道线的图像。
根据第二逆投影映射图,得到第一车道线,第一车道线为第二逆投影映射图中的车道线的位置。
进一步的,由于第二逆投影映射图是基于第二感兴趣区域图像转换的映射图,则当第二感兴趣区域图像中包含有除车道线外的多条干扰直线段时,第一逆投影映射图也同样包含有多个干扰直线段。因此,为了提高检测车道线位置的精准度,申请可以根据实际情况,选择首先将第一逆投影映射图利用卡尔曼滤波方程以及作为参照物的第二直线段组,对第一逆投影映射图进行筛除。以使筛除后的第一逆投影映射图(即第二逆投影映射图)可以过滤掉相关的干扰直线段。进一步可选的,本申请可以根据第二逆投影映射图中各直线段的角度以及斜率,计算出第二逆投影映射图中的车道线的位置。由于此步骤为现有技术步骤,在此不再赘述。
根据第二逆投影映射图,得到第二交点组,第二交点组为第一车道线与第二逆投影映射图的交点。
由图2(f)所示,601-604即为第一逆投影映射图上的第二交点组。由图2(f)可以看出,第二交点组为第二逆投影映射图上的第一车道线与第二逆投影映射图的交点。
将第二交点组反向映射到第二感兴趣区域图像中,得到第三交点组,第三交点组为第二感兴趣区域图像中的车道线与第二感兴趣区域图像的交点。
可选的,由于第二逆投影映射图为基于第二感兴趣区域图像进行投影运算而转换得到的逆投影映射图。因此,当获取到第二逆投影映射图中的第二交点组后,即可将该第二逆投影映射图中的第二交点组反向映射到第二感兴趣区域图像中,从而根据第一车道线与第二逆投影映射图中的交点(第二交点组)来得到第二感兴趣区域图像中的车道线与第二感兴趣区域图像的交点(第三交点组)。
根据第三交点组,生成第一Inverse IPM matrix参数。
可选的,在本申请中,将第三交点组作为第一Inverse IPM matrix参数。
在本申请的一种实施方式中,可以采用以下方式根据第二IPM matrix参数、第一逆逆投影变换关系矩阵Inverse IPM matrix参数,生成第一权重系数W:
可选的,以第一图像的所在帧数为道路视频中的第t帧为例(第二图像即为t-1帧),则第一权重系数即为Wt:
计算第二IPM matrix参数与第一Inverse IPM matrix参数之间的第一梯度值。
本申请中根据下列公式计算生成第二IPM matrix参数与第一Inverse IPMmatrix参数之间的第一梯度值:
Gt=IIPMt-1–IPMt-1。
其中,Gt为第二IPM matrix参数与第一Inverse IPM matrix参数之间的第一梯度值。
进一步的,本申请中,根据第一梯度值生成第一动量以及第二动量的方式可以通过下列公式得到:
第一动量Mt-1=Mt-2*0.1+0.9*Gt;
第二动量Vt-1=∑i=1 t Gi 2,其中M0=0,V0=0。
进一步可选的,根据第一动量以及第二动量计算第二权重系数的下降梯度,第二权重系数为在计算第二图像IPM matrix参数时,第二IPM matrix参数的所占权重比例:
ηt=α*Mt-1*1/√Vt-1
其中,α为数值为0.01的学习率。
更进一步的,计算第二权重系数与第二权重系数的下降梯度的差值,生成第一权重系数:
Wt=Wt-1-ηt
需要说明的是,由Mt的计算公式可以看出Wt的下降方向由当前帧数的梯度的方向和之前梯度累积的方向共同决定,并且偏向当前梯度的下降方向。
还需要注意的是,在第一图像为道路视频的第一帧图像时,第一图像IPMmatrix参数为预设的IPM matrix参数。基于此,在本申请中,当第一图像为道路视频的第一帧图像时(即t=1),根据第二IPM matrix参数与第一Inverse IPM matrix参数之间的第一梯度值生成的第一动量以及第二动量均为0(即M0=0,V0=0)。
进一步可选的,在本申请的另外一种实施方式中,在S102(根据第一权重系数,计算第一IPM matrix参数与第二IPM matrix参数的加权平均数,生成第一图像IPM matrix参数)之后,还包括一种实施方式。具体的,本申请还包括一种确定IPM matrix参数的方法,如图3所示,
S301,基于第一图像,生成第一逆投影变换关系矩阵IPM matrix参数,第一图像为当前采集的道路视频图像中的任意一帧图像。
S302,根据第一权重系数,计算第一IPM matrix参数与第二IPM matrix参数的加权平均数,生成第一图像IPM matrix参数。
S303,解析第一图像IPM matrix参数。
可选的,由S206~S207可以看出,第一图像IPM matrix参数中包含有4个参数(即4个交点)TLWt、TRWt、BLWt、BRWt。进一步的,当将该4个参数分别代入到计算第一图像IPMmatrix参数的公式中(P=a*W+c*(1-W))即可分别得到对应的每个交点的数值TL、TR、BL、BR。
当第一图像IPM matrix参数达到预设范围时,根据第一图像IPM matrix参数,获取第一图像中车道线的位置。
当第一图像IPM matrix参数未达到预设范围时,丢弃第一图像IPMmatrix参数。
可选的,本申请中,可以通过以下两种方式的任意一种或多种,对第一图像IPMmatrix参数是否达到预设范围进行检测。
第一种方式:
本申请中,可以根据交点的数值计算任意两个交点之间所形成的直线与水平方向上的第一斜率夹角。当该斜率夹角达到预设范围时,则判定该计算出的第一图像IPMmatrix参数符合要求,从而根据第一图像IPM matrix参数,获取第一图像中车道线的位置。同样的,当第一图像IPM matrix参数未达到预设范围时,判定该计算出的第一图像IPMmatrix参数不符合要求,进而丢弃第一图像IPM matrix参数。
需要说明的是,本申请中不对斜率夹角的预设范围做具体限制,在一种较佳的实施例中,该第一斜率夹角的预设范围可以为30°~330°之间。
第二种方式:
将第二图像IPM matrix参数的4个参数分别代入到公式中(P=a*W+c*(1-W))即可分别得到对应的每个交点的数值TL'、TR'、BL'、BR'。同样的,可以根据各交点的数值计算任意两个交点之间所形成的直线与水平方向上的第二斜率夹角。当第一斜率夹角与第二斜率夹角的deta值达到预设范围时,则判定该计算出的第一图像IPM matrix参数符合要求,从而根据第一图像IPM matrix参数,获取第一图像中车道线的位置。同样的,当第一图像IPMmatrix参数未达到预设范围时,判定该计算出的第一图像IPM matrix参数不符合要求,进而丢弃第一图像IPM matrix参数。
其中,Δ=abs(angle(TL',BL')-angle(TL,BL))/angle(TL,BL),需要说明的是,本申请中不对该deta值的预设范围做具体限制,在一种较佳的实施例中,该deta值的预设范围可以为0.2~0.6之间。
在本申请的另外一种实施方式中,如图4所示,本申请还提供一种确定IPM matrix参数的装置,该装置包括第一生成模块401,第二生成模块402。其中,
第一生成模块401,用于基于第一图像,生成第一逆投影变换关系矩阵IPM matrix参数,第一图像为当前采集的道路视频图像中的任意一帧图像。
第二生成模块402,用于根据第一权重系数,计算第一IPM matrix参数与第二IPMmatrix参数的加权平均数,生成第一图像IPM matrix参数,第二IPM matrix参数为基于第二图像生成的IPM matrix参数,第二图像为第一图像的之前帧图像,第一权重系数为第一IPM matrix参数的所占权重比例,第一图像IPM matrix参数用于获取第一图像的车道线的位置。
本申请公开了一种确定IPM matrix参数的方法、装置、电子设备及介质,其中该方法包括:基于第一图像生成第一IPM matrix参数,以及基于第二图像生成第二IPM matrix参数。并根据第一权重系数计算第一IPM matrix参数和第二IPM matrix参数的加权平均数,从而生成第一图像IPM matrix参数。通过应用本申请的技术方案,可以根据当前的道理实际路况,生成对应的IPM matrix参数,进而避免现有技术中在车辆行驶过程中,当摄像装置采集道路视频的采集角度与在车道偏离预警系统初始化时汽车摄像装置的采集角度发生变化时,依然利用系统初始化时基于摄像装置的采集角度获取的IPM matrix参数对当前采集的道路图像进行逆投影变换所导致的影响车道线的检测准确率的问题。
可选的,当第一图像为道路视频图像中的第一帧图像时,第一图像IPM matrix参数为预设的IPM matrix参数。
其中,根据第一权重系数,计算第一IPM matrix参数与第二IPM matrix参数的加权平均数,生成第一图像IPM matrix参数,包括:
P=a*W+c*(1-W);
其中,P为所述第一图像IPM matrix参数,a为第一IPM matrix参数,W为第一权重系数,c为第二IPM matrix参数。
在本申请的另一种实施方式中,第一生成模块401还包括:转换单元,选取单元,第一生成单元:
转换单元,用于将所述第一图像转换为第一灰度图。
选取单元,用于从所述第一灰度图中选取第一感兴趣区域图像,并对所述第一感兴趣区域图像进行二值化处理,生成第一待细化图像,所述第一感兴趣区域图像为至少包含道路的图像。
第一生成单元,用于对所述第一待细化图像进行图像细化处理,生成第一待变换图像。
第一生成单元,还用于对所述第一待变换图像进行霍夫变换,得到第一直线段组,所述第一直线段组中至少包含有一条直线段。
在本申请的另一种实施方式中,在第一生成模块401中,生成单元还包括:
第一生成单元,还用于当检测到当前需要更新IPM matrix参数时,基于所述第一直线段组,生成所述第一图像的消失点。
第一生成单元,还用于根据消失点以及第一感兴趣区域图像,生成第一交点组,第一交点组为消失点与第一感兴趣区域图像的交点。
第一生成单元,还用于根据第一交点组,生成第一IPM matrix参数。
在本申请的另一种实施方式中,根据第二图像IPM matrix参数、第一Inverse IPMmatrix参数、生成第一权重系数,第二图像IPM matrix参数为根据第二图像生成的IPMmatrix参数,第一Inverse IPM matrix参数为根据第二图像IPM matrix参数生成的Inverse IPM matrix参数。
在本申请的另一种实施方式中,第二生成模块402,还包括:第二生成单元,
第二生成单元,还用于基于第二图像,生成第二图像IPM matrix参数。
第二生成单元,还用于基于第二图像IPM matrix参数,对第二感兴趣区域图像进行投影运算,得到第一逆投影映射图。第一逆投影映射图为第二感兴趣区域图像的逆投影映射图,第二感兴趣区域图像为基于第二图像生成的感兴趣区域图像。
第二生成单元,还用于根据卡尔曼滤波方程以及第二直线段组,对第一逆投影映射图进行过滤,得到第二逆投影映射图,第二逆投影映射图为过滤掉干扰直线段的逆投影映射图,第二直线段组为根据第二感兴趣区域图像生成的直线段组。
第二生成单元,还用于根据第二逆投影映射图,得到第一车道线,第一车道线为第二逆投影映射图中的车道线的位置
在本申请的另一种实施方式中,还包括:第三生成模块403,第四生成模块404,第五生成模块405,
第三生成模块403,用于根据第二逆投影映射图,得到第二交点组,第二交点组为第一车道线与第二逆投影映射图的交点。
第四生成模块404,用于将第二交点组反向映射到第二感兴趣区域图像中,得到第三交点组,第三交点组为第二感兴趣区域图像中的车道线与第二感兴趣区域图像的交点。
第四生成模块405,用于根据第三交点组,生成第一Inverse IPM matrix参数。
在本申请的另一种实施方式中,还包括:第六生成模块406,计算模块407,
第六生成模块406,用于计算第二IPM matrix参数与第一Inverse IPM matrix参数之间的第一梯度值。
第六生成模块406,还用于根据第一梯度值生成第一动量以及第二动量。
计算模块407,用于根据第一动量以及第二动量计算第二权重系数的下降梯度,第二权重系数为在计算第二图像IPM matrix参数时,第二IPM matrix参数的所占权重比例。
计算模块407,还用于计算第二权重系数与第二权重系数的下降梯度的差值,生成第一权重系数。
在本申请的另一种实施方式中,还包括:解析模块408,获取模块409,丢弃模块410,
解析模块408,用于解析第一图像IPM matrix参数。
获取模块409,用于当第一图像IPM matrix参数达到预设范围时,根据第一图像IPM matrix参数,获取第一图像中车道线的位置。
丢弃模块410,用于当第一图像IPM matrix参数未达到预设范围时,丢弃第一图像IPM matrix参数。
在介绍了本申请示例性实施方式的确定IPM matrix参数的方法和确定IPMmatrix参数的装置之后,接下来,参考图5对本申请示例性实施方式的、用于实现上述方法实施方式中所记载的各步骤的电子设备进行说明。图5显示的计算机系统/服务器50仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图5所示,计算机系统/服务器50以通用计算设备的形式表现。计算机系统/服务器50的组件可以包括但不限于:一个或者多个处理器或者处理单元501,系统存储器502,连接不同系统组件(包括系统存储器502和处理单元501)的总线503。
计算机系统/服务器50典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机系统/服务器50访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
系统存储器502可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(RAM)5021和/或高速缓存存储器5022。计算机系统/服务器50可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,ROM 5023可以用于读写不可移动的、非易失性磁介质(图5中未显示,通常称为“硬盘驱动器”)。尽管未在图5中示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线503相连。系统存储器502中可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本申请各实施例的功能。
具有一组(至少一个)程序模块5024的程序/实用工具5025,可以存储在例如系统存储器502中,且这样的程序模块5024包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块5024通常执行本申请所描述的实施例中的功能和/或方法。
计算机系统/服务器50也可以与一个或多个外部设备504(如键盘、指向设备、显示器等)通信。这种通信可以通过输入/输出(I/O)接口505进行。并且,计算机系统/服务器50还可以通过网络适配器505与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或者公共网络,例如因特网)通信。如图5所示,网络适配器505通过总线503与计算机系统/服务器50的其它模块(如处理单元501等)通信。应当明白,尽管图5中未示出,可以结合计算机系统/服务器50使用其它硬件和/或软件模块。
处理单元501通过运行存储在系统存储器502中的计算机程序,从而执行各种功能应用以及数据处理,例如,执行用于实现上述方法实施例中的各步骤的指令;具体而言,处理单元501可以执行系统存储器502中存储的计算机程序,且该计算机程序被执行时,下述指令被运行:
基于第一图像,生成第一逆投影变换关系矩阵IPM matrix参数,第一图像为当前采集的道路视频图像中的任意一帧图像;
根据第一权重系数,计算第一IPM matrix参数与第二IPM matrix参数的加权平均数,生成第一图像IPM matrix参数,第二IPM matrix参数为基于第二图像生成的IPMmatrix参数,第二图像为第一图像的之前帧图像,第一权重系数为第一IPM matrix参数的所占权重比例,第一图像IPM matrix参数用于获取第一图像的车道线的位置。
当然,电子设备还包括的其他指令如设备侧方法侧装置侧描述的内容,在此不再一一赘述。
本申请公开了一种确定IPM matrix参数的方法、装置、电子设备及介质,其中该方法包括:基于第一图像生成第一IPM matrix参数,以及基于第二图像生成第二IPM matrix参数。并根据第一权重系数计算第一IPM matrix参数和第二IPM matrix参数的加权平均数,从而生成第一图像IPM matrix参数。通过应用本申请的技术方案,可以根据当前的道理实际路况,生成对应的IPM matrix参数,进而避免现有技术中在车辆行驶过程中,当摄像装置采集道路视频的采集角度与在车道偏离预警系统初始化时汽车摄像装置的采集角度发生变化时,依然利用系统初始化时基于摄像装置的采集角度获取的IPM matrix参数对当前采集的道路图像进行逆投影变换所导致的影响车道线的检测准确率的问题。
本申请实施例还提供一种计算机可读存储介质,用于存储计算机可读取的指令,所述指令被执行时执行上述图1-图3中包括的所述确定IPM matrix参数的方法的操作。所述确定IPM matrix参数的方法描述的内容,在此不再一一赘述。
以上仅为本申请的部分可选的实施例,并非因此限制本申请的专利范围,凡是在本申请的构思下,利用本申请说明书及附图内容所作的等效结构变换,或直接/间接运用在其他相关的技术领域均包括在本申请的专利保护范围内。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书中各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言,由于其与方法实施例基本对应,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
可能以许多方式来实现本申请的方法和装置。例如,可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本申请的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明,本申请的方法的步骤不限于以上具体描述的顺序,除非以其它方式特别说明。此外,在一些实施例中,还可将本申请实施为记录在记录介质中的程序,这些程序包括用于实现根据本申请的方法的机器可读指令。因而,本申请还覆盖存储用于执行根据本申请的方法的程序的记录介质。
本申请的描述是为了示例和描述起见而给出的,而并不是无遗漏的或者将本申请限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本申请的原理和实际应用,并且使本领域的普通技术人员能够理解本申请从而设计适于特定用途的带有各种修改的各种实施例。
Claims (10)
1.一种确定IPM matrix参数的方法,其特征在于,包括:
基于所述第一图像,生成第一逆投影变换关系矩阵IPM matrix参数,所述第一图像为当前采集的道路视频图像中的任意一帧图像;
根据第一权重系数,计算所述第一IPM matrix参数与第二IPM matrix参数的加权平均数,生成第一图像IPM matrix参数,所述第二IPM matrix参数为基于第二图像生成的IPMmatrix参数,所述第二图像为所述第一图像的之前帧图像,所述第一权重系数为所述第一IPM matrix参数的所占权重比例,所述第一图像IPM matrix参数用于获取所述第一图像的车道线的位置。
2.如权利要求1所述的方法,其特征在于,当所述第一图像为所述道路视频图像中的第一帧图像时,所述第一图像IPM matrix参数为预设的IPM matrix参数。
3.如权利要求1或2所述的方法,其特征在于,所述根据第一权重系数,计算所述第一IPM matrix参数与第二IPM matrix参数的加权平均数,生成第一图像IPM matrix参数,包括:
P=a*W+c*(1-W);
其中,所述P为所述第一图像IPM matrix参数,所述a为所述第一IPM matrix参数,所述W为所述第一权重系数,所述c为所述第二IPM matrix参数。
4.如权利要求1或2所述的方法,其特征在于,所述基于所述第一图像,生成第一逆投影变换关系矩阵IPM matrix参数,包括:
将所述第一图像转换为第一灰度图;
从所述第一灰度图中选取第一感兴趣区域图像,并对所述第一感兴趣区域图像进行二值化处理,生成第一待细化图像,所述第一感兴趣区域图像为至少包含道路的图像;
对所述第一待细化图像进行图像细化处理,生成第一待变换图像;
对所述第一待变换图像进行霍夫变换,得到第一直线段组,所述第一直线段组中至少包含有一条直线段;
当检测到当前需要更新IPM matrix参数时,基于所述第一直线段组,生成所述第一图像的消失点;
根据所述消失点以及所述第一感兴趣区域图像,生成第一交点组,所述第一交点组为所述消失点与所述第一感兴趣区域图像的交点;
根据所述第一交点组,生成所述第一IPM matrix参数。
5.如权利要求1-4任一项所述的方法,其特征在于,包括:
根据第二图像IPM matrix参数以及第一逆逆投影映射图Inverse IPM matrix参数,生成所述第一权重系数,所述第二图像IPM matrix参数为根据所述第二图像生成的IPMmatrix参数,所述第一Inverse IPM matrix参数为根据所述第二图像IPM matrix参数生成的Inverse IPM matrix参数。
6.如权利要求5所述的方法,其特征在于,所述第一Inverse IPM matrix参数为根据所述第二图像IPM matrix参数生成的Inverse IPM matrix参数,包括:
基于所述第二图像,生成所述第二图像IPM matrix参数;
基于所述第二图像IPM matrix参数,对所述第二感兴趣区域图像进行投影运算,得到第一逆投影映射图,所述第一逆投影映射图为所述第二感兴趣区域图像的逆投影映射图,所述第二感兴趣区域图像为基于所述第二图像生成的感兴趣区域图像;
根据卡尔曼滤波方程以及所述第二直线段组,对所述第一逆投影映射图进行过滤,得到第二逆投影映射图,所述第二逆投影映射图为过滤掉干扰直线段的逆投影映射图,所述第二直线段组为根据所述第二感兴趣区域图像生成的直线段组;
根据所述第二逆投影映射图,得到第一车道线,所述第一车道线为所述第二逆投影映射图中的车道线的位置;
根据所述第二逆投影映射图,得到第二交点组,所述第二交点组为所述第一车道线与所述第二逆投影映射图的交点;
将所述第二交点组反向映射到所述第二感兴趣区域图像中,得到第三交点组,所述第三交点组为所述第二感兴趣区域图像中的车道线与所述第二感兴趣区域图像的交点;
根据所述第三交点组,生成所述第一Inverse IPM matrix参数。
7.如权利要求6所述的方法,其特征在于,所述根据所述第二IPM matrix参数、第一逆逆投影变换关系矩阵Inverse IPM matrix参数,生成所述第一权重系数,包括:
计算所述第二IPM matrix参数与所述第一Inverse IPM matrix参数之间的第一梯度值;
根据所述第一梯度值生成第一动量以及第二动量;
根据所述第一动量以及所述第二动量计算所述第二权重系数的下降梯度,所述第二权重系数为在计算所述第二图像IPM matrix参数时,所述第二IPM matrix参数的所占权重比例;
计算所述第二权重系数与所述第二权重系数的下降梯度的差值,生成所述第一权重系数。
8.一种车道线检测装置,其特征在于,包括:
第一生成模块,用于基于所述第一图像,生成第一逆投影变换关系矩阵IPM matrix参数,所述第一图像为当前采集的道路视频图像中的任意一帧图像;
第二生成模块,用于根据第一权重系数,计算所述第一IPM matrix参数与第二IPMmatrix参数的加权平均数,生成第一图像IPM matrix参数,所述第二IPM matrix参数为基于第二图像生成的IPM matrix参数,所述第二图像为所述第一图像的之前帧图像,所述第一权重系数为所述第一IPM matrix参数的所占权重比例,所述第一图像IPM matrix参数用于获取所述第一图像的车道线的位置。
9.一种电子设备,其特征在于,包括:
存储器,用于存储可执行指令;以及
处理器,用于与所述存储器通信以执行所述可执行指令从而完成权利要求1-7中任一所述确定IPM matrix参数的操作。
10.一种计算机可读存储介质,用于存储计算机可读取的指令,其特征在于,所述指令被执行时执行权利要求1-7中任一所述确定IPM matrix参数的操作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810865281.5A CN110796606B (zh) | 2018-08-01 | 2018-08-01 | 一种确定IPM matrix参数的方法、装置、电子设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810865281.5A CN110796606B (zh) | 2018-08-01 | 2018-08-01 | 一种确定IPM matrix参数的方法、装置、电子设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110796606A true CN110796606A (zh) | 2020-02-14 |
CN110796606B CN110796606B (zh) | 2023-07-07 |
Family
ID=69425070
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810865281.5A Active CN110796606B (zh) | 2018-08-01 | 2018-08-01 | 一种确定IPM matrix参数的方法、装置、电子设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110796606B (zh) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ITMI962154A1 (it) * | 1996-10-17 | 1998-04-17 | Sgs Thomson Microelectronics | Metodo per l'identificazione di strisce segnaletiche di corsie stradali |
KR20090103675A (ko) * | 2008-03-28 | 2009-10-01 | 삼성전자주식회사 | 영상의 인트라 예측 모드 부호화/복호화 방법 및 장치 |
US20110228101A1 (en) * | 2010-03-19 | 2011-09-22 | Sony Corporation | Method and device for determining calibration parameters of a camera |
KR20120131395A (ko) * | 2011-05-25 | 2012-12-05 | (주)에이딕 | 차선 인식 장치 및 방법 |
CN103488976A (zh) * | 2013-09-17 | 2014-01-01 | 北京联合大学 | 一种基于智能驾驶中停止线实时检测以及距离测量的方法 |
CN107330376A (zh) * | 2017-06-06 | 2017-11-07 | 广州汽车集团股份有限公司 | 一种车道线识别方法及系统 |
CN107341453A (zh) * | 2017-06-20 | 2017-11-10 | 北京建筑大学 | 一种车道线提取方法及装置 |
CN108090425A (zh) * | 2017-12-06 | 2018-05-29 | 海信集团有限公司 | 一种车道线检测方法、装置及终端 |
CN108230254A (zh) * | 2017-08-31 | 2018-06-29 | 北京同方软件股份有限公司 | 一种自适应场景切换的高速交通全车道线自动检测方法 |
CN108297867A (zh) * | 2018-02-11 | 2018-07-20 | 江苏金羿智芯科技有限公司 | 一种基于人工智能的车道偏离预警方法及系统 |
US20180225527A1 (en) * | 2015-08-03 | 2018-08-09 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method, apparatus, storage medium and device for modeling lane line identification, and method, apparatus, storage medium and device for identifying lane line |
-
2018
- 2018-08-01 CN CN201810865281.5A patent/CN110796606B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ITMI962154A1 (it) * | 1996-10-17 | 1998-04-17 | Sgs Thomson Microelectronics | Metodo per l'identificazione di strisce segnaletiche di corsie stradali |
KR20090103675A (ko) * | 2008-03-28 | 2009-10-01 | 삼성전자주식회사 | 영상의 인트라 예측 모드 부호화/복호화 방법 및 장치 |
US20110228101A1 (en) * | 2010-03-19 | 2011-09-22 | Sony Corporation | Method and device for determining calibration parameters of a camera |
KR20120131395A (ko) * | 2011-05-25 | 2012-12-05 | (주)에이딕 | 차선 인식 장치 및 방법 |
CN103488976A (zh) * | 2013-09-17 | 2014-01-01 | 北京联合大学 | 一种基于智能驾驶中停止线实时检测以及距离测量的方法 |
US20180225527A1 (en) * | 2015-08-03 | 2018-08-09 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method, apparatus, storage medium and device for modeling lane line identification, and method, apparatus, storage medium and device for identifying lane line |
CN107330376A (zh) * | 2017-06-06 | 2017-11-07 | 广州汽车集团股份有限公司 | 一种车道线识别方法及系统 |
CN107341453A (zh) * | 2017-06-20 | 2017-11-10 | 北京建筑大学 | 一种车道线提取方法及装置 |
CN108230254A (zh) * | 2017-08-31 | 2018-06-29 | 北京同方软件股份有限公司 | 一种自适应场景切换的高速交通全车道线自动检测方法 |
CN108090425A (zh) * | 2017-12-06 | 2018-05-29 | 海信集团有限公司 | 一种车道线检测方法、装置及终端 |
CN108297867A (zh) * | 2018-02-11 | 2018-07-20 | 江苏金羿智芯科技有限公司 | 一种基于人工智能的车道偏离预警方法及系统 |
Non-Patent Citations (1)
Title |
---|
谢锦;蔡自兴;李昭;尤作;: "基于方向边缘匹配的人行横道与停止线检测" * |
Also Published As
Publication number | Publication date |
---|---|
CN110796606B (zh) | 2023-07-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109188457B (zh) | 物体检测框的生成方法、装置、设备、存储介质及车辆 | |
CN109271944B (zh) | 障碍物检测方法、装置、电子设备、车辆及存储介质 | |
CN109116374B (zh) | 确定障碍物距离的方法、装置、设备及存储介质 | |
CN107038723B (zh) | 棒状像素估计方法和系统 | |
US11430228B2 (en) | Dynamic driving metric output generation using computer vision methods | |
KR20160123668A (ko) | 무인자동주차 기능 지원을 위한 장애물 및 주차구획 인식 장치 및 그 방법 | |
US9396553B2 (en) | Vehicle dimension estimation from vehicle images | |
US9098750B2 (en) | Gradient estimation apparatus, gradient estimation method, and gradient estimation program | |
CN112036389B (zh) | 车辆三维信息检测方法、装置、设备及可读存储介质 | |
CN113034586B (zh) | 道路倾角检测方法和检测系统 | |
WO2023138538A1 (zh) | 车载视频稳像方法、装置、车辆及存储介质 | |
CN113033715B (zh) | 目标检测模型训练方法和目标车辆检测信息生成方法 | |
CN110850974A (zh) | 用于侦测意图兴趣点的方法及其系统 | |
CN112902911B (zh) | 基于单目相机的测距方法、装置、设备及存储介质 | |
CN112837404B (zh) | 一种平面对象的三维信息的构建方法及装置 | |
CN112241963A (zh) | 基于车载视频的车道线识别方法、系统和电子设备 | |
CN117496515A (zh) | 点云数据标注方法、存储介质和电子设备 | |
CN109740502B (zh) | 道路质量检测方法及装置 | |
CN110796606B (zh) | 一种确定IPM matrix参数的方法、装置、电子设备及介质 | |
CN113743163A (zh) | 交通目标识别模型训练方法、交通目标定位方法、装置 | |
CN107452230B (zh) | 一种障碍物检测方法、装置、终端设备及存储介质 | |
CN110795961B (zh) | 一种车道线检测方法、装置、电子设备及介质 | |
CN115841660A (zh) | 距离预测方法、装置、设备、存储介质及车辆 | |
CN114170267A (zh) | 目标跟踪方法、装置、设备及计算机可读存储介质 | |
JP2019096031A (ja) | 推定プログラム、推定装置、及び推定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |