CN116109711A - 一种驾驶辅助方法、装置和电子设备 - Google Patents
一种驾驶辅助方法、装置和电子设备 Download PDFInfo
- Publication number
- CN116109711A CN116109711A CN202111325485.8A CN202111325485A CN116109711A CN 116109711 A CN116109711 A CN 116109711A CN 202111325485 A CN202111325485 A CN 202111325485A CN 116109711 A CN116109711 A CN 116109711A
- Authority
- CN
- China
- Prior art keywords
- pixel block
- pixel
- image
- target
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 230000007613 environmental effect Effects 0.000 claims description 36
- 238000013527 convolutional neural network Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请提供一种驾驶辅助方法、装置和电子设备,所述驾驶辅助方法包括:获取第一图像中每个像素点的颜色特征和位置特征,其中,所述第一图像为车辆的外部驾驶环境图像;基于所述颜色特征和所述位置特征,计算所述第一图像中,任意相邻两个像素点之间的特征差值;将所述第一图像中,所述特征差值小于第一阈值的任意相邻的两个像素点确定为同一像素块中的像素点,得到至少一个第一像素块;在所述至少一个第一像素块中包括目标像素块的情况下,输出所述目标像素块对应的驾驶辅助信息,所述目标像素块为预设环境元素对应的像素块。本申请提供的一种驾驶辅助方法、装置和电子设备,可以解决现有的驾驶方法存在的安全性较低的问题。
Description
技术领域
本申请涉及数据处理领域,具体涉及一种驾驶辅助方法、装置和电子设备。
背景技术
现有技术中,驾驶员在驾驶车辆时,通常是通过人眼感知外部驾驶环境,以对车辆进行控制。然而,在某些情况下,驾驶员可能因未注意到某些重要的环境信息而导致交通事故,例如,在驾驶员疲劳驾驶或者外部驾驶环境较为复杂等情况下,驾驶员均容易出现遗漏部分环境信息的问题。可见,现有的驾驶方法存在安全性较低的问题。
发明内容
本申请提供的一种驾驶辅助方法、装置和电子设备,可以解决现有的驾驶方法存在的安全性较低的问题。
第一方面,本申请实施例提供了一种驾驶辅助方法,包括:
获取第一图像中每个像素点的颜色特征和位置特征,其中,所述第一图像为车辆的外部驾驶环境图像;
基于所述颜色特征和所述位置特征,计算所述第一图像中,任意相邻两个像素点之间的特征差值;
将所述第一图像中,所述特征差值小于第一阈值的任意相邻的两个像素点确定为同一像素块中的像素点,得到至少一个第一像素块;
在所述至少一个第一像素块中包括目标像素块的情况下,输出所述目标像素块对应的驾驶辅助信息,所述目标像素块为预设环境元素对应的像素块。
第二方面,本申请实施例提供了一种驾驶辅助装置,包括:
第一获取模块,用于获取第一图像中每个像素点的颜色特征和位置特征,其中,所述第一图像为车辆的外部驾驶环境图像;
计算模块,用于基于所述颜色特征和所述位置特征,计算所述第一图像中,任意相邻两个像素点之间的特征差值;
第一确定模块,用于将所述第一图像中,所述特征差值小于第一阈值的任意相邻的两个像素点确定为同一像素块中的像素点,得到至少一个第一像素块;
输出模块,用于在所述至少一个第一像素块中包括目标像素块的情况下,输出所述目标像素块对应的驾驶辅助信息,所述目标像素块为预设环境元素对应的像素块。
第三方面,本申请实施例提供一种电子设备,包括:处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序,所述程序被所述处理器执行时实现上述第一方面所述的方法的步骤。
第四方面,本申请实施例提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面所述的方法的步骤。
本申请实施例中,通过基于相邻两个像素点的颜色特征和位置特征,计算相邻两个像素点之间的特征差值,并将特征差值小于第一阈值的相邻两个像素点作为同一像素块中的像素点,即将颜色特征与位置特征均相近的相邻的两个像素点确定为同一像素块中的像素点,如此,有利于提高像素块划分的准确性。然后,判断划分得到的至少一个第一像素块中是否包括目标像素块,在所述至少一个第一像素块中包括目标像素块的情况下,输出所述目标像素块对应的驾驶辅助信息,以便于提高驾驶员对预设环境元素的关注度,从而提高驾驶过程的安全性。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种驾驶辅助方法的流程图之一;
图2是本申请实施例提供的一种驾驶辅助方法的流程图之二;
图3是本申请实施例提供的一种驾驶辅助装置的结构示意图;
图4是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
请参见图1,为本申请实施例提供的一种驾驶辅助方法的流程图,所述方法包括:
步骤101、获取第一图像中每个像素点的颜色特征和位置特征,其中,所述第一图像为车辆的外部驾驶环境图像。
步骤102、基于所述颜色特征和所述位置特征,计算所述第一图像中,任意相邻两个像素点之间的特征差值。
步骤103、将所述第一图像中,所述特征差值小于第一阈值的任意相邻的两个像素点确定为同一像素块中的像素点,得到至少一个第一像素块。
步骤104、在所述至少一个第一像素块中包括目标像素块的情况下,输出所述目标像素块对应的驾驶辅助信息,所述目标像素块为预设环境元素对应的像素块。
其中,所述第一图像可以是车载高清摄像机对车辆前方的驾驶环境进行拍摄得到的图像,如此,根据所述车载高清摄像机输出的图像数据,即可得到所述第一图像中每个像素点的颜色特征。所述颜色特征可以是指红绿蓝RGB三通道的亮度值。此外,所述第一图像还可以是:对车载高清摄像机拍摄得到的图像进行像素级处理之后得到的图像。
在所述车载高清摄像机对车辆前方的驾驶环境进行拍摄的同时,还可以通过多个车载位置检测传感器同步对所述驾驶环境中的环境元素的位置进行检测,以确定第一图像中每个环境元素与车辆的实际相对位置,从而可以确定所述第一图像中每个像素点的位置特征。其中,所述车载位置检测传感器可以包括车载激光雷达或毫米波雷达等。具体而言,可以预先以车辆为基准建立三维空间坐标系,然后,基于每个像素点与车辆的相对位置,即可确定每个像素点在所述三维空间坐标系中的三维坐标,并可将所述三维坐标作为所述位置特征。
在获取到所述第一图像中每个像素点的颜色特征和位置特征之后,可以基于所述颜色特征和位置特征对所述第一图像进行像素块划分。具体而言,可以将所述第一图像中的同一环境元素划分为同一像素块,以便于确定所述第一图像中具体包括哪些环境元素,并可以提取驾驶员可能关注较高的环境元素向驾驶员进行展示,以提高驾驶员对重要环境元素的关注度。其中,所述环境元素具体可以是指可能影响驾驶员的驾驶操作的外部环境因素,例如,所述环境元素可以包括:行人、路障、自行车、电动车、轿车、卡车、天空、路面、路边的围墙、路边的树木、路边的建筑物、路边的绿化带、路中间的隔离带和交通信号灯等。
在进行像素块划分时,由于同一环境元素内部的像素点中,任意相邻两个像素点之间的颜色通常非常接近,且任意相邻两个像素点之间的空间位置也应当相当接近。因此,可以通过计算第一图像中,任意相邻两个像素点之间颜色特征及位置特征的接近程度,以确定任意相邻两个像素点是否为同一像素块中的像素点,从而实现对第一图像进行像素块划分。
具体地,上述特征差值可以用于表征相邻两个像素点之间的颜色特征差值和位置特征差值,其中,所述颜色特征差值即相邻两个像素点之间颜色的差异大小,所述位置特征差值即相邻两个像素点之间空间距离的相对大小。可以根据实际应用场景,预先设定第一阈值的具体取值,当所述特征差值小于所述第一阈值时,可以认为该两个相邻的像素点之间的颜色特征和位置特征均较为接近,此时,可以将该两个相邻的像素点确定为同一像素块中的像素点。相应地,当所述特征差值大于或等于所述第一阈值时,可以认为该两个相邻的像素点的颜色特征和位置特征中至少存在一者相差较大,此时,可以认为该两个像素点为不同像素块中的像素点。
在计算出所述第一图像中任意相邻两个像素点之间的特征差值之后,即可判断任意相邻的两个像素点是否为同一像素块中的像素点,通过对同一像素块中的全部像素点进行聚类,即可实现对第一图像进行像素块划分,其中,可以将第一图像中的每个像素块定义为一个第一像素块。根据每个第一像素块的边缘像素点的位置特征即可确定每个第一像素块的轮廓,同时,根据每个第一像素块中每个像素点的颜色特征,可以确定每个第一像素块的颜色信息,如此,可以通过第一像素块的轮廓和颜色信息确定第一像素块对应的环境元素。进而可以判断第一图像中是否包括目标像素块,在所述第一图像中包括目标像素块的情况下,输出所述目标像素块对应的驾驶辅助信息,所述目标像素块为预设环境元素对应的像素块。其中,所述预设环境元素可以是预先设置的驾驶员可能关注较高的环境元素。
可以理解的是,采用本申请实施例提供的像素块划分方式,相对于仅基于图像中的颜色特征进行像素块划分而言,由于本申请同时融合了颜色特征和位置特征,因此,可以提高像素块划分的准确性。其理由在于:
由于车载高清摄像头所拍摄到的车辆前方的图像实际上为二维图像,其无法体现图像中各个元素之间的实际位置关系,例如,车载高清摄像头拍摄得到的第一图像中,不同对象之间可能具有重叠区域,但二者之间的实际距离可能相对较远,此时,若该两个对象的颜色较为接近时,基于颜色特征进行像素块划分时,可能将该两个对象划分为同一像素块,进而可能导致无法识别出该像素块对应的环境元素的问题。而本申请实施例通过同时考虑像素点之间的颜色特征和实际空间位置的接近程度进行像素块划分,只有在颜色特征和空间位置均较为接近时,才将其作为同一像素块中的像素点,这样,可以避免将不同对象划分至同一像素块的问题,从而有利于提高像素块划分的准确性。
该实施方式中,通过基于相邻两个像素点的颜色特征和位置特征,计算相邻两个像素点之间的特征差值,并将特征差值小于第一阈值的相邻两个像素点作为同一像素块中的像素点,即将颜色特征与位置特征均相近的相邻的两个像素点确定为同一像素块中的像素点,如此,有利于提高像素块划分的准确性。然后,判断划分得到的至少一个第一像素块中是否包括目标像素块,在所述至少一个第一像素块中包括目标像素块的情况下,输出所述目标像素块对应的驾驶辅助信息,以便于提高驾驶员对预设环境元素的关注度,从而提高驾驶过程的安全性。
可选地,所述颜色特征包括:第一通道的亮度值、第二通道的亮度值和第三通道的亮度值,所述位置特征包括:第一坐标值、第二坐标值和第三坐标值,所述基于所述颜色特征和所述位置特征,计算所述第一图像中,任意相邻两个像素点之间的特征差值,包括:
基于如下公式,计算所述第一图像中任意相邻的两个像素点K与像素点K+1之间的所述特征差值:
其中,ΔAk,k+1为像素点K与像素点K+1之间的特征差值,Xk+1为像素点K+1的第一坐标值,Xk为像素点K的第一坐标值,Yk+1为像素点K+1的第二坐标值,Yk为像素点K的第二坐标值,Zk+1为像素点K+1的第三坐标值,Zk为像素点K的第三坐标值,Rk+1为像素点K+1的第一通道的亮度值,Rk为像素点K的第一通道的亮度值,Gk+1为像素点K+1的第二通道的亮度值,Gk为像素点K的第二通道的亮度值,Bk+1为像素点K+1的第三通道的亮度值,Bk为像素点K的第三通道的亮度值。
上述第一通道的亮度值、第二通道的亮度值和第三通道的亮度值可以是指RGB三通道的亮度值。所述第一坐标值、第二坐标值和第三坐标值可以是指三维空间坐标系中的三个坐标值。
如此,基于距离计算公式,即可计算得到所述特征差值ΔAk,k+1。在本申请一个实施例中,可以对第一图像中的每个像素点设置位置编码(m,n),其中,所述位置编码用于标记所述像素点在所述第一图像中的位置,以便于确定第一图像中的任意相邻的两个像素点。例如,像素点(m,n)与像素点(m,n+1)为竖直方向相邻的像素点,像素点(m,n)与像素点(m+1,n)为水平方向相邻的像素点。在计算所述第一图像中任意相邻两个像素点之间的特征差值时,可以以所述第一图像的左下角的顶点处的像素点为起点,分别向右和向上查找与之相邻的两个像素点,然后,分别计算起点与相邻的两个像素点之间的特征差值。计算完成之后,再分别以所查找到的相邻的两个像素点作为起点,分别向右和向上查找与每个像素点相邻的两个像素点,并进行特征差值计算,如此,即可实现对第一图像中的任意相邻的两个像素点之间的特征差值的计算。在具体实施时,可以基于如下公式计算水平方向上的相邻两个像素点(m,n)与像素点(m+1,n)之间的特征差值ΔAm,m+1:
相应地,可以基于如下公式计算竖直方向上的相邻两个像素点(m,n)与像素点(m,n+1)之间的特征差值ΔAn,n+1:
其中,上述RGB三通道的亮度值的取值范围可以为0-255,上述第一坐标值、第二坐标值和第三坐标值的计量单位可以是毫米。此时,所述第一阈值可以是20,即当所述ΔAm,m+1<20时,将像素点(m,n)与像素点(m+1,n)确定为同一像素块中的像素点。当所述ΔAn,n+1<20时,将像素点(m,n)与像素点(m,n+1)确定为同一像素块中的像素点。
具体而言,可以预先构建一个自动编码器,通过将任意相邻两个像素点的颜色特征和位置特征输入所述自动编码器,所述自动编码器可以计算该两个像素点之间的特征差值,并基于所述特征差值判别任意相邻两个像素点是否属于同一像素块中的像素点,然后,可以将所述第一图像中,所有属于同一像素块中的全部像素点进行聚类,并建立每个第一像素块的轮廓模型。从而完成对第一图像进行像素块的划分过程。
在完成对第一图像的像素块的划分过程之后,可以按照如下标记信息标记第一图像中的每个像素点:(A、P、m、n、X、Y、Z、R、G、B、Code),其中,A表示像素块代码,属于自动编码器进行编码过程中生成的一个编码,其中,同一像素块中的全部像素点的A值相同。P表示图像编码,同一张图像中的所有像素点的P值相同,用于标识像素点所属图像。(m,n)为像素点在第一图像中的位置编码,用于定位像素点在第一图像中的位置。(X,Y,Z)为像素点对应的图像在三维空间坐标系中的位置坐标,用于标识像素点对应的图像与车辆的相对位置。R、G、B表示像素点的RGB三通道的亮度值,用于表征像素点的颜色信息。Code为像素点所属像素块的像素块类型,在进行识别之前,所述Code可以是随机值,在基于目标模型对像素块进行识别之后,可以将像素点的Code修改为识别结果。其中,可以预先确定不同类型的像素块对应的Code值,例如,行人(255)、路障(074)、自行车(187)、电动车(156)、轿车(143)、卡车(172)、天空(031)、路面(075)、路边的围墙(099)、路边的树木(081)、路边的建筑物(043)、路边的绿化带(056)、路中间的隔离带(067)和交通信号灯(125)等。其中,所述行人(255)表征的是像素块类型为行人时,Code值可以为255,其他类型的像素块表征的含义与行人的表征方式类似,为避免重复,在此不再一一列举。如此,通过将第一图像中的每个像素点按照上述标记信息的形式进行存储,从而有利于计算机对图像进行处理。
可选地,所述输出所述目标像素块对应的驾驶辅助信息之前,所述方法还包括:
获取所述第一像素块的轮廓信息和颜色信息;
将所述第一像素块的所述轮廓信息和所述颜色信息分别输入目标模型,得到所述目标模型输出的第一预测类型,所述第一预测类型用于表征所述第一像素块的类型;
在所述第一预测类型为预设类型的情况下,将所述第一像素块确定为所述目标像素块。
其中,所述目标模型可以是预先训练得到的模型,具体而言,所述目标模型可以预先学习到像素块的轮廓及颜色信息与像素块类型之间的对应关系,这样,在将第一像素块的轮廓信息和颜色信息输入目标模型之后,目标模型可以基于所述轮廓信息和颜色信息预测出该第一像素块的所属类型。
该实施方式中,通过基于目标模型对第一图像中的每个第一像素块的类型进行预测,这样,基于预测结果,即可确定所述第一图像中是否包括所述目标像素块。
可选地,所述将所述第一像素块的所述轮廓信息和所述颜色信息分别输入目标模型,得到所述目标模型输出的第一预测类型之前,所述方法还包括:
获取训练数据,其中,所述训练数据包括第二图像中每个第二像素块的所述轮廓信息和所述颜色信息和像素块类型,所述第二图像为车辆的外部驾驶环境图像,其中,所述像素块类型即第二像素块的真实类型;
基于所述训练数据对预先构建的卷积神经网络模型进行训练,得到所述目标模型。
其中,所述第二图像可以是各种场景下的车辆外部环境的历史图像。具体而言,可以预先获取大量不同的第二图像,然后,分别对每张图像进行轮廓及颜色信息识别,即可确定每张第二图像对应的轮廓信息和颜色信息,同时,通过确定每张第二图像中各个第二像素块的像素块类型,从而得到大量训练数据,其中,所述第二像素块可以是所述第二图像中的任意像素块,所述第二像素块的轮廓信息和颜色信息的获取过程可以与上述第一像素块的轮廓信息和颜色信息的获取过程相同。相应地,所述第二图像的像素块的划分过程可以与上述第一图像中的第一像素块的划分过程相同,为避免重复,在此不再予以赘述。
其中,所述卷积神经网络模型可以是现有的各种类型的卷积神经网络模型,例如,在本申请一个实施例中,所述卷积神经网络模型可以采用VGG-16网络结构。其中,所述VGG-16网络结构的浅层卷积层可以提取低层次的图像特征,其中,所述低层次的图像特征可以包括线性特征(如线、曲线或折线等)和面状特征(如圆形、矩形、三角形、多边形等)等轮廓特征。而较深层的卷积层可以提取较高层次的语义信息,如基于像素块的轮廓判别像素块的类型等。
该实施方式中,通过基于所述训练数据对预先构建的卷积神经网络模型进行训练,以得到所述目标模型。
可选地,所述基于所述训练数据对预先构建的卷积神经网络模型进行训练,得到所述目标模型,包括:
将所述第二像素块的所述轮廓信息和所述颜色信息输入所述卷积神经网络模型,得到所述卷积神经网络模型输出的第二预测类型,所述第二预测类型用于表征所述第二像素块的类型;
获取目标损失函数,其中,所述目标损失函数为基于所述第二预测类型和所述像素块类型构建的损失函数;
基于所述目标损失函数对所述卷积神经网络模型进行训练,得到所述目标模型。
其中,所述第二预测类型可以表示为:yn=(b+w·xn),所述目标损失函数可以采用如下表达式表示:
其中,所述L(f)和L(w,b)均表示所述目标损失函数;所述表示所述像素块类型,即像素块的真实类型;yn和(b+w·xn)均表示第二预测类型,即像素块的预测类型;xn表示上述自动编码器对像素块随机赋予的Code值。w和b为常数,在进行模型训练之前,可以对w和b进行人工赋值,在训练过程中,通过不断对w和b的值进行调整,以提高目标模型的精确度。
该实施方式中,通过构建目标损失函数,并基于目标损失函数对所述卷积神经网络模型进行训练,以得到所述目标模型。
可选地,所述输出所述目标像素块对应的驾驶辅助信息,包括:
按照预设显示方式显示所述目标像素块对应的所述预设环境元素的图像。
其中,可以通过车载终端显示所述目标像素块的轮廓信息。具体而言,可以仅显示所述第一图像中的目标像素块对应的所述预设环境元素的图像;此外,也可以显示所述第一图像,并在第一图像中凸出显示所述目标像素块对应的所述预设环境元素的图像,例如,可以静态显示第一图像中非目标像素块对应的环境元素的图像,同时,以闪烁的方式显示所述目标像素块对应的所述预设环境元素的图像。或者,也可以按照正常比例显示第一图像中非目标像素块对应的环境元素的图像,同时,放大显示所述目标像素块对应的所述预设环境元素的图像。以提醒驾驶员关注所述目标像素块对应的预设环境元素,从而可以避免驾驶员在驾驶过程中遗漏重要的环境信息,有利于提高驾驶过程的安全性。
请参见图2,为本申请一个实施例提供的一种驾驶辅助方法的流程图,具体包括以下步骤:基于车载高清摄像机对车辆前方的驾驶环境进行拍摄,得到第一图像,以及,基于车载激光雷达同步对所述驾驶环境中的环境元素的位置进行检测,从而获取到第一图像中每个像素点的颜色特征和位置特征;将所述第一图像中每个像素点的颜色特征和位置特征输入自动编码器,得到第一图像中每个像素块的轮廓信息和颜色信息,将所述第一图像中每个像素块的轮廓信息和颜色信息输入目标模型,所述目标模型基于所述轮廓信息和颜色信息预测每个像素块的类型,将目标模型的预测结果发送至车载终端,车载终端显示按照预设显示方式显示所述目标像素块对应的所述预设环境元素的图像。
本实施例的具体实现过程与上述实施例相同,且能实现相同的有益效果,为避免重复,在此不再予以赘述。
可选地,所述输出所述目标像素块对应的驾驶辅助信息之后,所述方法还包括:
将所述驾驶辅助信息传输至所述车辆的控制器,以使所述控制器基于所述驾驶辅助信息对所述车辆进行控制。
具体地,基于本申请实施例所提供的方法,获取到的驾驶辅助信息也可以应用于自动驾驶场景,通过将所述驾驶辅助信息发送至控制器,控制器在对车辆进行自动控制时,可以基于所述驾驶辅助信息和其他车载传感器所检测到的信息,生成相应地控制指令,以实现对车辆的自动控制,从而有利于提高自动驾驶过程中的安全性。
请参见图3,为本申请实施例提供的一种驾驶辅助装置300的结构示意图,所述装置包括:
第一获取模块301,用于获取第一图像中每个像素点的颜色特征和位置特征,其中,所述第一图像为车辆的外部驾驶环境图像;
计算模块302,用于基于所述颜色特征和所述位置特征,计算所述第一图像中,任意相邻两个像素点之间的特征差值;
第一确定模块303,用于将所述第一图像中,所述特征差值小于第一阈值的任意相邻的两个像素点确定为同一像素块中的像素点,得到至少一个第一像素块;
输出模块304,用于在所述至少一个第一像素块中包括目标像素块的情况下,输出所述目标像素块对应的驾驶辅助信息,所述目标像素块为预设环境元素对应的像素块。
可选地,所述颜色特征包括:第一通道的亮度值、第二通道的亮度值和第三通道的亮度值,所述位置特征包括:第一坐标值、第二坐标值和第三坐标值,所述计算模块302,具体用于基于如下公式,计算所述第一图像中任意相邻的两个像素点K与像素点K+1之间的所述特征差值:
其中,ΔAk,k+1为像素点K与像素点K+1之间的特征差值,Xk+1为像素点K+1的第一坐标值,Xk为像素点K的第一坐标值,Yk+1为像素点K+1的第二坐标值,Yk为像素点K的第二坐标值,Zk+1为像素点K+1的第三坐标值,Zk为像素点K的第三坐标值,Rk+1为像素点K+1的第一通道的亮度值,Rk为像素点K的第一通道的亮度值,Gk+1为像素点K+1的第二通道的亮度值,Gk为像素点K的第二通道的亮度值,Bk+1为像素点K+1的第三通道的亮度值,Bk为像素点K的第三通道的亮度值。
可选地,所述装置还包括:
第二获取模块,用于获取所述第一像素块的轮廓信息和颜色信息;
输入模块,用于将所述第一像素块的所述轮廓信息和所述颜色信息分别输入目标模型,得到所述目标模型输出的第一预测类型,所述第一预测类型用于表征所述第一像素块的类型;
第二确定模块,用于在所述第一预测类型为预设类型的情况下,将所述第一像素块确定为所述目标像素块。
可选地,所述装置还包括:
第三获取模块,用于获取训练数据,其中,所述训练数据包括第二图像中每个第二像素块的所述轮廓信息和所述颜色信息和像素块类型,所述第二图像为车辆的外部驾驶环境图像;
训练模块,用于基于所述训练数据对预先构建的卷积神经网络模型进行训练,得到所述目标模型。
可选地,所述训练模块,包括:
输入子模块,用于将所述第二像素块的所述轮廓信息和所述颜色信息输入所述卷积神经网络模型,得到所述卷积神经网络模型输出的第二预测类型,所述第二预测类型用于表征所述第二像素块的类型;
获取子模块,用于获取目标损失函数,其中,所述目标损失函数为基于所述第二预测类型和所述像素块类型构建的损失函数;
训练子模块,用于基于所述目标损失函数对所述卷积神经网络模型进行训练,得到所述目标模型。
可选地,所述输出模块304,具体用于按照预设显示方式显示所述目标像素块对应的所述预设环境元素的图像。
可选地,所述装置还包括:
发送模块,用于将所述驾驶辅助信息传输至所述车辆的控制器,以使所述控制器基于所述驾驶辅助信息对所述车辆进行控制。
上述驾驶辅助装置300能够实现上述方法实施例中的各个过程,并能达到相同的技术效果,为避免重复,这里不再赘述。
本申请实施例还提供了一种电子设备,包括:处理器、存储器及存储在存储器上并可在处理器上运行的程序,程序被处理器执行时实现上述驾驶辅助方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
参见图4所示,本申请实施例还提供了一种电子设备,包括总线401、收发机402、天线403、总线接口404、处理器405和存储器406。处理器405能够实现上述驾驶辅助方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
在图4中,总线架构(用总线401来代表),总线401可以包括任意数量的互联的总线和桥,总线401将包括由处理器405代表的一个或多个处理器和存储器406代表的存储器的各种电路链接在一起。总线401还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起,这些都是本领域所公知的,因此,本文不再对其进行进一步描述。总线接口404在总线401和收发机402之间提供接口。收发机402可以是一个元件,也可以是多个元件,比如多个接收器和发送器,提供用于在传输介质上与各种其他装置通信的单元。经处理器405处理的数据通过天线403在无线介质上进行传输,进一步,天线403还接收数据并将数据传送给处理器405。
处理器405负责管理总线401和通常的处理,还可以提供各种功能,包括定时,外围接口,电压调节、电源管理以及其他控制功能。而存储器406可以被用于存储处理器405在执行操作时所使用的数据。
可选的,处理器405可以是CPU、ASIC、FPGA或CPLD。
本申请实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。其中,的计算机可读存储介质,如只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者第二终端设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。
Claims (10)
1.一种驾驶辅助方法,其特征在于,包括:
获取第一图像中每个像素点的颜色特征和位置特征,其中,所述第一图像为车辆的外部驾驶环境图像;
基于所述颜色特征和所述位置特征,计算所述第一图像中,任意相邻两个像素点之间的特征差值;
将所述第一图像中,所述特征差值小于第一阈值的任意相邻的两个像素点确定为同一像素块中的像素点,得到至少一个第一像素块;
在所述至少一个第一像素块中包括目标像素块的情况下,输出所述目标像素块对应的驾驶辅助信息,所述目标像素块为预设环境元素对应的像素块。
2.根据权利要求1所述的方法,其特征在于,所述颜色特征包括:第一通道的亮度值、第二通道的亮度值和第三通道的亮度值,所述位置特征包括:第一坐标值、第二坐标值和第三坐标值,所述基于所述颜色特征和所述位置特征,计算所述第一图像中,任意相邻两个像素点之间的特征差值,包括:
基于如下公式,计算所述第一图像中任意相邻的两个像素点K与像素点K+1之间的所述特征差值:
其中,ΔAk,k+1为像素点K与像素点K+1之间的特征差值,Xk+1为像素点K+1的第一坐标值,Xk为像素点K的第一坐标值,Yk+1为像素点K+1的第二坐标值,Yk为像素点K的第二坐标值,Zk+1为像素点K+1的第三坐标值,Zk为像素点K的第三坐标值,Rk+1为像素点K+1的第一通道的亮度值,Rk为像素点K的第一通道的亮度值,Gk+1为像素点K+1的第二通道的亮度值,Gk为像素点K的第二通道的亮度值,Bk+1为像素点K+1的第三通道的亮度值,Bk为像素点K的第三通道的亮度值。
3.根据权利要求1所述的方法,其特征在于,所述输出所述目标像素块对应的驾驶辅助信息之前,所述方法还包括:
获取所述第一像素块的轮廓信息和颜色信息;
将所述第一像素块的所述轮廓信息和所述颜色信息分别输入目标模型,得到所述目标模型输出的第一预测类型,所述第一预测类型用于表征所述第一像素块的类型;
在所述第一预测类型为预设类型的情况下,将所述第一像素块确定为所述目标像素块。
4.根据权利要求3所述的方法,其特征在于,所述将所述第一像素块的所述轮廓信息和所述颜色信息分别输入目标模型,得到所述目标模型输出的第一预测类型之前,所述方法还包括:
获取训练数据,其中,所述训练数据包括第二图像中每个第二像素块的所述轮廓信息和所述颜色信息和像素块类型,所述第二图像为车辆的外部驾驶环境图像;
基于所述训练数据对预先构建的卷积神经网络模型进行训练,得到所述目标模型。
5.根据权利要求4所述的方法,其特征在于,所述基于所述训练数据对预先构建的卷积神经网络模型进行训练,得到所述目标模型,包括:
将所述第二像素块的所述轮廓信息和所述颜色信息输入所述卷积神经网络模型,得到所述卷积神经网络模型输出的第二预测类型,所述第二预测类型用于表征所述第二像素块的类型;
获取目标损失函数,其中,所述目标损失函数为基于所述第二预测类型和所述像素块类型构建的损失函数;
基于所述目标损失函数对所述卷积神经网络模型进行训练,得到所述目标模型。
6.根据权利要求1所述的方法,其特征在于,所述输出所述目标像素块对应的驾驶辅助信息,包括:
按照预设显示方式显示所述目标像素块对应的所述预设环境元素的图像。
7.根据权利要求1所述的方法,其特征在于,所述输出所述目标像素块对应的驾驶辅助信息之后,所述方法还包括:
将所述驾驶辅助信息传输至所述车辆的控制器,以使所述控制器基于所述驾驶辅助信息对所述车辆进行控制。
8.一种驾驶辅助装置,其特征在于,包括:
第一获取模块,用于获取第一图像中每个像素点的颜色特征和位置特征,其中,所述第一图像为车辆的外部驾驶环境图像;
计算模块,用于基于所述颜色特征和所述位置特征,计算所述第一图像中,任意相邻两个像素点之间的特征差值;
第一确定模块,用于将所述第一图像中,所述特征差值小于第一阈值的任意相邻的两个像素点确定为同一像素块中的像素点,得到至少一个第一像素块;
输出模块,用于在所述至少一个第一像素块中包括目标像素块的情况下,输出所述目标像素块对应的驾驶辅助信息,所述目标像素块为预设环境元素对应的像素块。
9.一种电子设备,其特征在于,包括:处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序,所述程序被所述处理器执行时实现如权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111325485.8A CN116109711A (zh) | 2021-11-10 | 2021-11-10 | 一种驾驶辅助方法、装置和电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111325485.8A CN116109711A (zh) | 2021-11-10 | 2021-11-10 | 一种驾驶辅助方法、装置和电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116109711A true CN116109711A (zh) | 2023-05-12 |
Family
ID=86264263
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111325485.8A Pending CN116109711A (zh) | 2021-11-10 | 2021-11-10 | 一种驾驶辅助方法、装置和电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116109711A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117237926A (zh) * | 2023-11-14 | 2023-12-15 | 广州斯沃德科技有限公司 | 一种车辆行驶状态确定方法、系统、设备及可读存储介质 |
-
2021
- 2021-11-10 CN CN202111325485.8A patent/CN116109711A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117237926A (zh) * | 2023-11-14 | 2023-12-15 | 广州斯沃德科技有限公司 | 一种车辆行驶状态确定方法、系统、设备及可读存储介质 |
CN117237926B (zh) * | 2023-11-14 | 2024-02-06 | 广州斯沃德科技有限公司 | 一种车辆行驶状态确定方法、系统、设备及可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113284366B (zh) | 车辆盲区预警方法、预警装置、mec平台和存储介质 | |
CN109284674B (zh) | 一种确定车道线的方法及装置 | |
DE102020127043A1 (de) | Sicherheitssystem für ein fahrzeug | |
CN112172663A (zh) | 一种基于开车门的危险报警方法及相关设备 | |
US20140327557A1 (en) | Display method and display system for a vehicle | |
CN113189989B (zh) | 车辆意图预测方法、装置、设备及存储介质 | |
CN114943941A (zh) | 一种目标检测方法及装置 | |
CN114841910A (zh) | 车载镜头遮挡识别方法及装置 | |
CN116486351A (zh) | 行车预警方法、装置、设备及存储介质 | |
CN116109711A (zh) | 一种驾驶辅助方法、装置和电子设备 | |
CN116109698B (zh) | 目标虚拟车位坐标值的确定方法、装置及存储介质 | |
CN110727269B (zh) | 车辆控制方法及相关产品 | |
US20220414917A1 (en) | Method and apparatus for obtaining 3d information of vehicle | |
Habib et al. | Lane departure detection and transmission using Hough transform method | |
CN112078580A (zh) | 用于确定对象与行车带的重合度的方法,装置和存储介质 | |
CN112912892A (zh) | 自动驾驶方法和装置、距离确定方法和装置 | |
CN116363100A (zh) | 图像质量评价方法、装置、设备及存储介质 | |
CN116129382A (zh) | 车道线检测模型的训练方法、车道线检测方法及电子设备 | |
Oniga et al. | A fast ransac based approach for computing the orientation of obstacles in traffic scenes | |
WO2022142827A1 (zh) | 占道信息确定方法和装置 | |
CN108416305B (zh) | 连续型道路分割物的位姿估计方法、装置及终端 | |
WO2020100540A1 (ja) | 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム | |
CN115063594B (zh) | 一种基于自动驾驶的特征提取方法及装置 | |
CN117423093B (zh) | 基于行车记录仪的行车检测方法、装置、设备及存储介质 | |
Kawamura et al. | Road Crossing Assistance Method Using Object Detection Based on Deep Learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |