CN108297867A - 一种基于人工智能的车道偏离预警方法及系统 - Google Patents
一种基于人工智能的车道偏离预警方法及系统 Download PDFInfo
- Publication number
- CN108297867A CN108297867A CN201810139839.1A CN201810139839A CN108297867A CN 108297867 A CN108297867 A CN 108297867A CN 201810139839 A CN201810139839 A CN 201810139839A CN 108297867 A CN108297867 A CN 108297867A
- Authority
- CN
- China
- Prior art keywords
- image
- vehicle
- lane line
- track
- coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 29
- 238000005516 engineering process Methods 0.000 claims abstract description 23
- 238000000605 extraction Methods 0.000 claims abstract description 15
- 239000000284 extract Substances 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 19
- 238000005260 corrosion Methods 0.000 claims description 14
- 230000007797 corrosion Effects 0.000 claims description 14
- 238000004458 analytical method Methods 0.000 claims description 11
- 238000013135 deep learning Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 7
- 238000013075 data extraction Methods 0.000 claims description 6
- 238000013499 data model Methods 0.000 claims description 6
- 230000003628 erosive effect Effects 0.000 claims description 6
- 238000003709 image segmentation Methods 0.000 claims description 6
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000011800 void material Substances 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 206010041349 Somnolence Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
- B60W30/10—Path keeping
- B60W30/12—Lane keeping
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/143—Alarm means
Abstract
本发明涉及一种基于人工智能的车道偏离预警方法及系统，该预警方法包括：基于深度学习技术对车道视频数据和预存储的车道线数据进行处理，得到车道线模型；提取场景视频图像中连续的帧图像；通过车道线模型提取帧图像中的合法车道线；通过三维坐标系得到合法车道线的三维坐标，根据合法车道线的三维坐标规划安全界限；当车辆的偏航距离大于安全界限时，发出提示警报。本发明实施例通过深度学习技术学习不同路面的车道线和车道视频数据的对应关系，构建车道线模型，根据车道线模型提取视频图像中的合法车道线，并以此规划安全界限，当车辆的偏航距离超出安全界限时，即发出警报，提醒驾驶人员，避免车辆偏离导致事故发生，保障汽车的安全驾驶。
Description
技术领域
本发明涉及汽车安全技术领域，尤其涉及一种基于人工智能的车道偏离预警方法及系统。
背景技术
目前驾驶员因疏忽、疲劳、瞌睡或状态不集中的状况下导致的车道偏离事故和汽车追尾事故约占整个公路交通事故的60％-70％，死亡人数约占70％。据美国联邦公路局的估计，利用能检测车辆运行时的横向位置的系统和能检测到车辆运行时前车距离的系统将能大大降低这些交通事故的发生，因此，基于人工智能的车道偏离预警和防前车碰撞系统的研究引起了各个国家的高度重视。
发明内容
为了解决现有技术存在的问题，本发明的至少一个实施例提供了一种基于人工智能的车道偏离预警方法，包括：
获取不同路面的车道视频数据，基于深度学习技术对所述车道视频数据和预存储的车道线数据进行处理，得到车道线模型；
获取车辆前方区域的场景视频图像，提取所述场景视频图像中连续的帧图像；
通过所述车道线模型提取所述帧图像中的合法车道线；
建立基于所述车辆的三维坐标系，通过所述三维坐标系得到所述合法车道线的三维坐标，根据所述合法车道线的三维坐标规划安全界限；
当所述车辆的偏航距离大于所述安全界限时，发出提示警报。基于上述技术方案，本发明实施例还可以做出如下改进。
可选的，所述通过所述车道线模型提取所述帧图像中的合法车道线，具体包括：
对所述帧图像进行清晰化处理，得到待处理图像；
基于所述车道线模型从所述待处理图像中提取车道线图像；
当连续第一预设帧数中出现至少第二预设帧数的帧图像中具有相同的车道线图像时，所述车道线图像为所述帧图像的合法车道线；
当连续第一预设帧数中未出现至少第二预设帧数的帧图像中具有相同的车道线图像时，所述车道线图像为所述帧图像的非合法车道线。
可选的，所述对所述帧图像进行清晰化处理，得到待处理图像，具体包括：
通过图像分割技术对所述帧图像进行处理，并将处理后的帧图像转化为灰度图像；
对所述灰度图像采用膨胀算子进行膨胀处理；
对膨胀处理过后的灰度图像中具有完整轮廓的图形的内部区域进行填充；
对填充过后的灰度图像采用腐蚀算子进行腐蚀处理；
对腐蚀处理过后的灰度图像中存在的噪声进行删除处理，得到待处理图像。
可选的，所述建立基于所述车辆的三维坐标系，通过所述三维坐标系得到所述合法车道线的三维坐标，根据所述合法车道线的三维坐标规划安全界限，具体包括：
获取采集车辆前方区域的场景视频图像的装置的位置参数，通过逆透视映射技术根据所述位置参数建立所述三维坐标系；
通过所述三维坐标系得到车辆的三维坐标和所述合法车道线的三维坐标；
通过车辆的三维坐标和所述合法车道线的三维坐标，计算所述车辆与所述车辆两侧所述合法车道线的间距；
根据所述间距按预设规则来规划所述安全界限。
可选的，所述当所述车辆的偏航距离大于所述安全界限时，发出提示警报，具体包括：
获取所述车辆与所述安全界限之间的间距，获取车辆的车轮的偏移方向和车辆的车速；
通过所述车轮的偏移方向和所述车辆的车速计算所述车辆超出所述安全界限的运行时长；
当所述运行时长小于预设安全时长时，发出提示警报。
本发明实施例还提供了一种基于人工智能的车道偏离预警系统，包括：数据模型子系统、数据库子系统、视频采集子系统、数据提取子系统、数据处理子系统和安全判断子系统；
所述数据模型子系统，用于从数据库子系统中获取不同路面的车道视频数据，基于深度学习技术对所述车道视频数据和数据库子系统中预存储的车道线数据进行处理，得到车道线模型；
所述视频采集子系统，用于获取车辆前方区域的场景视频图像；
所述数据提取子系统，用于提取所述场景视频图像中连续的帧图像，通过所述车道线模型提取所述帧图像中的合法车道线；
所述数据处理子系统，用于建立基于所述车辆的三维坐标系，通过所述三维坐标系得到所述合法车道线的三维坐标，根据所述合法车道线的三维坐标规划安全界限；
所述安全判断子系统，用于判断所述车辆的偏航距离是否大于所述安全界限，当所述车辆的偏航距离大于所述安全界限时，发出提示警报。
可选的，所述数据提取子系统，具体用于，对所述帧图像进行清晰化处理，得到待处理图像；基于所述车道线模型从所述待处理图像中提取车道线图像；当连续第一预设帧数中出现至少第二预设帧数的帧图像中具有相同的车道线图像时，所述车道线图像为所述帧图像的合法车道线；当连续第一预设帧数中未出现至少第二预设帧数的帧图像中具有相同的车道线图像时，所述车道线图像为所述帧图像的非合法车道线。
可选的，所述数据提取子系统，具体用于，通过图像分割技术对所述帧图像进行处理，并将处理后的帧图像转化为灰度图像；对所述灰度图像采用膨胀算子进行膨胀处理；对膨胀处理过后的灰度图像中具有完整轮廓的图形的内部区域进行填充；对填充过后的灰度图像采用腐蚀算子进行腐蚀处理；腐蚀处理过后的灰度图像中存在的噪声进行删除处理，得到待处理图像。
可选的，所述数据处理子系统，具体用于，获取采集车辆前方区域的场景视频图像的装置的位置参数，通过逆透视映射技术根据所述位置参数建立所述三维坐标系；通过所述三维坐标系得到车辆的三维坐标和所述合法车道线的三维坐标；通过车辆的三维坐标和所述合法车道线的三维坐标，计算所述车辆与所述车辆两侧所述合法车道线的间距；根据所述间距按预设规则来规划所述安全界限。
可选的，所述安全判断子系统，具体用于，获取车辆与所述安全界限之间的间距，获取车辆的车轮的偏移方向和车辆的车速；通过所述车轮的偏移方向和所述车辆的车速计算所述车辆超出所述安全界限的运行时长；判断所述运行时长是否小于预设安全时长，当所述运行时长小于预设安全时长时，发出提示警报。
本发明的上述技术方案与现有技术相比具有如下优点：本发明实施例通过深度学习技术学习不同路面的车道线和车道视频数据的对应关系，构建车道线模型，根据车道线模型提取视频图像中的合法车道线，并以此规划安全界限，当车辆的偏航距离超出安全界限时，即发出警报，提醒驾驶人员，避免车辆偏离导致事故发生，保障汽车的安全驾驶。
附图说明
图1是本发明实施例提供的一种基于人工智能的车道偏离预警方法流程示意图；
图2是本发明又一实施例提供的一种基于人工智能的车道偏离预警方法流程示意图；
图3是本发明另一实施例提供的一种基于人工智能的车道偏离预警方法流程示意图；
图4是本发明另一实施例提供的一种基于人工智能的车道偏离预警方法流程示意图其一；
图5是本发明另一实施例提供的一种基于人工智能的车道偏离预警方法流程示意图其二；
图6是本发明另一实施例提供的一种基于人工智能的车道偏离预警系统结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供的一种基于人工智能的车道偏离预警方法，包括：
S11、获取不同路面的车道视频数据，基于深度学习技术对车道视频数据和预存储的车道线数据进行处理，得到车道线模型。
具体的，深度学习的概念源于人工神经网络的研究，深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示，上述步骤中通过获取大量不同路面的车道视频数据，将车道视频数据和预存储的车道线数据通过深度学习技术进行训练，以得到发现数据之间的分布式特征作为该车道线模型。
S12、获取车辆前方区域的场景视频图像，提取场景视频图像中连续的帧图像。
具体的，通过视频采集装置获取车辆前方区域的场景视频图像，视频采集装置包括如摄像头、相机等，从场景视频图像中提取连续的帧图像进行处理，提高数据处理的效率。
S13、通过车道线模型提取帧图像中的合法车道线。
具体的，上述步骤中得到的车道线模型是由车道视频数据和车道线数据基于深度学习技术得到，将帧图像输入该车道线模型，根据车道线模型中的数据之间的分布式特征记录对应提取帧图像中的车道线。
S14、建立基于车辆的三维坐标系，通过三维坐标系得到合法车道线的三维坐标，根据合法车道线的三维坐标规划安全界限。
具体的，以车辆的某一位置，如采集视频图像的位置为原点，构建三维坐标系，将场景中的各个点都以坐标进行替代，以此计算车辆与各车道线之间的距离，并进行规划安全界限，该安全界限根据具体的设定进行划分，如防止车道超出实线和双黄线的，安全界限应设定在实线和双黄线之内，防止车辆变道造成事故的，应防止车辆偏离与车辆距离最近的虚线，安全界限应设定在距离车辆最近的虚线之内，安全界限的限定可根据需求进行调整，以适应不同场景的道路情况。
S15、当车辆的偏航距离大于安全界限时，发出提示警报。
具体的，根据车辆的行驶情况计算车辆的偏航距离，或根据三维坐标系中的车辆坐标与原始的坐标原点的偏移距离作为该车辆的偏航距离，当车辆的偏航距离超出安全界限时，实时发出警报进行提示，提醒驾驶员进行调整，保证安全驾驶，或者通过车辆的航向，判断车辆是否会在预设时长内驶出安全界限，在该情况下，也会发出警报进行提示。
上述实施例中，通过深度学习技术学习不同路面情况视频数据与车道线的数据之间的关系，由此得到相应的车道线模型，通过采集车辆前方的场景视频图像，提取其中的帧图像输入车道线模型，得到帧图像中的车道线，判断该车道线是否为合法车道线，即避免帧图像中出现与车道线形状类似的干扰物被识别为车道线对安全界限规划的影响，通过建立基于车辆的三维坐标系，由此得到合法车道线的三维坐标，并进行安全界限规划，当车辆行驶过程中超过安全界限时，及时发出警报对驾驶员进行提醒，以保证驾驶员安全驾驶。
如图2所示，本发明又一实施例提供的一种基于人工智能的车道偏离预警方法，包括：
S21、对帧图像进行清晰化处理，得到待处理图像。
具体的，由于采集的视频信号受外界环境因素的影响，如温度、光照、湿度、震动等外界恶劣条件的影响，使得采集的图像出现严重失真，因此首先需要对模数转换后的多幅测距视频图像进行清晰化处理，减少干扰项对帧图像的影响。
S22、基于车道线模型从待处理图像中提取车道线图像。
具体的，上述实施例中得到的车道线模型是由车道视频数据和车道线数据基于深度学习技术得到，将帧图像输入该车道线模型，根据车道线模型中的数据之间的分布式特征记录对应提取帧图像中的车道线图像。
S23a、当连续第一预设帧数中出现至少第二预设帧数的帧图像中具有相同的车道线图像时，车道线图像为帧图像的合法车道线；
S23b、当连续第一预设帧数中未出现至少第二预设帧数的帧图像中具有相同的车道线图像时，车道线图像为帧图像的非合法车道线。
具体的，根据预设帧数中的各帧图像中的是否出现相同的车道线图像，以此来对帧图像中的出现的干扰项进行过滤，比如与车道线类似形状的图像，其中第一预设帧数大于第二预设帧数，例如，假设第一预设帧数为20，第二预设帧数为5，即检测并允许为合法车道线的最低帧数为5帧，车道线无法正确匹配而被错过的最大允许帧数为20帧，该第一预设帧数和第二预设帧数由具体的场景情况和用户需求的精准性进行调整。
上述实施例中，对温度、光照、湿度、震动等外界恶劣条件使拍摄的视频图像产生的失真进行处理，减少图像失真对数据处理的干扰，提取帧图像中的车道线图像，通过车道线图像出现的次数判断该车道线是否为合法车道线，以过滤掉其中与车道线形状类似的物体的干扰，保证安全界限的准确性。
如图3所示，本发明另一实施例提供的一种基于人工智能的车道偏离预警方法，包括：
S31、通过图像分割技术对帧图像进行处理，并将处理后的帧图像转化为灰度图像；
具体的，由于车道线图像具有一定的连续性和形状，所以在识别车道线时，不需要识别车道线的色彩，而且在系统进行图像识别时，大量的色彩会产生庞大的计算量，通过转化为灰度图像以减少计算量，提高计算效率。
S32、对灰度图像采用膨胀算子进行膨胀处理；
具体的，通过对灰度图像采集膨胀算子进行膨胀处理，从而填补空洞的边缘、增强目标的完整性和连续性。
S33、对膨胀处理过后的灰度图像中具有完整轮廓的图形的内部区域进行填充；
具体的，通过对具有完整轮廓的图形的内部区域进行填充，从而进一步填充灰度图像内部空洞、增强目标的完整性，如当灰度图像内部空洞的面积小于预设阈值200像素时，将其进行填充。
S34、对填充过后的灰度图像采用腐蚀算子进行腐蚀处理；
具体的，通过腐蚀处理使灰度图像中的所有目标区域向内收缩，从而消除部分尺寸较小的噪声。
S35、对腐蚀处理过后的灰度图像中存在的噪声进行删除处理，得到待处理图像。
具体的，判断腐蚀处理后的灰度图像中是否存在噪声，因为噪声的面积较小或过于狭长，对于灰度图中具有完整轮廓的图形的区域，在其外接最小矩形，当外接矩形的面积小于30像素或外接矩形的长度大于15像素时，具体的大小可根据情况的不同预先进行设置，判断其为噪声，将其进行删除。
上述实施例中，通过多种算法和处理方法对帧图像进行处理后，减少帧图像中的噪声对后续处理的干扰，提高图像识别的准确性。
如图4所示，本发明另一实施例提供的一种基于人工智能的车道偏离预警方法，包括：
S41、获取采集车辆前方区域的场景视频图像的装置的位置参数，通过逆透视映射技术根据位置参数建立三维坐标系；
具体的，根据采集场景视频图像的装置的位置参数，如摄像机的位置参数，其设置的高度，其与地面的夹角，和其拍摄的图像广角，通过逆透视映射技术领域的IPM公式进行计算，建立三维坐标系，从而得到视频图像的三维坐标系。
S42、通过三维坐标系得到车辆的三维坐标和合法车道线的三维坐标；
S43、通过车辆的三维坐标和合法车道线的三维坐标，计算车辆与车辆两侧合法车道线的间距；
具体的，通过转换建立三维坐标系后，即可得到三维坐标系中各个目标的三维坐标，由此来测算各目标之间的间距。
S44、根据间距按预设规则来规划安全界限。
具体的，安全界限根据具体的设定进行划分，如防止车道超出实线和双黄线的，安全界限应设定在实线和双黄线之内，防止车辆变道造成事故的，应防止车辆偏离与车辆距离最近的虚线，安全界限应设定在距离车辆最近的虚线之内，根据规划策略的不同，可得到不同的安全界限。
上述实施例中，根据采集视频图像的装置的位置参数，建立相应的三维坐标系，由此得到视频图像内各个目标的三维坐标，通过各个目标的三维坐标即可实现距离测算，从而根据各目标之间的间距规划安全界限。
如图5所示，本发明另一实施例提供的一种基于人工智能的车道偏离预警方法，包括：
S51、获取车辆与安全界限之间的间距，获取车辆的车轮的偏移方向和车辆的车速；
S52、通过车轮的偏移方向和车辆的车速计算车辆超出安全界限的运行时长；
具体的，车辆的车速和车辆车轮的偏移方向，即车辆的航向和航速，根据车辆与安全界限的间距和车辆的航向，即可计算得到车辆行驶多长距离会超出安全界限，将该距离除以车辆的车速，即可得到该运行时长。
S53、当运行时长小于预设安全时长时，发出提示警报。
具体的，当运行时长小于预设安全时长时，即发出提示警报，通过预测车辆的前行路径来进行警报，可避免车辆已超出安全界限后再发出警报提醒过晚，驾驶员无法及时进行处理的情况。
上述实施例中，通过计算预测该车辆是否会在预设时长内超出安全界限，来选择是否发送警报，为驾驶人员留出反应时间进行处理，进一步保证驾驶员安全驾驶。
如图6所示，本发明实施例还提供了一种基于人工智能的车道偏离预警系统，包括：数据模型子系统、数据库子系统、视频采集子系统、数据提取子系统、数据处理子系统和安全判断子系统；
在本实施例中，数据模型子系统，用于从数据库子系统中获取不同路面的车道视频数据，基于深度学习技术对车道视频数据和数据库子系统中预存储的车道线数据进行处理，得到车道线模型。
在本实施例中，视频采集子系统，用于获取车辆前方区域的场景视频图像。
在本实施例中，数据提取子系统，用于提取场景视频图像中连续的帧图像，通过车道线模型提取帧图像中的合法车道线，具体的，数据提取子系统对帧图像进行清晰化处理，得到待处理图像；基于车道线模型从待处理图像中提取车道线图像；当连续第一预设帧数中出现至少第二预设帧数的帧图像中具有相同的车道线图像时，车道线图像为帧图像的合法车道线；当连续第一预设帧数中未出现至少第二预设帧数的帧图像中具有相同的车道线图像时，车道线图像为帧图像的非合法车道线；数据提取子系统通过图像分割技术对帧图像进行处理，并将处理后的帧图像转化为灰度图像；对灰度图像采用膨胀算子进行膨胀处理；对膨胀处理过后的灰度图像中具有完整轮廓的图形的内部区域进行填充；对填充过后的灰度图像采用腐蚀算子进行腐蚀处理；腐蚀处理过后的灰度图像中存在的噪声进行删除处理，得到待处理图像。
在本实施例中，数据处理子系统，用于建立基于车辆的三维坐标系，通过三维坐标系得到合法车道线的三维坐标，根据合法车道线的三维坐标规划安全界限，具体的，数据处理子系统获取采集车辆前方区域的场景视频图像的装置的位置参数，通过逆透视映射技术根据位置参数建立三维坐标系；通过三维坐标系得到车辆的三维坐标和合法车道线的三维坐标；通过车辆的三维坐标和合法车道线的三维坐标，计算车辆与车辆两侧合法车道线的间距；根据间距按预设规则来规划安全界限。
在本实施例中，安全判断子系统，用于判断车辆的偏航距离是否大于安全界限，当车辆的偏航距离大于安全界限时，发出提示警报，具体的，安全判断子系统获取车辆与安全界限之间的间距，获取车辆的车轮的偏移方向和车辆的车速；通过车轮的偏移方向和车辆的车速计算车辆超出安全界限的运行时长；安全判断子系统包括：语音提醒单元和声光报警单元，安全判断子系统判断运行时长是否小于预设安全时长，当运行时长小于预设安全时长时，通过语音提醒单元和声光报警单元发出提示警报。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于人工智能的车道偏离预警方法，其特征在于，包括：
获取不同路面的车道视频数据，基于深度学习技术对所述车道视频数据和预存储的车道线数据进行处理，得到车道线模型；
获取车辆前方区域的场景视频图像，提取所述场景视频图像中连续的帧图像；
通过所述车道线模型提取所述帧图像中的合法车道线；
建立基于所述车辆的三维坐标系，通过所述三维坐标系得到所述合法车道线的三维坐标，根据所述合法车道线的三维坐标规划安全界限；
当所述车辆的偏航距离大于所述安全界限时，发出提示警报。
2.根据权利要求1所述的一种基于人工智能的车道偏离预警方法，其特征在于，所述通过所述车道线模型提取所述帧图像中的合法车道线，具体包括：
对所述帧图像进行清晰化处理，得到待处理图像；
基于所述车道线模型从所述待处理图像中提取车道线图像；
当连续第一预设帧数中出现至少第二预设帧数的帧图像中具有相同的车道线图像时，所述车道线图像为所述帧图像的合法车道线；
当连续第一预设帧数中未出现至少第二预设帧数的帧图像中具有相同的车道线图像时，所述车道线图像为所述帧图像的非合法车道线。
3.根据权利要求2所述的一种基于人工智能的车道偏离预警方法，其特征在于，所述对所述帧图像进行清晰化处理，得到待处理图像，具体包括：
通过图像分割技术对所述帧图像进行处理，并将处理后的帧图像转化为灰度图像；
对所述灰度图像采用膨胀算子进行膨胀处理；
对膨胀处理过后的灰度图像中具有完整轮廓的图形的内部区域进行填充；
对填充过后的灰度图像采用腐蚀算子进行腐蚀处理；
对腐蚀处理过后的灰度图像中存在的噪声进行删除处理，得到待处理图像。
4.根据权利要求1所述的一种基于人工智能的车道偏离预警方法，其特征在于，所述建立基于所述车辆的三维坐标系，通过所述三维坐标系得到所述合法车道线的三维坐标，根据所述合法车道线的三维坐标规划安全界限，具体包括：
获取采集车辆前方区域的场景视频图像的装置的位置参数，通过逆透视映射技术根据所述位置参数建立所述三维坐标系；
通过所述三维坐标系得到车辆的三维坐标和所述合法车道线的三维坐标；
通过车辆的三维坐标和所述合法车道线的三维坐标，计算所述车辆与所述车辆两侧所述合法车道线的间距；
根据所述间距按预设规则来规划所述安全界限。
5.根据权利要求1-4中任一所述的一种基于人工智能的车道偏离预警方法，其特征在于，所述当所述车辆的偏航距离大于所述安全界限时，发出提示警报，具体包括：
获取所述车辆与所述安全界限之间的间距，获取车辆的车轮的偏移方向和车辆的车速；
通过所述车轮的偏移方向和所述车辆的车速计算所述车辆超出所述安全界限的运行时长；
当所述运行时长小于预设安全时长时，发出提示警报。
6.一种基于人工智能的车道偏离预警系统，其特征在于，包括：数据模型子系统、数据库子系统、视频采集子系统、数据提取子系统、数据处理子系统和安全判断子系统；
所述数据模型子系统，用于从数据库子系统中获取不同路面的车道视频数据，基于深度学习技术对所述车道视频数据和数据库子系统中预存储的车道线数据进行处理，得到车道线模型；
所述视频采集子系统，用于获取车辆前方区域的场景视频图像；
所述数据提取子系统，用于提取所述场景视频图像中连续的帧图像，通过所述车道线模型提取所述帧图像中的合法车道线；
所述数据处理子系统，用于建立基于所述车辆的三维坐标系，通过所述三维坐标系得到所述合法车道线的三维坐标，根据所述合法车道线的三维坐标规划安全界限；
所述安全判断子系统，用于判断所述车辆的偏航距离是否大于所述安全界限，当所述车辆的偏航距离大于所述安全界限时，发出提示警报。
7.根据权利要求6所述的一种基于人工智能的车道偏离预警系统，其特征在于，所述数据提取子系统，具体用于，对所述帧图像进行清晰化处理，得到待处理图像；基于所述车道线模型从所述待处理图像中提取车道线图像；当连续第一预设帧数中出现至少第二预设帧数的帧图像中具有相同的车道线图像时，所述车道线图像为所述帧图像的合法车道线；当连续第一预设帧数中未出现至少第二预设帧数的帧图像中具有相同的车道线图像时，所述车道线图像为所述帧图像的非合法车道线。
8.根据权利要求7所述的一种基于人工智能的车道偏离预警系统，其特征在于，所述数据提取子系统，具体用于，通过图像分割技术对所述帧图像进行处理，并将处理后的帧图像转化为灰度图像；对所述灰度图像采用膨胀算子进行膨胀处理；对膨胀处理过后的灰度图像中具有完整轮廓的图形的内部区域进行填充；对填充过后的灰度图像采用腐蚀算子进行腐蚀处理；腐蚀处理过后的灰度图像中存在的噪声进行删除处理，得到待处理图像。
9.根据权利要求6所述的一种基于人工智能的车道偏离预警系统，其特征在于，所述数据处理子系统，具体用于，获取采集车辆前方区域的场景视频图像的装置的位置参数，通过逆透视映射技术根据所述位置参数建立所述三维坐标系；通过所述三维坐标系得到车辆的三维坐标和所述合法车道线的三维坐标；通过车辆的三维坐标和所述合法车道线的三维坐标，计算所述车辆与所述车辆两侧所述合法车道线的间距；根据所述间距按预设规则来规划所述安全界限。
10.根据权利要求6-9中任一所述的一种基于人工智能的车道偏离预警系统，其特征在于，所述安全判断子系统，具体用于，获取车辆与所述安全界限之间的间距，获取车辆的车轮的偏移方向和车辆的车速；通过所述车轮的偏移方向和所述车辆的车速计算所述车辆超出所述安全界限的运行时长；判断所述运行时长是否小于预设安全时长，当所述运行时长小于预设安全时长时，发出提示警报。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810139839.1A CN108297867B (zh) | 2018-02-11 | 2018-02-11 | 一种基于人工智能的车道偏离预警方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810139839.1A CN108297867B (zh) | 2018-02-11 | 2018-02-11 | 一种基于人工智能的车道偏离预警方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108297867A true CN108297867A (zh) | 2018-07-20 |
| CN108297867B CN108297867B (zh) | 2019-12-03 |
Family
ID=62865040
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810139839.1A Expired - Fee Related CN108297867B (zh) | 2018-02-11 | 2018-02-11 | 一种基于人工智能的车道偏离预警方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108297867B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109271959A (zh) * | 2018-09-30 | 2019-01-25 | 京东方科技集团股份有限公司 | 一种车辆偏移预警方法及装置 |
| CN109685850A (zh) * | 2018-12-29 | 2019-04-26 | 百度在线网络技术（北京）有限公司 | 一种横向定位方法及车载设备 |
| CN110796606A (zh) * | 2018-08-01 | 2020-02-14 | 新疆万兴信息科技有限公司 | 一种确定IPM matrix参数的方法及装置 |
| CN110879943A (zh) * | 2018-09-05 | 2020-03-13 | 北京嘀嘀无限科技发展有限公司 | 一种图像数据处理方法及系统 |
| CN111611942A (zh) * | 2020-05-22 | 2020-09-01 | 山东大学 | 一种透视自适应车道骨架提取建库的方法 |
| CN112339773A (zh) * | 2020-11-10 | 2021-02-09 | 中科海微(北京)科技有限公司 | 一种基于单目视觉的非主动车道偏离预警方法及系统 |
| CN112793571A (zh) * | 2021-01-28 | 2021-05-14 | 北京信息科技大学 | 一种基于fpga系统的车道线识别装置和方法 |
| CN114379553A (zh) * | 2021-12-23 | 2022-04-22 | 浙江吉利控股集团有限公司 | 驾驶辅助控制方法、驾驶辅助控制装置和驾驶辅助系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1763485A (zh) * | 2004-10-19 | 2006-04-26 | 黄启瑞 | 车辆偏离车道的预警系统 |
| CN101894271A (zh) * | 2010-07-28 | 2010-11-24 | 重庆大学 | 汽车偏离车道线角度和距离的视觉计算及预警方法 |
| CN102303609A (zh) * | 2011-06-16 | 2012-01-04 | 广东铁将军防盗设备有限公司 | 车道偏离预警系统及方法 |
| CN102616241A (zh) * | 2012-03-28 | 2012-08-01 | 周圣砚 | 基于车道线模型检测方法和在线学习方法的车道偏离报警系统 |
| CN103738243A (zh) * | 2013-10-29 | 2014-04-23 | 惠州华阳通用电子有限公司 | 一种车道偏离预警方法 |
-
2018
- 2018-02-11 CN CN201810139839.1A patent/CN108297867B/zh not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1763485A (zh) * | 2004-10-19 | 2006-04-26 | 黄启瑞 | 车辆偏离车道的预警系统 |
| CN101894271A (zh) * | 2010-07-28 | 2010-11-24 | 重庆大学 | 汽车偏离车道线角度和距离的视觉计算及预警方法 |
| CN102303609A (zh) * | 2011-06-16 | 2012-01-04 | 广东铁将军防盗设备有限公司 | 车道偏离预警系统及方法 |
| CN102616241A (zh) * | 2012-03-28 | 2012-08-01 | 周圣砚 | 基于车道线模型检测方法和在线学习方法的车道偏离报警系统 |
| CN103738243A (zh) * | 2013-10-29 | 2014-04-23 | 惠州华阳通用电子有限公司 | 一种车道偏离预警方法 |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110796606A (zh) * | 2018-08-01 | 2020-02-14 | 新疆万兴信息科技有限公司 | 一种确定IPM matrix参数的方法及装置 |
| CN110796606B (zh) * | 2018-08-01 | 2023-07-07 | 新疆万兴信息科技有限公司 | 一种确定IPM matrix参数的方法、装置、电子设备及介质 |
| CN110879943A (zh) * | 2018-09-05 | 2020-03-13 | 北京嘀嘀无限科技发展有限公司 | 一种图像数据处理方法及系统 |
| CN110879943B (zh) * | 2018-09-05 | 2022-08-19 | 北京嘀嘀无限科技发展有限公司 | 一种图像数据处理方法及系统 |
| CN109271959A (zh) * | 2018-09-30 | 2019-01-25 | 京东方科技集团股份有限公司 | 一种车辆偏移预警方法及装置 |
| US10759448B2 (en) | 2018-09-30 | 2020-09-01 | Boe Technology Group Co., Ltd. | Method and apparatus for early warning of vehicle offset |
| CN109685850A (zh) * | 2018-12-29 | 2019-04-26 | 百度在线网络技术（北京）有限公司 | 一种横向定位方法及车载设备 |
| CN111611942B (zh) * | 2020-05-22 | 2022-03-22 | 山东大学 | 一种透视自适应车道骨架提取建库的方法 |
| CN111611942A (zh) * | 2020-05-22 | 2020-09-01 | 山东大学 | 一种透视自适应车道骨架提取建库的方法 |
| CN112339773B (zh) * | 2020-11-10 | 2021-12-14 | 中科海微(北京)科技有限公司 | 一种基于单目视觉的非主动车道偏离预警方法及系统 |
| CN112339773A (zh) * | 2020-11-10 | 2021-02-09 | 中科海微(北京)科技有限公司 | 一种基于单目视觉的非主动车道偏离预警方法及系统 |
| CN112793571A (zh) * | 2021-01-28 | 2021-05-14 | 北京信息科技大学 | 一种基于fpga系统的车道线识别装置和方法 |
| CN114379553A (zh) * | 2021-12-23 | 2022-04-22 | 浙江吉利控股集团有限公司 | 驾驶辅助控制方法、驾驶辅助控制装置和驾驶辅助系统 |
| CN114379553B (zh) * | 2021-12-23 | 2023-12-08 | 浙江吉利控股集团有限公司 | 驾驶辅助控制方法、驾驶辅助控制装置和驾驶辅助系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108297867B (zh) | 2019-12-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108297867B (zh) | 一种基于人工智能的车道偏离预警方法及系统 | |
| US6734787B2 (en) | Apparatus and method of recognizing vehicle travelling behind | |
| CN106379237B (zh) | 基于增强现实的车辆换道全过程辅助驾驶系统 | |
| CN101739829B (zh) | 一种基于视频的车辆超速监控方法及系统 | |
| CN104021388B (zh) | 基于双目视觉的倒车障碍物自动检测及预警方法 | |
| CN106647776B (zh) | 车辆变道趋势的判断方法、判断装置和计算机存储介质 | |
| DE112010003874B4 (de) | Fahrzeugsteuerung | |
| CN102785661B (zh) | 车道偏离控制系统及方法 | |
| JP6416293B2 (ja) | 自動車に接近する対象車両を自動車のカメラシステムにより追跡する方法、カメラシステムおよび自動車 | |
| EP2741256B1 (en) | Moving body detection device and method | |
| CN108243623A (zh) | 基于双目立体视觉的汽车防碰撞预警方法和系统 | |
| DE112013001424T5 (de) | Objekterkennungsvorrichtung | |
| CN105047019B (zh) | 一种客运车辆防止后车超车后突然变道判断方法及装置 | |
| EP2788968B1 (de) | Verfahren und fahrzeugassistenzsystem zur aktiven warnung und/oder zur navigationshilfe zur vermeidung einer kollision eines fahrzeugkarosserieteils und/oder eines fahrzeugrades mit einem objekt | |
| DE102009050504A1 (de) | Verfahren zum Detektieren eines freien Pfads durch eine Analyse einer topografischen Veränderung | |
| CN102306293A (zh) | 基于面部图像识别技术的评判实际道路驾驶员考试的方法 | |
| CN109325389A (zh) | 车道线识别方法、装置及车辆 | |
| DE102015205685A1 (de) | Fahrbahnmarkierungserkennungseinrichtung | |
| DE102016215115A1 (de) | Vorrichtung und Verfahren zum Detektieren von Verkehrsteilnehmern in einem Umfeld eines Ego-Fahrzeugs | |
| CN106864458A (zh) | 一种自动绕障系统及方法、智能汽车 | |
| CN107886034A (zh) | 行车提醒方法、装置及车辆 | |
| CN107517592A (zh) | 汽车可行驶区域实时检测方法和系统 | |
| CN110349415B (zh) | 一种基于多尺度变换的行车速度测量方法 | |
| DE102016213377B4 (de) | Verfahren zur Durchfahrtshöhenerkennung | |
| CN106355152A (zh) | 识别当前道路车辆的方法、系统及行车记录仪 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20191203 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |