CN109002797A - 车辆变道检测方法、装置、存储介质和计算机设备 - Google Patents

车辆变道检测方法、装置、存储介质和计算机设备 Download PDF

Info

Publication number
CN109002797A
CN109002797A CN201810778062.3A CN201810778062A CN109002797A CN 109002797 A CN109002797 A CN 109002797A CN 201810778062 A CN201810778062 A CN 201810778062A CN 109002797 A CN109002797 A CN 109002797A
Authority
CN
China
Prior art keywords
vehicle
lane change
region
headstock
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810778062.3A
Other languages
English (en)
Other versions
CN109002797B (zh
Inventor
阮志强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201810778062.3A priority Critical patent/CN109002797B/zh
Publication of CN109002797A publication Critical patent/CN109002797A/zh
Application granted granted Critical
Publication of CN109002797B publication Critical patent/CN109002797B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种车辆变道检测方法、装置、计算机可读存储介质和计算机设备,方法包括:获取包含多帧路面图像的视频序列,根据视频序列检测视觉信息特征;获取车辆的姿态信息,生成姿态信息序列,根据姿态信息序列生成姿态特征;根据视觉信息特征和姿态特征得到车辆变道类型,当根据视觉信息特征确定的车辆变道类型与根据姿态特征确定的车辆变道类型一致时,得到车辆变道类型。通过获取包含多帧路面图像的视频序列,根据视频序列检测视觉信息特征,以及获取到车辆的姿态信息以生成姿态信息序列,根据姿态信息序列检测姿态特征,结合视觉信息特征和姿态特征确定车辆变道类型,这种方式无需建立大量数据库也无需建立基站,更加简易也能节省成本。

Description

车辆变道检测方法、装置、存储介质和计算机设备
技术领域
本申请涉及人工智能技术领域,特别是涉及一种车辆变道检测方法、装置、计算机可读存储介质和计算机设备。
背景技术
随着科技的进步与道路交通状况的不断完善,越来越多的人外出时选择以车辆代步,在行车过程中,经常会遇到需要车辆变道的场景,如超车要变道、前方有障碍或前车出状况等都需要车辆变道,同时也存在一些人随意的超车变道,而在实际的行车过程中,需要变更的车道往往存在其他行驶的车辆,这种情况下,如果没有及时给其他车辆驾驶员足够的提醒和预告,就会存在巨大的安全隐患。
目前的车辆变道检测方法,主要通过车辆的车道级定位方法检测,这种传统的车辆变道检测方法由于需要前期建立大量数据库或需要建立大量基站,方案十分复杂。
发明内容
基于此,有必要针对上述技术问题,提供一种能节省成本且更简易的车辆变道检测方法、装置、计算机可读存储介质和计算机设备。
一种车辆变道检测方法,包括:
获取包含多帧路面图像的视频序列,根据所述视频序列检测视觉信息特征;
获取车辆的姿态信息,生成姿态信息序列,根据所述姿态信息序列生成姿态特征,所述姿态特征是所述姿态信息序列中姿态信息随时间的变化状态;
根据所述视觉信息特征和所述姿态特征得到车辆变道类型,当根据所述视觉信息特征确定的车辆变道类型与根据所述姿态特征确定的车辆变道类型一致时,得到车辆变道类型。
一种车辆变道检测装置,包括:
视觉检测模块,用于获取包含多帧路面图像的视频序列,根据所述视频序列检测视觉信息特征;
姿态检测模块,用于获取车辆的姿态信息,生成姿态信息序列,根据所述姿态信息序列生成姿态特征,所述姿态特征是所述姿态信息序列中姿态信息随时间的变化状态;
车辆变道检测模块,用于根据所述视觉信息特征和所述姿态特征得到车辆变道类型,当根据所述视觉信息特征确定的车辆变道类型与根据所述姿态特征确定的车辆变道类型一致时,得到车辆变道类型。
一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取包含多帧路面图像的视频序列,根据所述视频序列检测视觉信息特征;
获取车辆的姿态信息,生成姿态信息序列,根据所述姿态信息序列生成姿态特征,所述姿态特征是所述姿态信息序列中姿态信息随时间的变化状态;
根据所述视觉信息特征和所述姿态特征得到车辆变道类型,当根据所述视觉信息特征确定的车辆变道类型与根据所述姿态特征确定的车辆变道类型一致时,得到车辆变道类型。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取包含多帧路面图像的视频序列,根据所述视频序列检测视觉信息特征;
获取车辆的姿态信息,生成姿态信息序列,根据所述姿态信息序列生成姿态特征,所述姿态特征是所述姿态信息序列中姿态信息随时间的变化状态;
根据所述视觉信息特征和所述姿态特征得到车辆变道类型,当根据所述视觉信息特征确定的车辆变道类型与根据所述姿态特征确定的车辆变道类型一致时,得到车辆变道类型。
上述车辆变道检测方法、装置、计算机可读存储介质和计算机设备,通过获取包含多帧路面图像的视频序列,根据视频序列检测视觉信息特征,以及获取到车辆的姿态信息以生成姿态信息序列,根据姿态信息序列生成姿态特征,结合视觉信息特征和姿态特征确定车辆变道类型,这种方式无需建立大量数据库也无需建立基站,实现起来更加简易也能节省成本。
一种车辆变道检测方法,包括:
获取包含多帧路面图像的视频序列,所述路面图像被划分为多个区域;
提取所述路面图像中的黄白车道线;
检测所述黄白车道线在所述路面图像中所在的区域,获取所述视频序列中所述黄白车道线在所述路面图像中所在的区域的变化顺序;
根据所述黄白车道线在所述路面图像中所在的区域的变化顺序确定车辆变道类型。
一种车辆变道检测装置,包括:
视频序列获取模块,用于获取包含多帧路面图像的视频序列,所述路面图像被划分为多个区域;
车道线提取模块,用于提取所述路面图像中的黄白车道线;
区域检测模块,用于检测所述黄白车道线在所述路面图像中所在的区域,获取所述视频序列中所述黄白车道线在所述路面图像中所在的区域的变化顺序;
变道类型确定模块,用于根据所述黄白车道线在所述路面图像中所在的区域的变化顺序确定车辆变道类型。
一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取包含多帧路面图像的视频序列,所述路面图像被划分为多个区域;
提取所述路面图像中的黄白车道线;
检测所述黄白车道线在所述路面图像中所在的区域,获取所述视频序列中所述黄白车道线在所述路面图像中所在的区域的变化顺序;
根据所述黄白车道线在所述路面图像中所在的区域的变化顺序确定车辆变道类型。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取包含多帧路面图像的视频序列,所述路面图像被划分为多个区域;
提取所述路面图像中的黄白车道线;
检测所述黄白车道线在所述路面图像中所在的区域,获取所述视频序列中所述黄白车道线在所述路面图像中所在的区域的变化顺序;
根据所述黄白车道线在所述路面图像中所在的区域的变化顺序确定车辆变道类型。
上述车辆变道检测方法、装置、计算机可读存储介质和计算机设备,通过获取包含多帧路面图像的视频序列,提取出路面图像中的黄白车道线,从而可以检测黄白车道线在路面图像中所在的区域,获取到视频序列中黄白车道线在路面图像中所在的区域的变化顺序后,可根据黄白车道线在路面图像中所在的区域的变化顺序确定车辆变道类型。这种通过车道线在路面图像中的变化顺序确定车辆变道类型的方式,无需建立大量数据库也无需建立基站,实现起来更加简易也能节省成本。
附图说明
图1为一个实施例中车辆变道检测方法的应用环境图;
图2为一个实施例中车辆变道检测方法的流程示意图;
图3为另一个实施例中车辆变道检测方法的流程示意图;
图4为又一个实施例中车辆变道检测方法的流程示意图;
图5为一个实施例中根据视频序列生成视觉信息特征的流程示意图;
图6为一个实施例中提取黄白车道线的示意图;
图7为另一个实施例中根据视频序列生成视觉信息特征的流程示意图;
图8为一个实施例中划分路面图像中的区域的示意图;
图9为另一个实施例中划分路面图像中的区域的示意图;
图10为一个实施例中根据路面图像确定车辆未变道的示意图;
图11为一个实施例中根据路面图像确定车辆左变道的示意图;
图12为一个实施例中根据路面图像确定车辆右变道的示意图;
图13为一个实施例中根据姿态信息序列生成姿态特征的流程示意图;
图14为一个实施例中偏航角的波形的示意图;
图15为一个实施例中车辆变道检测装置的结构框图;
图16为另一个实施例中车辆变道检测装置的结构框图;
图17为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
图1为一个实施例中车辆变道检测方法的应用环境图。参照图1,该车辆变道方法应用于车辆变道检测系统。该车辆变道系统包括图像采集模块110、姿态传感器120和服务器130。图像采集模块110和服务器130通过网络连接,姿态传感器120和服务器130也通过网络连接。图像采集模块110是具备图像采集功能的模块,可以是摄像机、照相机或者行车记录仪等,也可以是具备图像采集功能的设备,比如手机、平板电脑、笔记本电脑等。姿态传感器120具备传感器,可对行驶中的车辆的姿态信息进行采集,比如采集到车辆的偏航角数据等。服务器130可以用独立的服务器或者是多个服务器组成的服务器集群来实现。服务器130可以是远程服务器,也可以是车载设备,即安装在车辆内部的服务器设备。服务器130可以获取到图像采集模块110中的多帧路面图像的视频序列,可以根据视频序列检测视觉信息特征。服务器还可以获取到姿态传感器130采集到的姿态信息序列,可以根据姿态信息序列生成姿态特征,从而可以根据视觉信息特征和姿态特征得到车辆变道类型。
如图2所示,在一个实施例中,提供了一种车辆变道检测方法。本实施例主要以该方法应用于上述图1中的服务器130来举例说明。参照图2,该车辆变道检测方法具体包括如下步骤:
步骤202,获取包含多帧路面图像的视频序列,根据视频序列检测视觉信息特征。
包含多帧路面图像的视频序列,指的是通过图1中的图像采集模块110采集到的多个路面图像,多个路面图像组成了对应的视频序列。比如在车辆行驶过程中,车辆中配置的图像采集模块会对行驶过程中的路面情况进行图像采集。视频采集的过程也是图像采集的过程,因此可为车辆行驶过程中,图像采集模块对行驶过程中的路面情况进行了视频采集,采集到的视频序列包含有多帧路面图像。服务器可获取到图像采集模块采集到的视频序列,从而服务器可对视频序列进行分析,检测对应的视觉信息特征。此处的车辆均指的是需要检测是否有变道行为的车辆,具体则是指配置有图像采集模块、姿态传感器以及服务器的车辆,则该车辆上的服务器可以根据图像采集模块、姿态传感器各自采集到的视频序列以及姿态信息序列对本车辆的变道进行检测,检测本车辆是否有变道行为,以及具体是左变道还是右变道等。
服务器可对视频序列中的多帧路面图像进行检测,检测路面图像的变化情况,当根据路面图像的变化情况检测到的视觉信息特征表明车辆进行了左变道时,则说明服务器根据图像采集模块采集到的视频序列检测到的视觉信息特征表明车辆进行了左变道。或者,可检测的到视觉信息特征表明车辆进行了右变道或未进行变道。
步骤204,获取车辆的姿态信息,生成姿态信息序列,根据姿态信息序列生成姿态特征,姿态特征是姿态信息序列中姿态信息随时间的变化状态。
车辆的姿态信息可通过图1中的姿态传感器120采集得到。车辆的姿态信息可以是车辆移动的变化信息,可根据获取到的车辆的姿态信息生成对应的姿态信息序列。姿态信息序列可以是指车辆的传感器监测到车辆的姿态变化情况,具体地,姿态信息序列可以是车辆的偏航角序列,根据姿态信息序列可以生成车辆的姿态特征。车辆的姿态特征是指车辆的姿态信息序列中姿态信息随时间的变化状态。比如可以检测车辆偏航角序列中车辆偏航角随时间的变化状态,可生成车辆的姿态特征。进一步则可根据车辆的姿态特征确定车辆的变道类型,当车辆偏航角随时间的变化状态出现波峰状态时,可确定车辆变道类型为左变道,当车辆偏航角随时间的变化状态出现波谷状态时,确定车辆变道类型为右变道。
步骤206,根据视觉信息特征和姿态特征得到车辆变道类型,当根据视觉信息特征确定的车辆变道类型与根据姿态特征确定的车辆变道类型一致时,得到车辆变道类型。
服务器在获取到图像采集模块采集到的视频序列,根据视频序列检测到车辆的视觉信息特征,且获取到姿态传感器采集到的姿态信息序列,根据姿态信息序列检测到车辆的姿态特征,从而服务器可以根据视觉信息特征和姿态特征得到车辆变道类型。车辆变道类型包括左变道、右变道以及未变道等。当服务器根据视觉信息特征确定车辆左变道且根据姿态特征确定车辆左变道时,则服务器可以确定车辆变道类型为左变道。同理,当根据视觉信息特征确定车辆右变道且根据姿态特征确定车辆右变道时,服务器可以确定车辆变道类型为右变道。其他情况则说明车辆变道类型为未变道。即,当根据视觉信息特征确定的车辆变道类型与根据姿态特征确定的车辆变道类型一致时,则可得到车辆变道类型为视觉信息特征和姿态特征所得到的一致的变道类型。
通过获取包含多帧路面图像的视频序列,根据视频序列检测视觉信息特征,以及获取到车辆的姿态信息以生成姿态信息序列,根据姿态信息序列生成姿态特征,结合视觉信息特征和姿态特征确定车辆变道类型,这种方式无需建立大量数据库也无需建立基站,实现起来更加简易也能节省成本。
在一个实施例中,提供了一种车辆变道检测方法。本实施例主要以该方法应用于上述图1中的服务器130来举例说明。参照图3,该车辆变道检测方法具体包括如下步骤:
步骤302,获取包含多帧路面图像的视频序列,根据视频序列检测视觉信息特征。
步骤304,获取车辆的姿态信息,生成姿态信息序列,根据姿态信息序列生成姿态特征。
步骤306,当根据视觉信息特征确定车辆左变道且根据姿态特征确定车辆左变道时,得到车辆变道类型为左变道。
步骤308,当根据视觉信息特征确定车辆右变道且根据姿态特征确定车辆右变道时,得到车辆变道类型为右变道。
步骤310,当根据视觉信息特征确定的车辆变道类型与根据姿态特征确定的车辆变道类型不一致时,得到车辆变道类型为未变道。
当服务器获取到包含有多帧路面图像的视频序列和姿态信息序列后,可根据视频序列检测车辆的视觉信息特征,根据姿态信息序列可以生成车辆的姿态特征。当服务器根据车辆的视觉信息特征和姿态特征均确定车辆进行了左变道时,则可以确定车辆进行了左变道。同样地,当服务器根据车辆的视觉信息特征和姿态特征均确定车辆进行了右变道时,则可以确定车辆进行了右变道。即,服务器既要根据视觉信息特征确定车辆进行了左变道,且根据姿态特征确定车辆进行了左变道,当这根据这两个特征均确定车辆进行了左变道时,才会判定为车辆确实进行了左变道。判断车辆是否进行右变道也同理。若是根据视觉信息特征确定的车辆变道类型与根据姿态特征确定的车辆变道类型并不一致,那么得到车辆的变道类型为未变道。比如根据视觉信息特征确定的车辆变道类型为左变道,但根据姿态特征确定的车辆变道类型为右变道,那么则会得到车辆的变道类型为未变道。这种双重判断的方式更能够保证检测车辆变道的准确性。
在一个实施例中,提供了一种车辆变道检测方法。本实施例主要以该方法应用于上述图1中的服务器130来举例说明。参照图4,该车辆变道检测方法具体包括如下步骤:
步骤402,获取视频序列。
步骤404,检测视觉信息特征。
步骤406,检测视觉信息特征是否属于左变道特征,若是,则执行步骤408;若否,则执行步骤420。
步骤408,获取姿态信息序列。
步骤410,生成姿态特征。
步骤412,检测姿态特征是否属于左变道特征,若是,则执行步骤414;若否,则执行步骤422。
步骤414,检测是否同时满足左变道特征,若是,则执行步骤416,若否,则执行步骤418。
步骤416,确定车辆左变道。
步骤418,确定车辆未变道。
步骤420,检测视觉信息特征是否属于右变道特征,若是,则执行步骤408;若否,则执行步骤424。
步骤422,检测姿态信息特征是否属于右变道特征,若是,则执行步骤424;若否,则执行步骤428。
步骤424,检测是否同时满足右变道特征,若是,则执行步骤426,若否,则执行步骤428。
步骤426,确定车辆左变道。
步骤428,确定车辆未变道。
在本实施例中,服务器在获取到视频序列后,可检测到车辆的视觉信息特征,获取到车辆的姿态信息序列后可生成车辆的姿态特征,并分别对视觉信息特征和姿态特征进行检测。分别检测视觉信息特征是属于左变道特征还是右变道特征,以及检测姿态特征是属于左变道特征还是右变道特征。最后判定车辆是属于左变道、右变道还是未变道时,会结合对视觉信息特征和姿态特征的检测结果。具体的,存在以下表1的几种情况,具体如下表1所示:
表1
视觉信息特征 姿态特征 判定结果
左变道 左变道
左变道 未变道
左变道 未变道
左变道 未变道
右变道 右变道
右变道 未变道
右变道 未变道
右变道 未变道
由表1可看出,只有当既检测到视觉信息特征属于左变道且姿态特征也属于左变道特征时,服务器才会判断车辆进行了左变道;只有当既检测到视觉信息特征属于右变道且姿态特征也属于右变道特征时,服务器才会判断车辆进行了右变道,而其他情况下,都会判定车辆未进行变道。
通过车辆跨越车道线的过程,可以判断车辆变道的行为。但是受限于车道检测算法的准确率以及存在车道线为虚线情况下,服务器在部分情形下很难检测到全部的车道线。因此在对车道标志线漏检以及误检的情况下,仅仅通过视觉信息特征,无法完全捕捉到完整的车辆跨过车道线的过程。而当车辆经过颠簸的路面,或者经过弯曲的路面时,车辆的偏航角的变化信息会与车辆变道时其偏航角变化类似。因此仅仅利用车辆的偏航角信息无法正确检测车辆变道行为。为了能最大限度地检测出车辆变道事件,在本实施例中,将变道时的汽车跨过车道线过程的特征作为视觉信息特征,将汽车偏航角的变化作为汽车姿态的特征综合起来,结合视觉信息特征和姿态特征对车辆的变道行为进行检测。当这两个特征均满足同一个方向的变道行为时,则判定车辆是属于左变道行为还是右变道行为。这种双重判定的方式,大幅度的提升了车辆变道的检测准确率。
在一个实施例中,路面图像被划分为多个区域。
路面图像是指由车辆中配置的图像采集模块采集到的图像。在本实施例中,路面图像被划分了多个区域,路面图像在车辆的行驶过程中会有变化,但是每一个路面图像被划分的区域是固定的。比如,可将路面图像划分为车头区域和非车头区域。车头区域是指车辆的车头行驶时所在的区域,非车头区域则是指车头不在的区域。
如图5所示,在一个实施例中,根据视频序列生成视觉信息特征,包括:
步骤502,提取视频序列中的路面图像中的黄白车道线。
在根据视频序列检测车辆的视觉信息特征时,可提取出视频序列中的路面图像中的黄白车道线。黄白车道线是指行驶道路上用于划分车道的道路线,分为黄色车道线和白色车道线,将这两种颜色的车道线统称为黄白车道线。即,服务器可根据获取到的视频序列中的路面图像提取出车辆行驶路面上的黄白车道线。
如图6所示,在路面图像中出现的黄白车道线,其中,图(a)中左侧较粗的为黄色车道线,右侧较细的为白色车道线。可对路面图像进行转化,转化至YcbCr空间(色彩空间的一种,通常会用于影片中的影像连续处理)后,再进行黄白车道线的提取,则能分别提取出路面图像中的白色车道线和黄色车道线。如图6中的(b)和(c)这两个图中显示的,分别为提取出的白色车道线和黄色车道线。
步骤504,检测黄白车道线在路面图像中所在的区域,获取视频序列中黄白车道线在路面图像中所在的区域的变化顺序,变化顺序用于确定车辆变道类型。
在车辆行驶过程中,采集到视频序列是在不断变化的,因为视频序列中的路面图像也是处于不断变化状态,那么提取出黄白车道线也是处于变化状态的。路面图像被划分成了多个区域,在提取出路面图像中的黄白车道线后,可以检测黄白车道线在路面图像中的区域,以及黄白车道线在路面图像中的区域的变化顺序。根据黄白车道线在路面图像中所在的区域的变化顺序即可确定车辆变道类型。
比如,将路面图像分为车头区域和非车头区域,那么当黄白车道线从左侧的非车头区域移动至车头区域,再移动至右侧的非车头区域时,则可判定车辆进行了左变道。也就是说,一开始,车辆在行驶过程中,车辆的左侧有一条车道线是位于路面图像的左侧非车头区域的。当车辆进行左变道时,车辆会“压过”左侧的车道线,那么车道线就是处于路面图像区的车头区域。当车辆左变道完成后,车辆会继续保持在车道中间行驶,那么原来左侧的车道线会位于路面图像的右侧非车头区域,如此,即可确定车辆进行了左变道。右变道的判定方式也是如此。
在一个实施例中,路面图像是通过安装在车辆头部的摄像头采集到的前方图像经逆透视映射后生成的俯视图像。
逆透视映射,指的是对拍摄到的图像进行透视映射。在通过安装在车辆头部的摄像头拍摄到多张车辆行驶过程中,车辆前方的路面情况的图像后,可利用摄像头相机姿态角数据计算出相机相对路面的逆透视映射关系矩阵,即将采集到的车辆前方图像经逆透视映射后,可以获取到逆透视映射对应的俯视图,即路面图像。
在一个实施例中,路面图像被划分为车头区域和非车头区域,非车头区域包括第一非车头区域和第二非车头区域,车头区域位于第一非车头区域和第二非车头区域之间。上述方法还包括:当黄白车道线在路面图像中所在的区域的变化顺序为第一非车头区域、车头区域、第二非车头区域时,确定车辆变道类型为左变道;当黄白车道线在路面图像中所在的区域的变化顺序为第二非车头区域、车头区域、第一非车头区域时,确定车辆变道类型为右变道。
路面图像被划分成了多个区域,可将路面图像划分为车头区域和非车头区域。顾名思义,车头区域为车辆的车头所在的区域,而非车头区域则为车头不在的区域。车辆在道路上的行驶过程中,车头的左右两侧即为非车头区域,车头的正前方区域即为车头区域。因此,可进一步地,将非车头区域分为第一非车头区域和第二非车头区域,也就是车头区域的左右两侧的区域。因此,即为车头区域位于第一非车头区域和第二非车头区域之间。
假设车辆正常在道路上行驶,那么道路上的车道线会位于车辆的两侧。在车辆行驶过程中,若是车辆不进行变道,那么采集到的路面图像则一直会是车头正前方的图像。根据路面图像上的显示,车道线会一直位于非车头区域,也就是说,道路上的车道线会一直位于路面图像上的车头区域的两侧。当车辆左变道时,黄白车道线会从路面图像中的第一非车头区域移动至车头区域,再移动至第二非车头区域。即当车辆左变道时,原本位于车辆车头左侧的黄白车道线,会从左侧的第一非车头区域移动至车头区域,再移动至车头右侧的第二非车头区域,这种情况下,可确定车辆的变道类型为左变道。同理,车辆在右变道时,原本位于车辆车头右侧的黄白车道线,会从右侧的第二非车头区域移动至车头区域,再移动至车头左侧的第一非车头区域,这种情况下,可确定车辆的变道类型为右变道。
进一步的,在一个实施例中,车头区域被均分为至少两个车头区域;当黄白车道线在路面图像中所在的区域的变化顺序为第一非车头区域、至少一车头区域、第二非车头区域时,确定车辆变道类型为左变道;当黄白车道线在路面图像中所在的区域变化顺序为第二非车头区域、至少一车头区域、第一非车头区域时,确定车辆变道类型为右变道。
路面图像被划分成了车头区域和非车头区域。在本实施例中,可进一步地将车头区域划分为至少两个车头区域,即将车头区域进行等分成至少两个小的车头区域。如此更方便检测黄白车道线在路面图像中的移动位置的变化情况。在路面图像中的车头区域被划分成了至少两个车头区域后,当检测到黄白车道线的变化顺序为,第一非车头区域→至少一个车头区域→第二非车头区域。可看出车辆在向左移动,导致原本位于车辆左侧的黄白车道线在路面图像中的区域位置向右移动。在这种情况下,黄白车道线只要从左侧的第一非车头区域移动至了车头区域,再移动至了右侧的第二非车头区域,即黄白车道线的变化顺序为第一非车头区域、至少一车头区域、第二非车头区域时,则可确定车辆变道类型为左变道。
同理,当原本位于车辆右侧的第二非车头区域的黄白车道线向左移动,则说明车辆向右进行了移动。如此,黄白车道线在路面图像的区域中的变化顺序为,第二非车头区域→至少一个车头区域→第一非车头区域。在这种情况下,黄白车道线只要从右侧的第二非车头区域移动至了车头区域,再移动至了左侧的第一非车头区域,即黄白车道线的变化顺序为第二非车头区域、至少一车头区域、第一非车头区域时,则可确定车辆变道类型为右变道。
在一个实施例中,检测黄白车道线在路面图像中所在的区域,包括:获取车辆当前时速,根据车辆当前时速确定相应的帧数;当连续帧数的路面图像中黄白车道线所在的区域为同一区域时,确定同一区域为黄白车道线在路面图像中所在的区域。在车辆行驶过程中,会对黄白车道线是位于路面图像中的哪个区域不断的进行检测,以根据黄白车道线在路面图像中所在的区域确定车辆的变道类型。为了确保检测到的黄白车道线在路面图像中所在的区域是准确的,可以检测是否有连续帧数的路面图像中黄白车道线都在同一个区域中,若是,才判定该区域就是黄白车道线在路面图像中所在的区域。在车辆行驶过程中,图像采集模块会不断的采集路面图像,在采集过程中,当车速较快时,采集到的路面图像帧数会减少。因此,可获取到车辆的当前时速,根据车辆当前的时速确定相应的帧数。比如可以设定一个分段函数,获取到车辆的当前时速后,可以根据车辆时速所在的速度区间,确定需要判定的帧数k,即至少需要检测到连续有k帧的路面图像中黄白车道线都位于同一个区域中,才会判定黄白车道线位于该区域中。即,在获取到车辆的时速后,可根据时速的范围确定k值。
在一个实施例中,k值是随着车辆的行驶速度而变化的,当车速越快时,k值将会越小。也就是说,在车速越快时,路面图像采集到的图像数据也会较少,那么在检测连续k张路面图像中是否都能检测到黄白车道线位于某一区域时,k的数值也会变小。根据实验数据,当车辆的行驶速度为40km/h的时候,k的值为7;当车辆的行驶速度为60km/h的时候,k的值为6;当车辆行驶速度为100km/h的时候,k的值为3。因此可以确定,当车辆的行驶速度速度大于100km/h时,可以将k的值设置为2;当车辆的行驶速度小于100km/h时,可以通过以下公式计算得到k的值,k=(-5/80)×v+9.5,其中,v为车辆的行驶速度。
在一个实施例中,如图7所示,根据视频序列生成视觉信息特征,包括:
步骤702,提取视频序列中的路面图像中的黄白车道线。
安装在车辆车头前方的摄像头会不断的采集路面图像,即采集到路面图像的视频序列。在根据摄像头采集到的视频序列中检测车辆的视觉信息特征时,可提取出视频序列中的路面图像中的黄白车道线。在提取黄白车道线时,可将视频序列中的路面图像转化到YcbCr空间。
具体地,可计算Y空间的累积直方图,设定阈值后可以更有效的提取白色车道线。分离公式如下:
其中,Cy(K)代表Y通道的累积直方图,Histy代表直方图,By(x,y)代表对Y通道二值化后的结果,I代表原图,K代表强度值,Ty代表Y通道的阈值。经过在Y通道下的二值化处理,可以检测出路面图像中的白色车道线候选区域,即可提取出路面图像中的白色车道线。
在提取路面图像中的黄色车道线时,可以计算Cb空间的累积直方图,同样地,设定阈值可以更有效的提取路面图像中的黄色车道线。分离公式如下:
其中,Ccb(k)代表Cb通道累积分布直方图,Histcb代表直方图,Bcb(x,y)代表Cb通道二值化的结果,Tcb代表Cb通道的阈值。经过在Cb通道下的二值化处理,可以检测出路面图像中的黄色车道线候选区域,即可提取出路面图像中的黄色车道线。
步骤704,检测黄白车道线在路面图像中所在的区域,获取视频序列中黄白车道线在路面图像中所在的区域的变化顺序。
路面图像被划分为了多个区域,比如可将路面图像划分为第一非车头区域、车头区域、第二非车头区域。如图8所示,从左至右,区域分别为0,1,0。左边的0区域为第一非车头区域,1为车头区域,右边的0区域为第二非车头区域。进一步的,还可以对车头区域进行细划分,如将车头区域平均划分为3个小的区域,即车头区域被均分为至少两个车头区域。如图9所示,左边的0区域为第一非车头区域,1,2,3是对车头区域进行划分得到的多个区域,右边的0区域为第二非车头区域。
在确定路面图像的车头区域时,可对摄像头进行标定。具体的,可以调整车头摄像机的位置,确保摄像机拍摄到的相邻的两条车道线在汽车和车道线平行时,不会同时出现在车身区域。那么到车道线刚好出现在汽车左边轮廓时,此时车到现在摄像机中成图的位置就是区域1的起始位置,同理当车道线刚好出现在汽车右边轮廓时,就是区域3的结束位置。根据之前的步骤确定区域1的最左边和区域3的最右边,即可确定车头区域,根据技术人员的设定,将车头区域平均分成3份即可。也可将车头区域划分为4等份或两等份,或其他数量,划分规则可由技术人员进行设定。
路面图像是随着车辆的行驶不断的更新的,因此路面图像中的黄白车道线实际上也处于不断变化的状态。因此在对路面图像进行了区域划分后,可获取到车辆行驶过程中,黄白车道线在路面图像中的区域的变化顺序。根据黄白车道线在路面图像的区域中的变化顺序即可确定车辆的变道类型。如图10所示,当黄白车道线从左侧的区域0移动至车头区域中的区域1,再移动至车头区域的区域1和区域2中间时,可以看出车辆在本车道的行驶较为平稳。车道线较为稳定的出现在逆透视变换结果图中的区域1,即路面图像中的区域1。因而汽车没有穿越车道线,因此该种情况属于汽车未变道。
步骤706,当黄白车道线在路面图像中所在的区域的变化顺序为第一非车头区域、车头区域、第二非车头区域时,确定车辆变道类型为左变道。
当车辆向左变道时,车头需要向左移动,那么采集到的路面图像中的车头区域会向左移动。相当于原本位于车头区域左侧的第一非车头区域的黄白车道线,会移动至车头区域,当车辆左变道完毕后,该黄白车道线会位于车头区域右侧的第二非车头区域。如图11所示,原本位于车头区域左侧的第一非车头区域的黄白车道线,移动至车头区域中的区域1,再移动至区域2,再进一步的移动至区域3,最后黄白车道线会移动至车头右侧的第二非车头区域,即右侧的区域0。图11中示出了其中一种情况,对于车辆而言,只要检测到了车辆在某一个时间段内,车辆向左进行了偏移,那么可由此判定车辆进行了左变道。
如以下几种情况,均属于车辆进行了左变道的情况:区域0→区域1→区域2→区域0;区域0→区域1→区域3→区域0;区域0→区域2→区域3→区域0;区域0→区域1→区域2→区域3→区域0。也就是说,当黄白车道线在路面图像中所在的区域的变化顺序为第一非车头区域、至少一车头区域、第二非车头区域时,即可确定车辆变道类型为左变道。
步骤708,当黄白车道线在路面图像中所在的区域的变化顺序为第二非车头区域、车头区域、第一非车头区域时,确定车辆变道类型为右变道。
当车辆向右变道时,车头需要向右移动,那么采集到的路面图像中的车头区域会向右移动。相当于原本位于车头区域右侧的第二非车头区域的黄白车道线,会移动至车头区域,当车辆左变道完毕后,该黄白车道线会位于车头区域左侧的第一非车头区域。如图12所示,原本位于车头区域右侧的第二非车头区域的黄白车道线,移动至车头区域中的区域3,再移动至区域2,再进一步的移动至区域1,最后黄白车道线会移动至车头左侧的第一非车头区域,即左侧的区域0。图12中也只是示出了其中一种情况,对于车辆而言,只要检测到了车辆在某一个时间段内,车辆向右进行了偏移,那么可由此判定车辆进行了右变道。
如以下几种情况,均属于车辆进行了右变道的情况:区域0→区域3→区域1→区域0;区域0→区域3→区域2→区域0;区域0→区域2→区域1→区域0;区域0→区域3→区域2→区域1→区域0。也就是说,当黄白车道线在路面图像中所在的区域的变化顺序为第二非车头区域、至少一车头区域、第一非车头区域时,可以确定车辆变道类型为右变道。
进一步地,在确定黄白车道线在路面图像中所在的区域时,可以获取到车辆的当前时速,并根据车辆当前时速确定路面图像的帧数。当检测到存在有连续帧数的路面图像中黄白车道线所在的区域为同一区域时,才可以确定同一区域为黄白车道线在路面图像中所在的区域。即需要在连续的k张路面图像中均检测到黄白车道线位于车头区域,那么才可判定为黄白车道线有出现在车头区域。比如至少需要检测到连续有k张路面图像中均检测到黄白车道线位于车头左侧的第一非车头区域,才判定黄白车道线位于第一非车头区域,即k是设置的一个最小值。
在一个实施例中,姿态信息序列为车辆偏航角序列。如图13所示,根据姿态信息序列生成姿态特征,包括:
步骤1302,检测车辆偏航角序列中车辆偏航角随时间的变化状态。
偏航角是机体轴xt在水平面上的投影与地轴xd之间的夹角,偏航角可以用于描述车辆的姿态。在车辆行驶过程中,可通过车辆中配置的姿态传感器采集车辆的姿态信息序列,服务器在获取到姿态信息序列后,可根据姿态信息序列检测车辆的姿态特征。姿态信息序列可以是车辆的偏航角序列。
步骤1304,当车辆偏航角随时间的变化状态出现波峰状态时,确定车辆变道类型为左变道。
步骤1306,当车辆偏航角随时间的变化状态出现波谷状态时,确定车辆变道类型为右变道。
一般而言,车辆在变道完成后,车辆的偏航角的角度应该和车辆变道之前的偏航角的角度相近似。因而在变道过程中,车辆偏航角的角度波形会出现“波峰”或者“波谷”的状态。通过检测“波峰”或者“波谷”就可以间接获取车辆的变道信息。因此,可检测车辆的偏航角序列中车辆的偏航角随时间的变化状态,根据车辆的偏航角变化状态则可确定车辆的变道类型。
车辆在向左变道的时候,如果忽略车辆的前向运动,那么车辆就只剩下了旋转运动。在左变道时,车辆会先向左转,再回正,因此车辆的偏航角会出现一个增大再恢复的过程,即会出现波峰的状态。因此,当车辆偏航角随时间的变化状态出现波峰状态时,可确定车辆的变道类型为左变道。同理,右变道则会出现波谷状态。因此,当车辆偏航角随时间的变化状态出现波谷状态时,可确定车辆的变道类型为右变道。如图14所示,可看出左图中车辆的偏航角随时间的变化状态呈现波峰状态,那么左图中的车辆则进行了左变道。右图中车辆的偏航角随时间的变化状态呈现波谷状态,那么右图中的车辆则进行了右变道。
在一个实施例中,当车辆偏航角序列同时满足以下条件时,车辆偏航角随时间的变化状态出现波峰状态:在预设时间内,车辆偏航角的角速度连续大于角速度阈值的次数达到第一阈值,且连续小于角速度阈值的负值的次数达到第一阈值;在预设时间内,偏航角最大值与车辆稳定偏航角的差值大于角度阈值的次数达到第二阈值。
角速度是根据车辆的偏航角和时间计算得到的,当车辆偏航角的角速度在预设时间内连续大于预先设置的角速度阈值的次数达到第一阈值,且连续小于角速度的负值的次数也达到第一阈值,并且在预设时间内,偏航角的最大值与车辆稳定偏航角的差值大于角度阈值的次数达到第二阈值的时候,则可以说明车辆发生了向左转动的操作,而不是由司机无意转动方向盘导致的角速度变化。因此,当这两个条件都满足的时候,可以确定车辆发生了向左转动,即车辆进行了左变道。
具体的,当在时间tc秒内,车辆Yaw(偏航角)轴的角速度经历了连续的次大于wc,且连续次小于-wc时,可以获取到车辆的偏航角的最大值θmax。当满足(θmax0)>θ1,且符合(θmax0)>θ1的偏航角的出现的数量大于时,则可认为出现了波峰状态。其中,θo是车辆稳定后的偏航角的角度。在一个实施例中,可以取θ1=5°,
此处,限定了两个条件,可以防止误判的情况发生。在车辆的行驶过程中,除了向左变道车辆会出现波峰,其他情况下,也有可能出现波峰的情况。比如当司机稍微向左打一下方向盘,再回正,此时也会出现波峰的状态。因此为了避免误判,设定了这两个条件。只有当这两个条件均满足时,才会判定为为车辆左变道。因此,这个参数表明,车辆在一定时间内,都在向左转动。而不是偶尔的转动,排除了车辆偶尔的向左偏行驶的干扰。wc表明,车辆在转动。wc可以是一个经验值,即是技术人员根据经验设置的值。在车辆行驶过程中,即便车辆行驶在一条笔直的马路上,车辆的偏航角也会是在抖动状态,一般不可能是一条直线。为了排除这种干扰,因此设定了车辆的偏航角的角速度需要连续次大于wc的这个条件。另外,在检测过程中,偏航角出现的范围为(-180°,180°]。因此当车辆在进行变道时,车辆的偏航角的角度变化范围在±180°附近时,需要注意换算关系的转变。比如在边界角的情况下,179°和-179°,其实只差了2°,而不是179-(-179)=358°。这种情况下,就需要注意角度的换算问题。
使用角速度和角度双重标准来判断车辆变道可以用来区分车辆变道和紧急转动方向盘这种情形。在司机紧急转动方向盘的时候,车辆的偏航角会经历了一个波峰的过程,但是这种情形是一个时间较短的过程,因此为了区分这种情形,需要通过时间这一因素来判断。但是何时才是变道的起始时刻,这是无法得知的。因此可以通过角速度的值来衡量,当角速度大于某个值的时候,才认为车辆是真的在转动,或车辆是在进行变道,又或者是司机在紧急拨转方向盘。而通过统计角速度大于某个值的出现次数,则相当于统计了车辆在转动过程中的时间。如此,可确保对车辆变道判断的准确率。
在一个实施例中,当车辆偏航角序列同时满足以下条件时,车辆偏航角随时间的变化状态出现波谷状态:在预设时间内,车辆偏航角的角速度连续小于角速度阈值的负值的次数达到第一阈值,且连续大于角速度阈值的次数达到第一阈值;在预设时间内,偏航角最小值与车辆稳定偏航角的差值小于角度阈值的负值的次数达到第二阈值。
在车辆右变道时,车辆的轮胎会向右转动,那么车辆的偏航角则会发生变化。然而当司机在转动方向盘但实际上并未发生变道行为时,车辆的偏航角的角速度也会出现小于角速度阈值的情况。为了避免误判,可以增加判定条件,即在检测车辆的偏航角随时间的变化状态是否出现波谷状态时,可以检测车辆的偏航角是否满足以下两个条件:1、在预设时间内,车辆偏航角的角速度连续小于角速度阈值的负值的次数达到第一阈值,且连续大于角速度阈值的次数达到第二阈值;2、在预设时间内,偏航角最小值与车辆稳定偏航角的差值小于角度阈值的负值的次数达到第二阈值。当这两个条件都满足的时候,可确定车辆向右转动,即车辆进行了右变道,而不是司机转动方向盘导致的角速度的变化。
也就是说,需要检测在时间tc秒内,车辆偏航角轴的角速度经历了连续次大于-wc,且连续次大于wc时,可以获取偏航角的最小值θmin。当满足(θmin0)<-θ1,并且符合(θmin0)<-θ1出现的数量大于时,可以认为出现了波谷状态。其中θo是汽车稳定后的偏航角的角度。在本实施例中,可以取θ1=5°,
本申请提供的车辆变道检测方法可应用于各种车辆驾驶数据分析场景中,在实时获取到车辆的变道类型后,可提供各种智能的安全驾驶服务。比如,可以将本申请提供的车辆变道检测方法与人脸识别系统进行结合。人脸识别系统可以检测驾驶员的面部表情,当人脸识别系统检测到驾驶员处于疲劳驾驶状态,或者驾驶员处于精神状态恍惚的状态时,且服务器检测到车辆进行了左变道或右变道,在这种情况下,可播放语音提示驾驶员“车辆已变道,请小心驾驶”。本申请提供的车辆变道检测方法还可以结合路况,当检测到车辆已经进行变道,则可以提示驾驶员“前方车辆较多,请小心慢行”,或者提示驾驶员“前方可调头”等等。对于新手驾驶员而言,还可以在检测到车辆变道以后提示驾驶员“已变道,请关闭左转向灯”等等。
图2至图13为各个实施例中车辆变道检测方法的流程示意图。应该理解的是,虽然各个流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,各个图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图15所示,提供了一种车辆变道检测装置,包括:
视觉检测模块1502,用于获取包含多帧路面图像的视频序列,根据视频序列检测视觉信息特征。
姿态检测模块1504,用于获取车辆的姿态信息,生成姿态信息序列,根据姿态信息序列生成姿态特征,姿态特征是姿态信息序列中姿态信息随时间的变化状态。
车辆变道检测模块1506,用于根据视觉信息特征和姿态特征得到车辆变道类型,当根据视觉信息特征确定的车辆变道类型与根据姿态特征确定的车辆变道类型一致时,得到车辆变道类型。
在一个实施例中,路面图像是通过安装在车辆头部的摄像头采集到的前方图像经逆透视映射后生成的俯视图像。
在一个实施例中,路面图像被划分为多个区域。视觉检测模块1502还用于提取视频序列中的路面图像中的黄白车道线;检测黄白车道线在路面图像中所在的区域,获取视频序列中黄白车道线在路面图像中所在的区域的变化顺序,变化顺序用于确定车辆变道类型。
在一个实施例中,姿态信息序列为车辆偏航角序列。姿态检测模块1504还用于检测车辆偏航角序列中车辆偏航角随时间的变化状态;当车辆偏航角随时间的变化状态出现波峰状态时,确定车辆变道类型为左变道;当车辆偏航角随时间的变化状态出现波谷状态时,确定车辆变道类型为右变道。
在一个实施例中,当车辆偏航角序列同时满足以下条件时,车辆偏航角随时间的变化状态出现波峰状态:在预设时间内,车辆偏航角的角速度连续大于角速度阈值的次数达到第一阈值,且连续小于角速度阈值的负值的次数达到第一阈值;在预设时间内,偏航角最大值与车辆稳定偏航角的差值大于角度阈值的次数达到第二阈值。
在一个实施例中,当车辆偏航角序列同时满足以下条件时,车辆偏航角随时间的变化状态出现波谷状态:在预设时间内,车辆偏航角的角速度连续小于角速度阈值的负值的次数达到第一阈值,且连续大于角速度阈值的次数达到第一阈值;在预设时间内,偏航角最小值与车辆稳定偏航角的差值小于角度阈值的负值的次数达到第二阈值。
在一个实施例中,车辆变道检测模块1506还用于当根据视觉信息特征确定车辆左变道且根据姿态特征确定车辆左变道时,得到车辆变道类型为左变道;当根据视觉信息特征确定车辆右变道且根据姿态特征确定车辆右变道时,得到车辆变道类型为右变道;当根据视觉信息特征确定的车辆变道类型与根据姿态特征确定的车辆变道类型不一致时,得到车辆变道类型为未变道。
在一个实施例中,路面图像被划分为车头区域和非车头区域,非车头区域包括第一非车头区域和第二非车头区域,车头区域位于第一非车头区域和第二非车头区域之间。车辆变道检测模块1506还用于当黄白车道线在路面图像中所在的区域的变化顺序为第一非车头区域、车头区域、第二非车头区域时,确定车辆变道类型为左变道;当黄白车道线在路面图像中所在的区域的变化顺序为第二非车头区域、车头区域、第一非车头区域时,确定车辆变道类型为右变道。
在一个实施例中,如图16所示,提供了一种车辆变道检测装置,包括:
视频序列获取模块1602,用于获取包含多帧路面图像的视频序列,路面图像被划分为多个区域。
车道线提取模块1604,用于提取路面图像中的黄白车道线。
区域检测模块1606,用于检测黄白车道线在路面图像中所在的区域,获取视频序列中黄白车道线在路面图像中所在的区域的变化顺序。
变道类型确定模块1608,用于根据黄白车道线在路面图像中所在的区域的变化顺序确定车辆变道类型。
在一个实施例中,区域检测模块1606还用于获取车辆当前时速,根据车辆当前时速确定相应的帧数;当连续帧数的路面图像中黄白车道线所在的区域为同一区域时,确定同一区域为黄白车道线在路面图像中所在的区域。
在一个实施例中,路面图像被划分为车头区域和非车头区域,非车头区域包括第一非车头区域和第二非车头区域,车头区域位于第一非车头区域和第二非车头区域之间。变道类型确定模块1608还用于当黄白车道线在路面图像中所在的区域的变化顺序为第一非车头区域、车头区域、第二非车头区域时,确定车辆变道类型为左变道;当黄白车道线在路面图像中所在的区域的变化顺序为第二非车头区域、车头区域、第一非车头区域时,确定车辆变道类型为右变道。
在一个实施例中,车头区域被均分为至少两个车头区域。当黄白车道线在路面图像中所在的区域的变化顺序为第一非车头区域、至少一车头区域、第二非车头区域时,确定车辆变道类型为左变道;当黄白车道线在路面图像中所在的区域变化顺序为第二非车头区域、至少一车头区域、第一非车头区域时,确定车辆变道类型为右变道。
图17示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的服务器130。如图17所示,该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统,还可存储有计算机程序,该计算机程序被处理器执行时,可使得处理器实现车辆变道检测方法。该内存储器中也可储存有计算机程序,该计算机程序被处理器执行时,可使得处理器执行车辆变道检测方法。
本领域技术人员可以理解,图17中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,本申请提供的车辆变道检测装置可以实现为一种计算机程序的形式,计算机程序可在如图17所示的计算机设备上运行。计算机设备的存储器中可存储组成该车辆变道检测装置的各个程序模块,比如,图15所示的视觉检测模块模块、姿态检测模块和车辆变道检测模块。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的车辆变道检测方法中的步骤。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:获取包含多帧路面图像的视频序列,根据视频序列检测视觉信息特征;获取车辆的姿态信息,生成姿态信息序列,根据姿态信息序列生成姿态特征,姿态特征是姿态信息序列中姿态信息随时间的变化状态;根据视觉信息特征和姿态特征得到车辆变道类型,当根据视觉信息特征确定的车辆变道类型与根据姿态特征确定的车辆变道类型一致时,得到车辆变道类型。
在一个实施例中,根据视觉信息特征和姿态特征得到车辆变道类型,包括:当根据视觉信息特征确定车辆左变道且根据姿态特征确定车辆左变道时,得到车辆变道类型为左变道;当根据视觉信息特征确定车辆右变道且根据姿态特征确定车辆右变道时,得到车辆变道类型为右变道;当根据视觉信息特征确定的车辆变道类型与根据姿态特征确定的车辆变道类型不一致时,得到车辆变道类型为未变道。
在一个实施例中,路面图像被划分为多个区域。根据视频序列生成视觉信息特征,包括:提取视频序列中的路面图像中的黄白车道线;检测黄白车道线在路面图像中所在的区域,获取视频序列中黄白车道线在路面图像中所在的区域的变化顺序,变化顺序用于确定车辆变道类型。
在一个实施例中,路面图像是通过安装在车辆头部的摄像头采集到的前方图像经逆透视映射后生成的俯视图像。
在一个实施例中,路面图像被划分为车头区域和非车头区域,非车头区域包括第一非车头区域和第二非车头区域,车头区域位于第一非车头区域和第二非车头区域之间。该处理器执行计算机程序时还实现以下步骤:当黄白车道线在路面图像中所在的区域的变化顺序为第一非车头区域、车头区域、第二非车头区域时,确定车辆变道类型为左变道;当黄白车道线在路面图像中所在的区域的变化顺序为第二非车头区域、车头区域、第一非车头区域时,确定车辆变道类型为右变道。
在一个实施例中,姿态信息序列为车辆偏航角序列;根据姿态信息序列生成姿态特征,包括:检测车辆偏航角序列中车辆偏航角随时间的变化状态;当车辆偏航角随时间的变化状态出现波峰状态时,确定车辆变道类型为左变道;当车辆偏航角随时间的变化状态出现波谷状态时,确定车辆变道类型为右变道。
在一个实施例中,当车辆偏航角序列同时满足以下条件时,车辆偏航角随时间的变化状态出现波峰状态:在预设时间内,车辆偏航角的角速度连续大于角速度阈值的次数达到第一阈值,且连续小于角速度阈值的负值的次数达到第一阈值;在预设时间内,偏航角最大值与车辆稳定偏航角的差值大于角度阈值的次数达到第二阈值。
在一个实施例中,当车辆偏航角序列同时满足以下条件时,车辆偏航角随时间的变化状态出现波谷状态:在预设时间内,车辆偏航角的角速度连续小于角速度阈值的负值的次数达到第一阈值,且连续大于角速度阈值的次数达到第一阈值;在预设时间内,偏航角最小值与车辆稳定偏航角的差值小于角度阈值的负值的次数达到第二阈值。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:获取包含多帧路面图像的视频序列,根据视频序列检测视觉信息特征;获取车辆的姿态信息,生成姿态信息序列,根据姿态信息序列生成姿态特征,姿态特征是姿态信息序列中姿态信息随时间的变化状态;根据视觉信息特征和姿态特征得到车辆变道类型,当根据视觉信息特征确定的车辆变道类型与根据姿态特征确定的车辆变道类型一致时,得到车辆变道类型。
在一个实施例中,根据视觉信息特征和姿态特征确定车辆变道类型,包括:当根据视觉信息特征确定车辆左变道且根据姿态特征确定车辆左变道时,得到车辆变道类型为左变道;当根据视觉信息特征确定车辆右变道且根据姿态特征确定车辆右变道时,得到车辆变道类型为右变道;当根据视觉信息特征确定的车辆变道类型与根据姿态特征确定的车辆变道类型不一致时,得到车辆变道类型为未变道。
在一个实施例中,路面图像被划分为多个区域。根据视频序列生成视觉信息特征,包括:提取视频序列中的路面图像中的黄白车道线;检测黄白车道线在路面图像中所在的区域,获取视频序列中黄白车道线在路面图像中所在的区域的变化顺序,变化顺序用于确定车辆变道类型。
在一个实施例中,路面图像是通过安装在车辆头部的摄像头采集到的前方图像经逆透视映射后生成的俯视图像。
在一个实施例中,路面图像被划分为车头区域和非车头区域,非车头区域包括第一非车头区域和第二非车头区域,车头区域位于第一非车头区域和第二非车头区域之间。计算机程序被处理器执行时还实现以下步骤:当黄白车道线在路面图像中所在的区域的变化顺序为第一非车头区域、车头区域、第二非车头区域时,确定车辆变道类型为左变道;当黄白车道线在路面图像中所在的区域的变化顺序为第二非车头区域、车头区域、第一非车头区域时,确定车辆变道类型为右变道。
在一个实施例中,姿态信息序列为车辆偏航角序列;根据姿态信息序列生成姿态特征,包括:检测车辆偏航角序列中车辆偏航角随时间的变化状态;当车辆偏航角随时间的变化状态出现波峰状态时,确定车辆变道类型为左变道;当车辆偏航角随时间的变化状态出现波谷状态时,确定车辆变道类型为右变道。
在一个实施例中,当车辆偏航角序列同时满足以下条件时,车辆偏航角随时间的变化状态出现波峰状态:在预设时间内,车辆偏航角的角速度连续大于角速度阈值的次数达到第一阈值,且连续小于角速度阈值的负值的次数达到第一阈值;在预设时间内,偏航角最大值与车辆稳定偏航角的差值大于角度阈值的次数达到第二阈值。
在一个实施例中,当车辆偏航角序列同时满足以下条件时,车辆偏航角随时间的变化状态出现波谷状态:在预设时间内,车辆偏航角的角速度连续小于角速度阈值的负值的次数达到第一阈值,且连续大于角速度阈值的次数达到第一阈值;在预设时间内,偏航角最小值与车辆稳定偏航角的差值小于角度阈值的负值的次数达到第二阈值。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:获取包含多帧路面图像的视频序列,路面图像被划分为多个区域;提取路面图像中的黄白车道线;检测黄白车道线在路面图像中所在的区域,获取视频序列中黄白车道线在路面图像中所在的区域的变化顺序;根据黄白车道线在路面图像中所在的区域的变化顺序确定车辆变道类型。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:获取包含多帧路面图像的视频序列,路面图像被划分为多个区域;提取路面图像中的黄白车道线;检测黄白车道线在路面图像中所在的区域,获取视频序列中黄白车道线在路面图像中所在的区域的变化顺序;根据黄白车道线在路面图像中所在的区域的变化顺序确定车辆变道类型。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (17)

1.一种车辆变道检测方法,包括:
获取包含多帧路面图像的视频序列,根据所述视频序列检测视觉信息特征;
获取车辆的姿态信息,生成姿态信息序列,根据所述姿态信息序列生成姿态特征,所述姿态特征是所述姿态信息序列中姿态信息随时间的变化状态;
根据所述视觉信息特征和所述姿态特征得到车辆变道类型,当根据所述视觉信息特征确定的车辆变道类型与根据所述姿态特征确定的车辆变道类型一致时,得到车辆变道类型。
2.根据权利要求1所述的方法,其特征在于,所述根据视觉信息特征和所述姿态特征得到车辆变道类型,包括:
当根据所述视觉信息特征确定车辆左变道且根据所述姿态特征确定车辆左变道时,得到车辆变道类型为左变道;
当根据所述视觉信息特征确定车辆右变道且根据所述姿态特征确定车辆右变道时,得到车辆变道类型为右变道;
当根据所述视觉信息特征确定的车辆变道类型与根据所述姿态特征确定的车辆变道类型不一致时,得到车辆变道类型为未变道。
3.根据权利要求1所述的方法,其特征在于,所述路面图像被划分为多个区域;所述根据视频序列生成视觉信息特征,包括:
提取所述视频序列中的路面图像中的黄白车道线;
检测所述黄白车道线在所述路面图像中所在的区域,获取所述视频序列中所述黄白车道线在所述路面图像中所在的区域的变化顺序,所述变化顺序用于确定车辆变道类型。
4.根据权利要求3所述的方法,其特征在于,所述路面图像是通过安装在车辆头部的摄像头采集到的前方图像经逆透视映射后生成的俯视图像。
5.根据权利要求3所述的方法,其特征在于,所述路面图像被划分为车头区域和非车头区域,所述非车头区域包括第一非车头区域和第二非车头区域,所述车头区域位于所述第一非车头区域和第二非车头区域之间;
所述方法还包括:
当所述黄白车道线在所述路面图像中所在的区域的变化顺序为第一非车头区域、车头区域、第二非车头区域时,确定车辆变道类型为左变道;
当所述黄白车道线在所述路面图像中所在的区域的变化顺序为第二非车头区域、车头区域、第一非车头区域时,确定车辆变道类型为右变道。
6.根据权利要求1所述的方法,其特征在于,所述姿态信息序列为车辆偏航角序列;所述根据姿态信息序列生成姿态特征,包括:
检测所述车辆偏航角序列中所述车辆偏航角随时间的变化状态;
当所述车辆偏航角随时间的变化状态出现波峰状态时,确定车辆变道类型为左变道;
当所述车辆偏航角随时间的变化状态出现波谷状态时,确定车辆变道类型为右变道。
7.根据权利要求6所述的方法,其特征在于,当车辆偏航角序列同时满足以下条件时,车辆偏航角随时间的变化状态出现波峰状态:
在预设时间内,车辆偏航角的角速度连续大于角速度阈值的次数达到第一阈值,且连续小于角速度阈值的负值的次数达到第一阈值;
在预设时间内,偏航角最大值与车辆稳定偏航角的差值大于角度阈值的次数达到第二阈值。
8.根据权利要求6所述的方法,其特征在于,当车辆偏航角序列同时满足以下条件时,车辆偏航角随时间的变化状态出现波谷状态:
在预设时间内,车辆偏航角的角速度连续小于角速度阈值的负值的次数达到第一阈值,且连续大于角速度阈值的次数达到第一阈值;
在预设时间内,偏航角最小值与车辆稳定偏航角的差值小于角度阈值的负值的次数达到第二阈值。
9.一种车辆变道检测方法,包括:
获取包含多帧路面图像的视频序列,所述路面图像被划分为多个区域;
提取所述路面图像中的黄白车道线;
检测所述黄白车道线在所述路面图像中所在的区域,获取所述视频序列中所述黄白车道线在所述路面图像中所在的区域的变化顺序;
根据所述黄白车道线在所述路面图像中所在的区域的变化顺序确定车辆变道类型。
10.根据权利要求9所述的方法,其特征在于,所述路面图像是通过安装在车辆头部的摄像头采集到的前方图像经逆透视映射后生成的俯视图像。
11.根据权利要求9所述的方法,其特征在于,所述路面图像被划分为车头区域和非车头区域,所述非车头区域包括第一非车头区域和第二非车头区域,所述车头区域位于所述第一非车头区域和第二非车头区域之间;
所述根据黄白车道线在所述路面图像中所在的区域的变化顺序确定车辆变道类型,包括:
当所述黄白车道线在所述路面图像中所在的区域的变化顺序为第一非车头区域、车头区域、第二非车头区域时,确定车辆变道类型为左变道;
当所述黄白车道线在所述路面图像中所在的区域的变化顺序为第二非车头区域、车头区域、第一非车头区域时,确定车辆变道类型为右变道。
12.根据权利要求11所述的方法,其特征在于,所述车头区域被均分为至少两个车头区域;
当所述黄白车道线在所述路面图像中所在的区域的变化顺序为第一非车头区域、至少一车头区域、第二非车头区域时,确定车辆变道类型为左变道;
当所述黄白车道线在所述路面图像中所在的区域变化顺序为第二非车头区域、至少一车头区域、第一非车头区域时,确定车辆变道类型为右变道。
13.根据权利要求9所述的方法,其特征在于,所述检测所述黄白车道线在所述路面图像中所在的区域,包括:
获取车辆当前时速,根据所述车辆当前时速确定相应的帧数;
当连续所述帧数的路面图像中所述黄白车道线所在的区域为同一区域时,确定所述同一区域为所述黄白车道线在所述路面图像中所在的区域。
14.一种车辆变道检测装置,其特征在于,包括:
视觉检测模块,用于获取包含多帧路面图像的视频序列,根据所述视频序列检测视觉信息特征;
姿态检测模块,用于获取车辆的姿态信息,生成姿态信息序列,根据所述姿态信息序列生成姿态特征,所述姿态特征是所述姿态信息序列中姿态信息随时间的变化状态;
车辆变道检测模块,用于根据所述视觉信息特征和所述姿态特征得到车辆变道类型,当根据所述视觉信息特征确定的车辆变道类型与根据所述姿态特征确定的车辆变道类型一致时,得到车辆变道类型。
15.一种车辆变道检测装置,其特征在于,包括:
视频序列获取模块,用于获取包含多帧路面图像的视频序列,所述路面图像被划分为多个区域;
车道线提取模块,用于提取所述路面图像中的黄白车道线;
区域检测模块,用于检测所述黄白车道线在所述路面图像中所在的区域,获取所述视频序列中所述黄白车道线在所述路面图像中所在的区域的变化顺序;
变道类型确定模块,用于根据所述黄白车道线在所述路面图像中所在的区域的变化顺序确定车辆变道类型。
16.一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如权利要求1至13中任一项所述方法的步骤。
17.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至13中任一项所述方法的步骤。
CN201810778062.3A 2018-07-16 2018-07-16 车辆变道检测方法、装置、存储介质和计算机设备 Active CN109002797B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810778062.3A CN109002797B (zh) 2018-07-16 2018-07-16 车辆变道检测方法、装置、存储介质和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810778062.3A CN109002797B (zh) 2018-07-16 2018-07-16 车辆变道检测方法、装置、存储介质和计算机设备

Publications (2)

Publication Number Publication Date
CN109002797A true CN109002797A (zh) 2018-12-14
CN109002797B CN109002797B (zh) 2023-07-25

Family

ID=64600291

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810778062.3A Active CN109002797B (zh) 2018-07-16 2018-07-16 车辆变道检测方法、装置、存储介质和计算机设备

Country Status (1)

Country Link
CN (1) CN109002797B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111081033A (zh) * 2019-11-21 2020-04-28 北京百度网讯科技有限公司 车辆朝向角确定的方法及装置
CN111383464A (zh) * 2018-12-28 2020-07-07 沈阳美行科技有限公司 车辆变道识别方法、装置、电子设备和介质
CN112101163A (zh) * 2020-09-04 2020-12-18 淮阴工学院 一种车道线检测方法
CN112739599A (zh) * 2020-04-29 2021-04-30 华为技术有限公司 一种车辆变道行为识别方法及装置
CN115082901A (zh) * 2022-07-21 2022-09-20 天津所托瑞安汽车科技有限公司 基于算法融合的车辆汇入检测方法、装置及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007219765A (ja) * 2006-02-15 2007-08-30 Toyota Motor Corp 画像処理装置、その方法、および画像処理用プログラム
CN103942960A (zh) * 2014-04-22 2014-07-23 深圳市宏电技术股份有限公司 一种车辆变道检测方法及装置
CN105574537A (zh) * 2015-11-23 2016-05-11 北京高科中天技术股份有限公司 基于多传感器的危险驾驶行为检测和评估方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007219765A (ja) * 2006-02-15 2007-08-30 Toyota Motor Corp 画像処理装置、その方法、および画像処理用プログラム
CN103942960A (zh) * 2014-04-22 2014-07-23 深圳市宏电技术股份有限公司 一种车辆变道检测方法及装置
CN105574537A (zh) * 2015-11-23 2016-05-11 北京高科中天技术股份有限公司 基于多传感器的危险驾驶行为检测和评估方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111383464A (zh) * 2018-12-28 2020-07-07 沈阳美行科技有限公司 车辆变道识别方法、装置、电子设备和介质
CN111383464B (zh) * 2018-12-28 2022-11-18 沈阳美行科技股份有限公司 车辆变道识别方法、装置、电子设备和介质
CN111081033A (zh) * 2019-11-21 2020-04-28 北京百度网讯科技有限公司 车辆朝向角确定的方法及装置
CN111081033B (zh) * 2019-11-21 2021-06-01 北京百度网讯科技有限公司 车辆朝向角确定的方法及装置
CN112739599A (zh) * 2020-04-29 2021-04-30 华为技术有限公司 一种车辆变道行为识别方法及装置
WO2021217485A1 (zh) * 2020-04-29 2021-11-04 华为技术有限公司 一种车辆变道行为识别方法及装置
CN112739599B (zh) * 2020-04-29 2022-05-17 华为技术有限公司 一种车辆变道行为识别方法及装置
CN112101163A (zh) * 2020-09-04 2020-12-18 淮阴工学院 一种车道线检测方法
CN115082901A (zh) * 2022-07-21 2022-09-20 天津所托瑞安汽车科技有限公司 基于算法融合的车辆汇入检测方法、装置及设备
CN115082901B (zh) * 2022-07-21 2023-01-17 天津所托瑞安汽车科技有限公司 基于算法融合的车辆汇入检测方法、装置及设备

Also Published As

Publication number Publication date
CN109002797B (zh) 2023-07-25

Similar Documents

Publication Publication Date Title
CN109002797A (zh) 车辆变道检测方法、装置、存储介质和计算机设备
US11670173B2 (en) Lane line reconstruction using future scenes and trajectory
CN109829403B (zh) 一种基于深度学习的车辆防碰撞预警方法及系统
CN110364008A (zh) 路况确定方法、装置、计算机设备和存储介质
CN112026686B (zh) 一种自动调节车辆座椅位置的方法及装置
CN106652445B (zh) 一种公路交通事故判别方法及装置
CN105069415B (zh) 车道线检测方法和装置
CN102289660B (zh) 一种基于手部姿态跟踪的违规驾驶行为检测方法
CN106652465A (zh) 一种道路异常驾驶行为的识别方法及系统
CN109584507A (zh) 驾驶行为监测方法、装置、系统、交通工具和存储介质
CN110459064A (zh) 车辆违法行为检测方法、装置、计算机设备
CN111231965B (zh) 车辆控制模式的调整方法及装置、无人驾驶车辆
CN110765807A (zh) 驾驶行为分析、处理方法、装置、设备和存储介质
CN104123549B (zh) 一种用于疲劳驾驶实时监测的眼睛定位方法
CN111891061B (zh) 车辆碰撞检测方法、装置和计算机设备
CN111553214B (zh) 一种驾驶员吸烟行为检测方法及系统
CN106650635A (zh) 一种驾驶员后视镜查看行为检测方法及系统
CN112001378B (zh) 基于特征空间的车道线处理方法、装置、车载终端和介质
CN107909012A (zh) 一种基于视差图的实时车辆跟踪检测方法与装置
CN105590087B (zh) 一种道路识别方法及装置
Kühnl et al. Visual ego-vehicle lane assignment using spatial ray features
CN116012822B (zh) 一种疲劳驾驶的识别方法、装置及电子设备
CN113361299A (zh) 一种异常停车的检测方法、装置、存储介质及电子设备
CN103473567B (zh) 一种基于部分模型的车辆检测方法
CN103310469A (zh) 一种基于混合图像模板的车辆检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant