具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本申请,而不能理解为对本申请的限制。
为提高车辆的自动驾驶能力,降低安全风险,通常需要对采集的大量的用于体现驾驶行为特性的驾驶场景数据进行采集与分类,以便于进行智能驾驶感知与规控算法的训练与测试验证。
在一些相关技术中,通常采用的场景识别方法是基于实际道路行驶经验对驾驶场景归类,以前车变道切入场景为例,需要人为等待前车变道切入场景出现后,由数据记录人员在车载数据中标注该场景发生的时间与描述场景。然而,依靠人工经验等待驾驶场景出现进行手工标注与分类的方法,在场景的客观判断归类尺度上因人而异,这种人为标注的不一致性难以保证近归类的准确性和无遗漏,例如对于近似场景无法保证每次归类正确和无遗漏。
在另一些相关技术中,通常是基于对驾驶过程中车辆的感知控制数据与行为特征对场景归类,例如车辆触发了紧急制动功能或以驾驶员较高的减速度采取制动,由智能驾驶域控制器根据预设的识别算法,将预设场景的数据特征,与采集的数据特征(车辆感知传感器与行车传感器采集的控制数据和行为特征)进行对比,在数据特征匹配后由数据记录仪自动地对该段场景数据进行标记。然而,由于智能驾驶域控制器中的识别算法是预先设定的,部分超出识别算法的长尾场景是无法被识别与归类的。
为了克服上述至少一个问题,本申请实施例提供一种驾驶场景处理方法,车载端能够利用用于体现人工驾驶经验对危险场景、长尾场景等驾驶场景的预判的注意力信息,在注意力信息满足预设的注意力识别条件时,触发获取车辆的实际场景,服务器端能够对注意力信息所满足的注意力识别条件及实际场景进行匹配度评估以筛选出有效的实际场景进行分类,如此,能够克服人为标注驾驶场景的不一致性,还能够克服受预先设定的识别算法限制导致无法对超出识别算法的长尾场景进行识别与分类的问题,从而提高对驾驶场景处理的准确性及覆盖性。
下面以具体的实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本申请的实施例进行描述。
需要说明的是,本申请实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。
图1是本申请的一些实施例的驾驶场景处理方法的一个应用场景的示意图。该应用场景包括:车载端及服务器端。车载端包括:注意力识别设备、第一计算设备及记录设备。注意力识别设备用于获取驾驶员的注意力信息,如眼动信息或心率信息。第一计算设备用于对注意力识别设备获取的注意力信息进行处理,并根据处理结果判断是否控制记录设备记录车辆的第一实际场景信息。
车载端还可以包括:车辆感知传感器与行车传感器。车辆感知传感器与行车传感器用于获取车辆的感知信号;第一计算设备还用于对车辆感知传感器与行车传感器获取的信号进行处理,并根据处理结果判断是否控制记录设备记录车辆的第二实际场景信息。
服务器端包括:第二计算设备,可以用于对注意力信息所满足的注意力识别条件、基于注意力信息获取的第一实际场景信息进行匹配度评估,还可以用于车辆的感知信息所符合的预识别场景的信息、以及基于车辆的感知信号获取的第二实际场景信息进行匹配度评估,还可以基于第一实际场景信息、第二实际场景信息及上述匹配度的评估结果,判断是否对注意力识别条件或场景预识别条件进行优化。第二计算设备可以为云端服务器。
需要说明的是,上述计算设备(第一计算设备及第二计算设备)可以是硬件,也可以是软件。当计算设备为硬件时,可以实现成多个服务器或终端设备组成的分布式集群,也可以实现成单个服务器或单个终端设备。当计算设备体现为软件时,可以安装在硬件设备中。其可以实现成例如用来提供分布式服务的多个软件或软件模块,也可以实现成单个软件或软件模块。在此不做具体限定。
应该理解,图1中的计算设备的数量仅仅是示意性的。根据实现需要,可以具有任意数目的计算设备。
图2是本申请一实施例提供的驾驶场景处理方法的流程示意图。请参照图2,本申请实施例提供的驾驶场景处理方法,可以应用于车载端,包括如下步骤:
S201、获取驾驶员的注意力信息。
本实施例中驾驶场景处理方法的执行主体可以为如图1所示的第一计算设备,为便于描述本实施例将以第一计算设备为例进行说明。第一计算设备可以通过有线的方式或者无线的方式从注意力识别设备获取驾驶员的注意力信息。
在一些示例中,注意力识别设备可以为眼动识别设备。眼动识别设备可以为穿戴于驾驶员头部的设备,也可以为安装于车辆内的车载相机。
眼动识别设备可以用于获取驾驶员的眼动信息。示例性的,眼动识别设备采集驾驶员的图像,并对驾驶员的图像进行处理与分析,得到驾驶员的注意力信息。例如,眼动识别设备每间隔预设时间采集驾驶员的图像,眼动识别设备按照时间顺序获取的多个图像组成驾驶员的图像序列,或者,眼动识别设备从采集的驾驶员视频中以预设时间为单位按照时间顺序截取的多个图像组成驾驶员的图像序列。其中,预设时间可以为0.1秒或1秒,具体可以根据实际需要来设置。
眼动识别设备对驾驶员的图像序列进行处理,以得到驾驶员的眼动信息,眼动信息可以包括但不限于如下至少一种:眼动观察区域、眼动观察区域变化量、眼动变化特征和眼动观察区域变化特征。其中,眼动观察区域为驾驶员眼部的注视区域。眼动观察区域变化量为驾驶员的眼动观察区域随时间的变化量。眼动变化特征用于表征驾驶员眼部的变化特性,例如可以包括在观察目标上的停留、在注视点间的跳跃、追随观察目标移动等。眼动观察区域变化特征用于表征驾驶员观察区域的变化特征。
在对驾驶员的图像序列进行处理的过程中,眼动识别设备基于预先建立的特征提取模型对驾驶员的图像序列中的每个图像进行信息提取,得到特征图,将得到的特征图输入预先建立的注视点分析模型,得到驾驶员的眼动信息,眼动识别设备将得到的驾驶员的眼动信息发送至第一计算设备。其中,可以分别利用训练样本数据集进行训练得到特征提取模型和注视点分析模型,预先建立特征提取模型和注视点分析模型的过程,可以根据实际需要来设置,本实施例此处不做限定。
当然,上述对驾驶员的图像序列进行处理的过程也可以由第一计算设备来执行,其实现过程与上述过程相似,本实施例不再赘述。
在其它示例中,注意力识别设备可以为心率采集设备。心率采集设备可以为穿戴于驾驶员身体上的设备,用于采集驾驶员的心率信息,将采集到的心率信息发送至第一计算设备。注意力信息也可以包括其它用于体现驾驶员面对危险场景、长尾场景等驾驶场景时发生变化的信息,如头部运动信息等。
S202、在驾驶员的注意力信息满足预设的注意力识别条件时,获取车辆的第一实际场景信息。
其中,第一实际场景信息包括如下至少一种:车辆行驶影像、车辆行驶信息及车辆的环境交通信息。车辆行驶影像可以为行车记录仪所记录的视频。车辆的环境交通信息可以是指车辆周围的环境信息,用于体现车辆当前所处的交通环境,可以包括但不限于如下至少一种:车辆与其它车辆或障碍物之间的距离信息、交通信号信息、道路边界信息、隔离带信息、车道数量信息、车道位置信息、车道宽度信息、车道标志信息。车辆行驶信息,是指当前车辆行驶过程中所采集或产生的信息,可以包括但不限于如下至少一种:方向盘转向角信息、行驶速度信息、制动信息、驾驶模式。
第一计算设备将获取的注意力信息与预先设定的注意力识别条件进行比较,在获取的注意力信息满足预先设定的注意力识别条件时,生成第一记录信号。车辆根据第一记录信号中的启动时间,获取车辆行驶影像、车辆行驶信息及车辆的环境交通信息。其中,启动时间可以根据实际需要进行设置,例如,启动时间可以为确定注意力信息满足预先设定的注意力识别条件的时间,也可以为确定注意力信息满足预先设定的注意力识别条件之后的3秒或5秒。车辆行驶影像可以从车辆的行车记录仪中获取,车辆的环境交通信息可以从车辆感知传感器与行车传感器中获取,车辆行驶信息可以从车辆的控制系统中获取。上述过程可以为获取的驾驶员的注意力信息触发预识别的过程。
其中,注意力识别条件为预先设定的。注意力识别条件可以包括一个或多个。在注意力识别条件包括多个时,获取的驾驶员的注意力信息满足多个注意力条件中的至少一个时,即可触发获取车辆的第一实际场景信息。
获取的驾驶员的注意力信息满足如下至少一个注意力识别条件,则触发获取车辆的第一实际场景信息。示例性的,注意力识别条件包括:眼动观察区域变化量达到第一阈值;眼动变化特征和眼动观察区域变化特征中的至少一个与预设的注意力识别特征模式匹配。
换句话说,在眼动观察区域变化量达到第一阈值时,或者,在眼动变化特征和眼动观察区域变化特征中的至少一个与预设的注意力识别特征模式匹配时,都可以触发获取车辆的第一实际场景信息。
其中,第一阈值可以根据实际需要来设置,本实施例此处对于第一阈值的具体数值不做限定。注意力识别特征模式可以包括一个或多个。注意力识别特征模式可以是根据大量的历史数据确定的,历史数据可以包括:驾驶员面对危险场景、长尾场景或其它场景时的眼动数据。注意力识别特征模式还可以是根据驾驶场景数据库中的驾驶场景预先确定的。
举例来说,在驾驶员正常驾驶车辆的过程中,驾驶员的观察区域一般主要集中于车辆的正前方。在发现车辆的右前侧突然出现行人时,驾驶员的观察区域通常会向车辆的右前侧转移,以进一步确认行人的移动轨迹等情况。
例如,可以根据驾驶员的观察区域从车辆的正前方向车辆的右前侧转移过程的变化情况确定眼动观察区域变化量,若是确定的眼动观察区域变化量大于或等于第一阈值时,触发获取车辆的第一实际场景信息。
又例如,在车辆的右前侧突然出现行人这一场景中,驾驶员的眼动变化特征可以为:驾驶员的眼部追随车辆的右前侧的行人移动,或者,驾驶员的眼部在车辆的正前方和车辆的右前侧的行人这两个注视点间跳跃。若是上述眼动变化特征与预先设定的其中一个注意力识别特征模式匹配,则触发获取车辆的第一实际场景信息。
再例如,驾驶员的眼动观察区域变化特征可以为:驾驶员的观察区域从车辆的前方向车辆的右前侧转移,在车辆的右侧停留了2秒后驾驶员的观察区域又回到车辆的前方,在车辆的前方停留了1秒后,驾驶员的观察区域又向车辆的右前侧转移。若是上述眼动观察区域变化特征与预先设定的其中一个注意力识别特征模式匹配,则触发获取车辆的第一实际场景信息。
当然,将注意力信息与注意力识别条件比较的实现过程并不限于此,本实施例此处只是举例说明。
另外,第一实际场景信息可以为预设时间段内的车辆行驶影像、车辆的环境交通信息及车辆行驶信息。例如,第一实际场景信息可以为注意力信息触发预识别前10秒至预识别后30秒这一时间段内的车辆行驶影像、车辆的环境交通信息及车辆行驶信息。
在其它实施例中,例如在注意力信息为心率信息时,在驾驶员当前的心率信息与正常心率范围的偏离量达到心率偏离阈值时,或者,在驾驶员当前的心率信息的变化情况符合预先设定的心率特征模式时,可以获取车辆的第一实际场景信息。其中,心率偏离阈值的具体数值可以根据实际需要来设置,本实施例此处不做限定,例如,心率偏离阈值可以为5%或10%。心率特征模式可以是预先根据历史的心率数据或根据驾驶场景数据库中的多个驾驶场景确定的。
S203、将注意力信息所满足的注意力识别条件及第一实际场景信息发送至服务器端,使服务器端基于注意力信息所满足的注意力识别条件及第一实际场景信息进行匹配度评估与分类。
第一计算设备将获取的注意力信息所满足的注意力识别条件及第一实际场景信息发送至服务器端。服务器端对所接收到的注意力信息所满足的注意力识别条件及第一实际场景信息进行匹配度评估,在评估结果满足预设的评估条件时,可以对第一实际场景信息进行分类或进行其它处理,具体请参照服务器端的实现过程的描述。另外,根据实际需要,还可以第一计算设备还可以将其它信息发送至服务器端。
本实施例提供的驾驶场景处理方法,通过获取驾驶员的注意力信息,在驾驶员的注意力信息满足注意力识别条件时,获取车辆的第一实际场景信息,将注意力信息所满足的注意力识别条件及第一实际场景信息发送至服务器端,使服务器端基于注意力信息及第一实际场景信息进行匹配度评估。如此,利用人工驾驶经验对危险场景、长尾场景等驾驶场景的预判,触发获取车辆的第一实际场景信息,由服务器端对上述信息进行匹配度评估以筛选出有效的第一实际场景信息,既能够克服人为标注驾驶场景的不一致性,还能够克服受预先定义的识别算法限制导致无法对超出识别算法的长尾场景进行识别与分类的问题,从而提高对驾驶场景处理的准确性及覆盖性。
图3是本申请另一实施例提供的驾驶场景处理方法的流程示意图。请参照图3,本申请实施例提供的驾驶场景处理方法,还可以包括:
S301、获取车辆的感知信息,感知信息包括:车辆的环境交通信息、车辆行驶信息及车辆控制信息。
车辆上设置有车辆感知传感器与行车传感器,用于全面感知车辆的环境交通信息、车辆行驶信息及车辆控制信息,并发送至第一计算设备。其中,车辆控制信息,是指在驾驶车辆的过程中对车辆发出的控制指令,可以包括但不限于如下至少一种:刹车指令、车灯控制指令、制动指令。
示例性的,车辆感知传感器与行车传感器可以包括但不限于如下至少一种:摄像头、毫米波雷达传感器、加速度计、轮速计、GNSS(Global navigation satellite system,全球导航卫星系统)定位器。其中,传感器类别、数量及设置位置可以根据实际需要来设置,本实施例此处不做限定。
S302、在感知信息满足多个预设的场景预识别条件中的至少一个时,确定车辆的当前场景为感知信息所满足的场景预识别条件对应的预识别场景,获取车辆的第二实际场景信息。
其中,场景预识别条件是由上述车辆的感知信息中至少部分参数共同组合得到的。场景预识别条件可以是根据驾驶场景库中多个驾驶场景预先确定的。场景预识别条件可以包括多个,多个场景预识别条件可以分别对应于多个驾驶场景。预识别场景可以为驾驶场景库中多个驾驶场景中的一个。
第一计算设备将获取的感知信息与预先设定的场景预识别条件进行比较,在获取的感知信息满足预先多个场景预识别条件中的至少一个时,确定车辆的当前场景为所述感知信息所满足的场景预识别条件对应的预识别场景,触发获取车辆第二实际场景信息。其中,第二实际场景信息可以包括:车辆行驶影像、车辆的环境交通信息及车辆行驶信息。上述过程可以为获取的车辆的感知信息触发预识别的过程。第二实际场景信息可以为预设时间段内的车辆行驶影像、车辆的环境交通信息及车辆行驶信息。例如,第二实际场景信息可以为预识别前后20秒内的车辆行驶影像、车辆的环境交通信息及车辆行驶信息。
举例来说,第一计算设备基于获取的感知信息确定车辆突然加速,并确定车辆当前的加速度达到加速度阈值,这与其中一场景预识别条件相符,这表示车辆预识别当前的场景为突然加速场景,则触发获取车辆第二实际场景信息。当然,将感知信息与预先设定的场景预识别条件进行比较的实现过程并不限于此,本实施例此处只是举例说明。
S303、将预识别场景的预识别场景信息及第二实际场景信息发送至服务器端,使服务器端基于注意力信息所满足的注意力识别条件、第一实际场景信息、预识别场景及第二实际场景信息进行匹配度评估与分类。
第一计算设备预识别场景及第二实际场景信息发送至服务器端,服务器端能够对注意力信息、第一实际场景信息、预识别场景及第二实际场景信息进行匹配度评估,在评估结果满足预设的评估条件时,可以对第一实际场景信息和第二实际场景信息进行分类或进行其它处理,具体请参照服务器端的实现过程的描述。另外,根据实际需要,还可以第一计算设备还可以将其它信息如车辆的感知信息发送至服务端。
在上述实施例中,基于注意力信息采集的第一实际场景信息和基于车辆的感知信息采集的第二实际场景信息可以为不同时间段的场景数据,也可以为同一时间段的场景数据。
图4是本申请又一实施例提供的驾驶场景处理方法的流程示意图。请参照图4,本申请一实施例提供的驾驶场景处理方法,可以应用于服务器端,包括:
S401、获取驾驶员的注意力信息所满足的注意力识别条件,以及在驾驶员的注意力信息满足注意力识别条件时获取的第一实际场景信息。
本实施例中驾驶场景处理方法的执行主体可以为如图1所示的第二计算设备,为便于描述本实施例将以第二计算设备为例进行说明。第二计算设备可以通过无线的方式获取车载端的信息。
第二计算设备接收车载端发送的驾驶员的注意力信息所满足的注意力识别条件及第一实际场景信息。另外,第二计算设备还可以根据实际需要接收车载端发送的驾驶员的注意力识别信息。
S402、基于注意力信息所满足的注意力识别条件及第一实际场景信息进行匹配度评估。
在一些示例中,可以将注意力信息中的眼动变化特征和/或眼动观察区域变化特征,与第一实际场景信息的车辆行驶影像中目标对象的变化特征进行匹配,确定第一匹配度。其中,可以将眼动变化特征和眼动观察区域变化特征中的一个,与第一实际场景信息的车辆行驶影像中目标对象的变化特征的匹配度作为第一匹配度。也可以分别确定眼动变化特征和眼动观察区域变化特征与第一实际场景信息的车辆行驶影像中目标对象的变化特征的匹配度,取平均值作为第一匹配度。还可以根据实际需要分别为眼动变化特征与第一实际场景信息的车辆行驶影像中目标对象的变化特征的匹配度,以及眼动观察区域变化特征与第一实际场景信息的车辆行驶影像中目标对象的变化特征的匹配度,设置权重值。
举例来说,在车辆的右前侧突然出现行人这一场景中,与驾驶员的眼动观察区域变化特征相匹配的注意力识别特征模式为:驾驶员的观察区域从车辆的前方向车辆的右前侧转移,在车辆的右侧停留了2秒后驾驶员的观察区域又回到车辆的前方,在车辆的前方停留了1秒后,驾驶员的观察区域又向车辆的右前侧转移。与第一实际场景信息的车辆行驶影像中,在驾驶人员发生眼动变化后的预设时间段如10秒内,在车辆的右前侧出现目标对象,确定目标对象的移动轨迹,将上述注意力识别特征模式与目标对象的移动轨迹的匹配度作为第一匹配度。
在另一些示例中,可以确定第一实际场景信息的车辆行驶影像中目标对象的位置变化量,将注意力信息中的眼动观察区域变化量与上述位置变化量进行比较,例如,将一定时间段内的多个眼动观察区域变化量,按照时间顺序依次与相应的目标对象的位置变化量进行比较,也可以将一定时间段内总的眼动观察区域变化量与目标对象的总的位置变化量进行比较。根据眼动观察区域变化量的偏差量与车辆行驶影像中目标对象的位置变化量的匹配度确定第一匹配度。其中,眼动观察区域变化量与目标对象的位置变化量与偏差量越小,第一匹配度越高;眼动观察区域变化量与目标对象的位置变化量的偏差量越大,第一匹配度越低。
S403、在注意力识别条件与第一实际场景信息的第一匹配度达到第一匹配阈值时,对第一实际场景信息进行分类。
其中,第一匹配阈值的具体数值可以根据实际需要进行设置。例如,第一匹配阈值可以为85%或90%。
在第一匹配度达到第一匹配阈值时,确定该第一实际场景信息为有效的场景信息,可以对该第一实际场景信息进行分类。该第一实际场景信息可以用于优化完善驾驶场景数据中的驾驶场景,也可以用于对注意力识别条件进行优化等,第一实际场景信息的具体用途可以根据实际需要进行设置。
本实施例中,通过对第一实际场景信息进行匹配度评估,能够将有效的第一实际场景信息筛选出来,利用有效的第一实际场景信息对驾驶场景库中的驾驶场景等进行优化完善。
举例来说,对于部分驾驶员来说,在驾驶过程中,眼动变化属于自身习惯,这就导致在驾驶员的眼动变化量符合注意力识别条件时,车辆当前的真实场景并不一定是需要识别的场景,这就使得第二计算设备获取的第一实际场景信息中存在无效场景,通过对第一实际场景信息进行匹配度评估,利于将上述无效场景筛掉。
对于第一匹配度未达到第一匹配阈值的第一实际场景信息,可以直接作为无效场景信息筛掉;也可以进一步进行筛选,例如可以由人工进行进一步筛选,以丰富驾驶场景库中的驾驶场景。
本实施例提供的驾驶场景处理方法,通过获取驾驶员的注意力信息所满足的注意力识别条件,以及在驾驶员的注意力信息满足注意力识别条件时获取的第一实际场景信息,基于注意力识别条件及第一实际场景信息进行匹配度评估,注意力识别条件与第一实际场景信息的第一匹配度达到第一匹配阈值时,对第一实际场景信息进行分类。如此,通过对利用人工驾驶经验对危险场景、长尾场景等驾驶场景的预判触发获取的第一实际场景信息进行匹配度评估,以根据评估结果确定该第一实际场景信息为有效的第一实际场景信息时,对第一实际场景信息进行分类,从而能够克服人为标注驾驶场景的不一致性,还能够克服受预先定义的识别算法限制导致无法对超出识别算法的长尾场景进行识别与分类的问题,从而提高对驾驶场景处理的效率、准确性及覆盖性。
图5是本申请再一实施例提供的驾驶场景处理方法的流程示意图。请参照图5,本申请一实施例提供的驾驶场景处理方法,可以包括:
S501、获取驾驶员的注意力信息所满足的注意力识别条件,以及在驾驶员的注意力信息满足注意力识别条件时获取的第一实际场景信息。
S502、将注意力信息中眼动变化特征和眼动观察区域变化特征中的至少一个,与第一实际场景信息的车辆行驶影像中目标对象的变化特征进行匹配,确定第一匹配度。
S503、在第一匹配度达到第一匹配阈值时,对第一实际场景信息进行分类。
其中,步骤S501至步骤S503的实现过程与前述步骤S401至步骤S403的实现过程相似,本实施例此处不再赘述。
S504、获取在车辆的感知信息满足多个预设的场景预识别条件中的至少一个时,确定的车辆的预识别场景的预识别场景信息,以及第二实际场景信息。
第二计算设备接收车载端发送的车辆的预识别场景信息,以及第二实际场景信息。另外,第二计算设备还可以根据实际接收车载端发送的车辆的感知信息。
S505、确定第一实际场景信息与第二实际场景信息的重叠度。
可选的,第一实际场景信息和第二实际场景信息中分别包括车辆行驶影像的采集时间。第二计算设备可以从第一实际场景信息中获取第一采集时间,从第二实际场景信息中获取第二采集时间,在第一采集时间与第二采集时间之间的时间间隔小于或等于时间阈值时,确定该第一实际场景信息与该第二实际场景信息的重叠度。其中,时间阈值的具体数值可以根据实际需要来设置,本实施例此处不做限定,例如,时间阈值可以为10秒或15秒等。也可以按照其它的策略选取相对应的第一实际场景信息和第二实际场景信息并确定重叠度。还可以将多个第一实际场景信息分别与多个第二实际场景信息进行比较,以确定重叠度。
在确定第一实际场景信息与第二实际场景信息的重叠度的过程中,可以分别对第一实际场景信息中的车辆行驶影像与第二实际场景信息中的车辆行驶影像进行画面抽取,对从两个视频中抽取的画面特征分别进行编码或者特征融合并进行对比,确定第一实际场景信息与该第二实际场景信息的重叠度。其中,确定重叠度的实现过程可以根据实际需要来设置,本实施例此处不做具体限定。
S506、将预识别场景信息与第二实际场景信息中的车辆行驶影像进行匹配,得到第二匹配度。
在一些示例中,预识别场景信息可以包括如下至少一种:车辆行驶影像、车辆行驶信息及车辆的环境交通信息。
在预识别场景信息包括车辆的环境交通信息时,可以从车辆的环境交通信息中预识别场景信息中的目标对象与第二实际场景信息中的车辆行驶影像的目标对象进行比较,确定预识别场景信息中的目标对象的移动轨迹与第二实际场景信息中的车辆行驶影像的目标对象的移动轨迹的匹配度,进而确定第二匹配度。
在预识别场景信息包括车辆行驶影像时,在预识别场景信息存在对应的影像数据时,也可以确定预识别场景信息所对应的影像数据,与第二实际场景信息中的车辆行驶影像的匹配度,进而确定第二匹配度。
在另一些示例中,预识别场景信息可以为预识别场景信息的标识符,第二计算设备能够根据该标识符获取对应的存储在云端的预识别场景信息。本示例中确定第二匹配度的实现过程可以与上述示例相同或相似,本实施例此处不再赘述。
S507、在重叠度达到重叠度阈值,且在第二匹配度小于第二匹配阈值时,对场景预识别条件进行优化。
其中,第二匹配阈值的具体数值可以根据实际需要进行设置。例如,第二匹配阈值可以为85%或90%。
在重叠度达到重叠度阈值时,表示第二实际场景信息为有效的场景信息,此时,可以通过对场景预识别条件进行优化,直至第二匹配度达到第二匹配阈值,将优化后的场景预识别条件发送至第一计算设备。如此,可以通过大量的信息和数据对场景预识别条件进行优化,以提高场景预识别条件对车辆的感知信息的准确性。
S508、在重叠度达到重叠度阈值,在第二匹配度达到第二匹配阈值,且在第一匹配度达到第一匹配阈值时,建立或优化注意力信息、车辆的感知信息与车辆行驶影像的关联关系。
在重叠度达到重叠度阈值,在第二匹配度达到第二匹配阈值,且在第一匹配度达到第一匹配阈值,表示注意力信息、车辆的感知信息及车辆行驶影像之间具有较强的关联性,可以建立注意力信息、车辆的感知信息与车辆行驶影像的关联关系,作为注意力信息-车辆的感知信息-驾驶场景的触发模型。
其中,车辆行驶影像可以为第一实际场景信息中的车辆行驶影像的至少部分,也可以为第二实际场景信息中的车辆行驶影像的至少部分,也可以为第一实际场景信息中的车辆行驶影像与第二实际场景信息中的车辆行驶影像重叠部分,还可以为第一实际场景信息中的车辆行驶影像和/或第二实际场景信息中的车辆行驶影像进行处理后得到的影像。注意力信息-车辆的感知信息-驾驶场景的触发模型中的驾驶场景,可以为将上述车辆行驶影像分类后所属类别的驾驶场景。
在建立注意力信息-车辆的感知信息-驾驶场景的触发模型之后,可以根据获取到的上述数据对注意力信息-车辆的感知信息-驾驶场景的触发模型进行优化,提高基于注意力信息-车辆的感知信息-驾驶场景的触发模型进行场景识别的准确性。
举例来说,以驾驶场景中事故发生的时间为0秒,车辆的感知信息触发识别的时间为-3秒,驾驶员的注意力信息触发识别的时间为-10秒,则在对注意力信息-车辆的感知信息-驾驶场景的触发模型进行建立或优化时,可以增大注意力信息触发识别的权重,利于提前识别事故,为车辆或驾驶员采取安全措施预留相对较多的时间。当然,具体的实现过程并不限于此,本实施例此处只是举例说明。
S509、在重叠度达到重叠度阈值,且在第一匹配度小于第一匹配阈值时,对注意力识别条件进行优化。
其中,重叠度阈值的具体数值可以根据实际需要进行设置。例如,重叠度阈值可以为85%或90%。
在重叠度达到重叠度阈值时,表示第一实际场景信息为有效的场景信息,此时,可以通过对注意力识别条件进行优化,直至第一匹配度达到第一匹配阈值,将优化后的注意力识别条件发送至第一计算设备。如此,可以通过大量的信息和数据对注意力识别条件进行优化,以提高注意力识别条件对注意力信息识别的准确性。
下面对上述实施例提供的驾驶场景处理方法的实现过程进行举例说明。
在车载端,眼动识别设备采集驾驶员的图像序列,对驾驶员的图像序列进行处理,得到驾驶员的注意力信息,并发送至第一计算设备。第一计算设备基于内置的注意力识别算法,将注意力信息与预设的注意力识别条件进行比较,在驾驶员的注意力信息满足注意力识别条件时,生成第一记录信号并发送至记录设备。记录设备根据接收到的第一记录信号中的记录开始时间记录车辆的第一实际场景信息,由第一计算设备或记录设备将第一实际场景信息发送至第二计算设备,另外还可以将注意力信息所满足的注意力识别条件发送至第二计算设备。
在车载端,车辆感知传感器与行车传感器采集车辆的感知信息,感知信息包括:环境交通信息、车辆行驶信息及车辆控制信息。第一计算设备基于内置的感知场景参数预识别算法,将感知信息与预设的场景预识别条件进行对比,在感知信息满足多个预设的场景预识别条件中的至少一个时,生成第二记录信号并发送至记录设备。记录设备根据接收到的第二记录信号中的记录开始时间记录车辆第二实际场景信息,由第一计算设备或记录设备将第二实际场景信息发送至第二计算设备,并将车辆的感知信息所符合的预识别场景发送至第二计算设备。
在服务器端,第二计算设备将接收到的注意力信息所满足的注意力识别条件、第一实际场景信息、车辆的感知信息所符合的预识别场景信息及第二实际场景信息存储至待分类数据库中。在待分类数据库中的数据量达到一定量,或者间隔时间达到一定值时,第二计算设备对上述数据进行处理。
第二计算设备注意力信息中将眼动变化特征或眼动观察区域变化特征中的至少一个,与第一实际场景信息的车辆行驶影像中目标对象的变化特征进行匹配,确定第一匹配度,在第一匹配度达到第一匹配阈值时,对第一实际场景信息进行分类。第二计算设备确定第一实际场景信息与第二实际场景信息的重叠度,在重叠度达到重叠度阈值,且在第一匹配度小于第一匹配阈值时,对注意力识别条件进行优化;将预识别场景信息与第二实际场景信息中的车辆行驶影像进行匹配,得到第二匹配度;在重叠度达到重叠度阈值,在第二匹配度小于第二匹配阈值时,对场景预识别条件进行优化;在重叠度达到重叠度阈值,在第二匹配度达到第二匹配阈值,且在第一匹配度达到第一匹配阈值时,建立或优化注意力信息、车辆的感知信息与车辆行驶影像的关联关系。
图6是本申请一实施例提供的驾驶场景处理装置的结构示意图。请参照图6,为便于更好的实施本申请实施例的驾驶场景处理方法,本申请实施例还提供一种驾驶场景处理装置,可应用于车载端,包括:
第一获取单元61,用于获取驾驶员的注意力信息;
第二获取单元62,用于在驾驶员的注意力信息满足预设的注意力识别条件时,获取车辆的第一实际场景信息;其中,第一实际场景信息包括如下至少一种:车辆行驶影像、车辆行驶信息及车辆的环境交通信息;
发送单元63,用于将注意力信息所满足的注意力识别条件及第一实际场景信息发送至服务器端,使服务器端基于注意力信息所满足的注意力识别条件及第一实际场景信息进行评估与分类匹配度评估。
在一些实施例中,注意力信息包括:眼动观察区域变化量;驾驶员的注意力信息满足注意力识别条件,包括:眼动观察区域变化量达到第一阈值。
在一些实施例中,注意力信息包括:眼动变化特征和眼动观察区域变化特征;驾驶员的注意力信息满足注意力识别条件,包括:眼动变化特征和眼动观察区域变化特征中的至少一个与预设的注意力识别特征模式匹配。
在一些实施例中,第一获取单元61还用于获取车辆的感知信息,感知信息包括:车辆的环境交通信息、车辆行驶信息及车辆控制信息;
第二获取单元62还用于在感知信息满足多个预设的场景预识别条件中的至少一个时,确定车辆的当前场景为所述感知信息所满足的场景预识别条件对应的预识别场景,获取车辆第二实际场景信息;其中,场景预识别条件是根据驾驶场景预先确定的;
发送单元63还用于将预识别场景的预识别场景信息及第二实际场景信息发送至服务器端,使服务器端基于注意力信息所满足的注意力识别条件、第一实际场景信息、预识别场景及第二实际场景信息进行匹配度评估。
本申请实施例提供的驾驶场景处理装置,可执行本申请方法实施例所提供的驾驶场景处理方法中车载端所执行的步骤,具备执行步骤和有益效果此处不再赘述。
图7是本申请另一实施例提供的驾驶场景处理装置的结构示意图。为便于更好的实施本申请实施例的驾驶场景处理方法,本申请实施例还提供一种驾驶场景处理装置,可应用于服务器端,包括:
第三获取单元71,用于获取驾驶员的注意力信息所满足的注意力识别条件,以及在驾驶员的注意力信息满足注意力识别条件时获取的第一实际场景信息;其中,第一实际场景信息包括如下至少一种:车辆行驶影像、车辆行驶信息及车辆的环境交通信息;
评估单元72,用于基于注意力识别条件及第一实际场景信息进行匹配度评估;
分类单元73,用于在注意力识别条件与第一实际场景信息的第一匹配度达到第一匹配阈值时,对第一实际场景信息进行分类。
在一些实施例中,注意力信息包括:眼动变化特征和眼动观察区域变化特征;评估单元72,具体用于将眼动变化特征或眼动观察区域变化特征中的至少一个,与第一实际场景信息的车辆行驶影像中目标对象的变化特征进行匹配,确定第一匹配度。
在一些实施例中,第三获取单元71,还用于获取在车辆的感知信息满足多个预设的场景预识别条件中的至少一个时,车辆的预识别场景信息,以及第二实际场景信息;
评估单元72还用于:确定第一实际场景信息与第二实际场景信息的重叠度;
驾驶场景处理装置还包括优化单元,用于在重叠度达到重叠度阈值,且在第一匹配度小于第一匹配阈值时,对注意力识别条件进行优化;
评估单元72还用于:将预识别场景信息与第二实际场景信息中的车辆行驶影像进行匹配,得到第二匹配度;
优化单元还用于:在重叠度达到重叠度阈值,在第二匹配度小于第二匹配阈值时,触发对场景预识别条件进行优化;
驾驶场景处理装置还包括关联单元,用于在重叠度达到重叠度阈值,在第二匹配度达到第二匹配阈值,且在第一匹配度达到第一匹配阈值时,建立或优化注意力信息、车辆的感知信息与车辆行驶影像的关联关系。
本申请实施例提供的驾驶场景处理装置,可执行本申请方法实施例所提供的驾驶场景处理方法中服务器端所执行的步骤,具备执行步骤和有益效果此处不再赘述。
上述驾驶场景处理装置中的各个单元可全部或部分通过软件、硬件及其组合来实现。上述各个单元可以以硬件形式内嵌于或独立于电子设备中的处理器中,也可以以软件形式存储于电子设备中的存储器中,以便于处理器调用执行上述各个单元对应的操作。
上述驾驶场景处理装置,可以集成在具备储存器并安装有处理器而具有运算能力的终端或服务器中,或者该驾驶场景处理装置为该终端或服务器。
图8是本申请一实施例提供的电子设备的结构示意图。请参照图8,本实施例还提供了一种电子设备,可以包括:处理器801、存储器802、输入装置803和输出装置804。设备中的处理器801的数量可以一个或多个。在一些实施例中,处理器801、存储器802、输入装置803和输出装置804可通过总线或其它方式连接。
存储器802可用于存储软件程序以及模块,处理器801通过运行存储在存储器802的软件程序以及模块,从而执行设备的各种功能应用以及数据处理。存储器802可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等。此外,存储器802可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。输入装置803可用于接收输入的数字或字符信息。
具体在本实施例中,处理器801会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器802中,并由处理器801来运行存储在存储器802中的应用程序,从而实现上述驾驶场景处理方法的各种功能。
本实施例还提供了一种计算机可读存储介质,计算机可读存储介质中存储有指令,当计算机程序被处理器执行时,使得计算设备能够实现前述任一实施例中的驾驶场景处理方法。
本实施例还提供了一种计算机程序产品,当所述计算机程序产品在计算设备上运行时,使得所述计算设备实现前述任一实施例中的驾驶场景处理方法。
需要说明的是,在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
此外,本申请实施例中所使用的“第一”、“第二”等术语,仅用于描述目的,而不可以理解为指示或者暗示相对重要性,或者隐含指明本实施例中所指示的技术特征数量。由此,本申请实施例中限定有“第一”、“第二”等术语的特征,可以明确或者隐含地表示该实施例中包括至少一个该特征。在本申请的描述中,词语“多个”的含义是至少两个或者两个及以上,例如两个、三个、四个等,除非实施例中另有明确具体的限定。
尽管上面已经示出和描述了本申请的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。