CN114694197A - 行车预警方法、电子设备和计算机可读存储介质 - Google Patents

Abstract

本发明实施例涉及行车安全领域，特别涉及一种行车预警方法、电子设备和计算机可读存储介质。上述行车预警方法包括：获取行车过程中的视频流；对所述视频流进行采样，得到有时序的视频帧序列；确定所述视频帧序列中行人动作的时空上下文信息；根据所述时空上下文信息，识别所述视频帧序列中的行人动作的动作类型；若所述动作类型为预设的预警类型，发送预警信息，具有主动式的预警能力，能够有效的减少交通事故。

Description

行车预警方法、电子设备和计算机可读存储介质

技术领域

本发明实施例涉及行车安全领域，特别涉及一种行车预警方法、电子设备和计算机可读存储介质。

背景技术

目前，驾驶汽车已经成为了人们最主要的交通方式。随着道路上车辆的急速增加，也大大增加了交通事故发生的可能性。而在城市交通事故中，引发交通事故发生的主体主要是司机和行人。同时考虑到司机这一主体的特殊性，其本身可能就会遇到行人的一些恶意行为，主要包括：闯红灯、横穿马路，以及碰瓷等。如何使司机有效的规避这些行人的恶意行为，避免交通事故的发生，引起了社会的广泛关注。除了在道路上增加护栏、警示牌，为道路上的行人普及交通规则以外，针对行人的恶意行为司机主要采用行车记录仪来记录，采用一种被动方式来保护自己，不能提前预警类似碰瓷等恶意行为的发生，不具有主动式的预警能力，难以有效的减少交通事故。

发明内容

本申请实施例的主要目的在于提出一种行车预警方法、电子设备和计算机可读存储介质，具有主动式的预警能力，能够有效的减少交通事故。

为实现上述目的，本申请实施例提供了一种行车预警方法，包括：获取行车过程中的视频流；对所述视频流进行采样，得到有时序的视频帧序列；确定所述视频帧序列中行人动作的时空上下文信息；根据所述时空上下文信息，识别所述视频帧序列中的行人动作的动作类型；若所述动作类型为预设的预警类型，发送预警信息。

为实现上述目的，本申请实施例还提供了一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的行车预警方法。

为实现上述目的，本申请实施例还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述的行车预警方法。

本申请实施例中，获取行车过程中的视频流；对视频流进行采样，得到有时序的视频帧序列；确定视频帧序列中行人动作的时空上下文信息；根据时空上下文信息，识别视频帧序列中的行人动作的动作类型；若动作类型为预设的预警类型，发送预警信息。有时序的视频帧序列，即按视频流本身每一帧顺序使用固定间隔采样，得到的保留时序信息的视频帧序列，根据确定的视频帧序列中行人动作的时空上下文信息，识别视频帧序列中的行人动作的动作类型。结合时空上下文信息有利于合理的预测行人的动作趋势，从而可以准确的识别出行人当前以及即将实施的行人动作的动作类型，而不是对特定位置的姿态或者几帧图片进行识别，有利于提高识别的准确性，从而提高确定动作类型是否为预设的预警类型的准确性。在识别出动作类型为预设的预警类型时，发送预警信息，使得可以在恰当的时机主动发送预警信息，即本申请实施例具有主动式的预警能力，能够有效的减少交通事故。

附图说明

图1是本申请第一实施例提到的行车预警方法的流程图；

图2是本申请第二实施例提到的行车预警方法的流程图；

图3是本申请第二实施例提到的人脸加速度的确定方式的流程图；

图4是本申请第二实施例提到的软件模块的示意图；

图5是本申请第二实施例提到的视频分析单元402的示意图；

图6是本申请第二实施例提到的在一个例子中行车预警方法的流程图；

图7是本申请第二实施例提到的步骤613的子步骤的流程图；

图8是本申请第三实施例电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请的各实施例进行详细的阐述。然而，本领域的普通技术人员可以理解，在本申请各实施例中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施例的种种变化和修改，也可以实现本申请所要求保护的技术方案。以下各个实施例的划分是为了描述方便，不应对本申请的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。

本申请第一实施例涉及一种行车预警方法，应用于电子设备。其中，电子设备可以为云服务器或是预警装置，预警装置可以为设置在驾驶员所驾驶的车辆内的辅助驾驶设备，比如可以为行车记录仪，在具体实现中预警装置也可以为设置在无人驾驶的车辆内。本实施例的应用场景可以理解为：对道路上行人的闯红灯、横穿马路，以及碰瓷等恶意行为进行检测和识别，以提前给驾驶员发出预警，让驾驶员或无人驾驶的车辆主动去避让这些行人的恶意行为。下面以电子设备为云服务器为例对本实施例的行车预警方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。

本实施例的行车预警方法的流程图可以参考图1，包括：

步骤101：获取行车过程中的视频流。

在一个例子中，有人驾驶的场景下，驾驶员所驾驶的车辆内的行车记录仪可以获取行车过程中的实时视频流，由行车记录仪将实时视频流上传至云服务器，使得云服务器可以获取驾驶员在行车过程中的实时视频流。无人驾驶的场景下，车辆内的行车记录仪也可以获取行车过程中的实时视频流。

在一个例子中，行车记录仪可以通过5G、6G高速网络或者其他高速无线网络将实时视频流上传至云服务器。也就是说，云服务可以获取无人驾驶的车辆在行车过程中的视频流，也可以获取有人驾驶的车辆在行车过程中的视频流。

步骤102：对视频流进行采样，得到有时序的视频帧序列。

在一个例子中，云服务器可以每隔指定帧数对视频流进行采样，得到有时序的视频帧序列。其中，指定帧数可以根据实际需要进行设置，例如隔8帧采样一帧、16帧采样一帧或者64帧采样一帧，采样得到的视频帧构成有时序的视频帧序列。

在一个例子中，云服务器可以对视频流进行指定帧数的RGB图像采样，例如隔8帧采样一帧、16帧采样一帧或者64帧采样一帧，对于采样到的RGB图像序列按序构成一个有序的时序RGB序列，该有序的时序RGB序列即为有时序的视频帧序列。

步骤103：确定视频帧序列中行人动作的时空上下文信息。

其中，时空上下文信息包括时序上下文信息和空间上下文信息，其中时序上下文信息为视频帧序列中相邻帧中行人动作的改变情况，可以理解为保持视频中动作的顺序和连贯性，空间上下文信息是指单帧图像中行人动作与所处环境的相对位置，可以理解为目前行人在当前帧中的哪个位置。

在一个例子中，云服务器可以先确定视频帧序列中的行人动作的开始位置和结束位置，即确定动作开始是整个时序RGB序列中的第几帧，动作结束是整个时序RGB序列中的第几帧，然后再对起始位置和结束位置内的RGB序列进行动作识别。云服务器可以提取起始位置和结束位置内的RGB序列中每个视频帧中的行人动作的位置，根据提取的行人动作的位置，确定行人动作的时空上下文信息。该行人动作的空间上下文信息可以反映:该行人动作在上述RGB序列中各单帧图像所处环境的相对位置的变化，该行人动作的时间上下文信息可以反映:该行人动作在上述RGB序列中相邻帧的改变情况。

步骤104：根据时空上下文信息，识别视频帧序列中的行人动作的动作类型。

其中，视频帧序列为有时序的视频帧序列，即视频帧序列保存有视频帧序列的时序信息，云服务器可以根据视频帧序列中行人动作的时空上下文信息，识别视频帧序列中的行人动作的动作类型。也就是说，云服务器通过对视频帧序列中行人动作的时序上下文信息和空间上下文信息进行提取，从而结合时序上下文信息和空间上下文信息识别行人动作的动作类型。结合时序上下文信息和空间上下文信息有利于合理的预测行人的动作趋势，从而可以准确的识别出行人当前以及即将可能实施的行人动作的动作类型。

步骤105：若动作类型为预设的预警类型，发送预警信息。

其中，预设的预警类型可以根据实际需要进行设置，可以包括但不限于：闯红灯、横穿马路、碰瓷、翻越道路上的围栏。

在一个例子中，如果云服务器确定识别出的动作类型为预设的预警类型，可以向驾驶员所驾驶的车辆内的行车记录仪发送预警信息，以提醒驾驶员有行人实施了属于预警类型的动作。其中，预警信息可以为视频信息也可以为音频信息，本实施例对预警信息的形式不做具体限定。

在一个例子中，云服务器在发送预警信息以提醒驾驶员之后，还可以确定行人动作的发生地点，然后在预设的广播范围内，发送携带发生地点的广播预警；其中，广播预警用可以于提醒除所述驾驶员之外的其他驾驶员所述发生地点发生了属于预警类型的行人动作，有利于提醒其他驾驶员，起到集体提示的作用。预设的广播范围可以根据实际需要进行设置，比如预设的广播范围可以为以发生地点为中心向四周延伸的1千米范围之内，服务器可以将广播预警发送至处于预设的广播范围内的车辆中的预警装置中，以进行集体提醒。然而，本实施方式对预设的广播范围不做具体限定。

在一个例子中，云服务器确定行人动作的发生地点的方式可以为：行车记录仪通过北斗定位系统或是GPS定位系统确定行人动作的发生地点，然后行车记录仪将确定的行人动作的发生地点发送至云服务器，使得云服务器可以获取到行人动作的发生地点。

在一个例子中，云服务器可以向驾驶员1驾驶的车辆内的行车记录仪发送预警信息，然后向除驾驶员1之外的其他驾驶员驾驶的车辆内的行车记录仪发送携带发生地点的广播预警。其中，除驾驶员1之外的其他驾驶员可以为与驾驶员1处于同一区域范围之内的驾驶员，还可以为同样使用该云服务器的驾驶员，同样使用该云服务器的驾驶员所驾驶的车辆内的行车记录仪均会向云服务器发送驾驶员在行车过程中的实时视频流。

需要说明的是，本实施方式中的上述各示例均为为方便理解进行的举例说明，并不对本发明的技术方案构成限定。

本实施例中，每隔指定帧数对视频流进行采样，有利于对视频流进行合理的采样，构成有时序的视频帧序列，即视频帧序列具有时间信息。根据确定的视频帧序列中行人动作的时空上下文信息，识别视频帧序列中的行人动作的动作类型，相当于结合视频帧序列的时空信息识别行人动作的动作类型。结合时空信息有利于合理的预测行人的动作趋势，从而可以准确的识别出行人当前以及即将实施的行人动作的动作类型，而不是对特定位置的姿态或者几帧图片进行识别，有利于提高识别的准确性，从而提高确定动作类型是否为预设的预警类型的准确性。在识别出动作类型为预设的预警类型时，发送预警信息，使得可以在恰当的时机主动发送预警信息，即本申请实施例具有主动式的预警能力，能够有效的减少交通事故。

另外，本实施例还考虑到现有技术中，也有采用被动式的人工输入方式对已进行碰瓷的人员进行个人的信息采集，将采集到的个人信息存在云服务器中，对已发生碰瓷人员的再次碰瓷进行预警，不能对未采集对象进行预测。而本实施例中以动作识别为核心，相当于是对碰瓷等恶意行为进行动作识别，对首次发生的恶意行为具有预警作用，不受云服务器中是否存储有已进行碰瓷的人员的信息的限制，即使云服务器中未存储已进行碰瓷的人员的信息，也可以通过动作识别，识别出行人是否实施了预设预警类型动作行为。

本申请第二实施例涉及一种行车预警方法，下面对本实施例的行车预警方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。

本实施例的行车预警方法的流程图可以参考图2，包括：

步骤201：获取行车过程中的视频流。

步骤202：每隔指定帧数对视频流进行采样，得到有时序的视频帧序列。

其中，步骤201至步骤202与第一实施例中步骤101至步骤102大致相同，为避免重复在此不再赘述。

步骤203：确定视频帧序列中是否存在满足预设条件的目标人物；如果是，则进入步骤204，否则进入步骤207。

其中，预设条件可以包括：人脸加速度大于预设的加速度阈值，和/或，最小行人尺寸大于预设的尺寸阈值。也就是说，视频帧序列中目标人物的人脸加速度大于预设的加速度阈值，和/或，视频帧序列中目标人物的最小行人尺寸大于预设的尺寸阈值。目标人物的人脸加速度用于表征指定单位时间内或指定视频帧数内目标人物的人脸尺寸的增量值。如果某一行人的人脸加速度大于预设的加速度阈值，说明在视频帧序列中该行人的人脸尺寸越来越大，即该行人距离驾驶员所驾驶的车辆的距离越来远近。

在一个例子中，假设在视频帧序列中检测到行人1，则云服务器可以先确定该行人1在视频帧序列中的各视频帧中的行人尺寸；其中，行人1的行人尺寸可以理解为行人1作为一个整体在各视频帧中所占的尺寸大小。然后，云服务器可以在各视频帧中的行人尺寸中确定最小行人尺寸，如果确定的最小行人尺寸大于预设的尺寸阈值(如长*宽为160*80)，可以认为行人1为满足预设条件的目标人物。

在一个例子中，假设在视频帧序列中检测到行人1，则可以先确定行人1在视频帧序列中是否存在满足预设要求的人脸，其中，满足预设要求的人脸的尺寸大于预设的最小人脸尺寸(如长*宽为40*40)。如果存在满足预设要求的人脸，则可以再计算该行人1的的人脸加速度。如果行人1的人脸加速度大于预设的加速度阈值，可以认为行人1为满足预设条件的目标人物。下面以行人1为例分别对人脸加速度的确定方式进行举例说明，参考图3，包括：

步骤301:确定行人1在视频帧序列中的各视频帧中的人脸尺寸。

其中，人脸尺寸可以理解为在进行人脸检测时人脸检测框的大小，人脸检测框的大小可以为人脸检测框的面积。

步骤302:根据指定视频帧数或指定单位时间，将视频帧序列分为若干视频帧组。

其中，指定视频帧数可以根据实际需要进行设置，比如设置为20帧。假设，视频帧序列为200帧的时序RGB序列，指定视频帧数为20帧，则200帧的时序RGB序列可以被分为10个视频帧组。上述的指定单位时间也可以根据实际需要进行设置，比如设置为1秒，也就是说，以1秒为分组时间间隔，将采样后的视频帧序列分为若干视频帧组。

步骤303:确定每个视频帧组对应的行人1的人脸尺寸的增量值。

首先，可以先确定该视频帧组中的起始帧中行人1的人脸尺寸和终止帧中行人1的人脸尺寸的尺寸差。比如，每20帧为一个视频帧组，计算每20帧中的第一帧和最后一帧的人脸检测框的面积差值即尺寸差，若20帧内最后帧无人脸即终止帧无人脸，可以按倒数顺序取最后出现人脸的视频帧作为终止帧，最终会确定10个视频帧组对应的尺寸差。

然后，根据每个视频帧组对应的尺寸差，确定每个视频帧组对应的行人1的人脸尺寸的增量值。

在一个例子中，视频帧组根据指定视频帧数划分得到，则一个视频帧组对应的行人1的人脸尺寸的增量值可以通过如下公式计算：

A＝(S2-S1)÷N；

其中，S2为该视频帧组的终止帧中行人1的人脸检测框的的面积，S1为该视频帧组的起始帧中行人1的人脸检测框的的面积，N为指定视频帧数，比如上述的20。

在另一个例子中，视频帧组根据指定单位时间划分得到，则一个视频帧组对应的行人1的人脸尺寸的增量值可以通过如下公式计算：

A＝(S2-S1)÷T；

其中，S2为该视频帧组的终止帧中行人1的人脸检测框的的面积，S1为该视频帧组的起始帧中行人1的人脸检测框的的面积，T为指定单位时间，比如上述的1秒。

步骤304:根据每个视频帧组对应的行人1的人脸尺寸的增量值，确定行人1的人脸加速度。

在一个例子中，可以求若干视频帧组对应的行人1的人脸尺寸的增量值的平均值，并将该平均值作为人脸加速度。比如，可以对上述示例中确定的10个视频帧组对应的行人1的人脸尺寸的增量值求平均值，将该平均值作为人脸加速度。也就是说，人脸加速度可以用于表征指定单位时间内或指定视频帧数内该行人的人脸尺寸的平均增量值。将平均值作为人脸加速度有利于综合考虑整个视频帧序列中的各视频帧中的人脸尺寸，从而更加合理准确的确定人脸加速度。

在具体实现中，也可以任选一个视频帧组对应的行人1的人脸尺寸的增量值，作为行人1的人脸加速度，本实施例对此不做具体限定。

步骤204：提取目标人物的人物特征。

其中，人物特征包括人脸特征和/或行人重识别特征。人脸特征可以理解为：视频流中采样得到的人脸图片的人脸检测框中的人脸特征，人脸检测框用于框出人脸所在区域。行人重识别特征可以理解为：视频流中采样得到的行人图片的行人检测框中的特征，行人检测框用于框出行人整体所在的区域。

比如，人脸特征指的是视频流中采样得到的人脸图片，经过用于识别人脸特征的神经网络模型后，得到的保存了人脸上下文信息、图像纹理细节、图像语义信息等的高级抽象特征，一般表现为模型最后一层全连接层输出的结果。本示例中人脸特征可以为144维的高级抽象特征。行人重识别特征指的是视频流中采样得到的行人图片，经过用于识别行人重识别特征的神经网络模型后，得到的高级抽象特征。本示例中行人重识别特征可以为256维的高级抽象特征。然而，本实施方式中对人脸特征和行人重识别特征的具体维度不做具体限定，在具体实现中，可以根据实际需要选择。

在一个例子中，如果目标人物的人脸加速度大于预设的加速度阈值，可以提取目标人物的人脸特征。也就是说，如果检测到视频帧序列中存在一个行人的人脸尺寸较大，且检测到该行人的人脸尺寸越来越大，说明该行人距离驾驶员所驾驶的车辆的距离越来越近，此时可以将该行人作为目标人物，提取该目标人物的人脸特征，有利于提高提取的人脸特征的准确性。

在一个例子中，如果目标人物的最小行人尺寸大于预设的尺寸阈值，可以提取目标人物的行人重识别特征。可以理解的是，如果目标人物在视频帧序列中的最小行人尺寸都大于预设的尺寸阈值，说明目标人物在视频帧序列中的各视频帧中的行人尺寸均大于预设的尺寸阈值，即目标人物在整个视频帧序列中的行人尺寸均较大，此时提取目标行人的行人重识别特征，有利于提高提取的行人重识别特征的准确性。

在一个例子中，如果目标人物的最小行人尺寸大于预设的尺寸阈值并且目标人物的人脸加速度大于预设的加速度阈值，则可以提取该目标行人的人脸特征和行人重识别特征。

步骤205：根据目标人物的人物特征和存储空间中存储的人物特征，确定目标人物是否为黑名单中的人物；如果是，则进入步骤206，否则进入步骤207。

步骤206：发送预警信息。

步骤207：确定视频帧序列中行人动作的时空上下文信息。

步骤208：根据时空上下文信息，识别视频帧序列中的行人动作的动作类型。

步骤209：若动作类型为预设的预警类型，发送预警信息。

其中，步骤207至步骤209与第一实施例中步骤103至步骤105大致相同，为避免重复，此处不再赘述。

步骤210：提取实施行人动作的行人的人物特征，并存储至预设的存储空间。

其中，存储空间用于存储实施了属于预警类型的动作的行人的人物特征。该人物特征包括上述的人脸特征和/或行人重识别特征。本实施例中，存储空间不需要提前存储人物特征，存储空间中存储的人物特征均为云服务器在发送预警信息后，提取的触发本次预警的行人的人物特征。

在一个例子中，存储空间还存储有不同行人触发的预警次数，在发送预警信息以提醒驾驶员之后，云服务器可以更新实施行人动作的行人触发的预警次数。黑名单中的人物可以为触发过预警的人物。可选的，黑名单中的人物可以满足如下条件：当日触发的预警次数大于预设的第一次数阈值；和/或，第二预设周期内总共触发的预警次数大于预设的第二次数阈值；其中，第二预设周期大于一天，第二次数阈值大于第一次数阈值。上述的第一次数阈值、第二次数阈值以及第二预设周期可以根据实际需要进行设置，比如第一次数阈值设置为30次，第二次数阈值设置为900次，第二预设周期设置为1个月、6个月等。一个人物触发了一次预警可以理解为，云服务器检测到该人物实施了一次属于预警类型的动作，发送了一次预警信息。通过设置第一次数阈值和第二次数阈值，有利于避免因为误判将行人记录到“黑名单”之中概率，减少了误报率，提高了整个系统的鲁棒性，同时也保护了行人的个人隐私。

在具体实现中，每次预警后云服务器可以对在告警地点(即行人动作的发生地点)行人的告警次数(即预警次数)进行统计，并编号类似“XXX路_时间_编号_次数”进行记录并上传存储空间中的校验数据表中的，云服务器会统计校验数据表中在该地点，该行人触发的告警次数，如果该行人触发的告警次数超过设定的次数阈值(比如，该行人当日预警次数大于预设的第一次数阈值，和/或，该行人6个月内总共触发的预警次数大于预设的第二次数阈值)，云服务器会将该行人写入到黑名单中，有利于防止因某个单系统发生故障导致错误记录，或者单系统恶意记录的目的。其中，单系统可以理解为每个驾驶员所使用的预警系统，该预警系统可以以应用程序的形式安装在驾驶员所驾驶的车辆内的行车记录仪中。

在步骤205中，确定目标人物是否为黑名单中的人物的方式可以如下:

在一个例子中，如果提取到目标人物的人脸特征，则可以将目标人物的人脸特征和存储空间中存储的人脸特征进行匹配，如果匹配成功，则可以确定该目标人物的身份，然后根据该目标人物的身份确定目标人物是否为黑名单中的人物。如果确定目标人物是黑名单中的人物，则可以进入步骤206，如果确定目标人物不是黑名单中的人物，则可以进入步骤207。如果匹配成功不成功，说明该目标人物曾经未触发过预警,则可以继续进入步骤207。

在另一个例子中，如果提取到目标人物的行人重识别特征，则可以将目标人物的行人重识别特征和存储空间中存储的行人重识别特征进行匹配，从而根据匹配的结果确定目标人物是否为黑名单中的人物。

在一个例子中，若确定目标人物为黑名单中的人物，且确定目标人物的动作类型不属于所述预警类型，也就是说，确定目标人物为黑名单中的人物，但该目标人物此时并没有实施属于预警类型的动作(简称预警动作)，云服务器也会发送预警信息以提醒驾驶员，该目标人物曾经实施过预警行为，比如该目标人物有碰瓷行为的前科，云服务器可以在碰瓷行为发生前提醒驾驶员提高注意力，起到在碰瓷发生前的预警作用。

在步骤210中，提取的实施行人动作的行人的人物特征，可以包括：该行人的人脸特征和/或行人重识别特征。

在一个例子中，提取该行人的人脸特征的方式可以为：云服务器先确定该行人在视频帧序列中的各视频帧中的人脸尺寸，然后根据各视频帧中的人脸尺寸，确定人脸加速度；其中，人脸加速度用于表征指定单位时间内或指定视频帧数内该行人的人脸尺寸的平均增量值；若人脸加速度大于预设的加速度阈值，提取该行人的人脸特征。

在一个例子中，提取该行人的行人重识别特征的方式可以为：云服务器先确定该行人在视频帧序列中的各视频帧中的行人尺寸，然后在各视频帧中的行人尺寸中确定最小行人尺寸，若最小行人尺寸大于预设的尺寸阈值，提取该行人的行人重识别特征。

也就是说，在步骤210中，服务器对满足加速度阈值的行人的人脸特征进行提取，和/或，对满足尺寸阈值的行人的行人重识别特征进行提取，然后将提取的人脸特征和/或行人重识别特征存储在预设的存储空间中。由此可见，本实施例中，人脸识别和行人重识别使用的特征数据不需要人工手动确认添加，存储空间中存储的人物特征为识别到预警动作(即行人动作的类型属于预警类型)后，通过将满足加速度阈值的行人的人脸特征，和/或，满足尺寸阈值的行人的行人重识别特征放入存储空间中。若不满足上述加速度阈值或是尺寸阈值，则可以不进行特征提取工作，也不放入到存储空间中，确保存储空间中存储的人物特征均为便于进行人物识别的特征，方便了后续结合该存储空间中存储的人物特征更加准确的进行行人身份的识别，从而方便了确定行人是否是黑名单中的人物。

在一个例子中，步骤210中提取的实施行人动作的行人的人物特征包括人脸特征和行人重识别特征，云服务器可以将人脸特征作为周期性特征，存储至预设的存储空间；其中，周期性特征每隔第一预设周期更新一次，第一预设周期大于一天。云服务器可以将行人重识别特征作为当日特征，存储至预设的存储空间；其中，当日特征每天更新一次。在具体实现中，第一预设周期可以根据实际需要进行设置，比如可以设置为20天或者6个月，也就是说，周期性特征以20天或者6个月作为周期保存，超过20天或者6个月的特征会被覆盖更新，而行人重识别特征则只会作为当日数据进行记录即作为当日特征存储至预设的存储空间，针对当日的识别任务，每日覆盖更新。其中，当日的识别任务可以理解为：如果当日提取到行人的行人重识别特征，将提取的该行人重识别特征与存储空间中当日存储的行人重识别特征进行匹配，从而对该行人的身份进行识别。本实施例中利用周期性特征和当日特征结合的机制有利于提高行人识别的准确性，从而有利于提高判断目标人物是否为黑名单中的人物的准确性，同时周期性的存储的方式有利于降低存储空间需要不断存储新特征的压力。

在一个例子中，本实施例中的行车预警方法，可以通过如下软件模块实现，参考图4，包括：

视频流获取单元401，用于获取车辆在行车过程中的视频流。比如，行车记录仪作为视频流搜集终端，从行车记录仪获取驾驶期间的实时视频流。在具体实现中，车辆可以为有人驾驶的车辆也可以为无人驾驶的车辆。

视频分析单元402，用于对收集到的视频流进行处理，并根据处理结果向行车预警单元403发送信号进行提前预警，同时将实施了预警动作的人员的人物特征保存在存储模块中。

行车预警单元403，用于发起预警信息。比如，向行车记录仪发送预警信息以提醒驾驶员。

共享单元404，用于确定预警动作的发生地点，并告知所有预警装置该发生地点有预警动作发生，进行集体提示。其中，预警装置可以理解为车辆内设置的行车记录仪，共享单元404可以发送携带发生地点的广播预警以进行集体提示。比如，共享单元404可以通过5G、6G或者其他无线通讯网络通知其他装有图3中的软件模块的车辆该地点需要注意慢行。

校验单元405，用于根据校验数据表检查实施了预警动作的人员触发的当日预警次数和总预警次数，确定是否要将该碰瓷人员写入“黑名单”数据库中，至此流程结束。

在具体实现中，图4中的各软件模块可以集成在云服务器中，也可以集成在车辆上的行车记录仪中，本实施例对此不做具体限定。

在一个例子中，视频分析单元402的构成可以参考图5，包括：

动作识别模块501，用于每隔指定帧数对视频流进行采样，得到有时序的视频帧序列，对整个视频帧序列的时间信息和空间信息进行提取，结合时间信息和空间信息对行人动作进行识别。

人脸识别模块502，用于在确定行人的人脸加速度大于预设的加速度阈值时，提取该行人的人脸特征，将行人的人脸特征和存储模块中存储的人脸特征进行相似度对比，进行人脸检索，确定该行人的身份。

行人重识别模块503，用于在确定行人的最小行人尺寸大于预设的尺寸阈值时，提取该行人的行人重识别特征，将行人的行人重识别特征和存储模块中存储的行人重识别特征进行相似度对比，进行行人检索，确定该行人的身份。

在具体实现中，可以通过加速度阈值来控制人脸识别模块502的开启，即当检测到行人的人脸加速度大于预设的加速度阈值时，启动人脸识别模块502进行人脸识别。行人重识别模块503可以在检测到行人时开启。人脸识别模块502和行人重识别模块503可以分别在满足各自的启动条件时启动，可能同时启动也可能只启动其中一个。即人脸识别模块502和行人重识别模块503并不一直处于工作状态，有利于节省功耗。

人脸识别模块502或是行人重识别模块503可以识别出的行人的身份，确定该行人是否为黑名单中的人物，如果是黑名单中的人物，向行车预警单元403发送信号进行提前预警，并将存储模块504中关于该行人的特征更新为人脸识别模块502或是行人重识别模块503所提取的新的特征，起到特征自动更新的功能。如果确定行人不在黑名单之中，可以进入动作识别模块501，由动作识别模块501对行人动作进行识别。根据识别的结果，判断是否是需要发出预警信息，如果需要，则向行车预警单元403发送信号进行提前预警，如果不需要，则不做预警。

存储模块504，用于对满足加速度阈值的行人的人脸特征，和/或，满足尺寸阈值的行人的行人重识别特征进行存储。还用于存储黑名单中的人物，以及校验数据表。可选的，可以将人脸特征作为周期性特征进行保存，行人重识别特征作为当日特征进行保存，这种结合策略有利于极大的提高云服务器的工作效率。另外，本实施例中对录入黑名单设置了自动校验机制，在存储模块中添加校验数据表，校验数据表中保存某地点对应的某行人触发的预警次数，当在某一地点，某一行人触发的预警次数超过预设的次数阈值，例如当总预警次数或者当日预警次数超过设置的次数阈值后，该行人会被录入到“黑名单”中。“黑名单”录入的自动校验机制降低了因为误判将行人记录到“黑名单”之中概率，减少了误报率，提高了整个系统的鲁棒性，同时也保护了行人的个人隐私。

在具体实现中，动作识别模块501、人脸识别模块502和行人重识别模块503也可以理解为混合检测模块501中的子模块。视频流获取单元401可以将视频流上传至视频分析单元402中的混合检测模块501。

在混合检测模块501中，对视频流进行指定帧数的RGB图像采样，例如隔8帧采样一帧、16帧采样一帧或者64帧采样一帧，对于采样到的RGB图像序列按序构成一个有序的时序RGB序列。如果RGB序列满足人脸识别模块502的启动条件(即检测到行人的人脸加速度大于预设的加速度阈值)，则进入人脸识别模块502的识别流程，如果RGB序列满足行人重识别模块503的启动条件(即检测到行人)，则进入行人重识别模块503的识别流程，如果RGB序列不满足人脸识别模块502和行人重识别模块503的启动条件，则进入动作识别模块501的识别流程。

值得一提的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。

在一个例子中，本实施例中的行车预警方法，可以参考图6，包括：

步骤601：获取驾驶员在行车过程中的视频流。

步骤602：将视频流上传至云服务器中的视频分析单元。

步骤603：视频分析单元首先经过混合检测模块，得到混合检测的结果。

步骤604：判断视频流是否满足人脸识别模块的启动条件或者满足行人重识别模块的启动条件。如果是，则执行步骤605，否则执行步骤606。

其中，判断视频流是否满足人脸识别模块的启动条件可以理解为：判断视频流中是否存在人脸加速度大于预设的加速度阈值的人脸。判断视频流是否满足人脸识别模块的启动条件可以理解为：判断视频流中是否检测到行人。

步骤605：通过人脸识别模块和/或行人识别模块识别身份。

其中，如果步骤604判定视频流中满足人脸识别模块的启动条件，则本步骤中通过人脸识别模块识别行人的身份。如果步骤604判定视频流中满足行人重识别模块的启动条件，则本步骤中通过行人重识别模块识别人脸的身份。如果步骤604判定视频流中满足人脸识别模块的启动条件和行人识别模块的启动条件，则本步骤中通过人脸识别模块和行人重识别模块识别行人的身份。也就是说，人脸经过人脸识别模块识别或者行人通过行人识别模块识别，两者也可以同时进行。

步骤606：对视频流中的行人动作进行动作识别。

步骤607：判断识别出的行人动作是否为预设的预警动作；如果是，执行步骤608，否则该流程结束。

步骤608：提取人脸特征和/或行人重识别特征，并进行存储。

步骤609：通知预警装置进行报警。

步骤610：通过共享单元发送广播预警以进行集体提示。

步骤611：判断识别的身份是否是黑名单中的身份；如果是，则执行步骤612，否则进入步骤606。

其中，黑名单可以存储在黑名单数据库中。

步骤612：更新识别出的行人的人脸特征和/或行人重识别特征。

步骤613：根据提取的人脸特征和/或行人重识别特征，进行校验。

也就是说，进入校验单元，根据校验数据表检查实施了预警动作的人员触发的当日预警次数和总预警次数，确定是否要将该实施了预警动作的行人写入“黑名单”数据库中。

步骤613可以通过如下子步骤实现，参考图7：

步骤6131：根据人脸特征和/或行人重识别特征判断行人的身份是否是黑名单中的身份；如果否则执行步骤6132，如果是该流程结束。

步骤6132：更新该行人触发的预警次数。

步骤6133：判断预警次数是否超过预设的次数阈值，如果是则执行步骤步骤6134，否则该流程结束。

步骤6134：将该行人的身份写入黑名单中。

为进一步方便对本实施例的理解，下面以几种场景进行举例说明：

场景一：车辆正常行驶中行人横穿马路预警：

当车辆在正常行驶时，车辆中的行车记录拍摄行车过程中的视频流，通过无线网络(包括但不限于4G网络、5G网络、6G网络或者Wi-Fi网络)将视频流上传至视频分析单元。

视频分析单元对视频流进行检测，由于距离较远，此时人脸识别模块不会启动，动作识别模块和行人重识别模块会启动。动作识别模块会识别出此时行人正在横穿马路，然后向行车预警单元发送信号进行提前预警，提示驾驶员有行人在横穿马路。行人重识别模块可以提取该横穿马路的行人的行人重识别，并存储至存储模块中。

共享单元通过“北斗”定位系统确定发生地点，通过4G或者5G网络传输至其他预警装置(比如其他车辆上的行车记录仪)，进行广播预警，提示其他驾驶员该地点有横穿马路行为发生，提示驾驶员注意，并上传至校验数据表中，更新该横穿马路的行人触发的预警次数。

检验单元根据校验数据表检查该横穿马路的行人触发的当日预警次数和总预警次数，如果当日预警次数和/或总预警次数超过预设的次数阈值(比如，当日预警次数大于预设的第一次数阈值，和/或，总共触发的预警次数大于预设的第二次数阈值)会将该行人编号为：地点_预警次数_编号形式(如XXX路90_1)写入“黑名单”数据库中，对应行人重识别模块提取的该横穿马路的行人的行人重识别特征，至此流程结束。

场景二：车辆缓慢行驶中的碰瓷行为预警，当车辆在缓慢行驶过程中，突然出现恶意碰瓷的行为。

当车辆在正常行驶时，车辆中的行车记录拍摄行车过程中的视频流，通过无线网络(包括但不限于4G网络、5G网络、6G网络或者Wi-Fi网络)将视频流上传至视频分析单元。

视频分析单元对行车记录仪上传的视频流进行检测，此时碰瓷人员会由远及近主动接近车辆,视频流中可获取的人脸会不断变大，检测到人脸尺寸达到最小人脸尺寸要求，人脸加速度达到预设的加速度阈值，人脸识别模块会启动。人脸识别模块获得行人此时的人脸特征，通过和存储模块中存储的人脸特征进行对比识别该人脸。根据识别的结果判断是否在黑名单中，如果在黑名单中，发出预警信息。如果判定不在黑名单中，动作识别模块进行动作识别，识别出该人员正在碰瓷，发出预警信息，提示司机有碰瓷行为发生。提取碰瓷人员的人脸特征和行人重识别特征，将提取的特征添加到存储模块中。

共享单元通过“北斗”定位系统获得碰瓷发生地点，再通过4G或者5G网络传输至其他预警装置，进行广播预警，会提示其他驾驶员该地点有碰瓷行为发生，提示驾驶员注意，并上传至校验数据表中，更新该碰瓷人员触发的预警次数。

检验单元根据校验数据表检查该碰瓷人员触发的当日预警次数和总预警次数，确定是否要将该碰瓷人员写入“黑名单”数据库中，至此流程结束。

场景三：车辆行驶过程中发现碰瓷人员发出告警：

当车辆在正常行驶时，车辆中的行车记录拍摄行车过程中的视频流，通过无线网络(包括但不限于4G网络、5G网络、6G网络或者Wi-Fi网络)将视频流上传至视频分析单元。

视频分析单元对行车记录仪上传的视频流进行检测，判定某一行人在“黑名单”数据库中，此时该行人并没有实施碰瓷行为，本系统也会对驾驶员发出预警，告知驾驶员该行人有碰瓷行为前科，在碰瓷发生前提醒驾驶员提高注意力，起到在碰瓷发生前的预警作用。同时更新存储模块中存储的该人员的特征。

共享单元通过“北斗”定位系统获得当前地点，再通过4G或者5G网络传输至其他预警装置，进行广播预警，会提示其他驾驶员该地点有碰瓷前科人员，提示驾驶员注意，流程结束。

场景四：行人翻越道路上的围栏：

当车辆在正常行驶时，车辆中的行车记录拍摄行车过程中的视频流，通过无线网络(包括但不限于4G网络、5G网络、6G网络或者Wi-Fi网络)将视频流上传至视频分析单元。

视频分析单元对行车记录仪上传的视频流进行检测，由于距离较远，此时人脸识别模块和行人重识别模块达不到启动要求，不会启动。直接进入动作识别模块，动作识别模块会识别出此时行人正在翻越栏杆，发出预警信息，提示驾驶员有行人在翻越栏杆。该行人的特征会记录到存储模块中。

共享单元通过“北斗”定位系统确定发生地点，通过4G或者5G网络传输至其他预警装置，进行广播预警，会提示其他驾驶员该地点有翻越栏杆行为发生，提示驾驶员注意，并上传至校验数据表中，更新该翻越道路上的围栏的行人触发的预警次数。

校验单元根据校验数据表检查该翻越道路上的围栏的行人触发的当日预警次数和总预警次数，确定是否要将该翻越道路上的围栏的行人写入“黑名单”数据库中，对应存储模块中存储的该翻越道路上的围栏的行人的特征，至此流程结束。

需要说明的是，本实施方式中的上述各示例均为方便理解进行的举例说明，并不对本发明的技术方案构成限定。

本实施例的有益效果在于：

1、主动式的预警，能够在事故发生前主动发出预警信息，有效的减少交通事故。同时利用“黑名单”机制对所有驾驶员提供预警。

2、结合时空上下文信息对行人的动作直接识别，具有首次、实时的预警功能，并结合人脸识别和行人重识别提高系统的效率。

3、使用加速度阈值来控制人脸识别模块的开启，将人脸特征作为周期性特征进行保存，将行人重识别特征作为当日特征进行存储，这种结合策略能极大的提高工作效率。

4、“黑名单”录入的自动校验机制降低了因为误判将行人记录到“黑名单”之中概率，减少了误报率，提高了整个系统的鲁棒性，同时也保护了行人的个人隐私。

上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。

本发明第三实施例涉及一种电子设备，如图8所示，包括至少一个处理器801；以及，与至少一个处理器801通信连接的存储器802；其中，存储器802存储有可被至少一个处理器801执行的指令，指令被至少一个处理器801执行，以使至少一个处理器801能够执行第一、或第二实施方式中的行车预警方法。

其中，存储器802和处理器801采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器801和存储器802的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器801处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器801。

处理器801负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器802可以被用于存储处理器801在执行操作时所使用的数据。

本发明第四实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。

即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (10)

1.一种行车预警方法，其特征在于，包括：

获取行车过程中的视频流；

对所述视频流进行采样，得到有时序的视频帧序列；

确定所述视频帧序列中行人动作的时空上下文信息；

根据所述时空上下文信息，识别所述视频帧序列中的行人动作的动作类型；

若所述动作类型为预设的预警类型，发送预警信息。

2.根据权利要求1所述的行车预警方法，其特征在于，在所述发送预警信息之后，还包括：

提取实施所述行人动作的行人的人物特征，并存储至预设的存储空间；其中，所述存储空间用于存储实施了属于所述预警类型的动作的行人的人物特征；

在所述得到有时序的视频帧序列之后，还包括：

若检测到所述视频帧序列中存在满足预设条件的目标人物，提取所述目标人物的人物特征，并根据所述目标人物的人物特征和所述存储空间中存储的人物特征，确定所述目标人物是否为黑名单中的人物；

若所述目标人物为黑名单中的人物，发送预警信息。

3.根据权利要求2所述的行车预警方法，其特征在于，所述人物特征包括人脸特征和/或行人重识别特征，所述提取实施所述行人动作的行人的人物特征，包括：

确定所述行人在所述视频帧序列中的各视频帧中的人脸尺寸；

根据所述各视频帧中的人脸尺寸，确定人脸加速度；其中，所述人脸加速度用于表征指定单位时间内或指定视频帧数内所述行人的人脸尺寸的增量值；

若所述人脸加速度大于预设的加速度阈值，提取实施所述行人动作的行人的人脸特征；

和/或，

确定所述行人在所述视频帧序列中的各视频帧中的行人尺寸；

在所述各视频帧中的行人尺寸中确定最小行人尺寸；

若所述最小行人尺寸大于预设的尺寸阈值，提取实施所述行人动作的行人的行人重识别特征。

4.根据权利要求3所述的行车预警方法，其特征在于，根据所述各视频帧中的人脸尺寸，确定人脸加速度，包括：

根据所述指定视频帧数或所述指定单位时间，将所述视频帧序列分为若干视频帧组；

确定每个所述视频帧组对应的所述行人的人脸尺寸的增量值；

根据每个所述视频帧组对应的所述行人的人脸尺寸的增量值，确定人脸加速度。

5.根据权利要求3所述的行车预警方法，其特征在于，所述人物特征包括人脸特征和行人重识别特征，所述存储至预设的存储空间，包括：

将所述人脸特征作为周期性特征，存储至预设的存储空间；其中，所述周期性特征每隔第一预设周期更新一次，所述第一预设周期大于一天；

将所述行人重识别特征作为当日特征，存储至所述预设的存储空间；其中，所述当日特征每天更新一次。

6.根据权利要求2所述的行车预警方法，其特征在于，所述存储空间还存储有不同行人触发的预警次数，在所述发送预警信息之后，还包括：

更新所述实施所述行人动作的行人触发的预警次数；

所述黑名单中的人物满足如下条件：

当日触发的预警次数大于预设的第一次数阈值；和/或，

第二预设周期内总共触发的预警次数大于预设的第二次数阈值；其中，所述第二预设周期大于一天，所述第二次数阈值大于所述第一次数阈值。

7.根据权利要求2所述的行车预警方法，其特征在于，若所述目标人物为黑名单中的人物，发送预警信息，包括：

若所述目标人物为黑名单中的人物，且所述目标人物的动作类型不属于所述预警类型，发送预警信息。

8.根据权利要求1至7任一项所述的行车预警方法，其特征在于，在所述发送预警信息之后，还包括：

确定所述行人动作的发生地点；

在预设的广播范围内，发送携带所述发生地点的广播预警。

9.一种电子设备，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至8中任意一项所述的行车预警方法。

10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的行车预警方法。

Images