CN114494968A - 一种禁行区域异常闯入行为识别方法及装置 - Google Patents

一种禁行区域异常闯入行为识别方法及装置 Download PDF

Info

Publication number
CN114494968A
CN114494968A CN202210104877.XA CN202210104877A CN114494968A CN 114494968 A CN114494968 A CN 114494968A CN 202210104877 A CN202210104877 A CN 202210104877A CN 114494968 A CN114494968 A CN 114494968A
Authority
CN
China
Prior art keywords
image
target object
images
forbidden
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210104877.XA
Other languages
English (en)
Inventor
陈维强
王雯雯
史晓燕
冯远宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense TransTech Co Ltd
Original Assignee
Hisense TransTech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hisense TransTech Co Ltd filed Critical Hisense TransTech Co Ltd
Priority to CN202210104877.XA priority Critical patent/CN114494968A/zh
Publication of CN114494968A publication Critical patent/CN114494968A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种禁行区域异常闯入行为识别方法及装置，涉及交通技术领域。获取待识别的视频帧序列；对所述N帧图像进行识别，从所述N帧图像中的M帧图像识别得到目标对象；若所述M帧图像中的至少一帧图像中，所述目标对象出现在所述禁行区域，则从所述M帧图像中获取采样图像序列，根据所述采样图像序列中的位置信息构造三次贝塞尔曲线，根据所述三次贝塞尔曲线以及所述禁行区域，确定所述目标对象在所述M帧图像对应的时间段内是否闯入所述禁行区域。

Description

一种禁行区域异常闯入行为识别方法及装置
技术领域
本申请涉及图像识别技术领域与交通技术领域相结合的技术领域，尤其涉及一种禁行区域异常闯入行为识别方法及装置。
背景技术
在道路交通管理中，一般会存在禁止行人闯入的区域。比如，在高速入口会严禁行人闯入；再比如，城市道路的高架桥严禁行人闯入；再比如，一些重大安保活动，部分区域属于禁行区域，同样严禁行人闯入。若有行人闯入禁止区域，则容易引发交通事故、交通拥堵等。
因此，如何对行人闯入禁行区域的行为进行识别，是目前亟需解决的技术问题。
发明内容
本申请实施例提供一种禁行区域异常闯入行为识别方法及装置，用以识别行人是否闯入禁行区域。
第一方面，提供一种禁行区域异常闯入行为识别方法，包括：
获取待识别的视频帧序列，所述视频帧序列包括N帧图像，所述N为大于1的整数；基于轻量级卷积神经网络对所述N帧图像进行识别，从所述N帧图像中的M帧图像识别得到目标对象，所述M为大于或等于1且小于所述N的整数；若所述M帧图像中的至少一帧图像中，所述目标对象出现在所述禁行区域则从所述M帧图像中获取采样图像序列，所述采样图像序列中的图像从所述M帧图像中所述目标对象第一次出现在所述禁行区域的图像开始，直到所述目标对象移出所述禁行区域的图像为止或直到所述采样图像序列对应的时长达到设定时长为止，根据所述采样图像序列中所述目标对象的位置信息构造用于表征所述目标对象的运动轨迹的三次贝塞尔曲线，根据所述三次贝塞尔曲线以及所述禁行区域，确定所述目标对象在所述M帧图像对应的时间段内是否闯入所述禁行区域。
可选的，所述轻量级神经网络的输入信息包括所述N帧图像中每帧图像对应的第一通道图像、第二通道图像、第三通道图像和第四通道图像，所述第一通道图像至所述第三通道图像分别为三原色中每个颜色通道的图像，所述第四通道图像为灰度图像，所述灰度图像为等比例梯度图像。
可选的，采用以下方式判断所述M帧图像中的第一图像中所述目标对象是否出现在所述禁行区域：
获取所述第一图像中所述目标对象所在区域范围的中心点为起点且穿过所述禁行区域的射线，与所述禁行区域的边界相交点的个数，所述第一图像为所述M帧图像中的任意一帧图像；若所述相交点的个数为奇数，则确定所述第一图像中所述目标对象出现在所述禁行区域。
可选的，所述根据所述三次贝塞尔曲线以及所述禁行区域，确定所述目标对象在所述M帧图像对应的时间段内是否闯入所述禁行区域，包括：
将所述三次贝塞尔曲线的长度与所述禁行区域的面积的平方根进行比较；若所述三次贝塞尔曲线的长度大于所述禁行区域的面积的平方根，且所述目标对象在所述禁行区域内的时长大于所述设定时长，则确定所述目标对象闯入所述禁行区域；若所述三次贝塞尔曲线的长度小于或等于所述禁行区域的面积的平方根，且所述目标对象在所述设定时长移出所述禁行区域，则确定所述目标对象未闯入所述禁行区域。
可选的，所述从所述M帧图像中获取采样图像序列，包括：
按照第一图像帧间隔对所述M帧图像进行采样，得到所述采样图像序列；按照第二图像帧间隔将所述采样图像序列划分为K个子序列；分别根据所述K个子序列中每个子序列中的图像，构造每个子序列对应的三次贝塞尔曲线；根据所述K个子序列对应的三次贝塞尔曲线，得到所述采样图像序列对应的三次贝塞尔曲线。
第二方面，提供一种移动边缘计算装置，包括：
获取模块，被配置为获取待识别的视频帧序列，所述视频帧序列包括N帧图像，所述N为大于1的整数；识别模块，被配置为基于轻量级卷积神经网络对所述N帧图像进行识别，从所述N帧图像中的M帧图像识别得到目标对象，所述M为大于或等于1且小于所述N的整数；判断模块，被配置为若所述M帧图像中的至少一帧图像中，所述目标对象出现在所述禁行区域，则从所述M帧图像中获取采样图像序列，所述采样图像序列中的图像从所述M帧图像中所述目标对象第一次出现在所述禁行区域的图像开始，直到所述目标对象移出所述禁行区域的图像为止或直到所述采样图像序列对应的时长达到设定时长为止，根据所述采样图像序列中所述目标对象的位置信息构造用于表征所述目标对象的运动轨迹的三次贝塞尔曲线，根据所述三次贝塞尔曲线以及所述禁行区域，确定所述目标对象在所述M帧图像对应的时间段内是否闯入所述禁行区域。
可选的，所述轻量级神经网络的输入信息包括所述N帧图像中每帧图像对应的第一通道图像、第二通道图像、第三通道图像和第四通道图像，所述第一通道图像至所述第三通道图像分别为三原色中每个颜色通道的图像，所述第四通道图像为灰度图像，所述灰度图像为等比例梯度图像。
可选的，所述判断模块，具体被配置为：
获取第一图像中所述目标对象所在区域范围的中心点为起点且穿过所述禁行区域的射线，与所述禁行区域的边界相交点的个数，所述第一图像为所述M帧图像中的任意一帧图像；若所述相交点的个数为奇数，则确定所述第一图像中所述目标对象出现在所述禁行区域。
可选的，所述判断模块，具体被配置为：
将所述三次贝塞尔曲线的长度与所述禁行区域的面积的平方根进行比较；若所述三次贝塞尔曲线的长度大于所述禁行区域的面积的平方根，且所述目标对象在所述禁行区域内的时长大于所述设定时长，则确定所述目标对象闯入所述禁行区域；若所述三次贝塞尔曲线的长度小于或等于所述禁行区域的面积的平方根，且所述目标对象在所述设定时长移出所述禁行区域，则确定所述目标对象未闯入所述禁行区域。
可选的，所述判断模块，具体被配置为：
按照第一图像帧间隔对所述M帧图像进行采样，得到所述采样图像序列；按照第二图像帧间隔将所述采样图像序列划分为K个子序列；分别根据所述K个子序列中每个子序列中的图像，构造每个子序列对应的三次贝塞尔曲线；根据所述K个子序列对应的三次贝塞尔曲线，得到所述采样图像序列对应的三次贝塞尔曲线。
本申请实施例中，由于基于轻量级卷积神经网络(例如mobilenet网络)，对N帧图像的进行识别，从而可以提高对图像识别的速度；又由于根据该目标对象在M帧图像的每帧图像中的位置信息以及禁行区域的地理范围，判断该目标对象出现在禁行区域后，再根据采样图像序列中目标对象的位置信息构造用于表征目标对象的运动轨迹的三次贝塞尔曲线以及该禁行区域，进一步确定该目标对象在M帧图像对应的时间段内是否闯入该禁行区域内，从而可以降低判断误差，提高判断的准确率。
在符合本领域常识的基础上，上述各优选条件，可任意组合，即得本申请各较佳实施例。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例适用的YOLO v4算法的结构示意图；
图2为本申请实施例适用的一种轻量级卷积神经网络的结构示意图；
图3为本申请实施例提供的一种禁行区域异常闯入行为识别方法流程图；
图4为本申请实施例提供的确定目标对象在禁行区域内的示意图；
图5为本申请实施例提供的一种移动边缘计算装置的结构示意图；
图6为本申请实施例提供的一种通信装置的结构示意图。
具体实施方式
下面将结合附图对本申请实施例中的技术方案进行清楚、详尽地描述。其中，在本申请实施例的描述中，除非另有说明，″/″表示或的意思，例如，A/B可以表示A或B；文本中的″和/或″仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，另外，在本申请实施例的描述中，″多个″是指两个或多于两个。
以下，术语″第一″、″第二″仅用于描述目的，而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有″第一″、″第二″的特征可以明示或者隐合地包括一个或者更多个该特征，在本申请实施例的描述中，除非另有说明，″多个″的含义是两个或两个以上。
在现有技术中，移动边缘计算(Mobile Edge Computing，MEC)设备一般采用目标识别算法(比如yolo v4算法，属于一种卷积神经网络)中的cspdarknet网络作为主干特征提取网络，对目标对象进行检测(比如包括图像中的行人)，使用cspdarknet网络进行特征提取的计算成本较高。由于MEC设备的算力相较于服务器的算力较低(例如MEC设备的算力只有21TOPS，是服务器的1/6)，从而导致MEC设备识别目标对象的效率较低。
因此，在交通场景下，为了提高目标对象(比如图像中的行人)识别效率，本申请实施例中采用轻量级神经网络(例如mobilenet网络)作为yolo v4算法中的主干特征提取网络，实现对目标对象的识别。以mobilenet网络为例，yolo v4算法的整体架构如图1所示，主要包括mobilenet网络、二分类交叉熵损失函数所构成。mobilenet网络用于对待识别的图像进行特征提取，二分类交叉熵损失函数用于对mobilenet网络提取到的特征进行分类(例如区分提取到的特征是行人或背景)。
可选的，本申请实施例中基于轻量级卷积神经网络(比如mobilenet网络)提升对图像识别速度的同时，为了强化对目标对象的特征提取能力，可基于该轻量级卷积神经网络中的深度可分离卷积的逐通道操作特性，在输入层增加等比例梯度图像，进一步强化目标对象特征提取能力。例如，轻量级神经网络的输入信息可包括N帧图像中每帧图像对应的第一通道图像、第二通道图像、第三通道图像和第四通道图像，该第一通道图像至第三通道图像分别为三原色中每个颜色通道的图像，该第四通道图像为灰度图像(比如，等比例梯度图像)。
图2为本申请实施例提供的一种mobilenet网络的卷积层以及每层的输入信息。如图2所示，该网络包括依次连接的20个卷积层和1个最大分类器(Softmax)，图2所示表格中的一行对应一个卷积层。举例来说，第一层是步长(Stride)为S2的标准卷积层，输入图像的规格为224＊224＊4，使用32个规格为3＊3＊3的过滤器(fliter shape)，其中，224代表图像的长和宽，4为卷积的通道数；第二层是步长为S1的深度卷积层，输入的图像规格为112＊112＊32，使用1个规格为3＊3＊32的过滤器。以此类推。最后两个层分别为平均池化层和全连接层。
可选的，在一些实施例中，由于行人(目标对象)在交通道路中行走时可能会被大型车辆(如公交车、客车、货车等)遮挡，为了降低漏检的情况，可在yolo v4中增加二分类交叉熵损失函数，进一步对轻量级卷积神经网络提取到的特征进行分类(例如，行人和背景两个大类的区分)，从而提升检测结果的准确性。
以区分行人和背景两个大类为例，在二分类的情况下，行人检测算法模型(比如二分类交叉熵损失函数算法)最后的检测结果一般只有这两种情况，对于每个类别得到的概率为p和1-p。其中，二分类交叉熵损失函数的公式为：
Figure BDA0003493625520000061
其中，yi为样本i的标签，正类(可代表行人)为1，负类(可代表背景)为0；pi表示样本i预测为正类的概率。
本申请实施例中，基于轻量级卷积神经网络(比如mobilenet网络)，增加输入到轻量级卷积神经网络的信息，对输入的图像进行特征提取，从而提高了对目标对象的识别效率，再将提取到的特征通过二分类交叉熵损失函数的算法，扩大行人和背景之间的区别，通过限制输出的方式从而提高了对目标对象的识别准确率。
图3为本申请实施例提供的一种禁行区域异常闯入行为识别方法流程图。该方法可由移动边缘计算装置所执行。该装置可通过软件方式实现，也可通过硬件方式实现，还可通过软件和硬件结合的方式实现。
本申请实施例中，在获取待识别的视频帧序列之前，可基于交通道路上配置的摄像头，针对每一路监控视频，配置多个行人禁行区域。例如，在高架桥场景下，配置道路两侧的行人禁行区域。其中，禁行区域可以是任意多边形区域，本申请实施例在此不做限制。
如图3所示，该流程包括如下步骤：
301：获取待识别的视频帧序列。其中，该视频帧序列包括N帧图像，N为大于1的整数。
该步骤中，可以获取摄像头实时采集的实时流传输协议(Real Time StreamingProtocol，RTSP)视频流，并基于硬件设备提供的硬件解码芯片(例如NVDEC)，调用自行编写的硬件解码库(例如nvhw)从RTSP码流数据解码出所需格式的视频帧序列。
可选的，硬件设备可采用Jetson NX，在Jetson NX上使用硬件解码库相比使用CPU解码，解码性能更好。
302：基于轻量级卷积神经网络对上述获取到的N帧图像进行识别，从N帧图像中的M帧图像识别得到目标对象。其中，M为大于或等于1且小于所述N的整数。
基于轻量级卷积神经网络(如mobilenet网络)对一帧图像进行识别后，可能得到至少一个候选目标对象的边界框，每个边界框对应有分类类别以及属于相应类别的置信度。根据各候选目标对象边界框对应的置信度，从中选择满足置信度要求的候选目标对象边界框，从而识别得到目标对象。
303：根据该目标对象在M帧图像的每帧图像中的位置信息以及禁行区域的地理范围，判断该目标对象是否出现在禁行区域，若是，则转入步骤304，若否，则结束本流程。在一些实施例中，可基于禁行区域的位置信息与目标对象的位置信息，确定出该目标对象是否出现在禁行区域内。
可选的，以第一图像为M帧图像中的任意一帧图像为例，可通过如下方式判断目标对象是否出现在该第一图像中的禁行区域：以第一图像中目标对象所在区域范围的中心点为起点，画一条射线且穿过该禁行区域，确定该射线与该禁行区域边界相交点的个数；若相交点的个数为奇数，则确定该第一图像中目标对象出现在该禁行区域内，否则，该目标对象在禁行区域外。如图4所示，从目标对象所在区域范围的中心点C引一条射线L穿过禁行区域，然后统计这条射线L与禁行区域边界相交点(Q)的个数为1，则确定目标对象在禁行区域内。
可选的，若从N帧图像中均未识别得到目标对象(如行人)，则可结束本流程。
304：从该M帧图像中获取采样图像序列，根据该采样图像序列中目标对象的位置信息构造三次贝塞尔曲线，并根据该三次贝塞尔曲线与该禁行区域，确定该目标对象在M帧图像对应的时间段内是否闯入禁行区域，若是，则转入305，若否，则结束本流程。
其中，三次贝塞尔曲线用于表征该目标对象的运动轨迹。
在一些实施例中，采样图像序列中的图像可从M帧图像中该目标对象第一次出现在禁行区域的图像开始，直到该目标对象移出禁行区域的图像为止。
在另一些实时例中，采样图像序列中的图像可从M帧图像中该目标对象第一次出现在禁行区域的图像开始，直到采样图像序列对应的时长达到设定时长为止。
可选的，采样图像序列可通过以下方式进行获取：按照第一图像帧间隔对M帧图像进行采样，得到采样图像序列后，再按照第二图像帧间隔将该采样图像序列划分为K个子序列，分别根据该K个子序列中每个子序列中的图像，构造每个子序列对应的三次贝塞尔曲线；根据K个子序列对应的三次贝塞尔曲线，从而得到采样图像序列对应的三次贝塞尔曲线。例如，从目标对象第一次出现在禁行区域的图像(第一帧图像)开始，每隔5帧的采样后续图像帧，得到采样图像序列(例如20帧图像)，再将采样到的图像序列从第一帧图像开始，每隔4帧将该图像序列划分为5个子序列，根据该5个子序列中每个子序列中每帧图像的目标对象的位置信息，构造这5子序列对应的三次贝塞尔曲线，根据这5个子序列对应的三次贝塞尔曲线，最终得到采样图像序列对应的三次贝塞尔曲线。
可选的，三次贝塞尔曲线构造公式为：
B(t)＝(1-t)3P0 +3(1-t)2tP1+3(1-t)t2P2+t3P3………………………(2)
其中，P0为目标对象的起始控制点、p1、p2、p3为控制点，t为[0，1]区间内的任意值。
可选的，确定该目标对象是否闯入禁行区域，可根据如下条件进行判断：
将上述构造的三次贝塞尔曲线的长度与该禁行区域的面积的平方根进行比较；若该三次贝塞尔曲线的长度大于该禁行区域的面积的平方根，且该目标对象在禁行区域内的时长大于设定时长，则确定该目标对象闯入禁行区域。
在一些实时例中，若该三次贝塞尔曲线的长度小于或等于该禁行区域的面积的平方根，且该目标对象在设定时长移出该禁行区域，则确定该目标对象未闯入禁行区域。
305：当确定目标对象闯入禁行区域时，将该目标对象闯入禁行区域的行为进行上报。
通过将上述目标对象闯入禁行区域的行为进行上报，便于及时查询和管控，从而提高交通安全性。
本申请实施例中，由于基于轻量级卷积神经网络(例如mobilenet网络)，对N帧图像的进行识别，从而可以提高对图像识别的速度；又由于根据该目标对象在M帧图像的每帧图像中的位置信息以及禁行区域的地理范围，判断该目标对象出现在禁行区域后，再根据采样图像序列中目标对象的位置信息构造用于表征目标对象的运动轨迹的三次贝塞尔曲线以及该禁行区域，进一步确定该目标对象在M帧图像对应的时间段内是否闯入该禁行区域内，从而可以降低判断误差，提高判断的准确率。
基于相同的技术构思，本申请实施例还提供了一种装置，该装置可实现本申请实施例中上述禁行区域异常闯入行为识别的方法流程。
图5为本申请实施例提供的一种移动边缘计算装置的结构示意图。如图所示，该装置包括：获取模块501、识别模块502、判断模块503。
获取模块501，被配置为获取待识别的视频帧序列，所述视频帧序列包括N帧图像，所述N为大于1的整数。
识别模块502，被配置为基于轻量级卷积神经网络对所述N帧图像进行识别，从所述N帧图像中的M帧图像识别得到目标对象，所述M为大于或等于1且小于所述N的整数。
判断模块503，被配置为若所述M帧图像中的至少一帧图像中，所述目标对象出现在所述禁行区域，则从所述M帧图像中获取采样图像序列，所述采样图像序列中的图像从所述M帧图像中所述目标对象第一次出现在所述禁行区域的图像开始，直到所述目标对象移出所述禁行区域的图像为止或直到所述采样图像序列对应的时长达到设定时长为止，根据所述采样图像序列中所述目标对象的位置信息构造用于表征所述目标对象的运动轨迹的三次贝塞尔曲线，根据所述三次贝塞尔曲线以及所述禁行区域，确定所述目标对象在所述M帧图像对应的时间段内是否闯入所述禁行区域。
在此需要说明的是，本申请实施例提供的上述装置，能够实现上述禁行区域异常闯入行为识别方法实施例中的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
图6示例性示出了本申请实施例提供的通信装置的结构示意图。
如图所示，该装置可包括：处理器601、存储器602以及总线接口603。
处理器601负责管理总线架构和通常的处理，存储器602可以存储处理器601在执行操作时所使用的数据。
总线架构可以包括任意数量的互联的总线和桥，具体由处理器601代表的一个或多个处理器和存储器602代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。处理器601负责管理总线架构和通常的处理，存储器602可以存储处理器601在执行操作时所使用的数据。
本申请实施例揭示的流程，可以应用于处理器601中，或者由处理器601实现。在实现过程中，信号处理流程的各步骤可以通过处理器601中的硬件的集成逻辑电路或者软件形式的指令完成。处理器601可以是通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所申请的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器602，处理器601读取存储器602中的信息，结合其硬件完成信息处理流程的步骤。
具体地，处理器601，用于读取存储器602中的计算机指令并执行本申请实施例中的一种禁行区域异常闯入行为识别方法。
在此需要说明的是，申请本申请实施例提供的上述通信装置，能够实现上述方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行上述实施例中的一种禁行区域异常闯入行为识别方法。
本申请实施例还提供了一种计算机程序产品，所述计算机程序产品在被计算机调用时，使得所述计算机执行上述实施例中的一种禁行区域异常闯入行为识别方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种禁行区域异常闯入行为识别方法，其特征在于，包括：
获取待识别的视频帧序列，所述视频帧序列包括N帧图像，所述N为大于1的整数；
基于轻量级卷积神经网络对所述N帧图像进行识别，从所述N帧图像中的M帧图像识别得到目标对象，所述M为大于或等于1且小于所述N的整数；
若所述M帧图像中的至少一帧图像中，所述目标对象出现在所述禁行区域，则从所述M帧图像中获取采样图像序列，所述采样图像序列中的图像从所述M帧图像中所述目标对象第一次出现在所述禁行区域的图像开始，直到所述目标对象移出所述禁行区域的图像为止或直到所述采样图像序列对应的时长达到设定时长为止，根据所述采样图像序列中所述目标对象的位置信息构造用于表征所述目标对象的运动轨迹的三次贝塞尔曲线，根据所述三次贝塞尔曲线以及所述禁行区域，确定所述目标对象在所述M帧图像对应的时间段内是否闯入所述禁行区域。
2.如权利要求1所述的方法，其特征在于，所述轻量级神经网络的输入信息包括所述N帧图像中每帧图像对应的第一通道图像、第二通道图像、第三通道图像和第四通道图像，所述第一通道图像至所述第三通道图像分别为三原色中每个颜色通道的图像，所述第四通道图像为灰度图像，所述灰度图像为等比例梯度图像。
3.如权利要求1所述的方法，其特征在于，采用以下方式判断所述M帧图像中的第一图像中所述目标对象是否出现在所述禁行区域：
获取所述第一图像中所述目标对象所在区域范围的中心点为起点且穿过所述禁行区域的射线，与所述禁行区域的边界相交点的个数，所述第一图像为所述M帧图像中的任意一帧图像；
若所述相交点的个数为奇数，则确定所述第一图像中所述目标对象出现在所述禁行区域。
4.如权利要求1所述的方法，其特征在于，所述根据所述三次贝塞尔曲线以及所述禁行区域确定所述目标对象在所述M帧图像对应的时间段内是否闯入所述禁行区域包括：
将所述三次贝塞尔曲线的长度与所述禁行区域的面积的平方根进行比较；
若所述三次贝塞尔曲线的长度大于所述禁行区域的面积的平方根，且所述目标对象在所述禁行区域内的时长大于所述设定时长，则确定所述目标对象闯入所述禁行区域；
若所述三次贝塞尔曲线的长度小于或等于所述禁行区域的面积的平方根，且所述目标对象在所述设定时长移出所述禁行区域，则确定所述目标对象未闯入所述禁行区域。
5.如权利要求1-4任一项所述的方法，其特征在于，所述从所述M帧图像中获取采样图像序列，包括：
按照第一图像帧间隔对所述M帧图像进行采样，得到所述采样图像序列；
按照第二图像帧间隔将所述采样图像序列划分为K个子序列；
分别根据所述K个子序列中每个子序列中的图像，构造每个子序列对应的三次贝塞尔曲线；
根据所述K个子序列对应的三次贝塞尔曲线，得到所述采样图像序列对应的三次贝塞尔曲线。
6.一种移动边缘计算装置，其特征在于，包括：
获取模块，被配置为获取待识别的视频帧序列，所述视频帧序列包括N帧图像，所述N为大于1的整数；
识别模块，被配置为基于轻量级卷积神经网络对所述N帧图像进行识别，从所述N帧图像中的M帧图像识别得到目标对象，所述M为大于或等于1且小于所述N的整数；
判断模块，被配置为若所述M帧图像中的至少一帧图像中，所述目标对象出现在所述禁行区域，则从所述M帧图像中获取采样图像序列，所述采样图像序列中的图像从所述M帧图像中所述目标对象第一次出现在所述禁行区域的图像开始，直到所述目标对象移出所述禁行区域的图像为止或直到所述采样图像序列对应的时长达到设定时长为止，根据所述采样图像序列中所述目标对象的位置信息构造用于表征所述目标对象的运动轨迹的三次贝塞尔曲线，根据所述三次贝塞尔曲线以及所述禁行区域，确定所述目标对象在所述M帧图像对应的时间段内是否闯入所述禁行区域。
7.如权利要求6所述的装置，其特征在于，所述轻量级神经网络的输入信息包括所述N帧图像中每帧图像对应的第一通道图像、第二通道图像、第三通道图像和第四通道图像，所述第一通道图像至所述第三通道图像分别为三原色中每个颜色通道的图像，所述第四通道图像为灰度图像，所述灰度图像为等比例梯度图像。
8.如权利要求6所述的装置，其特征在于，所述判断模块，具体被配置为：
获取第一图像中所述目标对象所在区域范围的中心点为起点且穿过所述禁行区域的射线，与所述禁行区域的边界相交点的个数，所述第一图像为所述M帧图像中的任意一帧图像；
若所述相交点的个数为奇数，则确定所述第一图像中所述目标对象出现在所述禁行区域。
9.如权利要求6所述的装置，其特征在于，所述判断模块，具体被配置为：
将所述三次贝塞尔曲线的长度与所述禁行区域的面积的平方根进行比较；
若所述三次贝塞尔曲线的长度大于所述禁行区域的面积的平方根，且所述目标对象在所述禁行区域内的时长大于所述设定时长，则确定所述目标对象闯入所述禁行区域；
若所述三次贝塞尔曲线的长度小于或等于所述禁行区域的面积的平方根，且所述目标对象在所述设定时长移出所述禁行区域，则确定所述目标对象未闯入所述禁行区域。
10.如权利要求6-9任一项所述的装置，其特征在于，所述判断模块，具体被配置为：
按照第一图像帧间隔对所述M帧图像进行采样，得到所述采样图像序列；
按照第二图像帧间隔将所述采样图像序列划分为K个子序列；
分别根据所述K个子序列中每个子序列中的图像，构造每个子序列对应的三次贝塞尔曲线；
根据所述K个子序列对应的三次贝塞尔曲线，得到所述采样图像序列对应的三次贝塞尔曲线。
CN202210104877.XA 2022-01-28 2022-01-28 一种禁行区域异常闯入行为识别方法及装置 Pending CN114494968A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210104877.XA CN114494968A (zh) 2022-01-28 2022-01-28 一种禁行区域异常闯入行为识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210104877.XA CN114494968A (zh) 2022-01-28 2022-01-28 一种禁行区域异常闯入行为识别方法及装置

Publications (1)

Publication Number Publication Date
CN114494968A true CN114494968A (zh) 2022-05-13

Family

ID=81477447

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210104877.XA Pending CN114494968A (zh) 2022-01-28 2022-01-28 一种禁行区域异常闯入行为识别方法及装置

Country Status (1)

Country Link
CN (1) CN114494968A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117456430A (zh) * 2023-12-26 2024-01-26 广州汇豪计算机科技开发有限公司 一种视频识别方法、电子设备和存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117456430A (zh) * 2023-12-26 2024-01-26 广州汇豪计算机科技开发有限公司 一种视频识别方法、电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN109740420B (zh) 车辆违法识别方法及相关产品
US9679203B2 (en) Traffic violation detection
Zhang et al. Application of deep learning and unmanned aerial vehicle technology in traffic flow monitoring
Jadhav et al. Smart traffic control system using image processing
CN111241343A (zh) 一种道路信息监控与分析检测方法、智慧交通控制系统
CN108197544B (zh) 人脸分析、过滤方法、装置、嵌入式设备、介质和集成电路
CN112651293B (zh) 一种公路违法设摊事件视频检测方法
CN115841649A (zh) 一种用于城市复杂场景的多尺度人数统计方法
Zhang et al. Joint license plate super-resolution and recognition in one multi-task GAN framework
CN111524350B (zh) 车路协同异常行驶状况检测方法、系统、终端设备及介质
CN114494968A (zh) 一种禁行区域异常闯入行为识别方法及装置
CN111724607B (zh) 转向灯使用检测方法、装置、计算机设备和存储介质
CN112907992A (zh) 交通信号灯的控制方法、装置、设备及存储介质
CN114141022A (zh) 应急车道占用行为检测方法、装置、电子设备及存储介质
CN112562315A (zh) 一种获取车流信息的方法、终端及存储介质
CN111339834A (zh) 车辆行驶方向的识别方法、计算机设备及存储介质
Arul et al. Modelling and Simulation of Smart Traffic Light System for Emergency Vehicle using Image Processing Techniques
CN116311166A (zh) 交通障碍物识别方法、装置及电子设备
Jiang et al. Vehicle tracking with non-overlapping views for multi-camera surveillance system
CN113850112A (zh) 基于孪生神经网络的路况识别方法和系统
CN112597924B (zh) 电动自行车轨迹追踪方法、摄像机装置和服务器
Wang et al. End-to-End High Accuracy License Plate Recognition Based on Depthwise Separable Convolution Networks
CN117456482B (zh) 一种面向交通监控场景的异常事件识别方法及系统
CN112597924A (zh) 电动自行车轨迹追踪方法、摄像机装置和服务器
CN114529885A (zh) 一种道路交通护栏识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination