CN117636482B - 用于城市道路人员行为的视觉检测系统 - Google Patents
用于城市道路人员行为的视觉检测系统 Download PDFInfo
- Publication number
- CN117636482B CN117636482B CN202410107382.1A CN202410107382A CN117636482B CN 117636482 B CN117636482 B CN 117636482B CN 202410107382 A CN202410107382 A CN 202410107382A CN 117636482 B CN117636482 B CN 117636482B
- Authority
- CN
- China
- Prior art keywords
- road
- frame
- area
- change area
- change
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title abstract description 8
- 230000000007 visual effect Effects 0.000 title abstract description 5
- 230000008859 change Effects 0.000 claims abstract description 256
- 238000012937 correction Methods 0.000 claims abstract description 58
- 238000010586 diagram Methods 0.000 claims abstract description 43
- 230000006399 behavior Effects 0.000 claims abstract description 37
- 238000012545 processing Methods 0.000 claims abstract description 7
- 238000004364 calculation method Methods 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 69
- 230000008569 process Effects 0.000 claims description 19
- 238000011179 visual inspection Methods 0.000 claims description 15
- 230000003287 optical effect Effects 0.000 claims description 5
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 3
- 230000000873 masking effect Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 abstract description 5
- 230000007613 environmental effect Effects 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 101150064138 MAP1 gene Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 101150077939 mapA gene Proteins 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A30/00—Adapting or protecting infrastructure or their operation
- Y02A30/60—Planning or developing urban green infrastructure
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及图像处理技术领域，具体涉及用于城市道路人员行为的视觉检测系统，包括：道路图像采集模块，用于获取城市道路的道路灰度图；区域获取模块，用于根据相邻两帧道路灰度图得到相邻两帧道路灰度图中对应的变化区域及参照区域；人员可能性计算模块，用于根据变化区域得到变化区域为道路人员的可能性；速度阈值获取模块，用于根据变化区域为道路人员的可能性、变化区域的修正速度及变化区域的运动方向，得到变化区域的最终速度阈值；人员行为识别模块，用于根据最终速度阈值得到人员区域，对人员区域的行为识别。本发明通过对道路灰度图中变化区域进行人员可能性分析和速度修正，提高城市道路中人员行为检测的效率，并减少误判。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及用于城市道路人员行为的视觉检测系统。
背景技术
随着社会的发展，城市道路也越来越多，由于道路环境较为复杂，容易产生安全事故，因此对道路人员的行为进行检测具有重要意义。
传统方法对城市道路人员的行为检测主要是利用拍摄的帧图像进行连续帧作差，进而判断帧图像中行人的不同行为。由于城市道路环境较为复杂，行人存在不同的运动状态，以及天气等因素影响导致对帧图像中道路人员的行为产生提取不全或过提取的现象，进而导致对道路人员的行为判断产生干扰，使得城市道路的安全监控降低。
发明内容
为解决上述问题，本发明提供用于城市道路人员行为的视觉检测系统。
本发明的用于城市道路人员行为的视觉检测系统采用如下技术方案：
本发明一个实施例提供了用于城市道路人员行为的视觉检测系统，该系统包括以下模块：
道路图像采集模块，用于获取城市道路的若干帧道路灰度图；
区域获取模块，用于根据相邻两帧道路灰度图得到相邻两帧道路灰度图中对应的变化区域及参照区域；
人员可能性计算模块，用于根据相邻两帧道路灰度图中对应的变化区域，得到每帧道路灰度图中每个变化区域的速度和运动方向，以及每个变化区域为道路人员的可能性；
速度阈值获取模块，用于根据参照区域和每帧道路灰度图中每个变化区域，得到每帧道路灰度图中每个变化区域的竖直方向的修正速度；根据参照区域和每帧道路灰度图中每个变化区域及变化区域的速度，得到每帧道路灰度图中每个变化区域的水平方向的修正速度；根据竖直方向的修正速度和水平方向的修正速度，得到每帧道路灰度图中每个变化区域的修正速度；根据每帧道路灰度图中每个变化区域为道路人员的可能性、变化区域的修正速度及变化区域的运动方向，得到每个变化区域的最终速度阈值；
人员行为识别模块，用于根据每个变化区域的最终速度阈值得到人员区域，对人员区域的行为进行识别。
进一步地，所述根据相邻两帧道路灰度图得到相邻两帧道路灰度图中对应的变化区域及参照区域，包括的具体步骤如下：
对于任意相邻两帧道路灰度图，分别记为第一目标帧图像和第二目标帧图像，其中第一目标帧图像在第二目标帧图像之前；将第一目标帧图像和第二目标帧图像输入到光流法中，输出得到第一目标帧图像和第二目标帧图像中对应的变化区域；
将第二目标帧图像中每个像素点的灰度值减去第一目标帧图像中对应位置像素点的灰度值，得到第一目标帧图像和第二目标帧图像的帧差图像，记为目标帧差图像；将目标帧差图像中灰度值不为0的所有像素点灰度值置为0，将目标帧差图像中灰度值为0的所有像素点灰度值置为1，得到灰度值经过调整的目标帧差图像，将灰度值经过调整的目标帧差图像作为掩膜图像，根据掩膜图像对第一目标帧图像进行掩膜处理，得到掩膜之后的第一目标帧图像，记为第三目标帧图像，获取第三目标帧图像中包含像素点数量最多的连通域，作为第一目标帧图像与第二目标帧图像的初始参照区域；获取所有相邻两帧道路灰度图的初始参照区域，获取每个初始参照区域对应的像素点集合，将所有像素点集合的交集，作为在每帧道路灰度图上对应的区域，作为参照区域。
进一步地，所述根据相邻两帧道路灰度图中对应的变化区域，得到每帧道路灰度图中每个变化区域的速度和运动方向，以及每个变化区域为道路人员的可能性，包括的具体步骤如下：
将第一目标帧图像中任意一个变化区域，记为第一目标区域，在第一目标帧图像中获取第一目标区域中心像素点的坐标；在第二目标帧图像中获取第一目标区域的对应变化区域，记为第二目标区域，在第二目标帧图像中获取第二目标区域中心像素点的坐标；将第一目标区域中心像素点的坐标，记为第一坐标，将第二目标区域中心像素点的坐标，记为第二坐标；获取第一坐标和第二坐标之间的欧式距离，获取相邻两帧道路图像的时间间隔，将第一坐标和第二坐标之间的欧式距离与相邻两帧道路图像的时间间隔的比值，作为第二目标帧图像中第二目标区域的速度；将第一坐标指向第二坐标的方向作为第二目标帧图像中第二目标区域的运动方向；
根据每帧道路灰度图中每个变化区域的速度和运动方向，得到每帧道路灰度图中每个变化区域为道路人员的可能性。
进一步地，所述根据每帧道路灰度图中每个变化区域的速度和运动方向，得到每帧道路灰度图中每个变化区域为道路人员的可能性，包括的具体步骤如下：
将任意一帧道路灰度图中任意一个变化区域，记为目标变化区域；根据该帧道路灰度图中目标变化区域的速度、运动方向及相邻两帧道路图像的时间间隔，得到该帧道路灰度图中目标变化区域在下一帧道路灰度图中对应的预测变化区域；
式中，为第j帧道路灰度图中第i个变化区域的中心像素点的坐标；/>为第j-1帧道路灰度图中与第j帧道路灰度图中第i个变化区域对应的变化区域在第j帧道路灰度图中对应的预测变化区域的中心像素点的坐标；/>为/>和/>对应中心像素点之间的欧式距离；/>的具体获取方法如下：将第j帧道路灰度图之前的预设数量帧道路灰度图和之后的预设数量帧道路灰度图按顺序构成的道路灰度图集合，记为第一集合，将第一集合中第u个道路灰度图中与第j帧道路灰度图中第i个变化区域对应的变化区域的中心像素点的坐标，记为/>；/>为/>和/>对应中心像素点之间的欧式距离；/>为第一集合中道路灰度图的帧数，/>为防止分母为0的超参数，/>为归一化函数，/>为第j帧道路灰度图中第i个变化区域为道路人员的可能性。
进一步地，所述根据参照区域和每帧道路灰度图中每个变化区域，得到每帧道路灰度图中每个变化区域的竖直方向的修正速度，包括的具体步骤如下：
获取参照区域最上方、最下方、最左侧及最右侧的像素点，过最上方及最下方像素点作两条水平直线，过最左侧及最后侧像素点作两条竖直直线，四条直线围成的区域记为参照区域的外接矩形；获取每帧道路灰度图中每个变化区域的外接矩形；
式中，为参照区域的外接矩形的任意一条竖直方向的边长所包含的像素点数量，为第j帧道路灰度图中第i个变化区域的外接矩形的任意一条竖直方向的边长所包含的像素点数量，/>为第j-1帧道路灰度图中与第j帧道路灰度图中第i个变化区域对应的变化区域的外接矩形的任意一条竖直方向的边长所包含的像素点数量，/>为取绝对值，/>为参照区域内包含的像素点数量，/>为第j帧道路灰度图中第i个变化区域内包含的像素点数量，/>为第j帧道路灰度图中第i个变化区域的竖直方向的修正速度。
进一步地，所述根据参照区域和每帧道路灰度图中每个变化区域及变化区域的速度，得到每帧道路灰度图中每个变化区域的水平方向的修正速度，包括的具体步骤如下：
式中，为第j帧道路灰度图中第i个变化区域的水平方向的速度，其中/>通过对第j帧道路灰度图中第i个变化区域的速度进行正交分解得到，/>为参照区域内包含的像素点数量，/>为第j帧道路灰度图中第i个变化区域内包含的像素点数量，/>为第j帧道路灰度图中第i个变化区域的水平方向的修正速度。
进一步地，所述根据竖直方向的修正速度和水平方向的修正速度，得到每帧道路灰度图中每个变化区域的修正速度，包括的具体步骤如下：
式中，为第j帧道路灰度图中第i个变化区域的竖直方向的修正速度，/>为第j帧道路灰度图中第i个变化区域的水平方向的修正速度，/>为第j帧道路灰度图中第i个变化区域的修正速度。
进一步地，所述根据每帧道路灰度图中每个变化区域为道路人员的可能性、变化区域的修正速度及变化区域的运动方向，得到每个变化区域的最终速度阈值，包括的具体步骤如下：
式中，为第j帧道路灰度图中第i个变化区域的修正速度，/>为第j帧道路灰度图中第i个变化区域的运动方向与水平方向的夹角，/>为第j帧道路灰度图中第i个变化区域为道路人员的可能性，/>为参照区域内包含的像素点数量，/>为第j帧道路灰度图中第i个变化区域内包含的像素点数量，/>为道路灰度图的总帧数，/>为相邻帧道路灰度图中第i个变化区域的竖直方向的速度阈值，记为间隔0帧道路灰度图中第i个变化区域的竖直方向的速度阈值；
根据间隔0帧道路灰度图中每个变化区域的竖直方向的速度阈值得到每个变化区域的最终速度阈值。
进一步地，所述根据间隔0帧道路灰度图中每个变化区域的竖直方向的速度阈值得到每个变化区域的最终速度阈值，包括的具体步骤如下：
式中，为间隔f帧道路灰度图中第i个变化区域的竖直方向的速度阈值，/>为间隔的帧数，/>为预设的间隔帧数最大值，/>为第i个变化区域的最终速度阈值。
进一步地，所述根据每个变化区域的最终速度阈值得到人员区域，包括的具体步骤如下：
对于最后一帧道路灰度图中任意一个变化区域，记为第一变化区域，在所有帧道路灰度图中获取与第一变化区域对应的变化区域的所有修正速度，将所有修正速度的均值记为；获取第一变化区域的最终速度阈值，记为/>；若/>，第一变化区域为人员区域，若/>，第一变化区域不是人员区域。
本发明的技术方案的有益效果是：本发明在采集到城市道路不同帧的道路灰度图后，基于连续帧的道路灰度图进行分析，利用光流法获取连续帧的道路灰度图中对应的变化区域，变化区域表征城市道路中移动的目标，通过对相邻帧的道路灰度图进行帧差并掩膜处理，得到参照区域，参照区域表征城市道路中静止的目标；通过相邻帧道路灰度图中对应的变化区域得到每个变化区域的速度和运动方向，判断变化区域为道路人员的可能性；由于道路中不同目标的运动状态存在较大的差异，其运动速度和运动方向均存在不同的差异，通过对变化区域的速度进行修正得到变化区域的修正速度，使得修正速度可以更好的反映道路中不同运动目标的速度，进而根据变化区域为道路人员的可能性和修正速度得到速度阈值，判断道路灰度图中变化区域是否为人员区域，在获取速度阈值时，由于相邻帧的道路灰度图像可能会存在运动模糊以及变化区域交叠的现象，通过对间隔帧数调整减少变化区域交叠现象，使得速度阈值更加稳定，最终利用机器学习算法识别获得的人员区域的行为，提高城市道路中人员行为检测的效率，并减少误判。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一个实施例所提供的用于城市道路人员行为的视觉检测系统的系统框架图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的用于城市道路人员行为的视觉检测系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一个或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的用于城市道路人员行为的视觉检测系统的具体方案。
请参阅图1，其示出了本发明一个实施例提供的用于城市道路人员行为的视觉检测系统的系统框架图，该系统包括以下模块：
道路图像采集模块：
需要说明的是，本实施例的目的是对城市道路的人员进行行为检测，判断道路行人的行为，在开始分析之前，首选需要采集城市道路的图像数据。
具体的，获取城市道路的若干帧道路灰度图，具体如下：
通过摄像机获取城市道路的道路视频，获取道路视频的若干帧道路图像，对每一帧道路图像进行高斯滤波和灰度化得到城市道路的若干帧道路灰度图。
需要说明的是，摄像机获取城市道路的道路视频时每秒获取30帧道路图像，且相邻两帧道路图像的时间间隔是一样的。
至此，得到若干帧道路灰度图。
区域获取模块：
需要说明的是，对道路人员的不同运动状态进行分析，首先需要在道路灰度图中获取行人区域，一般采用帧差法获得，由于行人的运动速度以及运动方向不同，导致同一帧差尺度无法识别所有的行人。且由于环境因素如风吹动树枝的摆动，均会对道路灰度图中人员区域的判断产生干扰，因此需要对采集的多帧道路灰度图进行分析，对存在帧差运动的物体进行筛选，进而获得道路人员的运动状态。
具体的，根据相邻两帧道路灰度图得到相邻两帧道路灰度图中对应的变化区域及参照区域，具体如下：
对于任意相邻两帧道路灰度图，分别记为第一目标帧图像和第二目标帧图像，其中第一目标帧图像在第二目标帧图像之前；将第一目标帧图像和第二目标帧图像输入到光流法中，输出得到第一目标帧图像和第二目标帧图像中对应的变化区域。
将第二目标帧图像中每个像素点的灰度值减去第一目标帧图像中对应位置像素点的灰度值，得到第一目标帧图像和第二目标帧图像的帧差图像，记为目标帧差图像；将目标帧差图像中灰度值不为0的所有像素点灰度值置为0，将目标帧差图像中灰度值为0的所有像素点灰度值置为1，得到灰度值经过调整的目标帧差图像，将灰度值经过调整的目标帧差图像作为掩膜图像，根据掩膜图像对第一目标帧图像进行掩膜处理，得到掩膜之后的第一目标帧图像，记为第三目标帧图像，获取第三目标帧图像中包含像素点数量最多的连通域，作为第一目标帧图像与第二目标帧图像的初始参照区域；获取所有相邻两帧道路灰度图的初始参照区域，获取每个初始参照区域对应的像素点集合，将所有像素点集合的交集，作为在每帧道路灰度图上对应的区域，作为参照区域。
需要说明的是，获取相邻两帧图像中对应的变化区域为光流法的现有方法，本实施例不再赘述；将相邻两帧道路灰度图作差得到目标帧差图像可以得到相邻两帧道路灰度图中灰度值发生变化的区域，将其作为掩膜图像对道路灰度图进行掩膜处理，可以得到灰度值没有发生变化的区域，对应城市道路没有发生移动的物体，通过选取连通域作为参照区域，偏于后续对变化区域的速度进行修正。
至此，得到相邻两帧道路灰度图中对应的变化区域和参照区域。
人员可能性计算模块：
需要说明的是，道路人员的运动状态存在较大的差异，其运动速度和运动方向均存在不同的差异，且环境因素会对道路人员的运动产生干扰，因此对于其是否存在运动的判断阈值存在差异，需要根据不同帧道路灰度图之间可能存在的运动状态进行分析得到其相应的速度阈值，根据阈值得到不同变化区域的运动状态。
需要说明的是，不同帧差之间得到的图像速度存在差异，运动的方向以及运动的形式也存在不同，道路行人在正常情况下，不存在速度发生波动或是运动方向发生较大变化，运动较为连续，在图像上表现为相同时间内物体的运动产生的位置变化较为均匀，而环境因素导致的运动存在的干扰其运动不连续，往往在单一帧差之间可能存在变化，但在多个帧差图像之间其像素点变化的距离存在差异以及变化的方向可能会存在往复的现象，基于此可以对可能性进行筛选，获得不受干扰的图像。
具体的，根据相邻两帧道路灰度图中对应的变化区域得到每帧道路灰度图中每个变化区域的速度和运动方向，具体如下：
将第一目标帧图像中任意一个变化区域，记为第一目标区域，在第一目标帧图像中获取第一目标区域中心像素点的坐标；在第二目标帧图像中获取第一目标区域的对应变化区域，记为第二目标区域，在第二目标帧图像中获取第二目标区域中心像素点的坐标；将第一目标区域中心像素点的坐标，记为第一坐标，将第二目标区域中心像素点的坐标，记为第二坐标；获取第一坐标和第二坐标之间的欧式距离，获取相邻两帧道路图像的时间间隔，将第一坐标和第二坐标之间的欧式距离与相邻两帧道路图像的时间间隔的比值，作为第二目标帧图像中第二目标区域的速度；将第一坐标指向第二坐标的方向作为第二目标帧图像中第二目标区域的运动方向；需要说明的是，由于第一帧道路灰度图之前没有道路灰度图，因此此处对第一帧道路灰度图中变化区域的速度和运动方向不进行获取。
需要说明的是，第二目标区域的速度并不是第二目标区域的实际速度，此处仅用该速度表示对应变化区域在相邻两帧道路灰度图的变化程度。
具体的，根据每帧道路灰度图中每个变化区域的速度和运动方向得到每帧道路灰度图中每个变化区域为道路人员的可能性，具体如下：
将任意一帧道路灰度图中任意一个变化区域，记为目标变化区域；获取相邻两帧道路图像的时间间隔；根据该帧道路灰度图中目标变化区域的速度、运动方向及相邻两帧道路图像的时间间隔，得到该帧道路灰度图中目标变化区域在下一帧道路灰度图中对应的预测变化区域。
式中，为第j帧道路灰度图中第i个变化区域的中心像素点的坐标；/>为第j-1帧道路灰度图中与第j帧道路灰度图中第i个变化区域对应的变化区域在第j帧道路灰度图中对应的预测变化区域的中心像素点的坐标；/>为/>和/>对应中心像素点之间的欧式距离；/>的具体获取方法如下：将第j帧道路灰度图之前的预设数量帧道路灰度图和之后的预设数量帧道路灰度图按顺序构成的道路灰度图集合，记为第一集合，将第一集合中第u个道路灰度图中与第j帧道路灰度图中第i个变化区域对应的变化区域的中心像素点的坐标，记为/>；/>为/>和/>对应中心像素点之间的欧式距离；/>为第一集合中道路灰度图的帧数，/>为防止分母为0的超参数，本实施例以预设数量为3，/>进行叙述，/>为线性归一化函数，归一化的对象为所有帧道路灰度图中所有变化区域的/>，/>为第j帧道路灰度图中第i个变化区域为道路人员的可能性。例如，若预设数量为3，则第6帧道路灰度图之前的预设数量帧道路灰度图可以包括：第3帧道路灰度图、第4帧道路灰度图和第5帧道路灰度图；第6帧道路灰度图之后的预设数量帧道路灰度图可以包括：第7帧道路灰度图、第8帧道路灰度图和第9帧道路灰度图。
需要说明的是，若任意一帧道路灰度图之前或之后没有预设数量帧道路灰度图，则不进行道路人员的可能性分析；由于人员移动较慢，因此第j帧道路灰度图中变化区域的中心位置和预测的中心位置差异越小，变化区域为道路人员的可能性越大；同时考虑相邻多帧道路灰度图中变化区域中心像素点之间的距离差异，距离差异越小，说明变化区域为道路人员的可能性越大，此处的距离并不是实际的距离，而是变化区域在图像上反映的变化。
至此，得到每帧道路灰度图中每个变化区域为道路人员的可能性。
速度阈值获取模块：
需要说明的是，道路灰度图中存在的变化区域，其存在不同的运动状态，即包括运动方向和运动速度大小。但在水平方向上，变化区域的速度表现较为明显，在竖直方向上，速度的变化不明显。且可能有实际存在的水平方向的运动速度小于竖直方向的运动速度，在道路灰度图中表现为水平方向的差异大于竖直方向的差异，因此需要对变化区域的运动进行分析，以获得修正的运动速度。但竖直方向上存在近大远小的表现，即变化区域在运动过程中，在道路灰度图上的像素点数目是存在变化的，基于变化大小和参照物的差异可以获得相应的运动速度。且水平方向的运动速度也会受近大远小的影响，需要对水平分量的运动速度也进行处理。
具体的，根据参照区域和每帧道路灰度图中每个变化区域得到每帧道路灰度图中每个变化区域的竖直方向的修正速度，具体如下：
获取参照区域最上方、最下方、最左侧及最右侧的像素点，过最上方及最下方像素点作两条水平直线，过最左侧及最后侧像素点作两条竖直直线，四条直线围成的区域记为参照区域的外接矩形；按照上述方法获取每帧道路灰度图中每个变化区域的外接矩形。
式中，为参照区域的外接矩形的任意一条竖直方向的边长所包含的像素点数量，为第j帧道路灰度图中第i个变化区域的外接矩形的任意一条竖直方向的边长所包含的像素点数量，/>为第j-1帧道路灰度图中与第j帧道路灰度图中第i个变化区域对应的变化区域的外接矩形的任意一条竖直方向的边长所包含的像素点数量，/>为取绝对值，/>为参照区域内包含的像素点数量，/>为第j帧道路灰度图中第i个变化区域内包含的像素点数量，/>为第j帧道路灰度图中第i个变化区域的竖直方向的修正速度。
进一步地，根据参照区域和每帧道路灰度图中每个变化区域及变化区域的速度，得到每帧道路灰度图中每个变化区域的水平方向的修正速度，具体如下：
式中，为第j帧道路灰度图中第i个变化区域的水平方向的速度，其中/>通过对第j帧道路灰度图中第i个变化区域的速度进行正交分解得到，/>为参照区域内包含的像素点数量，/>为第j帧道路灰度图中第i个变化区域内包含的像素点数量，/>为第j帧道路灰度图中第i个变化区域的水平方向的修正速度。
进一步地，根据每帧道路灰度图中每个变化区域的竖直方向的修正速度和每帧道路灰度图中每个变化区域的水平方向的修正速度，得到每帧道路灰度图中每个变化区域的修正速度，具体如下：
式中，为第j帧道路灰度图中第i个变化区域的竖直方向的修正速度，/>为第j帧道路灰度图中第i个变化区域的水平方向的修正速度，/>为第j帧道路灰度图中第i个变化区域的修正速度。
需要说明的是，表示道路灰度图中变化区域所在位置和拍摄源的远近，由于参照区域是没有发生变化的区域，变化区域靠近拍摄源时，变化区域会变大，呈现近大远小的特点；在道路灰度图中远离拍摄源位置的变化区域和距离拍摄源较近位置的变化区域，现实中同一变化区域的速度表现存在差异，具体表现为近大远小，竖直方向的变化尤为微小。相邻两帧道路灰度图中对应变化区域的差值/>为道路灰度图中表现的速度，表示远离拍摄源的运动，竖直为负表示靠近拍摄源的运动，靠近拍摄源速度越真实，表征比例尺，用来对速度大小进行放缩，/>表示相对于参照区域的变化，差异越小，表示远离拍摄源的运动，差异越大表示靠近拍摄源的运动，利用参照区域的差异得到的结果更加准确。
需要说明的是，道路人员存在着不同的运动速度和运动方向，在距离拍摄源越远的运动物体，在相邻帧之间的差异并不明显，因此需要对道路灰度图进行分析，以获得修正的速度，由于不同的运动方向对应的运动速度存在差异，不同位置的变化区域其运动也存在差异，因此需要对运动速度和运动方向进行分析。
具体的，根据每帧道路灰度图中每个变化区域为道路人员的可能性、变化区域的修正速度及变化区域的运动方向，得到间隔0帧道路灰度图中每个变化区域的竖直方向的速度阈值，具体如下：
式中，为第j帧道路灰度图中第i个变化区域的修正速度，/>为第j帧道路灰度图中第i个变化区域的运动方向与水平方向的夹角，/>为第j帧道路灰度图中第i个变化区域为道路人员的可能性，/>为参照区域内包含的像素点数量，/>为第j帧道路灰度图中第i个变化区域内包含的像素点数量，/>为道路灰度图的总帧数，/>为相邻帧道路灰度图中第i个变化区域的竖直方向的速度阈值，记为间隔0帧道路灰度图中第i个变化区域的竖直方向的速度阈值。需要特别说明的是，相邻帧道路灰度图中第i个变化区域是指相邻帧对应的变化区域，例如第一帧道路灰度图中第i个变化区域在第二帧道路灰度图中对应的变化区域此处也记为第i个变化区域。
需要说明的是，由于第一帧道路灰度图无法获取变化区域的修正速度，因此从第二帧道路灰度图开始，即/>；道路灰度图中不同变化区域的运动速度存在差异，实际场景中人员是否运动是由运动速度确定，运动速度越大，判断的阈值越大，变化区域靠近拍摄源表示其越为真实运动，因此对应的阈值越大，垂直于摄像头方向的运动更明显，因此和水平方向夹角越小，运动速度越真实，判断的阈值越大，运动物体存在可能性，可能性越大，对于运动筛选的阈值越大，对不同的变化区域的状态进行综合分析，得到的阈值更加准确。
需要说明的是，单一的间隔帧的道路灰度图像可能会存在运动模糊以及行人交叠的现象，对阈值产生影响，间隔帧会避免该种情况，使获得的阈值更加稳定，因此需要利用多个间隔帧的速度表现对阈值进行调整。
具体的，根据间隔0帧道路灰度图中每个变化区域的竖直方向的速度阈值得到每个变化区域的最终速度阈值，具体如下：
/>
式中，为间隔f帧道路灰度图中第i个变化区域的竖直方向的速度阈值，/>为间隔的帧数，/>为预设的间隔帧数最大值，本实施例以/>进行叙述，/>为第i个变化区域的最终速度阈值；其中/>可通过获取间隔0帧道路灰度图中每个变化区域的竖直方向的速度阈值的方法来获取，间隔0帧即相邻帧道路灰度图，间隔1帧则是某一帧道路灰度图与其之后第二帧道路灰度图，例如第一帧道路灰度图与第三帧道路灰度图，基于此按照上述方法进行间隔不同帧的道路灰度图中每个变化区域的竖直方向的速度阈值计算。
需要说明的是，道路灰度图中变化区域的运动速度存在差异，相邻帧的道路灰度图会出现运动模糊，多个间隔帧的道路灰度图会采集获得完整的变化区域图像，得到的速度阈值更加准确，即最终速度阈值。
至此，得到每个变化区域的最终速度阈值。
人员行为识别模块：
具体的，根据每个变化区域的最终速度阈值得到人员区域，对人员区域的行为进行识别，具体如下：
对于最后一帧道路灰度图中任意一个变化区域，记为第一变化区域，在所有帧道路灰度图中获取与第一变化区域对应的变化区域的所有修正速度，将所有修正速度的均值记为；获取第一变化区域的最终速度阈值，记为/>；若/>，第一变化区域为人员区域，若/>，第一变化区域不是人员区域，获取最后一帧道路灰度图中所有的人员区域，将最后一帧道路灰度图中所有人员区域输入到训练完成的SVM支持向量机算法中，输出得到每个人员区域的人员行为。需要说明的是，将最后一帧道路灰度图中所有人员区域输入到训练完成的SVM支持向量机算法中，输出得到每个人员区域的人员行为，为SVM支持向量机算法的现有方法，本实施例不再赘述。
至此，通过获取道路灰度图中人员区域完成人员区域的行为检测。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.用于城市道路人员行为的视觉检测系统，其特征在于，该系统包括以下模块：
道路图像采集模块，用于获取城市道路的若干帧道路灰度图；
区域获取模块，用于根据相邻两帧道路灰度图得到相邻两帧道路灰度图中对应的变化区域及参照区域；
人员可能性计算模块，用于根据相邻两帧道路灰度图中对应的变化区域，得到每帧道路灰度图中每个变化区域的速度和运动方向，以及每个变化区域为道路人员的可能性；
速度阈值获取模块，用于根据参照区域和每帧道路灰度图中每个变化区域，得到每帧道路灰度图中每个变化区域的竖直方向的修正速度；根据参照区域和每帧道路灰度图中每个变化区域及变化区域的速度，得到每帧道路灰度图中每个变化区域的水平方向的修正速度；根据竖直方向的修正速度和水平方向的修正速度，得到每帧道路灰度图中每个变化区域的修正速度；根据每帧道路灰度图中每个变化区域为道路人员的可能性、变化区域的修正速度及变化区域的运动方向，得到每个变化区域的最终速度阈值；
人员行为识别模块，用于根据每个变化区域的最终速度阈值得到人员区域，对人员区域的行为进行识别；
所述根据每帧道路灰度图中每个变化区域为道路人员的可能性、变化区域的修正速度及变化区域的运动方向，得到每个变化区域的最终速度阈值，包括的具体步骤如下：
式中，为第j帧道路灰度图中第i个变化区域的修正速度，/>为第j帧道路灰度图中第i个变化区域的运动方向与水平方向的夹角，/>为第j帧道路灰度图中第i个变化区域为道路人员的可能性，/>为参照区域内包含的像素点数量，/>为第j帧道路灰度图中第i个变化区域内包含的像素点数量，/>为道路灰度图的总帧数，/>为相邻帧道路灰度图中第i个变化区域的竖直方向的速度阈值，记为间隔0帧道路灰度图中第i个变化区域的竖直方向的速度阈值；
根据间隔0帧道路灰度图中每个变化区域的竖直方向的速度阈值得到每个变化区域的最终速度阈值。
2.根据权利要求1所述用于城市道路人员行为的视觉检测系统，其特征在于，所述根据相邻两帧道路灰度图得到相邻两帧道路灰度图中对应的变化区域及参照区域，包括的具体步骤如下：
对于任意相邻两帧道路灰度图，分别记为第一目标帧图像和第二目标帧图像，其中第一目标帧图像在第二目标帧图像之前；将第一目标帧图像和第二目标帧图像输入到光流法中，输出得到第一目标帧图像和第二目标帧图像中对应的变化区域；
将第二目标帧图像中每个像素点的灰度值减去第一目标帧图像中对应位置像素点的灰度值，得到第一目标帧图像和第二目标帧图像的帧差图像，记为目标帧差图像；将目标帧差图像中灰度值不为0的所有像素点灰度值置为0，将目标帧差图像中灰度值为0的所有像素点灰度值置为1，得到灰度值经过调整的目标帧差图像，将灰度值经过调整的目标帧差图像作为掩膜图像，根据掩膜图像对第一目标帧图像进行掩膜处理，得到掩膜之后的第一目标帧图像，记为第三目标帧图像，获取第三目标帧图像中包含像素点数量最多的连通域，作为第一目标帧图像与第二目标帧图像的初始参照区域；获取所有相邻两帧道路灰度图的初始参照区域，获取每个初始参照区域对应的像素点集合，将所有像素点集合的交集，作为在每帧道路灰度图上对应的区域，作为参照区域。
3.根据权利要求2所述用于城市道路人员行为的视觉检测系统，其特征在于，所述根据相邻两帧道路灰度图中对应的变化区域，得到每帧道路灰度图中每个变化区域的速度和运动方向，以及每个变化区域为道路人员的可能性，包括的具体步骤如下：
将第一目标帧图像中任意一个变化区域，记为第一目标区域，在第一目标帧图像中获取第一目标区域中心像素点的坐标；在第二目标帧图像中获取第一目标区域的对应变化区域，记为第二目标区域，在第二目标帧图像中获取第二目标区域中心像素点的坐标；将第一目标区域中心像素点的坐标，记为第一坐标，将第二目标区域中心像素点的坐标，记为第二坐标；获取第一坐标和第二坐标之间的欧式距离，获取相邻两帧道路图像的时间间隔，将第一坐标和第二坐标之间的欧式距离与相邻两帧道路图像的时间间隔的比值，作为第二目标帧图像中第二目标区域的速度；将第一坐标指向第二坐标的方向作为第二目标帧图像中第二目标区域的运动方向；
根据每帧道路灰度图中每个变化区域的速度和运动方向，得到每帧道路灰度图中每个变化区域为道路人员的可能性。
4.根据权利要求3所述用于城市道路人员行为的视觉检测系统，其特征在于，所述根据每帧道路灰度图中每个变化区域的速度和运动方向，得到每帧道路灰度图中每个变化区域为道路人员的可能性，包括的具体步骤如下：
将任意一帧道路灰度图中任意一个变化区域，记为目标变化区域；根据该帧道路灰度图中目标变化区域的速度、运动方向及相邻两帧道路图像的时间间隔，得到该帧道路灰度图中目标变化区域在下一帧道路灰度图中对应的预测变化区域；
式中，为第j帧道路灰度图中第i个变化区域的中心像素点的坐标；/>为第j-1帧道路灰度图中与第j帧道路灰度图中第i个变化区域对应的变化区域在第j帧道路灰度图中对应的预测变化区域的中心像素点的坐标；/>为/>和/>对应中心像素点之间的欧式距离；/>的具体获取方法如下：将第j帧道路灰度图之前的预设数量帧道路灰度图和之后的预设数量帧道路灰度图按顺序构成的道路灰度图集合，记为第一集合，将第一集合中第u个道路灰度图中与第j帧道路灰度图中第i个变化区域对应的变化区域的中心像素点的坐标，记为/>；/>为/>和/>对应中心像素点之间的欧式距离；/>为第一集合中道路灰度图的帧数，/>为防止分母为0的超参数，/>为归一化函数，/>为第j帧道路灰度图中第i个变化区域为道路人员的可能性。
5.根据权利要求1所述用于城市道路人员行为的视觉检测系统，其特征在于，所述根据参照区域和每帧道路灰度图中每个变化区域，得到每帧道路灰度图中每个变化区域的竖直方向的修正速度，包括的具体步骤如下：
获取参照区域最上方、最下方、最左侧及最右侧的像素点，过最上方及最下方像素点作两条水平直线，过最左侧及最后侧像素点作两条竖直直线，四条直线围成的区域记为参照区域的外接矩形；获取每帧道路灰度图中每个变化区域的外接矩形；
式中，为参照区域的外接矩形的任意一条竖直方向的边长所包含的像素点数量，/>为第j帧道路灰度图中第i个变化区域的外接矩形的任意一条竖直方向的边长所包含的像素点数量，/>为第j-1帧道路灰度图中与第j帧道路灰度图中第i个变化区域对应的变化区域的外接矩形的任意一条竖直方向的边长所包含的像素点数量，/>为取绝对值，/>为参照区域内包含的像素点数量，/>为第j帧道路灰度图中第i个变化区域内包含的像素点数量，/>为第j帧道路灰度图中第i个变化区域的竖直方向的修正速度。
6.根据权利要求1所述用于城市道路人员行为的视觉检测系统，其特征在于，所述根据参照区域和每帧道路灰度图中每个变化区域及变化区域的速度，得到每帧道路灰度图中每个变化区域的水平方向的修正速度，包括的具体步骤如下：
式中，为第j帧道路灰度图中第i个变化区域的水平方向的速度，其中/>通过对第j帧道路灰度图中第i个变化区域的速度进行正交分解得到，/>为参照区域内包含的像素点数量，/>为第j帧道路灰度图中第i个变化区域内包含的像素点数量，/>为第j帧道路灰度图中第i个变化区域的水平方向的修正速度。
7.根据权利要求1所述用于城市道路人员行为的视觉检测系统，其特征在于，所述根据竖直方向的修正速度和水平方向的修正速度，得到每帧道路灰度图中每个变化区域的修正速度，包括的具体步骤如下：
式中，为第j帧道路灰度图中第i个变化区域的竖直方向的修正速度，/>为第j帧道路灰度图中第i个变化区域的水平方向的修正速度，/>为第j帧道路灰度图中第i个变化区域的修正速度。
8.根据权利要求1所述用于城市道路人员行为的视觉检测系统，其特征在于，所述根据间隔0帧道路灰度图中每个变化区域的竖直方向的速度阈值得到每个变化区域的最终速度阈值，包括的具体步骤如下：
式中，为间隔f帧道路灰度图中第i个变化区域的竖直方向的速度阈值，/>为间隔的帧数，/>为预设的间隔帧数最大值，/>为第i个变化区域的最终速度阈值。
9.根据权利要求1所述用于城市道路人员行为的视觉检测系统，其特征在于，所述根据每个变化区域的最终速度阈值得到人员区域，包括的具体步骤如下：
对于最后一帧道路灰度图中任意一个变化区域，记为第一变化区域，在所有帧道路灰度图中获取与第一变化区域对应的变化区域的所有修正速度，将所有修正速度的均值记为；获取第一变化区域的最终速度阈值，记为/>；若/>，第一变化区域为人员区域，若，第一变化区域不是人员区域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410107382.1A CN117636482B (zh) | 2024-01-26 | 2024-01-26 | 用于城市道路人员行为的视觉检测系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410107382.1A CN117636482B (zh) | 2024-01-26 | 2024-01-26 | 用于城市道路人员行为的视觉检测系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117636482A CN117636482A (zh) | 2024-03-01 |
| CN117636482B true CN117636482B (zh) | 2024-04-09 |
Family
ID=90020290
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410107382.1A Active CN117636482B (zh) | 2024-01-26 | 2024-01-26 | 用于城市道路人员行为的视觉检测系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117636482B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020000251A1 (zh) * | 2018-06-27 | 2020-01-02 | 潍坊学院 | 基于摄像机协同接力的路口违章视频识别方法 |
| WO2020248515A1 (zh) * | 2019-06-13 | 2020-12-17 | 苏州玖物互通智能科技有限公司 | 结合帧间差分与贝叶斯分类器的车辆行人检测识别方法 |
| CN115880784A (zh) * | 2023-02-22 | 2023-03-31 | 武汉商学院 | 基于人工智能的景区多人动作行为监测方法 |
| CN116996673A (zh) * | 2023-09-28 | 2023-11-03 | 深圳市铁军智能科技有限公司 | 基于通行出入管理及设备运行状态的智能云端管理系统 |
| CN117094914A (zh) * | 2023-10-18 | 2023-11-21 | 广东申创光电科技有限公司 | 基于计算机视觉的智慧城市道路监控系统 |
-
2024
- 2024-01-26 CN CN202410107382.1A patent/CN117636482B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020000251A1 (zh) * | 2018-06-27 | 2020-01-02 | 潍坊学院 | 基于摄像机协同接力的路口违章视频识别方法 |
| WO2020248515A1 (zh) * | 2019-06-13 | 2020-12-17 | 苏州玖物互通智能科技有限公司 | 结合帧间差分与贝叶斯分类器的车辆行人检测识别方法 |
| CN115880784A (zh) * | 2023-02-22 | 2023-03-31 | 武汉商学院 | 基于人工智能的景区多人动作行为监测方法 |
| CN116996673A (zh) * | 2023-09-28 | 2023-11-03 | 深圳市铁军智能科技有限公司 | 基于通行出入管理及设备运行状态的智能云端管理系统 |
| CN117094914A (zh) * | 2023-10-18 | 2023-11-21 | 广东申创光电科技有限公司 | 基于计算机视觉的智慧城市道路监控系统 |
Non-Patent Citations (1)
| Title |
|---|
| 一种有效的实时人群计数方法;卢湖川;张明修;张继霞;马洪连;;计算机工程;20080305(05);第228-230页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117636482A (zh) | 2024-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN100544446C (zh) | 用于视频监控的实时运动检测方法 | |
| CN111814621A (zh) | 一种基于注意力机制的多尺度车辆行人检测方法及装置 | |
| CN105260749B (zh) | 基于方向梯度二值模式和软级联svm的实时目标检测方法 | |
| CN106022231A (zh) | 一种基于多特征融合的行人快速检测的技术方法 | |
| CN107403175A (zh) | 一种运动背景下的视觉跟踪方法及视觉跟踪系统 | |
| CN111626169B (zh) | 一种基于图像的铁路危险落石尺寸判断方法 | |
| CN111626170B (zh) | 一种铁路边坡落石侵限检测的图像识别方法 | |
| CN109886086B (zh) | 基于hog特征和线性svm级联分类器的行人检测方法 | |
| CN111191535B (zh) | 基于深度学习的行人检测模型构建方法及行人检测方法 | |
| CN104268563B (zh) | 一种基于异常行为检测的视频摘要方法 | |
| CN112597928B (zh) | 一种事件检测方法及相关装置 | |
| CN114299060A (zh) | 一种适用于复杂水下环境的深度学习大坝裂缝检测方法 | |
| CN107247967B (zh) | 一种基于r-cnn的车窗年检标检测方法 | |
| CN113657305A (zh) | 一种基于视频的黑烟车辆及林格曼黑度等级智能检测方法 | |
| CN117315547A (zh) | 一种解决动态物体大占比的视觉slam方法 | |
| CN110334703B (zh) | 一种昼夜图像中的船舶检测和识别方法 | |
| CN117636482B (zh) | 用于城市道路人员行为的视觉检测系统 | |
| CN117475353A (zh) | 基于视频的异常烟雾识别方法及系统 | |
| CN112598698A (zh) | 长时间单目标跟踪方法及系统 | |
| CN116758421A (zh) | 一种基于弱监督学习的遥感图像有向目标检测方法 | |
| CN108009480A (zh) | 一种基于特征识别的图像人体行为检测方法 | |
| CN108985216B (zh) | 一种基于多元logistic回归特征融合的行人头部检测方法 | |
| CN111402185B (zh) | 一种图像检测方法及装置 | |
| CN115100650A (zh) | 基于多重高斯模型的高速公路异常场景去噪及识别方法、装置 | |
| CN114299438A (zh) | 融合传统停车检测与神经网络的隧道停车事件检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |