CN113591591A - 人工智能现场行为识别系统 - Google Patents
人工智能现场行为识别系统 Download PDFInfo
- Publication number
- CN113591591A CN113591591A CN202110757519.4A CN202110757519A CN113591591A CN 113591591 A CN113591591 A CN 113591591A CN 202110757519 A CN202110757519 A CN 202110757519A CN 113591591 A CN113591591 A CN 113591591A
- Authority
- CN
- China
- Prior art keywords
- image
- video
- picture
- module
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 25
- 238000000034 method Methods 0.000 claims abstract description 14
- 238000001514 detection method Methods 0.000 claims abstract description 12
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 230000006399 behavior Effects 0.000 claims description 36
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 238000005286 illumination Methods 0.000 abstract description 3
- 238000012544 monitoring process Methods 0.000 abstract description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000013461 design Methods 0.000 abstract description 2
- 238000003062 neural network model Methods 0.000 abstract description 2
- 238000012549 training Methods 0.000 description 6
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明提供人工智能现场行为识别系统，包括视频采集模块、图像识别模块和图像检测模块，其中，视频采集模块用于采集目标区域的视频信息，将采集的图像传送到图像识别模块；图像识别模块收到视频采集模块采集的视频信息后，将视频识别成视频图片并对图片进行预处理；图像检测模块用于预处理后的图片，并对预处理后的图片进行处理分析。本发明的有益效果是：本发明通过对视频监控端获取的视频数据进行采样和分段，将视频转化成图片，并输入经训练的神经网络模型，减少人为设计特征，来提高行为识别准确率。现有的行为识别方法，受到光照条件各异、视角多样性、背景复杂等诸多因素的影响，识别的精确性和效率并不能完全满足相关行业的实用要求。
Description
技术领域
本发明涉及现场行为识别领域，更具体地说涉及一种人工智能现场行为识别系统。
背景技术
目前，利用人工智能技术对社区监控视频进行自动检测，很多主体行为发生时，需要经过完整的一段过程，即需要完整的时序信息才能做出判断，如果把所有数据都经过计算，则计算量非常大，现有的行为识别方法，受到光照条件各异、视角多样性、背景复杂等诸多因素的影响，识别的精确性和效率并不能完全满足相关行业的实用要求。
发明内容
本发明克服了现有技术中的不足，提供了一种人工智能现场行为识别系统。
本发明的目的通过下述技术方案予以实现。
人工智能现场行为识别系统，包括视频采集模块、图像识别模块和图像检测模块，其中，
所述视频采集模块用于采集目标区域的视频信息，将采集的图像传送到所述图像识别模块；
所述图像识别模块收到所述视频采集模块采集的视频信息后，将所述视频识别成视频图片并对图片进行预处理；
所述图像检测模块用于所述预处理后的图片，并对所述预处理后的图片进行处理分析。
优选地，所述图像识别模块将所述视频识别成视频图片的方法为：从所述视频采集模块获取目标视频流数据，并通过循环读取的方式对所述目标视频流数据进行解码抽帧处理，得到对应的多帧视频图片作为待识别视频图片。
由上述任一方案优选的是，所述图像识别模块对图片进行预处理的方法为：所述图片预处理包括将图像缩放至固定尺寸、图像去均值与归一化处理，得到图像模型集。
由上述任一方案优选的是，所述图像检测模块对所述预处理后的图片进行处理分析的具体方法为：
步骤一，获取所述图像模型集，所述图像模型集包括多张图像；
步骤二，对所述待识别行为的区域进行图像增强处理；
步骤三，对所述步骤二中增强处理后的图像进行亮度调节，调节每张所述图像的目标区域的亮度，获得待识别行为的区域；
步骤四，将所述待识别行为的区域输入到预先训练完成的行为识别模型，得到行为识别结果。
由上述任一方案优选的是，所述步骤二中调节所述图像的前景的亮度，具体的方法为：
S1：在将每张所述图像的目标区域分割为前景和背景，并将所述背景标记为黑色，所述前景为包含待识别行为的区域；
S2：提取所有图像或者部分图像的所述目标区域的亮度信息，对所述亮度信息取平均值得到平均亮度信息；
S3：调节每张所述图像的目标区域的所有像素的亮度或者红色通道值，直至所述目标区域的平均亮度达到所述平均亮度信息对应的亮度。
由上述任一方案优选的是，所述步骤二中的图像增强处理包括：将图片缩放至固定尺寸、图像去均值与归一化处理，得到增强处理后的图片。
由上述任一方案优选的是，所述步骤四中的所述识别模型为深度神经网络，所述深度神经网络包括依次连接的卷积池化层、至少一个卷积块、卷积池化层、全连接层和输出层；所述卷积块包括依次连接的通道分割层、深度卷积层、压缩激活层和拼接层，所述通道分割层还与所述拼接层直接连接；所述拼接层之后还连接有通道拼接层。
本发明的有益效果为：
本发明通过对视频监控端获取的视频数据进行采样和分段，将视频转化成图片，并输入经训练的神经网络模型，减少人为设计特征，来提高行为识别准确率。现有的行为识别方法，受到光照条件各异、视角多样性、背景复杂等诸多因素的影响，识别的精确性和效率并不能完全满足相关行业的实用要求。
具体实施方式
下面通过具体的实施例对本发明的技术方案作进一步的说明。
人工智能现场行为识别系统，包括视频采集模块、图像识别模块和图像检测模块，其中，
所述视频采集模块用于采集目标区域的视频信息，将采集的图像传送到所述图像识别模块；
所述图像识别模块收到所述视频采集模块采集的视频信息后，将所述视频识别成视频图片并对图片进行预处理；
所述图像检测模块用于所述预处理后的图片，并对所述预处理后的图片进行处理分析。
所述图像识别模块将所述视频识别成视频图片的方法为：从所述视频采集模块获取目标视频流数据，并通过循环读取的方式对所述目标视频流数据进行解码抽帧处理，得到对应的多帧视频图片作为待识别视频图片。
所述图像识别模块对图片进行预处理的方法为：所述图片预处理包括将图像缩放至固定尺寸、图像去均值与归一化处理，得到图像模型集。
所述图像检测模块对所述预处理后的图片进行处理分析的具体方法为：
步骤一，获取所述图像模型集，所述图像模型集包括多张图像；
步骤二，对所述待识别行为的区域进行图像增强处理；
所述步骤二中调节所述图像的前景的亮度，具体的方法为：
S1：在将每张所述图像的目标区域分割为前景和背景，并将所述背景标记为黑色，所述前景为包含待识别行为的区域；
S2：提取所有图像或者部分图像的所述目标区域的亮度信息，对所述亮度信息取平均值得到平均亮度信息；考虑到现实中光线条件不同，可以计算训练集对应于目标区域的平均亮度信息，用于后续基于该平均亮度信息进行亮度调整，从而进一步消除过度曝光或光线不足导致的行为识别准确度下降的问题。对训练集中图像的目标区域计算平均亮度信息，该平均亮度信息表示了多张图像的平均亮度水平，因此消除了环境过亮或过暗造成的影响，可以用于后续步骤中调整前景的亮度。例如，上述图像可以是YUV/YCbCr图像，在计算平均亮度信息时，可以提取训练集中所有图像或者部分图像的目标区域的亮度信息，并对亮度信息取平均值得到平均亮度信息；上述图像可以是RGB/IR图像，在计算平均亮度信息时，可以提取训练集中所有图像或者部分图像的目标区域的红色通道值，并对红色通道值取平均值得到平均亮度信息。
S3：调节每张所述图像的目标区域的所有像素的亮度或者红色通道值，直至所述目标区域的平均亮度达到所述平均亮度信息对应的亮度。
所述步骤二中的图像增强处理包括：将图片缩放至固定尺寸、图像去均值与归一化处理，得到增强处理后的图片。
步骤三，对所述步骤二中增强处理后的图像进行亮度调节，调节每张所述图像的目标区域的亮度，获得待识别行为的区域；
步骤四，将所述待识别行为的区域输入到预先训练完成的行为识别模型，得到行为识别结果。所述步骤四中的所述识别模型为深度神经网络，所述深度神经网络包括依次连接的卷积池化层、至少一个卷积块、卷积池化层、全连接层和输出层；所述卷积块包括依次连接的通道分割层、深度卷积层、压缩激活层和拼接层，所述通道分割层还与所述拼接层直接连接；所述拼接层之后还连接有通道拼接层。
通过训练集对神经网络进行训练，在对训练集的预处理过程中，利用图像分割将背景置黑从而消除背景的影响，增强了对复杂场景识别的鲁棒性，可以应用在现实光线复杂的场景中，利用神经网络高维度的复杂建模能力，提高了识别准确率，同时避免了过度曝光或光线不足产生的准确度下降问题。
以上对本发明的一个实施例进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化与改进等，均应仍归属于本发明的专利涵盖范围之内。
Claims (7)
1.人工智能现场行为识别系统，其特征在于：包括视频采集模块、图像识别模块和图像检测模块，其中，
所述视频采集模块用于采集目标区域的视频信息，将采集的图像传送到所述图像识别模块；
所述图像识别模块收到所述视频采集模块采集的视频信息后，将所述视频识别成视频图片并对图片进行预处理；
所述图像检测模块用于所述预处理后的图片，并对所述预处理后的图片进行处理分析。
2.根据权利要求1所述的人工智能现场行为识别系统，其特征在于：所述图像识别模块将所述视频识别成视频图片的方法为：从所述视频采集模块获取目标视频流数据，并通过循环读取的方式对所述目标视频流数据进行解码抽帧处理，得到对应的多帧视频图片作为待识别视频图片。
3.根据权利要求2所述的人工智能现场行为识别系统，其特征在于：所述图像识别模块对图片进行预处理的方法为：所述图片预处理包括将图像缩放至固定尺寸、图像去均值与归一化处理，得到图像模型集。
4.根据权利要求3所述的人工智能现场行为识别系统，其特征在于：所述图像检测模块对所述预处理后的图片进行处理分析的具体方法为：
步骤一，获取所述图像模型集，所述图像模型集包括多张图像；
步骤二，对所述待识别行为的区域进行图像增强处理；
步骤三，对所述步骤二中增强处理后的图像进行亮度调节，调节每张所述图像的目标区域的亮度，获得待识别行为的区域；
步骤四，将所述待识别行为的区域输入到预先训练完成的行为识别模型，得到行为识别结果。
5.根据权利要求4所述的人工智能现场行为识别系统，其特征在于：所述步骤二中调节所述图像的前景的亮度，具体的方法为：
S1：在将每张所述图像的目标区域分割为前景和背景，并将所述背景标记为黑色，所述前景为包含待识别行为的区域；
S2：提取所有图像或者部分图像的所述目标区域的亮度信息，对所述亮度信息取平均值得到平均亮度信息；
S3：调节每张所述图像的目标区域的所有像素的亮度或者红色通道值，直至所述目标区域的平均亮度达到所述平均亮度信息对应的亮度。
6.根据权利要求5所述的人工智能现场行为识别系统，其特征在于：所述步骤二中的图像增强处理包括：将图片缩放至固定尺寸、图像去均值与归一化处理，得到增强处理后的图片。
7.根据权利要求6所述的人工智能现场行为识别系统，其特征在于：所述步骤四中的所述识别模型为深度神经网络，所述深度神经网络包括依次连接的卷积池化层、至少一个卷积块、卷积池化层、全连接层和输出层；所述卷积块包括依次连接的通道分割层、深度卷积层、压缩激活层和拼接层，所述通道分割层还与所述拼接层直接连接；所述拼接层之后还连接有通道拼接层。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110757519.4A CN113591591A (zh) | 2021-07-05 | 2021-07-05 | 人工智能现场行为识别系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110757519.4A CN113591591A (zh) | 2021-07-05 | 2021-07-05 | 人工智能现场行为识别系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113591591A true CN113591591A (zh) | 2021-11-02 |
Family
ID=78245965
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110757519.4A Pending CN113591591A (zh) | 2021-07-05 | 2021-07-05 | 人工智能现场行为识别系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113591591A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114419558A (zh) * | 2022-03-31 | 2022-04-29 | 华南理工大学 | 火灾视频图像识别方法、系统、计算机设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109815881A (zh) * | 2019-01-18 | 2019-05-28 | 成都旷视金智科技有限公司 | 行为识别模型的训练方法、行为识别方法、装置及设备 |
| CN111339977A (zh) * | 2020-03-03 | 2020-06-26 | 河南中光学集团有限公司 | 一种基于远程视频监控的小目标智能识别系统及其识别方法 |
| AU2020102091A4 (en) * | 2019-10-17 | 2020-10-08 | Wuhan University Of Science And Technology | Intelligent steel slag detection method and system based on convolutional neural network |
| CN112580523A (zh) * | 2020-12-22 | 2021-03-30 | 平安国际智慧城市科技股份有限公司 | 行为识别方法、装置、设备及存储介质 |
| US20220036562A1 (en) * | 2018-11-27 | 2022-02-03 | Bongos Robotics Shanghai Co., Ltd | Vision-based working area boundary detection system and method, and machine equipment |
-
2021
- 2021-07-05 CN CN202110757519.4A patent/CN113591591A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220036562A1 (en) * | 2018-11-27 | 2022-02-03 | Bongos Robotics Shanghai Co., Ltd | Vision-based working area boundary detection system and method, and machine equipment |
| CN109815881A (zh) * | 2019-01-18 | 2019-05-28 | 成都旷视金智科技有限公司 | 行为识别模型的训练方法、行为识别方法、装置及设备 |
| AU2020102091A4 (en) * | 2019-10-17 | 2020-10-08 | Wuhan University Of Science And Technology | Intelligent steel slag detection method and system based on convolutional neural network |
| CN111339977A (zh) * | 2020-03-03 | 2020-06-26 | 河南中光学集团有限公司 | 一种基于远程视频监控的小目标智能识别系统及其识别方法 |
| CN112580523A (zh) * | 2020-12-22 | 2021-03-30 | 平安国际智慧城市科技股份有限公司 | 行为识别方法、装置、设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 孙彦;丁学文;雷雨婷;陈静;孔祥鑫;: "基于SSD_MobileNet_v1网络的猫狗图像识别", 天津职业技术师范大学学报, no. 01 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114419558A (zh) * | 2022-03-31 | 2022-04-29 | 华南理工大学 | 火灾视频图像识别方法、系统、计算机设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108830208A (zh) | 视频处理方法和装置、电子设备、计算机可读存储介质 | |
| US20110164823A1 (en) | Video object extraction apparatus and method | |
| CN111462128B (zh) | 一种基于多模态光谱图像的像素级图像分割系统及方法 | |
| KR100422709B1 (ko) | 영상 의존적인 얼굴 영역 추출방법 | |
| CN108875619A (zh) | 视频处理方法和装置、电子设备、计算机可读存储介质 | |
| CN110751630B (zh) | 基于深度学习的输电线路异物检测方法、装置及介质 | |
| CN112418087B (zh) | 一种基于神经网络的水下视频鱼类识别方法 | |
| CN112561899A (zh) | 电力巡检图像识别方法 | |
| CN111815528A (zh) | 基于卷积模型和特征融合的恶劣天气图像分类增强方法 | |
| CN110866889A (zh) | 一种监控系统中的多相机数据融合方法 | |
| CN110610485A (zh) | 一种基于ssim算法的特高压输电线路通道隐患预警方法 | |
| CN115065798A (zh) | 一种基于大数据的视频分析监控系统 | |
| KR20120133646A (ko) | 객체 수 추정 장치 및 방법 | |
| CN114022823A (zh) | 一种遮挡驱动的行人再识别方法、系统及可存储介质 | |
| CN113065568A (zh) | 目标检测、属性识别与跟踪方法及系统 | |
| CN111460964A (zh) | 一种广电传输机房低照度条件下运动目标检测方法 | |
| CN110188640B (zh) | 人脸识别方法、装置、服务器和计算机可读介质 | |
| CN113591591A (zh) | 人工智能现场行为识别系统 | |
| CN111666869B (zh) | 一种基于宽动态处理的人脸识别方法、装置及电子设备 | |
| CN113408380A (zh) | 视频图像调整方法、设备及存储介质 | |
| CN111046866B (zh) | 一种结合ctpn和svm的人民币冠字号区域检测方法 | |
| CN110430400B (zh) | 一种双目可运动摄像机的地平面区域检测方法 | |
| CN112489018A (zh) | 一种电力线智能巡线方法及巡线 | |
| CN112052726A (zh) | 图像处理方法及装置 | |
| CN108830834B (zh) | 一种爬索机器人视频缺陷信息自动提取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |