CN113891010A - 一种基于视觉技术的行为识别系统 - Google Patents

Abstract

本发明提供了一种基于视觉技术的行为识别系统，包括：图像数据获取模块、识别控制模块、行为识别模块和行为分析管理模块；所述图像数据获取模块用于根据图像采集控制指令控制图像采集设备进行图像采集；所述识别控制模块用于根据所述输入控制信息对识别过程进行控制；所述行为识别模块用于通过行为识别模型通过行为识别模型对人体动作进行识别判断是否为设定的行为动作，并输出与识别动作相匹配的行为编号、次数和名称信息；所述行为分析管理模块用于对采集的图像信息进行存储管理、对行为识别信息进行统计分析，并对分析结果进行可视化显示，本发明检测精确度和速率较高、稳定性好，且可对人体行为发生过程进行程度评估。

Description

一种基于视觉技术的行为识别系统

技术领域

本发明涉及图像识别技术领域，尤其涉及到一种基于视觉技术的行为识别系统。

背景技术

随着计算机网络和人工智能技术的发展，基于视觉技术的行为和目标识别的应用日益广泛，其涉及计算机视觉、图像处理、人工智能和模式识别等多个学科知识。

行为识别技术就是通过行为识别算法对视频流或者图像序列中目标的行为进行识别分析，最终得到人体行为识别结果。但目前的识别系统大多由于行为识别的场景多样化，导致识别采集图像过程中，无法保证采集图像的清晰或者完整而导致识别准确率低，或者无法根据客户需求对识别行为进行统计评估，作为进行进一步研究的基础。

综上所述，提供一种检测精确度和速率较高、稳定性好，且可对人体行为发生过程进行程度评估的基于视觉技术的行为识别系统，是本领域技术人员急需解决的问题。

发明内容

本方案针对上文提到的问题和需求，提出一种基于视觉技术的行为识别系统，其由于采取了如下技术方案而能够解决上述技术问题。

为实现上述目的，本发明提供如下技术方案：一种基于视觉技术的行为识别系统，包括：图像数据获取模块、识别控制模块、行为识别模块和行为分析管理模块；

所述图像数据获取模块用于接收用户的图像采集控制指令，并根据所述图像采集控制指令控制图像采集设备进行图像采集；

所述识别控制模块用于用户输入控制信息，并根据所述输入控制信息对识别过程进行控制，所述识别控制模块与所述行为识别模块相连接；

所述行为识别模块用于通过行为识别模型通过行为识别模型对人体动作进行识别判断是否为设定的行为动作，并输出与识别动作相匹配的行为编号、次数和名称信息，然后将输出的信息发送至所述行为分析管理模块；

所述行为分析管理模块用于对采集的图像信息进行存储管理、对行为识别信息进行统计分析，并对分析结果进行可视化显示。

进一步地，所述图像数据获取模块包括图像采集设备和控制模块；

所述图像采集设备包括摄像机、电动云台、防抖驱动模块、开关控制装置和补偿模块，所述防抖驱动模块用于驱动所述电动云台转动，进而带动所述摄像机进行多角度图像信息采集，所述防抖驱动模块包括电机驱动器、两个步进电机，所述两个步进电机和所述电机驱动器电连接，所述电动云台用于接收来自所述控制模块的信号进行精确地运行定位，所述开关控制装置包括电源供电模块、电源开关控制电路，所述电源供电模块通过所述电源开关控制电路与所述控制模块相连接，所述补偿模块用于对摄像机进行光线补偿和温度补偿；

所述控制模块用于接收用户的图像采集控制指令，并根据所述图像采集控制指令控制图像采集时长和对图像采集参数进行更新，并进行图像数据传输控制。

更进一步地，所述图像数据获取模块还包括计时模块、参数更新模块和图像传输模块；所述计时模块用于对行为识别过程的时长进行计时，所述参数更新模块用于对摄像机的参数和设备编号进行定期更新，所述图像传输模块与所述摄像机电连接用于对采集图像进行缓存和传输，所述计时模块、所述参数更新模块和所述图像传输模块均与所述控制模块电连接。

更进一步地，所述补偿模块包括光线传感器、补光灯组、恒流驱动电路、温度传感器、加热膜片，所述光线传感器、所述恒流驱动电路和所述温度传感器均与所述控制模块相连接，所述控制模块将所述光线传感器检测到环境光线值与预设值进行比较，当小于所述预设值时，所述控制模块通过所述恒流驱动电路驱动补光灯组进行光线补偿；所述控制模块将所述温度传感器检测到环境温度值与预设值进行比较，当小于所述预设值时，所述控制模块驱动加热膜片进行加热，去除镜头雾气。

进一步地，所述识别控制模块包括指令输入模块和过程控制模块；所述指令输入模块包括指令输入智能面板、启停按钮和权限验证装置，用户通过所述指令输入智能面板和所述启停按钮输入识别过程开始、暂停指令及图像采集控制指令，并通过过程控制模块传输给所述图像数据获取模块和所述行为识别模块，所述权限验证装置包括指纹输入器和指纹验证器，用户通过所述指纹输入器输入验证指纹，所述指纹验证器将所述验证指纹与用户信息库中存储的合法验证指纹进行特征比较，若比较结果一致，则可将所述指令输入智能面板和所述启停按钮的状态从锁定状态修改为解锁状态，否则继续保持解锁状态。

更进一步地，所述行为识别模块包括数据预处理单元、识别单元和匹配输出单元；所述数据预处理单元用于对所述图像传输模块传输的图像数据进行预处理，所述预处理包括采用双边滤波算法对图像进行非线性滤波，然后利用双线性插值算法对视频图像进行灰度矫正，得到更加清晰的图像信息，对视频图像进行二值化处理和边缘检测；

所述识别单元接收预处理后的图像数据通过行为识别模型对人体动作进行识别判断是否为设定的行为动作；

所述匹配输出单元用于根据识别结果输出与识别动作相匹配的行为编号、次数和名称信息，然后将输出的信息发送至所述行为分析管理模块。

更进一步地,所述通过行为识别模型对人体动作进行识别判断是否为设定的行为动作包括：采用帧间差法，在图像序列的相邻3帧间采用基于像素的时间差分通过闭值化来提取图像中的人体轮廓信息；然后对提取出的人体轮廓利用聚类算法进行颜色聚类，将各目标通过颜色进行区分；构建一个平面坐标系，并在所述平面坐标系中建立一个矩形，所述矩形为可将目标包围的面积最小矩形，以所述矩形的中心为原点建立x轴和y轴，分别获取目标像素点在x轴和y轴上的均值和方差，并用高斯密度函数来描述任意一个像素点处于某个目标对象的概率，得到行为识别模型；计算出监控区待识别目标信息匹配概率最大值，通过概率值比较从而确定是否为匹配图像，采集识别目标的n张姿态图像，直到每张图像中目标的所有像素点找到最佳的匹配图像，当匹配概率超过阈值时，默认找到对应的达到相似要求的姿态图像。

进一步地，所述行为分析管理模块包括智能显示单元、分析评估单元、存储管理单元；

所述智能显示单元包括数据存储模块、图像构建模块和显示平台所述图像构建模块用于对设定的行为动作进行3D模型构建和对识别出的各动作统计次数进行折线图绘制，所述3D模型构建包括通过3dsMax对设定的行为动作进行三维建模，并利用PS得到优化后的纹理图片，利用所述纹理图片对建好的模型进行表面贴图渲染得到贴图后的三维模型形成三维模型数据库，将所述三维模型数据库导入显示平台进行显示，所述数据存储模块用于存储模型数据和统计数据；

所述分析评估单元用于根据识别动作的统计结果和设定的提醒阈值进行程度等级预估，当设定动作的统计值大于所述提醒阈值时，输出对应的提醒信号提醒用户注意；当设定动作的统计值小于所述提醒阈值时，则动作程度为轻度，当设定动作的统计值等于所述提醒阈值时，则动作程度为适度，设定动作的统计值大于于所述提醒阈值时，则动作程度为频繁；

所述存储管理单元用于将图像数据和参数及阈值信息进行结构化存储管理。

从上述的技术方案可以看出，本发明的有益效果是：本发明检测精确度和速率较高、稳定性好，且可对人体行为发生过程进行程度评估。

除了上面所描述的目的、特征和优点之外，下文中将结合附图对实施本发明的最优实施例进行更详尽的描述，以便能容易地理解本发明的特征和优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下文将对本发明实施例或现有技术描述中所需要使用的附图作简单地介绍，其中，附图仅仅用于展示本发明的一些实施例，而非将本发明的全部实施例限制于此。

图1为本发明一种基于视觉技术的行为识别系统的组成结构示意图。

图2为本发明中行为分析管理模块的组成结构示意图。

图3为本发明中识别控制模块的组成结构示意图。

图4为本发明中图像采集设备的组成结构示意图。

图5为本发明中补偿模块的组成结构示意图。

图6为本实施例中目标行为识别过程的具体步骤示意图。

具体实施方式

为了使得本发明的技术方案的目的、技术方案和优点更加清楚，下文中将结合本发明具体实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。附图中相同的附图标记代表相同的部件。需要说明的是，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供了一种检测精确度和速率较高、稳定性好，且可对人体行为发生过程进行程度评估的基于视觉技术的行为识别系统。如图1至图6所示，该系统包括：图像数据获取模块、识别控制模块、行为识别模块和行为分析管理模块。

所述图像数据获取模块用于接收用户的图像采集控制指令，并根据所述图像采集控制指令控制图像采集设备进行图像采集。所述图像数据获取模块包括图像采集设备和控制模块，其中，所述图像采集设备包括摄像机、电动云台、防抖驱动模块、开关控制装置和补偿模块，所述防抖驱动模块用于驱动所述电动云台转动，进而带动所述摄像机进行多角度图像信息采集，所述防抖驱动模块包括电机驱动器、两个步进电机以及防震的弹簧底座，所述两个步进电机和所述电机驱动器电连接，所述电动云台用于接收来自所述控制模块的信号进行精确地运行定位，所述开关控制装置包括电源供电模块、电源开关控制电路，所述电源供电模块通过所述电源开关控制电路与所述控制模块相连接，所述补偿模块用于对摄像机进行光线补偿和温度补偿；所述控制模块用于接收用户的图像采集控制指令，并根据所述图像采集控制指令控制图像采集时长和对图像采集参数进行更新，并进行图像数据传输控制。除此之外，所述图像数据获取模块还包括计时模块、参数更新模块和图像传输模块，所述计时模块用于对行为识别过程的时长进行计时，所述参数更新模块用于对摄像机的参数和设备编号进行定期更新，所述图像传输模块与所述摄像机电连接用于对采集图像进行缓存和传输，所述计时模块、所述参数更新模块和所述图像传输模块均与所述控制模块电连接。在本实施例中，用户可根据自身需要的识别场景设置自动识别时间和相关摄像机参数。

因为采集图像的环境多变，为了保证采集到的图像清晰且畸变度小，所以对采集设备的图像采集过程进行了光线补偿和温度补偿调整，具体地，所述补偿模块包括光线传感器、补光灯组、恒流驱动电路、温度传感器、加热膜片，所述光线传感器、所述恒流驱动电路和所述温度传感器均与所述控制模块相连接，所述控制模块将所述光线传感器检测到环境光线值与预设值进行比较，当小于所述预设值时，所述控制模块通过所述恒流驱动电路驱动补光灯组进行光线补偿；所述控制模块将所述温度传感器检测到环境温度值与预设值进行比较，当小于所述预设值时，所述控制模块驱动加热膜片进行加热，去除镜头雾气。

所述识别控制模块用于用户输入控制信息，并根据所述输入控制信息对识别过程进行控制，所述识别控制模块与所述行为识别模块相连接。所述识别控制模块包括指令输入模块和过程控制模块；所述指令输入模块包括指令输入智能面板、启停按钮和权限验证装置，用户通过所述指令输入智能面板和所述启停按钮输入识别过程开始、暂停指令及图像采集控制指令，并通过过程控制模块传输给所述图像数据获取模块和所述行为识别模块，所述权限验证装置包括指纹输入器和指纹验证器，用户通过所述指纹输入器输入验证指纹，所述指纹验证器将所述验证指纹与用户信息库中存储的合法验证指纹进行特征比较，若比较结果一致，则可将所述指令输入智能面板和所述启停按钮的状态从锁定状态修改为解锁状态，否则继续保持解锁状态。用户在输入控制信息之前，需要先进行权限验证，保证行为识别过程的数据安全性。

所述行为识别模块用于通过行为识别模型通过行为识别模型对人体动作进行识别判断是否为设定的行为动作，并输出与识别动作相匹配的行为编号、次数和名称信息，然后将输出的信息发送至所述行为分析管理模块。在本实施例中，主要对特定的行为进行识别，例如，舞蹈训练动作识别、行人的跑跳动作识别等等。

所述行为识别模块包括数据预处理单元、识别单元和匹配输出单元；所述数据预处理单元用于对所述图像传输模块传输的图像数据进行预处理，所述预处理包括采用双边滤波算法对图像进行非线性滤波，然后利用双线性插值算法对视频图像进行灰度矫正，得到更加清晰的图像信息，对视频图像进行二值化处理和边缘检测；所述识别单元接收预处理后的图像数据通过行为识别模型对人体动作进行识别判断是否为设定的行为动作；所述匹配输出单元用于根据识别结果输出与识别动作相匹配的行为编号、次数和名称信息，然后将输出的信息发送至所述行为分析管理模块。

如图6所示，所述通过行为识别模型对人体动作进行识别判断是否为设定的行为动作包括：a.采用帧间差法，在图像序列的相邻3帧间采用基于像素的时间差分通过闭值化来提取图像中的人体轮廓信息；然后对提取出的人体轮廓利用聚类算法进行颜色聚类，将各目标通过颜色进行区分；b.构建一个平面坐标系，并在所述平面坐标系中建立一个矩形，所述矩形为可将目标包围的面积最小矩形，以所述矩形的中心为原点建立x轴和y轴，分别获取目标像素点在x轴和y轴上的均值和方差，并用高斯密度函数来描述任意一个像素点处于某个目标对象的概率，得到行为识别模型；c.计算出监控区待识别目标信息匹配概率最大值，通过概率值比较从而确定是否为匹配图像，采集识别目标的n张姿态图像，直到每张图像中目标的所有像素点找到最佳的匹配图像，当匹配概率超过阈值时，默认找到对应的达到相似要求的姿态图像。

所述行为分析管理模块用于对采集的图像信息进行存储管理、对行为识别信息进行统计分析，并对分析结果进行可视化显示。所述行为分析管理模块包括智能显示单元、分析评估单元、存储管理单元；所述智能显示单元包括数据存储模块、图像构建模块和显示平台所述图像构建模块用于对设定的行为动作进行3D模型构建和对识别出的各动作统计次数进行折线图绘制，所述3D模型构建包括通过3dsMax对设定的行为动作进行三维建模，并利用PS得到优化后的纹理图片，利用所述纹理图片对建好的模型进行表面贴图渲染得到贴图后的三维模型形成三维模型数据库，将所述三维模型数据库导入显示平台进行显示，所述数据存储模块用于存储模型数据和统计数据；所述分析评估单元用于根据识别动作的统计结果和设定的提醒阈值进行程度等级预估，当设定动作的统计值大于所述提醒阈值时，输出对应的提醒信号提醒用户注意；当设定动作的统计值小于所述提醒阈值时，则动作程度为轻度，当设定动作的统计值等于所述提醒阈值时，则动作程度为适度，设定动作的统计值大于于所述提醒阈值时，则动作程度为频繁；所述存储管理单元用于将图像数据和参数及阈值信息进行结构化存储管理。

在本实施例中，当识别到目标对象做出对应的特定动作时，显示屏台会显示出所述三维模型数据库中对应特定动作的三维模型，使得管理人员更直观的了解和监控当前目标动作行为。

应当说明的是，本发明所述的实施方式仅仅是实现本发明的优选方式，对属于本发明整体构思，而仅仅是显而易见的改动，均应属于本发明的保护范围之内。

Claims (8)

1.一种基于视觉技术的行为识别系统，其特征在于，包括：图像数据获取模块、识别控制模块、行为识别模块和行为分析管理模块；

所述图像数据获取模块用于接收用户的图像采集控制指令，并根据所述图像采集控制指令控制图像采集设备进行图像采集；

所述识别控制模块用于用户输入控制信息，并根据所述输入控制信息对识别过程进行控制，所述识别控制模块与所述行为识别模块相连接；

所述行为识别模块用于通过行为识别模型通过行为识别模型对人体动作进行识别判断是否为设定的行为动作，并输出与识别动作相匹配的行为编号、次数和名称信息，然后将输出的信息发送至所述行为分析管理模块；

所述行为分析管理模块用于对采集的图像信息进行存储管理、对行为识别信息进行统计分析，并对分析结果进行可视化显示。

2.如权利要求1所述的基于视觉技术的行为识别系统，其特征在于，所述图像数据获取模块包括图像采集设备和控制模块；

所述图像采集设备包括摄像机、电动云台、防抖驱动模块、开关控制装置和补偿模块，所述防抖驱动模块用于驱动所述电动云台转动，进而带动所述摄像机进行多角度图像信息采集，所述防抖驱动模块包括电机驱动器、两个步进电机，所述两个步进电机和所述电机驱动器电连接，所述电动云台用于接收来自所述控制模块的信号进行精确地运行定位，所述开关控制装置包括电源供电模块、电源开关控制电路，所述电源供电模块通过所述电源开关控制电路与所述控制模块相连接，所述补偿模块用于对摄像机进行光线补偿和温度补偿；

所述控制模块用于接收用户的图像采集控制指令，并根据所述图像采集控制指令控制图像采集时长和对图像采集参数进行更新，并进行图像数据传输控制。

3.如权利要求2所述的基于视觉技术的行为识别系统，其特征在于，所述图像数据获取模块还包括计时模块、参数更新模块和图像传输模块；所述计时模块用于对行为识别过程的时长进行计时，所述参数更新模块用于对摄像机的参数和设备编号进行定期更新，所述图像传输模块与所述摄像机电连接用于对采集图像进行缓存和传输，所述计时模块、所述参数更新模块和所述图像传输模块均与所述控制模块电连接。

4.如权利要求3所述的基于视觉技术的行为识别系统，其特征在于，所述补偿模块包括光线传感器、补光灯组、恒流驱动电路、温度传感器、加热膜片，所述光线传感器、所述恒流驱动电路和所述温度传感器均与所述控制模块相连接，所述控制模块将所述光线传感器检测到环境光线值与预设值进行比较，当小于所述预设值时，所述控制模块通过所述恒流驱动电路驱动补光灯组进行光线补偿；所述控制模块将所述温度传感器检测到环境温度值与预设值进行比较，当小于所述预设值时，所述控制模块驱动加热膜片进行加热，去除镜头雾气。

5.如权利要求1所述的基于视觉技术的行为识别系统，其特征在于，所述识别控制模块包括指令输入模块和过程控制模块；所述指令输入模块包括指令输入智能面板、启停按钮和权限验证装置，用户通过所述指令输入智能面板和所述启停按钮输入识别过程开始、暂停指令及图像采集控制指令，并通过过程控制模块传输给所述图像数据获取模块和所述行为识别模块，所述权限验证装置包括指纹输入器和指纹验证器，用户通过所述指纹输入器输入验证指纹，所述指纹验证器将所述验证指纹与用户信息库中存储的合法验证指纹进行特征比较，若比较结果一致，则可将所述指令输入智能面板和所述启停按钮的状态从锁定状态修改为解锁状态，否则继续保持解锁状态。

6.如权利要求3所述的基于视觉技术的行为识别系统，其特征在于，所述行为识别模块包括数据预处理单元、识别单元和匹配输出单元；所述数据预处理单元用于对所述图像传输模块传输的图像数据进行预处理，所述预处理包括采用双边滤波算法对图像进行非线性滤波，然后利用双线性插值算法对视频图像进行灰度矫正，得到更加清晰的图像信息，对视频图像进行二值化处理和边缘检测；

所述识别单元接收预处理后的图像数据通过行为识别模型对人体动作进行识别判断是否为设定的行为动作；

所述匹配输出单元用于根据识别结果输出与识别动作相匹配的行为编号、次数和名称信息，然后将输出的信息发送至所述行为分析管理模块。

7.如权利要求4所述的基于视觉技术的行为识别系统，其特征在于,所述通过行为识别模型对人体动作进行识别判断是否为设定的行为动作包括：采用帧间差法，在图像序列的相邻3帧间采用基于像素的时间差分通过闭值化来提取图像中的人体轮廓信息；然后对提取出的人体轮廓利用聚类算法进行颜色聚类，将各目标通过颜色进行区分；构建一个平面坐标系，并在所述平面坐标系中建立一个矩形，所述矩形为可将目标包围的面积最小矩形，以所述矩形的中心为原点建立x轴和y轴，分别获取目标像素点在x轴和y轴上的均值和方差，并用高斯密度函数来描述任意一个像素点处于某个目标对象的概率，得到行为识别模型；计算出监控区待识别目标信息匹配概率最大值，通过概率值比较从而确定是否为匹配图像，采集识别目标的n张姿态图像，直到每张图像中目标的所有像素点找到最佳的匹配图像，当匹配概率超过阈值时，默认找到对应的达到相似要求的姿态图像。

8.如权利要求1所述的基于视觉技术的行为识别系统，其特征在于，所述行为分析管理模块包括智能显示单元、分析评估单元、存储管理单元；

所述智能显示单元包括数据存储模块、图像构建模块和显示平台，所述图像构建模块用于对设定的行为动作进行3D模型构建和对识别出的各动作统计次数进行折线图绘制，所述3D模型构建包括通过3dsMax对设定的行为动作进行三维建模，并利用PS得到优化后的纹理图片，利用所述纹理图片对建好的模型进行表面贴图渲染得到贴图后的三维模型形成三维模型数据库，将所述三维模型数据库导入显示平台进行显示，所述数据存储模块用于存储模型数据和统计数据；

所述分析评估单元用于根据识别动作的统计结果和设定的提醒阈值进行程度等级预估，当设定动作的统计值大于所述提醒阈值时，输出对应的提醒信号提醒用户注意；当设定动作的统计值小于所述提醒阈值时，则动作程度为轻度，当设定动作的统计值等于所述提醒阈值时，则动作程度为适度，设定动作的统计值大于于所述提醒阈值时，则动作程度为频繁；

所述存储管理单元用于将图像数据和参数及阈值信息进行结构化存储管理。

Images