CN109670391B - 基于机器视觉的智慧照明装置及动态识别数据处理方法 - Google Patents

基于机器视觉的智慧照明装置及动态识别数据处理方法 Download PDF

Info

Publication number
CN109670391B
CN109670391B CN201810605213.5A CN201810605213A CN109670391B CN 109670391 B CN109670391 B CN 109670391B CN 201810605213 A CN201810605213 A CN 201810605213A CN 109670391 B CN109670391 B CN 109670391B
Authority
CN
China
Prior art keywords
sensor
image
target
human body
half part
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810605213.5A
Other languages
English (en)
Other versions
CN109670391A (zh
Inventor
张丽
张涛
周峰
王冬明
张云飞
庞慧青
柴柯雅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan University of Technology
Original Assignee
Henan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan University of Technology filed Critical Henan University of Technology
Priority to CN201810605213.5A priority Critical patent/CN109670391B/zh
Publication of CN109670391A publication Critical patent/CN109670391A/zh
Application granted granted Critical
Publication of CN109670391B publication Critical patent/CN109670391B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明涉及一种基于机器视觉的智慧照明装置，包括承载壳、导光板、监控摄像头、照明灯珠、PM2.5传感器、CO传感器、甲醛传感器、烟雾传感器、温湿度传感器、光照强度传感器、声音传感器、气压传感器、人体传感器、语音麦克风、震动传感器及控制电路，其动态识别数据处理方法包括图像预处理，行为姿态特征识别，目标跟踪定位运算及数据反馈等四个步骤。本发明一方面设备结构简单，功能多样，可在有效满足对室内环境进行照明作业的同时，另有效实现对室内环境参数进行精确检测，另一方面可有效提高对视频图像信息采集、处理作业的工作效率，从而极大的提高本发明使用的灵活性、便捷性和环境适应性。

Description

基于机器视觉的智慧照明装置及动态识别数据处理方法
技术领域
本发明涉基于机器视觉的智慧照明装置及动态识别数据处理方法，属监控技术领域。
背景技术
目前随着人们对室内采光要求、节能降耗要求及安全防护要求的提高，因此要求当前在室内环境中均需要同时安装采光照明设备、室内环境检测设备及安防监控设备，并实现各设备同步运行，为了满足这一需要，当前一方面是采用的为照明设备增加光敏、声控及远红外传感器来达到对室内活动人员检测，并驱动照明设备运行，达到降低照明运行能耗目的，同时为室内增设基于温度传感器、湿度传感器、空气质量检测装置等为基础的室内环境检测设备，依次实现对室内环境检测的目的，最后通过基于摄像头等设备实现对室内人员活动进行监控作业的目的，虽然可以一定程度满足使用的需要，但用于照明、环境检测及人员监控的设备均是相互独立运行的设备，从而一方面导致各设备安装施工作业工作量大，却需要占用较多的室内空间，在增加设备成本、设备维护成本和劳动强度，另一方面也导致对室内环境整体美观性造成严重的破坏，同时也导致各类管线设备施工布局量大，各类管线布局复杂，并易造成相互干扰，严重影响设备运行的适用性和可靠性，同时各设备间的数据通讯能力相对较差，无法有效实多个设备间组网运行和远程操控运行的需要，严重影响了设备运行及室内监控作业的灵活性和可靠性，除此之外，当前所使用的监控设备往往均采用的传统视频采集、视频后期处理及输出技术，虽然一定程度可以满足使用的需要，但在运行过程中，一方面存在对人员活动追踪监控检测作业的灵活性、连续性和精确性造成严重的影响，且不能有效的实现对目标人员进行精确的识别定位，从而导致当前监控作业存在大量的死角或漏洞，另一方面也导致在对视频图形数据进行后期处理过程中，数据处理作业效率低下，数据处理精度低，且不具备对图像中各目标物进行有效的数据运行识别能力，从而进一步加剧了当前所使用的监控设备监控识别作业能力低下和运行可靠性差的现状，因此针对这一现状，迫切需要开发一种全新的室内用集照明与监控与一体的全新设备和及基于该设备的监控识别运行方法，以满足实际运行及作业的需要。
发明内容
为了解决现有分类技术上的一些不足，本发明提供基于机器视觉的智慧照明装置及动态识别数据处理方法。
为了实现上面提到的效果，提出了基于机器视觉的智慧照明装置及动态识别数据处理方法，其包括以下步骤：
基于机器视觉的智慧照明装置，包括承载壳、导光板、监控摄像头、照明灯珠、PM2.5传感器、CO传感器、甲醛传感器、烟雾传感器、温湿度传感器、光照强度传感器、声音传感器、气压传感器、人体传感器、语音麦克风、震动传感器及控制电路，承载壳为横断面呈“冂”字型槽状结构，其上端面设至少两个定位机构，下端面与导光板相互连接并构成密闭腔体结构，监控摄像头通过导向滑轨安装在导光板外表面，导向滑轨嵌于导光板外表面，且导向滑轨轴线与承载壳轴线平行分布并与承载壳轴线分布在同一与承载壳底部垂直分布的平面内，照明灯珠若干，嵌于承载壳内并沿承载壳轴线均布，各照明灯珠以承载壳轴线对称分布在承载壳轴线两侧，PM2.5传感器、CO传感器、甲醛传感器、烟雾传感器、温湿度传感器、光照强度传感器、声音传感器、气压传感器、人体传感器、语音麦克风、震动传感器均至少一个，并环绕承载壳轴线分别嵌于承载壳侧表面上，控制电路嵌于承载壳内，并分别与监控摄像头、照明灯珠、PM2.5传感器、CO传感器、甲醛传感器、烟雾传感器、温湿度传感器、光照强度传感器、声音传感器、气压传感器、人体传感器、语音麦克风、震动传感器电气连接。
进一步的，所述的监控摄像头、照明灯珠光轴与导光板表呈30°-90°夹角。
进一步的，所述的照明灯珠呈矩形阵列分布。
进一步的，所述的承载壳侧表面均布若干散热孔。
进一步的，所述的控制电路为基于DSP、FPGA芯片任意一种为基础的数据处理电路，且控制电路另设串口通讯装置、无线通讯装置及MOS驱动电路模块。
进一步的，所述的温湿度传感器为DHT11温湿度传感器模块。
基于机器视觉的智慧照明装置的动态识别数据处理方法，包括以下步骤：
第一步，图像预处理，首先驱动监控摄像头和人体传感器同时运行，一方面由人体传感器对途径的热源物体进行检测，另一方面由驱动监控摄像头进行实时视频信息采集，由人体传感器检测信息控制照明照明灯珠运行，由监控摄像头进行实时全程追踪拍摄，获得基础视频图像，然后将基础视频图像进行滤波、图像差分、二值化处理，并在二值化后，对物基础视频图像进行连通域分析，在连通域上按照“四邻域连通”对基础视频图像中的人体进行分离并标记；
第二步，行为姿态特征识别，完成第一步作业后，首先构建行为姿态识别运算函数，然后将预处理后的目标物基础视频图像数据根据行为姿态识别算法函数进行数据计算，实现对目标物身份识别，并获得图像内各目标物身份识别参数；
第三步，目标跟踪定位运算，完成第二步作业后，基于卡尔曼滤波与几何测距相结合的方法对第二步识别后的图像目标进行跟踪定位数据计算，获得目标物跟做定位运行状态识别及控制参数；
第四步，数据反馈，首先将第二步获取的图像内各目标物身份识别参数和第三步生成的目标物跟做定位运行状态识别及控制参数反馈到控制电路，一方面通过控制电路对数据进行输出，另一方面根据第三步生成的目标物跟做定位运行状态识别及控制参数作为监控摄像头运行控制参数，驱动摄像头根据目标物运行状态进行持续监控，并将摄像头获取的视频信息返回到第一步中即可。
进一步的，所述的人体传感器检测半径为监控摄像头焦距的0.5-1.5倍。
进一步的，所述的第二步中，进行行为姿态特征识别时，首先设定人正面行走时上半部分的身体区域面积与图像连通域标记矩形区域面积之比为41.3％～42.8％，下半部分与图像连通域标记矩形区域面积之比为29.7％～32.5％，上半部分与下半部分之比为127％～144％，并将数据带入到行为姿态识别运算函数中参与运算，所述的姿态识别运算函数包括体型特征计算函数、基于高斯混合模型的前后帧像素概率匹配运算函数、行为姿态特征函数和综合判定函数，其中：
体型特征计算函数为：
Figure GDA0001975653280000041
其中：
H：体型特征值；
A：目标物上半部分面积SA；
B：目标物下半部分面积SB；
M：图像连通域标记矩形区域面积；
其中目标物上半部分面积A和目标物下半部分面积B计算函数为：
其中，目标物上半部分面积SA和目标物下半部分面积SB的计算函数为：
Figure GDA0001975653280000042
Figure GDA0001975653280000043
其中：
Figure GDA0001975653280000044
为目标物上半部分在图像连通域标记矩形区域内占像素点个数；
Figure GDA0001975653280000045
为目标物下半部分在图像连通域标记矩形区域内占像素点个数；
o为正方形像素格面积；
基于高斯混合模型的前后帧像素概率匹配运算函数为：
Figure GDA0001975653280000051
Figure GDA0001975653280000052
其中：
x*，y*：为图像连通域标记矩形区域内正方形像素格坐标；
Figure GDA0001975653280000053
为图像连通域标记矩形区域内正方形像素格在x轴和y轴方向上的均值；
Figure GDA0001975653280000054
为图像连通域标记矩形区域内正方形像素格在x轴和y轴方向上的方差；
d：维度；
A：密度函数的共变异矩阵，并表示为：
Figure GDA0001975653280000055
行为姿态特征函数特征值为：
Figure GDA0001975653280000056
其中：
D：行为姿态特征值；
Figure GDA0001975653280000057
目标物的上半部分像素点的总和；
Figure GDA0001975653280000061
目标物的下半部分像素点的总和；
M1，M2：设施阈值，设定为0.6，0.8；
Figure GDA0001975653280000062
目标物上半部分像素点的平均匹配概率；
Figure GDA0001975653280000063
目标身体下半部分像素点的平均匹配概率；
综合判定函数为：
K＝χ+D；
其中：
K：目标特征判定值，当K＝2时，当前目标即为人体目标，K＝0或1时即不是人体目标；
χ：体型特征值；
D：行为姿态特征值；
进一步的，所述的第三步中，基于卡尔曼滤波与几何测距相结合的方法对第二步识别后的图像目标进行跟踪定位数据计算具体步骤为：
1)定义参量，设
Figure GDA0001975653280000064
为识别出的人体图像的质心坐标，(dx，dy)为质心速度坐标(即对
Figure GDA0001975653280000065
分别进行求导获得)，
Figure GDA0001975653280000066
为当前时刻识别出的人体图像的质心坐标，
Figure GDA0001975653280000067
为下一时刻人体图像的质心坐标，(Xp，Yp，Zp)为人在实际空间区域中的位置坐标；
2)计算质心坐标，设对目标图像的像素进行依次扫描时，4*4像素格坐标表示为：
(x*i，y*j)(i＝0，1...n-1；j＝0，1，...，m-1)
那么，质心坐标
Figure GDA0001975653280000068
计算如下：
Figure GDA0001975653280000069
Figure GDA0001975653280000071
其中，n是在X轴方向扫描时所采集到的4*4像素格的个数；
m是在Y轴方向扫描时所采集到的4*4像素格的个数；
3)计算运动目标的特征信息，本产品选取所识别人体目标的质心坐标和质心速度作为卡尔曼滤波的状态向量D(k)，选取所识别人体目标的质心坐标作为观测向量G(k)，即：
Figure GDA0001975653280000072
其中：
Figure GDA0001975653280000073
和dx分别是目标图像在水平方向的位置和运动速度；
Figure GDA0001975653280000074
和dy分别是目标图像在垂直方向的位置和运动速度；其中在跟踪初始期，目标的质心和速度是未知的，因此将这些特征向量初始化为0；
4)预测下一时刻目标图像的范围，用Kalman滤波器预测下一时刻下一帧中目标图像的范围，预测方程分为状态方程和观测方程两部分，描述为：
状态方程：
Figure GDA0001975653280000075
观测方程：
Figure GDA0001975653280000076
其中：
ω为系统噪声向量
v为观测噪声向量
Figure GDA0001975653280000077
Figure GDA0001975653280000078
Figure GDA0001975653280000079
Figure GDA00019756532800000710
Δt为采样时间间隔，设为40ms；
噪声向量ω和观测向量v根据他们各自的协方差矩阵Q和R计算，设
Figure GDA0001975653280000081
Figure GDA0001975653280000082
则，概率P(v)满足N＝(0，R)的正态分布，概率P(ω)满足N＝(0，Q)的正态分布；
5)人体目标识别及更新；在预测范围内对当前时刻图像帧与前一时刻图像帧进行预测跟综匹配，如果匹配成功，则更新Kalman滤波器，并记录下当前时刻图像帧中的目标信息；如果不识别匹配，表明目标已经离开监控范围；
当测算出图像中的坐标位置后对目标位置进行测距：
计算时需要进行基于摄像头光轴与水平面的几何测距运算，并首先设定图像中的成像点位置坐标为
Figure GDA0001975653280000083
人体在实际空间区域中的位置坐标(Xp，Yp，Zp)，然后将各坐标值带入计算公式计算，
具体计算公式为：
Figure GDA0001975653280000091
式中：
Figure GDA0001975653280000092
LH为原始图像的长(非前文的人体识别图像的长H，宽W)
LW为原始图像的宽
h为本产品中摄像头的安装高度
2α为摄像头镜头的水平视野角
2β为摄像头的垂直视野角
θ为摄像机的俯角。
注：在实际中，本产品检测的目标为人体目标，则人体目标的空间坐标(Xp，Yp，Zp)中的Zp值，由于成年人和儿童的身高不同，根据经验一般取0.5m-1m之间。
则：
最终检测的人体目标到摄像头的距离为：
Figure GDA0001975653280000093
则最终可以用(Xp，Yp，Zp，S)实现对目标的定位与测距。
本发明一方面设备结构简单，功能多样，可在有效满足对室内环境进行照明作业的同时，另有效实现对室内环境参数进行精确检测，对室内人员进行身份进行识别和连续监控作业，并有效实现根据人员活动范围和室内环境阐述自动控制照明设备运行状态及照明亮度，达到在满足照明作业要求的同时，达到降低照明设备运行能耗的目的，另一方面在对室内人员活动状况进行识别和监控作业时，可有效提高对视频图像信息采集、处理作业的工作效率，同时可有效的实现对人员身份、活动轨迹进行精确的识别判断，从而极大的提高对室内人员活动状况监控作业的精确性和连续性，除此之外，还可具有良好的数据通讯能力，可有效的实现通过数据通讯服务平台实现多台设备组网运行和远程操控作业的目的，从而极大的提高本发明使用的灵活性、便捷性和环境适应性。下面结合附图和具体实施方式来详细说明本发明；
图1为本发明主视结构示意图；
图2为监控摄像头、照明灯珠分布结构示意图；
图3为本发明侧视结构示意图；
图4为本发明动态识别数据处理方法流程图；
图5为用卡尔曼滤波对图像目标进行跟踪定位方法流程示意图；
图6为图像连通域标记矩形区域像素格分布示意图；
图7为摄像头投影映射关系示意图。
具体实施方式
为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。
如图1-3所述的基于机器视觉的智慧照明装置，包括承载壳1、导光板2、监控摄像头3、照明灯珠4、PM2.5传感器5、CO传感器6、甲醛传感器7、烟雾传感器8、温湿度传感器9、光照强度传感器10、声音传感器11、气压传感器12、人体传感器13、语音麦克风14、震动传感器15及控制电路16，承载壳1为横断面呈“冂”字型槽状结构，其上端面设至少两个定位机构17，下端面与导光板2相互连接并构成密闭腔体结构，监控摄像头3通过导向滑轨18安装在导光板2外表面，导向滑轨18嵌于导光板2外表面，且导向滑轨18轴线与承载壳1轴线平行分布并与承载壳1轴线分布在同一与承载壳1底部垂直分布的平面内，照明灯珠4若干，嵌于承载壳1内并沿承载壳1轴线均布，各照明灯珠4以承载壳1轴线对称分布在承载壳1轴线两侧，PM2.5传感器5、CO传感器6、甲醛传感器7、烟雾传感器8、温湿度传感器9、光照强度传感器10、声音传感器11、气压传感器12、人体传感器13、语音麦克风14、震动传感器15均至少一个，并环绕承载壳1轴线分别嵌于承载壳1侧表面上，控制电路16嵌于承载壳1内，并分别与监控摄像头3、照明灯珠4、PM2.5传感器5、CO传感器6、甲醛传感器7、烟雾传感器8、温湿度传感器9、光照强度传感器10、声音传感器11、气压传感器12、人体传感器13、语音麦克风14、震动传感器15电气连接。
本实施例中，所述的监控摄像头3、照明灯珠4光轴与导光板表呈30°-90°夹角。
本实施例中，所述的照明灯珠4呈矩形阵列分布。
本实施例中，所述的承载壳1侧表面均布若干散热孔19。
本实施例中，所述的控制电路16为基于DSP、FPGA芯片任意一种为基础的数据处理电路，且控制电路另设串口通讯装置、无线通讯装置及MOS驱动电路模块。
本实施例中，所述的温湿度传感器为DHT11温湿度传感器模块。
如图4-7所示，基于机器视觉的智慧照明装置的动态识别数据处理方法，包括以下步骤：
第一步，图像预处理，首先驱动监控摄像头和人体传感器同时运行，一方面由人体传感器对途径的热源物体进行检测，另一方面由驱动监控摄像头进行实时视频信息采集，由人体传感器检测信息控制照明照明灯珠运行，由监控摄像头进行实时全程追踪拍摄，获得基础视频图像，然后将基础视频图像进行滤波、图像差分、二值化处理，并在二值化后，对物基础视频图像进行连通域分析，在连通域上按照“四邻域连通”对基础视频图像中的人体进行分离并标记；
第二步，行为姿态特征识别，完成第一步作业后，首先构建行为姿态识别运算函数，然后将预处理后的目标物基础视频图像数据根据行为姿态识别算法函数进行数据计算，实现对目标物身份识别，并获得图像内各目标物身份识别参数；
第三步，目标跟踪定位运算，完成第二步作业后，基于卡尔曼滤波与几何测距相结合的方法对第二步识别后的图像目标进行跟踪定位数据计算，获得目标物跟做定位运行状态识别及控制参数；
第四步，数据反馈，首先将第二步获取的图像内各目标物身份识别参数和第三步生成的目标物跟做定位运行状态识别及控制参数反馈到控制电路，一方面通过控制电路对数据进行输出，另一方面根据第三步生成的目标物跟做定位运行状态识别及控制参数作为监控摄像头运行控制参数，驱动摄像头根据目标物运行状态进行持续监控，并将摄像头获取的视频信息返回到第一步中即可。
进一步的，所述的人体传感器检测半径为监控摄像头焦距的0.5-1.5倍。
进一步的，所述的第二步中，进行行为姿态特征识别时，首先设定人正面行走时上半部分的身体区域面积与图像连通域标记矩形区域面积之比为41.3％～42.8％，下半部分与图像连通域标记矩形区域面积之比为29.7％～32.5％，上半部分与下半部分之比为127％～144％，并将数据带入到行为姿态识别运算函数中参与运算，所述的姿态识别运算函数包括体型特征计算函数、基于高斯混合模型的前后帧像素概率匹配运算函数、行为姿态特征函数和综合判定函数，其中：
体型特征计算函数为：
Figure GDA0001975653280000131
其中：
H：体型特征值；
A：目标物上半部分面积SA；
B：目标物下半部分面积SB；
M：图像连通域标记矩形区域面积；
其中目标物上半部分面积A和目标物下半部分面积B计算函数为：
其中，目标物上半部分面积SA和目标物下半部分面积SB的计算函数为：
Figure GDA0001975653280000132
Figure GDA0001975653280000133
其中：
Figure GDA0001975653280000134
为目标物上半部分在图像连通域标记矩形区域内占像素点个数；
Figure GDA0001975653280000135
为目标物下半部分在图像连通域标记矩形区域内占像素点个数；
o为正方形像素格面积；
基于高斯混合模型的前后帧像素概率匹配运算函数为：
Figure GDA0001975653280000136
Figure GDA0001975653280000141
其中：
x*，y*：为图像连通域标记矩形区域内正方形像素格坐标；
Figure GDA0001975653280000142
为图像连通域标记矩形区域内正方形像素格在x轴和y轴方向上的均值；
Figure GDA0001975653280000143
为图像连通域标记矩形区域内正方形像素格在x轴和y轴方同上的方差；
d：维度；
A：密度函数的共变异矩阵，并表示为：
Figure GDA0001975653280000144
行为姿态特征函数特征值为：
Figure GDA0001975653280000145
其中：
D：行为姿态特征值；
Figure GDA0001975653280000146
目标物的上半部分像素点的总和；
Figure GDA0001975653280000147
目标物的下半部分像素点的总和；
M1，M2：设施阈值，设定为0.6，0.8；
Figure GDA0001975653280000148
目标物上半部分像素点的平均匹配概率；
Figure GDA0001975653280000149
目标身体下半部分像素点的平均匹配概率；
综合判定函数为：
K＝χ+D；
其中：
K：目标特征判定值，当K＝2时，当前目标即为人体目标，K＝0或1时即不是人体目标；
χ：体型特征值；
D：行为姿态特征值；
进一步的，所述的第三步中，基于卡尔曼滤波与几何测距相结合的方法对第二步识别后的图像目标进行跟踪定位数据计算具体步骤为：
1)定义参量，设
Figure GDA0001975653280000151
为识别出的人体图像的质心坐标，(dx，dy)为质心速度坐标(即对
Figure GDA0001975653280000152
分别进行求导获得)，
Figure GDA0001975653280000153
为当前时刻识别出的人体图像的质心坐标，
Figure GDA0001975653280000154
为下一时刻人体图像的质心坐标，(Xp，Yp，Zp)为人在实际空间区域中的位置坐标；
2)计算质心坐标，设对目标图像的像素进行依次扫描时，4*4像素格坐标表示为：
(x*i，y*j)(i＝0，1...n-1；j＝0，1，...，m-1)
那么，质心坐标
Figure GDA0001975653280000155
计算如下：
Figure GDA0001975653280000156
Figure GDA0001975653280000157
其中，n是在X轴方向扫描时所采集到的4*4像素格的个数；
m是在Y轴方向扫描时所采集到的4*4像素格的个数；
3)计算运动目标的特征信息，本产品选取所识别人体目标的质心坐标和质心速度作为卡尔曼滤波的状态向量D(k)，选取所识别人体目标的质心坐标作为观测向量G(k)，即：
Figure GDA0001975653280000161
其中：
Figure GDA0001975653280000162
和dx分别是目标图像在水平方向的位置和运动速度；
Figure GDA0001975653280000163
和dy分别是目标图像在垂直方向的位置和运动速度；其中在跟踪初始期，目标的质心和速度是未知的，因此将这些特征向量初始化为0；
4)预测下一时刻目标图像的范围，用Kalman滤波器预测下一时刻下一帧中目标图像的范围，预测方程分为状态方程和观测方程两部分，描述为：
状态方程：
Figure GDA0001975653280000164
观测方程：
Figure GDA0001975653280000165
其中：
ω为系统噪声向量
v为观测噪声向量
Figure GDA0001975653280000166
Figure GDA0001975653280000167
Figure GDA0001975653280000168
Figure GDA0001975653280000169
Δt为采样时间间隔，设为40ms；
噪声向量ω和观测向量v根据他们各自的协方差矩阵Q和R计算，设
Figure GDA00019756532800001610
Figure GDA0001975653280000171
则，概率P(v)满足N＝(0，R)的正态分布，概率P(ω)满足N＝(0，Q)的正态分布；
5)人体目标识别及更新；在预测范围内对当前时刻图像帧与前一时刻图像帧进行预测跟综匹配，如果匹配成功，则更新Kalman滤波器，并记录下当前时刻图像帧中的目标信息；如果不识别匹配，表明目标已经离开监控范围；
当测算出图像中的坐标位置后对目标位置进行测距：
计算时需要进行基于摄像头光轴与水平面的几何测距运算，并首先设定图像中的成像点位置坐标为
Figure GDA0001975653280000172
人体在实际空间区域中的位置坐标(Xp，Yp，Zp)，然后将各坐标值带入计算公式计算，
具体计算公式为：
Figure GDA0001975653280000173
式中：
Figure GDA0001975653280000174
LH为原始图像的长(非前文的人体识别图像的长H，宽W)
Lw为原始图像的宽
h为本产品中摄像头的安装高度
2α为摄像头镜头的水平视野角
2β为摄像头的垂直视野角
θ为摄像机的俯角。
注：在实际中，本产品检测的目标为人体目标，则人体目标的空间坐标(Xp，Yp，Zp)中的Zp值，由于成年人和儿童的身高不同，根据经验一般取0.5m-1m之间。
则：
最终检测的人体目标到摄像头的距离为：
Figure GDA0001975653280000181
则最终可以用(Xp，Yp，Zp，S)实现对目标的定位与测距。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (8)

1.基于机器视觉的智慧照明装置的动态识别数据处理方法，其特征在于：所述的基于机器视觉的智慧照明装置包括承载壳、导光板、监控摄像头、照明灯珠、PM2.5传感器、CO传感器、甲醛传感器、烟雾传感器、温湿度传感器、光照强度传感器、声音传感器、气压传感器、人体传感器、语音麦克风、震动传感器及控制电路，所述的承载壳为横断面呈“冂”字型槽状结构，其上端面设至少两个定位机构，下端面与导光板相互连接并构成密闭腔体结构，所述的监控摄像头通过导向滑轨安装在遮光罩外表面，所述的导向滑轨嵌于导光板外表面，且导向滑轨轴线与承载壳轴线平行分布并与承载壳轴线分布在同一与承载壳底部垂直分布的平面内，所述的照明灯珠若干，嵌于承载壳内并沿承载壳轴线均布，各照明灯珠以承载壳轴线对称分布在承载壳轴线两侧，所述的PM2.5传感器、CO传感器、甲醛传感器、烟雾传感器、温湿度传感器、光照强度传感器、声音传感器、气压传感器、人体传感器、语音麦克风、震动传感器均至少一个，并环绕承载壳轴线分别嵌于承载壳侧表面上，所述的控制电路嵌于承载壳内，并分别与监控摄像头、照明灯珠、PM2.5传感器、CO传感器、甲醛传感器、烟雾传感器、温湿度传感器、光照强度传感器、声音传感器、气压传感器、人体传感器、语音麦克风、震动传感器电气连接；
所述的基于机器视觉的智慧照明装置的动态识别数据处理方法包括以下步骤：
第一步，图像预处理，首先驱动监控摄像头和人体传感器同时运行，一方面由人体传感器对途径的热源物体进行检测，另一方面由驱动监控摄像头进行实时视频信息采集，由人体传感器检测信息控制照明灯珠运行，由监控摄像头进行实时全程追踪拍摄，获得基础视频图像，然后将基础视频图像进行滤波、图像差分、二值化处理，并在二值化后，对物基础视频图像进行连通域分析，在连通域上按照“四邻域连通”对基础视频图像中的人体进行分离并标记；
第二步，行为姿态特征识别，完成第一步作业后，首先构建行为姿态识别运算函数，然后将预处理后的目标物基础视频图像数据根据行为姿态识别算法函数进行数据计算，实现对目标物身份识别，并获得图像内各目标物身份识别参数；
第三步，目标跟踪定位运算，完成第二步作业后，基于卡尔曼滤波与几何测距相结合的方法对第二步识别后的图像目标进行跟踪定位数据计算，获得目标物跟做定位运行状态识别及控制参数；
第四步，数据反馈，首先将第二步获取的图像内各目标物身份识别参数和第三步生成的目标物跟做定位运行状态识别及控制参数反馈到控制电路，一方面通过控制电路对数据进行输出，另一方面根据第三步生成的目标物跟做定位运行状态识别及控制参数作为监控摄像头运行控制参数，驱动摄像头根据目标物运行状态进行持续监控，并将摄像头获取的视频信息返回到第一步中即可；
所述的第三步中，基于卡尔曼滤波与几何测距相结合的方法对第二步识别后的图像目标进行跟踪定位数据计算具体步骤为：
1)定义参量，设
Figure FDA0003806422700000021
为识别出的人体图像的质心坐标，(dx,dy)为质心速度坐标，对
Figure FDA0003806422700000022
分别进行求导获得，
Figure FDA0003806422700000023
为当前时刻识别出的人体图像的质心坐标，
Figure FDA0003806422700000024
为下一时刻人体图像的质心坐标，(Xp,Yp,Zp)为人在实际空间区域中的位置坐标；
2)计算质心坐标，设对目标图像的像素进行依次扫描时，4*4像素格坐标表示为：
(x* i,y* j)(i＝0,1...n-1；j＝0,1,...,m-1)
那么，质心坐标
Figure FDA0003806422700000025
计算如下：
Figure FDA0003806422700000031
Figure FDA0003806422700000032
其中，n是在X轴方向扫描时所采集到的4*4像素格的个数；
m是在Y轴方向扫描时所采集到的4*4像素格的个数；
3)计算运动目标的特征信息，本产品选取所识别人体目标的质心坐标和质心速度作为卡尔曼滤波的状态向量D(k)，选取所识别人体目标的质心坐标作为观测向量G(k)，即：
Figure FDA0003806422700000033
其中:
Figure FDA0003806422700000034
和dx分别是目标图像在水平方向的位置和运动速度；
Figure FDA0003806422700000035
和dy分别是目标图像在垂直方向的位置和运动速度；其中在跟踪初始期，目标的质心和速度是未知的，因此将这些特征向量初始化为0；
4)预测下一时刻目标图像的范围，用Kalman滤波器预测下一时刻下一帧中目标图像的范围，预测方程分为状态方程和观测方程两部分，描述为：
状态方程：
Figure FDA0003806422700000036
观测方程：
Figure FDA0003806422700000037
其中：
ω为系统噪声向量
ν为观测噪声向量
Figure FDA0003806422700000038
Figure FDA0003806422700000039
Figure FDA00038064227000000310
Figure FDA0003806422700000041
Δt为采样时间间隔，设为40ms；
噪声向量ω和观测向量ν根据他们各自的协方差矩阵Q和R计算，设
Figure FDA0003806422700000042
Figure FDA0003806422700000043
则，概率P(ν)满足N＝(0,R)的正态分布，概率P(ω)满足N＝(0,Q)的正态分布；
5)人体目标识别及更新；在预测范围内对当前时刻图像帧与前一时刻图像帧进行预测跟综匹配，如果匹配成功，则更新Kalman滤波器，并记录下当前时刻图像帧中的目标信息；如果不识别匹配，表明目标已经离开监控范围；
当测算出图像中的坐标位置后对目标位置进行测距：
计算时需要进行基于摄像头光轴与水平面的几何测距运算，并首先设定图像中的成像点位置坐标为
Figure FDA0003806422700000044
人体在实际空间区域中的位置坐标(Xp,Yp,Zp)，然后将各坐标值带入计算公式计算，
具体计算公式为：
Figure FDA0003806422700000051
式中：
Figure FDA0003806422700000052
LH为原始图像的长，非前文的人体识别图像的长H,宽W；
Lw为原始图像的宽；
h为本产品中摄像头的安装高度；
2α为摄像头镜头的水平视野角；
2β为摄像头的垂直视野角；
θ为摄像机的俯角；
在实际中，本产品检测的目标为人体目标，则人体目标的空间坐标(Xp,Yp,Zp)中的Zp值，由于成年人和儿童的身高不同，根据经验取0.5m-1m之间；
则：
最终检测的人体目标到摄像头的距离为：
Figure FDA0003806422700000053
则最终可以用(Xp,Yp,Zp，S)实现对目标的定位与测距。
2.根据权利要求1所述的基于机器视觉的智慧照明装置的动态识别数据处理方法，其特征在于：所述的监控摄像头、照明灯珠光轴与导光板表呈30-90°夹角。
3.根据权利要求1所述的基于机器视觉的智慧照明装置的动态识别数据处理方法，其特征在于：所述的照明灯珠呈矩形阵列分布。
4.根据权利要求1所述的基于机器视觉的智慧照明装置的动态识别数据处理方法，其特征在于：所述的承载壳侧表面均布若干散热孔。
5.根据权利要求1所述的基于机器视觉的智慧照明装置的动态识别数据处理方法，其特征在于：所述的控制电路为基于DSP、FPGA芯片任意一种为基础的数据处理电路，且控制电路另设串口通讯装置、无线通讯装置及MOS驱动电路模块。
6.根据权利要求1所述的基于机器视觉的智慧照明装置的动态识别数据处理方法，其特征在于：所述的温湿度传感器为DHT11温湿度传感器模块。
7.根据权利要求1所述的基于机器视觉的智慧照明装置的动态识别数据处理方法，其特征在于：所述的人体传感器检测半径为监控摄像头焦距的0.5—1.5倍。
8.根据权利要求1所述的基于机器视觉的智慧照明装置的动态识别数据处理方法，其特征在于：所述的第二步中，进行行为姿态特征识别时，首先设定人正面行走时上半部分的身体区域面积与图像连通域标记矩形区域面积之比为41.3％～42.8％，下半部分与图像连通域标记矩形区域面积之比为29.7％～32.5％，上半部分与下半部分之比为127％～144％，并将数据带入到行为姿态识别运算函数中参与运算，所述的姿态识别运算函数包括体型特征计算函数、基于高斯混合模型的前后帧像素概率匹配运算函数、行为姿态特征函数和综合判定函数，其中：
体型特征计算函数为：
Figure FDA0003806422700000071
其中：
H：体型特征值；
A：目标物上半部分面积SA；
B:目标物下半部分面积SB；
M：图像连通域标记矩形区域面积；
其中目标物上半部分面积A和目标物下半部分面积B计算函数为：
其中，目标物上半部分面积SA和目标物下半部分面积SB的计算函数为：
Figure FDA0003806422700000072
Figure FDA0003806422700000073
其中：
Figure FDA0003806422700000074
为目标物上半部分在图像连通域标记矩形区域内占像素点个数；
Figure FDA0003806422700000075
为目标物下半部分在图像连通域标记矩形区域内占像素点个数；
o为正方形像素格面积；
基于高斯混合模型的前后帧像素概率匹配运算函数为：
Figure FDA0003806422700000076
Figure FDA0003806422700000077
其中：
x*,y*:为图像连通域标记矩形区域内正方形像素格坐标；
Figure FDA0003806422700000081
为图像连通域标记矩形区域内正方形像素格在x轴和y轴方向上的均值；
Figure FDA0003806422700000082
为图像连通域标记矩形区域内正方形像素格在x轴和y轴方向上的方差；
d：维度；
A:密度函数的共变异矩阵，并表示为：
Figure FDA0003806422700000083
行为姿态特征函数特征值为：
Figure FDA0003806422700000084
其中：
D：行为姿态特征值；
Figure FDA0003806422700000085
目标物的上半部分像素点的总和；
Figure FDA0003806422700000086
目标物的下半部分像素点的总和；
M1，M2：设施阈值，设定为0.6，0.8；
Figure FDA0003806422700000087
目标物上半部分像素点的平均匹配概率；
Figure FDA0003806422700000088
目标身体下半部分像素点的平均匹配概率；
综合判定函数为：
K＝χ+D；
其中：
K：目标特征判定值，当K＝2时，当前目标即为人体目标，K＝0或1时即不是人体目标；
χ：体型特征值；
D：行为姿态特征值。
CN201810605213.5A 2018-06-13 2018-06-13 基于机器视觉的智慧照明装置及动态识别数据处理方法 Active CN109670391B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810605213.5A CN109670391B (zh) 2018-06-13 2018-06-13 基于机器视觉的智慧照明装置及动态识别数据处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810605213.5A CN109670391B (zh) 2018-06-13 2018-06-13 基于机器视觉的智慧照明装置及动态识别数据处理方法

Publications (2)

Publication Number Publication Date
CN109670391A CN109670391A (zh) 2019-04-23
CN109670391B true CN109670391B (zh) 2022-09-23

Family

ID=66141878

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810605213.5A Active CN109670391B (zh) 2018-06-13 2018-06-13 基于机器视觉的智慧照明装置及动态识别数据处理方法

Country Status (1)

Country Link
CN (1) CN109670391B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112818644A (zh) * 2020-01-09 2021-05-18 赵国良 撰写修订格式实时转换系统
CN115802535B (zh) * 2023-01-30 2023-12-26 承德政通电子工程有限公司 基于物联网的环境自适应led照明方法
CN117177418B (zh) * 2023-10-31 2024-09-06 宝邑(深圳)照明科技有限公司 一种建筑室内智慧照明控制方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2351230A1 (en) * 1998-11-20 2000-06-02 James A. Aman Multiple object tracking system
CN106331602A (zh) * 2016-08-17 2017-01-11 西安交通大学 一种基于红外热成像技术的家居监控系统
CN106611157A (zh) * 2016-11-17 2017-05-03 中国石油大学(华东) 一种基于光流定位和滑动窗口检测的多人姿态识别方法
CN108074266A (zh) * 2016-11-09 2018-05-25 哈尔滨工大天才智能科技有限公司 一种机器人的机器视觉构造方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2351230A1 (en) * 1998-11-20 2000-06-02 James A. Aman Multiple object tracking system
CN106331602A (zh) * 2016-08-17 2017-01-11 西安交通大学 一种基于红外热成像技术的家居监控系统
CN108074266A (zh) * 2016-11-09 2018-05-25 哈尔滨工大天才智能科技有限公司 一种机器人的机器视觉构造方法
CN106611157A (zh) * 2016-11-17 2017-05-03 中国石油大学(华东) 一种基于光流定位和滑动窗口检测的多人姿态识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于DM642目标跟踪与目标统计的实现;李坤等;《华南师范大学学报(自然科学版)》;20130925(第05期);全文 *
基于人脸肤色和特征的实时检测跟踪算法;向桂山等;《光电工程》;20070415(第04期);全文 *

Also Published As

Publication number Publication date
CN109670391A (zh) 2019-04-23

Similar Documents

Publication Publication Date Title
CN109819208B (zh) 一种基于人工智能动态监控的密集人群安防监控管理方法
CN108111818B (zh) 基于多摄像机协同的运动目标主动感知方法和装置
US9646212B2 (en) Methods, devices and systems for detecting objects in a video
Boltes et al. Collecting pedestrian trajectories
CN109670391B (zh) 基于机器视觉的智慧照明装置及动态识别数据处理方法
CN101969548B (zh) 基于双目摄像的主动视频获取方法及装置
CN110142785A (zh) 一种基于目标检测的巡检机器人视觉伺服方法
WO2010030814A2 (en) Pixel-level based micro-feature extraction
CN109583366B (zh) 一种基于视频图像和WiFi定位的体育建筑疏散人群轨迹生成方法
CN109752855A (zh) 一种光斑发射装置和检测几何光斑的方法
WO2011054971A2 (en) Method and system for detecting the movement of objects
CN106570490A (zh) 一种基于快速聚类的行人实时跟踪方法
CN109830078A (zh) 适用于狭小空间的智能行为分析方法及智能行为分析设备
CN114299106A (zh) 一种基于视觉传感与轨迹预测的高空抛物预警系统及方法
CN112800918A (zh) 一种非法运动目标的身份识别方法及装置
CN114973310A (zh) 一种基于红外热成像的被动人体定位方法及系统
CN111466892A (zh) 一种基于热成像和人脸识别的远距离测温系统及方法
CN106295790B (zh) 一种通过摄像机进行目标数量统计的方法及装置
CN114387665A (zh) 一种基于便携布控球的登高无人扶梯识别系统
JP3629935B2 (ja) 移動体の速度計測方法およびその方法を用いた速度計測装置
KR100543706B1 (ko) 비젼기반 사람 검출방법 및 장치
Seer et al. Kinects and human kinetics: a new approach for studying crowd behavior
CN114993244A (zh) 一种变电作业区域目标测距装置及方法
CN112446355A (zh) 一种公共场所行人识别方法及人流统计系统
TW202145952A (zh) 多目標人體體溫追蹤方法及系統

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant