CN105608419A - 一种客流视频侦测分析系统 - Google Patents

Abstract

本发明公开了一种客流视频侦测分析系统，包括硬件设备、软件引擎和模板数据库，硬件设备包括计算机、视频输入设备、网络设备；软件引擎包括客流量分析引擎、客户商品关注度分析引擎、客户属性分析引擎；模板数据库包括人形基础模板、人运动姿态模板、人脸基础模板、性别年龄段人脸基础模板，视频输入设备包括摄像机和硬盘录像机，摄像机进行视频实时输入，实时分析；硬盘录像机进行视频回放输入；客流量分析引擎，视频侦测分析进出统计区域的客流量数据；客户商品关注度分析引擎，视频侦测分析客户在统计区域的驻留时间和移动轨迹，从而测算客户对商品关注度值；客户属性分析引擎，视频侦测分析客户的人种、性别及年龄段数据。

Description

一种客流视频侦测分析系统

技术领域

本发明涉及一种计算机辅助生物特征识别及分析系统，更具体说，是一种客流视频侦测分析系统。

背景技术

现代商业发展已经从传统的被动的百货业进入了需要精准分析客户数据的时代。同时近年由于大数据的迅速发展，也对客户行为与商品属性精准分析提供了可能。

客流分析是商场的运营所需基础数据中最重要的经营战略信息；正确把握客流量、客户对商品的专注度、客户属性等数据，可运用于商场的内部店面租金的依据、商场品牌的布置合理性、店面内商品的布置合理性、商品的布柜时间长短和撤柜依据、验证商品是否符合原设计的客户属群、验证促销活动的效果等方面，而现有的客流量统计是通过红外计数装置实现，误差率极高，无法精确统计；客户关注度是通过填表方式人工实现，工作量极大，客户配合度低，效率差；客户属性相关数据是通过人工方式实现，效率低下。

本系统就是在新的技术条件下，解决这一问题而设计开发。

发明内容

本发明是一种客流视频侦测分析系统，包括硬件设备、软件引擎和模板数据库，所述硬件设备包括计算机、视频输入设备、网络设备；所述软件引擎包括客流量分析引擎、客户商品关注度分析引擎、客户属性分析引擎；所述模板数据库包括人形基础模板、人运动姿态模板、人脸基础模板、性别年龄段人脸基础模板，

所述视频输入设备包括摄像机和硬盘录像机，摄像机进行视频实时输入，硬盘录像机进行视频回放输入；

所述客流量分析引擎视频侦测分析进出统计区域的客流量数据；

所述客户商品关注度分析引擎视频侦测分析客户在统计区域的驻留时间和移动轨迹，从而测算客户对商品关注度值；

所述客户属性分析引擎视频侦测分析客户的人种、性别及年龄段数据；

所述人形模板及人运动姿态模板：遴选各10个成年男女、10个未成年儿童，共为40个标准身材的不同年龄、不同高度、不同宽度的男女的身形，作为人形基础模板，模板并非是真的人形，而是一套人形的几何特征数据；同时，本系统将人的身体分为8个部分，针对身体的每一个部分，制作了人12种典型运动姿态，一共产生了96种人的典型运动姿态，于是结合人形和运动姿态，共产生标准的人形姿态模板3840个；

所述人脸基础模板：选取人脸中的二个眼睛与一个鼻子构成的三角区的几何特征数据，以及人脸的眼、鼻器官之间的相互比例关系特征数据，为人脸基础模板；

所述性别年龄段人脸基础模板：从15岁到55岁，每5岁为一个年龄段，共8个年龄段，每个年龄段每个人种各遴选100个男女，选取脸部特征建模，共产生性别年龄段人脸基础模板6400个。

所述客流量分析引擎，通过人形基础模板结合人运动姿态模板识别出人形，捕捉视频流中的人形图像，分帧，将视频流拆分成每帧图像，识别和分帧交替工作，将包含有人形图像信息的帧，每帧每帧的抽取出来；将抽取出来的人形图像帧根据人形基础模板结合人运动姿态模板将其分解成X轴、Y轴、Z轴，分别对应人的宽度、人的厚度、人的高度，并将之投射到地面，坐标投影算法结合人形运动模板计算出X-Y轴的中心点，每个中心点代表一个人，从而达到精确统计摄像机覆盖区域内的人数；当捕捉到多个人身体部位重叠时，按照未被遮挡部分形状，与人形基础模板结合人形运动姿态模板进行局部投射比较，通过布尔运算，推测为重叠的人的部位，并根据坐标投影算法可计算出该人的中心点位置，多个人身体部位可重叠，但人的投影中心点重叠概率很小，从而可精确计算出既定区域的客流量；当人形越过既定统计区域的既定界线，向内或向外，双向均可触发计数，统计进出的客流量。

所述客户商品关注度分析引擎，当人形向内越过既定区域的既定界线，启动3D轨迹跟踪，当人形向外越过既定区域的既定界线，停止3D轨迹跟踪；3D轨迹跟踪，第一步根据布尔原理通过对分帧出的每帧图像中的多个物体的交集、分割、差集、联集的指令运算，像素聚集会根据于曲面法线来决定哪部分要保留、哪部分要移除，实现架构对象预测，通过所述模板数据库中的人形基础模板结合人运动姿态模板，侦测到是人体或部分人体的对象属性后；第二步把2D还原3D人体基本模板的算法叠加上去，生成3D人体对象，并逐个对每个3D人体对象做ID标记，更容易实现目标精确跟踪，后者在前者的基础上做轨迹侦测运算，精度更高；第三步采用带帧间预测的运动补偿方法是最大程度补全当前帧的缺损和推算出前一帧的每个3D运动对象在当前帧的位置，通过帧比较和矢量计算，可精确计算出目标人的在该区域的驻留时间、移动轨迹；客户驻留时间的长短是反映客户对商品关注度的程度的最重要参考值。

所述客户属性分析引擎，第一步，事先采集不同人种、不同性别、不同年龄段的2D人脸相片，修正还原，并将不符合建模标准的人脸图像去除，对符合建模条件的2D人脸图像进行3D展开和3D建模，生成3D特征值，作为比对源，上述人脸的3D特征数据存储在特征值模板库中，即为性别年龄段人脸基础模板；第二步人脸实时捕捉，通过摄像机实时采集并获取视频信息中符合人脸基础模板特征的2D人脸图像，修正还原，并将不符合建模标准的人脸图像去除，对符合建模条件的2D人脸图像进行3D展开和3D建模，生成3D特征值；第三步对摄像机实时捕捉到的图像生成的3D特征值，与特征值模板库中的性别年龄段人脸基础模板的3D特征值进行比对，得出比对结果，即相似度值；第四步，相似度值取最大值，相似度最大值对应的该模板的关联数据，为人种、性别、年龄段，作为判断客户的性别及年龄段的属性依据。

附图说明

图1是人形运动姿态的部分模板图

图2是人形3D投影2D原理图

图3是客流量统计原理图

图4是人形越界触发原理图

图5是人形2D还原3D原理图

图6是客户属性识别流程图

图7是2D人脸还原3D建模原理图

图8是客流量统计功能图

图9是客流动线功能图

图10是客流冷热岛功能图

图11是客户驻留时间功能图

具体实施方式

下面结合说明书附图来说明具体实施方式：

本设计是一种客流视频侦测分析系统，包括硬件设备、软件引擎和模板数据库，所述硬件设备包括计算机、视频输入设备、网络设备；所述软件引擎包括客流量分析引擎、客户商品关注度分析引擎、客户属性分析引擎；所述模板数据库包括人形基础模板、人运动姿态模板、人脸基础模板、性别年龄段人脸基础模板；

所述视频输入设备包括摄像机和硬盘录像机，摄像机进行视频实时输入，实时分析；硬盘录像机进行视频回放输入，事后分析；

客流量分析引擎，通过人形基础模板结合人运动姿态模板，如图1，识别出人形，捕捉视频流中的人形图像，分帧，将视频流拆分成每帧图像，识别和分帧交替工作，将包含有人形图像信息的帧，每帧每帧的抽取出来；将抽取出来的人形图像再根据人形基础模板结合人运动姿态模板将其分解成X轴、Y轴、Z轴，分别对应人的宽度、人的厚度、人的高度，并将之投射到地面，如图2，根据坐标投影算法结合人形运动模板计算出X-Y轴的中心点，每个中心点代表一个人，从而达到精确统计特定区域内的人数；当捕捉到多个人身体部位重叠时，按照未被遮挡部分形状，与人形基础模板结合人形运动姿态模板进行局部投射比较，通过布尔运算，推测为重叠的人的部位，如图3，并根据坐标投影算法可计算出该人的中心点位置；多个人身体部位可重叠，但人的投影中心点重叠概率很小，从而可精确计算出既定区域的客流量；当人形越过既定统计区域的既定界线，向内或向外，双向均可触发计数，如图4，统计进出的客流量；

客流量分析引擎实现了以下功能：

客流量是商场的运营定理所需基础数据中最重要的经营战略信息；正确把握客流量数据，可运用于商场的内部店面租金的依据、验证促销活动的效果等方面；

为我们以下工作提供科学指导：

1、销售活动指导

-合理安排现场促销活动时间

-合理安排销售人员，提高成交率(结合分时段成交率)

-科学评价广告宣传效果

2、营运成本控制

-结合顾客密度(滞留人数/面积)，合理调整空调、照明等设备的使用，节约成本

-合理安排开、关店时间

3、安全控制

-合理安排安保人员

-客流量预警

客户商品关注度分析引擎，当人形向内越过既定区域的既定界线，启动3D轨迹跟踪，当人形向外越过既定区域的既定界线，停止3D轨迹跟踪；3D轨迹跟踪，第一步根据布尔原理通过对分帧出的每帧图像中的多个物体的交集、分割、差集、联集的指令运算，像素聚集会根据于曲面法线来决定哪部分要保留、哪部分要移除，实现架构对象预测，通过所述模板数据库中的人形基础模板结合人运动姿态模板，侦测到是人体或部分人体的对象属性后；第二步把2D还原3D人体基本模板的算法叠加上去，生成3D人体对象，如图5，并逐个对每个3D人体对象做ID标记，更容易实现目标精确跟踪，后者在前者的基础上做轨迹侦测运算，精度更高；第三步采用带帧间预测的运动补偿方法是最大程度补全当前帧的缺损和推算出前一帧的每个3D运动对象在当前帧的位置，通过帧比较和矢量计算，可精确计算出目标人的在该区域的驻留时间、移动轨迹；客户驻留时间的长短是反映客户对商品关注度的程度的最重要参考值。

客户商品关注度分析引擎实现了以下功能：

-明确卖场及商品人气度；

-将潜在的客户数值化；

-将商品空间价值数值化；

-将特定时间关注度数值化；

-将感觉上没有的信息分类、总结；

最终实现将关注度数据化的系统，不仅能评价出商品的热销程度，还可以将卖场和商品吸引了多少客户数据化，评价出卖场和商品之间存在的关系。

客户属性分析引擎，其实现步骤如图6，第一步建模板库，事先采集不同人种、不同性别、不同年龄段的2D人脸相片，修正还原，并将不符合建模标准的人脸图像去除，对符合建模条件的2D人脸图像进行3D展开和3D建模，生成3D特征值，作为比对源，上述人脸的3D特征数据存储在特征值模板库中，即为性别年龄段人脸基础模板；3D建模可以抵抗光线、皮肤色调、面部毛发、发型、眼镜、表情和姿态的变化，具有强大的可靠性；第二步人脸实时捕捉，通过摄像机实时采集并获取视频信息中符合人脸基础模板特征的2D人脸图像，修正还原，并将不符合建模标准的人脸图像去除，对符合建模条件的2D人脸图像进行3D展开和3D建模，生成3D特征值；第三步对摄像机实时捕捉到的人脸3D特征值，与特征值模板库中的性别年龄段人脸基础模板的3D特征值进行比对，得出比对结果，即相似度值；第四步，相似度值取最大值，相似度最大值对应的该模板的关联数据，为人种、性别和年龄段，作为判断客户的性别及年龄段的属性依据。

客户属性分析引擎实现了以下功能：

-每5岁(最少)增量的年龄组分析，能处理来场者数和性别、年龄层数据；

-与客流信息系统为一体的应用；

-可以把握客户层的倾向，有利于提高市场的营销效果，更好地吸引、留住客户；

-验证商品是否符合原设计的客户属群；

综上，客流视频侦测分析系统综合实现以下统计功能：

客流量进出，如图8

客流密度(集客率)

客流轨迹(客流动线)，如图9

heatmap(冷、热岛)，如图10

客流分布(楼层、店铺、柜台、货架)

客户商品关注度

驻留时间，如图11

hot-time(当天营业时间内客流量的高峰时段)

客户属性(人种、年龄、性别)

客户特征分析(消费能力评估、消费偏好、购买意向分析)

转化率

坪效(营业额/每平方米)

平均客单价

时间(年、月、日、时段、同比、环比)

空间(全国、地域、分店)

综合信息(节假日、天气、促销活动)。

Claims (4)

1.一种客流视频侦测分析系统，包括硬件设备、软件引擎和模板数据库，所述硬件设备包括计算机、视频输入设备、网络设备；所述软件引擎包括客流量分析引擎、客户商品关注度分析引擎、客户属性分析引擎；所述模板数据库包括人形基础模板、人运动姿态模板、人脸基础模板、性别年龄段人脸基础模板，其特征在于：

所述视频输入设备包括摄像机和硬盘录像机，摄像机进行视频实时输入，实时分析；硬盘录像机进行视频回放输入，事后分析；

所述客流量分析引擎，视频侦测分析进出统计区域的客流量数据；

所述客户商品关注度分析引擎，视频侦测分析客户在统计区域的驻留时间和移动轨迹，从而测算客户对商品关注度值；

所述客户属性分析引擎，视频侦测分析客户的人种、性别及年龄段数据；

所述人形模板及人运动姿态模板：遴选各10个成年男女、10个未成年儿童，共为40个标准身材的不同年龄、不同高度、不同宽度的男女的身形，作为人形基础模板，模板并非是真的人形，而是一套人形的几何特征数据；同时，本系统将人的身体分为8个部分，针对身体的每一个部分，制作了人12种典型运动姿态，一共产生了96种人的典型运动姿态，于是结合人形和运动姿态，共产生标准的人形姿态模板3840个；

所述人脸基础模板：选取人脸中的二个眼睛与一个鼻子构成的三角区的几何特征数据，以及人脸的眼、鼻器官之间的相互比例关系特征数据，为人脸基础模板；

所述性别年龄段人脸基础模板：从15岁到55岁，每5岁为一个年龄段，共8个年龄段，每个年龄段每个人种各遴选100个男女，选取脸部特征建模，共产生性别年龄段人脸基础模板6400个。

2.一种如权利要求1所述的客流视频侦测分析系统，其特征在于：

所述客流量分析引擎，通过人形基础模板结合人运动姿态模板识别出人形，捕捉视频流中的人形图像，分帧，将视频流拆分成每帧图像，识别和分帧交替工作，将包含有人形图像信息的帧，每帧每帧的抽取出来；将抽取出来的人形图像帧根据人形基础模板结合人运动姿态模板将其分解成X轴、Y轴、Z轴，分别对应人的宽度、人的厚度、人的高度，并将之投射到地面，坐标投影算法结合人形运动模板计算出X-Y轴的中心点，每个中心点代表一个人，从而达到精确统计摄像机覆盖区域内的人数；当捕捉到多个人身体部位重叠时，按照未被遮挡部分形状，与人形基础模板结合人形运动姿态模板进行局部投射比较，通过布尔运算，推测为重叠的人的部位，并根据坐标投影算法可计算出该人的中心点位置，多个人身体部位可重叠，但人的投影中心点重叠概率很小，从而可精确计算出既定区域的客流量；当人形越过既定统计区域的既定界线，向内或向外，双向均可触发计数，统计进出的客流量。

3.一种如权利要求1所述的客流视频侦测分析系统，其特征在于：

所述客户商品关注度分析引擎，当人形向内越过既定区域的既定界线，启动3D轨迹跟踪，当人形向外越过既定区域的既定界线，停止3D轨迹跟踪；3D轨迹跟踪，第一步根据布尔原理通过对分帧出的每帧图像中的多个物体的交集、分割、差集、联集的指令运算，像素聚集会根据于曲面法线来决定哪部分要保留、哪部分要移除，实现架构对象预测，通过所述模板数据库中的人形基础模板结合人运动姿态模板，侦测到是人体或部分人体的对象属性后；第二步把2D还原3D人体基本模板的算法叠加上去，生成3D人体对象，并逐个对每个3D人体对象做ID标记，更容易实现目标精确跟踪，后者在前者的基础上做轨迹侦测运算，精度更高；第三步采用带帧间预测的运动补偿方法是最大程度补全当前帧的缺损和推算出前一帧的每个3D运动对象在当前帧的位置，通过帧比较和矢量计算，可精确计算出目标人的在该区域的驻留时间、移动轨迹；客户驻留时间的长短是反映客户对商品关注度的程度的最重要参考值。

4.一种如权利要求1所述的客流视频侦测分析系统，其特征在于：

所述客户属性分析引擎，第一步，事先采集不同人种、不同性别、不同年龄段的2D人脸相片，修正还原，并将不符合建模标准的人脸图像去除，对符合建模条件的2D人脸图像进行3D展开和3D建模，生成3D特征值，作为比对源，上述人脸的3D特征数据存储在特征值模板库中，即为性别年龄段人脸基础模板；第二步人脸实时捕捉，通过摄像机实时采集并获取视频信息中符合人脸基础模板特征的2D人脸图像，修正还原，并将不符合建模标准的人脸图像去除，对符合建模条件的2D人脸图像进行3D展开和3D建模，生成3D特征值；第三步对摄像机实时捕捉到的图像生成的3D特征值，与特征值模板库中的性别年龄段人脸基础模板的3D特征值进行比对，得出比对结果，即相似度值；第四步，相似度值取最大值，相似度最大值对应的该模板的关联数据，为人种、性别、年龄段，作为判断客户的性别及年龄段的属性依据。