CN110310164A - 图像处理系统、方法、平台、机器可读介质及设备 - Google Patents

Abstract

本发明提供一种图像处理系统、方法、平台、机器可读介质及设备，包括图像采集端、图像检测端、服务端；图像采集端通过图像检测端与服务端相连；图像采集端，用于获取划分的每个商品区域内的图像信息数据；图像检测端，用于检测图像信息数据，获得商品区域内的人体特征数据；服务端，用于根据人体特征数据，确定与人体特征数据对应的一维或多维分析结果。本发明能够复用已经建设的视频监控系统中的网络摄像机，免去弱电线路改造和消防审批，实施简单便捷；可以分析出在商品区域的人员数量、人员分布、密度和变化趋势，在安全上能够针对人员分布和人员密度进行预计，防止异常拥堵及踩踏事件；还可以分析商品区域内人员的消费倾向或消费习惯。

Description

图像处理系统、方法、平台、机器可读介质及设备

技术领域

本发明涉及数据处理技术，特别是涉及一种图像处理系统、方法、平台及机器可读介质及设备。

背景技术

在某些线下门店，需要在一定时间段内监测某些空间区域内的人员密度，并根据人员密度分析人员对商品的关注倾向。而目前采用的方法是需要部署专门的摄像机或视觉分析引擎服务器来采集图像信息，再结合计算机视觉定位人员位置来绘制热力图，根据热力图判断人员密度和人员对商品的关注倾向。而不能复用已经建设的视频监控系统的网络摄像机采集的图像信息，再结合计算机视觉定位人员位置来绘制热力图实现。同时，改造线下门店的网络摄像机，流程较为繁琐，且成本较高。因此，亟需一种能够复用已经建设的视频监控系统中的网络摄像机的解决方案。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种图像处理系统、方法、平台、机器可读介质及设备，用于解决现有技术存在的技术问题。

为实现上述目的及其他相关目的，本发明提供一种图像处理系统，包括有：图像采集端、图像检测端、服务端；所述图像采集端通过所述图像检测端与所述服务端相连；

所述图像采集端，用于获取划分的每个商品区域内的图像信息数据；

所述图像检测端，用于检测所述图像信息数据，获得所述商品区域内的人体特征数据；

所述服务端，用于根据所述人体特征数据，确定与所述人体特征数据对应的一维或多维分析结果。

可选地，通过所述图像采集端的监控画面，划分各个商品区域；或者，通过商品区域布局图，划分各个商品区域。

可选地，还包括客户端；其中，所述客户端分别与所述图像检测端、所述服务端相连；

通过所述客户端访问所述图像检测端，在所述图像检测端上查看每路图像采集端的监控画面，在所述监控画面中绘制各个商品区域。

可选地，商品区域划分信息存储至所述图像检测端。

可选地，所述服务端，用于从所述图像检测端获取商品区域划分信息。

可选地，还包括客户端；其中，所述客户端分别与所述图像检测端、所述服务端相连；

通过所述客户端访问所述服务端，传输店面布局图至所述服务端；

所述服务端根据所述店面布局图中的商品布局，获取商品区域划分信息。

可选地，所述服务端传输所述商品区域划分信息至所述图像检测端。

可选地，所述图像检测端，还用于检测所述图像信息数据，获得所述商品区域内的商品特征数据。

可选地，所述商品特征数据至少包括：商品所在位置信息、商品类型、商品数量、商品名称、商品价格。

可选地，所述人体特征数据包括以下至少之一：人体头肩特征数据、人脸特征数据、人体行为特征数据和人体承载特征数据。

可选地，若所述人体特征数据为人体头肩特征数据，则所述人体头肩特征数据包括以下至少之一：人体头肩正面照片数据、人体头肩背面照片数据、人体头肩左侧照片数据和人体头肩右侧照片数据。

可选地，若所述人体特征数据为人脸特征数据，则所述人脸特征数据包括以下至少之一：人脸图片清晰度、人脸图片光照强度、人脸图片低头角度、人脸图片抬头角度、人脸图片侧脸角度和人脸图片人脸特征点质量分。

可选地，若所述人体特征数据为人脸特征数据，还包括判断所述人脸特征数据是否符合预设的人脸特征数据筛选规则；

若所述人脸特征数据满足以下条件至少之一：人脸图片清晰度大于对应预设值、人脸图片光照强度大于对应预设值、人脸图片低头角度小于对应预设值、人脸图片抬头角度小于对应预设值、人脸图片侧脸角度小于对应预设值和人脸图片人脸特征点质量分大于对应预设值，则符合预设的人脸特征数据筛选规则。

可选地，若所述人体特征数据为人体行为特征数据，则所述人体行为特征数据包括以下至少之一：上肢运动、下肢运动和全身运动。

可选地，所述上肢运动包括以下至少之一：推、拉和鞭打；

所述下肢运动包括以下至少之一：缓冲、蹬伸和鞭打；

所述全身运动包括以下至少之一：摆动、扭动和相向运动。

可选地，若所述人体特征数据为人体承载特征数据，则所述人体承载特征数据包括人体穿着特征数据；

所述人体穿着特征数据包括以下至少之一：人体衣服特征数据、人体装饰物特征数据。

可选地，所述人体装饰物特征数据包括以下至少之一：人体佩戴的戒指特征数据、人体佩戴的手镯数据、人体佩戴的耳环数据。

可选地，所述分析结果包括以下至少之一：人员在所述商品区域内的分布、人员在所述商品区域内的密度、人员在一时间阈值范围内的热力图、人员在所述商品区域内的变化趋势、统计人员在所述商品区域内的数量、统计人员进入或离开所述商品区域的次数、分析人员的消费倾向或消费习惯。

可选地，所述服务端还预设有用于识别人脸特征数据的匹配单元和用于创建人员数据信息的输入单元；

所述匹配单元用于与所述商品区域内符合人脸特征数据筛选规则的人脸特征数据进行对比，根据比对结果判断匹配单元中是否存在符合人脸特征数据筛选规则的人脸特征数据；若存在，则匹配出与所述人脸特征数据相对应的人员数据信息；若不存在，则在输入单元中创建此次在所述商品区域内采集到的符合人脸特征数据筛选规则的人脸特征数据所对应的人员数据信息。

可选地，所述输入单元还统计某一时间段内所述匹配单元与在所述商品区域内采集的符合人脸特征数据筛选规则的人脸特征数据匹配成功的次数，以及统计在输入单元内创建人员数据信息的次数。

可选地，所述服务端内还包括有用于统计所述图像检测设备在所述商品区域内采集的人脸图片的人员计数引擎单元、用于分析在所述商品区域内采集的符合人脸特征数据筛选规则的人脸特征数据的属性分析引擎单元和用于存储输入单元创建的人员数据信息的存储单元。

可选地，还包括有通信模块，所述通信模块用于传输所述分析结果。

本发明还提供一种图像处理方法，所述方法步骤如下：

获取每个商品区域内的图像信息数据；

检测所述图像信息数据，获得所述商品区域内的人体特征数据；

根据所述人体特征数据，确定与所述人体特征数据对应的一维或多维分析结果。

可选地，通过图像采集端的监控画面，划分各个商品区域；或者，通过商品区域布局图，划分各个商品区域。

可选地，通过客户端访问所述图像检测端，在所述图像检测端上查看每路图像采集端的监控画面，在所述监控画面中绘制各个商品区域。

可选地，商品区域划分信息存储至所述图像检测端。

可选地，所述服务端，用于从所述图像检测端获取商品区域划分信息。

可选地，通过所述客户端访问所述服务端，传输店面布局图至所述服务端；

所述服务端根据所述店面布局图中的商品布局，获取商品区域划分信息。

可选地，所述服务端传输所述商品区域划分信息至所述图像检测端。

可选地，所述图像检测端，还用于检测所述图像信息数据，获得所述商品区域内的商品特征数据。

可选地，所述商品特征数据至少包括：商品所在位置信息、商品类型、商品数量、商品名称、商品价格。

本发明还提供一种图像处理设备，其特征在于，

获取每个商品区域内的图像信息数据；

检测所述图像信息数据，获得所述商品区域内的人体特征数据；

根据所述人体特征数据，确定与所述人体特征数据对应的一维或多维分析结果。

可选地，通过图像采集端的监控画面，划分各个商品区域；或者，通过商品区域布局图，划分各个商品区域。

可选地，通过客户端访问所述图像处理设备，在所述图像处理设备上查看每路图像采集端的监控画面，在所述监控画面中绘制各个商品区域。

可选地，商品区域划分信息存储至所述图像处理设备。

可选地，通过客户端访问所述图像处理设备，传输店面布局图至所述图像处理设备；

所述图像处理设备根据所述店面布局图中的商品布局，获取商品区域划分信息。

可选地，所述图像处理设备，还用于检测所述图像信息数据，获得所述商品区域内的商品特征数据。

可选地，所述商品特征数据至少包括：商品所在位置信息、商品类型、商品数量、商品名称、商品价格。

本发明还提供一种图像处理云平台，其特征在于，包括有上述任一项所述的图像处理系统。

本发明还提供一种设备，其特征在于，包括：

一个或多个处理器；和

其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行上述一个或多个所述的方法。

本发明还提供一个或多个机器可读介质，其特征在于，其上存储有指令，当由一个或多个处理器执行时，使得设备执行上述中一个或多个所述的方法。

如上所述，本发明提供的一种图像处理系统、方法、平台、机器可读介质及设备，具有以下有益效果：通过复用已经建设的视频监控系统中的网络摄像机，能够了解在不同商品区域、不同时间段的人员密度特征以及人员对商品的关注倾向；同时在安全上能够针对人员密度进行预计，防止异常拥堵以及踩踏事件。

附图说明

图1为一实施例中图像处理系统原理连接示意图。

图2为人体头肩特征数据示意图。

图3为第P时刻的商品区域布局图。

图4为第Q时刻的商品区域布局图。

图5为图像处理方法流程示意图。

图6为一实施例提供的终端设备的硬件结构示意图。

图7为另一实施例提供的终端设备的硬件结构示意图。

元件标号说明

1100 输入设备

1101 第一处理器

1102 输出设备

1103 第一存储器

1104 通信总线

1200 处理组件

1201 第二处理器

1202 第二存储器

1203 通信组件

1204 电源组件

1205 多媒体组件

1206 语音组件

1207 输入/输出接口

1208 传感器组件

ROI 商品区域

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

ROI：Region of Interest，即感兴趣区域，在本发明中指商品区域。

热力图：以连续色阶变化展现顾客在各商品区域ROI上的分布情况，热力图中红色表示人员密集、橙色表示人员正常、绿色表示人员稀少。密集、正常和稀少可以根据实际情况进行灵活设定。

请参阅图1，本发明提供一种图像处理系统，包括有

图像采集端、图像检测端、服务端；所述图像采集端通过所述图像检测端与所述服务端相连；

所述图像采集端，用于获取划分的每个商品区域内的图像信息数据；

所述图像检测端，用于检测所述图像信息数据，获得所述商品区域内的人体特征数据；

所述服务端，用于根据所述人体特征数据，确定与所述人体特征数据对应的一维或多维分析结果。

在一示例性实施例中，通过所述图像采集端的监控画面，划分各个商品区域；或者，通过商品区域布局图，划分各个商品区域。

在一示例性实施例中，还包括有客户端，其中，所述客户端分别与所述图像检测端、所述服务端相连；

通过所述客户端访问所述图像检测端，在所述图像检测端上查看每路图像采集端的监控画面，在所述监控画面中绘制各个商品区域。

在一示例性实施例中，商品区域划分信息存储至所述图像检测端。

在一示例性实施例中，所述服务端，用于从所述图像检测端获取商品区域划分信息。

根据上述示例性实施例，作为示例，例如，通过客户端访问图像检测端，在图像采集端的上查看监控画面，根据监控画面绘制多边形的商品区域ROI，服务端在从图像检测端中获取相关商品区域划分信息。其中，客户端至少包括网页。

在另一示例性实施例中，还包括客户端；其中，所述客户端分别与所述图像检测端、所述服务端相连；

通过所述客户端访问所述服务端，传输店面布局图至所述服务端；

所述服务端根据所述店面布局图中的商品布局，获取商品区域划分信息。

具体地，所述服务端传输所述商品区域划分信息至所述图像检测端。

根据上述示例性实施例，作为示例，例如，通过客户端访问服务端，向服务端上传或绘制店面布局图，服务端根据上传或绘制的店面布局图，获得相关的商品区域划分信息。其中，客户端至少包括网页。

在一示例性实施例中，图像采集端包括有一路或多路已建设的视频监控系统中的网络摄像机、网络硬盘录像机；或者包括有一路或多路正在建设的视频监控系统中的网络摄像机、网络硬盘录像机；或者包括有一路或多路后期建设的视频监控系统中的网络摄像机、网络硬盘录像机。其中，图像采集端包括相同规格或不同规格的网络摄像机。作为示例，本申请实施例中的网络摄像机例如可以选择：支持8路1080P@30FPS视频流，兼容H.264/H.265视频编码格式，最大视频码率为200Mbps，最大分辨率为3840*2160的网络摄像机。

作为示例，本申请实施例中的图像采集端例如可以选择已建设的视频监控系统中的网络摄像机或网络硬盘录像机。其中，网络摄像机或网络硬盘录像机与地面垂直夹角范围在M1至M2之间，其中，M1、M2的值可以根据实际情况进行灵活设定。例如，可以设置M1的值为30°，可以设置M2的值为80°。

根据上述示例性实施例，图像信息数据包括有通过已建设的视频监控系统中的网络摄像机或网络硬盘录像机获取的视频流；或者包括有通过已建设的视频监控系统中的网络摄像机或网络硬盘录像机获取的为连续帧的图片。其中，视频流图像或连续帧图片的人头像素范围在N1至N2之间，其中，N1和N2的值可以根据实际情况进行灵活设定。例如，可以设置N1＝30*30，可以设置N2＝500*500。其中，时间阈值区间可以根据实际情况进行灵活设定，例如可以按照一定的连续帧数进行设置。

在一示例性实施例中，图像检测端还用于检测所述图像信息数据，获得所述商品区域内的商品特征数据。

进一步地，商品特征数据至少包括：商品所在位置信息、商品类型、商品数量、商品名称、商品价格。

在一示例性实施例中，人体特征数据包括以下至少之一：人体头肩特征数据、人脸特征数据、人体行为特征数据和人体承载特征数据。

根据上述示例性实施例，若人体特征数据为人体头肩特征数据，则人体头肩特征数据包括以下至少之一：人体头肩正面照片数据、人体头肩背面照片数据、人体头肩左侧照片数据和人体头肩右侧照片数据。

如图2所示，将人体头肩照片分为背面、左后侧面、左侧面、左前半侧面、正面、右前半侧面、右侧面和右后半侧面。其中，人体头肩左侧照片数据包括有左后半侧面、左侧面和左前半侧面；人体头肩右侧照片数据包括有右后半侧面、右侧面和右前半侧面。

进一步地，按照圆形角度360的划分规则，例如将位置“②”设置为0°；将位置“⑥”设置为45°；将位置“⑦”设置为90°；将位置“⑧”设置为135°；将位置“①”设置为180°；将位置“③”设置为225°；将位置“④”设置为270°；将位置“⑤”设置为315°。其中，将355°至360°的角度范围以及0°至5°的角度范围区间标记为背面；将5°至85°的角度范围区间标记为右后半侧面；将85°至95°的角度范围区间标记为右侧面；将95°至175°的角度范围区间标记为右前半侧面；将175°至185°的角度范围区间标记为正面；将185°至265°的角度范围区间标记为左前半侧面；将265°至275°标记为左侧面；将275°至355°的角度范围区间标记为左后半侧面。其中，上述角度范围区间前者不取相对应的角度值，后者取相对应的角度值。

进一步地，通过图像采集端采集人员在商品区域内的人体头肩特征数据，对人体头肩特征数据进行分析。从视频流中按一定的帧数间隔检测商品区域ROI中的人体头肩数量，并将一定时间周期内检测到的最多人体头肩数量视为该周期的人体头肩检测记录。在某一时间段内，若在上述区域内一次或多次采集同一人员的人体头肩特征数据，则可以用于分析该人员的在商品区域内的分布；和/或，该人员的在商品区域内的消费倾向；和/或，该人员的在商品区域内的消费习惯；和/或，该人员进入或离开商品区域的次数。

进一步地，根据图像采集端采集到的目标区域内不同人员的人体头肩特征数据后，根据采集到的所有人员的人体头肩特征数据，生产连续色阶的热力图。根据生成的热力图，判断商品区域内人员的分布；和/或，商品区域内人员的密度；和/或，商品区域内人员的变化趋势；和/或，商品区域内的人员数量；和/或，人员进入或离开商品区域的次数。

如图3和图4所示，在某一商场内，根据上述描述划分商品区域，分别采集第P时刻中商品区域1、商品区域2、商品区域3、…、商品区域n的人体头肩特征数据，根据人体头肩特征数据中的人体头肩数量绘制热力图、条形图、柱状图、圆饼图等；通过绘制的图形直观显示人员的分布、数量、密度等。其中，n为自然数。

作为示例，通过绘制热力图进行分析，例如，对商品区域1的人体头肩数量在第一预设值至第二预设值的范围内划分为第一颜色；对商品区域1的人体头肩数量在第二预设值至第三预设值的范围内划分为第二颜色；对商品区域1的人体头肩数量在第三预设值至第四预设值的范围内划分为第三颜色，其他商品区域可以按照上述设置方式进行设置。其中，上述第一预设值、第二预设值、第三预设值和第四预设值以及第一颜色、第二颜色和第三颜色可以根据实际情况进行灵活设定。作为示例，本申请实施例中的第一预设值设置为0，第二预设值设置为200，第三预设值设置为300，第四预设值设置为500。第一颜色设置为绿色，第二颜色设置为橙色，第三颜色设置为红色。其中，热力图中红色区域表示人员密度过高，且人员大量分布在此红色区域对应的空间区域内；橙色区域表示人员密度正常，人员正常分布在此橙色区域对应的空间区域内；绿色区域表示人员密度稀少，人员较少分布在此绿色区域对应的空间区域内。进一步地，再按照上述方法采集第Q时刻该商场的商品区域，根据第Q时刻与第P时刻的相互比对，可以分析出该商场中所有商品区域的人员变化趋势，进入或离开商品区域的数量。其中，第P时刻和第Q时刻可以根据实际情况进行灵活设定，例如，第P时刻设置为上午9点，第Q时刻设置为上午10点。本申请实施例中，通过分析人员在各个商品区域的分布、数量、密度、变化趋势、进入或离开的次数，可以间接分析人员的消费倾向或消费习惯，以及是否会出现拥堵或踩踏事件。在另一示例性实施例中，若人体特征数据为人体行为特征数据，则人体行为特征数据包括以下至少之一：上肢运动、下肢运动和全身运动。其中，人体行为特征数据按照“胡耿丹,王乐军,牛文鑫.运动生物力学.同济大学出版社.2013年12月,第1版”中的记载进行划分。例如，上肢运动可以包括以下至少之一：推、拉和鞭打；所述下肢运动可以包括以下至少之一：缓冲、蹬伸和鞭打；所述全身运动可以包括以下至少之一：摆动、扭动和相向运动。

进一步地，通过图像采集端采集不同人员在商品区域内的人体行为特征数据，对人体行为特征数据进行分析。在某一时间段内，分析模块可以分析在商品区域内不同人员的一些行为，例如：直立、奔跑、行走、下蹲、上跳、匍匐、倒地等行为。具体地，根据上述动作，可以分析人员在空间区域是否存在拥堵或踩踏等情况。

在另一示例性实施例中，若人体特征数据为人脸特征数据。其中，人脸特征数据包括以下至少之一：人脸图片清晰度、人脸图片光照强度、人脸图片低头角度、人脸图片抬头角度、人脸图片侧脸角度、人脸图片人脸特征点质量分。

进一步地，人脸特征数据筛选规则例如可以设置如下：

清晰度：自行定义清晰度分的标准，设置清晰度分范围在A1至B1之间，过滤时将在空间区域内采集的人脸照片的清晰度分小于第五预设值的人脸图片过滤掉；

其中，A1、B1的值可以根据实际情况进行灵活设定，例如：A1为0，B1为1；第五预设值也可以根据实际情况进行灵活设定，例如：第五预设值为0.3。

光照强度：自定义光照强度分的标准，例如：设置光照强度分范围在A2至B2之间，过滤时将在空间区域内采集的人脸照片的光照强度分小于第六预设值的人脸图片过滤掉；

其中，A2、B2的值可以根据实际情况进行灵活设定，例如：A2为0，B2为1；第六预设值也可以根据实际情况进行灵活设定，例如：第六预设值为0.2。

拍摄角度：分为低头角度、抬头角度、侧脸角度；

低头角度：过滤时会将低头角度大于第七预设值的人脸图片过滤掉；其中，第七预设值可以根据实际情况进行灵活设定，例如：第七预设值为35°；

抬头角度：过滤时会将抬头角度大于第八预设值的人脸图片过滤掉；其中，第八预设值可以根据实际情况进行灵活设定，例如：第八预设值为35°；

侧脸角度，过滤时会将左右偏转角度大于第九预设值的人脸图片过滤掉；其中，其中，第九预设值可以根据实际情况进行灵活设定，例如：第九预设值为40°

人脸特征点质量分：自行定义人脸特征点质量分的标准，将人脸特征点质量分满分设置为A3，过滤时将人脸特征点质量分小于第十预设值的人脸图片过滤掉。

其中，A3的值可以根据实际情况进行灵活设定，例如：A3为1；第十预设值也可以根据实际情况进行灵活设定，例如：第十预设值为0.5。

进一步地，若待过滤的人脸图片中的人脸特征数据满足至少以下条件之一：清晰度小于第五预设值、光照强度小于第六预设值、低头角度大于第七预设值、抬头角度大于第八预设值、侧脸角度大于第九预设值、人脸特征点质量分小于第十预设值，则将对应的人脸图片过滤掉。

进一步地，通过图像采集端采集人员在商品区域内的人脸特征数据，对人脸特征数据进行分析。从视频流中按一定的帧数间隔检测商品区域ROI中的人脸数量，并将一定时间周期内检测到的最多人脸数量视为该周期的人脸检测记录。在某一时间段内，若在上述区域内一次或多次采集同一人员的人脸特征数据，则可以用于分析该人员的在商品区域内的分布；和/或，该人员的在商品区域内的消费倾向；和/或，该人员的在商品区域内的消费习惯；和/或，该人员进入或离开商品区域的次数。

进一步地，根据图像采集端采集到的商品区域内不同人员的人脸特征数据后，根据采集到的所有人员的人脸特征数据，生产连续色阶的热力图。根据生成的热力图，判断商品区域内人员的分布；和/或，商品区域内人员的密度；和/或，商品区域内人员的变化趋势；和/或，商品区域内的人员数量；和/或，人员进入或离开商品区域的次数。

如图3和图4所示，在某一商场内，根据上述描述划分商品区域，分别采集第P时刻中商品区域1、商品区域2、商品区域3、…、商品区域n的人脸特征数据，根据人脸特征数据中的人脸数量绘制热力图、条形图、柱状图、圆饼图等；通过绘制的图形直观显示人员的分布、数量、密度等。其中，n为自然数。

作为示例，通过绘制热力图进行分析，例如，对商品区域1的人脸数量在第十一预设值至第十二预设值的范围内划分为第四颜色；对商品区域1的人体头肩数量在第十二预设值至第十三预设值的范围内划分为第五颜色；对商品区域1的人体头肩数量在第十三预设值至第十四预设值的范围内划分为第六颜色，其他商品区域可以按照上述设置方式进行设置。其中，上述第十一预设值、第十二预设值、第十三预设值和第十四预设值以及第四颜色、第五颜色和第六颜色可以根据实际情况进行灵活设定。作为示例，本申请实施例中的第十一预设值设置为0，第十二预设值设置为200，第十三预设值设置为300，第十四预设值设置为500。第四颜色设置为绿色，第五颜色设置为橙色，第六颜色设置为红色。其中，热力图中红色区域表示人员密度过高，且人员大量分布在此红色区域对应的空间区域内；橙色区域表示人员密度正常，人员正常分布在此橙色区域对应的空间区域内；绿色区域表示人员密度稀少，人员较少分布在此绿色区域对应的空间区域内。进一步地，再按照上述方法采集第Q时刻该商场的商品区域，根据第Q时刻与第P时刻的相互比对，可以分析出该商场中所有商品区域的人员变化趋势，进入或离开商品区域的数量。其中，第P时刻和第Q时刻可以根据实际情况进行灵活设定，例如，第P时刻设置为上午9点，第Q时刻设置为上午10点。

本申请实施例中，通过分析人员在各个商品区域的分布、数量、密度、变化趋势、进入或离开的次数，可以间接分析人员的消费倾向或消费习惯，以及是否会出现拥堵或踩踏事件。

在另一示例性实施例中，若人体特征数据为人体承载特征数据。其中，人体承载特征数据包括以下至少之一：人体穿着特征数据、人体取放商品特征数据。

根据上述示例性实施例，若图像采集端在所述商品区域内采集的一个或多个人脸特征数据不符合预设的人脸特征数据筛选规则，则所述分析模块在人脸特征数据基础上，结合人体穿着特征数据，或人体取放商品特征数据，确定与所述人脸特征数据对应的一维或多维图像处理结果。

根据上述示例性实施例，所述人体取放商品特征数据包括以下至少之一：手取放商品的动作数据、商品特征数据。

具体地，手取放商品的动作数据例如包括在商品区域内取下/未取下货架商品的动作；取下货架商品后将被取下商品放回货架的动作，将被取下商品放入购物车的动作等。

其中，所述商品特征数据包括以下至少之一：商品名称、商品价格、商品包装。商品名称的文字例如是否包含汉语、俄语、英语、日语、韩语、法语、德语等世界上各个国家的文字。商品价格例如包括有其当前出售价格、折扣价格和折扣原价格等。商品包装例如包括有商品包装颜色、商品包装尺寸、商品包装图案、商品包装形状和商品包装材质等。

根据上述示例性实施例，所述人体穿着特征数据包括以下至少之一：人体衣服特征数据、人体装饰物特征数据。

具体地，人体衣服特征数据例如包括有衣服材质、衣服品牌、衣服尺寸、衣服图案和衣服形状等。

根据上述示例性实施例，人体装饰物特征数据包括以下至少之一：人体佩戴的戒指特征数据、人体佩戴的手镯数据、人体佩戴的耳环数据。

其中，人体佩戴的戒指特征数据例如包括有戒指品牌、戒指材质、戒指数量、戒指位置、戒指形状和戒指尺寸等。人体佩戴的手镯数据例如包括有手镯品牌、手镯材质、手镯数量、手镯位置、手镯形状和手镯尺寸等。人体佩戴的耳环数据例如包括有耳环品牌、耳环材质、耳环数量、耳环位置、耳环形状和耳环尺寸等。

进一步地，通过图像采集端采集人员在商品区域内的人体承载特征数据，对人体承载特征数据进行分析。在某一时间段内，若在上述区域内一次或多次采集同一人员的人体承载特征数据，则可以用于分析该人员的在商品区域内的分布；和/或，该人员的在商品区域内的消费倾向；和/或，该人员的在商品区域内的消费习惯；和/或，该人员进入或离开商品区域的次数。

进一步地，根据图像采集端采集到的商品区域内不同人员的人体承载特征数据后，根据采集到的所有人员的人体承载特征数据，生产连续色阶的热力图。根据生成的热力图，判断商品区域内人员的分布；和/或，商品区域内人员的密度；和/或，商品区域内人员的变化趋势；和/或，商品区域内的人员数量；和/或，人员进入或离开商品区域的次数。作为示例，热力图中红色区域表示人员密度过高，且人员大量分布在此红色区域对应的空间区域内；橙色区域表示人员密度正常，人员正常分布在此橙色区域对应的空间区域内；绿色区域表示人员密度稀少，人员较少分布在此绿色区域对应的空间区域内。

在一些示例性实施例中，商品区域例如可包括以下至少之一：线下实体门店、线下实体门店楼层、线下实体门店某一商品所在区域、线下实体门店某些商品所在区域。

在一示例性实施例中，分析模块还预设有用于识别人脸特征数据的匹配单元和用于创建人员数据信息的输入单元；

所述匹配单元用于与图像采集端在商品区域内采集的符合人脸特征数据筛选规则的人脸特征数据进行对比，根据比对结果判断匹配单元中是否存在符合人脸特征数据筛选规则的人脸特征数据；若存在，则匹配出与所述人脸特征数据相对应的人员数据信息；若不存在，则在输入单元中创建此次在所述空间区域内采集到的符合人脸特征数据筛选规则的人脸特征数据对应的人员数据信息。

其中，匹配单元预先存储有人员数据信息，预先存储的人员数据信息例如可包括线下门店名称、线下门店编号、人员编号、人员姓名、性别、手机号、出生日期、人脸照片、首次到店时间和人员身份等；其中，人脸照片包括有人脸特征数据，人员身份例如可包括会员或VIP人员、熟客、黑名单、员工、保洁和保安等。

匹配单元通过预先存储的人脸特征数据与图像采集端在商品区域内采集的符合预设值条件的人员的人脸特征数据进行对比，根据比对结果匹配人员身份或者创建人员身份；作为示例，若在预设数据库中没有找到与在商品区域内采集的符合预设值条件的人员相对应的人脸特征数据，则在输入单元中创建一个新的人员数据信息，赋予新的编号。作为示例，创建过程例如可包括将采集到的符合预设值条件的人脸照片作为底库照片，底库照片可用于作为下一次判断用的人脸特征数据，并在输入单元中输入线下门店名称或线下门店编号、与底库照片相对应的人员编号、与底库照片相对应的人员姓名、与底库照片相对应的人员性别、与底库照片相对应的人员手机号、与底库照片相对应的人员出生日期以及与底库照片相对应的人员身份信息等。

进一步地，如果比对结果的相似度在预设的区间内，则判断在商品区域内采集的符合预设值条件的人脸特征数据与匹配单元预设的人脸特征数据为来自同一人的人脸特征数据，则完成具体人员的匹配，根据预设数据库中与其匹配人员相对应的身份信息，同时完成人员身份信息的匹配。作为示例，相似度的预设区间范围在C1至C2之间，相似度的区间可以根据线下门店的实际情况进行设置，例如，C1设置为78％，C2设置为98％。

在一示例性实施例中，输入单元还统计某一时间段内所述匹配单元与在所述商品区域内采集的符合人脸特征数据筛选规则的人脸特征数据匹配成功的次数，以及统计在输入单元内创建人员数据信息的次数。

具体地，在商品区域内采集到符合预设值条件的人脸特征数据后，与匹配单元中预设的人脸特征数据进行对比，根据比对结果进行客流统计，若某一人员在一时间段内进行过人员身份信息匹配或者创建过该人员的身份信息，则对该时间段内的到店客流数进行“+1”，反之，则不进行“+1”。作为示例，某一时间段例如可包括有10分钟、30分钟、1小时、24小时、一个星期或一个月等。

在一示例性实施例中，服务端内还包括有用于统计图像采集端在所述商品区域内采集的人脸图片中人脸特征数据的人员计数引擎单元、用于分析所述商品区域内采集的符合人脸特征数据筛选规则的人脸特征数据的年龄和性别的属性分析引擎单元；用于存储输入单元新创建的人员数据信息的存储单元。

在一示例性实施例中，还包括有通信模块，通信模块与图像采集端、图像检测端和图像服务端连接进行通信。作为例如，例如通信模块与网络摄像机连接、云平台和网页客户端等进行连接通信，用于传输分析模块的分析结果。

本系统的工作原理如下：通过图像采集端采集一个或多个商品区域内的人体头肩特征数据、人脸特征数据和人体承载特征数据，分析模块根据上述数据进行分析，得到一维或多维的分析结果。

本系统具有的优点包括：(1)能够复用已经建设的视频监控系统中的网络摄像机，免去弱电线路改造和消防审批，实施简单便捷；(2)能够分析出在商品区域的人员数量，完成客流统计；(3)还可以分析出在商品区域内的人员分布、密度和变化趋势，在安全上能够针对密度过高进行预计，防止异常拥堵及踩踏事件；(4)还能够分析商品区域内人员的消费倾向或消费习惯。

请参阅图5，本发明还提供一种图像处理方法，步骤如下：

S1，获取每个商品区域内的图像信息数据；

S2，检测所述图像信息数据，获得所述商品区域内的人体特征数据；

S3，根据所述人体特征数据，确定与所述人体特征数据对应的一维或多维分析结果。

在一示例性实施例中，通过所述图像采集端的监控画面，划分各个商品区域；或者，通过商品区域布局图，划分各个商品区域。

在一示例性实施例中，还包括有客户端，其中，所述客户端分别与所述图像检测端、所述服务端相连；

通过所述客户端访问所述图像检测端，在所述图像检测端上查看每路图像采集端的监控画面，在所述监控画面中绘制各个商品区域。

在一示例性实施例中，商品区域划分信息存储至所述图像检测端。

在一示例性实施例中，所述服务端，用于从所述图像检测端获取商品区域划分信息。

根据上述示例性实施例，作为示例，例如，通过客户端访问图像检测端，在图像采集端的上查看监控画面，根据监控画面绘制多边形的商品区域ROI，服务端在从图像检测端中获取相关商品区域划分信息。其中，客户端至少包括网页。

在另一示例性实施例中，还包括客户端；其中，所述客户端分别与所述图像检测端、所述服务端相连；

通过所述客户端访问所述服务端，传输店面布局图至所述服务端；

所述服务端根据所述店面布局图中的商品布局，获取商品区域划分信息。

具体地，所述服务端传输所述商品区域划分信息至所述图像检测端。

根据上述示例性实施例，作为示例，例如，通过客户端访问服务端，向服务端上传或绘制店面布局图，服务端根据上传或绘制的店面布局图，获得相关的商品区域划分信息。其中，客户端至少包括网页。

在一示例性实施例中，图像采集端包括有一路或多路已建设的视频监控系统中的网络摄像机、网络硬盘录像机；或者包括有一路或多路正在建设的视频监控系统中的网络摄像机、网络硬盘录像机；或者包括有一路或多路后期建设的视频监控系统中的网络摄像机、网络硬盘录像机。其中，图像采集端包括相同规格或不同规格的网络摄像机。作为示例，本申请实施例中的网络摄像机例如可以选择：支持8路1080P@30FPS视频流，兼容H.264/H.265视频编码格式，最大视频码率为200Mbps，最大分辨率为3840*2160的网络摄像机。

作为示例，本申请实施例中的图像采集端例如可以选择已建设的视频监控系统中的网络摄像机或网络硬盘录像机。其中，网络摄像机或网络硬盘录像机与地面垂直夹角范围在M1至M2之间，其中，M1、M2的值可以根据实际情况进行灵活设定。例如，可以设置M1的值为30°，可以设置M2的值为80°。

根据上述示例性实施例，图像信息数据包括有通过已建设的视频监控系统中的网络摄像机或网络硬盘录像机获取的视频流；或者包括有通过已建设的视频监控系统中的网络摄像机或网络硬盘录像机获取的为连续帧的图片。其中，视频流图像或连续帧图片的人头像素范围在N1至N2之间，其中，N1和N2的值可以根据实际情况进行灵活设定。例如，可以设置N1＝30*30，可以设置N2＝500*500。其中，时间阈值区间可以根据实际情况进行灵活设定，例如可以按照一定的连续帧数进行设置。

在一示例性实施例中，图像检测端还用于检测所述图像信息数据，获得所述商品区域内的商品特征数据。

进一步地，商品特征数据至少包括：商品所在位置信息、商品类型、商品数量、商品名称、商品价格。

在一示例性实施例中，人体特征数据包括以下至少之一：人体头肩特征数据、人脸特征数据、人体行为特征数据和人体承载特征数据。

根据上述示例性实施例，若人体特征数据为人体头肩特征数据，则人体头肩特征数据包括以下至少之一：人体头肩正面照片数据、人体头肩背面照片数据、人体头肩左侧照片数据和人体头肩右侧照片数据。如图2所示，将人体头肩照片分为背面、左后侧面、左侧面、左前半侧面、正面、右前半侧面、右侧面和右后半侧面。其中，人体头肩左侧照片数据包括有左后半侧面、左侧面和左前半侧面；人体头肩右侧照片数据包括有右后半侧面、右侧面和右前半侧面。

进一步地，按照圆形角度360的划分规则，例如将位置“②”设置为0°；将位置“⑥”设置为45°；将位置“⑦”设置为90°；将位置“⑧”设置为135°；将位置“①”设置为180°；将位置“③”设置为225°；将位置“④”设置为270°；将位置“⑤”设置为315°。其中，将355°至360°的角度范围以及0°至5°的角度范围区间标记为背面；将5°至85°的角度范围区间标记为右后半侧面；将85°至95°的角度范围区间标记为右侧面；将95°至175°的角度范围区间标记为右前半侧面；将175°至185°的角度范围区间标记为正面；将185°至265°的角度范围区间标记为左前半侧面；将265°至275°标记为左侧面；将275°至355°的角度范围区间标记为左后半侧面。其中，上述角度范围区间前者不取相对应的角度值，后者取相对应的角度值。

进一步地，通过图像采集端采集人员在商品区域内的人体头肩特征数据，对人体头肩特征数据进行分析。从视频流中按一定的帧数间隔检测商品区域ROI中的人体头肩数量，并将一定时间周期内检测到的最多人体头肩数量视为该周期的人体头肩检测记录。在某一时间段内，若在上述区域内一次或多次采集同一人员的人体头肩特征数据，则可以用于分析该人员的在商品区域内的分布；和/或，该人员的在商品区域内的消费倾向；和/或，该人员的在商品区域内的消费习惯；和/或，该人员进入或离开商品区域的次数。

进一步地，根据图像采集端采集到的目标区域内不同人员的人体头肩特征数据后，根据采集到的所有人员的人体头肩特征数据，生产连续色阶的热力图。根据生成的热力图，判断商品区域内人员的分布；和/或，商品区域内人员的密度；和/或，商品区域内人员的变化趋势；和/或，商品区域内的人员数量；和/或，人员进入或离开商品区域的次数。

如图3和图4所示，在某一商场内，根据上述描述划分商品区域，分别采集第P时刻中商品区域1、商品区域2、商品区域3、…、商品区域n的人体头肩特征数据，根据人体头肩特征数据中的人体头肩数量绘制热力图、条形图、柱状图、圆饼图等；通过绘制的图形直观显示人员的分布、数量、密度等。其中，n为自然数。

作为示例，通过绘制热力图进行分析，例如，对商品区域1的人体头肩数量在第一预设值至第二预设值的范围内划分为第一颜色；对商品区域1的人体头肩数量在第二预设值至第三预设值的范围内划分为第二颜色；对商品区域1的人体头肩数量在第三预设值至第四预设值的范围内划分为第三颜色，其他商品区域可以按照上述设置方式进行设置。其中，上述第一预设值、第二预设值、第三预设值和第四预设值以及第一颜色、第二颜色和第三颜色可以根据实际情况进行灵活设定。作为示例，本申请实施例中的第一预设值设置为0，第二预设值设置为200，第三预设值设置为300，第四预设值设置为500。第一颜色设置为绿色，第二颜色设置为橙色，第三颜色设置为红色。其中，热力图中红色区域表示人员密度过高，且人员大量分布在此红色区域对应的空间区域内；橙色区域表示人员密度正常，人员正常分布在此橙色区域对应的空间区域内；绿色区域表示人员密度稀少，人员较少分布在此绿色区域对应的空间区域内。进一步地，再按照上述方法采集第Q时刻该商场的商品区域，根据第Q时刻与第P时刻的相互比对，可以分析出该商场中所有商品区域的人员变化趋势，进入或离开商品区域的数量。其中，第P时刻和第Q时刻可以根据实际情况进行灵活设定，例如，第P时刻设置为上午9点，第Q时刻设置为上午10点。本申请实施例中，通过分析人员在各个商品区域的分布、数量、密度、变化趋势、进入或离开的次数，可以间接分析人员的消费倾向或消费习惯，以及是否会出现拥堵或踩踏事件。在另一示例性实施例中，若人体特征数据为人体行为特征数据，则人体行为特征数据包括以下至少之一：上肢运动、下肢运动和全身运动。其中，人体行为特征数据按照“胡耿丹,王乐军,牛文鑫.运动生物力学.同济大学出版社.2013年12月,第1版”中的记载进行划分。例如，上肢运动可以包括以下至少之一：推、拉和鞭打；所述下肢运动可以包括以下至少之一：缓冲、蹬伸和鞭打；所述全身运动可以包括以下至少之一：摆动、扭动和相向运动。

进一步地，通过图像采集端采集不同人员在商品区域内的人体行为特征数据，对人体行为特征数据进行分析。在某一时间段内，分析模块可以分析在商品区域内不同人员的一些行为，例如：直立、奔跑、行走、下蹲、上跳、匍匐、倒地等行为。具体地，根据上述动作，可以分析人员在空间区域是否存在拥堵或踩踏等情况。

在另一示例性实施例中，若人体特征数据为人脸特征数据。其中，人脸特征数据包括以下至少之一：人脸图片清晰度、人脸图片光照强度、人脸图片低头角度、人脸图片抬头角度、人脸图片侧脸角度、人脸图片人脸特征点质量分。

进一步地，人脸特征数据筛选规则例如可以设置如下：

清晰度：自行定义清晰度分的标准，设置清晰度分范围在A1至B1之间，过滤时将在空间区域内采集的人脸照片的清晰度分小于第五预设值的人脸图片过滤掉；

其中，A1、B1的值可以根据实际情况进行灵活设定，例如：A1为0，B1为1；第五预设值也可以根据实际情况进行灵活设定，例如：第五预设值为0.3。

光照强度：自定义光照强度分的标准，例如：设置光照强度分范围在A2至B2之间，过滤时将在空间区域内采集的人脸照片的光照强度分小于第六预设值的人脸图片过滤掉；

其中，A2、B2的值可以根据实际情况进行灵活设定，例如：A2为0，B2为1；第六预设值也可以根据实际情况进行灵活设定，例如：第六预设值为0.2。

拍摄角度：分为低头角度、抬头角度、侧脸角度；

低头角度：过滤时会将低头角度大于第七预设值的人脸图片过滤掉；其中，第七预设值可以根据实际情况进行灵活设定，例如：第七预设值为35°；

抬头角度：过滤时会将抬头角度大于第八预设值的人脸图片过滤掉；其中，第八预设值可以根据实际情况进行灵活设定，例如：第八预设值为35°；

侧脸角度，过滤时会将左右偏转角度大于第九预设值的人脸图片过滤掉；其中，其中，第九预设值可以根据实际情况进行灵活设定，例如：第九预设值为40°

人脸特征点质量分：自行定义人脸特征点质量分的标准，将人脸特征点质量分满分设置为A3，过滤时将人脸特征点质量分小于第十预设值的人脸图片过滤掉。

其中，A3的值可以根据实际情况进行灵活设定，例如：A3为1；第十预设值也可以根据实际情况进行灵活设定，例如：第十预设值为0.5。

进一步地，若待过滤的人脸图片中的人脸特征数据满足至少以下条件之一：清晰度小于第五预设值、光照强度小于第六预设值、低头角度大于第七预设值、抬头角度大于第八预设值、侧脸角度大于第九预设值、人脸特征点质量分小于第十预设值，则将对应的人脸图片过滤掉。

进一步地，通过图像采集端采集人员在商品区域内的人脸特征数据，对人脸特征数据进行分析。从视频流中按一定的帧数间隔检测商品区域ROI中的人脸数量，并将一定时间周期内检测到的最多人脸数量视为该周期的人脸检测记录。在某一时间段内，若在上述区域内一次或多次采集同一人员的人脸特征数据，则可以用于分析该人员的在商品区域内的分布；和/或，该人员的在商品区域内的消费倾向；和/或，该人员的在商品区域内的消费习惯；和/或，该人员进入或离开商品区域的次数。

进一步地，根据图像采集端采集到的商品区域内不同人员的人脸特征数据后，根据采集到的所有人员的人脸特征数据，生产连续色阶的热力图。根据生成的热力图，判断商品区域内人员的分布；和/或，商品区域内人员的密度；和/或，商品区域内人员的变化趋势；和/或，商品区域内的人员数量；和/或，人员进入或离开商品区域的次数。

如图3和图4所示，在某一商场内，根据上述描述划分商品区域，分别采集第P时刻中商品区域1、商品区域2、商品区域3、…、商品区域n的人脸特征数据，根据人脸特征数据中的人脸数量绘制热力图、条形图、柱状图、圆饼图等；通过绘制的图形直观显示人员的分布、数量、密度等。其中，n为自然数。

作为示例，通过绘制热力图进行分析，例如，对商品区域1的人脸数量在第十一预设值至第十二预设值的范围内划分为第四颜色；对商品区域1的人体头肩数量在第十二预设值至第十三预设值的范围内划分为第五颜色；对商品区域1的人体头肩数量在第十三预设值至第十四预设值的范围内划分为第六颜色，其他商品区域可以按照上述设置方式进行设置。其中，上述第十一预设值、第十二预设值、第十三预设值和第十四预设值以及第四颜色、第五颜色和第六颜色可以根据实际情况进行灵活设定。作为示例，本申请实施例中的第十一预设值设置为0，第十二预设值设置为200，第十三预设值设置为300，第十四预设值设置为500。第四颜色设置为绿色，第五颜色设置为橙色，第六颜色设置为红色。其中，热力图中红色区域表示人员密度过高，且人员大量分布在此红色区域对应的空间区域内；橙色区域表示人员密度正常，人员正常分布在此橙色区域对应的空间区域内；绿色区域表示人员密度稀少，人员较少分布在此绿色区域对应的空间区域内。进一步地，再按照上述方法采集第Q时刻该商场的商品区域，根据第Q时刻与第P时刻的相互比对，可以分析出该商场中所有商品区域的人员变化趋势，进入或离开商品区域的数量。其中，第P时刻和第Q时刻可以根据实际情况进行灵活设定，例如，第P时刻设置为上午9点，第Q时刻设置为上午10点。

本申请实施例中，通过分析人员在各个商品区域的分布、数量、密度、变化趋势、进入或离开的次数，可以间接分析人员的消费倾向或消费习惯，以及是否会出现拥堵或踩踏事件。

在另一示例性实施例中，若人体特征数据为人体承载特征数据。其中，人体承载特征数据包括以下至少之一：人体穿着特征数据、人体取放商品特征数据。

根据上述示例性实施例，若图像采集端在所述商品区域内采集的一个或多个人脸特征数据不符合预设的人脸特征数据筛选规则，则所述分析模块在人脸特征数据基础上，结合人体穿着特征数据，或人体取放商品特征数据，确定与所述人脸特征数据对应的一维或多维图像处理结果。

根据上述示例性实施例，所述人体取放商品特征数据包括以下至少之一：手取放商品的动作数据、商品特征数据。

具体地，手取放商品的动作数据例如包括在商品区域内取下/未取下货架商品的动作；取下货架商品后将被取下商品放回货架的动作，将被取下商品放入购物车的动作等。

其中，所述商品特征数据包括以下至少之一：商品名称、商品价格、商品包装。商品名称的文字例如是否包含汉语、俄语、英语、日语、韩语、法语、德语等世界上各个国家的文字。商品价格例如包括有其当前出售价格、折扣价格和折扣原价格等。商品包装例如包括有商品包装颜色、商品包装尺寸、商品包装图案、商品包装形状和商品包装材质等。

根据上述示例性实施例，所述人体穿着特征数据包括以下至少之一：人体衣服特征数据、人体装饰物特征数据。

具体地，人体衣服特征数据例如包括有衣服材质、衣服品牌、衣服尺寸、衣服图案和衣服形状等。

根据上述示例性实施例，人体装饰物特征数据包括以下至少之一：人体佩戴的戒指特征数据、人体佩戴的手镯数据、人体佩戴的耳环数据。

其中，人体佩戴的戒指特征数据例如包括有戒指品牌、戒指材质、戒指数量、戒指位置、戒指形状和戒指尺寸等。人体佩戴的手镯数据例如包括有手镯品牌、手镯材质、手镯数量、手镯位置、手镯形状和手镯尺寸等。人体佩戴的耳环数据例如包括有耳环品牌、耳环材质、耳环数量、耳环位置、耳环形状和耳环尺寸等。

进一步地，通过图像采集端采集人员在商品区域内的人体承载特征数据，对人体承载特征数据进行分析。在某一时间段内，若在上述区域内一次或多次采集同一人员的人体承载特征数据，则可以用于分析该人员的在商品区域内的分布；和/或，该人员的在商品区域内的消费倾向；和/或，该人员的在商品区域内的消费习惯；和/或，该人员进入或离开商品区域的次数。

进一步地，根据图像采集端采集到的商品区域内不同人员的人体承载特征数据后，根据采集到的所有人员的人体承载特征数据，生产连续色阶的热力图。根据生成的热力图，判断商品区域内人员的分布；和/或，商品区域内人员的密度；和/或，商品区域内人员的变化趋势；和/或，商品区域内的人员数量；和/或，人员进入或离开商品区域的次数。作为示例，热力图中红色区域表示人员密度过高，且人员大量分布在此红色区域对应的空间区域内；橙色区域表示人员密度正常，人员正常分布在此橙色区域对应的空间区域内；绿色区域表示人员密度稀少，人员较少分布在此绿色区域对应的空间区域内。

在一些示例性实施例中，商品区域例如可包括以下至少之一：线下实体门店、线下实体门店楼层、线下实体门店某一商品所在区域、线下实体门店某些商品所在区域。

在一示例性实施例中，服务端还预设有用于识别人脸特征数据的匹配单元和用于创建人员数据信息的输入单元；

所述匹配单元用于与图像采集端在商品区域内采集的符合人脸特征数据筛选规则的人脸特征数据进行对比，根据比对结果判断匹配单元中是否存在符合人脸特征数据筛选规则的人脸特征数据；若存在，则匹配出与所述人脸特征数据相对应的人员数据信息；若不存在，则在输入单元中创建此次在所述空间区域内采集到的符合人脸特征数据筛选规则的人脸特征数据对应的人员数据信息。

其中，匹配单元预先存储有人员数据信息，预先存储的人员数据信息例如可包括线下门店名称、线下门店编号、人员编号、人员姓名、性别、手机号、出生日期、人脸照片、首次到店时间和人员身份等；其中，人脸照片包括有人脸特征数据，人员身份例如可包括会员或VIP人员、熟客、黑名单、员工、保洁和保安等。

匹配单元通过预先存储的人脸特征数据与图像采集端在商品区域内采集的符合预设值条件的人员的人脸特征数据进行对比，根据比对结果匹配人员身份或者创建人员身份；作为示例，若在预设数据库中没有找到与在商品区域内采集的符合预设值条件的人员相对应的人脸特征数据，则在输入单元中创建一个新的人员数据信息，赋予新的编号。作为示例，创建过程例如可包括将采集到的符合预设值条件的人脸照片作为底库照片，底库照片可用于作为下一次判断用的人脸特征数据，并在输入单元中输入线下门店名称或线下门店编号、与底库照片相对应的人员编号、与底库照片相对应的人员姓名、与底库照片相对应的人员性别、与底库照片相对应的人员手机号、与底库照片相对应的人员出生日期以及与底库照片相对应的人员身份信息等。

进一步地，如果比对结果的相似度在预设的区间内，则判断在商品区域内采集的符合预设值条件的人脸特征数据与匹配单元预设的人脸特征数据为来自同一人的人脸特征数据，则完成具体人员的匹配，根据预设数据库中与其匹配人员相对应的身份信息，同时完成人员身份信息的匹配。作为示例，相似度的预设区间范围在C1至C2之间，相似度的区间可以根据线下门店的实际情况进行设置，例如，C1设置为78％，C2设置为98％。

在一示例性实施例中，输入单元还统计某一时间段内所述匹配单元与在所述商品区域内采集的符合人脸特征数据筛选规则的人脸特征数据匹配成功的次数，以及统计在输入单元内创建人员数据信息的次数。

具体地，在商品区域内采集到符合预设值条件的人脸特征数据后，与匹配单元中预设的人脸特征数据进行对比，根据比对结果进行客流统计，若某一人员在一时间段内进行过人员身份信息匹配或者创建过该人员的身份信息，则对该时间段内的到店客流数进行“+1”，反之，则不进行“+1”。作为示例，某一时间段例如可包括有10分钟、30分钟、1小时、24小时、一个星期或一个月等。

在一示例性实施例中，服务端内还包括有用于统计图像采集端在所述商品区域内采集的人脸图片中人脸特征数据的人员计数引擎单元、用于分析所述商品区域内采集的符合人脸特征数据筛选规则的人脸特征数据的年龄和性别的属性分析引擎单元；用于存储输入单元新创建的人员数据信息的存储单元。

在一示例性实施例中，还包括有通信模块，通信模块与图像采集端、图像检测端和图像服务端连接进行通信。作为例如，例如通信模块与网络摄像机连接、云平台和网页客户端等进行连接通信，用于传输分析模块的分析结果。

本方法的工作原理如下：通过图像采集端采集一个或多个商品区域内的人体头肩特征数据、人脸特征数据和人体承载特征数据，分析模块根据上述数据进行分析，得到一维或多维的分析结果。

本方法具有的优点包括：(1)能够复用已经建设的视频监控系统中的网络摄像机，免去弱电线路改造和消防审批，实施简单便捷；(2)能够分析出在商品区域的人员数量，完成客流统计；(3)还可以分析出在商品区域内的人员分布、密度和变化趋势，在安全上能够针对人员分布和人员密度进行预计，防止异常拥堵及踩踏事件；(4)还能够分析商品区域内人员的消费倾向或消费习惯。

本发明还提供一种图像处理设备，包括有：

获取每个商品区域内的图像信息数据；

检测所述图像信息数据，获得所述商品区域内的人体特征数据；

根据所述人体特征数据，确定与所述人体特征数据对应的一维或多维分析结果。

还包括有上述一个或多个图像处理系统，此处不再进行赘述。

本发明还提供一种图像处理云平台，包括有上述的图像处理系统，还包括有第一显示模块，用于完成第一次标记商品区域，或者用于分类显示商品区域。其中，第一次标记商品区域包括有上传商品区域视频或照片、在第一显示模块中重新选择或绘制已有的商品区域。其中，分类显示商品区域包括以下至少之一：显示实时热力分析页面、显示历史热力变化分析页面和商品区域热力对比分析页面。

具体地，显示实时热力分析页面包括有：根据预先选择的线下实体门店和/或线下实体门店楼层，在第一显示模块中实时显示所有商品区域ROI的热力分布和/或密度。其中，密度包括有稀疏、正常、过密等状态百分比指标，可以根据实际情况灵活设定密度的范围值。

显示历史热力变化分析页面包括有：根据线下实体门店、线下实体门店楼层、某一时间段和时间粒度的设置，第一显示模块按照预先设置的时间粒度顺序播放或展示该时间段内所有商品区域ROI的热力分布、人员密度和人员变化趋势。其中，时间粒度可以根据实际情况进行灵活设定，例如可以设置为60分钟、30分钟、10分钟、5分钟等。

显示商品区域ROI热力对比分析页面包括有：根据线下实体门店、一个或多个商品区域ROI、营业时间范围、周期和日期的设置，第一显示模块会按照上述对应的设置按照时间周期和对应的日期展示选择的商品区域ROI的热力对比分析。其中，营业时间范围例如可包括半天或一天；周期例如可包括：日、周、月和年；日期例如可包括：某日、某周、某月和某年。

在一示例性实施例中，还包括有配置管理模块，用于配置以下至少之一：图像处理系统、云平台本体和商品区域。具体地，可以通过网页访问图像处理系统进行配置，例如增加图像处理系统，配置应用程序接口标识(Application Programming Interface，API)标识和密钥标识；还可以通过Restful的API接口，配置云平台；以及通过上述系统或云平台配置商品区域ROI。

综上所述，本发明提供一种图像处理系统、方法、云平台及设备，包括图像采集端、图像检测端、服务端；所述图像采集端通过所述图像检测端与所述服务端相连；所述图像采集端，用于获取划分的每个商品区域内的图像信息数据；所述图像检测端，用于检测所述图像信息数据，获得所述商品区域内的人体特征数据；所述服务端，用于根据所述人体特征数据，确定与所述人体特征数据对应的一维或多维分析结果。本发明能够复用已经建设的视频监控系统中的网络摄像机，免去弱电线路改造和消防审批，实施简单便捷；可以分析出在商品区域的人员数量，完成客流统计；还可以分析出在商品区域内的人员分布、密度和变化趋势，在安全上能够针对人员分布和人员密度进行预计，防止异常拥堵及踩踏事件；还可以分析商品区域内人员的消费倾向或消费习惯。

本申请实施例还提供了一种设备，该设备可以包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述设备执行图1所述的方法。在实际应用中，该设备可以作为终端设备，也可以作为服务器，终端设备的例子可以包括：智能手机、平板电脑、电子书阅读器、MP3(动态影像专家压缩标准语音层面3，Moving Picture Experts Group Audio Layer III)播放器、MP4(动态影像专家压缩标准语音层面4，Moving Picture Experts Group Audio Layer IV)播放器、膝上型便携计算机、车载电脑、台式计算机、机顶盒、智能电视机、可穿戴设备等等，本申请实施例对于具体的设备不加以限制。

本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本申请实施例的图3中图像处理方法所包含步骤的指令(instructions)。

图6为本申请一实施例提供的终端设备的硬件结构示意图。如图所示，该终端设备可以包括：输入设备1100、第一处理器1101、输出设备1102、第一存储器1103和至少一个通信总线1104。通信总线1104用于实现元件之间的通信连接。第一存储器1103可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，第一存储器1103中可以存储各种程序，用于完成各种处理功能以及实现本实施例的方法步骤。

可选的，上述第一处理器1101例如可以为中央处理器(Central ProcessingUnit，简称CPU)、应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，该处理器1101通过有线或无线连接耦合到上述输入设备1100和输出设备1102。

可选的，上述输入设备1100可以包括多种输入设备，例如可以包括面向用户的用户接口、面向设备的设备接口、软件的可编程接口、摄像头、传感器中至少一种。可选的，该面向设备的设备接口可以是用于设备与设备之间进行数据传输的有线接口、还可以是用于设备与设备之间进行数据传输的硬件插入接口(例如USB接口、串口等)；可选的，该面向用户的用户接口例如可以是面向用户的控制按键、用于接收语音输入的语音输入设备以及用户接收用户触摸输入的触摸感知设备(例如具有触摸感应功能的触摸屏、触控板等)；可选的，上述软件的可编程接口例如可以是供用户编辑或者修改程序的入口，例如芯片的输入引脚接口或者输入接口等；输出设备1102可以包括显示器、音响等输出设备。

在本实施例中，该终端设备的处理器包括用于执行各设备中语音识别装置各模块的功能，具体功能和技术效果参照上述实施例即可，此处不再赘述。

图7为本申请的一个实施例提供的终端设备的硬件结构示意图。图7是对图6在实现过程中的一个具体的实施例。如图所示，本实施例的终端设备可以包括处理器1201以及存储器1202。

第二处理器1201执行第二存储器1202所存放的计算机程序代码，实现上述实施例中图5所述方法。

第二存储器1202被配置为存储各种类型的数据以支持在终端设备的操作。这些数据的示例包括用于在终端设备上操作的任何应用程序或方法的指令，例如消息，图片，视频等。第二存储器1202可能包含随机存取存储器(random access memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

可选地，第二处理器1201设置在处理组件1200中。该终端设备还可以包括：通信组件1203，电源组件1204，多媒体组件1205，语音组件1206，输入/输出接口1207和/或传感器组件1208。终端设备具体所包含的组件等依据实际需求设定，本实施例对此不作限定。

处理组件1200通常控制终端设备的整体操作。处理组件1200可以包括一个或多个第二处理器1201来执行指令，以完成上述图像处理方法中的全部或部分步骤。此外，处理组件1200可以包括一个或多个模块，便于处理组件1200和其他组件之间的交互。例如，处理组件1200可以包括多媒体模块，以方便多媒体组件1205和处理组件1200之间的交互。

电源组件1204为终端设备的各种组件提供电力。电源组件1204可以包括电源管理装置，一个或多个电源，及其他与为终端设备生成、管理和分配电力相关联的组件。

多媒体组件1205包括在终端设备和用户之间的提供一个输出接口的显示屏。在一些实施例中，显示屏可以包括液晶显示器(LCD)和触摸面板(TP)。如果显示屏包括触摸面板，显示屏可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。

语音组件1206被配置为输出和/或输入语音信号。例如，语音组件1206包括一个麦克风(MIC)，当终端设备处于操作模式，如语音识别模式时，麦克风被配置为接收外部语音信号。所接收的语音信号可以被进一步存储在第二存储器1202或经由通信组件1203发送。在一些实施例中，语音组件1206还包括一个扬声器，用于输出语音信号。

输入/输出接口1207为处理组件1200和外围接口模块之间提供接口，上述外围接口模块可以是点击轮，按钮等。这些按钮可包括但不限于：音量按钮、启动按钮和锁定按钮。

传感器组件1208包括一个或多个传感器，用于为终端设备提供各个方面的状态评估。例如，传感器组件1208可以检测到终端设备的打开/关闭状态，组件的相对定位，用户与终端设备接触的存在或不存在。传感器组件1208可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在，包括检测用户与终端设备间的距离。在一些实施例中，该传感器组件1208还可以包括摄像头等。

通信组件1203被配置为便于终端设备和其他设备之间有线或无线方式的通信。终端设备可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个实施例中，该终端设备中可以包括SIM卡插槽，该SIM卡插槽用于插入SIM卡，使得终端设备可以登录GPRS网络，通过互联网与服务器建立通信。

由上可知，在图7实施例中所涉及的通信组件1203、语音组件1206以及输入/输出接口1207、传感器组件1208均可以作为图6实施例中的输入设备的实现方式。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (41)

1.一种图像处理系统，其特征在于，包括图像采集端、图像检测端、服务端；所述图像采集端通过所述图像检测端与所述服务端相连；

所述图像采集端，用于获取划分的每个商品区域内的图像信息数据；

所述图像检测端，用于检测所述图像信息数据，获得所述商品区域内的人体特征数据；

所述服务端，用于根据所述人体特征数据，确定与所述人体特征数据对应的一维或多维分析结果。

2.根据权利要求1所述的图像处理系统，其特征在于，通过所述图像采集端的监控画面，划分各个商品区域；或者，通过商品区域布局图，划分各个商品区域。

3.根据权利要求2所述的图像处理系统，其特征在于，还包括客户端；其中，所述客户端分别与所述图像检测端、所述服务端相连；

通过所述客户端访问所述图像检测端，在所述图像检测端上查看每路图像采集端的监控画面，在所述监控画面中绘制各个商品区域。

4.根据权利要求3所述的图像处理系统，其特征在于，商品区域划分信息存储至所述图像检测端。

5.根据权利要求4所述的图像处理系统，其特征在于，所述服务端，用于从所述图像检测端获取商品区域划分信息。

6.根据权利要求2所述的图像处理系统，其特征在于，还包括客户端；其中，所述客户端分别与所述图像检测端、所述服务端相连；

通过所述客户端访问所述服务端，传输店面布局图至所述服务端；

所述服务端根据所述店面布局图中的商品布局，获取商品区域划分信息。

7.根据权利要求6所述的图像处理系统，其特征在于，所述服务端传输所述商品区域划分信息至所述图像检测端。

8.根据权利要求1所述的图像处理系统，其特征在于，所述图像检测端，还用于检测所述图像信息数据，获得所述商品区域内的商品特征数据。

9.根据权利要求8所述的图像处理系统，其特征在于，所述商品特征数据至少包括：商品所在位置信息、商品类型、商品数量、商品名称、商品价格。

10.根据权利要求1所述的图像处理系统，其特征在于，所述人体特征数据包括以下至少之一：人体头肩特征数据、人脸特征数据、人体行为特征数据和人体承载特征数据。

11.根据权利要求10所述的图像处理系统，其特征在于，若所述人体特征数据为人体头肩特征数据，则所述人体头肩特征数据包括以下至少之一：人体头肩正面照片数据、人体头肩背面照片数据、人体头肩左侧照片数据和人体头肩右侧照片数据。

12.根据权利要求10所述的图像处理系统，其特征在于，若所述人体特征数据为人脸特征数据，则所述人脸特征数据包括以下至少之一：人脸图片清晰度、人脸图片光照强度、人脸图片低头角度、人脸图片抬头角度、人脸图片侧脸角度和人脸图片人脸特征点质量分。

13.根据权利要求10或12所述的图像处理系统，其特征在于，若所述人体特征数据为人脸特征数据，还包括判断所述人脸特征数据是否符合预设的人脸特征数据筛选规则；

若所述人脸特征数据满足以下条件至少之一：人脸图片清晰度大于对应预设值、人脸图片光照强度大于对应预设值、人脸图片低头角度小于对应预设值、人脸图片抬头角度小于对应预设值、人脸图片侧脸角度小于对应预设值和人脸图片人脸特征点质量分大于对应预设值，则符合预设的人脸特征数据筛选规则。

14.根据权利要求10所述的图像处理系统，其特征在于，若所述人体特征数据为人体行为特征数据，则所述人体行为特征数据包括以下至少之一：上肢运动、下肢运动和全身运动。

15.根据权利要求14所述的图像处理系统，其特征在于，所述上肢运动包括以下至少之一：推、拉和鞭打；

所述下肢运动包括以下至少之一：缓冲、蹬伸和鞭打；

所述全身运动包括以下至少之一：摆动、扭动和相向运动。

16.根据权利要求10所述的图像处理系统，其特征在于，若所述人体特征数据为人体承载特征数据，则所述人体承载特征数据包括人体穿着特征数据；

所述人体穿着特征数据包括以下至少之一：人体衣服特征数据、人体装饰物特征数据。

17.根据权利要求16所述的图像处理系统，其特征在于，所述人体装饰物特征数据包括以下至少之一：人体佩戴的戒指特征数据、人体佩戴的手镯数据、人体佩戴的耳环数据。

18.根据权利要求1所述的图像处理系统，其特征在于，所述分析结果包括以下至少之一：人员在所述商品区域内的分布、人员在所述商品区域内的密度、人员在一时间阈值范围内的热力图、人员在所述商品区域内的变化趋势、统计人员在所述商品区域内的数量、统计人员进入或离开所述商品区域的次数、分析人员的消费倾向或消费习惯。

19.根据权利要求13所述的图像处理系统，其特征在于，所述服务端还预设有用于识别人脸特征数据的匹配单元和用于创建人员数据信息的输入单元；

所述匹配单元用于与所述商品区域内符合人脸特征数据筛选规则的人脸特征数据进行对比，根据比对结果判断匹配单元中是否存在符合人脸特征数据筛选规则的人脸特征数据；若存在，则匹配出与所述人脸特征数据相对应的人员数据信息；若不存在，则在输入单元中创建此次在所述商品区域内采集到的符合人脸特征数据筛选规则的人脸特征数据所对应的人员数据信息。

20.根据权利要求19所述的图像处理系统，其特征在于，所述输入单元还统计某一时间段内所述匹配单元与在所述商品区域内采集的符合人脸特征数据筛选规则的人脸特征数据匹配成功的次数，以及统计在输入单元内创建人员数据信息的次数。

21.根据权利要求13所述的图像处理系统，其特征在于，所述服务端内还包括有用于统计所述图像检测设备在所述商品区域内采集的人脸图片的人员计数引擎单元、用于分析在所述商品区域内采集的符合人脸特征数据筛选规则的人脸特征数据的属性分析引擎单元和用于存储输入单元创建的人员数据信息的存储单元。

22.根据权利要求1所述的图像处理系统，其特征在于，还包括有通信模块，所述通信模块用于传输所述分析结果。

23.一种图像处理方法，其特征在于，所述方法步骤如下：

获取每个商品区域内的图像信息数据；

检测所述图像信息数据，获得所述商品区域内的人体特征数据；

根据所述人体特征数据，确定与所述人体特征数据对应的一维或多维分析结果。

24.根据权利要求23所述的图像处理方法，其特征在于，通过图像采集端的监控画面，划分各个商品区域；或者，通过商品区域布局图，划分各个商品区域。

25.根据权利要求24所述的图像处理方法，其特征在于，通过客户端访问所述图像检测端，在所述图像检测端上查看每路图像采集端的监控画面，在所述监控画面中绘制各个商品区域。

26.根据权利要求24所述的图像处理方法，其特征在于，商品区域划分信息存储至所述图像检测端。

27.根据权利要求26所述的图像处理方法，其特征在于，所述服务端，用于从所述图像检测端获取商品区域划分信息。

28.根据权利要求24所述的图像处理方法，其特征在于，通过所述客户端访问所述服务端，传输店面布局图至所述服务端；

所述服务端根据所述店面布局图中的商品布局，获取商品区域划分信息。

29.根据权利要求28所述的图像处理方法，其特征在于，所述服务端传输所述商品区域划分信息至所述图像检测端。

30.根据权利要求23所述的图像处理方法，其特征在于，所述图像检测端，还用于检测所述图像信息数据，获得所述商品区域内的商品特征数据。

31.根据权利要求30所述的图像处理方法，其特征在于，所述商品特征数据至少包括：商品所在位置信息、商品类型、商品数量、商品名称、商品价格。

32.一种图像处理设备，其特征在于，

获取每个商品区域内的图像信息数据；

检测所述图像信息数据，获得所述商品区域内的人体特征数据；

根据所述人体特征数据，确定与所述人体特征数据对应的一维或多维分析结果。

33.根据权利要求32所述的图像处理设备，其特征在于，通过图像采集端的监控画面，划分各个商品区域；或者，通过商品区域布局图，划分各个商品区域。

34.根据权利要求33所述的图像处理设备，其特征在于，通过客户端访问所述图像处理设备，在所述图像处理设备上查看每路图像采集端的监控画面，在所述监控画面中绘制各个商品区域。

35.根据权利要求34所述的图像处理设备，其特征在于，商品区域划分信息存储至所述图像处理设备。

36.根据权利要求33所述的图像处理设备，其特征在于，通过客户端访问所述图像处理设备，传输店面布局图至所述图像处理设备；

所述图像处理设备根据所述店面布局图中的商品布局，获取商品区域划分信息。

37.根据权利要求32所述的图像处理设备，其特征在于，所述图像处理设备，还用于检测所述图像信息数据，获得所述商品区域内的商品特征数据。

38.根据权利要求37所述的图像处理设备，其特征在于，所述商品特征数据至少包括：商品所在位置信息、商品类型、商品数量、商品名称、商品价格。

39.一种图像处理云平台，其特征在于，包括有权利要求1至22中任一权利要求所述的图像处理系统。

40.一种设备，其特征在于，包括：

一个或多个处理器；和

其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行如权利要求23-31中一个或多个所述的方法。

41.一个或多个机器可读介质，其特征在于，其上存储有指令，当由一个或多个处理器执行时，使得设备执行如权利要求23-31中一个或多个所述的方法。