CN115527238A - 人体识别方法、陈列柜货架、存储介质 - Google Patents

Abstract

本发明公开了一种人体识别方法、陈列柜货架、存储介质。其中人体识别方法，包括：获取人体体温图像；根据不同部位对每一个人体对应的人体体温图像的每一个像素点进行分类；将不同部位的每一个像素点处理为对应的R值、G值以及B值；统计每一个人体的每一个部位由符合条件的相邻像素点组成的色块的数量以及色块对应的R*值、G*值以及B*值；计算每一个人体的每个部位的R*值累计值、G*值累计值以及B*值累计值所占比例；当任意两帧人体体温图像中的两个人体的每个部位的R*值累计值、G*值累计值以及B*值累计值所占比例的变化量均小于等于第一预设变化量时，则判定为同一个人体。本发明通过较低成本和较小的计算量实现了人体识别。

Description

人体识别方法、陈列柜货架、存储介质

技术领域

本发明涉及图像识别的技术领域，尤其涉及一种人体识别方法，以及基于人体识别方法来实现无需人员监管的购物方式的陈列柜货架。

背景技术

鉴于人工成本的上涨，现有的很多商品售卖，都是采用自动售卖机的形式，但是自动售卖机虽然解决了人工成本，但是现有的自动售卖机通常一次只允许一个人挑选物品，当同一时间段内顾客数量较多时，就需要排队，而且大型卖场或是采用众多自动售卖机来销售不同商品的话，会导致顾客需要操作多个自动售卖机，结算多次，因而自动售卖机只能适用于小的短时的购买需求。

若是需要实现无需人员监管且可以符合顾客目前的购物习惯的自动购物方式，需要对卖场内的陈列柜货架前的顾客进行识别，追踪到具体的某一位顾客的所有挑选商品的操作，并得到顾客所有挑选的商品。

现有技术采用图像识别技术来追踪具体的某一位顾客，具体是通过摄像头拍摄高清图像来获取人体的面部、身高、身形等主要特征，从而实现人脸识别等。

现有技术中这些通过摄像头拍摄高清图片，通过高清图片来进行人脸识别、图像识别的技术，主要是基于像素点来进行数据分析。众所周知，越是高清的图片，其像素点越多，因而分析数据量越大，而分辨率较低的图片虽然分析量减少，但是又存在识别不准确的问题。因而现有技术中，为了实现准确的人脸、人体识别，均需要一些高清摄像头、强大的图像处理后台来实现，实现成本较高，使得这种识别技术推广在实现无人监管的自动售卖场景中存在一定的成本门槛。

因此，如何提供一种计算量少、成本较低的人体识别方法是业界需要解决的技术问题。

发明内容

为了解决现有技术中人体识别成本较高、计算量大的技术问题，本发明提出了人体识别方法、陈列柜货架、存储介质。

本发明提出的人体识别方法，包括：

获取人体体温图像；

根据人体的不同部位对每一个人体对应的所述人体体温图像的每一个像素点进行分类；

将各人体的不同部位的每一个像素点处理为对应的R值、G值以及B值；

统计每一个人体的每一个部位由符合条件的相邻像素点组成的色块的数量以及色块对应的R^*值、G^*值以及B^*值；

计算每一个人体的每个部位的R^*值累计值、G^*值累计值以及B^*值累计值所占比例；

当任意两帧人体体温图像中的两个人体的每个部位的R^*值累计值、G^*值累计值以及B^*值累计值所占比例的变化量均小于等于第一预设变化量时，则判定为同一个人体。

进一步，当至少一帧人体体温图像中的人体相对于其之前的至少一帧人体体温图像中的人体的每个部位的R^*值累计值、G^*值累计值以及B^*值累计值所占比例的变化量存在大于第一预设变化量，且小于等于第二预设变化量的情况时，则判定为新增人体。

进一步，当相邻像素点和/或色块的差值的平方之和小于等于预设值，则将相邻像素点和/或色块合并为一个色块。

进一步，通过公式

计算每一个人体的每个部位的R^*值累计值、G^*值累计值以及B^*值累计值所占比例，所述m为色块的数量，X^*为R^*值、G^*值或B^*值。

本发明提出的陈列柜货架，包括货架，红外线热成像设备以及图像信息处理模块，所述红外线热成像设备与图像信息处理模块采用如权利要求1至4任意一项所述的人体识别方法对所述货架前的顾客进行人体体温图像采集和识别。

进一步，还包括商品检测模块和信息处理模块，所述图像信息处理模块在所述红外线热成像设备检测到顾客有抬手挑选动作时发出顾客挑选信号，所述商品检测模块信息处理模块检测所述货架上的商品变化信息，所述信息处理模块根据所述商品变化信息对对应顾客挑选的商品进行处理。

进一步，所述商品信息检测模块包括用于检测所述货架上被顾客取拿的商品的重量的重量检测模块。

进一步，所述商品信息检测模块包括用于拍摄所述货架上被顾客取拿的商品的图像的摄像装置，所述图像信息处理模块对所述商品的图像进行分析，得到商品的种类并发送给所述信息处理模块。

进一步，所述信息处理模块根据商品的种类获取商品的产地，根据商品的种类、商品的产地以及商品的重量得到商品的营养成分。

进一步，还包括用来显示商品的营养成分的显示装置。

进一步，所述红外线热成像设备在顾客与所述货架之间的距离小于预设距离时，检测顾客的抬手挑选动作。

本发明提出的计算机可读存储介质，用于存储计算机程序，所述计算机程序运行时执行上述技术方案所述的人体识别方法。

本发明通过红外热成像得到的人体体温图像，并对人体体温图像进行像素点和/或色块进行合并之后再识别，降低了人体识别的成本和处理数据量。通过本发明的人体识别，可以实现陈列柜货架的无人看守选购商品，同时还可以显示对应的营养成分，使得货架以顾客需求为导向，将产品包装上无营养成分表的食品比如水果蔬菜类的营养成分通过互联网或者预先设置的数据库，根据食品种类在货架上显示营养成分表。并且能够根据顾客的挑选量或者购买量为顾客提供全部营养成分，这样的货架更加智能和人性化。

附图说明

下面结合实施例和附图对本发明进行详细说明，其中：

图1是本发明的一实施例的货架的结构示意图。

图2是本发明的一实施例的货架的内部处理框图。

图3是本发明的一实施例的信息处理流程图。

图4是本发明的另一实施例的信息处理流程图。

图5是本发明的人体识别的一实施例的流程图。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

由此，本说明书中所指出的一个特征将用于说明本发明的一个实施方式的其中一个特征，而不是暗示本发明的每个实施方式必须具有所说明的特征。此外，应当注意的是本说明书描述了许多特征。尽管某些特征可以组合在一起以示出可能的系统设计，但是这些特征也可用于其他的未明确说明的组合。由此，除非另有说明，所说明的组合并非旨在限制。

本发明的人体识别方法，主要包括以下步骤。

获取人体体温图像。由于人体的体温在一个较小的温度范围内，因而可以通过红外线热成像设备来检测人体体温，并得到人体体温图像，得到的人体体温图像是对于人眼来说是具有大片不同色块的彩色图像。

接着根据人体的不同部位对每一个人体对应的人体体温图像的每一个像素点进行分类。虽然人体的总的体温在一个较小的温度范围内，但是不同的人体之间具体部位的温度分布存在不同，例如身高、体重差不多的两位女性，虽然整体体温看似差不多，但是有可能在眼睛、手等各个部位的温度分布情况存在不同，从而可以基于图像识别技术从整体变化看似模糊的彩色图像中准确地识别出不同的两个人。

将各人体的不同部位的每一个像素点处理为对应的R值、G值以及B值，统计每一个人体的每一个部位由符合条件的相邻像素点组成的色块的数量以及色块对应的R^*值、G^*值以及B^*值。这个步骤相对于现有的图像识别技术来说，大大减少了处理的数据量，现有技术的处理基础为像素点，对于一张图像来说，像素点的数量众多，因而处理数据量较大。而本发明利用人体体温的整体波动幅度不大的特点，进一步将像素点合并为色块，以色块为基础来进行数据分析，会使得计算量大大减少，例如两个不同的人的眼睛处的温度分布情况不同，那么将温度很接近的像素点处理为色块，既可以减轻处理的数据量，又可以准确的抓住每一个人的温度特征，区别顾客与顾客之间的体温差异。

计算每一个人体的每个部位的R^*值累计值、G^*值累计值以及B^*值累计值所占比例。在一个具体实施例中，采用公式

计算每一个人体的每个部位的R^*值累计值、G^*值累计值以及B^*值累计值所占比例，其中m为色块的数量，X^*为R^*值、G^*值或B^*值。需要说明的是，并非每个色块一定均具备R、G、B三个值，即每个色块并非一定存在R^*值、G^*值和B^*值，对于有的颜色来说，可能只拥有R^*值和G^*值，没有B^*值，即B^*值为0，这些均取决于颜色本身的特性，现有技术中对于不同颜色的R值、G值、B值的具体取值，均有很多详细的介绍，在本发明中不再进行重复描述。

在计算每个部位的R^*值累计值、G^*值累计值以及B^*值累计值所占比例的步骤中，不仅仅是利用了不同人之间的相同部位的体温差异的特点，还利用到了不同人之间的像素点也存在不同，例如不同人的相同部位的外形存在一定的差异，例如身高以及胖瘦差不多的两位女性，她们的手的形状相同的概率相当低，那么她们手部的像素点的数量也会存在差异，色块的数量也会存在差异。

当任意两帧人体体温图像中的两个人体的每个部位的R^*值累计值、G^*值累计值以及B^*值累计值所占比例的变化量均小于等于第一预设变化量时，则判定为同一个人体。在一个实施例中，当任意两帧人体体温图像中的两个人体的每个部位的R^*值累计值、G^*值累计值以及B^*值累计值所占比例的变化量均小于等于5％时，判定两帧人体体温图像中的两个人体为同一个顾客。

当至少一帧人体体温图像中的人体相对于其之前的至少一帧人体体温图像中的人体的每个部位的R^*值累计值、G^*值累计值以及B^*值累计值所占比例的变化量存在大于第一预设变化量，且小于等于第二预设变化量的情况时，则判定为新增人体。

新增人体的情况可以分为两种情况来描述。

第一种是顾客一挑选完商品之后走了，来了顾客二，则红外线热成像设备所拍摄的连续多帧图像中，人体一(对应顾客一)与人体二(对应顾客二)之间会存在体温分布的差异，因而至少一帧人体体温图像中的人体相对于其之前的至少一帧人体体温图像中的人体的每个部位的R^*值累计值、G^*值累计值以及B^*值累计值所占比例的变化量存在大于第一预设变化量，且小于等于第二预设变化量的情况，例如顾客二刚开时，与前面至少一帧的人体体温图像中的人体之间的每个部位的R^*值累计值、G^*值累计值以及B^*值累计值所占比例的变化量存在大于5％且小于等于10％的情况，那么说明顾客二是一个邢增人体。在过了一段时间以后，顾客二的多帧人体体温图像会趋于温度，那么也会出现两帧人体体温图像中的人体之间的每个部位的R^*值累计值、G^*值累计值以及B^*值累计值所占比例的变化量存在小于等于5％的情况，那么只要之前出现过大于5％的情况，也可以判定顾客二为新增人体。

第二种是故可以挑选完商品还没有离开时，顾客二也来到了同一个货架挑选商品，此时红外线热成像设备所拍摄的连续多帧图像中会新增一个人体，那么可以通过前后不同帧的人体体温图像中人体的每个部位的R^*值累计值、G^*值累计值以及B^*值累计值所占比例的变化量来区分哪个是新来的顾客二，哪个是之前的顾客一。

本发明通过上述步骤实现了成本较低，计算量较小的人体识别目的，使得人体识别技术可以更加广泛地推广到各行各业。

在一个实施例中，上述像素点合并为色块的规则，具体可以采用当相邻像素点和/或色块的差值的平方之和小于等于预设值，则将相邻像素点和/或色块合并为一个色块。例如，计算每一色块(或像素点)与其相邻色块(像素点)之间的差值d1、d2、d3...d8，d＝(R-R1)²+(G-G1)²+(B-B1)²，当d1、d2、d3...d8全部满足≤100，则视作此区域温度一样，并将图像处理为同一个R^*、G^*、B^*，R、G、B为一个像素点或色块的R、G、B值，R1、G1、B1为相邻像素点或相邻色块的R、G、B值。这是现有的图像处理技术也在用的一个规则，本发明与现有技术的差别在于应用的图像不同，本发明应用在人体体温图像中，会使得可合并的像素点较多，因而之后处理的数量量变少。

上述技术方案中，按部位对像素点进行分类具体怎么分可以根据实际需要来选择，例如可以分为头部、四肢和躯干。还可以进一步分为眼睛、鼻子、脸、头发、手、手臂、胸部、腹部以及腿部等。本领域内技术人员可以根据实际需要在区分的精细度和计算量之间进行平衡。

本发明提出的陈列柜货架，包括货架，红外线热成像设备以及图像信息处理模块，红外线热成像设备检测人体体温并将人体体温图像传递给图像信息处理模块，图像信息处理模块采用了上述技术方案的人体识别方法对货架前的顾客进行人体体温图像采集和识别。

在一个实施例中，上述陈列柜货架还包括商品检测模块和信息处理模块。

图像信息处理模块在红外线热成像设备检测到顾客有抬手挑选动作时发出顾客挑选信号，商品检测模块信息处理模块检测货架上的商品变化信息，信息处理模块根据商品变化信息对对应顾客挑选的商品进行处理。例如商品变化信息可以是被顾客取拿的商品的重量、种类当中的至少一种。信息处理模块对商品进行处理可以是根据种类得到商品的产地，再根据商品的产地、重量得到商品的营养成分。信息处理模块还可以对商品进行单价计算等等。

在一个实施例中，商品信息检测模块包括重量检测模块，重量检测模块用于检测货架上被顾客取拿的商品的重量。

在一个实施例中，商品信息检测模块包括摄像装置，摄像装置用于拍摄货架上被顾客取拿的商品的图像，图像信息处理模块对商品的图像进行分析，得到商品的种类并发送给信息处理模块

在进一步的实施例中，信息处理模块根据商品的种类获取商品的产地，根据商品的种类、商品的产地以及商品的重量得到商品的营养成分。例如信息处理模块基于商品供应商提供的产地信息的数据库可以得到商品的产地，再通过互联网检索等方式得到该产地的该种类的商品的营养成分。

红外线热成像设备在顾客与货架之间的距离小于预设距离时，检测顾客的抬手挑选动作。例如，红外线热成像设备在顾客与货架之间的距离小于30厘米时，才检测顾客的抬手挑选动作。通过设置距离条件，再启动抬手挑选动作的识别，通过设置抬手挑选动作的识别条件，再启动具体的人体识别工作，有利于减轻图像信息处理模块的工作量，降低识别系统的功耗。除了通过红外热成像设备来检测顾客与货架之间距离以外，还可以通过其他装置来检测顾客与货架之间的距离。

图1示出了一种常规货架的结构示意图，该货架1具有多层隔板2，每一层隔板2上均设有一个显示装置3，显示装置3具体设置在隔板2靠近顾客一侧，显示装置3用来显示商品的营养成分，每一层隔板2的底部均设置着重量检测模块。

图2示出了货架的内部处理模块的结构框图。图3示出了基于货架的内部处理模块的一个具体处理流程，例如当顾客取拿了隔板上的油麦菜，则重量检测模块可以称量出油麦菜的重量，摄像装置拍到用户取拿的具体为油麦菜，信息处理模块根据油麦菜获取油麦菜的产地，根据油麦菜及其产地以及油麦菜的重量得到油麦菜的营养成分，然后在隔板上的显示装置上显示出来，辅助用户购物。在其他实施例中，显示装置还可以设置在其他地方，例如设置在购物车上，或者设置在货架顶部等。

图4示出了货架处理的另一实施例的流程图。当检测到人体与货架之间的最短距离小于30cm时，检测人体是否有抬手挑选动作，如果没有，判定用户没有购买欲，如果有，则识别人体，获取人体对应的顾客所取拿的商品的商品变化信息，然后通过信息处理模块进行处理以后，在显示装置上显示重量、营养成分、单价、产地、生产时间等信息。

图5示出了一个具体的识别人体的流程图。红外热成像设备捕捉顾客的人体体温图像，然后根据人体的部位对像素点进行分类，如分为头部、躯干部位，然后根据人体的数量判定是否有成员变化，如果没有，对不同帧的人体的相同部位的R^*值累计值、G^*值累计值以及B^*值累计值所占比例的变化量进行计算，如果不同帧的人体的相同部位的R^*值累计值、G^*值累计值以及B^*值累计值所占比例的变化量均小于等于5％，判定是同一个顾客，如果不同帧的不同帧的人体的相同部位的R^*值累计值、G^*值累计值以及B^*值累计值所占比例的变化量存在大于5％的情况，则判定是不同的顾客。如果有成员变化，也是通过不同帧的人体的相同部位的R^*值累计值、G^*值累计值以及B^*值累计值所占比例的变化量的取值来判定哪一个人体是原来的顾客，哪一个人体是新的顾客。

本发明提供的陈列柜货架能够连接互联网，建立对应的数据库，数据库中有各种商品的外观图像数据、产地、营养成分数据等。重量检测模块负责采集和处理货架隔板上商品的质量变化，质量变化可以增加也可以减少。图像采集模块包含了红外热成像设备以及摄像装置，摄像装置可以是C4D相机，也可以是别的生产厂家或者别的型号的相机。红外热成像设备以及摄像装置拍摄到的图像均传递给图像信息处理模块，图像信息处理模块处理图像后将商品信息传递到信息处理模块，信息处理模块根据数据库中的营养成分信息和质量变化等得到营养成分数据，再通过显示装置显示出来。显示装置能以高速频率显示营养成分。

摄像装置具体可以安装在在陈列柜货架的背板和/或侧板上，摄像装置捕捉货架上被顾客取拿的商品的外形图像，在一个实施例中，可以将外形图像上传到云端，即信息处理模块可以位于云端，云端根据图像特征进行信息处理，处理后得出商品种类。重量检测模块判断货架隔板上质量是否有变化，当质量未变化时，显示装置可以显示隔板上所有商品的营养成分含量；当重量发生变化后，显示装置显示质量变化*单位营养成分的乘积。

为了方便多个顾客同时挑选，并且防止陈列柜货架误计算，在每个货架上带有红外检测仪(可以与红外热成像装置为同一个红外线设备，也可以为不同的红外线设备)，红外检测仪能够实时捕捉人体动作与人体与货架之间距离，当人体距离货架＜30cm，且人体有明显的伸手挑选动作时，重量检测模块会将阻断信号之前的重量记录，然后重量检测模块进行一个相对清零模式，相对清零模式下，重量检测模块既能重新称量新的重量变化，又能记忆之前的称量数据，并将称量数据模块化。图像信息处理模块识别顾客，只要顾客信息不发生变化，则基于该顾客的动作所产生的商品重量、时间、编码、种类等信息变化都是此顾客产生的变化，归该顾客所属。

重量检测模块有记忆功能。当一位顾客取拿商品的过程中，摄像装置采集到货架上商品图像p1，同时重量检测模块记录下商品离开货架后质量m1，当该位顾客挑选过程中，摄像装置采集到货架上商品图像p2，会再次记录质量m2，p2与p1会进行对比，当发现图像发生变化后，表明顾客拿取或放下商品，根据质量变化，若m1＞m2，则顾客放下商品，计算出[m1-m2]差值后，屏幕上的营养成分减少。若m1＜m2，则顾客拿取更多商品，计算出[m1-m2]差值后，屏幕上的营养成分增加。

本发明保护计算机可读存储介质，该计算机可读存储介质用于存储计算机程序，该计算机程序运行时执行上述技术方案的人体识别方法。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种人体识别方法，其特征在于，包括：

获取人体体温图像；

根据人体的不同部位对每一个人体对应的所述人体体温图像的每一个像素点进行分类；

将各人体的不同部位的每一个像素点处理为对应的R值、G值以及B值；

统计每一个人体的每一个部位由符合条件的相邻像素点组成的色块的数量以及色块对应的R^*值、G^*值以及B^*值；

计算每一个人体的每个部位的R^*值累计值、G^*值累计值以及B^*值累计值所占比例；

当任意两帧人体体温图像中的两个人体的每个部位的R^*值累计值、G^*值累计值以及B^*值累计值所占比例的变化量均小于等于第一预设变化量时，则判定为同一个人体。

2.如权利要求1所述的人体识别方法，其特征在于，当至少一帧人体体温图像中的人体相对于其之前的至少一帧人体体温图像中的人体的每个部位的R^*值累计值、G^*值累计值以及B^*值累计值所占比例的变化量存在大于第一预设变化量，且小于等于第二预设变化量的情况时，则判定为新增人体。

3.如权利要求1所述的人体识别方法，其特征在于，当相邻像素点和/或色块的差值的平方之和小于等于预设值，则将相邻像素点和/或色块合并为一个色块。

4.如权利要求1所述的人体识别方法，其特征在于，通过公式

计算每一个人体的每个部位的R^*值累计值、G^*值累计值以及B^*值累计值所占比例，所述m为色块的数量，X^*为R^*值、G^*值或B^*值。

5.一种陈列柜货架，包括货架，其特征在于，还包括红外线热成像设备以及图像信息处理模块，所述红外线热成像设备检测人体体温并将人体体温图像传递给图像信息处理模块，所述图像信息处理模块采用如权利要求1至4任意一项所述的人体识别方法对所述货架前的顾客进行人体体温图像采集和识别。

6.如权利要求5所述的陈列柜货架，其特征在于，还包括商品检测模块和信息处理模块，所述图像信息处理模块在所述红外线热成像设备检测到顾客有抬手挑选动作时发出顾客挑选信号，所述商品检测模块信息处理模块检测所述货架上的商品变化信息，所述信息处理模块根据所述商品变化信息对对应顾客挑选的商品进行处理。

7.如权利要求6所述的陈列柜货架，其特征在于，所述商品信息检测模块包括用于检测所述货架上被顾客取拿的商品的重量的重量检测模块。

8.如权利要求6所述的陈列柜货架，其特征在于，所述商品信息检测模块包括用于拍摄所述货架上被顾客取拿的商品的图像的摄像装置，所述图像信息处理模块对所述商品的图像进行分析，得到商品的种类并发送给所述信息处理模块。

9.如权利要求8所述的陈列柜货架，其特征在于，所述信息处理模块根据商品的种类获取商品的产地，根据商品的种类、商品的产地以及商品的重量得到商品的营养成分。

10.如权利要求9所述的陈列柜货架，其特征在于，还包括用来显示商品的营养成分的显示装置。

11.如权利要求6所述的陈列柜货架，其特征在于，所述红外线热成像设备在顾客与所述货架之间的距离小于预设距离时，检测顾客的抬手挑选动作。

12.一种计算机可读存储介质，用于存储计算机程序，其特征在于，所述计算机程序运行时执行如权利要求1至4任意一项所述的人体识别方法。

Images