CN115601877A - 一种基于图像处理的自动售卖机识别系统及其识别方法 - Google Patents

Abstract

本发明提供了一种基于图像处理的自动售卖机识别系统及其识别方法，其识别系统包括：授权端，用于获取买家的高清人脸图像，基于所述高清人脸图像对所述买家进行授权认证，获得授权认证结果；监控端，用于基于所述授权认证结果控制所述自动售卖机开启购买窗口，并获取所述买家在所述自动售卖机中拿取商品的全程视频；结算端，用于基于在所述全程视频中识别出的待结算商品生成待结算订单，基于所述待结算订单和所述授权认证结果执行自动扣款操作；用以通过人脸识别功能和云端授权认证相结合，实现了对用户的人脸认证授权，再基于人脸动态识别拿取过程并生成对应买家的待结算订单，提高了交易效率，也使得交易过程更加智能。

Description

一种基于图像处理的自动售卖机识别系统及其识别方法

技术领域

本发明涉及图像识别和自动售卖机融合技术领域，特别涉及一种基于图像处理的自动售卖机识别系统及其识别方法。

背景技术

目前，无人零售的发展很快速，传统的自动售货机、智能自动售货机以及开放式共享货架技术已经相当成熟，当前存在的自动售卖机的识别方式共有以下四种：

静态识别，此种方法需要在无人售卖机中设置大量的摄像装置，不仅成本昂贵且占用空间大，而且有致命的技术问题，由于摄像角度固定，在识别人为拿取过程中被遮挡的商品时识别效果较差；

RFID识别，虽然这种方式在设计的时候难度较低，但是因为产品都需要贴上RFID识别签，需要消耗一定的人力和物力，后期的成本较高；

重力识别，这种方法无法判断重量非常相近的商品，另外如果商品倾斜或者自动售货机倾斜，或者商品相互依靠，就会影响重力感应，从而影响系统对顾客所取商品的判断；

动态识别，此种方法虽然既克服了设置成本，也有较好的识别效果，但是现存的自动售货机的动态识别仅应用于用户拿取过程中对商品的识别，对于自动售货机的支付交易功能还不够智能，需要用户在每次交易之前都进行自助结算操作，交易效率低下，且无法识别出拿取行为以及商品订单的归属性，交易过程不过智能。

因此，本发明提出了一种基于图像处理的自动售卖机识别系统及其识别方法。

发明内容

本发明提供一种基于图像处理的自动售卖机识别系统及其识别方法，用以通过人脸识别功能和云端授权认证相结合，实现了对对应用户的人脸认证授权，再基于人脸动态识别拿取过程并生成对应买家的待结算订单，实现了买家无需每次交易之间都进行自助结算，提高了交易效率，也实现了识别出拿取行为以及商品订单的归属性，使得交易过程更加智能。

本发明提供一种基于图像处理的自动售卖机识别系统，包括：

授权端，用于获取买家的高清人脸图像，基于所述高清人脸图像对所述买家进行授权认证，获得授权认证结果；

监控端，用于基于所述授权认证结果控制所述自动售卖机开启购买窗口，并获取所述买家在所述自动售卖机中拿取商品的全程视频；

结算端，用于基于在所述全程视频中识别出的待结算商品生成待结算订单，基于所述待结算订单和所述授权认证结果执行自动扣款操作。

优选的，所述授权端，包括：

指令接收模块，用于基于设置在所述自动售卖机外部的触摸显示屏，接收所述买家输入的购买请求指令；

图像获取模块，用于当接收到所述购买请求指令时，获取所述自动售卖机前预设范围内的所有高清人脸图像；

授权认证模块，用于基于所述购买请求指令和所有高清人脸图像对所述买家进行授权认证，获得授权认证结果。

优选的，所述图像获取模块，包括：

图像获取单元，用于当接收到所述购买请求指令时，获取所述自动售卖机前预设范围内的所有人员图像；

动态追踪单元，用于对所述人员图像进行动态追踪，获得每个人员图像的动态追踪视频；

脸部识别单元，用于基于所述动态追踪视频识别出所述自动售卖机前预设范围内的所有高清人脸图像。

优选的，所述脸部识别单元，包括：

脸部确定子单元，用于在所述动态追踪视频中识别出每个人员图像的动态脸部视频，在所述动态脸部视频中的每个脸部图像帧中确定出脸部区域和脸部轮廓；

框架确定子单元，用于确定出预设骨点列表中包含的定位骨点在所述脸部区域中对应的骨点位置，基于定位骨点之间的预设连接关系，将所述脸部区域中包含的骨点位置进行连接，获得所述脸部区域对应的骨点分布框架；

角度确定子单元，用于将所述骨点分布框架与标准骨点分布立体框架进行环绕匹配，确定出所述脸部区域的拍摄角度；

最佳确定子单元，用于判断每个拍摄角度对应的脸部区域是否不止一个，若是，则获取对应拍摄角度的脸部区域集合和脸部轮廓集合，并基于所述脸部区域集合和所述脸部轮廓集合拟合出对应拍摄角度的最佳脸部区域和最佳脸部轮廓，否则，将对应的脸部区域作为对应拍摄角度的最佳脸部区域，同时，将对应的脸部轮廓作为对应拍摄角度的最佳脸部轮廓；

区域确定子单元，用于基于所述拍摄角度和所述标准骨点分布立体框架中的变幅较小区域，确定出所述最佳脸部区域中的第一变幅较小区域；

五官确定子单元，用于将所述最佳脸部区域中除所述第一变幅较小区域以外剩余的区域当作五官区域，识别出所述五官区域中的五官轮廓，基于所述五官轮廓和所述五官区域中包含的骨点位置，计算出所述五官区域的运动幅度，将最小运动幅度对应的五官区域作为对应拍摄角度的最佳五官区域；

模型还原子单元，用于基于每个拍摄角度对应的最佳脸部轮廓对所述标准骨点分布立体框架进行轮廓还原，并基于每个拍摄角度对应的第一变幅较小区域和对应的最佳五官区域对所述标准骨点分布立体框架进行局部还原，获得对应人员图像的脸部立体模型；

图像处理子单元，用于在所述动态脸部视频中筛选出每个人员图像对应的最佳脸部图像，基于对应的脸部立体模型对所述最佳脸部图像进行局部还原，获得所述自动售卖机前预设范围内的高清人脸图像。

优选的，所述授权认证模块，包括：

终端确定单元，用于基于所述购买请求指令确定出授权认证终端；

指令发送单元，用于基于所有高清人脸图像和所述购买请求指令生成授权认证指令，并将所述授权认证指令发送至所述授权认证终端；

账号确定单元，用于接收来自所述授权认证终端的授权认证反馈指令，基于所述授权认证反馈指令确定出所述买家的买家脸部图像和自动扣款账号；

授权认证单元，用于基于所述自动扣款账号对所述买家进行授权认证，并结合所述买家脸部图像，获得授权认证结果。

优选的，所述授权认证单元，包括：

余额获取子单元，用于获取所述自动扣款账号内的可扣款余额；

授权认证子单元，用于当所述可扣款余额不低于可授权余额时，则将所述买家通过授权认证和所述买家脸部图像作为授权认证结果，否则，将所述买家未通过授权认证作为授权认证结果，并向所述授权认证终端发送授权认证未通过提示指令。

优选的，所述监控端，包括：

开启控制模块，用于当所述授权认证结果为所述买家通过授权认证时，则控制所述自动售卖机开启购买窗口；

脸部获取模块，用于当所述授权认证结果为所述买家通过授权认证时，则基于所述授权认证结果获取所述买家的买家脸部图像；

视频筛选模块，用于基于设置在所述自动售卖机内部的摄像头获取内部拿取视频，基于所述买家脸部图像在所述内部拿取视频中筛选出所述买家在所述自动售卖机中拿取商品的全程视频。

优选的，所述结算端，包括：

商品识别模块，用于在所述全程视频中识别出本次购买过程的待结算商品；

订单商品模块，用于基于所述待结算商品生成待结算订单；

自动结算模块，用于基于所述授权认证结果获取对应买家账户的扣款权限，基于所述扣款权限和所述待结算订单在所述买家账户进行自动扣款操作。

优选的，所述商品识别模块，包括：

区域追踪单元，用于确定出所述全程视频中相邻视频帧之间的差异区域，基于所述全程视频对所述差异区域进行视频追踪，获得差异区域序列；

权重确定单元，用于将所述差异区域序列和所述全程视频进行帧对齐处理，获得对应的对齐结果，基于所述对齐结果确定出所述差异区域序列最末帧与所述全程视频最末帧之间的帧间隔，基于所述差异区域序列的帧总数和所述帧间隔确定出对应的差异区域的筛选权重；

轮廓还原单元，用于将筛选权重不小于权重阈值的差异区域序列作为对应的疑似商品区域序列，对所述疑似商品区域序列中的疑似商品区域进行边缘提取，获得对应的疑似商品边缘集合，基于所述疑似商品边缘集合还原出对应的疑似商品立体轮廓；

序列判别单元，用于计算出所述疑似商品轮廓和预设商品轮廓列表中包含的每个商品轮廓之间的匹配度，判断预设商品轮廓列表中是否存在与所述疑似商品轮廓的匹配度大于匹配度阈值的商品轮廓，若是，则将对应的疑似商品区域序列作为对应的待识别序列，否则，判定所述疑似商品区域序列不是待识别序列；

矩阵确定单元，用于基于待识别序列中每个待识别区域对应的灰度分布数据确定出对应的灰度阈值，基于灰度阈值对对应待识别区域进行二值化处理，获得二值化区域序列，基于预设划分方式将所述二值化区域序列中每个二值化区域划分为多个待识别子区域，确定出所述待识别子区域的纹理渐变表征值，基于每个待识别子区域的纹理渐变表征值确定出所述二值化区域的纹理渐变特征矩阵；

矩阵拼接单元，用于基于所述二值化区域序列的帧序列将所有二值化区域的纹理渐变特征矩阵进行排序，获得对应的纹理渐变特征矩阵序列，确定出纹理渐变特征矩阵序列中相邻纹理渐变特征矩阵之间的重叠部分，基于重叠部分和所述帧序列将纹理渐变特征矩阵序列中的所有纹理渐变特征矩阵进行拼接，获得对应的综合纹理渐变矩阵；

商品确定单元，用于将与所述综合纹理渐变矩阵的相似度最大的标准纹理渐变矩阵对应的商品作为待结算商品。

本发明提供一种基于图像处理的自动售卖机识别方法，包括：

S1：获取买家的高清人脸图像，基于所述高清人脸图像对所述买家进行授权认证，获得授权认证结果；

S2：基于所述授权认证结果控制所述自动售卖机开启购买窗口，并获取所述买家在所述自动售卖机中拿取商品的全程视频；

S3：基于在所述全程视频中识别出的待结算商品生成待结算订单，基于所述待结算订单和所述授权认证结果执行自动扣款操作。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例中一种基于图像处理的自动售卖机识别系统示意图；

图2为本发明实施例中一种授权端示意图；

图3为本发明实施例中一种图像获取模块示意图；

图4为本发明实施例中一种脸部识别单元示意图；

图5为本发明实施例中一种授权认证模块示意图；

图6为本发明实施例中一种授权认证单元示意图；

图7为本发明实施例中一种监控端示意图；

图8为本发明实施例中一种结算端示意图；

图9为本发明实施例中一种商品识别模块示意图；

图10为本发明实施例中一种基于图像处理的自动售卖机识别方法流程图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

实施例1：

本发明提供了一种基于图像处理的自动售卖机识别系统，参考图1，包括：

授权端，用于获取买家的高清人脸图像，基于所述高清人脸图像对所述买家进行授权认证，获得授权认证结果；

监控端，用于基于所述授权认证结果控制所述自动售卖机开启购买窗口，并获取所述买家在所述自动售卖机中拿取商品的全程视频；

结算端，用于基于在所述全程视频中识别出的待结算商品生成待结算订单，基于所述待结算订单和所述授权认证结果执行自动扣款操作。

该实施例中，高清人脸图像即为基于设置在自动售卖机外部的摄像机获取的买家的高清的人脸图像。

该实施例中，授权认证结果即为基于高清人脸图像对买家进行授权认证后获得的结果，包括买家是否通过授权认证的结果和买家的高清人脸图像。

该实施例中，基于所述授权认证结果控制所述自动售卖机开启购买窗口即为：当授权认证结果为买家通过授权认证，则控制自动售卖机开启购买黄口。

该实施例中，购买窗口即为自动售卖机的拿取商品的窗口。

该实施例中，全程视频即为监控买家在自动售卖机拿取商品全程过程的视频。

该实施例中，待结算商品即为在全程视频中识别出的买家拿取的商品。

该实施例中，待结算订单即为基于待结算商品生成的需要买家结算的订单。

该实施例中，自动扣款操作即为基于带解散订单和授权认证结果在买家账户中自动执行的扣款操作。

以上技术的有益效果为：通过人脸识别功能和云端授权认证相结合，实现了对对应用户的人脸认证授权，再基于人脸动态追踪拿取过程并识别出拿取的商品生成对应买家的待结算订单，实现了买家无需每次交易之间都进行自助结算，提高了交易效率，也实现了识别出拿取行为以及商品订单的归属性，使得交易过程更加智能。

实施例2：

在实施例1的基础上，所述授权端，参考图2，包括：

指令接收模块，用于基于设置在所述自动售卖机外部的触摸显示屏，接收所述买家输入的购买请求指令；

图像获取模块，用于当接收到所述购买请求指令时，获取所述自动售卖机前预设范围内的所有高清人脸图像；

授权认证模块，用于基于所述购买请求指令和所有高清人脸图像对所述买家进行授权认证，获得授权认证结果。

该实施例中，触摸显示屏即为设置在自动售卖机外部并用于接收买家输入的购买请求指令的触屏装置。

该实施例中，购买请求指令即为买家在触摸显示屏上输入的用于请求在自动售卖机购买商品的指令。

该实施例中，预设范围即为自动售卖机外部设置的摄像机的预设的摄像范围(具体根据实际情况设置)。

以上技术的有益效果为：基于用户输入的购买请求指令获取在自动售卖机前的所有高清人脸图像，实现了基于人脸图像对用户进行个性化授权认证，为后续基于人脸图像和全程视频确定订单归属性提供了基础，也实现除第一次外无需买家每次购买之前都执行认证操作或者自助结算操作，既提高了交易效率，也提高了交易过程的智能化程度。

实施例3：

在实施例2的基础上，所述图像获取模块，参考图3，包括：

图像获取单元，用于当接收到所述购买请求指令时，获取所述自动售卖机前预设范围内的所有人员图像；

动态追踪单元，用于对所述人员图像进行动态追踪，获得每个人员图像的动态追踪视频；

脸部识别单元，用于基于所述动态追踪视频识别出所述自动售卖机前预设范围内的所有高清人脸图像。

该实施例中，人员图像即为自动售卖机前预设范围内的所有人体的图像。

该实施例中，动态追踪视频即为基于设置在自动售卖机外部的摄像机对人员图像进行动态追踪后获得的人员图像对应的追踪视频。

以上技术的有益效果为：当接收到购买请求指令时，获取自动售卖机前的所有人员图像并对人员图像进行动态追踪，为获取买家的高清人脸图像提供了图像基础。

实施例4：

在实施例3的基础上，所述脸部识别单元，参考图4，包括：

脸部确定子单元，用于在所述动态追踪视频中识别出每个人员图像的动态脸部视频，在所述动态脸部视频中的每个脸部图像帧中确定出脸部区域和脸部轮廓；

框架确定子单元，用于确定出预设骨点列表中包含的定位骨点在所述脸部区域中对应的骨点位置，基于定位骨点之间的预设连接关系，将所述脸部区域中包含的骨点位置进行连接，获得所述脸部区域对应的骨点分布框架；

角度确定子单元，用于将所述骨点分布框架与标准骨点分布立体框架进行环绕匹配，确定出所述脸部区域的拍摄角度；

最佳确定子单元，用于判断每个拍摄角度对应的脸部区域是否不止一个，若是，则获取对应拍摄角度的脸部区域集合和脸部轮廓集合，并基于所述脸部区域集合和所述脸部轮廓集合拟合出对应拍摄角度的最佳脸部区域和最佳脸部轮廓，否则，将对应的脸部区域作为对应拍摄角度的最佳脸部区域，同时，将对应的脸部轮廓作为对应拍摄角度的最佳脸部轮廓；

区域确定子单元，用于基于所述拍摄角度和所述标准骨点分布立体框架中的变幅较小区域，确定出所述最佳脸部区域中的第一变幅较小区域；

五官确定子单元，用于将所述最佳脸部区域中除所述第一变幅较小区域以外剩余的区域当作五官区域，识别出所述五官区域中的五官轮廓，基于所述五官轮廓和所述五官区域中包含的骨点位置，计算出所述五官区域的运动幅度，将最小运动幅度对应的五官区域作为对应拍摄角度的最佳五官区域；

模型还原子单元，用于基于每个拍摄角度对应的最佳脸部轮廓对所述标准骨点分布立体框架进行轮廓还原，并基于每个拍摄角度对应的第一变幅较小区域和对应的最佳五官区域对所述标准骨点分布立体框架进行局部还原，获得对应人员图像的脸部立体模型；

图像处理子单元，用于在所述动态脸部视频中筛选出每个人员图像对应的最佳脸部图像，基于对应的脸部立体模型对所述最佳脸部图像进行局部还原，获得所述自动售卖机前预设范围内的高清人脸图像。

该实施例中，动态脸部视频即为在动态追踪视频中识别出的每个人员图像的脸部视频。

该实施例中，脸部区域即为动态脸部视频中的每个脸部图像帧中确定出的脸部的图像区域。

该实施例中，脸部轮廓即为动态脸部视频中的每个脸部图像帧中确定出的脸部的区域轮廓。

该实施例中，骨点分布框架即为将脸部区域中包含的骨点位置进行连接后获得的表征脸部区域骨点分布情况的框架。

该实施例中，预设骨点列表即为包含定位骨点的列表，定位骨点例如有：眉弓、鼻骨、颧骨等。

该实施例中，骨点位置即为定位骨点在脸部区域中的位置。

该实施例中，预设连接关系即为预设的定位骨点之间的连接关系，例如：两个眉弓之间的连接关系、眉弓和鼻骨之间的连接关系。

该实施例中，将所述骨点分布框架与标准骨点分布立体框架进行环绕匹配，确定出所述脸部区域的拍摄角度，即为：

将骨点分布框架与标准骨点分布立体框架进行多角度匹配，确定出骨点分布框架在标准骨点分布立体框架的位置与脸部中心位置之间的旋转角度，将旋转角度作为脸部区域的拍摄角度。

该实施例中，标准骨点分布立体框架即为包含预设骨点列表中所有定位骨点的脸部骨点立体框架。

该实施例中，基于所述脸部区域集合和所述脸部轮廓集合拟合出对应拍摄角度的最佳脸部区域和最佳脸部轮廓，包括：

计算出脸部区域集合中每个脸部区域的第一视觉效果值，即为：

脸部区域中所有像素点的灰度值、色度值、对比度值的平均值作为脸部区域的第一视觉效果值。

将最大第一视觉效果值对应的脸部区域作为对应拍摄角度的最佳脸部区域；

计算出脸部轮廓集合中每个脸部轮廓的第二视觉效果值，即为：

脸部轮廓中所有像素点的灰度值、色度值、对比度值的平均值作为脸部轮廓的第二视觉效果值。

将最大第二视觉效果值对应的脸部轮廓作为对应拍摄角度的最佳脸部轮廓。

该实施例中，脸部区域集合即为相同拍摄角度的脸部区域构成的集合。

该实施例中，脸部轮廓集合即为相同拍摄角度的脸部轮廓构成的集合。

该实施例中，最佳脸部区域即为确定出的对应拍摄角度的视觉效果最佳的脸部区域。

该实施例中，最佳脸部轮廓即为确定出的对应拍摄角度的视觉效果最佳的脸部轮廓。

该实施例中，变幅较小区域例如：额头区域、下巴区域、太阳穴区域、脸颊区域。

该实施例中，第一变幅较小区域即为标准骨点分布立体框架中的变幅较小区域在最佳脸部区域中的对应区域。

该实施例中，基于所述五官轮廓和所述五官区域中包含的骨点位置，计算出所述五官区域的运动幅度，包括：

将五官区域划分为眼睛区域、鼻子区域、嘴巴区域，并将眼睛区域、鼻子区域、嘴巴区域都当作子五官区域；

将每个子五官区域的所有轮廓像素点的坐标值均值作为子五官区域的基准位置；

将与基准位置最近的骨点位置作为子五官区域的基准骨点位置；

将基准位置至基准骨点位置的向量作为基准向量，并确定出子五官区域中每个像素点至基准骨点位置的指向向量；

基于所有子五官区域中的基准向量和所有指向向量，确定出五官区域的运动幅度：

式中，α为五官区域的运动幅度，j为第j个子五官区域，n为子五官区域的总数，k为子五官区域中的第k个指向向量，b为子五官区域中包含的指向向量的总数，

为第j个子五官区域的基准向量，

为所有子五官区域的基准向量的平均向量，

为

的绝对值，

为

的绝对值，

为第j个子五官区域中的第k个指向向量，

为

的绝对值；

例如，五官区域中包含两个子五官区域，第一个子五官区域中的指向向量依次为(1,1)、(3,3)，基准向量为(2,2)，第二个子五官区域中的指向向量依次为(4,4)、(8,8)，基准向量为(6,6)，

为(4,4)，则α为0.5。

该实施例中，五官区域即为最佳脸部区域中除第一变幅较小区域以外剩余的区域。

该实施例中，五官轮廓即为五官区域的轮廓。

该实施例中，最佳五官区域即为最小运动幅度对应的五官区域。

该实施例中，脸部立体模型即为基于每个拍摄角度对应的最佳脸部轮廓对标准骨点分布立体框架进行轮廓还原，并基于每个拍摄角度对应的第一变幅较小区域和对应的最佳五官区域对标准骨点分布立体框架进行局部还原，获得的对应人员图像的脸部模型。

该实施例中，基于对应的脸部立体模型对所述最佳脸部图像进行局部还原，获得所述自动售卖机前预设范围内的高清人脸图像，即为：

基于脸部立体模型中的局部色度值、亮度值、对比度对最佳脸部图像进行局部还原，获得自动售卖机前预设范围内的高清人脸图像。

该实施例中，最佳脸部图像即为视觉效果最佳的脸部图像，也即为包含的所有像素点的灰度值、色度值、亮度值的平均值最大的脸部图像。

以上技术的有益效果为：通过确定出定位骨点在脸部区域中的位置以及骨点之间的连接关系，构建出骨点分布框架，通过将骨点分布框架与标准骨点分布立体框架进行环绕匹配，可以确定出脸部区域的拍摄角度，进而为还原出高清人脸图像提供了重要的还原标准，再确定出每个拍摄角度对应的最佳脸部区域和最佳脸部轮廓以及第一变幅较小区域，再基于骨点和最佳脸部区域中的五官区域中的五官轮廓确定出五官运动幅度，将最小运动幅度对应的五官区域作为最佳五官区域，基于确定出的每个拍摄角度对应的最佳脸部轮廓和第一变幅较小区域以及五官区域，再结合标准骨点分布立体框架实现对对应人员的脸部模型的还原构建，进而为后续在最佳脸部图像的基础上再进行局部还原提供了重要基础，实现了更高清的脸部图像提取校正。

实施例5：

在实施例2的基础上，所述授权认证模块，参考图5，包括：

终端确定单元，用于基于所述购买请求指令确定出授权认证终端；

指令发送单元，用于基于所有高清人脸图像和所述购买请求指令生成授权认证指令，并将所述授权认证指令发送至所述授权认证终端；

账号确定单元，用于接收来自所述授权认证终端的授权认证反馈指令，基于所述授权认证反馈指令确定出所述买家的买家脸部图像和自动扣款账号；

授权认证单元，用于基于所述自动扣款账号对所述买家进行授权认证，并结合所述买家脸部图像，获得授权认证结果。

该实施例中，授权认证终端即为买家可以接收授权认证指令的通讯终端设备，例如：手机。

该实施例中，基于所述购买请求指令确定出授权认证终端，例如：在触摸显示屏中输入买家的支付宝账号或者微信账号或者手机账号，基于买家的支付宝账号或者微信账号或者手机号生成购买请求指令，并基于该购买请求指令确定出授权认证终端(即登录买家的支付宝账号或者微信账号的手机或者手机号所属终端设备)。

该实施例中，授权认证指令即为将高清人脸图像和购买请求指令相结合生成的用于对买家进行授权认证的指令。

该实施例中，授权认证反馈指令即为用户在授权认证终端输入的反馈指令，包括：用户在授权认证指令中包含的所有高清人脸图像中选择的此次拿取过程动态跟踪的高清人脸图像以及同意执行授权认证的反馈信息以及自动扣款账号。

该实施例中，买家脸部图像即为用户在授权认证指令中包含的所有高清人脸图像中选择的此次拿取过程动态跟踪的高清人脸图像。

该实施例中，自动扣款账号即为用户在授权认证反馈指令中选择给出的自动售卖机自动扣款的账号。

以上技术的有益效果为：基于购买请求指令确定出对应的授权认证终端，再将基于购买请求指令和在自动售卖机前获取的所有高清人脸图像生成的授权认证指令发送至授权认证终端，并接收用户的授权认证反馈指令，不仅实现了对买家的身份认证，也获取了自动扣款账号和自动扣款权限，也基于买家的反馈指令进一步确定了拿取过程中需要追踪的人脸图像，提高了交易的准确性和安全性以及便利性。

实施例6：

在实施例5的基础上，所述授权认证单元，参考图6，包括：

余额获取子单元，用于获取所述自动扣款账号内的可扣款余额；

授权认证子单元，用于当所述可扣款余额不低于可授权余额时，则将所述买家通过授权认证和所述买家脸部图像作为授权认证结果，否则，将所述买家未通过授权认证作为授权认证结果，并向所述授权认证终端发送授权认证未通过提示指令。

该实施例中，可扣款余额即为自动扣款账号中的可以被自动售卖机自动扣款的余额。

该实施例中，可授权余额即为判定买家通过授权认证时的最低可扣款余额。

以上技术的有益效果为：基于自动扣款账号中的可扣款余额对麦基进行授权认真，保证了自动结算的余额充足性，也避免发生因账户余额不足导致扣款失败的情况，提高了自动售卖机交易过程的智能性。

实施例7：

在实施例1的基础上，所述监控端，参考图7，包括：

开启控制模块，用于当所述授权认证结果为所述买家通过授权认证时，则控制所述自动售卖机开启购买窗口；

脸部获取模块，用于当所述授权认证结果为所述买家通过授权认证时，则基于所述授权认证结果获取所述买家的买家脸部图像；

视频筛选模块，用于基于设置在所述自动售卖机内部的摄像头获取内部拿取视频，基于所述买家脸部图像在所述内部拿取视频中筛选出所述买家在所述自动售卖机中拿取商品的全程视频。

该实施例中，内部拿取视频即为基于设置在自动售卖机内部的摄像头获取的所有人员在自动售卖机内部拿取商品的监控视频。

以上技术的有益效果为：当授权认证通过时，才为买家开启购买窗口，避免出现商品被拿取而无法扣款结算的情况，保障了自动售卖机无人售卖过程的安全，基于买家脸部图像在内部拿取视频中提取出买家在自动售卖机中拿取商品的全程视频，为后续确定出待结算商品和待结算订单的归属性提供了关键性的参考基础。

实施例8：

在实施例1的基础上，所述结算端，参考图8，包括：

商品识别模块，用于在所述全程视频中识别出本次购买过程的待结算商品；

订单商品模块，用于基于所述待结算商品生成待结算订单；

自动结算模块，用于基于所述授权认证结果获取对应买家账户的扣款权限，基于所述扣款权限和所述待结算订单在所述买家账户进行自动扣款操作。

该实施例中，扣款权限即为基于授权认证结果获取的自动售卖机可以对买家账号执行自动扣款操作的权限。

以上技术的有益效果为：实现了拿取过程中对拿取商品的动态识别，也实现了订单的自动生成和准确确定归属，并通过获取扣款权限，实现了基于人脸视频自动完成结算，无需买家进行结算操作，既提高了交易效率，也提高了交易过程的智能化程度。

实施例9：

在实施例8的基础上，所述商品识别模块，参考图9，包括：

区域追踪单元，用于确定出所述全程视频中相邻视频帧之间的差异区域，基于所述全程视频对所述差异区域进行视频追踪，获得差异区域序列；

权重确定单元，用于将所述差异区域序列和所述全程视频进行帧对齐处理，获得对应的对齐结果，基于所述对齐结果确定出所述差异区域序列最末帧与所述全程视频最末帧之间的帧间隔，基于所述差异区域序列的帧总数和所述帧间隔确定出对应的差异区域的筛选权重；

轮廓还原单元，用于将筛选权重不小于权重阈值的差异区域序列作为对应的疑似商品区域序列，对所述疑似商品区域序列中的疑似商品区域进行边缘提取，获得对应的疑似商品边缘集合，基于所述疑似商品边缘集合还原出对应的疑似商品立体轮廓；

序列判别单元，用于计算出所述疑似商品轮廓和预设商品轮廓列表中包含的每个商品轮廓之间的匹配度，判断预设商品轮廓列表中是否存在与所述疑似商品轮廓的匹配度大于匹配度阈值的商品轮廓，若是，则将对应的疑似商品区域序列作为对应的待识别序列，否则，判定所述疑似商品区域序列不是待识别序列；

矩阵确定单元，用于基于待识别序列中每个待识别区域对应的灰度分布数据确定出对应的灰度阈值，基于灰度阈值对对应待识别区域进行二值化处理，获得二值化区域序列，基于预设划分方式将所述二值化区域序列中每个二值化区域划分为多个待识别子区域，确定出所述待识别子区域的纹理渐变表征值，基于每个待识别子区域的纹理渐变表征值确定出所述二值化区域的纹理渐变特征矩阵；

矩阵拼接单元，用于基于所述二值化区域序列的帧序列将所有二值化区域的纹理渐变特征矩阵进行排序，获得对应的纹理渐变特征矩阵序列，确定出纹理渐变特征矩阵序列中相邻纹理渐变特征矩阵之间的重叠部分，基于重叠部分和所述帧序列将纹理渐变特征矩阵序列中的所有纹理渐变特征矩阵进行拼接，获得对应的综合纹理渐变矩阵；

商品确定单元，用于将与所述综合纹理渐变矩阵的相似度最大的标准纹理渐变矩阵对应的商品作为待结算商品。

该实施例中，差异区域序列即为基于全程视频对差异区域进行视频追踪后获得的区域序列。

该实施例中，差异区域即为全程视频中相邻视频帧之间的不一样的区域。

该实施例中，对齐结果即为将差异区域序列和全程视频进行帧对齐处理后获得的结果。

该实施例中，帧间隔即为对齐结果中差异区域序列最末帧(即为差异区域序列中的最后一帧)与全程视频最末帧(即为全程视频中的最后一帧)之间包含的帧数。

该实施例中，筛选权重即为对应差异区域的帧间隔和帧总数之间的比值(筛选权重越大代表差异区域在全程视频中越靠前，帧总数越少，正常拿取过程应该是帧总数多且持续到全程视频中的末尾几帧中，所以，筛选权重表征了差异区域可能为商品区域的可能性，筛选权重越大代表差异区域是商品区域的可能性越大)。

该实施例中，疑似商品立体轮廓即为基于疑似商品边缘集合还原出的疑似商品的立体轮廓。

该实施例中，权重阈值即为差异区域序列当作疑似商品区域序列时对应的最小筛选权重。

该实施例中，疑似商品边缘集合即为对疑似商品区域序列中的疑似商品区域进行边缘提取后获得的疑似商品边缘构成的集合。

该实施例中，计算出所述疑似商品轮廓和预设商品轮廓列表中包含的每个商品轮廓之间的匹配度，包括：

确定出疑似商品轮廓中每个像素点的坐标值和预设商品轮廓列表中包含的每个商品轮廓中每个像素点的坐标值；

将疑似商品轮廓中每个像素点的坐标值和对应商品轮廓中对应像素点的坐标值的差值与商品轮廓中对应像素点的坐标值的比值作为对应像素点的差异值，将疑似商品轮廓中所有像素点的差异值的平均值作为疑似商品轮廓和商品轮廓之间的差异度，将1和差异度的差值作为疑似商品轮廓和商品轮廓之间的匹配度。

该实施例中，待识别序列即为与预设商品轮廓列表中的商品轮廓的匹配度大于匹配度阈值的疑似商品轮廓对应的疑似商品区域序列。

该实施例中，匹配度阈值即为疑似商品轮廓对应的疑似商品区域序列被当作待识别序列时对应的最小匹配度。

该实施例中，基于待识别序列中每个待识别区域对应的灰度分布数据确定出对应的灰度阈值，包括：

式中，H为灰度阈值，i为待识别区域中的第i个像素点，h_i为待识别区域中的第i个像素点的灰度值，n为待识别区域中包含的像素点总个数；

例如，待识别区域中包含的三个像素点，灰度值依次是：10、20、30，则H为11。

该实施例中，二值化区域序列即为基于灰度阈值对对应待识别区域进行二值化处理后获得的区域序列。

该实施例中，待识别子区域即为基于预设划分方式将二值化区域序列中每个二值化区域划分后获得的多个子区域。

该实施例中，确定出所述待识别子区域的纹理渐变表征值，即为：

计算出灰度值为255的像素点与所有相邻像素点之间的间隔距离平均值，将待识别子区域中灰度值为255的像素点对应的间隔距离平均值的平均值作为待识别子区域的纹理渐变表征值。

该实施例中，纹理渐变特征矩阵即为基于所有基于每个待识别子区域的纹理渐变表征值和每个待识别子区域在二值化区域中的所处位置，构建出的矩阵。

该实施例中，灰度分布数据即为包含待识别区域中每个像素点的灰度值的数据。

该实施例中，待识别区域即为待识别序列中包含的图像。

该实施例中，预设划分方式例如：将二值化区域均匀划分为M行N列的子区域(其中，M和N的数值根据具体情况设置)。

该实施例中，纹理渐变特征矩阵序列即为基于二值化区域序列的帧序列将所有二值化区域的纹理渐变特征矩阵进行排序后获得的矩阵序列。

该实施例中，确定出纹理渐变特征矩阵序列中相邻纹理渐变特征矩阵之间的重叠部分，即为：相邻纹理渐变特征矩阵之间数值一致的部分。

该实施例中，综合纹理渐变矩阵即为基于重叠部分和帧序列将纹理渐变特征矩阵序列中的所有纹理渐变特征矩阵进行拼接后获得的矩阵。

该实施例中，将与所述综合纹理渐变矩阵的相似度最大的标准纹理渐变矩阵对应的商品作为待结算商品，包括：

计算出每个综合纹理渐变矩阵和标准纹理渐变矩阵之间的相似度，即为：

将综合纹理渐变矩阵中与标准纹理渐变矩阵中数值和位置(数值所处的行列)一致的数值总个数和标准纹理渐变矩阵中包含的数值总个数的比值作为综合纹理渐变矩阵和标准纹理渐变矩阵之间的相似度；

将最大相似度对应的标准纹理渐变矩阵对应的商品作为待结算商品。

该实施例中，标准纹理渐变矩阵即为每个商品对应的标准的综合纹理渐变矩阵。

以上技术的有益效果为：确定出全程视频中相邻视频帧之间的差异区域，获得差异区域序列，将差异区域序列和全程视频进行对齐处理，获得对应结果，基于对齐结果中差异区域序列最末帧和全程视频最末帧之间的帧间隔以及差异区域序列的帧总数，确定出筛选权重，基于筛选权重筛选出是商品区域序列可能性较大的差异区域序列，作为疑似商品区域序列，并基于对疑似商品区域序列的轮廓和预设商品列表中的商品轮廓进行匹配，基于匹配度对疑似商品区域序列再进一步筛选，实现了对差异区域序列的逐步筛选和待结算商品的逐步确定，再基于对最新筛选出的待识别序列进行二值化处理并划分确定出纹理渐变表征值，确定出二值化区域对应的纹理渐变特征矩阵，再基于二值化区域序列对纹理渐变特征矩阵进行拼接获得表征待识别序列对应的物体的纹理渐变特征的矩阵，为准确识别出待结算商品提供了重要的比较数据，基于将拼接获得的综合纹理渐变矩阵和不同商品对应的标准纹理渐变矩阵的相似度比较，确定出了最终的待结算商品，实现了基于帧数比较、轮廓匹配。纹理渐变特征的比较准确确定出待结算商品，比传统的动态识别算法的识别精度更高，误差更小。

实施例10：

本发明提供了一种基于图像处理的自动售卖机识别方法，参考图10，包括：

S1：获取买家的高清人脸图像，基于所述高清人脸图像对所述买家进行授权认证，获得授权认证结果；

S2：基于所述授权认证结果控制所述自动售卖机开启购买窗口，并获取所述买家在所述自动售卖机中拿取商品的全程视频；

S3：基于在所述全程视频中识别出的待结算商品生成待结算订单，基于所述待结算订单和所述授权认证结果执行自动扣款操作。

以上技术的有益效果为：通过人脸识别功能和云端授权认证相结合，实现了对对应用户的人脸认证授权，再基于人脸动态追踪拿取过程并识别出拿取的商品生成对应买家的待结算订单，实现了买家无需每次交易之间都进行自助结算，提高了交易效率，也实现了识别出拿取行为以及商品订单的归属性，使得交易过程更加智能。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于图像处理的自动售卖机识别系统，其特征在于，包括：

授权端，用于获取买家的高清人脸图像，基于所述高清人脸图像对所述买家进行授权认证，获得授权认证结果；

监控端，用于基于所述授权认证结果控制所述自动售卖机开启购买窗口，并获取所述买家在所述自动售卖机中拿取商品的全程视频；

结算端，用于基于在所述全程视频中识别出的待结算商品生成待结算订单，基于所述待结算订单和所述授权认证结果执行自动扣款操作。

2.根据权利要求1所述的一种基于图像处理的自动售卖机识别系统，其特征在于，所述授权端，包括：

指令接收模块，用于基于设置在所述自动售卖机外部的触摸显示屏，接收所述买家输入的购买请求指令；

图像获取模块，用于当接收到所述购买请求指令时，获取所述自动售卖机前预设范围内的所有高清人脸图像；

授权认证模块，用于基于所述购买请求指令和所有高清人脸图像对所述买家进行授权认证，获得授权认证结果。

3.根据权利要求2所述的一种基于图像处理的自动售卖机识别系统，其特征在于，所述图像获取模块，包括：

图像获取单元，用于当接收到所述购买请求指令时，获取所述自动售卖机前预设范围内的所有人员图像；

动态追踪单元，用于对所述人员图像进行动态追踪，获得每个人员图像的动态追踪视频；

脸部识别单元，用于基于所述动态追踪视频识别出所述自动售卖机前预设范围内的所有高清人脸图像。

4.根据权利要求3所述的一种基于图像处理的自动售卖机识别系统，其特征在于，所述脸部识别单元，包括：

脸部确定子单元，用于在所述动态追踪视频中识别出每个人员图像的动态脸部视频，在所述动态脸部视频中的每个脸部图像帧中确定出脸部区域和脸部轮廓；

框架确定子单元，用于确定出预设骨点列表中包含的定位骨点在所述脸部区域中对应的骨点位置，基于定位骨点之间的预设连接关系，将所述脸部区域中包含的骨点位置进行连接，获得所述脸部区域对应的骨点分布框架；

角度确定子单元，用于将所述骨点分布框架与标准骨点分布立体框架进行环绕匹配，确定出所述脸部区域的拍摄角度；

最佳确定子单元，用于判断每个拍摄角度对应的脸部区域是否不止一个，若是，则获取对应拍摄角度的脸部区域集合和脸部轮廓集合，并基于所述脸部区域集合和所述脸部轮廓集合拟合出对应拍摄角度的最佳脸部区域和最佳脸部轮廓，否则，将对应的脸部区域作为对应拍摄角度的最佳脸部区域，同时，将对应的脸部轮廓作为对应拍摄角度的最佳脸部轮廓；

区域确定子单元，用于基于所述拍摄角度和所述标准骨点分布立体框架中的变幅较小区域，确定出所述最佳脸部区域中的第一变幅较小区域；

五官确定子单元，用于将所述最佳脸部区域中除所述第一变幅较小区域以外剩余的区域当作五官区域，识别出所述五官区域中的五官轮廓，基于所述五官轮廓和所述五官区域中包含的骨点位置，计算出所述五官区域的运动幅度，将最小运动幅度对应的五官区域作为对应拍摄角度的最佳五官区域；

模型还原子单元，用于基于每个拍摄角度对应的最佳脸部轮廓对所述标准骨点分布立体框架进行轮廓还原，并基于每个拍摄角度对应的第一变幅较小区域和对应的最佳五官区域对所述标准骨点分布立体框架进行局部还原，获得对应人员图像的脸部立体模型；

图像处理子单元，用于在所述动态脸部视频中筛选出每个人员图像对应的最佳脸部图像，基于对应的脸部立体模型对所述最佳脸部图像进行局部还原，获得所述自动售卖机前预设范围内的高清人脸图像。

5.根据权利要求2所述的一种基于图像处理的自动售卖机识别系统，其特征在于，所述授权认证模块，包括：

终端确定单元，用于基于所述购买请求指令确定出授权认证终端；

指令发送单元，用于基于所有高清人脸图像和所述购买请求指令生成授权认证指令，并将所述授权认证指令发送至所述授权认证终端；

账号确定单元，用于接收来自所述授权认证终端的授权认证反馈指令，基于所述授权认证反馈指令确定出所述买家的买家脸部图像和自动扣款账号；

授权认证单元，用于基于所述自动扣款账号对所述买家进行授权认证，并结合所述买家脸部图像，获得授权认证结果。

6.根据权利要求5所述的一种基于图像处理的自动售卖机识别系统，其特征在于，所述授权认证单元，包括：

余额获取子单元，用于获取所述自动扣款账号内的可扣款余额；

授权认证子单元，用于当所述可扣款余额不低于可授权余额时，则将所述买家通过授权认证和所述买家脸部图像作为授权认证结果，否则，将所述买家未通过授权认证作为授权认证结果，并向所述授权认证终端发送授权认证未通过提示指令。

7.根据权利要求1所述的一种基于图像处理的自动售卖机识别系统，其特征在于，所述监控端，包括：

开启控制模块，用于当所述授权认证结果为所述买家通过授权认证时，则控制所述自动售卖机开启购买窗口；

脸部获取模块，用于当所述授权认证结果为所述买家通过授权认证时，则基于所述授权认证结果获取所述买家的买家脸部图像；

视频筛选模块，用于基于设置在所述自动售卖机内部的摄像头获取内部拿取视频，基于所述买家脸部图像在所述内部拿取视频中筛选出所述买家在所述自动售卖机中拿取商品的全程视频。

8.根据权利要求1所述的一种基于图像处理的自动售卖机识别系统，其特征在于，所述结算端，包括：

商品识别模块，用于在所述全程视频中识别出本次购买过程的待结算商品；

订单商品模块，用于基于所述待结算商品生成待结算订单；

自动结算模块，用于基于所述授权认证结果获取对应买家账户的扣款权限，基于所述扣款权限和所述待结算订单在所述买家账户进行自动扣款操作。

9.根据权利要求8所述的一种基于图像处理的自动售卖机识别系统，其特征在于，所述商品识别模块，包括：

区域追踪单元，用于确定出所述全程视频中相邻视频帧之间的差异区域，基于所述全程视频对所述差异区域进行视频追踪，获得差异区域序列；

权重确定单元，用于将所述差异区域序列和所述全程视频进行帧对齐处理，获得对应的对齐结果，基于所述对齐结果确定出所述差异区域序列最末帧与所述全程视频最末帧之间的帧间隔，基于所述差异区域序列的帧总数和所述帧间隔确定出对应的差异区域的筛选权重；

轮廓还原单元，用于将筛选权重不小于权重阈值的差异区域序列作为对应的疑似商品区域序列，对所述疑似商品区域序列中的疑似商品区域进行边缘提取，获得对应的疑似商品边缘集合，基于所述疑似商品边缘集合还原出对应的疑似商品立体轮廓；

序列判别单元，用于计算出所述疑似商品轮廓和预设商品轮廓列表中包含的每个商品轮廓之间的匹配度，判断预设商品轮廓列表中是否存在与所述疑似商品轮廓的匹配度大于匹配度阈值的商品轮廓，若是，则将对应的疑似商品区域序列作为对应的待识别序列，否则，判定所述疑似商品区域序列不是待识别序列；

矩阵确定单元，用于基于待识别序列中每个待识别区域对应的灰度分布数据确定出对应的灰度阈值，基于灰度阈值对对应待识别区域进行二值化处理，获得二值化区域序列，基于预设划分方式将所述二值化区域序列中每个二值化区域划分为多个待识别子区域，确定出所述待识别子区域的纹理渐变表征值，基于每个待识别子区域的纹理渐变表征值确定出所述二值化区域的纹理渐变特征矩阵；

矩阵拼接单元，用于基于所述二值化区域序列的帧序列将所有二值化区域的纹理渐变特征矩阵进行排序，获得对应的纹理渐变特征矩阵序列，确定出纹理渐变特征矩阵序列中相邻纹理渐变特征矩阵之间的重叠部分，基于重叠部分和所述帧序列将纹理渐变特征矩阵序列中的所有纹理渐变特征矩阵进行拼接，获得对应的综合纹理渐变矩阵；

商品确定单元，用于将与所述综合纹理渐变矩阵的相似度最大的标准纹理渐变矩阵对应的商品作为待结算商品。

10.一种基于图像处理的自动售卖机识别方法，其特征在于，包括：

S1：获取买家的高清人脸图像，基于所述高清人脸图像对所述买家进行授权认证，获得授权认证结果；

S2：基于所述授权认证结果控制所述自动售卖机开启购买窗口，并获取所述买家在所述自动售卖机中拿取商品的全程视频；

S3：基于在所述全程视频中识别出的待结算商品生成待结算订单，基于所述待结算订单和所述授权认证结果执行自动扣款操作。

Images