CN109948602A - 一种识别商品的方法、计算机可读介质及识别系统 - Google Patents

Abstract

本发明涉及一种识别商品的方法，用于识别统计货架上的商品，该方法包括以下步骤，步骤S1：将货架上的商品拍摄成视频；步骤S2：检测视频每一帧图片中的商品特征，并去除相邻两帧图片中的重复部分；步骤S3：统计去除重复部分后的结果，得到货架上的商品。本发明还提供一种计算机可读介质。本发明还提供一种识别系统。

Description

一种识别商品的方法、计算机可读介质及识别系统

【技术领域】

本发明涉及无人零售领域，提供了一种识别商品的方法、计算机可读介质及识别系统。

【背景技术】

现有的无人商店盘点货架上的商品，一般都是通过将货架上的商品拍摄成多张互相有重合的图片，然后通过检测图片中的商品特征，并去除相邻图片中重合部分的商品特征，最后对图片进行拼接实现对货架上商品的盘点，由于这种方法难以判断出相邻图片中的重合部分，因此会导致最终统计结果出错。

【发明内容】

为克服现有技术存在的问题，本发明提供一种识别商品的方法、计算机可读介质及识别系统。

本发明解决技术问题的方案是提供一种识别商品的方法，用于识别统计货架上的商品，该方法包括以下步骤，步骤S1：将货架上的商品拍摄成视频；步骤S2：检测视频每一帧图片中的商品特征，并去除相邻两帧图片中的重复部分；步骤S3：统计去除重复部分后的结果，得到货架上的商品。

优选地，步骤S2包括步骤，步骤S21：检测视频中每一帧图片的商品特征；步骤S22：对检测的商品特征进行跟踪，获得相邻两帧图片中的重复部分；步骤S23：去除相邻两帧图片中的重复部分。

优选地，所述商品特征包括商品的外观特征和位置特征，所述外观特征为商品的形状、颜色及图案，所述位置特征为外观特征在每一帧图片中所处的位置。

优选地，所述商品特征包括商品的外观特征和位置特征，步骤S22包括步骤，步骤S221，识别相邻两帧图片中相同的外观特征；步骤S222，计算相邻两帧图片中相同外观特征的位置特征的变化距离；步骤S223，将相邻两帧图片中变化距离小于阈值的外观特征当作重复部分。

优选地，所述阈值为视频拍摄时每帧图片的时间内移动的距离。

优选地，所述视频为沿货架中商品的摆放顺序拍摄，以确保相邻两帧图片与货架上商品的摆放顺序相同。

优选地，将货架上的商品拍摄成视频之前，先标记商品信息，商品信息包括商品的外观特征、名称和单价。

优选地，在识别出的商品后，根据商品信息获得商品在货架上的分布情况、所占比例及商品总价。

本发明还提供一种计算机可读介质，其特征在于：所述计算机可读介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述的识别商品的方法。

本发明还提供一种识别系统，所述基于视频的货架商品识别系统包括拍摄模块，用于将货架上的商品拍摄成视频；检测模块，用于检测视频每一帧图片中的商品特征，并去除相邻两帧图片中的重复部分；统计模块，用于统计去除重复部分后的结果，得到货架上的商品。

与现有技术相比，本发明的识别商品的方法具有以下优点：

1.由于通过拍摄多张图片识别商品的方法难以判断出相邻图片中的重合部分，因此会导致最终统计结果出错，本发明通过视频的形式拍摄货架上的商品，然后使用跟踪算法对视频中的每一帧图片中的商品特征进行跟踪，获得相邻两帧图片中的重复部分，继而去除重复部分，最后根据去重后的视频识别货架上全部的商品，使最终统计的结果更准确。

2.将货架上的商品拍摄成视频，通过检测视频中每一帧图片的商品特征，并对检测的商品特征进行跟踪，获得相邻两帧图片中外观特征的位置特征变化，通过设定位置特征变化的阈值判定相邻两帧图片中的重复部分，使获得的重复部分精准度更高，也即，去除重复部分更加准确。

3.通过统计去除重复部分后的结果，得到货架上的商品，不需要对去除重复部分后的视频中每帧图片进行拼接，即通过去除重复部分后的视频即可获得货架上的商品，提高识别统计货架上商品的速度。

【附图说明】

图1是本发明第一实施例识别商品的方法的流程示意图。

图2是本发明第一实施例识别商品的方法图1中步骤S2的流程示意图。

图3是本发明第一实施例识别商品的方法图2中步骤S22的流程示意图。

图4是本发明第一实施例识别商品的方法检测并跟踪商品特征示意图。

图5是本发明第一实施例识别商品的方法去重的示意图。

图6是本发明第三实施例识别系统的模块示意图。

附图标记说明：1、识别系统；11、拍摄模块；12、检测模块；13、统计模块；121、检测单元；122、跟踪单元；123、去重单元；1221、识别模组；1222、计算模组；1223、分析模组。

【具体实施方式】

为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图及实施实例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

请参阅图1，本发明第一实施例提供一种识别商品的方法，用于识别统计货架上的商品，该方法包括以下步骤，

步骤S1：将货架上的商品拍摄成视频；

步骤S2：检测视频每一帧图片中的商品特征，并去除相邻两帧图片中的重复部分；

步骤S3：统计去除重复部分后的结果，得到货架上的商品。

首先将货架上的商品拍摄成视频，视频为沿货架中商品的摆放顺序拍摄，以确保相邻两帧图片与货架上商品的摆放顺序相同，该视频拍摄出货架上所有的商品，然后检测视频每一帧图片中的商品特征，并去除相邻两帧图片中的重复部分，最后统计去除重复部分后的结果，得到货架上全部的商品。

商品特征包括商品的外观特征和位置特征，外观特征为商品的形状、颜色及图案，位置特征为外观特征在每一帧图片中所处的位置。

可以理解拍摄货架上的商品可以是人工拍摄，也可以是电子监控拍摄；商品特征为使用深度学习的方法检测。

在一些应用场景中，货架的长度为5米，货架上摆放有各种不同的商品，工作人员用手机将货架上的商品拍摄成视频，从货架的一端开始拍摄，至货架的另一端结束拍摄，视频的时长为5秒，每秒种为24帧图片，总共120帧图片，然后检测120帧图片中所有的商品特征，并去除相邻两帧图片中的重复部分，最后统计去除重复部分后的结果，得到货架上的商品。

请参阅图2，步骤S2包括步骤，

步骤S21：检测视频中每一帧图片的商品特征；

步骤S22：对检测的商品特征进行跟踪，获得相邻两帧图片中的重复部分；

步骤S23：去除相邻两帧图片中的重复部分。

在拍摄完视频之后，检测视频每一帧图片中商品的外观特征和位置特征，然后对检测的商品特征进行跟踪，跟踪每一帧图片中商品的外观特征在下一帧图片中的位置特征变化，获得相邻两帧图片中的重复部分，最后去除相邻两帧图片中的重复部分。

在一些应用场景中，拍摄的视频有60帧，先检测每一帧图片中的商品特征，然后对第一帧检测的商品特征进行跟踪，在第二帧图片中获得与第一帧图片中的重复部分，然后去除这两帧图片中的重复部分。进而对第二帧检测的商品特征进行跟踪，在第三帧图片中获得与第二帧图片中的重复部分，然后去除第二帧图片和第三帧图片中的重复部分，直至视频的最后一帧图片。

请参阅图3，步骤S22包括步骤，

步骤S221，识别相邻两帧图片中相同的外观特征；

步骤S222，计算相邻两帧图片中相同外观特征的位置特征的变化距离；

步骤S223，将相邻两帧图片中位置特征变化距离小于阈值的外观特征当作重复部分。

检测完每一帧图片中的商品特征之后，识别相邻两帧图片中相同的外观特征，然后计算相邻两帧图片中相同外观特征的位置特征变化距离，最后通过一阈值判断相邻两帧图片中的重复部分，即将相邻两帧图片中位置特征变化距离小于阈值的外观特征当作重复部分。

可以理解，重复部分为相邻两张图片中外观特征相同，位置特征的变化在阈值内的商品特征。阈值为视频拍摄时每帧图片的时间内移动的距离，由于视频中每一帧图片之间的时间间隔很短，同时为了保证每一帧图片中的商品特征是清晰的，所以将阈值设置为0-2cm。阈值与拍摄视频时的移动速度关联，即相邻两帧图片中相同外观特征的位置特征变化距离具体取决于拍摄视频时的移动速度，如相邻两帧图片中相同外观特征的位置特征变化距离在阈值内，则把位置特征变化距离在阈值内的相同外观特征作为重复部分，反之，相邻两帧图片中相同外观特征的位置特征变化距离不在阈值内，则不作为重复部分。

在一些应用场景中，货架中摆放有多个商品，将货架中所有的商品沿其摆放顺序拍摄成视频，以其中的相邻的两帧图片为例，其中第一帧图片中检测的外观特征从左往右依次为红茶、绿茶、雪碧，第二帧图片中检测的外观特征为绿茶、雪碧、可乐。第一帧图片中检测的绿茶和雪碧的外观特征与第二在检测的绿茶和雪碧的外观特征相同，然后计算这两个外观特征的位置特征变化，第二帧图片中绿茶和雪碧的位置特征相对第一帧图片中绿茶和雪碧商品的位置特征向左发生了2cm的变化，继而得出第一帧图片和第二帧图片中的重复部分，即第一帧图片绿茶和雪碧的外观特征与第二帧图片中绿茶和雪碧的外观特征为重复部分，最后去除重复部分，即去除重复的绿茶和雪碧的外观特征。

请参阅图4，步骤S221具体为，识别相邻两帧图片中相同的外观特征。以检测的第n帧图片、第n+1帧图片及第n+2帧图片的商品特征为例，货架中摆放有一层商品。在第n帧图片中，检测到的外观特征从左往右依次为A、A、B；在第n+1帧图片中，检测到的外观特征从左往右依次为A、A、B，其中第一个外观特征A仅检测出其部分，但是根据检测的部分外观特征能判断出该外观特征对应的商品，第三个外观特征B的右边还有仅检测到部分的外观特征，但是根据检测的部分外观特征不能判断出该外观特征对应的商品；第n+2帧图片中，检测到的外观特征左往右依次为A、B、C，其中第一个外观特征A的左边还有仅检测到部分的外观特征，但是根据检测的部分外观特征不能判断出该外观特征对应的商品。

在第n帧图片和第n+1帧图片中，识别出了相同的外观特征，即第n帧图片中第一个外观特征A与第n+1帧图片中前两个外观特征A相同，第n帧图片中第二个外观特征A与第n+1帧图片中前两个外观特征A相同，第n帧图片中第三个外观特征B与第n+1帧图片中第三个外观特征B相同，至此进入步骤S222。在步骤S222进行完成后再回到步骤S221，在第n+1帧图片和第n+2帧图片中，识别出了相同的外观特征，即第n+1帧图片中第一个外观特征A与第n+2帧图片中第一个外观特征A相同，第n+1帧图片中第二个外观特征A与第n+2帧图片中第一个外观特征A相同，第n+1帧图片中第三个外观特征B与第n+2帧图片中第二个外观特征B相同，至此再次进入步骤S222。

请继续参阅图4，步骤S222具体为，计算相邻两帧图片中相同外观特征的位置特征的变化距离。从第n帧图片和第n+1帧图片开始计算，计算第n帧图片中第一个外观特征A与第n+1帧图片中第一个外观特征A位置特征的变化距离为1cm，由于第n+1帧图片中第二个外观特征也是A，因此还要计算第n帧图片中第一个外观特征A与第n+1帧图片中第二个外观特征A位置特征的变化距离，计算出其变化的距离为4cm；计算第n帧图片中第二个外观特征A与第n+1帧图片中第二个外观特征A位置特征的变化距离为1cm；计算第n帧图片中第三个外观特征B与第n+1帧图片中第三个外观特征B位置特征的变化距离为1cm，至此进入步骤S223。在步骤S223进行完之后，再回到步骤S222,从第n+1帧图片和第n+2帧图片开始计算，计算第n+1帧图片中第一个外观特征A与第n+2帧图片中第一个外观特征A位置特征的变化距离为5cm，由于第n+1帧图片中第二个外观特征也是A，因此还要计算第n+1帧图片中第二个外观特征A与第n+2帧图片中第一个外观特征A位置特征的变化距离，计算出其变化的距离为2cm；计算第n+1帧图片中第三个外观特征B与第n+1帧图片中第二个外观特征B位置特征的变化距离为2cm，至此再次进入步骤S223。

请继续参阅图4，步骤S223具体为，将相邻两帧图片中位置特征变化距离小于阈值的外观特征当作重复部分。由于阈值设置为0-2cm，所以第n帧图片中第一个外观特征A与第n+1帧图片中第一个外观特征A为重复部分，第n帧图片中第二个外观特征A与第n+1帧图片中第二个外观特征A为重复部分，第n帧图片中第三个外观特征B与第n+1帧图片中第三个外观特征B为重复部分，至此进入步骤S23。在步骤S23进行完之后，再回到步骤S223，第n+1帧图片中第二个外观特征A与第n+2帧图片中第一个外观特征A为重复部分，第n+1帧图片中第三个外观特征B与第n+1帧图片中第二个外观特征B为重复部分，至此再次进入步骤S23。

请参阅图5，步骤S23具体为，获得相邻两帧图片中的重复部分之后，去除相邻两帧图片中的重复部分。在第n帧图片、第n+1帧图片中，由于第n帧图片中三个外观特征依次与第n+1帧图片中三个外观特征为重复部分，继而去除第n帧图片与第n+1帧图片中外观特征重复部分。在第n+1帧图片、第n+2帧图片中，由于n+1帧图片中第二个外观特征A和第三个外观特征B与第n+2帧图片中第一个外观特征A和第二个外观特征B为重复部分，继而去除第n+1帧图片与第n+2帧图片中外观特征重复部分。以去除重复部分以去除相邻两帧图片中前一帧的外观特征为例，最终去除重复部分后的第n帧图片、第n+1帧图片及第n+2帧图片中，外观特征依次为第n+1中的A，第n+2帧图片中的A、B、C。

作为一种变形，步骤S2222可以在步骤S221识别出整个视频所有图片中相同的外观特征之后进行；步骤S223可以在步骤S222计算出整个视频所有图片中相同外观特征的位置特征的变化距离之后进行；步骤S23可以在步骤S223获得整个视频所有图片中重复部分之后进行。

步骤S3具体为，统计去除重复部分后的结果，得到货架上的商品。可以理解，每个商品的外观特征为提前提取并储存好，通过将去除相邻两帧图片中的重复部分后的外观特征与存储的外观特征逐一对比，以确定货架上具有哪些商品，并且可以根据位置特征确定每个商品处于货架上的位置。

进一步的，将货架上的商品拍摄成图片之前，先标记商品信息，商品信息包括商品的外观特征、名称和单价。进而在识别出商品后，可以根据商品信息获得商品在货架上的分布情况、所占比例及商品总价。可以理解，根据位置特征和外观特征，可以获得商品的分布情况和所占比例，根据每个商品的单价，可以获得货架上商品的总价。

本发明第二实施例提供的计算机可读介质，所述计算机可读介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述的识别商品的方法。

请参阅图6，本发明第三实施例提供的识别系统1，其包括拍摄模块11、检测模块12及统计模块13，检测模块12包括检测单元121、跟踪单元122及去重单元123，跟踪单元122包括识别模组1221、计算模组1222及分析模组1223。拍摄模块11将拍摄的视频传给检测单元121，检测单元121检测视频中每一帧图片中的商品特征，识别模组1221识别相邻两帧图片中相同的外观特征，计算模组1222计算相邻两帧图片中相同外观特征的位置特征的变化距离，分析模组1223将相邻两帧图片中变化距离小于阈值的外观特征当作重复部分，去重单元123去除相邻两帧图片中的重复部分，统计模块13统计去除重复部分后的结果，得到货架上的商品。

根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(CPU)执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

与现有技术相比，本发明的识别商品的方法具有以下优点：

1.由于通过拍摄多张图片识别商品的方法难以判断出相邻图片中的重合部分，因此会导致最终统计结果出错，本发明通过视频的形式拍摄货架上的商品，然后使用跟踪算法对视频中的每一帧图片中的商品特征进行跟踪，获得相邻两帧图片中的重复部分，继而去除重复部分，最后根据去重后的视频识别货架上全部的商品，使最终统计的结果更准确。

2.将货架上的商品拍摄成视频，通过检测视频中每一帧图片的商品特征，并对检测的商品特征进行跟踪，获得相邻两帧图片中外观特征的位置特征变化，通过设定位置特征变化的阈值判定相邻两帧图片中的重复部分，使获得的重复部分精准度更高，也即，去除重复部分更加准确。

3.通过统计去除重复部分后的结果，得到货架上的商品，不需要对去除重复部分后的视频中每帧图片进行拼接，即通过去除重复部分后的视频即可获得货架上的商品，提高识别统计货架上商品的速度。

以上所述仅为本发明较佳实施例而已，并不用以限制本发明，凡在本发明原则之内所作的任何修改，等同替换和改进等均应包含本发明的保护范围之内。

Claims (10)

1.一种识别商品的方法，用于识别统计货架上的商品，其特征在于：该方法包括以下步骤，

步骤S1：将货架上的商品拍摄成视频；

步骤S2：检测视频每一帧图片中的商品特征，并去除相邻两帧图片中的重复部分；

步骤S3：统计去除重复部分后的结果，得到货架上的商品。

2.如权利要求1所述的识别商品的方法，其特征在于：步骤S2包括步骤，

步骤S21：检测视频中每一帧图片的商品特征；

步骤S22：对检测的商品特征进行跟踪，获得相邻两帧图片中的重复部分；

步骤S23：去除相邻两帧图片中的重复部分。

3.如权利要求1所述的识别商品的方法，其特征在于：所述商品特征包括商品的外观特征和位置特征，所述外观特征为商品的形状、颜色及图案，所述位置特征为外观特征在每一帧图片中所处的位置。

4.如权利要求2所述的识别商品的方法，其特征在于：所述商品特征包括商品的外观特征和位置特征，步骤S22包括步骤，

步骤S221，识别相邻两帧图片中相同的外观特征；

步骤S222，计算相邻两帧图片中相同外观特征的位置特征的变化距离；

步骤S223，将相邻两帧图片中变化距离小于阈值的外观特征当作重复部分。

5.如权利要求4所述的识别商品的方法，其特征在于：所述阈值为视频拍摄时每帧图片的时间内移动的距离。

6.如权利要求1所述的识别商品的方法，其特征在于：视频为沿货架中商品的摆放顺序拍摄，以确保相邻两帧图片与货架上商品的摆放顺序相同。

7.如权利要求1所述的识别商品的方法，其特征在于：将货架上的商品拍摄成视频之前，先标记商品信息，商品信息包括商品的外观特征、名称和单价。

8.如权利要求7所述的识别商品的方法，其特征在于：在识别出的商品后，根据商品信息获得商品在货架上的分布情况、所占比例及商品总价。

9.一种计算机可读介质，其特征在于：所述计算机可读介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1-8中任一项中所述的识别商品的方法。

10.一种识别系统，其特征在于：所述基于视频的货架商品识别系统包括拍摄模块，用于将货架上的商品拍摄成视频；检测模块，用于检测视频每一帧图片中的商品特征，并去除相邻两帧图片中的重复部分；统计模块，用于统计去除重复部分后的结果，得到货架上的商品。