CN112990115A - 一种用于冰柜陈列识别的拍摄方法及系统 - Google Patents

Abstract

本发明提供一种用于冰柜陈列识别的拍摄方法及系统，其中，所述方法，包括：接收柜门开启信号，启动拍摄装置进行拍照，得到第一图像数据；根据自动分析最佳拍摄位置算法对所述第一图像数据进行处理，得到第二图像数据；对所述第二图像数据进行畸形矫正，得到无畸变的第三图像数据；通过图像识别技术对所述第三图像数据进行处理，得到商品陈列结果，完成冰柜陈列识别。本发明提供的一种用于冰柜陈列识别的拍摄方法及系统使得品牌商可以在没有业务员的情况下快速准确获得冰柜商品陈列信息。

Description

一种用于冰柜陈列识别的拍摄方法及系统

技术领域

本发明涉及信息传输技术领域，特别是涉及一种用于冰柜陈列识别的拍摄方法及系统。

背景技术

在快消领域，冰柜投放作为重要的销售手段，被投放冰柜中商品的陈列对最终的销售起着重要的作用。如果被投放冰柜中商品陈列不达标、商品短缺，甚至放入了其它品牌商品，将会导致投放冰柜的品牌商的重大经济损失。因此品牌商需要业务人员周期性的对各种门店终端进行拜访，然后对那些投放的冰柜进行检查确认。这种方式不仅耗费大量人力物力，且检查频率低，无法实时了解冰柜的当前状态。

针对以上情况，目前已有一些改善的技术方案，比如将摄像头安装在冰柜每层的顶部中央，然后上传图片到服务进行分析，但是这种方式只能查看商品的顶端，对相似性极高的商品无法区分。或者将摄像头安装在冰柜顶部角落，这种方式只能查看商品进出，无法拍摄完整的商品陈列；以及将摄像头安装在冰柜外侧，虽然能拍摄完整的商品陈列，但是可能会因为冰柜门有水雾或遮挡，最终也无法获取完整清晰的商品陈列。

发明内容

针对以上技术问题，本发明提供一种用于冰柜陈列识别的拍摄方法及系统，使得品牌商可以在没有业务员的情况下快速准确获得冰柜商品陈列信息。

本发明第一方面提供一种用于冰柜陈列识别的拍摄方法，包括：

接收柜门开启信号，启动拍摄装置进行拍照，得到第一图像数据；

根据自动分析最佳拍摄位置算法对所述第一图像数据进行处理，得到第二图像数据；

对所述第二图像数据进行畸形矫正，得到无畸变的第三图像数据；

通过图像识别技术对所述第三图像数据进行处理，得到商品陈列结果，完成冰柜陈列识别。

进一步地，所述根据自动分析最佳拍摄位置算法对所述第一图像数据进行处理，得到第二图像数据，包括：

对所述第一图像数据进行初步处理，得到第四图像数据；其中，所述初步处理包括：图像缩放、图像旋转、灰度处理及滤波处理；

查找第四图像数据中物品轮廓图像，并计算每一物品轮廓图像的质心点，得到质心点的坐标集合；

根据所述每一物品轮廓图像的质心点与所述第四图像数据的中线的位置关系，建立第一质心点坐标列表及第二质心点坐标列表；其中，所述第一质心点坐标列表存放位于所述第四图像数据的中线的左侧的质心点的坐标，所述第二质心点坐标列表存放位于所述第四图像数据的中线的右侧的质心点的坐标；

根据所述每一物品轮廓图像的质心点与所述第四图像数据的中线的距离关系，采用的升序排序方式分别对所述第一质心点坐标列表中的质心点的坐标及所述第二质心点坐标列表中的质心点的坐标进行排序，得到第三质心点坐标列表及第四质心点坐标列表；其中，质心点到所述第四图像数据的中线的距离越小的质心点的坐标排序位置越靠前；

判断所述第三质心点坐标列表及所述第四质心点坐标列表是否为非空，若是，则判断所述第三质心点坐标列表及所述第四质心点坐标列表中的第一个质心点坐标是否满足预设规则，若是，则将所述第四图像数据作为第二图像数据。

进一步地，所述对所述第一图像数据进行初步处理，得到第四图像数据，包括：

对所述第一图像数据进行预处理，得到第五图像数据；其中，所述预处理包括：图像缩放及图像旋转；

将所述第五图像数据进行灰度处理，并转换为二值图，得到第六图像数据；

通过滤波器对所述第六图像数据进行滤波处理，得到第四图像数据；其中所述滤波处理包括：去除第六图像数据的水平方向轮廓及去除第六图像数据中区域面积小于阈值的区域。

进一步地，所述对所述第二图像数据进行畸形矫正，得到无畸变的第三图像数据，包括：

获取所述拍摄装置的内部参数及畸变矩阵；

根据所述拍摄装置的内部参数及畸变矩阵对所述第二图像数据进行映射，得到无畸变的第三图像数据。

进一步地，所述通过图像识别技术对所述第三图像数据进行处理，得到商品陈列结果，包括：

对所述第三图像数据进行目标检测，得到所述第三图像数据中的商品类别信息及商品位置信息；

根据所述商品类别信息及商品位置信息，得到冰柜商品陈列信息；

根据所述冰柜商品陈列信息计算陈列指标；其中，所述陈列指标包括：饱和度及纯净度。

本发明第二方面提供一种用于冰柜陈列识别的拍摄系统，包括：

拍摄模块，用于接收柜门开启信号，启动拍摄装置进行拍照，得到第一图像数据；

最佳拍摄位置算法处理模块，用于根据自动分析最佳拍摄位置算法对所述第一图像数据进行处理，得到第二图像数据；

畸形矫正模块，用于对所述第二图像数据进行畸形矫正，得到无畸变的第三图像数据；

图形识别模块，用于通过图像识别技术对所述第三图像数据进行处理，得到商品陈列结果，完成冰柜陈列识别。

进一步地，所述最佳拍摄位置算法处理模块，包括：

图像初步处理子模块，用于对所述第一图像数据进行初步处理，得到第四图像数据；其中，所述初步处理包括：图像缩放、图像旋转、灰度处理及滤波处理；

质心点计算子模块，用于查找第四图像数据中物品轮廓图像，并计算每一物品轮廓图像的质心点，得到质心点的坐标集合；

质心点的坐标列表建立子模块，用于根据所述每一物品轮廓图像的质心点与所述第四图像数据的中线的位置关系，建立第一质心点坐标列表及第二质心点坐标列表；其中，所述第一质心点坐标列表存放位于所述第四图像数据的中线的左侧的质心点的坐标，所述第二质心点坐标列表存放位于所述第四图像数据的中线的右侧的质心点的坐标；

质心点的坐标列表优化子模块，用于根据所述每一物品轮廓图像的质心点与所述第四图像数据的中线的距离关系，采用的升序排序方式分别对所述第一质心点坐标列表中的质心点的坐标及所述第二质心点坐标列表中的质心点的坐标进行排序，得到第三质心点坐标列表及第四质心点坐标列表；其中，质心点到所述第四图像数据的中线的距离越小的质心点的坐标排序位置越靠前；

判断子模块，用于判断所述第三质心点坐标列表及所述第四质心点坐标列表是否为非空，若是，则判断所述第三质心点坐标列表及所述第四质心点坐标列表中的第一个质心点坐标是否满足预设规则，若是，则将所述第四图像数据作为第二图像数据。

进一步地，所述图像初步处理子模块，包括：

图像预处理子模块，用于对所述第一图像数据进行预处理，得到第五图像数据；其中，所述预处理包括：图像缩放及图像旋转；

图像灰度处理子模块，用于将所述第五图像数据进行灰度处理，并转换为二值图，得到第六图像数据；

图像滤波处理子模块，用于通过滤波器对所述第六图像数据进行滤波处理，得到第四图像数据；其中所述滤波处理包括：去除第六图像数据的水平方向轮廓及去除第六图像数据中区域面积小于阈值的区域。

进一步地，所述畸形矫正模块，还用于：

获取所述拍摄装置的内部参数及畸变矩阵；

根据所述拍摄装置的内部参数及畸变矩阵对所述第二图像数据进行映射，得到无畸变的第三图像数据。

进一步地，所述图形识别模块，包括：

目标识别子模块，用于对所述第三图像数据进行目标检测，得到所述第三图像数据中的商品类别信息及商品位置信息；

冰柜商品陈列信息获取子模块，用于根据所述商品类别信息及商品位置信息，得到冰柜商品陈列信息；

陈列指标计算子模块，用于根据所述冰柜商品陈列信息计算陈列指标；其中，所述陈列指标包括：饱和度及纯净度。

与现有技术相比，本发明实施例的有益效果在于：

1.本发明利用自动分析最佳拍摄位置算法实时判断冰柜门位置，使摄像头可以在最佳位置拍全冰柜内商品。

2.可以清晰拍摄到商品正面，更加有利于商品陈列识别。

3.本智能摄像头装置中的供电模块可以使用大容量移动电源，因此针对已投放冰柜可以做到不对冰柜主体做任何改变的情况下快速安装及使用。

4. 代替业务员采集冰柜照片，大幅提高采集频率及效率，节省成本

5.自动分析算法可以适用各种类型的冰柜，适用范围广。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明某一实施例提供的一种用于冰柜陈列识别的装置的结构图；

图2是本发明另一实施例提供的一种用于冰柜陈列识别的装置的结构图；

图3是本发明另一实施例提供的一种用于冰柜陈列识别的装置的结构图；

图4是本发明又一实施例提供的一种用于冰柜陈列识别的装置的结构图；

图5是本发明某一实施例提供的一种用于冰柜陈列识别的装置的安装结构图；

图6是本发明另一实施例提供的一种用于冰柜陈列识别的装置的安装结构图；

图7是本发明某一实施例提供的一种用于冰柜陈列识别的拍摄方法的流程图；

图8是本发明某一实施例提供的一种用于冰柜陈列识别的拍摄方法的图像畸形校正前示意图；

图9是本发明某一实施例提供的一种用于冰柜陈列识别的拍摄方法的图像畸形校正后示意图；

图10是本发明某一实施例提供的一种用于冰柜陈列识别的拍摄方法的流程图；

图11是本发明另一实施例提供的一种用于冰柜陈列识别的拍摄方法的流程图；

图12是本发明另一实施例提供的一种用于冰柜陈列识别的拍摄方法的流程图；

图13是本发明另一实施例提供的一种用于冰柜陈列识别的拍摄方法的流程图；

图14是本发明又一实施例提供的一种用于冰柜陈列识别的拍摄方法的流程图；

图15是本发明某一实施例提供的一种用于冰柜陈列识别的拍摄系统的装置图；

图16是本发明另一实施例提供的一种用于冰柜陈列识别的拍摄系统的装置图；

图17是本发明另一实施例提供的一种用于冰柜陈列识别的拍摄系统的装置图；

图18是本发明又一实施例提供的一种用于冰柜陈列识别的拍摄系统的装置图；

图19是本发明某一实施例提供的一种电子设备的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，文中所使用的步骤编号仅是为了方便描述，不对作为对步骤执行先后顺序的限定。

应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

第一方面。

请参阅图1-3，本发明一实施例提供一种用于冰柜陈列识别的装置，其特征在于，包括：

拍摄模块，用于采集冰柜内陈列商品的图像数据信号，并将所述图像数据信号发送至主控模块；

通讯模块，用于信号传输，其中，所述信号包括：图像数据信号；

主控模块，用于接收所述拍摄模块发送的图像数据信号；

开关传感器，用于检测所述冰柜柜门开启的次数信号，并将所述次数信号发送至所述主控模块；

温度检测模块，用于检测冰柜内温度信号，并将所述温度信号发送至所述主控模块；

所述拍摄模块、所述开关传感器、所述温度检测模块通过所述通讯模块与所述主控模块连接；

供电模块，用于给冰柜陈列识别的装置提供电量；所述供电模块与所述主控模块连接。

在一具体实施方式中，所述拍摄模块包括广角摄像头，所述通讯模块包括4G网络和/或Wi-Fi网络。

请参阅图4，在一具体实施例中，本发明提供的一种用于冰柜陈列识别的装置，包括含有广角镜头的摄像头、无线网络模块、温度传感器、主控模块、供电模块等。

（1）所述广角摄像头可以设置帧率、分辨率等参数。

（2）所述无线网络模块可以使用4G或Wi-Fi网络，并记录GPS位置。

（3）所述温度传感器可以测量冰柜内温度。

（4）所述开关传感器可以冰柜门打开次数。

（5）所述主控模块可以控制以上所有模块及获取相应数据。

（6）所述供电模块可以给上述所有模块供电，包括但不限于移动电源或家用交流电源。

请参阅图5，本发明提供的一种用于冰柜陈列识别的装置的安装方式包括：

（1）将智能摄像头装置安装到冰柜门把手内侧中央部位。

请参阅图6-7，当装置安装好后，装置将自动拍照采集照片，具体流程细则为：

（1）当客户打开冰柜门时，开关传感器发出信号后，主控模块启动摄像头。

（2）主控模块对每帧画面进行处理，根据自动分析最佳拍摄位置算法获取最佳图片并关闭摄像头。

其中，所述自动分析最佳拍摄位置算法过程为：

1）先缩放和旋转图片至竖直方向。

2）转换成灰度图，并用较大的阀值转换成二值图。

3）分别用竖直方向滤波器及正常滤波器进行滤波，去除水平方向及比较小面积的区域。

4）查找contours，挑选较大面积的contours并计算其质心。

5）根据上述contours质心的x在图片中线左边还是右边，将质心点分别加载到左右2个列表。

6）对上述左右2个列表进行排序，质心x坐标越靠近中线越排在前面。

7）如果上述2个列表均不为空，且2个列表的第一个质心x坐标在设定的范围内则判定到达合适位置，否则为未到达。

（3）对最佳图片进行畸形校正，获取无畸变的图片，将校正后的图片保存。

其中，如图8-9，图像畸形校正过程包括：

1）利用摄像头拍照得到的含有棋盘方格的图片得到摄像头的内参及畸变矩阵。

2）根据摄像头的内参及畸变矩阵对上述自动分析最佳拍摄位置算法得到的最佳图片进行重映射，映射后得到的图片即为校正好的图片。

（4）无线网络模块将保存的图片及当前设备ID、GPS位置，温度信息等发送到后台服务器。

（5）后台服务器调用相关算法对图片进行识别，得到商品的陈列结果。根据品牌方的商品陈列要求对陈列识别结果进行分析并反馈给品牌方。

其中，识别过程如下：

1）对图片进行目标检测，识别出图片中所有商品的类别。

2）根据每个识别出来的商品的类别及位置，得到冰柜内商品的每层分布。

3）根据分布结果计算其它所有相关的陈列指标，如饱和度，纯净度等。

与现有技术相比，本发明实施例的有益效果在于：

1.本发明利用自动分析最佳拍摄位置算法实时判断冰柜门位置，使摄像头可以在最佳位置拍全冰柜内商品。

2.可以清晰拍摄到商品正面，更加有利于商品陈列识别。

3.本智能摄像头装置中的供电模块可以使用大容量移动电源，因此针对已投放冰柜可以做到不对冰柜主体做任何改变的情况下快速安装及使用。

4. 代替业务员采集冰柜照片，大幅提高采集频率及效率，节省成本

5.自动分析算法可以适用各种类型的冰柜，适用范围广。

第二方面。

请参阅图10-14，本发明一实施例提供一种用于冰柜陈列识别的拍摄方法，包括：

S10、接收柜门开启信号，启动拍摄装置进行拍照，得到第一图像数据。

S20、根据自动分析最佳拍摄位置算法对所述第一图像数据进行处理，得到第二图像数据。

在某一具体实施方式中，所述步骤S20包括：

S21、对所述第一图像数据进行初步处理，得到第四图像数据；其中，所述初步处理包括：图像缩放、图像旋转、灰度处理及滤波处理。

在某一具体实施方式中，所述步骤S21包括：

S211、对所述第一图像数据进行预处理，得到第五图像数据；其中，所述预处理包括：图像缩放及图像旋转。

S212、将所述第五图像数据进行灰度处理，并转换为二值图，得到第六图像数据；

S213、通过滤波器对所述第六图像数据进行滤波处理，得到第四图像数据；其中所述滤波处理包括：去除第六图像数据的水平方向轮廓及去除第六图像数据中区域面积小于阈值的区域。

S22、查找第四图像数据中物品轮廓图像，并计算每一物品轮廓图像的质心点，得到质心点的坐标集合。

S23、根据所述每一物品轮廓图像的质心点与所述第四图像数据的中线的位置关系，建立第一质心点坐标列表及第二质心点坐标列表；其中，所述第一质心点坐标列表存放位于所述第四图像数据的中线的左侧的质心点的坐标，所述第二质心点坐标列表存放位于所述第四图像数据的中线的右侧的质心点的坐标。

S24、根据所述每一物品轮廓图像的质心点与所述第四图像数据的中线的距离关系，采用的升序排序方式分别对所述第一质心点坐标列表中的质心点的坐标及所述第二质心点坐标列表中的质心点的坐标进行排序，得到第三质心点坐标列表及第四质心点坐标列表；其中，质心点到所述第四图像数据的中线的距离越小的质心点的坐标排序位置越靠前。

S25、判断所述第三质心点坐标列表及所述第四质心点坐标列表是否为非空，若是，则判断所述第三质心点坐标列表及所述第四质心点坐标列表中的第一个质心点坐标是否满足预设规则，若是，则将所述第四图像数据作为第二图像数据。

S30、对所述第二图像数据进行畸形矫正，得到无畸变的第三图像数据。

在某一具体实施方式中，所述步骤S30包括：

S31、获取所述拍摄装置的内部参数及畸变矩阵。

S32、根据所述拍摄装置的内部参数及畸变矩阵对所述第二图像数据进行映射，得到无畸变的第三图像数据。

S40、通过图像识别技术对所述第三图像数据进行处理，得到商品陈列结果，完成冰柜陈列识别。

在某一具体实施方中，所述步骤S40包括：

S41、对所述第三图像数据进行目标检测，得到所述第三图像数据中的商品类别信息及商品位置信息。

S42、根据所述商品类别信息及商品位置信息，得到冰柜商品陈列信息。

S43、根据所述冰柜商品陈列信息计算陈列指标；其中，所述陈列指标包括：饱和度及纯净度。

第三方面。

请参阅图15-19，泵发明一实施例提供一种用于冰柜陈列识别的拍摄系统，包括：

拍摄模块10，用于接收柜门开启信号，启动拍摄装置进行拍照，得到第一图像数据。

最佳拍摄位置算法处理模块20，用于根据自动分析最佳拍摄位置算法对所述第一图像数据进行处理，得到第二图像数据。

在某一具体实施方式中，所述最佳拍摄位置算法处理模块20包括：

图像初步处理子模块21，用于对所述第一图像数据进行初步处理，得到第四图像数据；其中，所述初步处理包括：图像缩放、图像旋转、灰度处理及滤波处理。

在某一具体实施方式中，所述图像初步处理子模块21包括：

图像预处理子模块210，用于对所述第一图像数据进行预处理，得到第五图像数据。其中，所述预处理包括：图像缩放及图像旋转。

图像灰度处理子模块220，用于将所述第五图像数据进行灰度处理，并转换为二值图，得到第六图像数据。

图像滤波处理子模块230，用于通过滤波器对所述第六图像数据进行滤波处理，得到第四图像数据；其中所述滤波处理包括：去除第六图像数据的水平方向轮廓及去除第六图像数据中区域面积小于阈值的区域。

质心点计算子模块22，用于查找第四图像数据中物品轮廓图像，并计算每一物品轮廓图像的质心点，得到质心点的坐标集合。

质心点的坐标列表建立子模块23，用于根据所述每一物品轮廓图像的质心点与所述第四图像数据的中线的位置关系，建立第一质心点坐标列表及第二质心点坐标列表；其中，所述第一质心点坐标列表存放位于所述第四图像数据的中线的左侧的质心点的坐标，所述第二质心点坐标列表存放位于所述第四图像数据的中线的右侧的质心点的坐标。

质心点的坐标列表优化子模块24，用于根据所述每一物品轮廓图像的质心点与所述第四图像数据的中线的距离关系，采用的升序排序方式分别对所述第一质心点坐标列表中的质心点的坐标及所述第二质心点坐标列表中的质心点的坐标进行排序，得到第三质心点坐标列表及第四质心点坐标列表；其中，质心点到所述第四图像数据的中线的距离越小的质心点的坐标排序位置越靠前。

判断子模块25，用于判断所述第三质心点坐标列表及所述第四质心点坐标列表是否为非空，若是，则判断所述第三质心点坐标列表及所述第四质心点坐标列表中的第一个质心点坐标是否满足预设规则，若是，则将所述第四图像数据作为第二图像数据。

畸形矫正模块30，用于对所述第二图像数据进行畸形矫正，得到无畸变的第三图像数据。

在某一具体实施方式中，所述畸形矫正模块30还用于：

获取所述拍摄装置的内部参数及畸变矩阵；

根据所述拍摄装置的内部参数及畸变矩阵对所述第二图像数据进行映射，得到无畸变的第三图像数据。

图形识别模块40，用于通过图像识别技术对所述第三图像数据进行处理，得到商品陈列结果，完成冰柜陈列识别。

在某一具体实施方式中，所述图形识别模块40包括：

目标识别子模块41，用于对所述第三图像数据进行目标检测，得到所述第三图像数据中的商品类别信息及商品位置信息。

冰柜商品陈列信息获取子模块42，用于根据所述商品类别信息及商品位置信息，得到冰柜商品陈列信息。

陈列指标计算子模块43，用于根据所述冰柜商品陈列信息计算陈列指标；其中，所述陈列指标包括：饱和度及纯净度。

第四方面。

本发明提供了一种电子设备，该电子设备包括：

处理器、存储器和总线；

所述总线，用于连接所述处理器和所述存储器；

所述存储器，用于存储操作指令；

所述处理器，用于通过调用所述操作指令，可执行指令使处理器执行如本申请的第二方面所示的一种用于冰柜陈列识别的拍摄方法对应的操作。

在一个可选实施例中提供了一种电子设备，如图19所示，图19所示的电子设备5000包括：处理器5001和存储器5003。其中，处理器5001和存储器5003相连，如通过总线5002相连。可选地，电子设备5000还可以包括收发器5004。需要说明的是，实际应用中收发器5004不限于一个，该电子设备5000的结构并不构成对本申请实施例的限定。

处理器5001可以是CPU，通用处理器，DSP，ASIC，FPGA或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器5001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。

总线5002可包括一通路，在上述组件之间传送信息。总线5002可以是PCI总线或EISA总线等。总线5002可以分为地址总线、数据总线、控制总线等。为便于表示，图19中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

存储器5003可以是ROM或可存储静态信息和指令的其他类型的静态存储设备，RAM或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM、CD-ROM或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。

存储器5003用于存储执行本申请方案的应用程序代码，并由处理器5001来控制执行。处理器5001用于执行存储器5003中存储的应用程序代码，以实现前述任一方法实施例所示的内容。

其中，电子设备包括但不限于：移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。

第五方面。

本发明提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现本申请第一方面所示的一种用于冰柜陈列识别的拍摄方法。

本申请的又一实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当其在计算机上运行时，使得计算机可以执行前述方法实施例中相应内容。

Claims (10)

1.一种用于冰柜陈列识别的拍摄方法，其特征在于，包括：

接收柜门开启信号，启动拍摄装置进行拍照，得到第一图像数据；

根据自动分析最佳拍摄位置算法对所述第一图像数据进行处理，得到第二图像数据；

对所述第二图像数据进行畸形矫正，得到无畸变的第三图像数据；

通过图像识别技术对所述第三图像数据进行处理，得到商品陈列结果，完成冰柜陈列识别。

2.如权利要求1所述的一种用于冰柜陈列识别的拍摄方法，其特征在于，所述根据自动分析最佳拍摄位置算法对所述第一图像数据进行处理，得到第二图像数据，包括：

对所述第一图像数据进行初步处理，得到第四图像数据；其中，所述初步处理包括：图像缩放、图像旋转、灰度处理及滤波处理；

查找第四图像数据中物品轮廓图像，并计算每一物品轮廓图像的质心点，得到质心点的坐标集合；

根据所述每一物品轮廓图像的质心点与所述第四图像数据的中线的位置关系，建立第一质心点坐标列表及第二质心点坐标列表；其中，所述第一质心点坐标列表存放位于所述第四图像数据的中线的左侧的质心点的坐标，所述第二质心点坐标列表存放位于所述第四图像数据的中线的右侧的质心点的坐标；

根据所述每一物品轮廓图像的质心点与所述第四图像数据的中线的距离关系，采用的升序排序方式分别对所述第一质心点坐标列表中的质心点的坐标及所述第二质心点坐标列表中的质心点的坐标进行排序，得到第三质心点坐标列表及第四质心点坐标列表；其中，质心点到所述第四图像数据的中线的距离越小的质心点的坐标排序位置越靠前；

判断所述第三质心点坐标列表及所述第四质心点坐标列表是否为非空，若是，则判断所述第三质心点坐标列表及所述第四质心点坐标列表中的第一个质心点坐标是否满足预设规则，若是，则将所述第四图像数据作为第二图像数据。

3.如权利要求2所述的一种用于冰柜陈列识别的拍摄方法，其特征在于，所述对所述第一图像数据进行初步处理，得到第四图像数据，包括：

对所述第一图像数据进行预处理，得到第五图像数据；其中，所述预处理包括：图像缩放及图像旋转；

将所述第五图像数据进行灰度处理，并转换为二值图，得到第六图像数据；

通过滤波器对所述第六图像数据进行滤波处理，得到第四图像数据；其中所述滤波处理包括：去除第六图像数据的水平方向轮廓及去除第六图像数据中区域面积小于阈值的区域。

4.如权利要求1所述的一种用于冰柜陈列识别的拍摄方法，其特征在于，所述对所述第二图像数据进行畸形矫正，得到无畸变的第三图像数据，包括：

获取所述拍摄装置的内部参数及畸变矩阵；

根据所述拍摄装置的内部参数及畸变矩阵对所述第二图像数据进行映射，得到无畸变的第三图像数据。

5.如权利要求1所述的一种用于冰柜陈列识别的拍摄方法，其特征在于，所述通过图像识别技术对所述第三图像数据进行处理，得到商品陈列结果，包括：

对所述第三图像数据进行目标检测，得到所述第三图像数据中的商品类别信息及商品位置信息；

根据所述商品类别信息及商品位置信息，得到冰柜商品陈列信息；

根据所述冰柜商品陈列信息计算陈列指标；其中，所述陈列指标包括：饱和度及纯净度。

6.一种用于冰柜陈列识别的拍摄系统，其特征在于，包括：

拍摄模块，用于接收柜门开启信号，启动拍摄装置进行拍照，得到第一图像数据；

最佳拍摄位置算法处理模块，用于根据自动分析最佳拍摄位置算法对所述第一图像数据进行处理，得到第二图像数据；

畸形矫正模块，用于对所述第二图像数据进行畸形矫正，得到无畸变的第三图像数据；

图形识别模块，用于通过图像识别技术对所述第三图像数据进行处理，得到商品陈列结果，完成冰柜陈列识别。

7.如权利要求6所述的一种用于冰柜陈列识别的拍摄系统，其特征在于，所述最佳拍摄位置算法处理模块，包括：

图像初步处理子模块，用于对所述第一图像数据进行初步处理，得到第四图像数据；其中，所述初步处理包括：图像缩放、图像旋转、灰度处理及滤波处理；

质心点计算子模块，用于查找第四图像数据中物品轮廓图像，并计算每一物品轮廓图像的质心点，得到质心点的坐标集合；

质心点的坐标列表建立子模块，用于根据所述每一物品轮廓图像的质心点与所述第四图像数据的中线的位置关系，建立第一质心点坐标列表及第二质心点坐标列表；其中，所述第一质心点坐标列表存放位于所述第四图像数据的中线的左侧的质心点的坐标，所述第二质心点坐标列表存放位于所述第四图像数据的中线的右侧的质心点的坐标；

质心点的坐标列表优化子模块，用于根据所述每一物品轮廓图像的质心点与所述第四图像数据的中线的距离关系，采用的升序排序方式分别对所述第一质心点坐标列表中的质心点的坐标及所述第二质心点坐标列表中的质心点的坐标进行排序，得到第三质心点坐标列表及第四质心点坐标列表；其中，质心点到所述第四图像数据的中线的距离越小的质心点的坐标排序位置越靠前；

判断子模块，用于判断所述第三质心点坐标列表及所述第四质心点坐标列表是否为非空，若是，则判断所述第三质心点坐标列表及所述第四质心点坐标列表中的第一个质心点坐标是否满足预设规则，若是，则将所述第四图像数据作为第二图像数据。

8.如权利要求7所述的一种用于冰柜陈列识别的拍摄系统，其特征在于，所述图像初步处理子模块，包括：

图像预处理子模块，用于对所述第一图像数据进行预处理，得到第五图像数据；其中，所述预处理包括：图像缩放及图像旋转；

图像灰度处理子模块，用于将所述第五图像数据进行灰度处理，并转换为二值图，得到第六图像数据；

图像滤波处理子模块，用于通过滤波器对所述第六图像数据进行滤波处理，得到第四图像数据；其中所述滤波处理包括：去除第六图像数据的水平方向轮廓及去除第六图像数据中区域面积小于阈值的区域。

9.如权利要求6所述的一种用于冰柜陈列识别的拍摄系统，其特征在于，所述畸形矫正模块，还用于：

获取所述拍摄装置的内部参数及畸变矩阵；

根据所述拍摄装置的内部参数及畸变矩阵对所述第二图像数据进行映射，得到无畸变的第三图像数据。

10.如权利要求9所述的一种用于冰柜陈列识别的拍摄系统，其特征在于，所述图形识别模块，包括：

目标识别子模块，用于对所述第三图像数据进行目标检测，得到所述第三图像数据中的商品类别信息及商品位置信息；

冰柜商品陈列信息获取子模块，用于根据所述商品类别信息及商品位置信息，得到冰柜商品陈列信息；

陈列指标计算子模块，用于根据所述冰柜商品陈列信息计算陈列指标；其中，所述陈列指标包括：饱和度及纯净度。

Images