CN108805823B - 商品图像矫正方法、系统、设备及存储介质 - Google Patents

Abstract

本发明提供了一种商品图像矫正方法、系统、设备及存储介质，包括将图像f中的多个商品区域识别出；通过连接两个第一目标商品区域的中心位置确定参考线l₁，连接两个第二目标商品区域的中心位置确定参考线l₂，根据参考线l₁和参考线l₂的斜率平均值生成参考线l₃；将每个第一目标商品区域的中心位置与距离最近的第二目标商品区域的中心位置相连接生成多条参考线l₄，根据多条参考线l₄的斜率平均值生成参考线l₅；根据参考线l₃与图像f的水平基线以及参考线l₅与图像f的竖直基线之间的变换关系生成第一转换矩阵，进而生成一次矫正后图像f₀。本发明通过两个第一目标商品区域和第二目标商品区域即能够确定矫正参考线，提高了矫正速度快，并且矫正效果较好。

Description

商品图像矫正方法、系统、设备及存储介质

技术领域

本发明涉及图像处理技术，具体地，涉及一种商品图像矫正方法、系统、设备及存储介质。

背景技术

当采用传感器正对目标拍摄进行图像的采集时，即传感器光轴垂直目标平面，此时采集得到图像为标准图像。但在平时工作时，往往不能采集到标准图像，图片传感器光轴与目标物平面总是成一定斜角，得到的图像往是经过平面的透视变换，目标往往变成梯形或者近似梯形，这就需要对它们进一步的矫正。

在名称为“用Hough变换在中文名片图像倾斜矫正中的应用”文献中，公开了一种传统的图像矫正方法，就是先用Hough变换检测出图像中所在的平行直线，由直线的斜率确定的倾斜角度并进行矫正。由于图像中直线已不再平行，表现出呈多个方向的倾斜，很难找到一个斜率的折中来满足要求。

在申请号为201510372179.8，名称为图像矫正方法以及摄像头的发明专利中公开了一种图像矫正方法，但是该方法需要得知所述摄像头的视场角参数，应用坐标转换方式得到图像矫正。而采集到的变形货柜商品图像中，商品较为密集，不同商品形状相似，目标多并成不规则几何形状，图像采集来源未知，也无法获取传感器摄像头信息，所以应用传统图像矫正方法进行矫正不再生效。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种商品图像矫正方法、系统、设备及存储介质。

根据本发明提供的商品图像矫正方法，包括如下步骤：

步骤S1：将图像f中的多个商品区域识别出，进而将多个所述商品区域进行标注出，多个商品区域至少包括多个依次排列且位于不同高度的第一目标商品区域和第二目标商品区域；

步骤S2：通过至少连接两个第一目标商品区域的中心位置确定参考线l₁，至少连接两个第二目标商品区域的中心位置确定参考线l₂，根据参考线l₁和参考线l₂的斜率平均值生成参考线l₃；

步骤S3：将每个第一目标商品区域的中心位置与沿一设定方向排列次序相同的第二目标商品区域的中心位置相连接生成多条参考线l₄，根据多条参考线l₄的斜率平均值生成参考线l₅；

步骤S4：根据参考线l₃与图像f的水平基线以及参考线l₅与图像f的竖直基线之间的变换关系生成第一转换矩阵，并将所述图像f根据所述第一转换矩阵进行矫正生成一次矫正后图像f₀。

优选地，所述步骤S1包括如下步骤：

步骤S101：采集多组商品图像，每组商品图像包括多张同一商品类别的商品图像；

步骤S102：通过多组商品图像训练生成商品识别模型；

步骤S103：通过所述商品识别模型识别出所述将图像中的所述第一目标商品区域和所述第二目标商品区域。

优选地，还包括如下步骤：

步骤M1：提取一第一目标商品区域或第二目标商品区域的沿水平基线方向延伸的一侧边线作为参考线l₆；

步骤M2：提取一第一目标商品区域或第二目标商品区域的沿竖直基线方向延伸的一侧边线作为参考线l₇；

步骤M3：根据参考线l₆与图像f的水平线以及参考线l₇与图像f的竖直线之间的变换关系生成第二转换矩阵，并将所述一次矫正后图像f₀根据所述第二转换矩阵进行矫正生成二次矫正后图像。

优选地，还包括如下步骤：

步骤N1：将一次矫正后图像f₀中的每个商品区域识别出,并计算每一商品区域与一次矫正后图像f₀中心位置的欧氏距离d₀，将欧氏距离d₀最小的商品区域作为目标商品区域f_target；

步骤N2：将目标商品区域f_target和预存储的标准图像f_S中每个像素点的邻域内灰度变化大于预设灰度变化阈值的像素点作为候选特征点；

步骤N3：在所述目标商品区域f_target和所述标准图像f_S中每个设定区域的候选特征点中选择灰度变化值最大的候选特征点作为目标特征点；

步骤N4：根据所述目标商品区域f_target与所述标准图像f_S对应的多个目标特征点确定投影矩阵M，所述投影矩阵M使得f_S＝Mf_target，根据所述投影矩阵M对所述一次矫正后图像f₀进行调整生成二次矫正后图像。

优选地，在所述步骤N4中还包括如下步骤：

步骤N401：根据所述目标商品区域f_target与所述标准图像f_S对应的至少4对目标特征点计算出所述投影矩阵M，根据所述投影矩阵M对所述一次矫正后图像f₀进行调整生成二次矫正后图像；

步骤N402：在二次矫正后图像中计算剩余目标特征点与标准图像f_S中对应的目标特征点之间的欧氏距离d，并将欧氏距离d大于设定的阈值距离的目标特征点认定为不正确的目标特征点，欧氏距离d小于等于预设的阈值距离的目标特征点认定为正确的目标特征点，并统计目标特征点的正确率k；

步骤N403：计算目标商品区域f_target与所述标准图像f_S对应点的灰度值偏差Dev＝∑|f_target(x_i,y_i,l)-f_S(x′_i,y′,l)|，其中l表示维数，l＝1，2，3；

步骤N404：判断目标特征点的正确率k是否大于预设的正确率阈值，灰度值偏差Dev是否大于预设的灰度值偏差阈值，若否，则随机选择4对目标特征点再次执行步骤N401至步骤N403，若是，则执行结束步骤。

优选地，所述特征点的灰度变化值采用像素点的四邻域或者八邻域灰度方差V_u,v(x,y)表示，

V_u,v(x,y)＝∑(R(x+u+a,y+v+b)-R(x+a,y+b))²

其中，R(x+u+a,y+v+b)表示像素点(x+u+a,y+v+b)的灰度值，R(x+a,y+b)表示像素点(x+a,y+b)的灰度值；V_u,v(x,y)表示像素点(x,y)在设定区域(u,v)内移动，计算像素点(x,y)在四邻域或八邻域窗口(a,b)内移动的灰度变化。

优选地，在步骤S1之前还包括如下步骤：

对所述图像f进行去除噪声处理，具体为采用自适应中值滤波算法去噪。

本发明提供的商品图像矫正系统，用于实现所述的商品图像矫正方法，包括：

商品区域识别模块，用于将图像f中的多个商品区域识别出，进而将多个所述商品区域进行标注出，多个商品区域至少包括多个依次排列且位于不同高度的第一目标商品区域和第二目标商品区域；

水平参考线生成模块，用于通过至少连接两个第一目标商品区域的中心位置确定参考线l₁，至少连接两个第二目标商品区域的中心位置确定参考线l₂，根据参考线l₁和参考线l₂的斜率平均值生成参考线l₃；

竖直参考线生成模块，用于将每个第一目标商品区域的中心位置与沿一设定方向排列次序相同的第二目标商品区域的中心位置相连接生成多条参考线l₄，根据多条参考线l₄的斜率平均值生成参考线l₅；

一次矫正模块，用于根据参考线l₃与图像f的水平基线以及参考线l₅与图像f的竖直基线之间的变换关系生成第一转换矩阵，并将所述图像f根据所述第一转换矩阵进行矫正生成一次矫正后图像f₀。

本发明提供的商品图像矫正设备，包括：

处理器；

存储器，其中存储有所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行所述商品图像矫正方法的步骤。

本发明提供的计算机可读存储介质，用于存储程序，所述程序被执行时实现所述商品图像矫正方法的步骤。

与现有技术相比，本发明具有如下的有益效果：

本发明基于商品图像中的多组相同的商品区域，在其中识别出多个依次排列并位于货架不同层的两组目标商品区域，即第一目标商品区域和第二目标商品区域，通过两个第一目标商品区域和第二目标商品区域即能够确定矫正参考线，从而提供了矫正速度快，并且矫正效果较好；本发明在所述目标商品区域与所述标准图像中选择四对目标特征点计算出投影矩阵后一次矫正后图像进行调整，该四对目标特征点使得目标特征点的正确率和灰度值偏差均小于预设阈值，提高了矫正的效果。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明中图像畸变的过程示意图；

图2为本发明中商品图像矫正方法的步骤流程图；

图3为本发明中商品区域识别的步骤流程图；

图4为本发明中二次矫正后图像生成的步骤流程图；

图5为本发明变形例中一次矫正的原理示意图；

图6为本发明变形例中二次矫正后图像生成的步骤流程图；

图7为本发明中投影矩阵M的更新步骤流程图；

图8为本发明中商品图像矫正系统的模块示意图；

图9为本发明中商品图像矫正设备的结构示意图；以及

图10为本发明中计算机可读存储介质的结构示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

当采用相机进行图像采集时，由于待采集商品的目标平面与成像平面不平行，生成的图像中目标会产生三维透视变形。对于该变形现象，用三个角度α、β、γ来模拟目标平面相对于相机位置。角度α为相机镜头主光轴与目标平面的水平夹角，β为相机镜头主光轴与目标平面的垂直夹角，γ为相机镜头主光轴与垂直平面旋转角度。

当目标平面与镜头主光轴水平成夹角α度时，所呈现图像如图1中的图像畸变过程所示。畸变的原因为，由于人体身高与货架高度成一定比，左方的目标因为距离光心更近，比右边的目标显得大一些，所以原来水平方向平行的横线也不再平行，水平方向的畸变比垂直方向的严重很多，拍摄后图像视觉多数呈现这种透视关系，而相比β、γ方向的畸变近似为零。即本发明提供的商品图像矫正方法在做畸变矫正时最先关注α角产生水平方向的畸变，而垂直方向的畸变通过二次矫正进行微调。

在本实施例中，图2为本发明提供的商品图像矫正方法的步骤流程图，如图2所示，本发明提供的商品图像矫正方法，包括如下步骤：

步骤S1：将图像f中的多个商品区域识别出，进而将多个所述商品区域进行标注出，多个商品区域至少包括多个依次排列且位于不同高度的第一目标商品区域和第二目标商品区域；

步骤S2：通过至少连接两个第一目标商品区域的中心位置确定参考线l₁，至少连接两个第二目标商品区域的中心位置确定参考线l₂，根据参考线l₁和参考线l₂的斜率平均值生成参考线l₃；

步骤S3：将每个第一目标商品区域的中心位置与沿一设定方向排列次序相同的第二目标商品区域的中心位置相连接生成多条参考线l₄，根据多条参考线l₄的斜率平均值生成参考线l₅；

步骤S4：根据参考线l₃与图像f的水平基线以及参考线l₅与图像f的竖直基线之间的变换关系生成第一转换矩阵，并将所述图像f根据所述第一转换矩阵进行矫正生成一次矫正后图像f₀。

在本实施例中，在步骤S1之前还包括如下步骤：对所述图像f进行去除噪声处理，具体为采用自适应中值滤波算法去噪。由于相机成像并非理想的小孔成像模型，拍摄到的图像，镜头存在径向和切向畸变，有必要对图像进行畸变矫正，矫正后的平面与目标平面之间会表现为更精确的透视变换关系。

在本实施例中，所述设定方向为图像f的宽度方向，也就是说所述设定方向为水平方向。本发明中主要适用于与商场中货架对应图像的采集，所述第一目标商品区域和第二目标商品区域可以为位于货架不同层的商品，在选择第一目标商品区域和第二目标商品区域时，尽量选择每个第一目标商品区域与沿水平方向排列次序相同的第二目标商品区域位于同一直线上的第一目标商品区域和第二目标商品区域。

图3为本发明提供的商品区域识别的步骤流程图，如图3所示，所述步骤S1包括如下步骤：

步骤S101：采集多组商品图像，每组商品图像包括多张同一商品类别的商品图像；

步骤S102：通过多组商品图像训练生成商品识别模型；

步骤S103：通过所述商品识别模型识别出所述将图像中的所述第一目标商品区域、所述第二目标商品区域。

对商品区域进行识别提取时，用窗口框标注出来。所述商品区域通过商品识别模型进行识别出，所述商品识别模型为根据参考图像库中标准图像上的商品区域进行机器学习，经过前期训练好，商品识别模型能快速将目标识别，同类商品使用同类大小的窗口标记出。将标准图像f_S预存储在所述参考图像库中，标准图像f_S不仅用来训练商品识别模型，另外标准图像库中的标准图像还用来作为的二次矫正时使用的模板。

图4为本发明中二次矫正后图像生成的步骤流程图，如图4所示，本发明提供的商品图像矫正方法，还包括如下步骤：

步骤M1：提取一第一目标商品区域或第二目标商品区域的沿水平基线方向延伸的一侧边线作为参考线l₆；

步骤M2：提取一第一目标商品区域或第二目标商品区域的沿竖直基线方向延伸的一侧边线作为参考线l₇；

步骤M3：根据参考线l₆与图像f的水平线以及参考线l₇与图像f的竖直线之间的变换关系生成第二转换矩阵，并将所述一次矫正后图像f₀根据所述第二转换矩阵进行矫正生成二次矫正后图像。

在变形例中，所述第一转换矩阵还可以通过如下方式实现，具体包括如下步骤：

步骤S401：连接两个第一目标商品区域的中心位置确定参考线l₁，连接两个第二目标商品区域的中心位置确定参考线l₂；

步骤S402：以排在前列的第一目标商品区域的中心位置(x₁,y₁)作垂直于所述图像上下侧边的参考线l₃，所述参考线l₃与参考线l₂的交点为(x₃,y₃)，以排在后列的第二目标商品区域的中心位置(x₄,y₄)作平行于参考线l₃的参考线l₄，所述参考线l₄与参考线l₁的交点为(x₂,y₂)；

步骤S403：将调整所述参考线l₁、l₂、l₃、l₄，使得l₂⊥l₃，l₁||l₂，l₃||l₄，排在前列的第一目标商品区域的中心位置(x₁,y₁)变为(x₁,y₁)′，所述参考线l₄与参考线l₁的交点(x₂,y₂)变为(x₂,y₂)′，所述参考线l₃与参考线l₂的交点(x₃,y₃)变为(x₃,y₃)′，排在后列的第二目标商品区域的中心位置(x₄,y₄)变为(x₄,y₄)′；

步骤S404：根据(x₁,y₁)，(x₂,y₂)，(x₃,y₃)，(x₄,y₄)，(x₁,y₁)′，(x₂,y₂)′，(x₃,y₃)′，(x₄,y₄)′求得透视变换矩阵H，使得一次矫正后图像f₀＝Hf。

图5为本发明变形例中一次矫正的原理示意图，如图5所示，一次矫正后图像f₀有l′₁,l′₂，l′₃,l′₄，且l′₁||l′₂,l′₃||l′₄,l′₂⊥l′₃经透视变换后变成图像f，即将图像f中的l₁,l₂，l₃，l₄和f₀中的l′₁,l′₂,l′₃,l′₄分别看作对应平面上的点集合，即有l′₁＝Hl₁,f₀＝Hf,H为变换矩阵。因此已知四对匹配点如图2，(x₁,y₁)，(x₂,y₂)，(x₃,y₃)，(x₄,y₄)，(x₁,y₁)′，(x₂,y₂)′，(x₃,y₃)′，(x₄,y₄)′，便可求出H，进一步的求得f₀。

图6为本发明中二次矫正后图像生成的步骤流程图，如图6所示，本发明提供的商品图像矫正方法，还包括如下步骤：

步骤N1：将一次矫正后图像f₀中的每个商品区域识别出,并计算每一商品区域与一次矫正后图像f₀中心位置的欧氏距离d₀，将欧氏距离d₀最小的商品区域作为目标商品区域f_target；

步骤N2：将目标商品区域f_target和预存储的标准图像f_S中每个像素点的邻域内灰度变化大于预设灰度变化阈值的像素点作为候选特征点；

步骤N3：在所述目标商品区域f_target和所述标准图像f_S中每个设定区域的候选特征点中选择灰度变化值最大的候选特征点作为目标特征点；

步骤N4：根据所述目标商品区域f_target与所述标准图像f_S对应的多个目标特征点确定所述投影矩阵M，所述投影矩阵M使得f_S＝Mf_target，根据所述投影矩阵M对所述一次矫正后图像f₀进行调整生成二次矫正后图像。

在一次矫正基础上再次调用商品识别模型提取目标商品区域f_target。把目标商品区域f_target识别出来，f₀中包含多个目标商品区域f_target。计算目标商品区域f_target到f₀中心的欧式距离d₀，由f_target与f₀的位置相关性，选择d₀最小的目标商品区域f_target为依据，并与参考图像库参考图像f_S做尺度比较，能够达到比较好的成果。进一步的，要提高算法的精确度，需要对得到f_target的投影矩阵M进行微调。所述邻域可以为四邻域或者八邻域灰度，优选为四邻域。所述设定区域为对所述目标商品区域f_target和所述标准图像f_S进行分隔形成4×4的每一区域。

所述特征点的灰度变化值采用像素点的四邻域或者八邻域灰度方差V_u,v(x,y)表示，

V_u,v(x,y)＝∑(R(x+u+a,y+v+b)-R(x+a,y+b))²

其中，R(x+u+a,y+v+b)表示像素点(x+u+a,y+v+b)的灰度值，R(x+a,y+b)表示像素点(x+a,y+b)的灰度值；V_u,v(x,y)表示像素点(x,y)在设定区域(u,v)内移动，计算像素点(x,y)在四邻域(a,b)内移动的灰度变化。(a,b)是四邻域的窗口变化，此处窗口选3×3,即a＝-1，0，1；b＝-1，0，1。

当V_u,v(x,y)>T时，则将该像素点设定为一候选特征点，在本实施例中T为15。在本实施例中，将步骤S304将目标商品区域f_target的目标特征点与标准图像f_S中对应的目标特征点之间欧式距离大于100的排除。

图7为本发明中投影矩阵M的更新步骤流程图，如图7所示，在所述步骤N4中还包括如下步骤：

步骤N401：根据所述目标商品区域f_target与所述标准图像f_S对应的至少4对目标特征点计算出所述投影矩阵M，根据所述投影矩阵M对所述一次矫正后图像f₀进行调整生成二次矫正后图像；

步骤N402：在二次矫正后图像中计算剩余目标特征点与标准图像f_S中对应的目标特征点之间的欧氏距离d，并将欧氏距离d大于设定的阈值距离的目标特征点认定为正确的目标特征点，欧氏距离d小于等于预设的阈值距离的目标特征点认定为不正确的目标特征点，并统计目标特征点的正确率k；

步骤N403：计算目标商品区域f_target与所述标准图像f_S对应点的灰度值偏差Dev＝∑|f_target(x_i,y_i,l)-f_S(x′_i,y′_i,l)|，其中l表示维数，即RGB三基色的维数，l＝1，2，3；

步骤N404：判断目标特征点的正确率k是否大于预设的正确率阈值，灰度值偏差Dev是否大于预设的灰度值偏差阈值，若否，则选随机选择4对目标特征点再次执行步骤N401至步骤N403，若是，则执行结束步骤。

在本实施例中，

所述阈值距离为35。本发明中重新随机抽取新的4对目标特征点，重复以上过程，继续更新矩阵M、k、Dev。找到最优的投影矩阵M。进而计算最优矫正后图像F＝Mf₀。

图8是本发明中商品图像矫正系统的模块示意图。如图8所示，本发明的实施例中还提供一种商品图像矫正系统，用于实现上述的商品图像矫正方法，所述商品图像矫正系统100包括：

商品区域识别模块101，用于将图像f中的多个商品区域识别出，进而将多个所述商品区域进行标注出，多个商品区域至少包括多个依次排列且位于不同高度的第一目标商品区域和第二目标商品区域；

水平参考线生成模块102，用于通过至少连接两个第一目标商品区域的中心位置确定参考线l₁，至少连接两个第二目标商品区域的中心位置确定参考线l₂，根据参考线l₁和参考线l₂的斜率平均值生成参考线l₃；

竖直参考线生成模块103，用于将每个第一目标商品区域的中心位置与沿一设定方向排列次序相同的第二目标商品区域的中心位置相连接生成多条参考线l₄，根据多条参考线l₄的斜率平均值生成参考线l₅；

一次矫正模块104，用于根据参考线l₃与图像f的水平基线以及参考线l₅与图像f的竖直基线之间的变换关系生成第一转换矩阵，并将所述图像f根据所述第一转换矩阵进行矫正生成一次矫正后图像f₀。

本发明实施例中还提供一种商品图像矫正设备，包括处理器。存储器，其中存储有处理器的可执行指令。其中，处理器配置为经由执行可执行指令来执行的商品图像矫正方法的步骤。

如上，该实施例中基于商品图像中的多组相同的商品区域，在其中识别出多个依次排列并位于货架不同层的两组目标商品区域，即第一目标商品区域和第二目标商品区域，两个第一目标商品区域和第二目标商品区域即能够确定矫正直线，从而提供了矫正速度快，并且矫正效果较好。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。

图9是本发明的商品图像矫正设备的结构示意图。下面参照图9来描述根据本发明的这种实施方式的电子设备600。图9显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图9所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组件(包括存储单元620和处理单元610)的总线630、显示单元640等。

其中，存储单元存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，处理单元610可以执行如图1中所示的步骤。

存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。

存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图9中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。

本发明实施例中还提供一种计算机可读存储介质，用于存储程序，程序被执行时实现的商品图像矫正方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。

如上所示，该实施例的计算机可读存储介质的程序在执行时，本发明基于商品图像中的多组相同的商品区域，在其中识别出多个依次排列并位于货架不同层的两组目标商品区域，即第一目标商品区域和第二目标商品区域，两个第一目标商品区域和第二目标商品区域即能够确定矫正直线，从而提供了矫正速度快，并且矫正效果较好。

图10是本发明的计算机可读存储介质的结构示意图。参考图10所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

本发明基于商品图像中的多组相同的商品区域，在其中识别出多个依次排列并位于货架不同层的两组目标商品区域，即第一目标商品区域和第二目标商品区域，通过两个第一目标商品区域和第二目标商品区域即能够确定矫正参考线，从而提供了矫正速度快，并且矫正效果较好；本发明在所述目标商品区域与所述标准图像中选择四对目标特征点计算出投影矩阵后一次矫正后图像进行调整，该四对目标特征点使得目标特征点的正确率和灰度值偏差均小于预设阈值，提高了矫正的效果。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (8)

1.一种商品图像矫正方法，其特征在于，包括如下步骤：

步骤S1：将图像f中的多个商品区域识别出，进而将多个所述商品区域进行标注出，多个商品区域至少包括多个依次排列且位于不同高度的第一目标商品区域和第二目标商品区域；

步骤S2：通过至少连接两个第一目标商品区域的中心位置确定参考线l₁，至少连接两个第二目标商品区域的中心位置确定参考线l₂，根据参考线l₁和参考线l₂的斜率平均值生成参考线l₃；

步骤S3：将每个第一目标商品区域的中心位置与沿一设定方向排列次序相同的第二目标商品区域的中心位置相连接生成多条参考线l₄，根据多条参考线l₄的斜率平均值生成参考线l₅；

步骤S4：根据参考线l₃与图像f的水平基线以及参考线l₅与图像f的竖直基线之间的变换关系生成第一转换矩阵，并将所述图像f根据所述第一转换矩阵进行矫正生成一次矫正后图像f₀；

还包括步骤M1至步骤M3：

步骤M1：提取一第一目标商品区域或第二目标商品区域的沿水平基线方向延伸的一侧边线作为参考线l₆；

步骤M2：提取一第一目标商品区域或第二目标商品区域的沿竖直基线方向延伸的一侧边线作为参考线l₇；

步骤M3：根据参考线l₆与图像f的水平线以及参考线l₇与图像f的竖直线之间的变换关系生成第二转换矩阵，并将所述一次矫正后图像f₀根据所述第二转换矩阵进行矫正生成二次矫正后图像；

或步骤N1至步骤N4：

步骤N1：将一次矫正后图像f₀中的每个商品区域识别出，并计算每一商品区域与一次矫正后图像f₀中心位置的欧氏距离d₀，将欧氏距离d₀最小的商品区域作为目标商品区域f_target；

步骤N2：将目标商品区域f_target和预存储的标准图像f_S中每个像素点的邻域内灰度变化大于预设灰度变化阈值的像素点作为候选特征点；

步骤N3：在所述目标商品区域f_target和所述标准图像f_S中每个设定区域的候选特征点中选择灰度变化值最大的候选特征点作为目标特征点；

步骤N4：根据所述目标商品区域f_target与所述标准图像f_S对应的多个目标特征点确定投影矩阵M，所述投影矩阵M使得f_S＝Mf_target，根据所述投影矩阵M对所述一次矫正后图像f₀进行调整生成二次矫正后图像。

2.根据权利要求1所述的商品图像矫正方法，其特征在于，所述步骤S1包括如下步骤：

步骤S101：采集多组商品图像，每组商品图像包括多张同一商品类别的商品图像；

步骤S102：通过多组商品图像训练生成商品识别模型；

步骤S103：通过所述商品识别模型识别出所述图像f中的第一目标商品区域和第二目标商品区域。

3.根据权利要求1所述的商品图像矫正方法，其特征在于，在所述步骤N4中还包括如下步骤：

步骤N401：根据所述目标商品区域f_target与所述标准图像f_S对应的至少4对目标特征点计算出所述投影矩阵M，根据所述投影矩阵M对所述一次矫正后图像f₀进行调整生成二次矫正后图像；

步骤N402：在二次矫正后图像中计算剩余目标特征点与标准图像f_S中对应的目标特征点之间的欧氏距离d，并将欧氏距离d大于设定的阈值距离的目标特征点认定为不正确的目标特征点，欧氏距离d小于等于预设的阈值距离的目标特征点认定为正确的目标特征点，并统计目标特征点的正确率k；

步骤N403：计算目标商品区域f_target与所述标准图像f_S对应点的灰度值偏差Dev＝∑|f_target(x_i，y_i，l)-f_S(x′_i，y′_i，l)|，其中l表示维数，l＝1，2，3；

步骤N404：判断目标特征点的正确率k是否大于预设的正确率阈值，灰度值偏差Dev是否大于预设的灰度值偏差阈值，若否，则随机选择4对目标特征点再次执行步骤N401至步骤N403，若是，则执行结束步骤。

4.根据权利要求1所述的商品图像矫正方法，其特征在于，所述灰度变化值采用像素点的四邻域或者八邻域灰度方差V_u，v(x，y)表示，

V_u，v(x，y)＝∑(R(x+u+a，y+v+b)-R(x+a，y+b))²

其中，R(x+u+a，y+v+b)表示像素点(x+u+a，y+v+b)的灰度值，R(x+a，y+b)表示像素点(x+a，y+b)的灰度值；V_u，v(x，y)表示像素点(x，y)在设定区域(u，v)内移动，计算像素点(x，y)在四邻域或八邻域窗口(a，b)内移动的灰度变化。

5.根据权利要求1所述的商品图像矫正方法，其特征在于，在步骤S1之前还包括如下步骤：

对图像f进行去除噪声处理，具体为采用自适应中值滤波算法去噪。

6.一种商品图像矫正系统，用于实现权利要求1至5中任一项所述的商品图像矫正方法，其特征在于，包括：

商品区域识别模块，用于将图像f中的多个商品区域识别出，进而将多个所述商品区域进行标注出，多个商品区域至少包括多个依次排列且位于不同高度的第一目标商品区域和第二目标商品区域；

水平参考线生成模块，用于通过至少连接两个第一目标商品区域的中心位置确定参考线l₁，至少连接两个第二目标商品区域的中心位置确定参考线l₂，根据参考线l₁和参考线l₂的斜率平均值生成参考线l₃；

竖直参考线生成模块，用于将每个第一目标商品区域的中心位置与沿一设定方向排列次序相同的第二目标商品区域的中心位置相连接生成多条参考线l₄，根据多条参考线l₄的斜率平均值生成参考线l₅；

一次矫正模块，用于根据参考线l₃与图像f的水平基线以及参考线l₅与图像f的竖直基线之间的变换关系生成第一转换矩阵，并将所述图像f根据所述第一转换矩阵进行矫正生成一次矫正后图像f₀。

7.一种商品图像矫正设备，其特征在于，包括：

处理器；

存储器，其中存储有所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至5中任意一项所述商品图像矫正方法的步骤。

8.一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被执行时实现权利要求1至5中任意一项所述商品图像矫正方法的步骤。

Images