CN115330797B - 一种用于货柜动态模糊商品的识别方法 - Google Patents

一种用于货柜动态模糊商品的识别方法 Download PDF

Info

Publication number
CN115330797B
CN115330797B CN202211255130.0A CN202211255130A CN115330797B CN 115330797 B CN115330797 B CN 115330797B CN 202211255130 A CN202211255130 A CN 202211255130A CN 115330797 B CN115330797 B CN 115330797B
Authority
CN
China
Prior art keywords
commodity
image
fused
row
clear
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211255130.0A
Other languages
English (en)
Other versions
CN115330797A (zh
Inventor
冯立磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nantong Yunshangxiang Home Textile E Commerce Co ltd
Original Assignee
Nantong Yunshangxiang Home Textile E Commerce Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nantong Yunshangxiang Home Textile E Commerce Co ltd filed Critical Nantong Yunshangxiang Home Textile E Commerce Co ltd
Priority to CN202211255130.0A priority Critical patent/CN115330797B/zh
Publication of CN115330797A publication Critical patent/CN115330797A/zh
Application granted granted Critical
Publication of CN115330797B publication Critical patent/CN115330797B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations

Abstract

本发明涉及商品识别领域，具体涉及一种用于货柜动态模糊商品的识别方法。该方法包括：通过采集模糊商品图像并分类得到所有疑似商品类别，调整疑似商品类别的姿态信息与模糊商品图像的模糊信息保持一致后获取每类疑似商品图像对应的清晰商品图像，计算清晰商品图像的像素值和每行像素值的行缩放因子获取融合规则，将该融合规则应用到清晰商品图像得到每类疑似商品的融合商品图像，对比该融合商品图像与实际模糊商品图像的差异并识别商品类别。本发明实现了通过融合规则快速获取融合商品图像并根据融合商品图像与模糊商品图像的差异识别商品类别，提高了识别的效率和准确率。

Description

一种用于货柜动态模糊商品的识别方法
技术领域
本发明涉及商品识别领域，具体涉及一种用于货柜动态模糊商品的识别方法。
背景技术
当下主流的货柜技术方案有重力感应解决方案、动态视觉识别方案和静态视觉识别方案。其中，动态视觉识别方案通常是在柜体顶端或两侧安装多个摄像头，对消费者开门后拿取商品的过程进行录制，视频上传至后台系统后，通过对购物视频进行识别从而确定消费者拿取的商品信息。
在现阶段的动态视觉识别中，如果购物者快速拿取商品，则会导致视频画面模糊，影响商品的识别。而目前模糊图像的识别方法主要是通过各种方法提取模糊图像的模糊核，对模糊图像进行反卷积得到清晰图像，从而完成图像识别。但该方法较为复杂，且不同方法得到的模糊核之间具有差异，得到的清晰图像与实际的清晰图像之间也会有差异，不能准确识别所购商品的清晰图像，也就无法通过清晰图像获取正确的商品类别。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种用于货柜动态模糊商品的识别方法，所采用的技术方案具体如下：
第一方面，本发明一个实施例提供了一种用于货柜动态模糊商品的识别方法，所述方法包括：
采集在所选商品移动时的模糊图像并提取模糊商品图像；
根据所述所选商品的疑似商品类别进行匹配获取清晰商品图像；所述清晰商品图像为每类疑似商品对应的清晰商品图像；
根据每行像素的曝光时间和所述所选商品的偏移速度获取在所述曝光时间内商品的偏移距离；
根据所述偏移距离和每行像素宽度获取在所述曝光时间内的行缩放因子；
以所述行缩放因子作为所述清晰商品图像中相应的行像素值的权重，根据所述行像素值的权重对所述清晰商品图像中的至少两行像素值进行融合得到融合后的行像素值，根据所述融合后的每行像素值得到融合商品图像；
通过所述模糊商品图像筛选所述融合商品图像获取所述所选商品的商品类别。
进一步，所述所选商品的疑似商品类别的获取步骤包括：
通过分割所述模糊图像提取所述模糊图像中的模糊商品图像；
根据所述模糊商品图像获取所述商品的形状信息和颜色信息；
根据所述商品的形状信息和颜色信息对所述商品进行分类获取多类疑似商品类别。
进一步，所述根据所述所选商品的疑似商品类别进行匹配获取清晰商品图像的获取步骤包括：
通过所述模糊商品图像获取所述商品的姿态信息；所述姿态信息为所述商品的包装面的朝向和姿态角信息；
筛选每类疑似商品图像的姿态信息与所述模糊商品图像的姿态信息保持一致，获取与每类所述疑似商品对应的所述清晰商品图像。
进一步，所述根据每行像素的曝光时间和所述所选商品的偏移速度获取在所述曝光时间内商品的偏移距离的获取步骤包括：
通过相机参数获取所述每行像素的曝光时间；
根据所选商品的移动速度和角度获取所述所选商品的偏移速度；
将所述每行像素的曝光时间和所述所选商品的偏移速度的乘积作为所述曝光时间内商品的所述偏移距离。
进一步，所述根据所述偏移距离和每行像素宽度获取在所述曝光时间内的行缩放因子的获取步骤包括：
根据所述偏移距离和每行像素宽度的比值获取在所述曝光时间内的行缩放因子。
进一步，所述以所述行缩放因子作为所述清晰商品图像中相应的行像素值的权重，根据所述行像素值的权重对所述清晰商品图像中的至少两行像素值进行融合得到融合后的行像素值，根据所述融合后的每行像素值得到融合商品图像的获取步骤包括：
获取所述清晰商品图像的行像素值；
通过将至少两行所述行像素值结合对应的所述行缩放因子加权求和获取融合后的行像素值；
计算每行所述融合后的行像素值获取所述融合商品图像。
进一步，所述通过所述模糊商品图像筛选所述融合商品图像获取所述所选商品的商品类别的获取步骤包括：
获取所述模糊商品图像的行像素值；
计算所述模糊商品图像和所述融合商品图像对应行的行像素值的差值作为行差异值；
将每行所述行像素差异值之和作为所述总差异值；
筛选所述总差异值最小的融合商品图像获取所述所选商品的商品类别。
本发明实施例具有如下有益效果：
1.本发明实施例通过采集模糊商品图像并分类得到所有疑似商品类别，获取每类疑似商品对应的清晰商品图像后，通过计算清晰商品图像的像素值获取融合规则，结合清晰商品图像和融合规则获取融合商品图像，对比融合商品图像和模糊图像的差异性识别商品类别，大大提高了商品识别的准确率。
2.本发明实施例通过模糊图像帧的表示序列、相机的曝光特性和商品的移动信息得到融合规则，将融合规则应用到清晰商品图像上就可以得到每类疑似商品的融合商品图像与实际模糊商品图像的差异，提高了识别的速度和效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种用于货柜动态模糊商品的识别的方法流程图；
图2为本发明一个实施例所提供的一种用于货柜动态模糊商品的识别方法中商品信息区域图；
图3为本发明一个实施例所提供的一种用于货柜动态模糊商品的识别方法中偏移方向图；
图4为本发明一个实施例所提供的一种用于货柜动态模糊商品的识别方法中偏移距离和行宽图；
图5为本发明一个实施例所提供的一种用于货柜动态模糊商品的识别方法中像素值融合图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种用于货柜动态模糊商品的识别方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
本发明实施例所适用的具体场景为动态视觉识别过程中消费者在拿取商品的过程中导致采集到的商品图像比较模糊，进而需要对采集到的模糊商品图像进行识别。其中，主要通过采集模糊商品图像的外观信息对商品进行分类，获取所有疑似商品类别，并调整每类疑似商品图像的姿态信息与模糊商品图像的姿态信息保持一致获取与所有疑似商品类别一一对应的清晰商品图像。根据清晰商品图像的像素值及对应的行像素值权重获取融合规则，并根据该融合规则对每张清晰商品图像的每行像素值进行融合得到融合后的行像素值，以融合后的行像素值获取对应的融合商品图像，对比每张融合商品图像和模糊商品图像的差异识别所购商品的类别，提高了识别的准确性。
下面结合附图具体的说明本发明所提供的一种用于货柜动态模糊商品的识别方法的具体方案。
请参阅图1，其示出了本发明一个实施例提供的一种用于货柜动态模糊商品的识别方法流程图，该方法包括：
步骤S1：采集在所选商品移动时的模糊图像并提取模糊商品图像。
本发明实施例在货柜的柜体顶端安装相机采集图像，相机可以采用深度相机，相机的曝光方式采用卷帘曝光方式对购物者拿取商品的过程进行拍摄。卷帘曝光方式为从第一行开始曝光，曝光一行之后开始曝光下一行，以此类推，经过
Figure 502124DEST_PATH_IMAGE001
行后第/>
Figure 267824DEST_PATH_IMAGE002
行开始曝光，因此，该种曝光方式捕捉到的一幅图像中，每行的曝光时刻不同，在所拍摄的目标在快速运动的情况下，所曝光的图像可能会出现运动模糊。/>
在拍摄到的购物视频中，包含购物者的手腕信息和所选商品的商品信息。商品信息包括商品形状信息、颜色信息和姿态信息。
由于购物者快速拿取商品，商品与相机之间产生相对运动导致购物视频中的商品图像变的模糊，此时相机采集到的所选商品图像为商品的模糊图像。
通过相机采集连续多帧该模糊图像并对该模糊图像进行语义分割。语义分割过程包括：
1）数据集为选取的模糊图像；
2）标签为3类，进行像素级分类，标注背景像素值为0，商品的像素值为1，购物者的胳膊像素值为2；
3）损失函数为交叉熵损失函数；
4）得到语义分割结果。
通过对该模糊图像的语义分割结果提取遮罩结果，将表示所购商品的像素值设为1，其他像素值设为0，即可提取到模糊图像中的模糊商品图像。
步骤S2：根据所选商品的疑似商品类别进行匹配获取清晰商品图像；清晰商品图像为每类疑似商品对应的清晰商品图像。
相同包装的商品以及相同包装不同颜色的商品均认为是同类商品，所选商品的商品类别的获取方法为：在模糊商品图像中，通过提取所选商品的形状信息和颜色信息对所选商品进行分类获取所有商品类别。具体方法包括：
1）通过步骤S1中的方法获取模糊商品图像；
2）对模糊商品图像进行边缘提取得到所选商品的模糊形状信息。该模糊形状信息是指商品的包装类别，例如：瓶装、罐装、袋装或者盒装；
3）根据模糊商品图像中每个像素点的像素值，获取像素点的颜色类别；
4）在所选商品的模糊形状信息中，筛选出与该商品形状相同的所有候选商品，再进一步获取所有候选商品的颜色类别，若候选商品类别的颜色类别包含模糊商品图像的颜色类别，则该候选商品类别即为疑似商品类别。
每类疑似商品对应的清晰商品图像的获取方法为：根据模糊商品图像获取所选商品的姿态信息，该姿态信息包括所选商品的包装面的朝向和姿态角信息。该包装面的朝向由该商品的正视角、侧视角和俯视角所组成；该姿态角信息由该商品的航向角
Figure 187369DEST_PATH_IMAGE003
、俯仰角/>
Figure 320411DEST_PATH_IMAGE004
和横滚角/>
Figure 422752DEST_PATH_IMAGE005
所组成。
姿态信息的获取步骤具体包括：
包装面的朝向的获取方法为：对于瓶装和罐装的商品，将其包装面进行分类并分别记：瓶身为1、瓶盖为2和瓶底为3；对于袋装和盒装的商品，将其包装面进行分类并分别将正面、背面、左侧面、右侧面、上侧面和下侧面记为1到6。由于商品在货柜中正向摆放，根据经验可知用户在拿取商品时，被相机拍摄到的三个包装面分别为商品的瓶盖、瓶身或正面、左侧面和上侧面。
对于瓶装和罐装的商品，正视图和侧视图均为商品瓶身，俯视图为商品瓶盖，则包装面朝向序列值为
Figure 121587DEST_PATH_IMAGE006
；对于袋装和盒装的商品，正视图为商品正面，侧视图为商品左侧面，俯视图为商品上侧面，则包装面朝向序列值为/>
Figure 415296DEST_PATH_IMAGE007
。则对于模糊商品图像中的所购商品，可得到其包装面的朝向序列/>
Figure 770054DEST_PATH_IMAGE008
，其中，/>
Figure 469894DEST_PATH_IMAGE009
的值分别为该商品的正视角、侧视角和俯视角三个朝向的包装面的类别。
姿态角信息的获取方法为：根据深度相机获得所选商品的深度信息，根据该深度信息获得该商品的三维点云，通过三维空间获取所选商品的姿态信息，即可得到所选商品的三个姿态角序列
Figure 977230DEST_PATH_IMAGE010
。
结合该商品的包装面朝向和姿态角获取该商品的姿态信息
Figure 691108DEST_PATH_IMAGE011
。
请参阅图2，其示出了本发明一个实施例提供的一种用于货柜动态模糊商品的识别方法中商品信息区域图。图中包含无信息区域10和商品信息区域20。
根据该商品的姿态信息获取每类商品类别各自对应的清晰商品图像，具体方法为：
1）将模糊商品图像的内容分为两个区域，一个区域表示所选商品信息，该商品信息包括商品的姿态信息和外观信息，另一个区域全部显示为黑色；
2）将表示所选商品信息的区域作为商品信息区域，筛选每类疑似商品的商品信息区域中的姿态信息与模糊商品图像的商品信息区域中的姿态信息保持一致的疑似商品类别，获取与该类别对应的清晰商品图像，则清晰商品图像与模糊商品图像的商品信息区域中姿态信息相同，即若模糊商品图像中商品信息区域的姿态信息为
Figure 582097DEST_PATH_IMAGE011
，则清晰商品图像中商品信息区域的姿态信息同样为/>
Figure 774044DEST_PATH_IMAGE011
。
通过调整每类疑似商品的商品信息区域中的姿态信息与模糊商品图像的商品信息区域中的姿态信息保持一致获取对应的清晰商品图像，大大减少了获取清晰商品图像的步骤。
步骤S3：根据每行像素的曝光时间和所选商品的偏移速度获取在曝光时间内商品的偏移距离。
根据相机参数可知，相机每秒拍摄
Figure 198204DEST_PATH_IMAGE012
帧，且每帧图像中有/>
Figure 66671DEST_PATH_IMAGE002
行像素，则每行像素的曝光时间/>
Figure 192759DEST_PATH_IMAGE013
，且每行像素的宽度为/>
Figure 204709DEST_PATH_IMAGE014
。
通过步骤S1中相机采集的购物者手腕信息获取所选商品的速度矢量信息，具体方法为：
采用Encoder-Decoder结构的DNN网络进行检测，包括：
1）数据集为同样条件下货柜采集视频的模糊图像。
2）标签为手腕关键点。标注过程为手腕关键点对应一个单通道，在该通道中，标记关键点对应像素的位置，而后采用高斯模糊，使标记点处形成关键点热斑。
3）损失函数使用均方差损失函数。
通过网络检测得到关键点热力图后，采用soft-argmax的方式获得手腕关键点热斑的二维坐标
Figure 670325DEST_PATH_IMAGE015
。对于视频中的每帧模糊图像，均可得到手腕关键点热斑的二维坐标。分别根据相邻帧图像中手腕关键点热斑的二维坐标/>
Figure 978203DEST_PATH_IMAGE016
和/>
Figure 342319DEST_PATH_IMAGE017
，获取该帧图像中手腕的移动速度为/>
Figure 141648DEST_PATH_IMAGE018
：
Figure 711039DEST_PATH_IMAGE019
其中，
Figure 203200DEST_PATH_IMAGE020
为相邻两帧图像的时间间隔。
根据二维坐标
Figure 54612DEST_PATH_IMAGE016
和/>
Figure 392053DEST_PATH_IMAGE017
获取该帧图像中手腕的移动方向/>
Figure 361757DEST_PATH_IMAGE021
：
Figure 493661DEST_PATH_IMAGE022
其中，
Figure 35631DEST_PATH_IMAGE023
为反正切函数。
请参阅图3，其示出了本发明一个实施例提供的一种用于货柜动态模糊商品的识别方法中偏移方向图。图中包含偏移方向30。
结合手腕的移动速度为
Figure 222768DEST_PATH_IMAGE018
和手腕的移动方向/>
Figure 783062DEST_PATH_IMAGE021
，获取每帧图像中所选商品的速度矢量信息/>
Figure 102179DEST_PATH_IMAGE024
。由于消费者拿取商品时的手部运动路径为线性移动，因此，商品与相机之间的相对运动也为线性运动，若商品与相机之间未发生相对运动，则会得到非运动模糊图像，而若商品与相机之间发生相对运动时，为了获取图像的偏移距离，应使商品的偏移方向和相机的曝光方向一致，由于相机曝光位置随着时间不断的逐行扫描向下曝光，因此选取手腕的移动方向/>
Figure 115135DEST_PATH_IMAGE021
的正弦分量为偏移方向，获取速度矢量信息在偏移方向上的速度作为所选商品的偏移速度/>
Figure 108892DEST_PATH_IMAGE025
：
Figure 258114DEST_PATH_IMAGE026
其中，
Figure 544870DEST_PATH_IMAGE027
为正弦函数。
请参阅图4，其示出了本发明一个实施例提供的一种用于货柜动态模糊商品的识别方法中偏移距离和行宽图。图中包括融合商品图像40和清晰商品图像50。
清晰商品图像的位置是融合商品图像经过曝光时间
Figure 91126DEST_PATH_IMAGE028
偏移/>
Figure 308481DEST_PATH_IMAGE029
后的位置。清晰商品图像和融合商品图像的行数与每行的行宽均相同。
根据每行像素的曝光时间
Figure 390838DEST_PATH_IMAGE028
和所选商品的偏移速度/>
Figure 553222DEST_PATH_IMAGE025
的乘积获取在曝光时间内商品的偏移距离/>
Figure 540770DEST_PATH_IMAGE029
：
Figure 374865DEST_PATH_IMAGE030
在曝光时间
Figure 233099DEST_PATH_IMAGE028
内，相机的曝光位置向下移动的宽度，即每行像素的行宽度为/>
Figure 625772DEST_PATH_IMAGE014
。
步骤S4：根据偏移距离和每行像素宽度获取在曝光时间内的行缩放因子。
通过偏移距离和每行像素宽度的比值获取在曝光时间内的行缩放因子
Figure 585769DEST_PATH_IMAGE031
：/>
Figure 207243DEST_PATH_IMAGE032
步骤S5：以行缩放因子作为清晰商品图像中相应的行像素值的权重，根据行像素值的权重对清晰商品图像中的至少两行像素值进行融合得到融合后的行像素值，根据融合后的每行像素值得到融合商品图像。
根据卷帘曝光方式特性获取模糊商品图像和清晰商品图像的表示序列矩阵，以模糊商品图像为例，具体方法为：在模糊商品图像中，商品信息区域中共有
Figure 234498DEST_PATH_IMAGE002
行像素且每行像素点数量不同，为了得到商品的表示序列矩阵，对行像素中像素点数量少的行进行像素点补充，且补充的像素点值均为0，获取包含商品信息区域的最小外接矩形作为商品的实际区域，即商品的实际区域中共有/>
Figure 33958DEST_PATH_IMAGE002
行像素且每行像素数量均为/>
Figure 730519DEST_PATH_IMAGE033
。
在商品的实际区域中，第
Figure 404952DEST_PATH_IMAGE034
行像素的像素点按照从第1个到第/>
Figure 519669DEST_PATH_IMAGE033
个的顺序，其像素值分别为/>
Figure 676981DEST_PATH_IMAGE035
，获得第/>
Figure 163633DEST_PATH_IMAGE034
行像素的表示序列为/>
Figure 595752DEST_PATH_IMAGE036
。
获取
Figure 830555DEST_PATH_IMAGE002
行像素的表示序列组成模糊商品图像的表示序列矩阵/>
Figure 893189DEST_PATH_IMAGE037
：
Figure 79188DEST_PATH_IMAGE038
对于
Figure 518260DEST_PATH_IMAGE039
张清晰商品图像可以根据步骤S5中表示序列矩阵的获取方法同理获取/>
Figure 607570DEST_PATH_IMAGE039
个清晰商品图像的表示序列矩阵/>
Figure 637843DEST_PATH_IMAGE040
。其中，对于第/>
Figure 999554DEST_PATH_IMAGE041
张清晰商品图像的表示序列矩阵为/>
Figure 25672DEST_PATH_IMAGE042
。
融合商品图像的获取方法为：融合商品图像是根据相应的清晰商品图像合成的模拟的模糊图像。融合商品图像由清晰商品图像融合得到且融合商品图像的每行像素的像素值均为清晰商品图像中至少两行像素值融合所获取，即融合商品图像中的第
Figure 218756DEST_PATH_IMAGE043
行像素值，不仅包括清晰商品图像的第/>
Figure 373925DEST_PATH_IMAGE043
行像素值，还包括第/>
Figure 19670DEST_PATH_IMAGE044
行像素值。通过两行像素值以各自的行缩放因子作为权重进行加权求和后融合为融合商品图像的行像素值。
请参阅图5，其示出了本发明一个实施例提供的一种用于货柜动态模糊商品的识别方法中像素值融合图。
图5在图4的基础上进一步表示了清晰商品图像50融合第
Figure 846550DEST_PATH_IMAGE044
行和第/>
Figure 97402DEST_PATH_IMAGE043
行两行像素值得到融合商品图像40的第/>
Figure 735057DEST_PATH_IMAGE043
行像素值。
融合的具体方式为：对于融合商品图像中第
Figure 822093DEST_PATH_IMAGE043
行像素值，获取在曝光时间内商品的偏移距离/>
Figure 203396DEST_PATH_IMAGE029
作为清晰商品图像的第/>
Figure 308755DEST_PATH_IMAGE044
行像素的偏移距离，根据每行像素的宽度/>
Figure 369508DEST_PATH_IMAGE014
和偏移距离/>
Figure 927528DEST_PATH_IMAGE029
作差获取清晰商品图像的第/>
Figure 863255DEST_PATH_IMAGE043
行像素的宽度/>
Figure 823120DEST_PATH_IMAGE045
：/>
Figure 802578DEST_PATH_IMAGE046
计算清晰商品图像的第
Figure 362741DEST_PATH_IMAGE043
行像素的行缩放因子/>
Figure 820267DEST_PATH_IMAGE047
：
Figure 447689DEST_PATH_IMAGE048
结合清晰商品图像中第
Figure 801309DEST_PATH_IMAGE043
行、第/>
Figure 396239DEST_PATH_IMAGE044
行的行像素值和第/>
Figure 909653DEST_PATH_IMAGE043
行、第/>
Figure 578532DEST_PATH_IMAGE044
行对应的行缩放因子获取融合商品图像的第/>
Figure 916103DEST_PATH_IMAGE043
行像素值序列/>
Figure 732750DEST_PATH_IMAGE049
：
Figure 735341DEST_PATH_IMAGE050
其中，
Figure 835890DEST_PATH_IMAGE051
为清晰商品图像的第/>
Figure 328051DEST_PATH_IMAGE043
行像素值，/>
Figure 117147DEST_PATH_IMAGE052
为第/>
Figure 923429DEST_PATH_IMAGE044
行的行像素值，/>
Figure 971212DEST_PATH_IMAGE047
为清晰商品第/>
Figure 571957DEST_PATH_IMAGE043
行的行缩放因子，/>
Figure 628775DEST_PATH_IMAGE031
为清晰商品第/>
Figure 520639DEST_PATH_IMAGE044
行的行缩放因子。
通过上述融合方式，根据清晰商品图像的行像素值获取融合商品图像每行的行像素值，对于
Figure 284195DEST_PATH_IMAGE039
张清晰商品图像对应获得/>
Figure 101848DEST_PATH_IMAGE039
张融合商品图像，即/>
Figure 645961DEST_PATH_IMAGE039
个融合商品图像的表示序列矩阵/>
Figure 794046DEST_PATH_IMAGE053
。其中，对于第/>
Figure 225158DEST_PATH_IMAGE041
张融合商品图像中第/>
Figure 433286DEST_PATH_IMAGE054
行像素的表示序列为/>
Figure 185735DEST_PATH_IMAGE055
。
若融合商品图像共有
Figure 934248DEST_PATH_IMAGE002
行像素，则融合商品图像中第/>
Figure 672397DEST_PATH_IMAGE056
行的表示序列为
Figure 598895DEST_PATH_IMAGE057
。
步骤S6：通过模糊商品图像筛选融合商品图像获取所选商品的商品类别。
通过筛选融合商品图像和模糊商品图像中对应行的表示序列之间的差值作为行差异值，对每行的行差异值求和获取融合商品图像和模糊商品图像之间的总差异值，将总差异值最小的融合商品图像对应的商品类别作为所选商品类别。
融合商品图像和模糊商品图像之间的总差异的获取方法为：获取第
Figure 586443DEST_PATH_IMAGE041
张融合商品图像中第/>
Figure 325598DEST_PATH_IMAGE054
行的表示序列/>
Figure 980570DEST_PATH_IMAGE058
和模糊商品图像中第/>
Figure 77970DEST_PATH_IMAGE054
行的表示序列/>
Figure 756076DEST_PATH_IMAGE059
，通过计算两个表示序列中对应位置的像素值的差值并对所有差值求和获取两张图像之间第/>
Figure 846392DEST_PATH_IMAGE054
行的行差异
Figure 342489DEST_PATH_IMAGE060
。计算第/>
Figure 63320DEST_PATH_IMAGE041
张融合商品图像和模糊商品图像中对应的每行的行差异值并求和获取第/>
Figure 776192DEST_PATH_IMAGE061
张融合商品图像和模糊商品图像之间的总差异/>
Figure 404620DEST_PATH_IMAGE062
：
Figure 752293DEST_PATH_IMAGE063
其中，
Figure 706343DEST_PATH_IMAGE064
为第/>
Figure 906511DEST_PATH_IMAGE061
张融合商品图像和模糊商品图像中第/>
Figure 73050DEST_PATH_IMAGE065
行的行差异值。
综上所述，本发明实施例通过采集模糊商品图像并分类得到所有疑似商品类别，调整疑似商品类别的姿态信息与模糊商品图像的模糊信息保持一致后获取每类疑似商品图像对应的清晰商品图像，大大减少了获取清晰商品图像的步骤。通过计算清晰商品图像的像素值和每行像素值的行缩放因子获取融合规则，将该融合规则应用到清晰商品图像上就可以得到每类疑似商品的融合商品图像，对比该融合商品图像与实际模糊商品图像的差异并识别商品类别，提高了识别的效率和准确率。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种用于货柜动态模糊商品的识别方法，其特征在于，所述方法包括：
采集在所选商品移动时的模糊图像并提取模糊商品图像；
根据所述所选商品的疑似商品类别进行匹配获取清晰商品图像；所述清晰商品图像为每类疑似商品对应的清晰商品图像；
根据每行像素的曝光时间和所述所选商品的偏移速度获取在所述曝光时间内商品的偏移距离；
根据所述偏移距离和每行像素宽度获取在所述曝光时间内的行缩放因子；
以所述行缩放因子作为所述清晰商品图像中相应的行像素值的权重，根据所述行像素值的权重对所述清晰商品图像中的至少两行像素值进行融合得到融合后的行像素值，根据所述融合后的每行像素值得到融合商品图像；
通过所述模糊商品图像筛选所述融合商品图像获取所述所选商品的商品类别；
所述通过所述模糊商品图像筛选所述融合商品图像获取所述所选商品的商品类别的获取步骤包括：
获取所述模糊商品图像的行像素值；
计算所述模糊商品图像和所述融合商品图像对应行的行像素值的差值作为行差异值；
将每行所述行像素差异值之和作为所述总差异值；
筛选所述总差异值最小的融合商品图像获取所述所选商品的商品类别。
2.根据权利要求1所述的一种用于货柜动态模糊商品的识别方法，其特征在于，所述所选商品的疑似商品类别的获取步骤包括：
通过分割所述模糊图像提取所述模糊图像中的模糊商品图像；
根据所述模糊商品图像获取所述商品的形状信息和颜色信息；
根据所述商品的形状信息和颜色信息对所述商品进行分类获取多类疑似商品类别。
3.根据权利要求1所述的一种用于货柜动态模糊商品的识别方法，其特征在于，所述根据所述所选商品的疑似商品类别进行匹配获取清晰商品图像的获取步骤包括：
通过所述模糊商品图像获取所述商品的姿态信息；所述姿态信息为所述商品的包装面的朝向和姿态角信息；
筛选每类疑似商品图像的姿态信息与所述模糊商品图像的姿态信息保持一致，获取与每类所述疑似商品对应的所述清晰商品图像。
4.根据权利要求1所述的一种用于货柜动态模糊商品的识别方法，其特征在于，所述根据每行像素的曝光时间和所述所选商品的偏移速度获取在所述曝光时间内商品的偏移距离的获取步骤包括：
通过相机参数获取所述每行像素的曝光时间；
根据所选商品的移动速度和角度获取所述所选商品的偏移速度；
将所述每行像素的曝光时间和所述所选商品的偏移速度的乘积作为所述曝光时间内商品的所述偏移距离。
5.根据权利要求1所述的一种用于货柜动态模糊商品的识别方法，其特征在于，所述根据所述偏移距离和每行像素宽度获取在所述曝光时间内的行缩放因子的获取步骤包括：
根据所述偏移距离和每行像素宽度的比值获取在所述曝光时间内的行缩放因子。
6.根据权利要求1所述的一种用于货柜动态模糊商品的识别方法，其特征在于，所述以所述行缩放因子作为所述清晰商品图像中相应的行像素值的权重，根据所述行像素值的权重对所述清晰商品图像中的至少两行像素值进行融合得到融合后的行像素值，根据所述融合后的每行像素值得到融合商品图像的获取步骤包括：
获取所述清晰商品图像的行像素值；
通过将至少两行所述行像素值结合对应的所述行缩放因子加权求和获取融合后的行像素值；
计算每行所述融合后的行像素值获取所述融合商品图像。
CN202211255130.0A 2022-10-13 2022-10-13 一种用于货柜动态模糊商品的识别方法 Active CN115330797B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211255130.0A CN115330797B (zh) 2022-10-13 2022-10-13 一种用于货柜动态模糊商品的识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211255130.0A CN115330797B (zh) 2022-10-13 2022-10-13 一种用于货柜动态模糊商品的识别方法

Publications (2)

Publication Number Publication Date
CN115330797A CN115330797A (zh) 2022-11-11
CN115330797B true CN115330797B (zh) 2023-03-28

Family

ID=83913177

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211255130.0A Active CN115330797B (zh) 2022-10-13 2022-10-13 一种用于货柜动态模糊商品的识别方法

Country Status (1)

Country Link
CN (1) CN115330797B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112329522A (zh) * 2020-09-24 2021-02-05 上海品览数据科技有限公司 一种基于深度学习和图像处理的货架商品模糊检测方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6375924B2 (ja) * 2014-12-15 2018-08-22 カシオ計算機株式会社 商品登録装置、商品特定方法及びプログラム
CN113055570B (zh) * 2021-03-09 2022-10-18 广东便捷神科技股份有限公司 一种用于提升商品信息视觉识别方法
CN113449606B (zh) * 2021-06-04 2022-12-16 南京苏宁软件技术有限公司 一种目标对象识别方法、装置、计算机设备及存储介质
CN114494763A (zh) * 2021-12-17 2022-05-13 浙江大学 基于特征融合的商品详情图版式分类方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112329522A (zh) * 2020-09-24 2021-02-05 上海品览数据科技有限公司 一种基于深度学习和图像处理的货架商品模糊检测方法

Also Published As

Publication number Publication date
CN115330797A (zh) 2022-11-11

Similar Documents

Publication Publication Date Title
US10839573B2 (en) Apparatus, systems, and methods for integrating digital media content into other digital media content
EP2915333B1 (en) Depth map generation from a monoscopic image based on combined depth cues
Van Der Mark et al. Real-time dense stereo for intelligent vehicles
US8706663B2 (en) Detection of people in real world videos and images
US20100119147A1 (en) Image segmentation
CN107256225A (zh) 一种基于视频分析的热度图生成方法及装置
Rozumnyi et al. The world of fast moving objects
Li et al. Data priming network for automatic check-out
CN110765833A (zh) 一种基于深度学习的人群密度估计方法
CN111310706B (zh) 一种商品价签识别方法及装置、电子设备、存储介质
CN113449606B (zh) 一种目标对象识别方法、装置、计算机设备及存储介质
CN110569789B (zh) 商品组合型sku识别方法及其装置
CN113869211A (zh) 图像自动标注和标注质量自动评价方法及系统
CN110929668A (zh) 一种基于无人货架的商品检测方法和装置
CN115330797B (zh) 一种用于货柜动态模糊商品的识别方法
CN111428743A (zh) 商品识别方法、商品处理方法、装置及电子设备
Teutsch et al. Spatio-temporal fusion of object segmentation approaches for moving distant targets
CN109978916B (zh) 基于灰度图像特征匹配的Vibe运动目标检测方法
CN113469216B (zh) 零售终端海报识别与完整性判断方法、系统及存储介质
CN114820681A (zh) 一种基于rgb相机的库位检测方法及系统
Krockel et al. Intelligent processing of video streams for visual customer behavior analysis
GB2467643A (en) Improved detection of people in real world videos and images.
KR100248373B1 (ko) 모션 벡터 알고리즘을 이용한 동화상 내의 객체 추적 방법
Jurca et al. A modern approach for positional football analysis using computer vision
CN104268842A (zh) 基于Contour算法和Gabor滤波的虚实融合的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant