CN112883955B - 货架布局检测方法、装置及计算机可读存储介质 - Google Patents

货架布局检测方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN112883955B
CN112883955B CN202110261769.9A CN202110261769A CN112883955B CN 112883955 B CN112883955 B CN 112883955B CN 202110261769 A CN202110261769 A CN 202110261769A CN 112883955 B CN112883955 B CN 112883955B
Authority
CN
China
Prior art keywords
image
shelf
depth
target
price tag
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110261769.9A
Other languages
English (en)
Other versions
CN112883955A (zh
Inventor
罗凤鸣
李勇基
杜晨光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lorentech Beijing Technology Co ltd
Original Assignee
Lorentech Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lorentech Beijing Technology Co ltd filed Critical Lorentech Beijing Technology Co ltd
Priority to CN202110261769.9A priority Critical patent/CN112883955B/zh
Publication of CN112883955A publication Critical patent/CN112883955A/zh
Application granted granted Critical
Publication of CN112883955B publication Critical patent/CN112883955B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0639—Item locations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Accounting & Taxation (AREA)
  • Economics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Vascular Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Development Economics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种货架布局检测方法、装置及计算机可读存储介质，涉及图像处理技术领域，上述货架布局检测方法包括：获取图像传感器采集的目标货架的目标图像；其中，目标图像包括深度图像和RGB图像；基于深度图像中的深度信息对目标图像中的目标货架进行货架分层，得到货架分层结果；基于货架分层结果对目标货架进行价签检测，得到价签检测结果；基于货架分层结果及价签检测结果确定目标货架的货架布局。本发明能够提升价签位置检测精度，且上述货架布局检测无需使用机器学习或深度学习进行商品识别，计算复杂度低，提升了货架布局检测效率，可以实现对货架布局的实时检测。

Description

货架布局检测方法、装置及计算机可读存储介质
技术领域
本发明涉及图像处理技术领域，尤其是涉及一种货架布局检测方法、装置及计算机可读存储介质。
背景技术
随着新零售模式的发展，零售开始注重智能化和数字化经营，传统线下零售商缺乏顾客挑选商品的过程数据。目前，通过搭载各种传感器自主、智能地检测顾客与货架商品的交互行为，可以帮助零售企业精细运营，分析出消费者的喜好，精确定位销售商品，优化品类结构，提升销售额，而获取货架布局是跟踪观察、记录及分析顾客购物过程的必经过程。现有的货架布局检测技术，通常是基于摄像头获取的彩色正视图像，通过检测直线或线段，并结合机器学习或深度学习识别商品类别，实现货架商品检测和定位，需要昂贵的计算平台和大量的SKU作训练，实时性差。因此，现有的货架布局检测技术还存在计算复杂度高导致检测实时性较差的问题。
发明内容
有鉴于此，本发明的目的在于提供一种货架布局检测方法、装置及计算机可读存储介质，能够提升价签位置检测精度，且上述货架布局检测无需使用机器学习或深度学习进行商品识别，计算复杂度低，提升了货架布局检测效率，可以实现对货架布局的实时检测。
为了实现上述目的，本发明实施例采用的技术方案如下：
第一方面，本发明实施例提供了一种货架布局检测方法，包括：获取图像传感器采集的目标货架的目标图像；其中，所述目标图像包括深度图像和RGB图像；基于所述深度图像中的深度信息对所述目标图像中的目标货架进行货架分层，得到货架分层结果；基于所述货架分层结果对所述目标货架进行价签检测，得到价签检测结果；基于所述货架分层结果及所述价签检测结果确定所述目标货架的货架布局。
进一步，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述目标图像还包括IR图，所述基于所述深度图像中的深度信息对所述目标图像中的目标货架进行货架分层，得到货架分层结果的步骤，包括：获取所述图像传感器的内参，基于所述图像传感器的内参对所述深度图像进行深度值校正；对深度值校正后的所述深度图像、所述RGB图像及所述IR图中的目标货架进行形状校正，得到校正深度图像、校正RGB图像及校正IR图；基于所述校正深度图像、校正RGB图像及校正IR图对所述目标货架进行货架分层，得到货架分层结果。
进一步，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述基于所述图像传感器的内参对所述深度图像进行深度值校正的步骤，包括：基于所述图像传感器的内参及所述深度图像中各像素点的深度值，将所述深度图像中的各像素点转换为点云数据；基于所述点云数据确定地面图像对应的点云数据所在平面的法向量，得到地面法向量；基于所述地面法向量及标准坐标系确定点云数据的旋转轴和旋转角，根据所述旋转轴和所述旋转角确定罗德里格旋转矩阵；基于所述罗德里格旋转矩阵确定所述点云数据在所述标准坐标系下的点云坐标，基于所述点云坐标确定所述深度图像各像素点校正后的深度值。
进一步，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述图像传感器的光轴与所述目标货架成预设角度；所述对深度值校正后的所述深度图像、所述RGB图像及所述IR图中的目标货架进行形状校正，得到校正深度图像、校正RGB图像及校正IR图的步骤，包括：获取深度值校正后的所述深度图像、所述RGB图像及所述IR图中所述目标货架的各角点坐标；基于各所述角点坐标确定所述目标货架的区域图像，基于透视变换将所述区域图像中的目标货架由斜视图像校正为正视图像，得到校正深度图像、校正RGB图像及校正IR图。
进一步，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述基于所述校正深度图像、校正RGB图像及校正IR图对所述目标货架进行货架分层，得到货架分层结果的步骤，包括：基于所述图像传感器的内参及外参对所述校正深度图像、所述校正RGB图像及所述校正IR图进行图像配准，得到融合图像；其中，所述融合图像包括各像素点的颜色信息、深度值及反射强度；获取所述融合图像中各像素点的深度值；基于所述融合图像中各像素点的深度值确定所述融合图像中各个货架层的位置信息。
进一步，本发明实施例提供了第一方面的第五种可能的实施方式，其中，所述货架分层结果包括各货架层的位置信息；所述基于所述货架分层结果对所述目标货架进行价签检测，得到价签检测结果的步骤，包括：基于滑动窗口对所述融合图像中所述目标货架的各货架层进行价签检测，并基于各像素点的颜色信息、深度值及反射强度从各滑动窗口中筛选得到所述货架层上各价签的价签窗口；计算各层货架层上所述价签窗口的中心点的纵坐标平均值，基于所述纵坐标平均值剔除非货架层上的价签窗口，得到各货架层上的价签窗口位置。
进一步，本发明实施例提供了第一方面的第六种可能的实施方式，其中，所述基于滑动窗口对所述融合图像中所述目标货架的各货架层进行价签检测，并基于各像素点的颜色信息、深度值及反射强度从各滑动窗口中筛选得到所述货架层上各价签的价签窗口的步骤，包括：基于预设尺寸的滑动窗口按照预设滑步遍历所述融合图像中的各货架层区域；获取各所述滑动窗口的颜色特征、深度特征及反射强度，基于所述颜色特征、深度特征及反射强度剔除非价签的滑动窗口；基于非极大值抑制算法，从面积重叠率大于预设阈值的各所述滑动窗口中筛选出最大概率值的价签窗口，得到所述货架层上各价签的价签窗口。
进一步，本发明实施例提供了第一方面的第七种可能的实施方式，其中，所述价签检测结果包括各货架层上的价签窗口位置，所述货架布局检测方法还包括：基于各货架层上的价签窗口位置确定各货架层上的商品分界线；基于各个货架层上的商品分界线生成所述目标货架的货架布局图。
第二方面，本发明实施例还提供了一种货架布局检测装置，包括：获取模块，用于获取图像传感器采集的目标货架的目标图像；其中，所述目标图像包括深度图像和RGB图像；分层模块，用于基于所述深度图像中的深度信息对所述目标图像中的目标货架进行货架分层，得到货架分层结果；检测模块，用于基于所述货架分层结果对所述目标货架进行价签检测，得到价签检测结果；确定模块，用于基于所述货架分层结果及所述价签检测结果确定所述目标货架的货架布局。
第三方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述第一方面任一项所述的方法的步骤。
本发明实施例提供了一种货架布局检测方法、装置及计算机可读存储介质，上述货架布局检测方法包括：获取图像传感器采集的目标货架的目标图像；其中，目标图像包括深度图像和RGB图像；基于深度图像中的深度信息对目标图像中的目标货架进行货架分层，得到货架分层结果；基于货架分层结果对目标货架进行价签检测，得到价签检测结果；基于货架分层结果及价签检测结果确定目标货架的货架布局。通过获取目标货架的深度图像和RGB图像，并根据图像传感器的位置信息及深度图像中的深度信息进行货架分层，可以提升货架分层的准确性，通过在货架分层后进行价签检测，提升了价签位置检测精度，且上述货架布局检测无需使用机器学习或深度学习进行商品识别，计算复杂度低，提升了货架布局检测效率，可以实现对货架布局的实时检测。
本发明实施例的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本发明实施例的上述技术即可得知。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本发明实施例所提供的一种货架布局检测方法流程图；
图2示出了本发明实施例所提供的一种目标货架图像采集示意图；
图3示出了本发明实施例所提供的一种点云数据校正示意图；
图4示出了本发明实施例所提供的一种目标货架图像示意图；
图5示出了本发明实施例所提供的一种形状校正后的目标货架示意图；
图6示出了本发明实施例所提供的一种货架布局示意图；
图7示出了本发明实施例所提供的一种货架布局检测装置结构示意图；
图8示出了本发明实施例所提供的一种电子设备结构示意图。
图标：
21-图像传感器；22-目标货架；51-货架层；52-商品摆放层。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
目前，监控货架状态是跟踪观察、记录和分析顾客的购物过程的主要途径，现有的货架监控技术中，基于摄像头获取的彩色正视图像，通过检测直线或线段，并结合物体检测算法实现货架分层，从而实现货架商品检测和定位，由于采取机器学习或深度学习识别商品类别，需要昂贵的计算平台和大量的SKU作训练，实时性差，且摄像头采集的是货架的正视图，此视角虽然有利于拍摄货架信息，但是，对顾客交互行为检测产生遮挡，仅能识别某类商品拿和取货操作，无法监测触货行为。为改善此问题，本发明实施例提供的一种货架布局检测方法、装置及计算机可读存储介质，该技术可应用于提升货架布局检测效率，实现对货架布局的实时检测。以下对本发明实施例进行详细介绍。
本实施例提供了一种货架布局检测方法，该方法可以应用于计算机等电子设备，参见图1所示的货架布局检测方法流程图，该方法主要包括以下步骤S102～步骤S108：
步骤S102，获取图像传感器采集的目标货架的目标图像。
上述目标图像包括目标货架的深度图像、RGB图像和IR图，该IR图为红外(Infrared Radiation，IR)图，简称为IR图，可以通过固态激光雷达发射红外光采集得到，上述目标图像可以是图像传感器实时采集到的图像，也可以是从图像传感器采集的历史图像中获取到的。上述图像传感器集成有第一摄像头和第二摄像头，第一摄像头(可以是深度摄像头，诸如可以是固态激光雷达)用于获取目标货架的深度图像和IR图，第二摄像头(可以是RGB摄像头)用于采集目标货架的RGB图像，上述图像传感器可以设置于目标货架的正前方或斜上方，以便可以完整采集到目标货架的图像。
步骤S104，基于图像传感器的位置信息及深度图像中的深度信息对目标图像中的目标货架进行货架分层，得到货架分层结果。
基于上述深度摄像头获取目标货架的深度图像：基于上述深度摄像头采集目标货架的距离图，根据深度摄像头的内参对距离图中各像素点的距离值进行校正，将距离图转换为实际意义上的深度图像，即每个像素点携带的深度信息为深度摄像头到该像素点对应的实际物体之间的垂直距离。
由于上述深度图像中包括目标货架图像，目标货架各货架层与图像传感器之间的距离存在差异，且各货架层的商品摆放区域与价签设置区域与图像传感器之间的距离不同，根据深度图像中目标货架图像各像素点的深度信息，可以确定目标图像中各货架层的位置，从而实现对目标货架的分层。
步骤S106，基于货架分层结果对目标货架进行价签检测，得到价签检测结果。
在对上述目标图像中的货架进行分层后，对每个货架层进行价签检测，得到各个货架层的价签检测结果，该价签检测结果包括各货架层对应的各价签的位置信息(诸如，可以是价签框的各个顶点像素坐标)，通过预先对深度图像、RGB图像及IR图中的目标货架进行分层，再对每层货架层进行价签检测，可以缩小价签的检测区域，提升价签检测精度。
步骤S108，基于货架分层结果及价签检测结果确定目标货架的货架布局。
根据目标图像中目标货架各货架层的位置，以及各货架层上的价签位置信息，可以得到目标货架的货架布局信息，即目标货架的货架层数及每个货架层摆放的商品数量。
本实施例提供的上述货架布局检测方法，通过获取目标货架的深度图像和RGB图像，并根据图像传感器的位置信息及深度图像中的深度信息进行货架分层，可以提升货架分层的准确性，通过在货架分层后进行价签检测，提升了价签位置检测精度，且上述货架布局检测无需使用机器学习或深度学习进行商品识别，计算复杂度低，提升了货架布局检测效率，可以实现对货架布局的实时检测。
为了实现对目标货架进行准确分层，本实施例提供了基于所述深度图像中的深度信息对所述目标图像中的目标货架进行货架分层，得到货架分层结果的实施方式，具体可参照如下步骤(1)～步骤(3)执行：
步骤(1)：获取图像传感器的内参，基于图像传感器的内参对深度图像进行深度值校正。
基于已知尺寸的标定模板对上述图像传感器进行相机标定，得到图像传感器的内参和外参。为了使图像传感器可以采集到目标货架的完整图像以及拍摄到用户与商品的交互行为，参见如图2所示的目标货架图像采集示意图，上述图像传感器21可以设置于目标货架22的斜上方，由于图像传感器存在一定的倾斜角度，通过基于图像传感器的内参将深度图像中地面图像各像素点的深度数据转换为点云数据，并计算点云数据的法向量，根据该法向量计算旋转矩阵，将各点云数据经过旋转矩阵运算，得到校正深度值。
基于图像传感器的内参及深度图像中各像素点的深度值，将深度图像中的各像素点转换为点云数据。分别对图像传感器的深度摄像头和RGB摄像头进行相机标定，上述图像传感器的内参包括深度摄像头的内参和RGB摄像头的内参，基于深度摄像头的内参将深度图像中各像素点的像素坐标转换由2D坐标转换为3D点云数据。
基于点云数据确定地面图像对应的点云数据所在平面的法向量，得到地面法向量。从上述点云数据中获取地面图像区域转换得到的点云数据，基于RANSAC(RandomSample Consensus)算法对地面区域的点云数据进行平面拟合，参见如图3所示的点云数据校正示意图，设平面拟合得到拟合地面S1，上述图像传感器与地面存在一定的倾斜角，拍摄到的地面区域存在一定的倾斜，深度图像中地面区域的深度值存在差异，将拟合平面S1的法向量OA作为地面法向量。
基于地面法向量及标准坐标系的向量(0,0,1)确定点云数据的旋转轴和旋转角，根据旋转轴和旋转角确定罗德里格旋转矩阵。上述标准坐标系的XY平面是在图像传感器的光轴与地面垂直(即光轴与地面的法向量平行)时，采集到的地面图像的点云数据拟合得到的平面。假设图像传感器光轴与地面垂直时，图像传感器采集的地面区域为平面S2，如图3所示，建立平面S2的空间坐标系OXYZ，平面S2的法向量为(0,0,1)。
为了将倾斜图像传感器拍摄图像对象的点云数据转换至标准坐标系(即图像传感器与地面不存在倾斜角时，拍摄的图像的点云数据对应的坐标系)下，可以采用罗德里格旋转矩阵对点云数据进行坐标转换，由于采用罗德里格旋转矩阵时需要获取旋转轴和旋转角，根据地面法向量及标准坐标系的向量(0,0,1)可以确定地面法向量OA与平面S2的法向量(0,0,1)之间的夹角θ，得到旋转角，根据地面法向量OA与平面S2的法向量的叉乘计算得到旋转轴，根据该旋转轴和旋转角可以得到罗德里格旋转矩阵。
基于罗德里格旋转矩阵确定点云数据在标准坐标系下的点云坐标，基于点云坐标确定深度图像各像素点校正后的深度值。基于罗德里格旋转矩阵及上述点云数据的坐标，计算各点云数据在上述标准坐标下的点云坐标，将该点云坐标的z轴坐标值作为对应像素点校正后的深度值。
步骤(2)：对深度值校正后的深度图像、RGB图像及IR图中的目标货架进行形状校正，得到校正深度图像、校正RGB图像及校正IR图。
上述目标图像还包括IR图，上述图像传感器的光轴与目标货架成预设角度。参见如图4所示的目标货架图像示意图，上述图像传感器采集得到的目标图像为目标货架的俯视图，导致目标货架的形状产生了形变，为了对目标货架的形状进行校正，首先从目标图像中获取到目标货架图像。
获取深度值校正后的深度图像、RGB图像及IR图中目标货架的各角点坐标。如图4所示，获取深度值校正后的深度图像、RGB图像及IR图中目标货架图像4个角点的像素坐标，根据4个角点的坐标定位目标货架在目标图像中的位置，从而得到目标货架图像。在一种实施方式中，为了保证角点坐标的准确性，该角点坐标可以是用户输入的，由于上述图像传感器及目标货架的位置通常是固定的，图像传感器采集的目标图像中的目标货架的位置不会产生变化，在安装好上述图像传感器后，只需输入一次目标图像中目标货架的4个角点的像素坐标即可，当图像传感器的位置或拍摄角度产生变化时，需要重新输入目标货架图像4个角点的像素坐标。在另一种实施方式中，可以基于图像处理算法对目标图像进行角点检测，获取目标货架的4个角点的像素坐标。
基于各角点坐标确定目标货架的区域图像，基于透视变换将区域图像中的目标货架由斜视图像校正为正视图像，得到校正深度图像、校正RGB图像及校正IR图。根据目标货架的4个角点坐标可以定位到目标货架的区域图像，如图4所示，图像传感器采集的目标货架图像存在变形，随着价签逐层递进，价签的有效像素占比逐渐减少，为了提升价签检测的准确性，采用透视变换算法对深度图像、RGB图像及IR图中目标货架的区域图像进行校正和拉伸，将区域图像中的目标货架由斜视图像校正为正视图像，将形状校正后的深度图像记为校正深度图像，将形状校正后的RGB图像记为校正RGB图像，参见如图5所示的形状校正后的目标货架示意图，图5中示出了采用透视变换对目标货架进行形状校正后的目标货架图像，校正后的目标货架图像中各货架层51所占的像素比相同，各商品摆放层52所占的像素比也相同。
步骤(3)：基于校正深度图像、校正RGB图像及校正IR图对目标货架进行货架分层，得到货架分层结果。
基于图像传感器的内参及外参对校正深度图像、校正RGB图像及校正IR图进行图像配准，得到融合图像。
上述IR图也可以称为振幅图(各像素点有对应的振幅值)，基于上述图像传感器可以同时采集目标货架的RGB图像、深度图像及IR图，深度相机获取的深度距离图是由四个相位不同的振幅图推算得到的，深度距离图根据深度相机的内参得到深度图像，IR图(或最终的振幅图)是由四个相位不同的振幅图合成得到的，上述IR图可以反映出拍摄的物体对图像传感器设备发出的光的反射强度，通过获取IR图，并根据IR图反映的反射强度进行货架分层，可以进一步提升货架分层及价签检测的准确性，其中，IR图中各像素点的反射强度计算算式为：
其中，RIi,j为IR图中索引为第i行第j列像素点的反射强度，IRi,j为IR图中索引为第i行第j列像素点的振幅值，A和B是由相机标定得出的拟合系数，disi,j为第i行第j列像素点的深度距离(即该像素点对应的物体与图像传感器的垂直距离)，T为积分时间。
基于图像传感器的内参和外参对上述校正深度图像、校正RGB图像和校正IR图进行图像配准。基于深度传感器到RGB传感器的外参，或者RGB传感器到深度传感器的外参及各传感器内参，将深度图像、RGB图像和IR图进行配准。即基于图像传感器的内参将上述校正深度图像、校正RGB图像和校正IR图中各像素点的2D像素坐标转换为3D点云坐标，并基于图像传感器的外参将校正深度图像、校正RGB图像和校正IR图对应的3D点云坐标转换至同一立体坐标系(诸如可以是校正深度图像或校正RGB图像的点云数据所在的坐标系)下，再基于图像传感器的内参将立体坐标系下的各点云数据与融合图像中的各像素点相对应。
上述融合图像包括各像素点的颜色信息、深度值及反射强度。即上述融合图像中的各像素点均包括五个通道的数据R(红)，G(绿)，B(蓝)，D(深度值)和amp(反射强度)。
获取融合图像中各像素点的深度值；基于融合图像中各像素点的深度值确定融合图像中各个货架层的位置信息。上述目标货架粘贴标签的货架层为凸出部分，上述图像传感器到地面的距离固定，则上述融合图像中地面区域像素的深度值确定，根据融合图像中各像素点的深度值分布情况、目标货架的高度、目标货架各货架层的高度及各商品摆放层的高度，可以从上述融合图像中确定各货架层及各商品摆放层的位置信息(包括各货架层及各商品摆放层的顶点像素坐标，或各货架层及各商品摆放层的目标框)，将各货架层及各商品摆放层的位置信息作为货架分层结果。
为了提升价签检测的准确性，本实施例提供了基于货架分层结果对目标货架进行价签检测，得到价签检测结果的实施方式，具体可参照如下步骤1)～步骤2)执行：
步骤1)：基于滑动窗口对融合图像中目标货架的各货架层进行价签检测，并基于各像素点的颜色信息、深度值及反射强度从各滑动窗口中筛选得到货架层上各价签的价签窗口。
上述目标货架的价签位于货架层上，基于上述各货架层的位置信息，采用滑动窗口遍历校正深度图像及校正RGB图像中各个货架层区域进行价签检测。根据上一步划分的货架层，设置价签尺寸，即滑动窗口大小，利用滑动窗口有重叠地遍历各货架层区域，计算窗口内的颜色特征、深度特征(诸如可以是滑动窗口内各像素点的平均深度值)及反射强度(诸如可以是滑动窗口内各像素点的平均反射强度值)，通过先验可知，价签处滑窗内的颜色特征值及反射强度要远高于背景区域，且深度特征值比背景区域小(价签存在厚度，离图像传感器更近)，根据邻近窗口特征值比对，将会剔除大部分非价签的窗口。但是，单个价签存在一些重叠的窗口，可以进一步采取非极大值抑制，保留价签最大概率处的窗口。
在一种具体的实施方式中，基于预设尺寸的滑动窗口按照预设滑步遍历融合图像中的各货架层区域。上述预设尺寸可以根据融合图像中价签的像素尺寸确定，诸如可以与融合图像中价签的像素尺寸相同，上述预设滑步诸如可以是1～5像素之间的任意值，优选值为1个像素。
获取各滑动窗口的颜色特征、深度特征及反射强度，基于颜色特征、深度特征及反射强度剔除非价签的滑动窗口。当上述滑动窗口遍历融合图像中的货架层区域时，获取各个滑动窗口内的颜色特征、深度特征及反射强度。当滑动窗口内存在价签时，滑动窗口的颜色特征要远高于背景区域，由于价签存在一定的厚度，价签处像素的深度特征值比非价签处像素的深度特征值小，由于价签通常包括透明光滑的外壳，价签处的反射强度(即振幅值)要高于其他背景区域的反射强度，通过综合比对上述颜色特征、深度特征及反射强度确定存在价签的滑动窗口，剔除非价签的滑动窗口。
诸如，可以建立每个滑动窗口的颜色直方图，根据各个滑动窗口的颜色直方图分布确定该窗口内是否为价签，将颜色直方图不符合价签的颜色直方图的滑动窗口剔除；通过比对各个滑动窗口内的深度值(诸如计算滑动窗口内各像素点的平均深度值)，设置平均深度值阈值，将深度特征值大于平均深度值阈值的滑动窗口剔除；通过比对各个滑动窗口内像素点的平均反射强度，将平均反射强度小于反射强度阈值的滑动窗口剔除。
基于非极大值抑制算法，从面积重叠率大于预设阈值的各滑动窗口中筛选出最大概率值的价签窗口，得到货架层上各价签的价签窗口。由于货架层的单个价签处可能存在多个重叠的滑动窗口，每个滑动窗口内存在不同面积比例的价签，每个窗口都会得到一个分数，滑动窗口会导致很多窗口与其他窗口存在包含或者大部分交叉的情况，通过采用非极大值抑制算法选取邻域里分数最高(是价签的概率最大)，并且抑制那些分数低的滑动窗口，得到货架层上各价签的价签窗口。
步骤2)：计算各层货架层上价签窗口的中心点的纵坐标平均值，基于纵坐标平均值剔除非货架层上的价签窗口，得到各货架层上的价签窗口位置。
获取上述利用滑动窗口检测得到的各个价签窗口，计算各个价签窗口的中心点纵坐标值，由于货架层上的各价签位于同一水平线上，根据各个价签窗口的中心点纵坐标值可以剔除非货架层上的价签窗口，将剔除非货架层上的价签窗口后剩余的价签窗口作为各货架层上的价签窗口位置。在实际应用中，还可以根据各货架层上的价签窗口位置实现对目标货架的精准分层，即计算各个价签窗口的中心点的纵坐标值的平均值，将该纵坐标的平均值作为货架层的横向中心线。
在一种具体的实施方式中，上述货架布局检测方法还包括：基于各货架层上的价签窗口位置确定各货架层上的商品分界线；基于各个货架层上的商品分界线生成目标货架的货架布局图。为了方便生成货架布局图，定义价签窗口左上角对齐商品摆放区域的起始点，参见如图6所示的货架布局示意图，以价签的左边为商品分界线，两个商品分界线之间为商品的摆放区域，最后一类商品与货架边界形成一个摆放区域，根据目标货架各个货架层上的商品分界线以及目标货架的商品数据生成货架布局图。上述目标货架的商品数据可以是从预先输入的目标货架配置文件中获取到的，该配置文件中包括目标货架各货架层的价签信息及商品信息，当上述配置文件更新时，根据该配置文件自动更新货架布局图。
本实施例提供的上述货架布局检测方法，可以自动化生成货架布局图，避免深度学习模型带来的算力开销和维护成本，同时降低人力资源浪费；通过基于图像传感器确定目标货架的货架布局图，可以应用于对顾客购物过程的行为分析，实现顾客行为全方位数字化功能，提高新零售场景中人-货之间的智能化和数字化运营质量。
对应于上述实施例所提供的货架布局检测方法，本发明实施例提供了一种货架布局检测装置，参见图7所示的一种货架布局检测装置结构示意图，该装置包括以下模块：
获取模块71，用于获取图像传感器采集的目标货架的目标图像；其中，目标图像包括深度图像和RGB图像。
分层模块72，用于基于深度图像中的深度信息对目标图像中的目标货架进行货架分层，得到货架分层结果。
检测模块73，用于基于货架分层结果对目标货架进行价签检测，得到价签检测结果。
确定模块74，用于基于货架分层结果及价签检测结果确定目标货架的货架布局。
本实施例提供的上述货架布局检测装置，通过获取目标货架的深度图像和RGB图像，并根据图像传感器的位置信息及深度图像中的深度信息进行货架分层，可以提升货架分层的准确性，通过在货架分层后进行价签检测，提升了价签位置检测精度，且上述货架布局检测无需使用机器学习或深度学习进行商品识别，计算复杂度低，提升了货架布局检测效率，可以实现对货架布局的实时检测。
在一种实施方式中，上述目标图像还包括IR图，上述分层模块72，进一步用于获取图像传感器的内参，基于图像传感器的内参对深度图像进行深度值校正；对深度值校正后的深度图像、RGB图像及IR图中的目标货架进行形状校正，得到校正深度图像、校正RGB图像及校正IR图；基于校正深度图像、校正RGB图像及校正IR图对目标货架进行货架分层，得到货架分层结果。
在一种实施方式中，上述分层模块72，进一步用于基于图像传感器的内参及深度图像中各像素点的深度值，将深度图像中的各像素点转换为点云数据；基于点云数据确定地面图像对应的点云数据所在平面的法向量，得到地面法向量；基于地面法向量及标准坐标系确定点云数据的旋转轴和旋转角，根据旋转轴和旋转角确定罗德里格旋转矩阵；基于罗德里格旋转矩阵确定点云数据在标准坐标系下的点云坐标，基于点云坐标确定深度图像各像素点校正后的深度值。
在一种实施方式中，上述图像传感器的光轴与目标货架成预设角度；上述分层模块72，进一步用于获取深度值校正后的深度图像、RGB图像及IR图中目标货架的各角点坐标；基于各角点坐标确定目标货架的区域图像，基于透视变换将区域图像中的目标货架由斜视图像校正为正视图像，得到校正深度图像、校正RGB图像及校正IR图。
在一种实施方式中，上述分层模块72，进一步用于基于图像传感器的内参及外参对校正深度图像、校正RGB图像及校正IR图进行图像配准，得到融合图像；其中，融合图像包括各像素点的颜色信息、深度值及反射强度；获取融合图像中各像素点的深度值；基于融合图像中各像素点的深度值确定融合图像中各个货架层的位置信息。
在一种实施方式中，上述目标图像还包括红外(Infrared Radiation，IR)图，货架分层结果包括各货架层的位置信息；上述检测模块73，进一步用于基于滑动窗口对融合图像中目标货架的各货架层进行价签检测，并基于各像素点的颜色信息、深度值及反射强度从各滑动窗口中筛选得到货架层上各价签的价签窗口；计算各层货架层上价签窗口的中心点的纵坐标平均值，基于纵坐标平均值剔除非货架层上的价签窗口，得到各货架层上的价签窗口位置。
在一种实施方式中，上述检测模块73，进一步用于基于预设尺寸的滑动窗口按照预设滑步遍历融合图像中的各货架层区域；获取各滑动窗口的颜色特征、深度特征及反射强度，基于颜色特征、深度特征及反射强度剔除非价签的滑动窗口；基于非极大值抑制算法，从面积重叠率大于预设阈值的各滑动窗口中筛选出最大概率值的价签窗口，得到货架层上各价签的价签窗口。
在一种实施方式中，上述装置还包括：
布局图生成模块，用于基于各货架层上的价签窗口位置确定各货架层上的商品分界线；基于各个货架层上的商品分界线生成目标货架的货架布局图。
本实施例提供的上述货架布局检测装置，可以自动化生成货架布局图，避免深度学习模型带来的算力开销和维护成本，同时降低人力资源浪费；通过基于图像传感器确定目标货架的货架布局图，可以应用于对顾客购物过程的行为分析，实现顾客行为全方位数字化功能，提高新零售场景中人-货之间的智能化和数字化运营质量。
本实施例所提供的装置，其实现原理及产生的技术效果和前述实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
本发明实施例提供了一种电子设备，如图8所示的电子设备结构示意图，电子设备包括处理器81、存储器82，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述实施例提供的方法的步骤。
参见图8，电子设备还包括：总线84和通信接口83，处理器81、通信接口83和存储器82通过总线84连接。处理器81用于执行存储器82中存储的可执行模块，例如计算机程序。
其中，存储器82可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口83(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。
总线84可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器82用于存储程序，所述处理器81在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器81中，或者由处理器81实现。
处理器81可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器81中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器81可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等。还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器82，处理器81读取存储器82中的信息，结合其硬件完成上述方法的步骤。
本发明实施例提供了一种计算机可读介质，其中，所述计算机可读介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，所述计算机可执行指令促使所述处理器实现上述实施例所述的方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统具体工作过程，可以参考前述实施例中的对应过程，在此不再赘述。
本发明实施例所提供的货架布局检测方法、装置及计算机可读存储介质的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (7)

1.一种货架布局检测方法，其特征在于，包括：
获取图像传感器采集的目标货架的目标图像；其中，所述目标图像包括深度图像和RGB图像；
基于所述深度图像中的深度信息对所述目标图像中的目标货架进行货架分层，得到货架分层结果；
基于所述货架分层结果对所述目标货架进行价签检测，得到价签检测结果；
基于所述货架分层结果及所述价签检测结果确定所述目标货架的货架布局；所述价签检测结果包括各货架层上的价签窗口位置；
所述目标图像还包括IR图，所述基于所述深度图像中的深度信息对所述目标图像中的目标货架进行货架分层，得到货架分层结果的步骤，包括：获取所述图像传感器的内参，基于所述图像传感器的内参对所述深度图像进行深度值校正；对深度值校正后的所述深度图像、所述RGB图像及所述IR图中的目标货架进行形状校正，得到校正深度图像、校正RGB图像及校正IR图；基于所述校正深度图像、校正RGB图像及校正IR图对所述目标货架进行货架分层，得到货架分层结果；
所述货架分层结果包括各货架层的位置信息；所述基于所述货架分层结果对所述目标货架进行价签检测，得到价签检测结果的步骤，包括：基于预设尺寸的滑动窗口按照预设滑步遍历所述融合图像中的各货架层区域；获取各所述滑动窗口的颜色特征、深度特征及反射强度，基于所述颜色特征、深度特征及反射强度剔除非价签的滑动窗口；基于非极大值抑制算法，从面积重叠率大于预设阈值的各所述滑动窗口中筛选出最大概率值的价签窗口，得到所述货架层上各价签的价签窗口；计算各层货架层上所述价签窗口的中心点的纵坐标平均值，基于所述纵坐标平均值剔除非货架层上的价签窗口，得到各货架层上的价签窗口位置。
2.根据权利要求1所述的方法，其特征在于，所述基于所述图像传感器的内参对所述深度图像进行深度值校正的步骤，包括：
基于所述图像传感器的内参及所述深度图像中各像素点的深度值，将所述深度图像中的各像素点转换为点云数据；
基于所述点云数据确定地面图像对应的点云数据所在平面的法向量，得到地面法向量；
基于所述地面法向量及标准坐标系确定点云数据的旋转轴和旋转角，根据所述旋转轴和所述旋转角确定罗德里格旋转矩阵；
基于所述罗德里格旋转矩阵确定所述点云数据在所述标准坐标系下的点云坐标，基于所述点云坐标确定所述深度图像各像素点校正后的深度值。
3.根据权利要求1所述的方法，其特征在于，所述图像传感器的光轴与所述目标货架成预设角度；所述对深度值校正后的所述深度图像、所述RGB图像及所述IR图中的目标货架进行形状校正，得到校正深度图像、校正RGB图像及校正IR图的步骤，包括：
获取深度值校正后的所述深度图像、所述RGB图像及所述IR图中所述目标货架的各角点坐标；
基于各所述角点坐标确定所述目标货架的区域图像，基于透视变换将所述区域图像中的目标货架由斜视图像校正为正视图像，得到校正深度图像、校正RGB图像及校正IR图。
4.根据权利要求1所述的方法，其特征在于，所述基于所述校正深度图像、校正RGB图像及校正IR图对所述目标货架进行货架分层，得到货架分层结果的步骤，包括：
基于所述图像传感器的内参及外参对所述校正深度图像、所述校正RGB图像及所述校正IR图进行图像配准，得到融合图像；其中，所述融合图像包括各像素点的颜色信息、深度值及反射强度；
获取所述融合图像中各像素点的深度值；
基于所述融合图像中各像素点的深度值确定所述融合图像中各个货架层的位置信息。
5.根据权利要求1所述的方法，其特征在于，所述货架布局检测方法还包括：
基于各货架层上的价签窗口位置确定各货架层上的商品分界线；
基于各个货架层上的商品分界线生成所述目标货架的货架布局图。
6.一种货架布局检测装置，其特征在于，包括：
获取模块，用于获取图像传感器采集的目标货架的目标图像；其中，所述目标图像包括深度图像和RGB图像；
分层模块，用于基于所述深度图像中的深度信息对所述目标图像中的目标货架进行货架分层，得到货架分层结果；
检测模块，用于基于所述货架分层结果对所述目标货架进行价签检测，得到价签检测结果；
确定模块，用于基于所述货架分层结果及所述价签检测结果确定所述目标货架的货架布局；所述价签检测结果包括各货架层上的价签窗口位置；
所述目标图像还包括IR图，所述分层模块，用于获取所述图像传感器的内参，基于所述图像传感器的内参对所述深度图像进行深度值校正；对深度值校正后的所述深度图像、所述RGB图像及所述IR图中的目标货架进行形状校正，得到校正深度图像、校正RGB图像及校正IR图；基于所述校正深度图像、校正RGB图像及校正IR图对所述目标货架进行货架分层，得到货架分层结果；
所述货架分层结果包括各货架层的位置信息；所述检测模块，用于基于预设尺寸的滑动窗口按照预设滑步遍历所述融合图像中的各货架层区域；获取各所述滑动窗口的颜色特征、深度特征及反射强度，基于所述颜色特征、深度特征及反射强度剔除非价签的滑动窗口；基于非极大值抑制算法，从面积重叠率大于预设阈值的各所述滑动窗口中筛选出最大概率值的价签窗口，得到所述货架层上各价签的价签窗口；计算各层货架层上所述价签窗口的中心点的纵坐标平均值，基于所述纵坐标平均值剔除非货架层上的价签窗口，得到各货架层上的价签窗口位置。
7.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行上述权利要求1至5任一项所述的方法的步骤。
CN202110261769.9A 2021-03-10 2021-03-10 货架布局检测方法、装置及计算机可读存储介质 Active CN112883955B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110261769.9A CN112883955B (zh) 2021-03-10 2021-03-10 货架布局检测方法、装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110261769.9A CN112883955B (zh) 2021-03-10 2021-03-10 货架布局检测方法、装置及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN112883955A CN112883955A (zh) 2021-06-01
CN112883955B true CN112883955B (zh) 2024-02-02

Family

ID=76054159

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110261769.9A Active CN112883955B (zh) 2021-03-10 2021-03-10 货架布局检测方法、装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN112883955B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113253737B (zh) * 2021-06-21 2021-10-15 浙江华睿科技股份有限公司 货架检测方法及装置、电子设备、存储介质
CN113284197B (zh) * 2021-07-22 2021-11-23 浙江华睿科技股份有限公司 Agv的tof相机外参标定方法及装置、电子设备
CN114372993B (zh) * 2021-12-20 2022-10-28 广州市玄武无线科技股份有限公司 一种基于图像矫正的斜拍货架分层检测方法及系统
CN114637868B (zh) * 2022-02-23 2023-03-24 广州市玄武无线科技股份有限公司 一种应用于快消行业的产品数据处理方法及系统
CN114494892B (zh) * 2022-04-15 2022-07-15 广州市玄武无线科技股份有限公司 一种货架商品陈列信息识别方法、装置、设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109961101A (zh) * 2019-03-29 2019-07-02 京东方科技集团股份有限公司 货架状态确定方法及装置、电子设备、存储介质
CN109977886A (zh) * 2019-03-29 2019-07-05 京东方科技集团股份有限公司 货架空置率计算方法及装置、电子设备、存储介质
CN110135331A (zh) * 2019-05-13 2019-08-16 人加智能机器人技术（北京）有限公司 交互行为检测方法、装置、系统、设备和存储介质
WO2020048492A1 (zh) * 2018-09-05 2020-03-12 北京三快在线科技有限公司 商品状态识别
CN111684477A (zh) * 2017-09-19 2020-09-18 思电子系统意象公司 配备有电子货架标签的货架的相机实现的商品布局控制方法
WO2020199152A1 (zh) * 2019-04-03 2020-10-08 浙江汉朔电子科技有限公司 检测电子价签位置变化的方法及装置
CN112215142A (zh) * 2020-10-12 2021-01-12 上海汉时信息科技有限公司 基于深度图像信息检测货架缺货率的方法、装置及设备
WO2021012644A1 (zh) * 2019-07-23 2021-01-28 创新先进技术有限公司 货架商品检测方法及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111684477A (zh) * 2017-09-19 2020-09-18 思电子系统意象公司 配备有电子货架标签的货架的相机实现的商品布局控制方法
WO2020048492A1 (zh) * 2018-09-05 2020-03-12 北京三快在线科技有限公司 商品状态识别
CN109961101A (zh) * 2019-03-29 2019-07-02 京东方科技集团股份有限公司 货架状态确定方法及装置、电子设备、存储介质
CN109977886A (zh) * 2019-03-29 2019-07-05 京东方科技集团股份有限公司 货架空置率计算方法及装置、电子设备、存储介质
WO2020199775A1 (zh) * 2019-03-29 2020-10-08 京东方科技集团股份有限公司 货架状态确定方法及装置、存储介质
WO2020199152A1 (zh) * 2019-04-03 2020-10-08 浙江汉朔电子科技有限公司 检测电子价签位置变化的方法及装置
CN110135331A (zh) * 2019-05-13 2019-08-16 人加智能机器人技术（北京）有限公司 交互行为检测方法、装置、系统、设备和存储介质
WO2021012644A1 (zh) * 2019-07-23 2021-01-28 创新先进技术有限公司 货架商品检测方法及系统
CN112215142A (zh) * 2020-10-12 2021-01-12 上海汉时信息科技有限公司 基于深度图像信息检测货架缺货率的方法、装置及设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于TensorFlow的商品陈列货架目标检测算法研究与实现;廖珈艺;张新阳;代娱乐;;现代计算机(35);全文 *
基于深度神经网络的货架商品识别方法;刘照邦;袁明辉;;包装工程(01);全文 *

Also Published As

Publication number Publication date
CN112883955A (zh) 2021-06-01

Similar Documents

Publication Publication Date Title
CN112883955B (zh) 货架布局检测方法、装置及计算机可读存储介质
US9965870B2 (en) Camera calibration method using a calibration target
US11436748B2 (en) Volume measurement method and system, apparatus and computer-readable storage medium
CN110689584B (zh) 多相机环境中主动式刚体的位姿定位方法及相关设备
US20160027208A1 (en) Image analysis method
US20160182873A1 (en) Image processing apparatus, image processing system, image processing method, and computer program
CN111339951A (zh) 体温测量方法、装置及系统
JP5773436B2 (ja) 情報端末装置
JP2008309631A (ja) 情報処理方法及び情報処理装置
CN111401269B (zh) 基于监控视频的商品热点检测方法、装置和设备
WO2020233221A1 (zh) 热力分析方法、装置和系统
CN112184793B (zh) 深度数据的处理方法、装置及可读存储介质
KR20200023211A (ko) 스테레오 이미지의 정류를 위한 방법 및 시스템
CN110222569B (zh) 对象检测方法、装置、电子设备及可读存储介质
CN111428743B (zh) 商品识别方法、商品处理方法、装置及电子设备
CN114445499A (zh) 棋盘格角点自动提取方法、系统、设备及介质
CN117253022A (zh) 一种对象识别方法、装置及查验设备
CN115205793B (zh) 基于深度学习二次确认的电力机房烟雾检测方法及装置
JP2007200364A (ja) ステレオキャリブレーション装置とそれを用いたステレオ画像監視装置
CN112131917A (zh) 测量方法、装置、系统和计算机可读存储介质
CN116309882A (zh) 一种面向无人叉车应用的托盘检测和定位方法及系统
CN115861443A (zh) 一种多相机内参标定方法、装置、电子设备及存储介质
US11587325B2 (en) System, method and storage medium for detecting people entering and leaving a field
CN113820012B (zh) 一种多光谱图像处理方法及装置
CN111586299B (zh) 一种图像处理方法和相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant