CN115205665A - 一种识别产品位置的方法、装置、电子设备及介质 - Google Patents

一种识别产品位置的方法、装置、电子设备及介质 Download PDF

Info

Publication number
CN115205665A
CN115205665A CN202211118426.8A CN202211118426A CN115205665A CN 115205665 A CN115205665 A CN 115205665A CN 202211118426 A CN202211118426 A CN 202211118426A CN 115205665 A CN115205665 A CN 115205665A
Authority
CN
China
Prior art keywords
shelf
product
frame
layering
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211118426.8A
Other languages
English (en)
Other versions
CN115205665B (zh
Inventor
李素莹
敖川
高达辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ainnovation Hefei Technology Co ltd
Original Assignee
Ainnovation Hefei Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ainnovation Hefei Technology Co ltd filed Critical Ainnovation Hefei Technology Co ltd
Priority to CN202211118426.8A priority Critical patent/CN115205665B/zh
Publication of CN115205665A publication Critical patent/CN115205665A/zh
Application granted granted Critical
Publication of CN115205665B publication Critical patent/CN115205665B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/35Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/36Indoor scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/08Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/70Labelling scene content, e.g. deriving syntactic or semantic representations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Operations Research (AREA)
  • Accounting & Taxation (AREA)
  • Computational Linguistics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Finance (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Geometry (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请实施例提供一种识别产品位置的方法、装置、电子设备及介质,该方法包括:获取待识别货架的货架图像,其中,所述待识别货架包括至少一层货架以及位于所述待识别货架上的产品;从所述货架图像中识别至少一个产品,并获取所述至少一个产品中各产品所在的货架,其中,采用设置的图形在所述货架图像上标注识别出所述产品和所述货架;确认所述各产品所在的货架是否属于预先为所述各产品分配的摆放货架。通过本申请的一些实施例能够识别出各产品在货架上的摆放位置,从而能够明确各产品是否摆放正确,进而能够提升产品管理效率。

Description

一种识别产品位置的方法、装置、电子设备及介质
技术领域
本申请实施例涉及图像识别领域,具体涉及一种识别产品位置的方法、装置、电子设备及介质。
背景技术
使用货架摆放产品可以适用于多种场景(例如,商品零售、仓库产品储存等),对产品进行数字化管理以及可视化分析更是产品管理中较为重要的步骤。相关技术对货架图像进行识别的过程中,通常只能够识别出货架上是否存在产品,导致检查人员不能够对产品更精细化的管理,从而降低产品管理效率。
因此,如何通过货架图像提升产品管理效率成为需要解决的问题。
发明内容
本申请实施例提供一种识别产品位置的方法、装置、电子设备及介质,通过本申请的一些实施例至少能够识别出各产品在货架上的摆放位置,从而能够明确各产品是否摆放正确,进而能够提升产品管理效率。
第一方面,本申请提供了一种识别产品位置的方法,所述方法包括:获取待识别货架的货架图像,其中,所述待识别货架包括至少一层货架以及位于所述待识别货架上的产品;从所述货架图像中识别至少一个产品,并获取所述至少一个产品中各产品所在的货架,得到识别结果,其中,采用设置的图形在所述货架图像上标注识别出的所述产品和所述货架;根据所述识别结果确认所述各产品所在的货架是否属于预先为所述各产品分配的摆放货架。
因此,本申请实施例通过对货架图像进行识别获得各产品所在的货架,能够识别出各产品在货架上的摆放位置,从而能够明确各产品是否摆放正确,实现对产品的精细化的管理,进而能够提升产品管理效率,节省人力资源。
结合第一方面,在本申请的一种实施方式中,所述至少一个产品包括第一产品,所述第一产品为所述至少一个产品中的任意一个;所述从所述货架图像中识别至少一个产品,并获取所述至少一个产品中各产品所在的货架,包括:采用第一产品框在所述货架图像上标注所述第一产品;在所述货架图像上采用目标框标注各层货架,得到多个第一货架分层框,其中,一个第一货架分层框与所述货架的一层对应;计算所述第一产品框与每一个所述第一货架分层框之间的第一相交面积占比;基于所述第一相交面积占比获得至少一个候选分层框;基于所述至少一个候选分层框的个数获得目标分层框,其中,一个目标分层框表征一层货架;根据所述目标分层框确认所述第一产品所在的货架。
因此,本申请实施例通过计算第一产品框与每一个货架分层框之间的相交面积,能够在货架图像扭曲或者倾斜的情况下,提高识别产品位置的准确率。
结合第一方面,在本申请的一种实施方式中,所述基于所述至少一个候选分层框的个数获得目标分层框,包括:确认所述至少一个候选分层框的个数大于一;计算每个第二货架分层框与所述第一产品框之间的第二相交面积占比,其中,一个第二货架分层框与一层所述货架相对应,所述第一货架分层框的覆盖面积大于所述第二货架分层框的覆盖面积;选择所述第二相交面积占比中的最大值所对应的货架分层框,作为所述目标分层框。
因此,本申请实施例通过在存在多个候选分层框的情况下,计算第二货架分层框与第一产品框之间的相交面积,能够得到较为准确的产品所在位置。
结合第一方面,在本申请的一种实施方式中,所述基于所述至少一个候选分层框的个数获得目标分层框,包括:确认所述至少一个候选分层框的个数等于一,则将所述候选分层框作为所述目标分层框。
因此,本申请实施例通过在候选分层框为一个的情况下,直接将候选分层框作为目标分层框,能够不通过第二货架分层框进行进一步的计算,从而能够减少计算量。
结合第一方面,在本申请的一种实施方式中,所述基于所述至少一个候选分层框的个数获得目标分层框,包括:确认所述至少一个候选分层框的个数等于0,获取所述第一相交面积占比中的最大值;将所述最大值对应货架分层框作为所述目标分层框。
因此,本申请实施例通过在候选分层框的个数为0的情况下,将最大的相交面积对应的货架分层框作为目标分层框,能够获得相对较为准确的目标分层框。
结合第一方面,在本申请的一种实施方式中,所述计算所述第一产品框与每一个所述第一货架分层框之间的第一相交面积占比,包括:获取所述第一产品框与每一个所述第一货架分层框之间相交面积;将所述相交面积除以所述第一产品框的面积,获得与每一个所述第一货架分层框对应的所述第一相交面积占比。
结合第一方面,在本申请的一种实施方式中,所述基于所述第一相交面积占比获得至少一个候选分层框,包括:将大于所述预设面积阈值的所述第一相交面积占比所对应的所述第一货架分层框,确认为所述至少一个候选分层框。
因此,本申请实施例通过相交面积筛选出来至少一个候选分层框,能够在后续识别货架位置时,获得较为准确的识别结果。
结合第一方面,在本申请的一种实施方式中,所述根据所述目标分层框确认所述第一产品所在的货架,包括:获取所述目标分层框所对应的货架层数;将所述货架层数确认所述第一产品所在的货架。
结合第一方面,在本申请的一种实施方式中,所述第一货架分层框和第二货架分层框覆盖的区域包括所述货架的层板到上一层货架的层板之间的区域。
因此,与现有技术中使用货架各层之间的价签来区分货架的各层的方案不同的是,本申请通过货架分层框覆盖了货架的层板到上一层货架的层板之间的区域,增加了识别货架种类的广泛性,并且能够增加识别货架位置的准确性。
第二方面,本申请提供了一种识别产品位置的装置,所述装置包括:图像获取模块,被配置为获取待识别货架的货架图像,其中,所述待识别货架包括至少一层货架以及位于所述待识别货架上的产品;产品识别模块,被配置为从所述货架图像中识别至少一个产品,并获取所述至少一个产品中各产品所在的货架,得到识别结果,其中,采用设置的图形在所述货架图像上标注识别出的所述产品和所述货架;位置确认模块,被配置为根据所述识别结果确认所述各产品所在的货架是否属于预先为所述各产品分配的摆放货架。
结合第二方面,在本申请的一种实施方式中,至少一个产品包括第一产品,所述第一产品为所述至少一个产品中的任意一个;所述产品识别模块被配置为:采用第一产品框在所述货架图像上标注所述第一产品;在所述货架图像上采用目标框标注各层货架,得到多个第一货架分层框,其中,一个第一货架分层框与所述货架的一层对应;计算所述第一产品框与每一个所述第一货架分层框之间的第一相交面积占比;基于所述第一相交面积占比获得至少一个候选分层框;基于所述至少一个候选分层框的个数获得目标分层框,其中,一个目标分层框表征一层货架;根据所述目标分层框确认所述第一产品所在的货架。
结合第二方面,在本申请的一种实施方式中,所述产品识别模块被配置为:确认所述至少一个候选分层框的个数大于一;计算每个第二货架分层框与所述第一产品框之间的第二相交面积占比,其中,一个第二货架分层框与一层所述货架相对应,所述第一货架分层框的覆盖面积大于所述第二货架分层框的覆盖面积;选择所述第二相交面积占比中的最大值所对应的货架分层框,作为所述目标分层框。
结合第二方面,在本申请的一种实施方式中,所述产品识别模块被配置为:确认所述至少一个候选分层框的个数等于一,则将所述候选分层框作为所述目标分层框。
结合第二方面,在本申请的一种实施方式中,所述产品识别模块被配置为:确认所述至少一个候选分层框的个数等于0,获取所述第一相交面积占比中的最大值;将所述最大值对应货架分层框作为所述目标分层框。
结合第二方面,在本申请的一种实施方式中,所述产品识别模块被配置为:获取所述第一产品框与每一个所述第一货架分层框之间相交面积;将所述相交面积除以所述第一产品框的面积,获得与每一个所述第一货架分层框对应的所述第一相交面积占比。
结合第二方面,在本申请的一种实施方式中,所述产品识别模块被配置为:将大于所述预设面积阈值的所述第一相交面积占比所对应的所述第一货架分层框,确认为所述至少一个候选分层框。
结合第二方面,在本申请的一种实施方式中,所述产品识别模块被配置为:获取所述目标分层框所对应的货架层数;将所述货架层数确认所述第一产品所在的货架。
结合第二方面,在本申请的一种实施方式中,所述第一货架分层框和第二货架分层框覆盖的区域包括所述货架的层板到上一层货架的层板之间的区域。
第三方面,本申请提供了一种电子设备,包括:处理器、存储器和总线;所述处理器通过所述总线与所述存储器相连,所述存储器存储有计算机程序,所述计算机程序由所述处理器执行时可实现如第一方面任意实施例所述的方法。
第四方面,本申请提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被执行时可实现如第一方面任意实施例所述的方法。
附图说明
图1为本申请实施例示出的一种识别产品位置的场景组成示意图;
图2为本申请实施例示出的一种识别产品位置的方法流程图;
图3为本申请实施例示出的一种货架图像示意图;
图4为本申请实施例示出的一种识别产品位置的装置组成示意图;
图5为本申请实施例示出的一种电子设备组成结构图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例仅仅是本申请的一部分实施例,而不是全部实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对附图中提供的本申请的实施例的详情描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护范围。
本申请实施例可以应用于对货架图像中各产品所在的货架进行识别的场景,为了改善背景技术中的问题,在本申请的一些实施例中,通过在货架图像上标注出的产品和货架,确认各产品所在的货架是否属于预先为各产品分配的摆放货架。例如:在本申请的一些实施例中,首先,获取待识别货架的货架图像,然后,在货架图像上使用设定图形对所有的货架和产品进行标注,并且基于标注的图像确定各产品所在的货架,最后,确认各产品所在的货架是否属于预先设置的摆放货架。
下面结合附图详细描述本申请实施例中的方法步骤。
图1提供了本申请一些实施例中的识别产品位置的场景组成示意图,该场景包括管理人员110和位置识别设备120。具体的,管理人员110在对待识别货架进行拍照获得待识别货架的货架图像之后,将待识别货架的货架图像输入到位置识别设备120中。位置识别设备120在接收到货架图像之后,对货架图像进行识别得到各产品所在的货架,并且确认各产品是否摆放正确并且输出结果。
与本申请实施例不同的是相关技术中,对货架图像进行识别的过程中,通常只能够识别出货架上是否存在产品,导致检查人员不能够对产品更精细化的管理,从而降低产品管理效率。而本申请的实施例是通过识别产品在货架上的位置来确认各产品是否摆放正确的,因此本申请的实施例并不像相关技术只能够识别出货架上是否存在产品,而是能够获取到产品的摆放具体位置。
下面将描述本申请由服务器执行的一种识别产品位置的方法的实施过程。例如,服务器可以是位置识别设备,也可以是任何可以执行本申请方案的设备。
至少为了解决背景技术中的问题,如图2所示,本申请一些实施例提供了一种识别产品位置的方法,该方法包括:
S210,获取待识别货架的货架图像。
可以理解的是,待识别货架包括至少一层货架以及位于待识别货架上的产品。例如,如图3所示,至少一层货架301中摆放了产品302以及多个产品。
需要说明的是,货架图像是通过摄像机拍摄获得的。作为本申请一具体实施例,货架图像是通过管理人员使用摄像机对待识别的货架进行拍摄获得的。作为本申请另一具体实施例,货架图像是通过安装在待识别货架上的摄像机拍摄的。作为本申请再一具体实施例,货架图像是通过移动的拍摄设备上的摄像机对待识别货架进行拍摄获得的。
货架图像可以是待识别货架的正面图像,也可以是带有倾斜角度的图像。
S220,从货架图像中识别至少一个产品,并获取至少一个产品中各产品所在的货架,得到识别结果。
需要说明的是,本申请采用设置的图像在货架图像上标注识别出产品的货架。至少一个产品包括第一产品,其中,第一产品为至少一个产品中的任意一个。
在本申请的一种实施方式中,获取至少一个产品中各产品所在的货架的具体实施步骤如下所示:
需要说明的是,相关技术中,识别货架方法包括基于传统图像处理的直线拟合,这种方案对于货架拍摄角度有一定要求,对于有效性和适用性都有一定限制,很难满足多种复杂场景的需求。也就是说,在货架图像可能存在角度不正的情况时,导致存在货架分层框标记不准确,需要通过计算货架分层框与产品框之间的相交面积来确定最终的目标分层框。
S2201,采用第一产品框在货架图像上标注第一产品,并且在货架图像上采用目标框标注各层货架,得到多个第一货架分层框。
也就是说,在货架图像中将至少一个产品中的各个产品都使用产品框进行标注。并且还需要采用目标框将至少一层货架中的各层货架使用货架分层框进行标注。
例如,如图3所示,采用第一产品框303标注第一产品302,并且采用第一货架分层框305、第一货架分层框306以及第一货架分层框307标注相对应的货架,例如,采用第一货架分层框305标注第一产品302所在货架。
具体的,通过目标检测模型将至少一个产品中的各个产品进行标注。可以理解的是,至少一个产品可以是预置的产品类型和品牌,例如,至少一个产品可以是某牌的饮料,也就是说,目标检测模型可以从货架上摆放的所有产品中,识别出预置的产品类型、品牌等,获得至少一个产品,即至少一个产品为管理人员需要进行检查的产品,其他的产品则不进行处理。
通过实例分割模型获取货架分层框,其中,针对于任意一个货架对应的货架分层框包括第一货架分层框和第二货架分层框,第一货架分层框的覆盖面积大于第二货架分层框的面积。例如,如图3所示,针对于一层货架对应着第一货架分层框305和第二货架分层框304。
需要说明的是,本申请货架分层框覆盖的区域包括货架的层板到上一层货架的层板之间的区域。
S2202,计算第一产品框与每一个第一货架分层框之间的第一相交面积占比。
首先,获取第一产品框与每一个第一货架分层框之间相交面积。
也就是说,由于第一货架分层框之间可能存在重合,则将第一产品框与货架图像上标记的每一个第一货架分层框都计算相交面积。
例如,计算第一产品框303与第一货架分层框305、第一货架分层框306和第一货架分层框307之间的相交面积。
然后,将相交面积除以第一产品框的面积,获得与每一个第一货架分层框对应的第一相交面积占比。
也就是说,将上述步骤获得的相交面积与第一产品框的面积相除,获得相交面积在第一产品框中的第一相交面积占比。
例如,相交面积分别为200个像素、100个像素和0个像素,第一产品框的面积为250个像素,那么对应的相交面积占比分别为:80%、40%和0%。
S2203,基于第一相交面积占比获得至少一个候选分层框。
也就是说,为了能够选择出与当前第一产品框相关的候选分层框,因此将大于预设面积阈值的第一相交面积占比所对应的第一货架分层框,确认为至少一个候选分层框。
可以理解的是,预设面积阈值可以是95%,也可以是90%,本申请不限于此。
具体的,在服务器中预置相交面积占比阈值,将大于该相交面积占比阈值的第一货架分层框作为候选分层框,获得至少一个候选分层框。
例如,相交面积占比阈值为75%,三个货架分层框相交面积占比分别为:80%、40%和0%,则将相交面积占比为80%对应的第一货架分层框作为候选分层框,即在此情况下,至少一个候选分层框的个数为一个。
S2204,基于至少一个候选分层框的个数获得目标分层框。
在本申请的一种实施方式中,确认至少一个候选分层框的个数大于一,计算每个第二货架分层框与第一产品框之间的第二相交面积占比,选择第二相交面积占比中的最大值所对应的货架分层框,作为目标分层框。
也就是说,在至少一个候选分层框的个数大于一的情况下,说明有多个第一货架分层框能够覆盖第一产品框,因此需要第二货架分层框进行进一步的计算。具体的,计算每个货架对应的第二货架分层框与第一产品框之间的第二相交面积占比,在多个第二相交面积占比中选择出最大值,并且将该最大值对应的货架分层框,作为目标分层框。
例如,如图3所示,若至少一个候选分层框为第一货架分层框305和第一货架分层框306,那么,至少一个候选分层框的个数为两个,此时,计算每个第二货架分层框与第一产品框303之间的第二相交面积占比,结果表明第二货架分层框304与第一产品框303的第二相交面积占比最大,因此,将第二货架分层框304作为目标分层框。
可以理解的是,第二相交面积占比的计算方法为,首先,获取第一产品框与每一个第二货架分层框之间相交面积,获得多个第二相交面积,然后,将多个第二相交面积中的各第二相交面积除以第一产品框的面积,获得第二相交面积占比。
在本申请的另一种实施方式中,确认至少一个候选分层框的个数等于一,则将候选分层框作为目标分层框。
例如,如图3所示,若至少一个候选分层框仅包括第一货架分层框305,则将第一货架分层框305作为目标分层框。
在本申请的另一种实施方式中,确认至少一个候选分层框的个数等于0,获取第一相交面积占比中的最大值,将最大值对应货架分层框作为目标分层框。
也就是说,若没有找到至少一个候选分层框,那么将第一相交面积占比中的最大值对应的货架分层框作为目标分层框。
S2205,根据目标分层框确认第一产品所在的货架。
在本申请的一种实施方式中,获取目标分层框所对应的货架层数,将货架层数确认第一产品所在的货架。
也就是说,在标记第一货架分层框和第二货架分层框之后,需要将同一货架对应的第一货架分层框和第二货架分层框进行统一编号。例如,货架第一层对应的第一货架分层框和第二货架分层框均编号为1。
在确认层数的过程中,获得目标分层框对应的货架层数,之后确认第一产品所在货架的层数。例如,目标分层框对应的货架层数为2,则确认第一产品在第二层。
S230,根据识别结果确认各产品所在的货架是否属于预先为各产品分配的摆放货架。
也就是说,服务器中会预先存储各产品应摆放的位置,在获得第一产品所在货架的位置之后,与预先存储的各产品应摆放的位置进行对比,确认各产品是否摆放正确。
因此,本申请提供了一种识别产品位置的方法,该方法对提供的货架图像进行深度学习及图像处理,解决货架的分层、产品与货架层关联的需求,以使能够后续在此基础上对零售陈列做结构化处理和数据可视化表达。
因此,本申请中货架分层的检测区域是从货架层板到上层货架层板之间的区域,使用这种方式进行检测模型训练时,可以解决过分依赖货架层板横截面做检测时货架层板反光等的影响。另外,本申请的产品框与货架分层框匹配采用了第一货架分层框和第二货架分层框相结合的方式,可以有效解决当拍摄倾角较大时仅依靠第一货架分层框外框匹配困难的问题。
上文描述了本申请的一种识别产品位置的方法,下面将描述本申请的一种识别产品位置的装置。
如图4所示,本申请的一些实施例提供一种识别产品位置的装置400,该装置包括:图像获取模块410、产品识别模块420和位置确认模块430。
图像获取模块410,被配置为获取待识别货架的货架图像,其中,所述待识别货架包括至少一层货架以及位于所述待识别货架上的产品。
产品识别模块420,被配置为从所述货架图像中识别至少一个产品,并获取所述至少一个产品中各产品所在的货架,得到识别结果,其中,采用设置的图形在所述货架图像上标注识别出的所述产品和所述货架。
位置确认模块430,被配置为根据所述识别结果确认所述各产品所在的货架是否属于预先为所述各产品分配的摆放货架。
在本申请的一种实施方式中,至少一个产品包括第一产品,所述第一产品为所述至少一个产品中的任意一个;所述产品识别模块被配置为:采用第一产品框在所述货架图像上标注所述第一产品;在所述货架图像上采用目标框标注各层货架,得到多个第一货架分层框,其中,一个第一货架分层框与所述货架的一层对应;计算所述第一产品框与每一个所述第一货架分层框之间的第一相交面积占比;基于所述第一相交面积占比获得至少一个候选分层框;基于所述至少一个候选分层框的个数获得目标分层框,其中,一个目标分层框表征一层货架;根据所述目标分层框确认所述第一产品所在的货架。
在本申请的一种实施方式中,所述产品识别模块被配置为:确认所述至少一个候选分层框的个数大于一;计算每个第二货架分层框与所述第一产品框之间的第二相交面积占比,其中,一个第二货架分层框与一层所述货架相对应,所述第一货架分层框的覆盖面积大于所述第二货架分层框的覆盖面积;选择所述第二相交面积占比中的最大值所对应的货架分层框,作为所述目标分层框。
在本申请的一种实施方式中,所述产品识别模块被配置为:确认所述至少一个候选分层框的个数等于一,则将所述候选分层框作为所述目标分层框。
在本申请的一种实施方式中,所述产品识别模块被配置为:确认所述至少一个候选分层框的个数等于0,获取所述第一相交面积占比中的最大值;将所述最大值对应货架分层框作为所述目标分层框。
在本申请的一种实施方式中,所述产品识别模块被配置为:获取所述第一产品框与每一个所述第一货架分层框之间相交面积;将所述相交面积除以所述第一产品框的面积,获得与每一个所述第一货架分层框对应的所述第一相交面积占比。
在本申请的一种实施方式中,所述产品识别模块被配置为:将大于所述预设面积阈值的所述第一相交面积占比所对应的所述第一货架分层框,确认为所述至少一个候选分层框。
在本申请的一种实施方式中,所述产品识别模块被配置为:获取所述目标分层框所对应的货架层数;将所述货架层数确认所述第一产品所在的货架。
在本申请的一种实施方式中,所述第一货架分层框和第二货架分层框覆盖的区域包括所述货架的层板到上一层货架的层板之间的区域。
在本申请实施例中,图4所示模块能够实现图1、图2和图3方法实施例中的各个过程。图4中的各个模块的操作和/或功能,分别为了实现图1、图2和图3中的方法实施例中的相应流程。具体可参见上述方法实施例中的描述,为避免重复,此处适当省略详细描述。
如图5所示,本申请实施例提供一种电子设备500,包括:处理器510、存储器520和总线530,所述处理器通过所述总线与所述存储器相连,所述存储器存储有计算机可读取指令,当所述计算机可读取指令由所述处理器执行时,用于实现如上述所有实施例中任一项所述的方法,具体可参见上述方法实施例中的描述,为避免重复,此处适当省略详细描述。
其中,总线用于实现这些组件直接的连接通信。其中,本申请实施例中处理器可以是一种集成电路芯片,具有信号的处理能力。上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可以是,但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-Only Memory,PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory,EEPROM)等。存储器中存储有计算机可读取指令,当所述计算机可读取指令由所述处理器执行时,可以执行上述实施例中所述的方法。
可以理解,图5所示的结构仅为示意,还可包括比图5中所示更多或者更少的组件,或者具有与图5所示不同的配置。图5中所示的各组件可以采用硬件、软件或其组合实现。
本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被服务器执行时实现上述所有实施方式中任一所述的方法,具体可参见上述方法实施例中的描述,为避免重复,此处适当省略详细描述。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应所述以权利要求的保护范围为准。

Claims (12)

1.一种识别产品位置的方法,其特征在于,所述方法包括:
获取待识别货架的货架图像,其中,所述待识别货架包括至少一层货架以及位于所述待识别货架上的产品;
从所述货架图像中识别至少一个产品,并获取所述至少一个产品中各产品所在的货架,得到识别结果,其中,采用设置的图形在所述货架图像上标注识别出的所述产品和所述货架;
根据所述识别结果确认所述各产品所在的货架是否属于预先为所述各产品分配的摆放货架。
2.根据权利要求1所述的方法,其特征在于,所述至少一个产品包括第一产品,所述第一产品为所述至少一个产品中的任意一个;
所述获取所述至少一个产品中各产品所在的货架,包括:
采用第一产品框在所述货架图像上标注所述第一产品;
在所述货架图像上采用目标框标注各层货架,得到多个第一货架分层框,其中,一个第一货架分层框与所述货架的一层对应;
计算所述第一产品框与每一个所述第一货架分层框之间的第一相交面积占比;
基于所述第一相交面积占比获得至少一个候选分层框;
基于所述至少一个候选分层框的个数获得目标分层框,其中,一个目标分层框表征一层货架;
根据所述目标分层框确认所述第一产品所在的货架。
3.根据权利要求2所述的方法,其特征在于,所述基于所述至少一个候选分层框的个数获得目标分层框,包括:
确认所述至少一个候选分层框的个数大于一;
计算每个第二货架分层框与所述第一产品框之间的第二相交面积占比,其中,一个第二货架分层框与一层所述货架相对应,所述第一货架分层框的覆盖面积大于所述第二货架分层框的覆盖面积;
选择所述第二相交面积占比中的最大值所对应的货架分层框,作为所述目标分层框。
4.根据权利要求2所述的方法,其特征在于,所述基于所述至少一个候选分层框的个数获得目标分层框,包括:
确认所述至少一个候选分层框的个数等于一,则将所述候选分层框作为所述目标分层框。
5.根据权利要求2所述的方法,其特征在于,所述基于所述至少一个候选分层框的个数获得目标分层框,包括:
确认所述至少一个候选分层框的个数等于0,获取所述第一相交面积占比中的最大值;
将所述最大值对应货架分层框作为所述目标分层框。
6.根据权利要求2-5任一项所述的方法,其特征在于,所述计算所述第一产品框与每一个所述第一货架分层框之间的第一相交面积占比,包括:
获取所述第一产品框与每一个所述第一货架分层框之间相交面积;
将所述相交面积除以所述第一产品框的面积,获得与每一个所述第一货架分层框对应的所述第一相交面积占比。
7.根据权利要求2-5任一项所述的方法,其特征在于,所述基于所述第一相交面积占比获得至少一个候选分层框,包括:
将大于预设面积阈值的所述第一相交面积占比所对应的所述第一货架分层框,确认为所述至少一个候选分层框。
8.根据权利要求2-5任一项所述的方法,其特征在于,所述根据所述目标分层框确认所述第一产品所在的货架,包括:
获取所述目标分层框所对应的货架层数;
将所述货架层数确认所述第一产品所在的货架。
9.根据权利要求2-5任一项所述的方法,其特征在于,所述第一货架分层框和第二货架分层框覆盖的区域包括所述货架的层板到上一层货架的层板之间的区域。
10.一种识别产品位置的装置,其特征在于,所述装置包括:
图像获取模块,被配置为获取待识别货架的货架图像,其中,所述待识别货架包括至少一层货架以及位于所述待识别货架上的产品;
产品识别模块,被配置为从所述货架图像中识别至少一个产品,并获取所述至少一个产品中各产品所在的货架,得到识别结果,其中,采用设置的图形在所述货架图像上标注识别出的所述产品和所述货架;
位置确认模块,被配置为根据所述识别结果确认所述各产品所在的货架是否属于预先为所述各产品分配的摆放货架。
11.一种电子设备,其特征在于,包括:处理器、存储器和总线;
所述处理器通过所述总线与所述存储器相连,所述存储器存储有计算机程序,所述计算机程序由所述处理器执行时可实现如权利要求1-9任一项所述方法。
12.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被执行时可实现如权利要求1-9任一项所述方法。
CN202211118426.8A 2022-09-15 2022-09-15 一种识别产品位置的方法、装置、电子设备及介质 Active CN115205665B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211118426.8A CN115205665B (zh) 2022-09-15 2022-09-15 一种识别产品位置的方法、装置、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211118426.8A CN115205665B (zh) 2022-09-15 2022-09-15 一种识别产品位置的方法、装置、电子设备及介质

Publications (2)

Publication Number Publication Date
CN115205665A true CN115205665A (zh) 2022-10-18
CN115205665B CN115205665B (zh) 2022-12-02

Family

ID=83572980

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211118426.8A Active CN115205665B (zh) 2022-09-15 2022-09-15 一种识别产品位置的方法、装置、电子设备及介质

Country Status (1)

Country Link
CN (1) CN115205665B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120173303A1 (en) * 2010-12-30 2012-07-05 International Business Machines Corporation Allocating commodity shelves in a supermarket
CN110889419A (zh) * 2018-09-07 2020-03-17 杭州海康威视数字技术股份有限公司 一种货架分析方法、装置、系统及电子设备
CN111274845A (zh) * 2018-12-04 2020-06-12 杭州海康威视数字技术股份有限公司 商店货架陈列情况的识别方法、装置、系统及电子设备
CN111553889A (zh) * 2020-04-16 2020-08-18 上海扩博智能技术有限公司 货架上商品摆放位置的对比方法、系统、设备和存储介质
US20200401987A1 (en) * 2018-06-25 2020-12-24 Boe Technology Group Co., Ltd. Goods information obtaining device, shelf, shelf managing system and method
CN114140676A (zh) * 2021-11-03 2022-03-04 上海小零网络科技有限公司 基于图像识别的货架层确定方法、装置及介质
CN114170254A (zh) * 2021-10-28 2022-03-11 上海扩博智能技术有限公司 图像分布识别方法、系统、设备和存储介质
CN114494892A (zh) * 2022-04-15 2022-05-13 广州市玄武无线科技股份有限公司 一种货架商品陈列信息识别方法、装置、设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120173303A1 (en) * 2010-12-30 2012-07-05 International Business Machines Corporation Allocating commodity shelves in a supermarket
US20200401987A1 (en) * 2018-06-25 2020-12-24 Boe Technology Group Co., Ltd. Goods information obtaining device, shelf, shelf managing system and method
CN110889419A (zh) * 2018-09-07 2020-03-17 杭州海康威视数字技术股份有限公司 一种货架分析方法、装置、系统及电子设备
CN111274845A (zh) * 2018-12-04 2020-06-12 杭州海康威视数字技术股份有限公司 商店货架陈列情况的识别方法、装置、系统及电子设备
CN111553889A (zh) * 2020-04-16 2020-08-18 上海扩博智能技术有限公司 货架上商品摆放位置的对比方法、系统、设备和存储介质
CN114170254A (zh) * 2021-10-28 2022-03-11 上海扩博智能技术有限公司 图像分布识别方法、系统、设备和存储介质
CN114140676A (zh) * 2021-11-03 2022-03-04 上海小零网络科技有限公司 基于图像识别的货架层确定方法、装置及介质
CN114494892A (zh) * 2022-04-15 2022-05-13 广州市玄武无线科技股份有限公司 一种货架商品陈列信息识别方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN115205665B (zh) 2022-12-02

Similar Documents

Publication Publication Date Title
US11455805B2 (en) Method and apparatus for detecting parking space usage condition, electronic device, and storage medium
CN110443210B (zh) 一种行人跟踪方法、装置以及终端
CN110569856B (zh) 样本标注方法及装置、损伤类别的识别方法及装置
CN110889419B (zh) 一种货架分析方法、装置、系统及电子设备
US20130173420A1 (en) Image processing
CN111695609A (zh) 目标物损伤程度判定方法、装置、电子设备及存储介质
CN109116129B (zh) 终端检测方法、检测设备、系统及存储介质
CN105825706A (zh) 一种车位信息推送方法和装置
CN110135245B (zh) 到店确认方法、装置、电子设备及可读存储介质
CN111353549A (zh) 图像标签的核验方法及装置、电子设备、存储介质
WO2020183837A1 (ja) 計数システム、計数装置、機械学習装置、計数方法、部品配置方法、および、プログラム
CN112132216B (zh) 车型识别方法、装置、电子设备及存储介质
CN113554008A (zh) 静态物体区域内检测方法、装置、电子设备及存储介质
US20120170809A1 (en) Procedure for recognizing objects
CN114359819A (zh) 图像处理方法、装置、设备、存储介质及计算机程序产品
CN112016617A (zh) 细粒度分类方法、装置及计算机可读存储介质
CN115170851A (zh) 一种图像聚类的方法及装置
CN111556362A (zh) 一种车身广告植入方法、装置、电子设备及存储介质
CN113902740A (zh) 图像模糊程度评价模型的构建方法
CN115205665B (zh) 一种识别产品位置的方法、装置、电子设备及介质
CN114067326A (zh) 一种车牌号码补齐方法及装置
CN112115745A (zh) 一种商品漏扫码行为识别方法、装置及系统
CN114463685B (zh) 行为识别方法、装置、电子设备及存储介质
CN114596102B (zh) 一种基于区块链的防伪溯源联邦学习训练方法、装置
CN115908831A (zh) 一种图像检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant