CN110633704A - 货架及货架管理系统 - Google Patents

货架及货架管理系统 Download PDF

Info

Publication number
CN110633704A
CN110633704A CN201810659540.9A CN201810659540A CN110633704A CN 110633704 A CN110633704 A CN 110633704A CN 201810659540 A CN201810659540 A CN 201810659540A CN 110633704 A CN110633704 A CN 110633704A
Authority
CN
China
Prior art keywords
shelf
image
image sensor
goods
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810659540.9A
Other languages
English (en)
Other versions
CN110633704B (zh
Inventor
邓伟
裴宏岩
李鑫
赵天月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201810659540.9A priority Critical patent/CN110633704B/zh
Priority to EP19825487.2A priority patent/EP3812964A4/en
Priority to US16/491,312 priority patent/US11257031B2/en
Priority to PCT/CN2019/078213 priority patent/WO2020001076A1/zh
Publication of CN110633704A publication Critical patent/CN110633704A/zh
Application granted granted Critical
Publication of CN110633704B publication Critical patent/CN110633704B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/08Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G1/00Storing articles, individually or in orderly arrangement, in warehouses or magazines
    • B65G1/02Storage devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G1/00Storing articles, individually or in orderly arrangement, in warehouses or magazines
    • B65G1/02Storage devices
    • B65G1/04Storage devices mechanical
    • B65G1/137Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed
    • B65G1/1371Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed with data records
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/18Mountings, adjusting means, or light-tight connections, for optical elements for prisms; for mirrors
    • G02B7/182Mountings, adjusting means, or light-tight connections, for optical elements for prisms; for mirrors for mirrors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4038Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145Illumination specially adapted for pattern recognition, e.g. using gratings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47FSPECIAL FURNITURE, FITTINGS, OR ACCESSORIES FOR SHOPS, STOREHOUSES, BARS, RESTAURANTS OR THE LIKE; PAYING COUNTERS
    • A47F10/00Furniture or installations specially adapted to particular types of service systems, not otherwise provided for
    • A47F10/02Furniture or installations specially adapted to particular types of service systems, not otherwise provided for for self-service type systems, e.g. supermarkets
    • A47F2010/025Furniture or installations specially adapted to particular types of service systems, not otherwise provided for for self-service type systems, e.g. supermarkets using stock management systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/04Detection means
    • B65G2203/041Camera

Abstract

本公开涉及一种货架及货架管理系统。货架包括:至少一个货架单元,用于容纳货物;和至少一个图像传感器,用于感测货架单元内的货物的反射图像。通过采集货架单元内的货物的反射图像,可减少图像传感器相对于货架单元底面的设置高度,从而允许货架单元采用更小的空间高度,进而提高货架的整体空间利用率。

Description

货架及货架管理系统
技术领域
本公开涉及一种货架及货架管理系统。
背景技术
随着图像识别技术的发展和完善,图像识别技术被广泛地应用于各个行业中。在商品零售业中,可通过对货架上的商品进行拍摄,并对拍摄的图像进行图像识别,来实现货架商品的智能管理。
在一些相关技术中,货架内设有用于拍摄商品的摄像头。而为了使摄像头能够采集到更多的商品图像,摄像头往往需要设置在较高的位置,例如设置在每层货架的顶部,以便对该层货架底板上摆放的商品进行拍摄。
发明内容
发明人经研究发现,由于相关技术中的摄像头需要设置在较高位置,致使货架的层间距也相应增大,造成货架空间利用率的下降。
有鉴于此,本公开实施例提供一种货架及货架管理系统,能够允许货架单元采用更小的空间高度。
在本公开的一个方面,提供一种货架,包括:
至少一个货架单元,用于容纳货物;和
至少一个图像传感器,用于感测所述货架单元内的货物的反射图像。
在一些实施例中,还包括:
一个或多个反射镜,位于所述货架单元内;
其中,所述图像传感器用于感测所述货架单元内的货物在所述一个或多个反射镜中经过一次或多次反射的反射图像。
在一些实施例中,所述反射镜位于所述货架单元顶部上靠近所述货物的一侧,所述图像传感器的镜头的朝向被配置为使所述镜头的视角覆盖所述反射镜的至少部分。
在一些实施例中,所述镜头的高度被配置为不高于所述货物的高度。
在一些实施例中,所述镜头的高度被配置为与所述货架单元的底部平面平齐。
在一些实施例中,所述货架单元具有用于取放所述货物的开放端,所述图像传感器位于所述货架单元内远离所述开放端的一侧。
在一些实施例中,所述反射镜包括平面镜或凸面镜。
在一些实施例中,所述至少一个图像传感器包括多个图像传感器,所述多个图像传感器的镜头的视角分别在所述反射镜的覆盖区域相邻接或部分重合。
在一些实施例中,还包括驱动机构,所述驱动机构用于驱动所述图像传感器或所述反射镜运动,以使所述图像传感器的镜头的视角在不同时刻覆盖所述反射镜中所述货物的不同部分的反射图像。
在本公开的另一个方面,提供一种货架管理系统,包括:
前述的货架;和
处理器,用于对所述反射图像进行处理。
在一些实施例中,所述处理器被配置为执行以下至少一种操作:
分析所述反射图像,以获取所述货架单元内的货物摆放信息;
对所述反射图像进行拼接,以形成所述货架单元内货物的完整反射图像;或
根据所述反射图像检测所述货架单元内的货物摆放是否存在缺货或错货。
因此,根据本公开实施例,通过采集货架单元内的货物的反射图像,可减少图像传感器相对于货架单元底面的设置高度,从而允许货架单元采用更小的空间高度,进而提高货架的整体空间利用率。
附图说明
构成说明书的一部分的附图描述了本公开的实施例,并且连同说明书一起用于解释本公开的原理。
参照附图,根据下面的详细描述,可以更加清楚地理解本公开,其中:
图1是根据本公开货架的一些实施例的结构示意图;
图2是根据一些相关技术的图像传感器的视角覆盖示意图;
图3是根据本公开货架的一些实施例中图像传感器的正向视角覆盖示意图;
图4是根据本公开货架的一些实施例中图像传感器的侧向视角覆盖示意图;
图5是根据本公开货架的另一些实施例中图像传感器的正向视角覆盖示意图;
图6是根据本公开货架的另一些实施例中图像传感器的侧向视角覆盖示意图;
图7是根据本公开货架的一些实施例中图像传感器感测多次反射的反射图像的示意图;
图8是根据本公开货架的又一些实施例中图像传感器的视角覆盖示意图;
图9是根据本公开货架的再一些实施例中图像传感器的视角覆盖示意图;
图10是根据本公开货架管理系统的一些实施例的方框示意图。
应当明白,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。此外,相同或类似的参考标号表示相同或类似的构件。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。对示例性实施例的描述仅仅是说明性的,决不作为对本公开及其应用或使用的任何限制。本公开可以以许多不同的形式实现,不限于这里所述的实施例。提供这些实施例是为了使本公开透彻且完整,并且向本领域技术人员充分表达本公开的范围。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值应被解释为仅仅是示例性的,而不是作为限制。
本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分不同的部分。“包括”或者“包含”等类似的词语意指在该词前的要素涵盖在该词后列举的要素,并不排除也涵盖其他要素的可能。“上”、“下”、“左”、“右”等仅用于表示相对位置关系,当被描述对象的绝对位置改变后,则该相对位置关系也可能相应地改变。
在本公开中,当描述到特定器件位于第一器件和第二器件之间时,在该特定器件与第一器件或第二器件之间可以存在居间器件,也可以不存在居间器件。当描述到特定器件连接其它器件时,该特定器件可以与所述其它器件直接连接而不具有居间器件,也可以不与所述其它器件直接连接而具有居间器件。
本公开使用的所有术语(包括技术术语或者科学术语)与本公开所属领域的普通技术人员理解的含义相同,除非另外特别定义。还应当理解,在诸如通用字典中定义的术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义,而不应用理想化或极度形式化的意义来解释,除非这里明确地这样定义。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
发明人经研究发现,由于相关技术中的摄像头需要设置在较高位置,致使货架的层间距也相应增大,造成货架空间利用率的下降。
有鉴于此,本公开实施例提供一种货架及货架管理系统,能够允许货架单元采用更小的空间高度。
图1是根据本公开货架的一些实施例的结构示意图。
参考图1,在一些实施例中,货架10包括:至少一个货架单元和至少一个图像传感器。货架单元具有容纳空间,可用于容纳货物40,以便进行货物40的展示或售卖。在图1中,货架10的整体结构可通过立柱13、竖直隔板14和水平隔板11等装配形成,竖直隔板14和水平隔板11可围出一个或多个货架单元。在另一些实施例中,货架10也可采取其他的结构形式,例如整体式或分体式货架等。
在一些实施例中,货架10可以包括单一的货架单元。在另一些实施例中,也可以包括多个货架单元,多个货架单元可分布在单个货架层或多个货架层中。另外,在货架10中还可以根据需要设置其他部件,例如可读/写的标签50等。
图像传感器12可实现货架单元内的货物40的反射图像40’的感测。图像传感器12可以包括电荷耦合元件(Charged Coupled Device,简称CCD)图像传感器或互补金属氧化物半导体(Complementary Metal Oxide Semiconductor,简称CMOS)图像摄像头等。反射图像40’可来自货物40在反射镜或其他能够提供反射表面的物体的反射。这里的反射图像40’可以是经过一次反射的反射图像,也可以是经过多次反射的反射图像。
在图1所示的一些实施例中,货架10还可以包括一个或多个反射镜20。反射镜20可被设置在所述货架单元内,以便给图像传感器12提供反射图像的来源。图像传感器12能够感测货架单元内的货物40在反射镜20中经过一次反射的反射图像40’。在另一些实施例中,反射镜20可不作为货架10的组成部分而位于货架单元的内部或货架单元的外部。反射镜20可包括平面镜,以便形成清晰规则的反射图像40’,从而降低反射图像在后期分析处理的难度。在另一些实施例中,反射镜20也可以包括凸面镜。利用凸面镜,可以使图像传感器12获得更大范围的货物反射图像。
在图1中,反射镜20可被设置在所述货架单元顶部上靠近货物的一侧,以便可充分地利用货架单元内的空间高度。在一些实施例中,可将反射镜20以独立部件的形式设置在上层的货架单元的底板下方。在另一些实施例中,可在上层的货架单元的底板下表面安装反射镜20,或在上层的货架单元的底板下表面加工出反射表面,以形成反射镜20等。
参考图1,在一些实施例中,图像传感器12的镜头的朝向被配置为使所述镜头的视角覆盖所述反射镜20的至少部分。当反射镜20被设置在货架单元的内侧顶部时,图像传感器12的镜头则朝向上方或斜上方,以便使镜头的视角能够覆盖到反射镜20的部分或全部。图像传感器12可设置在货架单元的内部,也可根据需要设置在货架单元的外侧临近位置。
本公开货架的上述实施例通过采集货架单元内的货物的反射图像,可减少图像传感器相对于货架单元底面的设置高度,从而允许货架单元采用更小的空间高度,进而提高货架的整体空间利用率。
为了说明本公开货架实施例相比于相关技术的货架在空间高度上的节省效果,下面参考图2-图4来进行比较说明。
图2是根据一些相关技术的图像传感器的视角覆盖示意图。图3是根据本公开货架的一些实施例中图像传感器的正向视角覆盖示意图。
在图2中,图像传感器12设置在货架单元的顶部,其镜头设置为向下,以便对摆放在货架单元内的货物40进行拍摄。假设图像传感器的镜头的最大视角为θ,为了获得货物40的完整顶部图像,货架单元的最小空间高度为D,货物40的高度为H,货物40在正向上所占的空间长度为L。D满足以下关系:
Figure BDA0001706384120000061
假设θ大约为120°,则
Figure BDA0001706384120000062
而货架单元的最小空间高度D应大于货物40的高度H,即D>H。
根据公式(1),可推算出D满足:
Figure BDA0001706384120000064
参考图3,在本公开货架的一些实施例中,为了使图像传感器12不被货物40遮挡,可将镜头的高度被配置为不低于货物40的高度。而将图像传感器12设置的越高,也会使货架单元的空间高度随之增加。为了方便计算,在图3中将图像传感器12的镜头的高度设置为与货物40的高度相同。
参考图3,仍然假设图像传感器的镜头的最大视角为θ。由于图像传感器12的镜头设置高度与货物40的高度相同,不存在被货物40遮挡的问题,因此图像传感器的实际视角也为θ。货架单元的最小空间高度为D’,为了获得货物40的完整顶部图像,货物40的高度为H。货物40在正向上所占的空间长度为L。D’满足以下关系:
Figure BDA0001706384120000071
根据公式(3),可推算出D’满足:
将公式(1)代入公式(4)中,可得出
Figure BDA0001706384120000073
由于D>H,因此D’<D。由此可知,本实施例的货架单元能够比相关技术的货架允许采用更小的空间高度,从而有效地提高货架的空间利用率。
图4是根据本公开货架的一些实施例中图像传感器的侧向视角覆盖示意图。
参考图4,本公开货架的一些实施例的货架单元具有用于取放所述货物40的开放端(即货物右侧的开放区域),而图像传感器12则可设置在所述货架单元内远离所述开放端的一侧(即货物左侧)。这样,货物40可以靠近开放端摆放,便于购买者或者负责货物上下架的工作者进行拿取或摆放。该侧可设置为封闭端,而图像传感器12可固定在封闭端或者在靠近封闭端的位置进行固定。在另一些实施例中,图像传感器12所设置的位置也可以为开放端。
在图4中,可将图像传感器12的镜头的高度设置为与货物40的高度相同。而在一些应用场景中,可能在摆放货物40时使货物40与另一侧的图像传感器12维持一定的距离。这样即便将图像传感器12的镜头的高度设置的更低,也能够避免镜头被货物40所遮挡。因此,根据货物相对于图像传感器12的摆放距离,镜头的高度可被配置为不高于所述货物的高度。而相应的,货架40的货架单元的允许空间高度可以进一步降低。
图5是根据本公开货架的另一些实施例中图像传感器的正向视角覆盖示意图。
参考图5,在一些实施例中可将镜头的高度设置为与所述货架单元的底部平面平齐。仍假设图像传感器的镜头的最大视角为θ,则图像传感器12的镜头到货物40的反射图像的垂直距离S’为D’+(D’-H)。而图2的相关技术中图像传感器12的镜头到货物40的反射图像的垂直距离S为D-H。当图像传感器的镜头的最大视角均为θ,且货物40在正向上所占的空间长度均为L时,则参考公式(3)可推出S’=S=(tan(θ/2)*L)/2,即D’+(D’-H)=D-H,可推出D’=D/2。此时,本实施例中货架单元的最小空间高度D’仅为相关技术中货架单元的最小空间高度D的一半,从而有效地提高了货架的空间利用率。
图6是根据本公开货架的另一些实施例中图像传感器的侧向视角覆盖示意图。
参考图6,此时的图像传感器12已基本处于货架单元的最低位置。考虑到货物40可能会对图像传感器12的镜头的视角有遮挡,因此图像传感器12的镜头在右侧被货物40遮挡后的实际视角为θ’/2,而实际视角θ’要小于或等于摄像头最大视角θ。
为了消除实际视角被阻挡的影响,可在摆放货物40时,使货物40与图像传感器12的最小距离d满足:
Figure BDA0001706384120000081
并同时满足
Figure BDA0001706384120000091
其中W为货物40与图像传感器12的最远距离。根据公式(6)和(7)可以推算出得到货物40与图像传感器12的最小距离d为:
Figure BDA0001706384120000092
工作人员可根据公式(8)进行图像传感器12的位置设置,或者根据公式(8)进行货物40的摆放,以便在实现较小的货架单元允许空间高度的同时,实现货架单元内物品的完整反射图像的覆盖。
图7是根据本公开货架的一些实施例中图像传感器感测多次反射的反射图像的示意图。
参考图7,在一些实施例中,可以在货架单元内设置多个反射镜20,20’。例如将较大的反射镜20设置在货架单元的内侧顶部,将较小的反射镜20’设置在靠近图像传感器12所在位置的一侧。图像传感器12的镜头的视角可以覆盖反射镜20’,并感测反射镜20’所反射的反射图像40”。反射图像40”来源于反射镜20’对反射图像40’的反射作用,而反射图像40’则来源于反射镜20对下方货物40的反射作用。这样,图像传感器12就能够实现货架单元内的货物40在多个反射镜20,20’中经过多次反射的反射图像40”的感测。而通过对多次反射的反射图像的感测,可以进一步降低货架的货架单元的允许空间,覆盖更大的货物摆放范围。另一方面,通过配置不同位置的多个反射镜,可以使得图像传感器12的设置位置更灵活。
在前面所举的货架的一些实施例中,为了方便理解和进行公式推算,使图像传感器的镜头视角恰好覆盖货架单元的所有货物的反射图像。但在实际使用中,可以使图像传感器的镜头视角覆盖货架单元的所有货物的反射图像,也可以只覆盖货架单元中的部分货物的反射图像。
图8是根据本公开货架的又一些实施例中图像传感器的视角覆盖示意图。
参考图8,在一些实施例中,货架可包括多个图像传感器12a、12b,这些图像传感器12a、12b的镜头的视角可以各自覆盖反射镜20的一部分区域。而这些图像传感器12a、12b分别对应的覆盖区域可以互相邻接,或者有部分重合。图像传感器12a、12b分别采集到的货物40的反射图像40’可通过图像拼接的方式形成货架单元内货物的整体反射图像。或者,图像传感器12a、12b分别采集到的货物40的反射图像40’可以分别进行图像处理。
通过设置多个图像传感器,即便各个图像传感器的镜头的视角能够覆盖的反射图像范围有限,也能够通过后续图像处理的方式来获得完整的货物摆放信息。另外,参考前面的计算公式,当货架单元的空间高度进一步降低时,可通过设置更多的图像传感器进行反射图像的采集,从而可以允许更小的货架单元的空间高度。
除了设置多个图像传感器的方式之外,还可以驱动图像传感器运动,以实现更大范围的覆盖。
图9是根据本公开货架的再一些实施例中图像传感器的视角覆盖示意图。
参考图9,在一些实施例中,货架10还包括驱动机构。驱动机构可以采用电机、液压缸、气缸或滑轮组等。驱动机构用来驱动图像传感器12运动,以使所述图像传感器12的镜头的视角在不同时刻覆盖所述反射镜20中所述货物40的不同部分的反射图像40’。图像传感器12在不同时刻采集到的货物40的反射图像40’可通过图像拼接的方式形成货架单元内货物的整体反射图像。或者,图像传感器12在不同时刻采集到的货物40的反射图像40’可以分别进行图像处理。除了驱动图像传感器12运动,驱动机构还可以反射镜20运动,例如使反射镜20平移或转动等。当然,驱动机构也可以既驱动反射镜20运动,也驱动图像传感器12运动。
通过驱动机构对图像传感器或反射镜的驱动,即便该图像传感器的镜头的视角能够覆盖的反射图像范围有限,也能够通过后续图像处理的方式来获得完整的货物摆放信息。另外,参考前面的计算公式,当货架单元的空间高度进一步降低时,可相应设置驱动机构实现更大的运动范围,从而允许更小的货架单元的空间高度。
在另一些实施例中,驱动机构也可用于多个图像传感器或多个反射镜的运动驱动。
上述货架可应用在各种需要进行货架摆放信息获取的领域或场合,例如智能货架领域等。本公开也提供了基于前述各货架实施例的货架管理系统的一些实施例。
图10是根据本公开货架管理系统的一些实施例的方框示意图。
参考图10,在一些实施例中,货架管理系统包括前述任一种货架10的实施例和处理器30。处理器30用于对货物单元内的货物的反射图像进行处理。该反射图像来自图像传感器12的感测数据。
在一些实施例中,处理器对反射图像11的处理操作可以包括:分析所述反射图像,以获取所述货架单元内的货物摆放信息。例如将反射图像与数据库中的标准图像进行比较,来分析当前的货物摆放是否正常。又例如从反射图像中提取图像特征信息或者对反射图像进行语义分析,来确定当前的货物摆放信息等。
处理器对反射图像11的处理操作还可以包括:根据所述反射图像检测所述货架单元内的货物摆放是否存在缺货或错货。例如当反射图像与数据库中的标准摆放图像不一致,则说明该处货架单元存在缺货或者错货,需要工作人员进行调整。
在另一些实施例中,处理器对反射图像11的处理操作还可以包括:对所述反射图像进行拼接,以形成所述货架单元内货物的完整反射图像。利用相关技术中的图像拼接方法,例如处理器对多个图像传感器分别感测的反射图像或者由图像传感器在不同时刻采集的多个反射图像进行拼接,来形成货架单元内货物的完整反射图像。
至此,已经详细描述了本公开的各实施例。为了避免遮蔽本公开的构思,没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述,完全可以明白如何实施这里公开的技术方案。
虽然已经通过示例对本公开的一些特定实施例进行了详细说明,但是本领域的技术人员应该理解,以上示例仅是为了进行说明,而不是为了限制本公开的范围。本领域的技术人员应该理解,可在不脱离本公开的范围和精神的情况下,对以上实施例进行修改或者对部分技术特征进行等同替换。本公开的范围由所附权利要求来限定。

Claims (11)

1.一种货架,包括:
至少一个货架单元,用于容纳货物;和
至少一个图像传感器,用于感测所述货架单元内的货物的反射图像。
2.根据权利要求1所述的货架,还包括:
一个或多个反射镜,位于所述货架单元内;
其中,所述图像传感器用于感测所述货架单元内的货物在所述一个或多个反射镜中经过一次或多次反射的反射图像。
3.根据权利要求2所述的货架,其中,所述反射镜位于所述货架单元顶部上靠近所述货物的一侧,所述图像传感器的镜头的朝向被配置为使所述镜头的视角覆盖所述反射镜的至少部分。
4.根据权利要求3所述的货架,其中,所述镜头的高度被配置为不高于所述货物的高度。
5.根据权利要求4所述的货架,其中,所述镜头的高度被配置为与所述货架单元的底部平面平齐。
6.根据权利要求1所述的货架,其中,所述货架单元具有用于取放所述货物的开放端,所述图像传感器位于所述货架单元内远离所述开放端的一侧。
7.根据权利要求2所述的货架,其中,所述反射镜包括平面镜或凸面镜。
8.根据权利要求2所述的货架,其中,所述至少一个图像传感器包括多个图像传感器,所述多个图像传感器的镜头的视角分别在所述反射镜的覆盖区域相邻接或部分重合。
9.根据权利要求2所述的货架,还包括驱动机构,所述驱动机构用于驱动所述图像传感器或所述反射镜运动,以使所述图像传感器的镜头的视角在不同时刻覆盖所述反射镜中所述货物的不同部分的反射图像。
10.一种货架管理系统,包括:
权利要求1~9任一所述的货架;和
处理器,用于对所述反射图像进行处理。
11.根据权利要求10所述的货架管理系统,其中,所述处理器被配置为执行以下至少一种操作:
分析所述反射图像,以获取所述货架单元内的货物摆放信息;
对所述反射图像进行拼接,以形成所述货架单元内货物的完整反射图像;或
根据所述反射图像检测所述货架单元内的货物摆放是否存在缺货或错货。
CN201810659540.9A 2018-06-25 2018-06-25 货架及货架管理系统 Active CN110633704B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201810659540.9A CN110633704B (zh) 2018-06-25 2018-06-25 货架及货架管理系统
EP19825487.2A EP3812964A4 (en) 2018-06-25 2019-03-15 DEVICE FOR OBTAINING PRODUCT, SHELF AND SYSTEM INFORMATION AND SHELF MANAGEMENT METHOD
US16/491,312 US11257031B2 (en) 2018-06-25 2019-03-15 Goods information obtaining device, shelf, shelf managing system and method
PCT/CN2019/078213 WO2020001076A1 (zh) 2018-06-25 2019-03-15 货物信息获取装置、货架、货架管理系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810659540.9A CN110633704B (zh) 2018-06-25 2018-06-25 货架及货架管理系统

Publications (2)

Publication Number Publication Date
CN110633704A true CN110633704A (zh) 2019-12-31
CN110633704B CN110633704B (zh) 2022-07-26

Family

ID=68966686

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810659540.9A Active CN110633704B (zh) 2018-06-25 2018-06-25 货架及货架管理系统

Country Status (4)

Country Link
US (1) US11257031B2 (zh)
EP (1) EP3812964A4 (zh)
CN (1) CN110633704B (zh)
WO (1) WO2020001076A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114476483A (zh) * 2022-03-24 2022-05-13 深圳市海柔创新科技有限公司 机器人的控制方法、装置和设备
CN116188043A (zh) * 2023-03-01 2023-05-30 宁波市镇海六合塑胶制品有限公司 货架标夹的加工装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11144985B2 (en) * 2019-12-13 2021-10-12 Wipro Limited Method and system for assisting user with product handling in retail shopping
NO20210960A1 (zh) * 2021-08-04 2023-02-06 Pickr As
CN115205665B (zh) * 2022-09-15 2022-12-02 创新奇智(合肥)科技有限公司 一种识别产品位置的方法、装置、电子设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1240970A (zh) * 1998-07-02 2000-01-12 全友电脑股份有限公司 多镜头扫描器的光程变换装置
CN101149792A (zh) * 2006-09-21 2008-03-26 国际商业机器公司 使用移动盘存机器人来执行盘存的系统和方法
CN201388246Y (zh) * 2008-09-03 2010-01-20 一品光学工业股份有限公司 扫描装置
CN104487207A (zh) * 2012-06-12 2015-04-01 实耐宝公司 具有高级功能的存货控制系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1794789A (zh) * 2006-01-05 2006-06-28 上海中策工贸有限公司 拍摄货架商品的方法
CN101131727B (zh) * 2006-08-23 2011-04-06 华为技术有限公司 一种图像采集的方法及其应用
JP2009203060A (ja) * 2008-02-29 2009-09-10 Toppan Forms Co Ltd 物品管理システム
CN102184405B (zh) * 2011-04-19 2012-12-26 清华大学 图像采集分析方法
CN102592144B (zh) 2012-01-06 2014-03-26 东南大学 一种基于多摄像机无重叠视域行人匹配方法
JP6084434B2 (ja) * 2012-10-31 2017-02-22 クラリオン株式会社 画像処理システム及び画像処理方法
US9904852B2 (en) * 2013-05-23 2018-02-27 Sri International Real-time object detection, tracking and occlusion reasoning
US9454702B2 (en) * 2013-08-15 2016-09-27 Cisco Technology, Inc. Reflection based tracking system
CN204089981U (zh) 2014-10-16 2015-01-07 宁波通视电子科技有限公司 一种真假摄像头
CN108175227B (zh) * 2018-02-26 2023-08-08 北京地平线机器人技术研发有限公司 货架控制方法、装置和电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1240970A (zh) * 1998-07-02 2000-01-12 全友电脑股份有限公司 多镜头扫描器的光程变换装置
CN101149792A (zh) * 2006-09-21 2008-03-26 国际商业机器公司 使用移动盘存机器人来执行盘存的系统和方法
CN201388246Y (zh) * 2008-09-03 2010-01-20 一品光学工业股份有限公司 扫描装置
CN104487207A (zh) * 2012-06-12 2015-04-01 实耐宝公司 具有高级功能的存货控制系统
CN105051763A (zh) * 2012-06-12 2015-11-11 实耐宝公司 使存货控制系统和远程系统之间能够通过网络进行通信

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114476483A (zh) * 2022-03-24 2022-05-13 深圳市海柔创新科技有限公司 机器人的控制方法、装置和设备
CN116188043A (zh) * 2023-03-01 2023-05-30 宁波市镇海六合塑胶制品有限公司 货架标夹的加工装置
CN116188043B (zh) * 2023-03-01 2023-07-21 宁波市镇海六合塑胶制品有限公司 货架标夹的加工装置

Also Published As

Publication number Publication date
WO2020001076A1 (zh) 2020-01-02
EP3812964A4 (en) 2022-03-23
CN110633704B (zh) 2022-07-26
US11257031B2 (en) 2022-02-22
US20200401987A1 (en) 2020-12-24
EP3812964A1 (en) 2021-04-28

Similar Documents

Publication Publication Date Title
CN110633704B (zh) 货架及货架管理系统
US10268892B1 (en) System and methods for volume dimensioning for supply chains and shelf sets
US10621401B2 (en) Self-service parcel terminal with optimized shelving arrangement
US20190236530A1 (en) Product inventorying using image differences
US7086560B2 (en) Vending machine
US10044985B1 (en) Video monitoring using plenoptic cameras and mirrors
US20160112628A1 (en) Apparatus and method for specifying and aiming cameras at shelves
CN108175227B (zh) 货架控制方法、装置和电子设备
US20110102597A1 (en) Millimeter Wave Concealed Object Detection System Using Portal Deployment
US10546198B2 (en) Method for the computer-aided recognition of a transport container being empty and device for the computer-aided recognition of a transport container being empty
CN111386435B (zh) 冰箱及冰箱系统
US11267651B2 (en) System having workstation with tote retention and release mechanism
WO2020085565A1 (ko) 상품 자동 진열 시스템 및 그 방법
CN107688991A (zh) 一种无人店退货装置
KR20190078505A (ko) 참배 대상물의 보관 설비
CN113470250B (zh) 售卖柜、监控方法、服务器、系统及计算机可读存储介质
JP5674933B2 (ja) 倉庫内の物体の位置を特定するための方法及び装置
CN109454004B (zh) 机器人扫描分拣系统及方法
CN112823130A (zh) 用于存储至少一个存储产品载体的存储搁架以及用于检测存储搁架的存储库存的方法
US20190337719A1 (en) Systems and methods for automated storage and retrieval of objects
CN107742383B (zh) 基于光面成像的自动结算系统及结算方法
CN114708503A (zh) 冰箱瓶座内物品信息识别方法、冰箱和计算机存储介质
KR20190078504A (ko) 참배 대상물의 보관 설비
JPH1017111A (ja) 貸し金庫における保管箱検出制御装置
WO2022185812A1 (ja) 自動販売機

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant