CN106104610B - 陈列状况分析设备、陈列状况分析方法和程序记录介质 - Google Patents

陈列状况分析设备、陈列状况分析方法和程序记录介质 Download PDF

Info

Publication number
CN106104610B
CN106104610B CN201580012871.8A CN201580012871A CN106104610B CN 106104610 B CN106104610 B CN 106104610B CN 201580012871 A CN201580012871 A CN 201580012871A CN 106104610 B CN106104610 B CN 106104610B
Authority
CN
China
Prior art keywords
display
product
image
display condition
condition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580012871.8A
Other languages
English (en)
Other versions
CN106104610A (zh
Inventor
比嘉恭太
包蕊寒
佐藤贵美
间濑亮太
岩元浩太
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of CN106104610A publication Critical patent/CN106104610A/zh
Application granted granted Critical
Publication of CN106104610B publication Critical patent/CN106104610B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/80—Recognising image objects characterised by unique random patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Economics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

公开了一种能够分析产品的陈列状况的陈列状况分析设备。该陈列状况分析设备被提供有：产品识别装置，该产品识别装置用于从所拍摄的正在陈列的产品的陈列图像来识别陈列图像中的产品；以及陈列状况分析装置，该陈列状况分析装置用于基于所识别出的产品的位置来分析正在陈列的产品的陈列状况。

Description

陈列状况分析设备、陈列状况分析方法和程序记录介质
技术领域
本发明涉及分析物品的陈列状况的陈列状况分析设备和陈列状况分析方法以及程序记录介质。
背景技术
由于超市或便利店中所陈列的产品通常从在陈列架上的前排的产品中被售出，所以随着时间的流逝陈列架上的前部会产生空位。因此，店员周期性地巡视以适当地做诸如供应产品和所谓的“取出往前摆放”的工作以在陈列架上进行布置。
PTL 1描述了一种当陈列架上的产品卖完时告知店员产品的库存状况的库存状况管理方法。在PTL 1中所描述的管理方法中，实时相机监测产品的陈列架的图像，并且当陈列架上所提供的产品不存在标记被检测到时，与产品不存在标记相关的产品被指定以输出消息，该消息指示库存正在被检查。
此外，PTL 2公开了一种产品监测系统，其中相机捕获陈列架上的产品的陈列状态的图像，该图像被分析，并且基于分析结果的时序变化，供应产品的时机被告知。
引用文献列表
专利文献
PTL 1：日本专利申请公开No.2012-174154
PTL 2：日本专利申请公开No.1993-081552
发明内容
技术问题
对于店员来说一直持续监测店里的陈列状况存在限制。即使后台里还有产品但陈列架上连续出现产品短缺也会导致销售机会的损失。即使陈列架上还有产品，但是如果产品的布置混乱，也会打击消费者购买的积极性，同样可能导致销售机会的损失。
在PTL 1中所描述的方法中，由于与每个产品相关的产品短缺标记被设置在陈列架上，所以存在产品被陈列的位置不能被灵活改变的问题。在PTL 1中所描述的系统中，由于当产品架的各段处的所有地面的图像没有被捕获时准确的分析结果不能被得到，所以存在用于捕获图像的位置受限制的问题。
鉴于以上问题，本发明的目的在于提供能够分析物品的陈列状况的陈列状况分析设备和陈列状况分析方法以及程序记录介质。
根据本发明的一个方面的陈列状况分析设备包括：
物品识别装置，该物品识别装置用于从陈列的物品的捕获的陈列图像识别陈列图像中的物品；以及
陈列状况分析装置，该陈列状况分析装置用于基于识别出的物品的位置分析陈列的物品的陈列状况。
根据本发明的一个方面的陈列状况分析方法包括由陈列状况分析设备：
从陈列的物品的捕获的陈列图像识别陈列图像中的物品；以及
基于识别出的物品的位置分析陈列的物品的陈列状况。
根据本发明的一个方面的程序记录介质，该程序记录介质记录陈列状况分析程序，该陈列状况分析程序使得计算机执行：
物品识别过程，该物品识别过程从陈列的物品的捕获的陈列图像识别陈列图像中的物品；以及
陈列状况分析过程，该陈列状况分析过程基于识别出的物品的位置分析陈列的物品的陈列状况。
本发明的有益效果
根据本发明，物品的陈列状况能够被分析。
附图说明
图1是示出了根据本发明的陈列状况分析设备的第一示例性实施例的配置示例。
图2示出了从陈列图像识别物品的过程的示例。
图3示出了来自分析结果处理单元的输出结果的示例。
图4是示出了第一示例性实施例的陈列状况分析设备的操作示例的流程图。
图5示出了基准位置的示例。
图6示出了面线的示例。
图7示出了来自分析结果处理单元的输出结果的另一示例。
图8示出了从陈列图像识别物品的过程的另一示例。
图9是示出了根据本发明的陈列状况分析设备的相应示例性实施例的概况的框图。
图10示出了根据本发明的相应示例性实施例的信息处理设备的硬件配置的示例。
具体实施方式
参考附图，下文描述了本发明的示例性实施例。
示例性实施例1
图1是示出了根据本发明的陈列状况分析设备的第一示例性实施例的配置示例的框图。本示例性实施例的陈列状况分析设备10从图像获取单元20接收被陈列在陈列架上的物品的陈列图像，并将陈列架的陈列状况输出给分析结果处理单元30。
图像获取单元20利用例如用于一直监测陈列架的固定点相机等来实现。但是不需要图像获取单元20本身包括捕获图像的功能。例如，图像获取单元20可以是接口，该接口经由通信网络接收捕获的陈列架的图像的相机(未被示出)捕获的图像。
图像获取单元20可以周期性地将陈列图像提供给陈列状况分析设备10，或者可以根据管理人员等的命令将陈列图像提供给陈列状况分析设备10。例如，图像获取单元20还可以向陈列状况分析设备10提供陈列图像被捕获的时间。
分析结果处理单元30输出陈列状况分析设备10分析出的物品的陈列状况。本示例性实施例的陈列状况分析设备10所获得的陈列状况不仅包括指示物品的陈列的状况本身的信息(例如陈列混乱)，还包括例如根据分析出的陈列状况的警报输出。换言之，本示例性实施例中的陈列状况可以被表示为与陈列状况相关联的信息，例如陈列混乱和警报。分析结果处理单元30输出陈列状况的模式被描述如下。下述陈列状况分析单元12可以执行分析结果处理单元30的处理过程(即输出物品的陈列状况的过程)。
因此，陈列状况分析设备10、图像获取单元20和分析结果处理单元30与彼此合作以使得陈列架的状况可以被识别。因而，包括陈列状况分析设备10、图像获取单元20和分析结果处理单元30的配置可以被称为陈列状况分析系统。
陈列状况分析设备10包括物品识别单元11、陈列状况分析单元12和存储单元13。
物品识别单元11识别陈列图像中的物品。具体地，物品识别单元11从陈列图像标识物品以识别物品的位置、尺寸、范围等。下文中，指定物品识别单元11识别出的物品的信息，以及这些物品的位置、尺寸、范围等被写入作为物品识别结果。例如，物品识别结果是指示识别出的物品的范围的信息。
物品识别单元11可以例如将存在于陈列图像中的物品与被存储在存储单元13中的物品的图像进行模板匹配，从而识别物品。然而，物品识别单元11识别图像中的物品的方法并不限于模板匹配。物品识别单元11可以使用其他广泛熟知的方法来识别陈列图像中的物品。
图2示出了从陈列图像识别物品的过程的示例。当图2中所例示的陈列图像P1被输入时，物品识别单元11从陈列图像P1识别物品。图2中所例示的陈列图像P2中的粗框架的长方形所指示的区域是被指定为物品识别结果的物品的区域。
物品识别单元11将陈列图像和物品识别结果提供给陈列状况分析单元12。
陈列状况分析单元12分析陈列的物品的陈列状况。具体地，基于识别出的物品的位置，陈列状况分析单元12分析陈列的物品的陈列状况并且输出分析结果。陈列状况分析单元12所输出的陈列状况包括与陈列状况相关联的信息，例如如上所述的陈列混乱和警报。
识别出的物品的上述位置不仅包括从陈列图像中识别出的物品的绝对位置，还包括以下信息。就是说，物品的位置包括例如与另一物品的相对位置或位置关系、由识别出的物品指定的点或面、通过将识别出的相应物品的位置彼此连接所指定的线条以及由该线条和另一线条指定的范围(区域)。例如，当由识别出的物品指定的点和基准线条存在于陈列图像中时，物品的位置根据该点和基准线条而被识别。
例如，陈列状况分析单元12可以计算识别出的物品被放置的深度，分析陈列的物品的陈列状况并且输出结果。物品被放置的深度是指与作为物品被陈列的位置的适当位置的分离度。例如，在陈列架的实例中，当每个陈列架的最前面一行被定义为基准位置时，物品被放置的深度是与陈列架的最前面一行的深度方向上的距离。在以下描述中，对物品被放置的深度的计算有时被简单地写作对深度的计算。
如上所述，产品通常从陈列架的最前面一行开始被销售。因此，随着产品数目的减少，陈列架上的产品处于越来越深的位置处。随着存在于陈列架上的物品的位置变得更深，消费者更难以看到产品。因此，这对于物品的陈列状况而言是不希望出现的。换言之，当物品被放置的深度很短(即物品存在于陈列架上的更近的一侧)时，陈列状况可以被认为是更好。因此，在下面的描述中，陈列状况分析单元12根据识别出的物品被放置的深度来分析陈列状况。
在第一示例性实施例中，陈列状况分析单元12基于识别出的物品的位置与基准位置之间的分离度来计算深度。用于指示物品的位置针对每种类型的物品被提前确定。因为物品的高度和宽度因各种不同类型的物品而变化，所以例如物品的基底的中心可以被定义为物品的位置。
例如，当陈列图像是固定点相机所捕获的图像时，陈列状况分析单元12可以提前基于相机的视角、相机与陈列架之间的距离等指定陈列架的最前面一行的位置。当陈列图像被捕获的范围没有被固定时，陈列状况分析单元12可以根据陈列图像估计陈列架的位置并将所估计的陈列架的位置设置为基准位置。
陈列状况分析单元12基于识别出的物品的位置与基准位置之间的距离来计算物品被放置的深度。例如，当陈列架的最前面一行被定义为基准位置时，陈列状况分析单元12可以计算指示最前面一行的线条与物品的位置之间的距离作为深度。
陈列状况分析单元12可以基于对深度的计算结果、只计算深度以确定物品的陈列状况的合适度。例如，当相应物品与基准位置的距离(即深度)的总和更小时，陈列状况分析单元12可以确定陈列状况更合适。
陈列状况分析单元12将分析结果提供给分析结果处理单元30。例如，陈列状况分析单元12可以将指示与基准位置的分离度大于预定基准值的物品的位置的信息作为分析结果来提供给分析结果处理单元30。陈列状况分析单元12可以将指示所有物品的位置以及与基准位置的分离度的信息作为分析结果来提供给分析结果处理单元30。这里所提到的分析结果是示例，并且陈列状况分析单元12可以提供分析结果处理单元30所执行的处理过程所必需的任何信息作为分析结果。
分析结果处理单元30利用从陈列状况分析单元12提供的分析结果来执行用于表示陈列状况的任何处理过程。例如，分析结果处理单元30可以利用分析结果输出在实现对物品被放置的位置处的计算出的深度的识别的模式中的图像。
图3示出了来自分析结果处理单元30的输出结果的示例。图3中所示的示例表示分析结果处理单元30在位于陈列图像P1中的指示与基准位置的分离度大于预定基准值的物品的位置处叠加并陈列闪烁图像T。
此外，分析结果处理单元30可以向相关人员传达指示到供应物品的时间的警报。当陈列架具有改变倾向的功能时，例如，分析结果处理单元30可以向控制陈列架的设备(未被示出)传达指示物品的位置等的信息以使得该设备自动倾斜陈列架将物品向前移动。
分析结果处理单元30可以基于物品被放置的深度、物品本身的尺寸等计算物品的售出数量，并且从而根据售出数量自动执行排序的处理过程。这是因为物品从陈列架上的较近一侧消失被认为是被售出。
分析结果处理单元30可以基于相应物品的分析结果估计店铺里的混乱情况，并且例如可以收集该情况以允许在多个店铺之间进行比较。
存储单元13存储识别物品的处理过程和计算深度的处理过程所必需的信息。例如，存储单元13可以存储要被陈列的物品的被捕获图像和物品的尺寸。存储单元13可以存储捕获陈列图像的相机的位置和视角，以及指示图像捕获范围的参数信息。例如，存储单元13用磁盘等来实现。
物品识别单元11和陈列状况分析单元12由根据程序(陈列状况分析程序)操作的计算机的中央处理单元(CPU)来实现。例如，程序被存储在存储单元13中，并且CPU读取程序以根据程序作为物品识别单元11和陈列状况分析单元12进行操作。
物品识别单元11和陈列状况分析单元12可以分别由专用硬件来实现。虽然本示例性实施例例示了其中分析结果处理单元30未被包括在陈列状况分析设备10中的情况，但是陈列状况分析设备10可以包括分析结果处理单元30。
接下来，对本示例性实施例的陈列状况分析设备10的操作进行描述。图4是示出了第一示例性实施例的陈列状况分析设备10的操作示例的流程图。
物品识别单元11从由图像获取单元20输入的陈列图像识别陈列图像中的物品(步骤S11)。基于识别出的物品的位置，陈列状况分析单元12随后分析陈列的物品的陈列状况(步骤S12)。具体地，陈列状况分析单元12可以计算识别出的物品被放置的深度并且分析陈列的物品的陈列状况，或者可以基于识别出的物品的位置与基准状态之间的分离度计算深度。
如上所述，根据本示例性实施例，陈列状况分析单元12基于识别出的物品的位置来分析陈列的物品的陈列状况。具体地，陈列状况分析单元12计算陈列图像中识别出的物品被放置的深度并且分析陈列状况。例如，陈列状况分析单元12基于识别出的物品的位置与基准位置之间的距离来计算物品被放置的深度。这种配置允许实现对物品的陈列状况的分析。因而，基于被分析的陈列状况，店铺里的产品短缺和混乱可以被检测到并被减少，以使得有益的效果可以被实现，即销售机会的损失可以被减少并且销量可以被改善。此外，根据示例性实施例，因为深度可以在不使用特殊的图像捕获设备的情况下被计算，所以可以获得有益的效果，在于其引入会很容易。
接下来，本示例性实施例的修改示例被描述。在第一示例性实施例中，以上描述是针对其中每个陈列架上的最前面一行被定义为基准位置的情况被进行的。物品的陈列包括其中物品被叠放在多个段中而不是仅仅一段中的陈列。在这种情况下，陈列状况分析单元12可以将使相应物品的上端彼此连接的一行设置为基准位置，每个物品存在于比其中物品可以被进一步叠放的段更低的一段处。
图5示出了基准位置的示例。基准线L1指示陈列架的最前面一行。基准线L2指示连接最前面一行中所陈列的物品中所包括的第一段处的物品的上基底的线条。因而，相应分开的基准位置被设置以使得被叠放的物品的陈列状况也可以按与上述方式相同的方式被确定。
这样的基准位置的定义使得还能够计算被叠放在要被陈列的多个段中的物品的位置的深度。因此，即使店铺的类型是多样化的，店铺的整齐程度也可以被确定。
示例性实施例2
接下来，将针对根据本发明的陈列状况分析设备的第二示例性实施例进行描述。本示例性实施例的陈列状况分析设备的配置与第一示例性实施例的陈列状况分析设备的配置相同。
在第二示例性实施例中，陈列状况分析单元12基于将识别出的相应物品的位置连接到彼此的线条与比较基准线之间的分离度计算深度。在下文中，将识别出的相应物品的位置连接到彼此的线条被写作“面线”(“face line”)。确定物品的位置的方法与第一示例性实施例中所使用的方法相同。陈列状况分析单元12可以利用霍夫(Hough)变换中所使用的技术来估计面线。
图6示出了面线的示例。当相应物品的位置如陈列图像P2中所例示地被识别出时，陈列状况分析单元12估计如陈列图像P3中的虚线所指示的面线L3。
第二示例性实施例中所使用的比较基准线可以是可从陈列图像中抽取的任何线条，或者可以是与陈列图像相独立地被定义的线条。例如，当比较基准线被定义为简单的直线时，陈列状况分析单元12可以基于将物品的位置连接到彼此的面线的扭曲程度来计算深度。
例如，当指示每个陈列架的最前面一行的直线被定义为比较基准线时，陈列状况分析单元12可以按照与第一示例性实施例中的方式相同的方式基于面线上的每个点与比较基准线之间的距离来计算深度。
在物品的陈列没有混乱的状态下，物品通常按行陈列，使得指定的面线几乎是直的。换言之，根据面线的笔直度，可以确定从后台挑选物品并且向前移动物品的行为已经被做出。同时，当物品的陈列混乱时，面线不是直的，并且被扭曲或者呈阶梯式的。换言之，根据表示库存短缺或者没有库存的可能性的面线的不笔直度，可以确定警报需要被生成。
换言之，当面线的形状更接近于直线(即与比较基准线的差别较小)时，物品的陈列状态可以被认为是好的情况。因此，陈列状况分析单元12指出这样的面线来进而分析陈列状况。
图7示出了来自分析结果处理单元30的输出结果的另一示例。分析结果处理单元30在原始陈列图像上叠加并且显示由陈列状况分析单元12估计的面线。在图7中所示的示例中，由于陈列的物品是混乱的，所以面线具有折线的形状。例如，在陈列的物品没有混乱的状态下，几乎为直线的面线被叠加在陈列图像上。
在图7中所示的示例中，分析结果处理单元30在长深度的位置处叠加指示陈列混乱的图像。因而，根据混乱的程度，分析结果处理单元30可以改变被叠加的图像。具体地，分析结果处理单元30可以在与比较基准线的分离距离较大的位置处叠加允许实现对分离度的识别的图像。例如，分析结果处理单元30可以在陈列图像上叠加并显示根据陈列混乱的量值进行颜色编码的图像，类似于热度图。
虽然图7示出了其中在不对原始陈列图像进行变换的情况下附加图像被叠加的示例，但是分析结果处理单元30可以对原始陈列图像本身进行变换。例如，分析结果处理单元30可以执行变换过程，用于改变陈列混乱的物品出现的部分的图像对比度，从而强调混乱情况。陈列架的混乱按照这种方式被做成可以看到的，以使得整个陈列架的状况可以被简单地识别出。
如上所述，在本示例性实施例中，陈列状况分析单元12基于面线与比较基准线之间的分离度计算物品被放置的深度。即使这样的配置也可以按照与第一示例性实施例中的方式相同的方式分析物品的陈列状况。
示例性实施例3
接下来，将针对根据本发明的陈列状况分析设备的第三示例性实施例进行描述。本示例性实施例的陈列状况分析设备的配置也与第一示例性实施例的配置相同。
在第三示例性实施例中，陈列状况分析单元12将根据从被陈列在指定位置处的物品的捕获的陈列图像识别出的相应物品的尺寸设置为基准状态，并且基于基准状态中的相应物品的尺寸与根据新捕获的陈列图像所识别出的相应物品的尺寸之间的分离度来计算物品被放置的深度。例如，当从陈列图像识别出的相应物品被陈列在作为指定位置的适当位置处时，陈列状况分析单元12可以使用这些物品的尺寸作为基准状态。适当位置指作为被陈列位置的合适的位置，例如陈列架上的最前面一行。在下文中，根据陈列图像所识别出的物品被陈列在合适位置处时，每个物品的图像被写入作为基准图像。例如，基准图像被存储在存储单元13中。
物品被陈列在陈列架上的最近处通常是合适的。例如，当物品的图像被固定点相机等横向捕获时，存在于较近侧的物品与存在于较深侧的物品相比在被捕获图像中变得更大。换言之，位于较深侧的物品在被捕获图像中尺寸变得更小。因此，在陈列架上的最前面一行的物品的被捕获图像可以被设置为基准图像。
陈列状况分析单元12可以基于被识别物品的图像与基准图像之间的差异(分离度)来计算深度。此时，陈列状况分析单元12可以基于捕获陈列图像的相机的视角、从相机到陈列架的距离等根据被识别物品的图像与基准图像之间的比率来计算深度。
图8示出了根据陈列图像识别物品的过程的另一示例。在图8中所示的示例中，假设物品A1、物品A3和物品A4被陈列在陈列架上的最前面，并且物品A2被放在比其它物品更深的一侧。
在图8中所例示的更上段的货架中，由于捕获陈列图像的相机的角度，难以仅仅基于被识别物品的位置计算深度。然而，被放在较深侧的物品A2与基准图像相比在被捕获图像中变得更小。因此，陈列状况分析单元12可以基于基准图像与物品A2的被捕获图像之间的比率来计算深度。
如上所述，在本示例性实施例中，陈列状况分析单元12基于在基准状态中相应物品的尺寸与从陈列图像识别出的相应物品的尺寸之间的差异度来计算物品被放置的深度。因而，即使当物品被放置的深度不能仅仅根据被识别物品的位置而知道时，深度也可以被计算出。
存在物品在陈列架上被陈列为面朝各种方向的可能性。因此，为了允许物品识别单元11指定物品，准备从多个角度捕获的物品的基准图像是合适的。因此，存储单元13可以存储从多个方向捕获的相同物品的基准图像。
存在用于陈列物品的合适方向。因此，在从多个方向捕获的相同物品的基准图像中指示方向更合适的信息可以被设置在相应基准图像中。在这种情况下，陈列状况分析单元12可以通过不仅考虑每个物品被放置的深度还考虑物品的方向来分析陈列状态。这适用于其它示例性实施例。例如，陈列状况分析单元12可以在沿合适的方向被陈列的物品的数目越大时确定陈列状态越合适。
示例性实施例4
接下来，将针对根据本发明的陈列状况分析设备的第四示例性实施例进行描述。本示例性实施例的陈列状况分析设备的配置也与第一示例性实施例的配置相同。
在第四示例性实施例中，陈列状况分析单元12将指示合适的陈列状态的陈列图像设置为基准状态，并且基于在基准状态中相应物品的位置或尺寸与从新捕获的陈列图像识别出的相应物品的位置或尺寸之间的相应的分离度来计算物品被放置的深度。合适的陈列状态指物品被陈列在合适的位置处而没有混乱的状态。在下文中，指示合适的陈列状态的陈列图像被写作“基准陈列图像”。例如，基准陈列图像被存储在存储单元13中。
陈列状况分析单元12可以基于基准陈列图像中的物品的位置与新捕获的陈列图像中的物品的位置之间的差异(分离度)来计算物品被放置的深度。例如，陈列状况分析单元12可以基于基准陈列图像中的物品与新捕获的陈列图像中的物品之间的尺寸差异(分离度)来计算物品被放置的深度。例如，陈列状况分析单元12可以确定当差异较小时，物品存在于较近侧以确定陈列状态是合适的。
此时，使用与陈列图像所表示的范围相同的范围的之前所捕获的图像作为基准图像是合适的。这是因为相同范围的被捕获图像使得很容易检测差异。
在本示例性实施例中，根据每个陈列图像所识别出的每个物品被比较以计算物品被放置的深度。因此，例如当物品被放置的范围基本固定时，深度可以简单地被计算出。
示例性实施例5
接下来，将针对根据本发明的陈列状况分析设备的第五示例性实施例进行描述。本示例性实施例的陈列状况分析设备的配置也与第一示例性实施例的配置相同。
取决于陈列架，当物品被陈列在较深一侧时，物品有时看上去会比较暗。因此，在第五示例性实施例中，陈列状况分析单元12基于识别出的物品的亮度与指示基准亮度的像素值之间的差异度来计算深度。陈列状况分析单元12可以确定比基准亮度暗的物品被放置较深侧。
例如，当明亮程度被用作指示亮度的信息时，陈列状况分析单元12可以确定图像被捕获为与相同类型的另一物品的像素值相比具有更接近白色的像素值的物品为更亮的物品。取决于物品架中的深度的明亮程度可以被提前测量以使得陈列状况分析单元12通过与明亮程度的比较来计算深度。
在本示例性实施例中，从陈列图像中指定的物品的亮度被比较以计算物品被放置的深度。因此，例如，对黑暗部分的识别允许在不指定单独的物品的情况下确定其深度。
虽然以上描述是针对关于陈列状况分析单元12分析陈列状况所用的方法的示例性实施例中的每个示例性实施例而做出的，但是陈列状况分析单元12可以将相应示例性实施例中的分析陈列状况的方法组合起来确定陈列状况。例如，即使一种方法难以计算出深度，另一种方法也可以在一些情况下计算出深度。
例如，类似于图2中所例示的陈列图像P2，一个陈列图像有时包括图像从上方被捕获的陈列架和图像从水平方向被捕获的陈列架。在这种情况下，例如陈列状况分析单元12将第一示例性实施例中的上述分析方法与第三示例性实施例中的上述分析方法组合起来以使得每个陈列架的陈列状况都可以被分析。
接下来，针对本发明的相应示例性实施例的概览进行描述。图9是示出了根据本发明的陈列状况分析设备的相应示例性实施例的概览的框图。图9中所示的陈列状况分析设备包括物品识别单元81(例如物品识别单元11)和陈列状况分析单元82(例如陈列状况分析单元12、分析结果处理单元30)。物品识别单元81根据陈列的物品(例如产品)的捕获的陈列图像识别陈列图像中的物品。基于识别出的物品的位置(例如基于物品被放置的深度)，陈列状况分析单元82分析陈列的物品的陈列状况。
这样的配置可以分析物品的陈列状况。
具体地，陈列状况分析单元82可以基于被识别物品的位置与陈列图像中的基准位置(例如陈列架上的最前面一行)之间的距离来计算物品被放置的深度。陈列状况分析单元82可以基于将识别出的相应物品的位置连接到彼此的线条(例如面线)与陈列图像中的比较基准线(基准直线或指示陈列架上的最前面一行的线条)之间的分离度来分析物品的陈列状况。
此外，陈列状况分析单元82可以按如下方式分析物品的陈列状况。换言之，陈列状况分析单元82使用从被陈列在指定位置处的物品的捕获的陈列图像识别出的相应物品的尺寸作为基准状态。然后，陈列状况分析单元82可以基于基准状态中的相应物品的尺寸与从新捕获的陈列图像识别出的相应物品的尺寸之间的分离度(例如比率)来分析物品的陈列状况。
此外，陈列状况分析单元82可以按如下方式分析物品的陈列状况。换言之，陈列状况分析单元82将合适的陈列状态的捕获的陈列图像设置为基准状态。然后，陈列状况分析单元82可以基于在基准状态中相应物品的位置或尺寸与从捕获的陈列图像识别出的相应物品的位置或尺寸之间的相应分离或差异度(例如比率)来分析物品的陈列状况。
陈列状况分析单元82可以包括处理物品的经分析的陈列状况的分析结果处理单元(例如分析结果处理单元30)。然后，分析结果处理单元可以输出在实现对识别物品被放置的计算出的深度的识别的模式中的图像(图3或图7中所例示的图像)。
陈列状况分析单元82可以计算被识别物品被放置的深度，以基于深度输出陈列状况。
图1或图9中所示出的陈列状况分析设备的每个单元通过图10中所例示的硬件资源来实现。换言之，图10中所示的配置包括中央处理单元(CPU)41、随机访问存储器(RAM)42、只读存储器(ROM)43、外部连接接口44和存储介质45。
对于上述相应示例性实施例，其中图1或图9中所示的陈列状况分析设备中的每个框所表示的功能通过软件程序来实现的情况在上面通过引用其中功能由图10中所示的CPU10执行的一个示例被描述。但是图1或图9中所示的每个框所表示的部分或全部功能可以被实现为硬件。
陈列状况分析设备被提供有可以实现上述功能的计算机程序，并且CPU 10随后将计算机程序读出到RAM 11中以执行程序，使得以上通过引用相应示例性实施例来描述的本发明可以被实现。
所提供的计算机程序可以被存储在可读写的存储器(临时存储介质)或诸如硬盘设备之类的计算机可读存储设备中。在这种情况下，本发明可以被认为是通过表示计算机程序的代码或存储计算机程序的存储介质来配置的。
虽然以上参考示例性实施例针对本申请的发明做出了描述，但是本申请的发明不局限于以上的示例性实施例。可以被本领域技术人员理解的各种修改可以在本申请的发明的范围内针对本申请的发明的配置和细节被做出。
本申请基于并要求2014年3月12日递交的日本专利申请No.2014-049001的优先权，该日本专利申请的全部公开内容都被并入于此。
[工业应用]
本发明可以被应用于例如用于产品的陈列架的监测设备等。
[参考标号列表]
10 陈列状况分析设备
11 物品识别单元
12 陈列状况分析单元
13 存储单元
20 图像获取单元
30 分析结果处理单元
P1、P2、P3 陈列图像
L1、L2 基准线条
L3 面线

Claims (11)

1.一种陈列状况分析系统，包括：
产品识别单元，所述产品识别单元被配置为从陈列架上的产品的捕获的陈列图像识别所述陈列图像中的所述产品；
陈列状况分析单元，所述陈列状况分析单元被配置为：
通过将获取的陈列图像与产品被陈列在所述陈列架上的合适的位置处的状态进行比较来分析陈列状况；
基于所述分析来检测所述陈列架中的、与所述产品被陈列在所述陈列架上的合适的位置处的所述状态不同的区域；
基于所述检测来确定产品短缺；
分析结果处理单元，所述分析结果处理单元被配置为：
在关于从所述陈列架的最前面一行到识别出的所述产品的距离的预定条件被满足时输出图像，所述图像指示被不同地叠加在所述获取的陈列图像上的所检测的所述区域，并且指示所述预定条件被满足；以及
生成与所确定的所述产品短缺相关联的警报。
2.根据权利要求1所述的陈列状况分析系统，其中所述陈列状况分析单元基于识别出的所述产品的位置与所述陈列图像中的基准位置之间的距离来分析所述产品的陈列状况。
3.根据权利要求1所述的陈列状况分析系统，其中所述陈列状况分析单元基于将相应的识别出的所述产品的位置彼此连接的线条与所述陈列图像中的比较基准线条之间的分离度来分析所述产品的陈列状况。
4.根据权利要求1所述的陈列状况分析系统，其中所述陈列状况分析单元将从被陈列在指定位置处的每个产品的捕获的陈列图像识别出的所述产品的尺寸设置为基准状态，并且基于在所述基准状态中每个产品的尺寸与从捕获的陈列图像识别出的所述产品的尺寸之间的差异度来分析所述产品的陈列状况。
5.根据权利要求1所述的陈列状况分析系统，其中所述陈列状况分析单元将适当陈列状态的捕获的陈列图像设置为基准状态，并且基于在所述基准状态中每个产品的位置或尺寸与从捕获的陈列图像识别出的所述产品的位置或尺寸之间的每个分离度或每个差异度来分析产品的陈列状况。
6.根据权利要求1所述的陈列状况分析系统，其中所述陈列状况分析单元计算识别出的所述产品的位置与所述产品被陈列的合适位置的分离度作为深度，并且基于所述深度分析所述陈列状况。
7.根据权利要求6所述的陈列状况分析系统，还包括分析结果处理单元，所述分析结果处理单元被配置为输出在计算出的所述深度为可识别的状态中的图像。
8.一种陈列状况分析方法，包括由陈列状况分析系统：
从陈列架上的产品的捕获的陈列图像识别所述陈列图像中的所述产品，以及
通过将获取的陈列图像与产品被陈列在所述陈列架上的合适的位置处的状态进行比较来分析陈列状况；
基于所述分析来检测所述陈列架中的、与所述产品被陈列在所述陈列架上的合适的位置处的所述状态不同的区域；
基于所述检测来确定产品短缺；
在关于从所述陈列架的最前面一行到识别出的产品的距离的预定条件被满足时输出图像，所述图像指示被不同地叠加在所述获取的陈列图像上的所检测的所述区域，并且指示所述预定条件被满足；以及
生成与所确定的所述产品短缺相关联的警报。
9.根据权利要求8所述的陈列状况分析方法，还包括基于识别出的所述产品的位置与所述陈列图像中的基准位置之间的距离来分析所述产品的陈列状况。
10.一种记录陈列状况分析程序的程序记录介质，所述陈列状况分析程序使得计算机执行：
产品识别过程，所述产品识别过程从陈列架上的产品的捕获的陈列图像识别所述陈列图像中的所述产品；以及
陈列状况分析过程，所述陈列状况分析过程：
通过将获取的陈列图像与产品被陈列在所述陈列架上的合适的位置处的状态进行比较来分析陈列状况；
基于所述分析来检测所述陈列架中的、与所述产品被陈列在所述陈列架上的合适的位置处的所述状态不同的区域；
基于所述检测来确定产品短缺；
分析结果处理过程，所述分析结果处理过程：
在关于从所述陈列架的最前面一行到识别出的产品的距离的预定条件被满足时输出图像，所述图像指示被不同地叠加在所述获取的陈列图像上的所检测的所述区域，并且指示所述预定条件被满足；以及
生成与所确定的所述产品短缺相关联的警报。
11.根据权利要求10所述的程序记录介质，在所述陈列状况分析过程中使得计算机基于识别出的所述产品的位置与所述陈列图像中的基准位置之间的距离来分析所述产品的陈列状况。
CN201580012871.8A 2014-03-12 2015-02-19 陈列状况分析设备、陈列状况分析方法和程序记录介质 Active CN106104610B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014-049001 2014-03-12
JP2014049001 2014-03-12
PCT/JP2015/000775 WO2015136847A1 (ja) 2014-03-12 2015-02-19 陳列状況解析装置、陳列状況解析方法およびプログラム記録媒体

Publications (2)

Publication Number Publication Date
CN106104610A CN106104610A (zh) 2016-11-09
CN106104610B true CN106104610B (zh) 2022-03-25

Family

ID=54071310

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580012871.8A Active CN106104610B (zh) 2014-03-12 2015-02-19 陈列状况分析设备、陈列状况分析方法和程序记录介质

Country Status (4)

Country Link
US (3) US10586101B2 (zh)
JP (3) JP6699547B2 (zh)
CN (1) CN106104610B (zh)
WO (1) WO2015136847A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6432197B2 (ja) * 2014-07-31 2018-12-05 セイコーエプソン株式会社 表示装置、表示装置の制御方法、および、プログラム
JP5881022B1 (ja) * 2014-09-11 2016-03-09 パナソニックＩｐマネジメント株式会社 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
JP6008339B1 (ja) * 2015-04-28 2016-10-19 パナソニックＩｐマネジメント株式会社 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
JP6322603B2 (ja) * 2015-06-23 2018-05-09 東芝テック株式会社 画像処理装置および画像処理プログラムと、陳列状況判定装置
JP6238028B2 (ja) * 2016-03-11 2017-11-29 パナソニックＩｐマネジメント株式会社 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
JP6256885B2 (ja) * 2016-03-31 2018-01-10 パナソニックＩｐマネジメント株式会社 施設内活動分析装置、施設内活動分析システムおよび施設内活動分析方法
EP3459008A4 (en) 2016-05-19 2019-11-27 Simbe Robotics, Inc. METHOD FOR MONITORING THE PLACEMENT OF PRODUCTS ON SHELVES IN A STORE
JP6288567B2 (ja) * 2016-07-11 2018-03-07 パナソニックＩｐマネジメント株式会社 施設運営支援装置、および施設運営支援方法
JP7034640B2 (ja) * 2016-09-15 2022-03-14 東芝テック株式会社 物品管理装置
WO2018053847A1 (zh) * 2016-09-26 2018-03-29 达闼科技（北京）有限公司 一种智能库存管理系统、服务器、方法、终端和程序产品
JP6425278B2 (ja) * 2017-02-24 2018-11-21 株式会社マーケットヴィジョン 商品情報取得システム
US10643177B2 (en) * 2017-03-21 2020-05-05 Kellogg Company Determining product placement compliance
JP7130945B2 (ja) * 2017-11-24 2022-09-06 富士通株式会社 在庫検出プログラム、在庫検出方法及び在庫検出装置
CN108052949B (zh) * 2017-12-08 2021-08-27 广东美的智能机器人有限公司 物品类别统计方法、系统、计算机设备和可读存储介质
CN108364316A (zh) * 2018-01-26 2018-08-03 阿里巴巴集团控股有限公司 交互行为检测方法、装置、系统及设备
JP6890849B2 (ja) * 2018-06-20 2021-06-18 株式会社マーケットヴィジョン 情報処理システム
JP6670511B2 (ja) * 2018-07-27 2020-03-25 株式会社マーケットヴィジョン 商品情報取得システム
JP2022131583A (ja) * 2021-02-26 2022-09-07 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
WO2024050686A1 (zh) * 2022-09-06 2024-03-14 烟台创迹软件有限公司 分析方法、分析装置以及分析系统
WO2024090281A1 (en) 2022-10-28 2024-05-02 Dmg Mori Co., Ltd. Device for machine tool, method for manufacturing device for machine tool, and machine tool

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003230131A (ja) * 2002-02-04 2003-08-15 Fujitsu Ltd 陳列状態監視方法及び陳列状態監視プログラム
CN101809601A (zh) * 2007-08-31 2010-08-18 埃森哲环球服务有限公司 基于图像处理的货架图提取
CN102369560A (zh) * 2008-08-08 2012-03-07 实耐宝公司 基于图像的库存控制系统和方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0581552A (ja) 1991-07-12 1993-04-02 Omron Corp 商品監視システム
JP4473676B2 (ja) * 2004-08-18 2010-06-02 株式会社野村総合研究所 フェイスアップ度評価システム及び評価プログラム
US20080077510A1 (en) * 2006-09-21 2008-03-27 Polymer Logistics Bv Method And System For Providing Security Surveillance And Shelf Monitoring Functions
US8657293B2 (en) * 2011-01-28 2014-02-25 Edison Nation, Llc Tossing projectile target game
JP2012174154A (ja) 2011-02-24 2012-09-10 Fujitsu Frontech Ltd 在庫状況管理方法および在庫状況管理装置
JP2012193873A (ja) * 2011-03-15 2012-10-11 Nikon Corp 収納装置
US8908903B2 (en) * 2011-08-31 2014-12-09 The Nielsen Company (Us), Llc Image recognition to support shelf auditing for consumer research
WO2014017393A1 (ja) * 2012-07-24 2014-01-30 日本電気株式会社 情報処理装置、そのデータ処理方法、およびプログラム
JP5319828B1 (ja) * 2012-07-31 2013-10-16 楽天株式会社 物品推定システム、物品推定方法、及び物品推定プログラム
JP5928386B2 (ja) * 2013-03-22 2016-06-01 カシオ計算機株式会社 表示制御装置、表示制御方法及びプログラム
WO2014175643A1 (en) * 2013-04-23 2014-10-30 Lg Electronics Inc. Refrigerator and control method for the same
JP5728654B1 (ja) * 2013-11-27 2015-06-03 パナソニックＩｐマネジメント株式会社 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
JP6194777B2 (ja) * 2013-11-29 2017-09-13 富士通株式会社 動作判定方法、動作判定装置および動作判定プログラム
US9542746B2 (en) * 2014-06-13 2017-01-10 Xerox Corporation Method and system for spatial characterization of an imaging system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003230131A (ja) * 2002-02-04 2003-08-15 Fujitsu Ltd 陳列状態監視方法及び陳列状態監視プログラム
CN101809601A (zh) * 2007-08-31 2010-08-18 埃森哲环球服务有限公司 基于图像处理的货架图提取
CN102369560A (zh) * 2008-08-08 2012-03-07 实耐宝公司 基于图像的库存控制系统和方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Development of Simple Feature Measurement by using Mixed Single Camera;Shingo ANDO et al;《ITE Technical Report》;20120229;第36卷(第8期);摘要，第2节、第4节，图1、4 *

Also Published As

Publication number Publication date
US10586101B2 (en) 2020-03-10
JPWO2015136847A1 (ja) 2017-04-06
WO2015136847A1 (ja) 2015-09-17
CN106104610A (zh) 2016-11-09
US20230138264A1 (en) 2023-05-04
JP2020126679A (ja) 2020-08-20
JP6699547B2 (ja) 2020-05-27
US20170017840A1 (en) 2017-01-19
US20200167561A1 (en) 2020-05-28
US11594052B2 (en) 2023-02-28
JP7147806B2 (ja) 2022-10-05
JP2022173288A (ja) 2022-11-18
JP7472945B2 (ja) 2024-04-23

Similar Documents

Publication Publication Date Title
CN106104610B (zh) 陈列状况分析设备、陈列状况分析方法和程序记录介质
US20230394502A1 (en) Object type identifying apparatus, object type identifying method, and recording medium
US11288627B2 (en) Information processing apparatus, control method, and program
CN107077686B (zh) 图像处理装置和图像处理方法
US20160260055A1 (en) Item monitoring system and method
EP3584747A1 (en) Image processing apparatus
US10922571B2 (en) Information processing apparatus, information processing method, and program
US20200311659A1 (en) Information processing apparatus, information processing method, and program
US20230401552A1 (en) Article deduction apparatus, article deduction method, and program
US11205089B2 (en) Object identification device, object identification method, and recording medium
CN110070064B (zh) 一种商品货架整洁度识别方法及系统
JP6160243B2 (ja) 検出装置、検出方法及び検出プログラム
US11462004B2 (en) Object identification device, object identification method, calculation device, system, and recording medium
US20240086837A1 (en) Out-of-stock detection apparatus, out-of-stock detection method, and non-transitory computer-readable storage medium
JP2022035584A (ja) 画像処理装置
EP3403224A1 (en) Method and device for detecting an inventory in a storage space
WO2024057387A1 (ja) 棚割りデータ生成装置、棚割りデータ生成システム、棚割りデータ生成方法および記憶媒体
US20230027388A1 (en) Price information determination apparatus, price information determination method, and non-transitory computer readable medium
JP6702434B2 (ja) 情報処理装置、制御方法、及びプログラム
JP2023030341A (ja) 通知システム
GB2530935A (en) Method and apparatus for image processing to avoid counting shelf edge promotional labels when counting product labels
JP2015011680A (ja) 店舗管理装置、店舗管理方法、及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant