CN105518734A - 顾客行为分析系统、顾客行为分析方法、非暂时性计算机可读介质和货架系统 - Google Patents

顾客行为分析系统、顾客行为分析方法、非暂时性计算机可读介质和货架系统 Download PDF

Info

Publication number
CN105518734A
CN105518734A CN201480048891.6A CN201480048891A CN105518734A CN 105518734 A CN105518734 A CN 105518734A CN 201480048891 A CN201480048891 A CN 201480048891A CN 105518734 A CN105518734 A CN 105518734A
Authority
CN
China
Prior art keywords
commodity
client
customer behavior
information
customer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480048891.6A
Other languages
English (en)
Inventor
山下信行
内田薰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of CN105518734A publication Critical patent/CN105518734A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种顾客行为分析系统(10)，包括：图像信息获取单元(11)，其获取关于给顾客呈现商品的呈现区域的被摄图像的输入图像信息；动作检测单元(12)，其基于所述输入图像信息检测顾客是否正把持商品并注视该商品的标识显示；以及顾客行为分析信息生成单元(13)，其生成顾客行为分析信息，所述顾客行为分析信息包含检测的结果和顾客对所述商品购买结果之间的关系。这使得能够分析顾客更具体的行为。

Description

顾客行为分析系统、顾客行为分析方法、非暂时性计算机可读介质和货架系统
技术领域
本发明涉及一种顾客行为分析系统、顾客行为分析方法、存储顾客行为分析程序的非暂时性计算机可读介质和货架系统，具体地涉及一种使用商品和顾客图像的顾客行为分析系统、顾客行为分析方法、存储顾客行为分析程序的非暂时性计算机可读介质和货架系统。
背景技术
为了有效地促进销售，对在陈列许多商品的店铺等中的顾客行为进行了分析。例如，根据顾客的店铺内移动历史、商品的购买历史等，分析顾客的行为。
作为相关技术，例如，已知的有专利文献公开1至3。
引用列表
专利文献
PTL1：日本未审专利公开No.2011-253344
PTL2：日本未审专利公开No.2012-252613
PTL3：日本未审专利公开No.2011-129093
发明内容
技术问题
例如，当进行使用POS系统的行为分析时，信息记录在商品的支付中，因此仅获得关于销售商品的信息。此外，在专利文献1中，虽然获得了指示顾客接触商品的信息，但是不能分析顾客的更具体的行为。
因此，在相关技术中公开的技术不能获取和分析关于未被顾客购买的商品的具体信息，例如顾客感兴趣并拿起但未决定购买的商品，因此不能采取有效措施促进销售。
因此，在相关技术中公开的技术存在难以更详细地分析当商品未被购买等时顾客的行为。
鉴于上述情况，本发明的示例性目的是提供一种能够分析顾客更具体行为的顾客行为分析系统、顾客行为分析方法、存储顾客行为分析程序的非暂时性计算机可读介质和货架系统。
技术方案
根据本发明的示例性方面的一种顾客行为分析系统，包括：图像信息获取单元，其获取关于拍摄的将商品呈现给顾客的呈现区域的图像的输入图像信息；动作检测单元，其基于所述输入图像信息检测顾客是否正把持商品并注视该商品的标识显示；以及顾客行为分析信息生成单元，其生成顾客行为分析信息，所述顾客行为分析信息包含检测的结果和顾客的商品的购买结果之间的关系。
根据本发明的示例性方面的一种顾客行为分析方法，包括：获取关于拍摄的将商品呈现给顾客的呈现区域的图像的输入图像信息；基于所述输入图像信息检测顾客是否正把持商品并注视该商品的标识显示；以及生成顾客行为分析信息，其包含检测的结果和顾客的商品的购买历史之间的关系。
根据本发明的示例性方面的一种存储顾客行为分析程序的非暂时性计算机可读介质，该程序使计算机执行顾客行为分析处理，包括：获取关于拍摄的将商品呈现给顾客的呈现区域的图像的输入图像信息；基于所述输入图像信息检测顾客是否正把持商品并注视该商品的标识显示；以及生成顾客行为分析信息，其包含检测的结果和顾客的商品的购买历史之间的关系。
根据本发明的示例性方面的一种货架系统，包括：货架，其被放置以将商品呈现给顾客；图像信息获取单元，其获取关于拍摄的将商品呈现给顾客的呈现区域的图像的输入图像信息；动作检测单元，其基于所述输入图像信息检测顾客是否正把持商品并注视该商品的标识显示；以及顾客行为分析信息生成单元，其生成顾客行为分析信息，所述顾客行为分析信息包含检测的结果和顾客的商品的购买历史之间的关系。
发明的有利效果
根据本发明的示例性方面，能够提供一种能够分析顾客的更具体的行为的顾客行为分析系统、顾客行为分析方法、存储顾客行为分析程序的非暂时性计算机可读介质和货架系统。
附图说明
图1是示出根据示例性实施例的顾客行为分析系统的主要元件的方块图；
图2是示出根据第一示例性实施例的顾客行为分析系统的配置的方块图；
图3是示出根据第一示例性实施例的3D摄像机的配置例的图；
图4是示出根据第一示例性实施例的距离图像分析单元的配置的方块图；
图5是示出根据第一示例性实施例的顾客行为分析系统的操作的流程图；
图6是示出根据第一示例性实施例的距离图像分析处理的操作的流程图；
图7是示出根据第一示例性实施例的动作概况的例子的图；
图8是示出根据第一示例性实施例的动作概况的分析例的图；
图9是示出根据第一示例性实施例的动作概况的分析例的图；以及
图10是示出根据第二示例性实施例的货架系统的配置的方块图。
具体实施方式
(示例性实施例的概述)
在描述示例性实施例之前，在下文中先描述示例性实施例的特征的概述。图1示出了根据示例性实施例的顾客行为分析系统的主要元件。
如图1所示，根据本示例性实施例的顾客行为分析系统10包括图像信息获取单元11、动作检测单元12和顾客行为分析信息生成单元13。图像信息获取单元11获取输入图像信息，其是拍摄的将商品呈现给顾客的呈现区域的图像。动作检测单元12基于输入图像信息，检测顾客是否正把持商品并注视商品的标识显示。顾客行为分析信息生成单元13生成包含检测结果和顾客的商品购买历史之间的关系的顾客行为分析信息。
如上所述，在示例性实施例中，检测顾客是否正把持商品并注视商品的标识显示，并基于检测的结果生成顾客行为分析信息。因为能够由此分析顾客注视商品的诸如标签的标识显示的事实和商品的购买之间的关系，所以能够掌握例如顾客未决定购买该商品的原因，这使得能够更详细地分析顾客的行为。
(第一示例性实施例)
将在下文中，参考附图描述第一示例性实施例。图2是示出根据本示例性实施例的顾客行为分析系统的配置的方块图。该顾客行为分析系统是检测顾客的与商品有关的动作(行为)、生成动作概况(顾客行为分析信息)以可视化检测到的动作并执行分析的系统。注意，顾客包括实际上仍然没有购买商品(实际上仍然没有确定购买商品)的人员(购物者)，并且例如包括碰巧来到(进入)店铺的任何人员。
如图2所示，根据本示例性实施例的顾客行为分析系统1包括顾客行为分析装置100、3D摄像机210、面部识别摄像机220、店铺内摄像机230。例如，当顾客行为分析系统1的各组件被摆放在同一个店铺内时，顾客行为分析装置100可以摆放在店铺外部。虽然在下面的描述中假设顾客行为分析系统1的各组件是单独的装置，但是各组件也可以是一个或多个装置。
3D(三维)摄像机210是拍摄对象的图像、测量对象、并生成距离图像(距离图像信息)的成像装置(距离图像传感器)。距离图像(范围图像)包含被拍摄的对象的图像的图像信息和测量的到对象的距离的距离信息。例如，3D摄像机210是MicrosoftKinect(注册商标)或立体摄像机。通过使用3D摄像机，能够识别(跟踪)包括距离信息的对象(顾客的动作等)，因此能够执行高度精确的识别。
如图3所示，为了检测顾客与商品有关的动作，在本示例性实施例中，3D摄像机210拍摄其上摆放(陈列)了商品301的商品货架(商品陈列货架)300的图像，还拍摄在商品货架300前正考虑购买商品301的顾客400的图像。3D摄像机210拍摄商品货架300的商品摆放区域和在商品货架300前顾客拿起/注视商品的区域即在商品货架300中将商品呈现给顾客的呈现区域的图像。3D摄像机210摆放在能够拍摄商品货架300和在商品货架300前的顾客400的图像的位置，例如，在商品货架300的上面(天花板等)或前面(墙壁等)，或在商品货架300中。虽然商品300是实物商品(商品、物品、货品、货物)，但不限于真实物品，例如可以由样品、印刷有标签等的印刷品代替。
注意，虽然在下面描述将3D摄像机210用作拍摄商品货架300和顾客400的图像的装置的例子，但是不限于3D摄像机，而可以是只输出拍摄图像的普通摄像机(2D摄像机)。在这种情况下，仅使用图像信息进行跟踪。
面部识别摄像机220和店铺内摄像机230的每一个是拍摄并生成对象的图像的成像装置(2D摄像机)。面部识别照摄像机220摆放在店铺的入口等处，拍摄来到店铺的顾客的面部的图像并生成面部图像以识别顾客的面部。店铺内摄像机230摆放在店铺内的多个位置上，拍摄店铺内的每个部分的图像，并生成店铺内图像，以检测店铺内的顾客来往动线。注意，面部识别摄像机220和店铺内摄像机230的每一个可以是3D摄像机。通过使用3D摄像机，能够精确地识别顾客的面部或顾客的移动路径。
顾客行为分析装置100包括距离图像分析单元111、顾客识别单元120、动线分析单元130、动作概况生成单元140、动作信息分析单元150、分析结果呈现单元160、商品信息DB(数据库)170、顾客信息DB180和动作概况存储单元190。注意，虽然在本例中这些块描述为顾客行为分析装置100的各功能，但是只要能够实现将在下面描述的根据本示例性实施例的操作，其他结构就也可以使用。
顾客行为分析装置100中的每个元件可以由硬件或软件或两者形成，并可由一个硬件或软件或多个硬件或软件形成。例如，商品信息DB170、顾客信息DB180和动作概况存储单元190可以是连接到外部网络(云)的存储装置。此外，动作信息分析单元150和分析结果呈现单元160可以是与顾客行为分析装置100不同的分析装置。
顾客行为分析装置100的每个功能(每个处理)都可以用包括CPU、存储器等的计算机来实现。例如，用于执行根据示例性实施例的顾客行为分析方法(顾客行为分析处理)的顾客行为分析程序可以存储在存储装置中，并且每个功能可以通过在CPU上执行存储在存储装置中的顾客行为分析程序来实现。
该顾客行为分析程序可以存储到和提供给使用任何类型的非暂时性计算机可读介质的计算机。非暂时性计算机可读介质包括任何类型的实体存储介质。非暂时性计算机可读介质的例子包括磁性存储介质(如软盘、磁带、硬盘驱动器等)、光磁存储介质(如磁光盘)，CD-ROM(只读存储器)、CD-R、CD-R/W、和半导体存储器(如掩模ROM、PROM(可编程ROM)、EPROM(可擦除PROM)、FlashROM、RAM(随机存取存储器)等)。程序可以提供给使用任何类型的暂时性计算机可读介质的计算机。暂时性计算机可读介质的例子包括电信号、光信号和电磁波。暂时性计算机可读介质可以经由诸如电线或光纤的有线通信线路或无线通信线路将程序提供给计算机。
距离图像分析单元110获取由3D摄像机210产生的距离图像，基于获取的距离图像跟踪检测对象，并识别其动作。在本示例性实施例中，距离图像分析单元110主要跟踪和识别顾客的手部、顾客的视线、和顾客拿起的商品。距离图像分析单元110参考商品信息DB170以识别包含在距离图像中的商品。此外，麦克风可以安装在3D摄像机上，输入到麦克风的顾客声音可以由声音识别单元识别。例如，基于识别的声音，可以提取顾客交谈的特征(声音的音量、音高、语速等)以检测说话者的情绪或交谈的兴奋度，并且可以将交谈的特征记录为动作概况。
顾客识别单元120获取由面部识别摄像机220生成的顾客的面部图像，并通过参考顾客信息DB180识别获取的面部图像中包含的顾客。此外，顾客识别单元120可以从面部图像中识别顾客的面部表情(愉快、惊讶等)，并将其记录为动作概况。动线分析单元130获取由店铺内摄像机230生成的店铺内图像，基于获取的店铺内图像分析店铺内顾客的移动历史，并且检测顾客来往动线(移动路径)。
动作概况生成单元140基于距离图像分析单元110、顾客识别单元120和动线分析单元130的检测结果，生成用于分析顾客行为的动作概况(顾客行为分析信息)，并且将生成的动作概况存储在动作概况存储单元190中。动作概况生成单元140参考商品信息DB170和顾客信息DB180，并且生成并记录与由距离图像分析单元110分析的顾客已拿起商品的实施相关的信息、关于由顾客识别单元120识别的顾客的信息、和关于由动线分析单元130分析的顾客来往动线的信息。
动作信息分析单元150参考动作概况存储单元190中的动作概况，并基于动作概况分析顾客的动作。例如，动作信息分析单元150通过将分别关注在顾客、店铺、货架和商品来分析动作概况，并且计算顾客动作的概率、统计数据等。
分析结果呈现单元160呈现(输出)动作信息分析单元150的分析结果。分析结果呈现单元160例如是显示装置，其将顾客行为分析结果显示给店铺员工或掌管市场(促进销售)的人员。基于显示的顾客行为分析结果，店铺员工或掌管市场的人员改善店铺内的空间计划、广告等，以促进销售。
商品信息DB(商品信息存储单元)170存储与摆放在店铺内的商品相关的商品相关信息。商品信息DB170存储商品标识信息171等作为商品相关信息。商品标识信息171是用于标识商品(商品要点)的信息，其包括商品代码、商品名称、商品类型、商品标签图像信息(图像)等。
顾客信息DB(顾客信息存储单元)180存储与进入店铺内的顾客相关的顾客相关信息。顾客信息DB180存储顾客标识信息181、属性信息182、嗜好信息183、历史信息184等作为顾客相关信息。
顾客标识信息181是用于标识顾客的信息，其包括顾客会员ID、姓名、地址、出生日期、面部图像信息(图像)等。属性信息182是指示顾客的属性的信息，其例如包括年龄、性别、职业等。
嗜好信息183是指示顾客的嗜好的信息，其例如包括业余爱好、喜欢吃的食物、颜色、音乐、电影等。历史信息184是关于顾客的历史的信息，其例如包括商品购买历史、来店历史、店铺内移动历史、诸如拿起/注视商品的接触历史(接近历史)等。
动作概况存储单元190存储由动作概况生成单元140生成的动作概况。动作概况是用于可视化和分析顾客行为的信息。完成行为的可视化以将行为转换为数据(数值化)，顾客从进入到离开店铺的动作被登记为动作概况中的数据。具体地，动作概况包含记录来店顾客的来店记录信息191，记录顾客接触货架上的商品的事实，和记录顾客从店铺内的一个区域走到其他区域的动线路线的动线记录信息193。
图4示出顾客行为分析装置100的距离图像分析单元110的配置。如图4所示，距离图像分析单元110包括距离图像获取单元111、区域检测单元112、手部跟踪单元113、手部动作识别单元114、视线跟踪单元115、视线动作识别单元116、商品跟踪单元117和商品识别单元118。
距离图像获取单元111获取包含由3D摄像机210拍摄和生成的顾客和商品的距离图像。区域检测单元112检测在由距离图像获取单元111获取的距离图像中包含的顾客的每一部分的区域或商品的区域。
手部跟踪单元113跟踪由区域检测单元112检测的顾客的手部动作。手部动作识别单元114基于由手部跟踪单元113跟踪的手部动作，识别顾客的与商品有关的动作。例如，当顾客在把持商品的同时将他/她的手部的手掌移向他/她的面部时，手部动作识别单元114确定顾客已拿起商品并注视该商品。在商品被拿在手中时手藏在商品后面、因而不能被摄像机记录的情况下，手部动作识别单元114可以检测被拿着的商品的位置、方向或变化，从而确定顾客已拿起商品。
视线跟踪单元115跟踪由区域检测单元112检测的顾客的视线(眼睛)的动作。视线动作识别单元116基于由视线跟踪单元115检测的顾客的视线(眼睛)的动作，识别顾客的与商品有关的动作。当商品放在视线的方向上时，视线动作识别单元116确定顾客已注视了商品，并且当视线的方向朝向商品的标签时，视线动作识别单元116确定顾客已注视了商品的标签。
商品跟踪单元117跟踪由区域检测单元112检测的商品的动作(状态)。商品跟踪单元117跟踪由手部动作识别单元114已确定顾客已拿起的商品或由视线动作识别单元116已确定顾客已注视的商品。商品识别单元118通过参考商品信息DB170，标识哪个商品对应于由商品跟踪单元117跟踪的商品。商品识别单元118将检测的商品的标签与存储在商品信息DB170中的商品标识信息171的标签上的图像信息进行比较，并且进行匹配，从而识别该商品。此外，商品识别单元118存储货架上的摆放位置和在商品信息DB170中的商品之间关系，并且基于由顾客拿起的商品或由顾客注视的商品摆放在货架上的位置来标识商品。
在下文中，将参考图5描述根据示例性实施例的在顾客行为分析系统(顾客行为分析装置)中执行的顾客行为分析方法(顾客行为分析处理)。
如图5所示，顾客进入店铺，接近店铺内的货架(S101)。然后，店铺内的面部识别摄像机220生成顾客的面部图像，顾客行为分析装置100基于面部图像，识别诸如年龄和性别的顾客属性和顾客ID(S102)。具体地，顾客行为分析装置100中的顾客识别单元120将存储在顾客信息DB180中的顾客标识信息181的面部图像信息与由面部识别摄像机220拍摄的面部图像进行比较，并且检索匹配的顾客，从而识别该顾客，然后从顾客标识信息181获取识别的顾客的顾客属性和顾客ID。
之后，顾客拿起摆放在货架上的商品(S103)。然后，在货架附近的3D摄像机210拍摄顾客手部的图像，顾客行为分析装置100通过使用3D摄像机210的距离图像来识别顾客手部的动作和商品类型(S104)。具体地，顾客行为分析装置100中的距离图像分析单元110跟踪顾客手部(视线)和商品的图像的距离图像，并且检测顾客拿起商品(顾客注视商品)的动作，以及通过参考商品信息DB170检测与该动作匹配的商品，从而识别由顾客拿起的商品(顾客注视的商品)。此外，距离图像分析单元110识别顾客注视商品的哪个部分，尤其是顾客是否注视着商品的标签。
然后，顾客将他/她拿起的商品放入篮中或将其放回到货架上(S105)。然后，顾客行为分析装置100以与顾客拿起商品的情况中相同的方式，通过使用3D摄像机210的距离图像来识别顾客的手部动作和商品类型(S104)。具体地，顾客行为分析装置100中的距离图像分析单元110跟踪顾客手部和商品的图像的距离图像，并且检测顾客将商品放入篮中或将其放回到货架上的动作。可以以与顾客拿起商品的情况中相同的方式识别商品，或者由于商品已被识别，所以可以省略商品识别。
之后，顾客移动到其他区域(S106)。然后，店铺内摄像机230跟踪顾客在店铺的区域之间的移动的图像，并且顾客行为分析装置100掌握在店铺的其他区域中的购买行为(S107)。具体地，顾客行为分析装置100中的动线分析单元130基于店铺的多个区域的图像，分析顾客的移动历史，并且检测顾客来往动线，从而掌握顾客的购买行为。然后，重复S103之后的处理，并且当顾客在他/她移动到的店铺的一区域中拿起商品时，顾客行为分析装置100检测顾客的动作。
在S102、S104和S107之后，顾客行为分析装置100基于识别的顾客信息、商品信息、动线信息等生成动作概况(S108)，分析生成的动作概况以分析购买行为，并且传送通知等(S109)。具体地，顾客行为分析装置100中的动作概况生成单元140通过将识别的顾客信息与时间等相联系、将顾客拿起的商品与时间等相联系、以及将顾客移动到的地方与时间等相联系，来生成动作概况。此外，动作信息分析单元150计算在动作概况中的顾客动作的概率、统计数据等，并且呈现分析的结果。
图6详细地示出在图5的S104中由距离图像分析单元110执行的识别处理(跟踪处理)。注意，在图6示出的处理是图像分析处理的一个例子，手部动作、视线动作和商品可以由其他种类的图像分析处理识别。
如图6所示，距离图像获取单元111首先从3D摄像机210获取包含顾客和商品的距离图像(S201)。接下来，区域检测单元112检测包含在S201中获取的距离图像中的人员和货架(S202)，并进一步地检测人员和货架的每个区域(S203)。例如，区域检测单元112基于距离图像中包含的图像和距离，通过使用诸如SVM(支持向量机)的辨别电路来检测人员(顾客)，并估计检测到的人员的关节，从而检测该人员的骨结构。区域检测单元112基于检测到的骨结构，检测诸如人员的手部或面部(眼睛)的每个部分的区域。此外，区域检测单元112检测货架和货架的每一行，并且基于距离图像中包含的图像和距离，使用辨别电路进一步地检测每一货架上的商品摆放区域。
然后，手部跟踪单元113跟踪在S203中检测到的顾客的手部动作(S204)。手部跟踪单元113跟踪顾客的手部及其附近的骨结构，并基于距离图像中包含的图像和距离来检测手部的手指或手掌的动作。
之后，手部动作识别单元114基于在S204中跟踪的手部动作，提取手部动作的特征(S205)，并基于提取的特征识别顾客的手部在商品上的动作，即正把持商品的动作或注视商品的动作(S206)。手部动作识别单元114提取手指或手掌(手腕)的移动中的方向、角度和变化，作为特征量。例如，手部动作识别单元114从手指的角度检测到顾客正拿着商品，并且当手掌的法线方向朝向面部时，检测到顾客正注视着商品。此外，可以预先学习把持商品的状态或拿起并注视商品的状态，并且可以通过与学习的特征量相比较来标识手部动作。
在S203之后，视线跟踪单元115跟踪S203中检测到的顾客的视线动作(S207)。视线跟踪单元115跟踪顾客面部及其附近的骨结构，并基于距离图像中包含的图像和距离来检测面部、眼睛和瞳孔的动作。
之后，视线动作识别单元116基于在S207中跟踪的视线动作，提取视线动作的特征(S208)，并且基于提取的特征，识别顾客在商品上的视线动作，即顾客注视商品(标签)的动作(S209)。视线动作识别单元116提取面部、眼睛和瞳孔移动的方向、角度和变化作为特征量。例如，视线动作识别单元116基于面部、眼睛和瞳孔的动作，检测视线的方向，并且检测视线的方向是否朝向商品(标签)。此外，可以预先学习注视商品的状态，可以通过与学习的特征量相比较来标识视线动作。
在S203之后，商品跟踪单元117跟踪在S203中检测到的商品的动作(状态)(S210)。此外，商品跟踪单元117跟踪在S206中确定的顾客拿起的商品和在S209中确定的顾客注视的商品。商品跟踪单元117基于在距离图像中包含的图像和距离，检测商品的方向、位置等。
然后，商品识别单元118提取在S210中跟踪的商品的特征(S211)，并且基于该提取的特征，从商品信息DB170中识别相应的商品(S212)。商品识别单元118提取商品上的标签的文字或图像作为特征量。例如，商品识别单元118将标签的提取的特征量与商品信息DB170中的标签的特征量进行比较，并且标识特征量匹配或两个特征量接近(类似)的商品。进一步地，在货架上的摆放位置和商品之间的关系存储在商品信息DB170中的情况下，基于在距离图像中包含的图像和距离，获取顾客拿起或注视的商品在货架上的位置，并且从商品信息DB170中检索货架的位置，从而检测匹配商品。
图7示出在图5的S108中由动作概况生成单元140生成的动作概况的一个例子。
当顾客进入店铺并且顾客识别单元120基于面部识别摄像机220拍摄的面部图像识别该顾客(图5中的S102)时，动作概况生成单元140生成并记录图7所示的来店记录信息191，作为动作概况。例如，作为来店记录信息191，记录对识别的顾客进行标识的顾客ID，并且将顾客ID和来店时间相互关联地记录。
此外，当顾客接近货架，并且距离图像分析单元110识别到顾客拿起商品、将商品放入篮中或将商品放回到货架(图5中的S104)的动作时，动作概况生成单元140生成并记录如图7所示的商品记录信息(商品接触信息)192作为动作概况。
例如，作为商品记录信息192，记录对识别的货架进行标识的货架ID，并且将顾客接近货架的动作和顾客接近货架的时间彼此关联地记录。同样，将顾客离开货架的动作和顾客离开货架的时间彼此关联地记录。
此外，记录用于对识别到的顾客拿起的商品进行标识的商品ID，并且将商品和识别的动作彼此相关联地记录。当识别到顾客拿起商品时，将商品ID、拿起商品的动作、和顾客拿起商品的时间彼此相关联地记录。当识别到顾客注视商品的标签(拿起商品并注视其标签)时，将商品ID、注视商品的动作、和顾客注视标签的时间彼此相关联地记录。当识别到顾客将商品放在篮(购物推车或购物篮)中时，将商品ID、将商品放入篮中的动作、和顾客将商品放入篮中的时间彼此相关联地记录。当识别到顾客将商品放回货架时，将商品ID、将商品放回货架的动作、和顾客将商品放回货架的时间彼此相关联地记录。通过检测顾客将商品放入篮中的事实，例如能够掌握顾客购买商品的事实(购买结果)。此外，通过检测顾客将商品放回货架的事实，能够掌握顾客没有购买商品的行为(购买结果)。
此外，当顾客移动，并且动线分析单元130基于由店铺内摄像机230拍摄的店铺内图像来分析顾客来往动线(图5中的S107)时，动作概况生成单元140生成如图7所示的动线记录信息193作为动作概况。例如，作为动线记录信息193，记录对识别的顾客通过的区域(或货架)进行标识的区域(或货架)ID，并且将区域(或货架)ID和顾客通过区域(或货架)的时间彼此相关联地记录。
图8示出在图5的S109中动作信息分析单元150的动作概况的分析结果的一个例子。如图8所示，动作信息分析单元150分析图7的动作概况，并且生成例如分析每个货架的统计信息的货架分析信息。
动作信息分析单元150合计与动作概况中所有顾客相关的商品记录信息192，并且生成用于标识货架的每个货架ID、顾客停留在货架处的概率和平均时间。
此外，对于标识摆放在货架上的商品的每个商品ID，动作信息分析单元150生成顾客拿起商品的概率和平均时间(顾客把持商品的时间)，顾客注视商品标签的概率和平均时间(顾客注视商品标签的时间)，顾客将商品放入篮中的概率和平均时间(从注视商品到将商品放入篮中的时间)，和顾客将商品放回货架的概率和平均时间(从注视商品到将商品放回货架的时间)。
图9示出在图5的S109中动作信息分析单元150的动作概况的分析结果的另一个例子。如图9所示，动作信息分析单元150分析图7的动作概况，并且生成例如对每个顾客分析统计信息的顾客分析信息。
动作信息分析单元150对于每个顾客合计动作概况的来店记录信息191和商品记录信息192。例如，对于每个顾客，以与图8中相同的方式，生成对于每个货架ID的顾客停留在货架处的概率和平均时间、顾客拿起商品的概率和平均时间、顾客注视标签的概率和平均时间、顾客将商品放入篮中的概率和平均时间、和对于每个商品ID的顾客将商品放回货架的概率和平均时间。
此外，动作信息分析单元150将动作概况与顾客的嗜好信息进行比较，并分析它们之间的相关性(关联性)。具体地，确定在动作概况中对每个商品的动作匹配顾客的嗜好。例如，当顾客拿起喜爱的商品或购买它(将其放入篮中)时，确定它们是相匹配的(相关联)，当顾客没有购买喜爱的商品(将其放回货架)时，确定它们是不相匹配的(不相关联)。基于顾客动作和顾客嗜好不相匹配的事实，能够分析顾客已决定不购买该商品的原因。例如，当顾客在注视它的标签之后没有购买喜爱的商品时，估计在标签的显示等方面存在问题。此外，当顾客没有拿起喜爱的商品并表示出对它没有兴趣时，估计在商品的摆放等方面存在问题。
在图9的例子中，对于拿起商品的动作、注视标签的动作、将商品放入篮中的动作、和将商品放回货架的动作中的每一个，确定与顾客信息DB180中的属性信息182的关联性、与顾客信息DB180中的嗜好信息183的关联性、和与顾客信息DB180中的历史信息184的关联性。
如上所述，在本示例性实施例中，通过被摆放在能够看到货架和货架前的客户(购物者)的位置处的3D摄像机，来观察顾客的手部移动，以识别哪个商品被顾客拿起。然后，记录并分析商品被拿起的位置(商品货架的位置和在货架中的位置)和时间以及标识商品的诸如商品ID的信息，并且显示并通知分析结果。
从而，可以详细地检测和分析(可视化)顾客对商品的动作，并且能够利用顾客在购买之前的行为来改善销售系统，诸如商品的位置和广告，以增加销售。具体的有利效果如下所述。
例如，由于能够找出商品经常被顾客触摸所在的货架和货架中的一行，所以能够使用该信息改善商品摆放(空间计划)。由于能够找出顾客拿起商品所在的货架中的深度，所以当顾客从货架的后部拿起商品时能够确定需要再供货。
此外，能够通过比较摆放传单或广告之前和之后的拿起商品的频率，测定和通知传单或广告的效果。进一步地，从顾客来到商品前时到顾客决定购买商品时的购买前过程信息(关于顾客在决定购买/决定不购买商品之前注视的商品部分、顾客在将商品放入篮中之前注视商品/考虑购买的时间、顾客为进行比较而注视的蔬菜等部分，等)，能够被通知或卖给商品的制造商。
此外，能够记录顾客拿起商品并将其放回到与原始位置不同的位置上的事实，并且将此情况通知给雇员以使他们能够将商品放到正确的位置。此外，能够使店铺员工的工作(检查、再供货等)可视化，从而可靠地执行工作并消除多余的工作。例如，能够纠正商品在商品货架上的错误摆放或无效摆放，或者改善多个雇员的协作，诸如店铺员工的多余工作或重叠检查工作。
此外，通过利用各区域或各店铺之间的行为跟踪，能够改善购买时的动作和各区域之间的动线。例如，能够分析商品在店铺B中被购买而不是在店铺A中被购买的原因。
此外，能够识别盒饭熟食店、中国面条餐厅、冰淇淋店等中的工作是否做到了符合规范，并且当做的不正确时，让雇员知道。
(第二示例性实施例)
下面，将参考附图描述第二示例性实施例。在本示例性实施例中，描述将第一示例性实施例应用到一个货架系统中的例子。图10是示出根据本示例性实施例的货架系统的配置。
如图8所示，根据本示例性实施例的货架系统2包括商品货架300。商品货架300是摆放有商品301的货架，如图3所示。在本示例性实施例中，商品货架300包括在第一示例性实施例中描述的3D摄像机210、距离图像分析单元110、动作概况生成单元140、动作信息分析单元150、分析结果呈现单元160、商品信息DB170和动作概况存储单元190。注意，根据需要，可以进一步地包括面部识别摄像机220、顾客识别单元120和顾客信息DB180。
基于动作概况生成单元140和距离图像分析单元110的检测结果，生成用于分析顾客动作的动作概况。动作概况包含记录顾客触摸货架上的商品的事实的商品记录信息192。
具体地，在本示例性实施例中，当顾客接近货架系统2并拿起商品时，货架系统2中的距离图像分析单元110识别顾客的手部动作，动作概况生成单元140生成并记录商品记录信息192(与图7中的相同)作为动作概况。此外，动作信息分析单元150分析动作概况，从而生成用于分析货架系统的统计信息的货架分析信息(与图8中的相同)。
如上所述，在本示例性实施例中，在一个商品货架中包括第一示例性实施例中的主要元件。从而，能够检测顾客对商品的详细动作，并分析顾客的动作。
此外，由于本示例性实施例能够仅由一个商品货架实现，所以不需要除了该货架以外的装置或系统。因此，即使在没有诸如POS系统的先进系统或网络的店铺内，也能够容易地引进该系统。
应该注意，本发明不限于上述的示例性实施例，并且在本发明的范围内可以以多种方式进行改变。
虽然已参考示例性实施例具体示出并描述了本发明，但是本发明不限于这些实施例。本领域普通技术人员应该理解，在此可以在形式和细节上进行各种改变，而不脱离由权利要求限定的本发明的精神和范围。
本申请基于并要求2013年9月6日申请的日本专利申请No.2013-185131的优先权，其全部内容通过引用的方式并入本文。
参考标记列表
1顾客行为分析系统
2货架系统
10顾客行为分析系统
11图像信息获取单元
12动作检测单元
13顾客行为分析信息生成单元
100顾客行为分析装置
110距离图像分析单元
111距离图像获取单元
112区域检测单元
113手部跟踪单元
114手部动作识别单元
115视线跟踪单元
116视线动作识别单元
117商品跟踪单元
118商品识别单元
120顾客识别单元
130动线分析单元
140动作概况生成单元
150动作信息分析单元
160分析结果呈现单元
170商品信息DB
171商品识别信息
180顾客信息DB
181顾客标识信息
182属性信息
183嗜好信息
184历史信息
190动作概况存储单元
191来店记录信息
192商品记录信息
193动线记录信息
2103D摄像机
220面部识别摄像机
230店铺内摄像机
300商品货架
301商品
400顾客权利要求

Claims (17)

1.一种顾客行为分析系统，包括：
图像信息获取装置，用于获取关于给顾客呈现商品的呈现区域的被摄图像的输入图像信息；
动作检测装置，用于基于所述输入图像信息来检测所述顾客是否正把持所述商品并且注视所述商品的标识显示；以及
顾客行为分析信息生成装置，用于生成顾客行为分析信息，所述顾客行为分析信息包含所述检测的结果和所述顾客对所述商品的购买结果之间的关系。
2.根据权利要求1所述的顾客行为分析系统，其中，所述输入图像信息是距离图像信息，所述距离图像信息包含关于对象的被摄图像的图像信息和关于被测量的到所述对象的距离的距离信息。
3.根据权利要求1或2所述的顾客行为分析系统，其中，所述动作检测装置跟踪所述顾客的手部的动作，并且当所述顾客的手部触摸所述商品时，确定所述顾客正把持所述商品。
4.根据权利要求1至3中的任何一项所述的顾客行为分析系统，其中，所述动作检测装置跟踪所述顾客的视线的动作，并且当所述顾客的视线朝向所述商品的所述标识显示时，确定所述顾客正注视所述商品。
5.根据权利要求1至4中的任何一项所述的顾客行为分析系统，其中，所述商品的所述标识显示是包含关于所述商品的特性信息的标签。
6.根据权利要求1至5中的任何一项所述的顾客行为分析系统，包括：
顾客识别装置，用于识别所述顾客，其中，
所述顾客行为分析信息生成装置生成关于所识别的顾客的信息作为所述顾客行为分析信息。
7.根据权利要求1至6中的任何一项所述的顾客行为分析系统，包括：
动线分析装置，用于分析所述顾客的来往动线，其中，
所述顾客行为分析信息生成装置生成关于所分析的所述顾客的动线的信息作为所述顾客行为分析信息。
8.根据权利要求1至7中的任何一项所述的顾客行为分析系统，其中，所述商品的所述购买结果包含所述顾客是否已将所述商品放入购物推车或购物篮中。
9.根据权利要求1至8中的任何一项所述的顾客行为分析系统，其中，所述商品的所述购买结果包含所述顾客是否已将所述商品放回到所述商品的摆放位置。
10.根据权利要求1至9中的任何一项所述的顾客行为分析系统，包括：
顾客行为分析装置，用于基于所生成的顾客行为分析信息来分析所述顾客的行为。
11.根据权利要求10所述的顾客行为分析系统，其中，所述顾客行为分析装置计算顾客已注视所述商品的所述标识显示的概率和所述顾客已购买所述商品的概率。
12.根据权利要求10或11所述的顾客行为分析系统，包括：
顾客嗜好信息存储装置，用于存储所述顾客的嗜好信息，其中，
所述顾客行为分析装置确定在所述顾客行为分析信息和所述顾客的嗜好信息之间的相关性。
13.根据权利要求10至12中的任何一项所述的顾客行为分析系统，包括：
顾客属性信息存储装置，用于存储所述顾客的属性信息，其中，
所述顾客行为分析装置确定在所述顾客行为分析信息和所述顾客的属性信息之间的相关性。
14.根据权利要求10至13中的任何一项所述的顾客行为分析系统，包括：
购买历史信息存储装置，用于存储所述顾客的购买历史信息，其中，
所述顾客行为分析装置确定在所述顾客行为分析信息和所述顾客的购买历史信息之间的相关性。
15.一种顾客行为分析方法，包括：
获取关于给顾客呈现商品的呈现区域的被摄图像的输入图像信息；
基于所述输入图像信息，来检测所述顾客是否正把持所述商品并且注视所述商品的标识显示；以及
生成顾客行为分析信息，所述顾客行为分析信息包含所述检测的结果和所述顾客对所述商品的购买历史之间的关系。
16.一种非暂时性计算机可读介质，用于存储用于使计算机执行顾客行为分析处理的顾客行为分析程序，所述顾客行为分析处理包括：
获取关于给顾客呈现商品的呈现区域的被摄图像的输入图像信息；
基于所述输入图像信息，来检测所述顾客是否正把持所述商品并且注视所述商品的标识显示；以及
生成顾客行为分析信息，所述顾客行为分析信息包含所述检测的结果和所述顾客对所述商品的购买历史之间的关系。
17.一种货架系统，包括：
货架，其被放置成以将商品呈现给顾客；
图像信息获取装置，用于获取关于所述商品和所述顾客的被摄图像的输入图像信息；
动作检测装置，用于基于所述输入图像信息来检测所述顾客是否正把持所述商品并且注视所述商品的标识显示；以及
顾客行为分析信息生成装置，用于生成顾客行为分析信息，所述顾客行为分析信息包含所述检测的结果和所述顾客对所述商品的购买历史之间的关系。
CN201480048891.6A 2013-09-06 2014-09-05 顾客行为分析系统、顾客行为分析方法、非暂时性计算机可读介质和货架系统 Pending CN105518734A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013-185131 2013-09-06
JP2013185131 2013-09-06
PCT/JP2014/004585 WO2015033577A1 (ja) 2013-09-06 2014-09-05 顧客行動分析システム、顧客行動分析方法、非一時的なコンピュータ可読媒体及び棚システム

Publications (1)

Publication Number Publication Date
CN105518734A true CN105518734A (zh) 2016-04-20

Family

ID=52628073

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480048891.6A Pending CN105518734A (zh) 2013-09-06 2014-09-05 顾客行为分析系统、顾客行为分析方法、非暂时性计算机可读介质和货架系统

Country Status (4)

Country Link
US (1) US20160203499A1 (zh)
JP (1) JP6529078B2 (zh)
CN (1) CN105518734A (zh)
WO (1) WO2015033577A1 (zh)

Cited By (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105930886A (zh) * 2016-04-22 2016-09-07 西安交通大学 一种基于临近状态探测的商品关联性挖掘方法
CN106408346A (zh) * 2016-09-30 2017-02-15 重庆智道云科技有限公司 一种基于物联网和大数据的实体场所行为分析系统及方法
CN107103503A (zh) * 2017-03-07 2017-08-29 阿里巴巴集团控股有限公司 一种订单信息确定方法和装置
CN107403332A (zh) * 2016-05-18 2017-11-28 中华电信股份有限公司 货架取物侦测系统及方法
CN107944960A (zh) * 2017-11-27 2018-04-20 深圳码隆科技有限公司 一种无人售货方法和设备
CN108198030A (zh) * 2017-12-29 2018-06-22 深圳正品创想科技有限公司 一种手推车控制方法、装置及电子设备
CN108230102A (zh) * 2017-12-29 2018-06-29 深圳正品创想科技有限公司 一种商品关注度调整方法及装置
CN108364047A (zh) * 2018-02-11 2018-08-03 京东方科技集团股份有限公司 电子价签、电子价签系统及数据处理方法
CN108460933A (zh) * 2018-02-01 2018-08-28 王曼卿 一种基于图像处理的管理系统及方法
CN108520194A (zh) * 2017-12-18 2018-09-11 上海云拿智能科技有限公司 基于影像监测的货品感知系统及货品感知方法
CN108647242A (zh) * 2018-04-10 2018-10-12 北京天正聚合科技有限公司 一种热力图的生成方法和系统
CN108805495A (zh) * 2018-05-31 2018-11-13 京东方科技集团股份有限公司 物品存放管理方法和系统及计算机可读介质
CN108830644A (zh) * 2018-05-31 2018-11-16 深圳正品创想科技有限公司 一种无人商店导购方法及其装置、电子设备
CN108898103A (zh) * 2018-06-29 2018-11-27 深圳市宝视达广告控股有限公司 一种到店消费者信息的采集处理方法、装置及服务器与一种存储介质
CN108898104A (zh) * 2018-06-29 2018-11-27 北京旷视科技有限公司 一种物品识别方法、装置、系统及计算机存储介质
CN108921098A (zh) * 2018-07-03 2018-11-30 百度在线网络技术（北京）有限公司 人体运动分析方法、装置、设备及存储介质
CN109074595A (zh) * 2016-05-16 2018-12-21 情感爱思比株式会社 顾客应对控制系统、顾客应对系统及程序
CN109074590A (zh) * 2016-04-22 2018-12-21 情感爱思比株式会社 应对数据收集系统、顾客应对系统及程序
CN109214312A (zh) * 2018-08-17 2019-01-15 连云港伍江数码科技有限公司 信息显示方法、装置、计算机设备和存储介质
CN109344770A (zh) * 2018-09-30 2019-02-15 新华三大数据技术有限公司 资源分配方法及装置
CN109353397A (zh) * 2018-09-20 2019-02-19 北京旷视科技有限公司 商品管理方法、装置和系统及存储介质及购物车
WO2019033635A1 (zh) * 2017-08-16 2019-02-21 图灵通诺（北京）科技有限公司 结算方法、装置和系统
CN109409175A (zh) * 2017-08-16 2019-03-01 图灵通诺（北京）科技有限公司 结算方法、装置和系统
CN109509304A (zh) * 2017-09-14 2019-03-22 阿里巴巴集团控股有限公司 自动售货机及其控制方法、装置及计算机系统
CN109859660A (zh) * 2018-12-27 2019-06-07 努比亚技术有限公司 一种展示柜交互方法、展示柜及计算机可读存储介质
CN109920172A (zh) * 2017-12-12 2019-06-21 富士施乐株式会社 信息处理装置
CN110070381A (zh) * 2018-01-24 2019-07-30 北京京东金融科技控股有限公司 用于检测货柜商品状态的系统、方法及装置
CN110110688A (zh) * 2019-05-15 2019-08-09 联想(北京)有限公司 一种信息分析方法及系统
CN110288386A (zh) * 2019-06-10 2019-09-27 帷幄匠心科技（杭州）有限公司 商店客户行为统计系统
CN110348405A (zh) * 2019-07-16 2019-10-18 图普科技（广州）有限公司 线下交互数据获取方法、装置及电子设备
CN110400161A (zh) * 2018-04-25 2019-11-01 鸿富锦精密电子(天津)有限公司 顾客行为分析方法、顾客行为分析系统及存储装置
CN110674712A (zh) * 2019-09-11 2020-01-10 苏宁云计算有限公司 交互行为识别方法、装置、计算机设备和存储介质
TWI685804B (zh) * 2018-02-23 2020-02-21 神雲科技股份有限公司 促銷訊息播送方法
CN110909573A (zh) * 2018-09-17 2020-03-24 阿里巴巴集团控股有限公司 信息处理方法及装置、用于识别人与货架距离的方法
CN111079478A (zh) * 2018-10-19 2020-04-28 杭州海康威视数字技术股份有限公司 一种无人售货架监控方法、装置、电子设备及系统
CN111192081A (zh) * 2019-12-26 2020-05-22 安徽讯呼信息科技有限公司 一种基于大数据的广告智能显示系统
CN111681018A (zh) * 2019-03-11 2020-09-18 宏碁股份有限公司 顾客行为分析方法与顾客行为分析系统
CN112154488A (zh) * 2018-05-21 2020-12-29 Nec平台株式会社 信息处理装置、控制方法和程序
CN112150193A (zh) * 2020-09-14 2020-12-29 卖点国际展示(深圳)有限公司 一种客群分析方法、系统及存储介质
WO2021027412A1 (zh) * 2019-08-14 2021-02-18 北京市商汤科技开发有限公司 数据处理方法、装置及存储介质
CN112585667A (zh) * 2018-05-16 2021-03-30 康耐克斯数字有限责任公司 智能平台柜台展示系统和方法
CN112989198A (zh) * 2021-03-30 2021-06-18 北京三快在线科技有限公司 推送内容的确定方法、装置、设备及计算机可读存储介质
CN113015998A (zh) * 2019-10-23 2021-06-22 株式会社视信 一种视线分析装置及利用该装置的视线分析系统和方法
TWI745653B (zh) * 2019-02-18 2021-11-11 宏碁股份有限公司 顧客行為分析方法與顧客行為分析系統

Families Citing this family (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6197952B2 (ja) * 2014-05-12 2017-09-20 富士通株式会社 商品情報出力方法、商品情報出力プログラムおよび制御装置
US9754093B2 (en) * 2014-08-28 2017-09-05 Ncr Corporation Methods and a system for automated authentication confidence
JP6399096B2 (ja) 2014-09-11 2018-10-03 日本電気株式会社 情報処理装置、表示方法およびコンピュータプログラム
US11851279B1 (en) * 2014-09-30 2023-12-26 Amazon Technologies, Inc. Determining trends from materials handling facility information
US10475185B1 (en) 2014-12-23 2019-11-12 Amazon Technologies, Inc. Associating a user with an event
US10552750B1 (en) 2014-12-23 2020-02-04 Amazon Technologies, Inc. Disambiguating between multiple users
US10438277B1 (en) 2014-12-23 2019-10-08 Amazon Technologies, Inc. Determining an item involved in an event
US20180293635A1 (en) * 2015-03-16 2018-10-11 Nec Corporation System, image recognition method, and recording medium
JP6648408B2 (ja) * 2015-03-23 2020-02-14 日本電気株式会社 商品登録装置、プログラム、及び制御方法
JP6145850B2 (ja) * 2015-06-02 2017-06-14 パナソニックＩｐマネジメント株式会社 人物行動分析装置、人物行動分析システムおよび人物行動分析方法
US9767564B2 (en) * 2015-08-14 2017-09-19 International Business Machines Corporation Monitoring of object impressions and viewing patterns
US10839196B2 (en) * 2015-09-22 2020-11-17 ImageSleuth, Inc. Surveillance and monitoring system that employs automated methods and subsystems that identify and characterize face tracks in video
JP2017076338A (ja) * 2015-10-16 2017-04-20 ソニー株式会社 情報処理装置、および情報処理方法、ウェアラブル端末、並びにプログラム
US10915910B2 (en) * 2015-12-09 2021-02-09 International Business Machines Corporation Passive analysis of shopping behavior in a physical shopping area using shopping carts and shopping trays
US10937039B2 (en) * 2016-01-21 2021-03-02 International Business Machines Corporation Analyzing a purchase decision
US10360572B2 (en) * 2016-03-07 2019-07-23 Ricoh Company, Ltd. Image processing system, method and computer program product for evaluating level of interest based on direction of human action
WO2017163879A1 (ja) * 2016-03-23 2017-09-28 日本電気株式会社 行動分析装置、行動分析システム、行動分析方法及びプログラム
JP6662141B2 (ja) * 2016-03-25 2020-03-11 富士ゼロックス株式会社 情報処理装置及びプログラム
US10497014B2 (en) * 2016-04-22 2019-12-03 Inreality Limited Retail store digital shelf for recommending products utilizing facial recognition in a peer to peer network
CN109414119B (zh) * 2016-05-09 2021-11-16 格拉班谷公司 用于在环境内计算机视觉驱动应用的系统和方法
WO2018008203A1 (ja) * 2016-07-05 2018-01-11 パナソニックＩｐマネジメント株式会社 シミュレーション装置、シミュレーションシステム、及びシミュレーション方法
JP6810561B2 (ja) * 2016-09-14 2021-01-06 Ｓｂクリエイティブ株式会社 購買支援システム
JP2018055248A (ja) * 2016-09-27 2018-04-05 ソニー株式会社 情報収集システム、電子棚札、電子ｐｏｐ、文字情報表示装置
JP7115314B2 (ja) * 2016-12-15 2022-08-09 日本電気株式会社 情報処理装置、情報処理方法および情報処理プログラム
FR3061791A1 (fr) * 2017-01-12 2018-07-13 Openfield Systeme et procede de gestion de relations avec des clients presents dans un espace connecte
US11367266B2 (en) 2017-02-14 2022-06-21 Nec Corporation Image recognition system, image recognition method, and storage medium
JP6862888B2 (ja) * 2017-02-14 2021-04-21 日本電気株式会社 画像認識装置、システム、方法およびプログラム
JP6812268B2 (ja) 2017-02-21 2021-01-13 東芝テック株式会社 情報処理装置およびプログラム
US11238401B1 (en) 2017-03-27 2022-02-01 Amazon Technologies, Inc. Identifying user-item interactions in an automated facility
US11494729B1 (en) * 2017-03-27 2022-11-08 Amazon Technologies, Inc. Identifying user-item interactions in an automated facility
US11087271B1 (en) 2017-03-27 2021-08-10 Amazon Technologies, Inc. Identifying user-item interactions in an automated facility
WO2018179360A1 (ja) * 2017-03-31 2018-10-04 日本電気株式会社 画像処理装置、画像処理方法、および記録媒体
US11250570B2 (en) * 2017-03-31 2022-02-15 Nec Corporation Display rack image processing device, image processing method, and recording medium
US11200692B2 (en) 2017-08-07 2021-12-14 Standard Cognition, Corp Systems and methods to check-in shoppers in a cashier-less store
US11049373B2 (en) 2017-08-25 2021-06-29 Nec Corporation Storefront device, storefront management method, and program
JP7122689B2 (ja) * 2017-10-03 2022-08-22 パナソニックＩｐマネジメント株式会社 情報提示システム
JP6915694B2 (ja) * 2017-11-07 2021-08-04 日本電気株式会社 接客支援装置、接客支援方法、及びプログラム
US20190147228A1 (en) * 2017-11-13 2019-05-16 Aloke Chaudhuri System and method for human emotion and identity detection
US20190156270A1 (en) * 2017-11-18 2019-05-23 Walmart Apollo, Llc Distributed Sensor System and Method for Inventory Management and Predictive Replenishment
JP7040531B2 (ja) * 2017-12-04 2022-03-23 日本電気株式会社 画像処理装置
US11562614B2 (en) * 2017-12-25 2023-01-24 Yi Tunnel (Beijing) Technology Co., Ltd. Method, a device and a system for checkout
JP7062985B2 (ja) * 2018-02-06 2022-05-09 コニカミノルタ株式会社 顧客行動分析システムおよび顧客行動分析方法
JP2019144621A (ja) * 2018-02-16 2019-08-29 富士通フロンテック株式会社 商品情報分析方法および情報処理システム
JP7147835B2 (ja) * 2018-02-20 2022-10-05 株式会社ソシオネクスト 表示制御装置、表示制御システム、表示制御方法、及びプログラム
US11443503B2 (en) 2018-03-09 2022-09-13 Nec Corporation Product analysis system, product analysis method, and product analysis program
JP7148950B2 (ja) * 2018-03-15 2022-10-06 Ｎｅｃプラットフォームズ株式会社 サーバー装置、商業施設内情報システムおよび行動履歴の提示方法
CN110322300B (zh) 2018-03-28 2024-06-18 北京京东尚科信息技术有限公司 数据处理方法及装置、电子设备、存储介质
US10430841B1 (en) * 2018-04-12 2019-10-01 Capital One Services, Llc Systems for determining customer interest in goods
WO2019207795A1 (ja) * 2018-04-27 2019-10-31 株式会社ウフル 行動関連情報提供システム、行動関連情報の提供方法、プログラム、およびカメラ
CN108810485A (zh) * 2018-07-02 2018-11-13 重庆中科云丛科技有限公司 一种监控系统工作方法
EP3827392A4 (en) * 2018-07-26 2022-03-30 Standard Cognition, Corp. REAL-TIME INVENTORY TRACKING USING DEEP LEARNING
WO2020023798A1 (en) * 2018-07-26 2020-01-30 Standard Cognition, Corp. Deep learning-based store realograms
CN109190586B (zh) * 2018-09-18 2019-06-11 图普科技（广州）有限公司 顾客到访分析方法、装置及存储介质
US10885661B2 (en) * 2018-12-15 2021-01-05 Ncr Corporation Location determination
JP2020119215A (ja) * 2019-01-23 2020-08-06 トヨタ自動車株式会社 情報処理装置及び情報処理方法、プログラム、需要探索システム
JPWO2020195846A1 (zh) * 2019-03-26 2020-10-01
US10867187B2 (en) * 2019-04-12 2020-12-15 Ncr Corporation Visual-based security compliance processing
JP7337354B2 (ja) * 2019-05-08 2023-09-04 株式会社オレンジテクラボ 情報処理装置及び情報処理プログラム
JP6982259B2 (ja) * 2019-09-19 2021-12-17 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理方法、プログラム
JP7372099B2 (ja) * 2019-09-24 2023-10-31 東芝テック株式会社 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム
SG10201913955VA (en) * 2019-12-31 2021-07-29 Sensetime Int Pte Ltd Image recognition method and apparatus, and computer-readable storage medium
WO2021186610A1 (ja) * 2020-03-18 2021-09-23 株式会社 テクノミライ デジタル・オートファイル・セキュリティシステム、方法及びプログラム
JP6773389B1 (ja) * 2020-03-18 2020-10-21 株式会社 テクノミライ デジタル・オートファイル・セキュリティシステム、方法及びプログラム
US20230186271A1 (en) * 2020-05-22 2023-06-15 Nec Corporation Processing apparatus, processing method, and non-transitory storage medium
US11108996B1 (en) 2020-07-28 2021-08-31 Bank Of America Corporation Two-way intercept using coordinate tracking and video classification
US11842376B2 (en) * 2021-06-25 2023-12-12 Toshiba Global Commerce Solutions Holdings Corporation Method, medium, and system for data lookup based on correlation of user interaction information
JP2023020755A (ja) * 2021-07-30 2023-02-09 富士通株式会社 接客検出プログラム、接客検出方法および情報処理装置
JP7318681B2 (ja) * 2021-07-30 2023-08-01 富士通株式会社 生成プログラム、生成方法および情報処理装置
JP2023050597A (ja) * 2021-09-30 2023-04-11 富士通株式会社 通知プログラム、通知方法および情報処理装置
US20230123576A1 (en) * 2021-10-16 2023-04-20 AiFi Corp Method and system for anonymous checkout in a store
EP4386652A1 (en) * 2022-12-14 2024-06-19 Fujitsu Limited Information processing program, information processing method, and information processing device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101268478A (zh) * 2005-03-29 2008-09-17 斯达普力特有限公司 采用视频分析检测可疑活动的方法及装置
CN101639922A (zh) * 2008-07-31 2010-02-03 Nec九州软件株式会社 来宾路径分析系统和方法
JP2011253344A (ja) * 2010-06-02 2011-12-15 Midee Co Ltd 購買行動分析装置、購買行動分析方法、およびプログラム
CN102881100A (zh) * 2012-08-24 2013-01-16 济南纳维信息技术有限公司 基于视频分析的实体店面防盗监控方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009003701A (ja) * 2007-06-21 2009-01-08 Denso Corp 情報システム及び情報処理装置
US9104430B2 (en) * 2008-02-11 2015-08-11 Palo Alto Research Center Incorporated System and method for enabling extensibility in sensing systems

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101268478A (zh) * 2005-03-29 2008-09-17 斯达普力特有限公司 采用视频分析检测可疑活动的方法及装置
CN101639922A (zh) * 2008-07-31 2010-02-03 Nec九州软件株式会社 来宾路径分析系统和方法
JP2011253344A (ja) * 2010-06-02 2011-12-15 Midee Co Ltd 購買行動分析装置、購買行動分析方法、およびプログラム
CN102881100A (zh) * 2012-08-24 2013-01-16 济南纳维信息技术有限公司 基于视频分析的实体店面防盗监控方法

Cited By (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105930886A (zh) * 2016-04-22 2016-09-07 西安交通大学 一种基于临近状态探测的商品关联性挖掘方法
CN105930886B (zh) * 2016-04-22 2019-04-12 西安交通大学 一种基于临近状态探测的商品关联性挖掘方法
CN109074590A (zh) * 2016-04-22 2018-12-21 情感爱思比株式会社 应对数据收集系统、顾客应对系统及程序
CN109074595A (zh) * 2016-05-16 2018-12-21 情感爱思比株式会社 顾客应对控制系统、顾客应对系统及程序
CN107403332A (zh) * 2016-05-18 2017-11-28 中华电信股份有限公司 货架取物侦测系统及方法
CN107403332B (zh) * 2016-05-18 2020-11-24 中华电信股份有限公司 货架取物侦测系统及方法
CN106408346A (zh) * 2016-09-30 2017-02-15 重庆智道云科技有限公司 一种基于物联网和大数据的实体场所行为分析系统及方法
CN107103503A (zh) * 2017-03-07 2017-08-29 阿里巴巴集团控股有限公司 一种订单信息确定方法和装置
WO2019033635A1 (zh) * 2017-08-16 2019-02-21 图灵通诺（北京）科技有限公司 结算方法、装置和系统
CN109409175A (zh) * 2017-08-16 2019-03-01 图灵通诺（北京）科技有限公司 结算方法、装置和系统
CN109409175B (zh) * 2017-08-16 2024-02-27 图灵通诺（北京）科技有限公司 结算方法、装置和系统
US10963947B2 (en) 2017-08-16 2021-03-30 Yi Tunnel (Beijing) Technology Co., Ltd. Method, a device and a system for checkout
CN109509304A (zh) * 2017-09-14 2019-03-22 阿里巴巴集团控股有限公司 自动售货机及其控制方法、装置及计算机系统
CN107944960A (zh) * 2017-11-27 2018-04-20 深圳码隆科技有限公司 一种无人售货方法和设备
CN109920172A (zh) * 2017-12-12 2019-06-21 富士施乐株式会社 信息处理装置
US11501523B2 (en) 2017-12-18 2022-11-15 Shanghai Cloudpick Smart Technology Co., Ltd. Goods sensing system and method for goods sensing based on image monitoring
CN108520194A (zh) * 2017-12-18 2018-09-11 上海云拿智能科技有限公司 基于影像监测的货品感知系统及货品感知方法
CN108230102A (zh) * 2017-12-29 2018-06-29 深圳正品创想科技有限公司 一种商品关注度调整方法及装置
CN108198030A (zh) * 2017-12-29 2018-06-22 深圳正品创想科技有限公司 一种手推车控制方法、装置及电子设备
CN110070381A (zh) * 2018-01-24 2019-07-30 北京京东金融科技控股有限公司 用于检测货柜商品状态的系统、方法及装置
CN108460933A (zh) * 2018-02-01 2018-08-28 王曼卿 一种基于图像处理的管理系统及方法
CN108460933B (zh) * 2018-02-01 2019-03-05 王曼卿 一种基于图像处理的管理系统及方法
CN108364047A (zh) * 2018-02-11 2018-08-03 京东方科技集团股份有限公司 电子价签、电子价签系统及数据处理方法
US10824924B2 (en) 2018-02-11 2020-11-03 Boe Technology Group Co., Ltd. Electronic label, electronic label system and data processing method
CN108364047B (zh) * 2018-02-11 2022-03-22 京东方科技集团股份有限公司 电子价签、电子价签系统及数据处理方法
TWI685804B (zh) * 2018-02-23 2020-02-21 神雲科技股份有限公司 促銷訊息播送方法
CN108647242B (zh) * 2018-04-10 2022-04-29 北京天正聚合科技有限公司 一种热力图的生成方法和系统
CN108647242A (zh) * 2018-04-10 2018-10-12 北京天正聚合科技有限公司 一种热力图的生成方法和系统
CN110400161A (zh) * 2018-04-25 2019-11-01 鸿富锦精密电子(天津)有限公司 顾客行为分析方法、顾客行为分析系统及存储装置
CN112585667A (zh) * 2018-05-16 2021-03-30 康耐克斯数字有限责任公司 智能平台柜台展示系统和方法
CN112154488A (zh) * 2018-05-21 2020-12-29 Nec平台株式会社 信息处理装置、控制方法和程序
CN108805495A (zh) * 2018-05-31 2018-11-13 京东方科技集团股份有限公司 物品存放管理方法和系统及计算机可读介质
US10984250B2 (en) 2018-05-31 2021-04-20 Boe Technology Group Co., Ltd. Method and system for management of article storage and computer-readable medium
CN108830644A (zh) * 2018-05-31 2018-11-16 深圳正品创想科技有限公司 一种无人商店导购方法及其装置、电子设备
CN108898104A (zh) * 2018-06-29 2018-11-27 北京旷视科技有限公司 一种物品识别方法、装置、系统及计算机存储介质
CN108898103A (zh) * 2018-06-29 2018-11-27 深圳市宝视达广告控股有限公司 一种到店消费者信息的采集处理方法、装置及服务器与一种存储介质
US10970528B2 (en) 2018-07-03 2021-04-06 Baidu Online Network Technology (Beijing) Co., Ltd. Method for human motion analysis, apparatus for human motion analysis, device and storage medium
CN108921098A (zh) * 2018-07-03 2018-11-30 百度在线网络技术（北京）有限公司 人体运动分析方法、装置、设备及存储介质
CN108921098B (zh) * 2018-07-03 2020-08-18 百度在线网络技术（北京）有限公司 人体运动分析方法、装置、设备及存储介质
CN109214312A (zh) * 2018-08-17 2019-01-15 连云港伍江数码科技有限公司 信息显示方法、装置、计算机设备和存储介质
CN110909573A (zh) * 2018-09-17 2020-03-24 阿里巴巴集团控股有限公司 信息处理方法及装置、用于识别人与货架距离的方法
CN110909573B (zh) * 2018-09-17 2023-05-02 阿里巴巴集团控股有限公司 信息处理方法及装置、用于识别人与货架距离的方法
CN109353397A (zh) * 2018-09-20 2019-02-19 北京旷视科技有限公司 商品管理方法、装置和系统及存储介质及购物车
CN109353397B (zh) * 2018-09-20 2021-05-11 北京旷视科技有限公司 商品管理方法、装置和系统及存储介质及购物车
CN109344770A (zh) * 2018-09-30 2019-02-15 新华三大数据技术有限公司 资源分配方法及装置
CN109344770B (zh) * 2018-09-30 2020-10-09 新华三大数据技术有限公司 资源分配方法及装置
CN111079478A (zh) * 2018-10-19 2020-04-28 杭州海康威视数字技术股份有限公司 一种无人售货架监控方法、装置、电子设备及系统
CN111079478B (zh) * 2018-10-19 2023-04-18 杭州海康威视数字技术股份有限公司 一种无人售货架监控方法、装置、电子设备及系统
CN109859660A (zh) * 2018-12-27 2019-06-07 努比亚技术有限公司 一种展示柜交互方法、展示柜及计算机可读存储介质
US11176684B2 (en) 2019-02-18 2021-11-16 Acer Incorporated Customer behavior analyzing method and customer behavior analyzing system
TWI745653B (zh) * 2019-02-18 2021-11-11 宏碁股份有限公司 顧客行為分析方法與顧客行為分析系統
CN111681018A (zh) * 2019-03-11 2020-09-18 宏碁股份有限公司 顾客行为分析方法与顾客行为分析系统
CN110110688B (zh) * 2019-05-15 2021-10-22 联想(北京)有限公司 一种信息分析方法及系统
CN110110688A (zh) * 2019-05-15 2019-08-09 联想(北京)有限公司 一种信息分析方法及系统
CN110288386A (zh) * 2019-06-10 2019-09-27 帷幄匠心科技（杭州）有限公司 商店客户行为统计系统
CN110348405A (zh) * 2019-07-16 2019-10-18 图普科技（广州）有限公司 线下交互数据获取方法、装置及电子设备
WO2021027412A1 (zh) * 2019-08-14 2021-02-18 北京市商汤科技开发有限公司 数据处理方法、装置及存储介质
WO2021047232A1 (zh) * 2019-09-11 2021-03-18 苏宁易购集团股份有限公司 交互行为识别方法、装置、计算机设备和存储介质
CN110674712A (zh) * 2019-09-11 2020-01-10 苏宁云计算有限公司 交互行为识别方法、装置、计算机设备和存储介质
CN113015998A (zh) * 2019-10-23 2021-06-22 株式会社视信 一种视线分析装置及利用该装置的视线分析系统和方法
CN111192081A (zh) * 2019-12-26 2020-05-22 安徽讯呼信息科技有限公司 一种基于大数据的广告智能显示系统
CN112150193A (zh) * 2020-09-14 2020-12-29 卖点国际展示(深圳)有限公司 一种客群分析方法、系统及存储介质
CN112989198A (zh) * 2021-03-30 2021-06-18 北京三快在线科技有限公司 推送内容的确定方法、装置、设备及计算机可读存储介质
CN112989198B (zh) * 2021-03-30 2022-06-07 北京三快在线科技有限公司 推送内容的确定方法、装置、设备及计算机可读存储介质

Also Published As

Publication number Publication date
US20160203499A1 (en) 2016-07-14
WO2015033577A1 (ja) 2015-03-12
JP6529078B2 (ja) 2019-06-12
JPWO2015033577A1 (ja) 2017-03-02

Similar Documents

Publication Publication Date Title
CN105518734A (zh) 顾客行为分析系统、顾客行为分析方法、非暂时性计算机可读介质和货架系统
US11074610B2 (en) Sales promotion system, sales promotion method, non-transitory computer readable medium, and shelf system
WO2019165891A1 (zh) 用户选购商品识别方法、装置以及智能货架系统
CN107909443B (zh) 信息推送方法、装置及系统
US10915910B2 (en) Passive analysis of shopping behavior in a physical shopping area using shopping carts and shopping trays
JP6172380B2 (ja) Ｐｏｓ端末装置、ｐｏｓシステム、商品認識方法及びプログラム
US11887051B1 (en) Identifying user-item interactions in an automated facility
US10410253B2 (en) Systems and methods for dynamic digital signage based on measured customer behaviors through video analytics
US20180247361A1 (en) Information processing apparatus, information processing method, wearable terminal, and program
WO2017085771A1 (ja) 精算支援システム、精算支援プログラム、及び精算支援方法
JP2011253344A (ja) 購買行動分析装置、購買行動分析方法、およびプログラム
CN107862557B (zh) 顾客动态追踪系统及其方法
JP2004348618A (ja) 顧客情報収集管理方法及びそのシステム
JP5590049B2 (ja) 物品陳列棚、人物行動調査方法および人物行動調査用プログラム
JP2017083980A (ja) 行動分析装置及びシステム及び方法
WO2013095923A1 (en) Utilizing real-time metrics to normalize an advertisement based on consumer reaction
US11238401B1 (en) Identifying user-item interactions in an automated facility
US11615430B1 (en) Method and system for measuring in-store location effectiveness based on shopper response and behavior analysis
JP2016024596A (ja) 情報処理装置
CN111339929A (zh) 一种无人超市的零售系统
TW201942836A (zh) 店面系統、物品搭配方法、裝置及電子設備
CN110110688B (zh) 一种信息分析方法及系统
JP2016167172A (ja) 情報処理方法、情報処理システム、情報処理装置、およびそのプログラム
CN111127128B (zh) 商品推荐方法、装置及存储介质
JP2020205098A (ja) 電子機器システム及び送信方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160420

RJ01 Rejection of invention patent application after publication