CN109983505A - 人物动向记录装置、人物动向记录方法及程序 - Google Patents

人物动向记录装置、人物动向记录方法及程序 Download PDF

Info

Publication number
CN109983505A
CN109983505A CN201780071316.1A CN201780071316A CN109983505A CN 109983505 A CN109983505 A CN 109983505A CN 201780071316 A CN201780071316 A CN 201780071316A CN 109983505 A CN109983505 A CN 109983505A
Authority
CN
China
Prior art keywords
aforementioned
personage
trend
trend recording
index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780071316.1A
Other languages
English (en)
Other versions
CN109983505B (zh
Inventor
谷口晴香
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN109983505A publication Critical patent/CN109983505A/zh
Application granted granted Critical
Publication of CN109983505B publication Critical patent/CN109983505B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Signal Processing (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

人物动向记录装置具备：图像取得部，取得将对象区域摄影的运动图像数据；人物检测部，通过对前述运动图像数据进行解析，检测并追踪在前述对象区域内行动的人物；事件检测部，通过对前述运动图像数据进行解析，检测在前述人物的追踪期间中关于前述人物发生的事件；生理心理学指标检测部，通过对前述运动图像数据进行解析，检测前述追踪期间中的前述人物的生理心理学指标的随着时间的变化；以及动向记录生成部，至少生成将关于前述人物发生的1个以上的事件与前述人物的生理心理学指标的随着时间的变化在时间上建立了对应的数据，作为前述人物的动向记录数据。

Description

人物动向记录装置、人物动向记录方法及程序
技术领域
本发明涉及用于将人物的行动和心理活动记录、分析的技术。
背景技术
在提供饮食或商品销售等的服务的店铺中，总是调查顾客的满意度及关注的高低、正确地掌握顾客的需求及店铺的问题，对于健康的店铺运营是极为重要的。在对顾客满意及关注带来影响的因子中有各种各样的，例如可以举出店内的装饰及布局、待客的时点、等待时间、待客内容、商品的展示、店内的拥挤状况、特卖信息等。并且，根据个人的嗜好或属性(性别、年龄段等)，影响较强的因子的种类及影响的大小可能不同。以往，作为对这样的各个顾客的满意及关注进行调查的方法，通常是问卷调查。但是，问卷调查由于对回答者强加负担，所以回答率较低，有难以进行有效率的调查的课题。此外，由于回答者能够有意地控制问卷调查的回答，所以没有得到客观性的调查结果的保证。
此外，在专利文献1中，以实现顾客满意度的提高及店铺的有效率的运营为目的，提出了将在待客中发生的各种等待时间自动地记录的系统。具体的机制是：根据设置在店内的摄像机的影像和POS系统的信息，检测顾客的入店、就座、点菜、上菜、结账(出店)等的事件，根据各事件的发生时刻的差，自动地计算引导等待时间、点菜等待时间、上菜等待时间。根据该系统，虽然能够不对顾客强加负担而收集客观性的数据，但调查项目限于等待时间，不能充分地评价顾客的满意及关注的高低。
现有技术文献
专利文献
专利文献1：日本特开2014－149685号公报
发明内容
发明要解决的课题
本发明是鉴于上述实际情况而做出的，目的是提供一种用于不给顾客带来负担而自动地收集并记录对于客观地评价顾客的满意及关注的高低有用的数据的技术。
用于解决课题的手段
为了达成上述目的，在本发明中，采用通过运动图像解析来检测关于某个人物发生的事件和该人物的生理心理学指标的随着时间的变化、记录将它们建立了对应的数据的结构。
具体而言，本发明的第一技术方案提供一种人物动向记录装置，其特征在于，具备：图像取得部，取得将对象区域摄影的运动图像数据；人物检测部，通过对前述运动图像数据进行解析，检测并追踪在前述对象区域内行动的人物；事件检测部，通过对前述运动图像数据进行解析，检测在前述人物的追踪期间中关于前述人物发生的事件；生理心理学指标检测部，通过对前述运动图像数据进行解析，检测前述追踪期间中的前述人物的生理心理学指标的随着时间的变化；以及动向记录生成部，至少生成将关于前述人物发生的1个以上的事件与前述人物的生理心理学指标的随着时间的变化在时间上建立了对应的数据，作为前述人物的动向记录数据。
根据该结构，自动地生成将关于某个人物发生的事件和该人物的生理心理学指标的随着时间的变化在时间上建立对应的动向记录数据。如果使用这样的动向记录数据，则能够根据生理心理学指标的趋势来客观地评价顾客满意及关注的高低。此外，容易根据生理心理学指标的随着时间的变化与事件的发生时刻的关系来推测给顾客满意或关注度带来良好/不良影响的事件。进而，由于人物检测、事件检测、生理心理学指标检测的哪个处理都通过运动图像解析来进行，所以能够不给顾客带来身体负担或心理负担而自动地收集并记录动向记录数据。
优选的是，还具备基于生理心理学指标的随着时间的变化来计算推测前述人物的心理状态的心理状态指标的心理状态推测部；前述动向记录数据还包括由前述心理状态推测部计算出的心理状态指标。根据该结构，由于将表示人物的心理状态的指标及其随着时间的变化也自动地记录，所以能够得到非常有用的数据。此时，优选的是，前述心理状态推测部将多个生理心理学指标组合来计算心理状态指标。这是因为，通过将多个生理心理学指标组合，能够期待心理状态的推测精度及可靠性的提高。进而，此时优选的是，前述多个生理心理学指标包括前述人物能够有意识地控制的生理心理学指标、和前述人物不能有意识地控制的生理心理学指标。通过将不能有意识地控制的生理心理学指标组合，能够客观且高可靠地计算该人物的心理状态。作为心理状态指标，例如有表示满意的大小的满意度(也称作满足度)、表示关注的高低的关注度(也称作兴趣度、集中度)、表示愉快/不愉快的程度的舒服度(也称作愉快不愉快度)等。
优选的是，还具备基于生理心理学指标的随着时间的变化来推测前述人物的满意度的满意度推测部；前述动向记录数据还包括由前述满意度推测部推测出的满意度的信息。此外，也可以是，还具备基于生理心理学指标的随着时间的变化来推测前述人物对于前述对象区域内的对象的关注度的关注度推测部；前述动向记录数据还包括由前述关注度推测部推测出的关注度的信息。根据这些结构，由于将顾客满意及关注的高低的随着时间的变化也自动地记录，所以能得到非常有用的数据。
前述生理心理学指标优选的是包括表情、笑脸度、每单位时间的脉搏数、每单位时间的眨眼数及注视度中的至少1个项目。这是因为，这些指标能够根据运动图像或静止图像以某种程度的可靠性检测出。进而，前述生理心理学指标也可以包括瞳孔径、眼球运动、每单位时间的呼吸数、体温、冒汗、血流及血压等的项目。优选的是将多个项目的生理心理学指标组合使用。
优选的是，还具备通过对前述运动图像数据进行解析来推测前述人物的属性的属性推测部；前述动向记录数据还包含由前述属性推测部推测出的属性的信息。由此，能够评价每个人物的属性(例如，年龄段、性别、体型等)的趋势的差异。
优选的是，还具备基于前述动向记录数据来显示动向分析结果的动向分析结果显示部；前述动向分析结果包括将在前述人物的追踪期间中关于前述人物发生的1个以上的事件、和前述人物的生理心理学指标的随着时间的变化在时间轴上显示的信息。根据这样的信息显示，能够将某个人物的行动(事件)和生理心理学指标的变化的因果关系可视化。
优选的是，还具备基于前述动向记录数据来显示动向分析结果的动向分析结果显示部；前述动向分析结果包含显示根据多个人物的前述动向记录数据计算出的前述生理心理学指标及/或前述满意度的统计值的信息。此外，优选的是，还具备基于前述动向记录数据来显示动向分析结果的动向分析结果显示部；前述动向分析结果包含显示根据多个人物的前述动向记录数据计算出的前述生理心理学指标及/或前述关注度的统计值的信息。
优选的是，在前述对象区域内设定有多个子区域；前述动向分析结果包含按照前述子区域计算出的前述统计值的信息。由此，能够评价每个子区域的人气(顾客满意及关注的高低)。
优选的是，还具备通过对前述运动图像数据进行解析来推测前述人物的属性的属性推测部；前述动向记录数据还包含由前述属性推测部推测出的属性的信息；前述动向分析结果包含显示按照前述属性计算出的前述统计值的信息。由此，能够按照属性来评价满意度及关注度的趋势。
前述动向分析结果优选的是包含显示按照事件的种类计算出的前述统计值的信息。由此，能够按照事件的种类来评价与满意度或关注度的因果关系。
另外，本发明可以作为具有上述结构或功能的至少一部分的人物动向记录装置来理解。此外，本发明也可以作为包含上述处理的至少一部分的人物动向记录方法或人物动向记录装置的控制方法、或用于使计算机执行这些方法的程序、或将这样的程序非暂时性地记录的计算机可读取的记录介质来理解。上述结构及处理的各自只要不发生技术性的矛盾，就可以相互组合而构成本发明。
发明效果
根据本发明，能够不给顾客带来负担而自动地收集并记录对于客观地评价顾客的满意及关注的高低有用的数据。
附图说明
图1是示意地表示人物动向记录装置的硬件结构及功能结构的块图。
图2是表示人物动向记录装置的设置例的图。
图3是动向记录处理的流程图。
图4是动向分析处理的流程图。
图5A～图5C是表示满意度推测的一例的图。
图6是动向记录数据的一例。
图7是动向分析结果的显示例。
图8是动向分析结果的显示例。
图9是动向分析结果的显示例。
图10是动向分析结果的显示例。
图11是区域划分的例子。
图12是动向分析结果的显示例。
具体实施方式
本发明关于自动地记录人物的动向(行动和心理活动)的技术，特别是关于通过运动图像解析来检测关于人物发生的事件和该人物的生理心理学指标的随着时间的变化、将它们在时间上建立对应而记录的技术。这样的记录数据对于客观地评价顾客的满意及关注的高低、或分析给顾客的满意或关注带来影响的因子是有用的。有关本发明的技术例如能够良好地适用于在对顾客提供服务的店铺或场所进行顾客分析、顾客满意度调查、市场调查、问题检测等的系统。
以下，对将本发明应用到用于在购物中心内的服装店中记录顾客的动向的系统中的情况下的优选的实施方式进行说明。但是，以下的实施方式中记载的装置的结构及动作是一例，不是将本发明的范围仅限定于这些的意思。
(系统结构)
参照图1和图2，说明有关本发明的实施方式的人物动向记录装置的结构。图1是示意地表示人物动向记录装置1的硬件结构及功能结构的块图，图2是表示服装店的店铺布局和摄像装置10的设置例的图。
人物动向记录装置1作为主要的硬件结构而具有设置在店铺内的摄像装置10、以及对从摄像装置10取入的运动图像数据进行解析并记录顾客动向的信息处理装置11。摄像装置10和信息处理装置11之间通过有线或无线来连接。
摄像装置10是用于将店铺内的对象区域20摄影而将运动图像数据取入的设备。所述的对象区域20，是进行顾客的监视的范围，例如基于顾客能够行动的范围而预先设定。作为摄像装置10，可以使用单色或彩色的摄像机。此外，作为摄像装置10，除了通常的可视光摄像机以外，也可以使用高灵敏度(暗视)摄像机、红外线摄像机、热敏成像等的特殊的摄像机。摄像装置10如图2所示，被设置在顶棚或柱子等上，以俯瞰店铺内的对象区域。另外，在图1及图2中表示了2台摄像装置10，但摄像装置10的数量是任意的。优选的是设计摄像装置10的所需台数及设置位置，以便能够将对象区域20无死角地摄影。
信息处理装置11是具备将从摄像装置10取入的运动图像数据解析、自动地检测并记录存在于对象区域20内的顾客的动向(行动和心理活动)的功能的装置。信息处理装置11作为具体的功能，具有图像取得部110、人物检测部111、事件检测部112、生理心理学指标检测部113、满意度推测部114、关注度推测部115、属性推测部116、个人识别部117、动向记录生成部118、动向分析结果显示部119、存储部120。本实施方式的信息处理装置11由具备CPU(处理器)、存储器、存储设备(HDD、SSD等)、输入设备(键盘、鼠标、触摸板等)、输出设备(显示器、扬声器等)、通信接口等的通用的计算机构成，上述信息处理装置11的各功能通过CPU执行保存在存储设备或存储器中的程序而实现。但是，信息处理装置11的结构并不限于该例。例如，也可以进行多台计算机的分散计算，也可以由云服务器执行上述功能的一部分，也可以由ASIC或FPGA那样的电路执行上述功能的一部分。
图像取得部110是从摄像装置10取得将对象区域20摄影的运动图像数据的功能。从图像取得部110输入的运动图像数据被暂时存储到存储器或存储设备中，提供给以后的人物检测、动向记录、动向分析等处理。
人物检测部111是通过对运动图像数据进行解析、检测在对象区域20内行动的人物并追踪的功能。人物检测部111在运动图像数据的某个帧的图像中检测到未知的人物的情况下，对该人物赋予唯一的识别符(称作人物ID)，与人物ID建立对应而存储该人物的位置及特征。并且，人物检测部111通过在下一帧以后探索位置及特征类似的人物，进行该人物的追踪(跟踪)。在如本实施方式那样使用多个摄像装置10的情况下，预先定义各摄像装置10的摄像区域的邻接关系，通过将追踪目标的探索范围扩大到邻接的摄像区域，能够对于在对象区域20内移动的人物没有遗漏地进行追踪。
关于人物检测及人物追踪的具体方法，以往提出了各种各样的算法，使用哪种算法都可以。例如，使用利用Haar－like特征量或HoG特征量的识别器、利用Faster R－CNN等的深度学习(Deep Learning)的识别器等检测脸或人体的算法可以优选地采用。
事件检测部112是通过对运动图像数据进行解析、来检测在人物的追踪期间中关于该人物发生的事件(事项)的功能。在本说明书中所述的“事件”，是指可能给人物的心理状态带来影响的因子。只要能够通过图像解析而检测出，将怎样的事件作为检测对象都可以。如果是服装店的例子，则可以想到“进入店内”、“看到商品”、“和店员交流”、“将商品拿在手中”、“试穿”、“来到特卖品专柜”、“看到新到商品的展示”、“拥挤”、“与他人碰撞到”、“排在结账等待的队列中”、“进行结账”、“出店”等。另外，将怎样的事件作为检测对象预先设定在事件检测部112中。
关于事件检测的具体方法，以往也提出了各种各样的算法，使用哪种算法都可以。例如，“进入店内”、“试穿”、“来到特卖品专柜”、“进行结账”、“出店”等事件，可以通过根据图像而识别顾客处于店内的哪里来检测。此外，“看到商品”、“看到新到商品的展示”等事件，可以通过根据图像而识别顾客的脸朝向或视线来检测。此外，“和店员交流”、“将商品拿在手中”、“排在结账等待的队列中”等事件可以由使用这些事件的教师数据进行基于深度学习的学习的识别器来检测。此外，“与他人碰撞到”、“拥挤”等事件，可以根据图像而识别顾客的数量、密度、顾客彼此的距离等来检测。
生理心理学指标检测部113是通过对运动图像数据进行解析、检测人物的追踪期间中的该人物的生理心理学指标的随着时间的变化的功能。在本实施方式中，将人的心理状态及其变化作为生理现象表现出来称作生理心理学反应，将测量该生理心理学反应并定量化而得到的值称作生理心理学指标。由于生理心理学反应是无意识地表现出来的，所以通过对生理心理学指标进行观察，能够客观地捕捉该人物的真实心理状态及其变化。
在生理心理学指标中，例如有表情、笑脸度、每单位时间的脉搏数(以下简称作“脉搏数”)、每单位时间的眨眼数(以下简称作“眨眼数”)、注视度(表示将视线朝向特定的对象的比例的指标)、瞳孔径、眼球运动、每单位时间的呼吸数、体温、冒汗、血流、血压等。只要使用这些之中的1个以上的项目就可以。在本实施方式中，使用根据运动图像或静止图像的检测比较容易的表情(高兴/严肃/厌恶/悲伤/吃惊这5类)、笑脸度[％]、脉搏数[拍/分]、眨眼数[次/分]、注视度[％]这5个项目。关于这些指标的检测方法，以往也提出了各种各样的算法，使用哪种算法都可以。例如，关于表情及笑脸度，可以使用基于脸器官的形状、眼睛、口的开闭程度、皱纹等进行推测的方法。关于脉搏，可以通过捕捉脸(肌肤)的部分的格林(Green)值的微小的变动来检测。眨眼(眨眼睛)可以通过基于眼睛的形状及黑眼珠的有无等进行闭眼判定来检测。注视度可以按照每帧来推测视线方向，基于视线落入在以某个对象为中心的规定角度范围内的概率来计算。另外，关于瞳孔径及眼球运动，已知有根据红外线图像来检测的方法，关于体温及冒汗，已知有根据热敏成像图像来检测的方法，呼吸数、血流及血压已知有根据运动图像来检测的方法，可以使用这些方法取得生理心理学指标。
人物动向记录装置1除了上述那样的生理心理学指标的收集、记录以外，还具有基于生理心理学指标的随着时间的变化来计算推测该人物的心理状态的心理状态指标的功能(将该功能称作心理状态推测部)。在本实施方式中，作为心理状态推测部，设置有满意度推测部114和关注度推测部115这2个。
满意度推测部114是基于生理心理学指标的随着时间的变化来推测作为心理状态指标之一的“满意度”的功能。在本实施方式中，将时刻t的满意度S(t)如式(1)那样定义，基于笑脸度Sm(t)和脉搏数PR(t)的变化来计算满意度S(t)。但是，满意度的定义并不限于此，怎样计算都可以。
[数式1]
满意度
这里，Sm(t)是时刻t的笑脸度，PR(t)是时刻t的脉搏数，PRmin是包括时刻t的规定的期间(例如只要设定为5分钟～10分钟左右就可以)中的脉搏数的最小值，PRmax是同期间中的脉搏数的最大值。通过如式(1)那样，根据人能够控制的指标(笑脸度)和难以有意识地控制的指标(脉搏数)这2种指标求出，能够客观且高可靠地计算满意度的值。
关注度推测部115是基于生理心理学指标的随着时间的变化来推测对于对象区域20内的某个对象的“关注度”的功能。关注度也是心理状态指标之一。在本实施方式中，将时刻t的关注度I(t)如式(2)那样定义，基于注视度At(t)和眨眼数BF(t)的变化来计算关注度I(t)。但是，关注度的定义并不限于此，怎样计算都可以。
[数式2]
关注度
这里，At(t)是时刻t的注视度，BF(t)是时刻t的眨眼数，BFmin是包括时刻t的规定的期间(例如只要设定为5分钟～10分钟左右就可以)中的眨眼数的最小值，BFmax是同期间中的眨眼数的最大值。通过如式(2)那样，根据人能够控制的指标(注视度)和难以有意识地控制的指标(眨眼数)这2种指标求出，能够客观且高可靠地计算关注度的值。
属性推测部116是通过对运动图像数据进行解析来推测人物的属性的功能。在本实施方式中，作为属性，推测年龄段(～10岁/10～20岁/20～30岁/30～40岁/40岁～)、性别(男性/女性)、体型(较瘦/普通/较胖)这3个项目。关于属性推测的具体方法，以往也提出了各种各样的算法，使用哪种算法都可以。
个人识别部117是进行根据图像而检测出的人物的个人识别并取得关于该人物的固有的信息的功能。作为个人识别的方法，有所谓的基于图像识别(脸识别)的方法、根据该人持有的ID卡等确定个人的方法等，使用哪种方法都可以。作为ID卡，有信用卡、电子货币卡、点卡等，例如通过个人识别部117将在结账时提示的ID卡读取，能够确定该人物。此外，“关于人物的固有的信息”是姓名、住址、电话号码、邮件地址、年龄、职业、工作地点、家庭结构、购买履历等。
动向记录生成部118是基于由各功能部111～117得到的信息来生成各个人物的动向记录数据的功能。将所生成的动向记录数据保存到存储部120或云服务器(未图示)中。动向记录数据的细节在后面叙述。
动向分析结果显示部119是基于动向记录数据将动向分析结果显示到显示器上的功能。关于动向分析结果的显示例在后面叙述。
(动向记录处理)
接着，沿着图3的流程图说明由人物动向记录装置1进行的动向记录处理的具体例。图3所示的处理流程是在线(实时)地按照每帧或每隔规定时间被反复执行的。
首先，人物检测部111参照运动图像数据中的最近的帧，检测存在于图像内的人物(步骤S30)。在步骤S31中，选择所检测到的人物中的一个(这里将所选择的人物称作“记录对象者”)。人物检测部111进行记录对象者与已知的人物(在过去的帧中已经被检测到、追踪中的人物)的辨认，在记录对象者是追踪中的人物的情况下赋予相同的人物ID，在是未知的人物(最初被检测到的人物)的情况下赋予新的人物ID(步骤S32)。并且，动向记录生成部118将最近的帧的摄影时刻和记录对象者的位置信息向记录对象者的动向记录数据进行记录(步骤S33)。
接着，事件检测部112参照运动图像数据中的最近的1个或多个帧，检测关于记录对象者发生的事件(步骤S34)。在有事件发生的情况下(步骤S35；是)，动向记录生成部118将所检测到的事件的信息向记录对象者的动向记录数据进行记录(步骤S36)。
此外，生理心理学指标检测部113参照运动图像数据中的最近的1个或多个帧，检测记录对象者的表情、笑脸度、脉搏数、眨眼数、注视度这4个项目的指标(步骤S37)。表情及笑脸度能够根据1帧的图像来检测，脉搏数、眨眼数、注视度能够根据多帧的运动图像来检测。并且，动向记录生成部118将各指标的值向记录对象者的动向记录数据进行记录(步骤S38)。
在对根据图像而检测出的全部人物进行步骤S31～S38的处理后(步骤S39；否)，结束动向记录处理。
(动向分析处理)
接着，沿着图4的流程图说明由人物动向记录装置1进行的动向分析处理的具体例。图4所示的处理流程在某个人物的动向记录数据被储存一定量之后、或某个人物的追踪完成之后，被离线地按照每个人物来执行。以下，将作为图4的处理的对象的人物称作分析对象者。
在步骤S40中，属性推测部116通过对运动图像数据进行解析，推测分析对象者的年龄段、性别、体型。此外，个人识别部117进行分析对象者的个人识别，在个人识别成功的情况下取得该分析对象者所固有的信息(例如购买履历等)(步骤S41)。接着，满意度推测部114根据分析对象者的动向记录数据计算各时刻的满意度的值(步骤S42)。
在图5A～图5C中表示满意度推测的一例。图5A是分析对象者的笑脸度的曲线图，横轴表示时间[sec]，纵轴表示笑脸度[％]。图5B是分析对象者的脉波的观测波形，横轴表示时间[sec]，纵轴表示脸部分的格林值。图5C是根据图5B计算出的脉搏数的曲线图，横轴表示时间[sec]，纵轴表示脉搏数[拍/分]。在此情况下，时刻a的满意度S(a)根据式(1)，求出为
S(a)＝80×(90－60)/(90－60)＝80[％]，
时刻b的满意度S(b)根据式(1)，求出为
S(b)＝40×(70－60)/(90－60)＝13[％]。
同样，关注度推测部115根据分析对象者的动向记录数据而计算各时刻的关注度的值(步骤S43)。并且，动向记录生成部118将在步骤S40～S43中得到的信息向分析对象者的动向记录数据进行记录(步骤S44)。
图6是关于人物X的动向记录数据的一例。关于人物X发生的事件和从人物X检测出的生理心理学指标(表情、笑脸度、脉搏数、眨眼数、注视度)的随着时间的变化为在时间上建立了对应的数据。在图6的动向记录数据中，还将人物X的位置信息及满意度与关注度的随着时间的变化建立对应。如果得到这样的动向记录数据，则能够根据生理心理学指标、满意度、关注度等的倾向，掌握顾客满意及关注的高低。此外，容易根据它们的随着时间的变化和事件的发生时刻的关系，来推测给顾客满意及关注度带来良好/不良影响的事件。
(分析结果显示例)
接着，说明由动向分析结果显示部119进行的动向分析结果的优选的显示例。
图7是将在人物X的追踪期间中发生的事件和人物X的生理心理学指标的随着时间的变化标绘在同一时间轴上的曲线图。此外，图8是将在人物X的追踪期间中发生的事件和人物X的满意度及关注度的随着时间的变化标绘在同一时间轴上的曲线图。根据这些曲线图，能够将人物X的从入店到出店的行动(事件)与生理心理学指标、满意度、关注度的变化的因果关系可视化。由于可以考虑人物X的真实心理状态表现在生理心理学指标、满意度、关注度中，所以通过使用图7及图8的动向分析结果，能够以一定的可靠性对商品陈列的好坏、待客的适当度等进行评价。
图9是在店铺的示意图上显示了人物X的移动路线(虚线)、关于人物X发生的事件(白三角)和满意度及关注度表示较高的值的点(双重圆、黑星)的例子。根据这样的示意图显示，能够得到人物X当在店内的何处采取了怎样的行动时满意度或关注度变高的信息。
图10是表示人物X的动向记录数据的趋势的显示例。在图10的例子中，表示了人物X的属性(年龄段、性别、体型)，入店时刻、出店时刻和在店时间，在店中的5种表情的比例，在店中的笑脸度的平均值、最大值，在店中的脉搏数的平均值、最大值、最小值、变动幅度，在店中的眨眼数的平均值、最大值、最小值、变动幅度，在店中的注视度的平均值、最大值，满意度的平均值、最大值，关注度的平均值、最大值等。通过确认这样的统计数据，能够综合地掌握人物X的动向及其趋势。
在图7～图10中仅显示了一个人物的动向记录数据，但动向分析结果显示部119也可以根据多个人物的动向记录数据，计算并显示生理心理学指标、满意度、关注度的统计值(平均值、最小值、最大值、中间值等)。例如，也可以如图11那样将店铺内的对象区域分为4个子区域A～D，如图12那样计算并显示各个子区域的统计值。通过使用图11那样的统计性分析显示，例如能够按照每个子区域评价人气(顾客满意及关注的高低)，或进行分年龄段、分体型的评价，或按照每个事件评价与满意度或关注度的因果关系。
(本实施方式的利点)
根据以上叙述的本实施方式的人物动向记录装置，自动地生成将关于某个人物发生的事件与该人物的生理心理学指标的随着时间的变化在时间上建立了对应的动向记录数据。如果使用这样的动向记录数据，则能够根据生理心理学指标的趋势客观地评价顾客满意及关注的高低。此外，容易根据生理心理学指标的随着时间的变化与事件的发生时刻的关系来推测给顾客满意或关注度带来良好/不良影响的事件。进而，由于人物检测、事件检测、生理心理学指标检测的哪个处理都通过运动图像解析来进行，所以能够不给顾客带来身体负担及心理负担而自动地收集并记录动向记录数据。
(其他)
上述实施方式的说明只不过是例示性地说明本发明的。本发明并不限定于上述具体的形态，在其技术思想的范围内能够进行各种变形。例如，上述生理心理学指标是一例，也可以收集与上述指标不同的指标。从装置的简单化、成本降低的观点，希望能够根据运动图像数据来检测全部信息，但根据指标，也可以从运动图像数据以外的信息中提取。例如，也可以根据从热敏成像得到的图像来测量人物的体温。
附图标记说明
1：人物动向记录装置；10：摄像装置；11：信息处理装置；110：图像取得部；111：人物检测部；112：事件检测部；113：生理心理学指标检测部；114：满意度推测部；115：关注度推测部；116：属性推测部；117：个人识别部；118：动向记录生成部；119：动向分析结果显示部；120：存储部；20：对象区域。

Claims (16)

1.一种人物动向记录装置，其特征在于，
具备：
图像取得部，取得将对象区域摄影的运动图像数据；
人物检测部，通过对前述运动图像数据进行解析，检测并追踪在前述对象区域内行动的人物；
事件检测部，通过对前述运动图像数据进行解析，检测在前述人物的追踪期间中关于前述人物发生的事件；
生理心理学指标检测部，检测前述追踪期间中的前述人物的生理心理学指标的随着时间的变化；以及
动向记录生成部，至少生成将关于前述人物发生的1个以上的事件与前述人物的生理心理学指标的随着时间的变化在时间上建立了对应的数据，作为前述人物的动向记录数据。
2.如权利要求1所述的人物动向记录装置，其特征在于，
还具备基于生理心理学指标的随着时间的变化来计算推测前述人物的心理状态的心理状态指标的心理状态推测部；以及
前述动向记录数据还包括由前述心理状态推测部计算出的心理状态指标。
3.如权利要求2所述的人物动向记录装置，其特征在于，
前述心理状态推测部将多个生理心理学指标组合来计算心理状态指标。
4.如权利要求3所述的人物动向记录装置，其特征在于，
前述多个生理心理学指标包括前述人物能够有意识地控制的生理心理学指标、和前述人物不能有意识地控制的生理心理学指标。
5.如权利要求1～4中任一项所述的人物动向记录装置，其特征在于，
还具备基于生理心理学指标的随着时间的变化来推测前述人物的满意度的满意度推测部；
前述动向记录数据还包括由前述满意度推测部推测出的满意度的信息。
6.如权利要求1～5中任一项所述的人物动向记录装置，其特征在于，
还具备基于生理心理学指标的随着时间的变化来推测前述人物对于前述对象区域内的对象的关注度的关注度推测部；
前述动向记录数据还包括由前述关注度推测部推测出的关注度的信息。
7.如权利要求1～6中任一项所述的人物动向记录装置，其特征在于，
前述生理心理学指标包括表情、笑脸度、每单位时间的脉搏数、每单位时间的眨眼数、注视度、瞳孔径、眼球运动、每单位时间的呼吸数、体温、冒汗、血流及血压中的至少1个项目。
8.如权利要求1～7中任一项所述的人物动向记录装置，其特征在于，
还具备通过对前述运动图像数据进行解析来推测前述人物的属性的属性推测部；
前述动向记录数据还包含由前述属性推测部推测出的属性的信息。
9.如权利要求1～8中任一项所述的人物动向记录装置，其特征在于，
还具备基于前述动向记录数据来显示动向分析结果的动向分析结果显示部；
前述动向分析结果包括将在前述人物的追踪期间中关于前述人物发生的1个以上的事件、和前述人物的生理心理学指标的随着时间的变化在时间轴上显示的信息。
10.如权利要求5所述的人物动向记录装置，其特征在于，
还具备基于前述动向记录数据来显示动向分析结果的动向分析结果显示部；
前述动向分析结果包含显示根据多个人物的前述动向记录数据计算出的前述生理心理学指标及/或前述满意度的统计值的信息。
11.如权利要求6所述的人物动向记录装置，其特征在于，
还具备基于前述动向记录数据来显示动向分析结果的动向分析结果显示部；
前述动向分析结果包含显示根据多个人物的前述动向记录数据计算出的前述生理心理学指标及/或前述关注度的统计值的信息。
12.如权利要求10或11所述的人物动向记录装置，其特征在于，
在前述对象区域内设定有多个子区域；
前述动向分析结果包含显示按照前述子区域计算出的前述统计值的信息。
13.如权利要求10～12中任一项所述的人物动向记录装置，其特征在于，
还具备通过对前述运动图像数据进行解析来推测前述人物的属性的属性推测部；
前述动向记录数据还包含由前述属性推测部推测出的属性的信息；
前述动向分析结果包含显示按照前述属性计算出的前述统计值的信息。
14.如权利要求10～13中任一项所述的人物动向记录装置，其特征在于，
前述动向分析结果包含显示按照事件的种类计算出的前述统计值的信息。
15.一种人物动向记录方法，其特征在于，
具有：
由计算机取得将对象区域摄影的运动图像数据的步骤；
通过由计算机对前述运动图像数据进行解析、检测并追踪在前述对象区域内行动的人物的步骤；
通过由计算机对前述运动图像数据进行解析、检测在前述人物的追踪期间中关于前述人物发生的事件的步骤；
通过由计算机对前述运动图像数据进行解析、检测前述追踪期间中的前述人物的生理心理学指标的随着时间的变化的步骤；以及
由计算机至少生成将关于前述人物发生的1个以上的事件与前述人物的生理心理学指标的随着时间的变化在时间上建立了对应的数据、作为前述人物的动向记录数据向存储装置保存的步骤。
16.一种程序，用来使计算机执行权利要求15所述的人物动向记录方法的各步骤。
CN201780071316.1A 2017-03-14 2017-11-28 人物动向记录装置、人物动向记录方法及存储介质 Active CN109983505B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-048828 2017-03-14
JP2017048828A JP6724827B2 (ja) 2017-03-14 2017-03-14 人物動向記録装置
PCT/JP2017/042505 WO2018168095A1 (ja) 2017-03-14 2017-11-28 人物動向記録装置、人物動向記録方法、及びプログラム

Publications (2)

Publication Number Publication Date
CN109983505A true CN109983505A (zh) 2019-07-05
CN109983505B CN109983505B (zh) 2023-10-17

Family

ID=63523766

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780071316.1A Active CN109983505B (zh) 2017-03-14 2017-11-28 人物动向记录装置、人物动向记录方法及存储介质

Country Status (5)

Country Link
US (1) US11106900B2 (zh)
JP (1) JP6724827B2 (zh)
CN (1) CN109983505B (zh)
DE (1) DE112017007261T8 (zh)
WO (1) WO2018168095A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7521175B2 (ja) * 2019-03-19 2024-07-24 日本電気株式会社 顧客情報処理装置、顧客情報処理方法、及びプログラム
JP7251392B2 (ja) * 2019-08-01 2023-04-04 株式会社デンソー 感情推定装置
JP7227884B2 (ja) * 2019-10-10 2023-02-22 株式会社日立製作所 購買促進システムおよび購買促進方法
CN110942055A (zh) * 2019-12-31 2020-03-31 北京市商汤科技开发有限公司 展示区域的状态识别方法、装置、设备及存储介质
JP7526955B2 (ja) * 2020-02-05 2024-08-02 パナソニックＩｐマネジメント株式会社 観客分析装置、観客分析方法、及び、コンピュータプログラム
CN111983210B (zh) * 2020-06-29 2022-04-15 北京津发科技股份有限公司 基于时间同步的空间位置和多通道人机环境数据采集、时空行为分析方法和装置
CN112487888B (zh) * 2020-11-16 2023-04-07 支付宝(杭州)信息技术有限公司 一种基于目标对象的图像采集方法及装置
US20240303985A1 (en) 2021-01-15 2024-09-12 Nec Corporation Information processing apparatus, information processing method, and program
JP2024075796A (ja) * 2021-02-17 2024-06-05 株式会社Preferred Networks 解析装置、解析システム、解析方法及びプログラム
JP2022142075A (ja) * 2021-03-16 2022-09-30 サトーホールディングス株式会社 表示システム、制御装置、及び制御プログラム
JP7453181B2 (ja) * 2021-05-20 2024-03-19 Ｌｉｎｅヤフー株式会社 情報処理装置、情報処理方法、及び情報処理プログラム
US11887405B2 (en) * 2021-08-10 2024-01-30 Capital One Services, Llc Determining features based on gestures and scale
JP7276419B1 (ja) 2021-12-24 2023-05-18 富士通株式会社 情報処理プログラム、情報処理方法、および情報処理装置
WO2024018545A1 (ja) * 2022-07-19 2024-01-25 富士通株式会社 生成プログラム、生成方法および情報処理装置
JP7333570B1 (ja) 2022-12-21 2023-08-25 株式会社Shift プログラム、方法、情報処理装置、システム

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070270664A1 (en) * 2004-10-27 2007-11-22 Canon Kabushiki Kaisha Estimation Apparatus and Its Control Method
CN101108125A (zh) * 2007-08-02 2008-01-23 张志强 一种身体体征动态监测系统
US20110301433A1 (en) * 2010-06-07 2011-12-08 Richard Scott Sadowsky Mental state analysis using web services
US20140222479A1 (en) * 2013-02-01 2014-08-07 Panasonic Corporation Customer service status analysis device, customer service status analysis system and customer service status analysis method
CN104054038A (zh) * 2011-10-26 2014-09-17 索尼电脑娱乐公司 个体鉴别装置和个体鉴别方法
CN104221054A (zh) * 2012-05-23 2014-12-17 松下电器产业株式会社 人物属性推定系统及学习用数据生成装置
JP2015041240A (ja) * 2013-08-22 2015-03-02 Kddi株式会社 多数のユーザの通信履歴からイベントの発生位置を推定する装置、プログラム及び方法
JP2016103786A (ja) * 2014-11-28 2016-06-02 日立マクセル株式会社 撮像システム
JP2016181896A (ja) * 2015-03-11 2016-10-13 チュンウェ インフォメーション テクノロジー カンパニー，リミテッド リアルタイム位置基盤イベント発生システム及びそれを用いた端末制御方法
CN106264568A (zh) * 2016-07-28 2017-01-04 深圳科思创动实业有限公司 非接触式情绪检测方法和装置
CN106407935A (zh) * 2016-09-21 2017-02-15 俞大海 基于人脸图像和眼动注视信息的心理测试方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4338147B2 (ja) * 2007-08-02 2009-10-07 技研トラステム株式会社 商品関心度計測装置
US8539359B2 (en) * 2009-02-11 2013-09-17 Jeffrey A. Rapaport Social network driven indexing system for instantly clustering people with concurrent focus on same topic into on-topic chat rooms and/or for generating on-topic search results tailored to user preferences regarding topic
US11494390B2 (en) * 2014-08-21 2022-11-08 Affectomatics Ltd. Crowd-based scores for hotels from measurements of affective response
JP6728863B2 (ja) * 2016-03-25 2020-07-22 富士ゼロックス株式会社 情報処理システム

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070270664A1 (en) * 2004-10-27 2007-11-22 Canon Kabushiki Kaisha Estimation Apparatus and Its Control Method
CN101108125A (zh) * 2007-08-02 2008-01-23 张志强 一种身体体征动态监测系统
US20110301433A1 (en) * 2010-06-07 2011-12-08 Richard Scott Sadowsky Mental state analysis using web services
CN102933136A (zh) * 2010-06-07 2013-02-13 阿弗科迪瓦公司 利用网络服务的精神状态分析
CN104054038A (zh) * 2011-10-26 2014-09-17 索尼电脑娱乐公司 个体鉴别装置和个体鉴别方法
CN104221054A (zh) * 2012-05-23 2014-12-17 松下电器产业株式会社 人物属性推定系统及学习用数据生成装置
US20140222479A1 (en) * 2013-02-01 2014-08-07 Panasonic Corporation Customer service status analysis device, customer service status analysis system and customer service status analysis method
JP2015041240A (ja) * 2013-08-22 2015-03-02 Kddi株式会社 多数のユーザの通信履歴からイベントの発生位置を推定する装置、プログラム及び方法
JP2016103786A (ja) * 2014-11-28 2016-06-02 日立マクセル株式会社 撮像システム
JP2016181896A (ja) * 2015-03-11 2016-10-13 チュンウェ インフォメーション テクノロジー カンパニー，リミテッド リアルタイム位置基盤イベント発生システム及びそれを用いた端末制御方法
CN106264568A (zh) * 2016-07-28 2017-01-04 深圳科思创动实业有限公司 非接触式情绪检测方法和装置
CN106407935A (zh) * 2016-09-21 2017-02-15 俞大海 基于人脸图像和眼动注视信息的心理测试方法

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
LEE, SANG-JUN: "Comparison of Customer Satisfaction Indices Using Different Methods of Weight Calculation", 《JOURNAL OF DIGITAL CONVERGENCE 》 *
LEE, SANG-JUN: "Comparison of Customer Satisfaction Indices Using Different Methods of Weight Calculation", 《JOURNAL OF DIGITAL CONVERGENCE 》, 28 December 2013 (2013-12-28), pages 201 - 211 *
孙毅，杨建: "基于顾客满意度因素的购买意图与购买行为模型研究", 《技术经济与管理研究》 *
孙毅，杨建: "基于顾客满意度因素的购买意图与购买行为模型研究", 《技术经济与管理研究》, 30 April 2006 (2006-04-30), pages 30 - 32 *
陈斌: "基于顾客满意的高档商务饭店服务环境研究", 《中国优秀硕士学位论文全文数据库经济与管理科学辑》 *
陈斌: "基于顾客满意的高档商务饭店服务环境研究", 《中国优秀硕士学位论文全文数据库经济与管理科学辑》, 15 June 2006 (2006-06-15), pages 1 - 123 *
陈蕾英等: "基于语义的用户关注度计算", 《中国图象图形学报》 *
陈蕾英等: "基于语义的用户关注度计算", 《中国图象图形学报》, 31 March 2013 (2013-03-31), pages 1 - 7 *

Also Published As

Publication number Publication date
US20190332855A1 (en) 2019-10-31
DE112017007261T8 (de) 2020-01-16
WO2018168095A1 (ja) 2018-09-20
DE112017007261T5 (de) 2019-11-28
JP6724827B2 (ja) 2020-07-15
CN109983505B (zh) 2023-10-17
JP2018151963A (ja) 2018-09-27
US11106900B2 (en) 2021-08-31

Similar Documents

Publication Publication Date Title
CN109983505A (zh) 人物动向记录装置、人物动向记录方法及程序
EP3355761B1 (en) Emotional/behavioural/psychological state estimation system
US12053297B2 (en) Method and apparatus for determining health status
Generosi et al. A deep learning-based system to track and analyze customer behavior in retail store
KR101535432B1 (ko) 콘텐츠 평가 시스템 및 이를 이용한 콘텐츠 평가 방법
EP2698112B1 (en) Real-time stress determination of an individual
US20220222687A1 (en) Systems and Methods for Assessing the Marketability of a Product
JP4717934B2 (ja) 関係分析方法、関係分析プログラム、および、関係分析装置
CN110036402A (zh) 用于媒体内容表现的预测的数据处理方法
US20140164056A1 (en) Biosensitive response evaluation for design and research
US20180060757A1 (en) Data annotation method and apparatus for enhanced machine learning
US20140019199A1 (en) Automatically evaluating customer satisfaction
US20210020295A1 (en) Physical function independence support device of physical function and method therefor
US9241664B2 (en) Using physical sensory input to determine human response to multimedia content displayed on a mobile device
US20180293598A1 (en) Personal behavior analysis device, personal behavior analysis system, and personal behavior analysis method
JP2014081913A (ja) アンケート分析装置、アンケート分析システム、アンケート分析方法、及びプログラム
US20130262182A1 (en) Predicting purchase intent based on affect
Cook et al. Towards automatic screening of typical and atypical behaviors in children with autism
JP2012022538A (ja) 注目位置推定方法、画像表示方法、注目コンテンツ表示方法、注目位置推定装置および画像表示装置
CN113647950A (zh) 心理情绪检测方法及系统
US20220192561A1 (en) Information processing system, information processing method, and information processing apparatus
CN115429271A (zh) 基于眼动和面部表情的孤独症谱系障碍筛查系统及方法
CN118338853A (zh) 计算机程序、信息处理方法及信息处理装置
Ramalho et al. An augmented teleconsultation platform for depressive disorders
KR101940673B1 (ko) 인체 미동을 이용한 공감도 평가 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant