CN114450701A - 信息处理系统及方法以及信息处理装置 - Google Patents

信息处理系统及方法以及信息处理装置 Download PDF

Info

Publication number
CN114450701A
CN114450701A CN202080067174.3A CN202080067174A CN114450701A CN 114450701 A CN114450701 A CN 114450701A CN 202080067174 A CN202080067174 A CN 202080067174A CN 114450701 A CN114450701 A CN 114450701A
Authority
CN
China
Prior art keywords
emotion
person
information
area
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080067174.3A
Other languages
English (en)
Inventor
牧野研司
寺田昌弘
林大辅
江乡俊太
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN114450701A publication Critical patent/CN114450701A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/02—Reservations, e.g. for tickets, services or events
    • G06Q10/025—Coordination of plural reservations, e.g. plural trip segments, transportation combined with accommodation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4803—Speech analysis specially adapted for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/02—Reservations, e.g. for tickets, services or events
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G06Q10/043—Optimisation of two dimensional placement, e.g. cutting of clothes or wood
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state

Abstract

本发明提供一种能够掌握情绪传递能力的信息处理系统及方法以及信息处理装置。测量第1区域内的人物的情绪指数。制作将所测量的指数与第1区域内的人物的位置建立对应关联而表示的地图数据。根据所制作的地图数据来推定人物的情绪传递能力。将所推定的人物的情绪传递能力的信息存储在存储部中。

Description

信息处理系统及方法以及信息处理装置
技术领域
本发明涉及一种信息处理系统及方法以及信息处理装置。
背景技术
在专利文献1中记载了一种系统，其作为演员信息储存系统，拍摄在剧场内观赏戏剧的观众，根据所获得的图像数据来计算表示观众正在笑的程度的值，将所计算出的值与戏剧演员建立对应关联而存储。
在专利文献2中记载了一种技术，在演唱会等实时传送视频的服务中，通过热图使收看视频的用户的高涨程度可视化，并提示给会场的演员等。
以往技术文献
专利文献
专利文献1：日本特开2016-133939号公报
专利文献2：国际公开第2016/009865号
发明内容
本发明的技术所涉及的一个实施方式提供一种能够掌握情绪传递能力的信息处理系统及方法以及信息处理装置。
用于解决技术课题的手段
(1)一种信息处理系统，其具备：测量部，测量第1区域内的人物的情绪的指数；地图数据制作部，制作将由测量部测量的指数与第1区域内的人物的位置建立对应关联而表示的地图数据；推定部，根据由地图数据制作部制作的地图数据来推定人物的情绪传递能力；及存储部，存储由推定部推定的人物的情绪传递能力的信息。
(2)根据(1)所述的信息处理系统，其中，测量部具备：情绪测定部，测定第1区域内的人物的情绪；及计算部，根据情绪测定部对人物的情绪的测定结果来计算人物的指数。
(3)根据(2)所述的信息处理系统，其中，计算部根据情绪测定部的测定结果来计算人物的情绪的级别及情绪的振幅中的至少一者，从而计算人物的指数。
(4)根据(2)或(3)所述的信息处理系统，其中，测量部还具备：摄影部，拍摄第1区域；及脸部检测部，从由摄影部拍摄的图像中检测第1区域内的人物的脸部，情绪测定部根据由脸部检测部检测的各人物的脸部的图像来测定人物的情绪。
(5)根据(2)至(4)中任一项所述的信息处理系统，其中，测量部还具备活体信息接收部，该活体信息接收部接收第1区域内的人物的活体信息，计算部进一步根据由活体信息接收部接收的人物的活体信息来计算人物的指数。
(6)根据(2)至(5)中任一项所述的信息处理系统，其中，测量部还具备声音信息接收部，该声音信息接收部接收第1区域内的人物发出的声音的信息，计算部进一步根据由声音信息接收部接收的声音的信息来计算人物的指数。
(7)根据(2)至(6)中任一项所述的信息处理系统，其中，测量部还具备振动信息接收部，该振动信息接收部接收第1区域内的人物的振动的信息，计算部进一步根据由振动信息接收部接收的人物的振动的大小来计算人物的指数。
(8)根据(1)至(7)中任一项所述的信息处理系统，其中，推定部将作为对周围赋予情绪的能力的第1能力及作为传递周围的情绪的能力的第2能力中的至少一者推定为情绪传递能力。
(9)根据(8)所述的信息处理系统，其中，推定部从地图数据中提取指数为阈值以上的区域，求出所提取的区域的重心，推定人物的第1能力。
(10)根据(9)所述的信息处理系统，其中，推定部进一步根据地图数据计算区域内的人物的指数的总和，推定位于区域的重心的人物的第1能力的高度。
(11)根据(8)所述的信息处理系统，其中，推定部根据地图数据，对每个人物求出位于距人物规定的距离内的人物的指数的总和，推定人物的第1能力的高度。
(12)根据(8)所述的信息处理系统，其中，推定部根据时间序列的地图数据来推定人物的第2能力。
(13)根据(12)所述的信息处理系统，其中，推定部根据时间序列的地图数据求出指数的传播速度，推定人物的第2能力的高度。
(14)根据(1)至(13)中任一项所述的信息处理系统，其还具备属性信息接收部，该属性信息接收部接收人物的属性信息，存储部进一步存储有属性信息接收部接收到的人物的属性信息。
(15)根据(1)至(14)中任一项所述的信息处理系统，其还具备：人物信息接收部，接收配置在第2区域的人物的信息；信息获取部，从存储部获取配置在第2区域的人物的情绪传递能力的信息；及配置确定部，根据配置在第2区域的人物的情绪传递能力的信息来确定人物在第2区域中的配置。
(16)根据(15)所述的信息处理系统，其还具备判别部，该判别部根据人物的信息来判别人物的情绪传递能力，由判别部判别在存储部中没有信息的人物的情绪传递能力。
(17)根据(16)所述的信息处理系统，其中，判别部使用通过机器学习生成的判别模型来判别人物的情绪传递能力。
(18)根据(17)所述的信息处理系统，其中，判别部使用通过使用存储在存储部中的信息进行机器学习而生成的判别模型，判别人物的情绪传递能力。
(19)根据(15)至(18)中任一项所述的信息处理系统，其中，配置确定部根据配置在第2区域的人物的情绪传递能力的信息来模拟配置在第2区域的人物的指数的变动，求出指数在第2区域内均匀且最大化的配置，确定人物在第2区域中的配置。
(20)根据(19)所述的信息处理系统，其还具备提取部，该提取部从存储部中存储有信息的人物中提取情绪传递能力高的人物，配置确定部添加由提取部提取的人物，确定人物在第2区域中的配置。
(21)根据(15)至(20)中任一项所述的信息处理系统，其还具备接受部，该接受部从配置在第2区域的人物接受关于配置的请求，配置确定部进一步根据由接受部接受的请求来确定人物在第2区域中的配置。
(22)一种信息处理方法，其包括如下步骤：测量第1区域内的人物的情绪的指数的步骤；制作将所测量的指数与第1区域内的人物的位置建立对应关联而表示的地图数据的步骤；根据所制作的地图数据来推定人物的情绪传递能力的步骤；及将所推定的人物的情绪传递能力的信息存储在存储部中的步骤。
(23)根据(22)的信息处理方法，其还包括如下步骤：接收第2区域的信息的步骤；接收配置在第2区域的人物的信息的步骤；从存储部获取配置在第2区域的人物的情绪传递能力的信息的步骤；及根据配置在第2区域的人物的情绪传递能力的信息来确定人物在第2区域中的配置的步骤。
(24)一种信息处理装置，其具备：存储部，存储人物的情绪传递能力的信息；人物信息接收部，接收配置在第2区域的人物的信息；信息获取部，从存储部获取配置在第2区域的人物的情绪传递能力的信息；及配置确定部，根据配置在第2区域的人物的情绪传递能力的信息来确定人物在第2区域中的配置。
附图说明
图1是表示信息处理系统的概略结构的图。
图2是表示情绪量测量装置的概略结构的图。
图3是测量装置主体所具有的功能的框图。
图4是表示情绪传递能力推定装置的硬件结构的一例的框图。
图5是情绪传递能力推定装置所具有的功能的框图。
图6是表示活动会场的一例的平面图。
图7是表示在图6所示的活动会场制作的热图的一例的图。
图8是表示领导力的推定方法的一例的图。
图9是表示领导力的推定方法的另一例的图。
图10是表示某个座位列中的各观众的情绪量的经时变化的图。
图11是情绪传递能力推定装置所具有的功能的框图。
图12是表示顾客数据库的一例的图。
图13是配置确定装置所具有的功能的框图。
图14是情绪量的模拟的概念图。
图15是表示直到制作数据库为止的处理的步骤(信息处理方法)的流程图。
图16是表示利用顾客数据库的观众的配置确定处理的步骤(信息处理方法)的流程图。
图17是第2实施方式的配置确定装置所具有的功能的框图。
图18是第3实施方式的配置确定装置所具有的功能的框图。
图19是第4实施方式的配置确定装置所具有的功能的框图。
具体实施方式
以下，按照附图对本发明的优选的实施方式进行详细说明。
[第1实施方式]
在观看、观赛演唱会、体育等活动(无论付费或免费)等的情况下，周围的气氛(周围的高涨等)对各观众的满意度的影响较大。因此，为了提高各观众的满意度，优选考虑各观众所具有的情绪传递能力(对周围赋予情绪的能力、传递周围的情绪的能力等)来配置各观众。即，优选设为整个会场均匀地高涨的配置。然而，以往没有掌握各观众的情绪传递能力的技术。因此，在举办活动时，无法进行使观众的满意度最大化的配置。
在本实施方式中，测量观看活动等的观众的情绪，并根据其测量结果来推定各观众所具有的情绪传递能力。并且，将所推定的各观众的情绪传递能力制作成数据库。而且，使用该数据库来确定下次以后的活动中的观众的配置。
[系统结构]
图1是表示本实施方式的信息处理系统的概略结构的图。
如该图所示，本实施方式的信息处理系统1主要具备情绪量测量装置10、情绪传递能力推定装置100、数据库装置200及配置确定装置300等而构成。
[情绪量测量装置]
情绪量测量装置10测量观看、观赛活动等的观众(人物)的情绪量。情绪量测量装置10是测量部的一例。情绪量是用数值表示情绪(喜怒哀乐等)的状态(喜怒哀乐等情绪的级别、情绪的振幅的大小等)的量。情绪量是表示人物的情绪的指数的一例。
图2是表示情绪量测量装置的概略结构的图。情绪量测量装置10具有：拍摄观众8的摄影部20；以及处理由摄影部20拍摄的图像，测量各观众的情绪量的测量装置主体30。
摄影部20在举办活动的会场中，拍摄观众所在的区域(第1区域)。具体而言，拍摄观众席的区域，拍摄在观众席(座位)进行观看、观赛等的观众8(参考图1)。
摄影部20由至少一个摄影装置21构成。在能够用一个拍摄所有(包括几乎全部)的区域的情况下，由一个摄影装置21构成摄影部20。例如，在通过使用广角透镜等，能够用一个拍摄对象区域内的所有的观众8的情况下，由一个摄影装置21构成摄影部20。另一方面，在用一个无法拍摄区域内的所有的观众8的情况下，由多个摄影装置21构成摄影部20。在该情况下，将对象区域分割为多个区域，由多个摄影装置21分担所分割的区域来进行拍摄。
摄影装置21拍摄至少能够判别观众8的表情的画质的图像。因此，摄影装置21优选使用具有高分辨率的摄影装置。摄影装置21设置在能够拍摄作为摄影对象的区域的观众8的脸部的位置。
摄影装置21由所谓的摄像机(组装有具备拍摄视频(时间序列的图像)的功能的数码相机等)构成。由摄影装置21拍摄的图像(时间序列的图像)被输出到测量装置主体30。
测量装置主体30由具备CPU(Central Processing Unit：中央处理单元)31、ROM(Read Only Memory：只读存储器)32、RAM(Random Access Me mory：随机存取存储器)33、HDD(Hard Disk Drive：硬盘驱动器)34、操作部(例如，键盘、鼠标、触摸面板等)35、显示部(例如，液晶显示器等)36、图像输入部37及通信部38等的计算机构成。测量装置主体30经由图像输入部37与各摄影装置21连接，从各摄影装置21输入图像数据。测量装置主体30与各摄影装置21之间的连接形式可以是有线，也可以是无线。并且，测量装置主体30经由通信部38与情绪传递能力推定装置100等可通信地连接。测量装置主体30与情绪传递能力推定装置100之间的连接形式可以是有线，也可以是无线。
图3是测量装置主体所具有的功能的框图。
如该图所示，测量装置主体30具有图像获取部30A、脸部检测部30B、情绪测定部30C、选择部30D、情绪量计算部30E及情绪量信息输出30F的功能。这些功能通过作为处理器的CPU31执行规定的程序来实现。该程序例如存储在HDD34中。
图像获取部30A经由图像输入部37从构成摄影部20的摄影装置21中获取拍摄观众8的图像(动态图像)。
脸部检测部30B从所获取的图像中检测观众的脸部。脸部检测部30B检测作为对象的区域内的所有的观众的脸部。脸部检测采用公知的方法。
情绪测定部30C根据由脸部检测部30B检测到的观众的脸部的图像来测定观众的情绪。情绪的种类由表示情绪的词来表示。因此，情绪的测定是指通过表示情绪的词来确定情绪的种类。情绪的确定可以是基于表示单一的情绪的词的确定，也可以是基于表示情绪的词的组合的确定。在组合表示情绪的词的情况下，也可以对表示各情绪的词进行加权。在本实施方式中，将情绪分类为“喜悦”、“愤怒”、“悲伤”、“享受”这4种(所谓的喜怒哀乐)。作为情绪的测定结果，输出将各情绪各自的程度(也称为情绪相似度)数值化的分数(情绪分数)。例如以最大值为100输出情绪分数。情绪分数可以以各情绪各自的程度的合计成为100的方式输出。情绪测定部30C通过图像识别来测定观众的情绪。图像识别例如能够使用通过机器学习(例如，深度学习等)而生成的图像识别模型来进行。此外，能够使用公知的方法，根据脸部的图像测定情绪。
选择部30D接受作为情绪量计算的对象的选择。作为情绪量计算的对象是特定的情绪的级别(大小)或情绪的振幅。根据活动的内容选择作为情绪量计算的对象。例如，在演唱会中，认为喜悦及享受的大小联系到观众的满意度。因此，在演唱会的情况下，喜悦及享受的情绪的级别被选择为作为情绪量计算的对象。并且，例如，在观看体育赛事中，认为情绪的振幅的大小(例如，喜悦和悲伤的情绪的振幅的大小)联系到观众的满意度。因此，在观看体育赛事的情况下，情绪的振幅的大小被选择为作为情绪量计算的对象。选择部30D经由操作部35接受对象的选择。
情绪量计算部30E根据情绪测定部30C对观众的情绪的测定结果，计算由选择部30D选择的对象作为情绪量。因此，例如，在选择部30D中，在选择计算特定的情绪的级别作为情绪量的情况下，情绪量计算部30E计算特定的情绪的级别作为情绪量。在该情况下，计算所选择的情绪的分数作为情绪量。例如，在选择计算喜悦的情绪的级别作为情绪量的情况下，计算喜悦的分数作为情绪量。并且，例如，在选择计算喜悦及享受的情绪的级别作为情绪量的情况下，计算喜悦及享受的分数之和作为情绪量。另外，作为各情绪的分数之和计算情绪量的情况下，也可以进行加权来计算。即，也可以构成为对各情绪的分数乘以预先确定的系数来计算和(情绪量)。并且，在选择部30D中，在选择计算特定的情绪的振幅作为情绪量的情况下，情绪量计算部30E计算特定的情绪的振幅作为情绪量。例如，在选择计算喜悦和悲伤的情绪的振幅的大小作为情绪量的情况下，以预先确定的时间间隔计算喜悦的分数与悲伤的分数之差(例如，时刻t的喜悦的分数与时刻t+Δt的悲伤的分数之差)，从而计算情绪量(情绪的振幅的大小)。并且，例如，在选择计算喜悦的情绪的振幅的大小作为情绪量的情况下，以预先确定的时间间隔计算喜悦的分数之差，从而计算情绪量(情绪的振幅的大小)。情绪量计算部30E是计算部的一例。
情绪量信息输出30F将由情绪量计算部30E计算出的各观众的情绪量的信息输出(发送)到情绪传递能力推定装置100。情绪量信息输出30F经由通信部38将各观众的情绪量的信息输出(发送)到情绪传递能力推定装置100。此时，情绪量信息输出30F与各观众的位置的信息建立关联而输出各观众的情绪量的信息。各观众的位置例如由座位位置确定。事先获取座位位置的信息(会场的信息)。所获取的座位位置的信息例如存储在HDD34中。
如上所述，情绪量测量装置10根据从摄影部20获得的图像来测量各观众的情绪量。在摄影部20中，由于连续拍摄观众的图像，因此连续测量各观众的情绪量。另外，测量不一定需要在所有的帧中进行，能够构成为以预先确定的帧间隔(时间间隔)进行。并且，在各定时(帧)中，并不一定能够检测所有的观众的脸部，因此情绪量的测量仅对检测到脸部的观众进行。对于无法测量情绪量的观众，输出无法测量的内容的信息。
[情绪传递能力推定装置]
情绪传递能力推定装置100根据由情绪量测量装置10测量的各观众的情绪量的信息来推定各观众所具有的情绪传递能力。
情绪传递能力用对周围赋予情绪的能力及传递周围的情绪的能力中的至少一者来表示。
对周围赋予情绪的能力是对周围赋予主动发出的情绪的能力。该能力能够理解为主动使场所气氛高涨的能力(振荡能力)。即，可以说是表示作为使场所气氛高涨的领导者或者对周围赋予的影响力较大的影响者的资质的能力。该能力的高度表示作为领导者或者影响者的能力的高度、影响力的高度。
另一方面，传递周围的情绪的能力是容易传播周围的情绪的能力。因此，该能力高的人物是容易受到周围的情绪的影响的人物。该能力能够理解为跟随场所的气氛的能力(跟随能力)。即，可以说是表示作为跟随领导者的追随者的资质的能力。因此，可以说传递周围的情绪的能力高的人物是根据场所的气氛高涨的能力高的人物。即，可以说是对周围的高涨作出反应而能够一起高涨的能力高的人物。
本实施方式的情绪传递能力推定装置100将对周围赋予情绪的能力作为“领导力”，将传递周围的情绪的能力作为“追随力”，并推定这两者。领导力是第1能力的一例，追随力是第2能力的一例。
情绪传递能力推定装置100根据由情绪量测量装置10测量的各观众的情绪量的信息来制作热图，根据所制作的热图来推定情绪传递能力(领导力及追随力)。热图是地图数据的一例。
图4是表示情绪传递能力推定装置的硬件结构的一例的框图。
情绪传递能力推定装置100由具备CPU101、ROM102、RAM103、HDD104、操作部(例如，键盘、鼠标、触摸面板等)105、显示部(例如，液晶显示器等)106及通信部107等的计算机构成。情绪传递能力推定装置100经由通信部107与情绪量测量装置10、数据库装置200及配置确定装置300等可通信地连接。连接形式可以是有线，也可以是无线。
图5是情绪传递能力推定装置所具有的功能的框图。
如该图所示，情绪传递能力推定装置100具有情绪量信息输入部100A、热图制作部100B、情绪传递能力推定部100C及情绪传递能力信息输出部100D的功能。这些功能通过CPU101执行规定的程序来实现。该程序例如存储在HDD104中。
情绪量信息输入部100A接受从情绪量测量装置10输出(发送)的各观众的情绪量的信息的输入。情绪量的信息经由通信部107输入(接收)到情绪量信息输入部100A。各观众的情绪量的信息与各观众的位置(座位位置)的信息建立关联而输入。
热图制作部100B制作将各观众的情绪量与活动会场内的各观众的位置建立对应关联而表示的热图。在已确定座位的活动中，能够根据座位位置来确定各观众的位置。事先获取座位位置的信息(会场的信息)。所获取的座位位置的信息例如存储在HDD104中。
图6是表示活动会场的一例的平面图。
在该图中，符号2是舞台，符号3是座位。并且，在该图中，虚线所示的区域4是观众席的区域，是观众所在的区域(第1区域)。摄影部20拍摄该区域4，并拍摄各观众。
图7是表示在图6所示的活动会场制作的热图的一例的图。
热图HM能够通过用颜色或颜色的浓淡表示各位置的观众的情绪量的值来可视化。在图7所示的例子中，用座位的位置确定各观众的位置，用浓淡表现情绪量的值。另外，热图不一定需要可视化。只要能够确定各观众的位置和情绪量即可。
根据情绪量的测量间隔生成热图。即，以与情绪量的测量间隔相同的间隔制作。由于沿着时间序列连续或断续地测量情绪量，因此也沿着时间序列连续或断续地制作热图。由此，生成时间序列的热图。另外，热图的制作间隔不一定需要与情绪量的测量间隔相同，因此也可以以不同的间隔制作。
情绪传递能力推定部100C是推定部的一例。情绪传递能力推定部100C根据由热图制作部100B制作的热图的数据来推定各观众所具有的情绪传递能力。如上所述，在本实施方式中，作为观众所具有的情绪传递能力，推定作为对周围赋予情绪的能力的领导力(第1能力)及作为传递周围的情绪的能力的追随力(第2能力)。领导力及追随力通过以下方法来推定。
图8是表示领导力的推定方法的一例的图。
情绪传递能力推定部100C从热图HM中提取情绪量为阈值以上的区域5，求出所提取的区域5的重心6，从而推定各观众的领导力。即，推定存在于重心6的位置的观众为具有领导力的观众。在该情况下，推定其他观众没有领导力。
并且，情绪传递能力推定部100C计算区域5内的观众的情绪量的总和，对推定为具有领导力的观众(重心6的位置的观众)的领导力进行模型化(数值化)。
在通过本方法推定领导力的情况下，也可以限定所提取的区域5的尺寸(面积)。即，也可以构成为提取一定尺寸以上的区域。在本方法中，能够构成为根据在特定的定时获取的热图来推定各观众的领导力。并且，能够构成为根据在特定的期间(例如，活动的整个期间)获取的时间序列的热图来推定各观众的领导力。在根据特定的期间获取的时间序列的热图来推定各观众的领导力的情况下，例如能够将在各帧的图像中求出的各观众的领导力的累计值作为该观众的领导力。并且，能够将其平均值作为该观众的领导力。
图9是表示领导力的推定方法的另一例的图。
在本方法中，分别单独推定各观众的领导力。情绪传递能力推定部100C针对各观众求出位于规定的距离内的观众的情绪量的总和，并对各观众的领导力进行模型化(数值化)。具体而言，对每个观众设定半径r的圆，对每个观众求出位于圆的内侧的观众(包括位于圆上的情况)的情绪量的总和，分别单独推定各观众的领导力。另外，图9表示求出观众8x的情绪量的情况的例子。在该情况下，如该图所示，以观众8x为中心设定半径r的圆7。计算位于所设定的圆7的内侧的观众的情绪量的总和，求出该观众8x的情绪量。通过对各观众进行相同的运算处理，分别单独求出各观众的情绪量。根据本方法，能够分别单独掌握各观众的领导力。关于表示规定的距离的范围的圆的半径r，优选根据活动的内容、会场的大小等来适当设定。另外，在本方法中，能够构成为根据在特定的定时获取的热图来推定各观众的领导力。并且，能够构成为根据在特定的期间(例如，活动的整个期间)获取的时间序列的热图来推定各观众的领导力。在根据特定的期间获取的时间序列的热图来推定各观众的领导力的情况下，例如能够将在各帧的图像中求出的各观众的领导力的累计值作为该观众的领导力。并且，能够将其平均值作为该观众的领导力。
使用时间序列的热图来推定追随力。图10是表示某个座位列中的各观众的情绪量的经时变化的图。该图(A)表示追随力高的观众的座位列的情绪量的经时变化，该图(B)表示追随力高的观众的座位列的情绪量的经时变化。如图10所示，追随力高的观众的座位列的情绪量的传播速度快。另一方面，追随力低的观众的座位列的情绪量的传播速度慢。如此，各观众的追随力能够根据情绪量的传播速度来推定。情绪传递能力推定部100C根据时间序列的热图(以预先确定的时间间隔制作的热图)求出情绪量的传播速度，对各观众的追随力进行模型化(数值化)。
情绪传递能力信息输出部100D将由情绪传递能力推定部100C推定的各观众的情绪传递能力的信息，即各观众的领导力的信息及追随力的信息输出(发送)到数据库装置200。情绪传递能力推定部100C经由通信部107将各观众的领导力及追随力的信息输出(发送)到数据库装置200。此时，情绪传递能力信息输出部100D将各观众的领导力及追随力的信息与观众的位置的信息建立关联而输出。观众的位置的信息由座位位置确定。
如上所述，情绪传递能力推定装置100根据各观众的情绪量的信息生成热图，并根据所生成的热图来推定各观众所具有的情绪传递能力(领导力及追随力)。另外，在各定时(帧)中，不一定测量所有的观众的情绪量，因此根据测量了情绪量的观众的信息来生成热图。对于未测量情绪量的观众，通过替换为预先确定的值来生成热图。
[数据库装置]
数据库装置200根据由情绪传递能力推定装置100推定的各观众的情绪传递能力(领导力及追随力)的信息来生成顾客(观众)的数据库。
数据库装置200由具备CPU、ROM、RAM、HDD、操作部(例如，键盘、鼠标、触摸面板等)、显示部(例如，液晶显示器等)及通信部等的计算机构成(参考图4)。数据库装置200经由通信部与情绪传递能力推定装置100及配置确定装置300等可通信地连接。连接形式可以是有线，也可以是无线。
图11是情绪传递能力推定装置所具有的功能的框图。
如该图所示，数据库装置200具有情绪传递能力信息输入部210、属性信息输入部212、数据库处理部214及数据存储部216的功能。
情绪传递能力信息输入部210接受从情绪传递能力推定装置100输出(发送)的各观众的情绪传递能力的信息的输入。情绪传递能力的信息经由通信部输入(接收)到情绪传递能力信息输入部210。各观众的情绪传递能力的信息与各观众的位置(座位位置)的信息建立关联而输入。
数据库处理部214根据所输入的各观众的情绪传递能力(领导力及追随力)的信息来生成顾客的数据库。即，生成将观众与该观众的情绪传递能力的信息建立关联而记录的数据库(顾客数据库)。顾客数据库存储在数据存储部216中。
图12是表示顾客数据库的一例的图。
对各顾客赋予用户ID(ID：Identification(标识))。用户ID是用于确定个人的识别码。作为顾客的各观众的情绪传递能力(领导力及追随力)的信息与各顾客的用户ID建立关联而存储。
另外，在数据库装置200中事先输入各座位位置中的观众的用户ID的信息，并保持。例如，经由通信部从外部的装置获取，并存储在HDD中。数据库处理部214参考该信息从座位位置确定用户ID，并获取与该座位位置建立关联的观众的情绪传递能力(领导力及追随力)。
顾客的属性信息被建立关联而存储在顾客数据库中。属性信息包括例如顾客(观众)的年龄、性别、重复次数、购买信息、嗜好等信息。重复次数例如是参加同一活动的次数(例如，参加同一艺人的演唱会的次数、观看同一队的比赛的次数等)。购买信息例如是活动的主办方销售的门票、商品等购买历史的信息等。嗜好是活动的喜好的信息，例如通过对顾客的问卷等收集。或者，根据购买信息来推定。属性信息通过属性信息输入部212获取。属性信息输入部212经由通信部与外部的装置(例如，出票终端等)进行通信，接受属性信息的输入。与用户ID建立关联而输入属性信息。
情绪传递能力信息输入部210、属性信息输入部212及数据库处理部214的功能通过CPU执行规定的程序来实现。该程序例如存储在HDD中。数据存储部2]6例如由HDD构成。数据存储部216是存储部的一例。属性信息输入部212是属性信息接收部的一例。
如上所述，数据库装置200生成各顾客的情绪传递能力的信息及属性信息的数据库(顾客数据库)。每次举办活动时追加或更新数据库。即，每次获取新的信息(情绪传递能力的信息及属性信息)时追加或更新。由此，能够收集多数顾客的信息，且能够收集多数活动中的情绪传递能力的信息。
[配置确定装置]
配置确定装置300确定举办新的活动时的观众的配置。配置确定装置300利用存储在数据库装置200中的顾客数据库的信息来确定观众的配置。
配置确定装置300由具备CPU、ROM、RAM、HDD、操作部(例如，键盘、鼠标、触摸面板等)、显示部(例如，液晶显示器等)及通信部等的计算机构成(参考图4)。配置确定装置300经由通信部与情绪传递能力推定装置100及数据库装置200等可通信地连接。连接形式可以是有线，也可以是无线。
图13是配置确定装置所具有的功能的框图。
如该图所示，配置确定装置300具有会场信息输入部310、观众信息输入部312、情绪传递能力信息获取部314及配置确定部316的功能。各部的功能通过CPU执行规定的程序来实现。该程序例如存储在HDD中。
会场信息输入部310接受举办活动的会场的信息的输入。会场的信息是配置观众的区域(第2区域)的信息。更具体而言，该区域中的观众席的配置信息(座位的配置位置的信息)。会场的信息经由通信部输入(接收)到会场信息输入部310。
另外，关于会场的信息，也能够预先存储在HDD等中。在该情况下，从HDD等中读出来获取会场的信息。
观众信息输入部312接受参加(观看、观赛等)活动的观众的信息的输入。该信息是配置在第2区域的多个人物的信息。观众的信息是能够确定观众个人的信息。在本实施方式中，输入用户ID的信息。观众的信息经由通信部输入(接收)到观众信息输入部312。例如，从出票终端等发送，经由通信部输入(接收)到观众信息输入部312。观众信息输入部312是人物信息接收部的一例。
情绪传递能力信息获取部314访问数据库装置200，获取参加活动的各观众的情绪传递能力(领导力及追随力)的信息。情绪传递能力信息获取部314是信息获取部的一例。
另外，并非所有的观众的情绪传递能力的信息都登记在顾客数据库中。因此，情绪传递能力信息获取部314仅针对登记在顾客数据库中的观众获取其情绪传递能力的信息。
配置确定部316根据由情绪传递能力信息获取部314获取的各观众的情绪传递能力(领导力及追随力)的信息来确定活动会场中的各观众的配置(座位配置)。具体而言，根据各观众的情绪传递能力的信息来模拟各观众的情绪量的变动，寻求情绪量在会场内均匀地最大化的配置。此时，所使用的情绪传递能力的信息使用同种活动中求出的情绪传递能力的信息。即，使用与要举办的活动的内容对应的情绪的情绪传递能力的信息。例如，在演唱会中，使用与喜悦及享受的情绪对应的情绪传递能力的信息(基于根据喜悦及享受的情绪级别计算出的情绪量的情绪传递能力的信息)。并且，在观看体育赛事的情况下，使用与情绪的振幅对应的情绪传递能力的信息(基于根据情绪的振幅的大小计算出的情绪量的情绪传递能力的信息)。
模拟能够采用所谓的热模拟的方法。即，将“领导力”理解为“发热量”，将“追随力”理解为“导热率”，将“情绪量”理解为“热量”，使用公知的热模拟(热分析)的方法来模拟情绪量的变动。
图14是情绪量的模拟的概念图。
该图表示在观众A、观众B、观众C、观众D在排列成一列的情况下，具有领导力的观众A的情绪量传递到观众B、观众C及观众D的形象。将“领导力”作为“发热量”，将“追随力”作为“导热率”而作为模拟参数，模拟情绪量(热量)伝播的情况。进行该模拟，求出情绪量均匀且最大化的配置。
另外，并非对所有的观众都获取情绪传递能力的信息。对于未获取情绪传递能力的信息的观众，通过替换为预先确定的值来进行模拟。
由配置确定部316确定的观众的配置信息存储在HDD中。并且，根据需要显示在显示部。
如上所述，配置确定装置300利用顾客数据库的信息(各观众的情绪传递能力的信息)，确定举办新的活动时的观众的配置。由配置确定装置300和数据库装置200构成的装置构成用于确定举办新的活动时的观众的配置的信息处理装置。
[作用]
本实施方式的信息处理系统1进行的处理大致分为：(1)求出观众的情绪传递能力，制作其数据库(顾客数据库)的处理；及(2)利用所制作的数据库，确定观众的配置的处理。以下，分别说明各处理。
(1)求出观众的情绪传递能力并制作顾客数据库的处理
图15是表示直到制作数据库为止的处理的步骤(信息处理方法)的流程图。
首先，在活动会场中，拍摄观众(步骤S1)。即，在观众席的区域(第1区域)中，拍摄观看、观赛活动等的观众8。
接着，根据通过摄影获得的图像来测定各观众的情绪(步骤S2)。即，从通过摄影获得的图像中检测各观众的脸部，根据所检测到的脸部的图像来测定各观众的情绪。更具体而言，根据脸部的表情来测定(推定)情绪。
接着，根据所测定的情绪来计算各观众的情绪量(步骤S3)。根据活动的内容选择情绪量的计算对象。例如，在演唱会中，计算喜悦及享受的情绪的级别作为情绪量。并且，在观看体育赛事中，计算情绪的振幅的大小作为情绪量。通过到此为止的工序测量各观众的情绪量。
接着，根据所测量的各情绪量的信息，制作将各观众的情绪量与各观众的位置建立对应关联而表示的热图(步骤S4)。各观众的位置由各观众的座位位置确定。因此，制作每个座位(观众席)的情绪量的热图(参考图7)。
接着，根据所制作的热图来推定各观众的情绪传递能力(步骤S5)。在本实施方式的系统中，作为各观众所具有的情绪传递能力，推定领导力的高度及追随力的高度。通过到此为止的工序求出各观众的情绪传递能力。
接着，根据所推定的各观众的情绪传递能力的信息制作顾客数据库(步骤S6)。即，针对每个观众制作记录有其情绪传递能力的信息的数据库。各观众由其座位位置确定。各观众的属性信息也建立关联记录在顾客数据库中。
通过以上一连串的工序制作情绪传递能力的数据库。
(2)利用数据库确定观众的配置的处理
图16是表示利用顾客数据库的观众的配置确定处理的步骤(信息处理方法)的流程图。
首先，输入会场的信息(步骤S11)。即，输入举办活动的会场的信息。该信息是在活动会场中配置观众的区域(第2区域)的信息。具体而言，是活动会场中的座位的配置的信息。
接着，输入观众的信息(步骤S12)。即，输入参加活动的观众的信息。该信息是配置在观众席上的观众的信息，是能够在顾客数据库中确定个人的信息。
接着，从顾客数据库中获取各观众(配置在活动会场的观众席上的观众的信息)的情绪传递能力的信息(步骤S13)。另外，只有在顾客数据库中登记有信息的观众能够获取情绪传递能力的信息。
接着，根据所获取的各观众的情绪传递能力的信息来确定各观众的配置(步骤S14)。具体而言，使用各观众的情绪传递能力的信息，进行情绪量的变动的模拟，求出在整个会场中情绪量均匀且最大化的配置。对于没有情绪传递能力的信息的观众(新顾客)，通过替换为预先确定的值来进行模拟。
通过以上一连串的工序确定观众的配置。
根据本实施方式的信息处理系统，掌握各观众的情绪传递能力，利用其信息来配置观众，因此能够进行使观众的满意度最大化的配置。
[第2实施方式]
在确定观众的配置时，对于未登记在顾客数据库中的观众(新顾客)，无法获取情绪传递能力的信息。并且，即使是登记在顾客数据库中的观众，有时也没有登记作为控制对象的情绪传递能力的信息。例如，在举办观看体育赛事的活动的情况下，仅登记有在演唱会时测量的情绪传递能力的信息的情况、仅登记有在内容完全不同的演唱会中测量的情绪传递能力的信息的情况等，相当于此。
在本实施方式的信息处理系统中，在确定观众的配置时，根据该观众所具有的信息来判别顾客数据库中没有信息的观众(包括没有对应的情绪传递能力的信息的情况)的情绪传递能力，并将其用作配置观众时的信息。
在本实施方式的信息处理系统中，配置确定装置300具备判别观众(顾客)的情绪传递能力的功能。
图17是本实施方式的配置确定装置所具有的功能的框图。
如该图所示，本实施方式的配置确定装置300与上述第1实施方式的配置确定装置300的不同点在于，还具备情绪传递能力判别部318的功能。以下，仅对不同点进行说明。
情绪传递能力判别部318判别顾客数据库中没有信息的观众(包括没有对应的情绪传递能力的信息的情况)的情绪传递能力。情绪传递能力判别部318是判别部的一例。情绪传递能力判别部318根据观众的属性信息(例如，年龄、性别、重复次数、购买信息、嗜好等的信息)来判别(推定)该观众的情绪传递能力。在本实施方式中，情绪传递能力判别部318使用通过机器学习生成的判别模型来判别(推定)观众的情绪传递能力。该判别模型例如能够使用顾客数据库中登记的信息进行机器学习(例如，深度学习等)来生成。
如此，根据本实施方式的信息处理系统，即使是数据库中没有信息的观众，也能够求出其情绪传递能力的大致值。由此，能够求出更适当的观众的配置。
[第3实施方式]
如上所述，观众的配置被确定为在整个会场中情绪量均匀且最大化的配置。然而，也存在所确定的配置达不到所希望的品质的情况。例如，在成为领导者的观众(具有高领导力的观众)不足的状况下，难以以所希望的品质级别进行配置。在本实施方式的信息处理系统中，在确定观众的配置时，根据需要添加情绪传递能力高的人物(尤其领导力高的人物)来确定观众的配置。
图18是本实施方式的配置确定装置所具有的功能的框图。
如该图所示，本实施方式的配置确定装置300与上述第1实施方式及第2实施方式的配置确定装置300的不同点在于，还具备适当人物提取部320的功能。以下，仅对不同点进行说明。
适当人物提取部320从登记在顾客数据库中的顾客中提取情绪传递能力高的人物(顾客)，获取其情绪传递能力的信息。适当人物提取部320是提取部的一例。在本实施方式中，提取领导力高的人物，并获取其情绪传递能力的信息。另外，在提取时，提取与要举办的活动的内容对应的情绪的情绪传递能力高的人物。
提取处理根据来自操作者的指示进行。操作者指定要提取的人数、情绪的种类，指示提取处理的执行。
当由适当人物提取部320进行情绪传递能力高的人物的提取处理时，配置确定部316添加该人物并进行配置的确定处理。
操作者适当增减提取人数，执行配置确定处理。由此，能够实现所希望的品质级别的配置。
对于所提取的人物，将其信息提示给操作者(例如，显示在显示部)。操作者进行对该活动的邀请、优待等。
如上所述，根据本实施方式的信息处理系统，适当添加情绪传递能力高的人物来调整观众的配置，因此能够将品质保持在一定水平以上。
[第4实施方式]
在本实施方式的信息处理系统中，接受来自参加活动的观众的关于配置的请求，确定各观众的配置。
图19是本实施方式的配置确定装置所具有的功能的框图。
如该图所示，本实施方式的配置确定装置300与上述第1实施方式至第3实施方式的配置确定装置300的不同点在于，还具备请求接受部322的功能。以下，仅对不同点进行说明。
请求接受部322进行接受来自参加活动的观众的配置请求的处理。具体而言，接受是否重视场所的气氛，在重视的情况下，是否希望从周围受到影响的请求。配置确定部316考虑所接受的请求，确定各观众的配置。例如，对于重视场所的气氛，希望从周围受到影响的顾客，配置在领导力高的人物的附近。相反，对于希望从周围受到影响的顾客，远离领导力高的人物进行配置。
如此，通过接受来自观众的配置请求并确定配置，能够实现满意度更高的配置。
另外，也能够构成为接受所有的观众的请求，但若接受所有的观众的请求，则认为无法实现所希望的品质级别的配置。在这种情况下，能够构成为仅对一定的观众接受其请求。例如，能够构成为仅对总支付金额高的顾客接受其请求。
关于配置请求，例如能够构成为在申请时接受，其信息能够作为该观众的属性信息来记录。
[变形例]
[情绪测量装置的变形例]
在上述实施方式中，构成为作为情绪指数测量情绪量，且构成为计算特定的情绪的级别或情绪的振幅，但计算情绪量的方法并不限定于此。只要能够将情绪作为数值求出即可。因此，例如，也能够构成为计算特定的情绪的级别及情绪的振幅这两者，从而计算情绪量(情绪指数)。
并且，在上述实施方式中，构成为根据观众的表情(从图像识别的表情)测定情绪，并计算情绪量，但也能够利用其他信息来计算情绪量。
例如，在能够收集观众的活体信息(心率、脉搏、体温等)的情况下，也能够利用该信息来计算情绪量。在该情况下，测量装置主体具备接受观众的活体信息的活体信息接收部的功能。利用安装在各观众身上的传感器(心率计、体温计等)来测定观众的活体信息。
并且，例如，在能够收集观众发出的声音信息(声音的大小及音质等)的情况下，也能够利用该信息(声音的大小及音质中的至少一者)来计算情绪量。在该情况下，测量装置主体具备接收观众发出的声音信息的声音信息接收部的功能。观众发出的声音的信息例如通过在座位(观众席)上设置麦克风来收集。或者，将麦克风安装在观众身上来收集。声音信息不一定需要是个人的信息，也能够作为区域的信息来收集。在该情况下，在区域中收集的声音成为属于该区域的各观众的声音。
并且，例如，在能够收集观众的振动信息的情况下，也能够利用该信息来计算情绪量。在该情况下，测量装置主体具备接收观众的振动信息的振动信息接收部。观众的振动信息例如通过在座位(观众席)上设置测量振动的传感器来收集。振动信息不一定需要是个人的信息，也能够作为区域的信息来收集。在该情况下，在区域中收集的振动成为属于该区域的各观众的振动。
能够适当组合这些信息来计算情绪量。并且，在根据所拍摄的图像来测定观众的情绪的情况下，也能够构成为根据从多个方向拍摄观众的图像来测定观众的情绪。在该情况下，从多个方向拍摄同一区域，获取测定用图像。
情绪量的测量可以实时进行，也可以在活动结束后进行。在活动结束后进行的情况下，在活动的举办中拍摄观众的图像，并记录该图像数据。
并且，情绪量的测量不一定需要在活动举办中的整个期间进行。也能够以预先确定的时间间隔进行。并且，电能够在预先确定的期间内实施。
并且，也能够在活动内切换情绪量的测量对象。例如，在演唱会中，也能够根据乐曲种类来切换测量对象的情绪量。由此，能够获取与各种情绪对应的情绪量的信息。
为了求出更准确的情绪传递能力，优选排除从活动本身受到的影响。关于情绪量，也可以通过减去从会场的整体或一部分计算出的平均值来捕捉观众之间的差分。
并且，为了抑制因不同观众的情绪表现的大小而引起的偏差，也可以对各不同观众使用通过活动整体的情绪量的最大值、最小值来进行标准化。
[情绪传递能力推定装置的变形例]
在上述实施方式中，通过领导力及追随力来定义了情绪传递能力，但情绪传递能力也能够仅通过领导力及追随力中的一者来定义。而且，也能够添加其他能力来定义。例如，能够添加情绪容易冷淡的能力等。例如，能够通过情绪量的每单位时间的减少率来求出情绪容易冷淡的能力。
[数据库装置的变形例]
在上述实施方式中，构成为通过座位位置和座位位置中的观众的用户ID来确定观众，但确定观众的方法并不限定于此。例如，能够构成为利用拍摄观众的图像，通过所谓的脸部认证来确定各观众个人。在该情况下，例如准备将个人的脸部与用户ID建立关联而存储的脸部认证用数据库。并且，从拍摄观众的图像中检测各观众的脸部，与登记在数据库中的脸部的图像进行核对而确定个人。即，确定用户ID。拍摄观众的图像例如能够利用由情绪量测量装置的摄影部拍摄的图像。此外，能够利用另外拍摄的图像。
[系统的结构]
在上述实施方式中，情绪传递能力推定装置100、数据库装置200及配置确定装置300由不同的装置构成，但也能够构成为一个装置。即，也可以用一个计算机来实现这些功能。构成该装置的计算机所实现的功能也能够包含情绪量测量装置10的测量装置主体30的功能。
执行各种处理的处理部(processing unit)的硬件结构由各种处理器(processor)实现。各种处理器包括执行程序而作为各种处理部发挥功能的通用的处理器即CPU(Central Processing Unit：中央处理单元)、FPGA(Field Programmable GateArray：现场可编程门阵列)等在制造后能够变更电路结构的处理器即可编程逻辑器件(Programmable Logic Device：PLD)、ASIC(Application Specific Integrated Circuit：专用集成电路)等具有为了执行特定的处理而进行专用设计的电路结构的处理器即专用电路等。程序的含义与软件的含义相同。
一个处理部可以由这些各种处理器中的一个构成，也可以由同种或异种的两个以上的处理器构成。例如，一个处理部也可以由多个FPGA或者CPU和FPG A的组合构成。并且，也可以由1个处理器构成多个处理部。作为由一个处理器构成多个处理部的例子，第1，有如下方式：如以客户端或服务器等计算机为代表那样，由一个以上的CPU和软件的组合构成一个处理器，该处理器作为多个处理部发挥功能。第2，有如下方式：如以片上系统(System OnChip：SoC)等为代表那样，使用由一个IC(Integrated Circuit，集成电路)芯片实现包括多个处理部的系统整体的功能的处理器。如此，各种处理部使用1个以上的上述各种处理器作为硬件结构而构成。
符号说明
1-信息处理系统，4-观众所在的区域(第1区域)，5-在热图中情绪量为阈值以上的区域，6-区域的重心，7-圆，8-观众，8x-观众，10-情绪量测量装置，20-摄影部，21-摄影装置，30-测量装置主体，30A-图像获取部，30B-脸部检测部，30C-情绪测定部，30D-选择部，30E-情绪量计算部，30F-情绪量信息输出，31-CPU，34-HDD，35-操作部，37-图像输入部，38-通信部，100-情绪传递能力推定装置，100A-情绪量信息输入部，100B-热图制作部，100C-情绪传递能力推定部，100D-情绪传递能力信息输出部，101-CPU，102-ROM，103-RAM，104-HDD，107-通信部，200-数据库装置，210-情绪传递能力信息输入部，212-属性信息输入部，214-数据库处理部，216-数据存储部，300-配置确定装置，310-会场信息输入部，312-观众信息输入部，314-情绪传递能力信息获取部，316-配置确定部，318-情绪传递能力判别部，320-适当人物提取部，322-请求接受部，A-观众，B-观众，C-观众，D-观众，HM-热图，S1～S6-直到制作数据库为止的处理的步骤，S11～S14-利用顾客数据库的观众的配置确定处理的步骤，r-圆的半径。

Claims (24)

1.一种信息处理系统，其具备：
处理器，其构成为进行如下处理：
测量第1区域内的人物的情绪的指数，
制作将所述测量的所述指数与所述第1区域内的所述人物的位置建立对应关联而表示的地图数据，
根据所述制作的所述地图数据来推定所述人物的情绪传递能力；及
存储部，存储所述推定的所述人物的所述情绪传递能力的信息。
2.根据权利要求1所述的信息处理系统，其中，
所述处理器还构成为进行如下处理：
在所述测量中，
测定所述第1区域内的所述人物的情绪，
根据所述人物的情绪的测定结果来计算所述人物的所述指数。
3.根据权利要求2所述的信息处理系统，其中，
所述处理器还构成为进行如下处理：
在所述计算中，
根据所述人物的情绪的测定结果来计算所述人物的情绪的级别及情绪的振幅中的至少一者，从而计算所述人物的所述指数。
4.根据权利要求2或3所述的信息处理系统，其中，
所述处理器还构成为进行如下处理：
在所述测量中，
拍摄所述第1区域的图像，
从所述拍摄的图像中检测所述第1区域内的所述人物的脸部，
在所述人物的情绪的测定中，
根据由所述脸部检测部检测的各所述人物的脸部的图像来测定所述人物的情绪。
5.根据权利要求2至4中任一项所述的信息处理系统，其中，
所述处理器还构成为进行如下处理：
在所述测量中，
接收所述第1区域内的所述人物的活体信息，
在所述计算中，
根据所述接收到的所述人物的活体信息来计算所述人物的所述指数。
6.根据权利要求2至5中任一项所述的信息处理系统，其中，
所述处理器还构成为进行如下处理：
在所述测量中，
接收所述第1区域内的所述人物发出的声音的信息，
在所述计算中，
根据所述接收到的所述声音的信息来计算所述人物的所述指数。
7.根据权利要求2至6中任一项所述的信息处理系统，其中，
所述处理器还构成为进行如下处理：
在所述测量中，
接收所述第1区域内的所述人物的振动的信息，
在所述计算中，
根据所述接收到的所述人物的振动的大小来计算所述人物的所述指数。
8.根据权利要求1至7中任一项所述的信息处理系统，其中，
所述处理器还构成为进行如下处理：
在所述推定中，
将作为对周围赋予情绪的能力的第1能力及作为传递周围的情绪的能力的第2能力中的至少一者推定为所述情绪传递能力。
9.根据权利要求8所述的信息处理系统，其中，
所述处理器还构成为进行如下处理：
在所述推定中，
从所述地图数据中提取所述指数为阈值以上的区域，求出所提取的所述区域的重心，推定所述人物的所述第1能力。
10.根据权利要求9所述的信息处理系统，其中，
所述处理器还构成为进行如下处理：
在所述推定中，
根据所述地图数据计算所述区域内的所述人物的所述指数的总和，推定位于所述区域的重心的所述人物的所述第1能力的高度。
11.根据权利要求8所述的信息处理系统，其中，
所述处理器还构成为进行如下处理：
在所述推定中，
根据所述地图数据，对每个所述人物求出位于距所述人物规定的距离内的所述人物的所述指数的总和，推定所述人物的所述第1能力的高度。
12.根据权利要求8所述的信息处理系统，其中，
所述处理器还构成为进行如下处理：
在所述推定中，
根据时间序列的所述地图数据来推定所述人物的所述第2能力。
13.根据权利要求12所述的信息处理系统，其中，
所述处理器还构成为进行如下处理：
在所述推定中，
根据时间序列的所述地图数据求出所述指数的传播速度，推定所述人物的所述第2能力的高度。
14.根据权利要求1至13中任一项所述的信息处理系统，其中，
所述处理器还构成为接收所述人物的属性信息，
所述存储部还存储由所述属性信息接收部接收到的所述人物的属性信息。
15.根据权利要求1至14中任一项所述的信息处理系统，其中，
所述处理器还构成为进行如下处理：
接收配置在第2区域的人物的信息，
从所述存储部获取配置在所述第2区域的所述人物的所述情绪传递能力的信息，
根据配置在所述第2区域的所述人物的所述情绪传递能力的信息来确定所述人物在所述第2区域中的配置。
16.根据权利要求15所述的信息处理系统，其中，
所述处理器还构成为进行如下处理：
根据所述人物的信息来判别在所述存储部中没有信息的所述人物的所述情绪传递能力。
17.根据权利要求16所述的信息处理系统，其中，
所述处理器还构成为进行如下处理：
在所述判别中，
使用通过机器学习生成的判别模型来判别所述人物的所述情绪传递能力。
18.根据权利要求17所述的信息处理系统，其中，
所述处理器还构成为进行如下处理：
在所述判别中，
使用通过使用存储在所述存储部中的信息进行机器学习而生成的所述判别模型，判别所述人物的所述情绪传递能力。
19.根据权利要求15至18中任一项所述的信息处理系统，其中，
所述处理器还构成为进行如下处理：
在确定所述人物在所述第2区域中的配置中，
根据配置在所述第2区域的所述人物的所述情绪传递能力的信息来模拟配置在所述第2区域的所述人物的所述指数的变动，求出所述指数在所述第2区域内均匀且最大化的配置，确定所述人物在所述第2区域中的配置。
20.根据权利要求19所述的信息处理系统，其中，
所述处理器还构成为进行如下处理：
从所述存储部中存储有信息的所述人物中提取所述情绪传递能力高的所述人物，
在确定所述人物在所述第2区域中的配置中，
添加所述提取的所述人物，确定所述人物在所述第2区域中的配置。
21.根据权利要求15至20中任一项所述的信息处理系统，其中，
所述处理器还构成为进行如下处理：
从配置在所述第2区域的所述人物接受关于配置的请求，
在确定所述人物在所述第2区域中的配置中，
根据由所述接受部接受的请求来确定所述人物在所述第2区域中的配置。
22.一种信息处理方法，其包括如下步骤：
测量第1区域内的人物的情绪的指数，
制作将所测量的所述指数与所述第1区域内的所述人物的位置建立对应关联而表示的地图数据，
根据所制作的所述地图数据来推定所述人物的情绪传递能力，
将所推定的所述人物的所述情绪传递能力的信息存储在存储部中。
23.根据权利要求22所述的信息处理方法，其包括如下步骤：
接收第2区域的信息，
接收配置在所述第2区域的人物的信息，
从所述存储部获取配置在所述第2区域的所述人物的所述情绪传递能力的信息，
根据配置在所述第2区域的所述人物的所述情绪传递能力的信息来确定所述人物在所述第2区域中的配置。
24.一种信息处理装置，其具备：
存储部，存储人物的情绪传递能力的信息；及
处理器，其构成为进行如下处理：
接收配置在第2区域的人物的信息，
从所述存储部获取配置在所述第2区域的所述人物的所述情绪传递能力的信息，
根据配置在所述第2区域的所述人物的所述情绪传递能力的信息来确定所述人物在所述第2区域中的配置。
CN202080067174.3A 2019-09-26 2020-09-24 信息处理系统及方法以及信息处理装置 Pending CN114450701A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-175713 2019-09-26
JP2019175713 2019-09-26
PCT/JP2020/035898 WO2021060310A1 (ja) 2019-09-26 2020-09-24 情報処理システム及び方法並びに情報処理装置

Publications (1)

Publication Number Publication Date
CN114450701A true CN114450701A (zh) 2022-05-06

Family

ID=75164925

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080067174.3A Pending CN114450701A (zh) 2019-09-26 2020-09-24 信息处理系统及方法以及信息处理装置

Country Status (4)

Country Link
US (1) US20220192561A1 (zh)
JP (2) JP7217813B2 (zh)
CN (1) CN114450701A (zh)
WO (1) WO2021060310A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11023729B1 (en) * 2019-11-08 2021-06-01 Msg Entertainment Group, Llc Providing visual guidance for presenting visual content in a venue

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5390642B2 (ja) * 2009-03-03 2014-01-15 グーグル・インコーポレーテッド ソーシャルネットワークのユーザに広告を提供する方法およびシステム
JP5836210B2 (ja) * 2012-06-25 2015-12-24 日本電信電話株式会社 影響力推定方法、装置及びプログラム
CN111246595B (zh) 2014-01-31 2023-08-18 索尼公司 协调实体、通信装置的电路以及网络元件的电路
US20190259066A1 (en) 2016-11-09 2019-08-22 Sony Corporation Communication device, server device, recording medium, and control method
JP6911505B2 (ja) 2017-05-11 2021-07-28 オムロン株式会社 データ収集装置及び学習装置
JP6833639B2 (ja) * 2017-07-25 2021-02-24 日本電信電話株式会社 観客状況判定装置、その方法、及びプログラム

Also Published As

Publication number Publication date
JP2023033631A (ja) 2023-03-10
US20220192561A1 (en) 2022-06-23
JPWO2021060310A1 (zh) 2021-04-01
JP7451786B2 (ja) 2024-03-18
WO2021060310A1 (ja) 2021-04-01
JP7217813B2 (ja) 2023-02-03

Similar Documents

Publication Publication Date Title
US11941915B2 (en) Golf game video analytic system
EP2907557B1 (en) Information sharing system, program, and information sharing method
US20130151333A1 (en) Affect based evaluation of advertisement effectiveness
Hohmann et al. Does training with 3D videos improve decision-making in team invasion sports?
JP5113721B2 (ja) メディア情報の注目度測定装置、メディア情報の注目度測定方法、メディア情報の注目度測定プログラムおよびそのプログラムを記録した記録媒体
US20130102854A1 (en) Mental state evaluation learning for advertising
CN108475381A (zh) 用于媒体内容的表现的直接预测的方法和设备
US20130262182A1 (en) Predicting purchase intent based on affect
JP7451786B2 (ja) 情報処理システム及び方法
Rosenberg et al. Development of a kinect software tool to classify movements during active video gaming
Vučković et al. Tactical use of the T area in squash by players of differing standard
JP6738655B2 (ja) 案内表示システム、案内表示方法及び案内表示プログラム
JP6566799B2 (ja) 提供装置、提供方法、及びプログラム
JP2021124958A (ja) 観客分析装置、観客分析方法、及び、コンピュータプログラム
KR102318661B1 (ko) 현장 공간에서의 동작 인식을 통한 만족도 조사 시스템
CN110935158B (zh) 篮球视频的交互方法、装置、智能篮球架及存储介质
KR20220141312A (ko) 비디오들을 실시간으로 분석하기 위한 시스템 및 방법
US20190184285A1 (en) Game systems and methods
KR101554062B1 (ko) 영상 인식 기반 재능 진단 방법
CN104571530B (zh) 信息处理方法和信息处理装置
WO2022102550A1 (ja) 情報処理装置及び情報処理方法
EP4213105A1 (en) Gaze estimation system and method thereof
WO2022163285A1 (ja) 興味度判定システム、サーバ装置、プログラム、及び興味度判定方法
Paletta et al. Human factors modeling from wearable sensed data for evacuation based simulation scenarios
CN116630099A (zh) 旅游景点游览方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination