CN114746893A - 信息处理装置及方法、引导系统及方法 - Google Patents

信息处理装置及方法、引导系统及方法 Download PDF

Info

Publication number
CN114746893A
CN114746893A CN202080080038.8A CN202080080038A CN114746893A CN 114746893 A CN114746893 A CN 114746893A CN 202080080038 A CN202080080038 A CN 202080080038A CN 114746893 A CN114746893 A CN 114746893A
Authority
CN
China
Prior art keywords
person
information
information processing
image
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080080038.8A
Other languages
English (en)
Inventor
江乡俊太
寺田昌弘
林大辅
牧野研司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN114746893A publication Critical patent/CN114746893A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q90/00—Systems or methods specially adapted for administrative, commercial, financial, managerial or supervisory purposes, not involving significant data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B27/00—Alarm systems in which the alarm condition is signalled from a central station to a plurality of substations
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Economics (AREA)
  • Emergency Management (AREA)
  • General Business, Economics & Management (AREA)
  • Navigation (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供一种能够根据情况设定最佳移动路径的信息处理装置及方法、引导系统及方法。本发明的引导方法，其包括：拍摄图像的步骤；从摄影图像检测人物的步骤；对检测出的人物的状态进行数值化并进行推断的步骤；创建根据摄影图像内的人物的位置在地图上表示人物的状态的地图数据的步骤；根据地图数据来推断第1区域的第1区域推断部；设定第1区域的人物和/或除第1区域以外的第2区域的人物的移动路径的步骤；发送所设定的移动路径的信息的步骤；及接收所发送的移动路径的信息并提示所接收的移动路径的信息和/或基于移动路径的信息的路径的引导信息的步骤。

Description

信息处理装置及方法、引导系统及方法
技术领域
本发明涉及一种信息处理装置及方法、引导系统及方法。
背景技术
专利文献1中记载有一种系统，其在活动会场中发生灾难时，对各座位的观众提供最佳避难路径的信息。在专利文献1中，通过预先求出从各座位的避难路径，能够对各座位的观众提供最佳避难路径。
以往技术文献
专利文献
专利文献1：日本特开2003-345999号公报
发明内容
本发明的技术所涉及的一个实施方式提供一种能够根据情况设定移动路径的信息处理装置及方法、引导系统及方法。
用于解决技术课题的手段
(1)一种信息处理装置，其具备：人物检测部，从输入图像检测人物；推断部，对通过人物检测部检测出的人物的状态进行数值化并进行推断；地图数据创建部，创建根据输入图像内的人物的位置在地图上表示人物的状态的地图数据；第1区域推断部，根据地图数据来推断第1区域；及移动路径设定部，设定第1区域的人物和/或除第1区域以外的第2区域的人物的移动路径。
(2)根据(1)的信息处理装置，其还具备发送部，所述发送部发送通过移动路径设定部设定的移动路径的信息。
(3)根据(1)或(2)的信息处理装置，其中，推断部具备识别部，所述识别部用于从通过人物检测部检测出的人物的图像识别人物的脸部表情及身体动作中的至少一个，并且，所述推断部根据识别部的识别结果对人物的状态进行数值化并进行推断。
(4)根据(3)的信息处理装置，其中，推断部根据预先设定的基准对识别部的识别结果赋予分数，对人物的状态进行数值化。
(5)根据(3)或(4)的信息处理装置，其中，识别部从通过人物检测部检测出的人物的图像识别人物的脸部表情、脸部朝向及身体动作，推断部根据预先设定的基准对基于识别部的人物的脸部表情、脸部朝向及身体动作的识别结果赋予分数，求出分数的合计来对人物的状态进行数值化。
(6)根据(1)至(5)中任一项的信息处理装置，其中，第1区域推断部具备：计数部，将输入图像分割为多个局部区域，并按每个局部区域计数状态为第1阈值以上的人物的数量；及提取部，提取状态为第1阈值以上的人物的数量为第2阈值以上的局部区域，所述第1区域推断部将通过提取部提取到的局部区域推断为第1区域。
(7)根据(1)至(6)中任一项的信息处理装置，其还具备：记录部，随着时间的推移而记录通过推断部推断出的人物的状态；及最大值检测部，检测随着时间的推移而记录于记录部的人物的状态的最大值，地图数据创建部利用最大值创建地图数据。
(8)根据(1)至(7)中任一项的信息处理装置，其中，输入图像为拍摄具有配置有多个座位的座位区域的会场而得的图像，在座位区域内设定第1区域及第2区域。
(9)根据(1)至(8)中任一项的信息处理装置，其还具备输出部，所述输出部输出将地图数据可视化而得的数据和/或移动路径的信息。
(10)根据(1)至(9)中任一项的信息处理装置，其还具备显示部，所述显示部显示将地图数据可视化而得的数据和/或移动路径的信息。
(11)一种引导系统，其具备：(2)的信息处理装置；摄影装置，拍摄输入至信息处理装置的图像；及提示部，接收从信息处理装置发送的移动路径的信息，并提示所接收的移动路径的信息和/或基于移动路径的信息的路径的引导信息。
(12)一种信息处理方法，其包括：从输入图像检测人物的步骤；对检测出的人物的状态进行数值化并进行推断的步骤；创建根据输入图像内的人物的位置在地图上表示人物的状态的地图数据的步骤；根据地图数据来推断第1区域的第1区域推断部；及设定第1区域的人物和/或除第1区域以外的第2区域的人物的移动路径的步骤。
(13)根据(12)的信息处理方法，其还包括发送所设定的移动路径的信息的步骤。
(14)一种引导方法，其包括：拍摄图像的步骤；从摄影图像检测人物的步骤；对检测出的人物的状态进行数值化并进行推断的步骤；创建根据摄影图像内的人物的位置在地图上表示人物的状态的地图数据的步骤；根据地图数据来推断第1区域的第1区域推断部；设定第1区域的人物和/或除第1区域以外的第2区域的人物的移动路径的步骤；发送所设定的移动路径的信息的步骤；及接收所发送的移动路径的信息并提示所接收的移动路径的信息和/或基于移动路径的信息的路径的引导信息的步骤。
附图说明
图1是表示引导系统的概略结构的图。
图2是表示活动会场的一例的图。
图3是表示连通通道的配置的图。
图4是表示相机的摄影范围的设定的一例的图。
图5是表示信息处理装置的硬件结构的一例的框图。
图6是由信息处理装置实现的功能的框图。
图7是推断部所具有的功能的框图。
图8是从人物的检测至表情、脸部朝向及身体动作的识别为止的处理的概念图。
图9是表示判定基准的一例的图。
图10是表示可视化而得的地图数据的一例的图。
图11是表示兴奋度与点的显示浓度的关系的图。
图12是表示观众区域的分割的一例的图。
图13是危险区域推断部所具有功能的框图。
图14是表示某个局部区域的各观众的兴奋度的一例的图。
图15是表示基于计数部的计数结果的一例的图。
图16是表示在观众区域内没有危险区域时的移动路径的设定的一例的图。
图17是表示在观众区域内存在危险区域时的移动路径的设定的一例的图。
图18是表示引导显示装置的设置位置的一例的图。
图19是表示引导显示装置的结构的框图。
图20是显示控制单元所具有的功能的框图。
图21是表示显示于显示器的引导信息的一例的图。
图22是表示引导系统的处理流程的流程图。
图23是由信息处理装置实现的功能的框图。
图24是表示图通过信息处理装置进行的处理步骤的流程图。
图25是表示引导信息的提示方法的另一例的图。
图26是表示引导信息的提示方法的另一例的图。
具体实施方式
以下，根据附图对本发明的优选实施方式进行详细说明。
[第1实施方式]
在活动会场引导观众时，通常选择前往目的地的最短路径来进行引导。然而，一律以最短路径引导所有观众未必合适。例如，在会场内存在一群兴奋的观众时，若以相同的路径引导这些观众和其他观众，则有可能会导致其他观众卷入意想不到的麻烦中。在本实施方式中，提供一种能够根据情况设定观众等人的移动路径的引导系统。
[引导系统的结构]
在此，以在具有座位(观众席)的活动会场引导场内的观众的情况为例进行说明。
图1是表示本实施方式的引导系统的概略结构的图。
如图1所示，本实施方式的引导系统1具备：摄影装置10，拍摄会场内；信息处理装置100，对通过摄影装置10拍摄而得的图像进行处理来设定会场内的观众的移动路径；及引导显示装置200，根据通过信息处理装置100设定的移动路径的信息来显示路径的引导信息。
[摄影装置]
摄影装置10在活动会场中拍摄观众所在的区域(以下，称为观众区域)。在具有座位(观众席)的活动会场中，配置有座位的区域(座位区域)相当于观众区域。因此，在具有座位的活动会场，拍摄座位区域作为观众区域。
摄影装置10由将图像作为数字数据来记录的相机(包括数码摄像机在内的所谓的数码相机)构成。在无法通过1台相机拍摄会场内的所有的观众区域时，摄影装置10通过组合多台相机而构成。此时，将观众区域分割为多个区域，分担各区域来拍摄。另外，无法通过1台相机拍摄所有的观众区域的情况是指，无法从所拍摄的图像判别观众区域中的各观众的状态的情况，尤其是无法判别脸部表情的情况。因此，即使所有的观众区域进入视场角内，但无法从所拍摄的图像判别观众的状态的情况符合无法通过1台相机拍摄的情况。
图2是表示活动会场的一例的图。图2表示活动会场的俯视图。
图2所示的活动会场300是所谓的比赛场(体育场)。该活动会场300具有参赛者进行比赛的场地310及观众观看比赛的观众区域320。场地310具有矩形形状，以包围其周围的形式具备观众区域320。观众区域320具有研钵状(凹陷成棱锥形的形状)结构，座位(观众席)配置成阶梯状。并且，观众区域320具有双层结构，具有一层座位区域322及二层座位区域324。在一层座位区域322及二层座位区域324之间具备构成平台的环状通道326(以下，称为环状通道326)。一层座位区域322及二层座位区域324分别沿周向分区为多个区块。一层座位区域322及二层座位区域324中，在每个区块配置座位。在各区块规则地配置座位。在各区块之间设置有通道328(以下，称为区块间通道328)。区块间328与环状通道326相连。在区块间通道328，在宽度方向的中央部分设置有扶手328A(参考图4)。扶手328A将区块间328分隔为左右。扶手328A沿着区块间328以规定间隔配置。在环状通道326的多个位置设置有与外周区域330相连的通道332(以下，称为连通通道332)的出入口332X。
图3是表示连通通道的配置的图。
外周区域330作为环状区域而设置于观众区域320的外周。在外周区域330的周围的4个位置设置有门334A～334D。观众利用任意的门334A～334D进入活动会场300。进入活动会场300的观众从外周区域330通过任意的连通通道332进入观众区域320。并且，在观众区域320，通过环状通道326及区块间通道328到达各自的座位。
图如2所示，本实施方式的摄影装置10通过组合多台相机12而构成。各相机12在固定位置拍摄作为对象的区域。图4是表示各相机的摄影范围的设定的一例的图。如图4所示，设定为拍摄相邻的区域的相机彼此的摄影范围W的一部分重叠。由此，能够无遗漏地拍摄观众区域320。
各相机12设置于能够拍摄作为摄影对象的区域内的观众的脸部的位置。并且，各相机12构成为具有能够从所拍摄的图像识别观众的表情的性能。即，具备从所拍摄的图像识别观众的表情所需且充分的分辨性能。
摄影装置10合成通过各相机12拍摄而得的图像并输出(包括发送)至信息处理装置100。即，生成拍摄有所有的观众区域320的1张图像并输出至信息处理装置100。另外，如此对图像进行合成处理并输出时，摄影装置10具备合成处理部。此时，摄影装置10具备多个摄影部(相机)及对通过各摄影部拍摄的图像进行合成处理的合成处理部而构成。另外，还能够设为通过与摄影装置10不同的装置进行合成处理的结构。例如，还能够设为通过信息处理装置100进行的结构。
[信息处理装置]
信息处理装置100对通过摄影装置10拍摄而得的图像进行处理来设定会场内的观众的移动路径，并发送至引导显示装置200。
图5是表示信息处理装置的硬件结构的一例的框图。
信息处理装置100由具备CPU(Central Processing Unit，中央处理单元)101、ROM(Read Only Memory，只读存储器)102、RAM(Random Access Memory，随机存取存储器)103、HDD(Hard Disk Drive，硬盘驱动器)104、操作部(例如，键盘、鼠标、触摸屏等)105、显示部(例如，液晶显示器(liquid crystal display；LCD)、有机电致发光显示器(organicelectro-luminescence display；OELD)等)106、图像输入部107及通信部108等的计算机构成。通过摄影装置10拍摄而得的图像经由图像输入部107输入(包括接收)至信息处理装置100。信息处理装置100中，移动路径的信息经由通信部108发送至引导显示装置200。
图6是由信息处理装置实现的功能的框图。
如图6所示，信息处理装置100实现如下功能：图像获取部110，获取通过摄影装置10拍摄的图像；人物检测部112，从通过图像获取部110获取的图像检测人物；推断部114，推断通过人物检测部112检测出的人物的状态；地图数据创建部116，根据推断部114的推断结果，创建根据各观众的位置在地图上表示会场内的各观众的状态的地图数据；危险区域推断部118，根据地图数据推断会场内的危险区域；移动路径设定部120，根据通过危险区域推断部118推断的危险区域的信息来设定观众的移动路径；及发送部122，将所设定的移动路径的信息发送至引导显示装置200。各功能通过由作为处理器的CPU101执行规定的程序来实现。
图像获取部110经由图像输入部107将从摄影装置10输出的图像(摄影图像)输入至信息处理装置100。所输入的图像(基于摄影装置10的摄影图像)构成输入图像。
人物检测部112从输入图像检测人物。具体而言，从图像检测人物的脸部来检测人物。这种技术是公知的技术，因此省略对其具体方法的说明。例如，能够采用利用通过机器学习、深度学习等生成的图像识别模型来从图像检测人物的方法等。通过确定位置(输入图像内的位置)来检测人物。输入图像内的位置例如由对输入图像设定的坐标来确定。另外，在本实施方式的信息处理装置100中，输入图像为拍摄观众区域而得的图像。因此，在人物检测部112中检测观众区域中的观众(人物)。
推断部114从该人物的图像推断通过人物检测部112检测出的人物(观众)的状态。在本实施方式中，作为人物的状态，根据图像推断兴奋程度。兴奋程度通过数值化来推断。将对兴奋程度进行数值化而得的值定义为兴奋度。在本实施方式中，通过以下方法计算兴奋度。首先，从人物的图像识别该人物的表情、脸部朝向及身体动作的各项目。接着，根据预先设定的判定基准对所识别的各事项赋予分数。判定基准构成为对各项目，认为越兴奋的事项，赋予越高的分数。最后，求出所赋予的分数的合计。所求出的分数的合计成为该人物的兴奋的推断结果。
图7是推断部所具有的功能的框图。
如图7所示，推断部114具有从人物的图像识别人物的脸部表情的表情识别部114A、从人物的图像识别脸部朝向的朝向识别部114B、从人物的图像识别身体动作的动作识别部114C、对通过各识别部识别的事项进行评分的评分部114D及合计评分结果来计算兴奋度的兴奋度计算部114E的功能。
表情识别部114A从通过人物检测部112检测出的人物(观众)的图像、尤其是脸部部分的图像识别该人物的表情。在本实施方式中，从预先设定的多种表情中确定最像的一个来确定对象的表情。表情的种类能够通过表示情绪的词汇来表达。在本实施方式中，将表情分类为“喜悦”、“愤怒”、“厌恶”、“惊讶”、“恐惧”、“悲伤”及“严肃(无表情)”的7种，确定最像的一个来识别表情。从图像识别人物的表情的技术是公知的技术。在本实施方式中，也采用公知的方法从图像识别人物的表情。例如，能够采用利用通过机器学习、深度学习等生成的图像识别模型来从图像识别人物的表情的方法等。另外，如上所述，表情的种类能够通过表示情绪的词汇来表达。因此，识别表情的含义与识别情绪相同。
朝向识别部114B从通过人物检测部112检测出的人物(观众)的图像、尤其是脸部部分的图像识别该人物的脸部朝向。即，识别脸部所朝向的方向(正面、向上、向下、横向、斜上方、斜下方)。在本处理中也能够采用公知的技术。
动作识别部114C从通过人物检测部112检测出的人物(观众)的图像识别该人物的身体动作。在本实施方式中，识别是否进行预先设定的动作。例如，起立、就座、跳跃、抬手、拍手等。在本处理中也能够采用公知的技术。
图8是从人物的检测至表情、脸部朝向及身体动作的识别为止的处理的概念图。
如图8所示，从摄影图像检测人物(观众)，并从检测出的人物的图像IP识别该人物的表情、脸部朝向及身体动作。另外，在图8中，以符号IS1表示的图像是表示摄影图像的一部分的图像，以符号IS2表示的图像是放大图像IS1的一部分(以矩形框包围的区域)的图像。
评分部114D根据预先设定的判定基准对通过各识别部(表情识别部114A、朝向识别部114B及动作识别部114C)识别的事项赋予分数来进行评分。
图9是表示判定基准的一例的图。
如图9所示，对通过各识别部识别的事项确定所赋予的分数。关于分数，认为越兴奋的事项，分配越高的分数。判定基准的信息例如存储于ROM103、HDD104。评分部114D根据该判定基准对通过各识别部识别的事项赋予分数。例如，某个人物(观众)的“表情”的识别结果为“愤怒”，“脸部朝向”的识别结果为“正面”，“身体动作”的识别结果为“跳跃”时，对“表情”的项目赋予的分数为5分(愤怒)，对“脸部朝向”的项目赋予的分数为5分(正面)，对“身体动作”的项目赋予的分数为5分(跳跃)。并且，例如，某个人物(观众)的“表情”的识别结果为“悲伤”，“脸部朝向”的识别结果为“向下”，“身体动作”的识别结果为“就座”时，对“表情”的项目赋予的分数为1分(悲伤)，对“脸部朝向”的项目赋予的分数为1分(向下)，对“身体动作”的项目赋予的分数为1分(就座)。
兴奋度计算部114E合计通过评分部114D赋予的分数来计算兴奋度。例如，对某个人物(观众)，对“表情”的项目赋予5分、对“脸部朝向”的项目赋予5分及对“身体动作”的项目赋予5分时，该人物的兴奋度计算为15(＝5+5+5)。
通过兴奋度计算部114E计算出的兴奋度作为人物状态的推断结果而发送至地图数据创建部116。各观众的兴奋度信息与各观众的位置信息建立关联而发送至地图数据创建部116。
地图数据创建部116根据推断部114的推断结果，创建根据观众的位置在地图上表示会场内的各观众的兴奋度(观众的状态)的地图数据。地图是活动会场的地图。如上所述，各观众在已确定摄影图像内的位置的状态下求出兴奋度。地图数据创建部116在地图上转换各观众在摄影图像内的位置来确定各观众在地图上的位置。位置的转换例如利用转换公式等来进行。转换公式等通过预先求出摄影图像与地图的关系来生成。所生成的转换公式等存储于HDD104。在地图上的位置例如由设定于地图上的坐标来确定。此时，摄影图像内的各观众的坐标位置转换为地图上的坐标位置。
对于地图数据，能够通过以颜色或浓淡表达各观众的兴奋度来进行可视化。即，能够通过在地图的图像上根据兴奋度数值以颜色或浓淡表达各观众的兴奋度来进行可视化(所谓的热度地图)。
图10是表示可视化的地图数据的一例的图。另外，图10是表示可视化而得的地图数据(地图的图像)的一部分的图。
图10所示的例子中，在地图的图像MI上以点(圆形的点)dp表示观众的位置。点dp的位置与摄影图像内的观众的位置对应。观众的位置大致与座位的位置一致。并且，表示观众的位置的点dp以与观众的兴奋度相应的浓度来显示。图11是表示兴奋度与点的显示浓度的关系的图。兴奋度数值越高，以越浓的浓度显示点dp。因此，越是以浓度浓的点dp显示的观众，越是兴奋度高的观众。从图10所示的例子可知兴奋度高的观众集中在图中左斜上方的区块。
危险区域推断部118根据通过地图数据创建部116创建的地图数据推断会场内的危险区域。危险区域是在观众区域320中推断为危险的区域。在本实施方式中，兴奋度高的观众存在规定数量以上的区域视为危险区域。危险区域为第1区域的一例。并且，危险区域推断部118为第1区域推断部的一例。
例如，如下进行危险区域的推断。将观众区域320分割为多个局部区域。按所分割的每个局部区域计数兴奋度为第1阈值以上的观众的数量。对所有的局部区域计数兴奋度为第1阈值以上的观众的数量之后，提取兴奋度为第1阈值以上的观众的数量为第2阈值以上的局部区域。将所提取的局部区域推断为危险区域。
图12是表示观众区域的分割的一例的图。在图12所示的例子中，将大致所有的座位的区块沿周向(座位的横向排列的方向)进行二等分，将观众区域320分割为多个局部区域BA。
图13是危险区域推断部所具有功能的框图。
如图13所示，危险区域推断部118具有：计数部118A，按每个局部区域计数兴奋度为第1阈值以上的人物(观众)的数量；及危险区域提取部118B，提取兴奋度为第1阈值以上的人物(观众)的数量为第2阈值以上的局部区域作为危险区域。
计数部118A根据观众区域320的分割信息，按每个局部区域计数兴奋度为第1阈值以上的人物(观众)的数量。分割信息是表示观众区域320的分割方式的信息。观众区域320的分割信息及第1阈值例如存储于ROM103、HDD104。
图14是表示某个局部区域中的各观众的兴奋度的一例的图。在该例子中，将第1阈值设为11。此时，计数兴奋度为11以上的观众的数量。图14所示的例子中为15人。
危险区域提取部118B根据基于计数部118A的计数结果，提取兴奋度为第1阈值以上的人物(观众)的数量为第2阈值以上的局部区域。危险区域提取部118B是提取部的一例。对于第2阈值，能够在各局部区域设为共同的值，也能够按每个局部区域来设定。例如，每个局部区域的构成人数(具备座位时，座位的数量)不同时，能够按每个局部区域设定第2阈值。此时，例如能够将相对于构成人数预先设定的比率的人数设为第2阈值。第2阈值例如存储于ROM103、HDD104。
图15是表示基于计数部的计数结果的一例的图。在图15中，各局部区域内的数值是各局部区域中兴奋度为第1阈值以上的人物(观众)的数量。在各局部区域中，将第2阈值一律设为20人。在图15所示的例子中，以白色数字表示的3个局部区域被提取为危险区域。
移动路径设定部120根据通过危险区域推断部118推断出的危险区域的信息，设定观众的移动路径。在本实施方式的信息处理装置100中，作为移动路径，设定向外周区域330引导观众区域320内的观众的路径。移动路径设定部120对危险区域的观众和除危险区域以外的区域(非危险区域)的观众分开设定移动路径。非危险区域是观众区域320中除了危险区域以外的区域。非危险区域是第2区域的一例。
如上所述，观众通过连通通道332在观众区域320与外周区域330之间来往。因此，移动路径设定部120设定向连通通道332引导危险区域及非危险区域的观众的路径(移动路径)。设定路径时，移动路径设定部120以避免危险区域的观众的路径与非危险区域的观众的路径相交的方式进行设定。在本实施方式中，如下设定各区域的路径来设定为避免危险区域的观众的路径与非危险区域的观众的路径相交。
首先，对在观众区域320内没有危险区域时的移动路径的设定方法进行说明。
图16是表示在观众区域内没有危险区域时的移动路径的设定的一例的图。
在图16中，以箭头表示的路径R1为设定于各局部区域BA1～BA12的移动路径。此时，从各局部区域BA1～BA12前往最近的连通通道332的最短路径设定为各局部区域BA1～B12的移动路径。例如，在图16中，对于第1局部区域BA1，第1连通通道332A是最近的连通通道，因此前往第1连通通道332A的最短路径设定为移动路径。
接着，对在观众区域320内存在危险区域时的移动路径的设定方法进行说明。
图17是表示在观众区域内存在危险区域时的移动路径的设定的一例的图。图17表示第4局部区域BA4被推断为危险区域时的例子。
首先，确定从各局部区域BA1～BA12最近的连通通道。将前往所确定的连通通道的最短路径设定(临时设定)为各局部区域BA1～B12的移动路径。接着，提取除危险区域以外的局部区域(非危险区域)且使用与危险区域相同的连通通道的局部区域。在图17所示的例子中，图中的第3局部区域BA3、第9局部区域BA9及第10局部区域BA10是与作为危险区域的第4局部区域BA4使用相同的连通通道(第2连通通道332B)的局部区域。接着，重新设定使用与危险区域相同的连通通道的局部区域的移动路径。此时，设定向与危险区域不同的连通通道引导的路径。具体而言，搜索第二近的连通通道，将前往所搜索的连通通道的最短路径设定为移动路径。例如，在图17所示的例子中，第3局部区域BA3中，第1连通通道332A成为第二近的连通通道，因此前往第1连通通道332A的最短路径设定为第3局部区域BA3的移动路径。同样地，第9局部区域BA9中，第1连通通道332A成为第二近的连通通道，因此前往第1连通通道332A的最短路径设定为第9局部区域BA9的移动路径。并且，第10局部区域BA10中，第3连通通道332C成为第二近的连通通道，因此前往第3连通通道332C的最短路径设定为第10局部区域BA10的移动路径。通过如此设定，能够避开危险区域而设定非危险区域的观众的移动路径。即，能够对非危险区域的观众设定安全性高的移动路径。
另外，还假设第二近的连通通道也会成为与危险区域的观众相同的连通通道的情况。此时，前往第三近的连通通道的最短路径设定为移动路径。但是，若如此设定，则存在设定向极远的连通通道引导的移动路径的情况。无法在预先设定的距离的范围内(阈值以内)找到(搜索)适当的连通通道(与危险区域的观众不同的连通通道)时，将前往最近的连通通道的最短路径设定为移动路径。
如图6所示，发送部122经由通信部108将移动路径的信息发送至引导显示装置200。另外，如后述，在每个局部区域具备引导显示装置200。因此，还能够设为仅将与所对应的局部区域的移动路径的信息个别地发送至各引导显示装置200的结构。或者，还能够设为将所有观众区域的移动路径的信息一律发送至各引导显示装置200的结构。
[引导显示装置]
如图1所示，引导显示装置200接收从信息处理装置100发送的移动路径的信息，并根据所接收的移动路径的信息生成并显示路径的引导信息。引导显示装置200是提示部的一例。引导显示装置200设置于会场内的多个位置。
图18是表示引导显示装置的设置位置的一例的图。
如图18所示，在本实施方式的引导系统1中，在环状通道326与区块间通道328所交叉的地点设置引导显示装置200。在每个局部区域配置引导显示装置200。在图18所示的例子中，隔着环状通道326配置于相对的一侧的引导显示装置200成为各局部区域的引导显示装置200。例如，在图18中，以符号BAi表示的局部区域中，以符号200i表示的引导显示装置成为所对应的引导显示装置。
图19是表示引导显示装置的结构的框图。
引导显示装置200具备显示器210及控制该显示器210的显示的显示控制单元220。
显示器210是引导信息的显示部。显示器210例如由LCD、OELD等构成。
显示控制单元220接收从信息处理装置100发送的移动路径的信息。并且，根据所接收的移动路径的信息生成引导信息并显示于显示器210。显示控制单元220由具备在与信息处理装置100之间进行通信的功能的计算机构成。
图20是显示控制单元所具有的功能的框图。
如图20所示，显示控制单元220具有移动路径信息接收部220A、引导信息生成部220B及显示控制部220C的功能。这些功能通过由构成计算机的CPU执行规定的程序来实现。
移动路径信息接收部220A接收从信息处理装置100发送的移动路径的信息。另外，信息处理装置100与引导显示装置200之间的通信的形式并无特别限定。
引导信息生成部220B根据所接收的移动路径的信息生成引导信息。引导信息至少生成所对应的局部区域的引导信息。
显示控制部220C将所生成的引导信息显示于显示器210。
图21是表示显示于显示器的引导信息的一例的图。
在图21所示的例子中，将显示有当前位置(设置有引导显示装置200的地点)的周边地图In1及表示行进方向的箭头In2的图像In作为引导信息来显示。周边地图In1中以箭头显示所设定的移动路径。
[引导系统的动作]
图22是表示本实施方式的引导系统的处理流程的流程图。
[摄影装置中的处理]
首先，通过设置于活动会场的摄影装置10进行拍摄(步骤S11)。通过摄影装置10拍摄而得的图像(摄影图像)输出至信息处理装置100(步骤S12)。该图像是拍摄有观众区域的图像。
[信息处理装置中的处理]
信息处理装置100输入从摄影装置10输出的图像(摄影图像)(步骤S21)。信息处理装置100根据所输入的摄影图像(输入图像)来设定观众的移动路径。以以下步骤进行移动路径的设定。
首先，从摄影图像检测观众区域内的人物(观众)(步骤S22)。通过确定图像内的位置来检测人物。
接着，推断检测出的人物的兴奋度(人物的状态)(步骤S23)。根据图像推断兴奋度。具体而言，从图像识别脸部表情、脸部朝向及身体动作，并根据该识别结果进行推断。兴奋度通过进行数值化来推断。
若推断(计算)出所有人物(观众)的兴奋度，则接着创建兴奋度的地图数据(步骤S24)。地图数据是根据摄影图像内的各观众的位置在会场的地图上表示各观众的兴奋度的数据。
若创建地图数据，则接着根据所创建的地图数据推断危险区域(步骤S25)。以以下步骤推断危险区域。首先，按每个局部区域计数兴奋度为第1阈值以上的观众的数量。局部区域通过将观众区域分割为多个来设定。接着，提取兴奋度为第1阈值以上的观众的数量为第2阈值以上的局部区域。所提取的局部区域被视为危险区域。
若危险区域的推断处理结束，则根据该推断结果设定观众的移动路径(步骤S26)。按每个局部区域设定移动路径。关于移动路径，在存在危险区域的情况和没有危险区域的情况下设定不同的路径。在观众区域内没有危险区域时，从各局部区域前往最近的连通通道的最短路径设定为各局部区域的移动路径。另一方面，在观众区域内存在危险区域时，避开危险区域而设定非危险区域(除危险区域以外的局部区域)的移动路径。具体而言，如下设定。即，首先确定离各局部区域BA1～BA12最近的连通通道。将前往所确定的连通通道的最短路径设定(临时设定)为各局部区域BA1～B12的移动路径。接着，提取使用与危险区域相同的连通通道的局部区域(非危险区域)。接着，变更(重新设定)除危险区域以外的局部区域(非危险区域)且使用与危险区域相同的连通通道的局部区域的移动路径。即，设定使用与危险区域的观众不同的连通通道的路径。具体而言，搜索第二近的连通通道，将前往所搜索的连通通道的最短路径设定为移动路径。但是，无法在预先设定的距离的范围内搜索到适当的连通通道时，也可以将前往最近的连通通道的最短路径设定为移动路径。
若对于各局部区域(危险区域及非危险区域)的移动路径的设定结束，则所设定的移动路径的信息发送至引导显示装置200(步骤S27)。
另外，在信息处理装置100中进行的处理，即根据图像设定移动路径的处理可以设为连续进行的结构，还可以设为以预先设定的时间间隔进行的结构(隔开间隔而进行的结构)。连续进行时，摄影装置10例如将观众区域的图像作为动态图像来拍摄。信息处理装置100以帧单位对作为动态图像而输入的图像进行处理来设定移动路径。另外，以预先设定的时间间隔进行处理时，也能够设为输入动态图像来进行处理的结构。此时，以预先设定的帧间隔对动态图像进行处理来设定移动路径。
[引导显示装置中的处理]
引导显示装置200接收从信息处理装置100发送的移动路径的信息(步骤S31)。引导显示装置200根据所接收的移动路径的信息生成引导信息(步骤S32)。引导显示装置200将所生成的引导信息显示于显示器210(步骤S33)。
在避难、离开等时，观众根据显示于引导显示装置200的显示器210的引导信息在会场内移动。
如以上说明，根据本实施方式的引导系统1，能够对危险区域的观众和非危险区域的观众分开进行引导。由此，能够根据会场的情况适当地引导观众。尤其，能够以安全性高的路径引导非危险区域的观众。并且，划分路径的理由是保密的，因此也不会使危险区域的观众产生反感。
并且，在本实施方式的引导系统1中，创建根据各观众的位置在地图上表示各观众的状态(兴奋度)的地图数据，因此能够准确地掌握会场的情况。并且，观众的状态作为兴奋度进行数值化来表示，因此能够自动提取危险区域。
[第2实施方式]
在本实施方式的引导系统中，在信息处理装置中随着时间的推移而记录各人物(观众)的兴奋度的信息。并且，在信息处理装置中创建地图数据时，根据各人物的兴奋度的履历来创建地图数据。
除信息处理装置以外的结构与上述第1实施方式的引导系统相同。因此，以下仅对信息处理装置的结构进行说明。
[信息处理装置的结构]
图23是由本实施方式的信息处理装置实现的功能的框图。
如图23所示，本实施方式的信息处理装置100与上述第1实施方式的信息处理装置的不同点在于，还具有兴奋度记录部124及最大值检测部126。因此，以下仅对与第1实施方式的信息处理装置的不同点进行说明。
兴奋度记录部124及最大值检测部126的功能通过由构成信息处理装置100的计算机的CPU执行规定的程序来实现。
兴奋度记录部124随着时间的推移而记录通过推断部114推断出的各观众的兴奋度。在本实施方式中，记录于HDD104。
最大值检测部126从随着时间的推移而记录于HDD104的各观众的兴奋度的履历检测各观众的兴奋度的最大值(检测时点为止的履历中的最大值)。
地图数据创建部116利用通过最大值检测部126检测出的兴奋度的最大值来创建地图数据。
[信息处理装置的动作]
本实施方式的信息处理装置100以预先设定的定时进行移动路径的设定处理。具体而言，是进行避难引导的情况、观众同时离开的情况等。
图24是表示通过信息处理装置进行的处理步骤的流程图。
首先，输入摄影图像(步骤S41)。所输入的摄影图像是动态图像(包括以规定的时间间隔连续拍摄的静止图像)。接着，从所输入的图像(1帧的图像)检测人物(观众)(步骤S42)。接着，推断检测出的各人物(观众)的兴奋度(步骤S43)。接着，所推断的各人物(观众)的兴奋度记录于HDD104(步骤S44)。接着，判定是否需要设定移动路径(步骤S45)。即，判定是否为设定移动路径的定时。不设定移动路径时，返回步骤S41，对下一帧的图像进行处理。另一方面，设定移动路径时，从记录于HDD104的各观众的兴奋度的履历检测各观众的兴奋度的最大值(步骤S46)。接着，利用检测出的各观众的兴奋度的最大值信息来创建地图数据(步骤S47)。接着，根据所创建的地图数据推断危险区域(步骤S48)。接着，根据所推断的危险区域的信息设定移动路径(步骤S49)。接着，所设定的移动路径的信息发送至引导显示装置200(步骤S50)。
如此，在本实施方式的信息处理装置100中，记录各观众的兴奋度的履历，并根据所记录的履历创建地图数据。由此，还能够从以往的履历提取潜在的危险区域。
另外，在本实施方式中，设为从履历求出最大值来创建地图数据的结构，但履历的利用方式并不限定于此。此外，例如可以设为从各观众的兴奋度的履历求出各观众的兴奋度的平均值，并以所求出的兴奋度的平均值创建地图数据的结构。并且，也可以设为求出成为阈值以上的兴奋度的次数，并以所求出的次数创建地图数据的结构。
[变形例]
[推断人物的状态的方法的变形例]
在上述实施方式中，以兴奋程度确定人物的状态，但确定人物的状态的方法并不限定于此。例如，还能够以特定情绪的程度(愤怒情绪的程度、喜悦情绪的程度、恐怖情绪的程度等)确定人物的状态。
并且，推断人物的状态时，在上述实施方式中，设为识别人物的脸部表情、脸部朝向及身体动作，并根据该识别结果推断人物的状态的结构，但也可以设为利用任一信息来推断的结构。例如，可以设为仅识别人物的脸部表情，仅利用该表情的识别结果来推断人物的状态的结构。或者，也可以设为仅识别人物的身体动作，仅利用该身体动作的识别结果来推断人物的状态的结构。
并且，在上述实施方式中，设为识别表情时，从预先设定的多种表情中确定最像的一个的结构，但识别表情的方法并不限定于此。例如，能够采用将表情分类为多种(例如，“喜悦”、“愤怒”、“厌恶”、“惊讶”、“恐惧”、“悲伤”及“严肃(无表情)”等)，求出各表情的程度(表情相似度)来识别表情的方法等。
[判定基准的变形例]
在上述实施方式中，推断人物的状态(兴奋度)时，根据预先设定的判定基准赋予分数。还能够设为相对地设定判定基准其本身的结构。例如，若是脸部表情的判定基准，则根据所识别的整个脸部的各表情的累计值设定判定基准。由此，能够根据活动的种类等能动地设定判定基准。
[观众区域的分割的变形例]
观众区域的分割(对局部区域的分割)优选考虑会场的规模、座位的排列、会场内的通道的配置、出入口的数量等来适当设定。
[地图数据的输出]
对于地图数据，可以设为能够进行可视化来输出的结构。此时，信息处理装置中还具备地图数据的可视化处理部的功能。能够设为将可视化而得的地图数据(所谓的热度地图、参考图10)显示于信息处理装置100的显示部106或显示于其他显示装置(显示部的另一例)的结构。而且，还能够设为通过打印机(输出部的一例)进行打印输出的结构。
与地图数据相同，对于移动路径的信息，也能够设为显示于信息处理装置100的显示部106或从打印机进行打印输出的结构。
如此，通过输出对地图数据进行可视化而得的数据及移动路径的信息，能够便于工作人员(保安人员等)引导观众的情况等。
[移动路径的设定方法的变形例]
设定移动路径的方法并不限定于上述实施方式中说明的方法。例如，能够采用利用通过机器学习、深度学习等生成的学习完毕模型，根据危险区域的信息设定各局部区域的移动路径的方法等。
[移动路径的信息的提示方法的另一例]
在上述实施方式中，设为利用设置于会场内的引导显示装置200提示移动路径的信息及基于移动路径的信息的引导信息的结构，但移动路径的信息等的提示方法并不限定于此。
图25是表示引导信息的提示方法的另一例的图。图25所示的例子中，设为利用投影仪400向观众提示引导信息的结构。投影仪400在通道投影表示行进方向的箭头来提示引导信息。
图26是表示引导信息的提示方法的另一例的图。图26表示通过物理显示来提示引导信息的例子。在图26所示的例子中，利用移动式广告牌500提示引导信息。图26所示的广告牌500是具备脚轮的移动式广告牌，显示表示行进方向的箭头来提示引导信息。
通过利用这些方法，无需使观众持有特殊的装置(移动终端等)就能够向其提示移动路径的信息。
另外，还能够设为使观众持有特殊装置(例如，智能手机、平板终端等移动终端、智能眼镜、智能手表等可穿戴计算机及个人电脑等)来向其提示移动路径等信息的结构。例如，能够向观众所持有的移动终端及可穿戴计算机等发送移动路径的信息，在其画面等作为字符、图像来提示移动路径的信息。此时，管理各观众的位置信息(例如，座位位置信息)，发送与各观众的位置相应的移动路径的信息。即，发送观众所在的局部区域的移动路径的信息。观众的位置信息与观众所持有的移动终端的信息建立关联而管理。例如，在购入门票时进行该关联建立。或者，在事后由各观众登录自身的移动终端的信息(电话号码、电子邮件地址等)来进行。管理例如由服务器进行。服务器从信息处理装置接收移动路径的信息来生成引导信息等并发送至各观众的移动终端。
[信息处理装置的结构的变形例]
信息处理装置的一部分或全部功能能够由各种处理器(processor)实现。各种处理器中，包含执行程序来作为各种处理部而发挥作用的通用的处理器即CPU(CentralProcessing Unit，中央处理单元)、FPGA(Field Programmable Gate Array，现场可编程门阵列)等能够在制造之后变更电路结构的处理器即可编程逻辑器件(Programmable LogicDevice：PLD)、ASIC(Application Specific Integrated Circuit，专用集成电路)等具有为了执行特定的处理而专门设计的电路结构的处理器即专用电路等。程序的含义与软件相同。
1个处理部可由这些各种处理器中的1个构成，也可由相同种类或不同种类的2个以上的处理器构成。例如，1个处理部可由多个FPGA或者CPU与FPGA的组合构成。并且，也可以由1个处理器构成多个处理部。作为由1个处理器构成多个处理部的例子，第1，有由1个以上的CPU和软件的组合构成1个处理器，该处理器作为多个处理部发挥作用的方式。第2，有如系统芯片(System On Chip：SoC)等为代表，使用通过1个IC(集成电路，IntegratedCircuit)芯片实现包含多个处理部的整个系统的功能的处理器的方式。如此，各种处理部作为硬件结构利用上述各种处理器的1个以上来构成。
符号说明
1-引导系统，10-摄影装置，12-相机，100-信息处理装置，101-CPU，103-ROM，104-HDD，105-操作部，106-显示部，107-图像输入部，108-通信部，110-图像获取部，112-人物检测部，114-推断部，114A-表情识别部，114B-朝向识别部，114C-动作识别部，114D-评分部，114E-兴奋度计算部，116-地图数据创建部，118-危险区域推断部，118A-计数部，118B-危险区域提取部，120-移动路径设定部，122-发送部，124-兴奋度记录部，126-最大值检测部，200-引导显示装置，210-显示器，220-显示控制单元，220A-移动路径信息接收部，220B-引导信息生成部，220C-显示控制部，300-活动会场，310-场地，320-观众区域，322-一层座位区域，324-二层座位区域，326-通道(环状通道)，328-通道(区块间通道)，328A-扶手，330-外周区域，332-通道(连通通道)，332A～332C-连通通道，332X-连通通道的出入口，334A-门，334B-门，334C-门，334D-门，400-投影仪，500-广告牌，BA-局部区域，BA1～BA12-局部区域，IP-人物的图像，IS1-摄影图像的一部分，In-引导信息的图像，In1-周边地图，In2-表示行进方向的箭头，MI-地图的图像，R1-移动路径，W-摄影范围，dp-点，S11～S12-摄影装置中的处理步骤，S21～S27-信息处理装置中的处理步骤，S31～S33-引导显示装置中的处理步骤，S41～S50-信息处理装置中的处理步骤。

Claims (14)

1.一种信息处理装置，其具备：
处理器；及
存储器，与所述处理器连接，
所述处理器构成为进行如下处理：
从输入图像检测人物，
对检测出的所述人物的状态进行数值化并进行推断，
创建根据所述输入图像内的所述人物的位置在地图上表示所述人物的状态的地图数据，
根据所述地图数据来推断第1区域，
设定所述第1区域的人物和/或除所述第1区域以外的第2区域的人物的移动路径。
2.根据权利要求1所述的信息处理装置，其中，
所述处理器还构成为进行如下处理：
发送所述设定的所述移动路径的信息。
3.根据权利要求1或2所述的信息处理装置，其中，
所述处理器构成为进行如下处理：
在所述推断中，
从所述检测出的所述人物的图像中识别所述人物的脸部表情及身体动作中的至少一个，根据所述识别的结果，对所述人物的状态进行数值化并进行推断。
4.根据权利要求3所述的信息处理装置，其中，
所述处理器构成为进行如下处理：
在所述推断中，
根据预先设定的基准，对所述识别的结果赋予分数，对所述人物的状态进行数值化。
5.根据权利要求3或4所述的信息处理装置，其中，
所述处理器构成为进行如下处理：
在所述识别中，
从所述检测出的所述人物的图像中识别所述人物的脸部表情、脸部朝向及身体动作，
在所述推断中，
根据预先设定的基准，对基于所述识别的所述人物的脸部表情、脸部朝向及身体动作的识别结果赋予分数，求出所述分数的合计来对所述人物的状态进行数值化。
6.根据权利要求1至5中任一项所述的信息处理装置，其中，
所述处理器构成为进行如下处理：
在所述第1区域的推断中，
将所述输入图像分割为多个局部区域，按每个所述局部区域计数状态为第1阈值以上的所述人物的数量，
提取状态为所述第1阈值以上的所述人物的数量为第2阈值以上的所述局部区域，
将所述提取出的所述局部区域推断为所述第1区域。
7.根据权利要求1至6中任一项所述的信息处理装置，其中，
所述处理器构成为进行如下处理：
随着时间的推移而记录所述推断出的所述人物的状态，
检测所述随着时间的推移而记录的所述人物的状态的最大值，
在所述地图数据的创建中，利用所述最大值创建所述地图数据。
8.根据权利要求1至7中任一项所述的信息处理装置，其中，
所述输入图像为拍摄具有配置有多个座位的座位区域的会场而得的图像，
在所述座位区域内设定所述第1区域及所述第2区域。
9.根据权利要求1至8中任一项所述的信息处理装置，其中，
所述处理器构成为进行如下处理：
输出将所述地图数据可视化而得的数据和/或所述移动路径的信息。
10.根据权利要求1至9中任一项所述的信息处理装置，
所述信息处理装置还具备显示器，所述显示器构成为显示将所述地图数据可视化而得的数据和/或所述移动路径的信息。
11.一种引导系统，其具备：
权利要求2所述的信息处理装置；
相机，拍摄输入至所述信息处理装置的图像；及
提示装置，接收从所述信息处理装置发送的所述移动路径的信息，并提示所接收的所述移动路径的信息和/或基于所述移动路径的信息的路径的引导信息。
12.一种信息处理方法，其包括如下步骤：
从输入图像检测人物，
对检测出的所述人物的状态进行数值化并进行推断，
创建根据所述输入图像内的所述人物的位置在地图上表示所述人物的状态的地图数据，
根据所述地图数据来推断第1区域，
设定所述第1区域的人物和/或除所述第1区域以外的第2区域的人物的移动路径。
13.根据权利要求12所述的信息处理方法，其中，
发送所设定的移动路径的信息。
14.一种引导方法，其包括如下步骤：
拍摄图像，
从摄影图像检测人物，
对检测出的所述人物的状态进行数值化并进行推断，
创建根据所述摄影图像内的所述人物的位置在地图上表示所述人物的状态的地图数据，
根据所述地图数据来推断第1区域，
设定所述第1区域的人物和/或除所述第1区域以外的第2区域的人物的移动路径，
发送所设定的所述移动路径的信息，
接收所发送的所述移动路径的信息，并提示所接收的所述移动路径的信息和/或基于所述移动路径的信息的路径的引导信息。
CN202080080038.8A 2019-11-26 2020-11-18 信息处理装置及方法、引导系统及方法 Pending CN114746893A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019213252 2019-11-26
JP2019-213252 2019-11-26
PCT/JP2020/042896 WO2021106696A1 (ja) 2019-11-26 2020-11-18 情報処理装置及び方法並びに誘導システム及び方法

Publications (1)

Publication Number Publication Date
CN114746893A true CN114746893A (zh) 2022-07-12

Family

ID=76130107

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080080038.8A Pending CN114746893A (zh) 2019-11-26 2020-11-18 信息处理装置及方法、引导系统及方法

Country Status (4)

Country Link
US (1) US20220277471A1 (zh)
JP (3) JP7192149B2 (zh)
CN (1) CN114746893A (zh)
WO (1) WO2021106696A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11023729B1 (en) * 2019-11-08 2021-06-01 Msg Entertainment Group, Llc Providing visual guidance for presenting visual content in a venue
CN114267194B (zh) * 2021-12-16 2023-01-06 青岛创智融信数字科技集团有限公司 一种停车位智能管理方法及系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150297949A1 (en) * 2007-06-12 2015-10-22 Intheplay, Inc. Automatic sports broadcasting system
US20170208165A1 (en) 2014-07-31 2017-07-20 Huawei Technologies Co., Ltd. Information Input Processing Method and Mobile Terminal
US10473471B2 (en) * 2015-03-27 2019-11-12 Mitsubishi Shipbuilding Co., Ltd. Evacuation guiding system and method for ship
CN105760826B (zh) * 2016-02-03 2020-11-13 歌尔股份有限公司 一种人脸跟踪方法、装置和智能终端
JP2017142681A (ja) * 2016-02-10 2017-08-17 清水建設株式会社 避難経路算出装置および避難経路算出方法
US10607356B2 (en) * 2016-05-13 2020-03-31 Hitachi, Ltd. Congestion analysis device, congestion analysis method, and congestion analysis program
JP6898165B2 (ja) * 2017-07-18 2021-07-07 パナソニック株式会社 人流分析方法、人流分析装置及び人流分析システム

Also Published As

Publication number Publication date
JP2023024519A (ja) 2023-02-16
WO2021106696A1 (ja) 2021-06-03
US20220277471A1 (en) 2022-09-01
JPWO2021106696A1 (zh) 2021-06-03
JP7192149B2 (ja) 2022-12-19
JP2024014930A (ja) 2024-02-01
JP7385725B2 (ja) 2023-11-22

Similar Documents

Publication Publication Date Title
CN109271832B (zh) 人流分析方法、人流分析装置以及人流分析系统
JP7385725B2 (ja) 情報処理装置
JP5851651B2 (ja) 映像監視システム、映像監視方法、および映像監視装置
JP5441071B2 (ja) 顔分析装置、顔分析方法、及びプログラム
JP6397581B2 (ja) 混雑状況可視化装置、混雑状況可視化システム、混雑状況可視化方法、および混雑状況可視化プログラム
US20190180111A1 (en) Image summarization system and method
JP5674465B2 (ja) 画像処理装置、カメラ、画像処理方法およびプログラム
KR20180003304A (ko) 영상 축약 시스템 및 방법
JP2006229465A (ja) 監視装置、監視方法、監視用プログラム
JP2011192093A (ja) 照合装置、デジタル画像処理システム、照合装置制御プログラム、コンピュータ読み取り可能な記録媒体、および照合装置の制御方法
JP6779410B2 (ja) 映像解析装置、映像解析方法、及びプログラム
JP2010198566A (ja) 人数計測装置、方法及びプログラム
KR20160078964A (ko) 이미지 합성물 생성
JPWO2008035411A1 (ja) 移動体情報検出装置、移動体情報検出方法および移動体情報検出プログラム
JP4963297B2 (ja) 人物計数装置および人物計数方法
JP2016015579A (ja) 情報処理装置、情報処理方法及びプログラム
JP2008176689A (ja) 年齢確認装置、年齢確認方法、及び年齢確認プログラム
JP6516702B2 (ja) 人数集計システム、人数集計方法、及び人数集計結果の閲覧方法
JP2018151840A (ja) 照合システム、照合方法および照合プログラム
JP2021026744A (ja) 情報処理装置、画像認識方法及び学習モデル生成方法
CN115937730A (zh) 推测装置、推测方法以及存储介质
CN114450730A (zh) 信息处理系统及方法
JP6952857B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP7007323B2 (ja) 監視表示装置
WO2021235355A1 (ja) 画像データ処理装置及び画像データ処理システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination