CN109271832B - 人流分析方法、人流分析装置以及人流分析系统 - Google Patents

人流分析方法、人流分析装置以及人流分析系统 Download PDF

Info

Publication number
CN109271832B
CN109271832B CN201810750697.2A CN201810750697A CN109271832B CN 109271832 B CN109271832 B CN 109271832B CN 201810750697 A CN201810750697 A CN 201810750697A CN 109271832 B CN109271832 B CN 109271832B
Authority
CN
China
Prior art keywords
persons
information
unit
person
association
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810750697.2A
Other languages
English (en)
Other versions
CN109271832A (zh
Inventor
西川由理
小泽顺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Panasonic Holdings Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Holdings Corp filed Critical Panasonic Holdings Corp
Publication of CN109271832A publication Critical patent/CN109271832A/zh
Application granted granted Critical
Publication of CN109271832B publication Critical patent/CN109271832B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Abstract

提供一种能够高精度地预测人物移动的动线的人流分析方法、人流分析装置以及人流分析系统。人流分析装置(1)具备：移动信息取得部(111)，其取得表示在预定空间内移动的多个人物在预定空间内的移动历史记录的移动信息；关联节点提取部(131)，其基于移动信息来提取推定为彼此相关联地移动的至少两个人物；关联性信息确定部(132)，其确定表示所提取的至少两个人物具有何种关联性的关联性信息；节点融合判断部(133)，其基于所确定的关联性信息，判断是否对至少两个人物进行成组化；行动预测部(134)，其对判断为进行成组化的至少两个人物的行动进行预测。

Description

人流分析方法、人流分析装置以及人流分析系统
技术领域
本公开涉及对在预定空间内移动的多个人物的流动进行分析的人流分析方法、人流分析装置以及人流分析系统。
背景技术
以往，在具有多个人物的情况下，进行根据多个人物各自的移动方向预测多个人物各自的接下来的移动目的地的人流预测。
例如，在专利文献1中公开了如下的入场出场门控制系统：从在多个入场出场门的周边设置的多个传感器取得人的流动状况，基于流动状况，预测入场出场门的各方向的将来的流动需要，基于流动需要，决定各入场出场门的通行方向，对多个入场出场门设定通行方向。
现有先技术文献
专利文献1：日本特开2016－35665号公报
发明内容
发明要解决的技术问题
在专利文献1中，例如有效使用由摄像头收集到的数据，算出当前的人的流动状况、或者流动状况的预测值。并且，作为流动状况，例如包含在特定场所的人的人数、那些人的位置、移动方向、速度等。
但是，在上述现有技术中，无法高精度地预测人物移动的动线，需要进一步的改善。
本公开是为了解决上述问题而完成的，目的在于提供一种能够高精度地预测人物移动的动线的人流分析方法、人流分析装置以及人流分析系统。
用于解决技术问题的技术方案
本公开的一技术方案涉及的人流分析方法是人流分析装置中的人流分析方法，包括：取得移动信息，所述移动信息表示在预定空间内移动的多个人物在所述预定空间内的移动历史记录；基于所取得的所述移动信息，提取推定为正彼此相关联地移动的至少两个人物；确定关联性信息，所述关联性信息表示所提取的所述至少两个人物具有何种关联性；基于所确定的所述关联性信息，判断是否对所述至少两个人物进行成组化；对判断为进行成组化的所述至少两个人物的行动进行预测。
发明的效果
根据本公开，能判断是否对被推定为正相互关联地移动的至少两个人物进行成组化，预测被判断为进行成组化的至少两个人物的行动，因此，能够高精度预测人物移动的动线。
附图说明
图1是表示本公开实施方式1中的人流分析系统的构成的图。
图2是表示本实施方式1中的移动信息的一例的图。
图3是用于对使用了曲线最佳化处理的人物追踪进行说明的示意图。
图4是在本实施方式1中表示对融合节点赋予的标签的一例的图。
图5是表示本实施方式1中的融合节点信息的一例的图。
图6是在本实施方式1中用于对预测融合节点的移动方向的处理进行说明的示意图。
图7是用于对本实施方式1中的人流分析装置的处理进行说明的流程图。
图8是用于对本实施方式1中的人流分析装置的工作进行说明的示意图。
图9是表示人口密度低的区域中的人物节点的配置的一例的图。
图10是表示人口密度高的区域中的人物节点的配置的一例的图。
图11是表示各人物节点间的距离的图。
图12是用于对基于连结两人的人物节点的直线和两人的人物节点的行进方向的角度φ(φ＜90度)提取两人的人物节点的第1处理进行说明的示意图。
图13是用于对基于连结两人的人物节点的直线和两人的人物节点的行进方向的角度φ(φ＞90度)提取两人的人物节点的第1处理进行说明的示意图。
图14是用于对基于连结两人的人物节点的直线和两人的人物节点的行进方向的角度提取两人的人物节点的第2处理进行说明的示意图。
图15是用于对根据两个人物通过门时的位置关系确定关联性信息的处理进行说明的示意图。
图16用于对基于相对于展示物的视线信息确定停止的两人的人物节点的关联性信息的处理进行说明的示意图。
图17是用于对基于相对于展示物的视线信息来确定移动的两人的人物节点的关联性信息的处理进行说明的示意图。
图18是用于对基于相对于用于引导人物的引导信息的视线信息来确定两人的人物节点的关联性信息的处理进行说明的示意图。
图19是用于对基于两个人物中的一方相对于所有物的视线信息来确定两人的人物节点的关联性信息的处理进行说明的示意图。
图20是用于对通过人物的面部的朝向推定人物的视线的方向的处理进行说明的图。
图21是表示本公开实施方式2中的人流分析系统的构成的图。
图22是用于对本实施方式2中的人流分析装置及终端装置的处理进行说明的流程图。
图23是用于对本实施方式2中的人流分析装置的预测结果进行说明的示意图。
图24是表示通过本实施方式2中的人流分析装置生成的移动轨迹图像的一例的图。
标号说明
1、1A 人流分析装置；2 第1摄像头；3 第2摄像头；4 麦克风；5 网络；6 终端装置；11、11A 通信部；12 存储部；13、13A 控制部；61 通信部；62 控制部；63 显示部；64 输入部；111 移动信息取得部；112 图像信息取得部；113 声音信息取得部；114 空间信息取得部；115 预测结果发送部；131 关联节点提取部；132 关联性信息确定部；133 节点融合判断部；134、134A 行动预测部。
具体实施方式
(成为本公开的基础的见解)
如上所述，在专利文献1中，例如有效使用由摄像头收集到的数据，算出当前的人的流动状况或者流动状况的预测值。并且，作为流动状况，例如包括处于特定场所的人的人数、那些人的位置、移动方向、速度等。
但是，在上述现有技术中，分别个别地预测多个人的移动方向，因此，例如在由于摄像头的遮蔽等而人从图像中暂时消失了的情况下，无法算出该消失的人的移动方向，会无法高精度地预测人移动的动线。
为了解决以上的问题，本公开的一技术方案涉及的人流分析方法是人流分析装置中的人流分析方法，包括：取得移动信息，所述移动信息表示在预定空间内移动的多个人物在所述预定空间内的移动历史记录；基于所取得的所述移动信息，提取推定为正彼此相关联地移动的至少两个人物；确定关联性信息，所述关联性信息表示所提取的所述至少两个人物具有何种关联性；基于所确定的所述关联性信息，判断是否对所述至少两个人物进行成组化；对判断为进行成组化的所述至少两个人物的行动进行预测。
根据该构成，取得表示多个人物在预定空间内的移动历史记录的移动信息。基于所取得的移动信息，提取推定为正彼此相关联地移动的至少两个人物。确定表示所提取的至少两个人物具有何种的关联性的关联性信息。基于所确定的关联性信息，判断是否对至少两个人物进行成组化。预测判断为进行成组化的至少两个人物的行动。
因此，由于判断是否对推定为正彼此相关联地移动的至少两个人物进行成组化，并预测判断为进行成组化的至少两个人物的行动，所以能够高精度地预测人物移动的动线。
另外，在上述的人流分析方法中，也可以为，在所述提取中，提取在预定期间彼此之间的距离为预定距离以下的所述至少两个人物。
根据该构成，在预定期间彼此之间的距离为预定距离以下的至少两个人物能够被推定为正彼此相关联地移动，因此，能够切实地提取正彼此相关联地移动的至少两个人物。
另外，在上述的人流分析方法中，也可以为，在所述提取中，针对所述多个人物所包含的两个人物的全部组合，计算所述两个人物间的距离，提取与计算出的全部距离中的比预定阈值短的距离对应的两个人物的所有组合的各个组合来作为所述至少两个人物。
根据该构成，由于在预定范围中计算多个人物间的距离，并提取与计算出的全部距离中的比预定阈值短的距离对应的两个人物，因此，能够高精度地提取正彼此相关联地移动的两个人物。
另外，在上述的人流分析方法中，也可以为，在所述提取中，进一步利用所述多个人物中的两个人物的相对于行进方向的位置关系，将推定为正彼此相关联地移动的所述两个人物提取为所述至少两个人物。
根据该构成，由于利用多个人物中的两个人物的相对于行进方向的位置关系，被推定为正彼此相关联地移动的两个人物被提取为上述的至少两个人物，因此，能够切实地提取正彼此相关联地移动的至少两个人物。
另外，在上述的人流分析方法中，也可以为，在所述关联信息的确定中，进一步在连结所述两个人物的头顶部的直线与行进方向所成的角度处于以90度为中心的预定范围内时，确定为所述两个人物作为所述至少两个人物具有友人、情侣或者家族(家人)的关联性。
根据该构成，当连结两个人物的头顶部的直线与行进方向所成的角度处于以90度为中心的预定范围内时，确定为两个人物具有友人、情侣或者家族的关联性。
因此，在具有关联性的两个人物正一边会话、一边移动的情况下，连结两个人物的头顶部的直线与行进方向所成的角度成为以90度为中心的预定范围内。因此，在判断为连结两个人物的头顶部的直线与行进方向所成的角度处于以90度为中心的预定范围内的情况下，能够容易地确定关联性信息。
另外，在上述的人流分析方法中，也可以为，在所述关联信息的确定中，进一步在连结所述两个人物的头顶部的直线与行进方向所成的角度为预定角度以下时，确定为所述两个人物作为所述至少两个人物具有坐轮椅的人物和护理者的关联性。
根据该构成，当连结两个人物的头顶部的直线与行进方向所成的角度为预定角度以下时，确定为两个人物作为至少两个人物具有坐轮椅的人物与护理者的关联性。
因此，在两个人物是坐轮椅的人物和护理者的情况下，连结两个人物的头顶部的直线与行进方向所成的角度成为大致0度。因此，在判断为连结两个人物的头顶部的直线与行进方向所成的角度为预定角度以下的情况下，能够容易地确定关联性信息。
另外，在上述的人流分析方法中，也可以为，在所述提取中，进一步对于一次仅能够通过预定人数的门，利用表示所述多个人物中的至少两个人物已连续通过的信息来提取所述至少两个人物。
根据该构成，对于一次仅能通过预定人数的门，利用表示多个人物中的至少两个人物已连续通过的信息，提取至少两个人物。
因此，能够在多个人物中的至少两个人物连续通过了一次仅能通过预定人数的门的情况下，判断为该至少两个人物正彼此相关联地移动。
另外，在上述的人流分析方法中，也可以为，进一步取得所述多个人物的外观图像，在所述确定中，从所取得的所述外观图像所包含的所述至少两个人物各自的面部图像，识别所述至少两个人物各自的年龄以及性别，使用识别到的所述至少两个人物各自的所述年龄以及所述性别，确定所述关联性信息。
根据该构成，取得多个人物的外观图像。从所取得的外观图像所包含的至少两个人物各自的面部图像识别至少两个人物各自的年龄以及性别，使用所识别出的至少两个人物各自的年龄以及性别，确定关联性信息。
因此，能够根据所识别出的至少两个人物各自的年龄以及性别的组合，确定至少两个人物具有何种关联性。
另外，在上述的人流分析方法中，也可以为，进一步取得表示所述多个人物的视线的方向的视线信息，在所述确定中，使用所取得的所述视线信息中的所述至少两个人物的所述视线的方向，确定所述关联性信息。
根据该构成，确定表示多个人物的视线的方向的视线信息。使用所取得的视线信息中的至少两个人物的视线的方向，确定关联性信息。
因此，能够在至少两个人物的视线的方向相交、或者两个人物的视线的方向相同的情况下，判断为该两个人物具有某种关联性。
另外，在上述的人流分析方法中，也可以为，在所述确定中，在所述至少两个人物的所述视线的方向正朝向共同的对象物的情况下，确定所述关联性信息。
根据该构成，由于在至少两个人物的视线的方向正朝向共同的对象物的情况下，确定关联性信息，因此，正在看共同的对象物的至少两个人物能够被判断为具有某种关联性。
另外，在上述的人流分析方法中，也可以为，所述共同的对象物是所述至少两个人物中的一个人物的所有物。
根据该构成，正在看至少两个人物中的一个人物的所有物的至少两个人物能够被判断为具有某种关联性。
另外，在上述的人流分析方法中，也可以为，所述共同的对象物是提示公共的引导信息的物体。
根据该构成，正在看提示公共的引导信息的至少两个人物能够被判断为具有某种关联性。
另外，在上述的人流分析方法中，也可以为，所述视线信息的取得中，取得将从所述多个人物的外观图像检测到的所述多个人物的面部的朝向作为所述多个人物的所述视线的方向的所述视线信息。
根据该构成，取得将从多个人物的外观图像检测到的多个人物的面部的朝向作为多个人物的视线的方向的视线信息。
因此，即使在无法检测人物的视线的方向的情况下，也能够从人物的面部的朝向推定视线的方向。
另外，在上述的人流分析方法中，也可以为，进一步取得所述多个人物各自说话的声音信息，在所述确定中，使用所取得的所述声音信息中的所述至少两个人物正在会话的所述声音信息，确定所述关联性信息。
根据该构成，取得多个人物各自说话的声音信息。使用所取得的声音信息中的至少两个人物正在会话的声音信息，确定关联性信息。
因此，能够在至少两个人物正在会话的声音信息包含能够确定关联性的言语的情况下，确定至少两个人物具有何种关联性。
另外，在上述的人流分析方法中，也可以为，在所述确定中，通过从所述至少两个人物正在会话的所述声音信息中提取固有名词或者确定亲属(亲族)关系的关键字，确定所述关联性信息。
根据该构成，通过从至少两个人物正在会话的声音信息中提取固有名词或者确定亲族关系的关键字，确定关联性信息。
因此，能够在至少两个人物的会话中包含固有名词或者确定亲族关系的关键字的情况下，确定至少两个人物具有何种关联性。
另外，在上述的人流分析方法中，也可以为，在所述预测中，使用所述至少两个人物的所述关联性信息、和所述至少两个人物的所述移动信息，预测以对所述至少两个人物进行了成组化的组为单位的移动方向。
根据该构成，能够使用至少两个人物的关联性信息和至少两个人物的移动信息，预测以对至少两个人物进行了成组化的组为单位的移动方向。
另外，在上述的人流分析方法中，也可以为，在所述预测中，使用所述至少两个人物的所述关联性信息、和表示与存在于所述预定空间内的区域关联的所述关联性信息的种类的区域种类信息，预测以对所述至少两个人物进行了成组化的组为单位的移动方向。
根据该构成，使用至少两个人物的关联性信息、和表示与存在于预定空间内的区域关联的关联性信息的种类的区域种类信息，预测以对至少两个人物进行了成组化的组为单位的移动方向。
因此，能够在至少两个人物的关联性信息的种类与和存在于预定空间内的区域相关联的关联性信息的种类一致的情况下，预测为对至少两个人物进行了成组化的组正向该区域移动。
另外，在上述的人流分析方法中，也可以为，进一步，在成组化后再次计算判断为进行成组化的所述至少两个人物间的距离，在再次计算的所述距离超过预定距离的情况下，取消所述至少两个人物的成组化。
根据该构成，在成组化后再次计算判断为进行成组化的至少两个人物间的距离，在再次计算的距离超过了预定距离的情况下，取消至少两个人物的成组化。
因此，能够在一起移动了的至少两个人物各自分头开始移动的情况下，取消至少两个人物的成组化，能够准确地预测以组为单位的移动方向。
本公开的其他技术方案涉及的人流分析装置，具备：移动信息取得部，其取得移动信息，所述移动信息表示在预定空间内移动的多个人物在所述预定空间内的移动历史记录；关联人物提取部，其基于由所述移动信息取得部取得的所述移动信息，提取推定为正彼此相关联地移动的至少两个人物；关联性信息确定部，其确定表示由所述关联人物提取部提取的所述至少两个人物具有何种关联性的关联性信息；成组化判断部，其基于由所述关联性信息确定部确定的所述关联性信息，判断是否对所述至少两个人物进行成组化；以及行动预测部，其对由所述成组化判断部判断为进行成组化的所述至少两个人物的行动进行预测。
根据该构成，取得表示在预定空间内移动的多个人物在预定空间内的移动历史记录的移动信息。基于所取得的移动信息，提取推定为正彼此相关联地移动的至少两个人物。确定表示所提取的至少两个人物具有何种关联性的关联性信息。基于所确定的关联性信息，判断是否对至少两个人物进行成组化。预测判断为进行成组化的至少两个人物的行动。
因此，由于判断是否对被推定为正彼此相关联地移动的至少两个人物进行成组化，并预测判断为进行成组化的至少两个人物的行动，因此，能够高精度地预测人物移动的动线。
本公开的其他技术方案涉及的人流分析系统具备人流分析装置和终端装置，所述终端装置经由网络与所述人流分析装置以能够通信的方式相连接。所述人流分析装置具备：移动信息取得部，其取得移动信息，所述移动信息表示在预定空间内移动的多个人物在所述预定空间内的移动历史记录；关联人物提取部，其基于由所述移动信息取得部取得的所述移动信息，提取推定为正彼此相关联地移动的至少两个人物；关联性信息确定部，其确定表示由所述关联人物提取部提取的所述至少两个人物具有何种关联性的关联性信息；成组化判断部，其基于由所述关联性信息确定部确定的所述关联性信息，判断是否对所述至少两个人物进行成组化；行动预测部，其对由所述成组化判断部判断为进行成组化的所述至少两个人物的行动进行预测；以及发送部，其向所述终端装置发送所述行动预测部的所述至少两个人物的行动预测结果，所述终端装置具备：接收部，其接收由所述人流分析装置发送的所述行动预测结果；和显示部，其显示由所述接收部接收到的所述行动预测结果。
根据该构成，人流分析装置对在预定空间内移动的多个人物的流动进行分析。终端装置经由网络与人流分析装置以能够进行通信的方式相连接。在人流分析装置中，取得表示多个人物在预定空间内的移动历史记录的移动信息。基于所取得的移动信息，提取推定为正彼此相关联地移动的至少两个人物。确定表示所提取的至少两个人物具有何种关联性的关联性信息。基于所确定的关联性信息，判断是否对至少两个人物进行成组化。预测判断为进行成组化的至少两个人物的行动。向终端装置发送至少两个人物的行动预测结果。在终端装置中，接收由人流分析装置发送的行动预测结果。显示所接收到的行动预测结果。
因此，由于判断是否对推定为正彼此相关联地移动的至少两个人物进行成组化，并预测判断为进行成组化的至少两个人物的行动，因此，能够高精度地预测人物移动的动线。
以下参照附图对本公开的实施方式进行说明。此外，以下的实施方式是对本公开进行具体化的一个例子，并不限定本公开的技术范围。
(实施方式1)
图1是表示本公开实施方式1中的人流分析系统的构成的图。
图1所示的人流分析系统具备人流分析装置1、第1摄像头2、第2摄像头3以及麦克风4。
第1摄像头2配置于对预定空间内进行俯瞰的位置，在不同的定时取得对预定空间内进行了俯瞰的图像。不同的定时例如也可以是每隔一定时间间隔的定时。例如若预定空间为店铺，则第1摄像头2配置在店铺内的天井。第1摄像头2从拍摄到的图像识别人物节点的头部，赋予用于识别所识别到的头部的节点ID，生成使拍摄到的时刻、节点ID、坐标位置相关联的移动信息。人物节点表示人物。坐标位置由以二维坐标系表示预定空间时的坐标值来表示。另外，第1摄像头2按每预定时间(例如2分钟)进行拍摄，生成移动信息。此外，第1摄像头2也可以总是进行拍摄，按每预定时间(例如2分钟)而生成移动信息。第1摄像头2将所生成的移动信息发送给人流分析装置1。
此外，本实施方式1中的人流分析系统具备一个第1摄像头2，但本公开不特别限定于此，也可以具备多个第1摄像头2。多个第1摄像头2也可以分别对分割为多个区域的预定空间的各区域进行拍摄，对多个拍摄图像进行合成。
第2摄像头3配置于预定空间内，以不同定时取得拍摄预定空间内的多个人物节点的外观图像而得到的图像。所谓的不同定时例如也可以是每隔一定时间间隔的定时。特别地，第2摄像头3取得包含多个人物的面部的外观图像。第2摄像头3将表示所拍摄到的外观图像的图像信息发送给人流分析装置1。另外，第2摄像头3优选以与第1摄像头2相同的定时进行拍摄。
此外，本实施方式1中的人流分析系统具备一个第2摄像头3，但本公开不特别限定于此，也可以具备多个第2摄像头3。多个第2摄像头3也可以分别对分割为多个区域的预定空间的各区域进行拍摄。例如，也可以在预定空间的二维平面上分割为10×10的区域，对各区域配置第2摄像头3。各第2摄像头3也可以对各区域内进行拍摄，将图像信息与确定进行了拍摄的位置的二维坐标位置一起发送给人流分析装置1。由此，能够确定在预定空间内的哪个位置取得了图像。
麦克风4收集预定空间内的多个人物各自说话的声音，将收集到的声音信息发送给人流分析装置1。例如，人流分析系统也可以具备多个麦克风4。多个麦克风4收集分割为多个区域的预定空间的各区域的声音，将声音信息与进行了收集的区域的二维坐标位置一起发送给人流分析装置1。例如，也可以将预定空间的二维平面上分割为10×10的区域，对各区域配置麦克风4。各麦克风4也可以收集各区域中话说的声音，将声音信息与确定进行了收集的位置的二维坐标位置一起发送给人流分析装置1。由此，能够确定在预定空间内的哪个位置收集了声音。
人流分析装置1能够经由网络5与第1摄像头2、第2摄像头3以及麦克风4以能够通信的方式连接。此外，网络5例如是因特网。人流分析装置1例如是服务器，具备通信部11、存储部12以及控制部13。
通信部11经由网络5从第1摄像头2、第2摄像头3以及麦克风4接收信息。通信部11具备移动信息取得部111、图像信息取得部112以及声音信息取得部113。通信部11例如可以包括通信电路来作为硬件构成。
移动信息取得部111取得表示多个人物节点在预定空间内的移动历史记录的移动信息。移动信息取得部111接收由第1摄像头2发送的移动信息。
图2是表示本实施方式1中的移动信息的一例的图。图2所示的移动信息包括由第1摄像头2进行了拍摄的时刻、用于识别人物节点的节点ID、表示预定空间中的人物节点的位置的坐标位置。此外，在坐标位置中，x坐标的值以及y坐标的值表示预定空间的二维平面上的位置，z坐标的值表示建筑物的层数。例如，在图2中，节点ID为“ABX123”的人物节点在15时5分存在于由建筑物的3层的坐标(215，341)表示的二维坐标系的位置。此外，二维坐标系的原点例如设定在预定空间的多个角中的一个角。
移动信息取得部111将接收到的移动信息输出给关联节点提取部131。另外，移动信息取得部111也可以将接收到的移动信息存储在存储部12。
另外，移动信息取得部111也可以为了进行确定在各时刻映现在第1摄像头2中的多个人物分别是哪个节点ID的多人数追踪，例如使用曲线最佳化处理。在使用了曲线最佳化处理的多人数追踪中，移动信息取得部111使用第1摄像头2拍摄到的各时刻的图像中的人物的检测结果来制作曲线。并且，在使用了曲线最佳化处理的多人数追踪中，移动信息取得部111能够通过从曲线的起点至终点为止的全部路径中求出最佳的路径，从而求出多个人物的移动轨迹。
图3是用于对使用了曲线最佳化处理的人物追踪进行说明的示意图。
移动信息取得部111也可以使用K-Shortest Paths算法(K最短路径算法)来作为具体的曲线最佳化处理。在使用K-Shortest Paths算法的情况下，曲线的各人物节点可以具体地如图3所示那样表示各时刻帧中的、空间区域的坐标位置。并且，将人物节点和人物节点之间连结的边也可以设定为从人的存在概率求出的权重的值。并且，移动信息取得部111可以将使用K-Shortest Paths算法求出的K个最短路径视为K人的人物的移动轨迹。
此外，上述的曲线最佳化处理中，在空间区域大、追踪的时间长度长、或者检测到大量人物的情况下，该处理的计算量多。因此，通过将空间区域、或者追踪的时间区域分割为多个，并对分割后的分别区域分配计算资源来进行并行计算，能够进行高速的运算。进一步，通过利用云上的大型计算机，能够进行更高效率的计算。
图像信息取得部112取得表示多个人物节点的外观图像的图像信息。图像信息取得部112接收由第2摄像头3发送的图像信息。图像信息取得部112将接收到的图像信息输出给关联性信息确定部132。
声音信息取得部113取得多个人物节点各自说话的声音信息。声音信息取得部113接收由麦克风4发送的声音信息。声音信息取得部113将接收到的声音信息输出给关联性信息确定部132。
存储部12例如由ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机访问存储器)或者硬盘驱动器构成。存储部12也可以存储由通信部11接收到的移动信息、图像信息以及声音信息。
控制部13例如也可以包括CPU(中央运算处理装置)等处理器来作为硬件构成。控制部13具备关联节点提取部131、关联性信息确定部132、节点融合判断部133以及行动预测部134。
关联节点提取部131基于由移动信息取得部111取得的移动信息，提取推定为正相互关联地移动的至少两个人物节点。关联节点提取部131在预定期间提取彼此间的距离为预定距离以下的至少两个人物节点。例如，能够在两个人物一边维持彼此间的距离为预定距离以下、一边移动的情况下，推定为该两个人物正彼此关联地移动。
关联性信息确定部132确定关联性信息，所述关联性信息表示由关联节点提取部131提取的至少两人的人物节点具有什么样的关联性。具体而言，关联性信息确定部132从由图像信息取得部112取得的外观图像所包含的至少两人的人物节点各自的面部图像识别至少两人的人物节点各自的年龄以及性别，使用识别出的至少两人的人物节点各自的年龄以及性别，确定关联性信息。
例如在识别为提取到的3人的人物节点中的第1人物节点是40岁的男性、第2人物节点是40岁的女性、第3的人物节点是婴儿的情况下，能够判断为该3人的人物节点是关联性是亲子。例如在日本特开2011-123657中公开了根据人物的年龄以及性别判定家庭内的家族构成的技术。另外，同性的年龄接近的两人的人物节点的关联性能够判断为是友人，异性的年龄接近的两人的人物节点的关联性能够判断为是情侣。
另外，关联性信息确定部132也可以使用由声音信息取得部113取得的声音信息中的、至少两人的人物节点正在会话的声音信息，确定关联性信息。关联性信息确定部132也可以通过从至少两个人物正在会话的声音信息中提取固有名词、或者确定亲属关系的关键字，确定关联性信息。例如在所提取的两人的人物节点的会话中包含“爸爸”等能够推定亲子关系的关键字的情况下，能够判断为该两人的人物节点的关联性为亲子。
节点融合判断部133基于由关联性信息确定部132确定的关联性信息，判断是否对至少两人的人物节点进行成组化。即，节点融合判断部133在由关联性信息确定部132确定了关联性信息的情况下，判定为对至少两人的人物节点进行成组化。
节点融合判断部133对将至少两人的人物节点成组化了的融合节点赋予表示关联性信息的标签。
图4是表示在本实施方式1中被赋予给融合节点的标签的一例的图。如图4所示，表示关联性信息的标签包括大类别、将大类别进一步细分化的小类别。作为大类别，例如包括家族、友人以及情侣。作为家族的小类别，例如包括父母－婴儿组、父母－幼儿组以及母亲－小学生组等，作为友人的小类别，例如包括十几岁女性友人组以及二十几岁男性友人组等，作为情侣的小类别，例如包括十几岁成对男女以及二十几岁成对男女等。
关联性信息确定部132确定所提取的至少两人的人物节点是至少家族、友人以及情侣等大类别中的哪个的关联性信息。另外，关联性信息确定部132也可以确定所提取的至少两人的人物节点进一步是父母－婴儿组、十几岁女性友人组以及十几岁成对男女等的小类别中的哪个的关联性信息。
节点融合判断部133当判断为对至少两人的人物节点进行成组化时，生成与对至少两人的人物节点进行了成组化的融合节点相关的融合节点信息，并将其存储于存储部12。
图5是表示本实施方式1中的融合节点信息的一例的图。图5所示的融合节点信息包括用于识别融合节点的融合节点ID、用于识别至少两人的人物节点的节点ID、大类别的标签、小类别的标签。节点融合判断部133当判断为对至少两人的人物节点进行成组化时，赋予融合节点ID。例如在图5中，在融合节点ID为“XYZ111”的融合节点信息包含成组化后的“ABX123”以及“ABX125”的节点ID，赋予了大类别为“家族”、小类别为“母亲－幼儿组”的标签。
行动预测部134对被判断为由节点融合判断部133进行成组化的至少两人的人物节点的行动进行预测。行动预测部134使用至少两人的人物节点的关联性信息、和判断为进行成组化的至少两人的人物节点的移动信息，预测对至少两人的人物节点进行了成组化的融合节点(组节点)的移动方向。
图6是用于在本实施方式1中对预测融合节点的移动方向的处理进行说明的示意图。
图6所示的第1人物节点101表示母亲，第2人物节点102表示幼儿，对第1人物节点101和第2人物节点102进行了成组化的融合节点103关联有“母亲－幼儿组”的关联性信息。
第1人物节点101以及第2人物节点102的移动方向由矢量的朝向表示，第1人物节点101以及第2人物节点102的移动速度由矢量的大小表示。融合节点103的移动方向由第1人物节点101的带权重矢量w1A1和第2人物节点102的带权重矢量w2a2之和(w1A1+w2a2)来算出。
由此，例如即使在由于摄像头的遮挡等而两个人物节点中的一个人物节点消失了的情况下，通过使用融合节点的其他人物节点的移动信息，能够推定消失的人物节点的移动方向。
另外，表示幼儿第2人物节点102为依赖于表示母亲的第1人物节点101而移动。因此，第1人物节点101的权重w1优选比第2人物节点102的权重w2大(w1＞w2)。特别是，也可以使第2人物节点102的权重w2为0、使融合节点的移动方向仅为第1人物节点101的移动方向。
由此，能够节约用于推定融合节点的移动方向的运算资源。特别是，在使用以K-Shortest Paths为代表的曲线最佳化处理来追踪人物时，通过对人物节点进行融合，能够削减曲线的节点数，计算量能够大幅度地削减。因此，使用曲线最佳化处理来推定人流时，本公开的效果特别显著。
此外，在本实施方式1中，人流分析装置取得了图像信息以及声音信息，但本公开不特别限定于此，也可以仅取得图像信息以及声音信息中任意一方。在仅取得图像信息的情况下，不需要声音信息取得部113以及麦克风4，在仅取得声音信息的情况下，不需要图像信息取得部112以及第2摄像头3。
另外，在本实施方式1中，人流分析装置1相当于人流分析装置的一例，移动信息取得部111相当于移动信息取得部的一例，关联节点提取部131相当于关联人物提取部的一例，关联性信息确定部132相当于关联性信息确定部的一例，节点融合判断部133相当于成组化判断部的一例，行动预测部134相当于行动预测部的一例。
接着，对本实施方式1中的人流分析装置的处理进行说明。
图7是用于对本实施方式1中的人流分析装置的处理进行说明的流程图。此外，在图7所示的流程图中，对不取得声音信息、而仅取得图像信息的处理进行说明。
首先，在步骤S1中，移动信息取得部111取得表示多个人物节点在预定空间内的移动历史记录的移动信息。此时，移动信息取得部111从第1摄像头2接收移动信息。
此外，在本实施方式1中，移动信息取得部111从第1摄像头2接收移动信息，但本公开不特别限定于此，移动信息取得部111也可以从第1摄像头2接收从对预定空间进行俯瞰的位置拍摄到的图像，根据受信到的图像生成移动信息。
接着，在步骤S2中，关联节点提取部131基于由移动信息取得部111取得的移动信息，提取被推定为正彼此关联地移动的至少两人的人物节点。此时，关联节点提取部131提取在预定期间彼此之间的距离为预定的距离以下的至少两人的人物节点。
接着，在步骤S3中，图像信息取得部112取得表示多个人物节点的外观图像的图像信息。此时，图像信息取得部112从第2摄像头3接收图像信息。
接着，在步骤S4中，关联性信息确定部132确定关联性信息，所述关联性信息表示由关联节点提取部131提取的至少两人的人物节点具有什么样的关联性。此时，关联性信息确定部132从由图像信息取得部112取得的外观图像所包含的至少两人的人物节点各自的面部图像识别至少两人的人物节点各自的年龄以及性别，使用识别出的至少两人的人物节点各自的年龄以及性别的组合，确定关联性信息。
接着，在步骤S5中，节点融合判断部133基于由关联性信息确定部132确定的关联性信息，判断是否对至少两人的人物节点进行成组化。此时，节点融合判断部133在由关联性信息确定部132确定了关联性信息的情况下，判断为对至少两人的人物节点进行成组化，在未确定出关联性信息的情况下，判断为不对至少两人的人物节点进行成组化。在此，在判断为不对至少两人的人物节点进行成组化的情况下(步骤S5：否)，返回步骤S1的处理。
另一方面，在判断为对至少两人的人物节点进行成组化的情况下(步骤S5：是)，在步骤S6中，行动预测部134将判断为由节点融合判断部133进行成组化的至少两人的人物节点决定为一个融合节点，预测融合节点的行动。例如，行动预测部134通过对至少两人的人物节点各自的移动矢量进行合成，从而算出融合节点的移动矢量，根据所算出的移动矢量预测融合节点的移动方向。
接着，在步骤S7中，行动预测部134将预测结果存储于存储部12。
此外，在本实施方式1中，行动预测部134将预测结果存储于存储部12，但本公开不特别限定于此，通信部11也可以将行动预测部134的预测结果发送给与人流分析装置以能够通信的方式连接的终端装置，终端装置也可以显示接收到的预测结果。
图8是用于对本实施方式1中的人流分析装置的工作进行说明的示意图。如图8的上图所示，在以往，算出多个人物节点各自的移动方向(移动矢量)，预测多个人物节点各自的移动目的地。与此相对，如图8的下图所示，在本实施方式1中，多个人物节点中的第1人物节点101和第2人物节点102被提取为正彼此相关联地移动。并且，确定第1人物节点101以及第2人物节点102的关联性信息，判定是否对第1人物节点101以及第2人物节点102进行成组化。在判断为对第1人物节点101以及第2人物节点102进行成组化的情况下，预测对第1人物节点101以及第2人物节点102进行了成组化的融合节点103的移动方向。
由此，对一起移动的可能性高的多个人物节点进行成组化，以组为单位预测移动方向，因此，能够高精度地预测人物移动的动线。
此外，第2摄像头3也可以拍摄多个人物节点，生成表示多个人物节点在二维平面上的视线的方向的视线信息，并发送给人流分析装置1。人流分析装置1的通信部11也可以取得表示多个人物节点的视线的方向的视线信息。并且，关联性信息确定部132也可以使用所取得的视线信息中的至少两人的人物节点的视线的方向，确定关联性信息。例如关联性信息确定部132也可以在至少两人的人物节点的视线的方向在预定期间一致的情况下，确定表示至少两人的人物节点具有某种社会性的关联性的关联性信息。另外，关联性信息确定部132也可以在至少两人的人物节点的视线的方向在预定期间相交(注视彼此)的情况下，确定表示至少两人的人物节点具有某种社会性的关联性的关联性信息。
另外，人流分析装置1也可以根据所预测的融合节点103的移动方向控制电设备。例如在电设备为照明设备的情况下，人流分析装置1也可以使所预测的融合节点103的移动方向上存在的照明设备点亮。这样，能够基于人物节点的行动预测结果，有效地控制电设备。
另外，在实施方式1中，关联节点提取部131在持续了两个人物的距离比预定距离小的范围内的移动的情况下，推定为两个人物正相关联地移动。但是，两个人物间的距离多会根据环境而不同。因此，关联节点提取部131也可以确定与在多个人物的周围的环境相应的阈值，在多个人物间的距离比阈值短的情况下，推定为多个人物正相关联地移动。
图9是表示人口密度低的区域中的人物节点的配置的一例的图，图10是表示人口密度高的区域中的人物节点的配置的一例的图，图11是表示各人物节点间的距离的图。此外，在图9以及图10中，由实线表示的圆表示人物节点，圆内的数字表示用于识别各人物节点的节点编号，箭头表示人物节点的移动方向。
如图9所示，例如在公园等的大区域中，没有关联性的人物间的距离大。与此相对，亲子或者熟人彼此等的有关联性的人物间的距离相对短，但也有时会稍稍远离。
另一方面，如图10所示，在拥挤的车站或者交叉路口等区域中，具有关联性的人物间的距离十分小，与没有关联性的人物间的距离相比也相对较小。因此，关联节点提取部131也可以根据预定空间的人口密度，决定用于判断为具有关联性的两个人物节点间的距离的阈值。关联节点提取部131针对预定空间中包含的多个人物所包含的两个人物的全部组合，计算两人的人物节点间的距离，从计算出的全部距离中提取距离与整体距离相比足够短的两人的人物节点作为具有关联性的人物节点。
具体而言，如图11所示，关联节点提取部131也可以计算预定空间中包含的多个人物节点间的全部距离，提取与计算出的全部距离中的比预定阈值短的距离对应的两人的人物节点。此外，对于上述提取处理，也可以将预定空间分割为多个区域，按所分割的每个区域进行该提取处理。在该情况下，也可以根据分割的区域的人口密度，决定用于判断为具有关联性的2个人物节点间的距离的阈值。
例如在图11中，人物节点间的距离为“8”的两个人物节点被确定为具有关联性的人物节点。此时，关联节点提取部131算出存在多个人物节点的预定空间的人口密度，根据人口密度设定阈值。关联节点提取部131在人口密度比预定值低的情况下，设定第1阈值，在人口密度为预定值以上的情况下，设定比第1阈值小的第2阈值。关联节点提取部131提取人物节点间的距离比阈值小的两个人物节点来作为具有关联性的人物节点。
另外，在实施方式1中，关联节点提取部131使用人物节点间的距离，提取了具有关联性的两人的人物节点，但也可以进一步利用多个人物节点中的两人的人物节点的相对于行进方向的位置关系，提取两人的人物节点。
图12是用于对基于连结两人的人物节点的直线与两人的人物节点的行进方向的角度φ(φ＜90度)提取两人的人物节点的第1处理进行说明的示意图，图13用于对基于连结两人的人物节点的直线与两人的人物节点的行进方向的角度φ(φ＞90度)提取两人的人物节点的第1处理进行说明的示意图。
一般而言，在两个人物一边会话、一边步行的情况下，在对头顶俯瞰的图像中，连结两个人物的头顶的直线201与两个人物的行进方向202所成的角度φ为大致90度。在图12以及图13中，在第1人物节点101与第2人物节点102的关联性高的情况下，角度φ成为大致90度。另一方面，当角度φ成为接近180度或者0度的角度时，两个人物成为难以会话的位置关系。于是，在实施方式1中，关联节点提取部131也可以使用连结两人的人物节点的直线201与行进方向202所成的角度φ，提取两人的人物节点。
例如关联节点提取部131也可以在连结两人的人物节点的直线201与行进方向202所成的角度φ大于80度且小于110度的情况下，提取两人的人物节点。另外，关联节点提取部131也可以在预定期间中的两人的人物节点间的距离为预定距离以下、且连结两人的人物节点的直线201与行进方向202所成的角度φ大于80度且小于110度的情况下，提取两人的人物节点。
进一步，在实施方式1中，关联性信息确定部132也可以使用连结提取出的两人的人物节点的直线与行进方向所成的角度φ，确定两人的关联性信息。例如在一边步行、一边会话的结果，两人的人物节点的角度φ的值超过了预定值的情况下，关联性信息确定部132能够将所提取到的两人的人物节点的关联性信息确定为是家族、情侣或者友人。
关联性信息确定部132也可以在连结两人的人物节点的头顶部的直线与行进方向所成的角度φ处于以90度为中心的预定范围内时，确定为两人的人物节点具有友人、情侣或者家族的关联性。特别是，关联性信息确定部132也可以在角度φ大于80度且小于110度的情况下，将提取到的两人的人物节点的关联性信息确定为是家族、情侣或者友人。
另一方面，也存在如下情况：即使是具有关联性的两人的人物节点，连结两人的人物节点的直线与行进方向所成的角度φ也不为大致90度。
图14是用于对基于连结两人的人物节点的直线与两人的人物节点的行进方向的角度来提取两人的人物节点的第2处理进行说明的示意图。
如图14所示，在第1人物节点101是护理者、第2人物节点102是坐轮椅的人物的情况下，两个人物沿着行进方向排列，因此，角度φ的值小于预定值。因此，关联性信息确定部132能够在连结两人的人物节点的直线201与所提取到的两人的人物节点的行进方向202所成的角度φ小于预定值的情况下，将所提取到的两人的人物节点的关联性信息确定为是坐轮椅的人物与其护理者的关系。
关联性信息确定部132在连结两人的人物节点的头顶部的直线与行进方向所成的角度为预定的角度以下时，确定为两人的人物节点具有坐轮椅的人物与护理者的关联性。特别是，关联性信息确定部132也可以在角度φ大于0度且小于20度的情况下，将所提取到的两人的人物节点的关联性信息确定为是坐轮椅的人物与其护理者的关系。
图15是用于对根据两个人物通过门时的位置关系确定关联性信息的处理进行说明的示意图。
例如如图15所示，在车载的检票口、公共施设的入口或者公共施设的出口等的门203处、按各人物检查通过的情况下，具有关联性的人物彼此连续通过，或者在多个通过门在相对于人物的行进方向垂直方向上排列时，多会并行通过。于是，关联节点提取部131也可以基于通过门203时的人物节点的位置关系，提取被推定为正彼此相关联地移动的至少两人的人物节点。
关联节点提取部131利用表示相对于一次仅能够通过预定人数的门、多个人物中的两个人物连续通过了的信息，提取两个人物。关联节点提取部131在通过门203时、连结两人的人物节点的直线201与所提取到的两人的人物节点的行进方向202所成的角度φ为0度的情况下，提取两人的人物节点。
另外，关联性信息确定部132也可以将所提取到的两人的人物节点中的先通过门203的人物节点判定为长辈，将后通过门203的人物节点判定为孩子，将所提取到的两人的人物节点的关联性信息确定为亲子。
另外，在本实施方式1中，对关联性信息确定部132使用人物的视线信息来确定关联性信息进行了说明，但也可以进一步使用周围的状况或者正注视的对象与视线的关系，确定关联性信息。
图16是用于对基于相对于展示物的视线信息来确定停止的两人的人物节点的关联性信息的处理进行说明的示意图，图17是用于对基于相对于展示物的视线信息来确定移动的两人的人物节点的关联性信息的处理进行说明的示意图。此外，在图16以及图17中，虚线的箭头表示人物的视线的方向，实线的箭头表示人物的行进方向。
例如如图16以及图17所示，有时在餐饮店或者服装店等朝向通行者展示商品时，存在关联的两个人物会使视线朝向相同的对象物的方向来进行对话。于是，如图16所示，关联性信息确定部132也可以在所提取到的第1人物节点101以及第2人物节点102使视线朝向相同的对象物的情况下，判断为第1人物节点101以及第2人物节点102具有关联性。关联性信息确定部132也可以在至少两个人物的视线的方向朝向共同的对象物的情况下，确定关联性信息。
另外，在两人的人物节点的视线的方向朝向共同的对象物的情况下，有时相对于周围的其他的人物节点的移动速度，关联性高的两人的人物节点的移动速度相对慢。于是，如图17所示，关联性信息确定部132也可以在所提取到的两人的人物节点的视线的方向朝向共同的对象物、且所提取到的两人的人物节点的移动速度的平均与周围的其他人物节点的移动速度的平均之间的差量为预定值以上的情况下，判断为所提取到的两人的人物节点具有关联性。
进一步，在显示着公共的地图的引导板前，有时相关联的多个人物对目的等进行确认。
图18是用于对与基于用于引导人物的引导信息相对的视线信息来确定两人的人物节点的关联性信息的处理进行说明的示意图。在该情况下，关联性信息确定部132也可以使用与提示用于引导人物的引导信息的引导板204相对的第1人物节点101以及第2人物节点102的视线信息来判断关联性。在所提取到的两人的人物节点的视线方向朝向地图等引导板204的情况下，所提取到的两人的人物节点具有该其地域的地理信息有关的知识少这一共同点。于是，关联性信息确定部132也可以在至少两个人物的视线的方向朝向提示公共的引导信息的物体的情况下，确定关联性信息。特别是，关联性信息确定部132也可以在所提取到的两人的人物节点的视线方向朝向引导信息的情况下，将两人的人物节点的关联性信息确定为是观光客组。
另外，也有时两个人物的视线面向两个人物中的一方的所有物。于是，关联性信息确定部132也可以使用与至少两个人物中的一个人物的所有物相对的至少两个人物的视线信息来确定关联性信息。关联性信息确定部132也可以在至少两个人物的视线的方向朝向至少两个人物中的一个人物的所有物的情况下，确定关联性信息。
图19是用于对基于相对于两个人物中的一方的所有物的视线信息来确定两人的人物节点的关联性信息的处理进行说明的示意图。
例如如图19所示，关联性信息确定部132也可以在所提取到的第1人物节点101以及第2人物节点102这两者的视线方向朝向第1人物节点101的所有物205的情况下，判断为所提取到的第1人物节点101以及第2人物节点102具有关联性。所有物205例如是平板型计算机或者智能手机等终端装置。另外，所有物205例如也可以是地图、小册子或者导游手册等。
此外，对于各人物的视线的方向，能够从图像信息提取眼球的图像，使用眼球的图像的位置来进行确定。另外，在本实施方式1中，也可以在人物正在步行、因此难以从图像信息检测眼球的位置的情况下，推定为面部的朝向是视线的方向。
图20是用于对根据人物的面部的朝向推定人物的视线的方向的处理进行说明的图。例如如图20所示，在人物206朝向下方的情况下，视线的方向207也为下方，难以从图像信息检测眼球的位置。在该情况下，第2摄像头3也可以检测人物节点的面部的朝向，将检测到的面部的朝向设为视线的方向来生成视线信息，并发送给人流分析装置1。人流分析装置1的通信部11也可以取得视线信息，所述视线信息将从多个人物的外观图像检测到的多个人物的面部的朝向作为多个的人物的视线的方向。
另外，在实施方式1中，人流分析装置1的节点融合判断部133在两人的人物节点间的距离为预定距离以下的情况下，推定为关联性高，融合为一个节点，但在融合后也可以按照每一定时间来计算两人的人物节点间的距离。并且，节点融合判断部133也可以在融合后两人的人物节点间的距离比预定距离长时取消融合。即，节点融合判断部133也可以在成组化后再次计算被判断为进行成组化的至少两个人物间的距离，在再次计算出的距离超过预定距离的情况下，取消至少两个人物的成组化。另外，不仅是距离，节点融合判断部133也可以在融合后成为了在两人的人物节点间存在预定数量的其他节点的情况下取消融合。
(实施方式2)
在实施方式2中，人流分析装置取得与存在多个人物的预定空间有关的空间信息，利用所取得的空间信息预测融合节点的行动，向与人流分析装置以能通信的方式连接的终端装置发送预测结果，终端装置显示接收到的预测结果。
图21是表示本公开实施方式2中的人流分析系统的构成的图。
图21所示的人流分析系统具备人流分析装置1A、第1摄像头2、第2摄像头3、麦克风4以及终端装置6。此外，在实施方式2中，对于与实施方式1相同的结构标记相同的标号，并省略说明。
人流分析装置1A经由网络5与第1摄像头2、第2摄像头3、麦克风4以及终端装置6以能够彼此进行通信的方式相连接。此外，网络5例如是因特网。人流分析装置1A例如是服务器，具备通信部11A、存储部12以及控制部13A。
通信部11A具备移动信息取得部111、图像信息取得部112、声音信息取得部113、空间信息取得部114以及预测结果发送部115。通信部11A例如包括通信电路来作为硬件构成。
控制部13A例如包括CPU等处理器来作为硬件结构。控制部13A具备关联节点提取部131、关联性信息确定部132、节点融合判断部133以及行动预测部134A。
空间信息取得部114从外部的服务器取得与预定空间有关的空间信息。空间信息取得部114接收由外部的服务器发送的空间信息。空间信息例如是地图信息，若预定空间是建筑物内的空间，则是表示建筑物的布局图的信息。空间信息包括表示与存在于预定空间内的区域相关联的关联性信息的种类的区域种类信息。
在存在于预定空间内的区域关联有主要利用该区域的组的关联性信息的种类。例如在表示玩具店的区域预先关联有父母－婴儿组、父母－幼儿组以及母亲－小学生组等主要利用玩具店的组的关联性信息的种类。
此外，在本实施方式2中，空间信息取得部114将所取得的空间信息输出给行动预测部134A，但本公开不特别限定于此，也可以将所取得的空间信息存储于存储部12。在该情况下，行动预测部134A也可以从存储部12读出空间信息。另外，存储部12也可以预先存储空间信息。
行动预测部134A使用至少两人的人物节点的关联性信息、和表示与存在于预定空间内的区域相关联的关联性信息的种类的区域种类信息，预测对至少两人的人物节点进行了成组化的融合节点(组节点)的移动方向。行动预测部134A将预定空间内的多个区域中的、关联了与至少两人的人物节点的关联性信息的种类一致的关联性信息的种类的区域预测为对至少两人的人物节点进行了成组化的融合节点的移动目的地。
预测结果发送部115将行动预测部134A的预测结果发送给终端装置6。
终端装置6例如是个人计算机、智能手机或者平板型计算机。终端装置6具备通信部61、控制部62、显示部63以及输入部64。
通信部61接收由人流分析装置1A发送的预测结果。通信部61例如也可以包括通信电路来作为硬件结构。
控制部62也可以包括例如CPU等处理器。控制部62对通信部61、显示部63以及输入部64进行控制。
显示部63例如是液晶显示装置，显示由通信部61接收到的预测结果。
输入部64例如是触摸面板、键盘或者鼠标，受理用户的输入。
接着，对本实施方式2中的人流分析装置的处理进行说明。
图22是用于对本实施方式2中的人流分析装置以及终端装置的处理进行说明的流程图。此外，在图22所示的流程图中，对不取得声音信息、仅取得图像信息的处理进行说明。
图22所示的步骤S11～步骤S15的处理与图7所示的步骤S1～S5的处理相同。
在判断为对至少两人的人物节点进行成组化的情况下(步骤S15：是)，在步骤S16中，空间信息取得部114从外部服务器取得与预定空间有关的空间信息。
接着，在步骤S17中，行动预测部134A将由节点融合判断部133判断为进行成组化的至少两人的人物节点决定为一个融合节点，预测融合节点的行动。此时，行动预测部134A使用至少两人的人物节点的关联性信息、和表示与存在于预定空间内的区域相关联的关联性信息的种类的区域种类信息，预测对至少两人的人物节点进行了成组化的融合节点(组节点)的移动方向。行动预测部134A将预定空间内的多个区域中的、关联了与至少两人的人物节点的关联性信息的种类一致的关联性信息的种类的区域预测为融合节点的移动目的地。
接着，在步骤S18中，预测结果发送部115将行动预测部134A的预测结果发送给终端装置6。
接着，在步骤S19中，终端装置6的通信部61接收由人流分析装置1A发送的预测结果。
接着，在步骤S20中，显示部63显示由通信部61接收到的预测结果。
图23是用于对本实施方式2中的人流分析装置的预测结果进行说明的示意图。
在图23中，预定空间是建筑物200内的空间，在建筑物200内存在玩具店201a和面向十几岁的女性的服装店202a。并且，与玩具店201a预先关联有父母－婴儿组、父母－幼儿组、母亲－幼儿组以及母亲－小学生组等的关联性信息的种类。另外，与服装店202a预先关联有十几岁女性友人组的关联性信息的种类。
另外，图23所示的第1人物节点101表示母亲，第2人物节点102表示幼儿，对第1人物节点101和第2人物节点102进行了成组化的融合节点103关联有“母亲－幼儿组”的关联性信息。
在将第1人物节点101的移动矢量和第2人物节点102的移动矢量合成而得到的融合节点103的移动矢量由图23的虚线的箭头表示的情况下，行动预测部134A无法预测融合节点103是朝向玩具店201a和服装店202a中的哪个方向移动。
于是，行动预测部134A将建筑物200内的玩具店201a以及服装店202a中的、关联有与融合节点103的关联性信息的种类(母亲－幼儿组)一致的关联性信息的种类的玩具店201a预测为融合节点103的移动目的地。
如图23所示，行动预测部134A也可以从融合节点103生成附加了向作为移动目的地的玩具店201a延伸的箭头的预测结果图像。预测结果发送部115也可以将图23所示的预测结果图像发送给终端装置6。终端装置6的显示部63显示图23所示的预测结果图像。
另外，行动预测部134A也可以生成表示预定空间内的融合节点的移动的轨迹的移动轨迹图像，并发送给终端装置6。
图24是表示由本实施方式2中的人流分析装置生成的移动轨迹图像的一例的图。
终端装置6的显示部63在建筑物的布局图上显示融合节点，输入部64受理要显示建筑物内的移动的轨迹(动线)的融合节点的、用户所进行的选择。通信部61将用于确定所选择的融合节点的信息发送给人流分析装置1A。人流分析装置1A的通信部11A接收用于确定由终端装置6发送的融合节点的信息。并且，行动预测部134A参照移动信息，生成将由用户选择的融合节点的移动的轨迹(动线)重叠在建筑物的布局图上的移动轨迹图像。通信部11A将由行动预测部134A生成的移动轨迹图像发送给终端装置6。终端装置6的通信部61接收由人流分析装置1A发送的移动轨迹图像。显示部63显示由通信部61接收到的移动轨迹图像。
在图24所示的移动轨迹图像中，在建筑物的布局图上重叠有融合节点103的移动的轨迹。融合节点103关联有“母亲－幼儿组”的关联性信息。融合节点103的移动的轨迹由点表示，逗留在店铺的逗留时间的长度由颜色的浓度表示。即，逗留时间越长，点的色显示为越浓。此外，融合节点103的移动的轨迹既可以由线段表示，也可以根据逗留时间的长度来使线段的粗细或者线段的颜色变化。也可以将逗留在店铺的时间显示在建筑物的布局图上。另外，显示部63也可以并不是显示一个融合节点的移动的轨迹，而是显示多个融合节点的移动的轨迹。
在上述各实施方式中，各构成要素也可以由专用硬件构成、或者通过执行适于各构成要素的软件程序来实现。各构成要素也可以通过CPU或者处理器等程序执行部读取并执行记录于硬盘或者半导体存储器等记录介质的软件程序来实现。
本公开的实施方式涉及的装置的功能的一部分或者全部典型地可以作为集成电路即LSI(Large Scale Integration，大规模集成电路)来实现。这些既可以单独地单芯片化，也可以单芯片化为包括一部分或者全部。另外，集成电路化并不是限于LSI，也可以由专用电路或者通用处理器来实现。也可以利用能够在LSI制造后进行编程的FPGA(FieldProgrammable Gate Array，现场可编程门阵列)、或者能够重构LSI内部的电路单元的连接和/或设定的可重构处理器。
另外，也可以通过CPU等处理器执行程序来实现本公开的实施方式涉及的装置的功能的一部分或者全部。
产业上的可利用性
本公开涉及的人流分析方法、人流分析装置以及人流分析系统能够高精度地预测人物移动的动线，作为分析在预定空间内移动的多个人物的流动的人流分析方法、人流分析装置以及人流分析系统是有用的。

Claims (18)

1.一种人流分析方法，是人流分析装置中的人流分析方法，包括：
取得移动信息，所述移动信息表示在预定空间内移动的多个人物在所述预定空间内的移动历史记录；
基于所取得的所述移动信息，提取推定为正彼此相关联地移动的至少两个人物；
确定关联性信息，所述关联性信息表示所提取的所述至少两个人物具有何种关联性；
基于所确定的所述关联性信息，判断是否对所述至少两个人物进行成组化；
对判断为进行成组化的所述至少两个人物的行动进行预测，
在所述提取中，提取在预定期间彼此之间的距离为预定距离以下的所述至少两个人物，利用所述多个人物中的两个人物的相对于行进方向的位置关系，将推定为正彼此相关联地移动的所述两个人物提取为所述至少两个人物。
2.根据权利要求1所述的人流分析方法，
在所述提取中，针对所述多个人物所包含的两个人物的全部组合，计算所述两个人物间的距离，提取与计算出的全部距离中的比预定阈值短的距离对应的两个人物的所有组合的各个组合来作为所述至少两个人物。
3.根据权利要求1所述的人流分析方法，
在所述关联性信息的确定中，进一步在连结所述两个人物的头顶部的直线与行进方向所成的角度处于以90度为中心的预定范围内时，确定为所述两个人物作为所述至少两个人物具有友人、情侣或者家族的关联性。
4.根据权利要求1所述的人流分析方法，
在所述关联性信息的确定中，进一步在连结所述两个人物的头顶部的直线与行进方向所成的角度为预定角度以下时，确定为所述两个人物作为所述至少两个人物具有坐轮椅的人物和护理者的关联性。
5.根据权利要求1所述的人流分析方法，
在所述提取中，进一步对于一次仅能够通过预定人数的门，利用表示所述多个人物中的至少两个人物已连续通过的信息来提取所述至少两个人物。
6.根据权利要求1所述的人流分析方法，
进一步取得所述多个人物的外观图像，
在所述确定中，从所取得的所述外观图像所包含的所述至少两个人物各自的面部图像，识别所述至少两个人物各自的年龄以及性别，使用识别到的所述至少两个人物各自的所述年龄以及所述性别，确定所述关联性信息。
7.根据权利要求1所述的人流分析方法，
进一步取得表示所述多个人物的视线的方向的视线信息，
在所述确定中，使用所取得的所述视线信息中的所述至少两个人物的所述视线的方向，确定所述关联性信息。
8.根据权利要求7所述的人流分析方法，
在所述确定中，在所述至少两个人物的所述视线的方向正朝向共同的对象物的情况下，确定所述关联性信息。
9.根据权利要求8所述的人流分析方法，
所述共同的对象物是所述至少两个人物中的一个人物的所有物。
10.根据权利要求8所述的人流分析方法，
所述共同的对象物是提示公共的引导信息的物体。
11.根据权利要求7所述的人流分析方法，
在所述视线信息的取得中，取得将从所述多个人物的外观图像检测到的所述多个人物的面部的朝向作为所述多个人物的所述视线的方向的所述视线信息。
12.根据权利要求1所述的人流分析方法，
进一步取得所述多个人物各自说话的声音信息，
在所述确定中，使用所取得的所述声音信息中的所述至少两个人物正在会话的所述声音信息，确定所述关联性信息。
13.根据权利要求12所述的人流分析方法，
在所述确定中，通过从所述至少两个人物正在会话的所述声音信息中提取固有名词或者确定亲属关系的关键字，确定所述关联性信息。
14.根据权利要求1所述的人流分析方法，
在所述预测中，使用所述至少两个人物的所述关联性信息、和所述至少两个人物的所述移动信息，预测以对所述至少两个人物进行了成组化的组为单位的移动方向。
15.根据权利要求1所述的人流分析方法，
在所述预测中，使用所述至少两个人物的所述关联性信息和区域种类信息，预测以对所述至少两个人物进行了成组化的组为单位的移动方向，所述区域种类信息表示与存在于所述预定空间内的区域关联的所述关联性信息的种类。
16.根据权利要求1所述的人流分析方法，
进一步，在成组化后再次计算判断为进行成组化的所述至少两个人物间的距离，在再次计算的所述距离超过预定距离的情况下，取消所述至少两个人物的成组化。
17.一种人流分析装置，具备：
移动信息取得部，其取得移动信息，所述移动信息表示在预定空间内移动的多个人物在所述预定空间内的移动历史记录；
关联人物提取部，其基于由所述移动信息取得部取得的所述移动信息，提取推定为正彼此相关联地移动的至少两个人物；
关联性信息确定部，其确定表示由所述关联人物提取部提取的所述至少两个人物具有何种关联性的关联性信息；
成组化判断部，其基于由所述关联性信息确定部确定的所述关联性信息，判断是否对所述至少两个人物进行成组化；以及
行动预测部，其对由所述成组化判断部判断为进行成组化的所述至少两个人物的行动进行预测，
所述关联人物提取部，提取在预定期间彼此之间的距离为预定距离以下的所述至少两个人物，利用所述多个人物中的两个人物的相对于行进方向的位置关系，将推定为正彼此相关联地移动的所述两个人物提取为所述至少两个人物。
18.一种人流分析系统，具备：
人流分析装置；和
终端装置，其经由网络与所述人流分析装置以能够通信的方式相连接，
所述人流分析装置具备：
移动信息取得部，其取得移动信息，所述移动信息表示在预定空间内移动的多个人物在所述预定空间内的移动历史记录；
关联人物提取部，其基于由所述移动信息取得部取得的所述移动信息，提取推定为正彼此相关联地移动的至少两个人物；
关联性信息确定部，其确定表示由所述关联人物提取部提取的所述至少两个人物具有何种关联性的关联性信息；
成组化判断部，其基于由所述关联性信息确定部确定的所述关联性信息，判断是否对所述至少两个人物进行成组化；
行动预测部，其对由所述成组化判断部判断为进行成组化的所述至少两个人物的行动进行预测；以及
发送部，其向所述终端装置发送所述行动预测部的所述至少两个人物的行动预测结果，
所述关联人物提取部，提取在预定期间彼此之间的距离为预定距离以下的所述至少两个人物，利用所述多个人物中的两个人物的相对于行进方向的位置关系，将推定为正彼此相关联地移动的所述两个人物提取为所述至少两个人物，
所述终端装置具备：
接收部，其接收由所述人流分析装置发送的所述行动预测结果；和
显示部，其显示由所述接收部接收到的所述行动预测结果。
CN201810750697.2A 2017-07-18 2018-07-10 人流分析方法、人流分析装置以及人流分析系统 Active CN109271832B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-138854 2017-07-18
JP2017138854A JP6898165B2 (ja) 2017-07-18 2017-07-18 人流分析方法、人流分析装置及び人流分析システム

Publications (2)

Publication Number Publication Date
CN109271832A CN109271832A (zh) 2019-01-25
CN109271832B true CN109271832B (zh) 2023-11-14

Family

ID=65019095

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810750697.2A Active CN109271832B (zh) 2017-07-18 2018-07-10 人流分析方法、人流分析装置以及人流分析系统

Country Status (3)

Country Link
US (1) US10776627B2 (zh)
JP (1) JP6898165B2 (zh)
CN (1) CN109271832B (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019053789A1 (ja) * 2017-09-12 2019-03-21 日本電気株式会社 情報処理装置、制御方法、及びプログラム
US20210342475A1 (en) * 2018-07-18 2021-11-04 Nec Corporation Control apparatus, data analysys system, conrol method, and computer program
SG10201807663PA (en) * 2018-09-06 2020-04-29 Nec Asia Pacific Pte Ltd System and method for multi-layer potential associates discovery
JP7208051B2 (ja) * 2019-02-14 2023-01-18 株式会社日立製作所 状態認識装置
EP3912132A4 (en) * 2019-02-28 2022-12-07 Stats Llc SYSTEM AND METHOD FOR GENERATION OF PLAYER TRACKING DATA FROM BROADCAST VIDEO
JP7298221B2 (ja) * 2019-03-18 2023-06-27 富士通株式会社 情報提供方法、情報提供プログラムおよび情報提供装置
KR102436618B1 (ko) * 2019-07-19 2022-08-25 미쓰비시덴키 가부시키가이샤 표시 처리 장치, 표시 처리 방법 및 기억 매체
CN110555381A (zh) * 2019-07-31 2019-12-10 深圳市城市公共安全技术研究院有限公司 人员疏导系统及人员疏导方法
JP7443002B2 (ja) * 2019-09-13 2024-03-05 キヤノン株式会社 画像解析装置、画像解析方法、及びプログラム
JP6996669B2 (ja) * 2019-10-03 2022-02-04 三菱電機株式会社 表示処理装置、表示処理方法及びプログラム
CN111222404A (zh) * 2019-11-15 2020-06-02 北京市商汤科技开发有限公司 检测同行人的方法及装置、系统、电子设备和存储介质
CN110837512A (zh) * 2019-11-15 2020-02-25 北京市商汤科技开发有限公司 访客信息管理方法及装置、电子设备和存储介质
WO2021106696A1 (ja) * 2019-11-26 2021-06-03 富士フイルム株式会社 情報処理装置及び方法並びに誘導システム及び方法
CN112884190B (zh) * 2019-11-29 2023-11-03 杭州海康威视数字技术股份有限公司 一种流量预测方法及装置
SG10202002676SA (en) 2020-03-23 2021-10-28 Nec Asia Pacific Pte Ltd Method and apparatus for determining a contextual threshold
JP2021185448A (ja) * 2020-05-25 2021-12-09 株式会社日立情報通信エンジニアリング 予測システム、予測方法、および予測プログラム
US20210391089A1 (en) * 2020-06-15 2021-12-16 Honeywell International Inc. Methods and systems for reducing a risk of spread of an illness in a building
JP7415848B2 (ja) * 2020-08-17 2024-01-17 横河電機株式会社 装置、システム、方法およびプログラム
WO2022054249A1 (ja) * 2020-09-11 2022-03-17 日本電気株式会社 情報管理装置、方法及びプログラムが格納された非一時的なコンピュータ可読媒体
CN112633608B (zh) * 2021-01-06 2022-04-12 南方科技大学 人流转移预测方法、装置、设备及存储介质
CN113362368B (zh) * 2021-07-26 2022-02-25 北京邮电大学 一种基于多层次时空图神经网络的人群轨迹预测方法
JP7374401B1 (ja) 2022-02-14 2023-11-06 三菱電機株式会社 人物相関判定装置、人物相関判定方法および人物相関判定プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101325690A (zh) * 2007-06-12 2008-12-17 上海正电科技发展有限公司 监控视频流中人流分析与人群聚集过程的检测方法及系统
CN102244695A (zh) * 2010-05-12 2011-11-16 深圳富泰宏精密工业有限公司 联络人分组系统及方法
JP2016009281A (ja) * 2014-06-24 2016-01-18 株式会社日立製作所 人流分析システム
CN106650652A (zh) * 2016-12-14 2017-05-10 黄先开 基于人脸识别技术的轨迹跟踪系统及其方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5973732A (en) * 1997-02-19 1999-10-26 Guthrie; Thomas C. Object tracking system for monitoring a controlled space
US7688349B2 (en) * 2001-12-07 2010-03-30 International Business Machines Corporation Method of detecting and tracking groups of people
US7359821B1 (en) * 2002-06-11 2008-04-15 Injury Sciences Llc Methods and apparatus for using black box data to analyze vehicular accidents
JP4198951B2 (ja) * 2002-07-17 2008-12-17 独立行政法人科学技術振興機構 グループ属性推定方法及びグループ属性推定装置
US20050256813A1 (en) * 2004-03-26 2005-11-17 Radvan Bahbouh Method and system for data understanding using sociomapping
US20060018516A1 (en) * 2004-07-22 2006-01-26 Masoud Osama T Monitoring activity using video information
JP2007041964A (ja) 2005-08-04 2007-02-15 Matsushita Electric Ind Co Ltd 画像処理装置
US20080147488A1 (en) * 2006-10-20 2008-06-19 Tunick James A System and method for monitoring viewer attention with respect to a display and determining associated charges
US20090138415A1 (en) * 2007-11-02 2009-05-28 James Justin Lancaster Automated research systems and methods for researching systems
JP2010204912A (ja) * 2009-03-03 2010-09-16 Fujitsu Ltd 安全保持システム、その方法、及びプログラム
JP2011070275A (ja) 2009-09-24 2011-04-07 Seiko Epson Corp 画像処理装置
WO2011046138A1 (ja) * 2009-10-14 2011-04-21 株式会社エヌ・ティ・ティ・ドコモ 位置情報分析装置および位置情報分析方法
KR20120120193A (ko) * 2009-12-09 2012-11-01 미쓰비시 타나베 파마 코퍼레이션 Ｔ 세포 활성화 저해제, 이것을 함유하는 의약 조성물 및 ｔ 세포 활성화 저해 물질의 스크리닝 방법
US8749630B2 (en) * 2010-05-13 2014-06-10 Ecole Polytechnique Federale De Lausanne (Epfl) Method and system for automatic objects localization
JP2012133530A (ja) * 2010-12-21 2012-07-12 Denso Corp 車載装置
JP2012155274A (ja) 2011-01-28 2012-08-16 Ricoh Co Ltd 粉体収容容器、トナー収容容器、プロセスカートリッジ及び画像形成装置
JP2015184878A (ja) * 2014-03-24 2015-10-22 パイオニア株式会社 表示制御装置、制御方法、プログラム及び記憶媒体
JP6708122B2 (ja) * 2014-06-30 2020-06-10 日本電気株式会社 誘導処理装置及び誘導方法
JP6286316B2 (ja) 2014-08-04 2018-02-28 株式会社日立製作所 入出場ゲート制御システム及び入出場制御方法
JP6619927B2 (ja) * 2014-10-24 2019-12-11 株式会社日立製作所 キャリブレーション装置
JP6415249B2 (ja) * 2014-10-28 2018-10-31 株式会社ビークルー 動線情報処理システム及び方法、並びにプログラム
JP2017084083A (ja) * 2015-10-28 2017-05-18 株式会社日立製作所 送客管理装置、および送客管理方法
US10824878B2 (en) * 2016-03-08 2020-11-03 Accuware, Inc. Method and arrangement for receiving data about site traffic derived from imaging processing
JP6950692B2 (ja) * 2016-08-04 2021-10-13 日本電気株式会社 人流推定装置、人流推定方法およびプログラム
JP6968645B2 (ja) * 2017-10-02 2021-11-17 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101325690A (zh) * 2007-06-12 2008-12-17 上海正电科技发展有限公司 监控视频流中人流分析与人群聚集过程的检测方法及系统
CN102244695A (zh) * 2010-05-12 2011-11-16 深圳富泰宏精密工业有限公司 联络人分组系统及方法
JP2016009281A (ja) * 2014-06-24 2016-01-18 株式会社日立製作所 人流分析システム
CN106650652A (zh) * 2016-12-14 2017-05-10 黄先开 基于人脸识别技术的轨迹跟踪系统及其方法

Also Published As

Publication number Publication date
JP6898165B2 (ja) 2021-07-07
JP2019021019A (ja) 2019-02-07
US20190026560A1 (en) 2019-01-24
US10776627B2 (en) 2020-09-15
CN109271832A (zh) 2019-01-25

Similar Documents

Publication Publication Date Title
CN109271832B (zh) 人流分析方法、人流分析装置以及人流分析系统
JP7047944B2 (ja) 映像監視システム、映像監視方法、及びプログラム
US8724845B2 (en) Content determination program and content determination device
CN110869938A (zh) 人员识别系统和方法
JP2007317062A (ja) 人物認識装置及びその方法
Bertoni et al. Perceiving humans: from monocular 3d localization to social distancing
US20210134146A1 (en) Tracking and alerting traffic management system using iot for smart city
JP6779410B2 (ja) 映像解析装置、映像解析方法、及びプログラム
JP2020057111A (ja) 表情判定システム、プログラム及び表情判定方法
JP2022191288A (ja) 情報処理装置
CN114902299A (zh) 图像中关联对象的检测方法、装置、设备和存储介质
WO2022156317A1 (zh) 视频帧处理方法及装置、电子设备和存储介质
Mohan et al. Non-invasive technique for real-time myocardial infarction detection using faster R-CNN
Dileep et al. Suspicious human activity recognition using 2d pose estimation and convolutional neural network
Jeny et al. Deep learning framework for face mask detection
JP5418938B2 (ja) グループ行動推定装置およびサービス提供システム
JP2011192220A (ja) 同一人判定装置、同一人判定方法および同一人判定プログラム
US20210290129A1 (en) State estimation device, method and computer program therefor
CN113837066A (zh) 行为识别方法、装置、电子设备及计算机存储介质
Rothmeier et al. Comparison of Machine Learning and Rule-based Approaches for an Optical Fall Detection System
Usha et al. Social Distance Alerting System Using Machine Learning
WO2019199035A1 (ko) 시선 추적 시스템 및 방법
Euprazia et al. A novel action recognition system for smart monitoring of elderly people using Action Pattern Image and Series CNN with transfer learning
JPWO2020022362A1 (ja) 動き検出装置、特性検出装置、流体検出装置、動き検出システム、動き検出方法、プログラム、および、記録媒体
JP7453192B2 (ja) ユーザの動的状態に応じて物体認識に基づく情報を提示する携帯装置、プログラム及び方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Osaka, Japan

Applicant after: Panasonic Holding Co.,Ltd.

Address before: Osaka, Japan

Applicant before: Matsushita Electric Industrial Co.,Ltd.

GR01 Patent grant
GR01 Patent grant