CN102572390B - 对监视对象者的行动进行监视的装置以及方法 - Google Patents

对监视对象者的行动进行监视的装置以及方法 Download PDF

Info

Publication number
CN102572390B
CN102572390B CN201110397969.3A CN201110397969A CN102572390B CN 102572390 B CN102572390 B CN 102572390B CN 201110397969 A CN201110397969 A CN 201110397969A CN 102572390 B CN102572390 B CN 102572390B
Authority
CN
China
Prior art keywords
action
information
trooping
candidate
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201110397969.3A
Other languages
English (en)
Other versions
CN102572390A (zh
Inventor
浅原彰规
佐藤晓子
秋山高行
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of CN102572390A publication Critical patent/CN102572390A/zh
Application granted granted Critical
Publication of CN102572390B publication Critical patent/CN102572390B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明提供一种对监视对象者的行动进行监视的装置以及方法,其根据位置信息调整用于分析监视对象者的行动的精细度。该监视装置对监视对象区域内的多个监视对象者的行动进行监视,其中,所述监视装置具备处理器和与所述处理器连接的存储装置,所述存储装置保存表示所述多个监视对象者携带的移动终端的位置的定位数据,所述处理器,根据所述定位数据对所述监视对象者的行动进行分类,从多个所述被分类的行动中选择变更对象的候补,提取出与作为所述候补而选择出的行动对应的多个定位数据,输出与所述提取出的多个定位数据相关的信息,当输入了变更作为所述候补而选择出的行动的分类的指示时,变更作为所述候补而选择出的行动的分类。

Description

对监视对象者的行动进行监视的装置以及方法
技术领域
本发明涉及使用位置信息的监视系统,尤其涉及根据监视对象者的动作路线来分析监视对象者的行动的技术。
背景技术
以往,提出了通过参照监视对象者的移动轨迹、即动作路线和通过监视摄像机拍摄的图像来对监视对象者的行动进行监视的技术。
例如,在专利文献1中公开了使用监视对象者的动作路线来检索由监视摄像机拍摄到的图像的技术。
在专利文献2中公开了通过对使用RFID取得的监视对象者的位置信息和监视摄像机的影像进行比较来将两者对应,由此检测异常的技术。
在取得了监视对象者的动作路线的情况下,通过分析该动作路线可以对监视对象者的行动进行分析。但是,该分析所需的精细度,根据分析监视对象者的行动的目的而不同。换言之,是否有必要通过分析来区别某行动,根据分析的目的而不同。
例如,在分析监视对象者通过楼梯的行动的情况下,若简单地判定监视对象者是否进行了移动就足够的情况下,不涉及通过所需要的时间地判定监视对象者是否通过了楼梯即可。在监视对象者通过楼梯以外的通道(例如走廊)时也同样。
但是,例如若以与楼梯的构造相关的调查为目的来分析监视对象者的行动,则有时需要把监视对象者“以比较短的时间通过了楼梯”的行动、和“经过比较长的时间通过了楼梯”的行动判定为不同的行动。在该例中,关于监视对象者通过走廊的行动也不需要将其所需要的时间作为问题。在这种情况下,以往也根据同样的基准来进行分析,因此针对每个分析的范围(例如走廊或楼梯等),无法根据目的来任意地设定分析的精细度。
专利文献1:日本特开2010-123069号公报
专利文献2:日本特开2006-311111号公报
发明内容
鉴于上述问题而提出本发明,其目的在于当分析监视对象者的动作路线时,通过针对每个范围指定任意的精细度,能够提取出必要的信息。
本发明提供一种对监视对象区域内的多个监视对象者的行动进行监视的监视装置,其中,所述监视装置具备处理器和与所述处理器连接的存储装置,所述存储装置保存表示所述多个监视对象者携带的移动终端的位置的定位数据,所述处理器根据所述定位数据对所述监视对象者的行动进行分类,所述处理器从多个进行了所述分类的行动中选择变更对象的候补,所述处理器提取出与作为所述候补而选择出的行动对应的多个定位数据,所述处理器输出与所述提取出的多个定位数据相关的信息,当输入了变更作为所述候补而选择出的行动的分类的指示时,所述处理器变更作为所述候补而选择出的行动的分类。
根据本发明的一个实施方式,通过针对每个范围调整分析的精细度,可以从位置信息中提取出为了分析监视对象者的行动所需要的信息。
附图说明
图1是表示本发明的第1实施方式的设施监视系统的结构的框图。
图2是表示本发明的第1实施方式的监视服务器的硬件结构的框图。
图3是表示本发明的第1实施方式的设施监视系统的动作的全体的流程图。
图4是表示在本发明的第1实施方式中执行的定位结果的发送处理的顺序图。
图5是表示在本发明的第1实施方式中执行的检测信息的发送处理的顺序图。
图6是从本发明的第1实施方式的移动终端或环境侧定位装置发送的定位结果的说明图。
图7是从本发明的第1实施方式的传感器发送的传感器信息的说明图。
图8是本发明的第1实施方式的传感器信息DB中存储的传感器信息的说明图。
图9是本发明的第1实施方式的室内地图DB中存储的地图信息的说明图。
图10是本发明的第1实施方式的室内地图DB中存储的传感器参数的说明图。
图11是表示本发明的第1实施方式的监视服务器执行的动作路线解析处理的流程图。
图12A是表示本发明的第1实施方式的监视服务器执行的特征量的计算以及状态等级的生成处理的流程图。
图12B是本发明的第1实施方式中的定位数据的划分的说明图。
图12C是本发明的第1实施方式中的特征量的计算的说明图。
图12D是本发明的第1实施方式中的聚类(clustering)的说明图。
图13是表示本发明的第1实施方式的监视服务器执行的聚类处理的流程图。
图14是通过本发明的第1实施方式的监视服务器取得的状态等级的说明图。
图15是通过本发明的第1实施方式的监视服务器使用的统计模型的说明图。
图16是通过本发明的第1实施方式的监视服务器执行的状态迁移提取处理的说明图。
图17是本发明的第1实施方式的分析信息DB中存储的状态迁移模型的说明图。
图18是本发明的第1实施方式的分析信息DB中存储的群集信息的说明图。
图19是通过本发明的第1实施方式的画面显示装置显示的分析状况提示处理的输出画面的说明图。
图20是表示本发明的第1实施方式的监视服务器执行的分析条件设定画面提示处理的流程图。
图21是本发明的第1实施方式的监视服务器执行的分析条件接受画面提示处理的说明图。
图22是表示本发明的第1实施方式的监视服务器执行的分析条件调整用画面提示处理的流程图。
图23是本发明的第1实施方式的监视服务器执行的对象步行者选择处理的说明图。
图24是本发明的第1实施方式的监视服务器执行的传感器/定位对应处理的流程图。
图25是通过本发明的第1实施方式的画面显示装置显示的传感器信息提示画面的说明图。
图26是表示本发明的第1实施方式的监视服务器执行的分析条件调整处理的流程图。
图27是表示本发明的第2实施方式的监视服务器执行的动作路线解析处理的流程图。
图28是本发明的第2实施方式的分析信息DB中存储的状态判定辞典的说明图。
图29是本发明的第2实施方式的分析信息DB中存储的状态判定设定信息的说明图。
图30A是表示本发明的第2实施方式的监视服务器执行的基于状态判定辞典的状态等级的推定处理的流程图。
图30B是本发明的第2实施方式中的状态判定辞典的项目的检索处理的说明图。
图30C是本发明的第2实施方式中的状态等级的分配的说明图。
图31A是表示本发明的第2实施方式的监视服务器执行的分析参数调整候补选择处理的流程图。
图31B是本发明的第2实施方式中的被分配了同一状态等级的区间的检索处理的说明图。
图31C是本发明的第2实施方式中的更细的精细度的状态的确定处理的说明图。
图31D是本发明的第2实施方式中的一致度高的状态的选择处理的说明图。
图32是通过本发明的第2实施方式的画面显示装置显示的传感器信息提示画面的说明图。
图33A是表示本发明的第3实施方式的监视服务器执行的分析参数调整候补选择处理的流程图。
图33B是本发明的第3实施方式中的更细的精细度的状态的确定处理的说明图。
图34是本发明的第4实施方式的分析信息DB中存储的状态判定设定信息的说明图。
符号说明
100 监视服务器
101 传感器信息管理部
102 定位记录管理部
103 传感器/定位综合部
104 动作路线解析部
105 分析条件调整部
106 分析条件设定画面生成部
107 分析结果画面生成部
111 传感器信息数据库(DB)
112 定位DB
113 室内地图DB
114 分析信息DB
115 用户DB
120 画面显示部
130 传感器
140 移动终端
150 环境侧定位装置
160A、160B 网络
具体实施方式
以下,使用附图说明本发明的实施方式。
<第1实施方式>
图1是表示本发明的第1实施方式的设施监视系统的结构的框图。
本实施方式的设施监视系统具备:监视服务器100、画面显示装置120、一个以上的传感器130、一个以上的移动终端140、一个以上的环境侧定位装置150以及将它们相互连接的网络160A以及160B。
监视服务器100根据监视区域内的移动终端140的位置信息,监视保持该移动终端140的监视对象者的行动。
在此,所谓监视区域是本实施方式的设施监视系统的监视对象的区域,例如是工厂或店铺等设施。当监视区域是工厂时,监视对象者例如是工厂的工作人员,当监视区域是店铺时,监视对象者例如是店铺的工作人员或店铺的顾客。此外,在本实施方式中,作为监视区域的典型例子举例表示工厂内等室内,但是在对室外进行监视的情况下也可以应用本发明。
为了进行监视区域的监视,监视服务器100具备:传感器信息管理部101、定位记录管理部102、传感器/定位综合部103、动作路线解析部104、分析条件调整部105、分析条件设定画面生成部106、分析结果画面生成部107、传感器信息数据库(DB)111、定位DB112、室内地图DB113、分析信息DB114以及用户DB115。关于所述各部执行的处理、各DB中存储的数据以及用于实现它们的硬件结构,在后面进行说明。
画面显示装置120例如是CRT(Cathode Ray Tube)或液晶显示装置等。在后面说明在画面显示装置120上显示的画面的例子。
在图1的例子中,传感器130经由网络160A连接在监视服务器100上,移动终端140以及环境侧定位装置150经由网络160B连接在监视服务器100上。这样,可以设置独立的网络,它们的种类可以彼此不同,但是也可以共用单一的网络。这些网络可以是LAN(Local Area Network)、WAN(Wide AreaNetwork)、公共无线网或因特网等。另外,网络的形态可以是有线或无线的任意形态。
移动终端140是各监视对象者携带的装置。在本实施方式中,利用移动终端140的位置信息,因此,移动终端140或环境侧定位装置150的至少一方需要具有测量移动终端140的位置的功能。例如移动终端140是便携电话机、PHS(Personal Handy phone System)、带无线通信功能的计算机、PDA(PersonalDigital Assistants)或至少发送固有的识别信息的无线标签等。
当移动终端140是例如具备GPS(Global Positioning System)定位装置的便携电话机或PHS时,移动终端140对通过GPS定位装置取得的位置信息附加识别移动终端140的信息(ID信息、例如电话号码),经由网络160B将这些信息发送到监视服务器100。移动终端140可以进行使用基于例如从基站发送的信号的定位来代替GPS定位装置的定位。在这种情况下,发送用于定位的信号的基站可以是环境侧定位装置150。
当移动终端140例如是计算机或PDA等时,移动终端140可以根据从设置在监视区域内的多个无线LAN接入点或电波信标发送的电波、从光信标放射的光信号的强度(或接收定时)计算移动终端140的位置,在表示计算出的位置的信息中附加移动终端140的ID信息,将这些信息发送到监视服务器100。在这种情况下,无线LAN接入点、电波信标或光信标可以是环境侧定位装置150。
当环境侧定位装置150是无线LAN接入点时,可以由移动终端140与ID信息一起发送定位信号,由多个环境侧定位装置150测量接收到定位信号的时刻。若预先已知各环境侧定位装置150的位置,则根据该位置和定位信号的接收时刻的差,通过使用例如与三角测量同样的方法可以计算移动终端140的位置。作为这种定位技术的一例,已知AirLocation(注册商标)。
当移动终端140为无线标签时,环境侧定位装置150是对移动终端140进行访问的收发装置。例如当移动终端140是所谓的RFID(Radio FrequencyIdentification)标签时,多个环境侧定位装置150被设置在监视区域的预定位置,当将移动终端140带在身上的监视对象者接近某个环境侧定位装置150时,环境侧定位装置150使用无线信号来取得移动终端140的ID信息。
然后,环境侧定位装置150对所取得的ID信息附加可以确定自身的位置的信息,然后将它们发送到监视服务器100。所谓可以确定环境侧定位装置150自身的位置的信息,例如可以是该环境侧定位装置150的ID信息,也可以是表示该环境侧定位装置150的坐标的信息。若预先已知各环境侧定位装置150的ID信息和坐标的对应关系,则可以根据ID信息确定环境侧定位装置150的位置。根据环境侧定位装置150的位置可以确定与其接近的移动终端140的近似位置。
或者,移动终端140可以是发送预定的定位信号的无线标签。多个环境侧定位装置150测量接收到定位信号的时刻,可以根据该时刻的差来确定移动终端140的位置。若定位信号中包含移动终端140的ID信息,则环境侧定位装置150可以将该ID信息和测量出的位置信息发送到监视服务器100。
监视服务器100若预先保存了将各移动终端140的ID信息、与携带其的监视对象者的识别信息进行对应的信息,则可以根据该信息确定接收到的位置信息表示哪个监视对象者的位置。
具体来说,在用户DB115中登录了将识别各监视对象者的信息(例如监视对象者的姓名或工作人员代码等)与识别各监视对象者保持的移动终端140的信息对应起来的信息。
传感器130取得表示监视区域中的监视对象者的行动的信息,然后将所取得的信息经由网络160A发送到监视服务器100。以下主要说明传感器130为监视摄像机的例子,但是传感器130也可以是其它传感器,例如麦克风、超声波传感器或红外线传感器等,也可以是具备将销售履历发送给监视服务器100的功能的自动售货机等。
当传感器130是监视摄像机时,各传感器130以预定的定时(例如定期地)对分配给监视区域内的各传感器130的预定范围进行拍摄,将由此得到的图像数据发送到监视服务器100。所发送的图像数据通过传感器信息管理部101被存储在传感器信息DB111中。该图像数据可以是静止图像数据或动态图像数据的任意一种。当是动态图像数据时,可以以预定帧率连续进行拍摄,也可以以预定时间间隔断续地重复进行一定时间的拍摄。通过参照如此拍摄到的图像,可以掌握某时间段的某范围中的监视对象者的行动。
当传感器130是麦克风时,连续或断续地收录被分配给监视区域内的各麦克风的预定范围的声音。所收录的声音数据被发送到监视服务器100,通过传感器信息管理部101被存储在传感器信息DB111中。根据所存储的声音数据可以检测监视对象者的行动(例如步行、停止、使物体移动的动作、开关门的动作、上锁/开锁动作、捆包/开包动作等)。
图2是表示本发明的第1实施方式的监视服务器100的硬件结构的框图。
本实施方式的监视服务器100是具备相互连接的处理器201、主存储器202、输入装置203、接口(I/F)205以及存储装置206的计算机。
处理器201执行在主存储器202中存储的程序。
主存储器202例如是半导体存储器,存储由处理器201执行的程序以及由处理器201参照的数据。具体来说,在存储装置206中存储的程序以及数据的至少一部分根据需要而被复制到主存储器202中。
输入装置203接受来自设施监视系统的管理者(即使用监视服务器100来监视监视对象者的人)的输入。输入装置203例如可以包含键盘以及鼠标等。
I/F205是与网络160A以及160B连接,与传感器130、移动终端140以及环境侧定位装置150进行通信的接口。当网络160A以及160B互相独立时,监视服务器100具备多个I/F205,其中一个与网络160A连接,另一个与网络160B连接。
存储装置206例如是硬盘装置(HDD)或闪速存储器那样的非易失性的存储装置。在本实施方式的存储装置206中至少存储:传感器信息管理部101、定位记录管理部102、传感器/定位综合部103、动作路线解析部104、分析条件调整部105、分析条件设定画面生成部106、分析结果画面生成部107、传感器信息数据库(DB)111、定位DB112、室内地图DB113、分析信息DB114以及用户DB115。
传感器信息管理部101、定位记录管理部102、传感器/定位综合部103、动作路线解析部104、分析条件调整部105、分析条件设定画面生成部106以及分析结果画面生成部107是通过处理器201执行的程序。在以下的说明中,上述各部执行的处理实际上通过处理器201执行。
图1所示的监视服务器100如图2所示,可以由一个计算机构成,但也可以由可相互通信的多个计算机构成。例如可以由一方的计算机具备传感器信息管理部101、定位记录管理部102、传感器信息DB111以及定位DB112,由另一方的计算机具备剩余的部分。或者可以由一方的计算机具备传感器信息管理部101等处理部,由另一方的计算机具备传感器信息DB111等数据库。
图3是表示本发明的第1实施方式的设施监视系统的动作的全体的流程图。
在配备了室内地图DB113后开始图3所示的处理。关于室内地图DB113的内容,在后面进行说明(参照图9以及图10)。
本实施方式的设施监视系统执行数据收集步骤310以及数据分析步骤320。
为了收集检测结果以及定位结果执行数据收集步骤310。
具体来说,传感器130进行检测(步骤331),将其结果发送到传感器信息管理部101。移动终端140或环境侧定位装置150进行定位(步骤332),将其结果发送到定位记录管理部102。所发送的定位结果信息至少包含表示移动终端140的位置的信息。关于所发送的信息的详细内容,在后面进行说明(参照图6以及图7)。
传感器信息管理部101以及定位记录管理部102分别将接收到的信息存储在传感器信息DB111以及定位DB112中(步骤311)。
为了分析被收集并被存储在数据库中的检测结果以及定位结果而执行数据分析步骤320。例如,监视服务器100可以跨越预定的时间收集检测结果以及定位结果(数据收集步骤310),然后,为了分析所收集到的检测结果以及定位结果而执行数据分析步骤320。
具体来说,最初,动作路线解析部104根据定位DB112中存储的位置信息执行动作路线解析处理(步骤321)。在后面详细说明该处理(参照图11等)。
然后,分析条件设定画面生成部106根据动作路线解析处理的结果,执行分析状况提示处理(步骤322)。管理者参照通过该处理而提示的分析状况没输入指示(步骤333)。分析条件设定画面生成部106根据所输入的指示,判定分析结果是否妥当(步骤323)。当将分析结果判定为妥当时,执行分析结果提示处理(步骤326),结束处理。
当将分析结果判定为不妥当(即需要修正分析结果)时,分析条件设定画面生成部106执行分析条件设定画面提示处理(步骤324)。在后面详细说明该处理。
然后,分析条件调整部105执行分析条件调整处理(步骤325)。然后,处理返回步骤321。
图4是表示在本发明的第1实施方式中执行的定位结果的发送处理的顺序图。
具体来说,图4表示图3的数据收集步骤310中为了定位结果的收集而执行的处理。
移动终端140进行定位,将包含由此得到的信息的定位结果发送到定位记录管理部102(步骤401)。定位记录管理部102将包含接收到的信息的定位数据存储在定位DB112中(步骤402)。重复执行这些处理(步骤405、406),在定位DB112中积蓄定位数据。
另一方面,环境侧定位装置150也进行定位,并将由此而得的信息发送到定位记录管理部102(步骤403)。定位记录管理部102将接收到的信息存储在定位DB112中(步骤404)。在图4中进行了省略,但这些处理也被重复执行,在定位DB112中积蓄定位数据。
图4表示了在设施监视系统中并用多个定位方法的例子。通常,包含监视区域的设施被多个监视对象者使用,因此,在监视区域内会存在多个移动终端140。这些多个移动终端140不一定全部是同种装置。例如有时某个移动终端140是具备GPS定位装置的便携电话机,别的移动终端140是无线标签。在这种情况下,包含便携电话机的位置信息的定位结果如步骤401所示,从便携电话机自身发送,包含无线标签的位置信息的定位结果如步骤403所示,从环境侧定位装置150发送。
此外,在仅使用一种定位方法的情况下,定位结果仅从移动终端140或环境侧定位装置150的一方发送。
图5是表示在本发明的第1实施方式中执行的传感器信息的发送处理的顺序图。
具体来说,图5表示图3的数据收集步骤310中、为了收集检测信息而执行的处理。
传感器130进行检测,并将由此得到的信息发送到传感器信息管理部101(步骤501)。传感器信息管理部101将包含接收到的检测结果的传感器信息存储在传感器信息DB111中(步骤502)。在后面说明传感器信息DB111中存储的传感器信息(参照图8)。重复执行这些处理(步骤503~506),在传感器信息DB111中积蓄检测结果。
然后,参照图6~图10说明在本实施方式的设施监视系统中使用的数据的例子。
图6是从本发明的第1实施方式的移动终端140或环境侧定位装置150发送的定位结果的说明图。
如上所述,移动终端140或环境侧定位装置150测量移动终端140的位置,并将作为其结果而得到的位置信息发送到监视服务器100。图6表示这样发送的定位结果的例子。
定位结果600包含步行者ID601、定位系统ID602、X坐标603、Y坐标604以及时刻605。
步行者ID601是唯一地识别监视对象者的信息,例如可以是电话号码、MAC(Media Access Control)地址或RIFD标签的识别信息那样的监视对象者携带的移动终端140的识别信息。
定位系统ID602是表示定位手段的代码。例如,作为包含通过GPS定位而取得的坐标值的定位结果600的定位系统ID602,可以赋予“0”,作为包含通过环境侧定位装置150取得的坐标值的定位结果600的定位系统ID602,可以赋予“1”。
X坐标603以及Y坐标604是将监视区域中的移动终端140的(即携带它的监视对象者)位置作为二维直角坐标系中的坐标值来确定的信息。也可以对X坐标603以及Y坐标604进一步增加Z坐标来处理三维位置信息。这些坐标值是一个例子,不一定要使用直角坐标系。例如当移动终端140具备GPS定位装置时,作为X坐标603以及Y坐标604,可以包含表示经度以及纬度的信息。而且,若需要还可以包含表示高度的信息。
时刻605表示进行定位的时刻(换言之,取得定位结果600的时刻)。时刻605根据需要还可以包含表示进行定位的年月日的信息。
定位记录管理部102当接收定位结果600时生成定位数据并存储在定位DB112中。定位数据至少包含在定位结果600中包含的位置信息。但是,在针对每个定位系统使用不同坐标系时,定位记录管理部102可以通过对定位结果600中包含的坐标值(即X坐标值603以及Y坐标值604)进行变换,将定位数据中包含的坐标值统一为某个坐标系。这种变换可以通过公知的方法来执行,因此省略详细的说明。另外,在针对每个定位系统使用不同种类的步行者ID(例如电话号码、MAC地址或RFID等)时,定位记录管理部102可以将这些ID变换为在监视服务器100中使用的统一的步行者ID。
如此生成的定位数据的格式基本上可以与定位结果600的格式相同,但是由于如上所述那样结束了与定位系统对应的变换,因此定位数据可以不包含定位系统ID602。图6所示的一组定位结果600包含一人的监视对象者的一个时刻的位置信息,其对应于一组定位数据。在定位DB112中存储多组的定位数据、即与多个监视对象者相关的多个时刻的位置信息。
图7是从本发明的第1实施方式的传感器130发送的传感器信息的说明图。
如上所述,传感器130执行检测并将其结果(检测结果)发送到监视服务器100。图7表示这样发送的传感器信息的例子。
传感器信息700包含传感器ID701以及数据702。
传感器ID701是唯一地识别发送了传感器信息700的传感器130的信息。
数据702是发送了传感器信息700的传感器130作为检测的结果而取得的数据,例如是图像数据或声音数据。该数据702可以是通过DSP(数字信号处理器)处理后的数据,也可以是未经处理的原始数据,另外,可以是压缩数据,也可以是非压缩数据。
传感器130可以简单地发送作为检测的结果的图像数据等,但也可以判定该检测结果是否从上次的检测结果发生了变化,然后将该判定的结果包含在数据702中来发送,另外也可以仅将该判定的结果作为数据702来发送。
图8是本发明的第1实施方式的传感器信息DB111中存储的传感器信息的说明图。
传感器信息管理部101当接收传感器信息700时,对该传感器信息700施加预定的处理后存储在传感器信息DB111中。至少传感器信息管理部101需要将传感器信息700与时刻关联存储。
传感器信息800包含传感器ID801、传感器类别802、时刻803以及数据804。其中,传感器ID801以及数据804相当于图7的传感器ID701以及数据702。即,传感器信息管理部101当接收传感器信息700时,将其中包含的传感器ID701以及数据702分别作为传感器ID801以及数据804存储在传感器信息DB111中。
传感器类别802表示发送了传感器信息700的传感器130的种类,例如表示其是监视摄像机、麦克风还是其它传感器。
时刻803是确定进行了检测的时刻的信息。例如当数据804是静止图像数据时,时刻803可以是对其进行拍摄的时刻。当数据804是动态图像数据或声音数据等经过一定时间而取得的数据时,时刻803可以是例如检测的开始时刻和检测的时间的组、检测的开始时刻和结束时刻的组、代表该检测时间的时刻、或它们的组合。
此外,一个传感器130取得的与一个时刻对应的检测结果,作为一组传感器信息800而被存储。传感器信息DB111中存储多组传感器信息800、即表示多个传感器130在多个时刻检测而得的结果的信息。
接着,说明室内地图DB113中存储的数据的例子。室内地图DB113中存储地图信息900以及传感器参数1000。
图9是在本发明的第1实施方式的室内地图DB113中存储的地图信息900的说明图。
地图信息900包含地物ID901、类别代码902以及形状903。
地物ID901是唯一地识别在监视区域或其周边存在的地物的信息。在此,所谓地物,包含地板、墙壁、柱、物体收纳架、隔板、以及从天花板垂下的物体(例如空调管、扬声器或照明器具)等。
类别代码902是表示地物的种类的信息。类别代码902可以是例如识别地物是墙壁、柱、梁、架、门等的哪一个的信息。根据各地物的类别代码902可以判定该地物是否妨碍检测。
形状903是确定地物的形状以及尺寸的信息,例如包含表现该地物的形状的坐标点列。
与一个地物相关的信息作为一组地图信息900来存储。在室内地图DB113中存储多组地图信息900、即与多个地物相关的地图信息900。
图10是在本发明的第1实施方式的室内地图DB113中存储的传感器参数1000的说明图。
传感器参数1000包含传感器ID1001、类别代码1002、设置部位1003以及传感器参数1004。
传感器ID1001是唯一地识别在监视区域内设置的各传感器130的信息。类别代码1002是表示传感器的种类的信息。它们可以是分别与传感器信息800的传感器ID801以及传感器类别802相同的信息。
设置部位1003是确定监视区域内的传感器130的设置部位的信息,例如是二维或三维的坐标值。
传感器参数1004是确定通过传感器130可检测的区域的信息。例如当传感器130是监视摄像机时,传感器参数1004可以包含确定监视摄像机的方向、视场角以及析像度等的信息。当传感器130是麦克风时,传感器参数1004可以包含确定麦克风的方向、指向性以及灵敏度等的信息。
与一个传感器130相关的信息作为一组传感器参数1000而存储。室内地图DB113中存储多组传感器参数1000、即与多个传感器130相关的传感器参数1000。
接着,说明图3所示的步骤的细节。
图11是表示本发明的第1实施方式的监视服务器100执行的动作路线解析处理的流程图。
在图3的步骤321中执行图11所示的处理。
最初,动作路线解析部104计算定位数据的特征量,生成状态等级(步骤1101)。具体来说,动作路线解析部104通过针对计算出的特征量执行聚类(clustering),将动作路线表示的监视对象者的行动分类为多个状态,对这些状态赋予等级。在后面说明该详细的步骤(参照图12A~图12D等)。
然后,动作路线解析部104将状态等级的迁移列应用于统计模型(步骤1102)。在后面说明该详细的步骤。
然后,动作路线解析部104从统计模型中提取出信息(步骤1103)。在后面说明该详细的步骤。
以上,动作路线解析处理结束。
参照图12A~图12D说明在步骤1101中执行的特征量的计算以及状态等级的生成。
图12A是表示本发明的第1实施方式的监视服务器100执行的特征量的计算以及状态等级的生成处理的流程图。
图12B是本发明的第1实施方式中的定位数据的划分的说明图。
图12C是本发明的第1实施方式中的特征量的计算的说明图。
图12D是本发明的第1实施方式中的聚类的说明图。
最初,动作路线解析部104将定位数据在时间上进行分离(步骤1201)。具体来说,例如当计算某时刻的定位数据的特征量时,从定位DB112中取得作为计算对象的该时刻的定位数据、和包含该时刻的预定时间范围内的定位数据。图12B表示如此取得的定位数据的例子。图12B的黑圆圈的位置相当于作为计算对象的定位数据所表示的位置,白圆圈的位置相当于预定的时间范围内的定位数据所表示的位置。
然后,动作路线解析部104根据步骤1201中取得的定位数据计算特征量(步骤1202)。特征量例如是定位数据中包含的位置信息、根据该位置信息计算出的监视对象者的速度以及加速度等。
具体来说,由于在步骤1201中取得的定位数据包含多个时刻的位置信息,因此根据它们可以计算监视对象者的移动速度,进而可以根据该移动速度的变化计算加速度。图12C中举例表示的特征量是:
(1)10秒前的速度
(2)10秒前的加速度
(3)当前的速度
(4)当前的加速度
(5)10秒后的速度
(6)10秒后的加速度
(7)平均速度
(8)10秒前的点与当前的点之间的距离。
在此,所谓“当前”,是取得了作为特征量的取得对象的测定数据的时刻(即与该定位数据对应的时刻605),“10秒前”以及“10秒后”的基准点是上述的“当前”。
动作路线解析部104,作为表示一个定位数据的特征的值可以使用如上那样计算出的特征量的任意一个,但是,通常使用多个特征量的组(例如上述8种特征量的组)。这种多个特征量的组一般作为以这些特征量为要素来包含的矢量(即特征量矢量)来处理。n维(上述的例子中为8维)特征量矢量可以作为n维空间中的点来表现。以下说明使用这种特征量矢量(即特征量的组)的例子。
上述特征量是一个例子,也可以计算其它特征量。另外,上述8维也是一个例子,可以使用任意维的特征量矢量。例如,作为特征量矢量的要素,可以进一步包含表示当前的位置的特征量。
然后,动作路线解析部104对包含在步骤1202中计算出的特征量矢量的多个特征量矢量进行聚类,生成状态等级(步骤1203)。如后所述(参照图13),通过k-means法等公知的算法来执行该聚类。
例如,动作路线解析部104通过针对多个监视对象者以及多个时刻的各个重复执行上述步骤1201以及1202,可以计算与各监视对象者相关的每个时刻的特征量矢量。以如此计算出的多个特征量矢量作为对象来执行聚类。
例如将n维(在图12D的例子中为2维)空间中的多个特征量矢量(在图12D中标绘的多个黑点)分类为多个群集(在图12D的例子中为群集A、B以及C)。图12D中所示的“A”~“C”是所生成的状态等级。
两个特征量矢量间的距离近意味着这些特征量矢量类似。两个特征量矢量类似意味着与这些特征量矢量对应的监视对象者的行动相同的可能性高。
因此,被判定为通过上述聚类而属于一个群集的多个特征量矢量,例如当它们与多个监视对象者相关时,与这些监视对象者的同一行动对应的可能性高。换言之,本实施方式的聚类相当于根据定位数据对监视对象者的行动进行分类,状态等级是识别分类后的行动的标识。
在此,与某个特征量矢量对应的监视对象者的行动,是被管理者判断为在取得与成为该特征量矢量的计算基础的某个监视对象者相关的定位数据时,由该监视对象者进行的行动。另外,在本实施方式中,所谓同一行动,是被分类为相同行动的行动,未必意味着完全相同的行动。并且,如上所述,判定两个行动是否相同的基准受对监视对象者的行动进行监视的目的左右。换言之,属于一个群集的多个特征量矢量互相类似,因此对应于相同行动的可能性高,但是实际上也有可能对应于应该被分类为不同行动的行动。
在本实施方式中,通过进一步调整基于k-means法等的聚类的结果,可以使群集和管理者想要分类的行动恰当对应。在后面说明该调整。
如上述(1)~(8)所示,在特征量矢量不包含表示当前的位置的信息的情况下,当两个特征量矢量互相类似时,不管与这些特征量矢量对应的行动在监视区域内什么地方进行,这些特征量矢量都有可能被分类为一个群集。这意味着例如不管“通过楼梯”这样的行动在监视区域内的哪个楼梯进行,都将它们分类为相同的行动。因此,在想要在行动的分类的判断基准中包含在哪里进行行动时(例如想要将通过某位置的楼梯的行动、和通过与其不同的位置的楼梯的行动分类为不同行动时),需要进行考虑进行行动的位置本身的聚类。
例如在特征量矢量中也可以包含表示当前的位置的信息。或者,动作路线解析部104可以首先将定位数据根据其表示的位置进行聚类,针对由此得到的每个空间性的群集,计算其中包含的定位数据的特征量矢量,并进行它们的聚类。本实施方式以执行考虑到上述位置的聚类为前提。
图13是表示本发明的第1实施方式的监视服务器100执行的聚类处理的流程图。
在图12A的步骤1203中执行图13所示的处理。
最初,动作路线解析部104参照分析信息DB114,判定是否存在与作为聚类对象的特征量矢量相关的群集信息(即这些特征量矢量是否已经被聚类)(步骤1301)。当针对所取得的特征量矢量最初执行聚类时,在步骤1301中判定为不存在群集信息。另一方面,如后所述,在对聚类结果进行了参数调整后再次进行动作路线解析处理时(参照图26),在步骤1301中判定为存在群集信息。
在步骤1301中判定为不存在群集信息时,动作路线解析部104随机地决定群集中心的初始值(步骤1302)。例如,动作路线解析部104可以决定由管理者指定的数量的群集中心的初始值。或者,动作路线解析部104使用AIC(赤池信息量准则)等评价群集数的妥当性的公知基准来决定群集数,以使该基准达到最佳。
接着,动作路线解析部104计算与各特征量矢量对应的点与群集中心的距离,基于各特征量矢量属于包含与其最近的群集中心的群集(即最近群集)的假设,对特征量矢量进行聚类,进而将属于各群集的特征量矢量的平均值决定为群集中心(步骤1303)。
接着,动作路线解析部104判定在步骤1303中是否变更了群集中心、即在步骤1303中决定的新的群集中心和之前的群集中心是否不同(步骤1304)。在变更了群集中心的情况下,处理返回步骤1303,执行使用新的群集中心的聚类、以及基于其结果的群集中心的计算。
另一方面,在未变更群集中心的情况下,动作路线解析部104根据定位数据计算特征量矢量,并对各特征量矢量分配最近的群集的ID。此外,若剩余以前计算出的特征量矢量则可以使用它。将如此分配的群集的ID作为状态等级来使用。
在步骤1301中判定为存在群集信息时,动作路线解析部104不执行步骤1302~1304而执行步骤1305。
以上,聚类处理结束。
此外,步骤1302~1304是以往作为k-means法而已知的算法。本实施方式的聚类处理可以通过公知的方法执行。K-means法是其中一例,但是也可以应用基于其它算法、例如EM(Expectation-Maximization)法的混合正规分布的推定等。
图14是通过本发明的第1实施方式的监视服务器100取得的状态等级的说明图。
图14包含监视区域的布局图1401、在该布局图1401上显示的多条动作路线1402。
在图14中作为布局图1401的例子而表示监视区域内的地物的平面图,但是只要是能够掌握地物的配置的图,也可以使用立体图或鸟瞰图等。图14中举例表示的布局图1401中作为地物而显示了房间1411、走廊1412、分隔房间1411和走廊1412的墙壁1413、在墙壁1413上设置的出入口1414、以及在监视区域内配置的物品1415(例如店铺中销售的商品或工厂中使用的材料等)。而且也可以显示上述以外的地物(例如若监视区域为室外,则为信号灯或人行横道等)。
通过在布局图1401上标绘与一个移动终端140相关的定位数据中包含的坐标值,显示各动作路线1402。即,一条动作路线1402相当于一人的监视对象者的移动轨迹。但是,在一人的监视对象者重复通过监视区域的情况下,可以将该监视对象者的运动轨迹显示为多条动作路线1402。在图14中显示相当于多个监视对象者的移动轨迹的多条动作路线1402。
通过椭圆显示的状态1403A~1403L相当于通过聚类得到的群集。换言之,状态1403A~1403L的各个对应于通过聚类被分类的监视对象者的行动。
如参照图12B~图12D说明的那样,根据包含计算对象的定位数据的多个定位数据计算各群集中包含的特征量矢量。因此,可以在布局图1401上标绘各群集中包含的特征量矢量的计算对象的定位数据所表示的坐标值。图14中显示的椭圆表示标绘了各群集中包含的特征量矢量的计算对象的定位数据所表示的坐标值的范围的概要。
对状态1403a~14031分别赋予识别符“a”~“l”。这些识别符是状态等级,是在所述图13的步骤1305中分配的识别符。
图15是通过本发明的第1实施方式的监视服务器100使用的统计模型的说明图。
具体来说,图15表示对图11的步骤1102中的状态等级迁移列应用的统计模型的例子。在本实施方式中表示作为统计模型而应用混合马尔可夫(Markoff)模型的例子,但是也可以应用其它模型(例如隐马尔可夫模型或贝叶斯(Bayesian)网络等)。
动作路线解析部104根据聚类的结果,可以确定各动作路线1402上的定位数据从哪个状态迁移到哪个状态,换言之,与各动作路线1402对应的监视对象者的行动从哪个状态迁移到哪个状态。而且,动作路线解析部104通过针对多条动作路线执行这种状态迁移的确定,可以计算状态间的迁移概率。
监视对象者的行动的倾向一般受该监视对象者的特征所左右。并且,有时可以将这种行动的倾向作为状态迁移的倾向来观测,在此,所谓监视对象者的特征,例如当监视对象者是工厂或店铺的工作人员时,是监视对象者的作业目的等,当监视对象者是店铺的顾客时,是监视对象者针对商品的喜好等。另外,当监视对象者具有某种意图(例如职务放弃或盗窃的意图等)时,它也能够成为监视对象者的特征。即,通过按照状态迁移的倾向对监视对象者进行分类,有时可以确定具有类似特征的监视对象者的组。
另外,这种监视对象者的特征有时与监视对象者的属性关联。在此,所谓监视对象者的属性,例如当监视对象者是工厂或店铺的工作人员时,是监视对象者的所属岗位、负责业务或职务等,当监视对象者是店铺的顾客时,是监视对象者的年龄层或性别等。更具体来说,例如会存在女性顾客频繁靠近店铺内的特定柜台、但男性顾客几乎不靠近该柜台这样的行动倾向的差异。在这种情况下,通过基于上述那样的状态迁移的倾向的分类,还可以分析监视对象者的属性与该行动倾向的关联。
本实施方式的动作路线解析部104可以将与多个监视对象者相关的状态迁移分类为多个模式。
在图15中表示每个模式的状态迁移图。一个模式的状态迁移图针对每个时刻显示图14所示的状态间的迁移。例如状态1403a-1相当于某时刻的状态1403a(参照图14),状态1403a-2相当于其下一时刻的状态1403a。同样地,状态1403b-1相当于某时刻的状态1403b,状态1403b-2相当于其下一时刻的状态1403b。状态1403k-1相当于某时刻的状态1403k,状态1403k-2相当于其下一时刻的状态1403k。状态1403l-1相当于某时刻的状态1403l,状态1403l-2相当于其下一时刻的状态1403l。这样,图14所示的状态1403a~1403l针对每个时刻而显示,通过箭头显示它们间的状态迁移。并且计算各自的状态迁移概率。
此外,状态1502S表示各监视对象者进入监视区域内的瞬间的状态,状态1502G表示各监视对象者从监视区域内出来的瞬间的状态。以下,也将状态1502S以及状态1502G简记为状态S以及状态G。同样,将状态1403a~1403l也分别简记为状态a~状态l。
图15仅表示模式1501a的状态迁移图,但是其它模式(例如模式1501b以及1501c)也可以通过同样的状态迁移图来表现。但是状态迁移概率的值针对每个模式而不同。此外,模式的数量不限于3个(模式1501a~1501c),可以设定任意数量(例如k个)。模式的数量例如也由管理者指定。
各模式的迁移概率遵从马尔可夫模型。当将从状态μ向状态ν的迁移概率设为P(μ,ν)=ωμν时,例如得到状态S-状态a-状态b-状态c-状态e-状态i-状态G那样迁移的动作路线的概率,通过P(S,a)P(a,b)P(b,c)P(c,e)P(e,i)P(i,G)的乘法运算来计算。由此计算出的值L表示动作路线适合概率模型的模式的程度。一般来说,使用概率的对数计算∑logP。
本实施方式的模型通过k个马尔可夫模型的加法运算来表现。π是对它们各个附加的权重。即,通过log∑(π∏P)求出对数似然性。
表示状态迁移概率的参数例如通过EM法计算。例如,动作路线解析部104作为各模式中的状态迁移概率的初始值而设定随机的值。并且,根据该值推定各动作路线的状态迁移适合哪个模式(E步骤)。然后,动作路线解析部104使用E步骤的结果再计算参数(M步骤)。进而,动作路线解析部104使用再计算出的参数再次执行E步骤。这样,重复E步骤以及M步骤,直到参数收敛为止。
图16是通过本发明的第1实施方式的监视服务器100执行的状态迁移提取处理的说明图。
具体来说,图16表示在图11的步骤1103中提取出的状态迁移的例子。
在图16的例子中显示了从状态1403a指向状态1403c的箭头1601。这表示发生了从状态1403a向状态1403c的迁移。即,这些状态间的迁移概率比0%大。关于其它箭头(例如从状态1403c指向状态1403d、1403e以及1403f的各个的箭头)也相同。另一方面,未显示从状态1403a指向状态1403d的箭头。这表示至少在图14中显示的动作路线中未发生从状态1403a向状态1403d的迁移。即,这些状态间的迁移概率为0%。
将表示如此提取出的状态迁移的信息存储在分析信息DB114中。参照图17以及图18说明其细节。
图17是本发明的第1实施方式的分析信息DB114中存储的状态迁移模型的说明图。
通过图15所示的方法计算的各模式的状态迁移概率如图17所示那样存储。具体来说,状态迁移模型1700包含模式ID1701、始状态等级1702、终状态等级1703以及概率1704。
模式ID1701识别统计模型的模式。例如模式ID1701的值与图15所示的“k”对应。
始状态等级1702以及终状态1703分别是状态迁移的起点以及终点的等级(即ID)。它们例如对应于图14~图16所示的“S”、“G”以及“a”~“l”。
概率1704是通过模式ID1701、始状态等级1702以及终状态等级1703确定的状态迁移发生的概率。
图17所示的信息的一组对应于一个状态迁移,例如图15所示的1条箭头。分析信息DB114中存储了与各模式的各状态迁移对应的信息的组。
图18是在本发明的第1实施方式的分析信息DB114中存储的群集信息的说明图。
图18所示的群集信息1800是与通过聚类而取得的群集相关的信息。具体来说,群集信息1800包含群集形状1801以及群集ID1802。
群集形状1801表示各群集的中心位置。
群集ID1802是识别各群集的信息。此外,如上所述,原则上一个群集对应于一个状态,因此群集ID1802的值与状态等级(例如图14~图16所示的“a”~“l”)对应。
图18所示的群集信息1800的一组对应于一个状态,例如图14所示的一个椭圆。在分析信息DB114中存储与各状态对应的信息的组。此外,如图15所示,即使在将统计模型分类为多个模式的情况下,与各状态对应的群集的中心位置针对每个模式也没有差异。因此,群集信息1800不包含模式ID。
如在本实施方式以及其它实施方式中说明的那样,在本发明中进行分析的精细度的调整,其结果,有时将一个群集划分为多个,或者将多个群集综合来对应于一个状态。这样的调整的结果也全部反映在图17以及图18所示的分析信息DB114中。分析信息DB114中存储的信息根据需要而被读出,通过动作路线解析部104被用于动作路线解析处理。而且根据需要也可以通过画面显示装置120来显示。
图19是通过本发明的第1实施方式的画面显示装置120显示的分析状况提示处理的输出画面的说明图。
分析条件设定画面生成部106在图3的步骤332中在画面显示装置120上显示图19所示的画面1900。画面1900包含布局图1901、调整按钮1903、结束按钮1904以及模式选择框1905。
布局图1901与图14所示的布局图1401相同。在布局图1901上显示与图14同样的状态1403a~1403l以及表示状态迁移的箭头1601。
管理者可以操作模式选择框1905来选择显示的模式。在图19的例子中显示“模式A”。该模式例如是图15所示的多个模式1501a~1501c的某一个。图16的例子中显示了从状态1403e向状态1403i的迁移,但是,例如在模式A中该迁移发生的概率为0%时,也可以不显示状态1403i以及指向那里的箭头。关于其它状态以及指向那里的箭头也相同。
管理者当参照画面1900中显示的状态迁移判定出分析条件妥当时(步骤323),操作结束按钮1904。在这种情况下,处理前进到步骤326。另一方面,管理者当判定为分析条件不妥当时操作调整按钮1903。在这种情况下,处理前进到步骤324。
例如,当管理者认为画面1900中显示的状态1403a~1403l的某个过大(即与其对应的群集过大)时,可以判定为分析条件不妥当。更详细来说,例如在进行管理者想要详细分析的行动的场所仅显示了一个状态,管理者想要将该状态划分为多个时,可以判定为分析条件不妥当。
此外,调整按钮1903、结束按钮1904以及模式选择框1905的操作是管理者进行的输入装置203的操作(例如鼠标点击)。
图20是表示本发明的第1实施方式的监视服务器100执行的分析条件设定画面提示处理的流程图。
在图3的步骤324中,通过分析条件设定画面生成部106执行图20所示的处理。
最初,分析条件设定画面生成部106执行分析条件接受画面提示处理(步骤2001)。参照图21在后面说明该处理。
然后,分析条件设定画面生成部106执行分析条件调整用画面提示处理(步骤2002)。参照图22等在后面说明该处理。
以上,分析条件设定画面提示处理结束。
图21是本发明的第1实施方式的监视服务器100执行的分析条件接受画面提示处理的说明图。
分析条件设定画面生成部106在图20的步骤2001中,在画面显示装置120上显示图21所示的画面2100。
画面2100包含布局图2101、分析精细度设定部2102以及结束按钮2104。
布局图2101与图14所示的布局图1401相同。在布局图2101上,与图14同样地显示状态1403a~1403l以及多条动作路线1402。而且,在布局图2101上显示调整范围2111以及范围指定光标2112。
管理者通过使用输入装置203操作范围指定光标2112,可以指定包含想要从其调整分析精细度的群集(即状态1403a~1403l的至少一个)的调整范围2111。即,与在调整范围2111中包含的状态1403对应的群集,作为调整分析精细度的对象而被指定。
例如,管理者可以将监视区域中、特别是想要详细分析监视对象者的行动的区域(例如店铺内的特定的商品的柜台等)指定为调整范围2111。
分析精细度设定部2102包含精细度设定旋钮2103。管理者通过使用输入装置203来操作精细度设定旋钮2103可以指定分析精细度。例如,当想要使分析精细度更细时,管理者可以使精细度设定旋钮2103向左移动。此外,这种使用旋钮的精细度的指定是一个例子,也可以通过其它方法、例如通过操作与使精细度更细或更粗的指示对应的图标来指定精细度。
管理者当调整范围2111以及分析精细度的指定结束时操作结束按钮2104。由此,图20的步骤2001、即调整对象的群集的指定以及该群集的分析精细度的指定结束。
关于这样指定的调整范围2111中包含的全部群集,可以执行所指定的分析精细度的调整(即,使精细度变细或变粗),但是,关于它们中的至少一个群集,管理者可以根据传感器信息来判定是否调整精细度。以下说明这样的判定以及精细度的调整的步骤。
图22是表示本发明的第1实施方式的监视服务器100执行的分析条件调整用画面提示处理的流程图。
在图20的步骤2002中执行图22所示的处理。
最初,分析条件设定画面生成部106执行对象步行者选择处理(步骤2201)。参照图23在后面说明该处理。此外,在此所谓步行者意味着监视对象者。
接着,传感器/定位综合部103执行传感器/定位对应处理(步骤2202)。参照图24在后面说明该处理。
接着,分析条件设定画面生成部106执行传感器信息提示画面生成处理(步骤2203)。参照图25在后面说明该处理。
以上,分析条件调整用画面提示处理结束。
图23是本发明的第1实施方式的监视服务器100执行的对象步行者选择处理(步骤2201)的说明图。
最初,分析条件设定画面生成部106选择调整范围2111中包含的群集中、包含多个行动的可能性最高的群集(换言之,可以将所包含的行动分类为多个行动的可能性高的群集)作为变更对象的候补。
具体来说,例如可以选择调整范围2111中包含的群集中、大小超过预定阈值的一个以上的群集,或者可以仅选择最大的群集。群集的大小,例如由群集的半径或群集中包含的特征量矢量的数量而决定。在此,所谓群集的半径,例如是群集的中心和离该群集内的中心最远的特征量矢量之间的距离,但是,可以计算基于特征量矢量所表示的坐标值的偏差的值(例如标准偏差的值),作为群集的半径。半径越大的群集包含差异越大的特征量矢量。基于两个特征量矢量的差异越大、与它们对应的行动不同的可能性越高的推测,可以选择半径最大的群集作为变更对象的候补。或者,基于包含的特征量矢量的数量越多的群集包含多个行动的可能性越高的推测,可以选择包含的特征量矢量的数量最多的群集。
接着,分析条件设定画面生成部106从所选择出的群集中包含的多个特征量矢量中选择两个。例如可以选择所选择出的群集中包含的特征量矢量中最远的两个。或者,可以把所选择出的群集中包含的多个特征量矢量作为对象,分析条件设定画面生成部106进一步执行聚类来生成两个群集,选择最接近各自的中心的两个特征量矢量。
在此表示了选择两个特征量矢量的例子,但是也可以选择三个以上的特征量矢量。例如可以通过以所选择出的群集作为对象由分析条件设定画面生成部106执行聚类来生成三个以上的群集。
这样选择出的特征量矢量是通过图14所示的方式计算出的,因此可以确定与这些特征量矢量对应的定位数据。可以根据所确定的定位数据确定该定位数据表示哪个监视对象者在哪个时刻、哪个位置(参照图6)。
图24是表示本发明的第1实施方式的监视服务器100执行的传感器/定位对应处理的流程图。
在图22的步骤2302中执行图24所示的处理。
最初,传感器/定位综合部103取得在监视区域中设置的各传感器130的检测区域(步骤2401)。所谓检测区域,是通过各传感器130能够检测的区域,具体来说,根据传感器参数1000中包含的设置部位1003以及传感器参数1004来确定。更具体来说,例如当传感器130为监视摄像机时,确定通过该监视摄像机拍摄的范围,取得表示所确定的范围的信息来作为检测区域。
然后,传感器/定位综合部103检索与图22的步骤2201中确定的定位数据对应的传感器130(步骤2402)。具体来说,传感器/定位综合部103根据在步骤2401中取得的检测区域、和在步骤2201中确定的定位数据所表示的时刻以及位置,确定在该定位数据表示的时刻能够对该定位数据表示的位置进行检测的传感器130的传感器ID。
然后,传感器/定位综合部103通过所指定的传感器ID识别的传感器130,从传感器信息DB111中取得在该定位数据表示的时刻所取得的传感器信息(步骤2403)。例如,当所确定的传感器130是监视摄像机时,在步骤2403中取得的传感器信息是在该定位数据表示的时刻由该监视摄像机拍摄到的图像数据。
以上,传感器/定位对应处理结束。
图25是通过本发明的第一实施方式的画面显示装置120显示的传感器信息提示画面的说明图。
分析条件设定画面生成部106在图22的步骤2203中使画面显示装置120显示传感器信息提示画面2500。传感器信息提示画面2500包含:第一传感器信息显示部2501、第一步行者信息显示部2502、第二传感器信息显示部2503、第二步行者信息显示部2504、“有区别”按钮2505、“不明”按钮2506以及“无区别”按钮2507。
如上所述,在图22的步骤2201中确定两个定位数据,在步骤2202中取得与各个定位数据对应的传感器信息。在第一传感器信息显示部2501以及第二传感器信息显示部2503中显示如此取得的与各个定位数据对应的传感器信息(在图25的例子中是由监视摄像机拍摄到的图像)。
在第一步行者信息显示部2502以及第二步行者信息显示部2504中分别显示与在第一传感器信息显示部2501以及第二传感器信息显示部2503中显示的传感器信息对应的监视对象者相关的信息。如上所述,在各个传感器信息上对应了定位数据,可以确定各个定位数据与哪个监视对象者相关,因此,在第一步行者信息显示部2502以及第二步行者信息显示部2504中显示与各个监视对象者相关的信息,例如各监视对象者的性别、各监视对象者进入监视区域的时刻以及在监视区域中停留的时间等。
此外,为了显示监视对象者的性别,监视服务器100需要保存将各监视对象者的识别符(图6所示的步行者ID)与该监视对象者的性别对应的信息。同样地,在保存了将各监视对象者与其年龄、性别、负责业务或职务等属性对应的信息的情况下,这些属性可以显示在第一步行者信息显示部2502以及第二步行者信息显示部2504中。
另外,各监视对象者进入监视区域的时刻及在监视区域中停留的时间,可以根据与各监视对象者对应的动作路线所包含的定位数据的取得时刻来确定。
如上所述,在第一传感器信息显示部2501以及第二传感器信息显示部2503中显示与在图22的步骤2201中确定的两个定位数据对应的传感器信息、即在取得各个定位数据的时刻监视摄像机拍摄包含各个定位数据所表示的位置的区域所得的图像。即,与各个定位数据对应的监视对象者被拍摄到这些图像中的可能性高。即,管理者可以参照这些图像来确定各个监视对象者进行怎样的行动的可能性高。
因此,管理者参照在第一传感器信息显示部2501以及第二传感器信息显示部2503中显示的图像,判定是否应该把与在步骤2201中确定的两个特征量矢量对应的两个行动区别为不同行动(即,是否应该分类到相同的行动)。管理者在判定为应该对它们进行区别时操作“有区别”按钮2505,在判定为不应该区别时操作“无区别”按钮2507。
另一方面,当根据所显示的图像难以判定是否应该区别时,管理者操作“不明”按钮2506。在这种情况下,分析条件设定画面生成部106再次执行步骤2201,选择与上次不同的两个特征量矢量。例如,分析条件设定画面生成部106可以选择所选择出的群集中包含的特征量矢量中的、与上次选择出的特征量矢量相比距离第二远的特征量矢量的组。然后,再次执行步骤2202以及2203,显示与新选择出的特征量矢量对应的传感器信息。
一般来说,基于仅根据定位数据计算出的特征量矢量来分析监视对象者的行动时,管理者未必能够按希望那样对行动进行分类。但是,如上所述,管理者参照与定位数据对应的传感器数据来判定是否对两个行动进行分类,由此能够进行与管理者的目的对应的恰当的行动分析。
此外,图25表示了作为传感器信息而显示监视摄像机拍摄到的图像的例子,但是,也可以提示除此以外的传感器信息。例如当传感器130是麦克风时,在步骤2203中可以将声音再生(参照第2实施方式)。在这种情况下,管理者可以根据再生出的声音来确定各监视对象者进行的行动,并基于此来判定是否区别两个行动。
或者,在传感器130是记录销售履历的自动售货机时,在传感器信息提示画面2500中可以显示该销售履历。在这种情况下,管理者例如可以根据所显示的销售履历来判定监视对象者是否购买了商品,并基于此来判定是否区别两个行动。
另外,管理者也可以不使用上述那样的传感器信息地判定是否应该区别两个行动。例如,监视服务器100可以向管理者提示在步骤2201中确定的两个定位数据分别是表示哪个监视对象者在什么时候位于什么地方的信息的信息。管理者可以从如此确定的各监视对象者问清在所确定的时刻以及位置进行了怎样的行动,并基于此来判定是否区别两个行动。
图26是表示本发明的第1实施方式的监视服务器100执行的分析条件调整处理的流程图。
在传感器信息提示画面2500中,当操作“有区别”按钮2505时执行分析条件调整处理。
最初,分析条件调整部105计算动作路线解析参数(步骤2601)。具体来说,分析条件调整部105对图22的步骤2201中选择出的群集进行划分,确定划分后的各个群集的中心位置,并对这些群集赋予新的识别符(即状态等级)。
群集的划分可以通过各种方法来进行。例如在步骤2201中选择了该群集内最远的两个特征量矢量时,分析条件调整部105可以将该群集划分为与所选择出的两个特征量矢量对应的新的两个群集,将该群集内的剩余的特征量矢量分类到与所选择出的两个特征量矢量中距离最近的一方对应的群集。在这种情况下,分析条件调整部105计算新的两个群集的中心位置并赋予状态等级。
或者,动作路线解析部104可以仅以该群集作为对象来执行用于将该群集进一步划分为两个群集的聚类,分析条件调整部105计算划分后的群集的中心位置并赋予状态等级。此时,动作路线解析部104可以把在步骤2201中选择出的两个特征量矢量作为初始群集中心来执行聚类。
接着,分析条件调整部105将计算出的动作路线解析参数反映到分析信息DB114中(步骤2602)。具体来说,分析条件调整部105将在步骤2601中计算出的新的群集的中心位置和对它们赋予的识别符作为群集信息1800,存储在分析信息DB114中。此时,从分析信息DB114中删除与成为划分对象的群集(即划分前的群集)相关的信息。
接着,分析条件调整部105向动作路线解析部104请求动作路线解析处理的再执行(步骤2603)。接受该请求的动作路线解析部104,根据在步骤2602中更新后的分析信息DB114执行动作路线解析处理(图11等)。但是在这种情况下,由于上述那样更新后的群集信息1800已经存储在了分析信息DB114中,因此在聚类处理(图13)的步骤1301中判定为“存在群集信息”。因此,省略聚类的执行(步骤1302~1304),在步骤1102以后的处理中,参照在步骤2602中更新后的分析信息DB114。
以上,分析条件调整处理结束。
管理者参照动作路线处理的再执行的结果(图19),可以判定该结果是否充分,具体来说,可以判定管理者想要区别的行动是否分别对应于不同状态(即群集)。为了该判定也可以按照所述的步骤参照图25所示的画面。当判定为再执行的结果充分(即没必要将行动进一步细分类)时,操作结束按钮1904或“无区别”按钮2507,图3所示的全部处理结束。
根据以上本发明的第1实施方式,当基于动作路线来分析监视对象者的行动时,不仅通过聚类来自动对行动分类,还可以根据管理者的指定,调整分析的精细度(即,行动的分类的精细程度)。由此,可以根据管理者的分析目的,从监视对象者的位置信息中提取出必要的信息。
<第2实施方式>
接着,说明本发明的第2实施方式。在第2实施方式中省略与第1实施方式相同的部分相关的说明,以下仅说明不同点。
最初,说明第2实施方式的概要。
在第1实施方式中如上所述,根据定位数据计算特征量矢量,通过对多个特征量矢量进行聚类来确定群集(即,与被分类的行动对应的“状态”),计算状态间的迁移概率。而且,可以按照管理者的指定进一步划分群集。
但是,实际上有时不希望将特定的状态迁移作为一个状态来处理。作为一例,对在室外的监视区域中,监视对象者穿过有信号灯的人行横道的行动进行了描述。根据与该行动对应的定位数据,通过上述聚类能够提取出:与移动到有信号灯的人行横道的一端的行动对应的状态a;与在该地点(信号灯显示前进之前)停止的状态下等待的行动对应的状态b;与在人行横道上移动到另一端的行动对应的状态c。但是,有时不需要提取出与这样一连串的行动的各个行动对应的状态,而想要提取出与“穿过人行横道”的整体行动对应的一个状态A。
在第2实施方式中,基于将与上述那样一连串行动对应的多个状态等级的列(例如“abc”)和与其对应的一个状态等级(例如“A”)对应的信息(即状态判定辞典),从通过聚类而提取出的多个状态中推定一个状态。
在以下的说明中,为了区别作为特征量矢量的聚类的结果而取得的上述“a”“b”“c”那样的状态及其状态等级、和分配给它们的列的“A”那样的状态及其状态等级,为了方便而将前者记载为“移动状态”以及“移动状态等级”,将后者记载为“状态”以及“状态等级”。“移动状态”以及“移动状态等级”相当于第一实施方式的“状态”以及“状态等级”。未被分配“状态”的“移动状态等级”,在向后述的状态等级的迁移列的统计模型的应用(图27的步骤1102)以及从统计模型的信息提取出(图27的步骤1103)中,作为“状态等级”被处理。
接着,参照附图说明第2实施方式的细节。
图27是表示本发明的第2实施方式的监视服务器100执行的动作路线解析处理的流程图。
图27所示的处理与第1实施方式的动作路线解析处理(图11)相同,在图3的步骤321中执行。
最初,动作路线解析部104计算定位数据的特征量,生成移动状态等级(步骤1101)。该步骤与第1实施方式相同(参照图12A等)。
然后,动作路线解析部104比较在步骤1101中生成的移动状态等级和状态判定辞典,根据其结果来推定状态等级(步骤2701)。
在本实施方式的分析信息DB114中,除了图17以及图18所示的信息以外,还存储状态判定辞典2800以及状态判定设定信息2900。关于这些信息的细节,参照图28以及图29在后面进行说明,关于基于这些信息的状态等级的推定处理,参照图30A~图32在后面进行说明。
接着,动作路线解析部104根据在步骤2701中推定出的状态等级,将状态等级迁移列应用于统计模型(步骤1102)。然后,动作路线解析部104从统计模型中提取出信息(步骤1103)。这些步骤与第1实施方式相同(参照图15)。
以上,第2实施方式的动作路线解析处理结束。
图28是本发明的第2实施方式的分析信息DB114中存储的状态判定辞典的说明图。
状态判定辞典2800包含状态等级2801、移动状态记号列2802、空间条件2803以及条件精细度2804。
状态等级2801是唯一地识别状态的信息。它是应该被分配给移动状态等级的列的状态等级,相当于在步骤2701中推定出的状态等级。以上述的人行横道的例子来说,“A”相当于状态等级2801。
移动状态记号列2802是与通过状态等级2801识别的状态(即该状态)对应的移动状态的记号列信息。以上述的人行横道的例子来说,“abc”相当于移动状态记号列2802。在后面说明更详细的例子。
空间条件2803是指定周围的地物的条件的字符串。作为周围的地物的条件,例如包含表示与状态判定辞典2800比较的移动状态等级的列所对应的动作路线的周围的地物的种类、从该地物到该动作路线的距离以及从该地物到该动作路线上的点的方向等的信息。该字符串可以通过任何语法来记载。其一例是XML(Extensible Markup Language)。以上述的人行横道的例子来说,表示地物的属性是信号灯、离该信号灯的距离、以及离开该信号灯的方向等的字符串相当于空间条件2803。
条件精细度2804是表现条件的精细度(即精细程度)的等级。例如如上所述,有时希望提取出与“穿过人行横道”的行动对应的状态A,但是,当想要以更大(即粗)精细度来提取出状态时,更具体来说,例如有时会希望提取出相当于从某地点移动到另外的某地点(并且在其途中通过人行横道)的行动的状态B。在这种情况下,将与该“从某地点移动到另外的某地点”的行动对应的移动状态等级的列(即包含上述“abc”的、比其更长的列)作为移动状态记号列2802来登录,作为与其对应的条件精细度2804,登录表示比与上述“穿过人行横道”对应的条件精细度2804更大的精细度的值。
但是,精细度的大小未必取决于与其对应的移动状态等级的列的长度。例如,“穿过人行横道”行动有时可以进一步分类为监视对象者在人行横道的一端停止后移动到另一端的行动、和不停止地移动的行动。在这种情况下,与“穿过人行横道”行动对应的精细度变得比“暂时停止后穿过人行横道”行动的精细度以及“不停止地穿过人行横道”行动的精细度大。
条件精细度2804的值可以由管理者手动设定,但是也可以由监视服务器100自动设定。在自动设定的情况下,例如通过空间条件2803指定的地物的大小越小,可以设定表示越细的精细度的值,移动状态记号列2802的长度越短,可以设定表示越细的精细度的值。
如上所述,在例如作为空间条件2803而决定离地物“信号灯”的距离以及方向的范围,作为与其对应的状态等级2801以及移动状态记号列2802分别登录了“A”以及“abc”的情况下,当从离信号灯的距离以及方向在该决定的范围内的动作路线提取出移动状态等级的列“abc”时,判定为该动作路线与监视对象者的“穿过人行横道”的行动对应。
作为状态判定词典2800,能够登录上述那样的状态等级2801~条件精细度2804的多个组。例如,可以作为别的空间条件2803而登录地物“书架”,登录与其对应的预定的移动状态记号列2802的值、与其对应的行动“从书架取书”对应的状态等级2801的值、与它们对应的条件精细度2804的值的组。在以下的说明中,将这些的组中的各个组记载为词典项目。
图29是在本发明的第2实施方式的分析信息DB114中存储的状态判定设定信息的说明图。
状态判定设定信息2900包含空间条件2901以及条件精细度2902。它们分别与状态判定词典2800的空间条件2803以及条件精细度2804相同。但是,在初始状态下状态判定设定信息2900为空,当设定了条件精细度时将其结果存储在状态判定设定信息2900中。
接着,说明图27的步骤2701中执行的处理。在步骤2701中,首先如图30A~图30C所示,执行基于状态判定词典的状态等级的推定处理。
图30A是表示本发明的第2实施方式的监视服务器100执行的基于状态判定词典的状态等级的推定处理的流程图。
图30B是本发明的第2实施方式中的状态判定词典的项目的检索处理的说明图。
图30C是本发明的第2实施方式中的状态等级的分配的说明图。
最初,动作路线解析部104从状态判定词典2800中检索与在步骤1101中生成的移动状态等级的列对应的动作路线周围的地物的配置满足空间条件2803的词典项目(步骤3001)。例如当该动作路线通过书架的附近、房间的中央、进而通过别的若干地物的附近时,判定这些地物与该动作路线的位置关系是否满足在状态判定词典2800中登录的各词典项目的空间条件2803,取得被判定为满足的词典项目作为检索的结果(参照图30B)。
接着,动作路线解析部104比较在步骤3001中检索到的词典项目的移动状态记号列2802、和在步骤1101中生成的移动状态等级的列,当它们类似时,将该词典项目的状态等级2801作为与该移动状态等级的列对应的状态等级来分配(步骤3002)。
该比较以及是否类似的判定可以通过公知方法来进行。例如,计算从该移动状态等级的列中划分出的区间与移动状态记号列2802的一致度,若该一致度比预定的阈值高,则可以对该区间分配与移动状态记号列2802对应的状态等级2801(参照图30C)。可以针对从移动状态等级的列中划分出的全部区间进行这样的比较,选择一致度最高的区间。例如,根据这些区间中一致的移动状态等级的个数等,计算两个区间的一致度。
在作为状态判定设定信息2900的条件精细度2902而指定了精细度的情况下,在步骤3001中检索与该指定的精细度对应的词典项目。但是,在初始状态下作为条件精细度2902未指定精细度。在这种情况下,检索精细度最粗的词典项目。因此,通过图30A~图30C所示的状态等级的推定处理推定出的状态等级的精细度,对于管理者来说有可能比希望的精细度大。因此,动作路线解析部104执行让管理者判定是否推定更细的精细度的状态等级的处理。对此,参照图31A~图32进行说明。
图31A是本发明的第2实施方式的监视服务器100执行的分析参数调整候补选择处理的流程图。
图31B是本发明的第2实施方式中的分配了同一状态等级的区间的检索处理的说明图。
图31C是本发明的第2实施方式中的更细精细度的状态的确定处理的说明图。
图31D是本发明的第2实施方式中的一致度高的状态的选择处理的说明图。
关于多条动作路线执行图30A~图30C所示的状态等级的推定处理后,执行分析参数调整候补选择处理。
最初,动作路线解析部104通过分析参数调整候补选择处理,选择被分配了同一状态等级的移动状态等级的列的多个区间(步骤3101)。例如,当对某个移动状态等级的列(即移动状态迁移列)的区间“abbbabbbaa”分配了状态等级“A”,对另外的区间“abbabbbbaa”也分配状态等级“A”时,可以选择这些区间(参照图31B)。
接着,动作路线解析部104,针对在步骤3101中选择出的各区间,判定与比在上次的状态等级的推定处理中应用的条件精细度更细的条件精细度2804对应的移动状态记号列2802是否一致(更准确来说,一致度是否比预定的阈值高)(步骤3102)。在图31C的例子中,判定为与比状态等级“A”更细的条件精细度2804对应的状态等级“C”所对应的移动状态记号列2802,与上述的区间“abbbabbbaa”一致,判定为与状态等级“D”对应的移动状态记号列2802与区间“abbabbbbaa”一致。
动作路线解析部104例如针对通过状态等级的推定处理而分配了状态等级“A”的多个区间进行同样的处理。其结果,例如假定判定出这些多个区间中的若干个与对应于状态等级“C”的移动状态记号列2802一致,别的若干个与对应于状态等级“D”的移动状态记号列2802一致,另外若干个与对应于状态等级“E”对应移动状态记号列2802一致。在这种情况下,动作路线解析部104按照被判定为一致的区间的数量从多到少的顺序选择两个状态等级(例如“C”以及“D”),进而选择与各个对应的移动状态记号列2802的一致度高的区间(步骤3103以及图31D)。
然后,监视服务器100向管理者提示与所选择出的区间对应的传感器信息。该提示处理与第1实施方式同样地执行(参照图24)。参照图32说明由此提示的传感器信息的例子。
图32是通过本发明的第2实施方式的画面显示装置120显示的传感器信息提示画面的说明图。
图32所示的传感器信息提示画面3200包含:第一传感器信息显示部3201、第一步行者信息显示部2502、第二传感器信息显示部3203、第二步行者信息显示部2504、“有区别”按钮2505、“不明”按钮2506以及“无区别”按钮2507。其中,第一步行者信息显示部2502、第二步行者信息显示部2504、“有区别”按钮2505、“不明”按钮2506以及“无区别”按钮2507与第1实施方式中说明的相同,因此省略说明。
第一传感器信息显示部3201以及第二传感器信息显示部3203除了分别包含第一声音再生按钮3202以及第二声音再生按钮3204这点以外,与第1实施方式的第一传感器信息显示部2501以及第二传感器信息显示部2503相同。第一声音再生按钮3202以及第二声音再生按钮3204在作为传感器130而设置了麦克风的情况下被使用。当管理者操作第一声音再生按钮3202以及第二声音再生按钮3204时,分别再生对应的声音(例如,在与上述选择出的状态等级“C”以及“D”对应的时刻以及位置录音的声音)。
管理者参照所提示的图像或声音,例如判定是否需要将状态A区别为状态C、D等。当判定为需要区别时操作“有区别”按钮2505,动作路线解析部104按照步骤3102的结果分配更细的精细度的状态等级。例如代替状态等级“A”,分配状态等级“C”、“D”以及“E”等。而且,在这种情况下,将与状态等级“C”等对应的条件精细度2804的值作为状态判定设定信息2900的条件精细度2902来登录。
此外,在第1实施方式中也可以通过同样的方法再生声音。
上述处理的结果,例如在判别为对移动状态等级的列“abbbabbbaa”分配了状态等级“C”时,移动状态a以及移动状态b被综合为新的状态C。即,生成包含与移动状态a对应的群集中包含的全部特征量矢量、以及与移动状态b对应的群集中包含的全部特征量矢量的新的群集,作为与该群集对应的状态等级而分配了“C”。计算该群集的中心位置以及周围的群集间的迁移概率等,存储在分析信息DB114中(参照图17以及图18)。
根据以上的本发明的第2实施方式,可以自动地提取出与特定的移动状态的列对应的、精细度更大的状态,而且,管理者可以进行调整以使该精细度成为不过大的适当的值。
<第3实施方式>
接着,说明本发明的第3实施方式。在第3实施方式中,省略了关于与第1或第2实施方式相同的部分的说明,以下仅说明不同点。
在第1以及第2实施方式中调整了用于分析多个监视对象者的动作路线的精细度。与此相对,在第3实施方式中,调整用于分析一人的监视对象者的动作路线的精细度。
图33A是表示本发明的第3实施方式的监视服务器100执行的分析参数调整候补选择处理的流程图。
图33B是本发明的第3实施方式中的精细度更细的状态的确定处理的说明图。
当通过与第2实施方式相同的方法确定与移动状态等级的列的区间(例如“abbbabbbaa”)对应的状态等级(例如“A”)时,第3实施方式的动作路线解析部104确定该与区间一致的精细度更细的状态(步骤3301)。例如,在状态判定词典2800中登录了与状态等级“F”、“G”、“H”的各个相对应的移动状态记号列“ab”、“bba”以及“bbbaa”的情况下,上述的移动状态等级的列“abbbabbbaa”的先头的两个与状态等级“F”对应,接下来的三个与状态“G”对应,其余的五个与状态等级“H”对应(参照图33B)。
例如,当状态A与“穿过人行横道”的行动对应时,状态F可以与“移动到人行横道的一端”的行动对应,状态G可以与“在停止状态下等待直到信号灯显示前进为止”的行动对应,状态H可以与“在人行横道上移动到另一端”的行动对应。
在这种情况下,动作路线解析部104选择所确定的状态等级中的两个(步骤3302)。在图33B所示的例子中,任意一个状态的一致率都是100%(即完全一致,但是在一致率有差异的情况下,可以从一致率高的一方选择两个)。针对如此选择出的两个状态,通过与第2实施方式同样的步骤向管理者提示传感器信息。管理者参照所提示的传感器信息,可以判定是否使精细度变细。
根据以上的本发明的第3实施方式,管理者可以调整从一人的监视对象者的动作路线提取出状态的精细度。由此,可以决定如何划分一人的人物持续进行的行动来分析。
<第4实施方式>
接着,说明本发明的第4实施方式。在第4实施方式中,省略与第1至第3实施方式相同的部分有关的说明,以下仅说明不同点。
在第1实施方式中,从通过聚类而取得的群集(即状态)中选择作为划分对象的候补,在管理者指示了划分的情况下将该群集划分为两个。另一方面,在第4实施方式中,将有助于模式的分类的可能性低的两个群集综合。
例如,在某个场所进行某种行动的全部监视对象者,如果必定在此之后进行别的某个行动,则即使将这些行动区别开也无助于模式的分类。在第4实施方式中提取出这样的行动来综合。
图34是本发明的第4实施方式的分析信息DB114中存储的状态判定设定信息的说明图。
图34所示的状态判定设定信息包含综合对象状态等级3401。其是作为综合对象而选择出的状态等级的排列。
接着,说明本实施方式的对象步行者选择处理。本实施方式的对象步行者选择处理,可以代替第1实施方式的对象步行者选择处理(或者与其一起)在图22的步骤2201中被执行。
分析条件设定画面生成部106参照将所生成的状态等级迁移列应用于统计模型而得到的结果。例如,在图15所示的统计模型中,在表示各模式中的特定的状态迁移的概率的ω的值之间的差小、这些ω的值大致为1、并且该特定的状态迁移的前后的状态的平均位置近的情况下,区别这些状态无助于模式的分类的可能性高。
更具体来说,分析条件设定画面生成部106针对全部k取得与特定的μ以及ν相关的ωμν(k)的值,在这些ωμν(k)的值的差(波动)在预定的阈值以下、这些ωμν(k)的值在预定的阈值以上、并且与这些ωμν(k)对应的状态迁移的前后的状态所对应的定位数据表示的位置的平均值之间的距离在预定的阈值以下的情况下,将最接近与这些状态对应的群集的中心的监视对象者选择为对象步行着。
以后,关于所选择出的对象步行者,与第1实施方式同样地提示传感器信息(参照图25),在管理者选择了“无区别”按钮2507时将这些状态综合为一个状态。
根据以上的本发明的第4实施方式,通过将即使进行区别,有助于模式的分类的可能性也低的两个群集综合,可以整理状态迁移。

Claims (16)

1.一种对监视对象区域内的多个监视对象者的行动进行监视的监视装置,其特征在于,
所述监视装置具备处理器和与所述处理器连接的存储装置,
所述存储装置保存表示所述多个监视对象者携带的移动终端的位置的定位数据,
所述处理器根据所述定位数据对所述监视对象者的行动进行分类,
所述处理器从多个所述被分类的行动中选择行动,作为变更对象的候补,
所述处理器提取出与作为所述候补而选择出的行动对应的多个定位数据,
所述处理器输出与所述提取出的多个定位数据相关的信息,
当输入了变更作为所述候补而选择出的行动的分类的指示时,所述处理器变更作为所述候补而选择出的行动的分类。
2.根据权利要求1所述的监视装置,其特征在于,
所述存储装置保存第一信息,该第一信息包含通过设置在所述监视对象区域内的多个传感器而取得的信息以及表示取得所述信息的时刻的信息,
所述存储装置保存第二信息,该第二信息用于确定所述各传感器能够取得所述第一信息的区域,
所述处理器根据所述第一信息以及所述第二信息,在取得所述提取出的多个定位数据的各个定位数据的时刻,输出在包含所述各个定位数据表示的位置的区域中通过所述传感器取得的信息。
3.根据权利要求2所述的监视装置,其特征在于,
所述处理器计算与所述各监视对象者相关的定位数据的特征量,
所述处理器通过对所述特征量进行聚类,生成分别与所述被分类的行动对应的多个群集,
所述处理器根据所述群集的大小选择所述变更对象的候补。
4.根据权利要求3所述的监视装置,其特征在于,
所述处理器通过将与作为所述变更对象的候补而选择出的行动对应的群集中包含的多个特征量划分为分别包含与所述提取出的定位数据对应的特征量的多个群集,变更作为所述候补而选择出的行动的分类。
5.根据权利要求4所述的监视装置,其特征在于,
所述处理器仅将与作为所述候补而选择出的行动对应的群集中包含的所述多个特征量作为对象来执行聚类,由此生成多个划分后的群集,
所述处理器提取出与最接近所述多个划分后的群集的中心的特征量对应的定位数据作为所述多个定位数据,
当输入了变更作为所述候补而选择出的行动的分类时的指示,所述处理器通过将与作为所述候补而选择出的行动对应的群集划分为通过仅以该群集作为对象而执行的聚类所生成的所述多个群集,变更作为所述候补而选择出的行动的分类。
6.根据权利要求4所述的监视装置,其特征在于,
所述处理器提取出与作为所述候补而选择出的行动对应的群集中包含的所述多个特征量中距离最远的两个,将与所述提取出的两个特征量对应的定位数据作为所述多个定位数据来提取出,
当输入了变更作为所述候补而选择出的行动的分类的指示时,所述处理器对与作为所述候补而选择出的行动对应的群集中包含的特征量进行划分,以使分别被包含在与所述提取出的两个特征量中距离近的一方相对应的新的群集中。
7.根据权利要求3所述的监视装置,其特征在于,
所述各群集中包含的所述特征量的数量越多,所述处理器判定该群集越大,
所述处理器选择所述生成的多个群集中最大的群集作为所述变更对象的候补。
8.根据权利要求3所述的监视装置,其特征在于,
所述各群集的半径越大,所述处理器判定该群集越大,
所述处理器选择所述生成的多个群集中最大的群集作为所述变更对象的候补。
9.根据权利要求2所述的监视装置,其特征在于,
所述多个传感器是对所述区域的图像进行拍摄的监视摄像机或对所述区域的声音进行收录的麦克风,
所述第一信息包含所述图像或声音。
10.根据权利要求1所述的监视装置,其特征在于,
所述存储装置保存将多个所述行动与包含所述多个行动的一个行动对应起来的行动辞典,
当根据所述定位数据被分类的多个行动与所述行动辞典中保存的多个行动的一致度比预定的阈值高时,所述处理器通过将所述被分类的多个行动替换为与在所述行动辞典中保存的多个行动对应的一个行动,来变更所述行动的分类。
11.根据权利要求10所述的监视装置,其特征在于,
所述行动辞典还保存表示包含所述多个行动的各行动的精细度的信息,
当根据所述定位数据被分类的多个行动与所述行动辞典中保存的、与第一精细度对应的多个行动的一致度比预定的阈值高时,所述处理器计算该被分类的多个行动的一部分与比所述第一精细度细的第二精细度所对应的多个行动的一致度,当所述计算出的一致度比预定的阈值高时,通过将所述被分类的多个行动的一部分替换为与所述第二精细度对应的多个行动所对应的一个行动,来变更所述行动的分类。
12.根据权利要求3所述的监视装置,其特征在于,
所述处理器根据所述定位数据来计算所述被分类的多个行动间的迁移概率,
所述处理器根据预定的统计模型将所述迁移概率分类为多个模式,
当所述各模式中的特定的两个行动间的迁移概率比预定的阈值大,并且所述各模式中的这两个行动间的迁移概率的波动比预定的阈值小时,所述处理器通过将这两个行动变更为一个行动来进行所述行动的分类。
13.一种监视装置对监视对象区域内的多个监视对象者的行动进行监视的方法,其特征在于,
所述监视装置具备处理器和与所述处理器连接的存储装置,所述监视装置保存表示所述多个监视对象者携带的移动终端的位置的定位数据,
所述方法包含以下步骤:
第一步骤,所述监视装置根据所述定位数据对所述监视对象者的行动进行分类;
第二步骤,所述监视装置从多个所述被分类的行动中选择行动,作为变更对象的候补,提取出与作为所述候补而选择出的行动对应的多个定位数据,输出与所述提取出的多个定位数据相关的信息;
第三步骤,当输入了变更作为所述候补而选择出的行动的分类的指示时,所述监视装置变更作为所述候补而选择出的行动的分类。
14.根据权利要求13所述的方法,其特征在于,
所述存储装置保存第一信息,该第一信息包含通过设置在所述监视对象区域内的多个传感器而取得的信息以及表示取得所述信息的时刻的信息,并且所述存储装置保存第二信息,该第二信息用于确定所述各传感器能够取得所述第一信息的区域,
在所述第二步骤中,所述监视装置根据所述第一信息以及所述第二信息,在取得所述提取出的多个定位数据的各个定位数据的时刻,输出在包含所述各个定位数据表示的位置的区域中通过所述传感器取得的信息。
15.根据权利要求14所述的方法,其特征在于,
在所述第一步骤中,所述监视装置计算与所述各监视对象者相关的定位数据的特征量,通过对所述特征量进行聚类,生成分别与所述被分类的行动对应的多个群集,
在所述第二步骤中,所述监视装置根据所述群集的大小选择所述变更对象的候补。
16.根据权利要求15所述的方法,其特征在于,
在所述第三步骤中,所述监视装置,通过将与作为所述变更对象的候补而选择出的行动对应的群集中包含的多个特征量划分为分别包含与所述提取出的定位数据对应的特征量的多个群集,变更作为所述候补而选择出的行动的分类。
CN201110397969.3A 2010-12-02 2011-12-02 对监视对象者的行动进行监视的装置以及方法 Expired - Fee Related CN102572390B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010269032A JP5495235B2 (ja) 2010-12-02 2010-12-02 監視対象者の行動を監視する装置及び方法
JP2010-269032 2010-12-02

Publications (2)

Publication Number Publication Date
CN102572390A CN102572390A (zh) 2012-07-11
CN102572390B true CN102572390B (zh) 2014-10-29

Family

ID=46416707

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110397969.3A Expired - Fee Related CN102572390B (zh) 2010-12-02 2011-12-02 对监视对象者的行动进行监视的装置以及方法

Country Status (2)

Country Link
JP (1) JP5495235B2 (zh)
CN (1) CN102572390B (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6103896B2 (ja) * 2012-11-22 2017-03-29 株式会社アイリッジ 情報提供装置、情報出力装置、および情報出力装置の制御プログラム
JP6150516B2 (ja) * 2012-12-21 2017-06-21 アズビル株式会社 施設管理システム、携帯端末、施設管理装置および施設管理方法
US9679252B2 (en) * 2013-03-15 2017-06-13 Qualcomm Incorporated Application-controlled granularity for power-efficient classification
JP2014182621A (ja) * 2013-03-19 2014-09-29 Fuji Xerox Co Ltd 携帯端末装置、携帯端末プログラム、サービス管理サーバ、サービス管理プログラム、及びサービス提供システム
GB2516865A (en) * 2013-08-02 2015-02-11 Nokia Corp Method, apparatus and computer program product for activity recognition
JP5877825B2 (ja) * 2013-11-25 2016-03-08 ヤフー株式会社 データ処理装置、及びデータ処理方法
JP5842255B2 (ja) * 2013-12-12 2016-01-13 国立大学法人東京工業大学 プログラミング言語による論理回路記述から論理回路を生成するための装置及び方法
JP6321388B2 (ja) * 2014-01-31 2018-05-09 株式会社野村総合研究所 情報分析システム
JP5679086B1 (ja) * 2014-10-07 2015-03-04 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
JP2017068335A (ja) * 2015-09-28 2017-04-06 ルネサスエレクトロニクス株式会社 データ処理装置および車載通信装置
CN107438171A (zh) * 2016-05-28 2017-12-05 深圳富泰宏精密工业有限公司 监控系统及方法
JP6250852B1 (ja) * 2017-03-16 2017-12-20 ヤフー株式会社 判定プログラム、判定装置及び判定方法
WO2018173126A1 (ja) * 2017-03-21 2018-09-27 三菱電機株式会社 監視画面データ生成装置、監視画面データ生成方法、および監視画面データ生成プログラム
CN110520891B (zh) * 2017-04-21 2023-12-15 索尼公司 信息处理装置、信息处理方法和程序
JP6560321B2 (ja) * 2017-11-15 2019-08-14 ヤフー株式会社 判定プログラム、判定装置及び判定方法
WO2020003951A1 (ja) 2018-06-26 2020-01-02 コニカミノルタ株式会社 コンピューターで実行されるプログラム、情報処理装置、および、コンピューターで実行される方法
JP7052604B2 (ja) * 2018-07-05 2022-04-12 富士通株式会社 業務推定方法、情報処理装置、及び業務推定プログラム
JP7329825B2 (ja) * 2018-07-25 2023-08-21 公立大学法人岩手県立大学 情報提供システム、情報提供方法、プログラム
JP2020119164A (ja) * 2019-01-23 2020-08-06 オムロン株式会社 動作分析装置、動作分析方法、動作分析プログラム及び動作分析システム
JP6696016B2 (ja) * 2019-02-20 2020-05-20 能美防災株式会社 支援システム
CN111723617B (zh) * 2019-03-20 2023-10-27 顺丰科技有限公司 动作识别的方法、装置、设备及存储介质
JP7373187B2 (ja) * 2019-09-19 2023-11-02 株式会社Local24 動線分析システム、および、動線分析方法
JP2021148705A (ja) * 2020-03-23 2021-09-27 公立大学法人岩手県立大学 行動推定システム、モデル学習システム、行動推定方法、モデル学習方法、プログラム
JP7473899B2 (ja) * 2021-11-16 2024-04-24 ジョージ・アンド・ショーン株式会社 情報処理装置、プログラム及び情報処理システム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101040554B (zh) * 2004-10-14 2010-05-05 松下电器产业株式会社 移动目标预测装置和移动目标预测方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3349033B2 (ja) * 1996-03-15 2002-11-20 株式会社東芝 購買行動予測装置
US8099418B2 (en) * 2007-05-28 2012-01-17 Panasonic Corporation Information search support method and information search support device
JP2010049295A (ja) * 2008-08-19 2010-03-04 Oki Electric Ind Co Ltd 情報提供装置および情報提供方法
CN102388608B (zh) * 2009-04-10 2014-07-02 欧姆龙株式会社 监视系统及监视终端

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101040554B (zh) * 2004-10-14 2010-05-05 松下电器产业株式会社 移动目标预测装置和移动目标预测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JP特开2010-49295A 2010.03.04
JP特开平9-251450A 1997.09.22

Also Published As

Publication number Publication date
JP2012118838A (ja) 2012-06-21
CN102572390A (zh) 2012-07-11
JP5495235B2 (ja) 2014-05-21

Similar Documents

Publication Publication Date Title
CN102572390B (zh) 对监视对象者的行动进行监视的装置以及方法
CN108414971B (zh) 用于确定多层建筑物中位置的位置信息的方法和装置
CN1578530B (zh) 用于确定便携式计算设备的定位动态特性的系统和方法
CN106462627B (zh) 根据多个位置数据报告分析语义地点和相关数据
US11393212B2 (en) System for tracking and visualizing objects and a method therefor
CN105190233B (zh) 位置确定处理装置、位置确定处理方法、位置确定处理程序、移动信息处理装置、移动信息处理方法、移动信息处理程序和存储介质
US8385943B1 (en) Method and apparatus for determining location information of a position in a multi-storey building
CN106796550B (zh) 信息配送装置以及方法
CN103488666B (zh) 信息处理设备和方法、电子装置以及计算机可读存储介质
US20100228602A1 (en) Event information tracking and communication tool
WO2020220629A1 (zh) 楼层层数的获取方法、装置、电子设备及存储介质
US20100198690A1 (en) Event information tracking and communication tool
JP2011215829A (ja) 監視装置および不審行動検出方法
US20160241993A1 (en) Marker Based Activity Transition Models
US9851784B2 (en) Movement line conversion and analysis system, method and program
CN114547386A (zh) 基于Wi-Fi信号的定位方法、装置,以及电子设备
CN111523830B (zh) 基于多维度数据指导市场监督的方法、装置、设备及介质
Ludziejewski et al. Integrated human tracking based on video and smartphone signal processing within the Arahub system
US11252379B2 (en) Information processing system, information processing method, and non-transitory storage medium
EP4261760A1 (en) Hybrid segmented machine learning based method for performing highly accurate valuation of real estate
US20210124955A1 (en) Information processing system, information processing method, and non-transitory storage medium
CN111898322B (zh) 一种数据处理方法及相关设备
Abraha et al. MRILoc: Multiresolution indoor localization from crowdsourced samples
Zhang Design of an digital management system for museum collections based on RFID and improved GIS technology
Niu Achieving Healthy and Quality Life of One-person Households Using IoT and Machine Learning

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20141029

Termination date: 20211202