CN114424263B - 行为识别服务器和行为识别方法 - Google Patents
行为识别服务器和行为识别方法 Download PDFInfo
- Publication number
- CN114424263B CN114424263B CN202080066478.8A CN202080066478A CN114424263B CN 114424263 B CN114424263 B CN 114424263B CN 202080066478 A CN202080066478 A CN 202080066478A CN 114424263 B CN114424263 B CN 114424263B
- Authority
- CN
- China
- Prior art keywords
- behavior
- sensor information
- observed person
- image
- sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
- G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
- G08B25/04—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
- G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
- G08B25/08—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using communication transmission lines
Abstract
行为识别服务器(1)具有:传感器信息取得部(11),其从对被观察者进行检测的传感器(2)的集合取得表示每个传感器(2)的检测结果的传感器信息;图像转换部(13),其将基于各传感器信息的值的任意范围的值写入由布局数据(13L)规定的图像内的各传感器信息的区域,由此将各传感器信息图像化;以及行为推理部(14),其对事先准备了传感器信息的图像与被观察者的行为的对应数据的推理模型(14m)输入图像转换部(13)生成的传感器信息的图像,从而求出从推理模型(14m)输出的被观察者的行为。
Description
技术领域
本发明涉及行为识别服务器以及行为识别方法。
背景技术
近年来,与互联网连接的高性能的传感器作为IoT(Internet of Things物联网)设备而普及。并且,进行以下尝试,即从设置于家庭内等环境的多个传感器来分析大量的传感器信息,由此提供被观察者的守护服务。
例如,在专利文献1中记载了组合设置在家庭内的存在检测传感器和动作检测传感器来推定生活行为的系统。通过将推定出的当前的生活行为与事先准备的生活行为模式数据库进行比较来判定异常度。
现有技术文献
专利文献
专利文献1:日本特开2002-352352号公报
发明内容
发明所要解决的课题
在提供被观察者的守护服务时,需要高精度地识别当前的被观察者的行为是正常还是异常。这是因为,在正常的行为却发出警告或者漏看异常的行为时,守护服务的质量会下降。因此,为了提高识别精度,从在相同时刻测量出的多种传感器信息唯一地确定被观察者的行为的阶段变得重要。
另外,各个传感器信息仅单独使用就只能得到“被观察者处于起居室”、“被观察者坐着”等基本的信息。因此,需要通过组合多个传感器信息来确定“正在起居室用餐”、“正在起居室看电视”等被观察者的详细的行为。
在专利文献1中,作为根据传感器信息确定生活行为的处理,需要预先准备生活行为数据库,该准备的工夫成为管理者的负担。例如,为了构建生活行为数据库,必须事先准备统计参数、来自被观察者的问答数据,因此其成本成为负担。
因此,本发明的主要课题在于高精度且低成本地识别被观察者的行为。
用于解决课题的手段
为了解决所述课题,本发明的行为识别服务器具有以下的特征。
本发明具备:
传感器信息取得部,其从对被观察者进行检测的传感器的集合取得表示每个所述传感器的检测结果的传感器信息;
图像转换部,其将基于所述各传感器信息的值的任意范围的值写入由布局数据规定的图像内的所述各传感器信息的区域,从而将所述各传感器信息图像化;以及
行为推理部,其通过对事先准备了所述传感器信息的图像与所述被观察者的行为的对应数据的推理模型输入由所述图像转换部生成的所述传感器信息的图像,求出从所述推理模型输出的所述被观察者的行为。
后面说明其他手段。
发明效果
根据本发明,能够高精度且低成本地识别被观察者的行为。
附图说明
图1是本发明的一个实施方式所涉及的行为识别系统的结构图。
图2是本发明的一个实施方式所涉及的行为识别系统的硬件结构图。
图3是表示本发明的一个实施方式所涉及的行为识别服务器的详细情况的结构图。
图4是表示本发明的一个实施方式所涉及的行为识别服务器的处理的流程图。
图5是表示在本发明的一个实施方式所涉及的图像化处理中使用的布局数据的一例的说明图。
图6是本发明的一实施方式所涉及的图5的布局数据的说明用表。
图7是对本发明的一实施方式所涉及的图5的布局数据写入了图6的“值”的结果的图像数据的说明图。
图8是对本发明的一实施方式所涉及的图5的布局数据写入了与图7不同的行为的结果的图像数据的说明图。
图9是表示存储在本发明的一个实施方式所涉及的数据库中的通常行为模式的一例的说明图。
图10是表示本发明的一实施方式所涉及的当前行为蓄积部中存储的当前行为模式的一例的说明图。
图11是表示本发明的一实施方式所涉及的当前行为模式正常时的显示画面的画面图。
图12是表示本发明的一实施方式所涉及的当前行为模式异常时的显示画面的画面图。
具体实施方式
以下,参照附图对本发明的一个实施方式进行说明。
图1是行为识别系统的结构图。
行为识别系统构成为,观察者3u使用观察者终端3从远程守护在自家2h生活的被观察者2u的行为模式。“行为模式”是将各时刻的被观察者2u的“行为”按时间序列连接而成的一系列模式。
行为识别服务器1基于从各种传感器2取得的传感器信息来识别被观察者2u的行为模式,并将该识别结果通知给观察者终端3。由此,看到观察者终端3的显示画面的观察者3u能够掌握被观察者2u的行为模式。
被观察者2u例如是需要护理者,观察者3u例如是需要护理者的家庭。或者,也可以代替自家2h向医院、护理设施导入行为识别系统,在该情况下,观察者3u是医师、护理管理器。
在自家2h上网络连接有用于监视被观察者2u的行为的各种传感器2。传感器2例如既可以是组装于冰箱2a、自主移动型的吸尘器2b等家电设备的传感器,也可以是人感传感器2c等单体传感器。
另外,人感传感器2c等传感器2的测定区域优选设置在与房间的入口不相对的方向上。通过该设置,能够抑制人感传感器2c误检测到与在房间外的走廊擦肩而过的被观察者2u不同的人。
图2是行为识别系统的硬件结构图。
传感器2具有:通信部121,其将检测部122检测到的传感器信息等通知给其他装置;检测部122,其检测被观察者2u;以及通知部123,其将来自观察者3u的消息等通知给被观察者2u。另外,通知部123可以组装于传感器2中,也可以构成为与传感器2不同的设备(显示器、扬声器等)。
行为识别服务器1具有:通信部111,其从传感器2接收传感器信息,并将来自该传感器信息的识别结果通知给观察者终端3;控制部112,其识别被观察者2u的行为模式;以及存储部113,其存储用于控制部112的处理的数据。
观察者终端3具有:通信部131,其接收被观察者2u的识别结果;通知部132,其将被观察者2u的识别结果通知给观察者3u;以及输入部133,其使来自被观察者2u的消息等输入。
行为识别服务器1构成为具有作为运算装置(控制部112)的CPU(CentralProcessing Unit:中央处理单元)、作为主存储装置的存储器以及作为外部存储装置(存储部113)的硬盘的计算机。
该计算机由CPU执行读入到存储器上的程序(也被称为应用程序或其略称为应用),从而使由各处理部构成的控制部(控制单元)动作。
图3是表示行为识别服务器1的详细情况的结构图。
行为识别服务器1的控制部112(图2)具有传感器信息取得部11、时刻信息取得部12、图像转换部13、行为推理部14、当前行为确定部15、当前行为蓄积部16和变化检测部18。
行为识别服务器1的存储部113(图2)存储布局数据13L、推理模型14m以及数据库17。
以下,沿着图4的流程图对图3的构成要素的详细情况进行说明。
图4是表示行为识别服务器1的处理的流程图。
传感器信息取得部11取得来自设置于自家2h的传感器2(冰箱2a、吸尘器2b、人感传感器2c)的传感器信息(S101)。传感器信息的数据形式有时根据传感器2的每个种类而不同。
时刻信息取得部12取得表示在S101中取得的传感器信息的测量时刻的时刻信息(S102)。在传感器2的传感器信息中包含时间戳的情况下,时刻信息取得部12取得该时刻,在没有时间戳的情况下取得传感器信息的接收时刻。
图像转换部13将在S101中取得的传感器信息和在S102中取得的时刻信息图像化为1张图像(S103)。
另外,在图像转换部13进行图像化时参照的布局数据13L中,预先定义了将哪个传感器2的传感器信息配置在图像内的哪个部分这样的图像内的布局相关的信息(图5、图6)。
行为推理部14通过将表示传感器信息的图像数据输入到推理模型14m,推理传感器信息的时刻信息中的被观察者2u的行为(S104)。为了进行该推理处理,如果预先输入图像数据,则事先准备输出对应的行为的推理模型14m。推理模型14m例如可以通过深度学习等机器学习算法进行训练,也可以根据下述例示的推定内容来建立推理模型14m的方程式。
·如果家中的人感传感器全部没有反应,则推定为外出中。
·在夜间,人感传感器在卧室中有反应,并且如果照度较低,则推定为睡眠中。
当前行为确定部15将按时间序列连接行为推理部14推理出的各时刻的被观察者2u的“行为”而成的“当前行为模式”存储于当前行为蓄积部16(S105)。
变化检测部18在检测到当前行为模式从预先登记于数据库17的通常行为模式的变化(脱离)时(S111,是),由于被观察者2u的行为模式发生了异常,因此经由观察者终端3向观察者3u通知该变化(异常)(S112)。另外,S112的输出目的地并不限于顾客环境(观察者终端3),也可以输出到数据库系统、云系统等其他系统。
另一方面,在未检测到从通常行为模式的变化(脱离)时(S111,否),变化检测部18将当前行为模式直接作为通常行为模式登记于数据库17(S113),使处理返回S101。
以下,参照图5~图8,对图像转换部13的处理(S103)的具体例进行说明。
图5是表示图像转换部13在图像化处理中使用的布局数据13L的一例的说明图。布局数据13L是被写入到纵向为12网格(mass),横向上为12网格的正方形的图像数据内的各位置的数据内容被配置为“T”、“ACC1”等图中符号。另外,“网格”是将成为数据内容的写入目的地的图像内的区域细分的最小单位,对传感器信息、时刻信息分配最低1网格的区域。另外,图像数据内的12×12的网格是例示,网格数量可以比这个少也可以比这个多。
图6是图5的布局数据13L的说明用表。例如,图5的最上部“T”对应于图6的第一行“时刻”的图中符号“T”。另外,配置于图5的最上部“T”的场所的图像数据是时刻信息取得部12取得的时刻数据。即,图6所示的1张图像是将从配置于各场所的传感器2在相同的测量时刻(“T”的时刻数据)中测量到的传感器信息的集合汇集为1个并可视化的结果。
图6的布局数据13L是将相同种类的传感器信息集中配置于图像内的相邻处的一例。另一方面,也可以将传感器的设置场所(房间)按照相同的传感器信息集中配置在图像内的相邻处。
另外,传感器2的种类例如可以举出加速度传感器、(门)开闭传感器等检测被观察者2u的动作的传感器、人感传感器等检测被观察者2u的存在的传感器、湿度传感器等测定自家2h的环境的传感器。
说明用表的第三列“网格数”表示区域的大小。另外,在写入的数据量比区域可表达的数据量少时,区域剩余。此时,图像转换部13将相同的数据内容复制并写入到多个场所,由此填补图像内的网格数。
此外,布局数据13L的网格数表示写入信息间的权重,越分配多个网格数则对行为的影响越大。该网格数的分配例如由以下的策略P1决定。
·白天外出而夜晚就寝等人的生活根据时刻而采取的行为被习惯化,因此,时刻信息“T”分配比其他传感器信息多的网格数(24网格)。
·由于根据人所处的场所而能够采取的行为能够在某种程度上被筛选,所以人感传感器“HM1~HM5”的传感器信息(所在位置信息)分配比其他的传感器信息多的网格数(12网格)。
·由于平时上班而休息日在家中休息等人的生活有根据星期几采取相同行为的习惯,所以星期几的信息“DoW”分配比测定自家2h的环境的传感器信息多的网格数(12网格)。
·作为检测人的动作的传感器信息,加速度传感器“ACC1~ACC4”以及开闭传感器“OC1~OC3”分配比测定自家2h的环境的传感器信息多的网格数(4网格)。
在以上例示的策略P1中,是在各房间安装人感传感器,具有多个房间的布局中主要读取“人在哪里=在做什么”的一个例子。
另一方面,根据想要检测的行为、布局的种类,也可以适当变更策略(必要的传感器或其重要度)。
例如,在策略P1中环境传感器的重要度低,但也可以如以下那样使用提高环境传感器的重要度的策略P2。
·若提高温度传感器的灵敏度,则能够从温度传感器读取空调的接通/断开。
·若提高浴室附近的湿度传感器的灵敏度,则能够通过湿度的变化来检测浴室门的开闭。
·在行为与照度结合的情况下(夜间就寝时关闭电气,早上打开窗帘等)根据照度得到行为。
作为另一例,在策略P1中人体感知传感器的重要度高,但也可以如以下那样使用根据人感传感器以外的传感器求出人的位置的策略P3。
·在由于单间房间的布局等无法设置较多数量的人感传感器的情况下,有时家电的操作信息比人感传感器能够更详细地读取人的位置。
·在冰箱的门被操作的期间,得到在冰箱前有人这样的信息。
这样,布局数据13L按照策略P1~P3等来规定。例如在策略P1中,按照图像内的区域从大到小的顺序,规定作为传感器信息的时刻信息“T”、表示被观察者的所在位置的传感器信息“HM1~HM5”、表示被观察者的行为的传感器信息“ACC1~ACC4”、表示测定被观察者的生活环境的传感器信息“TMP”的区域的大小。
由此,将各传感器信息对行为的影响程度的经验规则作为区域的大小反映到推理模型14m的输入数据中,由此能够提高行为识别精度。本次使用了时刻信息和处所信息对行为识别带来的影响比其他信息更大的经验规则。
说明用表的第四列“值”表示写入区域的数据内容。例如,在图像数据的颜色深度为灰度的8比特时,能够表现区域的数据量为2的8次幂=256种的数值。
当然,图像数据的颜色深度并不限定于灰度,也可以使用能够表现比灰度更详细的等级的值的颜色。图像数据的颜色深度能够任意设定,因此能够表现的数据量并不限定于256种。因此,例如在8bit的灰度和16bit的颜色中,即使是相同的传感器的反应值,有时也会被转换为不同的值、精度。
在本实施方式中,以0.01的精度记载0.00~1.00的范围。
例如,时刻“T”的值“0.31”在将0时0分设为值“0.00”、将23点59分设为值“1.00”时表示上午7点40分。另一方面,星期几是从将星期一设为值“0.00”、将星期日设为值“1.00”时的7种之中选择的。
另外,所述“值”是指基于各传感器信息的值的任意范围的值。如上所述,除了指与各传感器信息的值对应的颜色的情况以外,还包括表示各传感器信息的值其本身情况。这样,即使在针对每个传感器的类别而可能取得的值的范围存在偏差的情况下,也作为任意的范围的值而被归一化。
另外,在图6的“湿度”的行“HUM”中,网格数“5(=1x5)”是指湿度传感器的区域的大小为1个传感器且1个网格量,传感器数为5个,因此合计为5个网格的意思。另外,“湿度”的值“0.66、0.57、0.64、0.58、0.7”从左起依次表示第一湿度传感器的值“0.66”、第二湿度传感器的值“0.57”、……、第五湿度传感器的值“0.7”。
并且,人感传感器“HM1~HM5”的数量例示了5个,但传感器的种类、数量会根据房间的布局、想要识别的行为而变化、增减。
图7是对图5的布局数据13L写入了图6的“值”的结果的图像数据的说明图。在图7中,为了容易理解说明,也一并记载了“T”、“ACC1”等图中符号,但实际上图中符号从图像中被省略。
例如,图像转换部13将表示值“0”的黑色作为与传感器信息的值对应的颜色写入“ACC1”的区域中。另一方面,图像转换部13将表示值“1”的白色作为与传感器信息的值对应的颜色写入“HM4”的区域中。即,写入值越大,越接近白色。
进而,通过将表示该图像数据所示的状况的被观察者2u的行为“回家”与图像转换部13生成的图像数据建立对应,来定义推理模型14m。
行为推理部14通过参照过去登记的推理模型14m,在从当前的被观察者2u检测到与推理模型14m的图像数据一致或类似的图像数据的情况下,将在推理模型14m中对应的行为“回家”作为推理结果输出(S104)。
另外,观察者3u等人作为监督,可以将“回家”、“休息”等行为标签与推理模型14m的图像数据建立对应。
图8是对图5的布局数据13L写入了与图7不同的行为的结果的图像数据的说明图。图8的推理模型14m由于人感传感器“HM1~HM5”全部为白色(被观察者2u不在各房间),因此对应被观察者2u的行为“外出”。
以下,参照图9~图12,对当前行为模式与通常行为模式的比较处理(S111)和通过该比较处理提取出的当前行为模式的异常的通知处理(S112)的具体事例进行说明。
图9是表示数据库17中存储的通常行为模式的一例的说明图。通常行为模式是将从上午5点的“就寝”开始到上午6点的“洗脸”、……、23点的“就寝”为止的被观察者2u的正常行为连接而成的行为模式。
图10是表示当前行为蓄积部16中存储的当前行为模式的一例的说明图。当前行为模式是将从上午5点的“就寝”开始到上午9点的“用餐”、……、23点的“就寝”为止的被观察者2u的当前的(守护当日的)行为连接而成的行为模式。
在此,变化检测部18通过图9的当前行为模式与图10的通常行为模式的每个行为的比较处理(S111),提取以下那样的被观察者2u的当前行为模式内的异常行为。
·到9点为止不起床,在室内没有活动。
·用餐时间与通常不同,并且用餐的时间长。
·在外出中途的意外时刻(15点)暂时回家。
·洗澡时间不同,且洗澡的时间较长。
这样,变化检测部18检测以下例示的被观察者2u的异常。
(1)由通常行为模式定义的通常行为未在当前行为模式下进行。
(2)通常行为模式中不存在的不自然的行为在当前行为模式下进行。
(3)由通常行为模式定义的通常行为也在当前行为模式进行,但与通常行为模式定义的时刻不同。
(4)通常行为模式中定义的通常行为也在当前行为模式进行,但与由通常行为模式中定义的长度不同。
(5)当前行为模式下的被观察者2u的行为速度脱离了定义为通常行为模式的行为的速度(大幅降低)。
然后,作为S112,变化检测部18针对(1)或(2)的重度的异常,经由观察者终端3向观察者3u通知紧急信号,由此催促观察者3u紧急应对安排救护车等。
另一方面,对于(3)~(5)的轻度异常,变化检测部18经由观察者终端3向观察者3u发送需要观察信号,从而将被观察者2u的疾病的预兆通知给观察者3u。疾病的预兆例如是频临需要护理状态前的状态(脆弱)、轻度认知障碍(MCI:Mild Cocitive Impairment)。
尤其对于(3)~(5)的轻度异常,难以从单体的传感器信息进行检测。另一方面,图像转换部13通过将多个传感器信息一并进行图像化,能够提取行为的间隔,因此在本实施方式中,检测变得容易。
另外,在(5)中从当前行为模式取得被观察者2u的行为速度的处理可以举出以下例示的方法。
·根据洗衣机和冰箱2a(微波炉、IH)的操作间隔,测量卫生间与厨房之间的移动速度。
·根据与冰箱2a的门相关的行为(开闭速度、开闭间隔、开闭时间等)的变化,测量反应速度。
·根据玄关门开闭与照明的通/断之间的间隔,测量行为速度。
·根据吸尘器2b的加速度,测量清扫时的步行速度。
图11是表示当前行为模式正常时(S111,否)的观察者终端3的显示画面的画面图。
变化检测部18通过使观察者终端3显示包含以下的显示内容的显示画面,将被观察者2u的健康状态通知给观察者3u。
·表示当前行为模式的概要的消息栏221
·当前行为模式的时序图栏222
·本周的生活模式的统计数据栏223
·本周与上周的差异的统计数据栏224
·与此前的历史的差异的统计数据栏225
图12是表示当前行为模式异常时(S111,是)的观察者终端3的显示画面(S112)的画面图。
在画面中央的布局图栏211中,针对自家2h的每个房间显示卧室、居室等房间名和每个房间的环境传感器测量到的传感器信息(温度、湿度、照度)。
在此,被观察者2u的推定位置212和表示被观察者2u的异常的行为的警告消息213(紧急信号)也显示在布局图栏211中。由此,观察者3u能够容易地掌握人摔倒等被观察者2u的异常的详细情况。
在以上说明的本实施方式中,图像转换部13将冰箱2a、吸尘器2b等互联家电的传感器信息以及人感传感器2c的传感器信息等多个种类的传感器信息整合为1张图像(图7、图8)。
由此,即使仅通过单体的传感器信息无法掌握的、跌倒那样的被观察者2u的较大的行为的变化也能够检测出来。
在此,将本实施方式与专利文献1那样的构建生活行为数据库的方式进行比较。在如专利文献1那样的现有技术中,由于以手动输入哪个传感器信息对行为有多大影响的规则,因此花费工夫。
另一方面,对本实施方式的图像化后的传感器信息进行机器学习的方式是通过机器学习自动发现哪个传感器信息对行为有多大影响的规则,因此省去了人通过手动输入规则的功夫。进而,即使是人不知道的规则也能够通过机器学习自动发现,因此行为的识别精度提高。
另外,本发明并不限定于所述的实施例,包括各种变形例。例如,所述的实施例是为了容易理解地说明本发明而详细地进行了说明的实施例,并不限定于必须具备所说明的全部结构。
另外,能够将某实施例的结构的一部分置换为其他实施例的结构,另外,也能够在某实施例的结构中添加其他实施例的结构。
另外,对于各实施例的结构的一部分,能够进行其他结构的追加、删除、置换。另外,所述的各结构、功能、处理部、处理单元等也可以通过例如由集成电路来设计它们的一部分或者全部等而通过硬件来实现。
另外,所述的各结构、功能等也可以通过处理器解释并执行实现各个功能的程序而由软件来实现。
实现各功能的程序、表、文件等信息能够预先存储在存储器、硬盘、SSD(SolidState Drive:固态驱动器)等记录装置、或者IC(Integrated Circuit:集成电路)卡、SD卡、DVD(Digital Versatile Disc:数字多功能光盘)等记录介质中。
另外,控制线、信息线表示认为在说明上需要的线,在产品上不一定表示全部的控制线、信息线。实际上也可以认为几乎全部的结构相互连接。
进而,连接各装置的通信单元不限于无线LAN,也可以变更为有线LAN或其他通信单元。
附图标记的说明
2传感器
2u被观察者
3观察者终端
3u观察者
1行为识别服务器
11传感器信息取得部
12时刻信息取得部
13图像转换部
13L布局数据
14行为推理部
14m推理模型
15当前行为确定部
16当前行为蓄积部
17数据库
18变化检测部。
Claims (6)
1.一种行为识别服务器,其特征在于,
该行为识别服务器具备:
传感器信息取得部,其从检测被观察者的传感器的集合取得表示每个所述传感器的检测结果的传感器信息;
图像转换部,其将基于各所述传感器信息的值的任意的范围的值写入由布局数据规定的图像内的各所述传感器信息的区域,由此将各所述传感器信息图像化;以及
行为推理部,其通过对事先准备了所述传感器信息的图像与所述被观察者的行为的对应数据的推理模型输入由所述图像转换部生成的所述传感器信息的图像,求出从所述推理模型输出的所述被观察者的行为,
所述图像转换部除了将基于各所述传感器信息的值的任意范围的值写入所述区域以外,还将基于所述传感器信息的时刻信息的任意范围的值写入所述区域,
在所述布局数据中按照各所述传感器信息的种类来规定图像内的所述区域的大小,
所述图像转换部按照所述布局数据中规定的所述区域的大小,写入基于各所述传感器信息的值的任意范围的值。
2.根据权利要求1所述的行为识别服务器,其特征在于,
在所述布局数据中按照图像内的所述区域从大到小的顺序来规定作为所述传感器信息的时刻信息、表示所述被观察者的所在位置的所述传感器信息、表示所述被观察者的动作的所述传感器信息、测定所述被观察者的生活环境的所述传感器信息的所述区域的大小。
3.根据权利要求1所述的行为识别服务器,其特征在于,
所述行为识别服务器还具备当前行为确定部、数据库和变化检测部,
所述当前行为确定部确定将所述行为推理部求出的所述被观察者的行为按时间序列连接而成的当前行为模式,
在所述数据库中存储有将正常行为按时间序列连接而成的通常行为模式,
所述变化检测部通过将所述当前行为模式与所述通常行为模式进行比较,将从所述通常行为模式脱离的所述当前行为模式检测为所述被观察者的异常行为。
4.根据权利要求3所述的行为识别服务器,其特征在于,
所述变化检测部,
在由所述通常行为模式定义的通常行为没有在所述当前行为模式下进行的情况下,或者在所述当前行为模式下进行了所述通常行为模式中不存在的行为的情况下,通知表示所述被观察者的重度异常的紧急信号,
在由所述通常行为模式定义的通常行为也在所述当前行为模式下进行但与由所述通常行为模式定义的时刻不同的情况下,或者由所述通常行为模式定义的通常行为也在所述当前行为模式下进行但与由所述通常行为模式中定义的长度不同的情况下,通知表示所述被观察者的轻度异常的需要观察信号。
5.根据权利要求3所述的行为识别服务器,其特征在于,
所述变化检测部根据所述当前行为模式所包含的行为的间隔取得所述被观察者的行为速度,在取得的所述被观察者的行为速度脱离了定义为所述通常行为模式的行为的速度时,通知表示所述被观察者的轻度异常的需要观察信号。
6.一种行为识别方法,其特征在于,
行为识别服务器具有传感器信息取得部、图像转换部和行为推理部,
所述传感器信息取得部从检测被观察者的传感器的集合取得表示每个所述传感器的检测结果的传感器信息,
所述图像转换部将基于各所述传感器信息的值的任意范围的值写入由布局数据规定的图像内的各所述传感器信息的区域,由此将各所述传感器信息图像化,
所述行为推理部通过对事先准备了所述传感器信息的图像与被观察者的行为的对应数据的推理模型输入所述图像转换部生成的传感器信息的图像,求出从所述推理模型输出的所述被观察者的行为,
所述图像转换部除了将基于各所述传感器信息的值的任意范围的值写入所述区域以外,还将基于所述传感器信息的时刻信息的任意范围的值写入所述区域,
在所述布局数据中按照各所述传感器信息的种类来规定图像内的所述区域的大小,
所述图像转换部按照所述布局数据中规定的所述区域的大小,写入基于各所述传感器信息的值的任意范围的值。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020-054434 | 2020-03-25 | ||
JP2020054434A JP7366820B2 (ja) | 2020-03-25 | 2020-03-25 | 行動認識サーバ、および、行動認識方法 |
PCT/JP2020/042056 WO2021192398A1 (ja) | 2020-03-25 | 2020-11-11 | 行動認識サーバ、および、行動認識方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114424263A CN114424263A (zh) | 2022-04-29 |
CN114424263B true CN114424263B (zh) | 2023-06-27 |
Family
ID=77891149
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080066478.8A Active CN114424263B (zh) | 2020-03-25 | 2020-11-11 | 行为识别服务器和行为识别方法 |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP7366820B2 (zh) |
CN (1) | CN114424263B (zh) |
WO (1) | WO2021192398A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023090273A (ja) * | 2021-12-17 | 2023-06-29 | 株式会社日立製作所 | センシングシステム、センシング装置、およびセンシング方法 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002352352A (ja) * | 2001-05-29 | 2002-12-06 | Mitsubishi Electric Corp | 生活行動パターンの異常度判定システム及び生活行動パターンの異常度判定方法 |
JP2010238186A (ja) * | 2009-03-31 | 2010-10-21 | Sogo Keibi Hosho Co Ltd | 監視装置及び監視方法 |
WO2013136822A1 (ja) * | 2012-03-12 | 2013-09-19 | 株式会社東芝 | 情報処理装置、画像センサ装置及びプログラム |
CN103577827A (zh) * | 2012-07-20 | 2014-02-12 | 株式会社日立制作所 | 图像识别装置以及电梯装置 |
WO2016175109A1 (ja) * | 2015-04-27 | 2016-11-03 | コニカミノルタ株式会社 | 監視装置、監視方法、監視プログラムおよび監視システム |
JP2017216006A (ja) * | 2017-08-10 | 2017-12-07 | パラマウントベッド株式会社 | 見守り支援装置 |
KR101810853B1 (ko) * | 2016-10-27 | 2017-12-20 | 숭실대학교산학협력단 | 신경망 알고리즘을 이용한 내부 정보 유출 방지 방법, 이를 수행하기 위한 기록 매체 및 장치 |
JP2018124639A (ja) * | 2017-01-30 | 2018-08-09 | 日本電気株式会社 | データ分析システム、データ分析方法およびプログラム |
JP2019109724A (ja) * | 2017-12-19 | 2019-07-04 | 日本信号株式会社 | 異常判定装置 |
KR101999213B1 (ko) * | 2019-03-28 | 2019-07-11 | 한국건설기술연구원 | 신호강도 패턴을 이용한 cctv 기반 행동 인식 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체 |
CN110058699A (zh) * | 2019-04-28 | 2019-07-26 | 电子科技大学 | 一种基于智能移动设备传感器的用户行为识别方法 |
CN110533889A (zh) * | 2019-08-30 | 2019-12-03 | 中国电子科技网络信息安全有限公司 | 一种敏感区域电子设备监测定位装置与方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017023055A (ja) * | 2015-07-22 | 2017-02-02 | 大日本印刷株式会社 | 細胞管理システム、プログラム、及び、細胞管理方法 |
WO2017038035A1 (ja) * | 2015-08-31 | 2017-03-09 | 富士フイルム株式会社 | 行動履歴情報生成装置、システム、及び方法 |
JP6713837B2 (ja) * | 2016-05-31 | 2020-06-24 | 株式会社日立製作所 | 輸送機器制御システム、及び、輸送機器制御方法 |
JP6324568B2 (ja) * | 2017-03-13 | 2018-05-16 | 株式会社日立製作所 | 見守りシステム |
JP7370857B2 (ja) * | 2017-04-06 | 2023-10-30 | コニカミノルタ株式会社 | 行動検知装置および行動検知方法ならびに被監視者監視支援システム |
EP3662408A1 (en) * | 2017-07-31 | 2020-06-10 | Cubic Corporation | Automated scenario recognition and reporting using neural networks |
JP2019149039A (ja) * | 2018-02-27 | 2019-09-05 | パナソニックIpマネジメント株式会社 | 見守りシステム及び見守り方法 |
KR102152717B1 (ko) * | 2018-08-28 | 2020-09-07 | 한국전자통신연구원 | 휴먼 행동 인식 장치 및 방법 |
-
2020
- 2020-03-25 JP JP2020054434A patent/JP7366820B2/ja active Active
- 2020-11-11 CN CN202080066478.8A patent/CN114424263B/zh active Active
- 2020-11-11 WO PCT/JP2020/042056 patent/WO2021192398A1/ja active Application Filing
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002352352A (ja) * | 2001-05-29 | 2002-12-06 | Mitsubishi Electric Corp | 生活行動パターンの異常度判定システム及び生活行動パターンの異常度判定方法 |
JP2010238186A (ja) * | 2009-03-31 | 2010-10-21 | Sogo Keibi Hosho Co Ltd | 監視装置及び監視方法 |
WO2013136822A1 (ja) * | 2012-03-12 | 2013-09-19 | 株式会社東芝 | 情報処理装置、画像センサ装置及びプログラム |
CN103577827A (zh) * | 2012-07-20 | 2014-02-12 | 株式会社日立制作所 | 图像识别装置以及电梯装置 |
WO2016175109A1 (ja) * | 2015-04-27 | 2016-11-03 | コニカミノルタ株式会社 | 監視装置、監視方法、監視プログラムおよび監視システム |
KR101810853B1 (ko) * | 2016-10-27 | 2017-12-20 | 숭실대학교산학협력단 | 신경망 알고리즘을 이용한 내부 정보 유출 방지 방법, 이를 수행하기 위한 기록 매체 및 장치 |
JP2018124639A (ja) * | 2017-01-30 | 2018-08-09 | 日本電気株式会社 | データ分析システム、データ分析方法およびプログラム |
JP2017216006A (ja) * | 2017-08-10 | 2017-12-07 | パラマウントベッド株式会社 | 見守り支援装置 |
JP2019109724A (ja) * | 2017-12-19 | 2019-07-04 | 日本信号株式会社 | 異常判定装置 |
KR101999213B1 (ko) * | 2019-03-28 | 2019-07-11 | 한국건설기술연구원 | 신호강도 패턴을 이용한 cctv 기반 행동 인식 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체 |
CN110058699A (zh) * | 2019-04-28 | 2019-07-26 | 电子科技大学 | 一种基于智能移动设备传感器的用户行为识别方法 |
CN110533889A (zh) * | 2019-08-30 | 2019-12-03 | 中国电子科技网络信息安全有限公司 | 一种敏感区域电子设备监测定位装置与方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114424263A (zh) | 2022-04-29 |
JP7366820B2 (ja) | 2023-10-23 |
JP2021157274A (ja) | 2021-10-07 |
WO2021192398A1 (ja) | 2021-09-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6483928B2 (ja) | 人の日常生活の活動の監視 | |
CN107205698B (zh) | 用于监测人的日常生活的活动的系统和方法 | |
JPWO2018151003A1 (ja) | 通信装置、異常通知システム、および異常通知方法 | |
JP2016045573A (ja) | 制御方法、制御装置および制御プログラム | |
US20230335240A1 (en) | Presymptomatic disease diagnosis device, presymptomatic disease diagnosis method, and trained model generation device | |
JP7316038B2 (ja) | 事象予測システム、センサ信号処理システム及びプログラム | |
CN114424263B (zh) | 行为识别服务器和行为识别方法 | |
JP7396274B2 (ja) | レポート出力プログラム、レポート出力方法およびレポート出力装置 | |
JP2021194468A (ja) | 情報処理装置、見守りシステム、および制御プログラム | |
WO2020003758A1 (ja) | レポート出力プログラム、レポート出力方法、およびレポート出力装置 | |
CN114402575B (zh) | 行动识别服务器、行动识别系统和行动识别方法 | |
CN113990517A (zh) | 人群检测方法、装置、电子设备及储存介质 | |
US20220068488A1 (en) | Data processing system and method for determining the risk of a transfer of an individual to the emergency department | |
JP7268679B2 (ja) | 制御プログラム、レポート出力方法、およびレポート出力装置 | |
JP2021176036A (ja) | 情報処理装置および情報処理プログラム | |
WO2020003616A1 (ja) | レポート出力プログラム、レポート出力方法およびレポート出力装置 | |
US20220122441A1 (en) | Monitoring device, monitoring method, and monitoring program | |
WO2019239716A1 (ja) | レポート出力プログラム、レポート出力方法、およびレポート出力装置 | |
WO2020003714A1 (ja) | レポート出力プログラム、レポート出力方法およびレポート出力装置 | |
WO2020179343A1 (ja) | 見守り装置、見守り方法及び見守りプログラム | |
JP2023012291A (ja) | 介護を支援する情報を提供するためにコンピューターによって実行される方法、当該方法をコンピューターに実行させるプログラム、および、介護支援情報提供装置 | |
JP7147787B2 (ja) | 被監視者監視支援装置、被監視者監視支援方法、および、被監視者監視支援プログラム | |
JP2023105966A (ja) | 入居者の状態の変化を検知するためにコンピューターによって実行される方法、プログラム、および、入居者の状態変化検出装置 | |
JP2023161801A (ja) | 看視システム、看視方法、及びプログラム | |
JP2021176038A (ja) | 情報処理装置および情報処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |