CN114402575B - 行动识别服务器、行动识别系统和行动识别方法 - Google Patents
行动识别服务器、行动识别系统和行动识别方法 Download PDFInfo
- Publication number
- CN114402575B CN114402575B CN202080064882.1A CN202080064882A CN114402575B CN 114402575 B CN114402575 B CN 114402575B CN 202080064882 A CN202080064882 A CN 202080064882A CN 114402575 B CN114402575 B CN 114402575B
- Authority
- CN
- China
- Prior art keywords
- sensor information
- action
- observed person
- unit
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000009471 action Effects 0.000 title claims abstract description 146
- 238000000034 method Methods 0.000 title claims description 13
- 238000006243 chemical reaction Methods 0.000 claims abstract description 41
- 230000035484 reaction time Effects 0.000 claims abstract description 19
- 238000001514 detection method Methods 0.000 claims description 23
- 238000012937 correction Methods 0.000 claims description 10
- 238000003384 imaging method Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 description 33
- 238000010586 diagram Methods 0.000 description 19
- 238000013145 classification model Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 238000003860 storage Methods 0.000 description 9
- 230000006399 behavior Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000000875 corresponding effect Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 230000007257 malfunction Effects 0.000 description 3
- 101710190443 Acetyl-CoA carboxylase 1 Proteins 0.000 description 2
- 101000963440 Bacillus subtilis (strain 168) Biotin carboxylase 1 Proteins 0.000 description 2
- 102100021334 Bcl-2-related protein A1 Human genes 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 101000933173 Homo sapiens Pro-cathepsin H Proteins 0.000 description 1
- 102100025974 Pro-cathepsin H Human genes 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
- G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
- G08B25/04—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M11/00—Telephonic communication systems specially adapted for combination with other electrical systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
Landscapes
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Emergency Management (AREA)
- Computer Networks & Wireless Communication (AREA)
- Epidemiology (AREA)
- Public Health (AREA)
- Primary Health Care (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Alarm Systems (AREA)
- Telephonic Communication Services (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Emergency Alarm Devices (AREA)
- Image Processing (AREA)
Abstract
行动识别服务器(1)具有：传感器信息取得部(11)，其从检测被观察者(2u)的传感器(2)的集合取得每个传感器(2)的传感器信息；传感器信息转换部(11T)，其根据时间序列的传感器信息中的检测到被观察者(2u)的反应时刻，将传感器信息转换为将该反应时刻设为最大值的时间方向的概率密度函数；行动分类部(14)，其根据转换后的传感器信息，对各时刻的被观察者(2u)的行动进行分类；以及行动输出部(17)，其将分类后的被观察者(2u)的行动进行数据化并输出。
Description
技术领域
本发明涉及行动识别服务器、行动识别系统和行动识别方法。
背景技术
近年来，与互联网连接的高性能的传感器作为IoT(Internet of Things：物联网)设备而普及。而且，进行了如下尝试：从设置在家庭内等环境中的多个传感器收集大量的传感器信息作为大数据，对这些大数据进行分析，由此提取有益的信息。
作为传感器信息的测定频度，一般能够在比人的行动期间非常短的期间内进行测定。因此，当将传感器的1个反应直接置换为人的1个行动时，有时会识别出“在1秒内站起3次”等不现实的行动。
因此，在专利文献1中记载有如下方法：根据预先准备的传感器反应定义，即使在1秒以内传感器进行了多次反应的情况下，也使这些反应平滑化而与1次的行动对应起来。
现有技术文献
专利文献
专利文献1：日本特开2004-145820公报
发明内容
发明所要解决的课题
在各种传感器中，尽管实际上存在作为检测对象的人等，也会发生测量为未检测到人的误检测。例如，存在以下发生误检测的主要原因：从人感传感器发出的检测用红外线由于房间内的照明光等的增减而被遮挡等。结果，人感传感器会漏掉静止的人，由此即使存在松弛的人也会误识别为不存在。
因此，在将在家庭内生活的作为被看护者的老人等作为监视对象的情况下等，即使传感器瞬间误动作也需要提高该老人的行动的识别精度。但是，在专利文献1等现有技术中，没有考虑传感器的误动作的影响。
因此，本发明的主要课题在于，根据包含误检测数据的传感器信息来抑制识别精度的降低。
用于解决课题的手段
为了解决上述课题，本发明的行动识别服务器具有以下的特征。
本发明具备：
传感器信息取得部，其从检测被观察者的传感器的集合取得表示每个所述传感器的检测结果的传感器信息；
传感器信息转换部，其基于时间序列的所述传感器信息中的检测到所述被观察者的反应时刻，将所述传感器信息转换为将该反应时刻设为最大值的时间方向的概率密度函数；
行动分类部，其基于转换后的所述传感器信息，对各时刻的所述被观察者的行动进行分类；以及
行动输出部，其对分类后的所述被观察者的行动进行数据化并输出。
之后还会叙述其他手段。
发明效果
根据本发明，能够根据包含误检测数据的传感器信息抑制识别精度的降低。
附图说明
图1是本发明的一个实施方式的行动识别系统的结构图。
图2是本发明的一个实施方式的行动识别系统的硬件结构图。
图3是表示本发明的一个实施方式的行动识别服务器的详细结构的结构图。
图4是表示本发明的一个实施方式的行动识别服务器的处理的流程图。
图5是本发明的一个实施方式的没有检测遗漏的状态下的传感器信息的时间序列图。
图6是本发明的一个实施方式的从图5的时间序列图中发生了一部分检测遗漏的状态下的时间序列图。
图7是本发明的一个实施方式的应用了曲线以外的概率密度函数时的时间序列图。
图8是本发明的一个实施方式的对空间轴应用了概率密度函数时的曲线图。
图9是表示本发明的一实施方式的应用图8的曲线图的空间的具体例的俯视图。
图10是表示本发明的一实施方式的布局数据的一例的说明图。
图11是本发明的一实施方式的布局数据的说明用表格。
图12是本发明的一个实施方式的图像数据的说明图。
图13是表示本发明的一实施方式的行动修正部的处理内容的时间序列图。
具体实施方式
以下，参照附图对本发明的一个实施方式进行说明。
图1是行动识别系统的结构图。
行动识别系统构成为，观察者3u使用观察者终端3远程监护在自家2h生活的被观察者2u的生活状态。行动识别服务器1基于从各种传感器2取得的传感器信息来识别被观察者2u的生活状态，并将该识别结果通知给观察者终端3。由此，看到观察者终端3的显示画面的观察者3u能够掌握被观察者2u的生活状态。
被观察者2u例如是需要看护的人，观察者3u例如是需要看护人的家属。或者，也可以代替自家2h而向医院、看护设施导入行动识别系统，在该情况下，观察者3u成为医师、看护管理员。
在自家2h中，将用于监视被观察者2u的行动的各种传感器2与网络连接。传感器2例如既可以是在冰箱2a、自主移动型的吸尘器2b等家电设备中安装的传感器，也可以是人感传感器2c等单体的传感器。
优选将人感传感器2c等传感器2设置为其测定区域不与房间的入口相对的方向。通过该设置，能够抑制人感传感器2c误检测在房间外的走廊擦肩而过的与被观察者2u不同的人。
图2是行动识别系统的硬件结构图。
传感器2具有：通信部121，其将检测部122检测到的传感器信息等通知给其他装置；检测部122，其检测被观察者2u；以及通知部123，其将来自观察者3u的消息等通知给被观察者2u。
行动识别服务器1具有：通信部111，其从传感器2接收传感器信息，并将从该传感器信息得到的识别结果通知给观察者终端3；控制部112，其识别被观察者2u的生活状态；以及存储部113，其存储在控制部112的处理中使用的数据。
观察者终端3具有：通信部131，其接收被观察者2u的识别结果；通知部132，其将被观察者2u的识别结果通知给观察者3u；以及输入部133，其输入来自被观察者2u的消息等。
行动识别服务器1构成为计算机，该计算机具有作为运算装置(控制部112)的CPU(Central Processing Unit：中央处理单元)、作为主存储装置的存储器、以及作为外部存储装置(存储部113)的硬盘。
该计算机通过CPU执行在存储器上读入的程序(也被称为应用程序、也简略称为应用)，由此使各处理部构成的控制部(控制单元)进行动作。
图3是表示行动识别服务器1的详细结构的结构图。
行动识别服务器1的控制部112(图2)具有传感器信息取得部11、传感器信息转换部11T、时刻信息取得部12、图像转换部13、行动分类部14、行动修正部15、当前行动蓄积部16和行动输出部17。
行动识别服务器1的存储部113(图2)存储布局数据13L和分类模型14m。
以下，沿着图4的流程图对图3的构成要素的详细内容进行说明。
图4是表示行动识别服务器1的处理的流程图。
传感器信息取得部11从设置在自家2h中的传感器2(冰箱2a、吸尘器2b、人感传感器2c)取得传感器信息(S101)。有时对于传感器2的每个种类，传感器信息的数据形式不同。
传感器信息转换部11T从传感器信息取得部11接收0或1这样的离散值的数据形式的传感器信息，将该离散值的传感器信息转换为概率密度函数的传感器信息(S102、在图5～图9中后述)。
传感器信息转换部11T例如根据传感器进行了反应的时刻t的离散值“1”的输入数据，生成将时刻t的函数值设为最大值(例如“1”)，在其前后的时间方向上还追加了小于最大值的函数值的输出数据(图5)，由此作为概率密度函数的函数值。小于最大值的函数值是以与时刻t的时间差越大函数值越小的方式由传感器信息转换部11T计算出的函数值。
另一方面，传感器信息转换部11T不转换离散值以外的数据形式的输入数据而直接作为输出数据。
图像转换部13基于传感器信息转换部11T的输出数据即每个传感器2的传感器信息，使预定时刻的传感器信息的集合图像化(S103)。在图像转换部13进行转换时所参照的布局数据13L中预先定义了与图像内的布局相关的信息，其中，该图像内的布局是指将哪个传感器2的传感器信息配置在图像内的哪个部分(图10、图11)。
另外，图像转换部13除了取得传感器信息的集合之外，还可以经由时刻信息取得部12取得时刻信息，该时刻信息表示作为该传感器信息的测量时刻的预定时刻，将该时刻信息包含在图像化对象中。在传感器2在传感器信息中包含时间戳的情况下，时刻信息取得部12取得该时刻，在没有时间戳的情况下，将传感器信息的接收时刻设为图像化对象。
也可以省略由图像转换部13进行的传感器信息的图像化处理，行动分类部14接受未图像化的传感器信息和时刻信息。
行动分类部14根据表示传感器信息的图像数据，对在该时刻信息的被观察者2u的行动进行分类(S104)。为了进行该分类处理，预先准备了当输入图像数据时，将对应的行动数据化并进行输出的分类模型14m。关于分类模型14m，例如通过深度学习等机器学习算法进行训练。
行动修正部15针对行动分类部14输出的各个行动，通过参照在时间上前后的行动来修正瞬间产生的不自然的行动(在图13中后述)。
因此，行动修正部15针对本次关注的行动(当前的行动)，当相对于其前后的行动存在局部变化时(S111，是)，修正为使该局部的行动与前后的行动匹配，然后将修正后的行动蓄积到当前行动蓄积部16(S112)。另一方面，在不存在局部的变化时(S111，否)，将该自然的行动直接蓄积到当前行动蓄积部16(S113)。
行动输出部17将当前行动蓄积部16中蓄积的行动识别结果输出到外部(观察者终端3)。行动识别结果的输出目的地并不限于顾客环境(观察者终端3)，也可以输出到数据库系统或云系统等其他系统。
以下，参照图5～图9对传感器信息转换部11T的处理(S102)的具体例进行说明。
图5表示没有检测遗漏的状态下的传感器信息的时间序列图。
图表211是从传感器信息取得部11输入到传感器信息转换部11T的传感器信息。在图表211中，在反应时刻t1～t5分别包含表示检测到被观察者2u的离散值“1”。
图表212是传感器信息转换部11T将图表211作为输入数据，将离散值的传感器信息转换为概率密度函数后的结果。传感器信息转换部11T接受反应时刻t1的离散值“1”，转换为以反应时刻t1为峰值的曲线m1的概率密度函数。同样地，传感器信息转换部11T分别生成反应时刻t2的曲线m2、反应时刻t3的曲线m3、反应时刻t4的曲线m4、以及反应时刻t5的曲线m5。
作为使传感器信息成为概率密度函数后的分布，传感器信息转换部11T例如能够应用正态分布、学生τ分布、U(Universal)分布以及其他统计领域中使用的任意的分布。
图表213是将图表212的曲线间的重叠区间整合后的图表。在此，在相同的时刻存在多个曲线的情况下，传感器信息转换部11T采用这些曲线的最大值，但也可以采用曲线的总和。由此，图表213唯一地求出各时刻的概率密度函数的值。
如此，在传感器信息转换部11T的转换后，各反应时刻t1～t5的函数值也不是“0”，所以正确的检测结果不会被传感器信息转换部11T删除。
图6表示从图5的时间序列图中发生了一部分检测遗漏的状态下的时间序列图。
图表221是从传感器信息取得部11输入到传感器信息转换部11T的传感器信息。尽管在时刻t2、t4被观察者2u实际存在于自家2h中，但由于漏检而成为离散值“0”。在剩余的反应时刻t1、t3、t5，与图5同样地正确地检测出离散值“1”。
图表222是传感器信息转换部11T将图表221作为输入数据，将离散值的传感器信息转换为概率密度函数后的结果。在该图表222中，相对于图5的图表212缺失了时刻t2的曲线m2和时刻t4的曲线m4。
与图5的图表213同样地，图表223是将图表222的曲线间的重叠区间整合后的图表。在此，若着眼于时刻t2，则时刻t2的传感器信息(函数值)不是“0”，而是受到来自时间上接近的时刻t1、t3的概率密度函数(曲线m1、m3)的影响。同样地，时刻t4的函数值也受到来自时间上接近的时刻t5的概率密度函数(曲线m5)的影响。
这样，即使在时刻t2、t4分别发生了检测遗漏，通过使时间上接近的其他信号成为概率密度函数，能够防止检测遗漏。
图7表示对于与图5的时间序列图相同的输入数据应用了曲线以外的概率密度函数时的时间序列图。
与图表211同样地，在图表231中，在时刻t1～t5分别包含表示检测到被观察者2u的离散值“1”。
图表232是传感器信息转换部11T将图表231作为输入数据，转换为以离散值“1”的各时刻t1～t5为峰值的直线近似的概率密度函数后的结果。
以少的计算量即可完成直线近似。另外，除了直线近似的方程式近似以外，传感器信息转换部11T也可以使用图5所示的曲线近似、未图示的多项式近似等。
图表233是传感器信息转换部11T将图表231作为输入数据，转换为预定范围的随机值后的结果。如以下所示，输入数据的离散值为“0”的情况与输入数据的离散值为“1”的情况相比，随机值的可取范围各自不同。
输入数据的离散值“0”→输出数据“0～0.3的范围内的随机值”
输入数据的离散值“1”→输出数据“0.7～1.0的范围内的随机值”
由此，即使在不存在时间上接近的离散值“1”的期间，也能够对检测遗漏进行补救。
图8是对空间轴应用了概率密度函数时的图表。
在图5至图7中，传感器信息转换部11T通过对时间轴应用概率密度函数，在输入数据产生了离散值“1”的时刻周边模拟地生成检测信号。
同样地，在图8中，传感器信息转换部11T也可以通过对时间轴应用概率密度函数，在输入数据产生了离散值“1”的场所(起居室)周边的场所(卧室、厨房)模拟地生成检测信号。
图9是表示应用图8的图表时的空间的具体例的俯视图。
如果将输入数据产生了离散值“1”的起居室设为被观察者2u的存在概率“1(100％)”，则传感器信息转换部11T使存在概率也波及到其附近的房间。
例如，在厨房或卧室中，未产生输入数据的离散值“1”，未检测到被观察者2u。但是，传感器信息转换部11T按照相对于起居室从近到远的顺序波及厨房(存在概率＝0.7)、卧室(存在概率＝0.5)。
图10是表示图像转换部13在图像化处理中使用的布局数据13L的一例的说明图。布局数据13L将在纵向12网格横向12网格的正方形的图像数据内的各个位置写入的数据内容配置为“T”和“ACC1”等图中标记。“网格”是指将图像区域细分的最小单位，对传感器信息、时刻信息分配最低1网格的写入区域。
图11是图10的布局数据13L的说明用表格。例如，图10的最上部“T”对应于图11的第一行“时刻”的图中标记“T”。配置在图10的最上部“T”的场所的图像数据是时刻信息取得部12取得的时刻数据。即，图12所示的一个图像是将配置在各场所的传感器2在相同的测量时刻(“T”的时刻数据)测量到的传感器信息的集合汇集为1个并进行可视化后的结果。
关于在S102中由传感器信息转换部11T转换为概率密度函数的传感器2的种类，例如可举出加速度传感器、(门)开闭传感器等检测被观察者2u的动作的传感器、人感传感器等检测被观察者2u的存在的传感器。
说明用表格的第三列“网格数”表示写入区域的大小。在要写入的数据量比写入区域可表现的数据量小时，写入区域剩余。此时，图像转换部13将相同的数据内容复制并写入到多个场所，由此填补图像内的网格数。
布局数据13L的网格数表示写入的信息间的权重，分配越多的网格数则对行动的影响越大。该网格数的分配例如按照以下策略来决定。
如白天外出夜晚睡觉等那样在人的生活中按照时刻而采取的行动已成为习惯，因此，对于时刻信息“T”分配比其他传感器信息多的网格数(24个网格)。
能够某种程度筛选人根据其所在的场所而采取的行动，所以对于人感传感器“HM1～HM5”的传感器信息(所在场所信息)分配比其他的传感器信息多的网格数(12个网格)。
如平时上班休息日在家休息等那样人的生活中具有根据星期几而采取相同行动的习惯，所以对于星期信息“DoW”分配比测定自家2h环境的传感器信息多的网格数(12个网格)。
作为检测人的动作的传感器信息，对于加速度传感器“ACC1～ACC4”以及开闭传感器“OC1～OC3”分配比测定自家2h环境的传感器信息多的网格数(4个网格)。
说明用表格的第四列的“值”表示在写入区域写入的数据内容。例如，在图像数据的颜色深度为灰度的8比特时，写入区域能够表现的数据量成为2的8次幂＝256种数值。由于图像数据的颜色深度可任意设定，因此能够表现的数据量不限于256种。因此，例如8bit的灰度与16bit的彩色相比，即使是相同的传感器的反应值，有时也转换为不同的值、不同的精度。在本实施方式中，以0.01的精度记载0.00～1.00的范围。
例如，在将0时0分设为值“0.00”，将23时59分设为值“1.00”时，时刻“T”的值“0.31”表示上午7时40分。另一方面，从将星期一设为值“0.00”、将星期日设为值“1.00”时的7种之中选择星期。
上述“值”是指基于各传感器信息的值而得到的任意范围的值。如上所述，除了称为与各传感器信息的值对应的颜色的情况以外，还包括直接称作各传感器信息的值的情况。
在图11的“湿度”的行“HUM”中，由于1个传感器为1个网格并且传感器的数量是5个，因此网格数“5(＝1×5)”是指湿度传感器的写入区域的大小为总共5个网格。另外，“湿度”的值“0.66、0.57、0.64、0.58、0.7”从左开始依次表示第一湿度传感器的值“0.66”、第二湿度传感器的值“0.57”、…、第五湿度传感器的值“0.7”。
以上说明的布局数据13L说明了将相同种类的传感器信息在图像内接近地集中配置的一例。另一方面，也可以对传感器的设置场所(房间)相同的每个传感器信息，在图像内接近地集中配置。
图12是作为对图10的布局数据13L写入了图11的“值”时的结果的图像数据的说明图。在图12中，为了使说明容易理解，也一并记载了“T”、“ACC1”等图中标记，但实际上从图像中省略图中标记。
例如，图像转换部13在“ACC1”的写入区域中写入表示值是“0”的黑色。另一方面，图像转换部13在“HM4”的写入区域中写入表示值是“1”的白色。即，写入的值越大，越接近白色。
并且，通过将图像转换部13生成的图像数据与表示该图像数据所示的状况的被观察者2u的行动“回家”对应起来，从而定义分类模型14m。
行动分类部14通过参照过去登记的分类模型14m，在从当前的被观察者2u检测到与分类模型14m的图像数据一致或类似的图像数据时，将通过分类模型14m对应的行动“回家”作为分类结果输出(S104)。
关于分类模型14m的定义，可以由观察者3u等人来告知“回家”、“休息”等具有含义的行动标签。另一方面，也可以使用将通过机器学习自动分类的“行动A”、“行动B”等没有含义但类似的行动仅进行分组后的行动标签。
图13是表示行动修正部15的处理内容的时间序列图。
图表241表示修正前的行动分类部14的输出数据。在图表241中，设为基本上检测到被观察者2u已外出，但在10：00检测到5分钟(ΔT1)的洗澡行动以及在15：00检测到3分钟(ΔT2)的打扫行动。
图表242表示修正后的行动修正部15的输出数据。行动修正部15在突发地检测到在时间上与前后的行动不同的行动时，将不同的行动修正为与前后的行动相同的行动(S112)。
为此，行动修正部15在各行动的期间(ΔT1、ΔT2)比预定期间Th＝10分钟短时，判定为成为修正对象的不自然的行动。由此，将10：00的洗澡行动和15：00的打扫行动分别修正为与前后的“已外出”相同的行动。
另外，作为成为修正对象的不自然行动的检测方法，行动修正部15不仅参照行动的期间，还可以参照行动的种类。例如，行动修正部15可以将紧随之前的行动(放松)之后(1分钟后)发生的自身不自然的行动(外出)作为修正对象。
对于是否要修正与前后不同的行动，行动修正部15可以根据不同的行动的种类来变更进行比较的预定期间Th。例如，在洗澡行动小于20分钟(预定期间Th1)的情况下，作为不自然的行动进行修正，另一方面，在扫除行动小于5分钟(预定期间Th2)的情况下，作为不自然的行动进行修正。
另一方面，作为比较例，还有通过缩短行动检测的时间间隔来提高行动识别精度的方法，但在该方法中控制会变得繁杂。
在以上说明的本实施方式中，传感器信息取得部11取得传感器信息，即使在由于瞬间的误动作导致该传感器信息漏掉了观察者3u的情况下，传感器信息转换部11T通过在时间轴或空间轴上根据附近的传感器信息来转换为概率密度函数，从而能够对检测遗漏进行补救。由此，能够根据包含误检测数据的传感器信息抑制识别精度的降低。
本发明并不限于上述实施例，包括各种变形例。例如，上述实施例是为了容易理解地说明本发明而详细说明的实施例，并不限于必须具备所说明的全部结构。
另外，能够将某个实施例的结构的一部分置换为其他实施例的结构，另外，也能够在某实施例的结构中添加其他实施例的结构。
另外，对于各实施例的结构的一部分，能够进行其他结构的追加、删除、置换。另外，关于上述各结构、功能、处理部、处理单元等，例如可以通过集成电路进行设计从而以硬件的方式来实现它们的一部分或全部。
另外，关于上述各结构、功能等，也可以通过处理器解释并执行用于实现各个功能的程序从而以软件的方式来实现。
用于实现各功能的程序、表、文件等信息能够存放在存储器、硬盘、SSD(SolidState Drive：固态驱动器)等记录装置、或者IC(Integrated Circuit：集成电路)卡、SD卡、DVD(Digital Versatile Disc：数字多功能光盘)等记录介质中。
另外，考虑到说明上的需要，示出了控制线、信息线，但并不一定限于在产品上表示出全部的控制线、信息线。实际上可以认为几乎全部的结构相互连接。
并且，连接各装置的通信单元不限于无线LAN，也可以变更为有线LAN或其他通信单元。
附图标记的说明
1行动识别服务器
2传感器
2u被观察者
3观察者终端
11传感器信息取得部
11T传感器信息转换部
12时刻信息取得部
13图像转换部
13L布局数据
14行动分类部
14m分类模型
15行动修正部
16当前行动蓄积部
17行动输出部。
Claims (5)
1.一种行动识别服务器，其特征在于，具备：
传感器信息取得部，其从检测被观察者的传感器的集合取得表示每个所述传感器的检测结果的、包含离散值的数据形式的传感器信息；
传感器信息转换部，其基于时间序列的所述包含离散值的数据形式的传感器信息中的检测到所述被观察者的反应时刻，将所述包含离散值的数据形式的传感器信息转换为将该反应时刻设为最大值的时间方向的概率密度函数；并且所述传感器信息转换部基于所述包含离散值的数据形式的传感器信息中的检测到所述被观察者的反应场所，将所述包含离散值的数据形式的传感器信息转换为将该反应场所设为最大值的空间方向的概率密度函数；
行动分类部，其基于转换后的所述传感器信息，对各时刻的所述被观察者的行动进行分类；以及
行动输出部，其对分类后的所述被观察者的行动进行数据化并输出。
2.根据权利要求1所述的行动识别服务器，其特征在于，
所述行动识别服务器还具备图像转换部，
所述图像转换部按照由布局数据规定的图像内的各传感器信息的配置，写入基于所述各传感器信息的值的任意范围的值，由此使所述各传感器信息图像化，将该图像作为输入给所述行动分类部的所述传感器信息来使用。
3.根据权利要求1所述的行动识别服务器，其特征在于，
所述行动识别服务器还具备行动修正部，
所述行动修正部针对所述行动分类部分类后的所述被观察者的行动，在突发性地检测到在时间上与前后的行动不同的行动时，将不同的行动修正为与前后的行动相同的行动。
4.一种行动识别系统，其具有：
检测被观察者的传感器的集合，其中，所述传感器的集合包含被设置为不与所述被观察者生活的房间的入口相对的方向的传感器；以及
行动识别服务器，其识别所述被观察者的行动，
其特征在于，
所述行动识别服务器具备：
传感器信息取得部，其从检测所述被观察者的所述传感器的集合取得表示每个所述传感器的检测结果的、包含离散值的数据形式的传感器信息；
传感器信息转换部，其基于时间序列的所述包含离散值的数据形式的传感器信息中的检测到所述被观察者的反应时刻，将所述包含离散值的数据形式的传感器信息转换为将该反应时刻设为最大值的时间方向的概率密度函数；并且所述传感器信息转换部基于所述包含离散值的数据形式的传感器信息中的检测到所述被观察者的反应场所，将所述包含离散值的数据形式的传感器信息转换为将该反应场所设为最大值的空间方向的概率密度函数；
行动分类部，其基于转换后的所述传感器信息，对各时刻的所述被观察者的行动进行分类；以及
行动输出部，其对分类后的所述被观察者的行动进行数据化并输出。
5.一种行动识别方法，其特征在于，
行动识别服务器具有传感器信息取得部、传感器信息转换部、行动分类部和行动输出部，
所述传感器信息取得部从检测被观察者的传感器的集合取得表示每个所述传感器的检测结果的、包含离散值的数据形式的传感器信息，
所述传感器信息转换部基于时间序列的所述包含离散值的数据形式的传感器信息中的检测到所述被观察者的反应时刻，将所述包含离散值的数据形式的传感器信息转换为将该反应时刻设为最大值的时间方向的概率密度函数；并且所述传感器信息转换部基于所述包含离散值的数据形式的传感器信息中的检测到所述被观察者的反应场所，将所述包含离散值的数据形式的传感器信息转换为将该反应场所设为最大值的空间方向的概率密度函数，所述行动分类部基于转换后的所述传感器信息，对各时刻的所述被观察者的行动进行分类，
所述行动输出部对分类后的所述被观察者的行动进行数据化并输出。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020-054435 | 2020-03-25 | ||
| JP2020054435A JP7436257B2 (ja) | 2020-03-25 | 2020-03-25 | 行動認識サーバ、行動認識システム、および、行動認識方法 |
| PCT/JP2020/042057 WO2021192399A1 (ja) | 2020-03-25 | 2020-11-11 | 行動認識サーバ、行動認識システム、および、行動認識方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114402575A CN114402575A (zh) | 2022-04-26 |
| CN114402575B true CN114402575B (zh) | 2023-12-12 |
Family
ID=77891272
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202080064882.1A Active CN114402575B (zh) | 2020-03-25 | 2020-11-11 | 行动识别服务器、行动识别系统和行动识别方法 |
Country Status (3)
| Country | Link |
|---|---|
| JP (1) | JP7436257B2 (zh) |
| CN (1) | CN114402575B (zh) |
| WO (1) | WO2021192399A1 (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004145820A (ja) * | 2002-10-28 | 2004-05-20 | Nippon Telegr & Teleph Corp <Ntt> | 生活動作検出方法、装置、プログラム、および該プログラムを記録した記録媒体 |
| CN1737821A (zh) * | 2005-08-15 | 2006-02-22 | 阜阳师范学院 | 自动指纹识别方法中的图像分割及指纹纹线距离提取技术 |
| WO2012029878A1 (ja) * | 2010-09-03 | 2012-03-08 | トヨタ自動車株式会社 | 環境マップ作成装置及び方法、行動予測装置及び方法 |
| CN104769650A (zh) * | 2012-10-18 | 2015-07-08 | 独立行政法人产业技术总合研究所 | 传感器网络系统 |
| CN106066990A (zh) * | 2015-04-23 | 2016-11-02 | 阿迪达斯股份公司 | 用于将人的活动视频中的帧与事件相关联的方法和装置 |
| CN106644436A (zh) * | 2016-12-16 | 2017-05-10 | 中国西电电气股份有限公司 | 一种断路器机械特性的评定方法 |
| KR20170084445A (ko) * | 2016-01-12 | 2017-07-20 | 삼성에스디에스 주식회사 | 시계열 데이터를 이용한 이상 감지 방법 및 그 장치 |
| JP2017224174A (ja) * | 2016-06-15 | 2017-12-21 | シャープ株式会社 | 情報取得端末、情報収集装置、行動観察システム、情報取得端末の制御方法、および、情報収集装置の制御方法 |
| CN108764059A (zh) * | 2018-05-04 | 2018-11-06 | 南京邮电大学 | 一种基于神经网络的人体行为识别方法及系统 |
| CN109362066A (zh) * | 2018-11-01 | 2019-02-19 | 山东大学 | 一种基于低功耗广域物联网和胶囊网络的实时行为识别系统及其工作方法 |
| JP2019054333A (ja) * | 2017-09-13 | 2019-04-04 | 株式会社東芝 | 無線端末、無線通信システム、無線通信方法及び無線通信プログラム |
| JP2019087179A (ja) * | 2017-11-10 | 2019-06-06 | 富士通株式会社 | 分析装置、分析方法およびプログラム |
| JP2019213030A (ja) * | 2018-06-04 | 2019-12-12 | 凸版印刷株式会社 | 看視システム |
| CN110678727A (zh) * | 2017-06-02 | 2020-01-10 | 富士通株式会社 | 判定装置、判定方法和判定程序 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3996428B2 (ja) | 2001-12-25 | 2007-10-24 | 松下電器産業株式会社 | 異常検知装置及び異常検知システム |
| US7552030B2 (en) | 2002-01-22 | 2009-06-23 | Honeywell International Inc. | System and method for learning patterns of behavior and operating a monitoring and response system based thereon |
| JP2011232871A (ja) * | 2010-04-26 | 2011-11-17 | Sony Corp | 情報処理装置、テキスト選択方法及びプログラム |
| JP2016006611A (ja) | 2014-06-20 | 2016-01-14 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
| US20170312574A1 (en) * | 2015-01-05 | 2017-11-02 | Sony Corporation | Information processing device, information processing method, and program |
| JP6890813B2 (ja) | 2016-08-22 | 2021-06-18 | 学校法人慶應義塾 | 行動検知システム、情報処理装置、プログラム |
| JP7085750B2 (ja) | 2018-07-18 | 2022-06-17 | 株式会社Z-Works | 生活習慣分析システム、生活習慣分析方法及びプログラム |
-
2020
- 2020-03-25 JP JP2020054435A patent/JP7436257B2/ja active Active
- 2020-11-11 WO PCT/JP2020/042057 patent/WO2021192399A1/ja active Application Filing
- 2020-11-11 CN CN202080064882.1A patent/CN114402575B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004145820A (ja) * | 2002-10-28 | 2004-05-20 | Nippon Telegr & Teleph Corp <Ntt> | 生活動作検出方法、装置、プログラム、および該プログラムを記録した記録媒体 |
| CN1737821A (zh) * | 2005-08-15 | 2006-02-22 | 阜阳师范学院 | 自动指纹识别方法中的图像分割及指纹纹线距离提取技术 |
| WO2012029878A1 (ja) * | 2010-09-03 | 2012-03-08 | トヨタ自動車株式会社 | 環境マップ作成装置及び方法、行動予測装置及び方法 |
| CN104769650A (zh) * | 2012-10-18 | 2015-07-08 | 独立行政法人产业技术总合研究所 | 传感器网络系统 |
| CN106066990A (zh) * | 2015-04-23 | 2016-11-02 | 阿迪达斯股份公司 | 用于将人的活动视频中的帧与事件相关联的方法和装置 |
| KR20170084445A (ko) * | 2016-01-12 | 2017-07-20 | 삼성에스디에스 주식회사 | 시계열 데이터를 이용한 이상 감지 방법 및 그 장치 |
| JP2017224174A (ja) * | 2016-06-15 | 2017-12-21 | シャープ株式会社 | 情報取得端末、情報収集装置、行動観察システム、情報取得端末の制御方法、および、情報収集装置の制御方法 |
| CN106644436A (zh) * | 2016-12-16 | 2017-05-10 | 中国西电电气股份有限公司 | 一种断路器机械特性的评定方法 |
| CN110678727A (zh) * | 2017-06-02 | 2020-01-10 | 富士通株式会社 | 判定装置、判定方法和判定程序 |
| JP2019054333A (ja) * | 2017-09-13 | 2019-04-04 | 株式会社東芝 | 無線端末、無線通信システム、無線通信方法及び無線通信プログラム |
| JP2019087179A (ja) * | 2017-11-10 | 2019-06-06 | 富士通株式会社 | 分析装置、分析方法およびプログラム |
| CN108764059A (zh) * | 2018-05-04 | 2018-11-06 | 南京邮电大学 | 一种基于神经网络的人体行为识别方法及系统 |
| JP2019213030A (ja) * | 2018-06-04 | 2019-12-12 | 凸版印刷株式会社 | 看視システム |
| CN109362066A (zh) * | 2018-11-01 | 2019-02-19 | 山东大学 | 一种基于低功耗广域物联网和胶囊网络的实时行为识别系统及其工作方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114402575A (zh) | 2022-04-26 |
| JP7436257B2 (ja) | 2024-02-21 |
| WO2021192399A1 (ja) | 2021-09-30 |
| JP2021157275A (ja) | 2021-10-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6483928B2 (ja) | 人の日常生活の活動の監視 | |
| JP5143212B2 (ja) | 確率分布関数を用いて行動をモデル化するための方法及び装置 | |
| Monekosso et al. | Behavior analysis for assisted living | |
| McNaull et al. | Data and information quality issues in ambient assisted living systems | |
| EP2929476B1 (en) | A method and system to reduce the nuisance alarm load in the clinical setting | |
| CN109419493B (zh) | 身体状况预测方法、身体状况预测装置和身体状况预测程序 | |
| Sanchez et al. | Hidden markov models for activity recognition in ambient intelligence environments | |
| JP2019155071A (ja) | 事象予測システム、センサ信号処理システム、事象予測方法及びプログラム | |
| CN114402575B (zh) | 行动识别服务器、行动识别系统和行动识别方法 | |
| CN114424263B (zh) | 行为识别服务器和行为识别方法 | |
| US20170220525A1 (en) | Method and apparatus for hierarchical data analysis based on mutual correlations | |
| US20190074085A1 (en) | Home visit assessment and decision support system | |
| Chiriac et al. | Towards combining validation concepts for short and long-term ambient health monitoring | |
| CN114388089A (zh) | 一种基于人工智能的个人健康管理方法及系统 | |
| TWI665609B (zh) | 住戶行為辨識系統與住戶行為辨識方法 | |
| Akbarzadeh et al. | Smart aging system | |
| WO2020003954A1 (ja) | コンピューターで実行されるプログラム、情報処理装置、および、コンピューターで実行される方法 | |
| JP2019158426A (ja) | 在不在判定方法、プログラム、センサ処理システム、及びセンサシステム | |
| US20220068488A1 (en) | Data processing system and method for determining the risk of a transfer of an individual to the emergency department | |
| WO2023224085A1 (ja) | 情報処理システムおよび情報処理方法 | |
| CN114171146B (zh) | 智能医疗监控方法、系统和可读存储介质 | |
| US20240038366A1 (en) | Method, device and computer-readable medium of generating text data representing state of object person | |
| US20240047021A1 (en) | Medical information processing apparatus, medical information processing method, and storage medium | |
| CN115120198A (zh) | 一种监护方法、系统、装置及电子设备 | |
| Hubloux | Generating health related data of elderly through |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |