CN113869415A - 一种问题行为检测与预警系统 - Google Patents
一种问题行为检测与预警系统 Download PDFInfo
- Publication number
- CN113869415A CN113869415A CN202111144337.6A CN202111144337A CN113869415A CN 113869415 A CN113869415 A CN 113869415A CN 202111144337 A CN202111144337 A CN 202111144337A CN 113869415 A CN113869415 A CN 113869415A
- Authority
- CN
- China
- Prior art keywords
- detected
- behavior
- module
- emotion
- expression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 17
- 230000006399 behavior Effects 0.000 claims abstract description 134
- 230000008451 emotion Effects 0.000 claims abstract description 52
- 230000014509 gene expression Effects 0.000 claims abstract description 45
- 238000004458 analytical method Methods 0.000 claims abstract description 37
- 230000002452 interceptive effect Effects 0.000 claims abstract description 24
- 238000012544 monitoring process Methods 0.000 claims abstract description 22
- 230000000694 effects Effects 0.000 claims description 25
- 230000033001 locomotion Effects 0.000 claims description 12
- 230000003993 interaction Effects 0.000 claims description 11
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 230000002996 emotional effect Effects 0.000 claims description 7
- 230000037007 arousal Effects 0.000 claims description 6
- 230000003252 repetitive effect Effects 0.000 claims description 4
- 208000027534 Emotional disease Diseases 0.000 claims description 3
- 238000004080 punching Methods 0.000 claims description 3
- 239000003550 marker Substances 0.000 claims description 2
- 230000009286 beneficial effect Effects 0.000 abstract description 4
- 230000005856 abnormality Effects 0.000 description 4
- 238000000034 method Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 206010042008 Stereotypy Diseases 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 206010003805 Autism Diseases 0.000 description 1
- 208000020706 Autistic disease Diseases 0.000 description 1
- 206010062519 Poor quality sleep Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000004630 mental health Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
- G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
- G08B21/24—Reminder alarms, e.g. anti-loss alarms
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种问题行为检测与预警系统，包括视频监控模块、行人重识别模块、表情识别模块、行为识别模块、数据关联模块、情绪分析模块、人际关系分析模块和问题行为预警模块。通过行人重识别模块获取待检测对象身份信息与行为轨迹，通过身份信息将不同时期采取的数据加以关联；通过表情识别模块分析待检测对象的唤醒度和愉悦度；通过行为识别模块检测待检测对象的交互行为；通过行人重识别模块和行为识别模块检测待检测对象分别识别两类问题行为；根据行为轨迹、情绪和交互行为分析待检测对象的人际关系；通过问题行为预警向联系人报告有问题行为的待检测对象。本发明发展了多模态信号问题行为分析方法，有利于问题行为的早发现、早干预，可应用在幼儿园等儿童集中的场所中。
Description
技术领域
本发明属于教育与计算机视觉交叉技术领域，更具体地，涉及一种问题行为检测与预警系统。
背景技术
3-6岁儿童绝大多数时间在幼儿园里度过，在幼儿园的学习、玩耍等各项活动中，不同的儿童会有各种各样的行为表现，这其中包含一些问题行为。问题行为，指不能遵守公认的正常儿童行为规范和道德标准，不能正常与人交往和参与学习的行为。
由于幼儿园里儿童众多，并且一些问题行为较为隐蔽，导致当班的幼教老师不能及时发现所有问题行为。因此，利用计算机视觉技术，通过对监控视频的智能分析可以发现这些问题行为，可以缓解幼教老师的工作负担。同时，问题行为预警可以及早引起家长的重视。问题行为的及时发现、干预和矫正有利于儿童的身心健康发展。此外，一些患有自闭症的特殊儿童常伴有刻板行为，尽早发现这些异常行为有利于让特殊儿童及时就医改善症状。
现有的儿童问题行为分析系统往往只关注儿童的攻击行为而忽视了儿童的刻板行为；只关注行为本身，而忽视了运动轨迹所富含的重要信息；仅单一关注个体的行为和情绪，而忽视了交互过程中的行为和情绪，以及由此产生的人际关系异常。
发明内容
针对现有技术的至少一个缺陷或改进需求，本发明提供了一种问题行为检测与预警系统，发展了多模态信号儿童问题行为分析方法，有利于儿童问题行为的早发现、早干预，可应用在幼儿园等场所中。
为实现上述目的，本发明提供了一种问题行为检测与预警系统，包括：
视频监控模块，用于采集待检测对象活动的监控视频；
行人重识别模块，用于从监控视频中识别待检测对象身份并获取待检测对象活动轨迹，并从待检测对象活动轨迹中识别待检测对象第一类问题行为；
表情识别模块，用于从监控视频中识别待检测对象表情；
行为识别模块，用于从监控视频中识别待检测对象间的交互行为和第二类问题行为；
数据关联模块，用于将同一待检测对象的活动轨迹、表情和行为数据进行关联；
情绪分析模块，用于根据所述表情识别模块的输出分析待检测对象情绪；
人际关系分析模块，用于根据待检测对象活动轨迹、待检测对象间的交互行为以及待检测对象情绪来分析确定待检测对象人际关系；
问题行为预警模块，用于根据所述行人重识别模块、所述行为识别模块、所述情绪分析模块和所述人际关系分析模块的输出进行预警。
优选的，所述视频监控模块包括高清网络摄像头、计算机和交换机，所述高清网络摄像头通过网线与所述交换机电连接，所述交换机通过网线与所述计算机主机电连接，所述高清网络摄像头覆盖所有待检测对象活动场所。
优选的，所述行人重识别模块包括采用基于注意力的卷积神经网络训练的行人重识别模型，所述行人重识别模型用于识别不同视角下拍摄的同一待检测对象，所述第一类问题行为包括同一待检测对象重复相同活动轨迹的行为。
优选的，所述表情识别模块用于识别待检测对象表情的愉悦度和唤醒度。
优选的，所述行为识别模块包括采用卷积神经网络在大规模自然场景表情数据库上训练的表情识别模型，所述第二类问题行为包括踢、出拳、推、反复甩手行为、反复摇晃身体行为和打头自伤行为。
优选的，所述数据关联模块用于实现以下步骤：
为每个待检测对象分配一个独一无二的数值标记；
根据所述行人重识别模块输出的待检测对象身份，用该待检测对象身份对应的数值标记所有与该待检测对象身份关联的活动轨迹、表情和行为数据。
优选的，所述情绪分析模块用于实现以下步骤：
统计所有待检测对象在不同场所不同时间段内的表情分布均值；
检测远离表情分布均值的样本，远离表情分布均值的样本表明该样本对应的待检测对象在当前场所当前时段下未产生情绪共鸣，同一待检测对象在不同场所不同时段被检测到偏离的次数越多表明未融入集体情绪的概率越高；
统计每个待检测对象负面情绪所占的比例，负面情绪比例越高表明待检测对象存在情绪问题的可能性越大。
优选的，所述人际关系分析模块用于实现以下步骤：
构建人际关系图模型，图模型中每一个结点代表一个待检测对象，连接任意两个结点之间的边用一个权值表示该两个结点对应的两个待检测对象之间的人际关系；
用结点对应的待检测对象关联的活动轨迹、交互行为以及情绪作为特征表示结点；
按照预设赋值规则，根据结点特征预测边的权值；
统计指定结点连接的所有边的权值，根据权值统计情况判断指定待检测对象与其他待检测对象的人际关系。
优选的，将一条边连接的两个待检测对象标记为待检测对象A和待检测对象B，则所述预设赋值规则满足：
若任意时刻待检测对象A和待检测对象B都没有重叠轨迹，则为该边对应的权值赋值为0；
若待检测对象A和待检测对象B的重叠轨迹多于预设值，并且有正面情绪或正面交互行为，则为该边对应的权值赋值为正数；
若待检测对象A和待检测对象B的重叠轨迹多于预设值，并且有负面情绪或负面交互行为，则为该边对应的权值赋值为负数。
优选的，所述问题行为预警模块用于实现以下步骤：
分别设置第一类问题行为、第二类问题行为、情绪异常、人际关系异常和交互行为异常的预警阈值；
若某一类或多类数据大于设定的预警阈值时，查询该数据对应的待检测对象的电子档案中对应的联系人；
获取该数据相关的视频回放、发生频次和分析结果，并推送给对应联系人。
总体而言，本发明与现有技术相比，具有有益效果：
1.通过行人重识别技术，识别儿童的身份信息，有利于关联不同摄像头不同时期的儿童数据；同时，利用行人重识别技术记录运动轨迹能进一步用于第一类问题行为分析和人际关系分析，使得问题行为发现不在局限于行为数据和表情数据，还结合活动轨迹数据进行分析；
2.通过群体的情绪统计与个体的情绪进行比较，可以精准地发现无法融入群体情绪的儿童，有效补充了仅仅依靠个体情绪的负面性占比预判儿童存在情绪问题的片面性；
3.行为分析包含交互行为分析和问题行为分析，有机结合活动轨迹、情绪和行为三方面的数据预测儿童的人际关系，能更加全面地反映儿童可能存在的问题行为。
附图说明
图1是本发明实施例的一种问题行为检测与预警系统的原理示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
图1示出了本发明一个较佳实施例。问题行为检测与预警系统，包括：01视频监控模块、02行人重识别模块、03表情识别模块、04行为识别模块、05数据关联模块、06情绪分析模块、07人际关系分析模块和08问题行为预警模块。该系统可以适用于任何待检测对象的检测，以下以儿童检测为例。
01视频监控模块，用于采集儿童活动的监控视频。
所述视频监控模块，包括高清网络摄像头，计算机和交换机。高清网络摄像头通过网线与交换机连接，交换机通过网线与计算机主机连接。
进一步地，所述高清网络摄像头，用于采集儿童在幼儿园内活动的视频数据。它的部署应尽可能覆盖所有儿童活动区域，包括教室、走廊、户外活动区域等。且每个场所应部署多个高清网络摄像头，从不同的角度采集监控数据。
进一步地，所述计算机用于集中管理摄像头，预览、保存、回放监控视频。计算机应安装实施上述功能的软件，同时配备显示器、大容量存储硬盘和高性能图形处理器GPU。
02行人重识别模块，用于从监控视频中识别儿童身份并获取儿童活动轨迹，并从儿童活动轨迹中识别儿童第一类问题行为。
进一步地，所述行人重识别模块配置采用基于注意力的卷积神经网络训练的行人重识别模型，能够识别不同视角下拍摄的同一个体，因此，可以用于不同摄像头不同时段拍摄的同一儿童的身份识别；
进一步地，在连续视频序列中识别同一行人，可以记录他的运动轨迹，从这些运动轨迹中可以推断是否存在第一类问题行为。所述第一类问题行为定义为重复按照相同的轨迹运动；
进一步地，记录所有儿童的运动轨迹，当两条运动轨迹在同一时刻重叠时，即||Li-Lj||≤Ds，视为两个儿童存在人际交往。其中，Li和Lj分别表示同一时刻第i和第j个儿童的位置信息，Ds表示有效社交距离。优选的，实际场景中有效社交距离设为0.75米，根据三维场景重建对应设置图像中的像素距离Ds。
03表情识别模块，用于识别儿童表情，进一步地儿童表情具体包括愉悦度和唤醒度。愉悦度指情绪的愉悦程度，数值从低到高指示情绪从负向情绪到正性情绪的变化；唤醒度指情绪的唤醒程度，数值从低到高指示情绪从平静到兴奋的变化。
进一步地，表情识别的具体步骤为：
0301人脸检测，通过人脸检测算法定位人脸区域；
0302人脸归一化，通过特征点检测与对齐使人脸区域归一化；
优选的，人脸检测和人脸特征点检测可使用MTCNN算法，对特征点的图像坐标和模板坐标构建相似变换，利用这一变化对人脸区域进行相似变换得到归一化的人脸图像。
0303表情识别，通过表情识别算法训练的表情模型估计测试样本的表情类别。
进一步地，所述表情识别模块配置采用卷积神经网络在大规模自然场景表情数据库上训练的模型，用于识别儿童表情的愉悦度和唤醒度。
优选的，表情模型的训练可以采用公共数据集AffectNet，该数据提供了表情的唤醒度和愉悦度标注。卷积神经网络可采用ResNet18，该模型可在MS-Celeb-1M人脸识别数据集上进行预训练。
04行为识别模块，用于从监控视频中识别儿童间的交互行为和第二类问题行为。
进一步地，所述行为识别模块配置采用深度学习方法训练的行为识别模型，用于识别儿童的交互行为和第二类问题行为。
进一步地，所述交互行为包括握手、拥抱、踢、指、出拳和推；所述第二类问题行为包括踢、出拳、推、反复甩手行为、反复摇晃身体行为和打头自伤行为。交互行为包括负面交互行为和正面交互行为；负面交互行为是指具有相互攻击性的行为；正面交互行为是指友善和谐的交互行为。
优选的，交互行为识别模型的训练可在UT-Interaction和SBU公共数据集上训练得到，UT-Interaction包含6个交互动作类型，包括握手、拥抱、踢、指、出拳和推；SBU有8种交互类型动作，包括接近、离开、推、踢、打、交接、拥抱和握手。行为识别可采用3DCNN网络在数据集上训练得到。
05数据关联模块，用于将同一儿童的多模态数据进行关联。
进一步地，所述儿童多模态数据包括活动轨迹、情绪和行为。
关联的具体步骤为：
0501为每个儿童分配一个独一无二的数值标记k；
0502根据02模块输出的儿童身份信息，用0501定义的数值标记所有关联数据，包括该儿童的活动轨迹数据、表情数据、行为数据。即不同摄像头、不同时段识别的同一儿童的所有数据均有相同的数值标记，从而使同一儿童的数据相互关联。
06情绪分析模块，用于根据表情识别模块的输出分析儿童情绪。
进一步地，情绪分析包括以下具体步骤：
0601统计所有儿童在不同场所不同时间段内的表情愉悦度和表情唤醒度的分布，并计算分布的均值；
0602检测远离分布均值的样本，远离分布均值的样本表明该样本对应的儿童在当前场所当前时段下未产生情绪共鸣，不同场所不同时段被检测到偏离的次数越多表明未融入集体情绪的概率越高；
0603统计每个儿童负面情绪所占的比例，负面情绪比例越高表明儿童存在情绪问题的可能性越大。
07人际关系分析模块，根据儿童活动轨迹、儿童间的交互行为以及儿童情绪来分析确定儿童人际关系，具体是根据儿童的活动轨迹以及同一时刻重叠活动轨迹下的情绪和交互行为估计两个儿童间的人际关系。
进一步地，所述行为轨迹数据由02模块提供，情绪数据由06模块提供，交互行为数据由04模块提供；
进一步地，人际关系分析包括以下具体步骤：
0701构建人际关系图模型，对可能有交互的所有儿童(例如同班所有儿童)构建人际关系图，图中每一个结点代表一个儿童，连接任意两个结点之间的边用一个权值表示该两个结点对应的两个儿童之间的人际关系；
0702结点特征表示，用一系列与人际关系相关因素作为特征表示结点，所述相关因素包括，活动轨迹以及活动轨迹重叠时的情绪状态和行为；
0703根按照预设赋值规则，根据结点特征预测边的权值。
具体的，将一条边连接的两个儿童标记为儿童A和儿童B，预设赋值规则满足：若儿童A和儿童B任意时刻都没有重叠轨迹，即任意时刻儿童A的位置和儿童B的位置距离均大于有效社交距离，则为该边对应的权值赋值为0；若儿童A和儿童B的重叠轨迹多于预设值，并且有正面情绪或正面交互行为，则为该边对应的权值赋值为正数，并且该数值越大代表人际关系越好；若儿童A和儿童B的重叠轨迹多于预设值，并且有负面情绪或负面交互行为，则为该边对应的权值赋值为负数，并且该数值越小代表人际关系越差。
0704统计指定结点连接的所有边的权值，根据权值统计情况判断指定儿童与其他儿童的人际关系。
0705重复0704，统计所有儿童的人际关系状况。
08问题行为预警模块，用于根据行人重识别模块、行为识别模块、情绪分析模块和人际关系分析模块的输出进行预警，可以向幼教老师及家长报告有问题行为的儿童。
进一步地，问题行为预警包括以下具体步骤：
0801分别设置第一类问题行为、第二类问题行为、情绪异常、人际关系异常和交互行为异常的预警阈值；
0802当某一类或多类问题行为大于设定的预警阈值时，查询该数据对应的儿童的电子档案中对应的联系人，例如带班教师和家长的微信联系方式；
0803将相关问题行为的相关的视频回放、发生频次和相关分析结果推送给对应联系人。
必须说明的是，上述任一实施例中，方法并不必然按照序号顺序依次执行，只要从执行逻辑中不能推定必然按某一顺序执行，则意味着可以以其他任何可能的顺序执行。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种问题行为检测与预警系统，其特征在于，包括：
视频监控模块，用于采集待检测对象活动的监控视频；
行人重识别模块，用于从监控视频中识别待检测对象身份并获取待检测对象活动轨迹，并从待检测对象活动轨迹中识别待检测对象第一类问题行为；
表情识别模块，用于从监控视频中识别待检测对象表情；
行为识别模块，用于从监控视频中识别待检测对象间的交互行为和第二类问题行为；
数据关联模块，用于将同一待检测对象的活动轨迹、表情和行为数据进行关联；
情绪分析模块，用于根据所述表情识别模块的输出分析待检测对象情绪；
人际关系分析模块，用于根据待检测对象活动轨迹、待检测对象间的交互行为以及待检测对象情绪来分析确定待检测对象人际关系；
问题行为预警模块，用于根据所述行人重识别模块、所述行为识别模块、所述情绪分析模块和所述人际关系分析模块的输出进行预警。
2.如权利要求1所述的一种问题行为检测与预警系统，其特征在于，所述视频监控模块包括高清网络摄像头、计算机和交换机，所述高清网络摄像头通过网线与所述交换机电连接，所述交换机通过网线与所述计算机主机电连接，所述高清网络摄像头覆盖所有待检测对象活动场所。
3.如权利要求1所述的一种问题行为检测与预警系统，其特征在于，所述行人重识别模块包括采用基于注意力的卷积神经网络训练的行人重识别模型，所述行人重识别模型用于识别不同视角下拍摄的同一待检测对象，所述第一类问题行为包括同一待检测对象重复相同活动轨迹的行为。
4.如权利要求1所述的一种问题行为检测与预警系统，其特征在于，所述表情识别模块用于识别待检测对象表情的愉悦度和唤醒度。
5.如权利要求1所述的一种问题行为检测与预警系统，其特征在于，所述行为识别模块包括采用卷积神经网络在大规模自然场景表情数据库上训练的表情识别模型，所述第二类问题行为包括踢、出拳、推、反复甩手行为、反复摇晃身体行为和打头自伤行为。
6.如权利要求1所述的一种问题行为检测与预警系统，其特征在于，所述数据关联模块用于实现以下步骤：
为每个待检测对象分配一个独一无二的数值标记；
根据所述行人重识别模块输出的待检测对象身份，用该待检测对象身份对应的数值标记所有与该待检测对象身份关联的活动轨迹、表情和行为数据。
7.如权利要求1所述的一种问题行为检测与预警系统，其特征在于，所述情绪分析模块用于实现以下步骤：
统计所有待检测对象在不同场所不同时间段内的表情分布均值；
检测远离表情分布均值的样本，远离表情分布均值的样本表明该样本对应的待检测对象在当前场所当前时段下未产生情绪共鸣，同一待检测对象在不同场所不同时段被检测到偏离的次数越多表明未融入集体情绪的概率越高；
统计每个待检测对象负面情绪所占的比例，负面情绪比例越高表明待检测对象存在情绪问题的可能性越大。
8.如权利要求1所述的一种问题行为检测与预警系统，其特征在于，所述人际关系分析模块用于实现以下步骤：
构建人际关系图模型，图模型中每一个结点代表一个待检测对象，连接任意两个结点之间的边用一个权值表示该两个结点对应的两个待检测对象之间的人际关系；
用结点对应的待检测对象关联的活动轨迹、交互行为以及情绪作为特征表示结点；
按照预设赋值规则，根据结点特征预测边的权值；
统计指定结点连接的所有边的权值，根据权值统计情况判断指定待检测对象与其他待检测对象的人际关系。
9.如权利要求8所述的一种问题行为检测与预警系统，其特征在于，将一条边连接的两个待检测对象标记为待检测对象A和待检测对象B，则所述预设赋值规则满足：
若任意时刻待检测对象A和待检测对象B都没有重叠轨迹，则为该边对应的权值赋值为0；
若待检测对象A和待检测对象B的重叠轨迹多于预设值，并且有正面情绪或正面交互行为，则为该边对应的权值赋值为正数；
若待检测对象A和待检测对象B的重叠轨迹多于预设值，并且有负面情绪或负面交互行为，则为该边对应的权值赋值为负数。
10.如权利要求1所述的一种问题行为检测与预警系统，其特征在于，所述问题行为预警模块用于实现以下步骤：
分别设置第一类问题行为、第二类问题行为、情绪异常、人际关系异常和交互行为异常的预警阈值；
若某一类或多类数据大于设定的预警阈值时，查询该数据对应的待检测对象的电子档案中对应的联系人；
获取该数据相关的视频回放、发生频次和分析结果，并推送给对应联系人。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111144337.6A CN113869415B (zh) | 2021-09-28 | 一种问题行为检测与预警系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111144337.6A CN113869415B (zh) | 2021-09-28 | 一种问题行为检测与预警系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113869415A true CN113869415A (zh) | 2021-12-31 |
| CN113869415B CN113869415B (zh) | 2024-09-27 |
Family
ID=
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115588239A (zh) * | 2022-11-22 | 2023-01-10 | 浙江莲荷科技有限公司 | 交互行为识别方法、装置、设备及存储介质 |
| WO2023137995A1 (zh) * | 2022-01-24 | 2023-07-27 | 中国第一汽车股份有限公司 | 一种用于车身防刮防盗的监控方法、车身控制器及车辆 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120137367A1 (en) * | 2009-11-06 | 2012-05-31 | Cataphora, Inc. | Continuous anomaly detection based on behavior modeling and heterogeneous information analysis |
| CN102523370A (zh) * | 2011-11-22 | 2012-06-27 | 上海交通大学 | 基于网络传输算法的多摄像头视频异常行为检测方法 |
| CN112685272A (zh) * | 2020-12-29 | 2021-04-20 | 中国科学院信息工程研究所 | 一种具备可解释性的用户行为异常检测方法 |
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120137367A1 (en) * | 2009-11-06 | 2012-05-31 | Cataphora, Inc. | Continuous anomaly detection based on behavior modeling and heterogeneous information analysis |
| CN102523370A (zh) * | 2011-11-22 | 2012-06-27 | 上海交通大学 | 基于网络传输算法的多摄像头视频异常行为检测方法 |
| CN112685272A (zh) * | 2020-12-29 | 2021-04-20 | 中国科学院信息工程研究所 | 一种具备可解释性的用户行为异常检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 金桃: "基于机器学习的流动儿童问题行为的预测研究", 《硕士电子期刊》, 30 November 2021 (2021-11-30) * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023137995A1 (zh) * | 2022-01-24 | 2023-07-27 | 中国第一汽车股份有限公司 | 一种用于车身防刮防盗的监控方法、车身控制器及车辆 |
| CN115588239A (zh) * | 2022-11-22 | 2023-01-10 | 浙江莲荷科技有限公司 | 交互行为识别方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Jalal et al. | Students’ behavior mining in e-learning environment using cognitive processes with information technologies | |
| Shao et al. | Learning scene-independent group descriptors for crowd understanding | |
| Yu et al. | A posture recognition-based fall detection system for monitoring an elderly person in a smart home environment | |
| Fu et al. | Automatic fight detection in surveillance videos | |
| Vankipuram et al. | Toward automated workflow analysis and visualization in clinical environments | |
| EP2889805A2 (en) | Method and system for emotion and behavior recognition | |
| CN111325115A (zh) | 带有三重约束损失的对抗跨模态行人重识别方法和系统 | |
| CN110349674A (zh) | 基于不当行为观测分析的孤独症谱系障碍评估装置及系统 | |
| Avola et al. | Deep temporal analysis for non-acted body affect recognition | |
| CN112699785B (zh) | 基于维度情感模型的群体情感识别与异常情感检测方法 | |
| Cai et al. | GBDT‐Based Fall Detection with Comprehensive Data from Posture Sensor and Human Skeleton Extraction | |
| Yu et al. | Children tantrum behaviour analysis based on Kinect sensor | |
| US20240050006A1 (en) | System and method for prediction and control of attention deficit hyperactivity (adhd) disorders | |
| Tran et al. | Phase segmentation methods for an automatic surgical workflow analysis | |
| CN112635045A (zh) | 一种智能监护系统 | |
| CN116311497A (zh) | 一种基于机器视觉的隧道工人异常行为检测方法及系统 | |
| Haq et al. | Implementation of smart social distancing for COVID-19 based on deep learning algorithm | |
| Kielty et al. | Neuromorphic sensing for yawn detection in driver drowsiness | |
| Hendryli et al. | Classifying abnormal activities in exam using multi-class Markov chain LDA based on MODEC features | |
| Beriwal et al. | Techniques for suicidal ideation prediction: a qualitative systematic review | |
| CN113869415A (zh) | 一种问题行为检测与预警系统 | |
| Liu et al. | Extraversion measure for crowd trajectories | |
| Huang et al. | Research on learning state based on students’ attitude and emotion in class learning | |
| İnkaya et al. | A YOLOv3-Based Smart City Application For Children’s Playgrounds | |
| Mudannayake et al. | Model development for child developmental milestone assessment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |