CN114724078A - 基于目标检测网络与知识推理的人员行为意图识别方法 - Google Patents

基于目标检测网络与知识推理的人员行为意图识别方法 Download PDF

Info

Publication number
CN114724078A
CN114724078A CN202210316396.5A CN202210316396A CN114724078A CN 114724078 A CN114724078 A CN 114724078A CN 202210316396 A CN202210316396 A CN 202210316396A CN 114724078 A CN114724078 A CN 114724078A
Authority
CN
China
Prior art keywords
scene
distance
wrist
elbow
entity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210316396.5A
Other languages
English (en)
Other versions
CN114724078B (zh
Inventor
苟先太
程丽红
蒋晓凤
曾开心
魏峰
顾凡
周晨晨
苟瀚文
姚一可
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Bawei Jiuzhang Technology Co ltd
Original Assignee
Sichuan Bawei Jiuzhang Technology Co ltd
Southwest Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Bawei Jiuzhang Technology Co ltd, Southwest Jiaotong University filed Critical Sichuan Bawei Jiuzhang Technology Co ltd
Priority to CN202210316396.5A priority Critical patent/CN114724078B/zh
Publication of CN114724078A publication Critical patent/CN114724078A/zh
Application granted granted Critical
Publication of CN114724078B publication Critical patent/CN114724078B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于目标检测网络与知识推理的人员行为意图识别方法，将知识图谱和知识推理技术应用到人员行为意图识别中，通过知识推理挖掘场景图像中的隐含信息，进而获取人员的行为意图，利用人体关键点检测模型对人体特征信息参量进行分析计算，获得推理人员行为意图的条件。本发明可以对老人行为意图和需求做出判断，了解老人是否做到其想做的事，进一步还可以统计老人一天所做之事，便于对老人的行动或其他方面进行针对性关照。

Description

基于目标检测网络与知识推理的人员行为意图识别方法
技术领域
本发明涉及图像识别与场景理解领域，具体涉及一种基于目标检测网络与知识推理的人员行为意图识别方法。
背景技术
随着人口老龄化问题的日益严重，独居老人的监护问题受到越来越多的社会关注。在智慧养老研究领域，对独居老人的行为意图识别是目前独居老人监护问题的重点。
目前对独居老人的行为意图识别主要实现了对老人的行为识别，如行走、摔倒和坐等行为。主要有两种方法：一是通过穿戴式传感器实时采集人体活动的行为数据，将数据回传后再进行特征提取和分类识别，该方法存在穿戴式设备造成体感舒适度低、设备易损坏等问题；二是基于深度学习和视频监控，通过摄像头实时采集视频数据进行目标检测，该方法准确率高，且被监护人员不需要佩戴任何传感器设备。这些方法都实现了对独居老人的行为识别，但不能对老人行为意图和需求做出判断，也就无法了解老人是否做到其想做的事，也无法统计老人一天所做之事，难以对老人进行行动或其他方面的针对性关照。
发明内容
针对现有技术中的上述不足，本发明提供的基于目标检测网络与知识推理的人员行为意图识别方法可以对老人的行为进行识别，便于针对性关照。
为了达到上述发明目的，本发明采用的技术方案为：
提供一种基于目标检测网络与知识推理的人员行为意图识别方法，其包括以下步骤：
S1、以三元组的形式构建面向人员生活场景的知识图谱；
S2、采集视频数据并进行预处理，得到预处理后的数据；
S3、将预处理后的数据输入至目标检测模型，获取预处理后的数据中的各类实体；各类实体包括人体和物体；
S4、根据人体和物体的位置区域特征构建关系特征，根据关系特征采用高斯混合模型得出物体与人体的位置关系；其中位置关系包括“在手中”、“从属关系”和“距离小于阈值”；
S5、将物体、人体和对应的位置关系构成三元组，将三元组输入知识图谱，得到初步确定的场景；
S6、通过人体关键点检测模型获取预处理后的数据中人体关键点特征信息；
S7、基于人体关键点特征信息对初步确定的场景进行推理，输出符合人体关键点特征信息的场景，并将输出的场景作为人员行为意图。
进一步地，步骤S1的具体方法为：
以“人-物-行为”构建三元组，以三元组为核心进行本体建模，搭建面向人员的生活场景的图谱基础架构；定义面向人员生活场景的物体概念，选取物体的视觉属性概念，明确物体间的相对位置关系，通过常识、场景图像和/或常用语义对图谱基础架构进行对象信息扩展，得到面向人员生活场景的知识图谱。
进一步地，步骤S2中预处理的具体方法为：
将视频数据处理成帧图像，并对帧图像进行去噪和压缩。
进一步地，步骤S3的具体方法为：
采用Mask R-CNN模型作为目标检测模型，将预处理后的数据输入至Mask R-CNN模型中，获取Mask R-CNN模型输出的各类实体。
进一步地，步骤S4的具体方法包括以下子步骤：
S4-1、获取实体λi的区域坐标(xi,yi)、宽度wi和高度hi，采用公式：
Figure BDA0003569126000000031
构建实体λi与人手λj的关系特征f(λi,λj)；其中areai表示实体λi的面积；(xj,yj)、wj、hj和areaj分别为人手λj的区域坐标、宽度、高度和面积；实体包括水杯、书本、手机、烟、笔、筷子、菜刀、饭碗、扫帚、拖把、跳绳和牙刷；
S4-2、将关系特征f(λi,λj)输入高斯混合模型，获取实体λi与人手λj之间条件概率值最大的位置关系，并将其作为物体与人体的位置关系。
进一步地，步骤S4-2的具体方法包括以下子步骤：
S4-2-1、初始化高斯混合模型参数；
S4-2-2、基于当前参数，根据公式：
Figure BDA0003569126000000032
计算观测数据n来自子模型k的概率γjk；其中N表示观测数据的总数；K表示高斯混合模型中子模型的总数；αk为观测数据属于子模型k的概率；φ(xn|θk)为子模型k的高斯分布密度函数，
Figure BDA0003569126000000033
μk为子模型的数据期望，σk为子模型的数据方差；xn表示观测数据n；
S4-2-3、根据公式：
Figure BDA0003569126000000034
Figure BDA0003569126000000035
Figure BDA0003569126000000041
更新参数μk、αk和∑k；其中(·)T表示转置；
S4-2-4、判断当前参数μk、αk和∑k是否均收敛，若是则进入步骤S4-2-5；否则返回步骤S4-2-2；
S4-2-5、根据公式：
Figure BDA0003569126000000042
获取实体λi与实体λj的关系特征f(λi,λj)的概率分布，并得到概率值最大的位置关系。
进一步地，步骤S6中人体关键点特征信息包括：
人体关键点及其对应的坐标数据，人体关键点包括：鼻子、脖子、右肩、右肘、右腕、左肩、左肘、左腕、右腰、右膝、右脚踝、左腰、左膝、左脚踝、右眼、左眼、右耳和左耳。
进一步地，步骤S7的具体方法包括以下子步骤：
S7-1、通过人体关键点的坐标数据和实体的位置获取实体处于人体的左侧或右侧，若处于人体左侧，则采用鼻子、左肩、左肘、左腕、左腰和左耳进行步骤S7-2和步骤S7-3的操作；若处于人体右侧，则采用鼻子、右肩、右肘、右腕、右腰和右耳进行步骤S7-2和步骤S7-3的操作；
S7-2、分别计算手肘的弯曲角度ang、手腕到鼻子的距离S1、手肘到手腕的距离S2、眼睛到手腕的距离S3、肩到腰的距离S4、手腕到耳朵的距离S5和肩到手腕的距离S6；其中手肘的弯曲角度为手肘到手腕与手肘到肩之间形成的夹角；
S7-3、若实体为水杯，且手肘的弯曲角度小于90°、手腕到鼻子的距离小于手肘到手腕的距离，则推理出人在喝水的场景，将该场景作为人员行为意图；
若实体为书本，且手肘的弯曲角度小于90°、眼睛到手腕的距离小于肩到腰的距离，则推理出人在看书的场景，将该场景作为人员行为意图；
若实体为手机，且手肘的弯曲角度小于90°、手腕到耳朵的距离小于手肘到手腕的距离，则推理出人在打电话的场景；
若实体为手机，且手肘的弯曲角度小于90°、眼睛到手腕的距离小于肩到腰的距离，则推理出人在玩手机的场景；
若实体为烟，且手肘的弯曲角度小于90°、手腕到鼻子的距离小于手肘到手腕的距离，则推理出人在抽烟的场景，将该场景作为人员行为意图；
若实体为笔，且手肘的弯曲角度小于90°、眼睛到手腕的距离小于肩到腰的距离，则推理出人在写字的场景，将该场景作为人员行为意图；
若实体为筷子，且手肘的弯曲角度小于90°、手腕到鼻子的距离小于手肘到手腕的距离，则推理出人在吃饭的场景，将该场景作为人员行为意图；
若实体为菜刀，且手肘的弯曲角度小于90°、眼睛到手腕的距离小于肩到腰的距离，则推理出人在切菜的场景，将该场景作为人员行为意图；
若实体为饭碗，且手肘的弯曲角度大于90°、眼睛到手腕的距离大于肩到腰的距离，则推理出人在洗碗的场景，将该场景作为人员行为意图；
若实体为扫帚，且手肘的弯曲角度大于90°、眼睛到手腕的距离大于肩到腰的距离，则推理出人在扫地的场景，将该场景作为人员行为意图；
若实体为拖把，且手肘的弯曲角度大于90°、眼睛到手腕的距离大于肩到腰的距离，则推理出人在拖地的场景，将该场景作为人员行为意图；
若实体为跳绳，且手肘的弯曲角度小于90°、肩到手腕的距离大于肩到腰的距离，则推理出人在跳绳的场景，将该场景作为人员行为意图；
若实体为牙刷，且手肘的弯曲角度小于90°、手腕到鼻子的距离小于手肘到手腕的距离的一半，则推理出人在刷牙的场景，将该场景作为人员行为意图。
本发明的有益效果为：
1、将知识图谱和知识推理技术应用到人员行为意图识别中，通过知识推理挖掘场景图像中的隐含信息，进而获取人员的行为意图，利用人体关键点检测模型对人体特征信息参量进行分析计算，获得推理人员行为意图的条件。本发明可以对老人行为意图和需求做出判断，了解老人是否做到其想做的事，进一步还可以统计老人一天所做之事，便于对老人的行动或其他方面进行针对性关照。
2、在2D图像中，其坐标数据反映的是坐标在图像像素中的值，而不是现实中真实的数据，所以本发明将图像中的像素距离和角度比较作为判断条件，可以相比以往将现实的数据按比例映射到图像中获得的结论更加准确。
附图说明
图1为本方法的流程示意图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
如图1所示，该基于目标检测网络与知识推理的人员行为意图识别方法包括以下步骤：
S1、以三元组的形式构建面向人员生活场景的知识图谱；
S2、采集视频数据并进行预处理，得到预处理后的数据；
S3、将预处理后的数据输入至目标检测模型，获取预处理后的数据中的各类实体；各类实体包括人体和物体；
S4、根据人体和物体的位置区域特征构建关系特征，根据关系特征采用高斯混合模型得出物体与人体的位置关系；其中位置关系包括“在手中”、“从属关系”和“距离小于阈值”；
S5、将物体、人体和对应的位置关系构成三元组，将三元组输入知识图谱，得到初步确定的场景；
S6、通过人体关键点检测模型获取预处理后的数据中人体关键点特征信息；
S7、基于人体关键点特征信息对初步确定的场景进行推理，输出符合人体关键点特征信息的场景，并将输出的场景作为人员行为意图。
步骤S1的具体方法为：以“人-物-行为”构建三元组，以三元组为核心进行本体建模，搭建面向人员的生活场景的图谱基础架构；定义面向人员生活场景的物体概念，选取物体的视觉属性概念，明确物体间的相对位置关系，通过常识、场景图像和/或常用语义对图谱基础架构进行对象信息扩展，得到面向人员生活场景的知识图谱。
步骤S2中预处理的具体方法为：将视频数据处理成帧图像，并对帧图像进行去噪和压缩。
步骤S3的具体方法为：采用Mask R-CNN模型作为目标检测模型，将预处理后的数据输入至Mask R-CNN模型中，获取Mask R-CNN模型输出的各类实体。
步骤S4的具体方法包括以下子步骤：
S4-1、获取实体λi的区域坐标(xi,yi)、宽度wi和高度hi，采用公式：
Figure BDA0003569126000000081
构建实体λi与人手λj的关系特征f(λi,λj)；其中areai表示实体λi的面积；(xj,yj)、wj、hj和areaj分别为人手λj的区域坐标、宽度、高度和面积；实体包括水杯、书本、手机、烟、笔、筷子、菜刀、饭碗、扫帚、拖把、跳绳和牙刷；
S4-2、将关系特征f(λi,λj)输入高斯混合模型，获取实体λi与人手λj之间条件概率值最大的位置关系，并将其作为物体与人体的位置关系。
步骤S4-2的具体方法包括以下子步骤：
S4-2-1、初始化高斯混合模型参数；
S4-2-2、基于当前参数，根据公式：
Figure BDA0003569126000000082
计算观测数据n来自子模型k的概率γjk；其中N表示观测数据的总数；K表示高斯混合模型中子模型的总数；αk为观测数据属于子模型k的概率；φ(xn|θk)为子模型k的高斯分布密度函数，
Figure BDA0003569126000000083
μk为子模型的数据期望，σk为子模型的数据方差；xn表示观测数据n；
S4-2-3、根据公式：
Figure BDA0003569126000000084
Figure BDA0003569126000000085
Figure BDA0003569126000000091
更新参数μk、αk和∑k；其中(·)T表示转置；
S4-2-4、判断当前参数μk、αk和∑k是否均收敛，若是则进入步骤S4-2-5；否则返回步骤S4-2-2；
S4-2-5、根据公式：
Figure BDA0003569126000000092
获取实体λi与实体λj的关系特征f(λi,λj)的概率分布，并得到概率值最大的位置关系。
步骤S6中人体关键点特征信息包括：人体关键点及其对应的坐标数据，人体关键点包括：鼻子、脖子、右肩、右肘、右腕、左肩、左肘、左腕、右腰、右膝、右脚踝、左腰、左膝、左脚踝、右眼、左眼、右耳和左耳。
步骤S7的具体方法包括以下子步骤：
S7-1、根据公式：
Figure BDA0003569126000000093
Figure BDA0003569126000000094
获取实体i的位置(xi,yi)与人体左半边的关键点的距离dis_sum_l和实体i的位置(xi,yi)与人体右半边的关键点的距离dis_sum_r；若dis_sum_l大于dis_sum_r，则表示实体i位于人体右侧，反之位于人体左侧；若处于人体左侧，则采用鼻子、左肩、左肘、左腕、左腰和左耳进行步骤S7-2和步骤S7-3的操作；若处于人体右侧，则采用鼻子、右肩、右肘、右腕、右腰右耳进行步骤S7-2和步骤S7-3的操作；其中(prjx,prjy)表示人体右半边的关键点的坐标，人体右半边的关键点为10个，分别是鼻子、脖子、右肩、右肘、右腕、右腰、右膝、右脚踝、右眼和右耳；(pljx,pljy)表示人体左半边的关键点的坐标，人体左半边的关键点为10个，分别是鼻子、脖子、左肩、左肘、左腕、左腰、左膝、左脚踝、左眼和左耳；
S7-2、分别计算手肘的弯曲角度ang、手腕到鼻子的距离S1、手肘到手腕的距离S2、眼睛到手腕的距离S3、肩到腰的距离S4、手腕到耳朵的距离S5和肩到手腕的距离S6；其中手肘的弯曲角度为手肘到手腕与手肘到肩之间形成的夹角；
S7-3、若实体为水杯，且手肘的弯曲角度小于90°、手腕到鼻子的距离小于手肘到手腕的距离，则推理出人在喝水的场景，将该场景作为人员行为意图；
若实体为书本，且手肘的弯曲角度小于90°、眼睛到手腕的距离小于肩到腰的距离，则推理出人在看书的场景，将该场景作为人员行为意图；
若实体为手机，且手肘的弯曲角度小于90°、手腕到耳朵的距离小于手肘到手腕的距离，则推理出人在打电话的场景；
若实体为手机，且手肘的弯曲角度小于90°、眼睛到手腕的距离小于肩到腰的距离，则推理出人在玩手机的场景；
若实体为烟，且手肘的弯曲角度小于90°、手腕到鼻子的距离小于手肘到手腕的距离，则推理出人在抽烟的场景，将该场景作为人员行为意图；
若实体为笔，且手肘的弯曲角度小于90°、眼睛到手腕的距离小于肩到腰的距离，则推理出人在写字的场景，将该场景作为人员行为意图；
若实体为筷子，且手肘的弯曲角度小于90°、手腕到鼻子的距离小于手肘到手腕的距离，则推理出人在吃饭的场景，将该场景作为人员行为意图；
若实体为菜刀，且手肘的弯曲角度小于90°、眼睛到手腕的距离小于肩到腰的距离，则推理出人在切菜的场景，将该场景作为人员行为意图；
若实体为饭碗，且手肘的弯曲角度大于90°、眼睛到手腕的距离大于肩到腰的距离，则推理出人在洗碗的场景，将该场景作为人员行为意图；
若实体为扫帚，且手肘的弯曲角度大于90°、眼睛到手腕的距离大于肩到腰的距离，则推理出人在扫地的场景，将该场景作为人员行为意图；
若实体为拖把，且手肘的弯曲角度大于90°、眼睛到手腕的距离大于肩到腰的距离，则推理出人在拖地的场景，将该场景作为人员行为意图；
若实体为跳绳，且手肘的弯曲角度小于90°、肩到手腕的距离大于肩到腰的距离，则推理出人在跳绳的场景，将该场景作为人员行为意图；
若实体为牙刷，且手肘的弯曲角度小于90°、手腕到鼻子的距离小于手肘到手腕的距离的一半，则推理出人在刷牙的场景，将该场景作为人员行为意图。
在本发明的一个实施例中，针对特定的独居老人生活场景的知识图谱，定义知识推理的规则如下：
规则1：<(res,in,hand)；(people,has,hand)；推出(res,near,people)>；
规则2：<(res,near,people)；(action,use,res)；OpenPose condition推出(people,is,action)>。
其中，res指场景图像中的物体，此时若某物体在手中，则推出该物体靠近人。OpenPose condition是指根据人体关键点计算的特征信息参量判断结果获得的推理条件，规则2是在满足规则1的前提下，结合知识图谱中的其他知识，推出人具有某行为意图。定义好规则后，根据目标检测的结果搜索的关联知识作为先验知识，调用推理机进行前向推理，若符合规则便推出结论并在知识图谱中补全，最后输出推理出的人员行为意图结果。

Claims (8)

1.一种基于目标检测网络与知识推理的人员行为意图识别方法，其特征在于，包括以下步骤：
S1、以三元组的形式构建面向人员生活场景的知识图谱；
S2、采集视频数据并进行预处理，得到预处理后的数据；
S3、将预处理后的数据输入至目标检测模型，获取预处理后的数据中的各类实体；各类实体包括人体和物体；
S4、根据人体和物体的位置区域特征构建关系特征，根据关系特征采用高斯混合模型得出物体与人体的位置关系；其中位置关系包括“在手中”、“从属关系”和“距离小于阈值”；
S5、将物体、人体和对应的位置关系构成三元组，将三元组输入知识图谱，得到初步确定的场景；
S6、通过人体关键点检测模型获取预处理后的数据中人体关键点特征信息；
S7、基于人体关键点特征信息对初步确定的场景进行推理，输出符合人体关键点特征信息的场景，并将输出的场景作为人员行为意图。
2.根据权利要求1所述的基于目标检测网络与知识推理的人员行为意图识别方法，其特征在于，步骤S1的具体方法为：
以“人-物-行为”构建三元组，以三元组为核心进行本体建模，搭建面向人员的生活场景的图谱基础架构；定义面向人员生活场景的物体概念，选取物体的视觉属性概念，明确物体间的相对位置关系，通过常识、场景图像和/或常用语义对图谱基础架构进行对象信息扩展，得到面向人员生活场景的知识图谱。
3.根据权利要求1所述的基于目标检测网络与知识推理的人员行为意图识别方法，其特征在于，步骤S2中预处理的具体方法为：
将视频数据处理成帧图像，并对帧图像进行去噪和压缩。
4.根据权利要求1所述的基于目标检测网络与知识推理的人员行为意图识别方法，其特征在于，步骤S3的具体方法为：
采用Mask R-CNN模型作为目标检测模型，将预处理后的数据输入至Mask R-CNN模型中，获取Mask R-CNN模型输出的各类实体。
5.根据权利要求1所述的基于目标检测网络与知识推理的人员行为意图识别方法，其特征在于，步骤S4的具体方法包括以下子步骤：
S4-1、获取实体λi的区域坐标(xi,yi)、宽度wi和高度hi，采用公式：
Figure FDA0003569125990000021
构建实体λi与人手λj的关系特征f(λi,λj)；其中areai表示实体λi的面积；(xj,yj)、wj、hj和areaj分别为人手λj的区域坐标、宽度、高度和面积；实体包括水杯、书本、手机、烟、笔、筷子、菜刀、饭碗、扫帚、拖把、跳绳和牙刷；
S4-2、将关系特征f(λi,λj)输入高斯混合模型，获取实体λi与人手λj之间条件概率值最大的位置关系，并将其作为物体与人体的位置关系。
6.根据权利要求5所述的基于目标检测网络与知识推理的人员行为意图识别方法，其特征在于，步骤S4-2的具体方法包括以下子步骤：
S4-2-1、初始化高斯混合模型参数；
S4-2-2、基于当前参数，根据公式：
Figure FDA0003569125990000022
计算观测数据n来自子模型k的概率γjk；其中N表示观测数据的总数；K表示高斯混合模型中子模型的总数；αk为观测数据属于子模型k的概率；φ(xn|θk)为子模型k的高斯分布密度函数，
Figure FDA0003569125990000023
μk为子模型的数据期望，σk为子模型的数据方差；xn表示观测数据n；
S4-2-3、根据公式：
Figure FDA0003569125990000031
Figure FDA0003569125990000032
Figure FDA0003569125990000033
更新参数μk、αk和∑k；其中(·)T表示转置；
S4-2-4、判断当前参数μk、αk和∑k是否均收敛，若是则进入步骤S4-2-5；否则返回步骤S4-2-2；
S4-2-5、根据公式：
Figure FDA0003569125990000034
获取实体λi与实体λj的关系特征f(λi,λj)的概率分布，并得到概率值最大的位置关系。
7.根据权利要求5所述的基于目标检测网络与知识推理的人员行为意图识别方法，其特征在于，步骤S6中人体关键点特征信息包括：
人体关键点及其对应的坐标数据，人体关键点包括：鼻子、脖子、右肩、右肘、右腕、左肩、左肘、左腕、右腰、右膝、右脚踝、左腰、左膝、左脚踝、右眼、左眼、右耳和左耳。
8.根据权利要求7所述的基于目标检测网络与知识推理的人员行为意图识别方法，其特征在于，步骤S7的具体方法包括以下子步骤：
S7-1、通过人体关键点的坐标数据和实体的位置获取实体处于人体的左侧或右侧，若处于人体左侧，则采用鼻子、左肩、左肘、左腕、左腰和左耳进行步骤S7-2和步骤S7-3的操作；若处于人体右侧，则采用鼻子、右肩、右肘、右腕、右腰和右耳进行步骤S7-2和步骤S7-3的操作；
S7-2、分别计算手肘的弯曲角度ang、手腕到鼻子的距离S1、手肘到手腕的距离S2、眼睛到手腕的距离S3、肩到腰的距离S4、手腕到耳朵的距离S5和肩到手腕的距离S6；其中手肘的弯曲角度为手肘到手腕与手肘到肩之间形成的夹角；
S7-3、若实体为水杯，且手肘的弯曲角度小于90°、手腕到鼻子的距离小于手肘到手腕的距离，则推理出人在喝水的场景，将该场景作为人员行为意图；
若实体为书本，且手肘的弯曲角度小于90°、眼睛到手腕的距离小于肩到腰的距离，则推理出人在看书的场景，将该场景作为人员行为意图；
若实体为手机，且手肘的弯曲角度小于90°、手腕到耳朵的距离小于手肘到手腕的距离，则推理出人在打电话的场景；
若实体为手机，且手肘的弯曲角度小于90°、眼睛到手腕的距离小于肩到腰的距离，则推理出人在玩手机的场景；
若实体为烟，且手肘的弯曲角度小于90°、手腕到鼻子的距离小于手肘到手腕的距离，则推理出人在抽烟的场景，将该场景作为人员行为意图；
若实体为笔，且手肘的弯曲角度小于90°、眼睛到手腕的距离小于肩到腰的距离，则推理出人在写字的场景，将该场景作为人员行为意图；
若实体为筷子，且手肘的弯曲角度小于90°、手腕到鼻子的距离小于手肘到手腕的距离，则推理出人在吃饭的场景，将该场景作为人员行为意图；
若实体为菜刀，且手肘的弯曲角度小于90°、眼睛到手腕的距离小于肩到腰的距离，则推理出人在切菜的场景，将该场景作为人员行为意图；
若实体为饭碗，且手肘的弯曲角度大于90°、眼睛到手腕的距离大于肩到腰的距离，则推理出人在洗碗的场景，将该场景作为人员行为意图；
若实体为扫帚，且手肘的弯曲角度大于90°、眼睛到手腕的距离大于肩到腰的距离，则推理出人在扫地的场景，将该场景作为人员行为意图；
若实体为拖把，且手肘的弯曲角度大于90°、眼睛到手腕的距离大于肩到腰的距离，则推理出人在拖地的场景，将该场景作为人员行为意图；
若实体为跳绳，且手肘的弯曲角度小于90°、肩到手腕的距离大于肩到腰的距离，则推理出人在跳绳的场景，将该场景作为人员行为意图；
若实体为牙刷，且手肘的弯曲角度小于90°、手腕到鼻子的距离小于手肘到手腕的距离的一半，则推理出人在刷牙的场景，将该场景作为人员行为意图。
CN202210316396.5A 2022-03-28 2022-03-28 基于目标检测网络与知识推理的人员行为意图识别方法 Active CN114724078B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210316396.5A CN114724078B (zh) 2022-03-28 2022-03-28 基于目标检测网络与知识推理的人员行为意图识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210316396.5A CN114724078B (zh) 2022-03-28 2022-03-28 基于目标检测网络与知识推理的人员行为意图识别方法

Publications (2)

Publication Number Publication Date
CN114724078A true CN114724078A (zh) 2022-07-08
CN114724078B CN114724078B (zh) 2023-06-23

Family

ID=82240731

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210316396.5A Active CN114724078B (zh) 2022-03-28 2022-03-28 基于目标检测网络与知识推理的人员行为意图识别方法

Country Status (1)

Country Link
CN (1) CN114724078B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116580408A (zh) * 2023-06-06 2023-08-11 上海任意门科技有限公司 一种图像生成方法、装置、电子设备及存储介质

Citations (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8948499B1 (en) * 2010-12-07 2015-02-03 Hrl Laboratories, Llc Method for online learning and recognition of visual behaviors
WO2019006760A1 (zh) * 2017-07-07 2019-01-10 深圳市大疆创新科技有限公司 一种姿态的识别方法、设备及可移动平台
CN110033870A (zh) * 2019-05-30 2019-07-19 广东工业大学 一种智能医疗系统
CN110110093A (zh) * 2019-04-08 2019-08-09 深圳众赢维融科技有限公司 一种基于知识图谱的识别方法、装置、电子设备及存储介质
US20200074158A1 (en) * 2018-08-28 2020-03-05 Electronics And Telecommunications Research Institute Human behavior recognition apparatus and method
CN111061832A (zh) * 2019-12-05 2020-04-24 电子科技大学广东电子信息工程研究院 基于开放域信息抽取的人物行为抽取方法
US20200143383A1 (en) * 2018-11-07 2020-05-07 N3, Llc Semantic crm mobile communications sessions
WO2020177498A1 (zh) * 2019-03-04 2020-09-10 南京邮电大学 一种基于姿态估计的非侵入式人体热舒适检测方法及系统
CN111881898A (zh) * 2020-09-27 2020-11-03 西南交通大学 基于单目rgb图像的人体姿态检测方法
CN112035637A (zh) * 2020-08-28 2020-12-04 康键信息技术（深圳）有限公司 医学领域意图识别方法、装置、设备及存储介质
CN112036556A (zh) * 2020-11-06 2020-12-04 西南交通大学 一种基于lstm神经网络的目标意图反演方法
CN112905872A (zh) * 2019-11-19 2021-06-04 百度在线网络技术（北京）有限公司 意图识别方法、装置、设备和可读存储介质
CN112905774A (zh) * 2021-02-22 2021-06-04 武汉市聚联科软件有限公司 一种基于事理图谱的人机对话深度意图理解方法
CN113377899A (zh) * 2020-03-09 2021-09-10 华为技术有限公司 意图识别方法及电子设备
WO2021184630A1 (zh) * 2020-03-19 2021-09-23 平安国际智慧城市科技股份有限公司 基于知识图谱定位排污对象的方法及相关设备
CN113516113A (zh) * 2020-12-28 2021-10-19 腾讯科技（深圳）有限公司 一种图像内容识别方法、装置、设备及存储介质
CN113538667A (zh) * 2021-09-17 2021-10-22 清华大学 动态场景光场重建方法及装置
CN113850865A (zh) * 2021-09-26 2021-12-28 北京欧比邻科技有限公司 一种基于双目视觉的人体姿态定位方法、系统和存储介质
US20220012502A1 (en) * 2020-07-07 2022-01-13 Hitachi, Ltd. Activity detection device, activity detection system, and activity detection method
CN113935028A (zh) * 2021-11-12 2022-01-14 绿盟科技集团股份有限公司 一种攻击行为识别的方法及装置
CN113962219A (zh) * 2021-10-13 2022-01-21 国网浙江省电力有限公司电力科学研究院 面向电力变压器知识检索和问答的语义匹配方法及系统
CN114022955A (zh) * 2021-10-22 2022-02-08 北京明略软件系统有限公司 一种动作识别方法及装置
CN114139968A (zh) * 2021-12-03 2022-03-04 四川奇焓科技有限公司 基于人工智能与知识图谱的电动列车装备检修实训考评系统
CN114155562A (zh) * 2022-02-09 2022-03-08 北京金山数字娱乐科技有限公司 手势识别方法及装置
CN114170686A (zh) * 2021-12-07 2022-03-11 中国石油大学(华东) 一种基于人体关键点的屈肘行为检测方法
CN114186108A (zh) * 2021-12-14 2022-03-15 国家电网有限公司 一种面向电力物资业务场景的多模态人机交互系统

Patent Citations (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8948499B1 (en) * 2010-12-07 2015-02-03 Hrl Laboratories, Llc Method for online learning and recognition of visual behaviors
WO2019006760A1 (zh) * 2017-07-07 2019-01-10 深圳市大疆创新科技有限公司 一种姿态的识别方法、设备及可移动平台
US20200074158A1 (en) * 2018-08-28 2020-03-05 Electronics And Telecommunications Research Institute Human behavior recognition apparatus and method
US20200143383A1 (en) * 2018-11-07 2020-05-07 N3, Llc Semantic crm mobile communications sessions
WO2020177498A1 (zh) * 2019-03-04 2020-09-10 南京邮电大学 一种基于姿态估计的非侵入式人体热舒适检测方法及系统
CN110110093A (zh) * 2019-04-08 2019-08-09 深圳众赢维融科技有限公司 一种基于知识图谱的识别方法、装置、电子设备及存储介质
CN110033870A (zh) * 2019-05-30 2019-07-19 广东工业大学 一种智能医疗系统
CN112905872A (zh) * 2019-11-19 2021-06-04 百度在线网络技术（北京）有限公司 意图识别方法、装置、设备和可读存储介质
CN111061832A (zh) * 2019-12-05 2020-04-24 电子科技大学广东电子信息工程研究院 基于开放域信息抽取的人物行为抽取方法
CN113377899A (zh) * 2020-03-09 2021-09-10 华为技术有限公司 意图识别方法及电子设备
WO2021184630A1 (zh) * 2020-03-19 2021-09-23 平安国际智慧城市科技股份有限公司 基于知识图谱定位排污对象的方法及相关设备
US20220012502A1 (en) * 2020-07-07 2022-01-13 Hitachi, Ltd. Activity detection device, activity detection system, and activity detection method
CN112035637A (zh) * 2020-08-28 2020-12-04 康键信息技术（深圳）有限公司 医学领域意图识别方法、装置、设备及存储介质
CN111881898A (zh) * 2020-09-27 2020-11-03 西南交通大学 基于单目rgb图像的人体姿态检测方法
CN112036556A (zh) * 2020-11-06 2020-12-04 西南交通大学 一种基于lstm神经网络的目标意图反演方法
CN113516113A (zh) * 2020-12-28 2021-10-19 腾讯科技（深圳）有限公司 一种图像内容识别方法、装置、设备及存储介质
CN112905774A (zh) * 2021-02-22 2021-06-04 武汉市聚联科软件有限公司 一种基于事理图谱的人机对话深度意图理解方法
CN113538667A (zh) * 2021-09-17 2021-10-22 清华大学 动态场景光场重建方法及装置
CN113850865A (zh) * 2021-09-26 2021-12-28 北京欧比邻科技有限公司 一种基于双目视觉的人体姿态定位方法、系统和存储介质
CN113962219A (zh) * 2021-10-13 2022-01-21 国网浙江省电力有限公司电力科学研究院 面向电力变压器知识检索和问答的语义匹配方法及系统
CN114022955A (zh) * 2021-10-22 2022-02-08 北京明略软件系统有限公司 一种动作识别方法及装置
CN113935028A (zh) * 2021-11-12 2022-01-14 绿盟科技集团股份有限公司 一种攻击行为识别的方法及装置
CN114139968A (zh) * 2021-12-03 2022-03-04 四川奇焓科技有限公司 基于人工智能与知识图谱的电动列车装备检修实训考评系统
CN114170686A (zh) * 2021-12-07 2022-03-11 中国石油大学(华东) 一种基于人体关键点的屈肘行为检测方法
CN114186108A (zh) * 2021-12-14 2022-03-15 国家电网有限公司 一种面向电力物资业务场景的多模态人机交互系统
CN114155562A (zh) * 2022-02-09 2022-03-08 北京金山数字娱乐科技有限公司 手势识别方法及装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
JIN QING等: ""Intention recognition of aerial targets based on Bayesian optimization algorithm"" *
WEILI FANG等: ""Knowledge graph for identifying hazards on construction sites：Integrating computer vision with ontology"" *
YUKI TOYOSAKA等: ""Activity Knowledge Graph Recognition by Eye Gaze：Identification of Distant Object in Eye Sight for Watch Activity"" *
蒋海洋: ""基于机器视觉的行人检测与行为意图识别研究"" *
龙丹冰等: ""知识图谱改进的施工行为安全风险与危险位置识别算法"" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116580408A (zh) * 2023-06-06 2023-08-11 上海任意门科技有限公司 一种图像生成方法、装置、电子设备及存储介质
CN116580408B (zh) * 2023-06-06 2023-11-03 上海任意门科技有限公司 一种图像生成方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN114724078B (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
US10019828B2 (en) Image generating apparatus, image generating system, and non-transitory computer-readable storage medium
CN105740773B (zh) 基于深度学习和多尺度信息的行为识别方法
Kleinsmith et al. Recognizing affective dimensions from body posture
CN109726672B (zh) 一种基于人体骨架序列和卷积神经网络的摔倒检测方法
CN109635721B (zh) 基于轨迹加权深度卷积次序池化描述子的视频人体跌倒检测方法及系统
CN102184541B (zh) 多目标优化人体运动跟踪方法
CN110135282B (zh) 一种基于深度卷积神经网络模型的考生回头抄袭作弊检测方法
CN105740780A (zh) 人脸活体检测的方法和装置
CN109902565B (zh) 多特征融合的人体行为识别方法
CN109902912B (zh) 一种基于性格特征的个性化图像美学评价方法
CN110991268B (zh) 一种基于深度图像的帕金森手部运动量化分析方法和系统
US10642346B2 (en) Action control method and device
CN111863232B (zh) 基于区块链和医学影像的远程疾病智能诊断系统
CN114724078A (zh) 基于目标检测网络与知识推理的人员行为意图识别方法
CN113869276B (zh) 基于微表情的谎言识别方法及系统
CN111814713A (zh) 一种基于bn参数迁移学习的表情识别方法
CN111053552B (zh) 一种基于深度学习的qrs波检测方法
CN117894078A (zh) 一种基于ai视觉的宠物行为分析系统
CN114663807A (zh) 一种基于视频分析的吸烟行为检测方法
CN107644201B (zh) 一种基于随机森林的骨架线提取方法及其装置
CN115916045A (zh) 用于确定用户的头皮类型的方法
CN116597507A (zh) 一种人体动作规范性评估方法及系统
Dalmoro et al. Identifying influences between artists based on artwork faces and geographic proximity
CN116110122A (zh) 一种隐私场景下的护理行为识别方法
Lee et al. AI-based dental prostheses fabrication using generative adversarial networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231019

Address after: 610000 Chengdu, Sichuan Province, China (Sichuan) Free Trade Pilot Zone

Patentee after: Sichuan Bawei Jiuzhang Technology Co.,Ltd.

Address before: 610031 north section of two ring road, Sichuan, Chengdu

Patentee before: SOUTHWEST JIAOTONG University

Patentee before: Sichuan Bawei Jiuzhang Technology Co.,Ltd.

PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A method for identifying personnel behavior intentions based on object detection networks and knowledge reasoning

Granted publication date: 20230623

Pledgee: Bank of China Limited Dujiangyan sub branch

Pledgor: Sichuan Bawei Jiuzhang Technology Co.,Ltd.

Registration number: Y2024980013479