CN116756667B - 一种具有行为识别功能的宠物穿戴式设备及其识别方法 - Google Patents
一种具有行为识别功能的宠物穿戴式设备及其识别方法 Download PDFInfo
- Publication number
- CN116756667B CN116756667B CN202311042817.0A CN202311042817A CN116756667B CN 116756667 B CN116756667 B CN 116756667B CN 202311042817 A CN202311042817 A CN 202311042817A CN 116756667 B CN116756667 B CN 116756667B
- Authority
- CN
- China
- Prior art keywords
- pet
- node
- behavior
- wearable device
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000006399 behavior Effects 0.000 claims abstract description 75
- 238000005259 measurement Methods 0.000 claims abstract description 15
- 238000004891 communication Methods 0.000 claims abstract description 9
- 238000013145 classification model Methods 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 32
- 230000009471 action Effects 0.000 claims description 15
- 238000000547 structure data Methods 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000001960 triggered effect Effects 0.000 claims description 4
- 230000001133 acceleration Effects 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 230000003542 behavioural effect Effects 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000007620 mathematical function Methods 0.000 claims description 3
- 238000007619 statistical method Methods 0.000 claims description 3
- 230000004931 aggregating effect Effects 0.000 claims 1
- 238000012544 monitoring process Methods 0.000 abstract description 5
- 230000036541 health Effects 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 12
- 238000013528 artificial neural network Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 230000000737 periodic effect Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 3
- 235000008694 Humulus lupulus Nutrition 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010224 classification analysis Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000035622 drinking Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000004962 physiological condition Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
- A01K29/00—Other apparatus for animal husbandry
- A01K29/005—Monitoring or measuring activity, e.g. detecting heat or mating
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/10—Pre-processing; Data cleansing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/10—Pre-processing; Data cleansing
- G06F18/15—Statistical pre-processing, e.g. techniques for normalisation or restoring missing data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Environmental Sciences (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Probability & Statistics with Applications (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Automation & Control Theory (AREA)
- Animal Husbandry (AREA)
- Biodiversity & Conservation Biology (AREA)
- Molecular Biology (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开了一种具有行为识别功能的宠物穿戴式设备及其识别方法，属于行为识别，包括穿戴式设备本体，穿戴式设备本体内设置有用于采集宠物运动信息的惯性测量单元、用于对宠物进行定位的GPS定位单元以及用于将惯性测量单元采集的运动信息解析为行为信息并在分类后汇总相应类别行为次数的微控制单元，微控制单元经通讯单元与云端或者用户端通讯；微控制单元上搭载有GATs‑LSTM网络模型和分类模型。本发明采用上述具有行为识别功能的宠物穿戴式设备及其识别方法，可对宠物的多种行为进行监测，并对宠物的行为和状态做分类和统计，实现宠物主人对其宠物的更全面的信息监测和管理，从而便于宠物主人对其宠物的健康状况更全面的了解和监控。
Description
技术领域
本发明涉及行为识别技术领域，尤其涉及一种具有行为识别功能的宠物穿戴式设备及其识别方法。
背景技术
饲养宠物是现代人实现解压和陪伴的重要方式，宠物与宠物主人之间的情感牵绊也带动了宠物相关经济的快速发展。比如：
CN202210568333.9公开了一种基于宠物鼻纹识别的宠物定位方法及相关产品，其中方法的实现包括：接收宠物定位请求；根据宠物定位请求获取目标宠物的目标品种信息、以及目标宠物对应的鼻纹图像；根据目标品种信息获取拍摄图像，拍摄图像中包括至少一个宠物图像；根据至少一个宠物图像确定出至少一个候选宠物鼻纹图像；将至少一个候选宠物鼻纹图像与目标宠物对应的鼻纹图像进行匹配，确定匹配度大于或等于第一预设匹配度的候选宠物鼻纹图像对应的拍摄图像为匹配拍摄图像；根据匹配拍摄图像的位置确定目标宠物的位置信息。采用本申请实施例的方法，实现了在包括宠物品种信息的拍摄图像中通过宠物鼻纹识别即可确定宠物的位置信息。
CN201520584353.0公开了一种具有定位警报功能的宠物牌，其包括底壳、盖子和电路板；所述底壳的底部对称设有两个凸柱，底壳的边缘设有向外凸伸的穿线孔；所述电路板上设有电喇叭发声装置、电源和信号收发装置，且电路板上设有两个对应于凸柱的定位孔；所述电路板通过定位孔和凸柱的配合安装在底壳内，所述盖子盖合在底壳上将电路板收容在其中。本宠物牌具有信号收发装置和电喇叭发声装置，宠物使用本宠物牌后，一旦走出安全区域，电喇叭可以发声提醒主人，而当宠物走失后，还可以通过信号收发装置快速计算出宠物的出走距离，再配合电喇叭发声迅速找回宠物。
可知，现有的与宠物相关的电子设备多用来定位宠物防止丢失，或者监测其活动范围是否超出安全区等。即当现有市场上的宠物相关电子设备功能较为单一，不能全面的提供宠物主人其宠物的全面信息。
发明内容
为解决上述问题，本发明提供一种具有行为识别功能的宠物穿戴式设备及其识别方法，可对宠物的多种行为进行监测，并对宠物的行为和状态做分类和统计，实现宠物主人对其宠物的更全面的信息监测和管理，从而便于宠物主人对其宠物的健康状况更全面的了解和监控。
为实现上述目的，本发明提供了一种具有行为识别功能的宠物穿戴式设备，包括穿戴式设备本体，穿戴式设备本体内设置有用于采集宠物运动信息的惯性测量单元、用于对宠物进行定位的GPS定位单元以及用于将惯性测量单元采集的运动信息解析为行为信息并在分类后汇总相应类别行为次数的微控制单元，微控制单元经通讯单元与云端或者用户端通讯；
微控制单元上搭载有GATs-LSTM网络模型和分类模型。
优选的，惯性测量单元为六轴姿态传感器。
优选的，通讯单元包括物联网卡模组和蓝牙模组，微控制单元经物联网卡模组与云端通讯，微控制单元经蓝牙模组与用户端通讯。
一种具有行为识别功能的宠物穿戴式设备的识别方法，包括以下步骤：
S1、经惯性测量单元采集宠物的运动信息，且运动信息为6轴序列数据信息；
S2、预处理：活动特征频段滤波、行为特征时间窗提取；
S3、设定预处理后的6个自由度中的三个轴的加速度为以及三轴角速度为/>，以上述6轴数据为顶点，以相互关系为边构建图结构数据，并将图结构数据输入GAT-LSTM网络模型中；
S4、利用GAT-LSTM网络模型中的GAT模型对图结构数据做特征抽取，抽取后分别连接分类模型和GAT-LSTM网络模型中的LSTM模型做行为分类和相应类别的动作次数的结果输出。
优选的，步骤S2所述的活动特征频段滤波具体为：将有效频率段保留，无效频率段多滤掉；有效频率段包括宠物日常活动的频率段，其包括步行频率段0.5-3hz、跑步频率段2-5hz、吃饭频率段0.5-2hz；
行为特征时间窗是指具体动作的时间窗自主提取，其具体包括以下步骤：采用统计学分析并采用事件触发的预处理策略，首先对原始数据进行序列滑窗，再对窗内数据进行均值、方差处理，最后判断时间窗内数据的统计学数据是否超出对应的阈值，若超出则形成触发事件，执行后续步骤，否则不动作。
优选的，步骤S4具体包括以下步骤：
S41、使用GAT模型学习节点之间的关系和特征表示；
S42、使用LSTM模型统计宠物行为动作次数。
优选的，步骤S41具体包括以下步骤：
将构建的图结构数据输入到GAT模型中，通过自适应地计算节点之间的注意力权重，聚合节点的邻居信息，并生成新的特征表示。
优选的，步骤S41中所述的注意力权重计算公式如下：
；
式中，为注意力权重；/>分别表示第/>个和第/>个节点特征，其中节点/>为节点/>的邻居节点；/>是一个带有负斜率的ReLU激活函数，其用于增加网络的非线性；/>函数是一种数学函数，其用于将一组实数值转换为一个概率分布，使得上述实数值之和为1，且每个实数值均在0到1之间；/>表示向量的拼接操作；/>是可学习的权重矩阵，其用于对节点特征/>和节点特征/>进行线性变换；
步骤S41中所述的聚合节点的邻居信息包括以下步骤：
对于每个节点，使用注意力权重/>来聚合其邻居节点的特征表示，再将邻居节点的特征表示和注意力权重进行加权求和，得到更新后的节点表示/>：
；
式中，表示对所有邻居节点/>进行求和；
计算多头注意力：
；
式中，是第/>个注意力头的可学习权重向量；/>为/>取转置；/>是第/>个注意力头的可学习权重矩阵；
；
将个注意力权重得到的节点特征表示进行拼接，得到最终的节点表示/>'。
优选的，步骤S42具体包括以下步骤：
S421、将学习到的节点特征序列 作为LSTM模型的输入，且输入序列的形状设定为/>，其中/>表示序列的时间步数，/>表示每个时间步的特征向量/>的维度；
S422、构建LSTM模型：
构建一个用于对序列化的节点特征进行分类的LSTM模型，并利用构建的LSTM模型接收输入序列，学习从序列中提取分类任务的特征；
S423、训练LSTM模型：
使用带有标签的数据对LSTM模型进行训练；
S424、LSTM模型预测：
在完成LSTM模型的训练后，将序列化节点特征 输入 LSTM 模型，得到对于图分类任务的预测结果，最终完成宠物的行为识别，并统计对应行为动作次数。
优选的，步骤S424所述的行为动作次数具体包括以下步骤：首先是对LSTM模型的预测分类结果进行统计，并记录时间窗，最后引入专家思路进行修正。
本发明具有以下有益效果：
1、可对宠物的多种行为进行监测，并对宠物的行为和状态做分类和统计，实现宠物主人对其宠物的更全面的信息监测和管理，从而便于宠物主人对其宠物的健康状况更全面的了解和监控；
2、使用图神经网络对采集的动作信息数据进行分类处理，实现高精度的行为识别，且图神经网络能有效捕捉IMU（姿态传感器）六轴数据之间的关联，高效提取输出网络所需要的数据特征。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的一种具有行为识别功能的宠物穿戴式设备的结构框图；
图2为本发明的一种具有行为识别功能的宠物穿戴式设备的网络模型图；
图3为图2中的LSTM模型图；
图4为本发明的一种具有行为识别功能的宠物穿戴式设备的识别方法的流程图；
图5为本发明的一种具有行为识别功能的宠物穿戴式设备的识别方法的图结构数据示意图。
具体实施方式
为了使本发明实施例公开的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明实施例进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本发明实施例，并不用于限定本发明实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。
需要说明的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中，需要说明的是，术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
由本领域公知常识可知，宠物的很多行动是可以被监测的，包括饮水、进食、睡觉等行为，可以帮助宠物主人更全面的掌握宠物的生活状态和生理情况。基于此实现以下实施例：
如图1-图3所示，一种具有行为识别功能的宠物穿戴式设备，包括穿戴式设备本体，穿戴式设备本体内设置有用于采集宠物运动信息的惯性测量单元、用于对宠物进行定位的GPS定位单元以及用于将惯性测量单元采集的运动信息解析为行为信息并在分类后汇总相应类别行为次数的微控制单元，微控制单元经通讯单元与云端或者用户端通讯；微控制单元上搭载有GATs-LSTM网络模型和分类模型。本实施例中的微控制单元搭配RTOS(Real-time Operating System)做低功耗设计，设备支持长时间待机、多信息传感器采集和无线通信传输等功能。
优选的，惯性测量单元为六轴姿态传感器，用于收集动物运动的行走加速度和旋转角速度等运动信息。
优选的，通讯单元包括物联网卡模组和蓝牙模组，微控制单元经物联网卡模组与云端通讯，微控制单元经蓝牙模组与用户端通讯，本实施例中的用户端还经物联网卡模组与云端通讯。
如图4和图5所示，一种具有行为识别功能的宠物穿戴式设备的识别方法，包括以下步骤：
S1、经惯性测量单元采集宠物的运动信息，且运动信息为6轴序列数据信息；
在此需要说明的是一般处理序列性的数据的神经网络是循环神经网络，但是因为本实施例涉及的是行为分类分析，是多个自由度数据共同作用的，所以需要综合多个数据队列。所以本实施例中采用GATs（图注意力神经网络）联合LSTM（长短期记忆网络）的模型框架。
S2、预处理：活动特征频段滤波、行为特征时间窗提取；
优选的，步骤S2所述的活动特征频段滤波具体为：将有效频率段保留，无效频率段多滤掉；有效频率段包括宠物日常活动的频率段，其包括步行频率段0.5-3hz、跑步频率段2-5hz、吃饭频率段0.5-2hz；
因为长期监测的数据会存在大量无效数据，比如睡觉2h，期间大部分数据均为无效数据，故需提取行为的时间窗。行为特征时间窗是指具体动作的时间窗自主提取，其具体包括以下步骤：采用统计学分析并采用事件触发的预处理策略，首先对原始数据进行序列滑窗，再对窗内数据进行均值、方差处理，最后判断时间窗内数据的统计学数据是否超出对应的阈值，若超出则形成触发事件，执行后续步骤，否则不动作。
本实施例中，为节省算力，降低宠物穿戴式设备的功耗，本部分采用事件触发的预处理策略。将时间窗内数据的统计学数据的阈值超出与否作为事件，当统计学特征超过设置的目标后定义为触发事件，只有触发事件发生后，才进行进一步的处理。
用于评估触发事件的时间窗参数如下：
；
计算时间窗内参数，并当参数不满足某一指标后，产生事件触发信号，此时再进行提高传感器采样率，提高数据变化的感知速度的操作。
且在本实施例中行为特征时间窗是根据不同行为的时间域上存在差异，精准提取不同长度时间窗的操作。
1、计算窗均值、方差、最大值、最小值，并由多种动作的数据集设置简单的阈值进行一级判断。
2、对数据进行是否周期的判断。提取特征频谱，找到最大的特征频率并对时间序列进行时间窗划分，计算时间窗间的皮尔逊相关系数，计算公式如下：
；
若相关系数较高，则认为是周期性信号，否则为非周期信号。
3、对于跑步、连续跳跃等周期性行为，本部分对长窗数据进行频谱分析，提取周期最高的频率（一般小于10hz）并采取该频率的时间窗进行窗获取，并进行0.25倍时间窗滑窗，构建数据集。
4、对于跌倒、单次跳跃等非周期行为，本部分进行时间窗宽度自动调整，具体采用基于Morlet的小波变换，通过对母小波的宽度变换，获取特征数据的时间窗宽度。
S3、设定预处理后的6个自由度中的三个轴的加速度为以及三轴角速度为/>，以上述6轴数据为顶点，以相互关系为边构建图结构数据，并将图结构数据输入GAT-LSTM网络模型中；
S4、利用GAT-LSTM网络模型中的GAT模型对图结构数据做特征抽取，抽取后分别连接分类模型和GAT-LSTM网络模型中的LSTM模型做行为分类和相应类别的动作次数的结果输出。
优选的，步骤S4具体包括以下步骤：
S41、使用GAT模型学习节点之间的关系和特征表示；
GAT是一种空域图神经网络，是空域图神经网络的代表算法之一。GAT在传播过程引入自注意力（Self-attention）机制，每个节点的隐藏状态通过注意其邻居节点来计算。GAT网络由堆叠简单的图注意力层（Graph Attention Layer）来实现。
优选的，步骤S41具体包括以下步骤：
将构建的图结构数据输入到GAT模型中，通过自适应地计算节点之间的注意力权重，聚合节点的邻居信息，并生成新的特征表示。
优选的，步骤S41中所述的注意力权重计算公式如下：
；
式中，为注意力权重；/>分别表示第/>个和第/>个节点特征，其中节点/>为节点/>的邻居节点；/>是一个带有负斜率的ReLU激活函数，其用于增加网络的非线性；/>函数是一种数学函数，其用于将一组实数值转换为一个概率分布，使得上述实数值之和为1，且每个实数值均在0到1之间；/>表示向量的拼接操作；/>是可学习的权重矩阵，其用于对节点特征/>和节点特征/>进行线性变换；
步骤S41中所述的聚合节点的邻居信息包括以下步骤：
对于每个节点，使用注意力权重/>来聚合其邻居节点的特征表示，再将邻居节点的特征表示和注意力权重进行加权求和，得到更新后的节点表示/>：
；
式中，表示对所有邻居节点/>进行求和；
计算多头注意力：
；
式中，是第/>个注意力头的可学习权重向量；/>为/>取转置；/>是第/>个注意力头的可学习权重矩阵；
；
将个注意力权重得到的节点特征表示进行拼接，得到最终的节点表示/>'。
S42、使用LSTM模型统计宠物行为动作次数。
LSTM模型是适用于序列数据的经典循环神经网络模型，可以建模序列的时序关系。
优选的，步骤S42具体包括以下步骤：
S421、将学习到的节点特征序列 作为LSTM模型的输入，且输入序列的形状设定为/>，其中/>表示序列的时间步数，/>表示每个时间步的特征向量/>的维度；
S422、构建LSTM模型：
构建一个用于对序列化的节点特征进行分类的LSTM模型，并利用构建的LSTM模型接收输入序列，学习从序列中提取分类任务的特征；
S423、训练LSTM模型：
使用带有标签的数据对LSTM模型进行训练；
S424、LSTM模型预测：
在完成LSTM模型的训练后，将序列化节点特征 输入 LSTM 模型，得到对于图分类任务的预测结果，最终完成宠物的行为识别，并统计对应行为动作次数。
优选的，步骤S424所述的行为动作次数具体包括以下步骤：首先是对LSTM模型的预测分类结果进行统计，并记录时间窗，最后引入专家思路进行修正。例如，在时域上的次数限制，对于跳跃，不可实现一秒跳超过4次；在频域上的限制，跑步的速度难以超过10m/s等。
为进一步说明本发明，补充以下实施例：
步骤一、将本发明所述具有行为识别功能的宠物穿戴式设备佩戴于宠物上；
步骤二、上述穿戴式设备自主低采样率记录24h内宠物行为活动产生的运动数据；
步骤三、判断采集的运动数据是否存在行为事件，如果存在，提高姿态传感器的采样率；
步骤四、对姿态数据进行行为识别算法处理，判断其行为类别，并将行为进行上报至云端；
步骤五、云端统计行为次数，并提供接口用户可实时查询；
在此过程中，设备还可定时上传当前的GPS定位数据，并在云端与报警区域（用户首先通过手机进行报警区域（电子围栏）设置并传至云端）进行比较，如果超出，则为用户手机端发送报警信号进行报警。
因此，本发明采用上述具有行为识别功能的宠物穿戴式设备及其识别方法，通过在穿戴式设备中嵌入惯性测量传感器来收集宠物的行为信息，并通过图神经网络做行为分类和统计后反馈给宠物主人，可对宠物进行全天候行为识别和监测，实现对宠物的健康和行为习惯的监测。
最后应说明的是：以上实施例仅用以说明本发明的技术方案而非对其进行限制，尽管参照较佳实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对本发明的技术方案进行修改或者等同替换，而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明技术方案的精神和范围。
Claims (9)
1.一种具有行为识别功能的宠物穿戴式设备，包括穿戴式设备本体，其特征在于：穿戴式设备本体内设置有用于采集宠物运动信息的惯性测量单元、用于对宠物进行定位的GPS定位单元以及用于将惯性测量单元采集的运动信息解析为行为信息并在分类后汇总相应类别行为次数的微控制单元，微控制单元经通讯单元与云端或者用户端通讯；
微控制单元上搭载有GATs-LSTM网络模型和分类模型；
具有行为识别功能的宠物穿戴式设备的识别方法，包括以下步骤：
S1、经惯性测量单元采集宠物的运动信息，且运动信息为6轴序列数据信息；
S2、预处理：活动特征频段滤波、行为特征时间窗提取；
S3、设定预处理后的6个自由度中的三个轴的加速度为[ax,ay,az]以及三轴角速度为[gx,gy,gz]，以6轴数据为顶点，以相互关系为边构建图结构数据，并将图结构数据输入GAT-LSTM网络模型中；
S4、利用GAT-LSTM网络模型中的GAT模型对图结构数据做特征抽取，抽取后分别连接分类模型和GAT-LSTM网络模型中的LSTM模型做行为分类和相应类别的动作次数的结果输出。
2.根据权利要求1所述的一种具有行为识别功能的宠物穿戴式设备，其特征在于：惯性测量单元为六轴姿态传感器。
3.根据权利要求1所述的一种具有行为识别功能的宠物穿戴式设备，其特征在于：通讯单元包括物联网卡模组和蓝牙模组，微控制单元经物联网卡模组与云端通讯，微控制单元经蓝牙模组与用户端通讯。
4.根据权利要求1所述的一种具有行为识别功能的宠物穿戴式设备，其特征在于：步骤S2所述的活动特征频段滤波具体为：将有效频率段保留，无效频率段过滤掉；有效频率段包括宠物日常活动的频率段，其包括步行频率段0.5-3hz、跑步频率段2-5hz、吃饭频率段0.5-2hz；
行为特征时间窗是指具体动作的自主提取时间窗，其具体包括以下步骤：采用统计学分析并采用事件触发的预处理策略，首先对原始数据进行序列滑窗，再对窗内数据进行均值、方差处理，最后判断时间窗内数据的统计学数据是否超出对应的阈值，若超出则形成触发事件，执行后续步骤，否则不动作。
5.根据权利要求1所述的一种具有行为识别功能的宠物穿戴式设备，其特征在于：步骤S4具体包括以下步骤：
S41、使用GAT模型学习节点之间的关系和特征表示；
S42、使用LSTM模型统计宠物行为动作次数。
6.根据权利要求5所述的一种具有行为识别功能的宠物穿戴式设备，其特征在于：步骤S41具体包括以下步骤：
将构建的图结构数据输入到GAT模型中，通过自适应地计算节点之间的注意力权重，聚合节点的邻居信息，并生成新的特征表示。
7.根据权利要求6所述的一种具有行为识别功能的宠物穿戴式设备，其特征在于：步骤S41中所述的注意力权重计算公式如下：
aij＝softmax(LeakyReLU((W*[hi,hj])))
式中，aij为注意力权重；hi,hj分别表示第i个和第j个节点特征，其中节点j为节点i的邻居节点；LeakyReLU是一个带有负斜率的ReLU激活函数，其用于增加网络的非线性；softmax函数是一种数学函数，其用于将一组实数值转换为一个概率分布，使得上述实数值之和为1，且每个实数值均在0到1之间；[hi,hj]表示向量的拼接操作；W是可学习的权重矩阵，其用于对节点特征hi和节点特征hj进行线性变换；
步骤S41中所述的聚合节点的邻居信息包括以下步骤：
对于每个节点i，使用注意力权重aij来聚合其邻居节点的特征表示，再将邻居节点的特征表示和注意力权重进行加权求和，得到更新后的序列化节点特征h'i：
h'i＝∑(aij*hj)
式中，Σ表示对所有邻居节点j进行求和；
计算多头注意力：
aij^k＝softmax(LeakyReLU(((a^(k))^T[W^khi,W^k hj])))
式中，a^(k)是第k个注意力头的可学习权重向量；(a^(k))^T为a^(k)取转置；W^k是第k个注意力头的可学习权重矩阵；
将k个注意力权重得到的节点特征表示进行拼接，得到最终的节点表示h'i'。
8.根据权利要求7所述的一种具有行为识别功能的宠物穿戴式设备，其特征在于：步骤S42具体包括以下步骤：
S421、将学习到的序列化节点特征h'i作为LSTM模型的输入，且输入序列的形状设定为(T,D)，其中T表示序列的时间步数，D表示每个时间步的序列化节点特征h'i的维度；
S422、构建LSTM模型：
构建一个用于对序列化的节点特征进行分类的LSTM模型，并利用构建的LSTM模型接收输入的序列化节点特征h'i，学习从序列中提取分类任务的特征；
S423、训练LSTM模型：
使用带有标签的数据对LSTM模型进行训练；
S424、LSTM模型预测：
在完成LSTM模型的训练后，将序列化节点特征h'i输入LSTM模型，得到对于图分类任务的预测结果，最终完成宠物的行为识别，并统计对应行为动作次数。
9.根据权利要求8所述的一种具有行为识别功能的宠物穿戴式设备，其特征在于：步骤S424所述的行为动作次数具体包括以下步骤：首先是对LSTM模型的预测分类结果进行统计，并记录时间窗，最后引入专家思路进行修正。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311042817.0A CN116756667B (zh) | 2023-08-18 | 2023-08-18 | 一种具有行为识别功能的宠物穿戴式设备及其识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311042817.0A CN116756667B (zh) | 2023-08-18 | 2023-08-18 | 一种具有行为识别功能的宠物穿戴式设备及其识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116756667A CN116756667A (zh) | 2023-09-15 |
| CN116756667B true CN116756667B (zh) | 2023-12-12 |
Family
ID=87961259
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311042817.0A Active CN116756667B (zh) | 2023-08-18 | 2023-08-18 | 一种具有行为识别功能的宠物穿戴式设备及其识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116756667B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106796748A (zh) * | 2014-07-12 | 2017-05-31 | 杰奥萨蒂斯公司 | 用于识别宠物的状态和位置的自学习系统 |
| CN110751022A (zh) * | 2019-09-03 | 2020-02-04 | 平安科技（深圳）有限公司 | 基于图像识别的城市宠物活动轨迹监测方法及相关设备 |
| CN113139432A (zh) * | 2021-03-25 | 2021-07-20 | 杭州电子科技大学 | 基于人体骨架和局部图像的工业包装行为识别方法 |
| CN114078243A (zh) * | 2020-08-11 | 2022-02-22 | 湖南大学 | 基于循环图卷积网络的驾驶员驾驶行为识别方法及系统 |
| CN114492990A (zh) * | 2022-01-25 | 2022-05-13 | 中国科学技术大学 | 一种基于可穿戴设备的用户行为习惯预测方法 |
| CN114864105A (zh) * | 2022-05-25 | 2022-08-05 | 北京芯联心科技发展有限公司 | 一种基于社交图网络的动物疾病的预警方法和系统 |
| CN115481816A (zh) * | 2022-10-11 | 2022-12-16 | 南京信息工程大学 | 基于互补集成经验模分解的时空卷积短时交通流预测方法 |
| CN116150509A (zh) * | 2023-04-24 | 2023-05-23 | 齐鲁工业大学(山东省科学院) | 社交媒体网络的威胁情报识别方法、系统、设备及介质 |
| CN116363698A (zh) * | 2023-03-21 | 2023-06-30 | 上海联宠智能科技有限公司 | 宠物运动信息的获取方法、系统、介质及电子设备 |
-
2023
- 2023-08-18 CN CN202311042817.0A patent/CN116756667B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106796748A (zh) * | 2014-07-12 | 2017-05-31 | 杰奥萨蒂斯公司 | 用于识别宠物的状态和位置的自学习系统 |
| CN110751022A (zh) * | 2019-09-03 | 2020-02-04 | 平安科技（深圳）有限公司 | 基于图像识别的城市宠物活动轨迹监测方法及相关设备 |
| CN114078243A (zh) * | 2020-08-11 | 2022-02-22 | 湖南大学 | 基于循环图卷积网络的驾驶员驾驶行为识别方法及系统 |
| CN113139432A (zh) * | 2021-03-25 | 2021-07-20 | 杭州电子科技大学 | 基于人体骨架和局部图像的工业包装行为识别方法 |
| CN114492990A (zh) * | 2022-01-25 | 2022-05-13 | 中国科学技术大学 | 一种基于可穿戴设备的用户行为习惯预测方法 |
| CN114864105A (zh) * | 2022-05-25 | 2022-08-05 | 北京芯联心科技发展有限公司 | 一种基于社交图网络的动物疾病的预警方法和系统 |
| CN115481816A (zh) * | 2022-10-11 | 2022-12-16 | 南京信息工程大学 | 基于互补集成经验模分解的时空卷积短时交通流预测方法 |
| CN116363698A (zh) * | 2023-03-21 | 2023-06-30 | 上海联宠智能科技有限公司 | 宠物运动信息的获取方法、系统、介质及电子设备 |
| CN116150509A (zh) * | 2023-04-24 | 2023-05-23 | 齐鲁工业大学(山东省科学院) | 社交媒体网络的威胁情报识别方法、系统、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116756667A (zh) | 2023-09-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Serpush et al. | Wearable sensor‐based human activity recognition in the smart healthcare system | |
| Chen et al. | Intelligent fall detection method based on accelerometer data from a wrist-worn smart watch | |
| CN110133610B (zh) | 基于时变距离-多普勒图的超宽带雷达动作识别方法 | |
| Xu et al. | Human activity recognition based on random forests | |
| Krause et al. | Unsupervised, Dynamic Identification of Physiological and Activity Context in Wearable Computing. | |
| Yao et al. | Rf-care: Device-free posture recognition for elderly people using a passive rfid tag array | |
| Erdogan et al. | A data mining approach for fall detection by using k-nearest neighbour algorithm on wireless sensor network data | |
| US9060714B2 (en) | System for detection of body motion | |
| He et al. | A low power fall sensing technology based on FD-CNN | |
| Abdu et al. | Activity classification based on feature fusion of FMCW radar human motion micro-Doppler signatures | |
| Ding et al. | Energy efficient human activity recognition using wearable sensors | |
| Succetti et al. | A fast deep learning technique for Wi-Fi-based human activity recognition | |
| Venkatachalam et al. | Bimodal HAR-An efficient approach to human activity analysis and recognition using bimodal hybrid classifiers | |
| Lin et al. | Adaptive multi-modal fusion framework for activity monitoring of people with mobility disability | |
| CN108133160B (zh) | 基于rfid的游泳安全监控系统 | |
| Gill et al. | Human action detection using EfficientNetB3 model | |
| CN116756667B (zh) | 一种具有行为识别功能的宠物穿戴式设备及其识别方法 | |
| Priyadarshini et al. | Gradient boosted decision tree based classification for recognizing human behavior | |
| Çalışan et al. | Comparison of methods for determining activity from physical movements | |
| Hsieh et al. | End-to-end deep learning-based human activity recognition using channel state information | |
| Fan et al. | Eating gestures detection by tracking finger motion | |
| Kaudki et al. | Human fall detection using RFID technology | |
| Zhao et al. | Wear‐free indoor fall detection based on RFID and deep residual networks | |
| AU2020102094A4 (en) | GROUP ACTIVITY RECOGNITION BY INTEGRATION AND FUSION OF INDIVIDUAL MULTISENSORY IoT DATA | |
| Thiemjarus et al. | Context Aware Sensing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |