CN111582382B - 状态识别方法、装置以及电子设备 - Google Patents
状态识别方法、装置以及电子设备 Download PDFInfo
- Publication number
- CN111582382B CN111582382B CN202010388947.XA CN202010388947A CN111582382B CN 111582382 B CN111582382 B CN 111582382B CN 202010388947 A CN202010388947 A CN 202010388947A CN 111582382 B CN111582382 B CN 111582382B
- Authority
- CN
- China
- Prior art keywords
- feature
- state
- features
- target
- sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 80
- 238000013528 artificial neural network Methods 0.000 claims abstract description 52
- 125000004122 cyclic group Chemical group 0.000 claims abstract description 46
- 238000012545 processing Methods 0.000 claims abstract description 45
- 238000013507 mapping Methods 0.000 claims abstract description 26
- 238000000605 extraction Methods 0.000 claims description 43
- 230000001133 acceleration Effects 0.000 claims description 37
- 238000004364 calculation method Methods 0.000 claims description 36
- 230000005484 gravity Effects 0.000 claims description 18
- 238000011176 pooling Methods 0.000 claims description 8
- 230000001537 neural effect Effects 0.000 claims description 6
- 238000009499 grossing Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 abstract description 27
- 238000005516 engineering process Methods 0.000 description 16
- 238000001514 detection method Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 15
- 238000013473 artificial intelligence Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 7
- 238000010606 normalization Methods 0.000 description 7
- 230000001960 triggered effect Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 230000000306 recurrent effect Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 101100194363 Schizosaccharomyces pombe (strain 972 / ATCC 24843) res2 gene Proteins 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种状态识别方法、装置以及电子设备。方法包括：处理器获取运动传感器采集的传感器数据；通过目标循环神经网络对传感器数据进行处理，得到目标循环神经网络输出的第一特征，目标循环神经网络包括有门循环单元；基于注意力机制对第一特征进行特征提取，得到第二特征；基于第二特征与状态类别之间的映射关系，确定与第二特征对应的目标状态类别，并将目标状态类别对应的状态作为状态识别结果。从而通过引入注意力机制的方式，使得在有连续多个传感器数据输入的情况下，可以良好的进行连续多个传感器数据对应状态的识别，进而在基于传感器数据对应状态来识别用户状态的情况下，提升了对于用户状态识别的准确性。
Description
技术领域
本申请涉及人工智能技术领域，更具体地，涉及一种状态识别方法、装置以及电子设备。
背景技术
随着人工智能技术的发展，在许多的生活场景中都利用到了人工智能技术。例如，在用户通勤的过程中，可以通过人工智能技术来识别用户所携带的电子设备的状态，以便确定用户所处的状态。但是，在相关的检测用户状态的方法中，还存在准确性有待提升的问题。
发明内容
鉴于上述问题，本申请提出了一种状态识别方法、装置以及电子设备，以改善上述问题。
第一方面，本申请提供了一种状态识别方法，应用于电子设备，所述电子设备包括处理器以及运动传感器，所述方法包括：所述处理器获取所述运动传感器采集的传感器数据；通过目标循环神经网络对所述传感器数据进行处理，得到所述目标循环神经网络输出的第一特征，所述目标循环神经网络包括有门循环单元；基于注意力机制对所述第一特征进行特征提取，得到第二特征；基于所述第二特征与状态类别之间的映射关系，确定与所述第二特征对应的目标状态类别，并将所述目标状态类别对应的状态作为状态识别结果。
第二方面，本申请提供了一种状态识别装置，所述电子设备包括处理器以及运动传感器，所述装置运行于所述处理器，所述装置包括：数据采集单元，用于获取所述运动传感器采集的传感器数据；第一特征获取单元，用于通过目标循环神经网络对所述传感器数据进行处理，得到所述目标循环神经网络输出的第一特征，所述目标循环神经网络包括有门循环单元；第二特征获取单元，用于基于注意力机制对所述第一特征进行特征提取，得到第二特征；状态识别单元，用于基于所述第二特征与状态类别之间的映射关系，确定与所述第二特征对应的目标状态类别，并将所述目标状态类别对应的状态作为状态识别结果。
第三方面，本申请提供了一种电子设备，所述电子设备至少包括处理器、数字信号处理器以及存储器；一个或多个程序被存储在所述存储器中并被配置为由所述处理器以及所述数字信号处理器执行以实现上述方法。
第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码被第一数据处理器件或者第二数据处理器件运行时执行上述的方法。
本申请提供的一种状态识别方法、装置以及电子设备，在电子设备至少包括处理器以及运动传感器的情况下，该处理器在获取所述运动传感器采集的传感器数据后，通过包括有门循环单元的目标循环神经网络对所述传感器数据进行处理，得到所述目标循环神经网络输出的第一特征，然后再基于注意力机制对所述第一特征进行特征提取，得到第二特征，进而基于所述第二特征与状态类别之间的映射关系，确定与所述第二特征对应的目标状态类别。从而通过引入注意力机制的方式，使得在有连续多个传感器数据输入的情况下，可以良好的进行连续多个传感器数据对应状态的识别，进而在基于传感器数据对应状态来识别用户状态的情况下，提升了对于用户状态识别的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本申请一实施例提出的一种状态识别方法的流程图；
图2示出了本申请另一实施例提出的一种状态识别方法的流程图；
图3示出了本申请实施例中获取水平加速度数据的示意图；
图4示出了本申请实施例中进行短时傅里叶特征提取的示意图；
图5示出了本申请另一实施例提出的一种状态识别方法的流程图；
图6示出了图5中S360的一种实施方式的流程图；
图7示出了本申请实施例中在进行池化处理过程中排序的示意图；
图8示出了本申请实施例中进行注意力尺度化的示意图；
图9示出了本申请实施例中进行注意力提取的示意图；
图10示出了本申请实施例中确定目标状态类别的示意图；
图11示出了本申请再一实施例提出的一种状态识别方法的流程图；
图12示出了本申请又一实施例提出的一种状态识别方法的流程图；
图13示出了本申请实施例提出的一种状态识别装置的结构框图；
图14示出了本申请实施例提出的另一种状态识别装置的结构框图；
图15示出了本申请实施例提出的再一种状态识别装置的结构框图；
图16示出了本申请的用于执行根据本申请实施例的状态识别方法的另一种电子设备的结构框图；
图17是本申请实施例的用于保存或者携带实现根据本申请实施例的状态识别方法的程序代码的存储单元。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
随着人工智能技术的发展，在许多的生活场景中都利用到了人工智能技术。例如，在用户通勤的过程中，可以通过人工智能技术来识别用户所携带的电子设备的状态，以便确定用户所处的状态。示例性的，在用户乘坐地铁这个场景中，可以通过对用户随身携带的电子设备的运动情况进行检测，进而确定用户当前是处于行走状态，还是乘坐地铁状态。而在检测到处于乘坐地铁的状态下又可以检测用户当前所处的站点，以便为用户提供站点提醒服务。但是，发明人对在相关的检测用户状态的方法的研究中发现，相关的检测用户状态的方法多是采用传统的阈值检测，或者是采用普通的卷积神经网络进行检测，进而造成还存在准确性有待提升的问题。
因此，发明人在研究中发现上述问题后，提出了本申请中可以改善上述问题的状态识别方法、装置以及电子设备。在电子设备至少包括处理器以及运动传感器的情况下，该处理器在获取所述运动传感器采集的传感器数据后，通过包括有门循环单元的目标循环神经网络对所述传感器数据进行处理，得到所述目标循环神经网络输出的第一特征，然后再基于注意力机制对所述第一特征进行特征提取，得到第二特征，进而基于所述第二特征与状态类别之间的映射关系，确定与所述第二特征对应的目标状态类别。从而通过引入注意力机制的方式，使得在有连续多个传感器数据输入的情况下，可以良好的进行连续多个传感器数据对应状态的识别，进而在基于传感器数据对应状态来识别用户状态的情况下，提升了对于用户状态识别的准确性。
下面将结合附图具体描述本申请的各实施例。
请参阅图1，本申请实施例提供的一种状态识别方法，应用于电子设备，所述电子设备包括处理器以及运动传感器，所述方法包括：
S110：所述处理器获取所述运动传感器采集的传感器数据。
在本申请实施例中，所输出的状态识别结果可以为用户的状态，而该用户的状态则是通过电子设备的运动姿态来进行体现的。那么处理器就可以通过对运动传感器所采集的传感器数据进行处理来得到电子设备当前所处的状态以识别到电子设备的运动姿态，进而确定用户的状态。
在本实施例中，处理器可以通过多种方式来进行传感器数据的获取。
作为一种方式，处理器可以在检测到电子设备一上电就开始控制运动传感器进行数据的采集，以便可以更为全面的获取到用户的状态。作为另外一种方式，处理器可以在检测到指定的事件触发时，再控制运动传感器进行数据的采集以获取运动传感器采集的传感器数据，以便可以更有针对性的控制运动传感器开始工作，以便降低功耗。示例性的，该指定的事件可以为检测到用户处于乘坐交通工具状态。在这种实例下，处理器可以检测到用户处于乘坐交通工具状态时，判定检测到指定的事件触发，进而控制运动传感器进行数据的采集。可选的，处理器可以在检测到电子设备当前启动关于交通工具的应用程序(例如，智能地铁助手)时，判定处于乘坐交通工具状态。
S120：通过目标循环神经网络对所述传感器数据进行处理，得到所述目标循环神经网络输出的第一特征，所述目标循环神经网络包括有门循环单元。
需要说明的是，目标循环神经网络可以理解为基于预先得到的作为训练样本的传感器数据所训练得到的循环神经网络。在本实施例中，在目标循环神经网络中还引入有门循环单元(Gate Recurrent Unit)，门循环单元包括有重置门和更新门，使得门循环单元能很容易地记住长依赖问题。即前面很久之前出现过一个重要的特征，如果重置门或者更新门选择不重写内部的存储，那么门循环单元就会一直记住之前的重要特征，那么会对当前或者未来继续产生影响。另一点是，门循环单元减缓了梯度消失带来的循环神经网络难训练问题。
作为一种方式，门循环单元的公式如下：
Γu＝σ(Wu[c<t-1>，x<t>]+bu)
Γr＝σ(Wr[c<t-1>，x<t>]+br)
a<t>＝c<t>
其中，Γu为重置门对应的计算公式，Γr为更新门的计算公式，需要说明的是，重置门和更新门各自所对应的计算值均在0到1之间。其中，表征的是当前候选隐藏层的状态，C<t>表征当前时刻的隐藏层的状态。
S130：基于注意力机制对所述第一特征进行特征提取，得到第二特征。
在引入注意力机制的情况下，可以使得在进行特征提取的过程中更为专注的对当前所要进行特征提取的目标更为专注，以便提取到更为有针对性的特征。其中，该更为有针对性的特征可以理解为更能够反映传感器数据实际所表征状态的特征，进而使得所提取得到的第二特征相比第一特征能够更为准确的反映传感器数据实际所表征状态的特征。
S140：基于所述第二特征与状态类别之间的映射关系，确定与所述第二特征对应的目标状态类别，并将所述目标状态类别对应的状态作为状态识别结果。
作为一种方式，在模型的训练过程中可以训练得到第二特征与状态类别的对应关系，进而在计算得到第二特征后，就可以获取到对应的目标状态类别，进而输出状态识别结果。其中，需要说明的是，该状态识别结果为对应于用户的状态，即该状态识别结果表征的是用户当前是处于走路状态、上楼状态、乘坐公交车状态或者乘坐地铁状态等。可选的，与第二特征所对应的状态类别为标签类别，在这种方式下与第二特征所对应的状态类别包括标签0，标签1，标签2以及标签3。其中，不同的标签分别具有实际的状态含义，那么该实际的状态含义就可以理解为状态类别对应的状态。例如，作为一种方式，标签0实际表征的是处于走路状态，标签1实际表征的是处于上楼状态，标签2实际表征的是处于乘坐公交车状态，标签3实际表征的是处于乘坐地铁状态。那么在确定目标状态类别为标签2时，对应的，确定的与状态识别结果则为标签2实际表征的处于乘坐公交车状态。
本申请提供的一种状态识别方法，在电子设备至少包括处理器以及运动传感器的情况下，该处理器在获取所述运动传感器采集的传感器数据后，通过包括有门循环单元的目标循环神经网络对所述传感器数据进行处理，得到所述目标循环神经网络输出的第一特征，然后再基于注意力机制对所述第一特征进行特征提取，得到第二特征，进而基于所述第二特征与状态类别之间的映射关系，确定与所述第二特征对应的目标状态类别。从而通过引入注意力机制的方式，使得在有连续多个传感器数据输入的情况下，可以良好的进行连续多个传感器数据对应状态的识别，进而在基于传感器数据对应状态来识别用户状态的情况下，提升了对于用户状态识别的准确性。
请参阅图2，本申请实施例提供的一种状态识别方法，应用于电子设备，所述电子设备包括处理器以及运动传感器，该运动传感器包括重力传感器以及加速度传感器，所述方法包括：
S210：基于所述重力传感器以及加速度传感器分别采集的数据得到水平加速度数据。
在一些场景中，通过水平方向的加速度可以更为准确的确定用户的状态。作为一种方式，可以通过获取重力传感器以及加速度传感器的数据来计算得到水平加速度数据。示例性的如图3所示，加速度传感器所采集的加速度数据可以为向量模式的，而加速度传感器所采集的加速度向量经过水平方向以及垂直方向的分解后，可以得到加速度向量的水平方向分量以及加速度向量的重力方向分量。而对于重力传感器而言所采集重力加速度数据在向量化以后仅包括重力方向的向量，在这种情况下就可以结合重力传感器所采集的仅包括重力方向的向量的数据来对加速度传感器所采集的数据中的重力方向的分量进行抵消，进而得到水平加速度数据。
可选的，可以基于下列公式来计算得到水平加速度数据。
其中，Horizon表征水平加速度数据，Acc表征加速度传感器采集的数据，Gra表征重力传感器采集的数据。
S220：对所述水平加速度数据进行短时傅里叶特征提取，将所提取得到的传感器特征作为传感器数据。
其中，对所述水平加速度数据进行短时傅里叶特征提取可以实现特征提取以及特征降维。示例性的，如图4所示，对于所计算得到的水平传感器数据会依次经历预处理、加窗以及傅里叶变换等步骤，进而得到传感器特征。其中，预处理可以为高通滤波处理，该高通滤波处理的数学表达式可以为H(z)＝1-az-1，其中a是修正系数，可以为0.95到0.97之间的任意值。加窗步骤用于平滑信号边缘。加窗步骤所采集的公式为汉明窗其中n为整数，M为傅里叶变换的点数，本实施例取32。
S230：通过目标循环神经网络对所述传感器数据进行处理，得到所述目标循环神经网络输出的第一特征，所述目标循环神经网络包括有门循环单元。
S240：基于注意力机制对所述第一特征进行特征提取，得到第二特征。
S250：基于所述第二特征与状态类别之间的映射关系，确定与所述第二特征对应的目标状态类别，并将所述目标状态类别对应的状态作为状态识别结果。
本申请提供的一种状态识别方法，在电子设备至少包括处理器以及运动传感器的情况下，重力传感器以及加速度传感器会分别进行数据采集，然后对该重力传感器以及加速度传感器分别采集的数据进行计算，可以得到水平加速度数据，进而将水平加速度数据作为得到的传感器数据。再通过包括有门循环单元的目标循环神经网络对所述传感器数据进行处理，得到所述目标循环神经网络输出的第一特征，然后再基于注意力机制对所述第一特征进行特征提取，得到第二特征，进而基于所述第二特征与状态类别之间的映射关系，确定与所述第二特征对应的目标状态类别。从而通过引入注意力机制的方式，使得在有连续多个传感器数据输入的情况下，可以良好的进行连续多个传感器数据对应状态的识别，进而在基于传感器数据对应状态来识别用户状态的情况下，提升了对于用户状态识别的准确性。并且，在输入到目标循环神经网络中的传感器数据是已经去除重力方向的加速度数据，进而使得最后所得到的第二特征能够更加准确的体现电子设备的实际状态，以便可以根据更加准确的确定用户所处的状态。
请参阅图5，本申请实施例提供的一种状态识别方法，应用于电子设备，所述电子设备包括处理器以及运动传感器，所述方法包括：
S310：所述处理器获取所述运动传感器采集的传感器数据。
可选的，本实施例中所获取的传感器数据可以为前述实施例中所获取得到的传感器特征。
S320：对所述传感器数据进行卷积处理得到第一局部特征。
首先会将传感器数据转换为大小为C*R*1的数据形式的特征，其中，C为特征列数，R为特征行数，通道数为1。将所得到的该数据形式的特征再一次输入带卷积神经网络层中计算局部特征，计算公式如下：
其中I表示输入，W表示卷积对应的权重。经过卷积神经网络层计算得到的结果是尺寸为c*r*l的3D特征作为第一局部特征。
S330：对所述第一局部特征进行归一化处理得到归一化特征。
在得到第一局部特征后，会进一步的进行归一化处理，其中，该归一化处理所基于的公式为：
β(k)＝E[x(k)]
其中x为各层输出，将其输入至批归一化层中进行方差和均值计算，之后计算自适应因子β,γ。
S340：对所述归一化特征进行线性计算得到线性特征。
其中，对归一化特征进行线性计算的目的是为了进行线性提升。计算公式如下：
y＝f(x),f＝max(λ*x,0)
其中，λ为线性增强因子。
S350：基于门循环单元对所述线性特征进行处理得到第一特征。
S360：基于注意力机制对所述第一特征进行特征提取，得到第二特征。
S370：基于所述第二特征与状态类别之间的映射关系，确定与所述第二特征对应的目标状态类别，并将所述目标状态类别对应的状态作为状态识别结果。
作为一种方式，如图6所示，所述第一特征包括多个通道的特征，所述基于注意力机制对所述第一特征进行特征提取，得到第二特征，包括：
S361：在当次的注意力特征提取过程中，对当次进行注意力特征提取的通道的特征进行池化得到指定维度的特征，所述指定维度的特征包括所述当次进行注意力特征提取的通道的特征中排序靠前的多个特征。
其中，需要说明的是第一特征包括多个通道的特征，而在进行注意力特征提取的过程中，可以逐通道的进行注意力特征提取，对于当次进行注意力特征提取的通道的特征，可以理解为通道所输出的特征，对于通道所输出的特征中可以包括有多个区域，每个区域可以对应有一个特征，进而将每个区域对应的特征的值进行排序，将排序结果靠前的多个特征作为池化得到指定维度的特征。如图7所示，其中，当次进行注意力特征提取的通道的特征10中包括有特征11、特征12、特征13以及特征14。在对特征的值进行排序后，依次排序为特征11、特征12、特征13以及特征14。若池化的需求为排序前三的特征，在这种情况下，池化得到指定维度的特征包括特征11,、特征12以及特征13。
S362：基于第一全连接网络将所述指定维度的特征提取为指定尺寸的特征，所述指定尺寸与所述第一特征的尺寸相同。
示例性的，第一特征的尺寸为Step*Feature，那么指定尺寸也为Step*Feature。
S363：基于第二全连接网络对所述指定尺寸的特征进行局部特征计算，得到第二局部特征，所述第二局部特征的尺寸与所述第一特征的尺寸相同。
其中，进行局部特征计算的公式为：
其中I表示输入，W表示卷积对应的权重，bias表示偏执。可选的，若指定尺寸为Step*Feature，那么经过全连接网络层计算得到的结果是尺寸为Step*Feature的特征。
S364：对所述第二局部特征进行归一化处理，得到归一化后的权重数据。
其中，对所述第二局部特征进行归一化处理的目的是进行非线性提升，归一化所基于的公式为：
y＝sigmoid(x)
S365：将所述归一化后的权重数据加权到所述多个通道的特征。
其中，将所述归一化后的权重数据加权到所述多个通道的特征可以理解为注意力尺度化。其中，需要说明的是，所加权到的多个通道的特征为多个通道的原始特征，即可以理解为前述的第一特征所包括的各个通道的特征。
示例性的，如图8所示，归一化所得到的权重数据是处于0到1之间的，且该权重数据的维度与第一特征所包括的多个通道的特征的尺寸是匹配的，若第一特征包括特征15、特征16、特征17、特征18、特征19、特征20、特征21以及特征22。而所得到的权重数据包括权重值23、权重值24、权重值25、权重值26、权重值27、权重值28以及权重值29。进而就可以将该权重数据所包括的多个权重值与第一特征所包括的多个通道的特征一一相乘，以实现尺度化。例如，可以将特征22与权重值23相乘，将特征21与权重值24相乘，以此类推。
S366：进入下一次的所述注意力特征提取过程，直到完成对所有的通道的特征的注意力特征提取。
S367：在完成对所有的通道的特征的注意力特征提取后，基于多个通道的特征各自的权重数据以及所述多个通道的特征进行加权求和得到第二特征。
下面再通过一个示意图来对前述图6所示的内容进行说明。
如图9所示，对于门循环单元所输出的第一特征，会依次再通过池化层、卷积神经网络层、第一全连接网络层、第二全连接网络层以及非线性激活层的处理，然后将改第一特征以及非线性激活层输出的权重数据输入到注意力尺度化单元进行处理。其中，池化层可以用于执行前述的S361，第一全连接网络层可以用于执行前述的S362，第二全连接网络层可以用于执行前述的S363，非线性激活层可以用于执行前述的S364，注意力尺度化单元可以用于执行前述的S365。
作为一种方式，所述基于多个通道的特征各自的权重数据以及所述多个通道的特征进行加权求和得到第二特征，包括：
基于多个通道的特征各自的权重数据以及指定的多种权重更新计算规则，计算每个通道的特征各自的权重数据分别对应于多种权重更新计算规则的权重数据，得到每个通道的特征对应的多个新的权重数据。其中，指定的多种权重更新计算规则为：
1.at＝gBO(ht)＝bt
2.at＝gL(ht)＝wt Tht+bt
3.at＝gSL(ht)＝wTht+b
4.at＝gNL(ht)＝Vt Ttanh(wt Tht+bt)
5.at＝gSNL(ht)＝VTtanh(wTht+b)
其中，ht为直接通过前述的注意力尺度化操作所得到的多个通道的特征各自的权重数据。
将每个通道的特征对应的多个新的权重数据进行平均和计算，得到每个通道的特征对应的目标权重数据。
其中，平均和计算可以理解为将前述5个公式各自所计算得到的at相加后除以5得到每个通道的特征对应的目标权重数据。
基于每个通道的特征对应的目标权重数据以及每个通道的特征进行加权求和得到第二特征。
其中，加权求和的公式为：其中，kt为/>
其中，ji可以理解为图8中所计算得到的尺度化以后所得到的特征。
作为一种方式，述基于所述第二特征与状态类别之间的映射关系，确定与所述第二特征对应的目标状态类别，并将所述目标状态类别对应的状态作为状态识别结果，包括：
将所述第二特征转换为多维向量形式。
作为一种方式，将所述第二特征转换为多维向量形式的公式为：
其中，Ih为前述加权求和所得到的ω。
获取基于所述多维向量形式的第二特征中的第一目标元素，所述第一目标元素为基于所述多维向量的第二特征中对应的值最大的元素；将所述映射关系中所述第一目标元素所对应的状态类别，作为目标状态类别，并将所述目标状态类别对应的状态作为状态识别结果。
示例性的，如图10所示，多维向量形式的第二特征包括有a，b，c以及d这四个元素。其中，元素a对应标签0，元素b对应标签1，元素c对应标签2，元素d对应标签3。标签0实际表征的是处于走路状态，标签1实际表征的是处于上楼状态，标签2实际表征的是处于乘坐公交车状态，标签3实际表征的是处于乘坐地铁状态。那么在确定其中元素d最大的情况下，将元素d确定为第一目标元素，进而将标签3作为目标状态类别，进而将标签3对应的处于乘坐地铁状态作为状态识别结果。
本申请提供的一种状态识别方法，通过引入注意力机制的方式，使得在有连续多个传感器数据输入的情况下，可以良好的进行连续多个传感器数据对应状态的识别，进而在基于传感器数据对应状态来识别用户状态的情况下，提升了对于用户状态识别的准确性。并且，在本实施例中，在完成对所有的通道的特征的注意力特征提取后，基于多个通道的特征各自的权重数据以及指定的多种权重更新计算规则，计算每个通道的特征各自的权重数据分别对应于多种权重更新计算规则的权重数据，得到每个通道的特征对应的多个新的权重数据，将每个通道的特征对应的多个新的权重数据进行平均和计算，得到每个通道的特征对应的目标权重数据，从而能够是的所得到的第二特征可以更为准确的体现传感器数据所实际表征的状态，以便更为准确的确定用户所处的状态。
请参阅图11，本申请实施例提供的一种状态识别方法，应用于电子设备，所述电子设备包括处理器以及运动传感器，所述方法包括：
S410：所述处理器获取所述运动传感器采集的传感器数据。
S420：对所述传感器数据进行卷积处理得到第一局部特征。
S430：对所述第一局部特征进行归一化处理得到归一化特征。
S440：对所述归一化特征进行线性计算得到线性特征。
S450：基于门循环单元对所述线性特征进行处理得到第一特征。
S460：基于注意力机制对所述第一特征进行特征提取，得到第二特征。
S470：获取存储的多个历史第二特征。
S480：对所述多个历史第二特征与所述第二特征进行平滑处理，得到处理后的第二特征。其中，平滑处理的公式为：
其中，res(x)表征的是多个历史第二特征，例如，其中的re1，res2以及res3。其中的result表征的是所述第二特征。
S481：对所述处理后的第二特征进行存储。
S482：将所述处理后的第二特征转换为多维向量形式。
S483：获取基于所述多维向量形式的处理后的第二特征中的第二目标元素，所述第而目标元素为基于所述多维向量的处理后的第二特征中对应的值最大的元素。
S490：将所述映射关系中所述第二目标元素所对应的状态类别，作为目标状态类别，并将所述目标状态类别对应的状态作为状态识别结果。
需要说明的是，S490中获取状态识别结果的方式可以与前述实施例中具体获取状态识别结果的方式相同，此处不再赘述。
本申请提供的一种状态识别方法，通过引入注意力机制的方式，使得在有连续多个传感器数据输入的情况下，可以良好的进行连续多个传感器数据对应状态的识别，进而在基于传感器数据对应状态来识别用户状态的情况下，提升了对于用户状态识别的准确性。并且，在本实施例中，会对于每次所计算得到的第二特征进行存储，进而可以在每次计算得到当前的第二特征后，将存储的多个历史第二特征与每次计算得到当前的第二特征进行平滑处理，以防止出现跳变，以使得能够更加稳定且准确的进行状态识别。
请参阅图12，本申请实施例提供的一种状态识别方法，应用于电子设备，所述电子设备包括处理器、数字信号处理器以及运动传感器，所述方法包括：
S510：数字信号处理器获取所述运动传感器采集的传感器数据。
S520：若所述数字信号处理器基于所述传感器数据检测到状态切换时，触发所述处理器执行所述获取所述运动传感器采集的传感器数据。
需要说明的是，数字信号处理器所检测的状态依然为前述所介绍的处于走路状态、上楼状态、乘坐公交车状态或者乘坐地铁状态等。作为一种方式，数字信号处理器可以全天候进行状态的检测，在这种情况下，为了能够降低功耗，数字信号处理器所采用的检测算法可以是相比处理器所采集的检测方法更为粗略的检测方法，进而使得不会有太大的计算量就可以得到状态识别结果，然后在检测到有状态改变时，进而就可以触发所述处理器执行所述获取所述运动传感器采集的传感器数据，以便可以唤醒处理器再基于更为精确的方法检测状态是否真的实际发生改变。
可选的，所述数字信号处理器通过基于序列神经网络的循环神经模型对所述传感器数据进行识别，得到识别结果；基于所述识别结果确定状态是否发生切换，其中，所述基于序列神经网络的循环神经模型所需的计算资源低于所述目标循环神经网络所需的计算资源，或者数字信号处理器从获取到传感器数据到得到状态识别结果所需的计算资源，低于处理器从获取到传感器数据到得到状态识别结果所需的计算资源。
S530：所述处理器获取所述运动传感器采集的传感器数据。
S540：通过目标循环神经网络对所述传感器数据进行处理，得到所述目标循环神经网络输出的第一特征，所述目标循环神经网络包括有门循环单元。
S550：基于注意力机制对所述第一特征进行特征提取，得到第二特征。
S560：基于所述第二特征与状态类别之间的映射关系，确定与所述第二特征对应的目标状态类别，并将所述目标状态类别对应的状态作为状态识别结果。
在本实施例中，作为一种方式，所述数字信号处理器获取所述运动传感器采集的传感器数据之前还包括：检测当前的屏幕状态；若为息屏状态，执行所述数字信号处理器获取所述运动传感器采集的传感器数据；若为亮屏状态，执行所述处理器获取所述运动传感器采集的传感器数据。
下面再通过地铁乘坐场景对本实施例的内容再进行说明。
在电子设备启动智能地铁助手并在站点进行扫码进站后，电子设备会记录当前所处的站点。并且，在检测到扫码进站后数字信号处理会开始获取所述运动传感器采集的传感器数据，并进行状态检测。若检测到用户由走路状态切换为乘坐地铁状态时，会触发处理器执行前述实施例所提供的方法以检测用户当前的状态，若处理器检测到当前处于乘坐地铁状态则确认用户当前确实处理乘坐地铁的状态，可以开始检测用户的加速度变化，以便检测用户所乘坐地铁的站点变更情况，以进行站点更新。
需要说明的是，在乘坐地铁状态下用户的加速度会随着地铁的运行和停止而发生改变，进而就可以通过检测加速度的变化来确定是否已经到达一个新的站点，进而对用户所经历的站点进行更新，并还可以在检测到当前处于用户配置的目标站点的情况下，触发提醒消息。在检测到用户状态由乘坐地铁状态切换为走路状态时，还可以自动显示扫码界面，以便用户不用再手动启动扫码界面，进而可以快速的出站。
其中，需要说明的是，若在检测到扫码进站后电子设备就处于息屏状态，就可以先触发数字信号处理器进行状态检测，而若检测到扫码进站后电子设备一直处于亮屏状态，可以直接触发处理器来获取运动传感器采集的传感器数据进行状态检测。再者，当数字信号处理器在触发处理器获取所述运动传感器采集的传感器数据后，数字信号处理器可以处于休眠状态，以便降低功耗。对应的，在数据信号处理负责进行状态检测的期间，处理器可以对应的处于休眠状态。
本申请提供的一种状态识别方法，通过数字信号处理器先对运动传感器所采集的数据进行检测，在检测到状态发生切换时，再触发处理器来执行后续的通过目标循环神经网络对所述传感器数据进行处理，得到所述目标循环神经网络输出的第一特征，以及基于注意力机制对所述第一特征进行特征提取，得到第二特征，进而基于所述第二特征与状态类别之间的映射关系，确定与所述第二特征对应的目标状态类别，并将所述目标状态类别对应的状态作为状态识别结果。从而通过上述方式，使得处理器可以不用一直处于或者长时间处于对传感器的识别状态，而是可以仅在数字信号处理器检测到有疑似的状态切换时，再由处理器进行更为精确的检测，以便实现准确的进行状态检测的同时，可以降低电子设备整体的功耗。
请参阅图13，本申请实施例提供的一种状态识别装置600，所述电子设备包括处理器以及运动传感器，所述装置600运行于所述处理器，所述装置600包括：
数据采集单元610，用于获取所述运动传感器采集的传感器数据。
第一特征获取单元620，用于通过目标循环神经网络对所述传感器数据进行处理，得到所述目标循环神经网络输出的第一特征，所述目标循环神经网络包括有门循环单元。
第二特征获取单元630，用于基于注意力机制对所述第一特征进行特征提取，得到第二特征。
状态识别单元640，用于基于所述第二特征与状态类别之间的映射关系，确定与所述第二特征对应的目标状态类别，并将所述目标状态类别对应的状态作为状态识别结果。
作为一种方式，数据采集单元610，具体用于基于所述重力传感器以及加速度传感器分别采集的数据得到水平加速度数据；对所述水平加速度数据进行短时傅里叶特征提取，得到传感器数据。
作为一种方式，第一特征获取单元620，用于对所述传感器数据进行卷积处理得到第一局部特征；对所述第一局部特征进行归一化处理得到归一化特征；对所述归一化特征进行线性计算得到线性特征；基于门循环单元对所述线性特征进行处理得到第一特征。
在这种方式下，可选的，第二特征获取单元630，具体用于在当次的注意力特征提取过程中，对当次进行注意力特征提取的通道的特征进行池化得到指定维度的特征，所述指定维度的特征包括所述当次进行注意力特征提取的通道的特征中排序靠前的多个特征；基于第一全连接网络将所述指定维度的特征提取为指定尺寸的特征，所述指定尺寸与所述第一特征的尺寸相同；基于第二全连接网络对所述指定尺寸的特征进行局部特征计算，得到第二局部特征，所述第二局部特征的尺寸与所述第一特征的尺寸相同；对所述第二局部特征进行归一化处理，得到归一化后的权重数据；将所述归一化后的权重数据加权到所述多个通道的特征；进入下一次的所述注意力特征提取过程，直到完成对所有的通道的特征的注意力特征提取；在完成对所有的通道的特征的注意力特征提取后，基于多个通道的特征各自的权重数据以及所述多个通道的特征进行加权求和得到第二特征。
可选的，第二特征获取单元630，具体用于基于多个通道的特征各自的权重数据以及指定的多种权重更新计算规则，计算每个通道的特征各自的权重数据分别对应于多种权重更新计算规则的权重数据，得到每个通道的特征对应的多个新的权重数据；将每个通道的特征对应的多个新的权重数据进行平均和计算，得到每个通道的特征对应的目标权重数据；基于每个通道的特征对应的目标权重数据以及每个通道的特征进行加权求和得到第二特征。
作为一种方式，状态识别单元640，具体用于将所述第二特征转换为多维向量形式；获取基于所述多维向量形式的第二特征中的第一目标元素，所述第一目标元素为基于所述多维向量的第二特征中对应的值最大的元素；将所述映射关系中所述第一目标元素所对应的状态类别，作为目标状态类别，并将所述目标状态类别对应的状态作为状态识别结果。
作为一种方式，如图14所示，所述装置600，还包括：存储模块650，用于对所述处理后的第二特征进行存储。在这种方式下，第二特征获取单元630，还具体用于获取存储的多个历史第二特征；对所述多个历史第二特征与所述第二特征进行平滑处理，得到处理后的第二特征。在这种方式下，
作为一种方式状态识别单元640，具体用于将所述处理后的第二特征转换为多维向量形式；获取基于所述多维向量形式的处理后的第二特征中的第二目标元素，所述第而目标元素为基于所述多维向量的处理后的第二特征中对应的值最大的元素；将所述映射关系中所述第二目标元素所对应的状态类别，作为目标状态类别，并将所述目标状态类别对应的状态作为状态识别结果。
作为一种方式，如图15所示，装置600还包括状态预检测单元660，用于触发数字信号处理器获取所述运动传感器采集的传感器数据；若所述数字信号处理器基于所述传感器数据检测到状态切换时，触发所述处理器执行所述获取所述运动传感器采集的传感器数据。
在这种方式下表，状态预检测单元660，具体用于通过基于序列神经网络的循环神经模型对所述传感器数据进行识别，得到识别结果；基于所述识别结果确定状态是否发生切换，其中，所述基于序列神经网络的循环神经模型所需的计算资源低于所述目标循环神经网络所需的计算资源。
可选的，状态预检测单元660，还用于检测当前的屏幕状态；若为息屏状态，执行所述获取所述运动传感器采集的传感器数据；若为亮屏状态，触发数据采集单元610执行所述处理器获取所述运动传感器采集的传感器数据。
本申请提供的一种状态识别装置，在电子设备至少包括处理器以及运动传感器的情况下，该处理器在获取所述运动传感器采集的传感器数据后，通过包括有门循环单元的目标循环神经网络对所述传感器数据进行处理，得到所述目标循环神经网络输出的第一特征，然后再基于注意力机制对所述第一特征进行特征提取，得到第二特征，进而基于所述第二特征与状态类别之间的映射关系，确定与所述第二特征对应的目标状态类别。从而通过引入注意力机制的方式，使得在有连续多个传感器数据输入的情况下，可以良好的进行连续多个传感器数据对应状态的识别，进而在基于传感器数据对应状态来识别用户状态的情况下，提升了对于用户状态识别的准确性。
需要说明的是，本申请中装置实施例与前述方法实施例是相互对应的，装置实施例中具体的原理可以参见前述方法实施例中的内容，此处不再赘述。
下面将结合图16对本申请提供的一种电子设备进行说明。
请参阅图16，基于上述的状态识别方法，本申请实施例还提供的另一种包括可以执行前述状态识别方法的第一处理器件102以及第二处理器件103的电子设备200。电子设备200还包括存储器104、运动传感器106以及网络模块108。其中，该存储器104中存储有可以执行前述实施例中内容的程序，而第一处理器件102以及第二处理器件103可以执行该存储器104中存储的程序。其中，第一处理器件102可以为处理器，第二处理器件103可以为数字信号处理器(Digital Signal Processing)。
其中，第一处理器件102可以包括一个或者多个用于处理数据的核。处理器102利用各种接口和线路连接整个电子设备200内的各个部分，通过运行或执行存储在存储器104内的指令、程序、代码集或指令集，以及调用存储在存储器104内的数据，执行电子设备200的各种功能和处理数据。可选地，处理器102可以采用数字信号处理(Digital SignalProcessing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器102可集成中央处理器(Central Processing Unit，CPU)、图像处理器(Graphics ProcessingUnit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器102中，单独通过一块通信芯片进行实现。
存储器104可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器104可用于存储指令、程序、代码、代码集或指令集。存储器104可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储终端100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
该网络模块108可以为网络器件。网络器件用于接收以及发送电磁波，实现电磁波与电信号的相互转换，从而与通讯网络或者其他设备进行通讯，例如和音频播放设备进行通讯。所述网络器件可包括各种现有的用于执行这些功能的电路元件，例如，天线、射频收发器、数字信号处理器、加密/解密芯片、用户身份模块(SIM)卡、存储器等等。所述网络器件可与各种网络如互联网、企业内部网、无线网络进行通讯或者通过无线网络与其他设备进行通讯。上述的无线网络可包括蜂窝式电话网、无线局域网或者城域网。例如，网络器件可以与基站进行信息交互。
该运动传感器106可以包括重力传感器以及加速度传感器中的至少一个。
请参考图17，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质1100中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质1100可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质1100包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质1100具有执行上述方法中的任何方法步骤的程序代码810的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码1110可以例如以适当形式进行压缩。
综上所述，本申请提供的一种状态识别方法、装置以及电子设备，在电子设备至少包括处理器以及运动传感器的情况下，该处理器在获取所述运动传感器采集的传感器数据后，通过包括有门循环单元的目标循环神经网络对所述传感器数据进行处理，得到所述目标循环神经网络输出的第一特征，然后再基于注意力机制对所述第一特征进行特征提取，得到第二特征，进而基于所述第二特征与状态类别之间的映射关系，确定与所述第二特征对应的目标状态类别。从而通过引入注意力机制的方式，使得在有连续多个传感器数据输入的情况下，可以良好的进行连续多个传感器数据对应状态的识别，进而在基于传感器数据对应状态来识别用户状态的情况下，提升了对于用户状态识别的准确性。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (11)
1.一种状态识别方法，其特征在于，应用于电子设备，所述电子设备包括处理器以及运动传感器，所述方法包括：
所述处理器获取所述运动传感器采集的传感器数据；
对所述传感器数据进行卷积处理得到第一局部特征；
对所述第一局部特征进行归一化处理得到归一化特征；
对所述归一化特征进行线性计算得到线性特征；
基于目标循环神经网络包括的门循环单元对所述线性特征进行处理得到第一特征；
在当次的注意力特征提取过程中，对当次进行注意力特征提取的通道的特征进行池化得到指定维度的特征，所述指定维度的特征包括所述当次进行注意力特征提取的通道的特征中排序靠前的多个特征；
基于第一全连接网络将所述指定维度的特征提取为指定尺寸的特征，所述指定尺寸与所述第一特征的尺寸相同；
基于第二全连接网络对所述指定尺寸的特征进行局部特征计算，得到第二局部特征，所述第二局部特征的尺寸与所述第一特征的尺寸相同；
对所述第二局部特征进行归一化处理，得到归一化后的权重数据；
将所述归一化后的权重数据加权到所述多个通道的特征；
进入下一次的所述注意力特征提取过程，直到完成对所有的通道的特征的注意力特征提取；
在完成对所有的通道的特征的注意力特征提取后，基于多个通道的特征各自的权重数据以及所述多个通道的特征进行加权求和得到第二特征；
基于所述第二特征与状态类别之间的映射关系，确定与所述第二特征对应的目标状态类别，并将所述目标状态类别对应的状态作为状态识别结果。
2.根据权利要求1所述的方法，其特征在于，所述运动传感器包括重力传感器以及加速度传感器，所述获取所述运动传感器采集的传感器数据，包括：
基于所述重力传感器以及加速度传感器分别采集的数据得到水平加速度数据；
对所述水平加速度数据进行短时傅里叶特征提取，将所提取得到的传感器特征作为传感器数据。
3.根据权利要求1所述的方法，其特征在于，所述基于多个通道的特征各自的权重数据以及所述多个通道的特征进行加权求和得到第二特征，包括：
基于多个通道的特征各自的权重数据以及指定的多种权重更新计算规则，计算每个通道的特征各自的权重数据分别对应于多种权重更新计算规则的权重数据，得到每个通道的特征对应的多个新的权重数据；
将每个通道的特征对应的多个新的权重数据进行平均和计算，得到每个通道的特征对应的目标权重数据；
基于每个通道的特征对应的目标权重数据以及每个通道的特征进行加权求和得到第二特征。
4.根据权利要求1-3任一所述的方法，其特征在于，所述基于所述第二特征与状态类别之间的映射关系，确定与所述第二特征对应的目标状态类别，并将所述目标状态类别对应的状态作为状态识别结果，包括：
将所述第二特征转换为多维向量形式；
获取基于所述多维向量形式的第二特征中的第一目标元素，所述第一目标元素为基于所述多维向量的第二特征中对应的值最大的元素；
将所述映射关系中所述第一目标元素所对应的状态类别，作为目标状态类别，并将所述目标状态类别对应的状态作为状态识别结果。
5.根据权利要求3所述的方法，其特征在于，所述基于每个通道的特征对应的目标权重数据以及每个通道的特征进行加权求和得到第二特征之后还包括：
获取存储的多个历史第二特征；
对所述多个历史第二特征与所述第二特征进行平滑处理，得到处理后的第二特征；
对所述处理后的第二特征进行存储；
所述基于所述第二特征与状态类别之间的映射关系，确定与所述第二特征对应的目标状态类别，并将所述目标状态类别对应的状态作为状态识别结果，包括：
将所述处理后的第二特征转换为多维向量形式；
获取基于所述多维向量形式的处理后的第二特征中的第二目标元素，所述第二目标元素为基于所述多维向量的处理后的第二特征中对应的值最大的元素；
将所述映射关系中所述第二目标元素所对应的状态类别，作为目标状态类别，并将所述目标状态类别对应的状态作为状态识别结果。
6.根据权利要求1所述的方法，其特征在于，所述电子设备还包括数字信号处理器；所述处理器获取所述运动传感器采集的传感器数据之前还包括：
所述数字信号处理器获取所述运动传感器采集的传感器数据；
若所述数字信号处理器基于所述传感器数据检测到状态切换时，触发所述处理器执行所述获取所述运动传感器采集的传感器数据。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
所述数字信号处理器通过基于序列神经网络的循环神经模型对所述传感器数据进行识别，得到识别结果；
基于所述识别结果确定状态是否发生切换，其中，所述基于序列神经网络的循环神经模型所需的计算资源低于所述目标循环神经网络所需的计算资源。
8.根据权利要求6所述的方法，其特征在于，所述数字信号处理器获取所述运动传感器采集的传感器数据之前还包括：
检测当前的屏幕状态；
若为息屏状态，执行所述数字信号处理器获取所述运动传感器采集的传感器数据；
若为亮屏状态，执行所述处理器获取所述运动传感器采集的传感器数据。
9.一种状态识别装置，其特征在于，所述装置运行于电子设备包括的处理器，所述电子设备还包括运动传感器，所述装置包括：
数据采集单元，用于获取所述运动传感器采集的传感器数据；
第一特征获取单元，用于对所述传感器数据进行卷积处理得到第一局部特征；对所述第一局部特征进行归一化处理得到归一化特征；对所述归一化特征进行线性计算得到线性特征；基于目标循环神经网络包括的门循环单元对所述线性特征进行处理得到第一特征；
第二特征获取单元，用于在当次的注意力特征提取过程中，对当次进行注意力特征提取的通道的特征进行池化得到指定维度的特征，所述指定维度的特征包括所述当次进行注意力特征提取的通道的特征中排序靠前的多个特征；基于第一全连接网络将所述指定维度的特征提取为指定尺寸的特征，所述指定尺寸与所述第一特征的尺寸相同；基于第二全连接网络对所述指定尺寸的特征进行局部特征计算，得到第二局部特征，所述第二局部特征的尺寸与所述第一特征的尺寸相同；对所述第二局部特征进行归一化处理，得到归一化后的权重数据；将所述归一化后的权重数据加权到所述多个通道的特征；
进入下一次的所述注意力特征提取过程，直到完成对所有的通道的特征的注意力特征提取；在完成对所有的通道的特征的注意力特征提取后，基于多个通道的特征各自的权重数据以及所述多个通道的特征进行加权求和得到第二特征；
状态识别单元，用于基于所述第二特征与状态类别之间的映射关系，确定与所述第二特征对应的目标状态类别，并将所述目标状态类别对应的状态作为状态识别结果。
10.一种电子设备，其特征在于，包括处理器、数字信号处理器以及存储器；一个或多个程序被存储在所述存储器中并被配置为由所述处理器以及所述数字信号处理器执行以实现权利要求1-8任一所述的方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码被处理器或者数字信号处理器运行时执行权利要求1-8任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010388947.XA CN111582382B (zh) | 2020-05-09 | 2020-05-09 | 状态识别方法、装置以及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010388947.XA CN111582382B (zh) | 2020-05-09 | 2020-05-09 | 状态识别方法、装置以及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111582382A CN111582382A (zh) | 2020-08-25 |
| CN111582382B true CN111582382B (zh) | 2023-10-31 |
Family
ID=72113504
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010388947.XA Active CN111582382B (zh) | 2020-05-09 | 2020-05-09 | 状态识别方法、装置以及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111582382B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112016086A (zh) * | 2020-08-28 | 2020-12-01 | 天津大学 | 基于卷积神经网络和选择消息方法的功耗攻击方法 |
| CN112926553B (zh) * | 2021-04-25 | 2021-08-13 | 北京芯盾时代科技有限公司 | 一种动作检测网络的训练方法及装置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10089556B1 (en) * | 2017-06-12 | 2018-10-02 | Konica Minolta Laboratory U.S.A., Inc. | Self-attention deep neural network for action recognition in surveillance videos |
| CN108960189A (zh) * | 2018-07-20 | 2018-12-07 | 南京旷云科技有限公司 | 图像再识别方法、装置及电子设备 |
| CN109214452A (zh) * | 2018-08-29 | 2019-01-15 | 杭州电子科技大学 | 基于注意深度双向循环神经网络的hrrp目标识别方法 |
| CN109817246A (zh) * | 2019-02-27 | 2019-05-28 | 平安科技（深圳）有限公司 | 情感识别模型的训练方法、情感识别方法、装置、设备及存储介质 |
| CN110610158A (zh) * | 2019-09-16 | 2019-12-24 | 南京师范大学 | 一种基于卷积和门控循环神经网络的人体姿态识别方法及系统 |
| CN110659641A (zh) * | 2018-06-28 | 2020-01-07 | 杭州海康威视数字技术股份有限公司 | 一种文字识别的方法、装置及电子设备 |
| CN110728183A (zh) * | 2019-09-09 | 2020-01-24 | 天津大学 | 一种基于注意力机制的神经网络的人体动作识别方法 |
| CN110909543A (zh) * | 2019-11-15 | 2020-03-24 | 广州洪荒智能科技有限公司 | 意图识别方法、装置、设备及介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9830709B2 (en) * | 2016-03-11 | 2017-11-28 | Qualcomm Incorporated | Video analysis with convolutional attention recurrent neural networks |
| KR20180080446A (ko) * | 2017-01-04 | 2018-07-12 | 삼성전자주식회사 | 음성 인식 방법 및 음성 인식 장치 |
-
2020
- 2020-05-09 CN CN202010388947.XA patent/CN111582382B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10089556B1 (en) * | 2017-06-12 | 2018-10-02 | Konica Minolta Laboratory U.S.A., Inc. | Self-attention deep neural network for action recognition in surveillance videos |
| CN110659641A (zh) * | 2018-06-28 | 2020-01-07 | 杭州海康威视数字技术股份有限公司 | 一种文字识别的方法、装置及电子设备 |
| CN108960189A (zh) * | 2018-07-20 | 2018-12-07 | 南京旷云科技有限公司 | 图像再识别方法、装置及电子设备 |
| CN109214452A (zh) * | 2018-08-29 | 2019-01-15 | 杭州电子科技大学 | 基于注意深度双向循环神经网络的hrrp目标识别方法 |
| CN109817246A (zh) * | 2019-02-27 | 2019-05-28 | 平安科技（深圳）有限公司 | 情感识别模型的训练方法、情感识别方法、装置、设备及存储介质 |
| CN110728183A (zh) * | 2019-09-09 | 2020-01-24 | 天津大学 | 一种基于注意力机制的神经网络的人体动作识别方法 |
| CN110610158A (zh) * | 2019-09-16 | 2019-12-24 | 南京师范大学 | 一种基于卷积和门控循环神经网络的人体姿态识别方法及系统 |
| CN110909543A (zh) * | 2019-11-15 | 2020-03-24 | 广州洪荒智能科技有限公司 | 意图识别方法、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111582382A (zh) | 2020-08-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111931701B (zh) | 基于人工智能的姿态识别方法、装置、终端和存储介质 | |
| CN107633207B (zh) | Au特征识别方法、装置及存储介质 | |
| CN112734775B (zh) | 图像标注、图像语义分割、模型训练方法及装置 | |
| CN109993102B (zh) | 相似人脸检索方法、装置及存储介质 | |
| CN106295591A (zh) | 基于人脸图像的性别识别方法及装置 | |
| CN110929774A (zh) | 图像中目标物的分类方法、模型训练方法和装置 | |
| CN106648078B (zh) | 应用于智能机器人的多模态交互方法及系统 | |
| CN110827236B (zh) | 基于神经网络的脑组织分层方法、装置、计算机设备 | |
| CN111199202B (zh) | 基于循环注意力网络的人体动作识别方法及识别装置 | |
| CN111582382B (zh) | 状态识别方法、装置以及电子设备 | |
| CN113255630B (zh) | 一种运动目标识别训练方法、运动目标识别方法及装置 | |
| CN113807399A (zh) | 一种神经网络训练方法、检测方法以及装置 | |
| CN111694954B (zh) | 图像分类方法、装置和电子设备 | |
| CN112733942A (zh) | 一种基于多级特征自适应融合的变尺度目标检测方法 | |
| CN115131604A (zh) | 一种多标签图像分类方法、装置、电子设备及存储介质 | |
| CN116030237A (zh) | 工业缺陷检测方法、装置及电子设备、存储介质 | |
| CN111340213B (zh) | 神经网络的训练方法、电子设备、存储介质 | |
| CN115546576A (zh) | 建立预测模型的方法及装置 | |
| CN104021372A (zh) | 一种人脸识别方法及装置 | |
| CN114758382A (zh) | 基于自适应补丁学习的面部au检测模型建立方法及应用 | |
| CN110059721A (zh) | 户型图区域识别方法、装置、设备及计算机可读存储介质 | |
| CN112825116B (zh) | 监控视频图像人脸检测和追踪方法、装置、介质及设备 | |
| CN113378852A (zh) | 关键点检测方法、装置、电子设备及存储介质 | |
| CN111429414B (zh) | 基于人工智能的病灶影像样本确定方法和相关装置 | |
| CN114360182A (zh) | 一种智能告警方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |