CN117708599A - 一种地面材质识别方法、网络的训练方法及电子设备 - Google Patents
一种地面材质识别方法、网络的训练方法及电子设备 Download PDFInfo
- Publication number
- CN117708599A CN117708599A CN202410152992.3A CN202410152992A CN117708599A CN 117708599 A CN117708599 A CN 117708599A CN 202410152992 A CN202410152992 A CN 202410152992A CN 117708599 A CN117708599 A CN 117708599A
- Authority
- CN
- China
- Prior art keywords
- acceleration
- data
- ground material
- electronic equipment
- ground
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000000463 material Substances 0.000 title claims abstract description 165
- 238000000034 method Methods 0.000 title claims abstract description 137
- 238000012549 training Methods 0.000 title claims abstract description 73
- 230000001133 acceleration Effects 0.000 claims abstract description 280
- 230000008569 process Effects 0.000 claims abstract description 37
- 230000006870 function Effects 0.000 claims description 37
- 238000004590 computer program Methods 0.000 claims description 20
- 238000013507 mapping Methods 0.000 claims description 19
- 230000004913 activation Effects 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 9
- 230000005764 inhibitory process Effects 0.000 claims description 4
- 239000010410 layer Substances 0.000 description 64
- 238000004891 communication Methods 0.000 description 22
- 238000012545 processing Methods 0.000 description 18
- 238000010295 mobile communication Methods 0.000 description 12
- 238000009826 distribution Methods 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 8
- 238000007726 management method Methods 0.000 description 8
- 238000012360 testing method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 208000016261 weight loss Diseases 0.000 description 5
- 230000004580 weight loss Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 229920001621 AMOLED Polymers 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000006641 stabilisation Effects 0.000 description 3
- 238000011105 stabilization Methods 0.000 description 3
- 230000003416 augmentation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000002096 quantum dot Substances 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 239000010426 asphalt Substances 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 239000012792 core layer Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000010438 granite Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000004579 marble Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请公开一种地面材质识别方法、网络的训练方法及电子设备,属于终端技术领域,包括获取训练数据,所述训练数据包括电子设备在跌落过程中触地碰撞阶段的加速度特征数据以及与所述加速度特征数据对应的地面材质标签;以所述加速度特征数据作为输入,以所述地面材质标签作为输出,训练所述地面材质识别网络至收敛,得到训练后的地面材质识别网络。这样,以电子设备在跌落过程中触地碰撞阶段的加速度特征数据作为训练数据,训练得到的地面材质识别网络,能够基于电子设备自身采集的加速度数据识别地面材质。从而解决目前难以确定电子设备跌落触地时的地面材质的问题。
Description
技术领域
本申请属于终端技术领域,尤其涉及一种地面材质识别方法、网络的训练方法及电子设备。
背景技术
手机等电子设备跌落触地时,跌落的地面材质对于手机等电子设备失效模式有着重要影响。获取用户跌落触地时的地面材质,并分析在不同地面材质场景下,手机跌落碰撞后的损坏情况,才能针对性地进行结构优化,提高手机等电子设备跌落在多种地面材质场景下的稳定性。
然而,目前只能通过观察失效样机的破坏形貌,反推其跌落触地的地面材质。而这种反推的方法难以确定其跌落触地的地面材质。
发明内容
本申请提供一种地面材质识别方法、网络的训练方法及电子设备,能够通过地面材质识别网络识别电子设备跌落时的地面材质。
第一方面,本申请提供一种地面材质识别网络的训练方法,所述方法包括:获取训练数据,所述训练数据包括电子设备在跌落过程中触地碰撞阶段的加速度特征数据以及与所述加速度特征数据对应的地面材质标签; 以所述加速度特征数据作为输入,以所述地面材质标签作为输出,训练所述地面材质识别网络至收敛,得到训练后的地面材质识别网络。
这样,以电子设备在跌落过程中触地碰撞阶段的加速度特征数据作为训练数据,训练得到的地面材质识别网络,能够基于电子设备自身采集的加速度数据识别地面材质。从而解决目前难以确定电子设备跌落触地时的地面材质的问题。
在一种可实现方式中,所述方法还包括:获取电子设备的基础加速度数据,所述基础加速度数据包括所述电子设备在跌落过程中触地碰撞阶段的第一加速度数据;基于所述电子设备的基础加速度数据,截取所述第一加速度数据;对所述第一加速度数据进行特征提取,得到所述加速度特征数据。
这样,由于第一加速度数据能够一定程度地反映地面材质的特征,因此,这样网络训练过程收敛更快,并且训练的网络识别更加准确。另外,通过每条第一加速度数据进行特征提取,可以得到维度一致加速度特征数据,以更好地对网络进行训练。
在一种可实现方式中,所述基于所述电子设备的基础加速度数据,截取所述第一加速度数据,包括:基于所述电子设备的基础加速度数据,确定所述电子设备在跌落过程中失重阶段的第二加速度数据;确定所述电子设备在跌落过程中触地碰撞阶段的第一起始时刻;所述第一起始时刻对应的加速度数据为位于所述第二加速度数据之后,首个与所述第二加速度数据的差值大于第一加速度阈值的加速度数据;基于所述电子设备的基础加速度数据,确定所述电子设备在跌落后置于地面阶段的第三加速度数据;将所述第三加速度数据的第二起始时刻确定为所述电子设备在跌落过程中触地碰撞阶段的终止时刻;截取所述第一起始时刻与所述终止时刻之间的加速度数据,得到所述第一加速度数据。
这样,可以通过基础加速度数据,确定失重阶段和跌落后置于地面阶段。进而基于失重阶段和跌落后置于地面阶段,确定触地碰撞阶段的起始时刻和终止时刻。然后,截取触地碰撞阶段的起始时刻和终止时刻之间的第一加速度数据。
在一种可实现方式中,所述第二加速度数据包括连续多个小于第二加速度阈值的加速度数值。
这样,根据失重阶段加速度数据的特点:该阶段电子设备的加速度数值显著低于重力加速度,且持续一段时间。因此,可以将满足包括连续多个小于第二加速度阈值的加速度数值的阶段确定为失重阶段。
在一种可实现方式中,所述第三加速度数据包括连续多个相对于重力加速度的浮动小于第三加速度阈值的加速度数值。
这样,根据跌落后置于地面阶段加速度数据的特点:该阶段电子设备稳定静止于地面上。该阶段电子设备的加速度的模稳定在重力加速度附近,仅有微小抖动。因此,可以将满足包括连续多个相对于重力加速度的浮动小于第三加速度阈值的加速度数值的阶段确定为跌落后置于地面阶段。
在一种可实现方式中,所述加速度特征数据包括以下至少一种:所述第一加速度数据对应的加速度最大值、加速度最小值、峰峰值、平均值、方根幅值、方差、标准差、均方根、翘度、偏度、波形因子、峰值因子、脉冲因子、裕度因子、余隙因子、能量、碰撞时间、峰值时间、波峰和波谷的数量、第一半峰宽、前三个峰的第一半峰宽之和、所有峰的第一半峰宽之和、第二半峰宽、波峰波谷数量×所述第一加速度数据长度、波峰波谷数量×所述第一加速度数据长度/第一半峰宽;其中,所述第一半峰宽是指在波峰波谷差的一半高度处,峰的宽度;所述第二半峰宽是指在波峰绝对高度的一半高度处,峰的宽度。
这样,可以得到对地面材质识别有价值的多个维度的时域特征,以提高地面材质识别网络的识别能力。
在一种可实现方式中,所述地面材质识别网络包括输入层、隐藏层和输出层;以所述加速度特征数据作为输入,以所述地面材质标签作为输出,训练所述地面材质识别网络至收敛,得到训练后的地面材质识别网络,包括:利用所述输入层,将所述加速度特征数据输入所述隐藏层;利用所述隐藏层,对输入的所述加速度特征数据进行预测处理,得到地面材质预测标签;通过所述输出层,输出所述地面材质预测标签;基于所述地面材质预测标签和所述训练数据中所述地面材质标签,确定损失值;在所述损失值小于损失阈值的情况下,结束对所述地面材质识别网络的训练,得到训练后的地面材质识别网络。
这样,可以基于损失值不断优化网络参数,直至得到网络参数最优的地面材质识别网络。
在一种可实现方式中,所述加速度特征数据包括多个维度的加速度特征数据;所述隐藏层包括至少一个全连接层、抑制过拟合层和激活函数层;利用所述隐藏层,对输入的所述加速度特征数据进行预测处理,得到地面材质预测标签,包括:利用所述至少一个全连接层,对所述加速度特征数据与地面材质预测标签进行映射处理,得到所述加速度特征数据与地面材质预测标签之间的线性映射关系;其中,所述线性映射关系包括与各维度的加速度特征数据对应的权重;在得到所述加速度特征数据与地面材质预测标签之间的线性映射关系过程中,利用所述抑制过拟合层,随机丢弃所述多个维度的加速度特征数据中部分维度的加速度特征数据对应的权重;利用所述激活函数层,在所述线性映射关系中引入非线性因子,并基于引入所述非线性因子的所述线性映射关系,得到地面材质预测标签。
这样,在每次全连接层训练阶段,可以通过抑制过拟合层,随机丢弃多个维度的加速度特征数据中部分维度的加速度特征数据对应的权重,以避免出现过拟合问题。另外,通过激活函数层引入非线性因子,可以帮助网络拟合尽可能多的曲线,从而达到帮助网络学习数据中复杂特征的目的,以更好地挖掘相关特征。
第二方面,本申请提供一种地面材质识别方法,应用于电子设备,所述电子设备配置有如第一方面任一项方法训练得到的地面材质识别网络;在所述电子设备发生跌落的情况下,获取所述电子设备在跌落过程中触地碰撞阶段的加速度特征数据;利用所述地面材质识别网络,基于所述加速度特征数据进行地面材质识别,得到地面材质识别结果。
这样,电子设备可以利用地面材质识别网络,基于采集的加速度数据,识别到电子设备跌落触地的地面材质。
在一种可实现方式中,所述方法还包括:在所述电子设备发生跌落的情况下,获取所述电子设备的基础加速度数据,所述基础加速度数据包括所述电子设备在跌落过程中触地碰撞阶段的第一加速度数据;基于所述电子设备的基础加速度数据,截取所述第一加速度数据;对所述第一加速度数据进行特征提取,得到所述加速度特征数据。
在一种可实现方式中,所述方法还包括:将所述地面材质识别结果发送至服务端。
这样,当手机等电子设备发生跌落时,配置在手机等电子设备中的地面材质识别网络可以基于电子设备在跌落过程中采集的加速度数据识别地面材质,并可以将地面材质识别结果反馈至服务端。这样,厂商可以基于服务端得到的地面材质识别结果以及维修信息等,确定不同地面材质对手机的失效模式的影响,从而可以针对性地对手机等电子设备进行结构优化,提高手机等电子设备跌落在多种地面材质场景下的稳定性。
第三方面,本申请提供一种电子设备,包括存储器和处理器;所述存储器和所述处理器耦合;所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,当所述处理器执行所述计算机指令时,使所述电子设备执行如第一方面或第二方面中任一项所述的方法。
第四方面,本申请提供一种芯片系统,所述芯片系统包括处理器;所述处理器与存储器耦合,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,当所述处理器执行所述计算机指令时,如第一方面或第二方面中任一项所述的方法被执行。
第五方面,本申请提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序或指令,当所述计算机程序或指令在计算机上运行时,使得计算机执行如第一方面或第二方面中任一项所述的方法。
第六方面,本申请提供一种计算机程序产品,所述计算机程序产品包括:计算机程序或指令,当所述计算机程序或指令在计算机上运行时,使得所述计算机执行如第一方面或第二方面中任一项所述的方法。
附图说明
图1为本申请实施例提供的一种地面材质识别网络训练方法的工作流程图;
图2为本申请实施例提供的一种电子设备在跌落过程中加速度数据随时间变化的示意图;
图3为本申请实施例提供的又一种地面材质识别网络训练方法的流程图;
图4为本申请实施例提供的又一种地面材质识别网络训练方法的流程图;
图5为本申请实施例提供的一种电子设备的硬件结构示意图;
图6为本申请实施例提供的一种电子设备的软件结构示意图;
图7为本申请实施例提供的一种地面材质识别方法的工作流程图;
图8为本申请实施例提供的一种芯片的结构框图。
具体实施方式
手机等电子设备跌落触地时,跌落的地面材质对于手机等电子设备失效模式有着重要影响。获取用户跌落触地时的地面材质,并分析在不同地面材质场景下,手机跌落碰撞后的损坏情况,才能针对性地进行结构优化,提高手机等电子设备跌落在多种地面材质场景下的稳定性。
然而,目前只能通过观察失效样机的破坏形貌,反推其跌落触地的地面材质。而这种反推的方法难以确定其跌落触地的地面材质。
本申请实施例提供一种地面材质识别方法,首先利用手机等电子设备跌落过程中的加速度数据训练一种地面材质识别网络。然后,将训练后的地面材质识别网络配置在手机等电子设备中。这样,当手机等电子设备发生跌落时,配置在手机等电子设备中的地面材质识别网络可以基于电子设备在跌落过程中采集的加速度数据识别地面材质,并可以将地面材质识别结果反馈至服务端。这样,厂商可以基于服务端得到的地面材质识别结果以及维修信息等,确定不同地面材质对手机的失效模式的影响,从而可以针对性地对手机等电子设备进行结构优化,提高手机等电子设备跌落在多种地面材质场景下的稳定性。
下面首先对本申请实施例提供的地面材质识别网络的训练方法进行说明。
本申请实施例提供的地面材质识别网络的训练方法可以通过在硬件计算环境中部署软件形式的神经网络模型和计算机程序代码的方式实现,可用的硬件计算环境例如:个人计算机、服务器、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、可编程的消费电子设备、云服务器、服务器实例、超级计算机等。
图1为本申请实施例提供的一种地面材质识别网络训练方法的工作流程图。如图1所示,该训练方法可以包括以下步骤:
S101,获取训练数据。
本申请实施例中,训练数据也可以称为样本数据,训练数据包括成对的加速度特征数据和地面材质标签。其中,加速度特征数据为电子设备在跌落过程中触地碰撞阶段的加速度特征数据。
其中,训练数据可以通过向不同地面材质上跌落电子设备的跌落实验获得,也可以通过用户反馈的发生跌落事件的失效样机获得。本申请对此不进行限定。
本申请实施例中电子设备内配置有加速度传感器,加速度传感器可以实时采集电子设备加速度数据。这样,以训练数据通过向不同地面材质上跌落电子设备的跌落实验获得为例,电子设备采集的加速度数据可以包括电子设备拿在手中、从手中跌落、触地碰撞以及稳定置于地面等多个阶段对应的加速度数据。但是,只有电子设备触地碰撞阶段对应的加速度数据,能够一定程度地反映地面材质的特征。因此,为了训练能够基于手机跌落时的加速度数据对地面材质进行识别的网络,可以对加速度计数据的进行截取,得到触地碰撞阶段对应的加速度数据。
图2为本申请实施例提供的一种电子设备在跌落过程中加速度数据随时间变化的示意图。其中,电子设备采集的加速度数据可以包括X轴、Y轴和Z轴三个方向的加速度分量。
在一种可实现方式中,如图2所示,纵坐标可以采用加速度的模(magnitude)表示加速度的大小。其中,加速度的模等于。其中,/>、/>和/>为加速度传感器中X轴、Y轴和Z轴三个方向的加速度分量。
如图2所示,电子设备跌落过程主要包括四个阶段:跌落前的稳定阶段、跌落失重阶段、触地碰撞阶段和跌落后的稳定阶段。
在跌落前的稳定阶段,电子设备可以拿在手中。因此,该阶段电子设备的加速度的模在重力加速度附近抖动。
在跌落失重阶段,电子设备中用户手中跌落进入失重状态。该阶段电子设备的加速度的模显著低于重力加速度,且持续一段时间。时间持续的长度与手机跌落时距离地面的高度有关。需要说明的是,虽然图2中3s左右的加速度的模也较低,但不属于跌落失重阶段,而是碰撞弹起后电子设备失重,导致的加速度的模较低。
在触地碰撞阶段,电子设备触地、并与地面多次碰撞。该阶段电子设备的加速度的模不断地发生显著突变。
在跌落后的稳定阶段,电子设备稳定静止于地面上。该阶段电子设备的加速度的模稳定在重力加速度附近,仅有微小抖动。
由此可见,本申请实施例要截取之间的加速度数据(可以称为第一加速度数据)。其中,/>为触地碰撞阶段的起始时刻(也可以称为第一起始时刻),/>为触地碰撞阶段的终止时刻。其中,截取/>之间的加速度数据的关键在于:确定触地碰撞阶段的起始时刻/>以及终止时刻/>。
在一种可实现方式中,确定触地碰撞阶段的起始时刻,可以采用下述方式实现:先基于电子设备的基础加速度数据,确定电子设备在跌落过程中失重阶段的加速度数据(可以称为第二加速度数据)。然后,将位于第二加速度数据之后,首个与第二加速度数据的差值大于第一加速度阈值的加速度数据对应的时刻,确定为触地碰撞阶段的起始时刻/>。
其中,基础加速度数据包括电子设备跌落过程中四个阶段对应的加速度数据。
其中,触地碰撞阶段的起始时刻为电子设备跌落后,首次触地的时间。电子设备触地后,其加速度数值相比于跌落失重阶段的第二加速度数据会发生显著的变化。因此,本申请实施例可以将位于第二加速度数据之后,首个与第二加速度数据的差值大于第一加速度阈值的加速度数据对应的时刻确定为触地碰撞阶段的起始时刻/>。
其中,结合图2可知,跌落失重阶段的第二加速度数据满足如下条件:第二加速度数据包括多个加速度数值,该多个加速度数值均小于第二加速度阈值,并且持续小于第二加速度阈值一段时间,例如,一段时间可以为第一时长。其中,第二加速度阈值为重力加速度,如:重力加速度为9.8 m/s2。第一时长大于预设时长,例如,预设时长可以为0.5s。
示例性的,可以采用滑动窗口法,遍历计算电子设备跌落全过程加速度的能量值,找到最早的低能量区域,该区域即为满足上述条件的跌落失重阶段,该区域对应的数据即为跌落失重阶段的加速度数据。其中,加速度的能量值为加速度的模的均方根。这样,通过滑动窗口法确定的跌落失重阶段显著低于正常重力加速度且持续了一小段时间。另外,使用滑动窗口法能够滤除微小的数据扰动对跌落失重阶段的判断影响。
在一种可实现方式中,确定触地碰撞阶段的终止时刻,可以采用下述方式实现:基于电子设备的基础加速度数据,确定电子设备在跌落后置于地面阶段的第三加速度数据。然后,将第三加速度数据的起始时刻(也可以称为第二起始时刻)确定为电子设备在跌落过程中触地碰撞阶段的终止时刻/>。
结合图2可知,电子设备触地碰撞阶段结束后,电子设备稳定静止于地面上。电子设备稳定静止于地面时,电子设备的加速度的模稳定在重力加速度附近,仅有微小抖动。因此,本申请实施例可以将满足如下条件的时刻确定为终止时刻:终止时刻/>以及终止时刻/>之后一段时间对应的加速度数据相对于重力加速度的浮动均小于第三加速度阈值。或者,终止时刻/>以及终止时刻/>之后连续多个加速度数据相对于重力加速度的浮动均小于第三加速度阈值。
示例性的,基于电子设备的基础加速度数据,确定位于失重阶段之后的某一时刻及其后续连续20个时刻的加速度的模均稳定在重力加速度附近,且相对重力加速度的幅值抖动均小于第三加速度阈值,则判断该时刻为触地碰撞阶段的终止时刻。例如,重力加速度为9.8 m/s2,第三加速度阈值可以为±0.1m/s2。
这样,确定触地碰撞阶段的起始时刻以及终止时刻/>后,可以截取起始时刻/>以及终止时刻/>之间的加速度数据,得到触地碰撞阶段对应的第一加速度数据。
由于每次跌落过程中触地碰撞阶段的时长可能不同,因此,截取到的第一加速度数据的长短不一。而长短不一的第一加速度数据不适用于作为神经网络的输入进行训练。因此,本申请实施例可以进一步对每条第一加速度数据进行特征提取,得到维度一致加速度特征数据。
本申请实施例中,加速度特征数据可以包括对地面材质识别有价值的时域特征。示例性的,本申请实施例提取的加速度特征数据可以包括表1中示出的部分或全部特征。其中,表1中,accm表示截取的起始时刻以及终止时刻/>之间的加速度的模;/>表示起始时刻/>以及终止时刻/>之间任一时刻对应的加速度的模;n表示数据长度,即起始时刻/>以及终止时刻/>之间的加速度的模的数量。n为大于1的正整数。
表1 加速度特征数据
;
这样,对每条第一加速度数据进行特征提取后,均可以得到如表1中所列举的25个维度的加速度特征数据。
进一步的,为每一条加速度特征数据添加对应的地面材质标签,便可以得到训练数据。其中,训练数据中地面材质标签为各条加速度特征数据对应的真实值。例如,地面材质标签可以包括被子、地毯、沥青、花岗岩、软垫等地面材质类别。具体的,地面材质标签可以分别用标签0-4表示。
在一些实施例中,还可以将上述训练数据分为训练集和测试集。例如:根据8:2的比例将五类地面材质的训练数据划分为训练集和测试集,其中,训练集320条,测试集80条。
在一些实施例中,还可以将对加速度特征数据进行均值方差归一化处理,以将加速度特征数据中每个维度特征都归到均值为0,方差为1的分布中。这样,能够有效消除每个特征维度的量纲的影响,提高地面材质识别网络的鲁棒性。
综上,本申请实施例可以基于电子设备跌落过程中采集的加速度数据,截取能够反映地面材质的特征的触地碰撞阶段对应的第一加速度数据,并对第一加速度数据进行特征提取,以得到训练数据。
下面对基于训练数据进行网络训练的过程进行说明。
S102,以加速度特征数据作为输入,以地面材质标签作为输出,训练地面材质识别网络至收敛,得到训练后的地面材质识别网络。
在一些实施例中,如图3所示,地面材质识别网络可以包括输入层、隐藏层和输出层。这样,可以将加速度特征数据输入输入层,并通过输入层将加速度特征数据传递至隐藏层。隐藏层接收到加速度特征数据后,可以对输入的加速度特征数据进行预测处理,得到地面材质预测标签。并将地面材质预测标签通过输出层输出。之后,可以基于地面材质预测标签和训练数据中地面材质标签,确定损失值。在损失值小于损失阈值的情况下,结束对地面材质识别网络的训练,得到训练后的地面材质识别网络。在损失值大于或者损失阈值的情况下,继续优化地面材质识别网络的网络参数,直至损失值小于损失阈值。
在一些实施例中,如图4所示,隐藏层可以包括至少一个全连接层、抑制过拟合层和激活函数层。
在全连接层可以对加速度特征数据与地面材质预测标签进行映射处理。示例性的,全连接层可以通过矩阵乘法运算,进行映射处理。例如,矩阵乘法运算公式如公式(1)所示:
公式(1)
其中,公式(1)中,表示第/>层全连接网络的输入向量,/>表示第/>层全连接网络的权重矩阵,/>表示第/>层全连接网络的偏置量,/>表示第/>层全连接网络的输出向量。
其中,输入向量为加速度特征数据对应的向量,输出向量为预测的地面材质预测标签。
例如,对于第一层全连接网络,输入向量可以为包括25个维度的加速度特征数据。这样,可以表示为[a1,a2,……a25],其中,a1,a2,……a25表示如表1中示出的25个维度的加速度特征。
这样,可以通过不断训练、优化参数和/>,以得到损失值小于损失阈值的地面材质识别网络。
为防止出现过拟合问题,本申请实施例可以采用包含抑制过拟合层的地面材质识别网络。例如,抑制过拟合层可以采用丢弃(Dropout)层。这样,在每次全连接层训练阶段可以通过Dropout层,随机丢弃多个维度的加速度特征数据中部分维度的加速度特征数据对应的权重。其中,每次丢弃的权重都是随机的,也就是说,每次丢弃的权重都可能是不同的,这样可以避免出现过拟合问题。
需要说明的是,经过至少一个全连接层,进行映射处理得到的映射关系为加速度特征与地面材质预测标签之间的线性映射关系。为了使地面材质识别网络拟合尽可能多的曲线,从而达到帮助网络学习数据中复杂特征的目的。本申请实施例可以通激活函数层,在线性映射关系中引入非线性因子,并基于引入非线性因子的线性映射关系,得到地面材质预测标签。
示例性的,由于ReLU函数没有复杂的数学运算、计算开销小,因此,激活函数层可以选用ReLU激活函数,以花费更少的时间进行训练或预测。ReLU函数是分段线性函数,把所有的负值的输入都变为0,而所有正值的输入不变。这样,ReLU可以实现稀疏地激活,以更好地挖掘相关特征,拟合训练数据。另外,对于非线性函数而言,ReLU由于非负区间的梯度为常数。因此,不存在梯度消失问题,使得网络的收敛速度维持在一个稳定状态。
在一些实施例中,输出层输出预测的地面材质预测标签后,可以采用交叉熵的损失函数计算损失值。
示例性的,可以采用如下公式(2)计算地面材质预测标签与地面材质真实标签(即训练数据中与输入对应的地面材质标签)之间的损失值Loss。
公式(2)
其中,公式(2)中,,/>表示第/>个样本的地面材质真实标签,而/>,/>表示第/>个样本的地面材质预测标签。
根据上述公式(2)可知,损失值Loss描述的是两个概率分布之间的距离,而神经网络的输出却不一定是一个概率分布。为了解决这个问题,可以在输出层后使用 Softmax 激活函数,将神经网络前向传播得到的输出变成一个概率分布,例如,输出的概率分布满足如下公式(3):
公式(3)
其中,公式(3)中,表示使用 Softmax 激活函数后输出的概率分布。
由上述公式(3)可知,原始神经网络的输出被用作置信度来生成新的输出,而新的输出满足概率分布的所有要求。这个新的输岀可以理解为经过神经网络的推导,一个样本为不同类别的概率分别是多大。这样就把神经网络的输出也变成了一个概率分布,从而可以通过交叉熵来计算预测的概率分布和真实的概率分布之间的距离。
这样,通过反向传播算法计算损失函数对每一个参数的梯度,再根据梯度和学习率使用梯度下降算法更新每一个参数。梯度下降算法主要用于优化单个参数的取值,而反向传播算法在所有参数上使用梯度下降算法,从而使地面材质识别网络在训练数据上的损失函数尽可能小,直至小训练至小于损失阈值。
需要说明的是,本申请实施例仅以损失值,对地面材质识别网络进行训练为例进行示例性说明,并不表示对地面材质识别网络训练方法的限定。例如,也可以在地面材质识别网络训练的训练次数达到预设次数时,结束训练,得到训练后的地面材质识别网络。
表2为利用测试集对训练后的地面材质识别网络进行测试的测试结果。
表2 地面材质识别的测试结果
;
如表2所示,本申请实施例训练后的地面材质识别网络对各地面材质类别的识别准确度都在90%以上,并且整体准确度为90%。可见,训练后的地面材质识别网络准确度很好。另外,整体测试时长仅需0.009秒,可见,训练后的地面材质识别网络响应速度很快。
本申请实施例中,可以将训练后的地面材质识别网络配置在电子设备中。这样,配置有地面材质识别网络的电子设备,能够实现对跌落的地面材质进行识别。其中,电子设备还要求配置的加速度传感器,以通过加速度传感器采集电子设备跌落过程中的加速度数据。
下面以电子设备为手机为例,对本申请实施例中电子设备的结构进行说明。
图5为本申请实施例提供的一种电子设备的硬件结构示意图。如图5所示,电子设备200可以包括处理器210,外部存储器接口220,内部存储器221,通用串行总线(universalserial bus,USB)接口230,充电管理模块240,电源管理模块241,电池242,天线1,天线2,移动通信模块250,无线通信模块260,音频模块270,扬声器270A,受话器270B,麦克风270C,耳机接口270D,传感器模块280,按键290,马达291,指示器292,摄像头293,显示屏294,以及用户标识模块(subscriber identification module,SIM)卡接口295等。其中传感器模块280可以包括压力传感器280A,陀螺仪传感器280B,气压传感器280C,磁传感器280D,加速度传感器280E,距离传感器280F,接近光传感器280G,指纹传感器280H,温度传感器280J,触摸传感器280K,环境光传感器280L,骨传导传感器280M等。
可以理解的是,本发明实施例示意的结构并不构成对电子设备200的具体限定。在本申请另一些实施例中,电子设备200可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器210可以包括一个或多个处理单元,例如:处理器210可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器210中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器210中的存储器为高速缓冲存储器。该存储器可以保存处理器210刚用过或循环使用的指令或数据。如果处理器210需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器210的等待时间,因而提高了系统的效率。
在一些实施例中,处理器210可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口230等。
电子设备200的无线通信功能可以通过天线1,天线2,移动通信模块250,无线通信模块260,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备200中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块250可以提供应用在电子设备200上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块250可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块250可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块250还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块250的至少部分功能模块可以被设置于处理器210中。在一些实施例中,移动通信模块250的至少部分功能模块可以与处理器210的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器270A,受话器270B等)输出声音信号,或通过显示屏294显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器210,与移动通信模块250或其他功能模块设置在同一个器件中。
无线通信模块260可以提供应用在电子设备200上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块260可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块260经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器210。无线通信模块260还可以从处理器210接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,电子设备200的天线1和移动通信模块250耦合,天线2和无线通信模块260耦合,使得电子设备200可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(codedivision multiple access,CDMA),宽带码分多址(wideband code division multipleaccess,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC ,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system ,GPS),全球导航卫星系统(global navigation satellite system,GLONASS),北斗卫星导航系统(beidounavigation satellite system,BDS),准天顶卫星系统(quasi-zenith satellitesystem,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。
加速度传感器280E可检测电子设备200在各个方向上(一般为三轴)加速度的大小。当电子设备200静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。本申请实施例还可以用于实现对跌落地面材质的识别。
电子设备200通过GPU,显示屏294,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏294和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器210可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏294用于显示图像,视频等。显示屏294包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备200可以包括1个或N个显示屏294,N为大于1的正整数。
外部存储器接口220可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备200的存储能力。外部存储卡通过外部存储器接口220与处理器210通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器221可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。内部存储器221可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备200使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器221可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。处理器210通过运行存储在内部存储器221的指令,和/或存储在设置于处理器中的存储器的指令,执行电子设备200的各种功能应用以及数据处理。
电子设备200可以通过音频模块270,扬声器270A,受话器270B,麦克风270C,耳机接口270D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
按键290包括开机键,音量键等。按键290可以是机械按键。也可以是触摸式按键。电子设备200可以接收按键输入,产生与电子设备200的用户设置以及功能控制有关的键信号输入。
马达291可以产生振动提示。马达291可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏294不同区域的触摸操作,马达291也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器292可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
SIM卡接口295用于连接SIM卡。SIM卡可以通过插入SIM卡接口295,或从SIM卡接口295拔出,实现和电子设备200的接触和分离。电子设备200可以支持1个或N个SIM卡接口,N为大于1的正整数。SIM卡接口295可以支持Nano SIM卡,Micro SIM卡,SIM卡等。同一个SIM卡接口295可以同时插入多张卡。所述多张卡的类型可以相同,也可以不同。SIM卡接口295也可以兼容不同类型的SIM卡。SIM卡接口295也可以兼容外部存储卡。电子设备200通过SIM卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,电子设备200采用eSIM,即:嵌入式SIM卡。eSIM卡可以嵌在电子设备200中,不能和电子设备200分离。
电子设备200的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本发明实施例以分层架构的Android系统为例,示例性说明电子设备200的软件结构。
图6是本申请实施例的电子设备200的软件结构框图。
分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(Android runtime)和系统库,以及内核层。
应用程序层可以包括一系列应用程序包。
如图6所示,应用程序包可以包括相机,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,视频,短信息等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图6所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供电子设备200的通信功能。例如通话状态的管理(包括接通,挂断等)。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(Media Libraries),三维图形处理库(例如:OpenGL ES),2D图形引擎(例如:SGL)等。
表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如: MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。
三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。
图7为本申请实施例提供的一种地面材质识别方法的工作流程图。如图7所示,该方法可以包括以下步骤:
S301,在电子设备发生跌落的情况下,获取电子设备的基础加速度数据,基础加速度数据包括电子设备在跌落过程中触地碰撞阶段的第一加速度数据。
S302,基于电子设备的基础加速度数据,截取第一加速度数据。
S303,对第一加速度数据进行特征提取,得到加速度特征数据。
其中,电子设备检测到电子设备发生跌落事件的情况下,可以获取电子设备的基础加速度数据,进而可以基础加速度数据提取加速度特征数据,并将加速度特征数据输入到地面材质识别网络进行地面材质识别。
在一种可实现方式中,在电子设备检测到加速度数据包括满足图1中四个阶段对应的加速度数据时,可以确定电子设备发生跌落事件。
S304,利用地面材质识别网络,基于加速度特征数据进行地面材质识别,得到地面材质识别结果。
S305,将地面材质识别结果发送至服务端。
其中,步骤S301至S303可以参见步骤S101的描述,步骤S304可以参见步骤S102的描述,此处不再赘述。
需要说明的是,步骤S304与步骤S102的区别在于,步骤S304基于输入的加速度特征数据,输出地面材质识别结果后,不需要进一步计算损失值。其中,地面材质识别结果是指地面材质的种类,如大理石、被子等。
这样,厂商可以基于服务端接收到的地面材质识别结果,确定不同地面材质对手机的失效模式的影响,从而可以针对性地对手机等电子设备进行结构优化,提高手机等电子设备跌落在多种地面材质场景下的稳定性。
在一些实施例中,厂商还可以基于服务端接收到的地面材质识别结果以及用户的维修信息等,分析电子设备跌落在不同地面材质的失效率。然后,可以针对失效率高的场景,进行电子设备结构优化设计,使优化后的电子设备能够降低高失效率场景下的失效率。
本文中描述的各个方法实施例可以为独立的方案,也可以根据内在逻辑进行组合,这些方案都落入本申请的保护范围中。
可以理解的是,上述各个方法实施例中,由电子设备实现的方法和操作,也可以由可用于电子设备的部件(例如芯片或者电路)实现。
上述实施例对本申请提供的地面材质识别网络训练方法、地面材质识别方法进行了介绍。可以理解的是,电子设备为了实现上述功能,其包含了执行每一个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例还提供了一种处理装置,该处理装置包括至少一个处理器和通信接口。所述通信接口用于为所述至少一个处理器提供信息输入和/或输出,所述至少一个处理器用于执行上述方法实施例中的方法。
应理解,上述处理装置可以是一个芯片。例如,参见图8,图8为本申请实施例提供的一种芯片的结构框图。图8所示的芯片可以为通用处理器,也可以为专用处理器。该芯片400可以包括至少一个处理器401。其中,所述至少一个处理器401可以用于支持执行图1至图7中任意一个实施例所示的技术方案。
可选的,该芯片400还可以包括收发器402,收发器402用于接受处理器401的控制,用于支持执行图1至图7中任意一个实施例所示的技术方案。可选的,图8所示的芯片400还可以包括存储介质403。具体的,所述收发器402可以替换为通信接口,所述通信接口为所述至少一个处理器401提供信息输入和/或输出。
需要说明的是,图8所示的芯片400可以使用下述电路或者器件来实现:一个或多个现场可编程门阵列(field programmable gate array,FPGA)、可编程逻辑器件(programmable logic device,PLD)、专用集成芯片(application specific integratedcircuit,ASIC)、系统芯片(system on chip,SoC)、中央处理器(central processor unit,CPU)、网络处理器(network processor,NP)、数字信号处理电路(digital signalprocessor,DSP)、微控制器(micro controller unit,MCU),控制器、状态机、门逻辑、分立硬件部件、任何其他适合的电路、或者能够执行本申请通篇所描述的各种功能的电路的任意组合。
在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。为避免重复,这里不再详细描述。
应注意,本申请实施例中的处理器可以是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。
可以理解,本申请实施例中的存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(read-only memory,ROM)、可编程只读存储器(programmable ROM,PROM)、可擦除可编程只读存储器(erasable PROM,EPROM)、电可擦除可编程只读存储器(electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(static RAM,SRAM)、动态随机存取存储器(dynamic RAM,DRAM)、同步动态随机存取存储器(synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(double data rateSDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(directrambus RAM,DR RAM)。应注意,本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
根据本申请实施例提供的方法,本申请实施例还提供一种计算机程序产品,该计算机程序产品包括:计算机程序或指令,当该计算机程序或指令在计算机上运行时,使得该计算机执行方法实施例中任意一个实施例的方法。
根据本申请实施例提供的方法,本申请实施例还提供一种计算机存储介质,该计算机存储介质存储有计算机程序或指令,当该计算机程序或指令在计算机上运行时,使得该计算机执行方法实施例中任意一个实施例的方法。
根据本申请实施例提供的方法,本申请实施例还提供一种电子设备,包括存储器和处理器;所述存储器和所述处理器耦合;所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,当所述处理器执行所述计算机指令时,使所述电子设备执行方法实施例中任意一个实施例的方法。
根据本申请实施例提供的方法,本申请实施例还提供了一种芯片系统,该芯片系统包括处理器,所述处理器与存储器耦合,用于执行所述存储器中存储的计算机程序或指令,当所述计算机程序或指令被执行时,可使芯片系统实施方法实施例中的全部或部分步骤。该芯片系统可以由芯片构成,也可以包含芯片和其他分立器件。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各种说明性逻辑块(illustrative logical block)和步骤(step),能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
上述本申请实施例提供的计算机存储介质、计算机程序产品、电子设备均用于执行上文所提供的方法,因此,其所能达到的有益效果可参考上文所提供的方法对应的有益效果,在此不再赘述。
应理解,在本申请的各个实施例中,各步骤的执行顺序应以其功能和内在逻辑确定,各步骤序号的大小并不意味着执行顺序的先后,不对实施例的实施过程构成限定。
本说明书的各个部分均采用递进的方式进行描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点介绍的都是与其他实施例不同之处。尤其,对于装置、计算机存储介质、计算机程序产品、电子设备的实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例中的说明即可。
尽管已描述了本申请的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
以上所述的本申请实施方式并不构成对本申请保护范围的限定。
Claims (15)
1.一种地面材质识别网络的训练方法,其特征在于,所述方法包括:
获取训练数据,所述训练数据包括电子设备在跌落过程中触地碰撞阶段的加速度特征数据以及与所述加速度特征数据对应的地面材质标签;
以所述加速度特征数据作为输入,以所述地面材质标签作为输出,训练所述地面材质识别网络至收敛,得到训练后的地面材质识别网络。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取电子设备的基础加速度数据,所述基础加速度数据包括所述电子设备在跌落过程中触地碰撞阶段的第一加速度数据;
基于所述电子设备的基础加速度数据,截取所述第一加速度数据;
对所述第一加速度数据进行特征提取,得到所述加速度特征数据。
3.根据权利要求2所述的方法,其特征在于,所述基于所述电子设备的基础加速度数据,截取所述第一加速度数据,包括:
基于所述电子设备的基础加速度数据,确定所述电子设备在跌落过程中失重阶段的第二加速度数据;
确定所述电子设备在跌落过程中触地碰撞阶段的第一起始时刻;所述第一起始时刻对应的加速度数据为位于所述第二加速度数据之后,首个与所述第二加速度数据的差值大于第一加速度阈值的加速度数据;
基于所述电子设备的基础加速度数据,确定所述电子设备在跌落后置于地面阶段的第三加速度数据;
将所述第三加速度数据的第二起始时刻确定为所述电子设备在跌落过程中触地碰撞阶段的终止时刻;
截取所述第一起始时刻与所述终止时刻之间的加速度数据,得到所述第一加速度数据。
4.根据权利要求3所述的方法,其特征在于,所述第二加速度数据包括连续多个小于第二加速度阈值的加速度数值。
5.根据权利要求3所述的方法,其特征在于,所述第三加速度数据包括连续多个相对于重力加速度的浮动小于第三加速度阈值的加速度数值。
6.根据权利要求2所述的方法,其特征在于,所述加速度特征数据包括以下至少一种:
所述第一加速度数据对应的加速度最大值、加速度最小值、峰峰值、平均值、方根幅值、方差、标准差、均方根、翘度、偏度、波形因子、峰值因子、脉冲因子、裕度因子、余隙因子、能量、碰撞时间、峰值时间、波峰和波谷的数量、第一半峰宽、前三个峰的第一半峰宽之和、所有峰的第一半峰宽之和、第二半峰宽、波峰波谷数量×所述第一加速度数据长度、波峰波谷数量×所述第一加速度数据长度/第一半峰宽;其中,所述第一半峰宽是指在波峰波谷差的一半高度处,峰的宽度;所述第二半峰宽是指在波峰绝对高度的一半高度处,峰的宽度。
7.根据权利要求1-6任一项所述的方法,其特征在于,所述地面材质识别网络包括输入层、隐藏层和输出层;以所述加速度特征数据作为输入,以所述地面材质标签作为输出,训练所述地面材质识别网络至收敛,得到训练后的地面材质识别网络,包括:
利用所述输入层,将所述加速度特征数据输入所述隐藏层;
利用所述隐藏层,对输入的所述加速度特征数据进行预测处理,得到地面材质预测标签;
通过所述输出层,输出所述地面材质预测标签;
基于所述地面材质预测标签和所述训练数据中所述地面材质标签,确定损失值;
在所述损失值小于损失阈值的情况下,结束对所述地面材质识别网络的训练,得到训练后的地面材质识别网络。
8.根据权利要求7所述的方法,其特征在于,所述加速度特征数据包括多个维度的加速度特征数据;所述隐藏层包括至少一个全连接层、抑制过拟合层和激活函数层;利用所述隐藏层,对输入的所述加速度特征数据进行预测处理,得到地面材质预测标签,包括:
利用所述至少一个全连接层,对所述加速度特征数据与地面材质预测标签进行映射处理,得到所述加速度特征数据与地面材质预测标签之间的线性映射关系;其中,所述线性映射关系包括与各维度的加速度特征数据对应的权重;
在得到所述加速度特征数据与地面材质预测标签之间的线性映射关系过程中,利用所述抑制过拟合层,随机丢弃所述多个维度的加速度特征数据中部分维度的加速度特征数据对应的权重;
利用所述激活函数层,在所述线性映射关系中引入非线性因子,并基于引入所述非线性因子的所述线性映射关系,得到地面材质预测标签。
9.一种地面材质识别方法,其特征在于,应用于电子设备,所述电子设备配置有如权利要求1至8中任一项所述的方法训练得到的地面材质识别网络;
在所述电子设备发生跌落的情况下,获取所述电子设备在跌落过程中触地碰撞阶段的加速度特征数据;
利用所述地面材质识别网络,基于所述加速度特征数据进行地面材质识别,得到地面材质识别结果。
10.根据权利要求9所述的方法,其特征在于,所述方法还包括:
在所述电子设备发生跌落的情况下,获取所述电子设备的基础加速度数据,所述基础加速度数据包括所述电子设备在跌落过程中触地碰撞阶段的第一加速度数据;
基于所述电子设备的基础加速度数据,截取所述第一加速度数据;
对所述第一加速度数据进行特征提取,得到所述加速度特征数据。
11.根据权利要求9所述的方法,其特征在于,所述方法还包括:
将所述地面材质识别结果发送至服务端。
12.一种电子设备,其特征在于,包括存储器和处理器;所述存储器和所述处理器耦合;所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,当所述处理器执行所述计算机指令时,使所述电子设备执行如权利要求1-11中任一项所述的方法。
13.一种芯片系统,其特征在于,所述芯片系统包括处理器;所述处理器与存储器耦合,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,当所述处理器执行所述计算机指令时,如权利要求1-11中任一项所述的方法被执行。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序或指令,当所述计算机程序或指令在计算机上运行时,使得计算机执行如权利要求1-11中任一项所述的方法。
15.一种计算机程序产品,其特征在于,所述计算机程序产品包括:计算机程序或指令,当所述计算机程序或指令在计算机上运行时,使得所述计算机执行如权利要求1-11中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410152992.3A CN117708599A (zh) | 2024-02-04 | 2024-02-04 | 一种地面材质识别方法、网络的训练方法及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410152992.3A CN117708599A (zh) | 2024-02-04 | 2024-02-04 | 一种地面材质识别方法、网络的训练方法及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117708599A true CN117708599A (zh) | 2024-03-15 |
Family
ID=90150157
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410152992.3A Pending CN117708599A (zh) | 2024-02-04 | 2024-02-04 | 一种地面材质识别方法、网络的训练方法及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117708599A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118378153A (zh) * | 2024-06-26 | 2024-07-23 | 中国科学院自动化研究所 | 地面材质识别方法、装置、电子设备及存储介质 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108600540A (zh) * | 2018-04-24 | 2018-09-28 | Oppo广东移动通信有限公司 | 跌落检测方法及相关产品 |
CN108769350A (zh) * | 2018-04-27 | 2018-11-06 | Oppo广东移动通信有限公司 | 跌落检测方法及相关装置 |
CN109639734A (zh) * | 2019-01-24 | 2019-04-16 | 大连理工大学 | 一种具有计算资源自适应性的异常流量检测方法 |
CN109948532A (zh) * | 2019-03-19 | 2019-06-28 | 桂林电子科技大学 | 基于深度卷积神经网络的超宽带雷达人体动作识别方法 |
WO2019141085A1 (zh) * | 2018-01-18 | 2019-07-25 | Oppo广东移动通信有限公司 | 电子装置、碰撞数据处理方法及相关产品 |
CN111368602A (zh) * | 2018-12-26 | 2020-07-03 | 北京眼神智能科技有限公司 | 人脸图像模糊程度评价方法、装置、可读存储介质及设备 |
CN113507539A (zh) * | 2020-03-24 | 2021-10-15 | 华为技术有限公司 | 一种获取终端设备跌落信息的方法和终端设备 |
CN114021010A (zh) * | 2021-11-03 | 2022-02-08 | 北京有竹居网络技术有限公司 | 一种信息推荐模型的训练方法、装置及设备 |
CN114979362A (zh) * | 2021-02-26 | 2022-08-30 | 华为技术有限公司 | 跌落检测方法及电子设备 |
CN115766935A (zh) * | 2022-10-17 | 2023-03-07 | 荣耀终端有限公司 | 一种跌落检测方法及电子设备 |
CN117135255A (zh) * | 2022-05-20 | 2023-11-28 | 北京荣耀终端有限公司 | 终端跌落检测方法及电子设备 |
-
2024
- 2024-02-04 CN CN202410152992.3A patent/CN117708599A/zh active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019141085A1 (zh) * | 2018-01-18 | 2019-07-25 | Oppo广东移动通信有限公司 | 电子装置、碰撞数据处理方法及相关产品 |
CN108600540A (zh) * | 2018-04-24 | 2018-09-28 | Oppo广东移动通信有限公司 | 跌落检测方法及相关产品 |
CN108769350A (zh) * | 2018-04-27 | 2018-11-06 | Oppo广东移动通信有限公司 | 跌落检测方法及相关装置 |
CN111368602A (zh) * | 2018-12-26 | 2020-07-03 | 北京眼神智能科技有限公司 | 人脸图像模糊程度评价方法、装置、可读存储介质及设备 |
CN109639734A (zh) * | 2019-01-24 | 2019-04-16 | 大连理工大学 | 一种具有计算资源自适应性的异常流量检测方法 |
CN109948532A (zh) * | 2019-03-19 | 2019-06-28 | 桂林电子科技大学 | 基于深度卷积神经网络的超宽带雷达人体动作识别方法 |
CN113507539A (zh) * | 2020-03-24 | 2021-10-15 | 华为技术有限公司 | 一种获取终端设备跌落信息的方法和终端设备 |
CN114979362A (zh) * | 2021-02-26 | 2022-08-30 | 华为技术有限公司 | 跌落检测方法及电子设备 |
CN114021010A (zh) * | 2021-11-03 | 2022-02-08 | 北京有竹居网络技术有限公司 | 一种信息推荐模型的训练方法、装置及设备 |
CN117135255A (zh) * | 2022-05-20 | 2023-11-28 | 北京荣耀终端有限公司 | 终端跌落检测方法及电子设备 |
CN115766935A (zh) * | 2022-10-17 | 2023-03-07 | 荣耀终端有限公司 | 一种跌落检测方法及电子设备 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118378153A (zh) * | 2024-06-26 | 2024-07-23 | 中国科学院自动化研究所 | 地面材质识别方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115016706B (zh) | 一种线程的调度方法及电子设备 | |
CN115348350B (zh) | 一种信息显示方法及电子设备 | |
CN117708599A (zh) | 一种地面材质识别方法、网络的训练方法及电子设备 | |
CN114077529B (zh) | 日志上传方法、装置、电子设备及计算机可读存储介质 | |
CN110866254B (zh) | 一种检测漏洞方法与电子设备 | |
CN115655310B (zh) | 数据的校准方法、电子设备及可读存储介质 | |
CN117632400A (zh) | 任务调度方法、电子设备及计算机可读存储介质 | |
CN116431044A (zh) | 开启应用程序的方法、装置及终端设备 | |
CN116028148B (zh) | 一种界面处理方法、装置及电子设备 | |
CN116095413B (zh) | 视频处理方法及电子设备 | |
CN117215446B (zh) | 一种显示方法及电子设备 | |
CN116701795B (zh) | 页面显示方法和电子设备 | |
CN116723460B (zh) | 个人地理围栏的创建方法及其相关设备 | |
CN112527541A (zh) | 一种确定多核处理器中故障计算核的方法及电子设备 | |
CN115828227B (zh) | 识别广告弹窗的方法、电子设备及存储介质 | |
CN116095685B (zh) | 关键信息的保护方法和终端设备 | |
CN116761249B (zh) | 室内定位方法、指纹库的构建方法、电子设备及存储介质 | |
CN115712745B (zh) | 一种用户标注数据的获取方法、系统及电子设备 | |
CN116688494B (zh) | 生成游戏预测帧的方法和电子设备 | |
CN112783512B (zh) | 应用程序包处理方法、装置、设备及存储介质 | |
CN115562967B (zh) | 一种应用程序预测方法、电子设备及存储介质 | |
CN118800227A (zh) | 一种语音唤醒方法、芯片及电子设备 | |
CN118445435A (zh) | 媒体数据查找方法和电子设备 | |
CN118092759A (zh) | 一种应用界面的显示方法及电子设备 | |
CN117407096A (zh) | 一种服务卡片的生成方法和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |