CN107810508A - 根据传感器数据推导运动行为 - Google Patents

根据传感器数据推导运动行为 Download PDF

Info

Publication number
CN107810508A
CN107810508A CN201580081201.1A CN201580081201A CN107810508A CN 107810508 A CN107810508 A CN 107810508A CN 201580081201 A CN201580081201 A CN 201580081201A CN 107810508 A CN107810508 A CN 107810508A
Authority
CN
China
Prior art keywords
training
data
motor behavior
neutral net
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580081201.1A
Other languages
English (en)
Inventor
弗兰克·韦尔比斯特
乔伦·范·泽韦伦
文森特·斯普鲁伊特
文森特·约克凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
St Corinthians Public Co Ltd
Original Assignee
St Corinthians Public Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by St Corinthians Public Co Ltd filed Critical St Corinthians Public Co Ltd
Publication of CN107810508A publication Critical patent/CN107810508A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Navigation (AREA)

Abstract

用于通过包括一个或多个较低的隐藏层和一个或多个较高的隐藏层的神经网络估计移动通信设备的用户的运动行为的方法。该方法包括从移动设备中的传感器获得(401)传感器数据的步骤；获得(402)与用户的运动相关的测量值的步骤；将这些测量值标记(403)为弱标记数据的步骤；预训练(404)较低的隐藏层以根据第一传感器数据集估计测量值的步骤；获得(405)第二传感器数据集的步骤，其中将用户的运动行为标记为标记数据；用标记数据训练(406)较高的隐藏层以估计用户的运动行为作为所述输出的步骤。

Description

根据传感器数据推导运动行为
技术领域
本发明涉及机器学习，并且更具体地说，涉及使用神经网络进行深度学习以基于原始传感器数据分析用户的运动行为。
背景技术
可以通过特征集诸如交通时段(session)的交通方式、驾驶时段的驾驶攻击性、步行时段的步行步速或步数等来描述用户的运动行为。
为了估计和总结该运动行为，传统的测量这些特征的方法要求用户穿戴专用传感器或运动捕捉设备。现今的大多数人携带智能手机，并且大多数智能手机包含传感器诸如加速度计、陀螺仪、磁力计、罗盘、气压计以及GPS，它们可以用作这些专用传感器或运动捕捉设备的廉价的且可广泛使用的替代品。
市场上已经存在利用智能手机传感器的一些特定应用，例如交通方式检测。例如，Android OS和Apple iOS均基于智能手机的传感器读数持续地执行交通方式检测。这些应用基于所谓的由规则集组成的分类器。然后机器学习算法通过处理大量手动标记的数据(即手动地与运动行为相关的传感器数据)来自动地生成这些规则。机器学习中的这种规则的自动生成也被称为训练。然后用于训练的数据被称为训练数据。
为了训练算法，需要对数据进行标记，即，必须将该规则集的期望结果添加至某输入数据集。例如，用标记诸如“步行”、“骑行”、“汽车”等对传感器读数流进行注释或标记，以便指示交通方式。机器学习算法使用该标记数据来学习如何自动地预测标记，并因而预测在先未见的数据样本(例如，传感器读数流)的结果。
上述解决方案的问题是需要大量的这种标记数据，以便正确地训练机器学习算法。当需要对多个运动和交通相关的分类进行预测时，所需的标记数据量进一步增加。此外，获得这种手动标记数据是难的和/或昂贵的，并且甚至实际上不可能手动地标记足够的数据来训练机器学习算法以预测一般的运动行为。
另一问题是通常提供不同的系统来执行运动分析。例如，用于交通方式检测和驾驶事件检测的系统被视为不同的系统。结果，每个系统均需要大量的手动标记训练数据，而一个系统的标记数据不能被另一个系统重复使用。
发明内容
本发明的目的是缓解上述缺点，并提供一种用于根据可从有限或减少的标记数据集训练的原始传感器数据来估计、预测或检测运动行为的方法和系统。
根据第一方面，通过一种用于通过包括一个或多个较低的隐藏层和一个或多个较高的隐藏层的神经网络估计移动通信设备的用户的运动行为的计算机实现方法来实现该目的。该方法包括以下步骤：
-从移动通信设备中的一个或多个传感器获得传感器数据。
-获得与用户的运动相关的测量值。
-用第一传感器数据集将测量值标记为弱标记数据。
-预训练一个或多个较低的隐藏层以根据第一传感器数据集估计测量值，以便估计用户的运动。
-获得第二传感器数据集；其中用第二集将用户的运动行为标记为标记数据。
-用标记数据训练神经网络中的一个或多个较高的隐藏层，以估计用户的运动行为，作为输出。
通过预训练，学习了如何融合来自不同传感器的数据流、如何从输入数据去除噪声和伪迹以及如何计算以有意义的方式表示和抽象化原始传感器数据的特征。对于预训练，不需要手动标记的数据样本，即不需要将传感器数据直接与用户的运动行为关联的数据样本。由于弱标记数据与标记数据高度相关，在预训练期间，将构建用标记的传感器数据训练神经网络所需的数据的内部表示。因此，可以因而用有限的标记数据集来准确地训练神经网络。标记数据需要将传感器数据与神经网络的输出关联，即直接与运动行为关联。该标记数据可以是手动标记的数据，即由人用标记手动注释的传感器数据。这种手动标记的数据是昂贵的，并且因此神经网络可以主要通过廉价的弱标记数据来训练是一个优点。此外，通过使用多个隐藏层，神经网络能够自动学习输入数据的分层的、稀疏的和分布式的表示。
训练还可以包括对所述神经网络中的一个或多个较低的隐藏层进行训练。通过这种方式，较低的隐藏层的参数在训练过程中被进一步微调，产生对运动行为的更准确的估计。
根据实施方案，所述方法还包括：
-在预训练之前，将输出层堆叠在一个或多个较低的隐藏层的顶部上，以计算用户的运动。
-在预训练之后，去除输出层并将一个或多个较高的隐藏层堆叠在一个或多个较低的隐藏层上。
输出层在预训练之后提供估计的用户运动。通过去除该输出层，估计的用户运动因而不会被馈送至较高的隐藏层，而只是预训练的较低的隐藏层的输出。这具有的优点在于向较高的隐藏层提供更加抽象的用户运动的表示。
更有利地，在预训练之后，还可以去除较低的隐藏层的一个或多个顶部层。这允许向较高的隐藏层提供甚至更加抽象的用户运动的表示。
传感器可以例如包括由加速度计、罗盘和陀螺仪组成的组中的一个。通常可以在当今的通信设备诸如例如在智能手机和平板电脑上找到这样的传感器。
测量值可以例如包括以下的组中的至少一个：
-速度测量值；
-由用户操作的交通工具的节气门位置的节气门测量值；
-发动机的RPM(每分钟转数)测量值。
可以容易地以自动方式获得这样的测量值。
根据实施方案，估计运动行为包括估计驾驶事件。
驾驶事件可以例如对应于由制动、加速、滑行、环行(taking roundabout)、转向和车道变换组成的组中的一个。
根据实施方案，估计运动行为、检测运动行为包括检测所述用户的交通方式。
根据优选的实施方案，神经网络是深度神经网络，该深度神经网络包括由作为较低的隐藏层的和/或较高的隐藏层的长短期记忆神经网络组件、卷积神经网络组件以及前馈神经网络组件组成的组中的至少两个。
传感器数据具有时间性质。通过使用循环神经网络，在先输出在下一次迭代中被馈送回输入。因此，优点在于，系统能够学习传感器数据之间的短程和长程相关性和关系。为了预测运动行为，这进一步避免了优化困难诸如消失的梯度问题。因此，优点在于，可以以准确的方式建模传感器数据中的长程相关性。
根据实施方案，运动行为包括第一类型的运动行为和第二类型的运动行为。较高的隐藏层还包括分别输出该第一类型的运动行为或第二类型的运动行为作为输出的第一较高的隐藏层集和第二较高的隐藏层集。然后用户的第一运动行为和第二运动行为均用第二传感器数据集分别标记为第一标记数据和第二标记数据。训练然后包括分别用第一标记数据和第二标记数据训练第一较高的隐藏层集和第二较高的隐藏层集。
因而，优点在于，该预训练步骤可以用于训练输出两种类型的运动行为的神经网络。换句话说，重复使用弱标记数据训练第二较高的隐藏层集。
训练和预训练还可以包括分别微调较高的隐藏层的和较低的隐藏层的参数。这可以进一步地以迭代的方式执行。
根据第二方面，本发明还涉及一种计算机程序产品，该计算机程序产品包括用于当程序在计算机上运行时执行根据第一方面的方法的计算机可执行指令。
根据第三方面，本发明涉及一种计算机可读存储介质，该计算机可读存储介质包括根据第二方面的计算机程序产品。
根据第四方面，本发明涉及一种数据处理系统，该数据处理系统被编程用于实施根据第一方面的方法。
附图说明
图1示出了根据本发明的实施方案的用于估计运动行为的深度神经网络。
图2示出了根据本发明的实施方案的深度神经网络架构。
图3A至图3G示出了根据本发明的各种实施方案的深度循环神经网络架构。
图4示出了根据本发明的实施方案的训练神经网络以估计运动行为的步骤。
图5A示出了根据本发明的实施方案的神经网络组件，其用于在用弱标记数据进行预训练之后根据传感器输入数据估计测量数据。
图5B示出了根据本发明的可替代实施方案的神经网络组件，其用于在用弱标记数据进行预训练之后根据传感器输入数据估计测量数据。
图6示出了包括用于根据传感器输入数据估计用户的运动行为的通用和专用神经网络组件的神经网络。
图7示出了根据本发明的实施方案的神经网络，其在预训练和训练步骤之后，用于根据传感器输入数据估计用户的运动行为。
图8示出了根据本发明的可替代实施方案的神经网络，其在预训练和训练步骤之后，用于根据传感器输入数据估计用户的运动行为。
图9示出了根据本发明的可替代实施方案的神经网络，其在预训练和训练步骤之后，用于根据传感器输入数据估计用户的运动行为，其中用于驾驶事件检测的神经网络组件将外部数据作为输入。
图10示出了图9的神经网络，其中用于驾驶行为检测的另外的神经网络组件已堆叠在用于驾驶事件检测的神经网络组件上。
图11示出了根据本发明的实施方案的神经网络，其中用于驾驶事件检测的第一神经网络组件和用于交通方式检测的第二网络组件已堆叠在根据图5B的神经网络组件上。
具体实施方式
本发明涉及一种用于估计、预测或检测移动通信设备的用户的运动行为的方法和机器学习框架。本发明还涉及在不需要大量手动标记的训练数据的情况下训练这种框架的方法。
图1示出了根据本发明的实施方案的机器学习框架100的一般概述。框架将来自用户的移动通信设备的原始传感器数据110作为输入。原始传感器数据110从移动通信设备中的传感器获取，诸如例如从加速度计、罗盘和/或陀螺仪获取。框架100估计移动通信设备的用户的某类型的运动行为112，作为输出112。
第一类型的运动行为是例如驾驶行为，其特征在于将分数分配至分立的驾驶事件，诸如但不限于制动、加速、滑行、环行、转向、车道变换、在鹅卵石上驾驶、在减速带上驾驶、转向、加速以及制动。可以选择这些分数来表示攻击性、交通洞察力、合法行为等。换句话说，该框架根据原始传感器数据估计驾驶事件作为输出，然后可以根据估计驾驶事件作为的输出推导出用户的驾驶行为。
第二类型的运动行为是例如移动通信设备的用户的交通方式。交通方式的示例有骑行、步行、汽车-司机、汽车-乘客、火车、电车、地铁、公共汽车、出租车、摩托车、飞机或船。
由于从移动通信设备获得的输入传感器数据110的时间性质，框架100学习短程和长程相关性和关系。例如，该框架将会学习到陀螺仪大小的变化通常在加速度大小的变化之后，加速度大小的变化是用户在驾驶汽车时转向之前执行的制动操作的结果。另一个示例是，当根据某步行步速移动时，加速度大小常常表现出规律的模式。
为了学习和应用这些时间相关性，框架100包括深度循环神经网络120。深度循环神经网络在本领域中是公知的，并且例如由Pascanu、Razvan等人在“How to constructdeep recurrent neural networks”，arXiv preprint arXiv：1312.6026(2013)中公开及由Sutskever、Ilya、Oriol Vinyals和Quoc VV Le在“Sequence to sequence learningwith neural networks”，Advances in neural information processing system，2014中公开，以及由Yann LeCun、Yoshua Bengio和Geoffrey Hinton在“Deep Learning”，Nature521，436-444，2015年5月28日中公开。
根据本发明的框架包括深度神经网络120，其中多个隐藏层一个堆叠在另一个的顶部上，以增加神经网络的表现力。在图1中，神经网络120包括这样的第一较低的隐藏层集121和这样的第二较高的隐藏层集122。在下面的描述中，第一集121还被称为第一神经网络组件121并且第二较高集122还被称为第二或较高的神经网络组件122。
在标准的循环神经网络或RNN中，给定输入序列x＝(x1,x2,…,xT)，RNN通过递归算法计算隐藏向量序列h＝(h1,h2,…,hT)和输出序列y＝(y1,y2,…,yT)，该递归算法将隐藏层的在先输出在其下一次迭代中馈送回隐藏层的输入。
图2示出了深度循环网络220的示例，其包括两个隐藏层202和203，即，较低的隐藏层202和较高的隐藏层203。向量Xt 201表示网络220的输入，并且因而包括来自移动通信设备的原始输入传感器数据。向量Yt 204表示网络220的输出，并且因而表示估计的用户的运动行为。通常把将两个以上的这样的隐藏层堆叠称为深度学习，并且性能胜过浅层神经网络。深度神经网络能够自动地学习输入数据的分层表示，这是本发明的优点。分层表示意味着模型的较低层面202表示细粒度的特征，而模型的较高层面层203自动地学习将该低层面信息聚合成更抽象的概念。在图2的深度循环神经网络中，每个输入样本Xt 201和每个输出样本Yt 204可以是多维向量。输入样本201则是如从用户的移动通信设备获得的原始传感器数据，例如包括加速度计和陀螺仪值的传感器数据。输出样本204则是估计或预测的用户的运动行为。每个隐藏层样本hn t也可以是多维的，并且对于每个隐藏层202、203维度数可以不同。
可替代地，不使用传统的深度循环神经网络，而是代替地使用扩展和变体诸如长短期记忆或LSTM循环神经网络。LSTM循环神经网络在本领域中是公知的，并且例如由Hochreiter、Sepp和Jürgen Schmidhuber在“Long short-term memory”，Neuralcomputation9.8，1997，第1735-1780页中公开。传统的深度循环神经网络由于消失的梯度问题引起的优化困难而难以训练，这在Hochreiter、Sepp的“The vanishing gradientproblem during learning recurrent neural nets and problem solutions”，International Journal of Uncertainty，Fuzziness and Knowledge-Based Systems，6.02(1998):107-116中也得到了承认。结果，传统的循环神经网络只能以适当的方式对短程语境进行建模。通过明确地向架构添加存储单元来解决该问题并因此可以对长程相关性进行建模的RNN的扩展是长短期记忆(LSTM)网络。
作为堆叠相同类型的隐藏层(例如，所有LSTM层)以实现网络的深度的替代，代替地可以使用其他配置。这样的替代包括在输入201与第一隐藏层202之间具有不同类型的额外层的那些、在最后隐藏层203与输出204之间具有额外层的那些、在每个隐藏节点之间具有额外层的那些、在不同的时间步骤的不同隐藏层之间具有连接的那些，以及其组合。这些额外层可以是传统的前馈神经网络层，或者变体诸如卷积神经网络(CNN)，或者两者的组合。
循环神经网络层允许系统学习数据的时间相关性，而前馈或卷积神经网络层有助于生成有意义且分层的特征表示。因为随后的传感器数据样本是强相关的，所以卷积神经网络层优选地执行维度降低和特征描述，从而将其输出馈送到循环神经网络中。
卷积神经网络由卷积层和池化层组成。卷积层通过在应用非线性之前计算相邻样本的线性组合来执行特征提取。池化层执行二次采样以降低数据的维度。堆叠卷积层和池化层产生分层的特征描述系统。
在图2中，Li,Xiangang和Xihong Wu发表的“Constructing Long Short-TermMemory based Deep Recurrent Neural Networks for Large Vocabulary SpeechRecognition”，arXiv preprint arXiv:1410.4281(2014)(可以从网址http://arxiv.org/pdf/1410.4281.pdf检索)公开了通过添加LSTM样的隐藏层、CNN样的隐藏层或前馈样的隐藏层来堆叠隐藏层以实现网络的深度的示例。图3A至图3G也示出了这些示例。图3A和图3B分别示出了将LSTM组件302与前馈组件301组合的神经网络310和311。LSTM组件302和前馈组件301两者可以还包括一个或多个隐藏的LSTM层。图3C和图3D的神经网络312和313使用的组件与图3A和图3B的相同，但是所使用的LSTM组件302的反馈连接304的方式不同。代替如图3A和图3B中在LSTM组件302内进行反馈，在图3C中隐藏LSTM状态被馈送回前馈组件302，并且在图3D中前馈输出被馈送回LSTM组件。图3E示出了神经网络314，其中多个LSTM组件302被堆叠以实现深度。在图3F的神经网络315中，卷积神经网络或CNN 303用于在将数据馈送到LSTM 302中之前对数据进行处理。图3E示出了神经网络316，包括神经网络311和315的堆叠以实现较深的表示。
神经网络120、220的每层中的每个神经元205在将结果与权重参数相乘并将输出传递到下一层之前对其输入数据执行非线性变换。这些权重参数需要在训练阶段期间通过馈入标记数据(即用神经网络的预期输出标记的传感器数据)进行微调。这样，经过训练后，神经网络架构的输出将反映预期的结果。
在训练之前，神经网络的参数是未知的，并且通常设置为随机值。通过馈入标记数据样本、观察输出以及基于观察的输出与预期的输出之间的差异调整参数，参数被递归地微调直到输出反映所预期的内容。
图4示出了根据本发明的实施方案的训练神经网络120、220的步骤。在第一步骤401中，从移动通信设备的传感器获得第一传感器数据集110。当获得该第一传感器数据集110时，还在步骤402中获得根据移动通信设备的以及因而用户的一个或多个运动的测量值。在步骤403中，然后用第一传感器数据集标记这些测量值，以便获得弱标记数据，即测量的用户运动因而与运动发生时读出传感器的测量值有关。
弱标记数据然后用于执行神经网络的较低的隐藏层的第一训练，即执行预训练404。在预训练404中，神经网络的较低的隐藏层121、202被训练以估计在获得的传感器数据被馈入神经网络中时的测量值。为此，可以将输出层添加到神经网络，在较低的隐藏层121、202的顶部上。然后训练较低的隐藏层121、202，以产生弱标记数据作为输出层的输出。
然后，当预训练完成时，在步骤405中获得第二传感器数据集。然后，用第二传感器数据集标记获得的移动通信设备的用户的运动行为。在随后的步骤406中，然后进一步训练神经网络120、220以根据标记的传感器数据生成期望的运动行为作为输出112、204。为此，去除预训练期间所添加的输出层。在训练步骤406期间，较高的隐藏层的参数然后被调整以当输入层201被馈送第二传感器数据集时产生标记数据。对于较低的隐藏层，使用在预训练404期间所获得的参数。可选地，还可以在训练步骤406期间进一步微调较低的隐藏层的参数。
本领域已知的深度学习架构通常需要很多标记的训练数据。通过上述预训练404，使用弱标记数据预训练深度神经网络减轻了这种需求。由于弱标记数据与标记数据高度相关，预训练404期间学习预测弱标记的神经网络中的较低的隐藏层在训练步骤406期间还间接地学习创建数据的内部表示，其在学习预测标记数据时是有用的。
通过预训练404，将神经网络的较低的隐藏层的参数设置为接近在训练步骤406中使用标记数据时将会获得的最优值的值。之后，现可以在训练步骤406期间通过较小的手动标记的样本集微调这些参数和较高的隐藏层的参数。因此，不需要大的标记样本集，只需要大的弱标记数据集和小的标记数据集。优选地，弱标记数据与标记数据相关，因为这将导致最佳结果，即用于训练较高的隐藏层的最小的标记数据集。
通过图1、图2以及图3的深度循环神经网络以及通过图4的训练序列，执行预测或估计运动行为所需的所有以下动作：
-预处理传感器数据110。该步骤例如在加速度计数据的情况下可以包括噪声去除、数据插值和重采样、频率滤波以及重力去除。
-传感器融合，即将多个传感器数据流(诸如例如加速度计传感器数据流和陀螺仪传感器数据流)组合成单个可能多维的数据流，其包含所有输入流的最具描述性的特征。
-传感器(自动)校准，即校准传感器数据，以便消除制造过程、通信设备或传感器品牌或通信设备被放置的定向固有的差异或伪迹。
-特征描述：该步骤需要传感器数据的抽象和维度降低以获得有意义的特征值。例如，合计加速度计值可能会产生速度估计，其可能被认为是交通方式分类的有意义的特征。
-分类器训练：特征及其相应的标记诸如例如交通方式被馈送至机器学习训练算法，该算法自动地生成规则或根据特征值调整预测标记所需的分类器参数。
因为通信设备和传感器制造过程的差异，以及由于通常不知道相对于人或车辆的定向的用户的通信设备的定向，使得难于将传感器轴实质上对准至运动方向，所以需要预处理、传感器融合以及传感器校准。在本领域已知的解决方案中，因此使用复杂的校准过程和信号处理技术来预处理传感器数据并估计这些未知参数以自动校准设备。一旦校准，机器学习技术或基于规则的技术则可以用来学习数据的结构和含义。
根据实施方案的神经网络和训练序列通过单个算法执行所有这些步骤，从而去除或减少对预处理、手动限定的传感器融合规则、手动制作的特征工程以及传感器校准的需求。所提出的框架100(即神经网络及其训练方法)自动地学习如何融合不同的传感器流、如何从数据去除噪声和伪迹，以及如何计算以有意义的方式表示和抽象化原始传感器数据的特征。
根据实施方案，弱标记数据对应于GPS的速度度量。由于GPS速度与驾驶事件诸如加速度、制动、转向、环行以及车道变换相关，所以GPS速度可以用于估计运动行为，诸如驾驶事件。通过预训练步骤404，系统将能够通过仅以加速度计和陀螺仪传感器数据作为其输入来预测或估计速度，并且因而将已经学习了数据在神经网络的较低的隐藏层内的有意义的表示。这然后用作最终使用小的标记的训练数据集进行微调(即训练步骤406)的基础。通过学习如何基于传感器数据预测驾驶速度，深度循环神经网络有效地学习了如何融合传感器数据流、如何归一化和校准数据、以及如何检测驾驶事件诸如制动和加速。关于如何预测驾驶速度的该知识存储在深度神经网络120的较低的隐藏层121中。一旦预训练404结束，将上层129从网络120去除，并且由新的未训练上层替代，而较低的层保持原位，并且现在能够从原始传感器数据中提取高度信息性的信息。然后在步骤406中通过使用小的标记数据集来训练较高的隐藏层，并且以相同的方式微调较低的隐藏层的参数。
在运动类型行为分析的情况下，通过四处移动安装在智能手机上的日志应用，可以容易地收集弱标记数据。不同类型的弱标记包括但不限于不用作神经网络的输入而用于车辆、步进计数器和智能手机传感器的GPS速度或OBD-II数据，其中神经网络的输入例如磁力计或气压计、心跳传感器、血压传感器、图像和视频的处理结果，例如在dashcam视频中的光流检测等。
图5A和图5B示出了根据前述实施方案的由深度循环神经网络用弱标记数据503、506执行预训练404的两个实施例。根据图5A，加速度计、罗盘和陀螺仪传感器在智能手机上被采样为传感器数据501，并被馈送到深度循环神经网络502的较低的隐藏层中。然后通过来自GPS系统的弱标记的读数503训练该网络。在这种情况下，弱标记是与采样的传感器数据有关的移动体的速度503。如此，深度学习架构502通过融合其输入传感器501来学习如何预测速度503。
根据图5B的实施例，相同的输入传感器以及因而输入传感器数据504被用于除了预测速度进一步预测节气门和升压。为此，可以从附接到汽车的OBD-II适配器读取或测量弱标记506。如此，深度学习网络505学习原始输入传感器值504如何与车辆的发动机和驾驶特征相关。
在图5A和图5B的两个实施例中，系统根据图4的步骤404进行预训练而没有任何手动标记过程，即标记可以完全自动化地完成而无需人工干预。然后，神经网络的预训练的较低的隐藏层可以作为更具体应用的基础，例如，训练机器学习系统以执行交通方式分类或执行驾驶事件检测。
除了速度、节气门和升压之外，这些测量数据的衍生值可以用作弱标记，诸如例如加速度而不是速度。此外，可以使用其他能够容易获得的测量值，诸如除可以从车辆的通信总线(诸如CAN总线)读出的测量值之外的测量值。
在预训练之后，如图6所示出的，神经网络602因而获取可变长度的多维传感器流601作为输入，并且输出固定长度的向量表示603。为此，神经网络学习时间相关性。神经网络的该部分可因而被看作是编码器或通用神经网络组件602，其等效于图1的较低的隐藏层集121。较高的隐藏层形式的专用神经网络组件604可以然后被训练为解码器，其可以解析这些固定长度向量603并解释它们，以便输出有意义的标记605，即，估计运动行为，诸如例如交通方式。
下述部分描述了根据本发明的两个应用。在第一应用中，上面参照图1至图4概述的一般原理被应用于检测和估计驾驶事件和驾驶行为。在第二应用中，相同的原理应用于检测和估计移动通信设备的用户的交通方式。
应用1：驾驶事件和行为检测
根据第一应用，根据传感器输入数据预测和估计驾驶事件。驾驶事件可以例如包括制动、加速、滑行、环行、转向、车道变换、在鹅卵石上驾驶以及在减速带上驾驶。最重要的是，可以通过将分数分配至分立的驾驶事件诸如转向、加速和制动来对驾驶行为建模。然后分数可以例如指示驾驶攻击性、交通洞察力以及合法行为。
然而手动标记驾驶事件和驾驶行为是麻烦的，并且因而对于较大的交通时段集来说是困难的。因此，使用根据图5A或图5B的实施方案的预训练的神经网络来解析输入传感器数据、执行传感器融合以及生成有意义的特征。为了实现驾驶事件检测的特定目标，然后通过少的手动标记的数据集进一步训练神经网络。
图7示出了根据步骤406进一步微调并因而训练神经网络的第一种方式。在这种情况下，将神经网络505重新训练到神经网络702，但现在用手动标记的数据作为输出703。因而进一步训练神经网络702以根据传感器输入数据701生成标记的驾驶事件。可选地，可以去除神经网络505的顶部层并且可以添加额外层到神经网络。神经网络702的参数因而不是用随机值而是由根据步骤404使用弱标记数据预训练神经网络505之后获得的值来初始化的。
图8示出了根据步骤406进一步微调并因而训练神经网络的第二种方式。在这种情况下，原样使用图5B的预训练的神经网络505，或者可选地，可以首先去除神经网络505的输出层。网络505的输出然后被用作第二深度神经网络组件803的输入802，该第二深度神经网络组件将根据步骤406训练以估计或检测驾驶事件804。换句话说，特定神经网络组件803因而堆叠在一般神经网络组件505的顶部上，其中神经网络组件803包括较高的隐藏层，并且一般神经网络组件505包括较低的隐藏层。
图8的实施方案示出了首先预训练一般框架(即，神经网络组件505)的优点。利用该方法，可以将多个特定框架以及因而将神经网络组件直接堆叠在该一般神经网络505的顶部上。这样的特定神经网络组件的一个示例是驾驶事件检测组件803。
图9示出了根据另外的实施方案的基于神经网络的框架。类似于图8，它包括根据步骤404预训练以根据输入传感器数据901估计测量的弱标记数据907的第一神经网络组件905。它还包括堆叠在第一组件905的顶部上的第二神经网络组件903。根据步骤406，用手动标记的数据训练该第二组件，以根据中间数据907估计驾驶事件904。在图9的实施方案中，神经网络组件903进一步组合输入907与外部数据或特征906，诸如例如道路类型信息和天气预报。外部数据906因而不是从用户的移动通信设备获取的传感器数据。
图10示出了图9的实施方案的扩展，其中附加的神经网络组件908堆叠在神经网络组件903的顶部上。通过小的手动标记的数据集，然后根据步骤406训练该组件908来预测或估计来自驾驶事件904的驾驶行为909。
应用2：交通方式检测
基于来自用户的移动通信设备的传感器数据来检测用户的交通方式通常需要专门的机器学习算法，该算法使用大量手动标记的数据进行训练，而这些数据通常难以获得。
如在预训练步骤404之后，图5的神经网络组件502、505可以基于传感器输入501、504来估计用户的速度，可以进一步使用所学习的数据的内部表示来估计用户的交通方式。为了实现这一点，根据步骤406训练神经网络组件702、803以及903以估计用户的交通方式而不是驾驶事件。
图11示出了图10的系统的另外的扩展，其中附加的神经网络组件910被添加在神经网络组件905的顶部上。在这种情况下，可以在去除神经网络905的顶部层之后，使用少量的标记数据根据步骤406预训练神经网络组件905和910。然而，不是在训练之前随机化神经网络组件905的神经网络参数，而是将参数初始化为与在预训练步骤404之后获得的值相同的值。这允许特定的交通方式检测组件910仅基于少量标记的数据样本快速地微调这些参数。
根据上述实施方案，将固定的传感器集(加速度计、陀螺仪、罗盘)用作神经网络的输入。然而，也可以使用不同的传感器类型，诸如气压计、光传感器等。
本发明的上述实施方案的一个重要优点在于，可以执行多个任务，诸如例如交通方式分类、驾驶员行为估计、运动事件检测，而不需要针对这些任务中的每个的大量手动标记的训练数据。
为了能够执行不同类型的任务，在预训练期间，学习传感器输入数据的一般表示。该表示并不是针对单个任务进行优化的，即对特定类型的运动行为的估计，而是被概述为可用于不同类型的任务，即用于估计不同类型的运动行为。通过将更多的神经网络层叠加在预训练的神经网络上，以分层方式学习传感器流的结构和之间的关系。在层次结构的最底层面，传感器流被融合和聚集，以检测与该层次结构的最底层面上的事件相关的运动，诸如“加速”、“制动”、“转向”以及“滑行”。在层次结构的较高处，神经网络再次将这些事件聚集成更加复杂的动作，诸如“变换车道”、“进行环行”、“在鹅卵石上驾驶”等。在层次结构的最高层，可以通过进一步聚集较低层面的特征来学习抽象的概念，诸如“危险驾驶”或“良好交通洞察力”。
虽然已经参考特定实施方案说明了本发明，但是对于本领域技术人员来说明显的是，本发明不限于前述说明性实施方案的细节，并且本发明可以用各种变化和修改来体现，而不脱离本发明的范围。因此，本实施方案在所有方面都被认为是说明性的而非限制性的，本发明的范围由所附权利要求书而不是由前述描述来表示，并且因此本文旨在包含落入权利要求的等同物的含义和范围内的所有变化。换句话说，构思成涵盖落入基本原理的范围内并且在本专利申请中要求其基本属性的任何和所有修改、变体或等同物。本专利申请的读者将进一步理解，词语“包括(comprising)”或“包括(comprise)”不排除其他元件或步骤，词语“一(a)”或“一(an)”不排除多个，并且单个元件诸如计算机系统、处理器或另一集成单元可以实现权利要求中记载的若干装置的功能。权利要求中的任何附图标记不应被解释为限制所涉及的相应的权利要求。当在说明书或权利要求中使用时，引入术语“第一”、“第二”、“第三”、“a”、“b”、“c”等来区分类似的元件或步骤，并且不一定是描述先后顺序或时间顺序。类似地，术语“顶部”、“底部”、“之上”、“之下”等是为了描述的目的而引入的，并且不一定表示相对位置。应当理解，如此使用的术语在适当的情况下是可互换的，并且本发明的实施方案能够根据本发明以其他顺序或者以不同于以上所描述或示出的定向来操作。

Claims (15)

1.一种用于通过包括一个或多个较低的隐藏层(121、202、502、505、905)和一个或多个较高的隐藏层(122、203、604、803、903、908、910)的神经网络(120、220)估计移动通信设备的用户的运动行为(112、605、703、804、904、909、911)的计算机实现方法；所述方法还包括以下步骤：
-从所述移动通信设备中的一个或多个传感器获得(401)传感器数据(110、201、501、504、601、701、801、901)；以及
-获得(402)与所述用户的运动相关的测量值(503、506、603、802、907)；以及
-用第一所述传感器数据集将所述测量值标记(403)为弱标记数据；以及
-预训练(404)所述一个或多个较低的隐藏层以根据所述第一传感器数据集估计所述测量值，以估计所述用户的所述运动；以及
-获得(405)第二所述传感器数据集；其中用所述第二集将所述用户的运动行为标记为标记数据；以及
-用所述标记数据训练(406)所述神经网络中的所述一个或多个较高的隐藏层以估计所述用户的所述运动行为作为所述输出。
2.根据权利要求1所述的方法，其中，所述训练(406)还包括对所述神经网络中的所述一个或多个较低的隐藏层进行训练。
3.根据权利要求1或2所述的方法，包括：
-在所述预训练之前，将输出层堆叠在所述一个或多个较低的隐藏层的顶部上，以计算所述用户的所述运动；以及
-在所述预训练之后，去除所述输出层并将所述一个或多个较高的隐藏层堆叠在所述一个或多个较低的隐藏层上。
4.根据权利要求1或2所述的方法，包括：
-在所述预训练之后，去除所述较低的隐藏层的一个或多个顶部层。
5.根据前述权利要求中的任一项所述的方法，其中，所述传感器包括加速度计和/或罗盘和/或陀螺仪(501、504、601、701、801、901)。
6.根据前述权利要求中的任一项所述的方法，其中，所述测量值包括以下组成的组中的至少一个：
-速度测量值(503、506)；
-由所述用户操作的交通工具的节气门位置的节气门测量值(506)；
-发动机的RPM或每分钟转数测量值(506)。
7.根据前述权利要求中的任一项所述的方法，其中，所述估计运动行为包括估计驾驶事件(703、804、904)。
8.根据权利要求4所述的方法，其中，所述驾驶事件是由制动、加速、滑行、环行、转向和车道变换组成的组中的一个。
9.根据前述权利要求中的任一项所述的方法，其中，所述估计运动行为包括估计所述用户的交通方式(911)。
10.根据前述权利要求中的任一项所述的方法，其中，所述神经网络是深度神经网络，所述深度神经网络包括由作为所述较低的隐藏层的和/或较高的隐藏层的长短期记忆神经网络组件(302)、卷积神经网络组件(303)以及前馈(301)神经网络组件组成的组中的至少两个。
11.根据前述权利要求中的任一项所述的方法，其中，所述运动行为包括第一(909)类型的运动行为和第二(911)类型的运动行为；并且其中所述较高的隐藏层包括分别输出所述第一类型的运动行为或第二类型的运动行为作为输出的第一(903、908)较高的所述隐藏层集和第二(910)较高的所述隐藏层集；并且其中所述用户的第一运动行为和第二运动行为用所述第二集分别标记为第一标记数据和第二标记数据；并且其中所述训练包括分别用所述第一标记数据和第二标记数据训练所述第一较高的所述隐藏层集和第二较高的所述隐藏层集。
12.根据前述权利要求中的任一项所述的方法，其中，所述训练和预训练还包括分别微调所述较高的隐藏层的和较低的隐藏层的参数(205)。
13.一种计算机程序产品，包括用于当所述程序在计算机上运行时执行根据前述权利要求中的任一项所述的方法的计算机可执行指令。
14.一种计算机可读存储介质，包括根据权利要求13所述的计算机程序产品。
15.一种数据处理系统，所述数据处理系统被编程用于实施根据权利要求1至12中的任一项所述的方法。
CN201580081201.1A 2015-06-26 2015-12-21 根据传感器数据推导运动行为 Pending CN107810508A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562185000P 2015-06-26 2015-06-26
US62/185,000 2015-06-26
PCT/EP2015/080800 WO2016206765A1 (en) 2015-06-26 2015-12-21 Deriving movement behaviour from sensor data

Publications (1)

Publication Number Publication Date
CN107810508A true CN107810508A (zh) 2018-03-16

Family

ID=55077491

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580081201.1A Pending CN107810508A (zh) 2015-06-26 2015-12-21 根据传感器数据推导运动行为

Country Status (4)

Country Link
US (1) US20180181860A1 (zh)
EP (1) EP3314541A1 (zh)
CN (1) CN107810508A (zh)
WO (1) WO2016206765A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108944930A (zh) * 2018-07-05 2018-12-07 合肥工业大学 一种基于lstm的模拟驾驶员特性的自动跟车方法及系统
CN112655003A (zh) * 2018-09-05 2021-04-13 赛多利斯司特蒂姆数据分析公司 用于细胞图像的分析的计算机实现的方法、计算机程序产品以及系统
CN113155178A (zh) * 2020-01-22 2021-07-23 恩德莱斯和豪瑟尔分析仪表两合公司 传感器系统和方法
US20210357812A1 (en) * 2018-09-20 2021-11-18 Nippon Telegraph And Telephone Corporation Learning device, estimation device, learning method, estimation method, and program
CN114926825A (zh) * 2022-05-11 2022-08-19 复旦大学 一种基于时空特征融合的车辆驾驶行为检测方法

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10769453B2 (en) * 2017-05-16 2020-09-08 Samsung Electronics Co., Ltd. Electronic device and method of controlling operation of vehicle
US11615285B2 (en) 2017-01-06 2023-03-28 Ecole Polytechnique Federale De Lausanne (Epfl) Generating and identifying functional subnetworks within structural networks
EP3382570A1 (en) * 2017-03-27 2018-10-03 Telefonica Digital España, S.L.U. Method for characterizing driving events of a vehicle based on an accelerometer sensor
US9900747B1 (en) * 2017-05-16 2018-02-20 Cambridge Mobile Telematics, Inc. Using telematics data to identify a type of a trip
WO2018212538A1 (en) * 2017-05-16 2018-11-22 Samsung Electronics Co., Ltd. Electronic device and method of detecting driving event of vehicle
US10445871B2 (en) 2017-05-22 2019-10-15 General Electric Company Image analysis neural network systems
US20190019254A1 (en) 2017-07-14 2019-01-17 Allstate Insurance Company Distributed data processing systems for processing remotely captured sensor data
US10482572B2 (en) * 2017-10-06 2019-11-19 Ford Global Technologies, Llc Fusion of motion and appearance features for object detection and trajectory prediction
US10306428B1 (en) 2018-01-03 2019-05-28 Honda Motor Co., Ltd. System and method of using training data to identify vehicle operations
DE102018200982A1 (de) 2018-01-23 2019-08-08 Volkswagen Aktiengesellschaft Verfahren zur Verarbeitung von Sensordaten in einer Anzahl von Steuergeräten, entsprechend ausgelegte Vorverarbeitungseinheit sowie Fahrzeug
EP3528178A1 (en) * 2018-02-14 2019-08-21 Siemens Aktiengesellschaft Method for adapting a functional description for a vehicle's component to be observed, computer program and computer readable medium
US11514371B2 (en) * 2018-03-13 2022-11-29 Woven Planet North America, Inc. Low latency image processing using byproduct decompressed images
CN109101235B (zh) * 2018-06-05 2021-03-19 北京航空航天大学 一种软件程序的智能解析方法
US11893471B2 (en) * 2018-06-11 2024-02-06 Inait Sa Encoding and decoding information and artificial neural networks
US11972343B2 (en) 2018-06-11 2024-04-30 Inait Sa Encoding and decoding information
US11663478B2 (en) 2018-06-11 2023-05-30 Inait Sa Characterizing activity in a recurrent artificial neural network
US10442444B1 (en) * 2018-08-06 2019-10-15 Denso International America, Inc. Vehicle behavior and driver assistance modules for a mobile network device implementing pseudo-vehicle behavior signal generation based on mobile sensor signals
KR102669026B1 (ko) * 2018-10-26 2024-05-27 삼성전자주식회사 전자 장치 및 이의 제어 방법
JP7540728B2 (ja) 2018-11-08 2024-08-27 シナプス・パートナーズ・エルエルシー 乗り物データを管理するためのシステムおよび方法
US20200272895A1 (en) * 2019-02-25 2020-08-27 International Business Machines Corporation Answering cognitive queries from sensor input signals
US11652603B2 (en) 2019-03-18 2023-05-16 Inait Sa Homomorphic encryption
US11569978B2 (en) 2019-03-18 2023-01-31 Inait Sa Encrypting and decrypting information
CN112129290A (zh) * 2019-06-24 2020-12-25 罗伯特·博世有限公司 用于监测骑行设备的系统及方法
KR20190102140A (ko) * 2019-07-15 2019-09-03 엘지전자 주식회사 자가진단을 수행하는 인공 지능 장치 및 그 방법
US11816553B2 (en) 2019-12-11 2023-11-14 Inait Sa Output from a recurrent neural network
US11797827B2 (en) 2019-12-11 2023-10-24 Inait Sa Input into a neural network
US11651210B2 (en) 2019-12-11 2023-05-16 Inait Sa Interpreting and improving the processing results of recurrent neural networks
US11580401B2 (en) 2019-12-11 2023-02-14 Inait Sa Distance metrics and clustering in recurrent neural networks
CN114563012B (zh) * 2020-11-27 2024-06-04 北京小米移动软件有限公司 计步方法、装置、设备及存储介质
CN112948969B (zh) * 2021-03-01 2022-07-15 哈尔滨工程大学 一种基于lstmc混合网络的船舶横摇预测方法
DE102021208202A1 (de) 2021-07-29 2023-02-02 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Ermittlung eines Bewegungszustands eines Kraftfahrzeugs
US12084068B2 (en) * 2022-06-08 2024-09-10 GM Global Technology Operations LLC Control of vehicle automated driving operation with independent planning model and cognitive learning model

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103733210A (zh) * 2011-08-18 2014-04-16 西门子公司 用于对技术系统进行计算机辅助的建模的方法
CN103984416A (zh) * 2014-06-10 2014-08-13 北京邮电大学 一种基于加速度传感器的手势识别方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8229624B2 (en) * 1995-06-07 2012-07-24 American Vehicular Sciences Llc Vehicle diagnostic information generating and transmission systems and methods
US9305317B2 (en) * 2013-10-24 2016-04-05 Tourmaline Labs, Inc. Systems and methods for collecting and transmitting telematics data from a mobile device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103733210A (zh) * 2011-08-18 2014-04-16 西门子公司 用于对技术系统进行计算机辅助的建模的方法
CN103984416A (zh) * 2014-06-10 2014-08-13 北京邮电大学 一种基于加速度传感器的手势识别方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
A. DIAZ ALVAREZ等: ""Modeling the Driving Behavior of Electric Vehicles Using Smartphones and Neural Networks"", 《IEEE INTELLIGENT TRANSPORTATION SYSTEMS MAGAZINE》 *
NICHOLAS D. LANE等: ""Can Deep Learning Revolutionize Mobile Sensing?"", 《HOTMOBILE "15: PROCEEDINGS OF THE 16TH INTERNATIONAL WORKSHOP ON MOBILE COMPUTING SYSTEMS AND APPLICATIONS》 *
SASANK REDDY等: ""Using mobile phones to determine transportation modes"", 《ACM TRANSACTIONS ON SENSOR NETWORKS》 *
SHEILA FERRER等: ""Travel Behavior Characterization Using Raw Accelerometer Data Collected from Smartphones"", 《PROCEDIA - SOCIAL AND BEHAVIORAL SCIENCES》 *
Y. BENGIO等: ""Representation Learning: A Review and New Perspectives"", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
ZHIYUAN TANG等: ""Knowledge Transfer Pre-training"", 《ARXIV:1506.02256V1》 *
马良: ""基于传感器的移动平台行为识别"", 《中国优秀硕士学位论文全文数据库·信息科技辑》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108944930A (zh) * 2018-07-05 2018-12-07 合肥工业大学 一种基于lstm的模拟驾驶员特性的自动跟车方法及系统
CN112655003A (zh) * 2018-09-05 2021-04-13 赛多利斯司特蒂姆数据分析公司 用于细胞图像的分析的计算机实现的方法、计算机程序产品以及系统
US20210357812A1 (en) * 2018-09-20 2021-11-18 Nippon Telegraph And Telephone Corporation Learning device, estimation device, learning method, estimation method, and program
CN113155178A (zh) * 2020-01-22 2021-07-23 恩德莱斯和豪瑟尔分析仪表两合公司 传感器系统和方法
US11774348B2 (en) 2020-01-22 2023-10-03 Endress+Hauser Conducta Gmbh+Co. Kg Sensor system and method
CN113155178B (zh) * 2020-01-22 2023-10-31 恩德莱斯和豪瑟尔分析仪表两合公司 传感器系统和方法
CN114926825A (zh) * 2022-05-11 2022-08-19 复旦大学 一种基于时空特征融合的车辆驾驶行为检测方法

Also Published As

Publication number Publication date
WO2016206765A1 (en) 2016-12-29
EP3314541A1 (en) 2018-05-02
US20180181860A1 (en) 2018-06-28

Similar Documents

Publication Publication Date Title
CN107810508A (zh) 根据传感器数据推导运动行为
Dong et al. Characterizing driving styles with deep learning
Wang et al. Human activity recognition based on wearable sensor using hierarchical deep LSTM networks
CN104281853A (zh) 一种基于3d卷积神经网络的行为识别方法
Liu et al. DSDCLA: Driving style detection via hybrid CNN-LSTM with multi-level attention fusion
CN102902981B (zh) 基于慢特征分析的暴力视频检测方法
CN107704924B (zh) 同步自适应时空特征表达学习模型的构建方法及相关方法
CN110163264B (zh) 一种基于机器学习的行走模式识别方法
CN115270882A (zh) 基于神经常微分方程的轻量化智能故障诊断方法及系统
Zhang et al. Vehicle classification based on feature selection with anisotropic magnetoresistive sensor
Taherifard et al. Attention-based event characterization for scarce vehicular sensing data
Antar et al. Recognition of human locomotion on various transportations fusing smartphone sensors
CN110132276B (zh) 一种基于行人运动状态的自适应步长估计方法
Zarei Yazd et al. A robust machine learning structure for driving events recognition using smartphone motion sensors
CN110222610A (zh) 一种信号分类的方法及装置
CN116861370B (zh) 用于井下防爆胶轮车的运动数据处理方法
Liu et al. Exploiting multi-source data for adversarial driving style representation learning
Huang et al. A recursive Bayesian filter for anomalous behavior detection in trajectory data
Taherifard et al. Prior knowledge input to improve lstm auto-encoder-based characterization of vehicular sensing data
Barmpounakis et al. Powered two-wheeler detection using crowdsourced smartphone data
Belhouchette Facial recognition to identify emotions: an application of deep learning
CN110738113A (zh) 一种基于邻近尺度特征滤除与转移的物体检测方法
Ma et al. Representation learning from time labelled heterogeneous data for mobile crowdsensing
Kumar et al. An optimized intelligent traffic sign forecasting framework for smart cities
Hansson Data-Driven Analysis of the Fuel Saving Potentialof Road Vehicle Platooning: A data-driven approach for quantifying the fuel saving effects of platooning based ondata collected in real traffic conditions.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180316

WD01 Invention patent application deemed withdrawn after publication