CN110209281B - 对运动信号进行处理的方法、电子设备和介质 - Google Patents

对运动信号进行处理的方法、电子设备和介质 Download PDF

Info

Publication number
CN110209281B
CN110209281B CN201910492778.1A CN201910492778A CN110209281B CN 110209281 B CN110209281 B CN 110209281B CN 201910492778 A CN201910492778 A CN 201910492778A CN 110209281 B CN110209281 B CN 110209281B
Authority
CN
China
Prior art keywords
motion
communication
external object
signal
object class
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910492778.1A
Other languages
English (en)
Other versions
CN110209281A (zh
Inventor
张宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ericsson China Communications Co Ltd
Original Assignee
Telefonaktiebolaget LM Ericsson AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telefonaktiebolaget LM Ericsson AB filed Critical Telefonaktiebolaget LM Ericsson AB
Priority to CN201910492778.1A priority Critical patent/CN110209281B/zh
Publication of CN110209281A publication Critical patent/CN110209281A/zh
Priority to PCT/CN2020/094717 priority patent/WO2020244638A1/en
Priority to US17/616,405 priority patent/US20220244717A1/en
Application granted granted Critical
Publication of CN110209281B publication Critical patent/CN110209281B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00Testing or monitoring of control systems or parts thereof
    • G05B23/02Electric testing or monitoring
    • G05B23/0205Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0221Preprocessing measurements, e.g. data collection rate adjustment; Standardization of measurements; Time series or signal analysis, e.g. frequency analysis or wavelets; Trustworthiness of measurements; Indexes therefor; Measurements using easily measured parameters to estimate parameters difficult to measure; Virtual sensor creation; De-noising; Sensor fusion; Unconventional preprocessing inherently present in specific fault detection methods like PCA-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147Distances to closest patterns, e.g. nearest neighbour classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/2431Multiple classes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/94Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • User Interface Of Digital Computer (AREA)
  • Toys (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开一种对运动信号进行处理的方法、电子设备和介质。用于对运动信号进行处理的方法包括:获得与设备相关联的运动传感器所感测到的运动信号,所述运动信号表示由外部对象引起的所述设备的运动;以及基于所述运动信号,利用运动识别算法,识别作为所述运动的起因的外部对象的外部对象类别,其中所述运动识别算法基于分别对应于多个外部对象类别的多个运动模型。

Description

对运动信号进行处理的方法、电子设备和介质
技术领域
本公开涉及对运动信号进行处理的方法、电子设备和介质,更具体地,涉及对与设备相关联的运动信号进行处理的方法、针对接收的通信进行触觉提示的方法、电子设备和介质。
背景技术
在相关技术中,运动传感器被用于感测机械加工设备或发动机设备等的运动。机械加工设备或发动机设备在工作中会进行显著的机械运动,而这些设备的零部件故障可能会导致机械运动状态发生异常。因此,通过运动传感器来感测这些设备的运动状态,可以帮助判断设备中可能存在的故障。这种相关技术主要用于在正常工作中即会产生显著机械运动的设备,所感测的运动是设备自身产生的运动,并且感测到异常运动状态则指示该设备已经存在故障。
在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明,否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地,除非另有指明,否则此部分中提及的问题不应认为在任何现有技术中已被公认。
发明内容
根据本公开的一个方面,提供一种用于对运动信号进行处理的方法,包括:获得与设备相关联的运动传感器所感测到的运动信号,所述运动信号表示由外部对象引起的所述设备的运动;以及基于所述运动信号,利用运动识别算法,识别作为所述运动的起因的外部对象的外部对象类别,其中所述运动识别算法基于分别对应于多个外部对象类别的多个运动模型。
根据本公开的另一个方面,提供一种用于对运动信号进行处理的方法,包括:获得与设备相关联的运动传感器所感测到的运动信号,所述运动信号表示由外部对象引起的所述设备的运动;响应于确定所述运动信号满足预定条件,使计数器的计数值增加;以及响应于所述计数器的计数值达到阈值计数值,发送表示所述设备需要维护的消息。
根据本公开的又一个方面,提供一种用于对运动信号进行处理的方法,包括:从第一电子设备获得第一运动信号和第一附加信号,所述第一运动信号是与第一设备相关联的运动传感器所感测到的运动信号,所述第一附加信号是附加传感器所获取的所述第一设备附近的附加信号;获得第一外部对象类别,所述第一外部对象类别是所述第一附加信号中所示出的第一外部对象的外部对象类别;如果存在对应于所述第一外部对象类别的第一运动模型,则基于所述第一运动信号和所述第一外部对象类别更新对应于所述第一外部对象类别的第一运动模型;如果不存在对应于所述第一外部对象类别的第一运动模型,则基于所述第一运动信号和所述第一外部对象类别创建对应于所述第一外部对象类别的第一运动模型;以及使得所述第一电子设备和不同于所述第一电子设备的第二电子设备能够获得所述第一运动模型。
根据本公开的又一个方面,提供一种针对接收的通信进行触觉提示的方法,包括:通过移动电话接收通信;响应于发生第一通信事件,使第一设备输出触觉提示;响应于发生第二通信事件,则使不同于第一设备的第二设备输出触觉提示,其中,所述第一设备和所述第二设备中的至少一个不同于所述移动电话。
根据本公开的又一个方面,提供一种用于针对接收的通信进行触觉提示的方法,包括:响应于接收到来自第一通信地址的第一通信,以第一触觉提示方式输出针对所述第一通信的触觉提示;在接收到所述第一通信之后,接收来自第二通信地址的第二通信;如果所述第二通信地址与第一通信地址相同或相关联,用户未针对所述第一通信进行应答,并且所述第二通信与所述第一通信之间的间隔小于第一预定时间段,则以不同于第一触觉提示方式的第二触觉提示方式输出针对所述第二通信的触觉提示。
根据本公开的又一个方面,提供一种电子设备,包括:处理器;以及存储器,被配置为存储计算机程序,所述计算机程序包括计算机可读指令,在由所述处理器执行时,所述计算机可读指令使所述处理器执行如前所述的任何方法。
根据本公开的又一个方面,提供一种计算机可读存储介质,存储计算机程序,所述计算机程序包括计算机可读指令,在由所述处理器执行时,所述计算机可读指令使所述处理器执行如前所述的任何方法。
根据本公开的技术方案,能够对由外部对象引起的设备运动进行及时处理和有效利用。从下面结合附图描述的示例性实施例中,本公开的更多特征和优点将变得清晰。
附图说明
附图示例性地示出了实施例并且构成说明书的一部分,与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于例示的目的,并不限制权利要求的范围。在所有附图中,相同的附图标记指代类似或相同的要素。
图1是示出根据本公开的一些示例性实施方式的系统的示意结构框图;
图2是示出根据本公开的一些示例性实施方式的用于对运动信号进行处理的方法的流程图;
图3是示出根据本公开的一些示例性实施方式的运动识别算法的示意图;
图4是示出根据本公开的一些示例性实施方式的与外部对象类别相关的数据例子的图表;
图5是示出根据本公开的一些示例性实施方式的用于对运动信号进行处理的方法的流程图;
图6(a)、图6(b)和图6(c)是示出根据本公开的一些示例性实施方式的用于对运动信号进行处理的方法的流程图;
图7是示出根据本公开的一些示例性实施方式的与模型的置信度分数相关的方法的流程图;
图8是示出根据本公开的一些示例性实施方式的不同外部对象的运动信号的频域信号例子的示意图;
图9是示出根据本公开的一些示例性实施方式的触觉输入样式与用户信息的对应关系例子的图表;
图10是示出根据本公开的一些示例性实施方式的远程计算机和数据库的示意图;
图11是示出根据本公开的一些示例性实施方式的电子设备和远程计算机对运动信号进行处理的方法的流程图;
图12和图13是示出根据本公开的一些示例性实施方式的电子设备的结构框图;
图14是示出根据本公开的一些示例性实施方式的通信来源与输出触觉提示的设备的对应关系例子的图表;
图15是示出根据本公开的一些示例性实施方式的针对接收的通信进行触觉提示的方法的流程图;
图16是示出能够应用于本公开的示例性实施方式的示例性计算设备的结构框图。
具体实施方式
在本公开中,除非另有说明,否则使用术语“第一”、“第二”等来描述各种要素不意图限定这些要素的位置关系、时序关系或重要性关系,这种术语只是用于将一个要素与另一要素区分开。在一些示例中,第一要素和第二要素可以指向该要素的同一实例,而在某些情况下,基于上下文的描述,它们也可以指代不同实例。
在本公开中对各种所述示例的描述中所使用的术语只是为了描述特定示例的目的,而并非旨在进行限制。除非上下文另外明确地表明,如果不特意限定要素的数量,则该要素可以是一个也可以是多个。此外,本公开中所使用的术语“和/或”涵盖所列出的项目中的任何一个以及全部可能的组合方式。
对于身处复杂环境中的设备,如果环境中处于设备外部的对象(即外部对象)能够引起机械运动,则这种机械运动可能对于设备造成负面影响。例如,对于处于户外或复杂工作区域中的基站设备、高压电力设备、控制柜、监测设备等电气设备,或者游乐设施、机械仪器仪表等非电气设备,在附近出没的动物(例如诸如熊的大型动物)可能会以晃动或撞击的方式破坏设备,而不法分子也可能会出于各种目的而对设备进行踢踹击打等人为破坏。在经过一次或多次破坏之后,设备可能会出现故障而无法工作。此外,对于包含相对精密或脆弱的部件的一些设备,在附近行驶通过的重型卡车、地铁或飞机起降等外部对象也会引起设备的振动。虽然幅度或功率较低的振动并不一定在短时间内引发设备故障,但是日积月累也可能会引发设备工作状态不佳甚至故障发生。
在很多情况下,这些设备处于户外甚至人迹罕至的地区,远离维护人员。此外,即使是同样型号规格的设备,如果处于不同地区,则设备可能会遭受不同类别的外部对象引起的不同程度的运动。在这种情况下,可能在设备已经发生故障的情况下仍然无法被维护人员所知。而如果维护人员频繁检修设备,则可能造成不必要的人力浪费。
本公开提供一种对运动信号进行处理的方法,根据本公开的各种示例性方法,能够对设备外部的外部对象引起的设备运动进行感测,并且对所感测的运动信号进行处理。
图1是示出根据本公开的一些示例性实施方式的系统的示意结构框图。图1所示的系统可以包括设备1001,其可以是前述的处于户外或复杂工作区域中的基站设备、高压电力设备、控制柜、监测设备等电气设备,或者游乐设施、机械仪器仪表等非电气设备。设备1001不限于这些例示的设备,只要其可能受到外部对象的影响而经受运动即可。在本公开中,运动”可以是任何机械运动,可以包括但不限于振动、位移、形变、旋转,等等。
设备1001可以具有相关联的运动传感器1003,该运动传感器1003被配置为对外部对象所引起的设备1001的运动进行感测以获得运动信号。运动传感器1003例如可以包括以下中的任何一个或多个:位移传感器、速度传感器、加速度传感器、陀螺仪、振动传感器、力传感器、应变传感器、角速度传感器、角加速度传感器等等。运动传感器1003不限于任何特定类型的传感器,只要其所感测出的信号能够反映设备1001的运动即可。根据一些实施方式,运动传感器1003可以附着在设备1001的外壳上或者外壳内部,或者安装在设备1001的任何一个部件上。根据一些实施方式,可以包括多个运动传感器1003,所述多个运动传感器1003例如可以安装到或连接到设备1001的不同位置或不同部件,从而可以感测设备1001的旋转和形变等信息。可选地,设备1001还可以具有摄影机1005-1和/或麦克风1005-2,摄影机1005-1被配置为拍摄设备1001附近的图像,麦克风1005-2被配置为获取设备1001附近的声音。可以包括多个摄影机1005-1(例如安装在设备1001的朝向不同方向的区域中),从而能够更全面地拍摄设备1001附近的图像。所述图像和声音中的至少一个可以作为所述运动信号以外的附加信号。
根据一些实施方式,设备1001可以包括处理器1007和存储器1009,处理器1007被配置为对运动传感器1003所感测的运动信号、摄影机1005-1所拍摄的图像或视频、和/或麦克风1005-2所获取的声音进行处理,存储器1009被配置为存储处理器1009进行处理所需要的指令或程序(例如操作系统以及根据本公开的方法的程序和应用)和/或数据(例如运动信号、附加信号、和/或其他辅助数据)。处理器1007和存储器1009可以是设备1001用于完成主要工作任务的处理器和存储器之外的附加的处理器和存储器,但也可以由设备1001用于完成主要工作任务的处理器和存储器来兼任。例如,在设备1001是基站控制器的情况下,处理器1007和存储器1009可以不处理基站控制工作而专门执行根据本公开实施例的方法,也可以由用于基站控制工作的处理器和存储器兼任。根据一些实施方式,设备1001还可以包括通信电路1011,通信电路1011被配置为经由网络与远程设备进行通信。
根据一些实施方式,所述处理器1007、存储器1009以及通信电路1011可以整体形成为一个电子设备(后文中也被称为“与设备1001相关联的设备”),该电子设备可选地可以具有外壳,从而该电子设备可以被整体安装在设备1001中。该电子设备还可以包括所述运动传感器1003、摄影机1005-1和/或麦克风1005-2。该电子设备可以具有独立的电池,也可以通过设备1001的电源(例如电池、工业电源或交流电源)进行供电。根据另一些实施方式,所述运动传感器1003、摄影机1005-1和/或麦克风1005-2、处理器1007、存储器1009以及通信电路1011中的至少之一可以与其他部件分开地安装或附着到设备1001。
虽然图1中将设备1001示出为包括处理器1007和存储器1009,但是设备1001也可以不包括处理器1007和存储器1009,而是通过通信电路1011将所感测和/或获取的信号(例如运动信号、和/或附加信号)发送到其他设备(例如远程计算机1101),由所述其他设备对信号进行计算和处理。
根据一些实施方式,图1中所示的系统还可以包括经由网络与设备1001(或与之相关联的设备)进行通信的远程计算机1101。远程计算机1101能够被配置为接收来自设备1001的信号(例如运动信号、和/或附加信号),并且对这些信号进行处理。远程计算机1101可以包括远程通信电路1111、远程处理器1107和远程存储器1109。远程存储器1109被配置为存储处理器1107进行处理所需要的程序(例如操作系统以及根据本公开的方法的程序和应用)和/或数据(例如运动信号、附加信号、和/或其他辅助数据)。
可选地,其他设备(例如图1中所示的设备2001、设备3001)可以经由网络与远程计算机进行通信。此外,也可以由其他远程计算机(例如图1中所示的远程计算机2101、远程计算机3101)与网络进行连接,并且与设备1001、2001、3001或与之相关联的设备中的至少一个进行通信。根据一些实施方式,还可以提供远程存储器1209供其他设备或远程计算机对程序或数据进行远程存取。
图2是示出根据本公开的实施例的用于对运动信号进行处理的方法的流程图。如图2所示,该方法可包括:在步骤S201,获得与设备1001相关联的运动传感器1003所感测到的运动信号;以及在步骤S203,基于所述运动信号,利用运动识别算法,识别作为所述运动的起因的外部对象的外部对象类别。所述运动信号表示由外部对象引起的所述设备1001的运动。所述运动识别算法基于分别对应于多个外部对象类别的多个运动模型。
所述运动例如可以包括但不限于以下中的任何一个或多个:振动、位移、形变、旋转,等等。所述运动信号例如可以包括但不限于以下中的任何一个或多个:位移(运动幅度)、速度、加速度、角速度、角加速度、受力、应变,等等。根据一些实施方式,所述运动信号可以仅包括运动信号的幅度。根据另一些实施方式,所述运动信号可以包括矢量运动信号(例如三维矢量运动信号),即不仅包括运动信号的幅值,而且还包括运动信号的方向。根据一些实施方式,所述运动传感器被配置为周期性地(例如每秒或每0.5秒)进行信号感测。因此,所述运动信号可以包括运动信号随时间的序列,例如表达为s(t)=(s(t1),s(t2),s(t3)……s(tn)),其中s(t)表示运动信号随时间的序列,t表示时刻,t1、t2、t3、……tn表示具体的不同时刻,而s(t1),s(t2),s(t3)……s(tn)表示在这些不同时刻所感测到的运动信号的幅度或矢量。运动信号也可以包括所感测的信号的频域信号,例如经过傅里叶变换、小波变换、余弦变换等频域变换所获得的频域信号。运动信号也可以包括通过将所感测的信号进行任何预处理(例如去噪、滤波等)所获得的信号。
所述运动识别算法被配置为识别作为运动的起因的外部对象类别,例如能够识别出某个运动信号(例如,运动信号的序列)是由动物引起、由人类引起、由飞机起降引起、由地铁引起,还是由重型卡车经过引起,等等。外部对象类别不限于此,可以根据需要来配置或训练能够识别任何外部对象类别的运动识别算法。运动识别算法可以基于多个运动模型,所述多个运动模型分别对应于多个外部对象类别。
图3是示出根据本公开的一些示例性实施方式的运动识别算法的示意图。如图3所示,运动识别算法3000获得运动传感器1003所感测的运动信号,并且利用多个运动模型(运动模型1、运动模型2、……运动模型N)来识别所述运动信号是外部对象类别1、外部对象类别2、……外部对象类别N中的哪一个的外部对象所引起的。例如,如果利用运动模型2识别出运动信号是由外部对象类别2的外部对象引起的,则确定运动信号的外部对象类别为外部对象类别2。
运动识别算法3000可以采用任何模式识别方法,例如可以包括但不限于以下中的任何一个或多个:模板匹配法、K-最近邻(K-NN)方法、贝叶斯分类器、主成分分析法、线性判别分析法、非负矩阵分解法、高斯混合模型、利用深度学习(例如神经网络)的识别方法,等等。需要理解的是,任何模式识别方法均可以用于构建运动识别算法3000。根据一些实施方式,为了对引起运动的外部对象的类别进行识别,可以对运动信号进行预处理,以提取运动信号的特征。运动信号的特征可以包括但不限于以下中的任何一个或多个:运动信号的平均幅度或功率、运动信号的幅度或功率的峰值、运动信号幅度或功率超过阈值的持续时间、运动信号关于时间的微分(变化趋势)、运动信号关于时间的积分、运动信号的方向性、运动信号的方差、运动信号的周期性、运动信号的频域信号、在特定时间窗口内的特性、运动信号基于任何变量的直方图信息、运动信号序列的线性变换、运动信号序列的非线性变换、多种运动信号的特征的组合、运动信号的相关计算值,等等。
根据一些实施方式,运动识别算法3000是基于已知外部对象类别的运动数据事先进行训练而获得的。在训练过程中,可以基于已知外部对象类别的运动数据,不断调整和更新运动识别算法3000针对不同外部对象类别所使用的特征和参数,从而获得经训练的运动识别算法3000。在利用深度学习(例如神经网络)进行运动识别的情况下,进行运动识别所需要的特征可能无需事先手动确定,而是能够在基于已有数据的训练过程中直接获得识别所需要的特征和参数。
在本公开中,对应于某外部对象类别的相应“运动模型”包括用于将该外部对象类别成功确定的模板、数学模型、算法(例如分类器算法或识别器算法)中的至少一个,及其相关参数。例如,在运动识别算法3000是模板匹配法的情况下,对应于特定外部对象类别的运动模型例如可以包括该外部对象类别的运动模板及其参数。再例如,在运动识别算法3000是K-最近邻(K-NN)方法的情况下,对应于特定外部对象类别的运动模型例如可以包括用于该外部对象类别的特征向量结构以及该外部对象类别中的已有具体特征向量。再例如,在运动识别算法3000是利用贝叶斯分类器的情况下,对应于特定外部对象类别的运动模型例如可以包括用于该外部对象类别的概率密度函数及其相关参数。再例如,在运动识别算法3000是利用神经网络的识别方法的情况下,对应于特定外部对象类别的运动模型例如可以包括用于该外部对象类别的神经网络的结构以及相关参数。运动模型可以与具体设备有关(例如,仅针对一种具体设备的运动信号进行训练),也可以适用于多种设备(例如,针对多种设备的运动信号进行训练)。应理解的是,在对运动识别算法3000进行编程实现时,对应于不同外部对象类别的多个运动模型不一定会体现为分开的程序模块,而是有可能混合或交织在一起。然而,只要算法中包含能够用于识别出特定外部对象类别的一段或多段程序或指令(其中可能包含前述的模板、数学模型、算法、参数中的至少一个),即认为该段程序或指令对应于本公开中的运动模型。
图2所示的方法(以及后述的根据各种示例性实施方式的方法步骤)可以由设备1001(或与之相关联的设备)中的处理器1007执行,也可以由位于设备1001外部的另一计算设备(例如,远程计算机1101的处理器1107)执行。在该方法由位于设备1001外部的另一计算设备执行的情况下,与设备1001关联的运动传感器1003所感测的运动数据(可选地,以及摄影机1005-1所拍摄的图像和/或麦克风1005-2所获取的声音等附加信号)被发送到所述另一计算设备,由所述另一计算设备执行根据本公开的方法。
图4是示出根据本公开的一些示例性实施方式的与外部对象类别相关的数据例子的图表。图4所示的数据可以被存储在设备1001或与之相关联的设备(例如前文所述的电子设备)中所包括的存储器1009中,也可以存储在远程计算机的存储器中。在图4所示的例子中,外部对象类别例如可以包括卡车、地铁/火车、人、动物、飞机起降、地震和未知类别。如图4所示,对于每一种外部对象类别,均可以关联地存储与该外部对象类别对应的运动模型(其例如可以包括相应的模板、阈值、参数或算法等等),还可以存储通过多次感测而获得的相关运动信号。所存储的运动模型可以是至少部分地基于这些相关运动信号而被训练的。
根据一些实施方式,可选地,对于每一种外部对象类别,还可以存储附加信号模型。所述附加信号模型例如可以包括图像模型和/或声音模型,所述图像模型被配置为用于从图像中识别相应外部对象类别的外部对象,所述声音模型被配置为用于从声音中识别相应外部对象类别的外部对象。类似于运动模型,所述图像模型和/或声音模型各自可以利用任何图像识别算法和/或声音识别算法,并可以利用任何图像特征和/或声音特征,只要能够从图像和/或声音中识别相应外部对象类别的外部对象即可。在这种情况下,数据例如还可以与外部对象类别相关联地存储相关附加信号(例如图像和/或声音)。
根据一些实施方式,可选地,对于每一种外部对象类别还可以存储置信度。所述置信度是针对运动模型的可信程度,置信度分数越高,表明通过该运动模型识别出相应外部对象类别的结果越可信。虽然图中仅示出了设置针对运动模型的置信度,但是还可以设置针对附加信号模型(例如图像模型和/或声音模型)的置信度。
根据一些实施方式,可选地,对于每一种外部对象类别还可以存储与设备1001的所在地相关外部事件。可选地,还可以记录相关外部事件对于识别结果的影响。例如,与外部对象类别“卡车”相关联地,相关外部事件可包括在特定时间段期间,设备1001的所在地附近正在修路。因此,附近有卡车经过的可能性增加,记录为对于将外部对象类别识别为卡车的影响为正向(“+”)。如果特定外部事件表明出现特定外部对象类别的概率增大,则可以(例如通过加权的方式)增大将外部对象类别识别成该特定外部对象类别的机会。
虽然图4示出了与外部对象类别相关的示例性数据例子的图表,但是应该理解,图4仅仅是针对用于执行本公开的方法所存储的数据的示意图,数据的存储形式并不限于此。此外,也可以将图4中的外部对象类别基于运动类别、运动持续时间、运动幅度或功率等其他因素而进一步细分为多个子类别,例如对于“人”的类别可以进一步细分为“人为踢踹”、“人为敲击”、“高强度持续人为破坏”等子类别。
图5是示出根据本公开的一些示例性实施方式的用于对运动信号进行处理的方法的流程图。运动检测在相关技术中主要用于在正常工作中会产生显著机械运动的设备,所感测的运动是设备自身产生的运动。因此,在根据相关技术感测到设备的异常运动时,设备往往已经存在故障。然而在很多情况下,设备在工作时本身并不产生高强度的运动,而是仅在外部对象的影响下被动产生运动。这种被动产生的运动并不必然会直接引起设备故障,而是可能在多次发生这种运动的情况下,累积地逐渐使设备的工作性能下降。希望的是,在运动影响的累积已达到一定程度但尚未引起设备故障的情况下,维护人员能及时对设备进行维护。针对这种问题,提供如图5所示的用于对运动信号进行处理的方法。
根据图5所示的方法,响应于确定运动信号所表示的运动是由特定外部对象类别的外部对象所引起的,使计数器的计数值增加,并且响应于所述计数器的计数值达到阈值计数值,发送表示所述设备需要维护的消息。
特别地,在步骤S501,例如从运动传感器1003获得运动信号。然后,在步骤S505中,基于所述运动信号,利用运动识别算法,确定外部对象类别。可选地,在步骤S505之前可以包括步骤S503即判断运动信号是否满足预定条件。根据一些实施方式,所述预定条件例如可以包括但不限于:所述运动信号的幅度或功率大于阈值幅度或阈值功率。如果在步骤S505中判断运动信号满足预定条件,则流程前进到步骤S505,否则回到步骤S501以处理下一个运动信号。换言之,根据一些实施方式,如果运动信号的幅度或功率过小,或者如果初步判断运动信号对于设备1001的性能不会带来负面影响,则可对这种运动信号进行忽略而不进行进一步处理。
在步骤S507,响应于确定运动信号所表示的运动是由特定外部对象类别的外部对象所引起的,使计数器的计数值增加。在一些情况下,不同外部对象可能会分别影响设备1001的不同部件或者造成对设备1001的不同类型的影响。因此,根据一些实施方式,可以对于不同外部对象类别分别设置各自的计数器。在另一些情况下,不同外部对象可能对于设备1001会造成同一部件或同一类型的累积影响。因此,根据一些实施方式,也可以对多个外部对象类别设置共同的累计计数器,从而对这些外部对象类别引起的运动进行累计的计数。也可以既设置针对单独的外部对象类别的计数器,也设置针对多个外部对象类别的累计计数器。
计数器每次增加的量可以是1,也可以取决于特定外部对象类别、运动信号的幅度、运动信号的功率、和/或运动信号的持续时间,对所述计数器的计数值增加的量进行加权。加权的权重可以取决于外部对象类别、运动信号的幅度、运动信号的功率、和/或运动信号的持续时间对设备1001的负面影响而被确定。例如,对于卡车经过的权重可以设为1,对于飞机起降的权重可以设为1.5,对于人为敲击的权重可以设为3,对于人为踢踹的权重可以设为5,对于动物摇晃的权重可以设为5,对于持续1秒的运动信号进一步以1进行加权,对于持续5秒的运动信号进一步以5进行加权,等等,并且可以进一步施加与运动信号幅度或功率成正比的权重。根据时间对计数值进行加权,相当于对时间进行累计或加权累计。因此,对运动信号的时间进行累计或加权累计也被包含在本公开的范围内。根据一些实施例,如果在步骤S505中所确定的外部对象类别是对于设备1001的性能不会带来负面影响的类别,则在步骤S507中可以不使计数器的计数值增加(相当于权重为0)。根据一些实施例,如果在步骤S505中所确定的外部对象类别是对于设备1001的性能带来的负面影响很大的类别和/或强度,或者需要维护人员或警方的特别关注(例如高强度持续人为破坏,或者附近有熊等危险动物出没),则可以直接通知维护人员和/或报警。换言之,响应于确定所述运动信号所表示的运动是由特定外部对象类别的外部对象所引起的特定运动,可以发送表示所述特定外部对象类别的消息。可选地,可以将感测到所述特定运动时附加信号传感器所感测到的附加信号(例如图像、声音等)随消息一起发送,和/或将运动识别算法所识别出的所述特定外部对象类别随消息一起发送,从而便于维护人员或警方判断设备运动的原因。
在步骤S509中,可判断计数器的计数值是否达到阈值计数值。如果计数器的计数值已达到阈值计数值,则可发送表示所述设备需要维护的消息(例如可以发送给维护人员或发送给远程计算机)。可选地,可以将附加信号传感器所感测到的附加信号(例如图像、声音等)随消息一起发送,和/或将运动识别算法每一次所识别出的外部对象类别随消息一起发送,从而便于维护人员判断设备受到的运动的原因。如果计数器的计数值未达到阈值计数值,则可回到步骤S501以处理下一个运动信号。阈值计数值例如可以设为设备1001很可能尚未发生故障但即将会发生故障的计数值,并且可以通过经验或计算机仿真等手段而事先确定。
虽然已参照图5描述了示例性方法,但对运动信号进行计数的方法不限于此。例如,如果预计引起设备1001的运动的外部对象类别单一,则可以省略对外部对象类别的识别,而通过用运动信号的幅度、运动信号的功率、和/或运动信号的持续时间对计数值进行加权,即图5中可以省略步骤S505。根据这种实施例,在步骤S501中,获得与设备1001相关联的运动传感器1003所感测到的运动信号,所述运动信号表示由外部对象引起的所述设备1001的运动。在步骤S503中,判断所述运动信号是否满足前述的预定条件。所述预定条件例如可以包括:所述运动信号的幅度大于阈值幅度,所述运动信号的功率大于阈值功率,和/或所述运动信号符合特定样式。响应于确定所述运动信号满足预定条件S503,在步骤S507中,使计数器的计数值增加。在步骤S509中,判断计数器的计数值是否达到阈值计数值。在步骤S509中,响应于所述计数器的计数值达到阈值计数值,发送表示所述设备需要维护的消息。类似地,取决于运动信号的幅度、运动信号的功率、和/或运动信号的持续时间,可以对所述计数器的计数值增加的量进行加权。根据时间对计数值进行加权,相当于对时间进行累计或加权累计。因此,对运动信号的时间进行累计或加权累计也被包含在本公开的范围内。
在一些常规技术中,对于外部对象使设备1001所遭受的低强度运动(例如卡车经过、飞机起降、人为敲击等引起的设备的运动),如果这种低强度运动并不足以造成设备故障,则这种低强度运动并不引起关注,而是仅足够造成或表明设备故障的设备异常运动才会引起关注。而如果每一次这样的强度运动都引起关注,则会造成对人力和物力的浪费。另一方面,根据图5所示的示例性方法,即使对于外部对象使设备1001所遭受的低强度运动,由于可以对其进行计数,因此能够监视并考虑这些运动的累积影响。进一步地,如果对这种计数根据外部对象类别、运动信号的幅度、运动信号的功率、和/或运动信号的持续时间进行加权,则可更加准确判断这些不同运动的累积影响。例如,可以在运动影响的累积已达到一定程度但尚未引起设备故障的情况下通知维护人员进行维护,以避免潜在的故障。
图6(a)、图6(b)和图6(c)是示出根据本公开的一些示例性实施方式的用于对运动信号进行处理的方法的流程图。图6(a)、图6(b)和图6(c)的方法可以由设备1001或其相关联的设备(例如前述的电子设备)执行。在这些附图示出的示例性方法中,除了利用运动信号以外,还结合附加信号(例如但不限于图像、声音等)作为辅助,对作为所述运动的起因的外部对象类别进行识别。
根据图6(a)所示的示例性方法,如果利用运动识别算法未能成功确定作为运动的起因的外部对象类别,则获得附加传感器所获取的所述设备附近的附加信号。然后,基于所获取的附加信号,利用附加信号识别算法,识别作为所述运动的起因的外部对象类别。所述附加信号识别算法基于分别对应于所述多个外部对象类别的多个附加信号模型。
在图6(a)所示的示例性方法中,步骤S501-步骤S505可以与图5中的步骤S501-S505相同或者类似,这里不再赘述。
在步骤S601中,判断在步骤S505中是否成功确定外部对象类别。在一些情况下,有可能无法成功确定外部对象类别,即运动识别算法3000无法基于运动信号确定外部对象属于哪个外部对象类别。例如,在实际外部对象类别为地铁,但存储器中不存在对应于地铁的运动模型而仅存在对应于卡车、飞机和人的运动模型的情况下,运动信号可能与运动识别算法3000中的任何一个运动模型都不相符。在其他情况下,在实际外部对象类别为地铁的情况下,虽然存储器中可能存在对应于地铁的运动模型,但该运动模型被训练时所使用的训练数据量较小,或者该运动模型被训练时所使用的训练数据质量不佳,亦或者此次感测的运动信号对于地铁引发的运动来说并不典型,则即使是地铁引起的运动信号也可能与地铁的运动模型并不相符。在这些情况下,可能无法成功确定外部对象类别。
如果在步骤S601中判断为成功确定外部对象类别,则可如图5所示的那样,在步骤S507中使计数器的计数值增加,以及如果在步骤S509中判断计数值达到阈值计数值,则在步骤S511中发送表示设备需要维护的消息。由于这里的步骤S507-S511可以与图5中的步骤S507-S511相同或者类似,这里不再赘述。
如果在步骤S601中判断为未能成功确定外部对象类别,则流程前进到步骤S603,在步骤S603中获得附加传感器所获取的所述设备附近的附加信号。所述附加传感器例如可以包括但不限于摄影机和麦克风等中的至少一个。所述附加信号例如可以包括但不限于图像和声音等中的至少一个,只要所述附加信号能够用于识别在感测运动信号时出现在附近的外部对象即可。
根据一些实施方式,所述附加传感器可以被配置为周期性地(例如每秒或每0.5秒)进行附加信号感测。因此,所述附加信号可以包括附加信号随时间的序列,例如图像序列、视频信号或连续声音信号。作为替换方案,也可以仅在感测到幅度或功率高于阈值幅度或功率的运动信号时获取有限数量的附加信号,例如一幅或几幅图像或者预定时段内的声音。根据一些实施方式,附加信号也可以包括所感测的信号的频域信号,例如经过傅里叶变换、小波变换、余弦变换等频域变换所获得的频域信号。附加信号也可以包括通过将所感测的信号进行任何预处理(例如滤波等)所获得的信号。
在步骤S603中获得附加信号之后,在步骤S605中,基于所述附加信号,利用附加信号识别算法,识别外部对象类别。所述附加信号识别算法被配置为从附加信号中识别外部对象的外部对象类别。例如,作为附加信号识别算法的图像识别算法能够识别出作为附加信号的图像中是否包含动物、人物或者卡车等外部对象类别。再例如,作为附加信号识别算法的声音识别算法能够识别出作为附加信号的某段声音是否包含人类的喊叫、动物的叫声或者卡车行驶的声音等外部对象类别的声音。附加信号识别算法可以采用任何模式识别方法。特别地,对于图像和/或声音,可以采用任何图像识别算法和/或声音识别算法。
所述附加信号识别算法可以基于分别对应于所述多个外部对象类别的多个附加信号模型。在本公开中,对应于某外部对象类别的相应“附加信号模型”包括用于将所述该外部对象类别成功确定的模板、数学模型、算法(例如分类器算法或识别器算法)中的至少一个,及其相关参数。应理解的是,在对附加信号识别算法进行编程实现时,对应于不同外部对象类别的多个附加信号模型不一定会体现为分开的程序模块,而是有可能混合或交织在一起。然而,只要算法中包含能够用于识别出特定外部对象类别的一段或多段程序或指令(其中可能包含前述的模板、数学模型、算法、参数中的至少一个),即认为该段程序或指令即对应于本公开中所说的附加信号模型。
通过步骤S601-S605的处理,在利用运动识别算法未能成功识别外部对象类别的情况下,可以借助与外部对象相关联的附加信号(例如图像或声音),从而使得附加信号识别成为运动识别的有益补充,提高识别外部对象类别的成功率。
在步骤S607中,判断利用所述附加信号识别算法是否成功确定外部对象类别。如果在步骤S607中判断为利用所述附加信号识别算法成功确定作为所述运动的起因的外部对象的外部对象类别,则在步骤S507中使计数器的计数值增加,以及如果在步骤S509中判断计数值达到阈值计数值,则在步骤S511中发送表示设备需要维护的消息。
根据一些实施方式,如果在步骤S607中判断为利用所述附加信号识别算法成功确定作为所述运动的起因的外部对象类别,图6(a)所示的方法还可以可选地包括步骤S609-S617,即基于所述运动信号和利用附加信号识别算法所确定的外部对象类别,更新或创建对应于所确定的外部对象类别的运动模型。
在步骤S609中,判断是否已存在对应于所确定的外部对象类别的运动模型。如果在步骤S609中判断为已存在对应于所确定的外部对象类别的运动模型(这表明已有运动模型可能不够精确或不够全面),则在步骤S611中基于所述运动信号和所确定的外部对象类别,更新对应于所确定的外部对象类别的运动模型。此处的更新可以包括利用所述运动信号进一步训练所确定的外部对象类别的已有运动模型。另一方面,如果在步骤S609中判断为尚不存在对应于所确定的外部对象类别的运动模型(这表明利用附加信号识别算法确定的外部对象类别对于运动识别算法是未知的外部对象类别),则在步骤S615中基于所述运动信号和所确定的外部对象类别,创建对应于所确定的外部对象类别的运动模型。此处的创建可以包括新建运动模型,并且利用所述运动信号(可选地,可结合所确定的外部对象类别的更多运动信号)来训练所新建的运动模型。
根据步骤S609-S617,在利用附加信号识别算法成功确定外部对象类别的情况下,能够将附加信号识别算法的识别结果用于改善运动识别算法。
根据一些实施方式,所述多个运动模型是从第一远程计算机获得的。在这种情况下,可选地,还可以在步骤S613或步骤S617将更新或创建的运动模型发送到第二远程计算机。第一远程计算机和第二远程计算机可以是相同的计算机,也可以是不同的计算机。例如,第一远程计算机和第二远程计算机可以均为私有云上的计算机。在其他例子中,第一远程计算机可以是公有云上的计算机(例如图10所示的远程计算机1101),而第二远程计算机可以为私有云上的计算机(例如图10所示的远程计算机3101)。所述第一和第二远程计算机可以使得网络上的其他设备也能获得更新或创建的运动模型。由此,网络上的其他设备能够共享在任何设备处利用新的信息更新或创建的新的运动模型。
根据一些实施方式,如果在步骤S607中判断为利用所述附加信号识别算法仍然未能成功确定作为所述运动的起因的外部对象类别,则流程可前进到图6(b)所示的步骤S619-S625,或者作为替换方案,流程可前进到图6(c)所示的步骤S627-S631。
在图6(b)所示的实施例中,在步骤S619中,将所述附加信号发送到远程计算机(例如前述的第一远程计算机或第二远程计算机,例如可以是远程计算机1101或3101)。根据一些实施方式,所述远程计算机的用户可以基于所述附加信号手动判断相关联的外部对象类别。例如,该用户可以通过观看图像或收听声音来确定相关联的外部对象。在步骤S621中,从远程计算机获得基于所发送的附加信号而确定的外部对象类别。在步骤S623中,基于所述运动信号和所获得的外部对象类别,更新或创建对应于所获得的外部对象类别的运动模型。例如,可以利用所述运动信号进一步训练所确定的外部对象类别的已有运动模型,或者新建运动模型并利用所述运动信号(可选地,可结合所确定的外部对象类别的更多运动信号)来训练所新建的运动模型。
根据步骤S619-S623,即使在设备1001的本地利用运动识别算法和附加信号识别算法均无法成功确定外部对象类别,也可以借助远程帮助来识别外部对象类别,并且借助通过远程帮助所确定的外部对象类别来改善本地的运动识别算法。
可选地,图6(b)所示的方法还可以包括步骤S625,在步骤S625中,基于所述附加信号和所获得的外部对象类别,更新或创建对应于所获得的外部对象类别的附加信号模型。根据此步骤,还可以借助通过远程帮助所确定的外部对象类别来改善本地的附加信号识别算法。
作为图6(b)所示的实施例的替换方案,在图6(c)所示的实施例中,在步骤S627中,将所述附加信号和所述运动信号两者均发送到远程计算机。根据一些实施方式,所述远程计算机的用户可以基于所述附加信号手动判断相关联的外部对象类别,并且远程计算机可以基于所述运动信号和所确定的外部对象类别,更新或创建对应于所获得的外部对象类别的运动模型。远程计算机可以与各设备1001(或与之相关联的设备)同步存储有运动模型。因此,远程计算机可以利用所述运动信号进一步训练所确定的外部对象类别的已有运动模型,或者新建运动模型并利用所述运动信号(可选地,可结合所确定的外部对象类别的更多运动信号)来训练所新建的运动模型。在步骤S629中,从所述远程计算机获得基于所发送的附加信号和运动信号而更新或创建的运动模型及其对应的外部对象类别。
根据步骤S627-S629,即使在设备1001的本地利用运动识别算法和附加信号识别算法均无法成功确定外部对象类别,也可以借助远程帮助来识别外部对象类别,并且远程计算机还可协助改善本地的运动识别算法。
可选地,远程计算机可以基于所述附加信号和所获得的外部对象类别,更新或创建对应于所获得的外部对象类别的附加信号模型。在这种情况下,图6(c)所示的方法还可以包括步骤S631,在步骤S631中,从所述远程计算机获得基于所发送的附加信号而更新或创建的附加信号模型及其对应的外部对象类别。根据此步骤,还可以借助远程帮助来改善本地的附加信号识别算法。
在执行图6(b)或图6(c)中的步骤之后,流程可以回到步骤S507,并且继续执行步骤S507-S511的处理。
虽然已经参照图6(a)-6(c)描述了本公开的一些示例性实施例,但应理解,本公开不受这些示例性实施例的限制,而是可以省略或替换其中的一些步骤。此外,还可以有如下的一些可选实施例。
根据一些实施方式,可以不仅基于所述运动信号并利用所述运动识别算法,而且还基于关于外部事件的信息,识别作为所述运动的起因的外部对象类别。所述外部事件包括与引起所述设备的运动的外部对象相关联的事件,其例子在图4中示出。关于这些外部事件的信息可以是事先从远程计算机获得的,或者可以是事先从其他消息源(例如新闻网站或简易信息聚合RSS)获得的,或者也可以是由用户手动输入的。根据一些实施方式,与特定外部对象类别相关联的外部事件的信息可以影响运动识别算法3000。特别地,如果特定外部事件表明出现特定外部对象类别的概率增大,则可以(例如通过加权的方式)增大将外部对象类别识别成该特定外部对象类别的机会。例如,在运动识别算法3000利用模板匹配方法识别外部图像类别时,如果外部消息表明附近正在修路(从而更可能有卡车行驶经过),则可以对运动信号和对应于该特定外部对象类别的模板进行相关运算所得到的结果进行大于1的加权。
根据一些实施方式,可以如图4所示对各个运动模型设置置信度。此外,虽然图4未示出,但是也可以对于各个附加信号模型设置置信度。所述置信度表示各个模型的可信程度,置信度越高表明该模型的识别结果约可信。
图7是示出根据本公开的一些示例性实施方式的与模型的置信度分数相关的方法的流程图。
在步骤S701中,获得与设备1001相关联的运动传感器1003所感测到的运动信号,并且在步骤S703中,基于所述运动信号,利用运动识别算法,识别作为所述运动的起因的外部对象的外部对象类别。此外,在步骤S705中,获得附加传感器(例如摄影机1005-1和/或麦克风1005-2)所获取的所述设备附近的附加信号(例如图像或声音),并且在步骤S707中,基于所述附加信号,利用附加信号识别算法,识别作为所述运动的起因的外部对象类别。步骤S701-S703与步骤S705-S707之间可以具有任意顺序关系,其可以并行执行,也可以先后执行。
在步骤S709中,判断在步骤S703中利用运动识别算法所确定的外部对象类别与在步骤S707中利用附加信号识别算法所确定的外部对象类别是否一致。如果类别一致,则在步骤S711中增大对应于所确定的外部对象类别的运动模型和附加信号模型中至少之一的置信度分数(例如增大1);而如果类别不一致,这表明运动模型和附加信号模型中至少一个的识别结果是错误的,则在步骤S713中减小对应于所确定的外部对象类别的运动模型和附加信号模型中至少之一的置信度分数(例如减小1)。根据一些实施方式,在初始状态下,各个模型的置信度分数可以设为任意初始分数(例如70),然后在此基础上根据每次识别外部对象类别时执行步骤S701-S709的结果对置信度分数进行增减。
在步骤S715中,可以判断对应于一个外部对象类别的运动模型或附加信号模型的置信度分数是否小于阈值分数。如果在步骤S715中判断为对应于一个外部对象类别的运动模型或附加信号模型的置信度分数小于阈值分数,则可以在步骤S717中向远程计算机发送表示对应于所述一个外部对象类别的运动模型或附加信号模型不准确的消息。所述阈值分数可以根据具体应用或者经验来设定,例如可以设为比初始分数低的值(例如50或60)。根据一些实施方式,在接收到特定外部对象类别的模型不准确的消息之后,所述远程计算机可以使用更多数据对模型进行训练,并将重新训练好的模型供设备使用。根据另一些实施方式,可以由远程计算机的用户人工考查模型缺陷或可能存在的问题,并将问题解决之后的模型供设备使用。
根据一些实施方式,当多个设备通过远程计算机来共享运动模型或附加信号模型时,远程计算机可以维护统一的置信度分数。例如,每个设备或其关联的电子设备可以将增大或减小某个模型的置信度分数的请求发给远程计算机,由远程计算机统一进行置信度分数的增大或减小。远程计算机也可以设置统一的置信度存储区,不同设备或其关联的电子设备均可以访问该存储区从而增大或减小各模型的置信度分数。在这种情况下,远程计算机可以统一监视各模型的置信度分数,并且在某个模型的置信度分数小于阈值分数的情况下,解决该模型存在的问题。
根据一些实施方式,在有多个附加信号识别算法(例如图像识别算法、声音识别算法)的情况下,图6(a)的步骤S605中可以优先使用附加信号模型的平均置信度分数较高的附加信号识别算法。
在一些情况下,可能会有多个外部对象同时引起设备1001的运动。例如,可能在卡车经过的同时,设备1001经历人为敲击。因此可以对引起设备1001的运动的多个外部对象类别进行识别。
根据一些实施方式,可以基于所述运动信号的频域信号判断所述运动是否由多个外部对象类别的运动对象叠加引起。所述频域信号可以是对所述运动信号进行频域变换(例如傅里叶变换、余弦变换、小波变换)所获得的信号。由于某些不同外部对象引发的运动信号可能占据不同的频域区域,因此可以在频域中将其进行区分。图8是示出根据本公开的一些示例性实施方式的不同外部对象的运动信号的频域信号例子的示意图。如图8所示,一个运动信号的频域信号f(W)可能包括中心频率为W1(其典型为一个外部对象类别引起的运动信号的中心频率)的信号f1(W),以及中心频率为W2(其典型为另一个外部对象类别引起的运动信号的中心频率)的信号f2(W)。因此,可将该运动信号的频域信号f(W)分离为信号f1(W)和信号f2(W),并且对于信号f1(W)和信号f2(W)各自对应的运动信号进行运动识别。换言之,如果判断为运动由多个外部对象类别的运动对象叠加引起,则可将所述频域信号分离为分别用于所述多个外部对象类别的多个信号,并且基于所述多个信号中的每一个,分别识别相应的外部对象类别。
根据另一些实施方式,特别是在外部对象类别的数量较少的情况下,除了表示由单个外部对象类别的运动对象引起的设备运动的运动模型(例如用于卡车的运动模型),运动识别算法3000还可以可选地包括表示由多个外部对象类别的运动对象叠加引起的设备运动的运动模型(例如卡车经过引起的运动叠加人为敲击引起的运动的运动模型)。
根据上述示例性实施例,不仅可以识别单个外部对象引起的运动,而且还可以识别多个外部对象共同引起的运动。
根据一些实施方式,设备1001或与之相关联的设备(例如前文所述的电子设备)可以进一步设置有供用户(例如维护人员)进行输入的输入装置。供用户进行输入的装置可以包括但不限于按钮、鼠标、键盘、触摸屏、触摸板、操纵杆,等等。根据一些实施方式,维护人员在接收到例如前述的表示设备需要维护的消息的情况下,可以亲自前往设备1001的现场以查看、记录和/或维护设备1001。维护人员在对设备进行处理之后,可以通过输入装置向设备1001或与之相关联的设备(例如前文所述的电子设备)输入多种信息中的一种或多种。例如,维护人员可根据机器的维护情况输入表示设备已维护(故障全部修复)、设备已维护(故障部分修复)、故障未能修复等的信息。维护人员在成功维护设备之后,可以输入信息以重置计数器。在维护人员发现有特殊情况需要特别处理时,例如可以输入信息以表示需要增加维护人员或者报警,此时设备1001的通信电路可以将需要增加维护人员或者报警的信息发送到相关通信目的地。
根据一些实施方式,上述输入装置可以通过按钮或者触觉输入部件(例如压力传感器)等方式实施。若干个按钮的组合和/或触觉输入部件的组合可以表达多种不同的用户信息。图9是示出根据本公开的一些示例性实施方式的触觉输入样式与用户信息的预定对应关系例子的图表。多个按钮或者触觉输入部件可以例如分别对应于A、B、C和D,并且通过触觉输入样式的不同组合,能够以简单的结构实现多种不同的用户信息。因此,设备1001或与之相关联的设备(例如前文所述的电子设备)可以接收用户对按钮或者触觉输入部件的触觉输入,并且根据所述触觉输入的不同样式与不同信息之间的对应关系,将所述用户的触觉输入转换成相应的信息。
根据上述示例性实施例,由于可以通过设备1001或与之相关联的设备的输入装置输入与维护相关的用户信息和/或通信信息,因此可以无需用户利用自带的移动设备等进行信息记录或发送。特别地,如果利用按钮或者触觉输入部件等简单输入装置,对于低温环境中的设备可能特别有利,因为常规移动设备的锂电池在低温环境中可能具有较差的工作性能。
以上从设备1001的角度描述了根据本公开的多个示例性实施例的对运动信号进行处理的方法和设备。以下将结合图10的示意图和图11的流程图对于远程计算机和数据库的示例性实施方式进行说明。
图10是示出根据本公开的一些示例性实施方式的远程计算机和数据库的示意图。图10中所示的私有云可以由拥有或负责维护设备1001及其他类似设备的实体(例如拥有或负责维护基站控制器的通信公司)控制。远程计算机3101和/或4101可以在私有云上维护自定义运动模型数据库DB3,可选地,还可以在私有云上维护自定义附加信号模型数据库DB4。所述自定义运动模型数据库DB3中可以存储多个外部对象类别的运动模型,所述自定义附加信号模型数据库DB4中可以存储多个外部对象类别的附加信号模型。因此,设备1001或与之相关联的设备(例如前文所述的电子设备)可以从位于私有云的远程计算机3101和/或4101获得前述的模型(运动模型和/或附加信号模型),并且使用这些模型对外部对象类别进行识别。在自定义运动模型数据库DB3和自定义附加信号模型数据库DB4中也可以维护如图4所示的数据。在图4所示的数据被存储在私有云上的自定义数据库中的情况下,相关外部事件可以包括与部署有各个设备的不同地点相关联的多个相关外部事件,并且置信度是集中了来自多个设备的反馈的置信度分数。
在步骤S613和S617中以及在步骤S623之后和在步骤S625之后,设备1001或与之相关联的设备(例如前文所述的电子设备)可以将更新或者创建的运动模型和/或附加信号模型发送到私有云上的远程计算机3101和/或4101,远程计算机3101和/或4101可以利用接收到的模型来更新自定义运动模型数据库DB3和自定义附加信号模型数据库DB4中的模型。此外,在步骤S627之后,远程计算机3101和/或4101可以利用接收到的运动信号和附加信号来更新或创建运动模型和/或附加信号模型,并且用更新或创建的运动模型和/或附加信号模型来更新自定义运动模型数据库DB3和自定义附加信号模型数据库DB4。在基于与设备1001相关联的信号对数据库DB3和DB4中的模型进行更新之后,其他类似设备也能够使用更新后的模型,从而与私有云通信连接的多个类似设备均可以受益于其中任何一个设备的更新信息。
图10中所示的公有云可以由云服务提供商控制。远程计算机1101和/或2101可以在公有云上维护预定运动模型数据库DB1,可选地,还可以在公有云上维护预定附加信号模型数据库DB2。私有云上的远程计算机3101和/或4101可以将其自定义运动模型数据库DB3和自定义附加信号模型数据库DB4中的运动模型和/或附加信号模型提交到公有云。如果公有云上的远程计算机1101和/或2101能够确认所接收到的运动模型和/或附加信号模型的安全性和可靠性,则可以利用接收到的模型来更新预定运动模型数据库DB1和预定附加信号模型数据库DB2中的模型。
由于公有云不仅仅为特定设备所有者或维护者提供服务,因此不同设备所有者或维护者(例如不同通信公司)均可以从位于公有云的远程计算机1101和/或2101获得模型,并且使用这些模型对外部对象类别进行识别。从而,与公有云通信连接的不同设备所有者或维护者均可以受益于其中任何一个设备的更新信息。
根据一些实施方式,设备1001或与之相关联的设备(例如前文所述的电子设备)可以从公有云上的远程计算机(第一远程计算机)获得运动模型和/或附加信号模型,而将更新或创建的模型发送到私有云上的远程计算机(第二远程计算机)。设备1001或与之相关联的设备(例如前文所述的电子设备)也可以从私有云上的远程计算机(第二远程计算机)获得运动模型和/或附加信号模型。设备1001或与之相关联的设备(例如前文所述的电子设备)可以通过以下方式之一从远程计算机获得模型:主动向从远程计算机请求模型、通过远程计算机从相应数据库读取模型、或者接收远程计算机主动发送或推送的模型。
图11是示出根据本公开的一些示例性实施方式的电子设备和远程计算机对运动信号进行处理的方法的流程图。特别地,图11示出了第一电子设备、远程计算机(例如私有云上的远程计算机3101)和第二电子设备之间的交互操作。所述第一电子设备可以是第一设备(例如设备1001)本身,也可以是与第一设备相关联的设备(例如前文所述的电子设备)。第二电子设备可以是第二设备(例如设备2001)本身,也可以是与第二设备相关联的设备(例如前文所述的电子设备)。第一电子设备和第二电子设备能够与远程计算机进行通信。图11的方法流程可以适用于前述图1和图10所示的场景,也可适用于图2、图5、图6(a)-6(c)和图7所示的方法。
如图11所示,第一电子设备从运动传感器1003获得第一运动信号(步骤S1101),并且基于第一运动信号,利用运动识别算法,识别外部对象类别(步骤S1103)。如果未成功确定外部对象类别,则第一电子设备从附加信号传感器获得第一附加信号(步骤S1105),并基于第一附加信号,利用附加信号识别算法,识别外部对象类别(步骤S1107)。如果仍未成功确定外部对象类别,则第一电子设备将第一运动信号和第一附加信号发送到远程计算机(步骤S1109)。
远程计算机从第一电子设备获得第一运动信号和第一附加信号(步骤S1109),所述第一运动信号是与第一设备相关联的运动传感器所感测到的运动信号,所述第一附加信号是附加传感器所获取的所述第一设备附近的附加信号。远程计算机的用户在接收到第一附加信号之后,可以手动识别第一附加信号中的外部对象的外部对象类别(即,第一外部对象类别),并且将手动识别出的外部对象类别输入到远程计算机中。作为替换,远程计算机也可以通过在自身中执行的或者由另一台计算机执行的附加信号识别算法,从第一附加信号识别出外部对象类别(即,第一外部对象类别)。因而,远程计算机可以获得第一外部对象类别,所述第一外部对象类别是所述第一附加信号中所示出的第一外部对象的外部对象类别(步骤S1111)。
远程计算机可以基于第一运动信号和第一外部对象类别,更新或创建对应于第一外部对象类别的第一运动模型(步骤S1113)。特别地,如果远程计算机的数据库中已存在对应于所述第一外部对象类别的第一运动模型,则基于所述第一运动信号和所述第一外部对象类别更新对应于所述第一外部对象类别的第一运动模型。如果不存在对应于所述第一外部对象类别的第一运动模型,则基于所述第一运动信号和所述第一外部对象类别创建对应于所述第一外部对象类别的第一运动模型。例如,可以利用第一运动信号进一步训练所确定的外部对象类别的已有运动模型,或者新建运动模型并利用第一运动信号(可选地,可结合所确定的外部对象类别的更多运动信号)来训练所新建的运动模型。然后,可以使得所述第一电子设备和不同于所述第一电子设备的第二电子设备能够获得所述第一运动模型(步骤S1117)。
可选地,远程计算机还可以基于第一附加信号和第一外部对象类别,更新或创建对应于第一外部对象类别的第一附加信号模型(步骤S1115)。特别地,如果远程计算机的数据库中已存在对应于所述第一外部对象类别的第一附加信号模型,则基于所述第一附加信号和所述第一外部对象类别更新对应于所述第一外部对象类别的第一附加信号模型。如果不存在对应于所述第一外部对象类别的第一附加信号模型,则基于所述第一附加信号和所述第一外部对象类别创建对应于所述第一外部对象类别的第一附加信号模型。然后,可以使得所述第一电子设备和第二电子设备能够获得所述第一附加信号模型(步骤S1119)。
通过上述步骤,远程计算机可以利用人工或更加强大的识别算法确定外部对象类别,并且利用未能识别出外部对象类别的运动信号更新或创建运动模型。可选地,不仅可以更新或创建运动模型,还可以利用在设备本地处未能识别出外部对象类别的附加信号更新或创建附加信号模型。在远程计算机处对更新或创建这些模型之后,可以使与该远程计算机通信的多个设备均可获得更新或创建的模型,实现外部对象类别的信息共享。
根据一些实施方式,远程计算机还可以从所述第一电子设备获得对应于第二外部对象类别的第二运动模型(步骤S1121),并且使得所述第二电子设备能够获得所述第二运动模型(步骤S1123)。所述第二运动模型可以是在第一电子设备处更新或创建的模型。由此,第二电子设备能够通过远程计算机(例如私有云上的远程计算机)共享第一电子设备更新或创建的模型。
根据一些实施方式,远程计算机还可以从信息源获得与所述第一设备和第二设备所在的地点相关的外部事件的信息,其中所述外部事件与引起所述第一设备或所述第二设备的运动的外部对象相关联(步骤S1125)。之后,远程计算机可以使得所述第一电子设备能够获得与该第一电子设备的地点相关的外部事件的信息(步骤S1127),并且使得所述第二电子设备能够获得与该第二电子设备的地点相关的外部事件的信息(步骤S1129)。由此,远程计算机能够收集与引起设备运动的外部对象相关联的外部事件,并且将这样的外部事件分享给相应地点的电子设备,从而有助于电子设备利用外部事件来辅助进行外部对象类别的识别。
根据一些实施方式,图11所示的远程计算机执行的方法可以实施在私有云所包括的远程计算机中。在这种情况下,该方法还可以包括:远程计算机将所更新或创建的第一运动模型提交到公有云,和/或将从第一电子设备接收的第二运动模型提交到公有云。如果公有云能够确认从私有云接收到的模型的安全性和可靠性,则可以利用接收到的模型来更新公有云的数据库中的模型。
虽然已结合了可能处于户外的设备受到人、卡车等外部对象的影响而运动的例子描述了本公开对运动信号进行处理的方法,但该方法的适用情形不限于此。设备1001也可以是设备中的第一部件,而外部对象也可以是处于所述第一部件外部但位于设备内的第二部件。例如,一些电子设备安装有风扇和扬声器,这两者都可能引起电子设备内的其他部件的运动(例如振动)。这些运动虽然可能轻微,但累积起来却会导致硬盘故障、螺钉松动或其他问题。因此,感测电子设备的一些部件由风扇和扬声器等引起的运动,对相应运动信号进行处理(例如对运动信号进行识别或者计数),从而在计数器达到阈值计数值的情况下发出警告,以便于维护人员进行维护。
以上已结合了图1-图11描述了设备侧和远程计算机侧的用于对运动信号进行处理的方法的多种实施方式。下面结合图12和图13简述根据本公开的一些示例性实施方式的电子设备。图12和
图13是示出根据本公开的一些示例性实施方式的电子设备的结构框图。
图12所示,电子设备1200可以是用于对运动信号进行处理的设备,其可以包括获得装置1201,所述获得装置1201被配置为获得与设备相关联的运动传感器所感测到的运动信号,所述运动信号表示由外部对象引起的所述设备的运动。所述电子设备1200还可以包括识别装置1203,所述识别装置1203被配置为基于所述运动信号,利用运动识别算法,识别作为所述运动的起因的外部对象的外部对象类别,其中所述运动识别算法基于分别对应于多个外部对象类别的多个运动模型。电子设备1200可以是前述的设备1001,也可以是形成为整体并且可以安装在设备1001上的电子设备(即与设备1001相关联的设备),也可以是位于设备1001的远程位置的远程设备(例如远程计算机或服务器等)。
图13所示,电子设备1300可以是用于对运动信号进行处理的设备,其可以包括第一获得装置1301,所述第一获得装置1301被配置为从第一电子设备获得第一运动信号和第一附加信号,所述第一运动信号是与第一设备相关联的运动传感器所感测到的运动信号,所述第一附加信号是附加传感器所获取的所述第一设备附近的附加信号。电子设备1300还可以包括第二获得装置1303,所述第二获得装置1303被配置为获得第一外部对象类别,所述第一外部对象类别是所述第一附加信号中所示出的第一外部对象的外部对象类别。电子设备1300还可以包括更新装置1305和创建装置1307。所述更新装置1305被配置为如果存在对应于所述第一外部对象类别的第一运动模型,则基于所述第一运动信号和所述第一外部对象类别更新对应于所述第一外部对象类别的第一运动模型。所述创建装置1307被配置为如果不存在对应于所述第一外部对象类别的第一运动模型,则基于所述第一运动信号和所述第一外部对象类别创建(S1113)对应于所述第一外部对象类别的第一运动模型。此外,电子设备1300还可以包括装置1309,所述装置1309被配置为使得所述第一电子设备和不同于所述第一电子设备的第二电子设备能够获得所述第一运动模型。电子设备1300可以是前述的远程计算机,例如远程计算机1101、2101、3101、4101中的至少一个。
虽然以上给出的电子设备1200和电子设备1300包括分别被配置为执行图2和图11所示的部分步骤的各个装置,然而应理解的是,电子设备1200和电子设备1300还可以包括被配置为执行其他流程图中的其他步骤或前述描述中的其他步骤的装置。换言之,只要本公开中提及一个步骤,被配置为执行该步骤的装置就可以被包括在相应的电子设备1200和电子设备1300中。
根据一些实施方式,电子设备1200可以被实施为包括处理器和存储器。所述处理器例如可以是前述的处理器1007或1107,所述存储器例如可以是前述的存储器1009、1109或1209。所述存储器可被配置为存储计算机程序,所述计算机程序包括计算机可读指令,在由所述处理器执行时,所述计算机可读指令使所述处理器执行如前所述的设备1001或与之相关联的设备所执行的任何方法步骤。例如,所述计算机可读指令可以使所述处理器执行结合图2、图5、图6(a)-图6(c)、图7-图10所述的方法步骤,以及图11中由第一电子设备执行的方法步骤。
可选地,电子设备1200还可以包括被配置为感测运动信号的运动传感器(例如运动传感器1003)。可选地,电子设备1200还可以包括附加信号传感器,例如被配置为拍摄所述设备1001附近的图像作为附加信号的摄影机(例如摄影机1005-1),和/或被配置为获取所述设备(1001)附近的声音作为附加信号的麦克风(例如麦克风1005-2)。
根据一些实施方式,电子设备1300可以被实施为包括处理器和存储器。所述处理器例如可以是前述的处理器1107,所述存储器例如可以是前述的远程存储器1109。所述存储器可被配置为存储计算机程序,所述计算机程序包括计算机可读指令,在由所述处理器执行时,所述计算机可读指令使所述处理器执行如前所述的远程计算机(例如远程计算机1101、2101、3101、4101中的至少一个)所执行的任何方法步骤。例如,所述计算机可读指令可以使所述处理器执行图11中由远程计算机3101所执行的方法步骤。
本公开还提供计算机可读存储介质,存储计算机程序,所述计算机程序包括计算机可读指令,在由所述处理器执行时,所述计算机可读指令可使所述存储器执行如前所述的任何方法步骤。
以下将结合图14-图15描述利用触觉提示的一些示例性实施例。
近年来,用户所持有的多个移动设备(可选地,可包括多个可穿戴设备)可能会通过蓝牙等通信手段而形成物联网。根据本公开的一些实施例,可以选择性地使用物联网中的多个移动设备输出触觉提示,从而用户无需以视觉方式查看移动设备也无需依赖于移动设备的听觉提示,即可获得多种信息。
针对接收的通信进行触觉提示的方法例如可以包括如下步骤。通过移动电话接收通信。响应于发生第一通信事件,使第一设备输出触觉提示。响应于发生第二通信事件,则使不同于第一设备的第二设备输出触觉提示。其中,所述第一设备和所述第二设备中的至少一个不同于所述移动电话。根据一些实施方式,响应于发生第三通信事件,还可以使所述第一设备和所述第二设备同时输出触觉提示。
根据一些实施方式,第一通信事件、第二通信事件和第三通信事件例如可以具有不同通信类型。例如,第一通信事件包括接收到电话呼叫,第二通信事件包括接收到短信,第三通信事件包括接收到即时通信消息。根据一些实施方式,第一通信事件、第二通信事件和第三通信事件例如可以具有不同的通信来源。例如,第一通信事件包括来自第一通信来源的通信,所述第二通信事件包括来自第二通信来源的通信。
所述第一设备和第二设备中的每一个可以是以下之一:所述移动电话、第一智能可穿戴设备(例如智能手环)、第二智能可穿戴设备(例如智能手表)。所述第一设备和第二设备中的每一个均包括触觉反馈部件,例如振动器、压力发生器等等。所述第一设备和第二设备之间可例如通过蓝牙、无线局域网、或其他短距离无线通信方式进行通信。移动电话例如可以在接收到通信事件的情况下对通信事件进行判断,并且选择性地指示所述移动电话或其他移动设备(例如智能可穿戴设备)输出触觉提示。
图14是示出根据本公开的一些示例性实施方式的通信来源与输出触觉提示的设备的对应关系例子的图表。如图14所示,可以在移动电话接收到来自不同通信来源(例如同事、朋友、家人)的通信时,使不同移动设备(例如移动电话、智能手环、智能手表、或其任意组合)输出触觉提示。也可以为特定电话号码设置由特定移动设备输出触觉提示。
本公开可提供一种电子设备,其包括处理器和存储器,该存储器被配置为存储计算机程序,所述计算机程序包括计算机可读指令,在由所述处理器执行时,所述计算机可读指令使所述处理器执行如前所述的根据不同通信事件而选择性指示不同设备或其组合输出触觉提示的方法。
通过上述方法和设备,用户无需以视觉方式查看移动设备也无需依赖于移动设备的听觉提示,即可根据从哪一个设备感觉到触觉提示而判断发生了怎样的通信事件。例如根据图14的例子,如果感觉到智能手环的振动,则可知道是朋友来电,而如果感觉到移动电话的振动,则可知道是同事来电。这在不方便频繁以视觉方式查看移动设备的情况下或声音嘈杂而难以感知听觉提示的情况下(例如社交场合下或恶劣天气场合下)可能特别有帮助。
图15是示出根据本公开的另一些示例性实施方式的针对接收的通信进行触觉提示的方法的流程图。根据图15所示的实施例,如果接收到短时间内来自相同或相关联通信地址(例如来自同一电话号码或来自同一人)的反复通信,则通过特别的触觉提示方式来提示用户,以使得用户能够从众多通信中区分出可能需要接听或回复的通信。
在步骤S1501中,接收来自第一通信地址的第一通信。在步骤S1503中,响应于接收到来自第一通信地址的第一通信,以第一触觉提示方式输出针对所述第一通信的触觉提示。在步骤S1505中,在接收到所述第一通信之后,接收来自第二通信地址的第二通信。所述第一通信地址和所述第二通信地址中的每一个例如可以是特定的电话号码、特定的电子邮件地址、特定的即时通信消息账号中的一个。所述第一通信和第二通信中的每一个例如可以是电话呼叫、短消息、电子邮件、即时通信消息中的一个,且第一通信和第二通信可以具有相同或不同的通信类型。
在步骤S1507中,判断所述第二通信地址与第一通信地址是否相同或相关联,用户是否未针对所述第一通信进行应答,并且第二通信与第一通信之间的间隔是否小于第一预定时间段。“相同”意味着完全相同的地址,例如,如果第一通信地址例如是某个特定手机号,则第二通信地址也是该特定手机号。“相关联”意味着源于同一个通信来源方,例如,如果第一通信地址例如是某个人的手机号,则相关联的第二通信地址可以是该同一人的即时通信消息的账户或该同一人的电子邮件地址。所述第一预定事件段可以根据应用需求设置,例如可以设为5分钟-20分钟中的任何时间段。换言之,在步骤S1507中,判断在步骤S1501中和在步骤S1505中是否接收到了来自同一个人的(相同或不同通信方式)的间隔较短的两次通信。如果所述第二通信地址与第一通信地址相同或相关联,用户未针对所述第一通信进行应答,并且所述第二通信与所述第一通信之间的间隔小于第一预定时间段,则在步骤S1509中,以不同于第一触觉提示方式的第二触觉提示方式输出针对所述第二通信的触觉提示。否则,在步骤S1511中,仍以第一触觉提示方式输出针对所述第二通信的触觉提示。第一触觉提示方式和第二触觉提示方式可以在以下中的至少一个方面具有不同:触觉反馈方式(例如振动和压力)、振动频率、振动强度、振动样式(例如两短一长或三长一短等)。例如,第二触觉提示方式可以比第一触觉提示方式具有更高的振动频率、更高的振动强度、和/或更不均匀的振动样式等等。
根据上述步骤,如果通信来源方有紧急事宜因此频繁进行通信,则可以通过特别的触觉提示方式提示用户。用户从而能够无需频繁查看移动电话即可知晓哪些通信是紧急且重要的,以便及时接听或回复。
类似地,在步骤S1513中,在接收到所述第二通信之后,可能又接收到来自第三通信地址的第三通信。在步骤S1515中,判断所述第三通信地址与第一通信地址是否相同或相关联,用户是否未针对所述第一通信和第二通信进行应答,并且第三通信与第二通信之间的间隔是否小于第二预定时间段。如果所述第三通信地址与第一通信地址相同或相关联,用户未针对所述第一通信和第二通信进行应答,并且所述第三通信与所述第二通信之间的间隔小于第二预定时间段,则在步骤S1517中以第三触觉提示方式输出针对所述第三通信的触觉提示。否则,在步骤S1511中,仍以第一触觉提示方式输出针对所述第三通信的触觉提示。第二预定时间段例如可以等于、大于或小于第一预定时间段。所述第三触觉提示方式可以既不同于所述第一触觉提示方式也不同于所述第二触觉提示方式,即可以在以下中的至少一个方面具有不同:触觉反馈方式(例如振动和压力)、振动频率、振动强度、振动样式(例如两短一长或三长一短等)。例如,第三触觉提示方式可以比第一和第二触觉提示方式具有更高的振动频率、更高的振动强度、和/或更不均匀的振动样式等等。
本公开可提供一种电子设备,其包括处理器和存储器,该存储器被配置为存储计算机程序,所述计算机程序包括计算机可读指令,在由所述处理器执行时,所述计算机可读指令使所述处理器执行如前所述的在同一通信来源方短时间内重复进行通信的情况下以特定触觉提示方式输出触觉提示的方法。
通过上述方法和设备,用户可根据特定触觉提示方式获知短时间内来自相同或相关联通信地址(例如来自同一电话号码或来自同一人)的反复通信。从而例如在不方便频繁以视觉方式查看移动设备的情况下或声音嘈杂而难以感知听觉提示的情况下(例如社交场合下或恶劣天气场合下),用户仍然能够准确高效地对于可能重要或紧急的通信进行接听或回复等妥善处理。
综合前述各个实施例,可以想象以下示例性应用场景。要注意的是,此场景仅是为了理解本公开技术方案的应用和技术效果的示例性场景,而不意图限制本公开的范围。基站控制器(例如作为设备1001的例子)被安放在偏远且大雪纷飞的小镇中。利用图2、图5、图6(a)-图6(c)、图7和/或图11所示的算法,在与基站控制器相关联的电子设备处对基站控制器的运动进行识别和计数,并且基站控制器处的用于对运动计数的计数器达到了阈值。在这种情况下,与基站控制器相关联的电子设备发送了表示该基站控制器需要维护的消息。连同该消息,与基站控制器相关联的电子设备还一起发送了在计数器达到阈值的过程中所拍摄的设备周围的图像,以及运动传感器对外部对象类别的历次识别结果。维护人员收到消息后,初步确认设备的运动是由扫雪车频繁经过以及动物晃动引起。于是,维护人员决定前往该小镇以对基站控制器进行维护。
在到达该基站控制器的地点之后,维护人员发现外部对象引起的设备运动的确导致了重要部件的螺丝松动,但尚未造成设备的异常工作,于是进行设备的修理。此次修理使得在设备发生故障并导致实际损失之前及时进行了预防。在修理之后,维护人员根据图9所示的触觉输入样式和用户信息之间的对应关系,按下触觉输入部件(例如压力传感器)输入AB信号以表明机器已维护(故障全部修复),并且输入ABC信号以对计数器发出重置指令。由于图像和运动识别结果均表明附近可能有足以对设备造成影响的大型动物出没,因此维护人员还输入ABD信号以报警,提示警方加强周边的人身和财产安全保护。
在维护人员前往基站控制器和返回办公室的途中,可能会通过移动电话收到电话呼叫。虽然维护人员因天气寒冷而不便经常拿出移动电话进行查看,但他依然可以根据触觉提示来自哪一个移动设备而判断通信来源,从而决定是否接听电话。此外,如果收到特定的触觉提示方式以表明同一电话号码频繁来电,则他可以判断存在紧急事项从而选择接听电话。
维护人员在回到办公室之后,可以将小镇上一直在下大雪以及小镇中有大型动物出没的事件发送给私有云上的远程计算机,作为与小镇这一地点相关联的外部事件。维护人员还可以设置和发送这些外部事件对于当地设备的外部对象类别识别结果的影响,例如增大将外部对象类别确定为“动物”和“卡车”的机会。私有云之上的远程计算机可以使小镇中的同一基站控制器供应商的其他类似设备共享这些外部事件,从而其他类似设备在识别外部对象类别中也能够考虑到附近外部事件的影响。私有云上的远程计算机还可以将这些外部事件提交到公有云。如果公有云上的远程计算机确认了所接收到的外部事件来自可靠来源,则可以将前述与小镇这一地点相关联的外部事件存储在公有云上。由此,即使不同设备的供应商也可以共享这些外部事件,从而在识别外部对象类别中也能够考虑到附近外部事件的影响。
通过本公开的各种实施例,可以充分利用触觉感测和触觉反馈,从而在各种方面提高工作效率以及增强用户体验。
参照图16,现将描述计算设备2000,其是可以应用于本公开的各方面的硬件设备的示例。计算设备2000可以是被配置为执行处理和/或计算的任何机器,可以是但不限于工作站、服务器、台式计算机、膝上型计算机、平板计算机、个人数字助理、智能电话、车载计算机或其任何组合。前述的设备1001、与设备1001相关联的设备、各种电子设备、各种远程计算机、移动电话、移动设备、可穿戴设备等可以全部或至少部分地由计算设备2000或类似设备或系统实现。
计算设备2000可以包括(可能经由一个或多个接口)与总线2002连接或与总线2002通信的元件。例如,计算设备2000可以选择性地包括总线2002、一个或多个处理器2004、一个或多个输入设备2006以及一个或多个输出设备2008。一个或多个处理器2004可以是任何类型的处理器,并且可以包括但不限于一个或多个通用处理器和/或一个或多个专用处理器(例如特殊处理芯片)。所述处理器2004可以用于实现前述的处理器1007、处理器1107、电子设备1200、电子设备1300,或者前述的任何其他处理器和/或控制器。输入设备2006可以是能向计算设备2000输入信息的任何类型的设备,并且可以包括但不限于鼠标、键盘、触摸屏、麦克风、摄影机、遥控器、按钮、触觉输入部件(例如压力传感器)等等。输出设备2008可以是能呈现信息的任何类型的设备,并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。计算设备2000还可以包括非暂时性存储设备2010或者与非暂时性存储设备2010连接,非暂时性存储设备可以是非暂时性的并且可以实现数据存储的任何存储设备,并且可以包括但不限于磁盘驱动器、光学存储设备、固态存储器、软盘、柔性盘、硬盘、磁带或任何其他磁介质,光盘或任何其他光学介质、ROM(只读存储器)、RAM(随机存取存储器)、高速缓冲存储器和/或任何其他存储器芯片或盒、和/或计算机可从其读取数据、指令和/或代码的任何其他介质。非暂时性存储设备2010可以从接口拆卸。非暂时性存储设备2010可以具有用于实现上述方法和步骤的数据/程序(包括指令)/代码。存储设备2010可以用于实施前述的存储器1009、远程存储器1109、远程存储器1209,以及前述的任何其他存储器,并且可以用于存储图3、图4、图9、图14中的任何程序或数据,也可以用于存储用于执行图2、图5、图6(a)-6(c)、图7、图11、图15中所示的任何方法步骤的计算机程序和/或计算机可读指令。计算设备2000还可以包括通信设备2012。通信设备2012可以是使得能够与外部设备和/或与网络通信的任何类型的设备或系统,并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信设备和/或芯片组,例如蓝牙TM设备、1302.11设备、WiFi设备、WiMax设备、蜂窝通信设备和/或类似物。如上所述的通信电路1011、通信电路1111,以及前述的任何其他通信电路,可以例如由通信设备2012实现。
计算设备2000还可以包括工作存储器2014,其可以是可以存储对处理器2004的工作有用的程序(包括指令)和/或数据的任何类型的工作存储器,并且可以包括但不限于随机存取存储器和/或只读存储器设备。工作存储器2014可以用于实施前述的存储器1009、远程存储器1109、远程存储器1209,以及前述的任何其他存储器,并且可以用于存储图3、图4、图9、图14中的任何程序或数据,也可以用于存储用于执行图2、图5、图6(a)-6(c)、图7、图11、图15中所示的任何方法步骤的计算机程序和/或计算机可读指令。
软件要素(程序)可以位于工作存储器2014中,包括但不限于操作系统2016、一个或多个应用2018、驱动程序和/或其他数据和代码。用于执行上述方法和步骤的指令可以被包括在一个或多个应用2018中,并且前述电子设备1200的获得装置1201和识别装置1203,以及前述电子设备1300的第一获得装置1301、第二获得装置1303、更新装置1305、创建装置1307和装置1309,各自可以通过由处理器2004读取和执行一个或多个应用2018的指令来实现。更特别地,前述获得装置1201可以例如通过处理器2004执行具有执行步骤S201的指令的应用2018而实现,前述识别装置1203可以例如通过处理器2004执行具有执行步骤S203的指令的应用2018而实现。此外,前述第一获得装置1301可以例如通过处理器2004执行具有执行步骤S1109的指令的应用2018而实现,前述第二获得装置1303可以例如通过处理器2004执行具有执行步骤S1111的指令的应用2018而实现,前述更新装置1305可以例如通过处理器2004执行具有执行步骤S1113的指令的应用2018而实现,前述创建装置1307可以例如通过处理器2004执行具有执行步骤S1113的指令的应用2018而实现,前述装置1309可以例如通过处理器2004执行具有执行步骤S1117的指令的应用2018而实现。上述电子设备1200和1300的其他装置也可以例如通过处理器2004执行具有执行本公开所述的步骤中的一个或多个的指令的应用2018而实现。软件要素(程序)的指令的可执行代码或源代码可以存储在非暂时性计算机可读存储介质(例如上述存储设备2010)中,并且在执行时可以被存入工作存储器2014中(可能被编译和/或安装)。软件要素(程序)的指令的可执行代码或源代码也可以从远程位置下载。
还应该理解,可以根据具体要求而进行各种变型。例如,也可以使用定制硬件,和/或可以用硬件、软件、固件、中间件、微代码,硬件描述语言或其任何组合来实现特定元件。例如,所公开的方法和设备中的装置和部件的一些或全部可以通过使用根据本公开的逻辑和算法,用汇编语言或硬件编程语言(诸如VERILOG,VHDL,C++)对硬件(例如,包括现场可编程门阵列(FPGA)和/或可编程逻辑阵列(PLA)的可编程逻辑电路)进行编程来实现。
还应该理解,前述方法可以通过服务器-客户端模式来实现。例如,客户端可以接收用户输入的数据并将所述数据发送到服务器。客户端也可以接收用户输入的数据,进行前述方法中的一部分处理,并将处理所得到的数据发送到服务器。服务器可以接收来自客户端的数据,并且执行前述方法或前述方法中的另一部分,并将执行结果返回给客户端。客户端可以从服务器接收到方法的执行结果,并例如可以通过输出设备呈现给用户。
还应该理解,计算设备2000的组件可以分布在网络上。例如,可以使用一个处理器执行一些处理,而同时可以由远离该一个处理器的另一个处理器执行其他处理。计算系统2000的其他组件也可以类似地分布。这样,计算设备2000可以被解释为在多个位置执行处理的分布式计算系统。
虽然已经参照附图描述了本公开的实施例或示例,但应理解,上述的方法、系统和设备仅仅是示例性的实施例或示例,发明的范围并不由这些实施例或示例限制,而是仅由授权后的权利要求书及其等同范围来限定。实施例或示例中的各种要素可以被省略或者可由其等同要素替代。此外,可以通过不同于本公开中描述的次序来执行各步骤。进一步地,可以以各种方式组合实施例或示例中的各种要素。重要的是随着技术的演进,在此描述的很多要素可以由本公开之后出现的等同要素进行替换。

Claims (9)

1.一种针对接收的通信进行触觉提示的方法,包括:
通过移动电话接收通信;
响应于发生第一通信事件,使第一设备输出触觉提示;
响应于发生第二通信事件,则使不同于第一设备的第二设备输出触觉提示,
其中,所述第一设备和所述第二设备中的至少一个不同于所述移动电话。
2.如权利要求1所述的方法,其中
所述第一通信事件包括来自第一通信来源的通信,所述第二通信事件包括来自第二通信来源的通信;和/或
所述第一通信事件包括具有第一通信类型的通信,所述第二通信事件包括具有第二通信类型的通信。
3.如权利要求1所述的方法,还包括:
响应于发生第三通信事件,使所述第一设备和所述第二设备同时输出触觉提示。
4.如权利要求1-3中任一项所述的方法,其中
所述第一设备和所述第二设备中的每一个是如下之一:所述移动电话、第一智能可穿戴设备、第二智能可穿戴设备。
5.一种电子设备,包括:
处理器;以及
存储器,被配置为存储计算机程序,所述计算机程序包括计算机可读指令,在由所述处理器执行时,所述计算机可读指令使所述处理器执行如权利要求1-4中任一项所述的方法。
6.一种用于针对接收的通信进行触觉提示的方法,包括:
响应于接收到来自第一通信地址的第一通信(S1501),以第一触觉提示方式输出(S1503)针对所述第一通信的触觉提示;
在接收到所述第一通信之后,接收(S1505)来自第二通信地址的第二通信;
如果所述第二通信地址与第一通信地址相同或相关联,用户未针对所述第一通信进行应答,并且所述第二通信与所述第一通信之间的间隔小于第一预定时间段(S1507),则以不同于第一触觉提示方式的第二触觉提示方式输出(S1509)针对所述第二通信的触觉提示。
7.如权利要求6所述的方法,还包括:
在接收到所述第二通信之后,接收(S1513)来自第三通信地址的第三通信;
如果所述第三通信地址与第一通信地址相同或相关联,用户未针对所述第一通信和第二通信进行应答,并且所述第三通信与所述第二通信之间的间隔小于第二预定时间段(S1515),则以第三触觉提示方式输出(S1517)针对所述第三通信的触觉提示,所述第三触觉提示方式不同于所述第一触觉提示方式也不同于所述第二触觉提示方式。
8.如权利要求6所述的方法,其中
所述第一通信和所述第二通信 中的每一个是如下之一:电话呼叫、短消息、电子邮件、即时通信消息。
9.一种电子设备,包括:
处理器;以及
存储器,被配置为存储计算机程序,所述计算机程序包括计算机可读指令,在由所述处理器执行时,所述计算机可读指令使所述处理器执行如权利要求6-8中任一项所述的方法。
CN201910492778.1A 2019-06-06 2019-06-06 对运动信号进行处理的方法、电子设备和介质 Active CN110209281B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910492778.1A CN110209281B (zh) 2019-06-06 2019-06-06 对运动信号进行处理的方法、电子设备和介质
PCT/CN2020/094717 WO2020244638A1 (en) 2019-06-06 2020-06-05 Method for processing motion signal, electronic device and medium
US17/616,405 US20220244717A1 (en) 2019-06-06 2020-06-05 Method for Porcessing Motion Signal, Electronic Device and Medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910492778.1A CN110209281B (zh) 2019-06-06 2019-06-06 对运动信号进行处理的方法、电子设备和介质

Publications (2)

Publication Number Publication Date
CN110209281A CN110209281A (zh) 2019-09-06
CN110209281B true CN110209281B (zh) 2022-03-15

Family

ID=67791385

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910492778.1A Active CN110209281B (zh) 2019-06-06 2019-06-06 对运动信号进行处理的方法、电子设备和介质

Country Status (3)

Country Link
US (1) US20220244717A1 (zh)
CN (1) CN110209281B (zh)
WO (1) WO2020244638A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110209281B (zh) * 2019-06-06 2022-03-15 瑞典爱立信有限公司 对运动信号进行处理的方法、电子设备和介质
CN111735453A (zh) * 2020-06-23 2020-10-02 中国平安财产保险股份有限公司 驾驶行为识别方法、装置、设备及存储介质
CN113030951B (zh) * 2021-03-10 2023-03-24 森思泰克河北科技有限公司 目标运动趋势判断方法、装置及终端设备
CN113158917B (zh) * 2021-04-26 2024-05-14 维沃软件技术有限公司 行为模式识别方法及装置
CN114255359B (zh) * 2022-03-01 2022-06-24 深圳市北海轨道交通技术有限公司 一种基于运动图像识别的智能报站校验方法和系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002132373A (ja) * 2000-10-20 2002-05-10 Canon Inc 電子機器、情報処理システム、電子機器の制御方法、及び処理プログラムを提供する媒体
CN101868045A (zh) * 2009-10-30 2010-10-20 中国人民解放军炮兵学院 一种基于复合传感器自组网的运动目标分类识别方法
JP2011237323A (ja) * 2010-05-12 2011-11-24 Rion Co Ltd 騒音測定装置
US9904587B1 (en) * 2015-12-18 2018-02-27 Amazon Technologies, Inc. Detecting anomalous behavior in an electronic environment using hardware-based information
CN108241957A (zh) * 2016-12-26 2018-07-03 中兴通讯股份有限公司 一种智能提醒方法、第一可穿戴设备及智能提醒系统
WO2018146184A1 (en) * 2017-02-08 2018-08-16 Koninklijke Philips N.V. A method and apparatus for monitoring a subject
EP3467545A1 (en) * 2017-10-05 2019-04-10 Veoneer Sweden AB Object classification
CN109827613A (zh) * 2019-02-01 2019-05-31 成都四方信息技术有限公司 利用车辆碾压产生的传感数据检测井盖沉降及损坏的系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9104650B2 (en) * 2005-07-11 2015-08-11 Brooks Automation, Inc. Intelligent condition monitoring and fault diagnostic system for preventative maintenance
EP1936929A1 (en) * 2006-12-21 2008-06-25 Samsung Electronics Co., Ltd Haptic generation method and system for mobile phone
US8123660B2 (en) * 2007-12-28 2012-02-28 Immersion Corporation Method and apparatus for providing communications with haptic cues
KR101498622B1 (ko) * 2008-06-25 2015-03-04 엘지전자 주식회사 촉각 효과를 제공하는 휴대 단말기 및 그 제어방법
JP5301717B1 (ja) * 2012-08-01 2013-09-25 株式会社日立パワーソリューションズ 設備状態監視方法およびその装置
CN103636141B (zh) * 2012-11-16 2016-01-13 华为终端有限公司 一种建立蓝牙连接的方法、移动终端、及蓝牙连接系统
US9684433B2 (en) * 2014-12-30 2017-06-20 Ebay Inc. Trusted device identification and event monitoring
US9582984B2 (en) * 2015-04-23 2017-02-28 Motorola Mobility Llc Detecting physical separation of portable devices
US9989965B2 (en) * 2015-08-20 2018-06-05 Motionloft, Inc. Object detection and analysis via unmanned aerial vehicle
SE543978C2 (en) * 2018-02-21 2021-10-12 Lantern Holdings Llc High-precision abnormal motion detection for power tools
CN110209281B (zh) * 2019-06-06 2022-03-15 瑞典爱立信有限公司 对运动信号进行处理的方法、电子设备和介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002132373A (ja) * 2000-10-20 2002-05-10 Canon Inc 電子機器、情報処理システム、電子機器の制御方法、及び処理プログラムを提供する媒体
CN101868045A (zh) * 2009-10-30 2010-10-20 中国人民解放军炮兵学院 一种基于复合传感器自组网的运动目标分类识别方法
JP2011237323A (ja) * 2010-05-12 2011-11-24 Rion Co Ltd 騒音測定装置
US9904587B1 (en) * 2015-12-18 2018-02-27 Amazon Technologies, Inc. Detecting anomalous behavior in an electronic environment using hardware-based information
CN108241957A (zh) * 2016-12-26 2018-07-03 中兴通讯股份有限公司 一种智能提醒方法、第一可穿戴设备及智能提醒系统
WO2018146184A1 (en) * 2017-02-08 2018-08-16 Koninklijke Philips N.V. A method and apparatus for monitoring a subject
EP3467545A1 (en) * 2017-10-05 2019-04-10 Veoneer Sweden AB Object classification
CN109827613A (zh) * 2019-02-01 2019-05-31 成都四方信息技术有限公司 利用车辆碾压产生的传感数据检测井盖沉降及损坏的系统

Also Published As

Publication number Publication date
CN110209281A (zh) 2019-09-06
WO2020244638A1 (en) 2020-12-10
US20220244717A1 (en) 2022-08-04

Similar Documents

Publication Publication Date Title
CN110209281B (zh) 对运动信号进行处理的方法、电子设备和介质
CN110741433B (zh) 使用多个计算设备的对讲式通信
EP3583485B1 (en) Computationally-efficient human-identifying smart assistant computer
US10455342B2 (en) Sound event detecting apparatus and operation method thereof
JP6592183B2 (ja) モニタリング
US8949745B2 (en) Device and method for selection of options by motion gestures
US10866950B2 (en) Method and system for modifying a search request corresponding to a person, object, or entity (POE) of interest
CN109190648B (zh) 模拟环境生成方法、装置、移动终端及计算机可读取存储介质
CN110033783A (zh) 声学环境中的声学信号的基于上下文的消除和放大
KR20210056146A (ko) 고장 진단을 하는 인공 지능 장치 및 그 방법
CN107111363B (zh) 用于监视的方法、装置和系统
US9042563B1 (en) System and method to localize sound and provide real-time world coordinates with communication
EP3759789A1 (en) System and method for audio and vibration based power distribution equipment condition monitoring
KR20190009201A (ko) 이동 단말기 및 그 제어 방법
JP2019198077A (ja) 監視
US20240073670A1 (en) Public safety system and method
US20230410519A1 (en) Suspicious person alarm notification system and suspicious person alarm notification method
Chen et al. DeepSafe: a hybrid kitchen safety guarding system with stove fire recognition based on the Internet of Things
US20230290184A1 (en) Device, method and system for providing a notification of a distinguishing activity
JP7219579B2 (ja) 通知システム、通知方法及びコンピュータプログラム
Bassetti et al. Poster: Human Presence Detection After Earthquakes: An AI-Based Implicit User Interface on the Smartphone
KR102635351B1 (ko) 범죄 예방 시스템
US20220207878A1 (en) Information acquisition support apparatus, information acquisition support method, and recording medium storing information acquisition support program
EP4030793A2 (en) Vehicle-based interaction method and apparatus, device, medium and vehicle
CN112115887A (zh) 监控方法、车载终端及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230206

Address after: No. 5 building, Beijing city Chaoyang District Ericsson Lize Street

Patentee after: Ericsson (China) Communications Co.,Ltd.

Address before: Stockholm, SWE

Patentee before: Telefonaktiebolaget LM Ericsson (publ)

TR01 Transfer of patent right