CN111771208B - 用于实施可移动处理装置的定位的设备和方法 - Google Patents

用于实施可移动处理装置的定位的设备和方法 Download PDF

Info

Publication number
CN111771208B
CN111771208B CN201980014210.7A CN201980014210A CN111771208B CN 111771208 B CN111771208 B CN 111771208B CN 201980014210 A CN201980014210 A CN 201980014210A CN 111771208 B CN111771208 B CN 111771208B
Authority
CN
China
Prior art keywords
sensor data
motion
inertial sensor
processing device
target surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980014210.7A
Other languages
English (en)
Other versions
CN111771208A (zh
Inventor
F·F·谢尔曼
X·毛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Braun GmbH
Original Assignee
Braun GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from EP18157362.7A external-priority patent/EP3528167A1/en
Priority claimed from EP18157358.5A external-priority patent/EP3528166B1/en
Application filed by Braun GmbH filed Critical Braun GmbH
Publication of CN111771208A publication Critical patent/CN111771208A/zh
Application granted granted Critical
Publication of CN111771208B publication Critical patent/CN111771208B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C17/00Devices for cleaning, polishing, rinsing or drying teeth, teeth cavities or prostheses; Saliva removers; Dental appliances for receiving spittle
    • A61C17/16Power-driven cleaning or polishing devices
    • A61C17/22Power-driven cleaning or polishing devices with brushes, cushions, cups, or the like
    • A61C17/221Control arrangements therefor
    • AHUMAN NECESSITIES
    • A46BRUSHWARE
    • A46BBRUSHES
    • A46B15/00Other brushes; Brushes with additional arrangements
    • A46B15/0002Arrangements for enhancing monitoring or controlling the brushing process
    • AHUMAN NECESSITIES
    • A46BRUSHWARE
    • A46BBRUSHES
    • A46B15/00Other brushes; Brushes with additional arrangements
    • A46B15/0055Brushes combined with other articles normally separate from the brushing process, e.g. combs, razors, mirrors
    • A46B15/0069Brushes fitted with a interdental devices, e.g. toothpick
    • A46B15/0073Brushes with an arrangement for using the floss
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C17/00Devices for cleaning, polishing, rinsing or drying teeth, teeth cavities or prostheses; Saliva removers; Dental appliances for receiving spittle
    • A61C17/16Power-driven cleaning or polishing devices
    • A61C17/22Power-driven cleaning or polishing devices with brushes, cushions, cups, or the like
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C17/00Devices for cleaning, polishing, rinsing or drying teeth, teeth cavities or prostheses; Saliva removers; Dental appliances for receiving spittle
    • A61C17/16Power-driven cleaning or polishing devices
    • A61C17/22Power-driven cleaning or polishing devices with brushes, cushions, cups, or the like
    • A61C17/24Power-driven cleaning or polishing devices with brushes, cushions, cups, or the like rotating continuously
    • A61C17/26Power-driven cleaning or polishing devices with brushes, cushions, cups, or the like rotating continuously driven by electric motor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases
    • G06F16/285Clustering or classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18Status alarms
    • AHUMAN NECESSITIES
    • A46BRUSHWARE
    • A46BBRUSHES
    • A46B15/00Other brushes; Brushes with additional arrangements
    • A46B15/0002Arrangements for enhancing monitoring or controlling the brushing process
    • A46B15/0016Arrangements for enhancing monitoring or controlling the brushing process with enhancing means
    • A46B15/0036Arrangements for enhancing monitoring or controlling the brushing process with enhancing means with a lighting means, e.g. laser, bulb
    • AHUMAN NECESSITIES
    • A46BRUSHWARE
    • A46BBRUSHES
    • A46B15/00Other brushes; Brushes with additional arrangements
    • A46B15/0002Arrangements for enhancing monitoring or controlling the brushing process
    • A46B15/0038Arrangements for enhancing monitoring or controlling the brushing process with signalling means
    • AHUMAN NECESSITIES
    • A46BRUSHWARE
    • A46BBRUSHES
    • A46B15/00Other brushes; Brushes with additional arrangements
    • A46B15/0002Arrangements for enhancing monitoring or controlling the brushing process
    • A46B15/0038Arrangements for enhancing monitoring or controlling the brushing process with signalling means
    • A46B15/004Arrangements for enhancing monitoring or controlling the brushing process with signalling means with an acoustic signalling means, e.g. noise
    • AHUMAN NECESSITIES
    • A46BRUSHWARE
    • A46BBRUSHES
    • A46B15/00Other brushes; Brushes with additional arrangements
    • A46B15/0055Brushes combined with other articles normally separate from the brushing process, e.g. combs, razors, mirrors
    • A46B15/0069Brushes fitted with a interdental devices, e.g. toothpick
    • A46B15/0071Toothbrushes with flossing arrangements
    • AHUMAN NECESSITIES
    • A46BRUSHWARE
    • A46BBRUSHES
    • A46B2200/00Brushes characterized by their functions, uses or applications
    • A46B2200/10For human or animal care
    • A46B2200/1066Toothbrush for cleaning the teeth or dentures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0247Pressure sensors
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0252Load cells
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C17/00Devices for cleaning, polishing, rinsing or drying teeth, teeth cavities or prostheses; Saliva removers; Dental appliances for receiving spittle
    • A61C17/16Power-driven cleaning or polishing devices
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C17/00Devices for cleaning, polishing, rinsing or drying teeth, teeth cavities or prostheses; Saliva removers; Dental appliances for receiving spittle
    • A61C17/16Power-driven cleaning or polishing devices
    • A61C17/22Power-driven cleaning or polishing devices with brushes, cushions, cups, or the like
    • A61C17/32Power-driven cleaning or polishing devices with brushes, cushions, cups, or the like reciprocating or oscillating
    • A61C17/34Power-driven cleaning or polishing devices with brushes, cushions, cups, or the like reciprocating or oscillating driven by electric motor
    • A61C17/3409Power-driven cleaning or polishing devices with brushes, cushions, cups, or the like reciprocating or oscillating driven by electric motor characterized by the movement of the brush body
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B26HAND CUTTING TOOLS; CUTTING; SEVERING
    • B26BHAND-HELD CUTTING TOOLS NOT OTHERWISE PROVIDED FOR
    • B26B21/00Razors of the open or knife type; Safety razors or other shaving implements of the planing type; Hair-trimming devices involving a razor-blade; Equipment therefor
    • B26B21/40Details or accessories
    • B26B21/405Electric features; Charging; Computing devices
    • B26B21/4056Sensors or controlling means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B26HAND CUTTING TOOLS; CUTTING; SEVERING
    • B26BHAND-HELD CUTTING TOOLS NOT OTHERWISE PROVIDED FOR
    • B26B21/00Razors of the open or knife type; Safety razors or other shaving implements of the planing type; Hair-trimming devices involving a razor-blade; Equipment therefor
    • B26B21/40Details or accessories
    • B26B21/4081Shaving methods; Usage or wear indication; Testing methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12Classification; Matching
    • G06F2218/16Classification; Matching by matching signal segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Epidemiology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Dentistry (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Brushes (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Manipulator (AREA)
  • Arrangements For Transmission Of Measured Signals (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供用于实施可移动处理装置相对于目标表面的定位的设备,该可移动处理装置具有至少一个惯性传感器并且被配置成处理目标表面,该设备具有被配置成区分包含在该可移动处理装置的运动类集合中的两个或更多个运动类的运动模式分类装置,和用于将来自该惯性传感器的至少一个惯性传感器数据提供至该运动模式分类装置的接口,该至少一个惯性传感器数据表示该可移动处理装置的移动,其中该运动模式分类装置具有至少一个神经网络,该神经网络被配置成接收该至少一个惯性传感器数据并将该至少一个惯性传感器数据相对于包含在该运动类集合中的运动类进行分类,其中该运动类各自与关于目标表面的一个或多个不同区域相关联,使得对至少一个惯性传感器数据相对于运动类进行的分类指示对可移动处理装置相对于目标表面的一个或多个区域的定位的评估。本发明还涉及相对应的方法。

Description

用于实施可移动处理装置的定位的设备和方法
技术领域
本发明的实施方案涉及用于实施可移动处理装置的定位的设备、用于实施可移动处理装置的定位的方法以及包括所述设备和可移动处理装置的系统。
背景技术
可移动处理装置可用于处理表面等。例如,可移动处理装置可涉及个人器具,诸如发刷、剃刀、梳毛器、牙刷等。在这些示例中,待处理的表面可为身体或所述身体的至少某个部分或区域。
可移动处理装置的其他示例可例如涉及家用器具,诸如扫帚、拖把、洗擦刷等。在这些示例中,待处理的表面可为地板或所述地板的至少某个部分或区域。
在一些应用中,知道可移动处理装置的当前位置可能是有用的。在一些应用中,附加地或另选地对可移动处理装置的运动进行分类可能是有用的,特别是在个人器具的情况下。
如今,成像技术可用于对可移动处理装置相对于目标表面进行定位,例如,借助于捕捉所述目标表面的相机。还可以知道使用传感器诸如GPS传感器或类似者的传感器进行可移动处理装置的定位。前述成像技术也可用于对可移动处理装置的运动成像并将被捕捉的运动分类。
这些常见装置和方法可很好地用于粗略定位和分类。然而,可能存在若干缺陷。例如,GPS传感器可能仅在户外条件下正常工作。捕捉目标表面的相机的视野可能受到阻挡,有时甚至受到可移动处理装置本身的阻挡。此外,即使不同的使用者使用可移动处理装置例如个人器具,上述装置和方法输出对于每一个使用者也总是相同的,即便每个使用者可能具有如何使用所述可移动处理装置的单独风格和偏好。
因此,期望提供允许可移动处理装置的精准定位和/或可移动处理装置的运动的精准分类而没有上述缺陷的设备和方法。此外,期望通过为不同的人提供单独训练的技术将这些设备和方法个人化。
发明内容
根据一个方面,提供用于实施可移动处理装置相对于目标表面的定位的设备,该可移动处理装置包括至少一个惯性传感器并且被配置成处理目标表面,该设备包括被配置成区分包含在该可移动处理装置的运动类集合中的两个或更多个运动类的运动模式分类装置,和用于将来自该惯性传感器的至少一个惯性传感器数据提供至该运动模式分类装置的接口,该至少一个惯性传感器数据表示该可移动处理装置的移动,其中该运动模式分类装置包括至少一个神经网络,该神经网络被配置成接收该至少一个惯性传感器数据并将该至少一个惯性传感器数据相对于包含在该运动类集合中的运动类进行分类,其中该运动类各自与关于目标表面的一个或多个不同区域相关联,使得对至少一个惯性传感器数据相对于运动类进行的分类指示对可移动处理装置相对于目标表面的一个或多个区域的定位的评估。
根据一个方面,提供用于实施可移动处理装置相对于目标表面的定位的方法,该可移动处理装置包括至少一个惯性传感器并且被配置成处理目标表面,该方法包括提供包含在该可移动处理装置的运动类集合中的两个或更多个运动类,接收来自惯性传感器的至少一个惯性传感器数据,该至少一个惯性传感器数据表示可移动处理装置的移动,借助于神经网络接收并处理至少一个惯性传感器数据并将该至少一个惯性传感器数据相对于包含在运动类集合中的至少一个运动类进行分类,其中该运动类各自与目标表面的一个或多个不同区域相关联,使得使用至少一个运动类对该至少一个惯性传感器数据进行分类指示对该可移动处理装置相对于目标表面的一个或多个区域的定位的评估。
根据一个方面,提供计算机可读数字存储介质,该计算机可读数字存储介质具有存储在其上的计算机程序,该计算机程序具有用于当在计算机上运行时实施上述用于实施可移动处理装置相对于目标表面的定位的方法的程序代码。
根据一个方面,提供一种系统,所述系统包括可移动处理装置和如先前所述的设备。
附图说明
在下文中,结合附图更详细地描述本发明的实施方案,其中
图1示出了根据本说明书的示例性设备的示意方框图,
图2示出了待使用可移动处理装置处理的目标表面的一个示例,
图3示出了待使用可移动处理装置处理的目标表面的另一个示例,
图4示出了可在递归神经网络中使用的重复模块(或单元或块或单元格)的示意方框图,
图5示出了可在递归神经网络中使用的重复门控递归单元(GRU)的示意方框图,
图6A示出了可在递归神经网络中使用的重复LSTM模块(或单元)的示意方框图,
图6B示出了在不同时间例的具有一层LSTM模块的基于展开LSTM模块的递归神经网络的示意方框图,
图7示出了在不同时间例的具有两个堆栈层LSTM模块(即,深层LSTM)的基于展开LSTM模块的递归神经网络的示意方框图,
图8示出根据一个实施方案的本发明方法的方框图,
图9示出根据一个实施方案的本发明设备的示意方框图,
图10示出根据另一个实施方案的本发明设备的示意方框图,
图11示出根据另一个实施方案的本发明设备的示意方框图,以及
图12示出根据一个实施方案的本发明方法的方框图。
具体实施方式
具有相等或等同功能的相等或等同的元件或元件在以下描述中用相等或等同的附图标号表示。
下文中,将提及个人器具和/或家用器具作为可移动处理装置的非限制性示例。然而,为了描述本发明的实施方案和实施例起见,仅将这些种类的器具作为非限制性示例提及。因此,不将本发明限制为仅这些所提及种类的器具。
此外,方法的任何方法步骤的次序可仅作为非限制性示例描述。据此,如本文所述的任何方法步骤也可以除所述者外的任何其他次序执行。
尽管一些方面将以设备或装置为背景进行了说明,但是应当明白,这些方面也表示对相应方法所作的说明,其中一个方框或装置对应于一个方法步骤或方法步骤的特征。类似地,以方法或方法步骤为背景来描述的方面也表示对相应设备或装置的相应方框或项或特征所作的说明。
本发明的第一方面涉及一种设备,所述设备被配置成对可移动处理装置进行定位,具体地对可移动处理装置相对于待使用所述处理装置处理的目标表面进行定位。
此类可移动处理装置的示例可以为,例如,个人器具。个人器具可以为,例如,发刷、剃刀、电动剃刀、脱毛器、美容装置、梳毛器、牙刷(电动牙刷或手动牙刷)等。在这些示例中,待处理的表面可为身体或所述身体的至少某个部分或区域。
可移动处理装置的其他示例可以为,例如,涉及家用器具,诸如扫帚、拖把、洗擦刷等。在这些示例中,待处理的表面可为地板或墙壁或天花板或所述地板或墙壁或天花板的至少某个部分或区域。
图1示出了根据本发明的一个实施方案的设备10。此外,描述了可移动处理装置11。可移动处理装置11和设备10一起形成一个系统。可移动处理装置11可包括至少一个惯性传感器13。惯性传感器13的示例为运动传感器(加速度计,其提供线加速度)、旋转速率传感器(陀螺仪,其提供角速度)和取向传感器(磁力计),使得可移动处理装置11的位置、取向、速度和加速度可被直接和间接地测量。没有限制性的意义,惯性传感器可以为3轴惯性传感器、6轴惯性传感器或9轴惯性传感器。惯性传感器具体地可被实现为MEMS传感器。此外,可移动处理装置11可被配置成处理目标表面12。
如可以看到的,可移动处理装置11可在相对于目标表面12的某些位置或定位使用,例如,在目标表面12内、目标表面12处、目标表面12上或紧邻目标表面12使用。目标表面12本身可分为一个或多个区域211,212,213,…,21m。如将在下文中进一步更详细解释的,区域211,212,213,…,21m中的一个区域可涉及在目标表面外部的可移动处理装置11的定位。可移动处理装置11可相对于目标表面12移动。本文所述设备和系统背后的基本概念为,可移动处理装置11的运动取决于使用可移动处理装置的区域,以及因此可通过对运动进行分类而鉴别使用可移动处理装置11的区域,哪种运动可至少由惯性传感器数据表示,所述惯性传感器数据可通过另外传感器数据例如压力传感器数据拓展。
如图1中所描述的,本发明设备10被配置成实施可移动处理装置11相对于目标表面12的定位。
简单地说,本说明书的基本概念为使用神经网络(NN)诸如递归神经网络(RNN),具体地门控递归单元(GRU)RNN、LSTM RNN(短LSTM)或深层GRU RNN/LSTM或甚至深层双向GRURNN/LSTM将输入向量的时间序列(至少基于来自至少一个惯性传感器的数据)相对于所学习的运动类进行分类,其中NN的输出向量的元素表示每一运动类的概率,然后将NN的输出向量的序列映射到多个区域中的与使用可移动处理装置有关的一个区域中,并且输出这一区域。不是将输出向量的序列映射到一个区域,而是可将输出向量映射到更通用的输出,例如,诸如“良好”运动与“差”运动对比或“正确”运动与“不正确”运动对比或“第一使用者”运动与“第二使用者”运动对比等的输出,这意味着分类是相对于表示这些良好运动或差运动等运动的运动类发生的。下文将对此作更详细的描述。
设备10可包括运动模式分类装置14。运动模式分类装置14可被配置成区分包含在可移动处理装置11的运动类集合15中的两个或更多个运动类151,152,153,…,15k。换句话讲,可移动处理装置11可以例如由使用所述可移动处理装置11的使用者在不同的线性和/或转动方向上移动。据此,可移动处理装置11的每一运动可表示对应或单独的运动模式。运动模式分类装置14可包括不同运动类的集合15。运动类集合15可包括两个或更多个运动类151,152,153,…,15k。运动模式分类装置14可被配置成区分这两个或更多个运动类151,152,153,…,15k。也就是说,运动模式分类装置14可被配置成区别第一运动类151与第二运动类152。若本文中称运动模式分类装置被配置成区分运动模式,则意味着运动模式分类装置被训练为将输入运动模式相对于至少两个运动类进行分类。
可移动处理装置11的移动可借助于所述可移动处理装置11所包括的至少一个惯性传感器13检测。惯性传感器13为基于惯性的传感器,并且可包括加速度计、陀螺仪及磁力计中的至少一者。惯性传感器13可提供表示线速度、角速度、线加速度、角加速度和重力中的至少一者的传感器数据。惯性传感器13可以为包括一个或多个惯性传感器的惯性测量单元的一部分。
设备10可包括接口16,所述接口用于接收来自惯性传感器13的至少一个惯性传感器数据171,172,173,…,17n并且用于将至少一个惯性传感器数据171,172,173,…,17n提供到运动模式分类装置14。至少一个惯性传感器数据171,172,173,…,17n表示可移动处理装置11的移动。换句话讲,当可移动处理装置11移动时,惯性传感器13感测这一运动并生成至少一个惯性传感器数据171,172,173,…,17n。据此,至少一个惯性传感器数据171,172,173,…,17n表示移动的处理装置11的对应运动。惯性传感器数据171,172,173,…,17n可以时序系列形式从惯性传感器13采样。尽管不应排除将涉及一个给定时间点的惯性传感器数据的单个样本输入到运动模式分类装置中以将运动模式相对于至少两个运动类151,152,153,…,15k进行分类,但接口可具体地将惯性传感器数据的时间序列输入到运动模式分类装置13中,使得可在分类过程中使用惯性传感器数据的时间关系。
根据本公开,运动模式分类装置14可包括神经网络18。神经网络18可以为递归神经网络或深层神经网络。神经网络18可被配置成接收至少一个惯性传感器数据171,172,173,…,17n并将所述至少一个惯性传感器数据171,172,173,…,17n相对于包含在运动类集合15中的至少一个运动类151,152,153,…,15k进行分类(惯性传感器数据的编号n与运动模式的编号k是独立的,即,可提供25个输入向量但使用12个运动类)。这一分类在图1中借助于虚线和实线箭头191,192,193,…,19k示意性地指示。以实线绘制的箭头193可示例性地指示,神经网络18成功地将至少一个惯性传感器数据171,172,173,…,17n分类为第三运动类153。应当理解,NN的输出通常具有与输入相同的序列长度,即,在提供十个输入向量作为输入序列的情况下,则提供十个输出向量作为输出序列(即,RNN单元总是在每个时间点产生输出向量),而在仅提供一个输入向量的情况下,则也仅提供一个输出向量。通常,NN的每一个输出向量包括与k个运动类有关的k个元素,并且输出向量的每个元素提供相同时间点的输入运动模式与对应的相应运动类相关的概率。
包含在集合15中的不同运动类151,152,153,…,15k由不同的几何形状(圆形、矩形、三角形、星形)示例性地符号化表示,仅用于例证目的。
根据基本原则,运动类151,152,153,…,15k各自与目标表面12的一个或多个不同区域211,212,213,…,21m相关联。这借助于虚线和实线箭头201,202,203,…,20k指示。如可以看到的,第一运动类151可与目标表面12的第一区域211相关联,如由虚线箭头201指示的。第二运动类152可与目标表面12的第二区域212相关联,如由虚线箭头202指示的。第三运动类153可与目标表面12的第三区域213相关联,如由以实线绘制的箭头203指示的。第k个运动类15k可与目标表面12的第m个区域21m相关联,如由虚线箭头20k指示的。尽管这是神经网络领域技术人员通常所知的,但这里说明的是,首先使用标记的输入运动模式(即,已知与某些运动类有关的运动模式)训练神经网络,使得设备10中使用的神经网络当然是经训练的神经网络,所述经训练的神经网络可将新输入运动模式相对于包含在具有某种预测概率的(经训练的)运动类集合15中的运动类151,152,153,…,15k进行分类。
以实线绘制的箭头203可示例性地指示,第三运动类153(至少一个惯性传感器数据171,172,173,…,17n被神经网络18成功地分类至这一运动类)与目标表面12的第三区域213相关联。如果运动类151,152,153,…,15n和目标表面12的区域211,212,213,…,21m通过双射(即,一对一并且一一对应)函数彼此相关联,则本文中在运动类和区域之间做出的差别化在一定程度上是人为的,但做出这一差别化是因为它允许神经网络被训练以将输入(即,运动模式)相对于第一编号的运动类151,152,153,…,15k进行分类(让我们假设k=20),并且神经网络的输出被映射到较低(或较高)编号的区域211,212,213,…,21m(让我们假设m=6)。如下文中将进一步解释的,一个或几个运动类可与两个或更多个区域相关联(例如,运动类5可与区域3和4相关联)。尽管这应该从上文清晰可见,但这里重复的是,NN不将输入运动模式相对于区域进行分类而仅相对于运动类进行分类,并且鉴别所述区域的步骤是可能牵涉各种附加计算步骤的附加步骤(如将在下文进一步更详细解释的),具体地,区域的编号m可以比运动类的编号k更低(或更高,这意味着:不同)。再具体地,所述设备可仅针对每个输入向量序列输出区域,例如,所述设备可输出区域6作为在与当前输入向量序列有关的时间段内使用所述设备的区域。可使用最大准则或大多数准则将输出向量序列映射到单个区域输出上,如下文将进一步解释的。
据此,将至少一个惯性传感器数据171,172,173,…,17n相对于至少一个运动类151,152,153,…,15k进行分类指示对可移动处理装置11相对于目标表面12的一个或多个区域211,212,213,…,21m的定位的评估。在本示例中,将至少一个惯性传感器数据171,172,173,…,17n分类为第三运动类153指示对可移动处理装置11相对于目标表面12的第三区域213的定位的评估。如下文中将更详细解释的,本文所述神经网络的神经单元的输出向量yt通常提供输入运动模式与每个运动类有关的概率值。
换句话说,神经网络18成功地将所接收的至少一个惯性传感器数据171,172,173,…,17n分类为第三运动类153(输出向量yt的关于运动类153的概率值是最高概率值)。根据这一示例,由于第三运动类153与第三区域213相关联,设备10检索可移动处理装置11可能定位在第三区域213的信息或可移动处理装置11至少在当生成至少一个惯性传感器数据171,172,173,…,17n时的时间被定位在第三区域213的信息。
因此,设备10可被配置成简单地借助于可移动处理装置11的执行运动或运动模式将所述可移动处理装置11相对于目标表面12进行定位。
根据一个实施方案,可移动处理装置11可以为个人器具,并且目标表面12可以为待通过所述可移动处理装置11处理的身体部位。
例如,可移动处理装置11为剃刀或梳毛器,用于对使用者身体的身体部位进行剃刮或梳毛。在这种情况下,使用者身体可以为目标表面12。使用者身体12可分为不同的区域,例如,左颊区域、右颊区域、下巴区域等。通过使用剃刀11执行某种运动模式,设备10可使用经训练的神经网络将剃刀11相对于使用者身体定位。
另举一例,可移动处理装置11为家用器具,并且目标表面12可以为地板、墙壁、家具等的表面。例如,可移动处理装置11可以为真空吸尘器,并且目标表面12可以为房间的地板。房间12可分为不同的区域,例如,房间的左上角、房间的右下角、房间的中心、定位在房间内的床下等。通过使用真空吸尘器11执行某种运动模式,设备10可将真空吸尘器11相对于房间的地板定位。例如,如果真空吸尘器11执行当真空吸尘器11的吸管被降低到接近地面时仅向前和向后的运动模式时,设备10可将真空吸尘器11定位成例如被定位在“床下”区域中。据此,设备10可简单地通过真空吸尘器11执行的运动模式将其在房间内定位。
根据另一实施方案,可移动处理装置11为口腔护理装置,并且目标表面12可以为口腔,其中口腔12被分为不同的区域211,212,213,…,21m,其中将至少一个惯性传感器数据171,172,173,…,17n相对于至少一个运动类151,152,153,…,15k进行分类指示对口腔护理装置11相对于口腔12的一个或多个口腔区域211,212,213,…,21m的定位的评估。口腔显著地包括牙列,其中牙列可被分为不同的牙齿区域(如下文将进一步更详细解释的),但口腔也包括舌头(具体地,舌头可分为不同的舌头区段)以及牙龈区段和颊区段,这些地方也可以是区域,并且可训练运动类,使得神经网络可将输入运动模式分类为与舌头等有关的运动类。
口腔护理装置可为牙刷,具体地为电动牙刷。口腔护理装置也可以为牙线、牙斑去除装置、超声装置和喷水装置中的至少一者。
根据这一示例,通过使用口腔护理装置11执行某种运动模式,设备10可将口腔护理装置11相对于口腔例如相对于牙列定位。例如,如果口腔护理装置11执行当口腔护理装置11向左倾斜时仅向上和向下的运动模式时,例如由于将运动分类为所学习的运动类并且通过将所鉴别的运动类进一步映射到每个时间点的区域或输入数据的整个时间序列的区域,设备10可将口腔护理装置11定位成位于上颚的左上牙齿区域中。据此,设备10可简单地通过口腔护理装置11执行的运动模式将其相对于使用者的牙列定位。本文借助于示例描述的输入运动模式应仅例证基本概念。事实上,与某一区域有关(例如,与上前牙有关)的运动模式严重取决于个体和所述个体的刷牙习惯,例如,所述个体可以为右撇子或左撇子,所述个体可使用擦洗等。很明显,神经网络的训练期可包括尽可能多的影响刷牙习惯的不同个体或使用者类型和环境,使得神经网络的预测质量对于所有类型的输入运动模式均可以是高的。
根据一个实施方案,牙列可分为九个牙齿区域,其中第一牙齿区域对应于上颚和下颚牙列的左颊面,第二牙齿区域对应于左侧和右侧上颚牙列的咬合面,第三区域对应于左侧和右侧下颚牙列的咬合面,第四牙齿区域对应于上颚和下颚牙列的左舌面,第五牙齿区域对应于上颚和下颚牙列的右颊面,第六牙齿区域对应于上颚和下颚牙列的右舌面,第七牙齿区域对应于上颚和下颚牙列的唇面,第八牙齿区域对应于上颚牙列的颚面,第九牙齿区域对应于前下颚牙列的口腔面。
根据另一实施方案,可附加地包含在运动类集合15中的至少一个运动类15NB可与目标表面12外部的区域21NB相关联或与目标表面12无关,其中至少一个惯性传感器数据171,172,173,…,17n与至少一个运动类15NB的映射指示,可移动处理装置11被定位在目标表面12外部的所述区域21NB中或与目标表面12无关。运动类15NB可与输入运动模式有关,其中使用者将可移动处理装置11朝着目标表面移动(例如,口腔护理装置可放置在浴室洗手池上并且朝着口腔移动),或其中使用者将可移动处理装置11从一个区域过渡到另一个区域(例如,使用者可将口腔护理装置从上左臼齿朝着下右臼齿移动)。
换句话讲,目标表面12外部的区域21NB可以为不直接与目标表面12有关的区域。例如,如果可移动处理装置11可以为牙刷,则目标表面12外部的所述区域21NB可以为牙列外部的区域。据此,这一区域21NB可指示使用者没有在刷牙。因此,这一区域也可称为“没有在刷牙”区域,简称“NB”。这一区域21NB可以为目标表面12的至少一个区域,或这一区域21NB可以为除目标表面的一个或多个区域211,212,213,…,21m以外的附加区域。然而,目标表面12外部的这一具体区域21NB不限于上述刷牙的示例。不应排除,运动模式分类装置包括运动类集合,且所述运动类中的一个或多个各自与目标表面外部的一个或多个区域相关联,例如,至少一个运动类可与目标表面外部的区域相关联(例如,当将设备朝着或远离目标表面移动时)和/或至少一个运动类可与在目标表面的区域之间的过渡相关联(例如,当将设备从区域3移动到区域4时)。
图2示出了用于例证上述示例的牙列12。牙列12可以为目标表面,或可以为目标表面的一部分,所述目标表面可以例如也包括舌头。牙列12可分为九个牙齿区域1a至9a。任选地,可存在第十区域NB。这一第十区域NB为牙列12外部的区域。因此,这一第十区域NB未在图2中明确例证。由于这一第十区域NB与牙列12的牙齿区域之一无关,并且因此不涉及刷洗牙列12的牙齿,这一第十区域NB也可称为“没有在刷牙”区域。
如图2中可见,第一牙齿区域1a可对应于上颚和下颚牙列12的左颊面。第二牙齿区域2a可对应于左侧和右侧上颚牙列12的咬合面。第三区域3a可对应于左侧和右侧下颚牙列12的咬合面。第四牙齿区域4a可对应于上颚和下颚牙列12的左舌面。第五牙齿区域5a可对应于上颚和下颚牙列12的右颊面。第六牙齿区域6a可对应于上颚和下颚牙列12的右舌面。第七牙齿区域7a可对应于上颚和下颚牙列12的唇面。第八牙齿区域8a可对应于上颚牙列12的颚面。第九牙齿区域9a可对应于前下颚牙列12的口腔面。另一区域可对应于舌头。
图3示出了用于例证另一示例的牙列12。牙列12可以为目标表面。牙列12可分为十六个牙齿区域1b至16b。任选地,可存在第十七区域NB。这一第十七区域NB为牙列12外部的区域。因此,这一第十七区域NB未在图3中明确例证。由于这一第十七区域NB与牙列12的牙齿区域之一无关,并且因此不涉及刷牙列12的牙齿,这一第十七区域NB也可称为“没有在刷牙”区域。
如图3中可见,第一牙齿区域1b可对应于上颚牙列12的左颊面。第二牙齿区域2b可对应于左侧上颚牙列12的咬合面。第三牙齿区域3b可对应于左侧下颚牙列12的咬合面。第四牙齿区域4b可对应于上颚和下颚牙列12的左舌面。第五牙齿区域5b可对应于上颚和下颚牙列12的右颊面。第六牙齿区域6b可对应于右侧上颚牙列12的咬合面。第七牙齿区域7b可对应于右侧下颚牙列12的咬合面。第八牙齿区域8b可对应于上颚牙列12的颚面。第九牙齿区域9b可对应于上颚牙列12的唇面。第十牙齿区域10b可对应于下颚牙列12的唇面。第十一牙齿区域11b可对应于上颚牙列12的颚面。第十二牙齿区域12b可对应于前下颚牙列12的口腔面。第十三牙齿区域13b可对应于下颚牙列12的左颊面。第十四牙齿区域14b可对应于下颚牙列12的左舌面。第十五牙齿区域15b可对应于下颚牙列12的右颊面。第十六牙齿区域16b可对应于下颚牙列12的右舌面。
在这一示例中,可训练十六个运动类(或十七个运动类,包括非刷牙运动类),并且可使用双射函数将运动类与区域彼此相关联。参照口腔护理示例,可训练另外的运动类。例如,已知使用者试图一起刷左侧臼齿的外侧面(即,左侧臼齿的颊侧表面)而不是单独地刷左侧上臼齿的颊侧表面和左侧下臼齿的颊侧表面。因此,可训练神经网络以将输入运动模式相对于这一联合刷洗左侧臼齿颊侧表面有关的另一运动类进行分类。然后,这一运动类与前述区域中的两个区域相关联,也就是第一牙齿区域1b和第十三牙齿区域13b。因此,另一经训练的运动类可与门牙的外侧面有关并且与右侧臼齿的颊侧表面有关。在此示例中,使用二十一个运动类并且与十七个区域相关联。
图2和图3仅作为非限制性示例描述。目标表面12也可包括多于或少于所述九个或十六个牙齿区域。此外,目标表面12外部的第十/第十七牙齿区域NB为任选的。牙列12的一个或多个牙齿区域的确切分布可从上述示例有所改变。
神经网络18可以为递归神经网络(RNN)。例如,神经网络可以为长短时记忆(LSTM)神经网络或门控递归单元(GRU)网络。RNN可以为双向递归神经网络。这意味着输入向量的序列被馈入到从左至右计算(例如,从过去到未来)输出的第一递归神经网络中和从右至左(例如,从未来到过去)计算输出的独立的第二递归神经网络中。以这种方式,RNN可使用输入序列中的过去特征和未来特征。然后,将两个独立RNN的向前隐含向量和向后隐含向量一起馈入到输出层中以生成输出向量序列。
另选地,设备10可使用两个不同的神经网络。参照牙列示例,第一神经网络可将输入运动模式分类为关于左侧臼齿、右侧臼齿和门牙的运动类,并且第二神经网络可将输入运动模式分类为关于上颚和下颚的运动类。我们可将此称为分割成正交的运动类。然后,可将第一神经网络和第二神经网络的输出合并以输出牙列的六个区域中的一个区域,也就是左侧上臼齿、右侧上臼齿、左侧下臼齿、右侧下臼齿、上门牙或下门牙。这至少表示一个另选的替代方案,代替直接使用输出所提及的六个运动类的概率值的单个神经网络。两个神经网络的使用可通过另一神经网络得到拓展,所述另一神经网络为例如可将输入运动模式分类为关于牙齿的颊侧表面和舌侧(和咬合)表面的运动类的第三神经网络。
如已经提及的,接口可布置成向运动模式分类装置提供惯性传感器数据的序列,其中此处的序列涉及时间序列。发现,对于刷牙,自20个至30个惯性传感器数据范围内的序列长度表示合理的序列长度,并且采样这些惯性传感器数据的时间段可以在介于0.5秒和5秒之间的范围内,具体地可以为约1秒。
RNN可能遭遇所谓的梯度消失问题,其中梯度随着层数的增加而快速消失。梯度消失可导致训练速度相当慢。因此,可使用LSTM网络和/或GRU网络以避免梯度消失问题。
LSTM网络为一种人工神经网络,其除了含有常规网络单元以外,还含有LSTM模块或单元(例如,诸如全连接输出层)。这里,术语LSTM模块或LSTM单元或LSTM单元格或LSTM块应全部具有相同意义,也就是完全LSTM单元,如图6a中示例性绘出的。LSTM模块含有一些门,这些门确定什么时候输入对于LSTM单元记忆是足够的,什么时候应该继续记忆,或什么时候应该遗忘所述值。
图4示出了简单形式的RNN模块40的示例。可在某个时间点t将输入41馈入模块40(其也可称为神经单元)中。输入41可以为单个值或包含两个或更多个值的向量。在某个时间点t的输入41也可符号化为Xt。输入41的所述一个或多个值可以为来自惯性传感器的原始数据。在使用六轴惯性传感器(例如,三轴加速度计和三轴陀螺仪)的情况下,输入41可具有六个值,即,向量Xt具有六个向量元素,或换句话说:
如已经提及的,可移动处理装置可包括另外的传感器,例如,测量将可移动处理装置推到抵靠处理表面的压力的压力传感器。在此示例中,可以相同的方式采样压力,然后输入41可例如得到第七个元素,也就是压力值,使得其中假设单一压力值。压力(或力)传感器可替换为多轴压力(或力)传感器,并且输入可随后具有甚至更高的维度。压力值可改善神经网络的分类质量。神经单元40也可包括另一输入42。这另一输入42可从前一时间点t-1的神经单元(这里未示出)提供。递归神经网络的计算方向不一定在正时间方向上(即,从过去到未来)运行。在将惯性传感器数据的序列输入到RNN中的情况下,递归神经网络可从时间上最后一个惯性传感器数据朝着时间上第一个惯性传感器数据(即,从未来到过去)计算,或反之亦然。如已经提及的,RNN可以为双向RNN,其具有从过去到未来计算的一个分支和从未来到过去计算的另一个分支。这意味着,术语“前一时间点”仅指相对于计算方向的前一时间点,而不必意为在时间上较早的时间点。
神经单元40可包含至少一个神经网络层43,其可提供数学运算。在这一示例中,门43为单个tanh层。应当理解,作为盒示出的神经网络指示经学习的网络层。
神经单元40可包括至少一个输出46。输出46可包含已经被馈入输入41和任选地另一输入42的tanh神经网络层43的运算结果。输出46可导致隐含状态45,其将在后文解释。
神经单元40可任选地包含另一输出分支46,其自上述被馈入输入41和任选地另一输入42的tanh门43的运算输出结果分支出去。
在图4中,每条绘制线可携带从一个节点的输出到其他节点的输入的完整向量。线合并(例如在47处)表示关联,而线分叉(例如在48处)表示其成分被复制并且拷贝行进到不同的位置。这对于将在下文中参照附图描述的其他神经网络也适用。
尽管这是神经网络领域技术人员通常所知的,但可将可包含六个值的输入向量Xt映射到模块40的输入层中的维度高得多的向量上,例如,在NN模块40中使用的向量可以为中的向量,其中这里应当理解,这仅是非限制性示例。用于神经网络中向量的维度的典型值可以为128、256、512或1024,但也可选择其他值。因此,用于实施这一映射的输入权重矩阵为/>矩阵。如该领域中已知的,可使用偏置向量,然后该偏置向量再一次可以为/>中的向量。模块40的输入向量ht也是/>中的向量。假设RNN仅具有如图4中所示的模块的单个重复链,则输出层可将每个输出向量ht映射到具有根据运动类编号的维度的输出向量上,例如,在20个运动类的情况下,/>输出权重矩阵则为/>矩阵。如之前提及的,在训练期确定权重和偏置。
图5示出了可在RNN中使用的GRU模块50的示例。除了上述简单RNN神经单元40之外,GRU神经单元50可包括另外两个神经网络层,也就是第一sigmoid层53和第二sigmoid层54。此外,GRU神经单元50可包含点运算55、56、57、58、59,举例而言,如向量加法58。
图6a示出了一般称为LSTM模块的重复模块60的示例,其可用于根据本发明的设备10的神经网络18中。除了上述神经单元40,50之外,LSTM单元60可包括单元格状态,其为运行穿过神经单元60顶部的水平线61。神经单元60可接收单元格状态输入62,并且可生成单元格状态输出66。
神经单元60可包括三个门(或门层),也就是输入门54、输出门63和遗忘门53。这些门53,54,63中的每一个门可视为前馈(或多层)神经网络中的“标准”神经元:也就是说,它们(使用激活函数)计算加权和的激活。借助于这些门53,54,63,可将信息从单元格状态(水平线61)去除或加入到所述单元格状态。输入门54与tanh层43组合,所述tanh层产生与输入门一起确定单元格状态更新的候选状态。也参见下文进一步示出和讨论的描述LSTM单元内流程的方程组。
应当理解,神经单元50和60仅作为示例性神经单元示出和讨论。其他神经单元可使用窥视孔连接和/或连接的遗忘门层和输入门层。也可通过例如时钟频率驱动RNN(Clockwork RNN)或其他多尺度RNN处理长期依赖性。
图6b示出了包含LSTM模块的展开RNN的示例,其中描述了神经单元的前一状态和后续状态(相对于时间点t)。具体地,描述了处于时间点t的神经单元60t。此外,描述了处于前一时间点t-1的另一神经单元60t-1。再进一步,描述了处于后续时间点t+1的另一神经单元60t+1。所描述的时间单元60t-1,60t,60t+1可表示相同的神经单元,但所述神经单元处于不同的时间点,也就是处于时间点t、处于前一时间点t-1和处于后续时间点t+1。图6b可理解为展开LSTM网络的一部分,其具有与输入序列中输入向量Xt一样多的重复神经单元。如之前提及的,可使用在20至30范围内例如约25的序列长度。
上述输入41,也符号化为字母X,可包括来自惯性传感器13的至少一个传感器数据171,172,173,…,17n。输入X可以为时间依赖性的,因此X=X(t)。具体地,所描述的输入Xt可包括在所考虑的时间点t期间获取的传感器数据172,所描述的输入Xt-1可包括在前一时间点t-1期间获取的传感器数据171,并且所描述的输入Xt+1可包括在后续时间点t+1期间获取的传感器数据173。如之前解释的,输入X被馈入RNN的输入层中。
如还可从图6b中可见的,神经单元60t-1,60t,60t+1可在各自所描绘的时间点t-1,t,t+1提供相对应的输出值yt-1,yt,yt+1。输出值y(t)可以为单个值(在仅存在单个运动类的情况下)或包括多个向量元素的向量。
输出值y(t)可以在RNN的全连接输出层中计算为:
yt=softmax(Why·ht+b)
其中Why为相对应的输出权重矩阵,并且b为相对应的输出偏置向量。输出向量y(t)包含介于0和1之间的概率值,如将参照图7更详细解释的。输出向量y(t)包含一个或多个向量元素,其中每个向量元素提供输入向量Xt即惯性传感器数据171,172,173,…,17n相对于运动类151,152,153,…,15k中的一个类的概率值。应当理解,softmax函数的应用仅为任选的。具体地,可不使用任何归一化进行对输入向量中具有最大概率的运动类的鉴别。
此外,所描述的神经单元60t-1,60t,60t+1可排列在相同层也就是第一层中。本发明的一些示例也包括一个或多个进一步堆栈的层,其中每一层可包括其自己的神经单元。此类示例可在后文中参照例如图7描述。然而,具有至少第一层的示例和实施方案将进一步参照图6b描述。
根据这一实施方案,神经网络18可具有第一层神经单元60t-1,60t,60t+1,这里为LSTM单元,其中所述第一层包括神经单元60t,其中在第一时间点t,至少一个惯性传感器数据Xt被输入到第一层的神经单元60t中。在后续的第二时间点t+1,第二惯性传感器数据Xt+1和先前第一时间点t的神经单元60t的至少一个输出ht被输入到第一层的神经单元60t+1中。
图7示出了另一示例,其中神经网络18包括神经单元的至少两个堆栈层,也就是第一层71和第二层72。第一层71包括至少第一神经单元60t,并且第二层72包括至少第二神经单元70t。所示出的堆栈结构可理解为包含堆栈的多层RNN隐含层的深层RNN结构。
如可以看到的,在不同时间例t-1,t,t+1获取的传感器数据171,172,173被作为输入Xt-1,Xt,Xt+1馈入到第一层71的相对应神经单元60t-1,60t,60t+1中。
第一层71的每个神经单元60t-1,60t,60t+1的隐含输出向量45t-1,45t,45t+1可作为输入被馈入到第二层72的相对应神经单元70t-1,70t,70t+1中。
第一层71的神经单元60t-1,60t,60t+1和第二层72的神经单元70t-1,70t,70t+1可以为相同的。另选地,第一层71的神经单元60t-1,60t,60t+1的内部结构和第二层72的神经单元70t-1,70t,70t+1可以彼此不同。
根据图7所示的实施方案,神经网络18可包括至少第一层71和第二层72,其中第一层71可包括第一神经单元60t并且其中第二层72可包括第二神经单元70t,其中在第一时间点t,至少一个惯性传感器数据Xt被输入到第一层71的第一神经单元60t中,并且第一神经单元60t的输出ht被输入到第二层72的神经单元70t中。在双向RNN的情况下,可将每个独立层的中间隐含输出向量45t馈入到下一层的神经单元中。
到目前为止,已经描述了垂直方向的信号路径,即,从底部的第一层71到顶部的第二层72。然而,在图7的实施方案中也示出了水平方向上的信号路径。
如可以看到的,在第一时间点t的第一神经单元60t的单元格状态输出Ct和/或在第一时间点t的第一神经单元60t的输出ht 46可作为输入被再次馈入到第一神经单元60中,也就是被馈入到在后续时间点t+1的第一神经单元60t+1中。如上文已经提及的,神经单元60本身可以为相同的神经单元,但为了简便例证神经元60在不同时间例t-1,t,t+1的状态起见,其在附图中可仅被描述为神经单元60t-1,60t,60t+1的链。换句话说,水平信号路径可描述神经单元60在不同的后续时间例t-1,t,t+1的信号路径。这对于第二层72和任何潜在的其他层也适用。
据此,所描述的后续时间例t-1,t,t+1可表示长度77,在所述长度期间,神经网络18可采样并处理所获取的传感器数据171,172,173,…,17n。所述长度77可因此被称为运行长度、样本长度或采样周期。例如,样本长度77可相当于一秒,其中时间例t-1,t,t+1可以为所述一秒的分数。例如,采样周期77可具有五十个样本即五十个时间例的长度。神经网络18可在采样周期内运行一次,或神经网络18可在两个或更多个采样周期内一直运行。
因此,根据另一实施方案,神经网络18可包括至少第一层71和堆栈的第二层72,其中第一层71可包括第一神经单元60t并且其中第二层72可包括第二神经单元70t,其中在第一时间点t,至少一个惯性传感器数据Xt可被输入到第一层71的第一神经单元60t中,并且其中第一神经单元60t的至少一个输出ht可被输入到第二层72的神经单元70t中。到目前为止,它可与上述相同。然而,此外,在后续的第二时间点t+1,第二惯性传感器数据Xt+1和在第一时间点t的第一神经单元60t的至少一个输出ht 46被输入到在后续第二时间点t+1的第一神经单元60t+1中。
如上文提及的,可通过神经网络18执行若干数学运输,例如,在门43,53,54,63中。在图7所示的示例中,可在不同阶段执行下述数学运算:
其中(这里选择的标注符号使用j而不是时间t作为运行指标):
·xj为输入向量
·ij为输入门激活向量
·fjk为遗忘门激活向量
·oj为输出门激活向量
·uj为候选状态向量
·cj为单元格状态向量
·hj为LSTM模块或神经单元60,70的输出向量
就这一示例而言,输入传感器数据Xt可以为元素向量例如,其可以为输入张量/>[Ax,Ay,Az,Gx,Gy,Gz]T
此外,在每个网络层中使用权重矩阵W,U和偏置向量b,其中在本示例中:
·输入权重
·隐含层权重
·在隐含层中使用的偏置
隐含状态ht也是包含256个元素的元素向量
此外,单元格状态ct也是包含256个元素的元素向量
如上文提及的,输入惯性传感器数据Xt可以为包含六个向量元素的元素向量例如,输入张量/>[Ax,Ay,Az,Gx,Gy,Gz]T。这些向量元素[Ax,Ay,Az,Gx,Gy,Gz]T也可称为惯性传感器数据部分。
根据一个实施方案,至少一个惯性传感器数据171可包含组的至少三个惯性传感器数据部分,所述组包括在x、y和z方向上的线速度,相对于x轴、y轴和z轴的角速度,在x、y和z方向上的线加速度,以及相对于x轴、y轴和z轴的角加速度。
换句话说,惯性传感器13可提供一个或多个时间例t-1,t,t+1的惯性传感器数据171,172,173,…,17n,其中惯性传感器数据171,172,173,…,17n可取决于可移动处理装置11在一个可观察的时间例t-1,t,t+1的当前取向和运动。每个惯性传感器数据171,172,173,…,17n可以为包括至少三个,或在其他示例中至少六个向量元素的向量,其中所述向量元素表示上述惯性传感器数据部分,其中所述惯性传感器数据部分的至少一个可以为零。
据此,惯性传感器数据171,172,173,…,17n(向量)(具体地传感器数据部分(向量元素))可表示,随着在包括一个或多个后续时间例t-1,t,t+1的采样周期77内采样,可移动处理装置11的当前运动模式。
根据图7中描述的实施方案,至少一个惯性传感器数据172(向量)可包括一个或多个惯性传感器数据部分(向量元素),其中输入到第一时加点t的神经单元60t的输入是包括在所述第一时间点t期间检索的一个或多个惯性传感器数据部分的相对应惯性传感器数据172。至少一个惯性传感器数据171,172,173,…,17n可在采样时间77期间被采样。
神经网络18可将已经在采样时间77期间被采样的至少一个采样的惯性传感器数据171,172,173,…,17n相对于包含在运动类集合15中的至少一个运动类151,152,153,…,15k进行分类,如最初参照图1描述的。
如上所述,神经网络的输出向量yt可包括向量元素,所述向量元素各自具有介于0和1之间范围内的值,并且其中在应用任选的softmax函数的情况下,所述向量元素加和为1.因此,每个向量元素为输入向量Xt与运动类151,152,153,…,15k中的一个运动类有关的概率值。运动模式分类装置14可将已经接收最高概率值的运动类指示为所述输入与之有关的运动类。在一些实施方案中,如果最高概率值低于某一阈值,例如低于0.7(在归一化输出的情况下),运动模式分类装置14可指示无运动类。低于所述阈值的值可视为指示预测质量低并且结果不可靠。在一些实施方案中,运动模式分类装置14可指示关于输入向量的完全序列的运动类,其中所指示的运动类通过相对于输出向量序列应用最大准则或大多数准则而得以鉴别。
换句话说,神经网络18可接收惯性传感器数据171,172,173,…,17n作为输入x(t),并且它可输出一个或多个概率值作为输出y(t)。如上所述,在图7中所示的示例中,输出值y(t)也可以为包括例如至少三个、或至少六个、或至少十二个向量元素的元素向量。输出向量y(t)的每个向量元素可表示可能与区域211,212,213,…,21m相关联的运动类151,152,153,…,15k的概率值。这意味着在运动模式分类装置14提供单个运动类作为输出的情况下,例如,通过选择具有高于阈值的最高概率值的运动类,可例如在显示器上向使用者指示相关联的在采样周期内使用可移动处理装置的一个或多个区域。
神经网络18可接收至少一个惯性传感器数据171,172,173,…,17n并将所述至少一个惯性传感器数据171,172,173,…,17n相对于至少一个运动类151,152,153,…,15k进行分类,并且由于所述运动类151,152,153,…,15k可各自与目标表面12的一个或多个不同区域211,212,213,…,21m相关联,概率值可视为指示所获取的至少一个惯性传感器数据171,172,173,…,17n对应于目标表面12的不同区域211,212,213,…,21m中的一个区域的可能性如何。
换句话说,设备10可通过简单地接收传感器数据171,172,173,…,17n并将所述传感器数据171,172,173,…,17n相对于各自与目标表面12的一个或多个区域211,212,213,…,21m相关联的运动类151,152,153,…,15k进行分类,从运动模式分类装置14推导出可移动处理装置11被定位在目标表面12的哪个区域211,212,213,…,21m内的评估。
图8示出了用于实施可移动处理装置11相对于目标表面12的定位的本发明方法示例的方框图,其中可移动处理装置11包括惯性传感器13,并且其中可移动处理装置11被配置成处理目标表面12。
在方框801中,所述方法包括区分包含在可移动处理装置11的运动类集合15中的两个或更多个运动类151,152,153,…,15k的步骤。这里,区分应意为运动模式分类装置14学习以将输入运动模式相对于两个或更多个运动类进行分类。换句话说,提供两个或更多个运动类,使得分类可以进行。
在方框802中,所述方法包括接收来自所述惯性传感器13的至少一个惯性传感器数据171,172,173,…,17n的步骤,所述至少一个惯性传感器数据171,172,173,…,17n表示所述可移动处理装置11的移动。
在方框803中,所述方法包括借助于神经网络18接收并处理至少一个惯性传感器数据171,172,173,…,17n并且将所述至少一个惯性传感器数据171,172,173,…,17n相对于包含在运动类集合15中的至少一个运动类151,152,153,…,15k进行分类的步骤,其中包含在运动类集合15中的所述运动类151,152,153,…,15k各自与目标表面12的一个或多个不同区域211,212,213,…,21m相关联,使得使用至少一个运动类151,152,153,…,15k对至少一个惯性传感器数据171,172,173,…,17n进行分类指示对可移动处理装置11相对于目标表面12的一个或多个区域211,212,213,…,21m的定位的评估。
图9示出了根据本发明的第二方面的设备100。第二方面的设备100可类似于上述第一方面的设备10。此外,关于第一方面的设备10的上述全部特征与下述第二方面的设备100组合,并且反之亦然。
第二方面的设备100可不同于上述第一方面的设备10(转下页图1),其中运动类151,152,153,…,15k可与一个或几个被关联类101,102,103,104的一个或多个类成员101A,101B,…,mA,mB相关联而不是与目标表面12的不同区域211,212,213,…,21m相关联。本质上,这是由于被关联的类101可能是任何相关性而对关于设备10讨论的基本概念的更抽象和更广泛的讨论。在以下说明书中,关注点为涉及使用者的被关联的类,具体地,被关联的类101可涉及使用者组的不同成员(例如,家庭的不同成员)或可涉及具有使用可移动处理装置11的不同风格的使用者。
据此,第二方面的设备100被配置成用于将包括惯性传感器13的可移动处理装置11的运动进行分类。设备100包括运动模式分类装置14,所述运动模式分类装置被配置成区分包含在所述可移动处理装置11的运动类集合15中的两个或更多个运动类151,152,153,…,15k
此外,设备100包括接口16,所述接口用于将来自所述惯性传感器13的至少一个惯性传感器数据171,172,173,…,17n提供到所述运动模式分类装置14,其中至少一个惯性传感器数据171,172,173,…,17n表示所述可移动处理装置11的运动。
根据本发明的第二方面,运动模式分类装置14包括神经网络18,所述神经网络被配置成接收至少一个惯性传感器数据171,172,173,…,17n并且将所述至少一个惯性传感器数据171,172,173,…,17n分类为包含在运动类集合15中的至少一个运动类151,152,153,…,15k,其中至少一个被分类的运动类151,152,153,…,15k与一个或多个被关联类101,102,103,104的至少一个或多个运动成员101A,101B,102A,102B,103A,103B,mA,mB相关联,使得至少一个类成员101A,101B,…,mA,mB是基于可移动处理装置11的运动选择的。
关于输入运动模式,即惯性传感器数据171,172,173,…,17n相对于包含在运动类集合15中的运动类151,152,153,…,15k进行的分类,参照前述说明书。
图9的非限制性示例示出了四个被关联的类101,102,103,104,其中每个被关联的类包括两个类成员101A,101B,…,mA,mB。然而,可存在至少一个被关联的类,并且每个被关联的类可包括至少两个类成员。也可存在超过两个被关联的类或甚至超过示例性说明的四个被关联的类。
如在图9的示例中可见的,第一运动类151可与第一被关联的类101的类成员101A相关联。第k个运动类15k可与第m个类104的类成员mB相关联。第二运动类152可与不同的被关联类的两个类成员相关联,例如与第一被关联的类101的类成员101B相关联并且与第二被关联的类102的类成员102A相关联。第三运动类153可与相同被关联类的两个类成员相关联,例如与第三被关联类的两个类成员103A,103B相关联。
下文中,将描述被关联的类和类成员的一些示例。
根据一个实施方案,一个或多个被关联类101,102,103,104中的至少一个被关联类101可包括至少一个类成员101A,其中所述一个被关联类101可表示使用者组,并且其中所述至少一个类成员101A可表示所述使用者组的至少一个使用者,其中至少一个运动类151,152,153,…,15k可与至少一个类成员101A相关联,用于基于可移动处理装置11的运动来鉴别所述至少一个使用者。
换句话说,被关联类101,102,103,104中的一个被关联类可表示使用者组,即,一组使用可移动处理装置11的使用者。相对应的被关联类可包括至少一个类成员,所述至少一个类成员可表示所述使用者组的一个具体使用者。例如,第一类101可表示使用者组,其中所述使用者组可涉及单身家庭的个体。在这一示例中,使用者组101可仅含有一个类成员101A,即,一个人。本发明设备100可被配置成简单地基于可移动处理装置11的运动来鉴别所述至少一个使用者101A。因此,设备100可关于所述一个被鉴别的使用者101A将任何动作或互动个人化,如后文中将使用一些示例描述的。
根据另一实施方案,一个或多个被关联类101,102,103,104中的至少一个被关联类101可包括至少两个类成员101A,101B,其中所述一个被关联类101可表示使用者组,并且其中所述至少两个类成员101A,101B可表示所述使用者组的至少两个使用者,其中至少一个运动类151,152,153,…,15k可与所述至少两个类成员101A,101B中的一个类成员相关联,用于基于可移动处理装置11的运动来鉴别使用者组中的至少一个使用者。
换句话说,被关联类101,102,103,104中的一个被关联类可表示使用者组,即,一组使用可移动处理装置11的使用者。相对应的被关联类可包括至少一个类成员,所述至少一个类成员可表示所述使用者组的一个具体使用者。例如,第一被关联类101可表示使用者组,其中所述使用者组可以是家庭。所述被关联类101的类成员101A,101B可表示家庭成员。例如,使用者组101可包括一个或多个家庭成员,其中第一类成员101A可表示家庭中的母亲,并且第二类成员101B可表示家庭中的孩子。
设备100可被配置成简单地基于可移动处理装置11的运动来鉴别至少一个使用者。如果每个使用者可以不同的或单独的方式使用可移动处理装置11,则可实现这一点。
例如,在可移动处理装置11为可移动口腔护理装置诸如牙刷具体地电动牙刷的实施方案中。可移动口腔护理装置也可以为牙线、牙斑去除装置、超声装置和喷水装置中的至少一者。
举上面的示例,母亲101A可以不同于孩子101B的方式使用牙刷11。牙刷11的惯性传感器13可将其惯性传感器数据171,172,173,…,17n提供到包括神经网络18的运动模式分类装置14。神经网络18可将惯性传感器数据171,172,173,…,17n相对于至少一个运动类151,152,153,…,15k进行分类,如已经描述的。
例如,如图9所示,母亲可具有对应于第一运动类151的刷牙风格。这一运动类151可与表示母亲的类成员101A相关联。而孩子可具有不同于母亲的刷牙风格,例如,对应于第二运动类152的刷牙风格。这一运动类152可与表示孩子的类成员101B相关联。
因此,本发明设备100可简单地基于可移动处理装置11的不同运动模式来鉴别使用者组中的使用者。如上所述,本发明设备100可将任何动作或互动关于所鉴别的使用者个人化。
根据一个实施方案,运动模式分类装置14可被配置成基于鉴别所述至少一个使用者101A的步骤来选择特定于使用者的集合115,所述集合包括可移动处理装置11的两个或更多个特定于使用者的运动类1151,1152,1153,…,115k,这些类是所述被鉴别的至少一个使用者101A的特征。
这种两步骤过程的一个示例在图10中示出。在第一步121中,鉴别了使用者。被鉴别的使用者可与运动类1151,1152,1153,…,115k的特定于使用者的集合115相关联,所述运动类已经使用个体化标记的训练数据通过神经网络18个体化地训练。在第二步122中,神经网络18使用来自特定于使用者的集合115的特定于使用者的运动类1151,1152,1153,…,115k。换句话说,神经网络18可随后使用与具体使用者相关联的权重和偏置而不是对更广泛人群有效的权重和偏置。因此,本发明设备100可单独动作并且可与每个被鉴别的使用者互动。
在图10中示出了第一步121,其中神经网络18接收至少一个惯性传感器数据171,172,173,…,17n并将所述至少一个惯性传感器数据相对于包含在运动类集合15中的运动类151,152,153,…,15k中的至少一个运动类进行分类。至少一个被分类的运动类,例如第k个运动类15k可与第一被关联类101的类成员101B相关联。这一过程可对应于上文参照图9所述的过程。
被关联的类101可涉及使用者组,并且类成员101B可以为所述使用者组的具体使用者。举上面的例子,被鉴别的使用者101B可以为家庭中的孩子。设备100可已经存储特定于使用者的运动类。也就是说,被鉴别的使用者,即孩子101B,可具有存储在设备100中的运动类1151,1152,1153,…,115k的其自己的特定于个体使用者的集合115。对于在第一步121中的鉴别之后的任何其他动作,运动模式分类装置14,并且具体地神经网络18,可使用属于先前鉴别的使用者的这些特定于使用者的运动类1151,1152,1153,…,115k。如之前指定的,参照运动类意味着特定于使用者的权重和偏置的集合将会被神经网络18使用,通过使用特定于使用者的标记的输入数据训练权重和偏置。
因此,神经网络18可在鉴别所述至少一个使用者101B的步骤121之后选择至少一个特定于使用者的集合115,所述集合包括可移动处理装置11的两个或更多个特定于使用者的运动类1151,1152,1153,…,115k,所述运动类是所述被鉴别的至少一个使用者101B的特征。
据此,在鉴别使用者的第一步121之后的第二步122中,神经网络18可使用所述特定于使用者的运动类1151,1152,1153,…,115k的特定于使用者的集合115代替运动类151,152,153,…,15k的集合15。也就是说,本文所述的可由设备10,100通过利用运动模式151,152,153,…,15k的集合15而执行的全部动作也可由设备10,100通过利用运动类1151,1152,1153,…,115k的特定于使用者的集合115代替运动模式151,152,153,…,15k的集合15而关于每个被鉴别的使用者个体化地或个人化地执行。
因此,根据一个实施方案,神经网络18可被配置成,在鉴别所述至少一个使用者101B的第一步121之后,将运动类集合15替换为所选择的特定于使用者的集合115,并且将包含在运动模式集合15中的两个或更多个运动类151,152,153,…,15k替换为包含在特定于使用者的运动模式预设集合115中的两个或更多个特定于使用者的运动类1151,1152,1153,…,115k。值得注意的是,运动类151,152,153,…,15k被选择来预测移动可移动处理装置的使用者,但运动类1151,1152,1153,…,115k可能已经被选择用于不同任务诸如可移动处理装置11的定位。
此外或另选地,设备100可包括至少两个神经网络。图11示出了这样一个示例。
图11的设备100的示例可基本上对应于图10中示出示例的设备100。图11的设备与图10的设备的不同之处在于,图11的设备可包括第二神经网络182。应当理解,尽管参照使用结构上相同的神经网络18进行两个不同分类任务并且仅权重和偏置可改变的图10进行了解释,但本示例使用不同之处在于其结构的两个不同的神经网络,这允许使用优化的神经网络结构进行每个分类任务。
如在图11中可见的,在第一步121中,第一神经网络181可执行上述动作,例如,鉴别使用者组101中的使用者101B。然而,在第二步122中,可将惯性传感器数据171,172,173,…,17n馈入到第二神经网络182中。第二神经网络182可使用如上所述的运动类1151,1152,1153,…,115n的特定于使用者的集合115。明显地,运动类1151,1152,1153,…,115n的至少两个不同集合115必须存储在设备中,以便允许使用一个被关于一个使用者优化的运动类集合和另一个被关于另一使用者优化的运动类集合来运行第二神经网络。
换句话讲,在鉴别所述至少一个使用者101B的第一步121之后,运动模式分类装置14可使用第二神经网络182,其中第二神经网络182可被配置成接收至少一个惯性传感器数据171,172,173,…,17n并且将所述至少一个惯性传感器数据171,172,173,…,17n相对于包含在特定于使用者的运动类集合115中的至少一个特定于使用者的运动类1151,1152,1153,…,115k进行分类,其中所述特定于使用者的运动类1151,1152,1153,…,115k可各自与被关联类102的至少一个类成员102A,102B相关联,使得至少一个类成员102A,102B是基于可移动处理装置11的运动选择的。被关联的类102可涉及目标表面,并且类成员为目标表面的区域。
据此,运动模式分类装置14可被配置成,使用所述特定于使用者的运动类1151,1152,1153,…,115k的特定于使用者的集合115,借助于至少一个惯性传感器数据171,172,173,…,17n,用于将可移动处理装置11的运动进行特定于使用者地分类。
如图10和图11的示例中所示,设备100可包括至少一个用于将目标物在第二步122中分类的至少一个被关联类102。然而,在第二步122中,设备100可包含超过一个被关联类,如图9的示例中所示。
在所述第二步122中,例如,已经在第一步121中鉴别具体使用者之后,可通过可移动处理装置11实施不同的动作。例如,可移动处理装置11可基于所鉴别的使用者而改变其操作模式。例如,可移动处理装置11可以为电驱动的并且可包括马达,其中可移动处理装置11可基于所鉴别的使用者改变一个或多个特定于马达的特征,诸如频率、振幅或脉动。此外或另选地,可移动处理装置11可包括一个或多个用于与使用者通讯或向使用者提供反馈的元件,例如,视觉元件诸如灯例如LED,或触觉元件诸如振动马达。例如,通过改变所述用于通讯的元件的运算模式,例如通过基于所鉴别的使用者将LED灯变为另一种颜色或通过使用振动马达提供不同的脉冲反馈,可移动处理装置11可基于所鉴别的使用者改变使用者体验。
此外或另选地,为了鉴别使用者组中的具体使用者,例如家庭中的家庭成员,设备100可被配置成鉴别具体使用者类型。例如,如果可移动处理装置11为牙刷,一些人从他们的门牙或门齿开始刷牙,而另一些人可能从后牙或臼齿开始刷牙。在另一示例中,如果个人器具为剃刀,一些人可能沿纹理剃刮,而另一些人可能逆纹理剃刮。总结使用者类型可以为以具体方式使用可移动处理装置11的使用者的类型。可能有两个或更多个使用者可被归类到使用者类型组中。前述的使用者鉴别的示例反而个体地鉴别了每个使用者。
根据用于鉴别使用者类型的一个实施方案,一个或多个被关联类101,102,103,104中的至少一个被关联类104可包括至少两个类成员nA,nB,其中所述一个被关联类104可表示可移动处理装置11的一个使用者类型,其中第一类成员nA可表示可移动处理装置11的第一使用者类型并且其中第二类成员nB可表示可移动处理装置11的第二使用者类型,其中至少一个运动类151,152,153,…,15k可与第一或第二类成员mA,mB相关联,用于基于可移动处理装置11的运动来鉴别可移动处理装置11的使用者类型。
根据另一实施方案,运动模式分类装置14可被配置成在鉴别所述使用者类型的步骤后选择特定于使用者类型的集合115,所述集合包括可移动处理装置11的两个或更多个特定于使用者类型的运动类1151,1152,1153,…,115k,这些类是所述被鉴别的使用者类型的特征,并且其中神经网络18可被配置成在鉴别所述使用者类型的步骤后将运动类集合15替换为所选择的特定于使用者类型的集合115并且将包含在运动类集合15中的两个或更多个运动类151,152,153,…,15k替换为两个或更多个特定于使用者类型的运动类1151,1152,1153,…,115k
上文关于特定于使用者的运动类1151,1152,1153,…,115k的特定于使用者的集合115所解释的一切对于特定于使用者类型的运动类1151,1152,1153,…,115k的特定于使用者类型的集合115也适用。
如上所述,被鉴别的使用者类型可归类为一类或一组使用者类型。因此,设备100可实施聚类分析,其中使用者可在这一使用者被归类为具体使用者类型之前使用可移动处理装置11预定次数。例如,使用者可在连续五天内使用其剃刀五次。五天中有四天使用者可逆纹理剃刮。因此,在第五天之后,设备100可将这一使用者归类为一个使用者类型组,在所述组中聚集了全部逆纹理剃刮的使用者。
聚类分析也可以较短的时间间隔实施,即可以直接连续地打开和关闭牙刷11。例如,使用者可第一次启动其电动牙刷11,关掉,第二次打开它以再次重启牙刷11。在重启牙刷11时,本发明设备100,具体地,神经网络18,也可被重启。当牙刷11被启动时,它可采集用于聚类分析的信息。然而,每一次在用于聚类分析的信息被采集之前,至少神经网络18应该重启。总之,在最终将使用者归类为具体使用者类型组之前,设备100可重复地(例如,五次)实施聚类分析。
在已经将使用者归类为具体特定于使用者类型的组之后,神经网络18可使用被关联的特定于使用者类型的运动模式1151,1152,1153,…,115k的特定于使用者类型的预设集合115。
根据这样一个实施方案,运动模式分类装置14可被配置成重复地实施预定次数的聚类分析,其中在每一所述聚类分析中,神经网络18可被配置成重启并且在重启之后实施接收至少一个惯性传感器数据171,172,173,…,17n并将所述至少一个惯性传感器数据171,172,173,…,17n映射到包含在运动模式集合15中的至少一个运动模式151,152,153,…,15k的步骤,并且其中神经网络18可被配置成在实施预定次数的聚类分析之后选择特定于使用者类型的运动模式预设集合115。
设备100可允许甚至更多方案用于对可移动处理装置11的运动进行分类。因此,应再次参照图9。
根据一个实施方案,一个或多个被关联类101,102,103,104中的至少一个类102可包括至少两个类成员102A,102B,其中所述一个被关联类102可表示对可移动处理装置11的处置评估,其中第一类成员102A可表示可移动处理装置11的正确处置,并且其中第二类成员102B可表示可移动处理装置11的错误处置,其中至少一个被分类的运动类151,152,153,…,15k可与第一类成员102A或第二类成员102B相关联,用于基于可移动处理装置11的运动评估可移动处理装置11的处置。根据一个示例,两个或更多个运动类151,152,153,…,15k可涉及所述装置的正确处置并且这些运动类可因此与第一类成员102A相关联,以及,两个或更多个运动类151,152,153,…,15k可涉及所述装置的不正确处置并且这些运动类可因此与第二类成员102B相关联。
换句话说,设备100可被配置成检查可移动处理装置11的使用者是否正确地使用可移动处理装置11。当然,在上述图10和图11的两步过程中,例如,在鉴别使用者和/或使用者类型之后,所述表示处置评估的一个类102也可作为类用于第二步122中。
根据另一实施方案,一个或多个被关联类101,102,103,104中的至少一个被关联类103可包括至少两个类成员103A,103B,其中所述一个被关联类103可表示可移动处理装置11的运动执行质量,其中第一类成员103A可表示可移动处理装置11的运动执行良好,并且其中第二类成员103B可表示可移动处理装置11的运动执行差,其中至少一个被分类的运动类151,152,153,…,15k可与第一类成员103A或第二类成员103B相关联,用于基于可移动处理装置11的运动评估可移动处理装置11的运动执行质量。
换句话说,设备100可被配置成检查可移动处理装置11的使用者是否可以良好的方式或以差的方式使用可移动处理装置11。良好的方式可以为按预期实施可移动处理装置11的运动的方式,而差的方式可以为未按预期实施可移动处理装置11的运动的方式。例如,如果可移动处理装置11为牙刷,则设备可检查使用者是否可具有良好或差的刷牙技术。
当然,在上述图10和图11的两步过程中,例如,在鉴别使用者和/或使用者类型之后,所述表示运动执行质量的一个类103也可作为被关联类用于第二步122中。
设备100的神经网络18可包括与已经参照图4至图7描述的设备10的神经网络18相同或相似的特征。
上文已经关于如图4至图7所示设备10的神经网络18的任何特征描述的一切对于如参照图9至图11描述的设备100的神经网络18也适用。
图12示出了用于对包括惯性传感器13的可移动处理装置11的运动进行分类的本发明方法。
在方框1201中,所述方法包括区分包含在可移动处理装置11的运动模式集合15中的两个或更多个运动类151,152,153,…,15k的步骤。
在方框1202中,所示方法包括将来自惯性传感器13的至少一个惯性传感器数据171,172,173,…,17n提供到运动模式分类装置14的步骤,其中至少一个惯性传感器数据171,172,173,…,17n表示所述可移动处理装置11的运动。
在方框1203中,所述方法包括借助于神经网络18接收并处理至少一个惯性传感器数据171,172,173,…,17n并将所述至少一个惯性传感器数据171,172,173,…,17n相对于包含在运动类集合15中的至少一个运动类151,152,153,…,15k进行分类的步骤,其中至少一个被分类的运动类151,152,153,…,15k与至少一个被关联类101,102,103,104的至少一个类成员101A,101B,102A,102B,…,mA,mB相关联,使得至少一个类成员101A,101B,102A,102B,…,mA,mB是基于可移动处理装置11的运动选择的。
根据本发明设备10,100的又一个示例,可移动处理装置11可以为个人器具,并且目标表面12可以为待通过所述可移动处理装置11处理的身体部位。
根据本发明设备10,100的又一个示例,可移动处理装置11或可移动处理装置11可包括用于感测通过个人器具被施加到目标区域上的压力的压力传感器和/或用于感测可驱动个人器具的马达的马达负载的负载传感器。
除了至少一个惯性传感器数据171,172,173,…,17n之外或作为另一种选择,压力传感器和/或负载传感器的对应传感器数据也可作为输入被馈入到神经单元18中。
根据本发明设备10的又一个示例,设备10可包括输出接口,用于向使用者输出将可移动处理装置11定位在其中的目标表面12的一个或多个区域211,212,213,…,21m
根据本发明设备100的又一个示例,设备100可包括用于向使用者输出信心的输出接口,所述信息与一个或多个被关联类101,102,103,104有关和/或与一个或多个被关联类101,102,103,104的一个或多个类成员101A,101B,…,mA,mB有关。
在每个本文所述的实施方案中,传感器数据171,172,173,…,17n可存储在可移动处理装置或处理装置11上,并且晚些时候可以上述方式被馈入设备10,100中。这一存储的传感器数据171,172,173,…,17n相对于不同区域或被关联类的任何后处理可用来在仪表板上向消费者或使用者显示他们覆盖得多好或覆盖哪些区域、他们遗忘了什么、什么在目标内与目标外。这一数据可在每次使用时示出,和/或随时间在两次或更多次使用后汇总(即,向消费者或使用者提供简单仪表板,显示他们在一周内是如何刷牙的)。
尽管一些方面已经以设备为背景进行了说明,但是应当明白,这些方面也表示对相应方法所作的说明,其中一个方框或装置对应于一个方法步骤或方法步骤的特征。类似地,以方法步骤为背景来描述的方面也表示对相应设备的相应方框或项或特征所作的说明。一些或所有方法步骤可以由(或使用)硬件设备来执行,像例如,微处理器、可编程计算机、或电子电路。在一些实施方案中,一个或多个最重要的方法步骤可以由此类设备来执行。
根据某些实现方式的要求,本发明的实施方案可以在硬件或软件中或至少部分地在硬件中或至少部分地在软件中实现。该实现方式可使用数字存储介质来完成,例如,软盘、DVD、蓝光光碟、CD、ROM、PROM、EPROM、EEPROM、或闪存存储器,该介质上存储了电可读控制信号,其与(或能够与)可编程计算机系统配合,使相应方法得以执行。因此,数字存储介质可以是计算机可读介质。
根据本发明的一些实施方案包括具有电可读控制信号的数据载体,数据载体能够与可编程计算机系统配合,使本文所述多个方法中的一个方法得以执行。
一般地,本发明的实施方案可以作为计算机程序产品来实现,此计算机产品具有程序代码,当计算机程序产品在计算机上运行时,此程序代码可用于执行这些方法中的一个方法。程序代码可例如存储在机器可读载体上。
其它实施方案包括存储在机器可读载体中的计算机程序,此计算机程序用于执行本文所述多个方法中的一个方法。
换句话说,本发明方法的实施方案因此是个具有程序代码的计算机程序,当计算机程序在计算机上运行时,此计算机程序用于执行本文所述多个方法中的一个方法。
本发明方法的另一实施方案因此是数据载体(或数字存储介质、或计算机可读介质),此数据载体包括记录在其上的用于执行本文所述多个方法中一个方法的计算机程序。数据载体、数字存储介质或记录介质通常是有形的和/或非暂态性的。
本发明方法的另一实施方案因此是数据流、或表示用于执行本文所述多个方法中一个方法的计算机程序的信号序列。数据流或信号序列可例如被配置成经由数据通信连接,例如经由互联网、经由蓝牙低功耗(BLE)、经由WiFi、或经由任何类型的网络,例如经由网状网络传输。
另一实施方案包括处理部件,例如,计算机或可编程逻辑装置,其被配置成或适于执行本文所述多个方法中的一个方法。
另一实施方案包括在其上安装有用于执行本文所述多个方法中一个方法的计算机程序的计算机。
根据本发明的另一实施方案包括设备或系统,其被配置成向接收器传输(例如,以电子方式或光学方式)用于执行本文所述多个方法中一个方法的计算机程序。接收器可以例如是计算机、移动装置、存储器装置等。设备或系统可以例如包括文件服务器,用于向接收器传输计算机程序。
在一些实施方案中,可编程逻辑装置(例如,现场可编程门阵列)可用于执行本文所述多个方法中的一些或所有功能。在一些实施方案中,现场可编程门阵列可以与微处理器配合,以便执行本文所述多个方法中的一个方法。一般来讲,该方法优选由任何硬件设备执行。
本文所述的设备可使用硬件设备,或使用计算机,或使用硬件设备与计算机的组合来实现。
本文所述的方法可使用硬件设备,或使用计算机,或使用硬件设备与计算机的组合来执行。
上述实施方案仅仅是为了说明本发明的原理。应当理解,本文所述的布置和细节的修改与变型对于本领域其他技术人员而言将是显而易见的。因此,其意图在于仅仅受到所附专利权利要求书的范围的限制,而非受到通过说明与解释本文实施方案而展示的具体细节的限制。
此外,本文所公开的量纲和值不旨在被理解为严格地限于所述的精确数值。相反,除非另外指明,否则每个此类量纲旨在表示所述值以及围绕该值功能上等同的范围。例如,公开为“40mm”的量纲旨在表示“约40mm”。

Claims (15)

1.一种用于实施可移动处理装置(11)相对于目标表面(12)的定位的设备(10;100),所述可移动处理装置(11)包括至少一个惯性传感器(13)和至少一个另外传感器,其包括被布置成用于测量将所述可移动处理装置(11)抵靠所述目标表面所用以施加的压力的压力传感器,所述可移动处理装置(11)被配置成处理所述目标表面(12),所述设备(10)包括
运动模式分类装置(14),所述运动模式分类装置被配置成区分包含在所述可移动处理装置(11)的运动类集合(15)中的两个或更多个运动类(151,152,153,…,15k),以及
接口(16),所述接口用于将来自所述惯性传感器(13)的惯性传感器数据(171,172,173,…,17n)提供到所述运动模式分类装置(14),所述惯性传感器数据(171,172,173,…,17n)表示所述可移动处理装置(11)的移动,所述接口(16)还被布置成用于将来自所述另外传感器的另外传感器数据提供到所述运动模式分类装置(14),所述另外传感器数据包括所述压力传感器的传感器数据,
其中所述运动模式分类装置(14)包括至少一个神经网络(18),所述神经网络被配置成接收所述惯性传感器数据(171,172,173,…,17n)和所述压力传感器的传感器数据并且将所述惯性传感器数据(171,172,173,…,17n)和所述压力传感器的传感器数据相对于包含在所述运动类集合(15)中的所述运动类(151,152,153,…,15k)进行分类,其中所述运动类(151,152,153,…,15k)各自与关于所述目标表面(12)的一个或多个不同区域(211,212,213,…,21m)相关联,使得所述惯性传感器数据(171,172,173,…,17n)和所述压力传感器的传感器数据相对于所述运动类(151,152,153,…,15k)的所述分类指示对所述可移动处理装置(11)相对于所述目标表面(12)的一个或多个区域(211,212,213,…,21m)的定位的评估。
2.根据权利要求1所述的设备(10;100),其中所述神经网络(18)的输出(yt-1;yt;yt+1)包括关于对所述可移动处理装置(11)相对于所述目标表面(12)的一个或多个区域(211,212,213,…,21m)的定位的评估的一个或多个概率或似然值。
3.根据权利要求2所述的设备(10;100),其中所述设备(10)被布置成指示一个区域(Z3),所述可移动处理装置(11)基于所述输出(yt-1;yt;yt+1)的最高概率或似然值而定位在所述区域中。
4.根据权利要求1至3中的一项所述的设备(10;100),其中包含在所述运动类集合(15)中的至少一个运动类与所述目标表面(12)外部的区域相关联,其中所述惯性传感器数据(171,172,173,…,17n)相对于此运动类的所述分类指示所述可移动处理装置(11)定位在所述目标表面(12)外部的所述区域中。
5.根据权利要求1至3中任一项所述的设备(10;100),其中所述神经网络(18)为递归神经网络,具体地为长短时记忆网络或门控递归单元网络,更具体地其中所述递归神经网络为双向递归神经网络,并且甚至更具体地其中所述递归神经网络为至少两层双向递归神经网络。
6.根据权利要求1至3中任一项所述的设备(10;100),其中所述接口(16)被布置成将来自所述惯性传感器(13)的惯性传感器数据(171,172,173,…,17n)序列提供至所述运动模式分类装置(14)作为输入(X1,X2,X3,…,Xn)。
7.根据权利要求6所述的设备(10),其中所述设备(10)被布置成指示区域(211,212,213,…,21m),在与所述惯性传感器数据序列有关的时间段期间,所述可移动处理装置基于最大准则或多数准则而定位在所述区域中。
8.根据权利要求1至3中任一项所述的设备(10),其中所述惯性传感器数据(171,172,173,…,17n)包括至少一个数据部分,具体地为一组中的至少三个数据部分,所述组包括:在x、y和z方向上的线速度,相对于x轴、y轴和z轴的角速度,在x、y和z方向上的线加速度,以及相对于x轴、y轴和z轴的角加速度。
9.根据权利要求1所述的设备(10),其中所述另外传感器还包括用于感测驱动所述可移动处理装置(11)的马达的马达负载的负载传感器。
10.根据权利要求1至3中任一项所述的设备(10),其中所述运动模式分类装置(14)包括至少第一神经网络和第二神经网络,所述第一神经网络和所述第二神经网络各自被配置成接收所述惯性传感器数据(171,172,173,…,17n)和所述压力传感器的传感器数据,并且所述第一神经网络被配置成将所述惯性传感器数据(171,172,173,…,17n)和所述压力传感器的传感器数据相对于包含在第一运动类集合中的运动类(151,152,153,…,15k)进行分类,并且所述第二神经网络被配置成将所述惯性传感器数据(171,172,173,…,17n)和所述压力传感器的传感器数据相对于包含在第二运动类集合中的运动类(151,152,153,…,15k)进行分类,其中所述第一运动类集合和所述第二运动类集合的所述运动类(151,152,153,…,15k)各自与关于所述目标表面(12)的一个或多个不同区域(211,212,213,…,21m)相关联,使得所述惯性传感器数据(171,172,173,…,17n)和所述压力传感器的传感器数据相对于所述运动类(151,152,153,…,15k)的所述分类指示对所述可移动处理装置(11)相对于所述目标表面(12)的一个或多个区域(211,212,213,…,21m)的定位的评估,并且其中所述第一神经网络的输出(yt-1;yt;yt+1)和所述第二神经网络的输出(yt-1;yt;yt+1)被用来提供对所述可移动处理装置(11)相对于所述目标表面(12)的一个或多个区域(211,212,213,…,21m)的定位的评估。
11.根据权利要求1至3中任一项所述的设备(10),其中所述神经网络包括经训练的权矩阵和偏差向量。
12.根据权利要求1至3中任一项所述的设备(10),其中所述可移动处理装置(11)为个人器具,并且所述目标表面(12)为待通过所述可移动处理装置(11)处理的身体部分。
13.根据权利要求1至3中的一项所述的设备(10),其中所述可移动处理装置(11)为口腔护理装置,并且所述目标表面(12)为口腔,其中所述口腔被分为多个口腔区域(1a-9a;1b-16b),其中所述惯性传感器数据(171,172,173,…,17n)和所述压力传感器的传感器数据相对于所述运动类(151,152,153,…,15k)的所述分类指示对所述口腔护理装置相对于所述口腔区域(1a-9a;1b-16b)的定位的评估。
14.一种用于实施可移动处理装置(11)相对于目标表面(12)的定位的方法,所述可移动处理装置(11)包括至少一个惯性传感器(13)和至少一个另外传感器,其包括被布置成用于测量将所述可移动处理装置(11)抵靠所述目标表面所用以施加的压力的压力传感器,所述可移动处理装置(11)被配置成处理所述目标表面(12),所述方法包括
提供包含在所述可移动处理装置(11)的运动类集合(15)中的两个或更多个运动类(151,152,153,…,15k),
接收来自所述惯性传感器(13)的惯性传感器数据(171,172,173,…,17n),所述惯性传感器数据(171,172,173,…,17n)表示所述可移动处理装置(11)的移动,
接收所述压力传感器的传感器数据,
借助于神经网络(18)接收并处理所述惯性传感器数据(171,172,173,…,17n)和所述压力传感器的传感器数据并且将所述惯性传感器数据(171,172,173,…,17n)和所述压力传感器的传感器数据相对于包含在所述运动类集合(15)中的所述运动类(151,152,153,…,15k)进行分类,其中所述运动类(151,152,153,…,15k)各自与所述目标表面(12)的一个或多个不同区域(211,212,213,…,21n)相关联,使得所述惯性传感器数据(171,172,173,…,17n)和所述压力传感器的传感器数据相对于所述运动类(151,152,153,…,15k)的所述分类指示对所述可移动处理装置(11)相对于所述目标表面(12)的一个或多个区域(211,212,213,…,21m)的定位的评估。
15.一种用于实施可移动处理装置(11)相对于目标表面(12)的定位的系统,所述系统包括根据权利要求1至13中的一项所述的设备(10)和被配置成处理目标表面(12)且包括至少一个惯性传感器(13)的可移动处理装置(11)。
CN201980014210.7A 2018-02-19 2019-02-15 用于实施可移动处理装置的定位的设备和方法 Active CN111771208B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP18157358.5 2018-02-19
EP18157362.7A EP3528167A1 (en) 2018-02-19 2018-02-19 Apparatus and method for performing a localization of a movable treatment device
EP18157362.7 2018-02-19
EP18157358.5A EP3528166B1 (en) 2018-02-19 2018-02-19 Apparatus and method for classifying a motion of a movable personal appliance
PCT/IB2019/051249 WO2019159129A2 (en) 2018-02-19 2019-02-15 Apparatus and method for performing a localization of a movable treatment device

Publications (2)

Publication Number Publication Date
CN111771208A CN111771208A (zh) 2020-10-13
CN111771208B true CN111771208B (zh) 2024-05-28

Family

ID=65324298

Family Applications (4)

Application Number Title Priority Date Filing Date
CN201980014214.5A Active CN111742327B (zh) 2018-02-19 2019-02-15 用于实施可移动处理装置的定位的设备和方法
CN201980014221.5A Pending CN111742328A (zh) 2018-02-19 2019-02-15 用于对手持式消费装置的使用进行分类的系统
CN201980014210.7A Active CN111771208B (zh) 2018-02-19 2019-02-15 用于实施可移动处理装置的定位的设备和方法
CN201980014213.0A Pending CN111771209A (zh) 2018-02-19 2019-02-15 用于对可移动处理装置的运动进行分类的设备和方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201980014214.5A Active CN111742327B (zh) 2018-02-19 2019-02-15 用于实施可移动处理装置的定位的设备和方法
CN201980014221.5A Pending CN111742328A (zh) 2018-02-19 2019-02-15 用于对手持式消费装置的使用进行分类的系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201980014213.0A Pending CN111771209A (zh) 2018-02-19 2019-02-15 用于对可移动处理装置的运动进行分类的设备和方法

Country Status (6)

Country Link
US (5) US20190254794A1 (zh)
EP (3) EP3528171B1 (zh)
JP (5) JP7402165B2 (zh)
KR (2) KR102613604B1 (zh)
CN (4) CN111742327B (zh)
WO (4) WO2019159130A2 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7402165B2 (ja) 2018-02-19 2023-12-20 ブラウン ゲーエムベーハー 可動式処置デバイスの位置特定を実施するための装置及び方法
KR20210030106A (ko) * 2019-09-09 2021-03-17 엘지전자 주식회사 서버
KR20230028490A (ko) * 2020-06-24 2023-02-28 에지웰 퍼스널 케어 브랜즈, 엘엘씨 개인 케어 장치를 위한 머신 러닝
GB2602086A (en) * 2020-12-17 2022-06-22 Dyson Technology Ltd Oral treatment device
US20220201256A1 (en) * 2020-12-22 2022-06-23 Here Global B.V. Method, apparatus, and system for capturing an image sequence for a visual positioning service request
CN112884132B (zh) * 2021-03-19 2024-04-30 有品国际科技(深圳)有限责任公司 基于神经网络的刷牙检测方法、装置、电动牙刷及介质
CA3226674A1 (en) 2021-08-06 2023-02-09 Braun Gmbh Electric toothbrush and universal base therefor
WO2024007100A1 (en) 2022-07-04 2024-01-11 Braun Gmbh Oral scanner system
WO2024007106A1 (en) 2022-07-04 2024-01-11 Braun Gmbh Oral scanner system
WO2024007113A1 (en) 2022-07-04 2024-01-11 Braun Gmbh Oral scanner system
WO2024007091A1 (en) 2022-07-04 2024-01-11 Braun Gmbh Oral scanner system
WO2024007117A1 (en) 2022-07-04 2024-01-11 Braun Gmbh Oral scanner system
WO2024007888A1 (en) 2022-07-04 2024-01-11 Braun Gmbh Oral scanner system
WO2024007098A1 (en) 2022-07-04 2024-01-11 Braun Gmbh Oral scanner system

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4218600A1 (de) * 1992-06-05 1993-12-09 Bodenseewerk Geraetetech Einrichtung zur Bestimmung von Bewegungsgrößen eines Flugkörpers
CN101367015A (zh) * 2007-06-18 2009-02-18 神奇游戏智能公司 采用可移动控制器进行交互控制的独立惯性导航系统
CN101969878A (zh) * 2008-03-14 2011-02-09 欧姆龙健康医疗事业株式会社 电动牙刷
WO2014089119A1 (en) * 2012-12-03 2014-06-12 Navisens, Inc. Systems and methods for estimating the motion of an object
CN105832315A (zh) * 2015-01-16 2016-08-10 中国科学院上海高等研究院 不受个体运动状态与环境位置影响的远程监测系统
CN106922185A (zh) * 2014-09-30 2017-07-04 微软技术许可有限责任公司 经由可穿戴和移动设备的基于自然运动的控制
CN107092894A (zh) * 2017-04-28 2017-08-25 孙恩泽 一种基于lstm模型的运动行为识别方法
CN107153642A (zh) * 2017-05-16 2017-09-12 华北电力大学 一种基于神经网络识别文本评论情感倾向的分析方法
JP2017187850A (ja) * 2016-04-01 2017-10-12 株式会社リコー 画像処理システム、情報処理装置、プログラム
CN107516102A (zh) * 2016-06-16 2017-12-26 北京市商汤科技开发有限公司 图像数据分类与建立分类模型方法、装置及系统
GB201721636D0 (en) * 2017-12-21 2018-02-07 Yoti Holding Ltd Biometric user authentication
WO2019081937A1 (en) * 2017-10-26 2019-05-02 Gb Gas Holdings Limited DETERMINING OPERATING STATUS FROM COMPLEX SENSOR DATA

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6757602B2 (en) * 1997-02-06 2004-06-29 Automotive Technologies International, Inc. System for determining the occupancy state of a seat in a vehicle and controlling a component based thereon
JP2002090267A (ja) * 2000-09-21 2002-03-27 Mitsui Eng & Shipbuild Co Ltd 異常診断方法
KR100580647B1 (ko) * 2004-04-01 2006-05-16 삼성전자주식회사 입력모드 분류가능한 동작기반 입력장치 및 방법
WO2006090197A1 (en) * 2005-02-24 2006-08-31 Nokia Corporation Motion-input device for a computing terminal and method of its operation
WO2006137648A1 (en) * 2005-06-20 2006-12-28 Jin-Sang Hwang Tooth brushing pattern analyzing/modifying device, method and system for interactively modifying tooth brushing behavior
JP4388033B2 (ja) 2006-05-15 2009-12-24 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2008108788A2 (en) * 2006-05-31 2008-09-12 Trx Systems, Inc. Method and system for locating and monitoring first responders
US20080102953A1 (en) * 2006-10-31 2008-05-01 Motorola, Inc. Toothbrush affecting game play
DE102007001025B4 (de) 2007-01-02 2008-11-20 Siemens Ag Verfahren zur rechnergestützten Steuerung und/oder Regelung eines technischen Systems
US8462109B2 (en) 2007-01-05 2013-06-11 Invensense, Inc. Controlling and accessing content using motion processing on mobile devices
US7835999B2 (en) * 2007-06-27 2010-11-16 Microsoft Corporation Recognizing input gestures using a multi-touch input device, calculated graphs, and a neural network with link weights
KR100947046B1 (ko) 2007-11-19 2010-03-10 황진상 운동체 자세 추적 장치, 운동체 자세 추적 방법, 이를이용한 칫솔 자세 추적 장치 및 칫솔 자세 추적 방법
WO2010024697A1 (en) 2008-09-01 2010-03-04 Business Intelligence Solutions Safe B.V. Methods, apparatus and systems for determining an adjustment value of a gaming device
JP2011059815A (ja) * 2009-09-07 2011-03-24 Sony Corp 情報処理装置、情報処理方法、及び、プログラム
JP5574789B2 (ja) * 2010-04-08 2014-08-20 株式会社東芝 車両周辺監視装置及び車両周辺監視方法
KR20130057688A (ko) * 2011-11-24 2013-06-03 (주)케이엔씨웰빙 양치 패턴 분석용 칫솔 및 분석 시스템
US10314492B2 (en) * 2013-05-23 2019-06-11 Medibotics Llc Wearable spectroscopic sensor to measure food consumption based on interaction between light and the human body
US20140065588A1 (en) * 2012-08-31 2014-03-06 Ideas That Work, Llc Toothbrush Training System
US9263036B1 (en) 2012-11-29 2016-02-16 Google Inc. System and method for speech recognition using deep recurrent neural networks
US9413797B2 (en) * 2013-04-23 2016-08-09 Gurulogic Microsystems Oy Data communication system and method
US9529385B2 (en) 2013-05-23 2016-12-27 Medibotics Llc Smart watch and human-to-computer interface for monitoring food consumption
US9389694B2 (en) * 2013-10-22 2016-07-12 Thalmic Labs Inc. Systems, articles, and methods for gesture identification in wearable electromyography devices
US9820233B2 (en) * 2013-11-25 2017-11-14 Qualcomm Incorporated Motion state based mobile device positioning
US20160091308A1 (en) * 2014-09-30 2016-03-31 Invensense, Inc. Microelectromechanical systems (mems) acoustic sensor-based gesture recognition
CN107105888B (zh) * 2014-12-22 2019-09-20 太阳星光齿磨公司 牙刷用配件
US11051919B2 (en) * 2015-05-13 2021-07-06 Kolibree Toothbrush system with magnetometer for dental hygiene monitoring
CN104848861B (zh) * 2015-05-28 2017-12-08 西安交通大学 一种基于图像消失点识别技术的移动设备姿态测量方法
US9336482B1 (en) 2015-07-27 2016-05-10 Google Inc. Predicting likelihoods of conditions being satisfied using recurrent neural networks
JP6684834B2 (ja) * 2015-08-19 2020-04-22 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 口腔清掃装置の位置特定のための方法及びシステム
EP3141151B1 (en) * 2015-09-08 2023-10-18 Braun GmbH Determination of a currently treated body portion of a user
GB2545668B (en) * 2015-12-21 2020-05-20 Suunto Oy Sensor based context management
CN109152471A (zh) * 2016-03-14 2019-01-04 科里布里公司 具有视觉识别功能以用于监测依从性的口腔卫生系统
US10867314B2 (en) 2016-03-22 2020-12-15 Magic Leap, Inc. Head mounted display system configured to exchange biometric information
US20170281054A1 (en) * 2016-03-31 2017-10-05 Zoll Medical Corporation Systems and methods of tracking patient movement
WO2019028269A2 (en) * 2017-08-02 2019-02-07 Strong Force Iot Portfolio 2016, Llc METHODS AND SYSTEMS FOR DETECTION IN AN INDUSTRIAL ENVIRONMENT OF COLLECTING INTERNET DATA FROM OBJECTS WITH LARGE DATA SETS
US20180284746A1 (en) * 2016-05-09 2018-10-04 StrongForce IoT Portfolio 2016, LLC Methods and systems for data collection optimization in an industrial internet of things environment
US10003924B2 (en) * 2016-08-10 2018-06-19 Yandex Europe Ag Method of and server for processing wireless device sensor data to generate an entity vector associated with a physical location
KR20180070932A (ko) * 2016-12-19 2018-06-27 삼성전자주식회사 이동체 및 이동체의 제어 방법
US20170173262A1 (en) * 2017-03-01 2017-06-22 François Paul VELTZ Medical systems, devices and methods
CN107203753B (zh) * 2017-05-25 2020-09-08 西安工业大学 一种基于模糊神经网络和图模型推理的动作识别方法
CN109002189B (zh) * 2017-06-07 2021-09-07 斑马智行网络(香港)有限公司 一种运动识别方法、装置、设备和计算机存储介质
US10726301B2 (en) * 2017-06-29 2020-07-28 The Procter & Gamble Company Method for treating a surface
WO2019133256A1 (en) * 2017-12-28 2019-07-04 Colgate-Palmolive Company Oral hygiene systems
JP7402165B2 (ja) 2018-02-19 2023-12-20 ブラウン ゲーエムベーハー 可動式処置デバイスの位置特定を実施するための装置及び方法
CN108451155B (zh) * 2018-04-13 2020-09-08 深圳市力博得科技有限公司 智能牙刷的控制电路、智能牙刷及刷牙行为的监控方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4218600A1 (de) * 1992-06-05 1993-12-09 Bodenseewerk Geraetetech Einrichtung zur Bestimmung von Bewegungsgrößen eines Flugkörpers
CN101367015A (zh) * 2007-06-18 2009-02-18 神奇游戏智能公司 采用可移动控制器进行交互控制的独立惯性导航系统
CN101969878A (zh) * 2008-03-14 2011-02-09 欧姆龙健康医疗事业株式会社 电动牙刷
WO2014089119A1 (en) * 2012-12-03 2014-06-12 Navisens, Inc. Systems and methods for estimating the motion of an object
CN106922185A (zh) * 2014-09-30 2017-07-04 微软技术许可有限责任公司 经由可穿戴和移动设备的基于自然运动的控制
CN105832315A (zh) * 2015-01-16 2016-08-10 中国科学院上海高等研究院 不受个体运动状态与环境位置影响的远程监测系统
JP2017187850A (ja) * 2016-04-01 2017-10-12 株式会社リコー 画像処理システム、情報処理装置、プログラム
CN107516102A (zh) * 2016-06-16 2017-12-26 北京市商汤科技开发有限公司 图像数据分类与建立分类模型方法、装置及系统
CN107092894A (zh) * 2017-04-28 2017-08-25 孙恩泽 一种基于lstm模型的运动行为识别方法
CN107153642A (zh) * 2017-05-16 2017-09-12 华北电力大学 一种基于神经网络识别文本评论情感倾向的分析方法
WO2019081937A1 (en) * 2017-10-26 2019-05-02 Gb Gas Holdings Limited DETERMINING OPERATING STATUS FROM COMPLEX SENSOR DATA
GB201721636D0 (en) * 2017-12-21 2018-02-07 Yoti Holding Ltd Biometric user authentication

Also Published As

Publication number Publication date
EP3528171A3 (en) 2020-01-08
WO2019159130A2 (en) 2019-08-22
JP7203856B2 (ja) 2023-01-13
US20230342423A1 (en) 2023-10-26
EP3528171B1 (en) 2023-11-22
WO2019159127A1 (en) 2019-08-22
WO2019159128A3 (en) 2019-10-17
US20190254794A1 (en) 2019-08-22
KR20200108034A (ko) 2020-09-16
KR102555432B1 (ko) 2023-07-13
JP7221291B2 (ja) 2023-02-13
CN111742327A (zh) 2020-10-02
JP7402165B2 (ja) 2023-12-20
WO2019159129A3 (en) 2019-10-31
EP3528170A1 (en) 2019-08-21
JP2021513420A (ja) 2021-05-27
JP2021514223A (ja) 2021-06-10
EP3528170B1 (en) 2023-11-22
US11755686B2 (en) 2023-09-12
CN111771209A (zh) 2020-10-13
JP2021514221A (ja) 2021-06-10
US20190278786A1 (en) 2019-09-12
JP2023017766A (ja) 2023-02-07
EP3528171A2 (en) 2019-08-21
CN111771208A (zh) 2020-10-13
CN111742328A (zh) 2020-10-02
EP3528172A2 (en) 2019-08-21
EP3528172B1 (en) 2023-12-27
KR102613604B1 (ko) 2023-12-15
WO2019159130A3 (en) 2019-10-17
US20190254796A1 (en) 2019-08-22
WO2019159128A2 (en) 2019-08-22
US20190254795A1 (en) 2019-08-22
EP3528172A3 (en) 2020-01-08
JP7190496B2 (ja) 2022-12-15
KR20200108035A (ko) 2020-09-16
JP2021513415A (ja) 2021-05-27
CN111742327B (zh) 2024-05-28
WO2019159129A2 (en) 2019-08-22

Similar Documents

Publication Publication Date Title
CN111771208B (zh) 用于实施可移动处理装置的定位的设备和方法
US11752650B2 (en) Apparatus and method for operating a personal grooming appliance or household cleaning appliance
US20220398745A1 (en) Apparatus and method for operating a dental appliance
EP3528166B1 (en) Apparatus and method for classifying a motion of a movable personal appliance
EP3528167A1 (en) Apparatus and method for performing a localization of a movable treatment device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant