CN110609612A - 用于触觉效果的多级闭环控制的系统和方法 - Google Patents

用于触觉效果的多级闭环控制的系统和方法 Download PDF

Info

Publication number
CN110609612A
CN110609612A CN201910515064.8A CN201910515064A CN110609612A CN 110609612 A CN110609612 A CN 110609612A CN 201910515064 A CN201910515064 A CN 201910515064A CN 110609612 A CN110609612 A CN 110609612A
Authority
CN
China
Prior art keywords
haptic
signal
sensor
reference signal
error
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201910515064.8A
Other languages
English (en)
Inventor
胡安·曼纽尔·科鲁兹-埃尔南德兹
丹尼·A·格兰特
贾马尔·萨布恩
克里斯托弗·J·乌尔里希
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of CN110609612A publication Critical patent/CN110609612A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B06GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS IN GENERAL
    • B06BMETHODS OR APPARATUS FOR GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS OF INFRASONIC, SONIC, OR ULTRASONIC FREQUENCY, e.g. FOR PERFORMING MECHANICAL WORK IN GENERAL
    • B06B1/00Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency
    • B06B1/02Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy
    • B06B1/0207Driving circuits
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1689Teleoperation
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B11/00Automatic controllers
    • G05B11/01Automatic controllers electric
    • G05B11/36Automatic controllers electric with provision for obtaining particular characteristics, e.g. proportional, integral, differential
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40132Haptic joystick with force feedback based on accelerometer included in joystick
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Automation & Control Theory (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

公开了用于触觉效果的多级闭环控制的系统和方法。一种用于触觉效果的多级闭环控制的说明性系统包括被配置为输出触觉效果的触觉输出设备,被配置为感测触觉输出设备的输出并且生成传感器信号的传感器,以及与传感器通信的处理器。处理器被配置为:接收参考信号,接收传感器信号,至少部分基于参考信号和传感器信号确定误差,至少部分基于参考信号和误差生成触觉信号,并且将触觉信号发送到被配置为基于触觉信号输出触觉效果的触觉输出设备。

Description

用于触觉效果的多级闭环控制的系统和方法
技术领域
本申请涉及触觉效果的领域。更具体而言,本申请涉及触觉效果的多级闭环控制。
背景技术
触觉效果总体上改善了设备和应用中的易用性,尤其是改善了移动设备和虚拟和增强现实设备和诸如游戏之类的应用中的易用性。这导致了触觉的实现的范围的增大。随着触觉被实现在各种设备中,在一系列的不同设备上、甚至是在同一设备的不同版本或者甚至不同生产运行中确保高质量的一致触觉效果,可能是一个挑战。需要用于触觉效果的多级闭环控制的系统和方法来帮助确保这种触觉效果的质量和一致性。
发明内容
在一个实施例中,一种系统包括被配置为输出触觉效果的触觉输出设备,被配置为感测触觉输出设备的输出并且生成传感器信号的传感器,以及与传感器通信的处理器。处理器被配置为:接收参考信号,接收传感器信号,至少部分基于参考信号和传感器信号确定误差,至少部分基于参考信号和误差生成触觉信号,并且将触觉信号发送到被配置为基于触觉信号输出触觉效果的触觉输出设备。
在另一实施例中,一种用于触觉效果的多级闭环控制的方法包括:从传感器接收传感器信号,该传感器被配置为感测触觉输出设备的输出;接收参考信号;并且确定传感器信号与参考信号之间的误差。该方法还包括至少部分基于参考信号和误差生成触觉信号,并且将触觉信号发送到被配置为基于触觉信号输出触觉效果的触觉输出设备。在另外一个实施例中,一种计算机可读介质可包括程序代码,该程序代码当被处理器执行时被配置为使能实现上述方法。
提及这些说明性示例并不是为了限制或限定本主题的范围,而是为了提供示例来帮助对其的理解。在具体实施方式部分论述了说明性实施例,并且这里提供了对其的进一步描述。通过查阅本说明书和/或通过实现要求保护的主题的一个或多个实施例可进一步理解各种实施例提供的优点。
附图说明
在说明书的剩余部分中更具体地记载了完整的能够实现的公开。说明书参考了以下附图。
图1示出了一个实施例中的用于触觉效果的多级闭环控制的说明性系统;
图2示出了一个实施例中的用于触觉效果的多级闭环控制的另一说明性系统;
图3示出了一个实施例中的用于触觉效果的多级闭环控制的另一说明性系统;
图4示出了一个实施例中的用于触觉效果的多级闭环控制的另一说明性系统;
图5示出了一个实施例中的用于触觉效果的多级闭环控制的又一说明性系统;
图6是根据一个实施例图示出方法600的流程图;并且
图7是根据一个实施例图示出另一方法700的流程图。
具体实施方式
现在将详细述及各种可替换的说明性实施例以及附图。每个示例是以说明而非限制方式提供的。本领域技术人员将会明白可以做出修改和变化。例如,作为一个实施例的一部分图示或描述的特征可用于另一实施例中来产生另外一个实施例。从而,希望本公开包括落在所附权利要求及其等同物的范围内的修改和变化。
用于触觉效果的多级闭环控制的说明性示例系统
在一个说明性实施例中,在诸如智能电话之类的移动设备上执行的移动应用使得用户能够执行多种任务。移动应用包括界面,该界面向用户提供用户界面元素,例如虚拟按钮。当用户在按钮的位置触摸智能电话的触摸屏时,该应用执行与该按钮相关联的功能。
通过响应于用户的动作提供触觉效果而改善了用户与用户界面的交互。例如,当用户按压虚拟按钮时,说明性实施例中的移动设备输出清脆的点击声以通知用户按钮按压成功了。移动电话可利用线性谐振致动器(linear resonance actuator,LRA)来提供触觉反馈。或者移动设备可使用不同类型的触觉输出设备。致动器的差别可影响触觉输出设备能够提供给用户的点击感。另外,不同LRA可由于制造的差异而响应于同一信号输出不同的效果,例如,一个LRA可比另一LRA响应性更高,即使两个LRA的规格是相同的。例如,LRA可输出具有长拖尾的信号,例如,LRA可在效果已被输出之后“回响”一段时间。
为了对这些差别进行补偿,说明性实施例包括传感器,例如加速度计,用来检测触觉输出设备输出的效果。处理器接收参考信号,其对应于触觉效果设计者打算作为要输出的触觉效果的信号。例如,如果传感器检测到加速,则参考信号是预期或期望的加速。处理器随后确定触觉信号来发送给触觉输出设备,触觉输出设备响应于触觉信号输出触觉效果。传感器检测触觉效果,然后向比较器发送传感器信号,比较器将该信号与参考信号相比较。
基于误差,说明性实施例可确定如何修改参考信号以实现更代表参考信号的效果。例如,说明性实施例可增大信号的增益以产生更强的效果。或者,实施例可利用不同类型的控制器,例如比例控制器或比例积分控制器,来修改被发送到触觉输出设备的信号。在说明性实施例中,改变控制器的增益和类型的组合被用于修改被发送到触觉输出设备的信号。
前述示例只是说明性的,而并不打算以任何方式限制要求保护的发明。
用于触觉效果的多级闭环控制的说明性系统
图1示出了用于触觉效果的多级闭环控制的说明性系统100。具体而言,在这个示例中,系统100包括计算设备101,计算设备101具有经由总线106与其他硬件相接合(interface with)的处理器102。设备101可以是任何类型的设备,例如包括移动电话或平板、虚拟或增强现实头戴装置和控制器、汽车界面、膝上型电脑或其他设备。可包括诸如RAM、ROM、EEPROM等等之类的任何适当的有形(和非暂态)计算机可读介质的存储器104实现了配置计算设备的操作的程序组件。在这个示例中,计算设备101还包括一个或多个网络接口设备110、输入/输出(I/O)接口组件112和额外存储装置114。
网络设备110可表示促进网络连接的任何组件中的一个或多个。示例包括但不限于诸如以太网、USB、IEEE 1394之类的有线接口,和/或诸如IEEE 802.11、蓝牙或用于接入蜂窝电话网络的无线电接口(例如,用于接入CDMA、GSM、UMTS或(一个或多个)其他移动通信网络的收发器/天线)之类的无线接口。
I/O组件112可用于促进到诸如以下设备的连接:一个或多个显示器、触摸屏显示器、键盘、鼠标、扬声器、麦克风、相机和/或用于输入数据或输出数据的其他硬件。在用于虚拟或增强现实环境的实施例中,I/O接口组件112可包括手持VR控制器。存储装置114表示设备101中包括的诸如磁介质、光介质或其他存储介质之类的非易失性存储装置。
系统100还包括触摸表面116,触摸表面116在此示例中被集成到设备101中。触摸表面116表示被配置为感测用户的触摸输入的任何表面。触摸表面116可包括用于显示诸如一个或多个按钮之类的界面元素的显示器,用户可与这些界面元素交互。
一个或多个传感器108被配置为当物体接触触摸表面时检测触摸区域中的触摸并且提供适当的数据供处理器102使用。传感器108也可用于检测触觉输出设备118的输出。可以使用任何适当数目、类型或布置的传感器。例如,电阻式和/或电容式传感器可被嵌入在触摸表面116中并且用于确定触摸的位置和其他信息,例如压力。作为另一示例,具有触摸表面的视野的光学传感器可用于确定触摸位置。用于确定输出的触觉效果的传感器108也可包括加速度计、霍尔效应传感器或者光学传感器。
在一些实施例中,传感器108、触摸表面116和I/O组件112可被集成到单个组件(例如触摸屏显示器)中。例如,在一些实施例中,触摸表面116和传感器108可包括触摸屏,该触摸屏被安装在被配置为接收显示信号并且向用户输出图像的显示器之上。这种实施例可包括智能电话或触摸板,例如用作独立的平板或者用于诸如车辆之类的应用中的那些。
在其他实施例中,传感器108可包括LED检测器。例如,在一个实施例中,触摸表面116可包括安装在显示器的侧面的LED手指检测器。在一些实施例中,处理器102与单个传感器108通信,在其他实施例中,处理器102与多个传感器108(例如第一触摸屏和第二触摸屏)通信。传感器108被配置为检测用户交互、触觉效果或其他动作,并且基于该动作向处理器102发送传感器信号。在一些实施例中,传感器108可被配置为检测用户交互的多个方面。例如,传感器108可检测用户交互的速度和压力并且将此信息包含到界面信号中。类似地,传感器108(或多个传感器108)可检测输出触觉效果的多个属性,例如幅度、方向、频率或其他属性。
设备101还包括触觉输出设备118。在图1中所示的示例中,触觉输出设备118与处理器102通信并且耦合到触摸表面116。图1中所示的实施例包括单个触觉输出设备118。在其他实施例中,计算设备101可包括多个触觉输出设备。
虽然这里示出了单个触觉输出设备118,但实施例可使用相同或不同类型的多个触觉输出设备来输出触觉效果。例如,触觉输出设备118可包括例如以下各项中的一个或多个:压电致动器、电动马达、电磁致动器、音圈、形状记忆合金、电活性聚合物、螺线管、偏心旋转质量马达(eccentric rotating mass motor,ERM)、线性谐振致动器(linearresonant actuator,LRA)、扁平触觉致动器、触觉磁带或者被配置为输出静电效果的触觉输出设备,例如静电摩擦(Electrostatic Friction,ESF)致动器。在一些实施例中,触觉输出设备118可包括多个致动器,例如扁平触觉致动器、压电致动器和LRA。
转到存储器104,描绘了示范性程序组件124、126和128来说明设备如何可被配置为确定和输出触觉效果。在这个示例中,检测模块124将处理器102配置为经由传感器108监视触摸表面116以确定触摸的位置。例如,模块124可对传感器108采样以跟踪触摸的存在与否,并且如果触摸存在,则随着时间的流逝跟踪触摸的位置、路径、速度、加速度、压力和/或其他特性中的一个或多个。替换地或者额外地,检测模块124可被配置为检测来自触觉输出设备118的输出。
触觉效果确定模块126表示程序组件,该程序组件分析关于输出触觉效果和参考信号的数据以确定驱动信号来发送到触觉输出设备118。
触觉效果生成模块128表示使得处理器102生成触觉信号并向触觉输出设备118发送触觉信号的编程,该触觉信号使得触觉输出设备118生成所选触觉效果。例如,生成模块128可访问存储的波形或命令来向触觉输出设备118发送。作为另一示例,触觉效果生成模块128可接收期望类型的触觉效果并且利用信号处理算法来生成适当的信号以发送到触觉输出设备118。作为又一示例,期望的触觉效果可连同纹理的目标坐标一起被指示并且适当的波形可被发送到一个或多个致动器以生成表面(和/或其他设备组件)的适当位移来提供该触觉效果。一些实施例可协同利用多个触觉输出设备来模拟特征。例如,纹理的变化可用于模拟穿越界面上的按钮之间的边界,而振动触感效果模拟当按钮被按压时的响应。
图2示出了一个实施例中的用于触觉效果的多级闭环控制的另一说明性系统。在图2所示的实施例中,参考信号202被提供给系统。参考信号202表示设计者希望设备输出的触觉效果。例如,设计者可能希望虚拟按钮感觉起来非常清脆和机械。在另一实施例中,触觉效果设计者可能希望触觉效果感觉起来是震颤或脆响的。参考信号202反映设计者的希望或设计选择。
参考信号被提供给开关204。开关204将误差信号提供给提供可变增益即增益1至增益n的多个放大器206a-n之一。直到输出初始触觉效果为止,开关204可默认为放大器之一,例如输出“增益1”的放大器206a。参考信号202意图反映期望的触觉输出。参考信号202包括多种属性,例如包括频率、幅度、持续时间和波形状。这些属性可使得开关204选择特定的放大器206。例如,期望的形状与实际的形状可用于选择适当的增益和相应的放大器206。例如,一实施例可被设计为缩短效果的拖尾。另一实施例可被设计为管理效果的浮现,或者效果的浮现和拖尾两者。在另一实施例中,参考信号202的频率可用于选择增益。在其他实施例中,开关204可被控制信号而不是被参考信号202控制。
放大器206的输出被提供到组合器,例如求和器208,以生成触觉或驱动信号。求和器208向触觉输出设备210发送触觉信号。触觉输出设备208可以是任何种类的致动器,例如包括LRA、振动致动器或者悬臂式压电致动器。
触觉输出设备210的输出随后被传感器212感测。传感器212可包括各种类型的传感器并且可包括多个传感器。例如,传感器212可包括霍尔效应传感器、用于感测触觉输出设备210内的运动的位置传感器、加速度计、陀螺仪、诸如相机或红外传感器之类的光学传感器、或者用于检测触觉输出设备的输出并且生成与输出触觉效果相对应的传感器信号的任何其他类型的传感器或传感器的组合。虽然触觉输出设备210和传感器212被示为分开的组件,但它们在一些实施例中可被组合。
传感器信号被提供到比较器214以便确定参考信号202与由传感器212输出的传感器信号之间的误差。在示出的实施例中,参考信号202和传感器信号必须是相同类型的信号。换言之,参考信号反映从触觉输出设备输出的期望触觉反馈效果的设计是什么样的。然而,在其他实施例中,不同类型的信号可用于确定误差。误差随后被提供给开关204并且提供给反馈环控制器216。反馈环控制器216使用误差来调制驱动信号。
反馈环控制器216可以是各种类型的。例如,反馈环控制器216可以是比例-微分(proportional-derivative,PD)、比例-积分-微分(proportional-integral-derivative,PID)或超前滞后控制器。控制器的类型可基于特定的应用。例如,超前滞后控制器提供大量的阻尼,因此可在期望有清脆效果时使用。可基于参考信号的类型来选择反馈环控制器216。
基于参考信号,开关204确定应当应用多少增益1-n并且基于该确定来选择放大器206。在其他实施例中,系统可基于误差或者基于误差、参考信号或其他输入的组合来选择放大器。例如,如果误差在反馈环控制器216的能力之外,则图2中所示的系统可使用增益来帮助校正误差。该增益也可基于参考信号的各种属性。例如,在一个实施例中,增益基于参考信号的频率。在这种实施例中,400Hz信号可被引导到放大器206a,但380Hz信号可具有略长的拖尾并且因此可被发送到放大器206b,放大器206b将具有更高的增益。放大器206和反馈环控制器216向组合器208提供信号,组合器208将两个信号相加以确定对提供给触觉输出设备210的触觉信号的最终驱动。这样,图2所示的系统可在对多种设备使用同一参考信号的同时控制触觉效果的形状(例如,尖锐效果与具有拖尾的效果)、幅度和持续时间。
在一些实施例中,图2所示的组件可实现在芯片上。在其他实施例中,组件可实现为例如在移动设备上、在诸如虚拟或增强现实控件之类的用户界面设备上或者在游戏计算机上执行的软件。在另外的实施例中,组件可实现为一个或多个芯片和在设备上或多个设备上执行的软件的组合。也可实现其他配置。例如,在一些实施例中,组件可利用具有指令集合的通用核心实现在ASIC中。可利用参数来控制ASIC。例如,ASIC可包括多个控制器或者具有多个参数来控制其操作的单个控制器。
图3示出了一个实施例中的用于触觉效果的多级闭环控制的另一说明性系统。图2与图3类似。然而,参考信号302被提供到开关304,开关304可以替代地取决于参考信号的属性接受来自放大器306、来自反馈环控制器316或者来自这两者的输入。
与图2所示的系统一样,组合器308向触觉输出设备310提供触觉信号。传感器312感测触觉输出设备310的输出并且向比较器314提供传感器信号。比较器314比较传感器信号与参考信号302以确定误差来馈送给放大器306和反馈环控制器316。
图4示出了一个实施例中的用于触觉效果的多级闭环控制的另一说明性系统。与图2和图3一样,图4包括参考信号402。参考信号被提供给开关404。不是像图2中所示那样在各种放大器之间切换,开关404在各种反馈环控制器416a-n之间切换。在示出的实施例中,反馈环控制器416a可以是PD控制器,而反馈环控制器416b是PID控制器,并且反馈环控制器416c是超前滞后控制器。作为示例,如果触觉输出设备210(例如LRA)被过驱动,则其经常在电源关断之后回响许多毫秒。在一个实施例中,当参考信号返回到0时(即,预期没有触觉效果),控制器可将致动器驱动到0。例如,在一个这种实施例中,当驱动信号时,PD控制器被利用,但当参考信号下降到0时,开关404随后将控制切换到超前滞后控制器,超前滞后控制器更能够将触觉输出设备416驱动到0。
可利用控制器的各种其他组合和类型。来自所选反馈环控制器416的输出被馈送到组合器,即求和器408,其生成触觉信号并将触觉信号发送到触觉输出设备410。
传感器412感测该输出并且生成传感器信号,传感器信号被提供给比较器414。比较器414向开关404和放大器406提供误差。放大器404增大信号的增益并将其提供给求和器408以与来自反馈环控制器416的信号相组合。虽然增益在图4中被示为固定的,但可利用额外的放大器来改变增益。加外,虽然图2、图3和图4描述了不同的系统,但各种实施例的特征可被与彼此组合。例如,一个替换实施例可包括从多个放大器206、306、406和多个反馈环控制器216、316、416中选择的能力。
图5示出了一个实施例中的用于触觉效果的多级闭环控制的又一说明性系统。图5所示的说明性系统与图2-图4所示的系统类似,只不过图5中的系统既允许对触觉信号的开环控制也允许对触觉信号的闭环控制。在图5所示的实施例中,参考信号502被提供给开关504,开关504可将参考信号502直接提供给组合器508。这种实施例可用于在开环控制和闭环控制之间切换。
例如,在一个实施例中,传感器不是所有时间都可用的,或者连续使用传感器512将不是对资源的高效使用。在这种情况下,可按一定的速率对传感器512采样。开关504可在传感器不可用时选择开环处理,然后在传感器变得可用时选择闭环处理。要利用的控制的类型也可基于触觉输出设备510的特定用途。例如,在一个实施例中,触觉输出设备510在电话响铃时振动。在这种情况下,触觉效果设计者可能不关心效果的精确性,因此使用开环处理。然而,当同一触觉输出设备510被用于指出用户按压了设备的显示器上的按钮时,可使用闭环处理来确保高质量触觉效果。
可利用对这些实施例中示出的系统的各种修改。例如,一些实施例在508和510之间可包括低通滤波器来平滑信号。当在开环和闭环控制之间转变时这种配置可能尤其有用,该转变可能在触觉信号中生成一些不连续。在一个这种实施例中,低通滤波器可使用500Hz的频带,或者1000Hz的频带。
在另一实施例中,以交替方式使用闭环处理以确保触觉效果的质量,而不会过度地利用计算设备上的资源。例如,在一个这种实施例中,开环处理可被利用20毫秒,然后闭环处理被利用10毫秒。在相继输出多个触觉效果的另一实施例中,闭环处理可只被用于最末效果以确保例如触觉效果的拖尾被抑制。在另外一个实施例中,传感器512和控制器516可以不同的速率操作,从而使得对于每一个传感器信号可产生参考信号502的两个样本。从而,开关504可将频率与传感器512匹配,在开环处理和闭环处理之间来回切换。
用于触觉效果的多级闭环控制的说明性示例方法
图6是根据一个实施例图示出方法600的流程图。示出的过程开始于处理器接收到与触觉输出设备的输出相对应的传感器信号时(602)。处理器还接收参考信号(604)。示出的实施例中的参考信号意图表示如果触觉输出设备准确地产生触觉效果则将会生成的传感器信号。
处理器随后确定参考信号与传感器信号之间的误差(606)。例如,传感器信号和参考信号可被设计成使得传感器信号应当近似参考信号。从而,信号之间的任何误差或者说差别表明输出的触觉效果没有准确地反映参考信号。
处理器接下来生成触觉效果信号来驱动触觉输出设备,触觉效果信号至少部分基于误差(608)。例如,处理器可使用所确定的误差来修改参考信号,然后才输出经修改的驱动信号。
处理器接下来将触觉信号发送给触觉输出设备(610)。触觉输出设备随后输出触觉效果(612)。图6中所示的过程600可由图1-图5中所示的任何系统或者用于执行触觉效果的闭环生成的其他系统执行。
图7是根据一个实施例图示出另一方法700的流程图。在示出的实施例中,处理器接收参考信号(702)。处理器还接收参考信号与传感器信号之间的误差(704)。传感器信号由被配置为感测触觉输出设备的输出的传感器生成。
响应于参考信号和误差,处理器确定要应用到参考信号的增益(706)。例如,处理器可取决于参考信号而增大或减小增益。或者,处理器可基于误差或者基于某种其他控制信号来确定增益。
处理器还基于误差和/或参考信号确定控制器来向误差应用控制(708)。例如,处理器可确定PD控制器可被用于一种类型的误差或参考信号,并且超前滞后控制器可被用于另一不同类型的参考信号或误差。
处理器接下来将参考信号和误差相组合来创建触觉信号(710)。如上所述,处理器可改变增益或用于创建对要生成的触觉信号的输入的控制器。
处理器随后将触觉信号发送给触觉输出设备(712)。触觉输出设备随后输出触觉效果(714)。设备中的传感器感测触觉效果的某个方面,例如致动器的加速和减速或者位移,并且将该信息提供给比较器以确定误差,并且过程700可再次开始。
本文描述的实施例相对于用于生成触觉效果的传统系统提供了许多优点。例如,对于各触觉输出设备(例如,致动器)和各设备,实施例提供了响应于给定参考信号的更高水平的一致性。当利用具有更低的制造容差并从而具有更大的可变性的触觉输出设备时,这种一致性是有用的。这种触觉输出设备经常比更精确的那些更便宜。另外,实施例可帮助在多个设备上提供触觉效果设计者的意图的一致性。就本文使用的而言,一致性并不意味着效果在各设备上是精确相同的,而是与其他情况相比更一致。
另外,实施例可提供改善的触觉效果。例如,当与传统系统相比时,在给定的致动器上可输出更清脆的效果。另外,对于可导致不可预测的效果的信号,例如对于特定设备接近谐振的信号,实施例可确保输出期望的触觉效果。在一些实施例中,应当简化对触觉效果的测试,因为尽管在个体设备的特定组件中存在差异,系统仍可适应输出适当的触觉效果。例如,虽然两个不同的移动电话中的触觉效果致动器可具有不同的性能特性,但实施例可适应,而不需要测试两个设备或者对于每个设备实现不同的效果。
一般考虑
上文论述的方法、系统和设备是示例。各种配置可酌情省略、替代或添加各种过程或组件。例如,在替换配置中,可按与描述不同的顺序执行方法,和/或可添加、省略和/或组合各种阶段。另外,对于某些配置描述的特征可被结合在各种其他配置中。配置的不同的方面和元素可按类似的方式被组合。另外,技术在发展,从而许多元素是示例并且不限制本公开或权利要求的范围。
在描述中给出了具体细节以提供对示例配置(包括实现方式)的透彻理解。然而,没有这些具体细节也可以实现配置。例如,在没有不必要细节的情况下示出了公知的电路、过程、算法、结构和技术以避免模糊配置。本说明书只提供了示例配置,而并不限制权利要求的范围、适用性或配置。更确切地说,先前对配置的描述将向本领域技术人员提供使能实现描述的技术的描述。在不脱离本公开的精神或范围的情况下,可对元素的功能和布置做出各种改变。
另外,配置可被描述为过程,该过程被描绘为流程图或框图。虽然每一者可将操作描述为顺序的过程,但许多操作可被并行或同时执行。此外,可以重安排操作的顺序。过程可具有附图中没有包括的额外步骤。此外,方法的示例可由硬件、软件、固件、中间件、微代码、硬件描述语言或者其任何组合来实现。当以软件、固件、中间件或微代码来实现时,执行必要任务的程序代码或代码片段可被存储在诸如存储介质之类的非暂态计算机可读介质中。处理器可执行描述的任务。
在描述了若干个示例配置后,在不脱离本公开的精神的情况下可使用各种修改、替换构造和等同。例如,上述元素可以是更大系统的成分,其中其他规则可优先于或者以其他方式修改本发明的应用。另外,在考虑上述元素之前、期间或之后可从事若干个步骤。因此,以上描述不限制权利要求的范围。
本文中对“适合于”或“被配置为”的使用打算作为不排除适合于或被配置为执行额外的任务或步骤的设备的开放且包含性的语言。此外,对“基于”的使用打算是开放且包含性的,因为“基于”一个或多个记载的条件或值的过程、步骤、计算或其他动作在实践中可基于超出记载的那些的额外条件或值。本文中包括的标题、列表和编号只是为了易于说明,而并不打算是限制性的。
根据本主题的各方面的实施例可实现在数字电子电路中、实现在计算机硬件、固件、软件中或者实现在前述的组合中。在一个实施例中,计算机可包括一个或多个处理器。处理器可包括或者能够访问计算机可读介质,例如耦合到处理器的随机访问存储器(random access memory,RAM)。处理器执行存储在存储器中的计算机可执行程序指令,例如执行包括传感器采样例程、选择例程和其他例程以执行上述方法的一个或多个计算机程序。
这种处理器可包括微处理器、数字信号处理器(digital signal processor,DSP)、专用集成电路(application-specific integrated circuit,ASIC)、现场可编程门阵列(field programmable gate array,FPGA)以及状态机。这种处理器还可包括可编程电子器件,例如PLC、可编程中断控制器(programmable interrupt controller,PIC)、可编程逻辑器件(programmable logic device,PLD)、可编程只读存储器(programmable read-only memory,PROM)、电可编程只读存储器(electronically programmable read-onlymemory,EPROM或EEPROM)或者其他类似的器件。
这种处理器可包括可存储指令的介质(例如有形计算机可读介质)或者可与介质通信,所述指令当被处理器执行时可使得处理器执行本文描述为由处理器实现或辅助的步骤。计算机可读介质的示例可包括但不限于能够向处理器(例如web服务器中的处理器)提供计算机可读指令的电子存储设备、光存储设备、磁存储设备或其他存储设备。介质的其他示例包括但不限于软盘、CD-ROM、磁盘、存储器芯片、ROM、RAM、ASIC、配置的处理器、所有光介质、所有磁带或其他磁介质或者计算机处理器可从其读取的任何其他介质。另外,各种其他设备可包括计算机可读介质,例如路由器、私有或公共网络或者其他传输设备。所描述的处理器和处理可在一个或多个结构中,并且可通过一个或多个结构来散布。处理器可包括用于实现本文描述的方法(或方法的部分)中的一个或多个的代码。
虽然已针对本主题的特定实施例详细描述了本主题,但将会明白本领域技术人员在达到了对前述的理解后可容易产生这种实施例的替换、变化和等同。因此,应当理解本公开是为了示例而不是限制给出的,并且不排除包括本领域普通技术人员将容易清楚的对本主题的这种修改、变化和/或添加。

Claims (20)

1.一种方法,包括:
从传感器接收传感器信号,所述传感器被配置为感测触觉输出设备的输出;
接收参考信号;
确定所述传感器信号与所述参考信号之间的误差;
至少部分基于所述参考信号和所述误差生成触觉信号;并且
将所述触觉信号发送到被配置为基于所述触觉信号输出触觉效果的触觉输出设备。
2.如权利要求1所述的方法,其中生成所述触觉信号包括部分基于所述参考信号修改增益。
3.如权利要求1所述的方法,其中生成所述触觉信号包括部分基于所述误差选择控制器。
4.如权利要求3所述的方法,其中所述控制器包括比例-微分控制器、比例-积分-微分控制器和超前滞后控制器中的至少一者。
5.如权利要求3所述的方法,其中确定所述触觉信号还包括部分基于所述误差修改增益。
6.如权利要求3所述的方法,其中选择所述控制器还部分基于所述参考信号。
7.如权利要求1所述的方法,其中所述传感器和所述触觉输出设备被包含在移动设备内。
8.如权利要求1所述的方法,其中所述触觉输出设备包括线性谐振致动器、压电或偏心旋转质量中的至少一者。
9.如权利要求1所述的方法,其中所述传感器包括加速度计、陀螺仪、光学传感器或霍尔效应传感器中的至少一者。
10.如权利要求1所述的方法,还包括交替地进行下述两项操作:(a)至少部分基于所述参考信号和所述误差生成所述触觉信号,和(b)不部分基于所述误差生成所述触觉信号。
11.一种系统,包括:
触觉输出设备,被配置为输出触觉效果;
传感器,被配置为感测所述触觉输出设备的输出并且生成传感器信号;
与所述传感器通信的处理器,该处理器被配置为:
接收参考信号;
接收所述传感器信号;
至少部分基于所述参考信号和所述传感器信号确定误差;
至少部分基于所述参考信号和所述误差生成触觉信号;并且
将所述触觉信号发送到被配置为基于所述触觉信号输出触觉效果的触觉输出设备。
12.如权利要求11所述的系统,其中所述处理器被配置为通过部分基于所述参考信号修改增益来生成所述触觉信号。
13.如权利要求11所述的系统,其中所述处理器被配置为通过部分基于所述误差选择控制器来生成所述触觉信号。
14.如权利要求13所述的系统,其中所述控制器包括比例-微分控制器、比例-积分-微分控制器和超前滞后控制器中的至少一者。
15.如权利要求13所述的系统,其中所述处理器被配置为通过部分基于所述误差修改增益来确定所述触觉信号。
16.如权利要求13所述的系统,其中所述处理器被配置为还部分基于所述参考信号选择所述控制器。
17.如权利要求11所述的系统,还包括移动设备,所述移动设备包含所述传感器和所述触觉输出设备。
18.如权利要求11所述的系统,其中所述触觉输出设备包括线性谐振致动器、压电或偏心旋转质量中的至少一者。
19.如权利要求11所述的系统,其中所述传感器包括加速度计、陀螺仪、光学传感器或霍尔效应传感器中的至少一者。
20.一种包括程序代码的非暂态计算机可读介质,所述程序代码当被处理器执行时被配置为使得所述处理器用于:
从传感器接收传感器信号,所述传感器被配置为感测触觉输出设备的输出;
接收参考信号;
确定所述传感器信号与所述参考信号之间的误差;
至少部分基于所述参考信号和所述误差生成触觉信号;并且
将所述触觉信号发送到被配置为基于所述触觉信号输出触觉效果的触觉输出设备。
CN201910515064.8A 2018-06-15 2019-06-14 用于触觉效果的多级闭环控制的系统和方法 Withdrawn CN110609612A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/010,131 2018-06-15
US16/010,131 US10579146B2 (en) 2018-06-15 2018-06-15 Systems and methods for multi-level closed loop control of haptic effects

Publications (1)

Publication Number Publication Date
CN110609612A true CN110609612A (zh) 2019-12-24

Family

ID=66912575

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910515064.8A Withdrawn CN110609612A (zh) 2018-06-15 2019-06-14 用于触觉效果的多级闭环控制的系统和方法

Country Status (5)

Country Link
US (2) US10579146B2 (zh)
EP (1) EP3582082A1 (zh)
JP (1) JP2020009425A (zh)
KR (1) KR20190142228A (zh)
CN (1) CN110609612A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114123937A (zh) * 2021-10-22 2022-03-01 衢州元立金属制品有限公司 一种实现手动与自动pid调节的平滑转换方法

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10732714B2 (en) 2017-05-08 2020-08-04 Cirrus Logic, Inc. Integrated haptic system
US10832537B2 (en) * 2018-04-04 2020-11-10 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US10579146B2 (en) * 2018-06-15 2020-03-03 Immersion Corporation Systems and methods for multi-level closed loop control of haptic effects
GB201817495D0 (en) 2018-10-26 2018-12-12 Cirrus Logic Int Semiconductor Ltd A force sensing system and method
US10992297B2 (en) 2019-03-29 2021-04-27 Cirrus Logic, Inc. Device comprising force sensors
US10955955B2 (en) 2019-03-29 2021-03-23 Cirrus Logic, Inc. Controller for use in a device comprising force sensors
US10828672B2 (en) 2019-03-29 2020-11-10 Cirrus Logic, Inc. Driver circuitry
US11509292B2 (en) 2019-03-29 2022-11-22 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using least-mean-squares filter
US11644370B2 (en) 2019-03-29 2023-05-09 Cirrus Logic, Inc. Force sensing with an electromagnetic load
US10976825B2 (en) 2019-06-07 2021-04-13 Cirrus Logic, Inc. Methods and apparatuses for controlling operation of a vibrational output system and/or operation of an input sensor system
WO2020254788A1 (en) 2019-06-21 2020-12-24 Cirrus Logic International Semiconductor Limited A method and apparatus for configuring a plurality of virtual buttons on a device
US11408787B2 (en) 2019-10-15 2022-08-09 Cirrus Logic, Inc. Control methods for a force sensor system
US11380175B2 (en) 2019-10-24 2022-07-05 Cirrus Logic, Inc. Reproducibility of haptic waveform
US11545951B2 (en) 2019-12-06 2023-01-03 Cirrus Logic, Inc. Methods and systems for detecting and managing amplifier instability
US11126267B2 (en) * 2019-12-19 2021-09-21 Giantplus Technology Co., Ltd Tactile feedback device and operation method thereof
US11662821B2 (en) 2020-04-16 2023-05-30 Cirrus Logic, Inc. In-situ monitoring, calibration, and testing of a haptic actuator
CN111949135B (zh) * 2020-08-31 2022-06-17 福州大学 一种基于混合预测的触感通信容错方法及系统
US11933822B2 (en) 2021-06-16 2024-03-19 Cirrus Logic Inc. Methods and systems for in-system estimation of actuator parameters
WO2022271475A1 (en) * 2021-06-22 2022-12-29 Cirrus Logic International Semiconductor Ltd. Methods and systems for managing mixed mode electromechanical actuator drive
US11908310B2 (en) 2021-06-22 2024-02-20 Cirrus Logic Inc. Methods and systems for detecting and managing unexpected spectral content in an amplifier system
US11765499B2 (en) 2021-06-22 2023-09-19 Cirrus Logic Inc. Methods and systems for managing mixed mode electromechanical actuator drive
US11573639B1 (en) 2021-10-20 2023-02-07 Immersion Corporation Apparatus and methods for localizing one or more effects in a haptic interface
US11552649B1 (en) 2021-12-03 2023-01-10 Cirrus Logic, Inc. Analog-to-digital converter-embedded fixed-phase variable gain amplifier stages for dual monitoring paths

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110077055A1 (en) * 2009-09-30 2011-03-31 Apple Inc. Self adapting alert device
US20110309918A1 (en) * 2010-06-17 2011-12-22 Immersion Corporation System and Method for Compensating for Aging Haptic Actuators
KR101458192B1 (ko) * 2013-06-11 2014-11-05 재단법인 실감교류인체감응솔루션연구단 햅틱 피드백 생성 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
KR101547291B1 (ko) * 2014-07-01 2015-08-25 주식회사 동운아나텍 액추에이터 구동장치와 이를 포함하는 단말장치 및 그 제어방법
US9158291B1 (en) * 2010-06-04 2015-10-13 The Mathworks, Inc. Automatic H-infinity optimization for multivariable control systems
CN105511514A (zh) * 2015-12-31 2016-04-20 歌尔声学股份有限公司 一种智能终端的触觉振动控制系统和方法
US20160162025A1 (en) * 2014-12-04 2016-06-09 Immersion Corporation Systems and methods for controlling haptic signals
US20160320901A1 (en) * 2015-04-30 2016-11-03 Lg Display Co., Ltd. Haptic Driving Apparatus and Electronic Device Having Haptic Function
US9520036B1 (en) * 2013-09-18 2016-12-13 Amazon Technologies, Inc. Haptic output generation with dynamic feedback control
JP2017004262A (ja) * 2015-06-10 2017-01-05 株式会社東海理化電機製作所 操作装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US158291A (en) * 1874-12-29 Improvement in machines for making fence-pickets
US5734373A (en) * 1993-07-16 1998-03-31 Immersion Human Interface Corporation Method and apparatus for controlling force feedback interface systems utilizing a host computer
US5739811A (en) * 1993-07-16 1998-04-14 Immersion Human Interface Corporation Method and apparatus for controlling human-computer interface systems providing force feedback
DE20080209U1 (de) 1999-09-28 2001-08-09 Immersion Corp Steuerung von haptischen Empfindungen für Schnittstellenvorrichtungen mit Vibrotaktiler Rückkopplung
US6680729B1 (en) 1999-09-30 2004-01-20 Immersion Corporation Increasing force transmissibility for tactile feedback interface devices
US7154470B2 (en) 2001-07-17 2006-12-26 Immersion Corporation Envelope modulator for haptic feedback devices
CN100354856C (zh) * 2001-09-24 2007-12-12 伊梅森公司 用于过滤数据的触觉反馈系统和过滤数据的方法
US7369115B2 (en) 2002-04-25 2008-05-06 Immersion Corporation Haptic devices having multiple operational modes including at least one resonant mode
KR101179777B1 (ko) 2004-11-30 2012-09-04 임머숀 코퍼레이션 진동촉각 햅틱 효과를 발생시키는 공진 디바이스를 제어하기 위한 시스템 및 방법
US7920694B2 (en) 2006-02-03 2011-04-05 Immersion Corporation Generation of consistent haptic effects
US8378965B2 (en) 2007-04-10 2013-02-19 Immersion Corporation Vibration actuator with a unidirectional drive
WO2009035100A1 (ja) * 2007-09-14 2009-03-19 National Institute Of Advanced Industrial Science And Technology バーチャルリアリティ環境生成装置及びコントローラ装置
US8325144B1 (en) 2007-10-17 2012-12-04 Immersion Corporation Digital envelope modulator for haptic feedback devices
JP2009181242A (ja) 2008-01-29 2009-08-13 Panasonic Corp デジタルpid制御装置
US8156809B2 (en) 2008-03-27 2012-04-17 Immersion Corporation Systems and methods for resonance detection
US7843277B2 (en) 2008-12-16 2010-11-30 Immersion Corporation Haptic feedback generation based on resonant frequency
US8610549B2 (en) 2009-10-16 2013-12-17 Immersion Corporation Systems and methods for providing haptic feedback at multiple resonance frequencies
GB2482190A (en) * 2010-07-23 2012-01-25 New Transducers Ltd Methods of generating a desired haptic sensation in a touch sensitive device
US8686839B2 (en) 2011-11-01 2014-04-01 Texas Instruments Incorporated Closed-loop haptic or other tactile feedback system for mobile devices, touch screen devices, and other devices
KR101652744B1 (ko) * 2011-11-18 2016-09-09 센톤스 아이엔씨. 국소형 햅틱 피드백
US8791799B2 (en) 2012-02-01 2014-07-29 Immersion Corporation Eccentric rotating mass actuator optimization for haptic effects
US9886829B2 (en) 2016-06-20 2018-02-06 Immersion Corporation Systems and methods for closed-loop control for haptic feedback
US20190121433A1 (en) 2017-10-20 2019-04-25 Immersion Corporation Determining a haptic profile using a built-in accelerometer
US10579146B2 (en) * 2018-06-15 2020-03-03 Immersion Corporation Systems and methods for multi-level closed loop control of haptic effects

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110077055A1 (en) * 2009-09-30 2011-03-31 Apple Inc. Self adapting alert device
US9158291B1 (en) * 2010-06-04 2015-10-13 The Mathworks, Inc. Automatic H-infinity optimization for multivariable control systems
US20110309918A1 (en) * 2010-06-17 2011-12-22 Immersion Corporation System and Method for Compensating for Aging Haptic Actuators
KR101458192B1 (ko) * 2013-06-11 2014-11-05 재단법인 실감교류인체감응솔루션연구단 햅틱 피드백 생성 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
US9520036B1 (en) * 2013-09-18 2016-12-13 Amazon Technologies, Inc. Haptic output generation with dynamic feedback control
KR101547291B1 (ko) * 2014-07-01 2015-08-25 주식회사 동운아나텍 액추에이터 구동장치와 이를 포함하는 단말장치 및 그 제어방법
US20160162025A1 (en) * 2014-12-04 2016-06-09 Immersion Corporation Systems and methods for controlling haptic signals
US20160320901A1 (en) * 2015-04-30 2016-11-03 Lg Display Co., Ltd. Haptic Driving Apparatus and Electronic Device Having Haptic Function
JP2017004262A (ja) * 2015-06-10 2017-01-05 株式会社東海理化電機製作所 操作装置
CN105511514A (zh) * 2015-12-31 2016-04-20 歌尔声学股份有限公司 一种智能终端的触觉振动控制系统和方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114123937A (zh) * 2021-10-22 2022-03-01 衢州元立金属制品有限公司 一种实现手动与自动pid调节的平滑转换方法
CN114123937B (zh) * 2021-10-22 2024-04-09 衢州元立金属制品有限公司 一种实现手动与自动pid调节的平滑转换方法

Also Published As

Publication number Publication date
KR20190142228A (ko) 2019-12-26
US20200159330A1 (en) 2020-05-21
US20190384393A1 (en) 2019-12-19
EP3582082A1 (en) 2019-12-18
JP2020009425A (ja) 2020-01-16
US10579146B2 (en) 2020-03-03
US11287889B2 (en) 2022-03-29

Similar Documents

Publication Publication Date Title
US11287889B2 (en) Systems and methods for multi-level closed loop control of haptic effects
US10649532B2 (en) Systems and methods for multi-rate control of haptic effects with sensor fusion
US20170277263A1 (en) Systems And Methods For Determining Haptic Effects For Multi-Touch Input
EP2937863B1 (en) Automatic tuning of haptic effects
KR102169206B1 (ko) 햅틱 피드백 제어 시스템
US10572017B2 (en) Systems and methods for providing dynamic haptic playback for an augmented or virtual reality environments
KR20220019849A (ko) 햅틱 피드백을 제공하기 위한 디바이스, 방법, 및 그래픽 사용자 인터페이스
US20200175827A1 (en) Systems and Methods for Controlling Actuator Drive Signals for Improving Transient Response Characteristics
KR20140064645A (ko) 햅틱 효과를 동반한 피드포워드 및 피드백을 위한 시스템 및 방법
JP2014179085A (ja) ユーザの接触に基づいてグラフィカルユーザインターフェースを表示するための方法及び装置
CN103210366A (zh) 用于基于邻近的输入的装置和方法
EP2942699A1 (en) Dynamic haptic effect modification
US20200387246A1 (en) Systems and methods for particle jamming haptic feedback
US10747321B2 (en) Systems and methods for differential optical position sensing for haptic actuation
US20150346870A1 (en) Smart device and method of controlling the same
KR102086676B1 (ko) 유저 인터페이스를 통한 입력 처리 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20191224

WW01 Invention patent application withdrawn after publication