CN109062414A - 用于与可折叠可弯曲显示器交互作用的触觉反馈 - Google Patents

用于与可折叠可弯曲显示器交互作用的触觉反馈 Download PDF

Info

Publication number
CN109062414A
CN109062414A CN201810931517.0A CN201810931517A CN109062414A CN 109062414 A CN109062414 A CN 109062414A CN 201810931517 A CN201810931517 A CN 201810931517A CN 109062414 A CN109062414 A CN 109062414A
Authority
CN
China
Prior art keywords
flexible
platelet
display
feedback
tactile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810931517.0A
Other languages
English (en)
Inventor
A·莫达里斯
V·利维斯克
D·格兰特
J·M·克鲁兹-埃尔南德斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of CN109062414A publication Critical patent/CN109062414A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1641Details related to the display arrangement, including those related to the mounting of the display in the housing the display being formed by a plurality of foldable display components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1652Details related to the display arrangement, including those related to the mounting of the display in the housing the display being flexible, e.g. mimicking a sheet of paper, or rollable
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483Interaction with page-structured environments, e.g. book metaphor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • H04M1/0202Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026Details of the structure or mounting of specific components
    • H04M1/0266Details of the structure or mounting of specific components for a display module assembly
    • H04M1/0268Details of the structure or mounting of specific components for a display module assembly including a flexible display panel

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)
  • Telephone Function (AREA)
  • Telephone Set Structure (AREA)

Abstract

本发明公开了用于与可折叠可弯曲显示器交互作用的触觉反馈。一种柔性设备包括具有通过铰链连接的可折叠片状物的可弯曲可折叠显示器。显示器具有用于检测在至少两个片状物之间的折叠特性以及用于检测在至少一个片状物内的弯曲特性的传感器。显示器具有带有触觉输出设备的触觉系统,其中所述触觉系统接收指示可弯曲可折叠显示器设备的变形的来自传感器的输入。柔性设备也包括具有传感器和致动器以增强用户与设备的交互作用的可弯曲、可折叠或可卷起显示器。基于由输入提供的一个或多个测量结果,触觉系统解析输入以确定可弯曲可折叠显示器设备的变形特性。触觉系统基于所述变形特性生成触觉反馈。

Description

用于与可折叠可弯曲显示器交互作用的触觉反馈
本申请是申请日为2014年4月25日、申请号为201410169698.X、名称为“用于与可折叠可弯曲显示器交互作用的触觉反馈”的发明专利申请的分案申请。
相关申请的交叉引用
本申请要求2013年4月26日提交的临时专利申请序列No.61/816,605的优先权,该申请的内容以引用方式并入本文。
技术领域
一种实施方案针对触觉使能设备。更具体地,一种实施方案针对触觉使能可折叠可弯曲显示器。
背景技术
电子设备制造商力图为用户生产丰富的接口。常规设备使用视觉和听觉提示以对用户提供反馈。在一些用户接口中,也向用户提供运动知觉反馈(比如,作用力和阻力反馈)和/或触觉反馈(比如,振动、材质和热量),通常总称为“触觉反馈”或“触觉效果”。触觉反馈可以提供增强并简化用户接口的提示。例如,在向电子设备的用户提供提示以警告用户有特殊事件发生时,或者在提供真实反馈以在仿真的或虚拟的环境中产生更强的感知沉浸时,振动效果或振动触觉的触觉效果可以是有用处的。
为了产生振动或其他效果,许多设备使用一些类型的致动器或触觉输出设备。用于该目的的已知的致动器包括比如螺线管致动器的电磁致动器、其中由电动机移动偏心块的偏心旋转块(“ERM”)致动器、线性谐振致动器振动电动机(“LRA”)、电活性聚合物致动器,或者压电致动器等。运动知觉致动器可以用于通过设备的机械移动来提供触觉反馈。
发明内容
一个实施方案为具有通过铰链连接的至少两个片状物的可弯曲可折叠显示器,其中每个片状物都是可弯曲的。显示器具有用于检测在至少两个片状物之间的折叠特性以及用于检测在至少一个片状物内的弯曲特性的传感器。显示器具有包含触觉输出设备的触觉系统,其中所述触觉系统接收指示可弯曲可折叠显示器设备的变形的来自传感器的输入。基于由输入提供的一个或多个测量结果,触觉系统解析输入以确定可折叠可弯曲显示器设备的变形特性。触觉系统基于所述变形特性生成触觉反馈。
一个实施方案是柔性显示器,其至少是可弯曲、可折叠或可卷起的。显示器具有用于检测显示器的变形或被尝试的变形的传感器。显示器包括具有一个或多个触觉输出设备的触觉系统。触觉系统接收指示柔性显示器设备的变形的来自一个或多个传感器的输入。基于输入,触觉系统解析输入以确定柔性显示器设备的变形特性。触觉系统基于所述变形特性生成触觉反馈。
附图说明
图1为根据本发明的一个实施方案的触觉使能系统的图。
图2示出了在一个实施方案中的与变形特性相关的动作。
图3示出了在一个实施方案中的与变形特性相关的动作。
图4示出了在一个实施方案中的与变形特性相关的动作。
图5示出了在一个实施方案中的与变形特性相关的动作。
图6为示出在根据一些实施方案的在可折叠可弯曲设备中提供触觉反馈的流程图。
图7为根据本发明的一个实施方案的触觉使能系统的方框图。
图8为示出根据一些实施方案的在柔性设备中增强触觉反馈的流程图。
图9示出了在一个实施方案中的与变形特性相关的动作。
图10为示出根据一些实施方案的在柔性设备中提供触觉反馈的流程图。
图11为示出根据一些实施方案的在柔性设备中提供触觉反馈的流程图。
图12为示出根据一些实施方案的在柔性设备中提供触觉反馈的流程图。
具体实施方式
柔性显示器是下一代智能手机的最令人期待的特征之一,并且在过去几年中已在工业界和学术界引起了很多的关注。柔性显示器可以使能广泛的交互作用。可折叠显示器可具有无缝铰链等,而不在显示器的像素呈现中引起间断。可卷起显示器可以是柔性的,或者遵循特定的弯曲形状。可卷起显示器也可理解为在单个方向上的可弯曲显示器。触觉反馈可以并入这些设备中。
一个实施方案为提供与在同时可折叠可弯曲显示器设备上检测到的姿态和操纵相关联的触觉反馈的系统。通过使显示器变形,用户可以与在设备上运行的应用交互作用,所述变形包括弯曲或翘曲一个或更多个片状物(flap),或者改变片状物之间的开口的角度。系统可以表征所述变形,以便将其解析成用户的动作或姿态,并且提供合适的触觉反馈响应。在一个实施方案中,对于在电子阅读器应用中类似于快速翻动书籍的页面的姿态来说,显示器可以变化到下一页,并且可以提供触觉反馈以在显示器上表示页面变化。在一个实施方案中,对于类似于成扇形散开书籍的边缘的姿态来说,显示器可以变化到离开当前页面多个页面的页面,并且可以提供触觉反馈以表示在显示变化到的页面之前经过了多个页面。在一个实施方案中,运动知觉反馈可以使得可弯曲表面更有刚性,或者可弯曲表面可以自然地相当有刚性。因此,用户可以施加压力而不发生实际变形。感知系统可以捕捉通过用户施加的力/压力,并且仍针对用户的这种交互作用提供振动触觉或其他类型的“触觉响应”,也即,施加力,但未达到变形的点。
一个实施例为用于在可弯曲可折叠显示器上提供触觉效果的计算机实施的方法,包括:接收来自一个或多个传感器的输入,该输入指示具有通过铰链耦接的第一柔性片状物和第二柔性片状物的可弯曲可折叠显示器设备的变形,其中该一个或多个传感器被配置成检测第一柔性片状物和第二柔性片状物之间的折叠特性,并且被配置成检测在第一柔性片状物内的弯曲特性;以及基于折叠特性和弯曲特性生成触觉反馈。在一个实施例中,弯曲特性对应于屈曲第一柔性片状物的动作,并且折叠特性对应于打开第一柔性片状物和第二柔性片状物的动作;以及触觉反馈包括对第一柔性片状物和第二柔性片状物的打开的运动知觉反馈和对第一柔性片状物的屈曲的运动知觉反馈。在一个实施例中,该方法还包括:在折叠特性变化之前,将折叠特性储存为预折叠状态;检测折叠特性的变化;以及控制第一柔性片状物和第二柔性片状物以近似地产生预折叠状态作为折叠特性;其中在显示器上的应用基于变化的折叠特性在显示器上提供视觉变化。
在另一个实施方案中,系统可以在可弯曲可折叠显示器的每一个片状物上并排地呈现多个对象。响应于与片状物的用户交互作用,系统可以使用呈现的对象的物理属性信息来提供运动知觉反馈,以便根据对象的物理属性信息来改变显示器的可弯曲性(硬度)特性。
在另一个实施方案中,对于类似闭合书籍的姿态,系统可以在完全闭合片状物之前检测将片状物合在一起的动作,使得片状物闭合并提供像书本闭合那样的强烈感觉的触觉反馈。在一个实施方案中,对于类似打开书籍的姿态,系统可以检测在完全打开片状物之前的将片状物打开的动作,使得片状物打开并提供像书本打开那样的强烈感觉的触觉反馈。
另一个实施方案为提供与在柔性显示器上检测的姿态和操纵相关的增强触觉反馈的系统。通过经由可编程振动触觉和运动知觉触觉来增强与利用柔性显示器的连续(模拟)变形输入维度有关的自然触觉,可以实现触觉体验的提高。
另一个实施方案为提供与柔性显示器相关的运动知觉触觉反馈的系统,以便基于目标交互作用调节显示器的弹性或可变形性。一些交互作用和功能可能需要屏幕较硬(stiff),或者甚至是刚性(rigid),而有的则通过更高的接口柔性/柔软性而更加容易实现。实施方案描述了可编程触觉硬度控制机构,以基于目标交互作用来调节显示器的弹性或可变形性。
另一个实施方案为提供用于改变柔性显示器的功能的形状的系统。采用特别形状的目的可以包括为了可以采用对特定功能或应用更加适合的形式,并因此促进用户与接口的交互作用;为了可以经由其几何形状显示特定信息;为了可以使能仅在特定物理形状下可行的功能;或者为了可以在设备充当虚拟对象的物理表示的情况下,通过模仿目标对象的形状来传递对目标对象的更加真实的仿真。
图1为根据本发明的一个实施方案的触觉使能系统10的方框图。系统10包括触摸敏感可折叠可弯曲表面11或其他类型的安装在壳体15内的用户接口,并且可以包括在两个片状物之间的机械按键/按钮13和铰链14。在系统10的内部为在系统10上产生振动的触觉反馈系统。在一个实施方案中,在触摸表面11上产生振动。
触觉反馈系统包括处理器或控制器12。耦接到处理器12的为存储器20和致动器驱动电路16,致动器驱动电路16耦接到致动器18。致动器18可以为任意类型的直流(“DC”)电动机,包括而不限于偏心旋转块(“ERM”)、线性谐振致动器振动电动机(“LRA”)、压电电动机或者螺线管致动器。除了致动器18或替代致动器18,系统10可以包括其他类型的触觉输出设备(未示出),其可以为非机械的或非振动触觉的触觉设备,比如产生静电摩擦力(“ESF”)、超声表面摩擦力(“USF”)的设备,利用超声触觉换能器引发声辐射压力的设备,使用触觉衬底和柔性或可变形表面的设备或形状变化设备,以及可以附接至用户身体的设备,提供发射触觉输出(比如利用空气喷射的一阵空气)的设备,提供电肌肉刺激的设备等。
处理器12可以为任何类型的通用处理器,或者可以为特别设计以提供的触觉效果的处理器(诸如专用集成电路(“ASIC”))。处理器12可以为与操作整体系统10的处理器相同的处理器,或者可以为单独的处理器。处理器12可以决定将播放哪种触摸效果,并且基于高级别参数决定效果的播放顺序。通常地,高级别参数限定了包括大小、频率和持续时间的特别的触觉效果。比如流电动机命令的低级别参数也可以用于确定特别的触觉效果。如果触觉效果包括在产生触觉效果时这些参数的一些变化,或者基于用户的交互作用的这些参数的变化,则可以认为触觉效果是“动态的”。
处理器12将控制信号输出至致动器驱动电路16,致动器驱动电路16包括用于为致动器18提供所需的电流和电压(也即,“电动机信号”)的电子部件和电路,以产生期望的触觉效果。在触觉效果对应于多媒体文件(比如,视频文件)的回放的例子中,处理器12可以将触觉控制信号提供到触觉驱动电路。系统10可以包括多于一个的致动器18,并且每一个致动器都可以包括单独的驱动电路16,其都耦接到共同的处理器12。存储器设备20可以为任何类型的储存设备或计算机可读介质,比如随机存取存储器(“RAM”)或只读存储器(“ROM”)。存储器20储存由处理器12执行的指令。在指令当中,存储器20包括触觉效果模块22,其为在由处理器12执行时产生用于提供触觉效果的致动器18的驱动信号的指令,正如在下面更加详细地公开的内容。存储器20也可以位于处理器12的内部,或者为内部和外部存储器的任意组合。
触摸表面11识别比如由用户提供的那些触摸,并且也可以识别在表面上的触摸的任何位置、压力大小和持续时间。对应于触摸的数据被发送至处理器12,或者在系统10内的其他处理器,并且处理器12解析该触摸,并且响应性地产生触觉效果信号。触摸表面11可以利用任何感测技术(包括电容式感测、电阻式感测、表面声波感测、压力感测、光学感测等)来感测触摸。触摸表面11可以感测多个触摸的接触,并且可以可以区分多个触摸以及同时发生的触摸的位置。触摸表面11可以是产生并显示图像的触摸屏,以供用户与例如按键、拨号盘等交互作用,或者可以是具有最少图像或没有图像的触摸板。
系统10可以包括各种的传感器,比如传感器17,用于感测与在图1中示出的可折叠可弯曲显示器的交互作用,所述各种的传感器包括:在交互作用期间测量变形大小的应变计传感器、测量施加至柔性显示器结构的力/压力的力感测电阻(“FSR”)传感器、检测在触摸使能显示器中单个或多个触摸输入的位置的多点触摸接触摸传感器、测量在每一个触摸位置下施加的压力的多点触摸压力传感器、捕捉环境条件的温度/湿度/大气压力传感器、表征显示器的运动、速度、加速度和方向的加速度计/陀螺仪/磁力计、捕捉用户声音命令或环境音频信息的麦克风、以及从其他设备无线接收信息或者将信息无线传输至其他设备的无线传输器。对应于传感器17的数据被发送至处理器12,或者在系统10内的其他处理器,并且处理器12解析传感器数据,并且响应性地产生触觉效果信号。
除了如上讨论的致动器以外,系统10可以包括用于提供振动触觉或运动知觉反馈的包括柔性、半刚性或刚性致动器的各种致动器,包括电活性聚合物(“EAP”)致动器、智能流体致动器、流变流体致动器、宏纤维复合材料(“MFC”)致动器、形状记忆合金(“SMA”)致动器、压电致动器和微机电系统(“MEMS”)致动器。
系统10可以包括手持设备,比如移动电话、个人数字助理(“PDA”)、智能手机、平板电脑、游戏机、基于车辆的接口等,或者可以为任意类型的包括触觉效果系统的可折叠可弯曲设备,所述触觉效果系统包括一个或更多个致动器。用户接口可以为触摸敏感表面、或者可为任意类型的用户接口,比如,鼠标、触摸板、小型操纵杆、卷起轮、跟踪球、游戏板或游戏控制器等。在具有多于一个致动器的实施方案中,每个具有旋转能力的致动器都可以具有不同的旋转能力,以便在设备上生成宽范围的触觉效果,例如,每个致动器可以被单独地进行控制;一些旋转致动器还可以使它们的旋转轴与其他旋转致动器的旋转轴成角度。同样地,在具有带有其他能力的多个致动器的实施方案中,每个致动器可以单独地进行控制,以便在设备上展示宽范围的触觉效果。
除了提供用户接口触觉效果以外,系统10可以静态地提供所产生的触觉效果以供与例如视频或音频文件一起在系统10内回放。
利用以变形作为额外的信息进入机制的优点,柔性显示器通常允许广泛的新型交互作用。然而,与柔性显示器的变形交互作用所产生的均匀的/连续的反馈可能不会提供将数字地发生的事件关联到来自非数字空间的物理交互作的直观象征。换言之,用户通常不与(与实际的书籍和杂志形成对照的)具有手机和平板大小的小而平的物体在非数字空间进行交互。实施方案提供了一种用于通过触觉通信信道强制执行用户交互作用并将关于数字环境的附加信息强制提供给用户的系统。实施方案扩展了用户接口设计空间,提高了利用柔性显示器的交互作用体验,并且促使基于变形的姿态更加直观并且自然。而且,实施方案提供了有效的方法来以触觉的形式翻译并传递有关数字世界的信息。
不像单个表面柔性显示器,同时可折叠并可弯曲的柔性显示器包括两个或更多个“片状物”(其每一个都是柔性显示器的子部件),所述两个或更多个“片状物”可以绕着与相邻片状物相关的单个的或多个铰链旋转,同时每个片状物也可以弯曲/屈曲(局部地变形)。同时可折叠并可弯曲的特性使得可以实现模拟在实际生活中的特定用户交互作用场景的象征。与书籍的交互作用代表该类别的最相关的实例的其中之一。例如,当页面“翻动”姿态为纸的“可弯性”(局部柔性)的结果时,每一个单个的页面或页面的集合都将经历围绕书籍的主书籍脊(铰链)的折叠运动。实施方案提供了使用触觉反馈以利用同时可弯曲并可折叠类型的显示器来增强并丰富用户接口交互作用的方法。因此,可以通过引入对显示器的折叠自由度和局部弯曲/屈曲自由度两者的触觉控制和触觉增强来实现增强与这样的显示器的交互作用的可编程振动触觉和运动知觉触觉的开发。引入触觉反馈来增加交互作用的真实性并且增加额外的触觉信息层为这些设备的用户提供了与他们的设备更加有机地交互的能力。
现在讨论具体的实施方案,其可以开发可编程振动触觉和运动知觉触觉来增强与可弯曲可折叠显示器的交互作用,并利用来自用户的非数字体验的象征。
翻动真实书籍页面的动作包括逐渐地弯曲页面的角或边缘(可弯性),同时绕书籍脊旋转该页面(可折叠性)。在书籍中,交互作用的触觉感觉取决于页面材质/类型和厚度,以及装订的类型。在一个实施方案中,如图2所描绘的,用户正在由两个柔性片状物组成的同时可折叠并可弯曲的柔性显示器上阅读电子书。为了“翻动”电子书的页面,用户轻微地弯曲显示器的右片状物的右下角。
图2示出了在一个实施方案中的与变形特性相关的动作。变形特性为对可折叠可弯曲显示器的变形的解析。变形特性可以包括可弯曲片状物之间的铰链的位置,并且也可以包括片状物的弯曲状态。变形特性可以包括与测量铰链位置或弯曲状态的属性的传感器相关联的原始数据。通过将传感器数据解析成可具有更概括的意思的形式(比如解析为可折叠可弯曲显示器“轻微地打开、右片状物强烈地弯曲”)变形特性可以是可弯曲可折叠显示器的确定的状态。变形特性也可以为对动作或姿态的解析,比如,可以通过比较连续的传感器读数来将传感器读数解析为“轻微打开、慢慢打开、右片状物强烈弯曲、右片状物弯曲增加”来进行确定。
继续图2,图2的左侧,单元205、210、215和220示出了具有两个柔性片状物的可折叠可弯曲设备的侧视图。对于在设备上读书的用户来说,为了“翻动”页面,在205处,用户的手指或者在角落或者在边缘的中间处与设备的边缘接触。在210处,用户的手指开始在边缘处施加压力,导致在可弯曲表面内发生变形。在215处,用户的手指沿可折叠可弯曲显示器的铰链的方向施加侧向压力,轻微闭合设备并进一步增加弯曲半径。用户的手指放开设备的边缘。从205至215的用户的交互作用导致可折叠可弯曲显示器的不同状态的变形。变形的具体序列(比如在205、210和215中提供的那样)可以识别用户与可折叠可弯曲显示器正进行的具体姿态或交互作用。系统可以根据变形的序列确定提供哪种触觉反馈。例如,系统可以通过将由传感器(比如,传感器17)接收的参数解析成代表来自用户的页面翻动姿态来表征变形序列。系统可以为页面翻动姿态提供触觉反馈,为在电子阅读器应用上翻动页面提供触觉体验,并且在220处,在页面翻动后将片状物送回页面翻动之前的其原始位置。下面讨论用于提供触觉反馈的具体细节。
单元225、230和235从俯视视角示出了用户的动作。单元225显示了具有铰链、左片状物和右片状物的可折叠可弯曲显示器。在230处,显示了设备在两个片状物之间具有较窄或较小的开口角度。在235处,用户的姿态在设备的边缘上施加压力,以使一个片状物弯曲并在开口角度上旋转,增加在片状物之间的开口。这两个运动一起作为可以被表征以确定合适的触觉反馈的变形序列。
在该页面翻动交互作用期间,运动知觉触觉致动器可以以这样的方式控制片状物的运动,即,其不仅弯曲而且绕显示器的铰链轻微旋转,模拟类似于真实的书籍页面翻转的真实交互作用。通过对硬度的时空控制,可编程运动知觉触觉可以确保用户在片状物的弯曲和折叠运动期间接收适当且真实的触觉反馈。在一些实施方案中,可以调节弯曲/折叠片状物的感知到的阻力/硬度以表示书籍/纸的物理属性,比如,装订的类型、纸的类型/厚度、媒体的类型(书籍、报纸、薄的杂志等)、或者其他象征信息,比如到达章的结尾或书籍的结尾。此外,在页面内容更新后(已经发生页面翻转),触觉控制器可以将右片状物送回其原始位置,如在220中所描绘的。将右片状物送回其原始位置可以通过以下方式被触发:或者通过用户经由特定的姿态输入(例如,用户开始将其手抬离片状物)触发,或者一旦在图形显示器上的页面内容已经更新至下一页就自动地触发。因此,针对弯曲和折叠的触觉反馈的组合可以增加交互作用的直观性和真实性,并且增加信息通信信道带宽。
在本发明的另一个实施方案中,用户可以利用弯曲/折叠姿态,以快速地浏览或“翻阅”电子书的页面。翻阅真实书籍的动作涉及通过书籍的同时弯曲和折叠技术来扇形散开书籍的页面,同时保持在书籍的边缘上的压力,但是改变弯曲的拱形和书籍的左右页面之间的角度。
图3示出了在一个实施方案中的与变形特性相关的动作。在305处,利用铰链、左片状物和右片状物来描绘可折叠可弯曲显示器的俯视视角。在301处,为了通过电子书的页面进行翻阅/浏览,用户可以以可折叠显示器片状物几乎闭合(片状物仅微微地分离)来开始,并且接着尝试轻微地弯曲右片状物(类似于与真实书籍的交互作用)。在315处,随着用户的折叠/弯曲,显示器打开,类似于与图2有关的所描述的内容,因此触觉控制确保类似于弯曲真实书籍的真实的触觉感觉。在320处,用户轻微地弯曲并接着释放片状物。在释放时,片状物从用户的手指移开(伴随受控的弯曲和折叠运动),直到在手指和片状物之间的接触消失。在325处,触觉控制器以片状物再次接触用户手指的方式将片状物送回就在其被释放前的位置。片状物重复地(并且自动地)做这种往复运动。在每次重复中,片状物轻微接触用户的手指,同时手指-页面接触的每个实例都表示单个(或者可能是众多页面)经过了浏览。触觉产生这样的感觉,即,将感受到类似于书籍的页面从手指下划过。因此,浏览或翻阅页面是另一种相关的象征,其可以被有效地仿效并在触觉上被增强,以便基于描述的触觉反馈方案来丰富交互作用。
在一些实施方案中,在320处,用户可以维持与片状物的接触,而不是释放片状物。页面从一个页面变为下一个页面的速度也可以通过增加或减少片状物的弯曲来控制。随着弯曲半径的减少(增加弯曲),页面翻转的速度增加。在两个片状物之间的打开角度也可以用于定义在屏幕上页面变化有多快。在325处,代替片状物回来以进行接触,沿着边缘的止动装置(detent)可以覆盖致动器以刷擦指尖,从而提供页面划过指尖的感受。
在一些实施方案中,在325处,当触觉控制器将片状物送回就在其被释放前的位置时,片状物并不再次触碰用户手指。在没有发生接触时,页面可以停止翻动。可以直到用户再次与设备交互作用时才翻动页面。在停止翻动之前,页面可以翻动若干额外的页面,或一定百分比的额外的页面。片状物可以在翻动的同时重复地(并且自动地)做往复运动,或可以保持静止。
图4示出了在一个实施方案中的与变形特性相关的动作。在一些实施方案中,系统10是以比较两个对象410和420的物理/触觉特性为目的而使用的可折叠可弯曲显示器设备,两个对象410和420的每一个显示在柔性显示器的两个片状物其中之一上。系统10储存关于对象410和420的每一个的物理属性信息。使用可编程运动知觉触觉,每个片状物的弯曲硬度/阻力都可以被映射至对应的显示对象的物理属性。随着对应的显示对象被操纵,振动触觉触觉也可以用于给对应的显示对象的物理属性建模。因此,用户可以检查物理属性,并且具体地为并排显示的对象的硬度。随着用户操纵系统10的每一个片状物,每一个片状物的弯曲硬度/阻力可根据显示器的弯曲点、在显示器上的对象位置以及对象的物理属性信息而变化。例如,当对象在对象上的特定位置为硬时,那么在那个点处弯曲片状物将遇到比在对象不那么硬的点处弯曲片状物更大的阻力。此外,对象的物理属性也可以基于输入进行改变。例如,如果对象410为玻璃,则运动知觉触觉可以在显示对象处使片状物的弯曲性为硬。如果用户以任何方式弯曲片状物,则图像反应为破碎,好像它是真实的玻璃一样,并且提供振动触觉触觉来强调玻璃破碎效果。弯曲特性可以被改变以符合破碎的玻璃对象410的新的物理特性。
图5示出了在一个实施方案中的与变形特性相关的动作。在一些实施方案中,可以使用触觉反馈来触觉地增强完全折叠打开或折叠闭合显示器的姿态,以便仿效猛然闭合或猛然打开的象征。这可以模拟在打开或闭合真实的书籍、报纸、杂志等时的触觉反馈体验,比如猛然打开或闭合书籍。在510中,用户将显示器折叠闭合,以便关闭应用或闭合书籍。在510中的角度θ可以随着片状物的闭合朝着零变化。在515中,在某角度θ’,变形特性可以被解析为书籍闭合,并且运动知觉致动器可以控制片状物的闭合的过程中片状物的角度。在角度θ等于零或系统确定片状物被闭合的点处,可以提供额外的振动触觉和音频触觉反馈,其类似于闭合书籍的真实世界的情景。在520中,用户将显示器折叠打开,以便打开应用或打开书籍。520中的角度θ可以随着片状物的打开朝着180度变化。在525中,在某角度θ’,变形特性可以被解析为书籍打开,并且运动知觉致动器可以控制片状物打开过程中片状物的角度。在角度θ从零增加至正值或系统确定片状物被打开的点处,可以提供额外的振动触觉和音频反馈,其类似于打开书籍的真实世界的体验。
图6为示出在根据一些实施方案的可折叠可弯曲的设备中提供触觉反馈的流程图。在一些实施方案中,图6的流程图的功能由储存在存储器或其他计算机可读或有形介质中的软件来实施,并且通过处理器来执行。在其他的实施方案中,可以通过硬件(例如,通过使用专用集成电路(“ASIC”)、可编程门阵列(“PGA”)、现场可编程门阵列(“FPGA”)等)或硬件和软件的任意组合来执行该功能。
在605处,在设备上启动应用。应用可以为在可折叠可弯曲设备上操作的任意软件程序。例如,应用可以为用于阅读材料的电子阅读器应用,所述材料传统上可能印在纸上,比如,书籍、杂志、记事本等。应用可以配置为特别地在可折叠可弯曲显示器上提供触觉反馈的环境中工作。在610处,位于可折叠可弯曲显示器上的一个或更多个传感器记录属性改变,指示了显示器的变形。变形可以包括片状物或片状物之一的弯曲或翘曲,和/或改变片状物之间的角度(打开角度)。一个或更多个传感器可以分别提供单独的测量结果,然后这些测量结果可转而被分析以表征在任意给定时间或一段时间内的用户动作。在615处,基于一个或更多个传感器的值来表征变形以建立用户在可折叠可弯曲设备上正执行的动作的类型。可以将一个或更多个传感器的值与在不同时间的一个或更多个传感器的值进行比较。例如,可以将检测两个片状物之间的打开角度的传感器的值与一秒前、两秒前或n秒前的相同传感器的值进行比较,以帮助表征变形。系统可以继续监控一个或更多个传感器,直到变形可以被表征。在620处,当变形已经被表征时,系统基于变形的特性描述提供触觉反馈。这样的触觉反馈可以包括振动触觉或运动知觉反馈。触觉反馈也可以与视觉或听觉反馈相整合。例如,在页面翻动姿态中,翻动页面的图形或声音可以与振动触觉或运动知觉反馈一致。系统可以继续监控一个或更多个传感器,以便对额外的变形特性建模。
弯曲传感器(比如,传感器17)可以在一个边缘和其两个角内检测弯曲动作,比如,向上弯曲边缘、向下弯曲角、向上弯曲角、向上并向内弯曲角、向后弯曲边缘、以及向后并向内弯曲两个角从而向上弯曲中间边缘。本领域的技术人员将认识到,其他的弯曲动作可以以与这些弯曲动作类似的方式被感测,包括对其他边缘和角的类似弯曲,以及对远离边缘和角的显示器表面的弯曲。
弯曲传感器(比如,传感器17)可以在一段时间间隔上测量传感器内的电压响应。电压响应可以指示传感器内是否没有感测到弯曲、是否感测到轻微弯曲、或是否感测到强烈弯曲。由于变形随着时间变化,因此随着时间推移这些值可以指示的特别的姿态。而且,额外的传感器(比如,传感器17)可以用于提供额外的数据参考点,以在可折叠可弯曲显示器10上的不同点上获得弯曲和变形特性。
根据一些实施方案,折叠传感器(比如,传感器17)可以检测在铰链处的折叠动作。可以被检测的折叠的类型包括不折叠(平的)、对称向下折叠、对称向上折叠、从后片状物向前片状物折叠以闭合、从前片状物折叠以打开后片状物、从后片状物到前片状物向后折叠、从前片状物折叠向后片状物折叠以反向打开、以上和下的方式连续折叠以及完全折叠闭合。折叠的形式包括每个片状物大小大致相同的中心折叠、每个片状物大小可以不同以便使铰链呈现从中心偏移的部分折叠,以及用于具有多于两个片状物的实施方案的各种组合。触摸传感器(比如,传感器11)可以连同折叠传感器一起使用,以感测单手折叠、双手折叠、单指折叠和多指折叠。来自捕捉折叠感测的传感器17的数据可以在时间上用图来表示,以便确定变形特性。而且,额外的传感器(比如,传感器17)可以用于提供弯曲特性的额外数据参考点,以在可弯曲可折叠显示器10上限定变形动作。
与可弯曲可折叠显示器的不同交互作用可以被映射至类似于非数字模拟物的变形特性。例如,在书籍阅读应用中,折叠打开可弯曲可折叠显示器10的片状物的动作可以对应于打开或闭合书籍的封面。沿边缘滑动手指同时保持可弯曲可折叠显示器10轻微打开的动作可以对应于调整页面检索的开始点。弯曲并释放可弯曲可折叠显示器10的角的动作可以对应于翻动页面。轻微向后弯曲可弯曲可折叠显示器10的边缘同时将片状物折叠成稍微更加闭合的动作可以对应于慢慢翻阅页面。大幅地向后弯曲可弯曲可折叠显示器10的边缘同时将片状物折叠成稍微更加闭合的动作可以对应于快速地翻阅页面。将可弯曲可折叠显示器10的两个片状物保持为稍微闭合同时稍微向后弯曲两个边缘的动作可以对应于把书籍面向下放置。将可弯曲可折叠显示器10的片状物折叠并击打铰链附近的动作可以对应于插入书签。保持一个手指在一个片状物上并且沿边缘滑动另一个手指同时保持片状物稍微闭合的动作可以对应于翻动页面的同时在感兴趣的点处将手指保持在页面之间(手指书签)。本领域的技术人员将理解的是,这些动作可以映射至其他应用中的不同功能。例如,用于相册的应用可以使用相同的动作来确定与该应用的不同的交互作用。
图7为根据本发明的一个实施方案的触觉启用系统10的方框图。系统10包括触摸敏感柔性表面711或其他类型的安装在壳体15内的用户接口,并且可以包括机械按键/按钮13。在系统10的内部为在系统10上产生振动的触觉反馈系统。在一个实施方案中,在触摸表面711上产生振动。应注意的是,除了表面711是柔性的从而其可以为可弯曲的、可折叠的、可卷起的或其任意组合以外,关于图1的以上描述同样地适用于图7。感知到的柔性表面711的物理属性可以被改变而形成为非常具有柔性(就像一张纸)直到接近刚性(仅有一些柔性度)。实施方案包括显示器为局部柔性(在一些部分为刚性并且在另一些部分为可变形的)。实施方案包括显示器为非均匀地弹性的,并且可以使用运动知觉触觉来提供感知上的均匀且一致的弹性和可变形性。实施方案还包括相反的内容,其中运动知觉触觉可以以自然地均质的弹性在表面上提供变化的感知上的弹性。
柔性显示器为感官用户接口的基本构建块之一,并且可以潜在地能够实现更加直观的、真实的、类似于发生在真实世界内的数字用户交互作用。除了永久一致类型的可弯曲显示器,与例如柔性显示器711的柔性显示器进行的交互作用涉及随着输入姿态而使显示器进行变形(弯曲、折叠和卷起)。这样的变形提供了连续(模拟)的定向信息输入机制,其可以扩展至若干输入维度。例如,“弯曲”姿态可以扩展至沿着宽度/长度/对角线弯曲、将角弯曲等等。
与柔性显示器进行的基于变形的交互作用已提供了一些水平的(自然的)触觉。例如,在没有任何触觉增强的可弯曲设备中,设备将提供针对被弯曲的自然阻力。然而,从变形交互作用产生的自然的、均匀的并连续的触觉反馈并不带有关于发生在数字世界中的事件的信息,并且是不可编程的。可以通过经由可编程振动触觉和运动知觉触觉利用柔性显示器增强与连续(模拟)变形输入维度有关的自然的触觉来实现触觉体验的增强。
自然变形交互作用类似于在真实世界中的那些,然而合成的触觉保持提供用于传达关于数字环境的详细信息的直观方式的潜力。利用合成的可编程触觉反馈来增强自然/直观变形交互作用,允许将在数字世界中关于变形输入的结果/后果的信息翻译成触觉的反馈。
图8为示出在根据一些实施方案的柔性设备中增强触觉反馈的流程图。在805处,柔性设备功能得以启动。这可以包括启动可以在柔性显示器(比如,柔性显示器711)上触觉地响应用户的姿态的应用或接口。在810处,姿态的检测通过传感器(比如,传感器17)而发生在柔性显示器上。姿态可以包括通过弯曲、折叠或卷起显示器而造成的柔性显示器的变形。姿态可以包括在自由空间内的柔性显示器的变形,例如通过像挥动旗子一样挥动显示器。姿态也可以包括连同变形姿态一起进行的触摸姿态。姿态可以包括施加至可变形表面的压力,但没有实际的变形。
在815处,基于姿态并基于在柔性显示器上的应用或接口的状态而产生振动触觉或运动知觉触觉。应用或接口的状态为用户提供了关于发生在数字世界内(也即,在显示器上)的事件的环境。振动触觉触觉可以包括可以通过在显示器设备内的或者由柔性显示器设备的用户穿戴的一个或更多个振动触觉致动器播放的任何效果。运动知觉触觉包括产生柔性显示器设备的运动的或者变更感知到的柔性显示器的物理特性的任何效果。
在820处,在应用或接口上实现姿态的效果。这包括显示触觉效果,例如显示振动触觉响应;增强姿态,例如,向用户提供运动知觉触觉反馈;以及改变显示器的触觉感知,例如包括连同基于交互作用更新显示器的视觉或听觉而输出的振动触觉提示。例如,应用可以在柔性显示器711上显示图片。特别方式的显示器变形可以引起提供指示命令被接收的反馈的振动触觉感觉、使显示器再次变平的运动知觉响应、提示显示的图片正在改变的听觉反馈、以及将在画廊中显示的图片前进至下一张图片的视觉反馈。系统继续监控传感器17和用于额外输入的其他输入机制。因此,可以采用振动触觉和运动知觉触觉来确认交互作用的完成/实现。
在一个实施方案中,用户可以与运行电子书应用的柔性便携式数字设备交互。设备配备有柔性(可弯曲)显示器接口。在已知的应用中,弯曲显示器的角的姿态可以映射至在数字环境中翻阅电子书的页面。可弯曲显示器也可以配备有整体振动触觉触觉功能。由于用户逐渐地弯曲显示器的角,因此电子书的页面翻动。页面翻动的速度可以与弯曲/弯曲角度的程度相关联。
然而,变形的大小、变形的角度、弯曲硬度或阻力(也即,自然触觉)都没有为用户提供与翻动的页面的数量和/或页面翻动的速度直接的一对一映射。在一些实施方案中,可以利用振动触觉可编程止动装置来增强角弯曲姿态,其中每个止动装置(触觉爪)指示了单个的(或特定数量的)页面翻动。因此,触觉止动装置的数量触觉上地通知用户翻动的页面的数量,并且止动装置的速度呈现了浏览页面的相关速度的触觉指示。将这种类型的振动触觉反馈增加至接口允许用户在触觉感觉(用合成的触觉增强的变形)和发生在数字环境中的事件(页面翻动)之间建立心理模型。
图9示出了在一个实施方案中的与变形特性相关的动作。在901中,用户弯曲柔性(可弯曲)设备的角。触觉响应以振动触觉反馈的形式播放。然而,对应的交互作用映射取决于弯曲大小的范围/阈值。在图9中对四个不同映射方案进行了区分。每个阶段对应于特定的弯曲角度范围,例如,阶段1(在910处)如果弯曲角度在0至10度之间,阶段2(在920处)在10至20度之间,阶段3(在930处)在20至30度之间,以及阶段4(在940处)在30至40度之间等等。每个阶段都可以具有不同的功能或与其关联的映射。例如,在图片浏览应用中,在0至10度之间(910)(往复)弯曲设备的角可以映射至滚动一组图片。将设备的角弯曲超过10度达到20(920),可以允许用户连续地放大/缩小图片。在阶段3(930)中,用户可以使用弯曲姿态来调节图片的亮度。最后在阶段4(940)中,弯曲输入可以用于变更图片的透明度。在这种实施方案中,对于每个阶段,传递至用户的触觉效果的类型、强度和模式都可以是不同的,正如在伴随每个阶段910、920、930和940的图中所示出的那样。触觉不仅增强了在每个阶段的连续交互作用,其也帮助用户在与各种功能相关的不同阶段/映射方案之间进行区分。而且,在阶段之间的过渡可以被触觉上地进行标注,以便为用户提供关于在阶段之间进行区分的进一步的有形洞悉。换言之,用户可以使用触觉标记来在各种功能之间进行搜索,而不需要凭借视听提示。本领域的技术人员将理解的是,尽管弯曲角度在上述示例中用作范围区分参数,但是可以以不同的方式选择具体弯曲角度,并且其他的参数(比如,力等)也可以用于该目的。
在其他的实施方案中,可以利用如上所述的可编程止动装置同样地触觉上地增强施加至可折叠显示器的连续的“折叠”姿态。振动触觉反馈效果的使用并不限于止动装置,并且实际上任何类型的合适的振动触觉效果都可以被采用以增强交互作用。
类似于振动触觉反馈,运动知觉触觉可以通过增强交互作用而在相似或不同的环境下提供价值。对于运动知觉触觉的方法的实例包括可编程硬度显示器(硬度控制)、结构性阻尼(抵抗弯曲、折叠和其他变形自由度的阻尼因子)等。反馈可以为振动触觉触觉和运动知觉触觉的组合。
在一些实施方案中,可以利用可编程触觉硬度控制来增强在柔性显示器中使用的自然或结构性的硬度以及材料的阻尼,以便丰富变形姿态语言并提高接口的有效性。例如,在一些实施方案中,用户可以使用弯曲变形姿态来浏览他/她的联系人列表。随着用户变得接近列表的结尾,触觉硬度控制功能可以改变抵抗变形的感知到的阻力,为用户提供他/她正处于列表中的什么位置的感觉。一旦用户抵达列表的结尾,触觉硬度方案就可以通过使显示器在一个方向上不可变形/刚性而生成触觉“障碍”,阻止了用户进一步的弯曲。同样地,当用户远离列表的结尾时,可以通过利用运动知觉触觉对抗设备的自然变形阻力来使显示器刚性更小。换言之,可以利用触觉控制可弯曲显示器的变形范围。
此外,运动知觉硬度/阻尼控制或振动触觉效果可以用于利用可编程止动装置触觉地标记列表中的每个条目。例如,当用户在不同字母顺序组之间通过时,可以使用不同触觉效果/标记。在可折叠显示器接口中,可以将相同的触觉增强施加至折叠姿态。
在一个实施方案中,针对当前应用的需求或需要的功能可以定制和定做感知到的显示器的触觉“硬度”或变形阻力。例如,用户可能打算使用弯曲或折叠姿态以快进声音轨道,但是是以较小的增量或时间步长来快进。利用对应于或者作为固定大小增加、或文件长度的百分比的增量、或时间步长的大小的弯曲或折叠的水平,显示器的硬度可以被有效地进行控制,以辅助用户以受控的逐步的方式使显示器变形(弯曲或折叠)。
回到图7,另一个实施方案为提供与柔性显示器相关的运动知觉触觉反馈的系统,以便基于目标交互作用调节显示器的感知到的弹性或可变形性。本文中,设备自然的“弹性”意味着基于设备的材料属性和构造,柔性显示器在自然状态下具有的屈曲、折叠或卷起的容易度。尽管柔性显示器的弹性为丰富姿态语言并提高直观交互作用提供了平台,但是太多的柔性可能对一些用户接口交互作用具有负面影响,并且在一些情况下将使它们没有可行性。一些交互作用和功能可能需要屏幕较硬,或者甚至是刚性的,比如屏幕按压,而其他则通过更高的接口柔性/柔软性而更加容易实现。实施方案描述了可编程触觉硬度控制机制,以基于目标交互作用来调节显示器的弹性或可变形性。换言之,基于交互作用和目标功能,如果需要更加刚性的接口,则可弯曲接口变得更硬,或者如果用户施加基于变形的姿态,则可弯曲接口变得更柔软(更容易变形)。
然而,本领域的技术人员将理解的是,显示器的变形可能没必要发生,感觉系统可以捕捉由用户施加的力/压力。例如,运动知觉触觉可以使显示器非常硬,在这种情况下由用户施加的较小量的力将不引起任何物理变形。然而,系统仍可以对由用户进行的这样的交互作用(也即,在不发生变形的情况下施加的压力)提供振动触觉或其他类型的“触觉响应”。
图10为示出在根据一些实施方案的柔性设备中提供触觉反馈的流程图。图10示出了在应用运行时应用需要静态的柔性显示器的特定硬度或柔度的流程。在1010处,在柔性显示器设备上启动显示器功能。柔性显示器可以为可弯曲的、可折叠的、可卷起的或者其组合。在1020处,在具有要求特定弹性的能力的柔性显示器设备上启动应用。应用可以为操作系统原有的进程,比如,主屏幕、设置屏幕或通知屏幕,或者可以为用户安装的应用。
在1030处,流程考虑了应用是否需要非常柔性的接口。例如,设备可以基于触摸输入的位置来确定意图是否为弯曲设备(需要柔性)或者与触摸屏交互(需要刚性)。当抓住边缘时,用户可能想要弯曲应当保持柔性的设备。当触摸更接近平面的中间时,用户可能想要与屏幕交互,并且刚性表面可能更好。在用户利用尖笔与表面交互时,表面也可以变为刚性。在1040处,如果需要较高的柔性,则触觉硬度控制器(比如,致动器驱动电路16)可以使显示器更有弹性或可变形性。可以通过允许设备自然屈曲或通过增强设备的屈曲以在用户施加弯曲/折叠/卷起力时辅助屈曲以使其对用户来说似乎“更易于”屈曲和操纵设备,来实现更大的柔性。如果在1030处,应用需要较低的(或者无)柔性,那么在1050处,触觉硬度控制器可以使显示器更加刚性或完全刚性。可以通过控制一个或多个致动器(比如,致动器18)来实现刚性,以阻止柔性显示器的变形。当用户切换应用或当应用的功能改变时,流程可以或者从1040,或者从1050重复回到1020。
图11为示出在根据一些实施方案的柔性设备中提供触觉反馈的流程图。图11示出了基于用户与应用和设备的交互作用,在应用运行时应用需要动态可调节的柔性显示器的硬度或柔度的流程。在1110处,在柔性显示器设备上启动显示器功能。柔性显示器可以为可弯曲的、可折叠的、可卷起的或者其组合。在1120处,在柔性显示器设备上启动应用,所述柔性显示器设备在贯穿应用执行的过程中具有动态地要求显示器的特定的弹性的能力。应用可以为操作系统原有的进程,比如,主屏幕、设定屏幕或通知屏幕,或者可以为用户安装的应用。在1130处,设备经由柔性显示器717、触摸接口11或其他输入接口检测输入或姿态。通过应用测量输入并表征输入。在1140处,基于用户的输入和应用设置调节显示器的弹性。可以将弹性调节得更加刚性或更加柔性。可以通过触觉硬度控制器(比如,致动器驱动电路16)来控制刚性,其控制一个或多个致动器(比如,致动器18),以便阻止变形或辅助柔性显示器的变形,以分别使显示器更刚性或更不刚性。在一些实施方案中,触觉硬度控制器可以被控制为被动,从而使得弹性与设备的自然弹性相同。流程继续到步骤1130以继续相应地检测进一步的输入和反应。
在一个实施方案中,与在图10中示出的流程一致的是,柔性显示器(比如,显示器711)的刚性可以被调节为在用户正输入文本时变得更硬。执行文本输入的应用需要屏幕为刚性,否则显示器在每次用户想按压按键时都远离用户的手指而变形。而且,在用于肌肉记忆的键盘输入在写入时有效期间,设备的形状和按键的空间布置应当保持固定。一旦用户开始键盘输入应用,则触觉控制器可以使显示器变硬,使其适合于功能(使打字交互作用变得容易)。
在与图11中示出的流程一致的另一个实施方案中,柔性显示器可以配备有可以对由用户施加的变形和力输入进行表征的嵌入式应变计和力传感器(比如,传感器17),以及安装在柔性显示器上的压感触摸屏(比如,在711上的触摸表面)。在其原始模式下的设备可以为刚性的,允许用户与不同的OS/接口功能交互。然而,当用户施加了超越特定值或阈值的弯曲力或触摸压力时,设备可以切换至变为可变形的或有更小的刚性。因此,在需要更柔软的接口时用户可以命令设备变得柔软,但是能在其他场景下利用显示器的刚性。柔性显示器可能被过度的变形损坏。因此,在另一个实例中,触觉反馈可以用作在用户即将超过支持的最大变形时警告用户。设备可变得有刚性,并且利用振动产生抽象但是明白无误的警告,或者利用粒度合成(granular synthesis)产生尖叫感觉,这直观地传达了设备过度弯曲。输入监控和动态弹性调节在各种各样的功能上使与柔性显示器的交互作用变得容易,使接口对于需要柔软显示器的交互作用以及需要更硬的显示器的交互作用两者都更加有效。
在另一个实施方案中,柔性显示器可以以可穿戴的构造变形并维持。在该实施方案中,为了可以符合人体工程学地在身体的特定位置(例如,腕关节)上穿戴设备,用户可以将设备变形,以使其符合身体的形状(例如,围绕他/她的腕关节将设备弯曲)。然而,一旦设备围绕腕关节弯曲,则其可以得以变得有刚性或变硬,以便作为可穿戴便携式设备保持在适当位置上。一旦显示器达到目标形状就增加显示器的硬度,从而允许用户使显示器变为适合于特定功能的物理形状,并且使显示器在任意需要的时间内保持其形状。
在另一个实施方案中,柔性显示器可以根据游戏机应用进行变形,即可以为可穿戴的或者采用适合于与游戏交互作用的形状。在本文中,柔性显示器(比如,711),可以被分成柔性接口和单独的显示器,其中柔性接口为针对游戏机应用的接口。
回到图7,另一个实施方案为提供改变柔性显示器的功能的形状的系统。改变显示器的形状可以取决于交互作用的类型,以及传递给用户的信息的类型和内容。在一个实施方案中,柔性显示器(比如,显示器711)可以被触觉地增强,以便以自致动受控的方式改变形状。采用特别形状的目的可以包括采用对特定功能或应用更加适合的形式,并因此使使用者与接口的交互作用变容易的能力;经由其几何形状显示特定信息的能力;可使能仅在特定物理形状下可行的功能的能力;或者在设备充当虚拟对象的物理表示的情况下,通过模仿目标对象形状来传递对目标对象的更加真实的仿真的能力。
其中形状变化指示信息,人们或者能视觉地或者能触觉地检查设备以查看或体验形状改化,以便接收该信息(不需要通过视觉上的或者听觉上的详细检查来辨别)。例如,平的设备可能不具有新消息或通知,而弯曲的设备可能具有新消息,其中弯曲的程度指示了消息的数量。例如在用户的口袋中,这可以视觉上地看出,而不用具体检查或通过与设备进行交互来检查。
图12为示出在根据一些实施方案的在柔性设备中提供触觉反馈的流程图。在1210处,在柔性显示器设备上启动显示器功能。柔性显示器可以为可弯曲的、可折叠的、可卷起的或者其组合。在1220处,应用得以在柔性显示器设备上被启动、恢复或通知,所述柔性显示器设备需要显示信息或表示状态变化,并且其具有要求设备的特定形状的能力。应用可以为操作系统原有的进程,比如,主屏幕、设定屏幕或通知屏幕,或者可以为用户安装的应用。在1230处,柔性显示器设备通过本身改变形状,以便触觉地显示设备的信息或状态,或者采用适合于功能的形式。
例如,在一个实施方案中,柔性显示器可以为可弯曲的或可折叠的电话,其在有紧急呼入通话时弯曲或折叠。通话将到来,并且电话可以识别呼叫者或确定紧急度,并且改变其形状以表示通话或呼叫人的紧急程度。类似地,柔性显示器可以以使设备的物理形式更好地匹配显示的内容/信息的方式改变其形状。例如,用户可以开启照片浏览应用。一旦该应用开启,柔性设备就可以采用具有支架的相框的形式,以便更加真实地模仿图片查看交互作用(使用户体验更接近于真实世界交互作用),并且也使用于使用的功能变得容易。
再次参照图7,另一个实施方案包括弯曲传感器和致动器,比如,传感器17和致动器18。在一个实施方案中,柔性显示器(比如,LG公司的“G Flex”电话)可以具有附接或集成在其设计内的弯曲传感器(比如,传感器17)以及传感器读取和处理电路(比如,处理器12等等)。“G Flex”为可以轻微地弯曲并包括整体振动触觉触觉设备的弧形电话。可以利用直接地连接到或者通过蓝牙连接到电话或显示器的接口来感测弯曲传感器的值。在柔性表面上直接安装致动器可能妨碍柔性表面在安装位置处弯曲,或者可能导致安装失败。例如,随着时间,相对较大的致动器可以变得从柔性表面脱粘或脱开。可以通过将小得多的固定装置(与弯曲方向相反地与弯曲表面接触的具有更少表面区域的一个装置)附接至柔性表面,并且接着将致动器附接至该固定装置上来克服这个问题,从而将更大的致动器放置成远离表面,以便使致动器不抑制弯曲表面。一个解决方案可以为使用附接至柔性设备的柱或桩,并且将致动器粘接或附接至柱头或桩头。在一些实施方案中,致动器可以随着弯曲表面开始接触致动器而向上滑动柱或桩。因此,小的、刚性的安装固定装置可以牢固地附接致动器,而不阻碍表面的弯曲。在仅沿一个方向弯曲的设备中,小固定装置可以在垂直于弯曲方向的方向上为薄的。在沿所有方向弯曲的设备中,小固定装置可以在接触点处为圆形形状。
在另一个实施方案中,根据图7的致动器、传感器等可以集成至柔性表面内,作为针对显示器的输入设备。换言之,711的柔性显示器可以分成柔性表面和显示器(未示出)。用户可以利用输入设备通过将表面变形来作出姿态,包括弯曲或扭曲表面或者弯曲角。可以通过无线地或有线地向显示器发送姿态而在附近的电话或显示器上显示图形。可以通过使柔性表面变形来控制并更新图形。
在使用柔性表面或者使用柔性显示器(比如,“G Flex”)的实施方案中,触觉反馈也可以在柔性表面或者显示器上产生,正如接下来的实例。在达到弯曲阈值时,可以发出短的突发振动,生成“砰”的感觉,好像表面曾为双稳态,并且已经折断成另外的位置。该想法可以用于指示在状态上的任何突然变化,比如将物体打碎成两个,就像折断荧光棒和好时的“奇巧”巧克力等等。在另一个实例中,可在弯曲范围内的特定点处发出短的突发振动,以便给出有止动装置的感觉。例如,在表面弯曲25%、50%、75%和100%时,可以发出止动装置。
在另一个实施方案中,粒度合成可以用于通过在每次表面的弯曲改变特定的粒度量时输出短的突发振动而产生嘎吱的感觉,或者提供了表面弯曲大于其实际弯曲的假象。当每次弯曲改变特定的量(例如,在弯曲的范围上的30个粒度)时,可以输出短的突发振动(例如,10ms)。这可以产生至少两个效果。首先,可以将设置调整为模仿不同的材质。这可以给出例如用户正在弯曲不同厚度的木材、塑料或玻璃表面的感觉。第二,嘎吱声也可以给出表面弯曲大于其实际弯曲的感觉。由于柔性设备变得可更普遍地获得并且随后更加有柔性,因此这在过渡性设备中很重要。对柔性的但较硬的设备,可以感觉出好像其比实际有柔性得多。
使用这些技术的一个实施方案包括在屏幕上显示的荧光棒。随着表面或设备被弯曲,其首先利用触觉回放设备发出嘎吱声。随着荧光棒发出嘎吱声并且表面或设备被弯曲,根据由用户提供的感测的弯曲压力,荧光棒的显示器显示荧光棒开始弯曲。当示出的荧光棒在没有折断的情况下不能再弯曲时,利用触觉回放设备感受到折断感觉。应用作出响应,并且点亮荧光棒。
使用这些技术的另一个实施方案包括在屏幕上显示的照相机应用。弯曲电话显示器或表面或者可以控制聚焦或变焦。可以输出连续的触觉效果以模仿照相机的机制。
在轻微弯曲设备(比如,“G Flex”或可弯曲表面)中使用这些技术的另一个实施方案包括显示在屏幕上的电子书应用。在弯曲表面的边缘或角时可以一张接一张的翻动页面。在每一次翻动时都可以输出确认反馈。可替代地,可以将表面弯曲并保持在合适的位置,其可以使页面以较快的比率连续地翻动。可以播放触觉效果以允许用户感受页面的翻动。此外,类似于更早的应用,在设备被用一种或其他方式弯曲超过阈值时,应用可以闭合或打开书籍。
正如所公开的,实施方案在柔性设备(包括可折叠可弯曲显示器设备)中实施了运动知觉和振动触觉触觉反馈系统。基于在设备上运行的应用,可以使用与用户的动作相关联的变形输入,以便确定设备的变形特性,并从而为用户提供合适的运动知觉和振动触觉反馈。这样的反馈包括在设备用作电子阅读器时有用的效果,比如,单个页面翻动效果和页面浏览效果。这样的反馈也包括在比较对象时有用的效果,如在显示器设备的每一个片状物上的对象。这样的反馈也包括在打开和闭合设备的折叠部分时有用的效果。这样的反馈也包括对设备的增强以提高或降低设备的刚性,或者基于在设备上的应用以及施加在设备上的变形或变形压力而提供反馈。
在本文中具体示出和/或描述了几个实施方案。然而,应当理解的是,所公开的实施方案的修改和变化都包括在上述教导以及所附权利要求的范围内,而不脱离本发明的精神和意图的范围。

Claims (10)

1.一种用于在可弯曲可折叠显示器设备上提供触觉效果的计算机实施的方法,包括:
接收来自一个或多个传感器的输入,所述输入指示具有通过铰链耦接的第一柔性片状物和第二柔性片状物的可弯曲可折叠显示器设备的变形,其中所述一个或多个传感器被配置成检测第一柔性片状物和第二柔性片状物之间的折叠特性,并且被配置成检测在所述第一柔性片状物内的弯曲特性;以及
基于所述折叠特性和所述弯曲特性生成触觉反馈。
2.根据权利要求1所述的用于在可弯曲可折叠显示器设备上提供触觉效果的计算机实施的方法,其中所述触觉反馈的生成基于信号序列的检测,所述信号包括触摸压力、第一柔性片状物的弯曲半径的增大、以及第一柔性片状物与第二柔性片状物之间的开口的角度的减小。
3.根据权利要求1所述的用于在可弯曲可折叠显示器设备上提供触觉效果的计算机实施的方法,其中所述弯曲特性对应于屈曲所述第一柔性片状物的动作,并且所述折叠特性对应于打开所述第一柔性片状物和所述第二柔性片状物的动作;
其中所述触觉反馈包括对所述第一柔性片状物和所述第二柔性片状物的打开的运动知觉反馈和对所述第一柔性片状物的屈曲的运动知觉反馈。
4.根据权利要求3所述的用于在可弯曲可折叠显示器设备上提供触觉效果的计算机实施的方法,其中所述运动知觉反馈基于针对所述可弯曲可折叠显示器设备上的应用的应用设置和所述折叠特性来调节打开动作的硬度;
其中对所述第一柔性片状物的运动知觉反馈基于所述应用设置和所述弯曲特性来调节屈曲动作的硬度。
5.根据权利要求3所述的用于在可弯曲可折叠显示器设备上提供触觉效果的计算机实施的方法,进一步包括:
检测变形的序列,每个变形包括折叠特性的变化;以及
控制所述第一柔性片状物和所述第二柔性片状物以将所述第一柔性片状物和所述第二柔性片状物返回到与所述变形的序列之前的原始位置对应的位置,
其中在所述可弯曲可折叠显示器设备上的应用基于所述变形的序列在所述可弯曲可折叠显示器设备上提供视觉变化。
6.根据权利要求1所述的用于在可折叠可弯曲显示器设备上提供触觉效果的计算机实施的方法,进一步包括:
响应于在所述第一柔性片状物上显示对象的所述可弯曲可折叠显示器设备上的应用来控制所述可弯曲可折叠显示器设备,以响应于所述第一柔性片状物的弯曲特性来提供运动知觉反馈,从而基于在所述第一柔性片状物上显示的对象的物理属性信息使所述第一柔性片状物的可弯曲性变硬或松弛,其中所述应用储存关于显示的对象的物理属性信息。
7.根据权利要求1所述的用于在可折叠可弯曲显示器设备上提供触觉效果的计算机实施的方法,进一步包括:
提供运动知觉反馈以响应于指示所述第一柔性片状物和所述第二柔性片状物即将闭合的折叠特性信号来控制所述第一柔性片状物和所述第二柔性片状物闭合,其中运动知觉反馈的提供发生在指示所述第一柔性片状物和所述第二柔性片状物被闭合的折叠特性之前。
8.一种包括集成在可弯曲可折叠显示器设备内的一个或多个触觉输出设备的触觉系统,包括:
传感器,所述传感器被配置为接收指示具有通过铰链耦接的第一柔性片状物和第二柔性片状物的可弯曲可折叠显示器设备的变形的输入,其中所述传感器被配置成检测第一柔性片状物和第二柔性片状物之间的折叠特性,并且被配置成检测在所述第一柔性片状物内的弯曲特性;
变形表征模块,用于基于由所述输入提供的一个或多个测量结果来确定可弯曲可折叠显示器设备的变形特性;以及
触觉反馈生成器,所述触觉反馈生成器基于所述折叠特性和所述弯曲特性生成触觉反馈。
9.根据权利要求8所述的包括集成在可弯曲可折叠显示器设备内的一个或多个触觉输出设备的触觉系统,其中所述触觉反馈生成器基于信号的序列的检测来生成所述触觉反馈,所述信号包括触摸压力、第一柔性片状物的弯曲半径的增大、以及第一柔性片状物与第二柔性片状物之间的开口的角度的减小。
10.根据权利要求8所述的包括集成在可弯曲可折叠显示器设备内的一个或多个触觉输出设备的触觉系统,其中所述弯曲特性对应于屈曲所述第一柔性片状物的动作,并且所述折叠特性对应于打开所述第一柔性片状物和所述第二柔性片状物的动作;
其中所述触觉反馈包括响应于所述第一柔性片状物和所述第二柔性片状物的打开的运动知觉反馈和对所述第一柔性片状物的屈曲的运动知觉反馈。
CN201810931517.0A 2013-04-26 2014-04-25 用于与可折叠可弯曲显示器交互作用的触觉反馈 Pending CN109062414A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361816605P 2013-04-26 2013-04-26
US61/816,605 2013-04-26
US14/222,303 US9524030B2 (en) 2013-04-26 2014-03-21 Haptic feedback for interactions with foldable-bendable displays
US14/222,303 2014-03-21
CN201410169698.XA CN104122992B (zh) 2013-04-26 2014-04-25 用于与可折叠可弯曲显示器交互作用的触觉反馈

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201410169698.XA Division CN104122992B (zh) 2013-04-26 2014-04-25 用于与可折叠可弯曲显示器交互作用的触觉反馈

Publications (1)

Publication Number Publication Date
CN109062414A true CN109062414A (zh) 2018-12-21

Family

ID=50513736

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201410169698.XA Expired - Fee Related CN104122992B (zh) 2013-04-26 2014-04-25 用于与可折叠可弯曲显示器交互作用的触觉反馈
CN201810931517.0A Pending CN109062414A (zh) 2013-04-26 2014-04-25 用于与可折叠可弯曲显示器交互作用的触觉反馈

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201410169698.XA Expired - Fee Related CN104122992B (zh) 2013-04-26 2014-04-25 用于与可折叠可弯曲显示器交互作用的触觉反馈

Country Status (5)

Country Link
US (3) US9524030B2 (zh)
EP (1) EP2796976B1 (zh)
JP (2) JP6382564B2 (zh)
KR (1) KR20140128270A (zh)
CN (2) CN104122992B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109753118A (zh) * 2018-12-29 2019-05-14 维沃移动通信有限公司 一种终端控制方法及终端
CN110035352A (zh) * 2019-02-22 2019-07-19 维沃移动通信有限公司 一种展现音效效果的方法及柔性设备
CN113672034A (zh) * 2020-05-14 2021-11-19 苹果公司 具有可调节铰链的电子设备

Families Citing this family (117)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9063731B2 (en) 2012-08-27 2015-06-23 Samsung Electronics Co., Ltd. Ultra low power apparatus and method to wake up a main processor
US10578499B2 (en) 2013-02-17 2020-03-03 Microsoft Technology Licensing, Llc Piezo-actuated virtual buttons for touch surfaces
US10315220B2 (en) 2014-02-11 2019-06-11 Vibrant Composites Inc. Complex mass trajectories for improved haptic effect
US9524030B2 (en) * 2013-04-26 2016-12-20 Immersion Corporation Haptic feedback for interactions with foldable-bendable displays
US9939900B2 (en) 2013-04-26 2018-04-10 Immersion Corporation System and method for a haptically-enabled deformable surface
US9443401B2 (en) 2013-09-06 2016-09-13 Immersion Corporation Automatic remote sensing and haptic conversion system
JP6020742B2 (ja) * 2013-10-25 2016-11-02 株式会社村田製作所 電子機器、および、操作入力プログラム
US9448631B2 (en) 2013-12-31 2016-09-20 Microsoft Technology Licensing, Llc Input device haptics and pressure sensing
KR102561200B1 (ko) 2014-02-10 2023-07-28 삼성전자주식회사 사용자 단말 장치 및 이의 디스플레이 방법
US10067641B2 (en) * 2014-02-10 2018-09-04 Samsung Electronics Co., Ltd. User terminal device and displaying method thereof
KR102119843B1 (ko) 2014-02-10 2020-06-05 삼성전자주식회사 사용자 단말 장치 및 이의 디스플레이 방법
KR102331956B1 (ko) 2014-02-10 2021-11-29 삼성전자주식회사 사용자 단말 장치 및 이의 디스플레이 방법
US9690381B2 (en) 2014-08-21 2017-06-27 Immersion Corporation Systems and methods for shape input and output for a haptically-enabled deformable surface
KR20160041693A (ko) * 2014-10-08 2016-04-18 엘지전자 주식회사 이동 단말기
US9535550B2 (en) 2014-11-25 2017-01-03 Immersion Corporation Systems and methods for deformation-based haptic effects
EP3811873B1 (en) 2014-12-05 2023-11-01 Samsung Medison Co., Ltd. Portable ultrasonic diagnostic apparatus and method of controlling the same
CN104407675B (zh) * 2014-12-12 2017-07-28 京东方科技集团股份有限公司 显示屏卷绕系统及其控制方法
US9658693B2 (en) 2014-12-19 2017-05-23 Immersion Corporation Systems and methods for haptically-enabled interactions with objects
US9600076B2 (en) 2014-12-19 2017-03-21 Immersion Corporation Systems and methods for object manipulation with haptic feedback
US10082872B2 (en) * 2014-12-30 2018-09-25 Immersion Corporation Deformable haptic wearables with variable physical properties
KR102198473B1 (ko) * 2014-12-30 2021-01-05 엘지전자 주식회사 이동단말기 및 그 제어방법
WO2016138085A1 (en) * 2015-02-25 2016-09-01 Immersion Corporation Systems and methods for user interaction with a curved display
KR102305508B1 (ko) * 2015-02-25 2021-09-28 삼성디스플레이 주식회사 폴더블 디스플레이 장치
KR102319466B1 (ko) * 2015-02-25 2021-10-29 삼성디스플레이 주식회사 표시장치 및 이를 이용한 표시장치의 구동방법
DE102015103407A1 (de) * 2015-03-09 2016-09-15 Preh Gmbh Bedienelement mit von der Detektionsrichtung abhängigem haptischem Feedback
US9983673B2 (en) 2015-03-17 2018-05-29 Queen's University At Kingston Haptic rendering for a flexible computing device
CN106156554B (zh) * 2015-03-25 2019-03-15 北京智谷睿拓技术服务有限公司 交互方法、交互装置以及用户设备
KR102425824B1 (ko) * 2015-04-24 2022-07-29 삼성디스플레이 주식회사 가요성 디스플레이의 햅틱 구동 방법 및 장치
US10222889B2 (en) 2015-06-03 2019-03-05 Microsoft Technology Licensing, Llc Force inputs and cursor control
US10416799B2 (en) 2015-06-03 2019-09-17 Microsoft Technology Licensing, Llc Force sensing and inadvertent input control of an input device
CN104932616A (zh) * 2015-06-08 2015-09-23 清华大学 基于铰链结构的可变形交互设备及交互系统
KR102345270B1 (ko) 2015-06-15 2022-01-03 삼성디스플레이 주식회사 표시장치
CN106357842A (zh) * 2015-07-17 2017-01-25 中兴通讯股份有限公司 一种移动终端上输出告警信息的方法和移动终端
CN105138076B (zh) * 2015-08-03 2020-01-31 联想(北京)有限公司 一种电子设备的控制方法及电子设备
US10366583B2 (en) 2015-08-25 2019-07-30 Immersion Corporation Bistable haptic feedback generator
US10013060B2 (en) * 2015-09-18 2018-07-03 Immersion Corporation Systems and methods for providing haptic effects in response to deformation of a cover for an electronic device
US10152125B2 (en) 2015-11-20 2018-12-11 Immersion Corporation Haptically enabled flexible devices
WO2017113103A1 (zh) * 2015-12-29 2017-07-06 深圳市柔宇科技有限公司 中控系统及具有该中控系统的汽车
US10061385B2 (en) 2016-01-22 2018-08-28 Microsoft Technology Licensing, Llc Haptic feedback for a touch input device
US10297234B2 (en) 2016-03-11 2019-05-21 International Business Machines Corporation Curved virtual display surface for displaying digital objects
CN107203291B (zh) * 2016-03-18 2020-06-30 上海和辉光电有限公司 可弯曲式触控传感器及包括该触控传感器的显示装置
CN105843572B (zh) * 2016-03-21 2020-02-21 联想(北京)有限公司 一种信息处理方法及可形变的电子设备
CN105912899A (zh) * 2016-03-31 2016-08-31 联想(北京)有限公司 一种控制电子设备的方法以及电子设备
EP3242187B1 (en) * 2016-05-04 2018-11-21 Vestel Elektronik Sanayi ve Ticaret A.S. System and method for simulating a reaction force from a virtual object
US20170344120A1 (en) * 2016-05-24 2017-11-30 Intel Corporattion User-input interaction for movable-panel mobile device
KR20170140976A (ko) * 2016-06-14 2017-12-22 엘지전자 주식회사 폴더블 디바이스 및 그 제어방법
JP6261675B1 (ja) 2016-07-19 2018-01-17 レノボ・シンガポール・プライベート・リミテッド 携帯用情報機器
JP6261674B1 (ja) 2016-07-19 2018-01-17 レノボ・シンガポール・プライベート・リミテッド 携帯用情報機器
US9921609B2 (en) * 2016-08-02 2018-03-20 Immersion Corporation Systems and methods for deformation and haptic effects
US10558277B2 (en) 2016-08-04 2020-02-11 Microsoft Technology Licensing, Llc Folding angle sensing of a foldable device
US10234945B2 (en) * 2016-09-09 2019-03-19 Immersion Corporation Compensated haptic rendering for flexible electronic devices
US20180074607A1 (en) * 2016-09-11 2018-03-15 Ace Zhang Portable virtual-reality interactive system
US10545900B2 (en) 2016-09-23 2020-01-28 Microsoft Technology Licensing, Llc Physical configuration of a device for interaction mode selection
US10528088B2 (en) 2016-09-28 2020-01-07 Microsoft Technology Licensing, Llc Opening state detection of a foldable device using self-capacitance
US10346117B2 (en) 2016-11-09 2019-07-09 Microsoft Technology Licensing, Llc Device having a screen region on a hinge coupled between other screen regions
JP2018081503A (ja) * 2016-11-16 2018-05-24 富士ゼロックス株式会社 表示装置およびプログラム
US10409335B2 (en) * 2016-12-12 2019-09-10 Motorola Mobility Llc Method to recover permanent set in a foldable display
JP2018097706A (ja) * 2016-12-15 2018-06-21 株式会社東海理化電機製作所 触聴覚呈示装置
US10481634B2 (en) 2017-01-10 2019-11-19 Lenovo (Singapore) Pte. Ltd. Portable information device
US10416710B2 (en) 2017-01-10 2019-09-17 Lenovo (Singapore) Pte. Ltd. Portable information device
JP6429909B2 (ja) 2017-01-10 2018-11-28 レノボ・シンガポール・プライベート・リミテッド 携帯用情報機器
JP6535353B2 (ja) 2017-01-10 2019-06-26 レノボ・シンガポール・プライベート・リミテッド 携帯用情報機器
US10409332B2 (en) 2017-01-10 2019-09-10 Lenovo (Singapore) Pte. Ltd. Portable information device
JP6507183B2 (ja) 2017-01-10 2019-04-24 レノボ・シンガポール・プライベート・リミテッド 携帯用情報機器
US10296176B2 (en) * 2017-01-30 2019-05-21 Microsoft Technology Licensing, Llc Navigational aid for a hinged device via semantic abstraction
US10539993B2 (en) * 2017-03-14 2020-01-21 Microsoft Technology Licensing, Llc Integrated energy storage systems in computing facilities
JP6513732B2 (ja) 2017-04-27 2019-05-15 レノボ・シンガポール・プライベート・リミテッド 携帯用情報機器
CN107277229A (zh) * 2017-05-26 2017-10-20 努比亚技术有限公司 一种信息输入方法、终端及计算机可读存储介质
US10419716B1 (en) 2017-06-28 2019-09-17 Vulcan Technologies Llc Ad-hoc dynamic capture of an immersive virtual reality experience
ES2863276T3 (es) 2017-06-28 2021-10-11 Ericsson Telefon Ab L M Dispositivo flexible de comunicación y método para cambiar la forma del dispositivo
US20190012000A1 (en) * 2017-07-05 2019-01-10 Motorola Mobility Llc Deformable Electronic Device with Methods and Systems for Controlling the Deformed User Interface
JP6453413B1 (ja) 2017-10-04 2019-01-16 レノボ・シンガポール・プライベート・リミテッド 携帯用情報機器
JP7155505B2 (ja) * 2017-10-23 2022-10-19 富士フイルムビジネスイノベーション株式会社 情報処理装置、プログラム及び制御方法
CN207381016U (zh) * 2017-10-31 2018-05-18 昆山国显光电有限公司 一种可折叠显示屏
US10440848B2 (en) * 2017-12-20 2019-10-08 Immersion Corporation Conformable display with linear actuator
CN108037880A (zh) * 2017-12-29 2018-05-15 努比亚技术有限公司 一种曲面屏控制方法、终端及计算机可读存储介质
CN108509079B (zh) * 2018-03-29 2022-04-08 北京小米移动软件有限公司 触控组件及包括该触控组件的电子设备
CN108538203A (zh) * 2018-04-16 2018-09-14 努比亚技术有限公司 柔性屏非正常弯曲告警方法、移动终端及可读存储介质
CN108597512A (zh) * 2018-04-27 2018-09-28 努比亚技术有限公司 移动终端控制方法、移动终端及计算机可读存储介质
KR102255793B1 (ko) 2018-06-14 2021-05-25 삼성전자주식회사 디스플레이 영역의 크기 변경이 가능한 플렉시블 디스플레이를 포함하는 전자 장치 및 그 제어 방법
KR20200002686A (ko) * 2018-06-29 2020-01-08 삼성전자주식회사 플렉서블 디스플레이를 관리하기 위한 방법 및 그 전자 장치
WO2020013596A1 (ko) * 2018-07-10 2020-01-16 삼성전자주식회사 벤딩에 기초하여 동작을 수행하는 방법 및 전자 장치
KR20200006484A (ko) 2018-07-10 2020-01-20 삼성전자주식회사 벤딩에 기초하여 동작을 수행하는 방법 및 전자 장치
CN109240585A (zh) * 2018-08-08 2019-01-18 瑞声科技(新加坡)有限公司 一种人机交互的方法、装置、终端和计算机可读存储介质
US11029759B2 (en) 2018-09-19 2021-06-08 International Business Machines Corporation Haptic movable display for spatial correlation
US11921987B2 (en) * 2018-09-30 2024-03-05 Huawei Technologies Co., Ltd. System navigation bar display method, system navigation bar control method, graphical user interface, and electronic device
WO2020091807A1 (en) 2018-11-02 2020-05-07 Hewlett-Packard Development Company, L.P. Magnetic suspensions for displays
DE102018219721A1 (de) 2018-11-16 2020-05-20 Audi Ag Bedien- und Anzeigevorrichtung für ein Kraftfahrzeug sowie Verfahren zum Bedienen einer Bedien- und Anzeigevorrichtung
US20200174612A1 (en) * 2018-11-30 2020-06-04 Immersion Corporation Variable curvature interactive devices
CN109739465B (zh) * 2018-12-21 2021-01-29 维沃移动通信有限公司 音频输出方法及移动终端
US11216071B2 (en) 2019-01-02 2022-01-04 The Johns Hopkins University Low-profile tactile output apparatus and method
KR102562126B1 (ko) 2019-01-04 2023-08-02 삼성전자주식회사 폴더블 디스플레이를 갖는 전자 장치 및 그 제어 방법
KR20200090438A (ko) * 2019-01-21 2020-07-29 삼성전자주식회사 디스플레이의 손상을 방지하기 위한 전자 장치 및 방법
KR20200109737A (ko) * 2019-03-14 2020-09-23 삼성전자주식회사 햅틱 액츄에이터를 포함하는 전자 장치
US10747264B1 (en) * 2019-04-03 2020-08-18 Dell Products, L.P. Hinge actions and virtual extended display modes for multi-form factor information handling system (IHS)
KR20200117638A (ko) * 2019-04-05 2020-10-14 삼성전자주식회사 디스플레이의 굴곡부의 시인성을 향상시키는 전자 장치 및 전자 장치의 동작 방법
US11079845B2 (en) * 2019-04-29 2021-08-03 Matt Giordano System, method, and apparatus for therapy and computer usage
US11416130B2 (en) 2019-10-01 2022-08-16 Microsoft Technology Licensing, Llc Moving applications on multi-screen computing device
US11201962B2 (en) * 2019-10-01 2021-12-14 Microsoft Technology Licensing, Llc Calling on a multi-display device
US11561587B2 (en) 2019-10-01 2023-01-24 Microsoft Technology Licensing, Llc Camera and flashlight operation in hinged device
CN112987957A (zh) * 2019-12-17 2021-06-18 群创光电股份有限公司 电子装置
CN111262994B (zh) * 2020-01-09 2021-07-16 三星电子(中国)研发中心 一种折叠屏智能设备的任务选择方法和装置
US11209929B2 (en) 2020-02-17 2021-12-28 Robert Bosch Gmbh Faulty pressure sensor determination of a portable communication device touch display
KR102324562B1 (ko) 2020-05-07 2021-11-11 삼성전자주식회사 플렉서블 디스플레이를 포함하는 전자 장치
US11481035B2 (en) * 2020-05-15 2022-10-25 Huawei Technologies Co., Ltd. Method and system for processing gestures detected on a display screen of a foldable device
CN111862813A (zh) * 2020-07-21 2020-10-30 维沃移动通信有限公司 电子设备
US11488331B2 (en) 2020-11-03 2022-11-01 International Business Machines Corporation Smart interactive simulation-based content on a flexible display device
KR20220061752A (ko) 2020-11-06 2022-05-13 삼성전자주식회사 플렉서블 디스플레이를 제어하는 방법 및 전자 장치
US20220212096A1 (en) * 2020-11-30 2022-07-07 Lepton Computing Llc Gaming Motion Control Interface Using Foldable Device Mechanics
EP4242798A4 (en) * 2021-03-11 2024-05-22 Samsung Electronics Co Ltd ELECTRONIC DEVICE FOR PROVIDING VIBRATION FEEDBACK, AND METHOD OF OPERATING THE SAME
US11921547B2 (en) * 2021-08-20 2024-03-05 Lenovo (Singapore) Pte. Ltd. Apparatus, methods, and program products for modifying a size and/or shape of a computing display screen
US11635817B1 (en) 2021-10-07 2023-04-25 Microsoft Technology Licensing, Llc Stylus haptic component
EP4170461A1 (en) 2021-10-25 2023-04-26 STMicroelectronics S.r.l. Method for detecting an open or closed state of a foldable electronic device
WO2023106888A1 (en) * 2021-12-10 2023-06-15 Samsung Electronics Co., Ltd. Foldable electronic device and method for determining health of display assembly
US11989065B2 (en) 2022-01-18 2024-05-21 Stmicroelectronics S.R.L. Screen state detection using an electrostatic charge variation sensor
CN114613119B (zh) * 2022-01-19 2023-09-19 浙江大丰体育设备有限公司 支持无线群控荧光棒群控的基站
US11984095B1 (en) 2023-04-13 2024-05-14 Dell Products L.P. Information handling system display curvature adjustments based on viewing distance and content

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070085845A1 (en) * 2005-10-13 2007-04-19 Pioneer Corporation Display control apparatus, display method, and computer product
US20100225578A1 (en) * 2009-03-03 2010-09-09 Chueh-Pin Ko Method for Switching Multi-Functional Modes of Flexible Panel and Calibrating the Same
EP2427879A2 (en) * 2009-05-07 2012-03-14 Immersion Corporation Method and apparatus for providing a haptic feedback shape-changing display
CN102609078A (zh) * 2011-01-20 2012-07-25 宏达国际电子股份有限公司 具有触觉反馈的电子装置及提供触觉反馈的方法
CN102629446A (zh) * 2012-03-22 2012-08-08 京东方科技集团股份有限公司 显示面板及其操作控制方法和显示装置
US20120242588A1 (en) * 2011-03-21 2012-09-27 Myers Scott A Electronic devices with concave displays
US20130009892A1 (en) * 2011-07-07 2013-01-10 Nokia, Inc. Methods and apparatuses for providing haptic feedback
CN103026322A (zh) * 2010-05-18 2013-04-03 希科泰克股份有限公司 用户接口设备、装置和方法
US20130083496A1 (en) * 2011-09-30 2013-04-04 Jeremy C. Franklin Flexible Electronic Devices

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7456823B2 (en) 2002-06-14 2008-11-25 Sony Corporation User interface apparatus and portable information apparatus
JP4447823B2 (ja) * 2002-06-14 2010-04-07 ソニー株式会社 携帯情報機器
JP2006011646A (ja) * 2004-06-23 2006-01-12 Pioneer Electronic Corp 触覚表示装置及び触覚表示機能付タッチパネル装置
KR101472021B1 (ko) 2008-09-02 2014-12-24 엘지전자 주식회사 플렉서블 디스플레이부를 구비한 휴대 단말기 및 그 제어방법
KR101521219B1 (ko) * 2008-11-10 2015-05-18 엘지전자 주식회사 플렉서블 디스플레이를 이용하는 휴대 단말기 및 그 제어방법
JP5639151B2 (ja) * 2009-04-15 2014-12-10 コーニンクレッカ フィリップス エヌ ヴェ 折り畳み式触覚ディスプレイ
KR101587211B1 (ko) * 2009-05-25 2016-01-20 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
EP2315186B1 (en) * 2009-10-26 2016-09-21 Lg Electronics Inc. Mobile terminal with flexible body for inputting a signal upon bending said body
EP3734404A1 (en) * 2011-02-10 2020-11-04 Samsung Electronics Co., Ltd. Portable device comprising a touch-screen display, and method for controlling same
US20130009882A1 (en) 2011-07-07 2013-01-10 Nokia Corporation Methods and apparatuses for providing haptic feedback
US9614981B2 (en) * 2012-01-31 2017-04-04 Nokia Technologies Oy Deformable apparatus, method and computer program
US9411423B2 (en) 2012-02-08 2016-08-09 Immersion Corporation Method and apparatus for haptic flex gesturing
US8711118B2 (en) 2012-02-15 2014-04-29 Immersion Corporation Interactivity model for shared feedback on mobile devices
KR101721046B1 (ko) * 2012-04-08 2017-03-29 삼성전자주식회사 디스플레이 장치 및 그에 대한 제어 방법
KR101692252B1 (ko) * 2012-04-08 2017-01-04 삼성전자주식회사 플렉서블 디스플레이 장치 및 제어 방법
US9524030B2 (en) * 2013-04-26 2016-12-20 Immersion Corporation Haptic feedback for interactions with foldable-bendable displays
US9392085B2 (en) * 2013-05-08 2016-07-12 At&T Intellectual Property I, L.P. Charging a mobile device having a flexible display

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070085845A1 (en) * 2005-10-13 2007-04-19 Pioneer Corporation Display control apparatus, display method, and computer product
US20100225578A1 (en) * 2009-03-03 2010-09-09 Chueh-Pin Ko Method for Switching Multi-Functional Modes of Flexible Panel and Calibrating the Same
EP2427879A2 (en) * 2009-05-07 2012-03-14 Immersion Corporation Method and apparatus for providing a haptic feedback shape-changing display
CN103026322A (zh) * 2010-05-18 2013-04-03 希科泰克股份有限公司 用户接口设备、装置和方法
CN102609078A (zh) * 2011-01-20 2012-07-25 宏达国际电子股份有限公司 具有触觉反馈的电子装置及提供触觉反馈的方法
US20120242588A1 (en) * 2011-03-21 2012-09-27 Myers Scott A Electronic devices with concave displays
US20130009892A1 (en) * 2011-07-07 2013-01-10 Nokia, Inc. Methods and apparatuses for providing haptic feedback
US20130083496A1 (en) * 2011-09-30 2013-04-04 Jeremy C. Franklin Flexible Electronic Devices
CN102629446A (zh) * 2012-03-22 2012-08-08 京东方科技集团股份有限公司 显示面板及其操作控制方法和显示装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JUN-ICHIRO WATANABE;ARITO MOCHIZUKI;YOUICHI HORRY: "Bookisheet: bendable device for browsing content using the metaphor of leafing through the pages", 《UBICOMP "08:PROCEEDINGS OF THE 10TH INTERNATIONAL CONFERENCE ON UBIQUITOUS COMPUTING》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109753118A (zh) * 2018-12-29 2019-05-14 维沃移动通信有限公司 一种终端控制方法及终端
CN109753118B (zh) * 2018-12-29 2021-03-19 维沃移动通信有限公司 一种终端控制方法及终端
CN110035352A (zh) * 2019-02-22 2019-07-19 维沃移动通信有限公司 一种展现音效效果的方法及柔性设备
CN113672034A (zh) * 2020-05-14 2021-11-19 苹果公司 具有可调节铰链的电子设备

Also Published As

Publication number Publication date
JP2014216025A (ja) 2014-11-17
KR20140128270A (ko) 2014-11-05
US10048758B2 (en) 2018-08-14
CN104122992B (zh) 2018-09-18
EP2796976B1 (en) 2020-01-22
US20140320393A1 (en) 2014-10-30
JP2018190452A (ja) 2018-11-29
JP6382564B2 (ja) 2018-08-29
US9524030B2 (en) 2016-12-20
EP2796976A1 (en) 2014-10-29
CN104122992A (zh) 2014-10-29
US20170060248A1 (en) 2017-03-02
US20190073035A1 (en) 2019-03-07

Similar Documents

Publication Publication Date Title
CN104122992B (zh) 用于与可折叠可弯曲显示器交互作用的触觉反馈
US10775895B2 (en) Systems and methods for multi-pressure interaction on touch-sensitive surfaces
JP4065618B2 (ja) コンピュータユーザインタフェース及びコンピュータ
US9606625B2 (en) Haptically-enabled deformable device with rigid component
US10466793B2 (en) Systems and methods for providing haptic effects in response to deformation of a cover for an electronic device
EP2796964B1 (en) System and Method for a Haptically-Enabled Deformable Surface
JP2019050003A (ja) 触覚セルのアレイを用いた有形のユーザ・インターフェース・インタラクション及びジェスチャのシミュレーション
EP3171247B1 (en) Haptically enabled flexible devices
US20160334924A1 (en) Method and Apparatus for Haptic Flex Gesturing
US20180011538A1 (en) Multimodal haptic effects
CN107407963A (zh) 用于与弯曲显示器的用户交互的系统和方法
EP2889716A1 (en) Devices, systems, and methods for using corrugated tessellation to create surface features

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20181221

WD01 Invention patent application deemed withdrawn after publication