CN104583912B - 用于感知具有多形态反馈的图像的系统和方法 - Google Patents

用于感知具有多形态反馈的图像的系统和方法 Download PDF

Info

Publication number
CN104583912B
CN104583912B CN201380044475.4A CN201380044475A CN104583912B CN 104583912 B CN104583912 B CN 104583912B CN 201380044475 A CN201380044475 A CN 201380044475A CN 104583912 B CN104583912 B CN 104583912B
Authority
CN
China
Prior art keywords
image
feedback effects
user
feedback
multiple
Prior art date
Application number
CN201380044475.4A
Other languages
English (en)
Other versions
CN104583912A (zh
Inventor
A.纳加
A.迪克森
K.乔赛亚姆
T.汤普森
Original Assignee
三星电子株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US201261691135P priority Critical
Priority to US61/691,135 priority
Priority to US201261709870P priority
Priority to US61/709,870 priority
Priority to US13/954,523 priority patent/US9280206B2/en
Priority to US13/954,523 priority
Application filed by 三星电子株式会社 filed Critical 三星电子株式会社
Priority to PCT/KR2013/007406 priority patent/WO2014030888A1/en
Publication of CN104583912A publication Critical patent/CN104583912A/zh
Application granted granted Critical
Publication of CN104583912B publication Critical patent/CN104583912B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/36Image preprocessing, i.e. processing the image information without deciding about the identity of the image
    • G06K9/46Extraction of features or characteristics of the image
    • G06K9/4642Extraction of features or characteristics of the image by performing operations within image blocks or by using histograms

Abstract

提供了用于提供用于图像的反馈效果的方法、系统和计算机可读介质。方法包括在图像的区域中识别一个或多个特征。方法还包括将一个或多个所识别的特征映射到反馈效果的多个形态中的至少一个。另外,方法包括生成用于反馈效果输出的参数并且将所生成的参数与图像相关联地存储,从而响应于与图像的区域相对应的用户的输入坐标,与图像相关联的用户界面被配置为向用户提供反馈效果的多个形态中的至少一个。反馈效果的多个形态包括一个或多个视觉反馈效果、一个或多个触觉反馈效果和一个或多个音频反馈效果。

Description

用于感知具有多形态反馈的图像的系统和方法

技术领域

[0001] 本申请大体上涉及图像感知,更具体地说,涉及感知具有多形态(multimodal)反 馈的图像。

背景技术

[0002] 图像,诸如图片、图形和背景,通常仅通过对静态图像的查看而在电子设备的用户 界面上被感知到。当前使用的越来越多的消费者电子设备包括触摸屏、扬声器、以及提供触 觉反馈的能力。触觉反馈是通过感应使用诸如振动或运动的移动的触摸而提供给用户的反 馈。

[0003] 因此,存在对于通过使用多形态反馈来增强图像感知的需要。

发明内容

[0004] 技术问题

[0005] 本公开的实施例提供用于感知具有多形态反馈的图像的系统和方法。

[0006] 在一个实施例中,提供了一种用于提供用于图像的反馈效果的方法。所述方法包 括在图像的区域中识别一个或多个特征。所述方法还包括将一个或多个所识别的特征映射 到反馈效果的多个形态中的至少一个。另外,所述方法包括生成用于反馈效果输出的参数 并且将所生成的参数与图像相关联地存储,从而响应于与图像的区域相对应的用户的输入 坐标,与图像相关联的用户界面被配置为向用户提供反馈效果的多个形态中的至少一个。 反馈效果的多个形态包括一个或多个视觉反馈效果、一个或多个触觉反馈效果、和一个或 多个音频反馈效果。

[0007] 在另一实施例中,提供了一种用于提供用于图像的反馈效果的系统。所述系统包 括至少一个处理器和被配置为存储程序代码的至少一个存储设备。处理器被配置为运行程 序代码,以在图像的区域中识别一个或多个特征;将一个或多个所识别的特征映射到反馈 效果的多个形态中的至少一个;以及生成用于反馈效果输出的参数并将所生成的参数与图 像相关联地存储,从而响应于与图像的区域相对应的用户的输入坐标,与图像相关联的用 户界面被配置为向用户提供反馈效果的多个形态中的至少一个。

[0008] 在又一个实施例中,提供一种非暂态计算机可读介质,其包含用于提供用于图像 的反馈效果的程序代码。计算机可读介质包括用于在图像的区域中识别一个或多个特征的 程序代码。计算机可读介质还包括用于将一个或多个所识别的特征映射到反馈效果的多个 形态中的至少一个的程序代码。另外,计算机可读介质包括用于以下各项的程序代码:用于 生成用于反馈效果输出的参数并且用于将所生成的参数与图像相关联地存储,从而响应于 与图像的区域相对应的用户的输入坐标,与图像相关联的用户界面被配置为向用户提供反 馈效果的多个形态中的至少一个。

[0009] 在下面进行详细描述之前,对贯穿本专利文件中所使用的某些词汇和短语的定义 进行阐述会是有利的:术语“包括”和“包含”及其派生词意指没有限制的包括;术语“或”是 包括性的,意指和/或;短语“与…相关联”和“与其相关联”及其派生词的可以意指包括、被 包括在内、与…互连、包含、被包含在内、连接到或与…连接、耦接到或者与…耦接、可与… 通信、与…合作、交织、并列、接近于、绑定到或与…绑定、具有、具有…的性质等等;并且术 语“控制器”意指控制至少一个操作的任意设备、系统或它们的部件,这样的设备可以在硬 件、固件或软件或者硬件、固件或软件中的至少两个的某种组合中实现。应当注意到,与任 意特定控制器相关联的功能可以是集中的或者分布式的,或者在本地或在远程的。提供特 定词汇和短语的定义以用于本专利文件的通篇文档,本领域普通技术人员应当理解,即便 不是在大多数情况下,那么也在许多情况下,这些定义也适用于现有的以及将来的对这些 所定义词汇和短语的使用。

附图说明

[0010] 为了更完整地理解本公开及其优点,现参考下列结合附图的描述,在附图中,同样 的参考标记表示同样的部件:

[0011] 图1图示了在实现本公开的各种实施例时可使用的电子设备;

[0012] 图2图示了依照本公开的各种实施例的,用于生成用于图像的反馈效果的系统;

[0013] 图3图示了图2中图示的系统中的再平衡模块的示例性实施例;

[0014]图4图示了依据本公开的各种实施例的,基于基础(underlying)纹理值来对图像 块进行归类的过程的流程图;

[0015] 图5图示了依照本公开的说明性实施例的,来自根据粗糙度、对比度和梯度的平均 值而归类的不同聚类(cluster)的块;

[0016] 图6图示了依照本公开的说明性实施例的,被提取到纹理映射、强度映射、和颜色 映射中的输入图像的一个示例;

[0017] 图7A和7B图示了依照本公开的说明性实施例的,响应于用户在图像上触摸而提供 的反馈效果;

[0018] 图8A图示了依照本公开的说明性实施例的图像中的波纹(ripple)效果;

[0019] 图8B图示了依照本公开的说明性实施例的图像中的辉光(glow)效果;

[0020] 图8C图示了依照本公开的说明性实施例的图像中的运动模糊效果;

[0021] 图9图示了依照本公开的说明性实施例的,在提取的图像特征和反馈效果之间的 示例性映射;

[0022] 图10图示了依照本公开的说明性实施例的,用于移动电话的用户界面中显示的图 像;

[0023] 图11图示了依照本公开的各种实施例的,用于生成用于图像的反馈效果的过程; 以及

[0024] 图12图示了依照本公开的各种实施例的,用于向用户提供图像反馈效果的过程。

具体实施方式

[0025] 下面讨论的图1到图12以及本专利文档中用来描述本公开原理的各种实施例仅是 说明性的,并不应当将其解释为以任何方式来限制本公开的范围。本领域技术人员将会理 解本公开的原理可以以任意适当安排的系统或设备来实现。

[0026] 通过本公开的各种实施例认识到触觉反馈可以例如在尤其是嘈杂环境中提供提 高的生产率(productivity)。通过本公开的各种实施例还认识到触觉反馈可以延伸到诸如 图像的视觉内容的情境中,以传达沉浸式感官体验。图像在视觉媒体中保存当前的感官体 验,这使得能在需要时实现唤回体验。然而,在场景中的听觉、触摸及其它感官内容在此过 程中被丢弃。某些部分的感官体验可以通过视觉、音频和触觉效果的集中施加来在查看图 像时被再创建。例如,本公开的实施例基于探针的形状、用户跨越虚拟表面而正在移动探针 的速度、和虚拟表面的形状来认识触觉反馈的强度。通过本公开的实施例认识到在图像上 合并触觉反馈的现有途径的限制包括:除了触觉之外缺少同时合并的视觉和音频效果,并 且缺少用于评价不同类型的触觉反馈合并的有效性的用户学习。

[0027] 通过本公开的各种实施例还认识到音频反馈可以增强图像感知。例如,音频反馈 涉及在用户正在屏幕上触摸特定种类的纹理时生成特定声音的系统。通过本公开的实施例 认识到这样的系统的限制是所涉及的计算复杂性。例如,计算复杂性可以限制所生成的声 音的多样性。通过本公开的各种实施例还认识到视觉反馈涉及到涉及用于提高图像感知的 对视觉内容的更改的途径。通过本公开的实施例认识到如同触觉和音频一样,视觉反馈系 统可能要求大量人工干预。

[0028] 因此,本公开的实施例提供音频、视觉、触觉及其它感官效果的调和来向查看图像 和/或使用与显示的图像相关联的应用的用户提供合意的(例如,逼真的和/或有吸引力的) 感官反馈。在用户触摸图像的不同部分的同时,各种实施例使用例如触摸灵敏显示单元来 向用户提供除了对图像的正常查看之外的音频、视觉和触觉反馈。音频效果涉及在用户正 在图像的特定区间上触摸或移动其手指的同时,播放特定声音。触觉(haptics)效果,也被 称为触感(tactile)反馈涉及在用户正在图像的特定区间上触摸或移动其手指的同时,对 合成的触感反馈进行播放。触感反馈的示例是一般在手持式设备上可用的触觉振动的开关 序列。在那里,具有不同开关模式的不同振动序列给体验振动的用户引起不同的感官响应。 另一方面,视觉效果例如通过改变标明用户正在该处触摸图像的点的邻域的图像区域的颜 色和强度来变更视觉内容。这三种类型的反馈,或者可能还有其它的类型可以被有方法地 选择,并且其参数取决于种种因素,诸如用户简档、设备类型等等,以增强对图像内容的感 官感知。

[0029] 下面的图1描述了在电子设备100中实现的各种实施例。图1的描述不意指暗示物 理或体系结构限制于可实现不同实施例的方式。本公开的不同实施例可以在任何适当安排 的系统或设备中实现。

[0030] 图1图示了在实现本公开的各种实施例时可使用的电子设备100。例如,在一些实 施例中,电子设备100可以是向电子设备100的用户提供与图像相关联的音频、视觉和/或触 觉反馈的具备触摸屏能力的设备。在一些实施例中,电子设备100可以识别图像的特征并且 生成要与图像一起提供的音频、视觉和/或触觉反馈的参数。例如,没有限制地,电子设备 100可以是服务器计算机、个人计算机、膝上型计算机、平板计算机、移动电话、个人数字助 理、电视等等。

[0031] 在此所示的实施例中,电子设备100包括天线105、射频(RF)收发器110、发送(TX) 处理电路115、麦克风120、接收(RX)处理电路125。电子设备100还包括扬声器130、处理器 140、输入/输出(I/O)接口(IF) 145、键区150、触摸屏155、和存储器160。存储器160还包括基 本操作系统(OS)程序165。

[0032] 在本公开的有益实施例中,处理器140是微处理器或微控制器。存储器160被耦合 到处理器140。根据本公开的有益实施例,存储器160的一部分包括随机存取存储器(RAM), 而存储器160的另一部分包括充当只读存储器(ROM)的非易失性存储器,诸如快闪存储器。

[0033] 处理器140运行存储在存储器160中的基本操作系统(OS)程序165以便控制电子设 备100的整体操作。在一个这样的操作中,处理器140依照公知的原理,通过射频收发器110、 接收器处理电路125、和发送器处理电路115控制正向信道信号的接收和反向信道信号的发 送。

[0034] 在此说明性实施例中,电子设备100还包括扬声器130、处理器140、输入/输出(1/ 〇)接口(IF) 145、键区150、触摸屏155、和存储器160。存储器160还包括操作系统(OS)程序 165〇

[0035] 处理器140能够运行驻留在存储器160中的其它过程和程序。在各种实施例中,处 理器140运行反馈程序170的程序代码以生成和/或提供用于图像的音频、视觉和/或触觉反 馈。处理器140可以按照运行过程所要求地将数据移入或移出存储器160。处理器140还被耦 合到输入/输出(I/O)接口 145。1/0接口 145给电子设备100提供连接到诸如膝上型计算机和 手持式计算机的其它设备的能力。I/O接口 145是这些辅助设备和处理器140之间的通信路 径。

[0036] 处理器140还被耦合到键区150和触摸屏155。在一些实施例中,电子设备100的用 户可以使用键区150来将数据输入到电子设备100中。在其它实施例中,电子设备100可以使 用触摸屏来接收用户输入。例如,触摸屏155可以包括显示器和触摸板(诸如例如,电阻式或 电容式触摸板)两者。触摸屏155中的显示器可以例如是能够渲染来自网站的文字和/或至 少有限的图形的液晶显示器、发光二极管显示器和/或有机发光二极管显示器。替换实施例 可以使用其它类型的显示器。

[0037] 触觉反馈设备175是提供触觉反馈的设备。例如,触觉反馈设备175可以包括用于 生成电子设备100的运动和/或振动以向电子设备100的用户提供触觉反馈的电机。传感器 180是感测电子设备100所处的环境的状况的传感器。例如,没有限制地,传感器180可以是 接近传感器、光传感器、或用于感测电子设备100所处的环境的状况的其它类型的传感器。 在各种实施例中,电子设备100可以在确定对与图像一起提供的反馈的类型的约束时使用 传感器180。

[0038] 对电子设备100和其中包含的组件的说明是示例性的,而并不打算对可依照本公 开的原理实现的各种实施例加以任何物理或体系结构限制。例如,取决于所需的电子设备 的类型,电子设备100的实施例可不包括图1中所图示的所有组件。例如,计算机,诸如个人 计算机或服务器计算机可以利用局域网连接和卡通过有线连接来通信,而可不包括无线通 信元件,诸如例如,天线105、射频(RF)收发器110、发送(TX)处理电路115、麦克风120和/或 接收(RX)处理电路125。在各种实施例中,电子设备100可以从使用鼠标的用户接收光标输 入,或者电子设备100可不包括键区150。在其它实施例中,当电子设备100仅生成用于针对 图像的音频、视觉和/或触觉反馈的参数时,电子设备100可不包括传感器180和/或触觉反 馈设备175。在其它实施例中,显示图像的电子设备100可对可提供的反馈的类型具有物理 约束。例如,在这样的实施例中,电子设备100可不包括触觉反馈设备175,可以不具备触摸 屏能力或者可不包括扬声器130。

[0039] 图2图示了依照本公开的各种实施例的用于生成用于图像的反馈效果的系统200。 在此说明性实施例中,系统200通过特征提取和反馈效果之间的映射生成用于图像的反馈 效果。系统200可以例如由图1中的电子设备100和反馈程序170实现。

[0040] 在此说明性实施例中,系统200提供音频、视觉、触觉及其它感官效果的施加和调 和,以向用户提供合意的(例如,逼真的和/或有吸引力的)感官反馈。系统200包括用于接收 诸如内容和用户交互的输入的输入模块205。输入的内容可以包括图像,诸如图形、图片、背 景等等。输入的用户交互可以包括输入到触摸屏的用户触摸的坐标或使用鼠标输入的光标 或指针的坐标。系统200为了确定图像的理想感知而包括用于识别理想感知的图像感知模 块210,以提供对实际上存在于在显示的图像中出现的场景中的观察者的模拟。系统200还 包括再平衡模块215,以利用图像特征提取和反馈效果之间的映射实现对图像的新的期望 的感知。为了实现期望的感知,再平衡模块215包括特征提取模块220和效果生成模块225。

[0041] 在各种实施例中,特征提取模块220从图像中识别和/或提取各种图像纹理特征, 如下面将更详细地论述的。这样的特征的示例包括Tamura纹理特征、局部梯度向量等等。使 用特征提取模块220提取的特征被期望用于测量应当被用来估计要与图像一起提供的效果 的参数的某些局部图像特性。在其它示例中,特征提取模块220可以辨识(recognize)场景 的元素(例如草、树、人等等),并且可以包括对基于局部或基于云的目标辨识系统的利用。

[0042] 在各种实施例中,效果生成模块225识别特征提取模块所提取的图像特征、图像本 身、和用户正与设备交互的方式(例如,用户正在该处触摸设备或检测到光标输入的位置的 X坐标和y坐标),并且生成可包括关于图像的音频、视觉和触觉效果的感官反馈。下面对能 够由效果生成模块225提供的各种音频、视觉和触觉效果进行更详细地描述。在显示图像的 设备直接播放和/或提供音频和触觉效果的同时,视觉效果以某种方式更改正显示的图像。

[0043] 再平衡模块215其后将各种效果映射到图像的可适用区域,并且生成用于给图像 提供效果的输出参数230。例如,输出参数230可以是用于提供被映射到图像的不同区域的、 用于图像的效果的库中所存储的效果的指令。当用户提供输入坐标时,系统200识别来自库 的输出参数230和与用户输入坐标相对应的区域之间的映射。所识别的输出参数230被检索 和处理,以提供期望的反馈效果。

[0044] 图3图示了图2中的系统200中的再平衡模块215的示例性实施例。在各种实施例 中,特征提取模块220接收输入数据305 (例如,图像),并且提取和/或识别图像的特征,诸如 例如,纹理、强度、颜色和/或用户与图像的交互,诸如触摸或光标输入。在这个实施例中,特 征提取模块220可以使用包括协同出现矩阵、马尔科夫(Markov)随机场、伽柏(Gabor)纹理 特征和Tamura特征的许多技术来提取图像特征。例如在Tuceryan,M.、Jain,A.K.、C.Chen、 L.Pau以及P.Wang于 1998年在世界科学出版公司(World Scientific Publishing Co.)发 表的 “The Handbook Pattern Recognition and Computer Vision (模式识别和计算机视 觉手册)”中并且尤其是在“Texture Analysis (纹理分析)”中的第2.1章中描述了用于纹理 特征提取的另外的技术,这些内容在本文中通过引用并入。虽然主要使用协同出现矩阵、马 尔科夫随机场、和伽柏纹理特征来对纹理进行分类,但是即使给定这些测量结果的值,可能 也难以推断或设想纹理的种类。另一方面,Tamura纹理特征给不同特征具体地提供含义。六 个Tamura特征包括:粗糙度、对比度、方向度、线像度(line likeness)、规整度、和粗略度, 并且在H.Tamura、S.Mori和T.Yamawaki于 1978年于IEEE Transactions on Systems,Man, and Cybernetics (IEEE系统、人类和控制论学报)第SMC-8卷第6号第460-473页中发表的题 为“Texture features corresponding to visual perception (与视觉感知相对应的纹理 特征)”的文章中对其进行详细描述,此文章在本文中通过引用并入。

[0045] 粗糙度实质上对图像中的纹理元素的大小进行量化。纹理中的元素越大,其越粗 糙。作为示例,较大的石头的图像比较小的石头的图像更粗糙。注意到图像的放大版本相比 于原始图像将具有更大的粗糙度值。对比度实质上测量图像中局部存在的强度值的范围。 作为示例,黑/白棋盘的图像将比天空的图像具有更高的对比度。方向度对存在主导梯度的 不同方向的数量进行量化。作为示例,遮光帘的图像比石头的图像更具方向性。线像度测量 图像中存在的细线的量。作为示例,铁丝网的图像比石头的图像更具线像性。规整度测量纹 理元素被放置的规整程度。作为示例,层状的砖的图像比草的图像更规整。粗略度被取为粗 糙度和对比度值的和。其测量纹理被感知的粗略程度。除了 Tamura特征之外,特征提取模块 220可以使用利用Sobel算子计算的图像梯度,来将所触摸的位置分类到许多预定类别之 一。局部纹理的类别进而被用来确定要播放的音频、视觉和触觉效果。

[0046] 在其它示例中,特征提取模块220还可以识别图像的强度和颜色的值以用作用于 反馈效果映射的所识别的特征。例如,图6图示了依照本公开的说明性实施例的,被提取到 纹理映射605、强度映射610、和颜色映射615中的输入图像600的一个示例。在此说明性示例 中,特征提取模块220可以针对图像600中的各个点识别纹理、强度和/或颜色的值,并且反 馈效果可以被映射到图像的纹理、强度和颜色中的一个或多个。例如,特征提取模块220可 以识别用于纹理、强度和/或颜色和用于再平衡模块215的值的范围,以映射声音、视觉效果 和/或触觉效果的相应范围(例如,振动频率或强度)。

[0047] 在一些实施例中,系统200可以基于基础纹理、强度和/或颜色值对图像区间、块或 区域进行归类,并且将视觉、触觉和音频效果的参数映射到归类的图像区间、块或区域中的 每一个。例如,图4图示了依据本公开的各种实施例的,基于基础纹理值来对图像块进行归 类的过程的流程图。在此说明性实施例中,系统200接收图像(步骤400)并且将图像分割成 多个区间、块或区域(步骤405)。系统200随后分析每个块的点或像素的纹理(步骤410)。例 如,系统200可以提取Tamura特征以识别图像内的梯度。系统200随后基于所提取的特征来 对每个块进行分类(步骤415)。例如,系统200可以使用所计算的图像梯度来对块中的特征 进行分类,以将所触摸的位置分类到预定类别中。其后,系统200对图像中的每个块进行归 类(步骤420)。例如,系统200可以在诸如例如粗糙度、对比度、方向度、线像度、规整度和粗 略度的所有Tamura特征的各种水平之中对块进行归类。块的类别进而被用来确定用于该块 的要播放的和/或与用户输入相关联的音频、视觉和触觉效果。

[0048] 图5图示了依照本公开的说明性实施例的,来自根据粗糙度、对比度和梯度的平均 值而归类的不同聚类的块。在此说明性实施例中,系统200从纹理块(例如,50 X 50的大小) 池中提取粗糙度、对比度和局部梯度大小,并且使用K均值(K-means)聚类来对块进行聚类 以生成k个不同的聚类的集合。

[0049] 在识别图像的特征之后,系统200将一个或多个反馈效果分配、生成和/或映射到 所识别的图像的特征。在各种实施例中,这些反馈效果包括至少三种类型:音频、视觉和触 觉。在本公开的各种实施例中使用的视觉效果可以包括三种不同的类型:位移效果、照明效 果、和模糊效果。

[0050] 位移效果涉及随着用户触摸某些区域的在图像中的所述区域的位移。此效果通过 移动来模拟响应于触摸的在场景中存在的物理对象。位移效果的示例是下面更详细地描述 的波纹效果。另一方面,照明效果模拟用于突出显示图像中的某些区间的光源。光源可以具 有针对不同颜色波长拥有不同强度的特定颜色集合。照明效果的示例是下面更详细地描述 的辉光效果。第三类别的视觉效果涉及对图像的某些区间的模糊,其实质上在查看快速移 动的对象时(尤其在对象未被对焦时)突出显示人类感知的限制。模糊效果的示例是下面更 详细地描述的运动模糊效果。注意到这些效果是彼此互补的,并且可以在彼此的顶上播放 或提供或被同时播放或提供。

[0051] 图8A图示了依照本公开的说明性实施例的图像中的波纹效果。如所图示的,波纹 效果模拟在屏幕上水扩散,并且用户正在触摸水表面的情形。这里,每一个像素的位置可以 基于在那个位置处的水位来更新。在每个帧中,在特定点处的水位使用来自前两个帧的在 那个点以及相邻点处的水位来确定。一旦用户触摸屏幕,在触摸点的相邻区间中、在那个时 刻显示的图像帧中的水位就被提升到特定水平。由于对之前帧的效果的依赖,所以该效果 在之后的帧中保持播放,并且对波纹在图像上流动的感觉被感知到。存在用于调整此效果 的两个参数:阻尼参数(dampening parameter)和当用户触摸图像时影响其中水位的圆邻 域的大小。阻尼参数实质上模拟被模拟的流体的粘度。如果阻尼参数的值低,则波纹很迅速 地消失,从而指示感知到流体的粘度很高。另一方面,如果阻尼参数的值是可能的最大值 (即,1),则波纹不停止。

[0052] 图8B图示了依照本公开的说明性实施例的图像中的辉光效果。在此说明性示例 中,用户当前正在该处触摸表面的位置附近的区间基于效果的参数而变更。与波纹效果不 同,此效果是即刻效果。这意指用户一改变用户正在该处触摸屏幕的位置,效果也就相应地 移动。在我们的当前实现方式中,像辉光那样的效果被生成,其增加了与正在被显示的图像 相关联的颜色值的强度分量。如果在特定点(x,y)处的图像的RGB颜色值分别是r、g和b,则 可以根据下面的公式1来计算更新后的颜色值:

Figure CN104583912BD00101

[0057] 其中X是用来调整受此效果影响的图像区间的大小的参数,D是所考虑的当前像素 离触摸点的位置的欧几里德距离,并且F是用来调整效果的强度的参数。常数Rmax、Gmax和Bmax 指示对于红色、绿色和蓝色所允许的最大值。

[0058] 图8C图示了依照本公开的说明性实施例的图像中的运行模糊效果。运动效果模拟 用户正在跨越图像地移动手指的情形,并且图像在用户正在该处触摸图像的区间中局部模 糊。模糊的方向与用户正移动其手指的方向相同。与辉光效果类似,此效果是局部且临时 的,即,模糊看起来仅在其中值可被调节为在用户在该处触摸屏幕的点附近的效果的参数 的某一半径的区间中。假设用户当前正在触摸点(Tx,Ty),并且用户正在移动其手指的速度 是(Vx,Vy),效果执行包括其自身的七个相邻像素的像素值的加权平均。为7的此参数值是示 例性的;可以使用其它值。用来调整此运动模糊效果的一个参数是确定所选择的相邻点离 触摸点的距离的效果的大小。此运动模糊效果的另一参数是在其中作为此效果的结果,颜 色值被影响的触摸点附近的区间。

[0059] 可与上述效果类似地使用的视觉效果的额外的非限制示例包括:3D网格渲染;聚 光灯;色移;网格分解多边形;点光;棕褐色调;水波纹;定向光;透镜虚光;充水;逐像素光 照;金属、橡胶或木材遮蔽;鱼眼;阴影;凹凸映射;闪电;火;毛皮;烟;火球;膨胀;雾;水性涂 料;腐蚀;放大镜;临时遮住;锐化;雪花颗粒;辉光;浮雕;魔法粉;光晕;黑与白;樱花颗粒; 热浪;交叉影线;其它颗粒效果;正弦波;卡通渲染;反射;热视觉(捕食模式);底片;折射;夜 视;胶状明胶效果;运动模糊;Sobel边缘检测;布波纹;运动拖尾;拉普拉斯边缘检测;精灵 效果;透镜光斑;增亮;TV静噪(TV static) /噪音;圣光;遮暗;翻转磁粘;高斯模糊;着色;多 边形上的视频;景深;除去颜色通道、和网格畸形。

[0060] 本公开的各种实施例还提供触觉反馈效果。触觉反馈效果可以涉及使用由开关切 换电路使用具有不对称权重驱动的无芯DC电机来生成的振动触感反馈。开关切换软件(例 如,沉浸式软件(immersion software))可以提供各种切换顺序(例如,振动频率和模式), 每种切换顺序可以用来引起触摸设备的用户的特定传感器响应。也可以使用任何其它软件 驱动的触觉/触感反馈。在一个说明性示例中,当用户触摸图像上存在水的区域时,诸如图 7A中所图示的,可以播放温和的和/或低频率的振动。在另一示例中,当用户触摸岩石时,诸 如图7B中所图示的,可以播放较强烈的和/或较高频率的振动。

[0061] 本公开的各种实施例还提供音频反馈效果。例如,用户一触摸触摸灵敏屏幕,声音 就可以开始播放。播放的特定声音可以基于与触摸点相关联的纹理特征的值来确定。在一 些示例中,只要用户正在触摸屏幕,声音就可以保持循环播放。播放的声音可以取决于局部 纹理特征或颜色值而改变。例如,声音的重放速度、声音强度或声音类型可以改变。

[0062] 在一些示例中,重放速度可以按照与用户正在该处触摸图像的点相关联的像素的 纹理特征或颜色值的函数来计算。用来将纹理特征或颜色值映射到声音重放速度的函数可 以是任意的。作为示例函数,重放速度s可以按照s = s* (fd)来计算,其中f是倍增因素,并且 d> = l是测量触摸点处的特定纹理特征的整数值。在以上示范中,速度s意指利用正常速度 的s倍的速度来播放声音。注意到值d可以是图像纹理的任何单调的或非单调的函数。在一 些示例中,播放的声音的强度还可以与用来计算重放速度的方式类似的方式来计算。

[0063] 在一些示例中,与改变声音的重放速度或强度类似,播放的声音的类型还可以基 于触摸点处的纹理特征值而改变。两种不同类别的声音可以被利用一一自然的以及合成 的。在从在自然(例如瀑布)中存在的声音的地方使用麦克风来记录自然的声音的同时,合 成的声音通过指定声音的音频波形来生成。合成的声音的示例可以是具有特定频率的经采 样的正弦波形。在其它示例中,不同类型的声音或词汇的库可以被映射到特定的所识别特 征。作为一个说明性示例,当用户触摸图像上的存在水的区域时,诸如图7A中所图示的,起 安抚作用的声音,诸如水流可以被播放。在另一示例中,当用户触摸岩石时,诸如图7B中所 图示的,较刺耳的声音,诸如撞击声可以被播放。在其它示例中,对“7K”或“岩石”的词汇的 录音可以被播放。这样的实施例在帮助视力减弱的人和学习词语的儿童方面可尤其有用。

[0064] 在本公开的各种实施例中,效果可以基于所提取的图像纹理特征而变更。图9图示 了依照本公开的说明性实施例的,在提取的图像特征和反馈效果之间的示例性映射。在此 说明性实施例中,系统200基于基础图像纹理以及用户正在触摸表面的方式来确定反馈效 果的参数。在此说明性实施例中,六个主要的因素被用来调整反馈效果。

[0065] 在此说明性实施例中,所提取的粗糙度值可以被用来确定辉光效果的大小参数。 粗糙度越大,参数的大小越大。此关联是基于以下事实:相比于具有较小元素的纹理,具有 较大元素的纹理将要求用户聚焦在图像的较大区间上。为了实现此效果,辉光的半径可以 乘以已基于用户偏好归一化的粗糙度值。粗糙度值的通用可以用于增加受照明型视觉效果 影响的图像区间的大小。

[0066] 轻弹速度是用户在显示器上移动其手指(或光标)的速度。在此示例中,轻弹速度 被用来调整运动效果。速度越大,运动模糊的大小或任何模糊型的视觉效果的大小越大。轻 弹方向是用户在显示器上移动其手指(或光标)的方向。在此示例中,轻弹方向还被用来调 整仅沿轻弹方向模糊图像的运动效果。

[0067] 梯度大小是通过将图像与X方向和y方向这两个方向都相关联的Sobel核卷积而计 算出的值。在一个示例中,3 X 3Sobel核可以被用于X方向和y方向这两个方向。在此说明性 示例中,梯度大小可以被用来调整波纹效果。因为更高的梯度值自然地将导致更大的阻尼, 所以阻尼因素可以乘以梯度值。因此,波纹在存在较大梯度量的区间中不会流动地那么快。 梯度值通常可以在位移型视觉效果中被用于限制位移量。梯度方向是与梯度相关联的方 向。在此说明性示例中,梯度方向实质上被用于如下所述地确定阻塞(obstruction)值。

[0068] 阻塞值实质上沿着轻弹方向确定梯度的量。给定轻弹向量(Fx,Fy)和梯度向量(Gx, Gy),阻塞值按照轻弹向量和梯度向量的点乘来计算(即,0 = FX*GX+Fy*Gy)。在此说明性示例 中,阻塞值进而被用来调整音频和触觉效果。阻塞值越大,与引起期望的反馈相关联的能量 越大。音频或触觉效果中的能量可以与诸如强度和频率的这些特性相关联。

[0069] 在这些参数被应用到相关联的效果之前,它们的值可以根据用户偏好来调整或变 更。机器学习系统还可以被设计为基于用户简档来推断用户偏好。图9中所图示的映射是示 例性的,并不打算暗示对可依照本公开原理实现的不同映射的数量或类型的任何限制。

[0070] 图10图示了依照本公开的说明性实施例的,在用于移动电话1000的用户界面1005 中显示的图像。在此说明性实施例中,移动电话1000是图1中的电子设备100的一个示例。在 此示例中,移动设备1000的触摸屏1010在用户界面1005中显示与来电相关联的图像1015 (例如,来电的图形和用户选项)。用户界面1005还显示用于处理呼叫的选项,其包括发送短 信响应、接电话和拒接电话的不同选项之一。

[0071] 在此说明性实施例中,系统200已生成用于此图像1015的反馈效果,以帮助用户感 知图像1015并且协助响应来电。例如,用户可能正在开会或看电影,在这种情况下存在对聆 听或查看移动电话1000的约束。在这些示例中,移动电话1000可以向用户提供触觉反馈以 帮助感知图像1015并且协助响应来电。例如,用户可以触摸电子设备的一个角落并且感觉 到指示对用于处理呼叫的一个选项的选择的振动。在一个非限制示例中,触摸图像1015的 用于接电话的区域可以触发单个短振动触感脉冲的反馈,其中,触摸“拒绝”触发单个长振 动触感脉冲的反馈。类似地,触摸图像1015的用于发短信“我将稍后给你电话…”的区域可 以触发两个振动触感脉冲的反馈,其中触摸发短信“不能接听。怎么了”可以触发三个振动 触感脉冲的反馈。随后用户被通知用户已选择用于响应呼叫的哪个选项,而不需要看着移 动电话1000,这在用户不能看着移动电话1000的情形下是有益的。与不同文本相关联的振 动触感脉冲模式可以按照与可被示出为不同文本框的背景图像的不同纹理的图像相关联 的参数来获得。

[0072] 如以上论述以及以上论述的示例实施例所说明的,系统200还可以在生成用于图 像的反馈效果参数时识别约束310并将其考虑在内。约束310是对例如在假设显示图像的设 备的物理约束和环境限制的情况下可提供的反馈效果的形态的数量和类型的限制,这些物 理约束和环境限制例如用户不能够查看设备(例如,设备在用户口袋里、用户正在开车、用 户视力减弱等等),在当前环境(例如,设备的静音模式)中噪音是不能接受的,或设备并非 用于触摸(例如,计算机监视器或电视)。系统200可以从关于显示图像的设备中的组件的信 息(例如,不具备触摸屏能力的设备、不包括触觉反馈设备175、不包括扬声器130等等)、设 备的设置(例如,设备处于静音的操作模式、驾驶的操作模式、不显示的操作模式中等等)来 识别这些约束,或者这些约束可被使用传感器180,例如通过光或接近检测(例如,没有感觉 到光或者设备被覆盖/阻挡从而视觉反馈效果可能被约束)来自动地识别。

[0073] 在识别约束310之后,系统可以限制与图像一起提供的反馈的形态。例如,当用户 正在驾驶或视力减弱时,与图像一起提供的反馈的形态可以被限制在触觉和音频反馈效 果。在另一示例中,当用户正在开会或看电影时,与图像一起提供的反馈的形态可以被限制 在触觉效果。在另一示例中,当用户正在投影仪、电视上呈现图像或者将其上传到网站时, 与图像一起提供的反馈的形态可以被限制在视觉和音频反馈效果。在又一个示例中,当医 生想感觉医学图像,从而不错过任何关键畸变时,反馈效果可以被限制为触觉反馈效果。

[0074] 这些限制可以被预先包括在图像的显示中,并且与图像相关联地存储以用于之后 的显示。例如,在显示之时,在反馈的形态中的一个或多个被约束的情况下,系统200可以包 括针对为显示的图像而设的反馈的形态的不同选项。在其它示例中,系统200可以基于对在 图像的显示之时识别的约束310的识别来生成用于图像的反馈效果。

[0075] 图11图示了依照本公开的各种实施例的用于生成用于图像的反馈效果的过程。例 如,图11中所描绘的过程可以由图1中的电子设备100或图2中的系统200执行。

[0076] 过程通过在图像的区域中识别(一个或多个)特征开始(步骤1105)。例如,在步骤 1105中,过程可以识别与图像的各个区域相关联的纹理、强度和颜色。过程还可以识别存在 于图像中的对象。区域中的特征可以基于用户与图像的交互,诸如触摸或轻弹来提取和识 别。

[0077] 过程随后将(一个或多个)特征映射到反馈效果的多个形态中的至少一个(步骤 1110)。例如,在步骤1110中,过程可以将图像中的特征或特定区域映射到要提供的不同反 馈效果。反馈效果的多个形态可以包括一个或多个视觉反馈效果、一个或多个触觉反馈效 果、和一个或多个音频反馈效果。作为此步骤的一部分,过程还可以识别对反馈效果的形态 中的哪个可被映射的约束。过程还可以基于用户与图像的交互,诸如轻弹方向或速度来映 射反馈效果。

[0078] 过程随后生成用于反馈效果输出的参数(步骤1115)。例如,在步骤1115中,过程可 以在用户通过触摸或光标与图像交互时或随着用户通过触摸或光标与图像交互来生成参 数以提供反馈效果。过程随后将所生成的参数与图像相关联地存储(步骤1120)。例如,在步 骤1120中,过程可以存储所生成的参数,从而响应于与图像的区域相对应的用户的输入坐 标,与图像相关联的用户界面被配置为向用户提供反馈效果的多个形态中的至少一个。作 为此过程的一部分,用户可能够变更所生成的参数值。

[0079] 图12图示了依照本公开的各种实施例的,用于向用户提供图像反馈效果的过程。 例如,图12中所描绘的过程可以由图1中的电子设备100或图2中的系统200执行。

[0080] 过程通过显示图像开始(步骤1205)。例如,在步骤1205中,过程可以使用具备触摸 屏能力的设备来显示图像。过程随后从用户接收输入(步骤1210)。例如,在步骤1210中,输 入可以通过对触摸屏的触摸或鼠标的光标来进行。过程随后识别与用户输入相对应的图像 的坐标(步骤1215)。例如,在步骤1215中,过程可以在图像上识别触摸或光标位置的X和y坐 标。过程还可以识别与图像的交互的特性,诸如轻弹方向和速度。

[0081] 过程随后识别被映射到图像的区域中的(一个或多个)特征的(一个或多个)反馈 效果(步骤1220)。例如,在步骤1220中,过程可以基于对应于用户输入的所提取的图像中的 特征来生成反馈效果。过程还可以从所存储的图像区域或特征和反馈效果之间的映射来识 别反馈效果。反馈效果可以包括一个或多个视觉反馈效果、一个或多个触觉反馈效果、和一 个或多个音频反馈效果。作为此步骤的一部分,过程还可以识别对不同类型的反馈效果的 约束,并且限制哪些类型的反馈效果被提供。

[0082] 过程随后提供(一个或多个)反馈效果(步骤1225)。例如,在步骤1225中,过程可以 响应于所检测到的用户输入而提供一个或多个视觉反馈效果、一个或多个触觉反馈效果、 和/或一个或多个音频反馈效果。

[0083] 虽然图11和图12分别图示了用于生成用于图像的反馈效果以及向用户提供图像 反馈效果的过程的示例,但是可以对图11和图12进行各种改变。例如,虽然被示出为一系列 步骤,但是每个图中的各个步骤可以重叠、并行地发生、以不同次序发生或发生多次。

[0084] 虽然已经利用示例性实施例描述了本公开,但是可以向本领域技术人员建议各种 变化和修改。本公开意图涵盖落入权利要求范围的这样的变化和修改。

Claims (18)

1. 一种用于提供用于图像的反馈效果的方法,所述方法包括: 将图像分割成多个区间; 在图像的多个区间的每个中识别一个或多个点的一个或多个特征; 基于一个或多个特征将多个区间分类; 基于多个区间的分类,将基于一个或多个所识别的特征分类的多个区间的每个映射到 反馈效果的多个形态中的至少一个; 生成用于反馈效果输出的一个或多个参数并且将所生成的一个或多个参数与图像的 多个区间的每个相关联地存储;以及 响应于检测关于与图像的多个区间的每个相对应的用户的输入坐标的信息,向用户提 供反馈效果的多个形态中的至少一个。
2. 如权利要求1所述的方法,其中,所述反馈效果的多个形态包括一个或多个视觉反馈 效果、一个或多个触觉反馈效果、以及一个或多个音频反馈效果。
3. 如权利要求1所述的方法,还包括: 使用具备触摸屏能力的设备来显示图像; 识别与用户的触摸输入相对应的图像的坐标; 识别被映射到图像的区域的反馈效果;以及 使用具备触摸屏能力的设备来提供所述反馈效果。
4. 如权利要求1所述的方法,其中,所述一个或多个所识别的特征包含与图像的区域相 关联的纹理、强度和颜色。
5. 如权利要求2所述的方法,还包括: 识别对向用户提供反馈效果的多个形态中的一个或多个形态的约束;以及 将一个或多个所识别的特征的映射约束到仅仅反馈效果的未受约束的形态。
6. 如权利要求5所述的方法,其中,所述约束是视力减弱的操作模式,并且 其中,约束一个或多个所识别的特征的映射包括将一个或多个所识别的特征的映射约 束到一个或多个触觉反馈效果或一个或多个音频反馈效果中的至少一个。
7. 如权利要求5所述的方法,其中,识别所述约束包括使用传感器识别光量低于阈值, 并且 其中,约束一个或多个所识别的特征的映射包括将一个或多个所识别的特征的映射约 束到一个或多个触觉反馈效果或一个或多个音频反馈效果中的至少一个。
8. 如权利要求5所述的方法,其中,所述约束是静音的操作模式,并且 其中,约束一个或多个所识别的特征的映射包括将一个或多个所识别的特征的映射约 束到一个或多个视觉反馈效果或一个或多个触觉反馈效果中的至少一个。
9. 如权利要求1所述的方法,还包括: 识别与所识别的多个区间的每个的至少一个特征相关联的梯度, 其中,基于多个区间的每个的分类将多个区间的每个映射到反馈效果的多个形态中的 至少一个包括:对于多个区间的至少一个,使映射到多个区间的至少一个的反馈效果的至 少一个形态的强度基于与在用户的输入的坐标处识别的至少一个特征相关联的梯度的值。
10. —种用于提供用于图像的反馈效果的装置,所述装置包括: 至少一个处理器; 被配置为存储程序代码的至少一个存储设备; 其中,所述处理器被配置为运行程序代码来: 将图像分割成多个区间; 在图像的多个区间的每个中识别一个或多个点的一个或多个特征; 基于一个或多个特征将多个区间分类; 基于多个区间的分类,将基于一个或多个所识别的特征分类的多个区间的每个映射到 反馈效果的多个形态中的至少一个; 生成用于反馈效果输出的一个或多个参数并将所生成的一个或多个参数与图像的多 个区间的每个相关联地存储; 响应于检测关于与图像的多个区间的每个相对应的用户的输入坐标的信息,向用户提 供反馈效果的多个形态中的至少一个。
11. 如权利要求10所述的装置,其中,所述反馈效果的多个形态包括一个或多个视觉反 馈效果、一个或多个触觉反馈效果、以及一个或多个音频反馈效果。
12. 如权利要求10所述的装置,其中,所述处理器还被配置为运行程序代码以便: 识别与用户的触摸输入相对应的图像的坐标; 识别被映射到图像的区域的反馈效果;以及 使用具备触摸屏能力的设备来提供所述反馈效果。
13. 如权利要求10所述的装置,其中,所述一个或多个所识别的特征包含与图像的区域 相关联的纹理、强度和颜色。
14. 如权利要求11所述的装置,其中,所述处理器还被配置为运行程序代码以便: 识别对向用户提供反馈效果的多个形态中的一个或多个的约束;以及 将一个或多个所识别的特征的映射约束到仅仅反馈效果的未受约束的形态。
15. 如权利要求14所述的装置,其中: 所述约束是视力减弱的操作模式,并且 其中,所述处理器还被配置为运行程序代码以便将一个或多个所识别的特征的映射约 束到一个或多个触觉反馈效果或一个或多个音频反馈效果中的至少一个。
16. 如权利要求14所述的装置,其中,所述处理器还被配置为运行程序代码以便使用传 感器识别光量低于阈值的约束,并且 将一个或多个所识别的特征的映射约束到一个或多个触觉反馈效果或一个或多个音 频反馈效果中的至少一个。
17. 如权利要求14所述的装置,其中: 所述约束是静音的操作模式,并且 其中,所述处理器还被配置为运行程序代码以便将一个或多个所识别的特征的映射约 束到一个或多个视觉反馈效果或一个或多个触觉反馈效果中的至少一个。
18. 如权利要求17所述的装置,其中,所述图像与正接收的呼叫相关联,其中,图像上的 不同区域对应于可响应于所述呼叫而作出的不同动作,并且其中,所映射的反馈效果是指 示响应于来自用户的触摸输入而作出的动作的触觉反馈效果。
CN201380044475.4A 2012-08-20 2013-08-16 用于感知具有多形态反馈的图像的系统和方法 CN104583912B (zh)

Priority Applications (7)

Application Number Priority Date Filing Date Title
US201261691135P true 2012-08-20 2012-08-20
US61/691,135 2012-08-20
US201261709870P true 2012-10-04 2012-10-04
US61/709,870 2012-10-04
US13/954,523 US9280206B2 (en) 2012-08-20 2013-07-30 System and method for perceiving images with multimodal feedback
US13/954,523 2013-07-30
PCT/KR2013/007406 WO2014030888A1 (en) 2012-08-20 2013-08-16 System and method for perceiving images with multimodal feedback

Publications (2)

Publication Number Publication Date
CN104583912A CN104583912A (zh) 2015-04-29
CN104583912B true CN104583912B (zh) 2017-08-25

Family

ID=50099733

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380044475.4A CN104583912B (zh) 2012-08-20 2013-08-16 用于感知具有多形态反馈的图像的系统和方法

Country Status (6)

Country Link
US (1) US9280206B2 (zh)
EP (1) EP2885690A4 (zh)
JP (1) JP6359538B2 (zh)
KR (1) KR20150046105A (zh)
CN (1) CN104583912B (zh)
WO (1) WO2014030888A1 (zh)

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9417754B2 (en) 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
EP2847659B1 (en) 2012-05-09 2019-09-04 Apple Inc. Device, method, and graphical user interface for transitioning between display states in response to a gesture
JP6031186B2 (ja) 2012-05-09 2016-11-24 アップル インコーポレイテッド ユーザインタフェースオブジェクトを選択するためのデバイス、方法及びグラフィカルユーザインタフェース
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
DE202013012233U1 (de) 2012-05-09 2016-01-18 Apple Inc. Vorrichtung und grafische Benutzerschnittstelle zum Anzeigen zusätzlicher Informationen in Antwort auf einen Benutzerkontakt
EP3264252B1 (en) 2012-05-09 2019-11-27 Apple Inc. Device, method, and graphical user interface for performing an operation in accordance with a selected mode of operation
WO2013169851A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for facilitating user interaction with controls in a user interface
CN109298789A (zh) 2012-05-09 2019-02-01 苹果公司 用于针对激活状态提供反馈的设备、方法和图形用户界面
WO2013169875A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying content associated with a corresponding affordance
CN104508618B (zh) 2012-05-09 2018-01-05 苹果公司 用于针对在用户界面中执行的操作提供触觉反馈的设备、方法和图形用户界面
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
WO2013169845A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for scrolling nested regions
WO2014105274A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for navigating user interface hierarchies
WO2014105275A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for forgoing generation of tactile output for a multi-contact gesture
KR102001332B1 (ko) 2012-12-29 2019-07-17 애플 인크. 콘텐츠를 스크롤할지 선택할지 결정하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
WO2014105279A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for switching between user interfaces
KR101958517B1 (ko) 2012-12-29 2019-03-14 애플 인크. 터치 입력에서 디스플레이 출력으로의 관계들 사이에서 전환하기 위한 디바이스, 방법, 및 그래픽 사용자 인터페이스
US10037542B2 (en) 2013-11-14 2018-07-31 Wells Fargo Bank, N.A. Automated teller machine (ATM) interface
US9864972B2 (en) 2013-11-14 2018-01-09 Wells Fargo Bank, N.A. Vehicle interface
US10021247B2 (en) 2013-11-14 2018-07-10 Wells Fargo Bank, N.A. Call center interface
US20150363365A1 (en) * 2014-06-11 2015-12-17 Microsoft Corporation Accessibility detection of content properties through tactile interactions
JP6345881B2 (ja) * 2014-10-30 2018-06-20 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 画像データ用のテクスチャ解析マップ
US9971406B2 (en) * 2014-12-05 2018-05-15 International Business Machines Corporation Visually enhanced tactile feedback
US10048757B2 (en) * 2015-03-08 2018-08-14 Apple Inc. Devices and methods for controlling media presentation
US9990107B2 (en) 2015-03-08 2018-06-05 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US9632664B2 (en) * 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US9645732B2 (en) 2015-03-08 2017-05-09 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US9639184B2 (en) 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
US9785305B2 (en) 2015-03-19 2017-10-10 Apple Inc. Touch input cursor manipulation
US10067653B2 (en) 2015-04-01 2018-09-04 Apple Inc. Devices and methods for processing touch inputs based on their intensities
KR20160137258A (ko) * 2015-05-22 2016-11-30 삼성전자주식회사 전자 장치 및 그의 화면 표시 방법
KR101654906B1 (ko) * 2015-05-28 2016-09-22 경희대학교 산학협력단 캐릭터 동작 제어 장치 및 방법
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10346030B2 (en) 2015-06-07 2019-07-09 Apple Inc. Devices and methods for navigating between user interfaces
US9830048B2 (en) 2015-06-07 2017-11-28 Apple Inc. Devices and methods for processing touch inputs with instructions in a web page
US9891811B2 (en) 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
US9674426B2 (en) 2015-06-07 2017-06-06 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10200598B2 (en) 2015-06-07 2019-02-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
US10416800B2 (en) 2015-08-10 2019-09-17 Apple Inc. Devices, methods, and graphical user interfaces for adjusting user interface objects
US10248308B2 (en) 2015-08-10 2019-04-02 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interfaces with physical gestures
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
KR20170039379A (ko) * 2015-10-01 2017-04-11 삼성전자주식회사 전자 장치 및 이의 제어 방법
US20170098390A1 (en) * 2015-10-02 2017-04-06 Purdue Research Foundation Multimodal image perception system and method
AU2016352800A1 (en) * 2015-11-09 2018-05-17 Tgoma Nz Limited Trampoline for use as an input device for an electronic game
US10296088B2 (en) * 2016-01-26 2019-05-21 Futurewei Technologies, Inc. Haptic correlated graphic effects
KR20170106043A (ko) * 2016-03-11 2017-09-20 한국전자통신연구원 이미지 제공 장치 및 방법
EP3559781A1 (en) * 2016-12-21 2019-10-30 Telefonaktiebolaget LM Ericsson (PUBL) Region of interest classification
EP3427664A1 (en) * 2017-07-13 2019-01-16 Koninklijke Philips N.V. A device for scatter correction in an x-ray image and a method for scatter correction in an xray image

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1659551A (zh) * 2001-10-04 2005-08-24 诺文特技术公司 人机接口技术领域中使触觉与可视图像相一致
WO2011029055A1 (en) * 2009-09-03 2011-03-10 Obscura Digital, Inc. Apparatuses, methods and systems for a visual query builder

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4567817B2 (ja) * 1997-09-11 2010-10-20 ソニー株式会社 情報処理装置及びその制御方法
JP3987182B2 (ja) * 1998-01-26 2007-10-03 Idec株式会社 情報表示装置および操作入力装置
US6226399B1 (en) 1999-05-27 2001-05-01 Integral Vision, Inc. Method and system for identifying an image feature and method and system for determining an optimal color space for use therein
JP2001189774A (ja) * 1999-12-28 2001-07-10 Nec Corp スケジュール管理装置とスケジュール管理方法及びスケジュール管理プログラムを記録した記録媒体
JP2006074477A (ja) * 2004-09-02 2006-03-16 Pioneer Electronic Corp 通信用端末装置、通信用端末装置の機能設定変更方法及びそのプログラム
JP2008033739A (ja) * 2006-07-31 2008-02-14 Sony Corp 力覚フィードバックおよび圧力測定に基づくタッチスクリーンインターラクション方法および装置
JP2008219709A (ja) * 2007-03-07 2008-09-18 Pioneer Electronic Corp 遠隔操作装置
US20090102805A1 (en) * 2007-10-18 2009-04-23 Microsoft Corporation Three-dimensional object simulation using audio, visual, and tactile feedback
US9170649B2 (en) 2007-12-28 2015-10-27 Nokia Technologies Oy Audio and tactile feedback based on visual environment
US8373549B2 (en) * 2007-12-31 2013-02-12 Apple Inc. Tactile feedback in an electronic device
US20090207175A1 (en) * 2008-02-15 2009-08-20 Apple Inc. Animation Using Animation Effect and Trigger Element
US9357052B2 (en) * 2008-06-09 2016-05-31 Immersion Corporation Developing a notification framework for electronic device events
US9874935B2 (en) * 2009-03-12 2018-01-23 Immersion Corporation Systems and methods for a texture engine
KR101993848B1 (ko) 2009-07-22 2019-06-28 임머숀 코퍼레이션 플랫폼에 걸쳐 햅틱 피드백을 갖는 상호작용 터치 스크린 게임 메타포
US8171049B2 (en) 2009-09-18 2012-05-01 Xerox Corporation System and method for information seeking in a multimedia collection
US20110267181A1 (en) 2010-04-29 2011-11-03 Nokia Corporation Apparatus and method for providing tactile feedback for user
US9501145B2 (en) * 2010-05-21 2016-11-22 Disney Enterprises, Inc. Electrovibration for touch surfaces
US9417665B2 (en) * 2010-06-28 2016-08-16 Apple Inc. Providing an alternative human interface
US8693788B2 (en) 2010-08-06 2014-04-08 Mela Sciences, Inc. Assessing features for classification
JP5598981B2 (ja) * 2010-10-14 2014-10-01 国立大学法人宇都宮大学 知覚刺激情報生成システム
TWI435251B (zh) * 2011-08-09 2014-04-21 Wistron Corp 推估觸摸螢幕之壓力變化之方法及系統
US9063570B2 (en) * 2012-06-27 2015-06-23 Immersion Corporation Haptic feedback control system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1659551A (zh) * 2001-10-04 2005-08-24 诺文特技术公司 人机接口技术领域中使触觉与可视图像相一致
WO2011029055A1 (en) * 2009-09-03 2011-03-10 Obscura Digital, Inc. Apparatuses, methods and systems for a visual query builder

Also Published As

Publication number Publication date
CN104583912A (zh) 2015-04-29
US20140049491A1 (en) 2014-02-20
EP2885690A4 (en) 2016-01-27
EP2885690A1 (en) 2015-06-24
WO2014030888A1 (en) 2014-02-27
KR20150046105A (ko) 2015-04-29
JP6359538B2 (ja) 2018-07-18
US9280206B2 (en) 2016-03-08
JP2015531932A (ja) 2015-11-05

Similar Documents

Publication Publication Date Title
US10127723B2 (en) Room based sensors in an augmented reality system
US10168791B2 (en) Extramissive spatial imaging digital eye glass apparatuses, methods and systems for virtual or augmediated vision, manipulation, creation, or interaction with objects, materials, or other entities
US8239032B2 (en) Audiotactile vision substitution system
US8358280B2 (en) Electronic device capable of showing page flip effect and method thereof
US9256806B2 (en) Methods and systems for determining image processing operations relevant to particular imagery
KR20140005141A (ko) 동작의 속성을 이용한 디스플레이 상의 3차원 사용자 인터페이스 효과
US8508347B2 (en) Apparatus and method for proximity based input
CN105122181B (zh) 用于基于情景的自然用户接口输入的技术
RU2678361C1 (ru) Аудиопомощь в навигации
US20140323142A1 (en) Intuitive computing methods and systems
US9557162B2 (en) Sensor-based mobile search, related methods and systems
US8766786B2 (en) Device and method for providing tactile information
US10162429B2 (en) Gesture enabled keyboard
US9444924B2 (en) Intuitive computing methods and systems
CN103076877B (zh) 使用姿势与车辆内的移动装置进行交互
KR101794493B1 (ko) 햅틱 기술을 채용한 이동 디바이스들 및 방법들
US9760241B1 (en) Tactile interaction with content
US20050264527A1 (en) Audio-visual three-dimensional input/output
CN104423591B (zh) 用于光谱图的视觉处理以生成触觉效果的系统和方法
US10444829B2 (en) Systems and methods for viewport-based augmented reality haptic effects
CA2878801C (en) Method and apparatus of touch control for multi-point touch terminal
US9852543B2 (en) Automated three dimensional model generation
CN109164907A (zh) 用于支持触觉的可变形表面的系统和方法
CN103838424B (zh) 用于带有触觉效果的前馈和反馈的系统和方法
CN106255942B (zh) 用于优化触觉反馈的系统和方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant