CN104583912B - 用于感知具有多形态反馈的图像的系统和方法 - Google Patents

用于感知具有多形态反馈的图像的系统和方法 Download PDF

Info

Publication number
CN104583912B
CN104583912B CN201380044475.4A CN201380044475A CN104583912B CN 104583912 B CN104583912 B CN 104583912B CN 201380044475 A CN201380044475 A CN 201380044475A CN 104583912 B CN104583912 B CN 104583912B
Authority
CN
China
Prior art keywords
image
feedback effects
user
feedback
effects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380044475.4A
Other languages
English (en)
Other versions
CN104583912A (zh
Inventor
A.纳加
A.迪克森
K.乔赛亚姆
T.汤普森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN104583912A publication Critical patent/CN104583912A/zh
Application granted granted Critical
Publication of CN104583912B publication Critical patent/CN104583912B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

提供了用于提供用于图像的反馈效果的方法、系统和计算机可读介质。方法包括在图像的区域中识别一个或多个特征。方法还包括将一个或多个所识别的特征映射到反馈效果的多个形态中的至少一个。另外，方法包括生成用于反馈效果输出的参数并且将所生成的参数与图像相关联地存储，从而响应于与图像的区域相对应的用户的输入坐标，与图像相关联的用户界面被配置为向用户提供反馈效果的多个形态中的至少一个。反馈效果的多个形态包括一个或多个视觉反馈效果、一个或多个触觉反馈效果和一个或多个音频反馈效果。

Description

用于感知具有多形态反馈的图像的系统和方法
技术领域
本申请大体上涉及图像感知，更具体地说，涉及感知具有多形态(multimodal)反馈的图像。
背景技术
图像，诸如图片、图形和背景，通常仅通过对静态图像的查看而在电子设备的用户界面上被感知到。当前使用的越来越多的消费者电子设备包括触摸屏、扬声器、以及提供触觉反馈的能力。触觉反馈是通过感应使用诸如振动或运动的移动的触摸而提供给用户的反馈。
因此，存在对于通过使用多形态反馈来增强图像感知的需要。
发明内容
技术问题
本公开的实施例提供用于感知具有多形态反馈的图像的系统和方法。
在一个实施例中，提供了一种用于提供用于图像的反馈效果的方法。所述方法包括在图像的区域中识别一个或多个特征。所述方法还包括将一个或多个所识别的特征映射到反馈效果的多个形态中的至少一个。另外，所述方法包括生成用于反馈效果输出的参数并且将所生成的参数与图像相关联地存储，从而响应于与图像的区域相对应的用户的输入坐标，与图像相关联的用户界面被配置为向用户提供反馈效果的多个形态中的至少一个。反馈效果的多个形态包括一个或多个视觉反馈效果、一个或多个触觉反馈效果、和一个或多个音频反馈效果。
在另一实施例中，提供了一种用于提供用于图像的反馈效果的系统。所述系统包括至少一个处理器和被配置为存储程序代码的至少一个存储设备。处理器被配置为运行程序代码，以在图像的区域中识别一个或多个特征；将一个或多个所识别的特征映射到反馈效果的多个形态中的至少一个；以及生成用于反馈效果输出的参数并将所生成的参数与图像相关联地存储，从而响应于与图像的区域相对应的用户的输入坐标，与图像相关联的用户界面被配置为向用户提供反馈效果的多个形态中的至少一个。
在又一个实施例中，提供一种非暂态计算机可读介质，其包含用于提供用于图像的反馈效果的程序代码。计算机可读介质包括用于在图像的区域中识别一个或多个特征的程序代码。计算机可读介质还包括用于将一个或多个所识别的特征映射到反馈效果的多个形态中的至少一个的程序代码。另外，计算机可读介质包括用于以下各项的程序代码：用于生成用于反馈效果输出的参数并且用于将所生成的参数与图像相关联地存储，从而响应于与图像的区域相对应的用户的输入坐标，与图像相关联的用户界面被配置为向用户提供反馈效果的多个形态中的至少一个。
在下面进行详细描述之前，对贯穿本专利文件中所使用的某些词汇和短语的定义进行阐述会是有利的：术语“包括”和“包含”及其派生词意指没有限制的包括；术语“或”是包括性的，意指和/或；短语“与…相关联”和“与其相关联”及其派生词的可以意指包括、被包括在内、与…互连、包含、被包含在内、连接到或与…连接、耦接到或者与…耦接、可与…通信、与…合作、交织、并列、接近于、绑定到或与…绑定、具有、具有…的性质等等；并且术语“控制器”意指控制至少一个操作的任意设备、系统或它们的部件，这样的设备可以在硬件、固件或软件或者硬件、固件或软件中的至少两个的某种组合中实现。应当注意到，与任意特定控制器相关联的功能可以是集中的或者分布式的，或者在本地或在远程的。提供特定词汇和短语的定义以用于本专利文件的通篇文档，本领域普通技术人员应当理解，即便不是在大多数情况下，那么也在许多情况下，这些定义也适用于现有的以及将来的对这些所定义词汇和短语的使用。
附图说明
为了更完整地理解本公开及其优点，现参考下列结合附图的描述，在附图中，同样的参考标记表示同样的部件：
图1图示了在实现本公开的各种实施例时可使用的电子设备；
图2图示了依照本公开的各种实施例的，用于生成用于图像的反馈效果的系统；
图3图示了图2中图示的系统中的再平衡模块的示例性实施例；
图4图示了依据本公开的各种实施例的，基于基础(underlying)纹理值来对图像块进行归类的过程的流程图；
图5图示了依照本公开的说明性实施例的，来自根据粗糙度、对比度和梯度的平均值而归类的不同聚类(cluster)的块；
图6图示了依照本公开的说明性实施例的，被提取到纹理映射、强度映射、和颜色映射中的输入图像的一个示例；
图7A和7B图示了依照本公开的说明性实施例的，响应于用户在图像上触摸而提供的反馈效果；
图8A图示了依照本公开的说明性实施例的图像中的波纹(ripple)效果；
图8B图示了依照本公开的说明性实施例的图像中的辉光(glow)效果；
图8C图示了依照本公开的说明性实施例的图像中的运动模糊效果；
图9图示了依照本公开的说明性实施例的，在提取的图像特征和反馈效果之间的示例性映射；
图10图示了依照本公开的说明性实施例的，用于移动电话的用户界面中显示的图像；
图11图示了依照本公开的各种实施例的，用于生成用于图像的反馈效果的过程；以及
图12图示了依照本公开的各种实施例的，用于向用户提供图像反馈效果的过程。
具体实施方式
下面讨论的图1到图12以及本专利文档中用来描述本公开原理的各种实施例仅是说明性的，并不应当将其解释为以任何方式来限制本公开的范围。本领域技术人员将会理解本公开的原理可以以任意适当安排的系统或设备来实现。
通过本公开的各种实施例认识到触觉反馈可以例如在尤其是嘈杂环境中提供提高的生产率(productivity)。通过本公开的各种实施例还认识到触觉反馈可以延伸到诸如图像的视觉内容的情境中，以传达沉浸式感官体验。图像在视觉媒体中保存当前的感官体验，这使得能在需要时实现唤回体验。然而，在场景中的听觉、触摸及其它感官内容在此过程中被丢弃。某些部分的感官体验可以通过视觉、音频和触觉效果的集中施加来在查看图像时被再创建。例如，本公开的实施例基于探针的形状、用户跨越虚拟表面而正在移动探针的速度、和虚拟表面的形状来认识触觉反馈的强度。通过本公开的实施例认识到在图像上合并触觉反馈的现有途径的限制包括：除了触觉之外缺少同时合并的视觉和音频效果，并且缺少用于评价不同类型的触觉反馈合并的有效性的用户学习。
通过本公开的各种实施例还认识到音频反馈可以增强图像感知。例如，音频反馈涉及在用户正在屏幕上触摸特定种类的纹理时生成特定声音的系统。通过本公开的实施例认识到这样的系统的限制是所涉及的计算复杂性。例如，计算复杂性可以限制所生成的声音的多样性。通过本公开的各种实施例还认识到视觉反馈涉及到涉及用于提高图像感知的对视觉内容的更改的途径。通过本公开的实施例认识到如同触觉和音频一样，视觉反馈系统可能要求大量人工干预。
因此，本公开的实施例提供音频、视觉、触觉及其它感官效果的调和来向查看图像和/或使用与显示的图像相关联的应用的用户提供合意的(例如，逼真的和/或有吸引力的)感官反馈。在用户触摸图像的不同部分的同时，各种实施例使用例如触摸灵敏显示单元来向用户提供除了对图像的正常查看之外的音频、视觉和触觉反馈。音频效果涉及在用户正在图像的特定区间上触摸或移动其手指的同时，播放特定声音。触觉(haptics)效果，也被称为触感(tactile)反馈涉及在用户正在图像的特定区间上触摸或移动其手指的同时，对合成的触感反馈进行播放。触感反馈的示例是一般在手持式设备上可用的触觉振动的开关序列。在那里，具有不同开关模式的不同振动序列给体验振动的用户引起不同的感官响应。另一方面，视觉效果例如通过改变标明用户正在该处触摸图像的点的邻域的图像区域的颜色和强度来变更视觉内容。这三种类型的反馈，或者可能还有其它的类型可以被有方法地选择，并且其参数取决于种种因素，诸如用户简档、设备类型等等，以增强对图像内容的感官感知。
下面的图1描述了在电子设备100中实现的各种实施例。图1的描述不意指暗示物理或体系结构限制于可实现不同实施例的方式。本公开的不同实施例可以在任何适当安排的系统或设备中实现。
图1图示了在实现本公开的各种实施例时可使用的电子设备100。例如，在一些实施例中，电子设备100可以是向电子设备100的用户提供与图像相关联的音频、视觉和/或触觉反馈的具备触摸屏能力的设备。在一些实施例中，电子设备100可以识别图像的特征并且生成要与图像一起提供的音频、视觉和/或触觉反馈的参数。例如，没有限制地，电子设备100可以是服务器计算机、个人计算机、膝上型计算机、平板计算机、移动电话、个人数字助理、电视等等。
在此所示的实施例中，电子设备100包括天线105、射频(RF)收发器110、发送(TX)处理电路115、麦克风120、接收(RX)处理电路125。电子设备100还包括扬声器130、处理器140、输入/输出(I/O)接口(IF)145、键区150、触摸屏155、和存储器160。存储器160还包括基本操作系统(OS)程序165。
在本公开的有益实施例中，处理器140是微处理器或微控制器。存储器160被耦合到处理器140。根据本公开的有益实施例，存储器160的一部分包括随机存取存储器(RAM)，而存储器160的另一部分包括充当只读存储器(ROM)的非易失性存储器，诸如快闪存储器。
处理器140运行存储在存储器160中的基本操作系统(OS)程序165以便控制电子设备100的整体操作。在一个这样的操作中，处理器140依照公知的原理，通过射频收发器110、接收器处理电路125、和发送器处理电路115控制正向信道信号的接收和反向信道信号的发送。
在此说明性实施例中，电子设备100还包括扬声器130、处理器140、输入/输出(I/O)接口(IF)145、键区150、触摸屏155、和存储器160。存储器160还包括操作系统(OS)程序165。
处理器140能够运行驻留在存储器160中的其它过程和程序。在各种实施例中，处理器140运行反馈程序170的程序代码以生成和/或提供用于图像的音频、视觉和/或触觉反馈。处理器140可以按照运行过程所要求地将数据移入或移出存储器160。处理器140还被耦合到输入/输出(I/O)接口145。I/O接口145给电子设备100提供连接到诸如膝上型计算机和手持式计算机的其它设备的能力。I/O接口145是这些辅助设备和处理器140之间的通信路径。
处理器140还被耦合到键区150和触摸屏155。在一些实施例中，电子设备100的用户可以使用键区150来将数据输入到电子设备100中。在其它实施例中，电子设备100可以使用触摸屏来接收用户输入。例如，触摸屏155可以包括显示器和触摸板(诸如例如，电阻式或电容式触摸板)两者。触摸屏155中的显示器可以例如是能够渲染来自网站的文字和/或至少有限的图形的液晶显示器、发光二极管显示器和/或有机发光二极管显示器。替换实施例可以使用其它类型的显示器。
触觉反馈设备175是提供触觉反馈的设备。例如，触觉反馈设备175可以包括用于生成电子设备100的运动和/或振动以向电子设备100的用户提供触觉反馈的电机。传感器180是感测电子设备100所处的环境的状况的传感器。例如，没有限制地，传感器180可以是接近传感器、光传感器、或用于感测电子设备100所处的环境的状况的其它类型的传感器。在各种实施例中，电子设备100可以在确定对与图像一起提供的反馈的类型的约束时使用传感器180。
对电子设备100和其中包含的组件的说明是示例性的，而并不打算对可依照本公开的原理实现的各种实施例加以任何物理或体系结构限制。例如，取决于所需的电子设备的类型，电子设备100的实施例可不包括图1中所图示的所有组件。例如，计算机，诸如个人计算机或服务器计算机可以利用局域网连接和卡通过有线连接来通信，而可不包括无线通信元件，诸如例如，天线105、射频(RF)收发器110、发送(TX)处理电路115、麦克风120和/或接收(RX)处理电路125。在各种实施例中，电子设备100可以从使用鼠标的用户接收光标输入，或者电子设备100可不包括键区150。在其它实施例中，当电子设备100仅生成用于针对图像的音频、视觉和/或触觉反馈的参数时，电子设备100可不包括传感器180和/或触觉反馈设备175。在其它实施例中，显示图像的电子设备100可对可提供的反馈的类型具有物理约束。例如，在这样的实施例中，电子设备100可不包括触觉反馈设备175，可以不具备触摸屏能力或者可不包括扬声器130。
图2图示了依照本公开的各种实施例的用于生成用于图像的反馈效果的系统200。在此说明性实施例中，系统200通过特征提取和反馈效果之间的映射生成用于图像的反馈效果。系统200可以例如由图1中的电子设备100和反馈程序170实现。
在此说明性实施例中，系统200提供音频、视觉、触觉及其它感官效果的施加和调和，以向用户提供合意的(例如，逼真的和/或有吸引力的)感官反馈。系统200包括用于接收诸如内容和用户交互的输入的输入模块205。输入的内容可以包括图像，诸如图形、图片、背景等等。输入的用户交互可以包括输入到触摸屏的用户触摸的坐标或使用鼠标输入的光标或指针的坐标。系统200为了确定图像的理想感知而包括用于识别理想感知的图像感知模块210，以提供对实际上存在于在显示的图像中出现的场景中的观察者的模拟。系统200还包括再平衡模块215，以利用图像特征提取和反馈效果之间的映射实现对图像的新的期望的感知。为了实现期望的感知，再平衡模块215包括特征提取模块220和效果生成模块225。
在各种实施例中，特征提取模块220从图像中识别和/或提取各种图像纹理特征，如下面将更详细地论述的。这样的特征的示例包括Tamura纹理特征、局部梯度向量等等。使用特征提取模块220提取的特征被期望用于测量应当被用来估计要与图像一起提供的效果的参数的某些局部图像特性。在其它示例中，特征提取模块220可以辨识(recognize)场景的元素(例如草、树、人等等)，并且可以包括对基于局部或基于云的目标辨识系统的利用。
在各种实施例中，效果生成模块225识别特征提取模块所提取的图像特征、图像本身、和用户正与设备交互的方式(例如，用户正在该处触摸设备或检测到光标输入的位置的x坐标和y坐标)，并且生成可包括关于图像的音频、视觉和触觉效果的感官反馈。下面对能够由效果生成模块225提供的各种音频、视觉和触觉效果进行更详细地描述。在显示图像的设备直接播放和/或提供音频和触觉效果的同时，视觉效果以某种方式更改正显示的图像。
再平衡模块215其后将各种效果映射到图像的可适用区域，并且生成用于给图像提供效果的输出参数230。例如，输出参数230可以是用于提供被映射到图像的不同区域的、用于图像的效果的库中所存储的效果的指令。当用户提供输入坐标时，系统200识别来自库的输出参数230和与用户输入坐标相对应的区域之间的映射。所识别的输出参数230被检索和处理，以提供期望的反馈效果。
图3图示了图2中的系统200中的再平衡模块215的示例性实施例。在各种实施例中，特征提取模块220接收输入数据305(例如，图像)，并且提取和/或识别图像的特征，诸如例如，纹理、强度、颜色和/或用户与图像的交互，诸如触摸或光标输入。在这个实施例中，特征提取模块220可以使用包括协同出现矩阵、马尔科夫(Markov)随机场、伽柏(Gabor)纹理特征和Tamura特征的许多技术来提取图像特征。例如在Tuceryan,M.、Jain,A.K.、C.Chen、L.Pau以及P.Wang于1998年在世界科学出版公司(World Scientific Publishing Co.)发表的“The Handbook Pattern Recognition and Computer Vision(模式识别和计算机视觉手册)”中并且尤其是在“Texture Analysis(纹理分析)”中的第2.1章中描述了用于纹理特征提取的另外的技术，这些内容在本文中通过引用并入。虽然主要使用协同出现矩阵、马尔科夫随机场、和伽柏纹理特征来对纹理进行分类，但是即使给定这些测量结果的值，可能也难以推断或设想纹理的种类。另一方面，Tamura纹理特征给不同特征具体地提供含义。六个Tamura特征包括：粗糙度、对比度、方向度、线像度(line likeness)、规整度、和粗略度，并且在H.Tamura、S.Mori和T.Yamawaki于1978年于IEEE Transactions on Systems,Man,and Cybernetics(IEEE系统、人类和控制论学报)第SMC-8卷第6号第460–473页中发表的题为“Texture features corresponding to visual perception(与视觉感知相对应的纹理特征)”的文章中对其进行详细描述，此文章在本文中通过引用并入。
粗糙度实质上对图像中的纹理元素的大小进行量化。纹理中的元素越大，其越粗糙。作为示例，较大的石头的图像比较小的石头的图像更粗糙。注意到图像的放大版本相比于原始图像将具有更大的粗糙度值。对比度实质上测量图像中局部存在的强度值的范围。作为示例，黑/白棋盘的图像将比天空的图像具有更高的对比度。方向度对存在主导梯度的不同方向的数量进行量化。作为示例，遮光帘的图像比石头的图像更具方向性。线像度测量图像中存在的细线的量。作为示例，铁丝网的图像比石头的图像更具线像性。规整度测量纹理元素被放置的规整程度。作为示例，层状的砖的图像比草的图像更规整。粗略度被取为粗糙度和对比度值的和。其测量纹理被感知的粗略程度。除了Tamura特征之外，特征提取模块220可以使用利用Sobel算子计算的图像梯度，来将所触摸的位置分类到许多预定类别之一。局部纹理的类别进而被用来确定要播放的音频、视觉和触觉效果。
在其它示例中，特征提取模块220还可以识别图像的强度和颜色的值以用作用于反馈效果映射的所识别的特征。例如，图6图示了依照本公开的说明性实施例的，被提取到纹理映射605、强度映射610、和颜色映射615中的输入图像600的一个示例。在此说明性示例中，特征提取模块220可以针对图像600中的各个点识别纹理、强度和/或颜色的值，并且反馈效果可以被映射到图像的纹理、强度和颜色中的一个或多个。例如，特征提取模块220可以识别用于纹理、强度和/或颜色和用于再平衡模块215的值的范围，以映射声音、视觉效果和/或触觉效果的相应范围(例如，振动频率或强度)。
在一些实施例中，系统200可以基于基础纹理、强度和/或颜色值对图像区间、块或区域进行归类，并且将视觉、触觉和音频效果的参数映射到归类的图像区间、块或区域中的每一个。例如，图4图示了依据本公开的各种实施例的，基于基础纹理值来对图像块进行归类的过程的流程图。在此说明性实施例中，系统200接收图像(步骤400)并且将图像分割成多个区间、块或区域(步骤405)。系统200随后分析每个块的点或像素的纹理(步骤410)。例如，系统200可以提取Tamura特征以识别图像内的梯度。系统200随后基于所提取的特征来对每个块进行分类(步骤415)。例如，系统200可以使用所计算的图像梯度来对块中的特征进行分类，以将所触摸的位置分类到预定类别中。其后，系统200对图像中的每个块进行归类(步骤420)。例如，系统200可以在诸如例如粗糙度、对比度、方向度、线像度、规整度和粗略度的所有Tamura特征的各种水平之中对块进行归类。块的类别进而被用来确定用于该块的要播放的和/或与用户输入相关联的音频、视觉和触觉效果。
图5图示了依照本公开的说明性实施例的，来自根据粗糙度、对比度和梯度的平均值而归类的不同聚类的块。在此说明性实施例中，系统200从纹理块(例如，50×50的大小)池中提取粗糙度、对比度和局部梯度大小，并且使用K均值(K-means)聚类来对块进行聚类以生成k个不同的聚类的集合。
在识别图像的特征之后，系统200将一个或多个反馈效果分配、生成和/或映射到所识别的图像的特征。在各种实施例中，这些反馈效果包括至少三种类型：音频、视觉和触觉。在本公开的各种实施例中使用的视觉效果可以包括三种不同的类型：位移效果、照明效果、和模糊效果。
位移效果涉及随着用户触摸某些区域的在图像中的所述区域的位移。此效果通过移动来模拟响应于触摸的在场景中存在的物理对象。位移效果的示例是下面更详细地描述的波纹效果。另一方面，照明效果模拟用于突出显示图像中的某些区间的光源。光源可以具有针对不同颜色波长拥有不同强度的特定颜色集合。照明效果的示例是下面更详细地描述的辉光效果。第三类别的视觉效果涉及对图像的某些区间的模糊，其实质上在查看快速移动的对象时(尤其在对象未被对焦时)突出显示人类感知的限制。模糊效果的示例是下面更详细地描述的运动模糊效果。注意到这些效果是彼此互补的，并且可以在彼此的顶上播放或提供或被同时播放或提供。
图8A图示了依照本公开的说明性实施例的图像中的波纹效果。如所图示的，波纹效果模拟在屏幕上水扩散，并且用户正在触摸水表面的情形。这里，每一个像素的位置可以基于在那个位置处的水位来更新。在每个帧中，在特定点处的水位使用来自前两个帧的在那个点以及相邻点处的水位来确定。一旦用户触摸屏幕，在触摸点的相邻区间中、在那个时刻显示的图像帧中的水位就被提升到特定水平。由于对之前帧的效果的依赖，所以该效果在之后的帧中保持播放，并且对波纹在图像上流动的感觉被感知到。存在用于调整此效果的两个参数：阻尼参数(dampening parameter)和当用户触摸图像时影响其中水位的圆邻域的大小。阻尼参数实质上模拟被模拟的流体的粘度。如果阻尼参数的值低，则波纹很迅速地消失，从而指示感知到流体的粘度很高。另一方面，如果阻尼参数的值是可能的最大值(即，1)，则波纹不停止。
图8B图示了依照本公开的说明性实施例的图像中的辉光效果。在此说明性示例中，用户当前正在该处触摸表面的位置附近的区间基于效果的参数而变更。与波纹效果不同，此效果是即刻效果。这意指用户一改变用户正在该处触摸屏幕的位置，效果也就相应地移动。在我们的当前实现方式中，像辉光那样的效果被生成，其增加了与正在被显示的图像相关联的颜色值的强度分量。如果在特定点(x,y)处的图像的RGB颜色值分别是r、g和b，则可以根据下面的公式1来计算更新后的颜色值：
r(x,y)＝min(r(x,y)+(X-D(x,y))/(X)*F,RMAX)
g(x,y)＝min(g(x,y)+(X-D(x,y))/(X)*F,GMAX) [公式1]
b(x,y)＝min(b(x,y)+(X-D(x,y))/(X)*F,BMAX)
其中X是用来调整受此效果影响的图像区间的大小的参数，D是所考虑的当前像素离触摸点的位置的欧几里德距离，并且F是用来调整效果的强度的参数。常数RMAX、GMAX和BMAX指示对于红色、绿色和蓝色所允许的最大值。
图8C图示了依照本公开的说明性实施例的图像中的运行模糊效果。运动效果模拟用户正在跨越图像地移动手指的情形，并且图像在用户正在该处触摸图像的区间中局部模糊。模糊的方向与用户正移动其手指的方向相同。与辉光效果类似，此效果是局部且临时的，即，模糊看起来仅在其中值可被调节为在用户在该处触摸屏幕的点附近的效果的参数的某一半径的区间中。假设用户当前正在触摸点(Tx，Ty)，并且用户正在移动其手指的速度是(Vx，Vy)，效果执行包括其自身的七个相邻像素的像素值的加权平均。为7的此参数值是示例性的；可以使用其它值。用来调整此运动模糊效果的一个参数是确定所选择的相邻点离触摸点的距离的效果的大小。此运动模糊效果的另一参数是在其中作为此效果的结果，颜色值被影响的触摸点附近的区间。
可与上述效果类似地使用的视觉效果的额外的非限制示例包括：3D网格渲染；聚光灯；色移；网格分解多边形；点光；棕褐色调；水波纹；定向光；透镜虚光；充水；逐像素光照；金属、橡胶或木材遮蔽；鱼眼；阴影；凹凸映射；闪电；火；毛皮；烟；火球；膨胀；雾；水性涂料；腐蚀；放大镜；临时遮住；锐化；雪花颗粒；辉光；浮雕；魔法粉；光晕；黑与白；樱花颗粒；热浪；交叉影线；其它颗粒效果；正弦波；卡通渲染；反射；热视觉(捕食模式)；底片；折射；夜视；胶状明胶效果；运动模糊；Sobel边缘检测；布波纹；运动拖尾；拉普拉斯边缘检测；精灵效果；透镜光斑；增亮；TV静噪(TV static)/噪音；圣光；遮暗；翻转磁粘；高斯模糊；着色；多边形上的视频；景深；除去颜色通道、和网格畸形。
本公开的各种实施例还提供触觉反馈效果。触觉反馈效果可以涉及使用由开关切换电路使用具有不对称权重驱动的无芯DC电机来生成的振动触感反馈。开关切换软件(例如，沉浸式软件(immersion software))可以提供各种切换顺序(例如，振动频率和模式)，每种切换顺序可以用来引起触摸设备的用户的特定传感器响应。也可以使用任何其它软件驱动的触觉/触感反馈。在一个说明性示例中，当用户触摸图像上存在水的区域时，诸如图7A中所图示的，可以播放温和的和/或低频率的振动。在另一示例中，当用户触摸岩石时，诸如图7B中所图示的，可以播放较强烈的和/或较高频率的振动。
本公开的各种实施例还提供音频反馈效果。例如，用户一触摸触摸灵敏屏幕，声音就可以开始播放。播放的特定声音可以基于与触摸点相关联的纹理特征的值来确定。在一些示例中，只要用户正在触摸屏幕，声音就可以保持循环播放。播放的声音可以取决于局部纹理特征或颜色值而改变。例如，声音的重放速度、声音强度或声音类型可以改变。
在一些示例中，重放速度可以按照与用户正在该处触摸图像的点相关联的像素的纹理特征或颜色值的函数来计算。用来将纹理特征或颜色值映射到声音重放速度的函数可以是任意的。作为示例函数，重放速度s可以按照s＝s*(fd)来计算，其中f是倍增因素，并且d>＝1是测量触摸点处的特定纹理特征的整数值。在以上示范中，速度s意指利用正常速度的s倍的速度来播放声音。注意到值d可以是图像纹理的任何单调的或非单调的函数。在一些示例中，播放的声音的强度还可以与用来计算重放速度的方式类似的方式来计算。
在一些示例中，与改变声音的重放速度或强度类似，播放的声音的类型还可以基于触摸点处的纹理特征值而改变。两种不同类别的声音可以被利用——自然的以及合成的。在从在自然(例如瀑布)中存在的声音的地方使用麦克风来记录自然的声音的同时，合成的声音通过指定声音的音频波形来生成。合成的声音的示例可以是具有特定频率的经采样的正弦波形。在其它示例中，不同类型的声音或词汇的库可以被映射到特定的所识别特征。作为一个说明性示例，当用户触摸图像上的存在水的区域时，诸如图7A中所图示的，起安抚作用的声音，诸如水流可以被播放。在另一示例中，当用户触摸岩石时，诸如图7B中所图示的，较刺耳的声音，诸如撞击声可以被播放。在其它示例中，对“水”或“岩石”的词汇的录音可以被播放。这样的实施例在帮助视力减弱的人和学习词语的儿童方面可尤其有用。
在本公开的各种实施例中，效果可以基于所提取的图像纹理特征而变更。图9图示了依照本公开的说明性实施例的，在提取的图像特征和反馈效果之间的示例性映射。在此说明性实施例中，系统200基于基础图像纹理以及用户正在触摸表面的方式来确定反馈效果的参数。在此说明性实施例中，六个主要的因素被用来调整反馈效果。
在此说明性实施例中，所提取的粗糙度值可以被用来确定辉光效果的大小参数。粗糙度越大，参数的大小越大。此关联是基于以下事实：相比于具有较小元素的纹理，具有较大元素的纹理将要求用户聚焦在图像的较大区间上。为了实现此效果，辉光的半径可以乘以已基于用户偏好归一化的粗糙度值。粗糙度值的通用可以用于增加受照明型视觉效果影响的图像区间的大小。
轻弹速度是用户在显示器上移动其手指(或光标)的速度。在此示例中，轻弹速度被用来调整运动效果。速度越大，运动模糊的大小或任何模糊型的视觉效果的大小越大。轻弹方向是用户在显示器上移动其手指(或光标)的方向。在此示例中，轻弹方向还被用来调整仅沿轻弹方向模糊图像的运动效果。
梯度大小是通过将图像与x方向和y方向这两个方向都相关联的Sobel核卷积而计算出的值。在一个示例中，3×3Sobel核可以被用于x方向和y方向这两个方向。在此说明性示例中，梯度大小可以被用来调整波纹效果。因为更高的梯度值自然地将导致更大的阻尼，所以阻尼因素可以乘以梯度值。因此，波纹在存在较大梯度量的区间中不会流动地那么快。梯度值通常可以在位移型视觉效果中被用于限制位移量。梯度方向是与梯度相关联的方向。在此说明性示例中，梯度方向实质上被用于如下所述地确定阻塞(obstruction)值。
阻塞值实质上沿着轻弹方向确定梯度的量。给定轻弹向量(Fx，Fy)和梯度向量(Gx，Gy)，阻塞值按照轻弹向量和梯度向量的点乘来计算(即，O＝Fx*Gx+Fy*Gy)。在此说明性示例中，阻塞值进而被用来调整音频和触觉效果。阻塞值越大，与引起期望的反馈相关联的能量越大。音频或触觉效果中的能量可以与诸如强度和频率的这些特性相关联。
在这些参数被应用到相关联的效果之前，它们的值可以根据用户偏好来调整或变更。机器学习系统还可以被设计为基于用户简档来推断用户偏好。图9中所图示的映射是示例性的，并不打算暗示对可依照本公开原理实现的不同映射的数量或类型的任何限制。
图10图示了依照本公开的说明性实施例的，在用于移动电话1000的用户界面1005中显示的图像。在此说明性实施例中，移动电话1000是图1中的电子设备100的一个示例。在此示例中，移动设备1000的触摸屏1010在用户界面1005中显示与来电相关联的图像1015(例如，来电的图形和用户选项)。用户界面1005还显示用于处理呼叫的选项，其包括发送短信响应、接电话和拒接电话的不同选项之一。
在此说明性实施例中，系统200已生成用于此图像1015的反馈效果，以帮助用户感知图像1015并且协助响应来电。例如，用户可能正在开会或看电影，在这种情况下存在对聆听或查看移动电话1000的约束。在这些示例中，移动电话1000可以向用户提供触觉反馈以帮助感知图像1015并且协助响应来电。例如，用户可以触摸电子设备的一个角落并且感觉到指示对用于处理呼叫的一个选项的选择的振动。在一个非限制示例中，触摸图像1015的用于接电话的区域可以触发单个短振动触感脉冲的反馈，其中，触摸“拒绝”触发单个长振动触感脉冲的反馈。类似地，触摸图像1015的用于发短信“我将稍后给你电话…”的区域可以触发两个振动触感脉冲的反馈，其中触摸发短信“不能接听。怎么了”可以触发三个振动触感脉冲的反馈。随后用户被通知用户已选择用于响应呼叫的哪个选项，而不需要看着移动电话1000，这在用户不能看着移动电话1000的情形下是有益的。与不同文本相关联的振动触感脉冲模式可以按照与可被示出为不同文本框的背景图像的不同纹理的图像相关联的参数来获得。
如以上论述以及以上论述的示例实施例所说明的，系统200还可以在生成用于图像的反馈效果参数时识别约束310并将其考虑在内。约束310是对例如在假设显示图像的设备的物理约束和环境限制的情况下可提供的反馈效果的形态的数量和类型的限制，这些物理约束和环境限制例如用户不能够查看设备(例如，设备在用户口袋里、用户正在开车、用户视力减弱等等)，在当前环境(例如，设备的静音模式)中噪音是不能接受的，或设备并非用于触摸(例如，计算机监视器或电视)。系统200可以从关于显示图像的设备中的组件的信息(例如，不具备触摸屏能力的设备、不包括触觉反馈设备175、不包括扬声器130等等)、设备的设置(例如，设备处于静音的操作模式、驾驶的操作模式、不显示的操作模式中等等)来识别这些约束，或者这些约束可被使用传感器180，例如通过光或接近检测(例如，没有感觉到光或者设备被覆盖/阻挡从而视觉反馈效果可能被约束)来自动地识别。
在识别约束310之后，系统可以限制与图像一起提供的反馈的形态。例如，当用户正在驾驶或视力减弱时，与图像一起提供的反馈的形态可以被限制在触觉和音频反馈效果。在另一示例中，当用户正在开会或看电影时，与图像一起提供的反馈的形态可以被限制在触觉效果。在另一示例中，当用户正在投影仪、电视上呈现图像或者将其上传到网站时，与图像一起提供的反馈的形态可以被限制在视觉和音频反馈效果。在又一个示例中，当医生想感觉医学图像，从而不错过任何关键畸变时，反馈效果可以被限制为触觉反馈效果。
这些限制可以被预先包括在图像的显示中，并且与图像相关联地存储以用于之后的显示。例如，在显示之时，在反馈的形态中的一个或多个被约束的情况下，系统200可以包括针对为显示的图像而设的反馈的形态的不同选项。在其它示例中，系统200可以基于对在图像的显示之时识别的约束310的识别来生成用于图像的反馈效果。
图11图示了依照本公开的各种实施例的用于生成用于图像的反馈效果的过程。例如，图11中所描绘的过程可以由图1中的电子设备100或图2中的系统200执行。
过程通过在图像的区域中识别(一个或多个)特征开始(步骤1105)。例如，在步骤1105中，过程可以识别与图像的各个区域相关联的纹理、强度和颜色。过程还可以识别存在于图像中的对象。区域中的特征可以基于用户与图像的交互，诸如触摸或轻弹来提取和识别。
过程随后将(一个或多个)特征映射到反馈效果的多个形态中的至少一个(步骤1110)。例如，在步骤1110中，过程可以将图像中的特征或特定区域映射到要提供的不同反馈效果。反馈效果的多个形态可以包括一个或多个视觉反馈效果、一个或多个触觉反馈效果、和一个或多个音频反馈效果。作为此步骤的一部分，过程还可以识别对反馈效果的形态中的哪个可被映射的约束。过程还可以基于用户与图像的交互，诸如轻弹方向或速度来映射反馈效果。
过程随后生成用于反馈效果输出的参数(步骤1115)。例如，在步骤1115中，过程可以在用户通过触摸或光标与图像交互时或随着用户通过触摸或光标与图像交互来生成参数以提供反馈效果。过程随后将所生成的参数与图像相关联地存储(步骤1120)。例如，在步骤1120中，过程可以存储所生成的参数，从而响应于与图像的区域相对应的用户的输入坐标，与图像相关联的用户界面被配置为向用户提供反馈效果的多个形态中的至少一个。作为此过程的一部分，用户可能够变更所生成的参数值。
图12图示了依照本公开的各种实施例的，用于向用户提供图像反馈效果的过程。例如，图12中所描绘的过程可以由图1中的电子设备100或图2中的系统200执行。
过程通过显示图像开始(步骤1205)。例如，在步骤1205中，过程可以使用具备触摸屏能力的设备来显示图像。过程随后从用户接收输入(步骤1210)。例如，在步骤1210中，输入可以通过对触摸屏的触摸或鼠标的光标来进行。过程随后识别与用户输入相对应的图像的坐标(步骤1215)。例如，在步骤1215中，过程可以在图像上识别触摸或光标位置的x和y坐标。过程还可以识别与图像的交互的特性，诸如轻弹方向和速度。
过程随后识别被映射到图像的区域中的(一个或多个)特征的(一个或多个)反馈效果(步骤1220)。例如，在步骤1220中，过程可以基于对应于用户输入的所提取的图像中的特征来生成反馈效果。过程还可以从所存储的图像区域或特征和反馈效果之间的映射来识别反馈效果。反馈效果可以包括一个或多个视觉反馈效果、一个或多个触觉反馈效果、和一个或多个音频反馈效果。作为此步骤的一部分，过程还可以识别对不同类型的反馈效果的约束，并且限制哪些类型的反馈效果被提供。
过程随后提供(一个或多个)反馈效果(步骤1225)。例如，在步骤1225中，过程可以响应于所检测到的用户输入而提供一个或多个视觉反馈效果、一个或多个触觉反馈效果、和/或一个或多个音频反馈效果。
虽然图11和图12分别图示了用于生成用于图像的反馈效果以及向用户提供图像反馈效果的过程的示例，但是可以对图11和图12进行各种改变。例如，虽然被示出为一系列步骤，但是每个图中的各个步骤可以重叠、并行地发生、以不同次序发生或发生多次。
虽然已经利用示例性实施例描述了本公开，但是可以向本领域技术人员建议各种变化和修改。本公开意图涵盖落入权利要求范围的这样的变化和修改。

Claims (18)

1.一种用于提供用于图像的反馈效果的方法，所述方法包括：
将图像分割成多个区间；
在图像的多个区间的每个中识别一个或多个点的一个或多个特征；
基于一个或多个特征将多个区间分类；
基于多个区间的分类，将基于一个或多个所识别的特征分类的多个区间的每个映射到反馈效果的多个形态中的至少一个；
生成用于反馈效果输出的一个或多个参数并且将所生成的一个或多个参数与图像的多个区间的每个相关联地存储；以及
响应于检测关于与图像的多个区间的每个相对应的用户的输入坐标的信息，向用户提供反馈效果的多个形态中的至少一个。
2.如权利要求1所述的方法，其中，所述反馈效果的多个形态包括一个或多个视觉反馈效果、一个或多个触觉反馈效果、以及一个或多个音频反馈效果。
3.如权利要求1所述的方法，还包括：
使用具备触摸屏能力的设备来显示图像；
识别与用户的触摸输入相对应的图像的坐标；
识别被映射到图像的区域的反馈效果；以及
使用具备触摸屏能力的设备来提供所述反馈效果。
4.如权利要求1所述的方法，其中，所述一个或多个所识别的特征包含与图像的区域相关联的纹理、强度和颜色。
5.如权利要求2所述的方法，还包括：
识别对向用户提供反馈效果的多个形态中的一个或多个形态的约束；以及
将一个或多个所识别的特征的映射约束到仅仅反馈效果的未受约束的形态。
6.如权利要求5所述的方法，其中，所述约束是视力减弱的操作模式，并且
其中，约束一个或多个所识别的特征的映射包括将一个或多个所识别的特征的映射约束到一个或多个触觉反馈效果或一个或多个音频反馈效果中的至少一个。
7.如权利要求5所述的方法，其中，识别所述约束包括使用传感器识别光量低于阈值，并且
其中，约束一个或多个所识别的特征的映射包括将一个或多个所识别的特征的映射约束到一个或多个触觉反馈效果或一个或多个音频反馈效果中的至少一个。
8.如权利要求5所述的方法，其中，所述约束是静音的操作模式，并且
其中，约束一个或多个所识别的特征的映射包括将一个或多个所识别的特征的映射约束到一个或多个视觉反馈效果或一个或多个触觉反馈效果中的至少一个。
9.如权利要求1所述的方法，还包括：
识别与所识别的多个区间的每个的至少一个特征相关联的梯度，
其中，基于多个区间的每个的分类将多个区间的每个映射到反馈效果的多个形态中的至少一个包括：对于多个区间的至少一个，使映射到多个区间的至少一个的反馈效果的至少一个形态的强度基于与在用户的输入的坐标处识别的至少一个特征相关联的梯度的值。
10.一种用于提供用于图像的反馈效果的装置，所述装置包括：
至少一个处理器；
被配置为存储程序代码的至少一个存储设备；
其中，所述处理器被配置为运行程序代码来：
将图像分割成多个区间；
在图像的多个区间的每个中识别一个或多个点的一个或多个特征；
基于一个或多个特征将多个区间分类；
基于多个区间的分类，将基于一个或多个所识别的特征分类的多个区间的每个映射到反馈效果的多个形态中的至少一个；
生成用于反馈效果输出的一个或多个参数并将所生成的一个或多个参数与图像的多个区间的每个相关联地存储；
响应于检测关于与图像的多个区间的每个相对应的用户的输入坐标的信息，向用户提供反馈效果的多个形态中的至少一个。
11.如权利要求10所述的装置，其中，所述反馈效果的多个形态包括一个或多个视觉反馈效果、一个或多个触觉反馈效果、以及一个或多个音频反馈效果。
12.如权利要求10所述的装置，其中，所述处理器还被配置为运行程序代码以便：
识别与用户的触摸输入相对应的图像的坐标；
识别被映射到图像的区域的反馈效果；以及
使用具备触摸屏能力的设备来提供所述反馈效果。
13.如权利要求10所述的装置，其中，所述一个或多个所识别的特征包含与图像的区域相关联的纹理、强度和颜色。
14.如权利要求11所述的装置，其中，所述处理器还被配置为运行程序代码以便：
识别对向用户提供反馈效果的多个形态中的一个或多个的约束；以及
将一个或多个所识别的特征的映射约束到仅仅反馈效果的未受约束的形态。
15.如权利要求14所述的装置，其中：
所述约束是视力减弱的操作模式，并且
其中，所述处理器还被配置为运行程序代码以便将一个或多个所识别的特征的映射约束到一个或多个触觉反馈效果或一个或多个音频反馈效果中的至少一个。
16.如权利要求14所述的装置，其中，所述处理器还被配置为运行程序代码以便使用传感器识别光量低于阈值的约束，并且
将一个或多个所识别的特征的映射约束到一个或多个触觉反馈效果或一个或多个音频反馈效果中的至少一个。
17.如权利要求14所述的装置，其中：
所述约束是静音的操作模式，并且
其中，所述处理器还被配置为运行程序代码以便将一个或多个所识别的特征的映射约束到一个或多个视觉反馈效果或一个或多个触觉反馈效果中的至少一个。
18.如权利要求17所述的装置，其中，所述图像与正接收的呼叫相关联，其中，图像上的不同区域对应于可响应于所述呼叫而作出的不同动作，并且其中，所映射的反馈效果是指示响应于来自用户的触摸输入而作出的动作的触觉反馈效果。
CN201380044475.4A 2012-08-20 2013-08-16 用于感知具有多形态反馈的图像的系统和方法 Active CN104583912B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201261691135P 2012-08-20 2012-08-20
US61/691,135 2012-08-20
US201261709870P 2012-10-04 2012-10-04
US61/709,870 2012-10-04
US13/954,523 2013-07-30
US13/954,523 US9280206B2 (en) 2012-08-20 2013-07-30 System and method for perceiving images with multimodal feedback
PCT/KR2013/007406 WO2014030888A1 (en) 2012-08-20 2013-08-16 System and method for perceiving images with multimodal feedback

Publications (2)

Publication Number Publication Date
CN104583912A CN104583912A (zh) 2015-04-29
CN104583912B true CN104583912B (zh) 2017-08-25

Family

ID=50099733

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380044475.4A Active CN104583912B (zh) 2012-08-20 2013-08-16 用于感知具有多形态反馈的图像的系统和方法

Country Status (6)

Country Link
US (1) US9280206B2 (zh)
EP (1) EP2885690A4 (zh)
JP (1) JP6359538B2 (zh)
KR (1) KR102162419B1 (zh)
CN (1) CN104583912B (zh)
WO (1) WO2014030888A1 (zh)

Families Citing this family (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9417754B2 (en) 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
CN108287651B (zh) 2012-05-09 2021-04-13 苹果公司 用于针对在用户界面中执行的操作提供触觉反馈的方法和装置
WO2013169845A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for scrolling nested regions
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
WO2013169875A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying content associated with a corresponding affordance
JP2015519656A (ja) 2012-05-09 2015-07-09 アップル インコーポレイテッド ユーザインタフェースオブジェクトを移動し、ドロップするためのデバイス、方法及びグラフィカルユーザインタフェース
DE112013002409T5 (de) 2012-05-09 2015-02-26 Apple Inc. Vorrichtung, Verfahren und grafische Benutzeroberfläche für die Anzeige zusätzlicher Informationen in Reaktion auf einen Benutzerkontakt
WO2013169851A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for facilitating user interaction with controls in a user interface
JP6182207B2 (ja) 2012-05-09 2017-08-16 アップル インコーポレイテッド ユーザインタフェースオブジェクトのアクティブ化状態を変更するためのフィードバックを提供するためのデバイス、方法、及びグラフィカルユーザインタフェース
JP6002836B2 (ja) 2012-05-09 2016-10-05 アップル インコーポレイテッド ジェスチャに応答して表示状態間を遷移するためのデバイス、方法、及びグラフィカルユーザインタフェース
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
WO2013169877A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting user interface objects
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
EP3467634B1 (en) 2012-12-29 2020-09-23 Apple Inc. Device, method, and graphical user interface for navigating user interface hierarchies
EP2939098B1 (en) 2012-12-29 2018-10-10 Apple Inc. Device, method, and graphical user interface for transitioning between touch input to display output relationships
EP2912542B1 (en) 2012-12-29 2022-07-13 Apple Inc. Device and method for forgoing generation of tactile output for a multi-contact gesture
CN105144057B (zh) 2012-12-29 2019-05-17 苹果公司 用于根据具有模拟三维特征的控制图标的外观变化来移动光标的设备、方法和图形用户界面
JP6097843B2 (ja) 2012-12-29 2017-03-15 アップル インコーポレイテッド コンテンツをスクロールするか選択するかを判定するためのデバイス、方法、及びグラフィカルユーザインタフェース
WO2014105279A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for switching between user interfaces
EP2976694B1 (en) * 2013-03-20 2019-10-09 Nokia Technologies Oy A touch display device with tactile feedback
US9864972B2 (en) 2013-11-14 2018-01-09 Wells Fargo Bank, N.A. Vehicle interface
US10037542B2 (en) 2013-11-14 2018-07-31 Wells Fargo Bank, N.A. Automated teller machine (ATM) interface
US10021247B2 (en) 2013-11-14 2018-07-10 Wells Fargo Bank, N.A. Call center interface
US11023655B2 (en) * 2014-06-11 2021-06-01 Microsoft Technology Licensing, Llc Accessibility detection of content properties through tactile interactions
AU2015312344B2 (en) 2014-09-02 2018-04-19 Apple Inc. Semantic framework for variable haptic output
WO2016067254A1 (en) * 2014-10-30 2016-05-06 Koninklijke Philips N.V. Texture analysis map for image data
US9971406B2 (en) * 2014-12-05 2018-05-15 International Business Machines Corporation Visually enhanced tactile feedback
US9645732B2 (en) 2015-03-08 2017-05-09 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US9990107B2 (en) 2015-03-08 2018-06-05 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US10048757B2 (en) * 2015-03-08 2018-08-14 Apple Inc. Devices and methods for controlling media presentation
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US9639184B2 (en) 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
US9785305B2 (en) 2015-03-19 2017-10-10 Apple Inc. Touch input cursor manipulation
US10067653B2 (en) 2015-04-01 2018-09-04 Apple Inc. Devices and methods for processing touch inputs based on their intensities
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
KR20160137258A (ko) * 2015-05-22 2016-11-30 삼성전자주식회사 전자 장치 및 그의 화면 표시 방법
KR101654906B1 (ko) * 2015-05-28 2016-09-22 경희대학교 산학협력단 캐릭터 동작 제어 장치 및 방법
US9674426B2 (en) 2015-06-07 2017-06-06 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10200598B2 (en) 2015-06-07 2019-02-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9891811B2 (en) 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
US9830048B2 (en) 2015-06-07 2017-11-28 Apple Inc. Devices and methods for processing touch inputs with instructions in a web page
US10346030B2 (en) 2015-06-07 2019-07-09 Apple Inc. Devices and methods for navigating between user interfaces
US10248308B2 (en) 2015-08-10 2019-04-02 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interfaces with physical gestures
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
US10416800B2 (en) 2015-08-10 2019-09-17 Apple Inc. Devices, methods, and graphical user interfaces for adjusting user interface objects
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
KR102516670B1 (ko) * 2015-08-18 2023-04-03 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
KR20170039379A (ko) * 2015-10-01 2017-04-11 삼성전자주식회사 전자 장치 및 이의 제어 방법
US10600336B2 (en) * 2015-10-02 2020-03-24 Purdue Research Foundation Multimodal image perception system and method
EP3374038B1 (en) * 2015-11-09 2020-09-30 Tgoma Nz Limited Trampoline for use as an input device for an electronic game
US10296088B2 (en) * 2016-01-26 2019-05-21 Futurewei Technologies, Inc. Haptic correlated graphic effects
KR102456953B1 (ko) * 2016-03-11 2022-10-21 한국전자통신연구원 이미지 제공 장치 및 방법
DK179823B1 (en) 2016-06-12 2019-07-12 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROVIDING HAPTIC FEEDBACK
CN106383587B (zh) * 2016-10-26 2020-08-04 腾讯科技（深圳）有限公司 一种增强现实场景生成方法、装置及设备
EP3559781A1 (en) 2016-12-21 2019-10-30 Telefonaktiebolaget LM Ericsson (PUBL) Region of interest classification
US10147460B2 (en) * 2016-12-28 2018-12-04 Immersion Corporation Haptic effect generation for space-dependent content
EP3427664A1 (en) * 2017-07-13 2019-01-16 Koninklijke Philips N.V. A device for scatter correction in an x-ray image and a method for scatter correction in an xray image
KR102429901B1 (ko) * 2017-11-17 2022-08-05 삼성전자주식회사 부분 영상을 생성하기 위한 전자 장치 및 그의 동작 방법
US11094055B2 (en) * 2018-01-11 2021-08-17 Intelinair, Inc. Anomaly detection system
CN108803925A (zh) * 2018-05-24 2018-11-13 上海闻泰信息技术有限公司 触屏效果的实现方法、装置、终端和介质
CN109240585A (zh) * 2018-08-08 2019-01-18 瑞声科技(新加坡)有限公司 一种人机交互的方法、装置、终端和计算机可读存储介质
IT201800009989A1 (it) * 2018-10-31 2020-05-01 Neosperience Spa Metodo per gestire una interazione informativa con un utente, programma software per eseguire detto metodo e dispositivo elettronico dotato di detto software
CN109343716B (zh) * 2018-11-16 2022-05-10 Oppo广东移动通信有限公司 一种图像显示方法及装置、计算机可读存储介质
US11927944B2 (en) * 2019-06-07 2024-03-12 Honeywell International, Inc. Method and system for connected advanced flare analytics
CN110244845B (zh) * 2019-06-11 2022-08-05 Oppo广东移动通信有限公司 触觉反馈方法、装置、电子设备及存储介质
KR102125567B1 (ko) * 2019-07-02 2020-06-22 한양대학교 에리카산학협력단 식물 엑소좀의 대량 생산 방법
US11645323B2 (en) 2020-02-26 2023-05-09 Samsung Electronics Co.. Ltd. Coarse-to-fine multimodal gallery search system with attention-based neural network models
CN112099667B (zh) * 2020-09-11 2024-03-08 京东方科技集团股份有限公司 一种触觉传感及反馈基板及其驱动方法
US20210117152A1 (en) * 2020-10-23 2021-04-22 Intel Corporation Systems, methods, and apparatus for providing accessible user interfaces
CN112596612A (zh) * 2020-12-28 2021-04-02 北京小米移动软件有限公司 触感反馈生成方法、触感反馈生成装置及存储介质
CN113704922B (zh) * 2021-09-01 2024-02-02 江苏师范大学 一种基于声振及纹理特征预测表面粗糙度的方法
US20230152896A1 (en) * 2021-11-16 2023-05-18 Neosensory, Inc. Method and system for conveying digital texture information to a user

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1659551A (zh) * 2001-10-04 2005-08-24 诺文特技术公司 人机接口技术领域中使触觉与可视图像相一致
WO2011029055A1 (en) * 2009-09-03 2011-03-10 Obscura Digital, Inc. Apparatuses, methods and systems for a visual query builder

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4567817B2 (ja) * 1997-09-11 2010-10-20 ソニー株式会社 情報処理装置及びその制御方法
JP3987182B2 (ja) * 1998-01-26 2007-10-03 Ｉｄｅｃ株式会社 情報表示装置および操作入力装置
US6226399B1 (en) 1999-05-27 2001-05-01 Integral Vision, Inc. Method and system for identifying an image feature and method and system for determining an optimal color space for use therein
JP2001189774A (ja) * 1999-12-28 2001-07-10 Nec Corp スケジュール管理装置とスケジュール管理方法及びスケジュール管理プログラムを記録した記録媒体
JP2006074477A (ja) * 2004-09-02 2006-03-16 Pioneer Electronic Corp 通信用端末装置、通信用端末装置の機能設定変更方法及びそのプログラム
JP2008033739A (ja) * 2006-07-31 2008-02-14 Sony Corp 力覚フィードバックおよび圧力測定に基づくタッチスクリーンインターラクション方法および装置
JP2008219709A (ja) * 2007-03-07 2008-09-18 Pioneer Electronic Corp 遠隔操作装置
US20090102805A1 (en) * 2007-10-18 2009-04-23 Microsoft Corporation Three-dimensional object simulation using audio, visual, and tactile feedback
US9170649B2 (en) 2007-12-28 2015-10-27 Nokia Technologies Oy Audio and tactile feedback based on visual environment
US8138896B2 (en) * 2007-12-31 2012-03-20 Apple Inc. Tactile feedback in an electronic device
US20090207175A1 (en) * 2008-02-15 2009-08-20 Apple Inc. Animation Using Animation Effect and Trigger Element
US9357052B2 (en) * 2008-06-09 2016-05-31 Immersion Corporation Developing a notification framework for electronic device events
US9696803B2 (en) * 2009-03-12 2017-07-04 Immersion Corporation Systems and methods for friction displays and additional haptic effects
CN102473035B (zh) 2009-07-22 2015-01-21 意美森公司 具有横跨平台的触觉反馈的交互式触摸屏游戏象征
KR101324687B1 (ko) * 2009-08-10 2013-11-04 한국과학기술원 이미지에 햅틱 정보를 인코딩하는 방법, 이미지로부터 햅틱 정보를 디코딩하는 방법 및 이를 위한 햅틱 정보 처리 장치
US8171049B2 (en) 2009-09-18 2012-05-01 Xerox Corporation System and method for information seeking in a multimedia collection
US20110267181A1 (en) 2010-04-29 2011-11-03 Nokia Corporation Apparatus and method for providing tactile feedback for user
US9501145B2 (en) * 2010-05-21 2016-11-22 Disney Enterprises, Inc. Electrovibration for touch surfaces
US9417665B2 (en) * 2010-06-28 2016-08-16 Apple Inc. Providing an alternative human interface
US8693788B2 (en) 2010-08-06 2014-04-08 Mela Sciences, Inc. Assessing features for classification
JP5598981B2 (ja) * 2010-10-14 2014-10-01 国立大学法人宇都宮大学 知覚刺激情報生成システム
TWI435251B (zh) * 2011-08-09 2014-04-21 Wistron Corp 推估觸摸螢幕之壓力變化之方法及系統
US9063570B2 (en) * 2012-06-27 2015-06-23 Immersion Corporation Haptic feedback control system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1659551A (zh) * 2001-10-04 2005-08-24 诺文特技术公司 人机接口技术领域中使触觉与可视图像相一致
WO2011029055A1 (en) * 2009-09-03 2011-03-10 Obscura Digital, Inc. Apparatuses, methods and systems for a visual query builder

Also Published As

Publication number Publication date
US9280206B2 (en) 2016-03-08
JP6359538B2 (ja) 2018-07-18
US20140049491A1 (en) 2014-02-20
JP2015531932A (ja) 2015-11-05
WO2014030888A1 (en) 2014-02-27
EP2885690A4 (en) 2016-01-27
KR102162419B1 (ko) 2020-10-06
KR20150046105A (ko) 2015-04-29
CN104583912A (zh) 2015-04-29
EP2885690A1 (en) 2015-06-24

Similar Documents

Publication Publication Date Title
CN104583912B (zh) 用于感知具有多形态反馈的图像的系统和方法
JP7090210B2 (ja) シミュレートされた深度効果のためのユーザインタフェース
WO2021027649A1 (zh) 一种暗模式显示界面处理方法、电子设备与存储介质
US9836929B2 (en) Mobile devices and methods employing haptics
CN111541907B (zh) 物品显示方法、装置、设备及存储介质
KR20180122637A (ko) 물리적 환경의 시각 이미지들의 가상 현실에의 통합을 위한 공간 관계들
CN109064390A (zh) 一种图像处理方法、图像处理装置及移动终端
KR20160113666A (ko) 오디오 탐색 지원
CN109766048B (zh) 一种柔性显示屏的显示方法及移动终端
KR20140103003A (ko) 보청기를 제어하는 휴대 단말 및 방법
CN105426079B (zh) 图片亮度的调整方法及装置
US20140082491A1 (en) Electronic device and editing method for synthetic image
CN108563327B (zh) 增强现实方法、装置、存储介质及电子设备
CN107729880A (zh) 人脸检测方法及装置
CN105574834B (zh) 图像处理方法及装置
CN110765525A (zh) 生成场景图片的方法、装置、电子设备及介质
CN110991457A (zh) 二维码处理方法、装置、电子设备及存储介质
CN114693890A (zh) 一种增强现实交互方法及电子设备
KR20150091692A (ko) 형용사 공간에서 진동 생성 방법 및 디바이스
JP2019102018A (ja) 情報処理装置及びプログラム
CN110675473A (zh) 生成gif动态图的方法、装置、电子设备及介质
US11893207B2 (en) Generating a semantic construction of a physical setting
JP2015011352A (ja) 表示画面を備えた端末装置を用いた周囲雑音による注意散漫の低減
CN111093025B (zh) 一种图像处理方法及电子设备
KR20210158695A (ko) 영상에서 평면을 검출하는 전자 장치 및 그 동작 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant