CN114647306A - 触觉内容呈现和实现 - Google Patents

触觉内容呈现和实现 Download PDF

Info

Publication number
CN114647306A
CN114647306A CN202111535262.4A CN202111535262A CN114647306A CN 114647306 A CN114647306 A CN 114647306A CN 202111535262 A CN202111535262 A CN 202111535262A CN 114647306 A CN114647306 A CN 114647306A
Authority
CN
China
Prior art keywords
interest
computing device
region
video
touch screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111535262.4A
Other languages
English (en)
Inventor
埃文·M·戈德堡
丹尼尔·L·贝克
杰克逊·A·罗高
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Disney Enterprises Inc
Original Assignee
Disney Enterprises Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Disney Enterprises Inc filed Critical Disney Enterprises Inc
Publication of CN114647306A publication Critical patent/CN114647306A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/003—Teaching or communicating with blind persons using tactile presentation of the information, e.g. Braille displays
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/007—Teaching or communicating with blind persons using both tactile and audible presentation of the information
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00—Audible signalling systems; Audible personal calling systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开涉及触觉内容呈现和实现。一种方法包括在触摸屏上显示包括视频帧的视频并且基于视频帧的显著图确定视频帧中的感兴趣区域。该方法还包括在显示视频帧时检测触摸屏区域上的触摸，并响应于确定触摸屏区域与感兴趣区域重叠而生成触觉响应。

Description

触觉内容呈现和实现
技术领域
本公开涉及触觉内容呈现和实现。
背景技术
每天有数亿人(例如，在计算机、智能手机、电视等上)观看和欣赏视频内容。然而，盲人或视障人士在观看视频时会遇到挑战。因为他们不能完全看到视频，所以使用其他技术来传达视频中发生的事情。例如，可以在视频的不同部分播放描述性音轨，以描述视频中显示的事件。然而，这些技术会干扰内容的呈现。例如，描述性音频可能与视频的常规音轨冲突，因为它在主音轨的顶部播放。
发明内容
根据实施例，一种方法包括在触摸屏上显示包括视频帧的视频，以及基于视频帧的显著图来确定视频帧中的感兴趣区域。该方法还包括在显示视频帧时检测触摸屏区域上的触摸，以及响应于确定触摸屏区域与感兴趣区域重叠而生成触觉响应。其他实施例包括执行该方法的装置和系统。
附图说明
可以通过参考附图了解得到并且能够详细理解上述方面的方式，上面简要概括的本文描述的实施例的更具体的描述。
然而，应当注意的是，附图示出了典型的实施例并且因此不应被认为是限制性的；其他同样有效的实施例也被考虑在内。
图1示出了示例系统；
图2是图1的系统中的示例方法的流程图；
图3是图1的系统中的示例方法的流程图；
图4示出了图1的系统中的示例视频帧；
图5示出了图1的系统中的示例显著图；
图6示出了图1的系统中的示例触摸检测；并且
图7示出了图1的系统中的示例触觉响应。
具体实施方式
本公开描述了一种帮助盲人和视障人士体验和欣赏视频内容的系统。通常，系统使用显著图来识别视频帧中的感兴趣区域，其可以对应于视频帧中与视频主题相关的对象。用户可以触摸视频帧的不同区域(例如，使用触摸屏)，并且当用户触摸这些相关对象之一时，用户的设备可以生成触觉响应(例如，振动)以向用户提供反馈用户正在触摸相关对象。在某些实施例中，以这种方式，盲人或视障用户可以在不使用描述性音轨的情况下理解视频中发生的事情。
图1示出了示例系统100。如图1中所见，系统100包括计算设备104、网络106和视频服务器108。通常，计算设备104生成对视频中感兴趣区域上的触摸的触觉响应。在特定实施例中，触觉响应帮助盲人或视障用户102理解视频中的内容或事件的空间关系。
用户102使用计算设备104来与系统100的其他组件交互。例如，计算设备104可以从视频服务器108接收和呈现视频。替代地或另外地，视频可以存储在计算设备104的存储器中或直接加载到计算设备104上(例如，通过便携式存储介质，例如光盘或存储驱动器)。当向用户102呈现视频时，计算设备104可以检测对视频中感兴趣区域的触摸。计算设备104然后可以生成触觉响应以提醒用户102触摸发生在感兴趣区域上。如图1所示，计算设备104包括处理器114、存储器116和触摸屏118，其可以被配置为执行这里描述的计算设备104的动作和功能。计算设备104还包括以下至少之一：(i)一个或多个层119，例如设置在例如触摸屏118的表面上的导电层或绝缘层，(ii)致动器120，或(iii)扬声器122。计算设备104的一些实施例可能不包括这些组件中的每一个。例如，计算设备104可以仅包括以下之一：(i)一个或多个层119、(ii)致动器120或(iii)扬声器122。在另一示例中，计算设备104可以仅包括以下中的两个：(i)一个或多个层119，(ii)致动器120)，或(iii)扬声器122。在又一示例中，计算设备104可以包括以下中的每个：(i)一个或多个层119，(ii)致动器120，和(iii)扬声器122。作为另一个示例，触摸屏118的不同实施例可以包括不同类型的层119。
计算设备104包括用于通过网络106与系统100的组件通信的任何合适的设备。作为示例而非限制，计算设备104可以是计算机、膝上型计算机、无线或蜂窝电话、电子笔记本、个人数字助理、平板电脑或能够接收、处理、存储信息或与系统100的其他组件通信信息的任何其他设备。计算设备104可以是可穿戴设备，例如虚拟现实或增强现实耳机、智能手表或智能眼镜。计算设备104可以是视频游戏系统或控制台。关于触摸屏118，触摸屏118可以与计算设备104物理集成或可以通信地耦合到计算设备104但在物理上与计算设备104分离。例如，在计算设备104被实现为智能电话、膝上型计算机或平板计算机的情况下，触摸屏118通常将与计算设备104集成。相比之下，在计算设备104被实现为台式计算机的情况下，触摸屏118可以采用与计算机塔形式的计算设备104分离的监视器的形式。计算设备104还可以包括用户接口，例如麦克风、键盘或用户102可用的其他合适的终端设备。计算设备104可以包括硬件处理器、存储器或被配置为执行这里描述的计算设备104的功能或动作中的任一个的电路。例如，使用软件代码设计的软件应用程序可以存储在存储器中并且由处理器执行以执行计算设备104的功能。
处理器114是任何电子电路，包括但不限于微处理器、专用集成电路(ASIC)、专用指令集处理器(ASIP)和/或状态机，其通信地耦合到存储器116并控制计算设备104的操作。处理器114可以是8位、16位、32位、64位或任何其他合适的架构。处理器114可以包括用于执行算术和逻辑运算的算术逻辑单元(ALU)、向ALU提供操作数并存储ALU运算的结果的处理器寄存器、以及从存储器获取指令并通过指导ALU、寄存器和其他组件的协调操作来执行它们的控制单元。处理器114可以包括操作软件以控制和处理信息的其他硬件。处理器114执行存储在存储器上的软件以执行这里描述的任何功能。处理器114通过处理信息(例如，从视频服务器108、网络106和存储器116接收的信息)来控制计算设备104的操作和管理。处理器114可以是可编程逻辑器件、微控制器、微处理器、任何合适的处理设备或前述的任何合适的组合。处理器114不限于单个处理设备并且可以包含多个处理设备。
存储器116可以永久地或临时地存储处理器114的数据、操作软件或其他信息。存储器116可以包括适合于存储信息的易失性或非易失性本地或远程设备中的任何一个或组合。例如，存储器116可以包括随机存取存储器(RAM)、只读存储器(ROM)、磁存储设备、光存储设备或任何其他合适的信息存储设备或这些设备的组合。软件代表包含在计算机可读存储介质中的任何合适的指令、逻辑或代码集。例如，软件可以体现在存储器116、磁盘、CD或闪存驱动器中。在特定实施例中，软件可包括可由处理器114执行以执行本文所述的一个或多个功能的应用程序。
触摸屏118可以包括显示器和触摸检测电路。通常，触摸检测电路可以覆盖在显示器的一部分上，使得触摸屏118可以通过显示器呈现视觉信息(例如，视频)并且通过触摸检测电路检测触摸。触摸屏118可以向用户102呈现视频124。可以从视频服务器108(例如，通过流)接收视频124。在某些实施例中，视频124可能已经存储在计算设备104内而不是从视频服务器108接收。当用户102指示计算设备104播放视频124时，计算设备104可以在触摸屏118上呈现视频。视频124包括顺序播放的各个图像帧126。每个帧126可以是静止图像。播放视频124使计算设备104在触摸屏118上按顺序播放这些帧126。
计算设备104可以使用显著图128来识别视频124的一个或多个帧126中的一个或多个感兴趣区域130。在特定实施例中，视频服务器108生成显著图128并将其传送到计算设备104。例如，视频服务器108可以在与视频124的流分开的流中传送显著图128。作为另一个示例，视频服务器108可以在与视频124相同的流中传送显著图128，这可以提供更可靠的同步。在一些实施例中，计算设备104可以处理视频124和帧126以生成显著图128，这可以减少视频服务器108存储、处理和传输的数据量。通常，显著图128识别帧126中的一个或多个感兴趣区域130。显著图128可以使用任何合适的过程生成，例如美国申请No.16/840,201中描述的一个或多个过程，该申请通过引用并入本文。在一些实施例中，人类操作员可以通过在视频124的帧126中标记感兴趣的区域或对象来手动生成显著图128。
当计算设备104正在播放视频124时，用户102可以触摸触摸屏118。当用户102触摸触摸屏118时，触摸屏118可以检测或注册触摸132。例如，触摸屏118可以检测触摸132发生并记录触摸132的坐标。坐标可以指示触摸屏118的触摸132正在发生的区域。计算设备104然后可以确定触摸屏118的其中发生触摸132的区域的一部分是否与显著图128所指示的帧126中的感兴趣区域130的一部分重叠。如果触摸屏118的其中发生触摸132的区域的一部分与感兴趣区域130的一部分重叠，则计算设备104可以生成响应以提醒用户102：用户102正在触摸感兴趣区域130。当计算设备104确定这些区域部分重叠或这些区域中的一个与另一个完全重叠时，计算设备104可以确定触摸屏118的触摸132发生的区域与感兴趣区域130重叠。换句话说，本公开考虑在区域部分重叠或完全重叠时区域重叠。
计算设备104可以使用致动器120、触摸屏118或扬声器122来生成对用户102的响应。例如，计算设备104可以使用致动器120、扬声器122或触摸屏118以生成用户102在触摸计算设备104时可以感觉到的触觉响应134。致动器120可以是任何合适的致动器，例如压电致动器或电磁致动器(例如，马达)。计算设备104可以激活致动器120以生成触觉响应134，其可以是计算设备104中的机械振动或脉冲。替代地或除了使用致动器120之外，计算设备104可以激活扬声器122以产生触觉响应134。扬声器122可以产生在计算设备104中引起机械振动或脉动的低频音频信号。用户102可以感觉到当触摸计算设备104时由致动器120产生的机械脉动或振动或来自扬声器122的低频音频信号(例如，振动)。
替代地或除了激活致动器120或扬声器122之外，计算设备104可以使用触摸屏118来生成触觉响应134。例如，触摸屏118可以包括一个或多个层119，诸如导电层和薄绝缘层。层119可以形成触摸屏118的表面，并且计算设备104可以通过一个或多个层119(例如，通过导电层)传送电信号，使得电信号使用户102在触摸触摸屏118时体验感觉。例如，当用户102正在触摸触摸屏118时，电信号可以使用户102感知类似于触摸屏118从平滑变为粗糙的感觉(也称为电振动)。尽管触摸屏118的物理纹理没有改变，但是电信号使用户102感觉触摸屏118的纹理正在改变。作为另一个示例，计算设备104可以传送实际改变触摸屏118的物理纹理的电信号(与触摸屏118的物理纹理没有改变但用户102感觉纹理变化的之前示例相比)。触摸屏118可以包括基于电信号改变物理纹理的材料的一个或多个层119。例如，触摸屏118可以包括磁流变流体(例如，包含在层119中)，其基于由电信号控制的电磁体改变形状(例如，从圆形到尖锐)、纹理(例如，从光滑到凹凸不平或波浪形)或硬度(例如，从柔软到硬)。当触摸触摸屏118时，用户102可以感觉到这些纹理变化。
在某些实施例中，计算设备104可以基于用户102正在触摸的感兴趣区域130来改变触觉响应134的某些方面。例如，计算设备104可以基于感兴趣区域130中的对象的大小、对象的曲率或对象在视频帧126中的深度(例如，对象是否在帧126的前景区域、中景区域或背景区域中)中的一个或多个来改变触觉响应134的强度或频率。计算设备104可以对这些因素中的一个或多个应用权重并且基于这些因素的加权和来改变触觉响应134的强度或频率。作为另一示例，计算设备104可以基于由显著图128指示的感兴趣区域130的显著性等级(例如，感兴趣区域130越显著、重要或相关，触觉响应134的强度或频率越高)改变触觉响应134的强度或频率。在特定实施例中，通过改变触觉响应134，计算设备104可以向用户102通知感兴趣区域130的不同特性。例如，计算设备104可以向用户102通知感兴趣区域中的对象的大小、曲率或深度。作为另一示例，计算设备104可以向用户102通知感兴趣区域130的显著性、重要性或相关性。
在特定实施例中，计算设备104可以使用扬声器122来生成当触摸132发生在与感兴趣区域130的一部分重叠的触摸屏118的一部分上时用户102听到的音频响应136。例如，扬声器122可以播放音频信号(不同于为触觉响应134生成的低频信号)以生成音频响应136。音频响应136提供附加的可听信号，提醒用户102触摸132发生在感兴趣区域130上。在某些实施例中，计算设备104生成触觉响应134和音频响应136。
与触觉响应134一样，计算设备104可以基于用户102正在触摸的感兴趣区域130来改变音频响应136的某些方面。例如，计算设备104可以基于感兴趣区域130中对象的大小、对象的曲率或对象在视频帧126中的深度中的一个或多个来改变音频响应136的音量或频率。另外或替代地，计算设备104可以基于如显著图128所指示的感兴趣区域130的显著性等级来改变音频响应136的音量或频率(例如，感兴趣区域130越显著、重要或相关，音频响应136的音量或频率越高)。在特定实施例中，通过改变音频响应136，计算设备104可以将感兴趣区域130的不同特性通知给用户102。
网络106是可操作以促进系统100的组件之间的通信的任何合适的网络。网络106可以包括能够传输音频、视频、信号、数据、消息或前述的任何组合的任何互连系统。网络106可以包括以下中的全部或部分：公共交换电话网(PSTN)、公共或专用数据网、局域网(LAN)、城域网(MAN)、广域网(WAN)、本地、区域或全球通信或计算机网络，例如因特网、有线或无线网络、企业内部网或任何其他合适的通信链路，包括它们的组合，其可操作以促进组件之间的通信。
在某些实施例中，视频服务器108存储视频124并将其传送到计算设备104。如图1中所见，视频服务器108包括处理器110和存储器112，其可以被配置为执行这里描述的视频服务器108的任何动作或功能。在特定实施例中，视频服务器108可以在流中将视频124传送到计算设备104。
处理器110是任何电子电路，包括但不限于微处理器、ASIC、ASIP和/或状态机，其通信地耦合到存储器112并控制视频服务器108的操作。处理器110可以是8位、16位、32位、64位或任何其他合适的架构。处理器110可以包括用于执行算术和逻辑运算的ALU、向ALU提供操作数并存储ALU运算的结果的处理器寄存器、以及从存储器获取指令并通过指导ALU、寄存器和其他组件的协调操作来执行它们的控制单元。处理器110可以包括操作软件以控制和处理信息的其他硬件。处理器110执行存储在存储器上的软件以执行这里描述的任何功能。处理器110通过处理信息(例如，从计算设备104、网络106和存储器112接收的信息)来控制视频服务器108的操作和管理。处理器110可以是可编程逻辑器件、微控制器、微处理器、任何合适的处理设备或前述的任何合适的组合。处理器110不限于单个处理设备并且可以包含多个处理设备。
存储器112可以永久地或临时地存储处理器110的数据、操作软件或其他信息。存储器112可以包括适合于存储信息的易失性或非易失性本地或远程设备中的任何一个或组合。例如，存储器112可以包括RAM、ROM、磁存储设备、光存储设备或任何其他合适的信息存储设备或这些设备的组合。软件代表包含在计算机可读存储介质中的任何合适的指令、逻辑或代码集。例如，软件可以体现在存储器112、磁盘、CD或闪存驱动器中。在特定实施例中，软件可包括可由处理器110执行以执行本文所述的一个或多个功能的应用程序。
在某些实施例中，视频服务器108生成显著图128并将其在流中传送到计算设备104。视频服务器108使用任何合适的过程处理视频124的帧126以生成显著图128。例如，视频服务器108可以使用美国申请No.16/840,201中描述的一个或多个过程，该申请通过引用并入本文。
图2是图1的系统100中的示例方法200的流程图。通常，计算设备104执行方法200。在特定实施例中，通过执行方法200，计算设备104生成有助于帮助盲人或视障用户102理解视频124中的内容或事件的响应。虽然方法200的块在图2中以特定顺序呈现，但是方法200的块可以以任何合适的顺序执行。例如，一些块可以以不同的顺序执行(例如，块204可以在块202之前执行)。作为另一示例，可以同时执行一些块(例如，可以同时执行块202和块206)。
在块202中，计算设备104显示包括视频帧126的视频124。例如，计算设备104可以在触摸屏118上显示视频124和视频帧126。计算设备104可以在流中从视频服务器108接收视频124。
在块204中，计算设备104确定视频帧126中的感兴趣区域130。计算设备104可以使用显著图128来识别感兴趣区域130。在某些实施例中，计算设备104可以已经从视频服务器108接收到显著图128。例如，视频服务器108可能已经在与视频124的流分开的流中将显著图128传送到计算设备104。在一些实施例中，计算设备104可以处理视频124或视频帧126以生成显著图128。通常，显著图128指示视频帧126中的一个或多个感兴趣区域130。这些感兴趣区域130可以包括视频帧126中被确定为显著或相关的一个或多个对象。计算设备104或视频服务器108可以使用在美国申请No.16/840,201中描述的一个或多个过程(该申请通过引用并入本文)，以分析视频帧126或视频124以识别这些显著或相关对象并且确定感兴趣的区域130。
在块206中，计算设备104在显示帧126的同时检测触摸屏118的区域上的触摸132。触摸屏118可以包括可以检测触摸132的触摸检测电路。计算设备104可以检测触摸132并且确定触摸132的坐标。坐标可以指示触摸屏118的发生触摸132的区域。
在块208中，计算设备104确定触摸屏118的发生触摸132的区域是否与显著图128指示的感兴趣区域130重叠。换句话说，计算设备104确定用户102是否正在触摸帧126中的感兴趣区域130。如果用户102没有触摸感兴趣区域130，则计算设备104可以结束方法200而不产生响应。如果用户102正在触摸感兴趣区域130，则计算设备104在块210中生成响应。例如，计算设备104可以生成用户102可以感觉到的触觉响应134。计算设备104可以激活致动器120以产生用户102在触摸计算设备104时可以感觉到的机械振动或脉冲。作为另一个示例，计算设备104可以激活扬声器122以生成产生当触摸计算设备104时用户102可以感觉到的机械振动或脉冲的低频音频信号。作为另一个示例，计算设备104可以通过触摸屏118的层119传送电信号，使得当用户102触摸层119时，电信号使用户102感知感觉。该触觉响应134提醒用户102：用户102正在触摸感兴趣的区域130，这有助于用户102理解视频124内的内容或事件。替代地或另外，计算设备104可以生成可以被用户102听到的音频响应136。计算设备104可以激活扬声器122以生成可以被用户102听到的音频信号以提醒用户102：用户102正在触摸感兴趣区域130。音频响应136帮助用户102理解视频124内的内容或事件。
在某些实施例中，计算设备104可以基于用户102正在触摸的感兴趣区域130来改变触觉响应134的某些方面。例如，计算设备104可以基于感兴趣区域中的对象的大小、对象的曲率或对象在视频帧126中的深度来改变触觉响应的强度或频率。此外或替代地，计算设备104可以基于由显著图128指示的感兴趣区域130的显著性等级来改变触觉响应134的强度或频率(例如，感兴趣区域130越显著、重要或相关，触觉响应134的强度或频率越高)。在特定实施例中，通过改变触觉响应134，计算设备104可以将感兴趣区域130的不同特性通知给用户102。
图3是图1的系统100中的示例方法300的流程图。计算设备104或视频服务器108可以执行方法300。在特定实施例中，通过执行方法300，计算设备104或者视频服务器108生成显著图128，其可以用于帮助盲人或视障用户102理解视频124内的内容或事件。例如，在方法200的块204中显著图128可以由计算设备104使用以识别视频帧126中的感兴趣区域130。然后，当用户102触摸感兴趣区域130时，计算设备104可以在方法300的块210中生成触觉响应134。
在块302中，计算设备104或视频服务器108检测视频帧126中的感兴趣对象。感兴趣对象(例如人、重要对象等)可以是视频帧126中的对象，该对象与视频帧126中发生的事件相关或对其重要。计算设备104或视频服务器108可以使用任何合适的过程来检测感兴趣对象，例如美国申请No.16/840,201中描述的过程中的一个或多个，该申请在此通过引入并入。
在块304中，计算设备104或视频服务器108确定感兴趣对象的坐标和特性。坐标指示感兴趣对象在帧126内的位置或定位。感兴趣对象的特性可以包括感兴趣对象的大小、感兴趣对象的曲率或感兴趣对象在视频帧126中的深度。计算设备104可以使用这些特性中的一个或多个来生成合适的触觉响应134和/或音频响应136。
在块306中，计算设备104或视频服务器108生成指示包括感兴趣对象的感兴趣区域130的显著图128。例如，计算设备104或视频服务器108可以使用感兴趣对象的坐标来定义显著图128中的感兴趣区域130。另外，计算设备104或视频服务器108可以使用感兴趣对象的特性来确定感兴趣对象的相关性或重要性。显著图128可以包括指示感兴趣区域130的重要性或相关性的显著性等级，其对应于感兴趣对象的相关性或重要性。以此方式，计算设备104或视频服务器108生成显著图128，其可稍后用于确定用户102何时已触摸感兴趣区域130。在一些实施例中，显著图128可指示感兴趣区域130内的显著性等级。例如，感兴趣区域130的区域的某些部分可能比感兴趣区域130的其他部分更显著或更重要。显著图128可以指示在整个感兴趣区域130显著性如何增加或减少。当用户触摸感兴趣区域130的不同部分时，计算设备104可以根据显著图128所指示的那个部分的重要性来改变响应。
图4-7示出了图1的系统100中的示例操作。通常，图4-7示出了当用户102触摸感兴趣区域130时计算设备104的操作。
图4示出了图1的系统100中的示例视频帧126。如图4中所见，计算设备104包括显示视频帧126的触摸屏118。视频帧126包括自然环境中的两个人。计算设备104可以显示视频帧126作为播放视频124的一部分。
图5示出了图1的系统100中的示例显著图128，其可以使用图3中的方法300生成。如图5中所见，显著图128识别视频帧126中的三个感兴趣区域130。感兴趣区域130与视频帧126中的两个人和视频帧126中的一棵树对齐。换言之，两个人和树是视频帧126中的感兴趣对象。如之前所讨论的，计算设备104可以从视频服务器108接收显著图128，或者计算设备104可以处理视频帧126以生成显著图130。计算设备104可以使用显著图128来确定用户102何时已经触摸了视频帧126中的感兴趣区域130。
图6示出了图1的系统100中的触摸检测的示例。如图6中所见，计算设备104检测触摸屏118的区域上的触摸132。触摸132没有发生在视频帧126中的人或树之一上(即，触摸132在任何感兴趣区域130之外/不与其重叠)。结果，计算设备104不产生对触摸132的响应，例如触觉响应134或音频响应136。
图7示出了图1的系统100中的示例触觉响应134。如图7中所见，计算设备104检测触摸屏118上的触摸132。因为触摸132在视频帧126中的人之一上，所以计算设备104从显著图128确定触摸132在与显著图128中的感兴趣区域130重叠的触摸屏118的区域上。该感兴趣区域130对应于视频帧126中的一个人。作为响应，计算设备104生成触觉响应134。例如，计算设备104可以激活马达120或扬声器122以引起用户102在触摸计算设备104时可以感觉到的机械振动或脉冲。以此方式，计算设备104提醒用户102：用户102正在触摸视频帧126中的感兴趣区域130。在特定实施例中，触觉响应134帮助盲人或视障用户102了解视频帧126中显著元素(即，其中一个人)的位置。
在特定实施例中，计算设备104可以基于触摸的感兴趣区域130的特性来改变触觉响应134的某些方面。例如，计算设备104可以基于触摸的感兴趣区域130中的对象的大小、触摸的感兴趣区域130中的对象的曲率、感兴趣区域130中的对象在视频帧126中的深度、触摸的感兴趣区域130的显著性等级、或其组合来改变触觉响应134的强度或频率。触觉响应134的强度或频率也可以基于所触摸对象的相对重要性而变化。例如，在图4-7中，前景中的人可能比背景中的人更显著、重要或相关，因此对前景中的人的触摸与对背景中人的触摸相比与触觉响应134的更高强度或频率相关联。在同一示例中，两个人都可能比树更重要，使得对前景中人的触摸与对背景中人的触摸相比与触觉响应134的更高强度或频率相关联，并且对背景中人的触摸与对树的触摸相比与触觉响应134的更高强度或频率相关联。通过改变触觉响应134的这些方面，计算设备104可以将感兴趣区域130的这些特性中的一个或多个传达给盲人或视障用户102。
在本公开中，参考了各种实施例。然而，应当理解，本公开不限于具体描述的实施例。相反，以下特征和要素的任何组合，无论是否与不同的实施例相关，都被预期来实现和实践这里提供的教导。此外，当以“A和B中的至少一个”的形式描述实施例的要素时，将理解的是，仅包括元素A、仅包括元素B并且包括元素A和B的实施例都被预期。此外，虽然一些实施例可以实现优于其他可能的解决方案或优于现有技术的优点，但是特定的优点是否通过给定的实施例实现并不限制本公开。因此，本文公开的方面、特征、实施例和优点仅是说明性的并且不被视为所附权利要求的要素或限制，除非在权利要求中明确陈述。同样，对“本发明”的引用不应被解释为对本文公开的任何发明主题的概括，并且不应被认为是所附权利要求的要素或限制，除非在权利要求中明确陈述。
如本领域技术人员将理解的，这里描述的实施例可以体现为系统、方法或计算机程序产品。因此，实施例可以采用完全硬件实施例、完全软件实施例(包括固件、常驻软件、微代码等)或结合软件和硬件方面的实施例的形式，这些实施例在本文中可以统称为“电路”、“模块”或“系统”。此外，在此描述的实施例可以采用体现在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质具有体现在其上的计算机可读程序代码。
包含在计算机可读介质上的程序代码可以使用任何合适的介质来传输，包括但不限于无线、有线、光缆、RF等，或者前述的任何合适的组合。
用于执行本公开的实施例的操作的计算机程序代码可以用一种或多种编程语言的任意组合编写，包括面向对象的编程语言，例如Java、Smalltalk、C++、Swift、Objective-C、C#等，以及传统的过程编程语言，例如“C”编程语言或类似的编程语言。程序代码可以完全在用户计算机上、部分在用户计算机上、作为独立软件包、部分在用户计算机上部分在远程计算机上或完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过包括局域网(LAN)或广域网(WAN)的任何类型的网络连接到用户计算机，或者可以连接到外部计算机(例如，使用互联网服务提供商通过互联网)。
在此参考根据本公开的实施例的方法、装置(系统)和计算机程序产品的流程图说明或框图来描述本公开的方面。应当理解，流程图说明或框图的每个块、以及流程图说明或框图中的块的组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器以生产机器，使得通过计算机或其他可编程数据处理装置的处理器执行的指令创建用于实现流程图说明或框图的块中指定的功能/动作的手段。
这些计算机程序指令还可以存储在计算机可读介质中，该介质可以引导计算机、其他可编程数据处理装置或其他设备以特定方式运行，使得存储在计算机可读介质中的指令产生制品，包括实现流程图说明或框图的块中指定的功能/动作的指令。
计算机程序指令还可以被加载到计算机、其他可编程数据处理装置或其他设备上，以导致在计算机、其他可编程装置或其他设备上执行一系列操作步骤以产生计算机实现的过程，使得在计算机、其他可编程数据处理装置或其他设备上执行的指令提供用于实现在流程图说明或框图的块中指定的功能/动作的过程。
图中的流程图说明和框图示出了根据本公开的各种实施例的系统、方法和计算机程序产品的可能实现的架构、功能和操作。就这一点而言，流程图说明或框图中的每一块可表示模块、段或代码的一部分，其包括用于实现指定逻辑功能的一个或多个可执行指令。还应该注意的是，在一些替代实现中，块中标注的功能可以不按照图中标注的顺序出现。例如，根据所涉及的功能，连续示出的两个块实际上可以基本上同时执行，或者块有时可以以相反的顺序或乱序执行。还将注意到，框图或流程图说明的每个块、以及框图或流程图说明中的块的组合可以由执行指定功能或动作或者专用硬件和计算机指令的组合的基于专用硬件的系统来实现。
虽然上文针对本公开的实施例，但是在不脱离其基本范围的情况下可以设计本公开的其他和进一步的实施例，并且其范围由所附权利要求书确定。

Claims (10)

1.一种方法，包括：
在触摸屏上显示包括视频帧的视频；
基于所述视频帧的显著图来确定所述视频帧中的感兴趣区域；
在显示所述视频帧时检测触摸屏区域上的触摸；以及
响应于确定所述触摸屏区域与所述感兴趣区域重叠而生成触觉响应。
2.如权利要求1所述的方法，其中，所述触觉响应是使用致动器或扬声器来生成的。
3.如权利要求1所述的方法，还包括：
检测所述视频帧中的感兴趣对象；以及
生成所述显著图，使得所述感兴趣区域包括所述感兴趣对象。
4.如权利要求1所述的方法，还包括：基于对象的大小、所述对象的曲率、或所述对象在所述视频帧中的深度中的一者或多者来改变所述触觉响应的强度或频率，其中，所述对象位于所述感兴趣区域中。
5.如权利要求1所述的方法，还包括：基于所述显著图中的显著性等级来改变所述触觉响应的强度或频率。
6.如权利要求1所述的方法，还包括：响应于确定所述触摸屏区域与所述感兴趣区域重叠而生成音频响应。
7.如权利要求1所述的方法，其中，所述触觉响应是通过经由所述触摸屏的层传送电信号来生成的。
8.一种装置，包括：
触摸屏，被配置为显示包括视频帧的视频；以及
硬件处理器，与所述触摸屏通信耦合，所述硬件处理器被配置为：
基于所述视频帧的显著图来确定所述视频帧中的感兴趣区域；
在显示所述视频帧时检测触摸屏区域上的触摸；以及
响应于确定所述触摸屏区域与所述感兴趣区域重叠而生成触觉响应。
9.如权利要求8所述的装置，还包括：致动器或扬声器中的至少一者，其中，所述触觉响应是使用所述致动器或所述扬声器中的所述至少一者来生成的。
10.一种系统，包括：
服务器，被配置为传送包括视频帧的视频；以及
计算设备，包括：
触摸屏，被配置为显示来自所述服务器的视频；以及
硬件处理器，与所述触摸屏通信耦合，所述硬件处理器被配置为：
基于所述视频帧的显著图来确定所述视频帧中的感兴趣区域；
在显示所述视频帧时检测触摸屏区域上的触摸；以及
响应于确定所述触摸屏区域与所述感兴趣区域重叠而生成触觉响应。
CN202111535262.4A 2020-12-17 2021-12-15 触觉内容呈现和实现 Pending CN114647306A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/125,353 2020-12-17
US17/125,353 US11604516B2 (en) 2020-12-17 2020-12-17 Haptic content presentation and implementation

Publications (1)

Publication Number Publication Date
CN114647306A true CN114647306A (zh) 2022-06-21

Family

ID=81991932

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111535262.4A Pending CN114647306A (zh) 2020-12-17 2021-12-15 触觉内容呈现和实现

Country Status (3)

Country Link
US (2) US11604516B2 (zh)
JP (1) JP7350831B2 (zh)
CN (1) CN114647306A (zh)

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8573979B2 (en) 2007-11-21 2013-11-05 Intel-Ge Care Innovations Llc Tactile display to allow sight impaired to feel visual information including color
US8766786B2 (en) 2008-02-04 2014-07-01 Nokia Corporation Device and method for providing tactile information
WO2011077687A1 (ja) 2009-12-21 2011-06-30 京セラ株式会社 触感呈示装置および触感呈示装置の制御方法
WO2013179096A1 (en) * 2012-05-31 2013-12-05 Nokia Corporation A display apparatus
US9046925B2 (en) * 2012-09-11 2015-06-02 Dell Products L.P. Method for using the GPU to create haptic friction maps
US10078384B2 (en) 2012-11-20 2018-09-18 Immersion Corporation Method and apparatus for providing haptic cues for guidance and alignment with electrostatic friction
KR102091077B1 (ko) * 2012-12-14 2020-04-14 삼성전자주식회사 입력 유닛의 피드백을 제어하는 휴대 단말 및 방법과, 이를 제공하는 상기 입력 유닛 및 방법
KR102173727B1 (ko) * 2014-03-31 2020-11-03 삼성전자주식회사 음향 신호 기반 정보 공유 방법 및 그 장치
US9372095B1 (en) 2014-05-08 2016-06-21 Google Inc. Mobile robots moving on a visual display
KR101554256B1 (ko) 2015-02-16 2015-09-18 박동현 햅틱 패턴을 이용한 시각 장애인용 문자 표시 방법, 이 방법이 적용된 터치스크린 및 이를 이용한 디스플레이 장치
US20170090571A1 (en) * 2015-09-29 2017-03-30 General Electric Company System and method for displaying and interacting with ultrasound images via a touchscreen
KR20180122137A (ko) * 2017-05-02 2018-11-12 삼성전자주식회사 영상에 동적 효과를 부여하기 위한 방법 및 그 전자 장치
US10795446B2 (en) 2018-04-25 2020-10-06 Seventh Sense OÜ Portable electronic haptic vision device
WO2020139091A1 (es) 2018-12-28 2020-07-02 Bustamante Solis Cesar Jose Dispositvo háptico en arreglo matricial
US11216149B2 (en) * 2019-03-15 2022-01-04 Samsung Electronics Co., Ltd. 360° video viewer control using smart device
US20210216126A1 (en) * 2020-01-13 2021-07-15 Comcast Cable Communications, Llc Methods and systems for battery management

Also Published As

Publication number Publication date
JP2022096634A (ja) 2022-06-29
US20230221804A1 (en) 2023-07-13
US20220197384A1 (en) 2022-06-23
JP7350831B2 (ja) 2023-09-26
US11604516B2 (en) 2023-03-14

Similar Documents

Publication Publication Date Title
US20200128236A1 (en) Method and apparatus for encoding and decoding haptic information in multi-media files
CN106997241B (zh) 虚拟现实环境中与真实世界互动的方法与虚拟现实系统
CN108604175B (zh) 装置和关联方法
CN106997283B (zh) 一种信息处理方法及电子设备
US10798518B2 (en) Apparatus and associated methods
CN110998491A (zh) 转变到vr环境中并且向hmd用户警告真实世界的物理障碍物
EP3399398B1 (en) An apparatus and associated methods for presentation of spatial audio
KR20130137124A (ko) 햅틱 기술을 채용한 이동 디바이스들 및 방법들
JP6670361B2 (ja) レンダリングする音響オブジェクトをユーザが選択するためのユーザインタフェース、および／またはレンダリングする音響オブジェクトをユーザが選択するためのユーザインタフェースをレンダリングする方法
JP2015505630A (ja) 低遅延タッチ入力装置
KR102565402B1 (ko) 무주의 조건 동안 그래픽 사용자 인터페이스에 영향을 미치는 정보의 상태 변화 연기를 위한 방법, 비일시적 컴퓨터 판독가능 매체 및 시스템
JP2019516180A (ja) 仮想化環境内にイメージを提示するための方法及び装置
CN106598245B (zh) 基于虚拟现实的多用户交互控制方法及装置
US10592048B2 (en) Auto-aligner for virtual reality display
JP7350831B2 (ja) 触覚コンテンツの提示及び実施
US20190058861A1 (en) Apparatus and associated methods
CN106598247B (zh) 基于虚拟现实的响应控制方法及装置
US20220171593A1 (en) An apparatus, method, computer program or system for indicating audibility of audio content rendered in a virtual space
US9921651B2 (en) Video display for visually impaired people
CN106775245B (zh) 基于虚拟现实的用户属性设置方法及装置
CN112912822A (zh) 在混合现实环境中控制支持音频的连接设备的系统
CN106293660B (zh) 一种信息处理方法及电子设备
CN116719448B (zh) 一种基于触控显示屏的智能交互显示方法及装置
CN115407908A (zh) 音效展示方法、设备及计算机可读存储介质
EP3493025A1 (en) Method and apparatus for operating an actuator in a mobile device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination