CN104049749B - 产生来自视频内容分析的触觉反馈的方法和设备 - Google Patents

产生来自视频内容分析的触觉反馈的方法和设备 Download PDF

Info

Publication number
CN104049749B
CN104049749B CN201410190360.2A CN201410190360A CN104049749B CN 104049749 B CN104049749 B CN 104049749B CN 201410190360 A CN201410190360 A CN 201410190360A CN 104049749 B CN104049749 B CN 104049749B
Authority
CN
China
Prior art keywords
movement
estimation
videos
sensor information
capture apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410190360.2A
Other languages
English (en)
Other versions
CN104049749A (zh
Inventor
J·萨布尼
J·M·克鲁兹-埃尔南德斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Priority to CN201910795127.XA priority Critical patent/CN110536162A/zh
Publication of CN104049749A publication Critical patent/CN104049749A/zh
Application granted granted Critical
Publication of CN104049749B publication Critical patent/CN104049749B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording

Abstract

本公开涉及产生来自视频内容分析的触觉反馈的方法和设备，以及涉及基于视频内容分析、包括视频上的一个或多个对象的运动的一个或多个测量的传感器信息、和/或包括一个或多个图像捕获装置的运动的一个或多个测量的传感器信息而产生触觉反馈。视频内容分析可以包括视频的图像处理。系统可以基于该图像处理识别一个或多个事件，并基于所述一个或多个事件引起触觉反馈。所述触觉反馈可以基于视频场景对象的估计的加速度发生变化，其中，所述估计的加速度基于图像处理。可以使用传感器信息使所述估计的加速度在高速时更准确，而基于图像处理，可以使基于传感器信息的估计的加速度在较低速时更准确。

Description

产生来自视频内容分析的触觉反馈的方法和设备
技术领域
本公开涉及基于视频内容分析、来自一个或多个传感器的包括出现在视频上的一个或多个对象的运动的一个或多个测量的传感器信息、和/或包括一个或多个图像捕获装置的运动的一个或多个测量的传感器信息，来产生触觉反馈的系统和方法。
背景技术
传统的多媒体内容(如视频)可以用触觉反馈增强。然而，这样的增强通常需要将编码所述触觉反馈的信息直接嵌入视频中。因此，这些技术不能提供预先存在的视频上的实时触觉反馈，所述预先存在的视频尚未用编码该触觉反馈的信息注解。
此外，传统媒体回放系统没有充分利用指示出现在视频中的某一场景中的对象的运动的传感器信息来产生触觉反馈。此外，当对象高速移动时，由于模糊和其他构件，基于视频信息估计对象的加速度可能是不准确的，而使用来自附属于该对象的传感器的信息估计该对象的加速度在低速时可能是不准确的。
发明内容
本公开涉及基于视频内容分析、来自一个或多个传感器的包括出现在视频上的一个或多个对象(例如人)的运动的一个或多个测量的传感器信息、和/或包括一个或多个图像捕获装置的运动的一个或多个测量的传感器信息，来产生触觉反馈的系统和方法。一般来说，该系统可包括具有一个或多个处理器的计算装置，所述处理器被编程以执行所述视频内容分析和/或使用传感器信息以导致产生触觉反馈，从而增强用户体验。
所述触觉反馈可以基于视频场景对象的估计的加速度而变化，其中，所述估计的加速度基于图像处理。可以使用传感器信息使所述估计的加速度在高速时更准确，而基于图像处理，可以使基于传感器信息的估计的加速度在较低速时更准确。
在一些实施方式中，视频内容分析可以包括视频的一帧或多帧的图像处理。计算装置可以基于图像处理识别一个或多个事件，并基于所述一个或多个事件而引起触觉反馈。所述事件例如可以包括图像捕获装置的运动、对象的外观、身体部位的外观、爆炸、移动对象、特定的可识别图像特征、面部表情、手势、场景主题、和/或可以基于所述图像处理来识别的其他事件。
所述计算装置可以产生控制信号，该控制信号引起所述触觉反馈并将该控制信号传送到输出该触觉反馈的一个或多个触觉输出装置。可以根据所述计算装置的特定用途和实现，以各种方式配置所述触觉输出装置。例如，触觉输出装置可以与计算装置(例如，集成在公共外壳内)、用户接口装置、可穿戴装置、椅子(例如，在电影院设置中，其中当观看电影时，所述计算装置对电影执行图像处理，以提供身临其境的触觉反馈)和/或取决于特定实现的其他配置集成。
由于可以基于图像处理产生所述触觉反馈，所述计算装置促进实时触觉反馈而无需上游嵌入或供应将触觉反馈编码到多媒体文件或多媒体流中的信息。因此，该计算装置可以用触觉反馈来增强视频(和/或其他多媒体内容，可以为所述其他多媒体内容执行图像处理)，即使该视频尚未与引起该触觉反馈的信息联合提供或已经以其他方式嵌入该信息中。
在一些实施方式中，该计算装置可以使用包括涉及多媒体内容(例如视频)的运动的一个或多个测量的传感器信息，并产生引起触觉反馈的控制信号。例如，在拍摄视频的时候，一个或多个传感器可以耦合到图像捕获装置(例如，摄像机)和/或正被跟踪的对象(例如，视频上出现的对象)，使得所述传感器测量所述图像捕获装置和/或对象的运动，并输出包括所述测量的传感器信息。以这种方式，可以测量对象和/或图像捕获装置的运动，以提供用于提供触觉反馈的传感器信息。所捕获的视频和/或传感器信息可实时流式传输和/或储存以备以后提供给计算装置进行回放。
所述计算装置可获得传感器信息，并产生响应于所述传感器信息的控制信号。例如，所述传感器信息可以指示该图像捕获装置在视频的特定场景中是运动的。当捕获该特定场景时，所述计算装置可以产生响应于所述图像捕获装置的运动的控制信号，正如基于所述传感器信息所确定。同样地，所述传感器信息可以指示，视频场景中出现的对象是运动的。所述计算装置可以产生响应于所述对象的运动的控制信号，正如基于所述传感器信息所确定。在某些实施方式中，所述计算装置可以产生控制信号，该控制信号基于所述图像捕获装置和正被跟踪对象的运动的结合而引起触觉反馈。
在一些实施方式中，所述计算装置可以基于图像处理产生对象的速度、加速度和/或角速度的第一估计，并基于传感器信息产生对象的速度、加速度和/或角速度的第二估计。所述计算装置可以基于所述第一估计和第二估计产生对象的速度、加速度和/或角速度的融合估计。使用所述融合估计，所述计算装置可以产生所述控制信号。在一些实施方式中，所述计算装置可以单独使用第一估计(基于图像处理)以产生所述控制信号。
无论使用哪些使用关于该视频的运动信息的上述实施方式以产生所述控制信号，当现场对象和/或捕获场景的图像捕获装置在运动时，通过引起将被提供的触觉反馈，所述计算装置可以增强所述视频体验。例如，当所述计算装置确定对象在场景期间加速时，所述计算装置可以提供控制信号，该控制信号引起强度增加的触觉反馈。
在一些实施方式中，所述计算装置可以单独使用所述视频的图像处理来产生引起触觉反馈的控制信号。在其他实施方式中，所述计算装置可以单独使用传感器信息来产生引起触觉反馈的控制信号。在其他实施方式中，所述计算装置可结合传感器信息使用图像处理来生成引起触觉反馈的控制信号。
考虑构成本说明书的一部分的所有这些参照附图的以下的说明书和所附权利要求书，当前技术的这些和其它特征及特生以及结构和部分的组合的相关元件的操作方法和功能和制造的节约将变得更加显而易见，其中，相同的标号指定各个附图中的对应部分。然而，应明确理解，附图仅用于说明和描述的目的，并且不旨在作为对本发明的限制的定义。如在说明书和权利要求中使用的“一”、“一个”和“该”的单数形式包括复数指代，除非上下文另有明确规定。
附图说明
图1根据本发明的一个方面，示出了配置为基于视频内容分析而产生触觉反馈的系统。
图2A根据本发明的一个方面，示出了一个场景的示例，其中，IMU传感器耦合到正由静止图像捕获装置拍摄的对象，而该对象的运动正由该IMU传感器测量，用于产生触觉反馈。
图2B根据本发明的一个方面，示出了一个场景的示例，其中，IMU传感器耦合到对象和图像捕获装置，而该对象的运动正由该IMU传感器测量，用于产生触觉反馈。
图2C根据本发明的一个方面，示出了一个场景的示例，其中，IMU传感器耦合到正由运动图像捕获装置拍摄的对象，而该对象的运动正由该IMU传感器测量，用于产生触觉反馈。
图3根据本发明的一个方面，示出了配置为产生基于视频内容分析的触觉反馈的计算装置的实现的示例。
图4根据本发明的一个方面，示出了合并到各种用户的触摸点中的触觉输出装置的实现的示例。
图5根据本发明的一个方面，示出了用于基于视频内容分析而产生触觉反馈的过程的示例。
图6根据本发明的一个方面，示出了用于基于传感器信息而产生触觉反馈的过程的示例，所述传感器信息包括出现在视频中的对象的运动的一个或多个测量。
具体实施方式
本公开涉及基于视频内容分析、和/或包括出现在视频上的一个或多个对象的运动的一个或多个测量的传感器信息、和/或包括一个或多个图像捕获装置的运动的一个或多个测量的传感器信息，来产生触觉反馈的系统和方法。
图1根据本发明的一个方面，示出了配置为基于视频内容分析而产生触觉反馈的系统100。系统100可以包括惯性测量单元(“IMU”)传感器110、图像捕获装置120、计算装置130、计算装置140、视频输出装置141、触觉输出装置143、音频输出装置145和/或其它组件。尽管在图1中仅示出了前述组件中的单个组件，但可以使用多于一个的这样的组件。例如，可以使用一个或多个IMU传感器110。IMU传感器110可单独操作在不同的频率和/或测量范围。在一些实施方式中，不同的IMU传感器110可连接与场景有关的不同对象和/或不同的图像捕获装置120。
在一些实施方式中，IMU传感器110可以包括三维(“3D”)陀螺仪111、3D加速度计113、3D磁力计115和/或其它传感器装置117。使用3D陀螺仪111、3D加速度计113、3D磁力计115和/或其它传感器装置117，IMU传感器110可以生成传感器信息112，所述传感器信息112包括IMU传感器110的运动的一个或多个测量。例如，当IMU传感器110被连接到对象时，3D陀螺仪111、3D加速度计113、3D磁力计115和/或其它传感器装置117可以测量该对象的运动并生成传感器信息112，其可传送给计算装置130。在一些实施方式中，图像捕获装置120可以包括视频摄像机和/或其它图像或图像捕获装置。图像捕获装置120可以捕获一个或多个图像，并生成视频122，其可传送给计算装置130。在一些实施方式中，一个以上的图像捕获装置120可从不同的角度和/或其它视图拍摄场景中的相同或不同的对象。在一些实施方式中，IMU传感器110可连接到图像捕获装置120，使得可以在传感器信息112中获得和报告该图像捕获装置的运动。在一些实施方式中，第一IMU传感器110可连接到图像捕获装置120，而第二IMU传感器110可连接到对象。又一个IMU传感器110可连接到另一对象和/或另一图像捕获装置120等。
在一些实施方式中，计算装置130可以在数据库中存储传感器信息112和/或视频122，用于以后供应到计算装置140。计算装置130可提供传感器信息112和/或视频122到计算装置140。当提供传感器信息112和视频122时，可以使用能容纳数据的传统视频格式将传感器信息112嵌入视频122中。或者，计算装置130可分别提供传感器信息112和视频122。在一些实施方式中，可以一个或多个可读介质132的形式将传感器信息112和/或视频122提供给计算装置140，所述传感器信息112和/或视频122可以由计算装置130和/或其他装置产生。
在一些实施方式中，计算装置140可以包括用一个或多个计算机程序模块编程的一个或多个处理器142，所述一个或多个计算机程序模块可以被存储在一个或非临时性的存储介质144中。计算装置140可由所述模块编程，以基于对视频122的图像处理和/或传感器信息112的使用而对视频122执行图像处理和/或包含传感器信息112来生成引起触觉反馈的一个或多个控制信号。
所述模块可以包括图像处理模块150、传感器处理模块152、基于图像的运动估计器模块154、基于传感器的运动估计器模块156、数据融合模块158、配置管理模块160、控制信号生成器模块162、协调模块164和/或其它模块。
在一些实施方式中，图像处理模块150可以被配置成在视频122上执行视频内容分析。不管视频122是否从计算装置130流传输、下载并存储在本地进行播放、从介质132读取、和/或反之以另一方式获得，图像处理模块150可以在存储器中缓冲视频122来处理该视频的一个或多个图像帧，以便检测感兴趣的一个或多个事件。可以以各种方式来检测不同类型的感兴趣的事件。
在一些实施方式中，通过确定该对象关于一个图像帧到另一图像帧的光流，图像处理模块150可以检测关于给定场景中静止对象的运动。这样的处理可以表明用于创建视频122的图像捕获装置是在运动中。图象处理模块150可基于图像处理确定运动的速度，这可能会触发引起所述触觉反馈的控制信号的创建。图像处理模块150可以执行常规的光流计算，这对于本领域技术人员将是显而易见的。
在一些实施方式中，基于使用一个或多个视频122的图像处理，基于图像的运动估计器模块154可确定现场出现的对象的运动的速度、加速度和/或速率。在使用一个以上的视频122的实施方式中，并行的视频馈送可用于立体视觉，或者以其他方式提供场景的两个或更多不同视角，相比于使用较少的视频馈送或视角，这可以提高运动估计的精度。所述对象的运动的这种速度、加速度和/或速率可以被包括作为检测的触发控制信号创建的事件。
在一些实施方式中，基于与身体部位(例如，脸，手等)的数据库的比较，图像处理模块150可以检测新的身体部位已经进入了给定的场景中。新的身体部位的进入可以指示新的角色已经进入场景，这可以触发引起所述触觉反馈的控制信号的创建。
在一些实施方式中，图像处理模块150可检测从一个场景到下一个场景的颜色的分布或配置中的变化(如一个或多个图像帧中所反映的)。例如，图像处理模块150可以为不同的(例如连续的)帧确定色调饱和度值(“HSV”)颜色直方图，并确定该HSV颜色直方图是否已从一帧改变到另一帧。如果所述HSV颜色直方图已经变化，图像处理模块150可确定在该场景中出现了新的对象或者其他方式的变化。
在一些实施方式中，图像处理模块150可以检测从浅到深的总体变化，反之亦然，潜在表明所述场景的周围环境变化，这可能会触发引起所述触觉反馈的控制信号的创建。在一些实施方式中，所述场景的周围环境变化可能引起基于该周围环境变化而调制的触觉反馈。
在一些实施方式中，基于可以触发引起所述触觉反馈的控制信号的创建的传统图像处理和情绪检测技术，图像处理模块150可以检测给定场景中动作者的情绪或情感。
在一些实施方式中，图像处理模块150可以检测视频中可能引起特定颜色图案的火灾、爆炸和/或其他事件，这可能会触发引起所述触觉反馈的控制信号的创建。在一些实施方式中，图像处理模块150可以检测屏幕上出现的特定的人或对象。例如，当特定的对象或人已经进入场景时，用户可以指定提供触觉反馈。
当处理图像帧时，图像处理模块150可以执行上述和/或其它事件检测的全部或一部分。响应于检测的事件，控制信号生成器模块162可以生成一个或多个控制信号，用于引起所述触觉反馈。根据所检测的事件，所述控制信号可以引起不同的触觉效果(例如，较快的图像捕获装置和/或对象运动可能会导致控制信号，相比于慢的图像捕获装置和/或对象运动，该控制信号引起更大数量级的或其他特性的触觉反馈)。此外，图像处理模块150可以为所检测事件的不同类型和/或类型的组合产生不同的控制信号(引起不同的触觉反馈)。
在一些实施方式中，传感器处理模块152可以被配置为基于传感器信息112来检测基于传感器的事件。例如，基于传感器的事件可以包括对象、人、图像捕获装置120的特定运动，和/或与视频122有关的其他运动。在一些实施方式中，基于传感器的运动估计器模块156可以被配置为基于传感器信息112的处理来确定运动的速度、加速度、速率和/或其他特性。所述基于传感器的事件可能会引起产生用于提供触觉反馈的控制信号。所述触觉反馈可以根据基于传感器的事件变化。作为特定的示例，当检测对象的运动时，可以创建所述控制信号以引起触觉反馈。基于检测的运动水平，这种触觉反馈可能会变化。
在一些实施方式中，根据是否使用单个装置以生成所述传感器信息112和视频，传感器处理模块152可以使传感器信息112与视频122同步(例如，当移动装置或具有传感器和图像捕获装置二者的其他装置用于既捕获视频又收集传感器信息时)。如果单个装置用于捕获视频和传感器信息两者，则将由该单个装置典型地同步两者。另一方面，如果该单个装置不同步所述传感器信息和视频，则传感器处理模块152可以根据使用公共时间参考(例如，全球定位系统时间)的时间戳，和/或本文中描述的事件检测来同步这两者。
在一些实施方式中，数据融合模块158可以被配置为将来自图像处理模块150、传感器处理模块152、基于图像的运动估计器模块154和/或基于传感器的运动估计器模块156的信息组合，用于改善对象的加速度估计，从而提高响应于所述加速度估计而提供的触觉反馈的质量，如关于图2A-2C的进一步说明。
在一些实施方式中，配置管理模块160可以被配置为获取指示不同触觉反馈或触觉反馈的水平的用户偏好或其他输入，应该响应于检测特定事件提供所述不同触觉反馈或触觉反馈的水平。例如，用户可识别或指定触发触觉反馈和/或触觉反馈的水平的事件(如果有的话)。用户可以这种方式定制视频观看和触觉反馈生成。
在一些实施方式中，控制信号生成器模块162可以被配置为生成引起触觉反馈的一个或多个控制信号。控制信号生成器模块162可以响应于由图像处理模块150、传感器处理模块152、基于图像的运动估计器模块154、基于传感器的运动估计器模块156、数据融合模块158和/或配置管理模块160所检测或从中输出的上述事件，生成控制信号。在一些实施方式中，控制信号生成器162可基于生成响应于所述控制信号的触觉反馈的一个或多个触觉输出装置143的特定配置(例如，数量、类型、位置等)生成控制信号。以这种方式，计算装置140促进响应于不同类型的事件、事件的特性(例如，给定场景中出现的对象的估计速度)和/或用户偏好/配置的各种类型的触觉反馈。
在一些实施方式中，协调模块164可以被配置为将视频输出、控制信号输出和音频输出分别协调到视频输出装置141、触觉输出装置143和音频输出装置145。视频输出装置141可以包括显示器，诸如触摸屏显示器、监视器和/或能显示视频输出的其它显示器。在一些实施方式中，协调模块164可以根据嵌入到视频122的同步码和/或经由通常设定时间的时间戳来同步视频输出、控制信号(例如，由该控制信号所引起的触觉反馈)和音频输出，用于输出视频输出、音频输出和触觉反馈中的每一个。
触觉输出装置143可以包括致动器，例如，电磁致动器，例如偏心旋转质量(“ERM”)，其中由马达移动偏心质量、线性谐振致动器(“LRA”)，其中连接到弹簧上的质量被驱动往复，或“智能材料”，例如压电的、电活性聚合物或形状记忆合金、宏复合纤维致动器、静电致动器、电触致动器和/或提供物理反馈(例如触觉(例如，震动触觉的)反馈)的另一类致动器。触觉输出装置143可以包括非机械或非振动装置，例如使用静电摩擦(ESF)、超声波表面摩擦(USF)的装置，或用超声波触觉换能器诱发声辐射压力的装置，或使用触觉基板和柔性的或可变形的表面的装置，或提供投影触觉输出(例如使用空气喷射的一阵空气)的装置等等。
音频输出装置145可以包括扬声器或能发出声音的其它装置。在一些实施方式中，视频输出装置141、触觉输出装置143和/或音频输出装置145可以与计算装置140集成在一起。在一些实施方式中，可以分别独立于计算装置140容纳视频输出装置141、触觉输出装置143和/或音频输出装置145。
在一些实施方式中，计算装置130可以用关于计算装置140讨论的模块进行编程。因此，至少一些或所有关于计算装置140的上述功能可以在计算装置130执行。例如，计算装置130可以对它创建和/或以其他方式提供的视频执行图像处理，使得所提供的视频通过可以与所提供的视频同步的控制信号增强。以这种方式，消费该视频和控制信号的用户装置可能会引起显示该视频，并引起产生同步的触觉反馈。
非临时性存储介质144可以包括一体地(即，基本上不可移动的)提供有计算装置140的系统存储器，和/或经由例如端口(例如，USB端口、火线端口等)或驱动器(例如，磁盘驱动器等)可拆卸地可连接到计算装置140的可移动存储中的一个或两者。非临时性存储介质144可以包括：光学可读存储介质(例如，光盘等)、磁性可读存储介质(例如，磁带、磁硬盘驱动器、软盘驱动器等)、基于电荷的存储介质(例如，EEPROM、RAM等)、固态存储介质(例如，闪存驱动器等)和/或其它电子可读存储介质中的一个或多个。非临时性存储介质144可以包括一个或多个虚拟存储资源(例如，云存储、虚拟专用网络和/或其他虚拟存储资源)。非临时性存储介质144可以存储软件算法、由处理器142所确定的信息、从计算装置140接收的信息和/或使计算装置140能够起到如本文所述作用的其它信息。
处理器142被配置为提供计算装置140中的信息处理能力。因此，处理器142可以包括：数字处理器、模拟处理器、设计为处理信息的数字电路、设计为处理信息的模拟电路、状态机和/或用于电子地处理信息的其它机构中的一个或多个。尽管图1中将处理器142示为一个单一的实体，但这仅是为了例示的目的。在一些实施方式中，处理器142可以包括多个处理单元。这些处理单元可以物理地位于同一装置内，或者处理器142可以表示多个协同工作的装置的处理功能。处理器142可以被配置为通过软件；硬件；固件；软件、硬件和/或固件的某种组合；和/或用于配置处理器142的处理能力的其他机构来执行模块。
本文所描述的各种模块仅是示例性的。可以使用模块的其它配置和数字，以及使用非模块化的方法，只要一个或多个物理处理器被编程以执行本文中所描述的功能。应当理解的是，虽然模块150、152、154、156、158、160、162和164在图1中被示为共同位于单个处理单元中，在处理器142包括多个处理单元的实施方式中，一个或多个模块可以位于远离其它模块的位置。由本文所描述的不同模块所提供的功能的描述是为了说明的目的，并且不旨在进行限制，因为任何模块可以提供比所描述的更多或更少的功能。例如，可以消除一个或多个模块，并且可以由所述模块中的其他模块提供其功能的某些或全部。作为另一个例子，处理器142可以被配置为执行一个或多个可以执行本文归因于所述模块中一个的某些或全部功能的附加模块。
图1所示的组件可以通过诸如网络的各种通信链路通信地彼此耦合。该网络可以包括有线或无线连接。在本发明的一些方面中，该网络例如可包括：因特网、内联网、PAN(个人局域网)、LAN(局域网)、WAN(广域网)、SAN(存储区域网)、MAN(城域网)、无线网络、蜂窝通信网络、公共交换电话网络和/或其他网络中的任何一个或多个。
本文中被描述为存储或可存储的各种输入、输出、配置和/或其他信息可被存储在一个或多个数据库中(图1中未示出)。这些数据库例如可以是、包括或接口由例如Oracle公司商业销售的OracleTM关系数据库。也可使用、纳入、或访问其他数据库，例如InformixTM、DB2(数据库2)，或包括基于文件的、或查询格式、平台、或资源的其他数据存储，例如OLAP(在线分析处理)、SQL(标准查询语言)、SAN(存储区域网络)，微软AccessTM或其它。该数据库可以包括驻留在一个或多个物理装置和在一个或多个物理位置的一个或多个这样的数据库。该数据库可以存储多种类型的数据和/或文件和相关联的数据或文件的描述、管理信息或任何其他数据。
图2A根据本发明的一个方面，示出了场景200A的一个示例，其中，IMU传感器110耦合到正由静止图像捕获装置120拍摄的对象202A，而对象202A的运动正由IMU传感器110测量，用于改善对象202A的加速度估计。
可能感兴趣的所述图像捕获装置的帧信息和对象202A的基本知识可以用来估计在参考使用传统的计算机视觉方法的固定的图像捕获装置中的其3D运动和其位置。连接到对象202A的IMU传感器110可提供惯性数据估计，通过使用由所述图像捕获装置120提供的数据将使该惯性数据估计更精确。
可以由用户预先选择用作用于提供触觉反馈的基础的对象202A。使用常规的模板匹配方法(例如光流、方向梯度直方图(“HOG”)、3D模型姿态估计等)，通过在两个或更多个连续的图像中检测对象202A(给定其特性或一些其特征点)，基于图像的运动估计器模块154可以确定对象202A的加速度。在一些实施方式中，通过将由基于图像的运动估计器模块154所估计的其运动与由基于传感器的运动估计器156所估计的运动组合，数据融合模块158可以确定对象202A的运动。
图2B根据本发明的一个方面，示出了场景200B的一个示例，其中IMU传感器110耦接到对象202B和图像捕获装置120，并且对象202B的运动正由IMU传感器110测量，用于改善对象202B的加速度估计。
基于图像的运动估计器模块154可以使用场景中一些视觉固定不变特征(visualfix invariant feature)，应用计算机视觉算法以从连续帧估计3D相机姿势(在固定参考(referential)的位置和方向)。在这种情况下，估计相机姿势可以相当于估计对象姿势。估计的数据可被结合到由连接到对象202B的IMU传感器110提供的数据，以便使用数据融合模块158使其更精确。
如果触觉反馈和图像捕获装置120的移动有关，仅可以使用该图像捕获装置的固有参数。基于图像的运动估计器模块154可为场景中的一些固定不变特征确定该光流(例如：尺度不变特征变换、加速鲁棒特征等)。图像捕获装置120/对象202B的移动将与计算出的光流相反。
图2C根据本发明的一个方面，示出了场景200C的一个示例，其中，IMU传感器110耦合到正由运动图像捕获装置120拍摄的对象202C，而该对象的运动正由IMU传感器110测量，用于改善对象202C的加速度估计。在一些实施方式中(图2C中未示出)，IMU传感器110可耦合到图像捕获装置120，以提供其运动的一个或多个测量。
基于图像的运动估计器模块154可以使用场景中一些视觉固定不变特征，应用计算机视觉算法以从连续帧估计3D相机姿势(在固定参考的位置和方向)。图像捕获装置的帧信息和对象202C的特性的基本知识可用于使用计算机视觉方法来估计图像捕获装置参考中的其3D运动和其位置。对象位置和运动可随后被转换为全局固定参考，并使用数据融合模块158融合来自IMU110的传感器信息。
可以使用将为其创建触觉反馈的图像捕获装置的固有参数和视频馈送中对象/人的特性。通过为场景中一些不变的静止特征计算光流，基于图像的运动估计器模块154可以确定图像捕获装置120的运动。如果IMU传感器110耦合图像捕获装置120，可使用数据融合模块158以更高精度估计这种运动。通过模板匹配，可以使用数据融合模块158以更高精度估计这种运动，如果IMU传感器110耦合装置120，可估计场景中对象202C的相对运动。通过相互关联这两个值，然后评估固定参考中的运动。
图3根据本发明的一个方面，示出了被配置为基于视频内容分析生成触觉反馈的计算装置140的实施方式的示例。计算装置140A可被配置为移动装置，诸如具有集成的视频输出装置141(例如，触摸屏显示器)、集成的触觉输出装置143和集成的音频输出装置145的智能手机。在此实施方式中，当通过该移动装置接收触觉反馈时，计算装置140A可用于观看视频内容。在一些实施方式中，外部触觉装置还可通过有线或无线连接耦合到计算装置140A。
计算装置140B可以被配置为便携式计算装置，例如具有集成触觉愉出装置143和集成音频输出装置145的笔记本电脑。在此实施方式中，当通过便携式计算装置接收触觉反馈时，计算装置140B可用于观看视频内容。在一些实施方式中，外部触觉装置还可通过有线或无线连接耦合到计算装置140B。
计算装置140C可以被配置为独立的计算装置，如台式计算机、游戏控制台或其他独立的计算装置。在此实施方式中，计算装置140C可耦合到单独的视频输出装置141、单独的音频输出装置145和单独的用户触摸点302，其可容纳触觉输出装置143。
图4根据本发明的一个方面，示出了被结合到各种用户触摸点302的触觉输出装置143的实施方式的示例。例如，触摸点302A和302B可以被配置为可穿戴装置，例如可佩戴的眼镜和可穿戴的服装。也可使用其他类型的可穿戴装置。触摸点302C可以被配置为包括触觉输出装置143(在图4中被示为触觉输出装置143A，143B，...143C)的各种用户装置，其可以包括装置，例如智能手机、键盘、鼠标、游戏控制器和/或其他用户装置。
图5根据本发明的一个方面，示出了用于生成基于视频内容分析的触觉反馈的过程500的一个示例。在本文中更详细地描述了图5的流程图和其他附图中描述的各种处理操作。可以使用上面详细描述的系统组件的一些或全部来实现所描述的操作。根据本发明的一个方面，可以不同的顺序来执行各种操作。在其它实施方式中，附加操作可以伴随着在图5和其他附图中所示的一些或全部操作而被执行，或者可省略某些操作。在又一些其他实施方式中，可以同时执行一个或多个操作。相应地，所示(并在下面更详细地描述)的操作实质上是示例性的，并且因此不应该被视为限制性的。
在操作502中，可以获得具有一个或多个图像帧的视频，所述获得可以包括捕获和/或读取。在操作504中，可以对一个或多个图像帧执行图像处理。在操作506中，可检测基于图像处理的事件。在操作508中，可以提供基于检测的事件的控制信号。该控制信号可能引起触觉输出装置提供触觉反馈。因此，可基于正对视频上执行的图像处理生成触觉反馈。
图6根据本发明的一个方面，示出了用于基于传感器信息生成触觉反馈的过程600的一个示例，所述传感器信息包括出现在视频上的对象的运动的一个或多个测量。
在操作602中，可以获得与该视频相关联的视频和传感器信息，所述获得可包括捕获和/或读取。所述传感器信息可以包括与该视频相关的所捕获的运动的一个或多个测量。该运动可包括对象的运动、当捕获该视频时正被移动的图像捕获装置的运动和/或与视频相关的可测量的其他运动。
在操作604中，可以生成基于传感器信息的控制信号。该控制信号可以被配置为引起触觉反馈。在一些实施方式中，该控制信号可基于传感器信息和该视频的图像处理的输出。
在操作606中，可向该控制信号同步地提供与该视频有关的捕获的运动。
考虑到本文公开的本发明的说明书和实践，对于本领域技术人员，本发明的其它方面、用途和优点将是显而易见的。本说明书应被视为仅仅是示例性的，并且本发明的范围相应地意在仅由所附权利要求来限定。

Claims (22)

1.一种基于视频图像处理提供触觉反馈的计算机实现的方法，该方法在具有用计算机程序模块编程的处理器的计算装置上被实施，该方法包括：
读取包括一个或多个图像帧的一个或多个视频；
对所述一个或多个图像帧执行图像处理；
基于图像处理检测事件；
获得与所述一个或多个图像帧相关联的传感器信息以生成获得的传感器信息，其中所述一个或多个图像帧包括在所述一个或多个图像帧上捕获的对象，并且其中，所获得的传感器信息包括该对象的运动的一个或多个传感器测量值；以及
基于检测的事件和所获得的传感器信息提供控制信号，该控制信号被配置为引起触觉反馈。
2.根据权利要求1所述的计算机实现的方法，其中检测事件包括：
检测一种或多种类型的事件，所述一种或多种类型的事件包括：图像捕获装置运动、对象的外观、身体部位的外观、爆炸、移动对象、特定的可识别图像特征、面部表情、手势、或场景主题。
3.根据权利要求2所述的计算机实现的方法，该方法还包括：
接收一个或多个用户偏好，所述一个或多个用户偏好指定当被检测时引起提供该控制信号的至少一种类型的事件，其中提供该控制信号包括：
当已经检测由所述一个或多个用户偏好所指定的一种或多种类型的事件时，提供所述控制信号。
4.根据权利要求1所述的计算机实现的方法，该方法还包括：
基于所述控制信号，由触觉输出装置产生触觉反馈。
5.根据权利要求3所述的计算机实现的方法，该方法还包括：
使所述一个或多个视频与所述触觉反馈协调显示。
6.根据权利要求1所述的计算机实现的方法，该方法还包括：
实时检测所述事件，使得所述控制信号不嵌入所述一个或多个视频中。
7.根据权利要求1所述的计算机实现的方法，该方法还包括：
将所述控制信号嵌入到所述一个或多个视频中；以及
将所述一个或多个视频传送到远程装置，其中，将在该远程装置处提供所述一个或多个视频和触觉反馈。
8.根据权利要求1所述的计算机实现的方法，该方法还包括：
基于所述一个或多个图像帧产生对象的运动的第一估计，并基于所述一个或多个传感器测量值产生对象的运动的第二估计；以及
用对象的运动的第二估计更新对象的运动的第一估计，或用对象的运动的第一估计更新对象的运动的第二估计。
9.根据权利要求1所述的计算机实现的方法，其中所获得的传感器信息还包括用于捕获所述一个或多个视频的图像捕获装置的运动的一个或多个传感器测量值。
10.根据权利要求9所述的计算机实现的方法，该方法还包括：
基于所述一个或多个图像帧产生图像捕获装置的运动的第一估计，并基于所述一个或多个传感器测量值产生图像捕获装置的运动的第二估计；以及
用图像捕获装置的运动的第二估计更新图像捕获装置的运动的第一估计，或用图像捕获装置的运动的第一估计更新图像捕获装置的运动的第二估计。
11.根据权利要求1所述的计算机实现的方法，其中所获得的传感器信息包括出现在一个或多个视频上的对象的运动的一个或多个第一传感器测量值和用于捕获所述一个或多个视频的图像捕获装置的运动的一个或多个第二传感器测量值。
12.根据权利要求11所述的计算机实现的方法，该方法还包括：
基于所述一个或多个图像帧和所述一个或多个第一传感器测量值产生图像捕获装置的运动的估计；
基于所述一个或多个图像帧和所述一个或多个第二传感器测量值产生对象的运动的估计；以及
基于所述图像捕获装置的运动的估计和所述对象的运动的估计更新所述对象的运动的估计。
13.根据权利要求1所述的计算机实现的方法，其中该方法还包括：
获得与所述一个或多个图像帧相关联的传感器信息；以及
基于所述传感器信息提供第二控制信号。
14.一种基于与视频相互关联的传感器信息而提供触觉反馈的计算机实现的方法，该方法在具有用计算机程序模块编程的处理器的计算装置上被实施，该方法包括：
读取一个或多个视频和与所述一个或多个视频相关联的传感器信息，其中，所述传感器信息包括与所述一个或多个视频相关的所捕获的运动的一个或多个传感器测量值；
基于所述传感器信息产生控制信号，该控制信号被配置为引起触觉反馈；以及
与和所述一个或多个视频相关的所捕获的运动同步地提供控制信号。
15.根据权利要求14所述的计算机实现的方法，其中所述一个或多个视频包括一个或多个图像帧，所述一个或多个图像帧包括在所述一个或多个视频上捕获的对象，并且其中所述运动包括所述对象的运动。
16.根据权利要求15所述的计算机实现的方法，该方法还包括：
基于所述一个或多个图像帧产生对象的运动的第一估计和基于所述一个或多个传感器测量值产生对象的运动的第二估计；以及
用对象的运动的第二估计更新对象的运动的第一估计，或用对象的运动的第一估计更新对象的运动的第二估计。
17.根据权利要求14所述的计算机实现的方法，其中所述一个或多个视频包括一个或多个图像帧，其中所述运动包括用来捕获所述一个或多个视频的图像捕获装置的运动。
18.根据权利要求17所述的计算机实现的方法，该方法还包括：
基于所述一个或多个图像帧产生图像捕获装置的运动的第一估计，和基于所述一个或多个传感器测量值产生图像捕获装置的运动的第二估计；以及
用图像捕获装置的运动的第二估计更新图像捕获装置的运动的第一估计，或用图像捕获装置的运动的第一估计更新图像捕获装置的运动的第二估计。
19.根据权利要求14所述的计算机实现的方法，其中所获得的传感器信息包括出现在一个或多个视频上的对象的运动的一个或多个第一传感器测量值和用于捕获所述一个或多个视频的图像捕获装置的运动的一个或多个第二传感器测量值。
20.根据权利要求19所述的计算机实现的方法，其中所述一个或多个视频包括一个或多个图像帧，所述一个或多个图像帧包括在所述一个或多个视频上捕获的对象，该方法还包括：
基于所述一个或多个图像帧和所述一个或多个第一传感器测量值产生图像捕获装置的运动的估计；
基于所述一个或多个图像帧和所述一个或多个第二传感器测量值产生对象的运动的估计；以及
基于所述图像捕获装置的运动的估计和所述对象的运动的估计更新所述对象的运动的估计。
21.一种基于视频图像处理提供触觉反馈的系统，该系统包括：
处理器，被配置为：
读取包括一个或多个图像帧的一个或多个视频；
对一个或多个图像帧执行图像处理；
基于图像处理检测事件；
获得与所述一个或多个图像帧相关联的传感器信息以生成获得的传感器信息，其中所述一个或多个图像帧包括在所述一个或多个图像帧上捕获的对象，并且其中，所获得的传感器信息包括该对象的运动的一个或多个传感器测量值；以及
基于检测的事件和所获得的传感器信息提供控制信号，该控制信号被配置为引起触觉反馈。
22.一种基于与视频相互关联的传感器信息提供触觉反馈的系统，该系统包括：
处理器，被配置为：
读取一个或多个视频和与所述一个或多个视频相关联的传感器信息，其中，所述传感器信息包括与所述一个或多个视频相关的所捕获的运动的一个或多个测量值；
基于所述传感器信息产生控制信号，该控制信号被配置为引起触觉反馈；以及
与和所述一个或多个视频相关的所捕获的运动同步地提供控制信号。
CN201410190360.2A 2013-03-15 2014-03-14 产生来自视频内容分析的触觉反馈的方法和设备 Active CN104049749B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910795127.XA CN110536162A (zh) 2013-03-15 2014-03-14 产生来自视频内容分析的触觉反馈的方法和设备

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/843,092 US9064385B2 (en) 2013-03-15 2013-03-15 Method and apparatus to generate haptic feedback from video content analysis
US13/843,092 2013-03-15

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201910795127.XA Division CN110536162A (zh) 2013-03-15 2014-03-14 产生来自视频内容分析的触觉反馈的方法和设备

Publications (2)

Publication Number Publication Date
CN104049749A CN104049749A (zh) 2014-09-17
CN104049749B true CN104049749B (zh) 2019-09-20

Family

ID=50478171

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201410190360.2A Active CN104049749B (zh) 2013-03-15 2014-03-14 产生来自视频内容分析的触觉反馈的方法和设备
CN201910795127.XA Pending CN110536162A (zh) 2013-03-15 2014-03-14 产生来自视频内容分析的触觉反馈的方法和设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201910795127.XA Pending CN110536162A (zh) 2013-03-15 2014-03-14 产生来自视频内容分析的触觉反馈的方法和设备

Country Status (5)

Country Link
US (3) US9064385B2 (zh)
EP (2) EP2779675B1 (zh)
JP (2) JP6456593B2 (zh)
KR (1) KR20140113495A (zh)
CN (2) CN104049749B (zh)

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014183559A (ja) * 2013-03-21 2014-09-29 Casio Comput Co Ltd 報知制御装置、報知制御方法及びプログラム
US10248206B2 (en) 2013-08-20 2019-04-02 Xsync Technologies Llc Systems and methods for multimedia tactile augmentation
US9703379B2 (en) 2013-08-20 2017-07-11 Xsync Technologies Llc Systems and methods for multimedia tactile augmentation
US9652945B2 (en) * 2013-09-06 2017-05-16 Immersion Corporation Method and system for providing haptic effects based on information complementary to multimedia content
US10171742B2 (en) * 2013-09-06 2019-01-01 Sony Corporation Image capturing apparatus, method, and program with operation state determination based upon angular velocity detection
US9576445B2 (en) 2013-09-06 2017-02-21 Immersion Corp. Systems and methods for generating haptic effects associated with an envelope in audio signals
US9619980B2 (en) 2013-09-06 2017-04-11 Immersion Corporation Systems and methods for generating haptic effects associated with audio signals
US9426539B2 (en) * 2013-09-11 2016-08-23 Intel Corporation Integrated presentation of secondary content
US9112940B2 (en) * 2013-11-25 2015-08-18 VideoGorillas LLC Correlating sensor inputs with content stream intervals and selectively requesting and transmitting content streams
US9635440B2 (en) 2014-07-07 2017-04-25 Immersion Corporation Second screen haptics
US9879958B2 (en) 2014-09-19 2018-01-30 ARC Technology, LLC Haptic feedback spark device for simulator
KR102254705B1 (ko) * 2014-09-19 2021-05-24 삼성전자주식회사 단말 장치 및 그 제어방법
US9719759B2 (en) * 2014-09-19 2017-08-01 ARC Technology, LLC Haptic feedback device for simulator
US9919208B2 (en) * 2014-12-11 2018-03-20 Immersion Corporation Video gameplay haptics
US10449445B2 (en) * 2014-12-11 2019-10-22 Elwha Llc Feedback for enhanced situational awareness
US10166466B2 (en) 2014-12-11 2019-01-01 Elwha Llc Feedback for enhanced situational awareness
US9658693B2 (en) 2014-12-19 2017-05-23 Immersion Corporation Systems and methods for haptically-enabled interactions with objects
US9600076B2 (en) * 2014-12-19 2017-03-21 Immersion Corporation Systems and methods for object manipulation with haptic feedback
US10225442B2 (en) * 2015-02-16 2019-03-05 Mediatek Inc. Electronic device and method for sensing air quality
US10216277B2 (en) * 2015-02-25 2019-02-26 Immersion Corporation Modifying haptic effects for slow motion
KR20160135552A (ko) * 2015-05-18 2016-11-28 삼성전자주식회사 가상 현실 장치 및 피드백 장치, 실감형 서비스 제공 시스템 및 방법
JP6641731B2 (ja) * 2015-06-05 2020-02-05 ソニー株式会社 送信装置及び送信方法、並びに受信装置及び受信方法
KR102414356B1 (ko) 2015-06-26 2022-06-29 삼성전자 주식회사 전자 장치 및 그의 햅틱 피드백 제공 방법
US9734866B2 (en) * 2015-09-25 2017-08-15 Intel Corporation Perceptual computing input to determine post-production effects
KR20180048629A (ko) * 2015-09-25 2018-05-10 임머숀 코퍼레이션 햅틱 효과 설계 시스템
US20180046250A1 (en) * 2016-08-09 2018-02-15 Wipro Limited System and method for providing and modulating haptic feedback
US20180067335A1 (en) * 2016-09-07 2018-03-08 Google Inc. Optical image stabilization for folded optics camera modules
US10102723B2 (en) * 2016-10-31 2018-10-16 Immersion Corporation Dynamic haptic generation based on detected video events
CN106534142B (zh) * 2016-11-22 2018-04-20 包磊 多媒体数据的实时传输方法及装置
CN106454365B (zh) * 2016-11-22 2018-07-10 包磊 多媒体数据的编码、解码方法及编码、解码装置
US10600290B2 (en) * 2016-12-14 2020-03-24 Immersion Corporation Automatic haptic generation based on visual odometry
US10101813B2 (en) * 2016-12-14 2018-10-16 Immersion Corporation Automatic haptic generation based on color features and motion analysis
US11337456B2 (en) * 2017-07-17 2022-05-24 Rai Strategic Holdings, Inc. Video analytics camera system for an aerosol delivery device
US11726571B2 (en) 2017-09-20 2023-08-15 Niki Mani Assistive device for non-visually discerning a three-dimensional (3D) real-world area surrounding a user
US11513627B2 (en) 2017-09-20 2022-11-29 Niki Mani Assistive device with a refreshable haptic feedback interface
US10503310B2 (en) 2017-09-20 2019-12-10 Alex Hamid Mani Assistive device for non-visually discerning a three-dimensional (3D) real-world area surrounding a user
US10281983B2 (en) 2017-09-20 2019-05-07 Alex Hamid Mani Haptic feedback device and method for providing haptic sensation based on video
US11561619B2 (en) 2017-09-20 2023-01-24 Niki Mani Haptic feedback device and method for providing haptic sensation based on video
US10275083B2 (en) 2017-09-20 2019-04-30 Alex Hamid Mani Assistive device with a refreshable haptic feedback interface
NL2020023B1 (en) * 2017-12-05 2019-06-13 Feel Robotics B V Method and apparatus for adding a control signal for an auxiliary device to a sexually arousing video movie
CN108399642B (zh) * 2018-01-26 2021-07-27 上海深视信息科技有限公司 一种融合旋翼无人机imu数据的通用目标跟随方法和系统
JP6771696B2 (ja) 2018-05-11 2020-10-21 三菱電機株式会社 データ同期装置、データ同期方法およびデータ同期プログラム
US20200012347A1 (en) * 2018-07-09 2020-01-09 Immersion Corporation Systems and Methods for Providing Automatic Haptic Generation for Video Content
US11656683B2 (en) * 2018-08-10 2023-05-23 Sony Corporation Signal generation device, signal generation method, and reproduction device
US10638174B2 (en) * 2018-09-24 2020-04-28 Brian Sloan Synchronized video control system for sexual stimulation devices
US11185465B2 (en) * 2018-09-24 2021-11-30 Brian Sloan Automated generation of control signals for sexual stimulation devices
US11197074B2 (en) * 2018-09-24 2021-12-07 Brian Sloan Synchronized video annotation and control system for sexual stimulation devices
JP7480710B2 (ja) 2019-01-23 2024-05-10 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム
EP3938867A4 (en) * 2019-04-26 2022-10-26 Hewlett-Packard Development Company, L.P. SPATIAL AUDIO AND HAPTICS
WO2020258319A1 (zh) * 2019-06-28 2020-12-30 瑞声声学科技(深圳)有限公司 触感信号生成方法、装置和计算机设备
CA3161710A1 (en) 2019-12-31 2021-07-08 William Xavier Kerber Proxy controller suit with optional dual range kinematics
CN111610856B (zh) * 2020-04-30 2024-04-26 北京小米移动软件有限公司 震动反馈方法、震动反馈装置及存储介质
US11755643B2 (en) 2020-07-06 2023-09-12 Microsoft Technology Licensing, Llc Metadata generation for video indexing
JP6839783B1 (ja) * 2020-09-29 2021-03-10 Dmg森精機株式会社 回転速度判定装置
CN114694545B (zh) * 2020-12-30 2023-11-24 成都极米科技股份有限公司 图像显示方法、装置、投影仪及存储介质
CN113436261B (zh) * 2021-06-24 2022-04-29 湖南大学 一种面向封闭园区自动驾驶的单目视觉惯性定位方法
KR102505225B1 (ko) * 2021-10-22 2023-03-02 (주)인티그리트 시각화된 가상 안내 정보를 제공하는 자율주행장치 및 이의 동작방법
CN115758107B (zh) * 2022-10-28 2023-11-14 中国电信股份有限公司 触觉信号传输方法及装置、存储介质及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101910977A (zh) * 2007-12-28 2010-12-08 诺基亚公司 基于视觉环境的音频和触觉反馈
CN102227694A (zh) * 2008-10-10 2011-10-26 因特网服务有限责任公司 供触觉编码的媒体使用的触觉输出装置
CN102473172A (zh) * 2009-07-24 2012-05-23 数字标记公司 改进的音频/视频方法和系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003009177A (ja) * 2001-06-21 2003-01-10 For-A Co Ltd 画像合成システム
JP2003099177A (ja) * 2001-09-21 2003-04-04 Fuji Xerox Co Ltd 触覚情報作成方法、触覚情報提示方法および触覚情報提示装置
JP4078365B2 (ja) * 2005-07-13 2008-04-23 キヤノン株式会社 画像処理装置およびその制御方法
US8700791B2 (en) * 2005-10-19 2014-04-15 Immersion Corporation Synchronization of haptic effect data in a media transport stream
CN104063056B (zh) * 2006-04-06 2018-04-20 意美森公司 用于增强的触觉效果的系统和方法
US7979146B2 (en) * 2006-04-13 2011-07-12 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
KR20090057268A (ko) * 2006-08-24 2009-06-04 코닌클리케 필립스 일렉트로닉스 엔.브이. 햅틱 여기를 발생하기 위해 오디오 신호 및/또는 비디오 신호를 처리하기 위한 디바이스 및 방법
KR20080048308A (ko) * 2006-11-28 2008-06-02 삼성전자주식회사 기본 장치와 확장 장치의 연동 장치 및 방법
US9019087B2 (en) * 2007-10-16 2015-04-28 Immersion Corporation Synchronization of haptic effect data in a media stream
US8300117B2 (en) * 2008-03-28 2012-10-30 Fuji Xerox Co., Ltd. System and method for exposing video-taking heuristics at point of capture
US9400555B2 (en) * 2008-10-10 2016-07-26 Internet Services, Llc System and method for synchronization of haptic data and media data
WO2011007289A2 (en) 2009-07-17 2011-01-20 Koninklijke Philips Electronics N.V. A method and a system for a generation of an excitation effect
ES2364999B1 (es) * 2009-09-07 2012-08-07 Juan Zarza Goyenechea Dispositivo publicitario y probador de visionado con perspectiva.
JP2013047878A (ja) * 2011-08-29 2013-03-07 Toshiba Corp 道路状況把握装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101910977A (zh) * 2007-12-28 2010-12-08 诺基亚公司 基于视觉环境的音频和触觉反馈
CN102227694A (zh) * 2008-10-10 2011-10-26 因特网服务有限责任公司 供触觉编码的媒体使用的触觉输出装置
CN102473172A (zh) * 2009-07-24 2012-05-23 数字标记公司 改进的音频/视频方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
A Framework for Enhancing Video Viewing Experience;Fabien Danieau等;《HAPTICS SYMPOSIUM (HAPTICS),2012 IEEE》;20120307;542-543页 *

Also Published As

Publication number Publication date
CN104049749A (zh) 2014-09-17
EP2779675B1 (en) 2019-07-10
JP6559316B2 (ja) 2019-08-14
US20180144480A1 (en) 2018-05-24
JP2019036351A (ja) 2019-03-07
US10482608B2 (en) 2019-11-19
EP2779675A2 (en) 2014-09-17
US20150262376A1 (en) 2015-09-17
KR20140113495A (ko) 2014-09-24
EP3570553B1 (en) 2021-05-19
US9064385B2 (en) 2015-06-23
EP2779675A3 (en) 2015-03-04
CN110536162A (zh) 2019-12-03
US9911196B2 (en) 2018-03-06
US20140267904A1 (en) 2014-09-18
JP6456593B2 (ja) 2019-01-23
EP3570553A1 (en) 2019-11-20
JP2014194765A (ja) 2014-10-09

Similar Documents

Publication Publication Date Title
CN104049749B (zh) 产生来自视频内容分析的触觉反馈的方法和设备
US10733801B2 (en) Markerless image analysis for augmented reality
US11810226B2 (en) Systems and methods for utilizing a living entity as a marker for augmented reality content
US10488195B2 (en) Curated photogrammetry
US20170206419A1 (en) Visualization of physical characteristics in augmented reality
US20130207962A1 (en) User interactive kiosk with three-dimensional display
CN108369742A (zh) 使用传感器融合的经优化对象扫描
CN103440036B (zh) 三维图像的显示和交互操作方法及装置
WO2024031882A1 (zh) 视频处理方法、装置及计算机可读存储介质
US10289203B1 (en) Detection of an input object on or near a surface
CN116778058B (zh) 一种智能展厅的智能交互系统
JP2024506299A (ja) 占有率グリッドを使用した場面理解
KR20220083166A (ko) 인체 추정 방법 및 장치
CN115802021A (zh) 体积视频生成方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C53 Correction of patent for invention or patent application
CB02 Change of applicant information

Address after: American California

Applicant after: IMMERSION CORPORATION

Address before: American California

Applicant before: Immersion Corp.

COR Change of bibliographic data

Free format text: CORRECT: APPLICANT; FROM: IMMERSION CORP. TO: YIMEISEN COMPANY

C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant