CN101971608A - 向用户提供由视频流中的运动检测触发的物理刺激的方法和装置 - Google Patents

向用户提供由视频流中的运动检测触发的物理刺激的方法和装置 Download PDF

Info

Publication number
CN101971608A
CN101971608A CN200980108468XA CN200980108468A CN101971608A CN 101971608 A CN101971608 A CN 101971608A CN 200980108468X A CN200980108468X A CN 200980108468XA CN 200980108468 A CN200980108468 A CN 200980108468A CN 101971608 A CN101971608 A CN 101971608A
Authority
CN
China
Prior art keywords
motion
user
stimulus
motion feature
audiovisual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200980108468XA
Other languages
English (en)
Inventor
D·布罗肯
R·布拉斯彭宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN101971608A publication Critical patent/CN101971608A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/302—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device specially adapted for receiving control signals not targeted to a display device or game input means, e.g. vibrating driver's seat, scent dispenser
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6009—Methods for processing data by generating or executing the game program for importing or creating game content, e.g. authoring tools during game development, adapting content to different platforms, use of a scripting language to create content
    • A63F2300/6018—Methods for processing data by generating or executing the game program for importing or creating game content, e.g. authoring tools during game development, adapting content to different platforms, use of a scripting language to create content where the game content is authored by the player, e.g. level editor or by game device at runtime, e.g. level is created from music data on CD
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Eye Examination Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Analysis (AREA)

Abstract

来自常规视听源(10)的音频流(14)和视频流(12)由处理器(20)处理。运动处理器(30)建立至少一个运动特征并且将其输出到刺激控制器(32)，其在刺激发生器(34)中产生刺激。刺激发生器(34)可以是电流前庭刺激发生器。

Description

向用户提供由视频流中的运动检测触发的物理刺激的方法和装置
技术领域
本发明涉及用于处理视频信号的方法和装置。
背景技术
在常规电影院中的常规TV上观看视听内容或者甚至近来在计算机或移动设备上观看视听内容不是完全沉浸其中的体验。已经例如通过使用IMAX影院做出许多尝试以便改善体验。然而，即使在这样的影院中，环绕声也不能完全创建“身临其境”的错觉。
特别的难点在于，重新创建加速的感觉是非常困难的。
US5762612中陈述了一种在虚拟环境中提供附加激励的提议，该文献描述了电流前庭激励。在该方法中，将刺激施加到特别地至少在耳后的头部区域以便激励前庭神经以诱导前庭不平衡的状态，这可以增强虚拟现实环境。
发明内容
依照本发明，提供了依照权利要求1的方法。
本发明人已经认识到，必须产生附加信号以便增大视听数据流的真实性是麻烦的。很少有电影或电视节目包括常规视频和音频流之外的附加流。而且，也很少有用于计算机的游戏程序产生这样的附加流。仅有的例外是用于非常特定的设备的游戏程序。
通过从图像的视频流自动地产生刺激数据，可以增强现有以及新内容的真实感。
因此，该方法基于任意视听流重新创建可以施加到人体或环境的物理刺激。不需要特殊的视听数据。
运动数据可以通过以下所述来提取：
-通过计算多个像素块中的每一个的运动数据估计场景的主运动
-分析运动数据的分布；以及
-如果在运动数据的分布中存在主峰，那么将该峰的运动标识为运动特征。
提取运动数据的另一种方法包括对前景和背景进行运动分割并且将前景和背景的对应运动计算为运动特征。
非视听刺激可以是电流前庭刺激。该方法增强了用户体验而无需过多的传感器和装置。事实上，可以将电流前庭刺激发生器结合到头戴送受话器中。
可替换地，非视听刺激可以是用户皮肤的触觉激励。
非视听刺激的又一可替换方案是施加非视听刺激，包括物理地移动用户身体或其部分。
附图说明
现在，为了更好地理解本发明，将仅仅通过示例参照附图描述若干实施例，在附图中：
图1示出了依照本发明的装置的第一实施例；
图2示出了图1装置中使用的电流前庭激励单元；
图3示出了依照本发明的装置的第二实施例；
图4示出了用来提取运动特征的方法的第一实施例；以及
图5示出了用来提取运动特征的方法的另一实施例。
这些附图是示意性的并且不按比例。在不同附图中，相同或相似的部件被给予相同的附图标记，并且与其相关的描述不必要加以重复。
具体实施方式
参照图1，本发明的第一实施例包括视听发生器10，该视听发生器提供包含视频流12和一个或多个音频流14的视听内容。该视听发生器可以是计算机、DVD播放器或者任何适当的视听数据源。应当指出的是，在这种情况下，术语“视频流”12在其严格意义上用来表示视频数据(即图像序列)并且不包括音频流14。当然，在任何特定应用中，可以根据需要混合音频和视频流并且将其作为单个数据流传输或者分开传输。
视听处理器20接受音频和视频流12、14。它包括视听再现引擎22，该视听再现引擎接受音频和视频流12、14并且在这里为计算机监视器26和扩音器28的输出装置24上输出它们。可替换地，输出装置24可以例如是具有集成的扬声器的电视机。
视频流12也被馈送到运动处理器30中，该运动处理器从视频流代表的图像序列中提取运动特征形式的运动信息。典型地，运动特征将与图像中表示的主运动和/或前景的运动有关。下文讨论了进一步的细节。
运动处理器30连接到刺激控制器32，该刺激控制器又连接到刺激发生器34。刺激控制器被设置成将运动特征转换成刺激信号，该刺激信号然后馈送到使用时激励用户36的刺激发生器34。刺激控制器34的输出因而是适于控制刺激发生器34以便将非视听物理刺激施加到用户的控制信号。
在该实施例中，刺激发生器是类似于US5762612中所述的电流前庭刺激(GVS)发生器。参照图2，该发生器包括集成到头带38中的柔性传导片40，头带可以从前额越过耳朵固定在用户头部周围，在颈部后由紧固件42固定。可替换地，头戴式耳机可以用于该目的。GVS提供了通过在耳后对准前庭神经电刺激用户头部而创建加速感觉的相对简单的方式。通过这种方式，用户可以仅仅停留在他所处的位置(坐、立、卧)并且仍然体验到与视频场景关联的加速感觉。
图3中示出的可替换实施例提供了如下的另外的特征。应当指出的是，可以单独地提供这些附加特征中的一些或全部。
首先，刺激发生器32具有用于驱动多个刺激发生器的多个输出端。通常这些刺激发生器可以是不同的类型，但是不排除这些刺激发生器中的一些或全部是相同的类型。
在图3的实施例中，提供了“强度”控制件52，即用户选择刺激的‘强度’的装置。这允许用户可以选择激励的幅度或“音量”。这也可以包括对于若干激励方向或通道中的每一个选择强度。强度控制件52可以连接到刺激控制器32，其分析正被显示的场景的内容(例如动作汽车追逐的直接映射、悬念设置的反向映射以及恐怖场景的随机映射。)
进一步的改进是“过激励”预防单元54，其用于自动地调整激励幅度。这可以基于用户刺激或者收集反映用户的身体和/或精神状态的物理或心理生理学测量的传感器56的用户可调节极限。
在该实施例中，通过使用多扬声器装置或者智能音频再现算法应用从视频流检测到的运动以改变或引导与其关联的音频流以便加强运动的感觉。来自视频信号的运动也可以用来人工地创建更多音频通道。
应当理解的是，存在若干可以使用的适当刺激发生器34，并且这些可以与任何实施例一起使用。这些刺激发生器可以与其他刺激发生器34一起使用或者独自地使用。
再现运动特征以增强体验可以通过对用户的物理激励或者通过改变(房间)环境来实现。根据需要可以使用一个或多个这样的刺激发生器。这些刺激发生器可以在选择控制件50的控制下由刺激控制器32进行控制。
一个可替换的刺激发生器34包括至少一个内置到身体接触物体90中的机械致动器62。在使用时，使身体接触物体与用户皮肤接触并且(一个或多个)机械致动器92产生触觉激励。适当的身体接触物体包括衣服和用具。
另一可替换刺激发生器34包括被设置成移动或倾斜用户坐在或站在其上的地面或者可替换地或此外用具或其他大的物体的驱动器94。这种类型的刺激发生器实现了身体的实际物理运动。
可替换地(或者此外)，视频流中检测到的运动也可以用来通过使用例如以下选项之一改变环境。
另一可替换刺激发生器34是被设置成基于运动特征适配房间中或TV(流光溢彩)上的照明的照明控制器。这在运动特征涉及运动照明图案时是特别合适的。
又一可替换刺激发生器34是通过模仿与视频流中的运动一致的空气运动而增强运动感觉的吹风机或风扇。
加强加速错觉的另一种方式可以是物理地移动(平移或旋转用户前面显示的图像)。这可以通过使用显示器支架或底座中的机械致动移动整个显示器来实现。对于投影显示器，光路中的小的调节(优选地使用专用致动器来移动光学部件)可以用来移动或扭曲投影的图像。
现在，将参照图4和图5更详细地讨论运动处理器30的操作。
在第一方法中，运动处理器30被设置成从视频，即从视频流代表的图像序列中提取主平移运动。这可以直接根据流完成或者通过再现流的图像并且处理这些图像来完成。
主平移运动不一定是相机的运动。它是场景中明显可见的最大对象的运动。这可以是背景，在这种情况下，它等同于相机运动，或者它可以是大的前景对象的运动。
适当方法的第一实施例使用积分投影，这是实现主运动提取的成本有效的方法。D.Robinson和P.Milanfar的“Fast Local and GlobalProjection-Based Methods for Affine Motion Estimation”Journal ofMathematical Imaging and Vision vol.18 no.1 pp.35-542003以及A.J.Crawford等的.“Gradient based dominant motion estimation with integralprojections for real time video stabilization”Proceeding of the ICIP vol 52004pp.3371-3374中阐述了适当的方法。
然而，这些方法的缺陷在于，当场景中存在具有不同运动的多个对象时，由于涉及的积分操作的原因，它们不能挑选出一个主运动。通常，估计的运动是场景中存在的运动的混合。因此，在这样的情况下，这些方法倾向于产生不精确的结果。除了平移运动之外，这些方法也可以用来估计缩放运动。
相应地，为了克服这些问题，在第二实施例中使用了高效的局部真实运动估计算法。G.de Haan和P.Biezen的“Sub-pixel motionestimation with 3-D recursive search block-matching”Signal Processing：Image Communication 6pp.229-2391994中描述了适当的三维递归搜索(3DRS)算法。
该方法典型地产生图像中每像素块的运动场。主运动可以通过分析估计的运动场的直方图来找到。特别地，我们提出使用直方图的主峰作为主运动。直方图的进一步分析可以指示该峰真正是主运动还是仅仅是许多不同的运动之一。这可以用于当直方图中不存在一个清晰的峰时切换回零估计主运动的回退机制。
图4为该方法的示意性流程图。首先，根据视频数据流12计算60帧之间的每个像素块的运动。接着，将该运动划分成多个“面元”(bin)，即运动范围，并且确定62每个面元中具有计算的运动的块数。块数与面元的关系可以被认为是直方图，尽管该直方图通常不会用图形绘出。
接下来，标识64直方图中的峰。如果存在单个主峰，则将该主峰的运动标识68为运动特征。
否则，如果没有主峰可以被标识，则没有运动特征被标识(步骤70)。
场景中清晰的缩放运动将导致平坦的直方图。尽管原则上描述缩放的参数(缩放速度)可以从直方图估计，但是我们提出为此使用更鲁棒的方法。该方法从运动场估计若干可能的参数集合，以便最终获得缩放参数的一个鲁棒估计，如G.de Haan和P.W.A.C.Biezen的“An efficienttrue-motion estimator using candidate vectors from a parametric motionmodel”IEEE tr.on Circ.and Syst.tor VideoTechn.Vol.8no.1Mar.1998pp.85-91中所阐述的。估计的主平移运动代表左右和上下运动，而缩放参数代表前后运动。因此，它们一起构成用于激励的3D运动信息。用于估计缩放参数的方法也可以用于估计旋转参数。然而，在通常的视频材料或游戏内容中，围绕光轴的旋转出现得远没有摇摆和缩放那么频繁。
因此，在计算平移运动之后，计算缩放(步骤72)并且将缩放和平移运动作为运动特征而输出(步骤74)。
在标识了运动特征之后，可以产生刺激数据(步骤88)并且将其施加到用户(步骤89)。
另一组实施例不基于估计场景中的主运动，而是估计前景对象相比于背景的相对运动。与估计主运动形成对照的是，这对于静止相机和跟踪前景对象的相机都产生正确的结果。在相机静止且前景对象移动的情况下，两种方法都导致前景对象的运动(暂时假设前景对象是场景中的主对象)。然而，当相机跟踪前景对象时，主运动在这种情况下将变为零，而前景对象的相对运动仍然是前景运动。
为了找到前景对象，需要某种形式的分割。通常，分割是非常困难的问题。然而，本发明人已经认识到，在这种情况下，基于运动的分割是足够的，因为这是感兴趣的量(无需从静止背景分割出静止前景对象)。换言之，所需的是标识运动对象的像素，这比标识前景容易得多。
估计的深度场的分析将表示前景和背景对象。其对应运动的简单比较将得到前景对象相对于背景的相对运动。当背景缩放时，该方法可以处理平移前景对象。因此，附加地，背景的估计的缩放参数可以用来获得用于激励的完整的3D运动参数集合。
因此，参照图5，首先，计算深度场(步骤82)。然后，发生运动分割(步骤84)以标识前景和背景并且然后计算前景和背景的运动作为运动特征(步骤86)。然后，计算背景缩放(步骤70)并且输出运动特征(步骤72)。
利用静止相机，如果主对象是前景，那么主运动将是前景运动并且这是作为运动特征而输出的主运动。形成对照的是，如果背景是图像的主特征，那么主运动为零，但是前景对象仍然相对于背景运动，因而图5的方法即使在图4的方法输出零作为主运动的情况下将仍然输出适当的运动特征。
类似地，如果相机跟随前景对象，那么如果前景对象是主对象，那么主运动将仍然为零。然而，在这种情况下，前景仍然相对于背景运动，因而图5的方法在图4的方法不输出运动特征的地方情况下仍然输出运动特征。如果背景是主要的，那么图4的主运动方法将给出与前景运动相反的运动，而图5的方法继续给出前景相对于背景的运动。
因此，在许多情形下，图5的方法可以给出一致的运动特征输出。
最后，为了改善用户的运动感知，可以对估计的运动参数应用时间后处理或滤波。例如，在时间上对估计的参数进行自适应指数平滑将得到更稳定的参数。
上面概述的处理将导致一个提取的运动特征(或者超过一个运动特征)，其代表媒体流中的运动的估计。
刺激控制器32以若干方式之一将可以代表用户或房间的检测的运动特征映射到其输出。这可以是用户使用连接到刺激控制器的选择控制件50而可控的。
一种方法是检测的背景运动直接映射到用户或环境，使得用户体验相机运动(用户是动作的旁观者)。
可替换地，刺激控制器可以直接将检测的主要对象移动映射到用户或环境，使得用户体验视频中看见的主要对象的运动。
可替换地，为了特别增强的运动感觉，可以反向映射任何以上所述之一。
为了创建混沌或恐惧的感觉，随机运动映射可以用来触发方向迷失的感觉，这可能与流中的爆炸场景、汽车碰撞或者其他暴力事件有关。
上面的方法可以应用到任何视频屏幕，其允许再现全运动视频。这包括电视机、用于游戏或虚拟现实的计算机监视器或者移动电影播放器，例如移动电话、mp3/视频播放器、便携式控制台和任何类似设备。
上面的实施例不是限制性的，并且本领域技术人员应当理解的是，许多变型都是可能的。附图标记被提供来帮助理解，并且不是限制性的。
所述装置可以以软件、硬件或者软件和硬件的组合实现。所述方法可以在任何适当的装置中实现，而不仅仅是在上述装置中实现。
权利要求的特征可以以任何组合加以组合，而不仅仅是权利要求中明确阐述的那些组合。

Claims (15)

1.一种用于为用户复现代表图像序列的视频数据流的方法，该方法包括：
-从视频数据流(12)中提取至少一个代表运动的运动特征；以及
-从运动特征产生(88)刺激数据；以及
基于该刺激数据将非视听物理刺激施加(89)到用户(36)。
2.依照权利要求1的方法，其中提取运动特征的步骤包括
-通过计算(60)多个像素块中的每一个的运动数据估计场景的主运动；
-分析(62，64)运动数据的分布；以及
-如果在运动数据的分布中存在主峰，那么将该峰的运动标识(68)为运动特征。
3.依照权利要求1的方法，其中提取运动特征的步骤包括：
-对前景和背景进行运动分割(84)；以及
-将前景和背景的对应运动计算(86)为运动特征。
4.依照权利要求1的方法，其中施加(89)非视听刺激的步骤将电流前庭刺激施加到用户。
5.依照权利要求1的方法，其中施加(89)非视听刺激的步骤包括施加用户皮肤的触觉激励。
6.依照权利要求1的方法，其中施加(89)非视听刺激包括物理地移动用户身体或其部分。
7.依照权利要求1的方法，其中视频数据流(12)伴随有音频流(14)，该方法还包括：
-接收音频流和提取的运动数据；
-基于提取的运动数据修改音频流中的音频数据；以及
-通过音频复现单元输出修改的音频数据。
8.一种计算机程序产品，其被设置成使得连接到用于向用户施加非视听刺激的刺激发生器的计算机能够执行依照权利要求1的方法。
9.用于为用户复现代表图像序列的视频数据流的装置，包括：
-运动处理器(30)，其被设置成从视频数据流中提取至少一个代表运动的运动特征
-刺激发生器(34)，其被设置成提供非视听刺激；
其中运动处理器(30)被设置成基于提取的运动特征驱动刺激发生器。
10.依照权利要求9的装置，其中刺激发生器(34)是集成到头戴式耳机中的电流前庭刺激发生器。
11.依照权利要求9的装置，其中刺激发生器(34)包括至少一个内置到身体接触物体(60)中的机械致动器(62)，用于施加用户皮肤的触觉刺激。
12.依照权利要求9的装置，其中刺激发生器(34)包括致动器(64)，该致动器被设置成物理地移动地面或者用具以便施加非视听刺激，包括物理地移动用户身体或其部分。
13.依照权利要求9的装置，其中运动处理器被设置成通过计算多个像素块中的每一个的运动数据估计场景的主运动，以分析运动数据的分布；并且如果在运动数据的分布中存在主峰，那么将该峰的运动标识为运动特征。
14.依照权利要求9的装置，其中运动处理器(30)被设置成对前景和背景进行运动分割并且将前景和背景的对应运动计算为运动特征。
15.依照权利要求9的装置，还包括：
-音频处理器(48)，其被设置成接收音频数据流且接收来自效果处理器的提取的运动特征，并且基于提取的运动特征修改音频流中的接收的音频数据；以及
-音频复现单元，其用于输出修改的音频数据。
CN200980108468XA 2008-03-10 2009-03-04 向用户提供由视频流中的运动检测触发的物理刺激的方法和装置 Pending CN101971608A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP08152539 2008-03-10
EP08152539.6 2008-03-10
PCT/IB2009/050873 WO2009112971A2 (en) 2008-03-10 2009-03-04 Video processing

Publications (1)

Publication Number Publication Date
CN101971608A true CN101971608A (zh) 2011-02-09

Family

ID=41065611

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980108468XA Pending CN101971608A (zh) 2008-03-10 2009-03-04 向用户提供由视频流中的运动检测触发的物理刺激的方法和装置

Country Status (10)

Country Link
US (1) US20110044604A1 (zh)
EP (1) EP2266308A2 (zh)
JP (1) JP2011523515A (zh)
KR (1) KR20100130620A (zh)
CN (1) CN101971608A (zh)
BR (1) BRPI0910822A2 (zh)
MX (1) MX2010009872A (zh)
RU (1) RU2010141546A (zh)
TW (1) TW200951763A (zh)
WO (1) WO2009112971A2 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105228711A (zh) * 2013-02-27 2016-01-06 汤姆逊许可公司 用于再现具有触觉致动器控制参数的视听内容的项目的方法和实现该方法的装置
CN108700937A (zh) * 2016-02-29 2018-10-23 三星电子株式会社 视频显示设备和用于减轻vr不适的方法
CN109644297A (zh) * 2016-09-29 2019-04-16 英特尔公司 标识可能诱发发病的虚拟现实内容的方法和设备

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9436280B2 (en) * 2010-01-07 2016-09-06 Qualcomm Incorporated Simulation of three-dimensional touch sensation using haptics
CN103003775A (zh) * 2010-06-28 2013-03-27 Tp视觉控股有限公司 增强内容观看体验
US8578299B2 (en) * 2010-10-08 2013-11-05 Industrial Technology Research Institute Method and computing device in a system for motion detection
KR101635266B1 (ko) * 2014-07-10 2016-07-01 한림대학교 산학협력단 3차원 가상현실 환경에서 사이버 멀미 경감을 위한 갈바닉 전정자극 시스템 및 그 방법
KR101663410B1 (ko) * 2015-03-02 2016-10-07 한림대학교 산학협력단 사용자 중심의 모션 유발을 위한 갈바닉 전류 조절 장치
KR101663414B1 (ko) * 2015-03-10 2016-10-06 한림대학교 산학협력단 가상현실 환경에서 사이버 멀미 경감을 위한 머리 장착형 사이버 멀미 경감 장치
AU2016377491A1 (en) 2015-12-23 2018-06-21 Mayo Foundation For Medical Education And Research System and method for integrating three dimensional video and galvanic vestibular stimulation
WO2017150795A1 (en) 2016-02-29 2017-09-08 Samsung Electronics Co., Ltd. Video display apparatus and method for reducing vr sickness
JP2017182130A (ja) * 2016-03-28 2017-10-05 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
KR102544779B1 (ko) * 2016-11-23 2023-06-19 삼성전자주식회사 움직임 정보 생성 방법 및 이를 지원하는 전자 장치
US11262088B2 (en) * 2017-11-06 2022-03-01 International Business Machines Corporation Adjusting settings of environmental devices connected via a network to an automation hub
US10660560B2 (en) * 2018-08-27 2020-05-26 International Business Machiness Corporation Predictive fall prevention using corrective sensory stimulation

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH053968A (ja) * 1991-06-25 1993-01-14 Pioneer Electron Corp 映像表示、及びその表示に連動する運動装置
US5389865A (en) * 1992-12-02 1995-02-14 Cybernet Systems Corporation Method and system for providing a tactile virtual reality and manipulator defining an interface device therefor
US5490784A (en) * 1993-10-29 1996-02-13 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
US5762612A (en) * 1997-02-28 1998-06-09 Campbell; Craig Multimodal stimulation in virtual environments
US20020036617A1 (en) * 1998-08-21 2002-03-28 Timothy R. Pryor Novel man machine interfaces and applications
JP4245695B2 (ja) * 1998-09-24 2009-03-25 シャープ株式会社 画像動きベクトル検出方法およびその装置
US6077237A (en) * 1998-11-06 2000-06-20 Adaboy, Inc. Headset for vestibular stimulation in virtual environments
JP4672094B2 (ja) * 1999-01-22 2011-04-20 ソニー株式会社 画像処理装置および方法、並びに記録媒体
US6597738B1 (en) * 1999-02-01 2003-07-22 Hyundai Curitel, Inc. Motion descriptor generating apparatus by using accumulated motion histogram and a method therefor
JP2001154570A (ja) * 1999-11-30 2001-06-08 Sanyo Electric Co Ltd 疑似体験装置及び疑似体験方法
JP2002035418A (ja) * 2000-07-21 2002-02-05 Sony Corp 情報処理装置および方法、情報処理システム、および記録媒体
US8113839B2 (en) * 2000-07-21 2012-02-14 Sony Corporation Information processing apparatus, information processing method, information processing system, and storage medium
US6738099B2 (en) * 2001-02-16 2004-05-18 Tektronix, Inc. Robust camera motion estimation for video sequences
JP4263921B2 (ja) * 2003-02-25 2009-05-13 独立行政法人科学技術振興機構 身体誘導装置
US8730322B2 (en) * 2004-07-30 2014-05-20 Eyesee360, Inc. Telepresence using panoramic imaging and directional sound and motion
JP2006270711A (ja) * 2005-03-25 2006-10-05 Victor Co Of Japan Ltd 情報提供装置及び情報提供装置の制御用プログラム
WO2007050707A2 (en) * 2005-10-27 2007-05-03 Nec Laboratories America, Inc. Video foreground segmentation method
US8467570B2 (en) * 2006-06-14 2013-06-18 Honeywell International Inc. Tracking system with fused motion and object detection
ITMI20070009A1 (it) * 2007-01-05 2008-07-06 St Microelectronics Srl Un sistema elettronico interattivo di intrattenimento
WO2008136933A1 (en) * 2007-05-07 2008-11-13 Thomson Licensing Method and apparatus for processing video sequences
KR20090015455A (ko) * 2007-08-08 2009-02-12 삼성전자주식회사 오디오 신호 및 비디오 신호를 상호 의존적으로 제어하는방법과 그 장치
CN103124354B (zh) * 2007-09-28 2016-01-20 杜比实验室特许公司 处理视频信息

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105228711A (zh) * 2013-02-27 2016-01-06 汤姆逊许可公司 用于再现具有触觉致动器控制参数的视听内容的项目的方法和实现该方法的装置
CN108700937A (zh) * 2016-02-29 2018-10-23 三星电子株式会社 视频显示设备和用于减轻vr不适的方法
CN109644297A (zh) * 2016-09-29 2019-04-16 英特尔公司 标识可能诱发发病的虚拟现实内容的方法和设备
US10955917B2 (en) 2016-09-29 2021-03-23 Intel Corporation Methods and apparatus for identifying potentially seizure-inducing virtual reality content
CN109644297B (zh) * 2016-09-29 2022-01-18 英特尔公司 标识可能诱发发病的虚拟现实内容的方法和设备

Also Published As

Publication number Publication date
RU2010141546A (ru) 2012-04-20
KR20100130620A (ko) 2010-12-13
EP2266308A2 (en) 2010-12-29
MX2010009872A (es) 2010-09-28
WO2009112971A3 (en) 2010-02-25
US20110044604A1 (en) 2011-02-24
JP2011523515A (ja) 2011-08-11
BRPI0910822A2 (pt) 2015-10-06
TW200951763A (en) 2009-12-16
WO2009112971A2 (en) 2009-09-17

Similar Documents

Publication Publication Date Title
CN101971608A (zh) 向用户提供由视频流中的运动检测触发的物理刺激的方法和装置
US10074012B2 (en) Sound and video object tracking
CN106303555B (zh) 一种基于混合现实的直播方法、装置和系统
CN107615338A (zh) 用于生成和使用降低分辨率图像并且/或者将这样的图像传送到重放或内容分发设备的方法和装置
Kim et al. Saliency-driven real-time video-to-tactile translation
CN106648107A (zh) 一种vr场景的控制方法和装置
CN102929386A (zh) 一种动感重现虚拟现实的方法及系统
JP2020526125A (ja) ユーザー固有コンテンツを映像制作に融合させる方法及びシステム
CN108762508A (zh) 一种基于vr体验舱的人体与虚拟人合成系统及方法
CN107616896A (zh) 一种智能按摩系统及智能按摩方法
Waltl et al. Sensory effect dataset and test setups
CN115428032A (zh) 信息处理装置、信息处理方法和程序
US10536682B2 (en) Method for reproducing an item of audiovisual content having haptic actuator control parameters and device implementing the method
CN108134928A (zh) Vr显示方法和装置
Chen et al. Activity-aware adaptive compression: a morphing-based frame synthesis application in 3DTI
CN107358657B (zh) 基于增强现实技术实现互动的方法和系统
WO2022009607A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
Zhang et al. Automatic generation of spatial tactile effects by analyzing cross-modality features of a video
KR102495213B1 (ko) 증강 현실 기반의 스크린 스포츠 체험 장치 및 방법
EP4080907A1 (en) Information processing device and information processing method
CN112245910B (zh) 一种基于Quest头显的建模、极限运动方法和系统
WO2023281803A1 (ja) 情報処理装置、情報処理方法および記憶媒体
Alma et al. Preliminary Study of Upper-Body Haptic Feedback Perception on Cinematic Experience
Oishi et al. Improving presence experience in live music videos by using adaptive zooming
Harvey et al. The Effect of Discretised and Fully Converged Spatialised Sound on Directional Attention and Distraction.

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20110209