CN102246119A - 用于提供沉浸式效果的方法和系统 - Google Patents

用于提供沉浸式效果的方法和系统 Download PDF

Info

Publication number
CN102246119A
CN102246119A CN2009801494237A CN200980149423A CN102246119A CN 102246119 A CN102246119 A CN 102246119A CN 2009801494237 A CN2009801494237 A CN 2009801494237A CN 200980149423 A CN200980149423 A CN 200980149423A CN 102246119 A CN102246119 A CN 102246119A
Authority
CN
China
Prior art keywords
image
data
target
immersion effect
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2009801494237A
Other languages
English (en)
Other versions
CN102246119B (zh
Inventor
X.周
A.A.托克马科夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN102246119A publication Critical patent/CN102246119A/zh
Application granted granted Critical
Publication of CN102246119B publication Critical patent/CN102246119B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)
  • Image Processing (AREA)

Abstract

一种提供沉浸式效果的方法包括:接收代表至少一幅图像的数据。分析图像数据以定位在图像内所标识的至少一个目标。估计能够观察所述至少一幅图像的至少一个对象的视觉注意焦点。至少根据视觉注意焦点相对于所述至少一个目标在所述至少一幅图像中的定位的位置,向给所述至少一个对象提供沉浸式效果的系统(16-19;31-34)提供至少一个信号。

Description

用于提供沉浸式效果的方法和系统
技术领域
本发明涉及提供沉浸式效果的方法、用于控制提供沉浸式效果的系统以及计算机程序。 
背景技术
WO 2006/100645公开了一种系统,其针对当前正被用户所观看的文献资料生成沉浸式阅读体验。该系统包括:至少一个照相机,其捕获正观看资料的用户图像;以及至少一个处理器,其可操作性地耦合到照相机,从照相机接收图像。处理器被配置成处理图像并使用图像以确定在当前正被用户所观看的资料中的定位。处理器进一步被配置成处理资料中的定位,以生成至少一个与正被用户所观看的当前资料相应的沉浸式效果相关输出。在一个实施例中,所述系统包括电子书。电子书的存储器存储作品正文的电子版本,电子书的处理器使用该电子版本来显示。如果那样的话,效果相关数据优选地包括在正文电子版本的软件层或者子代码中,其对用户不可见。处理器使用当前正被观看的定位来标识其当前正在该显示定位处显示的正文。处理器使用正被显示的正文的存储定位以取回相应的沉浸式效果数据。在使用纸书的可替代实施例中,沉浸式效果数据将优选地根据页在存储器中被引用,并且置于对应的正文出现的纸书页上。照相机可以用来捕获页本身的图像,并且图像处理可以用来识别书被打开的页码。
该已知的方法使用用于生成图像的结构化数据,以便使凝视点与沉浸式效果有关,而再现设备(例如电子书)记录其在什么地方放置正文。
发明内容
希望的是,提供一种在开篇段落中所限定类型的、适合于与较宽范围的图像(特别地还包括运动(动态)图像序列)一起使用的方法、系统和计算机程序。
该目的通过根据本发明的方法来实现,该方法包括:
- 接收代表至少一幅图像的数据;
- 分析图像数据,以定位在图像内所标识的至少一个目标(object);
- 估计能够观察所述至少一幅图像的至少一个对象(subject)的视觉注意焦点;以及
- 至少根据视觉注意焦点相对于所述至少一个目标在所述至少一幅图像中的定位的位置,向用于给所述至少一个对象提供沉浸式效果的系统提供至少一个信号。
接收代表至少一幅图像的数据并且分析该图像数据以定位在图像内所标识的至少一个目标,允许该方法起作用,而不需要对于该图像或者每一幅图像提供隐含的或者显式的图像位置到效果的映射。在图像序列的情况下,这意味着:不必向运行该方法的系统提供含有这种映射的同步数据流。出于相同的原因,该方法还可以利用较大范围的图像(例如,其数字表示被分析的任何硬拷贝图像)来起作用。在这样的实施例中,只要目标可以被识别并且和沉浸式效果相关,则不需要包括图像位置到沉浸式效果的映射的结构化数据。
应当注意的是,在本公开的上下文中,术语对象用来指示有生命的对象,即人或者动物,例如家庭宠物或者类似物。
该方法的实施例包括:估计能够观察所述至少一幅图像的多个对象中每一个对象的对应视觉注意焦点,以及根据对象的注意焦点调节所述至少一个信号以使其适应用于提供沉浸式效果的系统。
该实施例允许在所有对象都聚焦在基本上相同的目标(在图像内或者图像外部)上时向所有对象提供相同的沉浸式效果。不然的话,那么可以提供较弱的沉浸式效果或者根本不提供反馈。可替代地,该实施例提供用于生成有区别的反馈的可能性。
一种其中系统被配置成在多个输出定位的每一个处提供单独的沉浸式效果的变型进一步地包括:确定对象的定位,其至少与输出定位相关。
该变型使得合适的沉浸式效果能够被提供作为到多个对象的反馈,即使当他们正在看不同的事物的时候。
在实施例中,向用于提供沉浸式效果的系统提供所述至少一个信号,所述系统包括用于提供触觉反馈的至少一个设备。
到对象的涉及力、振动和/或运动的传送的触觉反馈只能在短的距离上(基本上仅仅通过直接接触)传送。效果在于,作为反馈提供给一个对象的沉浸式效果不太可能被其他人感知到。因此,在其中多个对象能够观察图像,但是仅仅一个对象正在看图像内特定的目标的情形下,与那个目标相关联的反馈可以仅仅针对那个特定的对象,而不会干扰其他人。
本方法的实施例包括:标识对象。
在本文中,“标识”可以简单地相当于辨别多个对象中的每一个,即检测显示器上的图像环境中存在例如五个明显的对象。可以可替代地更进一步,包含使他们与唯一的标识符相关,所述标识符通常为预先确定的唯一标识符,例如“鲍勃”,“玛丽”等等。效果是有利于提供有区别的反馈,从而基本上允许反馈针对所述对象中的其视觉注意焦点被估计的特定对象。
在该实施例的变型中,标识对象包括使对象与预先确定的标识符相关,并且也根据与标识符相关联的设置来向用于提供沉浸式效果的系统提供至少一个信号。
效果是允许沉浸式效果对于不同的对象更加精细地调整,甚至在仅仅有限数量的效果数据与图像中的目标相关联或者可以基于它们的特性或基于利用图像数据所接收到的效果数据来与图像中的目标相关联的情况下。为获得有意义的效果,标识不必是唯一的。例如,标识可以是一类对象,而沉浸式效果还基于与那类对象相关联的设置来提供。因此,不同的效果可以提供给小孩和成人,男人和女人,以及人和动物。而且,效果还可以选择性地提供,即仅仅提供给成人但是不提供给小孩。如果标识是特定的个体,那么,该方法可以实现一类学习,以使得沉浸式效果基于与那个单独的对象相关联的偏好来提供。
在实施例中,随时间跟踪视觉注意焦点,并且通过使基于视觉注意焦点相对于所述至少一个目标在所述至少一幅图像中的定位的位置的信号经平滑函数处理,向用于提供沉浸式效果的系统提供至少一个信号。
该实施例避免了在对象扫描包括多个目标的图像时可能发生的、引起非常不同类型的反馈的问题。首先,在该情景中,用于提供沉浸式效果的系统必须具有快速的响应时间,以便没有延迟地提供正确的效果。其次,即使在给出这些快速响应时间的情况下,如果对象经受快速地和极度变化的沉浸式效果,其可能非常不舒服。平滑函数因此避免了对象的这种不舒服,此外允许使用具有稍微更长响应时间的提供沉浸式效果的系统。
在实施例中,所接收的数据代表运动图像序列,并且接收与标识图像中的至少一个目标的数据相关联的数据。
效果是允许在系统中实时执行该方法,所述系统不一定能够对于实时接收的运动图像数据执行目标标识算法。然而,因为系统仍然分析图像数据以定位目标,所以对于每个图像序列,不必向其提供将图像定位映射到效果的数据流。
在该方法的变型中,标识目标的数据与标识多幅图像的第一幅中的目标位置的数据相关联。
换句话说,系统被提供有详述目标的最初位置的位置数据,并且可以然后通过随后的图像独立地跟踪目标。这仍然代表与目标关联 的数据量的节省,所述数据必须传送到执行该方法的系统(例如,数字电视机或者机顶盒)。位置数据可以通过与图像数据和/或标识目标的数据的源相分离的源来提供。
所述方法的实施例包括:确定所述至少一个目标的至少一个特性,其中至少根据视觉注意焦点相对于所述至少一个目标在所述至少一幅图像中的定位的位置来向给所述至少一个对象提供沉浸式效果的系统提供所述至少一个信号包括:基于与目标特性相关联的效果数据来适应性调节信号。
效果在于,当对象的注意力聚焦于特定目标时可以提供适当的效果,但是将特定效果数据与特定目标相关联不是必需的。因为不需要提供这种特定的效果数据,所以对于在图像数据源和执行本方法的系统提供商之间的标准化存在较少的需求。例如,目标可以具有与其相关联的特性“动态”。执行所述方法的系统然后将该特性映射到一组控制信号,所述控制信号适合于该特性且适于提供沉浸式效果的可用系统。
该方法的变型包括:接收标识所述至少一幅图像中至少一个目标的数据,其与代表所述至少一幅图像的数据相关联;以及通过使用标识所述至少一个目标的数据来确定所述至少一个目标的特性。
该变型解决了相对快速地确定特性的问题。它们可包括有标识所述至少一个目标的数据,或者辞典或其他种类的映射可以用来基于标识所述至少一个目标的数据确定特性。
根据另一方面,根据本发明的用于控制提供沉浸式效果的系统包括:
- 接口,用于接收代表至少一幅图像的数据;
- 数据处理系统,用于分析图像数据以定位在图像内所标识的至少一个目标;
- 系统,用于估计能够观察所述至少一幅图像的至少一个对象的视觉注意焦点;以及
- 接口,用于向给所述至少一个对象提供沉浸式效果的系统提供至少一个信号,
其中用于控制提供沉浸式效果的系统被配置成:至少根据视觉注意焦点相对于所述至少一个目标在所述至少一幅图像中的定位的位置来提供信号。
该系统可以包括在用于再现所述至少一幅图像的系统中,或者它可以与用于捕获数字形式的所述至少一幅图像的系统合作。
在实施例中,所述系统被配置成执行根据本发明的方法。
根据本发明的另一方面,提供了包括一组指令的计算机程序,当其结合到机器可读介质中时,能够使具有信息处理能力的系统执行根据本发明的方法。
附图说明
下面将参考附图来进一步地详细解释本发明,其中:
图1是用于提供与运动图像序列相关联的沉浸式效果的第一系统的非常示意性的示图;
图2是用于提供沉浸式效果的第二系统的非常示意性的示图,在该情况下所述效果与静态图像或者缓慢交替的图像序列相关联;以及
图3是示出提供沉浸式效果的方法的流程图。
具体实施方式
参考图1,包括图像序列的视频信号(其可能是连续的半图像或者帧的形式)首先由广播站1通过卫星链路2向电缆头端3广播。从那里开始,视频信号提供给数字电视机4或者类似的广播接收器。
数字电视机4包括电缆网络接口5、调谐器6、解调器7以及解复用器8,用于取回视频信号,至少一个同步的伴随音频流和同步的伴随数据流。这些流属于单一事件,因此以本质上公知的方式(例如根据DVB(数字视频广播)标准)借助于广播复用表链接到一起。
视频信号提供给显示器9,并且音频信号提供给音频编解码器10、放大器11以及一个或者多个扬声器12、13。
数据处理单元14和存储器15被提供以执行控制例程,以便控制数字电视机4的操作以及执行一个或者多个例程,所述例程使数字电视机4能够控制向观看显示器9上的图像的观看者提供沉浸式反馈的系统。为此,数字电视机4包括到多个用于提供沉浸式效果的设备17-19的接口16。
在所示出的实施例中,设备17-19包括:用于提供触觉反馈的设备,即用于传送力、运动和振动中的至少一个给接近(通常是接触)该设备的对象。特别地,设备17-19可以包括:例如手套形式的穿戴在将被提供沉浸式效果的对象的人身上的设备。可替代地,设备17-19可以被集成到家具或者陈设品中,所述家具或者陈设品例如沙发、衬垫、地毯等等。
虽然触觉效果是可以以有针对的方式提供的一类沉浸式效果,但是任何其它类型的沉浸式效果可以由设备17-19,或者实际上由扬声器12、13附加地或者可替代地提供。在当前上下文中,沉浸式效果被认为包括任何类型的可感知效果,该效果增强了感知图像中的目标的体验。这种效果适应用户所感知的环境,以使得其与视觉上所感知的更加一致。因而,该效果可以刺激大量不同感觉(包括:触觉、嗅觉、听觉、视觉等等)中的任何一个。例如,可以适应性调节环境的背景照明或者可以提供特定的音景。
为了考虑以下事实:多个观看者中的每一个可能注意显示器9上的图像的不同部分,或者实际上完全不注意显示器上的图像,所示出的系统能够根据特定用户所看的位置使沉浸式效果针对特定用户。为此,其设有到至少一个照相机(此处为两个照相机21,22)的接口20,这使得系统能够区别观看者,且跟踪他们的视觉注意焦点。Smith,K.等人的“Tracking the visual focus of attention for a varying number of wandering people”,IEEE Trans. on Pattern Analysis and Machine Intelligence30(7),July 2008中描述了一种用于完成这个的适当技术。一种方法(例如在那里所描述的一种方法)包括两个部分,也就是,多人跟踪方法和头部姿态跟踪方法。多人跟踪过程是随时间定位视频中可变数量的运动对象的过程。头部姿态跟踪过程定位对象头部且估计他们在空间中的方位。原则上,估计视觉注意焦点可以可替代地通过为数字电视机4的用户提供头戴式耳机来实现,所述头戴式耳机包括用于确定其佩戴者凝视点的传感器。可替代地,存在红外跟踪方法,其直接确定人眼的方位(眼凝视跟踪方法)。然而,使用照相机21,22的方法(其不需要观看者的数量和定位的先验知识)是不引人注意的,并且能够基于在较大距离(>3m)上的测量提供估计,特别适用于执行此处所描述的提供沉浸式效果的方法。
在图2中,借助于实例来说明用于执行提供沉浸式效果的方法的第二环境。在该设置中,行人能够观察广告板23上的图像或者循环的图像序列。图像和潜在的观察者都由照相机21,22来捕获,所述照相机向安装有视频卡27、数据处理单元28和存储器29的计算机设备26提供数字图像数据。计算机设备26还包括到用于提供沉浸式效果的系统的接口30。在所示出的实施例中,用于提供沉浸式效果的系统包括控制设备31和用于提供沉浸式效果的三个设备32-34。沉浸式效果可以针对广告板23环境中的四个区域35-38中的任何一个,在所述四个区域35-38中,广告板23上的图像是可见的。例如,设备32-34可以是相控阵中的扬声器,或者他们可以是以区域35-38中一个或者多个为目标的香味分配器。
来自照相机24,25的图像使计算机设备26能够执行图像分析的方法,以用于标识和定位观看者并且跟踪他们的视觉注意焦点。同样地,可以使用Smith,K.等人的“Tracking the visual focus of attention for a varying number of wandering people”,IEEE Trans. on Pattern Analysis and Machine Intelligence30(7),July 2008中描述的技术。
图3示出了由图1的数字电视机4或者图2的计算机设备26执行的一些步骤,以便根据能够观察显示器9上的图像或者广告板23上的广告的对象是否正在观察图像内的特定目标来向其来提供沉浸式效果。
第一步骤39通常更适于由数字电视机4执行,且原则上是可选的。该步骤39包含标识能够观察显示器9上的图像的对象,特别是将他们与预先确定的标识符相关联。为此,数字电视机4在存储器15中维持已知用户的标识符数据库。这个数据库可以包括用户简档,用于记录关于可用的沉浸式效果的用户偏好。
在一种变型中,用户使用用户接口来通知数字电视机4他们的存在。在另一个实施例中,他们被提供具有发射应答器的便携式设备,并且数字电视机4自动地识别他们的存在。执行这个实施例所需的技术在受众测量领域是公知的。在另一种变型中,用户通过将他们自己置于照相机21,22中一个的前面来注册他们自己,于是,他们通过使用脸部识别技术来标识。在其中用户穿戴例如手套形式的设备17-19的实施例中,该步骤39还可以包括将设备17-19中的至少一个与被标识的用户相关联。
在图2的实施例中,第一步骤39可以仅包含:确定区域35-38中存在多少个对象以及出于跟踪的目的给他们分配临时的标识符。然而,也可以确定观看者的某些特征,例如,特定的对象是小孩还是成人。
在另一个实施例中,第一步骤39由以下步骤替代:对于设备17-19中的每一个确定对象是否与其相关联,或者对于区域35-38中的每一个确定人是否存在于其中,以便然后可以跟踪他们的视觉注意焦点。
跟踪观看者的视觉注意焦点在步骤40中完成,其不间断地执行。
同时,标识显示器上图像内的目标(步骤41)并且跟踪它们在图像内的位置(步骤42)。在所示出的实施例中,使用包含每个目标的位置和特性的表43。
在一个实施例中,数字电视机4获得标识目标的数据以及可选地它们的最初位置和来自数据流的至少一个特性,所提供的数据流与来自电缆头端3的视频数据相关联。在该实施例的实现中,电缆头端3包括视频数据处理设备(未示出),其用于分析从广播站1所接收的图像数据,并且创建标识和描述组成视频的运动图像中的目标的数据。为此,其能够执行图像分割和类似的数字图像处理方法,以标识和定位图像内的目标。增加到组成事件的多路复用中的数据至少包括目标的标识,并且可以包括一些特性,例如,颜色,目标是动态还是静态的,或者甚至目标代表什么。该数据还可以包括位置数据,其指示目标在图像内的定位。在一个实施例中,可以通过包含在电缆头端3中的远程图像分析系统,将运动图像序列的每一个中的目标位置编码到提供给用于提供沉浸式效果的系统的数据中。这将保持卫星链路2上传输的数据量处于相对较低的水平,但是增加传输到数字电视机4的数据量。如果保持该数据量也较低是必需的或者希望的,那么仅仅目标的最初位置(即该目标在其中起作用的图像序列中的第一个的位置)表示在伴随视频数据的数据流中。然后,数字电视机4通过分析代表这些图像的数据来跟踪后续图像中的目标。
可替代地,数字电视机4可以分析对图像编码的视频数据以定位目标,而不需要依靠任何位置数据。实际上,其可以仅仅基于视频数据执行标识目标的步骤41。对于图2的实施例,情况也是如此,其中计算机设备26仅仅基于所捕获的图像数据执行以上所述的步骤41,42。标识目标的步骤41可以包含分析最初标识的目标的图像和特性,以便选择其特性在图像中占主导的一个或者多个目标。因此,减少了要跟踪的目标的数量。而且,以其标识目标的分辨率可以适于可以其估计观看者的视觉注意焦点的精度。
使用表43以及对象的视觉注意焦点的知识,有可能将这些视觉注意焦点与显示器上当前图像中的目标位置相关联(步骤44)。在所示出的实施例中,表45用来记录哪些用户正在观看哪些目标。
为了提供沉浸式反馈,设备17-19,32-34的输出应该与相关联对象关注的目标种类一致。因而,在所示出的实施例中,执行(可选的)步骤46,其中数字电视机4或者计算机设备26确定所标识和跟踪的目标的特性。在数字电视机4的情况下,特性可以表示在与运动图像序列关联地提供的数据流中,使得这种信息只需从其取回。
在另一个实施例中,实际的效果表示在所接收的数据流中,使得确定特性的步骤46可以被省略。然而,这要求编码特性的标准化方式,其通常也从可用的物理设备17-19中提取出来。因此,通常,应当提供特性或者可以映射到特性的数据。可替代地,数字电视机4或者计算机设备26可以执行图像分析,以通过仅仅使用图像数据确定特性,例如运动状态、温度、气味或者声音。
在所示出的实施例中,使用规则的数据库48来将特性转换为效果47。该数据库48允许从反馈效果中提取目标特性,且对于可用的设备17-19,32-24的配置是特定的。
接下来(步骤49),通过使用跟踪每个被标识的观看者的视觉注意焦点的位置的表45,确定用于每个观察者的合适反馈。
因此,如果数字电视机4或者计算机设备26检测到对象正在看非常动态的目标(飞行的蝴蝶、炸弹爆炸、汽车碰撞等等),那么系统将例如向该特定的对象分配强烈的触觉反馈(在图1的配置中)或者强烈的振动反馈(使用图1配置中的扬声器12,13以及图2配置中的设备32-34)。如果对象正在看背景细节,或者完全没有看显示器9或者广告板23,那么不需要提供任何反馈。
在第一步骤39标识观看者使得他们与预先确定的标识符相关的实施例中,可以调节反馈以适合与标识符相关联的设置。因而,可以考虑在用户简档中表示的个人偏好。可替代地,在预先确定的标识符是一类对象(小孩、成人、男性、女性、人类、动物)的情况下,可以应用适于对象被确定的所属类别的设置。
应当指出的是,图3中所示出的步骤连续地执行,从而提供用于每个对象的连续的或者准连续的反馈信号。因为对象可能仅仅相对快速地浏览目标或者扫描整幅图像,因而将平滑函数应用50到反馈信号。
最后,将合适的输出信号提供给设备17-19,32-34,以便向其视觉注意焦点被跟踪的对象提供沉浸式效果。特别地,在对象不与一个特定的设备17-19,32-34相关联的情况下,有必要跟踪(步骤52)对象的位置,以便向正确的设备17-19,32-34提供正确的控制信号。在所示出的实施例中,表53用来记录对象的位置。应当指出的是,该步骤52通常将与跟踪对象的视觉注意焦点的步骤40相结合。
应当指出的是,上述实施例说明了而不是限制了本发明,并且本领域技术人员将能够设计许多可替代的实施例,而不脱离所附权利要求的范围。在权利要求中,置于括号之间的任何附图标记不应解释为限制了权利要求。措词“包括”不排除存在权利要求中未列出的元件或步骤。元件前面的措词“一”或“一个”不排除存在多个这样的元件。在相互不同的从属权利要求中陈述某些措施的简单事实不表示这些措施的组合不能加以利用。
图3中所示出的方法可以在电影院中实现,以通过每个座位提供力反馈。跟踪座位的占据者的视觉注意焦点可以通过使用红外照相机或者使用眼镜来完成,特别是在电影包括3D效果和用户被提供有眼镜以观察这些效果的情况下。
观察到的是:向每个用户提供反馈的步骤49可以由其中每个用户接收相同反馈的步骤来代替,但是反馈取决于图像内多个对象的注意焦点的分布。因而,反馈的强度可以取决于实际上观察其特性确定所述反馈的目标(例如图像中占主导的目标)的对象的比例。
虽然本发明的原理已经通过使用其中广播图像数据的实施例和其中使用照相机来捕获图像数据的实施例来解释,但是,图像数据可以可替代地设置在数据载体上,所述数据载体例如光盘。该盘还可包括描述图像数据中存在的目标的元数据。

Claims (13)

1. 提供沉浸式效果的方法,包括:
- 接收代表至少一幅图像的数据;
- 分析图像数据,以定位在图像内所标识的至少一个目标;
- 估计能够观察所述至少一幅图像的至少一个对象的视觉注意焦点;以及
- 至少根据视觉注意焦点相对于所述至少一个目标在所述至少一幅图像中的定位的位置,向用于给所述至少一个对象提供沉浸式效果的系统(16-19;31-34)提供至少一个信号。
2. 根据权利要求1的方法,包括:
- 估计能够观察所述至少一幅图像的多个对象中每一个对象的对应的视觉注意焦点,以及
- 根据所述对象的注意焦点调节所述至少一个信号以使其适应用于提供沉浸式效果的系统(16-19;31-34)。
3. 根据权利要求2的方法,
其中所述系统(16-19;31-34)被配置成在多个输出定位的每一定位处提供单独的沉浸式效果,
- 还包括:确定所述对象的定位,其至少与输出定位相关。
4. 根据权利要求1的方法,
其中向用于提供沉浸式效果的系统(16-19;31-34)提供所述至少一个信号,所述系统包括用于提供触觉反馈的至少一个设备(17-19;32-34)。
5. 根据权利要求1的方法,包括:
- 标识对象。
6. 根据权利要求5的方法, 
其中标识对象包括:使对象与预先确定的标识符相关,并且
其中还根据与标识符相关联的设置来向用于提供沉浸式效果的系统(16-19;31-34)提供至少一个信号。
7. 根据权利要求1的方法,
其中随时间跟踪视觉注意焦点,并且
- 通过使基于视觉注意焦点相对于所述至少一个目标在所述至少一幅图像中的定位的位置的信号经平滑函数处理,向用于提供沉浸式效果的系统(16-19;31-34)提供至少一个信号。
8. 根据权利要求1的方法,
其中所接收的数据代表运动图像序列,并且
- 接收与标识图像中至少一个目标的数据相关联的数据。
9. 根据权利要求8的方法,
其中标识目标的数据与标识多幅图像的第一幅中的目标位置的数据相关联。
10. 根据权利要求1的方法,包括:
- 确定所述至少一个目标的至少一个特性,其中至少根据视觉注意焦点相对于所述至少一个目标在所述至少一幅图像中的定位的位置来向给所述至少一个对象提供沉浸式效果的系统(16-19;31-34)提供所述至少一个信号包括:基于与目标特性相关联的效果数据来适应性调节信号。
11. 根据权利要求10的方法,包括:
- 接收标识所述至少一幅图像中的至少一个目标的数据,其与代表所述至少一幅图像的数据相关联,以及
- 通过使用标识所述至少一个目标的数据来确定所述至少一个目标的特性。
12. 用于控制提供沉浸式效果的系统,包括:
- 接口(5;27),用于接收代表至少一幅图像的数据;
- 数据处理系统(14,15;28,29),用于分析图像数据以定位在图像内所标识的至少一个目标;
- 系统(14,15,21,22;24,25,28,29),用于估计能够观察所述至少一幅图像的至少一个对象的视觉注意焦点;以及
- 接口(16;30),用于向给所述至少一个对象提供沉浸式效果的系统(16-19;31-34)提供至少一个信号,
其中用于控制提供沉浸式效果的系统被配置成:至少根据视觉注意焦点相对于所述至少一个目标在所述至少一幅图像中的定位的位置来提供信号。
13. 包括一组指令的计算机程序,当其结合到机器可读介质中时,能够使具有信息处理能力的系统执行根据权利要求1-11中任何一项的方法。
CN200980149423.7A 2008-12-09 2009-11-18 用于提供沉浸式效果的方法和系统 Expired - Fee Related CN102246119B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP08171041.0 2008-12-09
EP08171041 2008-12-09
PCT/IB2009/055133 WO2010067221A1 (en) 2008-12-09 2009-11-18 Method and system for providing immersive effects

Publications (2)

Publication Number Publication Date
CN102246119A true CN102246119A (zh) 2011-11-16
CN102246119B CN102246119B (zh) 2016-01-20

Family

ID=42124407

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980149423.7A Expired - Fee Related CN102246119B (zh) 2008-12-09 2009-11-18 用于提供沉浸式效果的方法和系统

Country Status (6)

Country Link
US (1) US9411414B2 (zh)
EP (1) EP2376998B1 (zh)
JP (1) JP5536092B2 (zh)
KR (1) KR101618590B1 (zh)
CN (1) CN102246119B (zh)
WO (1) WO2010067221A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104049731A (zh) * 2013-03-11 2014-09-17 英默森公司 依据眼睛注视的触觉感觉

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7765333B2 (en) 2004-07-15 2010-07-27 Immersion Corporation System and method for ordering haptic effects
US8571550B2 (en) 2009-02-09 2013-10-29 Qualcomm Incorporated Managing access control to closed subscriber groups
US20110237250A1 (en) * 2009-06-25 2011-09-29 Qualcomm Incorporated Management of allowed csg list and vplmn-autonomous csg roaming
US9225969B2 (en) 2013-02-11 2015-12-29 EchoPixel, Inc. Graphical system with enhanced stereopsis
US20160187976A1 (en) * 2014-12-29 2016-06-30 Immersion Corporation Systems and methods for generating haptic effects based on eye tracking
JP6525150B2 (ja) 2015-08-31 2019-06-05 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation テレプレゼンス・ロボットに用いる制御シグナルを発生させるための方法、テレプレゼンス・システムおよびコンピュータ・プログラム
EP3179336A1 (en) * 2015-12-07 2017-06-14 Thomson Licensing Method and device for rendering haptic effects in an immersive content
KR102573933B1 (ko) * 2016-10-04 2023-09-05 한국전자통신연구원 기계 학습 기반의 실감 미디어 저작 방법 및 장치
KR102009145B1 (ko) * 2016-11-17 2019-08-09 한국전자통신연구원 미디어 객체 기반의 저작 방법 및 장치
US10324531B2 (en) * 2016-12-27 2019-06-18 Immersion Corporation Haptic feedback using a field of view
US11985390B2 (en) * 2018-10-29 2024-05-14 Sony Corporation Information processing apparatus and information processing method, and information processing system
WO2021119910A1 (zh) * 2019-12-16 2021-06-24 瑞声声学科技(深圳)有限公司 一种触觉反馈分享方法、装置及系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5382970A (en) * 1991-07-19 1995-01-17 Kiefl; John B. Television viewer monitoring system including portable data meter for each viewer
JPH11327425A (ja) 1998-05-19 1999-11-26 Techno Works:Kk 画像処理による注視点検出手段を利用したバーチャルリアリティの実現方式
US7921036B1 (en) * 2002-04-30 2011-04-05 Videomining Corporation Method and system for dynamically targeting content based on automatic demographics and behavior analysis
US7050078B2 (en) * 2002-12-19 2006-05-23 Accenture Global Services Gmbh Arbitrary object tracking augmented reality applications
JP4328136B2 (ja) * 2003-06-19 2009-09-09 国立大学法人 奈良先端科学技術大学院大学 関心度推定装置
US20050285844A1 (en) * 2004-06-29 2005-12-29 Ge Medical Systems Information Technologies, Inc. 3D display system and method
JP4061379B2 (ja) * 2004-11-29 2008-03-19 国立大学法人広島大学 情報処理装置、携帯端末、情報処理方法、情報処理プログラム、およびコンピュータ読取可能な記録媒体
WO2006100645A2 (en) * 2005-03-24 2006-09-28 Koninklijke Philips Electronics, N.V. Immersive reading experience using eye tracking
JP4677633B2 (ja) * 2005-09-09 2011-04-27 学校法人東海大学 匂い提示システム
US8775252B2 (en) * 2006-05-04 2014-07-08 National Ict Australia Limited Electronic media system
JP4231884B2 (ja) * 2006-09-27 2009-03-04 株式会社デンソーアイティーラボラトリ 注視対象物検出装置および注視対象物検出方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104049731A (zh) * 2013-03-11 2014-09-17 英默森公司 依据眼睛注视的触觉感觉
US9833697B2 (en) 2013-03-11 2017-12-05 Immersion Corporation Haptic sensations as a function of eye gaze
US10220317B2 (en) 2013-03-11 2019-03-05 Immersion Corporation Haptic sensations as a function of eye gaze
CN104049731B (zh) * 2013-03-11 2019-04-16 意美森公司 依据眼睛注视的触觉感觉

Also Published As

Publication number Publication date
JP2012511749A (ja) 2012-05-24
CN102246119B (zh) 2016-01-20
EP2376998B1 (en) 2015-11-04
KR20110102427A (ko) 2011-09-16
US20110227824A1 (en) 2011-09-22
WO2010067221A1 (en) 2010-06-17
KR101618590B1 (ko) 2016-05-09
JP5536092B2 (ja) 2014-07-02
US9411414B2 (en) 2016-08-09
EP2376998A1 (en) 2011-10-19

Similar Documents

Publication Publication Date Title
CN102246119B (zh) 用于提供沉浸式效果的方法和系统
JP7207836B2 (ja) 視聴者エンゲージメントを評価するためのシステム
US10579134B2 (en) Improving advertisement relevance
JP6519370B2 (ja) ユーザ注意判定システム、方法及びプログラム
US8990842B2 (en) Presenting content and augmenting a broadcast
CN105306084B (zh) 眼镜型终端及其控制方法
US8826325B2 (en) Automated unobtrusive ancilliary information insertion into a video
US20100257252A1 (en) Augmented Reality Cloud Computing
CN108605166A (zh) 采用增强现实的个性化呈现增强
Brown et al. HCI over multiple screens
KR20200008941A (ko) 증강 현실 효과를 사용한 이벤트 향상
CN101822042A (zh) 用于生成用户简档的方法和装置
CN109978618A (zh) 基于云端人工智能的线下广告交互投放系统
CN118176474A (zh) 用于经由人工现实设备与物理设备进行交互的方法和系统
de Belen et al. Integrating mixed reality and internet of things as an assistive technology for elderly people living in a smart home
US11455693B2 (en) Visual focal point composition for media capture based on a target recipient audience
JP6359704B2 (ja) イベントに関連付けられる情報を人に供給するための方法
CN106470337B (zh) 用于个性化全方向视频景深的方法、装置和计算机可读存储介质
KR102154204B1 (ko) 전자장치 및 전자장치의 광고데이터 제공방법
US20180165713A1 (en) Virtual Advertising Database with Command Input Data
JP7574929B2 (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
WO2018168444A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
KR102172766B1 (ko) 영상 표시 장치 및 그 동작 방법
JP2020201644A (ja) 提示制御装置、提示装置、およびプログラム
TW201935925A (zh) 吸引度測定系統

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160120

Termination date: 20191118