CN101971618B - 实现移动终端的丰富视频的方法 - Google Patents

实现移动终端的丰富视频的方法 Download PDF

Info

Publication number
CN101971618B
CN101971618B CN200980108813XA CN200980108813A CN101971618B CN 101971618 B CN101971618 B CN 101971618B CN 200980108813X A CN200980108813X A CN 200980108813XA CN 200980108813 A CN200980108813 A CN 200980108813A CN 101971618 B CN101971618 B CN 101971618B
Authority
CN
China
Prior art keywords
video
media
terminal
communication system
augmented
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN200980108813XA
Other languages
English (en)
Other versions
CN101971618A (zh
Inventor
奥利维耶·普佩尔
马兰·奥斯蒙
斯特凡娜·萨阿达
斯特凡娜·迪福斯
瓦朗坦·勒菲弗
尼古拉·勒韦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alcatel Lucent SAS
Total Immersion
Alcatel Optical Networks Israel Ltd
Original Assignee
Total Immersion
Alcatel Optical Networks Israel Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Total Immersion, Alcatel Optical Networks Israel Ltd filed Critical Total Immersion
Publication of CN101971618A publication Critical patent/CN101971618A/zh
Application granted granted Critical
Publication of CN101971618B publication Critical patent/CN101971618B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/162—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing
    • H04N7/163—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing by receiver means only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H04N21/4725—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content using interactive regions of the image, e.g. hot spots
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Information Transfer Between Computers (AREA)
  • Telephone Function (AREA)
  • Telephonic Communication Services (AREA)

Abstract

一种通信方法，包括在配备有摄像机的通信移动终端(2)上显示丰富视频，所述丰富视频包括真实拍摄的场景，在所述真实拍摄的场景内嵌入有与所述场景相关的附加视觉元素，利用所述附加数据元素在远程通信系统(3)内执行视频强化操作，并将所述视频强化操作实时地呈现在移动终端(2)上。

Description

实现移动终端的丰富视频的方法
技术领域
本发明涉及电信领域，更具体地，涉及在移动终端上显示增强的视频。
背景技术
尽管第二代(2G)移动网络将数字技术引入无线通信，然而具体地由于经由空中接口的提高的比特率(高达2Mbit/s)，具体由UMTS(通用移动电信系统)实现的第三代(3G)通过将之前已经为固线网络保留的通信服务并入移动网络中来确保固线网络与移动网络的融合。所支持的服务具体包括(除了语音以外还有)音频、视频、文本和图形，即，多媒体应用的基本元素。同时，移动终端的功能越来越强大，目前如同标准计算机一样工作，不仅可以实现运行在终端上的持久性应用，还可以实现运行在远程服务器上的非持久性应用，因为终端仅执行回放操作，如在视频应用中的显示(参见Pujolle，LesRéseaux，2008 version，Chap.43，pp.1004-1012)。
从而由于在无线电通信中终端的能力和比特率均提高，可以在3G终端上运行最初为固线网络设计的多媒体应用，在固线网络中不会发生在移动网络中遭遇的常规问题(网络可接入性、切换、数据传输时间)。同样的情况也适用于增强现实，增强现实是一种在来自现实的场景上叠加现实虚拟元素的技术。增强现实的一种应用是增强视频，其中利用诸如从多媒体数据库得到的文本或图像之类的视觉元素来实时地增强拍摄的场景(参见例如欧洲专利申请EP 1,527,599)。最近在配备有摄像机的移动终端中采用了这种技术：参见例如欧洲专利申请EP1,814,101或美国专利申请US 2007/0024527。
然而，所提出的解决方案经证实总体上并不令人满意。其中的大多数解决方案是理论上的，并且限于没有为用户提供实际交互的简单视觉元素(见上面提到的文献)。
事实上，文献EP 1,814,101和US 2007/0024527中描述的系统无法使得可以实时地(意味着在用户实际上察觉不到的时间内)整合增强的现实。
发明内容
本发明旨在通过在移动终端上提供增强视频解决方案来克服这些缺陷，所述强视频解决方案可以实际应用在移动通信网络内并且准予用户进行真正的实时交互。
此外，本发明的目的在于能够被适配为适合大多数标准终端。
最后，本发明目的在于为用户提供一种装置，用于与增强的现实图像进行交互。
为此，本发明提出了一种通信方法，包括在配备有摄像机的通信移动终端上显示增强视频，所述增强视频包括真实拍摄的场景，在所述真实拍摄的场景内嵌入有与所述场景相关的附加视觉元素，所述方法包括以下操作：
-建立在移动终端与远程通信系统之间的媒体会话；
-终端利用摄像机对包括所述真实拍摄的场景的非增强视频进行拍摄；
-移动终端向通信系统实时地发送非增强视频；
-通信系统接收非增强视频；
-在通信系统内对所拍摄的场景进行实时分析；
-在通信系统的数据库中选择与所拍摄的场景有关的一个或多个附加媒体对象；
-将终端激活的至少一个交互功能与所述附加媒体对象当中的至少一个对象相关联；
-将所选的对象或附加媒体对象添加到非增强视频中，以便形成增强视频；
-通信系统向移动终端实时地发送增强视频；
-移动终端实时回放增强视频；
-移动终端向通信系统实时发送从移动终端通过已经与交互功能相关联的附加媒体对象而作出的任何命令；
-通信系统接收命令操作；
-通信系统分析命令；
-在通信系统内根据接收到的命令(例如根据预先建立的情节)来更新至少一个媒体对象的显著特性；
-通信系统向终端实时地发送至少一个更新后的媒体对象；
-终端实时地回放更新后的媒体对象；
-终端实时地显示更新后的媒体对象。
在接收到由通信系统增强的视频与分析所拍摄的场景之间包括视频解码操作，根据未压缩的视频格式来执行分析。
利用终端的键盘来激活命令操作。
其次，本发明提出了一种通信系统，包括：
-媒体服务器，能建立与移动终端的媒体会话；
-视频应用服务器，连接至媒体服务器，在所述视频应用服务器上实现增强视频应用；
-增强现实服务器，连接至媒体应用服务器，被编程为根据来自视频应用服务器的命令对经由媒体服务器从移动终端接收到的非增强视频内的图像进行分析或执行与附加媒体内容相关联的命令分析；
-媒体对象数据库，连接至增强现实服务器。
该系统还包括：编码器/解码器，连接至增强现实服务器和媒体服务器，被配置为对经由媒体服务器从移动终端接收到的非增强视频进行解压缩，或相反对经由媒体服务器发送至终端的增强视频进行压缩。
附图说明
通过参考附图来阅读说明书，本发明的其他目的和优点将变得显而易见，附图示出了根据本发明的网络架构和通信方法。
图1是本发明的系统结构图。
具体实施方式
所示的网络架构1包括：移动终端2(移动电话、通信PDA或智能电话)经由空中接口连接至通信系统3，通信系统3包括媒体服务器4，媒体服务器4确保与终端2的媒体会话的建立；视频应用服务器5，连接至媒体服务器4，在视频应用服务器5上实现增强视频应用；增强现实服务器6，连接至视频应用服务器5；以及数据库7，连接至增强现实服务器6或者集成到增强现实服务器6中，在数据库7中保存多媒体数据。
本文中术语“服务器”是指能够并入功能的任何信息系统或者能够实现方法的任何计算机程序。
根据实施例，系统3还包括与增强现实服务器6和媒体服务器4连接的编码器/解码器8。
媒体服务器4和移动终端2被配置为(例如，根据RTP或H324m协议)在它们自己之间建立媒体会话，具体地使得可以实现视频/音频数据的交换。
移动终端2配备有摄像机，摄像机使得移动终端2可以产生简单(意味着非增强)视频，所述简单视频由摄像机前的终端环境中发生的真实场景构成。终端还配备有能显示视频的屏幕9、使用户能够输入命令的键盘10、使能回放在一定距离(意味着在将终端握在手臂距离处时)内可听见的声音的扬声器或者用于谨慎收听的耳机。所使用的数据传递协议被优选地选择为获得最大的数据传输速度，使得从用户的角度来看，不仅可以使从终端2产生的视频与显示增强视频的之间的时间最小化，而且可以是对交互的响应时间最小化。如果服务器获取视频或处理图像需要不可压缩的处理时间，则重要的是协议足够快速以至于接收、处理和发送回数据所花费的总时间不会被用户察觉到。
然后如下执行终端2上产生的视频的实时增强。
首先根据实时协议(例如，RTP或H324m)在终端2与通信系统3之间，更具体地，在终端2(主动地)与媒体服务器4之间建立(101)媒体会话。该会话本质上是双向的，包括音频和视频数据的实时传输，其中终端对输出数据进行编码(当数据进入空中接口时)并且对输入数据进行解码(当数据离开空中接口时)。
然后媒体服务器4立即向视频应用服务器5以信号通知(102)该媒体会话被启动，以便命令打开增强视频应用。
在终端2与媒体服务器4之间建立媒体会话期间，从终端2产生包括摄像机前发生的真实拍摄场景的非增强视频。
终端2向媒体服务器3实时发送(103)该视频。更准确地，当拍摄场景时，终端2根据适当的视频压缩标准(意味着实际上适于期望的压缩水平：因此，对于相对低的压缩水平，终端可以使用H.263标准；对于较高的压缩水平，终端2可以采用MPEG-4标准，对于非常高的压缩水平，终端可以采用H.264标准)对视频馈送进行编码，通过RTP分组将视频馈送发送至媒体服务器。因此，根据建立的对话，移动终端不断地拍摄的数据流被连续地发送至通信系统3。
一旦建立媒体会话或者根据应用服务器5的请求，媒体服务器4立即向增强视频应用服务器5以信号通知接收到视频的第一RTP分组，然后增强视频应用服务器5的增强视频应用将增强现实服务器6配置(104)为预期实现下述操作。
媒体服务器4通过RPT分组将非增强视频发送(105)至编码器/解码器8对非增强视频进行压缩，并以非压缩格式将非增强视频实时发送(106)至增强现实服务器6。所使用的非压缩格式与例如IETF的RFC4175标准相对应，并且使用RGB(红绿蓝)或YUV(也称作YCrCb)颜色定义。
然后增强现实服务器6实时分析(107)包含在视频中的拍摄场景。例如，将视频分解为多个图像，然后通过图像识别技术(如，Harris角点检测器技术)将每个图像与来自数据库7的图像相比较。从而将所分析的图像逐一与先前保存在数据库7中的图像进行匹配，匹配的结果与至少一个图像内容的媒体对象相关联。
该媒体对象可以是音频对象、视频对象、文本或图像(例如，3D虚拟现实图像)、或使用这些资源的组合的对象，所述媒体对象与预定的情节相关联，所述预定的情节是指在其选择的起点处与非增强视频的图像的相干规则。例如，如果作为媒体对象的车辆图像与数据库中车辆客厢的虚拟三维视频相关联，则情节可以由叠加到车辆的广告照片上的视图构成，并使得可以在视频拍摄期间根据终端的方位来实时地在空间内旋转视图。为此，增强现实服务器6对相应摄像机位置以及所分析的图像的实时跟踪使得可以在空间上旋转与摄像机方位同步的虚拟视图。
终端2还可以配备有加速度计，在实时的RTP流以及视频数据中包含所述加速度计的测量。
因此，增强现实服务器6然后将所选的媒体对象实时添加(107’)到非增强视频中，以形成非压缩格式的增强视频。
增强现实服务器6将以非压缩格式馈送的增强视频实时发送(108)至编码器/解码器8，编码器/解码器8以先前用过的交换格式(H.263、MPEG-4、H.264)来压缩所述增强视频，然后同样实时地将所述增强视频发送(109)至媒体服务器4。然后该媒体服务器4将增强视频实时中继(110)到终端2，终端2本地低确保实时的解压缩和回放。
从用户的观点来看，所拍摄的视频的增强是实时完成的，所述实时是指没有任何可感知到的延迟或者在亚秒时间段内。由于上面描述的体系架构所允许的信息处理速度，可以使增强视频的附加媒体对象与超出终端2移动的基本适配的交互功能相关联，可以根据用户的语音或例如通过键盘10上的键作出的手动命令来激活该交互功能，所述键盘10上的键可以时真实的或虚拟的。终端2将每个交互命令发送(111)至媒体服务器4，媒体服务器4将这些交互命令中继(112)至视频应用服务器5，然后视频应用服务器5经由器增强视频应用根据预先建立的情节来命令(113)更新增强现实服务器6内媒体对象的明显特性。
因此，用户可以直接作用于附加对象上，从而修改附加对象的特性：颜色、纹理、位置等，或使用对象自身提供的功能：播放广告消息、激活超链接等。例如，用户可以拍摄车辆并接收返回的车辆三维视图，用户可以根据需要来处理该三维视图(旋转、开门、检查客厢、改变颜色等)，该三维视图可能与商业信息相关联，所述商业信息可以是交互式的：价格、商人的联系地址、交货时间、商业网站的链接等等。
在一个具体实施例中，将上述功能中的一些集成到移动终端2中，以便减小由于数据传递时间而造成的延迟。因此，移动终端2可以例如并入编码/解码，以便向通信系统3发送已压缩的视频流，从而可以更快速地发送。
因此，上述方案提出了一种增强现实的在日常生活中有用的有效应用，可以不在第三代移动终端上实现任何具体附加功能的情况下在第三代移动终端上实现这种应用，大多数处理在远程通信系统内执行，远程通信系统的配置使得可以实时地执行视频增强操作。
该解决方案还使得可以基于增强视频来访问电子商务入口。
该方法特别应用在移动终端上发布的广告内容。事实上，在分析由移动终端2拍摄的场景之后，还与拍摄的场景相关联的媒体对象可以是跟广告有关的。
作为非限制性示例，如果移动终端2所拍摄的场景是打印的电影海报，则对应的附加媒体对象可以是该电影的广告视频序列，所述广告视频序列可以或可以不包含所拍摄的场景。可以与广告媒体内容相关联并且可以从移动终端2激活的交互特征的示例是：检索该电影的上映日期，进行预定，和/或请求与该电影有关的附加信息。
作为示例，如果移动终端2拍摄的真实场景包括机动车辆，则可以构思若干附加广告媒体对象；如，针对新车辆、配件、和/或汽车零件或服务的一段广告内容。
在这种情况下，与附加广告媒体对象相关联的交互功能可以具有文化、信息和/或商业用途。
在由通信系统3执行视频增强操作的情况下，该系统还可以用于收集与这些操作有关的信息。例如，该信息可以包括：
-移动终端2与处理给定增强视频的通信系统3之间的通信会话的平均持续时间；
-按时间单位与给定增强视频有关的通信会话的数目；
-按区域与给定增强视频有关的通信会话的数目；
-已经与属于最初预期群体的用户建立的通信会话的数目；
-与移动终端3的用户有关的信息(电话号码、性别、年龄、姓、名等)。
该信息使得可以出于商业目的为附加媒体对象的所有者提供非常有用的统计数据。

Claims (6)

1.一种通信方法，包括在配备有摄像机的通信移动终端(2)上显示增强视频，所述增强视频包括真实拍摄的场景，在所述真实拍摄的场景内嵌入有与所述场景相关的附加视觉元素，所述方法包括以下操作：
-建立在移动终端(2)与远程通信系统(3)之间的媒体会话，所述远程通信系统(3)包括媒体服务器(4)，视频应用服务器(5)，增强现实服务器(6)和媒体对象数据库(7)，该媒体对象可以是音频对象、视频对象、文本、图像、或使用这些资源的组合的对象；
-终端利用摄像机对包括所述真实拍摄的场景的非增强视频进行拍摄；
-移动终端(2)向通信系统(3)实时地发送非增强视频；
-通信系统接收非增强视频；
-在通信系统(3)内对所拍摄的场景进行实时分析；
-在通信系统(3)的数据库中选择与所拍摄的场景有关的一个或多个附加媒体对象；
-使可以从终端激活的至少一个交互功能与所述附加媒体对象当中的至少一个对象相关联；
-将所选的对象或附加媒体对象添加到非增强视频中，以便形成增强视频；
-通信系统((3)向移动终端((2)实时地发送增强视频；
-终端(2)实时回放所述增强视频；
-终端(2)向通信系统(3)实时发送来自所述终端(2)的、通过用户在所述关联了交互功能的媒体对象上直接操作所确定的任何命令；
-通信系统(3)接收命令操作；
-通信系统((3)分析命令；
-通信系统(3)根据接收到的命令来更新至少一个媒体对象的显著特性；
-通信系统(3)向终端(2)实时地发送至少一个更新后的媒体对象；
-终端(2)实时地回放更新后的媒体对象；
-终端(2)实时地显示更新后的媒体对象。
2.根据权利要求1所述的方法，在接收到由通信系统(3)增强的视频与分析所拍摄的场景之间包括视频解码操作，根据未压缩的视频格式来执行分析。
3.根据权利要求1或2所述的方法，包括：终端(2)对媒体对象所提供的交互执行命令操作；以及通信系统(3)根据预先建立的情节对媒体对象的显著特性执行更新操作。
4.根据权利要求1或2所述的方法，其中，利用终端(2)的键盘(10)来激活命令操作。
5.一种通信系统(3)，包括：
-媒体服务器(4)，能建立与移动终端(2)的媒体会话；
-视频应用服务器(5)，连接至媒体服务器(4)，在所述视频应用服务器(5)上实现增强视频应用；
-媒体对象数据库(7)，连接至增强现实服务器(6)，该媒体对象可以是音频对象、视频对象、文本、图像、或使用这些资源的组合的对象；
-增强现实服务器(6)，连接至视频应用服务器(5)，根据来自视频应用服务器(5)的命令，被编程为：
-在经由媒体服务器(4)从移动终端(2)接收到的非增强视频内执行图像分析或执行与附加媒体内容相关联的命令分析；
-在通信系统(3)的数据库中选择与所拍摄的场景有关的一个或多个附加媒体对象；
-使可以从终端激活的至少一个交互功能与所述附加媒体对象当中的至少一个对象相关联；
-将所选的对象或附加媒体对象添加到非增强视频中，以便形成增强视频；
-向移动终端((2)实时地发送增强视频；
-在通信系统(3)中，根据预先建立的情节，基于所接收到的、来自所述终端通过用户在所述媒体对象上直接操作的命令来更新至少一个媒体对象的显著特性；
-向终端(2)实时地发送至少一个更新后的媒体对象。
6.根据权利要求5所述的通信系统(3)，还包括：编码器/解码器(8)，连接至增强现实服务器(6)和媒体服务器(4)，被配置为对经由媒体服务器(4)从移动终端(2)接收到的非增强视频进行解压缩，或相反对经由媒体服务器(4)发送至终端(2)的增强视频进行压缩。
CN200980108813XA 2008-03-14 2009-03-13 实现移动终端的丰富视频的方法 Active CN101971618B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR0801430A FR2928805B1 (fr) 2008-03-14 2008-03-14 Procede permettant la mise en oeuvre de la video enrichie sur les terminaux mobiles.
FR0801430 2008-03-14
PCT/EP2009/053021 WO2009112585A1 (fr) 2008-03-14 2009-03-13 Procede permettant la mise en oeuvre de la video enrichie sur les terminaux mobiles

Publications (2)

Publication Number Publication Date
CN101971618A CN101971618A (zh) 2011-02-09
CN101971618B true CN101971618B (zh) 2013-11-20

Family

ID=39612570

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980108813XA Active CN101971618B (zh) 2008-03-14 2009-03-13 实现移动终端的丰富视频的方法

Country Status (8)

Country Link
US (1) US20110096844A1 (zh)
EP (1) EP2255527B1 (zh)
JP (1) JP5199400B2 (zh)
KR (1) KR101167432B1 (zh)
CN (1) CN101971618B (zh)
AT (1) ATE536039T1 (zh)
FR (1) FR2928805B1 (zh)
WO (1) WO2009112585A1 (zh)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8817045B2 (en) 2000-11-06 2014-08-26 Nant Holdings Ip, Llc Interactivity via mobile image recognition
CN101273368A (zh) 2005-08-29 2008-09-24 埃韦里克斯技术股份有限公司 经由移动图像识别的交互
EP2359915B1 (en) * 2009-12-31 2017-04-19 Sony Computer Entertainment Europe Limited Media viewing
US8655881B2 (en) 2010-09-16 2014-02-18 Alcatel Lucent Method and apparatus for automatically tagging content
US8533192B2 (en) 2010-09-16 2013-09-10 Alcatel Lucent Content capture device and methods for automatically tagging content
US8666978B2 (en) 2010-09-16 2014-03-04 Alcatel Lucent Method and apparatus for managing content tagging and tagged content
KR101690955B1 (ko) * 2010-10-04 2016-12-29 삼성전자주식회사 증강 현실을 이용한 영상 데이터 생성 방법 및 재생 방법, 그리고 이를 이용한 촬영 장치
US9111326B1 (en) 2010-12-21 2015-08-18 Rawles Llc Designation of zones of interest within an augmented reality environment
US8845107B1 (en) 2010-12-23 2014-09-30 Rawles Llc Characterization of a scene with structured light
US8845110B1 (en) 2010-12-23 2014-09-30 Rawles Llc Powered augmented reality projection accessory display device
US9134593B1 (en) 2010-12-23 2015-09-15 Amazon Technologies, Inc. Generation and modulation of non-visible structured light for augmented reality projection system
US8905551B1 (en) 2010-12-23 2014-12-09 Rawles Llc Unpowered augmented reality projection accessory display device
US9721386B1 (en) 2010-12-27 2017-08-01 Amazon Technologies, Inc. Integrated augmented reality environment
US9607315B1 (en) * 2010-12-30 2017-03-28 Amazon Technologies, Inc. Complementing operation of display devices in an augmented reality environment
US9508194B1 (en) 2010-12-30 2016-11-29 Amazon Technologies, Inc. Utilizing content output devices in an augmented reality environment
CN102843347B (zh) * 2011-06-24 2017-10-31 中兴通讯股份有限公司 实现移动增强现实业务的系统及方法、终端及服务器
US9118782B1 (en) 2011-09-19 2015-08-25 Amazon Technologies, Inc. Optical interference mitigation
JP5927822B2 (ja) * 2011-09-21 2016-06-01 カシオ計算機株式会社 画像通信システム
CN102346660A (zh) * 2011-10-13 2012-02-08 苏州梦想人软件科技有限公司 一种混合现实与虚拟物体的系统及方法
US9235819B2 (en) * 2011-11-04 2016-01-12 Canon Kabushiki Kaisha Printing system, image forming apparatus, and method
US9456244B2 (en) 2012-06-25 2016-09-27 Intel Corporation Facilitation of concurrent consumption of media content by multiple users using superimposed animation
CN102739872A (zh) * 2012-07-13 2012-10-17 苏州梦想人软件科技有限公司 移动终端及应用于移动终端的增强现实方法
US9454220B2 (en) * 2014-01-23 2016-09-27 Derek A. Devries Method and system of augmented-reality simulations
CN104679973A (zh) * 2013-12-03 2015-06-03 深圳市艾酷通信软件有限公司 一种用于移动终端上的文件系统及其实现方法
CN104361075A (zh) * 2014-11-12 2015-02-18 深圳市幻实科技有限公司 一种图像网址系统及实现方法
CN106254848B (zh) * 2016-07-29 2019-06-11 宇龙计算机通信科技(深圳)有限公司 一种基于增强现实的学习方法及终端
CN107894879A (zh) * 2017-11-16 2018-04-10 中国人民解放军信息工程大学 基于可见光隐式成像通信的增强现实方法、系统和终端
CN108769721A (zh) * 2018-05-23 2018-11-06 福建掌搜科技有限公司 一种直播场景智能切换系统及其方法
JP7313801B2 (ja) 2018-05-24 2023-07-25 キヤノン株式会社 制御装置、制御方法およびプログラム
CN112131895A (zh) * 2019-06-24 2020-12-25 北京京东振世信息技术有限公司 信息传输方法、装置、电子设备和存储介质
CN112788274A (zh) * 2019-11-08 2021-05-11 华为技术有限公司 一种基于增强现实的通信方法及装置
CN112887258B (zh) * 2019-11-29 2022-12-27 华为技术有限公司 一种基于增强现实的通信方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101080762A (zh) * 2004-11-19 2007-11-28 Daem交互有限公司 具有图像获取功能、应用于扩充现实性资源的个人装置和方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7126558B1 (en) * 2001-10-19 2006-10-24 Accenture Global Services Gmbh Industrial augmented reality
FR2842977A1 (fr) * 2002-07-24 2004-01-30 Total Immersion Procede et systeme permettant a un utilisateur de melanger en temps reel des images de synthese avec des images video
KR100593399B1 (ko) * 2003-12-08 2006-06-28 한국전자통신연구원 증강현실을 이용한 부품 정비시스템 및 방법
WO2008134901A1 (en) * 2007-05-08 2008-11-13 Eidgenössische Technische Zürich Method and system for image-based information retrieval
EP2009868B1 (en) * 2007-06-29 2016-09-07 Alcatel Lucent Method and system for improving the appearance of a person on the RTP stream coming from a media terminal

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101080762A (zh) * 2004-11-19 2007-11-28 Daem交互有限公司 具有图像获取功能、应用于扩充现实性资源的个人装置和方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
GAUSEMEIER ET AL.Development of a real time image based object recognition method for mobile AR-devices.《PROCEEDINGS OF THE 2ND INTERNATIONAL CONFERENCE ON COMPUTER GRAPHICS, VIRTUAL REALITY, VISUALISATION AND INTERACTION IN AFRICA. SESSION: SESSION G: IMAGE-BASED METHODS》.2003,133-139. *
PASMAN W ET AL.Implementation of an augmented reality system on a PDA.《MIXED AND AUGMENTED REALITY, 2003. PROCEEDINGS. THE SECOND IEEE AND AC M INTERNATIONAL SYMPOSIUM ON 7-10 OCT. 2003, PISCATAWAY, NJ, USA,IEEE》.2003,276-277. *
REGENBRECHT H T ET AL.A mobile Passive Augmented Reality Device - mPARD.《AUGMENTED REALITY, 2000. (ISAR 2000). PROCEEDINGS. IEEE AND ACM INTERN ATIONAL SYMPOSIUM ON MUNICH, GERMANY 5-6 OCT. 2000, PISCATAWAY, NJ, USA,IEEE, US》.2000,81-84.
REGENBRECHT H T ET AL.A mobile Passive Augmented Reality Device- mPARD.《AUGMENTED REALITY, 2000. (ISAR 2000). PROCEEDINGS. IEEE AND ACM INTERN ATIONAL SYMPOSIUM ON MUNICH, GERMANY 5-6 OCT. 2000, PISCATAWAY, NJ, USA,IEEE, US》.2000,81-84. *
WAGNER D ET AL.First steps towards handheld augmented reality.《WEARABLE COMPUTERS, 2003. PROCEEDINGS. SEVENTH IEEE INTERNATIONAL SYMP OSIUM ON 21-23 OCT. 2003, PISCATAWAY, NJ, USA,IEEE》.2003,127-135. *

Also Published As

Publication number Publication date
US20110096844A1 (en) 2011-04-28
CN101971618A (zh) 2011-02-09
KR20110005696A (ko) 2011-01-18
EP2255527A1 (fr) 2010-12-01
WO2009112585A1 (fr) 2009-09-17
ATE536039T1 (de) 2011-12-15
JP5199400B2 (ja) 2013-05-15
KR101167432B1 (ko) 2012-07-19
FR2928805A1 (fr) 2009-09-18
EP2255527B1 (fr) 2011-11-30
JP2011519193A (ja) 2011-06-30
FR2928805B1 (fr) 2012-06-01

Similar Documents

Publication Publication Date Title
CN101971618B (zh) 实现移动终端的丰富视频的方法
CN101047853B (zh) 服务器设备和视频传送方法
EP2940940B1 (en) Methods for sending and receiving video short message, apparatus and handheld electronic device thereof
US11245939B2 (en) Generating and transmitting metadata for virtual reality
KR100617183B1 (ko) 피호출측 또는 호출측의 이전 지식/경험 및 적은 통신자원을 사용하는 네트워크에서의 미디어 정보 다중화시스템 및 그 방법
CN103248939B (zh) 一种实现多屏同步显示的方法及系统
CN102075728B (zh) 一种共享音频和/或视频的方法及系统
US7522182B2 (en) Method and apparatus for image capture and transmission in a mobile communication device
CN105144673B (zh) 延迟减少的服务器干预式音频-视频通信
US20110131498A1 (en) Presentation method and presentation system using identification label
JP5576667B2 (ja) 情報送出表示システム
CN102883135A (zh) 屏幕共享及控制方法
CN102158690A (zh) 远程多路实时视频监控系统
US20070198348A1 (en) Cybermedia SMS advertisement display panel
WO2010040898A1 (en) System and method for storing multi-source multimedia presentations
CN109819270A (zh) 动态视频海报的合成分享方法及系统
CN112203126B (zh) 投屏方法、投屏装置及存储介质
CN102770827A (zh) 用于在终端的屏幕上显示多媒体内容的方法
US8159970B2 (en) Method of transmitting image data in video telephone mode of a wireless terminal
CN111385590A (zh) 直播数据处理方法、装置及终端
CN101668183A (zh) 一种移动终端节目互动方法、系统及终端设备
KR20010091456A (ko) 무선단말기의 이미지 다운로드시스템
EP1998308A1 (en) CyberMedia SMS advertisement display panel
CN105812922A (zh) 多媒体文件数据的处理方法及系统、播放器和客户端
CN103369366A (zh) 多媒体内容传播服务器及相关的多媒体播放方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant