CN1656808A - 显示合成器 - Google Patents

显示合成器 Download PDF

Info

Publication number
CN1656808A
CN1656808A CNA038116138A CN03811613A CN1656808A CN 1656808 A CN1656808 A CN 1656808A CN A038116138 A CNA038116138 A CN A038116138A CN 03811613 A CN03811613 A CN 03811613A CN 1656808 A CN1656808 A CN 1656808A
Authority
CN
China
Prior art keywords
content
version
user
descriptors
synthetic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA038116138A
Other languages
English (en)
Inventor
A·贾内维斯基
T·麦吉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1656808A publication Critical patent/CN1656808A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H04N21/4545—Input to filtering algorithms, e.g. filtering a region of the image
    • H04N21/45452—Input to filtering algorithms, e.g. filtering a region of the image applied to an object-based stream, e.g. MPEG-4 streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Emergency Management (AREA)
  • Environmental & Geological Engineering (AREA)
  • Environmental Sciences (AREA)
  • Remote Sensing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

按照用内容描述符对某些内容进行描述的形式发送可用户化的多媒体内容。在接收设备中，利用内容描述符合成最终的内容版本。内容描述符可以包括与内容程度、预期用户情绪、预期的用户地点、内容类型、预期的接收时日、预期的显示设备和/或描述内容的语言等有关的信息。可以用本地信息通知进行合成处理。本地信息可以包括根据用户简档生成的用户爱好、自动检测到的上下文信息或由用户手动输入的用户爱好。或者，某些合成指令可以是内容描述符的一部分。合成建立可以包括合成的人物、卡通角色、动物、谈话对象、文本和/或音频等的内容显示。

Description

显示合成器
本发明涉及发送内容用户化的领域。
例如，在WO 01/52099和US 2001/0014906中，已经完成了某些涉及为了建立用于用户观看的用户化的最终节目，用替代内容覆盖发送的视频内容的工作。
这些系统的缺点在于被覆盖的内容一般不十分适合现有的内容，结果可能看起来是拼凑在一起的、不协调的或卡通式的。现有技术的系统的另一个缺点在于被发送的信息需要很高带宽的信道。
以具有在接收器端合成的显示元素的内容描述符的形式发送至少部分内容是有利的。
接收器端可以包括用于收集对选择显示元素有用的本地信息的装置。
各种类型的本地信息可以用于通知内容合成。这些信息可以包括用户简档信息、上下文信息和/或直接用户输入。可以使用各种类型的显示元素，如合成的人物、卡通角色、动物、对象、文本和/或音频等。
内容描述符可以包括如下有关的信息：如内容长度、适合于内容的用户情绪、适合于体验内容的地点、内容类型、适合于体验内容的日时、表达内容的语言和/或适合于显示内容的显示设备的类型。
根据以下描述，本发明目的和优点将变得更加清楚。
以下将参照附图，利用非限定性的例子对本发明进行描述。
图1示出了可以在其中实施本发明的系统。
图2A-1示出了内容描述符。
图2A-2作为内容描述符发送的照片的示意图。
图2A-3作为内容描述符发送的另一张照片的示意图。
图2B示出了说明可以随内容一起发送的内容流的例子。
图2C示出了对内容片段的描述。
图3示出了本发明的实施例的操作框图。
图4示出了一个流程图。
图1示出了适合于实施本发明的系统。该系统包括通过网络103至少与一个远程内容提供器105和其它远程设备106连接的本地CPU101、存储器102和外围设备104。
CPU可以是任何类型的，如在PC或机顶盒中发现的，或者如信号处理器。可以是单个CPU或几个CPU。
存储器102可以是任何合适的类型的，如电子的、磁性的或光的，并且可以与CUP安装在一起或单独安装。通常，将有几个存储器设备，如内部RAM、硬盘驱动器、软盘驱动器、CD/RW、DVD播放器、VCR和/或其他存储器设备。
通常，外围设备104将包括用于与用户交流或用于检测上下文的设备。用于与用户交流的设备可以包括显示器、打印机、键盘、指向设备、声音识别设备、用于接收来自远程控制的通信的传感器和扬声器等。用于检测上下文的设备可以包括照相机、麦克风、IR(红外)传感器、时钟、室内/室外温度计、日光检测器和湿度检测器等。也可以将用于与用户交流的设备看作用于检测上下文的设备。
网络103可以是广播网、有线网、互联网、LAN或任何其它网络等。实际上，CPU 101可以同时与几个网络连接，或者可以用一个网络与其他网络通信。可以用网络连接与其他设备，如CPU、存储器或外部设备105通信，或者与内容提供器106通信。
内容描述
正常情况下，在本发明中使用的内容应该来自附有说明的并且具有足够信息的提供器105，以便允许在客户机端进行用户化。内容可以，但不是必须，包括传统的视频信息。相反，许多被发送的仅仅是描述，即，“内容描述符”。内容描述符也可以认为是元数据。内容描述符描述要显示的最终内容版本，但不包含全部最终内容版本。在可以实现可见的“表演”或“节目”之前，内容描述符需要在接收端对显示信息进行合成。这里，术语“最终内容版本”也将被用于描述合成的结果。
一般来说，至少某些内容描述符将是文本类的；但内容描述符也可以包含多媒体数据如静止照片、视频剪辑或音乐，这些将被并入最终内容版本。图2A-1-3；2B；和2C给出了可以被发送的内容描述符的例子。
图2A-1的故事进入几个版本：新闻(240)，幽默1(241)和幽默2(242)。这些版本中的一个，新闻，具有用于候选显示的子版本。示出的子版本为：长文本(243)和短文本(244)。可以显示更多的候选版本和子版本。可以嵌入标签，以便对节目的重要特征进行注释，如：
-“片段(故事)的妙语”；
-片段的主要角色-例如布什总统，或者电影角色的名字；
-时间、地点、事件部分-因此客户机能够利用它自己的处理生成另一个片段或段落的版本；
-个性描述-例如，一系列外围角色，用户对其陈述一般选择(男/女，年轻/年老，...)；或者
-设置-例如，室外/室内新闻、过去/现在/将来，例如，允许以16或22世纪为背景的肥皂剧。
本领域一般技术人员可以提出许多可以作为内容描述符提供的和/或可以被加上标签的特性，以允许进行用户化。标签也可以被看作是一种“内容描述符”。描述符包括标题245。
除了不同版本的文本以外，还可以将多媒体信息作为一部分内容描述符发送。例如，图2A-2为一张照片的示意图。为了使图简化，没有示出照片的细节。可以将照片全部发送，或者可以用内容描述符描述照片的若干部分。照片包括两个人像250和251-例如布什总统与中国领导人谈话—和标注为“背景1”的背景—例如公园。图2A-3示出了另一张照片的示意图。为了使图简化，也忽略了照片的细节。该照片在不同的标注为“背景2”的背景下示出了一对不同的人像252和253。在本例中，该照片可以呈现在中国的长城前的布什总统和夫人。
回到图2A-1，可见，长版本新闻使用了两张照片，图2A-2和图2A-3，涉及政治会谈和旅行的观光方面，而短版本只使用了第一张照片，图2A-2。第一幽默版本也只使用了第一张照片，图2A-2；而第二幽默版本只使用了第二张照片，图2A-3。
图2B示出了用于一段节目的内容描述符的流描述。正常情况下，为了简化处理并且帮助接收设备预先判断进来的是什么，在发送图2A-1到图2A-3的详细信息之前，应该发送这种类型的流描述。这个具体的流图只是一个例子。不需要涉及图2A1-3的具体描述符。图2B示出了能够产生相同内容的两个基本版本(A和B)的一段节目。
最好，接收设备用这些流来确定使用数据的哪些部分。可以不止一次地使用数据和流。例如，在上午10点，用户可以得到用于作为20分钟的短版本观看的被立即合成的一系列最新的电视情节。然后，可以重复使用可以被存储在接收设备中的相同的内容，生成在周末期间的一小时版本。
在图2B中，首先发送内容表格201和206并且在它们到达之前说明节目的版本。A流—左边的—包括6个片段202、203、204、205、211和212，它们必须按照顺序呈现；除此之外，对于全部节目的短版本，系统可以跳过2A(203)；4A(205)和5A(211)等片段。B流—右边的—仅包括3个片段207/208、209和210。B流允许片段1B以两个版本呈现：长片段1B(208)和短片段1B’(207)。在208和207中示出的候选项与在图2A-1中的243和244示出的长版本和短版本相似。
每个片段也可以有复杂的结构。图2C示出了包含4个段落220、221/222、223、224/225的片段。也可以把这些“段落”看成部分或子片段。流主要是线性的，但是，根据在(本地)接收设备中发生的并且是基于内容和显示方式的处理，可以有多种显示。
通过减少接收设备需要估算的选择的数量，片段/段落结构能够提高处理效率。例如，如果内容是新闻节目，则每个片段可以是一个新闻故事。首先，接收系统选择感兴趣的新闻故事。然后，接收系统可以对每个故事中的选项进行处理。这样的话，接收系统就避免了处理所有故事中的所有选项。选择结构的等级的多或者少可以由熟练的技工按照设计的选择来实施。
例如，假设片段是来自惊险电影的3分钟的汽车追逐。段落1(220)可以是一个30秒种的部分，其中警车发现了一辆快速行驶的车并开始追赶该车。段落2(222)可以是一个1分30秒的部分，其中，两车戏剧性地通过若干路口(例如6个)。如果用户的爱好表示不欣赏汽车追逐和/或暴力，则设备可以生成一个这个段落的较短的版本(221)，其中，在20秒种以内给出了汽车追逐的两个代表性的，即作注解的，瞬间。然后，在段落3(223)中，警车与另一辆车发生碰撞，使追逐停止。在段落4(225)，快速行驶的汽车逃跑。例如，对于汽车追逐爱好者，可以通过生成更多的戏剧性的逃跑瞬间，例如驾驶通过林荫道、拥挤的市场等，使段落4从30秒延长(224)到两分钟。
在另一个例子中，让我们假设片段是谈话节目的引导部分。可以将图2C的左侧看作是“原始版本”，而右侧可以是适合于可以在接收器端选择的具体个性风格的特定版本。例如，这种个性风格可以是JayLeno的，一位受欢迎的谈话节目主持人。如果不选择具体个性，则可以在对内容不做改动或者改动很少的情况下，显示某些原始版本，例如，段落1(220)和3(223)，但可以改动其它部分，如段落2(222)和4(225)。在本例中，按照以上描述的注释或标签，通过仅使用文献的关键部分将段落2压缩成更短的片段(221)。另一方面，按照期望的个性“风格”，通过采用原始段落并且补充更多文字，将段落4延长到两倍长度(224)。可以从当前的传输或其它来源，如互联网或所存储的内容的本地文件，获得这些补充文字。例如，如果这是关于美国总统访问中国的故事，则优选的谈话节目主持人应该用这样的介绍给它“添加香料”：“你将喜欢这个故事—我只喜欢关于总统的故事。就像<来自以前节目的相关事件>”。在三角架中的操作员则应该允许系统离开并且查询互联网或其它资源，寻找需要的信息。在图2A1-3、2B和2C中的数据格式仅是一些例子。以表格的形式或其它数据格式可以同样好地发送数据。可以对内容进行合成，以便替换原始内容的某些部分或者将其全部代替。可以按照允许将接收的内容的特殊成分去掉并且补充其它成分的格式对接收的内容进行编码。合适的格式包括MPEG-4，http://mpeg.telecomitalialab.com/standards/mpeg-4/mpeg- 4.htm；和MPEG-7，http://mpeg.telecomitalialab.com/standards/mpeg-7/mpeg- 7.htm。这些标准使得能够对内容进行编码，而内容使得能够对可以用替换物部分或者全部代替的各个对象和场景进行描述。
可以与原始节目平行地发送内容描述符版本的节目。这可以利用不同的电视频道或者利用单独的互联网版本实现。然后，用户将选择常规的节目或者允许进行合成的内容描述符版本。
或者，服务程序可以将所有版本一起发送。
对接收到的内容描述符的处理
一旦在接收器接收到内容描述符，就要合成一个显示，以便给出产生的最终内容版本。这样的合成是被个性化的。这样的个性化可以基于许多事物，如一个或多个来自发送器端的说明风格选择的标签、存储的用户爱好、交互式用户选择的名称以及检测到的上下文。
要被合成的“显示”可以包括产生的节目的各个方面，如：
-一个或多个显示形象，如人、卡通角色、动物、谈话对象、文本和/或音频；
-背景视频；和/或
-显示风格如：新闻、幽默、短或长等。
图3示出了用于根据发送的信息301、用户简档304、上下文检测308以及个性和/或风格数据302实现内容合成303的系统。可以以软件或硬件来实施图3的系统。也可以将处理分布在不止一个处理器和/或存储器中。
如根据图2A到2C描述的被发送的信息被存储在数据库301中。
正常情况下，上下文传感器308应该具有外部设备(没有示出)，如照相机、麦克风、用于与遥控器一起使用的IR传感器、天气检测设备、用户模式检测设备、时钟、键盘和/或指向设备等。框308可以进行某些处理，以便将各种检测到的上下文合并为某种完整的上下问格式，或者，它可以简单地是从检测设备到处理器的更传统的硬件连接的集合。典型的情况是，除了收集与要被合成的内容有关的信息以外，上下文检测设备执行它们的传统的功能。本领域一般技术人员可以使用更多或更少的设备，或者不同类型的设备。上下文传感器将上下文信息提供给简档和用户分析单元306。
用户爱好
简档和用户分析单元306与用户305相互作用，建立简档数据库304。与用户305的相互作用可以采取多种形式。例如，可以利用上下文检测设备308。它可以通过自动记录观看情况来与用户相互作用，以帮助建立数据库。
简档和用户分析单元306也可以起将本地信息如上下文结尾-用户选择与简档数据库结合起来的作用，以进行风格选择。然后，将风格选择提供给合成单元303，以通知进行内容合成。例如，假设上下文和用户模式确定由喜剧演员显示天气。则问题变为是对某些观众喜欢的真人还是某些人造角色进行合成。必须通过用户分析回答这个问题。
考虑用户爱好的一种方法是具有一个用户简档304。这个简档可以包含使简档和用户分析单元306能够确定观众喜欢的内容的类型的信息，如喜剧、CNN新闻、工作地点、家庭地址以及爱好日时等。在下列专利中可以发现用用户简档选择内容的一些例子，这些专利是：于1999年12月17日提交，序列号为09/466406，标题为METHOD ANDAPPARATUS FOR RECOMMENDING TELEVISION PROGRAMMING USINGDECISION TREES的美国专利申请；以及于2000年9月20日提交，序列号为09/666401，标题为METHOD AND APPARATUS FOR GENERATINGSCORES USING IMPLICIT AND EXPLICIT VIEWING PREFERENCES的美国专利申请，这里将它们引用为参考。
内容过滤
由简档和用户分析单元306执行的一个功能是对内容进行过滤。正常情况下，这可以在图2B和C的流图的指导下进行。利用用户简档的信息，该简档和分析单元将对片段和段落进行选择。
可以按照在内容描述中的标签、上下文、用户爱好或者用户选择来对内容进行过滤。可以设想许多不同的过滤标准。
按照时日的内容过滤
可以用外围设备检测本地时日。在将传输发送到许多时区的场合，这将是最有用的。然后，可以用时日通知风格选择。
例如，在一个工作日的早晨，用户可能想知道当日的本地天气，围绕上班的驾驶路线的交通报告的相关部分，以及来自CNN的标题新闻。显示可以按照许多格式，在电视上来自不同频道的各位主持人，或者来自用户的具有不同软件话音的闹钟的声音。
另一种情况可能出现在当用户从下班回到家并且收听当日的新闻时。现在，用户可能对五日的预报感兴趣，以安排周末。用户也可能想知道更详细的新闻，不仅是早晨期望的标题。可能加上其他主题如体育；而不再关心其它信息如交通。
按照情绪的内容过滤
某些显示风格可以取决于用户当时的心情，例如，消沉的人可能想看到或听到来自快乐的人的不同内容。
一种心情可能使用户需要
-与喜剧演员的洋相一起呈现的体育得分和精彩场面；
-关于世贸中心恐怖分子袭击的结尾愉快的故事，如某些人被营救或者某些勇敢的努力，而不是从某人被救开始已经经过了若干天；以及
-按照温暖的可信赖的个性的显示。
另一种情绪可能使用户想知道与由强有力的权威人士公布的追捕和抓获世贸中心袭击的策划者有关的新闻。
内容描述符或标签可以指定允许的适合于具体内容的显示情绪。可以进行这种类型的情绪说明，以便代替用户情绪的本地决定。例如，很可能永远不让喜剧演员示出飞机飞入世贸中心。然而，某些情绪选择是可能的。例如，可以用愤怒的、权威的人物或者不理解为什么发生的单纯的、质朴的人物来表达该事件。那么，允许的情绪与用户的简档和上下文相符，从而确定如何将新闻呈现给观众。
每种情绪和上下文的结合可以具有各自的相关的内容长度和显示风格。
根据内容描述符或标签的风格选择
显示也可以根据目前对广播员或传送者已知的条件。例如，在天气预报中，可以将标签随着某种合适的显示风格的说明一起发送。可以用一个在海滩上的平静的人代表晴朗、阳光充足的天气，而用一个颤抖并且穿着爱斯基摩人服装的人表示冬季风暴警报。在这种情况下，可以将标签代替本地信息传递到合成器，以通知对显示的呈现者的图片部分进行合成。
显示个性和风格
一旦对内容进行了过滤并且由用户简档和分析单元306确定了长度和显示风格，则可以由合成单元303生成风格的细节。
数据库或数据库302包含一个在进行内容合成中使用的，包括多个入口的显示描述符的资料库。可以按照许多不同的方式获得这些显示描述符。例如，它们可以是：购买的记录在介质上的，定时地从与内容描述符相同的来源发送的，和/或根据请求，从与内容描述符相同的或不同的来源的下载的。
对于每种类型或者用于单独显示的专门的显示风格，可以有多种显示风格。例如，可以有这样的新闻显示风格，主持人一边播送新闻，一边躺在海滩上并且喝鸡尾酒，或者一边播送新闻，一边躺在观众喜欢的情景喜剧的起居室舞台上。
可以进一步对显示的每个方面进行用户化。例如，如果角色正在驾驶汽车，则对汽车的选择限定于在显示风格的时间范围内可用的汽车模型。例如，如果假设内容发生在20世纪70年代，为了一致性和真实性，该汽车应该是在那时之前10年当中制造的汽车。此外，还可以按照用户的选择对汽车本身进行用户化(例如，欧洲、美国、亚洲样式，或更具体如BMW)。
也可以按照发言者的特写头像(用于主持人)或者黑体(用于字符)来塑造个性。
合成
合成器303根据发送的信息301并且根据简档和用户分析单元306的过滤和风格选择，利用数据库302建立经过合成的内容。合成器303输出节目310。
可以想象许多不同类型的风格，例如，短故事/有趣的、短故事/严肃的、长故事/有趣的等。风格选择的格式可以是熟练的员工提出的任意种类。例如，可以由简档和用户分析单元指定内容描述符要求的关键项目如长度、时日、片段选择、用户要求以及存储的用户爱好等。或者，可以有某些数字编码方案。
合成器单元303还可以将用于显示的个性与内容联系起来，例如，在有趣的版本中用小丑Bozo预报天气，而将Bill Evans用于标准广播。应该根据关键项目、时日和用户爱好使故事与要求的风格相符。由此，再按照适当的个性为显示选择正确的故事。
合成器模块可以包含多种子模块以有利于进行对发送的内容进行部分替换或者通过拼凑重新生成内容的合成。可以在下列文献中找到发言者的特写头像合成(实际的和卡通的)的例子，这些文献是：YanLi，Feng Yu，Ying-Qing Xu，Eric Chang，Heung-Yeung Shum，“Speech-Driven Cartoon Animation with Emotions，”ACMMultimedia 2001，The 9th ACM International MultimediaConference，Ottawa，Canada，September 30th-October 5th，2001；以及T.Ezzat and T.Poggio，“Visual Speech Synthesis by MorphingVisemes，”MIT AI Memo No.1658/CBCLMemo No.1731999。
除了发言者的特写头像合成以外，还可以使用其它类型的合成。例如，可以将卡通角色或动物加到显示内容中。同样可以将内容合成为文本或音乐。
可能需要将若干不同的经过合成的元素组合。在de Sevin etal.，EPFL Computer Graphics Lab-LIG，“Towards Real-timeVirtual Human Life Simulation，”0-7695-1007-8/01；IEEE 2001中可以找到将不同的经过合成的元素组合的例子。
适合于谈话节目的内容合成的类型
可以按照不同的风格显示谈话节目。风格可以包括特征，如主持人的个性，节目是具有互动的方面还是被动观看的。
例如，由简档和分析单元306进行的风格选择可以表示用户喜欢David Letterman的声音、外表和风格，但是该用户可能对Letterman在晚会中的客串不感兴趣；而该用户可能对在另一个谈话节目中出现的如Jay Leno的客串很感兴趣。利用合成器303，可以用经过合成的David Letterman代替Jay Leno，与Jay Leno的客串见面。由于以描述符的形式来描述内容，因此，将不是简单地将David Letterman粘贴在Jay Leno上，而是根据内容描述符对整个节目重新进行合成。
风格选择可以表示用户要求节目是单向的还是根据上下文进行互动的。例如，当独自观看时，人可以只是被动地坐着并且消磨谈话节目—反过来，如果观众与朋友一起观看，则可以使某些节目更为互动—或者反之亦然。
用户可能希望在内容中插入暂停。例如，当谈话节目主持人提出这样的问题，如“你在casaba碰到了什么？”，在谈话节目的客人揭示答案之前，可以插入某些选择内容，甚至是死区，以给观众之间互相回答提供时间。可以提示合成器给用户根据内容描述符中的标签进行输入创造机会。
适合于体育节目的内容合成的类型
体育节目转播可以有许多不同的风格元素，如音频或文字的百分比；和/或播音员的身份等。
可以将具有较多声音覆盖并且较少文字重叠的体育节目提供给在家的单个观众。观众也可以选择他或她喜欢的体育播音员，而不是广播电台提供的默认的播音员。为了给星期一足球之夜增加刺激，可以用John Madden代替Dan Dierdorf，随同Frank Gifford和A1Michaels一起播音。在酒吧里，在大屏幕电视并且具有噪音的环境中，经营者可以选择具有伴随精彩场面的很多文字信息如运动员的名字的广播，使消费者能够在不听它的情况下享受内容。
叙述性内容
下面的例子是一出肥皂剧，然而这种类型的合成可以很容易地扩展到许多叙述性内容的格式。
可以按照几个版本提供肥皂剧的每个情节和场景。例如，某些观众可以设法得到较短的版本，其中注意的中心是基本故事和主要角色。另一个版本可以包含附加的角色，他们对于故事情节不很重要，但是给节目传达了不同的“滋味”。例如，可以有一个可选的角色—节目的女主人公的最好的朋友。用户可以预先声明对这样的角色的爱好(例如，男的、年轻的、乐观的)，或者可以根据情节或节目选角色。这样，用户就可以体验按照几个风格和/或版本表述的相同的内容。
例如，当早晨很忙时，用户观看短版本，只弄清已经发生了什么，然而在晚上，用户可以选择他或她喜欢的设置并且观看早晨仅用了15分钟观看的节目的2小时版本。也可以按照具有不同成熟等级的版本来演出节目。卧室的场景可以具有相同的演员和情节，但是可以根据爱好对暴露内容和/或裸体的程度进行过滤。
广告
也可以将广告用户化为不同的版本。由于在每次观看设置中的独特体验，因而希望在不同的场合观看每个版本，因此应该为多重版本的传输付费。此外，可以将为了节目能够被用户化的非常流行的个性与生产安排和广告一起使用。
可以按照许多不同的方式对内容进行个性化。可能的个性化类型太多了，难以在此列出，因此应该将以上列出的看作仅是例子。例如，虽然已经按照视频显示的形式给出了例子，但是，合成也可以产生音频或仅是文本的显示。可以对音频或文本的外观进行个性化以适合用户。
流程图
图4示出了说明由图3的设备执行的优选的操作顺序的流程图。在401，从发送器或广播电台接收内容。在402，对描述符进行初始分析。然后，在403，如根据图2B讨论的，根据本地信息如用户简档、上下文信息或互动用户选择，选择适当的流。然后，在404，接收可选的随后的内容。在405，选择流中的片段。在406，将选择的片段发送到合成器，在407，在简档和用户分析模块306进行了风格选择的情况下，合成器合成显示。
通过阅读本披露，本领域技术人员应该明白其它修改。这样的修改可以包括在设计、制造和使用用于对内容进行用户化的软件和硬件的过程中已经知道的其它特性，可以用这些特性代替或补偿这里已经描述过的特性。在本申请中，尽管针对特性的具体组合，已经系统地表达了权利要求，但应该理解，本申请的披露的范围还包括在这里清楚或含蓄地披露的任何新颖的特性或新颖的特性组合或者其任何推广，不管它是否缓和了任何或所有与本发明缓和的技术问题相同的技术问题。本申请在此申明，在本申请进行期间或者在来源于本申请的其它申请进行期间，可以针对这些特性系统地表达新的权利要求。
不应将这里使用的词“包括”看成排除另外的元素。不应将这里使用的单数冠词“一个”看作排除多个元素。

Claims (18)

1.一种处理内容的方法，该方法包括在至少一个数据处理设备中执行下列操作：
-接收内容(301)，其中，至少一部分内容表示为内容描述符(201-212，220-225，240-245，250-253，BACKGROUND1，BACKGROUND2)；
-根据所述内容描述符合成(303，407)显示元素；
-输出产生的最终内容版本，其中，按照合成的显示元素呈现由所述内容描述符指定的部分。
2.如权利要求1所述的方法，其中
-所述操作还包括收集(306)本地信息(304，305，308)；并且
-根据所述本地信息进行合成。
3.如权利要求2所述的方法，其中
-所述内容描述符描述内容的多个版本；并且
-所述方法还包括根据所述本地信息选择(405)与期望的版本对应的那些内容描述符；并且
-使用选择的内容描述符进行合成。
4.如权利要求3所述的方法，其中，所述内容描述符包括对需要收集的本地信息的描述，以便允许对所述多个版本中的至少一个版本进行合成。
5.如权利要求3所述的方法，其中
-所述内容描述符需要收集涉及以下一项或多项的本地信息：
-在至少两个可选版本中的期望的显示长度；
-适合于所述多个版本中的至少一个版本的用户情绪；
-适合于所述多个版本中的至少一个版本的用户地点；
-期望的内容类型；
-适合于所述多个版本中的至少一个版本的时日；
-适合于所述多个版本中的至少一个版本的显示设备；以及
-表达所述多个版本中的至少一个版本的语言；并且
-所述方法还包括收集需要的本地信息。
6.如权利要求3所述的方法，其中，根据存储的用户爱好自动进行选择(304)。
7.如权利要求3所述的方法，其中，根据用户(305)对期望的版本的说明进行选择。
8.如权利要求2所述的方法，其中，所述本地信息至少部分从用户简档(304)获得。
9.如权利要求2所述的方法，其中，合成包括选择至少一个从多个可选的显示元素中选择的显示元素。
10.如权利要求9所述的方法，其中，所述至少一个选择的显示元素包括
-在内容描述符中的静止照片信息中指定的背景(BACKGROUND1，BACKGROUND2)，或者
-文本或音频显示，
-人和动物中的至少一个。
11.如权利要求9所述的方法，其中，根据所述内容描述符或所述本地信息自动选择至少一个经过选择的显示元素。
12.如权利要求9所述的方法，其中，根据互动的用户(305)说明，选择至少一个经过选择的显示元素。
13.一种指定要观看的内容的方法，该方法发送(105)内容描述，该内容描述适合于通知在接收器端(101，102，104)对内容进行合成。
14.如权利要求13所述的方法，其中，所述内容描述包括下列各项中的至少一项：
-文本类描述符(240-245)，从中至少可以合成口语材料；
-摄影数据(251-253，BACKGROUD1，BACKGROUD2)，从中可以合成视频信息；
-风格类型选项，从中可以为合成选择要观看的内容的风格；以及多个可选的流说明(201-212，220-225)，从中可以为合成选择要观看的内容版本。
15.如权利要求13所述的方法，其中，所述内容描述包括在合成之前在接收器端收集与下列各项中的一项或多项有关的本地信息：
-在至少两个可选版本中的期望的显示长度；
-适合于所述多个版本中的至少一个版本的用户情绪；
-适合于所述多个版本中的至少一个版本的用户地点；
-期望的内容类型；
-适合于所述多个版本中的至少一个版本的时日；
-适合于所述多个版本中的至少一个版本的显示设备；以及
-表达所述多个版本中的至少一个版本的语言；
16.一种数据处理设备，被设计为：
-接收内容(301)，其中，至少将一部分内容表示为内容描述符(201-212，220-225，240-245，250-253，BACKGROUND1，BACKGROUND2)；
-根据所述内容描述符合成(303，407)显示元素；
-输出产生的最终内容版本，其中，按照合成的显示元素呈现由所述内容描述符指定的部分。
17.一种计算机程序产品，当执行所述计算机程序产品时，使一个可编程设备能够起如权利要求16中所限定的设备的作用。
18.一种设备，用于指定要观看的内容，该设备被设计为发送内容描述，该内容描述适合于通知在权利要求16所述的数据处理设备对所述内容进行合成。
CNA038116138A 2002-05-23 2003-05-13 显示合成器 Pending CN1656808A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/155,262 2002-05-23
US10/155,262 US20030219708A1 (en) 2002-05-23 2002-05-23 Presentation synthesizer

Publications (1)

Publication Number Publication Date
CN1656808A true CN1656808A (zh) 2005-08-17

Family

ID=29549023

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA038116138A Pending CN1656808A (zh) 2002-05-23 2003-05-13 显示合成器

Country Status (7)

Country Link
US (1) US20030219708A1 (zh)
EP (1) EP1510076A1 (zh)
JP (1) JP2005527158A (zh)
KR (1) KR20050004216A (zh)
CN (1) CN1656808A (zh)
AU (1) AU2003230115A1 (zh)
WO (1) WO2003101111A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011094931A1 (en) * 2010-02-03 2011-08-11 Nokia Corporation Method and apparatus for providing context attributes and informational links for media data
CN102595231A (zh) * 2012-02-21 2012-07-18 深圳市同洲电子股份有限公司 图像融合方法、设备及系统

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7716231B2 (en) * 2004-11-10 2010-05-11 Microsoft Corporation System and method for generating suggested alternatives for visual or audible submissions
JP2007041988A (ja) * 2005-08-05 2007-02-15 Sony Corp 情報処理装置および方法、並びにプログラム
US8856331B2 (en) * 2005-11-23 2014-10-07 Qualcomm Incorporated Apparatus and methods of distributing content and receiving selected content based on user personalization information
KR100774173B1 (ko) 2005-12-15 2007-11-08 엘지전자 주식회사 프리젠테이션 정보 저장 및 재생방법 및 장치
DE102006020169B4 (de) * 2006-05-02 2018-08-30 Qualcomm Incorporated Vorrichtung und Verfahren zum Anpassen von fraktionalisierten Dateninhalten
US20070260460A1 (en) * 2006-05-05 2007-11-08 Hyatt Edward C Method and system for announcing audio and video content to a user of a mobile radio terminal
US8032378B2 (en) 2006-07-18 2011-10-04 Stephens Jr James H Content and advertising service using one server for the content, sending it to another for advertisement and text-to-speech synthesis before presenting to user
US8239767B2 (en) 2007-06-25 2012-08-07 Microsoft Corporation Audio stream management for television content
US8407668B2 (en) * 2007-10-26 2013-03-26 Microsoft Corporation Model based spreadsheet scripting language
US8904430B2 (en) * 2008-04-24 2014-12-02 Sony Computer Entertainment America, LLC Method and apparatus for real-time viewer interaction with a media presentation
US8527525B2 (en) * 2008-06-30 2013-09-03 Microsoft Corporation Providing multiple degrees of context for content consumed on computers and media players
US20110025816A1 (en) * 2009-07-31 2011-02-03 Microsoft Corporation Advertising as a real-time video call
US20120030712A1 (en) * 2010-08-02 2012-02-02 At&T Intellectual Property I, L.P. Network-integrated remote control with voice activation
US9412358B2 (en) * 2014-05-13 2016-08-09 At&T Intellectual Property I, L.P. System and method for data-driven socially customized models for language generation
CA3004644C (en) * 2015-02-13 2021-03-16 Shanghai Jiao Tong University Implementing method and application of personalized presentation of associated multimedia content
CN104905803B (zh) * 2015-07-01 2018-03-27 京东方科技集团股份有限公司 可穿戴电子设备及其情绪监控方法
US9532106B1 (en) * 2015-07-27 2016-12-27 Adobe Systems Incorporated Video character-based content targeting
CN109189985B (zh) * 2018-08-17 2020-10-09 北京达佳互联信息技术有限公司 文本风格处理方法、装置、电子设备及存储介质
CN111881229A (zh) * 2020-06-05 2020-11-03 百度在线网络技术（北京）有限公司 天气预报视频的生成方法、装置、电子设备及存储介质
WO2023197007A1 (en) * 2022-04-08 2023-10-12 Adrenalineip Live event information display method, system, and apparatus

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5904485A (en) * 1994-03-24 1999-05-18 Ncr Corporation Automated lesson selection and examination in computer-assisted education
GB9517808D0 (en) * 1995-08-31 1995-11-01 Philips Electronics Uk Ltd Interactive entertainment personalisation
US5772446A (en) * 1995-09-19 1998-06-30 Rosen; Leonard J. Interactive learning system
US5676551A (en) * 1995-09-27 1997-10-14 All Of The Above Inc. Method and apparatus for emotional modulation of a Human personality within the context of an interpersonal relationship
US5727950A (en) * 1996-05-22 1998-03-17 Netsage Corporation Agent based instruction system and method
US5944530A (en) * 1996-08-13 1999-08-31 Ho; Chi Fai Learning method and system that consider a student's concentration level
US6091930A (en) * 1997-03-04 2000-07-18 Case Western Reserve University Customizable interactive textbook
GB2348586B (en) * 1997-03-11 2001-03-07 Actv Inc A reception unit for switching between received video signals
US6154222A (en) * 1997-03-27 2000-11-28 At&T Corp Method for defining animation parameters for an animation definition interface
WO1999062254A1 (fr) * 1998-05-28 1999-12-02 Kabushiki Kaisha Toshiba Systeme de radiodiffusion numerique et terminal correspondant
US6711378B2 (en) * 2000-06-30 2004-03-23 Fujitsu Limited Online education course with customized course scheduling
US7013325B1 (en) * 2000-10-26 2006-03-14 Genworth Financial, Inc. Method and system for interactively generating and presenting a specialized learning curriculum over a computer network

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011094931A1 (en) * 2010-02-03 2011-08-11 Nokia Corporation Method and apparatus for providing context attributes and informational links for media data
CN102595231A (zh) * 2012-02-21 2012-07-18 深圳市同洲电子股份有限公司 图像融合方法、设备及系统

Also Published As

Publication number Publication date
US20030219708A1 (en) 2003-11-27
AU2003230115A1 (en) 2003-12-12
KR20050004216A (ko) 2005-01-12
EP1510076A1 (en) 2005-03-02
JP2005527158A (ja) 2005-09-08
WO2003101111A1 (en) 2003-12-04

Similar Documents

Publication Publication Date Title
CN1656808A (zh) 显示合成器
US9542490B2 (en) Video processing device for generating time-coded metadata and methods for use therewith
CN1242611C (zh) 交互式媒体指南系统及允许其用户访问媒体的方法
CN1300726C (zh) 使用多媒体用户简档的多媒体检索和浏览方法
US20030001846A1 (en) Automatic personalized media creation system
US20180091833A1 (en) Apparatus, systems and methods for a content commentary community
US8448068B2 (en) Information processing apparatus, information processing method, program, and storage medium
CN1200557C (zh) 数字图像内容的发布系统和再现数字图像内容的方法
CN1425249A (zh) 用于接入视频节目的多媒体概要的系统和方法
CN1573664A (zh) 屏幕键盘中的智能默认选择
CN1520561A (zh) 流式视频书签
JP2004534978A (ja) ビデオ・プログラミング・イベントの望ましさを決定するシステムおよび方法
JP2003514463A (ja) リスト項目グループを備えた双方向テレビ番組ガイドシステム
CN1698362A (zh) 回放装置和分类回放方法
CN1574959A (zh) 无嵌入式触发器的互动内容
CN1470130A (zh) 提供数据存储到点播媒体传递系统中服务器上的系统和方法
CN1636371A (zh) 服务数据递送系统
CN1682533A (zh) 视频记录器装置以及操作视频记录器装置的方法
CN1640026A (zh) 用于向终端传送广播媒体流的典型媒体对象的系统和方法
CN1829992A (zh) 与dvd链接的因特网加书签
CN101978387A (zh) 促进自动形成多个不同可呈现内容项目集合的方法和装置
JP2004173120A (ja) 動画像蓄積装置、動画像配信システム
KR101420693B1 (ko) 장면 스케줄링 시스템, 장면 스케줄링 방법, 및 그의 리코딩 매체
CN1460361A (zh) 用于为“记忆错觉deja vu”视频系统提供用户接口的系统和方法
JP2007201680A (ja) 情報管理装置および方法、並びにプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication