CN101223782A - 内容显示系统和内容显示方法 - Google Patents

内容显示系统和内容显示方法 Download PDF

Info

Publication number
CN101223782A
CN101223782A CNA2006800263369A CN200680026336A CN101223782A CN 101223782 A CN101223782 A CN 101223782A CN A2006800263369 A CNA2006800263369 A CN A2006800263369A CN 200680026336 A CN200680026336 A CN 200680026336A CN 101223782 A CN101223782 A CN 101223782A
Authority
CN
China
Prior art keywords
content
video
data
display mode
companion data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2006800263369A
Other languages
English (en)
Inventor
粕谷英司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of CN101223782A publication Critical patent/CN101223782A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25833—Management of client data involving client hardware characteristics, e.g. manufacturer, processing or storage capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4314—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for fitting data in a restricted space on the screen, e.g. EPG data in a rectangular grid
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4516—Management of client data or end-user data involving client characteristics, e.g. Set-Top-Box type, software version or amount of memory available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4882—Data services, e.g. news ticker for displaying messages, e.g. warnings, reminders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • General Engineering & Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

一种内容显示系统，用于显示包括视频数据和与所述视频数据相关联的伴随数据的内容，所述视频数据包括多个视频区间，该系统包括：内容显示模式确定器，用于在每一视频区间确定显示模式，所述显示模式用于显示在要在显示屏幕上显示的内容中所包括的视频数据和伴随数据；和内容排列单元，用于在每一视频区间，产生其中根据所述内容显示模式确定器所确定的显示模式来排列所述视频数据和所述伴随数据内容的内容。

Description

内容显示系统和内容显示方法
技术领域
本发明涉及一种内容显示系统和内容显示方法，用于在希望的显示屏幕上显示包括视频数据和与视频数据相关联的伴随数据的内容。本发明还涉及一种内容分发系统和用于执行这种内容分发服务的内容分发方法。
背景技术
内容分发服务器通过数据广播和因特网提供用于允许用户同时观看视频数据和与视频数据相关联的观看数据的服务。例如，与数据相关联的数据包括文本信息。例如，已经提供用于在用户正在观看新闻节目的同时显示表示新闻文章的细节或新闻标题的列表的文本的服务，和用于在用户正在观看的商品介绍节目的同时显示表示商品的价格和特征的文本的服务。不仅在电视接收机上观看视频图像，还在移动电话、PDA(个人数字助理)、笔记本电脑等上观看视频图像。已经根据不同装置开发了用于视频图像的环境。一项重要的任务是执行提供用于采用具有各种显示屏幕大小的各种装置观看视频图像和于视频图像相关联的数据的环境。
一种用于显示视频图像和与视频图像相关联的伴随数据的代表性方案(服务)是在数字广播服务中广播的数据。JP-A-2001-296852公开了一种视频显示方法，用于提供与视频显示区域相邻的文本信息显示区域以及在视频图像被显示在视频显示区域的同时，在文本信息区域以滚动的方式显示文本信息。JP-A-2003-018553公开了一种数据广播接收设备，用于从数据广播的素材(substance)只提取文本和与普通广播节目的视频图像一起显示提取的文本，而无需显示包括数据广播的图像和文本的整个素材。JP-A-2003-018553中所公开的设备尽管仅再现和显示数据广播的素材的一部分，但是允许用户识别数据广播素材的概要。采用JP-A-2001-296852中所公开的视频显示方法和JP-A-2003-018553中所公开的数据广播接收设备，如果显示屏幕的分辨率基本上是恒定的，则可以在显示屏幕上以固定方式显示视频图像和与视频图像相关联的伴随数据。这些技术可以被用于其屏幕的分辨率基本上是恒定的的电视接收机，以固定方式在显示屏幕上显示视频图像和与视频图像相关联的伴随数据。然而，根据这些技术，如果要在诸如不同于电视接收机的终端等具有不同屏幕分辨率的各种终端上显示视频图像和相关联的伴随数据，则需要重新产生/准备用于在各个显示屏幕的显示素材和布局，在各个显示屏幕上，显示内容和布局将被显示。
JP-A-2003-032747公开了一种终端装置，用于将视频数据和文本数据结合为要被显示的结合后的图像数据，并将结合后的图像数据显示在显示屏幕上。在JP-A-2003-032747中所公开的终端装置使用户能在诸如移动电话的、具有每一屏幕有限显示区域的终端上，更清楚地识别诸如文本数据等的伴随数据的内容。然而，由于不考虑终端装置的显示屏幕的大小而同时在视频图像上叠加伴随数据，所以必须确定在每一显示屏幕上用于叠加伴随数据的格式(例如要被叠加的伴随数据的字母的大小和位置)，以便与显示屏幕的大小相匹配。然而，一般来讲，对于诸如视频数据等内容的产生器，对假设的所有显示屏幕预先准备用于叠加伴随数据(即布局信息)的格式是困难的。另外，如果修改原始视频图像和伴随数据，则对于内容产生器，更新所有产生/准备的布局是困难的。因此，在JP-A-2003-032747中所公开的终端装置使内容产生器能够容易地根据采用终端装置的环境来产生布局信息和管理每个产生版本的布局信息。
JP-A-6-149968公开了一种文档处理装置，用于自动确定用于不同于图像的文档和数据中的图像的布局，以便与文档区域的大小相匹配。JP-A-2003-067100公开了一种数字内容显示方法，用于动态地产生用于在显示屏幕上显示包括标题、文本和图像的信息的布局，以便与显示屏幕匹配并根据所产生的布局信息显示信息。然而，在JP-A-6-149968中所公开的文档处理装置和JP-A-2003-067100中所公开的数字内容显示方法没有考虑如何随着时间轴显示视频数据，即表示与伴随数据一起随着时间改变的图像的视频数据。即使文档处理装置和数字内容显示方法被应用于显示视频数据，也采用曾经确定的布局来显示视频数据，而不考虑随着时间改变的图像。因此，不能必要地在显示屏幕上适当地布局视频数据和伴随数据，并其上进行显示。
在本说明书中引用的文献如下：
专利文献1：日本专利待审公开No.2001-296852(JP-A-2001-296852)。
专利文献2：日本专利待审公开No.2003-018553(JP-A-2003-018553)。
专利文献3：日本专利待审公开No.2003-32747(JP-A-2003-032747)。
专利文献4：日本专利待审公开No.H6-149968(JP-A-6-149968)。
专利文献5：日本专利待审公开No.2003-067100(JP-A-2003-067100)。
非专利文献1：Ullas Garigi，Rangachar Kasturi，Susan H.Strayer，“Performance Characterization of Video-Shot-Change DetectionMethods”，IEEE transaction on Circuits and Systems for VideoTechnology，Vol.10，No.1，2000年2月
非专利文献2：A.Mohan，C.Papageorgiou，T.Poggio，“Example-BasedObject Detection in Images by Components”，IEEE Trans.onPAMI，Vol.23，No.4，pp.349-361，2001
发明内容
本发明要解决的技术问题
如上所述，迄今可用的用于在所希望的显示屏幕上显示包括视频数据和与视频数据相关联的伴随数据的内容显示系统的问题在于：其需要屏幕配置被设计用于在显示屏幕上显示视频数据和伴随数据，并且设计用于多种类型的终端的显示屏幕的屏幕配置是很麻烦的。
本发明的一个目的在于提供一种内容显示系统，能够根据显示屏幕和内容的配置来在布局中显示视频数据和伴随数据，而不需要用于相对于诸如视频数据和伴随数据等个别信息来设计在每个显示屏幕的屏幕配置的内容产生器。
本发明的另一目的在于提供一种内容显示方法，能够根据显示屏幕和内容的配置来在布局中显示视频数据和伴随数据，而不需要用于相对于诸如视频数据和伴随数据等个别信息来设计在每个显示屏幕的屏幕配置的内容产生器。
解决技术问题的手段
根据本发明的第一方面，一种用于显示内容的内容显示系统，所述内容包括视频数据和与所述视频数据相关联的伴随数据，所述视频数据包括多个视频区间(video interval)，该系统包括：内容显示模式确定装置，用于在每一视频区间，确定用于在显示屏幕上显示要被显示的内容中所包括的视频数据和伴随数据的显示模式。
根据本发明的第二方面，一种用于显示内容的内容显示系统，所述包括视频数据和与所述视频数据相关联的伴随数据，所述视频数据包括多个视频区间，该系统包括：内容显示模式确定装置，用于在每一视频区间，根据表示显示屏幕的大小的显示屏幕信息、包括与每个视频区间相对应的视频图像的属性信息的视频元数据和包括与视频区间相对应的伴随数据的属性信息的伴随元数据，确定用于在显示屏幕上显示视频数据和伴随数据的显示模式；视频转换装置，用于根据由所述内容显示模式确定装置确定的显示模式转换所述视频图像；伴随数据转换装置，用于根据由所述内容显示模式确定装置确定的显示模式转换所述伴随数据；和内容排列装置，用于在每一视频区间，产生其中根据由所述内容显示模式确定装置确定的显示模式来排列由所述视频转换装置转换的所述视频图像和由所述伴随数据转换装置转换的所述伴随数据的内容。
根据本发明的第三方面，一种用于分发内容的内容分发系统，所述内容包括视频数据和与所述视频数据相关联的伴随数据，所述视频数据包括多个视频区间，该系统包括：
用户终端；和内容分发服务器，用于分发内容。在该内容分发系统中，所述用户终端包括内容请求装置，用于通信网络将内容分发请求发送到所述内容分发服务器。所述内容分发服务器包括：内容显示模式确定装置，用于在每一视频区间，当从所述用户终端接收到内容分发请求时，确定用于在显示屏幕上显示在被请求分发的内容中所包括的视频数据和伴随数据的显示模式；  内容排列装置，用于在每一视频区间，产生其中根据由所述内容显示模式确定装置确定的显示模式来排列视频数据和所述伴随数据的内容；和内容分发装置，用于通过所述通信网络，将由所述内容排列装置产生的内容发送到所述用户终端。
根据本发明的第四方面，一种用于分发内容的内容分发服务器，所述内容包括视频数据和与所述视频数据相关联的伴随数据，所述视频数据包括多个视频区间，该服务器包括：内容显示模式确定装置，用于在每一视频区间，确定用于在显示屏幕上显示在被请求分发的内容中所包括的视频数据和伴随数据的显示模式。
根据本发明的第五方面，一种用于分发内容的内容分发服务器，所述内容包括视频数据和与所述视频数据相关联的伴随数据，所述视频数据包括多个视频区间，该服务器包括：内容显示模式确定装置，用于在每一视频区间，根据相对于在所述视频数据和与所述视频图像相对应的伴随数据中所包括的每个视频图像的显示格式所需的条件，确定用于在显示屏幕上显示视频图像和伴随数据的显示模式；视频转换装置，用于根据由所述内容显示模式确定装置确定的显示模式转换所述视频图像；伴随数据转换装置，用于根据由所述内容显示模式确定装置确定的显示模式转换所述伴随数据；和内容排列装置，用于在每一视频区间，产生其中根据由所述内容显示模式确定装置确定的显示模式来排列由所述视频转换装置转换的所述视频图像和由所述伴随数据转换装置转换的所述伴随数据的内容；和内容分发装置，用于将由所述内容分发装置产生的内容分发给用户终端。
根据本发明的第六方面，一种显示内容的内容显示方法，所述内容包括视频数据和与所述视频数据相关联的伴随数据，所述视频数据包括多个视频区间，该方法包括以下步骤：在每一视频区间，确定用于在显示屏幕上显示在要被显示的内容中所包括的视频图像和伴随数据的显示模式。
根据本发明的第七方面，一种显示内容的内容显示方法，所述内容包括视频数据和与所述视频数据相关联的伴随数据，所述视频数据包括多个视频区间，该方法包括以下步骤：内容显示模式确定步骤，用于在每一视频区间，根据表示显示屏幕的大小的显示屏幕信息、包括与每个视频区间相对应的视频图像的属性信息的视频元数据和包括与视频区间相对应的伴随数据的属性信息的伴随元数据，确定用于在显示屏幕上显示视频图像和伴随数据的显示模式；和内容显示步骤，采用在所述内容显示模式确定步骤确定的显示模式，显示所述视频图像和与所述视频图像相对应的伴随数据。
根据本发明，自适应地确定用于内容的显示模式，以便与用于在视频数据中所包括的每个视频区间的视频数据和相应的伴随数据的素材相匹配。因此，可以显示内容，同时在每一视频区间，根据所确定的显示模式，动态地改变用于在显示屏幕上显示视频图像的视频图像显示区域和用于在显示屏幕上显示伴随数据的伴随数据显示区域。因此，根据本发明，在每一视频区间自动地确定用于内容的显示模式，以便根据显示屏幕和内容的配置，在布局中显示视频图像和伴随数据。因此，能够根据显示屏幕和内容的配置在布局中显示视频图像和伴随数据，而不需要相对于个别信息(即，视频图像和伴随数据)在每个显示屏幕上设计屏幕配置的内容发生器。
根据本发明，由于根据视频图像和伴随数据的素材，在每个视频区间自适应地确定和显示用于内容的显示模式，内容显示系统能有效地将视频数据和伴随数据呈现给用户。根据本发明，如果内容显示系统被配置为根据视频数据和伴随数据的观看者的所需条件的终端的显示屏幕，来自适应地确定用于内容的显示模式，则内容显示系统能有效地在任意所需的显示屏幕上呈现视频数据和伴随数据。此外，根据本发明，如果内容显示系统被配置为根据视频数据和伴随数据的观看者的所需条件的重要性平衡，来自适应地确定用于内容的显示模式，则内容显示系统能有效地与用户的品位相匹配地呈现视频数据和伴随数据。
附图说明
图1是表示根据本发明的第一示例性实施例的内容显示系统的结构的方框图；
图2是表示存储在内容数据库中的视频数据、伴随数据和元数据的示例的示意图；
图3是表示用于内容分发服务器响应来自用户终端的请求来分发内容的过程的示例的流程图；
图4A是显示屏幕的布局的示例的示意图，在该显示屏幕上，用户终端显示视频图像和伴随数据；
图4B是显示屏幕的布局的另一示例的示意图，在该显示屏幕上，用户终端显示视频图像和伴随数据；
图5是表示用于内容显示模式确定器确定内容的显示模式的显示模式确定处理的示例的流程图；
图6是表示根据本发明的第二示例性实施例的内容显示系统的结构的方框图；
图7是表示用于内容显示模式确定器确定图6所示的系统的内容的显示模式的处理的示例的流程图；
图8是表示根据本发明的第三示例性实施例的内容显示系统的结构的方框图；
图9是表示用于内容显示模式确定器确定图8所示的系统的内容的显示模式的处理的示例的流程图；
图10是表示根据本发明的第四示例性实施例的内容显示系统的结构的方框图；
图11是表示用于内容显示模式确定器确定图10所示的系统的内容的显示模式的处理的示例的流程图；
图12是表示根据本发明的第五示例性实施例的内容显示系统的结构的方框图；
图13是表示根据本发明的第六示例性实施例的内容显示系统的结构的方框图；
图14是表示用于内容分发服务器响应来自用户终端的请求来分发内容的过程的示例的流程图；
图15是根据电视接收机请求要分发的新闻节目时所确定的显示模式显示的显示屏幕的示意图；
图16是根据移动电话请求要分发的新闻节目时所确定的显示模式显示的显示屏幕的示意图。
附图标记说明
1、7、90用户终端；
2、4、5、6、80内容分发服务器；
3内容数据库；
8输入设备；
9显示器；
21、41、51、61、71、81内容显示模式确定器；
22、72、92内容转换器；
23、83内容分发器；
31视频数据累积器；
32视频伴随数据累积器；
33元数据累积器；
34分割图案累积器；
35叠加图案累积器；
40通信网络；
221、721、921视频数据转换器；
222、722、922伴随数据转换器；和
223、723、923内容排列单元。
具体实施方式
第一示例性实施例：
以下将描述本发明的第一示例性实施例的内容显示系统。图1表示根据第一示例性实施例的内容显示系统的结构。内容显示系统包括用户终端1、内容分发服务器2、内容数据库3和分割图案累积器34。用户终端1和内容分发服务器2通过诸如因特网等通信网络40互相连接。
内容显示系统显示包括视频数据和与该视频数据相关联的给定伴随数据的内容。这时，内容显示系统根据内容的构成排列视频数据和伴随数据在显示屏幕上的布局，并同时显示视频数据和伴随数据。根据第一示例性实施例，如图1所示，通过内容分发服务器2将内容分发给用户终端1并且用户终端1显示所接收的内容的配置来实现内容显示系统。
用户终端1是由用户使用的终端，具体是诸如个人计算机、移动电话、PDA等的信息处理终端。用户终端1不限于由用户使用的信息处理终端，而可以是具有用于显示内容的显示器的另一内容显示终端。例如，用户终端1可以是电视接收机、具有电子公告板的终端、壁挂时钟、车载导航终端等等。尽管图1显示了一个用户终端1，内容显示系统可以包括多个用户终端1。
用户终端1具有根据用户的动作通过通信网络将内容分发请求发送到内容分发服务器2的功能。在本示例性实施例中，用户终端1将用于要分发的请求内容的请求信息1A和表示用户终端1的显示屏幕的尺寸的显示屏幕信息1B发送到内容分发服务器2。例如，用户终端1发送包括用于识别被请求分发的内容的标识符的信息，作为请求信息1A。标识符例如可以包括内容名称、内容ID、文件名称和标题。用户终端1发送包括用户终端1的显示屏幕的分辨率的信息，作为显示屏幕信息1B。例如，如果采用浏览器等显示内容，则用户终端1发送包括用于显示内容的浏览器的窗口的分辨率的信息。
用户终端1还包括内容显示器，用于根据确定的显示模式来显示内容分发服务器2产生的显示内容。例如，内容显示器包括用于在诸如液晶显示器等显示器上显示各项信息的用户终端1的CPU。根据本发明的示例性实施例，用户终端1通过通信网络接收来自内容分发服务器2的内容。根据所接收到的内容，用户终端1在显示器上显示视频图像并与视频图像同时显示伴随数据。
分割图案累积器34预先累积表示图案的多个分割图案，用于将显示屏划分为用于显示视频图像的视频显示区域和用于显示伴随数据的伴随数据显示区域。具体地讲，通过诸如磁盘驱动器、光盘驱动器等数据库装置实现分割图案累积器34。分割图案累积器34累积作为分割图案的图案，用于将显示屏划分为可以是例如L形或U形的视频显示区域和伴随数据显示区域。作为选择，分割图案累积器34累积作为分割图案的图案，用于将显示屏幕划分为呈简单水平或垂直划分的区域的视频显示区域和伴随数据显示区域。即使显示图案被划分为相同的形状(例如，L形)，分割图案累积器34也累积多个分割图案，用于将显示屏幕划分为视频显示区域和伴随数据显示区域，其中，视频显示区域和伴随数据显示区域具有不同的面积比。
内容数据库3用来累积由内容产生器产生的内容。具体地讲，通过诸如磁盘驱动器、光盘驱动器等数据库装置实现内容数据库3。如图1所示，内容数据库3包括视频数据累积器31、视频伴随数据累积器32和元数据累积器33。视频数据累积器31存储要在屏幕上显示的视频数据。视频伴随数据累积器32存储伴随数据，作为要与视频数据一起显示的信息。元数据累积器33存储被用于确定内容显示模式的元数据。在本示例性实施例中，由在视频数据累积器31中累积的视频数据和在视频伴随数据累积器32中累积的伴随数据构成一条内容。尽管图1示出了一个内容数据库3，但是可以作为分开的数据库来提供一个或所有视频数据累积器31、视频伴随数据累积器32和元数据累积器33。
图2表示在内容数据库3中累积的视频数据、伴随数据、和元数据的示例。如图2所示，视频数据包括多个视频区间801、802、803、804。在本示例性实施例中，例如，视频区间可以是作为区间的一个镜头，其中视频图像被单个摄像机连续捕获，或者是包括表示连贯的有意义的素材的一系列镜头。作为选择，视频区间可以是具有由内容产生器指定的长度的区间。
如图2所示，针对每个视频区间，内容数据库3累积与该视频区间相对应的伴随数据811、812、813、814和与该视频区间相对应的元数据821、822、823、824。内容数据库3还针对每个伴随数据累积与伴随数据相对应的元数据831、832、833、834。内容数据库3还累积包括各种关于整个视频数据的信息的元数据840和包括各种关于整个伴随数据的信息的元数据850。元数据840和元数据850可以被结合为单一元数据。
与各个视频区间相对应的伴随数据包括各种与相对应的视频区间有关的要在显示屏幕上显示的信息，例如，文本信息。每个伴随数据可以是纯文本格式或者由XML(扩展标记语言)描述的结构化文本。作为选择，每个伴随数据可以是由HTML(超文本标记语言)、BML(广播标记语言)等描述的超文本。
元数据840包括关于整个视频数据的信息。例如，如图2所示，元数据840包括视频图像的分辨率和编码处理、每个视频区间的开始和结束点以及其序列号。元数据850包括关于整个伴随数据的信息。例如，元数据850包括伴随数据的信息，诸如风格、格式等。元数据(视频元数据)821、822、823、824包括在视频区间中所包括的视频图像的属性信息。例如，元数据821、822、823、824包括关于视频图像中注意区域的信息以及和视频转换的限制项目。例如，视频转换的限制项目包括缩放比和压缩比的上限和下限、因视频转换而发生的视频数值的改变的评估函数等等。元数据(伴随元数据)831、832、833、834包括与视频区间相对应的伴随数据的属性信息。例如，元数据831、832、833、834包括关于伴随数据的特征数据量和项目数量的信息。元数据831、832、833、834包括对伴随数据转换的限制项目，并存储说明对在每个视频区间中的视频数据和伴随数据之间的重要性进行加权的视频区间重要性信息。例如，伴随数据转换的限制项目包括每个显示项目的重要性、每个显示项目的优先顺序和对因转换而发生的伴随数据值的改变的评估函数等等。可以通过内容产生器产生视频区间重要性信息，并可以手工分发视频区间重要性信息，或者可以通过服务器自动产生视频区间重要性信息。作为选择，可以采用重要性定义函数来产生用于自动产生视频区间重要性信息的重要性定义函数和视频区间重要性信息。
内容分发服务器2是由提供用于分发各种视频内容的内容分发服务的服务提供商操作的服务器。具体地讲，通过诸如工作站、个人计算机等信息处理装置实现内容分发服务器2。如图1所示，内容分发服务器2包括内容显示模式确定器21、内容转换器22和内容分发器23。
具体地讲，通过CPU和根据程序操作的信息处理装置的网络接口来实现内容显示模式确定器21。内容显示模式确定器21具有通过通信网络接收来自用户终端1的请求信息1A和显示屏幕信息1B的功能。根据从用户终端1提供(接收)的请求信息1A和显示屏幕信息1B以及内容数据库3中累积的元数据，内容显示模式确定器21还具有确定用于已经请求分发的内容的显示模式的功能。在这种情况下，在每一视频区间，内容显示模式确定器21确定用于在显示屏幕上显示包括在要显示的内容中的视频数据和伴随数据的显示模式。在本示例性实施例中，根据在分割图案累积器34中累积的分割图案，内容显示模式确定器21在每一视频区间选择用于在用户终端1上显示被请求的视频图像(用于分发)的最佳分割图案和与该视频数据相对应的伴随数据，并根据所选择的分割图案，在每一视频区间确定用于被请求分发的内容的显示模式。
内容显示模式确定器21还具有产生表示所确定的显示模式的显示模式确定信息21A、并将显示模式确定信息21A提供给内容转换器22的功能。具体地讲，采用在分割图案累积器34中准备的每个分割图案，内容显示模式确定器21在每一视频区间将显示屏幕划分为视频显示区域和伴随数据显示区域，并根据划分的结果，确定由在视频显示区域显示的视频图像和在伴随数据显示区域显示的伴随数据构成的整个内容的评估值，并在每一视频区间，在分割图案中确定提供最佳评估值的分割图案，例如，最佳评估值作为用于划分显示屏幕的分割图案。
由内容显示模式确定器21产生的显示模式确定信息21A包括视频转换参数、伴随数据转换参数和布局信息。视频转换参数是用于转换视频数据以便适应由内容显示模式确定器21确定的显示模式的参数。例如，内容显示模式确定器21产生包括视频转换比率的视频转换参数。视频转换比率包括视频缩小比率和视频放大比率。内容显示模式确定器21可以产生用于表示包括在发送到用户终端1的视频数据中的比特数的信息，和包括视频时间分辨率转换比率的视频转换参数。视频时间分辨转换比率包括帧抽取的程度等。
伴随数据转换参数是用于转换伴随数据以便适于显示由内容显示模式确定器21确定的显示模式的参数。例如，内容显示模式确定器21根据所确定的伴随数据显示区域的大小，在伴随数据中选择可以在伴随数据显示区域中显示的数据量。例如，采用字符数来表示可以显示的数据量。然后，内容显示模式确定器21产生包括可以在伴随数据显示区域显示的数据列表的伴随数据转换参数。例如，内容显示模式确定器21根据伴随数据显示区域，在伴随数据中所包括的文本的给定字符内提取标题部分和句子，并产生伴随数据转换参数。
布局信息是描述关于视频图像和伴随数据的布局的信息，即分割图案。内容显示模式确定器21产生包括图像显示区域和伴随数据显示区域的形状和大小的布局信息。
具体地讲，通过根据程序操作的信息处理装置的CPU来实现内容转换器22。如图1所示，内容转换器22包括视频数据转换器221、伴随数据转换器222和内容排列单元223。
视频数据转换器221具有根据请求信息而从数据库调用(提取)从用户终端1请求的视频图像(用于分发)的功能。如果必要，视频数据转换器221还具有采用视频转换参数转换所提取的视频数据的功能。具体地讲，视频数据转换器221根据由内容显示模式确定器21确定的显示模式，在每一视频区间转换视频图像。在这种情况下，例如，视频数据转换器221根据由视频转换参数表示的转换比率，缩小或放大所提取的视频图像。
伴随数据转换器222具有从数据库3调用(提取)与由用户终端1请求的视频数据相对应的伴随数据的功能。如果必要，伴随数据转换器222还具有采用伴随数据转换参数转换伴随数据的功能。具体地讲，伴随数据转换器222根据由内容显示模式确定器21确定的显示模式在每一视频区间转换伴随数据。在这种情况下，例如，伴随数据转换器222从伴随数据中提取在包括在伴随数据转换参数中的列表中指示的数据，并产生转换后的伴随数据。例如，在列表中所指示的数据表示在给定的文本字符中的标题部分和句子。
内容排列单元223具有以下功能：产生表示由视频数据转换器221转换的视频数据和由伴随数据转换器222转换的伴随数据的新内容，根据布局信息在布局中排列这些新内容。在下文中，将采用转换后的视频和伴随数据由内容排列单元223产生的新内容称作转换后的内容。例如，内容排列单元223通过根据由布局信息表示的视频数据区域和伴随数据显示区域的形状和大小产生在布局中排列转换后的视频和伴随数据，来在每一视频区间产生转换后的内容。
具体地讲，通过CPU和根据程序操作的信息处理装置的网路接口来实现内容分发器23。内容分发器23具有通过通信网络将转换后的内容分发到用户终端的功能。内容分发器23可以单独地分发转换后的视频数据、转换后的伴随数据和布局信息，而不是分发整个转换后的内容。在这种情况下，用户终端1根据所接收的布局信息来在显示屏幕上排列并显示转换后的视频数据和转换后的伴随数据。
在本示例性实施例中，内容分发服务器2的存储装置(未示出)存储用于将转换后的内容分发给用户终端1的各种节目。例如，内容分发服务器2的存储装置存储内容分发程序，该内容分发程序用于使计算机执行用于通过通信网络从用户终端接收内容分发请求的处理、用于当从用户终端接收到内容分发请求时在每一视频区间确定用于在显示屏幕上显示在被请求分发的内容中所包括的视频数据和伴随数据的显示模式的处理、用于根据所确定的显示模式在每一显示区间产生包括所分发的视频数据和伴随数据的内容的处理、和用于通过通信网络将包括所分发的视频数据和伴随数据的内容发送到用户终端的处理。
以下将描述根据第一示例性实施例的内容显示系统的操作。图3表示用于内容分发服务器响应于来自用户终端的请求来分发内容的处理的示例。
当用户需要观看内容时，用户操作用户终端1来输入请求以便分发用户想观看的内容。根据用户的动作，在步骤S11中，用户终端1通过通信网络将请求信息1A和显示屏幕信息1B发送到内容分发服务器2。例如，用户终端1通过通信网络将由用户指定的包括内容名称和内容ID的请求信息1A发送到内容分发服务器2。另外，例如，用户终端1通过通信网络将包括用户终端1的显示屏幕的分辨率的显示屏幕信息1B发送到内容分发服务器2。
当用户终端发送上述信息时，内容分发服务器2的内容显示模式确定器21通过通信网络40接收来自用户终端1的请求信息1A和显示屏幕信息1B。然后，在步骤S12，内容显示模式确定器21根据已经接收到的请求信息1A和显示屏幕信息1B、以及在内容数据库3中累积的元数据来确定用于在每一显示区间的内容的显示模式。内容显示模式确定器21还在每一显示区间产生包括视频转换参数、伴随数据转换参数和布局信息的显示模式确定信息21A。内容显示模式确定器21将所产生的显示模式确定信息21A提供给内容转换器22。
在步骤S13，内容转换器22的视频数据转换器221根据请求信息1A从内容数据库3中提取被请求分发的内容的视频数据，并根据在显示模式确定信息21A中所包括的视频转换参数来转换每一视频区间所提取的视频数据。
接下来，在步骤S14中，内容转换器22的伴随数据转换器222根据请求信息1A从内容数据库3中提取被请求分发的内容的伴随数据，并根据在显示模式确定信息21A中所包括的伴随数据转换参数来转换每一视频区间所提取的伴随数据。
接下来，在步骤S15中，内容转换器22的内容排列单元223根据在显示模式确定信息21A中所包括的布局信息，来排列每一视频区间转换后的视频数据和转换后的伴随数据，从而产生转换后内容。之后，在步骤S16中，内容分发器23通过通信网络将由内容转换器22产生的转换后的内容发送给用户终端1。
当转换后的内容由此被产生并被发送到用户终端1时，用户终端1根据所接收到的转换后的内容再现并显示视频图像，并与视频图像一起显示与视频图像相对应的伴随数据。图4A和4B表示用于在用户终端1上显示视频图像和伴随数据的显示屏幕的布局的示例。图4A表示采用其中显示屏幕被水平划分的显示图案显示的视频图像和伴随数据的情况，以及图4B表示采用其中显示屏幕被垂直划分的显示图案显示的视频图像和伴随数据的另一种情况。如图4A和4B所示，在改变视频显示区域和伴随数据显示区域的比例的同时，用户终端1显示每一视频区间的视频图像和伴随数据。
接下来，以下将描述内容显示模式确定器21的操作，用来确定图3所示的步骤S12中的内容的显示模式。图5是表示用于内容显示模式确定器21的显示模式确定处理以便确定内容的显示模式的示例的流程图。在本示例性实施例中，当采用在分割图案累积器34中累积的每个分割图案来将显示屏幕划分为视频显示区域和伴随数据显示区域时，内容显示模式确定器21在每一显示区间确定内容的值。然后，内容显示模式确定器21选择用于最大内容值的分割图案，作为被用于显示区间的分割图案。
当内容显示模式确定器21从用户终端1接收请求信息1A和显示屏幕信息1B时，内容显示模式确定器21根据所接收的请求信息1A来从内容数据库3提取被请求分发的内容的视频数据和每个伴随数据，并从内容数据库3提取与被请求分发的内容相对应的元数据。内容显示模式确定器21根据所提取的元数据识别包括在视频数据中的每个视频区间。例如，根据关于图2所示的整个视频内容的包含在元数据840中的视频区间的起点和终点，内容显示模式确定器21确定在视频数据中所包括的视频区间的数量和视频区间在视频数据中的位置。在步骤S101中，内容显示模式确定器21根据视频区间的识别结果指定要显示的视频区间。首先，内容显示模式确定器21选择在视频数据中所包括的第一视频区间作为要被处理的视频区间，以便确定显示模式。
假设预先提供n条分割图案，并且分割图案累积器34累积该n条分割图案。在步骤S102中，当内容显示模式确定器21选择要处理的视频区间时，内容显示模式确定器21初始化在显示模式确定处理中所使用的变量和参数。在本示例性实施例中，内容显示模式确定器21将规定的变量k初始化为k＝1，并将规定的值Vmax初始化为Vmax＝0。变量k是表示在处理中内容显示模式确定器21当前使用分割图案累积器34中累积的哪一个分割图案的变量。值Vmax表示对由内容显示模式确定器21为各个分割图案确定的内容值的最大值。
然后，在步骤S103中，内容显示模式确定器21从分割图案累积器34读取第k个分割图案。由于在步骤S102中变量k被设置为k＝1，当内容显示模式确定器21对第一时间执行显示模式确定处理时，其从分割图案累积器34读取第一分割图案。此后，在步骤S104中，根据所读取的分割图案，内容显示模式确定器21相对于要被处理的视频区间将显示屏幕划分为视频显示区域和伴随数据显示区域。
内容显示模式确定器21将视频图像转换为对于视频显示区域最佳的格式。作为该转换的特定示例，视频图像被缩小为于被划分的视频显示区域的大小相匹配。然后，在步骤S105中，内容显示模式确定器21计算当被转换的视频图像被显示在视频显示区域时视频图像具有的值(最大值)。这时，内容显示模式确定器21采用预定的评估函数来确定被显示的转换后的视频图像具有的值。例如，一般来讲，随着视频图像的缩小，观看视频图像变得更难。因此，内容显示模式确定器21采用评估函数确定视频图像的值，以便随着视频图像的缩小该值也变得更小。在下文中，将在此所描述的评估函数称作视频图像值计算评估函数。
此外，内容显示模式确定器21将与视频区间相对应的伴随数据转换为对于伴随数据显示区域最佳的格式。作为特定的转换示例，根据伴随数据显示区域的大小来提取可以被显示的数据。在步骤S106中，内容显示模式确定器21计算当在伴随数据显示区域中显示转换后的伴随数据时，伴随数据具有的值(最大值)。这时，内容显示模式确定器21采用预定评估函数确定被显示的转换后的伴随数据所具有的值。在下文中，将该评估函数称作伴随数据值评估函数。一般来讲，随着在显示屏幕上显示的伴随数据的项数的减少，可以被显示的信息量也减少，而被需要用来显示伴随数据的页数也减少，从而使用户更容易地观看伴随数据。因此，内容显示模式确定器21采用具有表示被显示的伴随数据的项数的变量的评估函数、这些项的重要性和被需要用来显示伴随数据的页数来确定转换后的伴随数据所具有的值。
然后，在步骤S107中，内容显示模式确定器21采用另一预定的评估函数，根据转换后的视频图像和伴随数据计算在显示屏幕上显示的内容(即，整个视频图像和伴随数据)的值V。在下文中，将该评估函数称作内容值计算评估函数。在这种情况下，根据最简单的方法，例如，内容显示模式确定器21采用仅仅对视频图像和伴随数据的值求平均的评估函数来确定整个内容的值V。
在本示例性实施例中，内容显示模式确定器21采用预定的评估函数。然而，内容显示模式确定器21可以从存储评估函数的存储器中提取评估函数，并采用所提取的评估函数来确定内容值。
以下将描述由内容显示模式确定器21使用的内容值计算评估函数的示例，用于评估在用户终端1上显示的内容(即，整个视频图像和伴随数据)的值V。内容显示模式确定器21采用被提供给用户的一个或两个或更多数据量的信息、信息的值和观看该信息的容易性，作为评估标准来评估视频图像和伴随数据。内容显示模式确定器21可以根据这些被评估的值来评估整个内容的值。例如，可以将显示屏幕以面积比x∶(1-x)划分时的整个内容的值描述为具有变量的函数，所述变量表示在视频显示区域显示的视频图像的值和在伴随数据显示区域显示的伴随数据的值。在这种情况下，可以通过将视频图像的值与伴随数据的值相加来得到整个内容的值。因此，内容值计算评估函数V(x)可以被表达为函数f(g(x)，h(x))，函数f(g(x)，h(x))具有表示视频图像值计算评估函数g(x)的变量和表示伴随数据值计算评估函数h(x)的变量。根据以下方程(1)，内容值计算评估函数V(x)可以被表达为视频图像值计算评估函数g(x)和伴随数据值计算评估函数h(x)的和：
V(x)＝f(g(x)，h(x))＝g(x)+h(x)    (1)
以下将描述每一评估标准的用于视频数据和伴随数据的评估函数的示例。首先，以下将描述采用提供给用户的信息量作为测量(评估标准)的评估函数的示例。对于采用提供给用户的信息量作为标准来评估视频数据和伴随数据，将评估可以在视频数据显示区域显示的视频图像的象素的数量和可以在伴随数据显示区域显示的特征的数据量。假设转换视频图像以便在分辨率以w水平象素和V垂直象素表示的视频显示区域中尽可能宽的显示该视频图像，而视频图像的纵横比未改变。如果以b表示缩放比，那么由于缩放比b反映了被显示的象素的数量，所以可以将评估函数实现为具有表示缩放比b的变量的函数。例如，如果缩放比本身被用作视频图像的评估值，那么以方程(2)表示视频图像值计算评估函数：
g(w，v)＝b
b＝min(b1，b2)，b1＝w/xorig andb2＝v/yorig  (2)
b＝bmax(b＞bmax)
b＝0(b＜bmin)
其中，xorig和yorig分别表示原始图像的高度和宽度，而bmax和bmin分别表示允许的缩放比率的最大和最小值。
另外，假设转换伴随数据，以便在其分辨率以w水平象素和v垂直象素表示的伴随数据显示区域中显示伴随数据，或者转换伴随数据以便在伴随数据显示区域的q页中显示伴随数据。具体地讲，假设在伴随数据显示区域中要显示m项，并且从这些项中选择在g页中要显示的项。假设在伴随数据显示区域中要显示m项，以r表示一行中的特征的数量，以s表示一页中的行数，和以t1，t2，…，tk，…，tm(1≤k≤m)，并且以a1，a2，…，ak，…，am(1≤k≤m)表示是否在伴随数据显示区域中显示项目。ak＝1表示显示第k项，ak＝0表示不显示第k项。
如果当显示所有伴随数据时以1表示涉及的信息量，那么以方程(3)表达伴随数据的信息量被转换以便被保持在伴随数据显示区域的q页中，即伴随数据值计算评估函数：
h ( w , v ) = max { Σ k = 1 m { a k · floor ( t k / S ) } Σ k = 1 m floor ( t k / S ) } - - - ( 3 )
&Sigma; k = 1 m { a k &CenterDot; floor ( t k / S ) } < g
其中，floor表示分数的舍入函数。通过将方程(2)和(3)带入方程(1)，得到采用被提供给用户的信息量作为评估标准的内容值计算评估函数V(x)。
以下将描述采用信息具有的值作为测量(评估标准)的评估函数的示例。为了评估提供给用户的新的值作为测量，将评估可以在视频数据显示区域中显示的视频图像或者视频区域的值以及可以在伴随数据显示区域中显示的项目的信息的值。可以为用户或者为信息提供商或者为用户和用户提供商两者评估信息的值。
假设相对于信息的值被分发给在视频区间中出现的要评估的每个人和物体的视频图像，存在j条外观和视频区域，以Vj表示每个外观具有的信息值，和以c1，c2，…，ck，…，cj(1≤k≤j)表示是否显示每个外观。ck＝1表示显示第k项，ck＝0表示不显示第k项。还假设选择外观以便能在其分辨率以W个水平象素和V个垂直象素表示的有限的视频显示区域中显示具有尽可能高的信息值的外观的组合。在这种情况下，以方程(4)表达视频图像值计算评估函数：
g ( w , v ) = max { &Sigma; k = 1 m { c k &CenterDot; v k } &Sigma; k = 1 m v k } - - - ( 4 )
在方程(4)中，所选择的外观集合不应该超出视频显示区域。
假设对于在伴随数据显示区域有m个项目要被显示的伴随数据，以r表示在一行中的特征的数量，以S表示在一页中的行数，以t1，t2，…，tk，…，tm(1≤k≤m)表示项目的特征数量，以及以uk表示项目的信息值，和以a1，a2，…，ak，…，am(1≤k≤m)表示是否在伴随数据显示区域中显示项目。ak＝1表示显示第k项，ak＝0表示不显示第k项。
假设以1表示当所有伴随数据被显示时所涉及的信息量，那么以方程(5)表示伴随数据的信息值被转换以便被保持在伴随数据显示区域的q页中，即伴随数据值计算评估函数h(w，v)：
h ( w , v ) = max { &Sigma; k = 1 m { u k &CenterDot; a k } &Sigma; k = 1 m u k } - - - ( 5 )
&Sigma; k = 1 m { a k &CenterDot; floor ( t k / S ) } < g
通过将方程(4)和(5)代入方程(1)中，得到采用提供给用户的信息值作为测量的内容值计算评估函数V(x)。
下面将描述采用观看信息的方便性的评估函数作为评估标准的示例。为了评估观看提供给用户的信息的方便性作为测量，将评估观看在视频数据显示区域中显示的视频图像的方便性和观看在伴随数据显示区域中显示的信息的方便性。
首先，根据诸如移动的平滑性和噪声量等图像质量来评估视频图像。假设以r表示视频图像的分辨率、以f表示帧速率，以s表示相对原始图像的S/N比和以m表示移动量。在这种情况下，采用以下示出的方程(6)将视频图像值计算评估函数表达为具有上述四个变量的平衡函数。选择用于优化平衡函数的分辨率r和帧速率f，和可以根据选择的分辨率r和帧速率f转换视频图像。
g(w，v)＝max{o(r，f，s，m}  (6)
由于显示伴随数据所需的页的数量较小，所以可以更方便地观看伴随数据的信息。因此，设计以与所需页的数量成反比来分发高评估。在这种情况下，以方程(7)表达伴随数据值计算评估函数：
h ( w , v ) = h ( l ) = 1 ( l < L ) ( l max - ( l - L ) ) / l max ( L < l < l max ) 0 ( l > l max ) - - - ( 7 )
其中l表示显示所有被选择的项目所需的行数，lmax表示最大行数和L表示在屏幕上能显示的行数。通过将方程(6)和(7)代入方程(1)，得到采用观看提供给用户的信息的方便性作为标准的内容值计算评估函数V(x)。
以下将描述采用提供给用户的信息量、信息值和观看信息的方便性作为评估标准的评估函数的示例。在这种情况下，例如，根据方程(2)、(4)和(6)的任意两个或所有组合的评估函数可以被用作视频图像值计算评估函数，以及根据方程(3)、(5)和(7)的任意两个或所有组合的评估函数可以被用作伴随数据值计算评估函数。例如，对于视频数据，可以将方程(2)和(4)结合为考虑在给定视频显示区域的外观和外观的缩放比的结合的函数。在这种情况下，可以采用根据方程(8)的视频图像值计算评估函数。
g ( w , v ) = max { &Sigma; k = 1 m { c k &CenterDot; b k &CenterDot; v k } &Sigma; k = 1 m v k } - - - ( 8 )
对于伴随数据，例如，可以将方程(5)和(7)结合为考虑在信息值和观看信息的方便性之间的折衷的函数。在这种情况下，可以采用根据方程(9)的伴随数据值计算评估函数。
h ( w , v ) = max { &Sigma; k = 1 m { u k &CenterDot; a k } &Sigma; k = 1 m u k &CenterDot; h ( l ) } ,
h ( l ) = 1 ( l max - ( l - L ) ) / l max 0 - - - ( 9 )
&Sigma; k = 1 m { a k &CenterDot; floor ( t k / S ) } < g
通过将方程(8)和(9)代入方程(1)，得到采用提供给用户的信息量、信息的值和观看信息的方便性作为标准的内容值计算评估函数V(x)。
在步骤S108中，内容显示模式确定器21确定整个内容的确定值V是否大于内容值的最大值Vmax。如果内容显示模式确定器21判定整个内容的所计算的值V大于内容值的最大值Vmax，则内容显示模式确定器21将V置于Vmax，从而更新Vmax的值。对于当前要被处理的第k个划分图像，内容显示模式确定器21产生用于实现在视频显示区域中的最佳显示的视频转换参数和用于实现在伴随数据显示区域中的最佳显示的伴随数据转换参数。在步骤S109中，内容显示模式确定器21将第k个分割图案和已经产生的视频转换参数和伴随数据转换参数保存在诸如存储器等存储装置中。
在更新Vmax的值并保存分割图案、视频转换参数和伴随数据转换参数后，在步骤S110，内容显示模式确定器21使变量k加1。如果在步骤S108中，内容显示模式确定器21判定整个内容的所计算的值V不大于内容值的最大值Vmax，则内容显示模式确定器21跳过步骤S109中的处理，并使变量k加1。
在步骤S111，内容显示模式确定器21确定变量k的值是否大于n。如果内容显示模式确定器21判定变量k的值大于n，则内容显示模式确定器21判定已经完成对所有分割图案的处理，并进行到步骤S112的处理。如果内容显示模式确定器21判定变量k的值不大于n，则返回到步骤S103，并重复执行从步骤S103到步骤S110的处理。也就是说，内容显示模式确定器21判定存在要处理的分割图案，读取在分割图案累积器34中累积的下一个分割图案，并当采用所读取的分割图案时评估内容值。
如上所述，对所有在分割图案累积器34中累积的分割图案重复执行从步骤S103到步骤S110的处理。通过重复处理所有分割图案，保存用于整个内容的最大值的情况的分割图案、视频转换参数和伴随数据转换参数。
在步骤S112中，如果内容显示模式确定器21确定变量k的值大于n，则内容显示模式确定器21提取并输出在存储装置当前存储的分割图案、视频转换参数和伴随数据转换参数。具体地讲，内容显示模式确定器21在内容值V的最大值时将分割图案、视频转换参数和伴随数据转换参数输出到内容转换器22。在这种情况下，内容显示模式确定器21采用内容值V的最大值时的分割图案，产生表示显示屏幕上的布局的布局信息。内容显示模式确定器21将包括视频转换参数、伴随数据转换参数和布局信息的显示模式确定信息21A提供给内容转换器22。
如上所述，内容显示模式确定器21执行从步骤S101到步骤S112的处理，从而改变分割图案，即，使k加1(k＝k+1)，从而用于针对所有分割图案计算整个内容的值。内容显示模式确定器21采用整个内容的最大值的分割图案作为用于视频区间和伴随数据的布局。
内容显示模式确定器21对在被请求分发的视频数据中所包括的每个视频区间重复上述处理。然后，内容显示模式确定器21对每个视频区间的所有分割图案计算内容值，确定布局，并输出显示模式确定信息21A。
根据本示例性实施例，如上所述，内容分发服务器2根据相对于在视频数据中所包括的每个视频区间的视频图像和相应的伴随数据的素材，自适应地确定用于内容的显示模式。内容分发服务器2根据所确定显示模式向用户终端1分发被转换的内容。用户终端1根据所分发的内容动态地改变每一视频区间的视频显示区域和伴随数据显示区域，并显示它们。因此，根据本示例性实施例，自动确定每一视频区间的内容的显示模式，并根据显示屏幕和内容的配置在布局中显示视频图像和伴随数据。因此，根据本示例性实施例，可以根据显示屏幕和内容的配置在布局中显示视频图像和伴随数据，而不需要内容产生器来对各个信息(即，视频图像和伴随数据)设计每一显示屏幕的屏幕配置。另外，根据本示例性实施例，由于可以根据视频图像和伴随数据的内容，对于每一视频区间自适应地确定和显示用于视频图像和伴随数据的显示模式，因此，可以实现能够有效地呈现视频数据和伴随数据的内容显示系统。
根据本示例性实施例，内容分发服务器2根据满足视频数据和伴随数据的观看者一方所需的条件的终端的显示屏幕，自适应地确定用于内容的显示模式。因此，可以实现能够有效地呈现视频数据和伴随数据的内容显示系统。
第二示例性实施例
以下将描述根据本发明的第二示例性实施例的内容显示系统。图6表示根据第二示例性实施例的内容显示系统。如图6所示，在根据第二示例性实施例的内容显示系统中，包括在内容分发服务器4中的内容显示模式确定器41的功能与第一示例性实施例中所示的内容显示模式确定器21的功能不同。根据第二示例性实施例的系统与根据第一示例性实施例的系统的不同在于：用户终端1除了通过通信网络将请求信息1A和显示屏幕信息1B发送到内容分发服务器4以外，还通过通信网络将重要性平衡信息1C发送到内容分发服务器4。在第二示例性实施例中，在内容数据库3和分割图案累积器34中累积的信息与在第一示例性实施例中在内容数据库3和分割图案累积器34累积的信息相同。除了用户终端1不但发送请求信息1A和显示屏幕信息1B还发送重要性平衡信息1C以外，用户终端1的功能与第一示例性实施例中的用户终端1的功能相同。内容分发服务器4的内容转换器22和内容分发器23的功能与在第一示例性实施例中的相同。
在根据第二示例性实施例的系统中，内容显示模式确定器41具有通过通信网络从用户终端1接收请求信息1A、显示屏幕信息1B和重要性平衡信息1C的功能。在本示例性实施例中，内容显示模式确定器41接收代表用户的品位或者在每个视频区间的重要性和相应的伴随数据的重要性中间的平衡的信息作为重要性平衡信息1C(也被称作重要性信息)。
内容显示模式确定器41还具有以下功能：根据从用户终端1提供(接收)的请求信息1A、显示屏幕信息1B和重要性平衡信息1C以及元数据，确定用于已经被请求分发的内容的显示模式的功能。内容显示模式确定器41根据显示屏幕信息1B、诸如视频元数据和伴随元数据等元数据和重要性平衡信息1C中的至少之一来确定显示模式。
在第二示例性实施例中，内容显示模式确定器41确定用于在用户终端1上显示被请求的视频图像(用于分发)和与视频图像相对应的伴随数据的显示模式。内容显示模式确定器41还具有以下功能：产生表示所确定的显示模式的显示模式确定信息41A，并将显示模式确定信息41A提供给内容转换器22。
内容重要性是指在用户想要分发的视频数据和伴随数据之间的重要性平衡。在本示例性实施例中，具体地讲，内容显示模式确定器41采用在分割图案累积器34中准备的每个分割图案，在每一视频区间将显示屏幕划分为视频显示区域和伴随数据显示区域，并在划分显示屏幕后，考虑到内容重要性，确定由在视频显示区域显示的视频图像和在伴随数据显示区域显示的伴随数据构成的整个内容的评估值。在每一视频区间，内容显示模式确定器41将提供最佳评估值(例如最大评估值)的分割图案确定为用于划分显示屏幕的分割图案。
显示模式确定信息41A包括视频转换参数、伴随数据转换参数和布局信息。视频转换参数是用于转换视频数据以便适应所确定的显示模式的参数。伴随数据转换参数是用于转换伴随数据以便适于所确定的显示模式的参数。布局信息是描述关于视频图像和伴随数据即分割图案的布局的信息。可以预先从内容产生器而不是由用户提供(即，从用户终端1接收)在视频数据和伴随数据之间的重要性平衡。
以下将描述根据第二示例性实施例的内容显示系统的操作。首先，以下将描述内容分发服务器4响应于来自用户终端1的请求来分发内容的操作。
当用户需要观看内容时，用户操作用户终端1来输入请求以便分发用户想观看的内容。根据用户的动作，用户终端1通过通信网络将请求信息1A、显示屏幕信息1B和重要性平衡信息1C发送到内容分发服务器4。内容分发服务器4的内容显示模式确定器41根据已经接收到的请求信息1A、显示屏幕信息1B和重要性平衡信息1C、以及在内容数据库3中累积的元数据来确定用于内容的显示模式。内容转换器22产生转换的内容的处理与图3所示的从步骤S13到步骤S16的处理相同。
以下将描述内容显示模式确定器41确定用于内容的显示模式的操作。图7表示在第二示例性实施例中内容显示模式确定器确定内容的显示模式的处理。
与第一示例性实施例相同，内容显示模式确定器41根据所接收的请求信息1A，从内容数据库3提取被请求分发的内容的视频数据和被请求分发的内容的伴随数据，内容显示模式确定器41还从内容数据库3提取与被请求分发的内容相对应的元数据。内容显示模式确定器41根据所提取的元数据识别包括在视频数据中的每个视频区间。
然后，在步骤S101a中，内容显示模式确定器41根据视频区间的识别结果指定要显示的视频区间。在本示例性实施例中，假设预先提供n条分割图案，并且分割图案累积器34累积该n条分割图案。在步骤S102a中，内容显示模式确定器41使规定的变量k初始化为k＝1和内容值的最大值Vmax初始化为Vmax＝0。
然后，在步骤S103a中，内容显示模式确定器41从分割图案累积器34读取第k个分割图案。在步骤S104a中，根据所读取的分割图案，内容显示模式确定器41相对于要被处理的视频区间将显示屏幕划分为视频显示区域和伴随数据显示区域。然后，在步骤S105a中，内容显示模式确定器41将视频图像转换为用于视频显示区域的最佳格式，并采用预定的评估函数，计算当被转换的视频图像被显示在视频显示区域时视频图像所具有的值(最大值)。因此，内容显示模式确定器41采用评估函数确定视频图像的值，以便随着视频图像的缩小该值也变得更小。
在步骤S106a中，内容显示模式确定器41将与视频区间相对应的伴随数据转换为对于伴随数据显示区域最佳的格式，并采用预定的评估函数，计算当在伴随数据显示区域中显示转换后的伴随数据时，伴随数据具有的值(最大值)。例如，一般来讲，随着在显示屏幕上显示的伴随数据的项数的减少，可以被显示的信息量也减少，而被需要用来显示伴随数据的页数也被减少，从而使用户更容易地观看伴随数据。因此，内容显示模式确定器41采用具有表示被显示的伴随数据的项数的变量的评估函数、这些项的重要性和被需要用来显示伴随数据的页数，来确定转换后的伴随数据具有的值。
在步骤S107a中，内容显示模式确定器41采用预定的评估函数，根据转换后的视频图像和伴随数据计算在显示屏幕上显示的整个内容(即，视频图像和伴随数据)的值V。在本示例性实施例中，内容显示模式确定器41根据内容重要性信息1C，使用对视频图像和伴随数据的值进行加权的评估函数来计算整个内容的值V。这时，根据最简单的方法，例如，内容显示模式确定器41可以根据内容重要性信息1C加权并添加视频图像和伴随数据的值。
以下将描述内容值计算评估函数的示例，用于内容显示模式确定器41评估整个内容的值V。例如，根据以下方程(10)，内容值计算评估函数V(x)可以被表达为视频图像值计算评估函数g(x)和伴随数据值计算评估函数h(x)的加权和：
V(x)＝f(g(x)，h(x))＝wg(x)+(1-w)h(x)    (10)
其中w表示视频图像的重要性，(1-w)表示伴随数据的重要性。
然后，在步骤S108a中，内容显示模式确定器41确定整个内容的确定值V是否大于内容值的最大值Vmax。如果内容显示模式确定器41判定整个内容的所计算的值V大于内容值的最大值Vmax，则在步骤109a中，内容显示模式确定器41将V置于Vmax，从而更新Vmax的值，对当前要处理的第k个分割图案产生用于实现在视频显示区域中的最佳显示的视频转换参数和用于实现在伴随数据显示区域中的最佳显示的伴随数据转换参数，并将第k个分割图案和已经产生的视频转换参数和伴随数据转换参数保存在诸如存储器等存储装置中。
在更新Vmax的值并保存分割图案、视频转换参数和伴随数据转换参数后，在步骤S110a，内容显示模式确定器41使变量k加1。如果在步骤S108a中内容显示模式确定器41判定整个内容的值V不大于内容值的最大值Vmax，则内容显示模式确定器41跳过步骤S109a中的处理，并使变量k加1。
接下来，在步骤S111a，内容显示模式确定器41确定变量k的值是否大于n。如果内容显示模式确定器41判定变量k的值大于n，则内容显示模式确定器41判定已经完成对所有分割图案的处理，并进行到步骤S112a的处理。如果内容显示模式确定器41判定变量k的值不大于n，则返回到步骤S103a，并重复执行从步骤S103a到步骤S110a的处理。也就是说，内容显示模式确定器41判定存在要处理的分割图案，读取在分割图案累积器34中累积的下一个分割图案，和当采用所读取的分割图案时评估内容值。
如果在步骤S111a中内容显示模式确定器41确定变量k的值大于n，则在步骤S112a中，内容显示模式确定器41提取并输出在存储装置当前存储的分割图案、视频转换参数和伴随数据转换参数。具体地讲，内容显示模式确定器41在内容值V的最大值时，将分割图案、视频转换参数和伴随数据转换参数输出到内容转换器22。在这种情况下，内容显示模式确定器41采用内容值V的最大值时的分割图案，产生表示在显示屏幕上的布局的布局信息，并将包括视频转换参数、伴随数据转换参数和布局信息的显示模式确定信息41A提供给内容转换器22。
如上所述，内容显示模式确定器41执行从步骤S101a到步骤S112a的处理，从而改变分割图案，即，使k加1(k＝k+1)，从而用于计算对所有分割图案的整个内容的值。然后，内容显示模式确定器41采用整个内容的最大值的分割图案，作为用于视频区间和伴随数据的排列布局。
内容显示模式确定器41对在被请求分发的视频数据中所包括的每个视频区间重复上述处理，并对每个视频区间的所有分割图案计算内容值，以便确定排列布局和输出显示模式确定信息41A。
如上所述，根据第二示例性实施例，内容分发服务器4根据相对于在视频数据中所包括的每个视频区间的视频图像的内容和相应的伴随数据，自适应地确定用于内容的显示模式。然后，内容分发服务器4根据所确定显示模式向用户终端1分发被转换的内容。用户终端1根据所分发的内容动态地改变每一视频区间的视频显示区域和伴随数据显示区域，并显示它们。因此，根据本示例性实施例，自动确定每一视频区间内容的显示模式，并根据显示屏幕和内容的配置在布局中显示视频图像和伴随数据。因此，可以根据显示屏幕和内容的配置在布局中显示视频图像和伴随数据，而不需要内容产生器来对各个信息(即，视频图像和伴随数据)设计每一显示屏幕的屏幕配置。
根据本示例性实施例，由于可以根据视频图像和伴随数据的素材来在每一视频区间自适应地确定和显示用于视频图像和伴随数据的显示模式，因此，可以实现一种能够有效地呈现视频数据和伴随数据的内容显示系统。根据本示例性实施例，内容分发服务器4根据满足视频数据和伴随数据的观看者一方所需的条件的终端的显示屏幕，自适应地确定用于内容的显示模式。因此，可以实现能够在任意需要的显示屏幕上有效地呈现视频数据和伴随数据的内容显示系统。另外，根据本示例性实施例，由于内容分发服务器4根据满足视频数据和伴随数据的观看者一方所需的条件的重要性平衡，自适应地确定用于内容的显示模式，所以可以实现有效地呈现与用户的品位匹配的视频数据和伴随数据的内容显示系统。
第三示例性实施例
以下将描述根据本发明的第三示例性实施例的内容显示系统。图8表示根据第三示例性实施例的内容显示系统的结构。在该内容显示系统中，包括在内容分发服务器5中的内容显示模式确定器51的功能与第二示例性实施例中所示的内容显示模式确定器41的功能不同。内容显示系统与根据第二示例性实施例的系统的不同在于其包括代替分割图案累积器34的叠加图案累积器35。在第三示例性实施例中，在内容数据库3中累积的信息与在第二示例性实施例中在内容数据库3累积的信息相同。用户终端1的功能与第二示例性实施例中的用户终端1的功能相同，以及内容分发服务器5的内容转换器22和内容分发器23的功能与在第二示例性实施例中的相同。
叠加图案累积器35用来在显示屏幕上累积多个叠加图案，所述叠加图案表示用于在视频数据上叠加并显示伴随数据的图案。具体地讲，通过诸如磁盘驱动器、光盘驱动器等数据库装置来执行叠加图案累积器35。叠加图案累积器35累积用于在视频图像的上、下、左和右侧区域叠加伴随数据的图案和用于在垂直或水平写入模式中叠加伴随数据的图案，作为叠加图案。叠加图案累积器35还累积用于叠加伴随数据的各个区域的矩形区域，作为叠加图案。
内容显示模式确定器51具有通过通信网络40从用户终端1接收请求信息1A、显示屏幕信息1B和重要性平衡信息1C的功能，和根据由用户终端1给出(接收)的请求信息1A、显示屏幕信息1B和重要性平衡信息1C以及元数据确定用于已经被请求分发的内容的显示模式的功能。在本示例性实施例中，内容显示模式确定器51确定用于在用户终端1上显示被请求的视频图像(用于分发)和与视频图像相对应的伴随数据的显示模式。内容显示模式确定器51还具有产生表示所确定的显示模式的显示模式确定信息51A并将显示模式确定信息51A提供给内容转换器22的功能。
内容重要性是指在用户想要分发的视频数据和伴随数据之间的重要性平衡。根据本示例性实施例，具体地讲，内容显示模式确定器51采用在叠加图案累积器35中准备的每个叠加图案，在显示屏幕上将伴随数据叠加到每个视频区间上，并在叠加伴随数据后，考虑到内容重要性，确定由显示屏幕上显示的视频图像和伴随数据构成的整个内容的评估值。然后，内容显示模式确定器51确定在每一视频区间提供最佳评估值(例如最大评估值)的叠加图案，作为用于叠加伴随数据的叠加图案。
显示模式确定信息51A包括视频转换参数、伴随数据转换参数和布局信息。视频转换参数是用于转换视频数据以便适应所确定的显示模式的参数。伴随数据转换参数是用于转换伴随数据以便适于所确定的显示模式的参数。布局信息是描述关于视频图像和伴随数据排列布局(即，叠加图案)的信息。可以预先从内容产生器而不是由用户提供(即从用户终端1)接收视频数据和伴随数据之间的重要性平衡。
以下将描述根据第三示例性实施例的内容显示系统的操作。首先，以下将描述内容分发服务器5响应于来自用户终端1的请求来分发内容的操作。
当用户需要观看内容时，用户操作用户终端1来输入请求以便分发用户想观看的内容。根据用户的动作，用户终端1通过通信网络40将请求信息1A、显示屏幕信息1B和重要性平衡信息1C发送到内容分发服务器5。内容分发服务器5的内容显示模式确定器51根据已经接收到的请求信息1A、显示屏幕信息1B和重要性平衡信息1C、以及在内容数据库3中累积的元数据来确定用于内容的显示模式。内容转换器22产生转换后的内容的处理和内容分发器分发转换后的内容的处理与图3所示的从步骤S13到步骤S16的处理相同。
以下将描述内容显示模式确定器51确定内容的显示模式的操作。图9表示在第三示例性实施例中内容显示模式确定器确定用于内容的显示模式的处理。
与第一示例性实施例相同，内容显示模式确定器51根据所接收的请求信息1A，从内容数据库3提取被请求分发的内容的视频数据和被请求分发的内容的伴随数据，内容显示模式确定器51还从内容数据库3提取与被请求分发的内容相对应的元数据。内容显示模式确定器51根据所提取的元数据来识别包括在视频数据中的每一个视频区间。
然后，在步骤S101b中，内容显示模式确定器51根据视频区间的识别结果指定要显示的视频区间。根据本示例性实施例，假设预先提供n条叠加图案，并且叠加图案累积器35累积该n条叠加图案。在步骤S102b中，内容显示模式确定器51将规定的变量k初始化为k＝1，并且将内容值的最大值Vmax初始化为Vmax＝0。
然后，在步骤S103b中，内容显示模式确定器51从叠加图案累积器35读取第k个叠加图案。在步骤S104b中，根据所读取的叠加图案，内容显示模式确定器51将伴随数据叠加到要被处理的视频区间的视频图像上。然后，在步骤S105b中，内容显示模式确定器51将与视频区间相对应的伴随数据转换为最佳格式，并采用预定的评估函数，计算当被转换的伴随数据被显示在伴随数据显示区域时伴随数据具有的值(最大值)。一般来讲，随着在显示屏幕上显示的伴随数据的项数的减少，可以被显示的信息量也被减少，而被需要用来显示伴随数据的页数也减少，从而使用户更容易地观看伴随数据。因此，内容显示模式确定器51采用具有表示被显示的伴随数据的项数的变量的评估函数、这些项的重要性和被需要用来显示伴随数据的页数，来确定转换后的伴随数据所具有的值。
在步骤S106b中，内容显示模式确定器51采用预定的评估函数，将视频图像转换为用于视频显示区域的最佳格式，并计算当在视频显示区域显示转换后的视频图像时视频图像所具有的值(最大值)。在这种情况下，内容显示模式确定器51采用评估函数，确定考虑到由叠加的伴随数据引起的值的减小的视频图像值。例如，如果伴随数据要被叠加到不干扰视频图像的区域上(诸如天空)，则内容显示模式确定器51确定视频图像的值从而使该值增大。相反，如果伴随数据要被叠加到尤其干扰视频图像的主要特征的表面上，则内容显示模式确定器51确定视频图像的值从而使该值减小。
然后，在步骤S107b中，内容显示模式确定器51采用预定的评估函数，根据转换后的视频图像和伴随数据计算在显示屏幕上显示的整个内容(即，视频图像和伴随数据)的值V。在本示例性实施例中，内容显示模式确定器51采用其中根据内容重要性信息1C来加权视频图像和伴随数据的值的评估函数，计算整个内容的值V。
在步骤S108b中，内容显示模式确定器51确定整个内容的确定值V是否大于内容值的最大值Vmax。如果内容显示模式确定器51判定整个内容的所计算的值V大于内容值的最大值Vmax，则在步骤109b中，内容显示模式确定器51将V置于Vmax，从而更新Vmax的值，对当前要处理的第k个叠加图案，产生用于实现视频显示区域中的最佳显示的视频转换参数和用于实现伴随数据显示区域中的最佳显示的伴随数据转换参数，并将第k个叠加图案和已经产生的视频转换参数和伴随数据转换参数保存在诸如存储器等存储装置中。
在更新Vmax的值并保存叠加图案、视频转换参数和伴随数据转换参数后，在步骤S110b，内容显示模式确定器51使变量k加1。如果在步骤S108b中内容显示模式确定器51判定整个内容的值V不大于内容值的最大值Vmax，则内容显示模式确定器51跳过步骤S109b中的处理，和使变量k加1。
在步骤S111b，内容显示模式确定器51确定变量k的值是否大于n。如果内容显示模式确定器51判定变量k的值大于n，则内容显示模式确定器51判定已经完成对所有叠加图案的处理，并进行到步骤S112b的处理。如果内容显示模式确定器51判定变量k的值不大于n，则返回到步骤S103b，并重复执行从步骤S103b到步骤S110b的处理。也就是说，内容显示模式确定器51判定存在要处理的叠加图案，读取在叠加图案累积器34中累积的下一个叠加图案，并当采用所读取的叠加图案时评估内容值。
如果在步骤S111b中内容显示模式确定器51确定变量k的值大于n，则在步骤S112b中，内容显示模式确定器51提取并输出在存储装置当前存储的叠加图案、视频转换参数和伴随数据转换参数。具体地讲，内容显示模式确定器51在内容值V的最大值时将叠加图案、视频转换参数和伴随数据转换参数输出到内容转换器22。在这种情况下，内容显示模式确定器51采用内容值V的最大值时的叠加图案，产生表示在显示屏幕上的排列布局的布局信息，并将包括视频转换参数、伴随数据转换参数和布局信息的显示模式确定信息51A提供给内容转换器22。
如上所述，内容显示模式确定器51执行从步骤S101b到步骤S112b的处理，从而改变叠加图案，即，使k加1(k＝k+1)，从而用于对所有叠加图案计算整个内容的值。然后，内容显示模式确定器51采用整个内容的最大值的叠加图案作为用于视频图像和伴随数据的排列布局。
内容显示模式确定器51对在被请求分发的视频数据中所包括的每个视频区间重复上述处理，并对每个视频区间的所有叠加图案计算内容值，以便确定排列布局和输出显示模式确定信息51A。
如上所述，根据第二示例性实施例，内容分发服务器5根据相对于在视频数据中所包括的每个视频区间的视频图像和相应的伴随数据的内容，自适应地确定用于内容的显示模式。内容分发服务器5根据所确定显示模式向用户终端1分发被转换的内容。用户终端1根据所分发的内容动态地改变每一视频区间的视频显示区域和伴随数据显示区域，并显示它们。因此，根据本示例性实施例，自动确定每一视频区间的用于内容的显示模式，和根据显示屏幕和内容的配置在布局中显示视频图像和伴随数据。因此，可以根据显示屏幕和内容的配置在布局中显示视频图像和伴随数据，而不需要内容产生器来对各个信息(即，视频图像和伴随数据)设计每一显示屏幕的屏幕配置。
根据第三示例性实施例，由于可以根据视频图像和伴随数据的素材来在每一视频区间自适应地确定和显示用于视频图像和伴随数据的显示模式，因此，可以实现能够有效地呈现视频数据和伴随数据的内容显示系统。根据本示例性实施例，内容分发服务器5根据满足视频数据和伴随数据的观看者一方所需的条件的终端的显示屏幕，自适应地确定用于内容的显示模式。因此，可以实现能够在任意需要的显示屏幕上有效地呈现视频数据和伴随数据的内容显示系统。另外，根据本示例性实施例，由于内容分发服务器5根据满足视频数据和伴随数据的观看者一方所需的条件的重要性平衡，自适应地确定用于内容的显示模式，所以可以实现有效地呈现与用户的品位匹配的视频数据和伴随数据的内容显示系统。
第四示例性实施例
以下将描述根据本发明的第四示例性实施例的内容显示系统。图11表示根据第四示例性实施例的内容显示系统的结构。在该内容显示系统中，包括在内容分发服务器6中的内容显示模式确定器61的功能与第二示例性实施例中所示的内容显示模式确定器41的功能不同。内容显示系统与根据第二示例性实施例的系统的不同在于：除了包括分割图案累积器34外，还包括叠加图案累积器35。在第四示例性实施例中，在内容数据库3和分割图案累积器34中累积的信息与在第二示例性实施例中在内容数据库3和分割图案累积器34中累积的信息相同。用户终端1的功能与第二示例性实施例中的用户终端1的功能相同，以及内容分发服务器6的内容转换器22和内容分发器23的功能与在第二示例性实施例中的相同。
叠加图案累积器35用来在显示屏幕上累积表示用于在视频数据上叠加并显示伴随数据的图案的多个叠加图案。具体地讲，叠加图案累积器35累积用于在视频图像的上、下、左和右侧区域叠加伴随数据的图案和用于在垂直或水平写入模式中叠加伴随数据的图案，作为叠加图案。叠加图案累积器35还累积用于叠加伴随数据的各个区域的矩形区域，作为叠加图案。
内容显示模式确定器61具有通过通信网络40从用户终端1接收请求信息1A、显示屏幕信息1B和重要性平衡信息1C的功能，以及根据从用户终端1提供(接收)的请求信息1A、显示屏幕信息1B和重要性平衡信息1C以及元数据确定用于已经被请求分发的内容的显示模式的功能。在本示例性实施例中，在每一视频区间，内容显示模式确定器61确定用于在用户终端1上显示被请求的视频图像(用于分发)和与视频图像相对应的伴随数据的显示模式。内容显示模式确定器61还具有产生表示确定的显示模式的显示模式确定信息61A并将显示模式确定信息61A提供给内容转换器22的功能。
内容重要性是指在用户想要分发的视频数据和伴随数据之间的重要性平衡。在本示例性实施例中，具体地讲，内容显示模式确定器61采用在分割图案累积器34中准备的每个分割图案，在每一视频区间将显示屏幕划分为视频显示区域和伴随数据显示区域，并在划分显示屏幕后，考虑到内容重要性，确定由在视频显示区域显示的视频图像和在伴随数据显示区域显示的伴随数据构成的整个内容的评估值。内容显示模式确定器61在每一视频区间将提供最佳评估值例如最大评估值的分割图案确定为用于划分显示屏幕的分割图案。内容显示模式确定器61采用在叠加图案累积器35中准备的每个叠加图案，在显示屏幕上将伴随数据叠加到每个视频区间上，并在叠加伴随数据后，考虑到内容重要性，确定由在显示屏幕上视频图像和伴随数据构成的整个内容的评估值。然后，内容显示模式确定器61在每一视频区间将提供最佳评估值(例如最大评估值)的叠加图案确定为用于叠加伴随数据的叠加图案。
采用具有最佳评估值的分割图案作为最佳分割图案和具有最佳评估值的叠加图案作为最佳叠加图案，内容显示模式确定器61相互比较最佳分割图案的评估值和最佳叠加图案的评估值，并选择将提供最佳评估值例如较大值的最佳分割图案和最佳叠加图案之一作为用于显示视频图像和伴随数据的图案。
显示模式确定信息61A包括视频转换参数、伴随数据转换参数和布局信息。视频转换参数是用于转换视频数据以便适应所确定的显示模式的参数。伴随数据转换参数是用于转换伴随数据以便适于所确定的显示模式的参数。布局信息是描述关于视频图像和伴随数据即分割图案的布局的信息。可以预先从内容产生器而不是由用户提供(即从用户终端1接收)在视频数据和伴随数据之间的重要性平衡。
以下将描述根据第四示例性实施例的内容显示系统的操作。首先，以下将描述内容分发服务器6响应于来自用户终端1的请求来分发内容的操作。
当用户需要观看内容时，用户操作用户终端1来输入请求以便分发用户想观看的内容。根据用户的动作，用户终端1通过通信网络40将请求信息1A、显示屏幕信息1B和重要性平衡信息1C发送到内容分发服务器6。内容分发服务器6的内容显示模式确定器61根据已经接收到的请求信息1A、显示屏幕信息1B和重要性平衡信息1C、以及在内容数据库3中累积的元数据来确定用于内容的显示模式。内容转换器22产生转换后的内容的处理和内容分发器分发转换后的内容的处理与图3所示的从步骤S13到步骤S16的处理相同。
以下将描述内容显示模式确定器61确定用于内容的显示模式的操作。图11表示在第四示例性实施例中内容显示模式确定器确定用于内容的显示模式的处理。
与第一示例性实施例相同，内容显示模式确定器61根据所接收的请求信息1A来从内容数据库3提取被请求分发的内容的视频数据和被请求分发的内容的每一个伴随数据，内容显示模式确定器61还从内容数据库3提取与被请求分发的内容相对应的每一个元数据。内容显示模式确定器61限据所提取的元数据识别包括在视频数据中的每个视频区间。
接下来，在步骤S101c中，内容显示模式确定器61根据视频区间的识别结果指定要显示的视频区间。在本示例性实施例中，假设预先提供n条叠加图案，并且叠加图案累积器34累积该n条分割图案。在步骤S102a中，内容显示模式确定器61将规定的变量k初始化为k＝1，并将内容值的最大值Vmax初始化为Vmax＝0。
在步骤S103a中，内容显示模式确定器61从分割图案累积器34读取第k个分割图案。在步骤S104a中，根据所读取的分割图案，内容显示模式确定器61相对于要被处理的视频区间将显示屏幕划分为视频显示区域和伴随数据显示区域。然后，在步骤S105a中，内容显示模式确定器61将视频图像转换为用于视频显示区域的最佳格式，并采用预定的评估函数计算当被转换的视频图像被显示在视频显示区域时视频图像所具有的值(最大值)。一般来讲，随着视频图像的减小，观看视频图像变得更难。因此，内容显示模式确定器61采用评估函数确定视频图像的值，以便随着视频图像的缩小该值也变得更小。类似地，在步骤S106a中，内容显示模式确定器61将与视频区间相对应的伴随数据转换为用于伴随数据显示区域的最佳格式，并采用预定的评估函数计算当在伴随数据显示区域中显示转换后的伴随数据时伴随数据具有的值(最大值)。一般来讲，随着在显示屏幕上显示的伴随数据的项数的减少，可以被显示的信息量也被减少，而被需要用来显示伴随数据的页数也被减少，从而使用户更容易地观看伴随数据。因此，内容显示模式确定器61采用具有表示被显示的伴随数据的项数的变量的评估函数、这些项的重要性和被需要用来显示伴随数据的页数来确定转换后的伴随数据具有的值。
然后，在步骤S107a中，内容显示模式确定器61采用预定的评估函数，根据转换后的视频图像和伴随数据计算在显示屏幕上显示的整个内容(即，视频图像和伴随数据)的值V。在本示例性实施例中，内容显示模式确定器51采用根据内容重要性信息1C加权视频图像和伴随数据的值的评估函数来计算整个内容的值V。同时，根据最简单的方法，例如，内容显示模式确定器61根据内容重要性信息1C加权并增加视频图像和伴随数据的值。
在步骤S108a中，内容显示模式确定器61确定整个内容的确定值V是否大于内容值的最大值Vmax。如果内容显示模式确定器61判定整个内容的所计算的值V大于内容值的最大值Vmax，则在步骤109a中，内容显示模式确定器51将V置于Vmax，从而更新Vmax的值，对当前要处理的第k个叠加图案产生用于实现在视频显示区域中的最佳显示的视频转换参数和用于实现在伴随数据显示区域中的最佳显示的伴随数据转换参数，并将第k个叠加图案和已经产生的视频转换参数和伴随数据转换参数保存在诸如存储器等存储装置中。
在更新Vmax的值并保存分割图案、视频转换参数和伴随数据转换参数后，在步骤S110b，内容显示模式确定器61使变量k加1。如果在步骤S108a中内容显示模式确定器61判定整个内容的值V不大于内容值的最大值Vmax，则内容显示模式确定器61跳过步骤S109a中的处理，并使变量k加1。
接下来，在步骤S111a，内容显示模式确定器61确定变量k的值是否大于n。如果内容显示模式确定器61判定变量k的值大于n，则内容显示模式确定器61判定已经完成对所有分割图案的处理，并进行到步骤S112a的处理。如果内容显示模式确定器61判定变量k的值不大于n，则返回到步骤S103a，并重复执行从步骤S103到步骤S110a的处理。也就是说，内容显示模式确定器51判定存在要处理的分割图案，读取在分割图案累积器34中累积的下一个分割图案，并当采用所读取的分割图案时评估内容值。
如果在步骤S111a中内容显示模式确定器61判定变量k的值大于n，则内容显示模式确定器61提取并输出在存储装置当前存储的分割图案、视频转换参数和伴随数据转换参数。具体地讲，内容显示模式确定器61在内容值V的最大值时输出分割图案、视频转换参数和伴随数据转换参数。
如上所述，内容显示模式确定器61执行从步骤S102a到步骤S112a的处理，从而改变分割图案，即，使k加1(k＝k+1)，从而用于对所有分割图案计算整个内容的值。然后，内容显示模式确定器61采用整个内容的最大值的分割图案作为用于视频图像和伴随数据的排列布局。
另外，在本示例性实施例中，假设预先提供n条叠加图案，并且叠加图案累积器35累积该n条叠加图案。在步骤S102b中，内容显示模式确定器61初始化用于处理每个叠加图案的各个变量和参数。在本示例性实施例中，内容显示模式确定器61使规定的变量1初始化为1＝1和规定值Wmax初始化为Wmax＝0。变量1是指示在当前由内容显示模式确定器61处理叠加图案累积器61中累积的哪一个叠加图案的变量。值Wmax表示由内容显示模式确定器61对各个叠加图案确定的内容值的最大值。
然后，在步骤S103b中，内容显示模式确定器61从叠加图案累积器35读取第1个叠加图案。在步骤S104b中，根据所读取的叠加图案，内容显示模式确定器61以要被处理的视频区间将伴随数据叠加到视频图像上。然后，在步骤S105b中，内容显示模式确定器61将与视频图像相对应的伴随数据转换为最佳格式，并采用预定的评估函数计算当被转换的伴随数据被显示在伴随数据显示区域时伴随数据具有的值(最大值)。一般来讲，随着在显示屏幕上显示的伴随数据的项数的减少，可以被显示的信息量也被减少，而被需要用来显示伴随数据的页数也被减少，从而使用户更容易地观看伴随数据。因此，内容显示模式确定器61采用具有表示被显示的伴随数据的项数的变量的评估函数、这些项的重要性和被需要用来显示伴随数据的页数来确定转换后的伴随数据具有的值。
在步骤S106b中，内容显示模式确定器61采用预定的评估函数，将视频图像转换为用于视频显示区域的最佳格式，并计算当在视频显示区域显示转换后的视频图像时视频图像具有的值(最大值)。在这种情况下，内容显示模式确定器61采用评估函数确定考虑到由叠加的伴随数据引起的值的减小的视频图像值。例如，如果伴随数据要被叠加到诸如天空之类不会干扰视频图像的区域上，则内容显示模式确定器61确定视频图像的值从而使该值增大。相反，如果伴随数据要被叠加到尤其干扰视频图像的主要特征的表面上，则内容显示模式确定器61确定视频图像的值从而使该值减小。
在步骤S107b中，内容显示模式确定器61采用预定的评估函数，根据转换后的视频图像和伴随数据计算在显示屏幕上显示的整个内容(即，视频图像和伴随数据)的值W。在本示例性实施例中，内容显示模式确定器61采用其中根据内容重要性信息1C加权视频图像和伴随数据的值的评估函数来计算整个内容的值W。
在步骤S108b中，内容显示模式确定器61确定整个内容的确定值W是否大于内容值的最大值Wmax。如果内容显示模式确定器61判定整个内容的所计算的值W大于内容值的最大值Wmax，则在步骤109b中，内容显示模式确定器61将W置于Wmax，从而更新Wmax的值，对当前要处理的第1个叠加图案产生用于实现在视频显示区域中的最佳显示的视频转换参数和用于实现在伴随数据显示区域中的最佳显示的伴随数据转换参数，并将第1个叠加图案和已经产生的视频转换参数和伴随数据转换参数保存在诸如存储器等存储装置中。
在更新Wmax的值并保存分割图案、视频转换参数和伴随数据转换参数后，在步骤S110b，内容显示模式确定器61使变量k加1。在步骤S108b中，如果内容显示模式确定器61判定整个内容的值W不大于内容值的最大值Wmax，则内容显示模式确定器61跳过步骤S109b中的处理，和使变量k加1。
接下来，在步骤S111b，内容显示模式确定器61确定变量1的值是否大于m。如果内容显示模式确定器61判定变量1的值大于m，则内容显示模式确定器61判定已经完成对所有分割图案的处理，并进行到步骤S112b的处理。如果内容显示模式确定器61判定变量1的值不大于m，则返回到步骤S103b，并重复执行从步骤S103b到步骤S110b的处理。也就是说，内容显示模式确定器61判定存在要处理的叠加图案，读取在叠加图案累积器54中累积的下一个叠加图案，和当采用所读取的叠加图案时评估内容值。
如果在步骤S111b中内容显示模式确定器61确定变量1的值大于m，则在步骤S112b中，内容显示模式确定器61提取并输出在存储装置当前存储的叠加图案、视频转换参数和伴随数据转换参数。具体地讲，内容显示模式确定器61在内容值V的最大值时输出分割图案、视频转换参数和伴随数据转换参数。
如上所述，内容显示模式确定器61执行从步骤S102b到步骤S112b的处理，从而改变叠加图案，即，使k加1(k＝k+1)，从而用于对所有叠加图案计算整个内容的值。然后，内容显示模式确定器61采用整个内容的最大值的叠加图案作为用于视频图像和伴随数据的排列布局。
在确定采用分割图案和叠加图案作为用于视频图像和伴随数据的排列布局后，内容显示模式确定器61相互比较与在步骤S112中使用的分割图案(即最佳分割图案)相对应的评估值Vmax和在步骤S112b中使用的叠加图案(即最佳叠加图案)相对应的评估值Wmax，并最终采用具有较高评估值的最佳分割图案和最佳叠加图案之一作为用于显示视频图像和伴随数据的图案。在本示例性实施例中，具体地讲，内容显示模式确定器61在步骤S113c确定评估值Vmax是否大于评估值Wmax。如果内容显示模式确定器61判定评估值Vmax大于评估值Wmax，则在步骤S114c，内容显示模式确定器61将内容值V最大时的分割图案、视频转换参数和伴随数据转换参数提供给内容转换器22。在这种情况下，内容显示模式确定器61采用内容值V最大时的分割图案来产生表示显示屏幕上的排列布局的布局信息，并提供包括视频转换参数、伴随数据转换参数和布局信息的显示模式确定信息61A提供给内容转换器22。如果内容显示模式确定器61在步骤S113c判定评估值Vmax不大于评估值Wmax，则在步骤S115c，内容显示模式确定器61将内容值V最大时的叠加图案、视频转换参数和伴随数据转换参数提供给内容转换器22。在这种情况下，内容显示模式确定器61采用内容值V最大时的叠加图案来产生表示显示屏幕上的排列布局的布局信息，并提供包括视频转换参数、伴随数据转换参数和布局信息的显示模式确定信息61A提供给内容转换器22。
内容显示模式确定器61对在被请求分发的视频数据中所包括的每个视频区间重复上述处理。内容显示模式确定器61对每个视频区间的所有分割图案和叠加图案计算内容值，以便确定排列布局和输出显示模式确定信息61A。
如上所述，根据第四示例性实施例，内容分发服务器6根据相对于在视频数据中所包括的每个视频区间的视频图像和相应的伴随数据的素材，自适应地确定用于内容的显示模式。内容分发服务器6根据所确定显示模式向用户终端1分发被转换的内容。用户终端1根据所分发的内容动态地改变每一视频区间的视频显示区域和伴随数据显示区域，并显示它们。因此，根据本示例性实施例，自动确定每一视频区间的用于内容的显示模式，和根据显示屏幕和内容的配置在布局中显示视频图像和伴随数据。因此，可以根据显示屏幕和内容的配置在布局中显示视频图像和伴随数据，而不需要内容产生器来对各个信息(即，视频图像和伴随数据)设计每一显示屏幕的屏幕配置。
根据第四示例性实施例，由于可以根据视频图像和伴随数据的素材来在每一视频区间自适应地确定和显示用于视频图像和伴随数据的显示模式，因此，可以实现能够有效地呈现视频数据和伴随数据的内容显示系统。根据本示例性实施例，内容分发服务器6根据满足视频数据和伴随数据的观看者一方所需的条件的终端的显示屏幕，自适应地确定用于内容的显示模式。因此，可以实现能够在任意需要的显示屏幕上有效地呈现视频数据和伴随数据的内容显示系统。另外，根据本示例性实施例，由于内容分发服务器6根据满足视频数据和伴随数据的观看者一方所需的条件的重要性平衡，自适应地确定用于内容的显示模式，所以可以实现有效地呈现与用户的品位匹配的视频数据和伴随数据的内容显示系统。
第五示例性实施例
以下将描述根据本发明的第五示例性实施例的内容显示系统。采用根据上述第一到第四示例性实施例的内容显示系统，内容分发服务器根据来自用户终端1的请求转换内容并将转换后的内容分发给用户终端1。根据第五示例性实施例，配置内容显示系统允许终端直接接收用户所需的内容并转换用户终端或者用户主服务器上的内容。在本示例性实施例中，用户终端通过因特网下载内容本身，并转换和显示下载的内容。作为选择，用户终端具有用于预先累积内容的数据库，并转换和显示所累积的内容。图12表示根据第五示例性实施例的内容显示系统。
如图12所示，在根据本示例性实施例的内容显示系统包括：用户终端7；诸如键盘、鼠标等输入装置8；诸如显示装置、液晶显示器等显示器9；内容数据库3；和分割图案累积器34。
内容数据库3用来累积由内容产生器产生的信息，并包括视频数据累积器31；视频伴随数据累积器32；和元数据累积器33。视频数据累积器31存储要在屏幕上显示的视频数据。视频伴随数据累积器32存储作为要与视频图像一起显示的信息的伴随数据。元数据累积器33存储用于确定内容显示模式的元数据。
分割图案累积器34累积表示用于将显示屏幕划分为视频显示区域和伴随数据显示区域的图案的多个分割图案。
用户终端7是由用户使用的终端，尤其是诸如个人计算机、移动电话、PDA等信息处理终端。用户终端1不限于由用户使用的信息处理终端，而可以是具有用于显示内容的显示器的另一内容显示终端。例如，用户终端1可以是电视接收机、具有电子公告板的终端、车载导航终端等等。如图12所示，用户终端7包括内容显示模式确定器71和内容转换器72。
内容显示模式确定器71具有根据用户的动作从输入装置8接收请求信息1a和显示屏幕信息1B的功能，通过执行与第一示例性实施例中的内容显示模式确定器21相同的处理、采用输入装置8提供(施加)的请求信息1A和显示屏幕信息1B确定用于内容的显示模式的功能，以及产生表示所确定的显示模式的显示模式确定信息71A和将显示模式确定信息71A提供给内容转换器72的功能。
如图12所示，内容转换器72包括视频数据转换器721、伴随数据转换器722和内容排列单元723。视频数据转换器721、伴随数据转换器722和内容排列单元723的功能与第一示例性实施例中的这些部件的功能相同。在本示例性实施例中，转换后的内容未通过内容分发服务器被分发到用户终端，而是内容转换器72控制显示器9根据转换后的内容来显示视频图像和伴随数据。
在第五示例性实施例中，用户终端7的存储装置(未示出)存储用于显示包括视频数据和伴随数据的内容的各种程序。例如，用户终端7的存储装置存储用于使计算机执行用于在每一视频区间确定显示内容中包括的视频数据和伴随数据的显示模式的处理、用于在每一视频区间产生根据所确定的显示模式配置的视频数据和伴随数据的内容的处理、以及用于显示包括配置后的视频数据和伴随数据的内容的处理的内容显示程序。
在内容显示系统中，内容显示模式确定器71从输入装置8除了接收请求信息1A和显示屏幕信息1B外，还接收重要性平衡信息1C。在这种情况下，内容显示模式确定器71除了根据请求信息1A和显示屏幕信息1B外还根据重要性平衡信息1C确定用于内容的显示模式。
内容显示系统除了包括分割图案累积器34外，还包括叠加图案累积器35。在这种情况下，内容显示模式确定器71除了采用在分割图案累积器34中累积的分割图案外，还可以采用在叠加图案累积器35中累积的叠加图案确定用于内容的显示模式。
内容显示模式确定器71采用第二到第四示例性实施例之一所示的内容显示模式确定处理、而不是第一示例性实施例所示的内容显示模式确定处理来确定用于内容的显示模式。
根据第五示例性实施例，用户终端7能够采用第一到第四示例性实施例之一来确定内容显示模式和转换的内容。
第六示例性实施例
以下将描述根据本发明的第六示例性实施例的内容显示系统。采用根据上述第一到第四示例性实施例的内容显示系统，内容分发服务器确定用于内容的显示模式，并根据所确定的显示模式将转换后的内容分发给用户终端1。根据第六示例性实施例，配置内容显示系统以便分发服务器将未被转换的内容分发给用户终端，并且用户终端根据所确定的显示模式产生并显示转换后的内容。图13表示根据第六示例性实施例的内容显示系统的结构。
如图13所示，在根据本示例性实施例的内容显示系统与第一示例性实施例的内容显示系统的不同在于内容分发服务器80不具有内容转换器，而用户终端90具有内容转换器92。在本示例性实施例中，内容分发服务器80的内容分发器83的功能与第一示例性实施例的内容分发器23的功能不同。在第六示例性实施例中，在内容数据库3和分割图案累积器34中累积的信息与在第一示例性实施例中的内容数据库和分割图案累积器中累积的信息相同。内容分发服务器80的内容显示模式确定器81与第一示例性实施例所示的内容分发服务器21的功能相同。
内容分发器83具有以下功能：当内容显示模式确定器81确定用于内容的显示模式时，根据请求信息1A从内容数据库3提取被请求分发的内容(即视频数据和伴随数据)，以及通过通信网络40，将所提取的内容和由内容显示模式确定器81产生的显示模式确定信息81A发送给用户终端90。
用户终端90的内容转换器92具有通过通信网络40从内容分发服务器80接收显示模式确定信息81A和内容的功能。如图13所示，内容转换器92包括视频数据转换器921、伴随数据转换器922和内容排列单元923。
视频数据转换器921具有采用显示模式确定信息81A中所包括的视频转换参数来转换所接收的内容中所包括的视频数据的功能。伴随数据转换器922具有采用显示模式确定信息81A中所包括的伴随数据转换参数来转换所接收的内容中所包括的伴随数据的功能。内容排列单元923具有以下功能：产生由通过视频数据转换器转换的视频数据和通过伴随数据转换器922转换的伴随数据构成的转换后的内容，根据在显示模式确定信息81A中所包括的布局信息排列布局。内容排列单元923还具有根据转换后的内容在诸如液晶显示器等显示器(未示出)显示视频图像和伴随数据的功能。
以下将描述根据第六示例性实施例的内容显示系统的操作。图14说明了用于内容分发服务器响应于来自用户终端的请求来分发内容的处理。
首先，在步骤S21，根据图3所示的步骤S11中相同的处理，用户终端90通过通信网络40将请求信息1A和显示屏幕信息1B发送到内容分发服务器80。在步骤S22，根据图3所示的步骤S12中的相同的处理，内容分发服务器80的内容显示模式确定器81，对于每一视频区间确定用于内容的显示模式。
在确定用于内容的显示模式后，在步骤S23，内容分发器83根据请求信息1A从内容数据库3提取被请求分发的内容的视频数据，并在步骤S24从内容数据库3提取被请求分发的内容的伴随数据。
然后，在步骤S25，内容分发器83通过通信网络40将所提取的视频数据和伴随数据，以及由内容显示模式确定器81产生的显示模式确定信息81A发送到用户终端90。除非另外说明，内容分发器83分发未被转换的内容(即视频数据和伴随数据)和用于视频图像和伴随数据的配置条件，而不是分发转换后的内容。
用户终端90通过通信网络从内容分发服务器80接收内容并显示模式确定信息81A。然后，在步骤S26，内容转换器92根据所接收的内容和显示模式确定信息81A，根据由显示模式确定信息81A表示的排列条件来转换和配置视频数据和伴随数据。然后，内容转换器92根据产生的转换后的内容控制显示器，以便显示视频图像和伴随数据。
在本示例性实施例中，内容显示模式确定器81除了从用户终端90接收请求信息1A和显示屏幕信息1B外，还从用户终端90接收重要性平衡信息1C。在这种情况下，内容显示模式确定器81除了根据请求信息1A和显示屏幕信息1B以外，还根据重要性平衡信息1C确定用于内容的显示模式。
内容显示系统除了包括分割图案累积器34外，还包括叠加图案累积器35。在这种情况下，内容显示模式确定器81除了采用在分割图案累积器34中累积的分割图案外，还可以采用在叠加图案累积器35中累积的叠加图案确定用于内容的显示模式。
另外，内容显示模式确定器81采用第二到第四示例性实施例之一所示的内容显示模式确定处理、而不是第一示例性实施例所示的内容显示模式确定处理来确定用于内容的显示模式。
在上述第一到第六示例性实施例中，根据显示模式确定处理从内容数据库提取元数据。在本示例性实施例中，内容显示模式确定器可以实时产生用于每个视频区间的元数据和与每个视频区间相对应的用于伴随数据的元数据。例如，内容显示模式确定器可以具有用于产生与要被显示的内容相对应的元数据(即视频元数据和伴随元数据)的元数据产生器，并可以根据由元数据产生器产生的元数据确定用于要被显示的内容的显示模式。例如，通过根据程序操作的服务器的CPU来实现元数据产生器。
例如，内容显示模式确定器可以从视频数据本身获得(确定)视频分辨率作为用于整个视频数据的元数据。
内容显示模式确定器可以通过从正在再现的视频数据自动实时检测视频图像中的剪辑变化(cut change)来实时提取视频区间作为元数据。在这种情况下，每当内容显示模式确定器检测到剪辑变化时，内容显示模式确定器可以采用所检测到的剪辑变化作为新的镜头的起始点，并采用所检测到的剪辑变化之前的帧作为前一帧的结束点。在此可以采用在UllasGarigi，Rangachar Kasturi，Susan H.Strayer，“PerformanceCharacterization of Video-Shot-Change Detection Methods”，IEEEtransaction on Circuits and Systems for Video Technology，Vol.10，No.1，中于2000年2月公开的剪辑变化检测方法。
作为选择，内容显示模式确定器可以通过从视频图像自动提取诸如包括外观的区域等注意区域来产生注意区域信息作为用于每个视频区间的元数据。在此可以采用在A.Mohan，C.Papageorgiou，T.Poggio，“Example-Based Object Detection in Images by Components”， IEEE Trans.onPAMI，Vol.23，No.4，pp.349-361，2001中公开的提取注意区域的方法。
内容显示模式确定器可以通过计算在伴随数据中所包括的显示项目和每个项目的特征来自动产生用于在每个视频区间的伴随数据的元数据。
已经以总是存在与每个视频区间相对应的伴随数据为前提描述了第一到第六示例性实施例。然而，对于所有视频区间并不一定存在伴随数据。例如，如果视频数据包括诸如在节目之间的电视广告的视频图像，则在电视广告的视频区间中可以不存在伴随数据。如果在视频区间中不存在伴随数据，则内容显示模式确定器可以确定用于只显示与视频区间相对应的视频图像的显示模式。
示例：
以下采用内容显示系统的具体示例来说明根据本发明的内容显示系统的操作。在上述内容显示系统中，准备包括多个话题的新节目作为视频数据并预先累积在内容数据库3中，准备表示新闻话题的标题的文本和话题的细节并预先累积在内容数据库3中。在内容数据库3中预先累积视频图像的分辨率作为视频元数据，和预先将新闻话题的标题、详细文本的特征的数量和每个话题的重要性累积并保存在内容数据库3中。内容分发服务器具有显示用户终端1请求的(用于分发)视频数据和伴随数据，以便与用户终端的显示能力相匹配的功能。
本发明的发明人进行了试验，该试验用于通过访问内容分发服务器和请求具有包括电视接收机、移动电话等的多个终端的新闻节目来在显示屏幕上显示内容。发明者还进行了以下说明的三种类型的重要性平衡的试验，用作视频图像和伴随数据之间的重要性平衡。
1)首先，进行同时使视频图像和伴随数据的重要性一致的试验。
2)假设用户对新闻话题感兴趣，则在其中显示播音员的视频区间中显示话题和视频图像的重要性的同时进行提高视频图像的重要性的试验。
3)假设用户是某一播音员的爱好者，则进行在其中显示播音员的视频图像中提高视频图像的重要性的试验，并假设采用特种能够可以快速理解新闻话题，则在话题正在被显示的同时进行提高伴随数据的重要性。
图15和16是表示采用内容显示系统产生的试验结果。图15表示当电视接收机请求新闻节目的分发时根据所确定的显示模式显示的图像。图16表示当移动电话请求新闻节目的分发时根据所确定的显示模式显示的显示图像。
如图15所示，试验结果表明当其显示屏幕具有720×480象素的分辨率的电视接收机请求新闻节目时，在显示屏幕的左侧和右侧区域排列并显示视频图像和伴随数据。根据细化的文本的长度和话题的重要性来在每个视频区间改变伴随数据的显示范围。
如图16所示，当其显示屏幕具有240×320象素的分辨率的移动电话请求新闻节目时，垂直(在图16的上部和下部区域)配置并显示视频图像和伴随数据。除了当细化的文本很短以外，只显示标题。根据由用户个定的重要性平衡，在每一场景(视频区间)自适应地改变和显示close-up媒体(即，视频图像或伴随数据)。
在示例中，在内容数据库中准备并累积了多个活动电子公告牌。如果节目的视频图像和电子公告牌的素材将被同时显示，则在根据添加到节目的每个场景的电子公告牌的消息的数量来优化调整节目和消息之间的显示平衡的同时，显示节目的视频图像和电子公告牌的素材。
如上所述，在示例中，用于内容的显示模式被自适应地确定为与用于在视频数据中所包括的每个视频区间的视频数据和伴随数据的素材相匹配。因此，实现了能有效地呈现视频数据和伴随数据的内容显示系统。在示例中，根据视频数据和伴随数据的观看者一方的条件所要求的终端的显示屏幕来自适应地确定用于内容地显示模式。因此，实现了能在任何所需的屏幕上有效地呈现视频数据和伴随数据的内容显示系统。此外，在示例中，根据视频数据和伴随数据的观看者一方的条件所要求的重要性平衡来自适应地确定用于内容的显示模式。因此，实现了能有效地呈现与用户的品位相匹配的视频数据和伴随数据的内容显示系统。
工业实用性
本发明可应用于诸如用于在任何所需的屏幕上显示视频数据和伴随数据的内容显示系统和用于在计算机上实现内容显示系统的内容显示节目等的应用。本发明也可以应用于用于在移动电话、个人计算机等的所需的显示屏幕上有效地显示诸如电视广播、因特网广播等的视频数据和诸如文本信息或者web信息等与视频数据有关的伴随数据的应用。

Claims (34)

1.一种用于显示内容的内容显示系统，所述内容包括视频数据和与所述视频数据相关联的伴随数据，所述视频数据包括多个视频区间，该系统包括：
内容显示模式确定装置，用于在每一视频区间确定用于显示在显示屏幕上要被显示的内容中所包括的视频数据和伴随数据的显示模式。
2.一种用于显示内容的内容显示系统，所述内容包括视频数据和与所述视频数据相关联的伴随数据，所述视频数据包括多个视频区间，该系统包括：
内容显示模式确定装置，用于在每一视频区间，确定用于显示在显示屏幕上要被显示的内容中所包括的视频数据和伴随数据的显示模式；和
内容排列装置，用于在每一视频区间，产生其中根据所述内容显示模式确定装置所确定的显示模式来排列所述视频数据和所述伴随数据的内容。
3.根据权利要求2的系统，还包括：内容显示装置，用于显示由所述内容排列装置产生的内容。
4.一种用于显示内容的内容显示系统，所述内容包括视频数据和与所述视频数据相关联的伴随数据，所述视频数据包括多个视频区间，该系统包括：
内容显示模式确定装置，用于在每一视频区间，根据表示显示屏幕的大小的显示屏幕信息、包括与每个视频区间相对应的视频图像的属性信息的视频元数据和包括与视频区间相对应的伴随数据的属性信息的伴随元数据，确定用于在显示屏幕上显示视频数据和伴随数据的显示模式；
视频转换装置，用于根据由所述内容显示模式确定装置确定的显示模式转换所述视频图像；
伴随数据转换装置，用于根据由所述内容显示模式确定装置确定的显示模式转换所述伴随数据；和
内容排列装置，用于在每一视频区间，来产生其中根据由所述内容显示模式确定装置确定的显示模式来排列由所述视频转换装置转换的所述视频图像和由所述伴随数据转换装置转换的所述伴随数据的内容。
5.根据权利要求4的系统，还包括：内容显示装置，用于显示由所述内容排列装置产生的内容。
6.根据权利要求4或5的系统，其中，所述内容显示模式确定装置根据所述显示屏幕信息、所述视频元数据、所述伴随数据和表示用户品位或者每个视频区间的重要性和相对应的伴随数据的重要性之间的平衡的重要性信息中的至少之一，来确定所述显示模式。
7.根据权利要求4到6任意一个的系统，其中所述内容显示模式确定装置包括：
元数据产生装置，用于产生与要被显示的内容相对应的视频元数据和伴随元数据；
其中所述内容显示模式确定装置根据由所述元数据产生装置产生的所述视频元数据和所述伴随元数据，确定用于要被显示的内容的显示模式。
8.根据权利要求4到7任意一个的系统，其中所述内容显示模式确定装置：
在每一视频区间，将所述显示屏幕划分为用于显示在内容中所包括的视频图像的视频显示区域和用于显示在内容中所包括的伴随数据的伴随数据显示区域；和
通过确定划分显示屏幕的模式，以使由在所述视频显示区域显示的视频图像和在所述伴随数据显示区域显示的伴随数据构成的内容的评估值最佳化，来确定用于要被显示的内容的显示模式。
9.根据权利要求8的系统，还包括：分割图案累积装置，用于累积表示将显示屏幕划分为所述视频显示区域和所述伴随数据显示区域的图案的多个分割图案；
其中所述内容显示模式确定装置：
在每一视频区间，采用在所述分割图案累积装置中累积的每个分割图案，将所述显示屏幕划分为所述视频显示区域和所述伴随数据显示区域；
在每一视频区间，当要被显示的内容被划分并显示为所述视频显示区域和所述伴随数据显示区域时，确定所述内容的评估值；和
在每一视频区间，将用于在所述分割图案累积装置中累积的分割图案中使所确定的评估值最大化的分割图案确定为用来显示要被显示的内容的分割图案。
10.根据权利要求4到7任意一个的系统，其中所述显示模式确定装置：
在每一视频区间，在所述视频图像上叠加与所述视频图像相对应的伴随数据；和
在每一视频区间，通过确定叠加伴随数据的模式，以使当在所述视频图像上叠加所述伴随数据时由所显示的视频图像和伴随数据构成的内容的评估值最佳化，来确定用于要被显示的内容的显示模式。
11.根据权利要求10的系统，还包括：
叠加图案累积装置，用于累积表示用于在所述视频图像上叠加所述伴随数据的图案的多个叠加图案；
其中所述内容显示模式确定装置：
在每一视频区间，采用在所述叠加图案累积装置累积的每个叠加图案，在所述视频图像上叠加所述伴随数据；
在每一视频区间，根据要被显示的内容，当所述伴随数据被叠加并显示在所述视频图像上时，确定所述内容的评估值；和
在每一视频区间，将在所述叠加图案累积装置中累积的叠加图案中使所确定的评估值最大化的叠加图案确定为在显示要被显示的内容中使用的叠加图案。
12.根据权利要求4到7任意一个的系统，其中所述内容显示模式确定装置：
在每一视频区间，将所述显示屏幕划分为用于显示在内容中所包括的视频图像的视频显示区域和用于显示在内容中所包括的伴随数据的伴随数据显示区域；
在每一视频区间，在所述视频图像上叠加与所述视频图像相对应的伴随数据；和
在每一视频区间，通过根据当采用用于分开地显示视频图像和伴随数据模式来显示要被显示的内容时的内容的评估值和当采用用于在视频图像上叠加伴随数据的模式显示内容时的内容的评估值、选择用于使评估值最佳化的模式，确定用于显示要被显示的内容的处理。
13.根据权利要求12的系统，还包括：
分割图案累积装置，用于累积表示图案的多个分割图案，以便将显示屏幕划分为所述视频显示区域和所述伴随数据显示区域；
叠加图案累积装置，用于累积表示图案的多个叠加图案，以便在所述视频图像上叠加所述伴随数据；
其中所述内容显示模式确定装置：
在每一视频区间，采用在所述分割图案累积装置累积的每个分割图案，将所述显示屏幕划分为所述视频显示区域和所述伴随数据显示区域；
在每一视频区间，当要被显示的内容被划分并显示为所述视频显示区域和所述伴随数据显示区域时，确定所述内容的第一评估值；和
在每一视频区间，在所述分割图案累积装置中累积的分割图案中，选择使所确定的第一评估值最大化的分割图案；
在每一视频区间，采用在所述叠加图案累积装置累积的每个叠加图案，在所述视频图像上叠加所述伴随数据；
在每一视频区间，根据要被显示的内容，当所述伴随数据被叠加并显示在所述视频图像上时，确定所述内容的第二评估值；和
在每一视频区间，在所述叠加图案累积装置中累积的叠加图案中，选择使所确定的第二评估值最大化的叠加图案；和
在每一视频区间，通过在所选择的分割图案和所选择的叠加图案中选择使所述评估值最大化的图案，来确定用于要被显示的内容的显示模式。
14.根据权利要求8、9、12和13的任意一个的系统，其中所述内容显示模式确定装置：
在每一视频区间，采用用于评估在所述视频显示区域显示的视频图像的第一评估函数、用于评估在所述伴随数据显示区域显示的伴随数据的第二评估函数和表示在视频图像和与视频图像相对应的伴随数据之间的重要性平衡的第三评估函数，来确定要被显示的内容的评估值；和
在每一视频区间，确定用于划分显示屏幕的模式，以使所确定的评估值最佳化。
15.根据权利要求10到13的任意一个的系统，其中所述内容显示模式确定装置：
在每一视频区间，采用用于评估在所述视频图像上叠加并显示所述伴随数据的第一评估函数、用于评估要被显示的视频图像的第二评估函数和表示在每个视频图像和与视频图像相对应的伴随数据之间的重要性平衡的第三评估函数，来确定要被显示的内容的评估值；和
在每一视频区间，确定用于在每个视频图像上叠加所述伴随数据的模式，以使所确定的评估值最佳化。
16.一种用于分发内容的内容分发系统，所述内容包括视频数据和与所述视频数据相关联的伴随数据，所述视频数据包括多个视频区间，该系统包括：
用户终端；和
内容分发服务器，用于分发内容；
其中所述用户终端包括内容请求装置，用于通过通信网络将内容分发请求发送到所述内容分发服务器；和
所述内容分发服务器包括：
内容显示模式确定装置，用于在每一视频区间，当从所述用户终端接收到内容分发请求时，确定用于在显示屏幕上显示被请求分发的内容中所包括的视频数据和伴随数据的显示模式；
内容排列装置，用于在每一视频区间，根据由所述内容显示模式确定装置确定的显示模式来产生其中排列了视频数据和所述伴随数据的内容；和
内容分发装置，用于通过所述通信网络将由所述内容排列装置产生的内容发送到所述用户终端。
17.一种用于分发内容的内容分发服务器，所述内容包括视频数据和与所述视频数据相关联的伴随数据，所述视频数据包括多个视频区间，该服务器包括：
内容显示模式确定装置，用于在每一视频区间，确定用于在显示屏幕上显示在被请求分发的内容中所包括的视频数据和伴随数据的显示模式。
18.根据权利要求17的服务器，还包括：
确定信息产生装置，用于产生表示由所述显示模式确定装置确定的显示模式的显示模式确定信息；和
内容分发装置，用于通过所述通信网络，将被请求分发的内容和由所述确定信息产生装置产生的显示模式确定信息发送到所述用户终端。
19.根据权利要求17的服务器，还包括：
内容排列装置，用于在每一视频区间，产生其中根据由所述显示模式确定装置确定的显示模式来排列所述视频数据和所述伴随数据的内容。
20.根据权利要求19的服务器，还包括：内容分发装置，用于通过所述通信网络，将由所述内容排列装置产生的内容发送到所述用户终端。
21.一种用于分发内容的内容分发服务器，所述内容包括视频数据和与所述视频数据相关联的伴随数据，所述视频数据包括多个视频区间，该服务器包括：
内容显示模式确定装置，用于在每一视频区间，根据相对于在所述视频数据和与所述视频图像相对应的伴随数据中所包括的每个视频图像的显示格式所需的条件，确定用于在显示屏幕上显示视频图像和伴随数据的显示模式；
视频转换装置，用于根据由所述内容显示模式确定装置确定的显示模式转换所述视频图像；
伴随数据转换装置，用于根据由所述内容显示模式确定装置确定的显示模式转换所述伴随数据；和
内容排列装置，用于在每一视频区间，产生其中根据由所述内容显示模式确定装置确定的显示模式来排列由所述视频转换装置转换的所述视频图像和由所述伴随数据转换装置转换的所述伴随数据的内容；和
内容分发装置，用于将由所述内容分发装置产生的内容分发给用户终端。
22.一种显示内容的内容显示方法，所述内容包括视频数据和与所述视频数据相关联的伴随数据，所述视频数据包括多个视频区间，该方法包括以下步骤：
在每一视频区间，确定用于在显示屏幕上显示在要被显示的内容中所包括的视频图像和伴随数据的显示模式。
23.根据权利要求22的方法，还包括以下步骤：
在每一视频区间，产生其中根据所确定的显示模式来排列视频数据和伴随数据的内容。
24.根据权利要求23的方法，还包括以下步骤：
根据所确定的显示模式显示所产生的内容。
25.一种显示内容的内容显示方法，所述内容包括视频数据和与所述视频数据相关联的伴随数据，所述视频数据包括多个视频区间，该方法包括以下步骤：
内容显示模式确定步骤，在每一视频区间，根据表示显示屏幕的大小的显示屏幕信息、包括与每个视频区间相对应的视频图像的属性信息的视频元数据和包括与视频区间相对应的伴随数据的属性信息的伴随元数据，确定用于在显示屏幕上显示视频图像和伴随数据的显示模式；和
内容显示步骤，采用在所述内容显示模式确定步骤确定的显示模式，显示所述视频图像和与所述视频图像相对应的伴随数据。
26.根据权利要求25的方法，其中根据相对于在所述视频数据和与所述视频图像相对应的伴随数据中所包括的视频图像的显示格式所需的条件，至少根据所述显示屏幕的大小、在每一视频区间的所述视频图像的内容、和与所述视频区间相对应的伴随数据的内容所述显示模式的一个或者组合，确定所述显示模式。
27.根据权利要求25的方法，其中在所述内容显示模式确定步骤，根据显示屏幕信息、每个视频元数据、伴随元数据和表示用户的品位或每个视频区间的重要性和相对应的伴随数据的重要性之间的平衡的重要性信息，确定所述显示模式。
28.根据权利要求25到27的任意一个的方法，其中所述内容显示模式确定步骤包括以下步骤：
在每一视频区间，将所述显示屏幕划分为用于显示在内容中所包括的视频图像的视频显示区域和用于显示在内容中所包括的伴随数据的伴随数据显示区域；和
通过确定用于划分显示屏幕的模式以使由在所述视频显示区域显示的视频图像和在所述伴随数据显示区域显示的伴随数据构成的内容的评估值最佳化，来确定显示模式。
29.根据权利要求25到27的任意一个的方法，其中所述内容显示模式确定步骤包括以下步骤：
在每一视频区间，在所述视频图像上叠加与所述视频图像相对应的伴随数据；和
在每一视频区间，通过确定叠加所述伴随数据的模式，以便当在所述视频图像上叠加所述伴随数据时使由所显示的视频图像和和伴随数据构成的内容的评估值最佳化，来确定显示模式。
30.根据权利要求25到27的任意之一的方法，其中所述内容显示模式确定步骤包括以下步骤：
在每一视频区间，将所述显示屏幕划分为用于显示在内容中所包括的视频图像的视频显示区域和用于显示在内容中所包括的伴随数据的伴随数据显示区域；
在每一视频区间，在所述视频图像上叠加与所述视频图像相对应的伴随数据；和
在每一视频区间，通过根据当采用用于划分并显示视频图像和伴随数据的模式来显示要被显示的内容时的内容的第一评估值和当采用用于在视频图像上叠加伴随数据的模式显示内容时的内容的第二评估值、选择用于使评估值最佳化的模式，确定用于显示要被显示的内容的处理。
31.根据权利要求28或30的方法，其中所述内容显示模式确定步骤包括以下步骤：
在每一视频区间，采用用于评估在所述视频显示区域显示的视频图像的第一评估函数、用于评估在所述伴随数据显示区域显示的伴随数据的第二评估函数和表示在视频图像和与视频图像相对应的伴随数据之间的重要性平衡的第三评估函数，来确定要被显示的内容的评估值；和
在每一视频区间，确定用于划分显示屏幕的模式，以使所确定的评估值最佳化。
32.根据权利要求29或30的方法，其中所述内容显示模式确定步骤包括以下步骤：
在每一视频区间，采用用于评估在视频图像上叠加并显示的伴随数据的第一评估函数、用于评估在所显示的视频图像的第二评估函数和表示在每个视频图像和与视频图像相对应的伴随数据之间的重要性平衡的第三评估函数，来确定要被显示的内容的评估值；和
在每一视频区间，确定用于在所述视频图像上叠加所述伴随数据的模式，以使所确定的评估值最佳化。
33.一种用于显示内容的内容显示程序，所述内容包括视频数据和与所述视频数据相关联的伴随数据，所述视频数据包括多个视频区间，该内容显示程序使计算机执行以下处理：
在每一视频区间，确定用于在显示屏幕上显示内容中所包括的视频数据和伴随数据的显示模式；
在每一视频区间，产生其中根据所确定的显示模式来排列所述视频数据和所述伴随数据的内容；和
显示其中排列了所述视频数据和所述伴随数据的所述内容。
34.一种用于分发内容的内容分发程序，所述内容包括视频数据和与所述视频数据相关联的伴随数据，所述视频数据包括多个视频区间，该内容分发程序使计算机执行以下处理：
通过通信网络从用户终端接收内容分发请求；
在每一视频区间，当从所述用户终端接收到所述内容分发请求时，确定用于在显示屏幕上显示被请求分发的内容中所包括的视频数据和伴随数据的显示模式；
在每一视频区间，产生其中根据所确定的显示模式来排列所述视频数据和所述伴随数据的内容；和
通过通信网络将其中排列了所述视频数据和所述伴随数据的所述内容发送到所述用户终端。
CNA2006800263369A 2005-05-18 2006-05-18 内容显示系统和内容显示方法 Pending CN101223782A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP145547/2005 2005-05-18
JP2005145547 2005-05-18

Publications (1)

Publication Number Publication Date
CN101223782A true CN101223782A (zh) 2008-07-16

Family

ID=37431316

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2006800263369A Pending CN101223782A (zh) 2005-05-18 2006-05-18 内容显示系统和内容显示方法

Country Status (6)

Country Link
US (1) US20090025030A1 (zh)
EP (1) EP1883241B1 (zh)
JP (1) JPWO2006123744A1 (zh)
KR (1) KR20070121049A (zh)
CN (1) CN101223782A (zh)
WO (1) WO2006123744A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114520917A (zh) * 2020-11-19 2022-05-20 腾讯科技（深圳）有限公司 视频编码方法、装置、终端设备以及存储介质

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004084535A2 (en) * 2003-03-14 2004-09-30 Starz Encore Group Llc Video aspect ratio manipulation
MX2008010961A (es) * 2006-03-07 2008-09-08 Nec Corp Sistema dinamico de distribucion de imagenes y dispositivo de conversion.
JP5043405B2 (ja) * 2006-11-21 2012-10-10 シャープ株式会社 コンテンツ表示装置、およびコンテンツ表示装置の制御方法
JP2008167363A (ja) 2007-01-05 2008-07-17 Sony Corp 情報処理装置および方法、並びにプログラム
KR100801993B1 (ko) * 2007-03-12 2008-02-12 김기연 멀티화면 콘텐츠 구현방법 및 구현 시스템
JP5121367B2 (ja) * 2007-09-25 2013-01-16 株式会社東芝 映像を出力する装置、方法およびシステム
JP4582155B2 (ja) * 2008-02-12 2010-11-17 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP2009260818A (ja) * 2008-04-18 2009-11-05 Nec Corp サーバ装置とコンテンツ配信方法とプログラム
JP4675995B2 (ja) * 2008-08-28 2011-04-27 株式会社東芝 表示処理装置、プログラムおよび表示処理方法
JP5388631B2 (ja) * 2009-03-03 2014-01-15 株式会社東芝 コンテンツ提示装置、及び方法
JP4852119B2 (ja) * 2009-03-25 2012-01-11 株式会社東芝 データ表示装置、データ表示方法、データ表示プログラム
US20120013799A1 (en) * 2009-03-30 2012-01-19 Syuuji Murayama Image display device and image processing method
JP5415225B2 (ja) * 2009-10-15 2014-02-12 ソニー株式会社 動画提供装置、動画提供方法およびプログラム
US9237366B2 (en) * 2010-04-16 2016-01-12 Google Technology Holdings LLC Method and apparatus for distribution of 3D television program materials
US8599316B2 (en) * 2010-05-25 2013-12-03 Intellectual Ventures Fund 83 Llc Method for determining key video frames
JP2012235380A (ja) * 2011-05-06 2012-11-29 Sony Corp 受信装置及び方法、並びにプログラム
US9262413B2 (en) * 2012-06-06 2016-02-16 Google Inc. Mobile user interface for contextual browsing while playing digital content
JP6073664B2 (ja) * 2012-12-07 2017-02-01 株式会社東芝 コンテンツ再生装置及びコンテンツ再生プログラム
JP5988499B2 (ja) * 2013-03-12 2016-09-07 Kddi株式会社 Ｇｕｉプログラム自動変更装置、自動変更方法及び自動変更プログラム
KR102176399B1 (ko) * 2014-05-28 2020-11-09 삼성전자주식회사 디스플레이장치, 디스플레이장치의 제어방법 및 서버
KR20160044902A (ko) * 2014-10-16 2016-04-26 삼성전자주식회사 방송 콘텐트와 관련한 부가 정보 제공 방법 및 이를 구현하는 전자 장치
CN109905668B (zh) * 2019-02-19 2021-08-13 视联动力信息技术股份有限公司 一种摄像头画面部分的方法以及装置
JP7262335B2 (ja) * 2019-07-24 2023-04-21 株式会社エヌ・ティ・ティ・データ 予測装置、学習装置、予測方法、及びプログラム

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6023714A (en) * 1997-04-24 2000-02-08 Microsoft Corporation Method and system for dynamically adapting the layout of a document to an output device
US20020059603A1 (en) * 2000-04-10 2002-05-16 Kelts Brett R. Interactive content guide for television programming
US20020199190A1 (en) * 2001-02-02 2002-12-26 Opentv Method and apparatus for reformatting of content for display on interactive television
WO2004008768A1 (en) * 2002-07-16 2004-01-22 Electronics And Telecommunications Research Institute Apparatus and method for adapting 2d and 3d stereoscopic video signal
CN1484918A (zh) * 2000-12-01 2004-03-24 ������·�ɷ����޹�˾ 视频终端,视频终端通信系统,以及电视会议系统
US20040073925A1 (en) * 2002-09-27 2004-04-15 Nec Corporation Content delivery server with format conversion function
US20040133910A1 (en) * 1998-07-23 2004-07-08 Gordon Donald F. Data structure and methods for providing an interactive program guide
US20040156620A1 (en) * 2003-01-16 2004-08-12 Masahiro Horie Recording apparatus, OSD controlling method, program, and recording medium
US20050015815A1 (en) * 1996-03-29 2005-01-20 Microsoft Corporation Interactive entertainment system for presenting supplemental interactive content together with continuous video programs

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06149968A (ja) 1992-11-06 1994-05-31 Ricoh Co Ltd 文書処理装置
JPH10232916A (ja) * 1997-02-19 1998-09-02 Canon Inc 画像編集装置及び方法並びにプログラムを記録した媒体
US6959449B1 (en) * 1998-06-08 2005-10-25 Sony Corporation System and method for simultaneously accessing video data and internet page data
JP4167777B2 (ja) * 1999-07-19 2008-10-22 三菱電機株式会社 映像表示装置、映像表示方法および映像を表示するためのプログラムを記録した記録媒体
JP2001296852A (ja) 2000-04-11 2001-10-26 Nippon Hoso Kyokai <Nhk> 映像表示方法
US20020040375A1 (en) * 2000-04-27 2002-04-04 Simon Richard A. Method of organizing digital images on a page
JP2002032747A (ja) 2000-07-18 2002-01-31 Kddi Corp 車両検出方法
JP4672856B2 (ja) * 2000-12-01 2011-04-20 キヤノン株式会社 マルチ画面表示装置及びマルチ画面表示方法
JP2002351781A (ja) * 2001-05-30 2002-12-06 Fujitsu Ltd 画面表示用ページレイアウトを利用したコンテンツ生成装置
JP2003018553A (ja) 2001-06-29 2003-01-17 Sanyo Electric Co Ltd データ放送受信装置
JP2003032747A (ja) 2001-07-17 2003-01-31 Mitsubishi Electric Corp 端末装置および端末装置用プログラム
JP4055382B2 (ja) 2001-08-28 2008-03-05 日本電信電話株式会社 ディジタルコンテンツ表示装置及びプログラム及びコンピュータ読み取り可能な記録媒体
JP4351405B2 (ja) * 2001-08-29 2009-10-28 インターナショナル・ビジネス・マシーンズ・コーポレーション トランスコーディングシステム及びアノテーション管理装置
JP4352653B2 (ja) * 2002-04-12 2009-10-28 三菱電機株式会社 映像コンテンツ管理運用システム
JP4055944B2 (ja) * 2002-09-18 2008-03-05 日立ソフトウエアエンジニアリング株式会社 Ｗｅｂコンテンツ変換方法及びシステム
JP2004326682A (ja) * 2003-04-28 2004-11-18 Tdk Corp コンテンツ配信方法及びコンテンツ配信システム
JP5059282B2 (ja) * 2003-10-14 2012-10-24 ソニー株式会社 情報提供システム，情報提供サーバ，ユーザ端末装置，コンテンツ表示装置，コンピュータプログラム，およびコンテンツ表示方法
JP4125249B2 (ja) * 2004-01-30 2008-07-30 キヤノン株式会社 情報処理方法及び情報処理装置及びコンピュータ読み取り可能なプログラム
US20050188403A1 (en) * 2004-02-23 2005-08-25 Kotzin Michael D. System and method for presenting and editing customized media streams to a content providing device
US7616264B1 (en) * 2004-12-06 2009-11-10 Pixelworks, Inc. Cropped and scaled picture-in-picture system and method

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050015815A1 (en) * 1996-03-29 2005-01-20 Microsoft Corporation Interactive entertainment system for presenting supplemental interactive content together with continuous video programs
US6023714A (en) * 1997-04-24 2000-02-08 Microsoft Corporation Method and system for dynamically adapting the layout of a document to an output device
US20040133910A1 (en) * 1998-07-23 2004-07-08 Gordon Donald F. Data structure and methods for providing an interactive program guide
US20020059603A1 (en) * 2000-04-10 2002-05-16 Kelts Brett R. Interactive content guide for television programming
CN1484918A (zh) * 2000-12-01 2004-03-24 ������·�ɷ����޹�˾ 视频终端,视频终端通信系统,以及电视会议系统
US20020199190A1 (en) * 2001-02-02 2002-12-26 Opentv Method and apparatus for reformatting of content for display on interactive television
WO2004008768A1 (en) * 2002-07-16 2004-01-22 Electronics And Telecommunications Research Institute Apparatus and method for adapting 2d and 3d stereoscopic video signal
US20040073925A1 (en) * 2002-09-27 2004-04-15 Nec Corporation Content delivery server with format conversion function
US20040156620A1 (en) * 2003-01-16 2004-08-12 Masahiro Horie Recording apparatus, OSD controlling method, program, and recording medium

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114520917A (zh) * 2020-11-19 2022-05-20 腾讯科技（深圳）有限公司 视频编码方法、装置、终端设备以及存储介质
CN114520917B (zh) * 2020-11-19 2024-02-23 腾讯科技（深圳）有限公司 视频编码方法、装置、终端设备以及存储介质

Also Published As

Publication number Publication date
EP1883241A1 (en) 2008-01-30
WO2006123744A1 (ja) 2006-11-23
US20090025030A1 (en) 2009-01-22
EP1883241A4 (en) 2012-03-21
KR20070121049A (ko) 2007-12-26
EP1883241B1 (en) 2016-01-13
JPWO2006123744A1 (ja) 2008-12-25

Similar Documents

Publication Publication Date Title
CN101223782A (zh) 内容显示系统和内容显示方法
US20100118035A1 (en) Moving image generation method, moving image generation program, and moving image generation device
US5654886A (en) Multimedia outdoor information system
CA2408792C (en) Dynamically controlling video and data transmissions
NL2001156C2 (nl) Uitzending ontvangst apparaat en werkwijze voor het uitvoeren van applicaties in uitzending ontvangst apparaat.
WO2009125711A1 (ja) レコメンド情報評価装置およびレコメンド情報評価方法
US20130205320A1 (en) Apparatus, system, method and computer readable recording medium storing the program for related recommendation of tv program contents and web contents
CN103620639A (zh) 多轮播件的选择性数字服务信息源
EP1573594A2 (en) Method and system for utilizing video content to obtain text keywords or phrases for providing content related links to network-based resources
CN102263992A (zh) 基于用户收视记录的节目推荐度估计方法
KR20110129477A (ko) 주문형 비디오의 신디케이션을 위한 장치 및 방법
CN105191321A (zh) 分发控制系统、分发控制方法和计算机可读存储介质
CN102098548A (zh) Epg在数字电视上显示的实现方法及实现装置
EP2367355A1 (en) Method and apparatus for classifying and displaying RSS information
CN102710988A (zh) 一种基于机顶盒的电视节目推荐方法及机顶盒设备
CN101499077A (zh) 一种根据载体内容分类信息发布信息的控制装置及方法
CN101931767B (zh) 一种基于收视习惯分析自动定制电子广告目录的系统
CN103139284A (zh) 用于在可伸缩应用服务系统上提供定制广告/新闻的方法
CN101656867B (zh) 一种iptv中映射epg组件的方法和装置
JP2010181966A (ja) レコメンド情報評価装置およびレコメンド情報評価方法
JP2004364140A (ja) 再放送要求収集方法、放送コンテンツ再送出方法、放送コンテンツ再送出装置および放送コンテンツ再送出プログラム
CN106488156A (zh) 基于用户的切换广告分析及提供系统
GB2352600A (en) Method, apparatus and computer program for dynamically changing a display
CN101702763B (zh) 一种生成数字机顶盒单机网站的方法及系统和设备
JP2002157269A (ja) 映像ポータルシステム及び映像提供方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20080716