CN101385343A - 显示数据生成设备 - Google Patents

显示数据生成设备 Download PDF

Info

Publication number
CN101385343A
CN101385343A CNA2007800053346A CN200780005334A CN101385343A CN 101385343 A CN101385343 A CN 101385343A CN A2007800053346 A CNA2007800053346 A CN A2007800053346A CN 200780005334 A CN200780005334 A CN 200780005334A CN 101385343 A CN101385343 A CN 101385343A
Authority
CN
China
Prior art keywords
information
important object
layout
captions
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2007800053346A
Other languages
English (en)
Inventor
王旗
远藤康男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN101385343A publication Critical patent/CN101385343A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/278—Subtitling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17309—Transmission or handling of upstream communications
    • H04N7/17318—Direct or substantially direct transmission and handling of requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/44504—Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Studio Circuits (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Processing Or Creating Images (AREA)

Abstract

可能提供一种显示数据生成装置，其能够生成用于每个视频的字幕显示的数据。所述显示数据生成装置包括：对象判定单元(105)，其根据视点信息和对象信息来判定在屏幕上显示的对象；重要对象判定单元(106)，其根据所述对象判定单元(105)的判定结果和所述对象信息来判定对象是否是重要对象，并生成关于该重要对象的特征信息；布局选择单元(107)，选择具有与关于所述重要对象的特征信息匹配的选择条件的布局模板；以及字幕生成单元(108)，根据所选择的布局模板生成字幕显示数据。

Description

显示数据生成设备
技术领域
本发明涉及一种显示数据生成设备，其生成用于显示要添加到视频的在屏(on-screen)字幕的数据。
背景技术
随着高清晰度数字大屏幕TV、视频压缩技术和成批数据传输技术的发展，观看电视节目、视频信息等的形式近来已变得多种多样。举例而言，已经提出了一种任意视点(viewpoint)视频分发系统，其满足“从喜好的视点观看电影或者棒球比赛的愿望”。所述任意视点视频分发系统用于向观众发送从多个视点捕获的视频数据以及从这些数据生成的任意视点视频数据。观众可以从所接收的多个任意视点数据选择对应于喜好视点的视点视频，因此观看如此选择的视频数据。通过任意视点视频分发系统，多个观众在相同的时间分别可以观看单个节目的不同视频。一种这样的技术(参见例如专利文件1)用于从被划分为用于多个区域的多个部分图像的图像数据中，选择和发送生成由中心预测为用户期望的视点的图像所需要的部分图像。
顺便提及，向电视图像添加诸如字幕之类的说明信息使得观众能够迅速地获取与视频相关的信息。通过同时参照字幕，观众变得容易理解正被观看的图像。按照观看屏幕的情况，呈现字幕；例如，在一种情况下是关于对象(subject)的说明信息，在另一种情况下是诸如分数和时间的整体信息。即，要叠加在视频上的字幕的目的是更清楚和迅速地向观众提供关于视频屏幕的说明信息。广播台的编辑人工地在视频上叠加所创建的字幕的技术已经作为用于向电视图像添加信息的现有技术而常见。其原因是作为信息的添加目标的视频仅仅是一个。
同时，与地图导航系统相关的技术可被作为用于向任意视点视频添加信息并且显示所述视频的技术。在导航系统中，服务中心按照从用户接收的视点信息(视点的位置和缩放比例信息)而再生要显示的图像；从GIS(地理信息系统)获取落入屏幕区域内的整体地图引导信息；在地图图像上叠加所述地图引导信息，并且显示如此叠加的信息(例如参见专利文件2)。
专利文件1:JP-A-2004-193941第8-20页，图1
专利文件2:JP-A-2002-213984第9-14页，图1
发明内容
本发明要解决的问题
当所述任意视点视频分发系统使用现有技术的字幕添加技术时，广播台的编辑选择适合于在所有视点获取的各个视点视频数据的字幕，并且将如此选择的字幕叠加在每个视点视频上。但是，因为视点的数量可以是无限的，因此不能实现字幕的叠加。而且，字幕的实时叠加也是不现实的。
当结合专利文件2而说明的信息添加技术被应用到所述任意视点视频分发系统时，在图20A中所示的任意视点图像上显示关于在屏幕范围中呈现的所有对象的说明信息。因此，显示与字幕的指示的目的(更清楚和迅速地向观众提供关于视频屏幕的说明信息)相反的不适当的字幕。不能确定字幕的细节或者字幕的布置(屏幕布局)的选择，除非确定了屏幕状态，诸如各个对象如何显示在视频屏幕上。诸如在图20B中所示的屏幕显示最好作为字幕的适当显示。
鉴于所述情况而构思了本发明，并且本发明旨在提供一种显示数据生成设备，其能够生成用于显示适合于各个视频的字幕的数据。
解决问题的手段
本发明的显示数据生成设备的特征在于包括:对象确定部分，其根据视点信息和对象信息来确定在屏幕上出现的对象；重要对象确定部分，其根据由所述对象确定部分提供的确定结果和所述对象信息来确定会吸引观众注意力的重要对象，并且其生成关于重要对象的特征信息；布局选择部分，其从多个布局模板选择具有符合关于所述重要对象的特征信息的选择条件的布局模板；以及，字幕生成部分，其从所选择的布局模板生成字幕显示数据。
按照所述配置，可以选择符合在屏幕上的对象的配置的适当布局，因此，可以生成适合于各个的视频的字幕显示数据。由此，甚至分发任意视点视频的系统也可以更迅速和清楚地向观众提供关于每个观众终端的视频屏幕的说明信息。
本发明的显示数据生成设备的特征在于，所述重要对象确定部分通过使用从在所述视点信息中包括的视点的位置到在所述对象信息中包括的对象的位置的距离来确定所述重要对象。
按照所述配置，可以精确地确定被添加说明信息(字幕)的重要对象。
所述显示数据生成设备的特征在于，所述重要对象确定部分将位于离所述视点的位置最短距离的对象确定为所述重要对象。
所述配置使得能够精确地确定被添加说明信息(字幕)的重要对象。
而且，本发明的显示数据生成设备其特征在于，所述重要对象确定部分根据所述视点信息和所述对象信息，生成作为所述重要对象在屏幕上的大小的、关于所述重要对象的特征信息；并且，所述布局选择部分选择具有符合所述重要对象在屏幕上的大小的选择条件的布局模板。
所述配置使得有可能与被确定为添加说明信息(字幕)的对象的重要对象相关地在适当的布局中显示字幕。
本发明的所述显示数据生成设备的特征还在于:所述对象信息具有对象属性；所述布局模板的选择条件具有对象属性；并且，所述布局选择部分选择具有符合所述重要对象的对象属性的选择条件的布局模板。
所述配置使得有可能在适当的布局中显示包括符合对象属性的适当信息的字幕。
本发明的显示数据生成方法也包括:对象确定步骤，用于根据视点信息和对象信息来确定在屏幕上出现的对象；重要对象确定步骤，用于根据确定结果和所述对象信息来确定会吸引观众注意力的重要对象，并且该步骤生成关于重要对象的特征信息；布局选择步骤，用于从多个布局模板选择具有符合关于所述重要对象的所述特征信息的选择条件的布局模板；以及，字幕生成步骤，用于从所选择的布局模板生成字幕显示数据。
本发明的显示数据生成方法的特征在于:所述重要对象确定步骤包括:通过使用从在所述视点信息中包括的视点的位置到在所述对象信息中包括的对象的位置的距离来确定所述重要对象。
本发明的所述显示数据生成方法的特征在于，所述重要对象确定步骤包括将位于离视点的位置最短距离的对象确定为所述重要对象。
本发明的所述显示数据生成方法的特征还在于，所述重要对象确定步骤包括:基于所述视点信息和所述对象信息，生成作为所述重要对象在屏幕上的大小的、关于所述重要对象的特征信息；并且，所述布局选择步骤包括:选择具有符合所述重要对象在屏幕上的大小的选择条件的布局模板。
本发明的所述显示数据生成方法的特征还在于:所述对象信息具有对象属性；所述布局模板的选择条件具有对象属性；并且，所述布局选择步骤包括:选择具有符合所述重要对象的对象属性的选择条件的布局模板。
本发明的数据生成程序是用于使得计算机作为下述部件起作用:对象确定部件，其根据视点信息和对象信息来确定在屏幕上出现的对象；重要对象确定部件，其根据由所述对象确定部件提供的确定的结果和所述对象信息来确定会吸引观众注意力的重要对象，所述重要对象生成重要对象的特征信息；布局选择部件，其从多个布局模板选择具有符合关于所述重要对象的所述特征信息的选择条件的布局模板；以及，字幕生成部件，其从所选择的布局模板生成字幕显示数据。
本发明的优点
根据本发明，可以选择符合在屏幕上的对象的配置的适当布局，因此，可以生成其中适当的字幕被叠加在各个任意视点视频上的显示数据。
附图说明
图1是示出本发明的第一实施例的显示数据生成设备的内部配置的视图。
图2A、2B是在概念上示出本发明的第一实施例的显示数据生成设备中使用的对象信息的数据结构的视图。
图3是在概念上示出本发明的第一实施例的显示数据生成设备中使用的视点信息的数据结构的视图。
图4是用于说明视点信息的项目的示意图。
图5是用于说明对象确定方法的示意图。
图6A、6B是用于说明对象确定部分如何确定多个对象的示意图。
图7是用于说明重要对象确定方法的示意图。
图8是用于说明用于计算对象的屏幕份额(screen share)的方法的示意图。
图9是在概念上示出在本发明的第一实施例的显示数据生成设备中使用的布局模板的数据结构的视图。
图10是用于说明用于选择布局模板的方法的示意图。
图11是示出布局模板的显示示例的示意图。
图12是在概念上示出用于说明字幕的材料的数据结构的视图；
图13A、13B是在概念上示出用于说明字幕的材料的数据结构的视图；
图14是示出用于本发明的第一实施例的显示数据生成设备的字幕显示数据生成处理过程的流程图。
图15是用于说明用于显示字幕的数据的具体示例生成的视图。
图16A-16C是用于说明当存在多种类型的字幕时发生的问题的视图。
图17A-17C是在概念上示出在本发明的第二实施例的显示数据生成设备中使用的对象信息的数据结构的视图。
图18是在概念上示出在本发明的第二实施例的显示数据生成设备中使用的布局模板的数据结构的视图。
图19是用于描述本发明的第二实施例的显示数据生成设备的布局选择部分的操作的视图。
图20A、20B是用于说明现有技术的问题的视图。
附图标号的说明
100    显示数据生成设备
101    视点信息输入部分
102    任意视点视频接收部分
103    任意视点视频重放部分
104    附加信息接收部分
105    对象确定部分
106    重要对象确定部分
107    布局选择部分
108    字幕生成部分
109    视频叠加部分
具体实施方式
以下参见附图描述本发明的实施例。
[第一实施例]
图1是示出本发明的第一实施例的显示数据生成设备的内部配置的视图。显示数据生成设备100由下述部分构成:视点信息输入部分101；任意视点视频接收部分102；任意视点视频重放部分103；附加信息接收部分104；对象确定部分105；重要对象确定部分106；布局选择部分107；字幕生成部分108；以及视频叠加部分109。这些部分被大致地分类为:任意视点视频控制系统块，其控制任意视点视频的显示；以及，附加信息控制系统块，其控制字幕的显示。
首先，描述所述任意视点视频控制系统块。所述任意视点视频控制系统块包括视点信息输入部分101、任意视点视频接收部分102和任意视点视频重放部分103。视点信息输入部分101用于通过诸如遥控器的输入部件来获取视点信息，并且指令任意视点图像的选择。视点信息被输出到对象确定部分105和重要对象确定部分106以及任意视点视频接收部分102。视点信息也可以通过除了输入之外的方法来获取，诸如从操作历史获取信息。
根据所述视点信息，任意视点视频接收部分102选择性地从多个视频数据中接收符合视点信息的视频数据，所述多个视频数据从分发视频的分发中心(以下称为“中心”)分发，并且已经从多个视点被捕获，并且用作用于生成任意视点视频的源。任意视点视频重放部分103重放如此接收的视频数据。可以想象的用于提供任意视点视频数据的技术是:例如，用于通过在专利文件1中描述的任意视点视频分发系统而分发视频数据、并且选择性地接收包括接收端所需要的视点视频的视频数据的方法，所述要分发的视频数据已经从多个视点被捕获，并且作为所述中心从中生成任意视点视频的源。
接着，将说明附加信息控制系统块。附加信息控制系统块包括附加信息接收部分104、对象确定部分105、重要对象确定部分106、布局选择部分107和字幕生成部分108。附加信息接收部分104一直接收对象信息、用于说明字幕的材料和与布局模板相关的更新数据，并且向对象确定部分105提供所接收的对象信息，向字幕生成部分108提供用于说明字幕的材料，并且向布局选择部分107提供布局模板。用于获取诸如对象信息、用于说明字幕的材料和布局模板的附加信息的方法不限于接收由所述中心作为视频数据而复用和发布的附加信息。例如，也可以获取在显示数据生成设备中累积的附加信息，或者也可以获取已经与视频数据一起被中心复用并且通过广播而被发送的附加信息。所述附加信息的源不限于中心。例如，除了中心之外的第三方也可以提供附加信息。在通过其来提供附加信息的发送信道上未施加任何限制。
对象信息是用于指定对象并且描述其特征的信息。对象信息由中心(摄像机侧)生成，并且被发送到显示数据生成设备100。所述对象包括在连接到显示数据生成设备100的视频显示终端(从附图中省略)的屏幕上显示的对象，并且包括在视频显示终端的屏幕上未显示的对象。在关于单个对象的信息被用作发送单位时分发对象信息。在本实施例中不特别限制对象信息的发送频率。对象信息也可以在每视频帧的基础上或者以除了用于一般的视频帧的间隔之外的间隔被发送。例如，当视频发送速度是30帧/秒时，也可以以每1/30秒发送对象信息，或者也可以以1/2秒的间隔(每15帧)发送对象信息。也可以通过显示数据生成设备100以及通过中心(摄像机侧)生成对象信息。
用于说明字幕的材料是用于说明添加到屏幕的字幕的细节的材料。用于说明字幕的材料由中心的编辑输入。所述中心向显示数据生成设备100发送预先产生的、用于说明字幕的材料，并且随后在产生需要时仅发送关于更新的差别的信息。而且，也可以在将以指定用于说明字幕的特定材料的信息定界的数据作为发送单位时，分发用于说明字幕的材料。
所述布局模板是进行用于说明字幕的屏幕设计所需要的信息。所述布局模板由中心生成，并且被发送到显示数据生成设备100。中心向显示数据生成设备100发送预先创建的布局模板，并且随后在任何时间发送更新的信息。而且，也可以在将使用用于选择布局模板的信息定界的数据用作发送单位时分发布局模板。
附加信息接收部分104也可以一直独立地执行处理，但是不限于这样的处理。作为替代，所述附加信息接收部分也可以执行异步处理，但是也不限于所述处理。而且，附加信息接收部分104也可以被配置为与任意视点视频接收部分102相同的功能部分。
对象确定部分105确定是否在屏幕上显示了与所获取的对象信息相关的对象。重要对象确定部分106从在屏幕上出现的对象中指定将会吸引观众注意力的重要对象，并且生成关于该重要对象的特征信息。而且，布局选择部分107将关于重要对象的特征信息和与由附加信息接收部分104接收的布局模板相关的选择条件相比较，由此选择具有符合的选择条件的布局模板。
字幕生成部分108从所选择的布局模板生成字幕显示数据。
现在说明具有上述配置的显示数据生成设备100的操作。
首先，将说明用于控制字幕的显示的操作。对象确定部分105根据通过视点信息输入部分101输入的视点信息来从由附加信息接收部分104接收的对象信息中提取在屏幕上出现的对象。接着，重要对象确定部分106从在屏幕上出现的对象中确定将会吸引观众注意力的重要对象，并且生成关于该重要对象的特征信息。而且，布局选择部分107将关于重要对象的特征信息和与附加信息接收部分104接收的布局模板相关的选择条件相比较，由此选择符合的布局模板。
根据所选择的布局模板，字幕生成部分108从由附加信息接收部分104接收的、用于说明字幕的材料中选择适用于模板的各个部分的所需要的信息。字幕生成部分108通过使用所选择的布局模板和所选择的关于字幕的说明来生成字幕显示数据。最后，视频叠加部分109在所生成的字幕显示数据上叠加任意视点视频，并且将如此叠加的数据输出至未示出的视频显示装置。
现在详细说明对象信息和视点信息的定义。
图2是在概念上示出由本发明的第一实施例的显示数据生成设备使用的对象信息的数据结构的视图。如图2A中所示，对象信息D8100由对象标识信息D8101和对象位置D8102构成。对象标识信息D8101表示名称和对象ID，而对象位置D8102表示对象的当前位置。可以通过GPS、超声波雷达和图像识别等来测量与对象的位置相关的坐标数据。所述对象被感知为坐标点。例如，如图2B中所示，与三个对象A、B和C相关，生成了对象标识信息:A-作为关于A先生/女士的对象信息的对象位置(-12米，0米，16米)；对象标识信息:B-作为关于B先生/女士的对象信息的对象位置(-36米，0米，48米)；以及，对象标识信息:C-作为关于C先生/女士的对象信息的对象位置(60米，0米，80米)。
接着描述视点信息。任意视点视频接收部分102通过使用被分配给在观众期望的位置的虚拟摄像机的参数，从已经从中心分发、并且从多个视点的位置捕获的视频数据生成观众期望的任意视点视频。图3是在概念上示出本发明的第一实施例的显示数据生成设备使用的视点信息的数据结构的视图。在本实施例中，所述视点信息是用于指定被分配给虚拟摄像机的参数的信息；即，视点位置、视线方向和视野角(视角)。如图所示，视点信息D8200由视点位置D8201、视线方向D8201和视角D8203构成。图4是用于描述视点信息的项目的示意图。视点的位置是用于生成任意视点屏幕的虚拟摄像机的位置，并且被表达为虚拟摄像机的三维位置坐标(x，y，z)。视线方向对应于虚拟摄像机执行成像的方向，并且由两个参数来表达；即，水平分量和垂直分量(摇摄角度α和倾斜角度β)。视角通过由虚拟摄像机捕获的视频的范围来标识；即视角θ。视角一般由两个参数来表示:即水平视角和垂直视角，并且在本实施例中，假定如果所捕获的视频的纵横比被预先固定到16:9的值，则仅仅通过使用水平视角来表达。视点信息的参数不总是需要通过在本实施例中描述的7个参数表达，并且也可以通过任何信息表达，只要可以通过所述信息来指定成像位置、成像方向和视角。
现在详细说明用于控制字幕的显示的、在操作期间各个部分执行的处理。
首先，将描述对象确定部分104的对象确定处理。图5是用于说明确定对象的方法的示意图。如图所示，如果虚拟摄像机的位置被用作顶点，则沿着在视线方向上确定的虚拟摄像机的方向、通过虚拟摄像机的水平视角θ1和垂直视角θ2来定义锥体的三维视场。当在视场中存在任意对象(点)时，对象确定部分104确定在从视点信息确定的屏幕上显示对象。例如，因为在附图中的对象P1存在于三维视场中，因此对象确定部分104确定对象P1被显示在屏幕上。同时，因为对象P2不存在于所述三维视场中，因此对象确定部分104确定对象P2不显示在屏幕上。
同样，图6是用于说明对象确定部分104如何感知多个对象的示意图。图6A是示出当沿着Y轴向下观看时由某一虚拟摄像机生成的视场的视图。按照各个对象是否存在于所述三维视场中，对象确定部分104确定在视场中存在的对象A、B和C被显示在屏幕上，并且在视场中不存在的对象D和E不显示在屏幕上。图6B是示出在图6A所示的条件下捕获的任意视点屏幕的示意图。对象A、B和C被显示在屏幕上，并且对象D和E未被显示为屏幕上。
接着，将说明重要对象确定部分106的重要对象确定处理。图7是用于说明重要对象确定方法的示意图。按照用于确定重要对象的规则来说明会吸引观众的注意力的重要对象。在本实施例中，用于确定重要对象的规则被定义为“将在屏幕上出现的对象中位于最接近虚拟摄像机(视点的位置)的范围内的对象确定为将会吸引观众的注意力的重要对象。”
如图7中所示，对应于在屏幕上出现的三个对象A、B和C的对象位置相对于虚拟摄像机的位置(即视点位置(0米，0米，0米))是(-12米，0米，16米)、(-36米，0米，48米)和(60米，0米，80米)。通过计算空间中的两个点之间的距离，在对象A和虚拟摄像机之间的距离L1、在对象B和虚拟摄像机之间的距离L2和在对象C和虚拟摄像机之间的距离L3被计算为20米、60米和100米。因此，重要对象确定部分106将最接近虚拟摄像机的对象A确定为重要对象。
在本实施例中，将对象和虚拟摄像机之间的距离用作用于指定将吸引观众的吸引力的重要对象的确定方法，但是本发明不限于所述距离。
现在将描述用于生成关于重要对象的特征信息的处理，其是由重要对象确定部分106执行的另一个处理。关于对象的特征信息是表示如何显示对象的信息。用于指定观众看到的对象的大小的对象的屏幕份额(screen share)被用作关于对象的特征信息。图8是用于说明计算对象的屏幕份额的方法的示意图。在本实施例中，通过将在屏幕上出现的对象的大小除以屏幕大小而确定的值被用作对象的屏幕份额，如方程1所示。更精确而言，在屏幕上出现的对象的大小应当被指示为在屏幕上出现的对象的面积。但是，在本实施例中，所述对象被投影在如图所示的X-Z屏幕上，并且通过沿着X轴投影对象而获取的长度被视为在屏幕上出现的对象的大小。
[数学表达式1]
ρ＝K’/H’                     (方程1)
附图标号ρ指定对象的屏幕份额；K’指定对象在屏幕上的大小；以及，H’指定屏幕的大小。而且，附图标号K指定对象的实际大小，并且H指定与屏幕平行、并且通过被识别为对象的点的类似附图的大小。根据类似性原理获得K’/H’＝K/H，并且将所述关系代入方程1，由此获得方程2。
[数学表达式2]
ρ＝K/H                         (方程2)
而且，如图8中所示，附图标号L指定对象到虚拟摄像机的位置的距离，并且从三角法函数得出方程3。
[数学表达式3]
tan(θ/2)＝(H/2)L               (方程3)
在方程3转换后，获得方程4。
[数学表达式4]
H＝2*L*tan(θ/2)                (方程4)
方程4被代入方程2，并且代入结果被转换，由此获得方程5。
[数学表达式5]
ρ＝K/(2*L*tanθ/2)                 (方程5)
其中，K指定由例如选手的宽度表达的对象的实际大小，并且通过近似地忽略个体差别而被预先提供为常数。如上所述，通过方程5近似地计算对象的屏幕份额。按照方程5，随着对象接近摄像机或者随着视角变窄，所述屏幕份额变大。
接着，通过使用在图7中所示的前述实施例来具体计算重要对象的屏幕份额。在图7所示的实施例中，附图标号A指定重要对象。对象A与虚拟摄像机的距离是20米；摄像机的位置是(0米，0米，0米)；并且水平视角是5度。如果对象的实际大小(选手的宽度)是常数值0.80米，则重要对象A的屏幕份额ρ从方程5确定为0.458。下面，为了简化描述，从所生成的关于重要对象的特征信息和关于所接收的重要对象的对象标识信息形成的信息被用作重要对象信息。因此，在图7所示的实施例中，从对象标识信息A和屏幕份额0.458形成所述重要对象信息。虽然在本实施例中将对象的屏幕份额用作特征信息，但是特征信息不限于屏幕份额。
现在将描述布局选择部分107的布局选择处理。根据由重要对象确定部分106生成的重要对象信息，布局选择部分107为符合当前视频屏幕上的对象的配置的显示字幕选择适合的布局模板，并将如此选择的布局模板提交至字幕生成部分108。具体上，布局选择部分107从由附加对象接收部分104接收的布局模板选择具有满足由重要对象确定部分106提取的重要对象的屏幕份额的选择条件的布局模板。
图9是在概念上示出在本发明第一实施例的显示数据生成设备中使用的布局模板的数据结构的视图。如图所示，布局模板D8400由选择条件D8401和布局项目D8402构成。在本实施例中，用于选择布局模板的条件被描述为选择条件D8401，并且被下限屏幕份额和上限屏幕份额限定。只要对象的屏幕份额落在所述下限和所述上限之间的范围中，则满足用于选择布局模板的条件，布局项目D8402是用于布置字幕的信息，并且由诸如项目位置、材料类型和项目属性的数据构成。项目的属性不是必不可少的。
图10是用于描述选择布局模板的方法的示意图。所述附图描述了向附加信息接收部分104提供三个布局模板D102、D103和D104的情况。布局模板D102具有符合从0.4到0.8的屏幕份额的选择条件，其中，布置了用于介绍选手的姓名、击球率和年龄的项目以及用于介绍比赛的状态(对方队的名称和分数)的项目。同时，布局模板D103具有符合从0.05到0.4的屏幕份额的选择条件，其中，布置了对方队名称和分数。而且，布局模板D104具有符合从0到0.05的屏幕份额的选择条件，其中，布置了每次获取的对方队的分数的显示。
如图10中所示，由重要对象确定部分D106提取的重要对象信息D101中包括的重要对象的屏幕份额是0.458。因此，布局选择部分107确定具有从0.4到0.8的屏幕份额的布局模板D102符合选择条件。因此，布局选择部分107提取布局模板D102，并且将如此提取的模板用作用于显示目的的布局模板。
图11是示出布局模板的示例显示的示意图。所述示例显示体现在图10中所示的布局模板D102的显示。在所述布局模板中，在屏幕的左上获得的位置坐标是(0，0)，并且屏幕被假定具有1600像素的宽度和1200像素的高度。如图所示，布局模板的部分由固定显示部分、整体公共部分和对象相关部分构成。
在所述布局模板中，固定显示部分是其中确定项目位置和显示内容、并且主要由阴影背景和标签形成的部分。在屏幕上的所述固定显示部分的布局由“项目位置”确定。而且，在固定显示部分中，通过属于布局项目的“显示内容”来确定显示内容。例如，如图11中所示，背景D201、背景D202、名称标签D205、年龄标签和击球率(batting average)标签等是固定显示部分。通过背景202的项目的位置(即左上位置(20，900)和右下位置(1580，1180))来确定背景202在屏幕上的布局。如在背景202的情况中那样，通过名称标签D205的项目的位置(即左上位置(100，1020)和右下位置(270，1100))来确定名称标签D205在屏幕上的布局。可以类似地确定附图的其他固定显示部分在屏幕上的布局。
所述整体公共部分是不依赖于特定对象的布局模板的一部分。整个公共部分主要由关于队的信息、分数信息等构成。通过“项目位置”来确定在屏幕上的整体公共部分的布局。例如，如图11所示，两队的队1的队名称被布置在布局模板的部分D203中。通过部分D203的项目的位置来确定部分D203在屏幕上的布局，所述部分D203的项目的位置即左上位置(30，30)和右下位置(160，130)。而且，关于部分D203的特定信息由在布局项目中包括的“材料类型”的“队信息/队1”和“项目属性”的“队名称”形成。下面将说明用于通过具体信息提取关于字幕的说明的方法。类似的，在布局模板的部分D204中布置了两队的队1的分数。通过部分D204的项目的位置来确定部分D204在屏幕上的布局，所述部分D204的项目的位置即左上位置(30，150)和右下位置(160，200)。
关于部分D204的具体信息由在布局项目中包括的“材料类型”的“队信息/队1”和“项目属性”的“分数”形成。下面也说明用于通过具体信息填充关于字幕的说明的方法。也可以同样地确定附图的其他整体公共部分在屏幕上的布局。
所述对象相关部分是依赖于布局模板中的具体对象的部分。所述对象相关部分主要由与选手相关的说明信息等形成。所述对象相关部分在屏幕上的布局也由项目的位置确定，例如，如图11所示，在部分D206中布置了任意选手的姓名。通过部分D206的项目的位置来确定部分D206在屏幕上的布局，所述部分D206的项目位置即左上位置(290，1020)和右下位置(760，1100)。关于部分D206的具体信息由在布局的项目中包括的“材料类型”的“选手”和“项目属性”的“选手姓名”形成。下面将说明通过具体信息来提取关于字幕的说明的方法。而且，附图的其他对象相关部分在屏幕上的布局也可以类似地确定。也可以将示出在屏幕上的部分的叠加顺序的信息添加到布局模板的每个部分上。例如，其中在背景部分之前的位置显示标签部分的布局是有可能的。
现在将描述字幕生成部分108的字幕生成处理。根据所提取的布局模板，字幕生成部分108从用于说明由附加信息接收部分104接收的字幕的材料选择关于字幕的说明，由此生成字幕显示数据。
图12和13是概念上示出用于说明字幕的材料的数据结构的视图。如图12所示，字幕说明材料D8500由材料类型D8501和字幕说明项目D8502形成。字幕说明项目D8502由项目属性和字幕说明形成。材料类型D8501是用于指定用于说明字幕的材料的信息。可以通过分层描述方法来描述材料类型D8501的具体形式。如例如图13A中所示，材料类型被描述为“选手/A”。而且，如图13B中所示，材料类型被描述为“队信息/队1”。
现在将描述用于生成字幕显示数据的过程。图14是示出本发明的第一实施例的显示数据生成设备的字幕显示数据生成处理过程的流程图。首先，字幕生成部分108使用固定显示部分作为字幕显示数据来填充由布局选择部分107选择的布局模板，所述固定显示部分的显示内容和屏幕布局已经被确定，诸如任意阴影背景或者标签(步骤S001)。
接着，字幕生成部分108获取在由布局选择部分107选择的布局模板的整体公共部分内包括的第一材料类型和第一项目属性(步骤S002)。当第一材料类型和在由附加信息接收部分104接收的用于说明字幕的材料中包括的第二材料类型彼此一致时，并且当第一项目属性和在由附加信息接收部分104接收的用于说明字幕的材料中包括的第二项目属性彼此一致时，字幕生成部分108提取符合所述第二材料类型和第二项目属性的字幕的说明。字幕生成部分108按照在整体公共部分中包括的项目的位置使用如此提取的字幕的说明来填充字幕显示数据。
接着，字幕生成部分108获取在由布局选择部分107选择的布局模板中的对象相关部分中包括的第三材料类型和第三项目属性(步骤S003)。字幕生成部分108将所述第三材料类型进一步与在由重要对象确定部分106提取的重要对象信息中包括的对象标识信息相结合，由此生成第四材料类型。当所述第四材料类型与在由附加信息接收部分104接收的用于说明字幕的材料中包括的第五材料类型彼此一致时，并且当第三项目属性和在由附加信息接收部分104接收的用于说明字幕的材料中包括的第五项目属性彼此一致时，字幕生成部分108提取符合第五材料类型和第五项目属性的字幕说明。字幕生成部分108按照在对象相关部分中包括的项目的位置，使用如此提取的字幕的说明来填充字幕显示数据。
通过关于在所提取的布局模板中的部分的叠加顺序的信息，字幕生成部分108调整在字幕显示数据中的部分的叠加的顺序(步骤S004)。可以确定要在字幕显示数据的部分之前的位置显示的部分和要在字幕显示数据的部分之后的位置显示的部分。
图15是用于说明生成字幕显示数据的具体示例的视图。通过使用由在图10中所示的布局选择部分107选择的布局模板来说明所述示例。
如图15所示，在布局模板中的固定显示部分(背景和标签等)被首先填充为字幕显示数据。在模板D300中布置的标签D301的细节是“名称”。在标签D301中，在字幕显示数据D400中的相同坐标位置被填充标签D301的项目的位置。由此，生成部分D401“名称”作为字幕显示数据D400。通过类似处理，可以生成布局模板D300中的其他固定显示部分作为字幕显示数据D400。
不依赖于在布局模板中的特定对象的整体公共部分(关于整个队和分数信息等的信息)被填充为字幕显示数据。在模板D300中布置的部分D302中包括的材料类型D3021对应于“队信息/队1”，并且项目属性D3022对应于“队名称”。同时，在由附加信息接收部分108接收的字幕说明材料D500中，材料类型D501对应于“队信息/队1”，并且项目属性D502对应于“队名称”。因此，材料类型D3021与材料类型D501一致，并且项目属性D3022与项目属性D502一致。因此，与部分D302的坐标位置相同的字幕显示数据400的坐标位置用符合材料类型D501和说明材料D502的字幕说明D503(其值表示“日本”)来填充。结果，生成其内容是“日本”的部分D402作为字幕显示数据D400。可以通过类似的处理生成布局模板D300中的其他整体公共部分作为字幕显示数据D400。
依赖于在布局模板中的特定对象的对象相关部分(选手的介绍等)被填充为字幕显示数据。在模板D300中布置的部分D303中包括的材料类型D3031对应于“选手”，并且项目属性D3032对应于“选手的姓名”。而且，在由重要对象确定部分106提取的重要对象信息D304中包括的对象标识信息D3041对应于“A”。关于重要对象的材料类型D3031和对象标识信息D3041被组合在一起，由此建立新的材料类型D305。材料类型D305的细节对应于
“选手/A”。同时，在字幕说明材料D500中，材料类型D504的细节对应于
“选手/A”，并且项目属性D505的细节对应于“选手的姓名”。因此，材料类型D305与材料类型D504一致，并且项目属性D3032与项目属性D505一致。因此，在与部分D303的坐标位置相同的在字幕显示数据D400中的坐标位置被填充符合材料类型D504和说明材料D505的字幕说明D506(其值表示“日本Ichiro”)。结果，生成部分D403“日本Ichiro”作为字幕显示数据D400。可以通过类似处理生成在布局模板D300中的其他对象相关部分作为字幕显示数据D400。
通过关于在布局模板D300中的所有部分的叠加的顺序的信息，调整在如此生成的字幕显示数据D400中的所有部分的叠加的顺序。
如上所述，按照本发明第一实施例的显示数据生成设备，结合在屏幕上出现的对象而确定吸引观众注意力的重要对象，并且可以按照重要对象的特性(诸如在屏幕上的对象图像的大小)来转换字幕的显示。按照屏幕的显示状态，结合各种任意的视点视频屏幕来同时适当选择关于重要对象的信息，并且以具有适当布局的字幕的形式来显示信息。因此，观众容易注意和适当地理解所显示的字幕的细节。
[第二实施例]
第一实施例的显示数据生成设备根据到摄像机的距离而选择重要对象，并且还按照在屏幕上的对象的大小来选择与一个并且唯一的对象相关的字幕布局模板。相反，在第二实施例中，将描述其中存在多个类型的对象(选手等)，并且其中必须选择不同的对象相关(诸如个人介绍)的字幕布局模板的情况。
图16是用于描述当存在多种类型的对象时发生的问题的视图。在第一实施例的显示数据生成设备中，当被选择为屏幕上的重要对象的选手是在图16A中所示的击球手时，仅仅按照屏幕份额而与选手的类型是野外球员(fieldsman)还是投手无关地选择适当的字幕布局模板。随后，当用作屏幕上的重要对象的选手被改变为另一种类型的选手(诸如如图16B中所示的投手)时，最好选择如图16C中所示的符合投手的字幕布局模板。但是，在第一实施例的显示数据生成设备中，相对于用于选择布局模板的条件，仅查看选手的屏幕份额。因此，如图16B所示选择符合在图16A中所示的屏幕份额的击球手的类似字幕布局模板。
如在图16中所示的实施例的情况那样，即使当同一选手改变为不同的状态时，产生类似的问题。例如，如图16A所示，当任意的选手进入击球区和击球手状态时，选择符合击球手状态的字幕布局模板。但是，当如图16B所示，同一选手进入投手区域以如此进入投手的状态时，优选的是，转换到符合在图16C中所示的投手的状态的字幕布局模板。但是，在第一实施例的显示数据生成设备中，因为相对于用于选择布局模板的条件仅仅查看了选手的屏幕份额，因此如图16B所示选择击球手的字幕布局模板。在诸如足球的另一种情况下，当选手作为前锋和守门员时，类似地选择不同的介绍字幕布局模板。
因此，在第二实施例的显示数据生成设备中，布局选择部分107还向用于选择布局模板的条件添加诸如投手和野外球员的对象属性，并且进一步向对象信息添加对象属性，由此按照对象的屏幕大小(屏幕份额)而选择的布局模板来选择符合重要对象的对象属性和用于选择的条件的布局。因此，当被选择为重要对象的对象的类型(例如投手、野外球员、守门员和前锋等)改变时，可以转换到符合所述改变的字幕。第二实施例的显示数据生成设备在内部配置上与第一实施例的相同，因此省略其说明。
图17是在概念上示出在本发明的第二实施例的显示数据生成设备内使用的对象信息的数据结构的视图。如图17A中所示，与图2A中所示的第一实施例的显示数据生成设备中使用的对象信息D8100相反，对象信息D9100被另外提供有对象属性D9103。对象属性D9103是与对象相关的、用于识别对象的类型和种类的属性。如图17B中所示，对象信息D9901的对象标识信息是A，并且对象属性是“击球手状态”。如图17C中所示，对象信息D9902的对象标识信息是B，并且对象属性是“投手状态”。
图18是在概念上示出在本发明的第二实施例的显示数据生成设备中使用的布局模板的数据结构的视图。与在图9中所示的第一实施例的显示数据生成设备中使用的布局模板D8400相反，布局模板D9400将对象属性D9403加入到选择条件D9401。对象属性D9403是用于确定对象的状态和类型的条件。
现在将描述第二实施例的显示数据生成设备的布局选择部分107的布局选择处理，布局选择部分107从由附加信息接收部分104接收的布局模板检索用于选择满足由重要对象确定部分106提取的重要对象的屏幕份额以及对象属性的布局模板的条件，由此选择符合所述选择条件的布局模板。落入在图18中所示的选择条件D9401中包括的下限屏幕份额和上限屏幕份额之间的范围内的对象的屏幕份额的第一选择条件，和符合在选择条件D9401中包括的对象属性的对象的对象属性的第二选择条件，被用作用于选择布局模板的条件。
图19是用于描述本发明的第二实施例的显示数据生成设备中的布局选择部分107的视图。
如图所示，在重要对象信息D9910中包括的对象属性D9911的细节是“投手的状态”，并且屏幕份额D9912是“0.458”。例如，在任意布局模板的选择条件D9920中包括的下限屏幕份额是“0.4”，在其中包括的上限屏幕份额是“0.8”，并且对象属性是“投手的状态”。在这种情况下，满足超过选择条件D9920的下限屏幕份额并且等于或者小于选择条件D9920的上限屏幕份额的屏幕份额D9912的第一选择条件和符合选择条件D9920的对象属性的对象属性D9911的第二选择条件，因此布局选择部分107确定重要对象D9910满足选择条件D9920。因此，布局选择部分107选择符合选择条件D9920的布局模板。同时，例如，在其他布局模板选择条件D9930中包括的下限屏幕份额是“0.4”，上限屏幕份额是“0.8”，并且对象属性是“击球手状态”。在这种情况下，满足落入在从选择条件D9930的下限屏幕份额到选择条件D9930的上限屏幕份额的范围内的屏幕份额D9912的第一选择条件。但是，不满足符合选择条件D9930的对象属性的对象属性D9911的第二选择条件。因此，布局选择部分107确定重要对象D9910不满足选择条件D9930。因此，布局选择部分107不选择符合选择条件D9930的布局模板。
从由布局选择部分107选择的布局模板生成字幕类似于第一实施例的显示数据生成设备的字幕生成处理，因此省略其说明。
如上所述，本发明的第二实施例的显示数据生成设备使得能够在显示与对象相关的字幕时按照不同的对象类型来转换字幕。而且，即使当单个对象的状态改变(例如作为对象的棒球选手从投球状态向击球状态改变，等等)时，可以适当地转换字幕。如上所述，可以提供适合于观看各种任意视点视频的信息。按照要显示的对象的改变来适当地改变字幕的显示，因此观众可以适当地获取关于对象的信息。
不必说，所述实施例的多个显示数据生成设备甚至适用于提供视点视频的另一个视频分发系统，对于所述视点视频，观众可以通过转换视点来执行选择性观看。例如，所述显示数据生成设备适用于:多方向视频分发系统(多角度分发系统)，其同时分发通过使用多个摄像机而捕获的多角度视频；自由角度视频分发系统，其能够拍摄超宽角度的、特高分辨率的视频，并且能够将视频(视点图像)的一部分切割(slice)，并将切割的部分提交给观众，等等。
虽然已经通过参见具体实施例而详细说明了本发明，但是对于本领域的技术人员而言，显然容许在不脱离本发明的精神和范围的情况下，对本发明进行各种改变或者修改。
本专利申请基于2006年2月13日提交的日本专利申请(JP-A-2006-035175)，其内容通过引用被包含在此。
产业上的应用
本发明的显示数据生成设备可以选择符合屏幕上的对象的配置的适当布局；因此，获得了能够生成适合于各个视频的字幕显示数据的优点；并且对于生成被添加到视频的字幕显示数据的显示数据生成设备等是有用的。

Claims (11)

1.一种显示数据生成设备，包括:
对象确定部分，其根据视点信息和对象信息来确定在屏幕上出现的对象；
重要对象确定部分，其根据由所述对象确定部分提供的确定结果和所述对象信息来确定会吸引观众注意力的重要对象，并且其生成关于所述重要对象的特征信息；
布局选择部分，其从多个布局模板选择具有符合关于所述重要对象的特征信息的选择条件的布局模板；以及，
字幕生成部分，其从所选择的布局模板生成字幕显示数据。
2.根据权利要求1的显示数据生成设备，其中，所述重要对象确定部分通过使用从在所述视点信息内包括的视点的位置到在所述对象信息内包括的对象的位置的距离来确定所述重要对象。
3.根据权利要求2的显示数据生成设备，其中，所述重要对象确定部分将位于离所述视点的位置最短距离的对象确定为所述重要对象。
4.根据权利要求1、2或者3的显示数据生成设备，其中
所述重要对象确定部分根据所述视点信息和所述对象信息，生成作为所述重要对象在屏幕上的大小的、关于所述重要对象的特征信息；及
所述布局选择部分选择具有符合所述重要对象在屏幕上的大小的选择条件的布局模板。
5.根据权利要求4的显示数据生成设备，其中
所述对象信息具有对象属性；
所述布局模板的选择条件具有对象属性；及
所述布局选择部分选择具有符合所述重要对象的对象属性的选择条件的布局模板。
6.一种显示数据生成方法，包括:
对象确定步骤，用于根据视点信息和对象信息来确定在屏幕上出现的对象；
重要对象确定步骤，用于根据确定结果和所述对象信息来确定会吸引观众注意力的重要对象，并且该步骤生成关于重要对象的特征信息；
布局选择步骤，用于从多个布局模板选择具有符合关于所述重要对象的所述特征信息的选择条件的布局模板；以及，
字幕生成步骤，用于从所选择的布局模板生成字幕显示数据。
7.根据权利要求6的显示数据生成方法，其中，所述重要对象确定步骤包括:通过使用从在所述视点信息内包括的视点的位置到在所述对象信息内包括的对象的位置的距离来确定所述重要对象。
8.根据权利要求7的显示数据生成方法，其中，所述重要对象确定步骤包括将位于离视点的位置最短距离的对象确定为所述重要对象。
9.根据权利要求6、7或者8的显示数据生成方法，其中
所述重要对象确定步骤包括:基于所述视点信息和所述对象信息，生成作为所述重要对象在屏幕上的大小的、关于所述重要对象的特征信息；并且，
所述布局选择步骤包括:选择具有符合所述重要对象在屏幕上的大小的选择条件的布局模板。
10.根据权利要求9的显示数据生成方法，其中，所述对象信息具有对象属性；
所述布局模板的选择条件具有对象属性；并且，
所述布局选择步骤包括:选择具有符合所述重要对象的对象属性的选择条件的布局模板。
11.一种显示数据生成程序，用于使得计算机作为下述部件起作用:
对象确定部件，其根据视点信息和对象信息来确定在屏幕上出现的对象；
重要对象确定部件，其根据由所述对象确定部件提供的确定结果和所述对象信息来确定会吸引观众注意力的重要对象，并且其生成关于重要对象的特征信息；
布局选择部件，其从多个布局模板选择具有符合关于所述重要对象的特征信息的选择条件的布局模板；以及，
字幕生成部件，其从所选择的布局模板生成字幕显示数据。
CNA2007800053346A 2006-02-13 2007-02-08 显示数据生成设备 Pending CN101385343A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006035175A JP2007215097A (ja) 2006-02-13 2006-02-13 表示データ生成装置
JP035175/2006 2006-02-13

Publications (1)

Publication Number Publication Date
CN101385343A true CN101385343A (zh) 2009-03-11

Family

ID=38371423

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2007800053346A Pending CN101385343A (zh) 2006-02-13 2007-02-08 显示数据生成设备

Country Status (4)

Country Link
US (1) US20090115895A1 (zh)
JP (1) JP2007215097A (zh)
CN (1) CN101385343A (zh)
WO (1) WO2007094236A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102065244A (zh) * 2009-11-18 2011-05-18 新奥特（北京）视频技术有限公司 一种字幕制作方法和装置
CN102065240B (zh) * 2009-11-18 2015-04-29 新奥特（北京）视频技术有限公司 一种自动播出字幕的字幕机
CN102082934B (zh) * 2009-11-30 2015-07-15 新奥特（北京）视频技术有限公司 字幕对象的更新方法及装置
CN106164819A (zh) * 2014-03-25 2016-11-23 微软技术许可有限责任公司 眼睛跟踪使能智能隐藏字幕

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9037599B1 (en) * 2007-05-29 2015-05-19 Google Inc. Registering photos in a geographic information system, and applications thereof
DE202009014231U1 (de) * 2009-10-21 2010-01-07 Robotics Technology Leaders Gmbh System zur Visualisierung einer Kameralage in einem virtuellen Aufnahmestudio
CN102082933B (zh) * 2009-11-30 2015-04-29 新奥特（北京）视频技术有限公司 一种字幕制作系统
CN102082925B (zh) * 2009-11-30 2015-08-19 新奥特（北京）视频技术有限公司 一种字幕模板的填充方法及装置
JP2011151773A (ja) 2009-12-21 2011-08-04 Canon Inc 映像処理装置及び制御方法
JP5500972B2 (ja) * 2009-12-21 2014-05-21 キヤノン株式会社 放送受信装置及びその制御方法
JP5465620B2 (ja) 2010-06-25 2014-04-09 Ｋｄｄｉ株式会社 映像コンテンツに重畳する付加情報の領域を決定する映像出力装置、プログラム及び方法
JP5835932B2 (ja) * 2010-07-02 2015-12-24 キヤノン株式会社 画像処理装置、及びその制御方法
WO2017066737A1 (en) * 2015-10-16 2017-04-20 Tribune Broadcasting Company, Llc Video-production system with metadata-based dve feature
JP7285045B2 (ja) * 2018-05-09 2023-06-01 日本テレビ放送網株式会社 画像合成装置、画像合成方法及びプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2798182B2 (ja) * 1989-09-07 1998-09-17 富士写真フイルム株式会社 写真プリント方法
JPH08136971A (ja) * 1994-11-08 1996-05-31 Fuji Photo Film Co Ltd 撮影装置及び露光制御方法
JP3927713B2 (ja) * 1998-12-08 2007-06-13 キヤノン株式会社 放送受信装置およびその方法
AUPP923599A0 (en) * 1999-03-16 1999-04-15 Canon Kabushiki Kaisha Displaying items of information
JP4330049B2 (ja) * 1999-06-24 2009-09-09 カシオ計算機株式会社 電子カメラ装置、情報配置方法及びコンピュータ読み取り可能な記録媒体
JP2004128778A (ja) * 2002-10-01 2004-04-22 Sony Corp 表示制御装置、表示制御方法、プログラム
JP3987025B2 (ja) * 2002-12-12 2007-10-03 シャープ株式会社 マルチメディアデータ処理装置およびマルチメディアデータ処理プログラム
JP4348956B2 (ja) * 2003-01-31 2009-10-21 セイコーエプソン株式会社 画像レイアウト装置、画像レイアウト方法、画像レイアウト装置におけるプログラム
JP2004328534A (ja) * 2003-04-25 2004-11-18 Konica Minolta Photo Imaging Inc 画像形成方法、画像処理装置及び画像記録装置
CN1627765B (zh) * 2003-12-10 2010-09-01 松下电器产业株式会社 便携式信息终端装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102065244A (zh) * 2009-11-18 2011-05-18 新奥特（北京）视频技术有限公司 一种字幕制作方法和装置
CN102065240B (zh) * 2009-11-18 2015-04-29 新奥特（北京）视频技术有限公司 一种自动播出字幕的字幕机
CN102082934B (zh) * 2009-11-30 2015-07-15 新奥特（北京）视频技术有限公司 字幕对象的更新方法及装置
CN106164819A (zh) * 2014-03-25 2016-11-23 微软技术许可有限责任公司 眼睛跟踪使能智能隐藏字幕
CN106164819B (zh) * 2014-03-25 2019-03-26 微软技术许可有限责任公司 眼睛跟踪使能智能隐藏字幕
US10447960B2 (en) 2014-03-25 2019-10-15 Microsoft Technology Licensing, Llc Eye tracking enabled smart closed captioning

Also Published As

Publication number Publication date
JP2007215097A (ja) 2007-08-23
WO2007094236A1 (ja) 2007-08-23
US20090115895A1 (en) 2009-05-07

Similar Documents

Publication Publication Date Title
CN101385343A (zh) 显示数据生成设备
US11153625B2 (en) Image display method, image distribution method, image display apparatus, and image distribution apparatus
CN104160369B (zh) 用于使用可移动引导标记来提供交互导航辅助的方法、装置和计算机可读存储介质
US20200389640A1 (en) Method and device for transmitting 360-degree video by using metadata related to hotspot and roi
US20130278727A1 (en) Method and system for creating three-dimensional viewable video from a single video stream
JP4185333B2 (ja) 映像配信装置および映像受信装置
CN108605140A (zh) 用于360度视频回放的空间增强的自适应比特率直播流送的方法和装置
JP2014215828A (ja) 画像データ再生装置、および視点情報生成装置
JP2003283981A (ja) 映像コメント入力・表示方法およびシステムと、クライアント装置と、映像コメント入力・表示プログラム及びその記録媒体
JP2006197373A (ja) 視聴者情報測定装置
CN106658220B (zh) 字幕创建装置、展示模块以及字幕创建展示系统
KR102207457B1 (ko) 표시 제어 장치 및 표시 제어 방법
US20170195706A1 (en) Method and device for providing a video stream for an object of interest
KR20170086203A (ko) 스포츠 중계 서비스 제공 방법
CN107409239B (zh) 基于眼睛追踪的图像传输方法、图像传输设备及图像传输系统
US20210266511A1 (en) Information processing system, information processing method, and storage medium
KR20150097609A (ko) 이머전 통신 클라이언트, 서버 및 컨텐츠 뷰를 획득하는 방법
CN113891060A (zh) 自由视点视频重建方法及播放处理方法、设备及存储介质
Mase et al. Socially assisted multi-view video viewer
CN112954443A (zh) 全景视频的播放方法、装置、计算机设备和存储介质
CN113709542A (zh) 一种交互式全景视频播放的方法和系统
US20130205334A1 (en) Method and apparatus for providing supplementary information about content in broadcasting system
EP1071278A2 (en) Multi-camera, multi-feed and interactive virtual insertion systems and methods
US20220165308A1 (en) Point of view video processing and curation platform
KR101587442B1 (ko) 타겟팅 증강 콘텐츠 제공 시스템, 증강 콘텐츠 제공 방법 및 장치, 증강 콘텐츠 등록 방법 및 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20090311