CN101527807B - 数据处理设备、数据处理方法和程序 - Google Patents

数据处理设备、数据处理方法和程序 Download PDF

Info

Publication number
CN101527807B
CN101527807B CN2009101269156A CN200910126915A CN101527807B CN 101527807 B CN101527807 B CN 101527807B CN 2009101269156 A CN2009101269156 A CN 2009101269156A CN 200910126915 A CN200910126915 A CN 200910126915A CN 101527807 B CN101527807 B CN 101527807B
Authority
CN
China
Prior art keywords
content
control data
image
data
editor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2009101269156A
Other languages
English (en)
Other versions
CN101527807A (zh
Inventor
安藤一隆
近藤哲二郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101527807A publication Critical patent/CN101527807A/zh
Application granted granted Critical
Publication of CN101527807B publication Critical patent/CN101527807B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3027Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded

Abstract

一种数据处理设备,包括:内容接收单元,被配置为接收多个内容;控制数据接收单元,被配置为接收控制数据,所述控制数据包括为所述多个内容的每一个设置以便处理每个内容的处理参数、以及指示所述每个内容作为编辑的内容输出的输出定时的定时参数,所述编辑的内容是已经经历编辑的内容,所述控制数据用于编辑所述多个内容以便生成所述编辑的内容;以及编辑单元,被配置为通过根据包含在所述控制数据中的所述处理参数和所述定时参数编辑所述多个内容,生成所述编辑的内容。

Description

数据处理设备、数据处理方法和程序
技术领域
本发明涉及数据处理设备、数据处理方法和程序。更具体地,本发明涉及可能提高编辑的自由度的数据处理设备、数据处理方法和程序。
背景技术
例如,在现有技术的电视广播的情况下,在广播站中编辑作为所谓素材的包含图像和声音的内容(下文中,也称为素材内容),并且作为节目广播作为编辑的结果获得的内容(下文中,也称为编辑的内容)。
因此,在电视广播的接收端,将编辑的内容作为节目观看。
也就是说,在接收端,用户不能够观看例如在编辑期间忽略的场景或从与包括在编辑的内容中的图像的角度不同的角度看到的场景。
此外,在接收端,当用户要执行内容的编辑时,执行关于编辑的内容的编辑。因此,尽管用户可以再次执行这种编辑以便从编辑的内容忽略对于用户不必要的场景,但是用户不可能执行这种编辑以便插入在广播站中的编辑期间忽略的场景。
另一方面,在称为多视图(multi-view)广播的广播的情况下,从广播站发出描述关于图像和声音的多个切换模式的信息的多视图自动切换表。然后,在接收端,通过使用该多视图自动切换表切换图像和声音,从而使得可能根据用户选择的切换模式切换图像和声音(参见,例如,日本未审专利申请公开No.2002-314960)。
发明内容
在现有技术中,能够在接收端执行的编辑的自由度不是非常高。
也就是说,在现有技术中,难以对多个素材内容的每一个执行如图像质量调整的处理。
因而希望提高编辑的自由度,从而使得可能例如提供适于该用户的内容。
根据本发明的实施例的数据处理设备或程序是处理内容的数据处理设备或用于使得计算机用作所述数据处理设备的程序,所述数据处理设备包括:内容接收装置,用于接收多个内容;控制数据接收装置,用于接收控制数据,所述控制数据包括为所述多个内容的每一个设置以便处理所述内容的每一个的处理参数、以及指示所述内容的每一个作为编辑的内容输出的输出定时的定时参数,所述编辑的内容是已经经历编辑的内容,所述控制数据用于编辑所述多个内容以便生成所述编辑的内容;以及编辑装置,用于通过根据包含在所述控制数据中的所述处理参数和所述定时参数编辑所述多个内容,生成所述编辑的内容。
根据本发明的实施例的数据处理方法是用于处理内容的数据处理设备的数据处理方法,包括以下步骤:接收多个内容,以及接收控制数据,所述控制数据包括为所述多个内容的每一个设置以便处理所述内容的每一个的处理参数、以及指示所述内容的每一个作为编辑的内容输出的输出定时的定时参数,所述编辑的内容是已经经历编辑的内容,所述控制数据用于编辑所述多个内容以便生成所述编辑的内容;以及通过根据包含在所述控制数据中的所述处理参数和所述定时参数编辑所述多个内容,生成所述编辑的内容。
根据如上所述的实施例,接收多个内容,并且还接收控制数据。所述控制数据包括为所述多个内容的每一个设置以便处理所述内容的每一个的处理参数、以及指示所述内容的每一个作为编辑的内容输出的输出定时的定时参数,所述编辑的内容是已经经历编辑的内容,并且所述控制数据用于编辑所述多个内容以便生成所述编辑的内容。然后,通过根据包含在所述控制数据中的所述处理参数和所述定时参数编辑所述多个内容,生成所述编辑的内容。
根据本发明的实施例的数据处理设备或程序是执行编辑多个内容的处理的数据处理设备或用于使得计算机用作所述数据处理设备的程序,所述数据处理设备包括:生成装置,用于生成为所述多个内容的每一个设置以便处理所述内容的每一个的处理参数、以及指示所述内容的每一个作为编辑的内容输出的输出定时的定时参数,所述编辑的内容是已经经历编辑的内容;编辑装置,用于通过根据所述处理参数和所述定时参数编辑所述多个内容,生成所述编辑的内容;以及输出装置,用于输出控制数据,所述控制数据包括所述处理参数和所述定时参数,并且用于编辑所述多个内容以便生成所述编辑的内容。
根据本发明的实施例的数据处理方法是用于执行编辑多个内容的处理的数据处理设备的数据处理方法,包括以下步骤:生成为所述多个内容的每一个设置以便处理所述内容的每一个的处理参数、以及指示所述内容的每一个作为编辑的内容输出的输出定时的定时参数,所述编辑的内容是已经经历编辑的内容;通过根据所述处理参数和所述定时参数编辑所述多个内容,生成所述编辑的内容;以及输出控制数据,所述控制数据包括所述处理参数和所述定时参数,并且用于编辑所述多个内容以便生成所述编辑的内容。
根据如上所述的实施例,生成为所述多个内容的每一个设置以便处理所述内容的每一个的处理参数、以及指示所述内容的每一个作为编辑的内容输出的输出定时的定时参数,所述编辑的内容是已经经历编辑的内容。然后,通过根据所述处理参数和所述定时参数编辑所述多个内容,生成所述编辑的内容。另一方面,输出控制数据,所述控制数据包括所述处理参数和所述定时参数,并且用于编辑所述多个内容以便生成所述编辑的内容。
应该理解,所述数据处理设备可以是独立的设备,或可以是构成各个设备的内部块。
此外,所述程序可以通过经由传输介质传输或通过记录在记录介质上来提供。
根据上述实施例,可以提高编辑的自由度。
附图说明
图1是示出应用本发明的实施例的广播系统的配置示例的图;
图2是示出设置单元和编辑单元的配置示例的框图;
图3是示出提取窗口和素材图像的图;
图4A到4C是图示变焦处理单元中的处理的图;
图5是示出转换设备的配置示例的框图;
图6是图示设置单元和编辑单元中的处理的流程图;
图7是图示设置单元和编辑单元中的处理的流程图;
图8是示出回放单元的配置示例的框图;
图9是图示回放单元中的处理的流程图;以及
图10是示出应用本发明的实施例的计算机的配置示例的框图。
具体实施方式
图1示出应用本发明的实施例的广播系统的配置示例。
在图1中,广播系统包括发送端设备1和接收端设备2。
可以提供多个发送端设备1。这同样适用于接收端设备2。
发送端设备1例如是广播站端的设备,并且包括多个例如两个相机111和112以及广播设备12。
相机111和112用例如三脚架等固定在适当位置。相机111和112拍摄体育比赛(如足球或棒球)、歌手的音乐会、相机(多点相机)安装在多个位置中的事件等,并且提供作为结果获得的图像和声音到广播设备12,作为用作素材的素材内容。
关于此点,相机111和112安装在不同的位置,并且从不同角度拍摄图像。
此外,相机111和112是具有大量像素的高清晰度相机,并且拍摄广角图像。
不总是需要用三脚架等将相机111和112固定在适当位置。
此外,不但可能提供两个相机111和112而且可能提供三个或更多相机。
广播设备12包括设置单元21、编辑单元22、监视器23、发送单元241、242和243等,并且是执行如编辑作为来自相机111和112的多个内容的两个素材内容的处理的数据处理设备。
设置单元21响应于由作为节目的制作者的内容制作者(用户)等进行的用于指示编辑的编辑操作,生成处理参数和定时参数,并且将处理参数和定时参数提供给编辑单元22。
此外,设置单元21输出控制数据,所述控制数据用于通过编辑作为多个内容的两个素材内容(包括用相机111获得的素材内容#1和用相机112获得的素材内容#2)生成编辑的内容,所述编辑的内容是已经经历编辑的内容。
将由设置单元21输出的控制数据提供给发送单元243
关于此点,处理参数是用于处理素材内容的参数,并且为每个素材内容生成。在此示例中,存在两个素材内容(用相机111获得的素材内容#1和用相机112获得的素材内容#2)作为素材内容,所以为两个素材内容#1和#2的每一个生成处理参数。
此外,定时参数是指示素材内容作为编辑的内容输出的输出定时的参数,并且对应于例如所谓编辑点(IN点和OUT点)。
应该注意,例如,素材内容#1作为编辑的内容输出的情况包括:编辑的内容从另一素材内容#2切换为素材内容#1的情况,以及素材内容#1合成到另一素材内容#2以便作为编辑的内容输出的情况。
编辑单元22根据从设置单元21提供的处理参数和定时参数,编辑作为分别从相机111和112提供的多个内容的两个素材内容#1和#2,从而生成并且输出编辑的内容。
将由编辑单元22输出的编辑的内容提供到监视器23。
监视器23由显示器、扬声器等配置,并且呈现来自编辑单元22的编辑的内容。也就是说,监视器23显示包括在编辑的内容中的图像(包括文字),并且还输出包括在编辑的内容中的声音。
发送单元241对从相机111提供到广播设备12的素材内容#1应用调制和其它必要的处理,并且发送作为结果的素材内容#1。发送单元242对从相机112提供到广播设备12的素材内容#2应用调制和其它必要的处理,并且发送作为结果的素材内容#2。
发送单元243对从设置单元21提供的控制数据应用调制和其它必要的处理,并且发送作为结果的控制数据。
因此,在广播设备12中,不发送编辑的内容本身作为节目。发送已经对其执行用于生成编辑的内容的编辑的素材内容#1和#2、以及包括关于素材内容#1和#2的每一个的处理参数和定时参数的控制数据,来替代发送编辑的内容。
关于此点,可以通过根据在由广播设备12发送的控制数据中包括的处理参数和定时参数,编辑由广播设备12发送的两个素材内容#1和#2,生成由监视器23呈现的编辑的内容。
由监视器23呈现的这种编辑的内容是通过根据由内容制作者进行的编辑操作编辑而获得的内容,该内容反映了内容制作者的意图。下文中,编辑的内容也称为标准内容。
此外,包括在用于生成该标准内容的编辑中使用的处理参数和定时参数的控制数据也称为标准控制数据。
从广播设备12发送的素材内容#1和#2、以及标准控制数据由接收端设备2接收和处理。
也就是说,接收端设备2包括接收设备41、监视器42、用户I/F(接口)43等。
接收设备41包括接收单元511、512和513、以及回放单元52,并且是接收和处理来自广播设备12的素材内容#1和#2、以及标准控制数据的数据处理设备。
也就是说,接收单元511从广播设备12接收素材内容#1,施加调制和其它必要处理,并且将作为结果的素材内容#1提供给回放单元52。接收单元512从广播设备12接收素材内容#2,施加调制和其它必要处理,并且将作为结果的素材内容#2提供给回放单元52。
接收单元513从广播设备12接收标准控制数据,施加调制和其它必要处理,并且将作为结果的标准控制数据提供给回放单元52。
此外,根据需要,将数据(信号)从用户I/F 43、外部介质44或网络(未示出)提供到回放单元52。
也就是说,用户I/F 43例如是提供到遥控器或接收设备41的外壳的按钮等(未示出)。当由用户操作时,I/F 43提供(发送)响应于操作的操作信号到回放单元52。
外部介质44例如是外部可移除介质(如存储卡),并且可以安装到回放单元52和从回放单元52移除。控制数据等可以记录(存储)在外部介质44上。当安装外部介质44时,回放单元52根据需要读取和接收记录在外部介质44上的控制数据。
回放单元52能够经由因特网或其它这种网络执行通信。根据需要,回放单元52从网络上的服务器下载和接收控制数据。
回放单元52根据例如包括在来自接收单元513的标准控制数据中的处理数据和定时参数,编辑来自接收单元511的素材内容#1和来自接收单元512的素材内容#2,从而生成编辑的内容(标准内容)。
此外,回放单元52根据例如包括在从外部介质44或网络接收的控制数据中的处理数据和定时参数,编辑来自接收单元511的素材内容#1和来自接收单元512的素材内容#2,从而生成编辑的内容。
此外,回放单元52根据例如响应于来自用户I/F 43的操作信号生成的处理数据和定时参数,编辑来自接收单元511的素材内容#1和来自接收单元512的素材内容#2,从而生成编辑的内容。
关于此点,在根据包括在标准控制数据中的处理数据和定时参数、在回放单元52中执行编辑的情况下,生成标准内容作为编辑的内容。
另一方面,在根据包括在从外部介质44或网络接收的控制数据中的处理数据和定时参数或响应于来自用户I/F 43的操作信号生成的处理数据和定时参数、在回放单元52中执行编辑的情况下,不必生成标准内容作为编辑的内容。
将由回放单元52生成的编辑的内容提供到监视器42并且呈现。
也就是说,监视器42由显示器、扬声器等配置,并且显示包括在来自回放单元52的编辑的内容中的图像,并且还输出包括在编辑的内容中的声音。
关于此点,内容的示例包括图像内容、声音内容、图像、以及包括伴随该图像的声音的内容。以下,为了简化描述,描述将聚焦于图像内容(至少包括图像的内容)。
应该理解,图1中的广播系统可应用于图像内容、声音内容、包含图像和声音的内容等的任何一个。
图2显示图1中的设置单元21和编辑单元22的配置示例。
在图2中,设置单元21包括:用户I/F 60、控制数据生成单元61、控制单元62、输入控制单元631和632、切换器控制单元64、特效控制单元65、同步数据生成单元66、控制数据记录单元67等。设置单元21响应于由作为发送端设备1的用户的内容制作者等进行的操作,生成处理参数和定时参数。
也就是说,用户I/F 60是用于执行编辑操作的操作面板等。当由作为用户的内容制作者等操作时,用户I/F 60提供响应于该操作的操作信号给控制数据生成单元61。
响应于来自用户I/F 60的操作信号,控制数据生成单元61生成关于素材内容#1和#2的每一个的处理参数,并且还生成定时参数。此外,控制数据生成单元61生成包括处理参数和定时参数的控制数据(标准控制数据)。
然后,控制数据生成单元61将处理参数和定时参数提供给控制单元62,并且将控制数据提供给控制数据记录单元67。
关于此点,如上所述,控制数据生成单元61响应于来自用户I/F 60的操作信号,生成关于素材内容#1和#2的每一个的处理参数。因此,在例如内容制作者进行用于指示要应用到素材内容#1和#2的不同处理的编辑操作的情况下,响应于该编辑操作,在控制数据生成单元61中生成关于素材内容#1和#2的不同处理参数。
控制单元62控制构成设置单元21的各个单元。
也就是说,控制单元62根据来自控制数据生成单元61的处理参数和定时参数,控制输入控制单元631和632、切换器控制单元64、或特效控制单元65。
控制单元62控制例如控制数据生成单元61或控制数据记录单元67。
输入控制单元631根据控制单元62的控制,控制构成编辑单元22的变焦处理单元711和图像质量调整单元721
输入控制单元632根据控制单元62的控制,控制构成编辑单元22的变焦处理单元712和图像质量调整单元722
切换器控制单元64根据控制单元62的控制,控制构成编辑单元22的输入选择单元73。
特效控制单元65根据控制单元62的控制,控制构成编辑单元22的特效生成单元74。
同步数据生成单元66生成同步数据,并且将同步数据提供到控制数据记录单元67。
也就是说,将从相机111提供到编辑单元22的素材内容#1的图像、以及从相机112提供到编辑单元22的素材内容#2的图像提供到同步数据生成单元66。
同步数据生成单元66生成标识素材内容#1的图像的每个帧(或场)的信息作为同步数据,并且将每个帧的同步数据提供到控制数据记录单元67。
同步数据生成单元66还生成关于素材内容#2的图像的同步数据,并且将同步数据提供到控制数据记录单元67。
关于此点,例如可以采用附加到图像的时间代码作为标识图像的每个帧的同步数据。
此外,可以采用帧的特征值、包括该帧的若干连续帧的各个特征值的序列等作为每个帧的同步数据。
可能采用例如如日本专利申请公开No.2007-243259或日本专利申请公开No.2007-235374中描述的、帧的特定区域(包括整个区域)中像素值的附加值、该附加值的若干较低位等作为帧的特征值。
控制数据记录单元67记录(存储)与从同步数据生成单元66提供的同步数据相关联的、从控制数据生成单元61提供的控制数据。
也就是说,控制数据记录单元67将用于素材内容#i(这里,i=1、2)的图像的处理参数与素材内容#i的帧的同步数据相关联,所述处理参数包括在从控制数据生成单元61提供的控制数据中,对所述素材内容#i应用所述根据处理参数的处理。
控制数据记录单元67适当地将与同步数据相关联的控制数据(标准控制数据)输出到发送单元243(图1)。
编辑单元22包括变焦处理单元711和712、图像质量调整单元721和722、输入选择单元73、特效生成单元74等。编辑单元22通过根据由控制数据生成单元61生成的处理参数和定时参数,编辑从相机111和112提供的素材内容#1和#2的图像,生成编辑的内容(标准内容)的图像,并且将图像输出到监视器23。
也就是说,将从相机11i提供到编辑单元22的素材内容#i的图像提供到变焦处理单元71i
变焦处理单元71i根据输入控制单元63i的控制,执行从来自相机11i的素材内容#i的图像提取要作为编辑的内容输出的图像的区域。
变焦处理单元71i将从来自相机11i的素材内容#i的图像提取的区域的图像提供到图像质量调整单元72i
关于此点,应该注意,变焦处理单元71i根据需要执行例如改变从来自相机11i的素材内容#i的图像提取的区域的图像的大小的处理(调整大小),从而将从来自相机11i的素材内容#i的图像提取的区域的图像转换为与编辑的内容的图像匹配的大小(像素的数目)的图像。
以下将给出由变焦处理单元71i执行的、从来自相机11i的素材内容#i的图像提取要作为编辑的内容输出的图像的区域的处理的细节。
图像质量调整单元72i根据输入控制单元63i的控制,执行调整来自变焦处理单元71i的素材内容#i的图像的图像质量的处理。
例如,图像质量调整单元72i执行噪声移除处理。也就是说,图像质量调整单元72i将来自变焦处理单元71i的素材内容#i的图像转换为具有减小的噪声的图像。
此外,图像质量调整单元72i执行例如改善来自变焦处理单元71i的素材内容#i的图像的分辨率的处理。也就是说,图像质量调整单元72i将来自变焦处理单元71i的素材内容#i的图像转换为具有更高分辨率的图像。
此外,图像质量调整单元72i执行例如增强来自变焦处理单元71i的素材内容#i的图像的边缘的处理。也就是说,图像质量调整单元72i将来自变焦处理单元71i的素材内容#i的图像转换为具有增强的边缘的图像。
此外,图像质量调整单元72i执行例如改善来自变焦处理单元71i的素材内容#i的图像的对比度的处理。也就是说,图像质量调整单元72i将来自变焦处理单元71i的素材内容#i的图像转换为具有更高对比度的图像。
应该理解,在变焦处理单元71i和图像质量调整单元72i中应用到素材内容#i的图像的处理的种类由关于素材内容#i的处理参数确定,素材内容#i从控制数据生成单元61提供到控制单元62。
将通过图像质量调整单元72i中的处理获得的素材内容#i的图像提供到输入选择单元73。
输入选择单元73根据切换器控制单元64的控制,从来自图像质量调整单元721的素材内容#1的图像和来自图像质量调整单元722的素材内容#2的图像中选择要作为编辑的内容的图像输出的(各)图像。
关于此点,要通过输入选择单元73选择的图像由从控制数据生成单元61提供到控制单元62的定时参数确定。
也就是说,例如,在定时参数指示素材内容#1和#2之一要被设置为编辑的内容的图像的情况下,在输入选择单元73中选择它们的图像之一。
应该理解,在素材内容#1和#2的图像之一要合成为另一图像并且设置为编辑的内容的情况下,在输入选择单元73中选择素材内容#1和#2的两个图像。
特效生成单元74根据特效控制单元65的控制,执行将特效加入从输入选择单元73提供的一个或更多图像的处理,并且将作为结果获得的图像作为编辑的内容输出(标准内容)的图像。
也就是说,当将编辑的内容的图像从素材内容#1和#2的图像之一切换到另一图像时,例如,特效生成单元74添加在淡入(fade in)另一图像的同时从一个图像淡出的特效。
应该理解,在特效生成单元74中,将另外的图像合成到素材内容#1和#2的图像之一也作为特效执行。
此外,在特效生成单元74中,将幻灯机显示(telop)合成到素材内容#1和#2的图像之一或通过将图像之一合成到另一个获得的图像也作为特效执行。
关于此点,在特效生成单元74中的处理的种类(也就是说,添加到图像的特效的种类)由关于素材内容#i的处理参数确定,所述处理参数从控制数据生成单元61提供到控制单元62。
将由特效生成单元74输出的编辑的内容(标准内容)的图像提供到监视器23并且显示。
接下来,参照图3和4,将给出从来自相机11i的素材内容#i的图像提取要作为编辑的内容的图像输出的区域的处理的描述,所述提取处理由图2中的变焦处理单元71i执行。
变焦处理单元71i从来自相机11i的素材内容#i的图像提取要作为编辑的内容的图像输出的区域,从而使得能够进行代替地实现拍摄该区域的图像的虚拟相机的摇摄、倾斜或变焦操作的编辑操作。
也就是说,现在假设虚拟相机正拍摄在来自相机11i的素材内容#i的图像中出现的部分场景,虚拟相机可以在素材内容#i的图像中出现的场景的范围内执行摇摄或倾斜操作。
此外,虚拟相机可以在素材内容#i的图像中出现的场景的范围内执行变焦(放大(zooming-in)和缩小(zooming-out))操作。
关于此点,虚拟相机的摇摄的操作也称为伪摇摄操作,而虚拟相机的倾斜的操作也称为伪倾斜操作。此外,虚拟相机的变焦操作也称为伪变焦操作(伪放大操作和伪缩小操作)。
可以执行上述伪摇摄操作、伪倾斜操作和伪变焦操作作为对图2中的用户I/F 60的编辑操作。
在例如执行伪摇摄操作、伪倾斜操作或伪变焦操作作为对用户I/F 60的编辑操作的情况下,响应于该编辑操作,在控制数据生成单元61中,生成指示来自相机11i的素材内容#i的图像的、要作为编辑的内容的图像输出的区域的信息作为处理参数。
关于此点,来自素材内容#i的图像的、要作为编辑的内容的图像输出的区域也称为提取窗口。
此外,素材内容#i的图像也称为素材图像#i,而编辑的内容也称为编辑的图像。
图3显示提取窗口和素材图像#i。
例如,现在假设虚拟相机正拍摄由图3中的实线包围的素材图像#i的矩形区域,提取窗口匹配该矩形区域。
例如,如果此后执行伪缩小操作,则由虚拟相机拍摄的图像的视角变广,因而提取窗口变为大尺寸的区域,如由图3中的R1所示。
此外,例如,如果执行伪放大操作,则由虚拟相机拍摄的图像的视角变窄,因而提取窗口变为小尺寸的区域,如由图3中的R2所示。
关于此点,在图2中的变焦处理单元71i从来自相机11i的素材内容#i的图像提取提取窗口内的图像时,下文中,从素材内容#i的图像提取的提取窗口内的图像也称为提取的图像。
如上所述,因为提取窗口的大小不必是恒定的,所以提取的图像的大小(像素的数目)也不必是恒定的。
当其大小不恒定的提取的图像设置为编辑的内容的图像时,编辑的内容的图像的大小也变得不恒定。
因此,为了使得编辑的内容的图像的大小为预定的恒定大小,如上所述,变焦处理单元71i执行改变从来自相机11i的素材内容#i的图像提取的区域的图像的大小的处理,从而将从来自相机11i的素材内容#i的图像提取的提取的图像转换为预定的恒定大小(例如,预先确定为编辑的内容的图像的大小的大小)的图像。
关于此点,尽管将给定大小的图像转换为另一大小的图像的转换处理的示例包括简单的像素的稀疏或内插,但是还存在由本申请人之前提出的DRC(数字真实创建)。随后将描述DRC。
参照图4A到4C,将给出图2中的变焦处理单元71i中的处理的进一步描述。
在执行伪摇摄操作或伪倾斜操作作为对用户I/F 60(图2)的编辑操作的情况下,控制数据生成单元61生成处理参数,所述处理参数指示如图4A所示在来自相机11i的素材内容#i的图像上提取窗口从当前位置水平地或垂直地移动根据伪摇摄操作或伪倾斜操作的移动量后的提取窗口的位置、以及提取窗口的当前大小。
此外,在此情况下,在变焦处理单元71i中提取已经移动的提取窗口内的图像作为来自素材内容#i的图像的提取的图像,并且将提取的图像转换为预定的恒定大小(放大的或缩小的)图像。
此外,在执行伪缩小操作作为对用户I/F 60的编辑操作的情况下,控制数据生成单元61生成处理参数,所述处理参数指示如图4B所示在来自相机11i的素材内容#i的图像上提取窗口从当前大小改变为按根据伪缩小操作的比率放大的大小后的提取窗口的大小、以及提取窗口的当前位置。
此外,在此情况下,在变焦处理单元71i中提取其大小已经改变的提取窗口内的图像作为来自素材内容#i的图像的提取的图像,并且将提取的图像转换为预定的恒定大小的图像。
此外,在执行伪放大操作作为对用户I/F 60的编辑操作的情况下,控制数据生成单元61生成处理参数,所述处理参数指示如图4C所示在来自相机11i的素材内容#i的图像上提取窗口从当前大小改变为按根据伪放大操作的比率缩小的大小后的提取窗口的大小,以及提取窗口的当前位置。
此外,在此情况下,在变焦处理单元71i中提取其大小已经改变的提取窗口内的图像作为来自素材内容#i的图像的提取的图像,并且将提取的图像转换为预定的恒定大小的图像。
因此,使用变焦处理单元71i,在执行摇摄、倾斜或变焦操作时,可能获得好像是用相机实际拍摄的提取的图像。
应该理解,根据如上所述的伪摇摄操作、伪倾斜操作或伪变焦操作获得提取的图像的方法在例如日本专利No.3968665中描述。
关于此点,如上所述,在变焦处理单元71i执行改变从来自相机11i的素材内容#i的图像提取的提取的图像的大小的转换处理时,DRC可以用于该转换处理。
DRC是用于将第一数据转换(映射)为不同于第一数据的第二数据的技术,其中为多个类的每一个预先获得抽头(tap)系数,所述抽头系数统计地最小化通过使用第一数据和预定的抽头系数(用于使用第一数据的计算的系数)的计算获得的第二数据的预测值的预测误差,并且通过使用抽头系数和第一数据的计算将第一数据转换为第二数据(获得第二数据的预测值)。
取决于第一数据和第二数据的定义,用于将第一数据转换为第二数据的DRC以各种形式的信号处理实现。
也就是说,例如假设第一数据是具有预定数目的像素的图像数据,而第二数据是其像素的数目从第一数据的像素的数目增加或减少的图像数据,则DRC是调整图像大小(改变图像大小)的调整大小处理。
变焦处理单元71i执行作为调整大小处理的DRC,因而改变提取的图像的大小。
应该理解,可替代地,例如假设第一数据是具有低空间分辨率的图像数据,而第二数据是具有高空间分辨率的图像数据,则DRC是改善空间分辨率的空间分辨率创建(改善)处理(将图像转换为比该图像具有更高的空间分辨率的图像的转换处理)。
此外,例如假设第一数据是具有低S/N(信号/噪声)的图像数据,而第二数据是具有高S/N的图像数据,则DRC是移除图像中包含的噪声的噪声移除处理(将图像转换为比该图像具有更少噪声的图像的转换处理)。
此外,例如假设第一数据是具有低时间分辨率(低帧速率)的图像数据,而第二数据是具有高时间分辨率(高帧速率)的图像数据,则DRC是改善时间分辨率的时间分辨率创建(改善)处理(将图像转换为比该图像具有更高时间分辨率的图像的转换处理)。
此外,例如假设第一数据是具有低对比度的图像数据,而第二数据是具有高对比度的图像数据,则DRC是改善对比度的处理(将图像转换为比该图像具有更高对比度的图像的转换处理)。
此外,例如假设第一数据是具有低边缘增强级别的图像数据,而第二数据是具有增强的边缘的图像数据,则DRC是增强边缘的处理(将图像转换为比该图像具有更多的增强的边缘的图像的转换处理)。
此外,例如假设第一数据是具有低S/N的声音数据,而第二数据是具有高S/N的声音数据,则DRC是移除声音中包含的噪声的噪声移除处理(将声音转换为比该声音具有更少噪声的声音的转换处理)。
因此,DRC也可以用于图像质量调整单元72i中调整图像质量的处理,如将来自变焦处理单元71i的素材内容#i的图像转换为具有减少的噪声的图像。
在DRC中,通过使用类的抽头系数和关于目标样本选择的第一数据的多个样本(的样本值)的计算获得目标样本(的样本值的预测值),所述类通过将构成第二数据的多个样本当中的目标样本(的样本值)分类为多个类之一获得。
也就是说,图5显示通过DRC将第一数据转换为第二数据的转换设备的配置示例。
第一数据提供到转换设备,并且第一数据提供到抽头选择单元102和103。
目标样本选择单元101顺序地设置构成要通过转换第一数据获得的第二数据的样本作为目标样本,并且将指示该目标样本的信息提供到必要的块。
抽头选择单元102选择构成用于预测目标样本(的样本值)的第一数据的若干样本(的样本值)作为预测抽头。
具体地,抽头选择单元102将空间上或时间上位于接近目标样本的位置的第一数据的多个样本选择为预测抽头。
例如如果第一数据和第二数据是图像数据,则选择空间上或时间上位于接近作为目标样本的像素的、作为第一数据的图像数据的多个像素(的像素值)作为预测抽头。
此外,例如如果第一数据和第二数据是声音数据,则选择空间上或时间上位于接近目标样本的、作为第一数据的声音数据的多个样本(的样本值)作为预测抽头。
抽头选择单元103选择构成第一数据的多个样本作为类别抽头,所述第一数据用于执行将目标样本分类为多个预定类别之一的分类。也就是说,抽头选择单元103以与抽头选择单元102选择预测抽头的方式相同的方式选择类别抽头。
应该注意,预测抽头和类别抽头可以具有相同的抽头结构(作为参照类别样本的预测抽头(类别抽头)的多个样本之间的位置关系),或可以具有不同的抽头结构。
将在抽头选择单元102中获得的预测抽头提供到预测计算单元106,而将在抽头选择单元103中获得的类别抽头提供到分类单元104。
分类单元104基于来自抽头选择单元103的类别抽头,执行群集(cluster)目标样本的分类,并且将对应于作为结果获得的目标样本的类别的类别代码提供到系数输出单元105。
应该注意,例如在分类单元104中,将包括构成类别抽头的多个样本的样本值的级别分布的信息设置为目标样本的类别(类别代码)。
也就是说,例如在分类单元104中,将通过顺序地安排构成类别抽头的样本的样本值获得的值设为目标样本的类别。
在此情况下,假设该类别抽头由N个样本的样本值构成,则分配M位给各个样本的样本值,类别的总数是(2N)M
例如,如下可使得类别的总数小于(2N)M
也就是说,例如存在使用ADRC(自适应动态范围编码)的方法作为减少类别的总数的方法。
在使用ADRC的方法中,构成类别抽头的样本(的样本值)经历ADRC处理,并且作为结果获得的ADRC代码被确定为目标样本的类别。
例如在K位ADRC中,检测构成类别抽头的样本值的最大值MAX和最小值MIN,并且有DR=MAX-MIN作为集合的局部动态范围,基于该动态范围DR将构成类别抽头的各个样本的样本值重新量化为K(<M)位。也就是说,从构成类别抽头的各个样本的样本值减去最小值MIN,并且将该减法值除以(重新量化)DR/2K。然后,将位串输出为ADRC代码,其中构成类别抽头并且这样获得的K位的各个样本的样本值以预定顺序排列。因此,在类别抽头经历例如1位ADRC处理的情况下,将构成类别抽头的各个样本的样本值除以最大值MAX和最小值MIN的平均值(舍去小数部分),从而将各个样本的样本值转换为1位形式(二进制的)。然后,其中1位样本值以预定顺序排列的位串输出为ADRC代码。
关于此点,用于减少类别的总数的其它方法包括例如下述方法,其中类别抽头被视为其分量是构成类别抽头的各个样本的样本值的矢量,并且将通过矢量的矢量量化获得的量化值(代码矢量的代码)设为类别。
系数输出单元105存储通过之后描述的学习(learning)获得的每个类别的抽头系数,并且还从存储的抽头系数中输出存储在对应于从分类部分104提供的类别代码的地址的抽头系数(由从分类单元104提供的类别代码指示的类别的抽头系数)。将该抽头系数提供到预测计算单元106。
关于此点,抽头系数对应于由数字滤波器中的所谓抽头中的输入数据倍增(multiply)的系数。
预测计算单元106获取(多个样本值作为)由抽头选择单元102输出的预测抽头以及由系数输出单元105输出的抽头系数,并且通过使用预测抽头和抽头系数执行用于获得目标样本的真实值的预测值的预定预测计算。因而,预测计算单元106获得目标样本的样本值(的预测值),也就是构成第二数据的样本的样本值,并且输出该样本值。
在如上所述配置的转换设备中,目标样本选择单元101从构成相对于输入到转换设备的第一数据的第二数据(要通过转换第一数据获得的第二数据)的样本中,选择还没有被选择作为目标样本的一个样本作为目标样本。
另一方面,抽头选择单元102和103从输入到转换设备的第一数据中选择用作目标样本的类别抽头和预测抽头的样本。预测抽头从抽头选择单元102提供到预测计算单元106,而类列抽头从抽头选择单元103提供到分类单元104。
分类单元104从抽头选择单元103接收相对于目标样本的分类抽头,并且基于该分类抽头分类目标样本。此外,分类单元104将指示作为分类的结果而获得的目标样本的类别的类别代码提供到系数输出单元105。
系数输出单元105获取存储在对应于从分类单元104提供的类别代码的地址的抽头系数,并且将该抽头系数提供给预测计算单元106。
预测计算单元106通过使用从抽头选择单元102提供的预测抽头和来自系数输出单元105的抽头系数,执行预定的预测计算。因而,预测计算单元106获得目标样本的样本值,并且输出该样本值。
随后,在目标样本选择单元101中,重新从构成相对于输入到转换设备的第一数据的第二数据的样本中,选择还没有被选择为目标样本的一个样本作为目标样本,并且重复类似的处理。
接下来,将给出在图5中的预测计算单元106中的预测计算、以及存储在系数输出单元105中的抽头系数的学习的描述。
应该注意,在该示例中,例如采用图像数据作为第一数据和第二数据。
现在,考虑例如其中假设具有大像素数目的高图像质量的图像数据(高质量图像数据)是第二数据、而具有从高质量图像数据的像素的数目减少的像素数目的低图像质量的图像数据(低质量图像数据)是第一数据的情况,从低质量图像数据选择预测抽头作为第一数据,并且通过使用预测抽头和抽头系数的预定的预测计算获得(预测)作为第二数据的高质量图像数据的像素(高质量像素)的像素值。
假设例如采用线性一阶预测计算作为预定的预测计算,通过以下线性一阶等式获得高质量像素的像素值y。
[等式1]
y = Σ n = 1 N w n x n . . . ( 1 )
应该注意,在等式(1)中,xn代表构成相对于高质量像素y的预测抽头的低质量图像数据(下文中,适当地称为低质量像素)的第n像素的像素值,而wn代表由第n低质量像素(的像素值)倍增的第n抽头系数。在等式(1)中,假设预测抽头由N个低质量像素x1、x2、...、xN构成。
关于此点,也可以不通过由等式(1)指示的线性一阶等式而通过二阶或更高阶等式获得高质量像素的像素值y。
现在,让作为高质量像素的第k像素的像素值的真实值由yk代表,而通过等式(1)获得的真实值yk的预测值为yk′,两个值之间的预测误差ek由以下等式代表。
[等式2]
ek=yk-yk′    ...(2)
现在,因为等式(2)中的预测值yk′根据等式(1)获得,所以根据等式(1)替换等式(2)中的yk′给出以下等式。
[等式3]
e k = y k - ( Σ n = 1 N w n x n , k ) . . . ( 3 )
应该理解,在等式(3)中,xn,k代表构成相对于作为高质量像素的第k像素的图像预测抽头的第n低质量像素。
尽管使得等式(3)(或等式(2))中的预测误差ek变为零的抽头系数wn对于预测高质量像素是最佳的,但是通常难以获得相对于每个高质量像素的这种抽头系数wn
因此,假设例如采用最小平方法作为指示预测系数wn是最佳的准则(标准),通过最小化由以下等式代表的平方误差的总和E可以获得最佳预测系数wn
[等式4]
E = Σ k = 1 K e k 2 . . . ( 4 )
应该注意,在等式(4)中,K代表包括高质量像素yk和构成相对于高质量像素yk的预测抽头的低质量像素x1,k,x2,k,...,xN,k的像素组的数目(用于学习的像素的数目)。
如等式(5)所示,等式(4)中的平方误差的总和E的最小的值(最小值)由wn给出,wn使得相对于抽头系数wn的总和E的偏微分的值变为零。
[等式5]
∂ E ∂ w n = e 1 ∂ e 1 ∂ w n + e 2 ∂ e 2 ∂ w n + . . . + e k ∂ e k ∂ w n = 0 , ( n = 1,2 , . . . , N ) . . . ( 5 )
因此,通过执行等式(3)相对于抽头系数wn的偏微分,获得以下等式。
[等式6]
∂ e k ∂ w 1 = - x 1 , k , ∂ e k ∂ w 2 = - x 2 , k , . . . , ∂ e k ∂ w N = - x N , k , ( k = 1,2 , . . . , K ) . . . ( 6 )
从等式(5)和等式(6)获得以下等式。
[等式7]
Σ k = 1 K e k x 1 , k = 0 , Σ k = 1 K e k x 2 , k = 0 , . . . Σ k = 1 K e k x N , k = 0 . . . ( 7 )
通过将等式(3)带入等式(7)中的ek,等式(7)可以由等式(8)中表示的正规(normal)等式代表。
[等式8]
等式(8)的正规等式可以通过使用例如清除(sweep out)方法(高斯-约旦消除方法)关于抽头系数wn求解。
通过为每个类别设置和求解等式(8)的正规等式,可以为每个类别获得最佳抽头系数(在此情况下,最小化平方误差的总和E的抽头系数)wn
通过准备对应于第一数据的大量的学生数据(在上述示例中,低质量图像数据)以及对应于第二数据的教师数据(在上述示例中,高质量图像数据)块,并且使用准备的学生数据和教师数据的块执行抽头系数的学习。
也就是说,在抽头系数的学习中,教师数据的样本顺序地设置为目标样本,并且相对于该目标样本,从学生数据中选择用作预测抽头的多个样本和用作类别抽头的多个样本。
此外,通过使用类别抽头执行目标样本的分类,并且为通过使用目标样本(yk)和预测抽头(x1,k,x2,k,....,xN,k)获得的每个类别设置等式(8)的正规等式。
然后,通过为每个类别求解等式(8)的正规等式,获得每个类别的抽头系数。
将通过上述抽头系数的学习获得的每个类别的抽头系数存储在图5中的系数输出单元105中。
关于此点,取决于如上所述选择对应于第一数据的学生数据和对应于第二数据的教师数据作为抽头数据的方式,可能获得用于执行各种类型的信号处理的抽头系数。
也就是说,如上所述,通过使用高质量图像数据作为对应于第二数据的教师数据,并且通过使用其像素数目从高质量图像数据的像素数目减少的低质量图像数据作为对应于第一数据的学生数据,执行抽头系数的学习。因而,可能获得用于执行调整大小处理的抽头系数作为抽头系数,所述调整大小处理将作为低质量图像数据的第一数据转换为其像素的数目被改进的(其大小被放大的)高质量图像数据的第二数据。
此外,例如通过使用高质量图像数据作为教师数据,并且使用通过在作为教师数据的高质量图像数据上重叠噪声而获得的图像数据作为学生数据,执行抽头系数的学习,可能获得用于执行噪声移除处理的抽头系数作为抽头系数,所述噪声移除处理将作为具有低S/N的图像数据的第一数据转换为从其移除(减少)包含在第一数据中的噪声的具有高S/N的第二数据。
此外,例如通过使用具有高采样速率的声音数据作为教师数据,并且使用通过稀疏教师图像的样本获得的具有低采样速率的声音数据作为学生数据,执行抽头系数的学习,可能获得用于执行时间分辨率创建处理的抽头系数作为抽头系数,所述时间分辨率创建处理将作为具有低采样速率的声音数据的第一数据转换为作为具有高采样速率的声音数据的第二数据。
接下来,参照图6和7,将描述图2中的设置单元21和编辑单元22的处理。
图6是图示在执行所谓实况广播的情况下、设置单元21和编辑单元22中的处理的流程图。
变焦处理单元71i等待例如要从相机11i提供到编辑单元22的素材内容#i的一帧的图像,并且在步骤S11中接收和获取一帧的图像。然后处理进到步骤S12。
在步骤S12中,响应于来自用户I/F 60的操作信号,控制数据生成单元61生成关于素材内容#1和#2的每一个的处理参数和定时参数,并且将生成的参数提供到控制单元62。
进一步地,在步骤S12,控制单元62将来自控制数据生成单元61的处理参数和定时参数设置到输入控制单元631和632、切换器控制单元64和特效控制单元65中的必要块,并且处理进到步骤S13。
在步骤S13,根据由控制数据生成单元61生成的处理参数和定时参数,构成编辑单元22的变焦处理单元711和712、图像质量调整单元721和722、输入选择单元73和特效生成单元74对在步骤S11获取的图像执行包括图像处理的编辑处理。
也就是说,在当从控制单元62设置处理参数时的情况下,输入控制单元63i根据该处理参数控制变焦处理单元71i和图像质量调整单元72i
此外,在当从控制单元62设置定时参数时的情况下,切换器控制单元64根据该定时参数控制输入选择单元73。
此外,在当从控制单元62设置处理参数时的情况下,特效控制单元65根据该处理参数控制特效生成单元74。
根据输入控制单元63i的控制,变焦处理单元71i从来自相机11i的素材内容#i的图像提取要作为编辑的内容的图像输出的提取的图像,并且进一步根据需要将提取的图像转换为匹配编辑的内容的图像的大小的图像,并且将该图像提供到图像质量调整单元72i
根据输入控制单元63i的控制,图像质量调整单元72i调整来自变焦处理单元71i的素材内容#i的图像(提取的图像)的图像质量,并且将该图像提供到输入选择单元73。
根据切换器控制单元64的控制,输入选择单元73从来自图像质量调整单元721的素材内容#1的图像和来自图像质量调整单元722的素材内容#2的图像中选择要作为编辑的内容的图像输出的图像,并且将该图像提供到特效生成单元74。
根据特效控制单元65的控制,特效生成单元74添加特效到从输入选择单元73提供的一个或多个图像,并且将作为结果获得的图像作为编辑的内容(标准内容)的图像输出到监视器23。
应该注意,在其中使用上述DRC的各种转换处理在变焦处理单元71i或图像质量调整单元72i中执行时的情况下,存储用于执行各种转换处理的抽头系数。要由变焦处理单元71i或图像质量调整单元72i使用的抽头系数由处理参数指定。
在步骤S13中,执行上述编辑处理,并且还生成同步数据。
也就是说,从相机11i提供到编辑单元22的素材内容#i的一帧的图像也提供到同步数据生成单元66。
同步数据生成单元66生成提供到同步数据生成单元66的素材内容#i的一帧的图像的同步数据,并且将该同步数据提供到控制数据记录单元67。然后,处理从步骤S13进到S14。
关于此点,在其中内容制作者没有对用户I/F 60执行编辑操作的情况下,控制数据生成单元61为此生成处理参数和定时参数到该效果,或者没有生成处理参数和定时参数。
此外,在其中内容制作者没有对用户I/F 60执行编辑操作的情况下,编辑单元22执行例如与关于紧接在前帧执行的处理相同的处理作为编辑处理。
在步骤S14中,监视器23显示由特效生成单元74输出的编辑的内容(标准内容)的图像,并且处理进到步骤S15。
当以此方式在监视器23上显示编辑的内容的图像时,内容制作者可以确认该编辑的内容的图像。
在步骤S15中,控制数据生成单元61生成包括在步骤S12中生成的处理参数(关于素材内容#1和#2的每一个的处理参数)和定时参数的控制数据(标准控制数据),并且将该控制数据提供到控制数据记录单元67。然后处理进到步骤S16。
在步骤S16中,控制数据记录单元67记录(存储)与从同步数据生成单元66提供的同步数据相关联的、从控制数据生成单元61提供的控制数据,并且进一步输出与同步数据相关联的控制数据(标准控制数据)到发送单元243(图1)。然后处理进到步骤S17。
在步骤S17中,变焦处理单元71i确定来自相机11i的素材内容#i的图像是否已经结束。
如果在步骤S17中确定来自相机11i的素材内容#i的图像还没有结束,也就是说,如果已经从相机11i提供素材内容#i的下一帧的图像到编辑单元22,则处理返回步骤S11,并且随后重复相同的处理。
如果在步骤S17中确定来自相机11i的素材内容#i的图像已经结束,也就是说,如果没有从相机11i提供素材内容#i的下一帧的图像到编辑单元22,则处理结束。
应该注意,在实况广播中,由相机11i输出的素材内容#i的图像立即由发送单元24i发送,并且由控制数据记录单元67输出的控制数据立即由发送单元243发送。
图7是图示在执行所谓录制的广播的情况下、设置单元21和编辑单元22中的处理的流程图。
在步骤S31到S34中,分别执行与图6中的步骤S11到步骤S14中的处理相同的处理。因而,在步骤S34中,由特效生成单元74输出的编辑的内容(标准内容)的图像显示在监视器23上。
然后,处理从步骤S34进到步骤S35,控制单元62确定是否终止对在步骤S31中获取的、来自相机11i的素材内容#i的一个帧的图像的编辑处理。
如果在步骤S35中确定不终止对素材内容#i的一个帧的图像的编辑处理,也就是说,如果已经看到在步骤S34中在监视器23上显示的编辑的内容的图像的内容制作者不满意该编辑的内容的图像,并且已经对用户I/F 60重新执行编辑操作以便执行另一编辑处理,则处理返回步骤S32,其中响应于从用户I/F 60提供的、对应于由内容制作者进行的新的编辑操作的操作信号,控制数据生成单元61生成处理参数和定时参数。随后,重复相同的处理。
此外,如果在步骤S35中确定终止对素材内容#i的一个帧的图像的编辑处理,也就是说,如果已经看到在步骤S34中在监视器23上显示的编辑的内容的图像的内容制作者满意该编辑的内容的图像,并且已经操作用户I/F 60以便终止编辑处理,或对下一帧的图像执行编辑处理,则处理进到步骤S36。
在步骤S36中,控制数据生成单元61生成包括在步骤S32中生成的处理参数(关于素材内容#1和#2的每一个的处理参数)和定时参数的控制数据,并且将该控制数据提供到控制数据记录单元67。进一步地,在步骤S36中,控制数据记录单元67记录与从同步数据生成单元66提供的同步数据相关联的、从控制数据生成单元61提供的控制数据。然后处理进到步骤S37。
在步骤S37中,变焦处理单元71i确定来自相机11i的素材内容#i的图像是否已经结束。
如果在步骤S17中确定来自相机11i的素材内容#i的图像还没有结束,也就是说,如果已经从相机11i提供素材内容#i的下一帧的图像到编辑单元22,则处理返回步骤S31,并且随后重复相同的处理。
如果在步骤S37中确定来自相机11i的素材内容#i的图像已经结束,也就是说,如果没有从相机11i提供素材内容#i的下一帧的图像到编辑单元22,则处理进到步骤S38。
在步骤S38中,控制数据记录单元67输出与同步数据相关联记录的控制数据(标准控制数据)到发送单元243(图1),并且处理结束。
应该注意,在录制的广播的情况下,在广播时,由相机11i输出的素材内容#i的图像由发送单元24i发送,而由控制数据记录单元67输出的控制数据由发送单元243发送。
接下来,图8显示图1中的回放单元52的配置示例。
在图8中,回放单元52包括设置单元121、编辑单元122等。
设置单元121包括控制数据输入I/F 151、网络I/F 152、外部介质I/F 153、选择单元154、控制数据生成单元161、控制单元162、输入控制单元1631和1632、切换器控制单元164、特效控制单元165、同步数据生成单元166、控制数据记录单元167等。设置单元121接收控制数据,并且根据该控制数据控制编辑单元122。
此外,响应于由接收端设备2(图1)的用户(终端用户)对用户I/F 43进行的用于指示编辑的编辑操作,设置单元121生成新的处理参数和新的定时参数,并且根据新的处理参数和新的定时参数控制编辑单元122。
也就是说,将从接收单元513(图1)提供到回放单元52的控制数据(标准控制数据)提供到控制数据输入I/F 151。控制数据输入I/F 151从接收单元513接收控制数据,并且将该控制数据提供到选择单元154。
网络I/F 152从网络上的服务器下载和接收控制数据,并且将该控制数据提供到选择单元154。
外部介质44(图1)安装在外部介质I/F 153上。外部介质I/F 153从安装在其上的外部介质44接收控制数据,并且将控制数据提供到选择单元154。
关于此点,除了从广播设备12发送外,由广播设备12生成的控制数据可以上载到网络上的服务器,或者可以记录到外部介质44上并且被分发。
同样地,通过接收端设备2的用户或另一用户执行的编辑操作生成的控制数据也可以上载到网络上的服务器,或者可以记录到外部介质44上。
此外,由控制数据输入I/F 151或网络I/F 152接收的控制数据可以记录到外部介质44上。
使用网络I/F 152,如上所述,可以下载上载到网络上的服务器的控制数据。
此外,使用外部介质I/F 153,如上所述,可以读取记录到外部介质44上的控制数据。
除了如上所述从控制数据输入I/F 151、网络I/F 152和外部介质I/F 153的每一个提供到选择单元154的控制数据外,从用户I/F 43将响应于用户的操作的操作信号提供到选择单元154。
选择单元154根据来自用户I/F 43的操作信号等选择从控制数据输入I/F151、网络I/F 152和外部介质I/F 153之一提供的控制数据,并且将该控制数据提供到控制数据生成单元161。
此外,在从用户I/F 43提供响应于编辑操作(下文中,也称为编辑操作信号)的操作信号时,选择单元154优选地选择编辑操作信号,并且将该编辑操作信号提供到控制数据生成单元161。
除了从选择单元154提供的控制数据或操作信号外,将来自同步数据生成单元166的同步数据提供到控制数据生成单元161。
关于此点,如上所述,例如在广播设备12中,从选择单元154提供到控制数据生成单元161的控制数据与同步数据相关联。与控制数据相关联的该同步数据也称为控制同步数据。
此外从同步数据生成单元166提供到控制数据生成单元161的同步数据也称为生成的同步数据。
在当从选择单元154提供控制数据时的情况下,控制数据生成单元161将来自选择单元154的控制数据提供到控制数据记录单元167。
此外,控制数据生成单元161从来自选择单元154的多块控制数据中检测与控制同步数据相关联的控制数据,该控制同步数据匹配来自同步数据生成单元166的生成的同步数据,并且将包括在控制数据中的处理参数和定时参数提供到控制单元162。
在当从选择单元154提供操作信号时的情况下,与图2中的控制数据生成单元61类似,响应于来自选择单元154的操作信号,控制数据生成单元161生成关于素材内容#1和#2的每一个的新的处理参数,并且生成新的定时参数。此外,控制数据生成单元161生成包括新的处理参数和新的定时参数的新的控制数据。
然后,控制数据生成单元161将新的处理参数和新的定时参数提供到控制单元162,并且将新的控制数据提供到控制数据记录单元167。
关于此点,与响应于来自选择单元154的操作信号由控制数据生成单元161生成的新的控制数据、以及包括在该新的控制数据中的新的处理参数和新的定时参数相反,从选择单元154提供到控制数据生成单元161的控制数据、以及包括在该控制数据中的处理参数和定时参数分别也称为已经生成的控制数据、以及已经生成的处理参数和已经生成的定时参数。
类似于图2中的控制单元62,控制单元162控制构成设置单元121的各个单元。
也就是说,例如控制单元162根据来自控制数据生成单元161的处理参数和定时参数,控制输入控制单元1631和1632、切换器控制单元164或特效控制单元165。
此外,控制单元162控制例如控制数据生成单元161。
类似于图2中的输入控制单元631,输入控制单元1631根据控制单元162的控制,控制构成编辑单元122的变焦处理单元1711和图像质量调整单元1721
类似于图2中的输入控制单元632,输入控制单元1632根据控制单元162的控制,控制构成编辑单元122的变焦处理单元1712和图像质量调整单元1722
类似于图2中的切换器控制单元64,切换器控制单元164根据控制单元162的控制,控制构成编辑单元122的输入选择单元173。
类似于图2中的特效控制单元65,特效控制单元165根据控制单元162的控制,控制控制构成编辑单元122的特效生成单元174。
类似于图2中的同步数据生成单元66,同步数据生成单元166生成同步数据,并且将该同步数据提供到控制数据生成单元161和控制数据记录单元167。
也就是说,将从接收单元511(图1)提供到回放单元52的素材内容#1的图像、以及从接收单元512提供到回放单元52的素材内容#2的图像,从构成编辑单元122的内容I/F 170提供到同步数据生成单元166。
同步数据生成单元166生成标识素材内容#1的图像的每个帧(或场)的信息作为同步数据,并且将每个帧的同步数据提供到控制数据记录单元167。
此外,同步数据生成单元166还生成关于素材内容#2的图像的同步数据,并且将该同步数据提供到控制数据记录单元167。
控制数据记录单元167记录(存储)与从同步数据生成单元166提供的同步数据相关联的、从控制数据生成单元161提供的控制数据。
也就是说,在从控制数据生成单元161提供新的控制数据时的情况下,类似于图2中的控制数据记录单元67,控制数据记录单元167将新的控制数据与来自同步数据生成单元166的同步数据相关联地记录在内置记录介质(未示出)、外部介质44等上。
应该注意,在当从控制数据生成单元161提供已经生成的控制数据时的情况下,因为已经生成的控制数据已经与同步数据相关联,所以控制数据记录单元167记录与同步数据相关联的已经生成的控制数据。
编辑单元122包括内容I/F 170、变焦处理单元1711和1712、图像质量调整单元1721和1722、输入选择单元173、特效生成单元174等。
编辑单元122接收从接收单元511提供到回放单元52的素材内容#1的图像、以及从接收单元512提供到回放单元52的素材内容#2的图像,通过根据包括在由设置单元121接收的控制数据中的处理参数和定时参数,编辑素材内容#1和#2生成编辑的内容的图像,并且将该图像输出到监视器42。
也就是说,内容I/F 170接收从接收单元511提供到回放单元52的素材内容#1的图像、以及从接收单元512提供到回放单元52的素材内容#2的图像,并且将素材内容#1提供到变焦处理单元1711,而将素材内容#2提供到变焦处理单元1712
此外,内容I/F 170将素材内容#1和#2提供到同步数据生成单元166。
类似于图2中的变焦处理单元71i,变焦处理单元171i根据输入控制单元163i的控制,执行从来自内容I/F 170的素材内容#i的图像提取要作为编辑的内容的图像输出的区域的处理。
此外,类似于图2中的变焦处理单元71i,变焦处理单元171i根据需要执行改变提取的图像的大小的处理(调整大小),从而将提取的图像转换为匹配编辑的内容的图像的大小的图像,并且将该图像提供到图像质量调整单元172i
类似于图2中的图像质量调整单元72i,图像质量调整单元172i根据通过输入控制单元163i的控制,执行调整来自变焦处理单元171i的素材内容#1的图像的图像质量的处理。
应该注意,在变焦处理单元171i和图像质量调整单元172i中关于素材内容#i的图像执行的处理的种类由关于素材内容#i的处理参数确定,所述处理参数从控制数据生成单元161提供到控制单元162。
类似于图2中的输入选择单元73,输入选择单元173根据切换器控制单元164的控制,从来自图像质量调整单元1721的素材内容#1的图像和来自图像质量调整单元1722的素材内容#2的图像中选择要作为编辑的内容的图像输出的(各)图像,并且将选择的图像提供到特效生成单元174。
关于此点,如同图2的情况,要通过输入选择单元173选择的图像由从控制数据生成单元161提供到控制单元162的定时参数确定。
类似于图2中的特效生成单元74,特效生成单元174根据特效控制单元165的控制,执行将特效加入从输入选择单元173提供的一个或更多图像的处理,并且将作为结果获得的图像作为编辑的内容输出的图像。
关于此点,如同图2的情况,在特效生成单元174中的处理的种类(也就是说,添加到图像的特效的种类)由关于素材内容#i的处理参数确定,所述处理参数从控制数据生成单元161提供到控制单元162。
将由特效生成单元174输出的编辑的内容的图像提供到监视器42并且显示。
关于此点,在如上所述配置的编辑单元122中,根据包括在由设置单元121接收的已经生成的控制数据中的已经生成的处理参数和已经生成的定时参数,执行素材内容#1和#2的编辑,此外还根据由用户进行的对用户I/F 43的编辑操作执行素材内容#1和#2的编辑。
也就是说,如上所述,在设置单元121中,在从用户I/F 43提供响应于编辑操作的编辑操作信号时的情况下,选择单元154优选地选择编辑操作信号,并且将该编辑操作信号提供到控制数据生成单元161。
在从选择单元154提供编辑操作信号时的情况下,控制数据生成单元161响应于该编辑操作信号生成新的处理参数和新的定时参数,并且将该新的处理参数和新的定时参数提供到控制单元162。
在此情况下,控制单元162根据来自控制数据生成单元161的新的处理参数和新的定时参数,控制输入控制单元1631和1632、切换器控制单元164或特效控制单元165。在编辑单元122中,根据该控制执行素材内容#1和#2的编辑。
因此,在编辑单元122中,当对用户I/F 43执行编辑操作时,替代包括在已经生成的控制数据中的已经生成的处理参数和已经生成的定时参数,根据响应于编辑操作生成的新的处理参数和新的定时参数执行编辑。
接下来,参照图9,将描述图8中的回放单元52中的处理。
应该注意,在广播设备12(图1)中,替代与素材内容#1和#2一起发送标准控制数据,例如,标准控制数据可以通过网络I/F 152上载到网络上的服务器,并且通过从网络上的服务器下载该标准控制数据在回放单元52中接收。然而,在此示例中,假设标准控制数据与素材内容#1和#2一起从广播设备12发送。
从广播设备12发送的素材内容#1和#2、以及控制数据(标准控制数据)由接收设备41接收。
也就是说,接收单元511接收素材内容#1,并且将素材内容#1提供到回放设备52。接收单元512接收素材内容#2,并且将素材内容#2提供到回放设备52。此外,接收单元513接收标准控制数据,并且将标准控制数据提供给回放单元52。
在回放单元52中,在步骤S51中,在等待从接收单元51i提供的素材内容#i(i=1、2)的一帧的图像后,内容I/F 170接收并且获取素材内容#i的一帧的图像,并且将该图像提供到变焦处理单元171i和同步数据生成单元166。
此外,在回放单元52中,控制数据输入I/F 151接收并且获取从接收单元513提供的控制数据,并且将该控制数据提供到选择单元154。
此外,如果可能,网络I/F 152或外部介质153也接收控制数据,并且将该控制数据提供到选择单元154。
此后,处理从步骤S51进到步骤S52,其中同步数据生成单元166生成从内容I/F 170提供的素材内容#i的一帧的图像的同步数据(生成的同步数据),并且将同步数据提供到控制数据生成单元161和控制数据记录单元167。然后处理进到步骤S53。
在步骤S53中,选择单元154确定对用户I/F 43的紧接在前的操作是否是编辑操作。
如果在步骤S53中确定对用户I/F 43的紧接在前的操作是编辑操作,也就是说,如果从用户I/F 43提供到选择单元154的紧接在前的操作信号是编辑操作信号,则处理进到步骤S54,其中选择单元154选择来自用户I/F 43的紧接在前的编辑操作信号,并且将该编辑操作信号提供到控制数据生成单元161。然后处理进到步骤S55。
在步骤S55中,响应于来自用户I/F 43的编辑操作信号,控制数据生成单元161生成关于素材内容#1和#2的每一个的新的处理参数和新的定时参数,并且将该新的处理参数和新的定时参数提供到控制单元162。
例如,控制单元162将来自控制数据生成单元161的新的处理参数和新的定时参数设置到输入控制单元1631和1632、切换器控制单元164和特效控制单元165中的必要块。
此外,在步骤S55中,控制数据生成单元161生成包括新的处理参数和新的定时参数的新的控制数据,并且将该控制数据提供到控制数据记录单元167。然后处理进到步骤S61。
在步骤S61中,如同在图6中的步骤S13的情况下,根据由控制数据生成单元161生成的新的处理参数和新的定时参数,构成编辑单元122的变焦处理单元1711和1712、图像质量调整单元1721和1722、输入选择单元173和特效生成单元174对在步骤S51获取的图像执行包括图像处理的编辑处理。
也就是说,在从控制单元162设置新的处理参数时的情况下,输入控制单元163i根据新的处理参数调整变焦处理单元171i和图像质量调整单元172i
此外,在从控制单元162设置新的定时参数时的情况下,切换器控制单元164根据新的定时参数控制输入选择单元173。
此外,在从控制单元162设置新的处理参数时的情况下,特效控制单元165根据新的处理参数控制特效生成单元174。
根据通过输入控制单元163i的控制,变焦处理单元171i从来自内容I/F170的素材内容#i的图像提取要作为编辑的内容的图像输出的提取的图像,并且进一步根据需要将提取的图像转换为匹配编辑的内容的图像的大小的图像,并且将该图像提供到图像质量调整单元172i
根据输入控制单元163i的控制,图像质量调整单元172i调整来自变焦处理单元171i的素材内容#i的图像(提取的图像)的图像质量,并且将该图像提供到输入选择单元173。
根据切换器控制单元164的控制,输入选择单元173从来自图像质量调整单元1721的素材内容#1的图像和来自图像质量调整单元1722的素材内容#2的图像中选择要作为编辑的内容的图像输出的图像,并且将该图像提供到特效生成单元174。
根据特效控制单元165的控制,特效生成单元174添加特效到从输入选择单元173提供的一个或多个图像,并且将作为结果获得的图像作为编辑的内容(标准内容)的图像输出到监视器42。
应该注意,在其中使用上述DRC的各种转换处理在变焦处理单元171i或图像质量调整单元172i中执行的情况下,存储用于执行各种转换处理的抽头系数。要由变焦处理单元171i或图像质量调整单元172i使用的抽头系数由处理参数指定。
此后,处理从步骤S61进到步骤S62,其中将由特效生成单元174输出的编辑的内容的图像(编辑的图像)显示在监视器42上。然后处理进到步骤S63。
以此方式,在当对用户I/F 43执行编辑操作时的情况下,根据该编辑操作执行素材内容#1和#2的图像的编辑,并且将作为结果获得的编辑的内容的图像显示在监视器42上。
因此,用户可以不但关于作为用广播设备12编辑的结果获得的标准内容的图像、而且关于素材内容#1和#2执行具有高自由度的编辑,从而使得可能提高编辑的自由度,并且提供对用户合适的内容。
此外,响应于对用户I/F 43的编辑操作,为每个素材内容生成处理参数。因而,相对于每个用作编辑的内容的素材的多个素材内容(在此示例中,素材内容#1和#2)的每一个,在图像质量调整等方面实现提高的自由度,因而实现最佳调整。
在步骤S63中,控制数据记录单元167确定控制数据的记录是否必要。
如果在步骤S63中确定控制数据的记录是必要的,也就是说,例如如果用户已经通过操作用户I/F 43进行对回放单元52的设置以便执行控制数据的记录,则处理进到步骤S64,其中控制数据记录单元167将在步骤S61中的紧接在前的编辑处理中使用的控制数据、与从同步数据生成单元166提供的同步数据相关联地记录在例如外部介质44(图1)上,该控制数据在本情况下是从控制数据生成单元161提供的新的控制数据。然后处理进到步骤S65。
关于此点,通过以此方式将新的控制数据与同步数据相关联地记录在外部介质44上,此后,可以根据记录在外部介质44上的控制数据在编辑单元122中执行编辑。因而,不需要用户再次执行相同的编辑操作。
另一方面,如果在步骤S53确定对用户I/F 43的紧接在前的操作不是编辑操作,则处理进到步骤S56,其中选择单元154确定对用户I/F 43的紧接在前的操作是否是用于指示取消编辑操作的取消操作。
如果在步骤S56确定对用户I/F 43的紧接在前的操作不是取消操作,则处理进到步骤S57,其中选择单元154确定对用户I/F 43的紧接在前的操作是否是用于指定控制数据的指定操作。
如果在步骤S57确定对用户I/F 43的紧接在前的操作是指定操作,也就是说,如果从用户I/F 43提供到选择单元154的紧接在前的操作信号是响应于指定操作的操作信号,则处理进到步骤S58,其中选择单元154从分别从控制数据输入I/F 151、网络I/F 152和外部介质I/F 153的每一个提供的各块控制数据中,选择通过对用户I/F 43的紧接在前的指定操作指定的控制数据(下文中,也称为指定的控制数据),并且将该控制数据提供到控制数据生成单元161。然后处理进到步骤S60。
在步骤S60中,根据由同步数据生成单元166生成的所生成的同步数据,执行包括在来自选择单元154的指定的控制数据中的处理参数和定时参数的设置。
也就是说,在步骤S60中,控制数据生成单元161从来自选择单元154的指定的控制数据检测与控制同步数据相关联的已经生成的控制数据,该控制同步数据匹配来自同步数据生成单元166的生成的同步数据,并且将包括在控制数据中的已经生成的处理参数和已经生成的定时参数提供到控制单元162。
例如,控制单元162将来自控制数据生成单元161的已经生成的处理参数和已经生成的定时参数设置到输入控制单元1631和1632、切换器控制单元164和特效控制单元165中的必要块。
此外,在步骤S60中,控制数据生成单元161将来自选择单元154的已经生成的控制数据提供到控制数据记录单元167。然后处理进到步骤S61。
在此情况下,在步骤S61中,如同在图6中的步骤S13的情况下,根据由控制数据生成单元161检测的、包括在已经生成的控制数据中的已经生成的处理参数和已经生成的定时参数,构成编辑单元122的变焦处理单元1711和1712、图像质量调整单元1721和1722、输入选择单元173和特效生成单元174对在步骤S51获取的图像执行包括图像处理的编辑处理。
通过编辑单元122中的编辑处理获得的编辑的内容的图像从编辑单元122(的特效生成单元174)输出到监视器42。
此后,步骤从步骤S61进到步骤S62,其中将来自编辑单元122的编辑的内容的图像显示在监视器42上。然后处理进到步骤S63。
以此方式,在对用户I/F 43执行指定操作的情况下,根据包括在通过指定操作指定的已经生成的控制数据中的已经生成的处理参数和已经生成的定时参数,执行素材内容#1和#2的图像的编辑,并且将作为结果获得的编辑的内容的图像显示在监视器42上。
因此,例如如上所述,在根据编辑操作生成的新的控制数据作为已经生成的控制数据存在的情况下,该已经生成的控制数据在过去执行的步骤S64中记录在外部介质44(图1)上,通过指定操作指定已经生成的控制数据,用户可以观看通过在过去执行的编辑操作获得的编辑的内容的图像。然而,应该注意,也需要预先记录获得编辑的内容的编辑所需的素材内容#1和#2。
此外,例如在由控制数据输入I/F 151接收的标准控制数据作为已经生成的控制数据存在的情况下,该已经生成的控制数据在过去执行的步骤S64中记录在外部介质44(图1)上,通过指定操作指定已经生成的控制数据,用户可以观看通过根据在过去接收的标准控制数据的编辑获得的编辑的内容的图像。
在步骤S63中,如上所述,控制数据记录单元167确定控制数据的记录是否必要,并且如果确定控制数据的记录是必要的,则处理进到步骤S64。
在步骤S64中,控制数据记录单元167将在步骤S61中的紧接在前的编辑处理中使用的控制数据(也就是说,在本情况下,与从控制数据生成单元161提供的、与同步数据相关联的已经生成的控制数据)记录在例如外部介质44(图1)上。然后处理进到步骤S65。
关于此点,当通过指定操作指定标准控制数据时,在步骤S64中,将标准控制数据记录在外部介质44上。
此外,例如当在用于指定标准控制数据的指定操作后由用户进行编辑操作时,在步骤S64中,将响应于该编辑操作生成的新的控制数据而不是标准控制数据记录在外部介质44上。
在此情况下,标准的控制数据和响应于编辑操作生成的新的控制数据作为已经生成的控制数据以所谓混合的(合成的)状态记录在外部介质44上。
在通过指定操作指定这种以标准控制数据和新的控制数据的混合状态存在的已经生成的控制数据时,对于通过与标准控制数据相关联的同步数据标识的帧,根据包括在标准控制数据中的处理参数和定时参数执行编辑,而对于通过与新的控制数据相关联的同步数据标识的帧,根据包括在新的控制数据中的处理参数和定时参数执行编辑。
因此,在此情况下,编辑的内容的获得的图像的一部分是通过由内容制作者执行的编辑获得的图像,而剩下的是通过根据由用户进行的编辑操作的编辑获得的图像。
另一方面,如果在步骤S56中确定对用户I/F 43的紧接在前的操作是用于指示编辑操作的取消的取消操作,也就是说,如果从用户I/F 43提供到选择单元154的紧接在前的操作信号是响应于取消操作的操作信号,则处理进到步骤S59。在步骤S59中,选择单元154从分别从控制数据输入I/F 151、网络I/F 152和外部介质I/F 153提供的各块控制数据中,选择通过紧接在由取消操作指示取消之前的指定操作指定的控制数据作为指定的控制数据。
关于此点,在由取消操作指示取消之前没有进行指定操作的情况下,在步骤S59中,选择单元154选择例如从控制数据输入I/F 151提供的标准控制数据作为指定的控制数据。
在步骤S59中,在选择指定的控制数据时,选择单元154将指定的控制数据提供到控制数据生成单元161。然后处理进到步骤S60,并且随后执行相同的处理。
如果在步骤S57确定对用户I/F 43的紧接在前的操作不是取消操作,也就是说,如果对用户I/F 43的紧接在前的操作不是编辑操作、取消操作和指定操作的任一,则处理进到步骤S59。
在此情况下,在步骤S59中,选择单元154选择从控制数据输入I/F 151提供的标准控制数据作为指定的控制数据,并且随后执行相同的处理。
因此,例如,首先在用户没有操作用户I/F 43的状态下,根据包括在由控制数据输入I/F 151接收的标准控制数据中的处理参数和定时参数在编辑单元122中执行编辑。结果,在监视器42上显示反映内容制作者的意图的标准内容的图像作为编辑的内容的图像。
此后,当此后用户对用户I/F 43进行编辑操作时,在编辑单元122中根据响应于该编辑操作生成的新的处理参数和新的定时参数、而不是包括在标准控制数据中的处理参数和定时参数执行编辑。结果,在监视器42上显示适合用户的偏好的内容的图像作为编辑的内容的图像。
当用户进一步对用户I/F 43进行取消操作时,在编辑单元22中,根据紧接在进行编辑操作之前使用的控制数据(也就是说,在本情况下,包括在标准控制数据中的处理参数和定时参数、而不是响应于编辑操作生成的新的处理参数和新的定时参数),再次执行编辑。结果,在监视器42上再次显示标准内容的图像作为编辑的内容的图像。
因此,在编辑单元122中,当用户进行编辑操作时,根据该编辑操作执行编辑,并且当用户进行取消操作时,执行编辑以便反映内容制作者的意图。
另一方面,如果在步骤S63确定控制数据的记录不是必要的,也就是说,如果回放单元52没有设置为执行控制数据的记录,那么处理略过步骤S64并且进到步骤S65。
在步骤S65中,控制单元162确定是否终止编辑的内容的回放。
如果在步骤S65中确定不终止编辑的内容的回放,也就是说,如果用户没有操作用户I/F 43以便终止编辑的内容的回放,则处理返回步骤S51。
如果在步骤S65中确定终止编辑的内容的回放,也就是说,如果用户已经操作用户I/F 43以便终止编辑的内容的回放,则处理结束。
以此方式,在广播设备12中,控制数据生成单元61(图2)为素材内容#1和#2的每一个生成处理参数和定时参数,该处理参数用于处理作为多个内容的素材内容#1和#2的每一个,该定时参数指示素材内容#1和#2作为编辑的内容输出的输出定时,编辑的内容是对其已经执行编辑的内容,并且编辑单元22根据处理参数和定时参数编辑素材内容#1和#2,以便生成编辑的内容。
此外,在广播设备12中,控制数据记录单元67输出包括处理参数和定时参数并且用于编辑素材内容#1和#2的控制数据,以便生成编辑的内容,并且发送单元241(图1)、发送单元242和发送单元243分别发送素材内容#1、素材内容#2和控制数据(标准控制数据)。
另一方面,在接收设备41中,回放单元52(图8)的内容I/F 170从广播设备12接收素材内容#1和#2,而控制数据输入I/F 151、网络I/F 152或外部介质I/F 153从广播设置12接收标准控制数据。
此外,在接收设备41中,根据包括在标准控制数据中的处理参数和定时参数,回放单元52的编辑单元122编辑素材内容#1和#2以便生成编辑的内容(标准内容)。
因此,在接收设备41中,根据为素材内容#1和#2的每一个设置的处理参数执行用于处理素材内容#1和#2的编辑,从而使得可能提高编辑的自由度。
此外,在由用户进行用于指示编辑的编辑操作时的情况下,在回放单元52的设置单元121中,控制数据生成单元161(图8)响应于由用户进行的编辑操作生成新的处理参数和新的定时参数,并且在编辑单元122中,根据该新的处理参数和新的定时参数、而不是包括在标准控制数据中的处理参数和定时参数执行编辑。因而,用户可以用高自由度执行编辑,并且作为这种具有高自由度的编辑的结果,可以接收适于用户的内容的供应。
此外,在当由用户进行用于指示编辑操作的取消的取消操作时的情况下,在编辑单元122中,再次根据例如包括在标准控制数据中的处理参数和定时参数、而不是新的处理参数和新的定时参数执行编辑。因而,用户可以欣赏编辑的内容,通过内容制作者的编辑反映在该内容的一部分上,而通过用户的编辑反映在该内容的剩余部分。
也就是说,用户不必全部由他/她自己执行素材内容#1和#2的编辑,而是可以通过使用通过内容制作者的编辑的结果执行一部分编辑。
应该注意,如上所述,在广播设备12和接收设备41中,除了图像的编辑外也可以执行声音的编辑。
尽管两个素材内容#1和#2在广播设备12和接收设备41中经历编辑,但是三个或更多素材内容可以设置为经历编辑的多个素材内容。
此外,在广播设备12和接收设备41中,可以执行包括以下处理的编辑:用多个素材内容之一作为幻灯机显示,将该幻灯机显示重叠在另一素材内容的图像上。
接下来,可以由硬件和软件之一执行上述系列处理。如果该系列处理要由软件执行,那么构成该软件的程序被安装到通用计算机等上。
图10显示其上安装了执行上述系列处理的程序的计算机的实施例的配置示例。
程序可以预先记录在作为计算机中内置的记录介质的硬盘205或ROM203上。
可替代地,程序可以暂时或永久地存储(记录)在可移除记录介质211上,如CD-ROM(致密盘只读存储器)、MO(磁光)盘、DVD(数字多功能盘)、磁盘或半导体存储器。可以提供这种可移除记录介质211作为所谓封装软件。
应该注意,不同于如上所述从可移除记录介质211安装到计算机,程序可以经由用于数字卫星广播的人造卫星无线地从下载站点传送到计算机,或可以经由如LAN(局域网)或因特网的网络有线地传送到计算机,并且在计算机上,如此传送到计算机的程序可以由通信单元208接收并且安装到内置的硬盘205上。
计算机具有内置CPU(中央处理单元)202。输入/输出接口210经由总线201连接到CPU 202。当用户经由输入/输出接口210对由键盘、鼠标或麦克风配置的输入单元207进行操作等而输入命令时,CPU 202根据该命令执行记录在ROM(只读存储器)203上的程序。可替代地,CPU 202也通过将程序加载到RAM(随机存取存储器)204上,执行存储在硬盘205上的程序、从卫星或网络传送并且由通信单元208接收和安装到硬盘205上的程序、或从安装到驱动器的可移除记录介质211读取并且安装到硬盘205上的程序。因而,CPU 202执行根据上述流程图的处理、或基于上述框图的配置执行的处理。然后,根据需要,CPU 202使得处理结果经由输入/输出接口210从由LCD(液晶显示器)、扬声器等配置的输出单元206输出,使得处理结果从通信单元208发送,或使得处理结果记录在硬盘205上。
关于此点,在本说明书中描述用于使得计算机执行各种处理的程序的处理步骤可以不必按流程图中描述的顺序以时间顺序处理,而是也包括以并行方式或独立地执行的处理(例如,并行处理或基于对象的处理)。
此外,程序可以是由单个计算机处理的程序,或可以是以遍及多个计算机的分布式方式处理的程序。
应该注意,本发明的实施例不限于上述实施例,并且各种修改是可能的只要不背离本发明的范围。
也就是说,尽管本实施例贯注于本发明应用于广播系统的情况,但除此以外,本发明也可以应用于例如经由如因特网的网络发送数据的通信系统。
相关申请的交叉引用
本发明包含涉及于2008年11月13日向日本专利局提交的日本专利申请JP 2008-291145的主题,在此通过引用并入其全部内容。

Claims (24)

1.一种处理内容的数据处理设备,包括:
内容接收装置,用于接收多个内容;
控制数据接收装置,用于接收控制数据,所述控制数据包括为所述多个内容的每一个设置以便处理每个内容的处理参数、以及指示所述每个内容作为编辑的内容输出的输出定时的定时参数,所述编辑的内容是已经经历编辑的内容,所述控制数据用于编辑所述多个内容以便生成所述编辑的内容;以及
编辑装置,用于通过根据包含在所述控制数据中的所述处理参数和所述定时参数编辑所述多个内容,生成所述编辑的内容。
2.根据权利要求1所述的数据处理设备,还包括生成装置,用于响应于由用户进行的用于指示编辑的编辑操作,生成新的处理参数和新的定时参数,
其中所述编辑装置根据所述新的处理参数和所述新的定时参数而不是所述控制数据中包括的所述处理参数和所述定时参数,响应于所述编辑操作而执行编辑。
3.根据权利要求2所述的数据处理设备,其中所述编辑装置根据所述控制数据中包括的所述处理参数和所述定时参数而不是所述新的处理参数和所述新的定时参数,响应于由用户进行的用于指示取消所述编辑操作的取消操作而执行编辑。
4.根据权利要求2所述的数据处理设备,还包括记录装置,用于记录所述控制数据和包括所述新的处理参数和所述新的定时参数的新的控制数据。
5.根据权利要求2所述的数据处理设备,其中所述编辑装置执行包括调整所述每个内容中包括的图像的图像质量的处理的编辑。
6.根据权利要求2所述的数据处理设备,其中所述编辑装置执行包括改进所述每个内容中包括的图像的分辨率的处理的编辑。
7.根据权利要求2所述的数据处理设备,其中所述编辑装置执行包括改变所述每个内容中包括的图像的大小的处理的编辑。
8.根据权利要求2所述的数据处理设备,其中所述编辑装置执行包括从所述每个内容中包括的图像提取要作为所述编辑的内容输出的区域的处理的编辑。
9.根据权利要求2所述的数据处理设备,其中所述编辑装置执行包括添加特效到所述每个内容中包括的图像的处理的编辑。
10.根据权利要求1所述的数据处理设备,其中所述控制数据接收装置从外部记录介质或网络接收所述控制数据。
11.根据权利要求1所述的数据处理设备,其中:
所述多个内容之一是幻灯机显示;并且
所述编辑装置执行包括将所述幻灯机显示重叠到所述多个内容的另一个中包括的图像上。
12.根据权利要求1所述的数据处理设备,其中所述编辑装置编辑在所述多个内容中包括的声音。
13.一种处理内容的数据处理设备的数据处理方法,包括以下步骤:
接收多个内容,并且接收控制数据,所述控制数据包括为所述多个内容的每一个设置以便处理所述每个内容的处理参数、以及指示每个内容作为编辑的内容输出的输出定时的定时参数,所述编辑的内容是已经经历编辑的内容,所述控制数据用于编辑所述多个内容以便生成所述编辑的内容;以及
通过根据所述控制数据中包含的所述处理参数和所述定时参数编辑所述多个内容,生成所述编辑的内容。
14.一种执行编辑多个内容的处理的数据处理设备,包括:
生成装置,用于生成为所述多个内容的每一个设置以便处理每个内容的处理参数、以及指示所述每个内容作为编辑的内容输出的输出定时的定时参数,所述编辑的内容是已经经历编辑的内容;
编辑装置,用于通过根据所述处理参数和所述定时参数编辑所述多个内容,生成所述编辑的内容;以及
输出装置,用于输出控制数据,所述控制数据包括所述处理参数和所述定时参数,并且用于编辑所述多个内容以便生成所述编辑的内容。
15.根据权利要求14所述的数据处理设备,还包括发送装置,用于发送所述多个内容和所述控制数据。
16.根据权利要求15所述的数据处理设备,其中所述生成装置响应于由用户进行的用于指示编辑的编辑操作,生成对于所述多个内容的每一个不同的所述处理参数。
17.根据权利要求16所述的数据处理设备,其中所述编辑装置包括调整所述每个内容中包括的图像的图像质量的处理的编辑。
18.根据权利要求16所述的数据处理设备,其中所述编辑装置执行包括改进所述每个内容中包括的图像的分辨率的处理的编辑。
19.根据权利要求16所述的数据处理设备,其中所述编辑装置执行包括改变所述每个内容中包括的图像的大小的处理的编辑。
20.根据权利要求16所述的数据处理设备,其中所述编辑装置执行包括从所述每个内容中包括的图像提取要作为所述编辑的内容输出的区域的处理的编辑。
21.根据权利要求16所述的数据处理设备,其中所述编辑装置执行包括添加特效到所述每个内容中包括的图像的处理的编辑。
22.根据权利要求15所述的数据处理设备,其中:
所述多个内容之一是幻灯机显示;并且
所述编辑装置执行包括将所述幻灯机显示重叠到所述多个内容的另一个中包括的图像上。
23.根据权利要求15所述的数据处理设备,其中所述编辑装置编辑所述多个内容中包括的声音。
24.一种执行编辑多个内容的处理的数据处理设备的数据处理方法,包括以下步骤:
生成为所述多个内容的每一个设置以便处理每个内容的处理参数、以及指示所述每个内容作为编辑的内容输出的输出定时的定时参数,所述编辑的内容是已经经历编辑的内容;
通过根据所述处理参数和所述定时参数编辑所述多个内容,生成所述编辑的内容;以及
输出控制数据,所述控制数据包括所述处理参数和所述定时参数,并且用于编辑所述多个内容以便生成所述编辑的内容。
CN2009101269156A 2008-03-05 2009-03-05 数据处理设备、数据处理方法和程序 Expired - Fee Related CN101527807B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2008054563 2008-03-05
JP054563/08 2008-03-05
JP2008291145A JP2009239888A (ja) 2008-03-05 2008-11-13 データ処理装置、データ処理方法、及び、プログラム
JP291145/08 2008-11-13

Publications (2)

Publication Number Publication Date
CN101527807A CN101527807A (zh) 2009-09-09
CN101527807B true CN101527807B (zh) 2011-05-18

Family

ID=41053690

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009101269156A Expired - Fee Related CN101527807B (zh) 2008-03-05 2009-03-05 数据处理设备、数据处理方法和程序

Country Status (3)

Country Link
US (1) US20090226145A1 (zh)
JP (1) JP2009239888A (zh)
CN (1) CN101527807B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013009293A (ja) * 2011-05-20 2013-01-10 Sony Corp 画像処理装置、画像処理方法、プログラム、および記録媒体、並びに学習装置
CN109672907B (zh) * 2018-12-29 2021-06-18 广州华多网络科技有限公司 素材显示处理方法、装置及设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101083125A (zh) * 2006-05-30 2007-12-05 日本电气株式会社 视频/音频文件系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3276596B2 (ja) * 1997-11-04 2002-04-22 松下電器産業株式会社 動画像編集装置
US6408128B1 (en) * 1998-11-12 2002-06-18 Max Abecassis Replaying with supplementary information a segment of a video
US6834080B1 (en) * 2000-09-05 2004-12-21 Kabushiki Kaisha Toshiba Video encoding method and video encoding apparatus
JP4670683B2 (ja) * 2006-02-28 2011-04-13 ソニー株式会社 画像処理装置および方法、データ記録媒体、プログラム記録媒体、並びにプログラム
JP2007336175A (ja) * 2006-06-14 2007-12-27 Matsushita Electric Ind Co Ltd 電子ズーム装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101083125A (zh) * 2006-05-30 2007-12-05 日本电气株式会社 视频/音频文件系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JP特开2005-176346A 2005.06.30
JP特开2006-165848A 2006.06.22
李峰.多路视音频控制切换器的制作与应用.《西部广播电视》.2000,(第9期),20-21页. *

Also Published As

Publication number Publication date
CN101527807A (zh) 2009-09-09
JP2009239888A (ja) 2009-10-15
US20090226145A1 (en) 2009-09-10

Similar Documents

Publication Publication Date Title
US7911533B2 (en) Method and apparatus for processing information, storage medium, and program
CN101646034B (zh) 图像处理器和图像处理方法
CN101617528B (zh) 数据处理设备,数据处理方法
KR100939736B1 (ko) 계수 데이터 생성장치 및 생성방법, 그것을 사용한 정보신호 처리장치 및 처리방법, 그것에 사용하는 종계수 데이터 생성장치 및 생성방법, 및 정보제공매체
US20100202711A1 (en) Image processing apparatus, image processing method, and program
CN101147391B (zh) 成像设备、信息处理设备、信息处理方法
CN101237551B (zh) 图像处理装置以及图像处理方法
CN101330573B (zh) 图像处理设备和图像处理方法
CN102682817B (zh) 剧本编辑装置、方法和系统以及图像拍摄装置及其控制方法
US8520963B2 (en) Image processing apparatus, image processing method, and program for processing content based on user viewing situation
US8701154B2 (en) Information management system and method, center processing apparatus and method, program and recording medium used therewith, and information processing apparatus and method, and program and recording medium used therewith
US7602442B2 (en) Apparatus and method for processing information signal
CN101527807B (zh) 数据处理设备、数据处理方法和程序
JP5217250B2 (ja) 学習装置および学習方法、情報加工装置および情報加工方法、並びにプログラム
US7061539B2 (en) Information signal processing device, information signal processing method, image signal processing device, image display comprising the same, and information providing medium
US20050111749A1 (en) Data converting apparatus, data converting method, learning apparatus, leaning method, program, and recording medium
JP2005159830A (ja) 信号処理装置および方法、記録媒体、並びにプログラム
US8355603B2 (en) Data converting apparatus and data converting method, learning device and learning method, and recording medium
EP2166758A2 (en) Image signal processing apparatus and image signal processing method
JP4512978B2 (ja) 画像処理装置および画像処理方法、プログラム、並びに記録媒体
CN101340533B (zh) 收纳架、收纳架系统和连接设备
JP4560707B2 (ja) 情報管理システムおよび方法、センター処理装置および方法、プログラム、並びに記録媒体
JP2009171620A (ja) 画像信号処理装置および方法、記録媒体、並びにプログラム
JP4329453B2 (ja) 画像信号処理装置および方法、記録媒体、並びにプログラム
JP2000341609A (ja) 画像情報変換装置および変換方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110518

Termination date: 20130305