CN1728824A - 程序,数据处理方法,及其系统 - Google Patents
程序,数据处理方法,及其系统 Download PDFInfo
- Publication number
- CN1728824A CN1728824A CNA2004100899358A CN200410089935A CN1728824A CN 1728824 A CN1728824 A CN 1728824A CN A2004100899358 A CNA2004100899358 A CN A2004100899358A CN 200410089935 A CN200410089935 A CN 200410089935A CN 1728824 A CN1728824 A CN 1728824A
- Authority
- CN
- China
- Prior art keywords
- data
- routine
- video
- processing
- mxf
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4341—Demultiplexing of audio and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2368—Multiplexing of audio and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
- H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
一种程序能够从存储的交叉混合在一起的视频数据、音频数据、以及属性数据的数据中单独的对视频数据和音频数据进行解码,其中SYS解析例程解析数据MXF_D以提取系统数据SYS;PIC解析例程解析数据MXF_D以提取视频数据PIC,并且根据由SYS解析例程61所提取的系统数据SYS来对相关的已提取视频数据PIC进行解码;SOU解析例程解析数据MXF_D以提取音频数据SOU,并且根据由SYS解析例程所提取的系统数据SYS来对相关的已提取音频数据SOU进行解码。
Description
技术领域
本发明涉及一种用于对视频和音频数据进行解码的程序,一种数据处理方法及其系统。
背景技术
视频数据和音频数据的文件交换格式之一是″资料交换格式(MXF)″。MXF由包括在头标数据和多个帧数据等等中的元数据组成。每个帧数据包括相当于1帧的视频数据、与其相应的音频数据、和系统数据等等,该系统数据表示视频数据和音频数据的属性。即,在MXF的数据中,视频数据、音频数据和系统数据是交插存储在一起的。在MXF中,通过以元数据和系统数据描述诸如编码方案、压缩方法、数据结构、时间代码、以及每个帧数据中的视频数据和音频数据的编辑内容这样的属性,使文件交换能够使用其不依赖于视频数据和音频数据的属性的格式进行。
在PC或其它计算机中,当执行再现视频数据和音频数据的处理时,视频数据和音频数据必需以独立的视频文件数据和音频文件数据而存在。由于这个原因,存在这样的问题,即计算机不能通过MXF数据而按其原样来再现视频数据和音频数据。此外,当执行对从处理所输入的视频数据和音频数据进行再现的处理以进行同步转换时,由于处理负荷的原因,有时视频数据不能以正常速度或更快的速度进行再现。在这种情况下,存在不能同步再现图像和声音的问题。
发明内容
本发明的目的是提供一种程序及其方法和系统,其能够单独地对存储的交插的视频数据、音频数据和属性数据的数据中的视频数据和音频数据解码。
本发明的另一目的是提供一种程序及其方法和系统,当执行对从转换处理的处理所输入的视频数据和音频数据同步再现的处理时,该程序能够稳定地保持再现的图像与声音之间的同步。
为了解决上述相关技术的问题,根据本发明的第一方面提供了一种程序,该程序使数据处理系统执行:第一处理例程,该第一处理例程用于解析所处理的数据以提取属性数据,该处理数据是存储的混合在一起的多个视频数据、多个音频数据、以及其表示视频数据和音频数据的属性的多个属性数据;第二处理例程,该第二处理例程用于解析所处理的数据以提取视频数据,并且根据由第一处理例程所提取的属性数据来对所提取的视频数据进行解码;以及第三处理例程,该第三处理例程用于解析所处理的数据以提取音频数据,并且根据由第一处理例程所提取的属性数据来对音频数据进行解码。
本发明的第一方面的程序的操作方式如下。本发明第一方面的程序是由数据处理系统执行的。因此,数据处理系统激活第一处理例程、第二处理例程,以及第三处理例程。第一处理例程用于解析所处理的数据以提取属性数据,该处理的数据是存储的混合在一起的多个视频数据、多个音频数据、以及其表示视频数据和音频数据的属性的多个属性数据。然后,第二处理例程解析所处理的数据以提取视频数据,并且根据由第一处理例程所提取的属性数据来对所提取的视频数据进行解码。另外,第三处理例程解析所处理的数据以提取音频数据,并且根据由第一处理例程所提取的属性数据来对音频数据进行解码。
根据本发明的第二个方面,提供了一种数据处理方法,该方法包括:第一步骤,用于解析处理的数据以提取属性数据,该处理数据是存储的混合在一起的多个视频数据、多个音频数据、以及其表示视频数据和音频数据的属性的多个属性数据;第二步骤,用于解析所处理的数据以提取视频数据,并且根据在第一步骤所提取的属性数据来对所提取的视频数据进行解码;以及第三步骤,用于解析所处理的数据以提取音频数据,并且根据在第一步骤所提取的属性数据来对音频数据进行解码。
本发明的第二方面的数据处理方法的操作方式如下。
首先,在第一步骤,用于解析所处理的数据以提取属性数据,该处理数据是存储的混合在一起的多个视频数据、多个音频数据、以及其表示视频数据和音频数据的属性的多个属性数据。接下来,在第二步骤,解析所处理的数据以提取视频数据,并且根据在第一步骤所提取的属性数据来对所提取的视频数据进行解码。另外,在第三步骤,解析所处理的数据以提取音频数据,并且根据在第一步骤所提取的属性数据来对所提取的音频数据进行解码。
根据本发明的第三方面,提供了一种数据处理系统,该数据处理系统包括:第一设备,用于解析所处理的数据以提取属性数据,该处理的数据是存储的混合在一起的多个视频数据、多个音频数据、以及其表示视频数据和音频数据的属性的多个属性数据;第二设备,用于解析所处理的数据以提取视频数据,并且根据由第一设备所提取的属性数据来对所提取的视频数据进行解码;以及第三设备,用于解析所处理的数据以提取音频数据,并且根据第一设备所提取的属性数据来对音频数据进行解码。
本发明的第三方面的数据处理系统的操作方式如下所述。
首先,第一设备解析所处理的数据以提取属性数据,该处理数据是存储的混合在一起的多个视频数据、多个音频数据、以及其表示视频数据和音频数据的属性的多个属性数据。接下来,第二设备解析所处理的数据以提取视频数据,并且根据由第一设备所提取的属性数据来对所提取的视频数据进行解码。另外,第三设备解析所处理的数据以提取音频数据,并且根据第一设备所提取的属性数据来对音频数据进行解码。
根据本发明的第四方面,提供了一种程序,该程序可使数据处理系统执行这样的处理,即接收从执行预先确定的数据转换的转换处理所输入的视频数据和音频数据,以便产生视频数据和音频数据并且对其进行再现,当该程序确定出不能以正常速度或更快速度来再现视频数据时,该程序对转换处理所输入的视频数据和音频数据进行同步的再现,并且使该数据处理系统执行再现处理以输出中止将视频数据输入到转换处理的请求。
根据本发明的第五方面,提出了一种数据处理方法,该方法用于执行这样的处理,即接收执行预先确定的数据转换的转换处理所输入的视频数据和音频数据,以便产生视频数据和音频数据并且对其进行再现,该方法包括:第一步骤,同步的对转换处理所输入的视频数据和音频数据进行再现;第二步骤,确定第一步骤是否以正常速度或更快速度来再现视频数据;以及第三步骤,当在第二步骤中确定出不能以正常速度或更快速度来再现视频数据时,输出中止将视频数据输入到转换处理的请求。
本发明的第五方面的数据处理方法的操作方式如下所述。
首先,在第一步骤,同步地对转换处理所输入的视频数据和音频数据进行再现。此后,在第二步骤中确定第一步骤是否以正常速度或更快速度来再现视频数据。然后,在第三步骤,当在第二步骤中确定出不能以正常速度或更快速度来再现视频数据时,输出中止将视频数据输入到转换处理的请求。
根据本发明的第六方面,提供了一种数据处理系统,该系统用于执行这样的处理,即接收执行预先确定的数据转换的转换处理所输入的视频数据和音频数据,以便产生视频数据和音频数据并且对其进行再现,该系统包括:第一设备,同步地对转换处理所输入的视频数据和音频数据进行再现;第二设备,确定第一设备是否以正常速度或更快速度来再现视频数据;以及第三设备,当在第二设备中确定出不能以正常速度或更快速度来再现视频数据时,输出中止将视频数据输入到转换处理的请求。
根据本发明的第一到第三方面,提供了一种程序及其方法和系统,该程序能够单独对来自存储的交插的视频数据、音频数据和属性数据的数据中的视频数据和音频数据进行解码。
根据本发明的第四到第六方面,当执行这样的处理,即同步的对从转换处理的处理所输入的视频数据和音频数据进行再现时,提供了一种程序及其方法和系统,其可稳定地保持所再现图像与声音之间的同步。
附图说明
本发明的这些及其它目标和特征将参考相关附图,从以下优选实施例的详细说明中变得更加清楚,其中:
图1是根据本发明实施例的编辑系统的整个结构的视图;
图2是图1所示的在计算机4和5上的处理操作的视图;
图3是图1所示的计算机4的结构视图;
图4是图1所示的计算机5的结构视图;
图5是一个用于说明数据MXF_D的视图;
图6是用于说明形成了图4所示的数据MXF_D的部分的KLV数据的视图;
图7是说明本发明的实施例的视频文件数据VF的视图;
图8是用于说明图7所示的视频通用特性数据VCPD的视图;
图9是用于说明本发明的实施例的音频文件数据AF的视图;
图10是用于说明图9所示的指定的数据WFPD的WAVE的视图;
图11是用于说明图2所示的MXF处理的视图;
图12是用于说明图11所示的MXF解析线程的视图;
图13是用于说明图12所示的SYS解析例程的处理的流程图;
图14是根据图13继续的流程图,其说明了图12所示的SYS解析例程的处理;
图15(A)和15(B)是用于说明图13所示的步骤ST5的处理的视图;
图16是说明图13所示的步骤ST5的处理的示意图;
图17是用于说明图13所示的步骤ST5的处理的视图;
图18是用于说明图12所示的PIC解析例程的处理的流程图;
图19是用于说明图12所示的SOU解析例程的处理的流程图;
图20是用于说明图11所示的MXF-MXU线程的处理的流程图;
图21是用于说明图2所示的编辑处理的视图;
图22是用于说明在MXF处理和编辑处理之间传输的请求等等的视图,其中MXF处理的MXF解析线程执行解析处理以响应来自图2所示的编辑处理的请求;
图23是用于说明再现处理的视图;
图24是用于说明图23所示的再现线程的视图;
图25是用于说明图23所示的再现线程和MXF解析程序线程的处理的视图;
图26是用于说明图25所示的情况下的MXF解析线程的处理视图;和
图27是用于说明在图25所示的情况下,在MXF解析线程和再现线程之间所传输的请求和数据的视图。
具体实施方式
下面将对本发明的实施例进行说明。
首先,将对本发明的结构和本实施例的结构之间的相应部分进行说明。本实施例的MXF处理程序PRG1对应于本发明的第一方面的程序。图12和图25等等所示的SYS解析例程61对应于本发明的第一方面的第一处理例程,PIC解析例程62对应于本发明的第一方面的第二处理例程,SOU解析例程63对应于本发明的第二方面的第三处理例程。计算机4对应于本发明的第一方面和第三方面的数据处理系统。通过图25等等所示的SYS解析例程61、PIC解析例程62、SOU解析例程63,实现本发明的第三方面的第一设备、第二设备和第三设备。图5所示的数据MXF_D对应于本发明的第一到第三方面的被处理的数据。图5所示的视频数据PIC对应于本发明的第一到第三方面的视频数据,音频数据SOU对应于本发明的第一到第三方面的音频数据,以及系统数据SYS或头标数据HEADER对应于本发明的第一到第三方面的属性数据。图5所示的帧数据FLD_1到FLD_n对应于本发明的模块数据或帧数据。
图3和图4所示的编辑处理程序PRG2和PRG3对应于本发明的第四方面的程序。图23到图25所示的再现线程83对应于本发明的第四方面的再现处理。MKF解析线程43对应于本发明的第四到第六方面的转换处理。计算机4和计算机5对应于本发明的第六方面的数据处理系统。视频再生(render)例程72和音频再生例程74形成本发明的第六方面的第一设备,而视频再生例程72形成本发明的第六方面的第二设备和第三设备。
接下来,将对图1到图27所示的编辑系统1进行简要的说明。如图25所示,MXF解析线程43解析数据MKF_D,该数据MKF_D是存储的混合在一起的多个视频数据PIC、多个音频数据SOU、以及表示视频数据PIC和音频数据SOU的属性的多个系统数据。MXF解析线程43具有SYS解析例程61、PIC解析例程62、和SOU解析例程63。SYS解析例程61解析数据MXF_D以提取系统数据SYS。PIC解析例程62解析数据MXF_D以提取视频数据PIC,并且根据由SYS解析例程61所提取的系统数据SYS来对相关的提取的视频数据PIC进行解码。此外,SOU解析例程63解析数据MXF_D以提取音频数据SOU,并且根据由SYS解析例程61所提取的系统数据SYS来对相关的提取的音频数据SOU进行解码。
此外,图25所示的视频再生例程72与音频再生例程74所执行的再现音频的处理同步地根据MXF解析线程43对视频数据VIDEO进行再现的处理。当判断不能以正常速度或更快的速度来再现视频数据VIDEO时,UI音频信道选择例程73输出请求中止将视频数据VIDEO输入到MXF解析线程43的请求。
下面,根据附图对编辑系统1进行详细说明。图1是根据本发明实施例的编辑系统1的整个结构的视图。如图1所示,编辑系统1例如具有文件传输协议(FTP)服务器3、计算机4、计算机5、以及通过网络2进行通信的″廉价磁盘冗余阵列″(RAID)6。在本实施例中,例如计算机4、计算机5、RAID6通过诸如存储区网络(SAN)的网络而连接在一起。
FTP服务器3
FTP服务器3根据经由网络2FTP而将所接收的MXF数据传输到计算机4和计算机5。
计算机4
在计算机4,例如,如图2所示,用于处理MXF数据的MXF处理8和用于执行诸如非线性编辑NLE处理的编辑处理的编辑处理9a进行操作。
图3是图1和图2所示的计算机4的结构视图。如图3所示,计算机4例如具有通信单元11、操作单元12、显示单元13、存储器14、处理单元15,它们都经由数据线10连接在一起。通信单元11通过网络2执行与FTP服务器3、计算机5、RAID6的数据传输。操作单元12是诸如键盘或鼠标的操作设备,并且根据用户的操作将操作信号输出到处理单元15。显示单元13根据来自处理单元15的显示信号来显示图像(画面)。存储器14记录MXF处理程序PRG1和编辑处理程序PRG2,所述的MXF处理程序PRG1描述了图2中所示的MXF处理8的处理,所述的编辑处理程序PRG2描述了编辑处理9a的处理。处理单元15根据(通过执行)记录在存储器14中的MXF处理程序PRG1来激活MXF处理8,并且根据编辑处理程序PRG2来激活编辑处理9a。值得注意的是,在本实施例中,通过执行MXF处理程序PRG1
的处理单元15的实现与MXF处理8相关的线程。此外,通过执行编辑处理程序FRG2的处理单元15而实现与编辑处理9a有关的线程。
计算机5
在计算机5,例如,如图2所示,用于执行诸如编辑的编辑处理的编辑处理9b进行操作。图4是图1和图2所示的计算机5的结构视图。如图4所示,计算机5例如具有通信单元21、操作单元22、显示单元23、存储器24、处理单元25,它们都通过数据线20相互连接。通信单元21通过网络2执行与FTP服务器3、计算机4、RAID6的数据传输。操作单元22是诸如键盘和鼠标这样的操作设备,并且根据用户的操作而将操作信号输出到处理单元25。显示单元23根据来自处理单元25的显示信号来显示一个图像(画面)。存储器24记录编辑处理程序PRG3,该编辑处理程序PRG3描述了图2所示的编辑处理9b的处理。处理单元25根据记录在存储器24中的编辑处理程序PRG3来激活编辑处理9b。此外,通过执行编辑处理程序PRG3的处理单元25而实现与编辑处理9b有关的线程。
RAID6用于记录MXF数据、视频文件数据VD、音频文件数据AF、以及属性文件数据PF。这里,由稍后所提及的MXF来定义MXF数据。此外,视频文件数据VF和音频文件数据AF具有能够被编辑处理9a和9b所使用(再现)的格式。属性文件数据PF表示视频文件数据VF和音频文件数据AF的属性。
下面,将对MXF数据、视频文件数据VF、以及音频文件数据AF进行说明。
MXF_D
下面,将对MXF格式的数据MXF_D进行说明。图5是用于说明数据MXF_D的格式的视图。如图5所示,数据MXF_D是由头标数据HEADER、本体数据BODY、以及脚标数据FOOTER组成的。每个头标数据HEADER、本体数据BODY、脚标数据FOOTER由被称为包PACK的多个模块数据组成。头标数据HEADER是由头标部分包HPP、元数据META、索引表INDEX等等组成的。头标部分包HPP表示与整个数据MXF_D有关的属性数据。当头标部分包包HPP表示例如″结束部分″时,其可以表示帧编号,该帧编号是包括在元数据META内部的数据MXF_D中的帧数据的数量。
元数据META表示属性,例如,存储在本体数据BODY中的帧数据(视频数据和音频数据)的编码方法、与相关帧数据的内容有关的关键字、标题、标识数据、编辑数据、准备时间数据、以及编辑时间数据。此外,除了上述以外,元数据META还包括例如与帧数据有关的时间代码、用于指定丢弃(drop)的帧数据的数据、上述帧编号(持续时间)等等。索引表INDEXT表示当利用数据MXF_D时用于以高的速度对本体数据BODY中的帧数据进行访问所使用的数据。
本体数据BODY包括多个帧数据FLD_1到FLD_n。在此,n是1或大于1的任意整数。如图5所示的每一个帧数据FLD_1到FLD_n包括视频数据PIC和音频数据SOU的1帧、表示其属性的系统数据、以及数据AUX。系统数据SYS表示例如视频数据PIC和音频数据SOU的格式和类型。系统数据SYS表示例如MXF_D的格式(例如由SMPTE标准化的D10)以及该格式的类型(例如由SMPTE标准化的IMX50_625、IMX40_625、IMX30_625、IMX50_525、IMX40_525、和IMX3Q_525)。除了以上所描述的,系统数据SYS表示例如编码系统、时间代码、以及由″唯一资料标识符″(UMID)所组成的数据MXF_D的标识数据等等。
视频数据PIC是由MPEG(活动图像专家组)等等所编码的视频数据。音频数据SOU是由AES(音频工程学会)3等等所编码的音频数据。用这种方法,数据MXF_D以视频数据PIC和音频数据SOU相交插的状态而存储。脚标数据FOOTER包括表示数据MXF_D的终端的标识数据。
上述头标部分包HPP、元数据META、索引数据INDEXT、帧数据FLD_1到FLD_n、以及脚标数据FOOTER中的每个都由一个或多个包数据PACK组成的。每个包数据是由一个或多个KLV数据组成的。图6是用于说明KLV数据的视图。如图6所示,KLV数据是由密钥(K)、数据长度(L)、和数据(V)组成的。密钥(K)和数据长度(L)是其每个都具有固定长度的数据,密钥(K)是例如数据(V)的内容的标识数据,数据长度(L)表示数据(V)的数据长度。关于KLV数据,如图6所示,可以使KLV数据用作数据(V)。
VF
下面,将对本实施例的视频文件数据VF进行说明。图7是用于说明本发明的实施例的视频文件数据VF的格式的视图。如图7所示,视频文件数据VF包括例如标识数据VIO、数据VF_SIZE、视频特性数据VPRD、视频通用特性数据VCPD、视频唯一特性数据VUPD、视频所有者数据VOD、伪数据DUMT、数据V_SIZE、以及视频数据VIDEO。在本实施例中,视频文件属性数据VFPD是由标识数据VIO、数据VF_SIZE、视频特性数据VPRD、视频通用特性数据VCPD、视频唯一特性数据VUPD、视频所有者数据VOD、伪数据DUMT、以及数据V_SIZE组成的。标识数据VIO表示视频文件数据VF的头标。数据VF_SIZE表示视频文件数据VF的数据长度。视频特性数据VPRD表示视频文件数据VF的标识数据、版本信息等等。
视频通用特性数据VCPD表示对全部视频格式通用的特定信息。视频通用特性数据VCPD表示例如如图8所示的数据视频格式(VideoFormat)、宽度、高度、帧大小、等级(Scale)、比率、扫描线信息(ScanLineinfo)等等。数据视频格式表示视频数据VIDEO的类型,例如所压缩的实体是否是DV(数字视频),是否是MPEG(编码方法),以及是否是HDCAM(Handycam)。数据宽度表示视频数据VIDEO的图像(横向宽度)的横向中的像素数目。数据高度表示视频数据VIDEO的图像的垂直方向(垂直宽度)中的线数目。数据帧大小通过字节数目来表示帧的大小(数据长度)。在本实施例中,所述的大小是4096字节的倍数。使用数据等级和比率以通过用等级除时间比率单位来获得表示按每秒帧的数量的再现速率的数据。数据扫描线信息表示扫描线信息。
视频唯一的特性数据VUPD表示只有数据视频格式所指定的格式的特性信息。视频唯一特性数据VUPD表示例如非压缩数据的类型、DV格式的类型、MPEG格式的类型、以及MPEG的数据类型。视频所有者数据VOD表示与应用程序有关的信息,所述的应用程序目前拥有视频文件数据VF。伪(dummy)数据DUMY是所规定的数据,以便视频文件属性数据VFPD的大小变成4096字节。数据VF_SIZE表示视频文件数据VIDEO的数据大小。视频数据VIDEO是所规定的多个帧的视频数据,以便一个帧变成整个4096字节的倍数。因此,可使用4096字节作为最小单位来访问视频数据VIDEO。在数据MXF_D中,视频数据VIDEO的编码方法、压缩方法的格式等等可以是任意方法、格式等等。
AF
下面,将对本实施例的音频文件数据AF进行说明。图9是用于说明本发明的实施例的音频文件数据AF的格式的视图。如图9所示,应用程序AP包括标识数据RIFF、数据AF_SIZE、WAVE特性数据WFPD、音频特性数据APRD、音频所有者数据AOD、信道状态数据CSD、伪数据DUMY、数据A_SIZE、和音频数据AUDIO。在本实施例中,音频文件属性数据AFPD是由标识数据RIFF、数据AF_SIZEE、WAVE特性数据WFPD、音频特性数据APRD、音频所有者数据AOD、信道状态数据CSD、伪数据DUMY、和数据A_SIZE组成的。
标识数据RIFF表示音频文件数据AF的头标。数据AF_SIZE表示音频文件数据AF的数据长度。WAVE特性数据WFPD表示例如如图10所示的数据wFormaTag、nChannels、nSamplesPerSec、nAvgBytesPerSec、nBlockAlign、wBitsFerSample、和cbSinse。数据wFormatTag表示音频文件数据AF的格式。数据nChannels表示信道的数量。数据nSamplesPerSec表示采样率。数据nAvgBytesPerSec表示缓冲器估计。数据nBlockAlign表示数据的块大小。数据wBitsFerSample表示单数据单元的采样位的数量。数据cbSise表示扩展信息的大小的字节数量。
音频特性数据APRD表示音频数据AUDIO的数据长度、音频文件数据AF的版本等等。音频所有者数据AOD表示与应用程序有关的信息,所述信息目前具有音频文件数据AF。信道状态数据CSD表示与音频数据AUDIO的信道有关的信息。伪数据DUMY是规定的数据,以便音频文件属性数据AFPD的大小变成4096字节。数据A_SIZE表示音频数据AUDIO的数据长度。音频数据AUDIO是一种格式的音频数据,例如AES(美国音频工程学会)3。
MXF处理8
图11是说明图2所示的MXF处理8的视图。例如,MXF处理8根据数据MXF_D产生视频文件数据VF和音频文件数据AF,并且根据视频文件数据VF和音频文件数据AF产生数据MXF_D。在这种情况下,MXF处理8例如具有如图11所示线程管理器41、FTP线程42、MXF解析线程43、MXF-MUX线程44。
线程管理器41
线程管理器41激活MXF解析线程43和MXF-MUX线程44以响应来自例如编辑处理9a和9b的命令,或响应来自图3所示的操作单元12的操作信号的请求。
FTP线程42
FTP线程42利用FTP服务器3而通过FTP来传输数据MXF_D。FTP线程42通过FTP将从FTP服务器3所接收的数据MXF_D输出到MXF解析线程43。FTP线程42通过FTP将从MXF-MUX线程44所输入的数据MXF_D传输到FTP服务器3。
MXF解析线程43
MXF解析线程43将通过FTP线程42所接收的数据MXF_D或从RAID6所读出的数据MXF_D转换为视频文件数据VF和音频文件数据AF,并且将其写入到RAID6中。此外,MXF解析线程43以编辑处理9a和9b可再现的格式而将通过对从FTP线程42所输入的数据MXF_D进行解析所提取的视频数据VIDEO和音频数据AUDIO输出到编辑处理9a和9b解析。在本实施例中,在不执行MXF解析处理的状态下,不激活MXF解析线程43。当执行MXF解析处理时,线程管理器41激活MXF解析线程43,以响应来自编辑处理9a和9b的命令,或响应来自诸如图3所示的操作单元12的操作信号的请求。由于这些原因,在不进行MXF解析处理的情况下,可以降低计算机4(处理单元15)的处理负荷。
此外,在本实施例中,FTP线程42和MXF解析线程43由不同程序实现,但是可通过相同的MXF处理8来实现。因此,当通过MXF解析线程43所接收的数据MXF_D通过FTP线程42而受到转换处理时,与通过FTP线程42接收数据MXF_D的处理相并行的执行对已接收到的数据MXF_D进行MXF解析处理。由于这些原因,与单独规定用于执行FTP的程序和执行MXF解析处理的程序的情况相比,可以缩短处理时间,并且在结束对整个数据MXF_D的FTP处理之后执行MXF解析处理。
图12是用于说明图11所示的MXF解析线程43的功能方框图。如图12所示,MXF解析线程43具有例如SYS解析例程61、PIC解析例程62、和SOU解析例程63。MXF解析线程43产生由显示属性文件数据VFPD和视频数据VIDEO所组成的视频文件数据VF,显示属性文件数据VFPD是由SYS解析例程61产生的,视频数据VIDEO是由PIC解析例程62产生的,如下所示。MXF解析线程43产生由音频属性文件数据AFPD和音频数据AUDIO所组成的音频文件数据AF,音频属性文件数据AFPD是由SYS解析例程61产生的,音频数据AUDIO是由SOU解析例程63产生的。此外,MXF解析线程43通过SYS解析例程61而产生了属性文件数据PF,该属性文件数据PF表示与例如视频文件数据VF和音频文件数据AF有关的属性,如下所示。在这种情况下,不对SYS解析例程61、PIC解析例程62、以及SOU解析例程63的执行的顺序进行特别限定。
如图5所示,SYS解析例程61、PIC解析例程62、和SOU解析例程63解析数据MXF_D,以便检测图6所示的KLV数据的密钥(K),并且通过利用预先确定的数据而根据相关的检测密钥(K)产生了如下所示的数据。
SYS解析例程61解析图5所示的数据MXF_D,并且根据在数据MXF_D中的头标数据HEADER、在帧数据FLD_到FLD_n中的系统数据SYS、和脚标数据FOOTER来产生图7所示的视频文件数据VF的视频文件属性数据VFPD以及图9所示的音频文件数据AF的音频文件属性数据AFPD。
图13和14是用于说明图12所示的SYS解析例程61的处理的流程图。值得注意的是,在图13中,还可以在步骤ST3的判断之前执行步骤ST6的判断。
步骤ST1:
SYS解析例程61解析从数据MXF_D读出的数据MXF_D,或从FTP线程42输入的RAIDS。
步骤ST2:
SYS解析例程61确定通过步骤ST1的解析是否对其形成了部分数据MXF_D的KLV数据的密钥(K)进行检测。如果对其进行检测,处理例程转到步骤ST4,而如果没有对其进行检测,处理例程回到步骤ST6。
步骤ST3:
SYS解析例程61判断在步骤ST1所检测的密钥(K)是否与系统数据SYS的第14个字节(在预定位置的数据)有关。当确定出它与第14个字节有关时,处理例程转到步骤ST4,而当它与第14个字节无关时,处理例程转到步骤ST6。
步骤ST4:
SYS解析例程61根据第14个字节来判断数据MXF_D是否具有″D10″格式(预定格式)。如果是″D10″格式,处理例程转到步骤ST5,而如果不是″D10″格式,则终止处理或执行与另一个格式有关的处理。
步骤ST5:
当数据MXF_D的类型是IMX50_625、IMX40_625、和IMX30_625时,SYS解析例程61根据系统数据SYS的第15个字节来将预先所规定的如图15(A)所示的值设置为如图7所示的视频通用特性数据VCPD的图8所示的视频频格式、宽度、高度、帧大小、等级、比率、以及扫描线信息,以便更新视频文件属性数据VFPD。在此,根据格式的类型,规定诸如图16所示的数据帧。此外,SYS解析例程61将预先所规定的例如图17所示的值设置为图9所示的WAVE特性数据WFPD的图10所示的数据wFormatTag、cChannels、nSamplesPerSec、nAvgBytesPerSec、nBlockAlign、wBitsPerSample、和cbSise,以便更新音频文件属性数据AFPD。另一方面,当数据MXF_D是IMX50_525、IMX40_525、和IMX30_525时,SYS解析例程61根据系统数据SYS的第15个字节来将预先规定的诸如图15(B)的值设置为如图7所示的视频通用特性数据VCPD的图8所示的视频频格式、宽度、高度、帧大小、等级、比率、以及扫描线信息,以便更新视频文件属性数据VFPD。
步骤ST6:
SYS解析例程61判断在步骤ST1所检测的密钥(K)是否与元数据META或系统数据SYS有关。如果有关,则处理例程转到步骤ST7,而如果无关,则处理例程转到步骤ST9。
步骤ST7:
SYS解析例程61根据与在步骤ST1所检测的密钥(K)相对应的数据(V)而产生或更新图7所示的视频文件属性数据VFPD和图9所示的音频文件属性数据AFFD。
步骤ST8:
SYS解析例程61根据与在步骤ST1所检测的密钥(K)相对应的数据(V)而通过使用XML等等来产生或更新属性文件数据PF。即,SYS解析程序线程61根据数据MXF_D中的元数据META或在系统数据SYS中所描述的属性数据而产生表示视频文件数据VF和音频文件数据AF的属性的属性文件数据PF。
步骤ST9:
SYS解析例程61判断在步骤ST1所检测的密钥(K)是否与视频数据PIC有关。如果有关,则处理例程转到步骤ST10,而如果无关,则处理例程转到步骤ST12。
步骤ST10:
SYS解析例程61将与在步骤ST1所检测的密钥(K)相对应的数据长度(L)添加到数据V_SIZE上,以便更新数据V_SIZE。
步骤ST11:
SYS解析例程61更新(增加)帧编号数据FN。
步骤ST12:
SYS解析例程61判断在步骤ST1所检测的密钥(K)是否与音频数据SOU有关。如果有关,则处理例程转到步骤ST13,而如果无关,则终止处理或执行其它处理。
步骤ST13:
SYS解析例程61将预先所确定的例如图17所示的值设置为图9所示的音频文件属性数据AFPD的图10所示的WAVE特性数据WFPD。只有当首次执行步骤ST13时才执行相关的建立。SYS解析例程61根据与在步骤ST1所检测的密钥(K)相对应的数据(V)来设置图9所示的音频文件属性数据AFPD的信道状态数据CSD,也就是AES3的音频数据SOU数据的Channel_Status。在数据Channel_Status中,示出了用于指定例如有效信道的信息等。此外,SYS解析例程61根据由音频数据SOU的AES3规定的数据SamplingRate、AuxSampleBits和Wordlength来改变图9所示的WAVE特性数据WFPD的图10所示的数据nSamplesPerSec、nAvgBytesPerSec、nBLockAlign、和wBitsPerSample。
步骤ST14:
SYS解析例程61将与步骤ST1所检测到的密钥(K)相对应的数据长度(L)添加到数据A_SIZE上以更新A_SIZE。
步骤ST15:
SYS解析例程61判断全部的数据MXF_D是否都被解析。当确定全部都被解析时,结束处理例程,而如果确定没有都被解析,则处理例程回到步骤ST1。通过图13和图14的处理,产生图5所示的头标数据HEADER和系统数据SYS。
PIC解析例程62解析图5所示的数据MXF_D,并且根据数据MXF_D的帧数据FLD_1到FLD_n中的视频数据PIC来产生图7所示的视频文件数据VF的视频数据VIDEO。PIC解析例程62通过MPEG来对例如视频数据PIC进行解码以在由MPEG来编码视频数据PIC时而产生视频数据VIDEO。
图18是用于说明图12所示的PIC解析例程62的处理的流程图。
步骤ST21:
PIC解析例程62解析数据MXF_D。
步骤ST22:
PIC解析例程62判断组成了数据MXF_D的KLV数据的密钥(K)是否通过步骤ST21的解析而被检测。如果被检测,则处理例程转到步骤ST22,而如果没有被检测,则处理例程回到步骤ST21。
步骤ST23:
PIC解析例程62判断步骤ST21所检测的密钥(K)是否与视频数据PIC有关。当确定相关时,处理例程转到步骤ST24,而当判断结果是否定时,处理例程回到步骤ST21。
步骤ST24:
PIC解析例程62通过步骤ST21所检测的密钥(K)而通过与在例如系统数据SYS或与其相对应的元数据META中所描述的编码方法来对视频数据PIC进行解码。
步骤ST25:
PIC解析例程62将通过步骤ST24的解码所获得的视频数据PIC用作图7所示的视频文件数据VF的视频数据VIDEO。
步骤ST26:
PIC解析例程62判断是否全部数据MXF_D都被解析。当确定全部数据MXF_D都被解析时,结束处理例程,而如果确定没有都被解析,则处理例程回到步骤ST21。
SOU解析例程63解析图5所示的数据MXF_D以根据数据MXF_D的帧数据FLD_1到FLD_n中的音频数据SOU而产生图9所示的音频文件数据AF的音频数据AUDIO。在这种情况下,SOU解析例程63分离多个信道数据以产生音频数据AUDIO,其中音频数据SOU是AES3标准。
图19是用于说明图12所示的SOU解析例程63的处理的流程图。
步骤ST31:
SOU解析例程63解析数据MXF_D。
步骤ST32:
SOU解析例程63确定步骤ST1的解析是否对组成数据MXF_D的KLV数据的密钥(K)进行检测。而如果对其进行检测,则处理例程转到步骤ST32,如果没有对其进行检测,处理例程回到步骤ST31。
步骤ST33:
SOU解析例程63判断在步骤ST32所检测的密钥(K)是否与音频数据SOU有关。当确定出有关时,处理例程转到步骤ST34,而如果判断结果是否定的,则处理例程回到步骤ST31。
步骤ST34:
SOU解析例程63通过在步骤ST31所检测的密钥(K)而通过与在例如与其相对应的系统数据SYS中所描述的编码方法来对音频数据SOU进行解码。
步骤ST35:
SOU解析例程63将通过步骤ST34解码所获得音频数据SOU用作图9所示的音频文件数据AF的音频数据AUDIO。
步骤ST36:
SOU解析例程63判断数据MXF_D是否全部被解析。当确定全部数据MXF_D都被解析时,结束处理例程,而如果确定没有都被解析,则处理例程回到步骤ST31。
MXF-MUX线程44
MXF-MUX44根据属性文件数据PF、视频文件数据VF、以及音频文件数据AF而产生了数据MXF_D。在本实施例中,在不执行MXF-MUX的状态下,不激活MXF-MUX线程44。当执行MXF-MUX处理时,线程管理器41激活MXF-MUX线程44以响应来自编辑处理9a和9b的命令或响应来自图3所示的操作单元12的操作信号的请求。由于这些原因,在不执行MXF-MUX处理的情况下,可以降低计算机4(处理单元15)的处理负荷。
图20是用于说明通过MXF-MUX线程44产生数据MXF_D的处理的流程图。
步骤ST41:
当请求时MXF-MUX线程44从RAID6中读出图7所示的被指定为转换对象的视频文件数据VF,并且对相关视频文件数据VF中的视频通用特性数据VCPD中的下述格式进行检测,该格式根据图8所示的数据而被用作数据MXF_D。
步骤ST42:
MXF-MUX线程44判断在步骤ST41所检测的格式是否是″D10″(预定格式)。当判断格式是″D10″的时候,处理例程转到步骤ST43,而如果不是,则它执行与不同于″D10″的格式相对应的处理。
步骤ST43:
MXF-MUX线程44将表示″D10″的数据设置为如图5所示的数据MXF_D的帧数据FLD_1到FLD_n的系统数据SYS的第14个字节(预先确定位置的数据)。此外,MXF-MUX线程44对视频文件数据VF中的图15(A)和图15(B)所示数据而定的格式类型以及图16所示的帧大小进行指定,并且将相关的已指定类型设置为系统数据SYS的第15个字节。
步骤ST44:
MXF-MUX线程44产生了图5所示的头标数据HEADER,同时根据视频文件数据VF的视频文件属性数据VFPD、音频文件数据AF的音频文件属性数据AFPD、以及属性文件数据PF来更新系统数据SYS。
步骤ST45:
MXF-MUX线程44通过例如由视频文件属性数据VFPD(例如MPEG)所指示的编码方法来对视频文件数据中的视频数据VIDEO进行编码以产生视频数据PIC。
步骤ST46:
MXF-MUX线程44根据音频文件数据AF的音频文件属性数据AFPD和属性文件数据PF来设置图5所示的帧数据FL_1到FL_n中的AES3的音频数据SOU的″channelStatus″、″SamplingRate″、″AuxSmpleBits″、和″WordLength″。
步骤ST47:
MXF-MUX线程44根据在步骤ST46设置的数据以及音频文件数据AF中的音频数据AUDIO而产生了音频数据SOU。
步骤ST48:
MXF-MUX线程44根据在步骤ST43到ST47所产生的系统数据SYS、视频数据PIC、音频数据SOU、以及最新所产生的数据AUX而产生了帧数据FLD_1到FLD_n。此外,MXF-MUX线程44产生了数据MXF_D并且将其写入到RAID6,该数据MXF_D包括在步骤ST44所产生的头标数据HEADER、所产生的帧数据FLD_1到FLD_n、以及最新所产生的脚标数据FOOTER。在本实施例中,MXF-MUX线程44直接接收视频文件数据VF和音频文件数据AF,并且执行如图20所示的处理以便产生数据MXF__D,因此不需要像从前那样丢弃作为临时文件的视频文件数据VF和音频文件数据AF,这样可以缩短转换时间。
编辑处理9a和9b
图21是用于说明编辑处理9a和9b的结构的视图。如图21所示,编辑处理9a和9b具有例如命令线程51、状态线程52、和编辑线程53。命令线程51输出命令,该命令是例如解析命令和MXF命令,根据例如从图3和图4所示的操作单元12和13将操作信号输出到MXF处理8的线程管理器41。状态线程52输出数据MXF_D、视频文件数据VF、音频文件数据AF等等的指定信息以作为解析和MUX的对象(例如URL的地址等等),并且将例如标识数据和编辑处理9a和9b的用户口令的数据输出到MXF解析线程43和MXF-MUX线程44。编辑线程53通过使用例如由MXF解析线程43所写入到RAID6中的视频文件数据VF和音频文件数据AF并且根据需要的属性文件数据PF来执行编辑处理。
图22是用于说明在MXF处理8和编辑处理9a和9b之间传输的请求等等的视图,其中MXF处理8的MXF解析线程43执行解析处理以响应来自编辑处理9a和9b的请求。
步骤ST51:
命令线程51根据来自图3和图4所示的操作单元12和13的操作信号,将例如解析命令PARSE_COMD输出到MXF处理8的线程管理器41。线程管理器41激活MXF解析线程43以响应解析命令PARSE_COMD。
步骤ST52:
线程管理器41将其包括有接口名(例如管道名)的确认ACK输出到命令线程51,该接口名被用于利用命令线程51来进行数据传输。
其后,通过指定相关的管道名来执行线程管理器41和命令线程51之间的数据和请求的传输。
步骤ST53:
状态线程52将作为解析和MXF的对象的数据MXF_D的指定信息(例如URL的地址等等)、编辑处理9a和9b的用户的标识数据ID、口令PASS等等输出到MXF解析线程43。
步骤ST54:
MXF解析线程43根据图13、图14、图18、和图19来对在步骤ST52所接收到的指定信息所指定的数据MXF_D执行前述的解析处理,并且将由其产生的视频文件数据VF、音频文件数据AF、和属性文件数据PF写入到RAID6。在步骤ST54由MXF解析线程43所处理的解析也可以执行图13、图14、图18、和图19的全部处理,或仅执行与视频数据VIDEO和音频数据AUDIO的产生有关的处理。然后,MXF解析线程43根据前述解析处理来将其终止解析处理的帧数据FLD_1到FLD_n的时间代码以及帧编号输出到状态线程52。只要每个帧数据的解析处理结束,MXF解析线程43就将时间代码和帧编号输出到状态线程52,直到数据MXF_D中的全部帧数据FLD_1到FLD_n的解析处理全都结束。
步骤ST55:
当完成了数据MXF_D中的全部帧数据FLD_1到FLD_n的解析处理时,MXF解析线程43将结束代码输出到状态线程52。例如,在图2(A)所示的计算机4上的编辑处理9a根据图22所示的计算机4上的MXF处理8而输出解析命令PARSE__COMD,该命令指定了数据MXF_D名和视频文件数据VF名以及音频文件数据AF。到这时,当接收到FTP线程42所输入的数据MXF_D时,MXF处理8执行数据MXF_D的解析处理,并且将结果写入到例如RAID6中。在这种情况下,MXF处理8和编辑处理9a在相同的计算机4上进行操作,这样MXF处理8的处理负荷会对编辑处理9的处理产生影响。由于这些原因,编辑处理9a根据用户的操作而向MXF处理8发出请求以请求中止MXF处理8的解析处理。到这时,MXF处理8中断解析处理,并且计算机4可以集中于编辑处理9的处理。
另一方面,如图22所示,图2(B)所示的计算机5上的编辑处理9b将解析命令PARSE_COMD输出到计算机4上的MXF处理8,该命令PARSE_COMD指定了数据MXF_D名和视频文件数据VF名。到这时,当接收到从FTP线程42所输入的数据MXF_D时,MXF处理8执行数据MXF_D的解析处理,并且将结果写入到例如RAID6。在这种情况下,因为MXF处理8和编辑处理9a在不同的计算机4和5上进行操作,这样MXF处理8的处理负荷不会对编辑处理9的处理产生影响。
再现处理80
计算机4或计算机5执行例如预定的再现程序以激活图23所示的再现处理80。再现处理80具有例如如图23所示的命令线程81、状态线程82、以及再现线程83。再现线程83执行对MXF处理8的MXF解析线程43所输入的视频数据VIDEO和音频数据AUDIO进行再现的处理解析。图24是图23所示的再现线程83的结构视图。如图24所示,再现线程83具有例如UI查找屏幕例程71、视频再生例程72、UI音频信道选择例程73、以及音频再生例程74。UI查找屏幕例程71显示UI(用户界面)屏幕,用于将帧数据的查找请求SEEK_REQ输出到如图25所示的显示单元13和23上的SYS解析例程61上,以响应例如来自操作单元12和22的操作信号。相关的查找请求SEEK_REQ是这样的请求,该请求指定了例如由MXF处理8的MXF解析线程43通过例如帧编号所解析的帧数据。
视频再生例程72执行用于再现视频数据VIDEO的处理,所述的视频数据VIDEO是从PIC解析例程62输入的。因此,根据视频数据VIDEO的图像显示在显示单元13和23上。在这种情况下,视频再生例程72利用音频再生例程74执行同步处理,以便例如被再现的图像和声音是同步的。视频再生例程72判断与一个帧数据相对应的视频数据VIDEO的前述再现处理时间是否比预先确定的时间长,所述的预先确定的时间作为用于再现一组帧数据的时间。当判断它比预先确定的时间长时,如图25所示,它将丢弃请求DROP_KEQ输出到PIC解析例程62。即,当由于图3所示的处理单元15或图4所示的处理单元25的处理能力而造成的视频数据VIDEO不能以正常速度或更快速度执行再现处理时,视频再生例程72将丢弃请求DROP_REQ输出到PIC解析例程62。由于这些原因,可以防止由于处理单元15和25对视频数据VIDEO的再现处理的延迟而导致的声音输出和图像输出之间的时间偏差以及图像质量的变质。
当由AES3所规定的多个信道的音频数据被包含在例如数据MXF_D的帧数据FLD_1到FLD_n的音频数据SOU中时,UI音频信道选择例程73执行这样的处理,即用于选择在再现线程54中未再现的信道。UI音频信道选择例程73输出非请求的信道指定请求CH_REQ,该CH_REQ将由用户指定的不被再现的信道指定给SOU解析例程63。
音频再生例程74执行用于再现音频数据AUDIO的处理,所述的音频数据AUDIO是从SOU解析例程63输入的。到这时,根据音频数据AUDIO输出声音。
下面,将说明输出到再现线程83的视频数据VIDEO和音频数据AUDIO的MXF处理8的MXF解析线程43的处理,以响应来自编辑处理9a和9b的命令,或响应来自图3所示的操作单元12的操作信号等等的请求。线程管理器41激活MXF解析线程43,以响应来自编辑处理9a和9c的命令,或响应来自如图3所示的操作单元12的操作信号的请求,并且执行以下处理。传递例如由FTP线程42处理的接收之后,根据FTP线程42,所输入的数据MXF_D来执行如下所示的MXF解析线程43的处理,并且与FTP线程42的接收处理相并行的执行。此外,对从RAIDS所读出的数据MXF_D执行如下所示的MXF解析线程43的处理。值得注意的是,当对FTP线程42所输入的数据MXF_D执行图26的处理时,MXF解析线程43不执行步骤ST71和ST72的处理。
图26是用于说明MXF流程8的MXF解析线程43将视频数据VIDEO和音频数据AUDIO输出到再现线程83的解析处理的流程图。当利用再现线程83来执行处理时,MXF解析线程43为图5所示的每个帧数据FLD_1到FLD_n顺序地执行SYS解析例程61、PIC解析例程62、SOU解析例程63、以及AUX解析例程的解析处理。
步骤ST71:
图12所示的MXF解析线程43的SYS解析例程61判断查找请求SEEK_REQ是否是从图24所示的再现线程83的UI查找屏幕例程71输入的。当判断是,处理例程转到步骤ST72,而如果判断结果不是,则处理例程转到步骤ST73。
步骤ST72:
SYS解析例程61将例如表示记录在RAID6中的数据MXF_D的读取位置(地址)的查找指针SP移动到与在步骤ST71所接收到的查找请求SEEK_REQ所指示的帧编号相对应的地址上。每当数据MXF_D的帧数据被读出时,相关的查找指针SP被更新为下一个将被读出的帧数据的地址。用这种方法,通过在SYS解析例程61、PIC解析例程62、和SOU解析例程63的处理之前移动查找指向SP,就可以使查找操作不对PIC解析例程62和SOU解析例程63的处理产生影响,并且可以简化MXF解析线程43的结构。
步骤ST73:
SYS解析例程61读出记录在RAID6上的由查找指针SF所指示的地址上的帧数据FLD的系统数据SYS,并且执行解析处理。
步骤ST74:
PIC解析例程62从系统数据读出连续的视频数据PIC,并且执行解析处理,在步骤ST73从RAID6读出系统数据,。
步骤ST75:
PIC解析例程62判断丢弃请求DRDP_REQ是否是从视频再生例程72输入的。当判断丢弃请求是从视频再生例程72输入时,处理例程转到步骤ST76,而判断不是从视频再生例程72输入时,处理例程转到步骤ST77。
步骤ST76:
PIC解析例程62通过对在步骤ST73所读取的系统代码SYS所指示的编码方法相对应的解码方法来对在步骤ST74所读出的视频数据PIC进行解码以产生视频数据VIDEO,并且将其输出到视频再生例程72。即,当通过步骤ST75和ST76接收了丢弃请求DROP_REQ时,PIC解析例程62中止输出到视频再生例程72的1帧视频数据VIDEO。注意,还可以中止输出2帧或更多帧的视频数据VIDEO。
步骤ST77:
SOU解析例程63读取从在步骤ST74所读取的视频数据PIC中连续的音频数据SOU,并且执行解析处理。
步骤ST78:
SOU解析例程63判断非请求的信道指定请求CH_REQ是否是从UI音频信道选择例程73输入的。当判断是从它输入的,处理例程转到步骤ST79,而如果判断结果不是,则处理例程转到步骤ST80。
步骤ST79:
SOU解析例程63将在步骤ST77所读出的音频数据SOU分离成多个音频数据AUDIO的信道,从它们当中选择其不是由非请求的信道指定请求CH_REQ所指定的信道的音频数据AUDIO,并且对其进行解码信道指定请求,并且将其输出到音频再生例程74。在这种情况下,SOU解析例程63通过解码方法执行音频数据AUDIO的解码,所述的解码方法与通过在步骤ST73所读出的系统代码SYS所表示的编码方法相对应。
步骤ST80:
SOU解析例程63将由步骤ST77所读出的音频数据所组成的多个信道的全部音频数据AUDIO输出到音频再生例程74。
注意,在图26所示的处理中,在步骤ST74之前执行步骤ST75的判断。当接收了丢弃请求DROP_REQ时,可以执行也可以不执行步骤ST74的视频数据PIC的解析处理。
图27是用于说明在MXF处理8和再现处理80之间传输的请求等等的视图,其中MXF处理8的MXF解析线程43执行解析处理以响应来自再现处理80的请求。
步骤ST91:
命令线程81将例如播放命令PLAY_COMD输出到MXF处理8的线程管理器41,以响应例如来自图3和图4所示的操作单元12和13的操作信号。线程管理器41根据播放FLAY_COMD激活MXF解析线程43。
步骤ST92:
线程管理器41将一个确认ACK输出到命令线程51以响应播放命令PLAY_COMD,该确认ACK包括在通信的过程中所使用的作为接口的管道名。
步骤ST93:
状态线程82将作为再现对象(例如URL的地址等等)的数据MXF_D的指定信息、再现处理80的用户的标识数据ID、口令PASS等等输出到MXF解析线程43。
步骤ST94:
状态线程82根据再现处理的进程将再现请求R_REQ输出到MXF解析线程43,该再现请求R_REQ包括将被下一个再现的帧数据FID_1到FLD_n的帧编号。
步骤ST95:
MXF解析线程43对相关再现请求R_REQ所指定的帧编号的帧数据FLD_1到FLD_n执行利用图25和图26说所明的解析处理以响应步骤ST94的再现请求R_REQ。此外,帧数据FLD_1到FLD_n的时间编码至少经受MXF解析线程43的SYS解析例程61解析、PIC解析例程62、SOU解析例程63之中的一个例程的解析处理,并且帧编号被输出到状态线程82。MXF解析线程43重复上述处理直到数据MXF_D中的全部帧数据FLD_1到FLD_n都进行了解析处理。
步骤ST96:
状态线程82将播放结束请求PLAY_END输出到MXF解析线程43。
步骤ST97:
MXF解析线程43终止解析处理以响应播放结束请求PLAY_END。
然后,MXF解析线程43将结束代码输出到状态线程32。用这种方法,MXF解析线程43具有从状态线程82接收播放结束请求PLAY_END的功能,从而能够当MXF处理8和编辑处理9a在诸如计算机4这样的同一计算机4上进行操作时,可给出编辑处理8a的编辑处理优先权,并且能够有效地进行编辑工作。
以下,将说明编辑系统1的主操作的例子。在编辑系统1中,如图25所示,MXF解析线程43解析数据MXF_D,该数据是存储的混合在一起的多个视频数据PIC、多个音频数据SOU、以及其表示视频数据PIC和音频数据SOU的属性的多个系统数据。MXF解析线程43具有SYS解析例程61、PIC解析例程62、以及SOU解析例程63。SYS解析例程61解析数据MXF_D以提取系统数据SYS。PIC解析例程62解析数据MXF_D以提取视频数据PIC,并且根据由SYS解析例程61所提取的系统数据SYS来对相关的已提取视频数据PIC进行解码。此外,SOU解析例程63解析数据MXF_D以提取音频数据SOU,并且根据由SYS解析例程61所提取的系统数据SYS来对相关的已提取音频数据SOU进行解码。
此外,图25所示的视频再生例程72与音频再生例程74对音频再现的处理相同步的执行对来自MXF解析线程43的视频数据VIDEO进行再现的处理。当判断视频数据VIDEO不能以正常速度或更快的速度被再现时,UI音频信道选择例程73将这样一个请求输出到MXF解析线程43,即请求中止视频数据VIDEO的输入。
如上述说明,根据计算机4,视频数据和音频数据可以分别地根据数据MXF_D被解码。此外,根据计算机4,MXF解析线程43接收查找请求SEEK_REQ,并且执行图25所示的查找处理,从而通过再现线程83再现的帧数据可以以简单的结构快速地受到MXF解析处理。此外,根据计算机4,MXF解析线程43接收丢弃请求DROP_REQ,并且执行丢弃处理,从而在视频和音频同步的情况下,再现线程83能够稳定地执行正常速度的再现。此外,根据计算机4,MXF解析线程43根据非请求的信道指定请求CH_HEQ来为非请求的信息执行SOU解析例程63的解析处理,这样可以减少计算机4的处理负荷。
此外,根据计算机4,图7所示的视频文件数据VF和图9所示的音频文件数据AF可以从图5所示的数据MXF_D自动地产生。此外,根据计算机4,图5所示的数据MXF_D可以从图7所示的视频文件数据VF和图9所示的音频文件数据AF自动地产生。此外,根据计算机4,通过MXF解析线程43将数据MXF_D转换为可以由解析由再现处理80所再现的数据,再现处理80可根据数据MXF_D来进行再现处理。此外,根据计算机4,如图11所示,通过规定MXF处理8的FTP线程42和MXF解析线程43,并且并行地通过FTP线程42执行接收处理以及通过MXF解析线程43执行解析处理,可以缩短FTP接收时间和解析处理的总时间。此外,根据计算机4,当执行MXF解析处理时,线程管理器41激活MXF解析线程43,当执行MUX处理时,激活MXF-MUX线程44,这样当不执行MXF解析处理和MUX处理时,可以减少处理单元15的处理负荷。
本发明并不局限于上述实施例。例如,在上述实施例中,视频文件数据VF和音频文件数据AF作为某种格式的例示,所述的格式是可以由编辑处理9a和9b处理的格式,但是不将格式进行特别的限定,只要它能在通用计算机上被处理,除此之外,作为视频数据,还可以是的使用例如RGB格式和YUV格式这样的格式都可以使用。此外,在上述实施例中,数据MXF_D是作为本发明的处理数据的例证,但是本发明可以使用除了数据MXF_D以外的其它数据作为处理数据,只要它是存储的混合在一起的多个音频数据、其表示视频数据和音频数据的属性的多个第一属性数据。
本发明可以用于将与视频数据和音频数据有关的数据的格式进行转换的系统。
Claims (15)
1.一种程序,该程序使数据处理系统执行:
第一处理例程,该第一处理例程用于解析处理的数据以提取属性数据,该处理的数据是存储的混合在一起的多个视频数据、多个音频数据、以及表示所述视频数据和所述音频数据的属性的多个属性数据;
第二处理例程,该第二处理例程用于解析所述处理的数据以提取所述视频数据,并且根据由所述第一处理例程所提取的所述属性数据来对所提取的视频数据进行解码;以及
第三处理例程,该第三处理例程用于解析所述的处理数据以提取所述音频数据,并且根据由所述第一处理例程所提取的所述属性数据来对音频数据进行解码。
2.如权利要求1所述的程序,其中,
当其每一个都包括所述视频数据、与所述视频数据一起再现的所述音频数据、以及所述属性数据的一个单元的多个模块数据包括所述处理数据,
在每个所述多个模块数据的所述第一处理例程之后,所述程序使所述数据处理系统根据所述第二处理例程和所述第三处理例程执行处理。
3.如权利要求2所述的程序,其中当接收指定下一个将被处理的模块数据的请求时,所述第一处理例程将读取位置移动到记录有由所述请求指定的所述模块数据的记录介质上的位置。
4.如权利要求1所述的程序,其中:
所述第二处理例程将所述解码的视频数据输出到一个再现处理,并且所述第三处理例程将所述解码的音频数据输出到所述再现处理。
5.如权利要求4所述的程序,其中至少一个所述第一处理例程、所述第二处理例程、以及所述第三处理例程将所述处理对象的所述解析的进程状态报告给所述再现处理。
6.如权利要求1所述的程序,其中
所述第二处理例程将所述已解码的视频数据输出到再现处理,并且根据来自所述再现处理的请求而中止对所述模块数据的预定编号的视频数据再现处理的输出。
7.如权利要求1所述的程序,其中
当所述提取的音频数据包括多个信道时,所述第三处理例程从所述提取的音频数据中分离所述多个信道,并且对所分离的多个信道进行解码。
8.如权利要求7中的程序,其中所述第三处理例程根据来自再现处理的所述非请求的信道指定请求来对所述多个信道中的由非请求的信道指定请求所指定的信道进行解码,并且将所解码的信道输出到再现处理。
9.一种数据处理方法包括:
第一步骤,用于解析处理的数据以提取属性数据,该处理数据是存储的混合在一起的多个视频数据、多个音频数据、以及其表示视频数据和音频数据的属性的多个属性数据;
第二步骤,用于解析所述处理的数据以提取所述视频数据,并且根据在所述第一步骤提取的所述属性数据来对提取的视频数据进行解码;以及
第三步骤,用于解析所述处理的数据以提取所述音频数据,并且根据在所述第一步骤提取的所述属性数据来对提取的音频数据进行解码。
10.一种数据处理系统包括:
第一设备,用于解析处理的数据以提取属性数据,该处理数据是存储的混合在一起的多个视频数据、多个音频数据、以及其表示视频数据和音频数据的属性的多个属性数据;
第二设备,用于解析所述所处理的数据以提取所述视频数据,并且根据由所述第一设备提取的所述属性数据来对提取的视频数据进行解码;以及
第三设备,用于解析所述处理的数据以提取所述音频数据,并且根据由所述第一设备所提取的所述属性数据来对所提取的音频数据进行解码。
11.一种程序,该程序可使数据处理系统执行这样的处理,即接收从执行预先确定的数据转换的转换处理所输入的视频数据和音频数据,以便产生所述视频数据和所述音频数据并且对其进行再现,
当确定出不能以正常速度或更快速度来再现视频数据时,该程序对从所述转换处理所输入的所述视频数据和所述音频数据进行同步的再现,并且使该数据处理系统执行再现处理以输出中止将所述视频数据输入到所述转换处理的请求。
12.如权利要求11所述的程序,其中所述转换处理将非请求的信道指定请求输出到所述转换处理,该非请求的信道指定请求用于对包含在所述转换处理所转换的音频数据的多个信道当中的非请求的信道进行指定。
13.如权利要求11所述的程序,其中所述转换处理将指定下一个将被再现的所述视频数据和音频数据的帧数据的请求这样一个请求输出到所述转换处理。
14.一种数据处理方法,该方法用于执行这样的处理,即接收从执行预先确定的数据转换的转换处理所输入的视频数据和音频数据,以便产生所述视频数据和所述音频数据,并且对其进行再现,该方法包括:
第一步骤,同步地对从所述转换处理所输入的所述视频数据和音频数据进行再现;
第二步骤,确定所述第一步骤是否以正常速度或更快速度来再现视频数据;以及
第三步骤,当在所述第二步骤中确定不能以正常速度或更快速度来再现数据时,输出中止将所述视频数据输入到所述转换处理的请求。
15.一种数据处理系统,该系统用于执行这样的处理,即接收从执行预先确定的数据转换的转换处理所输入的视频数据和音频数据,以便产生所述视频数据和所述音频数据并且对其进行再现,该系统包括:
第一设备,同步地对所述转换处理输入的所述视频数据和音频数据进行再现;
第二设备,确定所述第一设备是否以正常速度或更快速度来再现所述视频数据;以及
第三设备,当在所述第二设备中确定出不能以正常速度或更快速度来再现数据时,输出中止将所述视频数据输入到所述转换处理的请求。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003283180A JP2005051631A (ja) | 2003-07-30 | 2003-07-30 | プログラム、データ処理方法およびその装置 |
JP283180/03 | 2004-07-30 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1728824A true CN1728824A (zh) | 2006-02-01 |
CN1728824B CN1728824B (zh) | 2010-05-12 |
Family
ID=34101041
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2004100899358A Expired - Fee Related CN1728824B (zh) | 2003-07-30 | 2004-07-30 | 数据处理方法,及其系统 |
Country Status (4)
Country | Link |
---|---|
US (1) | US7664373B2 (zh) |
EP (1) | EP1519588A3 (zh) |
JP (1) | JP2005051631A (zh) |
CN (1) | CN1728824B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101419827B (zh) * | 2007-10-22 | 2011-04-20 | 联发科技股份有限公司 | 在音频视频交叉文件中进行音频与视频数据同步的方法 |
CN101729538B (zh) * | 2008-10-16 | 2015-09-16 | 株式会社东芝 | 图像记录再生装置及文件管理方法 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8223600B2 (en) * | 2005-04-06 | 2012-07-17 | Quantum Corporation | Network-attachable, file-accessible storage drive |
US8571111B2 (en) * | 2006-12-20 | 2013-10-29 | Intel Corporation | Method and apparatus for switching program streams using a fixed speed program stream buffer coupled to a decoder |
JP4679609B2 (ja) | 2008-06-05 | 2011-04-27 | 株式会社東芝 | 映像収録再生装置、映像収録方法及び映像再生方法 |
JP5306415B2 (ja) * | 2011-05-30 | 2013-10-02 | 株式会社東芝 | ビデオサーバ、mxfファイル再生方法 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0750838A (ja) | 1993-07-29 | 1995-02-21 | Canon Inc | 動画像符号化装置 |
JP2766466B2 (ja) * | 1995-08-02 | 1998-06-18 | 株式会社東芝 | オーディオ方式、その再生方法、並びにその記録媒体及びその記録媒体への記録方法 |
WO1999013647A1 (fr) | 1997-09-05 | 1999-03-18 | Matsushita Electric Industrial Co., Ltd. | Procede de decodage et support d'enregistrement ou est enregistre un programme de decodage |
US6275507B1 (en) | 1997-09-26 | 2001-08-14 | International Business Machines Corporation | Transport demultiplexor for an MPEG-2 compliant data stream |
JPH11112972A (ja) * | 1997-09-30 | 1999-04-23 | Matsushita Electric Ind Co Ltd | 複合化処理量情報の抽出装置および方法 |
JP3063841B2 (ja) | 1997-11-26 | 2000-07-12 | 日本電気株式会社 | オーディオ・ビデオ同期再生装置 |
US6728824B1 (en) * | 1999-09-17 | 2004-04-27 | Njr Corporation | Method and apparatus for controlling multi-channel bitstreams |
US9668011B2 (en) * | 2001-02-05 | 2017-05-30 | Avago Technologies General Ip (Singapore) Pte. Ltd. | Single chip set-top box system |
EP1275126B1 (de) * | 2000-04-20 | 2004-02-11 | Delphi Technologies Inc. | Betätigungselement für einen elektrischen schalter, insbesondere für einen kraftfahrzeug-lenkradschalter |
GB2366926A (en) | 2000-09-06 | 2002-03-20 | Sony Uk Ltd | Combining material and data |
AU2002230501A1 (en) | 2000-11-27 | 2002-06-03 | Intellocity Usa, Inc. | System and method for providing an omnimedia package |
US20020184336A1 (en) | 2001-03-01 | 2002-12-05 | Rising Hawley K. | Occurrence description schemes for multimedia content |
JP2003085875A (ja) | 2001-09-13 | 2003-03-20 | Sony Corp | 情報配信システムおよび情報配信方法 |
US7149750B2 (en) | 2001-12-19 | 2006-12-12 | International Business Machines Corporation | Method, system and program product for extracting essence from a multimedia file received in a first format, creating a metadata file in a second file format and using a unique identifier assigned to the essence to access the essence and metadata file |
US7006152B2 (en) * | 2002-03-01 | 2006-02-28 | Broadcom Corporation | System and method for providing picture-in-picture timebase management |
-
2003
- 2003-07-30 JP JP2003283180A patent/JP2005051631A/ja active Pending
-
2004
- 2004-07-27 US US10/900,891 patent/US7664373B2/en not_active Expired - Fee Related
- 2004-07-29 EP EP04254552A patent/EP1519588A3/en not_active Withdrawn
- 2004-07-30 CN CN2004100899358A patent/CN1728824B/zh not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101419827B (zh) * | 2007-10-22 | 2011-04-20 | 联发科技股份有限公司 | 在音频视频交叉文件中进行音频与视频数据同步的方法 |
CN101729538B (zh) * | 2008-10-16 | 2015-09-16 | 株式会社东芝 | 图像记录再生装置及文件管理方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2005051631A (ja) | 2005-02-24 |
EP1519588A2 (en) | 2005-03-30 |
US7664373B2 (en) | 2010-02-16 |
CN1728824B (zh) | 2010-05-12 |
US20050025453A1 (en) | 2005-02-03 |
EP1519588A3 (en) | 2007-06-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1135845C (zh) | 图像传送方法、图象处理方法、图象处理装置和数据存储介质 | |
CN1122273C (zh) | 数据译码系统和方法、传送/接收装置和方法及重放设备 | |
CN1209744C (zh) | 编码装置和解码装置 | |
CN1174607C (zh) | 图像编码装置和方法、图像解码装置和方法、记录载体 | |
CN1251129C (zh) | 数据变换装置、数据编码装置以及数据记录装置 | |
CN1299502C (zh) | 解码设备和解码方法 | |
CN1647528A (zh) | 元数据编辑装置、元数据再生装置、元数据分发装置、元数据检索装置、元数据再生成条件设定装置和元数据分发方法 | |
CN1255800C (zh) | 产生要记录的信息信号的方法和设备 | |
CN1738440A (zh) | 用于处理信息的设备,方法和计算机程序 | |
CN1402853A (zh) | 图像检索系统及图像检索方法 | |
CN1913625A (zh) | 视频数据发送/接收方法和视频监督系统 | |
CN1595985A (zh) | 内容提供装置和方法以及记录介质 | |
CN101052127A (zh) | 信息处理装置、信息处理方法、记录介质和程序 | |
CN1604634A (zh) | 存储搜索信息的存储介质和再现设备及方法 | |
CN101031061A (zh) | 元数据产生设备、信息处理设备、成像设备及安全系统 | |
CN101036391A (zh) | 画面编码装置和画面解码装置 | |
CN1190311A (zh) | 产生多路数据、再生编码数据及时钟转换的装置和方法 | |
CN1547852A (zh) | 活动图像数据再现设备 | |
CN1703083A (zh) | 移动图像处理装置和方法 | |
CN1747544A (zh) | 记录装置、记录方法、再生装置、再生方法、及程序 | |
CN1127856C (zh) | 活动图像合成装置 | |
CN100343850C (zh) | 数据处理方法及其系统 | |
CN1279753C (zh) | 视频中继装置及视频分布系统 | |
CN1848941A (zh) | 图像再现、处理装置和方法以及具有该装置的电视接收机 | |
CN1728824A (zh) | 程序,数据处理方法,及其系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20100512 Termination date: 20150730 |
|
EXPY | Termination of patent right or utility model |