CN101682776A - 运动图像变换装置、运动图像变换方法及运动图像变换程序 - Google Patents

运动图像变换装置、运动图像变换方法及运动图像变换程序 Download PDF

Info

Publication number
CN101682776A
CN101682776A CN200880015709A CN200880015709A CN101682776A CN 101682776 A CN101682776 A CN 101682776A CN 200880015709 A CN200880015709 A CN 200880015709A CN 200880015709 A CN200880015709 A CN 200880015709A CN 101682776 A CN101682776 A CN 101682776A
Authority
CN
China
Prior art keywords
frame
moving image
subsequent
image converting
converting apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200880015709A
Other languages
English (en)
Inventor
渡边一辉
小泽一范
伊藤博纪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of CN101682776A publication Critical patent/CN101682776A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供一种运动图像变换装置，该运动图像变换装置抑制图像质量的恶化，实施随着图像变换而减少计算量的方法。该对编码后的运动图像数据进行变换的运动图像变换装置包括：生成以所述编码后的运动图像数据的特定的帧为开头的新的运动图像数据的运动图像数据生成部；和判断是否参照比所述特定的帧更前的帧编码比所述特定的帧更后的后续帧的判定部。另外，所述运动图像数据生成部具有：将所述特定的帧变换为不参照其他帧的第一帧的第一帧变换处理部；和对由所述判定部被判断为参照了比所述特定的帧更前的帧的后续帧，参照从该判断过的后续帧到所述特定的帧为止的任意帧来重新编码的后续帧变换处理部。

Description

运动图像变换装置、运动图像变换方法及运动图像变换程序
技术领域
本发明涉及一种对编码后的运动图像数据进行变换的运动图像变换装置。
背景技术
作为关联技术，在传送运动图像数据时作为用于以低比特率高效地传送运动图像数据的运动图像压缩编码方式，公知一种被称为由ITU-T(国际电信联盟、电信标准化部门：International Telecommunications Union-Telecommunication Standardization Sector)推荐的H.261或H.263方式。
另外，作为其他运动图像压缩编码方式，也公知一种被称为由ISO/IEC(国际标准化组织/国际电工委员会：International Organization forStandardization/International Electrotechnical Commission)被国际标准化的MPEG(Moving Picture Experts Group)-4的方式。
且有，近年来被称为由ITU-T和ISO/IEC被国际标准化的H.264/MPEG-4AVC(Advanced Video Coding)的运动图像压缩编码方式作为比H.261、H.263或MPEG-4等的运动图像压缩编码方式能更效率地对运动图像数据编码并传送的方式而备受关注。
在上述运动图像压缩编码方式中存在：仅使用当前帧的图像数据进行编码的内(intra)预测；和参照前(过去)帧或后(未来)帧的图像数据进行编码的间(inter)预测(例如，参照专利文献1、2)。
在上述内预测中，作为一例，在编码运动图像数据时，按照被称为“宏块”的单位(例如，16×16像素的块)进行划分。并且，在该内预测中，作为按照宏块高效地编码运动图像数据的处理，在进行了DCT(离散余弦变换：Discrete Cosine Transform)后，对由变换得到的DCT系数进行可变长编码。
该DCT变换是将帧图像数据分解为低频或高频等频率分量来实施编码处理的变换技术。另外，在H.264/MPEG-4AVC中也采用以下的方法：使用对8×8像素的宏块进一步细致划分的块(4×4像素)，在进行了能比DCT变换高效地对运动图像数据进行编码处理的DIT(离散整数变换：Discrete Integer Transform)后，对变换得到的DIT系数进行可变长编码。
其中，所谓可变长编码是一种在对运动图像数据进行编码处理时对出现频率高的值(DCT系数、DIT系数)分配字节数短的数据，对出现频率低的值分配字节数长的数据的编码。由此，能进一步提高编码效率。
另一方面，在间预测中，基于不同时刻的帧生成预测图像，对输入图像和预测图像的差分图像的数据进行编码。此时，由于间预测可以只对差分图像的数据进行编码，故与内预测相比能达成高的编码率。
另外，在该间预测中，为了达成较高的编码率而使用了被称为“运动补偿”技术。该运动补偿是在2个连续的帧间考虑关注的对象向什么方向移动而进行编码等的图像编码方式。在该运动补偿中，首先在最初相邻的帧间求出运动矢量(视频中的各要素向什么方向如何移动之类的信息)，在去除该移动量之后，用DCT等对图像数据进行编码，从而生成编码后的编码数据。其中，在解码该编码数据解码时，基于运动矢量的信息进行解码。
另外，在上述运动图像压缩编码方法中，通常存在I图像(IntraPicture)、P图像(Predictive Picture)和B图像(Bidirectional PredictivePicture)3种图像类型(编码数据)。
所谓I图像是指通过仅由与前后帧无关的该帧独立编码而得到的图像。所谓P图像是指通过帧间的向前预测的编码得到的图像。所谓B图像是指通过从前方和后方双方向开始的预测编码得到的图像。
其中，上述专利文献1公开了一种运动图像压缩编码方式中的运动补偿相关的技术。具体地说，在间预测中，在预测对象的帧不仅进行向前预测也进行向后预测的情况下，使用双方向的帧求出运动矢量来进行运动补偿预测。
另外，专利文献2公开了一种运动图像压缩编码方式中的运动补偿相关的技术。具体地说，在间预测中，对预测对象的帧进行向前预测、向后预测，并采用误差小的一方求出运动矢量来进行运动补偿预测。
可是，在采用了上述的运动图像压缩编码方式的运动图像变换装置中，例如在将由H.261方式来编码的数据暂时存储在存储器等来使用的情况下，存储图像数据(编码数据)的第一帧在再生(解码)时不能参照前帧的图像数据。由此，首先第一帧需要仅通过内预测进行编码。其原因在于解码图像会杂乱。
对编码数据的帧而言，在要从所指定的帧开始存储的情况下，由于若P图像为第一帧则直接进行了解码，故产生难以正确再生的问题。
因此，在从所指定的帧开始存储的情况下，暂时解码该指定的帧，将该解码后的解码图像作为第一帧通过内预测进行再编码，在对该帧后续的帧也暂时解码后，由间预测进行再编码的处理。但是，由再编码产生图像质量会恶化的问题，或产生再编码时处理的负载会上升的问题。因此，提议一种解决上述问题的技术方案(例如，参照专利文献3)。
在专利文献3公开的技术中，在从所指定的帧开始存储编码数据来使用的情况下，暂时解码所指定的帧的编码数据(P图像)。接着，再次编码时，通过内预测将所指定的帧的解码图像的第一帧或第一帧后续的多帧变换为I图像。并且，第一帧后续的编码数据直接进行存储。由此，通过将第一帧作为I图像，从而解码图像(视频)不会杂乱。
专利文献1：日本特开2004-165703号公报
专利文献2：日本特开2006-180173号公报
专利文献3：日本特开2002-305733号公报
但是，在专利文献3中公开的运动图像压缩编码方式中，具有以下的问题点。
图19是用于说明关联的技术例的问题点的一例的图。图19的上半段表示输入到运动图像变换装置中的编码数据的帧列。图19的下半段表示从运动图像变换装置输出的帧列。且有，作为运动图像压缩编码方式以H.264方式为例进行说明。在该H.264方式中将被指定为存储图像的第一帧的输入编码数据变换为被称为IDR(Instantaneous Decoding Refresh：即时解码刷新)的帧(I图像)。
其中，如图19所示，在从P1帧开始进行请求存储开始(再生)的情况下，若采用专利文献3的运动图像变换方法，则如下所示。首先，在该运动图像变换方法中，在解码P1帧后，通过内预测变换为IDR0′帧。并且，对于后续的P2、P3、……、Pn-1、Pn帧而言，在原状态下作为输出编码数据。此时，若各P图像仅对一个前帧进行向前预测，则输出编码数据不会出现图像杂乱而被再生。但是，例如，在特定的P图像参照一个前帧以外的帧而进行了间预测的情况下，若产生直接进行存储则会产生解码图像杂乱的图像质量恶化的问题。
具体由图进行说明，图19的上半段P2参照IDR0帧进行了间预测。在图19的下半段中，若要对P1′(相当于P2)帧解码，则由于不存在成为预测数据的帧，故会杂乱传输。
且有，由于在H.264方式中能进行在参照帧缓冲器中不仅长期保存最近帧也长期保存特定帧来参照的间预测(长期预测)，故在进行了长期预测的帧间参照了比存储图像的第一帧更前的帧的图像的情况下，若直接存储则会产生解码图像会杂乱的图像质量的恶化问题。
使用图20对在该长期预测中的问题点进行具体地说明。
图20是用于说明以往例的问题点的一例的图。图20的上半段表示输入到运动图像变换装置中的编码数据的帧列。图20的下半段表示从运动图像变换装置输出的帧列。
其中，如图20所示，在从P1帧开始被请求存储开始(再生)的情况下，若采用专利文献3的运动图像变换方法，则如下所述。首先，在该运动图像变换方法中，在解码P1帧后，通过内预测变换为IDR0′帧。并且，对于该后续的P2、P3、……、Pn-1、Pn帧而言，在原状态下作为输出编码数据。但是，Pn-1帧如图20的上半段所示，若进行了长期预测，则在生成解码图像的情况下，由于缺少参照的帧数据，故产生解码图像会杂乱的图像质量恶化的问题。
发明内容
本发明是鉴于上述问题进行的，其目的在于提供一种抑制图像质量的恶化并实施了使随着图像变换而使运算量减少的方法的运动图像变换装置、运动图像变换方法及运动图像变换程序。
为了达成上述目的的本发明的运动图像变换装置，其特征在于，该运动图像变换装置对编码后的运动图像数据进行变换，该运动图像变换装置包括：运动图像数据生成部，其生成以所述编码后的运动图像数据的特定的帧为开头的新的运动图像数据；和判定部，其判断是否参照比所述特定帧更前的帧来编码比所述特定的帧更后的后续帧，其中，所述运动图像数据生成部包括：第一帧变换处理部，其将所述特定的帧变换为未参照其他帧的第一帧；和后续帧变换处理部，其对由所述判定部被判断为参照了比所述特定的帧更前的帧的后续帧，参照从该判断后的后续帧到所述特定的帧的任意帧来重新编码。
(发明效果)
根据本发明，提供一种能抑制图像质量的恶化并实施随着图像变换而提高运算效率的方法的运动图像变换装置、运动图像变换方法及运动图像变换程序。
附图说明
图1是作为本发明的一个实施方式的运动图像变换装置的构成图。
图2是表示帧的内部构成的一例的图。
图3是图1示出的变换控制部的内部构成图。
图4是变换信息生成部的内部构成图。
图5是图1示出的编码部的内部构成图。
图6是图19的比较例，说明由本发明的运动图像变换方法生成新的运动图像数据的图。
图7是图20的比较例，说明由本发明的运动图像变换方法生成新的运动图像数据的图。
图8是表示由作为本发明的一个实施方式的运动图像变换装置执行的运动图像变换方法的一例的流程图。
图9是表示第二实施方式中的运动图像变换装置的内部构成的图。
图10是图9示出的流变换部的内部构成图。
图11是图9示出的变换控制部的内部构成图。
图12是表示第二实施方式中的运动图像变换装置的动作的一例的流程图。
图13是表示第三实施方式中的运动图像变换装置的动作的一例的流程图。
图14是表示第四实施方式中的运动图像变换装置的动作的一例的流程图。
图15是说明第六实施方式的运动图像变换装置执行的运动图像变换方法的一例的图。
图16是说明第七实施方式的运动图像变换装置执行的运动图像变换方法的一例的图。
图17说明块彼此之间有无相关关系的一例的图。
图18是表示第七实施方式中的运动图像变换装置的动作的一例的流程图。
图19是用于说明关联的技术例的问题点的一例的图。
图20是用于说明关联的技术例的问题点的一例的图。
具体实施方式
以下，参照附图对本发明的实施方式进行说明。在此，对基于本发明的运动图像变换程序进行动作的运动图像变换装置及由该运动图像变换装置执行的本发明的运动图像变换方法进行说明。
本发明的运动图像变换装置是对编码后的运动图像数据进行变换的运动图像变换装置。作为一例，该运动图像变换装置从传送运动图像数据的外部设备接收运动图像数据并暂时存储在接收缓冲器中，若从该外部设备接收存储开始请求的信号，则将接受了该存储开始请求时的帧作为第一帧而生成运动图像数据。而且，该运动图像变换装置若接收请求存储结束的信号，则将接受了存储结束请求的信号时的帧作为最后帧，生成新的运动图像数据，并向具有再生运动图像数据的功能的终端发送。
第一实施方式
【构成】
图1是作为本发明的一个实施方式的运动图像变换装置的构成图。如图1所示，在本发明中的运动图像变换装置100中设置有变换控制部101、接收缓冲器102、流解码部103、图像解码部104、编码部105、开关106及发送缓冲器107。
变换控制部101总括性地控制该运动图像变换装置100的动作。变换控制部101如下详细叙述。
接收缓冲器102是暂时存储从外部设备发送来的编码后的运动图像数据111(以下，简称为输入图像流)的存储器。
另外，接收缓冲器102在时间序列上接收输入图像流，并经由流解码部103输出到图像解码部104。另外，接收缓冲器102根据变换控制部101的指示经由开关106将输入图像流输出到发送缓冲器107。
图2是表示流的内部构成的一例的图。而且，为了易于说明而进行了简化。在编码数据1的头部10中作为头部信息存储有解码信息、帧号码、时间信息、参照帧号码、帧类型等的输入图像流信息。
作为解码信息，例如举出了解码器的配置信息(DCI：decoderconfiguration information)或序列参数集(SPS：sequence parameter set)、图像参数设置(PPS：picture parameter set)。
另外，帧号码是表示从第一帧开始的顺序的号码。时间信息是表示帧生成时的时间的信息。参照帧号码在成为变换对象的帧参照了其他帧的情况下表示该参照帧的号码。帧类型表示内帧(I图像)、帧间(P图像)等的帧的种类。
另外，编码数据1的图像数据部11由被称为多个片(slice)层的数据结构构成。且有，该片12由多个宏块构成，宏块由多个块构成。
且有，接收缓冲器102具有检测每帧或片的缝隙的功能，并能按照帧输出输入图像流。作为帧或片的缝隙例如以表示帧或片的缝隙的启动代码等的独特的位串(bit string)为准进行检测。
流解码部103对输入图像流的帧的编码数据的头部进行解码，并将输入图像流信息115通知给变换控制部101。另外，流解码部103将输入图像流的编码数据116发送到图像解码部104。
图像解码部104经由流解码部103从接收缓冲器102接收输入图像流的编码数据116并进行解码，按照帧生成解码图像。图像解码部104将预先确定的帧数份的解码图像存储到帧存储器(未图示)中。此时，直到变换控制部101接受存储开始请求108为止，图像解码部104对时间上连续接收到的输入图像流的帧，按照经过规定时间在解码图像的帧中删除旧帧，对接收的最新帧的编码数据进行解码并存储在帧存储器中。
编码部105通过上述的内预测或间预测由图像解码部对解码图像的图像数据120进行编码。详见如下。
开关106按照来自变换控制部101的指示，将接收缓冲器102或编码部105与发送缓冲器107连接。另外，开关106按照来自变换控制部101的指示切断与发送缓冲器107连接的接收缓冲器102或编码部105。根据该开关106的切换操作，开关106能不重新编码输入图像流的编码数据114而直接发送到发送缓冲器107，或者能将由编码部115编码后的输入图像流的编码数据121发送到发送缓冲器107。
发送缓冲器107将从接收缓冲器102或编码部105接收到的编码后的帧作为由从第一帧开始包括后续帧的多个帧构成的编码后的新的运动图像数据123向具有运动图像数据再生功能的终端发送。
图3是图1示出的变换控制部的内部构成图。如图3所示，通过在该变换控制部101编入作为本发明的一个实施方式的运动图像变换程序，从而能构筑(实现)变换判定部200、参数解析部201及变换信息生成部202。
首先，对参数解析部201进行说明。参数解析部201对从图1示出的流解码部103接受到的输入图像流信息115进行解析。具体地说，参数解析部201对比存储图像的第一帧更后的后续帧是否参照了比第一帧更前的帧进行解析，并将作为该解析结果的解析结构通知203通知给变换判定部200。另外参数解析部201向变换信息生成部202发送变换参数信息204。作为参数解析部201用于解析的输入图像流信息115，例如存在上述的解码信息、帧号码、时间信息、参照帧号码及帧类型等。
接着，对变换判定部200进行说明。变换判定部200(判定部)判断比接受了存储开始请求的帧更后的后续帧是否参照了其他帧并进行编码(判断单元)。
另外，变换判定部200若接受存储开始请求108则以连接图1示出的编码部105和发送缓冲器107的方式向开关106输出切换请求117的指示。并且，变换判定部200以获取图像解码部104解码的最新图像数据的方式向编码部105输出图像数据获取请求118的指示。
另外，变换判定部200以将在从参数解析部201接受的输入图像流信息115内为了生成存储图像的第一帧所需的变换参数信息119通知给编码部105的方式，向变换信息生成部202输出变换信息生成请求205的指示。作为所需的变换参数信息119，例如存在输入运动图像流的解码信息、帧号码、时间信息、参照帧号码及帧类型等。
另外，变换判定部200在从参数解析部201接受了比存储图像的第一帧更后的后续帧参照了比存储图像的第一帧更前的帧的解析结果通知203的情况下，以连接编码部105和发送缓冲器107的方式向开关106输出切换请求117的指示。并且，变换判定部200以获取图像解码部104生成的最新图像数据的方式向编码部105输出图像数据获取请求118的指示。且有，变换判定部200以将在从参数解析部201接受的变换参数信息204中为了生成后续帧所需的变换参数信息119通知给编码部105的方式，向变换信息生成部202发出变换信息生成请求205的指示。
且有，变换判定部200在从参数解析部201接收了比存储图像的第一帧更后的后续帧未参照比上述存储图像的第一帧更前的帧的解析结果通知203的情况下，以连接接收缓冲器和发送缓冲器的方式向开关106发出切换请求117的指示。
并且，变换判定部200以将后续帧的输入图像流直接输出到发送缓冲器107的方式向接收缓冲器102发出发送请求112的指示。且有，若变换判定部200从外部设备接受存储结束请求109，则以在连接有发送缓冲器107和接收缓冲器102或发送缓冲器107和编码部105的情况下切断的方式向开关106发出切换请求117的指示。
接着，对变换信息生成部202进行说明。
图4是变换信息生成部的内部构成图。在该变换信息生成部202中设置有第一帧变换信息生成部2021和后续帧变换信息生成部2022。
第一帧变换信息生成部2021生成用于将接受了存储开始请求108的帧变换为第一帧的信息。第一帧变换信息生成部2021对于接收了存储开始请求108的帧而言，在从参数解析部201接受的变换参数信息204中选择用于生成第一帧所需的信息并通知给编码部105。作为用于生成第一帧所需的信息，例如存在帧号码、时间信息、参照帧号码、帧类型(I图像、P图像)等。通过后述的编码部105，接受了存储开始请求108的帧被变换为第一帧。第一帧变换信息生成部2021及编码部105的处理相当于本发明中所述的第一帧变换处理部及第一帧变换处理步骤、第一帧变换处理单元的一例。
另外，后续帧变换信息生成部2022生成存储图像的第一帧之后保持直到当前为止的帧数和时间信息，在变换比第一帧更后的后续帧的情况下，将输入图像流的帧号码、时间信息及参照帧号码通知给编码部105。并且，后述的编码部105利用内预测对后帧重新编码。后续帧编码信息生成部2022及编码部105的处理相当于本发明中所述的后续帧变换处理部、后续帧变换步骤及后续帧变换单元的一例。另外，基于来自具备了第一帧变换信息生成部2021及后续帧变换信息生成部2022的变换信息生成部202的变换参数信息119，由编码部105生成新的运动图像数据的处理相当于本发明中所述的运动图像数据生成单元的一例。另外，进行该处理的一系列的构成相当于运动图像数据生成部的一例。
接着，参照图5对编码部105进行详细说明。
图5是图1示出的编码部的内部构成图。在本实施方式中，虽然以上述的H.264/MPEG-4AVC的运动图像压缩编码方式为例进行说明，但是这只是用于说明本发明示出的一例，并不限定于此。由本运动图像变换方法的原理可知，也可以应用到其他的运动图像压缩编码方式。
编码部105具备：头部信息生成部300、开关1301、DIT器302、量化器303、可变长编码器304、帧存储器305、运动矢量检测器306、运动补偿器307、帧内预测器308、环路内滤波器309、开关2(310)、逆DIT器311及逆量化器312。
头部信息生成部300基于从变换控制部101接收的变换参数信息119生成第一帧或后续帧的头部信息314并向可变长编码器304输出。
此外，在变换参数信息119的帧类型为内帧(I图像)的情况下，切换开关2310，接收来自帧内预测器308的输出。另一方面，在变换参数信息119的帧类型为帧间(P图像)的情况下，接收帧内预测器308或运动补偿器307的任意输出。开关1301按照来自图1示出的变换控制部101的指示，对变换所需的帧，以从图像解码部104接收最新的图像数据120的方式进行切换。另外，帧存储器305能获取由图像解码部104生成的解码图像并也能更新存储器。且有，在图5中，对于其他构成，由于是与通常的编码部相同的构成，故在此省略具体说明，并在说明本发明的运动图像变换装置100的动作时进行说明。
以上，对本发明的运动图像变换装置100的各构成进行了说明。接着，关于运动图像变换装置100未使图像质量恶化且降低运算量并能生成新的运动图像数据方面，举出具体例子进行说明。且有，详细的处理流程，以后利用流程图进行说明。
图6是图19的比较例，是说明由本发明的运动图像变换方法生成新的运动图像数据的图。
图6的上半部表示输入到运动图像变换装置中的输入图像流(编码数据)的帧列。图6的下半部表示从运动图像变换装置输出的帧列(新的运动图像数据)。且有，作为运动图像压缩编码方式，以H.264方式为例进行说明。
图1示出的运动图像变换装置100将图6的上半段示出的输入图像流存储到接收缓冲器102中。被存储到该接收缓冲器102上的输入图像流以帧为单位被输出，并由图像解码部104进行解码而生成解码图像。在图像解码部104中，随时生成解码图像，若超过预先确定的帧数，则废弃最初解码的帧，并依次存储最新的解码图像。
在此，为了易于说明，对于在图6的上半段表示的IDR0帧被解码后P1帧被解码时变换控制部101接受了存储开始请求108的情况进行了示例。
此时，P1帧参照IDR帧生成解码图像。并且，该解码图像通过编码部105通过内预测被变换为第一帧(IDR0′)。编码部105的内预测的处理以下进行详细叙述。
接着，图1示出的图像解码部104在对P2帧解码时参照IDR0帧进行解码。此时，由于P2解码图像使用IDR0进行间预测，故若直接再次参照IDR0进行间预测而进行编码，则由于在下次解码时没有参照的IDR0帧，故图像杂乱。因此，在本发明的运动图像变换方法中，仅参照第一帧(IDR0′)以便不参照比存储开始帧更前的帧来进行间预测，从而将P2帧变换为P1′帧。由此，由于P1′帧在解码时无图像杂乱，故能抑制图像质量的恶化。
另外，由于P2帧后续的后续帧P3、……、Pn-1、Pn未参照比存储开始帧更前的帧，故可以从接收缓冲器102直接发送到发送缓冲器107，由于无需重新进行编码，故能降低随着变换带来的运算量。
接着，利用图7对间预测(长期预测)的情况进行具体说明。
图7是图20的比较例，是说明由本发明的运动图像变换方法生成新的运动图像数据的图。
图7的上半段与图6的上半段同样地表示输入到运动图像变换装置中的输入图像流(编码数据)的帧列。图7的下半段与图6的下半段同样地表示从运动图像变换装置输出的帧列(新的运动图像数据)。
在此，如图7的上半段所示，在从P1帧开始存储开始请求118的情况下，若采用本发明的运动图像变换方法，则如以下所述。P1帧被变换为第一帧(IDR0′)。由于图像解码部104未参照比存储开始帧更前的帧，因此从P2帧到Pn3帧为止直接成为后续的帧。
另一方面，由于Pn-1帧参照了存储开始帧更前的帧，故作为一例，为了不参照比存储开始帧更前的帧而参照Pn-3′(未图示)进行间预测，来生成Pn-2′(未图示)帧。由此，由于Pn-2′帧在解码时图像杂乱，故能抑制图像质量的恶化。另外，从P2帧到Pn-2帧为止的帧由于无需重新编码，故能降低随着变换带来的运算量。
且有，在本实施方式中，虽然IDR0′帧能随时解码并参照正前面的解码图像来生成Pn-2′，但是这只是一个例子，例如也可以参照后述的最大参照帧数的帧来进行编码。
[动作]
接着，对运动图像变换装置100的动作进行说明。该运动图像变换装置100通过作为本发明的一个实施方式的运动图像变换方法变换运动图像数据。
图8是表示作为本发明的一个实施方式的运动图像变换装置的动作的一例的流程图。该处理过程在图3示出的变换判定部200接受存储开始请求108时开始。首先，变换判定部200接受存储开始请求108进行存储开始请求受理处理(步骤S101)。具体地说，变换判定部200以连接编码部105和发送缓冲器107的方式向开关106输出切换请求117的指示。并且，变换判定部200以获取图像解码部104生成的最新的图像数据的方式向编码部105输出图像数据获取请求118的指示。
接着，在图3示出的参数解析部201中对有存储开始请求108的帧的输入图像流信息115进行解码，并解析该帧信息(步骤S102)。具体地说，根据帧类型来解析是间预测或内预测的帧，或根据参照帧号码来解析是参照什么帧进行预测等。并且，将输入图像流信息115通知给变换判定部200、变换信息生成部202。
接着，将有存储开始请求108的帧变换为第一帧(步骤S103)。
如果具体详细地记载步骤S103，则变换判定部200向变换信息生成部202的第一帧信息生成部2021输出指示以使将有存储开始请求108的帧的变换参数信息119通知给编码部105。
在编码部105中，将有存储开始请求的帧变换为第一帧。在此，将有存储开始请求108的帧作为P图像继续说明。即在编码部105中，将P图像变换为I图像，以便即使没有读取比有存储开始请求的帧更前的帧也能构成图像。以图6为例，在编码部105中将P1帧变换为IDR0′帧。
由此，IDR0′帧无需作为P图像的P1帧的画面构筑所需的IDR0而能进行画面构筑。
具体地说，为了图5示出的头部信息生成部300接收变换参数信息119并变换为IDR帧，而新生成有存储开始请求108的帧的编码数据的头部信息并向可变长编码器304输出。
另外，编码部105切换开关1301，从图像解码部104接收解码图像的图像数据120。在进行内预测的情况下，首先解码图像的图像数据120通过帧内预测器308进行帧内预测。接着，帧内预测后的编码数据被输入到DIT器302，并实施由离散整数变换被分解为低频或高频等的频率分量的编码处理。
且有，由量化器303对低频或高频等频率分量进行量化。另外，由可变长编码器304进行向出现频率高的值(DIT系数)分配字节数短的数据，向出现频率低的值分配字节数长的数据的编码。
由此，有存储开始请求108的帧被变换为IDR帧(I图像)。且有，在编码部105中，对由量化器303对低频或高频等频率分量进行量化后的编码数据，由逆量化器312、逆DIT器311进行解码，经环路内滤波器309存储到帧存储器305中。由此，通过存储与再生后的图像相同的图像，故能计算下一输入图像的差分。即、其他帧参照IDR帧能进行间预测。
以上，步骤S103的第一帧变换的处理相当于本发明中所述的第一帧变换步骤的一例。
接着，对后续帧的变换处理进行叙述。若生成第一帧，则参数解析部201对有存储开始请求108的帧的下一帧的输入图像流信息进行解析(步骤S104)。
具体地说，参数解析部201根据参照帧号码将比存储图像的第一帧更后的后续帧参照比第一帧更前的帧的信息通知给变换判定部。
在变换判定部200中，根据参数解析部201的解析结果，进行后续帧是否参照比存储开始帧(第一帧)更前的帧的判断(步骤S105)。
在后续帧未参照比存储开始帧(第一帧)更前的帧的情况下(步骤S105：“否”)，后续帧不对暂时存储在接收缓冲器中的后续帧重新编码而输出到发送缓冲器107(步骤S109)。
另一方面，在后续帧参照了比存储开始帧(第一帧)更前的帧的情况下(步骤S105：“是”)，以不参照比存储开始请求的帧更前的帧的方式进行编码来变换后续帧(步骤S106)。
具体详细地记载步骤S106，头部信息生成部300接收变换参数信息119并参照新的第一帧来改写后续帧的输入图像流信息。并且，重新生成后续帧的编码数据的头部信息来向可变长编码器304输出。另外，编码部105切换开关1301来从图像解码部104接收解码图像的图像数据120。
在进行间预测的情况下，解码图像的图像数据120被输入到运动矢量检测器306中。另外，存储在帧存储器305中的前一帧图像的图像数据也被输入到运动矢量检测器306中。并且，在运动矢量检测器306中检测运动矢量。该运动矢量的信号被输入到运动补偿器307中，另外，以参照存储在帧存储器305中的前帧图像的信号来补偿运动矢量的方式实施了间预测。
该间预测后的编码数据被输入到DIT器302，并实施由离散整数变换被分解为低频或高频等频率成分的编码处理。且有，由量化器303对低频或高频等频率分量进行量化，由可变长编码器304进行向出现频率高的值(DIT系数)分配字节数短的数据，向出现频率低的值分配字节数长的数据的编码。由此，后续帧不参照比存储开始帧(第一帧)更前的帧而被重新编码。
接着，在变换判定部200不接受存储结束请求109的情况下(步骤S107：“否”)，返回到步骤S104解析下一后续帧。另一方面，在变换判定部接受了存储结束请求109的情况下(步骤S107：“是”)，切断图1示出的开关106，从发送缓冲器输出存储在发送缓冲器107中的新的运动图像数据(步骤S108)。并且，结束该处理过程。且有，从步骤S104到步骤S107的处理相当于本发明中所述的后续帧变换步骤的一例。
以上，本发明的第一实施方式的运动图像变换装置通过作为本发明的一个实施方式的运动图像变换方法能抑制运动图像数据的图像质量的恶化，且能降低用于编码运动图像数据的运算量。
即、运动图像数据生成单元中的第一帧变换单元在解码存储开始请求的帧的编码数据后，不参照其他帧而直接编码并变换为编码数据。因此，再生时能避免由不能参照前帧而引起的图像质量的恶化。
另外，运动图像数据生成单元中的后续帧变换单元，不参照比存储开始请求的帧更前的帧，而将由上述判断单元被判断为参照了比存储开始请求的帧更前的帧的后续帧进行重新编码。由此，即使对于参照比存储开始请求的帧更前的帧的后续帧，在再生时也能避免由不参照前一帧而引起的图像质量的恶化。
且有，运动图像数据生成单元的后续帧变换单元将由上述判断单元判断为未参照比存储开始请求的帧更前的帧的后续帧不重新编码，而直接作为新的运动图像数据的后续帧。由此，运动图像变换装置100能将运算量减少不重新编码被判断为未参照比存储开始请求的帧更前的帧的后续帧的量。
第二实施方式
【构成】
接着，对本发明的第二实施方式进行说明。且有，在本发明的第一实施方式和本发明的第二实施方式中，虽然内部构成一部分不同，但是除此之外由于具有几乎同样的构成，故对相同的要素添加相同的符号并省略说明，以下，对与第一实施方式不同的构成进行详细地说明。
在本发明的第二实施方式中，在后续帧参照了重新变换后的第一帧以后的帧的情况下，追加仅改写特定相对第一帧的自身帧的帧号码或时间信息的功能。例如，在比较生成第一帧以后到当前为止的帧数或时间信息而有差别的情况下，进行补正该差分的处理。帧号码或时间信息相当于本发明中所述的帧特定信息的一例。实现该功能的是以下叙述的流变换部403。
图9是表示第二实施方式中的运动图像变换装置的内部构成的图。图10是图9中示出的流变换部的内部构成图。图11是图9示出的变换控制部的内部构成图。
如图9所示，与第一实施方式进行比较，追加了流变换部403。如图10所示，在流变换部403中设置有变换信息接收部600、接收缓冲器601、头部判定部602、可变长解码器603、参数变换部604、可变长编码器605、比特位置移位&字节定位部606及发送缓冲器607。
变换信息接收部600从变换控制部401接受变换所需的变换参数信息406，并将帧号码、时间信息、参照帧号码、帧类型等的信息通知给参数变换部604。接收缓冲器601从接收缓冲器102接受输入图像流408并发送到头部判定部602。
另外，头部判定部602对从接收缓冲器601接受到的输入图像流609检测每帧或片的缝隙。可变长解码器603对从头部判定部602接受到的每帧或片的图像流610的头部信息进行解码。参数变换部604将从可变长解码器603接受到的输入图像的头部信息611内例如帧号码或时间信息变换为从变换信息接受部600接受到的参数。可变长编码器605对从参数变换部604接受到的变换后的头部信息612进行可变长编码。
比特位置移位&字节定位部606接受可变长编码后的头部信息613并对由参数变换部604变换的参数以后的参数的比特位置进行移位。另外，进行每片或帧的最后的字节定位处理而生成仅头部变换的图像流614。发送缓冲器607将从比特位置移位&字节定位部606接受到的图像流614经由开关2404向发送缓冲器107输出。
另外，如图11所示，在变换控制部401中，在未参照比第一帧更前的帧的情况下，若需要输入流图像信息的变换，则变换信息生成部501向变换判定部500通知请求输入图像流图像信息的变换有无确认请求502。变换判定部500向变换信息生成部501通知输入流图像信息的变换有无确认结果通知503。
接着，对该第二实施方式中的运动图像变换装置的动作进行说明。
【动作】
图12是表示第二实施方式中的运动图像变换装置的动作的一例的流程图。与图8示出的第一实施方式中的运动图像变换装置的动作不同在于：在未参照比存储开始请求的帧更前的帧的情况下(步骤S205：“否”)，其后处理不同。此时，图11示出的变换判定部500向变换信息生成部501的后续帧变换信息生成部2022通知输入流图像信息的信号503，并在后续帧变换信息生成部2022向流变换部403输出指示时(步骤S209：“是”)进行流变换处理(步骤S210)。
流变换部403的接收缓冲器601从接收缓冲器102接受输入图像流408并向头部判定部602发送。
另外，头部判定部602对从接收缓冲器接受到的输入图像流609检测每帧或片的缝隙。如上述，可变长解码器603对从头部判定部602接受到的每帧或片的图像流610的头部信息进行解码。参数变换部604将从可变长解码器603接受到的输入图像的头部信息611内例如帧号码或时间信息变换为从变换信息接收部600接受到的参数。可变长编码器605对从参数变换部604接受到的变换后的头部信息612进行可变长编码。
比特位置移位&字节定位部606接受可变长编码后的头部信息613，对由参数变换部604变换后的参数以后的参数的比特位置进行移位。另外，进行每片或帧的最后的字节定位处理而生成仅头部变换的图像流614。发送缓冲器607将从比特位置移位&字节定位部606接受到的图像流614经由开关2404向发送缓冲器107输出。
根据以上，本发明的第二实施方式的运动图像变换装置即使变更第一帧也能仅补正无需重新编码的后续帧的帧号码的顺序或时间信息等的头部信息。由此，例如能得到补正帧的顺序号码等后的新的运动图像数据。
第三实施方式
【构成】
接着，对本发明的第三实施方式进行说明。且有，在本发明的第一实施方式和本发明的第三实施方式中，虽然内部构成一部分不同，但是除此之外由于具有几乎同样的构成，故对相同的要素附加相同的符号并省略说明，以下，对与第一实施方式不同的构成进行详细地说明。
在本发明的第三实施方式中，对表示是否可参照从特定的帧到任意帧的最大参照帧数进行定义。图3示出的参数解析部201根据从流解码部103接受到的解码信息计算最大参照帧数。该参数解析部201从生成存储图像的第一帧之后直到接收到最大参照帧数的流为止进行计数。并且，在从存储图像的第一帧到小于最大参照帧数的情况下，向变换判定部200通知变换所需的请求。即、超过了最大参照帧数的后续帧由于不必参照比第一帧更前的帧，因此直接存储到发送缓冲器107中。
接着，对该第三实施方式中的运动图像变换装置的动作进行说明。
【动作】
图13是表示第三实施方式中的运动图像变换装置的动作的一例的流程图。与图8示出的第一实施方式的流程图不同仅在于：上述的最大参照帧数的核对的处理。在本实施方式中，例如将最大参照帧数作为4。
在图13示出的流程图中从步骤S301到步骤S304与图8示出的步骤S101到步骤S104相同。在从存储图像的第一帧到小于最大参照帧数的情况下(步骤S305：“否”)，变换判定部200根据参数解析部201的解析结果，进行后续帧是否参照比存储开始帧(第一帧)更前的帧的判断(步骤S306)。从其后的步骤S307到步骤S309的处理与第一实施方式相同。
另一方面，在从存储图像的第一帧到最大参照帧数为4以上的情况下(步骤S305：“否”)，作为当前变换对象的后续帧由于已经超过第一帧并未参照前一帧，故进入到步骤S310，不重新编码而作为后续帧(步骤S310)。
之后无存储结束请求(步骤S308：“否”)，即使返回到步骤S304的处理，后续帧由于超过了最大参照帧数，故进入步骤S310的处理。在变换判定部200受理存储结束请求的信号时(步骤S308：“是”)，运动图像变换装置100由发送缓冲器107生成运动图像数据并发送(步骤S309)。
由此，若已知最大参照帧数，则从存储开始请求的帧到比最大帧数更后的帧未参照比上述指定的帧更前的帧。因此，本发明的第三实施方式的运动图像变换装置在超过了最大参照帧的情况下，由于未进行步骤S306的判断、步骤S307的后续帧变换处理，故能降低运算量该份量。
第四实施方式
【构成】
接着，对本发明的第四实施方式进行说明。且有，在本发明的第一实施方式和本发明的第四实施方式中，虽然内部构成一部分不同，但是除此之外由于具有几乎相同的构成，故对同一要素附加相同的符号并省略说明，对与实施方式1不同的构成进行详细地说明。在本发明的第四实施方式中，成为在第一实施方式上组合第二、第三实施方式的功能的构成。
接着，对该第四实施方式中的运动图像变换装置的动作进行说明。
【动作】
图14是表示第四实施方式中的运动图像变换装置的动作的一例的流程图。与图8示出的第一实施方式中的运动图像变换装置的动作不同在于：追加了上述的流变换处理及上述的最大参照帧数的核对的功能。
变换判定部200接受存储开始请求(步骤S401)，解析输入图像流信息(步骤S402)，进行第一帧变换处理(步骤S403)。接着，解析后续帧的输入图像流信息(步骤S403)，进行第三实施方式中所述的最大参照帧数的核对的处理(步骤S405)。在超过了最大参照帧数的情况下(步骤S406：“是”)，还进行流变换指示(步骤S410)，执行第二实施方式中所述的流变换处理(步骤S411)。后处理与第一实施方式相同，故省略。
以上，本发明的第四实施方式的运动图像变换装置能抑制运动图像数据的图像质量的恶化，且能减低用于编码运动图像数据的运算量。另外，能补正无需重新编码的后续帧中的帧号码的顺序或时间信息等的头部信息。且有，通过考虑最大参照帧数，对超过了最大参照帧数的帧能将运算量减小无需进行参照比存储开始帧更前的帧的处理而结束的份量。
第五实施方式
【构成】
接着，对本发明的第五实施方式进行说明。且有，在本发明的第二实施方式和本发明的第五实施方式中，虽然内部构成一部分不同，但是除此之外由于具有几乎同样的构成，故对同一要素添加相同的符号并省略说明，以下，对与第二实施方式不同的构成进行详细地说明。在本发明的第五实施方式中，在第一帧变换的处理中，在第一帧为IDR帧的情况下不进行变换而直接使用所述第一帧。
【动作】
参照表示由图12示出的本发明的第二实施方式的运动图像变换装置进行的图像变换的一例的流程图，对本发明的第五实施方式进行说明。在第二实施方式与第五实施方式中，第一帧变换的处理(步骤S203)不同。以下，对第一帧变换的处理进行说明。
图11示出的变换判定部500在接受存储开始请求108时在参数解析部201中以确认当前帧是否是内帧的方式进行请求。另外，变换判定部500在从参数解析部201接受当前帧为内帧的通知时，以从图像解码部104获取最新的图像数据并存储在帧存储器305上的方式对图9示出的编码部105进行请求。
参数解析部201在从变换判定部500以确认当前帧是否为内帧的方式接受请求时，将确认结果通知给变换判定部500。并且，在当前帧为内帧的情况下，向变换信息生成部501通知当前帧的信息。第一帧变换信息生成部2021基于来自参数解析部201的信息，在内帧的控制信息中生成为了成为存储图像的第一帧所需的信息。
作为成为存储图像的第一帧所需的信息，例如存在用于判断是否初始化帧缓冲器的信息，或保证未参照比该帧更前的帧的信息等。
并且，第一帧变换信息生成部2021将变换参数信息406通知给流变换部403的变换信息接收部600。
变换信息接收部600接受变换参数信息406并通知给参数变换部604。并且，参数变换部604进行将第一帧的输入图像流信息中的帧号码变换为最初的号码等的处理。之后的处理如上述，经过可变长编码器605、比特位置移位&字节定位部606，从而生成仅头部变换的第一帧的图像流614。此时，第一帧的数据部不必重新编码而直接变换第一帧。
发送缓冲器607向发送缓冲器107输出仅头部变换的第一帧的图像流614。其他的处理由于与第二实施方式相同，故省略说明。
以上，在存储开始请求的帧为由内预测所得到的第一帧的情况下，由于能直接挪用，故运动图像变换装置400由于可以不重新编码存储开始请求的全部帧，从而能将运算量减小该份量。
第六实施方式
【构成】
接着，对本发明的第六实施方式进行说明。且有，在本发明的第一实施方式和本发明的第六实施方式中，虽然内部构成一部分不同，但是除此之外由于具有几乎同样的构成，故对同一要素附加相同的符号并省略说明，以下，对与第一实施方式不同的构成进行详细地说明。
在本发明的第六实施方式中，在后续帧参照了比特定的帧更前的帧的一部分的块时，仅对其一部分的块重新编码。
图15是说明第六实施方式的运动图像变换装置执行的运动图像变换方法的一例的图。在图15中，在P2帧的一部分块参照了IDR0帧的一部分块的情况下，在重新编码P2帧时仅对该块处进行编码，其他部分不重新编码而直接挪用P2帧的编码数据。
【动作】
参照表示由图8示出的本发明的第一实施方式的运动图像变换装置进行的图像变换的一例的流程图，对本发明的第六实施方式进行说明。在第一实施方式和第六实施方式中，后续帧变换的处理(步骤S104以后)不同。以下，对该后续帧变换的处理进行说明。在后续帧参照了比存储开始请求的帧更前的帧的情况下(步骤S105：“是”)，由步骤S106进行后续的帧变换处理。
此时，如果成为变换对象的后续帧仅是比存储开始请求的帧更前的帧的一部分块，则成为变换对象的后续帧仅参照该帧的一部分块，由编码部105进行编码，其他部分不重新编码。由此，比重新编码全部帧更能降低运算量。
以下，参照图1、图3及图5对具体的动作进行说明。图3示出的变换判定部200从参数解析部201接受是否需要以片为单位进行变换的解析结果通知203。此时，需要变换的范围例如由宏块号码取得。并且，在需要变换的情况下，与该片的宏块号码信息一起向图1示出的编码部105发出图像数据获取请求118的指示，以获取图像解码部104生成的最新的图像数据。
另外，参数解析部201向变换信息生成部202也通知例如需要变换的片的宏块号码。
变换信息生成部202基于从参数解析部201接受的宏块信息生成例如片的第一帧宏块号码等头部生成所需的信息，并向编码部105通知变换参数信息。
另外，图5示出的编码部105的开关1301按照来自变换判定部200的图像数据获取请求118的指示，以获取图像解码部104生成的最新的图像数据的方式切换开关。由于开关1301从变换判定部200接受变换的宏块号码，故编码部105仅对在最新的图像数据中所指定的宏块号码的位置进行变换。
另外，头部信息生成部300基于从变换控制部101接受的信息生成头部信息，并向可变长编码器304输出。对于与宏块相当的图像数据而言，由上述的间预测对编码数据进行编码。该编码数据被发送到发送缓冲器107。
图1示出的接收缓冲器102以向发送缓冲器107输出图像流的方式从变换控制部101接受指示时，按每片向发送缓冲器107发送输入图像流。
以上，本发明的第六实施方式的运动图像变换装置由于仅对被判断为参照了比存储开始请求的帧更前的帧的后续帧的一部分区域的编码数据进行重新编码，故能降低运算量。
第七实施方式
【构成】
接着，对本发明的第七实施方式进行说明。且有，在本发明的第六实施方式和本发明的第七实施方式中，虽然内部构成一部分不同，但是除此之外由于具有几乎同样的构成，故对相同要素附加相同的符号并省略说明，以下，对与第六实施方式不同的构成进行详细地说明。
在第七实施方式中，在后续帧除比特定的帧更前的帧的一部分块以外参照后续帧的前帧的一部分块的情况下，在参照的块彼此之间存在相关关系时，后续帧参照比特定的帧更前的帧的一部分块和后续帧的前一帧的一部分块来重新编码。
图16是说明由第七实施方式的运动图像变换装置执行运动图像变换方法的一例的图。如图16所示，P2帧的一部分块A参照了IDR0帧的一部分块A′，P2帧的一部分块B参照了P1帧的一部分块B′。
图17是说明块彼此之间有无相关关系的一例的图。块A由3个像素值构成，块B由3个像素值构成。在本实施方式中进行用于平滑块间的不连续性的滤波处理。在该滤波处理中，使用块A、块B的像素值进行平滑(图17左)，得到块A、块B的像素值(图17右)。
此时，块A依赖块B的值，块B也依赖块A的值。由此，彼此的块依赖的关系相当于存在本发明中所述的相关关系的情况下的一例。在此，由于参照块A的是IDR帧的块A′、参照块B的是P1帧的块B′，故在编码P2帧时参照块A′及块B′来进行编码。且有，表示有无相关关系的信息被记录在头部。
【动作】
图18是表示第七实施方式中的运动图像变换装置的动作的一例的流程图。从接受存储开始请求(步骤S501)到第一帧变换的处理(步骤S504)为止的处理与第六实施方式的处理相同。
在第七实施方式中，在后续帧的输入图像流信息解析的处理中，在变换对象的帧也参照比存储开始请求更前的帧的宏块的情况下(步骤S505：“是”)，参数解析部201对于有无与存储开始请求的帧更前的帧的宏块具有相关关系的其他帧的宏块，参照头部信息来进行判断。并且，将判断结果通知给变换判定部500。在无相关的情况下(步骤S508：“否”)，之后的处理与第六实施方式相同。
另一方面，如图17的说明，在存在与存储开始请求的帧更前的帧的宏块具有相互影响的相关关系的其他帧的宏块的情况下(步骤S509：“是”)，对成为变换对象的帧参照的宏块彼此之间进行重新编码。具体地说，变换信息生成部202基于从参数解析部201接受的宏块信息，生成例如片的第一宏块号码等头部生成所需的信息，并向编码部105通知变换参数信息。
另外，图3示出的编码部105的开关1301按照来自变换判定部200的图像数据获取请求118的指示，以获取图像解码部104生成的最新的图像数据的方式切换开关。由于开关1301从变换判定部200接受有变换的相关关系的宏块号码，故编码部105仅对最新的图像数据中所指定的有相关关系的宏块号码的位置进行变换。
头部生成部300基于从变换控制部501接受的信息生成头部信息并向可变长编码器304输出。对于与宏块相当的图像数据而言，由上述的间预测对编码数据进行编码。该编码数据被发送到发送缓冲器107。
图1示出的接收缓冲器102以向发送缓冲器107输出图像流的方式从变换控制部101接受指示时，按每片向发送缓冲器107发送输入图像流。
以上，本发明的第七实施方式的运动图像变换装置，由于与比存储开始请求的帧更前的帧的一部分区域具有相关关系的其他帧的一部分区域以保持相关关系的状态被重新编码，故不会产生被重新编码的帧的一部分区域的图像杂乱等。
第八实施方式
接着，对本发明的第八实施方式进行说明。第八实施方式向第七实施方式的运动图像变换装置追加补正在第二实施方式中说明的帧号码的顺序或时间信息等的头部信息的功能。且有，补正头部信息的功能由于已经进行了说明，故在此省略该说明。
本发明的第八实施方式的运动图像变换装置由于仅帧的一部分进行变换，故与对帧整体进行变换的情况相比，能降低运算量，且能补正时间信息、帧号码等的头部信息。
第九实施方式
接着，对本发明的第九实施方式进行说明。第九实施方式是向第七实施方式的运动图像变换装置追加了确认在第三实施方式中说明的最大参照帧数的核对的功能。且有，由于核对最大参照帧数的功能已经进行了说明，故在此省略。
本发明的第九实施方式的运动图像变换装置由于仅对帧的一部分进行变换，故与对帧整体进行变换的情况相比，能降低运算量，对于超过了最大参照帧数的帧而言，能将运算量减小不进行参照比存储开始帧更前的帧的处理。
第十实施方式
接着，对本发明的第十实施方式进行说明。第十实施方式是向第七实施方式的运动图像变换装置追加头部信息的补正功能和最大参照帧数的核对功能。且有，由于头部信息的补正功能和最大参照帧数的核对功能已经进行了说明，故在此省略说明。
本发明的第十实施方式的运动图像变换装置由于仅对帧的一部分进行变换，故与对帧整体进行变换的情况相比，能降低运算量，且能补正时间信息、帧号码等的头部信息。且有，对于超过了最大参照帧数的帧而言，还能将运算量减小不进行参照比存储开始帧更前的帧的处理的份量。
由以上的说明，在本发明中发挥以下所述的效果。第一效果：对所输入的编码数据能提供一种在从所指定的帧开始存储的情况下，通过抑制图像质量的恶化来生成高图像质量的运动图像数据的变换方式。
第二效果：对所输入的编码数据能提供一种在从所指定的帧开始存储的情况下使运算量降低并高速地生成运动图像数据的变换方式。
第三效果：对所输入的编码数据在从所指定的帧开始存储的情况下，在比存储图像的第一帧更后的后续的帧参照了比第一帧更前的帧时，高速地生成高图像质量的存储图像的变换方式。
第四效果：对所输入的编码数据提供一种在从所指定的帧开始存储的情况下，在存储图像的第一帧为内帧时通过直接将内帧挪用为第一帧而使运算量降低，来高速生成高图像质量的运动图像数据的变换方式。
另外，虽然参照上述的实施方式对本发明进行说明，但是本发明并不限定于此。本发明的构成或详细内容在本发明的请求的范围内能进行技术人员能理解的各种变更。
该申请主张以2007年5月29日申请的日本专利申请2007-141507号为基础的优先权，并将该公开的全部内容引用于此。

Claims (12)

1.一种运动图像变换装置，其对编码后的运动图像数据进行变换，
该运动图像变换装置包括：
运动图像数据生成部，其生成以所述编码后的运动图像数据的特定的帧为开头的新的运动图像数据；和
判定部，其判断比所述特定的帧更后的后续帧是否参照比所述特定的帧更前的帧而被编码，
所述运动图像数据生成部，包括：
第一帧变换处理部，其将所述特定的帧变换为不参照其他帧的第一帧；和
后续帧变换处理部，其对由所述判定部被判断为参照了比所述特定的帧更前的帧的后续帧，参照从该判断后的后续帧到所述特定的帧的任意帧来重新编码。
2.根据权利要求1所述的运动图像变换装置，其特征在于，
所述运动图像数据生成部对由所述判定部被判断为参照了所述特定的帧以后的帧的后续帧不重新编码而作为新的运动图像数据的后续帧。
3.根据权利要求1或2所述的运动图像变换装置，其特征在于，
所述第一帧变换处理部在对所述特定的帧的编码数据解码后，不参照其他帧来进行编码，并变换为编码后的编码数据。
4.根据权利要求1～3中任意一项所述的运动图像变换装置，其特征在于，
所述后续帧变换处理部在对由所述判定部被判断为参照了比所述特定的帧更前的帧的后续帧的编码数据进行解码后，在与其他帧之间进行帧间预测，不参照比所述特定的帧更前的帧来对解码后的后续帧进行编码。
5.根据权利要求1～4中任意一项所述的运动图像变换装置，其特征在于，
所述第一帧变换处理部在不参照其他帧来对所述特定的帧进行编码的情况下，将所述特定的帧作为第一帧。
6.根据权利要求1～5中任意一项所述的运动图像变换装置，其特征在于，
所述后续帧变换处理部通过帧间预测编码或帧内预测编码进行编码。
7.根据权利要求3～6中任意一项所述的运动图像变换装置，其特征在于，
所述编码数据具有帧特定信息，该帧特定信息对相对第一帧的自身帧进行特定，
所述后续帧变换处理部仅改写由所述判定部被判断为参照了所述特定的帧以后的帧的后续帧的所述帧特定信息。
8.根据权利要求1～7中任意一项所述的运动图像变换装置，其特征在于，
所述判定部判断所述后续帧是否是直到表示能从所述特定的帧到多少帧为止进行参照的最大参照帧数为止的帧，
所述运动图像数据生成部对由所述判定部被判断为不是直到所述最大参照帧数为止的帧的后续帧不重新编码而作为新的运动图像数据的后续帧。
9.根据权利要求1～8中任意一项所述的运动图像变换装置，其特征在于，
所述后续帧变换处理部，在由所述判定部被判断为参照了比所述特定的帧更前的帧的后续帧的一部分区域参照比所述特定的帧更前的帧的一部分区域而被编码时，参照从该判断后的后续帧到所述特定的帧为止的任意帧的一部分区域来重新编码。
10.根据权利要求9所述的运动图像变换装置，其特征在于，
所述判定部判断是否存在与比所述特定的帧更前的帧的一部分区域具有相互影响的相关关系的其他帧的一部分区域，
在由所述判定部得到存在与比所述特定的帧更前的帧的一部分区域具有相关关系的其他帧的一部分区域的判断结果的情况下，所述后续帧变换处理部也参照具有该相关关系的其他帧的一部分区域来重新编码。
11.一种运动图像变换方法，对编码后的运动图像数据进行变换，
该运动图像变换方法，包括：
第一帧变换步骤，将特定的帧变换为不参照其他帧的第一帧；
判断步骤，在所述第一帧变换步骤前后，判断比所述特定的帧更后的后续帧是否参照比所述特定的帧更前的帧而被编码；和
后续帧变换步骤，对由所述判断步骤被判断为参照了比所述特定的帧更前的帧的后续帧，参照从该判断后的后续帧到所述特定的帧的任意帧来重新编码。
12.一种运动图像变换程序，对编码后的运动图像数据进行变换，
该运动图像变换程序使控制部执行以下步骤：
第一帧变换步骤，将特定的帧变换为未参照其他帧的第一帧；
判断步骤，判断比所述特定的帧更后的后续帧是否参照比所述特定的帧更前的帧而被编码；和
后续帧变换步骤，对由所述判断步骤被判断为参照了比所述特定的帧更前的帧的后续帧，参照从该判断后的后续帧到所述特定的帧的任意帧来重新编码。
CN200880015709A 2007-05-29 2008-05-23 运动图像变换装置、运动图像变换方法及运动图像变换程序 Pending CN101682776A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP141507/2007 2007-05-29
JP2007141507 2007-05-29
PCT/JP2008/059952 WO2008146892A1 (ja) 2007-05-29 2008-05-23 動画像変換装置、動画像変換方法、および動画像変換プログラム

Publications (1)

Publication Number Publication Date
CN101682776A true CN101682776A (zh) 2010-03-24

Family

ID=40075124

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200880015709A Pending CN101682776A (zh) 2007-05-29 2008-05-23 运动图像变换装置、运动图像变换方法及运动图像变换程序

Country Status (5)

Country Link
US (1) US8811481B2 (zh)
JP (1) JP5365805B2 (zh)
KR (1) KR101074964B1 (zh)
CN (1) CN101682776A (zh)
WO (1) WO2008146892A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113286147A (zh) * 2020-02-20 2021-08-20 夏普株式会社 图像编码装置及图像编码方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5332773B2 (ja) * 2009-03-18 2013-11-06 ソニー株式会社 画像処理装置および方法
DE102009039095A1 (de) * 2009-08-27 2011-03-10 Siemens Aktiengesellschaft Verfahren und Vorrichtung zum Erzeugen, Decodieren und Transcodieren eines codierten Videodatenstroms
JP2011109469A (ja) * 2009-11-18 2011-06-02 Canon Inc コンテンツ受信装置及びコンテンツ受信装置の制御方法
TWI458319B (zh) * 2011-11-29 2014-10-21 Novatek Microelectronics Corp 時脈嵌入的資料傳輸方法以及資料編碼
US10708571B2 (en) * 2015-06-29 2020-07-07 Microsoft Technology Licensing, Llc Video frame processing
CN108769695B (zh) * 2018-05-21 2020-08-07 深圳市梦网科技发展有限公司 一种帧类别的转换方法、系统及终端
US11265599B2 (en) * 2019-06-11 2022-03-01 Nvidia Corporation Re-encoding predicted picture frames in live video stream applications
CN112087633B (zh) * 2019-06-12 2022-08-09 腾讯科技（深圳）有限公司 视频解码方法、装置及存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07170522A (ja) * 1993-12-16 1995-07-04 Matsushita Electric Ind Co Ltd 動画像圧縮データ切り換え装置
JP3591025B2 (ja) * 1995-01-31 2004-11-17 ソニー株式会社 画像情報処理装置
JPH11187410A (ja) * 1997-12-18 1999-07-09 Bit Art:Kk Ｍｐｅｇ動画像におけるフレーム単位切り出しロジック
JP4005691B2 (ja) * 1998-03-19 2007-11-07 株式会社東芝 動画像符号化方法および動画像符号化装置
JP2002305733A (ja) 2001-04-06 2002-10-18 Matsushita Electric Ind Co Ltd マルチキャスト会議装置、及びマルチキャスト会議プログラム
US6950464B1 (en) * 2001-12-26 2005-09-27 Cisco Technology, Inc. Sub-picture level pass through
KR100846770B1 (ko) * 2002-03-05 2008-07-16 삼성전자주식회사 동영상 부호화 방법 및 이에 적합한 장치
JP3977716B2 (ja) 2002-09-20 2007-09-19 株式会社東芝 動画像符号化／復号化方法及び装置
JP4291185B2 (ja) * 2004-03-22 2009-07-08 Ｎｅｃパーソナルプロダクツ株式会社 トランスコーディング方法、トランスコーダ及びプログラム
JP4251291B2 (ja) 2004-12-22 2009-04-08 日本ビクター株式会社 動画像符号化装置、動画像符号化方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113286147A (zh) * 2020-02-20 2021-08-20 夏普株式会社 图像编码装置及图像编码方法

Also Published As

Publication number Publication date
KR101074964B1 (ko) 2011-10-18
US8811481B2 (en) 2014-08-19
US20100150238A1 (en) 2010-06-17
JP5365805B2 (ja) 2013-12-11
KR20090123907A (ko) 2009-12-02
JPWO2008146892A1 (ja) 2010-08-19
WO2008146892A1 (ja) 2008-12-04

Similar Documents

Publication Publication Date Title
CN101682776A (zh) 运动图像变换装置、运动图像变换方法及运动图像变换程序
JP3923898B2 (ja) 画像符号化方法及び装置
KR100592651B1 (ko) 트랜스코딩 방법 및 장치
EP0542195B1 (en) Interframe predicting method and picture signal coding/decoding apparatus
JP3762392B2 (ja) 動画像符号化方法及び装置
WO1999005864A1 (fr) Dispositif d'edition, procede d'edition, dispositif d'epissage, procede d'epissage, dispositif de codage et procede de codage
JP2005347780A (ja) デジタル信号符号化装置、デジタル信号復号装置、デジタル信号算術符号化方法、およびデジタル信号算術復号方法
KR101128165B1 (ko) 동화상 스트리밍 시스템, 변환 장치 및 동화상 스트리밍 방법
WO2006103844A1 (ja) 符号化装置と方法、ならびに復号装置と方法
CN100380982C (zh) 图像编码方法和装置
JP2000059790A (ja) 動画像符号列変換装置及びその方法
JPH08111870A (ja) 画像情報の再符号化方法及び装置
JPH09187007A (ja) 誤りを含むデータストリームへの再同期の方法と、符号化器及び復号化器
JP2007180776A (ja) 符号化データ選定、符号化データ設定、再符号化データ生成及び再符号化の方法及び装置
CN110636288B (zh) 视频解码、编码方法和装置及电子设备
JP4211873B2 (ja) デジタル信号符号化装置、デジタル信号復号装置、デジタル信号算術符号化方法、およびデジタル信号算術復号方法
JP4211780B2 (ja) デジタル信号符号化装置、デジタル信号復号装置、デジタル信号算術符号化方法、およびデジタル信号算術復号方法
JP5472094B2 (ja) 動画像変換装置、動画像配信システム、動画像変換方法及びプログラム
JP4153150B2 (ja) 動画像符号化データのトランスコーディング方法およびトランスコーディング装置
CN110572675B (zh) 视频解码、编码方法和装置、存储介质与解码器、编码器
JP2010074677A (ja) 映像処理装置、映像圧縮符号化装置、映像復号再生装置及び映像再生方法
CN110572680B (zh) 视频解码、编码方法和装置，存储介质与解码器、编码器
JP2005507620A (ja) 圧縮
KR0123083B1 (ko) 패킷 동영상 부호기 및 복호기에 있어서의 패킷 데이터 구조
JP2000059789A (ja) 動画像符号列変換装置及びその方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20100324

C20 Patent right or utility model deemed to be abandoned or is abandoned