CN1231102A - 图像编码控制装置和方法、编码系统、传输系统及广播系统 - Google Patents

图像编码控制装置和方法、编码系统、传输系统及广播系统 Download PDF

Info

Publication number
CN1231102A
CN1231102A CN98800903A CN98800903A CN1231102A CN 1231102 A CN1231102 A CN 1231102A CN 98800903 A CN98800903 A CN 98800903A CN 98800903 A CN98800903 A CN 98800903A CN 1231102 A CN1231102 A CN 1231102A
Authority
CN
China
Prior art keywords
bit rate
target bit
program data
data
program
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN98800903A
Other languages
English (en)
Inventor
三原宽司
北村卓也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN1231102A publication Critical patent/CN1231102A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/127—Prioritisation of hardware or computational resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H04N21/23655—Statistical multiplexing, e.g. by controlling the encoder to alter its bitrate to optimize the bandwidth utilization
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明使用统计复用的方法,能够对每个节目数据分配最佳的目标码率。控制器(3)从各图像编码装置(2i)取得各节目的编码难易度(Di),根据编码难易度(Di)和比特率的变换式,计算临时比特率(Tmp－Ratei)。控制器(3)进一步修正临时比特率(Tmp－Ratei),并决定最终的目标比特率(Target－Ratei),使得目标比特率(Target－Ratei)的总和限制在规定的容许值内,将该最终的目标比特率提供给各图像编码装置(2i)。

Description

图像编码控制装置和方法、编码系统、 传输系统及广播系统
技术领域
本发明涉及对图像数据进行压缩编码的图像编码控制装置和方法、编码系统、传输系统及广播系统。
背景技术
最近，将图像数据等作为数字数据进行收发信的数字广播引人注目。数字广播的优点在于，与模拟广播相比，在同样的传输线路上可以传输更多的节目数据(以下称为节目)。这主要是因为能够将图像数据进行压缩来传输。图像数据的压缩方法有例如MPEG(Moving Picture Experts Group，运动图像专家组)标准所采用的双向预测编码方式。在该双向预测编码方式中，进行帧内编码、帧间正向预测编码和双向预测编码这三种类型的编码，各编码类型的图像分别称为I画面(intra coded picture，帧内编码画面)、P画面(predictivecoded picture，预测编码画面)和B画面(Bidirectionally predictive codedpicture，双向预测编码画面)。
在数字广播的图像压缩编码中，需要将压缩编码后的数据量(比特量)抑制在传输线路的传输容量以下，并保持高品质的画质。
对于规定传输容量的传输线路，播放更多节目的方法有所谓的“统计复用”方法。统计复用是通过动态变化各节目的传输速率、来传输更多节目的方法。在该统计复用中，例如通过减小那些即使减小传输速率、画质恶化也不明显的节目的传输速率，使得能够传输更多的节目。
这里，参照图12和图13，来进一步说明统计复用。图12表示传统的根据固定速率进行复用时对各节目分配的码率的一个例子，纵轴表示对各节目分配的码率，横轴表示时间。如图12所示，例如天气预报、新闻和戏剧这些被复用的各节目的分配码率保持作为初始值分配的码率，而不随时间变动。对各节目作为初始值分配的码率使得各节目画质恶化明显的部分(时间)的画质恶化在容许范围之内。因此，对画质恶化明显的部分以外的部分，也分配了不必要的码率。
图13表示使用统计复用方法、动态变化对各节目分配的码率来进行复用时、对各节目分配的码率的一个例子，纵轴表示对各节目分配的码率，横轴表示时间。统计复用利用了各节目画质恶化明显的部分(时间)同时出现的可能性很小这一特点。从而，在某个节目是画质恶化明显的部分时，其他节目即使降低码率，画质恶化往往也并不明显，因此可以降低其他节目的码率，对画质恶化明显的节目分配更多的码率。在图13所示的例子中，在时刻P，戏剧(1)是画质恶化明显的部分、新闻和戏剧(2)是画质恶化不明显的部分时，降低新闻和戏剧(2)的码率，对戏剧(1)分配相应的更多的码率。这样，通过使用统计复用，可以传输比通常更多的节目。
然而，在这种统计复用中，决定对各节目分配的码率、即比特率的量的比特率分配方法是决定画质等的重要因素。比特率分配方法中的传统的代表方法有，监视各节目使用的量化步长，反馈控制量化步长，使得所有节目的量化步长相同，或者根据预先对各节目设定的加权而取得平衡。在这种反馈控制中，某个图像的编码结束后，根据该图像编码时的量化步长来决定下一比特率，因此，在因场面变化等而迅速变化到复杂的图案时，就来不及响应，明显产生图像失真。
另一方面，为了解决采用这种反馈控制的控制系统的响应延迟的问题，本申请人提出下述反馈控制方法，即，对于要编码的图像，先求出表示编码的难易度的编码难易度(Difficulty)，根据该编码难易度，决定各节目的比特率。该反馈控制方法的基本实现方法是，根据在编码处理之前取得的各节目的编码难易度数据的比率，将复用后的总比特率分配给各节目。根据编码难易度数据的比率、对各节目进行比特率的分配，是如下式(1)所示，按比例分配来决定的。
Ri=(Di/∑Dk)×Total_Rate…(1)
在式(1)中，Ri表示第i个节目的比特率，Di表示该节目的单位时间的编码难易度，Total Rate表示总比特率，∑表示对K=1～L(L是总节目数)求和。
或者，对各节目进行比特率的分配，是对各节目附加加权系数Wi，如下式(2)所示来决定。
Ri={Wi×Di/∑(Wk×Dk)}×Total_Rate…(2)
但是，上述根据编码难易度按比例分配比特率的方法存在下述问题。
(1)根据编码难易度按比例分配未必最适合人的视觉特性。例如，简单的图案的编码难易度低，因此比特率抑制得很低，但是人的视觉特性有一种倾向，容易发现简单图案的失真，而很难觉察到复杂图案的失真。因此，对所有的节目使用一个式子，根据各节目的编码难易度，单纯地按比例分配总比特率，则对图案复杂的节目分配了不必要的比特量，而比特量减少的图案简单的节目，则因编码产生的失真明显，而使观众感到不快。
(2)通常，在使用统计复用的数字广播电台，对各节目提供企业，根据占有的比特率来收费。这时，数字广播电台往往根据各节目提供企业的预算，预先求出平均比特率的分配。但是，在使用统计复用时，比特率动态变化，不能预先求出平均比特率，因此不能根据预算进行正确的收费。
发明概述
因此，本发明的目的是提供一种图像编码控制装置和方法、编码系统、传输系统及广播系统，使用统计复用的方法，能够对各节目数据分配适当的目标码率。
本发明的图像编码控制装置，用于包括多个编码部件、和复用部件的系统中，对各编码部件设定作为单位时间的目标发生码量的目标码率，并控制各编码部件，该多个编码部件分别对包含图像数据的多个节目数据进行编码，该复用部件对各编码部件的输出数据进行复用，该图像编码控制装置包括：暂定目标码率决定部件，对每个节目数据取得表示编码的难易度的编码难易度，使用对每个节目数据设定的编码难易度和目标码率之间的对应关系，决定与取得的每个节目数据的编码难易度对应的每个节目数据的暂定目标码率；修正部件，修正由暂定目标码率决定部件所决定的暂定目标码率，决定最终的每个节目数据的目标码率，使得每个节目数据的目标码率的总和限制在规定的容许值内，并对各编码部件设定该最终的目标码率。
在该图像编码控制装置中，暂定目标码率决定部件对每个节目数据取得表示编码的难易度的编码难易度，使用对每个节目数据设定的编码难易度和目标码率之间的对应关系，决定与取得的每个节目数据的编码难易度对应的每个节目数据的暂定目标码率。该暂定目标码率由目标码率修正部件来修正，并决定最终的每个节目数据的目标码率，使得每个节目数据的目标码率的总和限制在规定的容许值内，并对各编码部件设定该最终的目标码率。
本发明的图像编码控制方法，用于包括多个编码部件、和复用部件的系统中，对各编码部件设定作为单位时间的目标发生码量的目标码率，并控制各编码部件，该多个编码部件分别对包含图像数据的多个节目数据进行编码，该复用部件对各编码部件的输出数据进行复用，该图像编码控制方法包括：暂定目标码率决定步骤，对每个节目数据取得表示编码的难易度的编码难易度，使用对每个节目数据设定的编码难易度和目标码率之间的对应关系，决定与取得的每个节目数据的编码难易度对应的每个节目数据的暂定目标码率；修正步骤，修正由暂定目标码率决定步骤所决定的暂定目标码率，决定最终的每个节目数据的目标码率，使得每个节目数据的目标码率的总和限制在规定的容许值内，并对各编码部件设定该目标码率。
在该图像编码控制方法中，暂定目标码率决定步骤对每个节目数据取得编码难易度，使用对每个节目数据设定的编码难易度和目标码率之间的对应关系，决定与每个节目数据的编码难易度对应的每个节目数据的暂定目标码率。此外，目标码率修正步骤修正每个节目数据的暂定目标码率，并决定最终的目标码率，使得每个节目数据的目标码率的总和限制在规定的容许值内。
本发明的编码系统，对分别包含图像数据的多个节目数据进行编码，对编码数据进行复用，该编码系统包括：多个编码难易度检测部件，对每个节目数据，检测对各节目数据中包含的图像数据进行编码时的、表示编码的难易度的编码难易度；多个编码部件，根据分别供给的、作为单位时间的目标发生码量的目标码率，对各节目数据中包含的图像数据进行编码；复用部件，对各编码部件所编码的数据进行复用；控制部件，由各编码难易度检测部件所检测的编码难易度来计算每个节目数据的目标码率，将计算的目标码率供给各编码部件。
控制部件例如根据对每个节目数据独立设定的、由编码难易度来计算目标码率所用的计算式，来计算目标码率。
控制部件例如根据对每个节目数据预定的目标码率的平均值决定、对每个节目数据独立设定由编码难易度来计算目标码率所用的计算式，根据该计算式来计算目标码率。
控制部件例如对每个节目数据，由各编码难易度检测部件所检测的编码难易度来计算每个节目数据的临时目标码率，由临时目标码率来计算每个节目的目标码率，使得对每个节目数据计算的临时目标码率的总和限制在规定的容许范围内。
控制部件例如对每个节目数据，与其他节目数据的编码难易度无关，由各编码难易度检测部件所检测的编码难易度来计算每个节目数据的临时目标码率，由临时目标码率来计算每个节目的目标码率，使得对每个节目数据计算的临时目标码率的总和限制在规定的容许范围内。
控制部件例如对每个节目数据独立设定由编码难易度来计算临时目标码率所用的计算式，该计算式不受其他节目数据的编码难易度的影响，根据该计算式，由各编码难易度检测部件所检测的编码难易度来计算每个节目数据的临时目标码率，由临时目标码率来计算每个节目的目标码率，使得对每个节目数据计算的临时目标码率的总和限制在规定的容许范围内。
本发明的传输系统，对分别包含图像数据的多个节目数据进行编码，对编码数据进行复用，并作为传输数据进行输出，该传输系统包括：多个编码难易度检测部件，对每个节目数据，检测对各节目数据中包含的图像数据进行编码时的、表示编码的难易度的编码难易度；多个编码部件，根据分别供给的、作为单位时间的目标发生码量的目标码率，对各节目数据中包含的图像数据进行编码；复用部件，对各编码部件所编码的数据进行复用，并作为传输数据进行输出；控制部件，根据对每个节目数据独立设定的、由编码难易度来计算目标码率所用的计算式，由各编码难易度检测部件所检测的编码难易度来计算每个节目数据的目标码率，将计算的目标码率供给各编码部件。控制部件的特征与编码系统的情况相同。
本发明的广播系统，对分别包含图像数据的多个节目数据进行编码，对编码数据进行复用，并作为广播数据进行发送，该广播系统包括：多个编码难易度检测部件，对每个节目数据，检测对各节目数据中包含的图像数据进行编码时的、表示编码的难易度的编码难易度；多个编码部件，根据分别供给的、作为单位时间的目标发生码量的目标码率，对各节目数据中包含的图像数据进行编码；复用部件，对各编码部件所编码的数据进行复用，并作为广播数据进行输出；控制部件，根据对每个节目数据独立设定的、由编码难易度来计算目标码率所用的计算式，由各编码难易度检测部件所检测的编码难易度来计算每个节目数据的目标码率，将计算的目标码率供给各编码部件。控制部件的特征与编码系统的情况相同。
本发明的其他目的、特征和优点通过下面的说明将会变得更加清楚。
附图的简要说明
图1是包含本发明一实施例的图像编码控制装置的统计复用系统的概略结构方框图。
图2是图1所示的图像编码装置的概略结构方框图。
图3是图1中控制器的硬件结构的方框图。
图4是本发明一实施例中单位时间的编码难易度和分配比特率之间关系的说明图。
图5是本发明一实施例中单位时间的编码难易度和分配比特率之间另一关系的说明图。
图6是本发明一实施例中更新平均编码难易度的估计值时、单位时间的编码难易度和分配比特率的关系变化的说明图。
图7是本发明一实施例中对各节目分配目标比特率的操作的流程图。
图8是图7的后续操作的流程图。
图9是图8的后续操作的流程图。
图10是本发明一实施例中变形例的操作的流程图。
图11是本发明一实施例的变形例中对各节目分配目标比特率的操作的一个例子的说明图。
图12是传统的根据固定速率进行复用时对各节目分配码率的说明图。
图13是传统的动态变化码率来进行复用时对各节目分配码率的说明图。
实施发明的最好方式
下面，参照附图详细说明本发明的实施例。
图1是统计复用系统的结构例的方框图，该统计复用系统包含：控制器，即本发明一实施例的图像编码控制装置；图像编码装置，即对多个节目数据进行编码的多个编码部件；以及复用装置，即对各编码部件的输出数据进行复用的复用部件。该统计复用系统1对应于本发明的编码系统、传输系统、及广播系统。统计复用系统1分别包括：本发明的多个图像编码装置2i，输入节目数据、即节目Si(i是1以上的整数值)，并对其进行压缩编码；控制器3，即本实施例的图像编码控制装置，对各图像编码装置2i进行前馈型的比特率控制；复用装置4，对各图像编码装置2i分别输出的压缩编码数据Sti进行复用，将图像数据Sm输出到传输线路。统计复用系统1在作为传输系统使用时，将复用装置4输出的图像数据Sm作为传输数据输出到传输线路。统计复用系统1在作为广播系统使用时，将复用装置4输出的图像数据Sm作为广播数据通过广播传输线路发送到接收装置端。
图3是图1中控制器3的硬件结构的方框图。控制器3包括：CPU(中央处理单元)51；ROM(只读存储器)52；RAM(随机存取存储器)53，作为工作区域；以及连接它们的总线70。控制器3还分别包括：CRT(阴极射线管)60，通过接口(在图3中记为I/F)54～59连接到总线70 ；硬盘驱动器61；CD(紧致盘)-ROM驱动器62；软盘驱动器63；键盘64；以及鼠标65。
在该控制器3中，CPU51将RAM53作为工作区域，执行例如ROM52或者硬盘驱动器61内的硬盘中存储的比特率控制程序，从而实现后述各功能。比特率控制程序也可以记录在CD-ROM驱动器62所驱动的CD-ROM、或者软盘驱动器63所驱动的软盘上，从它们安装到硬盘驱动器61内的硬盘上。
图2是图1中图像编码装置2i的详细结构方框图。如该图所示，图像编码装置2i包括：编码器控制部11，输入节目Si，进行压缩编码的预处理等；FIFO(先入先出)存储器12，将该编码器控制部11的输出数据延迟预定时间并输出；编码器13，输入该FIFO存储器12的输出数据，对每个画面根据与画面类型相应的编码方法进行压缩编码，输出压缩图像数据Sti；运动检测电路14，根据编码器控制部11的输出数据检测运动向量，送到编码器13；编码控制部15，根据编码器控制部11输出的统计量数据Sai和运动检测电路14输出的ME残差数据Szi来控制编码器13。所谓ME残差，简单地说，是指对整个画面求运动预测误差的绝对值之和或自乘之和所得的结果，ME残差数据Szi是求ME残差所用的数据，在后面将详细说明。
编码器控制部11包括：图像排序电路21，输入节目Si，按照编码的顺序对画面(I画面、P画面、B画面)的顺序进行排序；扫描变换兼宏块化电路22，输入该图像排序电路21的输出数据，判别是帧结构还是场结构，根据判别结果进行扫描变换和16×16迅速的宏块化；统计量计算电路23，输入该扫描变换兼宏块化电路22的输出数据，计算I画面中的帧内(Intra)AC、活动性(Activity)、和平坦性(Flatness)等统计量，将统计量数据Sai送到编码控制部15，同时将扫描变换兼宏块化电路22的输出数据送到FIFO存储器12和运动检测电路14。帧内AC、活动性、和平坦性在后面将详细说明。
编码器13包括：减法电路31，取FIFO存储器12的输出数据和预测图像数据之间的差分；DCT(离散余弦变换)电路32，对该减法电路31的输出数据以DCT块为单位进行DCT，输出DCT系数；量化电路33，对该DCT电路32的输出数据进行量化；可变长编码电路34，对该量化电路33的输出数据进行可变长编码；缓中存储器35，暂时保持该可变长编码电路34的输出数据，作为由比特流构成的压缩编码数据Sti输出；逆量化电路36，对量化电路33的输出数据进行逆量化；逆DCT电路37，对该逆量化电路36的输出数据进行逆DCT；加法电路38，将该逆DCT电路37的输出数据和预测图像数据相加并输出；运动补偿电路39，保持该加法电路38的输出数据，根据运动检测电路14送来的运动向量进行运动补偿，将预测图像数据输出到减法电路31和加法电路38。
运动检测电路14根据编码器控制部11的输出数据，寻找宏块以使得作为压缩编码对象的画面的注目宏块、和参考画面的注目宏块之间像素值差分的绝对值之和或者自乘之和达到最小，检测运动向量并送到运动补偿电路39。运动检测电路14在求运动向量时，将达到最小的宏块间的像素值差分的绝对值之和或者自乘之和作为ME残差数据Szi送到编码控制部15。
编码控制部15包括：ME残差计算部41，计算将来自运动检测电路14的ME残差数据Szi对整个画面求和所得的值、即ME残差；编码难易度计算部42，根据该ME残差计算部41计算的ME残差和来自统计量计算电路23的统计量数据Sai，计算表示画面编码难易度的编码难易度Di，送到控制器3。
编码控制部15还包括：量化指数决定部45，决定量化电路33中与量化特性值对应的量化指数，使其等于根据编码难易度计算部42计算的编码难易度Di在控制器3中决定的目标比特率Target_Ratei，送到量化电路33。
这里说明编码难易度(Difficulty)。编码难易度表示画面编码的难易度，换言之，它是编码时为了保持相同画质所需的数据量的比率。将编码难易度数值化的方法有很多种。计算编码难易度所用的参数，如前所述，有ME残差、帧内AC、活动性、平坦性等。所谓帧内AC，定义为在I画面中、8×8像素的DCT(离散余弦变换)块内的各像素的像素值和DCT块内的像素值的平均值之间差分的绝对值的总和，可以说是表示图案的复杂度。所谓活动性，是表示图像图案的复杂度，例如根据原图像的亮度信号的像素值的分布来计算，在TM5(Test Model Editing Committee(测试模型编辑委员会)：“Test Model5”；ISO/IEC JTC/SC292/WG11/N0400(Apr.1993))等中用于计算宏块的量化值。所谓平坦性，定义为表示图像在空间上的平坦性，表示图像的复杂度，与图像图案的难度和压缩后的数据量有相关性。如前所述，帧内AC和活动性表示图案的复杂度，ME残差表示图像的运动速度和图案的复杂度，平坦性表示图像在空间上的平坦性，这些都与编码的难易度有很强的相关性，因此通过将它们作为变量的一次函数等，可以计算编码难易度。
这里，作为统计量的一个例子的帧内AC由下式表示。
Intra_AC=∑｜fcurr(x,y)-(∑Fcurr)/N)｜
在该式中，Intra_AC表示帧内AC,Fcurr(x,y)表示DCT块内各像素的像素值，∑fcurr表示DCT块内像素值的总和，N表示DCT块内的像素数。∑表示对DCT块内的各像素求其总和。
本申请人提出一种能更正确地对编码难易度进行数值化的方法，它时时刻刻通过学习来更新例如将TM5中规定的、表示以前编码的相同类型画面中画面复杂度的参数、即全局复杂度(Global Complexity)、以及在编码处理之前取得(以下称为先读)的统计量(ME残差、活动性、平坦性和帧内AC)变换为编码难易度所用的变换式。在该方法中，例如，每压缩一个画面时，将全局复杂度除以先读的统计量，计算用于逼近编码难易度数据的加权系数，更新用于运算处理的加权系数。通过该加权系数的更新，总是可以将最佳的加权系数用于图像数据的图案，能够用先读的统计量以很高的精度来逼近编码难易度。
在通过这种方法根据先读的统计量(帧内AC、活动性等)能获得高精度的编码难易度的情况下，能够使用该编码难易度来决定统计复用中各节目的目标比特率Target_Rate。
下面，说明根据编码难易度对各节目分配目标比特率的方法。以下，为了简单，假设先读的编码难易度数据长度为1GOP(Group Of Picture，画面组)来进行说明。这里，假设1GOP画面的页数为N页。即，在编码第i个节目的画面j时，获得关于从画面j到画面j+N-l这N页画面的编码难易度数据Di,j～Di,j+N-1。为了简单，各图像编码装置可以以每帧为单位来变更目标比特率。各图像编码装置只能以GOP为单位来变更目标比特率的情况下的目标比特率分配方法将在本实施例的变形例中进行说明。
下面，概略地说明控制器3决定对各节目分配的目标比特率的操作。控制器3对各节目分别赋予一个变换式，作为编码难易度和目标比特率之间的对应关系式，用于将编码难易度变换为目标比特率，使用该变换式，计算各节目要求的暂定目标码率、即临时比特率。从而，使用各节目的临时比特率的合计、与规定的容许值例如整个线路容量之间的比率，计算实际对各节目分配的目标比特率，此时，根据已经取得的编码难易度数据，随时更新将各节目的编码难易度变换为目标比特率所用的变换式，以便使该节目的临时比特率的平均值逼近对该节目预先设定的目标比特率的平均值。对于编码难易度数据，总是将最新N页的编码难易度数据换算为单位时间的编码难易度，从而在各节目的GOP的相位未对齐的情况下，也能根据最新的状态来分配目标比特率。
下面，详细说明控制器3为了决定对各节目分配的目标比特率而对每个画面进行的3个步骤。下面的说明兼作为本实施例的图像编码控制方法的说明。在第1步骤中，控制器3对每个节目根据最新N页的数据来求出单位时间的编码难易度。这里，控制器3首先对所有节目求出编码难易度计算部42所求出的最新N页的编码难易度数据的合计∑Dik。然后，在节目Si将要对画面j进行编码时，将最新N页的编码难易度的平均值乘以画面速率Picture_Rate，从而根据下式(3)求出换算为1秒钟的编码难易度DAi。其中，∑表示对K=j～j+N-1求其总和。
DAi=(∑Dik×Picture_Rate)/N…(3)
这里，求出换算为单位时间(1秒)的编码难易度DAi的理由是，往往在进行2-3下拉(プルダウン)的节目等中1GOP所需的时间不同，或者各节目的GOP长度不同，只根据以GOP为单位的编码难易度的合计，不能决定目标比特率。
接着，在第2步骤中，控制器3对各节目使用将单位时间的编码难易度变换为目标比特率所用的变换式，决定各节目要求的临时比特率。这里，控制器3使用换算为单位时间(1秒)的编码难易度DAi，来决定各节目的临时比特率Tmp_Rate。控制器3还把将编码难易度DAi变换为临时比特率Tmp_Rate所用的变换式更新为最新的变换式。
这里，为了也能将其用于DVD(Digital Video Disk，数字视盘)等的制作(authoring)所用的二遍(pass)编码中，编码难易度和比特率的关系如下所述，即，两者之比不是一定的比例关系，而是分配比特率，使其在编码难易度小的地方比比例关系多，在编码难易度大的地方比比例关系小，这可以提高人的主观画质评价结果。因此，在本实施例中，设定将编码难易度变换为目标比特率所用的变换式，使得编码难易度越大则目标比特率越大，而且，在编码难易度比其平均值大的规定范围内，与编码难易度和目标比特率成比例关系的情况相比，与相同的编码难易度对应的目标比特率变小，而在编码难易度比其平均值小的规定范围内，与编码难易度和目标比特率成比例关系的情况相比，与相同的编码难易度对应的目标比特率变大。
图4表示根据上述的思想、换算为单位时间的编码难易度DAi和分配的比特率之间关系的一个例子。在该图中，纵轴表示分配的比特率，横轴表示换算为单位时间的编码难易度DAi。如图4所示，在本实施例中，设定将编码难易度DAi变换为目标比特率(在本例中为临时比特率)Tmp_Ratei所用的变换式，使得编码难易度DAi越大则目标比特率Tmp_Ratei越大，而且，在编码难易度DAi比其平均值Avg_Difficulty大的规定范围内，符号90所示的编码难易度DAi和目标比特率Tmp_Ratei成比例关系的情况相比，与相同的编码难易度DAi对应的目标比特率Tmp_Ratei变小，而在编码难易度DAi比其平均值Avg_Difficulty小的规定范围内，与编码难易度DAi和目标比特率Tmp_Ratei成比例关系的情况相比，与相同编码难易度DAi对应的目标比特率Tmp_Ratei变大。图中，Max_Rate、Min_Rate和Avg_Rate分别是最大比特率、最小比特率、平均比特率。对各节目设定的平均比特率的合计不能超过线路(传输线路)容量Total_Rate。图中，Avg_Difficulty是编码的输入图像素材的平均编码难易度的估计值。之所以称为估计值，是因为在无限地持续进行编码的广播应用中，输入图像素材的编码难易度不明确，只能从过去的编码结果来估计。该Avg_Difficulty的更新方法将后述。
这样，在给定Max_Rate、Min_Rate、Avg_Rate和Avg_Difficulty时，编码难易度DAi、和对第i个节目分配的临时比特率Tmp_Ratei之间的关系如下所述，即，在图4所示的例子中，它是在编码难易度DAi为0时Tmp_Ratei为Min_Rate、而在编码难易度DAi为Avg_Difficulty时Tmp_Ratei为Avg_Rate这样的直线，而且，将比特率限制在不超过Max_Rate。即，根据下式(4)决定节目i的临时比特率Tmp_Ratei。
       Tmp_Ratei=mtn{Min_Rate+(Avg_Rate-Min_Rate)/
       Avg_Difficulty×DAi,Max_Rate}…(4)
其中，min{x,y}表示取x和y中小的一个。
这样，控制器3决定对所有节目分配的临时比特率Tmp_Rate。编码难易度和比特率之间的关系不是如图5中的A所示的直线关系，而是可以如图5中的B所示，由例如指数函数式的趋势变缓的关系式来定义，使得编码难易度越大则比特率越大，而且，在编码难易度比其平均值大的规定范围内，随着编码难易度变大，比特率变化相对于编码难易度变化的趋势变小。
接着，在步骤3中，控制器3决定所有节目的临时比特率之和，并使用其与整个线路容量之间的比率来决定各节目的目标比特率。此时，对各节目的目标比特率进行处理，使其不超过各自的最大比特率、最小比特率的限制。这里，控制器3首先根据下式(5)求出对所有节目求出的临时比特率Tmp_Rate1～Tmp_RateL的总和Sum_Tmp_Rate。其中，∑表示对k=1～L求其总和。
Sum_Tmp_Rate=∑Tmp_Ratek…(5)
接着，控制器3比较根据式(5)求出的临时比特率的总和Sum_Tmp_Rate与线路容量Total_Rate，检验该总和Sum_Tmp_Rate是否超过、或者远远小于线路容量Total_Rate，根据其结果决定实际的目标比特率Target_Rate。
在临时比特率的总和Sum_Tmp_Rate超过线路容量Total_Rate的情况下，由于各节目要求的比特率的合计超过线路容量，所以各节目的最终目标比特率Target_Rate必须小于临时比特率Tmp_Rate。因此，控制器3基本上根据下式(6)来决定各节目的目标比特率Target_Ratei。
Target_Ratei=Tmp_Ratei×(Total_Rate/Sum_Tmp_Rate)
      =nun{Min_Rate+(Avg_Rate-Min_Rate)/Avg_Difficulty×DAi,
      Max_Rate}×(Total_Rate/Sum_Tmp_Rate)…(6)
然而，在这样降低各节目的目标比特率的情况下，有可能出现小于对各节目设定的最小比特率Min_Rate的节目。因此，在存在目标比特率Target_Ratei小于最小比特率Min_Ratei的情况下，将该节目的目标比特率Target_Ratei的值作为最小比特率Min_Ratei，从线路容量Total_Rate中减去作为最小比特率Min_Ratei的节目的比特率，将其余的比特率分配给各节目。此时，不是最小比特率Min_Rate的节目i的目标比特率Target_Ratei由下式(7)表示。其中，∑Min_Ratek是对将目标比特率作为最小比特率的节目所求的总和，∑Tmp_Ratek表示作为最小比特率的节目的临时比特率的总和。
Target_Ratei=Tmp_Ratei×(Total_Rate-∑Min_Ratek)
             /(Sum_Tmp_Rate-∑Tmp_Ratek)…(7)
在控制器3根据式(7)分配比特率后、重新存在小于最小比特率Min_Rate的节目的情况下，将该节目的比特率的值作为最小比特率，对其余的节目，根据式(7)决定目标比特率。
另一方面，在临时比特率的总和Sum_Tmp_Rate未超过线路容量Total_Rate的情况下，各节目要求的比特率的合计与线路容量相等或者小于线路容量。因此，由于未超过线路容量，所以未必需要修正。然而，为了有效地利用线路容量来实现更好的画质，有可能使各节目的目标比特率大于临时比特率。因此，在本实施例中，控制器3基本上根据式(6)来决定各节目的目标比特率Target_Ratei。在此情况下，可以得到值比临时比特率Tmp_Ratei大的目标比特率Target_Ratei。然而，在这样提高各节目的目标比特率的情况下，有可能出现超过对各节目设定的最大比特率Max_Rate的节目。因此，在存在根据式(6)决定的目标比特率Target_Ratei大于最大比特率Max_Ratei的节目的情况下，将该节目的比特率的值作为最大比特率Max_Ratei，从线路容量Total_Rate中减去作为最大比特率Max_Ratei的节目i的比特率，将其余的比特率分配给各节目。此时，不是最大比特率Max_Rate的节目i的目标比特率Target_Ratei由下式(8)来表示。其中，∑Max_Ratek是对将目标比特率作为最大比特率的节目所求的总和，∑Tmp_Ratek表示作为最大比特率的节目的临时比特率的总和。
Target_Ratei=Tmp_Ratei×(Total_Rate-∑Max_Ratek)
             /(Sum_Tmp_Rate-∑Tmp_Ratek)…(8)
在控制器3根据式(8)分配比特率后、重新存在超过最大比特率Max_Rate的节目的情况下，将该节目的比特率的值作为最大比特率Max_Ratei，对其余的节目，根据式(8)决定目标比特率。
在本实施例中，如前所述，将各节目的编码难易度变换为目标比特率所用的变换式(6)根据已经取得的编码难易度来随时更新，使得该节目的临时比特率的平均值逼近对该节目预先设定的平均比特率。因此，控制器3使用生成的编码难易度来更新平均编码难易度。这里，决定与各节目的编码难易度对应的比特率的关系式所用的参数是：作为初始值设定的Max_Rate、Min_Rate、Avg_Rate，和作为变量的Avg_Difficulty。例如像电影那样，在已经知道某个时间范围的图像的编码难易度的平均值的情况下可以使用该值，然而，通常不知道编码难易度的平均值。因此，例如以每个GOP一次的间隔，使用换算为1秒钟的编码难易度DAi，来更新编码的输入图像素材的平均编码难易度Avg_Difficulty。Avg_Difficulty的求法有许多种，例如对以前的Avg_Difficulty加权，取其与最新编码难易度DAi的平均。在此情况下，平均编码难易度Avg_Difficulty由下式(9)求出。
Avg_Difficulty={(w-1)×Avg_Difficulty′+DAi}/w…(9)
其中，Avg_Difficulty′是上次计算结果的平均编码难易度，w是加权系数，为充分大的整数值(例如256)。加权系数w的大小对应于编码难易度的平均值变动的时间常数，加权系数w的值越大，平均值的变动越小，然而由于逼近实际的编码难易度的平均值需要花时间，所以最好根据应用来设定加权系数w的大小。
Avg_Difficulty的初始值使用统计求出的值。例如，根据输入图像的编码条件(分辨率、有无下拉等)和输入图像素材的种类(电影、录像、体育、新闻等)，设定输入素材的假想的平均编码难易度的值。例如在图像素材的情况下，通过2-3下拉和帧DCT可以提高压缩效率，从而编码难易度的平均值一般远远小于录像素材，因此，Avg_Difficulty的初始值设定为小值。
这样，求出Avg_Difficulty后，更新计算临时比特率的式(4)。图6表示更新Avg_Difficulty时的编码难易度和比特率的对应关系的变化的一个例子。图中，C表示基于更新前的平均编码难易度E(Avg_Difficulty′)的对应关系，D表示基于更新后的平均编码难易度F的对应关系。如图6所示，更新编码难易度后，对由编码难易度求出临时比特率的变换式也进行若干变更，结果，将其修正为能够在整个目标码量的范围内进行编码。例如，在图6所示的例子中，最新编码难易度远远超过平均值Avg_Difficulty，因此，对其进行更新，使得Avg_Difficulty变大，其结果是变换式的趋势变缓。
下面，说明图1所示的统计复用系统1的操作。在该统计复用系统1中，节目Si分别由图像编码装置2i来编码。各图像编码装置2i分别将各节目Si的表示要编码的图像的编码难易度的编码难易度Di输出到控制器3。控制器3使用统计复用的方法，根据输入的编码难易度Di，分别决定作为各节目Si的单位时间的目标发生码量、即目标码率的目标比特率Target_Ratei，对各图像编码装置2i进行设定。图像编码装置2i根据设定的目标比特率Target_Ratei，对节目Si分别进行压缩编码，将压缩编码数据Sti输出到复用装置4。复用装置4对输入的各压缩编码数据Sti进行复用，并生成输出图像数据Sm，输出到传输线路。
下面，说明图2所示的图像编码装置2i的操作。首先，节目Si被输入到图像编码装置2i的编码器控制部11。在编码器控制部11中，首先，图像排序电路21根据编码的顺序对画面(I画面、P画面、B画面)的顺序进行排序，接着，扫描变换兼宏块化电路22判别是帧结构还是场结构，并根据判别结果进行扫描变换和宏块化，接着，在I画面的情况下，统计量计算电路23计算帧间AC，将统计量数据Sai送到编码控制部15的编码难易度计算部42。扫描变换兼宏块化电路22的输出数据经过统计量计算电路23，送到FIFO存储器12和运动检测电路14。
FIFO存储器12对输入的图像数据进行延迟，并输出到编码器13，该延迟的时间等于在编码难易度计算部42中、计算编码结束的画面之后的N页画面的编码难易度所需的时间。运动检测电路14检测运动向量并送到运动补偿电路39，同时将ME残差数据Szi送到编码控制部15的ME残差计算部41。
在I画面的情况下，在编码器13中，不在减法电路31中取其与预测图像数据之间的差分，将FIF0存储器12的输出数据直接输入到DCT电路32来进行DCT，量化电路33对DCT系数进行量化，可变长编码电路34对量化电路33的输出数据进行可变长编码，缓冲存储器34临时保持可变长编码电路34的输出数据，作为由比特率构成的压缩编码数据Sti输出。逆量化电路36对量化电路33的输出数据进行逆量化，逆DCT电路37对逆量化电路36的输出数据进行逆DCT，将逆DCT电路37的输出图像数据通过加法电路38输入到运动补偿电路39进行保持。
在P画面的情况下，在编码器13中，运动补偿电路39根据保持的与过去的I画面或者P画面对应的图像数据、和来自运动检测电路14的运动向量，来生成预测图像数据，将预测图像数据输出到减法电路31和加法电路38。加法电路31取FIFO存储器12的输出数据和来自运动补偿电路39的预测图像数据之间的差分，DCT电路32进行DCT，量化电路33对DCT系数进行量化，可变长编码电路34对量化电路33的输出数据进行可变长编码，缓冲存储器35临时保持可变长编码电路34的输出数据，并作为压缩编码数据Sti进行输出。逆量化电路36对量化电路33的输出数据进行逆量化，逆DCT电路37对逆量化电路36的输出数据进行逆DCT，加法电路38将逆DCT电路37的输出数据和预测图像数据相加，输入到运动补偿电路39进行保持。
在B画面的情况下，在编码器13中，运动补偿电路39根据保持的与过去和未来的I画面或者P画面对应的2个图像数据、和来自运动检测电路14的2个运动向量，来生成预测图像数据，将预测图像数据输出到减法电路31和加法电路38。减法电路31取FIFO存储器12的输出数据和来自运动补偿电路39的预测图像数据之间的差分，DCT电路32进行DCT，量化电路33对DCT系数进行量化，可变长编码电路34对量化电路33的输出数据进行可变长编码，缓冲存储器35临时保持可变长编码电路34的输出数据，并作为压缩编码数据Sti进行输出。其中，B画面不保持在运动补偿电路39中。
下面，参照图7至图9的流程图，说明图像编码装置2的编码控制部15和控制器3的操作。在该操作中，首先，控制器3进行全部线路容量Total_Rate的设定(步骤S101)。接着，控制器3对全部节目设定最大比特率Max_Rate、最小比特率Min_Rate、平均比特率Avg_Rate、分辨率、下拉等编码条件(步骤S102)。根据该编码条件，控制器3对全部节目设定平均编码难易度Avg_Difficulty的初始值(步骤S103)。接着，开始每帧的处理。即，首先，编码控制部15的编码难易度计算部42对全部节目，根据ME残差等，求出、存储画面j+N-l的编码难易度Di(步骤S104)。接着，控制器3对全部节目，根据编码难易度计算部42求出的最新N页的编码难易度，根据式(3)，求出换算为单位时间(1秒)的编码难易度DAi(步骤S105)。接着，控制器3使用该编码难易度DAi，根据式(4)，决定各节目的临时比特率Tmp_Rate(步骤S106)。接着，控制器3根据式(5)求出对所有节目求出的临时比特率Tmp_Rate1～Tmp_RateL的总和Sum_Tmp_Rate(步骤S107)。
接着，控制器3判断临时比特率的总和Sum_Tmp_Rate是否超过线路容量Total_Rate(步骤S108)。在临时比特率的总和Sum_Tmp_Rate超过线路容量Total_Rate的情况下(步骤S108；Y)，修正临时比特率Tmp_Rate，决定各节目的目标比特率Target_Rate。具体地说，首先，根据式(6)，对各节目计算目标比特率Target_Rate(步骤S109)。接着，判断是否存在小于最小比特率Min_Rate的节目(步骤S110)。在存在小于最小比特率Min_Rate的节目的情况下(步骤S110；Y)，将该节目的比特率的值设定为最小比特率Min_Rate(步骤S111)。接着，控制器3返回步骤S109，根据式(7)求出不是最小比特率Min_Rate的节目的比特率Target_Ratei，并将其分配给这些节目(步骤S109)。而在不存在小于最小比特率Mim_Rate的节目的情况下(步骤S110；N)，控制器3对所有图像编码装置2i的量化指数决定部45设定目标比特率Target_Ratei(步骤S115)。
另一方面，在临时比特率的总和Sum_Tmp_Rate未超过线路容量Total_Rate的情况下(步骤S108；N)，也修正临时比特率Tmp_Rate，决定各节目的目标比特率Target_Rate。具体地说，首先，根据式(6)，计算各节目的目标比特率Target_Rate(步骤S112)。接着，判断是否存在超过最大比特率Max_Rate的节目(步骤S113)。在存在超过最大比特率Max_Rate的节目的情况下(步骤S113；Y)，将该节目的比特率的值设定为最大比特率Max_Rate(步骤S114)。接着，控制器3返回步骤S112，根据式(8)求出不是最大比特率Max_Rate的节目的目标比特率Target_Ratej，并将其分配给这些节目(步骤S112)。而在不存在超过最大比特率Max_Rate的节目的情况下(步骤S113；N)，控制器3对所有图像编码装置2i的量化指数决定部45设定目标比特率Target_Ratei(步骤S115)。
接着，量化指数决定部45决定与量化电路33中的量化特性值对应的量化指数，使其成为控制器3设定的目标比特率Target_Ratei，并送到量化电路33。与此相应，进行画面j的编码(步骤S116)。其中，画面j表示将要编码的画面。
画面j的编码结束后，为了进行下一个画面的处理，将j+1作为新的j(步骤S117)，仅对画面j是GOP的最后一帧的节目，使用生成的编码难易度，根据式(9)更新平均编码难易度Avg_Difficulty(步骤S118)。
接着，判断画面j的编码是否结束(步骤S119)，在接续编码的情况下(步骤S119；N)，返回步骤S104，而在编码结束的情况下(步骤S119；Y)，结束图7至图9所示的操作。
如上所述，根据本实施例，根据对每个节目设定的编码难易度和目标比特率之间的对应关系，对每个节目计算与编码难易度对应的临时比特率，根据临时比特率的合计和整个线路容量之间的比率求出目标比特率，在其超过各节目的最大或者最小比特率的限制的情况下，通过最大或者最小比特率来限制该目标比特率，从临时比特率的合计中减去由最小或者最大比特率所限制的比特率，将其余的比特率分配给各节目，因此，可以实现最适合人的主观感受的图案，同时，可以分配数字广播电台工作所需的、与平均比特率、最大或者最小比特率的设定对应的目标比特率。
在本实施例中，按每个GOP来更新平均编码难易度的估计值，也变更根据编码难易度求出目标比特率所用的变换式，因此，可以始终接续最佳的目标比特率分配。
此外，在本实施例中，作为计算目标比特率使用的数据，始终是将最新的N页的编码难易度数据换算为单位时间的编码难易度来求出目标比特率的，所以，即使各节目的GOP的相位未对齐，也可以根据最新的状态来进行最佳目标比特率的分配。
下面，参照图7、图8和图10，说明下述情况下的本实施例的变形例，即，使用的图像编码装置使用TM5等规定的以GOP为单位的速率控制，目标比特率的变更以GOP为单位来限制的情况。其中，对与上述实施例相同的构成部分附以相同的符号，并省略其说明。图8所示的分支点②以前的操作(图7、图8)与上述实施例相同。
在目标比特率的变更以GOP为单位来限制的情况下，如果所有的节目中的GOP的相位是对齐的，则可以一齐变更目标比特率，然而，实际上由于混有进行2-3下拉的节目等，所以GOP的相位有偏差。在这种情况下，为了不超过线路容量，需要设法对降低目标比特率的节目优先。
在本变形例中，在以帧为单位、对全部节目决定不超过最小或者最大比特率的目标比特率(步骤S110；N、步骤S113；N)之前的步骤，与上述实施例相同。在本变形例中，在决定目标比特率Targe_Ratei后，由于在L个节目中，存在在GOP的转换点处目标比特率能够变更的节目、和不能变更的节目，所以首先根据下式(10)求出对目标比特率能够变更的节目能够分配的比特率的容量Available_Rate(步骤S120)。其中，∑Target_Ratek表示在GOP的转换点处目标比特率不能变更的节目的目标比特率的总和。
Available_Rate=Total_Rate-∑Target_Ratek…(10)
接着，对目标比特率能够变更的节目，判断目标比特率Target_Rate的总和是否超过Available_Rate(步骤S121)。在目标比特率Target_Rate的总和未超过Available_Rate的情况下(步骤S121；N)，由于将该目标比特率Target_Rate直接设定也不会超过线路容量，所以对目标比特率能够变更的节目的图像编码装置2i的编码控制部15的量化指数决定部45设定该目标比特率Target_Rate(步骤S122)。此时，线路容量多余了，可将其用于提高图案复杂的节目的比特率。
另一方面，在目标比特率Target_Rate的总和超过Available_Rate的情况下(步骤S121；Y)，如不加变更就会超过线路容量，所以对于比特率能够变更的节目，根据下式(11)降低目标比特率Target_Rate，使其不超过Available_Rate，决定新的目标比特率Target_Ratei′(步骤S123)。其中，∑Target_Ratek表示目标比特率能够变更的节目的目标比特率Target_Rate的总和。
Target_Ratei′=Target_Ratei×(Available_Rate/∑Target_Ratek)…(11)
接着，判断是否存在新决定的目标比特率Target_Ratei′小于最小比特率Min_Rate的节目(步骤S124)。在存在小于最小比特率Min_Rate的节目的情况下(步骤S124；Y)，将该节目的比特率的值作为最小比特率Min_Rate(步骤S125)，返回步骤S123，根据式(11)对这些节目分配不是最小比特率Min_Rate的节目的比特率(步骤S123)。而在不存在低于最小比特率Min_Rate的节目的情况下(步骤S124；N)，控制器3对目标比特率能够变更的节目的图像编码装置2i的编码控制部15的量化指数决定部45设定该目标比特率Target_Rate(步骤S122)。目标比特率Target_Ratei′设定后的步骤S126至步骤S129与图8中的步骤S116至步骤S119相同。
根据本变形例，仅能以GOP为单位变更目标比特率，即使在其相位有偏差的情况下，也是对在GOP的转换点处能够变更目标比特率的节目，进行与各节目的最新编码难易度和最大或者最小比特率的设定对应的目标比特率的分配，使其不超过能够变更的节目的容量，所以始终不会超过线路容量，可以大幅度提高反映人的视觉特性的主观画质。
图11是本变形例中对各节目分配目标比特率的操作的一个例子的说明图。在该图中，纵轴表示分配给各节目的目标比特率，横轴表示时间。总比特率设为10Mbps(megabits per second，兆比特每秒)。
在图11所示的例子中，对于3个节目A～C，根据上述变形例来分配目标比特率。图中，#1、#2、…表示GOP的序号。图中括号内的数字表示式11中的目标比特率Target_Ratei，括号左侧的数字表示图11中的目标比特率Target_Ratei′。比特率的单位为Mbps。图中，t1表示节目A的GOP#1和节目C的GOP#1的开始时刻，t2表示节目B的GOP#2的开始时刻，t3表示节目C的GOP#2的开始时刻，t4表示节目A的GOP#2的开始时刻，t5表示节目B的GOP#3的开始时刻，t6表示节目C的GOP#3的开始时刻，t7表示节目A的GOP#3的开始时刻。
在本例中，在节目B的GOP#2的开始时刻t2，目标比特率能够变更的节目B的目标比特率Target_Ratei为4Mbps。而在时刻t2，对目标比特率能够变更的节目B能够分配的比特率的容量Available_Rate为2Mbps。因此，根据式(11)，节目B的新的目标比特率Target_Ratei′设定为4×(2/4)，即2Mbps。
本发明不限于上述实施例。例如，每个节目的编码难易度和目标比特率的对应关系不限于实施例中举出的例子，可以适当设定。修正临时比特率并求出最终的目标比特率的方法也可以适当设定。
如上所述，根据本发明，使用对每个节目数据设定的编码难易度和目标码率之间的对应关系，决定与取得的每个节目的编码难易度对应的每个节目数据的暂定目标码率，修正暂定的目标码率并决定最终的每个节目数据的目标码率，使得每个节目数据的目标码率的总和限制在规定的容许值内，因此，能够使用统计复用的方法，不超过规定的容许值，实现最适合人的主观感受的图案，同时，能够对每个节目数据，分配与例如目标码率的最大值、最小值和平均值的设定对应的、适合每个节目数据的目标码率。
根据本发明，能够对每个节目数据分配与预定的目标码率的平均值的设定对应的目标码率，从而，能够根据预算进行正确的收费。
根据本发明，在编码部件能够以多页图像为单位变更目标码率的情况下，决定各图像单位的暂定的目标码率，仅对目标码率能够变更的编码部件，修正暂定的目标码率并决定最终的目标码率，使得每个节目数据的目标码率的总和限制在规定的容许值内，所以，在只能以多页图像为单位变更目标码率的情况下，也能够不超过规定的容许值，实现最适合人的主观感受的图案，同时，能够对每个节目数据分配与平均码率、最小码率、最大码率的设定对应的目标码率。
当然，根据以上的说明，可以实施本发明的各种形态和变形例。因此，在所附权利要求的等效的范围内，可以以上述详细说明的形态以外的形态来实施本发明。

Claims (53)

1、一种图像编码控制装置，用于包括多个编码部件、和复用部件的系统中，对各编码部件设定作为单位时间的目标发生码量的目标码率，并控制各编码部件，该多个编码部件分别对包含图像数据的多个节目数据进行编码，该复用部件对各编码部件的输出数据进行复用，其特征在于，该图像编码控制装置包括：
暂定目标码率决定部件，对每个节目数据取得表示编码的难易度的编码难易度，使用对每个节目数据设定的编码难易度和目标码率之间的对应关系，决定与取得的每个节目数据的编码难易度对应的每个节目数据的暂定目标码率；
修正部件，修正由所述暂定目标码率决定部件所决定的暂定目标码率，决定最终的每个节目数据的目标码率，使得每个节目数据的目标码率的总和限制在规定的容许值内，并对各编码部件设定该最终的目标码率。
2、如权利要求1所述的图像编码控制装置，其特征在于，所述暂定目标码率决定部件所使用的编码难易度和目标码率之间的对应关系，是根据对每个节目数据预定的目标码率的最大值、最小值和平均值以及每个节目数据的编码难易度的平均值来设定的。
3、如权利要求1所述的图像编码控制装置，其特征在于，所述暂定目标码率决定部件所使用的编码难易度和目标码率之间的对应关系是如下设定的，即，编码难易度越大，则目标码率越大，而且，在编码难易度比其平均值大的规定的范围内，与编码难易度和目标码率成比例关系的情况相比，与相同的编码难易度对应的目标码率变小，而在编码难易度比其平均值小的规定的范围内，与编码难易度和目标码率成比例关系的情况相比，与相同的编码难易度对应的目标码率变大。
4、如权利要求1所述的图像编码控制装置，其特征在于，所述暂定目标码率决定部件所使用的编码难易度和目标码率之间的对应关系是如下设定的，即，编码难易度越大，则目标码率越大，而且，在编码难易度比其平均值大的规定的范围内，随着编码难易度变大，与编码难易度的变化对应的目标码率的变化的趋势变小。
5、如权利要求1所述的图像编码控制装置，其特征在于，所述暂定目标码率决定部件根据已经取得的编码难易度，随时更新编码难易度和目标码率之间的对应关系，使得由该暂定目标码率决定部件所决定的暂定目标码率的平均值逼近预定的目标码率的平均值。
6、如权利要求1所述的图像编码控制装置，其特征在于，所述目标码率修正部件在决定最终的每个节目数据的目标码率的过程中，将每个节目数据的暂定目标码率的总和与所述容许值之间的比率乘以每个节目数据的暂定目标码率。
7、如权利要求6所述的图像编码控制装置，其特征在于，所述目标码率修正部件修正暂定目标码率，并决定最终的目标码率，使得对于将所述比率乘以每个节目数据的暂定目标码率所得的值超过对每个节目数据预定的目标码率的最大值或者最小值的节目数据，将所述最大值或者最小值决定为最终的目标码率，而对于其余节目数据，使得其余的节目数据的目标码率的总和限制在从所述容许值中减去已经决定的目标码率所得的值内。
8、如权利要求1所述的图像编码控制装置，其特征在于，各编码部件分别是能够以多页图像为单位变更目标码率的部件；
所述暂定目标码率决定部件以各图像为单位决定暂定目标码率；
所述目标码率修正部件仅对目标码率能够变更的编码部件，修正由所述暂定目标码率决定部件所决定的暂定目标码率，并决定最终的目标码率，使得每个节目数据的目标码率的总和限制在规定的容许值内，并对编码部件设定该最终的目标码率。
9、如权利要求8所述的图像编码控制装置，其特征在于，所述目标码率修正部件修正目标码率能够变更的编码部件的暂定目标码率，并决定最终的目标码率，使得在目标码率能够变更的编码部件的暂定目标码率的总和小于对目标码率能够变更的编码部件能够分配的码率的情况下，对目标码率能够变更的编码部件，直接将暂定目标码率决定为最终的目标码率，而在目标码率能够变更的编码部件的暂定目标码率的总和超过对目标码率能够变更的编码部件能够分配的码率的情况下，目标码率能够变更的编码部件的最终的目标码率的总和被限制在对目标码率能够变更的编码部件能够分配的码率内。
10、一种图像编码控制方法，用于包括多个编码部件、和复用部件的系统中，对各编码部件设定作为单位时间的目标发生码量的目标码率，并控制各编码部件，该多个编码部件分别对包含图像数据的多个节目数据进行编码，该复用部件对各编码部件的输出数据进行复用，其特征在于，该图像编码控制方法包括：
暂定目标码率决定步骤，对每个节目数据取得表示编码的难易度的编码难易度，使用对每个节目数据设定的编码难易度和目标码率之间的对应关系，决定与取得的每个节目数据的编码难易度对应的每个节目数据的暂定目标码率；
修正步骤，修正由所述暂定目标码率决定步骤所决定的暂定目标码率，决定最终的每个节目数据的目标码率，使得每个节目数据的目标码率的总和限制在规定的容许值内，并对各编码部件设定该最终的目标码率。
11、如权利要求10所述的图像编码控制方法，其特征在于，所述暂定目标码率决定步骤所使用的编码难易度和目标码率之间的对应关系，是根据对每个节目数据预定的目标码率的最大值、最小值和平均值以及每个节目数据的编码难易度的平均值来设定的。
12、如权利要求10所述的图像编码控制方法，其特征在于，所述暂定目标码率决定步骤所使用的编码难易度和目标码率之间的对应关系是如下设定的，即，编码难易度越大，则目标码率越大，而且，在编码难易度比其平均值大的规定的范围内，与编码难易度和目标码率成比例关系的情况相比，与相同的编码难易度对应的目标码率变小，而在编码难易度比其平均值小的规定的范围内，与编码难易度和目标码率成比例关系的情况相比，与相同的编码难易度对应的目标码率变大。
13、如权利要求10所述的图像编码控制方法，其特征在于，所述暂定目标码率决定步骤所使用的编码难易度和目标码率之间的对应关系是如下设定的，即，编码难易度越大，则目标码率越大，而且，在编码难易度比其平均值大的规定的范围内，随着编码难易度变大，与编码难易度的变化对应的目标码率的变化的趋势变小。
14、如权利要求10所述的图像编码控制方法，其特征在于，所述暂定目标码率决定步骤根据已经取得的编码难易度，随时更新编码难易度和目标码率之间的对应关系，使得由该暂定目标码率决定步骤所决定的暂定目标码率的平均值逼近预定的目标码率的平均值。
15、如权利要求10所述的图像编码控制方法，其特征在于，所述目标码率修正步骤在决定最终的每个节目数据的目标码率的过程中，将每个节目数据的暂定目标码率的总和与所述容许值之间的比率乘以每个节目数据的暂定目标码率。
16、如权利要求15所述的图像编码控制方法，其特征在于，所述目标码率修正步骤修正暂定目标码率，并决定最终的目标码率，使得对于将所述比率乘以每个节目数据的暂定目标码率所得的值超过对每个节目数据预定的目标码率的最大值或者最小值的节目数据，将所述最大值或者最小值决定为最终的目标码率，而对于其余节目数据，使得其余的节目数据的目标码率的总和限制在从所述容许值中减去已经决定的目标码率所得的值内。
17、如权利要求10所述的图像编码控制方法，其特征在于，各编码部件分别是能够以多页图像为单位变更目标码率的部件；
所述暂定目标码率决定步骤以各图像为单位决定暂定目标码率；
所述目标码率修正步骤仅对目标码率能够变更的编码部件，修正由所述暂定目标码率决定步骤所决定的暂定目标码率，并决定最终的目标码率，使得每个节目数据的目标码率的总和限制在规定的容许值内，并对编码部件设定该最终的目标码率。
18、如权利要求17所述的图像编码控制方法，其特征在于，所述目标码率修正步骤修正目标码率能够变更的编码部件的暂定目标码率，并决定最终的目标码率，使得在目标码率能够变更的编码部件的暂定目标码率的总和小于对目标码率能够变更的编码部件能够分配的码率的情况下，对目标码率能够变更的编码部件，直接将暂定目标码率决定为最终的目标码率，而在目标码率能够变更的编码部件的暂定目标码率的总和超过对目标码率能够变更的编码部件能够分配的码率的情况下，目标码率能够变更的编码部件的最终的目标码率的总和被限制在对目标码率能够变更的编码部件能够分配的码率内。
19、一种编码系统，对分别包含图像数据的多个节目数据进行编码，对编码数据进行复用，其特征在于，该编码系统包括：
多个编码难易度检测部件，对每个节目数据，检测对所述各节目数据中包含的图像数据进行编码时的、表示编码的难易度的编码难易度；
多个编码部件，根据分别供给的、作为单位时间的目标发生码量的目标码率，对所述各节目数据中包含的图像数据进行编码；
复用部件，对各编码部件所编码的数据进行复用；
控制部件，根据对每个节目数据独立设定的、由所述编码难易度来计算所述目标码率所用的计算式，由所述各编码难易度检测部件所检测的编码难易度来计算每个节目数据的目标码率，将计算的目标码率供给所述各编码部件。
20、如权利要求19所述的编码系统，其特征在于，所述计算式是根据每个节目数据的编码难易度的平均值来决定的。
21、如权利要求20所述的编码系统，其特征在于，所述编码难易度的平均值根据编码的结果来更新。
22、如权利要求19所述的编码系统，其特征在于，所述计算式对每个节目数据规定了目标码率的最大值和最小值。
23、一种编码系统，对分别包含图像数据的多个节目数据进行编码，对编码数据进行复用，其特征在于，该编码系统包括：
多个编码难易度检测部件，对每个节目数据，检测对所述各节目数据中包含的图像数据进行编码时的、表示编码的难易度的编码难易度；
多个编码部件，根据分别供给的、作为单位时间的目标发生码量的目标码率，对所述各节目数据中包含的图像数据进行编码；
复用部件，对各编码部件所编码的数据进行复用；
控制部件，根据对每个节目数据预定的目标码率的平均值决定、对每个节目数据独立设定由所述编码难易度来计算所述目标码率所用的计算式，根据该计算式，由所述各编码难易度检测部件所检测的编码难易度来计算每个节目数据的目标码率，将计算的目标码率供给所述各编码部件。
24、如权利要求23所述的编码系统，其特征在于，所述计算式是根据每个节目数据的编码难易度的平均值来决定的。
25、如权利要求24所述的编码系统，其特征在于，所述编码难易度的平均值根据编码的结果来更新。
26、如权利要求23所述的编码系统，其特征在于，所述计算式对每个节目数据规定了目标码率的最大值和最小值。
27、一种编码系统，对分别包含图像数据的多个节目数据进行编码，对编码数据进行复用，其特征在于，该编码系统包括：
多个编码难易度检测部件，对每个节目数据，检测对所述各节目数据中包含的图像数据进行编码时的、表示编码的难易度的编码难易度；
多个编码部件，根据分别供给的、作为单位时间的目标发生码量的目标码率，对所述各节目数据中包含的图像数据进行编码；
复用部件，对各编码部件所编码的数据进行复用；
控制部件，对每个节目数据，由所述各编码难易度检测部件所检测的编码难易度来计算每个节目数据的临时目标码率，由所述临时目标码率来计算每个节目的目标码率，使得对每个节目数据计算的临时目标码率的总和限制在规定的容许范围内，将计算的目标码率供给所述各编码部件。
28、如权利要求27所述的编码系统，其特征在于，所述控制部件根据对每个节目数据独立设定的、由所述编码难易度来计算所述临时目标码率所用的计算式，由所述各编码难易度检测部件所检测的编码难易度来计算每个节目数据的所述临时目标码率。
29、如权利要求28所述的编码系统，其特征在于，所述计算式是根据对每个节目数据预定的目标码率的平均值来决定的。
30、如权利要求28所述的编码系统，其特征在于，所述计算式是根据每个节目数据的编码难易度的平均值来决定的。
31、如权利要求30所述的编码系统，其特征在于，所述编码难易度的平均值根据编码的结果来更新。
32、如权利要求28所述的编码系统，其特征在于，所述计算式对每个节目数据规定目标码率的最大值和最小值。
33、一种编码系统，对分别包含图像数据的多个节目数据进行编码，对编码数据进行复用，其特征在于，该编码系统包括：
多个编码难易度检测部件，对每个节目数据，检测对所述各节目数据中包含的图像数据进行编码时的、表示编码的难易度的编码难易度；
多个编码部件，根据分别供给的、作为单位时间的目标发生码量的目标码率，对所述各节目数据中包含的图像数据进行编码；
复用部件，对各编码部件所编码的数据进行复用；
控制部件，对每个节目数据，与其他节目数据的编码难易度无关，由所述各编码难易度检测部件所检测的编码难易度来计算每个节目数据的临时目标码率，由所述临时目标码率来计算每个节目的目标码率，使得对每个节目数据计算的临时目标码率的总和限制在规定的容许范围内，将计算的目标码率供给所述各编码部件。
34、如权利要求33所述的编码系统，其特征在于，所述控制部件根据对每个节目数据独立设定的、由所述编码难易度来计算所述临时目标码率所用的计算式，由所述各编码难易度检测部件所检测的编码难易度来计算每个节目数据的所述临时目标码率。
35、如权利要求34所述的编码系统，其特征在于，所述计算式是根据对每个节目数据预定的目标码率的平均值来决定的。
36、如权利要求34所述的编码系统，其特征在于，所述计算式是根据每个节目数据的编码难易度的平均值来决定的。
37、如权利要求36所述的编码系统，其特征在于，所述编码难易度的平均值根据编码的结果来更新。
38、如权利要求34所述的编码系统，其特征在于，所述计算式对每个节目数据规定了目标码率的最大值和最小值。
39、一种编码系统，对分别包含图像数据的多个节目数据进行编码，对编码数据进行复用，其特征在于，该编码系统包括：
多个编码难易度检测部件，对每个节目数据，检测对所述各节目数据中包含的图像数据进行编码时的、表示编码的难易度的编码难易度；
多个编码部件，根据分别供给的、作为单位时间的目标发生码量的目标码率，对所述各节目数据中包含的图像数据进行编码；
复用部件，对各编码部件所编码的数据进行复用；
控制部件，对每个节目数据独立设定由所述编码难易度来计算临时目标码率所用的计算式，该计算式不受其他节目数据的编码难易度的影响，根据该计算式，由所述各编码难易度检测部件所检测的编码难易度来计算每个节目数据的临时目标码率，由所述临时目标码率来计算每个节目的目标码率，使得对每个节目数据计算的临时目标码率的总和限制在规定的容许范围内，将计算的目标码率供给所述各编码部件。
40、如权利要求39所述的编码系统，其特征在于，所述计算式是根据对每个节目数据预定的目标码率的平均值来决定的。
41、如权利要求39所述的编码系统，其特征在于，所述计算式是根据每个节目数据的编码难易度的平均值来决定的。
42、如权利要求41所述的编码系统，其特征在于，所述编码难易度的平均值根据编码的结果来更新。
43、如权利要求39所述的编码系统，其特征在于，所述计算式对每个节目数据规定了目标码率的最大值和最小值。
44、一种传输系统，对分别包含图像数据的多个节目数据进行编码，对编码数据进行复用，并作为传输数据进行输出，其特征在于，该传输系统包括：
多个编码难易度检测部件，对每个节目数据，检测对所述各节目数据中包含的图像数据进行编码时的、表示编码的难易度的编码难易度；
多个编码部件，根据分别供给的、作为单位时间的目标发生码量的目标码率，对所述各节目数据中包含的图像数据进行编码；
复用部件，对各编码部件所编码的数据进行复用，并作为传输数据进行输出：
控制部件，根据对每个节目数据独立设定的、由所述编码难易度来计算所述目标码率所用的计算式，由所述各编码难易度检测部件所检测的编码难易度来计算每个节目数据的目标码率，将计算的目标码率供给所述各编码部件。
45、一种传输系统，对分别包含图像数据的多个节目数据进行编码，对编码数据进行复用，并作为传输数据进行输出，其特征在于，该传输系统包括：
多个编码难易度检测部件，对每个节目数据，检测对所述各节目数据中包含的图像数据进行编码时的、表示编码的难易度的编码难易度；
多个编码部件，根据分别供给的、作为单位时间的目标发生码量的目标码率，对所述各节目数据中包含的图像数据进行编码；
复用部件，对各编码部件所编码的数据进行复用，并作为传输数据进行输出：
控制部件，根据对每个节目数据预定的目标码率的平均值决定、对每个节目数据独立设定由所述编码难易度来计算所述目标码率所用的计算式，根据该计算式，由所述各编码难易度检测部件所检测的编码难易度来计算每个节目数据的目标码率，将计算的目标码率供给所述各编码部件。
46、一种传输系统，对分别包含图像数据的多个节目数据进行编码，对编码数据进行复用，并作为传输数据进行输出，其特征在于，该传输系统包括：
多个编码难易度检测部件，对每个节目数据，检测对所述各节目数据中包含的图像数据进行编码时的、表示编码的难易度的编码难易度；
多个编码部件，根据分别供给的、作为单位时间的目标发生码量的目标码率，对所述各节目数据中包含的图像数据进行编码；
复用部件，对各编码部件所编码的数据进行复用，并作为传输数据进行输出；
控制部件，对每个节目数据，由所述各编码难易度检测部件所检测的编码难易度来计算每个节目数据的临时目标码率，由所述临时目标码率来计算每个节目的目标码率，使得对每个节目数据计算的临时目标码率的总和限制在规定的容许范围内，将计算的目标码率供给所述各编码部件。
47、一种传输系统，对分别包含图像数据的多个节目数据进行编码，对编码数据进行复用，并作为传输数据进行输出，其特征在于，该传输系统包括：
多个编码难易度检测部件，对每个节目数据，检测对所述各节目数据中包含的图像数据进行编码时的、表示编码的难易度的编码难易度；
多个编码部件，根据分别供给的、作为单位时间的目标发生码量的目标码率，对所述各节目数据中包含的图像数据进行编码；
复用部件，对各编码部件所编码的数据进行复用，并作为传输数据进行输出；
控制部件，对每个节目数据，与其他节目数据的编码难易度无关，由所述各编码难易度检测部件所检测的编码难易度来计算每个节目数据的临时目标码率，由所述临时目标码率来计算每个节目的目标码率，使得对每个节目数据计算的临时目标码率的总和限制在规定的容许范围内，将计算的目标码率供给所述各编码部件。
48、一种传输系统，对分别包含图像数据的多个节目数据进行编码，对编码数据进行复用，并作为传输数据进行输出，其特征在于，该传输系统包括：
多个编码难易度检测部件，对每个节目数据，检测对所述各节目数据中包含的图像数据进行编码时的、表示编码的难易度的编码难易度；
多个编码部件，根据分别供给的、作为单位时间的目标发生码量的目标码率，对所述各节目数据中包含的图像数据进行编码；
复用部件，对各编码部件所编码的数据进行复用，并作为传输数据进行输出；
控制部件，对每个节目数据独立设定由所述编码难易度来计算临时目标码率所用的计算式，该计算式不受其他节目数据的编码难易度的影响，根据该计算式，由所述各编码难易度检测部件所检测的编码难易度来计算每个节目数据的临时目标码率，由所述临时目标码率来计算每个节目的目标码率，使得对每个节目数据计算的临时目标码率的总和限制在规定的容许范围内，将计算的目标码率供给所述各编码部件。
49、一种广播系统，对分别包含图像数据的多个节目数据进行编码，对编码数据进行复用，并作为广播数据进行发送，其特征在于，该广播系统包括：
多个编码难易度检测部件，对每个节目数据，检测对所述各节目数据中包含的图像数据进行编码时的、表示编码的难易度的编码难易度；
多个编码部件，根据分别供给的、作为单位时间的目标发生码量的目标码率，对所述各节目数据中包含的图像数据进行编码；
复用部件，对各编码部件所编码的数据进行复用，并作为广播数据进行输出；
控制部件，根据对每个节目数据独立设定的、由所述编码难易度来计算所述目标码率所用的计算式，由所述各编码难易度检测部件所检测的编码难易度来计算每个节目数据的目标码率，将计算的目标码率供给所述各编码部件。
50、一种广播系统，对分别包含图像数据的多个节目数据进行编码，对编码数据进行复用，并作为广播数据进行发送，其特征在于，该广播系统包括：
多个编码难易度检测部件，对每个节目数据，检测对所述各节目数据中包含的图像数据进行编码时的、表示编码的难易度的编码难易度；
多个编码部件，根据分别供给的、作为单位时间的目标发生码量的目标码率，对所述各节目数据中包含的图像数据进行编码；
复用部件，对各编码部件所编码的数据进行复用，并作为广播数据进行输出；
控制部件，根据对每个节目数据预定的目标码率的平均值决定、对每个节目数据独立设定由所述编码难易度来计算所述目标码率所用的计算式，根据该计算式，由所述各编码难易度检测部件所检测的编码难易度来计算每个节目数据的目标码率，将计算的目标码率供给所述各编码部件。
51、一种广播系统，对分别包含图像数据的多个节目数据进行编码，对编码数据进行复用，并作为广播数据进行发送，其特征在于，该广播系统包括：
多个编码难易度检测部件，对每个节目数据，检测对所述各节目数据中包含的图像数据进行编码时的、表示编码的难易度的编码难易度；
多个编码部件，根据分别供给的、作为单位时间的目标发生码量的目标码率，对所述各节目数据中包含的图像数据进行编码；
复用部件，对各编码部件所编码的数据进行复用，并作为广播数据进行输出；
控制部件，对每个节目数据，由所述各编码难易度检测部件所检测的编码难易度来计算每个节目数据的临时目标码率，由所述临时目标码率来计算每个节目的目标码率，使得对每个节目数据计算的临时目标码率的总和限制在规定的容许范围内，将计算的目标码率供给所述各编码部件。
52、一种广播系统，对分别包含图像数据的多个节目数据进行编码，对编码数据进行复用，并作为广播数据进行发送，其特征在于，该广播系统包括：
多个编码难易度检测部件，对每个节目数据，检测对所述各节目数据中包含的图像数据进行编码时的、表示编码的难易度的编码难易度；
多个编码部件，根据分别供给的、作为单位时间的目标发生码量的目标码率，对所述各节目数据中包含的图像数据进行编码；
复用部件，对各编码部件所编码的数据进行复用，并作为广播数据进行输出；
控制部件，对每个节目数据，与其他节目数据的编码难易度无关，由所述各编码难易度检测部件所检测的编码难易度来计算每个节目数据的临时目标码率，由所述临时目标码率来计算每个节目的目标码率，使得对每个节目数据计算的临时目标码率的总和限制在规定的容许范围内，将计算的目标码率供给所述各编码部件。
53、一种广播系统，对分别包含图像数据的多个节目数据进行编码，对编码数据进行复用，并作为广播数据进行发送，其特征在于，该广播系统包括：
多个编码难易度检测部件，对每个节目数据，检测对所述各节目数据中包含的图像数据进行编码时的、表示编码的难易度的编码难易度；
多个编码部件，根据分别供给的、作为单位时间的目标发生码量的目标码率，对所述各节目数据中包含的图像数据进行编码；
复用部件，对各编码部件所编码的数据进行复用，并作为广播数据进行输出；
控制部件，对每个节目数据独立设定由所述编码难易度来计算临时目标码率所用的计算式，该计算式不受其他节目数据的编码难易度的影响，根据该计算式，由所述各编码难易度检测部件所检测的编码难易度来计算每个节目数据的临时目标码率，由所述临时目标码率来计算每个节目的目标码率，使得对每个节目数据计算的临时目标码率的总和限制在规定的容许范围内，将计算的目标码率供给所述各编码部件。
CN98800903A 1997-07-01 1998-07-01 图像编码控制装置和方法、编码系统、传输系统及广播系统 Pending CN1231102A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP176155/97 1997-07-01
JP17615597 1997-07-01

Publications (1)

Publication Number Publication Date
CN1231102A true CN1231102A (zh) 1999-10-06

Family

ID=16008632

Family Applications (1)

Application Number Title Priority Date Filing Date
CN98800903A Pending CN1231102A (zh) 1997-07-01 1998-07-01 图像编码控制装置和方法、编码系统、传输系统及广播系统

Country Status (6)

Country Link
US (1) US7035334B2 (zh)
EP (1) EP0928115A4 (zh)
KR (1) KR20000068362A (zh)
CN (1) CN1231102A (zh)
CA (1) CA2264392A1 (zh)
WO (1) WO1999001987A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102724491A (zh) * 2012-06-15 2012-10-10 北京博雅华录视听技术研究院有限公司 基于并行编码的统计复用方法
CN104471955A (zh) * 2012-07-05 2015-03-25 摩托罗拉行动有限公司 用于自适应位速率流式传输的带宽分配的方法及装置
CN104967871A (zh) * 2015-07-01 2015-10-07 上海国茂数字技术有限公司 一种视频编码码流的统计复用系统及方法
CN105323578A (zh) * 2014-06-27 2016-02-10 北京数码视讯科技股份有限公司 统计复用方法及装置

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6859496B1 (en) 1998-05-29 2005-02-22 International Business Machines Corporation Adaptively encoding multiple streams of video data in parallel for multiplexing onto a constant bit rate channel
US7185353B2 (en) 2000-08-31 2007-02-27 Prime Research Alliance E., Inc. System and method for delivering statistically scheduled advertisements
US7653923B2 (en) 2000-02-18 2010-01-26 Prime Research Alliance E, Inc. Scheduling and presenting IPG ads in conjunction with programming ads in a television environment
US8151295B1 (en) 2000-08-31 2012-04-03 Prime Research Alliance E., Inc. Queue based advertisement scheduling and sales
US20020083441A1 (en) 2000-08-31 2002-06-27 Flickinger Gregory C. Advertisement filtering and storage for targeted advertisement systems
US20020083445A1 (en) 2000-08-31 2002-06-27 Flickinger Gregory C. Delivering targeted advertisements to the set-top-box
US7039932B2 (en) 2000-08-31 2006-05-02 Prime Research Alliance E., Inc. Queue-based head-end advertisement scheduling method and apparatus
US7068724B1 (en) 1999-10-20 2006-06-27 Prime Research Alliance E., Inc. Method and apparatus for inserting digital media advertisements into statistical multiplexed streams
US8180675B2 (en) 2000-08-31 2012-05-15 Prime Research Alliance E., Inc. System and method for automatically managing avail inventory data and avail pricing
DE60039861D1 (de) 1999-04-20 2008-09-25 Samsung Electronics Co Ltd Werbeverwaltungssystem für digitale videoströme
US20040148625A1 (en) 2000-04-20 2004-07-29 Eldering Charles A Advertisement management system for digital video streams
US7331057B2 (en) 2000-12-28 2008-02-12 Prime Research Alliance E, Inc. Grouping advertisement subavails
JP4539018B2 (ja) * 2003-03-04 2010-09-08 ソニー株式会社 送信制御装置および方法、記録媒体、並びにプログラム
US7844992B2 (en) * 2003-09-10 2010-11-30 Thomson Licensing Video on demand server system and method
JP2005151096A (ja) * 2003-11-14 2005-06-09 Pioneer Electronic Corp 多チャンネル統計多重システム
DE102007001379A1 (de) * 2007-01-09 2008-07-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Konzept zum Encodieren einer Mehrzahl von Informationssignalen für eine gemeinsame Übertragung in einem Zeitmultiplex
KR20110060181A (ko) * 2009-11-30 2011-06-08 한국전자통신연구원 무손실/준무손실 영상 압축 장치 및 방법
WO2013038582A1 (ja) * 2011-09-12 2013-03-21 日本電気株式会社 映像符号化システム、番組バンク装置および映像符号化方法
WO2015194395A1 (ja) * 2014-06-20 2015-12-23 ソニー株式会社 送信装置および送信方法、並びに受信装置および受信方法
GB2570324A (en) * 2018-01-19 2019-07-24 V Nova Int Ltd Multi-codec processing and rate control
US20230108722A1 (en) * 2021-10-01 2023-04-06 Microsoft Technology Licensing, Llc Allocating bit rate between video streams using machine learning

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5317397A (en) * 1991-05-31 1994-05-31 Kabushiki Kaisha Toshiba Predictive coding using spatial-temporal filtering and plural motion vectors
JPH0662393A (ja) * 1992-08-04 1994-03-04 G C Technol Kk 多重化した動画像符号化方法と装置
US5426463A (en) * 1993-02-22 1995-06-20 Rca Thomson Licensing Corporation Apparatus for controlling quantizing in a video signal compressor
JP3535548B2 (ja) * 1993-12-22 2004-06-07 日本放送協会 多チャネル画像信号符号化多重装置
JPH07264580A (ja) * 1994-03-17 1995-10-13 Toshiba Corp 映像信号伝送方法並びに映像信号送信装置及び映像信号受信装置
EP0756790B1 (en) * 1994-04-20 2004-03-17 Thomson Consumer Electronics, Inc. Asynchronous control signal generating apparatus
US5506844A (en) * 1994-05-20 1996-04-09 Compression Labs, Inc. Method for configuring a statistical multiplexer to dynamically allocate communication channel bandwidth
US5623424A (en) * 1995-05-08 1997-04-22 Kabushiki Kaisha Toshiba Rate-controlled digital video editing method and system which controls bit allocation of a video encoder by varying quantization levels

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102724491A (zh) * 2012-06-15 2012-10-10 北京博雅华录视听技术研究院有限公司 基于并行编码的统计复用方法
CN104471955A (zh) * 2012-07-05 2015-03-25 摩托罗拉行动有限公司 用于自适应位速率流式传输的带宽分配的方法及装置
CN104471955B (zh) * 2012-07-05 2017-08-11 谷歌科技控股有限责任公司 将视频内容提供到多个媒体装置的方法以及服务器
CN105323578A (zh) * 2014-06-27 2016-02-10 北京数码视讯科技股份有限公司 统计复用方法及装置
CN104967871A (zh) * 2015-07-01 2015-10-07 上海国茂数字技术有限公司 一种视频编码码流的统计复用系统及方法
CN104967871B (zh) * 2015-07-01 2018-06-26 上海国茂数字技术有限公司 一种视频编码码流的统计复用系统及方法

Also Published As

Publication number Publication date
KR20000068362A (ko) 2000-11-25
EP0928115A4 (en) 2005-09-14
WO1999001987A1 (en) 1999-01-14
CA2264392A1 (en) 1999-01-14
EP0928115A1 (en) 1999-07-07
US20040196907A1 (en) 2004-10-07
US7035334B2 (en) 2006-04-25

Similar Documents

Publication Publication Date Title
CN1231102A (zh) 图像编码控制装置和方法、编码系统、传输系统及广播系统
CN1315328C (zh) 在一统计式多工器中决定传输比特率的方法及装置
CN1177480C (zh) 编码系统中基于对象的速率控制装置和方法
CN1164123C (zh) 视频编码的量化方法和装置
CN1151685C (zh) 编码系统中用于优化速率控制的装置和方法
US6912255B2 (en) Bit rate control through selective modification of DCT coefficients
US8509556B2 (en) Image coding apparatus and image coding method to generate a targeted amount of code
CN1260980C (zh) 图像压缩/编码装置及其方法
CN1221139C (zh) 为压缩数字视频信号的帧分配比特长度的控制器和方法
CN1726709A (zh) 利用基于图像的超前查看窗口进行速率控制
CN1617590A (zh) 视频数据传输系统
CN1794815A (zh) 产生对图像或图像序列进行编码的量化矩阵的方法和设备
CN1941915A (zh) 视频编码方法及装置
CN1816151A (zh) 图框层速率控制的视讯编码方法和系统
CN101069432A (zh) 用于视频编码器速率控制的量化参数的确定
CN1315118A (zh) 压缩与未经压缩的数字视频信号的统计式多路转接的动态位分配
CN1627824A (zh) 位流控制的后处理过滤
CN1642282A (zh) 视频编码系统
CN1738423A (zh) 视频编码比特率的控制方法
CN1531823A (zh) 在视频多处理器系统中频道的处理模式的选择
CN1302419A (zh) 缩放压缩的图象
US8208536B2 (en) Method and apparatus for encoding using single pass rate controller
CN1636405A (zh) 用于视频代码转换的方法和设备
CN1691780A (zh) 视频编码器及检测和编码噪声的方法
CN1399472A (zh) 多信道图像编码装置及其编码方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication