CN101138249B - 编码方法及编码装置 - Google Patents

编码方法及编码装置 Download PDF

Info

Publication number
CN101138249B
CN101138249B CN2006800073059A CN200680007305A CN101138249B CN 101138249 B CN101138249 B CN 101138249B CN 2006800073059 A CN2006800073059 A CN 2006800073059A CN 200680007305 A CN200680007305 A CN 200680007305A CN 101138249 B CN101138249 B CN 101138249B
Authority
CN
China
Prior art keywords
code amount
picture
sign indicating
indicating number
reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2006800073059A
Other languages
English (en)
Other versions
CN101138249A (zh
Inventor
小川要
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101138249A publication Critical patent/CN101138249A/zh
Application granted granted Critical
Publication of CN101138249B publication Critical patent/CN101138249B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明提供了一种编码方法及编码装置。例如，可以适用于例如摄像机，通过校正系数ADJUST(n)对根据输入图像数据D1而预测的估算的产生码量ROUGH PRED(n)进行校正，并计算实际的预测码量TRUE PRED(n)，根据该实际的预测码量TRUE PRED(n)，对输入图像数据D1进行编码处理，由此，通过实际的产生码量BIT(n)来生成对应的图片类型的校正系数ADJUST(n)。

Description

编码方法及编码装置
技术领域
本发明涉及一种编码方法及编码装置，可以适用于例如摄像机。本发明通过校正系数对根据输入图像数据而预测的估算的产生码量进行校正并计算实际的预测码量，根据该实际的预测码量，对输入图像数据进行编码处理，通过实际的产生码量来设定对应的图片类型的校正系数，从而不论是当通过一次通过(one-pass)方式来保证记录时间时，还是多个预测模式存在时，都可以适当地对各图片分配码量。
背景技术
以往，在运动补偿预测编码中，基于VBR(Variable Bit Rate，可变位速率)、CBR(Constant Bit Rate，恒定位速率)的编码控制广为人知。这里，基于VBR的编码控制是通过预先设定的固定的量化比例来对动态图像进行编码的方法。与此相对，基于CBR的编码控制是为了产生码量变为规定的目标值，而可改变量化比例并进行编码控制的方法。
基于VBR的编码控制对应处理对象，对产生码量进行各种变化，由此，当将动态图像记录到记录介质中时，存在无法保证可记录时间的缺点。因此，在动态图像的记录等中，主要通过基于CBR的编码控制来保证记录时间。
但是，在基于CBR的编码控制中，存在以不需要的高画质来对易于编码的图片进行编码处理的情况，因此，从编码效率这点上来说，实用上还存在不完善的缺点。因此，例如，在日本特开2001-28753号公报中提出了通过将基于VBR的编码控制和基于CBR的编码控制进行切换再进行编码处理，从而提高编码效率的方法。
另外，在基于CBR的编码控制中存在所谓的二次通过(two-pass)方式和所谓的一次通过方式，其中，二次通过方式通过固定的量化比例进行试验性(tentative)的编码处理并计测产生码量，根据测量结果可改变量化比例并进行实际的编码处理，并且，一次通过方式预测产生的码量，同时，可实时地改变量化比例。一次通过方式与二次通过方式相比，其运算量大约为二分之一，而且，具有可以实时处理动态图像的特点，因此，被用于各种记录装置中。
然而，对于一次通过方式而言，在适当地将码量分配给各图片，并以高画质对动态图像进行编码这点上，在实用上也存在不完善的问题。
即，在一次通过方式中，可通过与产生码量相对应的反馈控制来改变量化比例(quantization scale)，由此，仅在对一个图片进行编码之后才能调整压缩率。据此，存在难以良好地随着画质的变化而改变量化比例的缺点，因此，当观察每个图片的码量时，肯定存在难以适当地分配码量的问题。
作为解决上述问题的方法也提出了各种方法：例如，对每个图片检测表示高频成分等的编码处理的难度的特征量，并通过以该检测结果为基准的反馈控制来控制量化比例的方法。但是，当是这样方法时，对于例如在进行MPEG2等的编码处理而言，可以大致适当地将码量分配给各图片。
但是，在这种编码方法中，存在像H.264/AVC(Advanced VideoCoding，高级视频编码)、MPEG(Moving Picture Experts Group，运动图像专家组)4这样的多个预测模式中选择优选的预测模式的编码处理方法，在这样的编码方式中，特征量和产生的码量之间的相关显著降低。由此，在如上所述地存在多个预测模式的编码处理中，即使是这种方法，也存在难以适当地分配码量的问题。
发明内容
本发明鉴于上述问题，提出一种不论是当通过一次通过方式保证记录时间时，还是当存在多个预测模式时，都可以适当地将码量分配给各图片的编码方法及编码装置。
为了解决上述问题，本发明提供了一种编码方法，其对基于输入图像数据的图片依次设定图片类型，并预测各图片的产生码量，同时，对上述输入图像数据进行编码处理，生成编码数据，上述编码方法包含：估算的码量预测步骤，根据上述输入图像数据来预测上述编码数据的估算的产生码量，并输出估算的预测码量；实际的码量预测步骤，通过与上述图片类型相对应的校正系数，对上述估算的预测码量进行校正，并计算实际的预测码量；编码步骤，根据上述实际的预测码量，对上述输入图像数据进行编码处理，并生成上述编码数据；以及系数设定步骤，检测上述编码数据的实际的产生码量，并设定对应的图片类型的上述校正系数。
根据本发明的构成，由于在对基于输入图像数据的图片依次设定图片类型，并预测各图片的产生码量，同时，对上述输入图像数据进行编码处理，生成编码数据的编码方法中，其包含：估算的码量预测步骤，根据上述输入图像数据来预测上述编码数据的估算的产生码量，并输出估算的预测码量；实际的码量预测步骤，通过与上述图片类型相对应的校正系数，对上述估算的预测码量进行校正，并计算实际的预测码量；编码步骤，根据上述实际的预测码量，对上述输入图像数据进行编码处理，并生成上述编码数据；以及系数设定步骤，检测上述编码数据的实际的产生码量，并设定对应的图片类型的上述校正系数。因而，即使在存在多个预测模式时，即当通过估算的预测码量无法正确地预测产生码量时，也可以通过根据校正系数而获得的实际的预测码量，在实用上以充分的精度来求出产生码量。由此，通过使用这样的高精度的实际的预测码量，不论当在通过一次通过方式保证记录时间时，还是当多个预测模式存在时，都可以适当地对各图片分配码量。
而且，根据本发明第一方面的构成，在上述编码步骤中，至少对各图片类型的序列开头的图片，通过事先设定的固定的量化比例，对上述输入图像数据进行编码处理，在上述估算的码量预测步骤中，以基于上述固定的量化比例的上述编码数据的实际的产生码量为基准，并根据在上述序列开头的图片上检测的、表示编码的难度的特征量与在编码对象的图片上检测的上述特征量之间的比率，对上述编码对象的图片计算上述估算的预测码量，上述编码方法随基于使用者的操作来切换上述固定的量化比例，从而切换上述编码数据的平均产生码量。
由此，根据本发明的构成，以可以对这样的高精度的实际的预测码量进行检测的本发明第一方面的构成为前提，在上述编码步骤中，至少对各图片类型的序列开头的图片，通过事先设定的固定的量化比例，对上述输入图像数据进行编码处理，在上述估算的码量预测步骤中，以基于上述固定的量化比例的上述编码数据的实际的产生码量为基准，并根据在上述序列开头的图片上检测的、表示编码的难度的特征量与在编码对象的图片上检测的上述特征量之间的比率，对上述编码对象的图片计算上述估算的预测码量，由此，可以以基于该固定的量化比例的产生码量为基准，预测各图片的产生码量并进行编码处理。由此，对于该固定的量化比例而言，可以作为编码数据的产生码量的设定基准。由此，上述编码方法随基于使用者的操作来切换上述固定的量化比例，切换上述编码数据的平均产生码量，从而可以简易地设定产生码量的平均速率。
而且，根据本发明第一方面的构成，上述编码方法包括：目标码量设定步骤，根据上述实际的预测码量来设定编码处理的目标码量；以及校正步骤，校正上述实际的预测码量，在上述编码步骤中，设定量化比例并对上述输入图像数据进行编码处理，从而根据上述实际的预测码量，对上述输入图像数据进行编码处理，以便上述编码数据的实际的产生码量变为上述目标码量，在上述校正步骤中，将上述实际的预测码量校正为当将上述量化比例设定成一定基准的量化比例时所预测的产生码量。
由此，根据本发明的构成，以可以对这样的高精度的实际的预测码量进行检测的本发明第一方面的构成为前提，上述编码方法包括：目标码量设定步骤，根据上述实际的预测码量来设定编码处理的目标码量；以及校正步骤，校正上述实际的预测码量，在上述编码步骤中，设定量化比例并对上述输入图像数据进行编码处理，从而根据上述实际的预测码量，对上述输入图像数据进行编码处理，以便上述编码数据的实际的产生码量变为上述目标码量，在上述校正步骤中，将上述实际的预测码量校正为当将上述量化比例设定成一定基准的量化比例时所预测的产生码量，从而，即使当例如通过CBR根据实际的预测码量而设定目标码量来进行编码处理时，也可以以基于一定基准的量化比例的编码处理以基准，预测产生的码量，由此，可以进一步提高产生码量的预测精度，并且可以以更高的精度适当对对各图片分配码量。
而且，根据本发明第八方面的构成，在上述编码步骤中，至少对各图片类型的序列开头的图片，通过事先设定的固定的量化比例，对上述输入图像数据进行编码处理，在上述估算的码量预测步骤中，以基于上述固定的量化比例的上述编码数据的实际的产生码量为基准，并根据在上述序列开头的图片上检测的、表示编码的难度的特征量与在编码对象的图片上检测的上述特征量之间的比率，对上述编码对象的图片计算上述估算的预测码量，上述编码方法随基于使用者的操作而切换上述固定的量化比例，从而切换上述编码数据的平均产生码量。
由此，根据本发明的构成，以可以对这样的高精度的实际的预测码量进行检测的本发明第八方面的构成为前提，在上述编码步骤中，至少对各图片类型的序列开头的图片，通过事先设定的固定的量化比例，对上述输入图像数据进行编码处理，在上述估算的码量预测步骤中，以基于上述固定的量化比例的上述编码数据的实际的产生码量为基准，并根据在上述序列开头的图片上检测的、表示编码的难度的特征量与在编码对象的图片上检测的上述特征量之间的比率，对上述编码对象的图片计算上述估算的预测码量，由此，以基于该固定的量化比例的产生码量为基准，预测各图片的产生码量并进行编码处理。据此，对于该固定的量化比例而言，可以作为编码数据的产生码量的设定基准。由此，上述编码方法随基于使用者的操作而切换上述固定的量化比例，从而切换上述编码数据的平均产生码量，因此，可以简易地设定产生码量的平均速率。
并且，根据本发明第一方面的构成，上述编码方法包括目标码量设定步骤，根据上述实际的预测码量，设定编码处理的目标码量，在上述编码步骤中，设定量化比例并对上述输入图像数据进行编码处理，以便上述编码数据的实际的产生码量变为上述目标码量，在上述概算码量预测步骤中，一并计算按照其他图片类型对用于进行编码处理的图片进行编码处理时的、基于其他图片类型的上述估算的预测码量，在上述实际的码量预测步骤中，根据上述估算的预测码量，一并求得基于上述其他图片类型的实际的预测码量，在上述目标码量设定步骤中，通过基于对应的图片类型的上述实际的预测码量、和基于上述其他图片类型的实际的预测码量，分配可分配的码量并设定上述目标码量。
由此，根据本发明的构成，以可以对这样的高精度的实际的预测码量进行检测的本发明第一方面的构成为前提，上述编码方法包括目标码量设定步骤，根据上述实际的预测码量，设定编码处理的目标码量，在上述编码步骤中，设定量化比例并对上述输入图像数据进行编码处理，以便上述编码数据的实际的产生码量变为上述目标码量，在上述概算码量预测步骤中，一并计算按照其他图片类型对用于进行编码处理的图片进行编码处理时的、基于其他图片类型的上述估算的预测码量，在上述实际的码量预测步骤中，根据上述估算的预测码量，一并求得基于其他图片类型的实际的预测码量，在上述目标码量设定步骤中，通过基于对应的图片类型的上述实际的预测码量、和基于上述其他图片类型的实际的预测码量，分配可分配的码量并设定上述目标码量，由此，即使当各图片的编码难度渐渐变化时，也可以对应该变化，对设定分配给各图片的码量，因此，可以进一步适当地对各图片分配码量。
并且，根据本发明第一方面的构成，上述编码方法包括目标码量设定步骤，根据上述实际的预测码量，设定编码处理的目标码量，在上述编码步骤中，设定量化比例并对上述输入图像数据进行编码处理，以便上述编码数据的实际的产生码量变为上述目标码量，在上述目标码量设定步骤中，当上述实际的预测码量小于一定值时，通过将上述实际的预测码量设定为上述目标码量来进行设定，以便通过VBR生成上述编码数据，其中，上述一定值大于上述画质改善的基准值，同时，当上述实际的预测码量大于上述一定值时，通过将与上述一定值相对应的码量设定为上述目标码量来进行设定，以便通过CBR生成上述编码数据，当上述实际的预测码量小于上述画质改善用的基准值时，通过随上述实际的预测码量降低而增大的系数，使上述实际的预测码量增大并设定为上述目标码量。
由此，根据本发明的构成，以可以对这样的高精度的实际的预测码量进行检测的本发明第一方面的构成为前提，上述编码方法包括目标码量设定步骤，根据上述实际的预测码量，设定编码处理的目标码量，在上述编码步骤中，设定量化比例并对上述输入图像数据进行编码处理，以便上述编码数据的实际的产生码量变为上述目标码量，在上述目标码量设定步骤中，当上述实际的预测码量小于一定值时，通过将上述实际的预测码量设定为上述目标码量来进行设定，以便通过VBR生成上述编码数据，其中，上述一定值大于上述画质改善的基准值，同时，当上述实际的预测码量大于上述一定值时，通过将与上述一定值相对应的码量设定为上述目标码量来进行设定，以便通过CBR生成上述编码数据，当上述实际的预测码量小于上述画质改善用的基准值时，通过随上述实际的预测码量降低而增大的系数，使上述实际的预测码量增大并设定为上述目标码量，由此，对于产生码量较少的编码处理的简易图像而言，可以使码量的分配增大并进行编码处理。并且，对于这样的图像而言，具有比较容易发现画质劣化的特点。因而可以提升画质。
并且，本发明提供了一种对基于输入图像数据的图片依次设定图片类型，对每个图片预测产生码量，同时，对上述输入图像数据进行编码处理并生成编码数据的编码装置，其包括：估算的码量预测单元，通过上述输入图像数据来预测上述编码数据的估算的产生码量，并输出估算的预测码量；实际的码量预测单元，通过与上述图片类型相对应的校正系数，对上述估算的预测码量进行校正，并计算实际的预测码量；编码单元，根据上述实际的预测码量，对上述输入图像数据进行编码处理，并生成上述编码数据；以及系数设定单元，检测上述编码数据的实际的产生码量，并设定对应的图片类型的上述校正系数。
由此，根据本发明的构成，不论当通过一次通过方式保证记录时间时，还是当多个预测模式存在时，都可以提供一种可以适当地对各图片分配码量的编码装置。
并且，本发明提供了一种编码处理程序，其通过运算处理单元来执行，对基于输入图像数据的图片依次设定图片类型，对每个图片预测产生码量，同时，对上述输入图像数据进行编码处理并生成编码数据，上述编码处理程序包括：估算的码量预测步骤，根据上述输入图像数据来预测上述编码数据的估算的产生码量，并输出估算的预测码量；实际的码量预测步骤，通过与上述图片类型相对应的校正系数，对上述估算的预测码量进行校正，并计算实际的预测码量；编码步骤，根据上述实际的预测码量，对上述输入图像数据进行编码处理，并生成上述编码数据；以及系数设定步骤，检测上述编码数据的实际的产生码量，并设定对应的图片类型的上述校正系数。
由此，根据本发明的构成，不论当通过一次通过方式保证记录时间时，还是当多个预测模式存在时，都可以提供一种可以适当地对各图片分配码量的编码处理的程序。
并且，本发明提供了一种记录编码处理程序的记录介质，上述编码处理程序通过运算处理单元来执行，并对基于输入图像数据的图片依次设定图片类型，对每个图片预测产生码量，同时，对上述输入图像数据进行编码处理并生成编码数据，上述编码处理程序包括：估算的码量预测步骤，根据上述输入图像数据来预测上述编码数据的估算的产生码量，并输出估算的预测码量；实际的码量预测步骤，通过与上述图片类型相对应的校正系数，对上述估算的预测码量进行校正，并计算实际的预测码量；编码步骤，根据上述实际的预测码量，对上述输入图像数据进行编码处理，并生成上述编码数据；以及系数设定步骤，检测上述编码数据的实际的产生码量，并设定对应的图片类型的上述校正系数。
由此，根据本发明的构成，不论当通过一次通过方式保证记录时间时，还是当多个预测模式存在时，都可以提供一种记录编码处理程序的记录介质，该编码处理程序可以适当地对各图片分配码量。
根据本发明的构成，不论当通过一次通过方式保证记录时间时，还是当多个预测模式存在时，都可以适当地对各图片分配码量。
附图说明
图1是表示本发明实施例1涉及的数码摄像机的框图；
图2是表示应用于图1的数码摄像机的编码器的特性的特性曲线图；
图3是表示应用于图1的数码摄像机的编码器的框图；
图4是表示图3的编码器的一部分构成的框图；
图5是表示图3的编码器的产生码量(code quantity)的特性曲线图；
图6是表示图3的编码器的产生码量的脉动的特性曲线图；
图7是表示图3的编码器的产生码量的变化的特性曲线图；
图8是表示基于图3的编码器的VBR和CBR之间处理的切换的产生码量的变化的特性曲线图；
图9是用于说明图3的编码器中的动作模式的切换的特性曲线图；
图10是表示本发明的实施例2涉及的个人计算机的框图；
图11是表示图10的个人计算机中的中央处理单元的处理步骤的流程图；
图12是详细表示图11的流程图中的一部分处理步骤的流程图；
图13是表示本发明的实施例3涉及的编码器的框图；以及
图14是表示图13的编码器的一部分构成的框图。
具体实施方式
以下，将适当地参照附图，对本发明的实施例进行详细说明。
(1)实施例1的构成
图1是表示本发明的实施例涉及的数码摄像机的框图。该数码摄像机1对基于想要的被摄体的摄像结果进行编码处理并将其记录到记录介质2中。因此，在该数码摄像机1中，相机部3取得摄像结果并输出图像数据。
即，在相机部3中，通过控制部5的控制，驱动器4驱动光学模块6的光圈、聚焦透镜、变焦透镜，光学模块6根据基于该驱动器4的驱动条件来会聚入射光，并在后续的CCD固体摄像元件(CCD：Charge Coupled Device，电荷耦合装置)7的摄像面上形成光学图像。定时生成部8通过控制部5的控制，生成并输出CCD固体摄像元件7的各种定时信号，驱动器9根据从该定时生成部8输出的各种定时信号中的一部分定时信号来驱动CCD固体摄像元件7。CCD固体摄像元件7通过从该定时生成部8直接输入的定时信号、和通过驱动器9输入的定时信号而进行动作，并输出形成于摄像面上的光学图像的摄像结果。前处理电路10对该CCD固体摄像元件的摄像结果进行相关两重采样处理后，通过基于控制部5的控制的增益进行放大并进行模数变换处理，并将基于该处理结果的图像数据输出给相机DSP 121。
相机DSP 121在对从该相机部3输出的图像数据进行信号处理后，进行编码处理，并输出至控制部5，并且，与此相反，对从控制部5输入的编码数据进行解码。
即，在相机DSP 121中，AF/AE/AWB部13从相机部3输出的图像数据中获取自动聚焦控制、自动光圈控制所必要的各种信息，然后输出至控制部5，另外，通过控制部5的控制对该图像数据进行自动白平衡调整，并输出至控制部5等。此外，AF/AE/AWB部13除这些处理外，还实施摄像结果的处理所必要的拐点处理(kneeprocess)、γ校正处理、矩阵运算处理等各种处理。编码器14是通过运动补偿、正交转换处理对图像数据进行编码处理，并生成编码数据的编码装置，通过控制部5的控制，对由AF/AE/AWB部13处理后的图像数据进行编码处理后生成编码数据，并将该编码数据输出至控制部5。解码器15则与此相反，其对从控制部5输入的编码数据进行解码，并将基于该处理结果的图像数据输出至控制部5。SDRAM控制器16对作为外置于相机DSP 121的存储器SDRAM 17的写入、读出进行控制，并将有关该相机DSP 121一系列处理的图像数据、编码数据暂时存储在SDRAM 17中。
此外，在该相机DSP 121中，有关这些一系列处理的程序是事先被安装在该数码摄像机1中而得以提供的，同时，也可以将这样事先安装并提供取而代之，而是通过网络等下载来提供，甚至也可以记录在记录介质中而进行提供。此外，这样的记录介质可以广泛使用光盘、磁盘、存储卡等各种的记录介质。
记录介质2记录基于编码器14的编码数据，并将所记录的编码数据进行再生后输出。这里，记录介质2可以广泛使用光盘、磁盘、存储卡等各种记录介质，介质的接口(介质I/F)21通过控制部5的控制，将从控制部5输出的数据记录在该记录介质2中，并将记录到记录介质2中的数据读出并输出至控制部5。
外部接口(外部I/F)22是例如，连接个人计算机等外部机器的接口，其通过控制部5的控制，将从控制部5输出的数据输出至该外部机器，并将从该外部机器输入的数据输出至控制部5。由此，在该数码摄像机1中，在与外部机器之间，发送接收图像数据、编码数据等各种数据。
LCD控制器24通过控制部5的控制，根据输出至控制部5的总线BUS的图像数据来驱动液晶显示装置(LCD)23，由此，液晶显示装置23显示输出给总线BUS的、基于摄像结果的图像数据和基于解码结果的图像数据。
控制部5是控制该数码摄像机1整体动作的控制单元，在随机存取存储器(RAM)25中确保工作区域(work area)，并通过中央处理单元(CPU)26来执行记录于闪存ROM 27中的的处理程序，从而随操作部29的操作来起动相机部3和相机DSP 121的动作，并将由相机部3获得的摄像结果通过相机DSP 121进行处理后进行编码处理，取得基于该处理结果的编码数据并记录在记录介质2中。并且，取得基于摄像结果的图像数据并通过液晶显示装置23显示监控图像。另外，在这些处理中，根据通过相机DSP 121取得的信息来控制摄像机3的光圈、聚焦，并由此执行自动光圈控制、自动聚焦控制的处理。并且，随基于用户的操作来读出记录于记录介质2中的编码数据，然后通过相机DSP 121进行解码，并取得基于该处理结果的图像数据，通过液晶显示装置23显示监控图像。
在这些处理中，控制部5随由用户对操作部29进行的操作来切换用于进行后述的编码器14的处理的参数，从而通过长时间记录模式和标准时间记录模式来切换整体动作模式，并切换由编码器14生成的编码数据的位速率。由此，控制部5切换记录介质2的可记录时间，并通过与各动作模式相对应的记录时间，将摄像结果记录在记录介质2中。
图2是表示有关如上所述地记录于记录介质2中的编码数据的编码控制的特性的特性曲线图。如横轴所示，当通过固定的量化比例QP INIT进行量化而产生的码量大于一定的上限速率LIMITRATE时，编码器14进行编码控制，以便编码数据的速率变为一定的上限值LIMIT RATE，由此，在这种情况下，通过CBR方法对输入图像数据进行编码处理。此外，与此相反，当通过固定的量化比例QP INIT进行量化而产生的码量小于一定的上限速率LIMITRATE时，则通过VBR方法，并根据该固定的量化比例QP INIT来对输入图像数据进行编码处理。由此，编码器14补偿向记录介质2进行记录的时间，同时，由于码量下降则切换至VBR方法来防止无用的码量的分配，由此，通过VBR方法和CBR方法之间的切换来提高编码效率，从而保证记录时间。
并且，在这样地通过VBR方法对输入图像数据进行编码处理的情况下，当由固定的量化比例QP INIT进行量化而产生的码量小于画质操作界限速率LRB END RATE时，编码器14根据基于固定的量化比例QP INIT的码量比基于画质操作界限速率LRB ENDRATE的码量低而对产生码量进行控制，以便与基于该固定的量化比例QP INIT的码量相比，编码数据的码量暂时增加。
据此，编码器14对于编码比较容易的被摄体有意地分配多的码量来进行编码处理，以改善这样的被摄体的画质。
图3是详细表示适用于该数码摄像机1的编码器14的构成的框图。该编码器14从多个预测模式中选择优选的预测模式，并通过该优选的预测模式来进行正交变换、运动补偿，对图像数据D1进行编码处理。更具体地说，该编码器14通过AVC方法来对图像数据进行编码处理。这样，对基于依次输入的输入图像数据D1的图片(picture)依次设定图片类型，并通过一次通过方式预测各图片的产生码量，同时，对图像数据D1进行编码处理。
因此，编码器14通过减法电路32将图像数据D 1输入给离散余弦变换(discrete cosine transform)电路(DCT)34。这里，离散余弦变换电路34通过离散余弦变换处理对减法电路32的输出数据进行正交变换处理，然后输出系数数据。
量化电路35通过编码控制电路31的控制来切换量化比例，并对从离散余弦变换电路34输出的系数数据进行量化处理。可逆编码电路36对该量化电路35的输出数据进行可逆编码处理，并与量化比例、预测模式的数据等一起通过编码数据D2进行输出。
逆量化电路37对量化电路35的输出数据进行逆量化处理，并由此对量化电路35的输入数据进行解码。逆离散余弦变换电路(逆DCT)38对逆量化电路37的输出数据进行逆离散余弦变换处理，并由此对离散余弦变换电路34的输入数据进行解码。在编码器14中，通过将模式判定电路33的输出数据加到该逆离散余弦变换电路38的输出数据，从而对输入至减法电路32的输入图像数据进行解码。去块滤波器(deblocking filter)39对该解码后的输入图像数据进行滤波处理，去除块失真(block distortion)后进行输出。帧存储器40将该去块滤波器39的输出数据以规定的帧进行保存。
内部预测电路11使用帧存储器40所保存的同一图片的图像数据，并从多个内部预测模制中检测优选的内部预测模式。中间预测电路12分别使用帧存储器40所保存的多个预测帧，并从多个中间预测模式中检测优选的中间预测模式。
模式判定电路33在I图片中生成基于由内部预测电路41所检测的优选的内部预测模式的预测图像数据，并将该预测图像数据输出给减法电路32。这样，该编码器14在I图片中，从多个内部预测模式中选择优选的预测模式，并对基于该优选预测模式的预测残差数据进行正交变换处理和可变长编码处理，生成编码数据D2。
模式判定电路33还在P图片及B图片中，从由内部预测电路11检测的优选预测模式、和由中间预测电路12检测的优选预测模式中选择最优模式，并将基于该选择的预测模式的预测图像数据输出给减法电路32。这样，该编码器14在P图片及B图片中，从多个内部预测模式、中间预测模式中选择优选预测模式，并对基于该优选预测模式的预测残差数据进行正交变换处理、和可变长编码处理，生成编码数据D2。
编码控制电路31控制该编码器14的量化电路35中的量化比例，由此，控制编码数据D2的码量。
即，在该编码控制电路31中，内部预测电路41从输入图像数据D1中生成有关内部预测的伪预测图像数据(pseudo predictedimage data)。这里，在AVC中，对16×16像素模块、4×4像素模块的各模块每个都设定多个预测模式，并从这些预测模式中选出优选预测模式，生成预测图像数据，同时，在该内部预测电路41中，生成表示和该本来的预测图像数据有同样倾向的伪预测图像数据。该伪预测通过仅在指定模式下进行预测等的、简化本来的预测而进行。另外，也可以挪用时间上已经过去的图片的预测结果。
减法电路42从输入图像数据D1中减去从该内部预测电路41输出的伪预测图像数据，由此，生成有关内部预测的伪预测残差数据。这样，内部预测电路41检测表示有关内部预测的编码的难度的特征量。
帧存储器43只以规定帧来记录的输入图像数据D1并进行保存，作为参照图像数据输出给简易中间预测电路(simple interprediction circuit)44。
简易中间预测电路44使用保存在帧存储器43内的图像数据，生成有关中间预测的伪预测图像数据。这里，在AVC中，使用多个预测帧，在大小不同的模块中，分别以小于1像素的精度来检测运动矢量，并通过产生码量最少的预测帧、模块来生成预测图像数据，同时，在该简易中间预测电路44中，生成表示和该本来的预测图像数据同样倾向的伪预测图像数据。具体而言，仅对16×16像素模块的宏模块，通过整数的像素精度，在各预测帧检测的运动矢量，并检测优选预测模式，输出基于该检测结果的预测图像数据。此外，在这种情况下，也可以对输入图像数据D1进行下采样(downsample)并进行处理，而且，在这些16×16像素模块的多个预测模式中，也可以通过预测模式选择的概率最高的预测模式来生成预测图像数据。
减法电路45从输入图像数据D1减去由简易中间预测电路44输出的伪预测图像数据，由此，生成有关中间编码的伪预测残差数据。另外，也可以将基于内部预测电路41、简易中间预测电路44的处理结果利用于本来的内部预测电路11、中间预测电路12中的处理，这样也可以简化整体处理。
由此，帧存储器43、简易中间预测电路44和减法电路45以16×16像素模块为单位，检测表示有关中间预测的编码难度的特征量。另外，对于有关这些内部预测、中间预测的特征量的检测，可以通过预测精度和处理速度的兼顾而广泛应用各种检测方法，例如也可以通过正交变换处理的处理单位的模块大小来检测这些特征量，甚至也可以在确保实用上充分精度的情况下，将高频成分的信号电平应用于有关内部预测的特征量。
产生码量预测电路46根据从这些减法电路42、减法电路45输出的预测残差数据来预测基于编码处理的产生码量。
目标码量确定电路47根据该产生码量预测电路46的预测结果来确定编码处理的目标码量，并设定量化电路35的量化比例。
图4是详细表示这些产生码量预测电路46、目标码量确定电路47的构成的功能框图。另外，在如该图4所示的构成中，对乘法电路等运算电路标注了与下面要说明相对应的数式的符号，以表示对应关系。
产生码量预测电路46对于P图片、B图片，分别对每个宏模块合计从减法电路42、减法电路45输出的预测残差数据，并将数值小侧的合计值设定为该宏模块的残差数据MB BD。并且，在各图片中合计该宏模块的残差数据MB BD，并将合计值设定为该图片的残差数据BD(n)(在图4中用符号51表示)。并且，对于I图片，在图片单位中合计从减法电路42输出的内部预测有关的预测残差数据，并将合计值设定为该图片的内部预测有关的残差数据BD(n)。这样，产生码量预测电路46通过这些残差数据BD(n)，在图片单位中，检测表示有关编码处理的难度的特征量。此外，对于该残差数据BD(n)而言，也可以通过预测残差数据的绝对值和来进行检测。
这里，在各图片类型的序列开头的图片中，目标码量确定电路47将量化电路35的量化比例设定为事先设定的固定的量化比例QPINIT，并由此通过基于该固定的量化比例QP INIT的的固定压缩率来对各序列开头的图片进行编码处理。
产生码量预测电路46对各图片类型的每个检测基于该固定的量化比例QP INIT的产生码量BIT(0)(在图4中用符号52表示)，并在以后的各图片中，通过使用在对应的图片类型检测的产生码量BIT(0)，执行下式的运算处理，从而预测估算的预测码量ROUGHPRED(n)(在图4中用符号54表示)。另外，在此，残差数据BD(0)(在图4用符号53表示)是在该对应的图片类型序列开头检测出的残差数据BD(n)。
ROUGH_PRED(n)＝BIT(0)*(BD(n)/BD(0))(1)
这样，产生码量预测电路46通过固定的量化比例对开头的图片进行编码处理，并以基于该固定的量化比例的实际产生码量为基准，根据与该图片相对的难度的相对变化，对每个图片类型检测各图片的估算的预测码量。
而且，当这样地预测产生码量时，产生码量预测电路46一并计算在按照其他图片类型对该图片进行编码处理时所预测的预测码量。由此，产生码量预测电路46预测当对每个基于输入图像数据D1的各图片，分别通过I图片、P图片、B图片来进行编码处理时的估算的产生码量。
因此，这样计算的估算的预测码量ROUGH PRED(n)大致表示实际的产生码量，同时也有误差。特别是在有关P图片、B图片的预测码量ROUGH PRED(n)中，该误差变大。因此，产生码量预测电路46通过下式的运算处理，根据到前一图片为止的实际的处理结果来分别对关于P图片、B图片的预测码量ROUGH PRED(n)进行校正，并计算实际的预测码量TRUE PRED(n)(在图4中用符号55表示)。
TRUE_PRED(n)＝ROUGH_PRED(n)*ADJUST(n)(2)
而这里的此外，在此，ADJUST(n)(在图4中用符号56表示)是各图片类型的校正系数，通过后述的处理而导出。但是，这样求出的实际的预测码量TRUE PRED(n)是通过固定的量化比例QPINIT对各图片进行编码处理时的产生码量的预测结果，其中，该固定的量化比例QP INIT适用于通过固定的压缩率对序列开头的图片进行编码处理的时候，根据试验的结果，可以确认实际的预测码量TRUE PRED(n)以相当高的精度与实际的产生码量相一致。
此外，在这样计算实际的预测码量TRUE PRED(n)并进行编码处理的情况下，例如在由于场景变化(scene change)等，动态图像的性质从序列开头发生较大变化时，也可以重新执行有关上述的各图片类型的序列开头的处理，并重新计算实际的预测码量TRUEPRED(n)。
目标码量确定电路47根据这样求得的实际的预测码量TRUEPRED(n)来分别确定基于VBR和CBR的目标码量。此外，对于I图片的实际的预测码量而言，也可以应用粗略的预测码量ROUGHPRED(n)。
因此，目标码量确定电路47使用对编码处理对象图片的图片类型检测出的实际的预测码量TRUE PRED(n)，并通过下式的运算处理来计算基于VBR的目标码量VBR TARGET(n)(在图4中用符号57表示)。
VBR_TARGET(n)＝TRUE_PRED(n)*LRB(n)(3)
此外，在此，LRB(n)(在图4中用符号58表示)是用于为了如图2所述的画质改善，而相对于基于固定的量化比例QP INIT的码量，有意地使码量增大的系数，1＜LRB(n)。该系数LRB(n)也可以在监控图像的同时通过手动进行设定，但是在本实施例中，进行如下所述的设定，以便如图2中所述，对难易度低的动态图像有意地减低压缩率，并使画质的劣化不那么醒目。
即，目标码量确定电路47采用有关该画质改善的阈值的速率LRB END RATE，并通过执行下式的运算处理来计算系数LRB(n)。
LRB(n)＝(LRB_END_RATE/INSTANT_RATE(n)-1)*APPLY_GAIN+1(4)
在此，INSTANT RATE(n)是作为处理对象的第n个图片的瞬时速率。而且，APPLY GAIN是表示这样地有意降低压缩率的程度的增益，是在0＜APPLY GAIN＜1范围内进行调整的系数。当该增益APPLY GAIN为值0时，压缩率不作任何降低，画质改善的效果变为零。而且，当增益APPLY GAIN为值1时，在该难易度低的动态图像中，目标码量VBR TARGET(n)变得和实现阈值的速率LRB END RATE的码量一致。
由此，目标码量确定电路47根据基于固定的量化比例QP INIT的预测码量TRUE PRED(n)比阈值的速率LRB END RATE低，从而对基于该固定的量化比例QP INIT的码量，使目标码量增大。
而且，由此，由于通过(4)式而求出的系数LRB(n)对于难易度非常低的图片变为极大的值，所以通过(4)式而求得的值通过限制器被限制在值2.5～3.0，从而防止目标码量VBR TARGET(n)的极端增大。
此外，瞬时速率INSTANT RATE(n)通过下式而求得。在此，I NUM、P NUM、B NUM分别为形成1GOP的I图片、P图片、B图片的张数，AVERAGE I BIT、AVERAGE P BIT、AVERAGE B BIT分别是I图片、P图片、B图片的平均产生码量，PICTURE RATE是该编码器14中的每一秒的帧数(帧速率)。
INSTANT_RATE(n)＝(AVERAGE_I_BIT(n)*I_NUM+AVERAGE_P_BIT(n)
*P_NUM+AVERAGE_B_BIT(n)*B_NUM)*(PICTURE_RATE/(I_NUM
+P_NUM+B_NUM)
(5)
这里，I图片的平均产生码量AVERAGE I BIT通过下式求得。
AVERAGE_I_BIT(n)＝AVERAGE_I_BIT(n-2)*FLT+BIT(n-1)*(1-FLT)
(6)
此外，在此，FLT是在0≤FLT＜1的范围内设定的调整值，值0.2左右是适当值。由此，目标码量确定电路47通过调整值FLT对前两个I图片中的平均产生码量AVERAGE I BIT(n-2)、AVERAGEI BIT(n-1)进行加权相加运算(weighting addition)，然后求出有关第n个I图片的平均产生码量AVERAGE I BIT(n)。由此，I图片的平均产生码量AVERAGE I BIT当调整值FLT接近值0时，变为短时间的瞬时速率，当调整值FLT接近值1时，变为长时间的平均速率。另外，可以任意确定有关该I图片的平均产生码量AVERAGE I BIT的初始值AVERAGE I BIT(0)。而且，当调整值FLT不是值1时，也可以将其设定为0。目标码量确定电路47同样地求得P图片、B图片的平均产生码量AVERAGE P BIT、AVERAGEB BIT，并设定调整值FLT，设定系数LRB(n)。
因此，目标码量确定电路47通过产生码量的监视结果来设定调整值FLT，并设定表示画质改善程度的系数LRB(n)。并且，使用此系数LRB(n)来计算编码处理对象的图片中的VBR的目标码量VBR TARGET(n)。
并且，目标码量确定电路47通过下式的运算处理来计算基于X图片的CBR的目标码量CBR TARGET X(n)。此外，在此，X图片是指I图片、P图片或者B图片。
CBR_TARGET_X(n)＝(GOP_SIZE*TRUE_PRED_X(n))
/(I_NUM*TRUE_PRED_I(n)+P_NUM*TRUE_PRED_P(n)
+B_NUM*TRUE_PRED_B(n))(7)
这里，实际的预测码量TRUE PRED I(n)、TRUE PRED P(n)、TRUE PRED B(n)是分别通过I图片、P图片、B图片对第n个图片进行编码处理时的预测码量，如上面(2)式所述，当对编码处理对象的图片求实际的预测码量时，可以应用假设按照一并求得的其他图片类型而进行编码处理时的实际的预测码量。这里，GOPSIZE是有关通过CBR而设定的1GOP的码量，通过后述的运算处理求得。
这样，目标码量确定电路47根据在通过I图片、P图片、B图片对编码处理对象的图片进行编码处理时所产生的码量的分配，将基于GOP SIZE的码量分配给编码处理对象图片，并计算基于CBR的目标码量CBR TARGET X(n)。
在此，如下式所示，使用有关VBR和VBR之间的切换的上限速率LIMIT RATE、每一个图片的平均速率M、偏移值OFFSET并通过下式来求得码量GOP SIZE。
GOP_SIZE(n)＝LIMIT_RATE/M+OFFSET    (8)
并且，如下式所示，每一个图片的平均速率M通过编码器14中的每一秒的帧数(帧速率)PICTURE RATE除以形成1GOP的各图片的张数I NUM、P NUM、B NUM的总和而求得。
M＝PICTURE_RATE/(I_NUM+P_NUM+B_NUM)(9)
此外，偏移值OFFSET通过下式，并使用第n个图片的瞬时速率INSTANT RATE(n)、平均速率M而求得。
OFFSET＝(LIMIT_RATE-INSTANT_RATE(n))/M    (10)
由此，目标码量确定电路47根据通过I图片、P图片、B图片对编码处理对象的图片进行编码处理时所产生的码量的分配，设定基于编码处理对象的图片的CBR的目标码量CBR TARGET X(n)，并防止瞬时速率的脉动。
即，如图5所示，在基于TM(Test Mode)5的编码控制中，当瞬时速率增大，且通过CBR进行编码控制时，在GOP的周期中，能观察到瞬时速率的波动(ripple)，同时，在本实施例中判断：当设定目标码量CBR TARGET X(n)时，抑制这样的波动，且瞬时速率的变动小。并且，图6是表示基于CBR的产生码量的图，判断当基于TM5时，产生码量的脉动大，尤其是在I图片后的P图片上，产生码量极低。但是，根据本实施例，判断与基于TM5的情况相比，抑制产生码量的脉动，并据此判断适切地将码量分配给各图片。
如下式所示，目标码量确定电路47从这样地得到的基于VBR的目标码量VBR TARGET(n)、和基于CBR的目标码量CBRTARGET(n)中选择值小侧的目标码量，并设定为最终的目标码量TARGET(n)(在图4中用符号61表示)。
当VBR_TARGET(n)＜CBR_TARGET(n)时，
TARGET(n)＝VBR_TARGET(n)
当VBR_TARGET(n)＞CBR_TARGET(n)时，
TARGET(n)＝CBR_TARGET(n)(11)
由此，如图2中所述，编码器14在上限速率LIMIT RATE中，切换基于VBR的编码控制和基于CBR的编码控制。
编码控制电路31通过TM5、步骤2的方法来控制量化电路35的量化比例，以便产生码量变为如此确定的目标码量TARGET(n)。即，编码控制电路31在为每个图片类型分别定义虚拟缓冲器的基础上，每进行一个宏模块的编码处理，就通过下式的运算处理来更新虚拟缓冲器的内容，并更新量化比例。
di＝d0i+Bj-1-Ti(j-1)/MB_Count    (12)
dp＝d0p+Bj-1-Tp(j-1)/MB_Count    (13)
dg＝d0b+Bj-1-Tb(j-1)/MB_Count    (14)
此外，在此，di、dp、db分别是I图片、P图片、B图片的虚拟缓冲器的容量，d0i、d0p、d0b是各虚拟缓冲器的初始值。此外，Bj-1是到第j-1个宏模块为止的产生码量。Ti、Tp、Tb分别为各图片的目标码量，分别被代入各图片的目标码量TARGET(n)。MBCount是该图片内的宏模块数。
而且，虚拟缓冲器的容量di、dp、db通过下式被分别变换成量化比例。
Qj＝dj*51/r    (15)
在此，对应图片类型，将虚拟缓冲器的容量di、dp、db代入dj。并且，r是反应参数(reaction parameter)，通过下式表示。此外，也可以根据必要，像在TM5的步骤3中所采用的那样，对应图案来使量化比例局部变化。
r＝2*bit_rate/picture_rate    (16)
编码控制电路31将这样得到的量化比例Qj设定到量化电路35中，并对从离散余弦变换电路34输出的系数数据进行量化处理。另外，如上所述，编码控制电路31对量化电路35的动作进行控制，以便对于各图片的序列开头的图片，通过固定的初始设定的量化比例QP INIT来对各宏模块进行编码处理。
但是，也考虑通过将基于这样设定的量化比例的第n个图片的产生码量BIT(n)(图4中用符号62表示)、和对应的实际的预测码量TRUE PRED(n)进行比较，从而可以求出在(2)式中所述的校正系数ADJUST(n)，并且，也考虑将基于该第n个图片的校正系数ADJUST(n)用于后续图片中的预测码量TRUE PRED(n+1)，并可以以高精度来预测产生码量。
但是，对于在此所检测的产生码量BIT(n)而言，由于通过基于(12)～(16)式的量化比例QP INIT来进行编码处理，所以通过与作为该前提的固定的量化比例QP INIT不同的量化比例来进行处理。由此，根据单纯地将产生码量BIT(n)和对应的实际的预测码量TRUE PRED(n)作比较，难以正确地求出校正系数ADJUST(n)，从而也无法以良好的精度来预测产生码量。
因此，产生码量预测电路46将当将量化电路35的量化比例设定为一定基准的量化比例时所预测的产生码量校正为实际的产生码量TRUE PRED(n)。这里，在本实施例中，序列开头的固定的量化比例QP INIT被应用到该一定基准的量化比例。具体而言，产生码量预测电路46通过下式的运算处理，将所检测的产生码量BIT(n)换算成基于一定的量化比例QP CONSTQ(QP INIT)的产生码量BIT BY CONSTQ PRED(n)。
BIT_BY_CONSTQ_PRED(n)
                                                (17)
＝e^(k*(QP_CONSTQ-QP_AVERAGE(n)))*BIT(n)
此外，这里，e是自然对数，k是调整值。并且，QP AVERAGE(n)是编码时实际使用的量化比例的帧内的平均值。此外，k可以在实验中通过几种序列而求得，优选设定在-0.110＜k＜-0.115，从而可以以实用上充分的高精度来预测产生码量，更优选k＝-0.1126，从而可以确保充分的精度。
产生码量预测电路46采用通过该(17)式而求得的一定的量化比例QP CONSTQ的产生码量BIT BY CONSTQ PRED(n)来执行下式的运算处理，从而在求得有关同一图片类型的后续第n+1个图片的校正系数ADJUST(n+1)之后，对该后续第n+1个图片重复上述的运算处理。
ADJUST(n+1)＝BIT_BY_CONSTQ_PRED(n)/ROUGH_PRED(n)(18)
此外，基于该(18)式的校正系数ADJUST(n+1)的运算适用于进行帧间预测的P图片、B图片，对于只基于帧内预测的I图片而言，由于通过(1)式求得的估算的预测码量ROUGH PRED(n)对实际产生的码量BIT(n)有强相关，因而不适用。即，在I图片中，值1的固定值适用于校正系数ADJUST(n)，由此，如上所述，估算的预测码量ROUGH PRED(n)可以适用于实际的预测码量TRUE PRED(n)。
但是，图7及图8是表示对随帧的推进而产生码量逐渐增大的这样的动态图像进行编码处理时的处理结果的特性曲线图。此外，这里，对序列开头的固定的量化比例QP INIT选择I、P＝31/B＝33。而且，有关CBR和VBR之间的切换的上限速率LIMIT RATE为15[Mbps]、有关画质改善的阈值的速率LRB END RATE为9[Mbps]。在该特性曲线图中可以判断：与单纯通过固定量化比例进行编码控制时，产生码量渐渐增大相对，在基于本实施例的编码器14中，限制从20帧附近产生码量。另外，在从序列开头到10帧位置的范围内，与通过固定量化比例进行编码控制时相比，基于本实施例的产生码量多，因而可以确认图2的画质改善的作用。并且，根据如图8所示的特性曲线图判断出：这样的画质改善作用以9[Mbps]左右结束，其后，速率以15[Mbps]固定。
这样，在编码器14中，通过有关CBR和VBR之间的切换的上限速率LIMIT RATE的设定，可以限制编码数据的瞬时位速率，由此，可以通过该上限速率LIMIT RATE的切换来切换记录介质2的可记录时间。
与此相对，如(1)式所述，在各图片类型的序列开头设定的固定的量化比例QP INIT是后续图片中的产生码量的预测基准，由此，通过该固定的量化比例QP INIT的设定，可以使编码数据的平均产生码量可变。
由此，在本实施例中，如图9所示，控制部5使上限速率LIMITRATE、固定的量化比例QP INIT联动并切换，然后在长时间记录模式和标准时间记录模式之间切换动作模式。
(2)实施例1的动作
在以上的构成中，在该数码摄像机1中(图1)，由相机部3取得基于摄像结果的图像数据，该图像数据在相机DSP 121中受到自动白平衡调整等处理后，由编码器14进行编码处理。另外，通过控制部5将基于该编码处理结果的编码数据记录在记录介质2中，由此，想要的被摄体的摄像结果被记录于记录介质2。
在该编码器14中，该图像数据D1(图3)被依次设定图片类型，由离散余弦变换电路34对其与预测图像数据之间的差分数据进行离散余弦变换处理，并通过量化电路35对基于该处理结果确定的系数数据进行量化处理，然后由可逆编码电路36进行可逆编码处理，由此生成编码数据。而且，由逆量化电路37、逆离散余弦变换电路38、去块滤波器39对输入的图像数据D1进行解码，并存储在帧存储器40中。在编码器14中，使用作为该帧存储器40所存储的解码结果的图像数据，并通过内部预测电路11、中间预测电路12从多个预测模式中检测优选的内部预测及中间预测的预测模式，进而由后续的模式判定电路33对应图片类型从这些预测模式中检测的优选的预测模式。另外，将基于该优选的预测模式的预测图像数据输入给减法电路32。
与这样的编码处理同时并列，输入图像数据D1在编码控制电路31中，被事先预测各图片的产生码量，并通过该预测结果来控制量化电路35的量化比例，由此，产生码量得到控制且向记录介质2的记录时间得以保证。
然而，在该编码器14中，对于根据从这样多的预测模式中选择优选的预测模式并进行编码处理，通过现有技术中的一次通过方式中的方法来预测产生码量而言，无法正确地预测产生码量，这样，向各图片的码量分配不当，从而造成画质劣化。
因此，在该编码器14中，在分别与内部预测电路11、中间预测电路12相对应的内部预测电路41和简易中间预测电路44中，通过简易的处理来生成表示和本来的预测图像数据相同倾向的伪预测图像数据，并通过减法电路42、减法电路45生成与该伪预测图像数据之间的预测残差数据。而且，在产生码量预测电路46(图4)中，在每个图片上分别累加该预测残差数据，并检测各图片的残差数据BD(n)。由此，在编码器14中，可以检测表示编码难度的特征量。
在编码器14中，至少在各图片类型的序列开头，通过固定的量化比例QP INIT进行编码处理，并以该图片中的实际的产生码量BIT(0)为基准，通过该图片中的特征量BD(0)与在编码对象的图片上所检测的特征量BD(n)之间的比率来求得对于编码对象的图片的估算的预测码量ROUGH PRED(n)((1)式)。
这里，对于这样求得的估算的预测码量ROUGH PRED(n)而言，不够准确。而且，对于这样的方法之外的、例如将基于高频成分的特征量适用于估算的预测码量ROUGH PRED(n)时，也不够准确。
因此，在编码器14中，通过与图片类型相对应的校正系数ADJUST(n)来对这样求得的估算的预测码量ROUGH PRED(n)进行校正((2)式)，求得实际的预测码量TRUE PRED(n)，并根据该实际的预测码量TRUE PRED(n)，对输入图像数据进行编码处理并生成编码数据，根据该编码数据的实际的产生码量来生成对应的图片类型的校正系数ADJUST(n)((18)式)。但是，对于这样检测的实际的预测码量TRUE PRED(n)而言，可以确认以充足的精度与实际的产生码量相符。
这样，在本实施例中，由于可以以高精度预测产生码量，所以可以通过该预测出的产生码量来对各图片分配码量，并可比现有技术更为适当地对各图片分配码量，由此，不论是通过一次通过方式保证记录时间的情况，还是存在多个预测模式的情况，都可以适当地对各图片分配码量，并可以提高画质。
而且，这时，根据在刚结束编码处理之前的图片上所检测的估算的预测码量与对应的编码数据中的实际的产生码量之间的比率来设定校正系数ADJUST(n+1)((18)式)，这样，例如即使当图像变化且实际的预测码量TRUE PRED(n)的精度暂时降低时，也可以校正校正系数ADJUST(n+1)，提高实际的预测码量TRUEPRED(n)的精度，以便对应画质的变化，由此，即使当由于场景改变等而使图像变化时，仍然可以适当地对各画面分配码量，提高画质。
另外，至少在各图片类型的序列开头，通过固定的量化比例QP INIT来进行编码处理，并以该图片的实际的产生码量BIT(0)为基准，通过该图片的特征量与在编码对象的图片上所检测的特征量之间的比率来求得关于编码对象的图片的估算的预测码量ROUGH PRED(n)，并对该估算的预测码量ROUGH PRED(n)进行校正，求出实际的预测码量TRUE PRED(n)，从而在该编码器14中，以固定的量化比例QP INIT为基准，根据与有关该固定的量化比例QP INIT的特征量BD(0)相对的编码对象的图片上所检测的特征量BD(n)的相对变化来控制量化比例，进行编码处理。
这样，可以在图像编码之前以高精度预测和通过固定的量化比例进行编码时的码量大致同等的码量。
并且，由此，通过对应想要的画质来设定该固定的量化比例QP INIT，从而可以对平均产生码量进行各种设定，因此，可以通过简易的设定来设定各种的画质。即，在该编码器14中，通过切换向记录介质的记录模式，并通过控制部5来切换有关该各图片类型的序列开头的量化比例QP INIT，由此，对应记录模式来切换画质(图9)。
但是在该编码器14中，通过作为一定值(certain value)的上限速率LIMIT RATE来判定如上所述地检测的实际的预测码量TRUE PRED(n)，并当实际的预测码量TRUE PRED(n)小于上限速率LIMIT RATE时，将实际的预测码量TRUE PRED(n)设定为目标码量TARGET(n)，从而通过VBR来进行编码处理，并且，当实际的预测码量TRUE PRED(n)大于上限速率LIMIT RATE时，将与上限速率LIMIT RATE相对应的码量设定为目标码量，从而通过CBR来进行编码处理((11)式)。而且，通过TM5的步骤2的处理来设定量化比例，并对输入图像数据进行编码处理((12)～(16)式)，以便变为该目标码量。这样，编码器14通过CBR保证向记录介质2的可记录时间，同时，在产生码量少时，通过VBR进行编码处理，从而提高编码效率。
此外，这样通过实际的产生码量来切换基于VBR的编码和基于CBR的编码，该实际的产生码量的预测精度提高，从而可以顺利且瞬时地切换基于VBR的编码和基于CBR的编码，由此，可以防止在进行这样切换时发生不谐调。
另外，如上所述，在VBR和CBR之间切换编码控制，并对应记录模式，由控制部5切换该上限速率LIMIT RATE，由此，可以对应记录模式来切换编码数据的速率(图9)。这时，通过与该上限速率LIMIT RATE的切换相联动，而切换有关序列开头的量化比例QP INIT，从而可以切换平均产生码量，以便对应编码数据的速率的切换，由此，可以与动作模式的切换相对，在基于VBR的图像和基于CBR的图像之间大致同等地切换画质，并可以消除由动作模式的切换而造成的不谐调。
因此，对于这样地预测产生码量并通过VBR生成编码数据的情况而言，在为了使产生码量变为目标码量而设定量化电路35中的量化比例并进行编码处理时，通过与作为产生码量的预测基准的固定的量化比例不同的量化比例来进行编码处理。在这种情况下，对于通过根据实际的产生码量而求得的校正系数来校正估算的产生预测码量，并求得实际的产生码量而言，精度不足。
因此，在该编码器14中，将实际的产生码量TRUEPRED(n)校正为在将量化电路35的量化比例设定为作为一定基准的序列开头的固定的量化比例时所预测的产生码量。更具体地说，通过(17)式的运算处理，将实际的产生码量换算成将基于编码处理的量化比例设定为序列开头的固定的量化比例时的产生码量，并通过该换算后的产生码量来生成对应的图片类型的校正系数。
这样，在编码器14中，即使在进行速率控制的状态下，通常由于生成以固定量化比例进行编码时同等的产生码量，所以可以适当地对各图片设定码量，并可以提高画质。而且，由于通过有关校正系数ADJUST(n)的设定的反馈处理来实行这样的校正，因此，可以简化处理。
而且，如上所述，预测产生码量，同时，切换VBR和CBR来进行编码处理，在CBR的编码控制中，对于例如通过适用于MPEG2的TM5等的现有方法来设定各图片的目标码量而言，产生码量的脉动、所谓波动(fluctuation)变大(图5)。即，在TM5的方法中，从1个GOP的分配码量中减去1个图片的产生码量并计算剩余的分配码量，同时，将该剩余的分配码量逐个分配给剩余的图片，从而当在GOP的界限易于产生发生位的波动、脉动，特别是在GOP内难易度变化时，不能适当地实行向各图片的码量的分配。
因此，在编码器14中，与基于对应的图片类型的估算的预测码量一起，将按照其他图片类型对用于进行编码处理的图片进行编码处理时的、基于其他图片类型的估算的预测码量一并求出，而且，从基于该其他图片类型的概算预测码量，一并求出基于其他的图片类型的实际的预测码量。此外，通过这些基于对应的图片类型的实际的预测码量、和基于其他图片类型的实际的预测码量来对序列的每个图片计算其序列的瞬时速率((6)式)，并使用该瞬时速率来分配可分配的码量，设定目标码量((7)～(10)式)。
更具体地说，由于假定基于对应的图片类型的实际的预测码量、和基于其他图片类型的实际的预测码量是1GOP中的各图片的产生码量，所以可以分配可分配的码量，并设定目标码量。
由此，即使是在GOP中难易度变化时，在对应该变化向各图片设定目标码量的时刻，可以分别通过优选的分配来分配码量，并由此可以更为适当地对各图片分配码量。据此，可以防止脉动、波动并可提高画质。
与此相对，在基于VBR的编码处理中，对于单纯通过固定的量化比例来进行编码处理而言，以难易度低的序列画质劣化明显。因而，为了避免这样的画质劣化，若以这样的难易度低的序列为中心来调整量化比例，则当难易度高的序列连续时，难以保证记录时间。
因此，在编码器14中，对序列的每个图片计测该序列的瞬时速率((5)式)，由此来掌握序列的瞬时的难易度。而且，当为难易度低的瞬时速率低的序列时，有意地降低压缩率((3)及(4)式)，由此来防止这种难易度低的序列的画质劣化。
即，在实际的预测码量小于画质改善用基准值时，通过随实际的预测码量降低而增大的系数，使实际的预测码量增大，并设定目标码量，由此来防止难易度低的序列的画质劣化，其中，画质改善用基准值小于有关与CBR进行切换的一定值。
而且，如上所述，通过防止画质劣化，并通过一定值来限制该系数的增大，从而例如，在镜头盖(lens cap)未取下的状态开始误摄影时，可以降低产生码量，并减少无用的记录容量的消耗。
(3)实施例1的效果
根据以上的构成，通过校正系数对根据输入图像数据而预测的估算的产生码量进行校正，计算实际的预测码量，并根据该实际的预测码量来对输入图像数据进行编码处理，通过实际的产生码量设定对应的图片类型的校正系数，从而即使当通过一次通过方式来保证记录时间时，甚至当多种预测模式存在时，都可以适当地对各图片分配码量。
此外，此时，根据在已结束编码处理的图片上所检测的估算的预测码量与对应的编码数据的实际的产生码量之间的比率来设定校正系数，从而，即使当由于场景等图像变化时，也可以适当地对各图片分配码量，并可提高画质。
而且，至少对各图片类型的序列开头的图片，通过事先设定的固定的量化比例来对输入图像数据进行编码处理，并以基于该固定的量化比例的实际的产生码量为基准，根据在序列开头的图片上检测的、表示编码的难度的特征量与在编码对象的图片上检测的特征量之间的比率来对编码对象的图片计算估算的预测码量，从而可以以基于该固定的量化比例的产生码量为基准，高精度地预测产生码量，并可适当地分配码量。
但是，为了根据该实际的预测码量来设定目标码量，且为了使实际的产生码量变为该目标码量，而设定量化比例并进行编码处理，当实际的预测码量小于一定值时，将实际的预测码量设定为目标码量，当实际的预测码量大于该一定值时，将与该一定值相对应的码量设定为目标码量，从而可以保证可向记录介质进行记录的时间，并可提高编码效率。
而且，随基于用户的操作来切换有关各序列开头的固定的量化比例，从而可以切换编码数据的平均产生码量，并由此可通过想要的画质来记录摄像结果。
而且，与固定量化比例的切换相联动地切换与VBR和CBR之间的编码控制的切换相关的一定值，从而可以与可记录时间的切换相联动地切换平均产生码量，并可切换画质。
而且，根据实际的预测码量来设定目标码量，并设定量化比例并进行编码处理，以便实际的产生码量达到该目标码量，将实际的产生码量校正为当将该量化比例设定为一定基准的量化比例时所预测的产生码量，从而即使在通过VBR进行编码处理时，也可以高精度地求得基于CBR的产生码量，因此，也可以适当地对各图片分配码量。
具体而言，将实际的产生码量换算成将编码步骤中的量化比例设定为序列开头的固定的量化比例时的产生码量，并根据该换算后的产生码量生成校正系数，从而在有关校正系数的设定的反馈处理中，可以一并校正实际的预测码量，因此，可以简化处理。
更为具体地说，通过(17)式的运算处理来换算产生码量，从而可以高精度预测产生码量。而且将该(17)式中的常数k设定在-0.110＜k＜-0.115，并可以以实用上充分的精度来预测产生码量。更为优选k＝-0.1126，从而可以确保充分的精度。
并且，一并求得按照其他图片类型进行编码处理时的其他图片类型的估算的预测码量、和实际的预测码量，通过基于对应的图片类型的实际的预测码量和基于其他图片类型的实际的预测码量来分配可分配的码量，并可通过设定目标码量来有效地回避产生码量的脉动、波动，从而可以提高画质。
具体而言，通过假设基于对应的图片类型的实际的预测码量和基于其他图片类型的实际的预测码量是1GOP的各图片的产生码量来分配可分配的码量，并可通过设定目标码量来有效地回避产生码量的脉动、波动，从而可以提高画质。
另外，当实际的预测码量小于画质改善用基准值时，通过随实际的预测码量降低而增大的系数，使实际的预测码量增大并设定为目标码量，从而可以使编码难度低时的画质劣化不再醒目，其中，该画质改善用基准值小于与VBR和CBR之间的切换有关的一定值。
而且，此时，通过一定值来限制该系数的增大，从而可以防止在编码难度明显降低时无用的记录介质的耗费。
(4)实施例2
图10是表示本发明的实施例2涉及的个人计算机的框图。在本实施例中，通过该个人计算机60中的处理来对图像数据进行编码处理。
即，该个人计算机60通过输入输出接口61，将各种输入输出接口连接到总线BUS。在此，该输入输出接口包括基于键盘和鼠标等的输入部62、基于显示装置和扬声器等的输出部63、基于硬盘装置等的存储部64、基于调制解调器等的通信部65、基于光盘和磁盘等的记录介质66的记录再生相关的驱动器67等。
个人计算机60根据只读存储器(ROM)68的记录，通过中央处理单元(CPU)69起动整体的动作，并在随机存取存储器(RAM)70上确保工作区域，通过中央处理器69执行记录在存储部64的各种应用程序，从而执行想要的处理。该个人计算机60对该应用程序中的一个，设置与向光盘进行图像数据的记录再生相关的应用程序，并对该应用程序中的记录时的编码处理相关的编码处理程序，设置在实施例1中所述过的、通过软件来构成编码器14的编码处理程序。此外，在本实施例中，除通过执行该编码处理的程序来对图像数据进行编码处理这点之外，都和实施例1所述过的编码器14构成相同。
这里，图11是表示有关该编码处理程序的中央处理单元69的处理流程的流程图。当开始该处理流程时，中央处理单元69从步骤SP1移至步骤SP2，对输入图像数据进行内部预测和简易中间预测，并检测从图3所述的减法电路42、减法电路45输出的预测残差数据。而且，在后续的步骤SP3中，判断到该图片的最后的宏模块为止是否结束处理，在此，当获得否定的结果时，返回步骤SP2，并对后续的宏模块检测预测残差数据。与此相对，当在步骤SP3中获得肯定的结果时，从步骤SP3移至步骤SP4，执行(1)～(2)式的运算处理，并预测实际的产生码量。
而且，在后续的步骤SP5中，执行(3)～(10)式的运算处理，计算VBR、CBR的目标码量，并根据如式(11)所示的这些目标码量的比较来检测最终的目标码量TARGET(n)。
然后，在后续的步骤SP6中，检测有关本来的内部预测和中间预测的优选预测模式。而且，在后续的步骤SP7中，通过该优选预测模式来生成有关本来的编码处理的预测残差数据，对该预测残差数据进行离散余弦变换处理，得到系数数据，并对该系数数据进行量化处理、可逆编码处理，生成编码数据。在该处理中，中央处理单元69执行(12)～(16)式的运算处理并对每个宏模块设定量化比例，生成编码数据，以便实际的产生码量变为在步骤SP5中求得的目标码量。
并且，在后续的步骤SP8中，对编码数据进行逆量化处理、逆离散余弦变换处理，解码预测残差数据，在后续的步骤SP9中，从解码后的预测残差数据中解码图像数据，并通过去块滤波器除去块失真，将其暂时存储在作为帧存储器的随机存取存储器70中或者存储部64中。
接着，中央处理单元69在步骤SP10中判断是否到该图片的最后的宏模块为止结束处理，在此，当获得否定结果时，返回步骤SP6，开始关于后续宏模块的编码处理。与此相对，当在步骤SP10中获得肯定结果时，从步骤SP10移至步骤SP11，执行有关(17)式的运算处理，并将实际的产生码量换算成基于固定的量化比例的产生码量。另外，在后续的步骤SP12中，使用该换算后的产生码量，执行(18)式的运算处理，生成校正系数。
中央处理单元69在后续步骤SP13中，判断是否到序列的最后面为止结束编码处理，在此，当获得否定结果时，返回步骤SP2，开始后续的图片的处理，与此相对，当在步骤SP13中获得肯定结果时，从步骤SP13移至步骤SP14，结束该处理流程。
图12是详细表示有关图11的处理流程的步骤SP2的处理的流程图。当开始该处理流程时，中央处理单元69从步骤SP21移至步骤SP22，并生成基于内部预测的预测图像数据，在后续的步骤SP23中，使用基于该内部预测的预测图像数据来计算基于内部预测的预测残差数据。
然后，在后续的步骤SP24中，判断作为编码处理对象的图片是否为适用中间预测的B图片、P图片，在此，当获得否定结果时，从步骤SP24移至步骤SP25，并在将基于该内部预测的预测残差数据的合计值设定为该宏模块的残差数据BD之后，移至步骤SP26，返回原来的处理流程。
与此相对，当在步骤SP24中获得肯定结果时，中央处理单元69从步骤SP24移至步骤SP27，从输入图像数据中生成基于简易中间预测的预测图像数据，并在后续的步骤SP28中，通过该预测图像数据来计算基于中间预测的预测残差数据。而且，在后续的步骤SP29中，将基于中间预测的预测残差数据的合计值和基于内部预测的预测残差数据的合计值进行比较，当基于内部预测的预测残差数据的合计值较小时，移至步骤SP25，并将基于内部预测的预测残差数据的合计值设定为该宏模块的残差数据BD，然后移至步骤SP26，返回原来的处理流程。
与此相对，当基于中间预测的预测残差数据的合计值较小时，从步骤SP29移至步骤SP30，并将基于该中间预测的预测残差数据的合计值设定为该宏模块的残差数据BD，然后移至步骤SP26，返回原来的处理流程。
此外，虽然在该图10、图11所示的处理流程中未给予表示，但是中央处理单元69在该一系列的处理流程还一并计算通过在(7)式的运算处理所需的其他图片类型进行编码处理时的产生码量。
根据本实施例，对于在通过执行编码处理的程序来对图像数据进行编码处理的情况而言，可以获得与实施例1同样的效果。
(5)实施例3
图13是表示本发明的实施例3涉及的编码器的框图。该编码器74通过MPEG2对输入图像数据D1进行编码处理。
即，该编码器74通过减法电路75将输入图像数据D1输入给离散余弦变换电路76，并通过该离散余弦变换电路76生成系数数据。而且，通过量化电路77对该系数数据进行量化处理，并通过可逆编码电路78以编码数据D2进行输出。此外，通过逆量化电路79、逆离散余弦变换电路80、加法电路81对输入图像数据D1进行解码，并记录到该帧存储器82中。而且，在P图片、B图片中，通过使用记录于该帧存储器82的图像数据的运动补偿来生成预测图像数据，并将该预测图像数据输入给减法电路75。
在该编码器74中，编码控制电路83根据该输入图像数据D1来预测产生码量，并根据该预测结果设定量化电路77的量化比例，由此，通过基于一次通过方式的CBR对图像数据D1进行编码处理。
即，在编码控制电路83中，难度检测电路84对每个宏模块检测表示编码难度的特征量。在此，对于该特征量的检测而言，可以适用各种方法，例如可以适用输入图像数据中的高频成分的信号电平等。
产生码量预测电路85在图片单位上合计由该难度检测电路84所检测的特征量，通过获得该结果的合计值来检测各图片的实际的产生码量、和按照其他图片类型进行编码处理时的实际的产生码量。
目标码量确定电路86根据该产生码量预测电路85的处理结果来计算各图片的目标码量，并设定量化电路77的量化比例，以使实际的产生码量变为该目标码量。
图14是通过与图4相比，详细表示这些产生码量预测电路85、目标码量确定电路86的构成的框图。
产生码量预测电路85使用难度检测电路84所检测的特征量来代替残差数据MB BD，除计算估算的产生码量、实际的产生码量这点以外，均与实施例1所述的产生码量预测电路46的构成一样。
与此相对，目标码量确定电路86除不包括有关VBR的构成、有关CBR和VBR之间的切换的构成以外，均与实施例1所述目标码量确定电路47的构成相同。
根据本实施例，即使对于通过不包括多个预测模式的编码方式进行编码处理的情况，甚至即使对于只基于CBR的编码处理的情况而言，也可以获得与实施例1所述的基于CBR的编码控制有关的效果同样的效果。
即，通过校正系数对根据输入图像数据而预测的估算的产生码量进行校正并计算实际的预测码量，根据该实际的预测码量来分配可分配的码量，对输入图像数据进行编码处理，从而可以当通过一次通过方式保证记录时间时，适当地对各图片分配码量。
即，在现有的PMEG2中，通过TM5对各图片设定目标码量，并如图5及图6所述，当基于TM5时，产生码量的脉动、波动明显。但是，根据本实施例，通过瞬时速率来分配可分配的码量，从而可以防止这样的产生码量的脉动、波动，因此，可以适当地对各图片分配码量。此外，在本实施例中，虽然有关产生码量的预测的反馈环路(feedback loop)的构成与现有的MPEG2的编码器相比，较复杂，但是对于这种构成而言，例如当将MPEG2的编码器和AVC的编码器一体作成集成电路时，通过将实施例的构成适用于基于AVC的编码器，并将其构成的一部分使用在MPEG2的编码器中，从而可以简化。
(6)其他实施例
此外，在上述实施例中，已经对通过(17)式的处理，将实际的产生码量换算成通过一定基准的量化比例进行编码处理时的产生码量，并对实际的产生预测码量进行校正的情况进行了说明，但是本发明并不仅限于此，也可以例如，另外设置用于校正实际的产生预测码量的处理，甚至也可以通过估算的产生预测码量的校正来校正实际的产生预测码量。此外，在这种情况下，与(17)式相对应，需要对校正用的系数进行另外的运算处理。
此外，在上述实施例中，已经对通过(18)式的处理，仅根据前一图片的处理结果来设定校正系数ADJUST(n)的情况进行了说明，但是本发明并不仅限于此，也可以通过前一图片的处理结果对使用的校正系数ADJUST(n-1)进行校正，并设定校正系数ADJUST(n)。据此，不会由于闪光灯发光等的暂时的画质变化而导致实际的产生码量的预测精度劣化。
并且，在上述实施例中，已经对在VBR和CBR之间切换处理的情况、仅通过CBR进行编码处理的情况进行了说明，但是本发明并不仅限于此，对于有关平均产生码量的切换的构成、难度低时降低压缩率的构成而言，还可以广泛地适用于仅通过VBR进行编码处理的情况。
此外，在上述实施例中，已经对通过离散余弦变换处理来进行正交变换处理的情况进行了说明，但是本发明并不仅限于此，也可以广泛适用于基于卡路南-赖佛变换等的正交变换处理的情况等。
并且，在上述实施例中，已经对通过AVC、MPEG2进行编码处理的情况进行了说明，但是本发明并不仅限于此，还可以广泛适用于通过各种格式进行编码处理的情况。
产业上的可利用性
本发明涉及编码方法及编码装置，可以适用于例如摄像机。

Claims (21)

1.一种编码方法，其对基于输入图像数据的图片依次设定图片类型，并预测各图片的产生码量，同时，对所述输入图像数据进行编码处理，生成编码数据，其特征在于，包含：
估算的码量预测步骤，根据所述输入图像数据来预测所述编码数据的估算的产生码量，并输出估算的预测码量；
实际的码量预测步骤，通过与所述图片类型相对应的校正系数，对所述估算的预测码量进行校正，并计算实际的预测码量；
编码步骤，根据所述实际的预测码量，对所述输入图像数据进行编码处理，并生成所述编码数据；以及
系数设定步骤，检测所述编码数据的实际的产生码量，并设定对应的图片类型的所述校正系数。
2.根据权利要求1所述的编码方法，其特征在于，
在所述系数设定步骤中，根据在结束编码处理的图片上检测的所述估算的预测码量与对应的所述编码数据的实际的产生码量之间的比率，设定所述校正系数。
3.根据权利要求1所述的编码方法，其特征在于，
在所述编码步骤中，至少对于各图片类型的序列开头的图片，通过事先设定的固定的量化比例，对所述输入图像数据进行编码处理，
在所述估算的码量预测步骤中，以基于所述固定的量化比例的所述编码数据的实际的产生码量为基准，并根据在所述序列开头的图片上检测的、表示编码的难度的特征量与在编码对象的图片上检测的所述特征量之间比率，对所述编码对象的图片计算所述估算的预测码量。
4.根据权利要求1所述的编码方法，其特征在于，
所述编码方法还包括目标码量设定步骤，根据所述实际的预测码量来设定编码处理的目标码量，
在所述编码步骤中，通过设定量化比例并对所述输入图像数据进行编码处理，从而根据所述实际的预测码量，对所述输入图像数据进行编码处理，以便所述编码数据的实际的产生码量变为所述目标码量，
在所述目标码量设定步骤中，当所述实际的预测码量小于一定值时，将所述实际的预测码量设定为所述目标码量，以便通过VBR来生成所述编码数据，
当所述实际的预测码量大于所述一定值时，将与所述一定值相对应的码量设定为所述目标码量，以便通过CBR来生成所述编码数据。
5.根据权利要求1所述的编码方法，其特征在于，
在所述编码步骤中，至少对各图片类型的序列开头的图片，通过事先设定的固定的量化比例，对所述输入图像数据进行编码处理，
在所述估算的码量预测步骤中，以基于所述固定的量化比例的所述编码数据的实际的产生码量为基准，并根据在所述序列开头的图片上检测的、表示编码的难度的特征量与在编码对象的图片上检测的所述特征量之间的比率，对所述编码对象的图片计算所述估算的预测码量，
所述编码方法随基于使用者的操作来切换所述固定的量化比例，从而切换所述编码数据的平均产生码量。
6.根据权利要求5所述的编码方法，其特征在于，
所述编码方法包括目标码量设定步骤，根据所述实际的预测码量来设定编码处理的目标码量，
在所述编码步骤中，设定量化比例并对所述输入图像数据进行编码处理，从而根据所述实际的预测码量来对所述输入图像数据进行编码处理，以便所述编码数据的实际的产生码量变为所述目标码量，
在所述目标码量设定步骤中，当所述实际的预测码量小于一定值时，将所述实际的预测码量设定为所述目标码量，以便通过VBR来生成所述编码数据，
当所述实际的预测码量大于所述一定值时，将与所述一定值相对应的码量设定为所述目标码量，以便通过CBR生成所述编码数据，
所述编码方法与所述固定的量化比例的切换相联动地切换与所述VBR和CBR之间的编码控制的切换相关的所述一定值。
7.根据权利要求6所述的编码方法，其特征在于，
通过所述一定值及所述量化比例的切换来切换记录所述编码数据的记录介质的可记录时间。
8.根据权利要求1所述的编码方法，其特征在于，
所述编码方法包括：
目标码量设定步骤，根据所述实际的预测码量来设定编码处理的目标码量；以及
校正步骤，校正所述实际的预测码量，
在所述编码步骤中，设定量化比例并对所述输入图像数据进行编码处理，从而根据所述实际的预测码量，对所述输入图像数据进行编码处理，以便所述编码数据的实际的产生码量变为所述目标码量，
在所述校正步骤中，将所述实际的预测码量校正为当将所述量化比例设定成一定基准的量化比例时所预测的产生码量。
9.根据权利要求8所述的编码方法，其特征在于，
在所述校正步骤中，将所述实际的产生码量换算成当将所述编码步骤中的量化比例设定为一定基准的量化比例时的产生码量，并通过所述换算出的产生码量来设定所述对应的图片类型的所述校正系数，从而对所述实际的预测码量进行校正。
10.根据权利要求9所述的编码方法，其特征在于，
在所述系数设定步骤中，通过BIT BY CONSTQ PRED＝e^(k*(QP CONSTQ-QP AVERAGE))*BIT的运算来换算所述实际的产生码量，
其中，BIT BY CONSTQ PRED是换算后的产生码量，QPAVERAGE是进行实际的编码时的各宏模块中的量化比例的平均量化比例，QP CONSTQ是所述一定基准的量化比例，BIT是所述实际的产生码量，k是系数，^是幂算子。
11.根据权利要求10所述的编码方法，其特征在于，
所述系数k为-0.1126。
12.根据权利要求8所述的编码方法，其特征在于，
在所述目标码量设定步骤中，当所述实际的预测码量小于一定值时，将所述实际的预测码量设定为所述目标码量，以便通过VBR生成所述编码数据，
当所述实际的预测码量大于所述一定值时，将与所述一定值相对应的码量设定为所述目标码量，以便通过CBR生成所述编码数据。
13.根据权利要求8所述的编码方法，其特征在于，
在所述编码步骤中，至少对各图片类型的序列开头的图片，通过事先设定的固定的量化比例，对所述输入图像数据进行编码处理，
在所述估算的码量预测步骤中，以基于所述固定的量化比例的所述编码数据的实际的产生码量为基准，并根据在所述序列开头的图片上检测的、表示编码的难度的特征量与在编码对象的图片上检测的所述特征量之间的比率，对所述编码对象的图片计算所述估算的预测码量，
所述编码方法随基于使用者的操作而切换所述固定的量化比例，从而切换所述编码数据的平均产生码量。
14.根据权利要求13所述的编码方法，其特征在于，
在所述目标码量设定步骤中，当所述实际的预测码量小于一定值时，将所述实际的预测码量设定为所述目标码量，以便通过VBR生成所述编码数据，
当所述实际的预测码量大于所述一定值时，将与所述一定值相对应的码量设定为所述目标码量，以便通过CBR来生成所述编码数据，
与所述固定的量化比例的切换相联动地切换与所述VBR和CBR之间的编码控制的切换相关的所述一定值。
15.根据权利要求14所述的编码方法，其特征在于，
通过所述一定值及所述量化比例的切换，而切换记录所述编码数据的记录介质的可记录时间。
16.根据权利要求1所述的编码方法，其特征在于，
所述编码方法包括目标码量设定步骤，根据所述实际的预测码量，设定编码处理的目标码量，
在所述编码步骤中，设定量化比例并对所述输入图像数据进行编码处理，以便所述编码数据的实际的产生码量变为所述目标码量，
在所述概算码量预测步骤中，一并计算按照其他图片类型对用于进行编码处理的图片进行编码处理时的、基于其他图片类型的所述估算的预测码量，
在所述实际的码量预测步骤中，根据所述其他图片类型的估算的预测码量，一并求得基于所述其他图片类型的实际的预测码量，
在所述目标码量设定步骤中，通过基于对应的图片类型的所述实际的预测码量、和基于所述其他图片类型的实际的预测码量，分配可分配的码量并设定所述目标码量。
17.根据权利要求16所述的编码方法，其特征在于，
所述可分配的码量的分配是假定基于所述对应的图片类型的所述实际的预测码量、和基于所述其他图片类型的实际的预测码量是1GOP中的各图片的产生码量而进行的分配。
18.根据权利要求1所述的编码方法，其特征在于，
所述编码方法包括目标码量设定步骤，根据所述实际的预测码量，设定编码处理的目标码量，
在所述编码步骤中，设定量化比例并对所述输入图像数据进行编码处理，以便所述编码数据的实际的产生码量变为所述目标码量，
在所述目标码量设定步骤中，当所述实际的预测码量小于一定值时，将所述实际的预测码量设定为所述目标码量，以便通过VBR生成所述编码数据，其中，所述一定值大于所述画质改善的基准值，同时，
当所述实际的预测码量大于所述一定值时，将与所述一定值相对应的码量设定为所述目标码量，以便通过CBR生成所述编码数据，
当所述实际的预测码量小于所述画质改善用的基准值时，通过随所述实际的预测码量降低而增大的系数，使所述实际的预测码量增大并设定为所述目标码量。
19.根据权利要求18所述的编码方法，其特征在于，
在所述目标码量设定步骤中，通过一定值来限制所述系数的增大。
20.一种编码装置，其对基于输入图像数据的图片依次设定图片类型，对每个图片预测产生码量，同时，对所述输入图像数据进行编码处理并生成编码数据，所述编码装置的特征在于，包括：
估算的码量预测单元，通过所述输入图像数据来预测所述编码数据的估算的产生码量，并输出估算的预测码量；
实际的码量预测单元，通过与所述图片类型相对应的校正系数，对所述估算的预测码量进行校正，并计算实际的预测码量；
编码单元，根据所述实际的预测码量，对所述输入图像数据进行编码处理，并生成所述编码数据；以及
系数设定单元，检测所述编码数据的实际的产生码量，并设定对应的图片类型的所述校正系数。
21.根据权利要求20所述的编码装置，其特征在于，
从整体保持的摄像单元中输入所述输入图像数据。
CN2006800073059A 2005-03-07 2006-01-19 编码方法及编码装置 Expired - Fee Related CN101138249B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP061758/2005 2005-03-07
JP2005061758A JP4543971B2 (ja) 2005-03-07 2005-03-07 符号化方法、符号化装置、符号化処理のプログラム及び符号化処理のプログラムを記録した記録媒体
PCT/JP2006/301173 WO2006095501A1 (ja) 2005-03-07 2006-01-19 符号化方法、符号化装置、符号化処理のプログラム及び符号化処理のプログラムを記録した記録媒体

Publications (2)

Publication Number Publication Date
CN101138249A CN101138249A (zh) 2008-03-05
CN101138249B true CN101138249B (zh) 2010-04-14

Family

ID=36953105

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006800073059A Expired - Fee Related CN101138249B (zh) 2005-03-07 2006-01-19 编码方法及编码装置

Country Status (12)

Country Link
EP (1) EP1865727A1 (zh)
JP (1) JP4543971B2 (zh)
KR (1) KR101244611B1 (zh)
CN (1) CN101138249B (zh)
AU (1) AU2006221586B2 (zh)
BR (1) BRPI0608568A2 (zh)
CA (1) CA2598784A1 (zh)
HK (1) HK1110161A1 (zh)
MY (1) MY148099A (zh)
RU (1) RU2344566C1 (zh)
TW (1) TW200633541A (zh)
WO (1) WO2006095501A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8520739B2 (en) * 2005-05-09 2013-08-27 Intel Corporation Method and apparatus for adaptively reducing artifacts in block-coded video
JP4787100B2 (ja) 2006-07-27 2011-10-05 パナソニック株式会社 画像符号化装置
TWI433545B (zh) * 2007-10-30 2014-04-01 Nippon Telegraph & Telephone 影像編碼裝置及影像解碼裝置
US8542730B2 (en) * 2008-02-22 2013-09-24 Qualcomm, Incorporated Fast macroblock delta QP decision
JP5250824B2 (ja) * 2008-05-30 2013-07-31 株式会社メガチップス トランスコーダ
CA2722051C (en) * 2008-06-05 2014-01-21 Nippon Telegraph And Telephone Corporation Method and apparatus for variable video bitrate control in which picture bitrate correction is limited to be within a calculated range
RU2471306C2 (ru) * 2008-06-27 2012-12-27 Сони Корпорейшн Устройство обработки изображений и способ обработки изображений
BRPI0904323A2 (pt) * 2008-06-27 2015-06-30 Sony Corp Aparelho e método de processamento de imagem
TWI440363B (zh) * 2009-02-19 2014-06-01 Sony Corp Image processing apparatus and method
WO2010146771A1 (ja) * 2009-06-19 2010-12-23 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
KR101768207B1 (ko) 2010-01-19 2017-08-16 삼성전자주식회사 축소된 예측 움직임 벡터의 후보들에 기초해 움직임 벡터를 부호화, 복호화하는 방법 및 장치
JP5746496B2 (ja) * 2010-12-03 2015-07-08 キヤノン株式会社 撮像装置
US9832540B2 (en) 2010-12-15 2017-11-28 Hulu, LLC Method and apparatus for hybrid transcoding of a media program
KR101931276B1 (ko) * 2011-01-07 2018-12-20 가부시키가이샤 엔.티.티.도코모 움직임 벡터의 예측 부호화 방법, 예측 부호화 장치, 및 예측 부호화 프로그램, 그리고 움직임 벡터의 예측 복호 방법, 예측 복호 장치, 및 예측 복호 프로그램
US8665345B2 (en) * 2011-05-18 2014-03-04 Intellectual Ventures Fund 83 Llc Video summary including a feature of interest
WO2013001957A1 (ja) * 2011-06-28 2013-01-03 ソニー株式会社 画像処理装置と画像処理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5933532A (en) * 1996-08-30 1999-08-03 Sony Corporation Video data compression apparatus and method of same
CN1354605A (zh) * 2000-11-20 2002-06-19 松下电器产业株式会社 画面编码方法、画面编码设备和图像中继设备
CN1434638A (zh) * 2003-03-08 2003-08-06 华中科技大学 一种视频编码比特率控制方法
US6714592B1 (en) * 1999-11-18 2004-03-30 Sony Corporation Picture information conversion method and apparatus

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0775095A (ja) * 1993-09-03 1995-03-17 Toshiba Corp レート制御回路
JPH11168724A (ja) * 1997-12-02 1999-06-22 Sony Corp 符号化装置及び符号化方法
JP4362795B2 (ja) * 1999-07-13 2009-11-11 日本ビクター株式会社 動画像符号化装置及びその方法
EP1470726A1 (en) * 2001-12-31 2004-10-27 STMicroelectronics Asia Pacific Pte Ltd. Video encoding
JP2004266640A (ja) * 2003-03-03 2004-09-24 Nec Corp 動画像符号化装置、動画像符号化方法、およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5933532A (en) * 1996-08-30 1999-08-03 Sony Corporation Video data compression apparatus and method of same
US6714592B1 (en) * 1999-11-18 2004-03-30 Sony Corporation Picture information conversion method and apparatus
CN1354605A (zh) * 2000-11-20 2002-06-19 松下电器产业株式会社 画面编码方法、画面编码设备和图像中继设备
CN1434638A (zh) * 2003-03-08 2003-08-06 华中科技大学 一种视频编码比特率控制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JP特开平11-168724A 1999.06.22

Also Published As

Publication number Publication date
TW200633541A (en) 2006-09-16
KR101244611B1 (ko) 2013-03-25
BRPI0608568A2 (pt) 2011-01-04
WO2006095501A1 (ja) 2006-09-14
CA2598784A1 (en) 2006-09-14
RU2344566C1 (ru) 2009-01-20
AU2006221586B2 (en) 2010-09-16
TWI320663B (zh) 2010-02-11
CN101138249A (zh) 2008-03-05
KR20070108528A (ko) 2007-11-12
AU2006221586A1 (en) 2006-09-14
MY148099A (en) 2013-02-28
EP1865727A1 (en) 2007-12-12
JP2006246276A (ja) 2006-09-14
JP4543971B2 (ja) 2010-09-15
HK1110161A1 (en) 2008-07-04

Similar Documents

Publication Publication Date Title
CN101138249B (zh) 编码方法及编码装置
US8363717B2 (en) Image processing apparatus
JP4569840B2 (ja) 画像符号化装置、画像符号化方法
CN103650504B (zh) 基于图像捕获参数对视频编码的控制
US5384644A (en) Image processing method and apparatus for encoding variable-length data
US7313318B2 (en) Video signal encoding and recording apparatus with variable transmission rate
RU2341036C2 (ru) Устройство обработки сжатия изображения, способ обработки сжатия изображения и программа обработки сжатия изображения
CN101971635B (zh) 针对视频编码中的速率控制精度的方法及装置
EP0825779B1 (en) Moving picture coding apparatus/method with output buffer memory control
EP1860886A1 (en) Encoding device and dynamic image recording system having the encoding device
US20060126735A1 (en) Image-encoding apparatus, image-encoding method, computer program, and computer-readable medium
US10091521B2 (en) Image encoding device, captured image recording system, imaging device, method of encoding image, and image encoding program
US20090161758A1 (en) Code amount control method, code amount control device, and camera system
JPH1198502A (ja) 動画像符号化装置
US20070253485A1 (en) Picture Signal Processing Device, Picture Signal Processing Method, Recording Medium, Program, and Video Camera
JP2000261799A (ja) 可変レート動画像符号化装置
JP4844094B2 (ja) デジタルスチルカメラ
US20040042550A1 (en) Encoding system conversion apparatus and method for same
JP2005303577A (ja) 画像信号処理装置および方法、記録媒体、プログラム、並びにビデオカメラ
US10887601B1 (en) Method and image processing device for video bit-rate control
JP3112497B2 (ja) 情報処理装置
Hsu et al. A new sampling method of auto focus for voice coil motor in camera modules
KR20070030770A (ko) 화상 신호 처리 장치 및 방법, 기록 매체, 프로그램, 및비디오 카메라
EP0926883A1 (en) Image processing method and apparatus
Jun et al. A CBR Rate Control Algorithm Based on IQM

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1110161

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1110161

Country of ref document: HK

C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100414

Termination date: 20140119