CN101601301B - 视频处理方法及装置 - Google Patents

视频处理方法及装置 Download PDF

Info

Publication number
CN101601301B
CN101601301B CN2007800484173A CN200780048417A CN101601301B CN 101601301 B CN101601301 B CN 101601301B CN 2007800484173 A CN2007800484173 A CN 2007800484173A CN 200780048417 A CN200780048417 A CN 200780048417A CN 101601301 B CN101601301 B CN 101601301B
Authority
CN
China
Prior art keywords
optimum
cut zone
bandwidth
view data
filtering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2007800484173A
Other languages
English (en)
Other versions
CN101601301A (zh
Inventor
三反崎晓经
上仓一人
小野尚纪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of CN101601301A publication Critical patent/CN101601301A/zh
Application granted granted Critical
Publication of CN101601301B publication Critical patent/CN101601301B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H04N19/194—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive involving only two passes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种视频处理方法，将构成视频的处理对象的图像分割成多个分割区域，决定对所述分割区域应用的带宽，算出实现以该带宽限制频带时的频率特性的滤波系数排列，按照每个所述分割区域，利用所述滤波系数排列对图像数据进行滤波处理，导出所得到的数据与原来图像数据的误差信息的值，基于该误差信息的值算出用于最佳带宽决定的分配系数，按照每个所述分割区域，决定与所述分配系数对应的最佳带宽，算出实现以该最佳带宽限制频带时的频率特性的最佳滤波系数排列，利用它对所述分割区域的图像数据进行滤波处理，对得到的各分割区域的数据进行综合。

Description

视频处理方法及装置
技术领域
本发明涉及能够以简化对构成视频的图像的适应性滤波处理的处理来实现的视频处理方法及其装置、实现该视频处理方法时采用的视频处理程序及记录该程序的计算机可读取的记录介质。
本申请基于2006年12月28日申请的日本特愿2006-353610号主张优先权，并在此处援引其内容。
背景技术
众所周知，作为视频编码的前处理常常被使用的前置滤波器(prefilter)具有缓冲伴随编码的块失真(block distortion)或蚊式噪声(mosquito noise)等并提高主观的图像品质的效果。通过限制所采用的前置滤波器的通过频带宽度(以下，简称为带宽)，除去原图像所包含的噪声并提高编码效率，但是如果将带宽限制过窄，就会显著降低图像品质。
图23示出限制频带的图像处理方法。
如该图所示，在限制频带的图像处理方法中，首先，输入原图像数据B(1)，并将它变换为频率分量I(1)(步骤S1000)。接着，以带宽r1(0＜r1＜1)对该频率分量I(1)进行频带限制，得到频率分量I(r1)(步骤S1100)。接着，通过对该频率分量I(r1)进行图像变换，生成滤波处理的图像数据B(r1)(步骤S1200)。
对于某一视频的全部帧以相同的带宽应用这样的图像处理的场合，由于每个帧上图像的频率特性不同，应用滤波器后的每帧的图像品质不同，包含许多低频分量的图像中与原图像之间的差分小，且主观及客观上的图像品质的降低也小，但是存在以下问题，即，在包含许多高频分量的图像中边缘等被平滑而模糊，主观及客观上的图像品质显著降低。
此外，客观图像品质评价值经常使用诸如PSNR(峰值信噪比：Peak Signal to Noise Ratio)。在此，若S表示信号电平、N表示噪声电平，则PSNR一般由下式表示。
PSNR＝20×log10(S/N)
在实际处理中，设原图像的亮度值为8bit(＝0～255)的场合，PSNR是通过下式来获得。
PSNR = 20 log 10 [ 255 / 1 N Σ x = 0 N - 1 Σ y = 0 N - 1 { f ( x , y ) - f ′ ( x , y ) } 2 ]
在此，N表示原图像及应用滤波器后图像的像素数，f(x，y)表示原图像的像素值，f’(x，y)表示应用滤波器后图像的像素值。“255”成为两图像的像素的最大振幅(亮度值)。
即，在实际处理中，比较原图像与应用滤波器后的图像(具体根据上式)，算出PSNR。
对于上述的问题，考虑通过对全部图像轮流进行频带限制来进行主观、客观的图像品质控制的方法。
图24中示出通过进行轮流的频带限制来生成最佳滤波图像数据的最佳滤波图像生成装置1000的装置结构。
如该图所示，最佳滤波图像生成装置1000由以下部分构成：原图像数据输入部1100、频率分量分析部1200、带宽手动选择部1300、频带限制部1400、图像数据生成部1500、PSNR计算部1600、图像品质判定部1700、以及最佳频带限制图像数据输出部1800。
图25中示出在如此构成的最佳滤波图像生成装置1000中执行的通过进行轮流的频带限制来生成最佳滤波图像数据的图像处理方法。
在这样构成的最佳滤波图像生成装置1000中，首先，利用原图像数据输入部1100来输入原图像数据B(1)，在频率分量分析部1200来将它变换为频率分量I(1)(步骤S2000)。
接着，利用带宽手动选择部1300手动选择暂定的带宽r1(步骤S2100)。接着，在频带限制部1400中，对于变换后的频率分量I(1)以选择的带宽r1进行频带限制，得到频率分量I(r1)(步骤S2200)。
接着，在图像数据生成部1500中，通过对该频率分量I(r1)进行图像变换来生成图像数据B(r1)(步骤S2300)。接着，在PSNR计算部1600中，比较原图像数据B(r1)与该图像数据B(r1)，算出PSNR(作为P(r1))(步骤S2400)。
接着，在图像品质判定部1700中，判定算出的P(r1)是否为所希望的图像品质(步骤S2500)。然后，如果是所希望的图像品质，最佳频带限制图像数据输出部1800就输出图像数据B(r1)作为最佳频带限制图像数据(最佳滤波图像数据)(步骤S2600)。
但是，经第1次的处理获得的P(r1)为所希望的图像品质的情形很少，在不是所希望的图像品质的场合回到带宽手动选择部1300的处理(步骤S2100的处理)，再次选择带宽r2，同样地重复频带限制、图像生成及PSNR计算处理，以使频带限制处理后的图像接近所希望的图像品质。
然后，将本处理重复N次，直到获得所希望的图像品质，将最终得到的带宽rN作为最佳带宽，最佳频带限制图像数据输出部1800输出利用该带宽rN作成的图像数据B(rN)作为最佳频带限制图像数据(最佳滤波图像数据)(步骤S2600)。
但是，对于各式各样的视频及构成这些视频的全部帧进行滤波处理，评价每次获得的图像信号的主观或客观的图像品质，对视频的全部帧轮流重复本处理，直到获得同等的图像品质，这样的手法在处理许多图像的状况下，存在时间上、成本上不合适，且不现实的问题。
对于该问题，众所周知从图像及视频的编码信息求出最佳带宽，进行图像处理的技术(例如，参照专利文献1)。
图26中示出通过利用编码信息来生成最佳滤波图像数据的最佳滤波图像生成装置2000的装置结构。
该图所示，最佳滤波图像生成装置2000由以下部分构成：原图像数据输入部2100、频率分量分析部2200、图像数据编码部2300、最佳频带限制宽度决定部2400、频带限制部2500、图像数据生成部2600、以及最佳频带限制图像数据输出部2700。
在图27中示出在通过利用这样构成的最佳滤波图像生成装置2000中执行的编码信息来生成最佳滤波图像数据的图像处理方法。
在这样构成的最佳滤波图像生成装置2000中，首先，利用原图像数据输入部2100输入原图像数据B(1)，在频率分量分析部2200中，将它变换为频率分量I(1)(步骤S3000)。
接着，在图像数据编码部2300中，对所输入的原图像数据B(1)进行编码(步骤S3100)。接着，在最佳频带限制宽度决定部2400中，基于编码获得的代码量信息决定最佳带宽r1(步骤S3200)。
接着，在频带限制部2500中，对于变换后的频率分量I(1)，以决定的最佳带宽r1来进行频带限制，得到频率分量I(r1)(步骤S3300)。接着，在图像数据生成部2600中，通过对该频率分量I(r1)进行图像变换生成图像数据B(r1)(步骤S3400)。
最后，在最佳频带限制图像数据输出部2700中，输出图像数据B(r1)作为最佳频带限制图像数据(最佳滤波图像数据)(步骤S3500)。
如此，在图26那样构成的传统最佳滤波图像生成装置2000中，进行一次编码，基于通过该编码来获得的编码信息，决定最佳带宽を决定，从而如图24那样构成的最佳滤波图像生成装置1000中不需要重复处理，以生成最佳滤波图像数据。
专利文献1：日本特开平6-225276号公报
确实，依据如图26那样构成的传统的最佳滤波图像生成装置2000，就无需进行如图24那样构成的最佳滤波图像生成装置1000中必需的重复处理，就能生成最佳滤波图像数据。
但是，在如图26那样构成的传统的最佳滤波图像生成装置2000中，进行一次编码，基于通过该编码获得的编码信息决定最佳带宽。
在利用这种编码信息的手法中存在这样的问题，即，频带限制处理与编码处理是不可分的，即便只想进行利用最佳带宽的前置滤波处理的场合，也需要编码处理，在进行前置滤波处理后进行编码处理的场合，需要两次的编码处理，在图像尺寸大等情况下，处理尤其花时间。
从这些方面来看，作为前置滤波而使用的带宽的最优化能够比使用代码量等编码信息的手法简化处理，且希望根据主观或客观的图像品质评价基准可任意控制的手法。
发明内容
本发明鉴于上述问题构思而成，其目的在于提供一种新的视频处理技术，能够在不做编码处理且不做重复处理的情况下实现对构成视频的图像的适应性滤波处理，并且在实现时，通过实现考虑了视频的帧内及帧间的频率分布的适应性滤波处理，能够有效地生成具有规定图像品质评价值的滤波图像。
[A]第一结构
为了达成上述目的，本发明的视频处理装置的结构中包括：(1)分割单元，将构成视频的处理对象的图像分割为多个分割区域；(2)第一带宽决定单元，对于分割单元分割的分割区域决定应用的第一带宽；(3)第一滤波系数排列计算单元，算出实现以第一带宽决定单元决定的第一带宽进行频带限制时的频率特性的第一滤波系数排列；(4)滤波分割图像数据生成单元，按照分割单元分割的每个分割区域，利用第一滤波系数排列计算单元算出的第一滤波系数排列，对分割区域的图像数据进行滤波处理，生成滤波分割图像数据；(5)分配系数计算单元，按照分割单元分割的每个分割区域，导出分割区域的图像数据与滤波分割图像数据生成单元生成的滤波分割图像数据之间的误差信息的值，并基于该值算出用于最佳带宽的决定的分配系数；(6)最佳带宽决定单元，按照分割单元分割的每个分割区域，决定与分配系数计算单元算出的分配系数对应的最佳带宽；(7)最佳滤波系数排列计算单元，按照分割单元分割的每个分割区域，算出实现以最佳带宽决定单元决定的最佳带宽进行频带限制时的频率特性的最佳滤波系数排列；(8)最佳滤波分割图像数据生成单元，按照分割单元分割的每个分割区域，利用最佳滤波系数排列计算单元算出的最佳滤波系数排列，对分割区域的图像数据进行滤波处理，生成最佳滤波分割图像数据；以及(9)综合单元，综合最佳滤波分割图像数据生成单元生成的每个分割区域的最佳滤波分割图像数据。
采用该结构时，具备：比较单元，按照每个分割区域，将最佳带宽决定单元决定的最佳带宽与位于周边的分割区域的最佳带宽进行比较；以及修正单元，基于比较单元的比较结果，对最佳带宽决定单元决定的最佳带宽进行修正。
此外，在采用该结构时，具备：判断单元，按照每个分割区域，利用前或后或前后的帧的图像数据，判断分割区域的图像数据是否为活动的图像数据；以及修正单元，对于判断单元判断为活动的图像数据的分割区域，修正最佳带宽决定单元决定的最佳带宽。
该场合，所述判断的单元判断所述分割区域的图像数据是否为活动的高频分量的图像数据，所述修正最佳带宽的单元对于判断为所述活动的高频分量的图像数据的分割区域，修正对该分割区域所决定的最佳带宽也可。
由以上各处理单元动作而实现的本发明的视频处理方法也能够在计算机程序中实现，该计算机程序通过记录在适当的计算机可读取的记录介质来提供，或者经由网络提供，在实施本发明时安装而在CPU等控制单元上动作，从而实现本发明。
[B]第二结构
为了达成上述目的，本发明的视频处理装置的结构中包括：(1)第一带宽决定单元，决定设定在构成视频的处理对象的图像上的、对划分该图像的分割区域应用的第一带宽；(2)第一滤波系数排列计算单元，算出实现以第一带宽决定单元决定的第一带宽限制频带时的频率特性的第一滤波系数排列；(3)滤波图像数据生成单元，利用第一滤波系数排列计算单元算出的第一滤波系数排列，对处理对象的图像的图像数据进行滤波处理而生成滤波图像数据；(4)分配系数计算单元，按照每个分割区域，导出处理对象的图像的图像数据和滤波图像数据生成单元生成的滤波图像数据之间的误差信息的值，基于该误差信息的值，算出用于最佳带宽决定的分配系数；(5)最佳带宽决定单元，按照每个分割区域，决定与分配系数计算单元算出的分配系数对应的最佳带宽；(6)最佳滤波系数排列计算单元，按照每个分割区域，算出实现以最佳带宽决定单元决定的最佳带宽限制频带时的频率特性的最佳滤波系数排列；(7)最佳滤波分割图像数据生成单元，按照每个分割区域，利用最佳滤波系数排列计算单元算出的最佳滤波系数排列，对分割区域的图像数据进行滤波处理而生成最佳滤波分割图像数据；以及(8)综合单元，综合最佳滤波分割图像数据生成单元生成的每个分割区域的最佳滤波分割图像数据。
采用该结构时，具备：比较单元，按照每个分割区域，将最佳带宽决定单元决定的最佳带宽与位于周边的分割区域的最佳带宽进行比较；以及修正单元，基于比较单元的比较结果，对最佳带宽决定单元决定的最佳带宽进行修正。
此外，在采用该结构时，具备：判断单元，按照每个分割区域，利用前或后或前后的帧的图像数据，判断分割区域的图像数据是否为活动的图像数据；以及修正单元，对于判断单元判断为活动的图像数据的分割区域，修正最佳带宽决定单元决定的最佳带宽。
该场合，所述判断的单元判断所述分割区域的图像数据是否为活动的高频分量的图像数据，所述修正最佳带宽的单元对于判断为所述活动的高频分量的图像数据的分割区域，修正对该分割区域所决定的最佳带宽也可。
由以上各处理单元动作而实现的本发明的视频处理方法也能够在计算机程序中实现，该计算机程序通过记录在适当的计算机可读取的记录介质来提供，或者经由网络提供，在实施本发明时安装而在CPU等控制单元上动作，从而实现本发明。
[C]本发明的处理
在这样构成的第一结构的本发明的视频处理装置中，如果输入构成视频的处理对象的图像，就将处理对象的图像分割为多个分割区域，例如，基于该分割区域的大小决定第一带宽，从而决定对该分割区域应用的第一带宽。
接着，算出实现以决定的第一带宽限制频带时的频率特性的第一滤波系数排列，按照每个分割区域，利用该算出的第一滤波系数排列，对分割区域的图像数据进行滤波处理而生成滤波分割图像数据。
接着，按照每个分割区域，导出分割区域的图像数据与所生成的滤波分割图像数据之间的误差信息的值(例如PSNR值)，并基于该误差信息的值算出用于最佳带宽决定的分配系数。
例如，在不做频带限制的状态下极限接近时获得的误差信息的值除以所导出的误差信息的值来算出分配系数。
另一方面，在这样构成的第二结构的本发明的视频处理装置中，如果输入构成视频的处理对象的图像，例如就基于设定在处理对象的图像上的划分该图像的分割区域的大小决定第一带宽，从而决定对该分割区域应用的第一带宽。
接着，算出实现以决定的第一带宽限制频带时的频率特性的第一滤波系数排列，利用该算出的第一滤波系数排列，对处理对象的图像的图像数据进行滤波处理，从而生成滤波图像数据。
接着，按照每个分割区域，导出处理对象的图像的图像数据与所生成的滤波图像数据之间的误差信息的值(例如PSNR值)，基于该误差信息的值算出用于最佳带宽决定的分配系数。
例如，在不做频带限制的状态下极限接近时获得的误差信息的值除以所导出的误差信息的值，从而算出分配系数。
如此，按照每个分割区域算出分配系数后的处理，在第一及第二结构中不会改变。
即，按照每个分割区域，例如参照描述分配系数与最佳带宽的对应关系的最佳带宽决定表，决定与所算出的分配系数对应的最佳带宽。
这时，在最佳带宽决定表是对应图像的大小及误差信息的目标值而准备的场合，从其中选择与分割区域的大小和指定的误差信息的目标值对应的最佳带宽决定表，参照该选择的最佳带宽决定表，决定与分配系数对应的最佳带宽。
接着，按照每个分割区域，算出实现以决定的最佳带宽限制频带时的频率特性的最佳滤波系数排列，按照每个分割区域，利用该算出的最佳滤波系数排列，对分割区域的图像数据进行滤波处理而生成最佳滤波分割图像数据。
最后，综合所生成的最佳滤波分割图像数据，从而生成对于处理对象的图像的滤波图像。
如此，在本发明中，在不做编码处理且不做重复处理的情况下，实现自动进行将处理对象的图像变换为具有规定图像品质评价值的图像的滤波处理。
在这样构成的本发明中，按照每个分割区域，利用对该分割区域算出的最佳滤波系数排列来执行滤波处理，因此对于最终生成的处理对象的图像的滤波图像上不会发生基于分割区域的边界部分的噪声。
于是，比较对各分割区域决定的最佳带宽与位于该分割区域周边的分割区域的最佳带宽，当该决定的最佳带宽相对于周边的最佳带宽具有较大差距时，能够进行修正该决定的最佳带宽的处理，以减小该差距。
此外，对于这样构成的本发明中决定的各分割区域的最佳带宽，在该分割区域是活动的视频部分的场合，即使减小最佳带宽(能够削减代码量)，该分割区域的图像数据的客观图像品质也与其它分割区域的图像数据不同，但是主观图像品质能够维持同等。
于是，按照每个分割区域，利用前或后或前后的帧的图像数据，例如，通过评价该帧与本帧的像素值变动量，判断该分割区域的图像数据是否为活动的图像数据，对于判断为是活动的图像数据的分割区域，可进行减小对该分割区域决定的最佳带宽的修正。
此外，对于这样构成的本发明中决定的各分割区域的最佳带宽，在该分割区域是活动的视频部分且高频分量的视频部分的场合，即使相当减小最佳带宽(能够削减代码量)，该分割区域的图像数据的客观图像品质也与其它分割区域的图像数据不同，但是主观图像品质能够维持同等。
于是，按照每个分割区域，利用前或后或前后的帧的图像数据，例如，判断表示该分割区域的图像数据属性的值是否表示高频分量的图像数据，并且评价表示上述所使用的帧和本帧中的高频分量的图像数据的分割区域个数变动量，判断该分割区域的图像数据是否为活动的高频分量的图像数据，对于判断为活动的高频分量的图像数据的分割区域，进行修正，以减小对该分割区域决定的最佳带宽。
由此可见，即使构成视频的1幅图像中混有包含许多高频分量的图像部分和几乎不包含高频分量的图像部分的场合，也能对各图像部分生成实现误差信息的目标值(目标PSNR等)的最佳滤波图像数据。
(发明效果)
依据本发明，在不做编码处理且不做重复处理的情况下能够实现对构成视频的图像的适应性滤波处理，而且，在实现时，通过实现考虑了视频的帧内及帧间的频率分布的适应性滤波处理，能够有效地生成具有规定图像品质评价值的滤波图像。
附图说明
图1是表示带宽与PSNR的对应关系的实验结果说明图。
图2是最佳带宽决定表的说明图。
图3同样是最佳带宽决定表的说明图。
图4是本发明第一实施方式的最佳滤波图像生成装置的装置结构图。
图5A是第一带宽决定表的说明图。
图5B同样是第一带宽决定表的说明图。
图6是第一实施方式的最佳滤波图像生成装置执行的流程图。
图7是本发明第二实施方式的最佳滤波图像生成装置的装置结构图。
图8是第二实施形的最佳滤波图像生成装置执行的流程图。
图9是本发明第三实施方式的最佳滤波图像生成装置的装置结构图。
图10是第三实施方式的最佳滤波图像生成装置执行的流程图。
图11同样是第三实施方式的最佳滤波图像生成装置执行的流程图。
图12是最佳带宽重新调整部执行的最佳带宽重新调整处理的说明图。
图13同样是最佳带宽重新调整部执行的最佳带宽重新调整处理的说明图。
图14同样是最佳带宽重新调整部执行的最佳带宽重新调整处理的说明图。
图15同样是最佳带宽重新调整部执行的最佳带宽重新调整处理的说明图。
图16是本发明第四实施方式的最佳滤波图像生成装置的装置结构图。
图17是第四实施方式的最佳滤波图像生成装置执行的流程图。
图18同样是第四实施方式的最佳滤波图像生成装置执行的流程图。
图19是本发明第五实施方式的最佳滤波图像生成装置的装置结构图。
图20是第五实施方式的最佳滤波图像生成装置执行的流程图。
图21是帧内图像的说明图。
图22是为验证本发明的有效性而进行的实验结果的说明图。
图23是限制频带的图像处理方法的说明图。
图24是通过进行轮流的频带限制来生成最佳滤波图像数据的最佳滤波图像生成装置的装置结构图。
图25是通过进行轮流的频带限制来生成最佳滤波图像数据的最佳滤波图像生成装置执行的流程图。
图26是传统的最佳滤波图像生成装置的装置结构图。
图27是上述传统的最佳滤波图像生成装置执行的流程图。
(符号说明)
1最佳滤波图像生成装置；100原图像数据输入部；101图像分割部；102第一带宽决定部；103第一带宽决定表；104第一滤波系数排列计算部；105滤波图像数据生成部；106分配系数计算部；107最佳带宽决定表选择部；108最佳带宽决定表；109最佳带宽决定部；110最佳滤波系数排列计算部；111滤波图像数据生成部；112数据存储部；113滤波图像数据综合部；200重复部。
具体实施方式
本发明人为了解决上述的传统技术的问题，首先想到这样的发明，即，根据处理对象的图像数据的图像尺寸决定临时带宽，并根据它生成临时滤波图像数据，测定客观图像品质评价值，接着，从该测定的客观图像品质评价值算出所谓分配系数的无因次的参数，以该算出的分配系数为密钥，通过参照具有对分配系数越大的图像数据决定越大的最佳带宽值的数据变换结构的最佳带宽决定表，决定实现目标的客观图像品质评价值的最佳带宽，根据它生成处理对象的图像数据的最佳的滤波图像数据。
依据该发明，能够在不做编码处理且不做重复处理的情况下自动进行将原图像变换为具有规定客观图像品质评价值的图像的滤波处理，从而能够解决传统技术的问题。
在该发明中，将整个1幅图像作为一个滤波处理的对象。
但是，1幅图像内也存在包含许多高频分量的部分和几乎不包含高频分量的部分，由此发生这样的情形，即，在应用整个图像中采用相同的滤波系数排列的滤波处理时，在包含许多高频分量的部分上图像品质的劣化显著，而在几乎不包含高频分量的部分上图像品质的劣化不明显。
此外，在该发明中，考虑了基于客观图像品质指标的频带限制，不考虑基于主观图像品质指标的频带限制。但是，考虑编码效率这方面时，不仅要考虑使用基于客观图像品质指标的频带限制，而且要考虑使用基于主观图像品质指标的频带限制。
即，活动的区域上的高频分量例如放水或火花那样的高频分量或者相机镜头移动早时的高频分量，与没有活动的区域上的高频分量相比视觉上的劣化难以明显。
由此，在考虑更加高效率编码的场合，优选使活动的高频部分的客观图像品质指标不同于没有活动的高频部分(如果是PSNR就设为低)，进行滤波处理。即，判别有无高频分量的活动，对它们适应地加权后决定带宽，并进行滤波处理。
本发明人考虑这些方面，将本发明人想到的上述发明进一步展开而想到本发明。
接着，对在不做编码处理且不做重复处理的情况下能够自动执行将处理对象的图像变换为具有规定图像品质评价值的图像的滤波处理的理由进行具体说明。
此外，在该说明中，不失说明的一般性，因此为了方便说明而不考虑图像分割，并且采用PSNR作为误差信息。
图1中使用5个图像1～5作为实验图像，示出对于这些图像数据(亮度分量)，在水平、垂直这两个方向以实现相等的带宽r(0.3＜r＜1)的频率特性的滤波系数排列进行滤波处理而获得的图像的PSNR(图中记载为P(r))与带宽r的关系。在这里，该实验中使用的图像尺寸为1920×1080像素。
如上所述，在本发明中，首先决定第一带宽r1。例如，作为第一带宽r1决定0.5的值。
在本发明中，接着，利用实现以r1＝0.5限制频带时的频率特性的第一滤波系数排列生成滤波图像数据，导出该滤波图像数据的PSNR，因此在处理具有图1所示特性的图像1～5的场合，生成对这些图像1～5的滤波图像数据，导出这些第一滤波图像数据的PSNR即P(0.5)。
根据该导出处理，由图1可知对于图像1导出P(0.5)＝34.5，对于图像2导出P(0.5)＝42.3，对于图像3导出P(0.5)＝40.6，对于图像4导出P(0.5)＝42.7，对于图像5导出P(0.5)＝45.3。
在本发明中，接着，例如在不做频带限制的状态下极限接近时获得的PSNR值(图1所示的51.2)除以上述导出的PSNR值，算出分配系数X。
根据该计算处理，利用“X＝51.2/P(r1)”的计算式，对于图像1算出分配系数X＝1.48，对于图像2算出分配系数X＝1.21，对于图像3算出分配系数X＝1.26，对于图像4算出分配系数X＝1.20，对于图像5算出分配系数X＝1.13。
在本发明中，接着，进行决定与算出的分配系数对应的最佳带宽的处理。对于该决定处理，通过使用程序的判断功能，可借助程序执行，但是也可通过参照记述了分配系数与最佳带宽的对应关系的最佳带宽决定表来执行。
这时所参照的最佳带宽决定表，例如图2所示，对应于图像尺寸及目标PSNR地进行准备，如图3所示，对于某一图像尺寸的某一目标PSNR而准备的表中，对应于分配系数X的值的范围，管理应对于各范围中的分配系数X的值而定义的最佳带宽r2(用于实现目标PSNR的带宽)的值是何值的信息。
例如，管理分配系数X的范围与用于实现目标PSNR的带宽即最佳带宽r2的对应关系，以使对于在“X＜A1”范围中的分配系数X，最佳带宽r2的值为B1，对于在“A1≤X＜A2”范围中的分配系数X，最佳带宽r2的值为B2，对于在“A2≤X＜A3”范围中的分配系数X，最佳带宽r2的值为B3。
在此，Ai(i＝1～n-1)中具有0＜A1＜A2＜A3＜……＜An-2＜An-1的关系。
此外，设定最佳带宽r2的值随着分配系数X增大而变大，因此具有0＜B1＜B2＜B3＜……＜Bn-2＜Bn-1＜Bn＜1的关系。
由此，在本发明中，接着，以算出的分配系数X为密钥，通过参照具有如图3所示的表结构的最佳带宽决定表，决定与分配系数X的大小对应的值Bi作为最佳带宽r2的值。
这时，最佳带宽决定表具有如上所述的
0＜A1＜A2＜A3＜……＜An-2＜An-1
0＜B1＜B2＜B3＜……＜Bn-2＜Bn-1＜Bn＜1的表结构，因此分配系数X越大的图像数据，所决定的最佳带宽r2的值就越大，分配系数X越小的图像数据，最佳带宽r2的值就越小。
即，由计算式X＝51.2/P(r1)可知，分配系数X大的图像数据的意思是P(0.5)值小，因此，为了实现目标PSNR，需要增大最佳带宽r2的值，另一方面，分配系数X小的原图像数据的意思是P(0.5)的值大，因此，为了实现目标PSNR，需要减小最佳带宽r2的值。
考虑这些方面，最佳带宽决定表为了实现对于分配系数X越大的图像数据决定越大的最佳带宽r2的值，对于分配系数X越小的图像数据决定越小的最佳带宽r2的值，具有
0＜A1＜A2＜A3＜……＜An-2＜An-1
0＜B1＜B2＜B3＜……＜Bn-2＜Bn-1＜Bn＜1的表结构。
这样决定的最佳带宽r2成为生成实现目标PSNR的最佳滤波图像数据的带宽。
因此，在本发明中，接着，算出实现以最佳带宽r2限制频带时的频率特性的最佳滤波系数排列，利用该最佳滤波系数排列对图像数据进行滤波处理，从而执行对包含许多高频分量的图像数据扩大带宽，而对几乎不包含高频分量的图像数据缩小带宽的适应性滤波处理，生成实现目标PSNR的最佳滤波图像数据。
如此，依据本发明，对图像数据仅做2次的滤波处理，就能生成实现目标PSNR的最佳的滤波图像数据。
在以上说明中，没有考虑图像分割的情形，但是在本发明中，分割处理对象的图像，按照每个分割区域，执行以上说明的本发明特征性滤波处理。
以下，根据实施方式详细说明木发明。
[1]第一实施方式
图4示出一例作为本发明第一实施方式的最佳滤波图像生成装置1的装置结构。
如该图所示，第一实施方式的本发明的最佳滤波图像生成装置1具备：原图像数据输入部100、图像分割部101、第一带宽决定部102、第一带宽决定表103、第一滤波系数排列计算部104、滤波图像数据生成部105、分配系数计算部106、最佳带宽决定表选择部107、最佳带宽决定表108、最佳带宽决定部109、最佳滤波系数排列计算部110、滤波图像数据生成部111、数据存储部112、以及滤波图像数据综合部113。
在此，滤波图像数据生成部105、分配系数计算部106、最佳带宽决定部109、最佳滤波系数排列计算部110和滤波图像数据生成部111对图像分割部101生成的各块图像数据B(1)分别进行处理，因此构成重复部200。
原图像数据输入部100输入成为构成视频的处理对象的原图像数据B(1)_all。
图像分割部101根据预先指定的块尺寸D或预先指定的分割数E，将原图像数据输入部100输入的图像数据进行分割，生成原图像的块图像数据B(1)。在此，块的形状可为任意形状，但是在以下为了方便说明，假设为长方形。
第一带宽决定部102以图像分割部101生成的块图像数据B(1)的块尺寸D为密钥，通过参照具有如图5A或图5B所示的记述块尺寸D与第一带宽r1的对应关系的表结构的第一带宽决定表103，决定对应于块尺寸D而定义的第一带宽r1(第一通路(path)用)。
第一滤波系数排列计算部104算出实现以第一带宽决定部102决定的第一带宽r1限制频带时的频率特性的第一滤波系数排列。
滤波图像数据生成部105利用第一滤波系数排列计算部104算出的第一滤波系数排列，对图像分割部101生成的各块图像数据B(1)进行滤波处理，生成第一滤波块图像数据B(r1)。
分配系数计算部106比较第一滤波块图像数据B(r1)与块图像数据B(1)，测定第一滤波块图像数据B(r1)的PSNR即P(r1)作为误差信息，并基于该误差信息，按照计算式X＝G/P(r1)算出分配系数X。在此，G是常数，例如，使用图1所示的51.2的值。
最佳带宽决定表选择部107从对应于块尺寸D及目标PSNR而准备的多个最佳带宽决定表108中，选择与图像分割部101生成的块图像数据B(1)的块尺寸D和用户提供的目标PSNR对应的、具有如图3所示的表结构的最佳带宽决定表108，输出表示该表的ID序号。
在此，最佳带宽决定表108中记述的Ai、Bi具有
0＜A1＜A2＜A3＜……＜An-2＜An-1
0＜B1＜B2＜B3＜……＜Bn-2＜Bn-1＜Bn＜1的关系。
最佳带宽决定部109以分配系数计算部106算出的分配系数X为密钥，通过参照最佳带宽决定表选择部107选择的最佳带宽决定表108，决定最佳带宽r2(第二通路用)。
最佳滤波系数排列计算部110算出实现以最佳带宽决定部109决定的最佳带宽r2限制频带时的频率特性的最佳滤波系数排列。
滤波图像数据生成部111利用最佳滤波系数排列计算部110算出的最佳滤波系数排列，对图像分割部101生成的各块图像数据B(1)进行滤波处理，生成最佳滤波块图像数据B(r2)，并存放于数据存储部112中。
通过对图像分割部101生成的全部的块图像数据B(1)进行处理，若对于数据存储部112存放了全部的最佳滤波块图像数据B(r2)，则滤波图像数据综合部113对它们进行综合，生成对原图像数据输入部100输入的原图像数据而言的最佳滤波图像数据B(r2)_all并加以输出。
图6中示出一例这样构成的本实施方式的最佳滤波图像生成装置1执行的流程图。
接着，根据该流程图，对最佳滤波图像生成装置1执行的处理进行详细说明。
本实施方式的最佳滤波图像生成装置1在要求生成对构成视频的处理对象的图像而言的最佳滤波图像数据时，如图6的流程图所示，首先，在步骤S100中，输入成为最佳滤波图像数据的生成对象的原图像数据B(1)_all。
接着，在步骤S101中，基于预先提供的所希望的块尺寸D或分割数E，对所输入的原图像数据B(1)_all进行分割，从而生成原图像的块图像数据B(1)。
接着，在步骤S102中，以原图像的块图像数据B(1)的块尺寸D为密钥，通过参照如图5A或5B所示的具有记述了块尺寸D与第一带宽11的对应关系的表结构的第一带宽决定表103，决定对应于块尺寸D而定义的第一带宽r1(第一通路用)。
在此，当本实施方式的最佳滤波图像生成装置1所处理的块图像数据B(1)的块尺寸D并不限于预定的固定尺寸时，就无需准备第一带宽决定表103，决定按照其固定尺寸而预先定义的第一带宽r1。
接着，在步骤S103中，算出实现以决定的第一带宽r1限制频带时的频率特性的第一滤波系数排列。
接着，在步骤S104中，选择一个未处理的块图像数据B(1)，在接着的步骤S105中，利用算出的第一滤波系数排列，对所选择的块图像数据B(1)进行滤波处理，并生成第一滤波块图像数据B(r1)。
接着，在步骤S106中，比较所选择的块图像数据B(1)与所生成的第一滤波块图像数据B(r1)，测定所生成的第一滤波块图像数据B(r1)的PSNR即P(r1)作为误差信息，基于该误差信息，根据计算式
X＝G/P(r1)…式(1)算出分配系数X。在此，G是常数，例如，使用图1所示的51.2的值。
接着，在步骤S107中，从对应于块尺寸D及目标PSNR而准备的多个最佳带宽决定表108中，选择与块图像数据B(1)的块尺寸D和用户提供的目标PSNR对应的、具有如图3所示表结构的最佳带宽决定表108。
在此，对于该最佳带宽决定表108的选择处理，可事先执行。
此外，当本实施方式的最佳滤波图像生成装置1所处理的块图像数据B(1)的块尺寸D限于预定的固定尺寸时，就无需对应于块尺寸D及目标PSNR而准备最佳带宽决定表108，而准备与目标PSNR对应的多个最佳带宽决定表108。
此外，当本实施方式的最佳滤波图像生成装置1所处理的块图像数据B(1)的块尺寸D限于预定的固定尺寸，并且最佳滤波图像生成装置1所处理的目标PSNR限于预定的固定值时，就无需将最佳带宽决定表108对应于块尺寸D及目标PSNR而进行准备，而准备一个最佳带宽决定表108。
接着，在步骤S108中，以算出的分配系数X为密钥，通过参照所选择的最佳带宽决定表108，决定最佳带宽r2(第二通路用)。
接着，在步骤S109中，算出实现以决定的最佳带宽r2限制频带时的频率特性的最佳滤波系数排列。
接着，在步骤S110中，利用算出的最佳滤波系数排列，再次对所选择的块图像数据B(1)进行滤波处理，生成最佳滤波块图像数据B(r2)，并存放于数据存储部112。
接着，在步骤S111中，判断是否选择了全部的块图像数据B(1)，当判断为没有选择全部的块图像数据B(1)时，就返回步骤S104的处理。
另一方面，根据步骤S111的判断处理，当判断为选择了全部块图像数据B(1)时，进行步骤S112，对数据存储部112中存放的最佳滤波块图像数据B(r2)进行综合，生成具有与原图像数据相同尺寸的最佳滤波图像数据B3(r2)_all并加以输出，结束处理。
接着，对以上说明的处理进行具体说明。
设原图像的图像尺寸为1920×1080、块尺寸D为32×18、分割数E在水平、垂直方向均为60、PSNR的Ptgt(目标PSNR)为36dB，设式(1)中的G为51.2。
首先，对第一带宽决定顺序进行说明。
块尺寸D被输入到第一带宽决定部102，从对于第一带宽决定部102事先提供的一个第一带宽决定表103，决定与块尺寸D对应的、例如0.7的第一带宽r1。
然后，利用以r1＝0.7限制频带时的频率特性的第一滤波系数排列，生成第一滤波块图像数据B(0.7)，测定该第一滤波块图像数据B(0.7)的PSNR即P(0.7)，并应用式(1)，求出分配系数X。
接着，对最佳带宽决定顺序进行说明。
将D＝32×18、Ptgt＝36分别输入最佳带宽决定表选择部107，从对于最佳带宽决定表选择部107事先提供的最佳带宽决定表108中，选择与输入值对应的、具有如图3所示的表结构的最佳带宽决定表108。
接着，参照该选择的最佳带宽决定表108，决定与之前求出的分配系数X对应的最佳带宽r2。
例如，在P(0.7)＝45的场合，根据式(1)求得X＝1.14，若An-2≤1.14＜An-1，则最佳带宽r2被求为Bn-1。在此，Ai及Bi分别满足以下条件。
0＜A1＜A2＜A3＜……＜An-2＜An-1
0＜B1＜B2＜B3＜……＜Bn-2＜Bn-1＜Bn＜1
然后，利用实现以该最佳带宽r2限制频带时的频率特性的最佳滤波系数排列，生成最佳滤波块图像数据B(r2)。
按分割数量，在此为60×60＝3600决量进行该处理，通过将这些最佳滤波块图像数据B(r2)在最后综合来得到最终的输出数据即最佳滤波图像数据。
此外，事先作成与各式各样的Ptgt对应的最佳带宽决定表108，从而利用本发明能够进行可做任意图像品质控制的滤波处理。
如此，通过采用第一实施方式，对于全部的图像，可获得成为相同程度的PSNR的块，且帧内图像品质没有偏差，能够作成对帧内全部区域成为相同程度的图像品质的滤波图像。
[2]第二实施方式
图7中示出一例本发明第二实施方式的最佳滤波图像生成装置11的装置结构。
第二实施方式的最佳滤波图像生成装置11与图4所示的第一实施方式的最佳滤波图像生成装置1的不同点在于：第二实施方式的最佳滤波图像生成装置11不具备图像分割部101，并且新具备分割块设定部120，而且，第一带宽决定部102α、滤波图像数据生成部105α和分配系数计算部106α分别执行与第一实施方式的最佳滤波图像生成装置1所具备的第一带宽决定部102、滤波图像数据生成部105和分配系数计算部106不同的处理。
该分割块设定部120基于预先指定的块尺寸D或预先指定的分割数E，在原图像数据输入部100输入的原图像数据B(1)_all上设定虚拟的分割块。此时虚拟设定的分割块的图像数据相当于第一实施方式中说明的原图像的块图像数据B(1)。
第一带宽决定部102α以分割块设定部120设定的虚拟的分割块的块尺寸D为密钥，通过参照如图5A或图5B所示的、具有记述了块尺寸D与第一带宽r1的对应关系的表结构的第一带宽决定表103，决定对应于块尺寸D而定义的第一带宽r1(第一通路用)。
滤波图像数据生成部105α利用第一滤波系数排列计算部104算出的第一滤波系数排列，对原图像数据输入部100输入的原图像数据B(1)_all进行滤波处理，从而进行生成第一滤波图像数据B(1)_all(r1)的处理。
分配系数计算部106α按照分割块设定部120设定的每个虚拟的分割块，比较位于该分割块上的第一滤波图像数据B(1)_all(r1)的图像数据部分与位于该分割块上的原图像数据B(1)_all的图像数据部分，并测定位于该分割块上的第一滤波图像数据B(1)_all(r1)的图像数据部分的PSNR即P(r1)作为误差信息，根据该误差信息，按照计算式X＝G/P(r1)，算出分配系数X。
图8中示出一例这样构成的本实施方式的最佳滤波图像生成装置11执行的流程图。
接着，根据该流程图，对最佳滤波图像生成装置11执行的处理进行详细说明。
本实施方式的最佳滤波图像生成装置11在对于构成视频的处理对象的图像要求生成最佳滤波图像数据，如图8的流程图所示，首先，在步骤S200中，输入成为最佳滤波图像数据的生成对象的原图像数据B(1)_all。
接着，在步骤S201中，以虚拟设定的分割块的块尺寸D为密钥，通过参照如图5A或5B所示的、记述了块尺寸D和第一带宽r1的对应关系的表结构的第一带宽决定表103，决定对应于块尺寸D的第一带宽r1(第一通路用)。
接着，在步骤S202中，算出实现以决定的第一带宽r1限制频带时的频率特性的第一滤波系数排列。
接着，在步骤S203中，利用算出的第一滤波系数排列，对输入的原画像数据B(1)_all进行滤波处理，第一滤波图像数据B(1)_all(r1)生成。
接着，在步骤S204中，从虚拟设定的分割块中选择一个未处理的分割块。
接着，在步骤S205中，比较所选择的分割块上的第一滤波图像数据B(1)_all(r1)的图像数据部分与在该分割块上的原图像数据B(1)_all的图像数据部分，测定该第一滤波图像数据B(1)_all(r1)的图像数据部分的PSNR即P(r1)，基于该P(r1)，按照计算式X＝G/P(r1)…式(1)算出分配系数X，G为常数，例如使用图1所示的51.2的值。
接着，在步骤S206中，从对应于块尺寸D及目标PSNR而准备的多个最佳带宽决定表108中，选择与虚拟设定的分割块的块尺寸D和用户提供的目标PSNR对应的、具有如图3所示的表结构的最佳带宽决定表108。
接着，在步骤S207中，以算出的分配系数X为密钥，通过参照所选择的最佳带宽决定表108，决定最佳带宽r2(第二通路用)。
接着，在步骤S208中，算出实现以决定的最佳带宽r2限制频带时的频率特性的最佳滤波系数排列。
接着，在步骤S209中，利用算出的最佳滤波系数排列，再次，对所选择的分割块上的原图像数据B(1)_all的图像数据部分进行滤波处理，生成最佳滤波块图像数据B(r2)，并存放于数据存储部112中。
接着，在步骤S210中，判断是否选择了全部分割块，当判断为没有选择全部分割块时，返回步骤S204的处理。
另一方面，根据步骤S210的判断处理，当判断为选择了全部分割块时，进行步骤S211，通过对存放于数据存储部112中的最佳滤波块图像数据B(r2)进行综合，生成具有与原图像数据相同尺寸的最佳滤波图像数据B(r2)_all并加以输出，结束处理。
在此，在图7所示的结构中，示出将滤波图像数据生成部105α生成的第一滤波图像数据B(1)_all(r1)虚拟分割的结构，但是可以进行实际分割。
如此，通过采用第二实施方式，与采用第一实施方式的场合同样地，对全部图像能够得到成为相同程度的PSNR的块，并且帧内图像品质上不会有偏差，对帧内全部区域能够作成成为相同程度的图像品质的滤波图像。
[3]第三实施方式
图9中示出一例本发明第三实施方式的最佳滤波图像生成装置12的装置结构。
第三实施方式的最佳滤波图像生成装置12与图4所示的第一实施方式的最佳滤波图像生成装置1的不同点在于：第三实施方式的最佳滤波图像生成装置12具备新部分，即，最佳带宽比较部130和最佳带宽重新调整部131。
该最佳带宽比较部130比较对最佳带宽决定部109决定的处理对象块的块图像数据B(1)而言的最佳带宽r2与对位于其周边的块的块图像数据B(1)而言的最佳带宽，并取得其差分值，判断该差分值是否在预先设定的阈值Sth1以上。
最佳带宽重新调整部131在由最佳带宽比较部130判断出差分值在阈值Sth1以上时，将最佳带宽决定部109决定的最佳带宽r2再次调整为r3，以减小该差分值，另一方面，当判断为小于阈值Sth1时，就决定直接利用最佳带宽决定部109决定的最佳带宽r2。
在图10及图11中示出一例这样构成的本实施方式的最佳滤波图像生成装置12执行的流程图。
接着，根据该流程图，对最佳滤波图像生成装置12执行的处理进行详细说明。
本实施方式的最佳滤波图像生成装置12在对构成视频的处理对象的图像要求生成最佳滤波图像数据时，在步骤S300～步骤S308中，执行与图6的流程图的步骤S100～步骤S108相同的处理，从而决定对所选择的块图像数据B(1)的最佳带宽r2(第二通路用)。
接着，在步骤S309中，比较步骤S308中决定的处理对象的块的最佳带宽r2与位于其周边的已经求得的块的最佳带宽，并取得其差分值，判断该差分值是否在预先设定的阈值Sth1以上。
根据该判断处理，当判断处理对象的块的最佳带宽r2与周边块的最佳带宽的差分值在阈值Sth1以上时，进入步骤S310，将步骤S308中决定的最佳带宽r2再次调整到r3，以减小该差分值。
另一方面，根据该判断处理，当判断出处理对象的块的最佳带宽r2与周边块的最佳带宽的差分值小于阈值Sth1时，不做步骤S310的处理，而决定直接利用步骤S308中决定的最佳带宽r2。
然后，在步骤S311～步骤S314中执行与图6的流程图的步骤S109～步骤S112相同的处理，从而生成具有与原图像数据相同尺寸的最佳滤波图像数据B(r2)_all，并加以输出。
在图12～图15中示出一例最佳带宽重新调整部131执行的最佳带宽的重新调整处理。
最佳带宽重新调整部131例如以在由最佳带宽决定部109决定了最佳带宽的9个块内的中央块为调整对象的场合，以图12～图14所示的方式，对最佳带宽决定部109决定的最佳带宽进行重新调整。
即，如图12所示，重新调整为与处理对象的块的上下块的最佳带宽相同，或者重新调整为其平均值，或者重新调整为在该相同值或平均值相加±β(0＜β＜1)的值。
此外，如图13所示，重新调整为与处理对象的块的左右块的最佳带宽相同，或者重新调整为其平均值，或者重新调整为在该相同值或平均值相加±β(0＜β＜1)的值。
此外，如图14所示，重新调整为与处理对象的块的斜向块的最佳带宽相同，或者重新调整为其平均值，或者重新调整为在该相同值或平均值相加±β(0＜β＜1)的值。
此外，如图15所示，重新调整为处理对象的块的周边8块的平均值，或者重新调整为在该平均值相加±β(0＜β＜1)的值，这里，无论采用何种方法都产生相同的效果。
通过进行该调整，减少块中的滤波处理中产生的块边界，使边界成为视觉上无法辨认。
在此，对于该调整，在隔行视频中分顶部场(top field)和底部场进行应用时，对于处理对象块，无论利用相同的场(field)和不同场的哪个场的周边块进行比较都得到同样的效果。
此外，对于该重新调整，也为扩大具有如图3所示的表结构的最佳带宽决定表108的分配系数范围而进行。
例如，在图3中，1.5≤X＜1.6的情况下最佳带宽为0.8，在1.6≤X＜1.7的情况下最佳带宽为0.9，在诸如上述情况下，也为在1.5≤X＜1.7的情况下使最佳带宽成为0.85等而进行。
这样，通过采用第三实施方式，能够使客观图像品质成为相同程度，且能够减小诸如块失真的主观图像品质的劣化。
[4]第四实施方式
图16中示出一例本发明第四实施方式的最佳滤波图像生成装置13的装置结构。
第四实施方式的最佳滤波图像生成装置13与图9所示的第三实施方式的最佳滤波图像生成装置12的不同点在于：第四实施方式的最佳滤波图像生成装置13具备新的部件，即，活动块判别部140和最佳带宽再重新调整部141。
该活动块判别部140判别具有成为处理对象的原图像的块图像数据B(1)的块是否为活动的块，当判别为不是活动的块时，将最佳带宽重新调整部131的处理结果直接转交给最佳滤波系数排列计算部110。
最佳带宽再重新调整部141当活动块判别部140判别处理对象的块是活动的块时，对最佳带宽重新调整部131重新调整的最佳带宽(也有不做重新调整的情形)再次进行调整。
在此，由滤波图像数据生成部105、分配系数计算部106、最佳带宽决定部109、最佳带宽比较部130和最佳带宽重新调整部131构成帧内图像处理部，由最佳滤波系数排列计算部110、活动块判别部140和最佳带宽再重新调整部141构成帧间图像处理部。
在图17及图18中示出一例这样构成的本实施方式的最佳滤波图像生成装置13执行的流程图。
接着，根据该流程图，对最佳滤波图像生成装置13执行的处理进行详细说明。
本实施方式的最佳滤波图像生成装置13在对构成视频的处理对象的图像要求生成最佳滤波图像数据时，如图17的流程图所示，执行与图10的流程图的步骤S300～步骤S308相同的步骤S400～步骤S408的处理，从而决定对所选择的块图像数据B(1)的最佳带宽r2(第二通路用)。
接着，在步骤S409中，基于帧内图像处理，调整所决定的最佳带宽r2。基于该帧内图像处理的最佳带宽r2的调整处理中执行与图10的流程图的步骤S309、步骤S310相同的处理。
即，比较对步骤S408中决定的处理对象块的块图像数据B(1)而言的最佳带宽r2与对位于其周边的块的块图像数据B(1)而言的最佳带宽，并取得其差分值，判断该差分值是否在预先设定的阈值Sth1以上，当判断出在阈值Sth1以上时，将步骤S408中决定的最佳带宽r2再次调整到r3，以减小该差分值，当判断为小于阈值Sth1时，在决定直接采用步骤S408中决定的最佳带宽r2的情况下进行。
接着，在步骤S410中，基于在图18的流程图中说明的帧间图像处理，对步骤S409中调整的最佳带宽r3(r2)再次进行调整。
然后，在步骤S411～步骤S414中执行与图10及图11的流程图的步骤S311～步骤S314相同的处理，从而生成具有与原图像数据相同的尺寸的最佳滤波图像数据B(r2)_all，并加以输出。
接着，根据图18的流程图，对步骤S410中执行的基于帧间图像处理的最佳带宽的重新调整处理进行说明。
在图17的流程图的步骤S409中，一旦基于帧内图像处理调整步骤S408中决定的最佳带宽r2，就进入图18的流程图的处理，首先在步骤S500中，算出已进行帧内图像处理的处理对象的块的像素值总和，并在后续步骤S501中，算出空间上与该处理对象的块相同的前帧(即，时间上在前的帧)的块的像素值总和。
在此，取总和的像素值可为原图像的图像数据即块图像数据B(1)，也可为滤波图像数据即第一滤波块图像数据B(r1)。
接着，在步骤S502中，算出在步骤S500中算出的总和与在步骤S501中算出的总和之间的差分值，在后续步骤S503中，判断该差分值是否在预先设定的阈值Sth2以上。
根据该判断处理，在判断处理对象的块的像素值总和与处理对象的块在空间上相同的前帧的块的像素值总和之间的差分值在阈值Sth2以上时，判断处理对象的块为活动的块，进入步骤S504，将步骤S409中调整的最佳带宽r3(r2)再次调整到r4，以进行减小，从而进入图17的流程图的步骤S411的处理。
例如，利用小于1的权重W(0＜W＜1)，通过对步骤S409中调整的最佳带宽r3(r2)和该权重W进行乘法运算，将步骤S409中调整的最佳带宽r3(r2)再次向r4调整，然后进入图17的流程图的步骤S411的处理。
通过进行该调整，能够大幅限制活动的块中的高频分量。
另一方面，根据该判断处理，当判断处理对象的块的像素值总和与处理对象的块在空间上相同的前帧的块的像素值总和之间的差分值小于阈值Sth2时，不做步骤S504的处理，而决定直接采用步骤S409中调整的最佳带宽r3(r2)，进入图17的流程图的步骤S411的处理。
在此，在图18的流程图中，示出采用块内像素值总和的构成，但也可采用块内像素值的平均值。
由此，通过采用第四实施方式，以不同于第一实施方式或第二实施方式或第三实施方式的方式，能够使客观图像品质不同，而使主观图像品质相等，从而能够在不发生主观图像品质的劣化的情况下提高编码效率。
[5]第五实施方式
图19中示出一例本发明第五实施方式的最佳滤波图像生成装置14的装置结构。
第五实施方式的最佳滤波图像生成装置14与图9所示的第三实施方式的最佳滤波图像生成装置12的不同点在于：第五实施方式的最佳滤波图像生成装置14具备新的部分：即，高频块判别部150、活动高频块测定部151和最佳带宽再重新调整部152。
该高频块判别部150判别具有成为处理对象的原图像的块图像数据B(1)的块是否为高频分量的块，当判别为不是高频分量的块时，将最佳带宽重新调整部131的处理结果直接转交给最佳滤波系数排列计算部110。
活动高频块测定部151在高频块判别部150判别处理对象的块为高频分量的块时，对属于处理对象的块的帧和其前帧(即，时间上在前的帧)测定高频分量的块的数目，基于该测定结果，判别处理对象的块是否为活动的块，当判别为不是活动的块时，将最佳带宽重新调整部131的处理结果直接转交给最佳滤波系数配列计算部110。
最佳带宽再重新调整部152在活动高频块测定部151判别处理对象的块为活动的块时，即，判别处理对象的块是最终活动的高频分量的块时，对最佳带宽重新调整部131重新调整的最佳带宽(也有不做重新调整的情形)再次进行调整。
在此，由滤波图像数据生成部105、分配系数计算部106、最佳带宽决定部109、最佳带宽比较部130和最佳带宽重新调整部131构成帧内图像处理部，由最佳滤波系数排列计算部110、高频块判别部150、活动高频块测定部151和最佳带宽再重新调整部152构成帧间图像处理部。
如此构成的第五实施方式的最佳滤波图像生成装置14会执行与第四实施方式的最佳滤波图像生成装置13同样的图17的流程图，但是与最佳滤波图像生成装置13不同的是根据图20的流程图，执行基于步骤S410中执行的帧间图像处理的最佳带宽的调整处理。
接着，根据图20的流程图，对基于本实施方式的最佳滤波图像生成装置14执行的帧间图像处理进行的最佳带宽调整处理进行说明。
最佳滤波图像生成装置14在图17的流程图的步骤S409中，一旦基于帧内图像处理调整步骤S408中决定的最佳带宽r2，就进入图20的流程图的处理，首先在步骤S600中，取出进行帧内图像处理的处理对象的块的分配系数X(n，m)。
在此，该分配系数X(n，m)是在图17的流程图的步骤S406中算出的，其中，n表示属于处理对象的块的帧的序号，m表示处理对象的块的序号。
接着，在步骤S601中，判断取出的分配系数X(n，m)是否大于预先设定的阈值Xth，当判断分配系数X(n，m)为阈值Xth以下时，判断处理对象的块不是高频分量的块，不做以下的处理而决定直接采用图17的流程图的步骤S409中调整的最佳带宽r3(r2)，进入图17的流程图的步骤S410的处理。
另一方面，在步骤S601的判断处理中，当判断所取出的分配系数X(n，m)大于阈值Xth时，判断处理对象的块为高频分量的块，进入步骤S602，基于对处理对象的块所属的帧所具有的块的分配系数X大小，计数该帧所具有的高频分量的块的个数M(n)。
接着，在步骤S603中，基于对处理对象的块所属的帧的前一帧所具有的块的分配系数X大小，计数该前一帧所具有的高频分量的块的个数M(n-1)。
接着，在步骤S604中，算出步骤S602中计数的块数M(n)与步骤S603中计数的块数M(n-1)的差分值|M(n)-M(n-1)|，判断该差分值是否大于预先设定的阈值Mth，当判断该差分值在阈值Mth以下时，表示处理对象的块所属的帧是不活动的，判断处理对象的块不是活动的块，不做以下的处理，而决定直接采用图17的流程图的步骤S409中调整的最佳带宽r3(r2)，进入图17的流程图的步骤S411的处理。
另一方面，根据步骤S604的判断处理，当判断步骤S602中计数的块数M(n)与步骤S603中计数的块数M(n-1)的差分值大于阈值Mth时，表示处理对象的块所属的帧是活动的，判断处理对象的块是活动的高频分量的块，进入步骤S605，将步骤S409中调整的最佳带宽r3(r2)再次调整到r4，以减小步骤S409中调整的最佳带宽r3(r2)，然后进入图17的流程图的步骤S411的处理。
例如，利用小于1的权重W(0＜W＜1)，对步骤S409中调整的最佳带宽r3(r2)和该权重W进行乘法运算，从而将步骤S409中调整的最佳带宽r3(r2)再次调整到r4，然后进入图17的流程图的步骤S411的处理。
通过进行该调整，能够大幅限制活动的高频分量的块中的高频分量。
接着，对以上说明的处理进行具体说明。
设直至最佳带宽重新调整部131的处理而得到的最佳带宽r2(或r3)为0.9、处理对象的块所属的帧的帧序号n为5、该块的块序号m为1000，算出大于1.9的值作为分配系数X(5，1000)，设对高频块判别部150给予阈值Xth＝1.9，对活动高频块测定部151给予Mth＝15，对最佳带宽再重新调整部152给予加权系数W＝0.7。
首先，在高频块判别部150中，由于分配系数计算部106算出的分配系数X(5，1000)成为“X(5，1000)＞Xth(＝1.9)”，判别处理对象的块是高频分量的块。
接着，在活动高频块测定部151中，对分配系数计算部106算出的分配系数X(5)内、成为“X(5)＞Xth(＝1.9)”的块的数目进行计数，并且关于前一帧即第4帧，对分配系数计算部106中算出的分配系数X(4)内、成为“X(4)＞Xth(＝1.9)”的块的数目进行计数，设该数目为M(5)＝11、M(4)＝35。
接着，在活动高频块测定部151中，求出所计数的M(5)与M(4)的差分|M(5)-M(4)|，成为|11-35|＝24。这时，由于24＞Mth(＝15)，处理对象的块最终被判别为活动的高频分量的块。
因此，在最佳带宽再重新调整部152中，对处理对象的块的最佳带宽r2进行加权，设r4＝r2×W(＝0.7)，最佳带宽r4成为0.63。将它作为新的最佳带宽进行滤波处理，得到最终的最佳滤波图像数据。
由该处理可知，对于计数为M(5)＝11的块，当它成为处理对象的块时，同样地，对最佳带宽r2进行加权，成为r4＝r2×W(＝0.7)，将它作为新的最佳带宽进行滤波处理，得到最终的最佳滤波图像数据。
根据该处理，活动的高频块的PSNR成为30[dB]、不活动的高频块的PSNR成为40[dB]的形态，但是视觉上无法发现。
另一方面，当M(5)＝11、M(4)＝21时，由于不满足“|M(5)-M(4)|＞Mth”的条件，处理对象的块被判别为不活动的高频分量的块，不需要最佳带宽再重新调整部152中的调整，最佳带宽r2直接以r4的方式成为最佳带宽，经滤波处理得到最佳滤波图像数据。
在此，随着提供Xth的方式M(n)也不同，而且随着提供Mth的方式有无活动的判别基准不同，因此需要考虑诸如块尺寸而决定Xth和Mth。
此外，作为提供Mth的方式，可采用比例于帧分割数E的、如Mth＝E×0.1的提供方式，而不是提供固定的数值。
若以Mth＝E×0.1的方式提供，则与前帧相比全部高频分量的块数的10％从高频分量的块变化到低频分量的块，或者从低频分量的块变化到高频分量的块，但是采用这样的提供方式，也得到与提供固定数值时相同的效果。
此外，将比较高频分量的块数时的参考帧设为前一帧，但是不限于前一帧，即便前后的帧都产生同样的效果。
通过采用该第五实施方式，能够大幅限制活动的区域中的高频分量，因此不同于第一实施方式或第二实施方式或第三实施方式，设客观图像品质不同，但与第四实施方式同样地使主观图像品质相等，能够在不引起主观图像品质劣化的情况下提高编码效率。
此外，通过采用第五实施方式，大幅限制活动的高频分量，因此比第四实施方式更加不会引起主观图像品质的劣化，能够提高编码效率。
[6]关于本发明
在本发明中，如在第一实施方式或第二实施方式中说明的那样，不是对视频的全部帧采用共同的最佳带宽r2生成最佳滤波图像数据B(r2)_all，而是利用划分帧内的图像数据的每个块而导出的最佳带宽r2生成最佳滤波块图像数据B(r2)，并通过对它们进行综合来生成最佳滤波图像数据B(r2)_all。
由此，如图21的帧N所示，当帧内只存在低频分量的区域时，使用对应于低频分量的滤波强度来生成最佳滤波图像数据。
另一方面，如图21的帧N+1所示，当帧内存在低频分量的区域和高频分量的区域时，对于低频分量的区域使用对应于低频分量的滤波强度来生成最佳滤波图像数据部分，并且对于高频分量的区域使用对应于高频分量的滤波强度来生成最佳滤波图像数据部分。
由此，依据本发明，也能够使每帧的图像品质稳定，因此也能够使每个帧看上去都稳定，并且也能够使帧内的图像品质稳定，因此也能够使帧内看上去稳定。
然后，依据本发明，在进行实现时，如在第三实施方式中说明的那样，通过减少按每个区域进行的滤波处理中产生的区域边界部分的噪声，能够减小主观图像品质的劣化。
然后，依据本发明，在进行实现时，如在第四实施方式中说明的那样，通过大幅限制活动的区域中的高频分量，或者如在第五实施方式中说明的那样，大幅限制活动的高频分量的区域中的高频分量，能够在不引起主观图像品质的劣化的情况下提高编码效率。
图22中示出为验证本发明的有效性而进行的实验结果。
为了与本发明做比较，该实验是如下进行的，即，对全部帧采用共同的最佳带宽生成最佳滤波图像数据，而且，根据第三实施方式，生成主观上与它相同程度的最佳滤波图像数据，并且根据第四实施方式，同样地生成主观上相同程度的最佳滤波图像数据，对于这3个最佳滤波图像数据，在相同条件下进行编码并求出代码量，并求出与对原图像数据进行编码时所获得的代码量的削减率。
在此，在图22中横轴是用于编码的量子化参数(QP)，纵轴是代码量的削减率。
图22中，图中所示的“帧单位”的实验数据是对全体帧利用共同的最佳带宽生成最佳滤波图像数据时的实验数据，图中所示的“块单位_活动忽略”的实验数据是根据第三实施方式生成最佳滤波图像数据时的实验数据，图中所示的“块单位_活动考虑”的实验数据是根据第四实施方式生成最佳滤波图像数据时的实验数据。
通过采用本发明，由该实验结果能够验证能够使主观图像品质成为相同程度且大幅削减发生代码量，从而能够验证本发明的有效性。
根据图示实施方式对本发明进行了说明，但本发明并不限定于此。
例如，在实施方式中，假设作为误差信息的一例采用PSNR后进行了说明，但是采用均方误差、离散值等包含像素的误差信息的信息，也得到同样的效果。
此外，在实施方式中，作为一例在1920×1080的原图像尺寸的情况下，假设32×18的块尺寸而进行了说明，但是如图5A或图5B所示，将与各式各样的原图像数据尺寸及块尺寸对应的第一带宽r1事先作成为第一带宽决定表103，使第一带宽决定部102具备该第一带宽决定表103，从而能够应用到任意尺寸的图像上。
此外，在实施方式中，假设块的形状采用长方形而进行了说明，但是块的形状也是任意的，即使长方形以外的形状(十字、三角、圆等)也具有同样的效果。
此外，在实施方式中，假设图像的分割数在水平、垂直方向上相同数目的情况下进行了说明，但是不同的场合(在水平方向上E1，在垂直方向上E5等)也具有同样的效果。
此外，对于在第四和第五实施方式中使用的加权系数，假设在水平、垂直方向上相同值的情况下进行了说明，但是采用不同值时也起到同样的效果。
此外，在实施方式中，对于第一带宽及最佳带宽，假设在水平、垂直方向上设为相同宽度的情况下进行了说明，但是在采用不同值的场合(在水平方向上B1，在垂直方向上B5等，进行频带限制)，也起到同样的效果。这是由于相对铅直方向有引力，所以在自然远景视频或追踪视频等情况下，积极地利用亮度变化在水平方向上相对比垂直方向大的情形。
此外，在实施方式中，没有对采用何种滤波进行说明，但是滤波可以采用例如阶(tap)数7的数字滤波，此外，在该抽头数不同的情况下也起到同样的效果。
此外，对于实现指定的频带限制的数字滤波的设计方法没有特别限制，例如可以通过将所希望的频率特性的形态逆z变换来求出并设计具有该频率特性的数字滤波的系数排列。
此外，在实施方式中，对于算出分配系数X的式中G值采用51.2的情况下进行了说明，但是该G值依赖于所使用的数字滤波特性，在不同的滤波的场合要适当变更。然后，在误差信息采用PSNR以外的信息时，要采用适于该信息的值。
此外，在实施方式中，虽然没有做特别地说明，不只限于亮度分量，对于自差分量也可实施频带处理，该场合，可进一步提高编码时的编码效率。
此外，在实施方式中，以诸如“X(n，m)＞Xth”的方式仅示出下限阈值，但是设定上限阈值的情况下也具有同样的效果。
此外，在第四及第五实施方式中，执行帧内图像处理和帧间图像处理的情况下进行了说明，但是采用帧内图像处理、帧间图像处理中的某一方的场合也具有同样的效果。
此外，对于组合实施方式的情形没有做说明，但是可以任意组合上述的实施方式，在改组各处理顺序的场合也具有同样的效果。
产业上的利用可能性
依据本发明，在不做编码处理且不做重复处理的情况下实现对构成视频的图像的适应性滤波处理，而且，在实现该滤波处理时，实现考虑了视频的帧内及帧间的频率分布的适应性滤波处理，从而能够有效地生成具有规定图像品质评价值的滤波图像。

Claims (16)

1.一种视频处理方法，其特征在于包括以下步骤：
将构成视频的处理对象的图像分割成多个分割区域；
决定对多个所述分割区域的每一个应用的共同的第一带宽；
算出实现以所述第一带宽限制频带时的频率特性的第一滤波系数排列；
按照每个所述分割区域，利用所述第一滤波系数排列对所述分割区域的图像数据进行滤波处理，生成滤波分割图像数据；
按照每个所述分割区域，导出所述分割区域的图像数据与所述滤波分割图像数据的误差信息的值，基于该误差信息的值算出用于最佳带宽决定的分配系数；
按照每个所述分割区域，决定与所述分配系数对应的最佳带宽；
按照每个所述分割区域，算出实现以所述决定的最佳带宽限制频带时的频率特性的最佳滤波系数排列；
按照每个所述分割区域，利用所述最佳滤波系数排列对所述分割区域的图像数据进行滤波处理，生成最佳滤波分割图像数据；以及
对每个所述分割区域的所述最佳滤波分割图像数据进行综合。
2.一种视频处理方法，其特征在于包括以下步骤：
决定设定在构成视频的处理对象的图像上的、对划分该图像的虚拟的分割区域的每一个应用的共同的第一带宽；
算出实现以所述第一带宽限制频带时的频率特性的第一滤波系数排列；
利用所述第一滤波系数排列对处理对象的图像的图像数据进行滤波处理，生成滤波图像数据；
按照每个所述分割区域，导出处理对象的图像的图像数据与所述滤波图像数据的误差信息的值，基于该误差信息的值算出用于最佳带宽决定的分配系数；
按照每个所述分割区域，决定与所述分配系数对应的最佳带宽；
按照每个所述分割区域，算出实现以所述决定的最佳带宽限制频带时的频率特性的最佳滤波系数排列；
按照每个所述分割区域，利用所述最佳滤波系数排列对所述分割区域的图像数据进行滤波处理，生成最佳滤波分割图像数据；以及
对每个所述分割区域的所述最佳滤波分割图像数据进行综合。
3.如权利要求1或2所述的视频处理方法，其特征在于：
决定所述第一带宽的步骤中，基于所述分割区域的大小决定所述第一带宽。
4.如权利要求1或2所述的视频处理方法，其特征在于还包括以下步骤：
按照每个所述分割区域，对于所述决定的最佳带宽，与位于周边的分割区域的最佳带宽进行比较；以及
基于所述比较的结果，修正所述决定的最佳带宽。
5.如权利要求1或2所述的视频处理方法，其特征在于还包括以下步骤：
按照每个所述分割区域，利用前或后或前后的帧的图像数据，判断所述分割区域的图像数据是否为活动的图像数据；以及
对于判断是所述活动的图像数据的分割区域，修正对该分割区域所决定的最佳带宽。
6.如权利要求5所述的视频处理方法，其特征在于：
在所述判断的步骤中，通过评价所使用的帧与本帧的像素值的变动量，判断所述分割区域的图像数据是否为活动的图像数据。
7.如权利要求5所述的视频处理方法，其特征在于：
在所述判断的步骤中，判断所述分割区域的图像数据是否为活动的高频分量的图像数据，
在修正所述最佳带宽的步骤中，对于判断出是所述活动的高频分量的图像数据的分割区域，修正对该分割区域所决定的最佳带宽。
8.如权利要求7所述的视频处理方法，其特征在于：
在所述判断的步骤中，判断表示所述分割区域的图像数据的属性的值是否表示是高频分量的图像数据，并且评价所使用的帧与本帧中的、表示是高频分量的图像数据的所述分割区域个数的变动量，从而判断所述分割区域的图像数据是否为活动的高频分量的图像数据。
9.如权利要求1或2所述的视频处理方法，其特征在于：
在决定所述最佳带宽的步骤中，通过参照记述了所述分配系数与所述最佳带宽的对应关系的最佳带宽决定表，决定与所述分配系数对应的最佳带宽。
10.如权利要求9所述的视频处理方法，其特征在于：
在决定所述最佳带宽的步骤中，对应于图像大小及所述误差信息的目标值而准备所述最佳带宽决定表的场合，选择其中与所述分割区域的大小和指定的所述误差信息的目标值对应的最佳带宽决定表，通过参照该选择的最佳带宽决定表，决定与所述分配系数对应的最佳带宽。
11.如权利要求1或2所述的视频处理方法，其特征在于：
在算出所述分配系数的步骤中，通过在不做频带限制的状态下极限接近时得到的误差信息的值除以所述导出的误差信息的值，来算出所述分配系数。
12.一种视频处理装置，其特征在于包括：
将构成视频的处理对象的图像分割成多个分割区域的单元；
基于所述分割区域的大小决定对多个所述分割区域的每一个应用的共同的第一带宽的单元；
算出实现以所述第一带宽限制频带时的频率特性的第一滤波系数排列的单元；
按照每个所述分割区域，利用所述第一滤波系数排列对所述分割区域的图像数据进行滤波处理，生成滤波分割图像数据的单元；
按照每个所述分割区域，导出所述分割区域的图像数据与所述滤波分割图像数据的误差信息的值，基于该误差信息的值算出用于最佳带宽决定的分配系数的单元；
按照每个所述分割区域，决定与所述分配系数对应的最佳带宽的单元；
按照每个所述分割区域，算出实现以所述决定的最佳带宽限制频带时的频率特性的最佳滤波系数排列的单元；
按照每个所述分割区域，利用所述最佳滤波系数排列对所述分割区域的图像数据进行滤波处理，生成最佳滤波分割图像数据的单元；以及
对每个所述分割区域的所述最佳滤波分割图像数据进行综合的单元。
13.一种视频处理装置，其特征在于包括：
基于设定在构成视频的处理对象的图像上的、划分该图像的虚拟的分割区域的大小决定对所述分割区域的每一个应用的共同的第一带宽的单元；
算出实现以所述第一带宽限制频带时的频率特性的第一滤波系数排列的单元；
利用所述第一滤波系数排列对处理对象的图像的图像数据进行滤波处理，生成滤波图像数据的单元；
按照每个所述分割区域，导出处理对象的图像的图像数据与所述滤波图像数据的误差信息的值，基于该误差信息的值算出用于最佳带宽决定的分配系数的单元；
按照每个所述分割区域，决定与所述分配系数对应的最佳带宽的单元；
按照每个所述分割区域，算出实现以所述决定的最佳带宽限制频带时的频率特性的最佳滤波系数排列的单元；
按照每个所述分割区域，利用所述最佳滤波系数排列对所述分割区域的图像数据进行滤波处理，生成最佳滤波分割图像数据的单元；以及
对每个所述分割区域的所述最佳滤波分割图像数据进行综合的单元。
14.如权利要求12或13所述的视频处理装置，其特征在于还包括：
按照每个所述分割区域，对于所述决定的最佳带宽，与位于周边的分割区域的最佳带宽进行比较的单元；以及
基于所述比较的结果，修正所述决定的最佳带宽的单元。
15.如权利要求12或13所述的视频处理装置，其特征在于还包括：
按照每个所述分割区域，利用前或后或前后的帧的图像数据，判断所述分割区域的图像数据是否为活动的图像数据的单元；以及
对于判断是所述活动的图像数据的分割区域，修正对该分割区域所决定的最佳带宽的单元。
16.如权利要求15所述的视频处理装置，其特征在于：
所述判断的单元判断所述分割区域的图像数据是否为活动的高频分量的图像数据，
修正所述最佳带宽的单元，对于判断出是所述活动的高频分量的图像数据的分割区域，修正对该分割区域所决定的最佳带宽。
CN2007800484173A 2006-12-28 2007-12-26 视频处理方法及装置 Expired - Fee Related CN101601301B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP353610/2006 2006-12-28
JP2006353610 2006-12-28
PCT/JP2007/074949 WO2008081813A1 (ja) 2006-12-28 2007-12-26 映像処理方法および装置、映像処理プログラム並びにプログラムを記録した記憶媒体

Publications (2)

Publication Number Publication Date
CN101601301A CN101601301A (zh) 2009-12-09
CN101601301B true CN101601301B (zh) 2011-09-07

Family

ID=39588496

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800484173A Expired - Fee Related CN101601301B (zh) 2006-12-28 2007-12-26 视频处理方法及装置

Country Status (11)

Country Link
US (1) US8467460B2 (zh)
EP (1) EP2096869B1 (zh)
JP (1) JP4999865B2 (zh)
KR (1) KR101064209B1 (zh)
CN (1) CN101601301B (zh)
BR (1) BRPI0720420A2 (zh)
CA (1) CA2673091C (zh)
ES (1) ES2698826T3 (zh)
RU (1) RU2408159C1 (zh)
TW (1) TWI354496B (zh)
WO (1) WO2008081813A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5291133B2 (ja) * 2011-03-09 2013-09-18 日本電信電話株式会社 画像処理方法，画像処理装置，映像符号化／復号方法，映像符号化／復号装置およびそれらのプログラム
JP5291134B2 (ja) 2011-03-09 2013-09-18 日本電信電話株式会社 映像符号化／復号方法，映像符号化／復号装置およびそのプログラム
JP5748225B2 (ja) * 2012-01-26 2015-07-15 日本電信電話株式会社 動画像符号化方法，動画像符号化装置および動画像符号化プログラム
JP6149652B2 (ja) * 2013-09-26 2017-06-21 富士通株式会社 情報処理装置、情報処理方法および情報処理プログラム
US10819651B2 (en) 2017-03-08 2020-10-27 Arris Enterprises Llc Excess bitrate distribution based on quality gain
CN112862726B (zh) * 2021-03-12 2023-11-10 湖南国科微电子股份有限公司 图像处理方法、装置及计算机可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1288641A (zh) * 1998-09-22 2001-03-21 松下电器产业株式会社 视频信号编码方法、视频信号编码装置及程序记录媒体
CN1299560A (zh) * 1998-03-05 2001-06-13 松下电器产业株式会社 图像编码方法、图像编码译码方法、图像编码装置或图像记录再生装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5181105A (en) * 1986-05-30 1993-01-19 Canon Kabushiki Kaisha Color image correction based on characteristics of a highlights or other predetermined image portion
JPH05227513A (ja) * 1991-08-20 1993-09-03 Sony Corp 映像信号伝送装置
JPH0670299A (ja) * 1992-08-15 1994-03-11 G C Technol Kk 画像符号化における前処理方法と装置
CA2106440C (en) * 1992-11-30 1997-11-18 Jelena Kovacevic Method and apparatus for reducing correlated errors in subband coding systems with quantizers
JP2894137B2 (ja) 1993-01-26 1999-05-24 ケイディディ株式会社 動画像符号化におけるプリフィルタ制御方法および装置
WO1995029462A1 (en) * 1994-04-22 1995-11-02 Sony Corporation Method and device for encoding image signal and image signal decoding device
JP3551666B2 (ja) * 1996-03-06 2004-08-11 ソニー株式会社 動画像符号化方法及び動画像符号化装置
JP3339054B2 (ja) 1997-03-28 2002-10-28 ソニー株式会社 データ符号化方法及び装置、データ復号方法及び装置、並びに記録媒体
SE512832C2 (sv) 1997-09-08 2000-05-22 Limt Technology Ab Anordning och förfarande för bearbetning av en bildsignal
EP1239679A3 (en) 1997-12-23 2002-10-02 Thomson Licensing S.A. Low noise encoding and decoding apparatus and method
JP2000175192A (ja) * 1998-12-08 2000-06-23 Matsushita Electric Ind Co Ltd 高能率符号化装置
JP4159062B2 (ja) 1998-11-10 2008-10-01 キヤノン株式会社 画像処理装置
KR100749291B1 (ko) 1999-07-27 2007-08-14 코닌클리케 필립스 일렉트로닉스 엔.브이. 필터링 장치
JP4438161B2 (ja) * 2000-02-18 2010-03-24 ソニー株式会社 画像処理装置及び画像処理方法
JP3849461B2 (ja) * 2001-06-07 2006-11-22 ソニー株式会社 撮像装置及び撮像方法
AU2003264804A1 (en) 2002-10-16 2004-05-04 Koninklijke Philips Electronics N.V. Fully scalable 3-d overcomplete wavelet video coding using adaptive motion compensated temporal filtering
JP2005026747A (ja) * 2003-06-30 2005-01-27 Matsushita Electric Ind Co Ltd フィルタ処理装置、画像符号化装置及び方法
US20050123038A1 (en) * 2003-12-08 2005-06-09 Canon Kabushiki Kaisha Moving image encoding apparatus and moving image encoding method, program, and storage medium
JP4343667B2 (ja) * 2003-12-08 2009-10-14 キヤノン株式会社 画像符号化装置及び画像符号化方法
JP4478480B2 (ja) * 2004-02-24 2010-06-09 キヤノン株式会社 動画像符号化装置及びその方法
JP2006101228A (ja) 2004-09-29 2006-04-13 Toshiba Corp 映像処理装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1299560A (zh) * 1998-03-05 2001-06-13 松下电器产业株式会社 图像编码方法、图像编码译码方法、图像编码装置或图像记录再生装置
CN1288641A (zh) * 1998-09-22 2001-03-21 松下电器产业株式会社 视频信号编码方法、视频信号编码装置及程序记录媒体

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JP特开平5-227513A 1993.09.03
JP特开平6-70299A 1994.03.11

Also Published As

Publication number Publication date
BRPI0720420A2 (pt) 2014-01-14
KR20090082492A (ko) 2009-07-30
EP2096869B1 (en) 2018-08-22
ES2698826T3 (es) 2019-02-06
JPWO2008081813A1 (ja) 2010-04-30
KR101064209B1 (ko) 2011-09-16
WO2008081813A1 (ja) 2008-07-10
CA2673091C (en) 2014-03-04
EP2096869A4 (en) 2012-02-29
TW200835342A (en) 2008-08-16
US20100067584A1 (en) 2010-03-18
CN101601301A (zh) 2009-12-09
JP4999865B2 (ja) 2012-08-15
US8467460B2 (en) 2013-06-18
CA2673091A1 (en) 2008-07-10
EP2096869A1 (en) 2009-09-02
TWI354496B (en) 2011-12-11
RU2408159C1 (ru) 2010-12-27

Similar Documents

Publication Publication Date Title
CN101601301B (zh) 视频处理方法及装置
US9031128B2 (en) Video encoding
CN101079949B (zh) 图像处理设备和图像处理方法
US5432556A (en) Coding apparatus
DE69434989T2 (de) Verfahren zur Kontrolle der Datenmenge und Kodierer zur Durchführung derselben
CN101159871B (zh) 宏块组级视频码率控制方法
JP5337818B2 (ja) 画像処理方法および装置
WO2007099039A1 (en) Method and apparatus for determining in picture signal encoding the bit allocation for groups of pixel blocks in a picture
CN101238712A (zh) 数字图像稳定方法和设备
CN110062230A (zh) 图像编码方法及装置
CN102754440A (zh) 图像编码方法、图像编码装置以及摄像系统
CN101355632A (zh) 图像处理装置和图像处理方法
CN101479764B (zh) 图像处理方法及装置
JP4183432B2 (ja) 画像データ符号化方法
JP2002247611A (ja) 画像判別回路、画質補正装置、画像判別方法、画質補正方法、およびプログラム
US20040114055A1 (en) Apparatus, method, and medium including computer readable code for measuring noise of an image signal
JP6593417B2 (ja) 画像圧縮装置、及びプログラム
US20030202577A1 (en) Moving picture coding control apparatus, and coding control database generating apparatus
JPH02108372A (ja) 画像データの圧縮装置、及び画像処理装置
Gendler et al. On transcoding optimization using requantization
Hait et al. Model-based transrating of H. 264 intra-coded frames
RU2000133250A (ru) Схема коррекции качества изображения
CN111726618A (zh) Rdoq的最优量化值的计算方法
Bilato et al. Accurate bit-rate and quality control for the MPEG video coder
Gendler et al. ON TRANS-CODI NG OPTI MI ZATI ON USI NG RE-QUANTI ZATI ON

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110907

Termination date: 20201226