CN102187664B - 影像信号变换系统 - Google Patents

Abstract

形成输入图像观测模型，该输入图像观测模型输出观测图像g(x，y)，该观测图像g(x，y)通过对输入真正的图像f(x，y)并输出劣化图像的模糊函数H(x，y)的劣化模型的输出附加噪声n(x，y)而得到，具备逆滤波器，该逆滤波器输入影像信号，以使该输入影像信号与所述观测图像以最小近似的方式相一致的方式，进行模糊函数H(x，y)的回归性最佳化，抽出真正的影像信息，针对由通过所述逆滤波器去除输入影像信号中包含的噪声的预处理部(20)实施了噪声去除处理的输入影像信号，根据Fluency理论进行对应点推测，使图像的运动信息进行函数化而表现，并且针对所述输入影像信号，通过压缩编码处理部(30)，选择信号空间，针对所选择出的每个信号空间对图像信息进行函数化而表现，以规定的形式记述进行所述函数化而表现了的图像的运动信息、和进行所述函数化而表现了的每个信号空间的图像信息，对所述输入影像信号进行压缩编码，由高帧频化处理部(40)对压缩编码后的影像信号进行高帧频化。

Description

影像信号变换系统

技术领域

本发明涉及将运动图像变换为高压缩化、高分辨率化了的图画信息的影像信号变换系统。

本申请以在日本2008年9月4日申请的日本专利申请号2008-227628、日本专利申请号2008-227629以及日本专利申请号2008-227630为基础而主张优先权，通过参照这些申请而引用在本申请中。

背景技术

近年来，伴随数字信号技术的发展，以影像(活动图像)、图像或者声音为对象的、通信、广播、记录介质[CD(Compact Disc)、DVD(Digital Versatile Disc)]、医用图像、印刷等领域作为多媒体产业或者IT(Information Technology，信息技术)得到了显著的发展。承担针对影像、图像、声音的数字信号技术的部分任务的技术是降低信息量的压缩编码，作为其信号理论，代表性地有香农的抽样定理，更新的理论有小波变换理论等。另外，例如在音乐的CD中，虽然使用不伴随压缩改变的线性PCM(Pulse Code Modulation，脉冲编码调制)，但信号理论同样地是香农的抽样定理。

以往，作为影像、动画图像等活动图像的压缩技术，已知有MPEG，由于采用数字广播、DVD中的MPEG-2方式、和采用第3代便携电话的网络流和移动通信等领域中的MPEG-4方式等，影像信号的数字压缩技术近年来变得与人非常密切相关。在该背景下，存在积蓄介质的大容量化、网络的高速化、处理器的高性能化、系统LSI的大规模·低价格化等。这样，支持需要数字压缩的影像应用系统的环境逐步齐备。

MPEG2(ISO(International Organization for Standardization，国际标准化组织)/IEC(International Electrotechnical Commition，国际电工委员会)13818-2)是作为通用的图像编码方式而被定义的方式，被定义成可以对应于隔行扫描方式、逐行扫描方式这两方，另外被定义成可以对应于标准分辨率图像、高精细图像这两方。该MPEG2当前广泛用于专门用途以及消费者用途的广泛应用中。在MPEG2中，可以将例如720×480像素的标准分辨率、隔行扫描方式的图像数据压缩为4～8〔Mbps〕的比特率，并且可以将1920×1080像素的高分辨率、隔行扫描方式的图像数据压缩为18～22〔Mbps〕的比特率，可以确保高画质且高压缩率。

一般在运动图像的编码中，通过削减时间方向以及空间方向的冗余来进行信息量的压缩。因此，在以削减时间上的冗余为目的的画面间预测编码中，参照前方或者后方的图片，以块为单位进行运动的检测以及预测图像的制作，对所得到的预测图像与编码对象图片的差分值进行编码。此处，图片是指表示1张画面的用语，在逐行图像中表示帧的含义，在隔行图像中表示帧或者场的含义。此处，隔行图像是指，1个帧由时刻不同的2个场构成的图像。在隔行图像的编码、解码处理中，可以将1个帧保持帧的原样地进行处理、或者处理为2个场、或者针对帧内的每个块处理为帧构造或者场构造。

作为使电视图像的质量提高的方法，有增加扫描线的数量并且增加水平像素的数量的方法。例如，现行的NTSC方式的视频信号由于进行2:1的隔行扫描，所以垂直分辨率是300条左右。已知如下方法：一般的电视接收机中使用的显示装置的扫描线是525条，由于隔行扫描，分辨率降低，由此，通过使用了场缓冲器的场插值，增加垂直方向的像素数，而使扫描成为非隔行化，从而提高垂直方向的分辨率。

另外，在高品质电视接收机中使用的显示装置中，有垂直像素数与通常的电视接收机的显示装置相比被设定为2倍左右的装置，已知通过插值使扫描线方向的像素数增加至2倍，从而提高水平方向的分辨率的方法。

以往，作为通过简单的处理来进行图像的放大或者缩小的方法，已知有按照规定间隔重复或者间隔剔除相同像素的方法，并提出了由于误差引起的图像的失真少而且降低运算量的手法、用于对图像数据更高效地进行编码的方法(例如，参照日本特开平11-353472号公报、日本特开2000-308021号公报、日本特开2008-4984号公报)。

另外，还提出了如下方法：与输入运动像素同时地对正确的像素与像素之间的副像素的照相机运动分量进行检测来决定多个副像素的影像信息，通过利用循环型(IIR：infinite impulse response，无限冲激响应)滤波器等的影像合成使分辨率提高，实现利用电子变焦实现的影像放大下的高画质(例如，参照日本特开平9-163216号公报)。

另外，以往，为了适应性地去除由于视频信号的摄影时的摇晃、对焦模糊、烟等引起的不清晰度等，进行利用帧间的差分信息的处理、利用维纳滤波器的处理。

例如，提出了如下摄像噪声去除方法：为了通过远程操作，去除由可进行旋转动作、变焦距动作的照相机产生的摄影影像的摄像噪声，在使1帧前的帧的影像，以与表示相对当前帧的影像反馈的量的反馈系数相当的比率，与当前帧的影像重叠时，根据使该视频照相机系统旋转动作的旋转信息和/或变焦距动作的变焦信息，计算在当前帧上成为对象的影像信号位于1帧前的帧画面内的何处，使同一对象物的影像彼此正确地重叠，从而可以通过旋转动作时、变焦动作时的摄像噪声去除处理来降低余像感(例如，参照日本特开2007-134886号公报)。

另外，提出了针对相同内容的多个影像信号输入以像素为单位来检测有无噪声，选择性地输出至少1个没有噪声的影像信号的影像噪声去除电路(例如，日本特开平8-84274号公报)。

发明内容

在以往的基于香农的抽样定理的A-D变换/D-A变换系统中，对通过奈奎斯特频率进行频带限制后的信号进行处理。此时，在D-A变换中，在将通过抽样而变得离散的信号再生为连续波的再生中，使用了对进行了限制后的频带内的信号进行再现的函数(正则函数)。

本申请发明人中的一人发现了可以使用Fluency(流畅)函数，对影像(运动图像)、文字图形、自然图像等图像或者声音等信号具有的各种性质进行分类。根据该理论，基于香农的抽样定理的所述正则函数是Fluency函数之一，仅是适合于信号具有的各种性质内的一个性质。因此，在仅通过基于香农的抽样定理的所述正则函数来处理具有各种性质的信号时，对D-A变换后的再生信号的品质有可能带来界限。

在上述小波变换理论中，使用按照分辨率对对象进行分解的母小波来表示信号，但未必是对信号施加了最佳的母小波，而仍有可能对D-A变换后的再生信号的品质带来界限。

此处，Fluency函数是通过参数m(m是1～∞的正整数)分类的函数。m表示该函数仅能够进行(m-2)次的连续微分。顺便地，所述正则函数能够进行任意次数的微分，所以m是∞。进而，Fluency函数由(m-1)次的函数构成，特别Fluency函数内的Fluency DA函数是将样本间隔设为τ，用所关注的第k个样本点kτ提供数值，但在其他样本点中成为0的函数。

信号的性质可以通过具有参数m的Fluency函数完全分类，通过参数m来划分等级。因此，使用了Fluency函数的Fluency信息理论被定位为：包含以往的仅表示信号的性质的一部分的香农的抽样定理和小波变换理论等，是表示信号整体的理论体系。通过使用那样的函数，期待在D-A变换后，在信号的整体中得到不受香农的抽样定理频带限制的高质量的再生信号。

但是，在以往的利用帧间的差分信息的处理、利用维纳滤波器的处理中，无法进行图像的清晰化、边缘增强等处理。

另外，在内容通信、图像的检索中，要求进行清晰且平滑运动的影像显示。

但是，在数字图像中，存在如下问题：在放大为高倍率时在部分图像的边缘中产生被称为窒格(jaggy)的阶梯状的锯齿，从而画质降低。例如，在作为影像、动画图像等活动图像的压缩技术而所知的MPEG中，还存在在图像的轮廓部中产生窒格，浓淡部的尖锐度丢失、或者浓淡部的颜色再现性恶化等问题。

另外，关于帧间的信息，仅利用差分信息，不会实现生成高精细的信息。

另外，由于需要将海外的视频信息和电影变换为视频信息、或者在动画制作中进行帧间信息的插值，故需要帧频变换，而要求将例如电影的24帧/秒的帧频变换为视频的30帧/秒、或者为了对TV的影像进行高精细化而进行高帧频化、或变换为便携的帧频。

但是，以往，通过帧间隔剔除、前后的帧的内插插值来生成新的帧的方法成为主流，所以存在影像的运动不平滑、影像失真等问题。

本发明是鉴于如上所述的以往的实际情况而完成的，其目的在于提供一种影像信号变换系统，可以对影像、动画等活动图像信息统一地进行处理并进行高压缩化，实现高质量的运动图像再生。

另外，本发明的目的在于提供一种影像信号变换系统，具有可以去除视频信号的噪声并且进行使图像清晰化、边缘增强等的滤波处理功能。

进而，本发明的目的在于提供一种影像信号变换系统，可以进行清晰且平滑运动的影像显示，具有对内容通信、图像的检索有效的活动图像处理功能。

本发明的其他目的、通过本发明得到的具体的优点根据以下说明的实施例的说明将更加明确。

本发明提供一种影像信号变换系统，其特征在于，具备：预处理部，假想输入真正的图像f(x，y)并输出劣化图像的模糊函数H(x，y)的劣化模型，构成通过对其输出附加噪声n(x，y)而生成观测图像g(x，y)的输入图像模型，包含逆滤波器，以使输入影像信号与所述输入图像模型的输出即观测图像以最小误差的方式近似的方式，进行模糊函数H(x，y)的回归性最佳化而抽出所推测出的真正的影像信息，通过所述逆滤波器去除输入影像信号中包含的噪声；编码处理部，针对由所述预处理部实施了噪声去除处理的输入影像信号，根据Fluency理论进行对应点推测，使图像的运动信息进行函数化来表现，并且针对所述输入影像信号，选择信号空间，针对所选择出的每个信号空间使图像信息进行函数化来表现，以规定的形式记述进行所述函数化来表现的图像的运动信息、和进行所述函数化来表现的每个信号空间的图像信息，对所述输入影像信号进行压缩编码；以及高帧频化处理部，对由所述编码处理部进行了压缩编码后的影像信号进行高帧频化。

在本发明的影像信号变换系统中，所述编码处理部例如具备：对应点推测部，针对由所述预处理部实施了噪声去除处理后的输入影像信号，根据Fluency理论进行对应点推测；第1函数化处理部，根据通过该对应点推测部进行的对应点推测的结果，使图像的运动信息进行函数化来表现；第2函数化处理部，针对所述输入影像信号，根据Fluency理论选择信号空间，针对选择出的每个信号空间使图像信息进行函数化来表现；以及压缩编码处理部，以规定的形式记述由所述第1函数化处理部进行函数化来表现的图像的运动信息、和由所述第2函数化处理部进行函数化来表现的每个信号空间的图像信息，对所述输入影像信号进行压缩编码。

另外，在本发明的影像信号变换系统中，所述对应点推测部例如包括：第1部分区域抽出单元，抽出帧图像的部分区域；第2部分区域抽出单元，抽出与由所述第1部分区域抽出单元抽出的部分区域相似的连续的其他帧图像的部分区域；函数近似单元，按相同的比变换由所述第1部分区域抽出单元以及所述第2部分区域抽出单元抽出的各部分区域，以分段多项式对变换后的各图像的浓淡通过函数进行表现并输出；相关值运算单元，运算所述函数近似单元的输出的相关值；以及偏移量运算单元，对提供由所述相关值运算单元计算出的相关值的最大值的图像的位置偏移进行运算，将该运算值作为对应点的偏移量而输出。

另外，在本发明的影像信号变换系统中，所述第2函数化处理部例如包括：区域自动分类处理部，针对由所述预处理部实施了噪声去除处理的影像信号，根据Fluency理论选择信号空间；以及函数化处理部，针对由该区域自动分类处理部选择出的每个信号空间使图像信息进行函数化来表现，所述函数化处理部具备：浓淡函数化处理部，针对由所述区域自动分类处理部选择出的能够用多项式表现的区域通过面函数对图像的浓淡进行近似来表现，并使浓淡信息进行函数化；以及轮廓线函数化处理部，针对由所述区域自动分类处理部选择出的能够用多项式表现的区域通过图像的轮廓线函数进行近似来表现，并使轮廓信息进行函数化。

另外，在本发明的影像信号变换系统中，所述浓淡函数化处理部例如针对由所述区域自动分类处理部选择出的能够用多项式表现的分段性平面区域(m≤2)、分段性曲面区域(m＝3)、分段性球面区域(m＝∞)的图像信息，分别使用Fluency函数使浓淡信息进行函数化。

另外，在本发明的影像信号变换系统中，所述轮廓线函数化处理部具备针对由所述区域自动分类处理部选择出的图像信息，抽出并分类分段性直线、分段性2次曲线、分段性圆弧的轮廓自动分类处理部，通过使用Fluency函数对由所述轮廓自动分类处理部分类了的分段性直线、分段性2次曲线、分段性圆弧分别进行近似，从而使轮廓信息函数化。

另外，在本发明的影像信号变换系统中，所述高帧化处理部具备：对应点推测处理部，针对基准帧中的多个像素，推测使时间为不同的多个图像帧中的各对应点；第1灰度值生成处理部，针对推测出的各图像帧中的各对应点，分别根据表示附近的像素的浓淡的灰度值求出各对应点的灰度值；第2灰度值生成处理部，针对所述基准帧中的多个像素，根据所述推测出的各图像帧中的各对应点的灰度值，用Fluency函数对对应点轨迹上的浓淡进行近似，根据该函数求出插值帧中的对应点的各灰度值；以及第3灰度值生成处理部，根据所述插值帧中的各对应点的灰度值，生成所述插值帧中的各像素点的灰度值。

另外，在本发明的影像信号变换系统中，所述高帧化处理部能够针对由所述编码处理部进行了压缩编码后的影像信号，通过函数表现了的图像的运动信息以及图像信息，进行将图像的大小放大或者缩小为规定大小的尺寸变换处理，并且进行高帧频化处理。

另外，在本发明的影像信号变换系统中，所述高帧化处理部具备：第1函数近似处理单元，将由所述编码处理部进行了压缩编码后的图像信息作为输入，针对基准帧中的多个像素，对其浓淡分布进行函数近似；对应点推测处理单元，通过由所述第1函数近似处理单元进行了近似的使时间为不同的多个所述基准帧中的所述浓淡分布的函数进行相关运算，将提供其最大值的各个位置设为所述多个基准帧中对应的对应点位置；第2函数近似处理单元，用距基准帧的原点的水平方向、垂直方向的距离对由所述对应点推测处理单元推测出的各基准帧中的对应点位置进行坐标化，将所述使时间为不同的多个基准帧中的该坐标点的水平方向位置以及垂直方向位置各自的变化变换为时间序列信号，对各基准帧的时间序列信号进行函数近似；以及第3函数近似处理单元，通过由所述第2函数近似处理单元近似了的函数，针对所述多个基准帧间的任意时间内的插值帧，将与所述基准帧的对应点位置相应的插值帧内的对应的位置作为对应点位置，用所述基准帧的对应点处的浓淡值进行插值而求出该插值帧的对应点位置处的浓淡值，与该插值帧的对应点的浓淡值相配地应用所述第1函数近似，求出该对应点附近的浓淡分布，将该对应点附近的浓淡值变换为插值帧中的像素点的浓淡值。

另外，在本发明的影像信号变换系统中，所述预处理部中的逆滤波器具有通过学习处理得到的滤波特性，该学习处理是直到通过关于新的图像g_KPA的最小化处理得到的f_K满足测试条件为止，反复进行如下所述的处理：

针对观测图像g(x，y)和劣化模型的模糊函数H(x，y)，根据各奇异值分解(SVD：singular value decomposition)的结果，代表h(x，y)＊f(x，y)而表示为Hf，将系统的方程式设为

g＝f+n＝Hf+n，

另外，设成

$H=A\⊗B$

$(A\⊗B)f=\mathrm{vec}\left({\mathrm{BFA}}^T\right),\mathrm{vec}\left(F\right)=f$

来近似f，

其中，

$\⊗$

表示克罗内克积算子，

vec

是表示将矩阵向列方向扩展，而生成列向量的操作的算子，

将作为目的的新的图像g_E

g_E＝(βC_EP+γC_EN)g

计算为

g_KPA＝vec(BG_EA^T)，vec(G_E)＝g_E，

其中，β和γ是控制参数，C_EP和C_EN分别是边缘保存和边缘增强的算子，针对所计算出的新的图像g_KPA，进行

$\underset{f}{\min }\{{\left|\right|H_{k}f-g_{\mathrm{KPA}}\left|\right|}^2+\mathrm{\α}{\left|\right|\mathrm{Cf}\left|\right|}^2\}$

的最小化处理，针对所得到的f_K，判定是否满足测试条件，在不满足测试条件的情况下，针对所述劣化模型的模糊函数H_K，进行

$\underset{H}{\min }\left\{{\left|\right|{\mathrm{Hf}}_k-g_{\mathrm{KPA}}\left|\right|}^2\right\}$

的最小化处理，针对所得到的模糊函数H_K+1，

G_SVD＝U∑V^T，A＝U_A∑_AV_A ^T，B＝U_B∑_BV_B ^T

将所述劣化模型的模糊函数H推测为

$H=(U_A\⊗U_B)({\mathrm{\Σ}}_A\⊗{\mathrm{\Σ}}_B){(V_A\⊗V_B)}^T.$

进而，在本发明的影像信号变换系统中，在所述学习处理中，针对计算出的通过关于新的图像g_KPA的最小化处理得到的f_K，判定是否满足

||H_kf_k-g_KPA||²+α||Cf_k||²＜ε²，k＞c

的测试条件，

其中，k是反复编号，ε、c分别是判定的阈值。

附图说明

图1是示出应用了本发明的影像信号变换系统的结构的框图。

图2是示出用于构筑所述影像信号变换系统中的预处理部所使用的系统模型的框图。

图3是示出用于构筑所述影像信号变换系统中的预处理部所使用的恢复系统模型的框图。

图4是示出所述预处理部中使用的逆滤波器的特性的各处理的步骤的流程图。

图5是示出所述影像信号变换系统中的压缩编码处理部的结构的框图。

图6是示出所述压缩编码处理部中具备的对应点推测部的结构的框图。

图7是用于说明进行帧间的相关函数所属的2m次插值的空间的图。

图8A、图8B、图8C、图8D是示意性地示出通过由所述对应点推测部进行的对应点推测决定运动向量的样子的图。

图9是比较示出通过由所述对应点推测部进行的对应点推测决定的运动向量、和通过以往的块匹配决定的运动向量的图。

图10是用于说明由所述压缩编码处理部中具备的运动函数化处理部处理的帧图像的原点的图。

图11A、图11B、图11C是示意性地示出各帧的图像的运动作为各帧的X坐标、Y坐标的运动的图。

图12是示意性地示出对于帧间的位置进行推测处理的内容的图。

图13A以及图13B是示意性地示出通过MPEG编码生成的影像数据流的结构例、和由所述影像信号变换系统中的编码处理部生成的生成影像数据流的结构例子的图。

图14是示出由所述编码处理部生成的影像数据流中的I图片以及Q图片的比特格式的一个例子的图。

图15是示出由所述编码处理部生成的影像数据流中的D图片的比特格式的一个例子的图。

图16A以及图16B是示出所述D图片的比特格式的一个例子中的对应点的X坐标的变化以及Y坐标的变化的图。

图17是示意性地示出根据前后的图片的X坐标值，通过插值运算计算出对应区域内的各D图片的各X坐标值的例子的图。

图18是示出所述影像信号变换系统中的高帧频化处理部的结构的框图。

图19A以及图19B是示意地示出由所述高帧频化处理部进行的高帧频化处理的图。

图20是示出由所述高帧频化处理部进行的高帧频化处理的执行顺序的流程图。

图21A、图21B、图21C、图21D是示意性地示出由所述高帧频化处理部进行的高帧频化处理的内容的图。

图22是用于说明所述帧频变换部中的不均匀插值处理的图。

图23是用于说明决定在变换了图像的分辨率时新生成的像素位置的值的图像插值处理的图。

图24A以及图24B是示出均匀插值函数和不均匀插值函数的例子的图。

图25是示意性地示出所述图像插值处理的内容的图。

图26是示出放大插值处理装置的结构例的框图。

图27是示出所述放大插值处理装置中的SRAM选择部的结构例的框图。

图28是示出所述放大插值处理装置中的图像处理块的结构例的框图。

图29A以及图29B是示意性地示出输入到所述放大插值处理装置中的图像处理模块的2个帧图像的图。

图30是示出所述放大插值处理装置中的放大插值处理的顺序的流程图。

图31是示出具有放大插值处理功能的帧频变换装置的结构例的框图。

图32是示出(m＝3)等级的不均匀Fluency插值函数的图。

图33是示出高分辨率插值办法的实例的图。

图34是示出用于插值的像素构造的具体例的图。

图35是比较示出由所述高帧频化处理部生成的中间帧和通过以往方法生成的中间帧的图，(A)、(B1)、(C1)示出以往的1/2精度的运动推测的例子，(A)、(B2)、(C2)示出不均匀插值的例子。

具体实施方式

以下，参照附图，详细说明本发明的实施方式。另外，本发明不限于以下的例子，当然可以在不脱离本发明的要旨的范围内，任意地变更。

本发明应用于例如图1所示那样的结构的影像信号变换系统100。

该影像信号变换系统100包括：对从摄像装置等图像输入部10输入的图像信息实施噪声去除处理的预处理部20；输入由所述预处理部20实施了噪声去除处理的图像信息，并对所输入的图像信息进行压缩编码的压缩编码处理部30；对由所述压缩编码处理部30进行了压缩编码后的图像信息进行高帧频化的高帧频化处理部40等。

该影像信号变换系统100中的预处理部20进行如下滤波处理：通过图像的张量运算技术和模糊函数的适应修正处理技术来去除所输入的图像信息中包含的模糊、手抖动等噪声，该预处理部20包含如下逆滤波器22：通过图2所示那样的系统模型，对输入了真正的输入图像f(x，y)的模糊函数H(x，y)的劣化模型21的输出

[数12]

$\hat{f}(x,y)$

附加噪声n(x，y)，从而得到观测图像g(x，y)，通过图3所示那样的恢复系统模型，对模糊函数进行适应修正，使得输入图像与所述观测图像g(x、y)按最小误差的方式相一致，得到按其结果推测得到的图像

[数13]

$\hat{f}(x,y)$

作为真正的输入图像。

预处理部20进行通过图像的张量运算技术和模糊函数的适应修正处理技术而实现去除的滤波处理，利用克罗内克积的特性来评价原图像。

克罗内克积如下那样定义。

在将A＝[a_ij]设为mn矩阵、将B＝[b_ij]设为st矩阵时，克罗内克积

[数14]

$(A\⊗B)$

是如下那样的ms×nt矩阵

[数15]

$A\⊗B=\left[a_{\mathrm{ij}}B\right].$

此处，

[数16]

$\⊗$

表示克罗内克积算子。

另外，克罗内克积的基本的性质如下所述

[数17]

${(A\⊗B)}^T=A^T\⊗B^T$

$(A\⊗B)(C\⊗D)=\left(\mathrm{AC}\right)\⊗\left(\mathrm{BD}\right).$

$(A\⊗B)x=\mathrm{vec}\left({\mathrm{BXA}}^T\right),\mathrm{vec}\left(X\right)=x,$

$(A\⊗B)\mathrm{vec}\left(X\right)=\mathrm{vec}\left({\mathrm{BXA}}^T\right)$

此处，

[数18]

vec

是表示将矩阵向列方向扩展，而生成列向量的操作的算子。

在该预处理部20中的图像模型中，假设为存在未知的真正的输入图像f(x，y)，通过对所述劣化模型21的输出

[数19]

$\hat{f}(x,y)$

附加噪声n(x，y)而得到的观测图像g(x，y)可以用下述式(1)表示。

[数20]

$g(x,y)=\stackrel{\‾}{f}(x,y)+n(x,y)---\left(1\right)$

此处，

[数21]

$\hat{f}(x,y)$

代表由该图像系统得到的劣化图像，另外，n(x，y)是所附加的噪声。于是，劣化图像

[数22]

$\hat{f}(x,y)$

如下述式(2)所示。

[数23]

$\stackrel{\‾}{f}(x,y)=\∫\∫h(x,y;x^{\′},y^{\′})f(x^{\′},y^{\′})d{x}^{\′}{\mathrm{dy}}^{\′}---\left(2\right)$

此处，h(x，y；x’，y’)代表劣化系统的脉冲响应。

由于所使用的图像是离散量，所以输入图像f(x，y)的图像模型可以如式(3)那样改写。

[数24]

$f(x,y)\underset{\underset{\‾}{\‾}}{\mathrm{\Δ}}\underset{k,l}{\mathrm{\Σ}}\hat{f}(k,l)\mathrm{\φ}(x-k,y-l)$

$\tilde{f}(i,j)=\∫\∫h(i,j;x^{\′},y^{\′})f(x^{\′},y^{\′}){\mathrm{dx}}^{\′}{\mathrm{dy}}^{\′}$

$=\∫\∫h(i,j;x^{\′},y^{\′})\underset{k,l}{\mathrm{\Σ}}\hat{f}(k,l)\mathrm{\φ}(x^{\′}-k,y^{\′}-l){\mathrm{dx}}^{\′}{\mathrm{dy}}^{\′}---\left(3\right)$

$=\underset{k,l}{\mathrm{\Σ}}\hat{f}(k,l)\∫\∫h(i,j;x^{\′},y^{\′})\mathrm{\φ}(x^{\′}-k,y^{\′}-l){\mathrm{dx}}^{\′}{\mathrm{dy}}^{\′}$

$=\underset{k,l}{\mathrm{\Σ}}\hat{f}(k,l)H_k^{\left(x\right)}{H}_l^{\left(y\right)}$

此处，H_K(x)H_l(y)通过如下式(4)那样以矩阵形式表示，成为劣化模型的点扩散函数(PSF：Point Spread Function)H。

[数25]

$H=\left[H_k^{\left(x\right)}{H}_l^{\left(y\right)}\right]---\left(4\right)$

所述逆滤波器22的特性通过依照图4的流程图所示的顺序的学习处理来决定。

即，在学习处理中，首先，将输入图像g作为观测图像g(x，y)而读入(步骤S1a)，作为

[数26]

g_E＝(βC_EP+γC_EN)g

来构成图像g_E(步骤S2a)，进行

[数27]

G_E，vec(G_E)＝g_E

的奇异值分解(SVD：singular value decomposition)(步骤S3a)。

另外，读入劣化模型的点扩散函数(PSF：Point Spread Function)H(步骤S1b)，

构筑通过

[数28]

$H=(A\⊗B)$

的克罗内克积表示的劣化模型(步骤S2b)，进行所述劣化模型的函数H的奇异值分解(SVD：singular value decomposition)(步骤S3b)。

此处，系统方程式g可以改写为

[数29]

$g=(A\⊗B)f=\mathrm{vec}\left({\mathrm{BEA}}^T\right),\mathrm{vec}\left(F\right)=f$

然后，作为

[数30]

$g_{\mathrm{KPA}}=\mathrm{vec}\left(B{\hat{G}}_E{A}^T\right),$

来计算新的图像g_KPA(步骤S4)。

然后，针对所计算出的新的图像g_KPA，进行

[数31]

$\underset{f}{\min }\{{\left|\right|H_{k}f-g_{\mathrm{KPA}}\left|\right|}^2+\mathrm{\α}{\left|\right|\mathrm{Cf}\left|\right|}^2\}$

的最小化处理(步骤S5)，针对所得到的f_K，判定是否满足

[数32]

||H_kf_k-g_KPA||²+α||Cf_k||²＜ε²，k＞c

的测试条件(步骤S6)。

此处，k是反复号码，ε、c分别是判定的阈值。

然后，在所述步骤S6中的判定结果是False、即在所述步骤S5中得到的f_K不满足所述测试条件的情况下，针对所述劣化模型的函数H，进行

[数33]

$\underset{H}{\min }\{{\left|\right|{\mathrm{Hf}}_k-g_{\mathrm{KPA}}\left|\right|}^2$

的最小化处理(步骤S7)，回到所述步骤S3b，针对在所述步骤S6中得到的函数H_K+1进行奇异值分解(SVD：singular valuedecomposition)，反复进行所述步骤S3b至步骤S7的处理，在所述步骤S6中的判定结果是True、即在所述步骤S5中得到的f_K满足所述测试条件的情况下，将在所述步骤S5中得到的f_K设成

[数34]

$\hat{f}=f_k$

(步骤S8)，结束针对1输入图像g的学习处理。

所述逆滤波器22的特性通过针对多个输入图像g进行所述学习处理来决定。

即，此处，代表h(x，y)＊f(x，y)而表示为Hf，将系统的方程式设成

[数35]

g＝f+n＝Hf+n，

另外，设成

[数36]

$H=A\⊗B$

$(A\⊗B)f=\mathrm{vec}\left({\mathrm{BEA}}^T\right),\mathrm{vec}\left(F\right)=f$

来对f进行近似，如下那样导出作为目的的新的图像g_E。

[数37]

g_E＝E[f]

此处，E表示预测。新的图像g_E构成为保存、增强原图像的边缘细节。

新的图像g_E是作为

[数38]

g_E＝(βC_EP+γC_EN)g而被得到。

此处，C_EP和C_EN分别是边缘保存和边缘增强的算子。

然后，选择简单的拉普拉斯核和具有控制参数β和γ的高斯核C_EP，设成

[数39]

g_KPA＝vec(BG_EA^T)，vec(G_E)＝g_E。

然后，设成

[数40]

M(α，f)＝||Hf-g_KPA||²+α||Cf||²，

重建最小化问题，根据接下来的奇异值分解(SVD：singular valuedecomposition)

[数41]

G_SVD＝U∑V^T，A＝U_A∑_AV_A ^T，B＝U_B∑_BV_B ^T，

将所述劣化模型的函数H推测为

[数42]

$H=(U_A\⊗U_B)({\mathrm{\Σ}}_A\⊗{\mathrm{\Σ}}_B){(V_A\⊗V_B)}^T$

而使用。

通过如该影像信号变换系统100中的预处理部20那样，进行用图像的张量运算技术和模糊函数的适应修正处理技术来去除所输入的图像信息中包含的模糊、手抖动等噪声的滤波处理，可以去除噪声，并且使图像清晰化、边缘增强等。

该影像信号变换系统100针对由所述预处理部20实施了噪声去除处理的图像信息，通过压缩编码处理部30进行压缩编码，通过帧频化处理部40对压缩编码后的图像信息进行高帧频化。

该影像信号变换系统100中的压缩编码处理部30进行基于Fluency理论的压缩编码处理，如图5所示，具备第1函数化处理部31、第2函数化处理部32、将对由所述第1函数化处理部31和第2函数化处理部32进行了函数化的各图像信息以规定的形式记述并编码的编码处理部33等。

第1函数化处理部31包括：对应点推测部31A，针对由所述预处理部20实施了噪声去除处理的图像信息，进行多个帧图像之间的对应点推测；以及运动函数化处理部31B，使用由所述对应点推测部31A推测出的各帧图像的对应点的图像信息，对运动部分的图像信息进行函数化。

对应点推测部31A例如如图6所示那样被构成。

即，对应点推测部31A包括：第1部分区域抽出部311，抽出帧图像的部分区域；第2部分区域抽出部312，抽出与由所述第1部分区域抽出部311抽出了的部分区域相似的连续的其他帧图像的部分区域；函数近似部313，按相同的比变换由所述第1部分区域抽出部311以及所述第2部分区域抽出部312抽出了的各部分区域，按照Fluency理论用分段多项式对变换后的各图像的浓淡通过函数进行表现而输出；相关值运算部314，运算所述函数近似部313的输出的相关值；以及偏移量运算部315，运算提供由所述相关值运算部314计算的相关值的最大值的图像的位置偏移，将该运算值作为对应点的偏移量而输出。

在该对应点推测部31A中，由第1部分区域抽出部311将帧图像的部分区域作为模板而抽出，并且由第2部分区域抽出部312抽出与由所述第1部分区域抽出部311抽出了的部分区域相似的连续的其他帧图像的部分区域，按相同的比变换由函数近似部313将由所述第1部分区域抽出部311以及所述第2部分区域抽出部312抽出的各部分区域，用分段多项式对变换后的各图像的浓淡通过函数进行表现。

该对应点推测部31A捕捉图像的浓淡而作为连续的变化状态，通过Fluency信息理论，推测图像的对应点，该对应点推测部31A包括第1部分区域抽出部311、第2部分区域抽出部312、函数近似部313、相关值运算部314、以及偏移量运算部315。

在该对应点推测部31A中，第1部分区域抽出部311针对输入图像抽出帧图像的部分区域。

另外，第2部分区域抽出部312抽出与由所述第1部分区域抽出部311抽出的部分区域相似的连续的其他帧图像的部分区域。

另外，函数近似部313按相同的比变换由所述第1部分区域抽出部311以及所述第2部分区域抽出部312抽出的各部分区域，依照Fluency理论用分段多项式对变换后的各图像的浓淡通过函数进行表现而输出。

另外，相关值运算部314运算所述函数近似部313的输出的相关值。

进而，偏移量运算部315运算提供由所述相关值运算部314计算的相关值的最大值的图像的位置偏移，将该运算值作为对应点的偏移量而输出。

然后，在该对应点推测部31中，由第1部分区域抽出部311将帧图像的部分区域作为模板而抽出，并且由第2部分区域抽出部312抽出与由所述第1部分区域抽出部311抽出的部分区域相似的连续的其他帧图像的部分区域，由函数近似部313按相同的比变换由所述第1部分区域抽出部311以及所述第2部分区域抽出部312抽出后的各部分区域，用分段多项式对变换后的各图像的浓淡通过函数进行表现。

此处，图像f₁(x，y)、f₂(x，y)假设为属于空间S_(m)(R₂)，用(m-2)次的分段多项式如下式(5)那样表示Φ_m(t)，

[数43]

${\widehat{\mathrm{\φ}}}_m\left(\mathrm{\ω}\right):={\∫\underset{t\∈R}{e}}^{-\mathrm{i\ωt}}{\mathrm{\φ}}_m\left(t\right)\mathrm{dt}={\left(\frac{1-e^{-\mathrm{i\ω}}}{\mathrm{i\ω}}\right)}^m---\left(5\right)$

如果如下述式(6)那样表示所述空间S_(m)(R₂)，

[数44]

$S^{\left(m\right)}\left(R^2\right)\underset{\underset{\‾}{\‾}}{\mathrm{\Δ}}\mathrm{span}\{{\mathrm{\φ}}_m(\·-k){\mathrm{\φ}}_m(\·-l){\}}_{k,l\∈Z}---\left(6\right)$

则帧间的相关函数c(τ₁、τ₂)可以表示为下述式(7)。

设成

[数45]

c(τ₁，τ₂)＝∫∫f₁(x，y)f₂(x+τ₁，y+τ₂)dxdt    (7)

然后，根据上述假设、即

[数46]

f₁(x，y)，f₂(x，y)∈S^(m)(R²)

表示帧相关函数的式(7)可以如下述式(8)表示。

[数47]

c(τ₁，τ₂)∈S^(2m)(R²)    (8)

即，所述帧间的相关函数c(τ₁、τ₂)属于图7所示那样的进行2m次插值的空间S_(2m)(R₂)，所述进行2m次插值的空间S_(2m)(R₂)的样本化频率ψ_2m(τ₁、τ₂)唯一地存在，所述帧间的相关函数c(τ₁、τ₂)如下述式(9)所示。

[数48]

c(τ₁，τ₂)＝∑_k∑_lc(k，l)ψ_2m(τ₁-l，τ₂-k)    (9)

根据式(8)，为了对相关面进行插值，可以构筑(2m-1)次的分段的多项式函数。

即，通过基于块的运动向量评价办法，适合地得到式(7)各自的块运动向量的初始的推测，然后，应用得到任意的正确度的真正的运动的式(8)。

可分离的相关面插值函数的通式如式(10)所示，

[数49]

${\mathrm{\ψ}}_{2m}(x,y)=\underset{k=-\∞}{\overset{\∞}{\mathrm{\Σ}}}\underset{l=-\∞}{\overset{\∞}{\mathrm{\Σ}}}{c}_k{d}_l{M}_{2m}(x-k)---\left(10\right)$

$\×M_{2m}(y-l)$

此处，Ck和dl是插值系数，M_2m(x)＝Φ_2m(x+2)·Φ_m(x)是(m-1)次的B-样条。

通过式(10)中的适合的截止限制，可以用下式(11)近似所述相关函数c(τ₁、τ₂)。

[数50]

$\hat{c}({\mathrm{\τ}}_1,{\mathrm{\τ}}_2)=\underset{k=K_1}{\overset{K_2}{\mathrm{\Σ}}}\underset{l=L_1}{\overset{L_2}{\mathrm{\Σ}}}c(k,l){\mathrm{\ψ}}_{2m}({\mathrm{\τ}}_2-k)---\left(11\right)$

$\×{\mathrm{\ψ}}_{2m}({\mathrm{\τ}}_2-l)$

此处，K₁＝[τ₁]-s+1、K₂＝[τ₂]+s、L₁＝[τ₂]-s+1、L₂＝[τ₂]+s，s决定Φ_m(x)。

然后，例如，在m＝2时，将下式(12)代入到式(11)，从而得到期望的插值式。

[数51]

${\mathrm{\ψ}}_4(x,y)=\underset{k=-\∞}{\overset{\∞}{\mathrm{\Σ}}}\underset{l=-\∞}{\overset{\∞}{\mathrm{\Σ}}}\sqrt{3}{(\sqrt{3}-2)}^{\left|k\right|+\left|l\right|}{M}_4(x-k)---\left(12\right)$

$\×M_4(y-l)$

使用下式(13)导出运动向量v。

[数52]

$\hat{v}=\underset{{\mathrm{\τ}}_1,{\mathrm{\τ}}_2}{\arg \max }\left[\hat{c}({\mathrm{\τ}}_1,{\mathrm{\τ}}_2)\right]---\left(13\right)$

可以仅使用整数点的信息来再生所述相关函数c(τ₁、τ₂)，相关值运算部314通过所述相关函数c(τ₁、τ₂)计算所述函数近似部313的输出的相关值。

然后，偏移量运算部315通过表示提供由所述相关值运算部314计算的相关值的最大值的图像的位置偏移的式(13)，运算运动向量V，将所得到的运动向量V作为对应点的偏移量而输出。

此处，图8A、图8B、图8C、图8D示意性地示出通过由所述对应点推测部31A进行的对应点推测决定的运动向量V的样子。

即，在该对应点推测部31A中，如图8A所示，取出帧图像(k)的部分区域，抽出与该部分区域相似的连续的其他帧图像的部分区域，如图8B所示，使用用

[数53]

c(i，j)＝∑_l∑_mf_k(l，m)f_k+1(l+i，m+j)

表示的相关函数c(τ₁、τ₂)计算各帧间的相关，如图8C所示，在相关曲面的峰值点检测运动，用所述式(13)求出运动向量v，从而如图8D所示，决定帧图像(k)中的像素的运动。

对于这样决定的帧图像(k)的各块的运动向量，与将相同的帧图像(k)的各块的运动向量通过以往的块匹配来决定的情况相比，在各块间更平滑地变化。

即，例如，在如图9(A)所示，针对存在被摄体转动的运动的帧1和帧2，通过2帧对应点推测和不均匀插值进行了4倍放大时，如图9(B1)、(C1)所示，在以往的通过块匹配得到的推测对应点处推测出的运动向量中产生了变化不平滑的部分，但在通过如上所述构成的对应点推测部31A得到的推测对应点处推测出的运动向量的变化如图9(B2)、(C2)所示，整体平滑。而且，1/N的精度下的计算量，在以往方法中是N²，相对地在本方法中为N。

然后，在运动函数化处理部31B中，使用通过所述对应点推测部31A中的对应点推测得到的运动向量V，对运动部分的图像信息进行函数化。

即，如果在运动函数化处理部31B中，针对每个基准帧推测出部分运动图像的对应点，则其移动量即对应点的偏移量对应于帧的坐标位置x、y的变化，所以在如图10所示，在左上角取帧的原点的情况下，例如，针对图11A所示那样的各帧的图像的运动，如图11B、图11C所示表示为各帧的X坐标、Y坐标的运动，对X坐标、Y坐标各自的运动的变化进行函数近似而实现函数化。然后，如图12所示，用该函数进行插值而推测帧间T的位置，从而进行运动补偿。

另外，第2函数化处理部32根据Fluency信息理论，通过对轮廓、浓淡、帧间信息进行近似的Fluency函数化处理，对输入图像进行编码，该第2函数化处理部32包括区域自动分类处理部32A、轮廓线函数近似处理部32B、浓淡函数化处理部32C、频率函数近似处理部32D等。

区域自动分类处理部32A根据Fluency信息理论，将输入图像分类为分段性平面区域(m≤2)、分段性曲面区域(m＝3)、分段性球面区域(m＝∞)、不规则区域(高次区域、例如m≥4)。

在Fluency信息理论中，将信号分类为在信号空间这样的概念下通过次数m指定的等级。

信号空间_mS通过具有可进行(m-2)次连续微分的变量的(m-1)次的分段的多项式来表示。

已经证明信号空间_mS在m＝1时等于阶梯函数，并且在m＝∞时等于SINC函数。Fluency模型是通过定义Fluency样本化函数，使属于该信号空间_mS中的信号与离散时间信号的关系变得明确化的模型。

轮廓线函数近似处理部32B包括轮廓自动分类处理部321和函数近似处理部322，通过所述轮廓自动分类处理部321抽出由所述区域自动分类处理部32A分类了的分段性平面区域(m≤2)、分段性曲面区域(m＝3)、分段性球面区域(m＝∞)中包含的直线、圆弧、2次曲线，并通过函数近似处理部322进行函数近似。

浓淡函数化处理部32C针对由所述区域自动分类处理部32A分类的分段性平面区域(m≤2)、分段性曲面区域(m＝3)、分段性球面区域(m＝∞)，使用Fluency函数来进行浓淡函数化处理。

频率函数近似处理部32D针对由所述区域自动分类处理部2分类的不规则区域、即无法用多项式表现的区域，通过LOT(二维矩形波变换)等进行频率函数近似处理。

在该第2函数化处理部32中，可以针对影像的每个帧使用多个多变量Fluency函数，表现图像的浓淡、轮廓。

然后，编码处理部33将由所述第1函数化处理部31和第2函数化处理部32进行了函数化的各图像信息以规定的形式记述并进行编码。

此处，在MPEG编码中，定义用记录了全部画面的帧图像数据表示的I图片、用从前后的图片预测出的差分图像数据表示的B图片、用根据前一个I图片、P图片预测出的变化部分的差分图像数据表示的P图片，针对将沿着时间轴的帧进行分组化而得到的每个图像群(GOP)，作为亮度信号和颜色信号的编码数据且是具有DCT变换后的被量化了的值的各图片的编码数据列，生成例如图13A所示那样的结构的影像数据流，进行编码处理，而相对于进行该编码处理，在该影像信号变换系统100中的编码处理部33中，进行生成例如图13B所示那样结构的影像数据流的编码处理。

即，在所述编码处理部33中，进行编码处理，该编码处理是：定义用记录了全部画面的帧图像函数数据表示的I图片、用前后的I图片-Q图片、Q图片-Q图片的帧插值差分图像函数数据表示的D图片、用来源于前一个I图片或者Q图片的差分帧图像函数数据表示的Q图片，针对将沿着时间轴的帧进行分组化而得到的每个图像群(GOP)，作为用各图像函数数据表示的各图片的编码数据列而生成例如图13B所示那样结构的影像数据流。

另外，在图13A、图13B所示的影像数据流中，附加了时序头S。

图14示出由所述编码处理部33生成的影像数据流中的I图片以及Q图片的比特格式的一个例子。如图14所示那样，在表示I图片以及Q图片的图像函数数据中，包括头信息、图像的宽度信息、图像的高度信息、表示目标的种类是轮廓的信息、表示轮廓目标中的段的种类的信息、和其始点、中点、终点的坐标信息、表示目标的种类是区域的信息、区域目标的颜色信息等。

另外，图15示出由所述编码处理部33生成的影像数据流中的D图片的比特格式的一个例子。在表示D图片的图像函数数据中，包括帧分割数、帧内区域数、对应区域编号、前面的I图片或者Q图片的对应区域的中心X坐标以及中心Y坐标、后面的I图片或者Q图片的对应区域的中心X坐标以及中心Y坐标等信息。图16A、图16B示出所述图15所示的D图片的比特格式的一个例子中的区域编号1的对应点的X坐标的变化以及Y坐标的变化。

然后，例如如图17所示，可以根据前后的图片(Q1、Q2、Q3、Q4)的X坐标值，通过插值运算，计算对应区域内的各D图片(D21、D22、D23)的各X坐标值。另外，可以根据前后的图片(Q1、Q2、Q3、Q4)的Y坐标值，通过插值运算，计算对应区域内的各D图片(D21、D22、D23)的各Y坐标值。

进而，高帧频化处理部40例如如图18所示构成。

该高帧频化处理部40进行例如如图19A、图19B所示，在原帧F_O之间插入插值帧F_I，从而将图19A所示的低帧频(在该例中30帧/秒)的活动图像变换为图19B所示的高帧频的活动图像(在该例子中60帧/秒)的高帧频化处理，包括对应点推测处理部41、第1灰度值生成处理部42、第2灰度值生成处理部43、第3灰度值生成处理部44等。

在该高帧频化处理部40中，对应点推测处理部41针对基准帧中的多个像素，推测使时间不同的多个图像帧中的各对应点。

另外，第1灰度值生成处理部42针对由所述对应点推测处理部41推测出的各图像帧中的各对应点，分别根据表示附近的像素的浓淡的灰度值求出各灰度值。

另外，第2灰度值生成处理部43针对所述基准帧中的多个像素，根据所述推测出的各图像帧中的各对应点的灰度值，用Fluency函数对对应点轨迹上的浓淡进行近似，根据该函数求出插值帧中的对应点的各灰度值。

进而，第3灰度值生成处理部44根据所述插值帧中的各对应点的灰度值，生成所述插值帧中的各对应点附近的像素的灰度值。

在该影像信号变换系统100中，上述高帧频化处理部40的功能通过用计算机执行从未图示的存储部读出的影像信号变换程序来实现，通过执行高帧频化处理来实现，该高帧频化处理是按照图20的流程图所示的步骤S11～步骤S14的顺序，执行使用对应点推测处理而推测出的对应点的灰度值，通过均匀插值生成插值帧的对应点的灰度值，进而通过不均匀插值生成插值帧的对应点的灰度值。

即，在该高帧频化处理部40中，首先，如图21A所示，进行如下对应点推测处理，即、将时间t＝k的图像帧作为基准帧F(k)，针对基准帧F(k)中的多个像素Pn(k)，求出时间t＝k+1的图像帧F(k+1)、时间t＝k+2的图像帧F(k+2)、…时间t＝k+m的图像帧F(k+m)中的各运动向量，推测各图像帧(k+1)、(k+2)、…F(k+m)中的各对应点Pn(k+1)、Pn(k+2)、…P(k+m)(步骤S11)。

接下来，进行第1灰度值生成处理，即、针对在所述步骤S11中推测出的各图像帧(k+1)、(k+2)、…F(k+m)中的各对应点Pn(k+1)、Pn(k+2)、…P(k+m)，如图21B所示，分别根据表示附近的像素的浓淡的灰度值求出各灰度值(步骤S12)。

接下来，进行第2灰度值生成处理，即、针对所述基准帧F(k)中的多个像素Pn(k)，如图21C所示，用Fluency函数对在所述步骤S12中生成了的各对应点Pn(k+1)、Pn(k+2)、…P(k+m)中的各灰度值也即各图像帧(k+1)、(k+2)、…F(k+m)的对应点轨迹上的浓淡进行近似，根据该函数求出各图像帧(k+1)、(k+2)、…F(k+m)之间的插值帧中的对应点的各灰度值(步骤S13)。

在接下来的步骤S14中，进行第3灰度值生成处理，即、如图21D所示，根据通过所述步骤S13的第2灰度值生成处理生成了的插值帧F(k+1/2)中的各对应点的灰度值，利用不均匀插值生成时间t＝k+1/2的插值帧F(k+1/2)中的各像素的灰度值(步骤S14)。

此处，对于由多个帧构成的运动图像，存在其运动的部分图像的帧上的位置针对每个帧不同。另外，一个帧上的像素点不限于移动到其他帧上的不同位置的像素点，而通常在像素之间对应。即，1个自然画像在设成连续的信息时，在2个帧上分别表示不同位置的像素信息。特别，在通过帧间的插值，生成新帧图像的情况下，原来的帧上的像素信息和在新帧上的像素上几乎完全不同。例如，如果使图22(A)、(B)所示那样的2个帧图像在同一点重叠，则各帧的像素点(此处，为了说明而加粗)的关系成为图22(C)所示那样的关系。即，偏移了图像的移动量的大小。为了使用该2个帧图像，求出第1帧的格点(没有标记的像素点)的浓淡值，需要不均匀插值处理。

例如，如图23所示，决定在变换了图像的分辨率时新生成的像素u(τ_x，τ_y)位置的值的图像插值处理通过原像素u(x_i，y_j)与插值函数h(x)的卷积处理来进行。

[数54]

$u({\mathrm{\τ}}_x,{\mathrm{\τ}}_y)=\underset{i=-\∞}{\overset{\∞}{\mathrm{\Σ}}}\underset{j=-\∞}{\overset{\∞}{\mathrm{\Σ}}}u(x_i-y_j)h({\mathrm{\τ}}_x-x_i,{\mathrm{\τ}}_y-y_j)$

然后，将使用多个帧图像使同一部分图像对应，使用图24A所示那样的均匀插值函数根据期望的对应点附近的水平(垂直)方向的像素信息通过均匀插值求出的各帧中的每一个帧的插值信息，即例如如图25所示，帧1(F1)以及帧2(F2)的各内插像素值×、△作为垂直(水平)方向的像素信息，使用图24B所示那样的不均匀插值函数根据帧的偏移量进行不均匀插值，决定帧1中的所望的位置的像素信息○。

此处，在高帧频化处理部40中，具备如上所述进行高帧频化处理，并且使用2帧图像来进行放大插值处理的功能。使用2帧图像来进行放大插值处理的功能通过例如如图26所示由输入数据控制电路51、输出同步信号生成电路52、SRAM53、SRAM选择部54、图像处理模块55构成的放大插值处理装置50来实现。

在该放大插值处理装置50中，输入数据控制电路51进行控制以将与水平同步信号以及垂直同步信号一起供给的输入图像即各像素的图像信息依次输入到SRAM选择部54。

输出同步信号生成电路52根据所供给的水平同步信号以及垂直同步信号来生成输出侧同步信号，输出所生成的输出侧同步信号并且供给到SRAM选择部54。

SRAM选择部54例如如图27所示那样被构成，通过根据由所供给的同步信号生成的写入控制信号以及读出控制信号进行与从控制信号切换电路54A供给的存储器选择信号对应的动作的写入数据选择部54B和读出数据选择部54C，针对每1帧在SRAM53中储存经由输入数据控制电路51输入的输入图像，同时与由输出同步信号生成电路52生成的输出侧同步信号同步地读出2帧的图像。

另外，图像处理模块55通过帧间信息进行图像插值处理，例如如图28所示那样被构成。

即，图像处理模块55包括输入经由SRAM选择部54从SRAM53同时读出的2帧的图像信息的窗设定部55A、第1均匀插值处理部55B以及第2均匀插值处理部55C、输入由所述窗设定部55A从所述2帧的图像信息抽出了的像素的信息的偏移量推测部55D、输入由该偏移量推测部55D推测出的偏移量向量和由所述第2均匀插值处理部55C进行了插值的像素的信息的偏移校正部55E、输入由该偏移校正部55E校正了的像素的信息以及由所述第1插值处理部55B进行了插值的像素的信息的不均匀插值处理部55F。

在图像处理模块55中，如图29A、图29B所示，针对经由SRAM选择部54输入的2个帧图像f、g，通过窗设定部55A对规定的点(p、q)设定窗口，通过偏移量推测部55D，使其中一方的帧图像g的窗口偏移了偏移量(τ_x，τ_y)大小，通过窗口内的相对位置(x，y)的像素值进行内积运算，将其值作为互相关值Rpq(τ_x，τ_y)。

[数55]

Rpq(τ_x，τ_y)＝∑_x∑_y[f(p+x，q+y)g(p+x+τ_x，q+y+τ_y)]

然后，使偏移量(τ_x，τ_y)变化而抽出点(p、q)的周围的互相关值Rpq(τ_x，τ_y)成为最大的偏移量(τ_x，τ_y)。

[数56]

偏移量(τ_x，τ_y)＝{Rpq(τ_x，τ_y)}_max

另外，还可以对2个帧图像f、g的窗口内像素数据分别进行傅立叶变换而求出互相关值Rpq(τ_x，τ_y)。

然后，在该放大插值处理装置50中，如图30的流程图所示按照顺序进行放大插值处理。

即，在图像处理模块55中，如果从SRAM53经由SRAM选择部54读出了2个帧图像f、g(步骤A)，则由偏移量推测部55D通过相关运算处理运算2个帧图像f、g的偏移量(τ_x，τ_y)(步骤B)。

然后，通过由第1均匀插值处理部55B针对帧1的图像f运算基于均匀插值的内插像素值，在水平方向或者垂直方向上放大(步骤C)。

另外，通过由第2均匀插值处理部55C针对帧2的图像g运算基于均匀插值的内插像素值，在水平方向或者垂直方向上放大(步骤D)。

进而，由偏移量校正部55E运算使帧2的放大图像移动了相对帧1的偏移量后得到的像素位置处的像素值(步骤E)。

然后，在不均匀插值处理部55F中，根据帧1的内插像素值2点和帧2的移动位置的像素值2点合计4点的像素值，针对帧1中的要求出的位置的像素值，通过不均匀插值，在垂直方向或者水平方向上进行放大运算(步骤F)，将帧1的插值运算结果作为放大图像而输出(步骤G)。

具备进行这样的放大插值处理的功能的帧频变换装置110例如如图31所示那样被构成。

该帧频变换装置110由作为第1函数近似处理部111、对应点推测处理部112、第2函数近似处理部113、第3函数近似处理部114发挥功能的计算机构成。

第1函数近似处理部111进行针对基准帧中的多个像素，对其浓淡分布进行函数近似的第1函数近似处理。

对应点推测处理部112进行如下对应点推测处理：通过由所述第1函数近似处理部111近似了的使时间成为不同的多个所述基准帧中的所述浓淡分布的函数进行相关运算，将提供其最大值的各个位置作为在所述多个基准帧中对应的对应点位置。

第2函数近似处理部113进行如下第2函数近似：用距基准帧的原点的水平方向、垂直方向的距离，对由所述对应点推测处理部112推测出的各基准帧中的对应点位置进行坐标化，将所述使时间成为不同的多个基准帧中的该坐标点的水平方向位置、以及垂直方向位置各自的变化变换为时间序列信号，对各基准帧的时间序列信号进行函数近似。

第3函数近似处理部114进行如下第3函数近似处理：通过由所述第2函数近似处理部113近似的函数，针对所述多个基准帧间的任意的时间的插值帧，将与所述基准帧的对应点位置相应的插值帧内的对应的位置作为对应点位置，用所述基准帧的对应点处的浓淡值进行插值而求出该插值帧的对应点位置处的浓淡值，与该插值帧的对应点的浓淡值相匹配地应用所述第1函数近似，求出该对应点附近的浓淡分布，将该对应点附近的浓淡值变换为插值帧中的像素点的浓淡值。

在该帧频变换装置110中，由第1函数近似处理部111，针对基准帧中的多个像素，对其浓淡分布进行函数近似，由对应点推测处理部112，通过由所述第1函数近似处理部111近似了的使时间成为不同的多个所述基准帧中的所述浓淡分布的函数进行相关运算，将提供其最大值的各个位置作为在所述多个基准帧中对应的对应点位置，由第2函数近似处理部113，用距基准帧的原点的水平方向、垂直方向的距离对由所述对应点推测处理部112推测出的各基准帧中的对应点位置进行坐标化，将所述使时间成为不同的多个基准帧中的该坐标点的水平方向位置以及垂直方向位置各自的变化变换为时间序列信号，对各基准帧的时间序列信号进行函数近似。然后，由第3函数近似处理部114，通过由第2函数近似处理部113近似了的函数，针对所述多个基准帧间的任意的时间的插值帧，将与所述基准帧的对应点位置相应的插值帧内的对应的位置作为对应点位置，用所述基准帧的对应点处的浓淡值进行插值而求出该插值帧的对应点位置处的浓淡值，与该插值帧的对应点的浓淡值相配地应用所述第1函数近似，求出该对应点附近的浓淡分布，将该对应点附近的浓淡值变换为插值帧中的像素点的浓淡值，从而与放大插值处理一起进行高帧频化处理。

在该影像信号变换系统100中，如上所述，通过预处理部20对从摄像装置等图像输入部10输入的图像信息实施噪声去除处理，通过压缩编码处理部30对由所述预处理部20实施了噪声去除处理的图像信息进行压缩编码，在使用了所述帧频变换装置1的高帧频化处理部40中，追踪帧间的影像对应点，对其时间改变通过函数进行表现，利用原帧与变换的帧数之比来生成函数插值帧。

即，该影像信号变换系统100针对影像的每个帧使用多个Fluency函数来表现轮廓等，在时间方向上用基于分段多项式的连续函数来表示离散帧列，从而可以再生任意帧频的高品质的影像。

在Fluency信息理论中，根据可以对信号连续地进行微分这样的度数，对通过次数m指定的等级中的信号空间进行分类。

于是，不论相对什么样的m＞0，subspace spanned(子空间跨越)都通过仅能够进行(m-2)次的连续微分的(m-1)次的分段的多项式来表示。(m＝3)等级的样本化函数ψ(x)通过仅能够进行1次连续微分的2次的分段多项式的线性耦合，用下式(14)表示。

[数57]

$\mathrm{\ψ}\left(x\right)=-\frac{\mathrm{\τ}}{2}\mathrm{\φ}(x+\frac{\mathrm{\τ}}{2})+2\mathrm{\τ\φ}\left(x\right)-\frac{\mathrm{\τ}}{2}\mathrm{\φ}(x-\frac{\mathrm{\τ}}{2})---\left(14\right)$

此处，Φ(x)用下式(15)表示。

[数58]

$\mathrm{\φ}\left(x\right)={{\∫}_{-\∞}^{\∞}\left(\frac{\sin \mathrm{\πf\τ}}{\mathrm{\πf\τ}}\right)}^3{e}^{j2\mathrm{\πfx}}\mathrm{df}---\left(15\right)$

另外，ψ(x)由于是样本化函数，所以可以通过和样本列进行卷积运算求出区间的函数。

此处，在τ＝1时，式(13)可以表示为通过下式(16)提供的分段的多项式。

[数59]

例如，(m＝3)等级的不均匀Fluency插值函数

[数60]

h_f(x)

是图32所示那样的函数。

不均匀插值Fluency函数

[数61]

h_n(x)

由度数2的8部分多项式构成，如图32所示以指定为s₁(x)～S₈(x)的不均匀的间隔来决定(m＝3)等级的不均匀插值Fluency函数，其构成要素用下式(17)提供。

[数62]

$\left\{\begin{array}{c}{s}_1\left(t\right)=-B_1{(t-t_{-2})}^2\\ s_2\left(t\right)=B_1(3t-t_{-1}-{2t}_{-2})(t-t_{-1})\\ s_3\left(t\right)=-B_2(3t-{2t}_0-t_{-1})(t-t_{-1})+\frac{{2(t-t_{-1})}^2}{{(t_0-t_{-1})}^2}\\ s_4\left(t\right)=B_2{(t-t_0)}^2-\frac{{2(t-t_0)}^2}{{(t_0-t_{-1})}^2}\\ s_5\left(t\right)=B_3{(t-t_0)}^2-\frac{2{(t-t_0)}^2}{{(t_0-t_1)}^2}\\ s_6\left(t\right)=-B_3(3t-{2t}_0-t_1)(t-t_1)+\frac{{2(t-t_1)}^2}{{(t_0-t_1)}^2}\\ s_7\left(t\right)=B_4(3t-t_1-{2t}_2)(t-t_1)\\ s_8\left(t\right)=-B_4{(t-t_2)}^2\end{array}\right.---\left(17\right)$

此处，是

[数63]

$\left\{\begin{array}{c}{B}_1=\frac{t_0-t_{-2}}{4{(t_0-t_{-1})}^2(t_{-1}-t_{-2})+4{(t_{-1}-t_{-2})}^3}\\ B_2=\frac{t_0-t_{-2}}{4(t_0-t_{-1}){(t_{-1}-t_{-2})}^2+4{(t_0-t_{-1})}^3}\\ B_3=\frac{t_2-t_0}{4{(t_2-t_1)}^2(t_1-t_0)+4{(t_1-t_0)}^3}\\ B_4=\frac{t_2-t_0}{4(t_2-t_1){(t_1-t_0)}^2+4{(t_2-t_1)}^3}\end{array}\right..$

此处，图33示出高分辨率插值的实例。另外，图34示出用于插值的像素构造的具体例子。

在图34中，Frame_1(帧_1)的像素Px_F1具有在Frame_2(帧_2)中使像素Px_F2改变的、不同的运动向量

[数64]

$\hat{v}=({\hat{v}}_x,{\hat{v}}_y).$

像素Px_Tg是插值的靶像素。

图35根据2个连续的帧例示出一维图像插值的概念。

通过已知块尺寸和检索窗口尺寸的全检索块匹配的算法，进行运动评价。

高分辨率帧像素通过f(τ_x，τ_y)来表示，像素构造是如图34的高分辨率插值办法的1个例子那样。

在第1步骤中，根据视频序列得到2个连续的帧，通过f₁(x，y)和f₂(x，y)表示。

在第2步骤中，进行运动向量的初始推测。

通过[数65]

$v_r=\underset{(u,v)}{\arg \max }\left[\tilde{v}(u,v)\right]$

进行运动向量的初始推测。

此处，是

[数66]

$\hat{v}(u,v)=$

$\frac{{\mathrm{\Σ}}_{x,y}[f_1(x,y)-{\stackrel{\‾}{f}}_{\mathrm{wa}}][f_2(x+u,x+v)-{\stackrel{\‾}{f}}_{\mathrm{ta}}]}{\left[{\mathrm{\Σ}}_{x,y}\right[f_1(x,y)-{\stackrel{\‾}{f}}_{\mathrm{wa}}{]}^2[f_2(x+u,x+v)-{\stackrel{\‾}{f}}_{\mathrm{ta}}{]}^2{]}^{0.5}}---\left(18\right).$

在式(18)中，

[数67]

${\stackrel{\‾}{f}}_{\mathrm{wa}}$

表示搜索窗的平均，于是，

[数68]

${\stackrel{\‾}{f}}_{\mathrm{ta}}$

表示匹配中的当前块的平均。

在第3步骤中，为了使用了式(13)和式(17)的所有像素

[数69]

$\hat{v}=({\hat{v}}_x,{\hat{v}}_y)$

从第2步骤从运动向量

[数70]

v_r

附近的一个像素中得到运动向量。

在第4步骤中，如下所述执行均匀水平插值。

[数71]

$f_1({\mathrm{\τ}}_x,y_j)=\underset{i=1}{\overset{4}{\mathrm{\Σ}}}{f}_1(x_i,y_j)h_f({\mathrm{\τ}}_x-x_i)(j=\mathrm{1,2})$

$f_2({\mathrm{\τ}}_x,y_j-{\hat{v}}_y)=\underset{i=1}{\overset{4}{\mathrm{\Σ}}}{f}_2(x_i-{\hat{v}}_x,y_j-{\hat{v}}_y)---\left(19\right)$

$\×h_f({\mathrm{\τ}}_x-x_i+{\hat{v}}_x)(j=\mathrm{1,2})$

在第5步骤中，通过式(20)执行使用了在第4步骤中得到的像素的不均匀垂直插值。

[数72]

$f({\mathrm{\τ}}_x,{\mathrm{\τ}}_y)=\underset{j=1}{\overset{2}{\mathrm{\Σ}}}{f}_1({\mathrm{\τ}}_x,y_j)h_n({\mathrm{\τ}}_y-y_j)$ (20)

$+\underset{j=1}{\overset{2}{\mathrm{\Σ}}}{f}_2({\mathrm{\τ}}_x,y_j-v_y)h_n({\mathrm{\τ}}_y-y_j+v_y)$

在高分辨率图像中为了所有像素而反复第4步骤和第5步骤。

在基于Fluency理论的活动图像编码中，通过选择适合于原信号的信号空间，进行函数化，可以原样地保存尖锐度而进行高压缩化。

通过根据Fluency理论，正确地决定帧间的相关函数所属的函数空间，可以以任意精度求出运动向量。

在基于Fluency理论的活动图像编码中，通过选择适合于原信号的信号空间，进行函数化，可以原样地保存尖锐度而进行高压缩化。

这样通过追踪帧间的影像对应点，对其时间改变通过函数进行表现，利用原帧与变换的帧数之比生成函数插值帧，即使增减了帧数也可以得到清晰且平滑运动的影像信号，可以以在显示器上的帧频进行清晰且平滑运动的影像显示。

例如，在如图35(A)所示，生成帧k与帧k+1之间的任意时刻的帧的情况下，通过均匀插值生成插值帧F(k+1/2)，使用通过1/2精度的运动推测求出的运动信息，通过块匹配以1/2精度生成对应点的灰度值的以往的高帧频化处理中，如图35的(B1)、(C1)所示，在所插入的插值帧的图像中，存在运动的部分劣化，但在如所述高帧频化处理部40那样，使用进行对应点推测处理而推测出的对应点的灰度值，通过均匀插值来生成插值帧的对应点的灰度值，进而，在通过不均匀插值生成插值帧的对应点的灰度值的高帧频化处理中，如图35的(B2)、(C2)所示，存在运动的部分不会劣化而可以进行高帧频化。

在该影像信号变换系统100中，通过预处理部20对从摄像装置等图像输入部10输入的图像信息实施噪声去除处理，通过压缩编码处理部30对由所述预处理部20实施了噪声去除处理的图像信息进行压缩编码，在所述高帧频化处理部40中，追踪帧间的影像对应点，对其时间改变通过函数进行表现，利用原帧与变换的帧数之比生成函数插值帧，从而对由所述压缩编码处理部30进行了压缩编码后的图像信息进行高帧频化，从而可以得到清晰且平滑运动的影像信号。

Claims (9)

1.一种影像信号变换系统，其特征在于，具备：

预处理部，作为去除输入影像信号中包含的噪声的预处理部，具备输入图像观测模型，该输入图像观测模型输出观测图像g(x，y)，该观测图像g(x，y)是通过对模糊函数H(x，y)的输出附加噪声n(x，y)而得到的观测图像，所述模糊函数H(x，y)是输入作为未知的真正的输入影像信号的真正的图像f(x，y)并输出劣化图像的函数，所述预处理部具备逆滤波器，该逆滤波器以使输入影像信号与所述观测图像一致的方式，进行模糊函数H(x，y)的回归性最佳化，从所述输入影像信号抽出真正的输入影像信号；

编码处理部，针对由所述预处理部实施了噪声去除处理的真正的输入影像信号，根据Fluency理论进行对应点推测，使图像的运动信息进行函数化，并且针对所述真正的输入影像信号，选择信号空间，针对所选择出的每个信号空间使图像信息进行函数化，以规定的形式记述进行所述函数化后的图像的运动信息、和进行所述函数化后的每个信号空间的图像信息，对所述真正的输入影像信号进行压缩编码；以及

高帧频化处理部，对由所述编码处理部进行了压缩编码后的影像信号进行高帧频化。

2.根据权利要求1所述的影像信号变换系统，其特征在于，

所述编码处理部具备：

对应点推测部，针对由所述预处理部实施了噪声去除处理后的真正的输入影像信号，根据Fluency理论进行对应点推测，关于Fluency理论，其特征是Fluency函数是通过参数m分类的函数，其中，m表示该函数仅能够进行(m-2)次的连续微分，m是1～∞的正整数；

第1函数化处理部，根据通过该对应点推测部进行的对应点推测的结果，使图像的运动信息进行函数化；

第2函数化处理部，针对所述真正的输入影像信号，根据Fluency理论选择信号空间，针对选择出的每个信号空间，使图像信息进行函数化；以及

压缩编码处理部，以规定的形式记述由所述第1函数化处理部进行函数化后的图像的运动信息、和由所述第2函数化处理部进行函数化后的每个信号空间的图像信息，对所述真正的输入影像信号进行压缩编码。

3.根据权利要求2所述的影像信号变换系统，其特征在于，

所述对应点推测部包括：

第1部分区域抽出单元，抽出帧图像的部分区域；

第2部分区域抽出单元，抽出与由所述第1部分区域抽出单元抽出的部分区域相似的连续的其他帧图像的部分区域；

函数近似单元，按相同的比变换由所述第1部分区域抽出单元以及所述第2部分区域抽出单元抽出的各部分区域，以分段多项式对变换后的各图像的浓淡通过函数进行表现并输出；

相关值运算单元，运算所述函数近似单元的输出的相关值；以及

偏移量运算单元，对提供由所述相关值运算单元计算出的相关值的最大值的图像的位置偏移进行运算，将该运算值作为对应点的偏移量而输出。

4.根据权利要求2或3所述的影像信号变换系统，其特征在于，

所述第2函数化处理部包括：

区域自动分类处理部，针对由所述预处理部实施了噪声去除处理的真正的输入影像信号，根据Fluency理论选择信号空间；以及

函数化处理部，针对由该区域自动分类处理部选择出的每个信号空间，使图像信息进行函数化，

所述函数化处理部具备：

浓淡函数化处理部，针对由所述区域自动分类处理部选择出的能够用多项式表现的区域通过面函数对图像的浓淡进行近似来表现，并使浓淡信息进行函数化；以及

轮廓线函数化处理部，针对由所述区域自动分类处理部选择出的能够用多项式表现的区域通过图像的轮廓线函数进行近似来表现，并使轮廓信息进行函数化。

5.根据权利要求4所述的影像信号变换系统，其特征在于，

所述浓淡函数化处理部针对由所述区域自动分类处理部选择出的能够用多项式表现的分段性平面区域即m≤2、分段性曲面区域即m=3、分段性球面区域即m=∞的图像信息，分别使用Fluency函数使浓淡信息进行函数化。

6.根据权利要求4所述的影像信号变换系统，其特征在于，

所述轮廓线函数化处理部具备针对由所述区域自动分类处理部选择出的图像信息，抽出并分类分段性直线、分段性2次曲线、分段性圆弧的轮廓自动分类处理部，通过使用Fluency函数对由所述轮廓自动分类处理部分类了的分段性直线、分段性2次曲线、分段性圆弧分别进行近似，从而使轮廓信息函数化。

7.根据权利要求1～3中的任意一项所述的影像信号变换系统，其特征在于，

所述高帧频化处理部具备：

对应点推测处理部，针对基准帧中的多个像素，推测使时间为不同的多个图像帧中的各对应点；

第1灰度值生成处理部，针对推测出的各图像帧中的各对应点，分别根据表示附近的像素的浓淡的灰度值求出各对应点的灰度值；

第2灰度值生成处理部，针对所述基准帧中的多个像素，根据所述推测出的各图像帧中的各对应点的灰度值，用Fluency函数对对应点轨迹上的浓淡进行近似，根据该函数求出插值帧中的各对应点的灰度值；以及

第3灰度值生成处理部，根据所述插值帧中的各对应点的灰度值，生成所述插值帧中的各对应点附近的像素点的灰度值。

8.根据权利要求1～3中的任意一项所述的影像信号变换系统，其特征在于，

所述高帧频化处理部针对由所述编码处理部进行了压缩编码后的影像信号，通过进行所述函数化后的图像的运动信息、和进行所述函数化后的每个信号空间的图像信息，进行将图像的大小放大或者缩小为规定大小的尺寸变换处理，并且进行高帧频化处理。

9.根据权利要求1～3中的任意一项所述的影像信号变换系统，其特征在于，

所述高帧频化处理部具备：

第1函数近似处理单元，将由所述编码处理部进行了压缩编码后的图像信息作为输入，针对基准帧中的多个像素，对其浓淡分布进行函数近似；

对应点推测处理单元，通过由所述第1函数近似处理单元进行了近似的使时间为不同的多个所述基准帧中的所述浓淡分布的函数进行相关运算，将提供其最大值的各个位置设为所述多个基准帧中对应的对应点位置；

第2函数近似处理单元，用距基准帧的原点的水平方向、垂直方向的距离对由所述对应点推测处理单元推测出的各基准帧中的对应点位置进行坐标化，将所述使时间为不同的多个基准帧中的该坐标点的水平方向位置以及垂直方向位置各自的变化变换为时间序列信号，对各基准帧的时间序列信号进行函数近似；以及

第3函数近似处理单元，通过由所述第2函数近似处理单元近似了的函数，针对所述多个基准帧间的任意时间内的插值帧，将与所述基准帧的对应点位置相应的插值帧内的对应的位置作为对应点位置，用所述基准帧的对应点处的浓淡值进行插值而求出该插值帧的对应点位置处的浓淡值，与该插值帧的对应点的浓淡值相配地应用所述第1函数近似，求出该对应点附近的浓淡分布，将该对应点附近的浓淡值变换为插值帧中的像素点的浓淡值。