CN105814874A - 面向tv影像的超分辨率处理方法、及基于该方法的面向tv影像的超分辨率处理装置、第一～第十四超分辨率处理程序以及第一～第四存储介质 - Google Patents

Abstract

本发明利用将与TV影像的劣化程度相应地特定出的PSF的亮度分布、由TV影像的Y(亮度)成分构成的劣化图像的亮度分布及复原图像初始值的推定亮度分布作为输入信息来多次执行基于Bayse概率论的基于实数的迭代运算的、基于软件或硬件的PSF复原单元及图像复原单元，来求出劣化图像的亮度分布的最大似然的复原图像的推定亮度分布，并将其替换在提取了劣化图像的亮度分布时的TV影像的Y成分，由此接近实时地提供与劣化前的状态近似的TV影像，从而解决上述课题。

Description

面向TV影像的超分辨率处理方法、及基于该方法的面向TV影像的超分辨率处理装置、第一～第十四超分辨率处理程序以及第一～第四存储介质

技术领域

本发明涉及TV影像的图像处理，尤其是涉及通过基于Bayse(贝叶斯)概率论的数学运算处理去除在TV影像中含有的光学模糊或污点这种劣化了的信息来复原成劣化之前的原图像的、面向TV影像的超分辨率处理方法、及基于该方法的面向TV影像的超分辨率处理装置。

背景技术

TV影像由1秒30张以上的被称为帧的静止图像构成，各帧存在如下的问题：无论数字还是模拟虽然不会模糊到不鲜明的程度但包含光学模糊或污点这种劣化了的信息。

图1表示构成实际的TV影像的帧所含有的光学劣化信息的1例。图1由2张图像构成，左侧的图像是仅由X射线针孔照相机的TV影像的Y(亮度成分)构成的1帧，而右侧的图像是将左侧的图像通过本发明人发明的已注册的超分辨率技术(专利文献1～2)复原成劣化前的图像。在对图1的两图像进行比较时，构成实际的TV影像的帧即TV影像含有光学劣化信息，需要超分辨率。

本发明人发明的超分辨率技术(专利文献1～2)是如下的技术：在根据包含光学模糊或污点这种劣化信息在内的1张静止图像的信息反复进行迭代运算的过程中，利用Bayse法通过数值运算求出静止图像的亮度分布的最大似然的最大似然劣化原因及最大似然复原图像的亮度分布即锐化图像，但这种技术存在如下的问题：计算所需的运算处理量庞大，对于需要实时处理的TV影像进行处理很困难。

以往的面向TV影像的超分辨率技术之一有“再构成型超分辨率”方法，并被产品化，这种方法着眼于构成TV影像的多帧内的同一被拍摄体，通过将同一被拍摄体对位来使多帧重合，并实施超分辨率化(专利文献3、4)。

但是，在动作激烈的情况或画面拉近/拉远剧烈的情况等被拍摄体的大小大幅度变化或在多帧中没有拍摄到被拍摄体，在这种情况下，存在如下的问题：基于“再构成型超分辨率”方法的超分辨率变得困难。

作为另一种方法，如非专利文献1那样有如下的方法：基于由摄像机得到的视角相互稍有不同的连续的多张静止图像，进行Bayes统计处理，以得到被超分辨率化的静止图像。

但是，在该方法中，始终需要大量的用于存储多张包含劣化信息的静止图像的存储器，而且，为得到1张被超分辨率化的静止图像，始终需要处理多张静止图像，从而存在计算变得庞大、不能处理TV影像的问题。

现有技术文献

专利文献

专利文献1：国际公开号：专利第4568730号(WO2006/041127)

专利文献2：国际公开号：专利第4575387号(WO2006/041126)

专利文献3：专利公开号：日本特开2009-296410

专利文献4：专利公开号：日本特开2009-100407

非专利文献1：兼村厚范等“贝叶斯超分辨率和分层建模”日本神经回路学会志，vol.15，No.3(2008)，181-192

发明内容

在专利文献1～4及非专利文献1记载的任一个方法中，均存在基于包含光学模糊或污点这种劣化信息在内的仅1帧的信息无法对TV影像进行超分辨率处理的问题。

因此，本发明为解决上述问题，将提供用于对TV影像进行超分辨率处理的TV影像的超分辨率处理方法、及实现该方法的TV影像的超分辨率处理装置作为课题。

为解决上述课题，本发明的第一发明提供一种面向TV影像的第一超分辨率处理方法，输出减少构成TV影像的1帧的光学劣化以复原成劣化前的帧的超分辨率TV影像信号，由此来复原TV影像。该第一发明与技术方案1所述的发明相同。

本发明的第一发明的面向TV影像的第一超分辨率处理方法具有：(S1)第一劣化图像准备工序，根据TV影像准备由1帧大小的亮度分布构成的劣化图像的亮度分布；(S2)将劣化图像的亮度分布作为复原图像初始值的推定亮度分布的工序；(S3)对PSF(PointSpreadFunction；点扩散函数)的亮度分布进行特定的第一PSF特定工序；(S4)将特定出的PSF的亮度分布作为PSF初始值的推定亮度分布的工序；(S5)设定最大迭代运算次数的工序；(S6)将对迭代运算次数进行计数的计数器重置的工序；(S7)第一复原图像初始值修正工序，复制复原图像初始值的推定亮度分布并将其作为修正复原图像初始值的推定亮度分布，而且，针对在将PSF的亮度分布与修正复原图像初始值的推定亮度分布进行卷积运算时在修正复原图像初始值的推定亮度分布的周边部产生的运算困难区域，基于PSF的亮度分布的图像尺寸来计算运算困难区域，并复制运算困难区域的像素，将所复制的像素以相对于修正复原图像初始值的推定亮度分布的边界成为镜像对称地配置的方式粘贴在边界的外侧，来对修正复原图像初始值的推定亮度分布进行修正，从而得到修正复原图像初始值的推定亮度分布；(S8)将修正复原图像初始值的推定亮度分布作为劣化图像的亮度分布的工序；(S9)将PSF初始值的推定亮度分布卷积修正复原图像初始值的推定亮度分布而得到第一函数的工序；(S10)将第一函数进行反转而得到第二函数的工序；(S11)将第二函数乘以劣化图像的亮度分布而得到第三函数的工序；(S12)求出修正复原图像初始值的推定亮度分布的反转函数并将其作为第四函数的工序；(S13)将第四函数卷积第三函数而得到第五函数的工序；(S14)将第五函数乘以PSF初始值的推定亮度分布而得到复原PSF的推定亮度分布的工序；(S15)将复原PSF的推定亮度分布替换PSF初始值的推定亮度分布的工序；(S16)对计数器累加1的工序；(S17)验证工序，对计数器的值超过最大迭代运算次数这一假设进行验证，若验证结果为假则返回(S9)工序，若验证结果为真则将复原PSF的推定亮度分布作为最大似然复原PSF的亮度分布进行输出；(S18)由(S1)～(S8)工序构成的PSF复原运算准备工序；(S19)由(S9)～(S17)工序构成的第一PSF复原运算工序；(S20)第一PSF复原工序，具有PSF复原运算准备工序及第一PSF复原运算工序，在PSF复原运算准备工序及第一PSF复原运算工序中，通过以S的序数从小到大的顺序执行来完成最大迭代运算次数的迭代运算，并输出最大似然复原PSF的亮度分布；(S21)重置计数器再向(S23)跳转的工序；(S22)第二复原图像初始值修正工序，由与基于最大似然复原PSF的亮度分布的图像尺寸对复原图像初始值的推定亮度分布进行修正而得到修正复原图像初始值的推定亮度分布的第一复原图像初始值修正工序相同的处理顺序构成；(S23)将最大似然复原PSF的亮度分布卷积修正复原图像初始值的推定亮度分布而得到第六函数的工序；(S24)将第六函数进行反转而得到第七函数的工序；(S25)将第七函数乘以劣化图像的亮度分布而得到第八函数的工序；(S26)求出最大似然复原PSF的亮度分布的反转函数并将其作为第九函数的工序；(S27)将第九函数卷积第八函数而得到第十函数的工序；(S28)将第十函数乘以复原图像初始值的推定亮度分布而得到复原图像的推定亮度分布的工序；(S29)将复原图像的推定亮度分布替换复原图像初始值的推定亮度分布的工序；(S30)对计数器累加1的工序；(S31)验证工序，对计数器的值超过最大迭代运算次数这一假设进行验证，若验证结果为假则返回(S22)工序，若验证结果为真则将复原图像的推定亮度分布作为最大似然复原图像的亮度分布进行输出；(S32)由(S21)工序构成的第一图像复原运算准备工序；(S33)由(S22)～(S31)工序构成的第一图像复原运算工序；(S34)第一图像复原工序，具有第一图像复原运算准备工序及第一图像复原运算工序，在第一图像复原运算准备工序及第一图像复原运算工序中，通过以S的序数从小到大的顺序执行来完成最大迭代运算次数的迭代运算，并输出最大似然复原图像的亮度分布；以及(S35)第一TV影像化工序，对最大似然复原图像的亮度分布实施TV影像化并输出1帧大小的超分辨率TV影像信号。

本发明的第二发明是作为构成第一发明的面向TV影像的第一超分辨率处理方法的第一PSF复原运算工序的第二方式的第二PSF复原运算工序，与技术方案2所述的发明相同。第一PSF复原运算工序的第二方式具有：(S40)将PSF初始值的推定亮度分布卷积修正复原图像初始值的推定亮度分布而得到第十一函数的工序；(S41)将第十一函数进行反转而得到第十二函数的工序；(S42)将第十二函数乘以劣化图像的亮度分布而得到第十三函数的工序；(S43)求出修正复原图像初始值的推定亮度分布的反转函数并将其作为第十四函数的工序；(S44)将第十四函数卷积第十三函数而得到第十五函数的工序；(S45)将第十五函数乘以PSF初始值的推定亮度分布而得到复原PSF的推定亮度分布的工序；(S46)将复原PSF的推定亮度分布作为PSF初始值的推定亮度分布及复原PSF的推定亮度分布的最终值进行输出的工序；(S47)单次PSF复原工序，具有(S40)～(S46)工序，通过以S的序数从小到大的顺序按顺序进行处理来进行1次的迭代运算；以及(S48)通过将最大迭代运算次数的单次PSF复原工序S47串联连接而构成的第二PSF复原运算工序，在第二PSF复原运算工序中，进行与被串联连接的单次PSF复原工序的数量相当的次数的迭代运算，将从最终级的单次PSF复原工序输出的复原PSF的推定亮度分布的最终值作为最大似然复原PSF的亮度分布进行输出。

本发明的第三发明是作为构成第一发明的面向TV影像的第一超分辨率处理方法的第一图像复原运算工序的第二方式的第二图像复原运算工序，与技术方案3所述的发明相同。第一图像复原运算工序的第二方式具有：(S50)第三复原图像初始值修正工序，由与基于最大似然复原PSF的亮度分布的图像尺寸对复原图像初始值的推定亮度分布进行修正而得到修正复原图像初始值的推定亮度分布的第一复原图像初始值修正工序相同的处理顺序构成；(S51)将最大似然复原PSF的亮度分布卷积修正复原图像初始值的推定亮度分布而得到第十六函数的工序；(S52)将第十六函数进行反转而得到第十七函数的工序；(S53)将第十七函数乘以劣化图像的亮度分布而得到第十八函数的工序；(S54)求出最大似然复原PSF的亮度分布的反转函数并将其作为第十九函数的工序；(S55)将第十九函数卷积第十八函数而得到第二十函数的工序；(S56)第二十函数乘以复原图像初始值的推定亮度分布而得到复原图像的推定亮度分布的工序；(S57)将复原图像的推定亮度分布作为复原图像初始值的推定亮度分布及复原图像的推定亮度分布的最终值进行输出的工序；(S58)第一单次图像复原工序，具有(S50)～(S57)工序，通过以S的序数从小到大的顺序按顺序进行处理来进行1次的迭代运算；以及(S59)通过将最大迭代运算次数的第一单次图像复原工序串联连接而构成的第二图像复原运算工序，在第二图像复原运算工序中，进行与串联连接的第一单次图像复原工序的数量相当的次数的迭代运算，将从最终级的第一单次图像复原工序输出的复原图像的推定亮度分布的最终值作为最大似然复原图像的亮度分布进行输出。

本发明的第四发明是通过输出将构成TV影像的1帧的光学劣化减少而复原成劣化前的帧的超分辨率TV影像信号来复原TV影像的面向TV影像的第二超分辨率处理方法，与技术方案4所述的发明相同。面向TV影像的第二超分辨率处理方法具有：(S60)一边观察TV影像一边对与TV影像的劣化状况相适的PSF的亮度分布进行特定的第二PSF特定工序；(S61)根据TV影像准备由1帧大小的亮度分布构成的劣化图像的亮度分布的第二劣化图像准备工序；(S62)第四复原图像初始值修正工序，由与复制劣化图像的亮度分布并将其作为复原图像初始值的推定亮度分布、而且基于PSF的亮度分布的图像尺寸对复原图像初始值的推定亮度分布进行修正而得到修正复原图像初始值的推定亮度分布的第一复原图像初始值修正工序相同的处理顺序构成；(S63)将修正复原图像初始值的推定亮度分布作为劣化图像的亮度分布的工序；(S64)设定最大迭代运算次数的工序；(S65)将对迭代运算次数进行计数的计数器重置为零的工序；(S66)将特定出的PSF的亮度分布卷积修正复原图像初始值的推定亮度分布而得到第二十一函数的工序；(S67)将第二十一函数进行反转而得到第二十二函数的工序；(S68)将第二十二函数乘以劣化图像的亮度分布而得到第二十三函数的工序；(S69)求出PSF的亮度分布的反转函数并将其作为第二十四函数的工序；(S70)将第二十四函数卷积第二十三函数而得到第二十五函数的工序；(S71)将第二十五函数乘以复原图像初始值的推定亮度分布而得到复原图像的推定亮度分布的工序；(S72)将复原图像的推定亮度分布替换复原图像初始值的推定亮度分布的工序；(S73)对计数器累加1的工序；(S74)验证工序，对计数器的值为最大迭代运算次数以上这一假设进行验证，若验证结果为假则跳转到(S75)工序，若验证结果为真则跳转到(S77)工序；(S75)第五复原图像初始值修正工序，由与基于PSF的亮度分布的图像尺寸对复原图像初始值的推定亮度分布进行修正而得到修正复原图像初始值的推定亮度分布的第一复原图像初始值修正工序相同的处理顺序构成；(S76)向S66跳转的工序；(S77)将复原图像的推定亮度分布作为最大似然复原图像的亮度分布进行输出的工序；(S78)由(S60)～(S65)工序构成的第二图像复原运算准备工序；(S79)由(S66)～(S77)工序构成的第三图像复原运算工序；(S80)第二图像复原工序，具有第二图像复原运算准备工序及第三图像复原运算工序，通过以S的序数从小到大的顺序执行而完成最大迭代运算次数的迭代运算，并输出最大似然复原图像的亮度分布；以及(S81)将被最大似然化了的最大似然复原图像的亮度分布实施TV影像化并输出1帧大小的超分辨率TV影像信号的第二TV影像化工序。

本发明的第五发明是作为构成第四发明的面向TV影像的第二超分辨率处理方法的第三图像复原运算工序的第二方式的第四图像复原运算工序，与技术方案5所述的发明相同。第三图像复原运算工序的第二方式具有：(S85)第六复原图像初始值修正工序，由与基于PSF的亮度分布的图像尺寸对复原图像初始值的推定亮度分布进行修正而得到修正复原图像初始值的推定亮度分布的第一复原图像初始值修正工序相同的处理顺序构成；(S86)将PSF的亮度分布卷积修正复原图像初始值的推定亮度分布而得到第二十六函数的工序；(S87)将第二十六函数进行反转而得到第二十七函数的工序；(S88)将第二十七函数乘以劣化图像的亮度分布而得到第二十八函数的工序；(S89)求出PSF的亮度分布的反转函数并将其作为第二十九函数的工序；(S90)将第二十九函数卷积第二十八函数而得到第三十函数的工序；(S91)将第三十函数乘以复原图像初始值的推定亮度分布而得到复原图像的推定亮度分布的工序；(S92)将复原图像的推定亮度分布作为复原图像初始值的推定亮度分布及复原图像的推定亮度分布的最终值进行输出的工序；(S93)第二单次图像复原工序，具有(S85)～(S92)工序，通过以S的序数从小到大的顺序进行处理，进行1次的迭代运算；(S94)通过将最大迭代运算次数的第二单次图像复原工序串联连接而构成的第四图像复原运算工序，在该第四图像复原运算工序中，进行与串联连接的第二单次图像复原工序的数量相当的次数的迭代运算，将从最终级的第二单次图像复原工序输出的复原图像的推定亮度分布的最终值作为最大似然复原图像的亮度分布进行输出。

本发明的第六发明是作为构成第四发明的面向TV影像的第二超分辨率处理方法的第三图像复原运算工序的第三方式的第五图像复原运算工序，与技术方案6所述的发明相同。第三图像复原运算工序的第三方式具有：(S100)将对迭代运算次数进行计数的计数器重置的工序；(S101)验证工序，对计数器的值为零以外这一假设进行验证，若验证结果为假则向(S102)跳转，若验证结果为真则向(S103)跳转；(S102)将劣化图像的亮度分布传送到劣化图像的亮度分布保存用缓冲器及复原图像初始值的推定亮度分布用缓冲器的工序；(S103)从复原图像初始值的推定亮度分布用缓冲器读取复原图像初始值的推定亮度分布的工序；(S104)第七复原图像初始值修正工序，由与基于PSF的亮度分布的图像尺寸对复原图像初始值的推定亮度分布进行修正而得到修正复原图像初始值的推定亮度分布的第一复原图像初始值修正工序相同的处理顺序构成；(S105)将PSF的亮度分布卷积修正复原图像初始值的推定亮度分布而得到第三十一函数的工序；(S106)将第三十一函数进行反转而得到第三十二函数的工序；(S107)将第三十二函数乘以劣化图像的亮度分布而得到第三十三函数的工序；(S108)求出PSF的亮度分布的反转函数并将其作为第三十四函数的工序；(S109)将第三十四函数卷积第三十三函数而得到第三十五函数的工序；(S110)将第三十五函数乘以复原图像初始值的推定亮度分布而得到复原图像的推定亮度分布的工序；(S111)对计数器累加1的工序；(S112)验证工序，对计数器的值超过最大迭代运算次数这一假设进行验证，若验证结果为假则向(S113)跳转，若验证结果为真则向(S115)跳转；(S113)将复原图像的推定亮度分布传送到复原图像初始值的推定亮度分布用缓冲器的工序；(S114)向(S103)跳转的工序；(S115)将复原图像的推定亮度分布作为最大似然复原图像的亮度分布进行输出的工序；(S116)第五图像复原运算工序，具有(S110)～(S115)的工序，通过以S的序数从小到大的顺序按顺序执行来完成最大迭代运算次数的迭代运算，并输出最大似然复原图像的亮度分布。

本发明的第七发明是关于构成第一发明的面向TV影像的第一超分辨率处理方法的第一PSF特定工序及构成第四发明的面向TV影像的第二超分辨率处理方法的第二PSF特定工序，这些第一PSF特定工序及第二PSF特定工序具有：(S120)设定与在显示器中放映出的TV影像的光学劣化程度相应的劣化指示数的工序；以及(S121)从PSF的亮度分布数据库提取并输出与劣化指示数关联的PSF的亮度分布的工序。第七发明与技术方案7所述的发明相同。

本发明的第八发明是关于构成第一发明的面向TV影像的第一超分辨率处理方法的第一劣化图像准备工序及构成第四发明的面向TV影像的第二超分辨率处理方法的第二劣化图像准备工序，这些第一劣化图像准备工序及第二劣化图像准备工序具有：(S130)从1帧大小的TV影像信号取出构成帧的RGB信号的RGB信号提取工序；(S131)延迟工序，将1帧大小的TV影像信号内、取出RGB信号后剩余的TV影像信号延迟1帧大小地输出；(S132)对RGB信号进行YUV转换并作为YUV信号的YUV转换工序；(S133)Y劣化图像提取工序，在YUV信号内，提取仅由作为亮度成分的Y信号构成的劣化图像的亮度分布并作为Y劣化图像的亮度分布，保持仅由剩余的U信号构成的U劣化图像的分布及仅由V信号构成的V劣化图像的分布；以及(S134)去伽马处理工序，实施Y劣化图像的亮度分布的去伽马处理，并作为由1帧大小的亮度分布构成的劣化图像的亮度分布进行输出。第八发明与技术方案8所述的发明相同。

本发明的第九发明是关于构成第一发明的面向TV影像的第一超分辨率处理方法的第一TV影像化工序及构成第四发明的面向TV影像的第二超分辨率处理方法的第二TV影像化工序，这些第一TV影像化工序及第二TV影像化工序具有：(S140)实施最大似然复原图像的亮度分布的伽马处理的伽马处理工序；(S141)复原图像合成工序，将在Y劣化图像提取工序中保持的U劣化图像的分布和V劣化图像的分布、以及由Y成分构成的伽马处理后的最大似然复原图像的亮度分布合成1张YUV复原图像的分布；(S142)进行YUV复原图像的分布的RGB转换并作为RGB复原图像的分布的RGB转换工序；(S143)读取RGB复原图像的分布并输出RGB信号的RGB信号转换工序；以及(S144)TV影像信号合成工序，将RGB信号与在延迟工序中输出的除了RGB信号以外的1帧大小的TV影像信号合成而作为1帧大小的超分辨率TV影像信号并进行输出。第九发明与技术方案9所述的发明相同。

本发明的第十发明是关于构成第一～第三发明的面向TV影像的第一超分辨率处理方法的PSF的亮度分布及构成第四～第五发明的面向TV影像的第二超分辨率处理方法的PSF的亮度分布，该PSF的亮度分布由没有边缘的正方形状的同一尺寸的像素构成，是中心最亮的二维正态分布，其尺寸为5×5像素。第十发明与技术方案10所述的发明相同。

本发明的第十一发明是用于执行构成第一发明的面向TV影像的第一超分辨率处理方法的第一PSF复原工序及第一图像复原工序内的全部工序的第一超分辨率处理程序，与技术方案11所述的发明相同。

本发明的第十二发明是用于执行构成第一～第二发明的面向TV影像的第一超分辨率处理方法的PSF复原运算准备工序、第二PSF复原运算工序及第一图像复原工序内的全部工序的第二超分辨率处理程序，与技术方案12所述的发明相同。

本发明的第十三发明是用于执行构成第一及第三发明的面向TV影像的第一超分辨率处理方法的第一PSF复原工序、第一图像复原运算准备工序及第二图像复原运算工序内的全部工序的第三超分辨率处理程序，与技术方案13所述的发明相同。

本发明的第十四发明是用于执行构成第一～第三发明的面向TV影像的第一超分辨率处理方法的PSF复原运算准备工序、第二PSF复原运算工序、第一图像复原运算准备工序及第二图像复原运算工序内的全部工序的第四超分辨率处理程序，与技术方案14所述的发明相同。

本发明的第十五发明是用于执行构成第四发明的面向TV影像的第二超分辨率处理方法的第二图像复原工序内的全部工序的第五超分辨率处理程序，与技术方案15所述的发明相同。

本发明的第十六发明是用于执行构成第四～第五发明的面向TV影像的第二超分辨率处理方法的第二图像复原运算准备工序及第四图像复原运算工序内的全部工序的第六超分辨率处理程序，与技术方案16所述的发明相同。

本发明的第十七发明是用于执行构成第四及第六发明的面向TV影像的第二超分辨率处理方法的第二图像复原运算准备工序及第五图像复原运算工序内的全部工序的第七超分辨率处理程序，与技术方案17所述的发明相同。

本发明的第十八发明是关于使用第一、第七～第十发明的面向TV影像的第一超分辨率处理方法，通过输出将构成TV影像的1帧的光学劣化减少来复原成劣化前的帧的超分辨率TV影像信号来复原TV影像的面向TV影像的第一超分辨率处理装置，该面向TV影像的第一超分辨率处理装置具有：(W1)根据TV影像准备由1帧大小的亮度分布构成的劣化图像的亮度分布的第一劣化图像准备单元；(W2)将劣化图像的亮度分布作为复原图像初始值的推定亮度分布的单元；(W3)对PSF的亮度分布进行特定的第一PSF特定单元；(W4)将特定出的PSF的亮度分布作为PSF初始值的推定亮度分布的单元；(W5)设定最大迭代运算次数的单元；(W6)将对迭代运算次数进行计数的计数器重置的单元；(W7)第一复原图像初始值修正单元，其复制复原图像初始值的推定亮度分布并将其作为修正复原图像初始值的推定亮度分布，而且对于在对将PSF的亮度分布与修正复原图像初始值的推定亮度分布进行卷积运算时在修正复原图像初始值的推定亮度分布的周边部发生的运算困难区域，基于PSF的亮度分布的图像尺寸来计算运算困难区域，并复制运算困难区域的像素，将该复制的像素以相对于修正复原图像初始值的推定亮度分布的边界成为镜像对称地配置的方式粘贴在边界的外侧，并对修正复原图像初始值的推定亮度分布进行修正，从而得到修正复原图像初始值的推定亮度分布；(W8)将修正复原图像初始值的推定亮度分布作为劣化图像的亮度分布的单元；(W9)将PSF初始值的推定亮度分布卷积修正复原图像初始值的推定亮度分布而得到第三十六函数的单元；(W10)将第三十六函数进行反转而得到第三十七函数的单元；(W11)将第三十七函数乘以劣化图像的亮度分布而得到第三十八函数的单元；(W12)求出修正复原图像初始值的推定亮度分布的反转函数并将其作为第三十九函数的单元；(W13)将第三十九函数卷积第三十八函数而得到第四十函数的单元；(W14)将第四十函数乘以PSF初始值的推定亮度分布而得到复原PSF的推定亮度分布的单元；(W15)将复原PSF的推定亮度分布替换PSF初始值的推定亮度分布的单元；(W16)对计数器累加1的单元；(W17)验证单元，对计数器的值超过最大迭代运算次数这一假设进行验证，若验证结果为假则返回(W9)单元，若验证结果为真则将复原PSF的推定亮度分布作为最大似然复原PSF的亮度分布进行输出；(W18)由(W1)～(W8)的单元构成的PSF复原运算准备单元；(W19)由(W9)～(W17)的单元构成的第一PSF复原运算单元；(W20)第一PSF复原单元，在PSF复原运算准备单元及第一PSF复原运算单元中，通过以S的序数从小到大的顺序执行而完成最大迭代运算次数的迭代运算，并输出最大似然复原PSF的亮度分布；(W21)重置计数器，再跳转到(W23)的单元；(W22)第二复原图像初始值修正单元，其由与基于最大似然复原PSF的亮度分布的图像尺寸对复原图像初始值的推定亮度分布进行修正而得到修正复原图像初始值的推定亮度分布的第一复原图像初始值修正单元相同的处理顺序构成；(W23)将最大似然复原PSF的亮度分布卷积修正复原图像初始值的推定亮度分布而得到第四十一函数的单元；(W24)将第四十一函数进行反转而得到第四十二函数的单元；(W25)将第四十二函数乘以劣化图像的亮度分布而得到第四十三函数的单元；(W26)求出最大似然复原PSF的亮度分布的反转函数并将其作为第四十四函数的单元；(W27)将第四十四函数卷积第四十三函数而得到第四十五函数的单元；(W28)将第四十五函数乘以复原图像初始值的推定亮度分布而得到复原图像的推定亮度分布的单元；(W29)将复原图像的推定亮度分布替换复原图像初始值的推定亮度分布的单元；(W30)对计数器累加1的单元；(W31)验证单元，对计数器的值超过最大迭代运算次数这一假设进行验证，若验证结果为假则返回(W22)单元，若验证结果为真则将复原图像的推定亮度分布作为最大似然复原图像的亮度分布进行输出；(W32)由(W21)单元构成的第一图像复原运算准备单元；(W33)由(W22)～(W31)单元构成的第一图像复原运算单元；(W34)第一图像复原单元，其在第一图像复原运算准备单元及第一图像复原运算单元中，通过以S的序数从小到大地执行而完成最大迭代运算次数的迭代运算，并输出最大似然复原图像的亮度分布；(W35)对最大似然复原图像的亮度分布实施TV影像化而输出1帧大小的超分辨率TV影像信号的第一TV影像化单元。第十八发明与技术方案18所述的发明相同。

本发明的第十九发明关于构成第十八发明的面向TV影像的第一超分辨率处理装置的第一PSF复原单元的第二方式，该第一PSF复原单元的第二方式具有：(W40)将PSF初始值的推定亮度分布卷积修正复原图像初始值的推定亮度分布而得到第四十六函数的单元；(W41)将第四十六函数进行反转而得到第四十七函数的单元；(W42)将第四十七函数乘以劣化图像的亮度分布而得到第四十八函数的单元；(W43)求出修正复原图像初始值的推定亮度分布的反转函数并将其作为第四十九函数的单元；(W44)将第四十九函数卷积第四十八函数而得到第五十函数的单元；(W45)将第五十函数乘以PSF初始值的推定亮度分布而得到复原PSF的推定亮度分布的单元；(W46)将复原PSF的推定亮度分布作为PSF初始值的推定亮度分布及复原PSF的推定亮度分布的最终值并进行输出的单元；(W47)单次PSF复原单元，其具有(W40)～(W46)单元，通过以S的序数从小到大的顺序按顺序进行处理来进行1次的迭代运算；以及(W48)通过将最大迭代运算次数的单次PSF复原单元串联连接而构成的第二PSF复原运算单元，在所述第二PSF复原运算单元中，进行与串联连接的单次PSF复原单元的数量相当的次数的迭代运算，并将从最终级的单次PSF复原单元输出的复原PSF的推定亮度分布的最终值作为最大似然复原PSF的亮度分布进行输出。第十九发明与技术方案19所述的发明相同。

本发明的第二十发明关于构成第十八发明的面向TV影像的第一超分辨率处理装置的第一图像复原单元的第二方式，该第一图像复原单元的第二方式具有：(W50)第三复原图像初始值修正单元，其由与基于最大似然复原PSF的亮度分布的图像尺寸对复原图像初始值的推定亮度分布进行修正而得到修正复原图像初始值的推定亮度分布的第一复原图像初始值修正单元相同的结构构成；(W51)将最大似然复原PSF的亮度分布卷积修正复原图像初始值的推定亮度分布而得到第五十一函数的单元；(W52)将第五十一函数进行反转而得到第五十二函数的单元；(W53)将第五十二函数乘以劣化图像的亮度分布而得到第五十三函数的单元；(W54)求出最大似然复原PSF的亮度分布的反转函数并将其作为第五十四函数的单元；(W55)将第五十四函数卷积第五十三函数而得到第五十五函数的单元；(W56)将第五十五函数乘以复原图像初始值的推定亮度分布而得到复原图像的推定亮度分布的单元；(W57)将复原图像的推定亮度分布作为复原图像初始值的推定亮度分布及复原图像的推定亮度分布的最终值进行输出的单元；(W58)第一单次图像复原单元，其具有(W50)～(W57)单元，以S的序数从小到大的顺序按顺序进行处理来进行1次的迭代运算；(W59)通过将最大迭代运算次数的第一单次图像复原单元串联连接而构成的第二图像复原运算单元，在所述第二图像复原运算单元中，进行与串联连接的第一单次图像复原单元的数量相当的次数的迭代运算，将从最终级的第一单次图像复原单元输出的复原图像的推定亮度分布的最终值作为最大似然复原图像的亮度分布进行输出。第二十发明与技术方案20所述的发明相同。

本发明的第二十一发明关于根据第四、第七～第十发明的面向TV影像的第二超分辨率处理方法通过输出将构成TV影像的1帧的光学劣化减少而复原成劣化前的帧的超分辨率TV影像信号来复原TV影像的面向TV影像的第二超分辨率处理装置，该面向TV影像的第二超分辨率处理装置具有：(W60)一边观察TV影像一边对与TV影像的劣化状况相适的PSF的亮度分布进行特定的第二PSF特定单元；(W61)根据TV影像准备由1帧大小的亮度分布构成的劣化图像的亮度分布的第二劣化图像准备单元；(W62)第四复原图像初始值修正单元，其由与复制劣化图像的亮度分布并将其作为复原图像初始值的推定亮度分布、而且基于PSF的亮度分布的图像尺寸对复原图像初始值的推定亮度分布进行修正而得到修正复原图像初始值的推定亮度分布的第一复原图像初始值修正单元相同的处理顺序构成；(W63)将修正复原图像初始值的推定亮度分布作为劣化图像的亮度分布的单元；(W64)设定最大迭代运算次数的单元；(W65)将对迭代运算次数进行计数的计数器重置为零的单元；(W66)将特定出的PSF的亮度分布卷积修正复原图像初始值的推定亮度分布而得到第二十一函数的单元；(W67)将第二十一函数进行反转而得到第二十二函数的单元；(W68)将第二十二函数乘以劣化图像的亮度分布而得到第二十三函数的单元；(W69)求出PSF的亮度分布的反转函数并将其作为第二十四函数的单元；(W70)将第二十四函数卷积第二十三函数而得到第二十五函数的单元；(W71)将第二十五函数乘以复原图像初始值的推定亮度分布而得到复原图像的推定亮度分布的单元；(W72)将复原图像的推定亮度分布替换复原图像初始值的推定亮度分布的单元；(W73)对计数器累加1的单元；(W74)验证单元，对计数器的值为最大迭代运算次数以上这一假设进行验证，若验证结果为假则跳转到(W75)单元，若验证结果为真则跳转到(W77)单元；(W75)第五复原图像初始值修正单元，其由与基于PSF的亮度分布的图像尺寸对复原图像初始值的推定亮度分布进行修正而得到修正复原图像初始值的推定亮度分布的第一复原图像初始值修正单元相同的处理顺序构成；(W76)跳转到W66的单元；(W77)将复原图像的推定亮度分布作为最大似然复原图像的亮度分布输出的单元；(W78)由(W60)～(W65)单元构成的第二图像复原运算准备单元；(W79)由(W66)～(W77)单元构成的第三图像复原运算单元；(W80)第二图像复原单元，其具有第二图像复原运算准备单元及第三图像复原运算单元，通过以S的序数从小到大的顺序执行而完成最大迭代运算次数的迭代运算，并输出最大似然复原图像的亮度分布；以及(W81)将最大似然复原图像的亮度分布实施TV影像化而输出1帧大小的超分辨率TV影像信号的第二TV影像化单元。第二十一发明与技术方案21所述的发明相同。

本发明的第二十二发明是关于构成第二十一发明的面向TV影像的第二超分辨率处理装置的第三图像复原单元的第二方式，该第三图像复原单元的第二方式具有：(W85)第六复原图像初始值修正单元，其由与基于PSF的亮度分布的图像尺寸对复原图像初始值的推定亮度分布进行修正而得到修正复原图像初始值的推定亮度分布的第一复原图像初始值修正单元相同的处理顺序构成；(W86)将PSF的亮度分布卷积修正复原图像初始值的推定亮度分布而得到第六十一函数的单元；(W87)将第六十一函数进行反转而得到第六十二函数的单元；(W88)将第六十二函数乘以劣化图像的亮度分布而得到第六十三函数的单元；(W89)求出PSF的亮度分布的反转函数并将其作为第六十四函数的单元；(W90)将第六十四函数卷积第六十三函数而得到第六十五函数的单元；(W91)将第六十五函数乘以复原图像初始值的推定亮度分布而得到复原图像的推定亮度分布的单元；(W92)将复原图像的推定亮度分布作为复原图像初始值的推定亮度分布及复原图像的推定亮度分布的最终值进行输出的单元；(W93)第二单次图像复原单元，其具有(W85)～(W92)单元，通过以S的序数从小到大的顺序进行处理而进行1次的迭代运算；(W94)通过将最大迭代运算次数的第二单次图像复原单元串联连接而构成的第四图像复原运算单元，在第四图像复原运算单元中，进行与串联连接的第二单次图像复原单元的数量相当的次数的迭代运算，将从最终级的第二单次图像复原单元输出的复原图像的推定亮度分布的最终值作为最大似然复原图像的亮度分布进行输出。第二十二发明与技术方案22所述的发明相同。

本发明的第二十三发明是关于构成第二十一发明的面向TV影像的第二超分辨率处理装置的第三图像复原单元的第三方式，该第三图像复原单元的第三方式具有：(W100)将对迭代运算次数进行计数的计数器重置的单元；(W101)验证单元，对计数器的值为零以外这一假设进行验证，若验证结果为假则跳转到(W102)，若验证结果为真则跳转到(W103)；(W102)将劣化图像的亮度分布传送到劣化图像的亮度分布保存用缓冲器及复原图像初始值的推定亮度分布用缓冲器的单元；(W103)从复原图像初始值的推定亮度分布用缓冲器读取复原图像初始值的推定亮度分布的单元；(W104)第七复原图像初始值修正单元，其由与基于PSF的亮度分布的图像尺寸对复原图像初始值的推定亮度分布进行修正而得到修正复原图像初始值的推定亮度分布的第一复原图像初始值修正单元相同的处理顺序构成；(W105)将PSF的亮度分布卷积修正复原图像初始值的推定亮度分布而得到第三十一函数的单元；(W106)对第三十一函数进行反转而得到第三十二函数的单元；(W107)将第三十二函数乘以劣化图像的亮度分布而得到第三十三函数的单元；(W108)求出PSF的亮度分布的反转函数并将其作为第三十四函数的单元；(W109)将第三十四函数卷积第三十三函数而得到第三十五函数的单元；(W110)将第三十五函数乘以复原图像初始值的推定亮度分布而得到复原图像的推定亮度分布的单元；(W111)对计数器累加1的单元；(W112)验证单元，对计数器的值超过最大迭代运算次数这一假设进行验证，若验证结果为假则跳转到(W113)，若验证结果为真则跳转到(W115)；(W113)将复原图像的推定亮度分布传送到复原图像初始值的推定亮度分布用缓冲器的单元；(W114)跳转到(W103)的单元；(W115)将复原图像的推定亮度分布作为最大似然复原图像的亮度分布进行输出的单元；(W116)第五图像复原运算单元，其具有(W100)～(W115)单元，通过以W的序数从小到大的顺序按顺序执行而完成最大迭代运算次数的迭代运算，并输出最大似然复原图像的亮度分布。第二十三发明与技术方案23所述的发明相同。

本发明的第二十四发明是关于构成第十八发明的面向TV影像的第一超分辨率处理装置的第一PSF特定单元及构成第二十一发明的面向TV影像的第二超分辨率处理装置的第二PSF特定单元，这些第一PSF特定单元及第二PSF特定单元具有：(W120)设定与在显示器中放映出的TV影像的光学劣化程度相应的劣化指示数的单元；以及(W121)从PSF数据库提取与劣化指示数关联的PSF的亮度分布的单元。第二十四发明与技术方案24所述的发明相同。

本发明的第二十五发明是关于构成第十八发明的面向TV影像的第一超分辨率处理装置的第一劣化图像准备单元及构成第二十一发明的面向TV影像的第二超分辨率处理装置的第二劣化图像准备单元，这些第一劣化图像准备单元及第二劣化图像准备单元具有：(W130)从1帧大小的TV影像信号取出构成帧的RGB信号的RGB信号提取单元；(W131)延迟单元，其将1帧大小的TV影像信号内、取出RGB信号后剩余的TV影像信号延迟1帧大小地输出；(W132)对RGB信号进行YUV转换并作为YUV信号的YUV转换单元；(W133)Y劣化图像提取单元，其在YUV信号内，提取仅由作为亮度成分的Y信号构成的劣化图像的亮度分布并作为Y劣化图像的亮度分布，保持仅由剩余的U信号构成的U劣化图像的分布及仅由V信号构成的V劣化图像的分布；以及(W134)去伽马处理单元，其实施Y劣化图像的亮度分布的去伽马处理，并作为由1帧大小的亮度分布构成的劣化图像的亮度分布进行输出。第二十五发明与技术方案25所述的发明相同。

本发明的第二十六发明是关于构成第十八发明的面向TV影像的第一超分辨率处理装置的第一TV影像化单元及构成第二十一发明的面向TV影像的第二超分辨率处理装置的第二TV影像化单元，这些第一TV影像化单元及第二TV影像化单元具有：(W140)实施最大似然复原图像的亮度分布的伽马处理的伽马处理单元；(W141)复原图像合成单元，其将由Y劣化图像提取单元保持的U劣化图像的分布和V劣化图像的分布、以及由Y成分构成的伽马处理后的最大似然复原图像的亮度分布合成1张YUV复原图像的分布；(W142)进行YUV复原图像的分布的RGB转换并作为RGB复原图像的分布的RGB转换单元；(W143)读取RGB复原图像的分布并输出RGB信号的RGB信号转换单元；以及(W144)TV影像信号合成单元，其将RGB信号与由延迟单元所输出的除了RGB信号以外的1帧大小的TV影像信号合成而作为1帧大小的超分辨率TV影像信号并进行输出。第二十六发明与技术方案26所述的发明相同。

本发明的第二十七发明是构成了构成第十八发明的面向TV影像的第一超分辨率处理装置的第一PSF复原单元及第一图像复原单元内的全部单元、且使这些全部单元被执行的第一超分辨率处理装置程序。第二十七发明与技术方案27所述的发明相同。

本发明的第二十八发明是构成了构成第十八～第十九发明的面向TV影像的第一超分辨率处理装置的PSF复原运算准备单元、第二PSF复原运算单元及第一图像复原单元内的全部单元、且使这些全部单元被执行的第二超分辨率处理装置程序。第二十八发明与技术方案28所述的发明相同。

本发明的第二十九发明是构成了构成第十八、第二十发明的面向TV影像的第一超分辨率处理装置的第一PSF复原单元、第一图像复原运算准备单元及第二图像复原运算单元内的全部单元、且使这些全部单元被执行的第三超分辨率处理装置程序。第二十九发明与技术方案29所述的发明相同。

本发明的第三十发明是构成了构成第十八～第二十发明的面向TV影像的第一超分辨率处理装置的PSF复原运算准备单元、第二PSF复原运算单元、第一图像复原运算准备单元及第二图像复原运算单元内的全部单元、且使这些全部单元被执行的第四超分辨率处理装置程序。第三十发明与技术方案30所述的发明相同。

本发明的第三十一发明是构成了构成第二十一发明的面向TV影像的第二超分辨率处理装置的第二图像复原单元内的全部单元、且使这些全部单元被执行的第五超分辨率处理装置程序。第三十一发明与技术方案31所述的发明相同。

本发明的第三十二发明是构成了构成第二十一～第二十二发明的面向TV影像的第二超分辨率处理装置的第二图像复原运算准备单元及第四图像复原运算单元内的全部单元、且使这些全部单元被执行的第六超分辨率处理装置程序。第三十二发明与技术方案32所述的发明相同。

本发明的第三十三发明是构成了构成第二十一、第二十二发明的面向TV影像的第二超分辨率处理装置的第二图像复原运算准备单元及第五图像复原运算单元内的全部单元、且使这些全部单元被执行的第七超分辨率处理装置程序。第三十三发明与技术方案33所述的发明相同。

本发明的第三十四发明是一种第一存储介质，将用于执行第十一～第十四发明的面向TV影像的第一超分辨率处理方法的第一超分辨率处理程序、第二超分辨率处理程序、第三超分辨率处理程序及第四超分辨率处理程序分别独立地进行加密并独立地存储，在一方被读取时，独立地读取并且在解密后进行提供，能够与计算机连接且能够由计算机读取。第三十四发明与技术方案34所述的发明相同。

本发明的第三十五发明是一种第二存储介质，将用于执行第十五～第十七发明的面向TV影像的第二超分辨率处理方法的第五超分辨率处理程序、第六超分辨率处理程序及第七超分辨率处理程序分别独立地进行加密并独立地存储，在一方被读取时，独立地读取并且在解密后进行提供，能够与计算机连接且能够由计算机读取。第三十五发明与技术方案35所述的发明相同。

本发明的第三十六发明是一种第三存储介质，将构成第二十七～第三十发明的面向TV影像的第一超分辨率处理装置内的全部单元且用于执行这些全部单元的第一超分辨率处理装置程序、第二超分辨率处理装置程序、第三超分辨率处理装置程序及第四超分辨率处理装置程序分别独立地进行加密并独立地存储，在一方被读取时，独立地读取并且在解密后进行提供，能够与计算机连接且能够由计算机读取。第三十六发明与技术方案36所述的发明相同。

本发明的第三十七发明是一种第四存储介质，将构成第三十一～三十三发明的面向TV影像的第二超分辨率处理装置内的全部单元且用于执行这些全部单元的第五超分辨率处理装置程序、第六超分辨率处理装置程序及第七超分辨率处理装置程序分别独立地进行加密并独立地存储，在一方被读取时，独立地读取并且在解密后进行提供，能够与计算机连接且能够由计算机读取。第三十七发明与技术方案37所述的发明相同。

发明的效果

仅根据TV影像的1帧的信息复原图像并连续地实施这种复原来进行TV影像的超分辨率处理在以往是不可能的，但通过采用本发明，具有能够实现接近实时的处理的效果。另外，本发明只要是TV方式的影像，无论什么射线源都可以，因此，可以是红外线相机或X射线相机拍摄到的影像，还具有适用范围宽的效果。

附图说明

图1是表示构成实际的TV影像的帧所含有的光学劣化信息的1例的图。

图2是表示本发明的第一发明的面向TV影像的第一超分辨率处理方法中的处理顺序的1例的流程图。

图3是表示本发明的第一复原图像初始值修正工序中所使用的修正处理顺序的1例的图。

图4是表示本发明的第二发明的第二PSF复原运算工序中的处理顺序的1例的流程图。

图5是表示本发明的第三发明的第二图像复原运算工序中的处理顺序的1例的流程图。

图6是表示本发明的第四发明的与面向TV影像的第二超分辨率处理方法的处理顺序相关的1例的流程图。

图7是表示本发明的第五发明的与第四图像复原运算工序的处理顺序相关的1例的流程图。

图8是表示本发明的第六发明的与第五图像复原运算工序的处理顺序相关的1例的流程图。

图9是表示本发明的第七发明的与第一PSF特定工序及第二PSF特定工序的处理顺序相关的1例的流程图。

图10是表示本发明的PSF数据库内的数据的1例的图。

图11是表示本发明的第八发明的第一劣化图像准备工序及第二劣化图像准备工序中的处理顺序的1例的流程图。

图12是表示本发明的第九发明的第一TV影像化工序及第二TV影像化工序中的处理顺序的1例的流程图。

图13是表示本发明的第十发明的PSF的亮度分布的1例的图。

图14是表示本发明的第十八发明的与面向TV影像的第一超分辨率处理装置的结构相关的1例的图。

图15是表示本发明的第十九发明的与第二PSF复原运算单元的结构相关的1例的图。

图16是表示本发明的第二十发明的与第二图像复原运算单元的结构相关的1例的图。

图17是表示本发明的第二十一发明的与面向TV影像的第二超分辨率处理装置的结构相关的1例的图。

图18是表示本发明的第二十二发明的与第四图像复原运算单元的结构相关的1例的图。

图19是表示本发明的第二十三发明的与第五图像复原运算单元的结构相关的1例的图。

图20是表示本发明的第二十四发明的第一PSF特定单元及第二PSF特定单元的结构相关的1例的图。

图21是表示本发明的第二十五发明的与第一劣化图像准备单元及第二劣化图像准备单元的结构相关的1例的图。

图22是表示本发明的第二十六发明的与第一TV影像化单元及第二TV影像化单元的结构相关的1例的图。

图23是表示本发明的实施例1的与面向TV影像的第一超分辨率处理系统的结构相关的1例的图。

图24是表示本发明的第一超分辨率处理装置程序的构造及其安装情况的1例的图。

图25是表示本发明的与超分辨率处理窗口的结构相关的1例的图。

图26是在本发明的面向TV影像的第一超分辨率处理系统中将执行超分辨率处理的顺序的1例作为事务表(transactiontable)来表示的图。

图27是表示实施例1的超分辨率处理的状况的1例的图。

图28是表示实施例3的与第一机顶盒的内部的结构相关的1例的图。

图29是表示实施例3的第一机顶盒中的处理顺序的1例的流程图。

图30是表示实施例3的第一机顶盒的设定的状况的1例的图。

具体实施方式

针对实施本发明的最佳实施方式，适当地使用附图来进行说明。

在本发明中，劣化图像、PSF及复原图像分别由布满没有边缘的相同尺寸的正方形的像素而构成的，各像素是由8位深度的红原色(R)、8位深度的绿原色(G)及8位深度的蓝原色(B)构成的RGB彩色像素，在RGB是相同位数的情况下，成为灰度像素。在本发明中，PSF仅由灰度像素构成。

在本发明中，劣化图像、PSF及复原图像是将左上角的像素作为原点，针对原点所在行，将与不改变行地朝向横向的像素行平行的轴作为x轴，针对原点所在列，将与不改变列地朝向纵向的像素列平行的轴作为y轴。劣化图像、PSF及复原图像内的全部的像素能够通过(x，y)这样的二维坐标进行指定。

在本发明中，劣化图像及复原图像是相互相同的图像尺寸，具有相同的坐标。但是，在本发明中，由于不对图像模糊成难以辨别的程度的情况进行处理，所以PSF的周边部分大致为零，为削减计算次数，假设成立无论到劣化图像及复原图像内的何处，PSF的亮度分布都不变化，PSF尺寸使用5像素乘5像素的尺寸。当然，只要是达到劣化图像的图像尺寸，可以是任意的尺寸。

在本发明中，仅对PSF、劣化图像及复原图像分别由亮度成分构成的情况进行处理，复原运算所使用的全部仅是亮度成分。其理由在于，运算次数减少以及色调不变。本发明的方法与R、G、B单独复原的情况相比，能够确认超分辨率处理品质没有降低。

在本发明中，由于PSF、劣化图像及复原图像分别由亮度成分构成，所以将PSF称为PSF的亮度分布、劣化图像的亮度分布及复原图像的推定亮度分布。由于复原图像的正确的亮度分布不明确，所以被称为推定亮度分布。当利用本发明的面向TV影像的加速超分辨率处理方法进行图像复原时，成为几乎收敛于没有光学劣化的状态的状态，几乎不逊色于原图像，从而在为最大似然复原图像的情况下，采用亮度分布。

图2是将本发明的第一发明的面向TV影像的第一超分辨率处理方法中的处理顺序的1例作为流程图进行了图示。

本发明的第一发明的面向TV影像的第一超分辨率处理方法的特征在于，具有如下工序：(S1)第一劣化图像准备工序，根据TV影像2准备由1帧大小的亮度分布构成的劣化图像的亮度分布1；(S2)将劣化图像的亮度分布1作为复原图像初始值的推定亮度分布3的工序；(S3)对PSF的亮度分布4进行特定的第一PSF特定工序；(S4)将特定出的PSF的亮度分布4作为PSF初始值的推定亮度分布5的工序；(S5)设定最大迭代运算次数6的工序；(S6)将对迭代运算次数进行计数的计数器重置的工序；(S7)第一复原图像初始值修正工序，复制复原图像初始值的推定亮度分布3并将其作为修正复原图像初始值的推定亮度分布7，而且，针对在将PSF的亮度分布4与修正复原图像初始值的推定亮度分布7进行卷积运算时在修正复原图像初始值的推定亮度分布7的周边部产生的运算困难区域8，基于PSF的亮度分布的图像尺寸来计算该运算困难区域8，并复制运算困难区域8的像素，将所复制的像素以相对于修正复原图像初始值的推定亮度分布7的边界成为镜像对称地配置的方式粘贴在上述边界的外侧，来对修正复原图像初始值的推定亮度分布7进行修正；(S8)将修正复原图像初始值的推定亮度分布7作为劣化图像的亮度分布1的工序；(S9)将PSF初始值的推定亮度分布5卷积修正复原图像初始值的推定亮度分布7而得到第一函数的工序；(S10)将第一函数进行反转而得到第二函数的工序；(S11)将第二函数乘以劣化图像的亮度分布1而得到第三函数的工序；(S12)求出修正复原图像初始值的推定亮度分布7的反转函数并将其作为第四函数的工序；(S13)将第四函数卷积第三函数而得到第五函数的工序；(S14)将第五函数乘以PSF初始值的推定亮度分布5而得到复原PSF的推定亮度分布9的工序；(S15)将复原PSF的推定亮度分布9替换PSF初始值的推定亮度分布5的工序；(S16)对计数器累加1的工序；(S17)对计数器的值超过最大迭代运算次数6这一假设进行验证，若验证结果为假则返回(S9)工序，若验证结果为真则将复原PSF的推定亮度分布9作为最大似然复原PSF的亮度分布10进行输出的工序；(S18)由(S1)～(S8)工序构成的PSF复原运算准备工序；(S19)由(S9)～(S17)工序构成的第一PSF复原运算工序；(S20)第一PSF复原工序，具有PSF复原运算准备工序S18及第一PSF复原运算工序S19，在PSF复原运算准备工序S18及第一PSF复原运算工序S19中，通过以S的序数从小到大的顺序执行，完成最大迭代运算次数6的迭代运算，输出最大似然复原PSF的亮度分布10；(S21)重置计数器，再向(S23)跳转的工序；(S22)由与基于最大似然复原PSF的亮度分布10的图像尺寸对复原图像初始值的推定亮度分布3进行修正的第一复原图像初始值修正工序相同的处理顺序构成的第二复原图像初始值修正工序；(S23)将最大似然复原PSF的亮度分布10卷积复原图像初始值的推定亮度分布3而得到第六函数的工序；(S24)对第六函数进行反转而得到第七函数的工序；(S25)将第七函数乘以劣化图像的亮度分布1而得到第八函数的工序；(S26)求出最大似然复原PSF的亮度分布10的反转函数并将其作为第九函数的工序；(S27)将第九函数卷积第八函数而得到第十函数的工序；(S28)将第十函数乘以复原图像初始值的推定亮度分布3而得到复原图像的推定亮度分布11的工序；(S29)将复原图像的推定亮度分布11替换复原图像初始值的推定亮度分布3的工序；(S30)对计数器累加1的工序；(S31)对计数器的值超过最大迭代运算次数6这一假设进行验证，若验证结果为假则返回(S22)工序，若验证结果为真则将复原图像的推定亮度分布11作为最大似然复原图像的亮度分布12输出的工序；(S32)由(S21)工序构成的第一图像复原运算准备工序；(S33)由(S22)～(S31)工序构成的第一图像复原运算工序；(S34)第一图像复原工序，具有第一图像复原运算准备工序S32及第一图像复原运算工序S33，在第一图像复原运算准备工序S32及第一图像复原运算工序S33中，通过以S的序数从小到大的顺序执行，完成最大迭代运算次数6的迭代运算，输出最大似然复原图像的亮度分布12；(S35)第一TV影像化工序，对最大似然复原图像的亮度分布12实施TV影像化并输出1帧大小的超分辨率TV影像信号13。

第一PSF复原运算工序S19基于数学式1进行运算，根据特定出的PSF的亮度分布4、由特定出的PSF的亮度分布4构成的PSF初始值的推定亮度分布5及劣化图像的亮度分布1，推定劣化图像的亮度分布1的最大似然的最大似然复原PSF的亮度分布10。数学式1是将本发明人发明并注册的专利文献2记载的数学式25以能够进行卷积运算的方式改写而成的。数学式1的方法仅将实数作为运算对象，与专利文献2的数学式25的方法相比，不使用PSF的亮度分布的傅立叶转换体即OTF(OpticalTransferFunction：光学传递函数)而使用PSF的亮度分布，不考虑相位。由此，虽然复原精度降低，但TV影像模糊成辨别不出像的程度的情况很少，因此使用基于数学式1的方法在实用上也是没有问题的。

[数学式1]

在数学式1中，F表示复原图像初始值的推定亮度分布3，G表示劣化图像的亮度分布1，H表示PSF的亮度分布4，H的角标表示第k个值，标注了角标#的F表示复原图像的推定亮度分布的反转函数，圆形标记中的星号标记表示卷积运算。另外，k是0以上的整数，k为零时是初始值。

[数学式2]

第一图像复原运算工序S33基于数学式2进行运算，根据特定出的PSF的亮度分布4、由劣化图像的亮度分布1构成的复原图像初始值的推定亮度分布3及劣化图像的亮度分布1，复原劣化图像的亮度分布1的最大似然的最大似然复原图像的亮度分布12。数学式2是将本发明人发明并注册的专利文献2记载的数学式15以能够进行卷积运算的方式改写而成的。数学式2的方法仅将实数作为运算对象，与专利文献2的数学式15的方法相比，不使用PSF的亮度分布的傅立叶转换体即OTF而使用PSF的亮度分布，不考虑相位。由此，虽然复原精度降低，但TV影像模糊成辨别不出像的程度的情况很少，因此使用基于数学式2的方法在实用上没有问题。

在数学式2中，F表示复原图像的推定亮度分布，F的角标表示第k个值，G表示劣化图像的亮度分布，H表示在第一PSF复原工序中被复原的最大似然复原PSF的亮度分布，标注了角标#的H表示最大似然复原PSF的亮度分布的反转函数，圆形标记中的星号标记表示卷积运算。另外，k是0以上的整数，k为零时是初始值。

另外，在本发明中，TV影像模糊成辨别不出像的程度的情况很少，从而在数学式1～2的F₀即复原图像初始值的推定亮度分布3中，使用了劣化图像的亮度分布4。

本发明中所使用的卷积运算是指卷积积分。数学式3是一般的卷积积分的运算式的1例，将F(i，j)卷积H(M，N)，其结果为G(i，j)。

[数学式3]

G(i,j)＝F(i，j)⊙H(M，N)···(3)

但是，在本发明中，由于将有限尺寸的图像的分布作为对象，所以数据呈离散值化，对于卷积积分的运算使用线性卷积。数学式4是一般的线性卷积运算式的1例。

[数学式4]

$G(i,j)=\underset{N=-n}{\overset{n}{\Σ}}\underset{M=-m}{\overset{m}{\Σ}}F(i-M,j-N)\·H(M,N)...\left(4\right)$

在数学式3～4中，i、j、m，n、M及N是整数。但是，基于数学式3～4的卷积运算会产生能够由不超过进行卷积运算的矩阵尺寸的一半的最大的整数表现的运算困难区域。存在如下问题：例如复原图像初始值的推定亮度分布F为100×100像素以上的尺寸，在向复原图像初始值的推定亮度分布F卷积的PSF的亮度分布H为3×3矩阵尺寸的情况下，F的周边1像素成为运算困难区域，在向F卷积的H为5×5矩阵尺寸的情况下，F的周边2像素成为运算困难区域。

因此，本发明中使用的解决方法的1例是与所使用的H的尺寸相应地对运算困难区域的像素是周边多少像素进行运算，将存在于该运算困难区域中的F的最外周的像素以成为镜像对称的方式复制和粘贴在F的区域边界的外侧，创建新的像素，然后，通过变更最外周的位置，也就是说，通过变更F的图像尺寸，使得在运算后不产生运算困难区域。此时，通过从上边沿顺时针方向对每个边进行复制和粘贴，并通过将新产生的像素投入F本来的像素，不会产生未被复制和粘贴的区域。例如，在H为5×5尺寸且F为W×L尺寸的情况下，在第一次的复制和粘贴中，F由W×L尺寸成为W×(L+2)尺寸，在第二次的复制和粘贴中，F由W×(L+2)尺寸成为(W+2)×(L+2)尺寸，在第三次的复制和粘贴中，F由(W+2)×(L+2)尺寸成为(W+2)×(L+4)尺寸，在第四次的复制和粘贴中，F由(W+2)×(L+4)尺寸成为(W+4)×(L+4)尺寸。

图3是表示本发明的第一复原图像初始值修正工序S7中所使用的修正处理顺序的1例。图3的修正处理顺序由6个步骤构成。这6个步骤是：(1)复制复原图像初始值的推定亮度分布3并将其作为修正复原图像初始值的推定亮度分布7的步骤；(2)针对在将PSF的亮度分布4与修正复原图像初始值的推定亮度分布7进行卷积运算时在修正复原图像初始值的推定亮度分布7的周边部产生的运算困难区域8，基于PSF的亮度分布的图像尺寸来计算该运算困难区域8的步骤；(3)复制与修正复原图像初始值的推定亮度分布7的上边相关的运算困难区域8的像素，将该复制的像素以相对于修正复原图像初始值的推定亮度分布7的上边的边界成为镜像对称地配置的方式粘贴在该上边的边界的外侧的步骤；(4)复制与修正复原图像初始值的推定亮度分布7的右边相关的运算困难区域8的像素，将该复制的像素以相对于修正复原图像初始值的推定亮度分布7的右边的边界成为镜像对称地配置的方式粘贴在该右边的边界的外侧的步骤；(5)复制与修正复原图像初始值的推定亮度分布7的下边相关的运算困难区域8的像素，将该复制的像素以相对于修正复原图像初始值的推定亮度分布7的下边的边界成为镜像对称地配置的方式粘贴在该下边的边界的外侧的步骤；(6)复制与修正复原图像初始值的推定亮度分布7的左边相关的运算困难区域8的像素，将该复制的像素以相对于修正复原图像初始值的推定亮度分布7的左边的边界成为镜像对称地配置的方式粘贴在该左边的边界的外侧的步骤。由此，能够防止修正复原图像初始值的推定亮度分布7的4角部的翻转部成为空白。

图4是将本发明的第二发明的第二PSF复原运算工序S48中的处理顺序的1例作为流程图进行了图示。图4的第二PSF复原运算工序S48的特征在于，具有：(S40)将PSF初始值的推定亮度分布5卷积修正复原图像初始值的推定亮度分布7而得到第十一函数的工序；(S41)对第十一函数进行反转而得到第十二函数的工序；(S42)将第十二函数乘以劣化图像的亮度分布1而得到第十三函数的工序；(S43)求出修正复原图像初始值的推定亮度分布7的反转函数并将其作为第十四函数的工序；(S44)将第十四函数卷积第十三函数而得到第十五函数的工序；(S45)将第十五函数乘以PSF初始值的推定亮度分布5而得到复原PSF的推定亮度分布9的工序；(S46)将复原PSF的推定亮度分布9作为PSF初始值的推定亮度分布5及复原PSF的推定亮度分布9的最终值14进行输出的工序；(S47)单次PSF复原工序，具有(S40)～(S46)工序，通过以S的序数从小到大的顺序按顺序进行处理来进行1次的迭代运算，(S48)是通过将最大迭代运算次数6的单次PSF复原工序S47串联连接而构成的第二PSF复原运算工序，在该第二PSF复原运算工序S48中，进行与被串联连接的单次PSF复原工序S47的数量相当的次数的迭代运算，将从最终级的单次PSF复原工序S47-F输出的复原PSF的推定亮度分布9的最终值14作为最大似然复原PSF的亮度分布10进行输出。

图5是将本发明的第三发明的第二图像复原运算工序S59中的处理顺序的1例作为流程图进行了图示。图5的第二图像复原运算工序S59的特征在于，具有：(S50)由与基于最大似然复原PSF的亮度分布10的图像尺寸对复原图像初始值的推定亮度分布3进行修正而得到修正复原图像初始值的推定亮度分布7的第一复原图像初始值修正工序相同的处理顺序构成的第三复原图像初始值修正工序；(S51)将最大似然复原PSF的亮度分布10卷积修正复原图像初始值的推定亮度分布7而得到第十六函数的工序；(S52)对第十六函数进行反转而得到第十七函数的工序；(S53)第十七函数乘以劣化图像的亮度分布1而得到第十八函数的工序；(S54)求出最大似然复原PSF的亮度分布10的反转函数并将其作为第十九函数的工序；(S55)将第十九函数卷积第十八函数而得到第二十函数的工序；(S56)第二十函数乘以复原图像初始值的推定亮度分布3而得到复原图像的推定亮度分布11的工序；(S57)将复原图像的推定亮度分布11作为复原图像初始值的推定亮度分布3及复原图像的推定亮度分布11的最终值15进行输出的工序；(S58)第一单次图像复原工序，具有(S50)～(S57)工序，通过以S的序数从小到大的顺序按顺序进行处理来进行1次的迭代运算，(S59)是通过将最大迭代运算次数6的第一单次图像复原工序S58串联连接而构成的第二图像复原运算工序，在该第二图像复原运算工序S59中，进行与串联连接的第一单次图像复原工序S58的数量相当的次数的迭代运算，将从最终级的第一单次图像复原工序S58-F输出的复原图像的推定亮度分布11的最终值15作为最大似然复原图像的亮度分布12进行输出。

在本发明中，虽然能够通过软件及硬件实施面向TV影像的第一超分辨率处理方法，但由于TV影像没有模糊成难以辨别的程度，所以不需要增大最大迭代运算次数6，将最大迭代运算次数6设为12。在软件中，处理时间成为问题，而在硬件中，预先准备的单次PSF复原工序S47及第一单次图像复原工序S58的次数成为问题。由于最大迭代运算次数6为12，所以只要分别预先准备12个单次PSF复原工序S47及第一单次图像复原工序S58即可。

图6是将与本发明的第四发明的与面向TV影像的第二超分辨率处理方法的处理顺序相关的1例作为流程图进行了图示。图6的面向TV影像的第二超分辨率处理方法的特征在于，具有：(S60)一边观察TV影像2一边对与TV影像的劣化状况相适的PSF的亮度分布4进行特定的第二PSF特定工序；(S61)根据TV影像2准备由1帧大小的亮度分布构成的劣化图像的亮度分布1的第二劣化图像准备工序；(S62)第四复原图像初始值修正工序，由与复制劣化图像的亮度分布1并将其作为复原图像初始值的推定亮度分布3而且基于PSF的亮度分布4的图像尺寸对复原图像初始值的推定亮度分布3进行修正而得到修正复原图像初始值的推定亮度分布7的第一复原图像初始值修正工序相同的处理顺序构成；(S63)将修正复原图像初始值的推定亮度分布7作为劣化图像的亮度分布1的工序；(S64)设定最大迭代运算次数6的工序；(S65)将计数迭代运算次数的计数器重置为零的工序；(S66)将修正复原图像初始值的推定亮度分布7卷积PSF的亮度分布4而得到第二十一函数的工序，(S67)对第二十一函数进行反转而得到第二十二函数的工序；(S68)第二十二函数乘以劣化图像的亮度分布1而得到第二十三函数的工序；(S69)求出PSF的亮度分布4的反转函数并将其作为第二十四函数的工序；(S70)将第二十四函数卷积第二十三函数而得到第二十五函数的工序；(S71)第二十五函数乘以复原图像初始值的推定亮度分布3而得到复原图像的推定亮度分布11的工序；(S72)将复原图像的推定亮度分布11替换复原图像初始值的推定亮度分布的工序；(S73)对计数器累加1的工序；(S74)对计数器的值为最大迭代运算次数6以上这一假设进行验证，若验证结果为假则跳转到(S75)工序，若验证结果为真则跳转到(S77)工序的工序；(S75)由与基于PSF的亮度分布4的图像尺寸修正复原图像初始值的推定亮度分布3而得到修正复原图像初始值的推定亮度分布7的第一复原图像初始值修正工序相同的处理顺序构成的第五复原图像初始值修正工序；(S76)向S66跳转的工序；(S77)将复原图像的推定亮度分布11作为最大似然复原图像的亮度分布12进行输出的工序；(S78)由(S60)～(S65)工序构成的第二图像复原运算准备工序；(S79)由(S66)～(S77)工序构成的第三图像复原运算工序；(S80)第二图像复原工序，具有第二图像复原运算准备工序及第三图像复原运算工序，通过以S的序数从小到大的顺序执行，完成最大迭代运算次数6的迭代运算，并输出最大似然复原图像的亮度分布12；(S81)对最大似然复原图像12的亮度分布实施TV影像化并输出1帧大小的超分辨率TV影像信号13的第二TV影像化工序。

图7是将本发明的第五发明的与第四图像复原运算工序S94的处理顺序相关的1例作为流程图进行了图示。图7的第四图像复原运算工序S94的特征在于，具有：(S85)与基于PSF的亮度分布4的图像尺寸修正复原图像初始值的推定亮度分布3而得到修正复原图像初始值的推定亮度分布7的第一复原图像初始值修正工序相同的处理顺序构成的第六复原图像初始值修正工序；(S86)将PSF的亮度分布4卷积修正复原图像初始值的推定亮度分布7而得到第二十六函数的工序；(S87)对第二十六函数进行反转而得到第二十七函数的工序；(S88)第二十七函数乘以劣化图像的亮度分布1而得到第二十八函数的工序；(S89)求出PSF的亮度分布4的反转函数并将其作为第二十九函数的工序；(S90)将第二十九函数卷积第二十八函数而得到第三十函数的工序；(S91)第三十函数乘以复原图像初始值的推定亮度分布3而得到复原图像的推定亮度分布11的工序；(S92)将复原图像的推定亮度分布11作为复原图像初始值的推定亮度分布3及复原图像的推定亮度分布11的最终值15进行输出的工序；(S93)第二单次图像复原工序，具有(S85)～(S92)工序，通过以S的序数从小到大的顺序进行处理，进行1次的迭代运算，(S94)是通过将最大迭代运算次数6的第二单次图像复原工序S93串联连接而构成的第四图像复原运算工序，在该第四图像复原运算工序S94中，进行与串联连接的第二单次图像复原工序S93的数量相当的次数的迭代运算，将从最终级的第二单次图像复原工序S93-F输出的复原图像的推定亮度分布11的最终值15作为最大似然复原图像的亮度分布12进行输出。

图8是将本发明的第六发明的与第五图像复原运算工序S116的处理顺序相关的1例作为流程图进行了图示。图8的第五图像复原运算工序S116的特征在于，具有：(S100)将对迭代运算次数进行计数的计数器重置的工序；(S101)对计数器的值为零以外这种假设进行验证，若验证结果为假则向(S102)跳转，若验证结果为真则向(S103)跳转的工序；(S102)将劣化图像的亮度分布1传送至劣化图像的亮度分布保存用缓冲器16及复原图像初始值的推定亮度分布用缓冲器17的工序；(S103)从复原图像初始值的推定亮度分布用缓冲器17读取复原图像初始值的推定亮度分布3的工序；(S104)由与基于PSF的亮度分布4的图像尺寸对复原图像初始值的推定亮度分布3进行修正而得到修正复原图像初始值的推定亮度分布7的第一复原图像初始值修正工序相同的处理顺序构成的第七复原图像初始值修正工序；(S105)将PSF的亮度分布4卷积修正复原图像初始值的推定亮度分布7而得到第三十一函数的工序；(S106)对第三十一函数进行反转而得到第三十二函数的工序；(S107)第三十二函数乘以劣化图像的亮度分布1而得到第三十三函数的工序；(S108)求出PSF的亮度分布4的反转函数并将其作为第三十四函数的工序；(S109)将第三十四函数卷积第三十三函数而得到第三十五函数的工序；(S110)第三十五函数乘以复原图像初始值的推定亮度分布3而得到复原图像的推定亮度分布11的工序；(S111)对计数器累加1的工序；(S112)对计数器的值超过最大迭代运算次数6这一假设进行验证，若验证结果为假则向(S113)跳转，若验证结果为真则向(S115)跳转的工序；(S113)将复原图像的推定亮度分布11传送至复原图像初始值的推定亮度分布用缓冲器17的工序；(S114)向(S103)跳转的工序；(S115)将复原图像的推定亮度分布11作为最大似然复原图像的亮度分布12进行输出的工序；(S116)第五图像复原运算工序，具有(S100)～(S115)的工序，通过以S的序数从小到大的顺序按顺序执行，完成最大迭代运算次数6的迭代运算，并输出最大似然复原图像的亮度分布12。

图9是将本发明的第七发明的与第一PSF特定工序S3及第二PSF特定工序S60的处理顺序相关的1例作为流程图进行了图示。图9的第一PSF特定工序S3及第二PSF特定工序S60的特征在于，具有：(S120)设定与在显示器中放映出的TV影像2的光学劣化程度相应的劣化指示数18的工序；(S121)从PSF的亮度分布数据库19提取并输出与劣化指示数18关联的PSF的亮度分布4的工序。

图10图示了本发明的PSF数据库19内的数据的1例。PSF数据库19是按每个路径1对1地对256阶的劣化指示数18与PSF的亮度分布4的图像文件名20建立关联而构成的，在图10的例子中是表格。该表格例如保存于CSV文件或阵列。另外，在图10的例子中，路径是驱动器￥目录￥文件名这样的构造，例如，若劣化指示数18为1，则表示PSF的亮度分布4的图像文件名20的路径是从PSF数据库19访问C：￥PSF￥PSF_1.bmp。文件名是对PSF标注下划线、再标注劣化指示数18、再标注点、最后标注文件格式bmp的构造。

图10的例子中的第一PSF特定工序S3及第二PSF特定工序S60的处理顺序是：在工序S121中，使用工序S120中被设定的劣化指示数18，参考PSF数据库19，提取与劣化指示数18关联的PSF的亮度分布的图像文件名20，并使用该PSF的亮度分布的图像文件名20读出作为HDD(HardDiskDrive：硬盘驱动器)等的大容量随机访问存储装置内的图像而被存储的PSF的亮度分布4。

图11是将本发明的第八发明的第一劣化图像准备工序S1及第二劣化图像准备工序S61中的处理顺序的1例作为流程图进行了图示。图11的第一劣化图像准备工序S1及第二劣化图像准备工序S61具有：(S130)从1帧大小的TV影像信号21取出构成帧的RGB信号22的RGB信号提取工序；(S131)延迟工序，将1帧大小的TV影像信号21内、取出RGB信号22后剩余的TV影像信号23延迟1帧大小地输出；(S132)对RGB信号22进行YUV转换并生成YUV信号24的YUV转换工序；(S133)Y劣化图像提取工序，在YUV信号24内，提取仅由亮度成分即Y信号构成的劣化图像的亮度分布1并作为Y劣化图像的亮度分布25，保持仅由剩余的U信号构成的U劣化图像的分布26及仅由V信号构成的V劣化图像的分布27；(S134)去伽马(degamma)处理工序，实施Y劣化图像的亮度分布25的去伽马处理，并作为由1帧大小的亮度分布构成的劣化图像的亮度分布1进行输出。

图12是将本发明的第九发明的第一TV影像化工序S35及第二TV影像化工序S81中的处理顺序的1例作为流程图进行了图示。图12的第一TV影像化工序S34及第二TV影像化工序S78的特征在于，具有：(S140)实施最大似然复原图像的亮度分布12的伽马处理的伽马处理工序；(S141)复原图像合成工序，将在Y劣化图像提取工序S123中保持的U劣化图像的分布26和V劣化图像的分布27、以及由Y成分构成的伽马处理后的最大似然复原图像的亮度分布12合成1张YUV复原图像的分布28；(S142)进行YUV复原图像的分布28的RGB转换并作为RGB复原图像的分布29的RGB转换工序；(S143)读取RGB复原图像的分布29并输出RGB信号30的RGB信号转换工序；(S144)TV影像信号合成工序，将RGB信号30与在延迟工序S121中输出的取出了RGB信号22后剩余的TV影像信号23合成而作为1帧大小的超分辨率TV影像信号13并进行输出。第九发明与技术方案9记载的发明相同。

图13图示了本发明的第十发明的PSF的亮度分布4的1例。图13的PSF的亮度分布由没有边缘的正方形状的同一尺寸的像素构成，是中心最亮的二维正态分布，其尺寸为5×5像素。

[表1]

表1是表示由第一～第七超分辨率处理程序构成的面向TV影像的第一超分辨率处理方法的4个方式及面向TV影像的第二超分辨率处理方法的3个方式的一览表。从表1可知，第一超分辨率处理程序使计算机执行构成面向TV影像的第一超分辨率处理方法的第一方式的全部工序，第二超分辨率处理程序使计算机执行构成面向TV影像的第一超分辨率处理方法的第二方式的全部工序，第三超分辨率处理程序使计算机执行构成面向TV影像的第一超分辨率处理方法的第三方式的全部工序，第四超分辨率处理程序使计算机执行构成面向TV影像的第一超分辨率处理方法的第四方式的全部工序，第五超分辨率处理程序使计算机执行构成面向TV影像的第二超分辨率处理方法的第一方式的全部工序，第六超分辨率处理程序使计算机执行构成面向TV影像的第二超分辨率处理方法的第二方式的全部工序，第七超分辨率处理程序使计算机执行构成面向TV影像的第二超分辨率处理方法的第三方式的全部工序。第一～第七超分辨率处理程序分别采用用C++编写的程序，但也可以是例如JAVA(注册商标)、HTML及XTML这样的其他的语言单体或组合多个编写的程序。

作为本发明的第三十四发明的第一存储介质如表1所示地用于存储用于分别执行面向TV影像的第一超分辨率处理方法的第一～第四方式的第一～第四超分辨率处理程序，只要是具有加密及解密电路或者在进行连接并读取的计算机一侧搭载有能够加密及解密的功能的存储介质都可以，能够使用例如4G字节以上的容量的USB(UniversalSerialBus：通用串行总线)闪存、SD存储卡、CD(CompactDisk：压缩光盘)、DVD(DigitalVersatileDisk：数字通用光盘)等。

作为本发明的第三十五发明的第二存储介质如表1所示地用于存储分别执行面向TV影像的第二超分辨率处理方法的第一～第三方式的第五～第七超分辨率处理程序，能够使用与第一存储介质相同规格的存储介质。

图14图示了本发明的第十八发明的与面向TV影像的第一超分辨率处理装置31的结构相关的1例。图14的面向TV影像的第一超分辨率处理装置31的特征在于，具有：(W1)根据TV影像2准备由1帧大小的亮度分布构成的劣化图像的亮度分布1的第一劣化图像准备单元；(W2)将劣化图像的亮度分布1作为复原图像初始值的推定亮度分布3的单元；(W3)对PSF的亮度分布4进行特定的第一PSF特定单元；(W4)将特定出的PSF的亮度分布4作为PSF初始值的推定亮度分布5的单元；(W5)设定最大迭代运算次数6的单元；(W6)将对迭代运算次数进行计数的计数器重置的单元；(W7)第一复原图像初始值修正单元，其复制复原图像初始值的推定亮度分布3并将其作为修正复原图像初始值的推定亮度分布7，而且，对于在对PSF的亮度分布4与修正复原图像初始值的推定亮度分布7进行卷积运算时在修正复原图像初始值的推定亮度分布7的周边部产生的运算困难区域8，基于PSF的亮度分布4的图像尺寸来计算该运算困难区域8，并复制运算困难区域8的像素，将该复制的像素以相对于修正复原图像初始值的推定亮度分布7的边界成为镜像对称地配置的方式粘贴在上述边界的外侧，并对修正复原图像初始值的推定亮度分布7进行修正，从而得到修正复原图像初始值的推定亮度分布7；(W8)将修正复原图像初始值的推定亮度分布7作为劣化图像的亮度分布1的单元；(W9)将PSF初始值的推定亮度分布5卷积修正复原图像初始值的推定亮度分布7而得到第三十六函数F36的单元；(W10)对第三十六函数F36进行反转而得到第三十七函数F37的单元；(W11)第三十七函数F37乘以劣化图像的亮度分布1而得到第三十八函数F38的单元；(W12)求出修正复原图像初始值的推定亮度分布7的反转函数并将其作为第三十九函数F39的单元；(W13)将第三十九函数F39卷积第三十八函数F38而得到第四十函数F40的单元；(W14)第四十函数F40乘以PSF初始值的推定亮度分布5而得到复原PSF的推定亮度分布9的单元；(W15)将复原PSF的推定亮度分布9替换PSF初始值的推定亮度分布5的单元；(W16)对计数器累加1的单元；(W17)对计数器的值超过最大迭代运算次数6这种假设进行验证，若验证结果为假则返回(W9)单元，若验证结果为真则将复原PSF的推定亮度分布9作为最大似然复原PSF的亮度分布10进行输出的单元；(W18)由(W1)～(W8)的单元构成的PSF复原运算准备单元；(W19)由(W9)～(W17)的单元构成的第一PSF复原运算单元；(W20)第一PSF复原单元，在PSF复原运算准备单元W17及第一PSF复原运算单元W18中，通过以S的序数从小到大的顺序执行而完成最大迭代运算次数6的迭代运算，输出最大似然复原PSF10的亮度分布；(W21)重置计数器，再跳转到(W23)的单元；(W22)由与基于最大似然复原PSF的亮度分布10的图像尺寸对复原图像初始值的推定亮度分布3进行修正而得到修正复原图像初始值的推定亮度分布7的第一复原图像初始值修正单元相同的处理顺序构成的第二复原图像初始值修正单元；(W23)将最大似然复原PSF的亮度分布10卷积修正复原图像初始值的推定亮度分布7而得到第四十一函数F41的单元；(W24)对第四十一函数F41进行反转而得到第四十二函数F42的单元；(W25)第四十二函数F42乘以劣化图像的亮度分布1而得到第四十三函数F43的单元；(W26)求出最大似然复原PSF的亮度分布10的反转函数并将其作为第四十四函数F44的单元；(W27)将第四十四函数F44卷积第四十三函数F43而得到第四十五函数F45的单元；(W28)第四十五函数F45乘以复原图像初始值的推定亮度分布3而得到复原图像的推定亮度分布11的单元；(W29)将复原图像的推定亮度分布11替换成复原图像初始值的推定亮度分布3的单元；(W30)对计数器累加1的单元；(W31)对计数器的值超过最大迭代运算次数6这种假设进行验证，若验证结果为假则返回(W22)单元，若验证结果为真则将复原图像的推定亮度分布11作为最大似然复原图像的亮度分布12进行输出的单元；(W32)由(W21)的单元构成的第一图像复原运算准备单元；(W33)由(W22)～(W31)的单元构成的第一图像复原运算单元；(W34)第一图像复原单元，其在第一图像复原运算准备单元W32及第一图像复原运算单元W33中，通过以S的序数从小到大地执行而完成最大迭代运算次数6的迭代运算，输出最大似然复原图像的亮度分布12；(W35)对最大似然复原图像的亮度分布12实施TV影像化而输出1帧大小的超分辨率TV影像信号13的第一TV影像化单元。

第一图像复原运算准备单元W7是按照第一图像复原运算准备工序S7的处理顺序对复原图像初始值的推定亮度分布3进行修正来求出修正复原图像初始值的推定亮度分布7的单元。

图15图示了本发明的第十九发明的与第二PSF复原运算单元W48的结构相关的1例。第二PSF复原运算单元的特征在于，具有：(W40)将PSF初始值的推定亮度分布5卷积修正复原图像初始值的推定亮度分布7而得到第四十六函数F46的单元；(W41)将第四十六函数F46进行反转而得到第四十七函数F47的单元；(W42)第四十七函数F47乘以劣化图像的亮度分布1而得到第四十八函数F48的单元；(W43)求出修正复原图像初始值的推定亮度分布7的反转函数并将其作为第四十九函数F49的单元；(W44)将第四十九函数F49卷积第四十八函数F48而得到第五十函数F50的单元；(W45)第五十函数F50乘以PSF初始值的推定亮度分布5而得到复原PSF的推定亮度分布9的单元；(W46)将复原PSF的推定亮度分布9作为PSF初始值的推定亮度分布3及复原PSF的推定亮度分布9的最终值14并进行输出的单元；(W47)单次PSF复原单元，具有(W40)～(W46)单元，通过以S的序数从小到大的顺序按顺序进行处理来进行1次的迭代运算；(W48)是通过将最大迭代运算次数量的单次PSF复原单元串联连接而构成的第二PSF复原运算单元，在该第二PSF复原运算单元W48中，进行与串联连接的单次PSF复原单元W47的数量相当的次数的迭代运算，并将从最终级的单次PSF复原单元W47-F输出的复原PSF的推定亮度分布9的最终值14作为最大似然复原PSF的亮度分布10进行输出。

图16图示了本发明的第二十发明的与第二图像复原运算单元W59的结构相关的1例。图16的第二图像复原运算单元W59单元的特征在于，具有：(W50)由与基于最大似然复原PSF的亮度分布10的图像尺寸对复原图像初始值的推定亮度分布3进行修正而得到修正复原图像初始值的推定亮度分布7的第一复原图像初始值修正单元相同的结构构成的第三复原图像初始值修正单元；(W51)将最大似然复原PSF的亮度分布10卷积修正复原图像初始值的推定亮度分布7而得到第五十一函数的单元；(W52)对第五十一函数进行反转而得到第五十二函数的单元；(W53)第五十二函数乘以劣化图像的亮度分布1而得到第五十三函数的单元；(W54)求出最大似然复原PSF的亮度分布10的反转函数并将其作为第五十四函数的单元；(W55)将第五十四函数卷积第五十三函数而得到第五十五函数的单元；(W56)第五十五函数乘以复原图像初始值的推定亮度分布3而得到复原图像的推定亮度分布11的单元；(W57)将复原图像的推定亮度分布11作为复原图像初始值的推定亮度分布3及复原图像的推定亮度分布11的最终值15进行输出的单元；(W58)第一单次图像复原单元，其具有(W50)～(W57)单元，以S的序数从小到大的顺序按顺序进行处理来进行1次的迭代运算，(W59)是通过将最大迭代运算次数6的第一单次图像复原单元S58串联连接而构成的第二图像复原运算单元，在该第二图像复原运算单元W59中，进行与串联连接的第一单次图像复原单元W58的数量相当的次数的迭代运算，将从最终级的第一单次图像复原单元W58-F输出的复原图像的推定亮度分布11的最终值15作为最大似然复原图像的亮度分布12进行输出。

图17图示了本发明的第二十一发明的与面向TV影像的第二超分辨率处理装置32的结构相关的1例。图17的面向TV影像的第二超分辨率处理装置32的特征在于，具有：(W60)一边观察TV影像2一边对适于TV影像的劣化状况的PSF的亮度分布4进行特定的第二PSF特定单元；(W61)根据TV影像2准备由1帧大小的亮度分布构成的劣化图像的亮度分布1的第二劣化图像准备单元；(W62)第四复原图像初始值修正单元，其由与复制劣化图像的亮度分布1并将其作为复原图像初始值的推定亮度分布3而且再基于PSF的亮度分布4的图像尺寸对复原图像初始值的推定亮度分布3进行修正而得到修正复原图像初始值的推定亮度分布7的第一复原图像初始值修正单元相同的处理顺序构成；(W63)将修正复原图像初始值的推定亮度分布7作为劣化图像的亮度分布1的单元；(W64)设定最大迭代运算次数6的单元；(W65)将对迭代运算次数进行计数的计数器的值n重置为零的单元；(W66)将特定出的PSF的亮度分布4卷积修正复原图像初始值的推定亮度分布7而得到第五十六函数F56的单元；(W67)对第五十六函数F56进行反转而得到第五十七函数F57的单元；(W68)第五十七函数F57乘以劣化图像的亮度分布1而得到第五十八函数F58的单元；(W69)求出PSF的亮度分布4的反转函数并将其作为第五十九函数F59的单元；(W70)将第五十九函数F59卷积第五十八函数F58而得到第六十函数F60的单元；(W71)第六十函数F60乘以复原图像初始值的推定亮度分布3而得到复原图像的推定亮度分布11的单元；(W72)将复原图像的推定亮度分布11替换复原图像初始值的推定亮度分布3的单元；(W73)对计数器累加1的单元；(W74)对计数器的值为最大迭代运算次数6以上这一假设进行验证，若验证结果为假则跳转到(W75)单元，若验证结果为真则跳转到(W77)单元的单元；(W75)由与基于PSF的亮度分布4的图像尺寸对复原图像初始值的推定亮度分布3进行修正而得到修正复原图像初始值的推定亮度分布7的第一复原图像初始值修正单元相同的处理顺序构成的第五复原图像初始值修正单元；(W76)跳转到W66的单元；(W77)将复原图像的推定亮度分布11作为最大似然复原图像的亮度分布12进行输出的单元；(W78)由(W60)～(W65)单元构成的第二图像复原运算准备单元；(W79)由(W66)～(W78)单元构成的第三图像复原运算单元；(W80)第二图像复原单元，其具有第二图像复原运算准备单元W78及第三图像复原运算单元W79，通过以W的序数从小到大的顺序执行来完成最大迭代运算次数6的迭代运算，并输出最大似然复原图像的亮度分布12；(W81)对最大似然复原图像的亮度分布12实施TV影像化而输出1帧大小的超分辨率TV影像信号13的第二TV影像化单元。

图18图示了本发明的第二十二发明的与第四图像复原运算单元W94的结构相关的1例。图18的第四图像复原运算单元W94的特征在于，具有：(W85)由与基于PSF的亮度分布4的图像尺寸对复原图像初始值的推定亮度分布3进行修正而得到修正复原图像初始值的推定亮度分布7的第一复原图像初始值修正单元相同的处理顺序构成的第六复原图像初始值修正单元；(W86)将PSF的亮度分布4卷积修正复原图像初始值的推定亮度分布7而得到第六十一函数的单元；(W87)对第六十一函数进行反转而得到第六十二函数的单元；(W88)第六十二函数乘以劣化图像的亮度分布1而得到第六十三函数的单元；(W89)求出PSF的亮度分布4的反转函数并将其作为第六十四函数的单元；(W90)将第六十四函数卷积第六十三函数而得到第六十五函数的单元；(W91)第六十五函数乘以复原图像初始值的推定亮度分布3而得到复原图像的推定亮度分布的单元；(W92)将复原图像的推定亮度分布11作为复原图像初始值的推定亮度分布3及复原图像的推定亮度分布11的最终值15进行输出的单元；(W93)第二单次图像复原单元，其具有(W85)～(W92)单元，通过以W的序数从小到大的顺序进行处理而进行1次的迭代运算，(W94)是通过将最大迭代运算次数6的第二单次图像复原单元W93串联连接而构成的第四图像复原运算单元，在该第四图像复原运算单元W94中，进行与串联连接的第二单次图像复原单元W93的数量相当的次数的迭代运算，将从最终级的第二单次图像复原单元W93-F输出的复原图像的推定亮度分布11的最终值15作为最大似然复原图像的亮度分布12进行输出。

图19图示了本发明的第二十三发明的与第五图像复原运算单元的结构相关的1例。图19的第五图像复原运算单元的特征在于，具有：(W100)将对迭代运算次数进行计数的计数器的值n重置为零的单元；(W101)对计数器的值为零以外这种假设进行验证，若验证结果为假则跳转到(W102)，若验证结果为真则跳转到(W103)的单元；(W102)将劣化图像的亮度分布1传送至劣化图像的亮度分布保存用缓冲器16及复原图像初始值的推定亮度分布用缓冲器17的单元；(W103)从复原图像初始值的推定亮度分布用缓冲器17读取复原图像初始值的推定亮度分布3的单元；(W104)由与基于PSF的亮度分布4的图像尺寸对复原图像初始值的推定亮度分布3进行修正而得到修正复原图像初始值的推定亮度分布7的第一复原图像初始值修正单元相同的处理顺序构成的第七复原图像初始值修正单元；(W105)将PSF的亮度分布4卷积修正复原图像初始值的推定亮度分布7而得到第六十六函数F66的单元；(W106)对第六十六函数F66进行反转而得到第六十七函数F67的单元；(W107)第六十七函数F67乘以劣化图像的亮度分布1而得到第六十八函数的单元；(W108)求出PSF的亮度分布的反转函数并将其作为第六十九函数的单元；(W109)将第六十九函数F69卷积第六十八函数F68而得到第七十函数F70的单元；(W110)第三十五函数乘以复原图像初始值的推定亮度分布3而得到复原图像的推定亮度分布11的单元；(W111)对计数器累加1的单元；(W112)对计数器的值超过最大迭代运算次数6这一假设进行验证，若验证结果为假则跳转到(W113)，若验证结果为真则跳转到(W115)的单元；(W113)将复原图像的推定亮度分布11传送到复原图像初始值的推定亮度分布用缓冲器17的单元；(W114)跳转到(W103)的单元；(W115)将复原图像的推定亮度分布11作为最大似然复原图像的亮度分布12进行输出的单元；(W116)第五图像复原运算单元，其具有(W100)～(W115)单元，通过以W的序数从小到大的顺序按顺序执行来完成最大迭代运算次数6的迭代运算，并输出最大似然复原图像的亮度分布12。第二十三发明与技术方案23记载的发明相同。

图20图示了本发明的第二十四发明的与第一PSF特定单元W3及第二PSF特定单元W60的结构相关的1例。图20的第一PSF特定单元W3及第二PSF特定单元W60具有：(W120)设定与在显示器中放映出的TV影像2的光学劣化程度相应的劣化指示数18的单元；(W121)从PSF数据库19提取与劣化指示数18关联的PSF的亮度分布4的单元。

图21图示了本发明的第二十五发明的与第一劣化图像准备单元W1及第二劣化图像准备单元W61的结构相关的1例。图21的第一劣化图像准备单元W1及第二劣化图像准备单元W61具有：(W130)从1帧大小的TV影像信号21取出构成帧的RGB信号22的RGB信号提取单元；(W131)延迟单元，将1帧大小的TV影像信号21内、取出RGB信号22后剩余的TV影像信号23延迟1帧大小地输出；(W132)对RGB信号22进行YUV转换并作为YUV信号24的YUV转换单元；(W133)Y劣化图像提取单元，在YUV信号24内，提取仅由亮度成分即Y信号构成的劣化图像的亮度分布1并作为Y劣化图像的亮度分布25，保持仅由剩余的U信号构成的U劣化图像的分布26及仅由V信号构成的V劣化图像的分布27；(W134)去伽马处理单元，其实施Y劣化图像的亮度分布25的去伽马处理,并作为由1帧大小的亮度分布构成的劣化图像的亮度分布1并进行输出。第二十五发明与技术方案25记载的发明相同。

图22图示了本发明的第二十六发明的与第一TV影像化单元W35及第二TV影像化单元W81的结构相关的1例。图22的第一TV影像化单元W35及第二TV影像化单元W81的特征在于，具有：(W140)进行最大似然复原图像的亮度分布12的伽马处理的伽马处理单元；(W141)复原图像合成单元，其将由Y劣化图像提取单元W133保持的U劣化图像的分布26和V劣化图像的分布27、以及由Y成分构成的伽马处理后的最大似然复原图像的亮度分布12合成1张YUV复原图像的分布28；(W142)进行YUV复原图像的分布28的RGB转换并作为RGB复原图像的分布29的RGB转换单元；(W143)读取RGB复原图像的分布29并输出RGB信号30的RGB信号转换单元；(W144)TV影像信号合成单元，其将RGB信号30与由延迟单元W131输出的取出了RGB信号22后剩余的TV影像信号23合成来作为1帧大小的超分辨率TV影像信号13进行输出。

[表2]

表2是表示由第八～第十四超分辨率处理程序构成的面向TV影像的第一超分辨率处理装置31的4个方式及面向TV影像的第二超分辨率处理装置32的3个方式的一览表。从表2可知，第八超分辨率处理程序构成了构成面向TV影像的第一超分辨率处理装置31的第一方式的全部单元并使计算机执行这些单元；第九超分辨率处理程序构成了构成面向TV影像的第一超分辨率处理装置31的第二方式的全部单元并使计算机执行这些单元；第十超分辨率处理程序构成了构成面向TV影像的第一超分辨率处理装置31的第三方式的全部单元并使计算机执行这些单元；第十一超分辨率处理程序构成了构成面向TV影像的第一超分辨率处理装置31的第四方式的全部单元并使计算机执行这些单元；第十二超分辨率处理程序构成了构成面向TV影像的第二超分辨率处理装置32的第一方式的全部单元并使计算机执行这些单元；第十三超分辨率处理程序构成了构成面向TV影像的第二超分辨率处理装置32的第二方式的全部单元并使计算机执行这些单元；第十四超分辨率处理程序构成了构成面向TV影像的第二超分辨率处理装置32的第三方式的全部单元并使计算机执行这些单元。第八～第十四超分辨率处理程序分别采用用C++编写的程序，但也可以采用例如JAVA(注册商标)、HTML及XTML这样的其他的语言单体或组合多个编写的程序。

作为本发明的第三十六发明的第三存储介质如表2所示地用于存储用于构成了面向TV影像的第一超分辨率处理装置31的第一～第四方式中的各个方式内的全部单元且执行这些全部单元的第八～第十一超分辨率处理程序，能够使用与第一存储介质相同的规格。

作为本发明的第三十七发明的第四存储介质如表2所示地用于存储用于构成了面向TV影像的第二超分辨率处理装置32的第一～第三方式中的各个方式内的全部单元且执行这些全部单元的第十二～第十四超分辨率处理程序，能够使用与第一存储介质相同的规格。

第八～第十四超分辨率处理程序分别具有相同的构造，该相同的构造为：装置程序，其与面向TV影像的超分辨率处理装置的种类及其方式相匹配地构成该方式内的全部单元且规定执行顺序；全部程序共用的超分辨率处理窗口创建程序，其创建用于进行与超分辨率处理相关的操作的超分辨率处理窗口并在计算机的显示器上显示；由全部程序共用的超分辨率处理窗口监视程序，其始终监视超分辨率处理窗口内的全部按键、计算机的键盘的按键、鼠标指定的位置及该位置处的右点击及左点击，若存在右点击及左点击等对于监视对象的动作，则执行适于该动作的处理。

实施例

实施例1是通过第一超分辨率处理装置程序33将本发明的面向TV影像的第一超分辨率处理装置31的第一方式(表2)构成于计算机34的面向TV影像的第一超分辨率处理系统35。另一方面，面向TV影像的第一超分辨率处理装置31的第二～第四方式在系统结构上及超分辨率处理品质方面与第一方式没有差异。由此，作为面向TV影像的第一超分辨率处理装置31的代表将第一方式选为实施例1。

图23图示了本发明的实施例1的与面向TV影像的第一超分辨率处理系统35的结构相关的1例。图23的面向TV影像的第一超分辨率处理系统35由以下部分构成：为了输入/输出数字TV影像信号而使用的数字TV影像信号输入输出端子36；安装有面向TV影像的第一超分辨率处理装置31的计算机34；TV影像输入基板37，其利用FPGA构成了根据TV影像2准备与TV影像信号的输入相关的劣化图像的亮度分布1的第一劣化图像准备单元W1；超分辨率TV影像输出基板39，其利用FPGA构成了对与超分辨率TV影像38的输出相关的最大似然复原图像的亮度分布12实施TV影像化并输出1帧大小的超分辨率TV影像信号13的第一TV影像化单元W35；超分辨率处理模式切换控制电路基板42，其将用影像显示模式指定按键40指定的、及用条件显示指定按键41指定的影像显示方法及超分辨率处理条件显示重叠有无反映到超分辨率TV影像信号13；数字TV影像线缆43；和总线线缆44。在图23中省略了电源线缆。

在图23中，将TV影像输入基板37及超分辨率TV影像输出基板39这类硬件用于构成于计算机34的面向TV影像的第一超分辨率处理系统35内的面向TV影像的第一超分辨率处理装置31的第一劣化图像准备单元W1及第一TV影像化单元W35，因此，计算机34内的第一劣化图像准备单元W1构成为取得TV影像输入基板37所输出的劣化图像的亮度分布1的单元，另外，第一TV影像化单元W35构成为向超分辨率TV影像输出基板39传送最大似然复原图像的亮度分布12的单元。

在图23中，当将面向TV影像的第一超分辨率处理装置31构成于计算机34时，首先，学习图24的例子，将第三存储介质45连接到计算机34的背面的USB端子，接着，将存储在第三存储介质45中的第一超分辨率处理装置程序33安装到计算机34。于是，计算机34将用于起动面向TV影像的第一超分辨率处理装置31所使用的面向TV影像的第一超分辨率处理装置图标46置于显示器47内的画面上。接着，用户48点击面向TV影像的第一超分辨率处理装置图标46，起动面向TV影像的第一超分辨率处理装置31。于是，直到按下超分辨率处理窗口52内的关闭按键55为止进行如下的处理：首先，第一超分辨率处理装置程序33内的装置程序49起动，构成了根据面向TV影像的第一超分辨率处理方法进行处理的面向TV影像的第一超分辨率处理装置31内的全部单元，接着，超分辨率处理窗口创建程序50起动，创建为进行与面向TV影像的第一超分辨率处理装置31中的超分辨率处理相关的操作所使用的超分辨率处理窗口52，并显示在显示器47上，接着，超分辨率处理窗口监视程序51起动，始终监视通过超分辨率处理窗口52内的全部按键、计算机34的键盘53的按键、计算机34的鼠标54指定的位置及该位置处的右点击及左点击，若存在右点击及左点击等的对监视对象的动作，则实施执行适于该动作的处理。

图25图示了与超分辨率处理窗口52的结构相关的1例。图25的超分辨率处理窗口52由以下部分构成：影像显示模式指定按键40，其用于针对影像窗口58内的影像的显示模式，从下拉菜单中选择各占一半(中分)的测试模式、仅显示TV影像2的输入影像模式或仅显示超分辨率TV影像38的超分辨率TV影像模式中的一个；为了使超分辨率处理条件的最大迭代运算次数6及劣化指示数18重叠地显示在超分辨率TV影像38的右上角所使用的拨动开关的条件显示指定按键41；为了关闭超分辨率处理窗口52所使用的关闭按键55；用于从下拉菜单(在本发明的下拉菜单中，默认是由淡蓝色的背景显示的。)中指定1个数字来将劣化指示数18设定为0～255的256阶中的某一个的劣化指示数设定按键56；为了当点击时会打开下拉列表框从而选择列表中的值或在显示在文本框中的默认值上直接输入最大迭代运算次数6来进行设定所使用的最大迭代运算次数设定按键57；用于显示TV影像2及超分辨率TV影像38等的影像窗口58；用于显示当前日期时间及超分辨率条件及来自系统的消息等的、在右端设置有上下滚动条的信息窗口60；为了基于设定的条件开始进行超分辨率处理而用来点击的超分辨率处理开始按键61；为了中断超分辨率处理而用来点击的超分辨率处理中断按键62；用于将中断的超分辨率处理再开始的超分辨率处理再开按键63；为了停止超分辨率处理而用来点击的超分辨率处理停止按键64；打开帮助窗口并检索且显示帮助内容的帮助按键65；以及影像放大/缩小按键66，在点击并指定在影像窗口58内的已缩小/放大的影像之后，若按下该按键内的+，则放大所指定的影像，若按下‐，则放大所指定的影像，若按下0，则恢复到默认倍率并显示所指定的影像。图25表示测试模式下的影像的显示状态。

计算机34由以下部件构成：64位指令集32位6核/芯片CPU(CentralProcessingUnit：中央处理器)；GPU(GraphicProcessingUnit：图形处理器)；32G字节以上的存储器；具有1T字节以上的存储容量的HDD；具有128G字节以上的存储容量的SDD(SolidstateDiskDrive：固态盘驱动器)；3个以上的USB端子；1个以上的LAN(LocalAreaNetwork：局域网)端子；WiFi(WirelessFidelity：无线保真)或Bluetooth(注册商标)等的无线通信模块、电话端子；键盘53；鼠标54；FHD(FullHighDefinition：全高清)显示器；微软公司制Windows(注册商标)8O/S；微软公司制VisualStudio2010(注册商标)(包含VisualC++2010)；微软公司制Office2013(注册商标)，能够通过WiFi、Bluetooth(注册商标)、LAN、USB及互联网与其他的计算机通信。计算机34使用从被量产的、在市场中流通的大量种类的台式计算机中选择出的计算机，若具有同样的规格，则也可以使用工作站。另外，虽然O/S的种类不同，也可以使用服务器。

图26是将面向TV影像的第一超分辨率处理系统35中执行超分辨率处理的顺序的1例作为事务表进行了图示。图26的事务表由如下部分构成：用户48的时间轴(实线)；从意味着用户48的输入处理的用户48的时间轴倾斜地延伸的实线箭头；计算机34的时间轴(虚线)；从意味着计算机34的响应的计算机34的时间轴倾斜地延伸的虚线箭头；意味着开始及结束的定时的带文字椭圆。

根据图26的事务表，在面向TV影像的第一超分辨率处理系统35中直到执行超分辨率处理为止的顺序如下：(1)在“起动”步骤中，用户48点击面向TV影像的第一超分辨率处理装置图标46，计算机34将(A)超分辨率处理窗口52显示在显示器47上；(2)在“超分辨率处理条件输入-1”步骤中，用户48点击劣化指示数设定按键56，计算机34在(B)劣化指示数设定按键56的位置展开显示下拉菜单；(3)在“超分辨率处理条件输入-2”步骤中，用户48从下拉菜单选择适当的数值，计算机34获取(C)劣化指示数18，并关闭下拉菜单；(4)在“超分辨率处理条件输入-3”步骤中，用户48点击最大迭代运算次数设定按键57，计算机34在(D)最大迭代运算次数设定按键57的位置展开下拉列表框；(5)在“超分辨率处理条件输入-4”步骤中，用户48从下拉列表框选择或输入适当的数值，计算机34获取(E)最大迭代运算次数6，并关闭下拉列表框；(6)在“超分辨率处理条件输入-5”步骤中，用户48点击影像显示模式指定按键40，计算机34在(F)影像显示模式指定按键40的位置展开下拉菜单；(7)在“超分辨率处理条件输入-6”步骤中，用户48从下拉菜单选择适当的模式，计算机34获取(G)影像显示模式指定按键40，并关闭下拉菜单；(8)在“超分辨率处理条件输入-7”步骤中，用户48点击条件显示指定按键41，计算机34对(H)将条件显示指定按键41的颜色反转并显示显示设定的情况；(9)在“超分辨率处理开始”步骤中，用户48点击超分辨率处理开始按键48，计算机34执行(I)超分辨率处理，根据影像显示模式指定按键40及条件显示指定按键41将超分辨率TV影像38及TV影像2反映并显示在影像窗口58。就超分辨率处理窗口52而言，即使在超分辨率处理过程中，也由于始终监视向超分辨率处理窗口52的按键的访问，所以当超分辨率处理条件变更时，若用户48点击影像显示模式指定按键40、条件显示指定按键41、劣化指示数设定按键56、最大迭代运算次数设定按键57并再设定条件，则维持显示影像地反映超分辨率处理条件的变更。若用户48想要结束超分辨率处理的情况下，用户48点击关闭按键55。于是，计算机34对此进行响应而关闭超分辨率处理窗口52，而且关闭面向TV影像的第一超分辨率处理装置31。

根据图26的超分辨率处理顺序，用户48首先执行步骤(1)来将超分辨率处理窗口52显示在显示器47上，接着，执行步骤(2)，在劣化指示数设定按键56的位置展开显示下拉菜单，在步骤(3)中，一边观察显示有TV影像2的地上数字化TV59，一边因感觉TV影像2的劣化程度小而选择14来作为劣化指示数18(默认值为256阶中的60)，接着执行步骤(4)，在最大迭代运算次数设定按键57的位置展开下拉列表框，在步骤(5)中，一边观察显示有TV影像2的地上数字化TV59，一边因感觉TV影像2的劣化程度小而选择4来作为最大迭代运算次数6(默认值为3)，接着，执行步骤(6)，在影像显示模式指定按键40的位置展示下拉菜单，在步骤(7)中，由于还没有确定超分辨率处理条件所以选择测试模式，接着执行步骤(8)，将条件显示指定按键41处于显示设定，接着执行步骤(9)，当执行超分辨率处理时，TV影像2和超分辨率TV影像38以横向排列且中分(各占一半)的状态显示在超分辨率处理窗口52的影像窗口58，用户48认为该超分辨率处理条件合适，操作地上数字化TV59将输入设定设为影像，将显示在影像窗口58上的影像显示在地上数字化TV59的整个画面上，接着，用户48操作影像显示模式指定按键40变更成超分辨率TV影像模式，将超分辨率TV影像38显示在影像窗口58及地上数字化TV59的整个画面上，来观看。

图27是表示实施例1的超分辨率处理的状况的1例的图。在图27中，显示有测试模式下的以横向排列且中分(各占一半)的状态显示TV影像2和超分辨率TV影像38的影像的1帧。中分的右侧是超分辨率处理前的TV影像2的1帧，中分的左侧是对中分的右侧的1帧进行了超分辨率处理的超分辨率TV影像38的1帧。在超分辨率TV影像38的1帧的右上角，用F这个附图标记显示劣化指示数18，用I这个附图标记表示显示最大迭代运算次数6，而且用测试这一简写显示该影像显示模式为测试模式。从图27可知，TV影像2的显示开始位置比超分辨率TV影像38稍向右偏，但可知本发明的实施例1的面向TV影像的第一超分辨率处理系统35的超分辨率品质具有充分的实用性。

实施例2是应用了本发明的面向TV影像的第二超分辨率处理装置32的第一方式(表2)的面向TV影像的第二超分辨率处理系统67。面向TV影像的第二超分辨率处理系统67是通过将面向TV影像的第一超分辨率处理系统35的第一超分辨率处理装置程序33变更成第五超分辨率处理装置程序68而构成的，但用户48和计算机34之间的接口即超分辨率处理窗口52没有任何变更，从而没有从用户48观察到的系统上的变更及超分辨率处理顺序的变更。但是，在面向TV影像的第二超分辨率处理系统67中，由于不存在第一PSF复原单元W19，所以处理单元的数量约为一半，具有执行处理速度为高速的特征，相反地，存在对劣化指示数18的设定敏感的缺点。就超分辨率处理品质而言，若为TV影像且超分辨率处理条件设定与实施例1相同，则几乎与实施例1没有差别，能够得到与图27的例子同样的结果。另外，面向TV影像的第二超分辨率处理装置32的第二～第三方式在系统结构上及超分辨率处理品质方面与第一方式没有差异。

实施例3是将面向TV影像的第一超分辨率处理装置31的第四方式(表2)硬件化的第一机顶盒69。

图28是表示实施例3的与第一机顶盒69的内部结构相关的1例的图。图28的第一机顶盒69由以下部分构成：为了输入/输出数字TV影像信号而使用的数字TV影像信号输入输出端子36；为了设定表示TV影像2的劣化程度的劣化指示数18而使用的F设定单元70；为了设定最大迭代运算次数6而使用的I设定单元71；将超分辨率处理模式切换到测试或本处理的模式开关72；指定是否将超分辨率处理的模式及F设定单元70及I设定单元71的值与TV影像信号重叠的条件显示开关73；用于始终监视超分辨率处理的模式及F设定单元70和I设定单元71的值的LCD(LiquidCrystalDisplay：液晶显示器)显示器74；为了实施第一机顶盒69的电源的接通/关断而使用的电源开关75；仅在电源开关75接通时点亮的LED(LightEmittingDiode：发光二极管)灯76；外壳77；计算机基板79，其通过安装第一机顶盒程序78而预先定义了第一PSF复原运算单元W18及第一图像复原运算单元W32以外的面向TV影像的第一超分辨率处理装置31的第四方式的全部单元；上变频电路基板80，其自动地判定数字TV影像信号是数字交织(digitalinterlace)方式还是数字逐行(digitalprogressive)TV影像信号，仅在数字交织方式时将数字TV影像信号转换成数字逐行TV影像信号；G电路基板81，其由将根据TV影像2准备由1帧大小的亮度分布构成的劣化图像的亮度分布1的第一劣化图像准备单元W1电路化后的部件构成；R电路基板82，其由将对最大似然复原图像的亮度分布12实施TV影像化并输出1帧大小的超分辨率TV影像信号13的第一TV影像化单元35电路化后的部件构成；超分辨率处理模式切换控制电路基板42；HDD83；P电路基板84，其使用FPGA制作通过将第一PSF复原运算单元W19串联连接6个单次PSF复原单元W47而构成的第二PSF复原运算单元W48；F电路基板85，其使用FPGA制作通过将第一图像复原运算单元W33串联连接6个第一单次图像复原单元W58而构成的第二图像复原运算单元W59；电源电路基板86，其向第一机顶盒69内必要的部件提供适当的电源；散热风扇87，其从计算机基板79接受最佳的驱动条件的提供并以适量的风量支援散热；LAN端子88；USB端子89～91；商用交流单相100V电源线缆92；总线线缆93；高频线缆94；电源线缆95；信号线96；以及信号线97。

F设定单元70是面向TV影像的第一超分辨率处理装置31的第一PSF特定单元W3及面向TV影像的第二超分辨率处理装置32的第二PSF特定单元W60通用的单元，其相当于用于设定与在地上数字化TV59等显示器上放映出的TV影像2的光学劣化程度相应的劣化指示数18的单元W120。另外，I设定单元71相当于面向TV影像的第一超分辨率处理装置31的单元W5及面向TV影像的第二超分辨率处理装置32的单元W64。F设定单元70及I设定单元71是能够设定10进制3位数的数字的位开关，数据及电源通过总线线缆93传递并且能够直接读取设定值的规格最好。该规格设备能够从市场购买。

第一机顶盒程序78是由C++语言编写的程序，能够由搭载在计算机基板79上的CPU读取并执行，被事先安装，该程序以如下的方式被编写并在投入电源开关75时在初始化后自动执行：第一PSF特定单元W3及第二PSF特定单元W60中的单元W121(图20)定义在计算机基板79内的计算机中，而且，单元W121所参考的PSF数据库19(图10、图20)构成在HDD83内，此外，第一PSF复原运算单元W18及第一图像复原运算单元W32以外的面向TV影像的第一超分辨率处理装置31的第四方式的全部单元被定义，并且在与第一机顶盒69内的硬件之间能够顺畅地进行信息交换。

图29是将第一机顶盒69中的处理顺序的1例作为流程图进行了图示。图29的流程图由以下步骤构成：(步骤1)通过接通电源来重置超分辨率处理模式切换控制电路基板42、上变频电路基板80、G电路基板81、R电路基板82、P电路基板84及F电路基板85；(步骤2)将从G电路基板81传送的劣化图像的亮度分布1向P电路基板84及F电路基板85传送；(步骤3)被定义在计算机基板79上的单元W5从I设定单元71读取最大迭代运算次数6；(步骤4)在计算机基板79上定义的第一PSF特定单元W3从F设定单元70读取劣化指示数18并将其作为检索信息检索PSF数据库19，将得到的PSF的亮度分布4向P电路基板84传送；(步骤5)在计算机基板79上定义的第一复原图像初始值修正单元W7将从G电路基板81传送的劣化图像的亮度分布1作为复原图像初始值的推定亮度分布3及修正复原图像初始值的推定亮度分布7之后，基于PSF的亮度分布4的图像尺寸对修正复原图像初始值的推定亮度分布7的运算困难区域8进行计算，再对修正复原图像初始值的推定亮度分布7的运算困难区域8进行修正，再将修正复原图像初始值的推定亮度分布7作为劣化图像的亮度分布1，再将修正复原图像初始值的推定亮度分布7向P电路基板84及F电路基板85传送；(步骤6)计算机基板79的计算机利用P电路基板84开始最大迭代运算次数6的迭代运算；(步骤7)计算机基板79的计算机将P电路基板84输出的最大似然复原PSF的亮度分布10向F电路基板85传送；(步骤8)计算机基板79的计算机利用F电路基板85开始最大迭代运算次数6的迭代运算；(步骤9)计算机基板79的计算机将F电路基板85输出的最大似然复原图像的亮度分布12向R电路基板82传送；(步骤10)返回(步骤4)；(步骤11)在离线时，通过使电源开关75断开来结束。处理从(步骤1)开始，然后在(步骤3)～(步骤11)之间反复实施，在(步骤12)中，在离线时，通过使电源开关75断开来结束。

计算机基板79是最新的Windows(注册商标)OS(OperatingSystem：操作系统)系计算机，是能够使用C++语言的PC母板。在PC母板上具有大量的各种I/O(Input/Outputinterface：输入输出接口)、LAN端子88、USB端子89～91、麦克风端子、扬声器端子等的外部连接端子，另外，价格也不是很贵，为优选。PC母板在市场上流通有多个种类，只要是搭载了16G字节等的大容量的高速存储器的高端设备都可以。另外，C++语言也可以在PC母板购买后安装。

超分辨率处理模式切换控制电路基板42始终读取模式开关72及条件显示开关73的状态且自动判定，(模式1)若模式开关72为本处理模式且条件显示开关73不重叠的情况下，从上变频电路基板80接受1帧大小的TV影像信号21并向G电路基板81输出，将从R电路基板82输出的超分辨率处理后的1帧大小的超分辨率TV影像信号13向数字TV影像信号输入输出端子36输出，(模式2)若模式开关72为本处理模式且条件显示开关73有重叠的情况下，从上变频电路基板80接受1帧大小的TV影像信号21并向G电路基板81输出，接着，将从计算机基板79读取的信息重叠在从R电路基板82输出的超分辨率处理后的1帧大小的超分辨率TV影像信号13的右上角并向数字TV影像信号输入输出端子36输出，(模式3)若模式开关72为测试模式且条件显示开关73没有重叠的情况下，从上变频电路基板80接受1帧大小的TV影像信号21并复制，将一方向G电路基板81输出的同时使另一方延迟1帧大小，将延迟的一方压缩成横宽1/2并成为1张画面的右半部分，再将从R电路基板82输出的超分辨率处理后的1帧大小的超分辨率TV影像信号13压缩成横宽1/2并成为1张画面的左半部分，并通过将两者合成，使得1张画面的右半部分成为超分辨率处理前的帧且左半部分成为超分辨率处理后的帧，将以上述方式调整的1帧大小的超分辨率TV影像信号13向数字TV影像信号输入输出端子36输出，(模式4)若模式开关72为测试模式且条件显示开关73有重叠的情况下，从上变频电路基板80接受1帧大小的TV影像信号21并复制，将一方向G电路基板81输出的同时使另一方延迟1帧大小，将延迟的一方压缩成横宽1/2并成为1张画面的右半部分，再将从R电路基板82输出的超分辨率处理后的1帧大小的超分辨率TV影像信号13压缩成横宽1/2并成为1张画面的左半部分，并通过将两者合成，使得1张画面的右半部分成为超分辨率处理前的帧且左半部分成为超分辨率处理后的帧，在以上述方式调整的1帧大小的超分辨率TV影像信号13的右上角重叠从计算机基板79读入的信息，并向数字TV影像信号输入输出端子36输出。上变频电路基板80和G电路基板81之间、G电路基板81和超分辨率处理模式切换控制电路基板42之间、超分辨率处理模式切换控制电路基板42和R电路基板82之间的信号及信息的传递自动地进行。

在HDD83中，除了第一机顶盒程序78以外，还搭载了WindowsOS(未图示)、C++(未图示)和PSF数据库19(未图示)等。HDD83是1T字节以上的容量，能够随机高速读写，并且搭载了总线接口及8M字节以上的缓冲器，只要是数据和信号的收发以及电源的供给经由总线线缆93进行的规格设备都可以。市场上有多种，但从空间的关系上，优选采用2.5英寸尺寸的设备。

超分辨率处理模式切换控制电路基板42、上变频电路基板80、G电路基板81、R电路基板82、P电路基板84及F电路基板85需要使用FPGA自已创建，但上变频电路基板80及电源电路基板86能够在市场购买满足设计要素的已有产品。

图30图示了实施例3的第一机顶盒69的设定的状况的1例。在图30中，用户48将从地上数字化TV59的数字影像信号/声音输入输出端子延伸的数字信号线缆98连接在第一机顶盒69的数字TV影像信号输入输出端子36。

接着，用户48首先使第一机顶盒69的电源开关75接通而接入电源，其次，接入地上数字化TV59的电源，使用地上数字化TV59的频道命令99与喜好的频道匹配，一边利用地上数字化TV59的TV显示器100确认TV播放影像，一边将模式开关72切换到测试，再将条件显示开关73切换到有重叠。于是，在TV显示器100的右半部分放映超分辨率处理前的TV播放影像，而且，在左半部分无延迟地放映以默认设定条件进行了超分辨率处理之后的TV播放影像，在TV显示器100的右上角，最大迭代运算次数6的值为“I＝6”，劣化指示数18的值为“F＝60”，测试模式以“测试”这样的显示与TV影像重叠。

接着，由于帧的光学劣化少，所以用户48使用F设定单元70将劣化程度从默认的256阶中的60设定成30，并使用I设定单元71将最大迭代运算次数保持在默认的256阶中的3，利用TV显示器100确认在进行了基于接近实时处理的超分辨率处理后的画质的变化。其结果可知，没有大的画质变化，可知在默认值以下即可。这是因为，第一机顶盒69的面向TV影像的超分辨率装置27复原成PSF的亮度分布，从而即使与通过F设定单元70设定的劣化指示数18关联的PSF初始值的推定亮度分布6稍有变化，也具有充分的复原能力。另外，用户48在此后一边利用TV显示器100确认在进行了基于接近实时处理的超分辨率处理后的画质的变化，一边使F设定单元70及I设定单元71变化并找出最佳的画质的状态。只要一次决定超分辨率处理条件(F设定单元70及I设定单元71的设定值)，通过切换模式开关72就能够在TV显示器100的整个画面上欣赏超分辨率处理后的TV播放影像。即使在该状态下，超分辨率处理条件也是可变的。

实施例4是将本发明的面向TV影像的第二超分辨率处理装置32的第二方式硬件化后的第二机顶盒101。第二机顶盒101从第一机顶盒69的硬件的结构去除了P电路基板84，并代替第一机顶盒程序78而使用第二机顶盒程序102，除此以外，全部与第一机顶盒69相同。由此，没有改写地显示图28。第一机顶盒69和第二机顶盒101之间的不同仅是机顶盒的序号，从而没有改写地表示图30。

第二机顶盒程序102是用C++语言编写的程序，能够由搭载在计算机基板79上的CPU读取并执行，被事先安装，该程序以如下的方式被编写并在投入电源开关75时在初始化后自动执行：对PSF的亮度分布进行特定的第二PSF特定单元W60中的单元W121(图20)定义在计算机基板79内的计算机中，而且，单元W98所参考的PSF数据库19(图10、图20)构成在HDD83内，此外，第四图像复原运算单元W94以外的面向TV影像的第二超分辨率处理装置32的第二方式的全部单元被定义，并且在与第二机顶盒101内的硬件之间能够顺畅地进行信息交换。

第二机顶盒101内的处理顺序的1例是在图28所示的流程图内，以下述的方式变更(步骤2)～(步骤7)而构成的，但其他步骤没有变更。(步骤2)变更成“将从G电路基板81传送的劣化图像的亮度分布1向F电路基板85传送的步骤”，(步骤3)变更成“被定义在计算机基板79上的单元W64从I设定单元71读取最大迭代运算次数6的步骤”，(步骤4)变更成“被定义在计算机基板79上的第二PSF特定单元W60从F设定单元70读取劣化指示数18并将其作为检索信息检索PSF数据库19，将得到的PSF的亮度分布4向F电路基板85传送的步骤”，(步骤5)变更成“被定义在计算机基板79上的第一复原图像初始值修正单元W7将从G电路基板81传送的劣化图像的亮度分布1作为复原图像初始值的推定亮度分布3及修正复原图像初始值的推定亮度分布7之后，基于PSF的亮度分布4的图像尺寸对修正复原图像初始值的推定亮度分布7的运算困难区域8进行计算，再对修正复原图像初始值的推定亮度分布7的运算困难区域8进行修正，再将修正复原图像初始值的推定亮度分布7作为劣化图像的亮度分布1，再将修正复原图像初始值的推定亮度分布7向F电路基板85传送的步骤”，省略了(步骤6)及(步骤7)。

第二机顶盒101的面向TV影像的第二超分辨率处理装置32不具有PSF复原单元。由此，第二机顶盒101的处理速度是第一机顶盒69的约2倍，但存在对由F设定单元70设定的劣化指示数18敏感这样的缺点。第二机顶盒101是高速的，从而通过将因高速化而被缩短的处理时间用于增加迭代运算次数，来实现图像复原画质的提高。由此，第二机顶盒101的I设定单元71的默认被设定成256阶中的5。

确认到：就第二机顶盒101的图像复原能力而言，只要能够充分且正确实施由F设定单元70设定的PSF的亮度分布的特定，就能够得到不逊色于第一机顶盒69的结果。

实施例5是将本发明的面向TV影像的第二超分辨率处理装置32的第三方式硬件化的第三机顶盒103。第三机顶盒103被变更制作成能够由第五图像复原单元W116构成第二机顶盒101的F电路基板85的FPGA的程序。由此，第三机顶盒103的内部结构是从图28的结构中去除P电路基板84，代替第一机顶盒程序78使用第三机顶盒程序104，除此以外，全部与第一机顶盒69相同。由此，没有改写地显示图28。另外，第一机顶盒69和第三机顶盒103之间的不同仅是机顶盒的序号，没有改写地显示图30。

第三机顶盒程序104是由C++语言编写的程序，能够由搭载在计算机基板79上的CPU读取并执行，被事先安装，该程序以如下的方式被编写并在投入电源开关75时在初始化后自动执行：对PSF的亮度分布进行特定的第二PSF特定单元W60中的单元W121(图20)定义在计算机基板79内的计算机中，而且，单元W121所参考的PSF数据库19(图10、图20)构成在HDD83内，此外，第五图像复原单元W116以外的面向TV影像的第二超分辨率处理装置32的第三方式的全部单元被定义，并且在与第三机顶盒103内的硬件之间能够顺畅地进行信息交换。

实施例5的第三机顶盒103中的处理顺序与第二机顶盒101相同。

第三机顶盒103与第二机顶盒101同样地不具有PSF的亮度分布复原单元，从而比第一机顶盒69高速，但图像复原单元是环状构造，处理速度比第二机顶盒101慢，但是，与最大6级串联连接第二单次图像复原单元W93的第四图像复原运算单元W94相比，使用了与第二单次图像复原单元W93相当的运算单元只要1级即可的第五图像复原运算单元W116，从而FPGA内的逻辑门规模为约1/5，是经济的。逻辑门规模不能成为1/6的理由是需要具备劣化图像的亮度分布保存用缓冲器16及复原图像初始值的推定亮度分布用缓冲器17，会大量地消耗FPGA内的块存储器。从超分辨率处理品质方面来说，虽然第三机顶盒103与第二机顶盒101同样地受到劣化指示数18的影响，但在实用上与第一机顶盒69没有差异，能够得到与图27所示的例子那样的结果。

工业实用性

只要利用TV影像无论是何种用途都能够应用本发明，从而能够被利用于进行摄像机或数字相机的开发/制造的精密设备产业及电子设备产业，应用程序或游戏等的软件开发产业、内窥镜或MRI等医疗设备产业、显示器等的信息设备产业、监视相机等的防灾/防犯罪设备产业、档案产业等。

附图标记说明

1劣化图像的亮度分布，2TV影像，3复原图像初始值的推定亮度分布，4PSF的亮度分布，5PSF初始值的推定亮度分布，6最大迭代运算次数，7修正复原图像初始值的推定亮度分布，8运算困难区域，9复原PSF的推定亮度分布，10最大似然复原PSF的亮度分布，11复原图像的推定亮度分布，12最大似然复原图像的亮度分布，13超分辨率TV影像信号，14最终值，15最终值，16劣化图像的亮度分布保存用缓冲器，17复原图像初始值的推定亮度分布用缓冲器，18劣化指示数，19PSF数据库，20图像文件名，211帧大小的TV影像信号，22RGB信号，23剩余的TV影像信号，24YUV信号，25Y劣化图像的亮度分布，26U劣化图像的分布，27V劣化图像的分布，28YUV复原图像的分布，29RGB复原图像的分布，30RGB信号，31面向TV影像的第一超分辨率处理装置，32面向TV影像的第二超分辨率处理装置，33第一超分辨率处理装置程序，34计算机，35面向TV影像的第一超分辨率处理系统，36数字TV影像信号输入输出端子，37TV影像输入基板，38超分辨率TV影像，39超分辨率TV影像输出基板，40影像显示模式指定按键，41条件显示指定按键，42超分辨率处理模式切换控制电路基板，43数字TV影像线缆，44总线线缆，45第三存储介质，46面向TV影像的第一超分辨率处理装置图标，47显示器，48用户，49装置程序，50超分辨率处理窗口创建程序，51超分辨率处理窗口监视程序，52超分辨率处理窗口，53键盘，54鼠标，55关闭按键，56劣化指示数设定按键，57最大迭代运算次数设定按键，58影像窗口，59地上数字化TV，60信息窗口41，61超分辨率处理开始按键44，62超分辨率处理中断按键45，63超分辨率处理再开按键46，64超分辨率处理停止按键47，65帮助按键，66影像放大/缩小按键49，67面向TV影像的第二超分辨率处理系统67，68第五超分辨率处理装置程序54，69第一机顶盒，70F设定单元，71I设定单元，72模式开关，73条件显示开关，74LCD显示器，75电源开关，76LED灯，77外壳，78第一机顶盒程序，79计算机基板，80上变频电路基板，81G电路基板，82R电路基板，83HDD，84P电路基板，85F电路基板，86电源电路基板，87散热风扇，88LAN端子，89USB端子，90USB端子，91USB端子，92商用交流单相100V电源线缆，93总线线缆，94高频线缆，95电源线缆，96信号线，97信号线，98数字信号线缆，99频道命令，100TV显示器，101第二机顶盒，102第二机顶盒程序，103第三机顶盒，104第三机顶盒程序，F36第F36的函数，F37第F37的函数，F38第F38的函数，F39第F39的函数，F40第F40的函数，F41第F41的函数，F42第F42的函数，F43第F43的函数，F44第F44的函数，F45第F45的函数，F46第F46的函数，F47第F47的函数，F48第F48的函数，F49第F49的函数，F50第F50的函数，F51第五十一函数，F52第五十二函数，F53第五十三函数，F54第五十四函数，F55第五十五函数，F56第五十六函数，F57第五十七函数，F58第五十八函数，F59第五十九函数，F60第六十函数，F61第六十一函数，F62第六十二函数，F63第六十三函数，F64第六十四函数，F65第六十五函数，F66第六十六函数，F67第六十七函数，F68第六十八函数，F69第六十九函数，F70第七十函数，F劣化指示数，HDDHardDiskDrive，I最大迭代运算次数，S1第一劣化图像准备工序，S2工序，S3第一PSF特定工序，S4～S6工序，S7第一复原图像初始值修正工序，S8～S16工序，S17PSF复原运算准备工序，S18第一PSF复原运算工序，S19第一PSF复原工序，S20工序，S21第二复原图像初始值修正工序，S22～S30工序，S31第一图像复原运算准备工序，S32第一图像复原运算工序，S33第一图像复原工序，S34第一TV影像化工序，S40～S46工序，S47单次PSF复原工序，S47-1第一级的单次PSF复原工序，S47-2第二级的单次PSF复原工序，S47-F最终级的单次PSF复原工序，S48第二PSF复原运算工序，S49～S57工序，S58第一单次图像复原工序，S58-1第一级的第一单次图像复原工序，S58-2第二级的第一单次图像复原工序，S58-F最终级的第一单次图像复原工序，S59第二图像复原运算工序，S60第二PSF特定工序，S61第二劣化图像准备工序，S62～S64工序，S65第四复原图像初始值修正工序，S66～S74工序，S75第二图像复原运算准备工序，S76第三图像复原运算工序，S77第二图像复原工序，S78第二TV影像化工序，S80～S87工序，S88第二单次图像复原工序，S88-1第一级的第二单次图像复原工序，S88-2第二段的第二单次图像复原工序，S88-F最终级的第二单次图像复原工序，S89第四图像复原运算工序，S90～S92工序，S93第六复原图像初始值修正工序，S94～S105工序，S106第五图像复原运算工序，S110～S111工序，S120RGB信号提取工序，S121延迟工序，S122YUV转换工序，S123Y劣化图像提取工序，S124去伽马工序，S130～S134工序，W1第一劣化图像准备单元，W2单元，W3第一PSF特定单元，W4～W6单元，W7第一复原图像初始值修正单元，W8～W17单元，W18PSF复原运算准备单元，W19第一PSF复原运算单元，W20第一PSF复原单元，W21第二复原图像初始值修正单元，W22～W31单元，W32第一图像复原运算准备单元，W33第一图像复原运算单元，W34第一图像复原单元，W35第一TV影像化单元，W40～W46单元，W47单次PSF复原单元，W47-1第一级的单次PSF复原单元，W47-2第二级的单次PSF复原单元，W47-F最终级的单次PSF复原单元，W48第二PSF复原运算单元，W50～W57单元，W58第一单次图像复原单元，W58-1第一级的第一单次图像复原单元，W58-2第二级的第一单次图像复原单元，W58-F最终级的第一单次图像复原单元，W59第二图像复原运算单元，W60第二PSF特定单元，W61第二劣化图像准备单元，W62第四复原图像初始值修正单元，W63单元，W64设定最大迭代运算次数6，W65～W74单元，W75第五复原图像初始值修正单元，W76～W77单元，W78第二图像复原运算准备单元，W79第三图像复原运算单元，W80第二图像复原单元，W81第二TV影像化单元，W85第六复原图像初始值修正单元，W86～W92单元，W93第二单次图像复原单元，W93-1第一级的第二单次图像复原单元，W93-2第二级的第二单次图像复原单元，W93-F最终级的第二单次图像复原单元，W94第四图像复原运算单元，W100～W103单元，W104第七复原图像初始值修正工序，W105～W115单元，W116第五图像复原运算工序，W120～W121单元，W130RGB信号提取单元，W131延迟单元，W132YUV转换单元，W133Y劣化图像提取单元，W134去伽马单元，W140～W144单元。

Claims (37)

1.一种面向TV影像的第一超分辨率处理方法，输出将构成TV影像的1帧的光学劣化减少而复原成劣化前的帧的超分辨率TV影像信号，由此来复原TV影像，所述面向TV影像的第一超分辨率处理方法的特征在于，具有：

(S1)第一劣化图像准备工序，根据TV影像准备由1帧大小的亮度分布构成的劣化图像的亮度分布；

(S2)将所述劣化图像的亮度分布作为复原图像初始值的推定亮度分布的工序；

(S3)对PSF的亮度分布进行特定的第一PSF特定工序；

(S4)将特定出的所述PSF的亮度分布作为PSF初始值的推定亮度分布的工序；

(S5)设定最大迭代运算次数的工序；

(S6)将对迭代运算次数进行计数的计数器重置的工序；

(S7)第一复原图像初始值修正工序，复制所述复原图像初始值的推定亮度分布并将其作为修正复原图像初始值的推定亮度分布，而且，针对在将所述PSF的亮度分布与所述修正复原图像初始值的推定亮度分布进行卷积运算时在所述修正复原图像初始值的推定亮度分布的周边部产生的运算困难区域，基于所述PSF的亮度分布的图像尺寸来计算所述运算困难区域，并复制所述运算困难区域的像素，将所复制的像素以相对于所述修正复原图像初始值的推定亮度分布的边界成为镜像对称地配置的方式粘贴在所述边界的外侧，来对所述修正复原图像初始值的推定亮度分布进行修正，从而得到修正复原图像初始值的推定亮度分布；

(S8)将所述修正复原图像初始值的推定亮度分布作为劣化图像的亮度分布的工序；

(S9)将所述PSF初始值的推定亮度分布卷积所述修正复原图像初始值的推定亮度分布而得到第一函数的工序；

(S10)将所述第一函数进行反转而得到第二函数的工序；

(S11)将所述第二函数乘以所述劣化图像的亮度分布而得到第三函数的工序；

(S12)求出所述修正复原图像初始值的推定亮度分布的反转函数并将其作为第四函数的工序；

(S13)将所述第四函数卷积所述第三函数而得到第五函数的工序；

(S14)将所述第五函数乘以所述PSF初始值的推定亮度分布而得到复原PSF的推定亮度分布的工序；

(S15)将所述复原PSF的推定亮度分布替换所述PSF初始值的推定亮度分布的工序；

(S16)对所述计数器累加1的工序；

(S17)验证工序，对所述计数器的值超过所述最大迭代运算次数这一假设进行验证，若验证结果为假则返回(S9)工序，若验证结果为真则将所述复原PSF的推定亮度分布作为最大似然复原PSF的亮度分布进行输出；

(S18)由所述(S1)～(S8)工序构成的PSF复原运算准备工序；

(S19)由所述(S9)～(S17)工序构成的第一PSF复原运算工序；

(S20)第一PSF复原工序，具有所述PSF复原运算准备工序及所述第一PSF复原运算工序，在所述PSF复原运算准备工序及所述第一PSF复原运算工序中，通过以S的序数从小到大的顺序执行来完成所述最大迭代运算次数的迭代运算，并输出最大似然复原PSF的亮度分布；

(S21)重置所述计数器再向(S23)跳转的工序；

(S22)第二复原图像初始值修正工序，由与第一复原图像初始值修正工序相同的处理顺序构成，基于所述最大似然复原PSF的亮度分布的图像尺寸对所述复原图像初始值的推定亮度分布进行修正而得到修正复原图像初始值的推定亮度分布；

(S23)将所述最大似然复原PSF的亮度分布卷积所述复原图像初始值的推定亮度分布而得到第六函数的工序；

(S24)将所述第六函数进行反转而得到第七函数的工序；

(S25)将所述第七函数乘以所述劣化图像的亮度分布而得到第八函数的工序；

(S26)求出所述最大似然复原PSF的亮度分布的反转函数并将其作为第九函数的工序；

(S27)将所述第九函数卷积所述第八函数而得到第十函数的工序；

(S28)将所述第十函数乘以所述复原图像初始值的推定亮度分布而得到复原图像的推定亮度分布的工序；

(S29)将所述复原图像的推定亮度分布替换所述复原图像初始值的推定亮度分布的工序；

(S30)对所述计数器累加1的工序；

(S31)验证工序，对所述计数器的值超过所述最大迭代运算次数这一假设进行验证，若验证结果为假则返回(S22)工序，若验证结果为真则将所述复原图像的推定亮度分布作为最大似然复原图像的亮度分布进行输出；

(S32)由所述(S21)工序构成的第一图像复原运算准备工序；

(S33)由所述(S22)～(S31)工序构成的第一图像复原运算工序；

(S34)第一图像复原工序，具有所述第一图像复原运算准备工序及所述第一图像复原运算工序，在所述第一图像复原运算准备工序及所述第一图像复原运算工序中，通过以S的序数从小到大的顺序执行来完成所述最大迭代运算次数的迭代运算，并输出最大似然复原图像的亮度分布；以及

(S35)第一TV影像化工序，对所述最大似然复原图像的亮度分布实施TV影像化并输出1帧大小的超分辨率TV影像信号。

2.如权利要求1所述的面向TV影像的第一超分辨率处理方法，其特征在于，

所述第一PSF复原运算工序的第二方式具有：

(S40)将所述PSF初始值的推定亮度分布卷积所述修正复原图像初始值的推定亮度分布而得到第十一函数的工序；

(S41)将所述第十一函数进行反转而得到第十二函数的工序；

(S42)将所述第十二函数乘以所述劣化图像的亮度分布而得到第十三函数的工序；

(S43)求出所述复原图像初始值的推定亮度分布的反转函数并将其作为第十四函数的工序；

(S44)将所述第十四函数卷积所述第十三函数而得到第十五函数的工序；

(S45)将所述第十五函数乘以所述PSF初始值的推定亮度分布而得到复原PSF的推定亮度分布的工序；

(S46)将所述复原PSF的推定亮度分布作为所述PSF初始值的推定亮度分布及复原PSF的推定亮度分布的最终值进行输出的工序；

(S47)单次PSF复原工序，具有所述(S40)～(S46)工序，通过以S的序数从小到大的顺序按顺序进行处理来进行1次的迭代运算；以及

(S48)通过将所述最大迭代运算次数的所述单次PSF复原工序S47串联连接而构成的第二PSF复原运算工序，

在所述第二PSF复原运算工序中，进行与被串联连接的单次PSF复原工序的数量相当的次数的迭代运算，将从最终级的单次PSF复原工序输出的复原PSF的推定亮度分布的最终值作为最大似然复原PSF的亮度分布进行输出。

3.如权利要求1所述的面向TV影像的第一超分辨率处理方法，其特征在于，

所述第一图像复原运算工序的第二方式具有：

(S50)第三复原图像初始值修正工序，由与第一复原图像初始值修正工序相同的处理顺序构成，基于所述最大似然复原PSF的亮度分布的图像尺寸对所述复原图像初始值的推定亮度分布进行修正而得到修正复原图像初始值的推定亮度分布；

(S51)将所述最大似然复原PSF的亮度分布卷积所述修正复原图像初始值的推定亮度分布而得到第十六函数的工序；

(S52)将所述第十六函数进行反转而得到第十七函数的工序；

(S53)将所述第十七函数乘以所述劣化图像的亮度分布而得到第十八函数的工序；

(S54)求出所述最大似然复原PSF的亮度分布的反转函数并将其作为第十九函数的工序；

(S55)将所述第十九函数卷积所述第十八函数而得到第二十函数的工序；

(S56)将所述第二十函数乘以所述复原图像初始值的推定亮度分布而得到复原图像的推定亮度分布的工序；

(S57)将所述复原图像的推定亮度分布作为复原图像初始值的推定亮度分布及复原图像的推定亮度分布的最终值进行输出的工序；

(S58)第一单次图像复原工序，具有所述(S50)～(S57)工序，通过以S的序数从小到大的顺序按顺序进行处理来进行1次的迭代运算；以及

(S59)通过将所述最大迭代运算次数的所述第一单次图像复原工序串联连接而构成的第二图像复原运算工序，

在所述第二图像复原运算工序中，进行与串联连接的所述第一单次图像复原工序的数量相当的次数的迭代运算，将从最终级的第一单次图像复原工序输出的复原图像的推定亮度分布的最终值作为最大似然复原图像的亮度分布进行输出。

4.一种面向TV影像的第二超分辨率处理方法，输出将构成TV影像的1帧的光学劣化减少而复原成劣化前的帧的超分辨率TV影像信号，由此来复原TV影像，所述面向TV影像的第二超分辨率处理方法的特征在于，具有：

(S60)一边观察所述TV影像一边对与所述TV影像的劣化状况相适的PSF的亮度分布进行特定的第二PSF特定工序；

(S61)根据TV影像准备由1帧大小的亮度分布构成的劣化图像的亮度分布的第二劣化图像准备工序；

(S62)第四复原图像初始值修正工序，由与第一复原图像初始值修正工序相同的处理顺序构成，复制所述劣化图像的亮度分布并将其作为所述复原图像初始值的推定亮度分布、而且基于所述PSF的亮度分布的图像尺寸对所述复原图像初始值的推定亮度分布进行修正而得到修正复原图像初始值的推定亮度分布；

(S63)将所述修正复原图像初始值的推定亮度分布作为劣化图像的亮度分布的工序；

(S64)设定最大迭代运算次数的工序；

(S65)将对迭代运算次数进行计数的计数器重置为零的工序；

(S66)将特定出的所述PSF的亮度分布卷积所述修正复原图像初始值的推定亮度分布而得到第二十一函数的工序；

(S67)将所述第二十一函数进行反转而得到第二十二函数的工序；

(S68)将所述第二十二函数乘以所述劣化图像的亮度分布而得到第二十三函数的工序；

(S69)求出所述PSF的亮度分布的反转函数并将其作为第二十四函数的工序；

(S70)将所述第二十四函数卷积所述第二十三函数而得到第二十五函数的工序；

(S71)将所述第二十五函数乘以所述复原图像初始值的推定亮度分布而得到复原图像的推定亮度分布的工序；

(S72)将所述复原图像的推定亮度分布替换所述复原图像初始值的推定亮度分布的工序；

(S73)对所述计数器累加1的工序；

(S74)验证工序，对所述计数器的值为所述最大迭代运算次数以上这一假设进行验证，若验证结果为假则跳转到(S75)工序，若验证结果为真则跳转到(S77)工序；

(S75)第五复原图像初始值修正工序，由与第一复原图像初始值修正工序相同的处理顺序构成，基于所述PSF的亮度分布的图像尺寸对所述复原图像初始值的推定亮度分布进行修正而得到修正复原图像初始值的推定亮度分布；

(S76)向S66跳转的工序；

(S77)将所述复原图像的推定亮度分布作为最大似然复原图像的亮度分布进行输出的工序；

(S78)由所述(S60)～(S65)工序构成的第二图像复原运算准备工序；

(S79)由所述(S66)～(S77)工序构成的第三图像复原运算工序；

(S80)第二图像复原工序，具有所述第二图像复原运算准备工序及第三图像复原运算工序，通过以S的序数从小到大的顺序执行而完成所述最大迭代运算次数的迭代运算，并输出最大似然复原图像的亮度分布；以及

(S81)将被所述最大似然化了的所述最大似然复原图像的亮度分布实施TV影像化并输出1帧大小的超分辨率TV影像信号的第二TV影像化工序。

5.如权利要求4所述的面向TV影像的第二超分辨率处理方法，其特征在于，

所述第三图像复原运算工序的第二方式具有：

(S85)第六复原图像初始值修正工序，由与第一复原图像初始值修正工序相同的处理顺序构成，基于所述PSF的亮度分布的图像尺寸对所述复原图像初始值的推定亮度分布进行修正而得到修正复原图像初始值的推定亮度分布；

(S86)将所述PSF的亮度分布卷积所述复原图像初始值的推定亮度分布而得到第二十六函数的工序；

(S87)将所述第二十六函数进行反转而得到第二十七函数的工序；

(S88)将所述第二十七函数乘以所述劣化图像的亮度分布而得到第二十八函数的工序；

(S89)求出所述PSF的亮度分布的反转函数并将其作为第二十九函数的工序；

(S90)将所述第二十九函数卷积所述第二十八函数而得到第三十函数的工序；

(S91)将所述第三十函数乘以所述复原图像初始值的推定亮度分布而得到复原图像的推定亮度分布的工序；

(S92)将所述复原图像的推定亮度分布作为复原图像初始值的推定亮度分布及复原图像的推定亮度分布的最终值进行输出的工序；

(S93)第二单次图像复原工序，具有所述(S85)～(S92)工序，通过以S的序数从小到大的顺序进行处理，进行1次的迭代运算；

(S94)通过将所述最大迭代运算次数的所述第二单次图像复原工序串联连接而构成的第四图像复原运算工序，

在所述第四图像复原运算工序中，进行与串联连接的所述第二单次图像复原工序的数量相当的次数的迭代运算，将从最终级的第二单次图像复原工序输出的复原图像的推定亮度分布的最终值作为最大似然复原图像的亮度分布进行输出。

6.如权利要求4所述的面向TV影像的第二超分辨率处理方法，其特征在于，

所述第三图像复原运算工序的第三方式具有：

(S100)将对迭代运算次数进行计数的所述计数器重置的工序；

(S101)验证工序，对所述计数器的值为零以外这一假设进行验证，若验证结果为假则向(S102)跳转，若验证结果为真则向(S103)跳转；

(S102)将所述劣化图像的亮度分布传送到劣化图像的亮度分布保存用缓冲器及复原图像初始值的推定亮度分布用缓冲器的工序；

(S103)从所述复原图像初始值的推定亮度分布用缓冲器读取复原图像初始值的推定亮度分布的工序；

(S104)第七复原图像初始值修正工序，由与第一复原图像初始值修正工序相同的处理顺序构成，基于所述PSF的亮度分布的图像尺寸对所述复原图像初始值的推定亮度分布进行修正而得到修正复原图像初始值的推定亮度分布；

(S105)将所述PSF的亮度分布卷积所述修正复原图像初始值的推定亮度分布而得到第三十一函数的工序；

(S106)将所述第三十一函数进行反转而得到第三十二函数的工序；

(S107)将所述第三十二函数乘以所述劣化图像的亮度分布而得到第三十三函数的工序；

(S108)求出所述PSF的亮度分布的反转函数并将其作为第三十四函数的工序；

(S109)将所述第三十四函数卷积所述第三十三函数而得到第三十五函数的工序；

(S110)将所述第三十五函数乘以所述复原图像初始值的推定亮度分布而得到复原图像的推定亮度分布的工序；

(S111)对所述计数器累加1的工序；

(S112)验证工序，对所述计数器的值超过所述最大迭代运算次数这一假设进行验证，若验证结果为假则向(S113)跳转，若验证结果为真则向(S115)跳转；

(S113)将所述复原图像的推定亮度分布传送到所述复原图像初始值的推定亮度分布用缓冲器的工序；

(S114)向所述(S103)跳转的工序；

(S115)将所述复原图像的推定亮度分布作为最大似然复原图像的亮度分布进行输出的工序；

(S116)第五图像复原运算工序，具有所述(S100)～(S115)的工序，通过以S的序数从小到大的顺序按顺序执行来完成所述最大迭代运算次数的迭代运算，并输出最大似然复原图像的亮度分布。

7.一种面向TV影像的第一超分辨率处理方法及面向TV影像的第二超分辨率处理方法，其特征在于，

权利要求1所述的第一PSF特定工序及权利要求4所述的第二PSF特定工序具有：

(S120)设定与在显示器中放映出的TV影像的光学劣化程度相应的劣化指示数的工序；以及

(S121)从PSF的亮度分布数据库提取并输出与所述劣化指示数关联的PSF的亮度分布的工序。

8.一种面向TV影像的第一超分辨率处理方法及面向TV影像的第二超分辨率处理方法，其特征在于，

权利要求1所述的第一劣化图像准备工序及权利要求4所述的第二劣化图像准备工序具有：

(S130)从1帧大小的TV影像信号取出构成帧的RGB信号的RGB信号提取工序；

(S131)延迟工序，将所述1帧大小的TV影像信号内、取出RGB信号后剩余的TV影像信号延迟1帧大小地输出；

(S132)对所述RGB信号进行YUV转换并作为YUV信号的YUV转换工序；

(S133)Y劣化图像提取工序，在所述YUV信号内，提取仅由作为亮度成分的Y信号构成的劣化图像的亮度分布并作为Y劣化图像的亮度分布，保持仅由剩余的U信号构成的U劣化图像的分布及仅由V信号构成的V劣化图像的分布；以及

(S134)去伽马处理工序，实施所述Y劣化图像的亮度分布的去伽马处理，并作为由1帧大小的亮度分布构成的劣化图像的亮度分布进行输出。

9.一种面向TV影像的第一超分辨率处理方法及面向TV影像的第二超分辨率处理方法，其特征在于，

权利要求1所述的第一TV影像化工序及权利要求4所述的第二TV影像化工序具有：

(S140)实施所述最大似然复原图像的亮度分布的伽马处理的伽马处理工序；

(S141)复原图像合成工序，将在所述Y劣化图像提取工序中保持的所述U劣化图像的分布和所述V劣化图像的分布、以及由Y成分构成的伽马处理后的最大似然复原图像的亮度分布合成1张YUV复原图像的分布；

(S142)进行所述YUV复原图像的分布的RGB转换并作为RGB复原图像的分布的RGB转换工序；

(S143)读取所述RGB复原图像的分布并输出RGB信号的RGB信号转换工序；以及

(S144)TV影像信号合成工序，将所述RGB信号与在所述延迟工序中输出的取出了所述RGB信号后的剩余的TV影像信号合成而作为1帧大小的超分辨率TV影像信号并进行输出。

10.一种面向TV影像的第一超分辨率处理方法及面向TV影像的第二超分辨率处理方法，其特征在于，权利要求1～5所述的PSF的亮度分布由没有边缘的正方形状的同一尺寸的像素构成，是中心最亮的二维正态分布，其尺寸为5×5像素。

11.一种第一超分辨率处理程序，其特征在于，执行构成权利要求1所述的面向TV影像的第一超分辨率处理方法的所述第一PSF复原工序及所述第一图像复原工序内的全部工序。

12.一种第二超分辨率处理程序，其特征在于，执行构成权利要求1～2所述的面向TV影像的第一超分辨率处理方法的所述PSF复原运算准备工序、所述第二PSF复原运算工序及所述第一图像复原工序内的全部工序。

13.一种第三超分辨率处理程序，其特征在于，执行构成权利要求1、3所述的面向TV影像的第一超分辨率处理方法的所述第一PSF复原工序、所述第一图像复原运算准备工序及所述第二图像复原运算工序内的全部工序。

14.一种第四超分辨率处理程序，其特征在于，执行构成权利要求1～3所述的面向TV影像的第一超分辨率处理方法的所述PSF复原运算准备工序、所述第二PSF复原运算工序、所述第一图像复原运算准备工序及所述第二图像复原运算工序内的全部工序。

15.一种第五超分辨率处理程序，其特征在于，执行构成权利要求4所述的面向TV影像的第二超分辨率处理方法的所述第二图像复原工序内的全部工序。

16.一种第六超分辨率处理程序，其特征在于，执行构成权利要求4～5所述的面向TV影像的第二超分辨率处理方法的所述第二图像复原运算准备工序及所述第四图像复原运算工序内的全部工序。

17.一种第七超分辨率处理程序，其特征在于，执行构成权利要求4或6所述的面向TV影像的第二超分辨率处理方法的所述第二图像复原运算准备工序及所述第五图像复原运算工序内的全部工序。

18.一种面向TV影像的第一超分辨率处理装置，其使用权利要求1、7～10所述的面向TV影像的第一超分辨率处理方法，输出将构成TV影像的1帧的光学劣化减少而复原成劣化前的帧的超分辨率TV影像信号，由此来复原TV影像，所述面向TV影像的第一超分辨率处理装置的特征在于，具有：

(W1)根据TV影像准备由1帧大小的亮度分布构成的劣化图像的亮度分布的第一劣化图像准备单元；

(W2)将所述劣化图像的亮度分布作为复原图像初始值的推定亮度分布的单元；

(W3)对PSF的亮度分布进行特定的第一PSF特定单元；

(W4)将特定出的所述PSF的亮度分布作为PSF初始值的推定亮度分布的单元；

(W5)设定最大迭代运算次数的单元；

(W6)将对迭代运算次数进行计数的计数器重置的单元；

(W7)第一复原图像初始值修正单元，其复制所述复原图像初始值的推定亮度分布并将其作为修正复原图像初始值的推定亮度分布，而且对于在对将所述PSF的亮度分布与所述修正复原图像初始值的推定亮度分布进行卷积运算时在所述修正复原图像初始值的推定亮度分布的周边部发生的运算困难区域，基于所述PSF的亮度分布的图像尺寸来计算所述运算困难区域，并复制所述运算困难区域的像素，将该复制的像素以相对于所述修正复原图像初始值的推定亮度分布的边界成为镜像对称地配置的方式粘贴在所述边界的外侧，并对所述修正复原图像初始值的推定亮度分布进行修正，从而得到修正复原图像初始值的推定亮度分布；

(W8)将所述修正复原图像初始值的推定亮度分布作为劣化图像的亮度分布的单元；

(W9)将所述PSF初始值的推定亮度分布卷积所述修正复原图像初始值的推定亮度分布而得到第三十六函数的单元；

(W10)将所述第三十六函数进行反转而得到第三十七函数的单元；

(W11)将所述第三十七函数乘以所述劣化图像的亮度分布而得到第三十八函数的单元；

(W12)求出所述修正复原图像初始值的推定亮度分布的反转函数并将其作为第三十九函数的单元；

(W13)将所述第三十九函数卷积所述第三十八函数而得到第四十函数的单元；

(W14)将所述第四十函数乘以所述PSF初始值的推定亮度分布而得到复原PSF的推定亮度分布的单元；

(W15)将所述复原PSF的推定亮度分布替换所述PSF初始值的推定亮度分布的单元；

(W16)对所述计数器累加1的单元；

(W17)验证单元，对所述计数器的值超过所述最大迭代运算次数这一假设进行验证，若验证结果为假则返回所述(W9)单元，若验证结果为真则将所述复原PSF的推定亮度分布作为最大似然复原PSF的亮度分布进行输出；

(W18)由所述(W1)～(W8)的单元构成的PSF复原运算准备单元；

(W19)由所述(W9)～(W17)的单元构成的第一PSF复原运算单元；

(W20)第一PSF复原单元，在所述PSF复原运算准备单元及所述第一PSF复原运算单元中，通过以S的序数从小到大的顺序执行而完成所述最大迭代运算次数的迭代运算，并输出最大似然复原PSF的亮度分布；

(W21)重置所述计数器，再跳转到(W23)的单元；

(W22)第二复原图像初始值修正单元，其由与第一复原图像初始值修正单元相同的处理顺序构成，基于所述最大似然复原PSF的亮度分布的图像尺寸对所述复原图像初始值的推定亮度分布进行修正而得到修正复原图像初始值的推定亮度分布；

(W23)将所述最大似然复原PSF的亮度分布卷积所述修正复原图像初始值的推定亮度分布而得到第四十一函数的单元；

(W24)将所述第四十一函数进行反转而得到第四十二函数的单元；

(W25)将所述第四十二函数乘以所述劣化图像的亮度分布而得到第四十三函数的单元；

(W26)求出所述最大似然复原PSF的亮度分布的反转函数并将其作为第四十四函数的单元；

(W27)将所述第四十四函数卷积所述第四十三函数而得到第四十五函数的单元；

(W28)将所述第四十五函数乘以所述复原图像初始值的推定亮度分布而得到复原图像的推定亮度分布的单元；

(W29)将所述复原图像的推定亮度分布替换所述复原图像初始值的推定亮度分布的单元；

(W30)对所述计数器累加1的单元；

(W31)验证单元，对所述计数器的值超过所述最大迭代运算次数这一假设进行验证，若验证结果为假则返回所述(W22)单元，若验证结果为真则将所述复原图像的推定亮度分布作为最大似然复原图像的亮度分布进行输出；

(W32)由所述(W21)单元构成的第一图像复原运算准备单元；

(W33)由所述(W22)～(W31)单元构成的第一图像复原运算单元；

(W34)第一图像复原单元，其在所述第一图像复原运算准备单元及第一图像复原运算单元中，通过以S的序数从小到大地执行而完成所述最大迭代运算次数的迭代运算，并输出最大似然复原图像的亮度分布；

(W35)对所述最大似然复原图像的亮度分布实施TV影像化而输出1帧大小的超分辨率TV影像信号的第一TV影像化单元。

19.如权利要求18所述的面向TV影像的第一超分辨率处理装置，其特征在于，

所述第一PSF复原单元的第二方式具有：

(W40)将所述PSF初始值的推定亮度分布卷积所述修正复原图像初始值的推定亮度分布而得到第四十六函数的单元；

(W41)将所述第四十六函数进行反转而得到第四十七函数的单元；

(W42)将所述第四十七函数乘以所述劣化图像的亮度分布而得到第四十八函数的单元；

(W43)求出所述复原图像初始值的推定亮度分布的反转函数并将其作为第四十九函数的单元；

(W44)将所述第四十九函数卷积所述第四十八函数而得到第五十函数的单元；

(W45)将所述第五十函数乘以所述PSF初始值的推定亮度分布而得到复原PSF的推定亮度分布的单元；

(W46)将所述复原PSF的推定亮度分布作为所述PSF初始值的推定亮度分布及复原PSF的推定亮度分布的最终值并进行输出的单元；

(W47)单次PSF复原单元，其具有所述(W40)～(W46)单元，通过以S的序数从小到大的顺序按顺序进行处理来进行1次的迭代运算；以及

(W48)通过将所述最大迭代运算次数的所述单次PSF复原单元串联连接而构成的第二PSF复原运算单元，

在所述第二PSF复原运算单元中，进行与串联连接的单次PSF复原单元的数量相当的次数的迭代运算，并将从最终级的单次PSF复原单元输出的复原PSF的推定亮度分布的最终值作为最大似然复原PSF的亮度分布进行输出。

20.如权利要求18所述的面向TV影像的第一超分辨率处理装置，其特征在于，

所述第一图像复原单元的第二方式具有：

(W50)第三复原图像初始值修正单元，其由与第一复原图像初始值修正单元相同的结构构成，基于所述最大似然复原PSF的亮度分布的图像尺寸对所述复原图像初始值的推定亮度分布进行修正而得到修正复原图像初始值的推定亮度分布；

(W51)将所述最大似然复原PSF的亮度分布卷积所述修正复原图像初始值的推定亮度分布而得到第五十一函数的单元；

(W52)将所述第五十一函数进行反转而得到第五十二函数的单元；

(W53)将所述第五十二函数乘以所述劣化图像的亮度分布而得到第五十三函数的单元；

(W54)求出所述最大似然复原PSF的亮度分布的反转函数并将其作为第五十四函数的单元；

(W55)将所述第五十四函数卷积所述第五十三函数而得到第五十五函数的单元；

(W56)将所述第五十五函数乘以所述复原图像初始值的推定亮度分布而得到复原图像的推定亮度分布的单元；

(W57)将所述复原图像的推定亮度分布作为复原图像初始值的推定亮度分布及复原图像的推定亮度分布的最终值进行输出的单元；

(W58)第一单次图像复原单元，其具有所述(W50)～(W57)单元，以S的序数从小到大的顺序按顺序进行处理来进行1次的迭代运算；

(W59)通过将所述最大迭代运算次数的所述第一单次图像复原单元串联连接而构成的第二图像复原运算单元，

在所述第二图像复原运算单元中，进行与串联连接的所述第一单次图像复原单元的数量相当的次数的迭代运算，将从最终级的第一单次图像复原单元输出的复原图像的推定亮度分布的最终值作为最大似然复原图像的亮度分布进行输出。

21.一种面向TV影像的第二超分辨率处理装置，其使用权利要求4、7～10所述的面向TV影像的第二超分辨率处理方法，输出将构成TV影像的1帧的光学劣化减少而复原成劣化前的帧的超分辨率TV影像信号，由此来复原TV影像，所述面向TV影像的第二超分辨率处理装置的特征在于，具有：

(W60)一边观察所述TV影像一边对与所述TV影像的劣化状况相适的PSF的亮度分布进行特定的第二PSF特定单元；

(W61)根据TV影像准备由1帧大小的亮度分布构成的劣化图像的亮度分布的第二劣化图像准备单元；

(W62)第四复原图像初始值修正单元，其由与第一复原图像初始值修正单元相同的处理顺序构成，复制所述劣化图像的亮度分布并将其作为所述复原图像初始值的推定亮度分布、而且基于所述PSF的亮度分布的图像尺寸对所述复原图像初始值的推定亮度分布进行修正而得到修正复原图像初始值的推定亮度分布；

(W63)将所述修正复原图像初始值的推定亮度分布作为劣化图像的亮度分布的单元；

(W64)设定最大迭代运算次数的单元；

(W65)将对迭代运算次数进行计数的计数器重置为零的单元；

(W66)将特定出的所述PSF的亮度分布卷积所述修正复原图像初始值的推定亮度分布而得到第五十六函数的单元；

(W67)将所述第五十六函数进行反转而得到第五十七函数的单元；

(W68)将所述第五十七函数乘以所述劣化图像的亮度分布而得到第五十八函数的单元；

(W69)求出所述PSF的亮度分布的反转函数并将其作为第五十九函数的单元；

(W70)将所述第五十九函数卷积所述第五十八函数而得到第六十函数的单元；

(W71)将所述第六十函数乘以所述复原图像初始值的推定亮度分布而得到复原图像的推定亮度分布的单元；

(W72)将所述复原图像的推定亮度分布替换所述复原图像初始值的推定亮度分布的单元；

(W73)对所述计数器累加1的单元；

(W74)验证单元，对所述计数器的值为所述最大迭代运算次数以上这一假设进行验证，若验证结果为假则跳转到(W75)单元，若验证结果为真则跳转到(W77)单元；

(W75)第五复原图像初始值修正单元，其由第一复原图像初始值修正单元相同的处理顺序构成，与基于所述PSF的亮度分布的图像尺寸对所述复原图像初始值的推定亮度分布进行修正而得到修正复原图像初始值的推定亮度分布；

(W76)跳转到W66的单元；

(W77)将所述复原图像的推定亮度分布作为最大似然复原图像的亮度分布输出的单元；

(W78)由所述(W60)～(W65)单元构成的第二图像复原运算准备单元；

(W79)由所述(W66)～(W77)单元构成的第三图像复原运算单元；

(W80)第二图像复原单元，其具有所述第二图像复原运算准备单元及第三图像复原运算单元，通过以S的序数从小到大的顺序执行而完成所述最大迭代运算次数的迭代运算，并输出最大似然复原图像的亮度分布；以及

(W81)将所述最大似然复原图像的亮度分布实施TV影像化而输出1帧大小的超分辨率TV影像信号的第二TV影像化单元。

22.如权利要求21所述的面向TV影像的第二超分辨率处理装置，其特征在于，

所述第三图像复原单元的第二方式具有：

(W85)第六复原图像初始值修正单元，其与由第一复原图像初始值修正单元相同的处理顺序构成，基于所述PSF的亮度分布的图像尺寸对所述复原图像初始值的推定亮度分布进行修正而得到修正复原图像初始值的推定亮度分布；

(W86)将所述PSF的亮度分布卷积所述复原图像初始值的推定亮度分布而得到第六十一函数的单元；

(W87)将所述第六十一函数进行反转而得到第六十二函数的单元；

(W88)将所述第六十二函数乘以所述劣化图像的亮度分布而得到第六十三函数的单元；

(W89)求出所述PSF的亮度分布的反转函数并将其作为第六十四函数的单元；

(W90)将所述第六十四函数卷积所述第六十三函数而得到第六十五函数的单元；

(W91)将所述第六十五函数乘以所述复原图像初始值的推定亮度分布而得到复原图像的推定亮度分布的单元；

(W92)将所述复原图像的推定亮度分布作为复原图像初始值的推定亮度分布及复原图像的推定亮度分布的最终值进行输出的单元；

(W93)第二单次图像复原单元，其具有所述(W85)～(W92)单元，通过以S的序数从小到大的顺序进行处理而进行1次的迭代运算；

(W94)通过将所述最大迭代运算次数的所述第二单次图像复原单元串联连接而构成的第四图像复原运算单元，

在所述第四图像复原运算单元中，进行与串联连接的所述第二单次图像复原单元的数量相当的次数的迭代运算，将从最终级的第二单次图像复原单元输出的复原图像的推定亮度分布的最终值作为最大似然复原图像的亮度分布进行输出。

23.如权利要求21所述的面向TV影像的第二超分辨率处理装置，其特征在于，

所述第三图像复原单元的第三方式具有：

(W100)将对迭代运算次数进行计数的所述计数器重置的单元；

(W101)验证单元，对所述计数器的值为零以外这一假设进行验证，若验证结果为假则跳转到(W102)，若验证结果为真则跳转到(W103)；

(W102)将所述劣化图像的亮度分布传送到劣化图像的亮度分布保存用缓冲器及复原图像初始值的推定亮度分布用缓冲器的单元；

(W103)从所述复原图像初始值的推定亮度分布用缓冲器读取复原图像初始值的推定亮度分布的单元；

(W104)第七复原图像初始值修正单元，其由与第一复原图像初始值修正单元相同的处理顺序构成，基于所述PSF的亮度分布的图像尺寸对所述复原图像初始值的推定亮度分布进行修正而得到修正复原图像初始值的推定亮度分布；

(W105)将所述PSF的亮度分布卷积所述修正复原图像初始值的推定亮度分布而得到第三十一函数的单元；

(W106)对所述第三十一函数进行反转而得到第三十二函数的单元；

(W107)将所述第三十二函数乘以所述劣化图像的亮度分布而得到第三十三函数的单元；

(W108)求出所述PSF的亮度分布的反转函数并将其作为第三十四函数的单元；

(W109)将所述第三十四函数卷积所述第三十三函数而得到第三十五函数的单元；

(W110)将所述第三十五函数乘以所述复原图像初始值的推定亮度分布而得到复原图像的推定亮度分布的单元；

(W111)对所述计数器累加1的单元；

(W112)验证单元，对所述计数器的值超过所述最大迭代运算次数这一假设进行验证，若验证结果为假则跳转到(W113)，若验证结果为真则跳转到(W115)；

(W113)将所述复原图像的推定亮度分布传送到所述复原图像初始值的推定亮度分布用缓冲器的单元；

(W114)跳转到(W103)的单元；

(W115)将所述复原图像的推定亮度分布作为最大似然复原图像的亮度分布进行输出的单元；

(W116)第五图像复原运算单元，其具有所述(W100)～(W115)单元，通过以W的序数从小到大的顺序按顺序执行而完成所述最大迭代运算次数的迭代运算，并输出最大似然复原图像的亮度分布。

24.一种面向TV影像的第一超分辨率处理装置及面向TV影像的第二超分辨率处理装置，其特征在于，

权利要求18所述的第一PSF特定单元及权利要求21所述的第二PSF特定单元具有：

(W120)设定与在显示器中放映出的TV影像的光学劣化程度相应的劣化指示数的单元；以及

(W121)从PSF数据库提取与所述劣化指示数关联的PSF的亮度分布的单元。

25.一种面向TV影像的第一超分辨率处理装置及面向TV影像的第二超分辨率处理装置，其特征在于，

权利要求18所述的第一劣化图像准备单元及权利要求21所述的第二劣化图像准备单元具有：

(W130)从1帧大小的TV影像信号取出构成帧的RGB信号的RGB信号提取单元；

(W131)延迟单元，其将所述1帧大小的TV影像信号内、取出RGB信号后剩余的TV影像信号延迟1帧大小地输出；

(W132)对所述RGB信号进行YUV转换并作为YUV信号的YUV转换单元；

(W133)Y劣化图像提取单元，其在所述YUV信号内，提取仅由作为亮度成分的Y信号构成的劣化图像的亮度分布并作为Y劣化图像的亮度分布，保持仅由剩余的U信号构成的U劣化图像的分布及仅由V信号构成的V劣化图像的分布；以及

(W134)去伽马处理单元，其实施所述Y劣化图像的亮度分布的去伽马处理，并作为由1帧大小的亮度分布构成的劣化图像的亮度分布进行输出。

26.一种面向TV影像的第一超分辨率处理装置及面向TV影像的第二超分辨率处理装置，其特征在于，

权利要求18所述的第一TV影像化单元及权利要求21所述的第二TV影像化单元具有：

(W140)实施所述最大似然复原图像的亮度分布的伽马处理的伽马处理单元；

(W141)复原图像合成单元，其将由所述Y劣化图像提取单元保持的所述U劣化图像的分布和所述V劣化图像的分布、以及由Y成分构成的伽马处理后的最大似然复原图像的亮度分布合成1张YUV复原图像的分布；

(W142)进行所述YUV复原图像的分布的RGB转换并作为RGB复原图像的分布的RGB转换单元；

(W143)读取所述RGB复原图像的分布并输出RGB信号的RGB信号转换单元；以及

(W144)TV影像信号合成单元，其将所述RGB信号与由所述延迟单元所输出的取出了所述RGB信号后的剩余的TV影像信号合成而作为1帧大小的超分辨率TV影像信号并进行输出。

27.一种第一超分辨率处理装置程序，其特征在于，构成了构成权利要求18所述的面向TV影像的第一超分辨率处理装置的所述第一PSF复原单元及所述第一图像复原单元内的全部单元，并且使这些单元全部执行。

28.一种第二超分辨率处理装置程序，其特征在于，构成了构成权利要求18～19所述的面向TV影像的第一超分辨率处理装置的所述PSF复原运算准备单元、所述第二PSF复原运算单元及所述第一图像复原单元内的全部单元，并且使这些单元全部执行。

29.一种第三超分辨率处理装置程序，其特征在于，构成了构成权利要求18、20所述的面向TV影像的第一超分辨率处理装置的所述第一PSF复原单元、所述第一图像复原运算准备单元及所述第二图像复原运算单元内的全部单元，并且使这些单元全部执行。

30.一种第四超分辨率处理装置程序，其特征在于，构成了构成权利要求18～20所述的面向TV影像的第一超分辨率处理装置的所述PSF复原运算准备单元、所述第二PSF复原运算单元、所述第一图像复原运算准备单元及所述第二图像复原运算单元内的全部单元，并且使这些单元全部执行。

31.一种第五超分辨率处理装置程序，其特征在于，构成了构成权利要求21所述的面向TV影像的第二超分辨率处理装置的所述第二图像复原单元内的全部单元，并且使这些单元全部执行。

32.一种第六超分辨率处理装置程序，其特征在于，构成了构成权利要求21～22所述的面向TV影像的第二超分辨率处理装置的所述第二图像复原运算准备单元及所述第四图像复原运算单元内的全部单元，并且使这些单元全部执行。

33.一种第七超分辨率处理装置程序，其特征在于，构成了构成权利要求21、22所述的面向TV影像的第二超分辨率处理装置的所述第二图像复原运算准备单元及所述第五图像复原运算单元内的全部单元，并且使这些单元全部执行。

34.一种第一存储介质，其特征在于，将用于执行权利要求11～14所述的面向TV影像的第一超分辨率处理方法的所述第一超分辨率处理程序、所述第二超分辨率处理程序、所述第三超分辨率处理程序及所述第四超分辨率处理程序分别独立地进行加密并独立地存储，在一方被读取时，独立地读取并且在解密后进行提供，能够与计算机连接且能够由所述计算机读取。

35.一种第二存储介质，其特征在于，将用于执行权利要求15～17所述的面向TV影像的第二超分辨率处理方法的所述第五超分辨率处理程序、所述第六超分辨率处理程序及所述第七超分辨率处理程序分别独立地进行加密并独立地存储，在一方被读取时，独立地读取并且在解密后进行提供，能够与计算机连接且能够由所述计算机读取。

36.一种第三存储介质，其特征在于，将构成权利要求27～30所述的面向TV影像的第一超分辨率处理装置内的全部单元且用于执行这些全部单元的所述第一超分辨率处理装置程序、所述第二超分辨率处理装置程序、所述第三超分辨率处理装置程序及所述第四超分辨率处理装置程序分别独立地进行加密并独立地存储，在一方被读取时，独立地读取并且在解密后进行提供，能够与计算机连接且能够由所述计算机读取。

37.一种第四存储介质，其特征在于，将构成权利要求31～33所述的面向TV影像的第二超分辨率处理装置内的全部单元且用于执行这些全部单元的所述第五超分辨率处理装置程序、所述第六超分辨率处理装置程序及所述第七超分辨率处理装置程序分别独立地进行加密并独立地存储，在一方被读取时，独立地被读取且在解密后进行提供，能够与计算机连接且能够由所述计算机读取。