CN105814873B - 面向tv影像的加速超分辨率处理方法及装置、及存储介质 - Google Patents

面向tv影像的加速超分辨率处理方法及装置、及存储介质 Download PDF

Info

Publication number
CN105814873B
CN105814873B CN201480067470.8A CN201480067470A CN105814873B CN 105814873 B CN105814873 B CN 105814873B CN 201480067470 A CN201480067470 A CN 201480067470A CN 105814873 B CN105814873 B CN 105814873B
Authority
CN
China
Prior art keywords
luminance distribution
image
psf
unit
initial value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480067470.8A
Other languages
English (en)
Other versions
CN105814873A (zh
Inventor
江口满男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lightron International Co Ltd
Original Assignee
Lightron International Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lightron International Co Ltd filed Critical Lightron International Co Ltd
Publication of CN105814873A publication Critical patent/CN105814873A/zh
Application granted granted Critical
Publication of CN105814873B publication Critical patent/CN105814873B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
    • H04N5/208—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57—Control of contrast or brightness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)

Abstract

本发明的课题在于，提供解决接近实时地减少TV影像的1帧内的光学劣化以复原成劣化前的原图像的装置的规模为150万逻辑门这种大规模的问题的方法及装置。本发明为在如下的图像复原单元中通过进行2次迭代运算来接近实时地提供与劣化前的原图像近似的TV影像的方法以及7万逻辑门规模的装置：将TV影像的1帧作为劣化图像的亮度分布及复原图像初始值的推定亮度分布，将与劣化图像的劣化程度相应地特定出的第一PSF的亮度分布用于第一次迭代运算，将通过图像复原单元复原第一PSF的亮度分布而得到的第二PSF的亮度分布用于第二次迭代运算，一边将由第一次迭代运算得到的复原图像的推定亮度分布作为第二次复原图像初始值的推定亮度分布，一边通过基于Bayse概率论的实数运算，求出劣化图像的亮度分布的最大似然的复原图像的推定亮度分布。

Description

面向TV影像的加速超分辨率处理方法及装置、及存储介质
技术领域
本发明涉及TV影像的图像处理，尤其涉及用于通过基于Bayse(贝叶斯)概率论的数学运算处理去除在TV影像中含有的光学模糊或污点这种劣化信息来复原成劣化前的TV影像的、面向TV影像的加速超分辨率处理方法和基于该方法的面向TV影像的加速超分辨率处理装置、第一～第六加速超分辨率处理程序、以及第一～第二存储介质。
背景技术
TV影像由1秒钟30张以上的被称为帧的静止图像构成，各帧存在如下的问题：无论数字还是模拟，虽然不会模糊到不鲜明的程度，但包含光学模糊或污点这种劣化信息。
图1表示实际的TV影像的1帧所含有的劣化信息的1例。图1具有2张图像，左侧的图像是仅由X射线针孔照相机的Y(亮度)成分构成的TV影像的1帧，右侧的图像是通过本发明人发明的现有技术(专利文献1～2)对图1的左侧的图像进行超分辨率处理而减少了劣化信息的1帧。对图1的两图像进行比较时可知，实际的TV影像含有光学模糊或污点这种劣化信息。
本发明人发明的图像复原技术(专利文献1～2)是如下的技术：在根据包含光学模糊或污点这种劣化信息在内的1张静止图像的信息基于Bayse概率论的数学式反复进行迭代运算的过程中，通过数值运算求出静止图像的亮度分布的最大似然的最大似然劣化要因及最大似然复原图像即超分辨率处理后的图像，但这种技术存在如下的问题：计算所需的运算处理量庞大，对于需要实时处理的TV影像进行处理很困难。
本发明人发明的图像复原技术(专利文献1～2)存在如下的问题：由于将复数作为运算对象，多以运算规模大而不适合接近实时处理。为了解决该问题，本发明人在提出申请的技术中，将运算对象从复数变更成实数，再使用FPGA(Field Programmable Gate Array：现场可编程门阵列)来进行硬件化，由此能够实现接近实时处理。但是，硬件化时的逻辑门数为150万逻辑门，是大规模的，存在成本高且安装面积大的问题。
作为其他的以往的面向TV影像的超分辨率技术之一有“再构成型超分辨率”方法(专利文献3、4)，并被产品化，这种方法着眼于构成TV影像的多帧内的同一被拍摄体，通过将同一被拍摄体对位来使多帧重合，并实施超分辨率化。但是，存在如下的问题：在动作激烈的情况或画面拉近/拉远剧烈的情况等被拍摄体的大小大幅度变化的情况或在多帧中没有拍摄到被拍摄体的情况下，基于“再构成型超分辨率”方法的超分辨率变得困难。
作为另一种方法，如非专利文献1那样有如下的方法：基于由摄像机得到的视角相互稍有不同的连续的多张静止图像，进行Bayes统计处理，以得到被超分辨率化的静止图像。但是，在该方法中，始终需要大量的用于存储多张包含劣化信息的静止图像的存储器，而且，为得到1张被超分辨率化的静止图像，始终需要处理多张静止图像，从而存在不仅需要大量的存储器计算也变得巨大、不能处理TV影像的问题。
现有技术文献
专利文献
专利文献1：国际公开号：专利第4568730号(WO2006/041127)
专利文献2：国际公开号：专利第4575387号(WO2006/041126)
专利文献3：专利公开号：日本特开2009-296410
专利文献4：专利公开号：日本特开2009-100407
非专利文献1：兼村厚范等“贝叶斯超分辨率和分层建模”日本神经回路学会志，vol.15，No.3(2008)，181-192
发明内容
在专利文献1～4及非专利文献1记载的任一个方法中，均存在基于包含光学模糊或污点这种劣化信息在内的仅1帧的信息无法对TV影像进行超分辨率处理的问题。
为了解决该问题，本发明人发明并申请了如下的面向TV影像的超分辨率处理方法及面向TV影像的超分辨率处理装置的专利，该面向TV影像的超分辨率处理方法及面向TV影像的超分辨率处理装置将本发明人发明的图像复原技术(专利文献1～2)中的运算对象从复数变更成实数，而且使用FPGA来进行硬件化，由此进行改良，能够实现接近实时处理，但该面向TV影像的超分辨率处理装置存在如下问题：FPGA化及LSI(Large Scale Integratedcircuit：大规模集成电路)化时的逻辑门数为150万逻辑门，是大规模的，成本高，安装面积大。
因此，本发明为解决这些上述问题，将提供用于对TV影像进行超分辨率处理的TV影像的加速超分辨率处理方法、及基于该方法的面向TV影像的加速超分辨率处理装置、及第一～第六加速超分辨率处理程序以及第一～第二存储介质作为课题。
为解决上述课题，在本发明中，提供了本发明人新发明的利用加速算法的TV影像的加速超分辨率处理方法、及基于该方法的面向TV影像的加速超分辨率处理装置、第一～第六加速超分辨率处理程序、以及第一～第二存储介质。该加速算法是为了加速进行迭代运算而使迭代运算次数仅实施几次，与本发明人发明的当前在申请中的面向TV影像的超分辨率处理方法所使用的算法相比，能够大幅度减少处理工序数。
本发明的第一发明涉及一种面向TV影像的加速超分辨率处理方法，从1帧大小的TV影像信号所含有的帧减少光学劣化并复原成劣化前的1帧大小的TV影像信号。本发明的第一发明的面向TV影像的加速超分辨率处理方法的特征在于，具有：(S1)设定最大迭代运算次数的工序；(S2)劣化指示数指定工序，一边观察TV影像一边对与TV影像的劣化状况相适的劣化指示数进行指定；(S3)PSF准备工序，准备与劣化指示数关联的第一个PSF(PointSpread Function)的亮度分布及由该体系构成且与迭代运算次数关联地整理出的一系列的PSF的亮度分布；(S4)劣化图像准备工序，根据1帧大小的TV影像信号准备由1帧大小的亮度分布构成的劣化图像的亮度分布；(S5)复原图像初始值准备工序，将劣化图像的亮度分布作为复原图像初始值的推定亮度分布；(S6)PSF尺寸取得工序，一系列的PSF的亮度分布为彼此相同的图像尺寸，当将该图像尺寸称为PSF尺寸时，求出该PSF尺寸；(S7)将对迭代运算次数进行计数的计数器设定为1的第一重置工序；(S8)第一复原图像初始值修正工序，复制复原图像初始值的推定亮度分布并将其作为修正复原图像初始值的推定亮度分布，而且基于PSF尺寸修正修正复原图像初始值的推定亮度分布；(S9)PSF选定工序，从一系列的PSF的亮度分布选择与计数器的值关联的1个并将其作为PSF的亮度分布；(S10)将PSF的亮度分布卷积修正复原图像初始值的推定亮度分布而得到第一函数的工序；(S11)将第一函数进行反转而得到第二函数的工序；(S12)将第二函数乘以劣化图像的亮度分布而得到第三函数的工序；(S13)将第三函数乘以复原图像初始值的推定亮度分布而得到复原图像的推定亮度分布的工序；(S14)对计数器累加1的工序；(S15)验证工序，对计数器的值为最大迭代运算次数以上这一假设进行验证，若验证结果为假则前进至(S16)工序，若验证结果为真则前进至工序(S18)；(S16)将复原图像的推定亮度分布替换复原图像初始值的推定亮度分布的工序；(S17)返回(S8)工序的工序；(S18)将复原图像的推定亮度分布作为最大似然复原图像的亮度分布进行输出的工序；(S19)由(S1)～(S7)工序构成的准备工序；(S20)由(S8)～(S18)工序构成的第一图像复原工序，还具有：(S21)第一加速超分辨率处理工序，在准备工序S19及第一图像复原工序S20中，通过以各工序的S的序数从小到大的顺序按顺序执行来完成最大迭代运算次数的迭代运算，并输出最大似然复原图像的亮度分布；以及(S22)TV影像化工序，将最大似然复原图像的亮度分布作为1帧大小的TV影像信号并将其作为超分辨率TV影像信号进行输出。该第一发明与技术方案1所述的发明相同。
本发明的第二发明涉及构成了第一发明的面向TV影像的加速超分辨率处理方法的PSF准备工序的第二方式，该PSF准备工序的第二方式的特征在于，具有：(S30)将劣化指示数作为检索信息，在以一对一的方式将劣化指示数与PSF的亮度分布建立关联地整理而创建出的PSF数据库中进行检索，将检索到的PSF的亮度分布作为第一个PSF的亮度分布的工序；(S31)将1输入到对次数进行计数的第二计数器并重置的工序；(S32)将第一个PSF的亮度分布作为PSF初始值的亮度分布的工序；(S33)对第二计数器累加1的工序；(S34)验证工序，对第二计数器的值超过最大迭代运算次数这一假设进行验证，若验证结果为假则前进至(S35)工序，若验证结果为真则跳转至(S38)工序；(S35)通过根据PSF复原工序复原PSF初始值的亮度分布而得到最大似然复原PSF的亮度分布的工序；(S36)在设第二计数器的值为n时，将最大似然复原PSF的亮度分布作为第n个PSF的亮度分布的工序；(S37)返回(S33)工序的工序；以及(S38)在设上述最大迭代运算次数为n_max而且设小于上述n_max的自然数为n时，从上述第一个PSF的亮度分布到上述第n_max个PSF的亮度分布为止按该顺序连续地作为一系列的PSF的亮度分布，将上述劣化指示数作为标签标注于该一系列的PSF的亮度分布，作为与上述劣化指示数关联的一系列的PSF的亮度分布的工序。该第二发明与技术方案2记载的发明相同。
本发明的第三发明涉及构成了第一发明的面向TV影像的加速超分辨率处理方法的PSF准备工序的第三方式，该PSF准备工序的第三方式的特征在于，具有：(S40)将最大迭代运算次数设定成5的工序；(S41)准备扩展PSF数据库的工序，扩展PSF数据库是通过如下的方式得到的：事先对于PSF数据库内的全部劣化指示数和与其关联的PSF的亮度分布的对的全部执行PSF准备工序，针对每个劣化指示数得到一系列的PSF的亮度分布，对这些针对每个劣化指示数的一系列的PSF的亮度分布进行编辑，由此，将劣化指示数与一系列的PSF的亮度分布建立关联地整理得到扩展PSF数据库；以及(S42)使用劣化指示数在扩展PSF数据库中进行检索，取得对应的一系列的PSF的亮度分布并将其输出的工序。该第三发明与技术方案3记载的发明相同。
本发明的第四发明涉及构成了第二发明的PSF准备工序的第二方式的PSF复原工序，该PSF复原工序的特征在于，具有：(S50)将6代入最大迭代运算次数的工序；(S51)将PSF初始值的亮度分布视为劣化了的图像的亮度分布并作为劣化PSF的亮度分布的工序；(S52)将PSF初始值的亮度分布作为复原PSF初始值的推定亮度分布的工序；(S53)将1代入计数器并重置的工序；(S54)复原PSF初始值修正工序，将复原PSF初始值20的推定亮度分布作为修正复原PSF初始值的推定亮度分布21，而且针对在将PSF初始值的亮度分布15与修正复原PSF初始值的推定亮度分布21进行卷积运算时在修正复原PSF初始值的推定亮度分布21的周边部产生的运算困难区域，基于PSF初始值的亮度分布15的图像尺寸来计算运算困难区域，并复制与上边边界相关的运算困难区域的像素，将该复制的像素以相对于修正复原PSF初始值的推定亮度分布21的上边边界成镜像对称地配置的方式粘贴在上边边界的外侧，同样地按顺时针地关于右边再关于下边最后关于左边实施同样的复制粘贴处理，从而修正修正复原PSF初始值的推定亮度分布21；(S55)将PSF初始值的亮度分布卷积修正复原PSF初始值的推定亮度分布而得到第四函数的工序；(S56)将第四函数进行反转而得到第五函数的工序；(S57)将第五函数乘以劣化PSF的亮度分布而得到第六函数的工序；(S58)将第六函数乘以复原PSF初始值的推定亮度分布而得到复原PSF的推定亮度分布的工序；(S59)对计数器累加1的工序；(S60)验证工序，对计数器的值超过最大迭代运算次数这一假设进行验证，若验证结果为假则前进至(S61)工序，若验证结果为真则跳转到(S63)工序；(S61)将复原PSF的推定亮度分布替换复原PSF初始值的推定亮度分布的工序；(S62)跳转到(S54)工序的工序；以及(S63)将复原PSF的推定亮度分布作为最大似然复原PSF的亮度分布输出的工序。该第四发明与技术方案4记载的发明相同。
本发明的第五发明涉及构成了第一发明的面向TV影像的加速超分辨率处理方法的第一复原图像初始值修正工序，该第一复原图像初始值修正工序的特征在于，具有：(S70)将复原图像初始值的推定亮度分布作为修正复原图像初始值的推定亮度分布的工序；(S71)基于PSF尺寸，对在将一系列的PSF的亮度分布中的某一个与修正复原图像初始值的推定亮度分布进行卷积运算时在修正复原图像初始值的推定亮度分布的周边部产生的运算困难区域进行计算的工序；(S72)复制修正复原图像初始值的推定亮度分布的运算困难区域内的像素，使该复制的像素相对于修正复原图像初始值的推定亮度分布的4边成镜像对称地分别翻转，而且以配置在修正复原图像初始值的推定亮度分布的4边的边界的外侧的方式粘贴来修正的工序；(S73)复制修正复原图像初始值的推定亮度分布的运算困难区域内的左上角部的像素，使该复制的左上角部的像素以左上角的顶点为旋转中心旋转180度，粘贴在修正复原图像初始值的推定亮度分布的左上角部产生的空白区域来修正的工序；(S74)复制修正复原图像初始值的推定亮度分布的运算困难区域内的右上角部的像素，使该复制的右上角部的像素以右上角的顶点为旋转中心旋转180度，粘贴在修正复原图像初始值的推定亮度分布的右上角部产生的空白区域来修正的工序；(S75)复制修正复原图像初始值的推定亮度分布的运算困难区域内的左下角部的像素，使该复制的左下角部的像素以左上角的顶点为旋转中心旋转180度，粘贴在修正复原图像初始值的推定亮度分布的左下角部产生的空白区域来修正的工序；以及(S76)复制修正复原图像初始值的推定亮度分布的运算困难区域内的右下角部的像素，使该复制的右下角部的像素以右上角的顶点为旋转中心旋转180度，粘贴在修正复原图像初始值的推定亮度分布的右下角部产生的空白区域来修正的工序。该第五发明与技术方案5记载的发明相同。
本发明的第六发明涉及构成了第一发明的面向TV影像的加速超分辨率处理方法的第一图像复原工序的第二方式，该第一图像复原工序的第二方式的特征在于，具有：(S80)PSF提供工序，在设最大迭代运算次数为n_max而且设小于n_max的自然数为n时，将一系列的PSF的亮度分布中的第n个PSF的亮度分布作为PSF的亮度分布并提供给第n级的第一单次图像复原工序；以及(S81)第一单次图像复原工序，根据PSF的亮度分布、复原图像初始值的推定亮度分布及劣化图像的亮度分布，进行与基于Bayse概率论的数学式的迭代运算内的1次运算相当的运算，求出并输出劣化图像的亮度分布的最大似然的复原图像的推定亮度分布，该第一单次图像复原工序S81具有：(S82)第二复原图像初始值修正工序，由与基于PSF尺寸修正复原图像初始值的推定亮度分布并求出修正复原图像初始值的推定亮度分布的第一复原图像初始值修正工序相同的处理顺序构成；(S83)将PSF的亮度分布卷积修正复原图像初始值的推定亮度分布而得到第七函数的工序；(S84)将第七函数进行反转而得到第八函数的工序；(S85)将第八函数乘以劣化图像的亮度分布而得到第九函数的工序；(S86)将第九函数乘以复原图像初始值的推定亮度分布而得到复原图像的推定亮度分布的工序；以及(S87)输出复原图像的推定亮度分布的工序，(S88)是第二图像复原工序，由通过将第n级的第一单次图像复原工序S81-n的(S87)工序的输出与第(n+1)级的第一单次图像复原工序S81-(n+1)的(S82)工序相连构成的n_max级的串联连结体构成，在该第二图像复原工序S88中，进行被串联连接的第一单次图像复原工序S81的次数即n_max次的迭代运算，将从n_max级的第一单次图像复原工序S81-n_max输出的复原图像的推定亮度分布作为最大似然复原图像的亮度分布进行输出。该第六发明与技术方案6所述的发明相同。
本发明的第七发明涉及构成了第一发明的面向TV影像的加速超分辨率处理方法的第一图像复原工序的第三方式，该第一图像复原工序的第三方式的特征在于，具有：(S90)通过将0代入计数器来重置的工序；(S91)通过将1代入第二计数器来重置的工序；(S92)验证工序，对计数器的值为零以外这一假设进行验证，若验证结果为假则前进至(S93)工序，若验证结果为真则跳转到(S96)工序；(S93)将劣化图像的亮度分布向劣化图像保存用缓冲器及复原图像初始值用缓冲器传送的工序；(S94)跳转到(S96)工序的工序；(S95)将(S102)工序的复原图像的推定亮度分布向复原图像初始值用缓冲器传送的工序；(S96)在设第二计数器的值为m时，将一系列的PSF的亮度分布内的第m个PSF的亮度分布作为PSF的亮度分布的工序；(S97)从复原图像初始值用缓冲器读取复原图像初始值的推定亮度分布的工序；(S98)第三复原图像初始值修正工序，由与基于PSF尺寸修正复原图像初始值的推定亮度分布并将其作为修正复原图像初始值的推定亮度分布的第一复原图像初始值修正工序相同的处理顺序构成；(S99)将PSF的亮度分布卷积修正复原图像初始值的推定亮度分布而得到第十函数的工序；(S100)将第十函数进行反转而得到第十一函数的工序；(S101)从劣化图像保存用缓冲器读取劣化图像的亮度分布并将其乘以第十一函数而得到第十二函数的工序；(S102)将第十二函数乘以复原图像初始值的推定亮度分布而得到复原图像的推定亮度分布的工序；(S103)对计数器累加1的工序；(S104)对第二计数器累加1的工序；(S105)验证工序，对计数器的值超过最大迭代运算次数这一假设进行验证，若验证结果为假则跳转到(S95)工序，若验证结果为真则前进至(S106)工序；以及(S106)将复原图像的推定亮度分布作为最大似然复原图像的亮度分布进行输出的工序，(S107)是第三图像复原工序，通过以各工序的S的序数从小到大的顺序按顺序执行来完成最大迭代运算次数的迭代运算，并输出被最大似然化的最大似然复原图像。该第七发明与技术方案7所述的发明相同。
本发明的第八发明涉及构成了第一发明的面向TV影像的加速超分辨率处理方法的劣化图像准备工序，该劣化图像准备工序的特征在于，具有：(S110)从1帧大小的TV影像信号取出构成帧的RGB信号的RGB信号提取工序；(S111)延迟工序，在1帧大小的TV影像信号内，延迟1帧大小地输出取出了RGB信号的剩余的TV影像信号；(S112)对RGB信号进行YUV转换并作为YUV信号的YUV转换工序；(S113)Y劣化图像提取工序，在YUV信号内，提取仅由作为亮度成分的Y信号构成的劣化图像的亮度分布并作为Y劣化图像的亮度分布，保持仅由剩余的U信号构成的U劣化图像的分布及仅由V信号构成的V劣化图像的分布；(S114)去伽马处理工序，进行Y劣化图像的亮度分布的去伽马处理，并作为由1帧大小的亮度分布构成的劣化图像的亮度分布进行输出。该第八发明与技术方案8记载的发明相同。
本发明的第九发明涉及构成了第一发明的面向TV影像的加速超分辨率处理方法的TV影像化工序，该TV影像化工序的特征在于，具有：(S120)进行最大似然复原图像的亮度分布的伽马处理的伽马处理工序；(S121)复原图像合成工序，将在Y劣化图像提取工序中保持的U劣化图像的分布和V劣化图像的分布以及由Y成分构成的伽马处理后的最大似然复原图像的亮度分布合成1张YUV复原图像的分布；(S122)RGB转换工序，进行YUV复原图像的分布的RGB转换并作为RGB复原图像的分布；(S123)读取RGB复原图像的分布并输出RGB信号的RGB信号转换工序；以及(S124)TV影像信号合成工序，将RGB信号与延迟工序输出的剩余的TV影像信号合成并作为由1帧大小的TV影像信号构成的超分辨率TV影像信号进行输出。该第九发明与技术方案9记载的发明相同。
本发明的第十发明构成了构成面向TV影像的加速超分辨率处理方法的第一～第七发明的PSF的亮度分布，该PSF的亮度分布的特征在于，由没有边缘的正方形状的同一尺寸的像素构成，其亮度分布是中心最亮的二维正态分布，其尺寸为5×5像素。该第十发明与技术方案10记载的发明相同。
本发明的第十一发明是用于使计算机执行构成了第一发明的面向TV影像的加速超分辨率处理方法的准备工序及第一图像复原工序的第一加速超分辨率处理程序。该第十一发明与技术方案11记载的发明相同。
本发明的第十二发明是用于使计算机执行构成了第一发明的面向TV影像的加速超分辨率处理方法的准备工序及构成了第六发明的面向TV影像的加速超分辨率处理方法的第二图像复原工序的第二加速超分辨率处理程序。该第十二发明与技术方案12记载的发明相同。
本发明的第十三发明是用于使计算机执行构成了第一发明的面向TV影像的加速超分辨率处理方法的准备工序及构成了第七发明的面向TV影像的加速超分辨率处理方法的第三图像复原工序的第三加速超分辨率处理程序。该第十三发明与技术方案13记载的发明相同。
第一加速超分辨率处理程序、第二加速超分辨率处理程序及第三加速超分辨率处理程序分别是使用计算机能够读取并执行的语言、例如C++、XTML、HTML及JAVA(注册商标)进行编写而成的。在本发明中，使用C++、XTML、HTML及JAVA(注册商标)。
本发明的第十四发明是一种第一存储介质，其特征在于，第十一发明的第一加速超分辨率处理程序、第十二发明的第二加速超分辨率处理程序及第十三发明的第三加速超分辨率处理程序均被加密，该第一存储介质存储这些被加密的第一加速超分辨率处理程序、第二加速超分辨率处理程序及第三加速超分辨率处理程序，并且能够与计算机连接且能够被计算机读取。该第十四发明与技术方案14记载的发明相同。
在本发明中，在第一存储介质中，能够使用具有8G字节以上的容量且应对加密存储的USB(Universal Serial Bus：通用串行总线)闪存棒。除此以外，除了CD(CompactDisk：压缩光盘)或DVD(Digital Versatile Disk：数字通用光盘)以外，只要是具有8G字节以上的容量且应对加密存储的设备即可，还能够使用闪存存储卡、外接HDD(Hard DiskDrive：硬盘驱动器)、外接SDD(Solidstate Disk Drive：固态盘驱动器)等。
本发明的第十五发明涉及一种面向TV影像的加速超分辨率处理装置，根据由第一～第五、第八～第十发明构成的面向TV影像的加速超分辨率处理方法，从1帧大小的TV影像信号所含有的帧减少光学劣化并复原成劣化前的1帧大小的TV影像信号，该面向TV影像的加速超分辨率处理装置的特征在于，具有：(W1)设定最大迭代运算次数的单元；(W2)劣化指示数指定单元，一边观察TV影像一边对与TV影像的劣化状况相适的劣化指示数进行指定；(W3)PSF准备单元，准备与劣化指示数关联的第一个PSF的亮度分布及由该体系构成且与迭代运算次数关联地整理出的一系列的PSF的亮度分布；(W4)劣化图像准备单元，根据1帧大小的TV影像信号准备由1帧大小的亮度分布构成的劣化图像的亮度分布；(W5)复原图像初始值准备单元，将劣化图像的亮度分布作为复原图像初始值的推定亮度分布；(W6)PSF尺寸取得单元，一系列的PSF的亮度分布为彼此相同的图像尺寸，当将该图像尺寸称为PSF尺寸时，求出该PSF尺寸；(W7)将对迭代运算次数进行计数的计数器设定为1的第一重置单元；(W8)第一复原图像初始值修正单元，复制复原图像初始值的推定亮度分布并将其作为修正复原图像初始值的推定亮度分布，而且基于PSF尺寸修正修正复原图像初始值的推定亮度分布；(W9)PSF选定单元，从一系列的PSF的亮度分布选择与计数器的值关联的1个并将其作为PSF的亮度分布；(W10)将PSF的亮度分布卷积修正复原图像初始值的推定亮度分布而得到第十三函数的单元；(W11)将第十三函数进行反转而得到第十四函数的单元；(W12)将第十四函数乘以劣化图像的亮度分布而得到第十五函数的单元；(W13)将第十五函数乘以复原图像初始值的推定亮度分布而得到复原图像的推定亮度分布的单元；(W14)对计数器累加1的单元；(W15)验证单元，对计数器的值为最大迭代运算次数以上这一假设进行验证，若验证结果为假则前进至(W16)单元，若验证结果为真则进入单元(W18)；(W16)将复原图像的推定亮度分布替换复原图像初始值的推定亮度分布的单元；(W17)返回(W8)单元的单元；(W18)将复原图像的推定亮度分布作为最大似然复原图像的亮度分布输出的单元；(W19)由(W1)～(W7)单元构成的准备单元；(W20)由(W8)～(W18)单元构成的第一图像复原单元，还具有：(W21)第一加速超分辨率处理单元，在准备单元W19及第一图像复原单元W20中，通过以单元的W的序数从小到大的顺序按顺序执行而完成最大迭代运算次数的迭代运算，并输出最大似然复原图像的亮度分布；以及(W22)TV影像化单元，将最大似然复原图像的亮度分布作为1帧大小的TV影像信号并将其作为超分辨率TV影像信号进行输出。该第十五发明与技术方案15所述的发明相同。
本发明的第十六发明涉及构成了第十五发明的面向TV影像的加速超分辨率处理装置的PSF准备单元的第二方式，该PSF准备单元的第二方式的特征在于，具有：(W30)将劣化指示数作为检索信息，在以一对一的方式将劣化指示数与PSF的亮度分布建立关联地整理而创建出的PSF数据库中进行检索，将检索到的PSF的亮度分布作为第一个PSF的亮度分布的单元；(W31)将1输入到计数次数的第二计数器并重置的单元；(W32)将第一个PSF的亮度分布作为PSF初始值的亮度分布的单元；(W33)对第二计数器累加1的单元；(W34)验证单元，对第二计数器的值超过最大迭代运算次数这一假设进行验证，若验证结果为假则前进至(W35)单元，若验证结果为真则跳转至(W38)单元；(W35)通过根据PSF复原单元复原PSF初始值的亮度分布而得到复原PSF的亮度分布的单元；(W36)在设第二计数器的值为n时，将复原PSF的亮度分布作为第n个PSF的亮度分布的单元；(W37)返回(W33)单元的单元；以及(W38)在设上述最大迭代运算次数为n_max而且设小于上述n_max的自然数为n时，从上述第一个PSF的亮度分布到上述第n_max个亮度分布为止按该顺序相连地作为一系列的PSF的亮度分布，并将上述劣化指示数作为标签标注于该一系列的PSF的亮度分布，而创建与上述劣化指示数关联的上述一系列的PSF的亮度分布的单元。该第十六发明与技术方案16记载的发明相同。
本发明的第十七发明涉及构成了第十五发明的面向TV影像的加速超分辨率处理装置的PSF准备单元的第三方式，该PSF准备单元的第三方式的特征在于，具有：(W40)将最大迭代运算次数设定成5的单元；(W41)准备扩展PSF数据库的单元，扩展PSF数据库是通过如下的方式得到的：事先对于PSF数据库内的全部劣化指示数和与其关联的PSF的亮度分布的对的全部执行PSF准备单元，针对每个劣化指示数得到一系列的PSF的亮度分布，对这些针对每个劣化指示数的一系列的PSF的亮度分布进行编辑，由此，将劣化指示数与一系列的PSF的亮度分布建立关联地整理得到扩展PSF数据库；以及(W42)使用劣化指示数在扩展PSF数据库中进行检索，取得对应的一系列的PSF的亮度分布的单元。该第十七发明与技术方案17记载的发明相同。
本发明的第十八发明涉及构成了第十六发明的PSF准备单元的第二方式的PSF复原单元，该PSF复原单元的特征在于，具有：(W50)将6代入最大迭代运算次数的单元；(W51)将PSF初始值的亮度分布视为劣化了的图像的亮度分布并作为劣化PSF的亮度分布的单元；(W52)将PSF初始值的亮度分布作为复原PSF初始值的推定亮度分布的单元；(W53)将1代入计数器并重置的单元；(W54)复原PSF初始值修正单元，将复原PSF初始值的推定亮度分布作为修正复原PSF初始值的推定亮度分布，而且针对在将PSF初始值的亮度分布与修正复原PSF初始值的推定亮度分布进行卷积运算时在修正复原PSF初始值的推定亮度分布的周边部产生的运算困难区域，基于PSF初始值的亮度分布的图像尺寸来计算运算困难区域，并复制与上边边界相关的运算困难区域的像素，将该复制的像素以相对于修正复原PSF初始值的推定亮度分布的上边边界成镜像对称地配置的方式粘贴在上边边界的外侧，同样地按顺时针地关于右边再关于下边最后关于左边实施同样的复制粘贴处理，从而修正修正复原PSF初始值的推定亮度分布；(W55)将PSF初始值的亮度分布卷积修正复原PSF初始值的推定亮度分布而得到第十六函数的单元；(W56)将第十六函数进行反转而得到第十七函数的单元；(W57)将第十七函数乘以劣化PSF的亮度分布而得到第十八函数的单元；(W58)将第十八函数乘以复原PSF初始值的推定亮度分布而得到复原PSF的推定亮度分布的单元；(W59)对计数器累加1的单元；(W60)验证单元，对计数器的值超过最大迭代运算次数这一假设进行验证，若验证结果为假则跳转到(W61)单元，若验证结果为真则跳转到(W63)单元；(W61)将复原PSF的推定亮度分布替换复原PSF初始值的推定亮度分布的单元；(W62)跳转到(W54)单元的单元；以及(W63)将复原PSF的推定亮度分布作为最大似然复原PSF的亮度分布输出的单元。该第十八发明与技术方案18记载的发明相同。
本发明的第十九发明涉及构成了第十五发明的面向TV影像的加速超分辨率处理装置的第一复原图像初始值修正单元，该第一复原图像初始值修正单元的特征在于，具有：(W70)将复原图像初始值的推定亮度分布作为修正复原图像初始值的推定亮度分布的单元；(W71)基于PSF尺寸，对在将一系列的PSF的亮度分布中的某一个与修正复原图像初始值的推定亮度分布进行卷积运算时在修正复原图像初始值的推定亮度分布的周边部产生的运算困难区域进行计算的单元；(W72)复制修正复原图像初始值的推定亮度分布的运算困难区域内的像素，使该复制的像素相对于修正复原图像初始值的推定亮度分布的4边成镜像对称地分别翻转，而且以配置在修正复原图像初始值的推定亮度分布的4边的边界的外侧的方式粘贴来修正的单元；(W73)复制修正复原图像初始值的推定亮度分布的运算困难区域内的左上角部的像素，使该复制的左上角部的像素以左上角的顶点为旋转中心旋转180度，并粘贴在修正复原图像初始值的推定亮度分布的左上角部产生的空白区域来修正的单元；(W74)复制修正复原图像初始值的推定亮度分布的运算困难区域内的右上角部的像素，使该复制的右上角部的像素以右上角的顶点为旋转中心旋转180度，粘贴在修正复原图像初始值的推定亮度分布的右上角部产生的空白区域来修正的单元；(W75)复制修正复原图像初始值的推定亮度分布的运算困难区域内的左下角部的像素，使该复制的左下角部的像素以左上角的顶点为旋转中心旋转180度，粘贴在修正复原图像初始值的推定亮度分布的左下角部产生的空白区域来修正的单元；以及(W76)复制修正复原图像初始值的推定亮度分布的运算困难区域内的右下角部的像素，使该复制的右下角部的像素以右上角的顶点为旋转中心旋转180度，粘贴在修正复原图像初始值的推定亮度分布的右下角部产生的空白区域来修正的单元。该第十九发明与技术方案19记载的发明相同。
本发明的第二十发明涉及构成了第十五发明的面向TV影像的加速超分辨率处理装置的第一图像复原单元的第二方式，该第一图像复原单元的第二方式的特征在于，具有：(W80)PSF提供单元，在设最大迭代运算次数为n_max而且设小于n_max的自然数为n时，将一系列的PSF的亮度分布中的第n个PSF的亮度分布作为PSF的亮度分布并提供给第n级的第一单次图像复原单元；以及(W81)第一单次图像复原单元，根据PSF的亮度分布、复原图像初始值的推定亮度分布及劣化图像的亮度分布，进行与基于Bayse概率论的数学式的迭代运算内的1次运算相当的运算，求出并输出劣化图像的亮度分布的最大似然的复原图像的推定亮度分布；(W82)通过由与第一复原图像初始值修正单元相同的结构构成的第二复原图像初始值修正单元求出修正复原图像初始值的推定亮度分布的单元；(W83)将PSF的亮度分布卷积修正复原图像初始值的推定亮度分布而得到第十九函数的单元；(W84)将第十九函数进行反转而得到第二十函数的单元；(W85)将第二十函数乘以劣化图像的亮度分布而得到第二十一函数的单元；(W86)将第二十一函数乘以复原图像初始值的推定亮度分布而得到复原图像的推定亮度分布的单元；以及(W87)输出复原图像的推定亮度分布的单元，(W88)第二图像复原单元，由通过将第n级的第一单次图像复原单元W81-n的(W87)单元的输出与第(n+1)级的第一单次图像复原单元W81-(n+1)的(W82)单元连接而构成的n_max级的串联连结体构成，在该第二图像复原单元W88中，进行被串联连接的第一单次图像复原单元W81的数量即n_max次的迭代运算，将从n_max级的第一单次图像复原单元W81-n_max输出的复原图像的推定亮度分布作为最大似然复原图像的亮度分布进行输出。该第二十发明与技术方案20的发明相同。
本发明的第二十一发明涉及构成了第十五发明的面向TV影像的加速超分辨率处理装置的第一图像复原单元的第三方式，该第一图像复原单元的第三方式的特征在于，具有：(W90)通过将0代入计数器来重置的单元；(W91)通过将1代入第二计数器来重置的单元；(W92)验证单元，对于计数器的值为零以外这一假设进行验证，若验证结果为假则前进至(W93)单元，若验证结果为真则跳转到(W96)单元；(W93)将劣化图像的亮度分布向劣化图像保存用缓冲器及复原图像初始值用缓冲器传送的单元；(W94)跳转到(W96)单元的单元；(W95)将(W102)单元的复原图像的推定亮度分布向复原图像初始值用缓冲器传送的单元；(W96)在设第二计数器的值为m时，将一系列的PSF的亮度分布内的第m个PSF的亮度分布作为PSF的亮度分布的单元；(W97)从复原图像初始值用缓冲器读取复原图像初始值的推定亮度分布的单元；(W98)第三复原图像初始值修正单元，由与修正复原图像初始值的推定亮度分布并将其作为修正复原图像初始值的推定亮度分布的第一复原图像初始值修正单元相同的结构构成；(W99)将PSF的亮度分布卷积修正复原图像初始值的推定亮度分布而得到第二十二函数的单元；(W100)将第二十二函数进行反转而得到第二十三函数的单元；(W101)将第二十三函数乘以劣化图像的亮度分布而得到第二十四函数的单元；(W102)将第二十四函数乘以复原图像初始值的推定亮度分布而得到复原图像的推定亮度分布的单元；(W103)对计数器累加1的单元；(W104)对第二计数器累加1的单元；(W105)验证单元，对计数器的值超过最大迭代运算次数这一假设进行验证，若验证结果为假则跳转到(W95)单元，若验证结果为真则前进至(W106)单元；以及(W106)将复原图像的推定亮度分布作为最大似然复原图像的亮度分布进行输出的单元，(W107)是第三图像复原单元，通过以各单元的S的序数从小到大的顺序按顺序执行来完成最大迭代运算次数的迭代运算，并输出被最大似然化的最大似然复原图像。该第二十一发明与技术方案21的发明相同。
本发明的第二十二发明涉及构成了第十五发明的面向TV影像的加速超分辨率处理装置的劣化图像准备单元，该劣化图像准备单元的特征在于，具有：(W110)从1帧大小的TV影像信号取出构成帧的RGB信号的RGB信号提取单元；(W111)延迟单元，在1帧大小的TV影像信号内，延迟1帧大小地输出取出了RGB信号的剩余的TV影像信号；(W112)对RGB信号进行YUV转换并作为YUV信号的YUV转换单元；(W113)Y劣化图像提取单元，提取YUV信号内的仅由作为亮度成分的Y信号构成的劣化图像的亮度分布并作为Y劣化图像的亮度分布，并保持仅由剩余的U信号构成的U劣化图像的分布及仅由V信号构成的V劣化图像的分布；(W114)去伽马处理单元，进行Y劣化图像的亮度分布的去伽马处理，并作为由1帧大小的亮度分布构成的劣化图像的亮度分布进行输出。该第二十二发明与技术方案22记载的发明相同。
本发明的第二十三发明涉及构成了第十五发明的面向TV影像的加速超分辨率处理装置的TV影像化单元，该TV影像化单元的特征在于，具有：(W120)进行最大似然复原图像的亮度分布的伽马处理的伽马处理单元；(W121)复原图像合成单元，将在由Y劣化图像提取单元保持的U劣化图像的分布、V劣化图像的分布和由Y成分构成的伽马处理后的最大似然复原图像的亮度分布合成1张YUV复原图像的分布；(W122)RGB转换单元，进行YUV复原图像的分布的RGB转换并作为RGB复原图像的分布；(W123)读取RGB复原图像的分布并输出RGB信号的RGB信号转换单元；以及(W124)TV影像信号合成单元，将RGB信号与延迟单元所输出的剩余的TV影像信号合成并作为由1帧大小的TV影像信号构成的超分辨率TV影像信号进行输出。该第二十三发明与技术方案23记载的发明相同。
本发明的第二十四发明是构成且执行构成了第十五发明的面向TV影像的加速超分辨率处理装置的准备单元及构成了第一图像复原单元的第四加速超分辨率处理程序。该第二十四发明与技术方案24记载的发明相同。
本发明的第二十五发明是构成且执行构成了第十五发明的面向TV影像的加速超分辨率处理装置的准备单元及构成了第二十发明的面向TV影像的加速超分辨率处理装置的第二图像复原单元的第五加速超分辨率处理程序。该第二十五发明与技术方案25记载的发明相同。
本发明的第二十六发明是构成且执行构成了第十五发明的面向TV影像的加速超分辨率处理装置的准备单元及构成了第二十一发明的面向TV影像的加速超分辨率处理装置的第三图像复原单元的第六加速超分辨率处理程序。该第二十六发明与技术方案26记载的发明相同。
第四加速超分辨率处理程序、第五加速超分辨率处理程序及第六加速超分辨率处理程序分别是使用计算机能够读取并执行的语言、例如，C++、XTML、HTML及JAVA(注册商标)进行编写而成的。在本发明中，使用C++、XTML、HTML及JAVA(注册商标)。
本发明的第二十七发明是一种第二存储介质，第四加速超分辨率处理程序、第五加速超分辨率处理程序及第六加速超分辨率处理程序分别被加密，第二存储介质存储这些被加密的第四加速超分辨率处理程序、第五加速超分辨率处理程序及第六加速超分辨率处理程序，并且能够与计算机连接且能够被计算机读取。
在本发明的第二存储介质中，能够使用与第一存储介质相同的设备。
发明效果
以往，仅根据TV影像的1帧的信息复原图像并连续地实施该复原处理以进行TV影像的超分辨率处理的装置在被LSI化时，存在成为150万逻辑门规模这种大规模且不经济这样的问题，针对该问题，通过采用本发明的面向TV影像的加速超分辨率方法及装置，能够实现通过2次迭代运算得到与以往相同的品质的超分辨率图像这种工序数及单元数削减效果、高速化效果、接近实时处理效果、LSI化时的逻辑门规模能够削减到以往的约3％的7万逻辑门这种效果、LSI化时的成本低这种经济效果中的至少一部分。另外，本发明只要是TV方式的影像即可，无论什么射线源都可以，因此，红外线相机或X射线相机的影像均可以，从而还具有适用范围宽的效果。
附图说明
图1是表示实际的TV影像的1帧所含有的劣化信息的1例的图。
图2是表示本发明的第一发明的面向TV影像的加速超分辨率处理方法中的处理顺序的1例的流程图。
图3是表示本发明的第二发明的PSF(Point Spread Function：点扩散函数)准备工序的第二方式中的处理顺序的1例的流程图。
图4是表示本发明的第三发明的PSF准备工序的第三方式中的处理顺序的1例的流程图。
图5是表示本发明的第四发明的PSF复原工序中的处理顺序的1例的流程图。
图6是表示本发明的第五发明的第一复原图像初始值修正工序中的处理顺序的1例的流程图。
图7是表示作为本发明的第六发明的第一图像复原工序的第二方式的第二图像复原工序中的处理顺序的1例的流程图。
图8是表示本发明的第七发明的第三图像复原工序中的处理顺序的1例的流程图。
图9是表示本发明的第八发明的劣化图像准备工序中的处理顺序的1例的流程图。
图10是表示本发明的第九发明的TV影像化工序中的处理顺序的1例的流程图。
图11是表示本发明的第十发明的PSF的亮度分布的1例的流程图。
图12是表示本发明的第十五发明的与面向TV影像的加速超分辨率处理装置的结构相关的1例的图。
图13是表示本发明的第十六发明的与PSF准备单元的第二方式的结构相关的1例的图。
图14是表示本发明的第十七发明的与PSF准备单元的第三方式的结构相关的1例的图。
图15是表示本发明的PSF数据库内的数据的1例的图。
图16是表示本发明的扩展PSF数据库内的数据的1例的图。
图17是表示本发明的第十八发明的与PSF复原单元的结构相关的1例的图。
图18是表示本发明的第十九发明的与第一复原图像初始值修正单元的结构相关的1例的图。
图19是表示在基于第一复原图像初始值修正单元的复原图像初始值的推定亮度分布的周边部产生的运算困难区域的修正的1例的图。
图20是表示本发明的第二十发明的与第一图像复原单元的第二方式的第二图像复原单元的结构相关的1例的图。
图21是表示本发明的第二十一发明的与第一图像复原单元的第三方式的第三图像复原单元的结构相关的1例的图。
图22是表示本发明的第二十二发明的与劣化图像准备单元的结构相关的1例的图。
图23是表示本发明的第二十三发明的与TV影像化单元的结构相关的1例的图。
图24是表示本发明的实施例1的与面向TV影像的加速超分辨率处理系统的结构相关的1例的图。
图25是表示本发明的第一加速超分辨率处理程序的结构的1例及将该程序安装到计算机的状况的1例的图。
图26是表示本发明的与超分辨率处理窗口的结构相关的1例的图。
图27是在本发明的面向TV影像的加速超分辨率处理系统中将执行超分辨率处理的顺序的1例作为事务表(transaction table)来表示的图。
图28是表示本发明的实施例1的超分辨率处理的状况的1例的图。
图29是表示本发明的与第一机顶盒内部的结构相关的1例的图。
图30是表示本发明的第一机顶盒的设定的状况的1例的图。
图31是表示基于本发明人研发的面向TV影像的超分辨率处理方法的开发数据的、迭代运算次数和LSI规模之间的关系的1例的图。
图32是表示基于本发明人研发的以往方法和面向TV影像的加速超分辨率处理方法得到的超分辨率处理品质的比较的1例的图。
图33是表示标准图像的劣化程度与基于迭代运算次数的超分辨率处理品质之间的关系的1例的图。
具体实施方式
针对实施本发明的最佳实施方式，适当地使用附图来进行说明。
在本发明中，劣化图像、PSF及复原图像分别由布满没有边缘的相同尺寸的正方形的像素而构成的，各像素是由8位深度的红原色(R)、8位深度的绿原色(G)及8位深度的蓝原色(B)构成的RGB彩色像素，在RGB是相同位数的情况下，成为灰度像素。在本发明中，PSF仅由灰度像素构成。
在本发明中，劣化图像、PSF及复原图像是将左上角的像素作为原点，针对原点所在行，将与不改变行地朝向横向的像素行平行的轴作为x轴，针对原点所在列，将与不改变列地朝向纵向的像素列平行的轴作为y轴。劣化图像、PSF及复原图像内的全部的像素能够通过(x，y)这样的二维坐标进行指定。
在本发明中，劣化图像及复原图像是彼此相同的图像尺寸，具有相同的坐标。但是，在本发明中，由于不对图像模糊成难以辨别的程度的情况进行处理，所以PSF的周边部分大致为零，为削减计算次数，假设成立无论到劣化图像及复原图像内的何处，PSF的亮度分布都不变化，以此进行处理，PSF尺寸使用5像素乘5像素的尺寸。
在本发明中，仅对PSF、劣化图像及复原图像分别由亮度成分构成的情况进行处理，复原运算所使用的全部仅是亮度成分。其理由在于，运算次数减少以及色调不变。本发明的方法与R、G、B单独复原的情况相比，能够确认超分辨率处理品质没有降低。
在本发明中，由于PSF、劣化图像及复原图像分别由亮度成分构成，所以将PSF称为PSF的亮度分布、劣化图像的亮度分布及复原图像的推定亮度分布。由于复原图像的正确的亮度分布不明确，所以被称为推定亮度分布。当利用本发明的面向TV影像的加速超分辨率处理方法进行图像复原时，成为几乎收敛于没有光学劣化的状态的状态，几乎不逊色于原图像，从而在为最大似然复原图像的情况下，作为亮度分布。
图2将本发明的第一发明的面向TV影像的加速超分辨率处理方法中的处理顺序的1例作为流程图进行了图示。在图2的流程图中，内含工序序号的空白的四边形表示判断工序以外的工序，内含工序序号的空白的菱形表示判断工序，箭头表示数据的输入输出方向，内含数字的空白的四边形是指若要素为例如1则表示最大迭代运算次数1，粗线表示处理的流程，空白的圆形标记表示处理的结合及开始及结束，黑圈表示数据的分支及结合。
图2的面向TV影像的加速超分辨率处理方法的特征在于，具有：(S1)设定最大迭代运算次数1的工序；(S2)一边观察TV影像一边对与TV影像的劣化状况相适的劣化指示数2进行指定的劣化指示数指定工序；(S3)PSF准备工序，准备与劣化指示数2关联的第一个PSF的亮度分布14及由该体系构成且与迭代运算次数关联地整理出的一系列的PSF的亮度分布3；(S4)劣化图像准备工序，根据1帧大小的TV影像信号5准备由1帧大小的亮度分布构成的劣化图像的亮度分布4；(S5)将劣化图像的亮度分布4作为复原图像初始值的推定亮度分布6的复原图像初始值准备工序；(S6)PSF尺寸取得工序，一系列的PSF的亮度分布3为彼此相同的图像尺寸，当将该图像尺寸称为PSF尺寸7时，求出该PSF尺寸7；(S7)将对迭代运算次数进行计数的计数器设定为1的第一重置工序；(S8)第一复原图像初始值修正工序，复制复原图像初始值的推定亮度分布6并将其作为修正复原图像初始值的推定亮度分布8，再基于PSF尺寸7修正所述修正复原图像初始值的推定亮度分布8；(S9)PSF选定工序，从一系列的PSF的亮度分布3选择与计数器的值关联的1个并将其作为PSF的亮度分布9；(S10)将PSF的亮度分布9卷积修正复原图像初始值的推定亮度分布8而得到第一函数的工序；(S11)对第一函数进行反转而得到第二函数的工序；(S12)第二函数乘以劣化图像的亮度分布4而得到第三函数的工序；(S13)第三函数乘以复原图像初始值的推定亮度分布6而得到复原图像的推定亮度分布10的工序；(S14)对计数器累加1的工序；(S15)对计数器的值为最大迭代运算次数1以上这一假设进行验证，若验证结果为假则前进至(S16)工序，若验证结果为真则进入工序(S18)的工序；(S16)将复原图像的推定亮度分布10替换复原图像初始值的推定亮度分布6的工序；(S17)返回(S8)工序的工序；(S18)将复原图像的推定亮度分布10作为最大似然复原图像的亮度分布11进行输出的工序；(S19)由(S1)～(S7)工序构成的准备工序；(S20)由(S8)～(S18)工序构成的第一图像复原工序，还具有：(S21)第一加速超分辨率处理工序，在准备工序S19及第一图像复原工序S20中，通过以各工序的S的序数从小到大的顺序按顺序执行来完成最大迭代运算次数的迭代运算，并输出最大似然复原图像的亮度分布11；(S22)将最大似然复原图像的亮度分布11作为1帧大小的TV影像信号并将其作为超分辨率TV影像信号12进行输出的TV影像化工序。在图2中，处理从工序S1开始，并在工序S22结束。图2的面向TV影像的加速超分辨率处理方法是1帧大小的处理，因此为了形成影像，需要以帧单位连续地执行图2所示的全部工序。
第一图像复原工序S20基于数学式1进行迭代运算，根据劣化图像的亮度分布4求出最大似然复原图像的亮度分布11。数学式1是以能够对本发明人发明并注册的专利文献2记载的数学式15进行实数处理且进行卷积运算并且适合加速运算的方式被改写成的。数学式1的方法与专利文献2的数学式15的方法相比，不使用PSF的傅立叶转换体即OTF(OpticalTransfer Function：光学传递函数)而使用PSF，未考虑相位，因此，虽然运算精度降低，但TV影像很少会模糊成辨别不出像的程度，从而利用基于数学式1的方法，在实用上是没有问题的。而且，数学式1的方法通过使用与从同一PSF出发的迭代运算次数相匹配的复原程度的PSF的亮度分布，省略了将括弧中的运算结果卷积PSF的反转函数这样的在专利文献2的数学式15的方法中必须的运算。由此，不仅工序数削减40％，还能够实现加速运算，仅通过几次的迭代运算，就能够得到不比几乎收敛状态(与劣化前的状态极接近的状态)逊色的最大似然复原图像的亮度分布。
[数学式1]
在数学式1中，F表示复原图像的推定亮度分布，F的角标表示第k个值，G表示劣化图像的亮度分布，H表示PSF的亮度分布，H的角标表示第k个值，圆圈中的星号的标记表示卷积运算。另外，k是正整数，当k为1时，F1表示复原图像初始值的推定亮度分布，H1表示第一个PSF的亮度分布，当k为n时，Fn表示第n个复原图像的推定亮度分布，Hn表示第n个PSF的亮度分布。
本发明将TV影像作为对象，TV影像很少会模糊成辨别不出像的程度，从而数学式1的F的初始值的推定亮度分布F1采用劣化图像的亮度分布G。
本发明所使用的卷积运算是指卷积积分。数学式2是一般的卷积积分的运算式的1例，表示将F(i，j)卷积H(M，N)，其结果是G(i，j)。但是，在本发明中，由于将有限尺寸的图像的分布作为对象，所以数据呈离散值化，卷积积分的运算采用线性卷积。数学式3是一般的线性卷积运算式的1例。
[数学式2]
G(i，j)＝F(i，j)⊙H(M，N)…(2)
[数学式3]
在数学式2～3中，i、j、m、n、M及N是正整数。但是，基于数学式2～3的卷积运算会产生进行卷积运算的F或H中的大尺寸的一方能够用不超过小尺寸一方的尺寸的一半的最大整数表现的除外区域。存在如下问题：例如，F为100×100像素以上的尺寸，在卷积F的H为3×3像素尺寸的情况下，F的周边1像素成为除外区域，在卷积F的H为5×5像素尺寸的情况下，F的周边2像素成为除外区域。
因此，在本发明中，与所使用的H的尺寸相应地运算除外区域的像素是周边多少像素，将存在于该除外区域的F的最外周的像素以成为镜像对称的方式复制和粘贴在F的区域边界的外侧，创建新的像素，然后，通过变更最外周的位置，也就是说，通过变更F的图像及其尺寸，使得在运算后不产生除外区域。此时，通过从上边开始顺时针地对每个边进行复制和粘贴，将新产生的像素投入F本来的像素，由此在4角不会产生未被复制和粘贴的区域。例如，在H为5×5尺寸且F为W×L尺寸的情况下，在第一次复制和粘贴中，F从W×L尺寸成为W×(L+2)尺寸，在第二次复制和粘贴中，F从W×(L+2)尺寸成为(W+2)×(L+2)尺寸，在第三次复制和粘贴中，F从(W+2)×(L+2)尺寸成为(W+2)×(L+4)尺寸，在第四次复制和粘贴中，F从(W+2)×(L+4)尺寸成为(W+4)×(L+4)尺寸，成为(W+4)×(L+4)尺寸内的全部像素全部填满的状态。
在PSF准备工序S3中，与劣化指示数2关联的第一个PSF的亮度分布14是供第一次迭代运算时使用的，第二个PSF的亮度分布是供第二次迭代运算时使用的，第n个PSF的亮度分布是供第n次迭代运算时使用的。第二个PSF的亮度分布是在PSF复原工序中复原第一个PSF的亮度分布而得到的，第三个PSF的亮度分布是在PSF复原工序中复原第二个PSF的亮度分布而得到的，第n个PSF的亮度分布是在PSF复原工序中复原第n-1个PSF的亮度分布而得到的。由此，第二个PSF的亮度分布以后全部都是以与劣化指示数2关联的第一个PSF的亮度分布14为基础的亮度分布，是第一个PSF的亮度分布14的体系，第一个PSF的亮度分布14～第n个PSF的亮度分布17形成了与劣化指示数2关联的一系列的PSF的亮度分布3。
图3将本发明的第二发明的PSF准备工序S3的第二方式S3-2中的处理顺序的1例作为流程图进行了图示。在图3的流程图中，内含工序序号的空白的四边形表示判断工序以外的工序，内含工序序号的空白的菱形表示判断工序，箭头表示数据的输入输出方向，内含数字的空白的四边形是指若要素为例如1则表示最大迭代运算次数1，粗线表示处理的流程，空白的圆形标记表示处理的结合及开始及结束，黑圈表示数据的分支及结合。
图3的PSF准备工序S3的第二方式S3-2的特征在于，由以下工序构成：(S30)将劣化指示数2作为检索信息，从以一对一的方式将劣化指示数与PSF的亮度分布建立关联并整理而创建出的PSF数据库13进行检索，将检索到(对应)的PSF的亮度分布9作为第一个PSF的亮度分布14的工序；(S31)将1输入对次数进行计数的第二计数器并重置的工序；(S32)将第一个PSF的亮度分布14作为PSF初始值的亮度分布15的工序；(S33)对第二计数器累加1的工序；(S34)对第二计数器的值超过最大迭代运算次数1这一假设进行验证，若验证结果为假则前进至(S35)工序，若验证结果为真则结束的工序；(S35)通过根据PSF复原工序S63复原PSF初始值的亮度分布15而得到最大似然复原PSF的亮度分布16的工序；(S36)在设第二计数器的值为n时，将最大似然复原PSF的亮度分布16作为第n个PSF的亮度分布17的工序；(S37)返回(S33)工序的工序；(S38)设最大迭代运算次数1为n_max，设小于n_max的自然数为n时，从第一个PSF的亮度分布14到第n_max个PSF的亮度分布25为止按该顺序连续地作为一系列的PSF的亮度分布3，将劣化指示数2作为标签标注于该一系列的PSF的亮度分布3，来形成与劣化指示数2关联的一系列的PSF的亮度分布3的工序。
图4将本发明的第三发明的PSF准备工序S3的第三方式S3-3中的处理顺序的1例作为流程图进行了图示。在图4的流程图中，内含工序序号的空白的四边形表示判断工序以外的工序，内含工序序号的空白的菱形表示判断工序，箭头表示数据的输入输出方向，内含数字的空白的四边形是指若要素为例如1则表示最大迭代运算次数1，粗线表示处理的流程，空白的圆形标记表示处理的结合及开始及结束，黑圈表示数据的分支及结合。
图4的PSF准备工序S3的第三方式S3-3的特征在于，由以下工序构成：(S40)将最大迭代运算次数1设定成5的工序；(S41)准备扩展PSF数据库18的工序，该扩展PSF数据库18是通过如下方式得到的：事先对于PSF数据库13内的全部劣化指示数和与其关联的PSF的亮度分布的对全部执行PSF准备工序，根据每个劣化指示数得到一系列的PSF的亮度分布3，并对这些根据每个劣化指示数的一系列的PSF的亮度分布进行编辑，由此，将劣化指示数与一系列的PSF的亮度分布建立关联地整理得到扩展PSF数据库18；(S42)使用劣化指示数2在扩展PSF数据库18中进行检索并取得对应的一系列的PSF的亮度分布3的工序。
图5将本发明的第四发明的PSF复原工序S63中的处理顺序的1例作为流程图进行了图示。在图5的流程图中，内含工序序号的空白的四边形表示判断工序以外的工序，内含工序序号的空白的菱形表示判断工序，箭头表示数据的输入输出方向，内含数字的空白的四边形是指若要素为例如1则表示最大迭代运算次数1，粗线表示处理的流程，空白的圆形标记表示处理的结合及开始及结束，黑圈表示数据的分支及结合。
图5的PSF复原工序S64的特征在于，具有：(S50)将6代入最大迭代运算次数1的工序；(S51)将PSF初始值的亮度分布15视为劣化了的图像的亮度分布并作为劣化PSF的亮度分布19的工序；(S52)将PSF初始值的亮度分布15作为复原PSF初始值的推定亮度分布20的工序；(S53)将1代入计数器并重置的工序；(S54)复原PSF初始值修正工序，将复原PSF初始值的推定亮度分布20作为修正复原PSF初始值的推定亮度分布21，再针对在将PSF初始值的亮度分布15与修正复原PSF初始值的推定亮度分布21进行卷积运算时在修正复原PSF初始值的推定亮度分布21的周边部产生的运算困难区域，基于PSF初始值的亮度分布15的图像尺寸来计算该运算困难区域，并复制与上边边界相关的运算困难区域的像素，将该复制的像素以相对于修正复原PSF初始值的推定亮度分布21的上边边界成镜像对称地配置的方式粘贴在上边边界的外侧，同样地按顺时针地关于右边再关于下边最后关于左边实施同样的复制粘贴处理，来对修正复原PSF初始值的推定亮度分布21进行修正；(S55)将PSF初始值的亮度分布15卷积修正复原PSF初始值的推定亮度分布21而得到第四函数的工序；(S56)对第四函数进行反转而得到第五函数的工序；(S57)第五函数乘以劣化PSF的亮度分布19而得到第六函数的工序；(S58)第六函数乘以复原PSF初始值的推定亮度分布20而得到复原PSF的推定亮度分布22的工序；(S59)对计数器累加1的工序；(S60)对计数器的值超过最大迭代运算次数1这一假设进行验证，若验证结果为假则前进至(S61)工序，若验证结果为真则跳转到(S63)工序的工序；(S61)将复原PSF的推定亮度分布22替换复原PSF初始值的推定亮度分布20的工序；(S62)跳转到(S54)工序的工序；(S63)将复原PSF的推定亮度分布22作为最大似然复原PSF的亮度分布16进行输出的工序。
图6将本发明的第五发明的第一复原图像初始值修正工序S8中的处理顺序的1例作为流程图进行了图示。在图6的流程图中，内含工序序号的空白的四边形表示判断工序以外的工序，内含工序序号的空白的菱形表示判断工序，箭头表示数据的输入输出方向，内含数字的空白的四边形是指若要素为例如1则表示最大迭代运算次数1，粗线表示处理的流程，空白的圆形标记表示处理的结合及开始及结束，黑圈表示数据的分支及结合。
图6的第一复原图像初始值修正工序S8的特征在于，具有：(S70)将复原图像初始值的推定亮度分布6作为修正复原图像初始值的推定亮度分布8的工序；(S71)基于PSF尺寸7，对在将一系列的PSF的亮度分布3中的某一个与修正复原图像初始值的推定亮度分布8进行卷积运算时在修正复原图像初始值的推定亮度分布8的周边部产生的运算困难区域进行计算的工序；(S72)复制修正复原图像初始值的推定亮度分布8的运算困难区域内的像素，将该复制的像素相对于修正复原图像初始值的推定亮度分布8的4边成镜像对称地分别翻转，再以配置在修正复原图像初始值的推定亮度分布8的4边的边界的外侧的方式粘贴来进行修正的工序；(S73)复制修正复原图像初始值的推定亮度分布8的运算困难区域内的左上角部的像素，将该复制的左上角部的像素以左上角的顶点为旋转中心旋转180度，粘贴在修正复原图像初始值的推定亮度分布8的左上角部产生的空白区域来修正的工序；(S74)复制修正复原图像初始值的推定亮度分布8的运算困难区域内的右上角部的像素，将该复制的右上角部的像素以右上角的顶点为旋转中心旋转180度，粘贴在修正复原图像初始值的推定亮度分布8的右上角部产生的空白区域来修正的工序；(S75)复制修正复原图像初始值的推定亮度分布8的运算困难区域内的左下角部的像素，将该复制的左下角部的像素以左上角的顶点为旋转中心旋转180度，粘贴在修正复原图像初始值的推定亮度分布8的左下角部产生的空白区域来修正的工序；(S76)复制修正复原图像初始值的推定亮度分布8的运算困难区域内的右下角部的像素，将该复制的右下角部的像素以右上角的顶点为旋转中心旋转180度，粘贴在修正复原图像初始值的推定亮度分布8的右下角部产生的空白区域来修正的工序。
图7将本发明的第六发明的第一图像复原工序S20的第二方式的第二图像复原工序S88中的处理顺序的1例作为流程图进行了图示。在图7的流程图中，内含工序序号的空白的四边形表示判断工序以外的工序，内含工序序号的空白的菱形表示判断工序，箭头表示数据的输入输出方向，内含数字的空白的四边形是指若要素为例如1则表示最大迭代运算次数1，粗线表示处理的流程，空白的圆形标记表示处理的结合及开始及结束，黑圈表示数据的分支及结合。
图7的第二图像复原工序S88的特征在于，具有：(S80)PSF提供工序，在设最大迭代运算次数1为n_max，而且设小于n_max的自然数为n时，将一系列的PSF的亮度分布3中的第n个PSF的亮度分布17作为PSF的亮度分布9并提供给第n级的第一单次图像复原工序S81-n；(S81)第一单次图像复原工序，根据PSF的亮度分布9、复原图像初始值的推定亮度分布6及劣化图像的亮度分布4，进行与基于Bayse概率论的数学式的迭代运算内的1次运算相当的运算，求出并输出劣化图像的亮度分布4的最大似然的复原图像的推定亮度分布10，该第一单次图像复原工序S81具有：(S82)第二复原图像初始值修正工序，由与基于PSF尺寸7修正复原图像初始值的推定亮度分布6并求出修正复原图像初始值的推定亮度分布8的第一复原图像初始值修正工序相同的处理顺序构成；(S83)将PSF的亮度分布9卷积修正复原图像初始值的推定亮度分布8而得到第七函数的工序；(S84)对第七函数进行反转而得到第八函数的工序；(S85)第八函数乘以劣化图像的亮度分布4而得到第九函数的工序；(S86)第九函数乘以复原图像初始值的推定亮度分布6而得到复原图像的推定亮度分布10的工序；(S87)输出复原图像的推定亮度分布10的工序，(S88)是第二图像复原工序，由通过将第n级的第一单次图像复原工序S81-n的(S87)的工序的输出与第(n+1)级的第一单次图像复原工序S81-(n+1)的(S82)工序相连构成的n_max级的串联连结体构成，在该第二图像复原工序S88中，进行被串联连接的第一单次图像复原工序S81的次数即n_max次的迭代运算，将从n_max级的第一单次图像复原工序S81-n_max输出的复原图像的推定亮度分布10作为最大似然复原图像的亮度分布11进行输出。
图7的第二图像复原工序S88是通过串联连接由与第一单次图像复原工序S81相同的结构构成的第一级的第一单次图像复原工序S81-1、由与第一单次图像复原工序S81相同的结构构成的第二级的第一单次图像复原工序S81-2、由与第一单次图像复原工序S81相同的结构构成的第n级的第一单次图像复原工序S81-n及由与第一单次图像复原工序S81相同的结构构成的第n_max级的第一单次图像复原工序S81-n_max而构成的。第三级的第二单次图像复原工序S70-3～最终级的前1级的第一单次图像复原工序S81-(n_max-1)与第2级的连接方式相同，因此省略图示和说明。
在第二图像复原工序S88中，与第一级的第一单次图像复原工序S81-1～第n_max级的第n_max单次图像复原工序S88-n_max的工序S83同等的工序读取PSF提供工序S80所提供的与级数相对应的PSF的亮度分布9。例如，若是第一级的第一单次图像复原工序S81-1，则读取第一个PSF的亮度分布14，若是第二级的第一单次图像复原工序S81-2，则读取第二个PSF的亮度分布24，若是第n级的第一单次图像复原工序S81-n，则读取第n个PSF的亮度分布17，若是第n_max级的第一单次图像复原工序S81-n_max，则读取第n_max个PSF的亮度分布25。
在第二图像复原工序S88中，与第一级的第一单次图像复原工序S81-1～第n_max级的第n_max单次图像复原工序S88-n_max的工序S85同等的工序从准备工序S19的劣化图像准备工序S4读取劣化图像的亮度分布4。另外，与第一级的第一单次图像复原工序S81-1的工序S82同等的工序从复原图像初始值准备工序S5读取复原图像初始值的推定亮度分布6。与第n级的第一单次图像复原工序S81-n(2≤n≤)的工序S82同等的工序读取与前1级的第(n-1)级的第一单次图像复原工序S81-(n-1)(2≤n≤)的工序S87同等的工序所输出的复原图像的推定亮度分布10。另外，与第n_max单次图像复原工序S88-n_max的工序S87同等的工序将复原图像的推定亮度分布10作为最大似然复原图像的亮度分布11进行输出。另外，若串联连接与最大迭代运算次数1相同次数的第二单次图像复原工序S81，则图7的第二图像复原工序S88具有与图2的第一图像复原工序S20同等的复原能力。
图8将本发明的第七发明的第三图像复原工序S107中的处理顺序的1例作为流程图进行了图示。在图8的流程图中，内含工序序号的空白的四边形表示判断工序以外的工序，内含工序序号的空白的菱形表示判断工序，箭头表示数据的输入输出方向，内含数字的空白的四边形是指若要素为例如1则表示最大迭代运算次数1，粗线表示处理的流程，空白的圆形标记表示处理的结合及开始及结束，黑圈表示数据的分支及结合。
图8的第三图像复原工序S107的特征在于，具有：(S90)通过将0代入计数器来重置的工序；(S91)通过将1代入第二计数器来重置的工序；(S92)对计数器的值为零以外这一假设进行验证，若验证结果为假则前进至(S93)工序，若验证结果为真则跳转到(S96)工序的工序；(S93)将劣化图像的亮度分布4向劣化图像保存用缓冲器26及复原图像初始值用缓冲器27传送的工序；(S94)跳转到(S96)工序的工序；(S95)将(S102)工序的复原图像的推定亮度分布10向复原图像初始值用缓冲器27传送的工序；(S96)在设第二计数器的值为m时，将一系列的PSF3内的第m个PSF的亮度分布作为PSF的亮度分布9的工序；(S97)从复原图像初始值用缓冲器27读取复原图像初始值的推定亮度分布6的工序；(S98)第三复原图像初始值修正工序，由与基于PSF尺寸7修正复原图像初始值的推定亮度分布6并将其作为修正复原图像初始值的推定亮度分布8的第一复原图像初始值修正工序相同的处理顺序构成；(S99)将PSF的亮度分布9卷积修正复原图像初始值的推定亮度分布8而得到第十函数的工序；(S100)对第十函数进行反转而得到第十一函数的工序；(S101)从劣化图像保存用缓冲器26读取劣化图像的亮度分布4并将其乘以第十一函数而得到第十二函数的工序；(S102)第十二函数乘以复原图像初始值的推定亮度分布6而得到复原图像的推定亮度分布10的工序；(S103)对计数器累加1的工序；(S104)对第二计数器累加1的工序；(S105)对计数器的值超过最大迭代运算次数1这一假设进行验证，若验证结果为假则跳转到(S95)工序，若验证结果为真则前进至(S106)工序的工序；(S106)将复原图像的推定亮度分布10作为最大似然复原图像的亮度分布11进行输出的工序；(S107)第三图像复原工序，通过以各工序的S的序数从小到大的顺序按顺序执行来完成最大迭代运算次数的迭代运算，并输出被最大似然化的最大似然复原图像。
图9将本发明的第八发明的劣化图像准备工序S4中的处理顺序的1例作为流程图进行了图示。在图9的流程图中，内含工序序号的空白的四边形表示判断工序以外的工序，内含工序序号的空白的菱形表示判断工序，箭头表示数据的输入输出方向，内含数字的空白的四边形是指若要素为例如1则表示最大迭代运算次数1，粗线表示处理的流程，空白的圆形标记表示处理的结合及开始及结束，黑圈表示数据的分支及结合。
图9的劣化图像准备工序S4的特征在于，具有：(S110)从1帧大小的TV影像信号15取出构成帧的RGB信号28的RGB信号提取工序；(S111)延迟工序，在1帧大小的TV影像信号15内，延迟1帧大小地输出取出了RGB信号28的剩余的TV影像信号29；(S112)对RGB信号28进行YUV转换并作为YUV信号30的YUV转换工序；(S113)Y劣化图像提取工序，在YUV信号30内，提取仅由亮度成分即Y信号构成的劣化图像的亮度分布4并作为Y劣化图像的亮度分布31，保持仅由剩余的U信号构成的U劣化图像的分布32及仅由V信号构成的V劣化图像的分布33；(S114)去伽马(degamma)处理工序，进行Y劣化图像的亮度分布31的去伽马处理，并作为由1帧大小的亮度分布构成的劣化图像的亮度分布4进行输出。
图10将本发明的第九发明的TV影像化工序S22中的处理顺序的1例作为流程图进行了图示。在图10的流程图中，内含工序序号的空白的四边形表示判断工序以外的工序，内含工序序号的空白的菱形表示判断工序，箭头表示数据的输入输出方向，内含数字的空白的四边形是指若要素为例如1则表示最大迭代运算次数1，粗线表示处理的流程，空白的圆形标记表示处理的结合及开始及结束，黑圈表示数据的分支及结合。
图10的TV影像化工序S22的特征在于，具有：(S120)进行最大似然复原图像的亮度分布11的伽马处理的伽马处理工序；(S121)复原图像合成工序，将在Y劣化图像提取工序S113中保持的U劣化图像的分布32和V劣化图像的分布33以及由Y成分构成的伽马处理后的最大似然复原图像的亮度分布11合成1张YUV复原图像的分布34；(S122)进行YUV复原图像的分布34的RGB转换并作为RGB复原图像的分布35的RGB转换工序；(S123)读取RGB复原图像的分布35并输出RGB信号36的RGB信号转换工序；(S124)TV影像信号合成工序，将RGB信号36与延迟工序S111所输出的剩余的TV影像信号29合成并作为由1帧大小的TV影像信号构成的超分辨率TV影像信号12进行输出。
图11图示了本发明的第十发明的PSF的亮度分布9的1例。图11的PSF的亮度分布9的特征在于，是由没有边缘的正方形状的同一尺寸的像素构成的，该亮度分布是中心最亮的二维正态分布，其尺寸为5×5像素。由于PSF的亮度分布9是二维正态分布，所以具有中心对称性，具有平移不变性。
本发明的第十一发明的第一加速超分辨率处理程序37假设创建准备工序S19及第一图像复原工序S20内的全部工序并描述了这些工序的处理顺序。
本发明的第十二发明的第二加速超分辨率处理程序38假设创建准备工序S19及第二图像复原工序S88内的全部工序并描述了这些工序的处理顺序。
本发明的第十三发明的第三加速超分辨率处理程序39假设创建准备工序S19及第三图像复原工序S107内的全部工序并描述了这些工序的处理顺序。
本发明的第十四发明是一种第一存储介质46，其特征在于，第一加速超分辨率处理程序37、第二加速超分辨率处理程序38及第三加速超分辨率处理程序39均被加密，第一存储介质46存储这些被加密的第一加速超分辨率处理程序37、第二加速超分辨率处理程序38及第三加速超分辨率处理程序39并且能够与计算机连接且能够被计算机读取。
图12图示了本发明的第十五发明的与面向TV影像的加速超分辨率处理装置40的结构相关的1例。在图12中，内含单元序号的空白的四边形表示与判断及条件分支相关的以外的单元，内含单元序号的空白的菱形表示判断及条件分支单元，箭头表示数据的输入输出方向，内含数字的空白的四边形是指若要素为例如1则表示最大迭代运算次数1，粗线表示处理的流程，空白的圆形标记表示处理的结合，黑圈表示数据的分支及结合。
图12的面向TV影像的加速超分辨率处理装置40的特征在于，具有：(W1)设定最大迭代运算次数1的单元；(W2)劣化指示数指定单元，其一边观察TV影像一边对与TV影像的劣化状况相适的劣化指示数2进行指定；(W3)PSF准备单元，准备与劣化指示数2关联的第一个PSF的亮度分布14及由该体系构成且与迭代运算次数关联地整理出的一系列的PSF的亮度分布3；(W4)劣化图像准备单元，根据1帧大小的TV影像信号5准备由1帧大小的亮度分布构成的劣化图像的亮度分布4；(W5)复原图像初始值准备单元，将劣化图像的亮度分布4作为复原图像初始值的推定亮度分布6；(W6)PSF尺寸取得单元，一系列的PSF的亮度分布3为彼此相同的图像尺寸，当将该图像尺寸称为PSF尺寸7时，求出该PSF尺寸7；(W7)将对迭代运算次数进行计数的计数器设定为1的第一重置单元；(W8)第一复原图像初始值修正单元，复制复原图像初始值的推定亮度分布6并将其作为修正复原图像初始值的推定亮度分布8，再基于PSF尺寸7修正修正复原图像初始值的推定亮度分布8；(W9)PSF选定单元，从一系列的PSF的亮度分布3选择与计数器的值关联的1个并将其作为PSF的亮度分布9；(W10)将PSF的亮度分布9卷积修正复原图像初始值的推定亮度分布8而得到第十三函数的单元；(W11)对第十三函数进行反转而得到第十四函数的单元；(W12)第十四函数乘以劣化图像的亮度分布4而得到第十五函数的单元；(W13)第十五函数乘以复原图像初始值的推定亮度分布6而得到复原图像的推定亮度分布10的单元；(W14)对计数器累加1的单元；(W15)对计数器的值为最大迭代运算次数1以上这一假设进行验证，若验证结果为假则前进至(W16)的单元，若验证结果为真则进入单元(W18)的单元；(W16)将复原图像的推定亮度分布10替换复原图像初始值的推定亮度分布6的单元；(W17)返回(W8)单元的单元；(W18)将复原图像的推定亮度分布10作为最大似然复原图像的亮度分布11进行输出的单元；(W19)由(W1)～(W7)单元构成的准备单元；(W20)由(W8)～(W18)单元构成的第一图像复原单元，还具有：(W21)第一加速超分辨率处理单元，在准备单元W19及第一图像复原单元W20中，通过以单元的W的序数从小到大的顺序按顺序执行而完成最大迭代运算次数1的迭代运算，并输出最大似然复原图像的亮度分布11；(W22)TV影像化单元，将最大似然复原图像的亮度分布11作为1帧大小的TV影像信号41并将其作为超分辨率TV影像信号12进行输出。
图13图示了本发明的第十六发明的与PSF准备单元W3的第二方式W3-2的结构相关的1例。在图13中，内含单元序号的空白的四边形表示与判断及条件分支相关的以外的单元，内含单元序号的空白的菱形表示判断及条件分支单元，箭头表示数据的输入输出方向，内含数字的空白的四边形是指若要素为例如1则表示最大迭代运算次数1，粗线表示处理的流程，空白的圆形标记表示处理的结合，黑圈表示数据的分支及结合。
图13的PSF准备单元W3的第二方式W3-2的特征在于，由以下单元构成：(W30)将劣化指示数2作为检索信息，从以一对一的方式将劣化指示数与PSF的亮度分布建立关联并整理而创建出的PSF数据库13进行检索，将检索到的PSF的亮度分布9作为第一个PSF的亮度分布14的单元；(W31)将1输入对次数进行计数的第二计数器并重置的单元；(W32)将第一个PSF的亮度分布14作为PSF初始值的亮度分布15的单元；(W33)对第二计数器累加1的单元；(W34)对第二计数器的值超过最大迭代运算次数1这一假设进行验证，若验证结果为假则前进至(W35)单元，若验证结果为真则跳转到(W38)单元的单元；(W35)通过PSF复原单元W63复原PSF初始值的亮度分布15而得到最大似然复原PSF的亮度分布16的单元；(W36)在设第二计数器的值为n时，将最大似然复原PSF的亮度分布16作为第n个PSF的亮度分布17的单元；(W37)返回(W33)单元的单元；(W38)一系列的PSF的亮度分布创建工序，设最大迭代运算次数为n_max，设小于n_max的自然数为n时，从第一个PSF的亮度分布14到第n_max个PSF的亮度分布25为止按该顺序相连地作为一系列的PSF的亮度分布，并将劣化指示数2作为标签标注于该一系列的PSF的亮度分布，来形成与劣化指示数关联的一系列的PSF的亮度分布3。
在图13的一系列的PSF的亮度分布创建工序W38中，例如，用BF这一整数型变量来表示劣化指示数2，将第n个亮度分布17(1≤n≤n_max)的图像文件名记作PSF_BF_n.bmp，在设字符型二维数组名为SPSF时，从W36的单元接收第n个亮度分布17，根据BF和n来创建PSF_BF_n.bmp这样的文件名，标注该文件名并将第n个亮度分布17存储在计算机的大容量存储单元例如HDD(Hard Disk Drive：硬盘驱动器)，并将文件名存储于SPSF(BF，n)这样的数组，由此能够创建一系列的PSF的亮度分布3。
图14图示了本发明的第十七发明的与PSF准备单元W3的第三方式W3-3的结构相关的1例。在图14中，内含单元序号的空白的四边形表示与判断及条件分支相关的以外的单元，内含单元序号的空白的菱形表示判断及条件分支单元，箭头表示数据的输入输出方向，内含数字的空白的四边形是指若要素为例如1则表示最大迭代运算次数1，粗线表示处理的流程，空白的圆形标记表示处理的结合，黑圈表示数据的分支及结合。
图14的PSF准备单元W3的第三方式W3-3的特征在于，由以下单元构成：(W40)将最大迭代运算次数1设定成5的单元；(W41)准备扩展PSF数据库18的单元，该扩展PSF数据库18是通过如下方式得到的：事先针对PSF数据库13内的全部劣化指示数和与其关联的PSF的亮度分布的对全部执行PSF准备单元W3，根据每个劣化指示数得到一系列的PSF的亮度分布，并对这些根据每个劣化指示数的一系列的PSF的亮度分布进行编辑，由此，将劣化指示数与一系列的PSF的亮度分布建立关联地整理得到扩展PSF数据库18；(W42)使用劣化指示数2在扩展PSF数据库18中进行检索并取得对应的一系列的PSF的亮度分布3并将其输出的单元。
图15图示了本发明的PSF数据库13内的数据的1例。图15的PSF数据库13是CSV形式的表，并被保存在HDD。在PSF数据库13中，256阶的劣化指示数2被记载于从左开始的第一列，与各劣化指示数2对应的PSF的亮度分布9的图像文件名23作为路径被记载于从左开始的第二列。PSF的亮度分布9的图像文件存在于HDD内的C驱动器中的PSF这一目录的下方，PSF的亮度分布9的图像文件名与劣化指示数2对应。例如，在劣化指示数2为1的情况下，PSF数据库13的最上方的行的PSF的亮度分布9的图像文件名C：￥PSF￥PSF_1.bmp示出了与劣化指示数2关联的PSF的亮度分布9的图像文件的存储场所。例如，W30的单元将劣化指示数2作为检索信息而在PSF数据库13中检索，取得与劣化指示数2关联的PSF的亮度分布9的图像文件名，并从HDD读出与该PSF的亮度分布9的图像文件名对应的PSF的亮度分布9，由此取得PSF的亮度分布9。PSF数据库13除了CSV形式以外，还能够以二维数组来定义。
图16图示了本发明的扩展PSF数据库18内的数据的1例。图16的扩展PSF数据库18是CSV形式的表，并被保存在HDD。在扩展PSF数据库18中，256阶的劣化指示数2被记载于从左开始的第一列，与各劣化指示数2对应的PSF的亮度分布9的图像文件名23作为路径被记载于从左开始的第二列之后。从左开始第二列之后的列与迭代运算次数关联，从左开始第二列上记载了迭代运算次数1为1的情况，从左开始第三列上记载了迭代运算次数1为2的情况，最后一列上记载了迭代运算次数为n_max的情况。PSF的亮度分布9的图像文件存在于HDD内的C驱动器中的SPSF这一目录的下方，PSF的亮度分布9的图像文件名与劣化指示数2及迭代运算次数1对应。例如，在劣化指示数2为1且迭代运算次数为1的情况下，扩展PSF数据库18的最上方的行中的从左开始第二栏的PSF的亮度分布9的图像文件名23即C：￥SPSF￥SPSF_1_1.bmp示出了与劣化指示数2且迭代运算次数为1关联的PSF的亮度分布9的图像文件的存储场所。例如，W42的单元将劣化指示数2作为检索信息来在扩展PSF数据库18中进行检索，对与劣化指示数2关联的扩展PSF数据库18内的行进行特定，从与迭代运算次数为1对应的栏起到最后的迭代运算次数为n_max的栏为止按顺序取得该行内的PSF的亮度分布9的图像文件名，并存储于SPSF(BF，n)这样的二维数组，由此，取得一系列的PSF的亮度分布3。SPSF(BF，n)是字符型二维数组，BF是表示劣化指示数2的变量，n是表示迭代运算次数的变量。接着，W9的单元设劣化指示数2为BF，设迭代运算次数为n，从SPSF(BF，n)取得PSF的亮度分布9的图像文件名23，从HDD读出与该PSF的亮度分布9的图像文件名23对应的PSF的亮度分布9，由此取得PSF的亮度分布9。扩展PSF数据库18除了CSV形式以外，还能够作为二维数组定义。
图17图示了本发明的第十八发明的与PSF复原单元的结构关联的1例。在图17中，内含单元序号的空白的四边形表示与判断及条件分支相关的以外的单元，内含单元序号的空白的菱形表示判断及条件分支单元，箭头表示数据的输入输出方向，内含数字的空白的四边形是指若要素为例如1则表示最大迭代运算次数1，粗线表示处理的流程，空白的圆形标记表示处理的结合，黑圈表示数据的分支及结合。
图17的PSF复原单元的特征在于，具有：(W50)将6代入最大迭代运算次数1的单元；(W51)将PSF初始值的亮度分布15视为劣化了的图像的亮度分布并作为劣化PSF的亮度分布19的单元；(W52)将PSF初始值的亮度分布15作为复原PSF初始值的推定亮度分布20的单元；(W53)将1代入计数器并重置的单元；(W54)复原PSF初始值修正单元，将复原PSF初始值的推定亮度分布20作为修正复原PSF初始值的推定亮度分布21，再针对在将PSF初始值的亮度分布15与修正复原PSF初始值的推定亮度分布21进行卷积运算时在修正复原PSF初始值的推定亮度分布21的周边部产生的运算困难区域，基于PSF初始值的亮度分布15的图像尺寸来计算该运算困难区域，并复制与上边边界相关的运算困难区域的像素，将该复制的像素以相对于修正复原PSF初始值的推定亮度分布21的上边边界成镜像对称地配置的方式粘贴在上边边界的外侧，同样地按顺时针地关于右边再关于下边最后关于左边实施同样的复制粘贴处理，来对修正复原PSF初始值的推定亮度分布21进行修正；(W55)将PSF初始值的亮度分布15卷积修正复原PSF初始值的推定亮度分布21而得到第十六函数的单元；(W56)对第十六函数进行反转而得到第十七函数的单元；(W57)第十七函数乘以劣化PSF的亮度分布19而得到第十八函数的单元；(W58)第十八函数乘以复原PSF初始值的推定亮度分布20而得到复原PSF的推定亮度分布22的单元；(W59)对计数器累加1的单元；(W60)对计数器的值超过最大迭代运算次数1这一假设进行验证，若验证结果为假则跳转到(W61)单元，若验证结果为真则跳转到(W63)单元的单元；(W61)将复原PSF的推定亮度分布22替换复原PSF初始值的推定亮度分布20的单元；(W62)跳转到(W54)单元的单元；(W63)将复原PSF的推定亮度分布22作为最大似然复原PSF的亮度分布16进行输出的单元。
图18图示了本发明的第十九发明的与第一复原图像初始值修正单元的结构相关的1例。在图18中，内含单元序号的空白的四边形表示与判断及条件分支相关的以外的单元，内含单元序号的空白的菱形表示判断及条件分支单元，箭头表示数据的输入输出方向，内含数字的空白的四边形是指若要素为例如1则表示最大迭代运算次数1，粗线表示处理的流程，空白的圆形标记表示处理的结合，黑圈表示数据的分支及结合。
图18的第一复原图像初始值修正单元W8的特征在于，具有：(W70)将复原图像初始值的推定亮度分布6作为修正复原图像初始值的推定亮度分布8的单元；(W71)基于PSF尺寸7，对在将一系列的PSF的亮度分布3中的某一个与修正复原图像初始值的推定亮度分布8进行卷积运算时在修正复原图像初始值的推定亮度分布8的周边部产生的运算困难区域42进行计算的单元；(W72)复制修正复原图像初始值的推定亮度分布8的运算困难区域42内的像素，将该复制的像素相对于修正复原图像初始值的推定亮度分布8的4边成镜像对称地分别翻转，再以配置在修正复原图像初始值的推定亮度分布8的4边的边界的外侧的方式粘贴来进行修正的单元；(W73)复制修正复原图像初始值的推定亮度分布8的运算困难区域42内的左上角部的像素，使该复制的左上角部的像素以左上角的顶点为旋转中心旋转180度，并粘贴在修正复原图像初始值的推定亮度分布8的左上角部产生的空白区域来修正的单元；(W74)复制修正复原图像初始值的推定亮度分布8的运算困难区域42内的右上角部的像素，使该复制的右上角部的像素以右上角的顶点为旋转中心旋转180度，粘贴在修正复原图像初始值的推定亮度分布8的右上角部产生的空白区域来修正的单元；(W75)复制修正复原图像初始值的推定亮度分布8的运算困难区域42内的左下角部的像素，使该复制的左下角部的像素以左上角的顶点为旋转中心旋转180度，粘贴在修正复原图像初始值的推定亮度分布8的左下角部产生的空白区域来修正的单元；(W76)复制修正复原图像初始值的推定亮度分布8的运算困难区域42内的右下角部的像素，使该复制的右下角部的像素以右上角的顶点为旋转中心旋转180度，粘贴在修正复原图像初始值的推定亮度分布8的右下角部产生的空白区域来修正的单元。
图19图示了由第一复原图像初始值修正单元W8对在复原图像初始值的推定亮度分布6的周边部产生的运算困难区域42实施的修正的1例。图19示出通过W70～72单元根据复原图像初始值的推定亮度分布6而生成了修正复原图像初始值的推定亮度分布8的状态。在该状态下，修正复原图像初始值的推定亮度分布8的4角存在空白部。在W73的作用下，修正复原图像初始值的推定亮度分布8的左上角的空白部是通过复制复原图像初始值的推定亮度分布6的运算困难区域42的左上角部的像素并使该复制的区域以左上角的顶点为旋转中心旋转180度地进行粘贴来填补修正的。
图20图示了本发明的第二十发明的与作为第一图像复原单元W20的第二方式的第二图像复原单元W88的结构相关的1例。在图20中，内含单元序号的空白的四边形表示与判断及条件分支相关的以外的单元，内含单元序号的空白的菱形表示判断及条件分支单元，箭头表示数据的输入输出方向，内含数字的空白的四边形是指若要素为例如1则表示最大迭代运算次数1，粗线表示处理的流程，空白的圆形标记表示处理的结合，黑圈表示数据的分支及结合。
图20的第二图像复原单元W88的特征在于，具有：(W80)PSF提供单元，在设最大迭代运算次数1为n_max，而且设小于n_max的自然数为n时，将一系列的PSF的亮度分布3中的第n个PSF的亮度分布17作为PSF的亮度分布9并提供给第n级的第一单次图像复原单元W81-n；(W81)第一单次图像复原单元，根据从PSF的亮度分布9、复原图像初始值的推定亮度分布6及劣化图像的亮度分布4，进行与基于Bayse概率论的数学式的迭代运算内的1次运算相当的运算，求出并输出劣化图像的亮度分布4的最大似然的复原图像的推定亮度分布10，该第一单次图像复原单元W81具有：(W82)通过与第一复原图像初始值修正单元W8相同的结构构成的第二复原图像初始值修正单元求出修正复原图像初始值的推定亮度分布8；(W83)将PSF的亮度分布9卷积修正复原图像初始值的推定亮度分布8而得到第十九函数的单元；(W84)对第十九函数进行反转而得到第二十函数的单元；(W85)第二十函数乘以劣化图像的亮度分布而得到第二十一函数的单元；(W86)第二十一函数乘以复原图像初始值的推定亮度分布而得到复原图像的推定亮度分布10的单元；(W87)输出复原图像的推定亮度分布10的单元，(W88)是第二图像复原单元，由通过将第n级的第一单次图像复原单元W81-n的(W87)单元的输出与第(n+1)级的第一单次图像复原单元W81-(n+1)的(W82)单元连接而构成的n_max级的串联连结体构成。在该第二图像复原单元W88中，进行被串联连接的第一单次图像复原单元W81的数量即n_max次的迭代运算，将从n_max级的第一单次图像复原单元W81-n_max输出的复原图像的推定亮度分布10作为最大似然复原图像的亮度分布11进行输出。
图21图示了本发明的第二十一发明的与作为第一图像复原单元W20的第三方式的第三图像复原单元W107的结构相关的1例。在图21中，内含单元序号的空白的四边形表示与判断及条件分支相关的以外的单元，内含单元序号的空白的菱形表示判断及条件分支单元，箭头表示数据的输入输出方向，内含数字的空白的四边形是指若要素为例如1则表示最大迭代运算次数1，粗线表示处理的流程，空白的圆形标记表示处理的结合，黑圈表示数据的分支及结合。
图21的第三图像复原单元W107具有：(W90)通过将0代入计数器来重置的单元；(W91)通过将1代入第二计数器来重置的单元；(W92)对于计数器的值为零以外这一假设进行验证，若验证结果为假则前进至(W93)单元，若验证结果为真则跳转到(W96)单元的单元；(W93)将劣化图像的亮度分布4向劣化图像保存用缓冲器26及复原图像初始值用缓冲器27传送的单元；(W94)跳转到(W96)单元的单元；(W95)将(W102)单元的复原图像的推定亮度分布10向复原图像初始值用缓冲器27传送的单元；(W96)在设第二计数器的值为m时，将一系列的PSF的亮度分布3内的第m个PSF的亮度分布作为PSF的亮度分布9的单元；(W97)从复原图像初始值用缓冲器27读取复原图像初始值的推定亮度分布6的单元；(W98)第三复原图像初始值修正单元，其由与修正复原图像初始值的推定亮度分布6并将其作为修正复原图像初始值的推定亮度分布8的第一复原图像初始值修正单元相同的结构构成；(W99)将PSF的亮度分布9卷积修正复原图像初始值的推定亮度分布8而得到第二十二函数的单元；(W100)对第二十二函数进行反转而得到第二十三函数的单元；(W101)第二十三函数乘以劣化图像的亮度分布4而得到第二十四函数的单元；(W102)第二十四函数乘以复原图像初始值的推定亮度分布6而得到复原图像的推定亮度分布10的单元；(W103)对计数器累加1的单元；(W104)对第二计数器累加1的单元；(W105)对计数器的值超过最大迭代运算次数1这一假设进行验证，若验证结果为假则跳转到(W95)单元，若验证结果为真则前进至(W106)单元的单元；(W106)将复原图像的推定亮度分布10作为最大似然复原图像的亮度分布11进行输出的单元；(W107)第三图像复原单元，通过以各单元的S的序数从小到大的顺序按顺序执行而完成最大迭代运算次数1的迭代运算，并输出被最大似然化的最大似然复原图像11。
图22图示了本发明的第二十二发明的与劣化图像准备单元W4的结构相关的1例。在图22中，内含单元序号的空白的四边形表示与判断及条件分支相关的以外的单元，内含单元序号的空白的菱形表示判断及条件分支单元，箭头表示数据的输入输出方向，内含数字的空白的四边形是指若要素为例如1则表示最大迭代运算次数1，粗线表示处理的流程，空白的圆形标记表示处理的结合，黑圈表示数据的分支及结合。
图22的劣化图像准备单元W4的特征在于，具有：(W110)从1帧大小的TV影像信号5取出构成帧的RGB信号28的RGB信号提取单元；(W111)延迟单元，其在使1帧大小的TV影像信号5内，延迟1帧大小地输出取出了RGB信号28的剩余的TV影像信号29；(W112)对RGB信号28进行YUV转换并作为YUV信号30的YUV转换单元；(W113)Y劣化图像提取单元，提取YUV信号30内的仅由亮度成分即Y信号构成的劣化图像的亮度分布4并作为Y劣化图像的亮度分布31，保持剩余的仅由U信号构成的U劣化图像的分布32及仅由V信号构成的V劣化图像的分布33；(W114)去伽马处理单元，进行Y劣化图像的亮度分布31的去伽马处理，并作为由1帧大小的亮度分布构成的劣化图像的亮度分布4进行输出。
图23图示了本发明的第二十三发明的与TV影像化单元W22的结构相关的1例。在图23中，内含单元序号的空白的四边形表示与判断及条件分支相关的以外的单元，内含单元序号的空白的菱形表示判断及条件分支单元，箭头表示数据的输入输出方向，内含数字的空白的四边形是指若要素为例如1则表示最大迭代运算次数1，粗线表示处理的流程，空白的圆形标记表示处理的结合，黑圈表示数据的分支及结合。
图23的TV影像化单元的特征在于，具有：(W120)进行最大似然复原图像的亮度分布11的伽马处理的伽马处理单元；(W121)复原图像合成单元，将由Y劣化图像提取单元W113保持的U劣化图像的分布32、V劣化图像的分布33和由Y成分构成的伽马处理后的最大似然复原图像的亮度分布11合成1张YUV复原图像的分布34；(W122)RGB转换单元，进行YUV复原图像的分布34的RGB转换，并作为RGB复原图像的分布35；(W123)读取RGB复原图像的分布35并输出RGB信号36的RGB信号转换单元；(W124)TV影像信号合成单元，将RGB信号36与延迟单元W111所输出的剩余的TV影像信号29合成并作为由1帧大小的TV影像信号构成的超分辨率TV影像信号12进行并输出。
本发明的第二十四发明的第四加速超分辨率处理程序43构成了准备单元W19及第一图像复原单元W20内的全部单元并且描述了用于执行这些单元的处理顺序。
本发明的第二十五发明的第五加速超分辨率处理程序44构成了准备单元W19及第二图像复原单元W88内的全部单元并且描述了用于执行这些单元的处理顺序。
本发明的第二十六发明的第六加速超分辨率处理程序构成了准备单元W19及第三图像复原单元W107并且描述了用于执行这些单元的处理顺序。
本发明的第二十七发明是第二存储介质47，第四加速超分辨率处理程序43、第五加速超分辨率处理程序44及第六加速超分辨率处理程序45分别被加密，第二存储介质47存储这些被加密的第四加速超分辨率处理程序43、第五加速超分辨率处理程序44及第六加速超分辨率处理程序45并且能够与计算机连接且能够被计算机读取。
实施例
实施例1是通过第一加速超分辨率处理程序37将本发明的面向TV影像的加速超分辨率处理装置40构成于计算机48的面向TV影像的加速超分辨率处理系统49。
图24图示了本发明的实施例1的与面向TV影像的加速超分辨率处理系统49的结构相关的1例。图24的面向TV影像的加速超分辨率处理系统49由以下部分构成：为了输入/输出数字TV影像信号而使用的数字TV影像信号输入输出端子50；计算机48，安装有面向TV影像的加速超分辨率处理装置40；TV影像输入基板51，利用FPGA构成了根据TV影像67准备劣化图像的亮度分布4的劣化图像准备单元W4；超分辨率TV影像输出基板52，利用FPGA构成了对最大似然复原图像的亮度分布11实施TV影像化并输出1帧大小的超分辨率TV影像信号12的TV影像化单元W22；超分辨率处理模式切换控制电路基板53，将用影像显示模式指定按键56指定的影像显示模式及用条件显示指定按键57指定的重叠有无反映到超分辨率TV影像信号12；数字TV影像线缆54；和总线线缆55。在图24中省略了电源线缆。
构成了图24的面向TV影像的加速超分辨率处理系统49的计算机48内的面向TV影像的加速超分辨率处理装置40的劣化图像准备单元W4及TV影像化单元W22的大部分是使用了FPGA的硬件，从而劣化图像准备单元W4构成为取得TV影像输入基板51所输出的劣化图像的亮度分布4的单元，TV影像化单元W22构成为将最大似然复原图像的亮度分布11向超分辨率TV影像输出基板52传送的单元。
图25图示了第一加速超分辨率处理程序37的结构的1例及将该程序安装在计算机48的状况的1例。在图25中，第一加速超分辨率处理程序37由以下单元构成：面向TV影像的加速超分辨率处理装置程序61，构成了根据面向TV影像的加速超分辨率处理方法进行处理的面向TV影像的加速超分辨率处理装置40内的第一加速超分辨率处理单元W21内的全部单元；超分辨率处理窗口创建程序62，创建为了进行与面向TV影像的加速超分辨率处理装置40中的超分辨率处理相关的操作而使用的超分辨率处理窗口64，并将其显示在显示器59上；以及超分辨率处理窗口监视应对程序63，直到超分辨率处理窗口64内的关闭按键79被按下为止进行如下的处理：始终监视超分辨率处理窗口64内的全部按键、计算机48的键盘65的按键、计算机48的鼠标66指定的位置及该位置处的右点击及左点击，若存在右点击及左点击等的对于监视对象的动作，则执行适于该动作的处理。按照面向TV影像的加速超分辨率处理装置程序61、超分辨率处理窗口创建程序62、超分辨率处理窗口监视应对程序63的顺序执行。
在图25中，为了将面向TV影像的加速超分辨率处理装置40构成于计算机48，首先，将存储在第一存储介质460中的第一加速超分辨率处理程序37安装于计算机48，将为起动面向TV影像的加速超分辨率处理装置40所使用的面向TV影像的加速超分辨率处理装置图标58置于计算机48的显示器59内的画面上。接着，用户60点击面向TV影像的加速超分辨率处理装置图标58，起动面向TV影像的加速超分辨率处理装置40。于是，超分辨率处理窗口64被显示在显示器59上，成为等待来自用户60的动作的状态。
图26图示了与超分辨率处理窗口64的结构相关的1例。图26的超分辨率处理窗口64由以下部分构成：用于显示TV影像67及超分辨率TV影像68等的影像窗口69；用于显示当前日期时间、超分辨率条件及来自系统的消息等并在右端设置有上下滚动条的信息窗口70；从下拉菜单(在本发明的下拉菜单中，默认由淡蓝色的背景表示。)中指定1个数字来将劣化指示数2设定为0～255这256阶中的某一个的劣化指示数设定按键71；为了当点击时会打开下拉列表框从而从选择列表中的值或者在显示在文本框中的默认值上直接输入最大迭代运算次数1来进行设定所使用的最大迭代运算次数设定按键72；为了基于设定的条件开始进行超分辨率处理而用来点击的超分辨率处理开始按键73；为了中断超分辨率处理而用来点击的超分辨率处理中断按键74；用于将中断的超分辨率处理再开的超分辨率处理再开按键75；为了停止超分辨率处理而用来点击的超分辨率处理停止按键76；打开帮助窗口并检索且显示帮助内容的帮助按键77；影像放大/缩小按键78，在点击并指定在影像窗口69内的要缩小/放大的影像后，若按下该按键内的+，则放大所指定的影像，若按下-，则放大所指定的影像，若按下0则恢复到默认倍率并显示所指定的影像；影像显示模式指定按键56，用于针对影像窗口69内的影像的显示模式，从下拉菜单中选择各占一半(中分)的测试模式、仅显示TV影像67的输入影像模式或仅显示超分辨率TV影像68的超分辨率TV影像模式中的一个；为了使超分辨率处理条件的最大迭代运算次数1及劣化指示数2重叠地显示在超分辨率TV影像68的右上角所使用的拨动开关的条件显示指定按键57；以及为了关闭超分辨率处理窗口64所使用的关闭按键79。图26表示测试模式下的影像的显示状态。
计算机48由以下部件构成：64位指令集32位6核/芯片CPU(Central ProcessingUnit：中央处理器)；GPU(Graphic Processing Unit：图形处理器)；32G字节以上的存储器；具有1T字节以上的存储容量的HDD；具有128G字节以上的存储容量的SDD(Solidstate DiskDrive：固态盘驱动器)；3个以上的USB端子；1个以上的LAN(Local Area Network：局域网)端子；WiFi(Wireless Fidelity：无线保真)或Bluetooth(注册商标)等的无线通信模块；电话端子；键盘65；鼠标66；FHD(Full High Definition：全高请)显示器；微软公司制Windows(注册商标)8O/S(Operating System:操作系统)；微软公司制Visual Studio2010(注册商标)(包含Visual C++2010)；微软公司制Office2013(注册商标)。能够通过WiFi、Bluetooth(注册商标)、LAN、USB及互联网与其他的计算机通信。计算机48使用从被量产的、在市场中流通的大量种类的台式计算机中选择出的计算机，若具有同样的规格，则也可以使用工作站。另外，虽然O/S的种类不同，也可以使用服务器。
图27将面向TV影像的第一超分辨率处理系统49中执行超分辨率处理的顺序的1例作为事务表进行了图示。图27的事务表由以下部分构成：意味着用户60的输入处理的带序号实线箭头；意味着计算机48的响应的带英文字符虚线箭头；开始标记；结束标记；表示用户60这一侧的时间轴的粗实线箭头；表示计算机48这一侧的时间轴的粗虚线箭头。
根据图27的事务表，面向TV影像的加速超分辨率处理系统49中直到执行超分辨率处理为止的顺序如下：(1)在“起动”步骤中，用户60点击面向TV影像的加速超分辨率处理装置图标58，计算机48将(A)超分辨率处理窗口64显示在显示器59上；(2)在“超分辨率处理条件输入-1”步骤中，用户60点击劣化指示数设定按键71，计算机48在(B)劣化指示数设定按键71的位置展开显示下拉菜单；(3)在“超分辨率处理条件输入-2”步骤中，用户60从下拉菜单选择适当的数值，计算机48获取(C)劣化指示数2，并关闭下拉菜单；(4)在“超分辨率处理条件输入-3”步骤中，用户60点击最大迭代运算次数设定按键72，计算机48在(D)最大迭代运算次数设定按键72的位置展开下拉列表框；(5)在“超分辨率处理条件输入-4”步骤中，用户60从下拉列表框选择或输入适当的数值，计算机48获取(E)最大迭代运算次数1，并关闭下拉列表框；(6)在“超分辨率处理条件输入-5”步骤中，用户60点击影像显示模式指定按键56，计算机48在(F)影像显示模式指定按键56的位置展开下拉菜单；(7)在“超分辨率处理条件输入-6”步骤中，用户60从下拉菜单选择适当的模式，计算机48获取(G)影像显示模式指定按键56，并关闭下拉菜单，(8)在“超分辨率处理条件输入-7”步骤中，用户60点击条件显示指定按键57，计算机48对(H)条件显示指定按键57的色进行反转并显示是显示设定中的情况；(9)在“超分辨率处理开始”步骤中，用户60点击超分辨率处理开始按键73，计算机48执行(I)超分辨率处理，根据影像显示模式指定按键56及条件显示指定按键57将超分辨率TV影像68及TV影像67反映并显示在影像窗口69。
就超分辨率处理窗口64而言，即使在超分辨率处理过程中，也由于始终监视向超分辨率处理窗口64的按键的访问，所以当超分辨率处理条件变更时，若用户60点击劣化指示数设定按键71、最大迭代运算次数设定按键72、影像显示模式指定按键56、条件显示指定按键57并再设定条件，则维持显示影像地反映超分辨率处理条件的变更。若用户60想要结束超分辨率处理的情况下，则用户60点击关闭按键79。于是，计算机48对此进行响应而关闭超分辨率处理窗口64，而且关闭面向TV影像的加速超分辨率处理装置40。
根据图27的超分辨率处理顺序，用户60首先执行步骤(1)来将超分辨率处理窗口64显示在显示器59上，接着，执行步骤(2)，在劣化指示数设定按键71的位置展开显示下拉菜单，在步骤(3)中，一边观察显示有TV影像6的地上数字化TV80，一边因感觉TV影像2的劣化程度小而选择14来作为劣化指示数2(默认值为256阶中的60)，接着执行步骤(4)，在最大迭代运算次数设定按键72的位置展开下拉列表框，在步骤(5)中，一边观察显示有TV影像67的地上数字化TV80，一边因感觉TV影像67的劣化程度小而选择4来作为最大迭代运算次数1(默认值为3)，接着，执行步骤(6)，在影像显示模式指定按键56的位置展开下拉菜单，在步骤(7)中由于还没有确定超分辨率处理条件所以选择测试模式，接着执行步骤(8)，将条件显示指定按键57处于显示设定，接着执行步骤(9)，当执行超分辨率处理时，TV影像67和超分辨率TV影像38以横向排列且中分(各占一半)的状态显示在超分辨率处理窗口64的影像窗口69，用户60认为该超分辨率处理条件合适，操作地上数字化TV80将输入设定设为影像，将显示在影像窗口69上的影像显示在地上数字化TV80的整个画面上，接着，用户60操作影像显示模式指定按键56变更成超分辨率TV影像模式，将超分辨率TV影像68显示在影像窗口69及地上数字化TV80的整个画面上，来进行观看。
图28是表示实施例1的超分辨率处理的状况的1例的图。在图28中，显示有测试模式下的以横向排列且中分(各占一半)的状态显示TV影像67和超分辨率TV影像68的影像的1帧。中分的右侧是超分辨率处理前的TV影像67的1帧，中分的左侧是对中分的右侧的1帧进行了超分辨率处理的超分辨率TV影像68的1帧。在超分辨率TV影像68的1帧的右上角，用F这一附图标记表示劣化指示数2，用I这一附图标记显示最大迭代运算次数1，而且用测试这一简写显示该上影像显示模式为测试模式。从图28可知，TV影像67的表示开始位置比超分辨率TV影像68稍向右偏，但可知本发明的实施例1的面向TV影像的加速超分辨率处理系统49的超分辨率品质具有充分的实用性。
本发明的构成面向TV影像的加速超分辨率处理装置40的第一图像复原单元W20能够通过使用第二加速超分辨率处理程序38而变更成第二图像复原单元W88，而且，通过使用第三加速超分辨率处理程序39而变更成第三图像复原单元W107，但构成于计算机48的系统是面向TV影像的加速超分辨率处理系统49。第二图像复原单元W88及第三图像复原单元W107是适合硬件化的图像复原单元，但面向TV影像的加速超分辨率处理系统49是信号处理部分使用硬件但基于软件的系统，处理速度没有大的差异，处理品质完全没有差异。
实施例2是将使用硬件化的第二图像复原单元W88的面向TV影像的加速超分辨率处理装置40的第二方式盒装化的第一机顶盒81。在第一机顶盒81中，除使用由软件定义了PSF准备单元W3-3的计算机基板93以外，准备单元W19全部是硬件，第二图像复原单元W88也使用硬件，因此全部由硬件构成。由此，与实施例1的面向TV影像的加速超分辨率处理系统49相比，能够更高速地工作。第一机顶盒81的超分辨率品质与实施例1的面向TV影像的加速超分辨率处理系统49相同。
图29是表示与第一机顶盒81内部的结构相关的1例的图。图29的第一机顶盒81内部由以下部分构成：为了输入/输出数字TV影像信号而使用的数字TV影像信号输入输出端子50；TV影像输入基板51；超分辨率TV影像输出基板52；超分辨率处理模式切换控制电路基板53；数字TV影像线缆54；总线线缆55；为了设定表示TV影像67的劣化程度的劣化指示数2而使用的F设定单元82；为了设定最大迭代运算次数1而使用的I设定单元83；将超分辨率处理模式切换成测试或主处理的模式开关84；指定是否将超分辨率处理的模式及F设定单元82及I设定单元83的值与TV影像信号重叠的显示器开关85；用于始终监视超分辨率处理的模式及F设定单元82及I设定单元83的值的LCD(Liquid Crystal Display：液晶显示器)显示器86；为了进行第一机顶盒81的电源的接通/关断而使用的电源开关87；仅在电源开关87接通时点亮的LED(Light Emitting Diode：发光二极管)灯88；外壳89；F电路基板90，其使用FPGA制作出面向TV影像的加速超分辨率处理装置40的第二图像复原单元W88；上变频电路基板91，其自动判定数字TV影像信号是交织(digital interlace)方式还是逐行(progressive)TV影像信号，仅在交织方式时将数字TV影像信号转换成逐行TV影像信号；计算机基板93，具有事先安装有PSF准备单元W3-3的计算机92，该PSF准备单元W3-3基于使用F设定单元82指定的劣化指示数2，在HDD95内存储的扩展PSF数据库18内进行检索，并输出一系列的PSF的亮度分布3；PSF准备单元构成程序94，将PSF准备单元W3-3内的全部单元构成于计算机48、且记载了这些单元的处理顺序；HDD95；向第一机顶盒81内的必须部件提供适当的电源的电源电路基板96；散热风扇97，其从计算机基板93接受最佳的驱动条件的提供，以适量的风量支援散热；LAN端子98；USB端子99～101；商用交流单相100V电源线缆102；电源线缆103；信号线104；信号线105。
超分辨率处理模式切换控制电路基板53始终读取且自动判定模式开关84及显示器开关85的状态，(模式1)若模式开关84为主处理模式且显示器开关85没有重叠的情况下，从上变频电路基板91接受1帧大小的TV影像信号5并向TV影像输入基板51输出，将从超分辨率TV影像输出基板52输出的超分辨率处理后的1帧大小的超分辨率TV影像信号12向数字TV影像信号输入输出端子50输出；(模式2)若模式开关84为主处理模式且显示器开关85有重叠的情况下，从上变频电路基板91接受1帧大小的TV影像信号5并向TV影像输入基板51输出，接着，将从计算机基板93读取的信息重叠在从超分辨率TV影像输出基板52输出的超分辨率处理后的1帧大小的超分辨率TV影像信号12的右上角并向数字TV影像信号输入输出端子50输出；(模式3)若模式开关84为测试模式且显示器开关85没有重叠的情况下，从上变频电路基板39接受并复制1帧大小的TV影像信号5，将一方向TV影像输入基板51输出的同时使另一方延迟1帧大小，将延迟的一方压缩成横宽1/2并成为1张画面的右半部分，再将从超分辨率TV影像输出基板52输出的超分辨率处理后的1帧大小的超分辨率TV影像信号12压缩成横宽1/2并成为1张画面的左半部分，并通过将两者合成，使得1张画面的右半部分为超分辨率处理前的帧且左半部分为超分辨率处理后的帧，将以上述方式调整的1帧大小的TV影像信号向数字TV影像信号输入输出端子50输出；(模式4)若模式开关84为测试模式、且显示器开关85有重叠的情况下，从上变频电路基板91接受并复制1帧大小的TV影像信号5，将一方向TV影像输入基板51输出的同时使另一方延迟1帧大小，将延迟的一方压缩成横宽1/2并成为1张画面的右半部分，再将从超分辨率TV影像输出基板52输出过来的超分辨率处理后的1帧大小的超分辨率TV影像信号12压缩成横宽1/2并成为1张画面的左半部分，并通过将两者合成，使得1张画面的右半部分为超分辨率处理前的帧且左半部分为超分辨率处理后的帧，在以上述方式调整的1帧大小的TV影像信号的右上角重叠从计算机基板93读取的信息，并向数字TV影像信号输入输出端子50输出。
F设定单元82用于设定与在地上数字化TV80的TV显示器106上播放的TV影像67的光学劣化程度相适的劣化指示数2，相当于面向TV影像的加速超分辨率处理装置40的单元W2。F设定单元82是能够设定10进制3位数字的位开关，数据及电源经由总线线缆55传递且能够直接读取设定值的规格最好。该规格设备能够从市场购买。
I设定单元83用于设定最大迭代运算次数1，是能够设定10进制3位数字的位开关，数据及电源经由总线线缆55传递且能够直接读取设定值的规格最好。该规格设备能够从市场购买。
计算机基板93是最新的Windows(注册商标)OS系统计算机，是能够使用C++语言的PC母板。在PC母板上具有大量的各种I/O(Input/Output interface：输入输出接口)、LAN端子98、USB端子99～101、麦克风端子、扬声器端子等的外部连接端子，另外，价格也不是很贵，从而对于实施例2是优选的。PC母板在市场上流通有多个种类，只要是搭载了16G字节等大容量的高速存储器的高端的设备都可以。另外，C++语言也可以在PC母板购买后安装。
PSF准备单元构成程序94是由C++语言编写的程序，能够被搭载在计算机基板93上的CPU读取并执行，并事先被安装，PSF准备单元W3-3被定义在计算机基板93内的计算机，而且，PSF准备单元W3-3所参考的扩展PSF数据库18被构成在HDD95内，而且，定义了冷却风扇97的控制系统。PSF准备单元W3-3及冷却风扇97的控制系统是在接入电源开关87时，在初始化后被自动执行。但是，这些PSF准备单元W3-3及冷却风扇97的控制系统是在Windows(注册商标)OS提供的环境下运行的，能够直接使用Windows(注册商标)OS提供的各种接口或功能，能够始终使用采用了LAN或USB的通信。另外，通过在Windows(注册商标)OS提供的环境下运转，能够实现高度控制，能够减小由第一机顶盒81内部的温度上升导致故障的风险。
在HDD95中，除了搭载了PSF准备单元构成程序94及扩展PSF数据库18以外，还搭载了Windows(注册商标)OS(未图示)、C++(未图示)等。HDD95是1T字节以上的容量，并且能够进行随机高速读写，并且搭载了总线接口及8M字节以上的缓冲器，数据和信号的收发以及电源的供给只要是能够经由总线线缆55实施的规格都可以。市场上具有多种，但在空间的关系上优选2.5英寸尺寸的设备。
上变频电路基板91、TV影像输入基板51、超分辨率TV影像输出基板52及超分辨率处理模式切换控制电路基板53需要使用FPGA自己创建，但上变频电路基板91及电源电路基板96能够从市场购买满足设计要素的已有产品。
图30图示了第一机顶盒81的设定的状况的1例。在图30中，用户60将从地上数字化TV80的数字影像信号/音声输入输出端子延伸的数字信号线缆107连接在第一机顶盒81的数字TV影像信号输入输出端子50。
接着，用户60首先使第一机顶盒81的电源开关87接通而接入电源，其次接入地上数字化TV80的电源，使用地上数字化TV80的频道命令108与喜好的频道匹配，一边利用地上数字化TV80的TV显示器106确认TV播放影像，一边将模式开关84切换到测试，再将显示器开关85切换到有重叠。于是，在TV显示器106的右半部分放映超分辨率处理前的TV播放影像，而且，在左半部分无延迟地放映以默认设定条件进行了超分辨率处理之后的TV播放影像，在TV显示器106的右上角，默认设定条件的最大迭代运算次数的“I＝6”、模糊程度“F＝60”、“测试模式”这样的显示与TV影像重叠。
接着，由于帧劣化少，所以用户60使用F设定单元82将劣化指示数2从默认的256阶中60设定成30，使用I设定单元83将最大迭代运算次数保持在默认的2次，利用TV显示器106确认了在进行了基于接近实时处理的超分辨率处理后的画质的变化。其结果可知，没有大的画质变化，可知在默认值以下即可。
然后，用户60一边通过TV显示器106确认基于接近实时处理的超分辨率处理后的画质变化，一边使F设定单元82及I设定单元83变化来找出最佳的画质的状态。只要决定了超分辨率处理条件(F设定单元82及I设定单元83的设定值)，通过切换模式开关84就能够在TV显示器106的整个画面上欣赏超分辨率处理后的TV播放影像。在该状态下，超分辨率处理条件也是可变的。
图31图示了基于本发明人的面向TV影像的超分辨率处理方法的开发数据的迭代运算次数和LSI规模之间的关系的1例。应用了基于面向TV影像的加速超分辨率处理方法的面向TV影像的加速超分辨率处理装置40的实施例1的面向TV影像的加速超分辨率处理系统49及实施例2的第一机顶盒81的最大迭代运算处理次数1的标准为2次，在图31中，为左端的点。图31的从左侧开始的第二个点是根据本发明人的以往方法的面向TV影像的超分辨率处理方法中的最大迭代运算处理次数的标准，其次数是6次。从图31可知，当从本发明人的以往方法变更成面向TV影像的加速超分辨率处理方法时，迭代运算处理次数成为1/3，对于图像复原单元实施FPGA化及LSI化时的逻辑门数能够从150万逻辑门大幅度削减到7万逻辑门。
图32是表示本发明人的以往方法和面向TV影像的加速超分辨率处理方法的超分辨率处理品质的比较的1例的图。图32的左侧的图像是未处理的劣化图像，仅由彩色标准图像的亮度成分构成。图32的中央的图像是根据面向TV影像的加速超分辨率处理方法得到的，使用不处理影像而是被改造成1帧处理的第一机顶盒81得到的，最大迭代运算次数1为2次，劣化指示数2为30。图32的右侧的图像是根据本发明人的以往方法得到的，使用不处理影像而是被改造成1帧处理的机顶盒而得到的，最大迭代运算次数1为6次，劣化指示数2为30。从图32可知，根据面向TV影像的加速超分辨率处理方法实施的一方与根据本发明人的以往方法实施相比，超分辨率处理品质更好。其结果可知，与大量的实验结果一致，面向TV影像的加速超分辨率处理方法的超分辨率处理品质是与本发明人的以往方法同等以上的1例。
图33是表示标准图像的劣化程度和基于迭代运算次数的超分辨率处理品质之间的关系的1例的图。准备与劣化指示数2为30、54、74相当的劣化程度的标准图像，使用不处理影像而是被改造成1帧处理的第一机顶盒81，并通过面向TV影像的加速超分辨率处理方法，设最大迭代运算次数1为2次及3次，在进行超分辨率处理时得到超分辨率处理图像，将该超分辨率处理图像相对于劣化指示数2及最大迭代运算次数1进行总结后得到的是图33。从图33可知，当劣化指示数2为30～74的范围时，只要最大迭代运算次数1最低为2次，超分辨率处理品质就为良好，能够忽略由劣化指示数2及最大迭代运算次数1带来的影响。劣化指示数2为30～74的范围是在当前的地上数字化TV影像中相当于从标准至相当差的范围，面向TV影像的加速超分辨率处理方法良好地适于地上数字化TV影像的处理。
实施例3是适用了将本发明的面向TV影像的加速超分辨率处理装置40的第二图像复原单元88变更为第三复原单元的面向TV影像的加速超分辨率处理装置40的第三方式的第二机顶盒109。第二机顶盒109的硬件的结构与第一机顶盒81完全相同。第一机顶盒81和第二机顶盒109的不同仅在于构成于F电路基板90的单元从第二图像复原单元W88变更成第三图像复原单元。由此，没有重新改写来表示图29。另外，第一机顶盒81的外观和第二机顶盒109的外观的不同仅是机顶盒的序号，事实上并不存在，因此没有重新改写来表示图30。也不存在超分辨率处理品质上的不同，能够得到与图28所示的结构同等的结果。
工业实用性
只要利用TV影像无论是何种用途都能够应用本发明，从而能够被利用于进行摄像机或数字相机的开发/制造的精密设备产业及电子设备产业、应用程序或游戏等的软件开发产业、内窥镜或MRI等医疗设备产业、显示器等的信息设备产业、监视相机等的防灾/防犯罪设备产业、档案产业等。
附图标记说明
(1)～(9)用户的输入，(A)～(I)计算机的响应，1最大迭代运算次数，2劣化指示数，3一系列的PSF，3一系列的PSF的亮度分布，4劣化图像的亮度分布，5 1帧大小的TV影像信号，6复原图像初始值的推定亮度分布，7PSF尺寸，8修正复原图像初始值的推定亮度分布，9PSF的亮度分布，10复原图像的推定亮度分布，11最大似然复原图像的亮度分布，12超分辨率TV影像信号，13PSF数据库，14第一个PSF的亮度分布，15PSF初始值的亮度分布，16最大似然复原PSF的亮度分布，17第n个PSF的亮度分布，18扩展PSF数据库，19劣化PSF的亮度分布，20复原PSF初始值的推定亮度分布，21修正复原PSF初始值的推定亮度分布，22复原PSF的推定亮度分布，23PSF的亮度分布9的图像文件名，24第二个PSF的亮度分布，25第n_max个PSF的亮度分布，26劣化图像保存用缓冲器，27复原图像初始值用缓冲器，28RGB信号，29剩余的TV影像信号，30YUV信号，31Y劣化图像的亮度分布，32U劣化图像的分布，33V劣化图像的分布，34YUV复原图像的分布，35RGB复原图像的分布，36复原后，37未图示，37第一加速超分辨率处理程序，38第二加速超分辨率处理程序，39第三加速超分辨率处理程序，40面向TV影像的加速超分辨率处理装置，41W22，42运算困难区域，43第四加速超分辨率处理程序，44第五加速超分辨率处理程序，45第六加速超分辨率处理程序，46第一存储介质，47第二存储介质，48计算机，49面向TV影像的加速超分辨率处理系统，50数字TV影像信号输入输出端子，51TV影像输入基板，52超分辨率TV影像输出基板，53超分辨率处理模式切换控制电路基板，54数字TV影像线缆，55总线线缆，56影像显示模式指定按键，56未图示，57条件显示指定按键，57未图示，58面向TV影像的加速超分辨率处理装置图标，59显示器，60用户，61面向TV影像的加速超分辨率处理装置程序，62超分辨率处理窗口创建程序，63超分辨率处理窗口监视应对程序，64超分辨率处理窗口，65键盘，66鼠标，67TV影像，68超分辨率TV影像，69影像窗口，70信息窗口，71劣化指示数设定按键，72最大迭代运算次数设定按键，73超分辨率处理开始按键，74超分辨率处理中断按键，75超分辨率处理再开按键，76超分辨率处理停止按键，77帮助按键，78影像放大/缩小按键，79关闭按键，80地上数字化TV，81第一机顶盒，82F设定单元，83I设定单元，84模式开关，85显示器开关，86LCD显示器，87电源开关，88LED灯，89外壳，90F电路基板，91上变频电路基板，92计算机，93未图示，94PSF准备单元构成程序，95HDD，96电源电路基板，97散热风扇，98LAN端子，99USB端子，100USB端子，101USB端子，102商用交流单相100V电源线缆，103电源线缆，104信号线，105信号线，106TV显示器，106未图示，107数字信号线缆，108频道命令，109第二机顶盒，F劣化指示数，FCN13第十三函数，FCN14第十四函数，FCN15第十五函数，FNC16第十六函数，FNC17第十七函数，FNC18第十八函数，FNC19第十九函数，FNC20第二十函数，FNC21第二十一函数，FNC22第二十二函数，FNC23第二十三函数，FNC24第二十四函数，I迭代运算次数，S1工序，S2劣化指示数指定工序，S3PSF准备工序，S3-2PSF准备工序S3的第二方式，S3-3PSF准备工序的第三方式，S4劣化图像准备工序，S5复原图像初始值准备工序，S6PSF尺寸取得工序，S7第一重置工序，S8工序，S8第一复原图像初始值修正工序，S9PSF选定工序，S10～S18工序，S19准备工序，S20第一图像复原工序，S21第一加速超分辨率处理工序，S22TV影像化工序，S30～S63工序，S64PSF复原工序，S65～S76工序，S80PSF提供工序，S81第一单次图像复原工序，S81-1第一级的第一单次图像复原工序，S81-2第二级的第一单次图像复原工序，S81-n_max第n_max级的第一单次图像复原工序，S81-n第n级的第一单次图像复原工序，S82～S87工序，S88第二图像复原工序，S90～S106工序，S107第三图像复原工序，S110RGB信号提取工序，S111延迟工序，S112YUV转换工序，S113Y劣化图像提取工序，S114去伽马处理工序，S120～S124工序，W1单元，W2劣化指示数指定单元，W3PSF准备单元，W3-2PSF准备单元S3的第二方式，W3-3PSF准备单元的第三方式，W4劣化图像准备单元，W5复原图像初始值准备单元，W6PSF尺寸取得单元，W7第一重置单元，W8单元，W8第一复原图像初始值修正单元，W9PSF选定单元，W10～W18单元，W19准备单元，W20第一图像复原单元，W21第一加速超分辨率处理单元，W22TV影像化单元，W30～W63单元，W64PSF复原单元，W70～W80单元，W81第一单次图像复原单元，W81-1第一级的第一单次图像复原单元，W81-2第二级的第一单次图像复原单元，W81-n_max第n_max级的第一单次图像复原单元，W81-n第n级的第一单次图像复原单元，W82～W87单元，W88第二图像复原单元，W90～W106单元，W107第三图像复原单元，W110RGB信号提取单元，W111延迟单元，W112YUV转换单元，W113Y劣化图像提取单元，W114去伽马处理单元，W120～W124单元。

Claims (27)

1.一种面向TV影像的加速超分辨率处理方法，从1帧大小的TV影像信号所含有的帧减少光学劣化并复原成劣化前的1帧大小的TV影像信号，所述面向TV影像的加速超分辨率处理方法的特征在于，具有：
(S1)设定最大迭代运算次数的工序；
(S2)劣化指示数指定工序，一边观察所述TV影像一边对与所述TV影像的劣化状况相适的劣化指示数进行指定；
(S3)PSF准备工序，准备与所述劣化指示数关联的第一个PSF的亮度分布及由该亮度分布的体系构成且与迭代运算次数关联地整理出的一系列的PSF的亮度分布，其中，PSF为点扩散函数；
(S4)劣化图像准备工序，根据1帧大小的TV影像信号准备由1帧大小的亮度分布构成的劣化图像的亮度分布；
(S5)复原图像初始值准备工序，将所述劣化图像的亮度分布作为复原图像初始值的推定亮度分布；
(S6)PSF尺寸取得工序，所述一系列的PSF的亮度分布为彼此相同的图像尺寸，当将该图像尺寸称为PSF尺寸时，求出该PSF尺寸；
(S7)将对迭代运算次数进行计数的计数器设定为1的第一重置工序；
(S8)第一复原图像初始值修正工序，复制所述复原图像初始值的推定亮度分布并将其作为修正复原图像初始值的推定亮度分布，而且基于PSF尺寸修正所述修正复原图像初始值的推定亮度分布；
(S9)PSF选定工序，从所述一系列的PSF的亮度分布选择与所述计数器的值关联的1个并将其作为PSF的亮度分布；
(S10)将所述PSF的亮度分布卷积所述修正复原图像初始值的推定亮度分布而得到第一函数的工序；
(S11)将所述第一函数进行反转而得到第二函数的工序；
(S12)将所述第二函数乘以所述劣化图像的亮度分布而得到第三函数的工序；
(S13)将所述第三函数乘以所述复原图像初始值的推定亮度分布而得到复原图像的推定亮度分布的工序；
(S14)对所述计数器累加1的工序；
(S15)验证工序，对所述计数器的值为最大迭代运算次数以上这一假设进行验证，若验证结果为假则前进至(S16)工序，若所述验证结果为真则前进至工序(S18)；
(S16)将所述复原图像的推定亮度分布替换所述复原图像初始值的推定亮度分布的工序；
(S17)返回(S8)工序的工序；
(S18)将所述复原图像的推定亮度分布作为最大似然复原图像的亮度分布进行输出的工序；
(S19)由所述(S1)～(S7)工序构成的准备工序；
(S20)由所述(S8)～(S18)工序构成的第一图像复原工序，
还具有：
(S21)第一加速超分辨率处理工序，在所述准备工序(S19)及所述第一图像复原工序(S20)中，通过以工序的编号从小到大的顺序按顺序执行来完成最大迭代运算次数的迭代运算，并输出最大似然复原图像的亮度分布；以及
(S22)TV影像化工序，将所述最大似然复原图像的亮度分布作为1帧大小的TV影像信号并将其作为超分辨率TV影像信号进行输出。
2.如权利要求1所述的面向TV影像的加速超分辨率处理方法，其特征在于，
所述PSF准备工序的第二方式具有：
(S30)将所述劣化指示数作为检索信息，在以一对一的方式将劣化指示数与PSF的亮度分布建立关联地整理而创建出的PSF数据库中进行检索，将检索到的PSF的亮度分布作为第一个PSF的亮度分布的工序；
(S31)将1输入到对次数进行计数的第二计数器并重置的工序；
(S32)将所述第一个PSF的亮度分布作为PSF初始值的亮度分布的工序；
(S33)对所述第二计数器累加1的工序；
(S34)验证工序，对所述第二计数器的值超过所述最大迭代运算次数这一假设进行验证，若验证结果为假则前进至(S35)工序，若验证结果为真则跳转至(S38)工序；
(S35)通过根据PSF复原工序复原PSF初始值的亮度分布而得到最大似然复原PSF的亮度分布的工序；
(S36)在设所述第二计数器的值为n时，将所述最大似然复原PSF的亮度分布作为第n个PSF的亮度分布的工序；
(S37)返回(S33)工序的工序；以及
(S38)在设所述最大迭代运算次数为n_max而且设小于所述n_max的自然数为n时，从第一个PSF的亮度分布到第n_max个PSF的亮度分布为止按该顺序连续地作为一系列的PSF的亮度分布，将所述劣化指示数作为标签标注于该一系列的PSF的亮度分布，而作为与所述劣化指示数关联的所述一系列的PSF的亮度分布的工序。
3.如权利要求1所述的面向TV影像的加速超分辨率处理方法，其特征在于，
所述PSF准备工序的第三方式具有：
(S40)将所述最大迭代运算次数设定成5的工序；
(S41)准备扩展PSF数据库的工序，所述扩展PSF数据库是通过如下的方式得到的：事先对于所述PSF数据库内的全部劣化指示数和与其关联的PSF的亮度分布的对的全部执行PSF准备工序，针对每个所述劣化指示数得到一系列的PSF的亮度分布，对这些针对每个所述劣化指示数的一系列的PSF的亮度分布进行编辑，由此，将所述劣化指示数与一系列的PSF的亮度分布建立关联地整理得到扩展PSF数据库；以及
(S42)使用所述劣化指示数在所述扩展PSF数据库中进行检索，取得对应的一系列的PSF的亮度分布并将其输出的工序。
4.如权利要求2所述的面向TV影像的加速超分辨率处理方法，其特征在于，
所述PSF复原工序具有：
(S50)将6代入所述最大迭代运算次数的工序；
(S51)将所述PSF初始值的亮度分布视为劣化了的图像的亮度分布并作为劣化PSF的亮度分布的工序；
(S52)将所述PSF初始值的亮度分布作为复原PSF初始值的推定亮度分布的工序；
(S53)将1代入所述计数器并重置的工序；
(S54)复原PSF初始值修正工序，将所述复原PSF初始值的推定亮度分布作为修正复原PSF初始值的推定亮度分布，而且针对在将所述PSF初始值的亮度分布与所述修正复原PSF初始值的推定亮度分布进行卷积运算时在所述修正复原PSF初始值的推定亮度分布的周边部产生的运算困难区域，基于所述PSF初始值的亮度分布的图像尺寸来计算所述运算困难区域，并复制与上边边界相关的所述运算困难区域的像素，将该复制的像素以相对于所述修正复原PSF初始值的推定亮度分布的上边边界成镜像对称地配置的方式粘贴在所述上边边界的外侧，同样地按顺时针地关于右边再关于下边最后关于左边实施同样的复制粘贴处理，从而修正所述修正复原PSF初始值的推定亮度分布；
(S55)将所述PSF初始值的亮度分布卷积所述修正复原PSF初始值的推定亮度分布而得到第四函数的工序；
(S56)将所述第四函数进行反转而得到第五函数的工序；
(S57)将所述第五函数乘以所述劣化PSF的亮度分布而得到第六函数的工序；
(S58)将所述第六函数乘以所述复原PSF初始值的推定亮度分布而得到复原PSF的推定亮度分布的工序；
(S59)对所述计数器累加1的工序；
(S60)验证工序，对所述计数器的值超过最大迭代运算次数这一假设进行验证，若验证结果为假则前进至(S61)工序，若验证结果为真则跳转到(S63)工序；
(S61)将所述复原PSF的推定亮度分布替换所述复原PSF初始值的推定亮度分布的工序；
(S62)跳转到(S54)工序的工序；以及
(S63)将所述复原PSF的推定亮度分布作为最大似然复原PSF的亮度分布输出的工序。
5.如权利要求1所述的面向TV影像的加速超分辨率处理方法，其特征在于，
所述第一复原图像初始值修正工序具有：
(S70)将所述复原图像初始值的推定亮度分布作为修正复原图像初始值的推定亮度分布的工序；
(S71)基于所述PSF尺寸，对在将所述一系列的PSF的亮度分布中的某一个与所述修正复原图像初始值的推定亮度分布进行卷积运算时在所述修正复原图像初始值的推定亮度分布的周边部产生的运算困难区域进行计算的工序；
(S72)复制所述修正复原图像初始值的推定亮度分布的所述运算困难区域内的像素，使该复制的像素相对于所述修正复原图像初始值的推定亮度分布的4边成镜像对称地分别翻转，而且以配置在所述修正复原图像初始值的推定亮度分布的4边的边界的外侧的方式粘贴来修正的工序；
(S73)复制所述修正复原图像初始值的推定亮度分布的所述运算困难区域内的左上角部的像素，使该复制的左上角部的像素以所述左上角的顶点为旋转中心旋转180度，粘贴在所述修正复原图像初始值的推定亮度分布的左上角部产生的空白区域来修正的工序；
(S74)复制所述修正复原图像初始值的推定亮度分布的所述运算困难区域内的右上角部的像素，使该复制的右上角部的像素以所述右上角的顶点为旋转中心旋转180度，粘贴在所述修正复原图像初始值的推定亮度分布的右上角部产生的空白区域来修正的工序；
(S75)复制所述修正复原图像初始值的推定亮度分布的所述运算困难区域内的左下角部的像素，使该复制的左下角部的像素以所述左上角的顶点为旋转中心旋转180度，粘贴在所述修正复原图像初始值的推定亮度分布的左下角部产生的空白区域来修正的工序；以及
(S76)复制所述修正复原图像初始值的推定亮度分布的所述运算困难区域内的右下角部的像素，使该复制的右下角部的像素以所述右上角的顶点为旋转中心旋转180度，粘贴在所述修正复原图像初始值的推定亮度分布的右下角部产生的空白区域来修正的工序。
6.如权利要求1所述的面向TV影像的加速超分辨率处理方法，其特征在于，
所述第一图像复原工序的第二方式具有：
(S80)PSF提供工序，在设所述最大迭代运算次数为n_max而且设小于所述n_max的自然数为n时，将一系列的PSF的亮度分布中的第n个PSF的亮度分布作为PSF的亮度分布并提供给第n级的第一单次图像复原工序；以及
(S81)第一单次图像复原工序，根据所述PSF的亮度分布、所述复原图像初始值的推定亮度分布及所述劣化图像的亮度分布，进行与基于Bayse概率论的数学式的迭代运算内的1次运算相当的运算，求出并输出所述劣化图像的亮度分布的最大似然的复原图像的推定亮度分布，
该第一单次图像复原工序S81具有：
(S82)第二复原图像初始值修正工序，由与基于所述PSF尺寸修正所述复原图像初始值的推定亮度分布并求出修正复原图像初始值的推定亮度分布的所述第一复原图像初始值修正工序相同的处理顺序构成；
(S83)将所述PSF的亮度分布卷积所述修正复原图像初始值的推定亮度分布而得到第七函数的工序；
(S84)将所述第七函数进行反转而得到第八函数的工序；
(S85)将所述第八函数乘以所述劣化图像的亮度分布而得到第九函数的工序；
(S86)将所述第九函数乘以所述复原图像初始值的推定亮度分布而得到复原图像的推定亮度分布的工序；以及
(S87)输出所述复原图像的推定亮度分布的工序，
(S88)是第二图像复原工序，由通过将第n级的第一单次图像复原工序(S81-n)的(S87)工序的输出与第(n+1)级的第一单次图像复原工序(S81-(n+1))的(S82)工序相连构成的所述n_max级的串联连结体构成，在该第二图像复原工序(S88)中，进行被串联连接的第一单次图像复原工序(S81)的次数即所述n_max次的迭代运算，将从所述n_max级的第一单次图像复原工序(S81-n_max)输出的复原图像的推定亮度分布作为最大似然复原图像的亮度分布进行输出。
7.如权利要求1所述的面向TV影像的加速超分辨率处理方法，其特征在于，
所述第一图像复原工序的第三方式具有：
(S90)通过将0代入所述计数器来重置的工序；
(S91)通过将1代入第二计数器来重置的工序；
(S92)验证工序，对所述计数器的值为零以外这一假设进行验证，若验证结果为假则前进至(S93)工序，若验证结果为真则跳转到(S96)工序；
(S93)将所述劣化图像的亮度分布向劣化图像保存用缓冲器及复原图像初始值用缓冲器传送的工序；
(S94)跳转到(S96)工序的工序；
(S95)将(S102)工序的复原图像的推定亮度分布向所述复原图像初始值用缓冲器传送的工序；
(S96)在设第二计数器的值为m时，将一系列的PSF的亮度分布内的第m个PSF的亮度分布作为PSF的亮度分布的工序；
(S97)从所述复原图像初始值用缓冲器读取复原图像初始值的推定亮度分布的工序；
(S98)第三复原图像初始值修正工序，由与基于所述PSF尺寸修正所述复原图像初始值的推定亮度分布并将其作为修正复原图像初始值的推定亮度分布的所述第一复原图像初始值修正工序相同的处理顺序构成；
(S99)将所述PSF的亮度分布卷积所述修正复原图像初始值的推定亮度分布而得到第十函数的工序；
(S100)将所述第十函数进行反转而得到第十一函数的工序；
(S101)从所述劣化图像保存用缓冲器读取所述劣化图像的亮度分布并将其乘以所述第十一函数而得到第十二函数的工序；
(S102)将所述第十二函数乘以所述复原图像初始值的推定亮度分布而得到复原图像的推定亮度分布的工序；
(S103)对所述计数器累加1的工序；
(S104)对所述第二计数器累加1的工序；
(S105)验证工序，对所述计数器的值超过最大迭代运算次数这一假设进行验证，若验证结果为假则跳转到(S95)工序，若验证结果为真则前进至(S106)工序；以及
(S106)将所述复原图像的推定亮度分布作为最大似然复原图像的亮度分布进行输出的工序，
(S107)是第三图像复原工序，通过以工序的编号从小到大的顺序按顺序执行来完成所述最大迭代运算次数的迭代运算，并输出被最大似然化的最大似然复原图像。
8.如权利要求1所述的面向TV影像的加速超分辨率处理方法，其特征在于，
所述劣化图像准备工序具有：
(S110)从1帧大小的TV影像信号取出构成帧的RGB信号的RGB信号提取工序；
(S111)延迟工序，在所述1帧大小的TV影像信号内，延迟1帧大小地输出取出了RGB信号的剩余的TV影像信号；
(S112)对所述RGB信号进行YUV转换并作为YUV信号的YUV转换工序；
(S113)Y劣化图像提取工序，在所述YUV信号内，提取仅由作为亮度成分的Y信号构成的劣化图像的亮度分布并作为Y劣化图像的亮度分布，保持仅由剩余的U信号构成的U劣化图像的分布及仅由V信号构成的V劣化图像的分布；
(S114)去伽马处理工序，进行所述Y劣化图像的亮度分布的去伽马处理，并作为由1帧大小的亮度分布构成的劣化图像的亮度分布进行输出。
9.如权利要求8所述的面向TV影像的加速超分辨率处理方法，其特征在于，
所述TV影像化工序具有：
(S120)进行所述最大似然复原图像的亮度分布的伽马处理的伽马处理工序；
(S121)复原图像合成工序，将在所述Y劣化图像提取工序中保持的所述U劣化图像的分布和所述V劣化图像的分布以及由Y成分构成的伽马处理后的最大似然复原图像的亮度分布合成1张YUV复原图像的分布；
(S122)RGB转换工序，进行所述YUV复原图像的分布的RGB转换并作为RGB复原图像的分布；
(S123)读取所述RGB复原图像的分布并输出RGB信号的RGB信号转换工序；以及
(S124)TV影像信号合成工序，将所述RGB信号与所述延迟工序输出的剩余的所述TV影像信号合成并作为由1帧大小的TV影像信号构成的超分辨率TV影像信号进行输出。
10.如权利要求1～7中任一项所述的面向TV影像的加速超分辨率处理方法，其特征在于，所述PSF的亮度分布由没有边缘的正方形状的同一尺寸的像素构成，其亮度分布是中心最亮的二维正态分布，其尺寸为5×5像素。
11.一种能够由计算机读取的存储介质，其特征在于，存储第一加速超分辨率处理程序，该第一加速超分辨率处理程序用于使计算机执行权利要求1所述的面向TV影像的加速超分辨率处理方法的所述准备工序及所述第一图像复原工序。
12.一种能够由计算机读取的存储介质，其特征在于，存储第二加速超分辨率处理程序，该第二加速超分辨率处理程序用于使计算机执行权利要求1所述的面向TV影像的加速超分辨率处理方法的所述准备工序及权利要求6所述的面向TV影像的加速超分辨率处理方法的所述第二图像复原工序。
13.一种能够由计算机读取的存储介质，其特征在于，存储第三加速超分辨率处理程序，该第三加速超分辨率处理程序用于使计算机执行权利要求1所述的面向TV影像的加速超分辨率处理方法的所述准备工序及权利要求7所述的面向TV影像的加速超分辨率处理方法的所述第三图像复原工序。
14.一种能够由计算机读取的存储介质，其特征在于，用于使计算机执行权利要求1所述的面向TV影像的加速超分辨率处理方法的所述准备工序及所述第一图像复原工序的第一加速超分辨率处理程序、用于使计算机执行权利要求1所述的面向TV影像的加速超分辨率处理方法的所述准备工序及权利要求6所述的面向TV影像的加速超分辨率处理方法的所述第二图像复原工序的第二加速超分辨率处理程序及用于使计算机执行权利要求1所述的面向TV影像的加速超分辨率处理方法的所述准备工序及权利要求7所述的面向TV影像的加速超分辨率处理方法的所述第三图像复原工序的第三加速超分辨率处理程序均被加密，所述存储介质存储这些被加密的所述第一加速超分辨率处理程序、所述第二加速超分辨率处理程序及所述第三加速超分辨率处理程序。
15.一种面向TV影像的加速超分辨率处理装置，其根据权利要求1～5、8～10中任一项所述的面向TV影像的加速超分辨率处理方法，从1帧大小的TV影像信号所含有的帧减少光学劣化并复原成劣化前的1帧大小的TV影像信号，所述面向TV影像的加速超分辨率处理装置的特征在于，具有：
(W1)设定最大迭代运算次数的单元；
(W2)劣化指示数指定单元，一边观察所述TV影像一边对与TV影像的劣化状况相适的劣化指示数进行指定；
(W3)PSF准备单元，准备与所述劣化指示数关联的第一个PSF的亮度分布及由该亮度分布的体系构成且与迭代运算次数关联地整理出的一系列的PSF的亮度分布；
(W4)劣化图像准备单元，根据1帧大小的TV影像信号准备由1帧大小的亮度分布构成的劣化图像的亮度分布；
(W5)复原图像初始值准备单元，将所述劣化图像的亮度分布作为复原图像初始值的推定亮度分布；
(W6)PSF尺寸取得单元，所述一系列的PSF的亮度分布为彼此相同的图像尺寸，当将该图像尺寸称为PSF尺寸时，求出该PSF尺寸；
(W7)将对迭代运算次数进行计数的计数器设定为1的第一重置单元；
(W8)第一复原图像初始值修正单元，复制所述复原图像初始值的推定亮度分布并将其作为修正复原图像初始值的推定亮度分布，而且基于PSF尺寸修正所述修正复原图像初始值的推定亮度分布；
(W9)PSF选定单元，从所述一系列的PSF的亮度分布选择与所述计数器的值关联的1个并将其作为PSF的亮度分布；
(W10)将所述PSF的亮度分布卷积所述修正复原图像初始值的推定亮度分布而得到第十三函数的单元；
(W11)将所述第十三函数进行反转而得到第十四函数的单元；
(W12)将所述第十四函数乘以所述劣化图像的亮度分布而得到第十五函数的单元；
(W13)将所述第十五函数乘以所述复原图像初始值的推定亮度分布而得到复原图像的推定亮度分布的单元；
(W14)对所述计数器累加1的单元；
(W15)验证单元，对所述计数器的值为最大迭代运算次数以上这一假设进行验证，若验证结果为假则前进至(W16)单元，若验证结果为真则进入单元(W18)；
(W16)将所述复原图像的推定亮度分布替换所述复原图像初始值的推定亮度分布的单元；
(W17)返回(W8)单元的单元；
(W18)将所述复原图像的推定亮度分布作为最大似然复原图像的亮度分布输出的单元；
(W19)由所述(W1)～(W7)单元构成的准备单元；
(W20)由所述(W8)～(W18)单元构成的第一图像复原单元，
还具有：
(W21)第一加速超分辨率处理单元，在所述准备单元(W19)及所述第一图像复原单元(W20)中，通过以单元的编号从小到大的顺序按顺序执行而完成所述最大迭代运算次数的迭代运算，并输出最大似然复原图像的亮度分布；以及
(W22)TV影像化单元，将所述最大似然复原图像的亮度分布作为1帧大小的TV影像信号并将其作为超分辨率TV影像信号进行输出。
16.如权利要求15所述的面向TV影像的加速超分辨率处理装置，其特征在于，
所述PSF准备单元的第二方式具有：
(W30)将所述劣化指示数作为检索信息，在以一对一的方式将劣化指示数与PSF的亮度分布建立关联地整理而创建出的PSF数据库中进行检索，将检索到的PSF的亮度分布作为第一个PSF的亮度分布的单元；
(W31)将1输入到计数次数的第二计数器并重置的单元；
(W32)将所述第一个PSF的亮度分布作为PSF初始值的亮度分布的单元；
(W33)对所述第二计数器累加1的单元；
(W34)验证单元，对所述第二计数器的值超过最大迭代运算次数这一假设进行验证，若验证结果为假则前进至(W35)单元，若验证结果为真则跳转至(W38)单元；
(W35)通过根据PSF复原单元复原PSF初始值的亮度分布而得到最大似然复原PSF的亮度分布的单元；
(W36)在设所述第二计数器的值为n时，将所述最大似然复原PSF的亮度分布作为第n个PSF的亮度分布的单元；
(W37)返回(W33)单元的单元；以及
(W38)在设所述最大迭代运算次数为n_max而且设小于所述n_max的自然数为n时，从第一个PSF的亮度分布到第n_max个PSF的亮度分布为止按该顺序相连地作为一系列的PSF的亮度分布，并将所述劣化指示数作为标签标注于该一系列的PSF的亮度分布，而创建与所述劣化指示数关联的所述一系列的PSF的亮度分布的单元。
17.如权利要求15所述的面向TV影像的加速超分辨率处理装置，其特征在于，
所述PSF准备单元的第三方式具有：
(W40)将所述最大迭代运算次数设定成5的单元；
(W41)准备扩展PSF数据库的单元，所述扩展PSF数据库是通过如下的方式得到的：事先对于所述PSF数据库内的全部劣化指示数和与其关联的PSF的亮度分布的对的全部执行PSF准备单元，针对每个所述劣化指示数得到一系列的PSF的亮度分布，对这些针对每个所述劣化指示数的一系列的PSF的亮度分布进行编辑，由此，将所述劣化指示数与一系列的PSF的亮度分布建立关联地整理得到扩展PSF数据库；以及
(W42)使用所述劣化指示数在所述扩展PSF数据库中进行检索，取得对应的一系列的PSF的亮度分布并将其输出的单元。
18.如权利要求16所述的面向TV影像的加速超分辨率处理装置，其特征在于，
所述PSF复原单元具有：
(W50)将6代入所述最大迭代运算次数的单元；
(W51)将所述PSF初始值的亮度分布视为劣化了的图像的亮度分布并作为劣化PSF的亮度分布的单元；
(W52)将所述PSF初始值的亮度分布作为复原PSF初始值的推定亮度分布的单元；
(W53)将1代入所述计数器并重置的单元；
(W54)复原PSF初始值修正单元，将所述复原PSF初始值的推定亮度分布作为修正复原PSF初始值的推定亮度分布，而且针对在将所述PSF初始值的亮度分布与所述修正复原PSF初始值的推定亮度分布进行卷积运算时在所述修正复原PSF初始值的推定亮度分布的周边部产生的运算困难区域，基于所述PSF初始值的亮度分布的图像尺寸来计算所述运算困难区域，并复制与上边边界相关的运算困难区域的像素，将该复制的像素以相对于所述修正复原PSF初始值的推定亮度分布的上边边界成镜像对称地配置的方式粘贴在上边边界的外侧，同样地按顺时针地关于右边再关于下边最后关于左边实施同样的复制粘贴处理，从而修正所述修正复原PSF初始值的推定亮度分布；
(W55)将所述PSF初始值的亮度分布卷积所述修正复原PSF初始值的推定亮度分布而得到第十六函数的单元；
(W56)将所述第十六函数进行反转而得到第十七函数的单元；
(W57)将所述第十七函数乘以所述劣化PSF的亮度分布而得到第十八函数的单元；
(W58)将所述第十八函数乘以所述复原PSF初始值的推定亮度分布而得到复原PSF的推定亮度分布的单元；
(W59)对所述计数器累加1的单元；
(W60)验证单元，对所述计数器的值超过最大迭代运算次数这一假设进行验证，若验证结果为假则跳转到(W61)单元，若验证结果为真则跳转到(W63)单元；
(W61)将所述复原PSF的推定亮度分布替换复原PSF初始值的推定亮度分布的单元；
(W62)跳转到(W54)单元的单元；以及
(W63)将复原PSF的推定亮度分布作为最大似然复原PSF的亮度分布输出的单元。
19.如权利要求15所述的面向TV影像的加速超分辨率处理装置，其特征在于，
所述第一复原图像初始值修正单元具有：
(W70)将所述复原图像初始值的推定亮度分布作为修正复原图像初始值的推定亮度分布的单元；
(W71)基于所述PSF尺寸，对在将所述一系列的PSF的亮度分布中的某一个与所述修正复原图像初始值的推定亮度分布进行卷积运算时在所述修正复原图像初始值的推定亮度分布的周边部产生的运算困难区域进行计算的单元；
(W72)复制所述修正复原图像初始值的推定亮度分布的所述运算困难区域内的像素，使该复制的像素相对于所述修正复原图像初始值的推定亮度分布的4边成镜像对称地分别翻转，而且以配置在所述修正复原图像初始值的推定亮度分布的4边的边界的外侧的方式粘贴来修正的单元；
(W73)复制所述修正复原图像初始值的推定亮度分布的所述运算困难区域内的左上角部的像素，使该复制的左上角部的像素以所述左上角的顶点为旋转中心旋转180度，并粘贴在所述修正复原图像初始值的推定亮度分布的左上角部产生的空白区域来修正的单元；
(W74)复制所述修正复原图像初始值的推定亮度分布的所述运算困难区域内的右上角部的像素，使该复制的右上角部的像素以所述右上角的顶点为旋转中心旋转180度，粘贴在所述修正复原图像初始值的推定亮度分布的右上角部产生的空白区域来修正的单元；
(W75)复制所述修正复原图像初始值的推定亮度分布的所述运算困难区域内的左下角部的像素，使该复制的左下角部的像素以所述左上角的顶点为旋转中心旋转180度，粘贴在所述修正复原图像初始值的推定亮度分布的左下角部产生的空白区域来修正的单元；以及
(W76)复制所述修正复原图像初始值的推定亮度分布的所述运算困难区域内的右下角部的像素，使该复制的右下角部的像素以所述右上角的顶点为旋转中心旋转180度，粘贴在所述修正复原图像初始值的推定亮度分布的右下角部产生的空白区域来修正的单元。
20.如权利要求15所述的面向TV影像的加速超分辨率处理装置，其特征在于，
所述第一图像复原单元的第二方式具有：
(W80)PSF提供单元，在设所述最大迭代运算次数为n_max而且设小于所述n_max的自然数为n时，将一系列的PSF的亮度分布中的第n个PSF的亮度分布作为PSF的亮度分布并提供给第n级的第一单次图像复原单元；以及
(W81)第一单次图像复原单元，根据所述PSF的亮度分布、所述复原图像初始值的推定亮度分布及所述劣化图像的亮度分布，进行与基于Bayse概率论的数学式的迭代运算内的1次运算相当的运算，求出并输出所述劣化图像的亮度分布的最大似然的复原图像的推定亮度分布10，
该第一单次图像复原单元具有：
(W82)通过由与第一复原图像初始值修正单元相同的结构构成的第二复原图像初始值修正单元求出修正复原图像初始值的推定亮度分布的单元；
(W83)将所述PSF的亮度分布卷积所述修正复原图像初始值的推定亮度分布而得到第十九函数的单元；
(W84)将所述第十九函数进行反转而得到第二十函数的单元；
(W85)将所述第二十函数乘以所述劣化图像的亮度分布而得到第二十一函数的单元；
(W86)将所述第二十一函数乘以所述复原图像初始值的推定亮度分布而得到复原图像的推定亮度分布的单元；以及
(W87)输出所述复原图像的推定亮度分布的单元，
(W88)是第二图像复原单元，由通过将第n级的第一单次图像复原单元(W81-n)的(W87)单元的输出与第(n+1)级的第一单次图像复原单元(W81-(n+1))的(W82)单元连接而构成的所述n_max级的串联连结体构成，
在该第二图像复原单元(W88)中，进行被串联连接的第一单次图像复原单元(W81)的数量即所述n_max次的迭代运算，将从n_max级的第一单次图像复原单元(W81-n_max)输出的复原图像的推定亮度分布作为最大似然复原图像的亮度分布进行输出。
21.如权利要求15所述的面向TV影像的加速超分辨率处理装置，其特征在于，
所述第一图像复原单元的第三方式具有：
(W90)通过将0代入所述计数器来重置的单元；
(W91)通过将1代入第二计数器来重置的单元；
(W92)验证单元，对于所述计数器的值为零以外这一假设进行验证，若验证结果为假则前进至(W93)单元，若验证结果为真则跳转到(W96)单元；
(W93)将所述劣化图像的亮度分布向劣化图像保存用缓冲器及复原图像初始值用缓冲器传送的单元；
(W94)跳转到(W96)单元的单元；
(W95)将(W102)单元的复原图像的推定亮度分布向所述复原图像初始值用缓冲器传送的单元；
(W96)在设第二计数器的值为m时，将一系列的PSF的亮度分布内的第m个PSF的亮度分布作为PSF的亮度分布的单元；
(W97)从所述复原图像初始值用缓冲器读取复原图像初始值的推定亮度分布的单元；
(W98)第三复原图像初始值修正单元，由与修正所述复原图像初始值的推定亮度分布并将其作为修正复原图像初始值的推定亮度分布的第一复原图像初始值修正单元相同的结构构成；
(W99)将所述PSF的亮度分布卷积所述修正复原图像初始值的推定亮度分布而得到第二十二函数的单元；
(W100)将所述第二十二函数进行反转而得到第二十三函数的单元；
(W101)将所述第二十三函数乘以所述劣化图像的亮度分布而得到第二十四函数的单元；
(W102)将所述第二十四函数乘以所述复原图像初始值的推定亮度分布而得到复原图像的推定亮度分布的单元；
(W103)对所述计数器累加1的单元；
(W104)对所述第二计数器累加1的单元；
(W105)验证单元，对所述计数器的值超过最大迭代运算次数这一假设进行验证，若验证结果为假则跳转到(W95)单元，若验证结果为真则前进至(W106)单元；以及
(W106)将所述复原图像的推定亮度分布作为最大似然复原图像的亮度分布进行输出的单元，
(W107)是第三图像复原单元，通过以各单元的编号从小到大的顺序按顺序执行来完成所述最大迭代运算次数的迭代运算，并输出被最大似然化的最大似然复原图像。
22.如权利要求15所述的面向TV影像的加速超分辨率处理装置，其特征在于，
所述劣化图像准备单元具有：
(W110)从1帧大小的TV影像信号取出构成帧的RGB信号的RGB信号提取单元；
(W111)延迟单元，在所述1帧大小的TV影像信号内，延迟1帧大小地输出取出了RGB信号的剩余的TV影像信号；
(W112)对所述RGB信号进行YUV转换并作为YUV信号的YUV转换单元；
(W113)Y劣化图像提取单元，提取所述YUV信号内的仅由作为亮度成分的Y信号构成的劣化图像的亮度分布并作为Y劣化图像的亮度分布，并保持仅由剩余的U信号构成的U劣化图像的分布及仅由V信号构成的V劣化图像的分布；
(W114)去伽马处理单元，进行所述Y劣化图像的亮度分布的去伽马处理，并作为由1帧大小的亮度分布构成的劣化图像的亮度分布进行输出。
23.如权利要求22所述的面向TV影像的加速超分辨率处理装置，其特征在于，
所述TV影像化单元具有：
(W120)进行所述最大似然复原图像的亮度分布的伽马处理的伽马处理单元；
(W121)复原图像合成单元，将在由所述Y劣化图像提取单元保持的所述U劣化图像的分布、所述V劣化图像的分布和由Y成分构成的伽马处理后的最大似然复原图像的亮度分布合成1张YUV复原图像的分布；
(W122)RGB转换单元，进行所述YUV复原图像的分布的RGB转换并作为RGB复原图像的分布；
(W123)读取所述RGB复原图像的分布并输出RGB信号的RGB信号转换单元；以及
(W124)TV影像信号合成单元，将所述RGB信号与所述延迟单元所输出的所述剩余的TV影像信号合成并作为由1帧大小的TV影像信号构成的超分辨率TV影像信号进行输出。
24.一种能够由计算机读取的存储介质，其特征在于，存储第四加速超分辨率处理程序，该第四加速超分辨率处理程序构成且执行权利要求15所述的面向TV影像的加速超分辨率处理装置的所述准备单元及所述第一图像复原单元。
25.一种能够由计算机读取的存储介质，其特征在于，存储第五加速超分辨率处理程序，该第五加速超分辨率处理程序构成且执行权利要求15所述的面向TV影像的加速超分辨率处理装置的所述准备单元及权利要求20所述的面向TV影像的加速超分辨率处理装置的所述第二图像复原单元。
26.一种能够由计算机读取的存储介质，其特征在于，存储第六加速超分辨率处理程序，该第六加速超分辨率处理程序构成且执行权利要求15所述的面向TV影像的加速超分辨率处理装置的所述准备单元及权利要求21所述的面向TV影像的加速超分辨率处理装置的所述第三图像复原单元。
27.一种能够由计算机读取的存储介质，其特征在于，构成且执行权利要求15所述的面向TV影像的加速超分辨率处理装置的所述准备单元及所述第一图像复原单元的第四加速超分辨率处理程序、构成且执行权利要求15所述的面向TV影像的加速超分辨率处理装置的所述准备单元及权利要求20所述的面向TV影像的加速超分辨率处理装置的所述第二图像复原单元的第五加速超分辨率处理程序及构成且执行权利要求15所述的面向TV影像的加速超分辨率处理装置的所述准备单元及权利要求21所述的面向TV影像的加速超分辨率处理装置的所述第三图像复原单元的第六加速超分辨率处理程序分别被加密，所述存储介质存储这些被加密的所述第四加速超分辨率处理程序、所述第五加速超分辨率处理程序及所述第六加速超分辨率处理程序。
CN201480067470.8A 2013-12-11 2014-11-27 面向tv影像的加速超分辨率处理方法及装置、及存储介质 Active CN105814873B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013-255951 2013-12-11
JP2013255951A JP6126523B2 (ja) 2013-12-11 2013-12-11 Ｔｖ映像向け加速超解像処理方法及び同方法によるｔｖ映像向け加速超解像処理装置、第１〜６加速超解像処理プログラム、並びに第１〜２記憶媒体
PCT/JP2014/081474 WO2015087712A1 (ja) 2013-12-11 2014-11-27 Ｔｖ映像向け加速超解像処理方法及び同方法によるｔｖ映像向け加速超解像処理装置、第１～６加速超解像処理プログラム、並びに第１～２記憶媒体

Publications (2)

Publication Number Publication Date
CN105814873A CN105814873A (zh) 2016-07-27
CN105814873B true CN105814873B (zh) 2019-02-19

Family

ID=53371024

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480067470.8A Active CN105814873B (zh) 2013-12-11 2014-11-27 面向tv影像的加速超分辨率处理方法及装置、及存储介质

Country Status (5)

Country Link
US (1) US9787962B2 (zh)
JP (1) JP6126523B2 (zh)
KR (1) KR101807229B1 (zh)
CN (1) CN105814873B (zh)
WO (1) WO2015087712A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3881280B1 (en) * 2018-12-29 2023-09-13 Zhejiang Dahua Technology Co., Ltd. Methods and systems for image processing
CN112184835B (zh) * 2020-10-16 2024-01-19 深圳阿图科技有限公司 一种钢琴键盘图像的形变恢复方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006041127A1 (ja) * 2004-10-14 2006-04-20 Lightron Co., Ltd. 劣化情報復元方法と復元装置
JP2009100407A (ja) * 2007-10-19 2009-05-07 Toshiba Corp 画像処理装置及びその方法
JP2009296410A (ja) * 2008-06-06 2009-12-17 Hitachi Ltd 高解像度の映像再生装置
CN102388402A (zh) * 2010-02-10 2012-03-21 松下电器产业株式会社 图像处理装置及图像处理方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1801754B8 (en) * 2004-10-14 2011-09-14 Lightron Co. Ltd. Degradation information restoring method and device
JPWO2007122838A1 (ja) * 2006-04-25 2009-09-03 国立大学法人 奈良先端科学技術大学院大学 階層ベイズ法に基づく超解像法および超解像プログラム
JP4454657B2 (ja) 2007-01-12 2010-04-21 三洋電機株式会社 ぶれ補正装置及び方法、並びに撮像装置
JP5105286B2 (ja) 2008-05-07 2012-12-26 国立大学法人東京工業大学 画像復元装置、画像復元方法及び画像復元プログラム
JP2013003610A (ja) * 2011-06-10 2013-01-07 Sony Corp 画像処理装置および方法、プログラム、並びに記録媒体
JP2013175003A (ja) * 2012-02-24 2013-09-05 Osaka Prefecture Univ Ｐｓｆ推定方法とそれを用いた劣化画像の復元方法およびこれらを記録したプログラムとそれを実行するコンピュータ装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006041127A1 (ja) * 2004-10-14 2006-04-20 Lightron Co., Ltd. 劣化情報復元方法と復元装置
JP2009100407A (ja) * 2007-10-19 2009-05-07 Toshiba Corp 画像処理装置及びその方法
JP2009296410A (ja) * 2008-06-06 2009-12-17 Hitachi Ltd 高解像度の映像再生装置
CN102388402A (zh) * 2010-02-10 2012-03-21 松下电器产业株式会社 图像处理装置及图像处理方法

Also Published As

Publication number Publication date
WO2015087712A1 (ja) 2015-06-18
KR20160082705A (ko) 2016-07-08
JP2015115747A (ja) 2015-06-22
KR101807229B1 (ko) 2017-12-08
US20160366387A1 (en) 2016-12-15
JP6126523B2 (ja) 2017-05-10
US9787962B2 (en) 2017-10-10
CN105814873A (zh) 2016-07-27

Similar Documents

Publication Publication Date Title
CN105051792B (zh) 用于使用深度映射和光源合成增强3d图像的设备
CN108701352A (zh) 使用基于三维对象模型的识别的图像修改与增强
CN107423049A (zh) 实现在线编程的方法、浏览器和终端设备
TW494312B (en) Emulating a delayed exception on a digital computer having a corresponding precise exception mechanism
NO338043B1 (no) Utvidbare synlige effekter for aktivt innhold i brukergrensesnitt
Pajankar Raspberry Pi Image Processing Programming
CN105814873B (zh) 面向tv影像的加速超分辨率处理方法及装置、及存储介质
CN105814874B (zh) 面向tv影像的超分辨率处理方法及装置、以及存储介质
Sus et al. Software system for virtual laboratory works
Idris NumPy Cookbook
US10169899B2 (en) Reactive overlays of multiple representations using augmented reality
CN111324323A (zh) 多屏显示控制方法及装置、嵌入式处理系统和视频控制器
JP2006350675A (ja) ソフトウェアテスト装置
US10740521B1 (en) System and method for localized logic simulation replay using emulated values
CN114443375A (zh) 测试方法及装置、电子装置及计算机可读存储介质
Nitta et al. RISC-V Console: A Containerized RISC-V Based Game Console Emulator for Education
CN115729218B (zh) 一种多种换挡方式的模型测试方法、装置、设备和介质
Lezhebokov et al. Three-dimensional content in mobile applications for educational information systems
Al Hashimi Epsilon Futuristic Virtual User Environment
US20240046916A1 (en) Graphics translation to natural language
CN106156422A (zh) 一种封装标准协同仿真建模接口的方法和装置
Maicus Automated Grading for Advanced Topics Courses
CN113204494A (zh) 终端远程测试平台及方法、电子设备及可读介质
CN105976305B (zh) 一种图形加速器ip验证方法和装置
CN115082294A (zh) 图像格式确定方法、装置及电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20171018

Address after: Saitama Prefecture, Japan

Applicant after: LIGHTRON INTERNATIONAL CO., LTD.

Address before: Saitama Prefecture, Japan

Applicant before: LIGHTRON INTERNATIONAL CO., LTD.

Applicant before: EGUCHI MITSUO

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant