CN105453132B - 实施图像处理的信息处理设备和图像处理方法 - Google Patents

实施图像处理的信息处理设备和图像处理方法 Download PDF

Info

Publication number
CN105453132B
CN105453132B CN201480043863.5A CN201480043863A CN105453132B CN 105453132 B CN105453132 B CN 105453132B CN 201480043863 A CN201480043863 A CN 201480043863A CN 105453132 B CN105453132 B CN 105453132B
Authority
CN
China
Prior art keywords
image
deterioration
small pieces
deterioration process
estimation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480043863.5A
Other languages
English (en)
Other versions
CN105453132A (zh
Inventor
柴田刚志
池谷彰彦
仙田修司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of CN105453132A publication Critical patent/CN105453132A/zh
Application granted granted Critical
Publication of CN105453132B publication Critical patent/CN105453132B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G06V30/2504—Coarse or fine approaches, e.g. resolution of ambiguities or multiscale approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/1914—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries, e.g. user dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

本发明提供了一种信息处理设备，其中准确地估计输入图像的劣化过程并且可以获得为了从输入图像生成希望的恢复的图像而必需的词典。信息处理设备具有：图像获取装置，该图像获取装置获取多个学习图像和输入图像；以及估计装置，该估计装置在其中学习图像的与输入图像的任意区域对应的区域基于多个劣化过程中的每个劣化过程被劣化的情况下，基于在该任意区域与多个劣化图像中的每个劣化图像之间的相似性来输出与对应于输入图像的区域的劣化过程对应的估计的劣化过程。

Description

实施图像处理的信息处理设备和图像处理方法
技术领域
本发明涉及一种图像处理技术，并且特别地涉及一种用于生成在基于学习的超分辨率处理中使用的词典。
背景技术
关于图像处理，已经已知各种有关技术。
例如，作为用于从输入图像(例如，低分辨率图像)生成恢复的图像(例如，高分辨率图像)的技术的示例，已知超分辨率技术。在超分辨率技术之中，用于使用词典来生成高分辨率图像的技术特别地被称为基于学习的超分辨率技术。以上提到的词典是通过学习各自包括学习图像(一般为高质量图像)和与学习图像对应的劣化的图像(例如，通过减少学习图像的分辨率而创建的图像)的情况而被创建的词典。由超分辨率技术生成的恢复的图像也被称为超分辨率图像。
PTL1公开了字符识别设备的示例。在PTL 1中公开的字符识别设备执行超分辨率处理以识别牌照等上的在用相机拍摄的对象图像中包括的字符。
字符识别设备通过使用数据库(词典)来执行超分辨率处理，在该数据库(词典)中，低分辨率词典图像、低分辨率词典图像的特征值和高分辨率词典图像相互关联。以上提到的低分辨率词典图像是已经利用用来拍摄对象图像的相机拍摄的字符的图像。特征值是基于低分辨率词典图像中的相应低分辨率词典图像计算出的特征值。高分辨率词典图像是已经用具有比用来拍摄对象图像的相机更高的分辨率的相机拍摄的字符的图像。
PTL 2公开了超分辨率图像处理设备的示例。在PTL 2中公开的超分辨率图像处理设备从低分辨率原有图像(输入图像数据)输出高分辨率图像。
超分辨率图像处理设备使用已经由词典创建设备生成的词典表和其它信息以在通过向输入图像数据应用超分辨率图像处理来生成输出图像数据时推断丢失的高频分量。以上提到的词典表和其它信息是词典表、第一主分量基矢量和第二主分量基矢量。词典创建设备通过以下过程生成为具体情景而优化的词典表和其它信息。
首先，词典创建设备从采样图像文件获取作为处理对象的分段的位图、将获取的位图分解成多个分解的位图并且在临时表中的记录中存储分解的位图。
接着，词典创建设备按顺序向分解的位图应用MP(Max-Plus) 小波变换处理、排列处理、主分量分析处理、内积运算处理和频率分割处理，并且在临时表中的相应字段中存储处理的结果。在主分量分析处理中，词典创建设备计算第一主分量基矢量和第二主分量基矢量。
最后，词典创建设备使用均值运算单元来创建具有比临时表更小数目的记录的词典表。该词典表不同于以上描述的基于学习的超分辨率技术的词典。也就是说，该词典表不是通过学习其中学习图像与劣化的图像关联的情况而创建的词典。
PTL 3公开了图像超分辨率设备的示例。在PTL 3中公开的图像超分辨率设备从由于编码和解码而劣化的输入图像生成用预设的放大率放大的超分辨率图像。以上提到的编码和解码是通过预设的编码方法的编码和解码。具体而言，图像超分辨率设备通过以下处理生成超分辨率图像。
第一，图像超分辨率设备将输入图像分割成预先固定的大小的块，并且切割出块中的相应块作为处理块。接着，图像超分辨率设备通过用预先固定的放大率放大处理块来生成放大的处理块。预先固定的放大率是图像超分辨率设备在图像超分辨率设备生成超分辨率图像时用来放大输入图像的放大率。
第二，图像超分辨率设备在块存储装置中相互关联地写入参考块和劣化的参考块。以上提到的参考块是从输入图像切割出的并且具有与处理块的大小相同的大小的块。以上提到的劣化的参考块是参考块通过具体劣化过程被劣化成的块。具体劣化过程是在假设输入图像是待生成的超分辨率图像已经通过劣化过程被劣化成的图像。具体而言，图像超分辨率设备使用基于已经用来劣化输入图像的编码方法的劣化模型(模拟预定义的正交变换、量化等的模型) 来劣化参考块以生成劣化的参考块。
第三，图像超分辨率设备计算在劣化的参考块与处理块之间的相似性。
第四。图像超分辨率设备用预先固定的放大率放大劣化的参考块以生成恢复的参考块。另外，图像超分辨率设备计算在恢复的参考块与参考块之间的差值作为损失分量。
第五，图像超分辨率设备基于相似性组合放大的处理块与损失分量以生成超分辨率块。图像超分辨率设备将超分辨率块构造成图像以生成输入图像被放大成的超分辨率图像。
引用列表
专利文献
[PTL 1]日本待审专利申请公开号2005-149395
[PTL 2]日本待审专利申请公开号2013-026659
[PTL 3]日本待审专利申请公开号2012-113513
发明内容
技术问题
然而，在引用列表中引用的文献中公开的以上描述的技术具有的问题在于有其中不可能获得为了从输入图像生成希望的恢复的图像(超分辨率图像)而需要的和在基于学习的超分辨率处理中使用的词典的情况。
这是因为对向输入图像应用的劣化过程的准确估计是困难并且复杂的。
具体而言，在PLT 1中公开的字符识别设备并未估计对象图像的劣化过程。在字符识别设备中，低分辨率词典图像(等效于在基于学习的超分辨率处理中使用的词典中的劣化的图像)是已经利用用来拍摄对象图像的相机拍摄的字符的图像。也就是说，在数据库(词典)中包括的低分辨率词典图像不是通过估计对象图像的劣化过程而获得的图像。
PTL 2中的超分辨率图像处理设备基于采样图像文件(等效于在基于学习的超分辨率处理中使用的词典中的学习图像)、通过使用函数等的运算来生成词典表和其它信息。词典表和其它信息是为具体情景而优化的词典、但不是通过执行对劣化过程的估计而获得的词典。
由PTL 3中的图像超分辨率设备执行的超分辨率处理是在劣化过程预先清楚时的超分辨率处理。因此，图像超分辨率设备不能处理其劣化过程不清楚的输入图像。
另外，难以通过技术(如盲去卷积等)来估计准确劣化过程。以上提到的盲去间距是以自然图像为目标的、用于从测量的信号恢复原有信号的方法。另外，用户(操作者)基于经验等来估计准确劣化过程是困难和非常复杂的。
本发明的目的是提供一种能够解决以上描述的问题的信息处理设备、图像处理方法和程序或者记录程序的非瞬态计算机可读记录介质。
对问题的解决方案
根据本发明的一个示例性方面的一种信息处理设备包括：图像获取装置，该图像获取装置用于获取多个第一学习图像和输入图像；以及估计装置，该估计装置用于在第一学习图像中的与输入图像中的任意区域对应的区域基于多个劣化过程中的相应劣化过程被劣化时，基于在任意区域与多个第一劣化的图像中的相应第一劣化的图像之间的第一相似性来输出估计的劣化过程，其中估计的劣化过程对应于劣化过程中的如下劣化过程：该劣化过程与输入图像中的区域有关。
根据本发明的一个示例性方面的一种图像处理方法，该图像处理方法使用实施图像处理方法的计算机，该图像处理方法包括：获取多个第一学习图像和输入图像；以及在第一学习图像中的与输入图像中的任意区域对应的区域基于多个劣化过程中的相应劣化过程被劣化时，基于在任意区域与多个第一劣化的图像中的相应第一劣化的图像之间的第一相似性来输出估计的劣化过程。
根据本发明的一个示例性方面的一种记录程序的非瞬态计算机可读记录介质，该程序使得计算机执行以下处理：获取多个第一学习图像和输入图像；以及在第一学习图像中的与输入图像中的任意区域对应的区域基于多个劣化过程中的相应劣化过程被劣化时，基于在任意区域与多个第一劣化的图像中的相应第一劣化的图像之间的第一相似性来输出估计的劣化过程。
本发明的有利效果
本发明具有的有利效果在于变得有可能准确地估计向输入图像应用的劣化过程并且获得为了从输入图像生成希望的恢复的图像而需要的词典。
附图说明
[图1]图1是图示了根据本发明的第一示例性实施例的劣化过程估计设备的配置的框图。
[图2]图2是图示了包括根据第一示例性实施例的劣化过程估计设备的图像处理系统的配置的框图。
[图3]图3是图示了第一示例性实施例中的对应性信息的示例的示图。
[图4]图4是图示了第一示例性实施例中的在学习图像、劣化的图像、输入图像、特征矢量和相似性之间的关系的示图。
[图5]图5是用于说明第一示例性实施例中的对估计的劣化过程的选择的示图。
[图6]图6是图示了实现根据第一示例性实施例的劣化过程估计设备的计算机的硬件配置的框图。
[图7]图7是图示了第一示例性实施例中的劣化过程估计设备的操作的流程图。
[图8]图8是图示了根据第一示例性实施例的劣化过程估计设备的具体配置的示例的框图。
[图9]图9是图示了根据第一示例性实施例的第一变形的劣化过程估计设备的具体配置的示例的框图。
[图10]图10是图示了根据第一示例性实施例的第二变形的劣化过程估计设备的具体配置的示例的框图。
[图11]图11是图示了第一示例性实施例的第二变形中的劣化信息的示例的示图。
[图12]图12是图示了第一示例性实施例的第二变形中的劣化信息的另一示例的示图。
[图13]图13是图示了根据本发明的第二示例性实施例的劣化过程估计设备的配置的框图。
[图14]图14是图示了包括根据第二示例性实施例的劣化过程估计设备的图像处理系统的配置的框图。
[图15]图15是图示了根据本发明的第三示例性实施例的劣化过程估计设备的配置的框图。
[图16]图16是图示了包括根据第三示例性实施例的劣化过程估计设备的图像处理系统的配置的框图。
[图17]图17是图示了第三示例性实施例中的在学习图像、恢复的图像和相似性之间的关系的示图。
[图18]图18是图示了第三示例性实施例中的学习图像选择单元的操作的流程图。
[图19]图19是图示了第三示例性实施例中的学习单元的配置的框图。
[图20]图20是用于说明第三示例性实施例中的对词典的生成的示图。
[图21]图21是图示了第三示例性实施例中的恢复单元的配置的框图。
[图22]图22是描述了第三示例性实施例中的对恢复的图像的生成的示图。
[图23]图23是图示了第三示例性实施例中的小片的示例的示图。
具体实施方式
将参照附图具体地描述用于实现本发明的示例性实施例。在说明书中描述的相应附图和示例性实施例中，向相同部件指派相同标号，并且将适当地省略其描述。
<<第一示例性实施例>>
图1是图示了根据本发明的第一示例性实施例的劣化过程估计设备(也被称为信息处理设备)100的配置的框图。
如图1中所示，根据本示例性实施例的劣化过程估计设备100 包括图像获取单元150和估计单元160。
图2是图示了包括根据本示例性实施例的劣化过程估计设备100 的图像处理系统101的配置的框图。
如图2中所示，根据本示例性实施例的图像处理系统101包括劣化过程估计设备100。学习单元102、词典103和恢复单元104。图像处理系统101也被称为信息处理设备。
首先，将描述包括根据本示例性实施例的劣化过程估计设备100 的图像处理系统101的总体操作。
劣化过程估计设备获取例如从外界输入的学习图像411(第一学习图像)和输入图像430。学习图像411是可以对应于输入图像 430并且已经被预先预备的高分辨率图像(高质量图像)。输入图像 430是作为恢复的目标的图像。一般地，输入图像430是低质量图像，比如低分辨率图像。
劣化过程估计设备100基于学习图像411和输入图像430向学习单元102输出估计的劣化过程867。估计的劣化过程867是学习单元102用来生成词典103的图像的劣化过程的信息(指示图像的劣化细节的信息)。词典103是为了恢复单元104从输入图像430生成希望的恢复的图像440而需要的词典103。
学习单元102获取例如从外界输入的学习图像410(第二学习图像)和从劣化过程估计设备100输入的估计的劣化过程867。学习单元102基于学习图像410和估计的劣化过程867生成词典103。学习图像410是可以对应于输入图像430并且已经被预先预备的高分辨率图像(高质量图像)。学习图像410的集合和学习图像411的集合可以完全地重叠、部分地重叠或者根本不重叠。
具体而言，第一，基于估计的劣化过程867，学习单元102生成各自与学习图像410之一对应的劣化的图像420(随后将描述并且在图20中图示的第二劣化的图像)。第一，学习单元102生成词典103，词典103成对地包括学习图像410中的小片和对应的劣化的图像420中的小片。以上提到的小片是图像(学习图像410、劣化的图像420 等)被分割成的小区域之一。
恢复单元104获取从外界输入的输入图像430，并且向外界输出恢复的图像440。恢复单元104基于词典103中的条目生成与输入图像430对应的恢复的图像440。
接着，将描述第一示例性实施例中的劣化过程估计设备100包括的相应部件(图像获取单元150和估计单160)。图1中所示的部件可以是与根据计算机设备的功能单元完成其划分的硬件单元或者部件对应的部件。这里将图1中所示的部件描述为根据计算机设备的功能单元完成其划分的部件。
＝＝＝对应性信息860＝＝＝
图3是图示了在劣化过程估计设备100中的未图示的存储装置中存储的对应性信息860的示例的示图。如图3中所示，对应性信息860中的每个记录包括劣化过程861和特征矢量862(随后将描述并且在图4中图示的第一特征矢量)。在由劣化过程估计设备100 中的估计单元160执行的以后提到的处理中使用图3中所示的对应性信息860。
图3中所示的劣化过程861中的每个劣化过程是区分图像的劣化过程(劣化细节)的信息。图像的劣化过程中的每个劣化过程是例如模糊的强度、压缩率、光度、交织场等的任意组合。例如，劣化过程861分别将模糊的强度、压缩率、光度和交织场中的相应各项中的劣化细节表达为“B3”、“C2”、“L3”和“F1”。此外，可以向劣化过程添加情形(posture)、噪声等。
每个特征矢量862例如是以劣化的图像421(随后将描述的和在
图4中图示的第一劣化的图像)的傅里叶变换的数量的绝对值或者绝对值的对数值为按光栅扫描顺序排列的元素的矢量。每个特征数量862可以以劣化的图像421的通过而不限于傅里叶变换、聚焦于频率部分的积分变换(比如拉普拉斯变换)而产生的变换的数量的绝对值或者绝对值的对数值为元素。每个特征矢量862也可以是以劣化的图像421的相对于光度而归一化的相应像素值为按光栅扫描顺序排列的元素的矢量。
＝＝＝图像获取单元150＝＝＝
图像获取单元150获取多个学习图像411和输入图像430。
＝＝＝估计单元160＝＝＝
估计单元160基于在输入图像430中的任意区域与多个劣化的图像421中的相应劣化的图像之间的相似性851(随后将描述并且在图4中图示的第一相似性)输出估计的劣化过程867。以上提到的估计的劣化过程867对应于与输入图像430中的区域对应的劣化过程861。
以上提到的任意区域是图像中的任意局部区域或者图像的整个区域。也就是说，输入图像430中的任意区域是输入图像430的任意部分图像或者输入图像430的全部。本示例性实施例是在任意区域是图像的全部时的示例性实施例。将在第二示例性实施例中描述其中任意区域是局部区域的情况。因此，由于在本实施例中，“输入图像430中的任意区域”是输入图像430的全部、也就是说，输入图像430本身，所以下文将把“作为输入图像430中的任意区域的输入图像430的全部”简称为“输入图像430”。
劣化的图像421是在基于多个劣化过程861中的相应劣化过程劣化学习图像411时的图像。
相似性851例如对应于在与劣化的图像421对应的特征矢量862 和与输入图像430对应的特征矢量864(随后将描述并且在图4中图示的第二特征矢量)之间的关系。
每个关系例如是基于在两个矢量(在本示例性实施例中为第一特征矢量862和特征矢量864)之间的距离的值。关系也可以是基于在两个特征矢量之间的角度的值。另外，关系也可以是通过归一化的互相关函数计算的值并且不限于这些值。特征矢量864是具有与特征矢量862相同的结构的矢量。
图4是图示了在以上描述的学习图像411、劣化的图像421、输入图像430、特征矢量862、特征矢量864和相似性851之间的关系的示图。
估计的劣化过程867例如是与输入图像430对应的劣化过程 861。也就是说，估计单元150基于相似性851和对应性信息860来输出与输入图像430对应的劣化过程861作为估计的劣化过程867。
在这一情况下，对应性信息860指示在劣化的图像421的相应特征矢量862与从学习图像411(第一学习图像)到劣化的图像421 中的相应劣化的图像的劣化细节之间的对应性关系。换而言之，对应性信息860指示在劣化的图像421与劣化过程861之间的关系。
如以上描述的那样，劣化过程861是指定从学习图像411到劣化的图像421的劣化过程的区分信息。与输入图像430有关的劣化过程861(也就是估计的劣化过程867)是指示在假设输入图像430 是通过向具体图像应用劣化处理而创建的图像时的劣化处理中的劣化细节的劣化过程861。具体图像是恢复单元104生成的恢复的图像 (也被称为超分辨率图像)440。
换而言之，估计的劣化过程867指示就学习图像411而言的劣化的图像421中的劣化细节。同时，估计的劣化过程867指示就学习图像410而言的劣化的图像420中的劣化细节。那是因为学习图像410和学习图像411二者是可以与输入图像430对应的高分辨率图像(高质量图像)。
估计的劣化过程867可以是劣化过程估计设备100和学习单元 102能够相互同步地从其区分其中的劣化细节的信息。例如，估计的劣化过程867可以是具体地指示其中的劣化细节作为劣化过程861 的信息或者可以是序列号。
如图2中所示，估计单元160例如包括对应性信息生成单元110 和劣化过程选择单元120。
＝＝＝对应性信息生成单元110＝＝＝
对应性信息生成单元110生成对应性信息860。
例如，对应性信息生成单元110基于劣化过程861从学习图像 411生成劣化的图像421。例如，劣化过程861中的每个劣化过程从可以与学习图像410对应的所有劣化细节之中指示例如基于经验知识选择的典型劣化细节。接着，对应性信息生成单元110生成所生成的劣化的图像421的特征矢量862。
学习图像411的数目和劣化过程861的数目是任意的。劣化的图像421的数目是学习图像411的数目乘以劣化过程861的数目。例如，在学习图像411的数目是10000并且劣化过程861的类型数目是100时，劣化的图像421的数目是1000000。
在这一情况下，特征矢量862的数目是与劣化的图像421的数目相同的1000000。换而言之，对应性信息860包括各自包括一对特征矢量862和劣化过程861的1000000个记录。
＝＝＝劣化过程选择单元120＝＝＝
劣化过程选择单元120基于在输入图像430与劣化的图像421 之间的相似性851从对应性信息860选择劣化过程861，并且输出选择的劣化过程861作为估计的劣化过程867。
具体而言，劣化过程选择单元120基于在与输入图像430有关的特征矢量864与在对应性信息860中包括的特征矢量862之间的关系从对应性信息860选择劣化过程861。接着，劣化过程选择单元 120向外界(例如，学习单元102)输出选择的劣化过程861作为估计的劣化过程867。
图5是用于说明劣化过程选择单元120选择劣化过程861的示图。
这里假设特征矢量(特征矢量862和特征矢量864)是三维矢量。在图5中，虚线中的相应虚线指示其中存在特征矢量的三维空间中的相应轴。
在图5中，方形、三角形和圆形分别指示属于方形类、三角形类和圆形类的特征矢量862。以上提到的类与劣化过程861的类型有关。也就是说，方形类、三角形类和圆形类与劣化过程861的三个类型中的相应类型有关。
在图5中，星形形状指示特征矢量864(与输入图像430有关的特征矢量)。
劣化过程选择单元120将特征矢量864(星形形状)分类成方形类、三角形类和圆形类中的任一类。例如，劣化过程选择单元120 基于在相应类中的特征矢量862的质心与特征矢量864之间的关系将特征矢量864分类成类中的任一类。例如，劣化过程选择单元120 可以将特征矢量864分类成具有从特征矢量864的最短距离的特征矢量862属于的类。
接着，劣化过程选择单元120选择与特征矢量864(星形形状) 已经被分类成的类对应的劣化过程861。随后，劣化过程选择单元 120向外界(例如，学习单元102)输出选择的劣化过程861作为估计的劣化过程867，
在以上描述中，劣化过程选择单元120将特征矢量864分类成最近邻居类，并且选择与最近邻居类有关的仅一个劣化过程861。然而，劣化过程选择单元120可以将特征矢量864分类成多个类。例如，劣化过程选择单元120可以将特征矢量864分类成k个最近邻居(k是等于或者大于1的任意自然数)类。在这一情况下，劣化过程选择单元120可以输出与k个类中的相应类有关的劣化过程861 作为估计的劣化过程867。
以上是对与劣化过程估计设备100的功能单元对应的相应部件的描述。
接着，将描述与劣化过程估计设备100的硬件单元对应的部件。
图6是图示了实现本示例性实施例中的劣化过程估计设备100 的计算机700的硬件配置的示图。
如图6中所示，计算机700包括CPU(中央处理单元)701、存储单元702、存储设备703、输入单元704、输出单元705和通信单元706。另外，计算机700包括从外界供应的记录介质(或者存储介质)707。记录介质707可以是非瞬态地存储信息的非易失性记录介质。
CPU 701对操作系统(未图示)操作并且控制计算机700的整体操作。CPU 701也例如从在存储设备703上装配的记录介质707读取程序和数据，并且在存储单元702中写入读取的程序和数据。以上提到的程序例如是使得计算机700执行随后将描述的图7中所示的流程图的操作的程序
CPU 701根据读取的程序并且基于读取的数据作为图1中所示的图像获取单元150和估计单元160执行各种处理。
CPU 701可以被配置为从连接到通信网络(未图示)的外部计算机(未图示)向存储单元702中下载程序和数据。
存储单元702存储程序和数据。存储单元702例如存储学习图像411、劣化的图像421、输入图像430和对应性信息860。
存储设备703例如是光盘、软盘、磁光盘、外部硬盘或者半导体存储器并且包括记录介质707。存储设备703(记录介质707)以计算机可读方式存储程序。存储设备703也可以存储数据。存储设备703例如存储学习图像411、劣化的图像421、输入图像430和对应性信息860。
输入单元704例如由鼠标、键盘、内置键按钮等实现，并且在输入操作中被使用。输入单元704不限于鼠标、键盘和内置键按钮，并且也可以例如是触摸面板。
输出单元705例如由显示器实现，并且用来确认输出。
通信单元706实现与外侧的接口。在图像获取单元150和估计单元160中包括通信单元706作为其部分。劣化过程估计设备100 可以经由通信单元706连接到学习单元102。
如以上描述的那样，图1中所示的、与劣化过程估计设备100 的功能单元对应的块由具有图6中所示的硬件配置的计算机700实现。然而，用于实现在计算机700中包括的相应部件的装置不限于以上描述的部件。也就是说，计算机700可以由物理地连接的单个设备或者由通过接线或者无线电波互连的多个物理地分离设备实现。
可以向计算机700供应记录以上描述的程序的代码的记录介质 707，并且CPU 701可以读取和执行在记录介质707中记录的程序的代码。备选地，CPU 701可以在存储单元702或者存储设备703或者二者中存储在记录介质707中记录的程序的代码。也就是说，本示例性实施例包括瞬态地或者非瞬态地存储计算机700(CPU 701) 执行的程序(软件)的记录介质707的示例性实施例。非瞬态地存储信息的存储介质也被称为非瞬态存储介质。
计算机700可以实现图2中所示的图像处理系统101。在这一情况下，CPU 701根据读取的程序并且基于读取的数据作为图2中所示的劣化过程估计设备100、学习单元102和恢复单元104执行各种处理。存储单元702和存储设备703可以包括词典103。存储单元 702和存储设备703还可以存储学习图像410、劣化的图像420和恢复的图像440。
以上是对与实现本示例性实施例中的劣化过程估计设备100的计算机700的硬件单元对应的相应部件的描述。
接着将参照图1至图7具体描述本示例性实施例的操作。
图7是图示了本示例性实施例的操作的流程图。可以基于由CPU 701的以上描述的程序控制来执行根据流程图的处理。处理的步骤名称由标号(比如S601)表示。
图像获取单元150获取学习图像411(S601)。例如，图像获取短语150读取已经预先在图6中所示的存储单元702或者存储设备 703中存储的学习图像411。图像获取单元150可以获取由用户通过图6中所示的输入单元704输入的学习图像411。图像获取单元150 可以通过图6中所示的通信单元706从未图示的设备接收学习图像 411。图像获取单元150可以获取通过图6中所示的存储设备703在记录介质707中记录的学习图像411。
接着，关于获取的学习图像411中的每个获取的学习图像，估计单元160中的对应性信息生成单元110生成各自与多个劣化过程 861之一有关的劣化的图像421(S602)。
在以上处理中，估计单元160读取已经预先在图6中所示的存储单元702或者存储设备703中存储的劣化过程861。估计单元160 可以获取由用户通过图6中所示输入单元704输入的劣化过程861。估计单元160可以通过图6中所示的通信单元706从未图示的设备接收劣化过程861。估计单元160可以获取通过图6中所示的存储设备703在记录介质707中记录的劣化过程861。
接着，对应性信息生成单元110计算与相应劣化的图像421对应的特征矢量862(S603)。
接着，对应性信息生成单元110生成包括劣化过程861和特征矢量862的元组的对应性信息860，并且向劣化过程选择单元120 输出生成的对应性信息860(S604)。
接着，图像获取单元150获取输入图像430(S605)。例如，图像获取单元150获取预先已经在图6中所示的存储单元702或者存储设备703中存储的输入图像430。图像获取单元150可以获取由用户通过图6中所示的输入单元704输入的输入图像430。图像获取单元150可以通过图6中所示的通信单元706从未图示的设备接收输入图像430。图像获取单元150可以获取通过图6中所示的存储设备 703在记录介质707中记录的输入图像430。
接着，估计单元160中的劣化过程选择单元120计算与输入图像430对应的特征矢量864(S606)。
接着，劣化过程选择单元120基于在特征矢量864与在对应性信息860中包括的特征矢量862之间的关系从对应性信息860选择与输入图像430有关的劣化过程861(S607)。
接着，劣化过程选择单元120输出选择的劣化过程861作为估计的劣化过程867(S608)。例如，劣化过程选择单元120通过图6 中所示的通信单元706向学习单元102传输估计的劣化过程867。劣化过程选择单元120可以通过图6中所示的输出单元705输出估计的劣化过程867。劣化过程选择单元120可以通过图6中所示的存储设备703在记录介质707中记录估计的劣化过程867。
以上是对本示例性实施例的操作的描述。
接着，将描述本示例性实施例的更具体的配置。
图8是图示了劣化过程估计设备100的具体配置的示例的示图。
如图8中所示，图像获取单元150包括学习图像获取单元151 和输入图像获取单元152。估计单元160包括对应性信息生成单元 110、劣化过程选择单元120和劣化过程估计词典165。劣化的图像组生成单元161、特征矢量计算单元162和劣化过程估计词典创建单元163构成对应性信息生成单元110。特征矢量计算单元162和特征矢量分类单元164构成劣化过程选择单元120。
另外，劣化过程估计词典165对应于对应性信息860。劣化过程估计词典165被存储在例如图6中所示的存储单元702、存储设备 703等中。
将按照图7中所示的流程图描述具有图8中所示的配置的劣化过程估计设备100的操作。
学习图像获取单元151获取学习图像411(S601)。
接着，关于学习图像获取单元151已经获取的学习图像411中的每个学习图像，劣化的图像组生成单元161基于多个劣化过程861 生成各自与多个劣化过程861之一有关的劣化的图像421(S602)。
接着，特征矢量计算单元162计算与劣化的图像组生成单元161 已经生成的劣化的图像421有关的特征矢量862(S603)。
接着，劣化过程估计词典创建单元163生成包括特征矢量862 和劣化过程861的元组的对应性信息860，并且在劣化过程估计词典 165中写入生成的对应性信息860(S604)。以上提到的特征矢量862 是特征矢量计算单元162已经在S603中创建的特征矢量862。以上提到的劣化过程861是特征矢量计算单元162已经用来在S603中创建特征矢量862的劣化过程861。
接着，输入图像获取单元152获取输入图像430(S605)。
接着，特征矢量计算单元162计算特征矢量864(S606)。
接着，特征矢量分类单元164基于与在劣化过程估计词典165 中存储的对应性信息860中包括的特征矢量862的关系将由特征矢量计算单元162计算的特征矢量864分类成上述类中的任一类。随后，特征矢量分类单元164选择与特征矢量864已经被分类成的类有关的劣化过程861(S607)。
接着，特征矢量分类单元164输出选择的劣化过程861作为估计的劣化过程867(S608)。
以上描述的本示例性实施例中的第一有利效果是变得有可能准确地估计输入图像430的劣化过程并且获得为了从输入图像430恢复希望的恢复的图像440而需要的词典103。
那是因为本示例性实施例包括以下配置。也就是说，第一，图像获取单元150获取学习图像411和输入图像430。第二，估计单元 160基于在特征矢量864与特征矢量862之间的关系输出选择的劣化过程861作为估计的劣化过程867。
以上描述的本示例性实施例中的第二有利效果是变得有可能即使对于包括模糊的劣化仍然准确地估计输入图像430的劣化过程。
那是因为估计单元160被配置为生成具有如下结构的特征矢量 862和特征矢量864：在该结构中，按光栅扫描顺序排列原有劣化的图像421的傅里叶变换的数量的绝对值或者绝对值的对数值。备选地，那是因为估计单元160被配置为生成具有如下结构的特征矢量 862和特征矢量864：在该结构中，按光栅扫描顺序排列劣化的图像 421的就光度而言归一化的相应像素值。
以上描述的本示例性实施例中的第三有利效果是变得有可能将估计的劣化过程准确的概率增加至更高水平。
那是因为劣化过程选择单元120被配置为将特征矢量864分类成多个类并且示出与多个类中的相应类有关的估计的劣化过程867。
<<第一示例性实施例的第一变形>>
图9是图示了本示例性实施例的第一变形中的劣化过程估计设备100的具体配置的示例的示图。
如图9中所示，本变形的估计单元160包括劣化的图像估计词典创建单元166取代劣化过程估计词典创建单元163。本变形的估计单元160也包括特征矢量分类单元167取代特征矢量分类单164。本变形的估计单元160也包括劣化的图像估计词典168取代劣化的图像估计词典165。
本变形的劣化过程估计设备100输出选择的劣化的图像421取代劣化过程861作为估计的劣化过程867。也就是说，本变形的估计单元160基于相似性851选择劣化的图像421中的任一劣化的图像，并且输出选择的劣化的图像421作为估计的劣化过程867。
劣化过程估计词典创建单元166生成包括由特征矢量计算单元 162创建的特征矢量862和与特征矢量862有关的劣化的图像421 的元组的对应性信息，并且在劣化的图像估计词典168中写入生成的对应性信息。
劣化的图像估计词典168存储包括特征矢量862和劣化的图像 421的元组的对应性信息。
特征矢量分类单元167例如输出与作为特征矢量864的最近邻居的特征矢量862有关的劣化的图像421。特征矢量分类单元167 可以输出各自与作为特征矢量864的k个最近邻居的特征矢量862 有关的k(k是等于或者大于1的任意自然数)个劣化的图像421。
具体而言，特征矢量分类单元167基于与在劣化的图像估计词典168中存储的对应性信息中包括的特征矢量862的关系将特征矢量864分类成前述类中的任一类。接着，特征矢量分类单元167输出与特征矢量864已经被分类成的类有关的劣化的图像421(例如，类的质心)。备选地，特征矢量分类单元167可以基于与特征矢量 862的关系将特征矢量864分类成k个最近邻居类。在这一情况下，特征矢量分类单元167可以输出各自与k个类有关的劣化的图像 421。
例如，本变形的劣化过程估计设备100关于在学习图像411的集合与学习图像410的集合的重叠中的学习图像411输出劣化的图像421。
以上描述的本变形具有的有利效果在于可以省略学习单元102 中的对劣化的图像420中的生成处理。
<<第一示例性实施例的第二变形>>
图10是图示了本示例性实施例的第二变形中的劣化过程估计设备100的具体配置的示例的示图。
如图10中所示，本变形的劣化过程估计设备100还包括劣化信息输入单元170。
＝＝＝劣化信息输入单元170＝＝＝
劣化信息输入单元170允许用户输入该输入图像430的劣化信息。
图11和图12中的每幅图是图示了这样的劣化信息的示例的示图。图11用黑点图示了牌照的作为劣化信息的四个顶点。图12用黑点图示了脸部的作为劣化信息的特征点。劣化信息不限于图11和图12中所示的示例，并且可以例如是指定具体区域的轮廓的信息。
例如，劣化信息输入单元170允许用户通过以下过程输入该输入图像430的劣化信息。第一，劣化信息输入单元170在图6中所示的输出单元705上显示输入图像430。第二，用户通过图6中所示的输入单元704指定显示的输入图像430中的顶点位置或者特征点的位置。第三，劣化信息输入单元170通过输入单元704获取输入的位置。
用户输入的劣化信息不限于顶点位置或者特征点。例如，用户用线指定劣化信息或者用表面或者区域指定劣化信息以取代指定点。
＝＝＝估计单元160＝＝＝
关于学习图像获取单元151已经获取的学习图像411中的每个学习图像，本变形的估计单元160中的劣化的图像组生成单元161 不仅基于多个劣化过程861而且还基于劣化信息来生成各自与多个劣化过程861之一有关的劣化的图像421。
以上描述的本变形具有的有利效果在于有可能减少对估计单元 160中的对劣化的图像421的生成处理的负荷。
也就是说，通过允许用户如以上描述的那样输入点的信息以确定姿态，变得不必解决估计姿态、确定放大率、检测超分辨率处理的对象(例如，牌照或者脸部)等这些问题。
<<第二示例性实施例>>
接着，将参照附图具体描述本发明的第二示例性实施例。下文在未模糊对本示例性实施例的描述的范围内，将省略对与更早描述重叠的部分的描述。
本示例性实施例是在任意区域是局部区域时的示例性实施例。在以下描述中，输入图像430中的任意区域将被称为输入图像局部区域。
在本示例性实施例中，劣化的图像421是在学习图像411中的局部区域基于多个劣化过程861中的相应劣化过程被劣化时的劣化的局部区域。以上提到的学习图像411中的局部区域对应于作为输入图像局部区域的局部区域。
本示例性实施例的劣化过程861是各自区分从学习图像411中的局部区域到劣化的图像421中的局部区域的劣化的过程的劣化过程。
本示例性实施例的特征矢量862是作为劣化的局部区域的劣化的图像421的特征矢量。
本示例性实施例的特征矢量864是输入图像局部区域的特征矢量。
输入图像局部区域、作为劣化的局部区域的劣化的图像421、在以下提到的学习图像410中的局部区域和在以下提到的输入图像 430中的局部区域中的每项是具有对应位置和形状的局部区域。局部区域是例如以小片为单位被指定的局部区域。
图13是图示了根据本发明的第二示例性实施例的劣化过程估计设备200的配置的框图。
如图13中所示，本示例性实施例中的劣化过程估计设备200包括估计单元260取代估计单元160。
估计单元260包括对应性信息生成单元210和劣化过程选择单元220。
＝＝＝对应性信息生成单元210＝＝＝
对应性信息生成单元210基于例如包括任意数目的小片标识符 (标识个别小片的标识符)的区域指定871生成劣化的图像421。接着，对应性信息生成单元210计算与劣化的图像421中的相应劣化的图像有关的特征矢量862。对应性信息生成单元210获取已经预先在例如图6中所示的存储单元702或者存储设备703中存储的区域指定871。对应性信息生成单元210可以获取由用户通过图6中所示的输入单元704输入的区域指定871。对应性信息生成单元210可以通过图6中所示的通信单元706从未图示的设备接收区域指定871。对应性信息生成单元210可以获取通过图6中所示的存储设备703 在记录介质707中记录的区域指定871。
＝＝＝劣化过程选择单元220＝＝＝
劣化过程选择单元220基于由对应性信息生成单元210获取的区域指定871生成输入图像局部区域。接着，劣化过程选择单元220 计算与输入图像局部区域有关的特征矢量864。
劣化过程选择单元220基于在特征矢量864与在对应性信息860 中包括的特征矢量862之间的相似性851从对应性信息860选择劣化过程861。
接着，劣化过程选择单元220向外界(例如，以下提到的学习单元202)输出选择的劣化过程861作为估计的劣化过程867。
换而言之，劣化过程估计设备200输出与局部区域有关的估计的劣化过程867。
图14是图示了包括根据本示例性实施例的劣化过程估计设备 200的图像处理系统201的配置的框图。图像处理系统201也被称为信息处理设备。
如图14中所示，根据本示例性实施例的图像处理系统101包括劣化过程估计设备200、学习单元202、词典103和恢复单元104。
学习单元202获取例如从外界输入的学习图像410、从劣化过程估计设备200输入的估计的劣化过程867和区域指定871。学习单元 202基于估计的劣化过程867和区域指定871从学习图像410生成词典103。具体而言，第一，学习单元202基于估计的劣化过程867 和区域指定871生成与学习图像410中的相应学习图像中的局部区域对应的劣化的图像420。第二，学习单元202生成词典103，词典 103成对地包括学习图像410中的小片和对应的劣化的图像420中的小片。
以上描述的本示例性实施例的第一有利效果与第一示例性实施例的有利效果相同。另外，本示例性实施例的第二有利效果是即使具有不同细节的劣化关于输入图像430中的每个局部区域出现，也变得有可能估计准确劣化过程861并且获得为了恢复准确超分辨率图像(恢复的图像440)而需要的词典103。
对于第二有利效果的原因是劣化过程估计设备200被配置为基于区域指定871进一步输出各自与作为输入图像430中的局部区域的输入图像局部区域之一有关的估计的劣化过程867。
本示例性实施例可以与第一示例性实施例组合。也就是说，组合的示例性实施例可以具有包括处理每个图像的全部的装置和处理每个图像中的相应局部区域的装置二者的配置。
<<第三示例性实施例>>
接着，将参照附图具体描述本发明的第三示例性实施例。下文在未模糊对本示例性实施例的描述的范围内，将省略对与更早描述重叠的部分的描述。
图15是图示了根据本发明的第三示例性实施例的劣化过程估计设备300的配置的框图。
如图15中所示，本示例性实施例中的劣化过程估计设备300与第一示例性实施例的劣化过程估计设备100比较还包括学习图像选择单元340。
图16是图示了包括根据本示例性实施例的劣化过程估计设备 300的图像处理系统301的配置的框图。图像处理系统301也被称为信息处理设备。
如图16中所示，根据本示例性实施例的图像处理系统301包括劣化过程估计设备300、学习单元102、词典103和恢复单元104。劣化过程估计设备300包括图像获取单元150和估计单元360。估计单元360与第一示例性实施例的估计单元160比较还包括学习图像选择单元340。
＝＝＝学习图像选择单元340＝＝＝
学习图像选择单元340基于在学习图像411中的相应学习图像与恢复的图像440之间的相似性(第二相似性)852选择学习图像 411，并且向对应性信息生成单元110输出选择的学习图像411。以上提到的恢复的图像440是由恢复单元104生成的图像。
接着，参照图17和图18，将描述学习图像选择单元340的操作。图17是图示了学习图像411、恢复的图像440和相似性852之间的关系的示图。图18是图示了本示例性实施例的操作的流程图。
学习图像选择单元340获取多个学习图像411(S630)。
接着，学习图像选择单元340向对应性信息生成单元110输出获取的学习图像411(S631)。
接着，学习图像选择单元340确定学习图像选择单元340检测到恢复的图像440的输出的次数的数目(下文被称为检测次数的数目)是否达到预设的阈值(S632)。在检测次数的数目达到预设的阈值(在S632中为是)时，学习图像选择单元340结束处理。
在检测次数的数目未达到预设的阈值(在S632中为否)时，学习图像选择单元340计算与学习图像411中的相应学习图像有关的特征矢量881(S633)。
接着，学习图像选择单元340等待恢复单元104输出恢复的图像440(S634)。
在恢复单元104输出恢复的图像440(在S634中为是)时，学习图像选择单元340更新检测次数的数目并且获取恢复的图像440 (S635)。
接着，学习图像选择单元340计算与恢复的图像440有关的特征矢量884(S636)。
接着，学习图像选择单元340基于在特征矢量881与特征矢量 884之间的关系选择学习图像411(S637)。
例如，在恢复的图像440的数目是一时，学习图像选择单元340 按照在特征矢量881中的相应特征矢量与特征矢量884之间的距离的升序选择各自与预设的数目的特征矢量881有关的学习图像441。在恢复的图像440的数目是一时，学习图像选择单元340可以选择各自与距特征矢量884的距离等于或者小于预设的阈值的特征矢量有关的学习图像411。
例如，在恢复的图像440的数目是多个时，学习图像选择单元 340按照在特征矢量881中的相应特征矢量与对应于多个特征矢量 884的质心的矢量之间的距离的升序选择各自与预设的数目的特征矢量881有关的学习图像411。在恢复的图像440的数目是多个时，学习图像选择单元340可以选择各自与从距多个特征矢量884的质心对应的矢量的距离等于或者小于预设的阈值的特征矢量881有关的学习图像411。在恢复的图像440的数目是多个时，学习图像选择单元340可以关于每个特征矢量884按照在特征矢量881中的相应特征矢量与特征矢量884之间的距离的升序选择各自与预设的数目的特征矢量881有关的学习图像411。在恢复的图像440的数目是多个时，学习图像选择单元340可以关于每个特征矢量884选择各自与距特征矢量884的距离等于或者小于预设的阈值的特征矢量881 有关的学习图像411。
接着，学习图像选择单元340向对应性信息生成单元110输出选择的学习图像411(S638)。
接着，学习图像选择单元340确定检测次数的数目是否达到预设的阈值(S639)。在检测次数的数目达到预设的阈值(在S639中为是)时，学习图像选择单元340结束处理。在检测次数的数目未达到预定的阈值(在S639中为否)时，学习图像选择单元340返回到S634中的处理。
＝＝＝＝对应性信息生成单元110＝＝＝
本示例性实施例的对应性信息生成单元110基于从学习图像选择单元340获取的学习图像411生成对应性信息860，并且向劣化过程选择单元120输出生成的对应性信息860。
＝＝＝学习单元102＝＝＝
学习单元102创建存储多个小片对的词典103，每个小片对将作为劣化的图像420中的小片的劣化的小片与作为学习图像410中的小片的恢复的小片关联。每个劣化的图像420中的小片是学习图像 410基于由劣化过程估计设备300输出的估计的劣化过程867劣化成的劣化的图像420中的小片。
图19是图示了学习单元102的结构的框图。如图19中所示，学习单元102包括接收单元1021、劣化的图像生成单元1022、小片对生成单元1023和注册单元1024。
图20是用于描述学习阶段的概念图。如图20中所示，学习单元102基于估计的劣化过程867向学习图像410应用劣化处理以生成劣化的图像420。学习单元102在词典103中注册小片对403，每个小片对包括在学习图像410和劣化的图像420中的对应位置处的小片。每个小片对403包括恢复的小片401和劣化的小片402。
＝＝＝接收单元1021＝＝＝
接收单元1021接收学习图像410的输入。接收单元1021向劣化的图像生成单元1022和小片对生成单元1023输出接收的学习图像410。
＝＝＝劣化的图像生成单元1022＝＝＝
劣化的图像生成单元1022基于从劣化过程估计设备200输出的估计的劣化过程867向从接收单元1021输出的学习图像410应用劣化处理以生成劣化的图像420。
在多个估计的劣化过程867存在时，劣化的图像生成单元1022 可以基于相应估计的劣化过程867向从接收单元1021输出的学习图像410中的每个学习图像应用劣化处理以生成与学习图像410中的每个学习图像对应的多个劣化的图像420。
劣化的图像生成单元1022例如基于估计的劣化过程867将学习图像410减小成其原有大小的N分之一以生成劣化的图像420。作为用于减小图像的算法(例如，最近邻居方法)被使用，其中图像劣化比较明显。作为用于减少图像的算法(例如，双线性方法和双立方方法)也可以被使用。
劣化的图像生成单元1022可以例如通过基于估计的劣化过程 867去除学习图像410的高频分量来增加它的模糊的强度以生成劣化的图像420。劣化的图像生成单元1022可以例如通过基于估计的劣化过程867倾斜学习图像410来改变学习图像410的姿态以生成劣化的图像420。备选地，劣化的图像生成单元1022可以例如通过基于估计的劣化过程867减小学习图像410的亮度来减小它的光度以生成劣化的图像420。劣化的图像生成单元1022可以基于估计的劣化过程867通过各种现有方法生成劣化的图像420。
＝＝＝小片对生成单元1023＝＝＝
小片对生成单元1023从接收单元1021接收学习图像410并且从劣化的图像生成单元1022接收与学习图像410对应的劣化的图像 420。小片对生成单元1023生成多个小片对403，每个小片对包括在学习图像410和劣化的图像420中的对应的位置处的小片。小片对生成单元1023可以通过现有方法生成多对恢复的小片401和劣化的小片402(小片对403)。小片对生成单元1023可以向注册单元1024 输出多个生成的小片对403。
＝＝＝注册单元1024＝＝＝
注册单元1024从小片对生成单元1023接收多个小片对403。注册单元1024在词典103中注册多个小片对403。
＝＝＝词典103＝＝＝
词典103存储由学习单元102生成的多个小片对。
＝＝＝恢复单元104＝＝＝
恢复单元104使用词典103从输入图像430生成恢复的图像 440，并且向劣化过程估计设备300和外界输出生成的恢复的图像 440。
图21是图示了恢复单元104的配置的框图。如图21中所示，恢复单元104包括接收单元1041、小片生成单元1042和恢复的图像生成单元1043。
＝＝＝接收单元1041＝＝＝
接收单元1041从外界接收作为图像处理的对象的输入图像 430。例如，接收单元1041可以连接到网络以接收输入图像430或者从存储输入图像430的存储器读取输入图像430以接收输入图像 430。也就是说，接收单元1041对输入图像430的接收的形式不限于具体形式。接收单元1041向小片生成单元1042输出接收的输入图像430。
＝＝＝小片生成单元1042＝＝＝
小片生成单元1042从输出自接收单元1041的输入图像430生成多个小片(输入小片)，并且向恢复的图像生成单元1043输出生成的小片。
＝＝＝恢复的图像生成单元1043＝＝＝
图22是用于描述恢复阶段的概念图。如图22中所示，恢复单元104基于在输入图像430中的输入小片431与词典103中的劣化的小片402之间的相似性来选择恢复的小片401。
恢复的图像生成单元1043基于小片相似性从在词典103中存储的小片对403内选择与输入小片431中的每个输入小片对应的多个恢复的小片401，每个小片相似性是指示在输入小片431与劣化的小片402之间的相似性的值。例如，恢复的图像生成单元1043选择与每个输入小片431的小片相似性等于或者大于预设的值的劣化的小片402配对的恢复的小片401。恢复的图像生成单元1043可以按照与每个输入小片431的小片相似性的降序选择与劣化的小片402配对的预设的数目的恢复的小片401。
恢复的图像生成单元1043组成多个恢复的小片401以生成恢复的图像440。恢复的小片401中的每个恢复的小片是多个恢复的小片 401之一。多个恢复的小片401对应于输入小片431中的每个输入小片。
恢复的图像生成单元1043向劣化过程估计设备300输出生成的恢复的图像440。恢复的图像生成单元1043也向外界输出恢复的图像440。例如，恢复单元104通过图6中所示的通信单元706向外界传输恢复的图像440。恢复单元104可以通过图6中所示的输出单元 705输出恢复的图像440。恢复单元104可以通过图6中所示的存储设备703在记录介质707中记录恢复的图像440。
恢复单元104可以除了在输入小片431与劣化的小片402之间的相似性之外还基于在从恢复的图像440切割成的小片与恢复的小片401之间的相似性来选择恢复的小片401。
接着，将描述在图像之间(例如，在输入小片431与劣化的小片402之间)的相似性(例如小片相似性)。
图23是图示了小片450的示例的示图。如图23中所示，小片 450例如包括像素组451，该像素组451是以像素452的多个像素值为元素的多维矢量。路径450也包括个别地标识小片450的小片标识符453作为元信息。小片450是包括恢复的小片401、劣化的小片 402和输入小片431的概念。像素值可以是亮度值，但是不限于此。
在这一情况下，指示在两个小片之间的小片相似性的值可以是基于在小片之间的相应像素452的亮度值差值的值。例如，指示小片相似性的值可以是基于SSD(平方距离之和)的值，该SSD是在小片之间的相应像素452的亮度值差值的平方之和。例如，指示小片相似性的值可以是通过从具体常数减去SSD而计算出的值。在这一情况下，具体常数可以例如是在具有最低亮度的小片与具有最高亮度的小片之间的SSD。备选地，指示小片相似性的值可以是基于 SAD(绝对距离之和)的值，该SAD是在小片之间的相应像素452 的亮度值差值的绝对值之和。例如，指示小片相似性的值可以是通过从具体常数减去SAD而计算出的值。在这一情况下，具体常数可以例如是在具有最低亮度的小片与具有最高亮度的小片之间的SAD。
此外，指示小片相似性的值可以例如是基于在两个特征矢量之间的角度的值。备选地，指示小片相似性的值可以是由归一化的互相关函数计算出的值，但是不限于此。
也就是说，小片相似性是在由两个小片的相应像素组451表达的图像之间的相似性。以上描述不仅适用于小片相似性，也适用于相似性851和相似性852。
以上描述的本示例性实施例的第一有利效果与第一示例性实施例的有利效果相同。另外，本示例性实施例的第二有利效果是变得有可能获得为了更准确地估计输入图像430的劣化过程而需要的词典103并且用更高分辨率恢复与输入图像430对应的超分辨率图像 (恢复的图像440)。
对于第二有利效果的原因在于应用用于重复以下步骤的配置。第一，劣化过程估计设备300基于学习图像411输出估计的劣化过程867。第二，学习单元102基于估计的劣化过程867生成词典103。第三，恢复单元104基于词典103生成恢复的图像440。第四，劣化过程估计设备300的学习图像选择单元340基于恢复的图像440选择学习图像411。
本示例性实施例可以应用于第二示例性实施例。也就是说，相应图像中的局部区域可以被视为处理单位。
并非总是需要在以上示例性实施例中描述的相应部件是个别地独立的实体。例如，可以实现相应部件以使得将多个部件实现为单个模块。可以实现相应部件以使得奇偶昂单个部件实现为多个模块。可以用一个部件是另一部件的部分这样的方式配置相应部件。可以用一个部件的部分与另一部件的部分重叠这样的方式配置相应部件。
如果可能则可以根据需要而以硬件的形式实现对以上描述的示例性实施例中的相应部件进行实现的相应部件和模块。也可以由硬件形式的模块与计算机和程序的混合来实现对相应部件进行实现的相应部件和模块。
例如，提供在非易失性计算机可读记录介质(比如磁盘和半导体存储器)中记录的斌企鹅在激活计算机时由计算机读取的程序。读取的程序通过控制计算机的操作来使计算机作为以上描述的示例性实施例中的部件工作。
虽然在以上描述的示例性实施例中，以流程图的形式依次描述多个操作，但是描述序列并未限制其中执行多个操作的序列。因此，在实现示例性实施例时，可以在不影响操作的内容的范围内改变多个操作的序列。
另外，在以上描述的示例性实施例中，多个操作不限于在个别地不同定时被执行。例如可以在执行一个操作之时发起另一操作，并且一个操作和另一操作的执行定时可以部分地或者完全地相互重叠。
另外，虽然按照其中一个操作变成另一操作的触发的方式描述了以上描述的示例性实施例，但是那些描述并未限制在一个操作与另一操作之间的所有关系。因此，在实现示例性实施例时，可以在不影响操作的内容的范围内改变在多个操作之间的关系。对相应部件的相应操作的具体描述并未限制相应部件的相应操作。因此，可以在实现示例性实施例时未影响功能、性能和其它特征的范围内改变相应部件的相应具体操作。
可以如在以下补充备注中那样描述以上描述的示例性实施例的全部或者部分，但是本发明不限于此。
(补充备注1)
一种信息处理设备，包括：
图像获取装置，该图像获取装置用于获取多个第一学习图像和输入图像；以及
估计装置，该估计装置用于在第一学习图像中的与输入图像中的任意区域对应的区域基于多个劣化过程中的相应劣化过程被劣化时，基于在任意区域与多个第一劣化的图像中的相应第一劣化的图像之间的第一相似性来输出估计的劣化过程，
其中估计的劣化过程对应于劣化过程中的如下劣化过程：该劣化过程与输入图像中的区域有关。
(补充备注2)
根据补充备注1的信息处理设备，
其中，该估计装置进一步基于在第一劣化的图像中的相应第一劣化的图像和从第一学习图像到第一劣化的图像中的相应第一劣化的图像的劣化过程之间的对应性关系，来输出区分与输入图像中的区域有关的劣化过程的信息作为估计的劣化过程。
(补充备注3)
根据补充备注1或者2的信息处理设备，
其中第一相似性对应于在与第一劣化的图像对应的特征矢量和与输入图像中的区域对应的特征矢量之间的关系。
(补充备注4)
根据补充备注3的信息处理设备，
其中估计装置输出与k(k是等于或者大于1的自然数)个最近邻居的k个劣化过程之一对应的估计的劣化过程，k个劣化过程与输入图像中的区域有关。
(补充备注5)
根据补充备注1至4中的任一补充备注的信息处理设备，还包括：
学习装置，该学习装置用于创建词典，该词典存储各自包括劣化的小片和恢复的小片的多个小片对，劣化的小片是第二学习图像基于估计的劣化过程被劣化成的第二劣化的图像中的小片，恢复的小片是第二学习图像中的小片；
恢复装置，该恢复装置用于通过使用词典来从输入图像生成恢复的图像，并且输出生成的恢复的图像；以及
选择装置，该选择装置用于基于在第一学习图像与恢复的图像之间的第二相似性来选择第一学习图像，
其中，该估计装置进一步基于在选择的第一学习图像中的区域被劣化成的多个第一劣化的图像中的相应第一劣化的图像与输入图像中的区域之间的第一相似性，来输出估计的劣化过程。
(补充备注6)
根据补充备注5的信息处理设备，
其中，该估计装置进一步基于在第一劣化的图像中的相应第一劣化的图像与从选择的第一学习图像到第一劣化的图像中的相应第一劣化的图像的劣化过程之间的对应性关系，来输出区分与输入图像中的区域有关的劣化过程的信息作为估计的劣化过程。
(补充备注7)
根据补充备注5或者6的信息处理设备，
其中第二相似性对应于在与第二学习图像对应的特征矢量和与恢复的图像对应的特征矢量之间的关系。
(补充备注8)
根据补充备注1至7中的任一补充备注的信息处理设备，
其中估计装置包括：劣化的图像生成装置；特征矢量计算装置；劣化过程估计词典创建装置；劣化过程估计词典装置；以及特征矢量分类装置，
劣化的图像生成装置基于劣化过程来从学习图像生成第一劣化的图像，并且向特征矢量计算装置输出生成的第一劣化的图像，
特征矢量计算装置生成与第一劣化的图像对应的特征矢量，并且向劣化过程估计词典创建装置输出与第一劣化的图像对应的特征矢量，
劣化过程估计词典创建装置生成指示在与第一劣化的图像对应的特征矢量和与对应于第一劣化的图像的特征矢量对应的劣化过程之间的关系的对应性信息，并且向劣化过程估计词典装置输出生成的对应性信息，
劣化过程估计词典装置存储对应性信息，
特征矢量计算装置计算与输入图像中的区域对应的特征矢量，并且向特征矢量分类装置输出与输入图像中的区域对应的特征矢量，以及
特征矢量分类装置基于在与输入图像中的区域对应的特征矢量与在对应性信息中包括的特征矢量之间的关系、来将与输入图像中的区域对应的特征矢量分类成劣化过程的类之一，并且向外界输出与对应于输入图像中的局部区域的特征矢量被分类成的类对应的估计的劣化过程，类是在对应性信息中包括的特征矢量的类。
(补充备注9)
根据补充备注8的信息处理设备，
其中劣化过程估计词典创建装置压缩与第一劣化的图像对应的特征矢量，并且生成指示在压缩的特征矢量与劣化过程之间的关系的对应性信息。
(补充备注10)
根据补充备注1至9中的任一补充备注的信息处理设备，
其中估计装置输出第一劣化的图像中的如下第一劣化的图像作为估计的劣化过程：该第一劣化的图像与对应于输入图像中的区域的劣化过程有关。
(补充备注11)
根据补充备注1至10中的任一补充备注的信息处理设备，还包括：
劣化信息输入装置，该劣化信息输入装置用于允许用户输入输入图像的劣化信息，
其中，该估计装置进一步基于劣化信息来输出估计的劣化过程。
(补充备注12)
一种图像处理方法，改图像处理方法使用实施图像处理方法的计算机，改图像处理方法包括：
获取多个第一学习图像和输入图像；以及
在第一学习图像中的与输入图像中的任意区域对应的区域基于多个劣化过程中的相应劣化过程被劣化时，基于在任意区域与多个第一劣化的图像中的相应第一劣化的图像之间的第一相似性来输出估计的劣化过程。
(补充备注13)
根据补充备注12的使用计算机的信息处理方法，
其中输出估计的劣化过程包括：进一步基于在第一劣化的图像中的相应第一劣化的图像和从第一学习图像到第一劣化的图像中的相应第一劣化的图像的劣化过程之间的对应性关系，来输出区分与输入图像中的区域有关的劣化过程的信息作为估计的劣化过程。
(补充备注14)
根据补充备注12或者13的信息处理方法，
其中第一相似性对应于在与第一劣化的图像对应的特征矢量和与输入图像中的区域对应的特征矢量之间的关系。
(补充备注15)
根据补充备注14的使用计算机的信息处理方法，
其中输出估计的劣化过程包括：输出与k(k是等于或者大于1 的自然数)个最近邻居的k个劣化过程之一对应的估计的劣化过程， k个劣化过程与输入图像中的区域有关。
(补充备注16)
根据补充备注12至15中的任一补充备注的使用计算机的信息处理方法，还包括：
创建词典，该词典存储各自包括劣化的小片和恢复的小片的多个小片对，劣化的小片是第二学习图像基于估计的劣化过程被劣化成的第二劣化的图像中的小片，恢复的小片是第二学习图像中的小片；
通过使用词典来从输入图像生成恢复的图像，并且输出生成的恢复的图像；以及
基于在第一学习图像与恢复的图像之间的第二相似性来选择第一学习图像，
其中输出估计的劣化过程包括：进一步基于在选择的第一学习图像中的区域被劣化成的多个第一劣化的图像中的相应第一劣化的图像与输入图像中的区域之间的第一相似性，来输出估计的劣化过程。
(补充备注17)
根据补充备注16的信息处理方法，
其中输出估计的劣化过程包括：进一步基于在第一劣化的图像中的相应第一劣化的图像与从选择的第一学习图像到第一劣化的图像中的相应第一劣化的图像的劣化过程之间的对应性关系，来输出区分与输入图像中的区域有关的劣化过程的信息作为估计的劣化过程。
(补充备注18)
根据补充备注16或者17的信息处理方法，
其中第二相似性对应于在与第二学习图像对应的特征矢量和与恢复的图像对应的特征矢量之间的关系。
(补充备注19)
根据补充备注12至18中的任一补充备注的使用计算机的信息处理方法，
其中输出估计的劣化过程包括：
基于劣化过程来从学习图像生成第一劣化的图像，并且输出生成的第一劣化的图像；
生成与第一劣化的图像对应的特征矢量，并且输出与第一劣化的图像对应的特征矢量；
生成指示在与第一劣化的图像对应的特征矢量和与对应于第一劣化的图像的特征矢量对应的劣化过程之间的关系的对应性信息，并且输出生成的对应性信息；
存储对应性信息；
计算与输入图像中的区域对应的特征矢量，并且输出与输入图像中的区域对应的特征矢量；以及
基于在与输入图像中的区域对应的特征矢量与在对应性信息中包括的特征矢量之间的关系、来将与输入图像中的区域对应的特征矢量分类成劣化过程的类之一，并且向外界输出与对应于输入图像中的局部区域的特征矢量被分类成的类对应的估计的劣化过程，类是在对应性信息中包括的特征矢量的类。
(补充备注20)
根据补充备注19的使用计算机的信息处理方法，
其中生成对应性信息包括压缩与第一劣化的图像对应的特征矢量。并且生成指示在压缩的特征矢量与劣化过程之间的关系的对应性信息。
(补充备注21)
根据补充备注12至20中的任一补充备注的使用计算机的信息处理方法，
其中输出估计的劣化过程包括输出第一劣化的图像中的如下第一劣化的图像作为估计的劣化过程：该第一劣化的图像与对应于输入图像中的区域的劣化过程有关。
(补充备注22)
一种使得计算机执行以下处理的程序：
获取多个第一学习图像和输入图像；以及
在第一学习图像中的与输入图像中的任意区域对应的区域基于多个劣化过程中的相应劣化过程被劣化时，基于在任意区域与多个第一劣化的图像中的相应第一劣化的图像之间的第一相似性来输出估计的劣化过程。
(补充备注23)
根据补充备注22的程序，该程序使得计算机执行以下处理：
进一步基于在第一劣化的图像中的相应第一劣化的图像和从第一学习图像到第一劣化的图像中的相应第一劣化的图像的劣化过程之间的对应性关系，来输出区分与输入图像中的区域有关的劣化过程的信息作为估计的劣化过程。
(补充备注24)
根据补充备注22或者23的程序，
其中第一相似性对应于在与第一劣化的图像对应的特征矢量和与输入图像中的区域对应的特征矢量之间的关系。
(补充备注25)
根据补充备注24的程序，改程序使得计算机执行以下处理：
输出与k(k是等于或者大于1的自然数)个最近邻居的k个劣化过程之一对应的估计的劣化过程，k个劣化过程与输入图像中的区域有关。
(补充备注26)
根据补充备注22至25中的任一补充备注的程序，程序还使计算机执行以下处理：
创建词典，该词典存储各自包括劣化的小片和恢复的小片的多个小片对，劣化的小片是第二学习图像基于估计的劣化过程被劣化成的第二劣化的图像中的小片，恢复的小片是第二学习图像中的小片；
通过使用词典来从输入图像生成恢复的图像，并且输出生成的恢复的图像；以及
基于在第一学习图像与恢复的图像之间的第二相似性来选择第一学习图像，
进一步基于在选择的第一学习图像中的区域被劣化成的多个第一劣化的图像中的相应第一劣化的图像与输入图像中的区域之间的第一相似性，来输出估计的劣化过程。
(补充备注27)
根据补充备注26的程序，该程序使得计算机执行以下处理：
进一步基于在第一劣化的图像中的相应第一劣化的图像与从选择的第一学习图像到第一劣化的图像中的相应第一劣化的图像的劣化过程之间的对应性关系，来输出区分与输入图像中的区域有关的劣化过程的信息作为估计的劣化过程。
(补充备注28)
根据补充备注26或者27的程序，该程序使得计算机执行以下处理：
其中第二相似性对应于在与第二学习图像对应的特征矢量和与恢复的图像对应的特征矢量之间的关系。
(补充备注29)
根据补充备注22至28中的任一补充备注的程序，该程序使得计算机执行以下处理：
基于劣化过程来从学习图像生成第一劣化的图像，并且输出生成的第一劣化的图像，
生成与第一劣化的图像对应的特征矢量并且输出与第一劣化的图像对应的特征矢量，
生成指示在与第一劣化的图像对应的特征矢量和与对应于第一劣化的图像的特征矢量对应的劣化过程之间的关系的对应性信息，并且输出生成的对应性信息，
存储对应性信息，
计算与输入图像中的区域对应的特征矢量，并且输出与输入图像中的区域对应的特征矢量，以及
基于在与输入图像中的区域对应的特征矢量与在对应性信息中包括的特征矢量之间的关系、来将与输入图像中的区域对应的特征矢量分类成劣化过程的类之一，并且向外界输出与对应于输入图像中的局部区域的特征矢量被分类成的类对应的估计的劣化过程，类是在对应性信息中包括的特征矢量的类。
(补充备注30)
根据补充备注29的程序，该程序使得计算机执行以下处理：
压缩与第一劣化的图像对应的特征矢量，并且生成指示在压缩的特征矢量与劣化过程之间的关系的对应性信息。
(补充备注31)
根据补充备注22至30中的任一补充备注的程序，该程序使得计算机执行以下处理：
输出第一劣化的图像中的如下第一劣化的图像作为估计的劣化过程：该第一劣化的图像与对应于输入图像中的区域的劣化过程有关。
(补充备注32)
一种非瞬态计算机可读记录介质，存储根据补充备注22至31 中的任一补充备注的程序。
(补充备注33)
一种信息处理设备，包括：
处理器；以及
存储器单元，该存储器单元存储用于处理器作为图像获取装置和估计装置操作的指令，其中：
图像获取装置获取多个第一学习图像和输入图像。以及
估计装置在第一学习图像中的与输入图像中的任意区域对应的区域基于多个劣化过程中的相应劣化过程被劣化时，基于在任意区域与多个第一劣化的图像中的相应第一劣化的图像之间的第一相似性来输出估计的劣化过程，以及
估计的劣化过程对应于劣化过程中的如下劣化过程：该劣化过程与输入图像中的区域有关。
以上通过本发明的示例性实施例描述了本发明，但是本发明不限于以上示例性实施例。本领域技术人员可以理解的各种修改可以在本发明的范围内应用于本发明的配置和细节。
本申请要求基于通过引用将全部公开内容结合于此、提交于 2013年8月15日的第2013-168793号日本专利申请的优先权。
标号列表
100 劣化过程估计设备
101 图像处理系统
102 学习单元
103 词典
104 恢复单元
110 对应性信息生成单元
120 劣化过程选择单元
150 图像获取单元
151 学习图像获取单元
152 输入图像获取单元
160 估计单元
161 劣化的图像组生成单元
162 特征矢量计算单元
163 劣化过程估计词典创建单元
164 特征矢量分类单元
165 劣化过程估计词典
166 劣化过程估计词典创建单元
167 特征矢量分类单元
168 劣化的图像估计词典
200 劣化过程估计设备
201 图像处理系统
202 学习单元
210 对应性信息生成单元
220 劣化过程选择单元
260 估计单元
300 劣化过程估计设备
301 图像处理系统
340 学习图像选择单元
360 估计单元
401 恢复的小片
402 劣化的小片
403 小片对
410 学习图像
411 学习图像
420 劣化的图像
421 劣化的图像
430 输入图像
431 输入小片
440 恢复的图像
700 计算机
701 CPU
702 存储单元
703 存储设备
704 输入单元
705 输出单元
706 通信单元
707 记录介质
851 相似性
852 相似性
860 对应性信息
861 劣化过程
862 特征矢量
864 特征矢量
867 估计的劣化过程
1021 接收单元
1022 劣化的图像生成单元
1023 小片对生成单元
1024 注册单元
1041 接收单元
1042 小片生成单元
1043 恢复的图像生成单元

Claims (14)

1.一种信息处理设备，包括：
电路，所述电路被配置为：
获取多个第一学习图像和输入图像；以及
在所述第一学习图像中的与所述输入图像中的任意区域对应的区域基于多个劣化过程中的相应劣化过程被劣化时，基于在所述任意区域与多个第一劣化的图像中的相应第一劣化的图像之间的第一相似性来输出估计的劣化过程，
其中所述估计的劣化过程对应于所述劣化过程中的如下劣化过程：所述劣化过程与所述输入图像中的所述区域有关，
其中所述电路还被配置为基于所述劣化过程来创建小片对的词典，每个小片对包括劣化的小片与恢复小片，所述劣化的小片是第二学习图像基于所述估计的劣化过程被劣化成的第二劣化的图像中的小片，所述恢复小片是所述第二学习图像中的小片。
2.根据权利要求1所述的信息处理设备，
其中所述电路还被配置为：进一步基于在所述第一劣化的图像中的相应第一劣化的图像和从所述第一学习图像到所述第一劣化的图像中的相应第一劣化的图像的所述劣化过程之间的对应性关系，来输出区分与所述输入图像中的所述区域有关的所述劣化过程的信息作为所述估计的劣化过程。
3.根据权利要求1所述的信息处理设备，
其中所述第一相似性对应于在与所述第一劣化的图像对应的特征矢量和与所述输入图像中的所述区域对应的特征矢量之间的关系。
4.根据权利要求3所述的信息处理设备，
其中所述电路还被配置为：输出与k个最近邻居的k个劣化过程之一对应的所述估计的劣化过程，其中k是等于或者大于1的自然数，所述k个劣化过程与所述输入图像中的所述区域有关。
5.根据权利要求1所述的信息处理设备，其中所述电路还被配置为：
通过使用所述词典来从所述输入图像生成恢复的图像，并且输出生成的所述恢复的图像；以及
基于在所述第一学习图像与所述恢复的图像之间的第二相似性来选择所述第一学习图像，
进一步基于在选择的所述第一学习图像中的所述区域被劣化成的多个第一劣化的图像中的相应第一劣化的图像与所述输入图像中的所述区域之间的所述第一相似性，来输出所述估计的劣化过程。
6.根据权利要求5所述的信息处理设备，
其中所述电路还被配置为：进一步基于在所述第一劣化的图像中的相应第一劣化的图像与从选择的所述第一学习图像到所述第一劣化的图像中的相应第一劣化的图像的劣化过程之间的对应性关系，来输出区分与所述输入图像中的所述区域有关的所述劣化过程的信息作为所述估计的劣化过程。
7.根据权利要求5所述的信息处理设备，
其中所述第二相似性对应于在与所述第二学习图像对应的特征矢量和与所述恢复的图像对应的特征矢量之间的关系。
8.根据权利要求3所述的信息处理设备，其中所述电路还被配置为：
基于所述劣化过程来从所述学习图像生成所述第一劣化的图像，并且输出生成的所述第一劣化的图像，
生成与所述第一劣化的图像对应的所述特征矢量，并且输出与所述第一劣化的图像对应的所述特征矢量，
生成指示在与所述第一劣化的图像对应的所述特征矢量和与对应于所述第一劣化的图像的所述特征矢量对应的所述劣化过程之间的关系的对应性信息，并且输出生成的所述对应性信息，
存储所述对应性信息，
计算与所述输入图像中的所述区域对应的所述特征矢量，并且输出与所述输入图像中的所述区域对应的所述特征矢量，以及
基于在与所述输入图像中的所述区域对应的所述特征矢量与在所述对应性信息中包括的所述特征矢量之间的关系、来将与所述输入图像中的所述区域对应的所述特征矢量分类成所述劣化过程的类之一，并且向外界输出与对应于所述输入图像中的局部区域的所述特征矢量被分类成的所述类对应的所述估计的劣化过程，所述类是在所述对应性信息中包括的所述特征矢量的类。
9.根据权利要求8所述的信息处理设备，
其中所述电路还被配置为：压缩与所述第一劣化的图像对应的所述特征矢量，并且生成指示在压缩的所述特征矢量与所述劣化过程之间的关系的所述对应性信息。
10.根据权利要求1所述的信息处理设备，
其中所述电路还被配置为：输出所述第一劣化的图像中的如下第一劣化的图像作为所述估计的劣化过程：所述第一劣化的图像与对应于所述输入图像中的所述区域的所述劣化过程有关。
11.根据权利要求1所述的信息处理设备，其中所述电路还被配置为：
允许用户输入所述输入图像的劣化信息，以及
进一步基于所述劣化信息来输出所述估计的劣化过程。
12.一种图像处理方法，所述图像处理方法使用实施所述图像处理方法的计算机，所述图像处理方法包括：
获取多个第一学习图像和输入图像；
在所述第一学习图像中的与所述输入图像中的任意区域对应的区域基于多个劣化过程中的相应劣化过程被劣化时，基于在所述任意区域与多个第一劣化的图像中的相应第一劣化的图像之间的第一相似性来输出估计的劣化过程，
其中所述估计的劣化过程对应于所述劣化过程中的如下劣化过程：所述劣化过程与所述输入图像中的所述区域有关；以及
基于所述劣化过程来创建小片对的词典，每个小片对包括劣化的小片与恢复小片，所述劣化的小片是第二学习图像基于所述估计的劣化过程被劣化成的第二劣化的图像中的小片，所述恢复小片是所述第二学习图像中的小片。
13.一种记录程序的非瞬态计算机可读记录介质，所述程序使得计算机执行以下处理：
获取多个第一学习图像和输入图像；
在所述第一学习图像中的与所述输入图像中的任意区域对应的区域基于多个劣化过程中的相应劣化过程被劣化时，基于在所述任意区域与多个第一劣化的图像中的相应第一劣化的图像之间的第一相似性来输出估计的劣化过程，
其中所述估计的劣化过程对应于所述劣化过程中的如下劣化过程：所述劣化过程与所述输入图像中的所述区域有关；以及
基于所述劣化过程来创建小片对的词典，每个小片对包括劣化的小片与恢复小片，所述劣化的小片是第二学习图像基于所述估计的劣化过程被劣化成的第二劣化的图像中的小片，所述恢复小片是所述第二学习图像中的小片。
14.一种信息处理设备，包括：
图像获取装置，所述图像获取装置用于获取多个第一学习图像和输入图像；
估计装置，所述估计装置用于在所述第一学习图像中的与所述输入图像中的任意区域对应的区域基于多个劣化过程中的相应劣化过程被劣化时，基于在所述任意区域与多个第一劣化的图像中的相应第一劣化的图像之间的第一相似性来输出估计的劣化过程，
其中所述估计的劣化过程对应于所述劣化过程中的如下劣化过程：所述劣化过程与所述输入图像中的所述区域有关；以及
用于基于所述劣化过程来创建小片对的词典的装置，每个小片对包括劣化的小片与恢复小片，所述劣化的小片是第二学习图像基于所述估计的劣化过程被劣化成的第二劣化的图像中的小片，所述恢复小片是所述第二学习图像中的小片。
CN201480043863.5A 2013-08-15 2014-07-18 实施图像处理的信息处理设备和图像处理方法 Active CN105453132B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013-168793 2013-08-15
JP2013168793 2013-08-15
PCT/JP2014/003824 WO2015022771A1 (ja) 2013-08-15 2014-07-18 画像処理を実行する情報処理装置及び画像処理方法

Publications (2)

Publication Number Publication Date
CN105453132A CN105453132A (zh) 2016-03-30
CN105453132B true CN105453132B (zh) 2019-04-05

Family

ID=52468165

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480043863.5A Active CN105453132B (zh) 2013-08-15 2014-07-18 实施图像处理的信息处理设备和图像处理方法

Country Status (5)

Country Link
US (1) US9875532B2 (zh)
JP (1) JP6512100B2 (zh)
CN (1) CN105453132B (zh)
HK (1) HK1220796A1 (zh)
WO (1) WO2015022771A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10225575B2 (en) * 2014-09-03 2019-03-05 Nec Corporation Image reconstruction in which unknown patch is replaced by selected patch
JP6341059B2 (ja) * 2014-10-31 2018-06-13 オムロン株式会社 文字認識装置、文字認識方法、およびプログラム
JP2016153933A (ja) * 2015-02-20 2016-08-25 株式会社リコー 画像処理装置、画像処理システム、画像処理方法、プログラム、及び記録媒体
KR102271285B1 (ko) * 2016-11-09 2021-07-01 삼성전자주식회사 영상처리장치 및 영상처리방법
JP6769558B2 (ja) * 2017-01-12 2020-10-14 日本電気株式会社 情報処理装置、情報処理方法及びプログラム
JP6919276B2 (ja) * 2017-03-31 2021-08-18 富士通株式会社 画像表示プログラム、画像表示装置および画像表示方法
CN110383332B (zh) * 2017-06-05 2023-09-12 乐天集团股份有限公司 图像处理装置、图像处理方法及图像处理程序
JP6773829B2 (ja) * 2019-02-21 2020-10-21 セコム株式会社 対象物認識装置、対象物認識方法、及び対象物認識プログラム
JP7383946B2 (ja) * 2019-09-12 2023-11-21 株式会社アイシン 画像復元装置、画像復元方法、画像復元プログラム、復元器生成装置、復元器生成方法、復元器生成プログラム、判定器生成装置、判定器生成方法、判定器生成プログラム、物品判定装置、物品判定方法、および物品判定プログラム
WO2023132223A1 (ja) * 2022-01-04 2023-07-13 ソニーグループ株式会社 画像処理装置、画像処理方法、および記録媒体

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4168938B2 (ja) * 2004-01-21 2008-10-22 セイコーエプソン株式会社 画像処理装置、画像処理プログラム及び画像処理方法
JP2010273764A (ja) * 2009-05-27 2010-12-09 Konica Minolta Medical & Graphic Inc 画像処理装置及び方法
CN102789632A (zh) * 2011-05-19 2012-11-21 索尼公司 学习装置和方法、图像处理装置和方法、程序和记录介质
WO2013089265A1 (ja) * 2011-12-12 2013-06-20 日本電気株式会社 辞書作成装置、画像処理装置、画像処理システム、辞書作成方法、画像処理方法及びプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57178578A (en) * 1981-04-27 1982-11-02 Toshiba Corp Pattern recognition system
JP4264332B2 (ja) 2003-11-19 2009-05-13 三菱重工業株式会社 文字認識装置、ナンバープレート認識システム
JP2009259190A (ja) * 2008-03-28 2009-11-05 Fujitsu Ltd 文字認識プログラムおよび文字認識装置
JP5522736B2 (ja) 2010-11-25 2014-06-18 日本放送協会 画像超解像装置およびそのプログラム
JP5769241B2 (ja) 2011-07-15 2015-08-26 国立大学法人 筑波大学 超解像画像処理装置及び超解像画像処理用辞書作成装置
JP6292911B2 (ja) * 2014-02-07 2018-03-14 キヤノン株式会社 画像処理方法、画像処理プログラムおよび画像処理装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4168938B2 (ja) * 2004-01-21 2008-10-22 セイコーエプソン株式会社 画像処理装置、画像処理プログラム及び画像処理方法
JP2010273764A (ja) * 2009-05-27 2010-12-09 Konica Minolta Medical & Graphic Inc 画像処理装置及び方法
CN102789632A (zh) * 2011-05-19 2012-11-21 索尼公司 学习装置和方法、图像处理装置和方法、程序和记录介质
WO2013089265A1 (ja) * 2011-12-12 2013-06-20 日本電気株式会社 辞書作成装置、画像処理装置、画像処理システム、辞書作成方法、画像処理方法及びプログラム

Also Published As

Publication number Publication date
JP6512100B2 (ja) 2019-05-15
CN105453132A (zh) 2016-03-30
JPWO2015022771A1 (ja) 2017-03-02
WO2015022771A1 (ja) 2015-02-19
HK1220796A1 (zh) 2017-05-12
US20160189357A1 (en) 2016-06-30
US9875532B2 (en) 2018-01-23

Similar Documents

Publication Publication Date Title
CN105453132B (zh) 实施图像处理的信息处理设备和图像处理方法
CN109508681B (zh) 生成人体关键点检测模型的方法和装置
CN111047516B (zh) 图像处理方法、装置、计算机设备和存储介质
US9542621B2 (en) Spatial pyramid pooling networks for image processing
CN112308200B (zh) 神经网络的搜索方法及装置
CN110136056B (zh) 图像超分辨率重建的方法和装置
CN108154222B (zh) 深度神经网络训练方法和系统、电子设备
CN105069424B (zh) 面部快速识别系统和方法
US9436981B2 (en) Dictionary creation device, image processing device, image processing system, dictionary creation method, image processing method, and program
US20150110386A1 (en) Tree-based Linear Regression for Denoising
CN104969257A (zh) 图像处理设备和图像处理方法
CN105590304B (zh) 超分辨率图像重建方法和装置
CN110738235A (zh) 肺结核判定方法、装置、计算机设备及存储介质
CN112991254A (zh) 视差估计系统、方法、电子设备及计算机可读存储介质
CN108876716A (zh) 超分辨率重建方法及装置
Yang et al. Xception-based general forensic method on small-size images
Hu et al. Fast source camera identification using matching signs between query and reference fingerprints
US20150235399A1 (en) Variable Patch Shape Synthesis
CN110288691B (zh) 渲染图像的方法、装置、电子设备和计算机可读存储介质
CN116071279A (zh) 图像处理方法、装置、计算机设备和存储介质
CN112487943B (zh) 关键帧去重的方法、装置和电子设备
CN116883770A (zh) 深度估计模型的训练方法、装置、电子设备及存储介质
CN114119423A (zh) 图像处理方法、装置、电子设备和存储介质
Ferianc et al. ComBiNet: Compact convolutional Bayesian neural network for image segmentation
KR20180012638A (ko) 누적 채널 특징점을 이용한 영상 인식에서의 객체 검출 방법 및 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1220796

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant