CN104969257B - 图像处理设备和图像处理方法 - Google Patents

图像处理设备和图像处理方法 Download PDF

Info

Publication number
CN104969257B
CN104969257B CN201380070627.8A CN201380070627A CN104969257B CN 104969257 B CN104969257 B CN 104969257B CN 201380070627 A CN201380070627 A CN 201380070627A CN 104969257 B CN104969257 B CN 104969257B
Authority
CN
China
Prior art keywords
image
recovery
patch
candidate
deterioration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380070627.8A
Other languages
English (en)
Other versions
CN104969257A (zh
Inventor
柴田刚志
池谷彰彦
仙田修司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of CN104969257A publication Critical patent/CN104969257A/zh
Application granted granted Critical
Publication of CN104969257B publication Critical patent/CN104969257B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/16—Image preprocessing
    • G06V30/164—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/1914—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries, e.g. user dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种图像处理设备，由此提高了输出与在低质量输入的图像中包括的原始图像准确地对应的恢复的图像的概率。这一图像处理设备包括：图像组生成装置，该图像组生成装置用于使用存储多个补丁对的字典来从输入的图像生成多个恢复的图像候选，其中劣化补丁与恢复补丁关联，该劣化补丁是劣化的图像的补丁，在该劣化的图像中，规定的图像被劣化，该恢复补丁是这一规定的图像的补丁，该多个恢复的图像候选包括多个不同内容实例，该多个不同内容实例具有是输入的图像的原始内容的可能性；以及图像选择呈现装置，该图像选择呈现装置用于对生成的多个恢复的图像候选进行聚类，并且基于这一聚类的结果选择和输出图像候选。

Description

图像处理设备和图像处理方法
技术领域
本发明涉及一种用于从劣化的图像生成恢复的图像的图像处理设备、图像处理方法和图像处理程序。
背景技术
一种用于从劣化的图像生成恢复的图像的技术的已知示例包括超分辨率技术。在超分辨率技术中，一种使用字典的方法特别地被称为学习型超分辨率技术。这一字典是通过学习范例而生成的字典，在这些范例中，低分辨率图像和高分辨率图像相互关联。
在NPL 1中描述了一种学习型超分辨率技术的示例。在NPL 1 中描述的学习型超分辨率技术中，执行以下方案(下文被称为超分辨率过程)。
首先，在超分辨率过程中，接收输入图像，该输入图像是低分辨率图像。
随后，在超分辨率过程中，从输入图像生成低频率分量。
随后，在超分辨率过程中，从生成的低频率分量切除低频率补丁，并且从低频率补丁计算低频率特征量。
随后，在超分辨率过程中，按照从计算的低频率特征量的距离的升序从字典搜索多条低频率特征量学习数据。然后，在超分辨率过程中，读出与搜索的低频率特征量学习数据形成对的高频率特征量。
随后，在超分辨率过程中，基于在搜索期间的距离、与相邻高频率块的不一致、在学习阶段中分离地学习的低频率特征量和高频率特征量的同现概率等选择单个高频率特征量。
例如，PTL 1公开了图像处理设备的示例。
在PTL 1的图像处理设备中，参数选择单元基于从输入图像标识的对象的属性选择多个不同图像处理参数的组合。随后，图像生成单元使用这些选择的图像处理参数以提高在输入图像中包括的对象的图像质量。然后，图像生成单元基于与输入图像的比较从获得自图像质量改进的多个图像之中选择至少单个图像，并且使选择的图像变成高图像质量图像。
[引用列表]
[专利文献]
[PTL 1]日本专利公开号2010-273328
[非专利文献]
[NPL 1]Taguchi,Ono,Mita,Ida,"A Learning Method of RepresentativeExamples for Image Super-Resolution by Closed-Loop Training",The Transactionsof the Institute of Electronics,Information and Communication.D,informationand systems J92-D(6),pp.831-842, 2009-06-01
发明内容
[技术问题]
然而，在以上说明的PTL 1和NPL 1中描述的技术中，存在可能未输出与作为低质量图像的输入图像准确地对应的恢复的图像的问题。这一问题更具体地是以下问题。在输入图像中包括的内容例如是数“7”时，可能向恢复的图像输出与其原始内容不同的数“9”，而可能未输出作为其原始内容的数“7”。这一问题在输入图像的劣化 (图像质量的劣化)更大时变得更显著。
这是因为在PTL 1和NPL 1中描述的技术中的任何技术未预计其中“与输入图像对应的生成的恢复的图像可能不正确”的情况。换而言之，在PTL 1和NPL 1中描述的技术中的任何技术没有用于选择可以有可能指示原始内容的多个恢复的图像的装置。
更具体地，这是因为在NPL 1中描述的技术中，从仅按照更大地增加与任何给定的输入图像的不一致而选择的高频率分量生成与输入图像对应的超分辨率图像(恢复的图像)。
在另一方面，这是因为在以上说明的PTL 1中描述的技术中，与输入图像对应的高图像质量图像(恢复的图像)基于与其输入图像的比较而从变成高图像质量的多个图像之中选择和输出。
本发明的目的是提供一种解决以上问题的图像处理设备、图像处理方法和图像处理程序。
[对问题的解决方案]
根据本发明的一个方面的第一图像处理设备包括：
图像组生成单元，该图像组生成单元使用存储按照劣化的补丁和恢复的补丁相互关联的方式包括退化的补丁和恢复的补丁的多个补丁对的字典，以生成包括多个不同内容的多个恢复的图像候选，劣化的补丁是通过使预定图像劣化而获得的劣化的图像的补丁，恢复的补丁是预定图像的补丁，多个不同内容可以是来自所述单个输入图像的输入图像的原始内容；以及
图像选择呈现单元，该图像选择呈现单元对所述恢复的图像候选聚类，并且基于所述聚类的结果选择和输出所述恢复的图像候选。
根据本发明的一个方面的第二图像处理设备包括：
图像组生成单元，该图像组生成单元生成包括与输入图像相似的不同内容的多个恢复的图像候选；以及
图像选择呈现单元，该图像选择呈现单元对所述恢复的图像候选聚类，并且从至少两个或者更多个类选择和输出恢复的图像候选。
根据本发明的一个方面的由计算机执行的第一图像处理方法包括：
使用按照劣化的补丁和恢复的补丁相互关联的方式包括退化的补丁和恢复的补丁的多个补丁对的字典，以生成包括多个不同内容的多个恢复的图像候选，劣化的补丁是通过使预定图像劣化而获得的劣化的图像的补丁，恢复的补丁是预定图像的补丁，多个不同内容可以是来自单个输入图像的输入图像的原始内容；以及
对所述恢复的图像候选聚类，并且基于所述聚类的结果选择和输出所述恢复的图像候选。
根据本发明的一个方面的由计算机执行的第二图像处理方法包括：
生成包括与输入图像相似的不同内容的多个恢复的图像候选；以及
对所述恢复的图像候选聚类，并且从至少两个或者更多个类选择和输出恢复的图像候选。
根据本发明的一个方面的记录有图像处理程序的第一非瞬态计算机可读记录介质，该图像处理程序使得计算机执行：
使用按照劣化的补丁和恢复的补丁相互关联的方式包括退化的补丁和恢复的补丁的多个补丁对的字典，以生成包括多个不同内容的多个恢复的图像候选，劣化的补丁是通过使预定图像劣化而获得的劣化的图像的补丁，恢复的补丁是预定图像的补丁，多个不同内容可以是来自单个输入图像的输入图像的原始内容；以及
对所述恢复的图像候选聚类并且基于所述聚类的结果选择和输出所述恢复的图像候选的处理。
根据本发明的一个方面的记录有图像处理程序的第二非瞬态计算机可读记录介质，该图像处理程序使得计算机执行：
生成包括与输入图像相似的不同内容的多个恢复的图像候选的处理；以及
对所述恢复的图像候选聚类、并且从至少两个或者更多个类选择和输出恢复的图像候选的处理。
[本发明的有利效果]
本发明具有可以提高输出与在输入图像(即，低质量图像)中包括的原始图像准确地对应的恢复的图像的概率的优点。
附图说明
图1是图示了根据本发明的第一示例性实施例的图像处理系统的配置的框图。
图2是图示了根据第一示例性实施例的学习设备的配置的框图。
图3是用于说明根据第一示例性实施例的学习阶段的示意图。
图4是用于说明根据第一示例性实施例字典如何存储补丁对的示意图。
图5是图示了根据第一示例性实施例的学习设备的操作的流程图。
图6是图示了根据第一示例性实施例的恢复设备的配置的框图。
图7是图示了根据第一示例性实施例的图像处理设备的配置的框图。
图8是图示了根据第一示例性实施例的超参数集合的示例的附图。
图9是示意性地图示了概率分布函数及其最大值的图像的附图。
图10是用于说明根据第一示例性实施例的恢复阶段的示意图。
图11是用于说明根据第一示例性实施例的恢复阶段的示意图。
图12是图示了根据第一示例性实施例的补丁的示例的附图。
图13是示意性地图示了聚类的图像的附图。
图14是图示了原始图像、输入图像和恢复的图像组的关系的示例的附图。
图15是图示了根据第一示例性实施例的恢复设备的操作的流程图。
图16是图示了根据第一示例性实施例的恢复设备的操作的流程图。
图17是图示了根据本发明的第二示例性实施例的图像处理设备的配置的框图。
图18是示意性地图示了概率分布函数及其局部最大值的图像的附图。
图19是图示了根据第二示例性实施例的恢复设备的操作的流程图。
图20是图示了根据本发明的第三示例性实施例的处理设备的配置的框图。
图21是图示了根据第三示例性实施例的恢复设备的操作的流程图。
图22是图示了根据本发明的第四示例性实施例的图像处理设备的配置的框图。
图23是图示了根据第四示例性实施例的恢复设备的操作的流程图。
图24是图示了根据本发明的第五示例性实施例的图像处理设备的配置的框图。
图25是图示了实现根据本发明的第五示例性实施例的图像处理设备的计算机设备的硬件配置的附图。
具体实施方式
随后，下文将参照附图具体说明用于实现本发明的示例性实施例。在说明书中描述的每张附图和每个示例性实施例中，用相同标号表示具有相同功能的构成单元。
首先，将说明本发明的背景以便使得易于理解本发明的示例性实施例。在以下说明中，执行了超分辨率技术作为示例，但是本发明不限于仅应用于超分辨率技术。本发明可以应用于用于从低质量输入图像生成恢复的图像的任何技术，如比如噪声降低技术、图像修饰技术、时间分辨率插值技术、模糊缩减技术等。将注意，质量低的输入图像(低质量图像的输入图像)也被称为劣化的图像，但是在以下说明中，它被简称为输入图像以便区别于如下劣化的图像，该劣化的图像是通过使稍后说明的高分辨率图像劣化而获得的图像。
学习型超分辨率技术包括学习阶段和恢复阶段。
学习阶段是用于学习多个范例并且生成字典的阶段。字典包括每个范例中的补丁对作为字典数据。
在这一情况下，补丁对是一对在预定范例中的高分辨率图像的补丁和劣化的图像的补丁。这一高分辨率图像(下文被称为学习图像) 是与范例对应的高分辨率的图像。劣化的图像是通过使它的高分辨率图像(学习图像)劣化而获得的图像。在以下说明中，学习图像(高分辨率图像)的补丁将被称为恢复的补丁，并且劣化的图像的补丁将被称为劣化的补丁。补丁(例如，它的恢复的补丁它的劣化的补丁和稍后说明的输入补丁)是目标图像的部分小区域图像。例如，这一补丁通过将目标图像划分成块而被生成。
恢复阶段是用于从在学习阶段中生成的字典搜索与输入图像(该输入图像是图像处理的目标)的补丁对应的最优恢复的补丁(下文被称为输入补丁)、并且通过合成处理来生成超分辨率图像的阶段。在这一情况下，一般可用的输入图像是质量低的图像(低质量图像)，该图像可以是低分辨率、可以包括其中混合的噪声、可以被部分地破坏或者可以被部分地丢失。输入图像也是可以包括模糊或者其姿态被倾斜的质量低的图像(低质量图像)。在另一方面，超分辨率图像也被称为恢复的图像。
上文已经说明了本发明的背景。
<第一示例性实施例>
图1是图示了根据第一示例性实施例的图像处理系统1000的配置的框图。
如图1中所示，根据第一示例性实施例的图像处理系统1000包括学习设备101、字典200和恢复设备301。学习设备101接收学习图像，并且执行学习阶段。字典200存储在学习阶段中生成的补丁对。恢复设备301接收输入图像、使用字典200来执行恢复阶段并且输出恢复的图像。
下文将通过分离地说明学习阶段和恢复阶段中的每个阶段来描述本示例性实施例。
(学习阶段)
将参照图2至图5说明根据第一示例性实施例的学习阶段。
图2是图示了学习设备101的配置的框图。如图2中所示，学习设备101包括接收单元110、劣化的图像生成单元120、补丁对生成单元130和注册单元140。
学习设备101通过执行学习阶段来生成字典200。
＝＝＝接收单元110＝＝＝
接收单元110从外部接收学习图像。接收单元110向劣化的图像生成单元120和补丁对生成单元130输出从外部接收的学习图像。
＝＝＝劣化的图像生成单元120＝＝＝
劣化的图像生成单元120通过将劣化处理应用于从接收单元110 输出的学习图像来生成劣化的图像。
劣化的图像生成单元120可以通过将多条劣化处理应用于从接收单元110输出的学习图像来生成多个劣化的图像。劣化的图像生成单元120可以通过将多条不同劣化处理应用于学习图像来生成多个劣化的图像。
劣化的图像生成单元120可以通过将包括尺寸缩减、明度降低高频率分量缩减或者姿态改变的多条处理中的至少一条处理应用于从接收单元110输出的学习图像来生成劣化的图像。
劣化的图像生成单元120可以通过将从接收单元110接收的学习图像缩减成例如N分之一来生成劣化的图像。例如，使用图像质量劣化相对高的最近邻居方法作为用于缩减图像的算法。例如，可以使用双线性方法或者双三次方法作为用于缩减图像的算法。
劣化的图像生成单元120可以例如通过去除学习图像的高频率分量并且增加模糊强度来生成劣化的图像。劣化的图像生成单元120可以通过倾斜学习图像并且改变姿态来生成劣化的图像。备选地，劣化的图像生成单元120可以通过减少学习图像的亮度值并且减少明度来生成劣化的图像。劣化的图像生成单元120可以根据已经可用的各种方案生成劣化的图像。
劣化的图像生成单元120向补丁对生成单元130输出生成的劣化的图像以及参数，该参数指示图像相对于劣化的图像的劣化状态(下文被称为‘劣化参数’)。在这一情况下，劣化参数可以是表示图像的放大率、明度、模糊强度和用于图像的区域中的每个区域的姿态的倾斜中的至少一项作为数值的参数。
＝＝＝补丁对生成单元130＝＝＝
补丁对生成单元130从接收单元110接收学习图像，并且从劣化的图像生成单元120接收学习图像的劣化的图像和劣化的图像的劣化参数。补丁对生成单元130在学习图像和劣化的图像相互对应的位置处生成多个补丁对。换而言之，补丁对生成单元130产生补丁对，该补丁对包括学习图像的特定补丁和劣化的图像的在劣化的图像上的位置的补丁，该位置对应于特定补丁在学习图像上的位置。
补丁对生成单元130可以根据已经可用的方案生成多对恢复的补丁和劣化的补丁(补丁对)。
补丁对生成单元130向注册单元140输出生成的多个补丁对以及对应的劣化参数。
将注意到，学习设备101的接收单元110可以从外部接收与学习图像和劣化参数配对的学习图像和劣化的图像。例如，学习图像是由能够捕获高分辨率图像的相机捕获的图像，并且劣化的图像是由低性能的相机捕获的图像(具有劣化参数的图像的高放大率的图像)。备选地，劣化的参数可以是通过有意地散焦(增加劣化参数的模糊强度) 或者不正确地设置曝光时间(改变劣化参数的明度)而捕获的图像。将注意到，劣化的图像可以是通过生成模糊(劣化参数的姿态的倾斜) 而捕获的图像。劣化的图像可以是在包括各种不良条件的其它条件之下捕获的图像。在这些情况下，学习设备101可以不包括劣化的图像生成单元120。补丁对生成单元130可以从接收单元110接收学习图像和劣化的图像。
＝＝＝注册单元140＝＝＝
注册单元140可以从补丁对生成单元130接收多个补丁对。注册单元140以多个补丁对和补丁对的劣化的补丁的劣化参数相互关联这样的方式将多个补丁对和补丁对的劣化的补丁的劣化参数注册到字典200。
＝＝＝字典200＝＝＝
字典200存储由学习设备101生成的多个补丁对和劣化参数。
图3是用于说明根据第一示例性实施例的学习阶段的示意图。如图3中所示，学习设备101可以通过将一条或者多条劣化处理应用于学习图像10来生成劣化的图像20。图3指示用‘劣化1’、‘劣化2’、…等的变化来执行劣化处理。学习设备101将在学习图像10和劣化的图像20相互对应的位置处的一对补丁以及劣化参数204注册到字典 200。图3指示学习设备101将包括恢复的补丁201、劣化的补丁202 的补丁对203和劣化参数204注册到字典200。劣化参数204由ψk (k是从一到n的整数)指示。
图4是用于说明字典200如何存储补丁对203和劣化参数的示意图。如图4中所示，字典200存储恢复的补丁201(1)、201(2)、201(3)、…、 201(n-1)、201(n)。字典200与恢复的补丁201关联地存储劣化的补丁 202(1)、202(2)、202(3)、…、202(n-1)、202(n)。更具体地，字典200 存储补丁对203(1)、203(2)、203(3)、…、203(n-1)、203(n)，每个补丁对是一对恢复的补丁201和劣化的补丁202。字典200与补丁对关联地存储劣化参数204(1)、204(2)、204(3)、…、204(n-1)、204(n)。在这一情况下，n表示正整数。
用于存储恢复的补丁、劣化的补丁和劣化参数的字典200的方法不限于用于如图4中所示相互关联地存储补丁的方法。例如，字典200 可以不将学习图像10存储为补丁而是存储为单个图像。在这一情况下，字典200可以按照索引被附着到学习数据的方式存储学习数据或者可以根据其它方法存储学习数据。这一索引指示它对于劣化的补丁中的每个劣化的补丁而对应于恢复的图像的哪个区域和它对应于什么种类的劣化参数。在这一情况下，补丁的结构和劣化参数可以是与字典200的学习数据的存储方法相符的结构。
随后，下文将参照附图说明学习设备101的操作。图5是图示了学习设备101的操作的流程图。
接收单元110从外部接收学习图像10(步骤A1)。
劣化的图像生成单元120通过将从接收单元110输出的学习图像 10缩减成例如N分之一来生成劣化的图像20(步骤A2)。
补丁对生成单元130在学习图像10和劣化的图像20相互对应的位置处生成多个补丁对203并且向注册单元140输出补丁对(步骤 A3)。
随后，注册单元140将从补丁对生成单元130接收的补丁对203 注册到字典200(步骤A4)。
上文已经说明了用于生成字典200的学习设备101的操作。
(恢复阶段)
将参照图6至图12说明根据第一示例性实施例的恢复阶段。
图6是图示了恢复设备301的配置的框图。如图6中所示，恢复设备301包括接收单元310和图像处理设备1001。图像处理设备1001 包括图像组生成单元501和图像选择呈现单元511。
图7是图示了图像处理设备100的配置的框图。图像处理设备 1001的图像组生成单元501包括补丁生成单元521、超参数集合生成单元531和恢复的图像候选生成单元541。
恢复设备301从外部接收输入图像(该输入图像是图像处理的目标)，并且对输入图像执行图像处理(由以下所示的恢复设备301执行的第一处理至第三处理)，因此生成恢复的图像。
在第一处理中，恢复设备301使用字典200以基于概率分布函数生成用于这样接收的单个输入图像的多个恢复的图像候选。在这一情况下，恢复的图像候选是包括多个不同内容(图像)中的任何内容(图像)的超分辨率图像。这些不同内容(图像)中的每个内容(图像) 是如下内容，该内容可以是输入图像的原始内容(图像)。稍后将说明概率分布函数的细节。
在第二处理中，恢复设备301对多个恢复的图像候选聚类。随后，恢复设备301基于聚类的结果从多个恢复的图像候选之中选择一个或者多个复数个恢复的图像候选。在这一情况下，恢复设备301可以根据预先确定的选择条件选择恢复的图像候选。
在第三处理中，恢复设备301输出选择的恢复的图像候选作为恢复的图像。
随后，将详细说明恢复设备301、图像处理设备1001和图像组生成单元501的每个构成单元。
＝＝＝接收单元310＝＝＝
恢复设备301的接收单元310从外部接收输入图像，该输入图像是图像处理的目标。例如，接收单元310可以连接到网络并且接收输入图像，或者可以从存储输入图像的存储器读取输入图像并且接收输入图像。更具体地，未限制接收单元310如何接收输入图像。接收单元310向图像组生成单元501输出接收的输入图像。
＝＝＝补丁生成单元521＝＝＝
图像组生成单元501的补丁生成单元521从输出自接收单元310 的输入图像生成多个补丁(输入补丁)，并且向恢复的图像候选生成单元541输出补丁。
＝＝＝超参数集合生成单元531＝＝＝
图像组生成单元501的超参数集合生成单元531生成包括一个或者多个超参数(劣化参数)的多个超参数集合。更具体地，超参数确定单元531生成其中超参数的值被改变的多个超参数集合。随后，超参数确定单元531向恢复的图像候选生成单元541输出生成的多个超参数集合。
超参数在统计领域中也可以被称为用于确定概率分布函数的参数。更具体地，在本示例性实施例中，劣化参数也可以被称为对应于超参数。
图8是图示了超参数集合60的示例的附图。如图8中所示，超参数集合60是例如补丁尺寸、模糊的量值、姿态和超参数的距离空间的任何给定的组合。补丁尺寸是由像素数目(5个像素、3x4个像素等)指示的值。模糊的量值是由像素数目(1个像素、0.5个像素等) 指示的值。姿态例如是由旋转轴和角度(在x轴中的一度和在z轴中的-2度)指示的值。距离空间是用于补丁搜索的距离空间。距离空间被例如指示为L1范数和L2范数。
例如，超参数集合生成单元531基于由未示出的接口给定的命令生成超参数集合60。超参数集合生成单元531可以基于从未示出的装置输入的操作者的命令生成超参数集合60。
＝＝＝恢复的图像候选生成单元541＝＝＝
图像组生成单元501的恢复的图像候选生成单元541根据以下第一方法生成恢复的图像候选。
恢复的图像候选生成单元541例如如以下说明的等式1中所示计算最大值的最大值。随后，恢复的图像候选生成单元541选择字典200 中的与概率分布函数的最大值对应的补丁对203。随后，恢复的图像候选生成单元541通过比较选择的补丁对203的恢复的补丁201来生成恢复的图像候选。将注意到，将在稍后说明的第二方法的恢复阶段中详细说明恢复的补丁201的比较。
图9是示意性地图示了等式1的概率分布函数及其最大值的图像的附图。
恢复的图像候选生成单元541例如使用Monte Carlo方法以推导概率分布函数的最大值。Monte Carlo方法可以是Markov链Monte Carlo(Metropolis方法、Gibbs采样)、多典范Monte Carlo方法、交换Monte Carlo方法等。恢复的图像候选生成单元541可以使用除了 Monte Carlo方法之外的方法(例如，EM(期望最大化)算法)。
P(x|α)＝exp(-Edata+αEsmooth) (等式1)
等式1是指示了超分辨率图像(如下图像，该图像可以是恢复的图像候选)的出现概率的概率分布函数。等式1的概率分布函数是通过对在字典200中存储的输入图像、与输入图像对应的超分辨率图像和补丁对203的关系以及超分辨率图像的相邻补丁的关系建模而产生的函数。等式1的函数包括与劣化的图像20对应的任何给定的劣化的参数作为超参数。
更具体地，在等式1中，Edata是指示输入补丁和劣化的补丁202 的相似度(例如，输入补丁和劣化的补丁202中的每个补丁的距离空间的相似度)的值。Esmooth是指示超分辨率图像的相邻补丁的相似度的值。将注意到，Esmooth也可以是从超分辨率图像和恢复的补丁202 切除的补丁的相似度。
在等式1中，α是用于确定Esmooth的权值的值并且是超参数之一。将注意到，不仅在α中而且在Edata和Esmooth中包括作为 超参数补丁尺寸、模糊的量值、姿态或者用于补丁搜索的距离空间。
随后，恢复的图像候选生成单元541生成与最大值的出现概率对应的超分辨率图像作为恢复的图像候选。
换而言之，等式1是超分辨率图像X在超分辨率图像被给定作为如等式2中所示能量时的概率分布函数。
E＝Edata+αEsmooth (等式2)
其中：
Xk表示输入补丁31，
XLRi表示第i个劣化的补丁202，
XHRi表示第i个恢复的补丁201，以及
<Xk>表示从恢复的图像切除的第k个补丁。
将注意到，与最大值的出现概率对应的超分辨率图像是如下超分辨率图像，该超分辨率图像的由等式2指示的能量是最小值。更具体地，“恢复设备301基于概率分布函数生成用于单个接收的输入图像的多个恢复的图像候选”，这可以解释如下。
恢复的图像候选生成单元541计算由计算等式、如等式2推导的能量E的最小值。随后，恢复的图像候选生成单元541生成与最小值的能量E对应的超分辨率图像作为恢复的图像候选。以这一方式，恢复的图像候选生成单元541如图8中所示生成分别与超参数集合60对应的恢复的图像候选。
恢复的图像候选生成单元541也可以根据以下说明的第二方法生成多个恢复的图像候选。在以下第二方法中，图像组生成单元501可以不具有超参数集合生成单元531。
恢复的图像候选生成单元541基于相似度程度从在字典200中存储的补丁对203之中选择分别与输入补丁对应的多个恢复的补丁 201。相似度程度是代表输入补丁和劣化的补丁202的相似性的值。例如，恢复的图像候选生成单元541选择与劣化的补丁202对应的恢复的补丁201，该劣化的补丁202与输入补丁的相似度程度等于或者大于预定值。恢复的图像候选生成单元541按照相对于输入补丁的相似度程度的降序选择与劣化的补丁202对应的预定数目的恢复的补丁 201。
恢复的图像候选生成单元541比较多个恢复的补丁201并且生成恢复的图像候选。这些恢复的补丁201中的每个恢复的补丁是分别与输入补丁对应的多个恢复的补丁201之一。
然后，恢复的图像候选生成单元541改变这些合成的恢复的补丁 201的组合并且生成多个恢复的图像候选。
图10是用于说明第二方法的恢复阶段的示意图。如图10中所示，恢复设备301基于输入图像30的输入补丁301和在字典200中的劣化的补丁202的相似性(第一相似度程度)选择恢复的补丁201。
恢复设备301可以如图11中所示不仅基于第一相似度程度而且基于从恢复的图像40切除的补丁与恢复的补丁201的相似性来选择恢复的补丁201。
随后将说明两个补丁(例如，输入补丁31和劣化的补丁202)的相似度程度。
图12是图示了补丁50的示例的附图。例如，如图12中所示，补丁50包括像素组51，该像素组51是以多个像素52的像素值作为元素的多维矢量。补丁50也包括用于个别地标识补丁50的补丁标识符53作为元信息。将注意到，补丁50是包括恢复的补丁201、劣化的补丁202和输入补丁31的概念。像素值可以是亮度值而不限于此。
在这一情况下，指示两个补丁的相似度程度的值是如下值，该值基于补丁的每个像素52的亮度值的差异。例如，指示两个补丁的相似度程度的值可以是SSD(距离平方之和)，该SSD是在补丁之间的像素52的亮度值的差异的平方之和。例如，指示相似度程度的值可以是通过从特定常数减去SSD而获得的值。在这一情况下，特定常数可以例如是最小亮度的补丁和最大亮度的补丁的SSD。指示在两个补丁之间的相似度程度的值可以是基于SAD(绝对距离之和)的值，该SAD是在补丁之间的像素52的亮度值的差异的绝对值之和。例如，指示相似度程度的值可以是通过从特定常数减去SAD而获得的值。在这一情况下，特定常数可以例如是最小亮度的补丁和最大亮度的补丁的SAD。
备选地，例如，指示在两个补丁之间的相似度程度的值可以是基于在两个特征矢量之间的角度的值。再备选地，指示在两个补丁之间的相似度程度的值可以是由归一化的互相关函数计算的值而不限于此。
更具体地，指示在两个补丁之间的相似度程度的值是由两个补丁的像素组51代表的图像的相似度程度。
＝＝＝图像选择呈现单元511＝＝＝
图像处理设备1001的图像选择呈现单元511对由图像组生成单元501生成的多个恢复的图像候选聚类。图像选择呈现单元511例如使用K均值方法和Ward方法来执行聚类。
图13是示意性地图示了聚类的图像的附图。恢复的图像候选是具有与构成恢复的图像候选的像素数目一样多的幂的多维矢量。然而，在图13中，在二维平面上描绘恢复的图像候选。
在图13中，黑点和星号是恢复的图像候选。包围黑点和星号的线代表类。更具体地，由类的线包围的黑点和星号是聚类的结果的恢复的图像候选的子集。星号是讨论的类的质心的恢复的图像候选。在这一情况下，质心的恢复的图像候选是与类的中心最接近的恢复的图像候选。在后继处理中，图像选择呈现单元511可以使用与类的中心对应的矢量(图像)而不是质心的恢复的图像候选作为恢复的图像候选。
随后，图像选择呈现单元511使用聚类的结果以选择与预先确定的选择条件相符的恢复的图像候选。然后，图像选择呈现单元511输出选择的恢复的图像候选作为恢复的图像。例如，可以经由未示出的接口从外部给定选择条件。操作者可以用未示出的输入装置给定选择条件。
例如，选择条件是类的质心的与指明的数量n一样多的恢复的图像候选(其中n是等于或者大于一的自然数)。在这一情况下，图像选择呈现单元511从类的质心的恢复的图像候选随机地选择与数量n 一样多的恢复的图像候选。例如，在n是“3”时，图像选择呈现单元511从三个类选择质心的恢复的图像候选，并且输出选择的三个恢复的图像候选作为恢复的图像。
图14是图示了原始图像、通过使原始图像劣化而获得的输入图像和输入图像的恢复的图像的关系的附图。图14示出了由于一些元素(例如，模糊、分辨率降低、噪声混合等)而使用虚线将如图14 中所示输入图像变成低质量图像。如图14中所示恢复的图像组例如对应于由图13中的星号指示的质心的恢复的图像候选。
因此，图像处理设备1001关于在输入图像中包括的原始图像(在这一情况下的“7”)不仅输出不正确的恢复的图像(在这一情况下的“1”和“9”)而且输出准确地对应的恢复的图像(在这一情况下的“7”)。
选择条件是按照类中的元素数目的降序的、类的质心的与指明的数量n一样多的恢复的图像候选(其中n是等于或者大于一的自然数)。在这一情况下，图像选择呈现单元511按照类中的元素数目的降序从类的质心的恢复的图像候选选择与数量n一样多的恢复的图像候选。
这一选择条件可以是类的质心的恢复的图像候选，这些类的元素数目等于或者大于阈值。在这一情况下，图像选择呈现单元511选择类的质心的恢复的图像候选，这些类的元素数目等于或者答于阈值。
这一选择条件可以是所有类的质心的恢复的图像候选。在这一情况下，图像选择呈现单元511选择所有类的质心的恢复的图像候选。
图像选择呈现单元511可以切除恢复的图像候选中的每个恢复的图像候选的特定部分作为特定部分恢复的图像候选，并且对特定部分恢复的图像候选聚类。在这一情况下，图像选择呈现单元511从这些特定部分恢复的图像候选选择与以上选择条件相符的特定部分恢复的图像候选。然后，图像选择呈现单元511可以输出与选择的特定部分恢复的图像候选或者选择的特定部分恢复的图像候选对应的恢复的图像候选作为恢复的图像。
上文已经说明了恢复设备301和图像处理设备1001的每个构成单元。
随后将参照附图说明恢复设备301的操作。
图15和图16是图示了恢复设备301的操作的流程图。如图15 中所示恢复设备301的操作是其中恢复的图像候选生成单元541根据第一方法生成恢复的图像候选的操作。
接收单元310从外部接收输入图像，该输入图像是图像处理的目标(步骤B11)。
随后，补丁生成单元521将从接收单元310输出的输入图像划分成块，并且生成多个补丁(输入补丁31)(步骤B12)。例如，补丁生成单元521可以采用由在5个像素x5个像素中排列的全部25个像素组成的区域作为输入补丁31的补丁单位。在这一情况下，补丁生成单元521可以按照相邻补丁相对于输入图像被偏离一个像素这样的关系生成输入补丁31。将注意到，补丁的区域的像素数目和与相邻补丁的关系不限于此。例如，补丁生成单元521可以按照相邻补丁被偏离三个像素这样的关系生成输入补丁3作为补丁。在输入补丁31及其相邻补丁的偏离像素数目更小时(在与相邻补丁的重叠更大时)，可以执行更详细的合成处理以生成恢复的图像。
随后，超参数集合生成单元531生成多个超参数(步骤B13)。
随后，恢复的图像候选生成单元541生成超分辨率图像作为恢复的图像候选，该超分辨率图像的从等式1推导的概率分布函数产生用于这些超参数中的每个超参数的最大值(步骤B14)。备选地，恢复的图像候选生成单元541可以生成超分辨率图像作为恢复的图像候选，该超分辨率图像的从等式2推导的能量E是用于这些超参数中的每个超参数的最小值。
随后，图像选择呈现单元511对这些恢复的图像候选聚类(步骤 B15)。
随后，图像选择呈现单元511使用聚类的结果以选择与预先确定的选择条件相符的恢复的图像候选(步骤B16)。
随后，图像选择呈现单元511输出选择的恢复的图像候选作为恢复的图像(步骤B17)。
如图16中所示的恢复设备301的操作是其中恢复的图像候选生成单元541根据第二方法生成恢复的图像候选的操作。如图16中所示的恢复设备301的操作是如下操作，在该操作中，如图15中所示流程图的步骤B13和步骤B14用以下所示的步骤B21至步骤B23来替换。
恢复的图像候选生成单元541对于由补丁生成单元521生成的输入补丁31中的每个输入补丁计算在字典200中包括的所有劣化的补丁202的相似度程度(步骤B21)。
随后，恢复的图像候选生成单元541基于计算的相似度程度从在字典200中存储的补丁对203的数据获得多个劣化的补丁202。随后，恢复的图像候选生成单元541选择分别与补丁标识符53对应的补丁对203的恢复的补丁201，并且输出恢复的补丁201(步骤B22)。在这一情况下，补丁标识符53是获得的劣化的补丁202的补丁标识符53。
同样地，恢复的图像候选生成单元541对于所有输入补丁31中的每个输入补丁执行步骤B22，并且选择恢复的补丁201。
随后，恢复的图像候选生成单元541通过改变组合而合成分别与所有输入补丁31对应的恢复的补丁201来生成多个恢复的图像(步骤B23)。将注意到，用于“合成图像(补丁)”的处理也可以更具体地是用于“推导将被合成的所有图像(补丁)的像素值的平均值”的处理。在这一情况下，“推导平均值”意味着为在补丁之间的相同位置处的每个像素值计算平均值。
更具体地，“合成”可以是用于在所有恢复的补丁201被放置在对应的位置处时推导重叠区域中的所有重叠的恢复的补丁201的像素值的平均值的处理。
上文已经说明了恢复设备301的操作。
以上说明的本示例性实施例的第一优点是用于提高输出与在输入图像中包括的原始图像准确地对应的恢复的图像的概率的能力。
这是因为本示例性实施例包括以下配置。首先，恢复的图像候选生成单元541从它的单个输入图像生成包括多个不同内容的多个恢复的图像候选，这些多个不同内容可以是来自输入图像的原始内容。第二，图像选择呈现单元511基于通过对恢复的图像候选聚类而获得的结果输出恢复的图像。
<第二示例性实施例>
随后，将参照附图详细说明本发明的第二示例性实施例。在以下说明中，只要关于本示例性实施例的说明未变得不清楚，就不会重复地说明与以上说明相同的内容。
图17是图示了根据本发明的第二示例性实施例的图像处理设备 1002的配置的框图。取代图像处理设备1001，例如，在如图6中所示的恢复设备301中包括如图17中所示图像处理设备1002。
如图17中所示，根据本示例性实施例的图像处理设备1002包括图像组生成单元502和图像选择呈现单元511。
图像组生成单元502包括补丁生成单元521、超参数集合生成单元532和恢复的图像候选生成单元542。
如图6中所示恢复设备301可以包括图像处理设备1002代替图像处理设备1001。
＝＝＝超参数集合生成单元532＝＝＝
超参数集合生成单元532生成单个超参数集合60。
例如，超参数集合生成单元531基于由未示出的接口给定的命令生成超参数集合60。超参数集合生成单元531可以基于从未示出的装置输入的操作者的命令生成超参数集合60。
＝＝＝恢复的图像候选生成单元542＝＝＝
恢复的图像候选生成单元542生成与对应于超参数集合60的概率分布函数的多个局部最大值对应的恢复的图像候选。更具体地，恢复的图像候选生成单元542与如图7中所示的恢复的图像候选生成单元541不同在于以下特征。恢复的图像候选生成单元541推导概率分布函数的最大值，并且生成与最大值对应的超分辨率图像作为恢复的图像候选。对照而言，恢复的图像候选生成单元542推导概率分布函数的多个局部最大值，并且生成与局部最大值对应的超分辨率图像作为恢复的图像候选。
图18是示意性地图示了由等式1表达的概率分布函数及其局部最大值的图像的附图。
如同超参数集合生成单元531一样，超参数集合生成单元532可以生成多个超参数集合60。
在这一情况下，恢复的图像候选生成单元542可以对于分别与超参数集合60对应的概率分布函数中的每个概率分布函数生成与多个局部最大值对应的恢复的图像候选。
随后将参照附图详细说明本示例性实施例的操作。
图19是图示了包括根据本示例性实施例的图像处理设备1002的恢复设备301的操作的流程图。如图19中所示的恢复设备301的图像处理设备1002的操作是如下操作，在该操作中，如图15中所示的流程图的步骤B13和步骤B14用以下所示的步骤B31至步骤B32替换。
超参数集合生成单元532生成单个或者多个超参数集合60(步骤 B31)。
恢复的图像候选生成单元542对于多个超参数集合60中的每个超参数集合生成与概率分布函数的多个局部最大值对应的恢复的图像候选(步骤B32)。
如同第一示例性实施例一样，根据以上说明的本示例性实施例的第一优点是提高输出与在输入图像中包括的原始图像准确地对应的恢复的图像的概率的能力。
这是因为恢复的图像候选生成单元542被配置为生成与概率分布函数的多个局部最大值对应的恢复的图像候选。
根据以上说明的本示例性实施例的第二优点是进一步提高输出与在输入图像中包括的原始图像准确地对应的恢复的图像的概率的能力。
这是因为恢复的图像候选生成单元541被配置为基于概率分布函数和对应于其概率分布函数的多个本地最大值生成分别与多个超参数集合60对应的恢复的图像候选。
<第三示例性实施例>
随后，将参照附图详细说明本发明的第三示例性实施例。在以下说明中，只要关于本示例性实施例的说明未变得不清楚，就不会重复地说明与以上说明相同的内容。
图20是图示了根据本发明的第三示例性实施例的图像处理设备1003的配置的框图。
如图20中所示，根据本示例性实施例的图像处理设备1003包括图像组生成单元501和图像选择呈现单元513。将注意到，图像处理设备1003可以包括图像组生成单元502代替图像组生成单元501。取代图像处理设备1001，例如在如图6中所示的恢复设备301中包括如图20中所示的图像处理设备1003。
＝＝＝图像选择呈现单元513＝＝＝
图像选择呈现单元513通过将多个恢复的图像候选中的每个恢复的图像候选划分成多个部分来生成划分的恢复的图像候选。随后，图像选择呈现单元513对由特定区域的划分的恢复的图像候选构成的组中的每个组聚类。在这一情况下，特定区域的划分的恢复的图像候选是与恢复的图像候选中的每个恢复的图像候选的相同位置对应的划分的恢复的图像候选。随后，图像选择呈现单元513基于聚类的结果选择用于每组的划分的恢复的图像候选。随后，图像选择呈现单元513 合成选择的划分的恢复的图像候选并且生成超分辨率图像，并且输出超分辨率图像作为恢复的图像候选。
图像选择呈现单元513选择与预先确定的选择条件相符的划分的恢复的图像候选。然后，图像选择呈现单元513基于预先确定的合成条件合成选择的恢复的图像候选。例如，可以经由未示出的接口从外部给定选择条件和合成条件。操作者可以用未示出的装置给定选择条件和合成条件。
图像选择呈现单元513基于选择条件和合成条件对于例如每个组 (更具体地为每个区域)随机地选择类的质心的与指明的数量n一样多的划分的恢复的图像候选(其中n是等于或者大于一的自然数)。然后，图像选择呈现单元513通过改变选择的划分的恢复的图像候选的组合来执行合成。
图像选择呈现单元513基于选择条件和合成条件对于每个组选择类的质心的与指明的数量一样多的划分的恢复的图像候选，这些类的元素数目等于或者大于阈值。然后，图像选择呈现单元513通过改变选择的划分的恢复的图像候选的组合来执行合成。
图像选择呈现单元513基于选择条件和合成条件对于每个组按照类中的元素数目的降序选择类的质心的与指明的数量n一样多的划分的恢复的图像候选。然后，图像选择呈现单元513通过改变选择的划分的恢复的图像候选的组合来执行合成。
图像选择呈现单元513基于选择条件和合成条件对于每个组选择所有类的质心的与指明的数目n一样多的划分的恢复的图像候选。然后，图像选择呈现单元513通过改变选择的划分的恢复的图像候选的组合来执行合成。
随后，下文将参照附图详细说明包括图像处理设备1000的恢复设备301的操作。
图21是图示了包括图像处理设备1003的恢复设备301的操作的流程图。包括图像处理设备1003的恢复设备301的操作是如下操作，在该操作中，如图15中所示的流程图的步骤B15和步骤B17用以下所示的步骤B41至步骤B45替换。
图像选择呈现单元513划分恢复的图像候选，并且生成划分的恢复的图像候选(步骤B41)。
随后，图像选择呈现单元513对用于每个组的划分的恢复的图像候选聚类(步骤B42)。
随后，图像选择呈现单元513使用聚类的结果以选择与预先确定的选择条件相符的划分的恢复的图像候选(步骤B43)。
随后，图像选择呈现单元513通过合成选择的划分的恢复的图像候选来生成恢复的图像(步骤B44)。
随后，图像选择呈现单元513输出生成的恢复的图像(步骤B45)。
以上说明的本示例性实施例的优点不仅是第一示例性实施例的优点而且即使输入图像的劣化不均匀也仍然能够提高输出希望的恢复图像的概率。希望的恢复的图像是与在输入图像中包括的原始图像准确地对应的恢复的图像。
这是因为图像选择呈现单元513被配置为对通过将多个恢复的图像候选中的每个恢复的图像候选划分成多个部分而获得的划分的恢复的图像候选执行处理。
<第四示例性实施例>
随后，将参照附图详细说明本发明的第四示例性实施例。在以下说明中，只要关于本示例性实施例的说明未变得不清楚，就不会重复地说明与以上说明相同的内容。
图22是图示了根据本发明的第四示例性实施例的图像处理设备 1004的配置的框图。
如图22中所示，根据本示例性实施例的图像处理设备1004包括图像组生成单元504和图像选择呈现单元514。图像处理设备1004 的图像组生成单元504包括补丁生成单元521、超参数集合生成单元 531、恢复的图像候选生成单元541和可靠程度计算单元554。将注意到，图像组生成单元504可以包括超参数集合生成单元532代替超参数集合生成单元531。图像组生成单元504可以包括恢复的图像候选生成单元542代替是恢复的图像候选生成单元541。取代图像处理设备1001，例如在如图6中所示的恢复设备301中包括如图22中所示的图像处理设备1004。
＝＝＝可靠程度计算单元554＝＝＝
可靠程度计算单元554计算由恢复的图像候选生成单元541生成的恢复的图像候选中的每个恢复的图像候选的可靠的程度。稍后将说明计算可靠的程度的细节。
＝＝＝图像选择呈现单元514＝＝＝
图像选择呈现单元514基于这样计算的可靠的程度选择恢复的图像候选，并且输出选择的恢复的图像候选作为恢复的图像。
更具体地，如同图像选择呈现单元511一样，图像选择呈现单元 514使用聚类的结果以选择与预先确定的选择条件相符的恢复的图像候选。在本示例性实施例中，选择条件包括可靠的程度的条件。例如，选择条件包括可靠的程度最高的条件和可靠的程度等于或者大于预定阈值的条件。
将注意到，图像选择呈现单元514可以生成通过将多个恢复的图像候选中的每个恢复的图像候选划分成多个部分而获得的划分的恢复的图像候选，并且向可靠程度计算单元554输出划分的恢复的图像候选。在这一情况下，可靠程度计算单元554可以计算划分的恢复的图像候选的可靠的程度。图像选择呈现单元514可以对由与相同位置对应的特定区域的部分恢复的图像候选构成的组中的每个组聚类。图像选择呈现单元514可以基于聚类的结果选择用于每个组的划分的恢复的图像候选，并且可以合成和输出选择的划分的恢复的图像候选。
随后，将参照附图详细说明包括图像处理设备1004的恢复设备 301的操作。
图23是图示了包括图像处理设备1003的恢复设备301的操作的流程图。包括图像处理设备1003的恢复设备301的操作是附加地包括以下说明的步骤B51的如图15中所示的流程图的操作。
可靠程度计算单元554计算每个恢复的图像候选的可靠的程度 (步骤B51)。
随后，将说明第一至第四可靠程度计算方案作为可靠程度计算的详细示例。
在第一可靠程度计算方案中，可靠程度计算单元554从恢复的图像候选生成降低质量的图像。然后，可靠程度计算单元554基于在降低质量的图像与输入图像之间的差异计算可靠的程度。
在第二可靠程度计算方案中，可靠程度计算单元554在生成恢复的图像候选的情况下基于在相邻恢复的补丁201之间的差异计算可靠的程度。
在第三可靠程度计算方案中，可靠程度计算单元554基于风险的程度计算可靠的程度，该风险的程度是在劣化的补丁202之间的相似度程度与在与劣化的补丁202对应的恢复的补丁201之间的相似度程度之比。
风险的程度是在劣化的补丁202之间的相似度程度与在与劣化的补丁202对应的恢复的补丁201之间的相似度程度之比。在与劣化的补丁202对应的恢复的补丁201之间的相似度程度相对地小于劣化的补丁202的相似度程度的量值时，风险的程度的值增加。更具体地，在劣化的补丁202相似但是与劣化的补丁202对应的恢复的补丁201 不相似时。
例如，可靠程度计算单元554使用以下等式5、等式6和等式7 以计算风险程度K。
等式5是用于计算在选择的劣化的补丁202与K邻域劣化的补丁 202之间的距离的平均值DLR。K邻域劣化的补丁202是按照从选择的劣化的补丁202的距离的升序的K个劣化的补丁202(例如，7个劣化的补丁202)(在等式5中的集合R)。在等式5的右手侧的分母是选择的劣化的补丁202中的K邻域劣化的补丁202的数目(该数目是K)与劣化的补丁202的像素数目SL的乘积。在等式5的右手侧的分子是选择的劣化的补丁202和K邻域劣化的补丁202中的每个邻域劣化的补丁的L2范数的平方的总和。
等式6是用于计算在选择的恢复的补丁201与K邻域劣化的补丁 202之间的距离的平均值DHR的等式。K邻域恢复的补丁201是按照从选择的恢复的补丁201的距离的升序的K个恢复的补丁201(例如， 7个恢复的补丁201)(在等式6中的集合R)。在等式6的右手侧的分母是选择的劣化的补丁202的K邻域恢复的补丁201的数目(该数目是K)与恢复的补丁201的像素数目SH的乘积。在等式6的右手侧的分子是选择的恢复的补丁201和K邻域恢复的补丁201中的每个邻域恢复的补丁的L2范数的平方的总和。
等式7是用于计算风险的程度K的等式。α表示用于在DLR为小时调整K的范围的常数。
在第四可靠程度计算方案中，可靠程度计算单元554基于多个恢复的图像候选的统计偏差计算可靠的程度。
可靠程度计算单元554生成特征矢量，该特征矢量的元素是恢复的图像候选的梯度方向直方图的每个值。用于产生方向直方图的方案是一种熟知的技术并且在例如“D.G.Lowe,“Object recognition from local scale-invariant features”,Proc.ofIEEE International Conference on Computer Vision(ICCV),pp.1150-1157,1999”和“N.Dalai,B.Triggs, “Histograms of oriented gradients for human detection”,Proc.of IEEE Conference on Computer Vision and Pattern Recognition(CVPR),pp.886-893,2005”中被描述。
随后，可靠程度计算单元554将这些特征矢量映射到特征空间，并且计算L2范数作为距离空间。
随后，可靠程度计算单元554使用计算的L2范数作为采样以通过基于Parzen窗的Kernel密度估计来计算与特征矢量对应的密度估计值。随后，可靠程度计算单元554采用计算的密度估计值作为与特征矢量对应的恢复的图像候选的可靠的程度。
将注意到，可靠程度计算单元554可以对于由图像选择呈现单元 514聚类的恢复的图像候选的每个类基于统计偏差计算可靠的程度。在这一情况下，图像选择呈现单元514可以基于为每个类而计算的可靠的程度选择用于该类的恢复的图像候选。
上文已经说明了可靠程度计算的详细示例。
以上说明的本示例性实施例的优点不仅是第一示例性实施例的优点而且还能够进一步提高输出与在输入图像中包括的原始图像准确地对应的恢复的图像的概率。
这是因为可靠程度计算单元554被配置为计算恢复的图像候选的可靠的程度，并且图像选择呈现单元514被配置为基于可靠的程度输出恢复的图像。
<第五示例性实施例>
随后，将参照附图详细说明本发明的第五示例性实施例。在以下说明中，只要关于本示例性实施例的说明未变得不清楚，就不会重复地说明与以上说明相同的内容。
图24是图示了根据第五示例性实施例的图像处理设备1005的配置的框图。
如图24中所示，根据本示例性实施例的图像处理设备1005包括图像组生成单元505和图像选择呈现单元515。
＝＝＝图像组生成单元505＝＝＝
例如，图像组生成单元505使用如图1中所示的字典200，并且从单个输入图像生成包括多个不同内容的多个恢复的图像候选，这些多个不同内容可以是输入图像的原始内容。在这一情况下，如在第一示例性实施例中说明的那样，字典200存储多个补丁对203，在这些多个补丁对中，劣化的补丁202和恢复的补丁201相互关联，该劣化的补丁是通过使预定图像劣化而获得的劣化的图像的补丁，该恢复的补丁201是预定图像的补丁。在这一情况下，预定图像例如是如图3 中所示的学习图像10。劣化的图像是如图3中所示的劣化的图像20。
＝＝＝图像选择呈现单元515＝＝＝
图像选择呈现单元515对由图像组生成单元505生成的多个恢复的图像候选聚类。随后，图像选择呈现单元515基于聚类的结果选择恢复的图像候选。随后，图像选择呈现单元515输出选择的恢复的图像候选。
图像选择呈现单元515可以选择与预先确定的选择条件相符的恢复的图像候选。例如，可以经由未示出的接口从外部给定选择条件。操作者可以用未示出的输入装置给定选择条件。例如，图像选择呈现单元515选择和输出多个恢复的图像候选。图像选择呈现单元515可以选择和输出单个恢复的图像候选。
如以上说明的那样，图像处理设备1005输出与单个输入图像对应的多个恢复的图像。
随后，将说明图像处理设备1005的硬件单元和构成单元。
图25是图示了实现根据本示例性实施例的图像处理设备1005的计算机设备的硬件配置的附图。如图25中所示，图像处理设备1005 包括CPU(中央处理单元)591、存储单元592、存储设备593、输入单元594、输出单元595和通信单元596。图像处理设备1005还包括记录介质597。
CPU 591对操作系统(未示出)操作以控制图像处理设备1005 的整个操作。例如，CPU 591从向存储设备593加载的非易失性记录介质591读取程序和数据，并且向存储单元592写入已经读取的程序和数据。程序例如是使得计算机执行图15、图16、图19、图21和图23中所示的流程图的操作的程序。然后，CPU 591执行各种处理以根据读取的程序并且基于读取的数据作为如图24中所示图像组生成单元505和图像选择呈现单元515工作。
将注意到，CPU 591可以被配置为从连接到通信网络(未示出) 的外部计算机(未示出)向存储单元592下载程序和数据。
存储单元592存储程序和数据。存储单元592可以包括字典200。
存储设备593例如是光盘、软盘、磁光盘、外部硬盘和半导体存储器，并且包括非易失性存储介质。存储设备593可以按照计算机可读方式记录数据。存储设备593可以包括字典200。
输入单元594例如用鼠标、键盘、内部键按钮等而被实现并且用于输入操作。输入单元594不限于鼠标、键盘、内部键按钮等并且可以例如是触屏、相机等。输入单元594可以是用于输入图像、选择条件和合成条件的装置。
输出单元595例如用显示器而被实现并且用于确认输出。输出单元595可以是用于输出恢复的图像的装置。
通信单元596实现在网络与图像处理设备1005之间的接口。图像处理设备1005也可以例如经由通信单元596连接到字典200。通信单元596可以被配置为从未示出的外部系统接收输入图像、选择条件。通信单元596可以被配置为向未示出的外部系统传输恢复的图像。
上文已经说明了图像处理设备1005的硬件单元的每个构成单元。
如以上说明的那样，如图24中所示的功能单元的块由如图25中所示的硬件配置实现。然而，用于实现在图像处理设备1005中提供的每个单元的装置不限于以上装置。更具体地，图像处理设备1005 可以由物理地组合的单个设备实现或者可以由通过经由有线或者无线地连接两个或者更多个物理地分离的设备而产生的多个设备实现。
记录介质597可以是非易失性记录介质。可以向图像处理设备 1005提供记录有程序的记录介质597，并且图像处理设备1005可以读取和执行在记录介质597中存储的程序。更具体地，本发明的示例性实施例包括记录介质的一个示例性实施例，该记录介质以瞬态或者非瞬态方式存储由图像处理设备1005执行的程序。
上文说明的本示例性实施例的第一优点是提高输出与在输入图像中包括的原始图像准确地对应的恢复的图像的概率的能力。
这是因为图像组生成单元505从单个输入图像生成多个恢复的图像候选，并且图像选择呈现单元515对恢复的图像候选聚类，并且基于结果输出恢复的图像。
以上说明的本示例性实施例的第二优点在于图像处理设备1005 可以用简单硬件配置来实现。
这是因为本示例性实施例的图像处理设备由在CPU 591上操作的程序构成。
<每个示例性实施例的硬件配置>
在第一至第四示例性实施例中说明的图像处理设备1001、图像处理设备1002、图像处理设备1003和图像处理设备1004可以由包括 CPU和存储程序的记录介质597的计算机设备(如图25中所示的图像处理设备1005)实现。在这一情况下，由CPU执行的程序可以是用于执行在以上示例性实施例中的每个示例性实施例中说明的图像处理设备1001、图像处理设备1002、图像处理设备1003和图像处理设备1004的每个操作的程序。
以上说明的每个示例性实施例可以通过组合示例性实施例而产生。通过组合示例性实施例而产生的示例性实施例可以例如是包括第一至第五示例性实施例的所有功能构成单元和优点的图像处理设备、图像处理方法和图像处理程序的一个示例性实施例。
以上示例性实施例中的一些或者所有示例性实施例可以被描述为以下补充备注、但是不限于以下补充备注。
(补充备注1)
一种图像处理设备，包括：图像组生成单元，该图像组生成装置用于使用存储按照劣化的补丁和恢复的补丁相互关联的方式包括所述退化的补丁和所述恢复的补丁的多个补丁对的字典，以生成包括多个不同内容的多个恢复的图像候选，所述劣化的补丁是通过使预定图像劣化而获得的劣化的图像的补丁，所述恢复的补丁是所述预定图像的补丁，所述多个不同内容可以是来自所述单个输入图像的输入图像的原始内容；以及图像选择呈现单元，该图像选择呈现装置用于对所述多个恢复的图像候选聚类，并且基于所述聚类的结果选择和输出所述恢复的图像候选。
(补充备注2)
在补充备注1中描述的图像处理设备，还包括可靠程度计算单元，所述可靠程度计算装置用于计算由所述图像组生成装置生成的所述恢复的图像候选中的每个恢复的图像候选的可靠的程度，其中所述图像选择呈现单元基于所述可靠的程度选择所述恢复的图像候选。
(补充备注3)
在补充备注2中描述的图像处理设备，其特征在于所述可靠程度计算装置从所述恢复的图像生成降低质量的图像，并且基于所述降低质量的图像与所述输入图像之间的差异计算所述可靠的程度。
(补充备注4)
在补充备注2或者3中描述的图像处理设备，其特征在于所述可靠程度计算装置在所述恢复的图像被生成的情况下，基于彼此相邻的恢复的补丁之间的差异计算所述可靠的程度。
(补充备注5)
根据补充备注2至4中的任一补充备注所描述的图像处理设备，其特征在于所述可靠程度计算装置基于风险的程度计算所述可靠的程度，所述风险的程度是在所述劣化的补丁之间的相似程度和在与所述劣化的补丁对应的所述恢复的补丁之间的相似程度之比。
(补充备注6)
根据补充备注2至5中的任一补充备注所描述的图像处理设备，其特征在于所述可靠程度计算装置基于所述恢复的图像候选的统计偏差计算所述可靠的程度。
(补充备注7)
根据补充备注2至6中的任一补充备注所描述的图像处理设备，其特征在于所述可靠程度计算装置针对聚类的所述恢复的图像候选的每个类计算所述可靠的程度，并且所述图像选择呈现装置基于针对所述类中的每个类而计算的所述可靠的程度选择和输出用于所述类中的每个类的所述恢复的图像候选。
(补充备注8)
根据补充备注2至7中的任一补充备注所描述的图像处理设备，其特征在于所述图像选择呈现装置切除特定部分恢复的图像候选，对所述特定部分恢复的图像候选聚类，并且基于所述聚类的结果选择和输出所述特定部分恢复的图像候选，所述特定部分恢复的图像候选是所述恢复的图像候选中的每个恢复的图像候选的特定部分。
(补充备注9)
在补充备注8中的图像处理设备，其特征在于所述可靠程度计算装置计算所述特定部分恢复的图像候选的所述可靠的程度。
(补充备注10)
根据补充备注2至9中的任一补充备注所描述的图像处理设备，其特征在于所述图像选择呈现装置将所述恢复的图像候选中的每个恢复的图像候选划分成多个划分的恢复的图像候选，对由与相同位置对应的所述划分的恢复的图像候选组成的组中的每个组聚类，基于所述聚类的结果选择用于所述组中的每个组的所述划分的恢复的图像候选，并且通过合成选择的所述划分的恢复的图像候选来生成和输出恢复的图像。
(补充备注11)
在补充备注10中的图像处理设备，其特征在于所述可靠程度计算装置计算所述划分的恢复的图像候选的所述可靠的程度。
(补充备注12)
根据补充备注1至11中的任一补充备注所描述的图像处理设备，其特征在于所述图像组生成装置从所述输入图像生成分别与超参数不同的所述概率分布函数的最大值对应的所述恢复的图像候选。
(补充备注13)
根据补充备注1至12中的任一补充备注所描述的图像处理设备，其特征在于所述图像组生成装置从所述输入图像生成分别与通过对所述输入图像、与所述输入图像对应的恢复的图像候选和补丁对的关系建模而产生的概率分布函数的多个局部最大值对应的所述恢复的图像候选。
(补充备注14)
根据补充备注1至13中的任一补充备注所描述的图像处理设备，其特征在于所述图像组生成单元从所述输入图像生成分别与超参数不同的所述概率分布函数的局部最大值对应的所述恢复的图像候选。
(补充备注15)
根据补充备注1至10中的任一补充备注所描述的图像处理设备，其特征在于所述图像组生成装置针对从所述输入图像切除的每个输入补丁，选择与其相对于所述输入补丁的相似程度等于或者大于阈值的多个劣化的补丁对应的多个恢复的补丁，并且通过组合分别与所述输入补丁对应的选择的所述恢复的补丁来生成所述恢复的图像候选。
(补充备注16)
根据补充备注1至15中的任一补充备注所描述的图像处理设备，还包括：字典装置，所述字典装置用于存储所述补丁对，以及学习单元，所述学习装置用于生成所述补丁对，并且向所述字典装置输出所述补丁对。
(补充备注17)
一种由计算机执行的图像处理方法，包括：使用存储按照劣化的补丁和恢复的补丁相互关联的方式包括所述退化的补丁和所述恢复的补丁的多个补丁对的字典，以生成包括多个不同内容的多个恢复的图像候选，所述劣化的补丁是通过使预定图像劣化而获得的劣化的图像的补丁，所述恢复的补丁是所述预定图像的补丁，所述多个不同内容可以是来自所述单个输入图像的输入图像的原始内容；以及对所述恢复的图像候选聚类，并且基于所述聚类的结果选择和输出所述恢复的图像候选。
(补充备注18)
在补充备注17中描述的图像处理方法，其特征在于使得所述计算机计算生成的所述恢复的图像候选中的每个恢复的图像候选的可靠的程度，以及基于所述可靠的程度选择所述恢复的图像候选。
(补充备注19)
在补充备注18中描述的图像处理方法，其特征在于使得所述计算机从所述恢复的图像生成降低质量的图像，并且基于在所述降低质量的图像与所述输入图像之间的差异计算所述可靠的程度。
(补充备注20)
在补充备注18或者19中描述的图像处理方法，其特征在于使得所述计算机在所述恢复的图像被生成的情况下，基于彼此相邻的恢复的补丁之间的差异计算所述可靠的程度。
(补充备注21)
在补充备注18至20中的任一补充备注中描述的图像处理方法，其特征在于使得所述计算机基于风险的程度计算所述可靠的程度，所述风险的程度是在所述劣化的补丁之间的相似程度和在与所述劣化的补丁对应的所述恢复的补丁之间的相似程度之比。
(补充备注22)
在补充备注18至21中的任一补充备注中描述的图像处理方法，其特征在于使得所述计算机基于所述恢复的图像候选的统计偏差计算所述可靠的程度。
(补充备注23)
在补充备注18至22中的任一补充备注中描述的图像处理方法，其特征在于使得所述计算机针对聚类的所述恢复的图像候选的每个类计算所述可靠的程度，并且基于针对所述类中的每个类而计算的所述可靠的程度选择和输出用于所述类中的每个类的所述恢复的图像候选。
(补充备注24)
在补充备注17至23中的任一补充备注中描述的图像处理方法，其特征在于使得所述计算机切除特定部分恢复的图像候选，对所述特定部分恢复的图像候选聚类，并且基于所述聚类的结果选择和输出所述特定部分恢复的图像候选，所述特定部分恢复的图像候选是所述恢复的图像候选中的每个恢复的图像候选的特定部分。
(补充备注25)
在补充备注24中的图像处理方法，其特征在于使得所述计算机计算所述特定部分恢复的图像候选的所述可靠的程度。
(补充备注26)
在补充备注17至25中的任一补充备注中描述的图像处理方法，其特征在于使得所述计算机将所述恢复的图像候选中的每个恢复的图像候选划分成多个划分的恢复的图像候选，对由与相同位置对应的所述划分的恢复的图像候选组成的组中的每个组聚类，基于所述聚类的结果选择用于所述组中的每个组的所述划分的恢复的图像候选，并且通过合成选择的所述划分的恢复的图像候选来生成和输出恢复的图像。
(补充备注27)
在补充备注26中的图像处理方法，其特征在于使得所述计算机计算所述划分的恢复的图像候选的所述可靠的程度。
(补充备注28)
在补充备注17至27中的任一补充备注中描述的图像处理方法，其特征在于使得所述计算机从所述输入图像生成分别与超参数不同的所述概率分布函数的最大值对应的所述恢复的图像候选。
(补充备注29)
在补充备注17至28中的任一补充备注中描述的图像处理方法，其特征在于使得所述计算机从所述输入图像生成分别与通过对所述输入图像、与所述输入图像对应的恢复的图像候选和补丁对的关系建模而产生的概率分布函数的多个局部最大值对应的所述恢复的图像候选。
(补充备注30)
在补充备注17至29中的任一补充备注中描述的图像处理方法，其特征在于使得所述计算机从所述输入图像生成分别与超参数不同的所述概率分布函数的局部最大值对应的所述恢复的图像候选。
(补充备注31)
在补充备注17至30中的任一补充备注中描述的图像处理方法，其特征在于使得所述计算机针对从所述输入图像切除的每个输入补丁，选择与其相对于所述输入补丁的相似程度等于或者大于阈值的多个劣化的补丁对应的多个恢复的补丁，并且通过组合分别与所述输入补丁对应的选择的所述恢复的补丁来生成所述恢复的图像候选。
(补充备注32)
一种图像处理程序，使得计算机执行：使用存储按照劣化的补丁和恢复的补丁相互关联的方式包括所述退化的补丁和所述恢复的补丁的多个补丁对的字典，以生成包括多个不同内容的多个恢复的图像候选的处理，所述劣化的补丁是通过使预定图像劣化而获得的劣化的图像的补丁，所述恢复的补丁是所述预定图像的补丁，所述多个不同内容可以是来自所述单个输入图像的输入图像的原始内容，以及对所述恢复的图像候选聚类、并且基于所述聚类的结果选择和输出所述恢复的图像候选的处理。
(补充备注33)
在补充备注32中描述的图像处理程序，其特征在于使得所述计算机执行计算生成的所述恢复的图像候选中的每个恢复的图像候选的可靠的程度的处理，以及基于所述可靠的程度选择所述恢复的图像候选的处理。
(补充备注34)
在补充备注33中描述的图像处理程序，其特征在于使得所述计算机执行从所述恢复的图像生成降低质量的图像、并且基于所述降低质量的图像与所述输入图像之间的差异计算所述可靠的程度。的处理。
(补充备注35)
在补充备注33或者34中描述的图像处理程序，其特征在于使得所述计算机执行在所述恢复的图像被生成的情况下，基于彼此相邻的恢复的补丁之间的差异计算所述可靠的程度的处理。
(补充备注36)
在补充备注33至35中的任一补充备注中描述的图像处理程序，其特征在于使得所述计算机执行基于风险的程度计算所述可靠的程度的处理，所述风险的程度是在所述劣化的补丁之间的相似程度和在与所述劣化的补丁对应的所述恢复的补丁之间的相似程度之比。
(补充备注37)
在补充备注33至36中的任一补充备注中描述的图像处理程序，其特征在于使得所述计算机执行基于所述恢复的图像候选的统计偏差计算所述可靠的程度的处理。
(补充备注38)
在补充备注33至37中的任一补充备注中描述的图像处理程序，其特征在于使得所述计算机执行针对聚类的所述恢复的图像候选的每个类计算所述可靠的程度的处理，以及基于针对所述类中的每个类而计算的所述可靠的程度选择和输出用于所述类中的每个类的所述恢复的图像候选的处理。
(补充备注39)
在补充备注33至38中的任一补充备注中描述的图像处理程序，其特征在于使得所述计算机执行切除特定部分恢复的图像候选的处理，对所述特定部分恢复的图像候选聚类的处理，以及基于所述聚类的结果选择和输出所述特定部分恢复的图像候选的处理，所述特定部分恢复的图像候选是所述恢复的图像候选中的每个恢复的图像候选的特定部分。
(补充备注40)
在补充备注39中的图像处理程序，其特征在于使得所述计算机执行计算所述特定部分恢复的图像候选的所述可靠的程度的处理。
(补充备注41)
在补充备注32至40中的任一补充备注中描述的图像处理程序，其特征在于使得所述计算机执行将所述恢复的图像候选中的每个恢复的图像候选划分成多个划分的恢复的图像候选的处理，以及对由与相同位置对应的所述划分的恢复的图像候选组成的组中的每个组聚类、基于所述聚类的结果选择用于所述组中的每个组的所述划分的恢复的图像候选以及通过合成选择的所述划分的恢复的图像候选来生成和输出恢复的图像的处理。
(补充备注42)
在补充备注41中的图像处理程序，其特征在于使得所述计算机执行计算所述划分的恢复的图像候选的所述可靠的程度的处理。
(补充备注43)
在补充备注32至42中的任一补充备注中描述的图像处理程序，其特征在于使得所述计算机执行从所述输入图像生成分别与超参数不同的所述概率分布函数的最大值对应的所述恢复的图像候选的处理。
(补充备注44)
在补充备注32至43中的任一补充备注中描述的图像处理程序，其特征在于使得所述计算机执行从所述输入图像生成分别与通过对所述输入图像、与所述输入图像对应的恢复的图像候选和补丁对的关系建模而产生的概率分布函数的多个局部最大值对应的所述恢复的图像候选的处理。
(补充备注45)
在补充备注32至44中的任一补充备注中描述的图像处理程序，其特征在于使得所述计算机执行从所述输入图像生成分别与超参数不同的所述概率分布函数的局部最大值对应的所述恢复的图像候选的处理。
(补充备注46)
在补充备注32至45中的任一补充备注中描述的图像处理程序，其特征在于使得所述计算机执行针对从所述输入图像切除的每个输入补丁，选择与其相对于所述输入补丁的相似程度等于或者大于阈值的多个劣化的补丁对应的多个恢复的补丁的处理，以及通过组合分别与所述输入补丁对应的选择的所述恢复的补丁来生成所述恢复的图像候选的处理。
(补充备注47)
一种记录有在补充备注32至46中的任一补充备注中描述的图像处理程序的非瞬态计算机可读记录介质。
(补充备注48)
一种图像处理设备，包括：图像组生成单元，所述图像组生成单元用于生成与输入图像相似的、包括不同内容的多个恢复的图像候选，以及图像选择呈现单元，所述图像选择呈现单元用于对所述恢复的图像候选聚类并且从至少两个或者更多个类选择和输出恢复的图像候选。
(补充备注49)
一种由计算机执行的图像处理方法，包括：生成与输入图像相似的、包括不同内容的多个恢复的图像候选，以及对所述恢复的图像候选聚类，并且从至少两个或者更多个类选择和输出恢复的图像候选。
(补充备注50)
一种图像处理程序，使得计算机执行：生成与输入图像相似的、包括不同内容的多个恢复的图像候选的处理，以及对所述恢复的图像候选聚类、并且从至少两个或者更多个类选择和输出恢复的图像候选的处理。
尽管已经参照示例性实施例描述了本发明，但是本发明不限于以上提到的示例性实施例。可以在本申请的本发明的范围中向本申请的本发明的组成和细节添加本领域技术人员可以理解的各种改变。
本申请基于通过引用而将其公开内容完全结合于此、提交于2012 年12月6日的第2012-267402号日本专利申请并且要求来自该日本专利申请的优先权。
标号列表
10 学习图像
20 劣化的图像
30 输入图像
31 输入补丁
40 恢复的图像
50 补丁
51 像素组
52 像素
53 补丁标识符
60 超参数集合
101 学习设备
110 接收单元
120 劣化的图像生成单元
130 补丁对生成单元
140 注册单元
200 字典
201 恢复的补丁
202 劣化的补丁
203 补丁对
301 恢复设备
310 接收单元
501 图像组生成单元
502 图像组生成单元
504 图像组生成单元
505 图像组生成单元
511 图像选择呈现单元
513 图像选择呈现单元
514 图像选择呈现单元
515 图像选择呈现单元
521 补丁生成单元
531 超参数集合生成单元
532 超参数集合生成单元
541 恢复的图像候选生成单元
542 恢复的图像候选生成单元
554 可靠程度计算单元
591 CPU
592 存储单元
593 存储设备
594 输入单元
595 输出单元
596 通信单元
597 记录介质
1000 图像处理系统
1001 图像处理设备
1002 图像处理设备
1003 图像处理设备
1004 图像处理设备
1005 图像处理设备

Claims (19)

1.一种图像处理设备，包括：
图像组生成单元，所述图像组生成单元使用存储按照劣化的补丁和恢复的补丁相互关联的方式包括所述劣化的补丁和所述恢复的补丁的多个补丁对的字典，以生成包括多个不同内容的多个恢复的图像候选，所述劣化的补丁是通过使预定图像劣化而获得的劣化的图像的补丁，所述恢复的补丁是所述预定图像的补丁，所述多个不同内容可以是来自单个输入图像的输入图像的原始内容；
可靠程度计算单元，所述可靠程度计算单元从所述恢复的图像生成降低质量的图像，并且基于所述降低质量的图像与所述输入图像之间的差异计算所述恢复的图像候选中的每个恢复的图像候选的可靠的程度；以及
图像选择呈现单元，所述图像选择呈现单元对所述多个恢复的图像候选聚类，并且基于聚类的结果和所述可靠的程度选择和输出所述恢复的图像候选。
2.根据权利要求1所述的图像处理设备，其中所述可靠程度计算单元在所述恢复的图像被生成的情况下，基于彼此相邻的恢复的补丁之间的差异计算所述可靠的程度。
3.根据权利要求1所述的图像处理设备，其中所述可靠程度计算单元基于风险的程度计算所述可靠的程度，所述风险的程度是在所述劣化的补丁之间的相似程度和在与所述劣化的补丁对应的所述恢复的补丁之间的相似程度之比。
4.根据权利要求1所述的图像处理设备，其中所述可靠程度计算单元基于所述恢复的图像候选的统计偏差计算所述可靠的程度。
5.根据权利要求1所述的图像处理设备，其中所述可靠程度计算单元针对聚类的所述恢复的图像候选的每个类计算所述可靠的程度，并且
所述图像选择呈现单元基于针对所述类中的每个类而计算的所述可靠的程度，选择和输出用于所述类中的每个类的所述恢复的图像候选。
6.根据权利要求1所述的图像处理设备，其中所述图像选择呈现单元切除特定部分恢复的图像候选，对所述特定部分恢复的图像候选聚类，并且基于所述聚类的结果选择和输出所述特定部分恢复的图像候选，所述特定部分恢复的图像候选是所述恢复的图像候选中的每个恢复的图像候选的特定部分。
7.根据权利要求6所述的图像处理设备，其中所述可靠程度计算单元计算所述特定部分恢复的图像候选的所述可靠的程度。
8.根据权利要求1所述的图像处理设备，其中所述图像选择呈现单元将所述恢复的图像候选中的每个恢复的图像候选划分成多个划分的恢复的图像候选，对由与相同位置对应的所述划分的恢复的图像候选组成的组中的每个组聚类，基于所述聚类的结果选择用于所述组中的每个组的所述划分的恢复的图像候选，并且通过合成选择的所述划分的恢复的图像候选来生成和输出恢复的图像。
9.根据权利要求8所述的图像处理设备，其中所述可靠程度计算单元计算所述划分的恢复的图像候选的所述可靠的程度。
10.根据权利要求1所述的图像处理设备，其中所述图像组生成单元从所述输入图像生成分别与超参数不同的概率分布函数的最大值对应的所述恢复的图像候选。
11.根据权利要求1所述的图像处理设备，其中所述图像组生成单元从所述输入图像生成分别与通过对所述输入图像、与所述输入图像对应的恢复的图像候选和补丁对的关系建模而产生的概率分布函数的多个局部最大值对应的所述恢复的图像候选。
12.根据权利要求1所述的图像处理设备，其中所述图像组生成单元从所述输入图像生成分别与超参数不同的概率分布函数的局部最大值对应的所述恢复的图像候选。
13.根据权利要求1所述的图像处理设备，其中所述图像组生成单元针对从所述输入图像切除的每个输入补丁，选择与其相对于所述输入补丁的相似程度等于或者大于阈值的多个劣化的补丁对应的多个恢复的补丁，并且通过组合分别与所述输入补丁对应的选择的所述恢复的补丁来生成所述恢复的图像候选。
14.根据权利要求1所述的图像处理设备，还包括：
字典单元，所述字典单元存储所述补丁对；以及
学习单元，所述学习单元生成所述补丁对，并且向所述字典单元输出所述补丁对。
15.一种由计算机执行的图像处理方法，包括：
使用存储按照劣化的补丁和恢复的补丁相互关联的方式包括所述劣化的补丁和所述恢复的补丁的多个补丁对的字典，以生成包括多个不同内容的多个恢复的图像候选，所述劣化的补丁是通过使预定图像劣化而获得的劣化的图像的补丁，所述恢复的补丁是所述预定图像的补丁，所述多个不同内容可以是来自单个输入图像的输入图像的原始内容；
从所述恢复的图像生成降低质量的图像；
基于所述降低质量的图像与所述输入图像之间的差异计算所述恢复的图像候选中的每个恢复的图像候选的可靠的程度；以及
对所述恢复的图像候选聚类，并且基于所述聚类的结果和所述可靠的程度选择和输出所述恢复的图像候选。
16.一种记录有图像处理程序的非瞬态计算机可读记录介质，所述图像处理程序使得计算机执行：
使用存储按照劣化的补丁和恢复的补丁相互关联的方式包括所述劣化的补丁和所述恢复的补丁的多个补丁对的字典，以生成包括多个不同内容的多个恢复的图像候选的处理，所述劣化的补丁是通过使预定图像劣化而获得的劣化的图像的补丁，所述恢复的补丁是所述预定图像的补丁，所述多个不同内容可以是来自单个输入图像的输入图像的原始内容；
从所述恢复的图像生成降低质量的图像的处理；
基于所述降低质量的图像与所述输入图像之间的差异计算所述恢复的图像候选中的每个恢复的图像候选的可靠的程度的处理；以及
对所述恢复的图像候选聚类、并且基于所述聚类的结果和所述可靠的程度选择和输出所述恢复的图像候选的处理。
17.一种图像处理设备，包括：
图像组生成单元，所述图像组生成单元生成与输入图像相似的、包括不同内容的多个恢复的图像候选；
可靠程度计算单元，所述可靠程度计算单元从所述恢复的图像生成降低质量的图像，并且基于所述降低质量的图像与所述输入图像之间的差异计算所述恢复的图像候选中的每个恢复的图像候选的可靠的程度；以及
图像选择呈现单元，所述图像选择呈现单元对所述恢复的图像候选聚类，并且基于所述可靠的程度从至少两个或者更多个类选择和输出恢复的图像候选。
18.一种由计算机执行的图像处理方法，包括：
生成与输入图像相似的、包括不同内容的多个恢复的图像候选；
从所述恢复的图像生成降低质量的图像；
基于所述降低质量的图像与所述输入图像之间的差异计算所述恢复的图像候选中的每个恢复的图像候选的可靠的程度；以及
对所述恢复的图像候选聚类，并且基于所述可靠的程度从至少两个或者更多个类选择和输出恢复的图像候选。
19.一种记录有图像处理程序的非瞬态计算机可读记录介质，所述图像处理程序使得计算机执行：
生成与输入图像相似的、包括不同内容的多个恢复的图像候选的处理；
从所述恢复的图像生成降低质量的图像的处理；
基于所述降低质量的图像与所述输入图像之间的差异计算所述恢复的图像候选中的每个恢复的图像候选的可靠的程度的处理；以及
对所述恢复的图像候选聚类、并且基于所述可靠的程度从至少两个或者更多个类选择和输出恢复的图像候选的处理。
CN201380070627.8A 2012-12-06 2013-12-05 图像处理设备和图像处理方法 Active CN104969257B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012267402 2012-12-06
JP2012-267402 2012-12-06
PCT/JP2013/007144 WO2014087652A1 (ja) 2012-12-06 2013-12-05 画像処理装置及び画像処理方法

Publications (2)

Publication Number Publication Date
CN104969257A CN104969257A (zh) 2015-10-07
CN104969257B true CN104969257B (zh) 2018-08-28

Family

ID=50883092

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380070627.8A Active CN104969257B (zh) 2012-12-06 2013-12-05 图像处理设备和图像处理方法

Country Status (6)

Country Link
US (1) US9679370B2 (zh)
EP (1) EP2930684B1 (zh)
JP (1) JP6287855B2 (zh)
CN (1) CN104969257B (zh)
HK (1) HK1210859A1 (zh)
WO (1) WO2014087652A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6443540B2 (ja) * 2014-09-03 2018-12-26 日本電気株式会社 画像処理装置、画像処理方法および記憶媒体
CN104199586B (zh) 2014-09-16 2018-04-13 重庆京东方光电科技有限公司 一种阵列基板、内嵌式触摸屏和触控显示装置
JP2016071597A (ja) * 2014-09-30 2016-05-09 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP2016127475A (ja) * 2015-01-06 2016-07-11 株式会社リコー 画像処理システム、画像処理方法、及びプログラム
US10275719B2 (en) * 2015-01-29 2019-04-30 Qualcomm Incorporated Hyper-parameter selection for deep convolutional networks
CN105205782B (zh) * 2015-09-06 2019-08-16 京东方科技集团股份有限公司 超解像方法和系统、服务器、用户设备及其方法
EP3156943A1 (en) * 2015-10-16 2017-04-19 Thomson Licensing Method and device for clustering patches of a degraded version of an image
JP2018092610A (ja) * 2016-11-28 2018-06-14 キヤノン株式会社 画像認識装置、画像認識方法及びプログラム
EP3637363B1 (en) * 2017-06-05 2023-05-24 Rakuten Group, Inc. Image processing device, image processing method and image processing program
WO2019111840A1 (ja) * 2017-12-06 2019-06-13 日本電気株式会社 画像認識モデル生成装置、画像認識モデル生成方法、画像認識モデル生成プログラム記憶媒体、画像生成装置、画像生成方法および画像生成プログラム記憶媒体
CN108596863A (zh) * 2018-06-11 2018-09-28 深圳市唯特视科技有限公司 一种基于最佳线性预测的泊松图像去噪方法
JP7291464B2 (ja) * 2018-07-31 2023-06-15 グローリー株式会社 画像処理装置、画像処理システム、画像処理方法、および画像処理プログラム
JP7309520B2 (ja) * 2018-09-26 2023-07-18 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置、プログラム、記憶媒体、画像処理システム、および、学習済みモデルの製造方法
US10896483B2 (en) * 2018-12-14 2021-01-19 Adobe Inc. Dynamic content generation system
KR20200080926A (ko) 2018-12-27 2020-07-07 삼성전자주식회사 영상 처리 장치 및 그 영상 처리 방법
CN109840890B (zh) * 2019-01-31 2023-06-09 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN110569289B (zh) * 2019-09-11 2020-06-02 星环信息科技（上海）有限公司 基于大数据的列数据处理方法、设备及介质
JP2021068062A (ja) * 2019-10-18 2021-04-30 富士ゼロックス株式会社 検索条件特定システム、検索システム及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101256679A (zh) * 2007-02-22 2008-09-03 索尼株式会社 信息处理装置,信息显示装置,及其控制方法
CN101919230A (zh) * 2007-12-25 2010-12-15 梅迪奇视觉-脑科技有限公司 图像噪声的降低
CN102405638A (zh) * 2009-04-20 2012-04-04 富士胶片株式会社 图像处理装置、图像处理方法以及计算机可读介质
CN102629373A (zh) * 2012-02-27 2012-08-08 天津大学 基于稀疏表示理论的超分辨率图像获取方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009014156A1 (en) * 2007-07-20 2009-01-29 Fujifilm Corporation Image processing apparatus, image processing method and program
JP2009134350A (ja) * 2007-11-28 2009-06-18 Toshiba Corp 画像の高品質化方法及び装置
JP5161845B2 (ja) * 2009-07-31 2013-03-13 富士フイルム株式会社 画像処理装置及び方法、データ処理装置及び方法、並びにプログラム
JP5198500B2 (ja) * 2010-03-18 2013-05-15 日本放送協会 信号処理装置及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101256679A (zh) * 2007-02-22 2008-09-03 索尼株式会社 信息处理装置,信息显示装置,及其控制方法
CN101919230A (zh) * 2007-12-25 2010-12-15 梅迪奇视觉-脑科技有限公司 图像噪声的降低
CN102405638A (zh) * 2009-04-20 2012-04-04 富士胶片株式会社 图像处理装置、图像处理方法以及计算机可读介质
CN102629373A (zh) * 2012-02-27 2012-08-08 天津大学 基于稀疏表示理论的超分辨率图像获取方法

Also Published As

Publication number Publication date
JPWO2014087652A1 (ja) 2017-01-05
JP6287855B2 (ja) 2018-03-07
CN104969257A (zh) 2015-10-07
HK1210859A1 (zh) 2016-05-06
EP2930684A1 (en) 2015-10-14
US9679370B2 (en) 2017-06-13
US20150302566A1 (en) 2015-10-22
WO2014087652A1 (ja) 2014-06-12
EP2930684B1 (en) 2021-03-03
EP2930684A4 (en) 2016-10-19

Similar Documents

Publication Publication Date Title
CN104969257B (zh) 图像处理设备和图像处理方法
Wang et al. Kvt: k-nn attention for boosting vision transformers
Qi Loss-sensitive generative adversarial networks on lipschitz densities
Lei et al. Coupled adversarial training for remote sensing image super-resolution
Huang et al. Wavelet domain generative adversarial network for multi-scale face hallucination
Simonyan et al. Very deep convolutional networks for large-scale image recognition
Li et al. Structured sparse subspace clustering: A unified optimization framework
Calderero et al. Region merging techniques using information theory statistical measures
CN109344618B (zh) 一种基于深度森林的恶意代码分类方法
Hua et al. A normalized convolutional neural network for guided sparse depth upsampling.
Wang et al. Image-to-class distance metric learning for image classification
CN105453132B (zh) 实施图像处理的信息处理设备和图像处理方法
CN106228121B (zh) 手势特征识别方法和装置
Zhong et al. A nonconvex relaxation approach for rank minimization problems
CN111783506A (zh) 目标特征的确定方法、装置和计算机可读存储介质
Chen et al. Learnable descent algorithm for nonsmooth nonconvex image reconstruction
Liu et al. Multi-scale residual hierarchical dense networks for single image super-resolution
Pichel et al. A new approach for sparse matrix classification based on deep learning techniques
Vasu et al. Iterative and adaptive sampling with spatial attention for black-box model explanations
CN111860056A (zh) 基于眨眼的活体检测方法、装置、可读存储介质及设备
Bhattacharyya et al. Long-term image boundary prediction
Luo et al. Piecewise linear regression-based single image super-resolution via Hadamard transform
Tan et al. Local context attention for salient object segmentation
Schaffner et al. Towards edge-aware spatio-temporal filtering in real-time
WO2021041342A1 (en) Semantic image retrieval for whole slide images

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant