CN110383332A - 图像处理装置、图像处理方法及图像处理程序 - Google Patents

图像处理装置、图像处理方法及图像处理程序 Download PDF

Info

Publication number
CN110383332A
CN110383332A CN201780087620.5A CN201780087620A CN110383332A CN 110383332 A CN110383332 A CN 110383332A CN 201780087620 A CN201780087620 A CN 201780087620A CN 110383332 A CN110383332 A CN 110383332A
Authority
CN
China
Prior art keywords
input picture
fuzziness
image processing
movement images
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780087620.5A
Other languages
English (en)
Other versions
CN110383332B (zh
Inventor
蔡永男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kisen Corp
Original Assignee
Kisen Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kisen Corp filed Critical Kisen Corp
Publication of CN110383332A publication Critical patent/CN110383332A/zh
Application granted granted Critical
Publication of CN110383332B publication Critical patent/CN110383332B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一实施方式的图像处理装置具备取得部、产生部、算出部、及推断部。取得部取得输入图像。产生部通过将作为输入图像的至少一部分的对象区域以多个压缩度分别进行压缩，且将经压缩的该对象区域放大至原尺寸而产生多个比较图像。算出部对多个比较图像分别算出该比较图像相对于输入图像的劣化度。推断部根据所算出的多个劣化度而推断输入图像的模糊度。

Description

图像处理装置、图像处理方法及图像处理程序
技术领域
本发明的一观点涉及一种图像处理装置、图像处理方法及图像处理程序。
背景技术
为了处理包含模糊的图像需要预先推断其模糊度。专利文献1所记载的图像处理装置是通过将输入图像群中的一个输入图像作为基准图像且将除基准图像外的输入图像作为参考图像进行模板匹配，而推断参考图像的模糊程度。
背景技术文献：
专利文献：
专利文献1：日本专利特开2014-164574号公报
发明内容
[发明要解决的问题]
然而，在要处理的输入图像仅存在1张的情况下，无法通过模板匹配而推断模糊度。因此，期望在输入图像仅存在1张的情况下也能推断该输入图像的模糊度的结构。
[解决问题的技术手段]
本发明的一观点的图像处理装置具备：取得部，取得输入图像；产生部，通过将作为输入图像的至少一部分的对象区域以多个压缩度分别进行压缩，且将经压缩的该对象区域放大至原尺寸而产生多个比较图像；算出部，对多个比较图像，分别算出该比较图像相对于输入图像的劣化度；以及推断部，根据所算出的多个劣化度而推断输入图像的模糊度。
本发明的一观点的图像处理方法是由具备处理器的图像处理装置执行，包含：取得步骤，取得输入图像；产生步骤，通过将作为输入图像的至少一部分的对象区域以多个压缩度分别进行压缩，且将经压缩的该对象区域放大至原尺寸而产生多个比较图像；算出步骤，对多个比较图像分别算出该比较图像相对于输入图像的劣化度；以及推断步骤，根据所算出的多个劣化度而推断输入图像的模糊度。
本发明的一观点的图像处理程序使电脑执行以下步骤：取得步骤，取得输入图像；产生步骤，通过将作为输入图像的至少一部分的对象区域以多个压缩度分别进行压缩，且将经压缩的该对象区域放大至原尺寸而产生多个比较图像；算出步骤，对多个比较图像分别算出该比较图像相对于输入图像的劣化度；以及推断步骤，根据所算出的多个劣化度而推断输入图像的模糊度。
在此种观点中，通过将输入图像以多个比率进行压缩及放大而获得多个比较图像。这些比较图像可说是刻意使输入图像的解析度降低后的图像。输入图像的模糊也可看作解析度的降低，因此通过将输入图像与这些比较图像加以比较而可推断输入图像的模糊度。用以推断输入图像的模糊度的比较图像是从该输入图像产生，因此即使仅存在1张输入图像的情况下也可推断该输入图像的模糊度。
[发明的效果]
根据本发明的一观点，在仅存在1张输入图像的情况下也可推断该输入图像的模糊度。
附图说明
图1是表示实施方式的模糊度的推断的概念的图。
图2是表示实施方式的图像处理装置的硬件构成的图。
图3是表示实施方式的图像处理装置的功能构成的图。
图4是表示实施方式的图像处理装置的处理的流程图。
图5是表示产生比较图像的处理的一例的图。
图6是表示产生比较图像的处理的另一例的图。
图7是用以对模糊度的推断的例进行说明的图。
图8是用以对模糊度的推断的例进行说明的图。
图9是用以对模糊度的推断的例进行说明的图。
图10是用以对模糊度的推断的例进行说明的图。
图11是用以对模糊度的推断的例进行说明的图。
图12是表示超解析的方法的例的图。
图13是表示实施方式的图像处理程序的构成的图。
具体实施方式
以下，一面参考附图一面详细地说明本发明的实施方式。此外，在附图的说明中对于同一或同等的要素标注同一符号，省略重复的说明。
[概要]
实施方式的图像处理装置10是客观地推断图像的模糊度的电脑或电脑系统。
所谓“图像”是以能由人的视觉捕捉的方式使对象物固定在某些介质上的像。图像通过对能由电脑处理的表示图像的数据(图像数据)进行处理而能够辨识。具体而言，图像是记录在存储器等存储装置中，且通过处理器的处理输出至监视器等输出装置而能够辨识。图像可为静态影像，也可为构成动态图象的各个帧。
所谓“模糊度”是表示图像以何种程度模糊的指标，换句话说，是表示解析度以何种程度降低的指标。所谓“模糊”是指原本应清晰地映现的被摄体的轮廓在图像中并未清晰地映现的现象。所谓“解析度”是表示图像中的像素密度的数值。本实施方式中，图像的轮廓越不清晰，模糊度越高。
图1是表示本实施方式的模糊度的推断的概念的图。该例中，图像处理装置10推断实际的模糊度为3的输入图像21的模糊度。首先，图像处理装置10是通过将所述输入图像21以多个比率分别进行压缩，且将经压缩的图像维持原样地放大至原尺寸而产生多个比较图像。图1的例中，图像处理装置10通过将输入图像21压缩至1/2而产生压缩图像22a(因此，压缩率为1/2。以下，也将此称为“1/2压缩”)，且将该压缩图像22a维持原样地放大至2倍而产生比较图像22b。另外，图像处理装置10通过将压缩率改变为1/3并且从输入图像21产生压缩图像23a，且将该压缩图像23a维持原样地放大至3倍而产生比较图像23b。进而，图像处理装置10通过将压缩率改变为1/4并且从输入图像21产生压缩图像24a，且将该压缩图像24a维持原样地放大至4倍而产生比较图像24b。图像处理装置10一面将压缩率进而改变为1/5、1/6…一面产生比较图像。
所谓“压缩”是容许图像的至少一部分信息(例如色信息)损失并且将图像尺寸缩小的处理。所谓将“压缩图像维持原样地放大”是指并未将因压缩而丢失的信息复元而使压缩图像的尺寸变大。因此，一般而言，比较图像的解析度比原图像的解析度低。
在应鲜明的图像模糊的情况下，该图像的解析度比当初降低。如果产生比较图像时的解析度的降低程度为原图像原本具有的解析度的降低程度以下，那么即使通过压缩及放大，解析度实质上也不会降低(严格而言，会因压缩而产生若干可忽略的解析度的降低)。即，该情况下可说比较图像的画质与原图像相同或大致相同。另一方面，如果压缩的程度大于原图像原本具有的模糊度(解析度的降低程度)，那么比较图像的解析度比原图像低。
图1的例中，输入图像21的模糊度设为相当于1/3压缩的3。即，假设如果将并不模糊的图像(鲜明的图像)压缩至1/3，那么可获得输入图像21。该情况下，经1/2压缩获得的比较图像22b的模糊度也为3。另外，经1/3压缩获得的比较图像23b的模糊度也为3。然而，1/4的压缩率较与输入图像21原本具有的模糊度对应的压缩率(1/3)高，因此经1/4压缩获得的比较图像24b的模糊度大于3。将压缩率更高地设为1/5、1/6…的情况下，比较图像的模糊度也大于3。因此，可推断输入图像21的模糊度为3、或为3至4之间。
这样，图像处理装置10通过对原图像以多个比率执行压缩及放大而产生多个比较图像，且判定这些比较图像的解析度的降低程度而推断原图像的模糊度。
本实施方式中，图像处理装置10还通过执行基于所推断的模糊度的超解析而提高该图像的解析度。所谓“超解析”是从解析度较低的图像产生高解析度的图像(即，提高图像的解析度)的技术。此外，执行超解析的结果，有可能解析度几乎不变或完全不变。
[装置的构成]
图2表示图像处理装置10的一般的硬件构成。图像处理装置10具备：执行操作系统或应用程序等的处理器101；由ROM(Read Only Memory，只读存储器)及RAM(Random AccessMemory，随机存取存储器)构成的主存储部102；由硬盘或闪速存储器等构成的辅助存储部103；由网卡或无线通信模块构成的通信控制部104；键盘及鼠标等输入装置105；以及监视器等输出装置106。
图像处理装置10的各功能要素是通过将特定的软件(例如，下述的图像处理程序P1)读入至处理器101或主存储部102上且执行该软件而实现。处理器101根据该软件，使通信控制部104、输入装置105、或输出装置106动作，进行主存储部102或辅助存储部103中的数据的读出及写入。处理中所需的数据或数据库是存储在主存储部102或辅助存储部103内。
图像处理装置10可由1台电脑构成，也可由多台电脑构成。在使用多台电脑的情况下，通过将这些电脑经由因特网或内联网等通信网络连接而在逻辑上构建一个图像处理装置10。
图3表示图像处理装置10的功能构成。本实施方式中，图像处理装置10具备作为功能的构成要素的取得部11、产生部12、算出部13、推断部14、及超解析部15。
取得部11是取得输入图像的功能要素。所谓输入图像是作为推断模糊度的对象而处理的图像。输入图像也可换句话称为原图像。本实施方式中，输入图像也可为超解析的对象。
产生部12是产生用于推断所取得的输入图像的模糊度的多个比较图像的功能要素。产生部12将输入图像的至少一部分设定作为对象区域，通过执行用以使该对象区域的解析度降低的处理而获得比较图像。比较图像可说是通过刻意使输入图像的画质劣化而获得的图像。但是，如参考图1所说明，也会有比较图像的解析度与输入图像相同或大致相同的情况。所谓“对象区域”是包含连续排列的像素的范围。对象区域可仅为输入图像的一部分，也可为输入图像的全体。产生部12将多个比较图像输出至算出部13。
算出部13是对由产生部12获得的多个比较图像分别算出该比较图像相对于输入图像的劣化度的功能要素。因此，算出部13针对一个输入图像获得多个劣化度。所谓“劣化度”是表示比较图像的解析度以何种程度低于输入图像的解析度的指标。算出部13将所算出的多个劣化度输出至推断部14。
推断部14是根据所算出的多个劣化度而推断输入图像的模糊度的功能要素。本实施方式中，推断部14将所述模糊度输出至超解析部15。
超解析部15是对所取得的输入图像通过机械学习(更具体而言，深层学习)执行超解析的功能要素。所谓“机械学习”是根据所提供的信息反复学习而自主发现规律或规则的方法。机械学习可说是欲通过使电脑具有学习能力来解决问题的探索。所谓“深层学习”是使用多层结构的神经网络(深层神经网络)的机械学习。所谓“神经网络”是模仿人类脑神经系统的结构的信息处理的模型(学习模型)。
[装置的动作]
接下来，一面参考图4～图12，一面说明图像处理装置10的动作，并且对本实施方式的图像处理方法进行说明。
图4是表示图像处理装置10的处理的流程图。首先，取得部11取得一个输入图像(步骤S11，取得步骤)。输入图像的取得方法并未限定。例如，取得部11也可对存储任意图像的图像数据库进行存取而将输入图像读出。此外，图像数据库可为与图像处理装置10不同的装置，也可为图像处理装置10的一部分。或者取得部11也可取得由图像处理装置10的用户输入或指定的输入图像。或者取得部11也可从其它电脑接收输入图像。
继而，产生部12从输入图像产生多个比较图像(步骤S12，产生步骤)。产生部12以如下方式产生一个比较图像。产生部12通过复制输入图像而获得用以产生比较图像的输入图像(以下，也将此简称为“输入图像”)。继而，产生部12将该输入图像的至少一部分设定为对象区域，通过使该对象区域的解析度降低而获得比较图像。产生部12通过将对象区域压缩，接着将该经压缩的对象区域维持原样地放大至原本尺寸而获得比较图像。
压缩处理中，产生部12通过一面使特定尺寸的操作器在对象区域内移动一面将该操作器内的色信息转换为一个代表值而将对象区域进行压缩。代表值的決定方法并未限定。例如，产生部12可将操作器内的色信息的平均值设定为代表色，也可将操作器内最多出现的色信息设定为代表色。在操作器内存在多个色信息的情况下，因该压缩而丢失1个以上的色信息，该丢失的色信息即使将经压缩的对象区域维持原样地放大至原尺寸也不会恢复。因此，通过将对象区域压缩及放大而该对象区域的解析度降低。
对象区域的压缩率由操作器的尺寸及移动幅度决定。例如，如果操作器的尺寸为2(像素)×2(像素)，且操作器的移动幅度为2(像素)，那么压缩率为1/2。如果操作器的尺寸为2×2，且操作器的移动幅度为1，那么压缩率为1/1.5。如果操作器的尺寸为3×3，且操作器的移动幅度为3，那么压缩率为1/3。
图5是表示产生比较图像处理的一例的图。该例中，产生部12通过对6(像素)×6(像素)的对象区域31执行1/2压缩而产生包含9(＝3×3)个代表值的压缩图像32a。然后，产生部12通过将该压缩图像32a放大2倍而还原成原尺寸，产生对象区域32b。对象区域32b是比较图像的至少一部分。通过该一连串的处理，将对象区域31的若干个色信息舍入，对象区域32b的解析度低于对象区域31。例如，在由操作器w包围的部分内的色信息“4”的像素因压缩及放大而丢失，在对象区域32b将该部分的色信息舍入为“1”。
图6是表示产生比较图像的处理的另一例的图。6(像素)×6(像素)的对象区域41在两例(a)、(b)中共通，该对象区域41与图5的对象区域32b相同。因此，该对象区域41相当于使所述对象区域31模糊所得者。
在图6的例(a)中，产生部12通过对对象区域41执行1/2压缩而产生3×3的压缩图像42a，将压缩图像42a放大2倍而还原成原尺寸，产生对象区域42b。对象区域42b为比较图像的至少一部分。该对象区域42b与对象区域41相同，其原因在于，对象区域41原本具有相当于1/2压缩的模糊。
另一方面，在图6的例(b)中，产生部12通过对对象区域41执行1/3压缩而产生2×2的压缩图像43a，将该压缩图像43a放大3倍而还原成原尺寸，产生对象区域43b。对象区域43b为比较图像的至少一部分。通过该一连串的处理将对象区域41的若干个色信息舍入，对象区域43b的解析度低于对象区域41。
产生部12一面改变压缩率一面产生多个比较图像。这意味着产生解析度的降低程度互不相同的多个比较图像。压缩率的设定及比较图像的个数并未限定。例如，产生部12可一面将压缩率改变为1/2、1/3、1/4…一面产生多个比较图像，也可一面将压缩率改变为1/1.5、1/2.5、1/3.5…一面产生多个比较图像。或者，产生部12也可一面将压缩率改变为1/1.5、1/2、1/2.5、1/3、1/3.5…一面产生多个比较图像。
继而，算出部13算出各比较图像相对于输入图像的劣化度(步骤S13，算出步骤)。本实施方式中，算出部13将峰值信号噪声比(PSNR：Peak signal-to-noise ratio)用作劣化度。所谓PSNR是根据基准图像与评估图像的均方误差而算出的画质的指标，单位为分贝(dB)。PSNR例如用于客观地评估因压缩而图像以何种程度劣化。一般而言，PSNR越高，评估为画质越佳。在与图像的模糊的关系上，可为图像越模糊，PSNR越低。算出部13根据输入图像(基准图像)与比较图像(评估图像)的均方误差而求出PSNR。图1的例中，算出部13至少求出从输入图像21及比较图像22b获得的PSNR1、从输入图像21及比较图像23b获得的PSNR2、以及从输入图像21及比较图像24b获得的PSNR3等。
继而，推断部14根据多个劣化度(本实施方式中PSNR)推断输入图像的模糊度(步骤S14，推断步骤)。更具体而言，推断部14求出压缩度与劣化度的关系，根据该关系而推断模糊度。所谓“压缩度”是表示从输入图像产生比较图像时的输入图像的压缩程度的指标。本实施方式中将压缩率的倒数设为压缩度，但压缩度的表现方法并未限定。例如，可将压缩率直接用作压缩度，也可进而以其它方法表现压缩度。模糊度的推断方法并未限定。以下，一面参考图7～图11一面说明若干个推断方法。
推断部14也可通过将多个PSNR与阈值加以比较而推断模糊度。具体而言，推断部14也可求出压缩度与PSNR的关系，将PSNR为阈值时的压缩度推断为模糊度。
图7是表示压缩度与PSNR的关系的例的曲线图，横轴为压缩度，纵轴为PSNR。该曲线图是对一面将压缩度改变为2、3、4…(一面将压缩率改变为1/2、1/3、1/4…)一面算出的多个PSNR进行绘图且在点间进行线性内插而成者。该例中如果将阈值设为30dB，那么推断部14也可将PSNR为该阈值时的压缩度(约3.3)推断为模糊度。此处，示出30dB作为阈值的例的原因是基于图像或影像的不可逆压缩中的标准的PSNR为30～50dB，且无需担心图像劣化的PSNR的最小值的一例为30dB。当然，PSNR的阈值并不限定于30dB。阈值也可根据输入图像而变更。
或者，推断部14也可利用非线性函数来逼近压缩度与PSNR的关系，根据该非线性函数的最高次系数(更具体而言，定义非线性函数的多项式的最高次系数)而推断模糊度。非线性函数并未限定，例如可为2次函数或3次函数，也可为更高次的函数。利用非线性函数的逼近方法也并未限定，例如也可使用最小平方法。
图8是利用2次函数来逼近图7的压缩度与PSNR的关系的曲线图。虚线51与图7中的绘图及线性内插相同，实线52表示非线性函数。该例中，推断部14产生所述非线性函数并求出该函数的最高次系数(0.1528)，根据该值而推断模糊度。
在被摄体互不相同的多个图像之间模糊度相同或近似的情况下，如果以曲线表示各图像的压缩度与PSNR的关系，那么各个曲线的弯曲程度(曲率)显示大致近似的值。另一方面，即使图像相同，如果模糊度不同，那么表示压缩度与PSNR的关系的曲线的弯曲程度也会变化。
图9是对某一个图像应用4种模糊度(1.5、2.5、3.5及4.5)，并且就各个模糊度将压缩度与PSNR的关系进行绘图而获得的曲线图。这样，即使图像相同，如果模糊度不同，那么曲线的弯曲程度也会变化。曲线的弯曲程度较大地依赖于非线性函数的最高次系数，因此通过使用该最高次系数，可利用统一的基准来推断各种图像的模糊度。
图10是表示关于5种图像(婴儿、鸟、蝴蝶、狒狒、莱娜)的模糊度与2次函数(表示压缩度与PSNR的关系的非线性函数)的最高次系数的对应的例的表。这些5种图像均为通常可取得者，例如可从下述参考文献所介绍的集合5及集合14的数据集而取得。更具体而言，各图像可从由“http：//cv.snu.ac.kr/research/VDSR/”的URL(Uniform Resource Locator，统一资源定位器)所特定出的网站取得。各2次函数是通过一面将压缩度改变为2、3、4、…、19一面算出PSNR而获得的逼近压缩度与PSNR的关系的函数。
(参考文献)
J.Kim,J.K.Lee,and K.M.Lee."Accurate Image Super-Resolution Using VeryDeep Convolutional Networks(利用超深卷积网络的精确图像超解析)".CoRR,abs/1511.04587,2015.
图11是将图10所示的表曲线图化而成者，纵轴表示2次函数的最高次系数。由该曲线图可知，最高次系数不管图像的种类如何，均对应于模糊度而取固定的范围。因此，通过预先设定最高次系数与模糊度的对应关系，而且判定所获得的最高次系数对应于哪一模糊度而可决定图像的模糊度。此处，对应关系的表现方法并未限定，例如也可利用表(对应表)来表现。图像处理装置10(例如推断部14)预先保持该对应关系。图11的例中，可将模糊度为0(即，无模糊)的范围设定为0以上且小于Ta，将模糊度为1.5的范围设定为Ta以上且小于Tb，将模糊度为2.5的范围设定为Tb以上且小于Tc，将模糊度为3.5的范围设定为Tc以上且小于Td。例如，如果设Ta＝0.1，Tb＝0.18，Tc＝0.25，Td＝0.34，那么图9所示的曲线的最高次系数为0.1528，因此推断部14推断模糊度为1.5。
继而，超解析部15根据所推断的模糊度而执行对输入图像的超解析(步骤S15)。超解析部15预先保持与多个模糊度对应的多个超解析用的学习模型(超解析用的神经网络)。超解析部15从其中选择与所推断的模糊度对应的学习模型，并使用所选择的学习模型对输入图像执行超解析，并将其执行结果作为高解析度图像输出。
一般而言，一个学习模型仅可执行特定比率的超解析，因此仅可应用于特定的模糊度的图像。因此，需要使用与图像的模糊度相配的学习模型。如果使用与模糊度不配的学习模型，那么反而画质会变差。因此，超解析部15从预先准备的多个学习模型中选择与模糊度相配的学习模型，并使用所选择的学习模型执行超解析。
图12是说明超解析部15的结构及处理的例的图。该例中，超解析部15预先保持用于模糊度为2的输入图像的学习模型71、用于模糊度为3的输入图像的学习模型72、以及用于模糊度为4的输入图像的学习模型73。超解析部15不对模糊度推断为0的输入图像61执行超解析，而是将该输入图像61直接作为高解析度图像62输出。即，高解析度图像62与输入图像61相同。对于模糊度为2的输入图像63，超解析部15通过使用学习模型71执行超解析而产生高解析度图像64。对于模糊度为3的输入图像65，超解析部15通过使用学习模型72执行超解析而产生高解析度图像66。对于模糊度为4的输入图像67，超解析部15通过使用学习模型73执行超解析而产生高解析度图像68。
高解析度图像的输出方法并未限定。例如，超解析部15可将高解析度图像存储在特定的数据库，也可发送至其它电脑，还可描画在监视器上。超解析部15也可将高解析度图像与输入图像建立关联，输出这些两图像的集合。在模糊度为0的情况下，超解析部15也可将输入图像直接输出而不执行超解析。对推断为不模糊的图像的超解析并无意义，故省略该超解析，由此可降低图像处理装置10的硬件资源(例如，处理器及存储器)的处理负载。
在图像处理装置10处理多个输入图像的情况下，反复执行步骤S11～S15的处理。
[程序]
接下来，一面参考图13一面说明用于使电脑作为图像处理装置10发挥功能的图像处理程序P1。图13是表示图像处理程序P1的构成的图。
图像处理程序P1包含主模块P10、取得模块P11、产生模块P12、算出模块P13、推断模块P14、及超解析模块P15。主模块P10是总括管理模糊度的推断与超解析的部分。取得部11、产生部12、算出部13、推断部14、及超解析部15是通过执行取得模块P11、产生模块P12、算出模块P13、推断模块P14、及超解析模块P15而实现。
图像处理程序P1例如也可固定地记录在CD-ROM(Compact Disc-Read OnlyMemory，只读光盘)、DVD-ROM(Digital Versatile Disc-Read Only Memory，多功能数字光盘只读存储器)、半导体存储器等有形的记录介质而提供。或者，图像处理程序P1也可作为重叠于载波的数据信号而经由通信网络提供。
[效果]
如上所说明，本发明的一观点的图像处理装置具备：取得部，取得输入图像；产生部，通过将作为输入图像的至少一部分的对象区域以多个压缩度分别进行压缩，且将经压缩的该对象区域放大至原尺寸而产生多个比较图像；算出部，对多个比较图像分别算出该比较图像相对于输入图像的劣化度；以及推断部，根据所算出的多个劣化度而推断输入图像的模糊度。
本发明的一观点的图像处理方法是由具备处理器的图像处理装置执行，包含：取得步骤，取得输入图像；产生步骤，通过将作为输入图像的至少一部分的对象区域以多个压缩度分别进行压缩，且将经压缩的该对象区域放大至原尺寸而产生多个比较图像；算出步骤，对多个比较图像分别算出该比较图像相对于输入图像的劣化度；以及推断步骤，根据所算出的多个劣化度而推断输入图像的模糊度。
本发明的一观点的图像处理程序使电脑执行以下步骤：取得步骤，取得输入图像；产生步骤，通过将作为输入图像的至少一部分的对象区域以多个压缩度分别进行压缩，且将经压缩的该对象区域放大至原尺寸而产生多个比较图像；算出步骤，对多个比较图像分别算出该比较图像相对于输入图像的劣化度；以及推断步骤，根据所算出的多个劣化度而推断输入图像的模糊度。
这种观点中，通过将输入图像以多个比率进行压缩及放大而可获得多个比较图像。这些比较图像可说是使输入图像的解析度刻意降低后的图像。输入图像的模糊也可看作解析度的降低，因此通过将输入图像与这些比较图像加以比较而可推断输入图像的模糊度。用以推断输入图像的模糊度的比较图像是由该输入图像产生，故即使仅存在1张输入图像的情况下也可推断该输入图像的绝对的(或本质的)模糊度。在对象区域为输入图像的全体的情况下，可求出遍及图像全体的模糊度而非图像局部的模糊度。
另一观点的图像处理装置中，劣化度也可为峰值信号噪声比。PSNR客观地表示图像因压缩而以何种程度劣化，故可说是适合于使用将输入图像压缩及放大所获得的比较图像进行模糊度推断的指标。因此，可通过使用PSNR而准确地推断输入图像的模糊度。
另一观点的图像处理装置中，推断部也可通过将多个劣化度与阈值加以比较而推断模糊度。通过使用阈值而可利用简单的处理且高速地推断模糊度。
另一观点的图像处理装置中，推断部也可根据表示压缩度与劣化度的关系的非线性函数的最高次系数而推断模糊度。表示该非线性函数的曲线的弯曲程度具有与图像的被摄体无关而是对应于模糊度来变化的倾向，该弯曲程度较大地依赖于非线性函数的最高次系数。因此，可根据该最高次系数而准确地判定模糊度。
另一观点的图像处理装置中，推断部预先设定最高次系数与模糊度的对应关系，推断部也可从多个压缩度及多个劣化度算出非线性函数的最高次系数，并通过参考对应关系而决定与所算出的最高次系数对应的模糊度。通过使用预先准备的对应关系而可从最高次系数简单地获得模糊度。
另一观点的图像处理装置中，也可还具备超解析部，从与多个模糊度对应的多个超解析用的学习模型中，选择与由推断部推断的模糊度对应的学习模型，并使用该选择的学习模型对输入图像执行超解析。该情况下，配合输入图像的模糊度执行超解析，故可恰当地提高输入图像的画质。
[变化例]
以上，对本发明基于其实施方式详细地进行了说明。然而，本发明并非限定于所述实施方式。本发明可在不脱离其主旨的范围进行各种变化。
在所述实施方式中，将所推断的模糊度用于超解析，但该模糊度也可用于其它目的。因此，图像处理装置也可不具备超解析部。图像处理装置可将所推断的模糊度存储在特定的数据库，也可发送至其它电脑，还可显示在监视器上。该情况下，图像处理装置的用户可了解输入图像的模糊度。
所述实施方式中使用PSNR作为劣化度，但劣化度的算出方法并不限定于此。例如，算出部也可求出结构相似性(SSIM：structural similarity)作为劣化度。SSIM是通过亮度平均值的差、像素值的标准偏差的差、及像素间的协方差的积而评估画质的方法。
所述实施方式中，将压缩度直接设定为模糊度，但模糊度的设定方法并不限定于此。推断部也可通过预先设定的运算而根据压缩度求出模糊度。
由至少一个处理器执行的图像处理方法的处理顺序并不限定于所述实施方式中的例。例如，也可省略所述步骤(处理)的一部分，也可按其他顺序执行各步骤。另外，可将所述步骤中的任意两个以上的步骤加以组合，也可将步骤的一部分加以修正或删除。或者，除所述的各步骤外还可执行其它步骤。
[符号的说明]
10 图像处理装置
11 取得部
12 产生部
13 算出部
14 推断部
15 超解析部
P1 图像处理程序
P10 主模块
P11 取得模块
P12 产生模块
P13 算出模块
P14 推断模块
P15 超解析模块

Claims (8)

1.一种图像处理装置，具备：
取得部，取得输入图像；
产生部，通过将作为输入图像的至少一部分的对象区域以多个压缩度分别进行压缩，且将经压缩的该对象区域放大至原尺寸而产生多个比较图像；
算出部，对所述多个比较图像分别算出该比较图像相对于所述输入图像的劣化度；以及
推断部，根据所算出的多个劣化度而推断所述输入图像的模糊度。
2.根据权利要求1所述的图像处理装置，其中
所述劣化度为峰值信号噪声比。
3.根据权利要求1或2所述的图像处理装置，其中
所述推断部通过将所述多个劣化度与阈值进行比较而推断所述模糊度。
4.根据权利要求1或2所述的图像处理装置，其中
所述推断部根据表示所述压缩度与所述劣化度的关系的非线性函数的最高次系数而推断模糊度。
5.根据权利要求4所述的图像处理装置，其中
预先设定所述最高次系数与所述模糊度的对应关系，
所述推断部根据所述多个压缩度及所述多个劣化度而算出所述非线性函数的最高次系数，并通过参考所述对应关系而决定与所述算出的最高次系数对应的所述模糊度。
6.根据权利要求1至5中任一项所述的图像处理装置，其还具备：
超解析部，从与多个所述模糊度对应的多个超解析用的学习模型中，选择与由所述推断部推断的模糊度对应的学习模型，并使用该选择的学习模型对所述输入图像执行超解析。
7.一种图像处理方法，由具备处理器的图像处理装置执行，包含：
取得步骤，取得输入图像；
产生步骤，通过将作为输入图像的至少一部分的对象区域以多个压缩度分别进行压缩，且将经压缩的该对象区域放大至原尺寸而产生多个比较图像；
算出步骤，对所述多个比较图像分别算出该比较图像相对于所述输入图像的劣化度；以及
推断步骤，根据所算出的多个劣化度而推断所述输入图像的模糊度。
8.一种图像处理程序，使电脑执行以下步骤，所述步骤为：
取得步骤，取得输入图像；
产生步骤，通过将作为输入图像的至少一部分的对象区域以多个压缩度分别进行压缩，且将经压缩的该对象区域放大至原尺寸而产生多个比较图像；
算出步骤，对所述多个比较图像分别算出该比较图像相对于所述输入图像的劣化度；以及
推断步骤，根据所算出的多个劣化度而推断所述输入图像的模糊度。
CN201780087620.5A 2017-06-05 2017-06-05 图像处理装置、图像处理方法及图像处理程序 Active CN110383332B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/020843 WO2018225133A1 (ja) 2017-06-05 2017-06-05 画像処理装置、画像処理方法、および画像処理プログラム

Publications (2)

Publication Number Publication Date
CN110383332A true CN110383332A (zh) 2019-10-25
CN110383332B CN110383332B (zh) 2023-09-12

Family

ID=64566166

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780087620.5A Active CN110383332B (zh) 2017-06-05 2017-06-05 图像处理装置、图像处理方法及图像处理程序

Country Status (5)

Country Link
US (1) US11055816B2 (zh)
EP (1) EP3637363B1 (zh)
JP (1) JP6554253B2 (zh)
CN (1) CN110383332B (zh)
WO (1) WO2018225133A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7339786B2 (ja) * 2019-06-24 2023-09-06 キヤノン株式会社 情報処理装置、システム、情報処理装置の制御方法、及び、プログラム
KR102147912B1 (ko) * 2019-08-13 2020-08-25 삼성전자주식회사 프로세서 칩 및 그 제어 방법들
JPWO2021095256A1 (zh) * 2019-11-15 2021-05-20
US11735144B2 (en) * 2020-01-06 2023-08-22 Samsung Electronics Co., Ltd. Image display apparatus and image displaying method
US11538136B2 (en) * 2020-10-28 2022-12-27 Qualcomm Incorporated System and method to process images of a video stream
US20240193974A1 (en) * 2021-07-28 2024-06-13 Rakuten Group, Inc. Image processing system, image processing method, and program

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013026936A (ja) * 2011-07-23 2013-02-04 Canon Inc 画像処理装置、画像処理方法、およびプログラム
WO2013089265A1 (ja) * 2011-12-12 2013-06-20 日本電気株式会社 辞書作成装置、画像処理装置、画像処理システム、辞書作成方法、画像処理方法及びプログラム

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6359928B1 (en) * 1997-09-29 2002-03-19 University Of Southern California System and method for compressing images using multi-threshold wavelet coding
JP4238516B2 (ja) * 2002-04-26 2009-03-18 ソニー株式会社 データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体
US7433514B2 (en) * 2005-07-13 2008-10-07 Canon Kabushiki Kaisha Tone mapping of high dynamic range images
US7876477B2 (en) * 2006-06-28 2011-01-25 Panasonic Corporation Image reading method and image expansion method
GB2442050A (en) * 2006-08-29 2008-03-26 Micron Technology Inc Image pixel value correction
JP5124372B2 (ja) * 2008-07-10 2013-01-23 株式会社リコー 画像処理装置、画像処理方法およびデジタルスチルカメラ
JP5241410B2 (ja) * 2008-09-29 2013-07-17 株式会社キーエンス 画像処理装置、画像処理方法及びコンピュータプログラム
JP4762321B2 (ja) * 2009-02-24 2011-08-31 株式会社東芝 画像認識装置、画像認識方法
US8432974B2 (en) * 2009-07-10 2013-04-30 The United States Of America As Represented By The Secretary Of The Navy Method and system for compression of hyperspectral or multispectral imagery with a global optimal compression algorithm (GOCA)
JP5397059B2 (ja) * 2009-07-17 2014-01-22 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
US8923653B2 (en) * 2011-06-27 2014-12-30 Yutaka Yamamoto Super-resolution processing method and system
WO2013079774A1 (en) * 2011-11-29 2013-06-06 Nokia Corporation Method, apparatus and computer program product for generating animated images
WO2013089263A1 (ja) * 2011-12-12 2013-06-20 日本電気株式会社 画像処理装置及び画像処理方法
US8965120B2 (en) * 2012-02-02 2015-02-24 Canon Kabushiki Kaisha Image processing apparatus and method of controlling the same
CN104969257B (zh) * 2012-12-06 2018-08-28 日本电气株式会社 图像处理设备和图像处理方法
JP6172935B2 (ja) * 2012-12-27 2017-08-02 キヤノン株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP2014164574A (ja) 2013-02-26 2014-09-08 Konica Minolta Inc 画像処理装置、画像処理方法および画像処理プログラム
US9875532B2 (en) * 2013-08-15 2018-01-23 Nec Corporation Information processing device that implements image processing, and image processing method
GB2534790B (en) * 2013-12-03 2020-06-03 Mitsubishi Electric Corp Image processing apparatus and image processing method
JP6390173B2 (ja) * 2014-06-02 2018-09-19 日本電気株式会社 情報処理装置、情報処理システム、画像処理方法、及び、プログラム
JP6341059B2 (ja) * 2014-10-31 2018-06-13 オムロン株式会社 文字認識装置、文字認識方法、およびプログラム
US20170357911A1 (en) * 2014-12-18 2017-12-14 Asml Netherlands B.V. Feature search by machine learning
JP6689656B2 (ja) * 2016-04-18 2020-04-28 ルネサスエレクトロニクス株式会社 画像処理システム、画像処理方法及び画像送信装置
JP6771977B2 (ja) * 2016-07-21 2020-10-21 キヤノン株式会社 画像処理装置および画像処理方法、プログラム
JP6840506B2 (ja) * 2016-10-20 2021-03-10 キヤノン株式会社 画像処理装置、画像処理方法、プログラム
JP6957197B2 (ja) * 2017-05-17 2021-11-02 キヤノン株式会社 画像処理装置および画像処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013026936A (ja) * 2011-07-23 2013-02-04 Canon Inc 画像処理装置、画像処理方法、およびプログラム
WO2013089265A1 (ja) * 2011-12-12 2013-06-20 日本電気株式会社 辞書作成装置、画像処理装置、画像処理システム、辞書作成方法、画像処理方法及びプログラム
JPWO2013089265A1 (ja) * 2011-12-12 2015-04-27 日本電気株式会社 辞書作成装置、画像処理装置、画像処理システム、辞書作成方法、画像処理方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JIWON KIM等: "Accurate Image Super-Resolution Using Very Deep Convolutional Networks" *

Also Published As

Publication number Publication date
EP3637363B1 (en) 2023-05-24
US11055816B2 (en) 2021-07-06
US20190325557A1 (en) 2019-10-24
WO2018225133A1 (ja) 2018-12-13
EP3637363A4 (en) 2021-01-20
JP6554253B2 (ja) 2019-07-31
EP3637363A1 (en) 2020-04-15
CN110383332B (zh) 2023-09-12
JPWO2018225133A1 (ja) 2019-11-07

Similar Documents

Publication Publication Date Title
CN110383332A (zh) 图像处理装置、图像处理方法及图像处理程序
Dai et al. A convolutional neural network approach for post-processing in HEVC intra coding
US10991076B2 (en) Image super-resolution method, image super-resolution device, and computer readable storage medium
Liu et al. A medical image enhancement method using adaptive thresholding in NSCT domain combined unsharp masking
CN111429371B (zh) 图像处理方法、装置及终端设备
Ascenso et al. Learning-based image coding: early solutions reviewing and subjective quality evaluation
Sun et al. Optimal pre-filtering for improving Facebook shared images
CN106558021A (zh) 基于超分辨率技术的视频增强方法
CN114022809A (zh) 基于改进自编码网络的视频运动放大方法
Zheng et al. Image quality (IQ) guided multispectral image compression
CN111243046A (zh) 图像质量检测方法、装置、电子设备及存储介质
JP6564158B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP2021090129A (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
Harine et al. Fundus image enhancement using hybrid deep learning approaches
KR100311481B1 (ko) 영상 처리 시스템의 정규화 복원방법과 장치
Yang et al. An underwater image enhancement method based on Swin transformer
CN106709873A (zh) 一种基于三次样条插值和迭代更新的超分辨率方法
CN108171704B (zh) 一种基于激励响应的无参考图像质量评价方法
CN111626937A (zh) 一种人像超分辨率重建方法
Yu et al. Novel neighbor embedding super resolution method for compressed images
Deshmukh et al. Residual CNN Image Compression
TWI851470B (zh) 一種還原二元影像之系統、方法及電腦可讀媒介
Lukin et al. Providing a Desired Compression Ratio for Better Portable Graphics Encoder of Color Images
CN111724332B (zh) 一种适用于密闭腔体检测的图像增强方法及系统
CN112348742B (zh) 一种基于深度学习的图像非线性插值获取方法及获取系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Tokyo, Japan

Applicant after: Lotte Group Co.,Ltd.

Address before: Tokyo, Japan

Applicant before: Rakuten, Inc.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant