CN112689849A - 图像处理装置及其操作方法 - Google Patents
图像处理装置及其操作方法 Download PDFInfo
- Publication number
- CN112689849A CN112689849A CN201980060155.5A CN201980060155A CN112689849A CN 112689849 A CN112689849 A CN 112689849A CN 201980060155 A CN201980060155 A CN 201980060155A CN 112689849 A CN112689849 A CN 112689849A
- Authority
- CN
- China
- Prior art keywords
- weights
- kernel
- image
- image processing
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 80
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000006870 function Effects 0.000 claims description 33
- 238000009499 grossing Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 12
- 238000011017 operating method Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 238000012886 linear function Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 17
- 238000013528 artificial neural network Methods 0.000 description 13
- 239000011159 matrix material Substances 0.000 description 13
- 238000013507 mapping Methods 0.000 description 11
- 238000013473 artificial intelligence Methods 0.000 description 6
- 238000010606 normalization Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/15—Correlation function computation including computation of convolution operations
- G06F17/153—Multidimensional correlation or convolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/60—Memory management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Computational Mathematics (AREA)
- Pure & Applied Mathematics (AREA)
- Databases & Information Systems (AREA)
- Algebra (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
提供了图像处理装置，其包括存储一个或更多指令的存储器和被配置为执行存储在存储器中的一个或更多指令的处理器，其中处理器还被配置为执行一个或更多指令以：通过对第一图像和包括一个或更多权重的内核执行去卷积操作来生成第二图像，基于第二图像设置一个或更多权重的值，以及基于一个或更多权重在内核中的位置来调整一个或更多权重的值。
Description
技术领域
本发明的各种实施例涉及一种用于执行去卷积操作的图像处理装置及其操作方法，更具体地，涉及一种用于在执行去卷积操作时防止棋盘伪像(checkerboard artifact)的发生的图像处理装置及其操作方法。
背景技术
随着计算机技术的发展，数据流量呈指数增长，人工智能已成为推动未来创新的重要趋势。因为人工智能使用模仿人类思维的方法，所以实际上人工智能可以无限地应用于所有行业。人工智能的代表性技术的示例包括模式识别、机器学习、专家系统、神经网络和自然语言处理。
神经网络由人类生物神经元特性的数学表达式建模，并使用模拟人类学习能力的算法。通过该算法，神经网络可以生成输入数据和输出数据之间的映射，并且生成这种映射的能力可以表示为神经网络的学习能力。此外，神经网络具有泛化(generalization)能力，该泛化能力使得能够基于所学习的结果为还没有用于学习的输入数据生成正确的输出数据。
在卷积神经网络(CNN)等中，可以使用去卷积层来生成尺寸大于输入图像的尺寸的输出图像。然而，当通过使用去卷积层执行去卷积操作时，对于输出图像的每个位置，内核的重叠程度根据去卷积操作中使用的步幅的大小和内核的大小而变化。因此，存在的问题在于，在输出图像中出现棋盘伪像。
发明内容
问题的解决方案
本公开的各种实施例可以提供一种图像处理装置及其操作方法，该图像处理装置能够通过基于包括在去卷积操作中使用的内核中的权重的位置来执行归一化，来防止在执行去卷积操作时出现棋盘伪像。
公开的有利效果
根据实施例的图像处理装置可以防止由去卷积操作引起的棋盘伪像的发生。
根据实施例的图像处理装置可以通过执行去卷积操作来调整(例如，扩大)图像的大小，并且通过根据去卷积操作来调整图像的大小来生成高质量图像。
与使用其他操作相比，根据实施例的图像处理装置可以通过利用去卷积操作调整图像的大小来减小操作量和内存的大小。
附图说明
图1示出了根据实施例的由图像处理装置执行的、通过使用去卷积操作生成图像的方法。
图2是用于描述根据实施例的执行去卷积操作的过程的参考图。
图3是用于详细描述根据实施例的执行去卷积操作的过程的参考图。
图4是用于描述当执行去卷积操作时出现的棋盘伪像的参考图。
图5是根据实施例的图像处理装置的操作方法的流程图。
图6是用于描述根据实施例的调整内核中包括的一个或更多权重的值的方法的参考图。
图7是用于描述根据实施例的将内核中包括的权重划分为多个组的方法的参考图。
图8示出了根据实施例的其中出现棋盘伪像的图像和其中不出现棋盘伪像的图像。
图9是根据实施例的图像处理装置的配置的框图。
图10是根据实施例的处理器的框图。
具体实施方式
根据实施例的图像处理装置包括存储一个或更多指令的存储器以及被配置为执行存储在存储器中的一个或更多指令的处理器，其中处理器还被配置为执行一个或更多指令以：通过对第一图像和包括一个或更多权重的内核执行去卷积操作来生成第二图像，基于第二图像设置一个或更多权重的值，以及基于一个或更多权重在内核中的位置来调整一个或更多权重的值。
根据实施例的处理器可进一步配置成执行一个或更多指令以：基于一个或更多权重的位置将一个或更多权重划分为多个组，并且将多个组中的每个归一化。
根据实施例的处理器可进一步配置成执行一个或更多指令以：调整一个或更多权重的值，使得分别包含在多个组中的权重的和彼此相等。
根据实施例的处理器可进一步配置成执行一个或更多指令以：调整一个或更多权重的值，使得包括在多个组中的每个中的权重的和为1。
根据实施例的处理器可进一步配置成执行一个或更多指令以：基于内核的大小和在去卷积操作中使用的步幅的大小来确定多个组的数量。
根据实施例的处理器可进一步配置成执行一个或更多指令以：基于内核的大小和在去卷积操作中使用的步幅的大小来确定包括在多个组中的每个中的权重的数量。
根据实施例的处理器可进一步配置成执行一个或更多指令以：通过将包括平滑函数的可靠性映射应用到内核来调整权重的值。
根据实施例的平滑函数可以包括其中值基于可靠性映射的中心逐渐改变的形式的函数。
根据实施例的平滑函数可以包括线性函数、高斯函数、拉普拉斯函数或样条函数中的至少一种。
根据实施例的第二图像的尺寸可以大于第一图像的尺寸。
根据实施例的图像处理装置的操作方法包括：通过对第一图像和包括一个或更多权重的内核执行去卷积操作来生成第二图像；基于第二图像来设置一个或更多权重的值；以及基于一个或更多权重在内核中的位置来调整一个或更多权重的值。
根据实施例的计算机程序产品可以包括一个或更多计算机可读记录介质，其中存储有程序，该程序用于：通过对第一图像和包括一个或更多权重的内核执行去卷积操作，基于第二图像设置一个或更多权重的值，以及基于一个或更多权重在内核中的位置调整一个或更多权重的值来生成第二图像。
本公开的模式
将简要地描述本说明书中使用的术语，并且将详细地描述本公开。
尽管在本公开中使用的术语是在考虑本公开中的功能的情况下以目前在普遍使用的一般术语来选择的，但是这些术语可以根据本领域普通技术人员的意图、司法先例或新技术的引入而变化。此外，在特定情况下，申请人可以主动选择术语，并且在这种情况下，术语的含义在本公开的相应描述部分中公开。因此，在本公开中使用的术语不应由术语的简单名称来定义，而应由在整个公开中的术语和内容的含义来定义。
应当理解，当某一部件“包括”某一组件时，该部件不排除另一组件，而是可以进一步包括另一组件，除非上下文另有明确规定。诸如“单元”或“模块”的术语是指执行至少一个功能或操作的单元，并且这些单元可以被实现为硬件或软件，或者实现为硬件和软件的组合。
在下文中，将参考附图详细描述本公开的实施例，以允许本领域普通技术人员容易地实现本公开的实施例。然而，本公开可以以各种形式实现，而不限于这里描述的本公开的实施例。为了清楚地描述本公开，在附图中省略了与描述无关的部分，并且在整个说明书中，相同的附图标记表示相同的元件。
图1示出了根据实施例的由图像处理装置执行的通过使用去卷积操作生成图像的方法。
参照图1，根据实施例的图像处理装置100可以通过使用神经网络20来生成图像。图像处理装置100可以通过使用神经网络20提取关于第一图像(输入)的特征信息，并且基于所提取的特征信息生成第二图像(输出)。
神经网络20可以包括一个或更多去卷积层，并且可以在每个去卷积层中相对于输入到每个去卷积层的图像(输入)和内核执行去卷积操作50。作为去卷积操作的结果，可以产生输出图像(输出)。将参照图2和图3详细描述去卷积操作50。
去卷积操作50可用于生成大小通常大于卷积神经网络(CNN)中的输入图像的大小的输出图像。例如，去卷积操作50可以用于各种领域，例如超分辨率图像生成、自动编码器、样式转换等。然而，本公开不限于此。
作为去卷积操作的结果产生的第二图像(输出)的大小大于第一图像(输入)的大小。
当执行去卷积操作时，可能会出现具有棋盘形状的棋盘伪像。将参考图3和图4详细描述棋盘伪像的发生原因。
根据实施例的图像处理装置100可以调整包括在用于去卷积操作的内核中的权重值，从而不会出现棋盘伪像。
图2是用于描述根据实施例的执行去卷积操作的过程的参考图。
为了便于描述，在图2中，假设输入数据210的大小是2×2，在输入数据210中使用的内核230的大小是3×3，跨距的大小是2，输出数据250的大小是4×4，并且填充值是1。
参照图2，图像处理装置100可以通过将内核230应用到输入数据210的左上像素211来执行去卷积操作。也就是说，图像处理装置100可以将通过将像素值a乘以包括在内核230中的权重w0、w1、w2、w3、w4、w5、w6、w7和w8中的每一个而获得的值映射到包括在输出数据250的第一区域261中的每一个像素。在这点上，图像处理装置100可以通过考虑填充值是1来确定第一区域261的开始位置(例如，第一区域261的开始点可以是从输出数据250的第一像素251向左和顶部移动一个像素的点)。
图像处理装置100可以将通过将像素值a乘以权重w4而获得的值a*w4映射到输出数据250的第一像素251，并且将通过将像素值a乘以权重w5而获得的值a*w5映射到输出数据250的第二像素252。
此外，图像处理装置100可以将通过将输入数据210的右上像素212的像素值b乘以包括在内核230中的权重w0到w8中的每一个而获得的值映射到包括在第二区域262中的每一个像素，第二区域262从输出数据250的第一区域261移动两个像素。例如，图像处理装置100可以将通过将输入数据210的像素值b乘以权重w3而获得的值b*w3映射到输出数据250的第二像素252，将通过将像素值b乘以权重w4而获得的值b*w4映射到输出数据250的第三像素253，并且将通过将像素值b乘以权重w5而获得的值b*w5映射到输出数据250的第四像素254。
在这点上，当将作为去卷积操作的目标的数据移动输入数据210中的一个像素时，移动在输出数据250中去卷积操作的结果值被映射到的区域(映射区域)的多个像素被称为步幅。例如，可以逐个像素地移动映射区域，但是如图2所示，可以通过将映射区域从第一区域261移动到第二区域262两个像素或更多像素来执行映射。因此，可以根据步幅的大小来确定输出数据(输出图像)的大小。
以相同的方式，当从左到右和从上到下逐像素地扫描输入数据210中的去卷积操作的目标时，可以将包括在内核230中的权重相乘并映射到输出数据250。
参照图2，第一区域261和第二区域262可以彼此重叠。此外，可以将多个值分别映射到包括在重叠区域中的像素，并且可以将输出数据250的像素值确定为映射到像素的值的和。例如，通过将输入数据210的像素值a乘以权重w5而获得的值a*w5和通过将输入数据210的像素值b乘以权重w3而获得的值b*w3可以被映射到输出数据250的第二像素252，并且第二像素252的值可以被确定为a*w5和b*w3的和。
图3是用于详细描述根据实施例的执行去卷积操作的过程的参考图。
为了便于描述，在图3中，假设输入数据310、内核320和输出数据330是一维的。此外，假设输入数据310的大小是5，在输入数据310中使用的内核320的大小是5，步幅的大小是1，并且输出数据330的大小是9。
参照图3，通过将输入数据310的像素值I0乘以包括在内核320中的权重w0、w1、w2、w3和w4而获得的值I0*w0、I0*w1、I0*w2、I0*w3和I0*w4可以分别映射到输出数据330的第一至第五像素331、332、333、334和335。
此外，通过将输入数据310的像素值I1乘以包括在内核320中的权重w0、w1、w2、w3和w4而获得的值I1*w0、I1*w1、I1*w2和I1*w3和I1*w4可以分别映射到输出数据330的第二至第六像素332、333、334、335和336。
通过将输入数据310的像素值I2乘以包括在内核320中的权重w0、w1、w2、w3和w4而获得的值I2*w0、I2*w1、I2*w2、I2*w3和I2*w4可以分别映射到输出数据330的第三至第七像素333、334、335、336和337。
通过将输入数据310的像素值I3乘以包括在内核320中的权重w0、w1、w2、w3和w4而获得的值I3*w0、I3*w1、I3*w2、I3*w3、I3*w4可以分别映射到输出数据330的第四至第八像素334、335、336、337和338。
通过将输入数据310的像素值I4乘以包括在内核320中的权重w0、w1、w2、w3和w4而获得的值I4*w0、I4*w1、I4*w2、I4*w3、I4*w4可以分别映射到输出数据330的第五至第九像素335、336、337、338和339。
因此，输出数据330的第一像素331的值O0是I0*w0，第二像素332的值O1是I0*w1+I1*w0，第三像素333的值O2是I0*w2+I1*w1+I2*w0、第四像素334的值O3是I0*w3+I1*w2+I2*w1+I3*w0，第五像素335的值O4为I0*w4+I1*w3+I2*w2+I3*w1+I4*w0。
当基于输入数据310去看去卷积操作时，输入数据310的一个像素值(例如，I0)乘以多个权重(例如，w0、w1、w2、w3和w4)中的每一个，并且通过乘以多个权重获得的值340被映射到输出数据330的多个像素(例如，331到335)。因此，去卷积操作对应于散射操作。在这点上，当包括在内核320中的权重(例如，w0、w1、w2、w3和w4)快速改变时，在输出数据330中可能出现棋盘伪像。特别地，在输入数据310的高频区域(具有大像素值的区域)中，当相邻权重快速改变时，在输出数据330的对应于高频区域的区域中会出现棋盘伪像。
当基于输出数据330去看去卷积操作时，将输出数据330的一个像素值(例如，O4)确定为通过以下获得的值：将通过将输入数据310的多个像素值(例如，I0、I1、I2、I3和I4)中的每一个乘以多个权重(例如，w0、w1、w2、w3和w4)中的每一个而获得的值350相加，因此去卷积操作对应于聚集运算。
在这点上，分别应用于包括在输出数据330中的像素的权重彼此不相等。例如，参考图3，将一个权重w0施加到第一像素331，将两个权重w0和w1施加到第二像素332，将三个权重w0、w1和w2施加到第三像素333，将四个权重w0、w1、w2和w3施加到第四像素334，以及将五个权重w0、w1、w2、w3和w4施加到第五像素335。这样，当分别应用于包括在输出数据330中的像素的权重的数量变化并且应用于一个像素的权重未被归一化时，分别应用于输出数据330的像素的权重的和可能不是恒定的。
例如，当施加到第四像素334的四个权重w0、w1、w2和w3之和以及施加到第五像素335的权重w0、w1、w2、w3和w4之和不恒定时，这导致当执行去卷积操作时在输出数据330中出现棋盘伪像。
图4是用于描述当执行去卷积操作时出现的棋盘伪像的参考图。
参照图4，包括在输入数据410中的所有像素可以包括相同的像素值(例如，1)。如图3所示，当通过对输入数据410应用包括未被归一化的权重的内核来执行去卷积操作时，可能生成包括棋盘伪像的输出数据420。
例如，当输入数据410的所有像素值都是“1”时(当所有的输入数据都是“1”时)，输出数据420中包括的每个像素的值可以被表示为应用于每个像素的权重的和。在这点上，当施加到一个像素的权重不被归一化时，分别施加到像素的权重之和不是常数。因此，如图4所示，输出数据420包括具有特定图案的棋盘伪像。
为了防止在输出数据420中出现棋盘伪像，根据实施例的图像处理装置100可以调整权重的值，使得分别应用于像素的权重的和是恒定的。此外，图像处理装置100可以调整权重，使得施加到输出数据420的每个像素的权重之和为“1”，以便输出数据420的像素的值等于输入数据410的像素的值(例如，“1”)。
因此，根据实施例的图像处理装置100可以通过使用其中调整权重的值的内核来执行去卷积操作，从而生成第二图像(输出图像)，该第二图像是第一图像(输入图像)的放大图像，并且因此在第二图像中可能不会出现棋盘伪像。
图5是根据实施例的图像处理装置的操作方法的流程图。
参照图5，根据实施例的图像处理装置100可以通过对第一图像和内核执行去卷积操作来生成第二图像(操作S510)。
已经参考图2和图3描述了去卷积操作，因此将不详细描述。作为去卷积操作的结果产生的第二图像的尺寸大于第一图像的尺寸。
根据实施例的图像处理装置100可以基于所生成的第二图像来设置包括在去卷积操作中使用的内核中的权重值(操作S520)。例如，图像处理装置100可以通过使用训练算法(例如误差反向传播或梯度下降)来设置内核的权重的值。
图像处理装置100可以比较和分析由去卷积操作生成的第二图像和第一图像的放大图像，并且可以基于分析的结果设置在去卷积操作中使用的内核的权重的值。
如参考图3和图4所述，当包括在内核中的权重的值快速改变时，在输出数据中可能出现棋盘伪像。
此外，当分别施加到输出数据的像素的权重不恒定时(例如，当权重的数量或权重的和不恒定时)，当执行去卷积操作时可能出现棋盘伪像。
因此，根据实施例的图像处理装置100可以基于包括在内核中的权重的位置来调整权重的值(操作S530)。
例如，图像处理装置100可以根据实施例将可靠性映射施加到内核，使得内核中包括的权重的值不会快速改变。此外，图像处理装置100可以基于包括在内核中的权重的位置将权重分成多个组，并且执行归一化，使得分别包括在组中的权重的和是恒定的(例如，为“1”)。
这将参考图6和图7详细描述。
图6是用于描述根据实施例的调整内核中包括的一个或更多权重的值的方法的参考图。
参照图6，图像处理装置100可以设置包括在用于去卷积操作的内核610中的一个或更多权重的值。在这点上，可以根据对包括去卷积层的神经网络的训练和更新来设置包括在内核610中的权重的值，在该去卷积层上执行去卷积操作。然而，本公开不限于此。
图像处理装置100可以通过将可靠性映射620应用到内核610来调整包括在内核610中的一个或更多权重的值(操作601)。根据实施例的可靠性映射620可以包括指示平滑函数的图，并且图像处理装置100可以通过对内核610和可靠性映射620执行乘法运算来调整包括在内核610中的权重的值。例如，根据实施例的平滑函数可以包括线性函数、高斯函数、拉普拉斯函数或样条函数中的至少一个，但不限于此。图6所示的可靠性映射620可以是指示高斯函数的图。
此外，由可靠性映射620指示的平滑函数可以是映射中心区域具有大值并且其值远离映射中心区域变得更小的函数，但不限于此。
根据实施例，当将可靠性映射620应用到内核610时，内核610中包括的权重的值不会快速改变，因此，可以防止在输出数据中出现棋盘伪像。特别地，可以防止棋盘伪像出现在与输入数据的高频区域(具有大像素值的区域)相对应的输出数据的区域中。
回到图6，图像处理装置100可以基于内核610中的权重的位置将内核610中包括的权重分组为多个组630。将参考图7详细描述将权重分组到组630中的方法。
图像处理装置100可以归一化每个组630的权重的和。例如，当第一组631包括9个权重而第二组632包括4个权重时，图像处理装置100可以对权重进行归一化，使得包括在第一组631中的9个权重的和与包括在第二组632中的4个权重的和彼此相等。在这点上，图像处理装置100可以对权重进行归一化，使得包括在一个组中的权重之和为1。然而，本公开不限于此。
图像处理装置100可以将其中调整了权重的值的内核640应用到包括去卷积层的神经网络20。因此，图像处理装置100可以通过使用其中调整了权重的值的内核来执行去卷积操作。例如，图像处理装置100可以通过应用内核执行去卷积操作来生成第二图像(输出图像)，在该内核中，权重的值被调整到第一图像(输入图像)。在这点上，第二图像的尺寸大于第一图像的尺寸，并且在第二图像中不会出现棋盘伪像。
图7是用于描述根据实施例的将内核中包括的权重划分为多个组的方法的参考图。
在图7中，将描述当内核710的大小(抽头(tap))是11×11并且步幅的大小是4时将权重分成多个组的方法。
图7所示的坐标730表示输出数据，而水平坐标w表示包括在输出数据中的像素的水平位置，而竖直坐标h表示包括在输出数据中的像素的竖直位置。
假设根据实施例的内核710由二维矩阵(11×11矩阵)表示，则在坐标730顶部示出的权重722上表示的索引表示权重722在内核710中的水平位置j。此外，在坐标730左边示出的权重721上指示的索引指示权重721在内核710中的竖直位置i。
此外，考虑到步幅的大小(例如，四个像素的间隔)和包括在输出数据中的像素的位置，示出了在坐标730的顶部和左侧示出的权重721和722对应于施加了权重的像素的位置。
例如，施加到包括在输出数据中的第一像素731的权重的水平位置j是1、5和9，并且其竖直位置i是1、5和9。当权重的水平位置和竖直位置被组合时，应用于第一像素731的权重是W1,1 711、W1,5 715、W1,9 719、W5,1 751、W5,5 755、W5,9 759、W9,1 791、W9,5 795和W9,9799，它们被包括在内核710中。
此外，施加到包括在输出数据中的第二像素732的权重的水平位置j是3和7，并且其竖直位置i是3和7。当权重的水平位置和竖直位置被组合时，应用于第二像素732的权重是w3,3、w3,7、w7,3和w7,7，它们被包括在内核710中。
此外，施加到包括在输出数据中的第三像素733的权重的水平位置j是0、4和8，并且其竖直位置i是0、4和8。当权重的水平位置和竖直位置被组合时，应用于第三像素733的权重是w0,0、w0,4、w0,8、w4,0、w4,4、w4,4、w8,0、w8,4和w8,8，它们被包括在内核710中。
图像处理装置100可以将施加到包括在输出数据中的每个像素的权重分组为组。例如，如图7所示，图像处理装置100可以将施加到第一像素731的九个权重分组为第一组，并将第一组表示为矩阵A0,0。此外，图像处理装置100可以将施加到第二像素732的四个权重分组为第二组，并将第二组表示为矩阵A2,2，并且可以将施加到第三像素733的九个权重分组为第三组，并将第三组表示为矩阵A3,3。
在包括在图7所示的内核710中的权重之中，以相同颜色示出的权重指示包括在相同组(应用于相同像素)中的权重。
当由一个矩阵指示分组到一个组中的权重时，矩阵大小(大小(Ai,j))可以表示为公式1。
在公式1中，floor表示丢弃操作，s表示步幅的大小，并且c可以表示为公式2。
参考公式1和公式2，基于内核的大小(抽头)和步幅的大小来确定多个组的数量，并且还基于内核的大小(抽头)和步幅的大小来确定包括在每个组中的权重的数量。
此外，包括在矩阵A中的分量的索引可以表示为公式3。
在公式3中，tM,i可以表示为公式4，并且tN,j可以表示为公式5。
tM，i＝(t+1)％s+(M-1)xs
tN，j＝(t+1)％s+(N-1)xs
在公式4和公式5中，％表示余数运算。例如，(t+1)％s表示当(t+1)除以s时获得的余数。
例如，在内核的大小(抽头)是11并且步幅的大小是4的情况下，当应用公式1至5进行计算时，矩阵A0,0的大小是3×3(M＝3，N＝3)，并且矩阵A0,0的第一元素的索引是w9,9。
根据实施例的图像处理装置100可以相对于每个矩阵归一化包括在每个矩阵中的分量值(权重)的和。例如，图像处理装置100可以调整权重，使得包括在每个矩阵中的权重之和为1。
图8示出了根据实施例的其中出现棋盘伪像的图像和其中不出现棋盘伪像的图像。
参照图8，图像处理装置100可以通过对输入图像810和第一内核执行去卷积操作来生成第一输出图像821。在这点上，第一输出图像821可以是其中已经出现棋盘伪像的图像。例如，第一内核可以对应于图6的内核610，并且可以是其中尚未执行如图6和图7所示的应用可靠性映射(操作601)和权重归一化(操作602)的内核。
另一方面，图像处理装置100可以通过对输入图像810和第二内核执行去卷积操作来生成第二输出图像822。在这点上，第二输出图像822可以是其中没有出现棋盘伪像的图像。例如，第二内核可以对应于图6的内核640。第二内核可以是其中已经执行了如图6和图7中所描述的应用可靠性映射(操作601)和权重归一化(操作602)的内核。
图9是根据实施例的图像处理装置的配置的框图。
参照图9，根据实施例的图像处理装置100可以包括处理器120和存储器130。
根据实施例的处理器120可以整体地控制图像处理装置100。根据实施例的处理器120可以执行存储在存储器130中的一个或更多程序。
根据实施例的存储器130可以存储用于驱动和控制图像处理装置100的各种数据、程序或应用。存储在存储器130中的程序可以包括一个或更多指令。存储在存储器130中的程序(例如，一个或更多指令)或应用可以由处理器120执行。
根据实施例的处理器120可以通过对第一图像和内核执行去卷积操作来训练在去卷积操作中使用的内核以生成第二图像。例如，处理器120可以基于第二图像来设置包括在内核中的权重的值。处理器120可通过使用训练算法(例如误差反向传播或梯度下降)来设置内核的权重的值，但不限于此。
处理器120可以基于包括在内核中的权重的位置来调整权重。例如，处理器120可以通过向内核应用可靠性映射来调整权重。此外，处理器120可以基于包括在内核中的权重的位置将权重分成多个组，并且执行归一化，使得分别包括在组中的权重的和是恒定的(例如，是“1”)。已经参考图6和图7详细描述了该操作，因此将省略其详细描述。
处理器120可以通过使用其中调整了权重值的内核对输入图像执行去卷积操作来生成不会出现棋盘伪像的输出图像。例如，处理器120可以通过应用内核来执行去卷积操作来生成图8的第二输出图像820，在该内核中，权重的值被调整到图8的输入图像810。
图10是根据实施例的处理器120的框图。
参照图10，根据实施例的处理器120可以包括网络训练器1210、去卷积内核生成器1220和图像处理器1230。
网络训练器1210可以训练包括去卷积层的神经网络。此外，网络训练器1210可以设置在去卷积层上执行的去卷积操作中使用的内核的权重值。例如，网络训练器1210可以设置在去卷积操作中使用的内核的权重值，以生成作为第一图像的放大图像的第二图像。
网络训练器1210可以将训练的神经网络或内核的权重存储在图像处理装置100的存储器中。或者，神经训练器1210可以将训练的神经网络或内核的权重存储在与图像处理装置100通过有线或无线连接的服务器的存储器中。
去卷积内核生成器1220可以包括可靠性映射施加器1221和权重归一化器1222。
可靠性映射施加器1221可以将可靠性映射施加到由网络训练器1210训练的内核。可靠性映射可以包括指示平滑函数的映射，并且平滑函数可以包括线性函数、高斯函数、拉普拉斯函数或样条函数中的至少一个。可靠性映射施加器1221可以通过对训练过的内核和可靠性映射执行乘法运算来调整包括在训练过的内核中的权重的值。通过执行可靠性映射，包括在内核中的权重的值不会快速变化，而是可以逐渐变化。
权重归一化器1222可以归一化包括在应用可靠性映射的内核中的权重。例如，权重归一化器1222可以基于权重在内核中的位置将内核中包括的权重划分成多个组。例如，权重归一化器1222可以将应用于包括在输出数据中的每个像素的权重分组为组。
权重归一化器1222可以归一化每个组的权重的和。例如，权重归一化器1222可以调整权重的值，使得分别包括在组中的权重的和彼此相等(例如，等于“1”)。
图像处理器1230可以通过使用其中权重的值已经由可靠性映射施加器1221和权重归一化器1222调整的内核(例如，归一化内核)来执行去卷积操作。例如，图像处理器1230可以通过应用内核执行去卷积操作来生成第二图像(输出图像)，在该内核中，权重的值被调整到第一图像(输入图像)。在这点上，第二图像的尺寸大于第一图像的尺寸，并且在第二图像中不会出现棋盘伪像。
网络训练器1210、去卷积内核生成器1220或图像处理器1230中的至少一个可以以硬件芯片的形式制造并安装在图像处理装置100上。例如，网络训练器1210、去卷积内核生成器1220或图像处理器1230中的至少一个可以以用于人工智能(AI)的专用硬件芯片的形式来制造，或者可以作为安装在上述各种图像处理装置上的现有通用处理器(例如，中央处理单元(CPU)或应用处理器)或专用图形处理器(例如，CPU)的一部分来制造。
在这种情况下，网络训练器1210、去卷积内核生成器1220和图像处理器1230可以分别安装在一个图像处理装置或单独的图像处理装置上。例如，网络训练器1210、去卷积内核生成器1220和图像处理器1230中的一些可以被包括在图像处理装置中，并且它们之中的其他可以被包括在服务器中。
此外，网络训练器1210、去卷积内核生成器1220或图像处理器1230中的至少一个可以被实现为软件模块。当网络训练器1210、去卷积内核生成器1220或图像处理器1230中的至少一个被实现为软件模块(或包括指令的程序模块)时，软件模块可以被存储在非暂时性计算机可读介质中。此外，在这种情况下，至少一个软件模块可以由操作系统(OS)或某个应用程序提供。或者，至少一个软件模块的一部分可由OS提供，且剩余部分可由某一应用程序提供。
图9和图10所示的图像处理装置100和处理器120的框图分别是本公开的实施例的框图。框图的元件可以根据实际实现的图像处理装置100的规范而被集成、添加或省略。也就是说，当需要时，可以将两个或更多元件集成到一个元件中，或者可以将一个元件分成两个或更多元件。在每个元件(或模块)中执行的功能旨在描述本公开的实施例，并且其详细操作或装置不限制本公开的范围。
根据实施例的图像处理装置的操作方法可以以程序命令的形式来实现，该程序命令可以通过各种计算机组件来执行并且被记录在计算机可读记录介质中。计算机可读记录介质可以单独或以组合方式包括程序命令、数据文件、数据结构等。记录在计算机可读记录介质中的程序命令可以是为本实施例专门设计和配置的程序命令或计算机软件领域的技术人员已知使用的程序命令。计算机可读记录介质的示例可以包括诸如硬盘、软盘和磁带的磁介质；诸如光盘只读存储器(CD-ROM)和数字多功能盘(DVD)的光介质；诸如光磁盘的磁光介质；以及特别配置成存储和执行程序命令的硬件设备，诸如只读存储器(ROM)、随机存取存储器(RAM)和闪存等。此外，程序命令的示例包括由编译器创建的机器语言代码和可由计算机使用解释器执行的高级语言代码。
可以在计算机程序产品中包括和提供根据实施例的图像处理装置和图像处理装置的操作方法。计算机程序产品可以作为卖方和买方之间的产品进行交易。
计算机程序产品可以包括软件(S/W)程序和其中存储有S/W程序的非暂时性计算机可读记录介质。例如，计算机程序产品可以包括通过制造商或电子设备或电子市场(例如Google Play StoreTM或App StoreTM)电子分发的S/W程序形式的产品(例如，可下载应用程序)。对于电子分发，可以将S/W程序的至少一部分存储在存储介质中或临时生成。在这种情况下，存储介质可以是制造商或电子市场中的服务器的存储介质或者临时存储S/W程序的中继服务器。
在包括服务器和客户端设备的系统中，计算机程序产品可以包括服务器的存储介质或客户端设备的存储介质。或者，当存在与服务器或客户端设备通信的第三设备(例如，智能电话)时，计算机程序产品可以包括第三设备的存储介质。或者，计算机程序产品可包括S/W程序本身，其从服务器传输到客户端设备或第三设备或从第三设备传输到客户端设备。
在这种情况下，服务器、客户端设备和第三设备中的一个可以执行计算机程序产品以执行根据本公开的实施例的方法。或者，服务器、客户端设备和第三设备中的两个或更多个可以执行计算机程序产品，以便以分布式方式执行根据本公开的实施例的方法。
例如，服务器(例如，云服务器或AI服务器等)可以执行存储在服务器中的计算机程序产品，以控制与服务器通信的客户端设备执行根据本公开的实施例的方法。
虽然已经参考本公开的某些示例性实施例示出和描述了本公开，但是本公开的范围不限于该描述，并且还包括由本领域普通技术人员使用在所附权利要求书中定义的本公开的构思做出的各种修改和改进。
Claims (20)
1.一种图像处理装置，包括：
存储器，存储一个或更多指令；以及
处理器，配置成执行存储在所述存储器中的所述一个或更多指令，
其中，所述处理器进一步配置成执行所述一个或更多指令以：
通过对第一图像及包括一个或更多权重的内核执行去卷积操作来生成第二图像，
基于所述第二图像设置所述一个或更多权重的值，以及
基于所述一个或更多权重在所述内核中的位置来调整所述一个或更多权重的值。
2.根据权利要求1所述的图像处理装置，其中，所述处理器进一步配置成执行所述一个或更多指令以：基于所述一个或更多权重的所述位置将所述一个或更多权重划分为多个组，以及将所述多个组中的每个归一化。
3.根据权利要求2所述的图像处理装置，其中，所述处理器进一步配置成执行所述一个或更多指令以：调整所述一个或更多权重的值，使得分别包含在所述多个组中的权重的和彼此相等。
4.根据权利要求3所述的图像处理装置，其中，所述处理器进一步配置成执行所述一个或更多指令以：调整所述一个或更多权重的值，使得包括在所述多个组中的每个中的权重的和为1。
5.根据权利要求2所述的图像处理装置，其中，所述处理器进一步配置成执行所述一个或更多指令以：基于所述内核的大小和所述去卷积操作中使用的步幅的大小来确定所述多个组的数量。
6.根据权利要求2所述的图像处理装置，其中，所述处理器进一步配置成执行所述一个或更多指令以：基于所述内核的大小和所述去卷积操作中使用的步幅的大小来确定包括在所述多个组中的每个中的所述权重的数量。
7.根据权利要求1所述的图像处理装置，其中，所述处理器进一步配置成执行所述一个或更多指令以：通过将包含平滑函数的可靠性映射应用到所述内核来调整所述权重的值。
8.根据权利要求7所述的图像处理装置，其中，所述平滑函数包括其中值基于所述可靠性映射的中心逐渐改变的形式的函数。
9.根据权利要求8所述的图像处理装置，其中，所述平滑函数包括线性函数、高斯函数、拉普拉斯函数或样条函数中的至少一者。
10.根据权利要求1所述的图像处理装置，其中，所述第二图像的尺寸大于所述第一图像的尺寸。
11.图像处理装置的操作方法，所述操作方法包括：
通过对第一图像和包括一个或更多权重的内核执行去卷积操作来生成第二图像；
基于所述第二图像设置所述一个或更多权重的值；以及
基于所述一个或更多权重在所述内核中的位置来调整所述一个或更多权重的值。
12.根据权利要求11所述的操作方法，其中，基于所述一个或更多权重在所述内核中的位置来调整所述一个或更多权重的值包括：基于所述一个或更多权重的位置将所述一个或更多权重划分成多个组；以及将所述多个组中的每个归一化。
13.根据权利要求12所述的操作方法，其中，基于所述一个或更多权重在所述内核中的位置来调整所述一个或更多权重的值包括：调整所述一个或更多权重的值，使得分别包括在所述多个组中的权重的和彼此相等。
14.根据权利要求13所述的操作方法，其中，基于所述一个或更多权重在所述内核中的位置来调整所述一个或更多权重的值包括：调整所述一个或更多权重的值，使得包括在所述多个组中的每个中的权重的和是1。
15.根据权利要求12所述的操作方法，其中，基于所述一个或更多权重在所述内核中的位置来调整所述一个或更多权重的值包括：基于所述内核的大小和所述去卷积操作中使用的步幅的大小来确定所述多个组的数量。
16.根据权利要求12所述的操作方法，其中，基于所述一个或更多权重在所述内核中的位置来调整所述一个或更多权重的值包括：基于所述内核的大小和在所述去卷积操作中使用的步幅的大小来确定包括在所述多个组中的每个中的权重的数量。
17.根据权利要求11所述的操作方法，其中，基于所述一个或更多权重在所述内核中的位置来调整所述一个或更多权重的值包括：通过向所述内核应用包括平滑函数的可靠性映射来调整所述权重的值。
18.根据权利要求17所述的操作方法，其中，所述平滑函数包括其中值基于所述可靠性映射的中心逐渐变化的形式的函数。
19.根据权利要求11所述的操作方法，其中，所述第二图像的尺寸大于所述第一图像的尺寸。
20.一种计算机程序产品，包括一个或更多计算机可读记录介质，所述计算机可读记录介质中存储有程序，所述程序用于以下操作：
通过对第一图像和包括一个或更多权重的内核执行去卷积操作来生成第二图像；
基于所述第二图像设置所述一个或更多权重的值；以及
基于所述一个或更多权重在所述内核中的位置来调整所述一个或更多权重的值。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180109874A KR102553146B1 (ko) | 2018-09-13 | 2018-09-13 | 영상 처리 장치 및 그 동작방법 |
| KR10-2018-0109874 | 2018-09-13 | ||
| PCT/KR2019/011858 WO2020055181A1 (ko) | 2018-09-13 | 2019-09-11 | 영상 처리 장치 및 그 동작방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112689849A true CN112689849A (zh) | 2021-04-20 |
Family
ID=69778056
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980060155.5A Pending CN112689849A (zh) | 2018-09-13 | 2019-09-11 | 图像处理装置及其操作方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11961207B2 (zh) |
| EP (1) | EP3839873A4 (zh) |
| KR (1) | KR102553146B1 (zh) |
| CN (1) | CN112689849A (zh) |
| WO (1) | WO2020055181A1 (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11798139B2 (en) * | 2020-11-17 | 2023-10-24 | GM Global Technology Operations LLC | Noise-adaptive non-blind image deblurring |
| KR102448147B1 (ko) | 2021-03-11 | 2022-09-28 | 한국과학기술정보연구원 | 디컨볼루션 연산에 기반한 다차원 정보 생성 방법, 그리고 이를 구현하기 위한 장치 |
| US20230069998A1 (en) * | 2021-09-07 | 2023-03-09 | Samsung Electronics Co., Ltd. | Electronic device for sharpening image and operation method thereof |
| KR20230036409A (ko) * | 2021-09-07 | 2023-03-14 | 삼성전자주식회사 | 이미지를 선명화하는 전자 장치 및 그 동작 방법 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110085743A1 (en) * | 2009-10-13 | 2011-04-14 | Sony Corporation | Method and system for reducing ringing artifacts of image deconvolution |
| US20130321700A1 (en) * | 2012-05-31 | 2013-12-05 | Apple Inc. | Systems and Methods for Luma Sharpening |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7525526B2 (en) | 2003-10-28 | 2009-04-28 | Samsung Electronics Co., Ltd. | System and method for performing image reconstruction and subpixel rendering to effect scaling for multi-mode display |
| JP2009523241A (ja) | 2006-01-13 | 2009-06-18 | マイクロニック レーザー システムズ アクチボラゲット | 光学系での人為的分解能（ａｒｔｉｆｉｃｉａｌｒｅｓｏｌｕｔｉｏｎ）向上のための装置、方法、及びコンピュータ・プログラム |
| US8571309B2 (en) * | 2011-11-15 | 2013-10-29 | At&T Intellectual Property I, L.P. | System and method of image upsampling |
| US11099918B2 (en) * | 2015-05-11 | 2021-08-24 | Xilinx, Inc. | Accelerating algorithms and applications on FPGAs |
| WO2018053340A1 (en) * | 2016-09-15 | 2018-03-22 | Twitter, Inc. | Super resolution using a generative adversarial network |
| US10360494B2 (en) | 2016-11-30 | 2019-07-23 | Altumview Systems Inc. | Convolutional neural network (CNN) system based on resolution-limited small-scale CNN modules |
| WO2018152071A1 (en) * | 2017-02-15 | 2018-08-23 | Flir Systems, Inc. | Systems and methods for efficient enhanced image filtering by collaborative sharpening in similarity domain |
| US10397596B2 (en) * | 2017-08-10 | 2019-08-27 | Cisco Technology, Inc. | Self-similar reference masks for persistency in a video stream |
| KR102017995B1 (ko) * | 2018-01-16 | 2019-09-03 | 한국과학기술원 | 라인 단위 연산을 이용한 초해상화 방법 및 장치 |
| US11176427B2 (en) * | 2018-09-26 | 2021-11-16 | International Business Machines Corporation | Overlapping CNN cache reuse in high resolution and streaming-based deep learning inference engines |
| KR20200067631A (ko) * | 2018-12-04 | 2020-06-12 | 삼성전자주식회사 | 영상 처리 장치 및 그 동작방법 |
| US10909659B2 (en) * | 2018-12-12 | 2021-02-02 | Apical Limited | Super-resolution image processing using a machine learning system |
| KR102420039B1 (ko) * | 2019-05-16 | 2022-07-13 | 삼성전자주식회사 | 전자 장치 및 이의 제어 방법 |
| EP4369282A1 (en) * | 2021-09-02 | 2024-05-15 | Samsung Electronics Co., Ltd. | Image processing apparatus and operation method thereof |
-
2018
- 2018-09-13 KR KR1020180109874A patent/KR102553146B1/ko active IP Right Grant
-
2019
- 2019-09-11 US US17/271,328 patent/US11961207B2/en active Active
- 2019-09-11 CN CN201980060155.5A patent/CN112689849A/zh active Pending
- 2019-09-11 EP EP19860736.8A patent/EP3839873A4/en active Pending
- 2019-09-11 WO PCT/KR2019/011858 patent/WO2020055181A1/ko unknown
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110085743A1 (en) * | 2009-10-13 | 2011-04-14 | Sony Corporation | Method and system for reducing ringing artifacts of image deconvolution |
| US20130321700A1 (en) * | 2012-05-31 | 2013-12-05 | Apple Inc. | Systems and Methods for Luma Sharpening |
Non-Patent Citations (3)
| Title |
|---|
| SATOSHI MOTOHASHI 等: "《A study on blind image restoration of blurred images using R-map》", 2018 INTERNATIONAL WORKSHOP ON ADVANCED IMAGE TECHNOLOGY (IWAIT), 31 May 2018 (2018-05-31), pages 1 - 4 * |
| YUSUKE SUGAWARA 等: "《SUPER-RESOLUTION USING CONVOLUTIONAL NEURAL NETWORKS WITHOUT ANY CHECKERBOARD ARTIFACTS》", 2018 25TH IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING(ICIP), 6 September 2018 (2018-09-06), pages 1 - 4 * |
| YUSUKE SUGAWARA 等: "《Super-Resolution Using Convolutional Neural Networkswithout any Checkerboard Artifacts》", 2018 25TH IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING(ICIP), 6 September 2018 (2018-09-06), pages 1 - 4 * |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20200030988A (ko) | 2020-03-23 |
| EP3839873A4 (en) | 2021-10-27 |
| WO2020055181A1 (ko) | 2020-03-19 |
| US20210183015A1 (en) | 2021-06-17 |
| EP3839873A1 (en) | 2021-06-23 |
| US11961207B2 (en) | 2024-04-16 |
| KR102553146B1 (ko) | 2023-07-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112689849A (zh) | 图像处理装置及其操作方法 | |
| US10373312B2 (en) | Automated skin lesion segmentation using deep side layers | |
| US11954755B2 (en) | Image processing device and operation method thereof | |
| US20190188539A1 (en) | Electronic apparatus and control method thereof | |
| US11921822B2 (en) | Image processing device for improving details of an image, and operation method of the same | |
| US11875257B2 (en) | Normalization method for machine-learning and apparatus thereof | |
| KR102420104B1 (ko) | 영상 처리 장치 및 그 동작방법 | |
| US11074671B2 (en) | Electronic apparatus and control method thereof | |
| CN113228061A (zh) | 电子装置及其控制方法 | |
| US10824944B2 (en) | Method for feature data recalibration and apparatus thereof | |
| US20230214971A1 (en) | Image processing device and operating method therefor | |
| Cazorla et al. | JavaVis: An integrated computer vision library for teaching computer vision | |
| US12086953B2 (en) | Image processing device and operating method thereof | |
| KR102266903B1 (ko) | 영상 처리 장치 및 그 동작방법 | |
| US20230069072A1 (en) | Image processing apparatus and operation method thereof | |
| Ankireddy | Assistive diagnostic tool for brain tumor detection using computer vision | |
| EP4276699A1 (en) | Image processing device and operating method therefor | |
| US20220284565A1 (en) | Image processing apparatus and operating method of the same | |
| US20230169748A1 (en) | Image processing apparatus and operating method thereof | |
| KR102143191B1 (ko) | 특징 데이터 리캘리브레이션 방법 및 그 장치 | |
| KR20230034127A (ko) | 영상 처리 장치 및 그 동작 방법 | |
| KR20220125124A (ko) | 영상 처리 장치 및 그 동작방법 | |
| KR20220125127A (ko) | 영상 처리 장치 및 그 동작방법 | |
| KR20240119812A (ko) | 인공지능 모델을 이용하여 조직학 이미지로부터 패치 단위의 유전자 발현을 예측하는 방법 및 전자 장치 | |
| CN115861862A (zh) | 识别图像的方法和设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |