CN107492066A - 用于执行预处理以获得清晰度提高的图像的图像处理装置和方法 - Google Patents
用于执行预处理以获得清晰度提高的图像的图像处理装置和方法 Download PDFInfo
- Publication number
- CN107492066A CN107492066A CN201611004436.3A CN201611004436A CN107492066A CN 107492066 A CN107492066 A CN 107492066A CN 201611004436 A CN201611004436 A CN 201611004436A CN 107492066 A CN107492066 A CN 107492066A
- Authority
- CN
- China
- Prior art keywords
- image
- wide angle
- deblurring
- picture
- angle picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000012545 processing Methods 0.000 title claims abstract description 52
- 230000009466 transformation Effects 0.000 claims abstract description 47
- 238000006243 chemical reaction Methods 0.000 claims abstract description 36
- 230000000630 rising effect Effects 0.000 claims abstract description 10
- 230000009467 reduction Effects 0.000 claims description 45
- 230000008569 process Effects 0.000 claims description 31
- 238000003672 processing method Methods 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 5
- 230000015572 biosynthetic process Effects 0.000 claims description 2
- 238000005728 strengthening Methods 0.000 claims description 2
- 238000003786 synthesis reaction Methods 0.000 claims description 2
- 230000002708 enhancing effect Effects 0.000 claims 1
- 238000003860 storage Methods 0.000 description 12
- 230000015654 memory Effects 0.000 description 9
- 230000003321 amplification Effects 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 238000003199 nucleic acid amplification method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000001788 irregular Effects 0.000 description 3
- 238000011017 operating method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000011049 filling Methods 0.000 description 1
- 238000005194 fractionation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
- G06T3/047—Fisheye or wide-angle transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/12—Panospheric to cylindrical image transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Geometry (AREA)
Abstract
本发明涉及一种用于执行预处理以获得清晰度提高的图像的图像处理装置和方法，一种用于将广角图像变换成窄角图像的图像处理装置包括：去模糊单元，其对广角图像进行去模糊以生成去模糊的图像；超分辨率SR单元，其对去模糊的图像进行SR处理以生成升尺度的变换的图像；以及视图变换器，其进行视图变换以基于广角图像和升尺度的变换的图像获得窄角图像。
Description
相关申请的交叉引用
本申请要求2016年6月10日在韩国知识产权局所提出的韩国专利申请第10-2016-0072497号的优先权的权益，并通过引用将其全文纳入本文。
技术领域
本公开涉及一种图像处理装置和方法，更具体地，涉及这样一种图像处理装置和方法，其利用去模糊和超分辨率策略以使环视监控器(around view monitor，AVM)升尺度的图像(upscaled image)清晰。
背景技术
由智能手机引起的智能革命渐渐地扩展到甚至影响汽车。为了跳出汽车的过去观念，信息技术(采用利用技术(比如，遥控起动、声音识别、自动驾驶技术等等)的智能车辆)已经用于提高驾驶员的便利性。在各种领域中，已经对用于保证行驶车辆附近的行人(以及驾驶员)安全的技术进行了积极地研发。
当车辆行驶时，如果驾驶员使用后视镜，则在驾驶员的视野中存在盲区。具体地，当驾驶员停车时，这种盲区的存在可能对车辆周围的安全构成威胁，包括行人。为了防止任何碰撞，可以利用电子设备(比如，传感器等等)对邻近物体进行识别或者可以通过使用后置摄像头来辅助驾驶员的视野。在另一种方法中，通过对多个广角摄像头图像进行合成，使用使车辆从车辆上方可视化的俯视图像。当对俯视图像进行合成时，对广角摄像头捕获的图像进行部分升尺度和变换处理。
图像的升尺度处理中现在使用的线性方法可能导致模糊、参差伪影等等，然而这会使升尺度图像的清晰度变差。
发明内容
本公开致力于解决现有技术中出现的上述问题，同时又完整地保持了由现有技术所实现的优点。
本公开的一个方面提供了一种图像处理装置和方法，其能够将从安装在车辆中的广角摄像头获得的图像转换成清晰的环视监控器(AVM)俯视图像，并且根据区域对广角图像选择性地进行去模糊预处理操作以改善广角图像的外部部分的不足，并且能够通过应用超分辨率技术来增强升尺度的图像的清晰度，从而提高最终合成的AVM俯视图像等等的图像质量，从而增强驾驶员的物体识别能力，以促进便利和安全。
根据本公开的示例性实施方案，一种用于将广角图像变换成窄角图像的图像处理装置包括：去模糊单元，其对广角图像进行去模糊以生成去模糊的图像；超分辨率(SR)单元，其对去模糊的图像进行SR处理以生成升尺度的变换的图像；以及视图变换器，其进行视图变换以基于广角图像和升尺度的变换的图像来获得窄角图像。
升尺度的变换的图像可以经由预处理而具有提高的清晰度，并且预处理可以包括广角图像的去模糊和去模糊的图像的SR处理，并且升尺度的变换的图像可以用作到视图变换的输入以增强视图变换的性能，从而获得窄角图像。
去模糊单元可以利用自相似对输入的广角图像进行降尺度(downscale)来进行去模糊策略，并且随后搜索高频信息并将高频信息与输入的广角图像进行合成，从而输出清晰度提高的广角图像。
SR单元可以基于利用基于主动局部二值(LBP)模式分类器的超分辨率策略、应用根据图像模式的形式而适合于相应图像的滤波器，从而获得具有清晰图像质量的升尺度的变换的图像。
视图变换器可以在基于查找表(LUT)的视图变换插值策略的基础上、利用根据查找表所涉及的广角图像的整数位置处存在的邻近像素值，来对非整数坐标位置处存在的像素值进行估计。
去模糊单元可以包括：降尺度单元，其对于输入的广角图像，利用线性插值来生成降尺度的低分辨率图像；第一高斯低通滤波器(LPF)，其对降尺度的低分辨率图像进行低通滤波；第二高斯低通滤波器，其对降尺度的低分辨率图像进行升尺度并且进行低通滤波；第一计算器，其从降尺度的低分辨率图像中减去来自第一高斯低通滤波器的输出以生成高频(HF)分量图像；块匹配单元，其利用来自第一高斯低通滤波器的输出图像与来自第二高斯低通滤波器的输出图像的匹配，搜索并输出与来自第二高斯低通滤波器的输出图像对应的第一计算器的高频分量；第二计算器，其将来自第二高斯低通滤波器的输出图像与来自块匹配单元的高频分量进行合成以输出去模糊的图像。
去模糊单元可以将通过对输入的广角图像进行多尺度(multi-scaling)而获得的多个低分辨率图像进行去模糊，并且随后对去模糊的图像进行插值来获得第一清晰降尺度的图像，并且利用输入的广角图像和第一降尺度的图像、通过插值来生成去模糊的图像。
去模糊单元可以对除了输入的广角图像的平面区域和纹理区域之外的边缘部分进行去模糊。
SR单元可以利用二维有限脉冲响应(2D-FIR)滤波器来获得升尺度的变换的图像。
视图变换器可以利用兰索斯(Lanczos)滤波器进行视图变换。
根据本公开的另一个示例性实施方案，一种用于将广角图像变换成窄角图像的图像处理方法包括如下步骤：对广角图像进行去模糊以生成去模糊的图像；对去模糊的图像进行超分辨率(SR)处理以生成升尺度的变换的图像；以及进行视图变换以基于广角图像和升尺度的变换的图像来获得窄角图像。
升尺度的变换的图像经由预处理而具有提高的清晰度，预处理包括输入的广角图像的去模糊和去模糊的图像的SR处理，具有提高的清晰度的升尺度的变换的图像可以用作到视图变换的输入以增强视图变换的性能，从而获得窄角图像。
在进行去模糊时，可以进行利用自相似的去模糊策略以对输入的广角图像进行降尺度，并且随后可以搜索高频信息并将高频信息与输入的广角图像进行合成，从而输出清晰度提高的广角图像。
在生成升尺度的变换的图像时，可以通过利用基于主动局部二值模式(LBP)的分类器、在超分辨率(SR)策略的基础上、根据图像模式的形式，应用适合于相应图像的滤波器，来获得具有清晰图像质量的升尺度的变换的图像。
在进行视图变换时，可以在基于查找表(LUT)的视图变换插值策略的基础上、利用根据查找表所涉及的广角图像的整数位置处存在的邻近像素值，来对非整数坐标位置处存在的像素值进行估计。
进行去模糊可以包括：对于输入的广角图像，利用线性插值来生成降尺度的低分辨率图像；通过第一高斯低通滤波器(LPF)，对降尺度的低分辨率图像进行低通滤波；通过第二高斯低通滤波器，对降尺度的低分辨率图像进行升尺度并且进行低通滤波；通过第一计算器，从降尺度的低分辨率图像中减去来自第一高斯低通滤波器的输出，以获得高频(HF)分量；通过块匹配单元，利用来自第一高斯低通滤波器的输出图像与来自第二高斯低通滤波器的输出图像的匹配，搜索并输出与来自第二高斯低通滤波器的输出图像对应的第一计算器的高频分量；以及将来自第二高斯低通滤波器的输出图像与来自块匹配单元的高频分量进行合成，以输出去模糊的图像。
在进行去模糊时，可以将通过对输入的广角图像进行多尺度而获得的多个低分辨率图像进行去模糊，并且可以对去模糊的图像进行插值来获得第一清晰降尺度的图像，并且可以利用输入的广角图像和第一降尺度的图像、通过插值来生成去模糊的图像。
在进行去模糊时，可以对除了输入的广角图像的平面区域和纹理区域之外的边缘部分进行去模糊。
在生成升尺度的变换的图像时，可以利用二维有限脉冲响应(2D-FIR)滤波器来获得升尺度的变换的图像。
在进行视图变换时，可以利用Lanczos滤波器进行视图变换。
附图说明
通过随后结合附图所呈现的具体描述，本公开的以上和其它目的、特征以及优点将会更明显，在这些附图中：
图1A和图1B为示出根据本公开的示例性实施方案当对视图进行变换时广角图像与窄角图像之间的映射关系的视图；
图2A和图2B为示出根据本公开的示例性实施方案当对视图进行转换时的超分辨率应用方法的视图；
图3A为根据本公开的示例性实施方案的图像处理装置的框图；
图3B为示出根据本公开的示例性实施方案的图像处理装置的操作的流程图；
图4A和图4B为示出应用到广角图像的外部的模糊核的示例的视图；
图5为根据本公开的示例性实施方案的去模糊单元的框图；
图6A至图6C为示出针对输入的广角图像、根据本公开的示例性实施方案的图像处理结果与现有技术的图像处理结果之间的比较的视图；
图7为示出根据本公开的示例性实施方案的用于实现图像处理装置的方法的示例的视图。
附图中每个元件的附图标记：
像素值210
参考像素值220
像素值205
去模糊单元310
SR单元320
视图变换器330。
具体实施方式
下文中，将参考所附附图对本发明的示例性实施方案进行详细的描述。在整个附图中，相同的附图标记表示相似的元件。而且，省略对相关已知功能和/或结构进行的详细描述。在以下公开的细节中，将描述集中在对理解根据各种实施方案的操作有必要的元件，并且省略对不必要地模糊描述重点的元件进行的详细描述。而且，在附图中，一些元件可能被夸大、省略或者示意性地示出。每个元件的尺寸不完全反映实际尺寸，因此，每个图中示出的元件的相对尺寸或间隔不限制本文所描述的细节。
当在图像的升尺度处理中使用现有线性方法以获得环视监控器(AVM)俯视图像等等时，模糊现象、参差伪影等等可能会使升尺度的图像的清晰度变差。因此，为了提高清晰度，可以使用如下方法：比如，拉普拉斯方法(Laplacian method)、反锐化掩模(unsharpmasking)等等，但是此处，可能使参差伪影或噪声升尺度。
为了减轻这种问题，利用超分辨率(SR)策略对升尺度图像的清晰度进行补偿而使其没有伪影，以提高合成的俯视图像的图像质量。然而这里，关于广角图像的特征，图像的外部不聚焦(相对于其中心部分)，并且可能具有较低的清晰度。由于输入图像的清晰度较低，因此即使对其应用SR策略，提高升尺度的图像的清晰度的效果也会降低。因此，当对输入的广角图像进行预处理时，如果进行了去模糊处理，则可以提高SR策略的复原性能，这最终会使视图变换处理的性能提高，以使输出图像的图像质量最好。
基于该原理，在将从广角摄像头(安装在车辆中)获得的图像转换成环视监控器(AVM)的俯视图像等等时，本公开利用去模糊和SR策略作为预处理以提高图像质量，从而增强驾驶员的物体识别能力以促进用户便利和安全。
图1A和图1B为示出根据本公开的示例性实施方案当对视图进行转换时广角图像与窄角图像之间的映射关系的视图。
参见图1A和图1B，例如，在生成AVM俯视图像时，为了将广角图像110转换成窄角图像120，利用提前产生的查找表(LUT)。LUT指示为了获得形成窄角图像120的每个像素(坐标)的(图像数据)值，将会涉及广角图像110的哪个像素值(图像数据)。然而，为了获得窄角图像120的像素值，利用LUT中广角图像110的整数位置处存在的邻近像素、通过插值，对位于非整数值(非整数的值)坐标处的像素值进行估算。当插值时，通常可以使用双线性插值(非常简单的线性方法)，但是由于其复原性能不好，因此经转换的窄角图像的清晰度可能会稍微降低。
图2A和图2B为示出根据本公开的示例性实施方案当对视图进行转换时的超分辨率应用方法的视图。
参见图2A，例如，在通过视图变换处理而根据广角图像生成窄角图像的过程中，确定与广角图像的非整数坐标对应的像素值210。为了确定非整数坐标的像素值210，参照周围整数坐标处存在的像素值205进行插值。因此，当实际存在的像素(参考像素)之间的空间变窄时，可以提高插值的性能。因此，当利用通过升尺度图像的SR策略(同时有效地复原其清晰度)而获得的参考像素值220时，可以减小进行插值所需要的像素之间的空间，从而可以增强视图变换处理中的性能。
图3A为根据本公开的示例性实施方案的图像处理装置300的框图。
参见图3A，根据本示例性实施方案的图像处理装置300包括：去模糊单元310、SR单元320和视图变换器330。去模糊单元310、SR单元320和视图变换器330可以通过硬件(比如，半导体处理器)、软件(比如，应用程序)、或者它们的组合来实现。
首先，将对根据本示例性实施方案的图像处理装置300的组件的操作进行简单的描述。
去模糊单元310通过改善特性以增加广角图像外部部分的清晰度，而使SR处理的性能最好。为了解决未聚焦的外部部分中出现的模糊现象(朦胧)(在广角图像的光学特性方面)，去模糊单元310将输入的广角图像的外部部分假设为模糊图像(基于模糊图像建模，具有高斯形式的模糊核)，并且利用自相似特性执行去模糊方法，以从降尺度的输入图像中搜索高频(HF)信息，并将搜索出的HF信息与输入的广角图像进行合成，从而输出清晰度提高的广角图像。即，去模糊单元310通过将模糊的输入的广角图像进行降尺度来生成分辨率较低的清晰图像，将HF信息分离，并且将分离出的HF信息与模糊的输入的广角图像进行合成，从而生成清晰度提高的广角图像。
SR单元320对从去模糊单元310输出的广角图像进行SR，以生成升尺度的图像，作为没有伪影的清晰图像。在SR处理期间，当对图像进行升尺度时，利用基于主动局部二值模式(LBP)的分类器、在SR策略的基础上、根据图像模式的形式，应用适合于相应图像的滤波器，以获得具有清晰图像质量的升尺度的变换的图像。由于图像利用SR进行了升尺度，可以减小进行视图变换时插值中所使用的整数位置像素之间的空间，从而增强在视图变换过程中的性能。
为了获得与SR单元320进行升尺度的广角图像对应的窄角图像，视图变换器330在基于LUT的视图变换插值的基础上、利用根据LUT所涉及的广角图像的整数位置处存在的周边像素值，来对位于非整数坐标位置处的像素值进行估计。
以这种方式，在本公开中，当从安装在车辆中的广角摄像头获得的图像被转换成清晰的AVM俯视图像时，进行去模糊和SR策略作为预处理，以获得清晰度提高的升尺度的图像，并且在视图变换处理中，输入清晰度提高的升尺度的图像，从而AVM图像的图像质量等等可以最终提高，从而可以增强驾驶员识别物体的能力，以促进便利和安全。
在下文中，将参照图3B对根据本公开的示例性实施方案的图像处理装置300的操作进行更详细的描述。
图3B为示出根据本公开的示例性实施方案的图像处理装置300的操作的流程图。
首先，参见图3B，在操作步骤S311中，为了通过防止模糊的广角图像的外部部分的清晰度变差来使SR处理的性能最好，去模糊单元310对模糊的输入的广角图像进行去模糊，以生成清晰度提高的广角图像。即，去模糊单元310输出去模糊的图像，解决当广角图像的外部部分未聚焦而在光学特性方面发生的模糊现象。
<1.模糊核建模的使用>
车辆的广角摄像头等捕获的广角图像具有如下特性：其外部部分在光学特性方面不完美聚焦，与图像的中心部分相比具有更低的清晰度。当通过将这种特性应用到模糊图像建模函数(比如，等式1)而对关于广角图像(X为坐标，N为噪声)的外部部分(像素值)Y的模糊核K进行估计时，可以将广角图像的外部部分估计为具有高斯形式的模糊核。
[等式1]
Y＝X*K+N
当对图像视图进行变换时，可以关于广角图像的外部部分对模糊核进行估计，并且根据情况，当变换的区域固定到广角图像的外部部分时，可以假设，对应区域的模糊核具有统一的高斯形式，并且可以省略模糊核的估计过程，以节省图像处理时间。图4A和图4B为示出应用到广角图像(由附图标记410表示)的外部部分的模糊核420(比如，应用到像素的高斯形式的权重值)的视图。
以这种方式，去模糊单元310将输入的广角图像的外部部分假设为模糊的图像(在模糊图像建模的基础上具有高斯形式的模糊核)，并且利用自相似特性进行去模糊方法，以从降尺度的输入图像中搜索高频(HF)信息，并将搜索出的HF信息与输入的广角图像进行合成，从而输出清晰度提高的广角图像。即，去模糊单元310通过将模糊的输入的广角图像进行降尺度来生成分辨率较低的清晰图像，将HF信息分离，并且将分离出的HF信息与模糊的输入的广角图像进行合成，从而生成清晰度提高的广角图像。
换言之，通过采用不同的分辨率对相同场景进行捕获而获得的相同的自然图像具有自相似特性，即，图像特性(比如，边缘等等)是部分相似的。而且，采用高斯核进行模糊的图像可以是低频带图像(通常不具有高频分量)。然而，当对模糊的输入的广角图像进行降尺度时，生成存在高频分量的高清晰度(尽管其分辨率较低)的图像。因此，在本公开中，为了基于特性来提高模糊的输入的广角图像的清晰度，对输入图像进行降尺度以获得清晰度较高的图像，并且提取高频分量并将高频分量与输入图像进行合成，从而最终使高频分量复原，以输出清晰度提高的图像。
<2.自相似特性的使用>
将参照如图5中所示的示例性实施方案对利用自相似特性的去模糊策略进行描述。
图5为根据本公开的示例性实施方案的去模糊单元310的框图。
参见图5，根据本示例性实施方案的去模糊单元310包括：降尺度单元311、第一高斯低通滤波器(LPF)312、第二高斯低通滤波器313、块匹配单元314、第一计算器315和第二计算器316。
<高频分量的提取>
为了从采用高斯核进行模糊的输入的广角图像中提取高频分量，首先，降尺度单元311对于输入的广角图像I，利用线性插值D来生成降尺度的低分辨率图像LR，如等式2中所示。降尺度的低分辨率图像LR为包括高频分量的清晰图像。接下来，第一高斯LPF 312(高斯形式的LPF)对低分辨率图像LR进行处理以生成低频分量图像LRLF，并且第一计算器315可以从低分辨率图像LR中减去低频分量图像LRLF以生成高频分量图像LRHF。拆分的低频/高频分量图像LRLF和LRHF输入至块匹配单元314。
[等式2]
LR＝D(I)
LRLF＝LPF1*LR
LRHF＝LR-LRLF
<匹配过程>
为了将适合于输入的广角图像的高频分量进行合成，需要提前进行将输入的广角图像I与低分辨率图像LR进行匹配的过程。两幅图像所处的频率分量的带宽范围是不同的。因此，关于输入的广角图像I，第二高斯LPF 313进行升尺度(比如，借助降尺度的反向)并且对降尺度的低分辨率图像LR进行低通滤波，以生成升尺度的低频分量图像HRLF(比如，对应于输入的广角图像)，如等式3中所示。
因此，块匹配单元314可以将具有相同频带的两个相应的图像块LRLF和HRLF进行匹配。可以以预定块或片为单位进行匹配过程。
[等式3]
HRLF＝LPF2*I
在如上所述的将输入的广角图像和低频的低分辨率图像进行拆分的每个过程中，可以使用具有不同西格玛(sigma)值(比如，用于确定高斯图的宽度或模糊核的尺寸的标准差)的高斯滤波器。这是为了使对具有低频带分量的输入的广角图像与具有整个频带分量的低分辨率图像进行滤波的结果具有相同的频带分量，因为经由空间滤波进行低通滤波。而且，由于高斯滤波应用到输入的广角图像，所以可以降低成像过程期间产生的噪声和伪影的影响，以增强匹配性能。
<合成过程>
块匹配单元314可以针对经由匹配过程当前升尺度的关于低频分量图像HRLF块(比如，对应于输入的广角图像)，从与其对应的第一计算器315中，搜索具有低分辨率的低频分量LRLF和高频分量LRHF。以片为单位进行将高频分量复原以最终合成清晰度提高的图像的过程，并且第二计算器316可以将当前升尺度的低频分量图像块HRLF(比如，对应于输入的广角图像)和高频分量图像块LRHF(来自与其对应的块匹配单元314)进行合成以输出去模糊的图像，如等式4中所示。即，去模糊的输出图像的片O(p)可以表示为输入的广角图像的低频分量片HRLF(p)和与其匹配的低分辨率图像的高频分量图像片LRHF(p)的合成值，如等式4中所示。
[等式4]
O(p)＝HRLF(p)+LRHF(p)
<3.多尺度策略>
当对输入图像进行降尺度以具有更小的尺寸时，利用自相似的方法可以获得更清晰的图像，但是，由于其与输入图像的相似度降低，使得匹配性能变差。另一方面，如果没有对图像进行充分地降尺度和使用，则可以增强匹配性能，但是低分辨率图像的清晰度稍微降低，使得难以确定最终图像的清晰度提高效果。
为了解决该问题，在本公开中，在两个阶段中进行去模糊过程。首先，去模糊单元310对具有不同分辨率的多个低分辨率图像(经由如图5中所示的操作、通过对输入图像进行多尺度(1/2放大，2/3放大等等)而获得)进行去模糊，并随后根据去模糊的图像，通过插值等来生成清晰降尺度(2/3放大等等)的图像。之后，去模糊单元310可以利用输入图像和2/3放大的清晰降尺度图像等，通过插值等来最终生成具有输入图像的分辨率的清晰的去模糊图像。
<4.按照区域的去模糊>
当去模糊策略以相同的方式应用于整个输入的广角图像时，由于图像的中心部分具有足够的清晰度并且平面区域和纹理区域不易受模糊的影响，因此，在平面区域和纹理区域中减小去模糊的作用。而且，由于用户可以识别出边缘部分中清晰度的较大提高，因此，去模糊单元310可以仅在边缘分量中进行去模糊过程，省略在平面区域和纹理区域中的去模糊过程。
例如，在应用高斯拉普拉斯(Laplacian of Gaussian，其是通常使用的边缘检测方法)时，可以使图像升尺度为双倍等等，以检测更清晰的边缘。去模糊单元310可以通过给出权重值来辨别边缘，使得图像的外部部分的边缘可以在过零点过程中更容易地检测到。之后，去模糊单元310可以去除异常值，进行空洞填补，并且使图像升尺度为双倍，以检测最终边缘区域，并且仅在作为边缘区域的片上进行去模糊过程。
在操作步骤S321，SR单元320对从去模糊单元310输出的广角图像进行SR处理，以生成无伪影、具有高分辨率的升尺度清晰图像。在SR过程期间，当对图像进行升尺度时，利用基于主动局部二值模式(LBP)的分类器、在SR策略的基础上、根据模式的形式，应用适合于相应图像的滤波器，以获得具有清晰图像质量的升尺度的变换的图像。由于利用SR对图像进行了升尺度，所以在视图变换时插值中所使用的整数位置像素之间的空间可以减小，从而增强视图变换过程的性能。
SR单元320进行的SR过程包括学习过程和合成过程。
<1.学习过程>
在学习过程期间，输入成对的低分辨率图像和高分辨率图像，并且通过基于LBP的分类器对各图像的模式进行分类并编码，以及计算关于相应模式的滤波器系数并存储在预定词典数据库(DB)中。
<2.合成过程>
在合成过程期间，使用如下策略：利用寻址策略从词典DB中检索滤波器系数。
关于低分辨率图像的输入，利用学习过程中使用的基于LBP的分类器对相应模式进行编码，并且通过将编码用作与模式对应的滤波器系数的地址值而从词典DB中检索滤波器系数，以调用用于SR的滤波器。此处，检索与模式对应的滤波器而不进行特征匹配过程，从而可以以高速进行该处理。最终，对于输入的低分辨率图像片，SR单元320可以输出具有清晰图像质量的升尺度的高分辨率片(其通过利用用于SR的二维有限脉冲响应(2D-FIR)滤波器进行滤波而复原)。
在操作步骤S331，为了获得与SR单元320进行升尺度的广角图像对应的窄角图像，视图变换器330在基于LUT的视图变换插值的基础上、利用根据LUT所涉及的广角图像的整数位置处存在的邻近像素值，对位于非整数坐标位置处的像素值进行估计。
为了获得窄角图像120的像素值，通过利用位于LUT中的整数位置处的邻近像素值、应用双线性插值来对位于非整数值坐标的像素值进行估计。由于在双线性插值中应用包括四抽头的滤波器，因此，在对非整数位置处的广角图像值进行变换时获得性能相对较低的结果。
除了使用双线性插值之外，在本公开中，视图变换器330可以利用Lanczos滤波器、基于如等式5中所示的理想辛克(sinc)函数L(x)，来计算每个坐标x处的像素值。使用Lanczos滤波器提高插值性能。为了利用根据LUT所涉及的整数位置处存在的邻近像素值，来对非整数坐标位置处存在的像素值进行估计，等式5中的系数“a”选为合适的值(比如，3)，并且选择预定数量的抽头(比如，宽度和长度上总共为36个抽头)，使用与现有技术更精确的权重值，以利用广角图像的大量像素值，从而在对图像进行变换时获得改善的结果。
[等式5]
图6A至图6C为示出对于输入的广角图像610、根据本公开的示例性实施方案的图像处理结果630与现有技术的图像处理结果620之间的比较的视图。
如图6A至图6C中所示，可以看出，与图6B(基于视图变换策略的现有技术使用双线性滤波器)中所示的图像处理结果620相比，在图6C中所示的本公开的图像处理结果630中(其基于应用去模糊和SR预处理以及利用Lanczos滤波器的视图变换策略)，AVM俯视图像的图像质量改善为更清晰。
图7为示出用于实现图像处理装置100的装置的示例性实施方案的视图。图像处理装置100可以包括：硬件、软件、或者它们的组合。例如，图像处理装置100可以实现为图7中所示的计算系统1000。
计算系统1000可以包括经由总线1200连接的至少一个处理器1100、存储器1300、用户接口输入设备1400、用户接口输出设备1500、储存区1600以及网络接口1700。处理器1100可以是执行存储在中央处理单元(CPU)或存储器1300和/或储存区1600中的命令语言的半导体器件。存储器1300和储存区1600可以包括各种类型的易失性或非易失性存储介质。例如，存储器1300可以包括只读存储器(ROM)1310和随机存取存储器(RAM)1320。
因此，与本公开的示例性实施方案相关的上述方法或算法的步骤可以由硬件、软件模块或其组合直接地实现、由处理器1100执行。软件模块可以存在于存储介质(即，存储器1300和/或储存区1600)中，比如，RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可拆卸盘或CD-ROM。示例性存储介质联接到处理器1100，并且处理器1100可以从存储介质读取信息并且可以将信息写入存储介质。在另一个方法中，存储介质可以与处理器1100集成。处理器1100和存储介质可以位于专用集成电路(ASIC)中。ASIC可以位于用户终端。在另一个方法中，处理器1100和存储介质可以作为单独组件位于用户终端中。
如上所示，在根据本公开的示例性实施方案的图像处理装置100中，通过模糊图像建模对广角图像(从安装在车辆中的广角摄像头获得)的外部部分的模糊核进行估计，通过利用自相似、去模糊，根据降尺度的输入图像来获得高频信息，并且将高频信息与输入图像进行合成，以输出清晰度提高的广角图像。而且，通过利用超分辨率(SR)对图像进行升尺度，在视图变换的情况下，插值中使用的像素之间的空间可以变窄，以增强视图变换过程中的性能。因此，在视图变换过程中，输入通过去模糊预处理和SR过程而清晰度提高的放大的图像，并且AVM俯视图像的图像质量提高，从而驾驶员的物体识别能力增强，以促进便利和安全。
根据本公开的图像处理装置和方法，当将由安装在车辆中的广角摄像头获得的图像变换成AVM俯视图像时，对图像进行预处理时应用去模糊和SR策略，以提高AVM俯视图像的图像质量，从而驾驶员的物体识别能力增强，以促进便利和安全。
如上所述，尽管已经参照示例性实施方案和附图对本公开进行了描述，但是本公开不限于此，而是不脱离所附权利要求书中所要求的本公开的精神和范围的情况下，本公开所属领域的技术人员可以进行各种修改和改变。
Claims (20)
1.一种用于将广角图像变换成窄角图像的图像处理装置，所述图像处理装置包括：
去模糊单元，其对广角图像进行去模糊以生成去模糊的图像；
超分辨率单元，其对去模糊的图像进行超分辨率处理，以生成升尺度的变换的图像；
视图变换器，其进行视图变换以基于广角图像和升尺度的变换的图像来获得窄角图像。
2.根据权利要求1所述的用于将广角图像变换成窄角图像的图像处理装置，其中，升尺度的变换的图像经由预处理而具有提高的清晰度，并且预处理包括广角图像的去模糊和去模糊的图像的超分辨率处理，并且升尺度的变换的图像用作到视图变换的输入，以增强视图变换的性能，从而获得窄角图像。
3.根据权利要求1所述的用于将广角图像变换成窄角图像的图像处理装置，其中，去模糊单元利用自相似对广角图像进行降尺度并搜索高频信息，且将高频信息与广角图像进行合成，从而输出清晰度提高的去模糊的图像。
4.根据权利要求1所述的用于将广角图像变换成窄角图像的图像处理装置，其中，超分辨率单元利用基于局部二值模式的分类器、在超分辨率策略的基础上、根据图像模式，应用适合于对应图像的滤波器。
5.根据权利要求1所述的用于将广角图像变换成窄角图像的图像处理装置，其中，视图变换器在基于查找表的视图变换插值策略的基础上、利用根据查找表所涉及的广角图像的整数位置处存在的邻近像素值，来对非整数坐标位置处存在的像素值进行估计。
6.根据权利要求1所述的用于将广角图像变换成窄角图像的图像处理装置，其中，去模糊单元包括：
降尺度单元，其对于输入的广角图像，利用线性插值来生成降尺度的低分辨率图像；
第一高斯低通滤波器，其对降尺度的低分辨率图像进行低通滤波；
第二高斯低通滤波器，其对降尺度的低分辨率图像进行升尺度并且进行低通滤波；
第一计算器，其从降尺度的低分辨率图像中减去来自第一高斯低通滤波器的输出，以生成高频分量图像；
块匹配单元，其利用来自第一高斯低通滤波器的输出图像与来自第二高斯低通滤波器的输出图像的匹配，搜索并输出与来自第二高斯低通滤波器的输出图像对应的第一计算器的高频分量；
第二计算器，其将来自第二高斯低通滤波器的输出图像与来自块匹配单元的高频分量进行合成以输出去模糊的图像。
7.根据权利要求1所述的用于将广角图像变换成窄角图像的图像处理装置，其中，去模糊单元将通过对广角图像进行多尺度而获得的多个低分辨率图像进行去模糊，并对去模糊的图像进行插值来获得第一清晰降尺度的图像，且利用广角图像和第一降尺度的图像、通过插值来生成去模糊的图像。
8.根据权利要求1所述的用于将广角图像变换成窄角图像的图像处理装置，其中，去模糊单元对除了广角图像的平面区域和纹理区域之外的边缘部分进行去模糊。
9.根据权利要求1所述的用于将广角图像变换成窄角图像的图像处理装置，其中，超分辨率单元利用二维有限脉冲响应滤波器来获得升尺度的变换的图像。
10.根据权利要求1所述的用于将广角图像变换成窄角图像的图像处理装置，其中，视图变换器利用Lanczos滤波器进行视图变换。
11.一种用于将广角图像变换成窄角图像的图像处理方法，所述方法包括如下步骤：
对广角图像进行去模糊以生成去模糊的图像；
对去模糊的图像进行超分辨率处理以生成升尺度的变换的图像；
进行视图变换，以基于广角图像和升尺度的变换的图像来获得窄角图像。
12.根据权利要求11所述的用于将广角图像变换成窄角图像的图像处理方法，其中，升尺度的变换的图像经由预处理而具有提高的清晰度，并且预处理包括广角图像的去模糊和去模糊的图像的超分辨率处理，以及升尺度的变换的图像用作到视图变换的输入以增强视图变换的性能，从而获得窄角图像。
13.根据权利要求11所述的用于将广角图像变换成窄角图像的图像处理方法，其中，在去模糊的步骤中，进行利用自相似的去模糊策略以对广角图像进行降尺度，并且搜索高频信息并将高频信息与输入的广角图像进行合成，从而输出去模糊的图像。
14.根据权利要求11所述的用于将广角图像变换成窄角图像的图像处理方法，其中，在生成升尺度的变换的图像的步骤中，通过利用基于主动局部二值模式分类器、在超分辨率策略的基础上、根据图像模式，应用适合于对应图像的滤波器，来获得升尺度的变换的图像。
15.根据权利要求11所述的用于将广角图像变换成窄角图像的图像处理方法，其中，在进行视图变换的步骤中，在基于查找表的视图变换插值策略的基础上、利用根据查找表所涉及的广角图像的整数位置处存在的邻近像素值，来对非整数坐标位置处存在的像素值进行估计。
16.根据权利要求11所述的用于将广角图像变换成窄角图像的图像处理方法，其中，进行去模糊的步骤包括如下步骤：
对于广角图像，利用线性插值来生成降尺度的低分辨率图像；
通过第一高斯低通滤波器，对降尺度的低分辨率图像进行低通滤波；
通过第二高斯低通滤波器，对降尺度的低分辨率图像进行升尺度并且进行低通滤波；
通过第一计算器，从降尺度的低分辨率图像中减去来自第一高斯低通滤波器的输出；
通过块匹配单元，利用来自第一高斯低通滤波器的输出图像与来自第二高斯低通滤波器的输出图像的匹配，搜索并输出与来自第二高斯低通滤波器的输出图像对应的第一计算器的高频分量；
将来自第二高斯低通滤波器的输出图像与来自块匹配单元的高频分量进行合成，以输出去模糊的图像。
17.根据权利要求11所述的用于将广角图像变换成窄角图像的图像处理方法，其中，在进行去模糊的步骤中，将通过对输入的广角图像进行多尺度而获得的多个低分辨率图像进行去模糊，并且对去模糊的图像进行插值来获得第一清晰降尺度的图像，以及利用广角图像和第一降尺度的图像、通过插值来生成去模糊的图像。
18.根据权利要求11所述的用于将广角图像变换成窄角图像的图像处理方法，其中，在进行去模糊的步骤中，对除了广角图像的平面区域和纹理区域之外的边缘部分进行去模糊。
19.根据权利要求11所述的用于将广角图像变换成窄角图像的图像处理方法，其中，在生成升尺度的变换的图像的步骤中，利用二维有限脉冲响应滤波器来获得升尺度的变换的图像。
20.根据权利要求11所述的用于将广角图像变换成窄角图像的图像处理方法，其中，在进行视图变换的步骤中，利用Lanczos滤波器进行视图变换。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160072497A KR101795271B1 (ko) | 2016-06-10 | 2016-06-10 | 영상의 선명화를 위한 전처리를 수행하는 영상 처리 장치 및 방법 |
| KR10-2016-0072497 | 2016-06-10 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107492066A true CN107492066A (zh) | 2017-12-19 |
| CN107492066B CN107492066B (zh) | 2021-12-31 |
Family
ID=60384959
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611004436.3A Active CN107492066B (zh) | 2016-06-10 | 2016-11-15 | 用于执行预处理以获得清晰度提高的图像的图像处理装置和方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US10007972B2 (zh) |
| KR (1) | KR101795271B1 (zh) |
| CN (1) | CN107492066B (zh) |
| DE (1) | DE102016121959A1 (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110619604A (zh) * | 2019-09-17 | 2019-12-27 | 中国气象局公共气象服务中心(国家预警信息发布中心) | 三维降尺度方法、装置、电子设备及可读存储介质 |
| WO2020192499A1 (zh) * | 2019-03-28 | 2020-10-01 | 杭州海康威视数字技术股份有限公司 | 一种图像处理方法及设备 |
| CN113065844A (zh) * | 2021-03-15 | 2021-07-02 | 武汉大学 | 一种专利数据管理系统、方法及电子设备 |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6724982B2 (ja) * | 2016-04-13 | 2020-07-15 | ソニー株式会社 | 信号処理装置および撮像装置 |
| KR102027886B1 (ko) | 2017-12-12 | 2019-10-02 | 인천대학교 산학협력단 | 대형 디스플레이의 영상 크기 조절 장치 및 방법 |
| US11164015B2 (en) * | 2018-05-08 | 2021-11-02 | Ford Global Technologies, Llc | Simultaneous diagnosis and shape estimation from a perceptual system derived from range sensors |
| KR102053099B1 (ko) | 2018-06-07 | 2019-12-06 | 현대오트론 주식회사 | 어라운드 뷰 모니터링 시스템 및 그것의 동작 방법 |
| CN111986069A (zh) | 2019-05-22 | 2020-11-24 | 三星电子株式会社 | 图像处理装置及其图像处理方法 |
| CN111476745B (zh) * | 2020-01-13 | 2023-07-25 | 杭州电子科技大学 | 一种进行运动模糊超分辨的多分支网络及方法 |
| WO2022005157A1 (en) | 2020-07-02 | 2022-01-06 | Samsung Electronics Co., Ltd. | Electronic device and controlling method of electronic device |
| KR20220075028A (ko) | 2020-11-26 | 2022-06-07 | 삼성전자주식회사 | 다중 크롭 기능을 갖는 이미지 센서를 포함하는 전자 장치 |
| US11756171B1 (en) * | 2021-07-07 | 2023-09-12 | Gopro, Inc. | Systems and methods for increasing image fidelity |
| KR102593677B1 (ko) | 2022-06-28 | 2023-10-25 | 주식회사 포딕스시스템 | 객체 검출 이미지 전처리 장치 및 방법 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070189630A1 (en) * | 2006-02-15 | 2007-08-16 | Sony Deutschland Gmbh | Method for processing digital image data |
| US20110128138A1 (en) * | 2009-11-30 | 2011-06-02 | Fujitsu Ten Limited | On-vehicle device and recognition support system |
| US20130016918A1 (en) * | 2011-07-13 | 2013-01-17 | Akshayakumar Haribhatt | Wide-Angle Lens Image Correction |
| US20140023291A1 (en) * | 2012-07-17 | 2014-01-23 | Zhe Lin | Methods and apparatus for image deblurring and sharpening using local patch self-similarity |
| CN104200450A (zh) * | 2014-08-25 | 2014-12-10 | 华南理工大学 | 一种红外热图像清晰度增强方法 |
| US20150086131A1 (en) * | 2013-09-26 | 2015-03-26 | Siemens Aktiengesellschaft | Single-image super resolution and denoising using multiple wavelet domain sparsity |
| US20150093015A1 (en) * | 2013-09-26 | 2015-04-02 | Hong Kong Applied Science & Technology Research Institute Company Limited | Visual-Experience-Optimized Super-Resolution Frame Generator |
| US20150296122A1 (en) * | 2014-04-09 | 2015-10-15 | International Business Machines Corporation | Real-time sharpening of raw digital images |
| US20150348248A1 (en) * | 2014-06-02 | 2015-12-03 | Nec Corporation | Information processing apparatus, system, method, and medium storing program |
| CN105453133A (zh) * | 2013-08-07 | 2016-03-30 | 索尼公司 | 图像处理装置和方法、眼底图像处理装置、图像拍摄方法、及眼底图像拍摄装置和方法 |
Family Cites Families (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7893985B1 (en) * | 2004-03-15 | 2011-02-22 | Grandeye Ltd. | Wide angle electronic camera with improved peripheral vision |
| US7545391B2 (en) * | 2004-07-30 | 2009-06-09 | Algolith Inc. | Content adaptive resizer |
| WO2008050320A2 (en) | 2006-10-23 | 2008-05-02 | Ben Gurion University Of The Negev, Research And Development Authority | Blind restoration of images degraded by isotropic blur |
| JP4876862B2 (ja) * | 2006-11-13 | 2012-02-15 | トヨタ自動車株式会社 | 画像処理装置 |
| JP4844979B2 (ja) | 2007-08-30 | 2011-12-28 | 京セラ株式会社 | 画像処理方法と該画像処理方法を用いた撮像装置 |
| WO2009150696A1 (ja) * | 2008-06-10 | 2009-12-17 | 富士通株式会社 | 画像補正装置および画像補正方法 |
| KR101140414B1 (ko) | 2010-02-22 | 2012-05-03 | 한국외국어대학교 연구산학협력단 | 디블러링 지원 디지털 촬영 장치 및 그 방법 |
| EP2615579A1 (en) | 2012-01-12 | 2013-07-17 | Thomson Licensing | Method and device for generating a super-resolution version of a low resolution input data structure |
| JP5809575B2 (ja) * | 2012-01-31 | 2015-11-11 | 株式会社日立ハイテクノロジーズ | 画像処理装置および方法と歪補正マップ作成装置および方法と半導体計測装置 |
| US9288395B2 (en) * | 2012-11-08 | 2016-03-15 | Apple Inc. | Super-resolution based on optical image stabilization |
| US9336574B2 (en) * | 2013-01-07 | 2016-05-10 | GM Global Technology Operations LLC | Image super-resolution for dynamic rearview mirror |
| WO2014154773A1 (en) * | 2013-03-27 | 2014-10-02 | Thomson Licensing | Method and apparatus for generating a super-resolved image from a single image |
| KR101500552B1 (ko) | 2013-03-29 | 2015-03-10 | 주식회사 이미지넥스트 | 차량의 영상 처리 장치 및 방법 |
| US9432576B2 (en) * | 2013-08-02 | 2016-08-30 | Texas Instruments Incorporated | Method and apparatus for fusing images from an array of cameras |
| US9569684B2 (en) * | 2013-09-09 | 2017-02-14 | Adobe Systems Incorporated | Image enhancement using self-examples and external examples |
| US9875523B2 (en) | 2013-12-03 | 2018-01-23 | Mitsubishi Electric Corporation | Image processing apparatus and image processing method |
| JP5701467B1 (ja) * | 2013-12-03 | 2015-04-15 | 三菱電機株式会社 | 画像処理装置及び画像処理方法 |
| KR101471846B1 (ko) | 2014-03-28 | 2014-12-12 | 주식회사 로보티어 | Fx 감시카메라를 제어하는 콘트롤박스 및 fx 보안 시스템 및 fx 보안시스템 제어방법 |
| KR102179262B1 (ko) | 2014-06-11 | 2020-11-16 | 삼성전자주식회사 | 렌즈 왜곡 보정 장치 및 이를 포함하는 애플리케이션 프로세서 |
| KR101705949B1 (ko) | 2014-12-15 | 2017-02-10 | 김웅 | 싱크대와 가스버너가 구비된 접이식 테이블 |
| US10176558B2 (en) * | 2014-12-29 | 2019-01-08 | Nokia Technologies Oy | Method, apparatus and computer program product for motion deblurring of images |
-
2016
- 2016-06-10 KR KR1020160072497A patent/KR101795271B1/ko active IP Right Grant
- 2016-10-24 US US15/331,980 patent/US10007972B2/en active Active
- 2016-11-15 DE DE102016121959.2A patent/DE102016121959A1/de active Pending
- 2016-11-15 CN CN201611004436.3A patent/CN107492066B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070189630A1 (en) * | 2006-02-15 | 2007-08-16 | Sony Deutschland Gmbh | Method for processing digital image data |
| US20110128138A1 (en) * | 2009-11-30 | 2011-06-02 | Fujitsu Ten Limited | On-vehicle device and recognition support system |
| US20130016918A1 (en) * | 2011-07-13 | 2013-01-17 | Akshayakumar Haribhatt | Wide-Angle Lens Image Correction |
| US20140023291A1 (en) * | 2012-07-17 | 2014-01-23 | Zhe Lin | Methods and apparatus for image deblurring and sharpening using local patch self-similarity |
| CN105453133A (zh) * | 2013-08-07 | 2016-03-30 | 索尼公司 | 图像处理装置和方法、眼底图像处理装置、图像拍摄方法、及眼底图像拍摄装置和方法 |
| US20150086131A1 (en) * | 2013-09-26 | 2015-03-26 | Siemens Aktiengesellschaft | Single-image super resolution and denoising using multiple wavelet domain sparsity |
| US20150093015A1 (en) * | 2013-09-26 | 2015-04-02 | Hong Kong Applied Science & Technology Research Institute Company Limited | Visual-Experience-Optimized Super-Resolution Frame Generator |
| US20150296122A1 (en) * | 2014-04-09 | 2015-10-15 | International Business Machines Corporation | Real-time sharpening of raw digital images |
| US20150348248A1 (en) * | 2014-06-02 | 2015-12-03 | Nec Corporation | Information processing apparatus, system, method, and medium storing program |
| CN104200450A (zh) * | 2014-08-25 | 2014-12-10 | 华南理工大学 | 一种红外热图像清晰度增强方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020192499A1 (zh) * | 2019-03-28 | 2020-10-01 | 杭州海康威视数字技术股份有限公司 | 一种图像处理方法及设备 |
| CN110619604A (zh) * | 2019-09-17 | 2019-12-27 | 中国气象局公共气象服务中心(国家预警信息发布中心) | 三维降尺度方法、装置、电子设备及可读存储介质 |
| CN113065844A (zh) * | 2021-03-15 | 2021-07-02 | 武汉大学 | 一种专利数据管理系统、方法及电子设备 |
| CN113065844B (zh) * | 2021-03-15 | 2022-07-29 | 武汉大学 | 一种专利数据管理系统、方法及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20170358061A1 (en) | 2017-12-14 |
| US10007972B2 (en) | 2018-06-26 |
| CN107492066B (zh) | 2021-12-31 |
| KR101795271B1 (ko) | 2017-11-07 |
| DE102016121959A1 (de) | 2017-12-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107492066A (zh) | 用于执行预处理以获得清晰度提高的图像的图像处理装置和方法 | |
| Yang et al. | Scale-free single image deraining via visibility-enhanced recurrent wavelet learning | |
| CN109461157B (zh) | 基于多级特征融合及高斯条件随机场的图像语义分割方法 | |
| US9105086B2 (en) | Method and device for generating a super-resolution version of a low resolution input data structure | |
| CN106651938B (zh) | 一种融合高分辨率彩色图像的深度图增强方法 | |
| Pham et al. | Robust fusion of irregularly sampled data using adaptive normalized convolution | |
| Gao et al. | An improved Sobel edge detection | |
| CN105051785B (zh) | 用于运动估算的方法和装置 | |
| US9245326B2 (en) | Method and device for generating a super-resolution version of a low resolution input data structure | |
| Sengar et al. | Moving object detection using statistical background subtraction in wavelet compressed domain | |
| CN113191325B (zh) | 一种图像融合方法、系统及其应用 | |
| Shin et al. | Super-resolution image reconstruction using wavelet based patch and discrete wavelet transform | |
| CN114782705A (zh) | 一种物体封闭轮廓的检测方法和装置 | |
| Arulkumar et al. | Super resolution and demosaicing based self learning adaptive dictionary image denoising framework | |
| Sharma et al. | Different techniques of image SR using deep learning: a review | |
| Peng et al. | Efficient image resolution enhancement using edge-directed unsharp masking sharpening for real-time ASIC applications | |
| Yuan et al. | Fast super-resolution for license plate image reconstruction | |
| Koo et al. | An image resolution enhancing technique using adaptive sub-pixel interpolation for digital still camera system | |
| Zheng et al. | Depth image super-resolution using multi-dictionary sparse representation | |
| Zhao et al. | Single depth image super-resolution with multiple residual dictionary learning and refinement | |
| Daithankar et al. | Analysis of the wavelet domain filtering approach for video super-resolution | |
| CN103873875A (zh) | 一种用于图像超分辨的分层亚像素运动估计方法 | |
| CN112069870A (zh) | 一种适用于车辆识别的图像处理方法及装置 | |
| Dubey et al. | Single Image Super Resolution using Interpolation & Discrete Wavelet Transform | |
| Kamod et al. | Denoise Auto-Encoder Based Speckle Reduction for RISAT-1 SAR Imagery |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |