CN109410152A - 成像方法和装置、电子设备、计算机可读存储介质 - Google Patents
成像方法和装置、电子设备、计算机可读存储介质 Download PDFInfo
- Publication number
- CN109410152A CN109410152A CN201811419394.9A CN201811419394A CN109410152A CN 109410152 A CN109410152 A CN 109410152A CN 201811419394 A CN201811419394 A CN 201811419394A CN 109410152 A CN109410152 A CN 109410152A
- Authority
- CN
- China
- Prior art keywords
- image
- spread function
- point spread
- block
- inverse
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 63
- 230000009466 transformation Effects 0.000 claims abstract description 33
- 238000006243 chemical reaction Methods 0.000 claims abstract description 24
- 238000000034 method Methods 0.000 claims abstract description 19
- 230000006870 function Effects 0.000 claims description 131
- 238000004590 computer program Methods 0.000 claims description 14
- 238000009792 diffusion process Methods 0.000 claims description 14
- 238000005315 distribution function Methods 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 6
- 238000009795 derivation Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 27
- 239000000523 sample Substances 0.000 description 21
- 238000012634 optical imaging Methods 0.000 description 14
- 230000004044 response Effects 0.000 description 12
- 230000000694 effects Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000012937 correction Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 238000012546 transfer Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 241000208340 Araliaceae Species 0.000 description 2
- 241000023320 Luma <angiosperm> Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 230000004075 alteration Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000013074 reference sample Substances 0.000 description 2
- 238000002310 reflectometry Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
Abstract
本申请涉及一种成像方法、装置、电子设备和计算机可读存储介质。所述方法包括：获取第一图像；将所述第一图像通过颜色空间转换为包含亮度通道的第二图像；获取点扩散函数，采用所述点扩散函数对所述第二图像进行逆点扩散函数变换，得到目标图像。可以有效地去除了图像边缘模糊，提升了图像的清晰度。
Description
技术领域
本申请涉及影像技术领域，特别是涉及一种成像方法、装置、电子设备、计算机可读存储介质。
背景技术
随着光学成像技术的发展，出现了各种带有光学成像系统的电子设备。电子设备中的光学成像系统将拍摄对象投影到传感器感光面上，经过光电效应得到RGB(Red GreenBlue,红绿蓝)三通道响应值，再对RGB三通道响应值经过自动对焦、自动曝光、自动白平衡、颜色空间变换等处理后得到最终的图像。然而，传统的成像方式受到像差的影响，导致图像模糊。
发明内容
本申请实施例提供一种成像方法、装置、电子设备、计算机可读存储介质，可以提高图像清晰度。
一种成像方法，包括：
获取第一图像；
将所述第一图像通过颜色空间转换为包含亮度通道的第二图像；
获取点扩散函数，采用所述点扩散函数对所述第二图像进行逆点扩散函数变换，得到目标图像。
一种成像装置，包括：
图像获取模块，用于获取第一图像；
图像转换模块，用于将所述第一图像通过颜色空间转换为包含亮度通道的第二图像；
逆变换模块，用于获取点扩散函数，采用所述点扩散函数对所述第二图像进行逆点扩散函数变换，得到目标图像。
一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行以下步骤：
获取第一图像；
将所述第一图像通过颜色空间转换为包含亮度通道的第二图像；
获取点扩散函数，采用所述点扩散函数对所述第二图像进行逆点扩散函数变换，得到目标图像。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取第一图像；
将所述第一图像通过颜色空间转换为包含亮度通道的第二图像；
获取点扩散函数，采用所述点扩散函数对所述第二图像进行逆点扩散函数变换，得到目标图像。
本实施例中的成像方法、装置、电子设备和计算机可读存储介质，将获取的第一图像通过颜色空间转换为包含亮度通道的第二图像，然后获取点扩散函数，对第二图像进行逆点扩散函数转换，得到目标图像，对图像进行逆点扩散函数转换，有效地去除了图像边缘模糊，提升了图像的清晰度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中成像方法的应用环境图；
图2为一个实施例中成像方法的流程图；
图3为一个实施例中原始图像经过扩散形成弥散圆的原理示意图；
图4为另一个实施例中成像方法的流程图；
图5为一个实施例中成像装置的结构框图；
图6为另一个实施例中成像装置的结构框图；
图7为一个实施例中电子设备的内部结构框图；
图8为一个实施例中图像处理电路的示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一图像称为第二图像，且类似地，可将第二图像称为第一图像。第一图像和第二图像两者都是图像，但其不是同一图像。
图1为一个实施例中成像方法的应用环境示意图。如图1所示，该应用环境包括电子设备110。电子设备110上安装有光学成像系统，通过光学成像系统拍摄对象，投影到图像传感器感光面上，图像传感器经过光电效应输出RGB(Red Green Blue，红绿蓝)值。该RGB值经过自动对焦、自动白平衡、去马赛克算法校正后，得到对焦正常、亮度和颜色符合人眼观感的RGB图像，对RGB图像进行颜色空间转换矩阵转换得到YUV图像，对YUV图像进行逆点扩散函数变换，得到目标图像。YUV图像中的“Y”表示亮度(Luminance或Luma)，也就是灰阶值；“U”和“V”表示的则是色度(Chrominance或Chroma)，作用是描述影像色彩及饱和度，用于指定像素的颜色。通过YUV图像进行逆点扩散函数变换，有效地去除了图像边缘模糊，提升了图像的清晰度。其中，电子设备110可为带有摄像头等光学成像系统的智能手机、个人计算机、平板电脑、个人数字助理、相机、穿戴式设备等。
图2为一个实施例中成像方法的流程图。本实施例中的成像方法，以运行于图1中的电子设备110上为例进行描述。如图2所示，该成像方法包括步骤202至步骤206。
步骤202，获取第一图像。
其中，第一图像可为RGB图像。
具体地，电子设备通过光学成像系统(如透镜)将拍摄对象成像后投影到图像传感器的感光面上，图像传感器经过光电效应输出RGB三通道响应值，对RGB三通道响应值经过自动对焦、自动曝光、自动白平衡等处理后得到RGB图像。
步骤204，将该第一图像通过颜色空间转换为包含亮度通道的第二图像。
其中，颜色空间转换是指图像从一个颜色空间转换为另一个颜色空间。第二图像为包含亮度通道的图像。亮度通道是指图像格式中包含有亮度信号分量。
具体地，电子设备将该第一图像通过颜色空间转换为包含亮度通道的第二图像。第二图像可为YUV图像或HSV图像或YCrCb图像或YIQ图像或HIS图像等。HSV中H表示色调(Hue)、S表示饱和度(Saturation)、V表示亮度(Value)。YCrCb中Y表示亮度(Luminance或Luma)，Cr表示色调，Cb表示饱和度。YIQ中Y代表Luminance亮度，I代表In-phase，色彩从橙色到青色，Q代表Quadrature-phase。HIS中H表示色调(Hue)、S表示饱和度(Saturation)、I表示亮度(luminance)。
可选地，电子设备将RGB图像通过颜色空间转换为YUV图像。
步骤206，获取点扩散函数，采用该点扩散函数对该第二图像进行逆点扩散函数变换，得到目标图像。
其中，点光源经过光学系统后由于像差及衍射会形成一个扩大的弥散圆，该弥散圆可通过点扩散函数(Point Spread Function，PSF)描述。图像边缘模糊可被视为一个二维点扩散函数与原始图像的卷积过程。如图3所示，扩散后的模糊图像采用f(x,y)采用如下公式(1)计算。
f(x,y)＝∫∫PSF(α,β)g(x-α,y-β)dαdβ+n(x,y) 公式(1)
其中，g(x,y)为原始图像数据，PSF(α,β)为点扩散函数，n(x,y)为噪声，α的取值为0至x,β的取值为0至y。(x,y)为图像中像素点坐标值。
对公式(1)两边取傅里叶变化，则可得到公式(2)
F(u,v)＝PSF(u,v)G(u,v)+N(u,v) 公式(2)
对于有限的噪声做近似处理，则可得到去除PSF函数后的恢复图像，如公式(3)。
逆点扩散函数变换是指将图像中的像素点除以点扩散函数，或者将图像中的像素点除以点扩散函数，再乘以系数。该系数可以为0.5、0.6、0.9、1、1.1等，不限于此。
具体地，电子设备获取点扩散函数，采用该点扩散函数对该第二图像进行逆点扩散函数变换，得到目标图像。
本实施例中的成像方法，将获取的第一图像通过颜色空间转换为包含亮度通道的第二图像，然后获取点扩散函数，对第二图像进行逆点扩散函数转换，得到目标图像，对图像进行逆点扩散函数转换，有效地去除了图像边缘模糊，提升了图像的清晰度。
在一个实施例中，该获取第一图像，包括：接收拍摄指令，根据该拍摄指令获取RGB三通道响应值，将RGB三通道响应值进行自动对焦、自动曝光和自动白平衡处理得到RGB图像，将该RGB图像作为第一图像。
具体地，拍摄指令是指电子设备接收到用户在相机拍摄界面上触控或点击拍摄控件等产生的指令。电子设备接收到拍摄指令后，将拍摄对象通过光学成像系统投影到图像传感器的感光面上，图像传感器经过光电效应输出RGB三通道响应值，将RGB三通道响应值经过自动对焦、自动曝光、自动白平衡处理后得到RGB图像，将RGB图像作为第一图像。直接根据拍摄指令获取第一图像，然后对第一图像进行处理，确保图像的实时性。
在一个实施例中，上述成像方法还包括：获取第二图像中的图像边缘区域。
该获取点扩散函数，采用该点扩散函数对该第二图像进行逆点扩散函数变换，得到目标图像，包括：获取点扩散函数，采用点扩散函数对第二图像中的图像边缘区域进行逆点扩散函数变换，得到目标图像。具体地，可采用点扩散函数对第二图像中的图像边缘区域进行逆点扩散函数变换，处理的数据量小。
在一个实施例中，获取点扩散函数，采用所述点扩散函数对所述第二图像进行逆点扩散函数变换，得到目标图像，包括：将该第二图像分成预设数量的区块；获取拍摄该第二图像中各个区块所对应的点扩散函数；根据该各个区块所对应的点扩散函数对对应的区块进行逆点扩散函数变换，得到各个区块所对应的目标子图像，将该目标子图像合成得到该目标图像。
其中，预设数量可根据需要设定，如2*2个区块或3*3个区块等。每个区块均可通过计算得到对应的点扩散函数。电子设备获取到第二图像中各个区块对应的点扩散函数后，各个区块所对应的点扩散函数对该区块进行逆点扩散函数变换，可以得到各个区块所对应的目标子图像，对目标子图像进行合成得到目标图像。
通过将第二图像分成多个区块，对每个区块采用对应的点扩散函数进行逆点扩散函数变换，计算更加准确，图像清晰度提升更高。
在一个实施例中，获取点扩散函数包括：获取用于标定的参考图像，以及对该参考图像拍摄得到的经过点扩散后的样本图像；将该样本图像和该参考图像分别分成对应的预设数量的区块；采用该样本图像中的区块与该参考图像中对应的区块计算得到所述区块对应的点扩散函数。
其中，用于标定的参考图像可为分辨率标准测试卡。电子设备的摄像头拍摄参考图像得到经过扩散后的样本图像。样本图像为参考图像与点扩散函数的卷积。利用公式(3)，将样本图像除以参考图像可以得到点扩散函数。将样本图像和参考图像分别分成对应的预设数量的区块，样本图像的每个区块对应参考图像的一个区块。
采用样本图像的一个区块与参考图像中对应的一个区块计算得到该区块的点扩散函数。
具体地，可选择一张用于标定的分辨率标准测试卡，采用单反摄像头进行拍摄得到一张弥散程度很小的图像作为参考图像。该参考图像可认为几乎没有PSF扩散，然后采用带有光学成像系统的电子设备在同样的距离下，对该测试卡拍摄，得到边缘弥散的样本图像。比较参考图像的一个区块和样本图像中对应的一个区块，根据线对的空间频率和对比度，计算出不同位置的MTF函数，对MTF(u,v)进行二维傅里叶反变换后，得到PSF(x,y)。
在一个实施例中，获取点扩散函数，包括：获取黑白斜边图像，对该黑白斜边图像拟合得到刃边的分布函数；根据该刃边的分布函数计算得到边缘扩散函数，对该边缘扩散函数求导得到线扩散函数，再对该线扩散函数进行傅里叶变换得到点扩散函数。
其中，对于点光源成像的点扩散函数PSF(x,y)进行二维傅里叶变换后得到的PSF(u,v)，可认为是该光学成像系统的调制传递函数MTF(u,v)，其中，MTF(ModulationTransfer Function)为调制传递函数。故进行逆PSF变换时，需要求解出光学成像系统的调制传递函数MTF。
具体地，电子设备对所选黑白斜边图像进行逐行扫描，当刃边两侧低反射率和高反射率目标的平均灰度值等于像元的灰度值或介于相邻2像元灰度值之间时，则该位置为刃边的位置，拟合得到刃边的分布函数，对刃边的分布函数进行拟合得到边缘扩散函数，对边缘扩散函数进行求导得到线扩散函数，再对线扩散函数进行傅里叶变换得到调制传递函数，将该调制传递函数作为点扩散函数。
在一个实施例中，上述成像方法还包括：获取用于标定的参考图像，以及对该参考图像拍摄得到的经过点扩散后的样本图像；根据该样本图像和该参考图像计算得到点扩散函数。
其中，用于标定的参考图像可为分辨率标准测试卡。电子设备的摄像头拍摄参考图像得到经过扩散后的样本图像。样本图像为参考图像与点扩散函数的卷积。利用公式(3)，将样本图像除以参考图像可以得到点扩散函数。
具体地，可选择一张用于标定的分辨率标准测试卡，采用摄像头进行拍摄得到一张弥散程度很小的图像作为参考图像。该参考图像可认为几乎没有PSF扩散，然后采用带有光学成像系统的电子设备在同样的距离下，对该测试卡拍摄，得到边缘弥散的样本图像。比较参考图像和样本图像，根据线对的空间频率和对比度，计算出不同位置的MTF函数，对MTF(u,v)进行二维傅里叶反变换后，得到PSF(x,y)。
在一个实施例中，上述成像方法还包括：对该目标图像进行降噪和锐化处理，得到修正图像；其中，该锐化处理中降低滤波半径。
具体地，降噪可以采用非线性去燥算法进行降噪处理，如双边滤波器等。锐化处理是指补偿图像的轮廓，增强图像的边缘及灰度跳变部分，使得图像变得清晰。锐化处理一般分为空域处理和频域处理。当目标图像经过逆点扩散函数变换后，可采用锐化算法处理。通过降低滤波半径实现降低锐化算法的强度。降低锐化算法的强度，从而有效地缓解白边现象，提高图像质量。
图4为另一个实施例中成像方法的流程图。如图4所示，一种成像方法包括：
步骤402，通过光学成像系统将拍摄对象投影到图像传感器感光面上。
步骤404，图像传感器经过光电效应输出RGB三通道响应值。
步骤406，将RGB三通道响应值经过自动对焦、自动曝光、自动白平衡处理得到RGB图像。
具体地，RGB图像为第一图像。
步骤408，将RGB图像通过颜色空间转换为YUV图像。
具体地，YUV图像为第二图像。
步骤410，对YUV图像进行逆点扩散函数转换，得到目标图像。
具体地，对YUV图像中的Y通道进行逆点扩散函数转换，得到目标图像。
步骤412，对目标图像进行降噪和锐化处理得到修正图像。
具体地，锐化处理时，可降低强度。
上述成像方法，通过将经过光学成像系统成像得到的RGB图像转换为YUV图像，对YUV图像进行逆点扩散函数转换，可以有效地去除图像边缘的弥散圆，提升图像的清晰度，通过锐化处理可以有效缓解白边现象，提高图像质量。
上述成像方法还可用于减少光学模组的厚度，如缩减两个透镜之间的距离。减少厚度后的光学模组，采用该成像方法，可以达到和原模组一样的成像效果。
下面结合最详细的实施例描述成像方法。一种成像方法包括(1)至(8)。
(1)通过光学成像系统将拍摄对象投影到图像传感器感光面上。
(2)图像传感器经过光电效应输出RGB三通道响应值。
(3)将RGB三通道响应值经过自动对焦、自动曝光、自动白平衡处理得到RGB图像，将RGB图像作为第一图像。
(4)将第一图像通过颜色空间转换为第二图像。
(5)将第二图像分成预设数量的区块。
(6)获取第二图像中的各个区块对应的点扩散函数。
(7)采用各个区块所对应的点扩散函数对第二图像中对应的区块进行逆点扩散函数变换，得到各个区块对应的目标子图像，将目标子图像合成得到目标图像。
(8)对目标图像进行降噪和锐化处理得到修正图像，其中，该锐化处理中降低滤波半径。
本实施例中的成像方法，将获取的第一图像通过颜色空间转换为包含亮度通道的第二图像，根据各个区块对应的点扩散函数对第二图像中对应的区块进行逆点扩散函数转换，得到目标图像，对图像进行逆点扩散函数转换，分区块进行点扩散函数逆变换更加准确，有效地去除了图像边缘模糊，提升了图像的清晰度，通过降低锐化处理的强度，可以有效缓解白边现象，提高图像质量。
应该理解的是，虽然图2、图4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2和图4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图5为一个实施例中成像装置的结构框图。如图5所示，一种成像装置，包括图像获取模块502、图像转换模块504和逆变换模块506。其中：
图像获取模块502用于获取第一图像。
图像转换模块504用于将该第一图像通过颜色空间转换为包含亮度通道的第二图像。
逆变换模块506用于获取点扩散函数，采用该点扩散函数对该第二图像进行逆点扩散函数变换，得到目标图像。
本实施例中的成像装置，将获取的第一图像通过颜色空间转换为包含亮度通道的第二图像，然后获取点扩散函数，对第二图像进行逆点扩散函数转换，得到目标图像，对图像进行逆点扩散函数转换，有效地去除了图像边缘模糊，提升了图像的清晰度。
在一个实施例中，如图6所示，上述成像装置，除了包括图像获取模块502、图像转换模块504和逆变换模块506，还包括区域确定模块508、修正模块510、计算模块512。
区域确定模块508用于获取该第二图像中的图像边缘区域。
逆变换模块506还用于获取点扩散函数，采用该点扩散函数对该第二图像中的图像边缘区域进行逆点扩散函数变换，得到目标图像。
修正模块510用于对该目标图像进行降噪和锐化处理，得到修正图像；其中，该锐化处理中降低滤波半径。
计算模块512用于获取用于标定的参考图像，以及对该参考图像拍摄得到的经过点扩散后的样本图像，根据该样本图像和该参考图像计算得到点扩散函数。
在一个实施例中，区域确定模块508用于将该第二图像分成预设数量的区块。逆变换模块506还用于获取拍摄该第二图像中各个区块所对应的点扩散函数；根据该各个区块所对应的点扩散函数对对应的区块进行逆点扩散函数变换，得到各个区块所对应的目标子图像，将该目标子图像合成得到所述目标图像。
上述成像装置还可包括关系建立模块。关系建立模块用于获取用于标定的参考图像，以及对所述参考图像拍摄得到的经过点扩散后的样本图像；将所述样本图像和所述参考图像分别分成对应的预设数量的区块；采用所述样本图像中的区块与所述参考图像中对应的区块计算得到所述区块对应的点扩散函数，建立各个区块与点扩散函数的对应关系。
上述成像装置中各个模块的划分仅用于举例说明，在其他实施例中，可将成像装置按照需要划分为不同的模块，以完成上述成像装置的全部或部分功能。
图7为一个实施例中电子设备的内部结构示意图。如图7所示，该电子设备包括通过系统总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种成像方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。
本申请实施例中提供的成像装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。
本申请实施例还提供一种电子设备。上述电子设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图8为一个实施例中图像处理电路的示意图。如图8所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。
如图8所示，图像处理电路包括第一ISP处理器830、第二ISP处理器840和控制逻辑器850。第一摄像头810包括一个或多个第一透镜812和第一图像传感器814。第一图像传感器814可包括色彩滤镜阵列(如Bayer滤镜)，第一图像传感器814可获取用第一图像传感器814的每个成像像素捕捉的光强度和波长信息，并提供可由第一ISP处理器830处理的一组图像数据。第二摄像头820包括一个或多个第二透镜822和第二图像传感器824。第二图像传感器824可包括色彩滤镜阵列(如Bayer滤镜)，第二图像传感器824可获取用第二图像传感器824的每个成像像素捕捉的光强度和波长信息，并提供可由第二ISP处理器840处理的一组图像数据。
第一摄像头810采集的第一图像传输给第一ISP处理器830进行处理，第一ISP处理器830处理第一图像后，可将第一图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器850，控制逻辑器850可根据统计数据确定第一摄像头810的控制参数，从而第一摄像头810可根据控制参数进行自动对焦、自动曝光等操作。第一图像经过第一ISP处理器830进行处理后可存储至图像存储器860中，第一ISP处理器830也可以读取图像存储器860中存储的图像以对进行处理。另外，第一图像经过ISP处理器830进行处理后可直接发送至显示器870进行显示，显示器870也可以读取图像存储器860中的图像以进行显示。
其中，第一ISP处理器830按多种格式逐个像素地处理图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，第一ISP处理器830可对图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。
图像存储器860可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。
当接收到来自第一图像传感器814接口时，第一ISP处理器830可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器860，以便在被显示之前进行另外的处理。第一ISP处理器830从图像存储器860接收处理数据，并对所述处理数据进行RGB和YCbCr颜色空间中的图像数据处理。第一ISP处理器830处理后的图像数据可输出给显示器870，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，第一ISP处理器830的输出还可发送给图像存储器860，且显示器870可从图像存储器860读取图像数据。在一个实施例中，图像存储器860可被配置为实现一个或多个帧缓冲器。
第一ISP处理器830确定的统计数据可发送给控制逻辑器850。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、第一透镜812阴影校正等第一图像传感器814统计信息。控制逻辑器850可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定第一摄像头810的控制参数及第一ISP处理器830的控制参数。例如，第一摄像头810的控制参数可包括增益、曝光控制的积分时间、防抖参数、闪光控制参数、第一透镜812控制参数(例如聚焦或变焦用焦距)、或这些参数的组合等。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及第一透镜812阴影校正参数。
同样地，第二摄像头820采集的第二图像传输给第二ISP处理器840进行处理，第二ISP处理器840处理第一图像后，可将第二图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器850，控制逻辑器850可根据统计数据确定第二摄像头820的控制参数，从而第二摄像头820可根据控制参数进行自动对焦、自动曝光等操作。第二图像经过第二ISP处理器840进行处理后可存储至图像存储器860中，第二ISP处理器840也可以读取图像存储器860中存储的图像以对进行处理。另外，第二图像经过ISP处理器840进行处理后可直接发送至显示器870进行显示，显示器870也可以读取图像存储器860中的图像以进行显示。第二摄像头820和第二ISP处理器840也可以实现如第一摄像头810和第一ISP处理器830所描述的处理过程。
以下为运用图8中图像处理技术实现成像方法的步骤：
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行成像方法的步骤。
一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行成像方法。
本申请实施例所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种成像方法，其特征在于，包括：
获取第一图像；
将所述第一图像通过颜色空间转换为包含亮度通道的第二图像；
获取点扩散函数，采用所述点扩散函数对所述第二图像进行逆点扩散函数变换，得到目标图像。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述第二图像中的图像边缘区域；
所述获取点扩散函数，采用所述点扩散函数对所述第二图像进行逆点扩散函数变换，得到目标图像，包括：
获取点扩散函数，采用所述点扩散函数对所述第二图像中的图像边缘区域进行逆点扩散函数变换，得到目标图像。
3.根据权利要求1所述的方法，其特征在于，所述获取点扩散函数，采用所述点扩散函数对所述第二图像进行逆点扩散函数变换，得到目标图像，包括：
将所述第二图像分成预设数量的区块；
获取拍摄所述第二图像中各个区块所对应的点扩散函数；
根据所述各个区块所对应的点扩散函数对对应的区块进行逆点扩散函数变换，得到各个区块所对应的目标子图像，将所述目标子图像合成得到所述目标图像。
4.根据权利要求1至3中任一项所述的方法，其特征在于，所述获取点扩散函数，包括：
获取黑白斜边图像，对所述黑白斜边图像拟合得到刃边的分布函数；
根据所述刃边的分布函数计算得到边缘扩散函数，对所述边缘扩散函数求导得到线扩散函数，再对所述线扩散函数进行傅里叶变换得到所述点扩散函数。
5.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
对所述目标图像进行降噪和锐化处理，得到修正图像；
其中，所述锐化处理中降低滤波半径。
6.根据权利要求1或2所述的方法，其特征在于，所述获取点扩散函数，包括：
获取用于标定的参考图像，以及对所述参考图像拍摄得到的经过点扩散后的样本图像；
根据所述样本图像和所述参考图像计算得到点扩散函数。
7.根据权利要求3所述的方法，其特征在于，所述获取点扩散函数，还包括：
获取用于标定的参考图像，以及对所述参考图像拍摄得到的经过点扩散后的样本图像；
将所述样本图像和所述参考图像分别分成对应的预设数量的区块；
采用所述样本图像中的区块与所述参考图像中对应的区块计算得到所述区块对应的点扩散函数。
8.一种成像装置，其特征在于，包括：
图像获取模块，用于获取第一图像；
图像转换模块，用于将所述第一图像通过颜色空间转换为包含亮度通道的第二图像；
逆变换模块，用于获取点扩散函数，采用所述点扩散函数对所述第二图像进行逆点扩散函数变换，得到目标图像。
9.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811419394.9A CN109410152A (zh) | 2018-11-26 | 2018-11-26 | 成像方法和装置、电子设备、计算机可读存储介质 |
| PCT/CN2019/104413 WO2020107995A1 (zh) | 2018-11-26 | 2019-09-04 | 成像方法和装置、电子设备、计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811419394.9A CN109410152A (zh) | 2018-11-26 | 2018-11-26 | 成像方法和装置、电子设备、计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109410152A true CN109410152A (zh) | 2019-03-01 |
Family
ID=65455620
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811419394.9A Pending CN109410152A (zh) | 2018-11-26 | 2018-11-26 | 成像方法和装置、电子设备、计算机可读存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN109410152A (zh) |
| WO (1) | WO2020107995A1 (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020107995A1 (zh) * | 2018-11-26 | 2020-06-04 | Oppo广东移动通信有限公司 | 成像方法和装置、电子设备、计算机可读存储介质 |
| CN111246053A (zh) * | 2020-01-22 | 2020-06-05 | 维沃移动通信有限公司 | 图像处理方法及电子设备 |
| CN112598594A (zh) * | 2020-12-24 | 2021-04-02 | Oppo（重庆）智能科技有限公司 | 颜色一致性矫正方法及相关装置 |
| CN113132626A (zh) * | 2021-03-26 | 2021-07-16 | 联想(北京)有限公司 | 一种图像处理方法以及电子设备 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101489035A (zh) * | 2008-01-16 | 2009-07-22 | 三洋电机株式会社 | 摄像装置及抖动校正方法 |
| US20100231732A1 (en) * | 2009-03-11 | 2010-09-16 | Zoran Corporation | Estimation of point spread functions from motion-blurred images |
| US20110044554A1 (en) * | 2009-08-21 | 2011-02-24 | Konica Minolta Systems Laboratory, Inc. | Adaptive deblurring for camera-based document image processing |
| CN103201765A (zh) * | 2010-09-28 | 2013-07-10 | 马普科技促进协会 | 用于从所观察到的数字图像序列恢复数字图像的方法与设备 |
| CN104732578A (zh) * | 2015-03-10 | 2015-06-24 | 山东科技大学 | 一种基于倾斜摄影技术的建筑物纹理优化方法 |
| CN105684417A (zh) * | 2013-10-31 | 2016-06-15 | 富士胶片株式会社 | 图像处理装置、摄像装置、参数生成方法、图像处理方法及程序 |
| CN107392882A (zh) * | 2017-07-30 | 2017-11-24 | 湖南鸣腾智能科技有限公司 | 一种基于角点检测的简单透镜psf迭代优化初始值的方法 |
| CN108305230A (zh) * | 2018-01-31 | 2018-07-20 | 上海康斐信息技术有限公司 | 一种模糊图像综合处理方法和系统 |
| CN108830805A (zh) * | 2018-05-25 | 2018-11-16 | 北京小米移动软件有限公司 | 图像处理方法、装置及可读存储介质、电子设备 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007118097A1 (en) * | 2006-04-03 | 2007-10-18 | Omnivision Cdm Optics, Inc. | Optical imaging systems and methods utilizing nonlinear and/or spatially varying image processing |
| US20080002909A1 (en) * | 2006-07-03 | 2008-01-03 | Siemens Corporate Research, Inc. | Reconstructing Blurred High Resolution Images |
| EP2503364A1 (en) * | 2011-03-22 | 2012-09-26 | Koninklijke Philips Electronics N.V. | Camera system comprising a camera, camera, method of operating a camera and method for deconvoluting a recorded image |
| JP6857006B2 (ja) * | 2016-10-21 | 2021-04-14 | ナンチャン オー−フィルム オプティカル−エレクトロニック テック カンパニー リミテッド | 撮像装置 |
| CN109410152A (zh) * | 2018-11-26 | 2019-03-01 | Oppo广东移动通信有限公司 | 成像方法和装置、电子设备、计算机可读存储介质 |
-
2018
- 2018-11-26 CN CN201811419394.9A patent/CN109410152A/zh active Pending
-
2019
- 2019-09-04 WO PCT/CN2019/104413 patent/WO2020107995A1/zh active Application Filing
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101489035A (zh) * | 2008-01-16 | 2009-07-22 | 三洋电机株式会社 | 摄像装置及抖动校正方法 |
| US20100231732A1 (en) * | 2009-03-11 | 2010-09-16 | Zoran Corporation | Estimation of point spread functions from motion-blurred images |
| US20110044554A1 (en) * | 2009-08-21 | 2011-02-24 | Konica Minolta Systems Laboratory, Inc. | Adaptive deblurring for camera-based document image processing |
| CN103201765A (zh) * | 2010-09-28 | 2013-07-10 | 马普科技促进协会 | 用于从所观察到的数字图像序列恢复数字图像的方法与设备 |
| CN105684417A (zh) * | 2013-10-31 | 2016-06-15 | 富士胶片株式会社 | 图像处理装置、摄像装置、参数生成方法、图像处理方法及程序 |
| CN104732578A (zh) * | 2015-03-10 | 2015-06-24 | 山东科技大学 | 一种基于倾斜摄影技术的建筑物纹理优化方法 |
| CN107392882A (zh) * | 2017-07-30 | 2017-11-24 | 湖南鸣腾智能科技有限公司 | 一种基于角点检测的简单透镜psf迭代优化初始值的方法 |
| CN108305230A (zh) * | 2018-01-31 | 2018-07-20 | 上海康斐信息技术有限公司 | 一种模糊图像综合处理方法和系统 |
| CN108830805A (zh) * | 2018-05-25 | 2018-11-16 | 北京小米移动软件有限公司 | 图像处理方法、装置及可读存储介质、电子设备 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020107995A1 (zh) * | 2018-11-26 | 2020-06-04 | Oppo广东移动通信有限公司 | 成像方法和装置、电子设备、计算机可读存储介质 |
| CN111246053A (zh) * | 2020-01-22 | 2020-06-05 | 维沃移动通信有限公司 | 图像处理方法及电子设备 |
| CN112598594A (zh) * | 2020-12-24 | 2021-04-02 | Oppo（重庆）智能科技有限公司 | 颜色一致性矫正方法及相关装置 |
| CN113132626A (zh) * | 2021-03-26 | 2021-07-16 | 联想(北京)有限公司 | 一种图像处理方法以及电子设备 |
| US11838643B2 (en) | 2021-03-26 | 2023-12-05 | Lenovo (Beijing) Limited | Information processing method and electronic apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020107995A1 (zh) | 2020-06-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8311355B2 (en) | Skin tone aware color boost for cameras | |
| US8358351B2 (en) | Automatic tone mapping for cameras | |
| US8155441B2 (en) | Image processing apparatus, image processing method, and program for color fringing estimation and compensation | |
| CN109410152A (zh) | 成像方法和装置、电子设备、计算机可读存储介质 | |
| CN109767467A (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
| CN110149482A (zh) | 对焦方法、装置、电子设备和计算机可读存储介质 | |
| CN108805103A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| TWI737979B (zh) | 圖像去馬賽克裝置及方法 | |
| CN107948500A (zh) | 图像处理方法和装置 | |
| CN108322651B (zh) | 拍摄方法和装置、电子设备、计算机可读存储介质 | |
| JP5020615B2 (ja) | 画像処理装置及び撮像装置及び画像処理方法及びプログラム | |
| JP4963598B2 (ja) | 画像処理装置及び撮像装置及び画像処理方法及びプログラム | |
| CN110290323A (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
| CN107396079B (zh) | 白平衡调整方法和装置 | |
| KR20090091780A (ko) | 디지털 이미지 내의 노이즈 감소 방법, 디지털 이미지 내의 노이즈 감소 장치 및 디지털 이미지 내의 노이즈 감소 시스템 | |
| CN107395991A (zh) | 图像合成方法、装置、计算机可读存储介质和计算机设备 | |
| KR20200089410A (ko) | 최적의 감마보정 기반 저조도 영상 보정방법 | |
| CN108616700A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN109685853A (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
| CN110121031A (zh) | 图像采集方法和装置、电子设备、计算机可读存储介质 | |
| CN108769523A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN107948617A (zh) | 图像处理方法、装置、计算机可读存储介质和计算机设备 | |
| CN109005343A (zh) | 控制方法、装置、成像设备、电子设备及可读存储介质 | |
| CN114240782A (zh) | 图像校正方法、系统及电子设备 | |
| CN108259754A (zh) | 图像处理方法及装置、计算机可读存储介质和计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190301 |