CN107395967A - 基于多曝光融合与回溯算法的图像处理方法及其系统 - Google Patents
基于多曝光融合与回溯算法的图像处理方法及其系统 Download PDFInfo
- Publication number
- CN107395967A CN107395967A CN201710596779.1A CN201710596779A CN107395967A CN 107395967 A CN107395967 A CN 107395967A CN 201710596779 A CN201710596779 A CN 201710596779A CN 107395967 A CN107395967 A CN 107395967A
- Authority
- CN
- China
- Prior art keywords
- image
- data
- image data
- frame
- raw
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 63
- 238000003672 processing method Methods 0.000 title claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 44
- 238000002156 mixing Methods 0.000 claims abstract description 11
- 238000000034 method Methods 0.000 claims abstract description 9
- 230000009471 action Effects 0.000 claims description 27
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 238000013481 data capture Methods 0.000 claims description 9
- 238000013075 data extraction Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 238000012360 testing method Methods 0.000 abstract description 6
- 230000000694 effects Effects 0.000 description 8
- 241001269238 Data Species 0.000 description 7
- 238000000605 extraction Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000002513 implantation Methods 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 2
- 239000010931 gold Substances 0.000 description 2
- 229910052737 gold Inorganic materials 0.000 description 2
- 230000008676 import Effects 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000011946 reduction process Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000003542 behavioural effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明涉及基于多曝光融合与回溯算法的图像处理方法及其系统，该方法包括获取高动态拍照模式的原始图像数据；采用回溯算法对原始图像数据进行粗定位，获取关键帧；采用欧式距离对以关键帧为起点的若干个图像帧进行精准定位，获取最优图像数据；判断最优图像数据是否获取完毕；若否，则返回采用回溯算法对所述原始图像数据进行粗定位，获取关键帧的步骤；若是，则采用多曝光融合算法针对最优图像数据进行图像融合，并结合拉普拉斯乘积处理，获取融合图像数据。本发明实现有效抑制手臂抖动带来的照片动态折叠以及伪影问题，消除边缘模糊问题，提高数据的处理运算速度，增快HDR拍照的实时性，避免了相机压力测试下的黑屏与死机情况的出现。
Description
技术领域
本发明涉及HDR图像处理方法，更具体地说是指基于多曝光融合与回溯算法的图像处理方法及其系统。
背景技术
相机拍照已成为现状，目前相机拍摄的图像质量高低不一，为了凸显相机的成像质量，应考虑多曝光融合技术来形成高动态的图像质量。
但是，由于拍照者的个人生物特性差异，存在手臂动抖动的现象，会对成像的质量影响导致合成图片不自然，存在伪影和重叠现象，且在打开相机会存在自动对焦，必然会导致拍照的时候边缘拍摄合成的结果模糊的现象。
目前人们大多采用手机相机来拍照，而手机相机作为现有移动终端最关键的三个要素之一，虽然有一些高质量的HDR算法对手机相机拍照的图像进行处理，但是若处理速度耗时严重，手机相机非常容易导致卡死，黑屏，甚至引发系统重启。另外，现有的算法偏多于理论研究，少有成功移植到手机整体相机模块的成熟方案，现有的高质量的HDR方案也并非基于手机CPU的实时处理器上，比如基于达芬奇平台的HDR合成算法；现有的算法并没有熟悉了解手机相机APK的对应行为规范，导致很多图像处理算法在提出时，无法与应用产品协调好；对于打开相机存在自动对焦导致拍照时边缘拍摄合成的结果模糊的现象，现有算法初步解决该问题，如郭剑桥提出的过渡区溢出修正方案，但是，目前并没有任何算法从个人生物特性差异出发对图像进行修正，从而忽略了手动抖动会对成像的质量影响，存在合成图片不自然以及伪影和重叠现象。
因此，有必要设计一种基于多曝光融合与回溯算法的图像处理方法，实现最大化抑制手抖动问题带来的动态折叠问题，弥补轮廓现象易造成的模糊问题，增快HDR拍照的实时性，避免了相机压力测试下的黑屏与死机情况的出现。
发明内容
本发明的目的在于克服现有技术的缺陷，提供基于多曝光融合与回溯算法的图像处理方法及其系统。
为实现上述目的，本发明采用以下技术方案：基于多曝光融合与回溯算法的图像处理方法，所述方法包括：
获取高动态拍照模式的原始图像数据；
采用回溯算法对所述原始图像数据进行粗定位，获取关键帧；
采用欧式距离对以关键帧为起点的若干个图像帧进行精准定位，获取最优图像数据；
判断最优图像数据是否获取完毕；
若否，则返回采用回溯算法对所述原始图像数据进行粗定位，获取关键帧的步骤；
若是，则采用多曝光融合算法针对最优图像数据进行图像融合，并结合拉普拉斯乘积处理，获取融合图像数据。
其进一步技术方案为：获取高动态拍照模式的原始图像数据的步骤，包括以下具体步骤：
获取高动态拍照模式下的原始图像；
提取原始图像对应的RAW数据；
将RAW数据转换成YUV数据，以YUV数据作为原始图像数据。
其进一步技术方案为：采用回溯算法对所述原始图像数据进行粗定位，获取关键帧的步骤，包括以下具体步骤：
获取拍照动作下发所对应的图像帧；
保留动作下发所对应的图像帧前端的若干帧原始图像；
标记动作下发所对应的图像帧前端的若干帧原始图像；
获取标记的若干帧所述原始图像中的第一帧原始图像数据，作为关键帧。
其进一步技术方案为：采用欧式距离对以关键帧为起点的若干个图像帧进行精准定位，获取最优图像数据的步骤，包括以下具体步骤：
获取若干个与所述图像帧相连的连续帧图像；
针对所述连续帧图像提取特征点；
定义基准图像，设定固定阈值；
对所述特征点与所述基准图像进行欧式距离匹配，判断匹配是否成功；
若成功，则将特征向量对应的特征点存入指定特征点集合，并进入下一步骤；若不成功，则直接进入下一步骤；
获取存入指定特征点集合内的特征点最多的图像，作为最优图像数据。
其进一步技术方案为：对所述特征点与所述基准图像进行欧式距离匹配，判断匹配是否成功的步骤，包括以下具体步骤：
获取所述特征点所对应的特征向量；
计算特征向量与基准图像的特征点的欧式距离；
判断最小欧式距离与次最小欧式距离的差值是否小于固定阈值；
若是，则匹配成功；
若否，则匹配不成功。
其进一步技术方案为：其特征在于，若是，则采用多曝光融合算法对最优图像数据进行图像融合，并结合拉普拉斯乘积处理，获取融合图像数据的步骤，包括以下具体步骤：
对所述最优图像数据进行归一化处理；
计算最优图像数据对应的图像帧的每个像素的权重；
基于所述权重建立对应的高斯金字塔；
利用高斯金字塔获取高斯模糊图像，结合高斯模糊图像以及拉普拉斯乘积处理，获取拉普拉斯某一层的图像数据；
融合多张拉普拉斯某一层的图像数据，形成融合图像数据。
其进一步技术方案为：利用高斯金字塔获取高斯模糊图像，结合高斯模糊图像以及拉普拉斯乘积处理，获取拉普拉斯某一层的图像数据的步骤，包括以下具体步骤：
对图像利用高斯金字塔进行高斯模糊，并减二采样，获取高斯模糊图像数据；
采用拉普拉斯按照高斯模糊来处理图像，获取拉普拉斯图像数据；
高斯模糊图像数据减去拉普拉斯图像数据，获取拉普拉斯某一层的图像数据。
本发明还提供了基于多曝光融合与回溯算法的图像处理系统，包括数据获取单元、粗定位单元、精准定位单元、判断单元以及融合单元；
所述数据获取单元，用于获取高动态拍照模式的原始图像数据；
所述粗定位单元，用于采用回溯算法对所述原始图像数据进行粗定位，获取关键帧；
所述精准定位单元，用于采用欧式距离对以关键帧为起点的若干个图像帧进行精准定位，获取最优图像数据；
所述判断单元，用于判断最优图像数据是否获取完毕；若否，则返回采用回溯算法对所述原始图像数据进行粗定位，获取关键帧；
所述融合单元，用于若是，则采用多曝光融合算法对最优图像数据进行图像融合，并结合拉普拉斯乘积处理，获取融合图像数据。
其进一步技术方案为：所述数据获取单元包括原始图像获取模块、RAW数据提取模块以及转换模块；
所述原始图像获取模块，用于获取高动态拍照模式下的原始图像；
所述RAW数据提取模块，用于提取原始图像对应的RAW数据；
所述转换模块，用于将RAW数据转换成YUV数据，以YUV数据作为原始图像数据。
其进一步技术方案为：所述粗定位单元包括图像帧获取模块、保留模块、标记模块以及关键帧获取模块；
所述图像帧获取模块，用于获取拍照动作下发所对应的图像帧；
所述保留模块，用于保留动作下发所对应的图像帧前端的若干帧原始图像；
所述标记模块，用于标记动作下发所对应的图像帧前端的若干帧原始图像；
所述关键帧获取模块，用于获取标记的若干帧所述原始图像中的第一帧原始图像数据，作为关键帧。
本发明与现有技术相比的有益效果是：本发明的基于多曝光融合与回溯算法的图像处理方法，通过获取HDR的原始图像数据，对原始图像数据进行粗定位以及精准定位的分步处理，有效的抑制人体生物特性手臂抖动带来的照片动态折叠以及伪影问题，对精准定位后的图像数据进行分权重融合处理，获取融合图像数据，有效的消除边缘模糊问题，相机架构植入多曝光融合和回溯算法，能提高数据的处理运算速度，增快HDR拍照的实时性，避免了相机压力测试下的黑屏与死机情况的出现。
下面结合附图和具体实施例对本发明作进一步描述。
附图说明
图1为本发明具体实施例提供的基于多曝光融合与回溯算法的图像处理方法的流程图；
图2为本发明具体实施例提供的获取高动态拍照模式的原始图像数据的流程图；
图3为本发明具体实施例提供的采用回溯算法对所述原始图像数据进行粗定位的流程图；
图4为本发明具体实施例提供的采用欧式距离对所述关键帧进行精准定位的流程图；
图5为本发明具体实施例提供的对所述特征点与所述基准图像进行欧式距离匹配的流程图；
图6为本发明具体实施例提供的采用多曝光融合算法进行图像融合并结合拉普拉斯乘积处理的流程图；
图7为本发明具体实施例提供的获取拉普拉斯某一层的图像数据的流程图；
图8为本发明具体实施例提供的HDR相机框架图；
图9为本发明具体实施例提供的HAL层添加HDR的信息交互图；
图10为本发明具体实施例提供的基于多曝光融合与回溯算法的图像处理系统的结构框图；
图11为本发明具体实施例提供的数据获取单元的结构框图；
图12为本发明具体实施例提供的粗定位单元的结构框图；
图13为本发明具体实施例提供的精准定位单元的结构框图。
具体实施方式
为了更充分理解本发明的技术内容，下面结合具体实施例对本发明的技术方案进一步介绍和说明，但不局限于此。
如图1～13所示的具体实施例，本实施例提供的基于多曝光融合与回溯算法的图像处理方法，可以运用在智能相机在高动态拍照模式下拍摄的图像的处理过程中，实现最大化抑制手抖动问题带来的动态折叠问题，弥补轮廓现象易造成的模糊问题，增快HDR拍照的实时性，避免了相机压力测试下的黑屏与死机情况的出现。
如图1所示，本实施提供了基于多曝光融合与回溯算法的图像处理方法，该方法包括：
S1、获取高动态拍照模式的原始图像数据；
S2、采用回溯算法对所述原始图像数据进行粗定位，获取关键帧；
S3、采用欧式距离对以关键帧为起点的若干个图像帧进行精准定位，获取最优图像数据；
S4、判断最优图像数据是否获取完毕；
若否，则返回S2步骤；
若是，则S5、采用多曝光融合算法对最优图像数据进行图像融合，并结合拉普拉斯乘积处理，获取融合图像数据。
在本实施例中，整个图像处理方法是基于联发科MT6735的智能相机的整套数据流传递结构而言，当然，可以运用在其他智能相机或者其他带拍照功能的智能移动终端。
如图8所示，该图为MTK的对应相机整体架构与为了体现实时性采用在hardware底层来处理数据算法的架构图，具体是为了避免数据需要再上传到系统framework层以及app层，从架构角度提高速度；体现出了MTK在Android系统中的架构关系，其中camera APK为对应的上层应用相机，camera Framework层为相机的framework层，camera service和cameraclient通常对应的是相机的服务端，而服务端通过hardware Interface与HAL层交互，把数据放在HAL层处理可以从架构处理的层级角度调高算法运行的实时性能。
更进一步的，对于上述的S1步骤，获取高动态拍照模式的原始图像数据的步骤，包括以下具体步骤：
S11、获取高动态拍照模式下的原始图像；
S12、提取原始图像对应的RAW数据；
S13、将RAW数据转换成YUV数据，以YUV数据作为原始图像数据。
上述的S11步骤，获取高动态拍照模式下的原始图像，具体是采用智能移动终端的相机进行高动态拍照模式的拍照获取。
上述的S12步骤以及上述S13步骤，具体采用如图9所示的架构完成数据的提取以及数据的转换，对于图9而言，采用底层hardware层添加额外的HDR(即高动态拍照)算法架构，以数据回调流程对YUV数据进行算法处理。具体的，智能移动终端的相机对应的添加的HAL层添加HDR算法，体现了传感器获取RAW数据，在经过系列的变换，将RAW数据变换为YUV数据。其中的关键是通过新增自定义的shot类将符合设定要求的RAW数据从底层相机的传感器驱动中提取出来，并转换为YUV数据，以此作为原始图像数据。
具体的，相机APK侧通过设定HDR拍照模式获取原始图像，通过Android系统的framework层中间的客户端与服务端，把HDR拍照模式的原始图像传递给hardware层对应的新增的相机架构中的HDR算法架构中，参考MTK原生的一些数据流的获取方式，自定义一个shot类，通过shot类，从原始图像的底层把获取到的RAW数据转换成符合要求的YUV数据，作为原始图像数据，再通过回调处理，把原始图像数据传递给回溯算法的起始端。
上述的YUV格式是一种图像的编码方式，通过智能移动终端的相机传感器获取图像，在hardware层来处理时图像数据是YUV格式的数据，通过了pass1的简单降噪处理。
更进一步的，上述的S2步骤，采用回溯算法对所述原始图像数据进行粗定位，获取关键帧的步骤，包括以下具体步骤：
S21、获取拍照动作下发所对应的图像帧；
S22、保留动作下发所对应的图像帧前端的若干帧原始图像；
S23、标记动作下发所对应的图像帧前端的若干帧原始图像；
S24、获取标记的若干帧所述原始图像中的第一帧原始图像数据，作为关键帧。
对于S2步骤，具体是通过获取到的YUV数据作为关键的初始化一帧进行处理，设定内存buffer，同时存放接下来几侦图像数据放到预存，这几侦图像数据是用于采用回溯思想进行粗定位，避免手抖动带来选取数据的不精确。
上述的S21步骤，获取拍照动作下发所对应的图像帧，具体是确定一个曝光度值后，触发移动终端的Deque与Enque机制，对拍照动作下发所对应的图像帧而言，可以回溯获取连续的图像帧，以此来获取关键帧。
上述的S22步骤，一般情况下是人为的预先保留动作下发的前三帧原始图像的YUV数据；以此采用对buffer的索引，回退三帧后的YUV数据作为关键帧的起始判断，当然，于其他实施例，上述的若干帧原始图像可以为四帧原始图像，或者其他数目的原始图像，依据实际情况而定。
上述的S23步骤，具体是为了便于回溯，将若干帧原始图像标记为index0、index1、index2。
上述的S24步骤，比如下发时间对应的是index2对应的那帧图像，回溯的核心就是逆推得到index0的图像的YUV数据。
由于拍照动作下发的时候，会由于触屏动作以及手臂抖动导致下发指令拍照时候的实际传感器抓取的原始图像数据已经非理想状态的原始图像数据，采用回溯算法定位，回溯追踪到之前的关键帧与理想数据帧之间的大致范围，是为了提高定位速度，保证了图像的实时性。
更进一步的，上述的S3步骤，采用欧式距离对以关键帧为起点的若干个图像帧进行精准定位，获取最优图像数据的步骤，包括以下具体步骤：
S31、获取若干个与所述图像帧相连的连续帧图像；
S32、针对所述连续帧图像提取特征点；
S33、定义基准图像，设定固定阈值；
S34、对所述特征点与所述基准图像进行欧式距离匹配，判断匹配是否成功；
S35、若成功，则将特征向量对应的特征点存入指定特征点集合，并进入S36步骤；若不成功，则直接进入S36步骤；
S36、获取存入指定特征点集合内的特征点最多的图像，作为最优图像数据。
上述的S33步骤，可以设置在S32步骤之前。
上述的S31步骤，具体是针对于步骤2所获取的关键帧以及若干个与关键帧相连的图像帧，针对这些图像帧采用连续帧的方式，获取若干个与这些若干个图像帧分别相连的连续帧图像作为优选的图像进行比较，以此获取最优的关键帧。
上述的S32步骤，提取特征点，以特征点作为对应连续帧图像的对比的条件，从而判定这些连续帧图像数据是对应的图像帧的最优数据。
上述的S33步骤，定义基准图像以及固定阈值，具体是为了特征点的比较过程中有一个基准可以对比。
更进一步的，上述的S34步骤，对所述特征点与所述基准图像进行欧式距离匹配，判断匹配是否成功的步骤，包括以下具体步骤：
S341、获取所述特征点所对应的特征向量；
S342、计算特征向量与基准图像的特征点的欧式距离；
S343、判断最小欧式距离与次最小欧式距离的差值是否小于固定阈值；
S344、若是，则匹配成功；
S345、若否，则匹配不成功。
上述的S31步骤至S35步骤，具体是采用以欧式距离作为特征向量，寻找精确定位的最合适的YUV数据作为对应的图像帧的最优数据。
为了最大程度的选择最优数据，需要以欧式距离关系作为特征点的特征向量作为数据匹配的条件，即以最小距离关系作为整体的逼近准则，定位最优关键帧，定义一个标准的匹配图像作为基准，也就是基准图像，在本实施例中通常采用曝光强度为0的图像，作为基准图像，于其他实施例，可以选择其他曝光强度的图像作为基准图像，具体依据实际情况而定，通过计算特征点的特征向量与基准图像的所对定特征点的特征值的欧式距离，通过设定一个固定阈值进行判断，如果最小欧式距离与次最小欧式距离之间的数值关系小于固定阈值，将该欧式距离对应的特征点存入指定特征点集合，存入到指定特征点集合内的特征点的数量最多所对应的图像帧，则认定为最优关键帧。比如，关键帧图像为index0，连续帧图像分别为index01、index02，若图像index02所对应的特征点存入到指定特征点集合内的数量最多，则图像index02所对应的YUV数据作为关键帧图像的最优图像数据。对于图像index1而言，其连续帧图像分别为index11、index12，若图像index11所对应的特征点存入到指定特征点集合内的数量最多，则图像index11所对应的YUV数据作为图像index1的最优图像数据。对于图像index2而言，其连续帧图像分别为index21、index22，若图像index21所对应的特征点存入到指定特征点集合内的数量最多，则图像index21所对应的YUV数据作为图像index2的最优图像数据。融合时，则对图像index01所对应的YUV数据、图像index11所对应的YUV数据以及图像index21所对应的YUV数据进行融合。
考虑到手抖动对成像的影响，由于近景拍摄在加上手抖动的情况会导致不同视角下的成像图像存在差异，所以融合的时候会存在一定的折叠问题，采用回溯算法进行粗定位，并结合一种以特征点的欧式距离作为特征向量的精确定位，最大化的抑制手抖动问题带来的动态折叠问题。
上述的S4步骤，判断最优关键帧是否获取完毕，具体是步骤2获取的若干个图像帧是否都获取单帧最优的图像数据。
为了性能高效，只选取三帧图像作为集合，分别对应—2E、0、+2E的曝光度的图像数据进入对应的融合处理，考虑到边缘界面的模糊性，考虑采用不同权重的思维，分别对不同区域做融合处理。
更进一步的，上述的S5步骤，若是，则采用多曝光融合算法对最优图像数据进行图像融合，并结合拉普拉斯乘积处理，获取融合图像数据的步骤，包括以下具体步骤：
S51、对所述最优图像数据进行归一化处理；
S52、计算最优图像数据对应的图像帧的每个像素的权重；
S53、基于所述权重建立对应的高斯金字塔；
S54、利用高斯金字塔获取高斯模糊图像，结合高斯模糊图像以及拉普拉斯乘积处理，获取拉普拉斯某一层的图像数据；
S55、融合多张拉普拉斯某一层的图像数据，形成融合图像数据。
上述的S51步骤以及S52步骤，具体是采用对比度和曝光度进行归一化处理以及最优图像数据对应的图像帧对应的每个像素权重进行计算。
上述的S53步骤，考虑到相机对自动焦功能的偏向性，即中间点部位定位清晰，两边自然存在一点的模糊性，再加上手抖的情况下，这种边缘模糊现象的表现能力更加突出集中，因此，采用中间区域点低权重，两边高权重的融合效果，弥补轮廓现象易造成的模糊问题，所以高斯金字塔具体是权重的多尺度表示的高斯图像金字塔。
对于上述的S54步骤，利用高斯金字塔获取高斯模糊图像，结合高斯模糊图像以及拉普拉斯乘积处理，获取拉普拉斯某一层的图像数据的步骤，包括以下具体步骤：
S541、对图像利用高斯金字塔进行高斯模糊，并减二采样，获取高斯模糊图像数据；
S542、采用拉普拉斯按照高斯模糊来处理图像，获取拉普拉斯图像数据；
S543、高斯模糊图像数据减去拉普拉斯图像数据，获取拉普拉斯某一层的图像数据。
上述的S541步骤，对于高斯模糊，具体是将同一信号或图片多次的进行高斯模糊，并且向下取样，藉以产生不同尺度下的多组权重或图片以进行后续的处理。
由于高斯模糊过程中会丢失细节，因此，需要导入拉普拉斯金字塔，通过两者相减，得到拉普拉斯某一层的图像，以此图像数据作为融合后的图像数据。
上述的S542步骤至S543步骤，具体是建立图像的拉普拉斯金字塔，根据高斯金字塔进行拼接blendLapPyrs()；在每一层上将左右laplacian图像直接拼起来得结果金字塔resultLapPyr，重建图像从最高层结果图，将左右laplacian图像拼成的resultLapPyr金字塔中每一层，从上到下插值放大并和下一层相加，即得blend图像结果(reconstructImgFromLapPyramid)。
具体的，上述的S541步骤，具体采用的公式可以如下：
其中Lev为高斯金字塔层数，Gl为高斯第L层数据，Cl,Rl分别为l层数据的列数和行数，w(m,n)为第m行n列数据。上述的S542步骤，具体采用以下公式：
上述的S543步骤，将G1减去I1，获取拉普拉斯的L层图像数据。上述的S55步骤，具体采用的融合公式如下：
其中，Gk、Lk是第k张图片的高斯金字塔和拉普拉斯金字塔的第i层图像，将这两张图像进行对应位置相乘，相乘后获取的为融合图像数据。
中间对焦区域采用低权重，而边缘区域采用高权重，附加得到更好的融合效果，提高整体效果。
具体的，上述的S5步骤，先将精细定位后得到的-2E、0、+2E曝光度下的数据作为整体的输入，采用通用高斯变换的方式减低数据的处理量，核心采用分别权重概念处理数据，即结合实际数据处理后的效果分析，中间对焦区域采用低权重，而边缘区域采用高权重，附加得到更好的融合效果，同时结合拉普拉斯乘积处理，得到后期的融合图像数据，回调给上层存储。
上述的基于多曝光融合与回溯算法的图像处理方法，通过获取HDR的原始图像数据，对原始图像数据进行粗定位以及精准定位的分布处理，有效的抑制人体生物特性手臂抖动带来的照片动态折叠以及伪影问题，对精准定位后的图像数据进行分权重融合处理，获取融合图像数据，有效的消除边缘模糊问题，相机架构植入多曝光融合和回溯算法，能提高数据的处理运算速度，增快HDR拍照的实时性，避免了相机压力测试下的黑屏与死机情况的出现。
如图10所示，本实施例还提供了基于多曝光融合与回溯算法的图像处理系统，其包括数据获取单元1、粗定位单元2、精准定位单元3、判断单元4以及融合单元5。
数据获取单元1，用于获取高动态拍照模式的原始图像数据。
粗定位单元2，用于采用回溯算法对所述原始图像数据进行粗定位，获取关键帧。
精准定位单元3，用于采用欧式距离对以关键帧为起点的若干个图像帧进行精准定位，获取最优图像数据。
判断单元4，用于判断最优图像数据是否获取完毕；若否，则返回采用回溯算法对所述原始图像数据进行粗定位，获取关键帧。
融合单元5，用于若是，则采用多曝光融合算法进行图像融合，并结合拉普拉斯乘积处理，获取融合图像数据。
上述的系统是植入到联发科MT6735的智能相机的整套数据流传递结构内，当然，也可以植入至其他智能相机或者其他带拍照功能的智能移动终端。
更进一步的，上述的数据获取单元1包括原始图像获取模块11、RAW数据提取模块12以及转换模块13。
原始图像获取模块11，用于获取高动态拍照模式下的原始图像。
RAW数据提取模块12，用于提取原始图像对应的RAW数据。
转换模块13，用于将RAW数据转换成YUV数据，以YUV数据作为原始图像数据。
上述的YUV格式是一种图像的编码方式，通过智能移动终端的相机传感器获取图像，在hardware层来处理时图像数据是YUV格式的数据，通过了pass1的简单降噪处理。
更进一步的，上述的粗定位单元2具体是通过获取到的YUV数据作为关键的初始化一帧进行处理，设定内存buffer，同时存放接下来几侦图像数据放到预存，这几侦图像数据是用于采用回溯思想进行粗定位，避免手抖动带来选取数据的不精确。其包括图像帧获取模块21、保留模块22、标记模块23以及关键帧获取模块24。
图像帧获取模块21，用于获取拍照动作下发所对应的图像帧。
保留模块22，用于保留动作下发所对应的图像帧前端的若干帧原始图像。
标记模块23，用于标记动作下发所对应的图像帧前端的若干帧原始图像。
关键帧获取模块24，用于获取标记的若干帧所述原始图像中的第一帧原始图像数据，作为关键帧。
上述的图像帧获取模块21获取拍照动作下发所对应的图像帧，具体是确定一个曝光度值后，触发移动终端的Deque与Enque机制，对拍照动作下发所对应的图像帧而言，可以回溯获取连续的图像帧，以此来获取关键帧。
对于上述的保留模块22而言，一般情况下是人为的预先保留动作下发的前三帧原始图像的YUV数据；以此采用对buffer的索引，回退三帧后的YUV数据作为关键帧的起始判断，当然，于其他实施例，上述的若干帧原始图像可以为四帧原始图像，或者其他数目的原始图像，依据实际情况而定。
标记模块23具体是为了便于回溯，将若干帧原始图像标记为index0、index1、index2。
对于关键帧获取模块24而言，比如下发时间对应的是index2对应的那帧图像，回溯的核心就是逆推得到index0的图像的YUV数据。
由于拍照动作下发的时候，会由于触屏动作以及手臂抖动导致下发指令拍照时候的实际传感器抓取的原始图像数据已经非理想状态的原始图像数据，采用回溯算法定位，回溯追踪到之前的关键帧与理想数据帧之间的大致范围，是为了提高定位速度，保证了图像的实时性。
上述的精准定位单元3包括连续帧图像获取模块31、特征点提取模块32、定义模块33、匹配判断模块34、存入模块35以及最优数据获取模块36。
连续帧图像获取模块31，用于获取若干个与所述图像帧相连的连续帧图像。
特征点提取模块32，用于针对所述连续帧图像提取特征点。
定义模块33，用于定义基准图像，设定固定阈值。
匹配判断模块34，用于对所述特征点与所述基准图像进行欧式距离匹配，判断匹配是否成功。
存入模块35，用于若成功，则将特征向量对应的特征点存入指定特征点集合。
最优数据获取模块36，用于获取存入指定特征点集合内的特征点最多的图像，作为最优图像数据。
上述的连续帧图像获取模块31具体是所获取的关键帧以及若干个与关键帧相连的图像帧，针对这些图像帧采用连续帧的方式，获取若干个与这些若干个图像帧分别相连的连续帧图像作为优选的图像进行比较，以此获取最优的关键帧。
上述的特征点提取模块32提取特征点，以特征点作为对应连续帧图像的对比的条件，从而判定这些连续帧图像数据是对应的图像帧的最优数据。
上述的定义模块33定义基准图像以及固定阈值，具体是为了特征点的比较过程中有一个基准可以对比。
更进一步的，上述的匹配判断模块34包括向量获取子模块、距离计算子模块以及差值判断子模块。
向量获取子模块，用于获取所述特征点所对应的特征向量。
距离计算子模块，用于计算特征向量与基准图像的特征点的欧式距离。
差值判断子模块，用于判断最小欧式距离与次最小欧式距离的差值是否小于固定阈值；若是，则匹配成功；若否，则匹配不成功。
上述的判断模块具体是采用以欧式距离作为特征向量，寻找精确定位的最合适的YUV数据作为对应的图像帧的最优数据。
为了最大程度的选择最优数据，需要以欧式距离关系作为特征点的特征向量作为数据匹配的条件，即以最小距离关系作为整体的逼近准则，定位最优关键帧，定义一个标准的匹配图像作为基准，也就是基准图像，在本实施例中通常采用曝光强度为0的图像，作为基准图像，于其他实施例，可以选择其他曝光强度的图像作为基准图像，具体依据实际情况而定，通过计算特征点的特征向量与基准图像的所对定特征点的特征值的欧式距离，通过设定一个固定阈值进行判断，如果最小欧式距离与次最小欧式距离之间的数值关系小于固定阈值，将该欧式距离对应的特征点存入指定特征点集合，存入到指定特征点集合内的特征点的数量最多所对应的图像帧，则认定为最优关键帧。比如，关键帧图像为index0，连续帧图像分别为index01、index02，若图像index02所对应的特征点存入到指定特征点集合内的数量最多，则图像index02所对应的YUV数据作为关键帧图像的最优图像数据。对于图像index1而言，其连续帧图像分别为index11、index12，若图像index11所对应的特征点存入到指定特征点集合内的数量最多，则图像index11所对应的YUV数据作为图像index1的最优图像数据。对于图像index2而言，其连续帧图像分别为index21、index22，若图像index21所对应的特征点存入到指定特征点集合内的数量最多，则图像index21所对应的YUV数据作为图像index2的最优图像数据。融合时，则对图像index01所对应的YUV数据、图像index11所对应的YUV数据以及图像index21所对应的YUV数据进行融合。
考虑到手抖动对成像的影响，由于近景拍摄在加上手抖动的情况会导致不同视角下的成像图像存在差异，所以融合的时候会存在一定的折叠问题，采用回溯算法进行粗定位，并结合一种以特征点的欧式距离作为特征向量的精确定位，最大化的抑制手抖动问题带来的动态折叠问题。
上述的判断单元4判断最优关键帧是否获取完毕，具体是粗定位单元2获取的若干个图像帧是否都获取单帧最优的图像数据。
为了性能高效，只选取三帧图像作为集合，分别对应—2E、0、+2E的曝光度的图像数据进入对应的融合处理，考虑到边缘界面的模糊性，考虑采用不同权重的思维，分别对不同区域做融合处理。
更进一步的，上述的融合单元5包括归一化模块、权重计算模块、高斯金字塔建立模块、乘积处理模块以及融合数据模块。
归一化模块，用于对所述最优图像数据进行归一化处理。
权重计算模块，用于计算最优图像数据对应的图像帧的每个像素的权重。
高斯金字塔建立模块，用于基于所述权重建立对应的高斯金字塔。
乘积处理模块，用于利用高斯金字塔获取高斯模糊图像，结合高斯模糊图像以及拉普拉斯乘积处理，获取拉普拉斯某一层的图像数据。
融合数据模块，用于融合多张拉普拉斯某一层的图像数据，形成融合图像数据。
上述的归一化模块以及权重计算模块，具体是采用对比度和曝光度进行归一化处理以及最优图像数据对应的图像帧对应的每个像素权重进行计算。
考虑到相机对自动焦功能的偏向性，即中间点部位定位清晰，两边自然存在一点的模糊性，再加上手抖的情况下，这种边缘模糊现象的表现能力更加突出集中，因此，采用中间区域点低权重，两边高权重的融合效果，弥补轮廓现象易造成的模糊问题，所以高斯金字塔具体是权重的多尺度表示的高斯图像金字塔。
更进一步的，上述的乘积处理模块包括高斯模糊子模块、拉普拉斯处理子模块以及运算子模块。
高斯模糊子模块，用于对图像利用高斯金字塔进行高斯模糊，并减二采样，获取高斯模糊图像数据。
拉普拉斯处理子模块，用于采用拉普拉斯按照高斯模糊来处理图像，获取拉普拉斯图像数据。
运算子模块，用于高斯模糊图像数据减去拉普拉斯图像数据，获取拉普拉斯某一层的图像数据。
上述的高斯模糊子模块具体是将同一信号或图片多次的进行高斯模糊，并且向下取样，藉以产生不同尺度下的多组权重或图片以进行后续的处理。具体采用的公式可以如下：
其中Lev为高斯金字塔层数，Gl为高斯第L层数据，Cl,Rl分别为l层数据的列数和行数，w(m,n)为第m行n列数据。
由于高斯模糊过程中会丢失细节，因此，需要导入拉普拉斯金字塔，通过两者相减，得到拉普拉斯某一层的图像，以此图像数据作为融合后的图像数据。
上述的拉普拉斯处理子模块以及运算子模块具体是建立图像的拉普拉斯金字塔，根据高斯金字塔进行拼接blendLapPyrs()；在每一层上将左右laplacian图像直接拼起来得结果金字塔resultLapPyr，重建图像从最高层结果图，将左右laplacian图像拼成的resultLapPyr金字塔中每一层，从上到下插值放大并和下一层相加，即得blend图像结果(reconstructImgFromLapPyramid)。
拉普拉斯处理子模块具体采用以下公式：
上述的运算子模块具体是将G1减去I1，获取拉普拉斯的L层图像数据。
融合数据模块具体采用的融合公式如下：
其中，Gk、Lk是第k张图片的高斯金字塔和拉普拉斯金字塔的第i层图像，将这两张图像进行对应位置相乘，相乘后获取的为融合图像数据。
中间对焦区域采用低权重，而边缘区域采用高权重，附加得到更好的融合效果，提高整体效果。
具体的，上述的融合单元5先将精细定位后得到的-2E、0、+2E曝光度下的数据作为整体的输入，采用通用高斯变换的方式减低数据的处理量，核心采用分别权重概念处理数据，即结合实际数据处理后的效果分析，中间对焦区域采用低权重，而边缘区域采用高权重，附加得到更好的融合效果，同时结合拉普拉斯乘积处理，得到后期的融合图像数据，回调给上层存储。
上述的基于多曝光融合与回溯算法的图像处理系统，通过获取HDR的原始图像数据，对原始图像数据进行粗定位以及精准定位的分步处理，有效的抑制手臂抖动带来的照片动态折叠以及伪影问题，对精准定位后的图像数据进行分权重融合处理，获取融合图像数据，有效的消除边缘模糊问题，相机架构植入多曝光融合和回溯算法，能提高数据的处理运算速度，增快HDR拍照的实时性，避免了相机压力测试下的黑屏与死机情况的出现。
上述仅以实施例来进一步说明本发明的技术内容，以便于读者更容易理解，但不代表本发明的实施方式仅限于此，任何依本发明所做的技术延伸或再创造，均受本发明的保护。本发明的保护范围以权利要求书为准。
Claims (10)
1.基于多曝光融合与回溯算法的图像处理方法，其特征在于，所述方法包括：
获取高动态拍照模式的原始图像数据；
采用回溯算法对所述原始图像数据进行粗定位，获取关键帧；
采用欧式距离对以关键帧为起点的若干个图像帧进行精准定位，获取最优图像数据；
判断最优图像数据是否获取完毕；
若否，则返回采用回溯算法对所述原始图像数据进行粗定位，获取关键帧的步骤；
若是，则采用多曝光融合算法针对最优图像数据进行图像融合，并结合拉普拉斯乘积处理，获取融合图像数据。
2.根据权利要求1所述的基于多曝光融合与回溯算法的图像处理方法，其特征在于，获取高动态拍照模式的原始图像数据的步骤，包括以下具体步骤：
获取高动态拍照模式下的原始图像；
提取原始图像对应的RAW数据；
将RAW数据转换成YUV数据，以YUV数据作为原始图像数据。
3.根据权利要求1所述的基于多曝光融合与回溯算法的图像处理方法，其特征在于，采用回溯算法对所述原始图像数据进行粗定位，获取关键帧的步骤，包括以下具体步骤：
获取拍照动作下发所对应的图像帧；
保留动作下发所对应的图像帧前端的若干帧原始图像；
标记动作下发所对应的图像帧前端的若干帧原始图像；
获取标记的若干帧所述原始图像中的第一帧原始图像数据，作为关键帧。
4.根据权利要求1所述的基于多曝光融合与回溯算法的图像处理方法，其特征在于，采用欧式距离对以关键帧为起点的若干个图像帧进行精准定位，获取最优图像数据的步骤，包括以下具体步骤：
获取若干个与所述图像帧相连的连续帧图像；
针对所述连续帧图像提取特征点；
定义基准图像，设定固定阈值；
对所述特征点与所述基准图像进行欧式距离匹配，判断匹配是否成功；
若成功，则将特征向量对应的特征点存入指定特征点集合，并进入下一步骤；若不成功，则直接进入下一步骤；
获取存入指定特征点集合内的特征点最多的图像，作为最优图像数据。
5.根据权利要求4述的基于多曝光融合与回溯算法的图像处理方法，其特征在于，对所述特征点与所述基准图像进行欧式距离匹配，判断匹配是否成功的步骤，包括以下具体步骤：
获取所述特征点所对应的特征向量；
计算特征向量与基准图像的特征点的欧式距离；
判断最小欧式距离与次最小欧式距离的差值是否小于固定阈值；
若是，则匹配成功；
若否，则匹配不成功。
6.根据权利要求1至5任一项所述的基于多曝光融合与回溯算法的图像处理方法，其特征在于，若是，则采用多曝光融合算法对最优图像数据进行图像融合，并结合拉普拉斯乘积处理，获取融合图像数据的步骤，包括以下具体步骤：
对所述最优图像数据进行归一化处理；
计算最优图像数据对应的图像帧的每个像素的权重；
基于所述权重建立对应的高斯金字塔；
利用高斯金字塔获取高斯模糊图像，结合高斯模糊图像以及拉普拉斯乘积处理，获取拉普拉斯某一层的图像数据；
融合多张拉普拉斯某一层的图像数据，形成融合图像数据。
7.根据权利要求6所述的基于多曝光融合与回溯算法的图像处理方法，其特征在于，利用高斯金字塔获取高斯模糊图像，结合高斯模糊图像以及拉普拉斯乘积处理，获取拉普拉斯某一层的图像数据的步骤，包括以下具体步骤：
对图像利用高斯金字塔进行高斯模糊，并减二采样，获取高斯模糊图像数据；
采用拉普拉斯按照高斯模糊来处理图像，获取拉普拉斯图像数据；
高斯模糊图像数据减去拉普拉斯图像数据，获取拉普拉斯某一层的图像数据。
8.基于多曝光融合与回溯算法的图像处理系统，其特征在于，包括数据获取单元、粗定位单元、精准定位单元、判断单元以及融合单元；
所述数据获取单元，用于获取高动态拍照模式的原始图像数据；
所述粗定位单元，用于采用回溯算法对所述原始图像数据进行粗定位，获取关键帧；
所述精准定位单元，用于采用欧式距离对以关键帧为起点的若干个图像帧进行精准定位，获取最优图像数据；
所述判断单元，用于判断最优图像数据是否获取完毕；若否，则返回采用回溯算法对所述原始图像数据进行粗定位，获取关键帧；
所述融合单元，用于若是，则采用多曝光融合算法对最优图像数据进行图像融合，并结合拉普拉斯乘积处理，获取融合图像数据。
9.根据权利要求8所述的基于多曝光融合与回溯算法的图像处理系统，其特征在于，所述数据获取单元包括原始图像获取模块、RAW数据提取模块以及转换模块；
所述原始图像获取模块，用于获取高动态拍照模式下的原始图像；
所述RAW数据提取模块，用于提取原始图像对应的RAW数据；
所述转换模块，用于将RAW数据转换成YUV数据，以YUV数据作为原始图像数据。
10.根据权利要求9所述的基于多曝光融合与回溯算法的图像处理系统，其特征在于，所述粗定位单元包括图像帧获取模块、保留模块、标记模块以及关键帧获取模块；
所述图像帧获取模块，用于获取拍照动作下发所对应的图像帧；
所述保留模块，用于保留动作下发所对应的图像帧前端的若干帧原始图像；
所述标记模块，用于标记动作下发所对应的图像帧前端的若干帧原始图像；
所述关键帧获取模块，用于获取标记的若干帧所述原始图像中的第一帧原始图像数据，作为关键帧。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710596779.1A CN107395967A (zh) | 2017-07-20 | 2017-07-20 | 基于多曝光融合与回溯算法的图像处理方法及其系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710596779.1A CN107395967A (zh) | 2017-07-20 | 2017-07-20 | 基于多曝光融合与回溯算法的图像处理方法及其系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107395967A true CN107395967A (zh) | 2017-11-24 |
Family
ID=60337341
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710596779.1A Pending CN107395967A (zh) | 2017-07-20 | 2017-07-20 | 基于多曝光融合与回溯算法的图像处理方法及其系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107395967A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108833803A (zh) * | 2018-09-20 | 2018-11-16 | Oppo广东移动通信有限公司 | 成像方法、装置和电子设备 |
| CN109146825A (zh) * | 2018-10-12 | 2019-01-04 | 深圳美图创新科技有限公司 | 摄影风格转换方法、装置及可读存储介质 |
| CN109194855A (zh) * | 2018-09-20 | 2019-01-11 | Oppo广东移动通信有限公司 | 成像方法、装置和电子设备 |
| CN109655010A (zh) * | 2018-10-31 | 2019-04-19 | 上海畅联智融通讯科技有限公司 | 一种相机动态网格化摄物测量的方法 |
| CN109963083A (zh) * | 2019-04-10 | 2019-07-02 | Oppo广东移动通信有限公司 | 图像处理器、图像处理方法、拍摄装置和电子设备 |
| CN110033421A (zh) * | 2019-04-09 | 2019-07-19 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN112153282A (zh) * | 2020-09-18 | 2020-12-29 | Oppo广东移动通信有限公司 | 图像处理架构、方法、存储介质及电子设备 |
| WO2022141445A1 (zh) * | 2020-12-31 | 2022-07-07 | 华为技术有限公司 | 一种图像处理方法以及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103973958A (zh) * | 2013-01-30 | 2014-08-06 | 阿里巴巴集团控股有限公司 | 图像处理方法及设备 |
| CN105282455A (zh) * | 2014-06-20 | 2016-01-27 | 宇龙计算机通信科技(深圳)有限公司 | 一种拍照方法、装置及移动终端 |
| CN106210496A (zh) * | 2015-05-06 | 2016-12-07 | 小米科技有限责任公司 | 照片拍摄方法及装置 |
| CN106530263A (zh) * | 2016-10-19 | 2017-03-22 | 天津大学 | 一种适应于医学影像的单曝光高动态范围图像生成方法 |
| EP3044949A4 (en) * | 2013-09-12 | 2017-04-26 | Canon Kabushiki Kaisha | Image capturing apparatus and method of controlling the same |
-
2017
- 2017-07-20 CN CN201710596779.1A patent/CN107395967A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103973958A (zh) * | 2013-01-30 | 2014-08-06 | 阿里巴巴集团控股有限公司 | 图像处理方法及设备 |
| EP3044949A4 (en) * | 2013-09-12 | 2017-04-26 | Canon Kabushiki Kaisha | Image capturing apparatus and method of controlling the same |
| CN105282455A (zh) * | 2014-06-20 | 2016-01-27 | 宇龙计算机通信科技(深圳)有限公司 | 一种拍照方法、装置及移动终端 |
| CN106210496A (zh) * | 2015-05-06 | 2016-12-07 | 小米科技有限责任公司 | 照片拍摄方法及装置 |
| CN106530263A (zh) * | 2016-10-19 | 2017-03-22 | 天津大学 | 一种适应于医学影像的单曝光高动态范围图像生成方法 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108833803A (zh) * | 2018-09-20 | 2018-11-16 | Oppo广东移动通信有限公司 | 成像方法、装置和电子设备 |
| CN109194855A (zh) * | 2018-09-20 | 2019-01-11 | Oppo广东移动通信有限公司 | 成像方法、装置和电子设备 |
| CN109146825A (zh) * | 2018-10-12 | 2019-01-04 | 深圳美图创新科技有限公司 | 摄影风格转换方法、装置及可读存储介质 |
| CN109655010A (zh) * | 2018-10-31 | 2019-04-19 | 上海畅联智融通讯科技有限公司 | 一种相机动态网格化摄物测量的方法 |
| CN109655010B (zh) * | 2018-10-31 | 2020-07-07 | 上海畅联智融通讯科技有限公司 | 一种相机动态网格化摄物测量的方法 |
| CN110033421A (zh) * | 2019-04-09 | 2019-07-19 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN109963083A (zh) * | 2019-04-10 | 2019-07-02 | Oppo广东移动通信有限公司 | 图像处理器、图像处理方法、拍摄装置和电子设备 |
| CN109963083B (zh) * | 2019-04-10 | 2021-09-24 | Oppo广东移动通信有限公司 | 图像处理器、图像处理方法、拍摄装置和电子设备 |
| US11328449B2 (en) | 2019-04-10 | 2022-05-10 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Image processing apparatus, method for image processing, and electronic device |
| CN112153282A (zh) * | 2020-09-18 | 2020-12-29 | Oppo广东移动通信有限公司 | 图像处理架构、方法、存储介质及电子设备 |
| WO2022141445A1 (zh) * | 2020-12-31 | 2022-07-07 | 华为技术有限公司 | 一种图像处理方法以及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107395967A (zh) | 基于多曝光融合与回溯算法的图像处理方法及其系统 | |
| CN110287846B (zh) | 一种基于注意力机制的人脸关键点检测方法 | |
| CN111741211B (zh) | 图像显示方法和设备 | |
| CN103745449B (zh) | 一种搜跟系统中航拍视频的快速自动拼接技术 | |
| CN110428366A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN104717413A (zh) | 拍照辅助方法及设备 | |
| CN110149482A (zh) | 对焦方法、装置、电子设备和计算机可读存储介质 | |
| CN107808137A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN110248096A (zh) | 对焦方法和装置、电子设备、计算机可读存储介质 | |
| CN103384998B (zh) | 摄像装置、及摄像方法 | |
| CN103426200B (zh) | 基于无人机航拍序列图像的树木三维重建方法 | |
| CN107509031A (zh) | 图像处理方法、装置、移动终端及计算机可读存储介质 | |
| CN109493278A (zh) | 一种基于sift特征的大场景图像拼接系统 | |
| CN106204660A (zh) | 一种基于特征匹配的地面目标跟踪装置 | |
| CN107481279A (zh) | 一种单目视频深度图计算方法 | |
| CN107395960A (zh) | 拍照方法及装置、计算机装置和计算机可读存储介质 | |
| CN109118581A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN114730456A (zh) | 神经网络模型的训练方法、图像处理方法及其装置 | |
| CN103348667A (zh) | 摄像装置、摄像方法及程序 | |
| CN110276831A (zh) | 三维模型的建构方法和装置、设备、计算机可读存储介质 | |
| CN110611768B (zh) | 多重曝光摄影方法及装置 | |
| CN108111768A (zh) | 控制对焦的方法、装置、电子设备及计算机可读存储介质 | |
| Zhang et al. | Deep motion blur removal using noisy/blurry image pairs | |
| CN117876608B (zh) | 三维图像重建方法、装置、计算机设备及存储介质 | |
| CN115496675A (zh) | 一种基于Neighborhood注意力机制的阴影去除方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20171124 |
|
| WD01 | Invention patent application deemed withdrawn after publication |