CN106373107B - 智能手机自动图像去模糊系统及方法 - Google Patents

智能手机自动图像去模糊系统及方法 Download PDF

Info

Publication number
CN106373107B
CN106373107B CN201611108082.7A CN201611108082A CN106373107B CN 106373107 B CN106373107 B CN 106373107B CN 201611108082 A CN201611108082 A CN 201611108082A CN 106373107 B CN106373107 B CN 106373107B
Authority
CN
China
Prior art keywords
fuzzy core
fuzzy
model
module
restoration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611108082.7A
Other languages
English (en)
Other versions
CN106373107A (zh
Inventor
何娟
万蕾
何胤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Changhong Electric Co Ltd
Original Assignee
Sichuan Changhong Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Changhong Electric Co Ltd filed Critical Sichuan Changhong Electric Co Ltd
Priority to CN201611108082.7A priority Critical patent/CN106373107B/zh
Publication of CN106373107A publication Critical patent/CN106373107A/zh
Application granted granted Critical
Publication of CN106373107B publication Critical patent/CN106373107B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/725—Cordless telephones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及智能手机图像处理领域，公开了一种智能手机自动图像去模糊系统及方法，提升手机拍照系统的图像去模糊能力。本发明的系统包括模糊核统计模块、训练数据库、模型构建模块和图像恢复模块；本发明的方法概括起来包括：利用糊核统计模块统计测试出拍照中常见的模糊核；建立训练数据库，并构建出清晰―模糊图像对；模型构建模块按照现有超分辨率随机森林模型的算法模型建立恢复模型网络；将得到的恢复模型网络导入手机拍照系统中，作为事先已知的模型数据；利用图像恢复模块对拍摄得到的照片，利用恢复模型网络进行自动恢复。本发明适用于智能手机。

Description

智能手机自动图像去模糊系统及方法
技术领域
本发明涉及智能手机图像处理领域，特别涉及智能手机自动图像去模糊系统及方法。
背景技术
近年来，随着社会的发展，智能手机已经得到了极大的普及。手机已经不再是简单的通话工具，而是已经演变成了一部“掌上电脑”，而拍照也成为了其很重要的一项功能。目前，虽然手机硬件水平已经比几年前有了极大的提高，但是手机摄像头仍然在实际应用中存在一些问题:1)由于拍照时手机抖动，存在运动模糊；2)由于拍照时焦距未调节到位，会存在图片散焦模糊问题。虽然针对问题一，我们可以采取硬件技术来进行防抖处理，但是对单纯手机而言，这会大大增加设计成本，而且即使采用硬件防抖也不能完全排除运动模糊。针对问题二，虽然也可以采取镜头自动对焦处理，但是由于实际拍照环境以及手机使用者等诸多因素影响，并不能保证拍摄得到的所有照片均是清晰的。为此，我们可以采用软件处理的办法，在不增加硬件成本的条件下，极大程度上消除拍摄图片的模糊。
发明内容
本发明要解决的技术问题是：提供一种智能手机自动图像去模糊系统及方法，提升手机拍照系统的图像去模糊能力。
为解决上述问题，本发明采用的技术方案是：智能手机自动图像去模糊系统，包括模糊核统计模块、训练数据库、模型构建模块和图像恢复模块；
所述模糊核统计模块用于统计测试出拍照中常见的模糊核，并发送给训练数据库；
所述训练数据库用于将数据库现有的图像按照模糊核进行模糊降质，构建出清晰―模糊图像对；
所述模型构建模块用于按照现有超分辨率随机森林模型的算法模型建立恢复模型网络，其中，在对森林里面每一个树结构训练的时候，加入模糊核信息并引入模糊核约束函数，所述模糊核信息包括清晰―模糊图像对，所述模糊核约束函数为：
其中，kn为第n个模糊样本，为模糊核均值，β为模糊核调节参数；
所述图像恢复模块用于从模型构建模块处获取恢复模型网络，并基于获取的恢复模型网络对手机拍摄的模糊照片进行自动恢复。
进一步的，所述训练数据库为基于伯克利分割数据库建立的数据库。
智能手机自动图像去模糊方法，包括以下步骤：
步骤一：统计测试出拍照中常见的模糊核；
步骤二：建立训练数据库，并将现有的图像按照模糊核进行模糊降质，构建出清晰―模糊图像对；
步骤三：按照现有超分辨率随机森林模型的算法模型建立恢复模型网络，其中，在对森林里面每一个树结构训练的时候，加入模糊核信息并引入模糊核约束函数，所述模糊核信息包括清晰―模糊图像对，所述模糊核约束函数为：
其中，kn为第n个模糊样本，为模糊核均值，β为模糊核调节参数；
步骤四：将得到的恢复模型网络导入手机拍照系统中，作为事先已知的模型数据；
步骤五：对拍摄得到的照片，利用恢复模型网络进行自动恢复。
具体的，步骤一包括：首先随机拍摄大量照片，然后选取出其中存在模糊的照片进行模糊核的估计，最后选取出最可能出现的几类模糊核。
具体的，步骤二基于伯克利分割数据库建立训练数据库。
本发明的有益效果是：通过本发明，可以在不增加硬件成本的条件下，很好地提升手机拍照系统的图像去模糊功能，并且由于事先训练好网络模型，在恢复时并不会需要很大的时间开销，增加算法可行性。另外由于采用条件化随机森林的方法进行训练与恢复，使得训练模型可以一次训练，适应于诸多模糊情况，与传统的去模糊方法，需要对不同的模糊进行估计并重新训练的方法明显不同，且更偏于实用。
附图说明
图1为实施例的流程图。
具体实施方式
本发明克服了现有手机拍照技术的不足，提出了一种基于条件化随机森林的智能手机自动图像去模糊系统。其基本思路是利用事先训练得到的条件化随机森林网络模型导入手机拍照系统，当得到拍摄图像后，用户可以根据需求选择是否开启自动去模糊功能。涉及到的去模糊算法，其优越性在于可以通过一次训练得到能够适用于多种模糊核的情况，与主流的单个模糊核对应单个训练网络的“一对一”模式有着显著的差别。大大提升算法在实际手机拍照应用中的表现性能。
具体的来说，本发明的系统应包括模糊核统计模块、训练数据库、模型构建模块和图像恢复模块；其中，
模糊核统计模块用于统计测试出拍照中常见的模糊核，并发送给训练数据库；
训练数据库用于将数据库现有的图像按照模糊核进行模糊降质，构建出清晰―模糊图像对；
模型构建模块用于按照现有超分辨率随机森林模型的算法模型建立恢复模型网络。为了使得能够在构建“去模糊森林”(预测树集合)的时候，能够引入不同的模糊核约束，以便能够处理不同模糊，可以在经典随机森林的质量测量函数中，引入模糊核约束(条件化处理)。为了说明此过程，我们先给出经典的随机森林的质量测量函数：
其中，与为一个清晰―模糊图像对，为第n个模糊样本，为第n个清晰样本，Num(X)为集合基数，为模型对样本的预测结果，为样本均值，α为调节参数。可在输入样本中加入模糊核信息，即然后引入模糊核约束函数：
其中，kn为第n个模糊样本，为模糊核均值，β为模糊核调节参数。这样可以在训练模型时，同步考虑进入模糊核约束，从而能够选取最佳的模糊核进行恢复。由于超分辨率随机森林模型为已有算法模型，森林里面每一个树结构的训练会涉及到分裂函数，而分裂函数的关键参数选取是基于质量测量函数的。考虑到本发明的核心在于如何在训练中引入不同模糊核约束，该点具体体现在质量测量函数上，故本发明中仅给出测量函数部分。利用上述提出的测量函数，并结合已有的超分辨率随机森林的算法模型可构建出相应的恢复模型网络。
图像恢复模块用于从模型构建模块处获取恢复模型网络，并基于获取的恢复模型网络对手机拍摄的模糊照片进行自动恢复。
基于上述系统，本发明的具体实现方法如图1所示，包括：
步骤一：统计测试出拍照中常见的模糊核。通常可以让用户随机拍摄大量照片，然后选取出其中存在模糊的照片进行模糊核的估计，最终选取出最可能出现的100类模糊核。
步骤二：建立训练数据库。该数据库可以采用伯克利分割数据库BSDS500。然后对该数据库中图像数据按照前述的100类模糊核进行相应模糊降质，构建清晰―模糊图像对。
步骤三：按照现有超分辨率随机森林模型的算法模型建立恢复模型网络，其中，在对森林里面每一个树结构训练的时候，加入模糊核信息并引入模糊核约束函数，所述模糊核信息包括清晰―模糊图像对，所述模糊核约束函数为：
其中，kn为第n个模糊样本，为模糊核均值，β为模糊核调节参数。
手机用户可以选择是否将得到的恢复的模型在官网上进行发布，如果上传，则管网上会更新相应的模型网络，并提供相应下载功能，使得其他用户能够随时更新手机中的拍照恢复模型，得到更好的恢复效果。
步骤四：将步骤三得到的恢复模型网络或者从官网上下载的恢复模型网络导入手机拍照系统中，作为事先已知的模型数据。
步骤五：用户拍照前以及拍照后，均可以选择是否开启自动图像去模糊功能，当开启后，会对拍摄得到的照片，利用上述的恢复模型进行自动恢复。
用户可以对恢复不满意的情况进行反馈(传回实际拍摄图、恢复图以及用户不满意的地方)，然后系统可以添加或修正模糊核，从而系统根据修正后的模糊核组对模型进行重训练，得到新的清晰―模糊图像对；系统利用新的图像对对模型进行重训练，得到新的恢复模型网络。
以上描述了本发明的基本原理和主要的特征，说明书的描述只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。

Claims (5)

1.智能手机自动图像去模糊系统，其特征在于，包括模糊核统计模块、训练数据库、模型构建模块和图像恢复模块；
所述模糊核统计模块用于统计测试出拍照中常见的模糊核，并发送给训练数据库；
所述训练数据库用于将数据库现有的图像按照模糊核进行模糊降质，构建出清晰―模糊图像对；
所述模型构建模块用于按照现有超分辨率随机森林模型的算法模型建立恢复模型网络，其中，在对森林里面每一个树结构训练的时候，加入模糊核信息并引入模糊核约束函数，所述模糊核信息包括清晰―模糊图像对，所述模糊核约束函数为：
其中，kn为第n个模糊样本，为模糊核均值，β为模糊核调节参数，Num( X)为集合基数；
所述图像恢复模块用于从模型构建模块处获取恢复模型网络，并基于获取的恢复模型网络对手机拍摄的模糊照片进行自动恢复。
2.根据权利要求1所述的智能手机自动图像去模糊系统，其特征在于，所述训练数据库为基于伯克利分割数据库建立的数据库。
3.智能手机自动图像去模糊方法，其特征在于，包括以下步骤：
步骤一：统计测试出拍照中常见的模糊核；
步骤二：建立训练数据库，并将现有的图像按照模糊核进行模糊降质，构建出清晰―模糊图像对；
步骤三：按照现有超分辨率随机森林模型的算法模型建立恢复模型网络，其中，在对森林里面每一个树结构训练的时候，加入模糊核信息并引入模糊核约束函数，所述模糊核信息包括清晰―模糊图像对，所述模糊核约束函数为：
其中，kn为第n个模糊样本，为模糊核均值，β为模糊核调节参数，Num(X)为集合基数；
步骤四：将得到的恢复模型网络导入手机拍照系统中，作为事先已知的模型数据；
步骤五：对拍摄得到的照片，利用恢复模型网络进行自动恢复。
4.根据权利要求3所述的智能手机自动图像去模糊方法，其特征在于，步骤一包括：首先随机拍摄大量照片，然后选取出其中存在模糊的照片进行模糊核的估计，最后选取出最可能出现的几类模糊核。
5.根据权利要求3所述的智能手机自动图像去模糊方法，其特征在于，步骤二基于伯克利分割数据库建立训练数据库。
CN201611108082.7A 2016-12-06 2016-12-06 智能手机自动图像去模糊系统及方法 Active CN106373107B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611108082.7A CN106373107B (zh) 2016-12-06 2016-12-06 智能手机自动图像去模糊系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611108082.7A CN106373107B (zh) 2016-12-06 2016-12-06 智能手机自动图像去模糊系统及方法

Publications (2)

Publication Number Publication Date
CN106373107A CN106373107A (zh) 2017-02-01
CN106373107B true CN106373107B (zh) 2019-03-19

Family

ID=57891466

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611108082.7A Active CN106373107B (zh) 2016-12-06 2016-12-06 智能手机自动图像去模糊系统及方法

Country Status (1)

Country Link
CN (1) CN106373107B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109727201A (zh) * 2017-10-30 2019-05-07 富士通株式会社 信息处理设备、图像处理方法以及存储介质
CN109345449B (zh) * 2018-07-17 2020-11-10 西安交通大学 一种基于融合网络的图像超分辨率及去非均匀模糊方法
CN112433339B (zh) * 2020-12-10 2022-04-15 济南国科医工科技发展有限公司 基于随机森林的显微镜精细对焦方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104166961A (zh) * 2014-07-28 2014-11-26 西安电子科技大学 用于图像盲复原的低秩逼近的模糊核估计方法
CN104751420A (zh) * 2015-03-06 2015-07-01 湖南大学 一种基于稀疏表示和多目标优化的盲复原方法
CN105957024A (zh) * 2016-04-20 2016-09-21 西安电子科技大学 基于图像块先验与稀疏范数的盲去模糊方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9298966B2 (en) * 2013-08-06 2016-03-29 Apple Inc. Electronic device including sub-array based deblurring of a blurred finger image and related methods
US9286662B2 (en) * 2013-09-26 2016-03-15 Siemens Aktiengesellschaft Single image super resolution and denoising using multiple wavelet domain sparsity
US9430817B2 (en) * 2013-11-12 2016-08-30 Microsoft Technology Licensing, Llc Blind image deblurring with cascade architecture

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104166961A (zh) * 2014-07-28 2014-11-26 西安电子科技大学 用于图像盲复原的低秩逼近的模糊核估计方法
CN104751420A (zh) * 2015-03-06 2015-07-01 湖南大学 一种基于稀疏表示和多目标优化的盲复原方法
CN105957024A (zh) * 2016-04-20 2016-09-21 西安电子科技大学 基于图像块先验与稀疏范数的盲去模糊方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
《基于稀疏表示的单帧运动图像盲复原*》;李信一 等;《计算机应用研究》;20130430;第30卷(第4期);全文
Edge-based blur kernel estimation using patch priors;Libin Sun 等;《IEEE International Conference on Computational Photography (ICCP)》;20130613;全文
基于卷积核优化的运动图像盲去模糊算法;沈辰等;《信息与控制》;20141231;第43卷(第1期);全文

Also Published As

Publication number Publication date
CN106373107A (zh) 2017-02-01

Similar Documents

Publication Publication Date Title
CN109544442B (zh) 基于双重对抗的生成式对抗网络的图像局部风格迁移方法
CN111985281B (zh) 图像生成模型的生成方法、装置及图像生成方法、装置
CN102693538A (zh) 生成高动态范围图像的全局对准
US11949848B2 (en) Techniques to capture and edit dynamic depth images
CN106373107B (zh) 智能手机自动图像去模糊系统及方法
CN109993712A (zh) 图像处理模型的训练方法、图像处理方法及相关设备
CN108174096A (zh) 拍摄参数设置的方法、装置、终端及存储介质
CN106664467A (zh) 实时视频摘要
CN110555527A (zh) 延时摄影视频的生成方法及设备
US11918412B2 (en) Generating a simulated image of a baby
CN108156385A (zh) 图像获取方法及图像获取装置
CN110782448A (zh) 渲染图像的评价方法及装置
CN115965840A (zh) 图像风格迁移和模型训练方法、装置、设备和介质
JP2023545052A (ja) 画像処理モデルの訓練方法及び装置、画像処理方法及び装置、電子機器並びにコンピュータプログラム
CN106815803A (zh) 图片的处理方法及装置
CN112200817A (zh) 基于图像的天空区域分割和特效处理方法、装置及设备
CN110838088B (zh) 一种基于深度学习的多帧降噪方法、装置及终端设备
WO2024131565A1 (zh) 服装图像提取方法及其装置、设备、介质、产品
CN111652073B (zh) 视频分类方法、装置、系统、服务器和存储介质
Pouget et al. Fast and accurate camera scene detection on smartphones
CN113989460B (zh) 用于增强现实场景的实时天空替换特效控制方法及装置
CN111383289A (zh) 图像处理方法、装置、终端设备及计算机可读存储介质
CN112788236B (zh) 视频帧处理方法、装置、电子设备和可读存储介质
JP2023113444A (ja) 画像処理装置、画像処理方法及びプログラム
CN108733439A (zh) 图像处理方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant