CN108419009B - 图像清晰度增强方法和装置 - Google Patents

Abstract

本发明公开了一种图像清晰度增强方法和装置。所述方法包括：分别获取第一图像和第二图像，其中，所述第一图像和所述第二图像所显示的视场相同，所述第一图像与所述第二图像分别具有不同的对焦距离，使得所述第一图像和所述第二图像在所述视场中分别针对不同景深位置有不同的清晰度；以及至少基于所述第一图像和所述第二图像，进行图像合成，获得一合成图像。

Description

图像清晰度增强方法和装置

技术领域

本发明涉及图像处理技术领域，具体涉及一种图像清晰度增强方法和装置。

背景技术

随着近些年手机的发展，双摄手机之类的产品变的越来越普及，消费者对拥有更强大功能的相机需求逐渐上升。使用双摄像头来提升拍照质量的手机设备和双摄相机功能也变得越来越多。在这种趋势下，通过对双摄像头拍摄结果图像做图像融合增强，得到质量更优结果图像的功能变的逐渐普及。

目前，常用的双摄手机拍照方式为主摄先对焦到用户兴趣位置上，然后副摄对焦到用户兴趣位置上，得到拍摄的双摄图像之后，进行图像融合或者增强。在这里就有着一个缺陷：两个摄像头都对焦到同一个区域上，当这两个摄像头解析力差不多的时候，会出现很多双摄图像上的很多区域都是清晰度差不多的，就会出现都清晰或者都模糊的情况，这种情况下，对双摄手机来说，并没能充分利用到双摄的优势。

发明内容

本发明的目的在于克服现有技术的不足，提供一种图像清晰度增强方法，以至少达到通过控制对焦得到特殊的双摄拍摄图像，实现图像清晰度增强，得到超分辨率图像的效果。

第一方面，本发明提供了一种图像清晰度增强方法，包括以下步骤：

分别获取第一图像和第二图像，其中，所述第一图像和所述第二图像所显示的视场相同，所述第一图像与所述第二图像分别具有不同的对焦距离，使得所述第一图像和所述第二图像在所述视场中分别针对不同景深位置有不同的清晰度；以及

至少基于所述第一图像和所述第二图像，进行图像合成，获得一合成图像。

可选的，所述基于第一图像和第二图像，进行图像合成，获得一合成图像包括：

至少基于所述第一图像和所述第二图像，形成多个输入图像；以及

对所述多个输入图像进行分区域的清晰度检测，至少根据所述清晰度检测的结果和所述多个输入图像，进行图像合成，获得所述合成图像。

可选的，所述对所述多个输入图像进行分区域的清晰度检测，至少根据所述清晰度检测的结果和所述两输入图像，进行图像合成，获得所述合成图像包括：

在所述多个输入图像中选择其中之一进行区域分割，并将区域分割结果应用于其它图像，形成区域分割结果；

分别对所述多个图像上的每个分割区域进行清晰度检测；

在每个分割区域组的所有分割区域中，选择清晰度最高的一个结果，形成合成掩码；以及

根据所述合成掩码和所述区域分割结果，进行合成，获得清晰的合成图像。

可选的，所述的多个输入图像包括所述第一图像和所述第二图像。

可选的，所述至少基于所述第一图像和所述第二图像，形成多个输入图像包括：

对第一图像和第二图像分别进行插值，获得第一超分辨率图像和第二超分辨率图像；以及

至少将所述第一超分辨率图像和所述第二超分辨率图像作为所述多个输入图像。

可选的，对所述第一图像和所述第二图像进行插值的方法为对所述第一图像和所述第二图像的边缘检测及提取，基于边缘检测结果进行插值。

可选的，进一步包括：确定所述第一图像和第二图像的对焦距离。

可选的，所述确定所述第一图像和第二图像的对焦距离包括：

获取当前拍摄视场的图像；

识别当前拍摄视场的景深范围和/或物体类型；以及

根据所述当前拍摄视场的景深范围和/或物体类型，从一预设的对焦拟合表中，确定第一图像和第二图像的对焦距离。

可选的，所述确定所述第一图像和第二图像的对焦距离包括：

对当前视场进行对焦检测，确定第一图像的对焦距离；以及

根据所述第一图像的对焦距离和一预设的对焦映射表，将第二图像的对焦距离设定为同第一图像的对焦距离反向对应。

第二方面，本发明提供了一种图像清晰度增强的装置，包括：

获取模块，用于分别获取第一图像和第二图像，其中，所述第一图像和所述第二图像所显示的视场相同，所述第一图像与所述第二图像分别具有不同的对焦距离，使得所述第一图像和所述第二图像在所述视场中分别针对不同景深位置有不同的清晰度；以及

合成模块，用于至少基于所述第一图像和所述第二图像，进行图像合成，获得一合成图像。

第三方面，本发明提供了一种存储器，所述存储器用于存储程序，其中，所述程序在执行时包括以下步骤：

分别获取第一图像和第二图像，其中，所述第一图像和所述第二图像所显示的视场相同，所述第一图像与所述第二图像分别具有不同的对焦距离，使得所述第一图像和所述第二图像在所述视场中分别针对不同景深位置有不同的清晰度；以及

至少基于所述第一图像和所述第二图像，进行图像合成，获得一合成图像。

第四方面，本发明提供了一种终端系统，其中，所述终端系统包括：

处理器，用于执行程序；

存储器，用于存储由处理器执行的程序；

其中所述程序在执行时包括以下步骤：

分别获取第一图像和第二图像，其中，所述第一图像和所述第二图像所显示的视场相同，所述第一图像与所述第二图像分别具有不同的对焦距离，使得所述第一图像和所述第二图像在所述视场中分别针对不同景深位置有不同的清晰度；以及

至少基于所述第一图像和所述第二图像，进行图像合成，获得一合成图像。

本发明的有益效果是：与现有技术相比，本发明具有以下优势：

（1）本发明提供了一种通过控制对焦来得到特殊的双摄拍摄图像的方法，基于得到的特殊双摄拍摄图像，可以实现多样化的双摄功能；

（2）通过掩码对双摄图像进行清晰度筛选融合，因为双摄图像分别在不同对焦距离上成像，因此通过该输入图像，可以得到清晰度更好的融合图像；

（3）基于边缘方向的插值，可以保证插值后的大图，清晰度比一般插值方式效果更好；

（4）根据清晰度掩码对插值放大之后的主副摄图像进行清晰度区域筛选融合，因为双摄图像分别在不同对焦距离上成像，因此通过该输入，可以得到清晰度更好的超分辨率图像；

（5）通过梯度检测算子调节图像的亮度，提高图像清晰度区域筛选效率。

附图说明

图1本发明实施例中终端系统的结构示意图；

图2为依据本发明某些实施例的图像清晰度增强方法的流程图；

图3为采用如图2所示的图像清晰度增强方法200的合成图像效果图；

图4为根据本发明一个实施例获得清晰图像的方法的流程图；

图5为依据本发明某些实施例的图像清晰度增强方法的流程图；

图6为根据本发明另一些实施例的确定第一图像和第二图像的对焦距离的方法的流程图；

图7为根据本发明又一实施例的图像清晰度增强方法的流程图；

图8为本发明实施例中的图像清晰度增强的装置结构示意图。

具体实施方式

下面将详细描述本发明的具体实施例，应当注意，这里描述的实施例只用于举例说明，并不用于限制本发明。在以下描述中，为了提供对本发明的透彻理解，阐述了大量特定细节。然而，对于本领域普通技术人员显而易见的是：不必采用这些特定细节来实行本发明。在其他实例中，为了避免混淆本发明，未具体描述公知的电路，软件或方法。

在整个说明书中，对“一个实施例”、“实施例”、“一个示例”或“示例”的提及意味着：结合该实施例或示例描述的特定特征、结构或特性被包含在本发明至少一个实施例中。因此，在整个说明书的各个地方出现的短语“在一个实施例中”、“在实施例中”、“一个示例”或“示例”不一定都指同一实施例或示例。此外，可以以任何适当的组合和、或子组合将特定的特征、结构或特性组合在一个或多个实施例或示例中。此外，本领域普通技术人员应当理解，在此提供的示图都是为了说明的目的，并且示图不一定是按比例绘制的。

图1示出了根据本发明一实施例的实施图像清晰度增强方法的图像处理系统100的结构示意图。在图示实施例中，终端系统100为包括触摸式输入装置101的系统。然而，应当理解，该系统还可包括一个或多个其他物理用户接口设备，诸如物理键盘、鼠标和/或操纵杆。系统100的运行平台可适于运行一种或多种操作系统，例如Android（安卓）操作系统，Windows（视窗）操作系统，苹果IOS操作系统，BlackBerry（黑莓）操作系统，谷歌Chrome操作系统等通用型操作系统。然而，在其它实施例中，终端系统100也可以运行专用的操作系统而非通用操作系统。

在某些实施例中，系统100同时可支持运行一种或多种应用程序，包括但不限于以下应用程序中的一个或多个应用程序：磁盘管理应用程序、安全加密应用程序、权限管理应用程序、系统设置应用程序、文字处理应用程序、演示幻灯片应用程序、电子表格应用程序、数据库应用程序、游戏应用程序、电话应用程序、视频会议应用程序、电子邮件应用程序、即时消息应用程序、照片管理应用程序、数字相机应用程序、数字视频相机应用程序、web浏览应用程序、数字音乐播放器应用程序、和/或数字视频播放器应用程序等等。

在系统上运行的操作系统和各种应用程序可使用触摸式输入装置101作为用户的物理输入界面装置。触摸式输入装置101具有一触摸表面作为用户界面。在优选实施例中，触摸式输入装置101的触摸表面为一显示屏幕102表面，触摸式输入装置101和显示屏幕102共同形成了触敏显示屏120，然而在另一些实施例中，触摸式输入装置101具有一独立的，不与其他设备模块共用的触摸表面。触敏显示屏还进一步包括用于检测触摸式输入装置101上的是否发生接触的一个或多个接触传感器106。

触敏显示屏120可选地使用LCD(液晶显示屏)技术、LPD(发光聚合物显示器)技术或LED(发光二极管)技术，或其它任何可以实现图像显示的技术。触敏显示屏120进一步可使用现在已知或以后开发的多种触摸感测技术的任何一种来检测接触以及接触的任何移动或阻断，例如电容感测技术或电阻感测技术。在一些实施例中，触敏显示屏120可同时检测单个接触点或多个接触点及其移动变化状况。

除触摸式输入装置101与可选的显示屏幕102之外，系统100还可包括存储器103(其任选地包括一个或多个计算机可读存储介质)、存储器控制器104以及一个或多个处理器(Processor)105，以上组件可通过一个或多个信号总线107进行通信。

存储器103可包括缓存（Cache）、高速随机存取存储器（RAM），例如常见的双倍数据率同步动态随机存取内存（DDR SDRAM），并且还可包括非易失性存储器（NVRAM），诸如一个或多个只读存储器（ROM）、磁盘存储设备、闪存（Flash）存储器设备、或其他非易失性固态存储器设备例如光盘（CD-ROM，DVD-ROM），软盘或数据磁带等。存储器103可用于存储前述操作系统和应用程序软件，以及在系统工作过程中产生和接收的各种类型数据。存储控制器104可控制系统100的其他部件访问存储器103。

处理器105用于运行或执行被存储在内部存储器103中的操作系统，各种软件程序，以及自身的指令集，并用于处理来自于触摸式输入装置101或自其它外部输入途径接收到的数据和指令，以实现系统100的各种功能。处理器105可以包括但不限于中央处理器（CPU）、通用图像处理器（GPU）、微处理器（MCU）、数字信号处理器（DSP)、现场可编程逻辑门阵列（FPGA），应用专用集成电路（ASIC）中的一种或多种。在一些实施例中，处理器105和存储器控制器104可在单个芯片上实现。在一些其他实施方案中，它们可分别在彼此独立的芯片上实现。

图示实施例中，信号总线107被配置为将终端系统100的各个组件连接进行通信。应该理解的是，图示实施例的信号总线107的配置和连接方式是示例性的而非限制性的。视具体的应用环境和硬件配置要求，在其它实施例中，信号总线107可以采用其它不同但为本领域技术人员惯用的连接方式以及其常规组合或变化，以实现各个组件之间所需要的信号连接。

进一步的，在某些实施例中，系统100还可包含外围设备I/O接口111、RF电路112、音频电路113、扬声器114、麦克风115、摄像模块116。设备100还可包括一个或多个不同种类的传感器模块118。

RF(射频)电路112用于接收和发送射频信号以实现同其他通信设备进行通信。RF电路112可包括但不限于天线系统、RF收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、编解码芯片组、用户身份模块(SIM)卡、存储器等等。RF电路112任选地通过无线通信来与网络以及其他设备进行通信，该网络为诸如互联网(也被称为万维网(WWW))、内联网和/或无线网(诸如蜂窝电话网络、无线局域网(LAN)和/或城域网(MAN))。RF电路112还可包括用于检测近场通信(NFC)场的电路。无线通信可选用一种或多种通信标准、协议和技术，包括但不限于全球移动通信系统(GSM)、增强型数据GSM环境(EDGE)、高速下行链路分组接入(HSDPA)、高速上行链路分组接入(HSUPA)、演进、纯数据(EV-DO)、HSPA、HSPA+、双单元HSPA(DC-HSPDA)、长期演进(LTE)、近场通信(NFC)、宽带码分多址(W-CDMA)、码分多址(CDMA)、时分多址(TDMA)、蓝牙、蓝牙低功耗、无线保真(Wi-Fi)(例如，IEEE802.11a、IEEE 802.11b、IEEE 802.11g、IEEE 802.11n和/或IEEE 802.11ac)、互联网协议语音(VoIP)、Wi-MAX、电子邮件协议(例如，互联网消息访问协议(IMAP)和/或邮局协议(POP))、即时消息(例如，可扩展消息处理和存在协议(XMPP)、用于即时消息和存在利用扩展的会话发起协议(SIMPLE)、即时消息和存在服务(IMPS))、和/或短消息服务(SMS)、或者包括在本申请提交日期时还未开发出的通信协议的任何其他适当的通信协议。

音频电路113、扬声器114和麦克风115提供用户与系统100之间的音频接口。音频电路113从外部I/O端口111接收音频数据，将音频数据转换为电信号，并将电信号传输到扬声器114。扬声器114将电信号转换为人类可听的声波。音频电路113还接收由麦克风115根据声波转换的电信号。音频电路113可进一步将电信号转换为音频数据，并将音频数据传输到外部I/O端口111以发送给外部设备处理。音频数据可在处理器105与存储控制器104的控制下，被传输至存储器103和/或RF电路112。在一些实施方案中，音频电路113还可连接到耳麦接口。

摄像模块116用于根据来自处理器105的指令，进行静态图像和视频拍摄。摄像模块116可包括多个摄像单元，其中每个摄像单元具有镜片装置1161和影像传感器1162，能够由镜头装置1161接收来自外界的光信号，并由影像传感器1162，例如金属-氧化物互补型光电晶体管（CMOS）传感器或电荷耦合器件(CCD)传感器，将光信号转换为电信号。摄像模块116可进一步具有影像处理器（ISP）1163，用于将前述电信号进行处理校正，并转换成特定的图像格式文件，例如JPEG（联合图像专家小组）图像文件，TIFF（标签图像文件格式）图像文件等等。图像文件中所包含的图像可以为黑白或彩色。图像文件可根据处理器105和存储控制器104的指令，被送至存储器103进行存储，或送至RF电路112发送给外部设备。

外部I/O端口111为系统100同其它外部设备或系统表面物理输入模块提供接口。表面物理输入模块可以为按键，键盘，转盘等等，例如音量按键，电源按键，返回按键和摄像按键。外部I/O端口111所提供的接口还可包括通用串行总线（USB）接口（可包括USB、Mini-USB、Micro-USB、USB Type-C等等)、雷电（Thunderbolt）接口、耳麦接口、视频传输接口（例如高清晰度多媒体HDMI接口，移动高清连接MHL接口）、外部存储接口（例如外置存储卡SD卡接口），用户身份模块卡（SIM卡）接口等等。

传感器模块118可具有一个或多个传感器或传感器阵列，包括但不限于：1、位置传感器，例如全球卫星定位系统（GPS）传感器，北斗卫星定位传感器或格罗洛斯（GLONASS）卫星定位系统传感器，用于检测设备当前地理位置；2、加速度传感器，重力传感器，陀螺仪，用于检测设备运动状态并辅助定位；3、光线传感器，用于检测外部环境光；4、距离传感器，用于检测外部物体同系统的距离；5、压力传感器，用于检测系统接触的压力情况；6、温度与湿度传感器，用于检测环境温度和湿度。传感器模块118还可以视应用需要，添加任何其他种类和数量的传感器或传感器阵列。

在本发明一些实施例中，可由处理器105通过指令调用终端系统100的某些组件，例如存储器103执行本发明的图像清晰度增强的方法。处理器105完成本发明的图像清晰度增强方法的相关操作所需要的程序由存储器103进行存储。

本领域普通技术人员能够理解，除处理器105和存储器103为完成本发明实施例的图像清晰度增强方法之操作的必要组件之外，图像处理系统100可能不包含图1所示实施例的一个或多个组件，或还进一步包含图1所示实施例所未包括的其它组件，而仍然能够实施本发明实施例所揭示的图像清晰度增强方法。

图2示出了依据本发明某些实施例的图像清晰度增强方法200，包括以下步骤：

首先，图像处理系统100分别获取第一图像和第二图像，两图像中所显示的视场相同。此处“相同”一词代表两图像所显示的场景具有较大的重合部分，适于进行匹配后，共同合成单一图像。其中，在一个实施例中，第一图像来自于摄像模块116中的一个第一摄像单元，第二图像来自于摄像模块116中的第二摄像单元。第一摄像单元和第二摄像单元以一定的几何关系布置。在其他实施例中，第一图像和第二图像也可以通过其它合适的方式获得，例如通过RF电路112，同其它摄像设备或信息处理终端建立传输关系后获取。在一个实施例中，第一图像和第二图像的至少其中之一为彩色（RGB）图像。

其中，第一图像与第二图像分别具有不同的对焦距离，使得第一图像和第二图像分别在视场中针对不同景深位置有不同的清晰度。例如，第一图像的对焦距离可以为近焦（例如0-1米），第二图像的对焦距离可以为无穷远。此时，第一图像能够较为清晰地显示视场范围内距离拍摄点较近的物体，而远处的物体可能呈现虚化效果，第二图像能够较为清晰地显示视场范围距离拍摄点较远的物体。此处“对焦距离”一词，是指对焦完成时，能够被清晰成像的物同成像面之间的距离，是镜头到物体的距离与镜头到感光元件的距离之和。

最后，基于第一图像和第二图像，进行图像合成，获得一合成图像。

在图示实施例中，基于第一图像和第二图像，进行图像合成的步骤包括：

至少基于第一图像和第二图像，形成多个输入图像；

对多个输入图像进行分区域的清晰度检测，至少根据清晰度检测结果和两输入图像，进行图像合成，获得清晰图像。

图3示出采用图像清晰度增强方法200的合成图像效果图，下面将结合图3对图像清晰度增强效果进行说明。由于第一图像和第二图像具有不同的对焦距离，因此，针对图像视场内不同位置的物体，第一图像和第二图像可以分别具有较高的清晰度。以上文所举的对焦距离为例，第一图像的对焦距离为0-1米，第二图像的对焦距离为无穷远，当拍摄同时包含近处和远处的景物时，如图3所示，最终合成图像中，包含近处的景物的画面区域（方框处所示），可以采用第一图像的对应部分，而包含远处景物的画面区域（椭圆框所示），可以采用第二图像的对应部分，这样，最终合成图像中，可以同时具有清晰的远景和细节丰富的近景，增强了图像的整体清晰度。

本领域具有普通水平的技术人员能够理解，在某些实施例中，除第一图像和第二图像之外，图像清晰度增强方法200在合成时，还可进一步基于具有同一视场而具有不同对焦距离的其它一个或多个图像，形成多个输入图像，进行清晰度检测并用于合成，从而在合成时，进一步增加图像的清晰度。有关合成方法和清晰度检测方法将在下文中详细叙述。

图4示出了根据本发明一个实施例，对多个图像进行图像合成，获得清晰图像的方法400的具体流程图。该方法包括：

步骤401：在多个输入图像中选择其中之一进行区域分割，并将区域分割结果应用于其它图像，形成区域分割结果；

步骤402：分别对多个输入图像上的每个分割区域进行清晰度检测；

步骤403：在每个分割区域组的所有分割区域中，选择一个清晰度最高的结果，形成合成掩码；

步骤404：根据合成掩码和区域分割结果，进行合成，获得清晰的合成图像。

在图示实施例中，上面步骤中所指的输入的两图像是指第一图像和第二图像，故下面将以第一图像和第二图像为例进行说明。本领域具有普通水平的技术人员能够理解，在其它实施例中，当步骤401中，多个输入图像来源发生变化（例如多个输入图像是分别衍生自第一图像和第二图像的图像，而非直接采用第一图像和第二图像进行输入，或者输入的图像还基于其他图像产生），依然可以对应使用方法400而获得增强清晰度的效果，从而包含于本发明权利要求的保护范围之内。

具体来说，在步骤401中，可以采用目前常见的区域分割算法，例如Segment分割算法，或者超像素分割算法等，本发明实施例此处不做限定。形成分割区域优选本发明图示实施例的区域分割方法：对第一图像和第二图像的其中之一进行区域分割，并将该区域分割结果同时应用到对应的另一未进行分割图像上。在本发明图示实施例中，这样的分割方法所得出的区域分割结果，可以使得对于被分割图像的每个分割区域，在其它每个图像上都有一个与之对应的分割区域。由于第一图像和第二图像具有不同的对焦距离，分别可能对视场范围内不同位置的物体的进行虚化效应，此时，如果同时对第一图像和第二图像均使用区域分割算法进行分割，即便采用完全相同的区域分割算法，第一图像和第二图像的分割结果很有可能出现较大差异，致使后续的清晰度判定无法准确进行。当仅选择第一图像和第二图像其中之一进行区域分割时，并将该分割结果直接应用于另一未进行区域分割的图像上，既可以使清晰度分析能够根据视场内的物体特征进行，保证清晰度分析结果的有效性，同时又避免了第一图像和第二图像分割结果不一致造成的清晰度对比无法准确进行的问题。

在步骤402中，针对第一图像和第二图像上每个分割区域的清晰度检测，可以采用下面的方法进行：

将每个区域分割中的各图像像素坐标和像素值，导入梯度算子；

根据梯度检测算子得出的值，获得各个区域的清晰度检测结果；

梯度算子可以采用罗伯特（Rebert）算子。在其他实施例中，也可以采用其他任何合适的检测算子，完成清晰度检测。

本领域技术人员能够理解，上文中采用梯度检测算子完成清晰度检测是示例性的而非限制性的，在其他实施例中，也可以采用其他任何合适的算法、算子或清晰度检测方法，完成针对第一图像和第二图像上每个分割区域的清晰度检测，获得清晰度检测结果。

在步骤403中，对清晰度结果的筛选和生成合成掩码，可以包括下面的方法：

步骤4031：对多个输入图像中的分割区域进行匹配和标记，生成多个区域分割组；

本文中的“区域分割组”是指由被分割图像上的某一分割区域，和该分割区域在其它所有图像上的对应分割区域一起组成的分割区域。例如，图示实施例中，当第一图像被分割为3个区域时，假设第一图像的3个分割区域为A1、A2、A3，该分割被应用到第二图像依次对应的3个分割区域分别为B1、B2、B3。匹配后，共计有3个区域分割组，分别被标记为A1-B1，A2-B2，A3-B3。

步骤4032：依据清晰度检测结果，对每个区域分割组中的所有分割区域进行清晰度结果比较，选择每个区域分割组中，清晰度最高的区域，形成合成掩码；

例如，假设对上述分割区域对进行比较后，根据清晰度检测结果，每个区域分割组中，较清晰的区域分别是：A1、B2、B3，则生成的合成掩码为0、255、255，其中，0代表在合成时，该区域选用第一图像上的对应分割区域，255代表在合成时，该区域选用第二图像上的对应分割区域。

尽管在上述实施例中，对第一图像和第二图像的分割区域匹配和标记包含在步骤403中，但在其它实施例中，该步骤也可提前至步骤401中进行，或者与步骤402同步进行。

最后，在步骤404中，根据上述合成掩码和区域分割结果，生成最后的合成图像，例如，上述合成图像的结果由第一图像的A1区域和第二图像的B2，B3区域共同拼合构成。

本领域普通技术人员能够理解，上述对第一图像和第二图像的区域分割、匹配，清晰度检测比较、合成掩码生成以及合成过程的描述，仅是为了达到说明示例的目的，并不含有任何对本发明进行限定的意图。在其他实施例中，有关分割的数量和标记方式，清晰度检测的结果，合成掩码的具体表现形式等等，均可以不同于上述示例。

图5示出了依据本发明某些实施例的图像清晰度增强方法500的方法流程图。相比图像清晰度增强方法200， 图像清晰度增强方法500进一步包含：确定第一图像和第二图像的对焦距离。

在某些实施例中，确定第一图像和第二图像的对焦距离可以包括：

步骤501：获取当前拍摄视场的图像；

步骤502：识别当前拍摄视场的景深范围和/或物体类型；

步骤503：根据当前拍摄视场的景深范围和/或物体类型，从一预设的对焦拟合表中，确定第一图像和第二图像的对焦距离。

其中，在步骤501中，获取当前拍摄视场下的图像，可以从拍摄设备的预览画面中，截取一帧获得，也可以进行一次预拍摄获得。

步骤502中，可以通过当前常见的景深检测手段（例如双目视觉测距）和物体识别手段（例如深度学习算法），获得当前拍摄视场的景深和物体的识别结果。本领域具有普通水平的技术人员能够了解，步骤502中所使用的景深检测手段和物体识别手段并不限于上述举例，而可以采用任何能够实现景深检测和物体识别的方法，且并非本发明实施例的关注点，此处不再赘述。

步骤503中，预设的对焦拟合表可以为工厂出厂预设，也可以由用户自己调整。对焦拟合表在某些实施例中可以表现为任意个数据文件或数据簇（例如以二进制表的形式存储在特定的位置），存储在图像处理设备100的存储器103中。在其它实施例中，预设的对焦拟合表也可以存储于云端服务器、临近的其它设备或其它任何合适位置，此时，图像处理设备100的RF电路112向存储预设对焦拟合表的设备发送对焦距离查询请求，并接收传输来的对焦距离数据查询结果。

在一个实施例中，对焦拟合表可以包含景深范围到对焦距离（包含第一图像和第二图像）的映射，可以依照当前输入的景深范围数据，查得对应所需的对焦策略，依照对焦策略，确定对焦距离。例如，当景深范围为1-10米，第一图像的对焦距离可以被设定为1.5米，第二图像的对焦距离可以被设定为8米。又例如，当景深范围为0.1-40米时，第一图像的对焦距离可以被设定为0.1米，第二图像的对焦距离可以被设定为无穷远。

在另一实施例中，对焦映射表可以包含物体类型到对焦距离的映射，可以依照当前识别到的物体类型，查得对应的对焦策略，根据对焦策略，确定对焦距离。例如，如当前视场下，物体类型包括人像和远景，则第一图像的对焦距离被设定为人像到成像面的距离，第二图像的对焦距离被设置为无穷远。又例如，当物体类型包括第一植物和第二植物时，则第一图像的对焦距离被设定为第一植物到成像面的距离，第二图像的对焦距离被设置为第二植物到成像面的距离。

在又一个实施例中，对焦拟合表还可以包含由景深范围和物体类型的结合到对焦距离的映射，可以同时依照景深范围和物体类别，更加精确地设置对焦策略，确定对焦距离。

本领域具有普通水平技术人员能够理解，上述关于对焦拟合表的存储位置，存储形式，存储内容和读取方式的举例，其目的是为了帮助更好地理解本发明实施例内容，并不包含任何对本发明进行限定的意图。

在其它实施例中，步骤501和502也可以被省略，景深范围和物体类型可以由用户人工选择，而依据人工输入的结果，查询对焦拟合表，确定对焦距离。

图6示出了根据本发明另一些实施例的确定第一图像和第二图像的对焦距离的方法600的流程示意图。如图6所示，确定对焦距离的方法可以包括：

步骤601：对当前视场进行对焦检测，确定第一图像的对焦距离；

步骤602：根据第一图像的对焦距离和一预设的对焦映射表，将第二图像的对焦距离设定为同第一图像的对焦距离反向对应；

其中，对当前视场进行对焦检测，可以采用当前常见的单点对焦，多点对焦，中心对焦以及边缘对焦等方式进行，此处不再赘述。对焦映射表的存储位置、形式和读取方式可以参照图5所示实施例中对焦拟合表的做法，此处不再赘述。

上文所叙述的“同第一图像的对焦距离反向对应”，是指在整个对焦范围内，相对于第一图像已经确定的对焦距离，能够使得第一图像对焦距离之外物体清晰成像的对焦距离。在对焦映射表上，反向对应的对焦距离可根据拍摄第一图像和第二图像的拍摄设备的物理对焦参数决定，例如，当第一图像对焦距离为0.1米时，同第一图像的对焦距离反向对应的对焦距离为无穷远；又例如，当第一图像对焦距离为3米时，如果第二图像的拍摄设备的对焦距离范围是0.1米-5米，则认为第一图像对焦到远焦，反向对应的第二图像对焦距离应当为近焦，例如为0.1米。而如果第二图像的拍摄设备的对焦距离为3米-无穷远，则认为第一图像对焦到近焦，反向对应的第二图像对焦距离应当为远焦，例如为30米。

这样，第一图像通过采用当前常见的主流对焦方式，保证当前视场范围内的主要被摄物体的清晰成像，而第二图像通过将对焦距离设定为同第一图像的对焦距离反向对应，可保证在绝大部分拍摄环境下，位于第一图像对焦距离之外的其它次要被摄物体的清晰成像。同时，设置该对焦策略无需借助图5所示实施例中的对焦拟合表和景深及物体检测，而直接可以依据映射对焦完毕，加快了对焦速度，减少了系统开销。

本领域具有普通水平技术人员能够理解，上述关于对焦映射表的对应关系的举例，其目的是为了帮助更好地理解本发明实施例内容，并不包含任何对本发明进行限定的意图。

图7示出了根据本发明又一实施例的图像清晰度增强方法700的方法流程图。相比图2所示的图像清晰度增强方法200， 图7所示的实施例在基于第一图像和第二图像进行图像合成时包括以下步骤：

对第一图像和第二图像分别进行插值，获得第一超分辨率图像和第二超分辨率图像；以及

至少将第一超分辨率图像和第二超分辨率图像作为所述多个输入图像。

在一个实施例中，对第一图像和第二图像进行插值的方法为对第一图像和第二图像的边缘检测及提取，基于边缘检测结果进行插值。其中边缘检测和提取可以基于任何适用的边缘检测算法，例如Canny算子，拉普拉斯算子等实现，本发明对此不做限制。边缘插值算法可以采用任何适用的边缘插值算法，例如NEDI（新边缘插值算法）算法，FEOI（快速边缘插值算法）算法等等，本发明对此亦不做限制。

相比一般插值方法，基于边缘检测和提取的方法进行插值，能够更加有效的减少插值行为对图像清晰度的影响。

对应的，当多个输入图像包括第一超分辨率图像和第二超分辨率图像时，针对第一超分辨率图像和第二超分辨率图像的分区域的清晰度检测方式和合成方式可以采用与图4所示实施例类似方式进行，只要将图4所示的实施例中的第一图像和第二图像分别替换为第一超分辨率图像和第二超分辨率图像即可，此处不再赘述。

传统的，在增大图像分辨率的插值过程中，无论采用何种算法，都会对图像清晰度造成较大影响。而采用图像增强方法700，可以藉由第一图像和第二图像在合成过程中的清晰度增强效应，对因插值造成的清晰度损失进行补偿，增大拍摄容差，提高最终合成图像的质量。

基于同一发明构思，本发明还提供了一种图像清晰度增强的装置，如图8所示，包括：

获取模块101，用于分别获取第一图像和第二图像，其中，所述第一图像和所述第二图像所显示的视场相同，所述第一图像与所述第二图像分别具有不同的对焦距离，使得所述第一图像和所述第二图像在所述视场中分别针对不同景深位置有不同的清晰度；以及

合成模块102，用于至少基于所述第一图像和所述第二图像，进行图像合成，获得一合成图像。

基于同一发明构思，本发明还提供了一种存储器，所述存储器用于存储程序，其中，所述程序在执行时包括以下步骤：

分别获取第一图像和第二图像，其中，所述第一图像和所述第二图像所显示的视场相同，所述第一图像与所述第二图像分别具有不同的对焦距离，使得所述第一图像和所述第二图像在所述视场中分别针对不同景深位置有不同的清晰度；以及

至少基于所述第一图像和所述第二图像，进行图像合成，获得一合成图像。

以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (10)

1.一种图像清晰度增强方法，包括以下步骤：

分别获取第一图像和第二图像，其中，所述第一图像和所述第二图像所显示的视场相同，所述第一图像与所述第二图像分别具有不同的对焦距离，使得所述第一图像和所述第二图像在所述视场中分别针对不同景深位置有不同的清晰度；以及

至少基于所述第一图像和所述第二图像，形成多个输入图像，在所述多个输入图像中选择其中之一进行区域分割，并将区域分割结果应用于其它图像，形成区域分割结果；分别对所述多个图像上的每个分割区域进行清晰度检测；在每个分割区域组的所有分割区域中，选择清晰度最高的一个结果，形成合成掩码；以及根据所述合成掩码和所述区域分割结果，进行合成，获得清晰的合成图像；

其中，在每个分割区域组的所有分割区域中，选择清晰度最高的一个结果，形成合成掩码，包括：对多个输入图像中的分割区域进行匹配和标记，生成多个分割区域组；依据清晰度检测结果，对每个分割区域组中的所有分割区域进行清晰度结果比较，选择每个分割区域组中，清晰度最高的区域，形成合成掩码。

2.如权利要求1所述的方法，其中：所述的多个输入图像包括所述第一图像和所述第二图像。

3.如权利要求1所述的方法，其中，所述至少基于所述第一图像和所述第二图像，形成多个输入图像包括：

对第一图像和第二图像分别进行插值，获得第一超分辨率图像和第二超分辨率图像；以及

至少将所述第一超分辨率图像和所述第二超分辨率图像作为所述多个输入图像。

4.如权利要求3所述的方法，其中，对所述第一图像和所述第二图像进行插值的方法为对所述第一图像和所述第二图像的边缘检测及提取，基于边缘检测结果进行插值。

5.如权利要求1所述的方法，进一步包括：确定所述第一图像和第二图像的对焦距离。

6.如权利要求5所述的方法，其中，所述确定所述第一图像和第二图像的对焦距离包括：

获取当前拍摄视场的图像；

识别当前拍摄视场的景深范围和/或物体类型；以及

根据所述当前拍摄视场的景深范围和/或物体类型，从一预设的对焦拟合表中，确定第一图像和第二图像的对焦距离。

7.如权利要求5所述的方法，其中，所述确定所述第一图像和第二图像的对焦距离包括：

对当前视场进行对焦检测，确定第一图像的对焦距离；以及

根据所述第一图像的对焦距离和一预设的对焦映射表，将第二图像的对焦距离设定为同第一图像的对焦距离反向对应。

8.一种图像清晰度增强的装置，包括：

获取模块，用于分别获取第一图像和第二图像，其中，所述第一图像和所述第二图像所显示的视场相同，所述第一图像与所述第二图像分别具有不同的对焦距离，使得所述第一图像和所述第二图像在所述视场中分别针对不同景深位置有不同的清晰度；以及

合成模块，用于至少基于所述第一图像和所述第二图像，形成多个输入图像，在所述多个输入图像中选择其中之一进行区域分割，并将区域分割结果应用于其它图像，形成区域分割结果；分别对所述多个图像上的每个分割区域进行清晰度检测；在每个分割区域组的所有分割区域中，选择清晰度最高的一个结果，形成合成掩码；以及根据所述合成掩码和所述区域分割结果，进行合成，获得清晰的合成图像；其中，在每个分割区域组的所有分割区域中，选择清晰度最高的一个结果，形成合成掩码，包括：对多个输入图像中的分割区域进行匹配和标记，生成多个分割区域组；依据清晰度检测结果，对每个分割区域组中的所有分割区域进行清晰度结果比较，选择每个分割区域组中，清晰度最高的区域，形成合成掩码。

9.一种存储器，所述存储器用于存储程序，其中，所述程序在执行时包括以下步骤：

分别获取第一图像和第二图像，其中，所述第一图像和所述第二图像所显示的视场相同，所述第一图像与所述第二图像分别具有不同的对焦距离，使得所述第一图像和所述第二图像在所述视场中分别针对不同景深位置有不同的清晰度；以及

至少基于所述第一图像和所述第二图像，形成多个输入图像，在所述多个输入图像中选择其中之一进行区域分割，并将区域分割结果应用于其它图像，形成区域分割结果；分别对所述多个图像上的每个分割区域进行清晰度检测；在每个分割区域组的所有分割区域中，选择清晰度最高的一个结果，形成合成掩码；以及根据所述合成掩码和所述区域分割结果，进行合成，获得清晰的合成图像；其中，在每个分割区域组的所有分割区域中，选择清晰度最高的一个结果，形成合成掩码，包括：对多个输入图像中的分割区域进行匹配和标记，生成多个分割区域组；依据清晰度检测结果，对每个分割区域组中的所有分割区域进行清晰度结果比较，选择每个分割区域组中，清晰度最高的区域，形成合成掩码。

10.一种终端系统，其中，所述终端系统包括：

处理器，用于执行程序；

存储器，用于存储由处理器执行的程序；

其中所述程序在执行时包括以下步骤：

分别获取第一图像和第二图像，其中，所述第一图像和所述第二图像所显示的视场相同，所述第一图像与所述第二图像分别具有不同的对焦距离，使得所述第一图像和所述第二图像在所述视场中分别针对不同景深位置有不同的清晰度；以及

至少基于所述第一图像和所述第二图像，形成多个输入图像，在所述多个输入图像中选择其中之一进行区域分割，并将区域分割结果应用于其它图像，形成区域分割结果；分别对所述多个图像上的每个分割区域进行清晰度检测；在每个分割区域组的所有分割区域中，选择清晰度最高的一个结果，形成合成掩码；以及根据所述合成掩码和所述区域分割结果，进行合成，获得清晰的合成图像；其中，在每个分割区域组的所有分割区域中，选择清晰度最高的一个结果，形成合成掩码，包括：对多个输入图像中的分割区域进行匹配和标记，生成多个区域分割组；依据清晰度检测结果，对每个区域分割组中的所有分割区域进行清晰度结果比较，选择每个区域分割组中，清晰度最高的区域，形成合成掩码。

Images