CN106851090B - 图像处理方法与装置、控制方法与装置、成像与电子装置 - Google Patents

Abstract

本发明公开了一种图像处理方法，包括：识别清晰图像中是否存在过曝部分；虚化清晰图像以得到虚化图像；在存在过曝部分时，处理与清晰图像场景相同的图像传感器抖动时输出的模糊图像以得到与过曝部分对应的素材部分；将虚化图像中与过曝部分对应的虚化过曝部分替换为素材部分以得到合并图像。本发明还公开了一种图像处理装置、控制方法、控制装置、成像装置和电子装置。

Description

图像处理方法与装置、控制方法与装置、成像与电子装置

技术领域

本发明涉及图像处理技术，特别涉及一种图像处理方法、一种控制方法、一种图像处理装置、一种控制装置、一种成像装置和一种电子装置。

背景技术

现有的虚化算法，比如人像照片的背景虚化，其软件虚化算法一般使用模糊算法，模糊算法是一种平均算法，在虚化照片中的光源时，会将光源的像素亮度值平均化，使照片中的光源显得暗淡，效果不好。

发明内容

本发明的实施方式旨在至少解决现有技术中存在的技术问题之一。为此，本发明的实施方式需要提供一种图像处理方法、一种控制方法、一种图像处理装置、一种控制装置、一种成像装置和一种电子装置。

本发明提供一种图像处理方法，所述图像处理方法包括以下步骤：

识别清晰图像中是否存在过曝部分；

虚化所述清晰图像以得到虚化图像；

在存在所述过曝部分时，处理与所述清晰图像场景相同的图像传感器抖动时输出的模糊图像以得到与所述过曝部分对应的素材部分；和

将所述虚化图像中与所述过曝部分对应的虚化过曝部分替换为所述素材部分以得到合并图像。

在某些实施方式中，所述清晰图像是处于未抖动状态或抖动后补偿状态的图像。

在某些实施方式中，所述识别清晰图像中是否存在过曝部分的步骤包括：

根据所述清晰图像的直方图判断所述清晰图像中过曝像素是否多于或等于第一预定数目，所述过曝像素的像素值大于或等于预定像素值；和

在所述过曝像素多于或等于第一预定数目时确定存在所述过曝部分。

在某些实施方式中，所述识别清晰图像中是否存在过曝部分的步骤包括：

在存在所述过曝部分时，判断所述清晰图像中是否存在相邻接的过曝像素，所述相邻接的过曝像素的数目多于或等于第二预定数目；和

在存在所述相邻接的过曝像素时，确定所述相邻接的过曝像素属于所述过曝部分。

在某些实施方式中，所述预定像素值为所述清晰图像的像素值范围的上限。

在某些实施方式中，所述虚化所述清晰图像以得到虚化图像的步骤是采用高斯模糊算法实现的。

在某些实施方式中，所述图像传感器抖动由微机电系统控制。

在某些实施方式中，所述图像处理方法包括：

在存在所述过曝部分时，输出所述合并图像；和

在不存在所述过曝部分时，输出所述虚化图像。

本发明提供一种控制方法，用于控制成像装置，所述控制方法包括以下步骤：

控制所述成像装置输出相同场景的清晰图像和图像传感器抖动时的模糊图像；和

采用如上任意一实施方式所述的图像处理方法处理所述清晰图像和所述模糊图像。

在某些实施方式中，所述控制所述成像装置输出相同场景的清晰图像和图像传感器抖动时输出的模糊图像的步骤包括以下步骤：

控制所述成像装置在未抖动状态或抖动后补偿状态成像以得到所述清晰图像；

控制图像传感器抖动；和

控制所述成像装置在图像传感器抖动状态成像以得到所述模糊图像。

本发明提供一种图像处理装置，所述图像处理装置包括：

识别模块，用于识别清晰图像中是否存在过曝部分；

虚化模块，用于虚化所述清晰图像以得到虚化图像；

处理模块，用于在存在所述过曝部分时，处理与所述清晰图像场景相同的图像传感器抖动时输出的模糊图像以得到与所述过曝部分对应的素材部分；和

合并模块，用于将所述虚化图像中与所述过曝部分对应的虚化过曝部分替换为所述素材部分以得到合并图像。

在某些实施方式中，所述清晰图像是处于未抖动状态或抖动后补偿状态的图像。

在某些实施方式中，所述识别模块包括：

第一判断子模块，用于根据所述清晰图像的直方图判断所述清晰图像中过曝像素是否多于或等于第一预定数目，所述过曝像素的像素值大于或等于预定像素值；和

第一确定子模块，用于在所述过曝像素多于或等于第一预定数目时确定存在所述过曝部分。

在某些实施方式中，所述识别模块还包括：

第二判断子模块，用于在存在所述过曝部分时，判断所述清晰图像中是否存在相邻接的过曝像素，所述相邻接的过曝像素的数目多于或等于第二预定数目；和

第二确定子模块，用于在存在所述相邻接的过曝像素时，确定所述相邻接的过曝像素属于所述过曝部分。

在某些实施方式中，所述预定像素值为所述清晰图像的像素值范围的上限。

在某些实施方式中，所述虚化模块是采用高斯模糊算法来虚化所述清晰图像以得到所述虚化图像的。

在某些实施方式中，所述图像传感器抖动由微机电系统控制。

在某些实施方式中，所述图像处理装置包括：

第一输出模块，用于在存在所述过曝部分时，输出所述合并图像；和

第二输出模块，用于在不存在所述过曝部分时，输出所述虚化图像。

本发明提供一种控制装置，用于控制成像装置，所述控制装置包括：

控制模块，用于控制所述成像装置输出相同场景的清晰图像和图像传感器抖动时的模糊图像；和

如上任意一实施方式所述的图像处理装置，所述图像处理装置与所述控制模块电连接。

在某些实施方式中，所述控制模块包括：

第一控制子模块，用于控制所述成像装置在未抖动状态或抖动后补偿状态成像以得到所述清晰图像；

微机电系统，用于控制图像传感器抖动；和

第二控制子模块，用于控制所述成像装置在图像传感器抖动状态成像以得到所述模糊图像。

本发明提供一种成像装置，所述成像装置包括：

摄像头；

与所述摄像头电连接的控制模块，用于控制所述摄像头输出相同场景的清晰图像和图像传感器抖动时的模糊图像；和

如上任意一实施方式所述的图像处理装置，所述图像处理装置与所述控制模块电连接。

在某些实施方式中，所述控制模块包括：

第一控制子模块，用于控制所述成像装置在未抖动状态或抖动后补偿状态成像以得到所述清晰图像；

微机电系统，用于控制图像传感器抖动；和

第二控制子模块，用于控制所述成像装置在图像传感器抖动状态成像以得到所述模糊图像。

本发明提供一种电子装置，所述电子装置包括如上任意一实施方式所述的成像装置。

在某些实施方式中，所述电子装置包括手机、平板电脑、笔记本电脑、智能手表、智能手环、智能头盔、智能眼镜中的任意一种。

在某些实施方式中，所述成像装置包括前置相机或/和后置相机。

本发明提供的图像处理方法、图像处理装置、控制方法、控制装置、成像装置及电子装置通过拍摄两张图像，一张清晰图像，一张模糊图像，取出模糊图像中与清晰图像中过曝部分对应的素材部分，合入清晰图像经虚化后的虚化图像中，合成一张带有真实光斑效果的合并图像，光斑效果好。

本发明的实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实施方式的实践了解到。

附图说明

本发明的实施方式的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：

图1是本发明第一实施方式的图像处理方法的流程示意图。

图2是本发明第一实施方式的图像处理装置的功能模块示意图。

图3是本发明第一实施方式的控制方法的流程示意图。

图4是本发明第一实施方式的控制装置的功能模块示意图。

图5是本发明第一实施方式的成像装置的功能模块示意图。

图6是本发明第一实施方式的电子装置的功能模块示意图。

图7是图6中电子装置的实物示意图。

图8是本发明电子装置的工作示意图。

图9是本发明第二实施方式的图像处理方法的流程示意图。

图10是本发明第二实施方式的图像处理装置的功能模块示意图。

图11是本发明清晰图像的直方图。

图12是本发明第二实施方式的控制方法的流程示意图。

图13是本发明第二实施方式的控制装置的功能模块示意图。

图14是本发明第二实施方式的成像装置的功能模块示意图。

图15是本发明第二实施方式的电子装置的功能模块示意图。

图16是本发明第三实施方式的图像处理方法的流程示意图。

图17是本发明第三实施方式的图像处理装置的功能模块示意图。

图18是本发明第三实施方式的控制方法的流程示意图。

图19是本发明第三实施方式的控制装置的功能模块示意图。

图20是本发明第三实施方式的成像装置的功能模块示意图。

图21是本发明第三实施方式的电子装置的功能模块示意图。

图22是本发明第四实施方式的图像处理方法的流程示意图。

图23是本发明第四实施方式的图像处理装置的功能模块示意图。

图24是本发明第四实施方式的控制方法的流程示意图。

图25是本发明第四实施方式的控制装置的功能模块示意图。

图26是本发明第四实施方式的成像装置的功能模块示意图。

图27是本发明第四实施方式的电子装置的功能模块示意图。

图28是本发明某些实施方式控制成像装置输出相同场景的清晰图像和图像传感器抖动时的模糊图像的流程示意图。

图29是本发明某些实施方式的控制模块的功能模块示意图。

主要元件符号说明：

电子装置100、成像装置10、控制装置11、图像处理装置111、识别模块1111、第一判断子模块11111、第一确定子模块11112、第二判断子模块11113、第二确定子模块11114、虚化模块1112、处理模块1113、合并模块1114、第一输出模块1117、第二输出模块1118、控制模块112、第一控制子模块1121、微机电系统1122、第二控制子模块1123、摄像头12。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接或可以相互通信；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

下文的公开提供了许多不同的实施方式或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本发明。此外，本发明可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。此外，本发明提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。

本发明提供多个实施方式的图像处理方法、多个实施方式的控制方法、多个实施方式的图像处理装置、多个实施方式的控制装置、多个实施方式的成像装置、和多个实施方式的电子装置。下面将多个实施方式的图像处理方法顺序编号来说明、将多个实施方式的控制方法顺序编号来说明、将多个实施方式的图像处理装置顺序编号来说明、将多个实施方式的控制装置顺序编号来说明、将多个实施方式的成像装置顺序编号来说明、及将多个实施方式的电子装置顺序编号来说明。其中，每个实施方式的图像处理方法可对应一个实施方式的控制方法、对应一个实施方式的图像处理装置、对应一个实施方式的控制装置、对应一个实施方式的成像装置、及对应一个实施方式的电子装置。例如，第一实施方式的图像处理方法可对应第一实施方式的控制方法、可对应第一实施方式的图像处理装置、可对应第一实施方式的控制装置、可对应第一实施方式的成像装置、及可对应第一实施方式的电子装置；第二实施方式的图像处理方法可对应第二实施方式的控制方法、可对应第二实施方式的图像处理装置、可对应第二实施方式的控制装置、可对应第一实施方式的成像装置、及可对应第二实施方式的电子装置。

请参阅图1，本发明第一实施方式的图像处理方法包括以下步骤：

S1，识别清晰图像中是否存在过曝部分；

S2，虚化清晰图像以得到虚化图像；

S3，在存在过曝部分时，处理与清晰图像场景相同的图像传感器抖动时输出的模糊图像以得到与过曝部分对应的素材部分；和

S4，将虚化图像中与过曝部分对应的虚化过曝部分替换为素材部分以得到合并图像。

其中，虚化清晰图像以得到虚化图像的步骤可以是采用高斯模糊算法实现的。清晰图像是成像装置处于未抖动状态或抖动后补偿状态的输出的图像。更进一步地，清晰图像可处于全景深对焦状态。素材部分的模糊程度与虚化过曝部分的虚化程度基本相同。图像传感器抖动由微机电系统控制。

请参阅图2，上述第一实施方式的图像处理方法可以由本发明第一实施方式的图像处理装置111实现。具体地，本发明第一实施方式的图像处理装置111包括识别模块1111、虚化模块1112、处理模块1113及合并模块1114，可分别用于执行S1至S4。也就是说，识别模块1111用于识别清晰图像中是否存在过曝部分。虚化模块1112用于虚化清晰图像以得到虚化图像。处理模块1113用于在存在过曝部分时，处理与清晰图像场景相同的图像传感器抖动时输出的模糊图像以得到与过曝部分对应的素材部分。合并模块1114用于将虚化图像中与过曝部分对应的虚化过曝部分替换为素材部分以得到合并图像。

其中，虚化模块1112是采用高斯模糊算法来虚化清晰图像以得到虚化图像。清晰图像是成像装置处于未抖动状态或抖动后补偿状态的输出的图像。更进一步地，清晰图像可处于全景深对焦状态。素材部分的模糊程度与虚化过曝部分的虚化程度基本相同。图像传感器抖动由微机电系统控制。

请参阅图3及图5-7，本发明第一实施方式的控制方法，用于控制成像装置10，所述控制方法包括以下步骤：

S6，控制成像装置10输出相同场景的清晰图像和图像传感器抖动时的模糊图像；

S1，识别清晰图像中是否存在过曝部分；

S2，虚化清晰图像以得到虚化图像；

S3，在存在过曝部分时，处理与清晰图像场景相同的图像传感器抖动时输出的模糊图像以得到与过曝部分对应的素材部分；和

S4，将虚化图像中与过曝部分对应的虚化过曝部分替换为素材部分以得到合并图像。

其中，虚化清晰图像以得到虚化图像的步骤可以是采用高斯模糊算法实现的。清晰图像是成像装置处于未抖动状态或抖动后补偿状态的输出的图像。更进一步地，清晰图像可处于全景深对焦状态。素材部分的模糊程度与虚化过曝部分的虚化程度基本相同。图像传感器抖动由微机电系统控制。

请参阅图4，上述第一实施方式的控制方法可以由本发明第一实施方式的控制装置11实现。具体地，在本发明第一实施方式的控制装置11中，控制装置11包括第一实施方式中的图像处理装置111及与图像处理装置111电连接的控制模块112。图像处理装置111用于执行步骤S1至S4，控制模块112用于执行步骤S6。图像处理装置111的结构如上第一实施方式所述，在此不再赘述。控制模块112用于控制成像装置10(图5-7所示)输出相同场景的清晰图像和图像传感器抖动时的模糊图像。

请参阅图5，本发明第一实施方式的成像装置10包括第一实施方式的控制装置11及与第一实施方式的控制装置11电连接的摄像头12。换句话说，本实施方式的成像装置10包括第一实施方式的图像处理装置111、控制模块112、及摄像头12。控制模块112与摄像头12及图像处理装置111均电连接。

请参阅图6及7，本发明第一实施方式的电子装置100包括第一实施方式的成像装置10。电子装置100可以是手机、平板电脑、笔记本电脑、智能手表、智能手环、智能头盔、智能眼镜、其他虚拟现实穿戴设备、其他增强现实穿戴设备等具有拍摄功能的终端中的任意一种。当成像装置10的数量为一个时，成像装置10可以是前置相机或后置相机。当成像装置10的数量为两个时，两个成像装置10可以分别是前置相机及后置相机；或两个成像装置10都是前置相机；或两个成像装置10都是后置相机。当然，成像装置10的数量大于等于两个时，成像装置10可以是设置在任意位置的相机，除了前置相机、后置相机，还可以是顶部相机、底部相机、侧壁相机等。

举例来说，请结合图8，针对相同场景，电子装置100未抖动或抖动后经过抖动补偿以使摄像头12拍摄出清晰图像(图8左上幅所示)，及电子装置100中的图像传感器发生轻微抖动时摄像头12拍摄出模糊图像(图8右上幅所示)。其中，更进一步地，清晰图像可处于全景深对焦状态。经识别后，可以判断清晰图像中有过曝部分，即上方的长条形灯管。虚化清晰图像以得到虚化图像(图8左下幅所示)，其中，虚化图像中的过曝部分(长条形灯管)被虚化得到虚化过曝部分(长条形灯管)。在存在过曝部分时，处理模糊图像以得到与过曝部分对应的素材部分(长条形灯管)。将虚化图像中与过曝部分对应的虚化过曝部分替换为素材部分以得到合并图像(图8右下幅所示)。

本发明第一实施方式中的图像处理方法、图像处理装置111、控制方法、控制装置11、成像装置10及电子装置100通过拍摄两张图像，一张清晰图像，一张模糊图像，取出模糊图像中与清晰图像中过曝部分对应的素材部分，合入清晰图像经虚化后的虚化图像中，合成一张带有真实光斑效果的合并图像，光斑效果好。

请参阅图9，本发明第二实施方式的图像处理方法与第一实施方式的图像处理方法基本相同，进一步地，所述识别清晰图像中是否存在过曝部分的步骤包括以下步骤：

S11，根据清晰图像的直方图判断清晰图像中过曝像素是否多于或等于第一预定数目，过曝像素的像素值大于或等于预定像素值，预定像素值为清晰图像的像素值范围的上限，例如预定像素值为255；和

S12，在过曝像素多于或等于第一预定数目时确定存在过曝部分。

请参见图10，上述第二实施方式的图像处理方法可以由本发明第二实施方式的图像处理装置111实现。本发明第二实施方式的图像处理装置111与第一实施方式的图像处理装置111结构基本相同，不同之处在于：第二实施方式的图像处理装置111的识别模块1111包括第一判断子模块11111及第一确定子模块11112，可分别用于执行步骤S11及S12。也就是说，第一判断子模块11111用于根据清晰图像的直方图判断清晰图像中过曝像素是否多于或等于第一预定数目，过曝像素的像素值大于或等于预定像素值，预定像素值为清晰图像的像素值范围的上限，例如预定像素值为255。第一确定子模块11112用于在过曝像素多于或等于第一预定数目时确定存在过曝部分。

请参阅图11，一般地，清晰图像的直方图的横轴从左至右表示像素值(灰度值)的递增，纵轴从下到上表示在某一像素值(灰度值)的像素数量的递增。像素值(灰度值)的范围为0-255，也即是表示由黑到白，在某一点的峰值越高，表示在该像素值(灰度值)下的像素越多。

第一预定数目应当是直方图中靠近右侧边界的像素也即是过曝像素的数量，第一预定数目可以设置为占总像素的三分之一，需要说明的是，三分之一仅是示意性说明，并非对发明的限制。

请参阅图12，本发明第二实施方式的控制方法与第一实施方式的控制方法基本相同，进一步地，所述识别清晰图像中是否存在过曝部分的步骤包括以下步骤：

S11，根据清晰图像的直方图判断清晰图像中过曝像素是否多于或等于第一预定数目，过曝像素的像素值大于或等于预定像素值，预定像素值为清晰图像的像素值范围的上限，例如预定像素值为255；和

S12，在过曝像素多于或等于第一预定数目时确定存在过曝部分。

请参见图13，上述第二实施方式的控制方法可以由本发明第二实施方式的控制装置11实现。本发明第二实施方式的控制装置11与第一实施方式的控制装置11结构基本相同，不同之处在于：第二实施方式的控制装置11的识别模块1111包括第一判断子模块11111及第一确定子模块11112，可分别用于执行步骤S11及S12。也就是说，第一判断子模块11111用于根据清晰图像的直方图判断清晰图像中过曝像素是否多于或等于第一预定数目，过曝像素的像素值大于或等于预定像素值，预定像素值为清晰图像的像素值范围的上限，例如预定像素值为255。第一确定子模块11112用于在过曝像素多于或等于第一预定数目时确定存在过曝部分。

请结合图11，一般地，清晰图像的直方图的横轴从左至右表示像素值(灰度值)的递增，纵轴从下到上表示在某一像素值(灰度值)的像素数量的递增。像素值(灰度值)的范围为0-255，也即是表示由黑到白，在某一点的峰值越高，表示在该像素值(灰度值)下的像素越多。

第一预定数目应当是直方图中靠近右侧边界的像素也即是过曝像素的数量，第一预定数目可以设置为占总像素的三分之一，需要说明的是，三分之一仅是示意性说明，并非对发明的限制。

请参阅图14，本发明第二实施方式的成像装置10包括第二实施方式的控制装置11及与第二实施方式的控制装置11电连接的摄像头12。换句话说，本实施方式的成像装置10包括第二实施方式的图像处理装置111、控制模块112、及摄像头12。控制模块112与摄像头12及图像处理装置111均电连接。

请参阅图15，本发明第二实施方式的电子装置100包括第二实施方式的成像装置10。电子装置100可以是手机、平板电脑、笔记本电脑、智能手表、智能手环、智能头盔、智能眼镜、其他虚拟现实穿戴设备、其他增强现实穿戴设备等具有拍摄功能的终端中的任意一种。当成像装置10的数量为一个时，成像装置10可以是前置相机或后置相机。当成像装置10的数量为两个时，两个成像装置10可以分别是前置相机及后置相机；或两个成像装置10都是前置相机；或两个成像装置10都是后置相机。当然，成像装置10的数量大于等于两个时，成像装置10可以是设置在任意位置的相机，除了前置相机、后置相机，还可以是顶部相机、底部相机、侧壁相机等。

本发明第二实施方式中的图像处理方法、图像处理装置111、控制方法、控制装置11、成像装置10及电子装置100通过拍摄两张图像，一张清晰图像，一张模糊图像，取出模糊图像中与清晰图像中过曝部分对应的素材部分，合入清晰图像经虚化后的虚化图像中，合成一张带有真实光斑效果的合并图像，光斑效果好。

请参阅图16，本发明第三实施方式的图像处理方法与第一实施方式的图像处理方法基本相同，进一步地，所述识别清晰图像中是否存在过曝部分的步骤包括以下步骤：

S11，根据清晰图像的直方图判断清晰图像中过曝像素是否多于或等于第一预定数目，过曝像素的像素值大于或等于预定像素值，预定像素值为清晰图像的像素值范围的上限，例如预定像素值为255；

S12，在过曝像素多于或等于第一预定数目时确定存在过曝部分；

S13，在存在过曝部分时，判断清晰图像中是否存在相邻接的过曝像素，相邻接的过曝像素的数目多于或等于第二预定数目；和

S14，在存在相邻接的过曝像素时，确定相邻接的过曝像素属于过曝部分。

请参见图17，上述第三实施方式的图像处理方法可以由本发明第三实施方式的图像处理装置111实现。本发明第三实施方式的图像处理装置111与第一实施方式的图像处理装置111结构基本相同，不同之处在于：第三实施方式的图像处理装置111的识别模块1111包括第一判断子模块11111、第一确定子模块11112、第二判断子模块11113、及第二确定子模块11114，可分别用于执行步骤S11、S12、S13及S14。也就是说，第一判断子模块11111用于根据清晰图像的直方图判断清晰图像中过曝像素是否多于或等于第一预定数目，过曝像素的像素值大于或等于预定像素值，预定像素值为清晰图像的像素值范围的上限，例如预定像素值为255。第一确定子模块11112用于在过曝像素多于或等于第一预定数目时确定存在过曝部分。第二判断子模块11113用于在存在过曝部分时，判断清晰图像中是否存在相邻接的过曝像素，相邻接的过曝像素的数目多于或等于第二预定数目。第二确定子模块11114用于在存在相邻接的过曝像素时，确定相邻接的过曝像素属于过曝部分。

其中，第二预定数目应该小于第一预定数目，因为第一预定数目可能包括了噪点，甚至清晰图像可能包括多个相邻接的过曝像素，例如存在多个离散的光源，这些光源共同构成过曝部分。

请结合图11，一般地，清晰图像的直方图的横轴从左至右表示像素值(灰度值)的递增，纵轴从下到上表示在某一像素值(灰度值)的像素数量的递增。像素值(灰度值)的范围为0-255，也即是表示由黑到白，在某一点的峰值越高，表示在该像素值(灰度值)下的像素越多。

第一预定数目与第二预定数目应当是直方图中靠近右侧边界的像素也即是过曝像素的数量，第一预定数目可以设置为占总像素的三分之一，第二预定数目可以设置为占总像素的四分之一，需要说明的是，三分之一与四分之一仅是示意性说明，并非对发明的限制。

请参阅图18，本发明第三实施方式的控制方法与第一实施方式的控制方法基本相同，进一步地，所述识别清晰图像中是否存在过曝部分的步骤包括以下步骤：

S11，根据清晰图像的直方图判断清晰图像中过曝像素是否多于或等于第一预定数目，过曝像素的像素值大于或等于预定像素值，预定像素值为清晰图像的像素值范围的上限，例如预定像素值为255；

S12，在过曝像素多于或等于第一预定数目时确定存在过曝部分；

S13，在存在过曝部分时，判断清晰图像中是否存在相邻接的过曝像素，相邻接的过曝像素的数目多于或等于第二预定数目；和

S14，在存在相邻接的过曝像素时，确定相邻接的过曝像素属于过曝部分。

请参见图19，上述第三实施方式的控制方法可以由本发明第三实施方式的控制装置11实现。本发明第三实施方式的控制装置11与第一实施方式的控制装置11结构基本相同，不同之处在于：第三实施方式的控制装置11的识别模块1111包括第一判断子模块11111、第一确定子模块11112、第二判断子模块11113、及第二确定子模块11114，可分别用于执行步骤S11、S12、S13及S14。也就是说，第一判断子模块11111用于根据清晰图像的直方图判断清晰图像中过曝像素是否多于或等于第一预定数目，过曝像素的像素值大于或等于预定像素值，预定像素值为清晰图像的像素值范围的上限，例如预定像素值为255。第一确定子模块11112用于在过曝像素多于或等于第一预定数目时确定存在过曝部分。第二判断子模块11113用于在存在过曝部分时，判断清晰图像中是否存在相邻接的过曝像素，相邻接的过曝像素的数目多于或等于第二预定数目。第二确定子模块11114用于在存在相邻接的过曝像素时，确定相邻接的过曝像素属于过曝部分。

其中，第二预定数目应该小于第一预定数目，因为第一预定数目可能包括了噪点，甚至清晰图像可能包括多个相邻接的过曝像素，例如存在多个离散的光源，这些光源共同构成过曝部分。

请结合图11，一般地，清晰图像的直方图的横轴从左至右表示像素值(灰度值)的递增，纵轴从下到上表示在某一像素值(灰度值)的像素数量的递增。像素值(灰度值)的范围为0-255，也即是表示由黑到白，在某一点的峰值越高，表示在该像素值(灰度值)下的像素越多。

第一预定数目与第二预定数目应当是直方图中靠近右侧边界的像素也即是过曝像素的数量，第一预定数目可以设置为占总像素的三分之一，第二预定数目可以设置为占总像素的四分之一，需要说明的是，三分之一与四分之一仅是示意性说明，并非对发明的限制。

请参阅图20，本发明第三实施方式的成像装置10包括第三实施方式的控制装置11及与第三实施方式的控制装置11电连接的摄像头12。换句话说，本实施方式的成像装置10包括第三实施方式的图像处理装置111、控制模块112、及摄像头12。控制模块112与摄像头12及图像处理装置111均电连接。

请参阅图21，本发明第三实施方式的电子装置100包括第三实施方式的成像装置10。电子装置100可以是手机、平板电脑、笔记本电脑、智能手表、智能手环、智能头盔、智能眼镜、其他虚拟现实穿戴设备、其他增强现实穿戴设备等具有拍摄功能的终端中的任意一种。当成像装置10的数量为一个时，成像装置10可以是前置相机或后置相机。当成像装置10的数量为两个时，两个成像装置10可以分别是前置相机及后置相机；或两个成像装置10都是前置相机；或两个成像装置10都是后置相机。当然，成像装置10的数量大于等于两个时，成像装置10可以是设置在任意位置的相机，除了前置相机、后置相机，还可以是顶部相机、底部相机、侧壁相机等。

本发明第三实施方式中的图像处理方法、图像处理装置111、控制方法、控制装置11、成像装置10及电子装置100通过拍摄两张图像，一张清晰图像，一张模糊图像，取出模糊图像中与清晰图像中过曝部分对应的素材部分，合入清晰图像经虚化后的虚化图像中，合成一张带有真实光斑效果的合并图像，光斑效果好。

请参阅图22，本发明第四实施方式的图像处理方法与第一实施方式的图像处理方法基本相同，进一步地，第四实施方式的图像处理方法还包括以下步骤：

S7，在存在过曝部分时，输出合并图像；和

S8，在不存在过曝部分时，输出虚化图像。

请参见图23，上述第四实施方式的图像处理方法可以由本发明第四实施方式的图像处理装置111实现。本发明第四实施方式的图像处理装置111与第一实施方式的图像处理装置111结构基本相同，不同之处在于：第四实施方式的图像处理装置111还包括第一输出模块1117及第二输出模块1118，可分别用于执行步骤S7及S8。也就是说，第一输出模块1117用于在存在过曝部分时，输出合并图像。第二输出模块1118用于在不存在过曝部分时，输出虚化图像。

请参阅图24，本发明第四实施方式的控制方法与第一实施方式的控制方法基本相同，第四实施方式的控制方法还包括以下步骤：

S7，在存在过曝部分时，输出合并图像；和

S8，在不存在过曝部分时，输出虚化图像。

请参见图25，上述第四实施方式的控制方法可以由本发明第四实施方式的控制装置11实现。本发明第四实施方式的控制装置11与第一实施方式的控制装置11结构基本相同，不同之处在于：第四实施方式的控制装置11的图像处理装置111还包括第一输出模块1117及第二输出模块1118，可分别用于执行步骤S7及S8。也就是说，第一输出模块1117用于在存在过曝部分时，输出合并图像。第二输出模块1118用于在不存在过曝部分时，输出虚化图像。

请参阅图26，本发明第四实施方式的成像装置10包括第四实施方式的控制装置11及与第四实施方式的控制装置11电连接的摄像头12。换句话说，本实施方式的成像装置10包括第四实施方式的图像处理装置111、控制模块112、及摄像头12。控制模块112与摄像头12及图像处理装置111均电连接。

请参阅图27，本发明第四实施方式的电子装置100包括第四实施方式的成像装置10。电子装置100可以是手机、平板电脑、笔记本电脑、智能手表、智能手环、智能头盔、智能眼镜、其他虚拟现实穿戴设备、其他增强现实穿戴设备等具有拍摄功能的终端中的任意一种。当成像装置10的数量为一个时，成像装置10可以是前置相机或后置相机。当成像装置10的数量为两个时，两个成像装置10可以分别是前置相机及后置相机；或两个成像装置10都是前置相机；或两个成像装置10都是后置相机。当然，成像装置10的数量大于等于两个时，成像装置10可以是设置在任意位置的相机，除了前置相机、后置相机，还可以是顶部相机、底部相机、侧壁相机等。

本发明第四实施方式中的图像处理方法、图像处理装置111、控制方法、控制装置11、成像装置10及电子装置100通过拍摄两张图像，一张清晰图像，一张模糊图像，取出模糊图像中与清晰图像中过曝部分对应的素材部分，合入清晰图像经虚化后的虚化图像中，合成一张带有真实光斑效果的合并图像，光斑效果好。

可以理解，步骤S7及S8还可以应用于第二实施方式的图像处理方法、第二实施方式的控制方法；对应地，第一输出模块1117及第二输出模块1118还可以应用于第二实施方式的图像处理装置、第二实施方式的控制装置、第二实施方式的成像装置与第二实施方式的电子装置中。步骤S7及S8还可以应用于第三实施方式的图像处理方法、第三实施方式的控制方法；对应地，第一输出模块1117及第二输出模块1118还可以应用于第三实施方式的图像处理装置、第三实施方式的控制装置、第三实施方式的成像装置与第三实施方式的电子装置中。

请参阅图28，前述第一至第四实施方式的控制方法中，进一步地，所述控制成像装置10输出相同场景的清晰图像和图像传感器抖动时的模糊图像的步骤(步骤S6)可包括以下步骤：

S61，控制成像装置10在未抖动状态或抖动后补偿状态成像以得到清晰图像；

S62，控制图像传感器抖动；和

S63，控制成像装置10在图像传感器抖动状态成像以得到模糊图像。

对应地，请参阅图29，第一至第四实施方式的控制装置11中的控制模块112包括第一控制子模块1121、微机电系统1122、及第二控制子模块1123，可以用于分别执行步骤S61、S62及S63。也就是说，第一控制子模块1121用于控制成像装置10在未抖动状态或抖动后补偿状态成像以得到清晰图像。微机电系统1122用于控制图像传感器抖动。第二控制子模块1123用于控制成像装置10在图像传感器抖动状态成像以得到模糊图像。

对应地，第一至第四实施方式的成像装置10与电子装置100中的控制模块112也可包括第一控制子模块1121、微机电系统1122、及第二控制子模块1123，具体结构与功能同前，在此不再详细展开。

在本说明书的描述中，参考术语“某些实施方式”、“一实施方式”、“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (25)

1.一种图像处理方法，其特征在于，所述图像处理方法包括以下步骤：

识别清晰图像中是否存在过曝部分；

虚化所述清晰图像以得到虚化图像；

在存在所述过曝部分时，处理与所述清晰图像场景相同的图像传感器抖动时输出的模糊图像以得到与所述过曝部分对应的素材部分；和

将所述虚化图像中与所述过曝部分对应的虚化过曝部分替换为所述素材部分以得到合并图像。

2.如权利要求1所述的图像处理方法，其特征在于，所述清晰图像是处于未抖动状态或抖动后补偿状态的图像。

3.如权利要求1所述的图像处理方法，其特征在于，所述识别清晰图像中是否存在过曝部分的步骤包括：

根据所述清晰图像的直方图判断所述清晰图像中过曝像素是否多于或等于第一预定数目，所述过曝像素的像素值大于或等于预定像素值；和

在所述过曝像素多于或等于第一预定数目时确定存在所述过曝部分。

4.如权利要求3所述的图像处理方法，其特征在于，所述识别清晰图像中是否存在过曝部分的步骤包括：

在存在所述过曝部分时，判断所述清晰图像中是否存在相邻接的过曝像素，所述相邻接的过曝像素的数目多于或等于第二预定数目；和

在存在所述相邻接的过曝像素时，确定所述相邻接的过曝像素属于所述过曝部分。

5.如权利要求3或4所述的图像处理方法，其特征在于，所述预定像素值为所述清晰图像的像素值范围的上限。

6.如权利要求1所述的图像处理方法，其特征在于，所述虚化所述清晰图像以得到虚化图像的步骤是采用高斯模糊算法实现的。

7.如权利要求1所述的图像处理方法，其特征在于，所述图像传感器抖动由微机电系统控制。

8.如权利要求1所述的图像处理方法，其特征在于，所述图像处理方法包括：

在存在所述过曝部分时，输出所述合并图像；和

在不存在所述过曝部分时，输出所述虚化图像。

9.一种控制方法，用于控制成像装置，其特征在于，所述控制方法包括以下步骤：

控制所述成像装置输出相同场景的清晰图像和图像传感器抖动时的模糊图像；和

采用权利要求1-8任意一项所述的图像处理方法处理所述清晰图像和所述模糊图像。

10.如权利要求9所述的控制方法，其特征在于，所述控制所述成像装置输出相同场景的清晰图像和图像传感器抖动时输出的模糊图像的步骤包括以下步骤：

控制所述成像装置在未抖动状态或抖动后补偿状态成像以得到所述清晰图像；

控制图像传感器抖动；和

控制所述成像装置在图像传感器抖动状态成像以得到所述模糊图像。

11.一种图像处理装置，其特征在于，所述图像处理装置包括：

识别模块，用于识别清晰图像中是否存在过曝部分；

虚化模块，用于虚化所述清晰图像以得到虚化图像；

处理模块，用于在存在所述过曝部分时，处理与所述清晰图像场景相同的图像传感器抖动时输出的模糊图像以得到与所述过曝部分对应的素材部分；和

合并模块，用于将所述虚化图像中与所述过曝部分对应的虚化过曝部分替换为所述素材部分以得到合并图像。

12.如权利要求11所述的图像处理装置，其特征在于，所述清晰图像是处于未抖动状态或抖动后补偿状态的图像。

13.如权利要求11所述的图像处理装置，其特征在于，所述识别模块包括：

第一判断子模块，用于根据所述清晰图像的直方图判断所述清晰图像中过曝像素是否多于或等于第一预定数目，所述过曝像素的像素值大于或等于预定像素值；和

第一确定子模块，用于在所述过曝像素多于或等于第一预定数目时确定存在所述过曝部分。

14.如权利要求13所述的图像处理装置，其特征在于，所述识别模块还包括：

第二判断子模块，用于在存在所述过曝部分时，判断所述清晰图像中是否存在相邻接的过曝像素，所述相邻接的过曝像素的数目多于或等于第二预定数目；和

第二确定子模块，用于在存在所述相邻接的过曝像素时，确定所述相邻接的过曝像素属于所述过曝部分。

15.如权利要求13或14所述的图像处理装置，其特征在于，所述预定像素值为所述清晰图像的像素值范围的上限。

16.如权利要求11所述的图像处理装置，其特征在于，所述虚化模块是采用高斯模糊算法来虚化所述清晰图像以得到所述虚化图像的。

17.如权利要求11所述的图像处理装置，其特征在于，所述图像传感器抖动由微机电系统控制。

18.如权利要求11所述的图像处理装置，其特征在于，所述图像处理装置包括：

第一输出模块，用于在存在所述过曝部分时，输出所述合并图像；和

第二输出模块，用于在不存在所述过曝部分时，输出所述虚化图像。

19.一种控制装置，用于控制成像装置，其特征在于，所述控制装置包括：

控制模块，用于控制所述成像装置输出相同场景的清晰图像和图像传感器抖动时的模糊图像；和

权利要求11-18任意一项所述的图像处理装置，所述图像处理装置与所述控制模块电连接。

20.如权利要求19所述的控制装置，其特征在于，所述控制模块包括：

第一控制子模块，用于控制所述成像装置在未抖动状态或抖动后补偿状态成像以得到所述清晰图像；

微机电系统，用于控制图像传感器抖动；和

第二控制子模块，用于控制所述成像装置在图像传感器抖动状态成像以得到所述模糊图像。

21.一种成像装置，其特征在于，所述成像装置包括：

摄像头；

与所述摄像头电连接的控制模块，用于控制所述摄像头输出相同场景的清晰图像和图像传感器抖动时的模糊图像；和

权利要求11-18任意一项所述的图像处理装置，所述图像处理装置所述控制模块电连接。

22.如权利要求21所述的成像装置，其特征在于，所述控制模块包括：

第一控制子模块，用于控制所述成像装置在未抖动状态或抖动后补偿状态成像以得到所述清晰图像；

微机电系统，用于控制图像传感器抖动；和

第二控制子模块，用于控制所述成像装置在图像传感器抖动状态成像以得到所述模糊图像。

23.一种电子装置，其特征在于，所述电子装置包括权利要求21-22任意一项所述的成像装置。

24.如权利要求23所述的电子装置，其特征在于，所述电子装置包括手机、平板电脑、笔记本电脑、智能手表、智能手环、智能头盔、智能眼镜中的任意一种。

25.如权利要求23所述的电子装置，其特征在于，所述成像装置包括前置相机或/和后置相机。