CN111986263B - 图像处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请公开了图像处理方法、装置、电子设备及存储介质，涉及计算机视觉、人工智能、云计算领域。具体实现方案为：获取待处理图像的拍摄参数；获取所述待处理图像之中主体的模型信息；根据所述主体的模型信息获取所述主体对应的模型；以及将所述主体对应的模型放入三维仿真环境之中，按照所述拍摄参数进行拍摄以生成所述待处理图像对应的还原图像。由此，通过在三维仿真环境中按照待处理图像的拍摄参数，对目标主体对应的模型进行拍摄，可以高度模拟和还原拍摄目标主体时的真实场景，得到清晰、真实、自然的转换图像，从而克服了待处理图像中存在的缺陷，得到了高质量的图像。

Description

图像处理方法、装置、电子设备及存储介质

技术领域

本申请涉及图像处理技术领域，特别涉及计算机视觉、人工智能、云计算领域，尤其涉及图像处理方法、装置、电子设备及存储介质。

背景技术

目前，图像，相比于文字、音频、表格等能够带给人们更加丰富的视觉信息，因而在人们的学习、工作和生活中得到了广泛应用。然而由于拍摄设备性能、拍摄环境等各种因素的影响，经常出现图像存在缺陷的情况。如何克服图像中存在的缺陷，对于获取高质量的图像是很重要的。

发明内容

本公开提供了一种能够克服图像中存在的缺陷的图像处理方法、装置、电子设备以及存储介质。

根据本公开的一方面，提供了一种图像处理方法，包括：获取待处理图像的拍摄参数；获取所述待处理图像之中目标主体的模型信息；根据所述目标主体的模型信息获取所述目标主体对应的模型；以及将所述目标主体对应的模型放入三维仿真环境之中，按照所述拍摄参数进行拍摄以生成所述待处理图像对应的转换图像。

根据本公开的另一方面，提供了一种图像处理装置，包括：第一获取模块，用于获取待处理图像的拍摄参数；第二获取模块，用于获取所述待处理图像之中目标主体的模型信息；第三获取模块，用于根据所述目标主体的模型信息获取所述目标主体对应的模型；以及生成模块，用于将所述目标主体对应的模型放入三维仿真环境之中，按照所述拍摄参数进行拍摄以生成所述待处理图像对应的转换图像。

根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面所述的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行第一方面所述的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现第一方面所述的方法。

根据本申请的技术，能够克服图像中存在的缺陷，得到高质量的图像。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是根据本申请第一实施例的示意图；

图2是可以实现本申请实施例的图像处理的场景图；

图3是根据本申请第二实施例的示意图；

图4是根据本申请第三实施例的示意图；

图5是根据本申请第四实施例的示意图；

图6是根据本申请第五实施例的示意图；

图7是用来实现本申请实施例的图像处理方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

可以理解的是，在实际应用中，由于拍摄设备性能、拍摄环境等各种因素的影响，经常出现图像存在缺陷的情况。相关技术中，通常是针对图像本身，通过各种算法估算存在缺陷的区域的各像素点附近的像素点的值，以对存在缺陷的区域进行修复，这种方式修复的图像比较生硬，不自然，效果比较差。

本申请实施例提出一种图像处理方法，可以获取待处理图像的拍摄参数，以及待处理图像之中目标主体的模型信息，然后，根据目标主体的模型信息获取目标主体对应的模型，再将目标主体对应的模型放入三维仿真环境之中，按照拍摄参数进行拍摄以生成待处理图像对应的转换图像。由此，通过在三维仿真环境中按照待处理图像的拍摄参数，对目标主体对应的模型进行拍摄，可以高度模拟和还原拍摄目标主体时的真实场景，得到清晰、真实、自然的转换图像，从而克服了待处理图像中存在的缺陷，得到了高质量的图像。

下面参考附图描述本申请实施例的图像处理方法、装置、电子设备以及非瞬时计算机可读存储介质。

首先结合图1，对本申请提供的图像处理方法进行详细描述。

图1是根据本申请第一实施例的示意图。其中，需要说明的是，本实施例提供的图像处理方法，执行主体为图像处理装置，图像处理装置可以被配置在电子设备中，以克服待处理图像中的缺陷，得到高质量的图像。

其中，电子设备，可以是任意能够进行数据处理的静止或者移动的计算设备，例如笔记本电脑、智能手机、可穿戴设备等移动计算设备，或者台式计算机等静止的计算设备，或者云端服务器，或者其它类型的计算设备等。图像处理装置可以是安装在电子设备中的图像处理应用程序，也可以是该图像处理应用程序的管理者、开发者所使用的对该图像处理应用程序进行管理、维护的网页、程序等，本申请对此不作限制。本申请以电子设备为云端服务器为例进行说明。

如图1所示，图像处理方法，可以包括以下步骤：

步骤101，获取待处理图像的拍摄参数。

其中，待处理图像，可以是任意静止或动态的二维图像，本申请对此不作限制。

拍摄参数，为拍摄待处理图像时使用的参数，其可以包括光照强度、光照角度等任意与拍摄待处理图像时的光照有关的参数，也可以包括曝光度、光圈大小等任意与拍摄待处理图像时的拍摄设备有关的参数，另外，拍摄参数还可以包括拍摄距离等任意与拍摄设备，以及被摄物体或场景有关的参数，等等，本申请对此不作限制。

在示例性实施例中，图像处理装置可以在接收到图像处理请求后，获取待处理图像的拍摄参数。其中，图像处理请求，可以是用户通过点击、长按、滑动等触控操作，在用户交互界面触控具有图像处理功能的按钮控件触发的，也可以是通过其它方式触发的，本申请对此不作限制。

在示例性实施例中，在拍摄待处理图像时，除了存储待处理图像，还可以存储待处理图像的拍摄参数，从而图像处理装置可以直接从预先存储的数据中获取待处理图像的拍摄参数。

举例来说，假设图像处理装置配置在云端服务器，用户利用终端设备上传了待处理图像以及待处理图像的拍摄参数到云端服务器，在用户触控终端设备的用户交互界面中的具有图像处理功能的按钮控件，触发图像处理请求后，图像处理装置即可获取待处理图像以及待处理图像的拍摄参数。

步骤102，获取待处理图像之中目标主体的模型信息。

其中，目标主体，可以为待处理图像之中的拍摄主体。

模型，指某一类事物，例如人物模型、动物模型、花草模型等等。

可以理解的是，对于待处理图像，可以利用建模的思想，将待处理图像之中的各事物模型化，目标主体的模型信息，即为与目标主体的模型有关的信息，其可以包括目标主体的模型的类别、目标主体的模型的特征等任意与目标主体的模型有关的信息。

举例来说，假设待处理图像为包括人物的图像，其中目标主体为人物，则目标主体的模型信息可以包括目标主体的模型的类别，例如人物类别，以及可以包括人脸特征、肤色等目标主体的模型特征；假设待处理图像为包括车牌的图像，其中目标主体为车牌，则目标主体的模型信息，可以包括目标主体的模型的类别，例如车牌类别，以及可以包括颜色、其中包括的字符等目标主体的模型特征。

具体的，图像处理装置通过对待处理图像进行图像识别，即可获取待处理图像之中目标主体的模型信息。

具体实现时，可以利用人工智能中的图像识别技术和算法，例如，Eigenface(特征脸方法)、FisherFace(Fisher线性判别分析)等人脸识别算法，基于CNN(ConvolutionalNeural Networks，卷积神经网络)的车牌识别算法，YOLO(You Only Look Once，只需一眼)物体识别算法等，对待处理图像进行图像识别，以获取待处理图像之中目标主体的模型信息。

步骤103，根据目标主体的模型信息获取目标主体对应的模型。

其中，目标主体对应的模型，可以为与目标主体的模型信息匹配的模型，其可以是目标主体对应的三维模型，也可以是目标主体对应的2.5伪三维模型等，本申请对此不作限制。

在示例性实施例中，可以预先存储多种模型，从而在获取待处理图像中目标主体的模型信息后，可以根据目标主体的模型信息，从预先存储的多种模型中，获取与目标主体的模型信息匹配的模型作为目标主体对应的模型。

举例来说，假设预先存储了多种模型，通过对待处理图像进行图像识别，获取到待处理图像之中的目标主体的模型信息包括：车牌类别，车牌底色为蓝色，车牌中的字符为白色，车牌中包括的字符为“H18888”。则可以根据目标主体的模型信息，从预先存储的多种模型中，获取底色为蓝色、字符为白色，且车牌中包括的字符为“H18888”的车牌模型作为目标主体对应的模型。

其中，预先存储的多种模型，可以为三维模型、2.5伪三维模型等，本申请对此不作限制。

在示例性实施例中，预先存储的多种模型，可以是通过对大量真实图像进行图像识别，获取大量的模型信息后，根据大量的模型信息构建的模型，或者，也可以是通过其它方式建立的模型，本申请对此不作限制。

可以理解的是，在示例性实施例中，目标主体对应的模型，也可以是用户指定的模型。具体的，图像处理请求中可以携带用户指定的模型的标识，从而图像处理装置可以根据模型的标识，从预先存储的多种模型中获取与模型的标识对应的模型作为目标主体的模型。

步骤104，将目标主体对应的模型放入三维仿真环境之中，按照拍摄参数进行拍摄以生成待处理图像对应的转换图像。

其中，三维仿真环境，可以为与待处理图像的拍摄场景对应的三维或者2.5伪三维仿真环境。转换图像，为在三维仿真环境中拍摄的二维图像。

具体的，将目标主体对应的模型放入程序构建的三维仿真环境之中后，可以调整光照强度、曝光度、拍摄距离等拍摄参数，从而将这些参数调整至待处理图像的拍摄参数，以实现最大程度的还原拍摄待处理图像时的场景，然后可以按照调整后的拍摄参数进行拍摄，以生成待处理图像对应的转换图像。

在示例性实施例中，以光照强度、光照角度等任意与拍摄待处理图像时的光照有关的参数，即光照参数为例，可以先通过学习训练，使人工智能程序理解光照参数，从而在人工智能程序构建的三维仿真环境中，可以通过给定的光照参数，将三维仿真环境中的光照效果调整为拍摄待处理图像时的光照效果。

可以理解的是，本申请提供的图像处理方法，可以应用于多种场景。

例如，待处理图像可以为包括车牌，且车牌号码比较模糊的图像A，其中车牌为目标主体。图像处理装置获取图像A的拍摄参数，以及识别出图像A中的目标主体的模型信息包括：车牌类别，车牌底色为蓝色，车牌中的字符为白色，车牌中包括的字符为“H18888”后，可以根据模型信息，从预先存储的多种模型中，获取与模型信息匹配的模型，假设获取的模型为模型a，则可以将模型a放入三维仿真环境中，按照拍摄图像A时的拍摄参数进行图像拍摄，从而生成转换图像。由于模型a与图像A中的目标主体的模型信息匹配，因此模型a能高度还原待处理图像中的目标主体，并且，由于模型a是清晰的，通过以模型a为拍摄主体，在与图像A拍摄场景相同的三维仿真环境中按照拍摄图像A时的拍摄参数进行拍摄，能够高度模拟和还原拍摄图像A中的车牌时的真实场景，而得到清晰、真实、自然的转换图像，从而克服了图像A中车牌号码模糊的缺陷，得到了高质量图像。

或者，待处理图像可以为在替身演员演出时拍摄的影视作品B1中的一帧图像，假设为图像B，其中替身演员为目标主体。由于替身演员实质上是代替明星进行演出，因此替身演员演出时拍摄的影视作品B1存在缺陷，需要将替身演员演出时拍摄的影视作品B1中的替身演员替换为明星。以图像B为例，图像处理装置在获取到携带明星b对应的人体模型的标识b’的图像处理请求，并获取图像B的拍摄参数，以及识别出图像B中的目标主体的模型信息包括人物类别以及人物的脸部特征、身高、服饰等特征后，可以根据明星b对应的人体模型的标识b’，从预先存储的各明星分别对应的人体模型中，获取与b’对应的人体模型，假设获取的人体模型为模型b1，则可以将模型b1放入三维仿真环境中，按照拍摄图像B时的拍摄参数进行拍摄，从而生成转换图像。通过对替身演员演出时拍摄的影视作品B1中的其它帧图像进行相同操作，即可得到多帧图像对应的转换图像。根据多帧转换图像，即可得到以明星b替换替身演员演出的影视作品B2。由于明星b对应的模型b’是清晰的，通过以明星b对应的模型b’为主体，在与影视作品B1的拍摄场景相同的三维仿真环境中，按照拍摄影视作品B1时的拍摄参数进行拍摄，能够高度模拟和还原拍摄影视作品B1中的替身演员时的真实场景，得到清晰、真实、自然的以明星b替换替身演员的影视作品B2，从而克服了替身演员演出时拍摄的影视作品B1的缺陷，得到了影视效果更好的影视作品B2。

下面结合图2所示的场景图，对本申请提供的图像处理方法进行说明。需要说明的是，图2所示的场景图仅是示例性说明，不能理解为对本申请技术方案的限制。

如图2所示，图像处理装置22配置在云端服务器2中，用户可以利用终端设备1中的拍摄设备11拍摄待处理图像，在拍摄待处理图像时，待处理图像的拍摄参数可以保存至终端设备1中的存储器13中(步骤1)。待需要对待处理图像进行处理时，终端设备1中的处理器12可以从存储器13中获取待处理图像以及待处理图像的拍摄参数(步骤2)，并上传至云端服务器2(步骤3)，云端服务器2可以将待处理图像的拍摄参数保存至存储器21中(图中未示出)。云端服务器2中的图像处理装置22可以获取待处理图像之中的目标主体的模型信息(步骤4)，然后根据目标主体的模型信息从存储器21中获取目标主体对应的模型(步骤5)，进而图像处理装置22可以将目标主体对应的模型放入三维仿真环境，按照存储器21中存储的拍摄参数进行拍摄，以生成待处理图像对应的转换图像。

本申请实施例中，由于目标主体对应的模型是清晰的，通过将目标主体对应的模型放入三维仿真环境之中，按照与拍摄待处理图像时的拍摄参数相同的拍摄参数进行重新拍摄，能够最大程度的模拟和还原拍摄目标主体时的真实场景，得到清晰、真实、自然的转换图像，从而克服了待处理图像中存在的缺陷，得到了高质量的图像。

本申请实施例提供的图像处理方法，首先获取待处理图像的拍摄参数，然后获取待处理图像之中目标主体的模型信息，再根据目标主体的模型信息获取目标主体对应的模型，再将目标主体对应的模型放入三维仿真环境之中，按照拍摄参数进行拍摄以生成待处理图像对应的转换图像。由此，通过在三维仿真环境中按照待处理图像的拍摄参数，对目标主体对应的模型进行拍摄，可以高度模拟和还原拍摄目标主体时的真实场景，得到清晰、真实、自然的转换图像，从而克服了待处理图像中存在的缺陷，得到了高质量的图像。

通过上述分析可知，本申请实施例中，获取待处理图像的拍摄参数，以及待处理图像之中目标主体的模型信息后，可以根据目标主体的模型信息获取目标主体对应的模型，然后将目标主体对应的模型放入三维仿真环境中，按照拍摄参数进行拍摄，以生成待处理图像对应的转换图像。在一种可能的实现形式中，还可以根据转换图像对待处理图像进行修复，以修复待处理图像中的不清晰、缺损等问题。下面针对上述情况，结合图3，对本申请提供的图像处理方法进行进一步说明。

图3是根据本申请第二实施例的示意图。如图3所示，图像处理方法，可以包括以下步骤：

步骤201，获取待处理图像的拍摄参数。

其中，拍摄参数，为拍摄待处理图像时使用的参数，其可以包括光照强度、光照角度等任意与拍摄待处理图像时的光照有关的参数，以及曝光度、光圈大小等任意与拍摄待处理图像时的拍摄设备有关的参数，另外，拍摄参数还可以包括拍摄距离等任意与拍摄设备，以及被摄物体或场景有关的参数，本申请对此不作限制。

在示例性实施例中，拍摄参数可以包括拍摄光照角度、拍摄光照强度、拍摄光色、曝光度和拍摄距离之中的一个或多个。

步骤202，获取待处理图像之中目标主体的模型信息。

步骤203，根据目标主体的模型信息获取目标主体对应的模型。

在示例性实施例中，图像处理装置可以通过对待处理图像进行图像识别，以获取待处理图像之中目标主体的模型信息。

具体实现时，可以利用人工智能中的图像识别技术和算法，例如，Eigenface(特征脸方法)、FisherFace(Fisher线性判别分析)等人脸识别算法，或者基于卷积神经网络(Convolutional Neural Networks，简称CNN)的车牌识别算法，或者YOLO物体识别算法等，对待处理图像进行图像识别，以获取待处理图像之中目标主体的模型信息。

在示例性实施例中，目标主体的模型信息也可以不是由云端服务器中的图像处理装置对待处理图像进行图像识别得到的，而是在拍摄待处理图像时，由其它设备对待处理图像进行图像识别得到，然后由其它设备将识别结果发送至云端服务器的图像处理装置，从而图像处理装置可以直接利用接收的目标主体的模型信息，获取目标主体对应的模型。

即，上述步骤202可以通过以下方式实现：

对待处理图像进行识别以获取待处理图像之中目标主体的模型信息；或者，接收拍摄待处理图像时识别的待处理图像之中目标主体的模型信息。

在示例性实施例中，拍摄待处理图像的拍摄设备可以具有图像识别功能，从而拍摄设备拍摄待处理图像时，可以对待处理图像进行识别，以获取待处理图像之中的目标主体的模型信息，然后将目标主体的模型信息发送至图像处理装置。或者，拍摄设备所在的终端设备可以具有图像识别功能，待处理图像中的目标主体的模型信息，也可以是在拍摄设备拍摄待处理图像后，由拍摄设备所在的终端设备对待处理图像进行识别获取，然后发送至图像处理装置的，本申请对此不作限制。

通过在拍摄待处理图像时识别待处理图像之中目标主体的模型信息，再发送至云端服务器中的图像处理装置，使得图像处理装置可以直接利用接收的目标主体的模型信息获取目标主体对应的模型，从而减少图像处理装置所需处理的数据量，节省图像处理装置获取目标主体对应的模型的时间，提高图像处理装置获取目标主体对应的模型的效率。

步骤204，在待处理图像之中提取目标主体对应的皮肤数据以及皮肤数据对应的位置。

步骤205，按照皮肤数据所对应的位置，分别将皮肤数据贴至模型之上。

步骤206，将目标主体对应的模型放入三维仿真环境之中，按照拍摄参数进行拍摄以生成待处理图像对应的转换图像。

本申请实施例中，可以预先存储多种模型，从而在获取待处理图像中目标主体的模型信息后，可以根据目标主体的模型信息，从预先存储的多种模型中，获取目标主体对应的模型。

可以理解的是，在一种可能的实现形式中，预先存储的多种模型中，可能没有与目标主体的模型信息完全匹配的模型。例如，待处理图像之中的目标主体的模型信息包括：车牌类别，车牌底色为蓝色，车牌中的字符为白色，车牌中包括的字符为“H18888”，而预先存储的多种模型中，可能包括底色为蓝色、字符为白色的车牌模型，但是并没有与“H18888”字符完全匹配的车牌模型；或者，待处理图像之中的目标主体为替身演员，目标主体的模型信息包括人物类别以及替身演员的人脸特征、服饰特征等，而预先存储的多个明星分别对应的模型中，并没有与替身演员的服饰相同的明星。那么，本申请实施例中，可以在待处理图像之中提取目标主体对应的皮肤数据以及皮肤数据对应的位置，从而按照皮肤数据所对应的位置，分别将皮肤数据贴至目标主体对应的模型之上，以使目标主体对应的模型能够与待处理图像之中的目标主体的模型信息匹配，然后再将目标主体对应的模型放入三维仿真环境之中，按照拍摄参数进行拍摄以生成待处理图像对应的转换图像。

其中，皮肤数据，可以包括待处理图像之中的目标主体所在区域的像素值，例如人脸区域的像素值、服饰区域的像素值等等。

具体的，可以通过图像特征识别、特征提取等技术，提取待处理图像之中的目标主体对应的皮肤数据以及皮肤数据对应的位置，然后利用提取的皮肤数据，替换目标主体的模型的相同区域的皮肤数据，以使目标主体的模型的皮肤数据能够与待处理图像之中的目标主体的相同区域的皮肤数据匹配。

通过在待处理图像之中提取目标主体对应的皮肤数据以及皮肤数据对应的位置后，按照皮肤数据对应的位置，分别将皮肤数据贴至目标主体对应的模型之上，使得目标主体的模型的皮肤数据能够与待处理图像之中的目标主体的相同区域的皮肤数据匹配，从而目标主体的模型能够真实还原待处理图像之中的目标主体，进而使得生成的转换图像能够更真实、自然。

本申请中，通过将目标主体对应的模型放入三维仿真环境之中，按照拍摄光照角度、拍摄光照强度、拍摄光色、曝光度和拍摄距离等拍摄参数进行拍摄，可以最大程度的模拟和还原拍摄目标主体时的真实场景，且拍摄参数越详细，模拟和还原出的场景与拍摄目标主体时的真实场景越接近，从而使得生成的转换图像更真实、自然。

步骤207，根据转换图像对待处理图像进行修复。

具体的，生成转换图像后，即可利用转换图像对待处理图像进行修复，以修复待处理图像之中的不清晰、缺损等问题。

在示例性实施例中，可以将待处理图像中的不清晰、缺损等存在缺陷的区域的像素值直接替换为转换图像中相同区域的像素值，以实现对待处理图像的修复。或者，也可以将待处理图像中的不清晰、缺损等存在缺陷的区域的像素值，与转换图像中的相同区域的像素值进行加权平均，然后利用确定的各区域的像素值替换待处理图像中的对应区域的像素值，以实现对待处理图像的修复。

通过利用转换图像对待处理图像进行修复，实现了对待处理图像中的不清晰、缺损等问题的修复，由于转换图像是通过在三维仿真环境中按照待处理图像的拍摄参数，对目标主体对应的模型进行拍摄得到的清晰、真实、自然的图像，因此根据转换图像对待处理图像进行修复后的图像也是清晰、真实、自然的，对待处理图像的修复效果好。

本申请提供的图像处理方法，首先可以获取待处理图像的拍摄参数，并获取待处理图像之中目标主体的模型信息，然后根据目标主体的模型信息获取目标主体对应的模型，再在待处理图像之中提取目标主体对应的皮肤数据以及皮肤数据对应的位置，再按照皮肤数据所对应的位置，分别将皮肤数据贴至模型之上，再将目标主体对应的模型放入三维仿真环境之中，按照拍摄参数进行拍摄以生成待处理图像对应的转换图像，再根据转换图像对待处理图像进行修复。由此，通过在三维仿真环境中按照待处理图像的拍摄参数，对目标主体对应的模型进行拍摄以生成转换图像，进而利用转换图像对待处理图像进行修复，实现了对待处理图像的修复，且修复后的图像清晰、真实、自然，修复效果好。

通过上述分析可知，可以获取待处理图像的拍摄参数，以及待处理图像之中的目标主体的模型信息，其中，目标主体可以为拍摄主体，然后根据目标主体的模型信息获取目标主体对应的模型，进而将目标主体对应的模型放入三维仿真环境之中，按照拍摄参数进行拍摄以生成待处理图像对应的转换图像。在实际应用中，待处理图像之中的拍摄主体可能有多个，那么，本申请实施例中，还可以从多个主体中选择目标主体进行后续步骤，下面针对上述情况，结合图4，对本申请提供的图像处理方法进行进一步说明。

图4是根据本申请第三实施例的示意图。如图4所示，图像处理方法，可以包括以下步骤：

步骤301，获取待处理图像的拍摄参数。

其中，拍摄参数包括拍摄光照角度、拍摄光照强度、拍摄光色、曝光度和拍摄距离之中的一个或多个。

其中，上述步骤301的具体实现过程及原理，可以参照上述实施例的详细描述，此处不再赘述。

步骤302，获取待处理图像之中的多个主体。

具体的，可以通过人工智能中的图像识别技术和算法，例如，Eigenface、FisherFace等人脸识别算法，或者基于CNN的车牌识别算法，或者YOLO物体识别算法等，对待处理图像进行图像识别，以获取待处理图像之中的多个主体。

步骤303，确定多个主体的模糊程度。

步骤304，将多个主体之中模糊程度大于预设阈值的主体作为目标主体。

可以理解的是，本申请实施例中的待处理图像，可以是拍摄主体存在模糊、不清晰等缺陷的图像。

具体的，可以预先设置一个阈值，然后在获取待处理图像之中的多个主体后，可以确定多个主体的模糊程度，进而确定多个主体的模糊程度与预设阈值的关系，从而可以将模糊程度大于预设阈值的主体作为目标主体。

其中，阈值，可以根据需要设置。可以理解的是，阈值设置的越高，则确定的目标主体的数量越少，阈值设置的越低，则确定的目标主体的数量越多，因此，在实际应用中，可以根据需要修复的目标主体的数量，设置阈值的大小。

其中，确定主体的模糊程度的方法，可以参考相关技术中确定图像的模糊程度的方法，此处不作说明。

步骤305，获取目标主体的模型信息。

步骤306，根据目标主体的模型信息获取目标主体对应的模型。

步骤307，将目标主体对应的模型放入三维仿真环境之中，按照拍摄参数进行拍摄以生成待处理图像对应的转换图像。

步骤308，根据转换图像对待处理图像进行修复。

其中，上述步骤305-308的具体实现过程及原理，可以参照上述实施例的详细描述，此处不再赘述。

通过从待处理图像之中的多个主体中，选择模糊程度大于预设阈值的主体作为目标主体，再获取目标主体的模型信息，再根据目标主体的模型信息获取目标主体对应的模型，进而将目标主体对应的模型放入三维仿真环境之中，按照拍摄参数进行拍摄以生成带处理图像对应的转换图像，以根据转换图像对待处理图像进行修复，实现了对待处理图像中模糊程度较大的主体所在区域进行修复，由于无需对待处理图像之中的所有主体所在区域进行修复，因此减少了待处理图像所需处理的数据量，提高了对待处理图像进行修复的效率。

本申请提供的图像处理方法，首先可以获取待处理图像的拍摄参数，并获取待处理图像之中的多个主体，然后确定多个主体的模糊程度，进而将多个主体之中模糊程度大于预设阈值的主体作为目标主体，然后可以获取目标主体的模型信息，再根据目标主体的模型信息获取目标主体对应的模型，再将目标主体对应的模型放入三维仿真环境之中，按照拍摄参数进行拍摄以生成待处理图像对应的转换图像，再根据转换图像对待处理图像进行修复。由此，通过在三维仿真环境中按照待处理图像的拍摄参数，对目标主体对应的模型进行拍摄以生成转换图像，进而利用转换图像对待处理图像进行修复，实现了对待处理图像的修复，且修复后的图像清晰、真实、自然，修复效果好。

下面结合图5对本申请提供的图像处理装置进行说明。

图5是根据本申请第四实施例的图像处理装置的结构示意图。

如图5所示，本申请提供的图像处理装置100，包括：

第一获取模块110，用于获取待处理图像的拍摄参数；

第二获取模块120，用于获取待处理图像之中目标主体的模型信息；

第三获取模块130，用于根据目标主体的模型信息获取目标主体对应的模型；以及

生成模块140，用于将目标主体对应的模型放入三维仿真环境之中，按照拍摄参数进行拍摄以生成待处理图像对应的转换图像。

本实施例提供的图像处理装置，可以执行前述实施例所述的图像处理方法，图像处理装置可以被配置在电子设备中，以克服待处理图像中的缺陷，得到高质量的图像。

其中，电子设备，可以是任意能够进行数据处理的静止或者移动计算设备，例如笔记本电脑、智能手机、可穿戴设备等移动计算设备，或者台式计算机等静止的计算设备，或者云端服务器，或者其它类型的计算设备等。图像处理装置可以是安装在电子设备中的图像处理应用程序，也可以是该图像处理应用程序的管理者、开发者所使用的对该图像处理应用程序进行管理、维护的网页、应用程序等，本申请对此不作限制。本申请以电子设备为云端服务器为例进行说明。

上述实施例中对图像处理方法的说明，也适用于本申请实施例中的图像处理装置100，此处不再赘述。

本申请实施例提供的图像处理装置，首先获取待处理图像的拍摄参数，然后获取待处理图像之中目标主体的模型信息，再根据目标主体的模型信息获取目标主体对应的模型，再将目标主体对应的模型放入三维仿真环境之中，按照拍摄参数进行拍摄以生成待处理图像对应的转换图像。由此，通过在三维仿真环境中按照待处理图像的拍摄参数，对目标主体对应的模型进行拍摄，可以高度模拟和还原拍摄目标主体时的真实场景，得到清晰、真实、自然的转换图像，从而克服了待处理图像中存在的缺陷，得到了高质量的图像。

下面结合图6对本申请提供的图像处理装置进行进一步说明。图6是根据本申请第五实施例的图像处理装置的结构示意图。

如图6所示，本申请提供的图像处理装置100，可以包括：

第一获取模块110，用于获取待处理图像的拍摄参数；

第二获取模块120，用于获取待处理图像之中目标主体的模型信息；

第三获取模块130，用于根据目标主体的模型信息获取目标主体对应的模型；以及

生成模块140，用于将目标主体对应的模型放入三维仿真环境之中，按照拍摄参数进行拍摄以生成待处理图像对应的转换图像；

修复模块150，用于根据转换图像对待处理图像进行修复；

提取模块160，用于在待处理图像之中提取目标主体对应的皮肤数据以及皮肤数据对应的位置；以及

处理模块170，用于按照皮肤数据所对应的位置，分别将皮肤数据贴至模型之上。

其中，拍摄参数包括拍摄光照角度、拍摄光照强度、拍摄光色、曝光度和拍摄距离之中的一个或多个。

在示例性实施例中，上述第二获取模块120，可以包括：

第一获取单元，用于对待处理图像进行识别以获取待处理图像之中目标主体的模型信息；或者

第二获取单元，用于接收拍摄待处理图像时识别的待处理图像之中目标主体的模型信息。

在示例性实施例中，上述第二获取模块120，还可以包括：

第三获取单元，用于获取待处理图像之中的多个主体；

第一确定单元，用于确定多个主体的模糊程度；

第二确定单元，用于将多个主体之中模糊程度大于预设阈值的主体作为目标主体；

第四获取单元，用于获取目标主体的模型信息。

上述实施例中对图像处理方法的说明，也适用于本申请实施例中的图像处理装置100，此处不再赘述。

本申请实施例提供的图像处理装置，首先获取待处理图像的拍摄参数，然后获取待处理图像之中目标主体的模型信息，再根据目标主体的模型信息获取目标主体对应的模型，再将目标主体对应的模型放入三维仿真环境之中，按照拍摄参数进行拍摄以生成待处理图像对应的转换图像。由此，通过在三维仿真环境中按照待处理图像的拍摄参数，对目标主体对应的模型进行拍摄，可以高度模拟和还原拍摄目标主体时的真实场景，得到清晰、真实、自然的转换图像，从而克服了待处理图像中存在的缺陷，得到了高质量的图像。

根据本申请的实施例，本申请还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

如图7所示，是根据本申请实施例的图像处理方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图7所示，该电子设备包括：一个或多个处理器701、存储器702，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图7中以一个处理器701为例。

存储器702即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的图像处理方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的图像处理方法。

存储器702作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的图像处理方法对应的程序指令/模块(例如，附图5所示的第一获取模块110、第二获取模块120、第三获取模块130和生成模块140)。处理器701通过运行存储在存储器702中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的图像处理方法。

存储器702可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据图像处理方法的电子设备的使用所创建的数据等。此外，存储器702可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器702可选包括相对于处理器701远程设置的存储器，这些远程存储器可以通过网络连接至图像处理方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

图像处理方法的电子设备还可以包括：输入装置703和输出装置704。处理器701、存储器702、输入装置703和输出装置704可以通过总线或者其他方式连接，图7中以通过总线连接为例。

输入装置703可接收输入的数字或字符信息，以及产生与图像处理方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置704可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与虚拟专用服务器(Virtual Private Server，简称VPS)服务中，存在的管理难度大，业务扩展性弱的缺陷。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与虚拟专用服务器(Virtual Private Server，简称VPS)服务中，存在的管理难度大，业务扩展性弱的缺陷。

根据本申请实施例的技术方案，通过在三维仿真环境中按照待处理图像的拍摄参数，对目标主体对应的模型进行拍摄，可以高度模拟和还原拍摄目标主体时的真实场景，得到清晰、真实、自然的转换图像，从而克服了待处理图像中存在的缺陷，得到了高质量的图像。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (14)

1.一种图像处理方法，包括：

获取待处理图像的拍摄参数；

获取所述待处理图像之中目标主体的模型信息；

根据所述目标主体的模型信息获取所述目标主体对应的模型；以及

将所述目标主体对应的模型放入三维仿真环境之中，按照所述拍摄参数进行拍摄以生成所述待处理图像对应的转换图像,其中，所述三维仿真环境，可以为与所述待处理图像的拍摄场景对应的三维或者2.5维伪三维仿真环境。

2.如权利要求1所述的图像处理方法，其中，在所述按照所述拍摄参数进行拍摄以生成所述待处理图像对应的转换图像之后，还包括：

根据所述转换图像对所述待处理图像进行修复。

3. 如权利要求1所述的图像处理方法，在所述根据所述目标主体的模型信息获取所述目标主体对应的模型之后，还包括：

在所述待处理图像之中提取所述目标主体对应的皮肤数据以及所述皮肤数据对应的位置；以及

按照所述皮肤数据所对应的位置，分别将所述皮肤数据贴至所述模型之上。

4.如权利要求1所述的图像处理方法，其中，所述拍摄参数包括拍摄光照角度、拍摄光照强度、拍摄光色、曝光度和拍摄距离之中的一个或多个。

5.如权利要求1所述的图像处理方法，其中，所述获取所述待处理图像之中目标主体的模型信息，包括：

对所述待处理图像进行识别以获取所述待处理图像之中目标主体的模型信息；或者

接收拍摄所述待处理图像时识别的所述待处理图像之中目标主体的模型信息。

6.如权利要求1所述的图像处理方法，其中，所述获取所述待处理图像之中目标主体的模型信息，包括：

获取所述待处理图像之中的多个主体；

确定所述多个主体的模糊程度；

将所述多个主体之中模糊程度大于预设阈值的主体作为目标主体；

获取所述目标主体的模型信息。

7.一种图像处理装置，包括：

第一获取模块，用于获取待处理图像的拍摄参数；

第二获取模块，用于获取所述待处理图像之中目标主体的模型信息；

第三获取模块，用于根据所述目标主体的模型信息获取所述目标主体对应的模型；以及

生成模块，用于将所述目标主体对应的模型放入三维仿真环境之中，按照所述拍摄参数进行拍摄以生成所述待处理图像对应的转换图像,其中，所述三维仿真环境，可以为与所述待处理图像的拍摄场景对应的三维或者2.5维伪三维仿真环境。

8.如权利要求7所述的图像处理装置，还包括：

修复模块，用于根据所述转换图像对所述待处理图像进行修复。

9. 如权利要求7所述的图像处理装置，还包括：

提取模块，用于在所述待处理图像之中提取所述目标主体对应的皮肤数据以及所述皮肤数据对应的位置；以及

处理模块，用于按照所述皮肤数据所对应的位置，分别将所述皮肤数据贴至所述模型之上。

10.如权利要求7所述的图像处理装置，其中，所述拍摄参数包括拍摄光照角度、拍摄光照强度、拍摄光色、曝光度和拍摄距离之中的一个或多个。

11.如权利要求7所述的图像处理装置，其中，所述第二获取模块，包括：

第一获取单元，用于对所述待处理图像进行识别以获取所述待处理图像之中目标主体的模型信息；或者

第二获取单元，用于接收拍摄所述待处理图像时识别的所述待处理图像之中目标主体的模型信息。

12.如权利要求7所述的图像处理装置，其中，所述第二获取模块，包括：

第三获取单元，用于获取所述待处理图像之中的多个主体；

第一确定单元，用于确定所述多个主体的模糊程度；

第二确定单元，用于将所述多个主体之中模糊程度大于预设阈值的主体作为目标主体；

第四获取单元，用于获取所述目标主体的模型信息。

13. 一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。

14.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-6中任一项所述的方法。