CN112887598A - 图像处理方法、装置、拍摄支架、电子设备及可读存储介质 - Google Patents

Abstract

本申请公开了一种图像处理方法、装置、拍摄支架、电子设备及可读存储介质，能够解决屏下摄像头拍摄的图像的图像质量较低的问题。该方法包括：通过第一摄像头采集第一图像，第一摄像头为屏下摄像头；使用图像处理模型处理第一图像，得到第二图像，第二图像的图像质量高于第一图像的图像质量；其中，图像处理模型为采用目标样本集对预设模型训练后得到的；目标样本集的每个目标样本包括两个图像；每个目标样本中的两个图像分别为第二摄像头和第三摄像头在同一位置采用相同的拍摄角度、相同的拍摄环境、相同的拍摄参数、针对同一拍摄对象采集的图像。本申请实施例应用于电子设备通过屏下摄像头进行拍摄的场景中。

Description

图像处理方法、装置、拍摄支架、电子设备及可读存储介质

技术领域

本申请实施例涉及通信技术领域，尤其涉及一种图像处理方法、装置、拍摄支架、电子设备及可读存储介质。

背景技术

随着电子技术的进步，为了使用户体验更好，电子设备(例如，手机、平板等)的屏占比越来越高。

在相关技术中，为了提高电子设备的屏占比，通常采用“挖孔屏”、“水滴屏”等设计方案来减小前置摄像头对屏占比的影响。更有甚者，采用屏下摄像头的设计方案，极大地提高了电子设备的屏占比。

然而，由于屏下摄像头的设计方案，摄像头位于屏幕下方，受限于屏幕的遮挡，屏下摄像头拍摄的图像的图像质量较差。

发明内容

本申请实施例的目的是提供一种图像处理方法、装置、拍摄支架、电子设备及可读存储介质，能够解决屏下摄像头拍摄的图像的图像质量较差的问题。

为了解决上述技术问题，本申请是这样实现的：

第一方面，本申请实施例提供一种图像处理方法，该方法包括：通过第一摄像头采集第一图像，第一摄像头为屏下摄像头；使用图像处理模型处理第一图像，得到第二图像，第二图像的图像质量高于第一图像的图像质量；其中，图像处理模型为采用目标样本集对预设模型训练后得到的；目标样本集的每个目标样本包括两个图像；每个目标样本中的两个图像分别为第二摄像头和第三摄像头在同一位置采用相同的拍摄角度、相同的拍摄环境、相同的拍摄参数、针对同一拍摄对象采集的图像，且第二摄像头采集的图像的图像质量低于第三摄像头采集的图像的图像质量；第二摄像头为屏下摄像头。

第二方面，本申请实施例还提供了一种图像处理装置，该装置包括采集模块和处理模块；采集模块，用于通过第一摄像头采集第一图像，第一摄像头为屏下摄像头；处理模块，用于使用图像处理模型处理采集模块采集的第一图像，得到第二图像，第二图像的图像质量高于第一图像的图像质量；其中，图像处理模型为采用目标样本集对预设模型训练后得到的；目标样本集的每个目标样本包括两个图像；每个目标样本中的两个图像分别为第二摄像头和第三摄像头在同一位置采用相同的拍摄角度、相同的拍摄环境、相同的拍摄参数、针对同一拍摄对象采集的图像，且第二摄像头采集的图像的图像质量低于第三摄像头采集的图像的图像质量；第二摄像头为屏下摄像头。

第三方面，本申请实施例提供了一种拍摄支架，包括：支架、与支架连接的滑轨，以及设置在滑轨上的第一俯仰台和第二俯仰台，第一俯仰台用于支撑第一摄像头，第二俯仰台用于支撑第二摄像头；第一摄像头用于采集第一目标图像；第二摄像头用于采集第二目标图像；其中，第一目标图像和第二目标图像为：第一摄像头和第二摄像头在同一位置采用相同的拍摄角度、相同的拍摄环境、相同的拍摄参数、针对同一拍摄对象采集的图像；第一目标图像和第二目标图像为目标样本集中的一个样本，目标样本集用于训练预设模型。

第四方面，本申请实施例提供了一种电子设备，包括处理器、存储器及存储在该存储器上并可在该处理器上运行的程序或指令，该程序或指令被该处理器执行时实现如第一方面所述的图像处理方法的步骤。

第五方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

第六方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。

在本申请实施例中，通过将屏下摄像头(即第二摄像头)和正常摄像头(即第三摄像头)在同一位置采用相同的拍摄角度采集的图像作为目标样本集中的样本，训练预设模型。之后，使用训练后的图像处理模型对第一摄像头采集的第一图像进行处理，得到图像质量较高的第二图像，提高了屏下摄像头拍摄照片的图像质量。

附图说明

图1是本申请实施例提供的一种采用屏下摄像头方案的电子设备；

图2是本申请实施例提供的一种图像处理方法流程示意图；

图3是本申请实施例提供的一种图像处理方法所应用的图像分割的示意图；

图4是本申请实施例提供的一种拍摄支架结构示意图；

图5是本申请实施例提供的一种图像处理装置结构示意图；

图6是本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

本申请实施例提供的图像处理方法可以应用于电子设备通过屏下摄像头进行拍摄的场景中。

示例性地，针对电子设备通过屏下摄像头进行拍摄的场景，在相关技术中，如图1中(A)所示，为一种摄像头位于屏幕下方的设计方案，在该方案中，由于屏下摄像头设置与屏幕下方，当屏下摄像头进行图像采集时，光线会先经过屏幕，由于屏幕对光线的阻挡以及光线穿过物体时会发生衍射现象，导致屏下摄像头拍摄的图像图像质量较差(例如，画面较暗，或出现光晕等情况)。

针对这一问题，在本申请实施例提供的技术方案中，通过将屏下摄像头和正常摄像头在同一位置采用相同的拍摄角度采集的图像作为样本集中的样本，之后，通过改变拍摄条件、或者多次更换拍摄对象的方式，获取包含N个样本的样本集，并使用该样本集训练预设模型。之后，使用训练后的图像处理模型对屏下摄像头采集的图像进行处理，得到图像质量较高的图像，提高了屏下摄像头拍摄照片的图像质量。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的图像处理方法进行详细地说明。

如图2所示，本申请实施例提供的一种图像处理方法，该方法可以包括下述步骤201和步骤202：

步骤201、图像处理装置通过第一摄像头采集第一图像。

其中，上述第一摄像头为屏下摄像头。

步骤202、图像处理装置使用图像处理模型处理上述第一图像，得到第二图像。

其中，上述第二图像的图像质量高于第一图像的图像质量。上述图像处理模型为采用目标样本集对预设模型训练后得到的。上述目标样本集的每个目标样本包括两个图像。其中，每个目标样本中的两个图像分别为第二摄像头和第三摄像头在同一位置采用相同的拍摄角度、相同的拍摄环境、相同的拍摄参数、针对同一拍摄对象采集的图像，且第二摄像头采集的图像的图像质量低于第三摄像头采集的图像的图像质量。该第二摄像头为屏下摄像头。

示例性地，上述第二摄像头和第一摄像头可以是同一个摄像头，也可以是不同的摄像头。具体地，可以是不同电子设备上的摄像头。

示例性地，上述第二摄像头和第三摄像头可以通过本申请实施例提供的拍摄支架，来获取第二摄像头和第三摄像头在同一位置采用相同的拍摄角度、相同的拍摄环境、相同的拍摄参数、针对同一拍摄对象采集的图像。上述第三摄像头可以为与上述第一摄像头或第二摄像头规格相同，且没有屏幕遮挡的摄像头。具体地，上述摄像头规格可以包括摄像头的外形尺寸，摄像头焦距，视场角，光圈等。

示例性地，上述第二摄像头和第三摄像头采集的图像为针对同一拍摄对象采集的图像，该同一拍摄对象可以是静止的人物或者风景。

示例性地，图像处理装置在重复执行N次样本获取的过程，获取到包含N个目标样本的目标样本集，其中，每个目标样本中均包含两个拍摄位置、拍摄角度、拍摄对象和拍摄参数相同的图像，区别仅在于摄像头的不同。为了防止样本重复，提高样本的复杂度，样本与样本之间的拍摄条件可以不同。具体地，目标样本集中的每个目标样本均为在不同拍摄条件下采集的样本，不同的目标样本，拍摄条件至少包括以下一项不同：拍摄对象，拍摄背景，拍摄环境的环境参数、拍摄装备的拍摄参数。

如此，通过将屏下摄像头(即第二摄像头)和正常摄像头(即第三摄像头)在同一位置采用相同的拍摄角度采集的图像作为目标样本集中的样本，训练预设模型。之后，使用训练后的图像处理模型对第一摄像头采集的第一图像进行处理，得到图像质量较高的第二图像，提高了屏下摄像头拍摄照片的图像质量。

可选地，在本申请实施例中，在使用上述图像处理模型处理第一摄像头拍摄的图像之前，图像处理装置需要对预设模型进行训练，进而得到上述图像处理模型。

示例性地，上述步骤202之前，本申请实施例提供的图像处理方法，还可以包括以下步骤203和步骤204：

步骤203、图像处理装置获取目标样本集。

示例性地，上述目标样本集中包括N个目标样本，每个目标样本中包括两个对应的图像。

步骤204、图像处理装置采用上述目标样本集训练上述预设模型，得到图像处理模型。

其中，上述目标样本包括：第三图像和第四图像；第三图像为第二摄像头采集的图像，第四图像为第三摄像头采集的图像；第三图像和第四图像为第二摄像头和第三摄像头在同一位置采用同样的拍摄参数分别对相同目标获取的图像。

示例性地，上述预设模型为具有图像处理功能的深度学习模型，对预设模型训练完成后，得到上述图像处理模型。

如此，图像处理装置使用目标样本集训练预设模型，并得到图像处理模型之后，才能使得图像处理装置处理屏下摄像头拍摄的图像，进而得到图像质量较高的图像。

进一步可选地，在本申请实施例中，为了提高样本复杂度，可以获取不同背景环境、噪声条件下的图像，从而增加样本的复杂度。上述目标样本集中的每个目标样本，均为图像处理装置在不同拍摄条件下采集的样本。

需要说明的是，若图像处理装置在相同的拍摄条件下能够获取不同的样本，也可以作为目标训练集中的目标样本。例如，在拍摄条件相同的情况下，对不同拍摄对象拍摄的图像的样本。

如此，可以减少目标样本集中重复样本的数量，提高训练模型的训练效率。

可选地，在本申请实施例中，上述目标样本集中的每个目标样本，均包括两个图像，该两个图像分别为第二摄像头采集的图像和第三摄像头采集的图像。图像处理装置在使用目标样本集训练预设模型之前，还需要对目标样本集中的每个目标样本进行处理。

需要说明的是，目标样本集中的每个目标样本均包括一个第二摄像头采集的图像，和一个第三摄像头采集的图像。

示例性地，上述步骤204之前，本申请实施例提供的图像处理方法，还可以包括以下步骤204a：

步骤204a、图像处理装置采用基于灰度的图像匹配算法，对上述第三图像和第四图像进行匹配，得到匹配后的第三图像和第四图像。

其中，匹配后的第三图像和第四图像的像素对应。

示例性地，上述基于灰度的图像匹配算法可以包括以下任一种：平均绝对差算法(mean absolute differences,mad)、绝对误差和算法(sum of absolute differences,sad)、误差平方和算法(sum of squared differences,ssd)、平均误差平方和算法(meansquare differences,msd)、归一化积相关算法(normalized cross correlation,ncc)、序贯相似性检测算法(sequential similiarity detection algorithm,ssda)、哈达玛(hadamard)矩阵变换算法(sum of absolute transformed difference,satd)。

示例性地，本申请实施例中采用以下算法对上述第三图像和第四图像进行图像匹配：

公式一：

其中，上述t与f分别为第二摄像头采集的图像和第三摄像头采集的图像；J与K分别为在用于图像匹配的匹配模板的图像的高和宽；R(x,y)为经过运算得到的互相关矩阵，取R为最大值时的x_m、y_m值即可得到与t匹配的图像f(x_m+j,y_m+k)。

示例性地，在对目标样本集进行处理后，上述步骤204可以包括以下步骤204b：

步骤204b、图像处理装置采用基于灰度的图像匹配算法匹配过的目标样本集训练上述预设模型。

如此，在使用目标样本集训练预设模型之前，对样本集中的样本进行图像匹配，使得每个样本中的两个图像均达到像素级匹配，进而满足预设模型在训练过程中对图像的要求，使得训练好的图像处理模型处理屏下摄像头采集的图像后得到的图像的图像质量更高。

进一步可选地，在本申请实施例中，为了提高图像匹配算法的匹配成功率，在进行匹配选取图像范围时，可在图像边缘留出6-8像素的范围，以使得在选择尽可能大的图像范围的同时保证匹配的成功率。

示例性地，上述步骤204a，还可以包括以下步骤204a1或者步骤204a2：

步骤204a1、图像处理装置将上述第三图像中预设区域的图像与第四图像进行匹配，得到匹配后的第三图像和第四图像。

步骤204a2、图像处理装置将上述第四图像中预设区域的图像与第三图像进行匹配，得到匹配后的第三图像和第四图像。

其中，上述预设区域的大小为：在上述第三图像或第四图像的图像大小的基础上，边缘减少预设数量像素之后的图像大小。

示例性地，由于上述第三图像和第四图像的图像大小可能相同，因此，以第三图像为基础或以第四图像为基础均可。

示例性地，在图像匹配过程中，需要用到匹配模板，该匹配模板为上述预设区域的图像，还匹配模板的高和宽分别为上述公式一中的J和K。

需要说明的是，使用范围较大的匹配模板，是为了提高第三图像和第四图像的匹配程度，以使得第三图像和第四图像能够达到像素级匹配的程度。进而使得目标样本集中的每个目标样本中的两个图像，均能满足像素级对应的要求。

如此，在图像匹配的过程中，使用图像范围较大的匹配模板，可以在选择尽可能大的图像范围的同时，保证匹配的成功率提高匹配的成功率。

可选地，在本申请实施例中，为了减小目标样本集中样本图像收集的工作量，同时大幅增加样本的数量，可以将每个样本中的图像进行分割，进而将一个样本分割为多个样本。

示例性地，上述步骤203，可以包括以下步骤203a1和步骤203a2：

步骤203a1、图像处理装置将上述第二摄像头采集的第三图像分割为M个第三子图像，并将上述第三摄像头采集的第四图像分割为M个第四子图像。

其中，上述M个第三子图像与M个第四子图像一一对应，一个第三子图像对应一个第四子图像。

步骤203a2、图像处理装置将上述M个第三子图像中的目标第三子图像，以及M个第四子图像中与该目标第三子图像对应的第四子图像作为目标样本集中的一个样本，得到目标样本集。

示例性地，图像处理装置在分割第三图像和第四图像时，分割的位置和数量相同，使得分割后的M个第三子图像中的每个第三子图像，均能在分割后的M个第四子图像中有对应的图像。

举例说明，如图3所示，为样本中包含的两个图像(图像31和图像32)。将图像31分割为4个图像(图像a1、a2、a3和a4)，将图像32也分割为4个图像(图像b1、b2、b3和b4)，并将分割后的样本一一对应(a1对应b1、a2对应b2、a3对应b3、a4对应b4)，每两个对应的图像作为新的样本(例如，a1和b1可以作为一个新的样本)。其中，由于图像31和图像32的尺寸可能存在差异，为了保证匹配的成功率，图像31的分割位置31a和图像32的分割位置32a相同(即分割点与拍摄对象在图像中的相对位置相同)。和通过将一个样本可分为四个样本，可以将包含N个样本的目标样本集扩充为包含N*4个样本的样本集。

如此，将每个样本中的图像分割后，可在极大的扩充样本的容量同时，降低后续训练过程中对计算机配置的要求。

本申请实施例提供的图像处理方法，通过将屏下摄像头和正常摄像头在同一位置采用相同的拍摄角度采集的图像作为样本集中的样本，之后，通过改变拍摄条件、或者多次更换拍摄对象的方式，获取包含N个样本的样本集。为了满足预设模型对样本的要求，在获取到样本后，可对每个样本中的两个图像进行像素级匹配，并使用匹配后的样本集训练预设模型。之后，使用训练后的图像处理模型对屏下摄像头采集的图像进行处理，得到图像质量较高的图像，提高了屏下摄像头拍摄照片的图像质量。

需要说明的是，本申请实施例提供的图像处理方法，执行主体可以为图像处理装置，或者该图像处理装置中的用于执行图像处理方法的控制模块。本申请实施例中以图像处理装置执行图像处理方法为例，说明本申请实施例提供的图像处理装置。

需要说明的是，本申请实施例中，上述各个方法附图所示的。图像处理方法均是以结合本申请实施例中的一个附图为例示例性地说明的。具体实现时，上述各个方法附图所示的图像处理方法还可以结合上述实施例中示意的其它可以结合的任意附图实现，此处不再赘述。

如图4所示，本申请实施例提供的一种用于拍摄的拍摄支架，该拍摄支架包括：支架5、与支架5连接的滑轨3，以及设置在滑轨3上的第一俯仰台1和第二俯仰台2。上述第一俯仰台1用于支撑第一摄像头，上述第二俯仰台2用于支撑第二摄像头。上述第一摄像头用于采集第一目标图像，上述第二摄像头用于采集第二目标图像。该第一目标图像为上述图像处理方法实施例中的第三图像，该第二目标图像为上述图像处理方法实施例中的第四图像。

其中，上述第一目标图像和第二目标图像为：上述第一摄像头和第二摄像头在同一位置采用相同的拍摄角度、相同的拍摄环境、相同的拍摄参数、针对同一拍摄对象采集的图像。上述第一目标图像和第二目标图像为目标样本集中的一个样本，该目标样本集用于训练预设模型。

示例性地，上述第一摄像头和第二摄像头与如图2所示的图像处理方法中涉及的第一摄像头和第二摄像头不同。具体地，上述第一摄像头可以与如图2所示的图像处理方法中涉及的第二摄像头相同，上述第二摄像头可以与如图2所示的图像处理方法中涉及的第三摄像头相同。

示例性地，上述拍摄支架包括手动控制和自动控制两种控制方式。用户可以手动或通过程序自动调节第一俯仰台1和第二俯仰台2在x-y平面内旋转以校准上述两个俯仰台的俯仰角度。为了实现第一摄像头和第二摄像头能够在同一位置采用相同的拍摄角度采集的图像，可以将第一俯仰台1调整至目标角度以及移动至目标位置后，控制第一摄像头拍摄图像。之后，将第一俯仰台1移开，再将第二俯仰台调整至目标角度以及移动至目标位置后，控制第二摄像头拍摄图像。

具体地，上述拍摄支架还包括：控制模块，该控制模块，用于控制第一俯仰台移动至目标位置，并调整第一俯仰台至目标角度，以及控制第一摄像头采集第一目标图像；该控制模块，还用于控制第二俯仰台移动至目标位置，并调整第二俯仰台至目标角度，以及控制第二摄像头采集第二目标图像。

可选地，在本申请实施例中，为了方便拆卸以及实现自动控制功能，上述拍摄支架还包括：滑轨3与支架5的转换接口4、电源系统及可编程单片机6。用户可以通过电源系统及可编程单片机6实现对上述第一俯仰台1和第二俯仰台2的精确控制。

示例性地，用户可以编写代码使第一俯仰台1和第二俯仰台2能够借助电源系统6在滑轨3的z方向上对其搭载的摄像头进行电动控制以实现精确位移。

示例性地，上述第一摄像头可以为安装在第一电子设备上的屏下摄像头，上述第二摄像头可以为安装在第二电子设备上，与第一摄像头相对于第一电子设备的相对位置相同的位置上。如图1中(A)和(B)所示，屏下摄像头11(即上述第一电子设备)在电子设备10a上的安装位置，与摄像头12(即上述第二电子设备)在电子设备10b上的安装位置相同。如此，才能使得第一摄像头和第二摄像头在同一位置采用相同的拍摄角度采集图像。

需要说明的是，在本拍摄支架中，各装置之间可以借助转换接口来实现连接，支架5与导轨3借助转换接口4进行连接，上述第一电子设备和第二电子设备可以通过第一俯仰台1和第二俯仰台2上设置的固定件和干板夹进行固定，以增加其稳定性。需要注意的是，两个电子设备的下边缘所在的直线与导轨3方向平行。

示例性地，当用户通过自动控制方式控制拍摄支架上的第一俯仰台1和第二俯仰台2时，可以根据拍摄支架的参数对单片机6进行编程，使其能够控制滑轨3上的第一俯仰台1和第二俯仰台2进行精确平移，固定支架5并调节其云台使云台倾斜度尽可能为0(略微倾斜不影响数据获取的准确性)，利用转换接口4将连接有电源系统和单片机6的导轨3安装在支架5上。

之后，将第一电子设备和第二电子设备分别固定在第一俯仰台1和第二俯仰台2上。在进行实际拍摄之前首先需要对拍摄支架进行调节和校准，使个电子设备能够先后借助滑轨3平移到相同的位置保持相同姿态。首先固定第一俯仰台1，并将其连接至计算机借助图像获取软件，得到该第一摄像头所拍摄的图像并保存在计算机中，通过电源与单片机6控制第二俯仰台2在滑轨3上平移，使第二电子设备移动到相同的拍摄位置，调节第二俯仰台2，使第二摄像头能够拍摄到与第一摄像头拍摄的图像尽可能相同的图像，并借助上述图像获取软件得到第二摄像头拍摄的图像，即可完成标定工作。通过不断更改支架5的高度和拍摄景物与环境，即可获得多组包含屏下模糊图像和清晰图像的图像对，再使用图像匹配算法即可获取像素级对应的训练数据用于后续深度学习的图像恢复环节。

本申请实施例提供的拍摄支架，可以通过对第一俯仰台和第二俯仰台的俯仰角度及位置的精确控制，实现第一摄像头和第二摄像头能够在同一位置采用相同的拍摄角度采集的图像的目的，使得图像处理方法实施例中，能够对第一摄像头和第二摄像头拍摄的图像实现像素级对应。

图5为实现本申请实施例提供的一种图像处理装置的可能的结构示意图，如图5所示，图像处理装置600包括：采集模块601和处理模块602；采集模块601，用于通过第一摄像头采集第一图像，第一摄像头为屏下摄像头；处理模块602，用于使用图像处理模型处理采集模块601采集的第一图像，得到第二图像，第二图像的图像质量高于第一图像的图像质量；其中，图像处理模型为采用目标样本集对预设模型训练后得到的；目标样本集的每个目标样本包括两个图像；每个目标样本中的两个图像分别为第二摄像头和第三摄像头在同一位置采用相同的拍摄角度、相同的拍摄环境、相同的拍摄参数、针对同一拍摄对象采集的图像，且第二摄像头采集的图像的图像质量低于第三摄像头采集的图像的图像质量；第二摄像头为屏下摄像头。

如此，通过将屏下摄像头(即第二摄像头)和正常摄像头(即第三摄像头)在同一位置采用相同的拍摄角度采集的图像作为目标样本集中的样本，训练预设模型。之后，使用训练后的图像处理模型对第一摄像头采集的第一图像进行处理，得到图像质量较高的第二图像，提高了屏下摄像头拍摄照片的图像质量。

可选地，图像处理装置600还包括：获取模块603和训练模块604；获取模块603，用于获取目标样本集；训练模块604，用于采用获取模块603获取的目标样本集训练预设模型，得到图像处理模型；其中，目标样本包括：第三图像和第四图像；第三图像为第二摄像头采集的图像，第四图像为第三摄像头采集的图像；第三图像和第四图像为第二摄像头和第三摄像头在同一位置采用同样的拍摄参数分别对相同目标获取的图像。

如此，图像处理装置使用目标样本集训练预设模型，并得到图像处理模型之后，才能使得图像处理装置处理屏下摄像头拍摄的图像，进而得到图像质量较高的图像。

可选地，目标样本集中的每个目标样本均为在不同拍摄条件下采集的样本；其中，拍摄条件包括以下至少一项：拍摄对象，拍摄背景，拍摄环境的环境参数、拍摄装备的拍摄参数。

如此，可以减少目标样本集中重复样本的数量，提高训练模型的训练效率。

可选地，图像处理装置600还包括：匹配模块605；匹配模块605，用于采用基于灰度的图像匹配算法，对第三图像和第四图像进行匹配，得到匹配后的第三图像和第四图像；其中，匹配后的第三图像和第四图像的像素对应。

如此，在使用目标样本集训练预设模型之前，对样本集中的样本进行图像匹配，使得每个样本中的两个图像均达到像素级匹配，进而满足预设模型在训练过程中对图像的要求，使得训练好的图像处理模型处理屏下摄像头采集的图像后得到的图像的图像质量更高。

可选地，匹配模块605，具体用于将第三图像中预设区域的图像与第四图像进行匹配，得到匹配后的第三图像和第四图像；或者，匹配模块605，具体用于将第四图像中预设区域的图像与第三图像进行匹配，得到匹配后的第三图像和第四图像；其中，预设区域的大小为：在第三图像或第四图像的图像大小的基础上，边缘减少预设数量像素之后的图像大小。

如此，在图像匹配的过程中，使用图像范围较大的匹配模板，可以在选择尽可能大的图像范围的同时，保证匹配的成功率提高匹配的成功率。

可选地，获取模块603，具体用于将第三图像分割为M个第三子图像，并将第四图像分割为M个第四子图像；M个第三子图像与M个第四子图像一一对应；获取模块603，具体还用于将M个第三子图像中的目标第三子图像，以及M个第四子图像中与目标第三子图像对应的第四子图像作为目标样本集中的一个样本，得到目标样本集。

如此，将每个目标样本中的图像分割后，可在极大的扩充样本的容量同时，降低后续训练过程中对计算机配置的要求。

本申请实施例中的图像处理装置可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性地，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personaldigital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(NetworkAttached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。

本申请实施例中的图像处理装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为iOS操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。

本申请实施例提供的图像处理装置能够实现图2和图3的方法实施例中图像处理装置实现的各个过程，为避免重复，这里不再赘述。

本申请实施例提供的图像处理装置，通过将屏下摄像头和正常摄像头在同一位置采用相同的拍摄角度采集的图像作为样本集中的样本，之后，通过改变拍摄条件、或者多次更换拍摄对象的方式，获取包含N个样本的样本集。为了满足预设模型对样本的要求，在获取到样本后，可对每个样本中的两个图像进行像素级匹配，并使用匹配后的样本集训练预设模型。之后，使用训练后的图像处理模型对屏下摄像头采集的图像进行处理，得到图像质量较高的图像，提高了屏下摄像头拍摄照片的图像质量。

可选的，本申请实施例还提供一种电子设备，包括处理器110，存储器109，存储在存储器109上并可在所述处理器110上运行的程序或指令，该程序或指令被处理器110执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要注意的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。

图6为实现本申请各个实施例的一种电子设备的硬件结构示意图。

该电子设备100包括但不限于：射频单元101、网络模块102、音频输出单元103、输入单元104、传感器105、显示单元106、用户输入单元107、接口单元108、存储器109、以及处理器110等部件。

本领域技术人员可以理解，电子设备100还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器110逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图6中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

其中，输入单元104，用于通过第一摄像头采集第一图像，第一摄像头为屏下摄像头；处理器110，用于使用图像处理模型处理输入单元104采集的第一图像，得到第二图像，第二图像的图像质量高于第一图像的图像质量；其中，图像处理模型为采用目标样本集对预设模型训练后得到的；目标样本集的每个目标样本包括两个图像；每个目标样本中的两个图像分别为第二摄像头和第三摄像头在同一位置采用相同的拍摄角度、相同的拍摄环境、相同的拍摄参数、针对同一拍摄对象采集的图像，且第二摄像头采集的图像的图像质量低于第三摄像头采集的图像的图像质量；第二摄像头为屏下摄像头。

可选地，处理器110，用于获取目标样本集；处理器110，用于采用目标样本集训练预设模型，得到图像处理模型；其中，目标样本包括：第三图像和第四图像；第三图像为第二摄像头采集的图像，第四图像为第三摄像头采集的图像；第三图像和第四图像为第二摄像头和第三摄像头在同一位置采用同样的拍摄参数分别对相同目标获取的图像。

可选地，处理器110，用于采用基于灰度的图像匹配算法，对第三图像和第四图像进行匹配，得到匹配后的第三图像和第四图像；其中，匹配后的第三图像和第四图像的像素对应。

可选地，处理器110，具体用于将第三图像中预设区域的图像与第四图像进行匹配，得到匹配后的第三图像和第四图像；或者，处理器110，具体用于将第四图像中预设区域的图像与第三图像进行匹配，得到匹配后的第三图像和第四图像；其中，预设区域的大小为：在第三图像或第四图像的图像大小的基础上，边缘减少预设数量像素之后的图像大小。

可选地，处理器110，具体用于将第三图像分割为M个第三子图像，并将第四图像分割为M个第四子图像；M个第三子图像与M个第四子图像一一对应；处理器110，具体还用于将M个第三子图像中的目标第三子图像，以及M个第四子图像中与目标第三子图像对应的第四子图像作为目标样本集中的一个样本，得到目标样本集。

本申请实施例提供的电子设备，通过将屏下摄像头和正常摄像头在同一位置采用相同的拍摄角度采集的图像作为样本集中的样本，之后，通过改变拍摄条件、或者多次更换拍摄对象的方式，获取包含N个样本的样本集。为了满足预设模型对样本的要求，在获取到样本后，可对每个样本中的两个图像进行像素级匹配，并使用匹配后的样本集训练预设模型。之后，使用训练后的图像处理模型对屏下摄像头采集的图像进行处理，得到图像质量较高的图像，提高了屏下摄像头拍摄照片的图像质量。

应理解的是，本申请实施例中，输入单元104可以包括图形处理器(GraphicsProcessing Unit，GPU)1041和麦克风1042，图形处理器1041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元106可包括显示面板1061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板1061。用户输入单元107包括触控面板1071以及其他输入设备1072。触控面板1071，也称为触摸屏。触控面板1071可包括触摸检测装置和触摸控制器两个部分。其他输入设备1072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。存储器109可用于存储软件程序以及各种数据，包括但不限于应用程序和操作系统。处理器110可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器110中。

本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。

本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台电子设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：

通过第一摄像头采集第一图像，所述第一摄像头为屏下摄像头；

使用图像处理模型处理所述第一图像，得到第二图像，所述第二图像的图像质量高于所述第一图像的图像质量；

其中，所述图像处理模型为采用目标样本集对预设模型训练后得到的；所述目标样本集的每个目标样本包括两个图像；所述每个目标样本中的两个图像分别为第二摄像头和第三摄像头在同一位置采用相同的拍摄角度、相同的拍摄环境、相同的拍摄参数、针对同一拍摄对象采集的图像，且所述第二摄像头采集的图像的图像质量低于所述第三摄像头采集的图像的图像质量；所述第二摄像头为屏下摄像头。

2.根据权利要求1所述的方法，其特征在于，所述使用图像处理模型处理所述第一图像之前，所述方法还包括：

获取所述目标样本集；

采用所述目标样本集训练所述预设模型，得到所述图像处理模型；

其中，所述目标样本包括：第三图像和第四图像；所述第三图像为所述第二摄像头采集的图像，所述第四图像为所述第三摄像头采集的图像。

3.根据权利要求2所述的方法，其特征在于，所述目标样本集中的每个目标样本均为在不同拍摄条件下采集的样本，其中，所述拍摄条件包括以下至少一项：拍摄对象，拍摄背景，拍摄环境的环境参数，拍摄装备的拍摄参数。

4.根据权利要求2所述的方法，其特征在于，所述采用所述目标样本集训练所述预设模型之前，所述方法还包括：

采用基于灰度的图像匹配算法，对所述第三图像和所述第四图像进行匹配，得到匹配后的第三图像和第四图像，所述匹配后的第三图像和第四图像的像素对应。

5.根据权利要求4所述的方法，其特征在于，所述采用基于灰度的图像匹配算法，对所述第三图像和所述第四图像进行匹配，得到匹配后的第三图像和第四图像，包括：

将所述第三图像中预设区域的图像与所述第四图像进行匹配，得到匹配后的第三图像和第四图像；

或者，

将所述第四图像中预设区域的图像与所述第三图像进行匹配，得到匹配后的第三图像和第四图像；

其中，所述预设区域的大小为：在所述第三图像或所述第四图像的图像大小的基础上，边缘减少预设数量像素之后的图像大小。

6.根据权利要求2至5中任一项所述的方法，其特征在于，所述获取所述目标样本集，包括：

将所述第三图像分割为M个第三子图像，并将所述第四图像分割为M个第四子图像；所述M个第三子图像与所述M个第四子图像一一对应；

将所述M个第三子图像中的目标第三子图像，以及所述M个第四子图像中与所述目标第三子图像对应的第四子图像作为所述目标样本集中的一个样本，得到所述目标样本集。

7.一种图像处理装置，其特征在于，所述装置包括：采集模块和处理模块；

所述采集模块，用于通过第一摄像头采集第一图像，所述第一摄像头为屏下摄像头；

所述处理模块，用于使用图像处理模型处理所述采集模块采集的第一图像，得到第二图像，所述第二图像的图像质量高于所述第一图像的图像质量；

其中，所述图像处理模型为采用目标样本集对预设模型训练后得到的；所述目标样本集的每个目标样本包括两个图像；所述每个目标样本中的两个图像分别为第二摄像头和第三摄像头在同一位置采用相同的拍摄角度、相同的拍摄环境、相同的拍摄参数、针对同一拍摄对象采集的图像，且所述第二摄像头采集的图像的图像质量低于所述第三摄像头采集的图像的图像质量；所述第二摄像头为屏下摄像头。

8.一种拍摄支架，其特征在于，包括：支架、与所述支架连接的滑轨，以及设置在所述滑轨上的第一俯仰台和第二俯仰台，所述第一俯仰台用于支撑第一摄像头，所述第二俯仰台用于支撑第二摄像头；所述第一摄像头用于采集第一目标图像；所述第二摄像头用于采集第二目标图像；

其中，所述第一目标图像和所述第二目标图像为：所述第一摄像头和第二摄像头在同一位置采用相同的拍摄角度、相同的拍摄环境、相同的拍摄参数、针对同一拍摄对象采集的图像；所述第一目标图像和所述第二目标图像为目标样本集中的一个样本，所述目标样本集用于训练预设模型。

9.一种电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1至6中任一项所述的图像处理方法的步骤。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1至6中任一项所述的图像处理方法的步骤。

Images