CN114363521B - 图像处理方法、装置及电子设备 - Google Patents

Abstract

本申请公开了一种图像处理方法及装置、电子设备，属于图像处理技术领域。该方法包括：基于第一图像的图像内容拍摄得到第二图像，其中，所述第二图像的背景图像与所述第一图像的背景图像的匹配度大于预设阈值，所述第一图像包括第一图像区域和第二图像区域，所述第二图像包括第三图像区域，所述第三图像区域为与所述第二图像区域对应的区域；基于所述第一图像区域的图像内容和所述第三图像区域的图像内容，生成目标图像。

Description

图像处理方法、装置及电子设备

技术领域

本申请属于图像处理技术领域，具体涉及一种图像处理方法、装置及电子设备。

背景技术

在日常生活中，经常会遇到一些需要拍照的场景，这时终端用户可以使用终端设备的拍照功能进行拍照。在一些场景下进行拍照时，周围可能人来人往，造成拍摄得到的照片中出现了多余的人物。

为了避免照片中出现多余的人物，相关技术中可以使用专业的图像处理软件对拍摄得到的照片进行处理，以去除多余的人物。

但上述解决方式操作复杂，且会造成照片一定程度的失真。

发明内容

本申请实施例的目的是提供一种图像处理方法、装置及电子设备，能够解决相关技术中在去除照片中多余的对象时，操作复杂，且得到的照片具有一定程度失真的问题。

第一方面，本申请实施例提供了一种图像处理方法，该方法包括：

基于第一图像的图像内容拍摄得到第二图像，其中，所述第二图像的背景图像与所述第一图像的背景图像的匹配度大于预设阈值，所述第一图像包括第一图像区域和第二图像区域，所述第二图像包括第三图像区域，所述第三图像区域为与所述第二图像区域对应的区域；

基于所述第一图像区域的图像内容和所述第三图像区域的图像内容，生成目标图像。

第二方面，本申请实施例提供了一种图像处理装置，该装置包括：

拍摄模块，用于基于第一图像的图像内容拍摄得到第二图像，其中，所述第二图像的背景图像与所述第一图像的背景图像的匹配度大于预设阈值，所述第一图像包括第一图像区域和第二图像区域，所述第二图像包括第三图像区域，所述第三图像区域为与所述第二图像区域对应的区域；

生成模块，用于基于所述第一图像区域的图像内容和所述第三图像区域的图像内容，生成目标图像。

第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。

第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。

第六方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的方法。

本申请实施例中，基于第一图像的图像内容拍摄得到第二图像，将第二图像作为第一图像进行图像处理时的参考图像。从而在第一图像的第二图像区域中存在多余对象时，利用参考图像中对应第二图像区域的第三图像区域的图像内容对多余对象进行处理，得到不存在多余对象的目标图像。本申请实施例无需采用专业的图像处理软件，操作简单。且由于参考图像的背景图像与第一图像的背景图像的匹配度大于预设阈值，使得目标图像可以更好地保留背景图像的真实性，并且保证目标图像中的图像内容具有良好的一致性。

附图说明

图1是本申请实施例提供的图像处理方法的步骤流程图；

图2是本申请实施例为用户标记第一目标区域的展示示意图之一；

图3是本申请实施例为用户标记第一目标区域的展示示意图之二；

图4是本申请实施例为目标界面的展示示意图之一；

图5是本申请实施例为目标界面的展示示意图之二；

图6是本申请实施例第一标识的展示示意图；

图7是本申请实施例第一图像各圆心连线的展示示意图；

图8是本申请实施例拍摄预览图像各圆心连线的展示示意图；

图9是本申请实施例显示拍摄预览图像的展示示意图；

图10是本申请实施例覆盖第二图像前后效果的展示示意图；

图11是本申请实施例提供的第一图像的示意图；

图12是本申请实施例提供的第二图像的示意图；

图13是本申请实施例叠加显示第一图像和第二图像的展示示意图；

图14是本申请实施例可覆盖区域展示示意图；

图15是本申请实施例为删除三角形及正方形后的处理结果展示示意图；

图16是本申请实施例为预览效果展示示意图；

图17是本申请实施例提供的图像处理装置的结构框图；

图18是本申请实施例提供的电子设备的硬件结构示意图之一；

图19是本申请实施例提供的电子设备的硬件结构示意图之二。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的图像处理方法进行详细地说明。

如图1所示，为本申请实施例提供的图像处理方法，该图像处理方法包括：

步骤101：基于第一图像的图像内容拍摄得到第二图像。

本步骤中，第二图像的背景图像与第一图像的背景图像的匹配度大于预设阈值。其中，预设阈值可以为预先设置的一数值较大的阈值。在第二图像的背景图像与第一图像的背景图像的匹配度大于预设阈值的情况下，可以视为第一图像和第二图像的背景图像极其相似或完全相同。即用户在同一拍摄位置，且使用同一拍摄设备以同一拍摄角度拍摄的两张图片。例如，用户A在一旅游景点的建筑前给用户B拍照时，该建筑前可能会有其他路人，从而拍摄得到的图像(第一图像)中既包括用户B，也包括误入镜头的路人。当路人和用户B离开该建筑后，用户A在同一拍摄位置采用相同的拍摄角度再次进行拍摄得到又一图像。由于是在同一拍摄位置，且采用了相同的拍摄角度再次进行拍摄，从而再次拍摄得到的图像的背景图像与前一次拍摄得到的图像的背景图像的匹配度较高。在两者的匹配度高于预设阈值的情况下，将再次拍摄得到的图像作为第二图像。

第一图像包括第一图像区域和第二图像区域，第二图像包括第三图像区域，第三图像区域为与第二图像区域对应的区域。可以理解的是，对于具有相同或相似背景的两个图像，拍摄相同对象得到的图像内容各自所属的图像区域为相对应的图像区域。例如第一图像的背景图像为一间教室，该教室的讲台的桌子上放置有一黑板擦；第二图像的背景图像为同一间教室，且该教室的讲台的桌子上放置有一黑板擦；则第一图像中黑板擦所属区域与第二图像中黑板擦所属区域相对应。

步骤102：基于第一图像区域的图像内容和第三图像区域的图像内容，生成目标图像。

本步骤中，目标图像包括第一图像区域的图像内容和第三图像区域的图像内容。具体的，可以裁剪第三图像区域的图像内容，将第三图像区域的图像内容覆盖或替换到第一图像的第二图像区域，但不限于此。在第一图像的第二图像区域的图像内容包括多余事物，且第二图像的第三图像区域的图像内容不包括多余事物的情况下，通过上述处理得到的目标图像可以实现去除第一图像中多余事物的目的。其中，该多余事物可以包括但不限于人、动物和物品中的至少一种。

本申请实施例中，基于第一图像的图像内容拍摄得到第二图像，将第二图像作为第一图像进行图像处理时的参考图像。从而在第一图像的第二图像区域中存在多余对象时，利用参考图像中对应第二图像区域的第三图像区域的图像内容对多余对象进行处理，得到不存在多余对象的目标图像。本申请实施例无需采用专业的图像处理软件，操作简单。且由于参考图像的背景图像与第一图像的背景图像的匹配度大于预设阈值，使得目标图像可以更好地保留背景图像的真实性，并且保证目标图像中的图像内容具有良好的一致性。

作为一种可选实施例，第一图像和第二图像的像素相同，以避免最后合成的目标图像中出现像素不一致的问题。较佳地，可以默认以最高像素进行第一图像和第二图像的拍摄，像素越高，图像越清晰。

作为一种可选实施例，在上述步骤101：基于第一图像的图像内容拍摄得到第二图像之前，该方法还包括：

在显示第一图像的情况下，接收用户的第一输入；

本步骤中，第一输入可以为点击、滑动、长按等操作，但不限于此。

响应于第一输入，标记第二图像区域。

本步骤中，第二图像区域为基于用户的第一输入在第一图像中确定的图像区域。在确定第二图像区域之后，可以采用任意标记方式对第二图像区域进行标记，以区分第一图像中的第二图像区域与其它图像区域。可以理解的是，用户可以根据需求多次进行第一输入，从而标记多个不同的第二图像区域。

本申请实施例中，可以基于用户的第一输入，将第二图像区域在第一图像中的位置标记出来，便于用户直观的查看第二图像区域中的图像内容。

作为一种可选实施例，接收用户的第一输入，包括：

接收用户在第一图像上由第一位置滑动至第二位置的滑动操作。

本步骤中，每一滑动操作对应一条滑动轨迹，第一位置即为滑动轨迹的起始位置，第二位置即为滑动轨迹的终止位置。这里，用户可以根据需求，多次进行滑动操作，从而生成多条滑动轨迹。

响应于第一输入，标记第二图像区域，包括：

响应于滑动操作，显示目标选择框，并将目标选择框选中的框选区域确定为第二图像区域，其中，第一位置和第二位置均位于目标选择框的边界上。

本步骤中，目标选择框随着滑动操作进行大小的调整，在滑动操作结束之后，目标选择框不再发生变化。例如，目标选择框可以为矩形选择框，滑动操作结束后，目标选择框为第一位置和第二位置之间的矩形选择框，并且第一位置和第二位置为矩形选择框相对的两个角。因此，用户根据自己的需求进行相应的滑动操作即可选择目标选择框选中的框选区域。当然目标选择框的形状并不限于矩形，还可以为圆形、椭圆形等。

应当说明的是，用户可以通过对第一图像进行滑动操作，来选择想要去除的多余对象。具体的，第一图像拍摄完成后，可以进入对象消除编辑界面，此时后台复制一份第一图像，将其显示于对象消除编辑界面上，供用户进行编辑。用户可以单击第一图像，将单击位置确定为第二图像区域的一个基准点，该基准点也就是第一位置。然后在第一个基准点的基础上，根据需要在第一图像上进行滑动操作，随着滑动操作的进行显示出一选择框，该选择框可以随着滑动操作而变大或变小。当滑动操作停止且取消对第一图像的触控操作时，将滑动操作终止的位置(即第二位置)，确定为第二个基准点，最后，基于两个基准点则可以确定出第二图像区域。如图2所示，为用户标记第一目标区域的展示示意图，其中，用户可以通过手指触摸第一图像内容21左上方的空白位置，按住并向第一图像内容21的右下方空白位置滑动，当滑动至第一图像内容21的右下方空白位置后松开手指，将显示图3所示内容，第一图像内容21被目标选择框22选中。

本申请实施例中，基于用户在第一图像上进行滑动操作，确定以及标记第二图像区域，从而可以在第一图像中精准的标记出多余对象。

作为一种可选实施例，接收用户的第一输入，包括：

接收用户对目标界面上的目标选择控件的第一输入，其中，目标界面显示有第一图像以及至少一个选择控件，每一选择控件对应第一图像中图像内容的一种类型，目标选择控件为至少一个选择控件中的一个；

相应的，响应于第一输入，标记第二图像区域，包括：

响应于第一输入，显示框选目标选择控件对应类型的图像内容的目标选择框，并将目标选择框选中的框选区域确定为第二图像区域。

应当说明的是，第一图像中的图像内容通常涉及多种不同类型，例如人物类型、动物类型、物品类型、车辆类型等。为快速选择同一类型下的多个不同图像内容，这里，将显示多个选择控件，预先设置基于选择控件识别并框框图像中相应类型的图像内容的目标算法。这样，当用户选择某一选择控件作为目标选择控件之后，将利用目标算法识别并框选目标选择控件目标选择控件对应类型的图像内容。如图4所示，目标界面上显示有第一选择控件41、第二选择控件42、第三选择控件43，当用户对第三选择控件43进行第一输入时，将第三选择控件43作为目标选择控件，对第一图像进行识别，框选车辆类型的图像内容，即在每一车辆类型的图像内容外围显示一目标选择框。其中，识别支持的类型和选择原理基于图像识别库及其算法，这里不再详述。可以理解的是，在第一图像中存在已被目标选择框选中的区域时，将对第一图像中未被选择的区域进行识别。继续参见图4，在用户选择第三选择控件43之前，存在三个被选中的第二图像区域，当用户对第三选择控件43进行第一输入之后，显示内容如图5所示，在框选第一图像内容51所属的第二图像区域、框选第二图像内容52所属的第二图像区域以及框选第三图像内容53所属的第二图像区域的基础上，增加了一个框选汽车54的第二图像区域。较佳地，选择控件可以包含显示状态和隐藏状态，通过图4中的自动控件44可以实现选择控件在不同状态之间的切换。

本申请实施例中，基于用户对选择控件的输入，可以快速确定并标记第一图像中的第二图像区域，提升处理速度。

作为一种可选实施例，在接收用户的第一输入之后，该方法还包括：

响应于第一输入，显示第一标识，第一标识用于指示第二图像区域；

本步骤中，第一标识可以为数字、字母或者特殊符号。较佳地，在第二图像区域的数量为至少两个的情况下，第一标识的数量与第二图像区域的数量相等，每个第二图像区域显示有一不同的数字，且指示第二图像区域的第一标识为同样的数字。在采用选择框标记第二图像区域，且第二图像区域的数量为3个的情况下，如图6所示，第一选择框61标记的第二图像区域中显示有一个标号“1”，第二目标选择框62标记的第二图像区域中显示有一个标号“2”，第三目标选择框63标记的第二图像区域中显示有一个标号“3”；并且在第一图像的右上角显示有标号为“1”的第一标号64，标号为“2”的第二标号65，标号为“3”的第三标号66，其中，第一标号64、第二标号65以及第三标号66均为第一标识，第一标号64用于指示第一选择框61标记的第二图像区域，第二标号65用于指示第二选择框62标记的第二图像区域，第三标号66用于指示第三选择框63标记的第二图像区域。较佳地，不同的第二图像区域可以采用不同颜色的选择框以做区别。

接收用户对第一标识的第二输入；

响应于第二输入，取消标记第二图像区域。

本步骤中，在对第一标识进行第二输入之后，可以将第一标识指示的第二图像区域划归为第一图像区域。也就是说过，将被取消标记的第二图像区域视为第一图像区域。第二输入可以为点击、滑动、长按等操作。继续参见图6，在对第一标号64所代表的第一标号进行第二输入之后，将取消显示第一选择框61，并将第一选择框61所属的区域划归到第一图像区域中。

当然，在通过选择框标记第二图像区域的情况下，第一标识还可以为控制选择框的工作状态进行切换的控件。其中，选择框的工作状态包括编辑状态和非编辑状态，非编辑状态下，选择框无法被编辑；编辑状态下选择框可以被编辑。响应于第二输入，取消标记第二图像区域，具体包括：将第一标识对应的选择框的工作状态调整为编辑状态，在接收到用户对编辑状态的选择框的编辑操作的情况下，取消第一标识对应的选择框。在编辑操作移动操作的情况下，还可以调整选择框的尺寸。具体的，用户可以通过点击右上角的第一标识选择对应的选择框再度编辑。

本申请实施例中，可以在用户错误标记第二图像区域之后，基于用户的第二输入，取消对第二图像区域的标记，以保证第二图像区域的准确性。

作为一种可选实施例，在基于第一图像的图像内容拍摄得到第二图像之前，该方法还包括：

接收用户对第一图像的第三输入；

响应于第三输入，确定图像匹配区域。

应当说明的是，第三输入可以为点击、滑动、长按等操作，但不限于此。图像匹配区域为第三输入指示的第一图像中的至少两个不同的图像区域。这里，图像匹配区域用于确定第一图像的背景图像和第二图像的背景图像的匹配度。

本申请实施例中，可以基于用户的第三输入，选择用于确定第一图像的背景图像和第二图像的背景图像的匹配度的图像匹配区域，在提升操作性的同时，可以降低后台计算匹配度的复杂程度。

作为一种可选实施例，在确定图像匹配区域之后，该方法还包括：

显示拍摄预览界面，拍摄预览界面中包括拍摄预览图像和第一参数，第一参数用于指示拍摄预览图像的背景图像与第一图像的背景图像的匹配度，第一参数是基于图像匹配区域得到的。

应当说明的是，第一参数的数值越大，则拍摄预览图像的背景图像与第一图像的背景图像的匹配度越高。其中，第一参数可以为匹配度本身，也可以为与匹配度具有关联关系的其他参数。可以理解的是，这里将图像匹配区域与拍摄预览图像中对应图像匹配区域的图像区域的匹配情况，视为第一图像和拍摄预览图像的背景图像的匹配情况。较佳地，可以每隔预设时长拍摄至少两张备选图像。将其中的背景图像与第一图像的背景图像的匹配度最高的备选图像显示在拍摄预览界面中。其中，预设时长可以根据需求自行设定，例如可以为1秒钟，但不限于此。这里，拍摄得到的备选图像先在电子设备中进行存储。

本申请实施例中，可以将指示拍摄预览图像的背景图像与第一图像的背景图像的匹配度的第一参数直接显示在拍摄预览界面中，从而便于直观的看到当前拍摄的图像与第一图像的背景图像之间的匹配度，从而帮助用户快速拍摄得到第二图像。

作为一种可选实施例，计算得到第一参数的步骤，可以包括：

计算图像匹配区域与拍摄预览图像中对应图像匹配区域的图像区域的像素相似度以及相对位置相似度；

应当说明的是，像素相似度的计算过程中，可以将像素数据转换为直方图数据，然后通过直方图数据计算匹配区域之间的相似度，但不限于此。针对相对位置相似度，在图像匹配区域的数量大于或等于3个的情况下，可以利用角度确定。例如图7和图8所示，在通过用户点击确定每一图像匹配区域时，以点击位置为圆心(第一圆心1、第二圆心2、第三圆心3、第四圆心4)，保存直径为1厘米的像素数据，并记录各圆心连线形成的四边形71的各个角的度数(S214、S123、S234、S342)。相应的，拍摄预览图像的对应图像匹配区域的图像区域中的各圆心(第一圆心1、第二圆心2、第三圆心3、第四圆心4)连线形成的四边形81的各个角的度数(N214、N123、N234、N342)，利用像素数据计算像素相似度，利用夹角度数计算相对位置相似度。其中计算相对位置相似度时，相对位置相似度＝1-(|(S123+S234)-(N123+N234)|)/(S123+S423)×100％。

将像素相似度以及相对位置相似度的均值确定为第一参数。

本申请实施例中，将直接表征图像相似情况的像素相似度以及相对位置相似度的均值作为第一参数，使得第一参数可以更加准确的表征图像的相似情况。

作为一种可选实施例，拍摄预览界面中还包括第二参数和第三参数，第二参数用于指示拍摄预览图像与第一图像的拍摄角度匹配度，第三参数用于指示拍摄预览图像相对于第一图像的拍摄还原度，且第三参数是基于第二参数和第一参数得到的。

应当说明的是，电子设备上设置有水平仪，确定第二参数的步骤，可以包括：基于拍摄第一图像和拍摄预览图像时水平仪的测量角度，得到拍摄角度的还原数值；将拍摄角度的还原数值确定为第二参数。具体的，还原数值＝(1-|第一图像拍摄时水平仪的测量角度-拍摄预览图像拍摄时水平仪的测量角度|/90)×100％。若还原数值为100％，说明第一照片拍摄时水平仪的测量角度等于拍摄预览图像拍摄时水平仪的测量角度，这里将该测量角度视为拍摄角度，则两张图像的拍摄角度相同，拍摄预览图像与第一图像的拍摄角度匹配度较高。

可以理解的是，第三参数等于第一参数和第二参数的乘积，从而可以将第一参数和第二参数的情况集中体现在一起。如图9所示，为拍摄预览界面的示意图。其中，水平角度91即为第二参数，背景匹配92即为第一参数，还原度93即为第三参数。

本申请实施例中，通过在拍摄预览界面中显示第一参数、第二参数以及第三参数，可以从不同维度展示拍摄预览图像与第一图像的匹配情况。

作为一种可选实施例，在基于第一图像的图像内容拍摄得到第二图像之后，该方法还包括：

在第一图像上显示第二图像，第三图像区域的显示位置与第二图像区域对应，且第三图像区域的显示透明度小于第二图像的第四图像区域的显示透明度。

应当说明的是，第三图像区域的显示透明度可以为一较低的数值，使其近乎不会透明，例如第三图像区域的显示透明度可以为0％，但不限于此。第二图像的第四图像区域为第二图像中除第三图像区域之外的图像区域，其中第四图像区域的显示透明度可以为一较高的数值，使其近乎透明，例如第四图像区域的显示透明度可以为20％。如图10所示，第一显示界面1001显示有未覆盖第二图像的第一图像，其中，第二图像区域1002包括三个不同的图像区域。第二显示界面1003显示有覆盖有第二图像的第一图像，其中，第三图像区域1004的显示透明度为0％，第四图像区域1005的显示透明度为20％。

本申请实施例中，在第二图像覆盖到第一图像上之后，将不同图像区域设置为不同的显示透明度，从而便于用户查看两个图像融合为目标图像的具体情况。

作为一种可选实施例，在第一图像上显示第二图像之后，该方法还包括：

接收用户对第二图像的第四输入；

响应于第四输入，更新第三图像区域的显示位置。

应当说明的是，第四输入可以为点击、滑动、长按等操作，但不限于此。这里也可以接收用户对第三图像区域的第四输入，进而更新第三图像区域的显示位置。可以理解的是，在将第二图像显示在第一图像上之后，两个图像可能存在未对齐的情况，此时可以采用自动对齐的方式将两个图像进行对齐。当然也可以由用户手动对齐，即用户可以拖动第二图像，从而改变其在第一图像上的显示位置，直至将两个图像对齐之后即可。这里，两个图像的对齐情况也可以视为第二图像区域与第三图像区域的对齐情况，将两个图像对齐，即为将第二图像区域与第三图像区域对齐。

本申请实施例中，通过用户的第四输入，可以改变第三图像区域的显示位置，从而在第三图像区域与第二图像区域未对齐的情况下，由用户手动操作将两部分图像区域对齐，以提升目标图像的一致性。

作为一种可选实施例，在第一图像上显示第二图像之后，该方法还包括：

接收用户的第五输入；

响应于第五输入，显示第一目标预览图像。

应当说明的是，第五输入可以为点击、滑动、长按等操作，但不限于此。第一目标预览图像为目标图像的预览图像，即第一目标预览图像的图像内容与目标图像的图像内容相同。

本申请实施例中，通过显示第一目标预览图像，可以让用户提前对目标图像进行预览，从而在目标图像不符合用户需求的情况下，方便用户及时对目标图像进行调整。

作为一种可选实施例，该方法还包括：

显示第二标识和第三标识，第二标识用于指示第二图像区域，第三标识用于指示第三图像区域；

接收用户对目标标识的第六输入；

响应于第六输入，显示第二目标预览图像；

其中，目标标识包括以下任意一项：第二标识、第三标识。

应当说明的是，第一图像和第二图像的主要区别集中在第二图像区域以及第三图像区域，因此，这里可以将第二图像区域和第三图像区域叠加显示在一起，并提供相应的标识，以供用户对相应的图像区域进行操作。当目标标识为第二标识的情况下，将在目标图像中保留第三图像区域的图像内容。当目标标识为第三标识的情况下，将在目标图像中保留第二图像区域的图像内容。第二目标预览图像为目标图像的预览图像。具体的，在第一图像的展示示意图如图11所示，第二图像的展示示意图如图12所示的情况下，第一图像区域1101内包含有直角三角形和星形，第二图像区域1102内包含有心形和正方形。第三图像区域1201内包含有等边三角形和信息形，第四图像区域1202内包含有直角三角形和星形。叠加显示第一图像和第二图像的情况如图13所示，顶部有三个标签页，全部1301、新照片1302、源照片1303。底部有继续拍摄1304、预览1305、还原1306、结束1307四个控件。点击全部1301会显示第一图像以及第二图像的可相互覆盖区域。在不同区域旁边会有错开显示的删除标识，点击删除标识可以删除对应区域。其中，计算可相互覆盖区域算法的原理为两个图像对齐后，将第二图像从左至右从上至下分割成N个小正方形块，然后通过图形相似算法依次计算相似度，取差值大的区域作为可覆盖区域，所有方块的相似度计算完毕后，再将相邻的可覆盖区域合并成一块。然后对该区域再进行分割、计算、合并区域的处理，得出更小的可覆盖区域。如此反复多次计算后得出最小的可覆盖区域。如图14所示，得到最小的可覆盖区域1401。如图15所示，为删除等边三角形及正方形后的第二目标预览图像，第二目标预览图像在目标区域1501，显示保留的心形和信息形。

点击新照片1302、源照片1303会显示相应的图像，目的是让用户随时查看处理前的第一图像、第二图像。点击还原1306会回到处理前的结果。

点击预览1305可以进行图片处理后的预览结果。如图16所示为预览效果展示，其中包括直角三角形1601、星形1602、心形1603、信息形1604。

本申请实施例中，通过用户简单的操作，即可实现对第二图像区域和第三图像区域的操作，为用户提供了更大的便利性。

可选地，在本申请的又一实施例中为方便用户操作，将涉及用户操作的处理过程设置为不同的模式，这样用户可以在不同模式下进行操作。并且通过显示界面上的“下一步”控件，切换至下一模式。具体的，拍摄得到第一图像之后，进入框选编辑界面，此时后台复制一份第一图像显示在界面上供用户进行编辑。拍摄第一图像时默认最高像素，后台保存第一图像，并记录拍摄第一图像时的水平仪度数。用户框选完毕后，点击下一步进入取景匹配模式。由于用户框选区域的时候，可能会离开第一图像拍摄的地点，或者再次举起拍摄的角度不同，取景匹配模式目的是修正用户拍摄地点及角度。用户需要依次点击第一图像的四个标志明显的地方，用来匹配参考图像或备选图像。取景匹配模式点击下一步进入摄图模式。摄图模式界面会显示三个参数，水平角度匹配百分比，背景匹配百分比，还原度百分比，这里不再详述。摄图模式下，后台每秒自动拍摄3张备选图像进行分析。并在屏幕上显示还原度最高的备选图像作为参考图像。摄图模式下，点击下一步后进入消除模式，此时第一图像上不可编辑。界面显示第一图像和用户框选区域，在上方显示消除进度，下方显示预览、开始消除按钮，左上角显示摄图时的总匹配百分比。参考图像可以以20％的透明度覆盖在源图像上，位置由系统自动校正或用户手动校正，参考图像在用户框选的第二图像区域上则以0％透明度展示。消除模式可以同时消除多个框选区域。点击预览按钮可以预览消除后的照片，即目标图像。

这里，消除模式下点击开始，后台就会进行照片处理。根据当前参考图像覆盖第一图像的位置，将参考图像对应第一图像框选的区域截取下来，覆盖第一图像选中的区域。用户根据还原的结果可以选择还原或者继续取景摄图，也可以直接结束。选择还原则从框选编辑模式开始重新操作。继续取景摄图则保留当前处理结果并且回到摄图模式，同时右上角显示前一操作记录图像替换前后对比。选择结束则完成图像编辑并保存消除后的图像进入相册，最后系统自动清理整个操作过程中产生的多余图像。

作为一种可选实施例，在第一图像中的目标对象满足预设条件的情况下，将目标对象所在的图像区域标记为第二图像区域。

应当说明的是，目标对象为第一图像中的某一对象，且该对象在第二图像中没有对应的图像内容。也就是说，在识别到第一图像中存在某一个或多个目标对象，且第二图像中不存在这个或这些对象时，将这个或这些对象确定为目标对象。

本申请实施例中，基于对第一图像中目标对象的识别，自动标记第二图像内容，从而可以避免人工操作。

可选地，还可以引入AI(人工智能)算法，自动帮助用户实现一些人工步骤。比如用户框选待替换区域和取景匹配标志点。可以通过AI算法自动识别照片拍摄对象和非拍摄对象，摄图模式下根据还原度百分比达标自动拍摄图片进行消除。还可以根据匹配标志点计算参考图像的角度差来最大限度还原源图像的拍照内容，对源图像替换后的色差明暗进行自动补正等。

本申请实施例中，基于AI算法可以更多的减少人工操作，实现自动化进程。

需要说明的是，本申请实施例提供的图像处理方法，执行主体可以为图像处理装置，或者该图像处理装置中的用于执行图像处理方法的控制模块。本申请实施例中以图像处理装置执行图像处理方法为例，说明本申请实施例提供的图像处理装置。

如图17所示，本申请实施例还提供了一种图像处理装置，该装置包括：

拍摄模块1701，用于基于第一图像的图像内容拍摄得到第二图像，其中，第二图像的背景图像与第一图像的背景图像的匹配度大于预设阈值，第一图像包括第一图像区域和第二图像区域，第二图像包括第三图像区域，第三图像区域为与第二图像区域对应的区域；

生成模块1702，用于基于第一图像区域的图像内容和第三图像区域的图像内容，生成目标图像。

可选地，该装置还包括：

第一输入模块，用于在显示第一图像的情况下，接收用户的第一输入；

第一响应模块，用于响应于第一输入，标记第二图像区域。

可选地，该装置还包括：

标记模块，用于在第一图像中的目标对象满足预设条件的情况下，将目标对象所在的图像区域标记为第二图像区域。

可选地，该装置还包括：

第一标识模块，用于响应于第一输入，显示第一标识，第一标识用于指示第二图像区域；

第二输入模块，用于接收用户对第一标识的第二输入；

第二响应模块，用于响应于第二输入，取消标记第二图像区域。

可选地，该装置还包括：

第三输入模块，用于接收用户对第一图像的第三输入；

第三响应模块，用于响应于第三输入，确定图像匹配区域。

可选地，该装置还包括：

第一显示模块，用于显示拍摄预览界面，拍摄预览界面中包括拍摄预览图像和第一参数，第一参数用于指示拍摄预览图像的背景图像与第一图像的背景图像的匹配度，第一参数是基于图像匹配区域得到的。

可选地，拍摄预览界面中还包括第二参数和第三参数，第二参数用于指示拍摄预览图像与第一图像的拍摄角度匹配度，第三参数用于指示拍摄预览图像相对于第一图像的拍摄还原度，且第三参数是基于第二参数和第一参数得到的。

可选地，该装置还包括：

第二显示模块，用于在第一图像上显示第二图像，第三图像区域的显示位置与第二图像区域对应，且第三图像区域的显示透明度小于第二图像的第四图像区域的显示透明度。

可选地，该装置还包括：

第四输入模块，用于接收用户对第二图像的第四输入；

第四响应模块，用于响应于第四输入，更新第三图像区域的显示位置。

可选地，该装置还包括：

第五输入模块，用于接收用户的第五输入；

第五响应模块，用于响应于第五输入，显示第一目标预览图像。

可选地，该装置还包括：

第三显示模块，用于显示第二标识和第三标识，第二标识用于指示第二图像区域，第三标识用于指示第三图像区域；

第六输入模块，用于接收用户对目标标识的第六输入；

第六响应模块，用于响应于第六输入，显示第二目标预览图像；

其中，目标标识包括以下任意一项：第二标识、第三标识。

本申请实施例中，基于第一图像的图像内容拍摄得到第二图像，将第二图像作为第一图像进行图像处理时的参考图像。从而在第一图像的第二图像区域中存在多余对象时，利用参考图像中对应第二图像区域的第三图像区域的图像内容对多余对象进行处理，得到不存在多余对象的目标图像。本申请实施例无需采用专业的图像处理软件，操作简单。且由于参考图像的背景图像与第一图像的背景图像的匹配度大于预设阈值，使得目标图像可以更好地保留背景图像的真实性，并且保证目标图像中的图像内容具有良好的一致性。

本申请实施例中的图像处理装置可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device，MID)、增强现实(augmented reality，AR)/虚拟现实(virtualreality，VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personalcomputer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，还可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personalcomputer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。

本申请实施例中的图像处理装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为iOS操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。

本申请实施例提供的图像处理装置能够实现图1至图16的方法实施例实现的各个过程，实现相同的技术效果，为避免重复，这里不再赘述。

可选地，如图18所示，本申请实施例还提供一种电子设备1800，包括处理器1801和存储器1802，存储器1802上存储有可在所述处理器1801上运行的程序或指令，该程序或指令被处理器1801执行时实现上述图像处理方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。

图19为实现本申请实施例的一种电子设备的硬件结构示意图。

该电子设备1900包括但不限于：射频单元1901、网络模块1902、音频输出单元1903、输入单元1904、传感器1905、显示单元1906、用户输入单元1907、接口单元1908、存储器1909、以及处理器1910等部件。

本领域技术人员可以理解，电子设备1900还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器1910逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图19中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

其中，处理器1910，用于基于第一图像的图像内容拍摄得到第二图像，其中，第二图像的背景图像与第一图像的背景图像的匹配度大于预设阈值，第一图像包括第一图像区域和第二图像区域，第二图像包括第三图像区域，第三图像区域为与第二图像区域对应的区域；

处理器1910，用于基于第一图像区域的图像内容和第三图像区域的图像内容，生成目标图像。

本申请实施例中，基于第一图像的图像内容拍摄得到第二图像，将第二图像作为第一图像进行图像处理时的参考图像。从而在第一图像的第二图像区域中存在多余对象时，利用参考图像中对应第二图像区域的第三图像区域的图像内容对多余对象进行处理，得到不存在多余对象的目标图像。本申请实施例无需采用专业的图像处理软件，操作简单。且由于参考图像的背景图像与第一图像的背景图像的匹配度大于预设阈值，使得目标图像可以更好地保留背景图像的真实性，并且保证目标图像中的图像内容具有良好的一致性。

可选地，用户输入单元1907，用于在显示第一图像的情况下，接收用户的第一输入；

处理器1910，用于响应于第一输入，标记第二图像区域。

本申请实施例中，可以基于用户的第一输入，将第二图像区域在第一图像中的位置标记出来，便于用户直观的查看第二图像区域中的图像内容。

可选地，处理器1910，还用于在第一图像中的目标对象满足预设条件的情况下，将目标对象所在的图像区域标记为第二图像区域。

本申请实施例中，基于对第一图像中目标对象的识别，自动标记第二图像内容，从而可以避免人工操作。

可选地，显示单元1906，还用于响应于第一输入，显示第一标识，第一标识用于指示第二图像区域；

用户输入单元1907，还用于接收用户对第一标识的第二输入；

处理器1910，还用于响应于第二输入，取消标记第二图像区域。

本申请实施例中，可以在用户错误标记第二图像区域之后，基于用户的第二输入，取消对第二图像区域的标记，以保证第二图像区域的准确性。

可选地，用户输入单元1907，还用于接收用户对第一图像的第三输入；

处理器1910，还用于响应于第三输入，确定图像匹配区域。

本申请实施例中，可以基于用户的第三输入，选择用于确定第一图像的背景图像和第二图像的背景图像的匹配度的图像匹配区域，在提升操作性的同时，可以降低后台计算匹配度的复杂程度。

可选地，显示单元1906，还用于显示拍摄预览界面，拍摄预览界面中包括拍摄预览图像和第一参数，第一参数用于指示拍摄预览图像的背景图像与第一图像的背景图像的匹配度，第一参数是基于图像匹配区域得到的。

本申请实施例中，可以将指示拍摄预览图像的背景图像与第一图像的背景图像的匹配度的第一参数直接显示在拍摄预览界面中，从而便于直观的看到当前拍摄的图像与第一图像的背景图像之间的匹配度，从而帮助用户快速拍摄得到第二图像。

可选地，拍摄预览界面中还包括第二参数和第三参数，第二参数用于指示拍摄预览图像与第一图像的拍摄角度匹配度，第三参数用于指示拍摄预览图像相对于第一图像的拍摄还原度，且第三参数是基于第二参数和第一参数得到的。

本申请实施例中，通过在拍摄预览界面中显示第一参数、第二参数以及第三参数，可以从不同维度展示拍摄预览图像与第一图像的匹配情况。

可选地，显示单元1906，还用于在第一图像上显示第二图像，第三图像区域的显示位置与第二图像区域对应，且第三图像区域的显示透明度小于第二图像的第四图像区域的显示透明度。

本申请实施例中，在第二图像覆盖到第一图像上之后，将不同图像区域设置为不同的显示透明度，从而便于用户查看两个图像融合为目标图像的具体情况。

可选地，用户输入单元1907，还用于接收用户对第二图像的第四输入；

处理器1910，还用于响应于第四输入，更新第三图像区域的显示位置。

本申请实施例中，通过用户的第四输入，可以改变第三图像区域的显示位置，从而在第三图像区域与第二图像区域未对齐的情况下，由用户手动操作将两部分图像区域对齐，以提升目标图像的一致性。

可选地，用户输入单元1907，还用于接收用户的第五输入；

显示单元1906，还用于响应于第五输入，显示第一目标预览图像。

本申请实施例中，通过显示第一目标预览图像，可以让用户提前对目标图像进行预览，从而在目标图像不符合用户需求的情况下，方便用户及时对目标图像进行调整。

可选地，显示单元1906，还用于显示第二标识和第三标识，第二标识用于指示第二图像区域，第三标识用于指示第三图像区域；

用户输入单元1907，还用于接收用户对目标标识的第六输入；

显示单元1906，还用于响应于第六输入，显示第二目标预览图像；

其中，目标标识包括以下任意一项：第二标识、第三标识。

本申请实施例中，通过用户简单的操作，即可实现对第二图像区域和第三图像区域的操作，为用户提供了更大的便利性。

应理解的是，本申请实施例中，输入单元1904可以包括图形处理器(GraphicsProcessing Unit，GPU)19041和麦克风19042，图形处理器19041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元1906可包括显示面板19061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板19061。用户输入单元1907包括触控面板19071以及其他输入设备19072中的至少一种。触控面板19071，也称为触摸屏。触控面板19071可包括触摸检测装置和触摸控制器两个部分。其他输入设备19072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。

存储器1909可用于存储软件程序以及各种数据。存储器1909可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器1909可以包括易失性存储器或非易失性存储器，或者，存储器x09可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本申请实施例中的存储器1909包括但不限于这些和任意其它适合类型的存储器。

处理器1910可包括一个或多个处理单元；可选地，处理器1910集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器1910中。

本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。

本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (11)

1.一种图像处理方法，其特征在于，所述方法包括：

基于第一图像的图像内容拍摄得到第二图像，其中，所述第二图像的背景图像与所述第一图像的背景图像的匹配度大于预设阈值，所述第一图像包括第一图像区域和第二图像区域，所述第二图像包括第三图像区域，所述第三图像区域为与所述第二图像区域对应的区域；

基于所述第一图像区域的图像内容和所述第三图像区域的图像内容，生成目标图像；

所述基于第一图像的图像内容拍摄得到第二图像之前，所述方法还包括：

在显示第一图像的情况下，接收用户的第一输入；

响应于所述第一输入，标记第二图像区域。

2.根据权利要求1所述的图像处理方法，其特征在于，所述接收用户的第一输入之后，所述方法还包括：

响应于所述第一输入，显示第一标识，所述第一标识用于指示所述第二图像区域；

接收用户对所述第一标识的第二输入；

响应于所述第二输入，取消标记所述第二图像区域。

3.根据权利要求1所述的图像处理方法，其特征在于，所述基于第一图像的图像内容拍摄得到第二图像之前，所述方法还包括：

接收用户对所述第一图像的第三输入；

响应于所述第三输入，确定图像匹配区域。

4.根据权利要求3所述的图像处理方法，其特征在于，所述确定图像匹配区域之后，所述方法还包括：

显示拍摄预览界面，所述拍摄预览界面中包括拍摄预览图像和第一参数，所述第一参数用于指示所述拍摄预览图像的背景图像与所述第一图像的背景图像的匹配度，所述第一参数是基于所述图像匹配区域得到的。

5.根据权利要求4所述的图像处理方法，其特征在于，所述拍摄预览界面中还包括第二参数和第三参数，所述第二参数用于指示所述拍摄预览图像与所述第一图像的拍摄角度匹配度，所述第三参数用于指示所述拍摄预览图像相对于所述第一图像的拍摄还原度，且所述第三参数是基于所述第二参数和所述第一参数得到的。

6.根据权利要求1所述的图像处理方法，其特征在于，所述基于第一图像的图像内容拍摄得到第二图像之后，所述方法还包括：

在所述第一图像上显示所述第二图像，所述第三图像区域的显示位置与所述第二图像区域对应，且所述第三图像区域的显示透明度小于所述第二图像的第四图像区域的显示透明度。

7.根据权利要求6所述的图像处理方法，其特征在于，所述在所述第一图像上显示所述第二图像之后，所述方法还包括：

接收用户对所述第二图像的第四输入；

响应于所述第四输入，更新所述第三图像区域的显示位置。

8.根据权利要求6所述的图像处理方法，其特征在于，所述在所述第一图像上显示所述第二图像之后，所述方法还包括：

接收用户的第五输入；

响应于所述第五输入，显示第一目标预览图像。

9.根据权利要求6所述的图像处理方法，其特征在于，所述方法还包括：

显示第二标识和第三标识，所述第二标识用于指示所述第二图像区域，所述第三标识用于指示所述第三图像区域；

接收用户对目标标识的第六输入；

响应于所述第六输入，显示第二目标预览图像；

其中，所述目标标识包括以下任意一项：第二标识、第三标识。

10.一种图像处理装置，其特征在于，所述图像处理装置包括：

拍摄模块，用于基于第一图像的图像内容拍摄得到第二图像，其中，所述第二图像的背景图像与所述第一图像的背景图像的匹配度大于预设阈值，所述第一图像包括第一图像区域和第二图像区域，所述第二图像包括第三图像区域，所述第三图像区域为与所述第二图像区域对应的区域；

生成模块，用于基于所述第一图像区域的图像内容和所述第三图像区域的图像内容，生成目标图像；

所述装置还包括：

第一输入模块，用于在显示第一图像的情况下，接收用户的第一输入；

第一响应模块，用于响应于第一输入，标记第二图像区域。

11.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-9任一项所述的图像处理方法的步骤。