CN111369469B

CN111369469B - 图像处理方法、装置及电子设备

Info

Publication number: CN111369469B
Application number: CN202010161348.4A
Authority: CN
Inventors: 赵仲夏; 孙鑫; 林根; 郭嘉斌
Original assignee: Beijing Aibee Technology Co Ltd
Current assignee: Beijing Aibee Technology Co Ltd
Priority date: 2020-03-10
Filing date: 2020-03-10
Publication date: 2024-01-12
Anticipated expiration: 2040-03-10
Also published as: CN111369469A

Abstract

本申请公开的一种图像处理方法、装置及电子设备，方法包括：获得目标位置上的多帧图像，所述多帧图像对应于同一采集角度；基于所述多帧图像中每帧图像的像素点，分离出每帧所述图像中的背景区域，将所述多帧图像中每帧所述图像的背景区域进行融合，以得到所述目标位置在所述采集角度上的背景图像。可见，区别于人工抹除非背景区域的方案，本申请中通过对多帧图像的像素点进行处理，进而分离出每帧图像的背景区域并由此融合得到背景图像，从而避免人工抹除非背景区域所导致的效率较低的情况，以此达到提高背景图像获取效率的目的。

Description

图像处理方法、装置及电子设备

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像处理方法、装置及电子设备。

背景技术

在原地拍摄图像的过程中，会遇到人流或者移动车辆等物体入镜的情况，而为了保证图像的美观，通常情况下需要将人流或移动车辆等物体进行抹除或者虚化。

但是，抹除或虚化的操作还需要人工进行，导致图像获得的效率较低。

发明内容

有鉴于此，本申请提供一种图像处理方法、装置及电子设备，如下：

一种图像处理方法，所述方法包括：

获得目标位置上的多帧图像，所述多帧图像对应于同一采集角度；

基于所述多帧图像中每帧图像的像素点，分离出每帧所述图像中的背景区域；

将所述多帧图像中每帧所述图像的背景区域进行融合，以得到所述目标位置在所述采集角度上的背景图像。

上述方法，优选的，基于所述多帧图像中每帧图像的像素点，分离出每帧所述图像中的背景区域，包括：

分别针对所述多帧图像中每帧图像的当前像素点，获得所述当前像素点的像素值在像素值集合中的概率值，所述像素值集合中包括：所述多帧图像的每帧图像中与所述当前像素点位置相同的像素点的像素值；

获得每帧图像中所述概率值满足目标条件的目标像素点，所述目标像素点组成其所属图像中的背景区域。

获得所述多帧图像的每帧图像中每个像素点的图像深度；

获得所述图像深度超过深度阈值的目标像素点，所述目标像素点组成其所属的图像中的背景区域。

上述方法，优选的，还包括：

将所述采集角度上的背景图像与其他角度上的背景图像组成所述目标位置上的全景图像。

上述方法，优选的，还包括：

识别所述背景图像中的目标区域，所述目标区域为所述背景图像中的非背景特征区域；

对所述目标区域进行模糊处理。

上述方法，优选的，识别所述背景图像中的目标区域，包括：

利用深度学习算法对所述背景图像中的目标区域进行识别。

上述方法，优选的，将所述多帧图像中每帧所述图像的背景区域进行融合，以得到所述目标位置在所述采集角度上的背景图像，包括：

将所述多帧图像中每帧所述图像的背景区域的像素矩阵相乘，得到融合后的所述目标位置在所述采集角度上的背景图像。

上述方法，优选的，在基于所述多帧图像中每帧图像的像素点，分离出每帧所述图像中的背景区域之前，所述方法还包括：

将所述多帧图像中的每帧图像进行对齐，以使得所述多帧图像中的每帧图像关于图像特征点对齐。

一种图像处理装置，所述装置包括：

图像获得单元，用于获得目标位置上的多帧图像，所述多帧图像对应于同一采集角度；

背景分离单元，用于基于所述多帧图像中每帧图像的像素点，分离出每帧所述图像中的背景区域；

图像融合单元，用于将所述多帧图像中每帧所述图像的背景区域进行融合，以得到所述目标位置在所述采集角度上的背景图像。

上述装置，优选的，所述背景分离单元包括：

第一分离模块，用于分别针对所述多帧图像中每帧图像的当前像素点，获得所述当前像素点的像素值在像素值集合中的概率值，所述像素值集合中包括：所述多帧图像的每帧图像中与所述当前像素点位置相同的像素点的像素值；获得每帧图像中所述概率值满足目标条件的目标像素点，所述目标像素点组成其所属图像中的背景区域；

和/或，

第二分离模块，用于获得所述多帧图像中的每帧图像中每个像素点的图像深度；获得所述图像深度超过深度阈值的目标像素点，所述目标像素点组成其所属的图像中的背景区域。

上述装置，优选的，还包括：

全景获得单元，用于将所述采集角度上的背景图像与其他角度上的背景图像组成所述目标位置上的全景图像。

一种电子设备，包括：

图像采集装置，用于获得目标位置上的多帧图像，所述多帧图像对应于同一采集角度；

处理器，至少用于基于所述多帧图像中每帧图像的像素点，分离出每帧所述图像中的背景区域，并将所述多帧图像中每帧所述图像的背景区域进行融合，以得到所述目标位置在所述采集角度上的背景图像。

从上述技术方案可以看出，本申请公开的一种图像处理方法、装置及电子设备，在获得到目标位置上的多帧图像之后，基于这些多帧图像中每帧图像的像素点，分离出每帧所述图像中的背景区域，而区别于人工抹除非背景区域的方案，本申请中通过对多帧图像的像素点进行处理，进而分离出每帧图像的背景区域并由此融合得到背景图像，从而避免人工抹除非背景区域所导致的效率较低的情况，以此达到提高背景图像获取效率的目的。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例一提供的一种图像处理方法的流程图；

图2为本申请实施例的应用示例图；

图3为本申请实施例一提供的一种图像处理方法的另一流程图；

图4为本申请实施例的另一应用示例图；

图5为本申请实施例一提供的一种图像处理方法的又一流程图；

图6为本申请实施例一提供的一种图像处理方法的又一流程图；

图7为本申请实施例的又一应用示例图；

图8为本申请实施例二提供的一种图像处理装置的结构示意图；

图9为本申请实施例二的部分结构示意图；

图10为本申请实施例三提供的一种电子设备的结构示意图；

图11-图17为本申请适用于VR场景的相关示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

如图1所示，为本申请实施例一提供的一种图像处理方法的实现流程图，该方法可以适用于能够进行图像采集以及图像处理的电子设备中，如手机或pad等设备中。本实施例中的方法主要用于获得图像的背景图像，提高背景图像获取的效率。

具体的，本实施例中的方法可以包括以下步骤：

步骤101：获得目标位置上的多帧图像。

具体实现中，目标位置上的多帧图像可以对应于同一采集角度的多帧图像，进一步的，本实施例中可以在目标位置上对多个采集角度上分别获得多帧图像。例如，本实施例中可以通过配置图像采集装置来获得多帧图像，或者，本实施例中可以通过配置传输接口，从而接收到图像采集装置所采集到的多帧图像。

其中，图像采集装置可以为摄像头等设备，能够采集图像，如图2中所示，本实施例中在需要采集目标位置上的一个采集角度上的图像或者多个采集角度上的全景图像时，可以将图像采集装置固定在目标位置上，进而触发图像采集装置采集一个或多个采集角度上的多帧图像，如左前侧的多帧图像、正前侧的多帧图像、右前侧的多帧图像、右侧的多帧图像、右后侧的多帧图像、后侧的多帧图像、左后侧的多帧图像和左侧的多帧图像。

需要说明的是，每个采集角度上的多帧图像可以理解为每个采集角度上均采集至少两帧图像。

步骤102：基于多帧图像中每帧图像的像素点，分离出每帧图像中的背景区域。

其中，本实施例中可以通过运动物检测算法，对每帧图像中的像素点进行分析，以分离出每帧图像中的背景区域，或者，本实施例中可以对每帧图像中的像素点的图像深度进行分析，以分离出每帧图像中的背景区域。

需要说明的是，本实施例中可以针对同一个采集角度上的多帧图像进行每帧图像的背景区域的分离，也可以对多个采集角度上各自对应的多帧图像分别进行每帧图像的背景区域的分离。而这里每帧图像中的背景区域是指不包含非背景物体如人流或车辆等物体的区域。

进一步的，本实施例中所分离出的背景区域中可能还会存在一些非背景特征区域，例如处于相对静态的人或车辆被分离成背景区域或者远景中的密集人流等物体持续对实际的背景如街道或走廊等进行遮挡，导致所分离出的背景区域中仍然存在这些非背景特征区域，此时，本实施例中可以识别背景区域中的目标区域，即背景区域中的非背景特征区域，再对目标区域进行模糊处理。例如，本实施例中可以利用深度学习算法对每帧图像中的背景区域的目标区域进行识别，所识别出的目标区域中是包含目标物的图像区域的，如人或车辆等非背景特征区域，此时，本实施例中可以利用高斯模糊等方式对目标区域进行模糊处理，以提高背景图像获取的准确率。

基于以上实现，在步骤102之后，单帧图像中的背景区域可能存在图像缺失的情况，因此，为了保障背景图像的完整性，本实施例中还可以包括以下步骤：

步骤103：将多帧图像中每帧图像的背景区域进行融合，以得到目标位置在采集角度上的背景图像。

其中，在多帧图像为属于同一采集角度上的图像时，本实施例中针对这些同一采集角度上的多帧图像，将其中的每帧图像的背景区域进行融合，就可以得到在当前的这个采集角度上的完整的背景图像。例如，将目标位置的正前侧的10帧图像的背景区域进行融合，得到正前侧的背景图像，或者，将目标位置的左后侧的5帧图像的背景区域进行融合，得到左后侧的背景图像，等等。

由上述方案可知，本申请实施例一的一种图像处理方法，在获得到目标位置上的多帧图像之后，基于这些多帧图像中每帧图像的像素点，分离出每帧所述图像中的背景区域，而区别于人工抹除非背景区域的方案，本实施例中通过对多帧图像的像素点进行处理，进而分离出每帧图像的背景区域并由此融合得到背景图像，从而避免人工抹除非背景区域所导致的效率较低的情况，以此达到提高背景图像获取效率的目的。

同时，本实施例中通过对同一采集角度上的多帧图像进行像素点处理，以分离出每帧图像中的背景区域，从而避免人工抹除失败或者人工抹除影响实际背景区域的情况，以此达到提高融合得到的背景图像获取准确率的目的。

基于以上实现，本实施例中可以针对目标位置上的多个采集角度上各自的多帧图像进行采集，并将每个采集角度上对应的多帧图像关于背景区域进行融合，进而得到每个采集角度上对应的完整的背景图像。例如，本实施例中将目标位置正前侧的10帧图像的背景区域进行融合，并将目标位置的左后侧的5帧图像的背景区域进行融合，由此同时得到正前侧的背景图像和左后侧的背景图像，等等。

进一步的，针对目标位置上在多个采集角度上的背景图像，本实施例中还可以包括以下步骤，如图3中所示：

步骤104：将采集角度上的背景图像与其他角度上的背景图像组成目标位置上的全景图像。

也就是说，本实施例中将目标位置上多个采集角度上所融合出的背景图像进行图像组合，以得到在目标位置上的全景图像。

具体的，本实施例中可以在对每个采集角度上均采集多帧图像之后，分离出每帧图像的背景区域，再将同一采集角度上的多帧图像中的背景区域进行融合，即可得到该采集角度上的背景图像，相应的，本实施例中对所有采集角度上的背景图像可以按照图像边缘或图像内容进行组合或拼接，以得到全景图像，如图4中所示，所得到的全景图像为包含左前方、正前方、右前方、右侧、右后侧、后侧、左后侧和左侧的图像。

在一种实现方式中，本实施例中所融合出的背景图像中可能还会存在一些非背景特征区域，例如处于相对静态的人或车辆被分离成背景区域，或者远景中的密集人流等物体，这些物体持续对实际的背景如街道或走廊等进行遮挡，无法被分离，导致所得到的背景图像中仍然存在这些物体。为此，本实施例中为了提高背景图像的准确度，可以在步骤103之后，执行以下步骤，如图5中所示：

步骤105：识别背景图像中的目标区域。

其中，目标区域为背景图像中的非背景特征区域，如人脸区域或车辆区域等。

具体实现中，本实施例中可以利用深度学习算法对每帧图像中的背景区域的目标区域进行识别，所识别出的目标区域中是包含目标物的图像区域的，如人或车辆等非背景特征区域。

步骤106：对目标区域进行模糊处理。

其中，本实施例中可以利用高斯模糊等方式对目标区域进行模糊处理，以提高背景图像获取的准确率。

进一步的，本实施例中可以在得到背景图像或得到背景图像所组成的全景图像之后，将背景图像或全景图像传输，例如，传输到显示器或者用户手机，由此将背景图像或全景图像展示给用户，相应的，还可以提示用户对背景图像或全景图像进行人工确认，如果用户发现仍然存在非背景特征区域，可以手动进行模糊处理，或者用户对背景图像或全景图像进行其他处理。

当然，本实施例中也可以将背景图像或全景图像传输给其他终端，以便进行其他图像处理。

在一种实现方式中，本实施例中所获得的针对同一采集角度的多帧图像可能会因为图像采集装置的抖动等不稳定性因素而存在图像之间有偏差的情况，因此，为了提高图像处理的准确率，本实施例中在步骤101中获得多帧图像之后，在步骤102分离背景区域之前，还可以包括以下步骤，如图6中所示：

步骤107：将多帧图像中的每帧图像进行对齐，以使得多帧图像中的每帧图像关于图像特征点对齐。

其中，对于同一采集角度上所采集到的多帧图像之间可能存在一定的差异，例如，用户在使用手机摄像头站在一个采集角度上进行图像采集时，可能出现抖动的情况，因此，所采集到的多帧图像属于存在差异。

相应的，本实施例中可以使用图像特征点对齐的方法将微抖拍摄的多帧图像进行对齐，而对齐的多帧图像之间是关于图像特征点对齐的，如图7中所示，多帧图像之间属于同一图像特征点如店面招牌的顶点或街道标识等特征点是对齐的。

在一种实现方式中，本实施例中步骤102在分离出每帧所述图像中的背景区域时，可以通过以下方式实现：

分别针对多帧图像中每帧图像的当前像素点，获得当前像素点的像素值在像素值集合中的概率值，这里的像素值集合中包括：所述多帧图像的每帧图像中与所述当前像素点位置相同的像素点的像素值，其中，每帧图像中与所述当前像素点位置相同的像素点，是指：该像素点与当前像素点在各自所属图像上处于同一像素位置或坐标位置，之后，获得每帧图像中概率值满足目标条件的目标像素点，此时的目标像素点组成其所属图像中的背景区域。

其中，目标像素点的概率值是指：目标像素点的像素值在多帧图像中的所有图像在同一位置的像素点上的像素值中的概率。以5帧图像为例，对于每帧图像中的同一位置上的像素点A，第一帧图像中的像素点A的概率是指：第一帧图像的像素点A的像素值X在5帧图像中的5个像素点A的像素值(如X、Y、Z、P和Q)中的概率。

而目标条件是指目标像素点的概率值所满足的条件，目标条件可以为目标像素点的概率值最高，或者目标像素点的概率值高于预设的概率阈值，等等。

具体的，本实施例中可以通过逐像素概率统计的方法分析出每帧图像中的前景区域和背景区域。例如，本实施例中针对同一采集角度上的多帧图像，在分类每帧图像中的背景区域时，分别针对图像中的每个当前像素点，获得该当前像素点在其对应的像素值集合中的概率值，当前像素点对应的像素值集合是指：多帧图像的所有图像中与当前像素点位置相同的所有像素点的像素值组成的集合(在经过图像特征点对齐之后，多帧图像的每帧图像中的每个像素点在其他图像中均有像素点关于位置是相同的，是对应的)，相应的，本实施例中在获得到每帧图像中每个像素点的概率值之后，获得概率值满足目标条件如概率值最大或概率值高于概率阈值的目标像素点，这些目标像素点组成其所在图像中的背景区域，由此，分离出每帧图像的背景区域。也就是说，本实施例中分别对多帧图像中的每帧图像均执行背景区域分离的处理，而针对单帧图像进行背景分离时，以单帧图像为基准，对该帧图像中的每个像素点的像素值在其对应的像素值集合中的概率进行统计，进而得到该帧图像中每个像素点的概率值。

例如，正前方的5帧图像中，同一位置上的5个像素点的5个像素值分别为：255、255、255、125和0，由此，对于第一帧、第二帧和第三帧图像来说，像素点的像素值255的像素点占比例60％(概率值)，对于第四帧图像来说，像素点的像素值125的像素点占比例20％(概率值)，对于第五帧图像来说，像素点的像素值0的像素点占比例20％(概率值)，由此，对于第一帧图像来说，像素值为255的像素点占比超过概率阈值40％或者说比例最高，此时将该像素点即像素值为255的像素点确定为第一帧图像中的目标像素点，以此类推，在第一帧图像中占比超过概率阈值或比例最高的像素点均被确定为目标像素点之后，所有目标像素点组成第一帧图像的背景区域；以此类推，按照第一帧图像的背景区域分离方式，本实施例中分离出第二帧到第五帧图像中的背景区域。由此，本例中将每帧图像中概率值超过概率阈值或者像素值出现最多的像素点确定为静态(区别于运动态)背景的像素点，这些像素点组成相应图像中的背景区域。

需要说明的是，在对同一物体采集多帧图像时，可能会因为光线等因素的变换，导致多帧图像中对同一位置上的像素点的像素值有所差异，但通常差异都是比较小的。因此，本实施例中在针对单帧图像进行背景分离的过程中，以单帧图像为基准，对该帧图像中的每个像素点的像素值在其对应的像素值集合中的概率进行统计时，对应于同一位置上的像素点的像素值如果相差较小，此时可以将这些像素值视为同一像素值，而像素点的像素值属于同一像素值是指：同一位置上的像素点的像素值之间的差值满足一定的差值条件，比如差值小于15或者小10等，此时，像素点的像素值认为是相同的，视为同一像素值。

例如，5帧图像中属于同一位置上的5个像素点A的像素值分别为：X、Y、Z、P和Q，在对第一帧图像的背景区域进行分离时，首先分别以每个像素值为基准，计算其他像素点的像素值分别与当前像素值之间的差值，以判断出相互之间可以视为同一值的像素值。例如，以X为基准，计算Y、Z、P和Q分别与X之间的差值，如果与X之间的差值小于10，那么与X视为同一像素值，如果与X之间的差值大于10，那么认为属于不同像素值，同时，以Y为基准，计算X、Z、P和Q分别与Y之间的差值，如果与Y之间的差值小于10，那么与Y视为同一像素值，如果与Y之间的差值大于10，那么认为属于不同像素值，等等。之后，把与第一帧图像中的像素点A的像素值X之间的差值小于10的像素值Y和Z认为是同一像素值，将与第一帧图像中的像素点A的像素值X之间的差值大于10的像素值P和Q认为不是同一像素值，进而确定第一帧图像中的像素点A为目标像素点，以此类推到第一帧图像中的每个像素点，最终得到所有被确定的目标像素点，由此分离出第一帧图像中的背景区域。而按照以上分离过程，类推到第二帧图像到第五帧图像，从而分离得到每帧图像中的背景区域。

首先，获得多帧图像中每帧图像中每个像素点的图像深度，具体的，本实施例中可以利用激光雷达来获得每帧图像中每个像素点的图像深度，例如，本实施例中在利用图像采集装置采集到多帧图像的同时，可以利用激光雷达采集相应采集角度上的深度数据，进而再根据深度数据，在每帧图像中获得每个像素点上的图像深度；

之后，获得图像深度超过深度阈值的目标像素点，这里的目标像素点即为深度较高的像素点，即为属于背景区域的像素点，而这些目标像素点组成其所属的图像中的背景区域。例如，利用激光点云剔除图像中动态物体(如人或车辆等)的图像(前景图像)，进而筛选出深度较高的静态背景的像素点，组成背景区域。

在一种实现方式中，本实施例中在将对应于同一采集角度上的多帧图像中每帧图像的背景区域进行融合，以得到每个采集角度上的背景图像时，可以通过多种融合方式实现，例如，可以通过像素级融合方式即通过对图像像素点进行处理来实现图像，或者可以通过特征级融合方式即在对图像进行特征提取后再通过对提取到的特征进行融合处理来实现图像融合，或者，也可以通过其他方式实现图像融合，以下以像素级融合方式为例，本实施例中可以通过以下方案实现：

将对应于同一采集角度上的多帧图像中每帧图像的背景区域的像素矩阵相乘，得到融合后的目标位置在采集角度上的背景图像。进一步的，本实施例中对于其他采集角度上的多帧图像中每帧图像的背景区域的像素矩阵相乘，得到其他采集角度上的背景图像，相应的，这些所有采集角度上的背景图像能够用于组成全景图像。

例如，对于同一采集角度上的多帧图像中，将每帧图像的背景区域以像素矩阵表示，每个像素矩阵表征一帧图像的背景区域，基于此，将这些像素矩阵进行相乘，进而实现多帧图像的融合，由此得到融合后的每个采集角度上的背景图像。

参考图8，为本申请实施例二提供的一种图像处理装置的结构示意图，该装置可以配置在能够进行图像采集以及图像处理的电子设备中，如手机或pad等设备中。本实施例中的装置主要用于获得图像的背景图像并组成全景图像，以提高全景图像获取的效率。

具体的，本实施例中的装置可以包括以下单元：

图像获得单元801，用于获得目标位置上的多帧图像，所述多帧图像对应于同一采集角度；

图像对齐单元802，用于将所述多帧图像中的每帧图像进行对齐，以使得所述多帧图像中的每帧图像关于图像特征点对齐；

背景分离单元803，用于基于所述多帧图像中每帧图像的像素点，分离出每帧所述图像中的背景区域。

图像融合单元804，用于将所述多帧图像中每帧所述图像的背景区域进行融合，以得到所述目标位置在所述采集角度上的背景图像；

全景获得单元805，用于将所述采集角度上的背景图像与其他角度上的背景图像组成所述目标位置上的全景图像。

例如，图像融合单元804将所述多帧图像中每帧所述图像的背景区域的像素矩阵相乘，得到融合后的所述目标位置在所述采集角度上的背景图像。

图像模糊单元806，用于识别所述背景图像中的目标区域，所述目标区域为所述背景图像中的非背景特征区域；对所述目标区域进行模糊处理。

例如，图像模糊单元806利用深度学习算法对所述背景图像中的目标区域进行识别，所述目标区域中具有目标物。

由上述方案可知，本申请实施例二的一种图像处理装置，在获得到目标位置上的多帧图像之后，基于这些多帧图像中每帧图像的像素点，分离出每帧所述图像中的背景区域，而区别于人工抹除非背景区域的方案，本实施例中通过对多帧图像的像素点进行处理，进而分离出每帧图像的背景区域并由此融合得到背景图像，从而避免人工抹除非背景区域所导致的效率较低的情况，以此达到提高背景图像获取效率的目的，进一步的，提高背景区域融合得到的背景图像所组成的全景图像的获取效率。

在一种实现方式中，背景分离单元803可以包括以下模块，如图9中所示，由此，背景分离单元803在分离背景区域时可以采用以下任意一个模块实现：

第一分离模块901，用于分别针对所述多帧图像中每帧图像的当前像素点，获得所述当前像素点的像素值在像素值集合中的概率值，所述像素值集合中包括：所述多帧图像的每帧图像中与所述当前像素点位置相同的像素点的像素值；获得每帧图像中所述概率值满足目标条件的目标像素点，所述目标像素点组成其所属图像中的背景区域；

第二分离模块902，用于获得所述多帧图像中的每帧图像中每个像素点的图像深度；获得所述图像深度超过深度阈值的目标像素点，所述目标像素点组成其所属的图像中的背景区域。

需要说明的是，本实施例中各单元的具体实现可以参考前文中相关内容，此处不再详述。

参考图10，为本申请实施例三提供的一种电子设备的结构示意图，该电子设备可以为能够进行图像采集以及图像处理的电子设备，如手机或pad等设备中。本实施例中的电子设备主要用于获得图像的背景图像，提高背景图像获取的效率。

具体的，本实施例中的电子设备可以包括以下结构：

图像采集装置1001，用于获得目标位置上的多帧图像，所述多帧图像对应于同一采集角度。

其中，图像采集装置1001可以为摄像头等装置。

处理器1002，至少用于基于所述多帧图像中每帧图像的像素点，分离出每帧所述图像中的背景区域。

进一步的，处理器1002还用于将多帧图像的背景区域进行融合，得到采集角度上的背景图像，而多个采集角度上的背景图像能够用于组成全景图像。

由上述方案可知，本申请实施例三的一种电子设备，在获得到目标位置上的多帧图像之后，基于这些多帧图像中每帧图像的像素点，分离出每帧所述图像中的背景区域，而区别于人工抹除非背景区域的方案，本实施例中通过对多帧图像的像素点进行处理，进而分离出每帧图像的背景区域并由此融合得到背景图像，从而避免人工抹除非背景区域所导致的效率较低的情况，以此达到提高背景图像获取效率的目的。

需要说明的是，本实施例中处理器的具体实现可以参考前文中相关内容，此处不再详述。

以VR(Virtual Reality，虚拟现实)场景为例，在原地拍摄全景图像的具体实现进行举例说明：

首先，在全景图像拍摄过程中，经常会遇到人流或者移动的车以及采集人员入镜，为了保证美观，一般拍摄人员会选择没有人的时候拍摄，或者一次拍摄以后，后端进行人物抹除或者人脸虚化用来保护隐私。这种方案的弊端在于拍摄时间与用户使用时间不符合，会出现很多违和感，比如夜间拍摄的商场店铺都关门了，实际客户使用的时候商场处在营业状态，导致可使用的拍摄时间太短，但是人物抹除或人物虚化等操作仍然需要人为操作，而且，一些店员或者移动的保洁人员或者室外的车辆不能有效去除。

在具体实现中，本申请的技术方案中可以通过以下步骤S1-S4实现：

S1：在人流密集处在每个角度上拍摄多张照片(6-10张)，如图11中所示；

S2：使用运动物检测算法(通过多张照片的对比分出每张的背景和前景图片)，具体如下：

S2.1：使用图像特征点对齐的方法将微抖拍摄的照片对齐；

S2.2：逐像素概率分析出前景区域和背景区域，例如，利用每个像素点与其他图像在此位置的周围像素差，当与40％像素相近(相近是指像素值差值小于15)，认为是背景区域的像素点，如图12中所示；进一步的，在背景区域被分离后会有很多噪点，此时，可以利用图像的开闭运算将背景区域去噪，以填充噪点的空洞，如图13中所示；

或者，利用利用激光点云提取出动态物体映射到照片上，进而完成前后景的分离，如图14中所示，由此剔除前景区域，保留背景区域，如图15中所示；

S2.3：经每个角度上的多个背景区域进行融合，得到每个角度上的背景图像，如图16中所示，并将背景图像进行拼接，得到全景图像；

S2.4：将图像中无法剔除的区域高斯模糊；

S3：在得到全景图像中，可能存在静止的人物图像区域，此时，本实施例中可以使用深度学习算法检测人脸，并对人脸进行模糊，如图17中所示；

S4：输出全景图像的处理结果给采集人员进行确认。

由此可见，本申请的技术方案可以使得采集端可以在任意时间段完成高质量的全景采集，并且能够自动化的快速完成，不需要后端处理，大大提高拍摄效率，降低拍摄成本，而且能够自动对人与敏感物体马赛克处理。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims

1.一种图像处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，基于所述多帧图像中每帧图像的像素点，分离出每帧所述图像中的背景区域，包括：

3.根据权利要求1所述的方法，其特征在于，基于所述多帧图像中每帧图像的像素点，分离出每帧所述图像中的背景区域，包括：

获得所述多帧图像的每帧图像中每个像素点的图像深度；

4.根据权利要求1、2或3所述的方法，其特征在于，还包括：

5.根据权利要求4所述的方法，其特征在于，还包括：

对所述目标区域进行模糊处理。

6.根据权利要求1所述的方法，其特征在于，在基于所述多帧图像中每帧图像的像素点，分离出每帧所述图像中的背景区域之前，所述方法还包括：

7.一种图像处理装置，其特征在于，所述装置包括：

图像融合单元，用于将所述多帧图像中每帧所述图像的背景区域进行融合，以得到所述目标位置在所述采集角度上的背景图像；

所述图像融合单元具体用于，将所述多帧图像中每帧所述图像的背景区域的像素矩阵相乘，得到融合后的所述目标位置在所述采集角度上的背景图像。

8.根据权利要求7所述的装置，其特征在于，所述背景分离单元包括：

和/或，

9.一种电子设备，其特征在于，包括：

处理器，至少用于基于所述多帧图像中每帧图像的像素点，分离出每帧所述图像中的背景区域，并将所述多帧图像中每帧所述图像的背景区域的像素矩阵相乘，得到融合后的所述目标位置在所述采集角度上的背景图像。