CN112672033A - 图像处理方法及装置、存储介质、电子装置 - Google Patents

Abstract

本发明提供了一种图像处理方法及装置、存储介质、电子装置，其中，上述图像处理方法包括：在摄像头处于多媒体信息采集的过程中，获取包含有待处理的目标对象的多媒体信息以及所述待处理的目标对象的第一图像特征，其中，所述多媒体信息的数据格式为原始图像编码数据RAW格式；对于所述多媒体信息中的每一帧图像，去除所述每一帧图像中的所述第一图像特征对应的目标对象。采用上述技术方案，解决了相关技术中，对图像或视频进行实时抠图的过程中，存在的操作难度大，处理速度慢等问题。

Description

图像处理方法及装置、存储介质、电子装置

技术领域

本发明涉及计算机技术领域，具体而言，涉及一种图像处理方法及装 置、存储介质、电子装置。

背景技术

目前，使用终端设备如手机、平板等进行拍照或录像，在拍摄完成后， 如果需要对图像和/或视频进行处理，通常采用后处理(即二次编辑)的方 式。尤其在处理视频的过程中，如需要抠除视频中的目标对象，传统方法 需要对每一帧中的目标对象进行手动抠除处理，流程十分繁琐，另外，小 尺寸屏幕设备上操作比较困难。因此，通过后处理的方式对图像或视频进 行不仅大大增加了操作难度，而且工作量大。

相关技术中，实时抠图及替换贴纸的方案是通过应用层去处理的。应 用层的处理是基于YUV数据流的，其中，Y表示明亮度(Lumina nce或 Luma)，也就是灰阶值，而U和V表示色度(Chrominance或Chroma)， 然而，YUV数据本身已经经过了图像信号处理(ImageSignal Processer， 简称ISP)的处理，导致YUV的数据信息是有所损失的，且相对数据量大，处理速度较慢，流程复杂。

针对相关技术中，对图像或视频进行实时抠图的过程中，存在的操作 难度大，处理速度慢等问题，尚未提出有效的技术方案。

发明内容

本发明实施例提供了一种图像处理方法及装置、存储介质、电子装置， 以至少解决相关技术中，对图像或视频进行实时抠图的过程中，存在的操 作难度大，处理速度慢等问题。

根据本发明的一个实施例，提供了一种图像处理方法，包括：在摄像 头处于多媒体信息采集的过程中，获取包含有待处理的目标对象的多媒体 信息以及所述待处理的目标对象的第一图像特征，其中，所述多媒体信息 的数据格式为原始图像编码数据RAW格式；对于所述多媒体信息中的每 一帧图像，去除所述每一帧图像中的所述第一图像特征对应的目标对象。

可选地，在所述去除所述每一帧图像中的所述第一图像特征对应的目 标对象之前，所述方法还包括：跟踪所述多媒体信息中的每一帧图像中的 所述目标对象，得到跟踪结果；根据所述跟踪结果确定所述每一帧图像中 的目标对象在所述每一帧图像中的位置，其中，所述位置用于指示去除所 述每一帧图像中的所述第一图像特征对应的目标对象。

可选地，所述跟踪所述多媒体信息中的每一帧图像中的所述目标对象， 得到跟踪结果，包括：获取当前帧图像的第二图像特征，以及获取当前帧 图像的前一帧图像的第三图像特征；在所述第二图像特征和所述第三图像 特征的相似度超过预设阈值的情况下，确定所述当前帧图像中包含所述目 标对象；在确定所述当前帧图像中包含所述目标对象的情况下，确定用于 指示所述每一帧图像中的目标对象在所述每一帧图像中的位置的跟踪结 果。

可选地，在去除所述每一帧图像中的所述第一图像特征对应的目标对 象之后，所述方法还包括：修复去除所述目标对象后的每一帧图像。

可选地，所述修复去除所述目标对象后的所述每一帧图像，包括：获 取每一帧图像中被去除所述目标对象后的区域的边缘信息；根据所述边缘 信息修复所述被去除所述目标对象后的区域，以修复所述每一帧图像。

可选地，在所述修复去除所述目标对象后的每一帧图像之后，所述方 法还包括：将所述修复去除所述目标对象后的每一帧图像进行ISP图像信 号处理，得到经过ISP处理后的图像。

可选地，在所述修复去除所述目标对象后的每一帧图像之后，所述方 法还包括：输出所述修复去除所述目标对象后的每一帧图像，得到目标图 像；在所述摄像头的电子设备的预览界面显示所述目标图像。

根据本发明的另一个实施例，还提供了一种图像处理装置，包括：获 取模块，用于在摄像头处于多媒体信息采集的过程中，获取包含有待处理 的目标对象的多媒体信息以及所述待处理的目标对象的第一图像特征，其 中，所述多媒体信息的数据格式为原始图像编码数据RAW格式；第一处 理模块，用于对于所述多媒体信息中的每一帧图像，去除所述每一帧图像 中的所述第一图像特征对应的目标对象。

可选地，所述装置还包括：跟踪模块，用于跟踪所述多媒体信息中的 每一帧图像中的所述目标对象，得到跟踪结果；确定模块，用于根据所述 跟踪结果确定所述每一帧图像中的目标对象在所述每一帧图像中的位置， 其中，所述位置用于指示去除所述每一帧图像中的所述第一图像特征对应 的目标对象。

根据本发明的另一个实施例，还提供了一种计算机可读的存储介质， 所述存储介质包括存储的程序，其中，所述程序运行时执行以上任一项所 述的图像处理方法。

根据本发明的另一个实施例，还提供了一种电子装置，所述存储介质 包括存储的程序，其中，所述程序运行时执行以上任一项所述的图像处理 方法。

通过本发明，在摄像头处于多媒体信息采集的过程中，获取包含有待 处理的目标对象的多媒体信息以及所述待处理的目标对象的第一图像特 征，其中，所述多媒体信息的数据格式为原始图像编码数据RAW格式； 对于所述多媒体信息中的每一帧图像，去除所述每一帧图像中的所述第一 图像特征对应的目标对象。采用上述技术方案，解决了相关技术中，对图 像或视频进行实时抠图的过程中，存在的操作难度大，处理速度慢等问题。 通过上述技术方案，在摄像头处于多媒体信息采集的过程中，可以直接获 取RAW格式的多媒体信息，然后对该多媒体信息中的每一帧图像中的目 标对象进行去除，上述过程中，都是对RAW格式的数据进行处理，由于 RAW格式的数据为原始图像编码数据，具有数据量小、数据无损的特点， 因此在对每一帧图像中的目标对象进行去除，以及修复去除目标对象之后的每一帧图像时，能够达到提高处理精度、以及提高处理速度的技术效果。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一 部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发 明的不当限定。在附图中：

图1是本发明实施例的一种图像处理方法的终端的硬件结构框图；

图2是根据本发明实施例一种可选的图像处理方法的流程图；

图3是根据本发明实施例一种可选的图像处理过程的流程图；

图4是根据本发明实施例一种可选的图像处理方法的整体系统结构框 图；

图5是根据本发明实施例一种可选的图像处理装置的结构框图；

图6是根据本发明实施例一种可选的图像处理装置的另一结构框图；

图7是根据本发明实施例一种可选的图像处理方法的UI界面示意图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是， 在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语 “第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或 先后次序。

本申请实施例所提供的方法实施例可以在移动终端、计算机终端或者 类似的运算装置中执行。以运行在终端(如手机)上为例，图1是本发明 实施例的一种图像处理方法的终端的硬件结构框图。如图1所示，终端(如 手机)10可以包括一个或多个(图1中仅示出一个)处理器102(处理器 102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理 装置)和用于存储数据的存储器104，可选地，上述移动终端还可以包括 用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人 员可以理解，图1所示的结构仅为示意，其并不对上述终端的结构造成限 定。例如，移动终端10还可包括比图1中所示更多或者更少的组件，或 者具有与图1所示等同功能或比图1所示功能更多的不同的配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及 模块，如本发明实施例中的图像处理方法对应的计算机程序，处理器102 通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及 数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可 包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非 易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理 器102远程设置的存储器，这些远程存储器可以通过网络连接至终端10。 上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网 及其组合。

传输装置106用于经由一个网络接收或者发送数据。上述的网络具体 实例可包括终端10的通信供应商提供的无线网络。在一个实例中，传输 装置106包括一个网络适配器(Network Interface Controller，简称为NIC)， 其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例 中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其 用于通过无线方式与互联网进行通讯。

在本实施例中提供了一种运行于上述图1所示的终端的图像处理方法， 图2是根据本发明实施例一种可选的图像处理方法的流程图，如图2所示， 该方法包括如下步骤：

步骤S202，在摄像头处于多媒体信息采集的过程中，获取包含有待 处理的目标对象的多媒体信息以及所述待处理的目标对象的第一图像特 征，其中，所述多媒体信息的数据格式为原始图像编码数据RAW格式；

步骤S204，对于所述多媒体信息中的每一帧图像，去除所述每一帧 图像中的所述第一图像特征对应的目标对象。

本发明实施例中，上述摄像头处于多媒体信息采集的过程可以理解为 摄像头处于拍照模式或者摄像模式。上述待处理的目标对象可以理解为拍 照或者摄像过程中用户不想要保留的部分。上述RAW格式为原始图像编 码数据(RAW Image Format，简称RAW)。

对于获取待处理的目标对象的第一图像特征可以采用基于神经网络 的深度学习技术，并通过深度学习神经网络对物体特征进行提取。可理解， 对于具体如何进行特征提取在此不作限定。

通过本发明，在摄像头处于多媒体信息采集的过程中，获取包含有待 处理的目标对象的多媒体信息以及所述待处理的目标对象的第一图像特 征，其中，所述多媒体信息的数据格式为原始图像编码数据RAW格式； 对于所述多媒体信息中的每一帧图像，去除所述每一帧图像中的所述第一 图像特征对应的目标对象。采用上述技术方案，解决了相关技术中，对图 像或视频进行实时抠图的过程中，存在的操作难度大，处理速度慢等问题。 通过上述技术方案，在摄像头处于多媒体信息采集的过程中，可以直接获 取RAW格式的多媒体信息，然后对该多媒体信息中的每一帧图像中的目 标对象进行去除，上述过程中，都是对RAW格式的数据进行处理，由于 RAW格式的数据为原始图像编码数据，具有数据量小、数据无损的特点， 因此在对每一帧图像中的目标对象进行去除，以及修复去除目标对象之后的每一帧图像时，能够达到提高处理精度、以及提高处理速度的技术效果。

本发明实施例中，在上述步骤S204之前，所述方法还包括：跟踪所 述多媒体信息中的每一帧图像中的所述目标对象，得到跟踪结果；根据所 述跟踪结果确定所述每一帧图像中的目标对象在所述每一帧图像中的位 置，其中，所述位置用于指示去除所述每一帧图像中的所述第一图像特征 对应的目标对象。

在摄像头处于多媒体信息采集的过程中，可以实时跟踪该目标对象， 从而得到该目标对象在每一帧图像中的位置。通过该位置可以指示去除每 一帧图像中的目标对象。

为了更清楚的说明如何得到上述跟踪结果，可通过以下方式实现，所 述跟踪所述多媒体信息中的每一帧图像中的所述目标对象，得到跟踪结果， 包括：获取当前帧图像的第二图像特征，以及获取当前帧图像的前一帧图 像的第三图像特征；在所述第二图像特征和所述第三图像特征的相似度超 过预设阈值的情况下，确定所述当前帧图像中包含所述目标对象；在确定 所述当前帧图像中包含所述目标对象的情况下，确定用于指示所述每一帧 图像中的目标对象在所述每一帧图像中的位置的跟踪结果。

在跟踪目标对象时，可以获取摄像头所获取的当前帧图像的第二特征， 并获取当前帧图像的前一帧图像的第三图像特征，通过匹配该第二图像特 征和第三图像特征的相似度，可以确定该相似度是否超过预设阈值，若超 过，则表示该当前帧图像中包含了目标对象，即可以确定当前帧中目标对 象的位置，其中，上述预设阈值可以通过目标对象的第一图像特征进行设 置。

在上述步骤S204之后，上述方法还可以包括以下步骤，在去除所述 每一帧图像中的所述第一图像特征对应的目标对象之后，所述方法还包括： 修复去除所述目标对象后的每一帧图像。

可选地，对于如何修复去除所述目标对象后的每一帧图像，所述修复 去除所述目标对象后的所述每一帧图像，包括：获取每一帧图像中被去除 所述目标对象后的区域的边缘信息；根据所述边缘信息修复所述被去除所 述目标对象后的区域，以修复所述每一帧图像。

在上述步骤S204之后，上述方法还可以包括以下步骤，即在所述修 复去除所述目标对象后的每一帧图像之后，所述方法还包括：将所述修复 去除所述目标对象后的每一帧图像进行ISP图像信号处理，得到经过ISP 处理后的图像。

其中，在修复去除目标对象后的每一帧图像之前，该每一帧图像的数 据格式为RAW格式，而通过ISP信号处理修复去除目标对象后的每一帧 图像，可以得到经过ISP处理后的图像，其中，经过ISP处理的图像的数 据格式可以为YUV格式。

在得到经过ISP处理后的图像之后，上述方法包括以下步骤，即在所 述修复去除所述目标对象后的每一帧图像之后，所述方法还包括：输出所 述修复去除所述目标对象后的每一帧图像，得到目标图像；在所述摄像头 的电子设备的预览界面显示所述目标图像。

本发明实施例中，在摄像头处于多媒体信息采集的过程中，可以实时 输出修复去除目标对象后的每一帧图像，从而得到目标图像，并在摄像头 对应的电子设备的预览界面显示目标图像。

以下结合一示例对图像处理过程进行解释说明，但不用于限定本发明 实施例的技术方案，本发明示例的技术方案如下：

图3是根据本发明实施例一种可选的图像处理过程的流程图，如图3 所示：

通过带有相机以及触摸显示屏的电子设备所具有的基本功能，本发明 实施例提供了一种实时的前处理阶段的抠图方法，具体步骤如下：

步骤S301，打开相机设备。当用户需要拍照或录制视频工作时，需 要打开相机设备。此时相机打开预览流，可以实时看到待拍摄的内容画面。

步骤S302，选择摄像头。一般来说，摄像头有前摄头和后摄头。本 发明实施例中的图像处理方法同时适用于前摄头或者后摄像头。在拍照或 者录像前，用户需要选择对应的摄像头。

步骤S303，选择拍照模式。具体地，可以为安装在电子设备中的相 机APP界面上设计一个功能按钮，若点击该按钮，则进入抠图功能模式。 若不点击该按钮，则进入普通拍照模式。

步骤S304，进入抠图功能模式，圈画目标物体(对应于上述目标对 象)。在进入抠图功能模式之后，拍照或录像模式的画面被锁定，不再随 着电子设备位置的移动而发生变化。此时，用户可以通过触摸屏对目标物 体进行圈画。圈画时需要围绕物体轮廓形成闭合曲线。注意这里闭合曲线 不必完全贴合物体轮廓，由于目标物体不规则，用户可以不必绘制出完全 贴合目标物体的闭合曲线。在圈画目标物体之后，可以采用图像处理算法 对目标物体的边缘位置做自动判定，在手绘轨迹(即闭合曲线)的基础上 进行物体真实轮廓的拟合，从而完成对目标物体的选定。其中，目标物体 可理解为用户所不想保留的图像。

步骤S305，用户根据需要添加待处理目标物体。本发明实施例中， 用户可以根据需要同时处理多个目标物体。在用户需要处理多个目标物体 的情况下，如可以通过点击相机APP界面上的继续添加按钮来继续添加 待处理区域(即多个目标物体)。

步骤S306，进入图像处理阶段。在完成对一个或多个目标物体的圈 画后，系统自动进入图像处理阶段。其中，图像处理采用RAW域的数据 流。

步骤S307，获取通过摄像头采集的RAW域的数据流。通过该步骤取 出RAW域的数据流，并送入图像处理步骤。

步骤S308，对目标物体进行特征提取。首先对目标物体进行特征提 取，得到目标物体的第一图像特征。可以采用基于神经网络的深度学习技 术对目标物体特征进行提取。其中，对目标物体进行识别进而进行提取的 物体识别网络模型为预训练的模型，存储在终端设备中。针对RAW域的 数据流，需要做特定的迁移学习，并且需要针对特定的物体做预训练。在 对目标物体做特征提取时，需要优先加载该模型。其中，该模型包括但不 限于数据流编程(dataflow programming，简称tensorflow)，神经网络处理 引擎(snapdragonneural processing engine sdk，简称SNPE)等软硬件架构。 当目标物体图像输入到模型后，通过在GPU或NPU中计算，会得到第一 图像特征对应的特征参数。

步骤S309，跟踪目标物体。在得到目标物体(即目标对象)对应的 第一图像特征后，则需要对目标物体做跟踪工作。由于在拍照或者录像过 程中，设备往往是在移动的，尤其是录像过程，每一帧的数据中对应的目 标物体的位置都会有所变化，故需要对目标物体进行跟踪。具体地，可以 按数据帧对图像进行处理，通过对当前帧图像与前一帧图像进行匹配的方 式来对目标物体进行跟踪，如可以通过将前一帧图像中的第三图像特征与 当前帧的第二图像特征进行匹配。其中，第三图像特征可以为第三图像特 征对应的前一帧图像的全部图像信息，第二图像特征可以为第二图像特征 对应的当前帧图像的全部图像信息。然后预先设定一个阈值，如果第二图 像特征与第三图像特征的相似度超过该临界阈值(对应于上述预设阈值)， 则判断当前帧中包含有目标物体，并返回目标物体的像素坐标数据(即对 应于上述目标对象的位置)。其中，该预设阈值可以根据第一图像特征对 应的参数进行设定，可以理解，判断当前帧图像与前一帧图像的相似度即 为判断两个图像中目标物体的相似度。

步骤S310，抠除目标物体并修复每一帧图像，也可以理解为去除、 删除目标物体并修复每一帧图像。通过步骤S308和步骤S309可以在RAW 域的每帧中找到待处理的目标物体。然后对每一帧中的待处理的目标物体 逐像素的进行抠除，并修复抠除目标物体后的每一帧图像。对于图像修复 可以利用被抠图区域的边缘信息(如边缘的颜色和结构)，根据该边缘信 息可以推断出被抠图区域的信息内容，然后对被抠图区域进行填补，以达 到图像修补的目的。

步骤S311，进行ISP处理，输出YUV数据图像。对于修复后的每一 帧图像，即处理后的RAW图像，将被重新送入ISP中进行处理，直接输 出YUV数据图像。

步骤S312，在预览界面显示目标图像。通过上述步骤可以对拍照或 者录像模式进行实时的前处理抠图，用户可以在拍照或者录像过程的预览 界面实时看到图像的处理效果，即可以在预览界面实时显示目标图像的处 理效果。

步骤S313，完成拍照或者录像工作。通过点击拍照完成按钮，可以 将处理过的照片或视频保存到设备中，完成整个处理过程，且用户不再需 要对照片或视频做二次处理。

本发明实施例采用基于RAW域的实时抠图方法。以上描述中图像处 理的相关流程是在RAW域进行处理的，而非YUV域。常规方案在应用 层基于YUV进行处理，需要将处理好的YUV数据取出，处理后再送回， 流程较为繁琐。YUV数据是RAW数据经过ISP复杂处理后得到的，本身 数据是有损的，而基于RAW域处理可以利用更多的信息，另外由于YUV 数据量是RAW数据的1.5倍，故基于RAW域的处理速度也更快。相机在 通过传感器获取RAW数据后，直接取出进行处理，在圈画完目标物体后， 即可获取对应的RAW图像特征信息，完成对图像跟踪、抠除和修复的步 骤后，重新将RAW数据送回ISP中，即可直接输出需要的目标图像。

综上，通过本发明实施例中所采用的实时的前处理方式，大大简化了 传统后处理的操作步骤。尤其对于视频的处理在效率上有极大的提升。使 得普通消费者也可以迅速方便的完成图像和视频的处理，极大的便利了用 户的操作。

以下结合另一示例对图像处理过程进行解释说明，但不用于限定本发 明实施例的技术方案，本发明示例的技术方案如下：

图4是根据本发明实施例一种可选的图像处理方法的整体系统结构框 图，如图4所示：

需要说明的是，本发明实施例涉及的终端为包含有一个显示组件，一 个或多个相机模组的智能设备，还包括ISP处理单元，并且该设备支持触 控，同时该设备包含存储器，CPU，GPU，还可以包含一块NPU。可理解， 本发明实施例中对于终端设备的硬件结构不作唯一性限定。

如图4所示，该终端设备包括设备显示组件401、摄像头设备404、 存储设备405、CPU408、GPU406、ISP409以及一块NPU407。其中，402 表示选择前摄或者后摄，403表示一个待去除的物体。这些组件通过一条 或多条通信总线或信号线进行通信。可理解，终端设备400只是电子设备 的一个实例，该终端设备的组件可以比图4所示具有更多或更少的组件，或者不同组件的配置。设备401同时还是一个触摸设备。组件404得到图 像并预览在401设备上，用户在圈画物体时，指令通过触摸设备传入到 CPU中，并发出对应的命令，图像的显示需要通过GPU来完成，具体图 像跟踪及修复算法可以通过CPU或GPU来完成，如果有NPU设备，则 还可以在NPU中进行处理，速度会更快，也将有更好的用户体验。

本发明实施例中的图像处理方法可应用于便携式电子设备，例如智能 手机、平板电脑等，且该电子设备上具有图形用户界面的一块或者多块触 摸显示屏、一个或者多个CPU、存储设备、GPU、NPU等。其中，用户 可以用手指接触触摸屏显示屏的方式实现与图形用户界面(即UI)的交 互。CPU可以根据手指触摸上报的命令进行响应，将一定内容存储在存储 器中，GPU可以在UI界面上绘制图像，GPU或者NPU可以对图像的特 征提取及图像修复工作进行计算。

需要说明的是，本发明实施例中的图像处理方法可以在任何支持有相 机，ISP，显示触摸屏，CPU，GPU，存储器的电子设备上使用，无需网 络环境。尤其在支持NPU的设备上效果会更加优异，且相机可以是前置 摄像头摄或者后置摄像头。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根 据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当 然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理 解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软 件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如 ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可 以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所 述的方法。

在本实施例中还提供了一种图像处理装置，该装置用于实现上述实施 例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语 “模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述 的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也 是可能并被构想的。

图5是根据本发明实施例一种可选的图像处理装置的结构框图，如图 5所示，该装置包括：

获取模块50，用于在摄像头处于多媒体信息采集的过程中，获取包含 有待处理的目标对象的多媒体信息以及所述待处理的目标对象的第一图 像特征，其中，所述多媒体信息的数据格式为原始图像编码数据RAW格 式；第一处理模块52，用于对于所述多媒体信息中的每一帧图像，去除所 述每一帧图像中的所述第一图像特征对应的目标对象。

通过本发明，在摄像头处于多媒体信息采集的过程中，获取包含有待 处理的目标对象的多媒体信息以及所述待处理的目标对象的第一图像特 征，其中，所述多媒体信息的数据格式为原始图像编码数据RAW格式； 对于所述多媒体信息中的每一帧图像，去除所述每一帧图像中的所述第一 图像特征对应的目标对象。采用上述技术方案，解决了相关技术中，对图 像或视频进行实时抠图的过程中，存在的操作难度大，处理速度慢等问题。 通过上述技术方案，在摄像头处于多媒体信息采集的过程中，可以直接获 取RAW格式的多媒体信息，然后对该多媒体信息中的每一帧图像中的目 标对象进行去除，上述过程中，都是对RAW格式的数据进行处理，由于 RAW格式的数据为原始图像编码数据，具有数据量小、数据无损的特点， 因此在对每一帧图像中的目标对象进行去除，以及修复去除目标对象之后的每一帧图像时，能够达到提高处理精度、以及提高处理速度的技术效果。

本发明实施例中，图6是根据本发明实施例一种可选的图像处理装置 的另一结构框图，如图6所示，所述装置还包括：跟踪模块54，用于跟踪 所述多媒体信息中的每一帧图像中的所述目标对象，得到跟踪结果；确定 模块56，用于根据所述跟踪结果确定所述每一帧图像中的目标对象在所述 每一帧图像中的位置，其中，所述位置用于指示去除所述每一帧图像中的 所述第一图像特征对应的目标对象。

本发明实施例中，如图6所示，所述跟踪模块54，还用于获取当前帧 图像的第二图像特征，以及获取当前帧图像的前一帧图像的第三图像特征； 在所述第二图像特征和所述第三图像特征的相似度超过预设阈值的情况 下，确定所述当前帧图像中包含所述目标对象；在确定所述当前帧图像中 包含所述目标对象的情况下，确定用于指示所述每一帧图像中的目标对象 在所述每一帧图像中的位置的跟踪结果。

本发明实施例中，如图5所示，第一处理模块52，还用于修复去除所 述目标对象后的每一帧图像。

本发明实施例中，如图5所示，所述第一处理模块52，还用于获取每 一帧图像中被去除所述目标对象后的区域的边缘信息；根据所述边缘信息 修复所述被去除所述目标对象后的区域，以修复所述每一帧图像。

本发明实施例中，如图6所示，所述装置还包括：第二处理模块58， 用于将所述修复去除所述目标对象后的每一帧图像进行ISP图像信号处理， 得到经过ISP处理后的图像。

本发明实施例中，如图6所示，所述装置还包括：输出模块60，用于 输出所述修复去除所述目标对象后的每一帧图像，得到目标图像；显示模 块62，用于在所述摄像头的电子设备的预览界面显示所述目标图像。

以下再结合优选实施例对上述图像处理过程进行进一步说明，但不用 于限定本发明实施例的技术方案。

图7是根据本发明实施例一种可选的图像处理方法的UI界面示意图， 如图7所示：

步骤S701，打开相机，选择摄像头。在预览界面点击抠除模式按钮。

在拍摄照片及录制视频时，首先打开相机应用，这时相机传感器所感 光到的图像将实时预览在显示器上，并形成持续稳定的预览流。在预览界 面，当用户看到后期需要去除的物体时(如一些logo，垃圾桶等)，首先 需要点击界面上的功能按钮，触发实时抠图模式

步骤S702，用手指或触摸笔圈画待处理物体。如图7所示，如果需 要继续添加待处理物体，则点击继续添加按钮。如果不再添加，则点击确 认。

用户可以用手指在预览界面上进行圈画，对想要抠除的目标物体勾画 出封闭的环绕曲线；然后点击“确定”，相机会进入自动抠图模式。该曲线 不必完全贴合目标边界，会对目标物体的边界做自动的搜索。

步骤S703，处理后效果将实时显示在预览界面，如图7所示，待处 理物体已被抠除，并整个图像进行了修复。

在抠图模式下拍照或者摄像时，终端设备将在拍摄完成前，对目标物 体进行处理，处理的结果会实时显示在预览界面上。

综上，采用上述技术方案，可以在拍摄过程中完成对图像及视频的处 理任务，并在相机的预览流中实时显示，最终实现所拍即所得。

本发明的实施例还提供了一种计算机可读的存储介质，该存储介质包 括存储的程序，其中，上述程序运行时执行上述任一项所述的方法。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以 下步骤的程序代码：

S1，在摄像头处于多媒体信息采集的过程中，获取包含有待处理的目 标对象的多媒体信息以及所述待处理的目标对象的第一图像特征，其中， 所述多媒体信息的数据格式为原始图像编码数据RAW格式；

S2，对于所述多媒体信息中的每一帧图像，去除所述每一帧图像中的 所述第一图像特征对应的目标对象。

可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只 读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存 储程序代码的介质。

本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存 储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述 任一项方法实施例中的步骤。

可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中， 该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执 行以下步骤：

S1，在摄像头处于多媒体信息采集的过程中，获取包含有待处理的目 标对象的多媒体信息以及所述待处理的目标对象的第一图像特征，其中， 所述多媒体信息的数据格式为原始图像编码数据RAW格式；

S2，对于所述多媒体信息中的每一帧图像，去除所述每一帧图像中的 所述第一图像特征对应的目标对象。

可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式 中所描述的示例，本实施例在此不再赘述。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤 可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者 分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执 行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来 执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的 步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模 块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特 定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于 本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原 则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护 范围之内。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

在摄像头处于多媒体信息采集的过程中，获取包含有待处理的目标对象的多媒体信息以及所述待处理的目标对象的第一图像特征，其中，所述多媒体信息的数据格式为原始图像编码数据RAW格式；

对于所述多媒体信息中的每一帧图像，去除所述每一帧图像中的所述第一图像特征对应的目标对象。

2.根据权利要求1所述的方法，其特征在于，在所述去除所述每一帧图像中的所述第一图像特征对应的目标对象之前，所述方法还包括：

跟踪所述多媒体信息中的每一帧图像中的所述目标对象，得到跟踪结果；

根据所述跟踪结果确定所述每一帧图像中的目标对象在所述每一帧图像中的位置，其中，所述位置用于指示去除所述每一帧图像中的所述第一图像特征对应的目标对象。

3.根据权利要求2所述的方法，其特征在于，所述跟踪所述多媒体信息中的每一帧图像中的所述目标对象，得到跟踪结果，包括：

获取当前帧图像的第二图像特征，以及获取当前帧图像的前一帧图像的第三图像特征；

在所述第二图像特征和所述第三图像特征的相似度超过预设阈值的情况下，确定所述当前帧图像中包含所述目标对象；

在确定所述当前帧图像中包含所述目标对象的情况下，确定用于指示所述每一帧图像中的目标对象在所述每一帧图像中的位置的跟踪结果。

4.根据权利要求1所述的方法，其特征在于，在去除所述每一帧图像中的所述第一图像特征对应的目标对象之后，所述方法还包括：

修复去除所述目标对象后的每一帧图像。

5.根据权利要求4所述的方法，其特征在于，所述修复去除所述目标对象后的所述每一帧图像，包括：

获取每一帧图像中被去除所述目标对象后的区域的边缘信息；

根据所述边缘信息修复所述被去除所述目标对象后的区域，以修复所述每一帧图像。

6.根据权利要求4或5所述的方法，其特征在于，在所述修复去除所述目标对象后的每一帧图像之后，所述方法还包括：

将所述修复去除所述目标对象后的每一帧图像进行ISP图像信号处理，得到经过ISP处理后的图像。

7.根据权利要求4或5所述的方法，其特征在于，在所述修复去除所述目标对象后的每一帧图像之后，所述方法还包括：

输出所述修复去除所述目标对象后的每一帧图像，得到目标图像；

在所述摄像头的电子设备的预览界面显示所述目标图像。

8.一种图像处理装置，其特征在于，包括：

获取模块，用于在摄像头处于多媒体信息采集的过程中，获取包含有待处理的目标对象的多媒体信息以及所述待处理的目标对象的第一图像特征，其中，所述多媒体信息的数据格式为原始图像编码数据RAW格式；

第一处理模块，用于对于所述多媒体信息中的每一帧图像，去除所述每一帧图像中的所述第一图像特征对应的目标对象。

9.一种计算机可读的存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至7任一项中所述的方法。

10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至7任一项中所述的方法。

Images