CN110298862A - 视频处理方法、装置、计算机可读存储介质和计算机设备 - Google Patents

Abstract

本申请涉及一种视频处理方法、装置、计算机可读存储介质和计算机设备。所述方法包括：获取第一视频图像帧；若识别所述第一视频图像帧中的背景区域图像为隐私场景，则提取所述第一视频图像帧中除背景区域图像之外的前景区域图像；获取背景替换图像，并将所述背景替换图像与前景区域图像进行合成得到目标视频图像帧；将所述目标视频图像帧发送给视频接收端。上述视频处理方法、装置、计算机可读存储介质和计算机设备，可以视频传输过程中的安全性。

Description

视频处理方法、装置、计算机可读存储介质和计算机设备

技术领域

本申请涉及计算机技术领域，特别是涉及一种视频处理方法、装置、计算机可读存储介质和计算机设备。

背景技术

电子设备可以通过视频传输信息，视频传输可以是实时的，也可以是延时的。例如，用户可以通过视频进行通话，通话过程中可以实现语音或者图像的实时传输，从而实现与其他用户的信息互通。也可以通过电子设备录制好之后，再进行传输。用户可能在任何时间或任何地点接收到其他用户的通话邀请或者录制视频，如果用户所处地点隐私度比较高，那么获取的视频就可能会造成信息泄露。例如，在办公室、实验室这些地方接听视频电话或录制视频，就会使对方看到办公室或实验室的场景，造成信息泄露。

发明内容

本申请实施例提供一种视频处理方法、装置、计算机可读存储介质和计算机设备，可以视频传输过程中的安全性。

一种视频处理方法，所述方法包括：

获取第一视频图像帧；

若识别所述第一视频图像帧中的背景区域图像为隐私场景，则提取所述第一视频图像帧中除背景区域图像之外的前景区域图像；

获取背景替换图像，并将所述背景替换图像与前景区域图像进行合成得到目标视频图像帧；

将所述目标视频图像帧发送给视频接收端。

一种视频处理装置，所述装置包括：

第一图像获取模块，用于获取第一视频图像帧；

前景提取模块，用于若识别所述第一视频图像帧中的背景区域图像为隐私场景，则提取所述第一视频图像帧中除背景区域图像之外的前景区域图像；

图像合成模块，用于获取背景替换图像，并将所述背景替换图像与前景区域图像进行合成得到目标视频图像帧；

图像发送模块，用于将所述目标视频图像帧发送给视频接收端。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：

获取第一视频图像帧；

若识别所述第一视频图像帧中的背景区域图像为隐私场景，则提取所述第一视频图像帧中除背景区域图像之外的前景区域图像；

获取背景替换图像，并将所述背景替换图像与前景区域图像进行合成得到目标视频图像帧；

将所述目标视频图像帧发送给视频接收端。

一种计算机设备，包括存储器及处理器，所述存储器中储存有计算机可读指令，所述指令被所述处理器执行时，使得所述处理器执行如下步骤：

获取第一视频图像帧；

若识别所述第一视频图像帧中的背景区域图像为隐私场景，则提取所述第一视频图像帧中除背景区域图像之外的前景区域图像；

获取背景替换图像，并将所述背景替换图像与前景区域图像进行合成得到目标视频图像帧；

将所述目标视频图像帧发送给视频接收端。

上述视频处理方法、装置、计算机可读存储介质和计算机设备，获取第一视频图像帧，先对第一视频图像帧的背景区域图像进行场景检测。若检测到背景区域图像的场景为隐私场景，则提取第一视频图像帧中的前景区域图像。然后将前景区域图像与背景替换图像合成得到目标视频图像帧，并将目标视频图像帧发送给视频接收端。这样在视频传输的过程中，就可以对视频中的拍摄场景进行检测，若视频的拍摄场景涉及到隐私的话，就可以对隐私进行处理，防止隐私泄露，提高视频传输的安全性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中视频处理方法的应用环境示意图；

图2为一个实施例中视频处理方法的流程图；

图3为另一个实施例中视频处理方法的流程图；

图4为又一个实施例中视频处理方法的流程图；

图5为又一个实施例中视频处理方法的流程图；

图6为一个实施例中视频处理结果的展示示意图；

图7为一个实施例中视频处理装置的结构示意图；

图8为另一个实施例中视频处理装置的结构示意图；

图9为一个实施例中图像处理电路的示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一客户端称为第二客户端，且类似地，可将第二客户端称为第一客户端。第一客户端和第二客户端两者都是客户端，但其不是同一客户端。

图1为一个实施例中视频处理方法的应用环境示意图。如图1所示，该应用环境包括终端102和终端104。其中，终端102和终端104之间可以进行视频传输，假设终端102作为视频发送端，终端104作为视频接收端，终端102向终端104发送视频。则终端102可以获取待传输视频中的第一视频图像帧，若识别第一视频图像帧中的背景区域图像为隐私场景，则提取第一视频图像帧中除背景区域图像之外的前景区域图像。然后终端102获取背景替换图像，并将背景替换图像与前景区域图像进行合成得到目标视频图像帧，再将目标视频图像帧发送给终端104。其中，终端102和终端104是指处于计算机网络最外围，主要用于输入用户信息以及输出处理结果的电子设备，例如可以是个人电脑、移动终端、个人数字助理、可穿戴电子设备等。上述视频处理方法还可以应用与终端与服务器之间进行视频传输的过程，服务器是指，在本实施例中不做限定。其中，服务器是用于响应服务请求，同时提供计算服务的设备。服务器可以为一个服务器集群，即服务器可以包含一台或者多台计算机。

图2为一个实施例中视频处理方法的流程图。如图2所示，该视频处理方法包括步骤202至步骤208。其中：

步骤202，获取第一视频图像帧。

视频是由若干个连续的图像构成的，这连续的图像按照一定的顺序进行排列，然后按照该顺序进行播放从而形成连续的动画。其中，构成视频的一张图像即为一帧视频图像帧。视频可以是实时获取的，也可以是预先存储的。例如，在视频通话的过程中，通话双方的用户所使用的电子设备需要实时获取视频，并将获取的视频实时发送给对方。播放视频的时候，播放的视频可以是在网站上下载的，也可以是预先录制并存储在电子设备中的。

在一个实施例中，电子设备上可以安装摄像头，并通过安装的摄像头获取视频。安装的摄像头的数量和位置不限。例如，电子设备上可以安装一个、两个、三个……摄像头，摄像头可以安装在电子设备的正面，也可以安装在电子设备的背面，还可以以内嵌的形式安装在电子设备的内部，在此不进行限定。电子设备在打开摄像头后，摄像头每间隔一定的时长会采集一次拍摄画面，并根据采集的拍摄画面生成一张视频图像帧，这些视频图像帧按照顺序进行存储，形成一个连续的图像帧序列，这连续的图像帧序列就构成一个视频。例如，摄像头每0.2秒钟采集一次当前拍摄画面，生成一张视频图像帧，则可以根据采集的视频图像帧生成一个连续的图像帧序列。

电子设备打开摄像头之后，拍摄视频的过程可以分为两个阶段：预览阶段和拍摄阶段。在预览阶段时，电子设备通过摄像头采集的视频图像帧不会被保存，用户只能查看当前获取的视频图像帧；在拍摄阶段时，电子设备通过摄像头采集的视频图像帧会被保存，完成拍摄后，用户可以对保存的视频图像帧进行查看。具体地，电子设备在检测到拍摄开始指令时，进入拍摄阶段，检测到拍摄结束指令时，结束拍摄阶段，然后将拍摄阶段中获取的视频图像帧进行保存。

步骤204，若识别第一视频图像帧中的背景区域图像为隐私场景，则提取第一视频图像帧中除背景区域图像之外的前景区域图像。

在对视频进行传输的过程中，可以获取待传输视频中任意一帧视频图像帧作为第一视频图像帧，并对获取的第一视频图像帧进行场景检测。具体地，可以将视频图像帧划分为背景区域图像和前景区域图像，背景区域图像是指视频图像帧中背景物体所在的区域。前景区域图像是指视频图像帧中拍摄主体所在的区域。举例来说，假设通过固定的摄像头在交通场景下连续拍摄几张图像，那么车辆就是被拍摄的主体，公路就是拍摄的背景物体，也就是说公路所在的区域就属于背景区域，车辆所在的区域就属于前景区域。

在一个实施例中，场景检测是指对图像的拍摄场景进行识别，拍摄场景可以但不限于是办公室场景、室外场景、卧室场景、客厅场景、餐厅场景等。隐私场景是指比较私密的场景，例如，办公室中可能会涉及到公司的机密信息，卧室中可能涉及到个人比较私密的信息，那么就可以认为办公室场景和卧室场景为私密场景。具体地，可以预先将背景区域图像划分为至少两个拍摄场景，并定义哪些拍摄场景为隐私场景。获取到第一视频图像帧之后，对第一视频图像帧中的背景区域图像的拍摄场景进行检测，并判断背景区域图像的拍摄场景是否属于隐私场景。例如，定义办公室场景、卧室场景为隐私场景，其他的未非隐私场景。那么如果识别到视频图像帧的拍摄场景为办公室场景或卧室场景时，就判定该视频图像帧的背景区域图像为隐私场景。

对背景区域图像进行场景识别时，可以将背景区域图像单独提取出来进行场景识别处理，也可以对视频图像帧进行场景识别处理。场景识别处理可以但不限于是通过人工智能(Artificial Intelligence，AI)进行的，即将视频图像帧或背景区域图像输入到场景识别模型中，场景识别模型就会识别出对应的拍摄场景。具体地，提取视频图像帧中的背景区域图像和前景区域图像的方法可以但不限于包括：人工智能、高斯背景建模法、光流检测法、帧间差分法等。

步骤206，获取背景替换图像，并将背景替换图像与前景区域图像进行合成得到目标视频图像帧。

在本申请提供的实施例中，背景替换图像是指替换视频图像帧中的背景区域图像的图像。当检测到背景区域图像为隐私场景时，将背景替换图像和前景区域图像进行合成，就可以通过背景替换图像替代原来的第一视频图像帧中的背景区域图像，从而防止背景区域图像中隐私信息的泄露。例如，电子设备可以预先存储一张背景替换图像，在检测到背景区域图像为隐私场景时，就将视频图像帧中的前景区域图像抠出来，然后将前景区域图像与替换背景图像进行合成。

图像是由一个二维的像素点矩阵构成的，图像的尺寸可以通过每一个横向方向和纵向方向上的像素点的数量进行表示。例如，图像的尺寸可以表示为320*640，则表示该图像在每一个横向方向上有320个像素点，每一个纵向方向上有640个像素点。可以理解的是，背景替换图像和视频图像帧的尺寸是一样的，这样才能够保证背景替换后图像的尺寸不变。像素点在图像中可以通过一个二维的坐标进行表示，则在提取视频图像帧中的前景区域图像之后，可以获取前景区域图像对应的位置坐标。由于背景替换图像与视频图像帧的尺寸是一样的，那么可以认为背景替换图像和视频图像帧处于同一个坐标系中。在获取到背景替换图像之后，就可以在背景替换图像中根据该位置坐标找到前景区域图像在视频图像帧中的相应位置，然后将前景区域图像与背景替换图像进行结合生成目标视频图像帧。

步骤208，将目标视频图像帧发送给视频接收端。

在获取到目标视频图像帧之后，将目标视频图像帧发送给视频接收端，那么用户在视频接收端查看的视频就是替换背景后的视频，这样可以隐藏原来的隐私背景，防止信息的泄露。

上述实施例提供的视频处理方法，获取第一视频图像帧，先对第一视频图像帧的背景区域图像进行场景检测。若检测到背景区域图像的场景为隐私场景，则提取第一视频图像帧中的前景区域图像。然后将前景区域图像与背景替换图像合成得到目标视频图像帧，并将目标视频图像帧发送给视频接收端。这样在视频传输的过程中，就可以对视频中的拍摄场景进行检测，若视频的拍摄场景涉及到隐私的话，就可以对隐私进行处理，防止隐私泄露，提高视频传输的安全性。

图3为另一个实施例中视频处理方法的流程图。如图3所示，该视频处理方法包括步骤302至步骤310。其中：

步骤302，获取第一视频图像帧。

具体地，在视频通话过程中，用户可以通过电子设备实时获取视频并将视频进行实时传输，从而实现即时通讯的功能。假设在视频通话过程中，发送视频的一方为视频发送端，接收视频的一方为视频接收端。则可以在视频通话过程中，获取视频发送端生成的第一视频图像帧，并将获取的第一视频图像帧进行处理。

步骤304，若识别第一视频图像帧中的背景区域图像为隐私场景，则检测背景区域图像中是否包含隐私信息。

对第一视频图像帧进行场景识别，若检测到第一视频图像帧中的背景区域图像为隐私场景，则说明该背景区域图像中可能存在隐私信息。其中，隐私信息是指涉及私密或机密的信息。例如办公室里面可能有比较机密的文件、卧室里面可能存在涉及个人隐私的物品、实验室里面可能涉及高机密的实验数据等。可以理解的是，隐私场景中可能存在私密信息，也可能不存在私密信息。那么在识别第一视频图像帧中的背景区域图像为隐私场景之后，可以对背景区域图像中的信息进行识别，判断该背景区域图像中是否存在隐私信息。

步骤306，若背景区域图像中包含隐私信息，则提取第一视频图像帧中除背景区域图像之外的前景区域图像。

具体地，可以将背景区域图像从第一视频图像帧中提取出来，然后对背景区域图像进行隐私信息的检测。电子设备中可以预先设置检测隐私信息的隐私检测算法，然后根据该隐私检测算法检测背景区域图像中的隐私信息。不同拍摄场景对应的隐私信息的检测算法可以不同。例如，在办公室场景中可以认为涉及文字的信息为隐私信息，那么就可以在办公室场景下的背景区域图像进行文字检测，若检测到文字信息，则认为该背景区域图像中存在隐私信息。在卧室场景下的背景区域图像就可以对私人物品进行检测，若检测到包含私人物品，则认为该背景区域图像中存在隐私信息。

步骤308，获取背景区域图像的区域面积，并根据区域面积确定图像获取方式。

在一个实施例中，视频图像帧中包含背景区域图像和前景区域图像，背景区域图像和前景区域图像都是由视频图像帧中的若干个像素点构成的，在将视频图像帧中的背景区域图像和前景区域图像分割了之后，可以获取背景区域图像的区域面积。区域面积可以通过背景区域图像中包含的像素点的数量进行表示，也可以通过背景区域图像占视频图像帧的面积比例进行表示，在本实施例中不进行限定。

可以理解的是，视频图像帧的面积大小是固定不变的，那么背景区域图像的区域面积越大，就说明前景区域图像的区域面积越小。当背景区域图像的面积越小时，说明背景区域图像中信息被泄露的可能性越小，则可以采用计算速度相对更快，安全性相对较低的方式来获取背景区域图像；相反，则说明背景区域图像中信息被泄露的可能性越大，则可以采用计算速度相对比较慢，但是安全性更高的方式来获取背景区域图像。

电子设备中可以预先设定获取背景替换图像的多种图像获取方式，并建立背景区域图像的区域面积与图像获取方式的对应关系，然后根据该区域面积可以获取对应的图像获取方式。举例来说，当区域面积大于一定阈值时，可以对背景区域图像进行模糊程度较大的模糊处理，得到背景替换图像，这样计算速度更快；当区域面积小于该阈值时，就可以对背景区域图像进行模糊程度较小的模糊处理，得到背景替换图像，这样安全性就会更高。

步骤310，根据该图像获取方式，获取背景替换图像。

根据背景区域图像的区域面积获取对应的图像获取方式，并根据该图像获取方式来获取背景替换图像。具体地，获取背景替换图像可以但不限于包括以下方式中任意一种：获取预先存储的背景替换图像；获取当前视频通话的通话参数，并根据通话参数获取背景替换图像；获取前景区域图像的前景属性参数，并根据前景属性参数获取背景替换图像；将背景区域图像进行模糊处理，得到背景替换图像。

其中，通话参数是指视频通话过程中的相关参数，具体可以是通话开始时刻、当前通话时刻、通话时长、通话地点等参数。电子设备中预先设置根据通话参数获取背景替换图像的算法，谈后根据通话参数即可获取对应的背景替换图像。例如，可以将一天划分为六个时间段：00：00～5:00、05：00～7:00、07：00～12:00、12：00～17:00、17：00～19:00、19：00～24:00，则电子设备中可以预先存储六张在同一室外场景下在不同时间段获取的图像。首先确定当前通话时刻处于哪一个时间段，然后再获取该时间段对应的该室外场景下的图像，作为背景替换图像。这样可以根据通话参数的变化，获取相应的背景替换图像，提高了图像获取的准确性。

在一个实施例中，前景属性参数是指表示前景物体对应的属性的相关参数。例如，若前景为人的话，则前景属性参数可以包括年龄、性别、人物标识等信息。其中，人物标识用于唯一标识一个人像。获取到前景属性参数之后，可以根据前景属性参数获取背景区域图像。例如，当识别到前景为女性的话，则获取商场的图像作为背景替换图像；当时别到前景为男性的话，可以获取篮球场的图像作为背景替换图像。

在本申请提供的实施例中，提取前景区域图像之前还包括：

步骤402，获取目标用户标识，目标用户标识用于标识在视频接收端进行视频通话的用户。

在一个实施例中，当视频发送端向视频接收端发送视频的时候，需要通过目标用户标识来标记视频接收端，并根据该目标用户标识来查找对应接收该视频的视频接收端。具体地，当用户使用电子设备进行视频通话的时候，用户可以通过账户来登录该电子设备，则用户账号与电子设备就是一一对应的关系。服务器上可以记录用户账号与电子设备的设备标识的对应关系，根据用户账号可以查找对应的电子设备。目标用户标识用于标识在视频接收端进行视频通话的用户，则提取前景区域图像包括：

步骤404，若目标用户标识在用户白名单中不存在，则提取第一视频图像帧中除背景区域图像之外的前景区域图像，用户白名单用于存储允许查看隐私场景的用户所对应的用户标识。

视频发送端可以预先存储用户白名单，用户白名单用于存储允许查看隐私场景的用户所对应的用户标识。则视频发送端可以获取目标用户标识，并将目标用户标识与用户白名单中的用户标识进行比较。若目标用户标识在用户白名单中存在，则说明该隐私场景是允许该目标用户查看的。若目标用户标识在用户白名单中不存在，则说明该隐私场景是不允许该目标用户查看的，就可以将该第一视频图像帧中的背景区域图像进行替换。

具体地，可以对不同的隐私场景设置不同的用户白名单。例如，办公室场景下，用户白名单中存储的是所有同事对应的用户标识；在卧室场景下，用户白名单中存储的是家人对应的用户标识。则可以获取背景区域图像的隐私场景类型，并获取隐私场景类型对应的用户白名单。电子设备可以自动生成用户白名单，也可以通过用户手动设置用户白名单。例如，用户白名单可以与即时通讯应用程序进行绑定，即时通讯应用程序中可以对用户进行不同的分组，则电子设备就可以根据该分组自动生成用户白名单。

举例来说，在办公室场景下，用户白名单中存储着所有同事对应的用户标识，则在视频通话的过程中就可以获取目标用户标识。若目标用户标识在用户白名单中存在，则说明该目标用户为同事，就无需对该目标用户进行背景隐藏，即无需替换背景区域图像。若目标用户标识在用户白名单中不存在，则说明该目标用户不是同事，那么获取的第一视频图像帧中就需要对该目标用户进行背景隐藏，即将背景区域图像进行替换。

在本申请提供的其他实施例中，提取前景区域图像之前还包括：

步骤502，接收视频通话过程中视频接收端发送的第二视频图像帧，检测第二视频图像帧中的人脸图像。

可以理解的是，在视频通话过程中，电子设备在发送视频图像帧的同时还会接收视频图像帧。即视频发送端在发送第一视频图像帧的同时，也会接收视频接收端发送的第二视频图像帧。接收到第二视频图像帧之后，可以对第二视频图像帧进行人脸检测，获取第二视频图像帧中的人脸图像。具体可以通过人脸检测算法获取第二视频图像帧中的人脸区域，人脸检测算法可以包括基于几何特征的检测方法、特征脸检测方法、线性判别分析方法、基于隐马尔柯夫模型检测方法等，在此不做限定。

步骤504，若检测到的人脸图像与预设人脸图像不匹配，则提取第一视频图像帧中除背景区域图像之外的前景区域图像。

第二视频图像帧中的人脸图像即为当前视频通话的用户的人脸。电子设备可以预先采集允许查看隐私场景的用户的人脸图像，在获取到第二视频图像帧中的人脸图像之后，将第二视频图像帧中的人脸图像与预设人脸图像进行匹配。若检测到的人脸图像与预设人脸图像匹配，则允许当前视频接收端的用户查看隐私场景，则无需对第一视频图像帧中的背景进行替换；若检测到的人脸图像与预设人脸图像不匹配，说明需要对第一视频图像帧中的背景进行替换，则提取第一视频图像帧中除背景区域图像之外的前景区域图像。

在一个实施例中，电子设备可以根据不同的隐私场景类型分类存储预设人脸图像，在不同的隐私场景下，获取不同的预设人脸图像进行比对。具体地，步骤504之前还可以包括：获取背景区域图像的隐私场景类型，并获取隐私场景类型对应的预设人脸图像。

可以理解的是，第二视频图像帧中可能会包含两个或两个以上的人脸图像，则可以遍历获取的人脸图像，并将人脸图像与预设人脸图像进行比较。若存在与预设人脸图像不匹配的人脸图像，则提取第一视频图像帧中除背景区域图像之外的前景区域图像。

更进一步地，当存在多个不匹配人脸时，可以根据人脸面积对视频图像进行处理。具体地，若存在与预设人脸图像不匹配的人脸图像，则获取与预设人脸图像不匹配的人脸图像的人脸面积；若所获取的人脸面积中的最大人脸面积小于面积阈值，则提取第一视频图像帧中除背景区域图像之外的前景区域图像。

图6为一个实施例中视频处理结果的展示示意图。如图6所示，首先获取第一视频图像帧60，该第一视频图像帧60包括背景区域图像602和前景区域图像604。识别该第一视频图像帧60的背景区域图像602为卧室场景，该卧室场景为隐私场景。因此，将第一视频图像帧60中的背景区域图像602和前景区域图像604进行分割。然后获取背景替换图像622，并将背景替换图像622与前景区域图像604进行合成，得到最终的目标视频图像帧62，并将目标视频图像帧62发送给视频接收端。背景替换后得到的目标视频图像帧62中的背景替换为客厅场景，即为非隐私场景，这样减少了信息泄露。

上述实施例提供的视频处理方法，获取第一视频图像帧，先对第一视频图像帧的背景区域图像进行场景检测。若检测到背景区域图像的场景为隐私场景，则检测背景区域中是否包含隐私信息。若包含隐私信息，则提取第一视频图像帧中的前景区域图像。然后根据背景区域图像的区域面积确定图像获取方式，并根据该图像获取方式获取背景替换图像。将前景区域图像与背景替换图像合成得到目标视频图像帧，并将目标视频图像帧发送给视频接收端。这样在视频传输的过程中，就可以对视频中的拍摄场景进行检测，若视频的拍摄场景涉及到隐私的话，就可以对隐私进行处理，防止隐私泄露，提高视频传输的安全性。

应该理解的是，虽然图2到图5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2到图5中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，视频处理方法还可以包括以下步骤：

(1)获取第一视频图像帧

(2)若识别第一视频图像帧中的背景区域图像为隐私场景，则检测背景区域图像中是否包含隐私信息

(3)若背景区域图像中包含隐私信息，则获取目标用户标识，目标用户标识用于标识在视频接收端进行视频通话的用户

(4)获取背景区域图像的隐私场景类型，并获取隐私场景类型对应的用户白名单，用户白名单用于存储允许查看隐私场景的用户所对应的用户标识。

(5)若目标用户标识在用户白名单中不存在，则接收视频通话过程中视频接收端发送的第二视频图像帧，检测第二视频图像帧中的人脸图像

(6)若检测到的人脸图像与预设人脸图像不匹配，则提取第一视频图像帧中除背景区域图像之外的前景区域图像。

(7)获取背景区域图像的区域面积，并根据区域面积确定图像获取方式；根据图像获取方式，获取背景替换图像。

(8)将背景替换图像与前景区域图像进行合成得到目标视频图像帧

(9)将目标视频图像帧发送给视频接收端。

上述实施例提供的视频处理方法，获取第一视频图像帧，先对第一视频图像帧的背景区域图像进行场景检测。若检测到背景区域图像的场景为隐私场景，则提取第一视频图像帧中的前景区域图像。然后将前景区域图像与背景替换图像合成得到目标视频图像帧，并将目标视频图像帧发送给视频接收端。这样在视频传输的过程中，就可以对视频中的拍摄场景进行检测，若视频的拍摄场景涉及到隐私的话，就可以对隐私进行处理，防止隐私泄露，提高视频传输的安全性。

图7为一个实施例中视频处理装置的结构示意图。如图7所示，该视频处理装置700包括第一图像获取模块702、前景提取模块704、图像合成模块706和图像发送模块708。其中：

第一图像获取模块702，用于获取第一视频图像帧。

前景提取模块704，用于若识别所述第一视频图像帧中的背景区域图像为隐私场景，则提取所述第一视频图像帧中除背景区域图像之外的前景区域图像。

图像合成模块706，用于获取背景替换图像，并将所述背景替换图像与前景区域图像进行合成得到目标视频图像帧。

图像发送模块708，用于将所述目标视频图像帧发送给视频接收端。

上述实施例提供的视频处理装置，获取第一视频图像帧，先对第一视频图像帧的背景区域图像进行场景检测。若检测到背景区域图像的场景为隐私场景，则提取第一视频图像帧中的前景区域图像。然后将前景区域图像与背景替换图像合成得到目标视频图像帧，并将目标视频图像帧发送给视频接收端。这样在视频传输的过程中，就可以对视频中的拍摄场景进行检测，若视频的拍摄场景涉及到隐私的话，就可以对隐私进行处理，防止隐私泄露，提高视频传输的安全性。

图8为另一个实施例中视频处理装置的结构示意图。如图8所示，该视频处理装置800包括第一图像获取模块802、隐私信息获取模块804、用户标识获取模块806、第二图像接收模块808、前景提取模块810、图像合成模块812和图像发送模块814。其中：

第一图像获取模块802，用于获取第一视频图像帧。

隐私信息获取模块804，用于检测所述背景区域图像中是否包含隐私信息。

用户标识获取模块806，用于获取目标用户标识，所述目标用户标识用于标识在视频接收端进行视频通话的用户。

第二图像接收模块808，用于接收视频通话过程中视频接收端发送的第二视频图像帧，检测所述第二视频图像帧中的人脸图像。

前景提取模块810，用于若识别所述第一视频图像帧中的背景区域图像为隐私场景，则提取所述第一视频图像帧中除背景区域图像之外的前景区域图像；或，若所述背景区域图像中包含隐私信息，则提取所述第一视频图像帧中除背景区域图像之外的前景区域图像；或，若所述目标用户标识在用户白名单中不存在，则提取所述第一视频图像帧中除背景区域图像之外的前景区域图像，所述用户白名单用于存储允许查看隐私场景的用户所对应的用户标识；或，若检测到的人脸图像与预设人脸图像不匹配，则提取所述第一视频图像帧中除背景区域图像之外的前景区域图像。

图像合成模块812，用于获取背景替换图像，并将所述背景替换图像与前景区域图像进行合成得到目标视频图像帧。

图像发送模块814，用于将所述目标视频图像帧发送给视频接收端。

上述实施例提供的视频处理装置，获取第一视频图像帧，先对第一视频图像帧的背景区域图像进行场景检测。若检测到背景区域图像的场景为隐私场景，则提取第一视频图像帧中的前景区域图像。然后将前景区域图像与背景替换图像合成得到目标视频图像帧，并将目标视频图像帧发送给视频接收端。这样在视频传输的过程中，就可以对视频中的拍摄场景进行检测，若视频的拍摄场景涉及到隐私的话，就可以对隐私进行处理，防止隐私泄露，提高视频传输的安全性。

在一个实施例中，用户标识获取模块806还用于获取所述背景区域图像的隐私场景类型，并获取所述隐私场景类型对应的用户白名单。

在一个实施例中，图像合成模块812还用于获取背景区域图像的区域面积，并根据所述区域面积确定图像获取方式；根据所述图像获取方式，获取背景替换图像。

在一个实施例中，图像合成模块812还用于获取预先存储的背景替换图像；获取当前视频通话的通话参数，并根据所述通话参数获取背景替换图像；获取所述前景区域图像的前景属性参数，并根据所述前景属性参数获取背景替换图像；将所述背景区域图像进行模糊处理，得到背景替换图像。

上述视频处理装置中各个模块的划分仅用于举例说明，在其他实施例中，可将视频处理装置按照需要划分为不同的模块，以完成上述视频处理生成装置的全部或部分功能。

本申请实施例中提供的视频处理装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行视频处理方法的步骤。

一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行视频处理方法。

本申请实施例还提供一种计算机设备。上述计算机设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image SignalProcessing，图像信号处理)管线的各种处理单元。图9为一个实施例中图像处理电路的示意图。如图9所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。

如图9所示，图像处理电路包括ISP处理器940和控制逻辑器950。成像设备910捕捉的图像数据首先由ISP处理器940处理，ISP处理器940对图像数据进行分析以捕捉可用于确定和/或成像设备910的一个或多个控制参数的图像统计信息。成像设备910可包括具有一个或多个透镜912和图像传感器914的照相机。图像传感器914可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器914可获取用图像传感器914的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器940处理的一组原始图像数据。传感器920(如陀螺仪)可基于传感器920接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器940。传感器920接口可以利用SMIA(Standard Mobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。

此外，图像传感器914也可将原始图像数据发送给传感器920，传感器920可基于传感器920接口类型把原始图像数据提供给ISP处理器940，或者传感器920将原始图像数据存储到图像存储器930中。

ISP处理器940按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器940可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

ISP处理器940还可从图像存储器930接收图像数据。例如，传感器920接口将原始图像数据发送给图像存储器930，图像存储器930中的原始图像数据再提供给ISP处理器940以供处理。图像存储器930可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自图像传感器914接口或来自传感器920接口或来自图像存储器930的原始图像数据时，ISP处理器940可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器930，以便在被显示之前进行另外的处理。ISP处理器940从图像存储器930接收处理数据，并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器940处理后的图像数据可输出给显示器970，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器940的输出还可发送给图像存储器930，且显示器970可从图像存储器930读取图像数据。在一个实施例中，图像存储器930可被配置为实现一个或多个帧缓冲器。此外，ISP处理器940的输出可发送给编码器/解码器960，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器970设备上之前解压缩。编码器/解码器960可由CPU或GPU或协处理器实现。

ISP处理器940确定的统计数据可发送给控制逻辑器950单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜912阴影校正等图像传感器914统计信息。控制逻辑器950可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备910的控制参数及ISP处理器940的控制参数。例如，成像设备910的控制参数可包括传感器920控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜912控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜912阴影校正参数。

以下为运用图9中图像处理技术实现上述实施例提供的视频处理方法。

本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种视频处理方法，其特征在于，所述方法包括：

获取第一视频图像帧；

若识别所述第一视频图像帧中的背景区域图像为隐私场景，则提取所述第一视频图像帧中除背景区域图像之外的前景区域图像；

获取背景替换图像，并将所述背景替换图像与前景区域图像进行合成得到目标视频图像帧；

将所述目标视频图像帧发送给视频接收端。

2.根据权利要求1所述的方法，其特征在于，所述提取所述第一视频图像帧中除背景区域图像之外的前景区域图像，包括：

检测所述背景区域图像中是否包含隐私信息；

若所述背景区域图像中包含隐私信息，则提取所述第一视频图像帧中除背景区域图像之外的前景区域图像。

3.根据权利要求1所述的方法，其特征在于，所述提取所述第一视频图像帧中除背景区域图像之外的前景区域图像之前，还包括：

获取目标用户标识，所述目标用户标识用于标识在视频接收端进行视频通话的用户；

所述提取所述第一视频图像帧中除背景区域图像之外的前景区域图像，包括：

若所述目标用户标识在用户白名单中不存在，则提取所述第一视频图像帧中除背景区域图像之外的前景区域图像，所述用户白名单用于存储允许查看隐私场景的用户所对应的用户标识。

4.根据权利要求3所述的方法，其特征在于，所述若所述目标用户标识在用户白名单中不存在，则提取所述第一视频图像帧中除背景区域图像之外的前景区域图像之前，还包括：

获取所述背景区域图像的隐私场景类型，并获取所述隐私场景类型对应的用户白名单。

5.根据权利要求1所述的方法，其特征在于，所述提取所述第一视频图像帧中除背景区域图像之外的前景区域图像之前，还包括：

接收视频通话过程中视频接收端发送的第二视频图像帧，检测所述第二视频图像帧中的人脸图像；

所述提取所述第一视频图像帧中除背景区域图像之外的前景区域图像，包括：

若检测到的人脸图像与预设人脸图像不匹配，则提取所述第一视频图像帧中除背景区域图像之外的前景区域图像。

6.根据权利要求1所述的方法，其特征在于，所述获取背景替换图像，包括：

获取背景区域图像的区域面积，并根据所述区域面积确定图像获取方式；

根据所述图像获取方式，获取背景替换图像。

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述获取背景替换图像包括以下方式中的任意一种：

获取预先存储的背景替换图像；

获取当前视频通话的通话参数，并根据所述通话参数获取背景替换图像；

获取所述前景区域图像的前景属性参数，并根据所述前景属性参数获取背景替换图像；

将所述背景区域图像进行模糊处理，得到背景替换图像。

8.一种视频处理装置，其特征在于，所述装置包括：

第一图像获取模块，用于获取第一视频图像帧；

前景提取模块，用于若识别所述第一视频图像帧中的背景区域图像为隐私场景，则提取所述第一视频图像帧中除背景区域图像之外的前景区域图像；

图像合成模块，用于获取背景替换图像，并将所述背景替换图像与前景区域图像进行合成得到目标视频图像帧；

图像发送模块，用于将所述目标视频图像帧发送给视频接收端。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法。

10.一种计算机设备，包括存储器及处理器，所述存储器中储存有计算机可读指令，所述指令被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述的方法。