CN109803172B - 一种直播视频的处理方法、装置及电子设备 - Google Patents

Abstract

本发明公开了一种直播视频的处理方法、装置及电子设备，属于计算机技术领域，其中，直播视频的处理方法包括：获取直播视频图像和源视频图像，所述直播视频图像中包括视频显示设备，所述源视频图像为在所述视频显示设备中显示的视频图像；确定所述直播视频图像中所述视频显示设备所对应的显示区域；确定所述显示区域中的待替换区域；将所述源视频图像中与所述待替换区域对应的视频图像替换至所述待替换区域中，得到输出的视频图像。本发明避免了直播视频中视频显示设备的显示区域出现的反光、阴影、模糊等失真现象，提高了观看视频的体验效果。

Description

一种直播视频的处理方法、装置及电子设备

技术领域

本发明涉及计算机技术领域，特别涉及一种直播视频的处理方法、装置及电子设备。

背景技术

随着互联网技术的发展，在线教学模式已逐渐被人们所接受，在线教学是指老师在直播教室中进行授课，通过摄像头直播其授课视频到互联网上，学生可以通过互联网在不同地点、不同时间使用终端设备进行听课学习的一种教学方式。一般，直播教室中部署有智能授课终端，例如智能授课电视，该智能授课终端可以提供电子黑板、PowerPoint、课件以及动画等功能以辅助老师的教学活动。

在实现本发明的过程中，现有技术至少存在以下问题：

相关技术中的在线教学过程使用摄像头将老师以及老师使用的智能授课终端拍摄下来，学生在直接通过摄像头的拍摄画面观看老师授课时，由于智能授课终端的显示画面在拍摄过程中常会出现反光、阴影、模糊等失真现象，降低了学生的观看体验以及在线教学的效果。

发明内容

为了解决现有技术的问题，本发明实施例提供了一种直播视频的处理方法、装置及电子设备。所述技术方案如下：

一方面，提供了一种直播视频的处理方法，所述方法包括：

获取直播视频图像和源视频图像，所述直播视频图像中包括视频显示设备，所述源视频图像为在所述视频显示设备中显示的视频图像；

确定所述直播视频图像中所述视频显示设备所对应的显示区域；

确定所述显示区域中的待替换区域；

将所述源视频图像中与所述待替换区域对应的视频图像替换至所述待替换区域中，得到输出的视频图像。

另一方面，提供了一种直播视频的处理装置，所述装置包括：

第一获取模块，用于获取直播视频图像和源视频图像，所述直播视频图像中包括视频显示设备，所述源视频图像为在所述视频显示设备中显示的视频图像；

显示区域确定模块，用于确定所述直播视频图像中所述视频显示设备所对应的显示区域；

待替换区域确定模块，用于确定所述显示区域中的待替换区域；

替换模块，用于将所述源视频图像中与所述待替换区域对应的视频图像替换至所述待替换区域中。

另一方面，提供了一种电子设备，包括：

处理器，适于实现一条或一条以上指令；以及，

存储器，所述存储器存储有一条或一条以上指令，所述一条或一条以上指令适于由所述处理器加载并执行上述的直播视频的处理方法。

另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述的直播视频的处理方法。

本发明实施例提供的技术方案带来的有益效果是：

本发明实施例通过获取直播视频图像和源视频图像，该直播视频图像中包括视频显示设备，该源视频图像为在视频显示设备中显示的视频图像，然后从直播视频图像中确定视频显示设备所对应的显示区域，确定该显示区域中的待替换区域，将源视频图像中与待替换区域对应的图像替换至待替换区域中，从而得到输出的视频图像，由于该输出的视频图像中对应于待替换区域的图像为高清的源视频图像，从而提高了输出的视频图像中的视频显示设备的显示区域的画质，避免了直播视频中视频显示设备的显示区域出现的反光、阴影、模糊等失真现象，提高了观看视频的体验效果。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种直播视频的处理方法的流程示意图；

图2是本发明实施例提供的在线教学场景的一个示意图；

图3a是本发明实施例提供的确定所述显示区域中的待替换区域的一种流程示意图；

图3b是本发明实施例提供的确定所述显示区域中的待替换区域的另一种流程示意图；

图4是本发明实施例提供的获取源视频图像中与第一像素点对应的第二像素点的颜色值的一种流程示意图；

图5是本发明实施例提供的偏色变换函数曲线的一种流程示意图；

图6是本发明实施例提供的得到输出的视频图像的显示区域的示意图；

图7是本发明实施例提供的在线教学场景的直播视频的处理的示意图；

图8是本发明实施例提供的一种直播视频的处理装置的结构示意图；

图9是本发明实施例提供的待替换区域确定模块的结构示意图；

图10是本发明实施例提供的第三获取模块的结构示意图；

图11是本发明实施例提供的替换模块的结构示意图；

图12是本发明实施例提供的显示区域确定模块的结构示意图；

图13是本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

请参考图1，其所示为本发明实施例提供的一种直播视频的处理方法的流程示意图，需要说明的是，本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或电子设备产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图1所示，所述方法包括：

步骤101，获取直播视频图像和源视频图像，所述直播视频图像中包括视频显示设备，所述源视频图像为在所述视频显示设备中显示的视频图像。

在本说明书实施例中，直播视频图像可以是通过设置在直播区域的摄像头拍摄的视频流，该直播视频图像可以为摄像头拍摄的视频流中的一帧图像，也可以为多个连续帧的图像。

需要说明的是，摄像头拍摄的直播区域中部署有视频显示设备，该视频显示设备用于显示需要播放的视频流即视频图像，而本说明书实施例中的源视频图像即为将要在该视频显示设备中显示的视频流即视频图像。该源视频图像可以是将要在视频显示设备中显示的视频流中的一帧图像，也可以是多个连续帧的图像。

在一个具体应用场景中，如在线教学的场景中，直播区域可以是专门用于直播老师授课的直播教室，该直播教室中部署了作为辅助教学用的智能终端以及用于拍摄直播视频的摄像头，其中，智能终端可以是智能电视、个人电脑等等，该智能终端用于显示辅助教学用的视频图像，例如，该视频图像可以是PowerPoint、电子课件等等。摄像头在拍摄直播视频时可以将授课老师以及智能终端的显示区域同时拍摄，如此，学生在听授课老师讲解的同时还能借助智能终端的显示区域显示的内容辅助理解。具体的，请参见图2，其所示为在线教学场景的一个示意图。

在实际应用中，由于直播区域的摄像头的设置位置以及拍摄角度问题，拍摄的直播视频图像常常存在倾斜畸变，即不是规则的矩形图像，例如为梯形图像，因此，在获取到直播视频图像之后，需要对该直播视频图像进行校正处理，以得到校正后的直播视频图像。

具体的，当拍摄的直播视频图像为梯形图像时，可以采用梯形校正方法进行校正，该梯形校正方法可以包括图像增强、边缘检测、轮廓提取以及畸变校正等步骤，其中，图像增强可以使用直方图均匀化对图像进行增强，以使得图像对比度得到明显增强，边缘更加清晰，便于下一步的边缘检测；在边缘检测中可以采用水平梯度算子进行图像的水平边缘的检测；轮廓提取是提取图像中的物体上下两侧的两条直线，可以采用Radon变换来进行轮廓提取；畸变校正可以采用畸变校正矩阵的方法，畸变校正矩阵方法中的几何变换过程可以用双线性方程表示为：

x′_i＝k₁x_i+k₂y_i+k₃x_iy_i+k₄y′_i＝k₅x_i+k₆y_i+k₇x_iy_i+k₈

其中，(x_i,y_i)为畸变图像的四个顶点的坐标，(x_i’,y_i’)为校正图像的四个顶点的坐标，[k₁,k₂,k₃,k₄,k₅,k₆,k₇,k₈,1]^T组成畸变校正矩阵，基于该畸变校正矩阵即可得到校正后的图像。

当然，上述只是对直播视频图像进行校正处理的一个示例，实际应用中还可以采用其它的校正方法进行直播视频图像的校正，本发明对此不作具体限定。

步骤103，确定所述直播视频图像中所述视频显示设备所对应的显示区域。

具体的，可以基于上述校正后的直播视频图像，确定该校正后的直播视频图像中的视频显示设备所对应的显示区域，即直播视频图像中的视频显示设备的显示屏范围在该直播视频图像中所对应的区域。如图7所示，当视频显示设备前被物体如人遮挡时，直播视频图像中的视频显示设备所对应的显示区域包括两部分区域，一部分区域是直播视频图像中可见的视频显示设备本身的显示屏部分区域，另一部分是位于显示屏位置的物体的部分区域。

在确定校正后的直播视频图像中的视频显示设备所对应的显示区域时，可以结合OpenCV(open source computer vision library，开放源代码计算机视觉类库)提供的响应处理函数和回调函数将显示区域在校正后的直播视频图像中框选出，也可以采用自动识别方法将图像中的显示区域识别出来，本发明对此不作具体限定。

步骤105，确定所述显示区域中的待替换区域。

在本说明书实施例中，待替换区域为需要进行图像替换的区域，该待替换区域可以为整个显示区域，也可以为显示区域的一部分，需要结合显示区域的实际情况确定，在图2中，由于显示区域包括位于视频显示设备前方的人体部分，因此，图2的直播视频图像中的待替换区域为显示区域的一部分。

具体的，确定所述显示区域中的待替换区域的方法可以采用图3a所示的方法，如图3a所示，该方法可以包括：

步骤301，获取所述显示区域的第一像素点的颜色值。

具体的，第一像素点为所述显示区域中的任意像素点，像素点的像素可以采用256位色、16位色、24位色或者32位色来表示，其中256色是指将肉眼能够分辨的颜色分为256个区间，用0到255(8位2进制)来表现；16位色是指使用4位二进制数作为颜色索引值，从而用16种色彩来表现图像，发色颜色总数是2的16次方色；24位色又称为24位真彩色，可以达到人眼分辨的极限，颜色总数是2的24次方色；32位色，其颜色总数也是2的24次方色，但增加了8位透明度，即256阶颜色的灰度。

RGB(Red Green Blue，红绿蓝)颜色模式是工业界的一种颜色标准，通过R、G、B三原色的变化以及他们之间的叠加来得到各式各样的颜色；RGB颜色模式几乎包括了人类视力所能感知的所有颜色，是目前应用最广的颜色系统之一。在RGB颜色模式中，R、G和B均用一个十六进制符号来定义，每种颜色的最小值是0，最大值是255。

在本说明书实施例中，像素点的颜色值可以采用RGB颜色模式的颜色值，获取像素点的颜色值的方法，例如可以采用位图(Bitmap)中的获取图像(getPixels)函数来实现，其中，getPixels函数可以表示为：getPixels(pixels,offset,stride,x,y,width,height)，其中，Pixels表示基于图像(这里为显示区域)获取的位图颜色值的数组；offset表示所读取的第一个像素索引值；stride表示行间距个数值；x表示所读取的第一个像素的x坐标值；y表示所读取的第一个像素的y坐标值；width表示从每一行中读取的像素宽度；height表示读取的行数。

应理解的，上述的获取像素点的颜色值的方法仅为示例性说明，实际应用中，还可以通过其他方法来获取显示区域的像素点的颜色值，例如可以通过各像素点的其他参数来获取，如可以将ARGB转换为颜色值，本发明对此不作限定。

步骤303，判断所述第一像素点的颜色值是否在所述视频显示设备的预设显示颜色区间。

在本说明书实施例中，直播视频图像中包括视频显示设备所显示的视频图像以及非视频显示设备所显示的图像，为了将直播视频图像中的视频图像即视频显示设备所显示的视频图像，以及直播视频图像中的非视频图像即不是视频显示设备所显示的图像进行区分，需要在进行直播视频拍摄之前，对视频显示设备的显示颜色进行预先设置，以使得在进行直播视频拍摄时，视频显示设备所显示的显示颜色在预设显示颜色区间。

具体的，设置视频显示设备的显示颜色为预设显示颜色区间可以为将视频显示设备的显示颜色中的红色通道的亮度值调整到最低值，该最低值为视频显示设备允许的显示颜色中红色通道的亮度值的最小数值，一般可以是零，并将显示颜色中的绿色通道的亮度值和蓝色通道的亮度值调整至预设阈值范围内，该预设阈值范围一般不包括零，例如，可以将预设阈值范围设置为80～255的亮度区间，即设置好的预设显示颜色区间可以表示为[0,G_min,B_min]～[0,G_max,B_max]，其中，G_min与B_min可以相同(如均为80)也可以不同，G_max与B_max可以相同(如均为255)也可以不同。

在本说明书实施例中，获取显示区域的像素点的颜色值后，可以将该像素点的颜色值与视频显示设备的预设显示颜色区间进行比对，以判断该像素点的颜色值是否在视频显示设备的预设显示颜色区间内，当判断的结果为是时，可以执行步骤305，否则，执行步骤313。

步骤305，确定所述第一像素点是所述待替换区域的像素点。

具体的，当判断的结果为显示区域当前的像素点的颜色值在视频显示设备的预设显示颜色区间时，可以确定当前的像素点即第一像素点为视频显示设备显示的图像在显示区域中的像素点，即可以确定该第一像素点为待替换区域的像素点。

在确定完显示区域中的所有像素点后，可以执行步骤315，即根据所述是所述待替换区域的像素点，确定所述待替换区域。

具体的，基于所有的是待替换区域的像素点可以得到对应的连通域，该连通域即为待替换区域。

然而，直接根据显示区域的像素点的颜色值来确定该像素点为待替换区域的像素点存在一定的不稳定性，例如在图2中，其中的人位于显示区域内，当人所穿的衣服的颜色落入预设显示颜色区间时，直接根据显示区域的像素点的颜色值进行判断的结果为人的衣服的区域的像素点是待替换区域的像素点，显然，这个判断结果是不正确的，直播视频图像中的人的衣服的区域对应的像素点并不是视频显示设备显示的图像在显示区域的像素点。

鉴于此，为了提高待替换区域确定的准确性和稳定性，参见图3b，本说明书实施例中，在确定第一像素点是待替换区域的像素点之前，还可以包括以下步骤：

步骤307，获取所述源视频图像的第二像素点的颜色值，所述第二像素点与所述第一像素点相对应。

具体的，当判断的结果为直播视频图像中的显示区域的第一像素点的颜色值在视频显示设备的预设显示颜色区间后，进一步获取源视频图像中与第一像素点对应的第二像素点的颜色值。

在一个具体实施方式中，可以采用图4所示的方法来获取源视频图像中与第一像素点对应的第二像素点的颜色值，如图4所示，该方法可以包括：

步骤401，根据所述显示区域对所述源视频图像进行图像变换，得到变换后的源视频图像。

由于源视频图像的分辨率与显示区域的分辨率常常是不一致的，因此，在确定二者对应的像素点之前需要对图像进行分辨率的变换，以使得变换后的图像的分辨率相同。

在本说明书实施例中，根据显示区域的分辨率对源视频图像进行图像变换，以使得变换后的源视频图像的分辨率与显示区域的分辨率相同。具体的，可以基于SITF(Scale-invariant feature transform，尺度不变特征变换)算法对源视频图像进行图像变换，SITF是用于图像处理领域的一种描述，用来侦测与描述影像中的局部性特征，它在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变量。SIFT算法就是用不同尺度(标准差)的高斯函数对图像进行平滑，然后比较平滑后图像的差别，差别大的像素就是特征明显的点，它能同时处理亮度、平移、旋转、尺度的变化，利用特征点来提取特征描述符，最后在特征描述符之间寻找匹配。

应理解的，对源视频图像进行图像变换的方法不限于上述的SIFT算法，还可以根据需要采用其他的算法，本发明对此不作具体限定。

在本说明书实施例中，经过图像变换后的源视频图像的分辨率与显示区域的分辨率相同。

步骤403，获取所述显示区域中所述第一像素点的位置信息。

具体的，第一像素点的位置信息可以为该像素点的位置坐标，例如，可以以显示区域的一个顶角为坐标原点，显示区域的横向方向为x轴，显示区域的竖向方向为y轴建立直角坐标系，根据该直角坐标系可以确定显示区域内的各个像素点的位置坐标。

步骤405，确定所述变换后的源视频图像中与所述第一像素点的位置信息相对应的像素点，所述与所述第一像素点的位置信息相对应的像素点记为所述第二像素点。

具体的，可以在变换后的源视频图像中建立与显示区域对应的直角坐标系，在该直角坐标系中查找与第一像素点的位置坐标具有相同坐标的像素点，该像素点即为与第一像素点对应的第二像素点。

步骤407，获取所述第二像素点的颜色值。

具体的获取第二像素点的颜色值的方法可以参照前述获取第一像素点的颜色值的方法，在此不再赘述。

步骤309，根据预设偏色变换规则对所述第二像素点的颜色值进行偏色变换，得到所述第二像素点的变换颜色值。

在本说明书实施例中，预设偏色变换规则用于将第二像素点的颜色值变换至视频显示设备的预设显示颜色区间。该预设偏色变换规则可以是预先设置的偏色变换函数曲线，如图5所示，该偏色变换函数曲线可以表示为：

其中，i为第二像素点；G_i，B_i分别为偏色变换前，第二像素点的颜色值中的绿色颜色值分量以及蓝色颜色值分量；R′_i，G′_i，B′_i分别为偏色变换后，第二像素点的变换颜色值中的红色颜色值分量、绿色颜色值分量以及蓝色颜色值分量；p₁和p₂分别对应于绿色变换曲线斜率和蓝色变换曲线斜率；q₁和q₂分别对应于绿色变换曲线起始点和蓝色变换曲线起始点；R₀为固定的红色颜色值分量，一般R₀可以为0。

在上述偏色变换曲线中，输入变量为偏色变换前的第二像素点的颜色值，输出变量为偏色变换后的第二像素点的变换颜色值的各个颜色值分量，[R′_i,G′_i,B′_i]即为第二像素点的变换颜色值。

需要说明的是，上述只是给出了偏色变换函数的一个示例，实际应用中还可以根据需要设置为其它能够将第二像素点的颜色值变换至视频显示设备的预设显示颜色区间的函数。

步骤311，判断所述第一像素点的颜色值是否与所述第二像素点的变换颜色值相匹配。

具体的，在根据预设偏色变换规则得到第二像素点的变换颜色值之后，将该第二像素点的变换颜色值与第一像素点的颜色值进行比对，以判断二者是否相匹配，当判断的结果为是时，可以执行步骤305，否则，执行步骤313。

需要说明的是，当第二像素点的变换颜色值与第一像素点的颜色值相同时，可以认为二者相匹配；当第二像素点的变换颜色值与第一像素点的颜色值的差值在一个允许的容差范围内时，也可以认为二者相匹配。

步骤313，确定所述第一像素点不是所述待替换区域的像素点。

具体的，当判断的结果为第一像素点的颜色值不在视频显示设备的预设显示颜色区间时，可以确定第一像素点不是待替换区域的像素点。

当判断的结果为第二像素点的变换颜色值与第一像素点的颜色值不匹配时，也可以确定第一像素点不是待替换区域的像素点。

在本说明书实施例中，通过前述的各个步骤可以确定显示区域内属于待替换区域的像素点，以及不属于待替换区域的像素点。

步骤315，根据所述是所述待替换区域的像素点，确定所述待替换区域。

具体的，基于所有的是待替换区域的像素点可以得到对应的连通域，该连通域即为待替换区域。

步骤107，将所述源视频图像中与所述待替换区域对应的视频图像替换至所述待替换区域中，得到输出的视频图像。

在本说明书实施例中，在将源视频图像中与待替换区域对应的视频图像替换至待替换区域中时，可以基于图像变换后，与显示区域具有相同分辨率的变换后的源视频图像。虽然变换后的源视频图像的清晰度相对于图像变换前的源视频图像的清晰度可能会有所降低，但是仍然会比摄像头拍摄的直播视频图像的显示区域所呈现的图像的清晰度要高很多，而且不存在反光以及阴影的问题。

举例而言，假设直播视频图像为摄像头拍摄的直播视频中的一帧图像，直播视频图像中的显示区域的分辨率为2*2，源视频图像为与直播视频图像中对应帧的图像，经过变换后的源视频图像的分辨率与显示区域的分辨率相同也为2*2，如图6所示，直播视频图像中的显示区域包括像素点1B、2B、3B、4B，变换后的源视频图像包括像素点1A、2A、3A、4A，其中相同阿拉伯数字的像素点为两个图像中的对应的像素点。

对于1B像素点：1B像素点的颜色值在视频显示设备的预设显示颜色区间，且1A像素点的颜色值经过偏色变换后与1B像素点的颜色值相匹配，则将1B像素点确定为待替换区域的像素点。

对于2B像素点：2B像素点的颜色值在视频显示设备的预设显示颜色区间，且2A像素点的颜色值经过偏色变换后与2B像素点的颜色值相匹配，则将2B像素点确定为待替换区域的像素点。

对于3B像素点：3B像素点的颜色值不在视频显示设备的预设显示颜色区间，则将3B像素点确定为不是待替换区域的像素点。

对于4B像素点：4B像素点的颜色值在视频显示设备的预设显示颜色区间，但是，4A像素点的颜色值经过偏色变换后与4B像素点的颜色值不匹配，则将4B像素点确定为不是待替换区域的像素点。

如上，直播视频图像中的显示区域的四个像素点中1B、2B为待替换区域的像素点，3B、4B不是待替换区域的像素点，那么最终输出的视频图像中的显示区域所包含的像素点为1A、2A、3B、4B，如图6所示。

具体的，该步骤中可以先生成显示区域的遮罩图片，该遮罩图片中对应于待替换区域为透明，该遮罩图片中对应于待替换区域之外的区域为非透明。实际应用中，可以将直播视频图像转换为带阿尔法alpha通道的格式图片。alpha通道是一个8位的灰度通道，该通道用256级灰度来记录图像中的透明度信息，定义透明、不透明和半透明区域。在一个示例中，可以将直播视频图像的透明区域采用纯黑色填充，非透明区域采用纯白色填充，以便于对透明通道和非透明通道之间的数据进行筛选，实现不同区域的区分处理。

在本说明书实施例中，为了使得显示区域中的待替换区域与非待替换区域之间的过度更加自然，在生成遮罩图片后，还可以对遮罩图片进行羽化模糊处理，具体的羽化模糊处理方法可以借鉴于现有技术中的对应方法，本发明对此不作具体限定。

在生成显示区域的遮罩图片后，可以通过将遮罩图片以及变换后的源视频图像叠加在显示区域之上来得到输出的视频图像。具体的，可以先将遮罩图片叠加在变换后的源视频图像上，得到第一叠加图像，然后将该第一叠加图像叠加在显示区域之上，得到输出的视频图像。

在图2所示的在线教学场景中，摄像头拍摄的直播视频图像中智能授课电视机的显示内容存在模糊，采用本说明书实施例的直播视频的处理方法的处理过程可以参见图7，处理后输出的视频图像中的显示区域所呈现的对应于智能授课电视中的图像部分被智能授课电视所显示的对应图像替换掉了，使得输出的视频图像中的显示区域的清晰度与直播教室中智能授课电视机所显示的内容的清晰度基本相同，从而解决了直播视频图像中智能授课电视显示区域模糊的问题。

综上，本发明实施例通过获取直播视频图像和源视频图像，该直播视频图像中包括视频显示设备，该源视频图像为在视频显示设备中显示的视频图像，然后从直播视频图像中确定视频显示设备所对应的显示区域，确定该显示区域中的待替换区域，将源视频图像中与待替换区域对应的视频图像替换至待替换区域中，从而得到输出的视频图像，由于该输出的视频图像中对应于待替换区域的图像为高清的源视频图像，从而提高了输出的视频图像中的视频显示设备的显示区域的画质，避免了直播视频中视频显示设备的显示区域出现的反光、阴影、模糊等失真现象，提高了观看视频的体验效果。

与上述几种实施例提供的直播视频的处理方法相对应，本发明实施例还提供一种直播视频的处理装置，由于本发明实施例提供的直播视频的处理装置与上述几种实施例提供的直播视频的处理方法相对应，因此前述直播视频的处理方法的实施方式也适用于本实施例提供的直播视频的处理装置，在本实施例中不再详细描述。

请参阅图8，其所示为本发明实施例提供的一种直播视频的处理装置的结构示意图，如图8所示，该装置可以包括：

第一获取模块810，用于获取直播视频图像和源视频图像，所述直播视频图像中包括视频显示设备，所述源视频图像为在所述视频显示设备中显示的视频图像；

显示区域确定模块820，用于确定所述直播视频图像中所述视频显示设备所对应的显示区域；

待替换区域确定模块830，用于确定所述显示区域中的待替换区域；

替换模块840，用于将所述源视频图像中与所述待替换区域对应的视频图像替换至所述待替换区域中。

具体的，如图9所示，待替换区域确定模块830可以包括：

第二获取模块8310，用于获取所述显示区域的第一像素点的颜色值；

第一判断模块8320，用于判断所述第一像素点的颜色值是否在所述视频显示设备的预设显示颜色区间；

第一确定模块8330，用于确定所述第一像素点是所述待替换区域的像素点，并根据所述是所述待替换区域的像素点，确定所述待替换区域。

在一示例中，待替换区域确定模块830还可以包括：

第三获取模块8340，用于获取所述源视频图像的第二像素点的颜色值，所述第二像素点与所述第一像素点相对应；

偏色变换模块8350，用于根据预设偏色变换规则对所述第二像素点的颜色值进行偏色变换，得到所述第二像素点的变换颜色值；

第二判断模块8360，用于判断所述第一像素点的颜色值是否与所述第二像素点的变换颜色值相匹配。

在另一示例中，待替换区域确定模块830还可以包括：

第二确定模块8370，用于确定所述第一像素点不是所述待替换区域的像素点。

具体的，如图10所示，第三获取模块8340可以包括：

图像变换模块8341，用于根据所述显示区域对所述源视频图像进行图像变换，得到变换后的源视频图像；

第四获取模块8342，用于获取所述显示区域中所述第一像素点的位置信息；

第三确定模块8343，用于确定所述变换后的源视频图像中与所述第一像素点的位置信息相对应的像素点，所述与第一像素点的所述位置信息相对应的像素点记为所述第二像素点；

第五获取模块8344，用于获取所述第二像素点的颜色值。

具体的，如图11所示，替换模块840可以包括：

遮罩生成模块8410，用于生成所述显示区域的遮罩图片，所述遮罩图片中对应于所述待替换区域为透明，所述遮罩图片中对应于所述待替换区域之外的区域为非透明；

叠加模块8420，用于将所述遮罩图片以及所述变换后的源视频图像叠加在所述显示区域之上，得到所述输出的视频图像。

在另一示例中，在该装置获取源视频图像之前，还可以设置所述视频显示设备的预设显示颜色区间，所述预设显示颜色区间用于区分直播视频图像中的视频图像以及非视频图像。

具体的，所述设置所述视频显示设备的预设显示颜色区间包括：将所述视频显示设备的显示颜色中的红色通道的亮度值调整到最低值，以及将所述显示颜色中的绿色通道的亮度值和蓝色通道的亮度值调整至预设阈值范围内。

具体的，如图12所示，显示区域确定模块820可以包括：

校正模块8210，用于对所述直播视频图像进行校正处理，得到校正后的直播视频图像；

显示区域确定子模块8220，用于确定所述校正后的直播视频图像中的视频显示设备所对应的显示区域。

需要说明的是，上述实施例提供的装置，在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

请参阅图13，其所示为本发明实施例提供的一种电子设备的结构示意图，该电子设备用于实施上述实施例中提供的通道安全检测方法。该电子设备可以是诸如PC(PersonalComputer，个人计算机)、手机、PDA(平板电脑)等终端设备，也可以是诸如应用服务器、集群服务器等服务设备。请参见图13，该电子设备的内部结构可包括但不限于：处理器、网络接口及存储器。其中，电子设备内的处理器、网络接口及存储器可通过总线或其他方式连接，在本说明书实施例所示图13中以通过总线连接为例。

其中，处理器(或称CPU(Central Processing Unit，中央处理器))是电子设备的计算核心以及控制核心。网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI、移动通信接口等)。存储器(Memory)是电子设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的存储器可以是高速RAM存储设备，也可以是非不稳定的存储设备(non-volatile memory)，例如至少一个磁盘存储设备；可选的还可以是至少一个位于远离前述处理器的存储装置。存储器提供存储空间，该存储空间存储了电子设备的操作系统，可包括但不限于：Windows系统(一种操作系统)，Linux(一种操作系统)，Android(安卓，一种移动操作系统)系统、IOS(一种移动操作系统)系统等等，本发明对此并不作限定；并且，在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。在本说明书实施例中，处理器加载并执行存储器中存放的一条或一条以上指令，以实现上述方法实施例提供的直播视频的处理方法。

本发明的实施例还提供了一种存储介质，所述存储介质可设置于电子设备之中以保存用于实现方法实施例中的一种直播视频的处理方法相关的至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集可由电子设备的处理器加载并执行以实现上述方法实施例提供的直播视频的处理方法。

可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种直播视频的处理方法，其特征在于，所述方法包括：

设置视频显示设备的预设显示颜色区间，以使所述视频显示设备所显示的显示颜色在所述预设显示颜色区间，所述预设显示颜色区间用于区分直播视频图像中的视频图像以及非视频图像；

获取直播视频图像和源视频图像，所述直播视频图像中包括所述视频显示设备，所述视频显示设备用于显示需要播放的视频图像，所述源视频图像为在所述视频显示设备中显示的所述视频图像；

确定所述直播视频图像中所述视频显示设备所对应的显示区域；

获取所述显示区域的第一像素点的颜色值；

判断所述第一像素点的颜色值是否在所述视频显示设备的所述预设显示颜色区间；

当判断的结果为是时，获取所述源视频图像的第二像素点的颜色值，所述第二像素点与所述第一像素点相对应；

根据预设偏色变换规则对所述第二像素点的颜色值进行偏色变换，得到所述第二像素点的变换颜色值；

判断所述第一像素点的颜色值是否与所述第二像素点的变换颜色值相匹配；

当判断的结果为是时，确定所述第一像素点是待替换区域的像素点；

根据所述第一像素点，确定所述显示区域中的待替换区域；

将所述源视频图像中与所述待替换区域对应的视频图像替换至所述待替换区域中，得到输出的视频图像。

2.根据权利要求1所述的直播视频的处理方法，其特征在于，所述获取所述源视频图像的第二像素点的颜色值，所述第二像素点与所述第一像素点相对应包括：

根据所述显示区域对所述源视频图像进行图像变换，得到变换后的源视频图像；

获取所述显示区域中所述第一像素点的位置信息；

确定所述变换后的源视频图像中与所述第一像素点的位置信息相对应的像素点，所述与第一像素点的位置信息相对应的像素点记为所述第二像素点；

获取所述第二像素点的颜色值。

3.根据权利要求2所述的直播视频的处理方法，其特征在于，所述将所述源视频图像中与所述待替换区域对应的图像替换至所述待替换区域中，得到输出的视频图像包括：

生成所述显示区域的遮罩图片，所述遮罩图片中对应于所述待替换区域为透明，所述遮罩图片中对应于所述待替换区域之外的区域为非透明；

将所述遮罩图片以及所述变换后的源视频图像叠加在所述显示区域之上，得到所述输出的视频图像。

4.根据权利要求1所述的直播视频的处理方法，其特征在于，所述设置所述视频显示设备的预设显示颜色区间包括：

将所述视频显示设备的显示颜色中的红色通道的亮度值调整到最低值，以及将所述显示颜色中的绿色通道的亮度值和蓝色通道的亮度值调整至预设阈值范围内。

5.根据权利要求1所述的直播视频的处理方法，其特征在于，所述确定所述直播视频图像中所述视频显示设备所对应的显示区域包括：

对所述直播视频图像进行校正处理，得到校正后的直播视频图像；

确定所述校正后的直播视频图像中的视频显示设备所对应的显示区域。

6.一种直播视频的处理装置，其特征在于，所述装置包括：

第一获取模块，用于获取直播视频图像和源视频图像，所述直播视频图像中包括视频显示设备，所述视频显示设备用于显示需要播放的视频图像，所述源视频图像为在所述视频显示设备中显示的所述视频图像；

显示区域确定模块，用于确定所述直播视频图像中所述视频显示设备所对应的显示区域；

待替换区域确定模块，用于确定所述显示区域中的待替换区域；

替换模块，用于将所述源视频图像中与所述待替换区域对应的视频图像替换至所述待替换区域中，得到输出的视频图像；

其中，在所述装置获取源视频图像之前，设置视频显示设备的预设显示颜色区间，以使所述视频显示设备所显示的显示颜色在所述预设显示颜色区间，所述预设显示颜色区间用于区分直播视频图像中的视频图像以及非视频图像；

所述待替换区域确定模块包括：

第二获取模块，用于获取所述显示区域的第一像素点的颜色值；

第一判断模块，用于判断所述第一像素点的颜色值是否在所述视频显示设备的预设显示颜色区间；

第三获取模块，用于当所述第一判断模块判断的结果为是时，获取所述源视频图像的第二像素点的颜色值，所述第二像素点与所述第一像素点相对应；

偏色变换模块，用于根据预设偏色变换规则对所述第二像素点的颜色值进行偏色变换，得到所述第二像素点的变换颜色值；

第二判断模块，用于判断所述第一像素点的颜色值是否与所述第二像素点的变换颜色值相匹配；

第一确定模块，用于当所述第二判断模块判断的结果为是时，确定所述第一像素点是所述待替换区域的像素点，并根据所述第一像素点，确定所述待替换区域。

7.一种电子设备，其特征在于，包括：

处理器，适于实现一条或一条以上指令；以及，

存储器，所述存储器存储有一条或一条以上指令，所述一条或一条以上指令适于由所述处理器加载并执行权利要求1-5中任意一项所述的直播视频的处理方法。

Images