CN108900895B - 一种对视频流的目标区域的屏蔽方法及其装置 - Google Patents

Abstract

本发明提供了一种对视频流的目标区域的屏蔽方法及其装置，其中所述方法包括：获取视频流，并提取关键帧；识别出关键帧作为定位帧；构建帧标签；根据预设特征信息确定定位区域；确定所述定位区域的轮廓线和与所述轮廓线对应的轮廓线坐标，并将存入帧标签中；根据帧标签对每一定位帧中的定位区域进行屏蔽。本发明实现了对于包含的目标区域的视频流中的关键帧的智能定位和屏蔽，从而可根据标签确定视频流中包含有定位帧的时间戳，并获得视频流中的定位帧的轮廓线以及轮廓线坐标，从而可进一步的根据更新后的标签进行方便的对视频流的定位区域的屏蔽，定位和屏蔽的效率高、时间短速度快，为监管人员的工作带来了方便。

Description

一种对视频流的目标区域的屏蔽方法及其装置

技术领域

本发明涉及图像处理技术领域，更具体地说，涉及一种对视频流的目标区域的屏蔽方法及其装置。

背景技术

视频流是指视频数据的传输，例如，它能够被作为一个稳定的和连续的流通过网络处理。因为流动，客户机浏览器或插件能够在整个文件被传输完成前显示多媒体数据。例如，视频流，可以为视频直播所传输的数据，或者在线播放的数据等等。

随着现在视频播放相关的行业的飞速发展，给市场和业务的监管带来了越来越迫切的需要，特别是其中直播、在线播放视频、可读存储介质中的视频流等等视频播放方式，对于其中涉及的需要监管的或者需要着重标出的内容，提出了更高的技术上的要求。

目前，现有的对于其中涉及到需要监管或需要定位的内容的监管，需要人工对于目标视频流进行逐帧的查看或快进查看，需要耗费大量时间、人力成本和物理成本，工作繁琐效率低下，尤其是对于直播行业中的部分内容的监控，无法做到实时的定位和监控，给监管人员的工作带来了巨大的不便。

发明内容

有鉴于此，本发明提供一种对视频流的目标区域的屏蔽方法及其装置以解决现有技术的不足。

为解决上述问题，本发明提供一种对视频流的目标区域的屏蔽方法，包括：

获取视频流，并提取所述视频流中按照时间戳排列的关键帧；

利用预先训练的识别模型识别出包含有目标定位物体的所述关键帧，作为定位帧；

构建与每一帧的定位帧对应的帧标签；所述帧标签中包含有与所述定位帧对应的时间戳；

根据与所述目标定位物体相对应的目标区域的预设特征信息确定每一帧的定位帧中的定位区域；

确定所述定位区域的轮廓线和与所述轮廓线对应的轮廓线坐标，并将所述轮廓线坐标存入所述帧标签中；

根据所述帧标签对每一定位帧中的定位区域进行屏蔽。

优选地，所述“根据所述帧标签对每一定位帧中的定位区域进行屏蔽”包括：

获取所述帧标签中的所述轮廓线坐标范围内的每一个像素点的上下左右四个方向的临近像素点的最大像素值和最小像素值；

设置所述像素点的像素值为所述最大像素值和所述最小像素值的均值，以实现对每一定位帧中的目标区域进行屏蔽。

优选地，所述“根据所述帧标签对每一定位帧中的定位区域进行屏蔽”包括：

根据所述帧标签中的轮廓线坐标，计算得出所述定位区域的区域特征；所述区域特征包括所述定位区域的轮廓尺寸和轮廓线内面积；

根据所述轮廓尺寸和所述轮廓线内面积截取预设屏蔽图片；

利用截取后的所述预设屏蔽图片贴合于所述目标区域，以实现对每一定位帧中的目标区域进行屏蔽。

优选地，所述“利用截取后的所述预设屏蔽图片贴合于所述目标区域，以实现对每一定位帧中的目标区域进行屏蔽”之后，还包括：

根据所述帧标签中的所述轮廓线坐标，设置所述轮廓线外的相邻的像素点作为外层像素点；设置所述预设屏蔽图片的外轮廓的每一个像素点，作为内层轮廓像素点；在截取后的所述预设屏蔽图片与所述定位区域贴合后，每一个内层轮廓像素点相应的具有一与其对应的外层像素点对应；

获取所述外层像素点的上下左右四个方向的临近像素点的最大像素值和最小像素值，并将所述最大像素值和所述最小像素值的均值作为去所述外层像素点对应的所述内层轮廓像素点的像素值。

优选地，所述“根据与所述目标定位物体相对应的目标区域的预设特征信息确定每一帧的定位帧中的定位区域”包括：

根据所述目标区域的所述预设特征信息，生成特征向量；

根据所述特征向量将每一帧的所述定位帧中的目标区域与下一帧的定位帧中的目标区域进行匹配，选取所述下一帧的定位帧中与所述目标区域匹配度最高的区域，作为定位区域。

优选地，所述“确定所述定位区域的轮廓线和与所述轮廓线对应的轮廓线坐标，并将所述轮廓线坐标存入所述帧标签中，以便于根据所述帧标签对每一定位帧中的目标区域进行编辑”包括：

提取每一定位帧的所述定位区域；

截取包含所述定位区域的最小截图；

对所述最小截图进行二值化处理，得到二值化截图；

对所述二值化截图进行边缘检测，获得边缘轮廓线，并根据所述边缘轮廓线获得轮廓线坐标，并将所述轮廓线坐标存入所述帧标签中，以便于根据所述帧标签对每一定位帧中的目标区域进行编辑。

优选地，所述“利用预先训练的识别模型识别出包含有目标定位物体的所述关键帧，作为定位帧”之后，还包括：

确认所述定位帧中包含的所述目标定位物体的数量，作为目标数；

若所述目标数大于预设目标阈值，则判定所述视频流中存在异常情况，并确认出现异常情况的所述定位帧的数量，停止所述视频流的传输，生成提示信息，以便于提示相关人员进行排查；

若所述目标数不大于所述目标阈值，则保存所述目标数，以便于构建与每一帧的定位帧对应的帧标签；

所述“根据与所述目标定位物体相对应的目标区域的预设特征信息确定每一帧的定位帧中的定位区域”包括：

将所述预设特征信息与每一帧的定位帧进行比对；

若所述定位帧中存在与所述预设特征信息匹配的区域，并且与所述特征信息匹配的区域的个数等于所述目标数，则将该区域作为定位区域。

此外，为解决上述问题，本发明还提供一种对视频流的目标区域的屏蔽装置，包括：提取模块、识别模块、构建模块、定位模块、确定模块和屏蔽模块；

所述提取模块，用于获取视频流，并提取所述视频流中按照时间戳排列的关键帧；

所述识别模块，用于利用预先训练的识别模型识别出包含有目标定位物体的所述关键帧，作为定位帧；

所述构建模块，用于构建与每一帧的定位帧对应的帧标签；所述帧标签中包含有与所述定位帧对应的时间戳；

所述定位模块，用于根据与所述目标定位物体相对应的目标区域的预设特征信息确定每一帧的定位帧中的定位区域；

所述确定模块，用于确定所述定位区域的轮廓线和与所述轮廓线对应的轮廓线坐标，并将所述轮廓线坐标存入所述帧标签中；

所述屏蔽模块，用于根据所述帧标签对每一定位帧中的定位区域进行屏蔽。

此外，为解决上述问题，本发明还提供一种用户终端，包括存储器以及处理器，所述存储器用于存储对视频流的目标区域的屏蔽程序，所述处理器运行所述对视频流的目标区域的屏蔽程序以使所述用户终端执行如上述所述对视频流的目标区域的屏蔽方法。

此外，为解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有对视频流的目标区域的屏蔽程序，所述对视频流的目标区域的屏蔽程序被处理器执行时实现如上述所述对视频流的目标区域的屏蔽方法。

本发明提供的一种对视频流的目标区域的屏蔽方法及其装置。其中，本发明所提供的方法包括：获取视频流，并提取所述视频流中按照时间戳排列的关键帧；利用预先训练的识别模型识别出包含有目标定位物体的所述关键帧，作为定位帧；构建与每一帧的定位帧对应的帧标签；所述帧标签中包含有与所述定位帧对应的时间戳；根据与所述目标定位物体相对应的目标区域的预设特征信息确定每一帧的定位帧中的定位区域；确定所述定位区域的轮廓线和与所述轮廓线对应的轮廓线坐标，并将所述轮廓线坐标存入所述帧标签中；根据所述帧标签对每一定位帧中的定位区域进行屏蔽。本发明通过利用识别模型对关键帧进行识别，从而找出其中的定位帧，并且建立与定位帧对应的包含时间戳的标签，进而确定其中的定位区域，再根据该定位区域确定轮廓线和轮廓线坐标，再更新该标签，以便于进一步对该视频流的定位区域进行屏蔽，从而实现了对于包含的目标区域的视频流中的关键帧的智能定位和屏蔽，从而可根据标签确定视频流中包含有定位帧的时间戳，并获得视频流中的定位帧的轮廓线以及轮廓线坐标，从而可进一步的根据更新后的标签进行方便的对视频流的定位区域的屏蔽，定位和屏蔽的效率高、时间短速度快，为监管人员的工作带来了方便。

附图说明

图1为本发明对视频流的目标区域的屏蔽方法实施例方案涉及的硬件运行环境的结构示意图；

图2为本发明对视频流的目标区域的屏蔽方法第一实施例的流程示意图；

图3为本发明对视频流的目标区域的屏蔽方法第二实施例的流程示意图；

图4为本发明对视频流的目标区域的屏蔽方法第三实施例的流程示意图；

图5为本发明对视频流的目标区域的屏蔽方法第四实施例的流程示意图；

图6为本发明对视频流的目标区域的屏蔽方法第五实施例的流程示意图；

图7为本发明对视频流的目标区域的屏蔽方法第六实施例的流程示意图；

图8为本发明对视频流的目标区域的屏蔽方法第七实施例的流程示意图；

图9为本发明对视频流的目标区域的屏蔽方法第八实施例的流程示意图；

图10为本发明对视频流的目标区域的屏蔽装置的功能模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面详细描述本发明的实施例，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，图1是本发明实施例方案涉及的终端的硬件运行环境的结构示意图。

如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏、输入单元比如键盘、遥控器，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

可选地，终端还可以包括RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。此外，移动终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

本领域技术人员可以理解，图1中示出的终端并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机可读存储介质的存储器1005中可以包括操作系统、数据接口控制程序、网络连接程序以及对视频流的目标区域的屏蔽程序。

本发明提供的一种对视频流的目标区域的屏蔽方法及其装置。其中，所述方法实现了对于包含的目标区域的视频流中的关键帧的智能屏蔽，从而可根据标签确定视频流中包含有定位帧的时间戳，并获得视频流中的定位帧的轮廓线以及轮廓线坐标，从而可进一步的根据更新后的标签进行方便的对视频流的定位区域的屏蔽，屏蔽效率高、时间短速度快，为监管人员的工作带来了方便。

实施例1：

参照图2，本发明第一实施例提供一种对视频流的目标区域的屏蔽方法，包括：

步骤S10，获取视频流，并提取所述视频流中按照时间戳排列的关键帧；

本实施例，可以针对于直播行业中的实时传送的视频流进行监管，对于其中出现的涉黄或设计到其他违规的行为的视频进行监控，此外，也可以为对于视频传输中或播放中的内容进行实时编辑，对其中的需要定位的内容进行定位，进而对定位出轮廓的内容进行进一步的编辑。

上述，进行获取视频流，可以为根据视频流的获取指令，对其中的指定时间点或时间段的视频流进行获取，也可以为对所有视频流进行获取。

上述，对所获取到的视频流进行视频分解，得到多个关键帧，关键帧的数量可以依据预设时间所获取的关键帧，例如，0.2S一个关键帧。

时间戳为与关键帧对应的时间标签，每个关键帧设有一时间戳，通过时间戳可追溯对应关键帧的时间点，从而根据时间点进行对该帧的编辑。

步骤S20，利用预先训练的识别模型识别出包含有目标定位物体的所述关键帧，作为定位帧；

人工神经网络(Artificial Neural Network，即ANN)，是20世纪80年代以来人工智能领域兴起的研究热点。它从信息处理角度对人脑神经元网络进行抽象，建立某种简单模型，按不同的连接方式组成不同的网络。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型，由大量的节点(或称神经元)之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数(activation function)。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。

上述，通过对预设的人工神经网络进行训练学习，从而得到预先训练的识别模型，进而对所获得的关键帧进行逐帧识别，确定其中是否有包含目标定位物体，如果包含有目标定位物体，则提取该帧作为定位帧。

目标定位物体，为本实施例中所要进行定位的物体，例如，对直播进行管控过程中，设定人体的隐私部位作为目标定位物体，则通过本实施例中所提供的方法对目标定位物体进行定位。

步骤S30，构建与每一帧的定位帧对应的帧标签；所述帧标签中包含有与所述定位帧对应的时间戳；

上述，对每一个定位帧，建立帧标签，其中，帧标签中包含有对应的时间戳，此外，也可以包含有例如，目标定位物体的面积大小等信息。在本实施例中，通过为每一定位帧设定帧标签，从而可根据帧标签对需要进行定位的帧进行编辑，提高了编辑效率，为工作人员提供了方便。

步骤S40，根据与所述目标定位物体相对应的目标区域的预设特征信息确定每一帧的定位帧中的定位区域；

上述，预设特征信息，为预先设定的需要进行定位的目标定位物体的特征信息，其中可以包括该目标定位物体的像素大小、颜色、纹理、对比度、临近像素特征等等特征信息。

上述，目标区域，为与目标定位物体相对应的区域。

上述，通过图像识别，根据预设特征信息，确定每一定位帧中的定位区域，即确定定位区域的大小、面积等等信息。

步骤S50，确定所述定位区域的轮廓线和与所述轮廓线对应的轮廓线坐标，并将所述轮廓线坐标存入所述帧标签中；

步骤S60，根据所述帧标签对每一定位帧中的定位区域进行屏蔽。

上述，轮廓线为通过图像识别，所确定的定位区域的最小外边缘的线，其中包括有可识别的定位区域。轮廓线在确定的过程中，可以通过图像识别，例如边缘检测方法，确定像素点或者颜色纹理的区别，从而确定其的轮廓线，在直观的视觉可视化操作系统中，在确定轮廓线后，可根据帧标签对每一定位帧中的定位区域进行屏蔽，或者可进行闪烁提示，从而提示编辑人员进行进一步屏蔽工作，例如根据轮廓线进行对轮廓线内的目标区域进行打码或贴图操作。

上述，轮廓线坐标，为数据化的轮廓线，可以为轮廓线所占的每个像素的坐标，通过获取到轮廓线坐标，可根据数据化的轮廓线进行进一步的操作，从而提高图像处理速度。

上述，轮廓线坐标存储于帧标签中，通过对帧标签的编辑，即可根据轮廓线坐标对定位区域进行编辑了，与现有技术中，直接对图形化的图像进行对定位区域的编辑，相比之下，通过数字化的坐标进行操作，例如打码或者贴图，增加了图形编辑的准确度，提高了图形编辑效率。

上述，还可对帧标签，进行二进制的信息转化，由于系统底层为二进制的数据，通过将帧标签直接转换为二进制信息，提高了系统中对于图形读取和编辑的效率。

本实施例通过利用识别模型对关键帧进行识别，从而找出其中的定位帧，并且建立与定位帧对应的包含时间戳的标签，进而确定其中的定位区域，再根据该定位区域确定轮廓线和轮廓线坐标，再更新该标签，以便于进一步对该视频流的定位区域进行屏蔽，从而实现了对于包含的目标区域的视频流中的关键帧的智能定位和屏蔽，从而可根据标签确定视频流中包含有定位帧的时间戳，并获得视频流中的定位帧的轮廓线以及轮廓线坐标，从而可进一步的根据更新后的标签进行方便的对视频流的定位区域的屏蔽，定位和屏蔽的效率高、时间短速度快，为监管人员的工作带来了方便。

实施例2：

参照图3，本发明第二实施例提供一种对视频流的目标区域的屏蔽方法，基于上述图2所示的第一实施例，所述步骤S60，“根据所述帧标签对每一定位帧中的定位区域进行屏蔽”包括：

步骤S61，获取所述帧标签中的所述轮廓线坐标范围内的每一个像素点的上下左右四个方向的临近像素点的最大像素值和最小像素值；

上述，每个像素点的临近区域，包括多个临近像素点，其上下左右包括4个临近像素点，选取这4个临近像素点中的像素值的最大像素值和最小像素值。

步骤S62，设置所述像素点的像素值为所述最大像素值和所述最小像素值的均值，以实现对每一定位帧中的目标区域进行屏蔽。

上述，将轮廓线坐标范围内的像素点的临近像素点的像素值的最大值和最小值进行加成平均，得到均值，作为该像素点的像素值，以将该定位区域内的每个像素点的像素值与邻近区域的临近像素点的像素值进行关联，从而实现模糊的视觉效果，进一步实现了对于定位区域的打码屏蔽的效果。

实施例3：

参照图4，本发明第三实施例提供一种对视频流的目标区域的屏蔽方法，基于上述图2所示的第一实施例，所述步骤S60，“根据所述帧标签对每一定位帧中的定位区域进行屏蔽”包括：

步骤S63，根据所述帧标签中的轮廓线坐标，计算得出所述定位区域的区域特征；所述区域特征包括所述定位区域的轮廓尺寸和轮廓线内面积；

上述，根据轮廓线坐标，可计算得出该定位区域的轮廓线的轮廓尺寸和轮廓线内面积等参数。

步骤S64，根据所述轮廓尺寸和所述轮廓线内面积截取预设屏蔽图片；

上述，预设屏蔽图片，为预先设定的，用于进行屏蔽遮挡作用的图片，待视频流中出现需要进行屏蔽的定位区域，则将该预设屏蔽图片进行与定位区域的贴合，从而实现屏蔽效果。

上述，截取后的预设屏蔽图片，尺寸、面积均与定位区域的轮廓线相适应，从而实现了只对轮廓线内的定位区域的屏蔽而不会对其他区域的视觉效果造成影响。

上述，预设屏蔽图片的图样和颜色，可具有不同，并且具有不同的权重，例如：

所述区域特征还包括所述定位区域的颜色色号范围和景深；

根据所述颜色色号范围和景深，匹配出于所述定位区域相对应的具有相应颜色色号范围和景深的预设屏蔽图片。

通过匹配出于所述定位区域相对应的具有相应颜色色号范围和景深的预设屏蔽图片，实现所贴合的预设屏蔽图片，与被贴合的定位区域具有相应颜色色号范围和景深，从而实现了贴合前后不会产生突兀的视觉效果，使观看者不会感觉不适，提高客户体验，使视频流的图像更加流畅。

步骤S65，利用截取后的所述预设屏蔽图片贴合于所述目标区域，以实现对每一定位帧中的目标区域进行屏蔽。

步骤S66，根据所述帧标签中的所述轮廓线坐标，设置所述轮廓线外的相邻的像素点作为外层像素点；设置所述预设屏蔽图片的外轮廓的每一个像素点，作为内层轮廓像素点；在截取后的所述预设屏蔽图片与所述定位区域贴合后，每一个内层轮廓像素点相应的具有一与其对应的外层像素点对应；

步骤S67，获取所述外层像素点的上下左右四个方向的临近像素点的最大像素值和最小像素值，并将所述最大像素值和所述最小像素值的均值作为去所述外层像素点对应的所述内层轮廓像素点的像素值。

上述，每一个内层轮廓的像素点对应的具有一与其对应的外层像素点，在本实施例中，通过将内层轮廓的像素点的像素值设置为外层像素点临近像素点的最大像素值和所述最小像素值的均值，从而实现屏蔽的预设屏蔽图像的边缘实现模糊效果，避免产生由于突然出现预设屏蔽图片，导致视频流在播放过程中过于突兀，造成对于视频流的美观性和观赏性的巨大影响。

实施例4：

参照图5，本发明第四实施例提供一种对视频流的目标区域的屏蔽方法，基于上述图2所示的第一实施例，所述步骤S40，“根据与所述目标定位物体相对应的目标区域的预设特征信息确定每一帧的定位帧中的定位区域”包括：

步骤S41，根据所述目标区域的所述预设特征信息，生成特征向量；

本实施例中，通过HOG(Histograms of Oriented Gradients)特征提取方法提取该需打码的区域(目标区域)的纹理特征，通过预设的特征信息，例如颜色特征和纹理特征，生成第一特征向量。

例如，预设特征信息，可以包括颜色特征和图像纹理特征，具体的将该目标区域中的每一个像素点的三原色比例值(即RGB值)的维数由3维，转换为11维，换句话说，目前每一个像素点的三原色比例值只能表征红、绿、蓝三种颜色，将三原色比例值的维数由3维转换为11维之后，将每一个像素点的三原色比例值表征的颜色细化到11种，如黑色、蓝色、黄色、灰色、粉色、红色、白色等，以使得在提取需打码区域的颜色特征时，能自适应地根据需打码的区域的实际颜色分布情况进行选择。同时通过降维的思想，自适应地将每一个像素点的三原色比例值由11维降到2维，以提取需打码区域中的显著颜色特征。

步骤S42，根据所述特征向量将每一帧的所述定位帧中的目标区域与下一帧的定位帧中的目标区域进行匹配，选取所述下一帧的定位帧中与所述目标区域匹配度最高的区域，作为定位区域。

上述，本实施例中，根据特征向量，将每一定位帧中的目标区域和与其相邻下一帧的定位帧中的目标区域进行匹配，即两个目标区域进行基于特征向量的匹配，从而确定出下一帧的定位帧中的匹配度最高的区域，从而将该区域作为定位区域。在本实施例中，通过利用特征向量，对当前的定位帧中的目标区域与下一帧的目标区域进行比较和匹配，从而找出下一帧中的匹配度最高的区域作为定位区域，从而可依据定位标签中的时间戳，依据时间戳的顺序，顺次确定每一个当前的定位帧和与其相邻的下一帧的定位帧中的定位区域，提高了定位效率，提高定位的准确度。

实施例5：

参照图6，本发明第五实施例提供一种对视频流的目标区域的屏蔽方法，基于上述图2所示的第一实施例，所述步骤S50，“确定所述定位区域的轮廓线和与所述轮廓线对应的轮廓线坐标，并将所述轮廓线坐标存入所述帧标签中”包括：

步骤S51，提取每一定位帧的所述定位区域；

步骤S52，截取包含所述定位区域的最小截图；

上述，在提取出定位帧中的定位区域后，对其进行截图操作，截取包含有定位区域的最小截图，其中最小截图中包括有通过图像识别所确定的定位区域。

步骤S53，对所述最小截图进行二值化处理，得到二值化截图；

上述，需要说明的是，二值化(英语：Thresholding)是图像分割的一种最简单的方法。二值化可以把灰度图像转换成二值图像。把大于某个临界灰度值的像素灰度设为灰度极大值，把小于这个值的像素灰度设为灰度极小值，从而实现二值化。根据阈值选取的不同，二值化的算法分为固定阈值和自适应阈值。比较常用的二值化方法则有：双峰法、P参数法、迭代法和OTSU法等。图像的二值化，就是将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的只有黑和白的视觉效果。

上述，通过图像的二值化，使图像转换为每个像素只有黑和白两种颜色的双色图像，得到二值化截图。

步骤S54，对所述二值化截图进行边缘检测，获得边缘轮廓线，并根据所述边缘轮廓线获得轮廓线坐标，并将所述轮廓线坐标存入所述帧标签中。

上述，对二值化截图进行边缘检测，从而确定出更加精确的轮廓线并获得轮廓线坐标，更新帧标签，以便于进一步进行打码或贴图编辑。在本实施例中，通过对于图像进行截取包含有定位区域的最小截图，在数据流进行传输过程中，数量庞大的占用空间庞大的关键帧所确定出的定位帧，占用大量的系统资源，对上述定位帧进行实时或定时的处理，会造成系统的资源处理过载，如果数据众多、待处理的定位帧数量庞大在一定程度上导致拖慢处理速度甚至造成系统崩溃的情况。本实施例通过截取包含有定位区域的最小截图，进一步对最小截图进行定位和处理，大大降低了由于数据众多造成的系统资源的大量占用，大大减少了数据交互传输的数据大小，提高了数据处理速度，提高了效率，减少了资源占用和浪费。对图像进行二值化处理，从而将图像转换为黑和白两种颜色的图像，去除其中的大量非识别元素的干扰，进一步提高了图像识别的准确度，提高了识别和检测的效率。

实施例6：

参照图7，本发明第六实施例提供一种对视频流的目标区域的屏蔽方法，基于上述图2所示的第一实施例，所述步骤S20，“利用预先训练的识别模型识别出包含有目标定位物体的所述关键帧，作为定位帧”之后，还包括：

步骤S70，确认所述定位帧中包含的所述目标定位物体的数量，作为目标数；

所述步骤S40，“根据与所述目标定位物体相对应的目标区域的预设特征信息确定每一帧的定位帧中的定位区域”包括：

步骤S43，将所述预设特征信息与每一帧的定位帧进行比对；

步骤S44，若所述定位帧中存在与所述预设特征信息匹配的区域，并且与所述特征信息匹配的区域的个数等于所述目标数，则将该区域作为定位区域。

上述，在对所获取的关键帧进行利用识别模型识别处其中包含有目标定位物体的帧，作为定位帧之后，确定所有定位帧中，包含有目标定位物体的数量，作为目标数。所述目标数，可作为验证图像定位的准确度的指标之一，通过将预设特征信息与定位帧的比对从而进一步确认每一个定位帧中的所包含的个数，进而将该个数与目标数进行比较，如果相等，则可将该区域作为定位区域。通过进一步的通过目标数的比对，从而确定所包含的目标定位物体的数目，提高了图像识别的准确度。

实施例7：

参照图8，本发明第七实施例提供一种对视频流的目标区域的屏蔽方法，基于上述图7所示的第六实施例，所述步骤S70，“确认所述定位帧中包含的所述目标定位物体的数量，作为目标数”之后，还包括：

步骤S80，若所述目标数大于预设目标阈值，则判定所述视频流中存在异常情况，并确认出现异常情况的所述定位帧的数量，停止所述视频流的传输，生成提示信息，以便于提示相关人员进行排查；

步骤S90，若所述目标数不大于所述目标阈值，则保存所述目标数，以便于构建与每一帧的定位帧对应的帧标签。

上述，在一定的场合或应用场景中，对视频或直播的数据流中的图像，需要进行进一步的监控，在其所出现的目标定位物体的树木达到一定数量时，则可判定为出现异常情况。例如，在直播中，设定目标定位物体为人体的隐私部位，通过确认定位帧中包含的目标定位物体的数量，作为目标数，预设目标阈值为1，如果目标数的数量为1，则可以通过技术进行对其打码或贴图操作，如果出现的数量大于1，则可判定为出现异常，该直播视频流有涉黄嫌疑，可生成提示信息，并可停止视频流的传输，提示相关工作人员进行排查。本实施例中，通过设定目标阈值，进而将所得到的目标数与该阈值进行比较，如果目标数大于阈值，则生成提示信息，从而可在视频流进行传输过程中，实时对视频流进行监控，智能的对其中出现的超出阈值的目标定位物体的情况进行提示，预警出现的异常情况，为工作人员对视频流的监控和编辑提供了方便。

实施例8：

参照图9，本发明第八实施例提供一种对视频流的目标区域的屏蔽方法，基于上述图2所示的第一实施例，所述预设特征信息包括颜色特征和与所述颜色特征对应的像素尺寸特征；

所述步骤S10，“获取视频流，并提取所述视频流中按照时间戳排列的关键帧”之后，还包括：

步骤S100，对所述关键帧进行预筛选，若其中包含与所述目标区域的预设特征信息的颜色特征和该颜色特征的像素尺寸特征相匹配的帧，则作为筛选帧；

步骤S110，删除所述关键帧中的筛选帧以外的帧，保留其中的筛选帧，作为预筛选后的关键帧，以便于利用预先训练的识别模型识别出包含有目标定位物体的所述关键帧，作为定位帧。

上述，在获取到视频流和视频流中的关键帧后，由于数据量庞大，图像质量较高的数据流造成关键帧占用大量的存储资源和系统处理资源，本实施例中，对所有的关键帧进行一次预筛选，从而筛选出其中的可进行进一步识别的帧，去除掉无用帧。筛选所基于的预设特征信息，包含有目标定位物体的颜色特征和与该颜色特征相对应的像素尺寸特征，即首先确认包含有与目标定位物体相适应或相匹配的颜色以及大小尺寸的关键帧。删除掉其中筛选帧以外的无用的帧，保留筛选帧，做为关键帧，从而去除掉大量的不需要进行进一步定位和识别的图像，大大降低了图像识别的工作量，提高了工作效率，为图像定位和编辑工作提供了方便。

此外，参考图10，本发明还提供一种对视频流的目标区域的屏蔽装置，包括：提取模块10、识别模块20、构建模块30、定位模块40、确定模块50和屏蔽模块60；

所述提取模块10，用于获取视频流，并提取所述视频流中按照时间戳排列的关键帧；所述识别模块20，用于利用预先训练的识别模型识别出包含有目标定位物体的所述关键帧，作为定位帧；所述构建模块30，用于构建与每一帧的定位帧对应的帧标签；所述帧标签中包含有与所述定位帧对应的时间戳；所述定位模块40，用于根据与所述目标定位物体相对应的目标区域的预设特征信息确定每一帧的定位帧中的定位区域；所述确定模块50，用于确定所述定位区域的轮廓线和与所述轮廓线对应的轮廓线坐标，并将所述轮廓线坐标存入所述帧标签中；所述屏蔽模块60，用于根据所述帧标签对每一定位帧中的定位区域进行屏蔽。

此外，本发明还提供一种用户终端，包括存储器以及处理器，所述存储器用于存储对视频流的目标区域的屏蔽程序，所述处理器运行所述对视频流的目标区域的屏蔽程序以使所述用户终端执行如上述所述对视频流的目标区域的屏蔽方法。

此外，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有对视频流的目标区域的屏蔽程序，所述对视频流的目标区域的屏蔽程序被处理器执行时实现如上述所述对视频流的目标区域的屏蔽方法。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种对视频流的目标区域的屏蔽方法，其特征在于，包括：

获取视频流，并提取所述视频流中按照时间戳排列的关键帧；

利用预先训练的识别模型识别出包含有目标定位物体的所述关键帧，作为定位帧；

构建与每一帧的定位帧对应的帧标签，所述帧标签中包含有与所述定位帧对应的时间戳；

根据与所述目标定位物体相对应的目标区域的预设特征信息确定每一帧的定位帧中的定位区域；

确定所述定位区域的轮廓线和与所述轮廓线对应的轮廓线坐标，并将所述轮廓线坐标存入所述帧标签中；

根据所述帧标签对每一定位帧中的定位区域进行屏蔽；

其中，所述“确定所述定位区域的轮廓线和与所述轮廓线对应的轮廓线坐标，并将所述轮廓线坐标存入所述帧标签中，以便于根据所述帧标签对每一定位帧中的目标区域进行编辑”包括：

提取每一定位帧的所述定位区域；

截取包含所述定位区域的最小截图；

对所述最小截图进行二值化处理，得到二值化截图；

对所述二值化截图进行边缘检测，获得边缘轮廓线，并根据所述边缘轮廓线获得轮廓线坐标，并将所述轮廓线坐标存入所述帧标签中，以便于根据所述帧标签对每一定位帧中的目标区域进行编辑。

2.如权利要求1所述对视频流的目标区域的屏蔽方法，其特征在于，所述“根据所述帧标签对每一定位帧中的定位区域进行屏蔽”包括：

获取所述帧标签中的所述轮廓线坐标范围内的每一个像素点的上下左右四个方向的临近像素点的最大像素值和最小像素值；

设置所述像素点的像素值为所述最大像素值和所述最小像素值的均值，以实现对每一定位帧中的目标区域进行屏蔽。

3.如权利要求1所述对视频流的目标区域的屏蔽方法，其特征在于，所述“根据所述帧标签对每一定位帧中的定位区域进行屏蔽”包括：

根据所述帧标签中的轮廓线坐标，计算得出所述定位区域的区域特征；所述区域特征包括所述定位区域的轮廓尺寸和轮廓线内面积；

根据所述轮廓尺寸和所述轮廓线内面积截取预设屏蔽图片；

利用截取后的所述预设屏蔽图片贴合于所述目标区域，以实现对每一定位帧中的目标区域进行屏蔽。

4.如权利要求3所述对视频流的目标区域的屏蔽方法，其特征在于，所述“利用截取后的所述预设屏蔽图片贴合于所述目标区域，以实现对每一定位帧中的目标区域进行屏蔽”之后，还包括：

根据所述帧标签中的所述轮廓线坐标，设置所述轮廓线外的相邻的像素点作为外层像素点；设置所述预设屏蔽图片的外轮廓的每一个像素点，作为内层轮廓像素点；在截取后的所述预设屏蔽图片与所述定位区域贴合后，每一个内层轮廓像素点相应的具有一与其对应的外层像素点对应；

获取所述外层像素点的上下左右四个方向的临近像素点的最大像素值和最小像素值，并将所述最大像素值和所述最小像素值的均值作为去所述外层像素点对应的所述内层轮廓像素点的像素值。

5.如权利要求1所述对视频流的目标区域的屏蔽方法，其特征在于，所述“根据与所述目标定位物体相对应的目标区域的预设特征信息确定每一帧的定位帧中的定位区域”包括：

根据所述目标区域的所述预设特征信息，生成特征向量；

根据所述特征向量将每一帧的所述定位帧中的目标区域与下一帧的定位帧中的目标区域进行匹配，选取所述下一帧的定位帧中与所述目标区域匹配度最高的区域，作为定位区域。

6.如权利要求1所述对视频流的目标区域的屏蔽方法，其特征在于，所述“利用预先训练的识别模型识别出包含有目标定位物体的所述关键帧，作为定位帧”之后，还包括：

确认所述定位帧中包含的所述目标定位物体的数量，作为目标数；

若所述目标数大于预设目标阈值，则判定所述视频流中存在异常情况，并确认出现异常情况的所述定位帧的数量，停止所述视频流的传输，生成提示信息，以便于提示相关人员进行排查；

若所述目标数不大于所述目标阈值，则保存所述目标数，以便于构建与每一帧的定位帧对应的帧标签；

所述“根据与所述目标定位物体相对应的目标区域的预设特征信息确定每一帧的定位帧中的定位区域”包括：

将所述预设特征信息与每一帧的定位帧进行比对；

若所述定位帧中存在与所述预设特征信息匹配的区域，并且与所述特征信息匹配的区域的个数等于所述目标数，则将该区域作为定位区域。

7.一种对视频流的目标区域的屏蔽装置，其特征在于，包括：提取模块、识别模块、构建模块、定位模块、确定模块和屏蔽模块；

所述提取模块，用于获取视频流，并提取所述视频流中按照时间戳排列的关键帧；

所述识别模块，用于利用预先训练的识别模型识别出包含有目标定位物体的所述关键帧，作为定位帧；

所述构建模块，用于构建与每一帧的定位帧对应的帧标签，所述帧标签中包含有与所述定位帧对应的时间戳；

所述定位模块，用于根据与所述目标定位物体相对应的目标区域的预设特征信息确定每一帧的定位帧中的定位区域；

所述确定模块，用于确定所述定位区域的轮廓线和与所述轮廓线对应的轮廓线坐标，并将所述轮廓线坐标存入所述帧标签中；

所述屏蔽模块，用于根据所述帧标签对每一定位帧中的定位区域进行屏蔽；

其中，所述“确定所述定位区域的轮廓线和与所述轮廓线对应的轮廓线坐标，并将所述轮廓线坐标存入所述帧标签中，以便于根据所述帧标签对每一定位帧中的目标区域进行编辑”包括：

提取每一定位帧的所述定位区域；

截取包含所述定位区域的最小截图；

对所述最小截图进行二值化处理，得到二值化截图；

对所述二值化截图进行边缘检测，获得边缘轮廓线，并根据所述边缘轮廓线获得轮廓线坐标，并将所述轮廓线坐标存入所述帧标签中，以便于根据所述帧标签对每一定位帧中的目标区域进行编辑。

8.一种用户终端，其特征在于，包括存储器以及处理器，所述存储器用于存储对视频流的目标区域的屏蔽程序，所述处理器运行所述对视频流的目标区域的屏蔽程序以使所述用户终端执行如权利要求1-6中任一项所述对视频流的目标区域的屏蔽方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有对视频流的目标区域的屏蔽程序，所述对视频流的目标区域的屏蔽程序被处理器执行时实现如权利要求1-6中任一项所述对视频流的目标区域的屏蔽方法。

Images