CN111212246A - 视频生成方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本发明涉及视频生成方法、装置、计算机设备和存储介质。所述方法包括：接收待编码图像，在待编码图像中，检测预设的目标对象和视频叠加OSD信息，如果目标对象被OSD信息遮挡，则在待编码图像中遍历与OSD信息匹配的图像区域，将OSD信息叠加至匹配的图像区域并编码，得到视频图像。采用本方法能够避免视频图像的目标对象被OSD信息遮挡，进而避免后端设备对视频图像构成的视频文件进行输出显示或者图像细节提取时，无法显示或提取出目标对象。

Description

视频生成方法、装置、计算机设备及存储介质

相关申请的交叉引用

本申请要求在2019年06月13日提交中国专利局、申请号为201910509104.8、申请名称为“视频生成方法、装置、计算机设备和存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。

技术领域

本发明涉及图像信号处理技术领域，尤其涉及一种视频生成方法、装置、计算机设备及存储介质。

背景技术

为了更好地显示摄像机的拍摄信息，可通过视频叠加技术(OSD，On ScreenDisplay)，在视频画面上叠加实时时间和拍摄地点等相关信息。例如，在本地的视频信号上叠加相关信息，合成OSD图像信号，对合成后的OSD图像信号进行视频编码处理，并通过网络发送给后端设备存储显示。

随着视频图像细节分析的(例如车牌识别、人脸识别)要求越来越高，视频画面上的图像细节越来越重要。在后端设备对摄像头的视频进行输出显示时，OSD信息会遮掩部分的图像细节，导致被OSD信息遮掩的图像细节无法被用户观察到，也无法被完整清晰地提取。

发明内容

基于此，有必要针对上述技术问题，提供一种能够避免视频画面上的叠加信息对图像细节进行遮挡的视频生成方法、装置、计算机设备和存储介质。

一种视频生成方法，所述方法包括：

接收待编码图像；

在所述待编码图像中，检测预设的目标对象和视频叠加OSD信息；

如果所述目标对象被所述OSD信息遮挡，则在所述待编码图像中遍历与所述OSD信息匹配的图像区域；

将所述OSD信息叠加至所述匹配的图像区域并编码，得到相应的视频图像。

在其中一个实施例中，所述检测预设的目标对象和视频叠加OSD信息的步骤，包括：

在所述待编码图像中，分别检测所述目标对象和所述OSD信息，获得所述目标对象的图像位置和所述OSD信息的图像位置；

所述目标对象被所述OSD信息遮挡的检测方式，包括：

确定所述目标对象的图像位置与所述OSD信息的图像位置是否发生重叠，如果发生重叠，则确定所述目标对象被所述OSD信息遮挡。

在其中一个实施例中，所述检测预设的目标对象和视频叠加OSD信息的步骤，包括：

在所述待编码图像中检测所述目标对象；

如果所述待编码图像中检测到的目标对象相对于相邻上一帧图像中的目标对象发生变化，则在所述待编码图像中检测所述OSD信息。

在其中一个实施例中，所述待编码图像所对应的视频画面被划分为预设数量个宏块；所述方法还包括：

如果所述待编码图像中检测到的目标对象相对于上一帧图像中的目标对象发生变化，则依据所述待编码图像中的目标对象的图像位置，更新每个所述宏块的图像细节连续未出现次数。

在其中一个实施例中，所述在所述待编码图像中遍历与所述OSD信息匹配的图像区域的步骤，包括：

确定所述待编码图像的图像有效空间；

依据每个所述宏块的图像细节连续未出现次数，在所述图像有效空间遍历与所述OSD信息匹配的图像区域。

在其中一个实施例中，所述确定所述待编码图像的图像有效空间的步骤，包括：

在所述待编码图像中，将除预设的用户感兴趣区域和已叠加有所述OSD信息的图像区域以外的图像区域设置为所述图像有效空间。

在其中一个实施例中，所述在所述图像有效空间遍历与所述OSD信息匹配的图像区域的步骤，包括：

在所述图像有效空间内遍历与所述OSD信息尺寸相适的图像区域；

在与所述OSD信息尺寸相适的图像区域中，筛选备选图像区域；所述备选图像区域中每个所述宏块的图像细节连续未出现次数都超过预设的次数阈值；

将所有所述宏块的图像细节连续未出现次数之和最大的所述备选图像区域设置为与所述OSD信息匹配的图像区域。

在其中一个实施例中，所述方法还包括：

如果所述备选图像区域的数目为零、且所述次数阈值不小于预设阈值，则减小所述次数阈值，并跳转至执行筛选备选图像区域的步骤。

在其中一个实施例中，所述方法还包括：

如果所述备选图像区域的数目为零、且所述次数阈值小于预设阈值，则计算每个与所述OSD信息尺寸相适的图像区域中与所述目标对象重叠的宏块数目；

在所有与所述OSD信息尺寸相适的图像区域中，将与所述目标对象重叠的宏块数目最少的图像区域设置为与所述OSD信息匹配的图像区域。

在其中一个实施例中，所述在所述待编码图像中遍历与所述OSD信息匹配的图像区域包括：

在所述待编码图像中确定所述OSD信息叠加的第一区域；

将所述第一区域的顶点和所述每个目标对象的中心点，作为目标点；

在所述待编码图像中遍历预设数量的目标点构成的与所述OSD信息匹配的图像区域。

在其中一个实施例中，所述在所述待编码图像中确定所述OSD信息叠加的第一区域包括：

根据接收到的区域选取指令，确定属性OSD信息叠加的第一区域，其中，所述区域选取指令包括居中区域选取指令、左上区域选取指令、右上区域选取指令、左下区域选取指令和右下区域选取指令。

在其中一个实施例中，所述在所述待编码图像中遍历预设数量的目标点构成的与所述OSD信息匹配的图像区域包括：

根据所述区域选取指令，确定目标点选取顺序，按照所述选取顺序，在所述待编码图像中遍历预设数量的目标点构成的与所述OSD信息匹配的图像区域。

在其中一个实施例中，所述在所述待编码图像中遍历预设数量的目标点构成的与所述OSD信息匹配的图像区域包括：

判断当前预设数量的目标点构成的第二区域内是否能够容纳所述OSD信息对应的预设大小的第三区域，如果是，将该第二区域作为与所述OSD信息匹配的图像区域。

在其中一个实施例中，如果遍历所有目标点，构建的第二区域都不能容纳所述第三区域，所述方法还包括：

按照预设的区域增大梯度扩大所述第一区域，直至在第一区域内构建的第二区域能够容纳所述第三区域；或将所述预设数量增加预设的数值，直至构建的第二区域能够容纳所述第三区域。

一种视频生成装置，所述装置包括：

图像接收模块，用于接收待编码图像；

图像检测模块，用于在所述待编码图像中，检测预设的目标对象和视频叠加OSD信息；

区域遍历模块，用于如果所述目标对象被所述OSD信息遮挡，则在所述待编码图像中遍历与所述OSD信息匹配的图像区域；以及

信息叠加模块，用于将所述OSD信息叠加至所述匹配的图像区域并编码，得到相应的视频图像。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述视频生成方法所述的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述视频生成方法所述的步骤。

上述视频生成方法、装置、计算机设备和存储介质，检测待编码图像中的目标对象和视频叠加OSD信息，如果目标对象被OSD信息遮挡，则在待编码图像中遍历与OSD信息匹配的图像区域，将OSD信息叠加到该匹配的图像区域并编码，生成视频图像，避免视频图像的目标对象被OSD信息遮挡，进而避免后端设备对视频图像构成的视频文件进行输出显示或者图像细节提取时，无法显示或提取出目标对象。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中视频生成方法的应用环境图；

图2为一个实施例中视频生成方法的流程示意图；

图3为另一个实施例中视频生成方法的流程示意图；

图4为另一个实施例中视频生成方法的流程示意图；

图5为另一个实施例中视频生成方法的流程示意图；

图6为另一个实施例中视频生成方法的流程示例图；

图7为一个实施例中视频生成装置的结构框图；

图8为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的视频生成方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104通过网络进行通信。终端102将视频叠加OSD信息叠加在待编码图像上，对叠加了OSD信息的待编码图像进行视频编码，得到视频文件。其中，终端102可以是个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备等各种设备。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现，用来存储视频文件，并在接收到视频播放请求时，将视频文件发送至相应的视频播放设备进行播放。

其中，视频叠加OSD信息为通过OSD技术叠加在视频图像上的屏幕菜单信息(包括图片信息、文字信息等)，例如OSD信息可以是视频图像的拍摄时间和拍摄地点，也可以是电视台频道LOGO和视频字幕。

在叠加OSD信息时，可以由第一线路获取视频信号，对视频信号进行滤波处理，同步地，由第二线路获取包含OSD信息的OSD电平信号，对电平信号进行调频处理，将处理后的视频信号和OSD信号交流耦合，实现OSD信息的叠加。该方式通过两条独立的线路对视频信号和OSD信息进行分开同步处理，使得在录制视频时视频图像上无OSD信息，在播放视频时用户可以选择OSD信息是否可见，有效地避免了OSD信息遮挡视频图像的图像细节。然而，该方式存在以下不足之处：(1)适用于通过视频同轴电缆对视频信号和OSD电平信号进行传输的环境，不适用于网络传输环境；(2)视频信号与OSD信号进行交流耦合时需要做不同频率的调制解调处理，需要增加相应的硬件电路；(3)需要人为选择OSD信息是否可见。本申请的具体实施方式中提供的视频生成方法在避免OSD信息遮挡视频图像的图像细节的同时，可以有效地解决上述不足之处。

在一个实施例中，如图2所示，提供了一种视频生成方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤：

步骤202，接收待编码图像。

具体地，可接收摄像头拍摄并发送的、或者存储设备发送的、或者用户输入的视频码流，在该视频码流中按照视频帧的顺序获取待编码图像，以依次对视频码流中的每帧待编码图像进行编码。

步骤204，在待编码图像中，检测预设的目标对象和视频叠加OSD信息。

具体地，为了提高待编码图像中图像细节的检测准确度，预先将用户关注的动态目标和静态目标设置为目标对象，这些目标对象相当于用户感兴趣的图像细节，通过检测这些目标对象，即可得到用户感兴趣的图像细节。作为示例地，动态目标可为车辆、人、动物等等，静态目标可为交叉路口的路牌、红绿灯等等。可通过对待编码图像进行特征识别，检测到待编码图像中的目标对象。

具体地，预先设置叠加在视频图像上的至少一种OSD信息和每种OSD信息的尺寸大小。例如，将视频拍摄时间设置为一种OSD信息，将视频拍摄地点设置为另一种OSD信息，将视频拍摄作者名称设置为再一种OSD信息。此时，待编码图像上尚未叠加OSD信息，可通过在相邻上一帧图像上检测OSD信息，预测得到将要叠加在待编码图像上的OSD信息。其中，OSD信息可以是文字或者图片等格式，可以通过文字识别、图片识别等方式检测OSD信息。

步骤206，如果目标对象被OSD信息遮挡，则在待编码图像中遍历与OSD信息匹配的图像区域。

具体地，根据待编码图像上目标对象和OSD信息的检测结果，判断目标对象是否被OSD信息遮挡。若目标对象被OSD信息遮挡，则依据OSD信息的尺寸大小，在待编码图像中遍历与OSD信息相匹配的图像区域，该图像区域的尺寸大小与OSD信息的尺寸大小相符、且该图像区域不存在目标对象。

步骤208，将OSD信息叠加至匹配的图像区域并编码，得到相应的视频图像。

具体地，将OSD信息叠加在匹配的图像区域，对叠加了OSD信息的待编码图像进行编码，得到该待编码图像对应的视频图像。依次，得到摄像头拍摄的视频码流中每帧待编码图像的视频图像，由这些视频图像构成视频文件。

上述视频生成方法中，在待编码图像中，检测目标对象是否被OSD信息遮挡，若遮挡，则在待编码图像中遍历与OSD信息匹配的图像区域，将OSD信息叠加在该图像区域，从而解决了OSD信息与待编码图像中图像细节遮挡的问题，且视频生成过程适用的数据传输环境广泛，无需增加额外的硬件电路，也无需人为选择OSD信息是否可见，提高了视频播放的智能化程度。

在一个实施例中，如图3所示，提供了一种视频生成方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤：

步骤302，接收待编码图像。

步骤304，在待编码图像中，分别检测目标对象和OSD信息，获得目标对象的图像位置和OSD信息的图像位置。

具体地，为了提高待编码图像中图像细节的检测准确度，预先将用户关注的动态目标和静态目标设置为目标对象，这些目标对象相当于用户感兴趣的图像细节，通过检测这些目标对象的图像位置得到用户感兴趣的图像细节的图像位置。可通过对待编码图像进行特征识别，检测到待编码图像中的目标对象，进而得到各个目标对象在待编码图像中的图像位置。

具体地，为避免帧与帧之间OSD信息的图像位置变化较大，OSD信息默认叠加的图像位置可为OSD信息在相邻上一帧图像中的图像位置。因此，可通过获取或检测OSD信息在相邻上一帧图像中的图像位置，得到OSD信息叠加在待编码图像中的图像位置。此外，也可以预设OSD的默认叠加位置，通过获取OSD的默认叠加位置，得到OSD信息叠加在待编码图像中的图像位置。

步骤306，确定目标对象的图像位置与OSD信息的图像位置是否发生重叠，如果发生重叠，则确定目标对象被OSD信息遮挡。

具体地，目标对象和OSD信息在待编码图像中的图像位置都可认为是一个闭合的图像区域，确定目标对象所在的图像区域与OSD信息所在的图像区域是否存在重叠区域，若存在则确定目标对象的图像位置与OSD信息的图像位置发生重叠，进而确定目标对象被OSD信息遮挡。

在一个实施例中，判断目标对象所在图像区域的边与OSD信息所在图像区域的边是否交叉、或者目标对象所在图像区域的任一顶点是否位于OSD信息所在图像区域内、或者OSD信息所在图像区域的任一顶点是否位于OSD信息所在图像区域内，若是，则确定目标对象所在的图像区域与OSD信息所在的图像区域存在重叠区域，从而降低重叠区域判断的复杂度。

步骤308，如果目标对象被OSD信息遮挡，则在待编码图像中遍历与OSD信息匹配的图像区域。

步骤310，将OSD信息叠加至匹配的图像区域并编码，得到相应的视频图像。

具体地，步骤308至步骤310可参照步骤206和步骤208的详细描述，在此不再赘述。

上述视频生成方法中，在待编码图像中，通过检测目标对象的图像位置与OSD信息的图像位置是否发生重叠时，确定目标对象是否被OSD信息遮挡，若遮挡则将OSD信息叠加到与其相匹配的图像区域，从而在视频生成过程中，提高了目标对象与OSD信息之间相互遮挡的判断准确度，解决了OSD信息与待编码图像中图像细节遮挡的问题，且适用的数据传输环境广泛，无需增加额外的硬件电路，也无需人为选择OSD信息是否可见，提高了视频播放的智能化程度。

在一个实施例中，如图4所示，提供了一种视频生成方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤：

步骤402，接收待编码图像。

步骤404，在待编码图像中检测目标对象。

具体地，步骤402～404可参照步骤202～步骤204的描述，在此不再赘述。

步骤406，如果待编码图像中检测到的目标对象相对于相邻上一帧图像中的目标对象发生变化，则在待编码图像中检测OSD信息。

具体地，将待编码图像中检测到的目标对象与待编码图像相邻上一帧图像中的目标对象进行对比，确定待编码图像中检测到的目标对象相对于相邻上一帧图像中的目标对象是否发生变化。若发生变化，则表明按照相邻上一帧图像上OSD信息的叠加位置将OSD信息叠加在待编码图像上，有可能会遮挡住变化后的目标对象，使得用户感兴趣的图像细节被遮挡。因此，在待编码图像中检测到的目标对象相对于相邻上一帧图像中的目标对象发生变化时，在待编码图像中检测OSD信息，以确定OSD信息是否遮挡住目标对象。OSD信息的检测方式可参照步骤204或步骤304，在此不再赘述。

在一个实施例中，将待编码图像中检测到的目标对象与待编码图像相邻上一帧图像中的目标对象进行对比，包括对比目标对象的数量和种类是否发生变化，还包括对比同一个目标对象的位置是否发生变化，从而准确地监控待编码图像中目标对象的变化。

步骤408，如果目标对象被OSD信息遮挡，则在待编码图像中遍历与OSD信息匹配的图像区域。

步骤410，将OSD信息叠加至匹配的图像区域并编码，得到相应的视频图像。

具体地，步骤408可参照步骤206～步骤208或步骤306～步骤310的描述，在此不再赘述。

上述方法实施例中，在待编码图像中检测目标对象，在该目标对象相对于相邻上一帧图像中的目标对象发生变化时，在待编码图像中检测OSD信息，若目标对象被OSD信息遮挡，则将OSD信息叠加到遍历得到的与其相匹配的图像区域，从而在视频生成过程中，解决了OSD信息与待编码图像中图像细节遮挡的问题，且无需对每一帧图像都进行目标对象和OSD信息的遮挡检测，提高了视频生成的效率，同时，适用的数据传输环境广泛，无需增加额外的硬件电路，也无需人为选择OSD信息是否可见，提高了视频播放的智能化程度。

在一个实施例中，如图5所示，提供了一种视频生成方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤：

步骤502，接收待编码图像。

步骤504，在待编码图像中检测目标对象。

步骤506，如果待编码图像中检测到的目标对象相对于相邻上一帧图像中的目标对象发生变化，则在待编码图像中检测OSD信息，并依据待编码图像中的目标对象的图像位置，更新每个宏块的图像细节连续未出现次数。

具体地，预先将待编码图像所对应的视频画面虚拟地划分为预设数量个宏块，例如5*5个宏块或8*8个宏块，每个宏块的尺寸大小相等。其中，待编码图像所对应的视频画面，可理解为视频码流的拍摄画面，也可以理解为视频文件的播放画面，宏块可以理解为画面区域。例如，图6中视频画面的大小为H*W，视频画面被划分为M*N个宏块，宏块的编码从1到M*N。

具体地，如果待编码图像中检测到的目标对象相对于相邻上一帧图像中的目标对象发生变化，在待编码图像中检测OSD信息，同时依据待编码图像中各个目标对象所在的图像位置，确定待编码图像中各个目标对象所位于的宏块，进而更新各个宏块的图像细节连续未出现次数。其中，宏块的图像细节连续未出现次数，即从视频码流的第n帧待编码图像开始该宏块内连续未出现目标对象的次数。n可以为0，也可以每个预设周期更新一次n值，例如，每隔100帧将当前帧在视频码流的次序设置为n值，以避免图像细节连续未出现次数的累计周期过长，影响后续图像区域的遍历效率。

步骤508，如果目标对象被OSD信息遮挡，则确定待编码图像的图像有效空间，依据每个宏块的图像细节连续未出现次数，在图像有效空间遍历与OSD信息匹配的图像区域。

具体地，依据检测到的目标对象和OSD信息，确定目标对象是否会被OSD信息遮挡，若是，则确定待编码图像的图像有效空间，在图像有效空间中，依据各个宏块的图像细节连续未出现次数，遍历与OSD信息尺寸大小一致、且未出现目标对象的图像区域。从而依据将视频画面划分为多个宏块，并记录每个宏块的图像细节连续未出现次数，提供图像区域遍历的准确度。

步骤510，将OSD信息叠加至匹配的图像区域并编码，得到相应的视频图像。

在一个实施例中，在确定待编码图像的图像有效空间时，将待编码图像中除去预设的用户感兴趣区域和已经叠加有OSD信息的图像区域以外的图像区域，设置为图像有效空间，从而通过确定图像有效空间减小图像区域的遍历区域，提高图像区域遍历效率和准确度。其中，预设的用户感兴趣区域为用户关注的静态区域，该区域可视为优先级最高区域，需要时刻保持原始图像内容。用户感兴趣区域的位置由用户设置或者系统默认。例如，摄像头在拍摄时对准需要监控的区域，往往图像中心区域包含的信息量最多，因此可将预设大小的图像中心区域设置为用户感兴趣区域。

上述视频生成方法中，在待编码图像中的目标对象发生变化时，检测OSD信息，同时更新每个宏块的图像细节连续未出现次数，依据每个宏块的图像细节连续未出现次数，在图像有效空间内遍历OSD信息匹配的图像区域，将OSD信息叠加到该图像区域，从而提高了OSD信息与图像细节之间避免遮挡的准确度，提高了视频生成效果，且适用的数据传输环境广泛，无需增加额外的硬件电路，也无需人为选择OSD信息是否可见，提高了视频播放的智能化程度。

在一个实施例中，依据每个宏块的图像细节连续未出现次数，在图像有效空间遍历与OSD信息匹配的图像区域的过程，通过下述步骤实现：

步骤一，在图像有效空间内遍历与OSD信息尺寸相适的图像区域。

具体地，获取OSD信息的尺寸，在图像有效空间内遍历与OSD信息尺寸相适的图像区域，遍历到的图像区域由1个或1个以上的宏块构成。

在一个实施例中，由宏块构成的图像区域的尺寸不一定刚好能够与OSD信息的尺寸一致，若OSD信息的尺寸小于等于单个宏块的尺寸，则与OSD信息尺寸相适的图像区域由单个宏块构成，若OSD信息的尺寸超过单个宏块的尺寸，则与OSD信息尺寸相适的图像区域由多个宏块构成，使得图像区域的尺寸恰好不小于OSD信息的尺寸。

步骤二，在与OSD信息尺寸相适的图像区域中，筛选备选图像区域；备选图像区域中每个宏块的图像细节连续未出现次数都超过预设的次数阈值。

具体地，预先设置次数阈值，依据遍历得到的图像区域中各个宏块的图像细节连续未出现次数，从图像区域中筛选出备选图像区域，其中，备选图像区域中每个的图像细节连续未出现次数都超过该次数阈值。

步骤三，将所有宏块的图像细节连续未出现次数之和最大的备选图像区域设置为与OSD信息匹配的图像区域。

具体地，计算备选图像区域内所有宏块的图像细节连续未出现次数之和，将图像细节连续未出现次数之和最大的备选图像区域设置为与OSD信息匹配的图像区域，从而尽可能的挑选出未出现图像细节(即目标对象)、且图像细节出现可能性最低的图像区域作为OSD信息的叠加区域。

在一个实施例中，若筛选得到的备选图像区域的数目为零，即每个遍历得到的与OSD信息尺寸相适的图像区域中各宏块的图像细节连续未出现次数都未超过次数阈值，则减小次数阈值，继续对遍历得到的与OSD信息尺寸相适的图像区域进行筛选。

在一个实施例中，若次数阈值小于预设阈值，不宜继续减小次数阈值，则计算每个遍历得到的与OSD信息尺寸相适的图像区域中与目标对象重叠的宏块数目，将重叠的宏块数目最少的图像区域设置为与OSD信息匹配的图像区域，从而在无法避免对目标对象进行遮挡的情况下，尽可能减少OSD信息遮挡住的目标对象。

作为示例地，图6为视频生成方法的流程示例图，获取准备编码的当前帧图像，检测当前帧图像中感兴趣目标是否有刷新，即当前帧图像中的目标对象相对于上一帧图像中的目标对象是否发生变化，若刷新，则统计并更新各个宏块，即更新各个宏块的图像细节连续未出现次数，否则将OSD信息叠加在当前帧图像上，并将当前帧图像发送至编码器进行编码。

在宏块统计更新后，检测OSD信息与感兴趣目标是否发生重叠，未重叠则将OSD信息叠加在当前帧图像上，并将当前帧图像发送至编码器进行编码。若重叠，则在图像有效空间遍历到与OSD信息尺寸相当的区域，判断遍历到的区域内各个宏块的cnt是否大于等于C，cnt表示图像细节连续未出现次数，C表示次数阈值，若是，则将该区域设置为备选区域，因此将各个宏块的cnt大于等于C的区域筛选为备选区域。判断是否对当前帧图像完成了一次遍历，是则统计备选区域的数目，在备选区域中选择cnt之和最大的区域作为与OSD信息匹配的图像区域。若未完成一次遍历，则继续遍历当前帧图像。

若备选区域的数目为0，则判断C是否为1，不为1则对C进行递减，重新对当前帧图像进行图像区域的遍历和筛选，为1则在当前帧图像上找到与OSD信息尺寸相当的区域，并统计各个区域内与感兴趣目标重叠的宏块数目，在统计完所有区域后，选择与感兴趣目标重叠最少的矩形区域作为与OSD信息匹配的图像区域，与感兴趣目标重叠最少的矩形区域即与感兴趣目标重叠的宏块数目最少的图像区域。

在确定与OSD信息匹配的图像区域后，刷新OSD信息的位置，即将OSD信息的位置更新至该匹配的图像区域处，并在当前帧图像上叠加OSD信息。

在一个实施例中，为减少视频生成过程的工作量，提高视频生成效率，设置目标对象的检测周期，每隔预设数量帧检测一次目标对象，在确定待编码图像中的目标对象是否发生变化时，可将待编码图像中的目标对象与相邻上一个检测周期的图像中的目标对象进行比较。在检测待编码图像中的OSD信息时，也可以通过检测相应上一个检测周期的图像中的OSD信息得到。

应该理解的是，虽然图2-6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-6中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，所述在所述待编码图像中遍历与所述OSD信息匹配的图像区域包括：

在所述待编码图像中确定所述OSD信息叠加的第一区域；

将所述第一区域的顶点和所述每个目标对象的中心点，作为目标点；

在所述待编码图像中遍历预设数量的目标点构成的与所述OSD信息匹配的图像区域。

需要说明的是，本发明实施例中的OSD信息可以是通过对图像进行智能分析得到的信息，也可以是外部设备发送的信息，或者用户输入的信息等。可以是图像采集设备对图像进行智能分析，也可以是PC、平板电脑等设备对图像进行智能分析，在本发明实施例中不进行限定。

计算机设备在获取到图像之后，在图像中确定OSD信息叠加的第一区域，其中，可以将整个图像作为第一区域，也可以在图像中确定用户指定的第一区域。较佳的，所述在所述待编码图像中确定所述OSD信息叠加的第一区域包括：

根据接收到的区域选取指令，确定属性OSD信息叠加的第一区域，其中，所述区域选取指令包括居中区域选取指令、左上区域选取指令、右上区域选取指令、左下区域选取指令和右下区域选取指令。

计算机设备可以为用户设置第一区域位置偏好选项，并显示在计算机设备的显示屏上，偏好选项包括居中、左上、右上、左下、右下，用户通过选取第一区域位置偏好选项，来向计算机设备发送区域选取指令。例如，当用户选取居中选项，则确定接收到居中区域选取指令，将图像中的居中区域作为第一区域，当用户选取左上选项，则确定接收到左上区域选取指令，将图像中的左上区域作为第一区域。其中，居中、左上、右上、左下、右下区域的面积可以预先设定，例如，如图2所示，居中、左上、右上、左下、右下区域中每个区域的面积都为图像面积的四分之一。当然，居中、左上、右上、左下、右下区域中每个区域的面积也可以是其它任意面积，并且，居中、左上、右上、左下、右下区域的面积可以相同也可以不同。另外，用户也可以向计算机设备输入第一区域的坐标信息来确定第一区域。

计算机设备确定出第一区域之后，识别第一区域内的目标对象。其中，计算机设备可以通过智能分析算法识别第一区域内的目标对象，具体实施时，可以先识别出整个图像中所有的目标对象，然后在判断哪些目标对象在第一区域内。也可以在确定第一区域之后，直接在第一区域内识别目标对象。

所述在所述待编码图像中遍历预设数量的目标点构成的与所述OSD信息匹配的图像区域包括：

根据所述区域选取指令，确定目标点选取顺序，按照所述选取顺序，在所述待编码图像中遍历预设数量的目标点构成的与所述OSD信息匹配的图像区域。

计算机设备确定第一区域，并且识别出第一区域内的每个目标对象之后，将第一区域的顶点和每个目标对象的中心点作为目标点。然后选取预设数量的目标点构建第二区域，在第二区域内叠加所述OSD信息。其中，预设数量至少为3个。

在本发明实施例中，如果区域选取指令为左上区域选取指令，则按照由左上到右下的顺序，选取预设数量的目标点构建第二区域。如果区域选取指令为右上区域选取指令，则按照由右上到左下的顺序，选取预设数量的目标点构建第二区域。这样确定出的第二区域更能满足用户的需求。

另外，为了保证叠加的OSD信息能够清楚显示，OSD信息对应有预设大小的第三区域。从而保证OSD信息不会显示的太小从而导致OSD信息不清楚。

所述在所述待编码图像中遍历预设数量的目标点构成的与所述OSD信息匹配的图像区域包括：

判断当前预设数量的目标点构成的第二区域内是否能够容纳所述OSD信息对应的预设大小的第三区域，如果是，将该第二区域作为与所述OSD信息匹配的图像区域。

具体的，如果遍历所有目标点，构建的第二区域都不能容纳所述第三区域，所述方法还包括：

按照预设的区域增大梯度扩大所述第一区域，直至在第一区域内构建的第二区域能够容纳所述第三区域；或将所述预设数量增加预设的数值，直至构建的第二区域能够容纳所述第三区域。

例如，用户输入的区域选取指令为左上区域选取指令，则在左上角确定的第一个第二区域不能容纳OSD信息对应的预设大小的第三区域时，删除该第二区域中的一个目标点。其中，可以删除任意一个，也可以删除左上角的第一个目标点，然后选取第一区域内除构成第二区域的目标点之外，最左上角的目标点作为新的目标点，新的目标点和保留的目标点构成新的第二区域，继续判断新的第二区域是否能够容纳所述OSD信息对应的预设大小的第三区域，直至构建的第二区域能够容纳第三区域，然后在第二区域内叠加OSD信息。

在本发明实施例中，当遍历所有目标点，构建的第二区域都不能容纳第三区域时，可以采取以下两种方式进行处理。第一种是按照预设的区域增大梯度扩大第一区域，直至在第一区域内构建的第二区域能够容纳第三区域。预设的区域增大梯度可以是在原有的基础上扩大四分之三，五分之四等。扩大后的第一区域内包含更多的目标对象，也就包含更多的目标点，并且第一区域的顶点也发生改变，从而更容易确定出能够容纳第三区域的第二区域。第二种是将预设数量增加预设的数值，直至构建的第二区域能够容纳第三区域。一般情况下预设的数值可以是1。例如，原有的预设数量为3个，如果遍历目标点，构建的第二区域都不能容纳所述第三区域，则将预设数量更新为4个，这样可以使得构建的第二区域变大，从而更容易确定出能够容纳第三区域的第二区域。如果4个目标点构建的第二区域仍然不能容纳第三区域，则将预设数量更新为5个，以此类推。需要说明的是，上述两种方法也可以结合使用，即在增大第一区域的同时，将预设数量增加预设的数值，直至构建的第二区域能够容纳第三区域。

其中，判断第二区域是否能够容纳第三区域的过程属于现有技术，在此不再对该过程进行赘述。

在一个实施例中，如图7所示，提供了一种视频生成装置700，包括：图像接收模块702、图像检测模块704、区域遍历模块706和信息叠加模块708，其中：

图像接收模块702，用于接收待编码图像；

图像检测模块704，用于在待编码图像中，检测预设的目标对象和视频叠加OSD信息；

区域遍历模块706，用于如果目标对象被OSD信息遮挡，则在待编码图像中遍历与OSD信息匹配的图像区域；以及

信息叠加模块708，用于将OSD信息叠加至匹配的图像区域并编码，得到相应的视频图像。

在一个实施例中，图像检测模块704包括：

位置检测模块，用于在待编码图像中，分别检测目标对象和OSD信息，获得目标对象的图像位置和OSD信息的图像位置；以及

位置重叠检测模块，用于确定目标对象的图像位置与OSD信息的图像位置是否发生重叠，如果发生重叠，则确定目标对象被OSD信息遮挡。

在一个实施例中，图像检测模块704包括：

目标对象检测模块，用于在待编码图像中检测目标对象；以及

OSD信息检测模块，用于如果待编码图像中检测到的目标对象相对于相邻上一帧图像中的目标对象发生变化，则在待编码图像中检测OSD信息。

在一个实施例中，待编码图像所对应的视频画面被划分为预设数量个宏块；视频生成装置还包括：

宏块更新模块，用于如果待编码图像中检测到的目标对象相对于上一帧图像中的目标对象发生变化，则依据待编码图像中的目标对象的图像位置，更新每个宏块的图像细节连续未出现次数。

在一个实施例中，区域遍历模块706包括：

有效空间确定模块，用于确定待编码图像的图像有效空间；以及

有效空间遍历模块，用于依据每个宏块的图像细节连续未出现次数，在图像有效空间遍历与OSD信息匹配的图像区域。

在一个实施例中，有效空间确定模块包括：

有效空间设置模块，用于在待编码图像中，将除预设的用户感兴趣区域和已叠加有OSD信息的图像区域以外的图像区域设置为图像有效空间。

在一个实施例中，有效空间遍历模块包括：

图像区域遍历模块，用于在图像有效空间内遍历与OSD信息尺寸相适的图像区域；以及

备选区域筛选模块，用于在与OSD信息尺寸相适的图像区域中，筛选备选图像区域；备选图像区域中每个宏块的图像细节连续未出现次数都超过预设的次数阈值；以及

第一匹配区域确定模块，用于将所有宏块的图像细节连续未出现次数之和最大的备选图像区域设置为与OSD信息匹配的图像区域。

在一个实施例中，视频生成装置还包括：

次数阈值较小模块，用于如果备选图像区域的数目为零、且次数阈值不小于预设阈值，则减小次数阈值，并由跳转至备选区域筛选模块执行筛选备选图像区域的步骤。

在一个实施例中，视频生成装置还包括：

宏块数目计算模块，用于如果备选图像区域的数目为零、且次数阈值小于预设阈值，则计算每个与OSD信息尺寸相适的图像区域中与目标对象重叠的宏块数目；以及

第二匹配区域确定模块，用于在所有与OSD信息尺寸相适的图像区域中，将与目标对象重叠的宏块数目最少的图像区域设置为与OSD信息匹配的图像区域。

在一个实施例中，区域遍历模块，用于在所述待编码图像中确定所述OSD信息叠加的第一区域；将所述第一区域的顶点和所述每个目标对象的中心点，作为目标点；在所述待编码图像中遍历预设数量的目标点构成的与所述OSD信息匹配的图像区域。

在一个实施例中，区域遍历模块，用于根据接收到的区域选取指令，确定属性OSD信息叠加的第一区域，其中，所述区域选取指令包括居中区域选取指令、左上区域选取指令、右上区域选取指令、左下区域选取指令和右下区域选取指令。

在一个实施例中，区域遍历模块，用于根据所述区域选取指令，确定目标点选取顺序，按照所述选取顺序，在所述待编码图像中遍历预设数量的目标点构成的与所述OSD信息匹配的图像区域。

在一个实施例中，区域遍历模块，用于判断当前预设数量的目标点构成的第二区域内是否能够容纳所述OSD信息对应的预设大小的第三区域，如果是，将该第二区域作为与所述OSD信息匹配的图像区域。

在一个实施例中，区域遍历模块，用于按照预设的区域增大梯度扩大所述第一区域，直至在第一区域内构建的第二区域能够容纳所述第三区域；或将所述预设数量增加预设的数值，直至构建的第二区域能够容纳所述第三区域。

关于视频生成装置的具体限定可以参见上文中对于视频生成方法的限定，在此不再赘述。上述视频生成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储码流数据、OSD信息以及视频编码后的视频文件。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种视频生成方法。

本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述方法实施例中的各步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例中的各步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (17)

1.一种视频生成方法，其特征在于，所述方法包括：

接收待编码图像；

在所述待编码图像中，检测预设的目标对象和视频叠加OSD信息；

如果所述目标对象被所述OSD信息遮挡，则在所述待编码图像中遍历与所述OSD信息匹配的图像区域；

将所述OSD信息叠加至所述匹配的图像区域并编码，得到相应的视频图像。

2.根据权利要求1所述的方法，其特征在于，所述检测预设的目标对象和视频叠加OSD信息的步骤，包括：

在所述待编码图像中，分别检测所述目标对象和所述OSD信息，获得所述目标对象的图像位置和所述OSD信息的图像位置；

所述目标对象被所述OSD信息遮挡的检测方式，包括：

确定所述目标对象的图像位置与所述OSD信息的图像位置是否发生重叠，如果发生重叠，则确定所述目标对象被所述OSD信息遮挡。

3.根据权利要求1所述的方法，其特征在于，所述检测预设的目标对象和视频叠加OSD信息的步骤，包括：

在所述待编码图像中检测所述目标对象；

如果所述待编码图像中检测到的目标对象相对于相邻上一帧图像中的目标对象发生变化，则在所述待编码图像中检测所述OSD信息。

4.根据权利要求3所述的方法，其特征在于，所述待编码图像所对应的视频画面被划分为预设数量个宏块；所述方法还包括：

如果所述待编码图像中检测到的目标对象相对于上一帧图像中的目标对象发生变化，则依据所述待编码图像中的目标对象的图像位置，更新每个所述宏块的图像细节连续未出现次数。

5.根据权利要求4所述的方法，其特征在于，所述在所述待编码图像中遍历与所述OSD信息匹配的图像区域的步骤，包括：

确定所述待编码图像的图像有效空间；

依据每个所述宏块的图像细节连续未出现次数，在所述图像有效空间遍历与所述OSD信息匹配的图像区域。

6.根据权利要求5所述的方法，其特征在于，所述确定所述待编码图像的图像有效空间的步骤，包括：

在所述待编码图像中，将除预设的用户感兴趣区域和已叠加有所述OSD信息的图像区域以外的图像区域设置为所述图像有效空间。

7.根据权利要求5所述的方法，其特征在于，所述在所述图像有效空间遍历与所述OSD信息匹配的图像区域的步骤，包括：

在所述图像有效空间内遍历与所述OSD信息尺寸相适的图像区域；

在与所述OSD信息尺寸相适的图像区域中，筛选备选图像区域；所述备选图像区域中每个所述宏块的图像细节连续未出现次数都超过预设的次数阈值；

将所有所述宏块的图像细节连续未出现次数之和最大的所述备选图像区域设置为与所述OSD信息匹配的图像区域。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

如果所述备选图像区域的数目为零、且所述次数阈值不小于预设阈值，则减小所述次数阈值，并跳转至执行筛选备选图像区域的步骤。

9.根据权利要求7所述的方法，其特征在于，所述方法还包括：

如果所述备选图像区域的数目为零、且所述次数阈值小于预设阈值，则计算每个与所述OSD信息尺寸相适的图像区域中与所述目标对象重叠的宏块数目；

在所有与所述OSD信息尺寸相适的图像区域中，将与所述目标对象重叠的宏块数目最少的图像区域设置为与所述OSD信息匹配的图像区域。

10.根据权利要求1所述的方法，其特征在于，所述在所述待编码图像中遍历与所述OSD信息匹配的图像区域包括：

在所述待编码图像中确定所述OSD信息叠加的第一区域；

将所述第一区域的顶点和所述每个目标对象的中心点，作为目标点；

在所述待编码图像中遍历预设数量的目标点构成的与所述OSD信息匹配的图像区域。

11.根据权利要求10所述的方法，其特征在于，所述在所述待编码图像中确定所述OSD信息叠加的第一区域包括：

根据接收到的区域选取指令，确定属性OSD信息叠加的第一区域，其中，所述区域选取指令包括居中区域选取指令、左上区域选取指令、右上区域选取指令、左下区域选取指令和右下区域选取指令。

12.如权利要求11所述的方法，其特征在于，所述在所述待编码图像中遍历预设数量的目标点构成的与所述OSD信息匹配的图像区域包括：

根据所述区域选取指令，确定目标点选取顺序，按照所述选取顺序，在所述待编码图像中遍历预设数量的目标点构成的与所述OSD信息匹配的图像区域。

13.如权利要求12所述的方法，其特征在于，所述在所述待编码图像中遍历预设数量的目标点构成的与所述OSD信息匹配的图像区域包括：

判断当前预设数量的目标点构成的第二区域内是否能够容纳所述OSD信息对应的预设大小的第三区域，如果是，将该第二区域作为与所述OSD信息匹配的图像区域。

14.如权利要求13所述的方法，其特征在于，如果遍历所有目标点，构建的第二区域都不能容纳所述第三区域，所述方法还包括：

按照预设的区域增大梯度扩大所述第一区域，直至在第一区域内构建的第二区域能够容纳所述第三区域；或将所述预设数量增加预设的数值，直至构建的第二区域能够容纳所述第三区域。

15.一种视频生成装置，其特征在于，所述装置包括：

图像接收模块，用于接收待编码图像；

图像检测模块，用于在所述待编码图像中，检测预设的目标对象和视频叠加OSD信息；

区域遍历模块，用于如果所述目标对象被所述OSD信息遮挡，则在所述待编码图像中遍历与所述OSD信息匹配的图像区域；以及

信息叠加模块，用于将所述OSD信息叠加至所述匹配的图像区域并编码，得到相应的视频图像。

16.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至14中任一项所述方法的步骤。

17.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至14中任一项所述的方法的步骤。

Images