CN103369255A - 一种实现字幕叠加的装置及方法 - Google Patents

Abstract

本发明涉及一种实现字幕叠加的装置及方法，从解码器端来完成字幕的叠加。当视频数据码流到达解码器端时，将其解码得到YUV格式或者RGB格式的第一码流数据,并在调用API绘图函数将第一码流数据画在窗体之前，通过拦截函数截获API绘图函数，拿到第一码流数据。然后将自定义字幕信息转换为YUV格式或者RGB格式的第二码流数据,通过叠加算法将第一码流数据与第二码流数据叠加，最后使用API绘图函数画在窗体上，这样就完成了字幕的叠加。本发明使用拦截函数方式拦截获得第一码流数据，可针对任意厂商的不同码流添加字幕。还增加了图像的可利用性和字幕叠加的可配置性，解码器可以随意配置图像要叠加的字幕，且各个解码器可以配置不同字幕，充分利用图像资源。

Description

一种实现字幕叠加的装置及方法

技术领域

本发明涉及视频监控领域的一种图像或视频信号处理的装置及方法，具体是一种实现字幕叠加的装置及方法。

背景技术

目前监控行业的视频数据码流很多是各个厂商经过自己编码处理的私有格式码流，要将这些私有格式码流解码并显示图像，需要使用该厂商提供的解码库将私有码流解码成YUV格式或者RGB格式的码流数据并通过API绘图函数才能在显示窗体上显示。

一般厂商提供的视频数据码流，解码是通过使用该厂商提供的解码库进行的。一般厂商提供的解码库的解码过程如图1所示，MPEG4码流或标准的H264码流或私有码流传输至解码库中，为了方便在显示窗口显示，解码库中将视频码流解码后获得YUV格式或者RGB格式的码流数据后，会直接利用API绘图函数将其绘制为能够直接在显示窗体上显示的格式，因此解码库输出至显示窗体上后能够直接播放视频。

在图2中，厂商提供的视频码流中已经包含了字幕信息预定的字幕信息，例如监控图像上的时间、监控点名称等等。而字幕叠加这一过程在编码前将其完成，一般需要将字幕的模拟信号输入，对模拟信息进行A/D转换后变成数字信号，再由字符叠加芯片来叠加字幕，叠加字幕后的图像经过编码压缩后形成MPEG4码流或者标准的H264码流或私有码流，然后进行图1所示的过程。

这种在编码前叠加字幕的做法一定程度上增加了编码处理时的芯片的数据处理任务，而且对于外厂商设备已经完成了编码的码流，同时只提供了简单绘图功能的解码库，无法实现字幕的叠加，字幕叠加的灵活性较差。另外如果采用在编码前就把字幕叠加好，如果一幅监控图像已经有了字幕，想要去掉字幕或者换成其他字幕就非常麻烦。需要在该字幕的位置用马赛克代替，或者用其他矩形的字幕图片覆盖。这样显示效果上就会出现明显的马赛克或者矩形图片,无法获得想要的清晰的图像。并且当两个用户想要利用同一副图像，可是他们想要在该图像上添加不同的字幕时，上述方案均无法有效的实现。致使每一幅图像的可利用率不高，字幕叠加的灵活性也远远不能够满足用户的需求。

发明内容

本发明所要解决的技术问题是现有技术中的视频图像的字幕无法根据需要进行调整，从而提供一种实现字幕叠加的装置及方法。

为解决上述技术问题，本发明是通过以下技术方案实现的：

一种实现字幕叠加的装置，包括：

解码器，将视频数据码流解码得到YUV格式或者RGB格式的第一码流数据；

截获模块，拦截获得所述解码器输出的所述第一码流数据后输出，阻止所述第一码流数据从所述解码器输出后直接被API绘图函数处理；

字幕编辑模块，将自定义的字幕信息转换为YUV格式或者RGB格式的第二码流数据；

叠加模块，接收所述截获模块输出的所述第一码流数据以及所述字幕编辑模块输出的所述第二码流数据，将二者叠加得到叠加后的YUV格式或者RGB格式的第三码流数据，并发送至绘图模块；

所述绘图模块，使用API绘图函数，将所述第三码流数据绘制到显示模块的显示窗体上。

进一步地所述字幕编辑模块包括：

字幕输入子模块，用于输入自定义字幕；

字幕编辑子模块，用于将所述字幕输入子模块输入的自定义字幕转换为YUV格式或者RGB格式的第二码流数据。

进一步地所述截获模块内置有拦截函数，利用所述拦截函数拦截获得所述解码器输出的所述第一码流数据。

进一步地所述拦截函数为Detours拦截函数，拦截获得所述解码器输出的所述第一码流数据。

进一步地所述视频数据码流包括MPEG4码流、标准的H264码流和私有格式码流。

一种实现字幕叠加的方法，包括如下步骤：

S1：将视频数据码流解码得到YUV格式或者RGB格式的第一码流数据；

将自定义的字幕信息转换为YUV格式或者RGB格式的第二码流数据；

S2：拦截获得所述第一码流数据，阻止所述第一码流数据直接被API绘图函数处理；

S3：将所述步骤S2中拦截获得的第一码流数据以及所述第二码流数据，将二者叠加得到叠加后的YUV格式或者RGB格式的第三码流数据；

S4：使用API绘图函数将所述第三码流数据绘制到显示窗体上显示。

进一步地所述步骤S1包括如下步骤：

S11：利用字幕输入子模块输入自定义的字幕；

S12：利用字幕编辑子模块将步骤S11输入的自定义字幕转换为YUV格式或者RGB格式的第二码流数据。

进一步地所述步骤S2中，利用拦截函数拦截获得所述步骤S1中的所述第一码流数据。

进一步地所述步骤S2中，所述拦截函数为Detours拦截函数，拦截获得所述步骤S1中的所述第一码流数据。

进一步地所述步骤S1中所述视频数据码流包括MPEG4码流、标准的H264码流和私有格式码流。

本发明的上述技术方案相比现有技术具有以下优点：

（1）本发明所述的实现字幕叠加的装置及方法，是从解码器端来完成字幕叠加的任务，当解码器将视频数据码流解码得到YUV格式或者RGB格式的第一码流数据后，由截获模块将其拦截，阻止第一码流数据从解码器输出后直接进行绘图处理，而是待字幕编辑模块将自定义字幕信息转换后得到的YUV格式或者RGB格式的第二码流数据叠加后，再经绘图模块处理。具体是通过Detours拦截函数来拦截API绘图函数。对于MPEG4码流、标准的H264码流和私有格式码流都不需要对方厂商提供解码后码流回调接口，便可以将YUV格式或者RGB格式的码流数据截获，进而通过叠加算法轻松地进行字幕的叠加，不再受限于厂家的解码库。同时不同于现有技术中在编码器端完成字幕的叠加，能够减轻编码器端的芯片对数据处理的负担，只要外厂商提供绘图功能的解码库即可实现字幕叠加，使得叠加字幕变得更加快捷和灵活。

（2）本发明所述的实现字幕叠加的装置及方法，一定意义上增加了图像的可利用性和字幕叠加的可配置性，通过字幕编辑模块可以输入自定义的字幕信息，随意配置图像要叠加的字幕，在多个使用者使用同一幅图像时，每一个使用者都可以自定义想要添加的字幕，增大了图像的可利用率。

（3）本发明所述的实现字幕叠加的装置及方法，在对字幕进行替换和叠加时直接通过操作字幕编辑模块实现，无需在字幕所在的位置用马赛克代替，或者用其他矩形的字幕图片覆盖，这样在显示时就可以获得想要的清晰的图像。

附图说明

为了使本发明的内容更容易被清楚的理解，下面结合附图，对本发明作进一步详细的说明，其中，

图1是现有技术中解码库解码的一种方式；

图2是现有技术中字幕叠加的一种方式；

图3是本发明所述一种实现字幕叠加的装置的结构示意图；

图4是现有技术中实现字幕叠加的装置的结构示意图；

图5是本发明所述一种实现字幕叠加的装置的优选实施例的结构示意图；

图6是本发明所述一种实现字幕叠加的方法的流程图；

图7是本发明所述一种实现字幕叠加的方法的优选实施例的流程图。

图中附图标记表示为：1-解码器，2-截获模块，3-叠加模块，4-显示模块，5-字幕编辑模块，51-字幕输入子模块，52-字幕编辑子模块，6-绘图模块。

具体实施方式

实施例1

本实施例提供的实现字幕叠加的装置，如图3所示，包括解码器1，将视频数据码流解码得到YUV格式或者RGB格式的第一码流数据。截获模块2，拦截获得所述解码器1输出的所述第一码流数据后输出，阻止所述第一码流数据从所述解码器1输出后直接被API绘图函数处理。字幕编辑模块5，将自定义的字幕信息转换为YUV格式或者RGB格式的第二码流数据。叠加模块3，接收所述截获模块2输出的所述第一码流数据以及所述字幕编辑模块5输出的所述第二码流数据将二者叠加得到叠加后的YUV格式或者RGB格式的第三码流数据，并发送至绘图模块6。所述绘图模块6使用API绘图函数，将所述第三码流数据绘制到显示模块4的显示窗体上。本实施例中所述视频数据码流包括MPEG4码流、标准的H264码流和私有格式码流。所述显示窗体包括显示器的窗体和对应于该显示器的软件模块。

进行图像显示时，一般经过如图4所示的过程。即不同厂商的不同的视频数据的码流经过解码器1解码得到原始的YUV格式或者RGB格式的码流数据，然后通过绘图模块6，使用API绘图函数将其画到显示模块4的显示窗体上进行显示。一般厂商不会提供YUV格式或者RGB格式的码流数据接口给用户，用户便无法获得YUV格式或者RGB格式的码流数据，故在进行字幕添加时需要厂商提供解码库，并且整个操作过程繁琐复杂。本实施例所述的截获模块2可以在厂商不提供解码后码流回调接口前提下，截获所述解码器1将视频数据码流解码得到YUV格式或者RGB格式的第一码流数据。当所述解码器1要将第一码流数据发送给API绘图函数时，将其发送过程切断，使其第一码流数据按照我们的需要发送.此时经过截获模块2的拦截后，第一码流数据的走向发生改变，第一码流数据流向叠加模块3，在叠加上用户自定义的字幕后再到绘图模块6将所述YUV格式或者RGB格式码流数据画到显示模块4的显示窗体上进而进行显示。

作为一种优选的实施方式，所述截获模块2内置有拦截函数，优选所述拦截函数为Detours拦截函数。Detours是微软研究院提供的一套替换系统API（应用程序编程接口）或COM（组件对象模型）接口的函数库，用于修改运行中的程序在内存中的影像，从而即使没有源代码也能改变程序的行为。即为一个已在运行的进程创建一新线程，装入自己的代码并运行。具体用途是：拦截API绘图函数的调用，将其引导到自己的子程序，从而实现API绘图函数的定制。Detours函数在计算机编程领域有较多应用，但是采用Detours拦截API绘图函数实现字幕叠加是字幕叠加领域的一个创新技术手段，此前无有先例。对于所属领域的普通技术人员来说，在上述说明的基础上还可以通过其他的拦截函数来实现对API绘图函数的拦截。这里无需也无法对所有的实施方式予以穷举，而由此所引伸出的显而易见的变化或变动仍处于本实施例的保护范围之中。

作为优选的实施方式，如图5所示，所述字幕编辑模块5包括字幕输入子模块51，用于输入自定义字幕；字幕编辑子模块52，用于将所述字幕输入子模块51输入的自定义字幕转换为YUV格式或者RGB格式的第二码流数据。本实施例中的解码器1及各个模块可以为该处理设备运行计算机可执行指令时具有相应功能的设备组件。根据本实施例，可以使用C/C++等语言在Windows等系统上来实现上述用于实现在解码端进行字幕叠加的装置。

本实施例的上述技术方案从解码器端来完成字幕叠加的任务，当解码器将视频数据码流解码得到YUV格式或者RGB格式的第一码流数据后，由截获模块将其拦截，阻止第一码流数据从解码器输出后直接进行绘图处理，而是待字幕编辑模块将自定义字幕信息转换后得到的YUV格式或者RGB格式的第二码流数据叠加后，再经绘图模块处理。具体是通过Detours拦截函数来拦截API绘图函数。对于MPEG4码流、标准的H264码流和私有格式码流都不需要对方厂商提供解码后码流回调接口，便可以将YUV格式或者RGB格式的码流数据截获，进而通过叠加算法轻松地进行字幕的叠加，不再受限于厂家的解码库。同时不同于现有技术中在编码器端完成字幕的叠加，能够减轻编码器端的芯片对数据处理的负担，只要外厂商提供绘图功能的解码库即可实现字幕叠加，使得叠加字幕变得更加快捷和灵活。

实施例2

本实施例提供了一种实现字幕叠加的方法，如图6所示，包括如下步骤：

S1：将视频数据码流解码得到YUV格式或者RGB格式的第一码流数据；

将自定义的字幕信息转换为YUV格式或者RGB格式的第二码流数据；

S2：拦截获得所述第一码流数据，阻止所述第一码流数据直接被API绘图函数处理；

S3：将所述步骤S2中拦截获得的第一码流数据以及所述第二码流数据，将二者叠加得到叠加后的YUV格式或者RGB格式的第三码流数据；

S4：使用API绘图函数将所述第三码流数据绘制到显示窗体上显示。

所述步骤S1中所述视频数据码流包括MPEG4码流、标准的H264码流和私有格式码流。所述步骤S4中的所述显示窗体包括显示器窗体和对应于该显示器的软件模块。所述步骤S3中的字幕叠加的实现方法较多,具体的叠加过程涉及到字幕位置，字幕颜色，字幕描边等各种处理，通过C/C++等编程语言在Windows等系统上来实现，均为常规编程处理手段，本领域技术人员应当知晓，此处不再详述。

作为优选的实施方式，其中所述步骤S1具体包括如下步骤：

S11：利用字幕输入子模块51输入自定义的字幕；

S12：利用字幕编辑子模块52将步骤S11输入的自定义字幕转换为YUV格式或者RGB格式的第二码流数据。

作为一种可实施的方式，如图7所示。所述S2中利用拦截函数截获所述步骤S1中的所述第一码流数据，优选利用Detours拦截函数拦截所述API画图函数。Detours是微软研究院提供的一套替换系统API（应用程序编程接口）或COM（组件对象模型）接口的函数库，用于修改运行中的程序在内存中的影像，从而即使没有源代码也能改变程序的行为。即为一个已在运行的进程创建一新线程，装入自己的代码并运行。具体用途是：拦截API绘图函数的调用，将其引导到自己的子程序，从而实现API绘图函数的定制。Detours函数在计算机编程领域有较多应用，但是采用Detours拦截API绘图函数实现字幕叠加是字幕叠加领域的一个创新技术手段，此前无有先例。

叠加字幕时必须获得YUV格式或者RGB格式的码流数据然后通过API绘图函数将其画到窗体上即可显示带有字幕的图像。但是一般厂商不会为我们提供YUV数据或者RGB数据接口，我们想要叠加字幕必须截获原始的YUV格式或者RGB格式的码流数据,但是常规技术手段无法获得。本实施例采用Detours拦截API绘图函数，在将所述视频数据码流解码得到YUV格式或者RGB格式的第一码流数据画到窗体之前将其截获，获得其他技术手段无法获得的YUV数据或者RGB数据。并且通过叠加算法将第二码流数据与第一码流数据进行叠加，叠加完成后将叠加的YUV数据或者RGB数据通过API绘图函数将其画到窗体上进行显示。对于所属领域的普通技术人员来说，在上述说明的基础上还可以通过其他的拦截函数来实现对API绘图函数的拦截。这里无需也无法对所有的实施方式予以穷举，而由此所引伸出的显而易见的变化或变动仍处于本实施例的保护范围之中。

并且对于同一副图像，当不同的用户想要添加不同的字幕时，可以在解码器端通过输入不同的自定义字幕信息将字幕叠加到图像中去，一定意义上增加了图像的可利用性和字幕叠加的可配置性，即解码器可以随意配置图像要叠加的字幕，且各个解码器可以配置不同字幕，在多个使用者使用同一符图像时，每一个使用者都可以自定义想要添加的字幕，增大了图像的可利用率。同时保留最初的视频图像设置，依然可以随时查看最初的视频图像，具有极大的灵活性。

由于是在解码器端进行的字幕叠加，没有改变编码器端的程序设置，也不需对想要叠加的字幕进行图像编码压缩再由解码器解码后才能显示，所以对于MPEG4码流、标准的H264码流或者不同厂商的私有格式码流都只要外厂商提供绘图功能的解码库即可实现字幕叠加，字幕叠加更加方便。并且在对字幕进行替换和叠加时由于是直接通过操作字幕编辑模块5实现，无需在该字幕所在的位置用马赛克代替，或者用其他矩形的字幕图片覆盖，这样在显示时就可以获得想要的清晰的图像。

为了便于本实施例的实施，下面对Detours进行简单的介绍。

Detours定义了三个概念：

(1)Target函数：要拦截的函数，通常为API绘图函数。

(2)Trampoline函数：Target函数的复制品。因为Detours将会改写Target函数，所以先把Target函数复制保存好，一方面仍然保存Target函数的过程调用语义，另一方面便于以后的恢复。

(3)Detour函数：用来替代Target函数的函数。

本实施例中拦截过程如下：

1.开始拦截

DetourTransactionBegin();

2.设置需要拦截的函数

DetourAttach(Target，Detour);

3.提交拦截

DetourTransactionCommit();

Detour拦截Target函数截获到第一码流码流，通过Detour函数将自定义字幕解码出的第二码流数据与截获到的第一码流数据进行叠加,形成新的带有用户自定义字幕的第三码流数据,最后调用Trampoline函数，将码流重新返还给Target函数去绘图,即由API绘图函数来完成绘图。

Detour函数部分涉及到字幕位置，字幕颜色，字幕描边等各种处理，均为常规编程处理手段，相关领域技术人员应当知晓，此处不在赘述。

虽然利用Detours截获API绘图函数已经在计算机领域得到了广泛的应用，但是在字幕叠加领域尚属首例，通过Detours截获API绘图函数，可以很好的解决现有技术中只能在编码器端进行字幕叠加的方式，从而弥补了不同厂家的不同标准的码流解码过程中相对繁琐的不足。同时可以实现对同一副视频图像的多方面利用，极大的提高了图像的可利用性和字幕叠加的可配置性。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种实现字幕叠加的装置，其特征在于，包括：

解码器（1），将视频数据码流解码得到YUV格式或者RGB格式的第一码流数据；

截获模块（2），拦截获得所述解码器（1）输出的所述第一码流数据后输出，阻止所述第一码流数据从所述解码器（1）输出后直接被API绘图函数处理；

字幕编辑模块（5），将自定义的字幕信息转换为YUV格式或者RGB格式的第二码流数据；

叠加模块（3），接收所述截获模块（2）输出的所述第一码流数据以及所述字幕编辑模块（5）输出的所述第二码流数据，将二者叠加得到叠加后的YUV格式或者RGB格式的第三码流数据，并发送至绘图模块（6）；

所述绘图模块（6），使用API绘图函数，将所述第三码流数据绘制到显示模块（4）的显示窗体上。

2.根据权利要求1所述的实现字幕叠加的装置，其特征在于，所述字幕编辑模块（5）包括：

字幕输入子模块（51），用于输入自定义字幕；

字幕编辑子模块（52），用于将所述字幕输入子模块（51）输入的自定义字幕转换为YUV格式或者RGB格式的第二码流数据。

3.根据权利要求1或2所述的实现字幕叠加的装置，其特征在于，所述截获模块（2）内置有拦截函数，利用所述拦截函数拦截获得所述解码器（1）输出的所述第一码流数据。

4.根据权利要求1-3任一所述的实现字幕叠加的装置，其特征在于，所述拦截函数为Detours拦截函数，拦截获得所述解码器（1）输出的所述第一码流数据。

5.根据权利要求1-4任一所述的实现字幕叠加的装置，其特征在于，所述视频数据码流包括MPEG4码流、标准的H264码流和私有格式码流。

6.一种实现字幕叠加的方法，其特征在于，包括如下步骤：

S1：将视频数据码流解码得到YUV格式或者RGB格式的第一码流数据；

将自定义的字幕信息转换为YUV格式或者RGB格式的第二码流数据；

S2：拦截获得所述第一码流数据，阻止所述第一码流数据直接被API绘图函数处理；

S3：将所述步骤S2中拦截获得的第一码流数据以及所述第二码流数据，将二者叠加得到叠加后的YUV格式或者RGB格式的第三码流数据；

S4：使用API绘图函数将所述第三码流数据绘制到显示窗体上显示。

7.根据权利要求6所述的实现字幕叠加的方法，其特征在于：

所述步骤S1包括如下步骤：

S11：利用字幕输入子模块（51）输入自定义的字幕；

S12：利用字幕编辑子模块（52）将步骤S11输入的自定义字幕转换为YUV格式或者RGB格式的第二码流数据。

8.根据权利要求6或7所述的实现字幕叠加的方法，其特征在于：

所述步骤S2中，利用拦截函数拦截获得所述步骤S1中的所述第一码流数据。

9.根据权利要求6-8任一所述的实现字幕叠加的方法，其特征在于：

所述步骤S2中，所述拦截函数为Detours拦截函数，拦截获得所述步骤S1中的所述第一码流数据。

10.根据权利要求6-9任一所述的实现字幕叠加的方法，其特征在于：

所述步骤S1中所述视频数据码流包括MPEG4码流、标准的H264码流和私有格式码流。

Images