CN102655606A - 为基于p2p网络的直播节目添加实时字幕和手语服务的方法及系统 - Google Patents

Abstract

基于P2P网络的直播节目添加实时字幕和手语的方法，其特征在于，包括以下步骤：1)根据直播节目的电视直播或现场，制作得到相应的实时字幕；2)根据直播节目的电视直播或现场，制作得到相应的实时手语；3)网络直播节目分别与字幕和手语同步，并播放。为实现上述方法的系统，面向网络直播类节目，包括：实时字幕模块，用于为直播视频节目产生实时字幕；实时手语模块，用于为直播视频节目，产生实时的手语；网络直播客户端模块，负责网络节目的直播、网络直播节目与实时字幕的同步、网络直播节目与实时手语视频的同步。

Description

为基于P2P网络的直播节目添加实时字幕和手语服务的方法及系统

技术领域

本发明实施例涉及一种为基于P2P网络的直播节目添加实时字幕和手语服务的方法及系统。具体可应用于为网络直播节目添加实时字幕和实时手语服务，并同步显示。 

背景技术

据资料统计，我国聋哑人占中国人口总数的1.67％。这样的一个群体，他们有着正常人的智力和感情，却无法用耳朵去聆听这世界的美，用声音去表达心灵；无法欣赏到精彩的文娱节目，更无法体会到晚会给人带来的欢乐。虽然目前点播的视频节目，部分已经有了同步的字幕显示，但是直播节目，尤其是体育直播节目，娱乐直播，文艺晚会直播等，在直播时仍然无法为聋哑人提供实时的字幕和手语服务，因此聋哑人无法和我们一起享受观赏直播节目的欢乐。 

字幕是社会“信息无障碍”环境建设的重要组成部分。对于聋哑人来说，在没有声音的情况下，视觉是他们认识社会，获取知识和信息的主要途径。同时对于一些年龄较小的聋哑人小朋友，可能还未认识全部的文字，即使有了字幕，他们也未必能很好的欣赏节目，因此针对这部分人群，除了为直播节目添加字幕外，还可以加配手语服务。 

我们的目标是为更多的网络直播节目添加实时字幕和手语服务，使得聋哑人在观看直播节目时能有更好的用户体验，从而帮助聋哑人也能够“观看”实时的直播节目。 

发明内容

为克服现有技术的聋哑人无法欣赏直播节目的缺点，本发明提供了一种为基于P2P网络的直播节目添加实时字幕和手语方法及系统，以实现了网络直播节目和字幕、网络直播节目和手语服务的实时性，准确性，使得聋哑人能够更好地观看直播节目。 

本发明提供了一种为基于P2P网络的直播节目添加实时字幕和手语的方法，包括以下步骤： 

1)根据节目的电视直播或现场，制作得到相应的实时字幕。 

2)根据节目的电视直播或现场，制作得到相应的实时手语。 

3)获取网络直播视频流，实时字幕和实时手语流，保存至各自的缓冲区。 

进一步，步骤1)所述的制作实时字幕，具体步骤为： 

1)根据节目的电视直播或现场，速录人员实时录入字幕内容。 

2)速录人员对已经录入的字幕内容进行审核。 

3)为字幕内容添加同步信息，主要包括时间戳，顺序号，误差偏移量。 

4)将处理后的字幕推送至字幕服务器。 

进一步，步骤2)所述的制作实时手语，具体步骤为： 

1)根据节目的电视直播或现场，手语翻译人员实时翻译节目内容； 

2)实时录制手语翻译人员的翻译内容，并且为手语视频添加同步信息，主要包括时间戳，误差偏移量； 

3)将处理后的手语视频推送至手语流媒体服务器。 

进一步，步骤3)所述的网络直播节目分别与字幕和手语同步并播放，具体步骤为： 

1)获取网络直播视频流，实时字幕流和实时手语流，保存至各自的缓冲区； 

2)解析缓冲区中直播节目视频帧、手语视频帧以及字幕的时间戳 

3)根据直播节目视频帧的时间戳，分别到字幕缓冲区和手语视频缓冲区匹配到相应的手语视频帧和字幕，如果有则显示直播视频的同时显示字幕与手语视频；没有，则只显示直播视频。 

本发明还提供了一种为实现上述方法的系统，包括： 

1)实时字幕模块，用于为直播节目产生实时字幕； 

2)实时手语模块，用于为直播节目，产生实时的手语视频； 

3)网络直播客户端模块，负责节目的网络直播、网络直播节目与实时字幕的同步、网络直播节目与手语的同步、字幕的显示和手语的显示。 

进一步，实时字幕模块还包括：字幕录入模块、字幕监控模块、字幕审核模块、字幕处理模块、字幕推送模块和字幕服务器模块。 

进一步，实时手语模块还包括手语录入模块、手语监控模块、手语处理模块、手语推送模块和手语服务器模块。接收到直播视频信息、实时字幕信息和实时手语信息，通过解析上述三种信息，得到每种信息的时间戳。播放每帧视频时，到字幕缓存区匹配与该直播节目视频帧时间戳接近(误差在100ms)的字幕信息，如果匹配到，则同步显示视频和字幕，否则只显示直播视频；播放每帧视频时，到手语缓存区匹配与直播节目视频帧时间戳接近(误差在100ms)的手语帧，如果匹配到，则同步显示视频和手语，否则只显示直播视频。同时需要判断直播视频与字幕，直播视频与手语的同步效果，如果同步准确性超出可接受的范围内(用户无法根据字幕或者手语理解直播视频)，则动态调整字幕和手语的时间偏移量，直至同步实现实时性和准确性。 

本发明的优点是：实现了网络直播节目和字幕、网络直播节目和手语服务的实时性，准确性，使得聋哑人能够更好地观看直播节目。 

附图说明

图1是本发明实施例一种为基于P2P网络的直播节目添加实时字幕和手语的系统的示意图； 

图2是本发明实施例实时字幕模块的工作原理示意图； 

图3是本发明实施例实时字幕模块的工作流程示意图； 

图4是本发明实施例实时手语模块的示意图； 

图5是本发明实施例实时手语模块的工作流程示意图； 

图6是本发明实施例网络直播客户端模块的示意图； 

具体实施方式

下面将结合本发明实施例中的附图，对本发明的技术方案就行清晰、完整地描述。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。 

本发明提供了一种为基于P2P网络的直播节目添加实时字幕和手语的方法，包括以下步骤： 

1)根据节目的电视直播或现场，制作得到相应的实时字幕。 

2)根据节目的电视直播或现场，制作得到相应的实时手语。 

3)获取网络直播视频流，实时字幕和实时手语流，保存至各自的缓冲区。 

步骤1)所述的制作实时字幕，具体步骤为： 

1)根据节目的电视直播或现场，速录人员实时录入字幕内容。 

2)速录人员对已经录入的字幕内容进行审核。 

3)为字幕内容添加同步信息，主要包括时间戳，顺序号，误差偏移量。 

4)将处理后的字幕推送至字幕服务器。 

步骤2)所述的制作实时手语，具体步骤为： 

1)根据节目的电视直播或现场，手语翻译人员实时翻译节目内容； 

2)实时录制手语翻译人员的翻译内容，并且为手语视频添加同步信息，主要包括时间戳，误差偏移量； 

3)将处理后的手语视频推送至手语流媒体服务器。 

步骤3)所述的网络直播节目分别与字幕和手语同步并播放，具体步骤为： 

1)获取网络直播视频流，实时字幕流和实时手语流，保存至各自的缓冲区； 

2)解析缓冲区中直播节目视频帧、手语视频帧以及字幕的时间戳 

3)根据直播节目视频帧的时间戳，分别到字幕缓冲区和手语视频缓冲区匹配到相应的手语视频帧和字幕，如果有则显示直播视频的同时显示字幕与手语视频；没有，则只显示直播视频。 

本发明还提供了一种为实现上述方法的系统，包括： 

1)实时字幕模块，用于为直播节目产生实时字幕； 

2)实时手语模块，用于为直播节目，产生实时的手语视频； 

3)网络直播客户端模块，负责节目的网络直播、网络直播节目与实时字幕的同步、网络直播节目与手语的同步、字幕的显示和手语的显示。 

实时字幕模块还包括：字幕录入模块、字幕监控模块、字幕审核模块、字幕处理模块、字幕推送模块和字幕服务器模块。 

实时手语模块还包括手语录入模块、手语监控模块、手语处理模块、手语推送模块和手语服务器模块。 

为使本发明的目的、技术方案及优点更加清楚明白，接下来将参照附图对本发明实施例进行详细的说明。 

图1，是本发明实施例一种为基于P2P网络的直播节目添加实时字幕和手语的系统的示意图，如图所示，本实施例的一种为基于P2P网络的直播节目添加实时字幕和手语的系统主要包括实时字幕模块、实时手语模块、网络直播客户端模块。下面对各模块的功能以及相互关系做详细说明。 

实时字幕模块，用于为直播视频节目产生实时字幕，并保存至实时字幕服务器，当网络直播客户端向字幕服务器发起请求时，字幕服务器为其返回实时字幕。参考图2，实时字幕模块包括6个子模块： 

字幕录入，用于根据节目的电视直播或现场，由速录人员实时录入字幕内容到字幕脚本中(一个保存在PC或者服务器上的记事本文件)。具体实现中，经过速录人员需要观看电视直播或现场，通过专门的速录机，按照固定的速录要求(比如一句话需要保存一次，这样用于及时产生每条字幕的时间戳，同步需要时间戳信息)来录入字幕内容和保存字幕。 

字幕监控，监控字幕脚本的变化，当字幕录入引起字幕脚本的长度发生变化时，及时保存字幕脚本。 

字幕审核，审核字幕脚本中最新保存的字幕内容、如果没有错误及时保存到字幕数据库。 

字幕处理，经过字幕审核后，对最新保存的字幕内容添加必要的同步信息(内容、时间、编号、时间偏移)再保存。 

字幕推送，经过字幕处理后，将处理后的字幕及时推送到本地字幕服务器和远程字幕服务器。 

字幕服务器，分为本地字幕服务器和远程字幕服务器，保存由字幕推送传送的字幕信息，并为网络直播客户模块提供访问，并返回实时的字幕信息。 

实时字幕模块的工作流程图可参考附图3。 

实时手语模块，用于为直播视频节目产生实时手语，并保存至实时手语服务器，当网络直播客户端向手语服务器发起请求时，字幕服务器为其返回实时手语流。参考图4，实时 手语模块包括4个子模块： 

手语录入，用于根据电视直播或现场，由手语翻译人员实时地翻译直播视频的内容。具体实现中，手语翻译人员需要观看电视直播或者现场直播翻译直播内容，通过专门的录像设备，及时拍录翻译人员的翻译内容。 

手语处理，对经过手语录入的手语添加时间戳信息，用于直播视频与手语同步。 

手语推送，经过手语处理后，将处理后的手语流及时推送到本地手语服务器和远程手语服务器。 

手语服务器，分为本地手语服务器和远程手语服务器，保存由手语推送传送的手语流信息，并为网络直播客户模块提供访问，并返回实时的手语流信息。 

实时手语模块的工作流程图可参考附图5。 

网络直播客户端模块，在用户端负责，1)直播视频流、实时字幕流和实时手语流的接收；2)解析直播视频流、实时字幕流和实时手语流，获取三种流的时间戳；3)直播视频与实时字幕的同步，直播视频与实时手语的同步；4)直播视频显示、实时字幕显示和实时手语显示。参考图6，网络直播客户端模块包括4个子模块： 

流接收模块，访问直播视频流媒体服务器，获取直播视频流信息，保存至直播视频流缓冲区；访问实时字幕服务器，获取实时字幕信息，保存至字幕缓冲区；访问实时手语流服务器，获取实时手语流信息，保存至手语缓冲区。 

流解析模块，解析直播视频流缓冲区中的直播视频流，获取时间戳；解析字幕缓冲区中的字幕信息，获取时间戳；解析手语缓冲区中的手语流，获取时间戳； 

同步模块，对于直播视频流，播放每帧视频时，到字幕缓存区匹配与该视频帧时间戳接近(误差在100ms)的字幕信息，如果匹配到，则同步显示视频和字幕，否则只显示直播视频；播放每帧视频时，到手语缓存区匹配与该视频帧时间戳接近(误差在100ms)的手语帧，如果匹配到，则同步显示视频和手语，否则只显示直播视频。同时需要判断直播视频与字幕，直播视频与手语的同步效果，如果同步准确性超出可接受的范围内(用户无法根据字幕或者手语理解直播视频)，则动态调整字幕和手语的时间偏移量，直至同步实现实时性和准确性。 

播放模块，负责播放显示视频、字幕和手语。 

最后，应当指出，以上实施例仅是本发明较有代表性的例子。显然，本发明的技术方案并不限于上述实施例，还可以有许多变形。本领域的普通技术人员可在不脱离本发明的发明思想情况下，对于上述实施例做出种种修改或变化，因而本发明的保护范围并不被上述实施例所限，而应该依照权利要求限定。 

Claims (7)

1.为基于P2P网络的直播节目添加实时字幕和手语的方法，其特征在于，包括以下步骤：

1)根据直播节目的电视直播或现场，制作得到相应的实时字幕。

2)根据直播节目的电视直播或现场，制作得到相应的实时手语。

3)网络直播节目分别与字幕和手语同步，并播放。

2.如权利要求1所述的方法，其特征在于，步骤1)所述的制作实时字幕，具体步骤为：

1)根据节目的电视直播或现场，速录人员实时录入字幕内容。

2)速录人员对已经录入的字幕内容进行审核。

3)为字幕内容添加同步信息，主要包括时间戳，顺序号，误差偏移量。

4)将处理后的字幕推送至字幕服务器。

3.如权利要求2所述的方法，其特征在于，步骤2)所述的制作实时手语，具体步骤为：

1)根据节目的电视直播或现场，手语翻译人员实时翻译节目内容；

2)实时录制手语翻译人员的翻译内容，并且为手语视频添加同步信息，主要包括时间戳，误差偏移量；

3)将处理后的手语视频推送至手语流媒体服务器。

4.如权利要求3所述的方法，其特征在于，步骤3)所述的网络直播节目分别与字幕和手语同步并播放，具体步骤为：

1)获取网络直播视频流，实时字幕流和实时手语流，保存至各自的缓冲区；

2)解析缓冲区中直播节目视频帧、手语视频帧以及字幕的时间戳

3)根据直播节目视频帧的时间戳，分别到字幕缓冲区和手语视频缓冲区匹配到相应的手语视频帧和字幕，如果有则显示直播视频的同时显示字幕与手语视频；没有，则只显示直播视频。

5.为实现权利要求4所述方法的系统，面向网络直播类节目，包括：实时字幕模块，用于为直播视频节目产生实时字幕；实时手语模块，用于为直播视频节目，产生实时的手语；网络直播客户端模块，负责网络节目的直播、网络直播节目与实时字幕的同步、网络直播节目与实时手语视频的同步。

6.如权利5所述的系统，其特征在于，实时字幕模块还包括：字幕录入模块、字幕监控模块、字幕审核模块、字幕处理模块、字幕推送模块和字幕服务器模块。

7.如权利5所述的系统，其特征在于，实时手语模块还包括手语录入模块、手语监控模块、手语处理模块、手语推送模块和手语服务器模块。

Images