CN113329192A - 一种智能影视字幕制作方法及系统 - Google Patents

Abstract

本发明提供一种智能影视字幕制作方法及系统，所述方法包括以下步骤：（S1）数据收集，网络服务端srt_server连接生产订单系统的ts数据库，收集生产auto_ts智能制作系统的文件状态数据；（S2）数据保存，网络客户端ts_client连接网络服务端Ex_ts，接收网络服务端Ex_ts发送的实时数据并本地保存该数据；（S3）数据处理，Power_ts智能制作管理控制端接收系统数据变化消息通知，由系统管理员对订单安排进行下一步处理。本发明极大加快影视行业末端字幕制作周期，把最新的人工智能解决方案引入影视制作领域中，还能够从原传统的后期制作系统中分析历史数据，并把这些数据以图形或表格形式在大屏幕，网页端手机端等展示为客户展示，分析，分享，想象提供了丰富的挖掘空间。

Description

一种智能影视字幕制作方法及系统

技术领域

本发明主要涉及影视字幕的技术领域，具体为一种智能影视字幕制作方法及系统。

背景技术

目前，语音识别系统越来越广泛地被应用到生活、交通、 生产等各个方面，极大方便了信息记录、传输、分享，显示出了极高的经济效益和提高了人民的幸福便利指数。随着语音数据的积累，利用语音识别功能制作视频字幕的准确率稳步上升在速度和整体精确率上目前已完胜传统的人工制作方法。语音识别系统的功能有两个，一是，语音转写；二是，同步语音和文本信息。智能视频字幕制作系统的功能是智能提供基本语音转写，系统文本的校对与修正，智能语音和文字时间轴同步，系统智能字幕数据格式转换，并最终输出特定剪辑工程文件、字幕数据格式文件，标准字幕合成视频文件等。

由于本智能字幕制作结合线上线下及机器智能处理系统多方参与，并实时发送同步进度消息，使得智能处理数据可以及时修正并同步反馈人工智能核心模块，使得智能系统不停地得到修正。人工的参与除了使得数据不断得到优化完善，更重要的保证各个流程环节可以消息流畅畅通，状态可以真正的及时更新并将可能出现的问题在第一时间得到解决，同类智能字幕制作多数采用无人值守方式提供字幕服务，由于客户提供的数据文件难免产生疏漏必然会造成一些人为疏忽的故障，且当系统发生非正常宕机时无法及时修复，最终提供字幕制作服务不能真正意义上实现字幕正确率方面做到不可挑剔的境界。

发明内容

本发明主要提供了一种智能影视字幕制作方法及系统，用以解决上述背景技术中提出的技术问题。

本发明解决上述技术问题采用的技术方案为：

一种智能影视字幕制作方法及系统，包括以下步骤：（S1）数据收集，网络服务端srt_server连接生产订单系统的ts数据库，收集生产auto_ts智能制作系统的文件状态数据；（S2）数据保存，网络客户端ts_client连接网络服务端Ex_ts，接收网络服务端Ex_ts发送的实时数据并本地保存该数据；（S3）数据处理，Power_ts智能制作管理控制端接收系统数据变化消息通知，由系统管理员对订单安排进行下一步处理，所述数据处理包括对语音识别、语音文本同步、文本校对和格式的处理。

优选的，所述智能语音字幕制作系统包括网络服务端srt_ server，所述网络服务端srt_ serve连接于语音识别系统；网络客户端ts_ client，所述网络客户端ts_ client连接于客户本地系统；ts_ controller显示处理模块，所述ts_ controller 模块连接于线下管理系统；ts_ staff 扩展模块，所述ts_ staff 扩展模块连接于线下生产系统；ts _View显示处理模块，所述ts _View显示处理模块连接于线下监督控制显示系统；所述网络服务端srt_server和网络客户端ts _client均连接于所述auto_ ts智能制作系统，所述ts_controller显示处理模块分别与所述网络客户端ts_ client、所述srt_server模块和所述ts_controller模块连接。

优选的，所述网络服务端srt_server通过采集平台生产系统的瞬时状态及订单数据，并将这些订单的处理结果提供给数据接收模块完成深层智能分类和数据特征提取，订单分类鉴别扩展模块用于给应用程序提供数据精加工分类、数据初步信息的分组文件提取。

优选的，所述网络客户端ts_ client 用于字幕用户提交数据接受字幕结果的应用端，并向智能字幕制作平台auto_ts提交订单实时数据。

优选的，所述智能语音字幕制作系统还包括ts_server模块，所述ts_server模块连接于所述auto_ts智能制作系统，用于关键数据的接受和保存和auto_ts中接收数据属性信息，和记录保存智能处理状态的各种处理信息，并将数据保存到硬盘供auto_ts和ts_Viewer应用程序使用。

优选的，所述网络客户端ts_ client 可以使用网页，小程序，APP和PC端应用程序三种方式。

优选的，所述网络服务端srt_server和所述网络客户端ts_ client的连接步骤包括：（a），网络客户端ts_ client应用程序auto_ts登录，尝试连接服务端字幕制作服务主机；（b），网络服务端srt_server应用程序启动，并连接auto_ts系统数据库，服务端创建侦听并等待连接的线程，等待客户端网络连接；（c）网络客户端ts_ client连接成功，网络服务端srt_server创建一个线程，等待接收订单数据，网络客户端ts_ client发送音视频文件或附加参考资料文件；将当前缓冲区中的数据发送到网络客户端ts_ client；（d）网络客户端ts_ client把得到的数据存到adata目录下并命名为adata/upfiles/1和adata/upfiles/年-月-日/时-分，系统读取文件的大小时长等属性，生成订单数据并写入auto_ts数据库，返回客户端必要的显示数据，等待用户完成支付，网络服务端srt_server接收到支付成功消息后，网络服务端srt_server系统读取auto_ts数据库获取字幕制作平台相关负责人员设备ID发送新订单处理通知，退出这个连接线程，并关闭连接。

优选的，所述ts _Viewer显示处理模块用于用户提供交互用户数据消息、统计、历史数据、任务进度预览和手动沟通调整任务要求功能，对需要查看的订单任务进行初级多级识别处理或单级或多级人工校对，绑定上相应的项目要求进入处理状态，并接入单级或多级人工校对等，绑定上相应的项目要求进入处理状态，并接入ts_server系统导入实时数据，将任务进度实时消息由auto_ts平台以手机短信或APP通知形式发送给关联用户。

优选的，所述智能语音字幕制作系统还包括等待新订单任务模块，所述等待新订单任务模块连接于所述auto_ts智能制作系统，所述ts_ controller显示处理模块用于加载智能字幕制作平台的生产数据的布局图，装入从auto_ts接受实时的数据。

优选的，所述等待新订单任务模块，包括以下三种方式，

（Ⅰ）在布局图中点击新订单，载入auto_ts智能语音转文本服务器模块完成自动任务匹配，读取订单中的所有参考资料和格式要求客户处理相应速度等级等关键信息，将状态恢复成当前任务队列，显示订单任务处理进度图像；

（Ⅱ）服务器完成智能字幕处理结果数据；弹出对话框，选择人工或机器进步智能检查校对数据文件；装入数据进入语音对文本时间轴同步处理；最后，更新当前的图形使用新的任务处理进度信息数据；

（Ⅲ)处理，校对，同步，格式转化并数据封装后提交客户，发送订单完成消息提醒客户在平台下载结果数据。

与现有技术相比，本发明的有益效果为：

本发明极大加快影视行业末端字幕制作周期，把最新的人工智能解决方案引入影视制作领域中，还能够从原传统的后期制作系统中分析历史数据，并把这些数据以图形或表格形式在大屏幕，网页端手机端等展示为客户展示，分析，分享，想象提供了丰富的挖掘空间。充分体现了影视行业的制作周期，从业人员工作性质，低于稳定性要求等因素，故本系统重在平台，重在多端共用，重在智能分析多级深层处理，重在人工与机器智能互检互重，在当前人工智能的应用及应用方式上有独到的使用方法。

以下将结合附图与具体的实施例对本发明进行详细的解释说明。

附图说明

图1为本发明的系统结构示意图；

图2为本发明的图形显示系统识别任务线路和文字示意图；

图3为本发明的文本数据处理流程图；

图4为本发明的网络服务端srt_server工作流程图；

图5为本发明的网络客户端ts_ client 工作流程图；

图6为本发明的ts _controller显示处理模块工作流程图。

具体实施方式

为了便于理解本发明，下面将参照相关附图对本发明进行更加全面的描述，附图中给出了本发明的若干实施例，但是本发明可以通过不同的形式来实现，并不限于文本所描述的实施例，相反的，提供这些实施例是为了使对本发明公开的内容更加透彻全面。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常连接的含义相同，本文中在本发明的说明书中所使用的术语知识为了描述具体的实施例的目的，不是旨在于限制本发明，本文所使用的术语“及／或”包括一个或多个相关的所列项目的任意的和所有的组合。

请着重参照附图1-6，一种智能影视字幕制作方法及系统，包括以下步骤：（S1）数据收集，网络服务端srt_server连接生产订单系统的ts数据库，收集生产auto_ts智能制作系统的文件状态数据；（S2）数据保存，网络客户端ts_client连接网络服务端Ex_ts，接收网络服务端Ex_ts发送的实时数据并本地保存该数据；（S3）数据处理，Power_ts智能制作管理控制端接收系统数据变化消息通知，由系统管理员对订单安排进行下一步处理，数据处理包括对语音识别、语音文本同步、文本校对和格式的处理。

智能语音字幕制作系统包括网络服务端srt_ server，网络服务端srt_ serve连接于语音识别系统；网络客户端ts_ client，网络客户端ts_ client连接于客户本地系统；ts_ controller显示处理模块，ts_ controller 模块连接于线下管理系统；ts_ staff 扩展模块，ts_ staff 扩展模块连接于线下生产系统；ts _View显示处理模块，ts _View显示处理模块连接于线下监督控制显示系统；网络服务端srt_server和网络客户端ts _client均连接于auto_ ts智能制作系统，ts _controller显示处理模块分别与网络客户端ts_client、srt _server模块和ts_controller模块连接。

网络服务端srt_server是一个外部接口程序，使用TCP的固定端口，是外部语音智能识别系统和数据接收模块之间的数据处理中心兼交互接口，通过采集平台生产系统的瞬时状态及订单数据，并将这些订单的处理结果提供给数据接收模块完成深层智能分类和数据特征提取，订单分类鉴别扩展模块用于给应用程序提供数据精加工分类、数据初步信息的分组文件提取，订单分类鉴别扩展模块负责给应用程序提供数据精加工分类、数据初步信息的分组文件提取，加快智能处理速度。为方便调用，利用分类扩展模块可以生产关键分组节点数，对于特定客户或特定文件大小可以快速精准分类，进而极大提高智能识别的精确率。

网络客户端ts_ client 用于字幕用户提交数据接受字幕结果的应用端，并向智能字幕制作平台auto_ ts提交订单实时数据。

智能语音字幕制作系统还包括ts _ server模块，ts _ server模块连接于auto_ts智能制作系统，用于关键数据的接受和保存和auto_ ts中接收数据属性信息，和记录保存智能处理状态的各种处理信息，并将数据保存到硬盘供auto_ts和ts_Viewer应用程序使用。

网络客户端ts_ client 可以使用网页，小程序，APP和PC端应用程序三种方式。

网络服务端srt server和网络客户端ts_ client的连接步骤包括：（a），网络客户端ts_ client应用程序auto_ts登录，尝试连接服务端字幕制作服务主机；（b），网络服务端srt_server应用程序启动，并连接auto_ts系统数据库，服务端创建侦听并等待连接的线程，等待客户端网络连接；（c）网络客户端ts_ client连接成功，网络服务端srt_server创建一个线程，等待接收订单数据，网络客户端ts_ client发送音视频文件或附加参考资料文件；将当前缓冲区中的数据发送到网络客户端ts_ client；（d）网络客户端ts_ client把得到的数据存到adata目录下并命名为adata/upfiles/1和adata/upfiles/年-月-日/时-分，系统读取文件的大小时长等属性，生成订单数据并写入auto_ts数据库，返回客户端必要的显示数据，等待用户完成支付，网络服务端srt_server接收到支付成功消息后，网络服务端srt_server系统读取auto_ts数据库获取字幕制作平台相关负责人员设备ID发送新订单处理通知，退出这个连接线程，并关闭连接。

ts _Viewer显示处理模块用于用户提供交互用户数据消息、统计、历史数据、任务进度预览和手动沟通调整任务要求功能，对需要查看的订单任务进行初级多级识别处理或单级或多级人工校对，绑定上相应的项目要求进入处理状态，并接入单级或多级人工校对等，绑定上相应的项目要求进入处理状态，并接入ts_server系统导入实时数据，将任务进度实时消息由auto_ts平台以手机短信或APP通知形式发送给关联用户。ts _Viewer显示处理模块先从auto_ts系统中导入数据完全真实正确可用没有错误的文本数据，由网络服务端接口txt_ts来进行数据的文本，只有统一的文本，统一的编码才会保证整个智能识别的流畅和稳定。再经由编码校对端口传到大屏幕系统的网络客户端ts_txt 接口，网络客户端ts_client则进行数据的下权和本保在完成文本确认，ts _Viewer显示处理模块再通过读取网络客户端ts_client保存的历史文件，装载分析ts_txt图、auto_server扩展模块提供的txt _data图等把状态恢复出来，提供给srt_server进行关键数据深加工。ts_ Viewer显示处理模块可以显示这些订单任务的处理进度和结果并把流程中的反馈信息数据关联到auto_ts的实时数据库中,ts_ Viewer能在大屏幕上做数据排序，订单搜索， 按条件调度，统计费用奖金等常规操作，并对于在不同显示终端有各自适配的最优显示方案，而且响应速度极高,订单任务数据展示内容丰富，打开任务处理进度图形，可以通过从布局图中查语音识别进度的各个进程的处理数据，也可以直接生成曲线图或者表格形式，并可以以通用的数据格式实现多端信息分享，ts_Viewer显示端会自动把auto_ts平台数据实时反馈收集到实时ts数据库上,当平台技术员或者订单客户浏览订单时，会自动弹出状态数据分析图。

智能语音字幕制作系统还包括等待新订单任务模块，等待新订单任务模块连接于auto_ts智能制作系统，ts_ controller显示处理模块用于加载智能字幕制作平台的生产数据的布局图，装入从auto_ts接受实时的数据。

等待新订单任务模块，包括以下三种方式，

（Ⅰ）在布局图中点击新订单，载入auto_ts智能语音转文本服务器模块完成自动任务匹配，读取订单中的所有参考资料和格式要求客户处理相应速度等级等关键信息，将状态恢复成当前任务队列，显示订单任务处理进度图像；

（Ⅱ）服务器完成智能字幕处理结果数据；弹出对话框，选择人工或机器进步智能检查校对数据文件；装入数据进入语音对文本时间轴同步处理；最后，更新当前的图形使用新的任务处理进度信息数据；

（Ⅲ)处理，校对，同步，格式转化并数据封装后提交客户，发送订单完成消息提醒客户在平台下载结果数据。

本发明中auto_ts的显示使用了两套边界处理方式。通常的出入点使用精确到帧的处理方式，对于严谨类节目比较适合，但是教育类，儿童学习，情感剧等这种方式就凸显的比较生硬，第二种处理方式是舒缓式，即对特定情节适当延长，保证良好视觉反馈和技能反应。此系统的第二智能识别缓冲区不直接放在交互显示中，而是创建在系统主内处理模组中，再由系统主管理组以位块传输方式画到ts_controller窗口上，解决了多端多类型任务的图形系统在大屏幕上不可显示的问题；同时由于客户端提供的音频格式多数是mp3，mov，mpeg等，但srt_server进行下一步的深度识别需要转化为wav，因此通常在装入预处理文件时，对读取订单文件运行库中提供的函数来做类型转换，但效率非常低。通过转换函数audio2wav经过多次迭代升级目前效宰极高)，在srt_ser_rver端为语音识别的智能处理担当着基础的格式转化任务，使用audio2wav可以带来系统性能稳定提升；本发明不但能显示常规行业文件如wav. mp3格式的影普文件，还可以绑定图片，如BMP、JPEG图像ppt，pages，numbers，mp4及附件文化，ts_Viewer显示处理模块可以对绑定的信息进行深度挖据，自动适配。对已标识的订单进行提示。可以把鼠标移动到已经选择的节点来显示预览精度结果，双击在新的窗口中打开最终结果文件，也也可以把文件直接拖动到窗口上直接打开可以查看结果精度的项目工程文件；在图形显示系统内部的每条识别任务线路和文字，在智能处理之前都先计算确定在当前的识别分类全自动处理下是否可见，不可见的智能识别不会发到任务校对中，智能识别的分类及延长，这样提高了处理和平台运转速度；识别中对于方言，外语，歌曲，一般是以atat_srt来做特别任务的智能识别，此系统以srt_ srt _txt 的方式完成深度语种，特定类型数据加工。由txt srt _txt模块完成特征转化，再根据识别结果再次回归完成特别任务处理，避免多模型，识别故障率高的风险，而且极大方便系统操作，降低了约一一半人工工作量。本发明也能直接打开或下载订单处理情况数据，可以通过从布局图中双击绑定指定消息联系人手机或邮箱等，也可以直接把进度数据文件在其他系统平台显示或查看,可以浏览查看历史数据，在auto_ts大屏上显示这些数据。操作时，选择菜单中的指定日期任务，并选择相应的历史数据文件版本节点即可。同时也可以在ts_Viewer图中进行任务取消，暂停等操作，右击图中的订单语音识别或校对进程进行取消、暂停，对应的操作会记录到数据库中并实时显示更新。

上述结合附图对本发明进行了示例性描述，显然本发明具体实现并不受上述方式的限制，只要采用了本发明的方法构思和技术方案进行的这种非实质改进，或未经改进将本发明的构思和技术方案直接应用于其他场合的，均在本发明的保护范围之内。

Claims (10)

1.一种智能影视字幕制作方法及系统，其特征在于，所述方法包括以下步骤：（S1）数据收集，网络服务端srt_server连接生产订单系统的ts数据库，收集生产auto_ts智能制作系统的文件状态数据；（S2）数据保存，网络客户端ts_client连接网络服务端Ex_ts，接收网络服务端Ex_ts发送的实时数据并本地保存该数据；（S3）数据处理，Power_ts智能制作管理控制端接收系统数据变化消息通知，由系统管理员对订单安排进行下一步处理，所述数据处理包括对语音识别、语音文本同步、文本校对和格式的处理。

2.根据权利要求1所述的一种智能影视字幕制作方法及系统，其特征在于，所述智能语音字幕制作系统包括网络服务端srt_ server，所述网络服务端srt_ serve连接于语音识别系统；网络客户端ts_ client，所述网络客户端ts_ client连接于客户本地系统；ts_controller显示处理模块，所述ts_ controller 模块连接于线下管理系统；ts_ staff 扩展模块，所述ts_ staff 扩展模块连接于线下生产系统；ts _View显示处理模块，所述ts _View显示处理模块连接于线下监督控制显示系统；所述网络服务端srt_server和网络客户端ts _client均连接于所述auto_ ts智能制作系统，所述ts _controller显示处理模块分别与所述网络客户端ts_ client、所述srt _server模块和所述ts_controller模块连接。

3.根据权利要求2所述的一种智能影视字幕制作方法及系统，其特征在于，所述网络服务端srt_server通过采集平台生产系统的瞬时状态及订单数据，并将这些订单的处理结果提供给数据接收模块完成深层智能分类和数据特征提取，订单分类鉴别扩展模块用于给应用程序提供数据精加工分类、数据初步信息的分组文件提取。

4.根据权利要求2所述的一种智能影视字幕制作方法及系统，其特征在于，所述网络客户端ts_ client 用于字幕用户提交数据接受字幕结果的应用端，并向智能字幕制作平台auto_ ts提交订单实时数据。

5.根据权利要求2所述的一种智能影视字幕制作方法及系统，其特征在于，所述智能语音字幕制作系统还包括ts _ server模块，所述ts _ server模块连接于所述auto_ts智能制作系统，用于关键数据的接受和保存和auto_ ts中接收数据属性信息，和记录保存智能处理状态的各种处理信息，并将数据保存到硬盘供auto_ts和ts_Viewer应用程序使用。

6.根据权利要求4所述的一种智能影视字幕制作方法及系统，其特征在于，所述网络客户端ts_ client 可以使用网页，小程序，APP和PC端应用程序三种方式。

7.根据权利要求2所述的一种智能影视字幕制作方法及系统，其特征在于，所述网络服务端srt_server和所述网络客户端ts_ client的连接步骤包括：（a），网络客户端ts_client应用程序auto_ts登录，尝试连接服务端字幕制作服务主机；（b），网络服务端srt_server应用程序启动，并连接auto_ts系统数据库，服务端创建侦听并等待连接的线程，等待客户端网络连接；（c）网络客户端ts_ client连接成功，网络服务端srt_server创建一个线程，等待接收订单数据，网络客户端ts_ client发送音视频文件或附加参考资料文件；将当前缓冲区中的数据发送到网络客户端ts_ client；（d）网络客户端ts_ client把得到的数据存到adata目录下并命名为adata/upfiles/1和adata/upfiles/年-月-日/时-分，系统读取文件的大小时长等属性，生成订单数据并写入auto_ts数据库，返回客户端必要的显示数据，等待用户完成支付，网络服务端srt_server接收到支付成功消息后，网络服务端srt_server系统读取auto_ts数据库获取字幕制作平台相关负责人员设备ID发送新订单处理通知，退出这个连接线程，并关闭连接。

8.根据权利要求2所述的一种智能影视字幕制作方法及系统，其特征在于，所述ts _Viewer显示处理模块用于用户提供交互用户数据消息、统计、历史数据、任务进度预览和手动沟通调整任务要求功能，对需要查看的订单任务进行初级多级识别处理或单级或多级人工校对，绑定上相应的项目要求进入处理状态，并接入单级或多级人工校对等，绑定上相应的项目要求进入处理状态，并接入ts_server系统导入实时数据，将任务进度实时消息由auto_ts平台以手机短信或APP通知形式发送给关联用户。

9.根据权利要求2所述的一种智能影视字幕制作方法及系统，其特征在于，所述智能语音字幕制作系统还包括等待新订单任务模块，所述等待新订单任务模块连接于所述auto_ts智能制作系统，所述ts_ controller显示处理模块用于加载智能字幕制作平台的生产数据的布局图，装入从auto_ts接受实时的数据。

10.根据权利要求9所述的一种智能影视字幕制作方法及系统，其特征在于，所述等待新订单任务模块，包括以下三种方式，

（Ⅰ）在布局图中点击新订单，载入auto_ts智能语音转文本服务器模块完成自动任务匹配，读取订单中的所有参考资料和格式要求客户处理相应速度等级等关键信息，将状态恢复成当前任务队列，显示订单任务处理进度图像；

（Ⅱ）服务器完成智能字幕处理结果数据；弹出对话框，选择人工或机器进步智能检查校对数据文件；装入数据进入语音对文本时间轴同步处理；最后，更新当前的图形使用新的任务处理进度信息数据；

（Ⅲ）处理，校对，同步，格式转化并数据封装后提交客户，发送订单完成消息提醒客户在平台下载结果数据。

Images