CN111064990B - 视频处理方法、装置和电子设备 - Google Patents

视频处理方法、装置和电子设备 Download PDF

Info

Publication number
CN111064990B
CN111064990B CN201911163385.2A CN201911163385A CN111064990B CN 111064990 B CN111064990 B CN 111064990B CN 201911163385 A CN201911163385 A CN 201911163385A CN 111064990 B CN111064990 B CN 111064990B
Authority
CN
China
Prior art keywords
foreign language
subtitles
difficulty value
target
playing position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911163385.2A
Other languages
English (en)
Other versions
CN111064990A (zh
Inventor
张�浩
黄涛
刘三女牙
杨宗凯
杨华利
李嘉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central China Normal University
Original Assignee
Central China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central China Normal University filed Critical Central China Normal University
Priority to CN201911163385.2A priority Critical patent/CN111064990B/zh
Publication of CN111064990A publication Critical patent/CN111064990A/zh
Application granted granted Critical
Publication of CN111064990B publication Critical patent/CN111064990B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H04N21/4355—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reformatting operations of additional data, e.g. HTML pages on a television screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明提供了一种视频处理方法、装置和电子设备；包括：获取正在播放的目标视频，以及对应的外语字幕文件；确定当前播放位置；从外语字幕文件中，确定当前播放位置之后的预设时间段内的外语字幕的难度值；如果难度值大于预设的第一阈值，则翻译外语字幕；在目标视频中显示翻译后的字幕。本发明从字幕文件中确定正在播放的目标视频的当前播放位置之后的预设时间段内的外语字幕的难度值，如果该难度值大于预设的第一阈值，则翻译当前播放位置之后的预设时间段内的外语字幕，在目标视频中显示翻译后的字幕。可以针对不同的学习者设定不同的第一阈值和难度值计算方法，以降低成本，适应所有学习者的外语水平，并且有效地帮助每一个学习者。

Description

视频处理方法、装置和电子设备
技术领域
本发明涉及视频处理技术领域，尤其是涉及一种视频处理方法、装置和电子设备。
背景技术
相关技术中，外语语境主要通过多媒体视频模拟，对于多媒体视频，需要人工制作视频辅助信息。由于人工制作视频辅助信息的成本较高，无法为每一个学习者制作个性化定制的视频辅助信息。因此，只能多个学习者使用一份视频辅助信息，由于学习者的水平不同，同一份视频辅助信息不能适应所有学习者的外语水平，无法有效地帮助每一个学习者。
发明内容
有鉴于此，本发明的目的在于提供一种视频处理方法、装置和电子设备，以降低成本，适应所有学习者的外语水平，并且有效地帮助每一个学习者。
第一方面，本发明实施例提供了一种视频处理方法，包括：获取正在播放的目标视频，以及目标视频对应的外语字幕文件；外语字幕文件用于在目标视频上显示外语字幕；确定目标视频的当前播放位置；从外语字幕文件中，确定当前播放位置之后的预设时间段内的外语字幕的难度值；如果难度值大于预设的第一阈值，则翻译当前播放位置之后的预设时间段内的外语字幕；在目标视频中显示翻译后的字幕。
在本发明较佳的实施例中，上述外语字幕文件包括时间轴信息；上述确定目标视频的当前播放位置的步骤，包括：提取目标视频正在播放的目标外语字幕；确定目标外语字幕在外语字幕文件中对应的时间轴信息；将目标外语字幕对应的时间轴信息作为当前播放位置。
在本发明较佳的实施例中，上述提取目标视频正在播放的目标外语字幕的步骤，包括：确定目标视频正在播放的目标外语字幕的颜色；根据目标外语字幕的颜色提取包括目标外语字幕的图片；识别包括目标外语字幕的图片中的字幕，得到目标外语字幕。
在本发明较佳的实施例中，上述确定目标外语字幕在外语字幕文件中对应的时间轴信息的步骤，包括：确定外语字幕文件中与目标外语字幕相同的目标字幕信息；确定目标字幕信息对应的时间轴信息。
在本发明较佳的实施例中，上述从外语字幕文件中，确定当前播放位置之后的预设时间段内的外语字幕的难度值的步骤，包括：在外语字幕文件中，确定当前播放位置之后的预设时间段内的外语字幕；计算当前播放位置之后的预设时间段内的外语字幕的长度难度值、结构难度值和短语难度值；通过以下公式计算难度值：Res＝(1/4)*SF+(3/8)*PSF+(1/2)*POS；其中，Res为难度值；SF为长度难度值；PSF为结构难度值；POS为短语难度值。
在本发明较佳的实施例中，上述在目标视频中显示翻译后的字幕的步骤，包括：在翻译后的字幕对应的播放位置前，根据预设的时间间隔显示翻译后的字幕。
在本发明较佳的实施例中，上述在从外语字幕文件中，确定当前播放位置之后的预设时间段内的外语字幕的难度值的步骤之后，还包括：如果难度值大于预设的第二阈值，则计算外语字幕文件中的字幕与当前播放位置对应的字幕的相似度；由大到小的顺序，对多个外语字幕文件中的字幕进行排序，得到排序结果；从排序结果中的第一个外语字幕文件中的字幕开始，提取连续的指定数量的外语字幕文件中的字幕；显示提取出的外语字幕文件中的字幕。
第二方面，本发明实施例还提供一种视频处理装置，包括：视频和字幕获取模块，用于获取正在播放的目标视频，以及目标视频对应的外语字幕文件；外语字幕文件用于在目标视频上显示外语字幕；
播放位置确定模块，用于确定目标视频的当前播放位置；难度值计算模块，用于从外语字幕文件中，确定当前播放位置之后的预设时间段内的外语字幕的难度值；字幕翻译模块，用于如果难度值大于预设的第一阈值，则翻译当前播放位置之后的预设时间段内的外语字幕；字幕显示模块，用于在目标视频中显示翻译后的字幕。
第三方面，本发明实施例还提供一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的计算机可执行指令，处理器执行计算机可执行指令以实现上述视频处理方法的步骤。
第四方面，本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现上述视频处理方法的步骤。
本发明实施例带来了以下有益效果：
本发明实施例提供的视频处理方法、装置和电子设备，从字幕文件中确定正在播放的目标视频的当前播放位置之后的预设时间段内的外语字幕的难度值，如果该难度值大于预设的第一阈值，则翻译当前播放位置之后的预设时间段内的外语字幕，在目标视频中显示翻译后的字幕。可以针对不同的学习者设定不同的第一阈值和难度值计算方法，以降低成本，适应所有学习者的外语水平，并且有效地帮助每一个学习者。
本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种视频处理方法的流程图；
图2为本发明实施例提供的另一种视频处理方法的流程图；
图3为本发明实施例提供的一种提取目标外语字幕的方法的示意图；
图4为本发明实施例提供的一种文本可读性分析流程的示意图；
图5为本发明实施例提供的一种视频处理系统的示意图；
图6为本发明实施例提供的一种视频处理装置的结构示意图；
图7为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
语境学习是一种重要的英语学习方式。正日益受到研究者和教育者的重视。学习者可以通过英文视频来掌握常用的句型，并理解同一个词语在不同语境中的不同含义，从而提高英语水平。这种学习方式将英语学习从令人望而生畏的学问转变为妙趣横生的实践，极大地增加了学习者的学习乐趣。
语境学习方法中的英文单词、句子不是单独呈现的，而是学习者利用上下文语境对目标进行推理得出的。早期的语境学习资源以文本信息为主，多媒体技术的发展提供给学习者一种新的语境学习方式。多媒体语境可以同时提供视觉和听觉的信息。除了提供语言信息，多媒体语境还提供了充足的非语言信息，比如动作、表情等。因此，多媒体语境学习增加了语言学习过程中的灵活性和趣味性，使语境学习的优势得以充分发挥。
多媒体语境学习一方面可以为学习者提供丰富的语境学习资源；另一方面由于语境学习中生词、难句重复出现的频率不高，导致学习者难以通过内隐学习的学习方式总结出视频中的知识点。由于多媒体内容可能超出了学生的英语水平，导致学生对英语语境的理解不完整，最后对语境造成错误的推理。当视频中出现中文字幕时，会造成学生在学习英语时产生L2-L1-Concept(第二语言-第一语言-概念)绕道行为，而去掉中文字幕会对用户理解视频的语境造成阻碍。针对该问题，目前大量研究者提出了解决方案。根据布鲁纳的脚手架原理，我们可以使用不添加字幕的英语视频，同时对用户提供适当的学习支持。
布鲁纳的脚手架原理用来说明在教育活动中，儿童可以凭借由父母、教师、同伴以及他人提供的辅助物完成原本自己无法独立完成的任务。一旦儿童能独立完成某种任务，这种辅助物就像建筑竣工后的脚手架，会被逐渐撤离。对于多媒体语境学习，脚手架一般为对特定难词、难句的翻译，即使用户可以独立观看，依然会有难词难句，依然提供脚手架。
机器学习与深度学习是目前人工智能研究的热点，在很多领域取得了良好的效果。其在图像识别、分类预测方面的高效性和准确性可以有效解决传统学习支持在制作成本高、无法自动适应学生英语水平等问题。它给学习支持的制作带来了新的途径。
目前，外语语境主要通过多媒体视频模拟，对于多媒体视频，需要人工制作视频辅助信息。由于人工制作视频辅助信息的成本较高，无法为每一个学习者制作个性化定制的视频辅助信息。因此，只能多个学习者使用一份视频辅助信息，由于学习者的水平不同，同一份视频辅助信息不能适应所有学习者的外语水平，无法有效地帮助每一个学习者。基于此，本发明实施例提供的一种视频处理方法、装置和电子设备，该技术可以应用于学习支持系统制作领域具体涉及一种基于图像识别和文本可读性分析相结合的方法。
为便于对本实施例进行理解，首先对本发明实施例所公开一种视频处理方法进行详细介绍。
实施例1
参见图1所示的一种视频处理方法的流程图，该方法包括如下步骤：
步骤S102，获取正在播放的目标视频，以及上述目标视频对应的外语字幕文件；上述外语字幕文件用于在目标视频上显示外语字幕。
目标视频是指正在播放软件播放的供学习者学习的视频。目标视频需要自带外语字幕，以供学习者学习。外语字幕文件是指与目标视频对应的文件，该外语字幕文件包括所有在目标视频显示的外语字幕。将外语字幕文件导入到正在播放的目标视频中，即可以在目标视频播放外语字幕文件中的外语字幕。
步骤S104，确定目标视频的当前播放位置。
因为目标视频处于播放状态，因此，可以确定目标视频的当前播放位置。当前播放位置是指播放状态下的目标视频对应的播放位置。例如，一个播放视频总共120分钟，正在播放23:45的画面，则该目标视频的当前播放位置为23:45。
步骤S106，从外语字幕文件中，确定当前播放位置之后的预设时间段内的外语字幕的难度值。
外语字幕文件中的字幕一般会有显示的时间。之前已经确定了当前播放位置，从外语字幕文件中找到当前播放位置对应的时间，然后将当前播放位置对应的时间之后的预设时间段内的外语字幕提取，并确定提取的外语字幕的难度值。
预设时间段由人工确定，一般为1秒-10秒之间，优选为2秒。难度值大小用于分析上述提取的外语字幕的可读性强弱。如果提取的外语字幕的可读性较强，则难度值较低；如果提取的外语字幕的可读性较弱，则难度值较高。而且，难度值也可以根据不同的学习者采用不同的算法，以确定针对该学习者的个性化难度值算法。
例如，该目标视频的当前播放位置为23:45，预设时间段为5秒。则从目标视频对应的外语字幕文件中，找到23:45-23:50(23:45加5秒)之间的字幕并提取出来。采用针对该学习者的个性化难度值算法计算提取出的字幕的难度值。
步骤S108，如果难度值大于预设的第一阈值，则翻译当前播放位置之后的预设时间段内的外语字幕。
难度值通过数值来表示，难度值越高，则说明对应的字幕可读性较弱，即该字幕相比于该学习者更难理解，更需要进行翻译提示。这里的第一阈值用于确定进行翻译提示的门槛。即难度值大于预设的第一阈值，则说明该难度值对应的字幕需要进行翻译。第一阈值可以由系统根据学习者的外语水平自行设置，也可以由学习者自行设定或修改。
步骤S110，在目标视频中显示翻译后的字幕。
将当前播放位置之后的预设时间段内的外语字幕翻译后，将翻译后的字幕显示在目标视频中。这里需要说明的是，翻译后的字幕在目标视频中显示的时间，可以是外语字幕文件中对应的外语字幕的显示时间，还可以提前或者拖后显示，显示时间一般由人工设置。例如，假设一条翻译后的字幕对应的外语字幕文件中的外语字幕在22:35显示。则一般可以设置翻译后的字幕的显示延迟，如果设置的显示延迟为-2秒，则该翻译后的字幕会在22:33(22:35减去2秒)显示；如果设置的显示延迟为5秒，则该翻译后的字幕会在22:40(22:35加上5秒)显示。
本发明实施例提供的一种视频处理方法，从字幕文件中确定正在播放的目标视频的当前播放位置之后的预设时间段内的外语字幕的难度值，如果该难度值大于预设的第一阈值，则翻译当前播放位置之后的预设时间段内的外语字幕，在目标视频中显示翻译后的字幕。可以针对不同的学习者设定不同的第一阈值和难度值计算方法，以降低成本，适应所有学习者的外语水平，并且有效地帮助每一个学习者。
实施例2
本发明实施例还提供另一种视频处理方法；该方法在上述实施例方法的基础上实现；该方法重点描述确定目标视频的当前播放位置的具体实现方式。
如图2所示的另一种视频处理方法的流程图，该方法包括如下步骤：
步骤S202，获取正在播放的目标视频，以及上述目标视频对应的外语字幕文件；上述外语字幕文件用于在目标视频上显示外语字幕。
步骤S204，提取目标视频正在播放的目标外语字幕。
对于正在播放的目标视频确定当前播放位置的方法，可以通过先确定正在播放的目标视频的字幕(也就是目标外语字幕)，然后根据目标外语字幕确定字幕文件的时间，将上述字幕文件的时间作为目标视频的当前播放位置。其中，目标外语字幕指的是目标视频正在播放的目标视频的画面上出现的字幕。对于提取目标外语字幕的步骤。可以通过步骤A1-步骤A3执行：
步骤A1，确定目标视频正在播放的目标外语字幕的颜色。
首先截取正在播放的目标视频的画面，根据截取的画面确定目标外语字幕的颜色。参见图3所示的一种提取目标外语字幕的方法的示意图，如图3所示，首先确定能否直接从视频截图中得到字幕颜色，如果可以，则可以直接确定目标外语字幕的颜色；如果不可以，需要采用梯度法提取字幕图片。梯度法也称为梯度下降法，是指用canny算子得到字幕的轮廓，根据计算得到的字幕的轮廓确定字幕图片。canny算子中采用了连通域，连通域就是字幕中的包括字母的区域。
根据字幕图片中连通域的位置判断是否含有字母，如果有，即可确定字幕的颜色，字幕的颜色就是连通域中字母的颜色；如果没有，则需要重新截取目标视频的画面或者再播放一段时间后重新截取目标视频的画面。
字幕图片中连通域的位置不含有字母的情况，很可能是截取的目标视频本身就没有字幕。因此，需要再播放一段时间后重新截取目标视频的画面。
步骤A2，根据目标外语字幕的颜色提取包括目标外语字幕的图片。
在确定目标外语字幕的颜色后，只需将改颜色对应的内容提取出来，即可以获得包括目标外语字幕的图片，也就是图3中的字母图片。如图3所示，使用连通域将与目标外语字幕的颜色相同的像素区域提取，得到字母图片。
步骤A3，识别包括目标外语字幕的图片中的字幕，得到目标外语字幕。
如图3所示，识别包括目标外语字幕的图片中的字幕内容，可以通过神经网络进行。构建上述神经网络的过程，首先制作不同字体字幕的数据集，然后使用制作的数据集训练卷积神经网络。最后对卷积神经网络的参数进行调整，以达到最好的效果。
步骤S206，确定上述目标外语字幕在外语字幕文件中对应的时间轴信息。
在确定目标外语字幕之后，需要将目标外语字幕作为一个字符串，将此字符串与外语字幕文件中的每一条字幕，找出匹配的一条字幕，确定匹配的一条字幕对应的时间轴。
这里需要说明的是，外语字幕文件包括时间轴信息，时间轴信息是指外语字幕文件中的所有字母都有对应的显示时间信息，上述显示时间信息几位时间轴信息。
确定目标外语字幕在外语字幕文件中对应的时间轴信息的步骤，可以通过步骤B1-步骤B2执行：
步骤B1，确定外语字幕文件中与目标外语字幕相同的目标字幕信息。
将外语字幕文件中的所有字幕与目标字幕信息比对，如果比对的字幕相似度大于预设的阈值，则认为上述比对的字母为与目标外语字幕相同的目标字幕信息。阈值一般在80％-90％的范围内，优选85％。另外，也可以选择相似度最大的外语字幕文件中的字母作为目标字幕信息。
步骤B2，确定目标字幕信息对应的时间轴信息。
确定目标字幕信息之后，因为外语字幕文件包括时间轴信息，所以只需要查询目标字幕信息对应的时间轴信息，即可确定目标外语字幕对应的时间轴信息。
为了防止目标视频中同样的句子出现多次，可以积累多个字幕同时进行比较，选择相似度最大的字幕对应的时间轴信息作为目标字幕信息对应的时间轴信息。
步骤S208，将上述目标外语字幕对应的时间轴信息作为当前播放位置。
首先确定外语字幕文件中与目标外语字幕对应的目标字幕信息，然后确定目标字幕信息对应的时间轴信息，则该时间轴信息就是当前播放位置。
步骤S210，从外语字幕文件中，确定当前播放位置之后的预设时间段内的外语字幕的难度值。
计算外语字幕的难度值用于进行文本可读性分析，之前已经得到目标视频的当前播放位置，沿着当前播放位置继续向后查找，即可以得到当前播放位置之后的预设时间段内的外语字幕，之后通过文本可读性公式来评估当前播放位置之后的预设时间段内的外语字幕难度值。计算难度值的具体步骤，可以通过步骤C1-步骤C3执行：
步骤C1，在外语字幕文件中，确定当前播放位置之后的预设时间段内的外语字幕。
在得到目标视频的当前播放位置后，沿着当前播放位置继续向后查找，即可以得到当前播放位置之后的预设时间段内的外语字幕。预设时间段一般为10秒-1分钟，优选为30秒。
步骤C2，计算当前播放位置之后的预设时间段内的外语字幕的长度难度值、结构难度值和短语难度值。
长度难度值称为Shallow features，缩写为SF，Shallow features对文章平均句长的评分效果最好，SF可以理解为简单的特征，比如说句子长度。结构难度值称为Parsedsyntactic features(一个句子具有的句子结构的数量作为特征)，Parsed syntacticfeatures缩写为PSF，Parsed syntactic features对动词短语的评分效果比较好。短语难度值称为Phrase of sentence(一个句子具有的短语的数量作为特征)，Phrase ofsentence缩写为POS，POS对句子中名词的评分效果最好。
步骤C3，通过以下公式计算难度值：Res＝(1/4)*SF+(3/8)*PSF+(1/2)*POS；其中，Res为难度值；SF为长度难度值；PSF为结构难度值；POS为短语难度值。
参见图4所示的一种文本可读性分析流程的示意图，如图4所示，通过对三种文本可读性方法(Shallow features、Parsed syntactic features和Phrase of sentence)得到的结果做加权平均，来得到即将出现的文本的难度。其中，Shallow features的权值为1/4，Parsed syntactic features的权值为3/8，Phrase of sentence的权值为1/2。
步骤S212，如果难度值大于预设的第一阈值，则翻译当前播放位置之后的预设时间段内的外语字幕。
在确定难度之后，将确定的难度值与预设的第一阈值比较，其中，假设难度值为百分制，则预设的第一阈值的取值范围在50-80之间，优选为60。如果难度值大于预设的第一阈值，则说明当前播放位置之后的预设时间段内的外语字幕比较难理解，需要翻译并显示；如果难度值小于等于预设的第一阈值，则说明当前播放位置之后的预设时间段内的外语字幕比较简单，无需翻译。
步骤S214，在目标视频中显示翻译后的字幕。
需要根据用户的需求在指定播放位置显示翻译后的字幕，其中，可以在翻译后的字幕对应的播放位置前，根据预设的时间间隔显示翻译后的字幕。其中，显示翻译后的字幕称为弹出学习支持，显示翻译后的字幕时间称为学习支持的弹出时间，实施间隔优选为一分钟。
为了在提供学习支持的同时，最大限度地保证使用者的观看体验。需要对学习支持的弹出时间进行精确的计算。如果学习支持弹出地过于频繁，则会影响观看视频的流畅度。如果学习支持的弹出时间间隔过长，则无法给予用户有效的学习支持。本实施例是按照视频播放的情景为用户提供学习支持的。在每一个情景播放之前，为用户展示接下来播放视频的字幕内容。情景。根据字幕的间隔时间来获得视频情景的划分。如果两个字幕之间的时间间隔明显大于附近字幕的时间间隔，则认为这句字幕是这个视频的一个情景分界点。
除此以外，本实施例提供的方法还可以提供其他的学习支持内容，在从外语字幕文件中，确定当前播放位置之后的预设时间段内的外语字幕的难度值的步骤之后，可以通过步骤D1-步骤D4提供其他的学习支持内容：
步骤D1，如果难度值大于预设的第二阈值，则计算外语字幕文件中的字幕与当前播放位置对应的字幕的相似度；
如果难度值大于预设的第二阈值，则确定需要制作其他的学习支持内容。第二阈值与第一阈值并没有明显的大小关系，第二阈值可以大于第一阈值，也可以等于或者小于第一阈值。系统通过制作难句学习支持帮助学生理解电影对话中出现的难句。由于难句的判断依据是英文句子结构复杂度。于是，可以通过向用户提供历史字幕中相似结构的句子作为英文难句的学习支持。
相似度通过余弦相似度算法计算，余弦相似度算法是通过向量间夹角的余弦值来衡量个体差异大小的。余弦值越接近1，说明向量夹角越接近0度，则两个向量越相似。为计算两个向量夹角余弦值的公式。其中两个向量定义为(x1,y1)、(x2,y2)，两个向量间的夹角定义为θ。
传统的文本相似度比较使用tf-idf(词频-逆文档频率)提取文章的关键词作为向量的值。但是由于本系统搜索的是句子结构相似的外语句子，所以使用句子结构作为计算外语句子相似度的特征。首先通过stanford parsed算法得到外语句子的句子结构，将句子结构特征制作为特征向量。接着计算此句子与系统中存储的历史字幕句子的余弦相似度，并将计算得到的余弦相似度按从大到小排列。
步骤D2，由大到小的顺序，对多个外语字幕文件中的字幕进行排序，得到排序结果；
将外语字幕文件中的字幕有大到排序后得到排序结果，以便接下来获得相似度较大的外语字幕文件中的字幕。
步骤D3，从排序结果中的第一个外语字幕文件中的字幕开始，提取连续的指定数量的外语字幕文件中的字幕；
指定数量优选为3个，当指定数量为三个时，即提取相似度前三的三个外语字幕文件中的字幕。除此以外，提取的外语字幕文件中的字幕还需要满足相似度大于一定的阈值(优先为0.8)。如果提取的外语字幕文件中的字幕相似度过低，则说明所有的外语字幕文件中的字幕与当前播放位置对应的字幕均不太相似，无法制作学习支持。
步骤D4，显示提取出的外语字幕文件中的字幕。
显示提取出的外语字幕文件中的字幕就是说显示制作完成的学习支持，以帮助学习者进一步理解与当前播放位置对应的字幕相似的句子。
本发明实施例提供的视频处理方法，为了制作出自适应的学习支持系统，本发明实施例使用图像识别的方法来获得视频的当前时间点，通过文本可读性分析的方法预测未来会出现的难度较大的对话或较难的生词。并将对话的中英文字幕或较难单词及其释义提前弹出。这样做可以降低英语视频内容对学生的难度。可以克服传统学习支持的制作成本高、无法自动适应每个学生的英文水平的问题。
该方式中，针对传统学习支持将支持的展示放在视频播放完毕之后，本发明根据短时记忆原理将学习支持放在视频播放之前。可以更好地帮助使用者了解视频的播放内容。
该方式中，针对传统学习支持制作方法需要人工获取视频正在播放的时间，本发明提出了基于CNN(Convolutional Neural Network，卷积神经网络)的自动获取当前视频播放时间点的方法。使用CNN的图像识别方法获取当前视频的字幕，通过与视频字幕文件的对比获得视频的当前播放时间。
该方式中，针对传统学习支持中无法对每个学生提供适合的学习支持的问题。本实施例提出了基于可读性公式的自适应学习支持生成方法。使用POS、Parsed syntacticfeatures和Shallow features的混合方法评估文本的难度，生成适合学生的学习支持。
该方式中，针对传统语境学习方法中不能为学习者推荐个性化学习支持的问题。本实施例通过查询互联网词典与查询学习系统历史记录相结合的方法，为学习者提供字幕文本中生词难句的通用解释和个性化学习支持。本实施例通过提供历史字幕中出现此生词的句子，为学习者提供同一个单词在不同语境中的比较，加深学习者对生词的理解。通过提供历史字幕中与此难句结构相似的句子，为学习者提供多个相似结构的句子在不同场景中的应用，帮助学习者理解句子中各个结构的含义。
基于本实施例提供的视频处理方法，可以制作成语境学习系统，参见图5所示的一种视频处理系统的示意图，如图5所示，打开语境学习系统后，调整识别区域的位置，识别区域是指识别目标视频的区域。播放的电影就是目标视频，之后进行两个判断，如果系统不为生词、难句推荐学习支持，则将鼠标放在单词、句子的位置，才会显示翻译；如果系统为生词、难句推荐学习支持，还需判断是否对简单的单词、句子提学习支持。如果对简单的单词、句子提学习支持，则取消单词的生词标记或句子的难句标记，将鼠标放在单词、句子的位置，才会显示翻译；如果不对简单的单词、句子提学习支持，则仅仅播放目标视频即可，不会显示翻译。
实施例3
对应于上述方法实施例，本发明实施例提供了一种视频处理装置，如图6所示的一种视频处理装置的结构示意图，该装置包括：
视频和字幕获取模块61，用于获取正在播放的目标视频，以及目标视频对应的外语字幕文件；外语字幕文件用于在目标视频上显示外语字幕；
播放位置确定模块62，用于确定目标视频的当前播放位置；
难度值计算模块63，用于从外语字幕文件中，确定当前播放位置之后的预设时间段内的外语字幕的难度值；
字幕翻译模块64，用于如果难度值大于预设的第一阈值，则翻译当前播放位置之后的预设时间段内的外语字幕；
字幕显示模块65，用于在目标视频中显示翻译后的字幕。
本发明实施例提供的一种视频处理装置，从字幕文件中确定正在播放的目标视频的当前播放位置之后的预设时间段内的外语字幕的难度值，如果该难度值大于预设的第一阈值，则翻译当前播放位置之后的预设时间段内的外语字幕，在目标视频中显示翻译后的字幕。可以针对不同的学习者设定不同的第一阈值和难度值计算方法，以降低成本，适应所有学习者的外语水平，并且有效地帮助每一个学习者。
在一些实施例中，外语字幕文件包括时间轴信息；播放位置确定模块，用于：提取目标视频正在播放的目标外语字幕；确定目标外语字幕在外语字幕文件中对应的时间轴信息；将目标外语字幕对应的时间轴信息作为当前播放位置。
在一些实施例中，播放位置确定模块，用于：确定目标视频正在播放的目标外语字幕的颜色；根据目标外语字幕的颜色提取包括目标外语字幕的图片；识别包括目标外语字幕的图片中的字幕，得到目标外语字幕。
在一些实施例中，播放位置确定模块，用于：确定外语字幕文件中与目标外语字幕相同的目标字幕信息；确定目标字幕信息对应的时间轴信息。
在一些实施例中，难度值计算模块，用于：在外语字幕文件中，确定当前播放位置之后的预设时间段内的外语字幕；计算当前播放位置之后的预设时间段内的外语字幕的长度难度值、结构难度值和短语难度值；通过以下公式计算难度值：Res＝(1/4)*SF+(3/8)*PSF+(1/2)*POS；其中，Res为难度值；SF为长度难度值；PSF为结构难度值；POS为短语难度值。
在一些实施例中，字幕显示模块，用于：在翻译后的字幕对应的播放位置前，根据预设的时间间隔显示翻译后的字幕。
在一些实施例中，还包括：学习推荐模块，用于：如果难度值大于预设的第二阈值，则计算外语字幕文件中的字幕与当前播放位置对应的字幕的相似度；由大到小的顺序，对多个外语字幕文件中的字幕进行排序，得到排序结果；从排序结果中的第一个外语字幕文件中的字幕开始，提取连续的指定数量的外语字幕文件中的字幕；显示提取出的外语字幕文件中的字幕。
本发明实施例提供的视频处理装置，与上述实施例提供的视频处理方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。
实施例4
本发明实施例还提供了一种电子设备，用于运行上述视频处理方法；参见图7所示的一种电子设备的结构示意图，该电子设备包括存储器100和处理器101，其中，存储器100用于存储一条或多条计算机指令，一条或多条计算机指令被处理器101执行，以实现上述视频处理方法。
进一步地，图7所示的电子设备还包括总线102和通信接口103，处理器101、通信接口103和存储器100通过总线102连接。
其中，存储器100可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口103(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线102可以是ISA总线、PCI总线或EISA总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
处理器101可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processor，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器100，处理器101读取存储器100中的信息，结合其硬件完成前述实施例的方法的步骤。
本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现上述视频处理方法，具体实现可参见方法实施例，在此不再赘述。
本发明实施例所提供的视频处理方法、装置和电子设备的计算机程序产品，包括存储了程序代码的计算机可读存储介质，程序代码包括的指令可用于执行前面方法实施例中的方法，具体实现可参见方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和/或电子设备的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (8)

1.一种视频处理方法，其特征在于，包括：
获取正在播放的目标视频，以及所述目标视频对应的外语字幕文件；所述外语字幕文件用于在所述目标视频上显示外语字幕；
确定所述目标视频的当前播放位置；
从所述外语字幕文件中，确定所述当前播放位置之后的预设时间段内的外语字幕的难度值；如果所述难度值大于预设的第一阈值，则翻译所述当前播放位置之后的预设时间段内的外语字幕；
在所述目标视频中显示翻译后的字幕；
从所述外语字幕文件中，确定所述当前播放位置之后的预设时间段内的外语字幕的难度值的步骤，包括：
在所述外语字幕文件中，确定所述当前播放位置之后的预设时间段内的外语字幕；
计算所述当前播放位置之后的预设时间段内的外语字幕的长度难度值、结构难度值和短语难度值；
通过以下公式计算所述难度值：
Res＝(1/4)*SF+(3/8)*PSF+(1/2)*POS；
其中，Res为所述难度值；SF为所述长度难度值；PSF为所述结构难度值；POS为所述短语难度值；
在从所述外语字幕文件中，确定所述当前播放位置之后的预设时间段内的外语字幕的难度值的步骤之后，还包括：
如果所述难度值大于预设的第二阈值，则计算所述外语字幕文件中的字幕与所述当前播放位置对应的字幕的相似度；
由大到小的顺序，对多个所述外语字幕文件中的字幕进行排序，得到排序结果；
从所述排序结果中的第一个外语字幕文件中的字幕开始，提取连续的指定数量的外语字幕文件中的字幕；
显示提取出的外语字幕文件中的字幕。
2.根据权利要求1所述的方法，其特征在于，所述外语字幕文件包括时间轴信息；
确定所述目标视频的当前播放位置的步骤，包括：
提取所述目标视频正在播放的目标外语字幕；
确定所述目标外语字幕在所述外语字幕文件中对应的时间轴信息；
将所述目标外语字幕对应的时间轴信息作为当前播放位置。
3.根据权利要求2所述的方法，其特征在于，提取所述目标视频正在播放的目标外语字幕的步骤，包括：
确定所述目标视频正在播放的目标外语字幕的颜色；
根据所述目标外语字幕的颜色提取包括所述目标外语字幕的图片；
识别包括所述目标外语字幕的图片中的字幕，得到所述目标外语字幕。
4.根据权利要求2所述的方法，其特征在于，确定所述目标外语字幕在所述外语字幕文件中对应的时间轴信息的步骤，包括：
确定所述外语字幕文件中与所述目标外语字幕相同的目标字幕信息；
确定所述目标字幕信息对应的时间轴信息。
5.根据权利要求1所述的方法，其特征在于，在所述目标视频中显示翻译后的字幕的步骤，包括：
在翻译后的字幕对应的播放位置前，根据预设的时间间隔显示所述翻译后的字幕。
6.一种视频处理装置，其特征在于，包括：
视频和字幕获取模块，用于获取正在播放的目标视频，以及所述目标视频对应的外语字幕文件；所述外语字幕文件用于在所述目标视频上显示外语字幕；
播放位置确定模块，用于确定所述目标视频的当前播放位置；
难度值计算模块，用于从所述外语字幕文件中，确定所述当前播放位置之后的预设时间段内的外语字幕的难度值；字幕翻译模块，用于如果所述难度值大于预设的第一阈值，则翻译所述当前播放位置之后的预设时间段内的外语字幕；
字幕显示模块，用于在所述目标视频中显示翻译后的字幕；
难度值计算模块，还用于：在所述外语字幕文件中，确定所述当前播放位置之后的预设时间段内的外语字幕；
计算所述当前播放位置之后的预设时间段内的外语字幕的长度难度值、结构难度值和短语难度值；
通过以下公式计算所述难度值：
Res＝(1/4)*SF+(3/8)*PSF+(1/2)*POS；
其中，Res为所述难度值；SF为所述长度难度值；PSF为所述结构难度值；POS为所述短语难度值；
所述装置还包括：相似度计算模块，还用于：如果所述难度值大于预设的第二阈值，则计算所述外语字幕文件中的字幕与所述当前播放位置对应的字幕的相似度；
排序模块，用于由大到小的顺序，对多个所述外语字幕文件中的字幕进行排序，得到排序结果；
字模提取模块，用于从所述排序结果中的第一个外语字幕文件中的字幕开始，提取连续的指定数量的外语字幕文件中的字幕；
第二字幕显示模块，用于显示提取出的外语字幕文件中的字幕。
7.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现权利要求1至5任一项所述的视频处理方法的步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，所述计算机可执行指令促使处理器实现权利要求1至5任一项所述的视频处理方法的步骤。
CN201911163385.2A 2019-11-22 2019-11-22 视频处理方法、装置和电子设备 Active CN111064990B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911163385.2A CN111064990B (zh) 2019-11-22 2019-11-22 视频处理方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911163385.2A CN111064990B (zh) 2019-11-22 2019-11-22 视频处理方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN111064990A CN111064990A (zh) 2020-04-24
CN111064990B true CN111064990B (zh) 2021-12-14

Family

ID=70298624

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911163385.2A Active CN111064990B (zh) 2019-11-22 2019-11-22 视频处理方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN111064990B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090112851A (ko) * 2008-04-25 2009-10-29 설융석 영상 재생에 의한 외국어 뉘앙스 학습 시스템
CN102194346A (zh) * 2011-06-21 2011-09-21 无敌科技(西安)有限公司 一种自动分析词汇难度及注解难点词汇的嵌入式系统及方法
CN102208023A (zh) * 2011-01-23 2011-10-05 浙江大学 基于边缘信息和分布熵的视频字幕识别设计方法
CN103442300A (zh) * 2013-08-27 2013-12-11 Tcl集团股份有限公司 一种音视频跳转播放方法以及装置
CN104602136A (zh) * 2015-02-28 2015-05-06 科大讯飞股份有限公司 用于外语学习的字幕显示方法及系统
CN109035922A (zh) * 2018-09-04 2018-12-18 郑彪 一种基于视频的外语学习方法和设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090112851A (ko) * 2008-04-25 2009-10-29 설융석 영상 재생에 의한 외국어 뉘앙스 학습 시스템
CN102208023A (zh) * 2011-01-23 2011-10-05 浙江大学 基于边缘信息和分布熵的视频字幕识别设计方法
CN102194346A (zh) * 2011-06-21 2011-09-21 无敌科技(西安)有限公司 一种自动分析词汇难度及注解难点词汇的嵌入式系统及方法
CN103442300A (zh) * 2013-08-27 2013-12-11 Tcl集团股份有限公司 一种音视频跳转播放方法以及装置
CN104602136A (zh) * 2015-02-28 2015-05-06 科大讯飞股份有限公司 用于外语学习的字幕显示方法及系统
CN109035922A (zh) * 2018-09-04 2018-12-18 郑彪 一种基于视频的外语学习方法和设备

Also Published As

Publication number Publication date
CN111064990A (zh) 2020-04-24

Similar Documents

Publication Publication Date Title
CN106534548B (zh) 语音纠错方法和装置
CN109583443B (zh) 一种基于文字识别的视频内容判断方法
CN109508406B (zh) 一种信息处理方法、装置及计算机可读存储介质
US9323744B2 (en) Transliteration device, transliteration program, computer-readable recording medium on which transliteration program is recorded, and transliteration
CN107748744B (zh) 一种勾勒框知识库的建立方法及装置
CN110796140B (zh) 一种字幕检测方法和装置
CN111462554A (zh) 网上课堂视频知识点识别方法和装置
JP2007214729A (ja) 情報処理装置および方法、並びにプログラム
CN112231522B (zh) 一种在线课程知识树的生成关联方法
CN108460122B (zh) 基于深度学习的视频搜索方法、存储介质、设备及系统
US20230216598A1 (en) Detection device
CN112163560A (zh) 一种视频信息处理方法、装置、电子设备及存储介质
CN111046904A (zh) 一种图像描述方法、图像描述装置及计算机存储介质
CN114357206A (zh) 基于语义分析的教育类视频彩色字幕生成方法及系统
CN114880496A (zh) 多媒体信息话题分析方法、装置、设备及存储介质
CN112800177B (zh) 基于复杂数据类型的faq知识库自动生成方法和装置
CN111966839B (zh) 数据处理方法、装置、电子设备及计算机存储介质
TWI403911B (zh) 中文辭典建置裝置和方法，以及儲存媒體
CN111064990B (zh) 视频处理方法、装置和电子设备
CN117194638A (zh) 素材生成方法、模型训练方法、特征提取方法及设备
CN115391588B (zh) 视觉语言预训练模型的微调方法和图文检索方法
CN111814488B (zh) 一种诗词生成方法、装置、电子设备及可读存储介质
CN111091008B (zh) 一种听写提示内容的确定方法及电子设备
CN108021918B (zh) 文字识别方法及装置
CN107977360B (zh) 一种影视剧本中人物阵营的识别和划分方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant