CN107864410A - 一种多媒体数据处理方法、装置、电子设备以及存储介质 - Google Patents

一种多媒体数据处理方法、装置、电子设备以及存储介质 Download PDF

Info

Publication number
CN107864410A
CN107864410A CN201710948457.9A CN201710948457A CN107864410A CN 107864410 A CN107864410 A CN 107864410A CN 201710948457 A CN201710948457 A CN 201710948457A CN 107864410 A CN107864410 A CN 107864410A
Authority
CN
China
Prior art keywords
information
target audio
audio
character
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710948457.9A
Other languages
English (en)
Other versions
CN107864410B (zh
Inventor
庄世健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201710948457.9A priority Critical patent/CN107864410B/zh
Publication of CN107864410A publication Critical patent/CN107864410A/zh
Application granted granted Critical
Publication of CN107864410B publication Critical patent/CN107864410B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4314—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for fitting data in a restricted space on the screen, e.g. EPG data in a rectangular grid
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Abstract

本发明实施例公开了一种多媒体数据处理方法，包括：接收目标音频信息对应的字幕获取指令；根据所述字幕获取指令，获取与所述目标音频信息相匹配的字幕信息，其中所述字幕信息包括原文字信息与扩展文字信息；当播放所述目标音频信息中的目标音频帧时，确定所述目标音频帧的音频时间戳，并在所述原文字信息中提取与所述音频时间戳对应的第一字符，并在所述扩展文字信息中提取与所述音频时间戳对应的第二字符；在屏幕的第一区域显示所述第一字符，并在所述屏幕的第二区域显示所述第二字符。采用本发明，可以丰富国学机的展示方式，更好的满足在一些场景下用户灵活多变的需求。

Description

一种多媒体数据处理方法、装置、电子设备以及存储介质
技术领域
本发明涉及电子技术领域，尤其涉及一种多媒体数据处理方法、装置、电子设备以及存储介质。
背景技术
随着国学在国内认可度的不断提高，国学培育机构、国学家、国学书籍层出不穷，一种专门用于学习国学的科技产品，也成为了市场呼之欲出的实际需要，国学机便应运而生了，国学机是一种播放国学音频/视频的国学学习机，其特点是快捷、方便学习，通过输入目录册子对应的编码进行点播，学习国学经典。幼年儿童可以通过不断地重复听读经典国学，学到更多的国学知识。
用户在使用国学机的过程中，国学机仅能播放用户点播国学内容的声音，国学机中的数码屏或者液晶屏仅仅显示国学内容的标题以及当前的时间，而国学知识简约精炼、语言晦涩难懂，如果用户只通过听取读音是无法有效地学习并理解国学知识中的内容。
上述可见，现有的国学机只能语音播放用户点播的国学内容，导致目前的国学机的展示方式过于单一，难以满足用户灵活多变的应用需求。
发明内容
本发明实施例所要解决的技术问题在于，提供一种多媒体数据处理方法、装置、电子设备以及存储介质，以丰富国学机的展示方式。
为了解决上述技术问题，本发明实施例第一方面提供了一种多媒体数据处理方法，包括：
接收目标音频信息对应的字幕获取指令；
根据所述字幕获取指令，获取与所述目标音频信息相匹配的字幕信息，其中所述字幕信息包括原文字信息与扩展文字信息；
当播放所述目标音频信息中的目标音频帧时，确定所述目标音频帧的音频时间戳，并在所述原文字信息中提取与所述音频时间戳对应的第一字符，并在所述扩展文字信息中提取与所述音频时间戳对应的第二字符；
在屏幕的第一区域显示所述第一字符，并在所述屏幕的第二区域显示所述第二字符。
其中，所述扩展文字信息，包括：与所述原文字信息相匹配的拼音信息和/ 或与所述原文字信息相匹配的译文信息。
其中，还包括：
若所述目标音频帧携带有暂停标识，且已播放完所述目标音频帧，则暂停播放所述目标音频信息，并通过收音器采集第一语音信息；
根据所述目标音频帧对所述第一语音信息进行发音测评，得到测评结果，并在所述屏幕的第三区域显示所述测评结果。
其中，还包括：
若暂停播放所述目标音频信息的时长达到预设时长阈值，则继续对所述目标音频帧的下一个音频帧进行播放，并同步显示所述下一个音频帧对应的字幕信息。
其中，所述在屏幕的第一区域显示所述第一字符，并在所述屏幕的第二区域显示所述第二字符之前，还包括：
若所述目标音频帧携带有暂停标识，且已播放完所述目标音频帧，则暂停播放所述目标音频信息，并通过收音器采集第二语音信息；
确定所述第二语音信息与所述目标音频帧之间的相似度；
若所述相似度大于预设数值阈值，则执行所述在屏幕的第一区域显示所述第一字符，并在所述屏幕的第二区域显示所述第二字符的步骤。
其中，所述接收目标音频信息对应的字幕获取指令之前，还包括：
通过收音器采集第三语音信息；
若音频数据库中存在与所述第三语音信息的文字内容相匹配的音频信息，则确定所匹配的音频信息为所述目标音频信息，并生成所述目标音频信息对应的字幕获取指令。
其中，所述接收目标音频信息对应的字幕获取指令之前，还包括：
通过扫描获取条码信息；
若音频数据库中存在与所述条码信息对应的文字内容相匹配的音频信息，则确定所匹配的音频信息为所述目标音频信息，并生成所述目标音频信息对应的字幕获取指令。
其中，所述接收目标音频信息对应的字幕获取指令之前，还包括：
通过收音器采集第四语音信息，并识别所述第四语音信息中的关键字；
在音频数据库中搜索与所述关键字相匹配的音频信息，并确定所匹配的音频信息为所述目标音频信息，并生成所述目标音频信息对应的字幕获取指令。
本发明实施例第二方面提供了一种多媒体数据处理装置，包括：
接收单元，用于接收目标音频信息对应的字幕获取指令；
获取单元，用于根据所述字幕获取指令，获取与所述目标音频信息相匹配的字幕信息，其中所述字幕信息包括原文字信息与扩展文字信息；
提取单元，用于当播放所述目标音频信息中的目标音频帧时，确定所述目标音频帧的音频时间戳，并在所述原文字信息中提取与所述音频时间戳对应的第一字符，并在所述扩展文字信息中提取与所述音频时间戳对应的第二字符；
显示单元，用于在屏幕的第一区域显示所述第一字符，并在所述屏幕的第二区域显示所述第二字符。
其中，所述扩展文字信息，包括：与所述原文字信息相匹配的拼音信息和/ 或与所述原文字信息相匹配的译文信息。
其中，还包括：
采集单元，用于若所述目标音频帧携带有暂停标识，且已播放完所述目标音频帧，则暂停播放所述目标音频信息，并通过收音器采集第一语音信息；
测评单元，用于根据所述目标音频帧对所述第一语音信息进行发音测评，得到测评结果，并在所述屏幕的第三区域显示所述测评结果。
其中，还包括：
播放单元，用于若暂停播放所述目标音频信息的时长达到预设时长阈值，则继续对所述目标音频帧的下一个音频帧进行播放，并同步显示所述下一个音频帧对应的字幕信息。
其中，还包括：
所述采集单元，还用于若所述目标音频帧携带有暂停标识，且已播放完所述目标音频帧，则暂停播放所述目标音频信息，并通过收音器采集第二语音信息；
第一确定单元，用于确定所述第二语音信息与所述目标音频帧之间的相似度；
通知单元，用于若所述相似度大于预设数值阈值，则通知所述显示单元执行所述在屏幕的第一区域显示所述第一字符，并在所述屏幕的第二区域显示所述第二字符的步骤。
其中，还包括：
所述采集单元，还用于通过收音器采集第三语音信息；
第二确定单元，用于若音频数据库中存在与所述第三语音信息的文字内容相匹配的音频信息，则确定所匹配的音频信息为所述目标音频信息，并生成所述目标音频信息对应的字幕获取指令。
其中，还包括：
所述采集单元，还用于通过扫描采集条码信息；
第三确定单元，用于若音频数据库中存在与所述条码信息对应的文字内容相匹配的音频信息，则确定所匹配的音频信息为所述目标音频信息，并生成所述目标音频信息对应的字幕获取指令。
其中，还包括：
识别单元，用于通过收音器采集第四语音信息，并识别所述第四语音信息中的关键字；
第四确定单元，用于在音频数据库中搜索与所述关键字相匹配的音频信息，并确定所匹配的音频信息为所述目标音频信息，并生成所述目标音频信息对应的字幕获取指令。
本发明实施例第三方面提供了一种电子设备，包括：处理器和存储器，所述处理器和存储器相连，其中，所述存储器用于存储支持电子设备执行本发明实施例第一方面中方法的程序代码，所述处理器被配置用于执行本发明实施例第一方面中的方法。
本发明实施例第四方面提供了一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，当所述处理器执行所述程序指令时执行本发明实施例第一方面中的方法。
实施本发明实施例，具有如下有益效果：通过接收目标音频信息对应的字幕获取指令，获取与所述目标音频信息相匹配的字幕信息，当播放所述目标音频信息中的目标音频帧时，确定所述目标音频帧的音频时间戳，并在所述字幕信息中的原文字信息中提取与所述音频时间戳对应的第一字符，并在所述字幕信息中的扩展文字信息中提取与所述音频时间戳对应的第二字符，最后在屏幕的第一区域显示所述第一字符，并在所述屏幕的第二区域显示所述第二字符。由于可以在屏幕上同步显示与音频信息相匹配的多种类型的字幕信息，用户不仅可以收听音频信息，也能观看与音频信息对应的字幕信息，增强用户对音频信息的理解，因此，利用在显示屏上同步显示多种类型的字幕，可丰富国学机的展示方式。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种国学机的架构示意图；
图2是本发明实施例提供的一种多媒体数据处理方法的流程示意图；
图2a是本发明实施例提供的一种国学机的展示方式；
图2b是本发明实施例提供的另一种国学机的展示方式；
图2c是本发明实施例提供的另一种国学机的展示方式；
图2d是本发明实施例提供的另一种国学机的展示方式；
图2e是本发明实施例提供的另一种国学机的展示方式；
图2f是本发明实施例提供的一种原文字信息与时间戳的示意图；
图2g是本发明实施例提供的一种扩展文字信息与时间戳的示意图；
图3是本发明实施例提供的另一种多媒体数据处理方法的流程示意图；
图4是本发明实施例提供的另一种多媒体数据处理方法的流程示意图；
图5是本发明实施例提供的另一种多媒体数据处理方法的流程示意图；
图6是本发明实施例提供的另一种多媒体数据处理方法的流程示意图；
图7是本发明实施例提供的另一种多媒体数据处理方法的流程示意图；
图8是本发明实施例提供的一种多媒体数据处理装置的结构示意图；
图9是本发明实施例提供的另一种多媒体数据处理装置的结构示意图；
图10是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
本发明实施例中提及的多媒体数据处理方法的执行依赖于计算机程序，可运行于冯·若依曼体系的计算机系统之上。该计算机程序可集成在应用中，也可作为独立的工具类应用运行。该计算机系统可以是个人电脑、平板电脑、笔记本电脑、智能手机等终端设备。
本发明首先提供一种多媒体数据处理方法，该方法的应用场景如下：
请参见图1，图1是本发明实施例提供的一种国学机的架构示意图。如图1 所示，本发明的一种国学机的架构示意图2000可以包括：国学机2001、遥控器 2002、手机2003和个人电脑2004。手机2003或个人电脑2004通过麦克风功能采集用户输入语音信息，使用手机2003或个人电脑2004的NFC(Near Field Communication，近距离无线通讯技术)功能将输入的语音信息转发到国学机 2001中，在国学机2001的音频数据库中查找与该语音信息匹配的国学内容，国学机2001语音播放上述国学内容并在国学机2001的屏幕上显示国学内容的字幕，国学机2001还能对用户的跟读内容进行实时发音测评，并将发音测评的结果反馈在手机2003或个人电脑2004或国学机2001的屏幕上；或者，通过手机 2003或个人电脑2004中的蓝牙/WIFI(WIreless-FIdelity，无线保真)功能与国学机2001连接，在已连接的手机2003或个人电脑2004中选择欲播放的国学内容，国学机2001播放上述国学内容并在国学机2001的屏幕上同步显示上述国学内容的字幕，该字幕可以是多种类型字幕(例如，原文字幕、译文字幕、拼音字幕或者拼音声调字幕等)；或者，通过点击国学机2001的配套遥控器2002 上的按键，选择想要播放的国学内容，国学机2001语音播放上述国学内容并在国学机2001的屏幕上同步显示上述国学内容的字幕。
以下分别对本发明提供的一种多媒体数据处理方法进行详细说明。
请参见图2，图2是本发明实施例提供的一种多媒体数据处理方法的流程示意图，如图2所示，所述多媒体数据处理方法至少包括：
步骤S201，接收目标音频信息对应的字幕获取指令；
具体的，国学机可以监听当前是否存在目标音频信息对应的字幕获取指令，如果存在字幕获取指令，则接收该字幕获取指令。其中，音频信息可以是指存储在国学机中的存储器中的音/视频教学内容，即存储器中的音频信息至少包含目标音频信息；字幕是指以文字形式显示的音频信息等非影像的内容。字幕获取指令是指示国学机执行获取目标音频信息对应的字幕的命令。目标音频可以是国学机正在播放的音频也可以是用户点播的即将播放的音频。
步骤S202，根据所述字幕获取指令，获取与所述目标音频信息相匹配的字幕信息，其中所述字幕信息包括原文字信息与扩展文字信息；
具体的，根据获取到的字幕获取指令，在国学机的音频数据库中查找与目标音频相匹配的字幕信息，并获取该字幕信息，其中字幕信息可以包括原文字信息与扩展文字信息。由于国学机播放的语音内容为国学经典，扩展文字信息可以是与所述原文字信息相匹配的拼音信息、与所述原文字信息相匹配的译文信息、拼音信息的音调或者对原文字信息的讲解等。其中译文信息是对应原文字信息的翻译白话文，例如，目标音频信息是李白的静夜诗，字幕信息中的原文字是“床前明月光，疑是地上霜。举头望明月，低头思故乡。”，字幕信息中的扩展信息是与原文字信息匹配的译文信息，则对应静夜诗的译文信息是“直译明亮的月光洒在床前的窗户纸上，好像地上泛起了一层霜。我禁不住抬起头来，看那天窗外空中的一轮明月，不由得低头沉思，想起远方的家乡。韵译皎洁月光洒满床，恰似朦胧一片霜。仰首只见月一轮，低头教人倍思乡。”
步骤S203，当播放所述目标音频信息中的目标音频帧时，确定所述目标音频帧的音频时间戳，并在所述原文字信息中提取与所述音频时间戳对应的第一字符，并在所述扩展文字信息中提取与所述音频时间戳对应的第二字符；
具体的，每播放目标音频信息中的一个目标音频帧时，确定一个目标音频帧的音频时间戳，并在原文字信息中提取与音频时间戳对应的字符作为第一字符，在扩展文字信息中提取与音频时间戳对应的字符作为第二字符。单位音频帧是音频信息中的最小单位，音频信息中的一个发音对应一个单位音频帧，例如：音频信息为“曲项向天歌”，音频信息一个有5个单位音频帧，每一个发音为一帧。目标音频帧可以包括一个或一个以上的单位音频帧。当播放到目标音频帧“曲”，则可以根据曲的时间戳提取对应的第一字符“曲”和第二字符“qu”。可以理解的是，音频信息中包括语音信息和与语音信息对应的时间信息；字幕信息中还包括与原文字信息对应的时间信息和与扩展信息对应的时间信息。
进一步的，请参见图2f和图2g，图2f是本发明实施例提供的一种原文字信息与时间戳的示意图，图2g是本发明实施例提供的一种扩展文字信息与时间戳的示意图。字幕信息文件是以LRC(lyric，歌词文件的扩展名)等格式存储的，该字幕信息文件可以通过记事本或者其余的文字编辑软件打开并查阅，字幕信息文件可以包括原文字文件和扩展文字文件。图2f具体展示原文字文件的示意图，图2f中有7个目标音频帧的时间戳，每一个时间戳都对应一段原文字信息；图2g具体展示扩展文字文件的示意图，图2g中的7个目标音频帧的时间戳(与图2f中的7个目标音频帧的时间戳相同)都分别对应一段扩展文字信息，图2f 所示的扩展文件信息具体为译文扩展文字信息。若当前目标音频帧是“人之初，性本善。”，则通过查找字幕信息文件可以得到当前目标音频帧的时间戳为[00： 06：41]，在字幕信息文件中查找对应[00：06：41]的原文字信息是“人之初，性本善”；同时对应时间戳[00：06：41]的译文扩展文字信息是“人生下来的时候都是好的。”
步骤S204，在屏幕的第一区域显示所述第一字符，并在所述屏幕的第二区域显示所述第二字符。
具体的，当提取了原文信息中的第一字符与扩展信息中的第二字符，在屏幕的第一区域显示第一字符，同时在屏幕的第二区域显示第二字符，也就是说，每播放一个目标音频帧，国学机的屏幕上就显示与目标音频帧对应的字幕信息，其中字幕信息是两种及其以上类型的文字。第一区域和第二区域之间的关系可以上下关系，也可以左右关系。若是上下关系，则第一字符显示在屏幕中的一行，第二字符显示在屏幕中的下一行；若是左右关系，第一字符和第二字符均显示在屏幕中的同一行，第一字符在屏幕的左半边区域，第二字符在屏幕的右半边区域，本发明不做限定。例如，目标音频信息为“春风吹又生”，当前播放的目标音频帧为“春(chun)”，若扩展信息是与原文字信息匹配的拼音信息，则根据目标音频帧的时间戳，在原文字信息中提取的第一字符为“春”，在扩展文字信息中提取的第二字符为“chun”，当国学机播放目标音频帧时，在屏幕上同步显示第一字符“春”和第二字符“chun”。
可选的，若扩展信息中包含两种类型的扩展信息，例如，扩展信息中既有与原文字信息相匹配的拼音信息也有与原文字信息相匹配的译文信息，则在扩展信息中提取的第一种类型的扩展信息的字符作为第二字符，在扩展信息中提取的第二种类型的扩展信息的字符作为第三字符，并将第一字符同步显示在屏幕的第一区域，将第二字符同步显示在屏幕的第二区域，将第三字符同步显示在屏幕的第三区域。
可选的，以国学内容的句子为单位，显示字幕信息，当国学机开始播放国学内容时，在国学机的屏幕上就显示全部的字幕信息或显示正在播放的国学内容对应的那一句字幕信息；或者当国学内容播放完毕时，在国学机的屏幕上就显示全部的字幕信息或显示正在播放的国学内容对应的那一句字幕信息。例如，国学机播放李白的静夜诗，当语音开始播放“窗”的单位音频帧时，屏幕上直接显示“床前明月光，疑是地上霜。举头望明月，低头思故乡。”的原文字信息，同时显示“明亮的月光洒在床前的窗户纸上，好像地上泛起了一层霜。我禁不住抬起头来，看那天窗外空中的一轮明月，不由得低头沉思，想起远方的家乡。韵译皎洁月光洒满床，恰似朦胧一片霜。仰首只见月一轮，低头教人倍思乡”的译文扩展文字信息；或者，屏幕上显示“床前明月光”，同时显示“直译明亮的月光洒在床前的窗户纸上”的译文扩展文字信息。
进一步地，请参见图2a、图2b和图2c，图2a、图2b和图2c是本发明实施例提供的三种国学机的展示方式。图2a展示的是在国学机播放李白的静夜诗的时候，屏幕上显示“床前明月光，疑似”的原文字信息，同时屏幕上还显示“chuang qian ming yue guang，yi shi”和“月光洒在床前的窗户纸上，好像”对应于原文字信息的拼音扩展文字信息和译文扩展文字信息。图2b展示的是在国学机播放李白的静夜诗的时候，屏幕上显示“床前明月光，疑似”的原文字信息，同时屏幕上还显示“chuang qian ming yue guang，yi shi”对应于原文字信息的拼音扩展文字信息。图2c展示的是在国学机播放李白的静夜诗的时候，屏幕上显示“床前明月光，疑似”的原文字信息，同时屏幕上还显示“月光洒在床前的窗户纸上，好像”对应于原文字信息的译文扩展文字信息。
进一步地，请参见图2d和图2e，图2d和图2e是目标音频帧以句子为单位的国学机的展示方式。如图2d所示，当前的目标音频帧是“窗前明月光”，下一个目标音频帧时“疑是地上霜”，当国学机开始播放当前目标音频帧“窗前明月光”的第一帧“窗”时，屏幕上直接显示当前目标音频所对应的原文字信息“床前明月光”和对应的拼音扩展文字信息“chuangqian ming yue guang”。待当前目标音频帧播放完毕时，播放下一个目标音频帧“疑是地上霜”时，如图2e所示，屏幕上显示下一个目标音频帧对应的原文字信息“疑是地上霜”和对应的拼音扩展文字信息“yi shi di shang shuang”。
本发明实施例，通过接收目标音频信息对应的字幕获取指令，获取与所述目标音频信息相匹配的字幕信息，当播放所述目标音频信息中的目标音频帧时，确定所述目标音频帧的音频时间戳，并在所述字幕信息中的原文字信息中提取与所述音频时间戳对应的第一字符，并在所述字幕信息中的扩展文字信息中提取与所述音频时间戳对应的第二字符，最后在屏幕的第一区域显示所述第一字符，并在所述屏幕的第二区域显示所述第二字符。由于可以在屏幕上同步显示与音频信息相匹配的多种类型的字幕信息，用户不仅可以收听音频信息，也能观看与音频信息对应的字幕信息，增强用户对音频信息的理解，因此，利用在显示屏上同步显示多种类型的字幕，可丰富国学机的展示方式。
请参见图3，图3是本发明实施例提供的另一种多媒体数据处理方法的流程示意图，如图3所示，所述多媒体数据处理方法至少包括：
步骤S301，接收目标音频信息对应的字幕获取指令；
步骤S302，根据所述字幕获取指令，获取与所述目标音频信息相匹配的字幕信息，其中所述字幕信息包括原文字信息与扩展文字信息；
步骤S303，当播放所述目标音频信息中的目标音频帧时，确定所述目标音频帧的音频时间戳，并在所述原文字信息中提取与所述音频时间戳对应的第一字符，并在所述扩展文字信息中提取与所述音频时间戳对应的第二字符；
步骤S304，在屏幕的第一区域显示所述第一字符，并在所述屏幕的第二区域显示所述第二字符；
其中，步骤S301-步骤S304的具体实现方式可参见上述图1所对应实施例中对步骤S201-步骤S204的描述，这里将不再继续进行赘述。
步骤S305，若所述目标音频帧携带有暂停标识，且已播放完所述目标音频帧，则暂停播放所述目标音频信息，并通过收音器采集第一语音信息；
具体的，监测国学机中的目标音频帧是否携带有暂停标识，若目标音频帧携带有暂停标识，且已经播放完毕该目标音频帧，则暂停播放该目标音频信息中剩余的音频帧，开启国学机中的收音器或者麦克风功能采集用户输入的语音信息，也可以通过遥控器或者手机的收音器采集用户输入的语音信息并通过蓝牙或者WIFI将该语音发送至国学机，并将该语音信息作为第一语音信息。其中，暂停标识是停止播放目标音频信息的一个指示信号。
步骤S306，根据所述目标音频帧对所述第一语音信息进行发音测评，得到测评结果，并在所述屏幕的第三区域显示所述测评结果；
具体的，若第一语音信息已经采集完毕，国学机以目标音频帧中的发音为依据，对采集来的第一语音信息进行发音测评，该发音测评可以是评价第一语音信息与目标音频帧的声调一致性，也可以是评价第一语音信息的感情投入程度，本发明不做限定。根据发音测评得到测评结果，并将该测评结果显示在屏幕的第三区域，或者发送到用户的手机等终端设备上，可以实时查看该测评结果，测评结果可以是优良中三个等级。例如，在国学机屏幕的第三区域显示的测评结果为：“哇，小朋友念得完全正确，再接再厉哦”
步骤S307，若暂停播放所述目标音频信息的时长达到预设时长阈值，则继续对所述目标音频帧的下一个音频帧进行播放，并同步显示所述下一个音频帧对应的字幕信息。
具体的，若暂停播放目标音频信息的时长达到预设的时长阈值，国学机继续播放目标音频帧的下一个音频帧，并在国学机的显示屏上同步显示下一个音频帧对应的字幕信息。可以理解的是，预设的时长阈值已经提前设置在国学机内。例如，预设的时长阈值是5秒，当暂停播放目标音频信息时计时器开始计时，当计时到5秒时，继续播放目标音频帧的下一个音频帧并同步显示所述下一个音频帧对应的字幕信息。
可选的，步骤S305-步骤S306对采集的语音信息进行发音测评，可以是在步骤S304显示第一字符和第二字符之后，也就是屏幕显示字幕信息后再采集语音信息并对语音信息进行发音测评；也可以是在步骤S304显示第一字符和第二字符之前，也就是先采集语音信息并对语音信息进行发音测评后，屏幕才显示字幕信息。
本发明实施例，通过接收目标音频信息对应的字幕获取指令，获取与所述目标音频信息相匹配的字幕信息，当播放所述目标音频信息中的目标音频帧时，确定所述目标音频帧的音频时间戳，在所述字幕信息中的原文字信息中提取与所述音频时间戳对应的第一字符，并在所述字幕信息中的扩展文字信息中提取与所述音频时间戳对应的第二字符，最后在屏幕的第一区域显示所述第一字符，并在所述屏幕的第二区域显示所述第二字符，若目标音频帧携带有暂停标识，采集语音信息并对该语音信息进行发音测评。由于可以在屏幕上同步显示与音频信息相匹配的多种类型的字幕信息，用户不仅可以收听音频信息，也能观看与音频信息对应的字幕信息，还能反馈发音测评结果，增强用户对音频信息的理解，因此，利用在显示屏上同步显示多种类型的字幕，可丰富国学机的展示方式。
请参见图4，图4是本发明实施例提供的另一种多媒体数据处理方法的流程示意图，如图4所示，所述多媒体数据处理方法至少包括：
步骤S401，接收目标音频信息对应的字幕获取指令；
步骤S402，根据所述字幕获取指令，获取与所述目标音频信息相匹配的字幕信息，其中所述字幕信息包括原文字信息与扩展文字信息；
步骤S403，当播放所述目标音频信息中的目标音频帧时，确定所述目标音频帧的音频时间戳，并在所述原文字信息中提取与所述音频时间戳对应的第一字符，并在所述扩展文字信息中提取与所述音频时间戳对应的第二字符；
其中，步骤S401-步骤S403的具体实现方式可参见上述图1所对应实施例中对步骤S201-步骤S203的描述，这里将不再继续进行赘述。
步骤S404，若所述目标音频帧携带有暂停标识，且已播放完所述目标音频帧，则暂停播放所述目标音频信息，并通过收音器采集第二语音信息；
具体的，监测国学机中的目标音频帧是否携带有暂停标识，若目标音频帧携带有暂停标识，且已经播放完毕该目标音频帧，则暂停播放该目标音频信息中剩余的音频帧，开启国学机中的收音器或者麦克风功能采集用户输入的语音信息，也可以通过遥控器或者手机的收音器采集用户输入的语音信息并通过蓝牙或者WIFI将该语音发送至国学机，并将该语音信息作为第二语音信息。其中，暂停标识是停止播放目标音频信息的一个指示信号。
步骤S405，确定所述第二语音信息与所述目标音频帧之间的相似度；
具体的，根据采集用户输入的第二语音信息，将第二语音信息与目标音频帧做相似性比较，相似性比较的方法可以是根据声音的频率波形图，也就是根据第二语音信息生成第一频率波形图，根据目标音频帧生成第二频率波形图，比较两个波形图的相似性，或者两个波形图各自波峰和波谷的差值。相似性比较的方法也可以是利用傅里叶变换或者卷积神经网络提取第二语音信息和目标音频帧的特征，使用距离度量的方式比较两个提取的特征之间的相似度，距离度量的方式可以是欧式距离度量、马氏距离度量或者汉明距离度量。
步骤S406，判断所述相似度是否大于预设数值阈值；
具体的，根据确定的第二语音信息与目标音频帧之间的相似度，判断相似度是否大于预设的数值阈值，若相似度大于预设的数值阈值，执行步骤S407；若相似度小于或者等于预设的数值阈值，执行步骤S404，提示用户再次输入语音信息，并再次采集输入的语音信息。例如，预设的数值阈值是0.8，确定的第二语音信息与目标音频帧之间的相似度为0.6，相似度小于预设的数值阈值，则执行步骤S404，提示用户再次输入语音信息，并再次采集输入的语音信息。
步骤S407，在屏幕的第一区域显示所述第一字符，并在所述屏幕的第二区域显示所述第二字符。
其中，步骤S407的具体实现方式可参见上述图1所对应实施例中对步骤 S204的描述，这里将不再继续进行赘述。
本发明实施例，通过接收目标音频信息对应的字幕获取指令，获取与所述目标音频信息相匹配的字幕信息，当播放所述目标音频信息中的目标音频帧时，确定所述目标音频帧的音频时间戳，并在所述字幕信息中的原文字信息中提取与所述音频时间戳对应的第一字符，并在所述字幕信息中的扩展文字信息中提取与所述音频时间戳对应的第二字符，最后在屏幕的第一区域显示所述第一字符，并在所述屏幕的第二区域显示所述第二字符。由于可以在屏幕上同步显示与音频信息相匹配的多种类型的字幕信息，用户不仅可以收听音频信息，也能观看与音频信息对应的字幕信息，增强用户对音频信息的理解，因此，利用在显示屏上同步显示多种类型的字幕，可丰富国学机的展示方式。
请参见图5，图5是本发明实施例提供的另一种多媒体数据处理方法的流程示意图，如图5所示，所述多媒体数据处理方法至少包括：
步骤S501，通过收音器采集第三语音信息；
具体的，启动国学机收音器或者麦克风采集用户输入的语音信息，也可以通过遥控器或者手机的收音器采集用户输入的语音信息并通过蓝牙或者NFC将该语音发送至国学机，并将该语音信息作为第三语音信息，若采集到的用户输入的语音信息的清晰度小于清晰度阈值，则提示用户重新输入语音信息，直至输入的语音信息的清晰度大于或者等于清晰度阈值。
步骤S502，若音频数据库中存在与所述第三语音信息的文字内容相匹配的音频信息，则确定所匹配的音频信息为所述目标音频信息，并生成所述目标音频信息对应的字幕获取指令；
具体的，在国学机的音频数据库中查找与采集的第三语音信息的文字内容相匹配的音频信息，若在音频数据库中存在相匹配的音频信息，则确定查找到的音频信息为目标音频信息，并生成与确定的目标音频信息对应的字幕获取指令，用于后续的获取与目标音频信息相匹配的字幕。若在音频数据库中没有查找到相匹配的音频信息，屏幕上显示查找失败的提示消息，并上传至服务器提交反馈消息，用于后续的音频数据库更新。例如，用户输入的语音信息为“春眠不觉晓，处处闻啼鸟。夜来风雨声，花落知多少。”，在音频数据库中查找与输入的语音信息相匹配的音频信息为古诗“春晓”，确定“春晓”为目标音频信息，并生成古诗“春晓”的字幕获取指令。
可选的，获取用户通过点击遥控器选择的音频信息，将该音频信息确定为目标音频信息并生成与目标音频信息对应的字幕获取指令，用于后续的获取与目标音频信息相匹配的字幕，其中音频信息和遥控器按钮之间的对应关系可以通过查找国学机目录找到。例如，遥控器上的按钮1代表国学“三字经”，按钮2代表国学“诗经”，按钮3代表“论语”，当用户点击按钮1后，确定目标音频信息为“三字经”，并生成“三字经”的字幕获取指令。
步骤S503，接收目标音频信息对应的字幕获取指令；
步骤S504，根据所述字幕获取指令，获取与所述目标音频信息相匹配的字幕信息，其中所述字幕信息包括原文字信息与扩展文字信息；
步骤S505，当播放所述目标音频信息中的目标音频帧时，确定所述目标音频帧的音频时间戳，并在所述原文字信息中提取与所述音频时间戳对应的第一字符，并在所述扩展文字信息中提取与所述音频时间戳对应的第二字符；
步骤S506，在屏幕的第一区域显示所述第一字符，并在所述屏幕的第二区域显示所述第二字符。
其中，步骤S503-步骤S506的具体实现方式可参见上述图1所对应实施例中对步骤S201-S204的描述，这里将不再继续进行赘述。
本发明实施例，通过采集输入的语音，在音频数据库中查找与该语音匹配的音频信息作为目标音频信息并生成字幕获取获取指令，接收目标音频信息对应的字幕获取指令，获取与所述目标音频信息相匹配的字幕信息，当播放所述目标音频信息中的目标音频帧时，确定所述目标音频帧的音频时间戳，并在所述字幕信息中的原文字信息中提取与所述音频时间戳对应的第一字符，并在所述字幕信息中的扩展文字信息中提取与所述音频时间戳对应的第二字符，最后在屏幕的第一区域显示所述第一字符，并在所述屏幕的第二区域显示所述第二字符。由于可以在屏幕上同步显示与音频信息相匹配的多种类型的字幕信息，用户不仅可以收听音频信息，也能观看与音频信息对应的字幕信息，增强用户对音频信息的理解，因此，利用在显示屏上同步显示多种类型的字幕，可丰富国学机的展示方式。
请参见图6，图6是本发明实施例提供的另一种多媒体数据处理方法的流程示意图，如图6所示，所述多媒体数据处理方法至少包括：
步骤S601，通过扫描获取条码信息；
具体的，国学机通过摄像头扫描与音频信息对应的配套教材中的条形码或者二维码，获取条码信息；或者手机等终端设备通过摄像头扫描与音频信息对应的配套教材中的条形码或者二维码，再使用终端设备中的蓝牙或者WIFI和国学机建立通信连接，将获取的条码信息发送给国学机。
步骤S602，若音频数据库中存在与所述条码信息对应的文字内容相匹配的音频信息，则确定所匹配的音频信息为所述目标音频信息，并生成所述目标音频信息对应的字幕获取指令；
具体的，在国学机的音频数据库中查找与扫描获取的条码信息对应的文字内容相匹配的音频信息，若在音频数据库中存在相匹配的音频信息，则确定查找到的音频信息为目标音频信息，并生成与目标音频信息对应的字幕获取指令，用于后续的获取与目标音频信息相匹配的字幕。若在音频数据库中没有查找到相匹配的音频信息，屏幕上显示查找失败的提示消息，并上传至服务器提交反馈消息，用于后续的音频数据库更新。
步骤S603，接收目标音频信息对应的字幕获取指令；
步骤S604，根据所述字幕获取指令，获取与所述目标音频信息相匹配的字幕信息，其中所述字幕信息包括原文字信息与扩展文字信息；
步骤S605，当播放所述目标音频信息中的目标音频帧时，确定所述目标音频帧的音频时间戳，并在所述原文字信息中提取与所述音频时间戳对应的第一字符，并在所述扩展文字信息中提取与所述音频时间戳对应的第二字符；
步骤S606，在屏幕的第一区域显示所述第一字符，并在所述屏幕的第二区域显示所述第二字符。
其中，步骤S603-步骤S606的具体实现方式可参见上述图1所对应实施例中对步骤S201-S204的描述，这里将不再继续进行赘述。
本发明实施例，通过扫描条码信息，在音频数据库中查找与该条码信息匹配的音频信息作为目标音频信息并生成字幕获取指令，接收目标音频信息对应的字幕获取指令，获取与所述目标音频信息相匹配的字幕信息，当播放所述目标音频信息中的目标音频帧时，确定所述目标音频帧的音频时间戳，并在所述字幕信息中的原文字信息中提取与所述音频时间戳对应的第一字符，并在所述字幕信息中的扩展文字信息中提取与所述音频时间戳对应的第二字符，最后在屏幕的第一区域显示所述第一字符，并在所述屏幕的第二区域显示所述第二字符。由于可以在屏幕上同步显示与音频信息相匹配的多种类型的字幕信息，用户不仅可以收听音频信息，也能观看与音频信息对应的字幕信息，增强用户对音频信息的理解，因此，利用在显示屏上同步显示多种类型的字幕，可丰富国学机的展示方式。
请参见图7，图7是本发明实施例提供的另一种多媒体数据处理方法的流程示意图，如图7所示，所述多媒体数据处理方法至少包括：
步骤S701，通过收音器采集第四语音信息，并识别所述第四语音信息中的关键字；
具体的，启动国学机收音器或者麦克风功能，采集用户输入的语音信息，或者也可以通过遥控器或者手机的收音器采集用户输入的语音信息并通过WIFI 或者NFC将该语音发送至国学机，并将该语音信息作为第四语音信息，并使用关键字提取算法提取出第四语音信息中的关键字，其中关键字提取算法可以是TF-IDF(Term Frequency-InverseDocument Frequency，词频-逆文件频率)算法，或者是主题模型(topic-model)算法。例如，采集到的用户输入的语音信息为“播放李白的朝发白帝城”，通过关键字提取算法，提取的关键字为“李白”和“朝发白帝城”。
步骤S702，在音频数据库中搜索与所述关键字相匹配的音频信息，并确定所匹配的音频信息为所述目标音频信息，并生成所述目标音频信息对应的字幕获取指令；
具体的，在国学机的音频数据库中查找与提取的关键字相匹配的音频信息，若在音频数据库中存在相匹配的音频信息，则确定查找到的音频信息为目标音频信息，并生成与目标音频信息对应的字幕获取指令，用于后续的获取与目标音频信息相匹配的字幕。若在音频数据库中没有查找到相匹配的音频信息，屏幕上显示查找失败的提示消息，并上传至服务器提交反馈消息，用于后续的音频数据库更新。
步骤S703，接收目标音频信息对应的字幕获取指令；
步骤S704，根据所述字幕获取指令，获取与所述目标音频信息相匹配的字幕信息，其中所述字幕信息包括原文字信息与扩展文字信息；
步骤S705，当播放所述目标音频信息中的目标音频帧时，确定所述目标音频帧的音频时间戳，并在所述原文字信息中提取与所述音频时间戳对应的第一字符，并在所述扩展文字信息中提取与所述音频时间戳对应的第二字符；
步骤S706，在屏幕的第一区域显示所述第一字符，并在所述屏幕的第二区域显示所述第二字符。
其中，步骤S703-步骤S706的具体实现方式可参见上述图1所对应实施例中对步骤S201-S204的描述，这里将不再继续进行赘述。
本发明实施例，通过采集输入的语音并提取语音中的关键字，在音频数据库中查找与该关键字匹配的音频信息作为目标音频信息并生成字幕获取获取指令，接收目标音频信息对应的字幕获取指令，获取与所述目标音频信息相匹配的字幕信息，当播放所述目标音频信息中的目标音频帧时，确定所述目标音频帧的音频时间戳，并在所述字幕信息中的原文字信息中提取与所述音频时间戳对应的第一字符，并在所述字幕信息中的扩展文字信息中提取与所述音频时间戳对应的第二字符，最后在屏幕的第一区域显示所述第一字符，并在所述屏幕的第二区域显示所述第二字符。由于可以在屏幕上同步显示与音频信息相匹配的多种类型的字幕信息，用户不仅可以收听音频信息，也能观看与音频信息对应的字幕信息，增强用户对音频信息的理解，因此，利用在显示屏上同步显示多种类型的字幕，可丰富国学机的展示方式。
进一步地，请参见图8，是本发明实施例提供的一种多媒体数据处理装置的结构示意图。如图8所示，所述多媒体数据处理装置1可应用于上述图1所对应实施例中的国学机，所述多媒体数据处理装置1至少包括：接收单元10，获取单元20，提取单元30，显示单元40，
接收单元10，用于接收目标音频信息对应的字幕获取指令；
获取单元20，用于根据所述字幕获取指令，获取与所述目标音频信息相匹配的字幕信息，其中所述字幕信息包括原文字信息与扩展文字信息；
提取单元30，用于当播放所述目标音频信息中的目标音频帧时，确定所述目标音频帧的音频时间戳，并在所述原文字信息中提取与所述音频时间戳对应的第一字符，并在所述扩展文字信息中提取与所述音频时间戳对应的第二字符；
显示单元40，用于在屏幕的第一区域显示所述第一字符，并在所述屏幕的第二区域显示所述第二字符。
其中，接收单元10，获取单元20，提取单元30，显示单元40的具体实现方式可参见上述图2所对应实施例中对步骤S201-步骤S204的描述，这里将不再继续进行赘述。
本发明实施例，通过接收目标音频信息对应的字幕获取指令，获取与所述目标音频信息相匹配的字幕信息，当播放所述目标音频信息中的目标音频帧时，确定所述目标音频帧的音频时间戳，并在所述字幕信息中的原文字信息中提取与所述音频时间戳对应的第一字符，并在所述字幕信息中的扩展文字信息中提取与所述音频时间戳对应的第二字符，最后在屏幕的第一区域显示所述第一字符，并在所述屏幕的第二区域显示所述第二字符。由于可以在屏幕上同步显示与音频信息相匹配的多种类型的字幕信息，用户不仅可以收听音频信息，也能观看与音频信息对应的字幕信息，增强用户对音频信息的理解，因此，利用在显示屏上同步显示多种类型的字幕，可丰富国学机的展示方式。
进一步地，请参见图9，是本发明实施例提供的另一种多媒体数据处理装置的结构示意图。如图9所示，所述多媒体数据处理装置1可应用于上述图1所对应实施例中的国学机，所述多媒体数据处理装置1可以包含上述图8所对应实施例中的接收单元10，获取单元20，提取单元30，显示单元40；进一步的，所述多媒体数据处理装置1还可以包括：采集单元50，测评单元60，播放单元 70，第一确定单元80，通知单元90，第二确定单元100，第三确定单元110，识别单元120，第四确定单元130，
采集单元50，用于若所述目标音频帧携带有暂停标识，且已播放完所述目标音频帧，则暂停播放所述目标音频信息，并通过收音器采集第一语音信息；
所述采集单元50，还用于若所述目标音频帧携带有暂停标识，且已播放完所述目标音频帧，则暂停播放所述目标音频信息，并通过收音器采集第二语音信息；
所述采集单元50，还用于通过收音器采集第三语音信息；
所述采集单元50，还用于通过扫描采集条码信息；
测评单元60，用于根据所述目标音频帧对所述第一语音信息进行发音测评，得到测评结果，并在所述屏幕的第三区域显示所述测评结果。
播放单元70，用于若暂停播放所述目标音频信息的时长达到预设时长阈值，则继续对所述目标音频帧的下一个音频帧进行播放，并同步显示所述下一个音频帧对应的字幕信息。
第一确定单元80，用于确定所述第二语音信息与所述目标音频帧之间的相似度；
通知单元90，用于若所述相似度大于预设数值阈值，则通知所述显示单元执行所述在屏幕的第一区域显示所述第一字符，并在所述屏幕的第二区域显示所述第二字符的步骤。
第二确定单元100，用于若音频数据库中存在与所述第三语音信息的文字内容相匹配的音频信息，则确定所匹配的音频信息为所述目标音频信息，并生成所述目标音频信息对应的字幕获取指令。
第三确定单元110，用于若音频数据库中存在与所述条码信息对应的文字内容相匹配的音频信息，则确定所匹配的音频信息为所述目标音频信息，并生成所述目标音频信息对应的字幕获取指令。
识别单元120，用于通过收音器采集第四语音信息，并识别所述第四语音信息中的关键字；
第四确定单元130，用于在音频数据库中搜索与所述关键字相匹配的音频信息，并确定所匹配的音频信息为所述目标音频信息，并生成所述目标音频信息对应的字幕获取指令。
其中，采集单元50，测评单元60，播放单元70，第一确定单元80，通知单元90，第二确定单元100，第三确定单元110，识别单元120，第四确定单元130的具体实现方式可参见上述图3所对应实施例中对步骤S305-步骤S307的描述，上述图4所对应实施例中对步骤S405-步骤S406的描述，上述图5所对应实施例中对步骤S501步骤S502的描述，上述图6所对应实施例中对步骤S601- 步骤S602的描述，上述图7所对应实施例中对步骤S701-步骤S702的描述，这里将不再继续进行赘述。
本发明实施例，通过接收目标音频信息对应的字幕获取指令，获取与所述目标音频信息相匹配的字幕信息，当播放所述目标音频信息中的目标音频帧时，确定所述目标音频帧的音频时间戳，并在所述字幕信息中的原文字信息中提取与所述音频时间戳对应的第一字符，并在所述字幕信息中的扩展文字信息中提取与所述音频时间戳对应的第二字符，最后在屏幕的第一区域显示所述第一字符，并在所述屏幕的第二区域显示所述第二字符。由于可以在屏幕上同步显示与音频信息相匹配的多种类型的字幕信息，用户不仅可以收听音频信息，也能观看与音频信息对应的字幕信息，增强用户对音频信息的理解，因此，利用在显示屏上同步显示多种类型的字幕，可丰富国学机的展示方式。
进一步地，请参见图10，是本发明实施例提供的一种电子设备的结构示意图。如图10所示，所述电子设备1000可以为上述图1所对应实施例中的国学机，所述电子设备1000可以包括：处理器1002和存储器1005，进一步地，所述电子设备1000还可以包括：至少一个网络接口1004、用户接口1003和通信总线1001。其中，通信总线1001用于实现这些组件之间的连接通信。存储器 1005可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatilememory)，例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个位于远离前述处理器1002的存储装置。如图10所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。其中，用户接口1003可以包括显示屏(Display)、键盘(Keyboard)，可选的，用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004 可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
在图10所示的电子设备1000中，用户接口1003主要用于为用户提供输入的接口，获取用户输出的数据；而处理器1002可以用于调用存储器1005中存储的设备控制应用程序，以实现：
接收目标音频信息对应的字幕获取指令；
根据所述字幕获取指令，获取与所述目标音频信息相匹配的字幕信息，其中所述字幕信息包括原文字信息与扩展文字信息；
当播放所述目标音频信息中的目标音频帧时，确定所述目标音频帧的音频时间戳，并在所述原文字信息中提取与所述音频时间戳对应的第一字符，并在所述扩展文字信息中提取与所述音频时间戳对应的第二字符；
在屏幕的第一区域显示所述第一字符，并在所述屏幕的第二区域显示所述第二字符。
在一个实施例中，还执行以下步骤：
若所述目标音频帧携带有暂停标识，且已播放完所述目标音频帧，则暂停播放所述目标音频信息，并通过收音器采集第一语音信息；
根据所述目标音频帧对所述第一语音信息进行发音测评，得到测评结果，并在所述屏幕的第三区域显示所述测评结果。
在一个实施例中，还执行以下步骤：
若暂停播放所述目标音频信息的时长达到预设时长阈值，则继续对所述目标音频帧的下一个音频帧进行播放，并同步显示所述下一个音频帧对应的字幕信息。
在一个实施例中，所述在屏幕的第一区域显示所述第一字符，并在所述屏幕的第二区域显示所述第二字符之前，还执行以下步骤：
若所述目标音频帧携带有暂停标识，且已播放完所述目标音频帧，则暂停播放所述目标音频信息，并通过收音器采集第二语音信息；
确定所述第二语音信息与所述目标音频帧之间的相似度；
若所述相似度大于预设数值阈值，则执行所述在屏幕的第一区域显示所述第一字符，并在所述屏幕的第二区域显示所述第二字符的步骤。
在一个实施例中，所述接收目标音频信息对应的字幕获取指令之前，还执行以下步骤：
通过收音器采集第三语音信息；
若音频数据库中存在与所述第三语音信息的文字内容相匹配的音频信息，则确定所匹配的音频信息为所述目标音频信息，并生成所述目标音频信息对应的字幕获取指令。
在一个实施例中，所述接收目标音频信息对应的字幕获取指令之前，还执行以下步骤：
通过扫描获取条码信息；
若音频数据库中存在与所述条码信息对应的文字内容相匹配的音频信息，则确定所匹配的音频信息为所述目标音频信息，并生成所述目标音频信息对应的字幕获取指令。
在一个实施例中，所述接收目标音频信息对应的字幕获取指令之前，还执行以下步骤：
通过收音器采集第四语音信息，并识别所述第四语音信息中的关键字；
在音频数据库中搜索与所述关键字相匹配的音频信息，并确定所匹配的音频信息为所述目标音频信息，并生成所述目标音频信息对应的字幕获取指令。
本发明实施例，通过接收目标音频信息对应的字幕获取指令，获取与所述目标音频信息相匹配的字幕信息，当播放所述目标音频信息中的目标音频帧时，确定所述目标音频帧的音频时间戳，并在所述字幕信息中的原文字信息中提取与所述音频时间戳对应的第一字符，并在所述字幕信息中的扩展文字信息中提取与所述音频时间戳对应的第二字符，最后在屏幕的第一区域显示所述第一字符，并在所述屏幕的第二区域显示所述第二字符。由于可以在屏幕上同步显示与音频信息相匹配的多种类型的字幕信息，用户不仅可以收听音频信息，也能观看与音频信息对应的字幕信息，增强用户对音频信息的理解，因此，利用在显示屏上同步显示多种类型的字幕，可丰富国学机的展示方式。
此外，这里需要指出的是：本发明实施例还提供了一种计算机存储介质，且所述计算机存储介质中存储有前文提及的多媒体数据处理装置1所执行的计算机程序，且所述计算机程序包括程序指令，当所述处理器执行所述程序指令时，能够执行前文图2所对应实施例中对所述多媒体数据处理方法的描述，因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本发明所涉及的计算机存储介质实施例中未披露的技术细节，请参照本发明方法实施例的描述。
在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory；以下简称：ROM)、随机存取存储器(Random Access Memory；以下简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (18)

1.一种多媒体数据处理方法，其特征在于，包括：
接收目标音频信息对应的字幕获取指令；
根据所述字幕获取指令，获取与所述目标音频信息相匹配的字幕信息，其中所述字幕信息包括原文字信息与扩展文字信息；
当播放所述目标音频信息中的目标音频帧时，确定所述目标音频帧的音频时间戳，并在所述原文字信息中提取与所述音频时间戳对应的第一字符，并在所述扩展文字信息中提取与所述音频时间戳对应的第二字符；
在屏幕的第一区域显示所述第一字符，并在所述屏幕的第二区域显示所述第二字符。
2.根据权利要求1所述的方法，其特征在于，所述扩展文字信息，包括：与所述原文字信息相匹配的拼音信息和/或与所述原文字信息相匹配的译文信息。
3.根据权利要求1所述的方法，其特征在于，还包括：
若所述目标音频帧携带有暂停标识，且已播放完所述目标音频帧，则暂停播放所述目标音频信息，并通过收音器采集第一语音信息；
根据所述目标音频帧对所述第一语音信息进行发音测评，得到测评结果，并在所述屏幕的第三区域显示所述测评结果。
4.根据权利要求3所述的方法，其特征在于，还包括：
若暂停播放所述目标音频信息的时长达到预设时长阈值，则继续对所述目标音频帧的下一个音频帧进行播放，并同步显示所述下一个音频帧对应的字幕信息。
5.根据权利要求1所述的方法，其特征在于，所述在屏幕的第一区域显示所述第一字符，并在所述屏幕的第二区域显示所述第二字符之前，还包括：
若所述目标音频帧携带有暂停标识，且已播放完所述目标音频帧，则暂停播放所述目标音频信息，并通过收音器采集第二语音信息；
确定所述第二语音信息与所述目标音频帧之间的相似度；
若所述相似度大于预设数值阈值，则执行所述在屏幕的第一区域显示所述第一字符，并在所述屏幕的第二区域显示所述第二字符的步骤。
6.根据权利要求1所述的方法，其特征在于，所述接收目标音频信息对应的字幕获取指令之前，还包括：
通过收音器采集第三语音信息；
若音频数据库中存在与所述第三语音信息的文字内容相匹配的音频信息，则确定所匹配的音频信息为所述目标音频信息，并生成所述目标音频信息对应的字幕获取指令。
7.根据权利要求1所述的方法，其特征在于，所述接收目标音频信息对应的字幕获取指令之前，还包括：
通过扫描获取条码信息；
若音频数据库中存在与所述条码信息对应的文字内容相匹配的音频信息，则确定所匹配的音频信息为所述目标音频信息，并生成所述目标音频信息对应的字幕获取指令。
8.根据权利要求1所述的方法，其特征在于，所述接收目标音频信息对应的字幕获取指令之前，还包括：
通过收音器采集第四语音信息，并识别所述第四语音信息中的关键字；
在音频数据库中搜索与所述关键字相匹配的音频信息，并确定所匹配的音频信息为所述目标音频信息，并生成所述目标音频信息对应的字幕获取指令。
9.一种多媒体数据处理装置，其特征在于，包括：
接收单元，用于接收目标音频信息对应的字幕获取指令；
获取单元，用于根据所述字幕获取指令，获取与所述目标音频信息相匹配的字幕信息，其中所述字幕信息包括原文字信息与扩展文字信息；
提取单元，用于当播放所述目标音频信息中的目标音频帧时，确定所述目标音频帧的音频时间戳，并在所述原文字信息中提取与所述音频时间戳对应的第一字符，并在所述扩展文字信息中提取与所述音频时间戳对应的第二字符；
显示单元，用于在屏幕的第一区域显示所述第一字符，并在所述屏幕的第二区域显示所述第二字符。
10.根据权利要求9所述的装置，其特征在于，所述扩展文字信息，包括：与所述原文字信息相匹配的拼音信息和/或与所述原文字信息相匹配的译文信息。
11.根据权利要求9所述的装置，其特征在于，还包括：
采集单元，用于若所述目标音频帧携带有暂停标识，且已播放完所述目标音频帧，则暂停播放所述目标音频信息，并通过收音器采集第一语音信息；
测评单元，用于根据所述目标音频帧对所述第一语音信息进行发音测评，得到测评结果，并在所述屏幕的第三区域显示所述测评结果。
12.根据权利要求11所述的装置，其特征在于，还包括：
播放单元，用于若暂停播放所述目标音频信息的时长达到预设时长阈值，则继续对所述目标音频帧的下一个音频帧进行播放，并同步显示所述下一个音频帧对应的字幕信息。
13.根据权利要求9所述的装置，其特征在于，还包括：
所述采集单元，还用于若所述目标音频帧携带有暂停标识，且已播放完所述目标音频帧，则暂停播放所述目标音频信息，并通过收音器采集第二语音信息；
第一确定单元，用于确定所述第二语音信息与所述目标音频帧之间的相似度；
通知单元，用于若所述相似度大于预设数值阈值，则通知所述显示单元执行所述在屏幕的第一区域显示所述第一字符，并在所述屏幕的第二区域显示所述第二字符的步骤。
14.根据权利要求9所述的装置，其特征在于，还包括：
所述采集单元，还用于通过收音器采集第三语音信息；
第二确定单元，用于若音频数据库中存在与所述第三语音信息的文字内容相匹配的音频信息，则确定所匹配的音频信息为所述目标音频信息，并生成所述目标音频信息对应的字幕获取指令。
15.根据权利要求9所述的装置，其特征在于，还包括：
所述采集单元，还用于通过扫描采集条码信息；
第三确定单元，用于若音频数据库中存在与所述条码信息对应的文字内容相匹配的音频信息，则确定所匹配的音频信息为所述目标音频信息，并生成所述目标音频信息对应的字幕获取指令。
16.根据权利要求9所述的装置，其特征在于，还包括：
识别单元，用于通过收音器采集第四语音信息，并识别所述第四语音信息中的关键字；
第四确定单元，用于在音频数据库中搜索与所述关键字相匹配的音频信息，并确定所匹配的音频信息为所述目标音频信息，并生成所述目标音频信息对应的字幕获取指令。
17.一种电子设备，其特征在于，包括：处理器和存储器，所述处理器和存储器相连，其中，所述存储器用于存储程序代码，所述处理器被配置用于调用所述程序代码，执行如权利要求1-8任一项所述的方法。
18.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，当所述处理器执行所述程序指令时执行如权利要求1-8任一项所述的方法。
CN201710948457.9A 2017-10-12 2017-10-12 一种多媒体数据处理方法、装置、电子设备以及存储介质 Active CN107864410B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710948457.9A CN107864410B (zh) 2017-10-12 2017-10-12 一种多媒体数据处理方法、装置、电子设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710948457.9A CN107864410B (zh) 2017-10-12 2017-10-12 一种多媒体数据处理方法、装置、电子设备以及存储介质

Publications (2)

Publication Number Publication Date
CN107864410A true CN107864410A (zh) 2018-03-30
CN107864410B CN107864410B (zh) 2023-08-25

Family

ID=61698313

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710948457.9A Active CN107864410B (zh) 2017-10-12 2017-10-12 一种多媒体数据处理方法、装置、电子设备以及存储介质

Country Status (1)

Country Link
CN (1) CN107864410B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108763182A (zh) * 2018-05-25 2018-11-06 腾讯音乐娱乐科技（深圳）有限公司 渲染歌词的方法和装置
CN109726300A (zh) * 2018-12-29 2019-05-07 北京金山安全软件有限公司 一种多媒体数据处理方法及装置
CN110427930A (zh) * 2019-07-29 2019-11-08 中国工商银行股份有限公司 多媒体数据处理方法及装置、电子设备和可读存储介质
CN111836112A (zh) * 2020-06-28 2020-10-27 腾讯科技（深圳）有限公司 多媒体文件的输出方法、装置、介质及电子设备
CN112382282A (zh) * 2020-11-06 2021-02-19 北京五八信息技术有限公司 一种语音去噪处理方法、装置、电子设备及存储介质
CN113345439A (zh) * 2021-05-28 2021-09-03 北京达佳互联信息技术有限公司 字幕生成方法、装置、电子设备和存储介质
WO2022068533A1 (zh) * 2020-09-29 2022-04-07 北京字跳网络技术有限公司 互动信息处理方法、装置、设备及介质
CN116233540A (zh) * 2023-03-10 2023-06-06 北京富通亚讯网络信息技术有限公司 基于视频图像识别的并行信号处理方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1348588A (zh) * 1999-01-08 2002-05-08 易学软体技术股份有限公司 具有字幕显示功能的字幕mp3播放器、字幕mp3数据格式以及再现字幕mp3数据的方法
US20080293443A1 (en) * 2004-03-19 2008-11-27 Media Captioning Services Live media subscription framework for mobile devices
CN104795082A (zh) * 2015-03-26 2015-07-22 广州酷狗计算机科技有限公司 音频字幕显示方法、装置及播放器
US20160133251A1 (en) * 2013-05-31 2016-05-12 Longsand Limited Processing of audio data
CN106297841A (zh) * 2016-07-29 2017-01-04 广东小天才科技有限公司 一种音频跟读引导方法及装置
CN206039917U (zh) * 2016-07-06 2017-03-22 林銮 一种国学机
CN106548785A (zh) * 2015-09-17 2017-03-29 中兴通讯股份有限公司 一种语音处理方法及装置、终端设备
CN206179268U (zh) * 2016-08-30 2017-05-17 林銮 一种国学机
CN106792071A (zh) * 2016-12-19 2017-05-31 北京小米移动软件有限公司 字幕处理方法及装置
CN106920544A (zh) * 2017-03-17 2017-07-04 深圳市唯特视科技有限公司 一种基于深度神经网络特征训练的语音识别方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1348588A (zh) * 1999-01-08 2002-05-08 易学软体技术股份有限公司 具有字幕显示功能的字幕mp3播放器、字幕mp3数据格式以及再现字幕mp3数据的方法
US20080293443A1 (en) * 2004-03-19 2008-11-27 Media Captioning Services Live media subscription framework for mobile devices
US20160133251A1 (en) * 2013-05-31 2016-05-12 Longsand Limited Processing of audio data
CN104795082A (zh) * 2015-03-26 2015-07-22 广州酷狗计算机科技有限公司 音频字幕显示方法、装置及播放器
CN106548785A (zh) * 2015-09-17 2017-03-29 中兴通讯股份有限公司 一种语音处理方法及装置、终端设备
CN206039917U (zh) * 2016-07-06 2017-03-22 林銮 一种国学机
CN106297841A (zh) * 2016-07-29 2017-01-04 广东小天才科技有限公司 一种音频跟读引导方法及装置
CN206179268U (zh) * 2016-08-30 2017-05-17 林銮 一种国学机
CN106792071A (zh) * 2016-12-19 2017-05-31 北京小米移动软件有限公司 字幕处理方法及装置
CN106920544A (zh) * 2017-03-17 2017-07-04 深圳市唯特视科技有限公司 一种基于深度神经网络特征训练的语音识别方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108763182A (zh) * 2018-05-25 2018-11-06 腾讯音乐娱乐科技（深圳）有限公司 渲染歌词的方法和装置
US11604919B2 (en) 2018-05-25 2023-03-14 Tencent Music Entertainment Technology [Shenzhen] Co., Ltd. Method and apparatus for rendering lyrics
CN109726300A (zh) * 2018-12-29 2019-05-07 北京金山安全软件有限公司 一种多媒体数据处理方法及装置
CN110427930A (zh) * 2019-07-29 2019-11-08 中国工商银行股份有限公司 多媒体数据处理方法及装置、电子设备和可读存储介质
CN111836112B (zh) * 2020-06-28 2022-01-25 腾讯科技（深圳）有限公司 多媒体文件的输出方法、装置、介质及电子设备
CN111836112A (zh) * 2020-06-28 2020-10-27 腾讯科技（深圳）有限公司 多媒体文件的输出方法、装置、介质及电子设备
WO2022068533A1 (zh) * 2020-09-29 2022-04-07 北京字跳网络技术有限公司 互动信息处理方法、装置、设备及介质
US11917344B2 (en) 2020-09-29 2024-02-27 Beijing Zitiao Network Technology Co., Ltd. Interactive information processing method, device and medium
CN112382282A (zh) * 2020-11-06 2021-02-19 北京五八信息技术有限公司 一种语音去噪处理方法、装置、电子设备及存储介质
CN113345439A (zh) * 2021-05-28 2021-09-03 北京达佳互联信息技术有限公司 字幕生成方法、装置、电子设备和存储介质
CN113345439B (zh) * 2021-05-28 2024-04-30 北京达佳互联信息技术有限公司 字幕生成方法、装置、电子设备和存储介质
CN116233540A (zh) * 2023-03-10 2023-06-06 北京富通亚讯网络信息技术有限公司 基于视频图像识别的并行信号处理方法及系统
CN116233540B (zh) * 2023-03-10 2024-04-02 北京富通亚讯网络信息技术有限公司 基于视频图像识别的并行信号处理方法及系统

Also Published As

Publication number Publication date
CN107864410B (zh) 2023-08-25

Similar Documents

Publication Publication Date Title
CN107864410A (zh) 一种多媒体数据处理方法、装置、电子设备以及存储介质
CN106920547A (zh) 语音转换方法和装置
CN106021496A (zh) 视频搜索方法及视频搜索装置
CN106024014A (zh) 一种语音转换方法、装置及移动终端
CN105224581B (zh) 在播放音乐时呈现图片的方法和装置
CN107632980A (zh) 语音翻译方法和装置、用于语音翻译的装置
US10089898B2 (en) Information processing device, control method therefor, and computer program
CN107943896A (zh) 信息处理方法和装置
CN107086040A (zh) 语音识别能力测试方法和装置
CN107170432B (zh) 一种音乐产生方法和装置
CN103632668B (zh) 一种基于中文语音信息训练英文语音模型的方法与设备
KR101819459B1 (ko) 음성 인식 오류 수정을 지원하는 음성 인식 시스템 및 장치
CN105139848B (zh) 数据转换方法和装置
CN107291704A (zh) 处理方法和装置、用于处理的装置
CN107436871A (zh) 一种数据搜索方法、装置及电子设备
KR20190061191A (ko) 아동언어학습을 위한 음성인식 기반 학습 시스템 및 학습방법
CN104008088B (zh) 一种基于屏幕显示的助读方法及装置
CN109002184A (zh) 一种输入法候选词的联想方法和装置
CN110111778A (zh) 一种语音处理方法、装置、存储介质及电子设备
US9087512B2 (en) Speech synthesis method and apparatus for electronic system
CN110930977A (zh) 一种数据处理方法、装置和电子设备
CN109473007A (zh) 一种音素结合声旁的英语自然拼读教学方法及系统
KR20140075994A (ko) 의미단위 및 원어민의 발음 데이터를 이용한 언어교육 학습장치 및 방법
CN113038259A (zh) 互联网教育的上课质量反馈方法及系统
JP2014240902A (ja) 学習支援装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant