CN108055592A - 字幕显示方法、装置、移动终端及存储介质 - Google Patents

字幕显示方法、装置、移动终端及存储介质 Download PDF

Info

Publication number
CN108055592A
CN108055592A CN201711163243.7A CN201711163243A CN108055592A CN 108055592 A CN108055592 A CN 108055592A CN 201711163243 A CN201711163243 A CN 201711163243A CN 108055592 A CN108055592 A CN 108055592A
Authority
CN
China
Prior art keywords
subtitle
audio
color
display
frequency information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711163243.7A
Other languages
English (en)
Inventor
李硕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Original Assignee
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Shiyuan Electronics Thecnology Co Ltd filed Critical Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority to CN201711163243.7A priority Critical patent/CN108055592A/zh
Publication of CN108055592A publication Critical patent/CN108055592A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G10L17/06—Decision making techniques; Pattern matching strategies
    • G10L17/14—Use of phonemic categorisation or speech recognition prior to speaker recognition or verification
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G10L17/26—Recognition of special voice characteristics, e.g. for use in lie detectors; Recognition of animal voices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Abstract

本发明提供了一种字幕显示方法、装置、移动终端及存储介质，方法包括：接收音频信息，并对所述音频信息进行音频聚类分析，以得到音频分析结果；根据所述音频分析结果对对应的显示字幕进行颜色标记；当进行所述音频信息的播放时，根据对所述显示字幕的颜色标记结果，以对应进行不同颜色的字幕显示，本发明改善了用户在观看有字幕的多媒体视频节目的观影效果，且当有听力障碍者观看带有字幕的节目时，用户可以通过字幕的颜色识别出发声者和字幕内容的关联关系，进而提升了用户的观影体验。

Description

字幕显示方法、装置、移动终端及存储介质
技术领域
本发明涉及视频处理技术领域，特别涉及一种字幕显示方法、装置、移动终端及存储介质。
背景技术
字幕(subtitles of motion picture)是以文字形式显示视频对话内容，也是视频后期加工的文字，如演职员表、注释。在中国，不同地区语言的发音差别很大，不能听懂普通话的人很多。但是文字写法的差异并不大，人们大都能理解文字。所以，对应普通话(或方言)的字幕被附加在视频中。另外，在外语视频中添加字幕，可以使听不懂外语的观众也能欣赏外语原声的外语视频，因此字幕的显示步骤在视频的处理过程中尤为重要。
现有的字幕显示方法中字幕的颜色显示采用的是固定的方式，使得视频的显示效果较为单一，且现有的字幕显示方法中声音和字幕的识别性很差，视频节目中的男性声音和女性声音无法与字幕中的文字相对应识别，导致听力障碍者无法识别出字幕中文字是哪种性别发出的，降低了用户的体验。
发明内容
基于此，本发明实施例的目的在于提供一种采用不同颜色标记以进行字幕识别的字幕显示方法、装置、移动终端及存储介质。
第一方面，本发明提供了一种字幕显示方法，所述方法包括：
接收音频信息，并对所述音频信息进行音频聚类分析，以得到音频分析结果；
根据所述音频分析结果对对应的显示字幕进行颜色标记；
当进行所述音频信息的播放时，根据对所述显示字幕的颜色标记结果，以对应进行不同颜色的字幕显示。
上述字幕显示方法，通过对所述音频信息进行音频聚类分析的设计，以分别判定所述音频信息中声音频率及音色所组成的声音类型，方便了后续对不同声音类型的标记，通过根据所述音频分析结果对对应的显示字幕进行颜色标记的设计，以使当进行不同所述声音类型的字幕显示时，可通过颜色标记结果进行不同颜色的字幕显示，方便了用户对声音及字幕的识别，使得用户可以通过观察当前字幕的显示颜色，以判定视频中当前是谁在进行说话，上述字幕显示方法改善了用户在观看有字幕的多媒体视频节目的观影效果，且当有听力障碍者观看带有字幕的节目时，用户可以通过字幕的颜色识别出发声者和字幕内容的关联关系，进而提升了用户的观影体验。
进一步地，所述对所述音频信息进行音频聚类分析的步骤之前，所述方法还包括：
获取与所述音频信息相匹配的字幕信息；
将所述字幕信息与所述音频信息进行时间匹配，以得到字幕时间显示表，所述字幕时间显示表中存储有播放进度条与所述显示字幕的对应关系。
进一步地，所述将所述字幕信息与所述音频信息进行时间匹配的步骤包括：
获取所述音频信息中存储的所述播放进度条，并获取所述字幕信息中的时间戳；
依序将所述播放进度条中的播放时间与所述时间戳中的字幕显示时间进行匹配，以得到所述字幕时间显示表，所述字幕时间显示表用于在不同音频播放进度下显示对应的文字字幕。
进一步地，所述对所述音频信息进行音频聚类分析的步骤包括：
依序获取所述音频信息中的声音频率及音色，并分别对同一时间的所述声音频率和所述音色进行范围判断，以判定同一时间的所述声音频率和所述音色组成的声音类型，所述声音类型包括不同年龄、性别的人，或不同的物。
进一步地，所述根据所述音频分析结果对对应的显示字幕进行颜色标记的步骤包括：
根据所述字幕时间显示表，依序查询所述音频信息中同一时间的所述声音频率和所述音色对应的所述显示字幕；
根据对同一时间的所述声音频率和所述音色的判定结果，分别查询判定到的所述声音类型在本地存储的颜色显示表中对应的显示颜色；
将查询到的所述显示颜色对对应的所述显示字幕进行颜色标记。
进一步地，所述根据对所述显示字幕的颜色标记结果，以对应进行不同颜色的字幕显示的步骤包括：
查询所述字幕时间显示表中当前播放进度对应的所述显示字幕，并获取所述显示字幕上标记的所述显示颜色；
根据所述显示颜色对所述显示字幕进行颜色渲染，并将颜色渲染后的所述显示字幕进行显示。
进一步地，所述对应进行不同颜色的字幕显示之前，所述方法还包括：
获取背景颜色，并判断所述背景颜色与所述显示字幕上标记的显示颜色之间的颜色差值是否大于颜色阈值；
若否，则发出提示信号。
第二方面，本发明提供了一种字幕显示装置，包括：
音频分析模块，用于接收音频信息，并对所述音频信息进行音频聚类分析，以得到音频分析结果；
颜色标记模块，用于根据所述音频分析结果对对应的显示字幕进行颜色标记；
显示模块，用于当进行所述音频信息的播放时，根据对所述显示字幕的颜色标记结果，以对应进行不同颜色的字幕显示。
上述字幕显示装置，通过所述音频分析模块的设计，有效的对所述音频信息进行音频聚类分析，以使分别判定所述音频信息中声音频率及音色所组成的声音类型，方便了后续对不同声音类型的标记，通过所述颜色标记模块的设计，有效的对对应的显示字幕进行颜色标记的设计，以使当进行不同所述声音类型的字幕显示时，可通过颜色标记结果进行不同颜色的字幕显示，方便了用户对声音及字幕的识别，使得用户可以通过观察当前字幕的显示颜色，以判定视频中当前是谁在进行说话，上述字幕显示装置改善了用户在观看有字幕的多媒体视频节目的观影效果，且当有听力障碍者观看带有字幕的节目时，用户可以通过字幕的颜色识别出发声者和字幕内容的关联关系，进而提升了用户的观影体验。
第三方面，本发明提供了一种移动终端，包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述移动终端执行上述的字幕显示方法。
第四方面，本发明提供了一种存储介质，其上存储有上述移动终端中所使用的计算机程序。
附图说明
图1为本发明第一实施例提供的字幕显示方法的流程图；
图2为本发明第二实施例提供的字幕显示方法的流程图；
图3为图2中步骤S21的具体流程结构示意图；
图4为本发明第三实施例提供的字幕显示装置的结构示意图；
图5为本发明第四实施例提供的字幕显示装置的结构示意图；
具体实施方式
为了便于更好地理解本发明，下面将结合相关实施例附图对本发明进行进一步地解释。附图中给出了本发明的实施例，但本发明并不仅限于上述的优选实施例。相反，提供这些实施例的目的是为了使本发明的公开面更加得充分。
请参阅图1，为本发明第一实施例提供的字幕显示方法的流程图，包括步骤S10至S30。
步骤S10，接收音频信息，并对所述音频信息进行音频聚类分析，以得到音频分析结果；
其中，所述音频信息中包含多个不同的声音频率及对应的音色，即所述音频信息中包含多个不同人物的声音，由于儿童、老人、男人和女人发出的声音频率及音色范围不相同，因此本实施例中通过对所述音频信息中的声音进行音频聚类分析处理，以判定所述音频信息中对应时间上声音的类型；
具体的，童声高音频率范围为260-880Hz，低音频率范围为196-700Hz，女声高音频率范围为220-1.1KHz,低音频率范围为200-700KHz，男声高音频率范围为160-523KHz低音频率范围为80-358Hz，且由于当人们随着年龄的增加其音色和频率均会发生波段性的变化，因此本实施例可通过音频和音色进行进行人物角色的区别，以得到所述分析结果。
步骤S20，根据所述音频分析结果对对应的显示字幕进行颜色标记；
其中，根据所述音频分析结果可查询到每个时间上发出的声音具体是儿童、老人、男人或女人发出的，因此可以通过对显示的字幕进行不同的颜色标记，使得用户可以通过观察字幕颜色获取发声者和字幕内容的关联关系。
优选的，例如当设置的男人和女人的颜色标记分别为蓝色和红色时，将所述音频信息中所有判定到是男人发出的声音对应的字幕均显示为蓝色，将所述音频信息中所有判定到是女人发出的声音对应的字幕均显示红蓝色，可以理解的，儿童和老人的声音也可以对应进行颜色设置，且对字幕标记的颜色可以为任意颜色。
步骤S30，当进行所述音频信息的播放时，根据对所述显示字幕的颜色标记结果，以对应进行不同颜色的字幕显示。
其中，当根据所述音频信息进行视频播放和字幕显示时，此时查询步骤S21中对当前声音的颜色标记结果，并根据查询到的标记颜色对当前显示的字幕进行颜色渲染。
具体的，例如当视频中发出的是男人的声音，此时显示的字幕为蓝色，继续进行视频播放后检测到后一句台词为女人的声音时，将后一句字幕的颜色对应渲染为红色，进而方便了用户对声音及字幕的识别判定。
本实施例中，通过对所述音频信息进行音频聚类分析的设计，以分别判定所述音频信息中声音频率及音色所组成的声音类型，方便了后续对不同声音类型的标记，通过根据所述音频分析结果对对应的显示字幕进行颜色标记的设计，以使当进行不同所述声音类型的字幕显示时，可通过颜色标记结果进行不同颜色的字幕显示，方便了用户对声音及字幕的识别，使得用户可以通过观察当前字幕的显示颜色，以判定视频中当前是谁在进行说话，上述字幕显示方法改善了用户在观看有字幕的多媒体视频节目的观影效果，且当有听力障碍者观看带有字幕的节目时，用户可以通过字幕的颜色识别出发声者和字幕内容的关联关系，进而提升了用户的观影体验。
请参阅图2，为本发明第二实施例提供的字幕显示方法的流程图，所述方法包括步骤S11至S81。
步骤S11，接收音频信息，并获取与所述音频信息相匹配的字幕信息；
其中，所述字幕信息可以为内置字幕也可以为外置字幕，且所述字幕信息与所述音频信息相匹配，即所述字幕信息中的字幕文字与所述音频信息中的声音相匹配对应。
本实施例中，所述音频信息中包含多个不同的声音频率及对应的音色，即所述音频信息中包含多个不同人物的声音，由于儿童、老人、男人和女人发出的声音频率及音色范围不相同，因此本实施例中通过对所述音频信息中的声音进行音频聚类分析处理，以判定所述音频信息中对应时间上声音的类型。
步骤S21，将所述字幕信息与所述音频信息进行时间匹配，以得到字幕时间显示表；
其中，所述字幕时间显示表中存储有播放进度条与所述显示字幕的对应关系，因此当选择不同的播放进度时，可以通过查询所述字幕时间显示表以得到对应的所述显示字幕，进而提高了视频中声音与字幕显示的准确性，防止了声音与字幕的不对应，提高了用户的观影体验。
请参阅图3，为图2中步骤S21的具体实施步骤的流程图，包括步骤S210至S211。
步骤S210，获取所述音频信息中存储的所述播放进度条，并获取所述字幕信息中的时间戳；
其中，所述播放进度条用于视频播放进度的切换，所述时间戳用于在不同的播放进度下显示对应的文字字幕。
步骤S211，依序将所述播放进度条中的播放时间与所述时间戳中的字幕显示时间进行匹配，以得到所述字幕时间显示表；
其中，所述字幕时间显示表用于在不同音频播放进度下显示对应的文字字幕，用户可以通过所述播放进度条选择不同的播放进度，以切换不同的显示画面，由于所述音频信息与所述字幕信息相匹配，因此所述时间戳中的字幕显示时间与所述播放进度条中的画面显示时间是相对应的，及当通过用户进行了播放进度的切换时，后续发出的声音会对应显示切换后的字幕。
步骤S31，依序获取所述音频信息中的声音频率及音色，并分别对同一时间的所述声音频率和所述音色进行范围判断，以判定同一时间的所述声音频率和所述音色组成的声音类型；
其中，所述声音类型包括不同年龄、性别的人，或不同的物，通过分别判定同一时间的所述声音频率和所述音色组成的声音类型，以得到音频分析结果，优选的，所述声音类型包括儿童、老人、男士和女士，所述音频信息中包含多个不同的声音频率及对应的音色，即所述音频信息中包含多个不同人物的声音，且由于儿童、老人、男人和女人发出的声音频率及音色范围不相同，因此本实施例中通过对所述音频信息中的声音进行音频聚类分析处理，以判定所述音频信息中对应时间上声音的类型。
具体的，童声高音频率范围为260-880Hz，低音频率范围为196-700Hz，女声高音频率范围为220-1.1KHz,低音频率范围为200-700KHz，男声高音频率范围为160-523KHz低音频率范围为80-358Hz，且由于当人们随着年龄的增加其音色和频率均会发生波段性的变化，因此本实施例可通过音频和音色进行进行人物角色的区别，以得到所述分析结果。
优选的，本实施例中通过api接口可以识别音频文件的声音频率和音色，将字幕时间的时间戳的记录与对应时间的音频频率相结合，将对应频率的值进行聚类分析，得出当前声音频率归类为男人声音、女人声音、儿童声音或老人声音，男人声音时则标记字幕颜色为蓝色系，女人声音时则标记字幕颜色为红色系，儿童声音时则标记字幕颜色为绿色系，老人声音时则标记字幕颜色为灰色系。
步骤S41，根据所述字幕时间显示表，依序查询所述音频信息中同一时间的所述声音频率和所述音色对应的所述显示字幕；
其中，由于所述字幕时间显示表中存储有播放进度条与时间戳的对应关系，因此将所述音频信息中每个同一时间的所述声音频率及所述音色与对应的所述显示字幕形成了对应关系，所以随着视频的播放进行不同声音的发出时，会对应进行文字字幕的显示。
步骤S51，根据对同一时间的所述声音频率和所述音色的判定结果，分别查询判定到的所述声音类型在本地存储的颜色显示表中对应的显示颜色；
其中，由于步骤S31中以完成了对所述声音频率和所述音色组成的所述声音类型的判定，因此可以根据判定结果查询不同的所述声音类型对应设置的显示颜色，通过对不同类型人物字幕的颜色变换，使得用户可以通过观察字幕颜色获取发声者和字幕内容的关联关系。
步骤S61，将查询到的所述显示颜色对对应的所述显示字幕进行颜色标记；
步骤S71，当进行所述音频信息的播放时，查询所述字幕时间显示表中当前播放进度对应的所述显示字幕，并获取所述显示字幕上标记的所述显示颜色；
优选的，对字幕进行颜色标记采用的方式可以为：通过分别对同一时间的所述声音频率和所述音色进行RGB值的标记，以完成颜色标记，因此当视频中发出人物声音时，通过查询所述字幕时间显示表获取当前显示字幕上标记的RGB值，以根据查询到的RGB进行对应颜色的渲染。
步骤S81，根据所述显示颜色对所述显示字幕进行颜色渲染，并将颜色渲染后的所述显示字幕进行显示。
优选的，在步骤S81之前，所述方法还包括：
获取背景颜色，并判断所述背景颜色与所述显示字幕上标记的显示颜色之间的颜色差值是否大于颜色阈值；
若否，则发出提示信号。
优选的，判断颜色差值与颜色阈值大小关系所采用的方式为：分别计算颜色差值和颜色阈值的RGB值，并判断颜色差值的RGB值是否大于颜色阈值的RGB值，若否，则判定颜色差值不大于颜色阈值。
其中，通过颜色差值与颜色阈值的大小判断，以判定当前字幕的显示颜色是否与背景颜色相近，并当判断到显示颜色与背景颜色相近时，则发出提示信号提示用户进行显示颜色的变换或背景颜色的变换，以提高对视频的观影体验。
本实施例中，通过对所述音频信息进行音频聚类分析的设计，以分别判定所述音频信息中声音频率及音色所组成的声音类型，方便了后续对不同声音类型的标记，通过根据所述音频分析结果对对应的显示字幕进行颜色标记的设计，以使当进行不同所述声音类型的字幕显示时，可通过颜色标记结果进行不同颜色的字幕显示，方便了用户对声音及字幕的识别，使得用户可以通过观察当前字幕的显示颜色，以判定视频中当前是谁在进行说话，上述字幕显示方法改善了用户在观看有字幕的多媒体视频节目的观影效果，且当有听力障碍者观看带有字幕的节目时，用户可以通过字幕的颜色识别出发声者和字幕内容的关联关系，进而提升了用户的观影体验。
请参阅图4，为本发明第三实施例提供的字幕显示装置100的结构示意图，包括：
音频分析模块10，用于接收音频信息，并对所述音频信息进行音频聚类分析，以得到音频分析结果；
颜色标记模块20，用于根据所述音频分析结果对对应的显示字幕进行颜色标记；
显示模块30，用于当进行所述音频信息的播放时，根据对所述显示字幕的颜色标记结果，以对应进行不同颜色的字幕显示。
字幕获取模块40，用于获取与所述音频信息相匹配的字幕信息。
时间匹配模块50，用于将所述字幕信息与所述音频信息进行时间匹配，以得到字幕时间显示表，所述字幕时间显示表中存储有播放进度条与所述显示字幕的对应关系。
所述时间匹配模块50包括：
时间获取模块51，用于获取所述音频信息中存储的所述播放进度条，并获取所述字幕信息中的时间戳。
子匹配模块52，用于依序将所述播放进度条中的播放时间与所述时间戳中的字幕显示时间进行匹配，以得到所述字幕时间显示表，所述字幕时间显示表用于在不同音频播放进度下显示对应的文字字幕。
所述音频分析模块10包括：
音频判断模块11，用于依序获取所述音频信息中的声音频率及音色，并分别对同一时间的所述声音频率和所述音色进行范围判断，以判定同一时间的所述声音频率和所述音色组成的声音类型，所述声音类型包括不同年龄、性别的人，或不同的物。
所述颜色标记模块20包括：
字幕查询模块21，用于根据所述字幕时间显示表，依序查询所述音频信息中同一时间的所述声音频率和所述音色对应的所述显示字幕。
颜色查询模块22，用于根据对同一时间的所述声音频率和所述音色的判定结果，分别查询判定到的所述声音类型在本地存储的颜色显示表中对应的显示颜色，并将查询到的所述显示颜色对对应的所述显示字幕进行颜色标记。
所述显示模块30包括：
颜色获取模块31，用于查询所述字幕时间显示表中当前播放进度对应的所述显示字幕，并获取所述显示字幕上标记的所述显示颜色。
子显示模块32，用于根据所述显示颜色对所述显示字幕进行颜色渲染，并将颜色渲染后的所述显示字幕进行显示。
本实施例中，通过所述音频分析模块10的设计，有效的对所述音频信息进行音频聚类分析，以使分别判定所述音频信息中声音频率及音色所组成的声音类型，方便了后续对不同声音类型的标记，通过所述颜色标记模块20的设计，有效的对对应的显示字幕进行颜色标记的设计，以使当进行不同所述声音类型的字幕显示时，可通过颜色标记结果进行不同颜色的字幕显示，方便了用户对声音及字幕的识别，使得用户可以通过观察当前字幕的显示颜色，以判定视频中当前是谁在进行说话，上述字幕显示装置100改善了用户在观看有字幕的多媒体视频节目的观影效果，且当有听力障碍者观看带有字幕的节目时，用户可以通过字幕的颜色识别出发声者和字幕内容的关联关系，进而提升了用户的观影体验。
请参阅图5，为本发明第四实施例提供的字幕显示装置100的结构示意图，该第四实施例与第三实施例的结构大抵相同，其区别在于，本实施例中所述字幕显示装置100还包括：
颜色差值判断模块60，用于获取背景颜色，并判断所述背景颜色与所述显示字幕上标记的显示颜色之间的颜色差值是否大于颜色阈值，若否，则发出提示信号。
本实施例通过所述颜色差值判断模块60的设计，以判定当前字幕的显示颜色是否与背景颜色相近，并当判断到显示颜色与背景颜色相近时，则发出提示信号提示用户进行显示颜色的变换或背景颜色的变换，以提高对视频的观影体验。
本实施例还提供了一种移动终端，包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述移动终端执行上述的字幕显示方法。
本实施例还提供了一种存储介质，其上存储有上述移动终端中所使用的计算机程序，该程序在执行时，包括如下步骤：
接收音频信息，并对所述音频信息进行音频聚类分析，以得到音频分析结果；
根据所述音频分析结果对对应的显示字幕进行颜色标记；
当进行所述音频信息的播放时，根据对所述显示字幕的颜色标记结果，以对应进行不同颜色的字幕显示。所述的存储介质，如：ROM/RAM、磁碟、光盘等。
上述实施例描述了本发明的技术原理，这些描述只是为了解释本发明的原理，而不能以任何方式解释为本发明保护范围的限制。基于此处的解释，本领域的技术人员不需要付出创造性的劳动即可联想到本发明的其他具体实施方式，这些方式都将落入本发明的保护范围内。

Claims (10)

1.一种字幕显示方法，其特征在于，所述方法包括：
接收音频信息，并对所述音频信息进行音频聚类分析，以得到音频分析结果；
根据所述音频分析结果对对应的显示字幕进行颜色标记；
当进行所述音频信息的播放时，根据对所述显示字幕的颜色标记结果，以对应进行不同颜色的字幕显示。
2.根据权利要求1所述的字幕显示方法，其特征在于，所述对所述音频信息进行音频聚类分析的步骤之前，所述方法还包括：
获取与所述音频信息相匹配的字幕信息；
将所述字幕信息与所述音频信息进行时间匹配，以得到字幕时间显示表，所述字幕时间显示表中存储有播放进度条与所述显示字幕的对应关系。
3.根据权利要求2所述的字幕显示方法，其特征在于，所述将所述字幕信息与所述音频信息进行时间匹配的步骤包括：
获取所述音频信息中存储的所述播放进度条，并获取所述字幕信息中的时间戳；
依序将所述播放进度条中的播放时间与所述时间戳中的字幕显示时间进行匹配，以得到所述字幕时间显示表，所述字幕时间显示表用于在不同音频播放进度下显示对应的文字字幕。
4.根据权利要求2所述的字幕显示方法，其特征在于，所述对所述音频信息进行音频聚类分析的步骤包括：
依序获取所述音频信息中的声音频率及音色，并分别对同一时间的所述声音频率和所述音色进行范围判断，以判定同一时间的所述声音频率和所述音色组成的声音类型，所述声音类型包括不同年龄、性别的人，或不同的物。
5.根据权利要求4所述的字幕显示方法，其特征在于，所述根据所述音频分析结果对对应的显示字幕进行颜色标记的步骤包括：
根据所述字幕时间显示表，依序查询所述音频信息中同一时间的所述声音频率和所述音色对应的所述显示字幕；
根据对同一时间的所述声音频率和所述音色的判定结果，分别查询判定到的所述声音类型在本地存储的颜色显示表中对应的显示颜色；
将查询到的所述显示颜色对对应的所述显示字幕进行颜色标记。
6.根据权利要求5所述的字幕显示方法，其特征在于，所述根据对所述显示字幕的颜色标记结果，以对应进行不同颜色的字幕显示的步骤包括：
查询所述字幕时间显示表中当前播放进度对应的所述显示字幕，并获取所述显示字幕上标记的所述显示颜色；
根据所述显示颜色对所述显示字幕进行颜色渲染，并将颜色渲染后的所述显示字幕进行显示。
7.根据权利要求1所述的字幕显示方法，其特征在于，所述对应进行不同颜色的字幕显示之前，所述方法还包括：
获取背景颜色，并判断所述背景颜色与所述显示字幕上标记的显示颜色之间的颜色差值是否大于颜色阈值；
若否，则发出提示信号。
8.一种字幕显示装置，其特征在于，包括：
音频分析模块，用于接收音频信息，并对所述音频信息进行音频聚类分析，以得到音频分析结果；
颜色标记模块，用于根据所述音频分析结果对对应的显示字幕进行颜色标记；
显示模块，用于当进行所述音频信息的播放时，根据对所述显示字幕的颜色标记结果，以对应进行不同颜色的字幕显示。
9.一种移动终端，其特征在于，包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述移动终端执行根据权利要求1至7任一项所述的字幕显示方法。
10.一种存储介质，其特征在于，其存储有权利要求9所述的移动终端中所使用的计算机程序。
CN201711163243.7A 2017-11-21 2017-11-21 字幕显示方法、装置、移动终端及存储介质 Pending CN108055592A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711163243.7A CN108055592A (zh) 2017-11-21 2017-11-21 字幕显示方法、装置、移动终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711163243.7A CN108055592A (zh) 2017-11-21 2017-11-21 字幕显示方法、装置、移动终端及存储介质

Publications (1)

Publication Number Publication Date
CN108055592A true CN108055592A (zh) 2018-05-18

Family

ID=62119140

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711163243.7A Pending CN108055592A (zh) 2017-11-21 2017-11-21 字幕显示方法、装置、移动终端及存储介质

Country Status (1)

Country Link
CN (1) CN108055592A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108833992A (zh) * 2018-06-29 2018-11-16 北京优酷科技有限公司 字幕显示方法及装置
CN108924599A (zh) * 2018-06-29 2018-11-30 北京优酷科技有限公司 视频字幕显示方法及装置
CN110085209A (zh) * 2019-04-11 2019-08-02 广州多益网络股份有限公司 一种音色筛选方法及装置
CN110198468A (zh) * 2019-05-15 2019-09-03 北京奇艺世纪科技有限公司 一种视频字幕显示方法、装置及电子设备
CN111193957A (zh) * 2018-11-14 2020-05-22 技嘉科技股份有限公司 分析表演者影片的方法及增加表演效果的方法
CN111556277A (zh) * 2020-05-19 2020-08-18 安徽听见科技有限公司 视频会议参会人标识处理方法、装置、设备及存储介质
CN111949805A (zh) * 2020-09-23 2020-11-17 深圳前海知行科技有限公司 基于人工智能的字幕生成方法、装置、设备及存储介质
WO2021018177A1 (zh) * 2019-08-01 2021-02-04 北京字节跳动网络技术有限公司 文字特效处理方法及装置
CN112383809A (zh) * 2020-11-03 2021-02-19 Tcl海外电子（惠州）有限公司 字幕显示方法、装置和存储介质
CN114765703A (zh) * 2021-01-13 2022-07-19 北京中关村科金技术有限公司 Tts语音对应字幕的染色方法、装置及存储介质
WO2023045635A1 (zh) * 2021-09-23 2023-03-30 腾讯科技（深圳）有限公司 多媒体文件的字幕处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130141551A1 (en) * 2011-12-02 2013-06-06 Lg Electronics Inc. Mobile terminal and control method thereof
US20130209058A1 (en) * 2012-02-15 2013-08-15 Samsung Electronics Co. Ltd. Apparatus and method for changing attribute of subtitle in image display device
CN104853257A (zh) * 2015-04-30 2015-08-19 北京奇艺世纪科技有限公司 字幕显示方法和装置
WO2016136468A1 (ja) * 2015-02-23 2016-09-01 ソニー株式会社 送信装置、送信方法、受信装置、受信方法、情報処理装置および情報処理方法
CN106792071A (zh) * 2016-12-19 2017-05-31 北京小米移动软件有限公司 字幕处理方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130141551A1 (en) * 2011-12-02 2013-06-06 Lg Electronics Inc. Mobile terminal and control method thereof
US20130209058A1 (en) * 2012-02-15 2013-08-15 Samsung Electronics Co. Ltd. Apparatus and method for changing attribute of subtitle in image display device
WO2016136468A1 (ja) * 2015-02-23 2016-09-01 ソニー株式会社 送信装置、送信方法、受信装置、受信方法、情報処理装置および情報処理方法
CN104853257A (zh) * 2015-04-30 2015-08-19 北京奇艺世纪科技有限公司 字幕显示方法和装置
CN106792071A (zh) * 2016-12-19 2017-05-31 北京小米移动软件有限公司 字幕处理方法及装置

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108924599A (zh) * 2018-06-29 2018-11-30 北京优酷科技有限公司 视频字幕显示方法及装置
CN108833992A (zh) * 2018-06-29 2018-11-16 北京优酷科技有限公司 字幕显示方法及装置
US10893307B2 (en) 2018-06-29 2021-01-12 Alibaba Group Holding Limited Video subtitle display method and apparatus
CN111193957A (zh) * 2018-11-14 2020-05-22 技嘉科技股份有限公司 分析表演者影片的方法及增加表演效果的方法
CN110085209B (zh) * 2019-04-11 2021-07-23 广州多益网络股份有限公司 一种音色筛选方法及装置
CN110085209A (zh) * 2019-04-11 2019-08-02 广州多益网络股份有限公司 一种音色筛选方法及装置
CN110198468A (zh) * 2019-05-15 2019-09-03 北京奇艺世纪科技有限公司 一种视频字幕显示方法、装置及电子设备
WO2021018177A1 (zh) * 2019-08-01 2021-02-04 北京字节跳动网络技术有限公司 文字特效处理方法及装置
CN111556277A (zh) * 2020-05-19 2020-08-18 安徽听见科技有限公司 视频会议参会人标识处理方法、装置、设备及存储介质
CN111949805A (zh) * 2020-09-23 2020-11-17 深圳前海知行科技有限公司 基于人工智能的字幕生成方法、装置、设备及存储介质
CN112383809A (zh) * 2020-11-03 2021-02-19 Tcl海外电子（惠州）有限公司 字幕显示方法、装置和存储介质
CN114765703A (zh) * 2021-01-13 2022-07-19 北京中关村科金技术有限公司 Tts语音对应字幕的染色方法、装置及存储介质
CN114765703B (zh) * 2021-01-13 2023-07-07 北京中关村科金技术有限公司 Tts语音对应字幕的染色方法、装置及存储介质
WO2023045635A1 (zh) * 2021-09-23 2023-03-30 腾讯科技（深圳）有限公司 多媒体文件的字幕处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品

Similar Documents

Publication Publication Date Title
CN108055592A (zh) 字幕显示方法、装置、移动终端及存储介质
US9318113B2 (en) Method and apparatus for conducting synthesized, semi-scripted, improvisational conversations
CN104123115B (zh) 一种音频信息处理方法及电子设备
CN105898364A (zh) 一种视频播放处理方法、装置、终端及系统
CN102111601B (zh) 内容可适性的多媒体处理系统与处理方法
US8655654B2 (en) Generating representations of group interactions
CN109257659A (zh) 字幕添加方法、装置、电子设备及计算机可读存储介质
CN108924599A (zh) 视频字幕显示方法及装置
CN105376515B (zh) 用于视频通讯的通讯信息的呈现方法、装置及系统
CN107527623A (zh) 传屏方法、装置、电子设备及计算机可读存储介质
CN110149548A (zh) 视频配音方法、电子装置和可读存储介质
CN106534890A (zh) 基于直播的视频处理方法和装置
JP2004056286A (ja) 画像表示方法
CN109036372A (zh) 一种语音播报方法、装置及系统
CN106548793A (zh) 存储和播放音频文件的方法和装置
CN108259963A (zh) 一种tv端播放器
KR20190083532A (ko) 학습자가 선택한 동영상을 학습 콘텐츠로 활용하는 외국어 학습시스템 및 이의 학습 콘텐츠 생성방법
CN114157920A (zh) 一种展示手语的播放方法、装置、智能电视及存储介质
JP5197841B1 (ja) 映像再生装置及び映像再生方法
WO2010070519A1 (en) Method and apparatus for synthesizing speech
CN106998495A (zh) 一种视频播放方法及装置
JP2016091057A (ja) 電子機器
CN107205095A (zh) 语音信息的播放方法、装置及终端
US8553855B2 (en) Conference support apparatus and conference support method
CN113709291A (zh) 音频处理方法、装置、电子设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180518