CN109089172A - 一种弹幕显示方法、装置及电子设备 - Google Patents
一种弹幕显示方法、装置及电子设备 Download PDFInfo
- Publication number
- CN109089172A CN109089172A CN201810322103.8A CN201810322103A CN109089172A CN 109089172 A CN109089172 A CN 109089172A CN 201810322103 A CN201810322103 A CN 201810322103A CN 109089172 A CN109089172 A CN 109089172A
- Authority
- CN
- China
- Prior art keywords
- information
- lines
- default
- video
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 97
- 230000002123 temporal effect Effects 0.000 claims abstract description 99
- 238000000605 extraction Methods 0.000 claims description 59
- 230000008569 process Effects 0.000 claims description 47
- 238000012549 training Methods 0.000 claims description 23
- 238000004891 communication Methods 0.000 claims description 19
- 239000000284 extract Substances 0.000 claims description 16
- 238000003058 natural language processing Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/488—Data services, e.g. news ticker
- H04N21/4884—Data services, e.g. news ticker for displaying subtitles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/488—Data services, e.g. news ticker
- H04N21/4882—Data services, e.g. news ticker for displaying messages, e.g. warnings, reminders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
- H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例提供了一种弹幕显示方法、装置及电子设备，该方法包括：在视频播放的过程中，获得视频的当前播放时间；将所获得的当前播放时间与预设的对应关系进行匹配，其中，预设的对应关系包含：各提示信息与时间信息的对应关系，提示信息为：基于视频的、与当前播放时间对应的台词和/或剧情，所确定的信息；当匹配成功时，从预设的对应关系中，确定与当前播放时间匹配的时间信息对应的提示信息，作为目标提示信息；生成包含目标提示信息的弹幕信息，作为提示型弹幕信息；基于与当前播放时间匹配的时间信息，显示提示型弹幕信息。以实现自动基于所播放视频的内容，为用户提供与该所播放视频的内容相关的信息，以提高用户的使用体验。
Description
技术领域
本发明涉及视频播放技术领域，特别是涉及一种弹幕显示方法、装置及电子设备。
背景技术
在视频播放的过程中，用户往往存在希望获知所播放视频的相关信息的需求，例如：希望获知所播放视频的相关演员信息以及工作人员信息，所播放视频的相剧中人物信息以及人物之间的关系信息和所播放视频的剧情的历史背景信息等等。
相关技术中，用户仅能利用相关的视频播放器所提供的弹幕功能，通过发弹幕的方式进行提问，即手动输入自身所希望获知的所播放视频的相关信息并发布，以使观看该视频的其他用户，在看到上述弹幕信息后为该用户提供相应的答案。或者，用户通过搜索引擎，搜索其自身所希望获知的所播放视频的相关信息。
由上，发明人发现，相关技术至少存在如下问题：当用户双手被占用，无法进行搜索或发弹幕，或者，用户特别倦态，不想动手进行搜索或发弹幕时，用户就无法获知到其所希望获知的所播放视频的相关信息。这在一定程度上，会降低用户的使用体验。
发明内容
本发明实施例的目的在于提供一种弹幕显示方法、装置及电子设备，以实现自动基于所播放视频的内容，为用户提供与该所播放视频的内容相关的信息，以提高用户的使用体验。具体技术方案如下：
一方面，本发明实施例提供了一种弹幕显示方法，所述方法包括：
在视频播放的过程中，获得所述视频的当前播放时间；
将所获得的当前播放时间与预设的对应关系进行匹配，其中，所述预设的对应关系包含：各提示信息与时间信息的对应关系，所述提示信息为：基于所述视频的、与当前播放时间对应的台词和/或剧情，所确定的信息；
当匹配成功时，从所述预设的对应关系中，确定与所述当前播放时间匹配的时间信息对应的提示信息，作为目标提示信息；
生成包含所述目标提示信息的弹幕信息，作为提示型弹幕信息；
基于与所述当前播放时间匹配的时间信息，显示所述提示型弹幕信息。
可选地，在所述将所获得的当前播放时间与预设的对应关系进行匹配的步骤之前，所述方法还包括：
建立所述预设的对应关系的过程，其中，所述过程包括：
获得所述视频对应的台词信息，其中，所述台词信息包含：所述视频的所有台词以及每一台词对应的起始时间和结束时间；
针对所获得的每一台词，基于该台词对应的起始时间和结束时间，确定该台词对应的时间信息；
针对所获得的每一台词，通过自然语言处理方式，从该台词中确定出满足预设提取条件的词，作为该台词的关键词，其中，所述预设提取条件包括：所对应词性为名词的条件；
针对所获得的每一台词，获得该台词的关键词对应的提示信息；
针对所获得的每一台词，建立该台词的关键词对应的提示信息与该台词对应的时间信息之间的对应关系，以获得所述预设的对应关系。
可选地，所述基于该台词对应的起始时间和结束时间，确定该台词对应的时间信息的步骤，包括：
计算该台词对应的起始时间和结束时间的平均值，将该平均值确定为该台词对应的时间信息；或，
将该台词对应的起始时间或结束时间，确定为该台词对应的时间信息；或，
将该台词对应的起始时间和结束时间之间的任一时间，确定为该台词对应的时间信息；或，
将该台词对应的起始时间和结束时间之间的所有时间，确定为该台词对应的时间信息。
可选地，在所述将所获得的当前播放时间与预设的对应关系进行匹配的步骤之前，所述方法还包括：
建立所述预设的对应关系的过程，其中，所述过程包括：
获得所述视频的所有视频帧以及每一视频帧对应的时间戳；
针对每一视频帧，基于预设人脸识别模型，检测该视频帧中是否包含预设人员的人脸，并在检测到包含预设人员的人脸时，确定所检测到预设人员的人脸对应的标识信息；并检测该视频帧之后的多帧视频帧中，是否包含满足预设事件对应的预设数量的其他标识信息所对应预设人员的人脸；
当确定包含满足预设事件对应的预设数量的其他标识信息所对应预设人员的人脸时，基于该视频帧对应的时间戳以及该视频帧之后的多帧视频帧各自对应的时间戳，确定该视频帧对应的时间信息；
建立该视频帧对应的时间信息与该视频帧对应的提示信息之间的对应关系，以获得所述预设的对应关系，其中，该视频帧对应的提示信息为：所述预设事件的标识信息。
可选地，在所述针对每一视频帧，基于预设人脸识别模型，检测该视频帧中是否包含人脸，并在确定包含人脸时，确定所检测到的人脸对应的标识信息的步骤之前，所述方法还包括：
建立所述预设人脸识别模型的过程，其中，所述过程包括：
获得初始人脸识别模型；
获得多个样本图像帧，其中，所述样本图像帧为：包含一个或多个预设人员的人脸的图像帧，所述预设人员为：所述视频中的演员；
获得每一样本图像帧对应的标定信息，其中，每一标定信息包括：所对应样本图像帧所包含的一个或多个预设人员各自对应的预期标识信息，所述预期标识信息为：所对应预设人员在所述视频中的标识信息；
基于所获得的每一包含所述一个或多个预设人员的人脸的样本图像帧，以及每一样本图像帧对应的、包含一个或多个预设人员各自对应的预期标识信息的标定信息，训练所述初始人脸识别模型，得到预设人脸识别模型。
可选地，所述初始人脸识别模型包括特征提取层和特征分类层；
所述基于所获得的每一包含所述一个或多个预设人员的人脸的样本图像帧，以及每一样本图像帧对应的、包含一个或多个预设人员各自对应的标识信息的标定信息，训练所述初始人脸识别模型，得到预设人脸识别模型的步骤，包括：
将每一样本图像帧输入所述特征提取层，提取出该样本图像帧对应的图像特征，作为样本图像特征；
将所提取的样本特征，输入所述特征分类层，获得该样本图像帧对应的当前标识信息；
将所获得的当前标识信息与该样本图像帧对应的预期标识信息进行匹配；
当匹配成功时，得到包含所述特征提取层和所述特征分类层的预设人脸识别模型；
或者，当匹配不成功时，则分别调整所述特征提取层和所述特征分类层的参数；重新返回所述将每一样本图像帧输入所述特征提取层，提取出该样本图像帧对应的图像特征，作为样本图像特征的步骤；直至匹配成功，得到包含所述特征提取层和所述特征分类层的预设人脸识别模型。
可选地，所述针对每一视频帧，基于预设人脸识别模型，检测该视频帧中是否包含预设演员的人脸，并在检测到包含预设演员的人脸时，确定所检测到预设演员的人脸对应的标识信息的步骤，包括：
针对每一视频帧，将该视频帧输入所述预设人脸识别模型，所述预设人脸识别模型提取该视频帧的图像特征，作为待检测图像特征；并基于所提取的待检测图像特征，检测该视频帧中是否包含预设演员的人脸，并在检测到包含预设演员的人脸时，确定所检测到预设演员的人脸对应的标识信息。
可选地，所述生成包含所述目标提示信息的弹幕信息，作为提示型弹幕信息的步骤，包括：
基于预设的模板，生成包含所述目标提示信息的弹幕信息，作为提示型弹幕信息。
另一方面，本发明实施例提供了一种弹幕显示装置，所述装置包括：
第一获得模块，用于在视频播放的过程中，获得所述视频的当前播放时间；
匹配模块，用于将所获得的当前播放时间与预设的对应关系进行匹配，其中，所述预设的对应关系包含：各提示信息与时间信息的对应关系，所述提示信息为：基于所述视频的、与当前播放时间对应的台词和/或剧情，所确定的信息；
第一确定模块，用于当匹配成功时，从所述预设的对应关系中，确定与所述当前播放时间匹配的时间信息对应的提示信息，作为目标提示信息；
生成模块，用于生成包含所述目标提示信息的弹幕信息，作为提示型弹幕信息；
显示模块，用于基于与所述当前播放时间匹配的时间信息，显示所述提示型弹幕信息。
可选地，所述装置还包括：
第一关系建立模块，用于在所述将所获得的当前播放时间与预设的对应关系进行匹配之前，建立所述预设的对应关系，其中，所述第一关系建立模块包括：
第一获得单元，用于获得所述视频对应的台词信息，其中，所述台词信息包含：所述视频的所有台词以及每一台词对应的起始时间和结束时间；
第一确定单元，用于针对所获得的每一台词，基于该台词对应的起始时间和结束时间，确定该台词对应的时间信息；
第二确定单元，用于针对所获得的每一台词，通过自然语言处理方式，从该台词中确定出满足预设提取条件的词，作为该台词的关键词，其中，所述预设提取条件包括：所对应词性为名词的条件；
第二获得单元，用于针对所获得的每一台词，获得该台词的关键词对应的提示信息；
第一关系建立单元，用于针对所获得的每一台词，建立该台词的关键词对应的提示信息与该台词对应的时间信息之间的对应关系，以获得所述预设的对应关系。
可选地，所述第一确定单元，具体用于
计算该台词对应的起始时间和结束时间的平均值，将该平均值确定为该台词对应的时间信息；或，
将该台词对应的起始时间或结束时间，确定为该台词对应的时间信息；或，
将该台词对应的起始时间和结束时间之间的任一时间，确定为该台词对应的时间信息；或，
将该台词对应的起始时间和结束时间之间的所有时间，确定为该台词对应的时间信息。
可选地，所述装置还包括：
第二关系建立模块，用于在所述将所获得的当前播放时间与预设的对应关系进行匹配之前，建立所述预设的对应关系，其中，所述第二关系建立模块包括：
第三获得单元，用于获得所述视频的所有视频帧以及每一视频帧对应的时间戳；
检测确定单元，用于针对每一视频帧，基于预设人脸识别模型，检测该视频帧中是否包含预设人员的人脸，并在检测到包含预设人员的人脸时，确定所检测到预设人员的人脸对应的标识信息；并检测该视频帧之后的多帧视频帧中，是否包含满足预设事件对应的的预设数量的其他标识信息所对应预设人员的人脸；
第三确定单元，用于当确定包含满足预设事件对应的预设数量的其他标识信息所对应预设人员的人脸时，基于该视频帧对应的时间戳以及该视频帧之后的多帧视频帧各自对应的时间戳，确定该视频帧对应的时间信息；
第二关系建立单元，用于建立该视频帧对应的时间信息与该视频帧对应的提示信息之间的对应关系，以获得所述预设的对应关系，其中，该视频帧对应的提示信息为：所述预设事件的标识信息。
可选地，所述装置还包括：
模型建立模块，用于在所述针对每一视频帧，基于预设人脸识别模型，检测该视频帧中是否包含人脸，并在确定包含人脸时，确定所检测到的人脸对应的标识信息之前，建立所述预设人脸识别模型，其中，所述模型建立模块包括：
第四获得单元，用于获得初始人脸识别模型；
第五获得单元，用于获得多个样本图像帧，其中，所述样本图像帧为：包含一个或多个预设人员的人脸的图像帧，所述预设人员为：所述视频中的演员；
第六获得单元，用于获得每一样本图像帧对应的标定信息，其中，每一标定信息包括：所对应样本图像帧所包含的一个或多个预设人员各自对应的预期标识信息，所述预期标识信息为：所对应预设人员在所述视频中的标识信息；
训练得到单元，用于基于所获得的每一包含所述一个或多个预设人员的人脸的样本图像帧，以及每一样本图像帧对应的、包含一个或多个预设人员各自对应的预期标识信息的标定信息，训练所述初始人脸识别模型，得到预设人脸识别模型。
可选地，所述初始人脸识别模型包括特征提取层和特征分类层；
所述训练得到单元，具体用于
将每一样本图像帧输入所述特征提取层，提取出该样本图像帧对应的图像特征，作为样本图像特征；
将所提取的样本特征，输入所述特征分类层，获得该样本图像帧对应的当前标识信息；
将所获得的当前标识信息与该样本图像帧对应的预期标识信息进行匹配；
当匹配成功时，得到包含所述特征提取层和所述特征分类层的预设人脸识别模型；
或者，当匹配不成功时，则分别调整所述特征提取层和所述特征分类层的参数；重新返回所述将每一样本图像帧输入所述特征提取层，提取出该样本图像帧对应的图像特征，作为样本图像特征；直至匹配成功，得到包含所述特征提取层和所述特征分类层的预设人脸识别模型。
可选地，所述检测确定单元，具体用于
针对每一视频帧，将该视频帧输入所述预设人脸识别模型，所述预设人脸识别模型提取该视频帧的图像特征，作为待检测图像特征；并基于所提取的待检测图像特征，检测该视频帧中是否包含预设演员的人脸，并在检测到包含预设演员的人脸时，确定所检测到预设演员的人脸对应的标识信息。
可选地，所述生成模块，具体用于
基于预设的模板，生成包含所述目标提示信息的弹幕信息，作为提示型弹幕信息。
另一方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现本发明实施例所提供的任一所述的弹幕显示方法步骤。
在本发明实施的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述任一所述的弹幕显示方法。
在本发明实施的又一方面，本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的弹幕显示方法。
本发明实施例中，在视频播放的过程中，获得视频的当前播放时间；将所获得的当前播放时间与预设的对应关系进行匹配，其中，预设的对应关系包含：各提示信息与时间信息的对应关系，提示信息为：基于视频的、与当前播放时间对应的台词和/或剧情，所确定的信息；当匹配成功时，从预设的对应关系中，确定与当前播放时间匹配的时间信息对应的提示信息，作为目标提示信息；生成包含目标提示信息的弹幕信息，作为提示型弹幕信息；基于与当前播放时间匹配的时间信息，显示提示型弹幕信息。
本发明实施例中，在视频播放的过程中，可以自动基于当前播放时间与预设的对应关系，确定出该视频的且与当前播放时间对应的台词和/或剧情相关的目标提示信息，并生成包含目标提示信息的提示型弹幕信息，并显示。以实现自动基于所播放视频的内容，为用户提供与该所播放视频的内容相关的信息，以提高用户的使用体验。当然，实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明实施例所提供的一种弹幕显示方法的流程示意图；
图2为视频播放过程中，显示提示型弹幕信息的一种示意图；
图3为本发明实施例所提供的建立预设的对应关系的一种流程示意图；
图4为本发明实施例所提供的建立预设的对应关系的另一种流程示意图；
图5为本发明实施例所提供的建立预设人脸识别模型的一种流程示意图；
图6为本发明实施例所提供的一种弹幕显示装置的结构示意图；
图7为本发明实施例所提供的第一关系建立模块的一种结构示意图；
图8为本发明实施例所提供的第二关系建立模块的一种结构示意图；
图9为本发明实施例所提供的模型建立模块的一种结构示意图；
图10为本发明实施例所提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。
本发明实施例提供了一种弹幕显示方法、装置及电子设备，以实现自动基于所播放视频的内容，为用户提供与该所播放视频的内容相关的信息，以提高用户的使用体验。
如图1所示，本发明实施例提供了一种弹幕显示方法，可以包括如下步骤：
S101：在视频播放的过程中，获得视频的当前播放时间；
可以理解的是，本发明实施例所提供的弹幕显示方法，可以应用于任一具有视频播放功能的电子设备，该电子设备可以为电脑、智能手机以及视频播放器等等。在一种情况中，实现本发明实施例所提供的弹幕显示方法的功能软件，可以以专门的客户端软件的形式存在，例如，专门的视频播放软件；或者，也可以以现有的视频播放软件的插件的形式存在。
在一种情况中，在视频播放过程中，电子设备可以实时地获得视频的当前播放时间，以能够及时地执行后续的弹幕显示流程。在另一种情况中，视频中的每句台词和/或剧情的展示都是需要时间的，为了减少电子设备的运行负担，在视频播放过程中，电子设备可以周期性地获得视频的当前播放时间，其中，上述周期性对应的周期时间不超过预设时长阈值，以能够及时地执行后续的弹幕显示流程。
本发明实施例中，上述视频可以为任一格式的视频，本发明实施例并不对上述视频的格式类型进行限定。
S102：将所获得的当前播放时间与预设的对应关系进行匹配；
其中，预设的对应关系包含：各提示信息与时间信息的对应关系，提示信息为：基于视频的、与当前播放时间对应的台词和/或剧情，所确定的信息；
上述时间信息为：基于所对应的提示信息对应的台词和/或剧情的播放时间，所确定的时间信息。
可以理解的是，视频的台词中可能存在一些用户不够了解或需要了解的内容，此时，可以基于台词确定需要向用户普及解释的内容，当视频播放到某些包含用户不够了解或需要了解的内容的台词时，将上述用户不够了解或需要了解的内容相应的解释内容，作为提示信息，向用户普及。视频的剧情可能对应一些历史事件，为了增强用户的使用体验，可以当视频播放到某些对应历史事件的剧情时，将该历史事件作为提示信息，向用户普及，这都是可以的。基于上述情况，电子设备本地或所连接的外部存储设备中，可以预先存储基于视频的台词和/或剧情确定的提示信息，并基于视频中相应台词的播放时间，显示该台词对应的提示信息，和/或，基于视频中相应剧情的播放时间，显示该剧情对应的提示信息。进而，电子设备本地或所连接的外部存储设备中，可以预存上述各提示信息与上述台词和/或剧情的播放时间的对应关系。
一种实现方式中，电子设备本地或所连接的外部存储设备中，可以存储有预设的对应关系，其中，该预设的对应关系包含：各提示信息与时间信息的对应关系。电子设备获得到该视频的当前播放时间之后，可以将所获得的当前播放时间与预设的对应关系进行一一匹配，当预设的对应关系中存在与当前播放时间匹配的时间信息时，则可以表明匹配成功；当预设的对应关系中不存在与当前播放时间匹配的时间信息时，则可以表明匹配失败。
在一种情况中，上述时间信息可以为一具体时刻，也可以为一时间段，上述预设的对应关系中存在与当前播放时间匹配的时间信息，可以是：预设的对应关系中存在与当前播放时间相同的时间信息，或者，预设的对应关系中存在包含该当前播放时间的时间信息，或者，预设的对应关系中存在与当前播放时间之间的时间误差在预设误差范围内的时间信息。
S103：当匹配成功时，从预设的对应关系中，确定与当前播放时间匹配的时间信息对应的提示信息，作为目标提示信息；
本步骤中，电子设备确定上述预设的对应关系中存在与当前播放时间匹配的时间信息后，定位该与当前播放时间匹配的时间信息，并从预设的对应关系中，确定该时间信息对应的提示信息，作为目标提示信息。
S104：生成包含目标提示信息的弹幕信息，作为提示型弹幕信息；
在一种实现方式中，电子设备可以直接将所确定的目标提示信息，作为提示型弹幕信息，例如，当在视频“NN第一季第一集”播放过程中，电子设备确定出目标提示信息“aa能将触摸过的东西冻结，还可以将bb变成aa”，电子设备可以直接将“aa能将触摸过的东西冻结，还可以将bb变成aa”作为提示型弹幕信息。又例如：当在视频“YY大业”播放过程中，电子设备确定出目标提示信息“ZZ起义”，电子设备可以直接将“ZZ起义”作为提示型弹幕信息。
在另一种实现方式中，为了避免所确定的提示型弹幕信息过于生硬，电子设备可以在确定出上述提示信息后，为该提示信息添加预设的修饰词、预设符号和/或预设表情，进而，将添加预设的修饰词、预设符号和/或预设表情后的提示信息，作为提示型弹幕信息。
例如，当在视频“NN第一季第一集”播放过程中，电子设备确定出目标提示信息“aa能将触摸过的东西冻结，还可以将bb变成aa”，后续的，电子设备可以为目标提示信息“aa能将触摸过的东西冻结，还可以将bb变成aa”添加“abc 啊”预设的修饰词和“！”预设符号，此时，该提示型弹幕信息具体可以为：“aa 能将触摸过的东西冻结，还可以将bb变成aa，abc啊！”；或者，电子设备可以为提示信息“aa能将触摸过的东西冻结，还可以将bb变成aa”添加“巨帅”预设的修饰词，此时，该提示型弹幕信息具体可以为：“aa能将触摸过的东西冻结，还可以将bb变成aa，巨帅”，等等。
又例如，当在视频“YY大业”播放过程中，电子设备确定出目标提示信息“ZZ起义”，电子设备可以为目标提示信息“ZZ起义”添加“这就是伟大的”预设的修饰词，该提示型弹幕信息具体可以为：“这就是伟大的ZZ起义”；或者电子设备可以为目标提示信息“ZZ起义”添加“！！！”预设符号，该提示型弹幕信息具体可以为：“ZZ起义！！！”，等。
S105：基于与当前播放时间匹配的时间信息，显示提示型弹幕信息。
本发明实施例中，电子设备在确定出提示型弹幕信息后，可以基于与当前播放时间匹配的时间信息，显示提示型弹幕信息。在一种实现方式中，上述与当前播放时间匹配的时间信息可以为一具体时刻，电子设备可以在视频的播放时间达到上述当前播放时间匹配的时间信息时，显示上述提示型弹幕信息。在另一种实现方式中，上述与当前播放时间匹配的时间信息可以为一时间段，电子设备可以在视频的播放时间达到上述时间段内的任一时刻时，显示上述提示型弹幕信息。
本发明实施例中，电子设备以弹幕的形式显示上述提示型弹幕信息。如图 2所示，为在视频播放过程中，显示提示型弹幕信息的一种示意图。其中，图2 所述播放界面为播放“NN第一季第一集”的界面，所显示的提示性弹幕信息为“aa能将触摸过的东西冻结，还可以将bb变成aa，abc啊！”，上述提示性弹幕信息被圈出。
本发明实施例中，在视频播放的过程中，可以自动基于当前播放时间与预设的对应关系，确定出该视频的且与当前播放时间对应的台词和/或剧情相关的目标提示信息，并生成包含目标提示信息的提示型弹幕信息，并显示。以实现自动基于所播放视频的内容，为用户提供与该所播放视频的内容相关的信息，以提高用户的使用体验。
电子设备在将所获得的当前播放时间与预设的对应关系进行匹配之间，可以预先建立上述预设的对应关系，上述预设的对应关系可以包括：基于视频的台词所确定的提示信息与时间信息之间的对应关系，和/或，包括基于视频的剧情所确定的提示信息与时间信息之间的对应关系。其中，上述时间信息为：关于视频的播放时间的信息。
在一种实现方式中，当上述预设的对应关系中包括：基于视频的台词所确定的提示信息与时间信息之间的对应关系时，在所述将所获得的当前播放时间与预设的对应关系进行匹配的步骤之前，所述方法还可以包括：
建立预设的对应关系的过程，其中，如图3所示，所述过程可以包括：
S301：获得视频对应的台词信息；
其中，台词信息包含：视频的所有台词以及每一台词对应的起始时间和结束时间；
S302：针对所获得的每一台词，基于该台词对应的起始时间和结束时间，确定该台词对应的时间信息；
S303：针对所获得的每一台词，通过自然语言处理方式，从该台词中确定出满足预设提取条件的词，作为该台词的关键词；
其中，预设提取条件包括：所对应词性为名词的条件；
S304：针对所获得的每一台词，获得该台词的关键词对应的提示信息；
S305：针对所获得的每一台词，建立该台词的关键词对应的提示信息与该台词对应的时间信息之间的对应关系，以获得预设的对应关系。
本发明实施例中，电子设备在获得视频对应的台词信息之后，一方面，可以通过自然语言处理(NLP，Natural Language Processing)方式，针对视频的每一台词，对该台词进行句法语义分析，获得该台词对应的分析结果，进而，电子设备基于所获得的该台词对应的分析结果，判断该台词中是否包含满足预设提取条件的词，当判断存在时，确定该满足预设提取条件的词为该台词的关键词。进而，电子设备可以继续获得与该台词的关键词对应的提示信息。在一种情况中，预设提取条件可以包括：所对应词性为名词的条件。另一方面，电子设备可以根据所获得的台词信息所包含的，每一台词对应的起始时间和结束时间，确定每一台词对应的时间信息。
其中，上述确定台词对应的时间信息的流程，和上述确定台词的关键词以及获得关键词对应的提示信息的流程，可以同时执行，也可以顺序执行。当顺序执行时，可以是先执行上述确定台词对应的时间信息的流程，后执行上述确定台词的关键词以及获得该关键词对应的提示信息的流程；也可以是先执行上述确定台词的关键词以及获得该关键词对应的提示信息的流程，后执行上述确定台词对应的时间信息的流程。
为了布局清楚，先对电子设备确定台词对应的关键词以及该关键词对应的提示信息的过程进行介绍。
在一种实现方式中，电子设备本地或所连接的外部连接设备中，可以存储有所播放视频对应的第一数据库，该第一数据库中存储有该视频的对应的所有关键词，以及每一关键词对应的提示信息。当电子设备确定出视频的某一台词的关键词后，将该关键词与上述第一数据库进行匹配，当匹配成功时，从上述第一数据库中，获得该台词的关键词对应的提示信息。其中，上述视频的对应的所有关键词，可以是工作人员预先从视频的台词中提取筛选出的；也可以是电子设备预先从视频的台词中提取并进行筛选出的。上述提示信息可以是工作人员预先针对关键词所设置好的信息；也可以是电子设备基于每一关键词，通过搜索引擎搜索确定出的。
举例而言，当电子设备获得视频“NN第一季第一集”对应的台词信息，其中，该台词信息包含：视频“NN第一季第一集”的所有台词以及每一台词对应的起始时间和结束时间；以视频“NN第一季第一集”中的一句台词为例进行说明：
电子设备自然语言处理方式，从台词“他真的看到aa了吗”中，确定出满足预设提取条件的词，作为该台词的关键词，具体为“aa”；进而，电子设备获得该台词的关键词“aa”对应的提示信息，为“aa能将触摸过的东西冻结，还可以将bb变成aa”。
下面，对电子设备确定台词对应的时间信息的方式进行介绍。
本发明实施例中，电子设备基于台词对应的起始时间和结束时间，确定台词对应的时间信息的实现方式，可以存在多种。具体的，所述基于该台词对应的起始时间和结束时间，确定该台词对应的时间信息的步骤，可以包括：
计算该台词对应的起始时间和结束时间的平均值，将该平均值确定为该台词对应的时间信息，即将该台词对应的起始时间和结束时间之间的中间时刻，确定为该台词对应的时间信息；或，
将该台词对应的起始时间或结束时间，确定为该台词对应的时间信息；或，
将该台词对应的起始时间和结束时间之间的任一时间，确定为该台词对应的时间信息；或，
将该台词对应的起始时间和结束时间之间的所有时间，确定为该台词对应的时间信息。
本发明实施例中，视频的台词和剧情的展现一般需要一定的时间，电子设备在基于台词对应的起始时间和结束时间，确定台词对应的时间信息时，最低能保证显示提示型弹幕信息的时间，与其对应的台词和/或剧情的展现的时间，之间的时间差不超过预定时间差即可。通过上述方式，不仅能保证自动为用户提供与所播放视频的内容相关的信息，例如：上述提示型弹幕信息，以提高用户的使用体验；并且能够保证上述所提供的与所播放视频的内容相关的信息的及时性，以更好的满足用户需求。
在另一种实现方式中，当上述预设的对应关系中包括：基于视频的剧情所确定的提示信息与时间信息之间的对应关系时，在所述将所获得的当前播放时间与预设的对应关系进行匹配的步骤之前，所述方法还可以包括：
建立预设的对应关系的过程，其中，如图4所示，所述过程可以包括：
S401：获得视频的所有视频帧以及每一视频帧对应的时间戳；
S402：针对每一视频帧，基于预设人脸识别模型，检测该视频帧中是否包含预设人员的人脸，并在检测到包含预设人员的人脸时，确定所检测到预设人员的人脸对应的标识信息；并检测该视频帧之后的多帧视频帧中，是否包含满足预设事件对应的预设数量的其他标识信息所对应预设人员的人脸；
S403：当确定包含满足预设事件对应的预设数量的其他标识信息所对应预设人员的人脸时，基于该视频帧对应的时间戳以及该视频帧之后的多帧视频帧各自对应的时间戳，确定该视频帧对应的时间信息；
其中，上述其他标识信息为：除从该帧视频帧中所检测到的预设人员的人脸对应的标识信息外的其他标识信息。
S404：建立该视频帧对应的时间信息与该视频帧对应的提示信息之间的对应关系，以获得预设的对应关系。
其中，该视频帧对应的提示信息为：预设事件的标识信息。
可以理解的是，电子设备本地或所连接的外部存储设备，可以存储有视频所涉及的历史事件即预设事件的标识信息，例如：历史事件的名称、时间以及简介等等，并存储有每一历史事件所涉及的主要人物的标识信息，例如：主要人物的名字等。举例而言，历史事件“ZZ起义”对应的人物主要为111、22、 33、44以及555等几个人物，电子设备可以预先建立历史事件“ZZ起义”的标识信息与上述所涉及人物的标识信息之间的对应关系。
本发明实施例中，电子设备在将所获得的当前播放时间与预设的对应关系进行匹配之前，可以预先建立上述预设的对应关系。电子设备可以首先获得视频的所有视频帧以及每一视频帧对应的时间戳。电子设备可以通过人脸识别的方式，识别视频中的每一视频帧，检测视频中是否在某一段剧情内出现某一历史事件对应的主要人物；当为是时，将该历史事件的标识信息作为该段剧情对应的提示信息；并且电子设备基于该段剧情在视频中的展现的时间，确定该段剧情对应的时间信息，建立上述该段剧情对应的提示信息与该段剧情对应的时间信息的对应关系。
具体的，电子设备可以基于预先训练的预设人脸识别模型，实现对视频帧的人脸识别。电子设备针对每一视频帧，基于预先训练的预设人脸识别模型，检测视频中的该视频帧中是否包含预设人员的人脸，并在检测到包含预设人员的人脸时，确定所检测到预设人员的人脸对应的标识信息；并基于预先训练的预设人脸识别模型，检测该视频帧之后的多帧视频帧中，是否包含满足预设事件对应的预设数量的其他标识信息所对应预设人员的人脸，当电子设备确定为包含时，则表明该视频帧以及该视频帧之后的多帧视频帧对应预设事件，电子设备可以建立上述视频帧以及该视频帧之后的多帧视频帧对应的时间信息，以及所对应预设事件的标识信息之间的对应关系。
举例而言，电子设备首先获得视频“YY大业”的每一帧视频帧以及每一视频帧对应的时间戳；针对每一视频帧，电子设备基于预设人脸识别模型，检测该视频帧中是否包含预设人员的人脸，其中，预设人员可以包括：111、22、 33、44以及555；当检测到111的人脸时，可以继续基于预设人脸识别模型，检测该视频帧之后的多帧视频帧中，是否历史事件“ZZ起义”对应的预设数量的其他标识信息所对应预设人员的人脸，当确定为包含时，则表明该视频帧以及该视频帧之后的多帧视频帧对应历史事件“ZZ起义”；将该历史事件“ZZ起义”的标识信息，作为该视频帧对应的提示信息；电子设备基于该视频帧对应的时间戳以及该视频帧之后的多帧视频帧各自对应的时间戳，确定该视频帧对应的时间信息；进而建立该视频帧对应的时间信息与历史事件“ZZ起义”的标识信息之间的对应关系。
本发明实施例中，上述基于该视频帧对应的时间戳以及该视频帧之后的多帧视频帧各自对应的时间戳，确定该视频帧对应的时间信息的过程，具体可以是：将该视频帧以及该视频帧之后的多帧视频帧中的任一帧视频帧对应的时间戳，确定为该视频帧对应的时间信息；或者，将该视频帧对应的时间戳，作为第一时间戳，将该视频帧之后的多帧视频帧中对应的数值最大的时间戳，作为第二时间戳，将该第一时间戳和第二时间戳之间的时间，确定为该视频帧对应的时间信息，或者，将该视频帧对应的时间戳，作为第一时间戳，并从上述该视频帧之后的多帧视频帧中，确定出包含第预设数量个其他标识信息所对应预设人员的人脸的视频帧，将该所确定出的视频帧对应的时间戳，作为第三时间戳，将第一时间戳和第三时间戳之间的时间，确定为该视频帧对应的时间信息，等等。
在一种情况中，上述预设数量可以基于每一预设事件所涉及的主要人物的数量进行设定。例如：上述历史事件“ZZ起义”对应主要人物的标识信息的数量为5，此时，可以设置上述预设数量为3或者设置为4，这都是可以的。
上述该视频帧之后的多帧视频帧中的“多帧”，可以是基于预设的时间阈值进行设置的，其中，可以是该视频帧所对应时间戳之后的第一时间段之间的视频帧。例如：该视频帧对应的时间戳为4分15秒，上述第一时间段为10至20 分；上述该视频帧之后的多帧视频帧，可以包括：4分15秒至14分15秒之间的视频帧，或者，4分15秒至24分15秒之间的视频帧，或者，4分15秒至19分15秒之间的视频帧，这都是可以的。
本发明实施例中，上述预设人脸识别模型为：预先基于样本图像以及机器学习算法训练所得的模型。上述预设人脸识别模型中包含：预设人员的人脸对应的图像特征与预设人员的标识信息的对应关系。其中，上述预设人员的标识信息为：该预设人员在视频中的标识信息，例如为：预设人员在视频中所饰演角色的名字、代号以及身份等，能够在视频中唯一确定该预设人员在视频中所饰演角色的信息。其中，上述机器学习算法可以包括：深度学习算法、卷积神经网络算法、支持向量机算法等等。
下面具体介绍上述预设人脸识别模型的建立过程。
在一种实现方式中，在所述针对每一视频帧，基于预设人脸识别模型，检测该视频帧中是否包含人脸，并在确定包含人脸时，确定所检测到的人脸对应的标识信息的步骤之前，所述方法还可以包括：
建立预设人脸识别模型的过程，其中，如图5所示，所述过程可以包括：
S501：获得初始人脸识别模型；
S502：获得多个样本图像帧；
其中，样本图像帧为：包含一个或多个预设人员的人脸的图像帧，预设人员为：该视频中的演员；
S503：获得每一样本图像帧对应的标定信息；
其中，每一标定信息包括：所对应样本图像帧所包含的一个或多个预设人员各自对应的预期标识信息，预期标识信息为：所对应预设人员在视频中的标识信息；
S504：基于所获得的每一包含一个或多个预设人员的人脸的样本图像帧，以及每一样本图像帧对应的、包含一个或多个预设人员各自对应的预期标识信息的标定信息，训练初始人脸识别模型，得到预设人脸识别模型。
可以理解的是，上述样本图像帧可以为：包含一个或多个预设人员的人脸的图像帧，上述样本图像帧可以是从该视频中获得的，也可以是从其他途径获得的，例如：从该视频的演员所参演的其他视频中获得。
在一种情况中，电子设备获得上述多个样本图像帧后，电子设备可以向工作人员展示上述多个样本图像帧，工作人员可以对上述每一样本图像帧进行人工标定。或者，电子设备在获得上述多个样本图像帧后，也可以通过预设程序对每一样本图像帧进行标定处理。
在一种实现方式中，人工标定的过程可以为：对于每一样本图像帧，工作人员可以标定标定信息，其中，该标定信息可以包括：所对应样本图像帧所包含的一个或多个预设人员各自对应的预期标识信息，该预期标识信息为：所对应预设人员在视频中的标识信息，例如为：预设人员在视频中所饰演角色的名字、代号以及身份等。在一种情况中，在对每一样本图像帧进行标定时，可以通过矩形等形状，从该样本图像帧中标定出预设人员的人脸所在区域，并针对该所标定的区域，标定该预设人员的人脸对应的预期标识信息。
可以理解的是，上述预设人脸识别模型为：基于包含一个或多个预设人员的人脸的样本图像帧，通过机器学习算法训练所得的模型，其可以更准确地检测出视频帧中是否包括预设人员的人脸，并确定出所检测出的预设人员的人脸对应的标识信息。并且，上述样本图像帧的数量越多，通过上述样本图像帧，训练所得的上述预设人脸识别模型越稳定，基于该预设人脸识别模型所得出的检测结果越准确。在一种实现方式中，在获得多个样本图像帧时，上述多个样本图像帧中所包含的各预设人员的人脸的数量可以尽量近似相等，即各预设人员的人脸之间的数量的差值不超过一预定数值。
在一种实现方式中，上述初始人脸识别模型包括特征提取层和特征分类层；
所述基于所获得的每一包含一个或多个预设人员的人脸的样本图像帧，以及每一样本图像帧对应的、包含一个或多个预设人员各自对应的标识信息的标定信息，训练初始人脸识别模型，得到预设人脸识别模型的步骤，可以包括：
将每一样本图像帧输入特征提取层，提取出该样本图像帧对应的图像特征，作为样本图像特征；
将所提取的样本特征，输入特征分类层，获得该样本图像帧对应的当前标识信息；
将所获得的当前标识信息与该样本图像帧对应的预期标识信息进行匹配；
当匹配成功时，得到包含特征提取层和特征分类层的预设人脸识别模型；
或者，当匹配不成功时，则分别调整特征提取层和特征分类层的参数；重新返回所述将每一样本图像帧输入所述特征提取层，提取出该样本图像帧对应的图像特征，作为样本图像特征的步骤；直至匹配成功，得到包含特征提取层和特征分类层的预设人脸识别模型。
本发明实施例中，上述将所获得的当前标识信息与该样本图像帧对应的预期标识信息进行匹配的过程可以为：利用预设的损失函数计算所获得的当前标识信息与该样本图像帧对应的预期标识信息之间的差值；当所计算差值在预设允许损失范围内，则确定匹配成功，当所计算差值不在预设允许损失范围内，则确定匹配不成功。此时，可以基于将所获得的当前标识信息与该样本图像帧对应的预期标识信息之间的差值变小的原则，调整上述特征提取层和特征分类层的参数；后续的，再重新返回执行将每一样本图像帧输入特征提取层，提取出该样本图像帧对应的图像特征，作为样本图像特征的步骤。在一种实现方式中，可以利用梯度下降法调整上述特征提取层和特征分类层的参数。
在一种实现方式中，在训练上述初始人脸识别模型的过程中，可以将每一样本图像帧均输入上述初始人脸识别模型，以对上述初始人脸识别模型进行训练；也可以是首先从上述样本图像帧中，随机或顺序选取预定数量的样本图像帧，将所选取的预定数量的样本图像帧输入上述初始人脸识别模型，以对上述初始人脸识别模型进行训练，得到预设人脸识别模型。
在一种实现方式中，所述针对每一视频帧，基于预设人脸识别模型，检测该视频帧中是否包含预设演员的人脸，并在检测到包含预设演员的人脸时，确定所检测到预设演员的人脸对应的标识信息的步骤，可以包括：
针对每一视频帧，将该视频帧输入预设人脸识别模型，预设人脸识别模型提取该视频帧的图像特征，作为待检测图像特征；并基于所提取的待检测图像特征，检测该视频帧中是否包含预设演员的人脸，并在检测到包含预设演员的人脸时，确定所检测到预设演员的人脸对应的标识信息。
在本发明实施例中，电子设备针对每一视频帧，将该视频帧输入预设人脸识别模型，该预设人脸识别模型可以基于其特征提取层提取该视频帧对应的图像特征，作为待检测图像特征，并基于其特征分类层，根据该待检测图像特征，检测该视频帧中是否包含预设人员的人脸，并在检测到包含预设人员的人脸时，确定所检测出的预设人员的人脸对应的输出的标识信息，进而输出，以使电子设备可以获得上述标识信息。
在一种实现方式中，为了更好的满足用户需求，使得所显示的提示型弹幕信息更具人性化，提高用户的使用体验，所述生成包含目标提示信息的弹幕信息，作为提示型弹幕信息的步骤，可以包括：
基于预设的模板，生成包含目标提示信息的弹幕信息，作为提示型弹幕信息。
为了避免所显示的提示型弹幕信息过于生硬，使得所显示的提示型弹幕信息更具人性化，本发明实施例中针对不同提示信息，建立了不同的模板。在电子设备确定出目标提示信息后，可以基于电子设备预存的模板，对目标提示信息进行修饰，以生成提示型弹幕信息，进而显示提示型弹幕信息。例如，预设模版可以包括：“据了解，xx”、“xx，就是这么厉害！！”等等，其中，“xx”可以标识插入目标提示信息的位置。
相应于上述方法实施例，本发明实施例还提供了一种弹幕显示装置，如图 6所示，所述装置可以包括：
第一获得模块610，用于在视频播放的过程中，获得所述视频的当前播放时间；
匹配模块620，用于将所获得的当前播放时间与预设的对应关系进行匹配，其中，所述预设的对应关系包含：各提示信息与时间信息的对应关系，所述提示信息为：基于所述视频的、与当前播放时间对应的台词和/或剧情，所确定的信息；
第一确定模块630，用于当匹配成功时，从所述预设的对应关系中，确定与所述当前播放时间匹配的时间信息对应的提示信息，作为目标提示信息；
生成模块640，用于生成包含所述目标提示信息的弹幕信息，作为提示型弹幕信息；
显示模块650，用于基于与所述当前播放时间匹配的时间信息，显示所述提示型弹幕信息。
本发明实施例中，在视频播放的过程中，可以自动基于当前播放时间与预设的对应关系，确定出该视频的且与当前播放时间对应的台词和/或剧情相关的目标提示信息，并生成包含目标提示信息的提示型弹幕信息，并显示。以实现自动基于所播放视频的内容，为用户提供与该所播放视频的内容相关的信息，以提高用户的使用体验。
在一种实现方式中，如图7所示，所述装置还可以包括：
第一关系建立模块710，用于在所述将所获得的当前播放时间与预设的对应关系进行匹配之前，建立所述预设的对应关系，其中，所述第一关系建立模块710包括：
第一获得单元711，用于获得所述视频对应的台词信息，其中，所述台词信息包含：所述视频的所有台词以及每一台词对应的起始时间和结束时间；
第一确定单元712，用于针对所获得的每一台词，基于该台词对应的起始时间和结束时间，确定该台词对应的时间信息；
第二确定单元713，用于针对所获得的每一台词，通过自然语言处理方式，从该台词中确定出满足预设提取条件的词，作为该台词的关键词，其中，所述预设提取条件包括：所对应词性为名词的条件；
第二获得单元714，用于针对所获得的每一台词，获得该台词的关键词对应的提示信息；
第一关系建立单元715，用于针对所获得的每一台词，建立该台词的关键词对应的提示信息与该台词对应的时间信息之间的对应关系，以获得所述预设的对应关系。
在一种实现方式中，所述第一确定单元712，具体用于
计算该台词对应的起始时间和结束时间的平均值，将该平均值确定为该台词对应的时间信息；或，
将该台词对应的起始时间或结束时间，确定为该台词对应的时间信息；或，
将该台词对应的起始时间和结束时间之间的任一时间，确定为该台词对应的时间信息；或，
将该台词对应的起始时间和结束时间之间的所有时间，确定为该台词对应的时间信息。
在一种实现方式中，如图8所示，所述装置还可以包括：
第二关系建立模块810，用于在所述将所获得的当前播放时间与预设的对应关系进行匹配之前，建立所述预设的对应关系，其中，所述第二关系建立模块810包括：
第三获得单元811，用于获得所述视频的所有视频帧以及每一视频帧对应的时间戳；
检测确定单元812，用于针对每一视频帧，基于预设人脸识别模型，检测该视频帧中是否包含预设人员的人脸，并在检测到包含预设人员的人脸时，确定所检测到预设人员的人脸对应的标识信息；并检测该视频帧之后的多帧视频帧中，是否包含满足预设事件对应的的预设数量的其他标识信息所对应预设人员的人脸；
第三确定单元813，用于当确定包含满足预设事件对应的预设数量的其他标识信息所对应预设人员的人脸时，基于该视频帧对应的时间戳以及该视频帧之后的多帧视频帧各自对应的时间戳，确定该视频帧对应的时间信息；
第二关系建立单元814，用于建立该视频帧对应的时间信息与该视频帧对应的提示信息之间的对应关系，以获得所述预设的对应关系，其中，该视频帧对应的提示信息为：所述预设事件的标识信息。
在一种实现方式中，如图9所示，所述装置还可以包括：
模型建立模块910，用于在所述针对每一视频帧，基于预设人脸识别模型，检测该视频帧中是否包含人脸，并在确定包含人脸时，确定所检测到的人脸对应的标识信息之前，建立所述预设人脸识别模型，其中，所述模型建立模块910 包括：
第四获得单元911，用于获得初始人脸识别模型；
第五获得单元912，用于获得多个样本图像帧，其中，所述样本图像帧为：包含一个或多个预设人员的人脸的图像帧，所述预设人员为：所述视频中的演员；
第六获得单元913，用于获得每一样本图像帧对应的标定信息，其中，每一标定信息包括：所对应样本图像帧所包含的一个或多个预设人员各自对应的预期标识信息，所述预期标识信息为：所对应预设人员在所述视频中的标识信息；
训练得到单元914，用于基于所获得的每一包含所述一个或多个预设人员的人脸的样本图像帧，以及每一样本图像帧对应的、包含一个或多个预设人员各自对应的预期标识信息的标定信息，训练所述初始人脸识别模型，得到预设人脸识别模型。
在一种实现方式中，所述初始人脸识别模型包括特征提取层和特征分类层；
所述训练得到单元914，具体用于
将每一样本图像帧输入所述特征提取层，提取出该样本图像帧对应的图像特征，作为样本图像特征；
将所提取的样本特征，输入所述特征分类层，获得该样本图像帧对应的当前标识信息；
将所获得的当前标识信息与该样本图像帧对应的预期标识信息进行匹配；
当匹配成功时，得到包含所述特征提取层和所述特征分类层的预设人脸识别模型；
或者，当匹配不成功时，则分别调整所述特征提取层和所述特征分类层的参数；重新返回所述将每一样本图像帧输入所述特征提取层，提取出该样本图像帧对应的图像特征，作为样本图像特征；直至匹配成功，得到包含所述特征提取层和所述特征分类层的预设人脸识别模型。
在一种实现方式中，所述检测确定单元812，具体用于
针对每一视频帧，将该视频帧输入所述预设人脸识别模型，所述预设人脸识别模型提取该视频帧的图像特征，作为待检测图像特征；并基于所提取的待检测图像特征，检测该视频帧中是否包含预设演员的人脸，并在检测到包含预设演员的人脸时，确定所检测到预设演员的人脸对应的标识信息。
在一种实现方式中，所述生成模块640，具体用于
基于预设的模板，生成包含所述目标提示信息的弹幕信息，作为提示型弹幕信息。
相应于上述方法实施例，本发明实施例还提供了一种电子设备，如图10所示，包括处理器101、通信接口102、存储器103和通信总线104，其中，处理器 101，通信接口102，存储器103通过通信总线104完成相互间的通信，
存储器103，用于存放计算机程序；
处理器101，用于执行存储器103上所存放的程序时，实现本发明实施例所提供的上述任一所述的弹幕显示方法，可以包括步骤：
在视频播放的过程中，获得所述视频的当前播放时间；
将所获得的当前播放时间与预设的对应关系进行匹配，其中，所述预设的对应关系包含：各提示信息与时间信息的对应关系，所述提示信息为：基于所述视频的、与当前播放时间对应的台词和/或剧情，所确定的信息；
当匹配成功时，从所述预设的对应关系中，确定与所述当前播放时间匹配的时间信息对应的提示信息，作为目标提示信息；
生成包含所述目标提示信息的弹幕信息，作为提示型弹幕信息；
基于与所述当前播放时间匹配的时间信息，显示所述提示型弹幕信息。
本发明实施例中，在视频播放的过程中，可以自动基于当前播放时间与预设的对应关系，确定出该视频的且与当前播放时间对应的台词和/或剧情相关的目标提示信息，并生成包含目标提示信息的提示型弹幕信息，并显示。以实现自动基于所播放视频的内容，为用户提供与该所播放视频的内容相关的信息，以提高用户的使用体验。
在一种实现方式中，在所述将所获得的当前播放时间与预设的对应关系进行匹配的步骤之前，所述方法还包括：
建立所述预设的对应关系的过程，其中，所述过程包括：
获得所述视频对应的台词信息，其中，所述台词信息包含：所述视频的所有台词以及每一台词对应的起始时间和结束时间；
针对所获得的每一台词，基于该台词对应的起始时间和结束时间，确定该台词对应的时间信息；
针对所获得的每一台词，通过自然语言处理方式，从该台词中确定出满足预设提取条件的词，作为该台词的关键词，其中，所述预设提取条件包括：所对应词性为名词的条件；
针对所获得的每一台词，获得该台词的关键词对应的提示信息；
针对所获得的每一台词，建立该台词的关键词对应的提示信息与该台词对应的时间信息之间的对应关系，以获得所述预设的对应关系。
在一种实现方式中，所述基于该台词对应的起始时间和结束时间，确定该台词对应的时间信息的步骤，包括：
计算该台词对应的起始时间和结束时间的平均值，将该平均值确定为该台词对应的时间信息；或，
将该台词对应的起始时间或结束时间，确定为该台词对应的时间信息；或，
将该台词对应的起始时间和结束时间之间的任一时间，确定为该台词对应的时间信息；或，
将该台词对应的起始时间和结束时间之间的所有时间，确定为该台词对应的时间信息。
在一种实现方式中，在所述将所获得的当前播放时间与预设的对应关系进行匹配的步骤之前，还包括：
建立所述预设的对应关系的过程，其中，所述过程包括：
获得所述视频的所有视频帧以及每一视频帧对应的时间戳；
针对每一视频帧，基于预设人脸识别模型，检测该视频帧中是否包含预设人员的人脸，并在检测到包含预设人员的人脸时，确定所检测到预设人员的人脸对应的标识信息；并检测该视频帧之后的多帧视频帧中，是否包含满足预设事件对应的预设数量的其他标识信息所对应预设人员的人脸；
当确定包含满足预设事件对应的预设数量的其他标识信息所对应预设人员的人脸时，基于该视频帧对应的时间戳以及该视频帧之后的多帧视频帧各自对应的时间戳，确定该视频帧对应的时间信息；
建立该视频帧对应的时间信息与该视频帧对应的提示信息之间的对应关系，以获得所述预设的对应关系，其中，该视频帧对应的提示信息为：所述预设事件的标识信息。
在一种实现方式中，在所述针对每一视频帧，基于预设人脸识别模型，检测该视频帧中是否包含人脸，并在确定包含人脸时，确定所检测到的人脸对应的标识信息的步骤之前，还包括：
建立所述预设人脸识别模型的过程，其中，所述过程包括：
获得初始人脸识别模型；
获得多个样本图像帧，其中，所述样本图像帧为：包含一个或多个预设人员的人脸的图像帧，所述预设人员为：所述视频中的演员；
获得每一样本图像帧对应的标定信息，其中，每一标定信息包括：所对应样本图像帧所包含的一个或多个预设人员各自对应的预期标识信息，所述预期标识信息为：所对应预设人员在所述视频中的标识信息；
基于所获得的每一包含所述一个或多个预设人员的人脸的样本图像帧，以及每一样本图像帧对应的、包含一个或多个预设人员各自对应的预期标识信息的标定信息，训练所述初始人脸识别模型，得到预设人脸识别模型。
在一种实现方式中，所述初始人脸识别模型包括特征提取层和特征分类层；
所述基于所获得的每一包含所述一个或多个预设人员的人脸的样本图像帧，以及每一样本图像帧对应的、包含一个或多个预设人员各自对应的标识信息的标定信息，训练所述初始人脸识别模型，得到预设人脸识别模型的步骤，包括：
将每一样本图像帧输入所述特征提取层，提取出该样本图像帧对应的图像特征，作为样本图像特征；
将所提取的样本特征，输入所述特征分类层，获得该样本图像帧对应的当前标识信息；
将所获得的当前标识信息与该样本图像帧对应的预期标识信息进行匹配；
当匹配成功时，得到包含所述特征提取层和所述特征分类层的预设人脸识别模型；
或者，当匹配不成功时，则分别调整所述特征提取层和所述特征分类层的参数；重新返回所述将每一样本图像帧输入所述特征提取层，提取出该样本图像帧对应的图像特征，作为样本图像特征的步骤；直至匹配成功，得到包含所述特征提取层和所述特征分类层的预设人脸识别模型。
在一种实现方式中，所述针对每一视频帧，基于预设人脸识别模型，检测该视频帧中是否包含预设演员的人脸，并在检测到包含预设演员的人脸时，确定所检测到预设演员的人脸对应的标识信息的步骤，包括：
针对每一视频帧，将该视频帧输入所述预设人脸识别模型，所述预设人脸识别模型提取该视频帧的图像特征，作为待检测图像特征；并基于所提取的待检测图像特征，检测该视频帧中是否包含预设演员的人脸，并在检测到包含预设演员的人脸时，确定所检测到预设演员的人脸对应的标识信息。
在一种实现方式中，所述生成包含所述目标提示信息的弹幕信息，作为提示型弹幕信息的步骤，包括：
基于预设的模板，生成包含所述目标提示信息的弹幕信息，作为提示型弹幕信息。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器 (DigitalSignal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
相应于上述方法实施例，在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的弹幕显示方法。
相应于上述方法实施例，在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的弹幕显示方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (17)
1.一种弹幕显示方法，其特征在于，所述方法包括：
在视频播放的过程中，获得所述视频的当前播放时间；
将所获得的当前播放时间与预设的对应关系进行匹配，其中，所述预设的对应关系包含：各提示信息与时间信息的对应关系，所述提示信息为：基于所述视频的、与当前播放时间对应的台词和/或剧情，所确定的信息；
当匹配成功时，从所述预设的对应关系中，确定与所述当前播放时间匹配的时间信息对应的提示信息，作为目标提示信息；
生成包含所述目标提示信息的弹幕信息，作为提示型弹幕信息；
基于与所述当前播放时间匹配的时间信息，显示所述提示型弹幕信息。
2.根据权利要求1所述的方法，其特征在于，在所述将所获得的当前播放时间与预设的对应关系进行匹配的步骤之前，所述方法还包括：
建立所述预设的对应关系的过程，其中，所述过程包括：
获得所述视频对应的台词信息，其中，所述台词信息包含：所述视频的所有台词以及每一台词对应的起始时间和结束时间；
针对所获得的每一台词，基于该台词对应的起始时间和结束时间，确定该台词对应的时间信息；
针对所获得的每一台词，通过自然语言处理方式，从该台词中确定出满足预设提取条件的词，作为该台词的关键词，其中，所述预设提取条件包括：所对应词性为名词的条件；
针对所获得的每一台词，获得该台词的关键词对应的提示信息；
针对所获得的每一台词，建立该台词的关键词对应的提示信息与该台词对应的时间信息之间的对应关系，以获得所述预设的对应关系。
3.根据权利要求2所述的方法，其特征在于，所述基于该台词对应的起始时间和结束时间，确定该台词对应的时间信息的步骤，包括：
计算该台词对应的起始时间和结束时间的平均值，将该平均值确定为该台词对应的时间信息；或，
将该台词对应的起始时间或结束时间，确定为该台词对应的时间信息；或，
将该台词对应的起始时间和结束时间之间的任一时间，确定为该台词对应的时间信息；或，
将该台词对应的起始时间和结束时间之间的所有时间，确定为该台词对应的时间信息。
4.根据权利要求1所述的方法，其特征在于，在所述将所获得的当前播放时间与预设的对应关系进行匹配的步骤之前，所述方法还包括：
建立所述预设的对应关系的过程，其中，所述过程包括：
获得所述视频的所有视频帧以及每一视频帧对应的时间戳；
针对每一视频帧，基于预设人脸识别模型，检测该视频帧中是否包含预设人员的人脸，并在检测到包含预设人员的人脸时，确定所检测到预设人员的人脸对应的标识信息；并检测该视频帧之后的多帧视频帧中，是否包含满足预设事件对应的预设数量的其他标识信息所对应预设人员的人脸；
当确定包含满足预设事件对应的预设数量的其他标识信息所对应预设人员的人脸时，基于该视频帧对应的时间戳以及该视频帧之后的多帧视频帧各自对应的时间戳，确定该视频帧对应的时间信息；
建立该视频帧对应的时间信息与该视频帧对应的提示信息之间的对应关系，以获得所述预设的对应关系，其中，该视频帧对应的提示信息为：所述预设事件的标识信息。
5.根据权利要求4所述的方法，其特征在于，在所述针对每一视频帧，基于预设人脸识别模型，检测该视频帧中是否包含人脸，并在确定包含人脸时，确定所检测到的人脸对应的标识信息的步骤之前，所述方法还包括：
建立所述预设人脸识别模型的过程，其中，所述过程包括：
获得初始人脸识别模型；
获得多个样本图像帧，其中，所述样本图像帧为：包含一个或多个预设人员的人脸的图像帧，所述预设人员为：所述视频中的演员；
获得每一样本图像帧对应的标定信息，其中，每一标定信息包括：所对应样本图像帧所包含的一个或多个预设人员各自对应的预期标识信息，所述预期标识信息为：所对应预设人员在所述视频中的标识信息；
基于所获得的每一包含所述一个或多个预设人员的人脸的样本图像帧，以及每一样本图像帧对应的、包含一个或多个预设人员各自对应的预期标识信息的标定信息，训练所述初始人脸识别模型，得到预设人脸识别模型。
6.根据权利要求5所述的方法，其特征在于，所述初始人脸识别模型包括特征提取层和特征分类层；
所述基于所获得的每一包含所述一个或多个预设人员的人脸的样本图像帧，以及每一样本图像帧对应的、包含一个或多个预设人员各自对应的标识信息的标定信息，训练所述初始人脸识别模型，得到预设人脸识别模型的步骤，包括：
将每一样本图像帧输入所述特征提取层，提取出该样本图像帧对应的图像特征，作为样本图像特征；
将所提取的样本特征，输入所述特征分类层，获得该样本图像帧对应的当前标识信息；
将所获得的当前标识信息与该样本图像帧对应的预期标识信息进行匹配；
当匹配成功时，得到包含所述特征提取层和所述特征分类层的预设人脸识别模型；
或者，当匹配不成功时，则分别调整所述特征提取层和所述特征分类层的参数；重新返回所述将每一样本图像帧输入所述特征提取层，提取出该样本图像帧对应的图像特征，作为样本图像特征的步骤；直至匹配成功，得到包含所述特征提取层和所述特征分类层的预设人脸识别模型。
7.根据权利要求4所述的方法，其特征在于，所述针对每一视频帧，基于预设人脸识别模型，检测该视频帧中是否包含预设演员的人脸，并在检测到包含预设演员的人脸时，确定所检测到预设演员的人脸对应的标识信息的步骤，包括：
针对每一视频帧，将该视频帧输入所述预设人脸识别模型，所述预设人脸识别模型提取该视频帧的图像特征，作为待检测图像特征；并基于所提取的待检测图像特征，检测该视频帧中是否包含预设演员的人脸，并在检测到包含预设演员的人脸时，确定所检测到预设演员的人脸对应的标识信息。
8.根据权利要求1-7任一项所述的方法，其特征在于，所述生成包含所述目标提示信息的弹幕信息，作为提示型弹幕信息的步骤，包括：
基于预设的模板，生成包含所述目标提示信息的弹幕信息，作为提示型弹幕信息。
9.一种弹幕显示装置，其特征在于，所述装置包括：
第一获得模块，用于在视频播放的过程中，获得所述视频的当前播放时间；
匹配模块，用于将所获得的当前播放时间与预设的对应关系进行匹配，其中，所述预设的对应关系包含：各提示信息与时间信息的对应关系，所述提示信息为：基于所述视频的、与当前播放时间对应的台词和/或剧情，所确定的信息；
第一确定模块，用于当匹配成功时，从所述预设的对应关系中，确定与所述当前播放时间匹配的时间信息对应的提示信息，作为目标提示信息；
生成模块，用于生成包含所述目标提示信息的弹幕信息，作为提示型弹幕信息；
显示模块，用于基于与所述当前播放时间匹配的时间信息，显示所述提示型弹幕信息。
10.根据权利要求9所述的装置，其特征在于，所述装置还包括：
第一关系建立模块，用于在所述将所获得的当前播放时间与预设的对应关系进行匹配之前，建立所述预设的对应关系，其中，所述第一关系建立模块包括：
第一获得单元，用于获得所述视频对应的台词信息，其中，所述台词信息包含：所述视频的所有台词以及每一台词对应的起始时间和结束时间；
第一确定单元，用于针对所获得的每一台词，基于该台词对应的起始时间和结束时间，确定该台词对应的时间信息；
第二确定单元，用于针对所获得的每一台词，通过自然语言处理方式，从该台词中确定出满足预设提取条件的词，作为该台词的关键词，其中，所述预设提取条件包括：所对应词性为名词的条件；
第二获得单元，用于针对所获得的每一台词，获得该台词的关键词对应的提示信息；
第一关系建立单元，用于针对所获得的每一台词，建立该台词的关键词对应的提示信息与该台词对应的时间信息之间的对应关系，以获得所述预设的对应关系。
11.根据权利要求10所述的装置，其特征在于，所述第一确定单元，具体用于
计算该台词对应的起始时间和结束时间的平均值，将该平均值确定为该台词对应的时间信息；或，
将该台词对应的起始时间或结束时间，确定为该台词对应的时间信息；或，
将该台词对应的起始时间和结束时间之间的任一时间，确定为该台词对应的时间信息；或，
将该台词对应的起始时间和结束时间之间的所有时间，确定为该台词对应的时间信息。
12.根据权利要求9所述的装置，其特征在于，所述装置还包括：
第二关系建立模块，用于在所述将所获得的当前播放时间与预设的对应关系进行匹配之前，建立所述预设的对应关系，其中，所述第二关系建立模块包括：
第三获得单元，用于获得所述视频的所有视频帧以及每一视频帧对应的时间戳；
检测确定单元，用于针对每一视频帧，基于预设人脸识别模型，检测该视频帧中是否包含预设人员的人脸，并在检测到包含预设人员的人脸时，确定所检测到预设人员的人脸对应的标识信息；并检测该视频帧之后的多帧视频帧中，是否包含满足预设事件对应的的预设数量的其他标识信息所对应预设人员的人脸；
第三确定单元，用于当确定包含满足预设事件对应的预设数量的其他标识信息所对应预设人员的人脸时，基于该视频帧对应的时间戳以及该视频帧之后的多帧视频帧各自对应的时间戳，确定该视频帧对应的时间信息；
第二关系建立单元，用于建立该视频帧对应的时间信息与该视频帧对应的提示信息之间的对应关系，以获得所述预设的对应关系，其中，该视频帧对应的提示信息为：所述预设事件的标识信息。
13.根据权利要求12所述的装置，其特征在于，所述装置还包括：
模型建立模块，用于在所述针对每一视频帧，基于预设人脸识别模型，检测该视频帧中是否包含人脸，并在确定包含人脸时，确定所检测到的人脸对应的标识信息之前，建立所述预设人脸识别模型，其中，所述模型建立模块包括：
第四获得单元，用于获得初始人脸识别模型；
第五获得单元，用于获得多个样本图像帧，其中，所述样本图像帧为：包含一个或多个预设人员的人脸的图像帧，所述预设人员为：所述视频中的演员；
第六获得单元，用于获得每一样本图像帧对应的标定信息，其中，每一标定信息包括：所对应样本图像帧所包含的一个或多个预设人员各自对应的预期标识信息，所述预期标识信息为：所对应预设人员在所述视频中的标识信息；
训练得到单元，用于基于所获得的每一包含所述一个或多个预设人员的人脸的样本图像帧，以及每一样本图像帧对应的、包含一个或多个预设人员各自对应的预期标识信息的标定信息，训练所述初始人脸识别模型，得到预设人脸识别模型。
14.根据权利要求13所述的装置，其特征在于，所述初始人脸识别模型包括特征提取层和特征分类层；
所述训练得到单元，具体用于
将每一样本图像帧输入所述特征提取层，提取出该样本图像帧对应的图像特征，作为样本图像特征；
将所提取的样本特征，输入所述特征分类层，获得该样本图像帧对应的当前标识信息；
将所获得的当前标识信息与该样本图像帧对应的预期标识信息进行匹配；
当匹配成功时，得到包含所述特征提取层和所述特征分类层的预设人脸识别模型；
或者，当匹配不成功时，则分别调整所述特征提取层和所述特征分类层的参数；重新返回所述将每一样本图像帧输入所述特征提取层，提取出该样本图像帧对应的图像特征，作为样本图像特征；直至匹配成功，得到包含所述特征提取层和所述特征分类层的预设人脸识别模型。
15.根据权利要求12所述的装置，其特征在于，所述检测确定单元，具体用于
针对每一视频帧，将该视频帧输入所述预设人脸识别模型，所述预设人脸识别模型提取该视频帧的图像特征，作为待检测图像特征；并基于所提取的待检测图像特征，检测该视频帧中是否包含预设演员的人脸，并在检测到包含预设演员的人脸时，确定所检测到预设演员的人脸对应的标识信息。
16.根据权利要求9-15任一项所述的装置，其特征在于，所述生成模块，具体用于
基于预设的模板，生成包含所述目标提示信息的弹幕信息，作为提示型弹幕信息。
17.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-8任一所述的弹幕显示方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810322103.8A CN109089172B (zh) | 2018-04-11 | 2018-04-11 | 一种弹幕显示方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810322103.8A CN109089172B (zh) | 2018-04-11 | 2018-04-11 | 一种弹幕显示方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109089172A true CN109089172A (zh) | 2018-12-25 |
| CN109089172B CN109089172B (zh) | 2021-01-15 |
Family
ID=64839623
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810322103.8A Active CN109089172B (zh) | 2018-04-11 | 2018-04-11 | 一种弹幕显示方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109089172B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110381359A (zh) * | 2019-06-26 | 2019-10-25 | 北京奇艺世纪科技有限公司 | 一种视频处理方法、装置、计算机设备及存储介质 |
| CN111372116A (zh) * | 2020-03-27 | 2020-07-03 | 咪咕文化科技有限公司 | 视频播放提示信息处理方法、装置、电子设备及存储介质 |
| CN111683274A (zh) * | 2020-06-23 | 2020-09-18 | 腾讯科技（深圳）有限公司 | 弹幕广告展示方法、装置、设备及计算机可读存储介质 |
| CN112672219A (zh) * | 2020-12-17 | 2021-04-16 | 北京达佳互联信息技术有限公司 | 评论信息的交互方法和装置、电子设备 |
| CN113316015A (zh) * | 2021-05-26 | 2021-08-27 | 上海哔哩哔哩科技有限公司 | 弹幕处理方法、装置及系统 |
| CN114501154A (zh) * | 2021-12-27 | 2022-05-13 | 咪咕文化科技有限公司 | 流媒体播放方法、电子设备和可读存储介质 |
| CN115297355A (zh) * | 2022-08-02 | 2022-11-04 | 北京奇艺世纪科技有限公司 | 弹幕显示方法、生成方法、装置、电子设备及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040187150A1 (en) * | 2003-03-18 | 2004-09-23 | Gonder Thomas L. | Technique for providing program guide data through a communications network delivering programming content |
| WO2012120524A2 (en) * | 2011-03-09 | 2012-09-13 | Tata Consultancy Services Limited | A method and system for implementation of an interactive television application |
| CN102771115A (zh) * | 2009-12-29 | 2012-11-07 | 电视互动系统有限公司 | 联网电视的视频片段识别方法及上下文定向内容显示方法 |
| CN103260082A (zh) * | 2013-05-21 | 2013-08-21 | 王强 | 一种视频处理方法及装置 |
| CN104599693A (zh) * | 2015-01-29 | 2015-05-06 | 语联网（武汉）信息技术有限公司 | 台词同步字幕的制作方法 |
| CN104967896A (zh) * | 2014-08-04 | 2015-10-07 | 腾讯科技（北京）有限公司 | 一种显示弹幕评论信息的方法和装置 |
| CN106204168A (zh) * | 2016-09-07 | 2016-12-07 | 广州爱九游信息技术有限公司 | 商品弹幕显示系统、设备、装置及方法 |
| CN107168934A (zh) * | 2017-05-15 | 2017-09-15 | 掌阅科技股份有限公司 | 电子书情节提示方法、电子设备及计算机存储介质 |
-
2018
- 2018-04-11 CN CN201810322103.8A patent/CN109089172B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040187150A1 (en) * | 2003-03-18 | 2004-09-23 | Gonder Thomas L. | Technique for providing program guide data through a communications network delivering programming content |
| CN102771115A (zh) * | 2009-12-29 | 2012-11-07 | 电视互动系统有限公司 | 联网电视的视频片段识别方法及上下文定向内容显示方法 |
| WO2012120524A2 (en) * | 2011-03-09 | 2012-09-13 | Tata Consultancy Services Limited | A method and system for implementation of an interactive television application |
| CN103260082A (zh) * | 2013-05-21 | 2013-08-21 | 王强 | 一种视频处理方法及装置 |
| CN104967896A (zh) * | 2014-08-04 | 2015-10-07 | 腾讯科技（北京）有限公司 | 一种显示弹幕评论信息的方法和装置 |
| CN104599693A (zh) * | 2015-01-29 | 2015-05-06 | 语联网（武汉）信息技术有限公司 | 台词同步字幕的制作方法 |
| CN106204168A (zh) * | 2016-09-07 | 2016-12-07 | 广州爱九游信息技术有限公司 | 商品弹幕显示系统、设备、装置及方法 |
| CN107168934A (zh) * | 2017-05-15 | 2017-09-15 | 掌阅科技股份有限公司 | 电子书情节提示方法、电子设备及计算机存储介质 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110381359A (zh) * | 2019-06-26 | 2019-10-25 | 北京奇艺世纪科技有限公司 | 一种视频处理方法、装置、计算机设备及存储介质 |
| CN110381359B (zh) * | 2019-06-26 | 2022-03-08 | 北京奇艺世纪科技有限公司 | 一种视频处理方法、装置、计算机设备及存储介质 |
| CN111372116A (zh) * | 2020-03-27 | 2020-07-03 | 咪咕文化科技有限公司 | 视频播放提示信息处理方法、装置、电子设备及存储介质 |
| CN111372116B (zh) * | 2020-03-27 | 2023-01-03 | 咪咕文化科技有限公司 | 视频播放提示信息处理方法、装置、电子设备及存储介质 |
| CN111683274A (zh) * | 2020-06-23 | 2020-09-18 | 腾讯科技（深圳）有限公司 | 弹幕广告展示方法、装置、设备及计算机可读存储介质 |
| CN112672219A (zh) * | 2020-12-17 | 2021-04-16 | 北京达佳互联信息技术有限公司 | 评论信息的交互方法和装置、电子设备 |
| CN112672219B (zh) * | 2020-12-17 | 2023-06-20 | 北京达佳互联信息技术有限公司 | 评论信息的交互方法和装置、电子设备 |
| CN113316015A (zh) * | 2021-05-26 | 2021-08-27 | 上海哔哩哔哩科技有限公司 | 弹幕处理方法、装置及系统 |
| CN114501154A (zh) * | 2021-12-27 | 2022-05-13 | 咪咕文化科技有限公司 | 流媒体播放方法、电子设备和可读存储介质 |
| CN115297355A (zh) * | 2022-08-02 | 2022-11-04 | 北京奇艺世纪科技有限公司 | 弹幕显示方法、生成方法、装置、电子设备及存储介质 |
| CN115297355B (zh) * | 2022-08-02 | 2024-01-23 | 北京奇艺世纪科技有限公司 | 弹幕显示方法、生成方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109089172B (zh) | 2021-01-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109089172A (zh) | 一种弹幕显示方法、装置及电子设备 | |
| CN110225367A (zh) | 一种视频中对象信息的显示、识别方法及装置 | |
| CN108810642B (zh) | 一种弹幕显示方法、装置及电子设备 | |
| US20170289619A1 (en) | Method for positioning video, terminal apparatus and cloud server | |
| CN102779511B (zh) | 基于单词级别的备选生成的语音识别系统及方法 | |
| CN107613400A (zh) | 一种语音弹幕的实现方法和装置 | |
| CN106098063A (zh) | 一种语音控制方法、终端设备和服务器 | |
| RU2016116893A (ru) | Способ диалога между машиной, такой как гуманоидный робот, и собеседником-человеком, компьютерный программный продукт и гуманоидный робот для осуществления такого способа | |
| CN110321863A (zh) | 年龄识别方法及装置、存储介质 | |
| CN104699676B (zh) | 基于语音识别的信息搜索方法和系统 | |
| US11503110B2 (en) | Method for presenting schedule reminder information, terminal device, and cloud server | |
| CN107809654A (zh) | 电视机系统及电视机控制方法 | |
| CN106815284A (zh) | 新闻视频的推荐方法及推荐装置 | |
| CN106027801A (zh) | 一种通信消息的处理方法及装置、移动设备 | |
| CN106356056A (zh) | 语音识别方法和装置 | |
| CN104090915B (zh) | 用户数据更新方法及装置 | |
| CN106156299B (zh) | 文本信息的主题内容识别方法及装置 | |
| CN112667081A (zh) | 一种弹幕显示方法、装置、存储介质及终端 | |
| CN106878773A (zh) | 电子设备、视频处理方法及装置和存储介质 | |
| CN104244056A (zh) | 一种语音处理方法、设备及系统 | |
| CN111027536B (zh) | 一种基于电子设备的搜题方法及电子设备 | |
| CN107819807A (zh) | 一种信息验证方法、装置和设备 | |
| CN106663160B (zh) | 一种技能包的搜索与定位方法、系统及机器人 | |
| CN105100629B (zh) | 一种图片处理方法和电子设备 | |
| CN105677806B (zh) | 一种信息处理方法及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |