CN111212311A - 一种语音交互视频的生成及播放方法 - Google Patents
一种语音交互视频的生成及播放方法 Download PDFInfo
- Publication number
- CN111212311A CN111212311A CN202010032256.6A CN202010032256A CN111212311A CN 111212311 A CN111212311 A CN 111212311A CN 202010032256 A CN202010032256 A CN 202010032256A CN 111212311 A CN111212311 A CN 111212311A
- Authority
- CN
- China
- Prior art keywords
- video
- voice
- file
- playing
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000003993 interaction Effects 0.000 title claims abstract description 32
- 230000004044 response Effects 0.000 claims abstract description 45
- 230000002452 interceptive effect Effects 0.000 claims abstract description 28
- 230000008569 process Effects 0.000 claims abstract description 20
- 238000012544 monitoring process Methods 0.000 claims abstract description 4
- 238000005516 engineering process Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 7
- 238000004806 packaging method and process Methods 0.000 claims description 6
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- User Interface Of Digital Computer (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明提供了一种语音交互视频的生成及播放方法，该方法包括生成具备语音互动功能的视频包；解析及呈现该视频包，视频播放器在播放视频过程中提示用户进行互动；语音监听及视频互动，在视频播放过程中，视频播放器监听用户的语音输入，并根据输入内容数据的解析结果进行交互响应。通过使用上述方法，使得用户在观影过程中，可以使用语音对内容延伸内容进行互动，对当前影片的延伸内容进行探索，实现视频播放过程中实时搜索、提问、对话等功能场景，同时支持智能设备离线播放语音交互视频，方便了用户的使用。
Description
技术领域
本发明涉及移动互联网流媒体技术领域，特别是一种语音交互视频的生成及播放方法。
背景技术
全球智能手机和智能终端设备的快速发展，推动了移动互联网的快速发展，随着5G时代的到来，人们对具有更好体验的视频观看和互动方式的需求也日益增加。但是，目前通常的视频资源仅仅支持播放，即单一的内容呈现，使得用户只能单向观看视频内容，无法根据视频内容进行即时有效的交互。现有技术中已有的所谓“交互式视频”，仅仅是通过用户点击视频相关区域而链接跳转到其他视频，其实质上只是切换了显示的视频文件，并非在同一视频文件中显示相关信息。这就造成了这种“交互式视频”具有响应速度慢、延伸内容形式单一、交互方式不够智能等缺陷。同时，现有的“交互式视频”通常需要联网才能进行播放，设备无法在离线状态下播放“交互式视频”。
发明内容
鉴于此，为了解决视频播放时的交互体验问题，本发明提供了一种语音交互视频的生成及播放方法，结合流媒体及智能语音交互技术，生成具备语音互动功能的视频，使得用户在观影过程中，可以使用语音对内容延伸内容进行互动，对当前影片的延伸内容进行探索，实现视频播放过程中实时搜索、提问、对话等功能场景，形成分支观看路径，提升用户体验。同时，通过打包视频包的方式，能够支持智能设备离线播放语音交互视频，方便了用户的使用。
本发明通过下述技术方案解决上述问题：一种语音交互视频的生成及播放方法，其特征在于，所述方法具体包括以下步骤：
步骤S1：生成具备语音互动功能的视频包；所述视频包包含音视频文件、知识库文件以及响应格式文件；其中，所述音视频文件为展示的视频内容；所述知识库文件包含与所述视频内容相关的知识点；所述响应格式文件包含每个知识点的交互响应格式；
步骤S2：所述视频包的解析及呈现；视频播放器在播放视频过程中提示用户进行互动；
步骤S3：语音监听及视频互动，在视频播放过程中，视频播放器监听用户的语音输入，并根据输入内容数据的解析结果进行交互响应。
优选地，所述步骤S1中还具体包括：
步骤S11：根据音视频文件中的视频内容，分析出所述视频相关的知识点集合，构建与所述视频相关的知识库，进而生成知识库文件；
步骤S12：根据所述步骤S11中生成的知识点集合，为每个知识点制定交互响应格式，形成响应格式文件；
步骤S13：将音视频文件、知识库文件以及响应格式文件进行打包形成具备语音交互功能的视频包。
优选地，所述步骤S2中还具体包括：
步骤S21：视频播放器按照视频包格式进行解压缩，提取出所述视频包里的音视频文件数据、知识库文件数据和响应格式文件数据；
步骤S22：视频播放器将所述知识库文件数据和所述响应格式文件数据解析成特定的数据对象，放置于系统内存中；
步骤S23：解析完成后，所述视频播放器对所述音视频文件数据进行解码并播放；在播放视频过程中，根据播放内容与响应格式中内容的一致性和/或根据播放视频的时间节点，来触发所述视频播放器提示用户进行互动。
优选地，所述视频播放器通过文字提示和/或图片提示来提示用户进行互动。
优选地，所述步骤S3中还具体包括：
步骤S31：视频播放器调用语音传感器监听用户的语音输入；
步骤S32：当监听到语音输入时，进行语音采集及语音识别；
步骤S33：根据所述步骤S32的识别结果得到用户输入信息，调用知识库数据对象进行信息匹配，匹配成功则调用响应格式数据对象进行交互响应。
优选地，所述语音识别通过本地语音识别、云端语音识别或端云相结合的语音识别技术来实现。
优选地，所述语音识别通过本地语音识别技术来实现，所述语音交互视频在离线模式播放。
优选地，所述交互响应格式包含文字、图片和音频中的一种或多种。
优选地，所述方法应用于智能手机、平板电脑或智能电视。
本发明的有益效果是：通过使用上述方法，使得用户在观影过程中，可以使用语音对内容延伸内容进行互动，对当前影片的延伸内容进行探索，实现视频播放过程中实时搜索、提问、对话等功能场景，形成分支观看路径，提升用户体验。同时，通过打包视频包的方式，能够支持智能设备离线播放语音交互视频，方便了用户的使用。
附图说明
图1为本发明提供的一种语音交互视频的生成及播放方法的流程图。
具体实施方式
下面结合实施例对本发明作进一步地详细说明，但本发明的实施方式不限于此。
图1中示出了本发明提供的语音交互视频的生成及播放方法的流程图。所述方法具体包括以下步骤：
步骤S1：生成具备语音互动功能的视频包；所述视频包包含音视频文件、知识库文件以及响应格式文件；其中，所述音视频文件为展示的视频内容；所述知识库文件包含与所述视频内容相关的知识点；所述响应格式文件包含每个知识点的交互响应格式，所述交互响应格式包括但不限于文字、图片、音频等。
步骤S2：所述视频包的解析及呈现；视频播放器在播放视频过程中提示用户进行互动。
步骤S3：语音监听及视频互动，在视频播放过程中，视频播放器监听用户的语音输入，并根据输入内容数据的解析结果进行交互响应。
其中，所述步骤S1中还可以具体包括：
步骤S11：根据音视频文件中的视频内容，分析出所述视频相关的知识点集合，构建与所述视频相关的知识库，进而生成知识库文件。
步骤S12：根据S11中生成的知识点集合，为每个知识点制定交互响应格式，形成响应格式文件。
步骤S13：将音视频文件、知识库文件以及响应格式文件进行打包形成具备语音交互功能的视频包。
所述步骤S2中还可以具体包括：
步骤S21：视频播放器按照视频包格式进行解压缩，提取出所述视频包里的音视频文件数据、知识库文件数据和响应格式文件数据。
步骤S22：视频播放器将所述知识库文件数据和所述响应格式文件数据解析成特定的数据对象，放置于系统内存中。由于数据对象直接存储在内存中，用户在播放视频的过程中能够体验到更快的交互响应速度。
步骤S23：解析完成后，所述视频播放器对所述音视频文件数据进行解码并播放；在播放视频过程中，根据播放内容与响应格式中内容的一致性，或者根据播放视频的时间节点，来触发所述视频播放器提示用户进行互动，提示方式包括文字提示、图片提示以及其它提示方式。
所述步骤S3中还可以具体包括：
步骤S31：视频播放器调用语音传感器监听用户的语音输入。
步骤S32：当监听到语音输入时，进行语音采集及语音识别。所述语音识别，可以通过包括本地语音识别、云端语音识别以及端云相结合的语音识别技术等技术实现。
步骤S33：根据所述步骤S32的识别结果得到用户输入信息，调用知识库对象数据进行信息匹配，匹配成功则调用响应格式对象进行交互响应，响应方式有文字、图片、语音以及视频等多种方式，具体的响应方式由视频包中响应格式文件指定。
其中，语音识别技术采用本地语音识别技术时，由于所有的音视频文件、响应格式文件已经打包进了视频包中，不需要使用网络进行下载，因此可以实现语音交互视频的离线模式播放，进而可以在未联网的智能设备上进行播放。
所述语音交互视频的生成及播放方法可以应用于智能手机、平板电脑、智能电视等智能设备。
通过使用上述方法，使得用户在观影过程中，可以使用语音对内容延伸内容进行互动，对当前影片的延伸内容进行探索，实现视频播放过程中实时搜索、提问、对话等功能场景，形成分支观看路径，提升用户体验。同时，通过打包视频包的方式，能够支持智能设备离线播放语音交互视频，方便了用户的使用。
尽管这里参照本发明的解释性实施例对本发明进行了描述，上述实施例仅为本发明较佳的实施方式，本发明的实施方式并不受上述实施例的限制，应该理解，本领域技术人员可以设计出很多其他的修改和实施方式，这些修改和实施方式将落在本申请公开的原则范围和精神之内。
Claims (9)
1.一种语音交互视频的生成及播放方法，其特征在于，所述方法具体包括以下步骤：
步骤S1：生成具备语音互动功能的视频包；所述视频包包含音视频文件、知识库文件以及响应格式文件；其中，所述音视频文件为展示的视频内容；所述知识库文件包含与所述视频内容相关的知识点；所述响应格式文件包含每个知识点的交互响应格式；
步骤S2：所述视频包的解析及呈现；视频播放器在播放视频过程中提示用户进行互动；
步骤S3：语音监听及视频互动，在视频播放过程中，视频播放器监听用户的语音输入，并根据输入内容数据的解析结果进行交互响应。
2.根据权利要求1所述的一种语音交互视频的生成及播放方法，其特征在于，所述步骤S1中还具体包括：
步骤S11：根据音视频文件中的视频内容，分析出所述视频相关的知识点集合，构建与所述视频相关的知识库，进而生成知识库文件；
步骤S12：根据所述步骤S11中生成的知识点集合，为每个知识点制定交互响应格式，形成响应格式文件；
步骤S13：将音视频文件、知识库文件以及响应格式文件进行打包形成具备语音交互功能的视频包。
3.根据权利要求1所述的一种语音交互视频的生成及播放方法，其特征在于，所述步骤S2中还具体包括：
步骤S21：视频播放器按照视频包格式进行解压缩，提取出所述视频包里的音视频文件数据、知识库文件数据和响应格式文件数据；
步骤S22：视频播放器将所述知识库文件数据和所述响应格式文件数据解析成特定的数据对象，放置于系统内存中；
步骤S23：解析完成后，所述视频播放器对所述音视频文件数据进行解码并播放；在播放视频过程中，根据播放内容与响应格式中内容的一致性和/或根据播放视频的时间节点，来触发所述视频播放器提示用户进行互动。
4.根据权利要求3所述的一种语音交互视频的生成及播放方法，其特征在于，所述视频播放器通过文字提示和/或图片提示来提示用户进行互动。
5.根据权利要求1所述的一种语音交互视频的生成及播放方法，其特征在于，所述步骤S3中还具体包括：
步骤S31：视频播放器调用语音传感器监听用户的语音输入；
步骤S32：当监听到语音输入时，进行语音采集及语音识别；
步骤S33：根据所述步骤S32的识别结果得到用户输入信息，调用知识库数据对象进行信息匹配，匹配成功则调用响应格式数据对象进行交互响应。
6.根据权利要求5所述的一种语音交互视频的生成及播放方法，其特征在于，所述语音识别通过本地语音识别、云端语音识别或端云相结合的语音识别技术来实现。
7.根据权利要求5所述的一种语音交互视频的生成及播放方法，其特征在于，所述语音识别通过本地语音识别技术来实现，所述语音交互视频在离线模式播放。
8.根据权利要求1所述的一种语音交互视频的生成及播放方法，其特征在于，所述交互响应格式包含文字、图片和音频中的一种或多种。
9.根据权利要求1所述的一种语音交互视频的生成及播放方法，其特征在于，所述方法应用于智能手机、平板电脑或智能电视。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010032256.6A CN111212311A (zh) | 2020-01-13 | 2020-01-13 | 一种语音交互视频的生成及播放方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010032256.6A CN111212311A (zh) | 2020-01-13 | 2020-01-13 | 一种语音交互视频的生成及播放方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111212311A true CN111212311A (zh) | 2020-05-29 |
Family
ID=70789073
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010032256.6A Pending CN111212311A (zh) | 2020-01-13 | 2020-01-13 | 一种语音交互视频的生成及播放方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111212311A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115665496A (zh) * | 2022-12-05 | 2023-01-31 | 深圳市华曦达科技股份有限公司 | 一种在线视频语音互动方法、系统和存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004309631A (ja) * | 2003-04-03 | 2004-11-04 | Nippon Telegr & Teleph Corp <Ntt> | 対話練習支援装置、方法及びプログラム |
| CN102833490A (zh) * | 2011-06-15 | 2012-12-19 | 新诺亚舟科技（深圳）有限公司 | 一种互动视频的编辑播放方法、系统及电子学习设备 |
| CN102947774A (zh) * | 2010-06-21 | 2013-02-27 | 微软公司 | 用于驱动交互式故事的自然用户输入 |
| CN104216990A (zh) * | 2014-09-09 | 2014-12-17 | 科大讯飞股份有限公司 | 视频广告播放方法及系统 |
| CN107945596A (zh) * | 2017-12-25 | 2018-04-20 | 成都福润得科技有限责任公司 | 一种便于灵活教学的交互式教学方法 |
| CN107948751A (zh) * | 2017-11-24 | 2018-04-20 | 互影科技（北京）有限公司 | 分支剧情视频的播放方法及装置 |
| CN108156179A (zh) * | 2018-01-30 | 2018-06-12 | 北京奇艺世纪科技有限公司 | 一种视频播放方法、装置及电子设备 |
| CN108769745A (zh) * | 2018-06-29 | 2018-11-06 | 百度在线网络技术（北京）有限公司 | 视频播放方法和装置 |
| CN108924584A (zh) * | 2018-05-30 | 2018-11-30 | 互影科技（北京）有限公司 | 交互视频的封装方法及装置 |
-
2020
- 2020-01-13 CN CN202010032256.6A patent/CN111212311A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004309631A (ja) * | 2003-04-03 | 2004-11-04 | Nippon Telegr & Teleph Corp <Ntt> | 対話練習支援装置、方法及びプログラム |
| CN102947774A (zh) * | 2010-06-21 | 2013-02-27 | 微软公司 | 用于驱动交互式故事的自然用户输入 |
| CN102833490A (zh) * | 2011-06-15 | 2012-12-19 | 新诺亚舟科技（深圳）有限公司 | 一种互动视频的编辑播放方法、系统及电子学习设备 |
| CN104216990A (zh) * | 2014-09-09 | 2014-12-17 | 科大讯飞股份有限公司 | 视频广告播放方法及系统 |
| CN107948751A (zh) * | 2017-11-24 | 2018-04-20 | 互影科技（北京）有限公司 | 分支剧情视频的播放方法及装置 |
| CN107945596A (zh) * | 2017-12-25 | 2018-04-20 | 成都福润得科技有限责任公司 | 一种便于灵活教学的交互式教学方法 |
| CN108156179A (zh) * | 2018-01-30 | 2018-06-12 | 北京奇艺世纪科技有限公司 | 一种视频播放方法、装置及电子设备 |
| CN108924584A (zh) * | 2018-05-30 | 2018-11-30 | 互影科技（北京）有限公司 | 交互视频的封装方法及装置 |
| CN108769745A (zh) * | 2018-06-29 | 2018-11-06 | 百度在线网络技术（北京）有限公司 | 视频播放方法和装置 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115665496A (zh) * | 2022-12-05 | 2023-01-31 | 深圳市华曦达科技股份有限公司 | 一种在线视频语音互动方法、系统和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108900854B (zh) | 直播中连麦房间切换方法、存储介质、设备及系统 | |
| CN109309860B (zh) | 提示信息的展示方法和装置、存储介质、电子装置 | |
| CN109688475B (zh) | 视频播放跳转方法、系统及计算机可读存储介质 | |
| CN110324696B (zh) | 直播业务的导流方法、装置、计算机设备和存储介质 | |
| CN111064972A (zh) | 一种基于ipv9的视频直播控制方法 | |
| CN112423081B (zh) | 一种视频数据处理方法、装置、设备及可读存储介质 | |
| CN104837051B (zh) | 视频播放方法及客户端 | |
| CN110213661A (zh) | 全视频化的控制方法、智能电视及计算机可读存储介质 | |
| US10419825B2 (en) | Queue to display information for entities during video playback | |
| CN109474843A (zh) | 语音操控终端的方法、客户端、服务器 | |
| CN108769816B (zh) | 一种视频播放方法、装置及存储介质 | |
| CN106791988B (zh) | 多媒体数据轮播方法和终端 | |
| WO2021031590A1 (zh) | 音视频推送方法、移动终端及显示终端 | |
| US11429882B2 (en) | Method and apparatus for outputting information | |
| CN108810580B (zh) | 媒体内容推送方法及装置 | |
| JP2017538328A (ja) | プロモーション情報の処理方法、装置、デバイス及びコンピュータ記憶媒体 | |
| CN111629222B (zh) | 一种视频处理方法、设备及存储介质 | |
| CN105929941B (zh) | 信息处理方法、装置和终端设备 | |
| CN111212311A (zh) | 一种语音交互视频的生成及播放方法 | |
| CN104866477B (zh) | 一种信息处理方法及电子设备 | |
| CN111711857A (zh) | 多路视频播放方法、终端及可读存储介质 | |
| CN105357588A (zh) | 数据显示方法及终端 | |
| CN113938742B (zh) | 自动投屏内容播放的控制方法、系统、设备及存储介质 | |
| CN113411532B (zh) | 记录内容的方法、装置、终端及存储介质 | |
| CN112565913B (zh) | 视频通话方法、装置和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200529 |