CN108664536B - 互动式影音分享方法及系统 - Google Patents

互动式影音分享方法及系统 Download PDF

Info

Publication number
CN108664536B
CN108664536B CN201710218179.1A CN201710218179A CN108664536B CN 108664536 B CN108664536 B CN 108664536B CN 201710218179 A CN201710218179 A CN 201710218179A CN 108664536 B CN108664536 B CN 108664536B
Authority
CN
China
Prior art keywords
preset
story
role
sentences
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710218179.1A
Other languages
English (en)
Other versions
CN108664536A (zh
Inventor
俞非凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hongfujin Precision Industry Shenzhen Co Ltd
Hon Hai Precision Industry Co Ltd
Original Assignee
Hongfujin Precision Industry Shenzhen Co Ltd
Hon Hai Precision Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hongfujin Precision Industry Shenzhen Co Ltd, Hon Hai Precision Industry Co Ltd filed Critical Hongfujin Precision Industry Shenzhen Co Ltd
Publication of CN108664536A publication Critical patent/CN108664536A/zh
Application granted granted Critical
Publication of CN108664536B publication Critical patent/CN108664536B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/57—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for processing of video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H04N21/8405—Generation or processing of descriptive data, e.g. content descriptors represented by keywords
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/10537—Audio or video recording
    • G11B2020/10546—Audio or video recording specifically adapted for audio data

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

一种互动式影音分享方法，所述方法包括步骤：建立故事对应的数据库，所述故事由多个预设句子组成，每一预设句子包括多个关键词，且对应一段预设故事影像，所述关键词包括角色和非角色，每一个角色分别对应一个角色图像；接收用户选择所述故事的操作指令，并设置故事中的多个角色的声音来源；将讲述所述故事时的语音与所述多个预设句子中的关键词进行匹配，自所述多个预设句子中取得匹配的预设句子，其中所述语音由所述多个角色的声音来源获得；及自所述数据库中选择和显示与所述匹配的预设句子对应的预设故事影像。本发明还提供一种互动式影音分享系统。本发明方法与系统可以提供兼顾亲子互动和趣味性的讲故事方式。

Description

互动式影音分享方法及系统
技术领域
本发明涉及影音处理技术，尤其是涉及一种互动式影音分享方法及系统。
背景技术
目前，讲故事的方式包括有声故事书或故事机，以及家长自己讲故事。有声故事书或故事机的优点是故事角色生动，但是缺乏亲子互动。而家长自己讲故事可以使亲子互动频繁，但却缺乏多种角色声调与音效，容易造成讲故事过程单调无聊。
发明内容
鉴于以上内容，有必要提供一种互动式影音分享系统，可以提供兼顾亲子互动和趣味性的讲故事方式。
鉴于以上内容，还有必要提供一种互动式影音分享方法，可以提供兼顾亲子互动和趣味性的讲故事方式。
本发明实施方式提供一种互动式影音分享系统，包括：建立模块，用于建立故事对应的数据库，所述故事由多个预设句子组成，每一所述预设句子包括多个关键词，且对应一段预设故事影像，所述关键词包括角色和非角色，其中每一个角色分别对应一个角色图像；接收模块，用于接收用户选择所述故事的操作指令，并设置所述故事中的多个角色的声音来源；及匹配模块，用于将讲述所述故事时的语音与所述多个预设句子中的关键词进行匹配，自所述多个预设句子中取得匹配的预设句子，其中所述语音由所述多个角色的声音来源获得；自所述数据库中选择和显示与所述匹配的预设句子对应的预设故事影像。
本发明实施方式提供一种互动式影音分享方法，包括步骤：建立故事对应的数据库，所述故事由多个预设句子组成，每一所述预设句子包括多个关键词，且对应一段预设故事影像，所述关键词包括角色和非角色，其中每一个角色分别对应一个角色图像；接收用户选择所述故事的操作指令，并设置所述故事中的多个角色的声音来源；及将讲述所述故事时的语音与所述多个预设句子中的关键词进行匹配，自所述多个预设句子中取得匹配的预设句子，其中所述语音由所述多个角色的声音来源获得；及自所述数据库中选择和显示与所述匹配的预设句子对应的预设故事影像。
相较于现有技术，所述的互动式影音分享方法及系统，能够预设所述故事中每个角色对应的图像与声音，并且可以在线邀请其他用户一起加入扮演所述角色，或者使用所述角色对应的预设声音或社群分享的声音录音文件，使讲故事不再单调无趣。另外，还可以在用户讲故事时提供对应的故事影像，并提供自定义角色以及角色替换功能，让用户有更多的参与感，使讲故事的场景变得生动活泼。
附图说明
图1是本发明实施例之互动式影音分享系统的功能模块图。
图2是本发明实施例之互动式影音分享方法的步骤流程图。
主要元件符号说明
Figure BDA0001262911760000021
Figure BDA0001262911760000031
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
参阅图1所示，是本发明实施例之互动式影音分享系统的功能模块图。在本实施例中，所述互动式影音分享系统10位于互动式影音分享装置2中，所述互动式影音分享装置2中还包括存储器20及处理器30。所述互动式影音分享装置2可以是一个或多个电子装置，例如机顶盒与智能电视、手机、平板电脑其中一个或者任意组合。
所述互动式影音分享系统10包括建立模块100、接收模块200以及匹配模块300。所述模块被配置成由一个或多个处理器(本实施例为处理器30)执行，以完成本发明。本发明所称的模块是完成一特定功能的计算机程序段。所述存储器20用于存储所述互动式影音分享系统10的程序代码等资料。所述处理器30用于执行所述存储器20中存储的程序代码。
所述建立模块100用于建立故事对应的数据库。
在本实施例中，所述故事由多个预设句子组成，每一所述预设句子包括多个关键词，且每个所述预设句子对应一段预设故事影像。所述关键词可以是角色(如“哈利波特”、“赫敏”)或者非角色(如“海格小屋”、“禁忌森林”)。所述故事中包括多个角色，每个角色对应一个角色图像和预设声音。所述预设故事影像包括前景图像、背景图像、预设声音和音效等，所述前景图像为所述角色图像。
值得注意的是，所述角色除了所述故事中已有的角色之外，还可以包括用户自定义的角色，以供用户讲故事时替换使用。所述自定义角色对应的角色图像为用户上传的自定义图像，例如用户照片。
所述接收模块200用于接收用户选择所述故事的操作指令，并设置所述故事中的多个角色的声音来源。
在本实施例中，针对所述故事中的每个角色(包括旁白)均可以设置对应的声音来源。所述声音来源包括所述用户自己扮演、在线邀请其他用户扮演、所述角色对应的预设声音或社群分享的声音录音文件等。
例如，当选择的故事为《哈利波特》时，可以由用户A(父亲)扮演“哈利波特”，由用户B(女儿)扮演“赫敏”，邀请远端的用户C(母亲)扮演“罗恩”，并将角色“海格”的声音使用社群分享的声音录音文件，旁白的声音使用预设声音。
所述匹配模块300用于将讲述所述故事时的语音与所述多个预设句子中的关键词进行匹配，显示匹配的预设句子对应的预设故事影像。
所述语音由所述多个角色的声音来源获得，包括所设置的各个声音来源的语音，例如用户A、用户B、用户C扮演各自角色的语音和社群分享的角色“海格”对应的声音录音文件播放的语音，以及使用预设声音的旁白的语音。当接收到所述语音后，所述匹配模块300自动将所述语音中的句子与所述故事中的所述预设句子包含的关键词进行匹配，自所述多个预设句子中取得多个匹配的预设句子，然后自所述数据库中选择和显示与所述多个匹配的预设句子对应的多个预设故事影像。当所述语音中的句子与所述预设句子中超过一半关键词相同时，所述预设句子即设定为已匹配，并显示所述预设句子对应的所述预设故事影像。
例如，所述预设句子为“哈利波特、赫敏与罗恩一起去海格小屋找海格”，其中关键词为“哈利波特”、“赫敏”、“罗恩”、“海格小屋”及“海格”。若所述语音中的句子为“哈利波特、赫敏和罗恩一起去禁忌森林找海格”，其中关键词“哈利波特”、“赫敏”、“罗恩”及“海格”与所述预设句子相同，表示所述预设句子已匹配，则显示所述预设句子对应的预设故事影像。若所述语音为“哈利波特去海边冲浪”，其中仅有关键词“哈利波特”与所述预设句子相同，表示所述预设句子未匹配，则无法显示所述预设句子对应的预设故事影像。
在本实施例中，针对每个关键词建立对应的相似词库，每个相似词库中的相似词按照使用次数进行排序，并将累积使用达到预定次数的非相似词新增到所述相似词库中。若在所述语音中用户使用的是某个关键词的相似词，也判断为与所述关键词相同。例如，针对关键词“禁忌森林”，对应的相似词包括“魔法森林”和“黑暗森林”。而当非相似词“黑森林”累积使用达到预定次数时，则将“黑森林”新增到所述关键词“禁忌森林”对应的相似词库中。在所述相似词库中，“魔法森林”、“黑暗森林”和“黑森林”按照使用次数进行排序。
另外，当用户有替换角色的需求时，所述匹配模块300从所述语音中识别出替换角色，从所述数据库中找到所述替换角色对应的角色图像，根据所述替换角色对应的所述角色图像更新所述预设故事影像中的前景图像，但背景图像不变，得到更新后的故事影像，从而将所述故事中的某一角色替换为所述替换角色。所述替换角色可以是所述故事中的其他角色或所述自定义角色。此时，当所述语音中的句子与所述预设句子中超过一半关键词相同或可被替换时，所述预设句子即设定为已匹配，并显示所述预设句子对应的所述更新后的故事影像。
例如，所述预设句子为“哈利波特、赫敏与罗恩一起去海格小屋找海格”，其中关键词为“哈利波特”、“赫敏”、“罗恩”、“海格小屋”及“海格”。若所述语音中的句子为“哈利波特、赫敏和罗恩一起去海格小屋找警察”，则关键词“哈利波特”、“赫敏”、“罗恩”及“海格小屋”与所述预设句子相同，且识别出替换角色“警察”，所述预设句子已匹配，从所述数据库中找到所述替换角色“警察”对应的角色图像，将所述预设故事影像的前景图像中“海格”的角色图像更新为“警察”的角色图像，并显示更新后的故事影像。
当用户有录音的需求时，所述匹配模块300会对所述语音进行录音。匹配模块300将所述语音中的句子以五句设为预定范围，当所述预定范围内的句子所匹配的预设句子出现重复时，选择与所述重复的预设句子中的关键词匹配数量最多的一个句子进行录音。例如，所述语音中的句子“哈利波特和赫敏一起去找海格”和“哈利波特、赫敏和罗恩去禁忌森林找海格”均可以匹配预设句子“哈利波特、赫敏与罗恩一起去海格小屋找海格”，其中句子“哈利波特、赫敏和罗恩去禁忌森林找海格”与所述预设句子中的关键词匹配数量更多，则匹配模块300选择句子“哈利波特、赫敏和罗恩去禁忌森林找海格”进行录音。并且，将所述录音中的句子依据所述故事中的预设句子对应的顺序排序，生成声音录音文件。因此，若讲述所述故事时出现顺序颠倒或重复，可以根据故事原文顺序进行修正。在录音后，匹配模块300还可以将所述预设故事影像中的所述预设声音更新为所述录音。例如，将“哈利波特”的预设声音更新为用户A扮演“哈利波特”时的录音。
参阅图2所示，是本发明实施例之互动式影音分享方法的步骤流程图。所述互动式影音分享方法应用于所述互动式影音分享装置2中，通过处理器30执行存储器20中存储的程序代码实现。
步骤S200，建立故事对应的数据库。
在本实施例中，所述故事由多个预设句子组成，每一所述预设句子包括多个关键词，且每个所述预设句子对应一段预设故事影像。所述关键词可以是角色(如“哈利波特”、“赫敏”)或者非角色(如“海格小屋”、“禁忌森林”)。所述故事中包括多个角色，每个角色对应一个角色图像和预设声音。所述预设故事影像包括前景图像、背景图像、预设声音和音效等，所述前景图像为所述角色图像。
值得注意的是，所述角色除了所述故事中已有的角色之外，还可以包括用户自定义的角色，以供用户讲故事时替换使用。所述自定义角色对应的角色图像为用户上传的自定义图像，例如用户照片。
步骤S202，接收用户选择所述故事的操作指令，并设置所述故事中的多个角色的声音来源。
在本实施例中，针对所述故事中的每个角色(包括旁白)均可以设置对应的声音来源。所述声音来源包括所述用户自己扮演、在线邀请其他用户扮演、所述角色对应的预设声音或社群分享的声音录音文件等。
例如，当选择的故事为《哈利波特》时，可以由用户A(父亲)扮演“哈利波特”，由用户B(女儿)扮演“赫敏”，邀请远端的用户C(母亲)扮演“罗恩”，并将角色“海格”的声音使用社群分享的声音录音文件，旁白的声音使用预设声音。
步骤S204，将讲述所述故事时的语音与所述多个预设句子中的关键词进行匹配，显示匹配的预设句子对应的预设故事影像。
所述语音由所述多个角色的声音来源获得，包括所设置的各个声音来源的语音，例如用户A、用户B、用户C扮演各自角色的语音和社群分享的角色“海格”对应的声音录音文件播放的语音，以及使用预设声音的旁白的语音。当接收到所述语音后，自动将所述语音中的句子与所述故事中的所述预设句子包含的关键词进行匹配，自所述多个预设句子中取得多个匹配的预设句子，然后自所述数据库中选择和显示与所述多个匹配的预设句子对应的多个预设故事影像。当所述语音中的句子与所述预设句子中超过一半关键词相同时，所述预设句子即设定为已匹配，并显示所述预设句子对应的所述预设故事影像。
例如，所述预设句子为“哈利波特、赫敏与罗恩一起去海格小屋找海格”，其中关键词为“哈利波特”、“赫敏”、“罗恩”、“海格小屋”及“海格”。若所述语音中的句子为“哈利波特、赫敏和罗恩一起去禁忌森林找海格”，其中关键词“哈利波特”、“赫敏”、“罗恩”及“海格”与所述预设句子相同，表示所述预设句子已匹配，则显示所述预设句子对应的预设故事影像。若所述语音为“哈利波特去海边冲浪”，其中仅有关键词“哈利波特”与所述预设句子相同，表示所述预设句子未匹配，则无法显示所述预设句子对应的预设故事影像。
在本实施例中，针对每个关键词建立对应的相似词库，每个相似词库中的相似词按照使用次数进行排序，并将累积使用达到预定次数的非相似词新增到所述相似词库中。若在所述语音中用户使用的是某个关键词的相似词，也判断为与所述关键词相同。例如，针对关键词“禁忌森林”，对应的相似词包括“魔法森林”和“黑暗森林”。而当非相似词“黑森林”累积使用达到预定次数时，则将“黑森林”新增到所述关键词“禁忌森林”对应的相似词库中。在所述相似词库中，“魔法森林”、“黑暗森林”和“黑森林”按照使用次数进行排序。
另外，当用户有替换角色的需求时，从所述语音中识别出替换角色，从所述数据库中找到所述替换角色对应的角色图像，根据所述替换角色对应的所述角色图像更新所述预设故事影像中的前景图像，但背景图像不变，得到更新后的故事影像，从而将所述故事中的某一角色替换为所述替换角色。所述替换角色可以是所述故事中的其他角色或所述自定义角色。此时，当所述语音中的句子与所述预设句子中超过一半关键词相同或可被替换时，所述预设句子即设定为已匹配，并显示所述预设句子对应的所述更新后的故事影像。
例如，所述预设句子为“哈利波特、赫敏与罗恩一起去海格小屋找海格”，其中关键词为“哈利波特”、“赫敏”、“罗恩”、“海格小屋”及“海格”。若所述语音中的句子为“哈利波特、赫敏和罗恩一起去海格小屋找警察”，则关键词“哈利波特”、“赫敏”、“罗恩”及“海格小屋”与所述预设句子相同，且识别出替换角色“警察”，所述预设句子已匹配，从所述数据库中找到所述替换角色“警察”对应的角色图像，将所述预设故事影像的前景图像中“海格”的角色图像更新为“警察”的角色图像，并显示更新后的故事影像。
当用户有录音的需求时，对所述语音进行录音。将所述语音中的句子以五句设为预定范围，当所述预定范围内的句子所匹配的预设句子出现重复时，选择与所述重复的预设句子中的关键词匹配数量最多的一个句子进行录音。例如，所述语音中的句子“哈利波特和赫敏一起去找海格”和“哈利波特、赫敏和罗恩去禁忌森林找海格”均可以匹配预设句子“哈利波特、赫敏与罗恩一起去海格小屋找海格”，其中句子“哈利波特、赫敏和罗恩去禁忌森林找海格”与所述预设句子中的关键词匹配数量更多，则选择句子“哈利波特、赫敏和罗恩去禁忌森林找海格”进行录音。并且，将所述录音中的句子依据所述故事中的预设句子对应的顺序排序，生成声音录音文件。因此，若讲述所述故事时出现顺序颠倒或重复，可以根据故事原文顺序进行修正。在录音后，还可以将所述预设故事影像中的所述预设声音更新为所述录音。例如，将“哈利波特”的预设声音更新为用户A扮演“哈利波特”时的录音。
以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (16)

1.一种互动式影音分享方法，其特征在于，所述方法包括步骤：
建立故事对应的数据库，所述故事由多个预设句子组成，每一所述预设句子包括多个关键词，且对应一段预设故事影像，所述关键词包括角色和非角色，其中每一个角色分别对应一个角色图像；
接收用户选择所述故事的操作指令，并设置所述故事中的多个角色的声音来源；
将讲述所述故事时的语音与所述多个预设句子中的关键词进行匹配，自所述多个预设句子中取得匹配的预设句子，其中所述语音由所述多个角色的声音来源获得；及
自所述数据库中选择和显示与所述匹配的预设句子对应的预设故事影像；及
当所述用户有录音的需求时，对所述语音进行录音；
若所述语音中在预定范围内的多个句子所匹配的预设句子出现重复，选择与所述重复的预设句子中的关键词匹配数量最多的一个句子进行录音；
将所述录音中的所述句子依据所述故事中的所述预设句子对应的顺序排序。
2.如权利要求1所述的互动式影音分享方法，其特征在于，所述角色还包括所述用户自定义的角色，所述自定义角色对应的所述角色图像为所述用户上传的自定义图像。
3.如权利要求1所述的互动式影音分享方法，其特征在于，所述多个角色的声音来源包括所述用户自己扮演、在线邀请其他用户扮演、所述角色对应的预设声音或社群分享的声音录音文件。
4.如权利要求1所述的互动式影音分享方法，其特征在于，所述进行所述关键词匹配的步骤中还包括：
当所述语音中的句子与所述预设句子中超过一半关键词相同时，所述预设句子即设定为已匹配。
5.如权利要求4所述的互动式影音分享方法，其特征在于，该方法还包括步骤：
针对所述关键词建立对应的相似词库，所述相似词库中的相似词按照使用次数进行排序，并将累积使用达到预定次数的非相似词新增到所述相似词库中。
6.如权利要求5所述的互动式影音分享方法，其特征在于，若在所述语音中用户使用的是所述关键词的相似词，也判断为与所述关键词相同。
7.如权利要求4所述的互动式影音分享方法，其特征在于，该方法还包括步骤：
当所述用户有替换所述角色的需求时，从所述语音中识别出替换角色，从所述数据库中找到所述替换角色对应的所述角色图像，根据所述替换角色对应的所述角色图像更新所述预设故事影像中的前景图像，得到更新后的故事影像。
8.如权利要求7所述的互动式影音分享方法，其特征在于，该方法还包括步骤：
当所述语音中的句子与所述预设句子中超过一半关键词相同或可被替换时，所述预设句子即设定为已匹配。
9.一种互动式影音分享系统，其特征在于，所述互动式影音分享系统包括：
建立模块，用于建立故事对应的数据库，所述故事由多个预设句子组成，每一所述预设句子包括多个关键词，且对应一段预设故事影像，所述关键词包括角色和非角色，其中每一个角色分别对应一个角色图像；
接收模块，用于接收用户选择所述故事的操作指令，并设置所述故事中的多个角色的声音来源；及
匹配模块，用于将讲述所述故事时的语音与所述多个预设句子中的关键词进行匹配，自所述多个预设句子中取得匹配的预设句子，其中所述语音由所述多个角色的声音来源获得；自所述数据库中选择和显示与所述匹配的预设句子对应的预设故事影像；
所述匹配模块还用于：当所述用户有录音的需求时，对所述语音进行录音，若所述语音中在预定范围内的多个句子所匹配的预设句子出现重复，选择与所述重复的预设句子中的关键词匹配数量最多的一个句子进行录音，并且将所述录音中的所述句子依据所述故事中的所述预设句子对应的顺序排序。
10.如权利要求9所述的互动式影音分享系统，其特征在于，所述角色还包括所述用户自定义的角色，所述自定义角色对应的所述角色图像为所述用户上传的自定义图像。
11.如权利要求9所述的互动式影音分享系统，其特征在于，所述多个角色的声音来源包括所述用户自己扮演、在线邀请其他用户扮演、所述角色对应的预设声音或社群分享的声音录音文件。
12.如权利要求9所述的互动式影音分享系统，其特征在于，所述匹配模块还用于：
当所述语音中的句子与所述预设句子中超过一半关键词相同时，所述预设句子即设定为已匹配。
13.如权利要求12所述的互动式影音分享系统，其特征在于，所述匹配模块还用于：
针对所述关键词建立对应的相似词库，所述相似词库中的相似词按照使用次数进行排序，并将累积使用达到预定次数的非相似词新增到所述相似词库中。
14.如权利要求13所述的互动式影音分享系统，其特征在于，所述匹配模块还用于：
若在所述语音中用户使用的是所述关键词的相似词，也判断为与所述关键词相同。
15.如权利要求12所述的互动式影音分享系统，其特征在于，所述匹配模块还用于：
当所述用户有替换所述角色的需求时，从所述语音中识别出替换角色，从所述数据库中找到所述替换角色对应的所述角色图像，根据所述替换角色对应的所述角色图像更新所述预设故事影像中的前景图像，得到更新后的故事影像。
16.如权利要求15所述的互动式影音分享系统，其特征在于，所述匹配模块还用于：
当所述语音中的句子与所述预设句子中超过一半关键词相同或可被替换时，所述预设句子即设定为已匹配。
CN201710218179.1A 2017-03-31 2017-04-05 互动式影音分享方法及系统 Expired - Fee Related CN108664536B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/475,147 US10186275B2 (en) 2017-03-31 2017-03-31 Sharing method and device for video and audio data presented in interacting fashion
US15/475147 2017-03-31

Publications (2)

Publication Number Publication Date
CN108664536A CN108664536A (zh) 2018-10-16
CN108664536B true CN108664536B (zh) 2021-07-20

Family

ID=63669757

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710218179.1A Expired - Fee Related CN108664536B (zh) 2017-03-31 2017-04-05 互动式影音分享方法及系统

Country Status (3)

Country Link
US (1) US10186275B2 (zh)
CN (1) CN108664536B (zh)
TW (1) TWI658375B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10678841B2 (en) * 2017-03-31 2020-06-09 Nanning Fugui Precision Industrial Co., Ltd. Sharing method and device for video and audio data presented in interacting fashion
KR102576388B1 (ko) * 2018-02-21 2023-09-08 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
CN111128237B (zh) * 2019-12-26 2022-12-30 北京大米未来科技有限公司 语音评测方法、装置、存储介质和电子设备
CN112543371A (zh) * 2020-11-27 2021-03-23 中国建设银行股份有限公司 视频数据处理方法、装置、终端及存储介质
CN112988100A (zh) * 2021-04-09 2021-06-18 上海掌门科技有限公司 视频的播放方法和装置
CN114390220B (zh) * 2022-01-19 2023-12-08 中国平安人寿保险股份有限公司 一种动画视频生成方法及相关装置
CN115577112B (zh) * 2022-12-09 2023-04-18 成都索贝数码科技股份有限公司 一种基于类型感知门控注意力机制的事件抽取方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110070386A (ko) * 2009-12-18 2011-06-24 주식회사 케이티 영상 ａｒｓ 자동 제작 시스템 및 그 방법
KR20120000755A (ko) * 2010-06-28 2012-01-04 엘지전자 주식회사 음성인식에 의한 정보를 제공하는 화상회의 장치 및 방법
CN105578202A (zh) * 2014-09-29 2016-05-11 纬创资通股份有限公司 影音分享方法与系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1933559A (zh) 2005-09-13 2007-03-21 林洪义 影像交互式故事系统
CN101268494B (zh) 2005-09-21 2012-01-04 松下电器产业株式会社 视频制作装置以及视频制作方法
EP2067102A2 (en) * 2006-09-15 2009-06-10 Exbiblio B.V. Capture and display of annotations in paper and electronic documents
US20100023485A1 (en) * 2008-07-25 2010-01-28 Hung-Yi Cheng Chu Method of generating audiovisual content through meta-data analysis
US8370151B2 (en) * 2009-01-15 2013-02-05 K-Nfb Reading Technology, Inc. Systems and methods for multiple voice document narration
US20140349259A1 (en) * 2013-03-14 2014-11-27 Apple Inc. Device, method, and graphical user interface for a group reading environment
TW201519179A (zh) * 2013-11-11 2015-05-16 yu-jun Xia 語文學習系統及其方法
WO2016004330A1 (en) * 2014-07-03 2016-01-07 Oim Squared Inc. Interactive content generation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110070386A (ko) * 2009-12-18 2011-06-24 주식회사 케이티 영상 ａｒｓ 자동 제작 시스템 및 그 방법
KR20120000755A (ko) * 2010-06-28 2012-01-04 엘지전자 주식회사 음성인식에 의한 정보를 제공하는 화상회의 장치 및 방법
CN105578202A (zh) * 2014-09-29 2016-05-11 纬创资通股份有限公司 影音分享方法与系统

Also Published As

Publication number Publication date
CN108664536A (zh) 2018-10-16
TW201837654A (zh) 2018-10-16
TWI658375B (zh) 2019-05-01
US10186275B2 (en) 2019-01-22
US20180286421A1 (en) 2018-10-04

Similar Documents

Publication Publication Date Title
CN108664536B (zh) 互动式影音分享方法及系统
Pavlik Journalism in the age of virtual reality: How experiential media are transforming news
CN106021496A (zh) 视频搜索方法及视频搜索装置
US20170300752A1 (en) Method and system for summarizing multimedia content
CN114339285B (zh) 知识点的处理方法、视频处理方法、装置及电子设备
US20150213793A1 (en) Methods and systems for converting text to video
CN112738557A (zh) 视频处理方法及装置
CN107886784A (zh) 一种基于vr眼镜的教学系统
KR20180041189A (ko) 경기의 라이브 문자 방송을 위한 방법 및 디바이스
KR20190083532A (ko) 학습자가 선택한 동영상을 학습 콘텐츠로 활용하는 외국어 학습시스템 및 이의 학습 콘텐츠 생성방법
CN110781835A (zh) 一种数据处理方法、装置、电子设备和存储介质
CN109190116B (zh) 语义解析方法、系统、电子设备及存储介质
CN111078103A (zh) 一种学习交互方法、电子设备及存储介质
CN106357715A (zh) 发音矫正方法、玩具、移动终端和系统
CN113222790A (zh) 基于人工智能的在线课程生成系统及设备
Sutherland From (archival) page to (virtual) stage: the virtual vaudeville prototype
CN115963963A (zh) 互动小说生成方法、呈现方法、装置、设备及介质
CN116561294A (zh) 手语视频的生成方法、装置、计算机设备及存储介质
US20220360827A1 (en) Content distribution system, content distribution method, and content distribution program
CN107154173B (zh) 一种语言学习方法及系统
Sconce The golden age of badness
CN111757173B (zh) 一种解说词生成方法、装置、智能音箱及存储介质
Sanders Forced to move virtually
Saunders Not Just Talk: The Politics of Enunciation in BlacKkKlansman
TWI683290B (zh) 口語教學輔助方法及裝置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210720

CF01 Termination of patent right due to non-payment of annual fee