CN109493888A - 漫画配音方法及装置、计算机可读存储介质、电子设备 - Google Patents

漫画配音方法及装置、计算机可读存储介质、电子设备 Download PDF

Info

Publication number
CN109493888A
CN109493888A CN201811261581.9A CN201811261581A CN109493888A CN 109493888 A CN109493888 A CN 109493888A CN 201811261581 A CN201811261581 A CN 201811261581A CN 109493888 A CN109493888 A CN 109493888A
Authority
CN
China
Prior art keywords
caricature
video
picture
audio
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811261581.9A
Other languages
English (en)
Other versions
CN109493888B (zh
Inventor
孙译滨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Wuhan Co Ltd
Original Assignee
Tencent Technology Wuhan Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Wuhan Co Ltd filed Critical Tencent Technology Wuhan Co Ltd
Priority to CN201811261581.9A priority Critical patent/CN109493888B/zh
Publication of CN109493888A publication Critical patent/CN109493888A/zh
Application granted granted Critical
Publication of CN109493888B publication Critical patent/CN109493888B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel

Abstract

本发明涉及计算机技术领域,提供了一种漫画配音方法、装置、计算机可读介质及电子设备,该漫画配音方法包括:获取音频信息和漫画图片;对所述音频信息进行识别以获取音频内容,并对所述漫画图片进行识别以获取漫画内容,所述音频内容与所述漫画内容相对应;根据所述音频信息对应的时间区间和所述漫画图片获取第一视频;将所述音频内容与所述漫画内容进行匹配,以对所述第一视频进行配音形成第二视频。本发明中的漫画配音方法一方面能够对用户喜欢的漫画片段进行配音,避免了人工剪裁生成视频,节省了人力,降低了成本;另一方面能够丰富对漫画进行配音的方法,提高用户体验。

Description

漫画配音方法及装置、计算机可读存储介质、电子设备
技术领域
本公开涉及计算机领域,特别涉及一种漫画配音方法、漫画配音装置、计算机可读存储介质及电子设备。
背景技术
随着喜爱漫画、二次元等领域的人群的不断扩张,人们针对这类内容的消费方式也开始变得多元化,从以往的传统漫画书消费,到形成讨论社区,再到其他衍生出的针对漫画内容的消费形式。
为了使漫画更有生气,可以对漫画进行配音,以提升表现力。目前现有的配音是让用户对一些热门的电视电影情节进行模仿配音,然后按照原有视频的时间产出。但是这种配音方法对用户而言,可选择性少,而且录制时间长短被限制了,只能选择通过人工筛选剪裁好的视频,这使得配音的成本高、内容质量良莠不齐、玩法单一。
鉴于此,本领域亟需开发一种新的漫画配音方法及装置。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种漫画配音方法、漫画配音装置、计算机可读存储介质及电子设备,进而至少在一定程度上使用户可以选择一段喜欢的漫画即兴的根据漫画上的文字进行配音,最后生成一个可供欣赏分享的视频,避免了通过人力裁剪生成视频,节省了大量的人力。
本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。
根据本发明实施例的一个方面,提供一种漫画配音方法,包括:获取音频信息和漫画图片;对所述音频信息进行识别以获取音频内容,并对所述漫画图片进行识别以获取漫画内容,所述音频内容与所述漫画内容相对应;根据所述音频信息对应的时间区间和所述漫画图片获取第一视频;将所述音频内容与所述漫画内容进行匹配,以对所述第一视频进行配音形成第二视频。
根据本发明实施例的一个方面,提供一种漫画配音装置,包括:获取模块,用于获取音频信息和漫画图片;识别模块,用于对所述音频信息进行识别以获取音频内容,并对所述漫画图片进行识别以获取漫画内容,所述音频内容与所述漫画内容相对应;第一视频生成模块,用于根据所述音频信息对应的时间区间和所述漫画图片获取第一视频;第二视频生成模块,用于将所述音频内容与所述漫画内容进行匹配,以对所述第一视频进行配音形成第二视频。
在本发明的一些实施例,基于前述方案,所述获取模块包括:时间区间确定单元,用于根据用户的第一触发操作对应的时间点和第二触发操作对应的时间点确定所述时间区间;音频信息获取单元,用于获取所述用户在所述时间区间内对漫画进行配音的配音信息,所述配音信息即为所述音频信息;漫画图片获取单元,用于获取所述用户在所述时间区间内观看漫画时生成的滑动轨迹,并根据所述滑动轨迹确定所述漫画图片。
在本发明的一些实施例,基于前述方案,所述识别模块包括:语音识别单元,用于对所述音频信息中的语音进行语音识别,以获取所述音频内容。
在本发明的一些实施例,基于前述方案,所述识别模块包括:文字识别单元,用于对所述漫画图片中的文字进行文字识别,以获取所述漫画内容。
在本发明的一些实施例,基于前述方案,所述第一视频生成模块包括:时长确定单元,用于根据所述时间区间确定所述第一视频的时长;第一视频生成单元,用于将所述漫画图片按照用户的滑动轨迹排序,将排序好后的漫画图片根据所述时长形成所述第一视频。
在本发明的一些实施例,基于前述方案,所述滑动轨迹包括所述漫画图片的观看顺序和所述漫画图片对应的停留时间。
在本发明的一些实施例,基于前述方案,所述漫画图片的数量为多个;所述第一视频生成单元包括:图片调整单元,用于将各所述漫画图片按照所述观看顺序依次排列,并根据各所述漫画图片对应的停留时间调整各所述漫画图片的显示时长,以形成所述第一视频。
在本发明的一些实施例,基于前述方案,所述装置还包括:时间点获取模块,用于获取所述音频信息中所述音频内容出现的第一时间点和所述漫画图片出现的第二时间点。
在本发明的一些实施例,基于前述方案,所述第二视频生成模块包括:匹配单元,用于将所述音频内容与所述漫画内容进行匹配,并将所述第一时间点与所述第二时间点进行匹配,以对所述第一视频进行配音形成所述第二视频。
在本发明的一些实施例,基于前述方案,所述装置还包括:标注模块,用于对所述漫画图片中的文字进行文字识别以获得所述漫画内容,并将所述漫画内容标注在所述漫画图片中存在相同文字信息的地方。
根据本发明实施例的一方面,提供了一种计算机可读介质,其上存储有计算机程序,所述程序被处理器执行时实现如上述实施例中所述的漫画配音方法。
根据本发明实施例的一方面,提供了一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如上述实施例中所述的漫画配音方法。
由上述技术方案可知,本公开示例性实施例中的漫画配音方法及装置、计算机可读存储介质、电子设备至少具备以下优点和积极效果:
本发明根据用户的触控操作对喜欢的漫画片段进行配音以获得音频信息,并根据用户观看漫画时的滑动轨迹获取配音的漫画图片;接着通过分别对音频信息和漫画图片进行识别获取其中的音频内容和漫画内容;最后将音频内容和漫画内容进行匹配形成视频。本发明还可以在将音频内容和漫画内容进行匹配后,再将音频信息中出现语音的时间点与漫画图片出现的时间点进行匹配,以形成视频。本发明中的漫画配音方法一方面能够对用户喜欢的漫画片段进行配音,避免了人工剪裁生成视频,节省了人力,降低了成本;另一方面能够丰富对漫画进行配音的方法,提高用户体验。
本发明应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了可以应用本发明实施例的漫画配音方法及装置的示例性系统架构的示意图;
图2示意性示出了根据本发明的一实施例的漫画配音方法的流程图;
图3示意性示出了根据本发明的一实施例的漫画配音方法的流程图;
图4示意性示出了根据本发明的一实施例的漫画配音装置的结构示意图;
图5示意性示出了根据本发明的一实施例的漫画配音装置的结构示意图;
图6示意性示出了根据本发明的一实施例的漫画配音装置的结构示意图;
图7示出了适于用来实现本发明实施例的电子设备的计算机系统的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本发明将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。
此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中,提供许多具体细节从而给出对本发明的实施例的充分理解。然而,本领域技术人员将意识到,可以实践本发明的技术方案而没有特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。
附图中所示的方框图仅仅是功能实体,不一定必须与物理上独立的实体相对应。即,可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解,而有的操作/步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。
图1示出了可以应用本发明实施例的漫画配音方法、漫画配音装置的示例性系统架构100的示意图。
如图1所示,系统架构100可以包括终端设备101、网络102和服务器103。网络102用以在终端设备101和服务器103之间提供通信链路的介质。网络102可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
应该理解,图1中的终端设备101、网络102和服务器103的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、逻辑服务器、存储服务器和投影设备。比如服务器103可以是多个服务器组成的服务器集群等。
用户可以使用终端设备101通过网络102与服务器103交互,以接收或发送消息等。终端设备101可以是具有显示屏且具有录音功能的各种电子设备,包括但不限于智能手机、平板电脑和便携式计算机等等,该终端设备101还可以是由多个终端设备组成的集群,如将手机、平板电脑、便携式计算机或台式计算机与麦克风、话筒等的组合作为终端设备101。
服务器103可以是提供各种服务的代理服务器。例如用户利用终端设备101一边观看漫画一边对感兴趣的漫画片段进行配音生成音频信息,同时用户在观看漫画时会通过手指或鼠标等在显示屏幕上进行滑动以进行翻页,相应地会生成滑动轨迹;终端设备101将音频信息和滑动轨迹对应的漫画图片发送至服务器103,服务器103可以对音频信息进行语音识别获取其中的音频内容,对漫画图片进行文字识别获取其中的漫画内容;最后将语音内容和漫画内容进行匹配即可将音频信息添加到漫画图片中生成视频。为了使匹配更精准,还可以根据音频信息中出现语音的时间点和漫画图片出现的时间点进行匹配生成视频。本发明中的漫画配音方法能够使用户对感兴趣的漫画片段进行配音,避免了人工剪裁视频,降低了成本;另外通过文字识别和语音识别的方式,提供了更广泛更自由的玩法并且内容针对所有漫画,这样可以进一步提升用户体验。
在本发明的一个实施例中提出了一种漫画配音方法,以对相关技术中存在的问题进行优化处理。具体参照图2所示,该漫画配音方法至少包括以下步骤:
步骤S210:获取音频信息和漫画图片;
步骤S220:对所述音频信息进行识别以获取音频内容,并对所述漫画图片进行识别以获取漫画内容,所述音频内容与所述漫画内容相对应;
步骤S230:根据所述音频信息对应的时间区间和所述漫画图片获取第一视频;
步骤S240:将所述音频内容与所述漫画内容进行匹配,以对所述第一视频进行配音形成第二视频。
本发明通过根据获取的音频信息和漫画图片进行识别,分别获取音频内容和漫画内容;接着根据漫画内容和音频信息对应的时间区间生成第一视频;最后将音频内容与漫画内容进行匹配,以对第一视频进行配音生成第二视频。本发明的漫画配音方法一方面能够避免人工剪裁视频,节省了人力,减少了成本;另一方面能够通过对语音和漫画进行识别的方式进行配音,提供了更广泛更自由的玩法,进一步提升了用户体验。
为了使本发明的技术方案更清晰,接下来对漫画配音方法的各步骤进行说明。
在步骤S210中,获取音频信息和漫画图片。
在本发明的示例性实施例中,用户可以通过加载在终端设备101中的应用程序观看漫画,该应用程序中还可以设置录音按钮使用户对其所观看的漫画进行即兴配音。用户在观看漫画的过程中,遇到感兴趣的片段时,可以点击录音按钮以产生对终端设备101的第一触发操作,根据该第一触发操作开始进入录音状态,当配音结束后可以再次点击录音按钮以产生对终端设备101的第二触发操作,根据该第二触发操作结束录音。终端设备101在第一触发操作对应的时间点和第二触发操作对应的时间点之间获取的配音信息即为音频信息,该音频信息可由终端设备101发送至服务器103,也可以存储在终端设备101本地的路径上,服务器103从该路径获取所需的音频信息。除此之外,用户还可以从一配音数据库中获取所需的音频信息,该配音数据库中存储有大量配音信息,每个配音信息标注有对应的漫画信息。
在本发明的示例性实施例中,在录制配音的过程中,用户可以通过手指、鼠标等滚动屏幕,实现漫画图片的切换。本发明实施例中,以智能手机作为终端设备101进行说明,当用户通过智能手机观看漫画时,通过横向或纵向滑动屏幕以实现漫画图片的切换,在此过程中可以记录用户的滑动轨迹、起始位置和终止位置,并且根据滑动轨迹、起始位置和终止位置获取用户观看过的漫画图片。
在步骤S220中,对所述音频信息进行识别以获取音频内容,并对所述漫画图片进行识别以获取漫画内容,所述音频内容与所述漫画内容相对应;
在本发明的示例性实施例中,获取音频信息和漫画图片后,可以对音频信息和漫画图片中的内容进行识别,以获取音频内容和漫画内容,其中音频内容是音频信息中用户对漫画内容进行配音的配音信息,该配音信息可以通过对音频信息中的语音进行语音识别获得,具体地可以采用隐式马尔科夫模型、人工神经网络模型、基于统计概率的语言模型等进行语音识别;漫画内容是通过对漫画图片中的文字信息进行文字识别所获取的信息,具体地可以采用光学字符识别方法、神经网络模型等进行文字识别。值得注意的是,为了对漫画进行正确配音,获取的音频内容和漫画内容应当是相对应的。
在步骤S230中,根据所述音频信息对应的时间区间和所述漫画图片获取第一视频。
在本发明的示例性实施例中,在获取音频内容和漫画内容后,可以先根据触发录制音频信息的第一触发操作对应的时间点和第二触发操作对应的时间点确定录制时长,即音频信息对应的时间区间为第二触发操作对应的时间点与第一触发操作对应的时间点之间的时间差。在获取音频信息对应的时间区间后,可以将漫画图片按照观看顺序依次填入该时间区间中,以生成第一视频,该第一视频为带有画面的无声视频。
在本发明的示例性实施例中,在用户点击录音按钮开始录制音频信息的过程中,用户可以在终端设备101的触控屏幕上进行滑动以实现漫画图片的翻页,在用户滑动的过程中,服务器103可以获取用户的滑动轨迹,该滑动轨迹包括用户观看漫画图片的观看顺序和漫画图片对应的停留时间,在将漫画图片填入时间区间之前,可以将用户观看过的所有漫画图片按照滑动顺序进行排序,然后将漫画图片按照顺序依次填入时间区间形成第一视频。进一步的,在形成第一视频时,可以将用户滑动轨迹的起始位置作为第一视频的生成起始点。
在步骤S240中,将所述音频内容与所述漫画内容进行匹配,以对所述第一视频进行配音形成第二视频。
在本发明的示例性实施例中,获取第一视频后,可以将音频内容填入第一视频具有相应内容的位置,以对第一视频进行配音形成第二视频。在将音频内容填入第一视频时,可以通过将音频内容与漫画内容进行匹配,根据匹配结果对第一视频进行配音。当音频内容与漫画内容匹配时,将匹配的音频内容放到对应的漫画图片上;当音频内容与漫画内容不匹配时,可以继续将下一条音频内容与漫画内容进行匹配,直至将所有的音频内容与漫画内容进行匹配并结合形成第二视频。
在本发明的示例性实施例中,音频信息可以是一个完整的音频,其中包含的音频内容可以是相互间隔的一段一段的音频,而音频内容之间的时间间隔则根据用户的滑动速度不同而不同,例如当用户在观看第一漫画图片时停留了5s,然后切换到了相邻的第二漫画图片,那么与第一漫画图片对应的音频内容和与第二漫画图片对应的音频内容之间的时间间隔可以等于或大于5s。
进一步的,音频信息可以是由多段音频组成的,每段音频信息分别与一幅漫画图片对应。在将音频内容与漫画内容进行匹配形成第二视频时,可以将按时间顺序排列的音频信息中的音频内容逐一与按照滑动轨迹中的观看顺序排列的视频图片中的视频内容进行匹配,以将音频信息填入到第一视频的对应位置形成第二视频。
在本发明的示例性实施例中,在通过内容匹配的基础上,还可以通过时间匹配以形成第二视频。在对音频信息中的音频内容进行识别的同时还可以记录各个音频内容出现的时间点,在对漫画图片中的漫画内容进行识别的同时还可以根据滑动轨迹记录各个漫画图片出现的时间点,在将音频内容和相应的视频内容进行匹配后,将音频内容出现的时间点与漫画图片出现的时间点进行匹配,进而将音频内容填到相应的视频图片中,使只有图像没有声音的第一视频转变为既有图像又有声音的第二视频。
以一具体实施例对上述方法进行说明,图3示出了漫画配音的方法流程图,如图3所示,漫画图片包含多幅漫画图像,具体的可以是三幅或其他任意数量的图像,本发明实施例对此不做具体限定,在图3A中,用户点击进入手机中的视频配音程序;在图3B中,从一文件夹中打开待配音漫画,在待配音漫画中选定感兴趣的漫画片段,并使手机用户界面显示该漫画片段的起始漫画图片;在图3C中,点击用户界面中的录音按钮开始对该漫画片段进行配音,用户通过耳麦或对着手机话筒根据显示的漫画图片中的漫画内容进行配音,同时用户滑动漫画以切换漫画图片,在此过程中,手机可以收集用户的滑动轨迹和音频信息,该滑动轨迹包括漫画图片的观看顺序和在观看每幅漫画图片时用户停留的时间;在图3D中,用户对漫画片段配音结束后,点击录音按钮以结束录音;接着手机将收集到的滑动轨迹、漫画片段和音频信息发送至服务器,服务器接收到上述信息后分别对漫画片段和音频信息进行识别,以从中识别出漫画内容和音频内容,同时对各幅漫画图片出现的时间点和音频信息中出现语音的时间点进行定位;最后服务器通过先将漫画图片按照观看顺序在音频信息对应的时间区间内进行排序形成第一视频,再对音频内容和漫画内容进行匹配,并对漫画图片出现的时间点和语音时间点进行匹配形成第二视频,即可实现对漫画的配音。
在本发明的示例性实施例中,在滑动轨迹中,用户在每幅漫画图片停留的时间可以不同,因此在形成第一视频的时候,可以根据停留时间的不同调整各幅漫画图片在第一视频中的显示时长。
在本发明的示例性实施例中,在对漫画图片中的文字信息进行文字识别以获取漫画内容时,可以对漫画上存在文字信息的地方进行打点标注,具体地,可以是在获取漫画内容后将具体的文字标注在漫画图片中具有相同文字信息的地方,以便于对音频内容和漫画内容进行匹配。
在本发明的示例性实施例中,用户在观看漫画时,除了对漫画内容消费,进行漫画配音形成视频外,还可以将形成的视频分享以供其他用户进行评论和二次配音,以生成更多的二次创作内容,并将这些内容再反哺回到漫画产品本身。通过该方法可以提供一条将漫画内容、UGC生产以及内容社区三者联系起来的链条,为用户提供了一种全新的漫画内容玩法。
以下介绍本发明的装置实施例,可以用于执行本发明上述的漫画配音方法。对于本发明装置实施例中未披露的细节,请参照本发明上述的漫画配音方法的实施例。
图4示意性示出了根据本发明的一个实施例的漫画配音装置的框图。
参照图4所示,根据本发明的一个实施例的漫画配音装置400,包括:获取模块401、识别模块402、第一视频生成模块403和第二视频生成模块模块404。
具体地,获取模块401,用于获取音频信息和漫画图片;识别模块402,用于对所述音频信息进行识别以获取音频内容,并对所述漫画图片进行识别以获取漫画内容,所述音频内容与所述漫画内容相对应;第一视频生成模块403,用于根据所述音频信息对应的时间区间和所述漫画图片获取第一视频;第二视频生成模块404,用于将所述音频内容与所述漫画内容进行匹配,以对所述第一视频进行配音形成第二视频。
在本发明的一个实施例中,所述获取模块401包括时间区间确定单元、音频信息获取单元和漫画图片获取单元。
具体地,时间区间确定单元,用于根据用户的第一触发操作对应的时间点和第二触发操作对应的时间点确定所述时间区间;音频信息获取单元,用于获取所述用户在所述时间区间内对漫画进行配音的配音信息,所述配音信息即为所述音频信息;漫画图片获取单元,用于获取所述用户在所述时间区间内观看漫画时生成的滑动轨迹,并根据所述滑动轨迹确定所述漫画图片。
在本发明的一个实施例中,所述识别模块402包括:语音识别单元,用于对所述音频信息中的语音进行语音识别,以获取所述音频内容。
在本发明的一个实施例中,所述识别模块402包括:文字识别单元,用于对所述漫画图片中的文字进行文字识别,以获取所述漫画内容。
在本发明的一个实施例中,所述第一视频生成模块403包括时长确定单元和第一视频生成单元。
具体地,时长确定单元,用于根据所述时间区间确定所述第一视频的时长;第一视频生成单元,用于将所述漫画图片按照用户的滑动轨迹排序,将排序好后的漫画图片根据所述时长形成所述第一视频。
在本发明的一个实施例中,所述滑动轨迹包括所述漫画图片的观看顺序和所述漫画图片对应的停留时间。
在本发明的一个实施例中,所述漫画图片的数量为多个;所述第一视频生成单元包括:图片调整单元,用于将各所述漫画图片按照所述观看顺序依次排列,并根据各所述漫画图片对应的停留时间调整各所述漫画图片的显示时长,以形成所述第一视频。
图5示意性示出了根据本发明的一个实施例的漫画配音装置的框图。
参照图5所示,根据本发明的一个实施例的漫画配音装置400还包括:时间点获取模块405,用于获取所述音频信息中所述音频内容出现的第一时间点,并获取所述漫画图片出现的第二时间点。
在本发明的一个实施例中,所述第二视频生成模块404包括:匹配单元,用于将所述音频内容与所述漫画内容进行匹配,并将所述第一时间点与所述第二时间点进行匹配,以对所述第一视频进行配音形成所述第二视频。
图6示意性示出了根据本发明的一个实施例的漫画配音装置的框图。
参照图6所示,根据本发明的一个实施例的漫画配音装置400还包括:标注模块406,用于对所述漫画图片中的文字进行文字识别获得所述漫画内容后,将所述漫画内容标注在所述漫画图片中存在相同文字的地方。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本发明的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
图7示出了适于用来实现本发明实施例的电子设备的计算机系统的结构示意图。
需要说明的是,图7示出的电子设备的计算机系统700仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示,计算机系统700包括中央处理单元(CPU)701,其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中,还存储有系统操作所需的各种程序和数据。CPU701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
以下部件连接至I/O接口705:包括键盘、鼠标等的输入部分706;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707;包括硬盘等的存储部分708;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器710上,以便于从其上读出的计算机程序根据需要被安装入存储部分708。
特别地,根据本发明的实施例,下文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分709从网络上被下载和安装,和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(CPU)701执行时,执行本发明的系统中限定的各种功能。
需要说明的是,本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现,所描述的单元也可以设置在处理器中。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面,本发明还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该电子设备执行时,使得该电子设备实现如下述实施例中所述的方法。例如,所述的电子设备可以实现如图2至图3所示的各个步骤。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本发明实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本发明实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (11)

1.一种漫画配音方法,其特征在于,包括:
获取音频信息和漫画图片;
对所述音频信息进行识别以获取音频内容,并对所述漫画图片进行识别以获取漫画内容,所述音频内容与所述漫画内容相对应;
根据所述音频信息对应的时间区间和所述漫画图片获取第一视频;
将所述音频内容与所述漫画内容进行匹配,以对所述第一视频进行配音形成第二视频。
2.根据权利要求1所述的漫画配音方法,其特征在于,获取音频信息和漫画图片,包括:
根据用户的第一触发操作对应的时间点和第二触发操作对应的时间点确定所述时间区间;
获取所述用户在所述时间区间内对漫画进行配音的配音信息,所述配音信息即为所述音频信息;同时,
获取所述用户在所述时间区间内观看漫画时生成的滑动轨迹,并根据所述滑动轨迹确定所述漫画图片。
3.根据权利要求1所述的漫画配音方法,其特征在于,根据所述音频信息对应的时间区间和所述漫画图片获取第一视频,包括:
根据所述时间区间确定所述第一视频的时长;
将所述漫画图片按照用户的滑动轨迹排序,将排序好后的漫画图片根据所述时长形成所述第一视频。
4.根据权利要求2或3所述的漫画配音方法,其特征在于,所述滑动轨迹包括所述漫画图片的观看顺序和所述漫画图片对应的停留时间。
5.根据权利要求4所述的漫画配音方法,其特征在于,所述漫画图片的数量为多个;
将所述漫画图片按照用户的滑动轨迹排序,将排序好后的漫画图片根据所述时长形成所述第一视频,包括:
将各所述漫画图片按照所述观看顺序依次排列,并根据各所述漫画图片对应的停留时间调整各所述漫画图片的显示时长,以形成所述第一视频。
6.根据权利要求1所述的漫画配音方法,其特征在于,在将所述音频内容与所述漫画内容进行匹配,以对所述第一视频进行配音形成第二视频之前,所述方法还包括:
获取所述音频信息中所述音频内容出现的第一时间点和所述漫画图片出现的第二时间点。
7.根据权利要求6所述的漫画配音方法,其特征在于,将所述音频内容与所述漫画内容进行匹配,以对所述第一视频进行配音形成第二视频,包括:
将所述音频内容与所述漫画内容进行匹配,并将所述第一时间点与所述第二时间点进行匹配,以对所述第一视频进行配音形成所述第二视频。
8.根据权利要求1所述的漫画配音方法,其特征在于,所述方法还包括:
对所述漫画图片中的文字进行文字识别以获得所述漫画内容,并将所述漫画内容标注在所述漫画图片中存在相同文字信息的地方。
9.一种漫画配音装置,其特征在于,包括:
获取模块,用于获取音频信息和漫画图片;
识别模块,用于对所述音频信息进行识别以获取音频内容,并对所述漫画图片进行识别以获取漫画内容,所述音频内容与所述漫画内容相对应;
第一视频生成模块,用于根据所述音频信息对应的时间区间和所述漫画图片获取第一视频;
第二视频生成模块,用于将所述音频内容与所述漫画内容进行匹配,以对所述第一视频进行配音形成第二视频。
10.一种计算机存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1~8中任意一项所述的漫画配音方法。
11.一种电子设备,其特征在于,包括:
处理器;以及
存储器,用于存储所述处理器的可执行指令;
其中,所述处理器配置为经由执行所述可执行指令来执行权利要求1~8中任意一项所述的漫画配音方法。
CN201811261581.9A 2018-10-26 2018-10-26 漫画配音方法及装置、计算机可读存储介质、电子设备 Active CN109493888B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811261581.9A CN109493888B (zh) 2018-10-26 2018-10-26 漫画配音方法及装置、计算机可读存储介质、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811261581.9A CN109493888B (zh) 2018-10-26 2018-10-26 漫画配音方法及装置、计算机可读存储介质、电子设备

Publications (2)

Publication Number Publication Date
CN109493888A true CN109493888A (zh) 2019-03-19
CN109493888B CN109493888B (zh) 2020-07-10

Family

ID=65692714

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811261581.9A Active CN109493888B (zh) 2018-10-26 2018-10-26 漫画配音方法及装置、计算机可读存储介质、电子设备

Country Status (1)

Country Link
CN (1) CN109493888B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111311713A (zh) * 2020-02-24 2020-06-19 咪咕视讯科技有限公司 漫画处理方法、显示方法、装置、终端及存储介质
CN111415399A (zh) * 2020-03-19 2020-07-14 北京奇艺世纪科技有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN111681680A (zh) * 2020-06-09 2020-09-18 杭州星合尚世影视传媒有限公司 视频识别物体获取音频方法、系统、装置及可读存储介质
CN111681679A (zh) * 2020-06-09 2020-09-18 杭州星合尚世影视传媒有限公司 视频物体音效搜索匹配方法、系统、装置及可读存储介质
CN111866582A (zh) * 2019-04-26 2020-10-30 广州声活圈信息科技有限公司 一种用户匹配对手戏的演绎秀及演绎秀合成方法
CN112040256A (zh) * 2020-08-14 2020-12-04 华中科技大学 一种直播实验教学过程视频标注方法和系统
CN112261435A (zh) * 2020-11-06 2021-01-22 腾讯科技(深圳)有限公司 一种社交互动方法、装置、系统、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101937570A (zh) * 2009-10-11 2011-01-05 上海本略信息科技有限公司 基于语音和文字识别的动漫口形自动匹配实现方法
CN103117057A (zh) * 2012-12-27 2013-05-22 安徽科大讯飞信息科技股份有限公司 一种特定人语音合成技术在手机漫画配音中的应用方法
KR20150115571A (ko) * 2014-04-05 2015-10-14 심상근 외국어연습 성우클럽 인터넷 및 그 응용
CN105069104A (zh) * 2015-05-22 2015-11-18 福建中科亚创通讯科技有限责任公司 一种动态漫画的生成方法与系统
CN106531148A (zh) * 2016-10-24 2017-03-22 咪咕数字传媒有限公司 一种基于语音合成的漫画配音方法和装置
CN107888558A (zh) * 2017-10-09 2018-04-06 广东教教圈圈动漫科技有限公司 一种绘本配音方法、装置与系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101937570A (zh) * 2009-10-11 2011-01-05 上海本略信息科技有限公司 基于语音和文字识别的动漫口形自动匹配实现方法
CN103117057A (zh) * 2012-12-27 2013-05-22 安徽科大讯飞信息科技股份有限公司 一种特定人语音合成技术在手机漫画配音中的应用方法
KR20150115571A (ko) * 2014-04-05 2015-10-14 심상근 외국어연습 성우클럽 인터넷 및 그 응용
CN105069104A (zh) * 2015-05-22 2015-11-18 福建中科亚创通讯科技有限责任公司 一种动态漫画的生成方法与系统
CN106531148A (zh) * 2016-10-24 2017-03-22 咪咕数字传媒有限公司 一种基于语音合成的漫画配音方法和装置
CN107888558A (zh) * 2017-10-09 2018-04-06 广东教教圈圈动漫科技有限公司 一种绘本配音方法、装置与系统

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111866582A (zh) * 2019-04-26 2020-10-30 广州声活圈信息科技有限公司 一种用户匹配对手戏的演绎秀及演绎秀合成方法
CN111311713A (zh) * 2020-02-24 2020-06-19 咪咕视讯科技有限公司 漫画处理方法、显示方法、装置、终端及存储介质
CN111415399A (zh) * 2020-03-19 2020-07-14 北京奇艺世纪科技有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN111415399B (zh) * 2020-03-19 2023-12-22 北京奇艺世纪科技有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN111681680A (zh) * 2020-06-09 2020-09-18 杭州星合尚世影视传媒有限公司 视频识别物体获取音频方法、系统、装置及可读存储介质
CN111681679A (zh) * 2020-06-09 2020-09-18 杭州星合尚世影视传媒有限公司 视频物体音效搜索匹配方法、系统、装置及可读存储介质
CN111681679B (zh) * 2020-06-09 2023-08-25 杭州星合尚世影视传媒有限公司 视频物体音效搜索匹配方法、系统、装置及可读存储介质
CN111681680B (zh) * 2020-06-09 2023-08-25 杭州星合尚世影视传媒有限公司 视频识别物体获取音频方法、系统、装置及可读存储介质
CN112040256A (zh) * 2020-08-14 2020-12-04 华中科技大学 一种直播实验教学过程视频标注方法和系统
CN112261435A (zh) * 2020-11-06 2021-01-22 腾讯科技(深圳)有限公司 一种社交互动方法、装置、系统、设备及存储介质

Also Published As

Publication number Publication date
CN109493888B (zh) 2020-07-10

Similar Documents

Publication Publication Date Title
CN109493888A (zh) 漫画配音方法及装置、计算机可读存储介质、电子设备
CN107659847B (zh) 语音互动方法和装置
CN105009118B (zh) 定制的内容消费界面
CN110446057A (zh) 直播辅助数据的提供方法、装置、设备及可读介质
CN107918653A (zh) 一种基于喜好反馈的智能播放方法和装置
CN108737872A (zh) 用于输出信息的方法和装置
CN109147800A (zh) 应答方法和装置
CN109117233A (zh) 用于处理信息的方法和装置
CN109635155A (zh) 为用户推送视频的方法、装置、电子设备及存储介质
CN109165302A (zh) 多媒体文件推荐方法及装置
CN110324718A (zh) 音视频生成方法、装置、电子设备及可读介质
CN110134931A (zh) 媒介标题生成方法、装置、电子设备及可读介质
CN105930485A (zh) 一种音频媒体播放方法、通信设备及网络系统
JP7240505B2 (ja) 音声パケット推薦方法、装置、電子機器およびプログラム
CN109474843A (zh) 语音操控终端的方法、客户端、服务器
CN110267113A (zh) 视频文件加工方法、系统、介质和电子设备
CN106921749A (zh) 用于推送信息的方法和装置
CN111800671A (zh) 用于对齐段落和视频的方法和装置
CN109547841A (zh) 短视频数据的处理方法、装置及电子设备
CN108933730A (zh) 信息推送方法和装置
CN110019934A (zh) 识别视频的相关性
CN108924218A (zh) 用于推送信息的方法和装置
CN113365134A (zh) 音频分享方法、装置、设备及介质
CN109582825A (zh) 用于生成信息的方法和装置
CN106802913A (zh) 一种播放内容推荐方法及其装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant