CN113393558A - 漫画生成方法、装置、电子设备和存储介质 - Google Patents

漫画生成方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN113393558A
CN113393558A CN202110732832.2A CN202110732832A CN113393558A CN 113393558 A CN113393558 A CN 113393558A CN 202110732832 A CN202110732832 A CN 202110732832A CN 113393558 A CN113393558 A CN 113393558A
Authority
CN
China
Prior art keywords
video
cartoon
video frame
image
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110732832.2A
Other languages
English (en)
Inventor
倪敏垚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Software Technology Co Ltd
Original Assignee
Vivo Software Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Software Technology Co Ltd filed Critical Vivo Software Technology Co Ltd
Priority to CN202110732832.2A priority Critical patent/CN113393558A/zh
Publication of CN113393558A publication Critical patent/CN113393558A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请公开了一种漫画生成方法、装置、电子设备和存储介质，属于计算机技术领域。该漫画生成方法包括：根据第一视频的内容，对所述第一视频进行划分，得到多个第二视频；一个所述第二视频中的各帧视频帧的内容相似度满足预设相似度条件；针对每个所述第二视频，基于所述第二视频中的每一帧视频帧的图像帧信息，确定所述第二视频的目标转换视频帧；针对每个所述目标转换视频帧，将所述目标转换视频帧转换为漫画图像，得到每个所述第二视频对应的漫画图像；基于各所述漫画图像，生成所述第一视频对应的漫画。

Description

漫画生成方法、装置、电子设备和存储介质
技术领域
本申请属于计算机领域，具体涉及一种漫画生成方法、装置、电子设备和存储介质。
背景技术
随着电子设备拍摄功能的发展，用户利用短视频的方式来分享生活已成为常态，将视频漫画化以将动态视频转换为具有叙事能力的漫画图片，相较于短视频而言，更具有新意，且更便于人们读懂分享者所分享的故事。
目前，在将视频转换为漫画的过程中，在利用程序选取转换帧时，选取的转换帧无法保证转换帧之间的关联性，导致最后输出的漫画故事不连贯，进而导致输出的漫画可读性差的问题。
发明内容
本申请实施例的目的是提供一种漫画生成方法、装置、电子设备和存储介质，解决了现有技术中无法保证转换帧是清晰且关键的，导致最后生成的漫画叙事不连贯造成的可读性差的问题。
第一方面，本申请实施例提供了一种漫画生成方法，该方法包括：
根据第一视频的内容，对所述第一视频进行划分，得到多个第二视频；一个所述第二视频中的各帧视频帧的内容相似度满足预设相似度条件；
针对每个所述第二视频，基于所述第二视频中的每一帧视频帧的图像帧信息，确定所述第二视频的目标转换视频帧；
针对每个所述目标转换视频帧，将所述目标转换视频帧转换为漫画图像，得到每个所述第二视频对应的漫画图像；
基于各所述漫画图像，生成所述第一视频对应的漫画。
第二方面，本申请实施例提供了一种漫画生成装置，该装置包括：
第二视频生成模块，用于根据第一视频的内容，对所述第一视频进行划分，得到多个第二视频；一个所述第二视频中的各帧视频帧的内容相似度满足预设相似度条件；
目标转换视频帧确定模块，用于针对每个所述第二视频，基于所述第二视频中的每一帧视频帧的图像帧信息，确定所述第二视频的目标转换视频帧；
漫画图像确定模块，用于针对每个所述目标转换视频帧，将所述目标转换视频帧转换为漫画图像，得到每个所述第二视频对应的漫画图像；
漫画生成模块，用于基于各所述漫画图像，生成所述第一视频对应的漫画。
第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。
在本申请实施例中，通过将第一视频划分为多个第二视频，根据第二视频中的每一帧视频帧的图像帧信息，可确定出目标转换视频帧，然后将该目标转换视频帧转换为漫画图像，基于各漫画图像，可生成与第一视频对应的漫画，由于生成第一视频对应的漫画的各漫画图像是由目标转换视频帧转换得到的，而每个目标转换视频帧是根据每个第二视频中的图像帧信息确定得到的，又由于第二视频中的每一帧视频帧的内容相似度满足一定预设相似度条件，所以，第二视频中的每帧视频帧之间的内容相关。因此，从各第二视频中确定的目标转换视频帧能够反映第一视频的整个内容概要，不会出现第一视频的关键内容缺失的问题。因而，由各目标转换视频帧转换得到的各漫画图像生成的漫画能够反映第一视频的内容连续性。该漫画叙事连贯性好，可读性较强。
附图说明
图1是根据一示例性实施例示出的漫画生成方法的流程图之一；
图2是根据一示例性实施例示出的漫画生成方法的流程图之二；
图3是根据一示例性实施例示出的一种漫画生成装置的结构框图；
图4是根据一示例性实施例示出的一种电子设备的结构框图；
图5是本申请实施例的一种电子设备的硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
如背景技术，在将视频转换为漫画的过程中，在利用程序选取转换帧时，选取的转换帧无法保证转换帧之间的关联性，导致最后输出的漫画故事不连贯，进而导致输出的漫画可读性差的问题。
针对相关技术中出现的问题，本申请实施例提供了一种漫画生成方法，通过将第一视频划分为多个第二视频，根据第二视频中的每一帧视频帧的图像帧信息，可确定出目标转换视频帧，然后将该目标转换视频帧转换为漫画图像，基于各漫画图像，即可生成与第一视频对应的漫画，由于生成第一视频对应的漫画的各漫画图像是由目标转换视频帧转换得到的，而每个目标转换视频帧是根据每个第二视频中的图像帧信息确定得到的，又由于第二视频中的每一帧视频帧的内容相似度满足一定预设相似度条件，所以，第二视频中的每帧视频帧之间的内容相关。因此，从各第二视频中确定的目标转换视频帧能够反映第一视频的整个内容概要，不会出现第一视频的关键内容缺失的问题。因而，由各目标转换视频帧转换得到的各漫画图像生成的漫画能够反映第一视频的内容连续性。该漫画叙事连贯性好，可读性较强。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的漫画生成方法进行详细地说明。
图1是根据一示例性实施例示出的一种漫画生成方法的流程图，该漫画生成方法的执行主体可以为服务器或电子设备。需要说明的是，上述执行主体并不构成对本申请的限定。
如图1所示，该漫画生成方法可以包括如下步骤110-步骤140：
步骤110、根据第一视频的内容，对第一视频进行划分，得到多个第二视频。
步骤120、针对每个第二视频，基于第二视频中的每一帧视频帧的图像帧信息，确定第二视频的目标转换视频帧。
步骤130、针对每个目标转换视频帧，将目标转换视频帧转换为漫画图像，得到每个第二视频对应的漫画图像。
步骤140、基于各漫画图像，生成第一视频对应的漫画。
在本申请实施例中，通过将第一视频划分为多个第二视频，根据第二视频中的每一帧视频帧的图像帧信息，可确定出目标转换视频帧，然后将该目标转换视频帧转换为漫画图像，基于各漫画图像，即可生成与第一视频对应的漫画，由于生成第一视频对应的漫画的各漫画图像是由目标转换视频帧转换得到的，而每个目标转换视频帧是根据每个第二视频中的图像帧信息确定得到的，又由于第二视频中的每一帧视频帧的内容相似度满足一定预设相似度条件，所以，第二视频中的每帧视频帧之间的内容相关。因此，从各第二视频中确定的目标转换视频帧能够反映第一视频的整个内容概要，不会出现第一视频的关键内容缺失的问题。因而，由各目标转换视频帧转换得到的各漫画图像生成的漫画能够反映第一视频的内容连续性。该漫画叙事连贯性好，可读性较强。
下面详细介绍上述各步骤的具体实现方式。
首先介绍步骤110，根据第一视频的内容，对第一视频进行划分，得到多个第二视频。
其中，第一视频可以是要转换成漫画的视频。
在本申请的一些实施例中，第一视频可以是一个具有完整故事情节的视频。第一视频可以是设置在电子设备中的摄像头当前采集的一个具有完整故事情节的视频，也可以是电子设备中存储的一个具有完整故事情节的待处理视频。
在本申请的一些实施例中，在执行步骤110之前，该方法还可以包括：
获取第一视频。
在本申请的一些实施例中，获取第一视频的方式例如可以是通过电子设备的摄像头采集获取，也可以是直接从电子设备的视频数据库中获取。其中，电子设备例如可以是手机、平板、相机等具有拍照功能的设备。
其中，第一视频的内容可以是第一视频所描述的故事情节。具体的可以是第一视频中的各场景和/或动作等。
第二视频可以是根据第一视频的内容，对第一视频进行划分后所得到的视频。该第二视频可以是第一视频的视频子序列。各第二视频的时长可以相同，也可以不同。
在本申请的一些实施例中，针对每个第二视频而言，第二视频中的各帧视频帧的内容相似度满足预设相似度条件。
其中，内容相似度可以是表征各帧视频帧中的内容之间的相似性。
预设相似度条件可以是预先设置的各帧视频帧的内容相似度所要满足的条件。在一个具体例子中，预设相似度条件可以是内容相似度大于或等于预先设置的一个各帧视频帧的内容相似度的阈值。
在本申请的一些实施例中，可以是将第一视频输入到训练好的视频划分模型中，该模型将第一视频按照场景和/或动作等不同，将第一视频切分成多个视频序列(即第二视频)。这样由于视频划分模型是预先训练好的，将第一视频输入其中，可直接得到多个第二视频，这样不需进行繁琐的视频切分步骤，即可得到多个第二视频，提高了第二视频的获取效率，进而提高了漫画生成的效率。
在一个示例中，将第一视频输入到训练好的视频划分模型中，该模型可以是基于动态时间规整算法训练完成的，在视频划分模型接收到第一视频的情况下，动态时间规整算法可按照第一视频中的场景和/或动作将第一视频进行切分。
需要说明的是，本领域技术人员应该知道，本申请实施例中根据第一视频的内容，对第一视频进行划分，得到多个第二视频的方式并不仅限于上述所描述的利用训练好的视频划分模型，任何可根据第一视频的内容，对第一视频进行划分，得到多个第二视频的方式均属于本申请实施例的保护范围之内。
在本申请的一些实施例中，每一个第二视频可以代表故事中的一个情节、场景或动作。即针对每一个第二视频，该第二视频中的各视频帧之间具有一定的内容相似度。
在本申请的一些实施例中，针对每一个第二视频，可以是通过预设的相似度检测算法对该第二视频中的各视频帧之间的内容相似度进行计算，得到第二视频中的各帧视频帧的内容相似度。该内容相似度是满足预设相似度条件的，即该第二视频中的每一视频视具有一定的关联性的。
接着介绍步骤120，针对每个所述第二视频，基于所述第二视频中的每一帧视频帧的图像帧信息，确定所述第二视频的目标转换视频帧。
其中，图像帧信息可以是用于表征每一帧视频帧的图像的质量的信息。
在本申请的一些实施例中，针对每一帧视频帧而言，图像帧信息可以但不限于是该帧视频帧的清晰度、动作关键度和动作优美度中的至少一种。
目标转换视频帧可以是从第二视频中选取的将其转换为漫画图像的视频帧。
在本申请的一些实施例中，为了得到清晰度高的目标转换视频帧，步骤120具体可以包括：
步骤1201、从第二视频的视频帧中，筛选出图像帧信息对应的分值满足预设条件的准目标转换视频帧。
其中，预设条件可以是预先设置的图像帧信息所要满足的条件。
准目标转换视频帧可以是从第二视频的视频帧中筛选出的图像帧信息满足预设条件的视频帧。
步骤1202、对准目标转换视频帧进行清晰度处理，得到目标转换视频帧。
在本申请的一些实施例中，视频由于曝光时间短，视频中的每一帧视频帧容易出现模糊和无纹理等问题，因此，不能确定选定的准目标转换视频帧就是足够清晰的。故在得到准目标转换视频帧后，可能需要对准目标转换视频帧进行清晰度处理，以得到目标转换视频帧。
需要说明的是，在本申请的一些实施例中，在得到准目标转换视频帧后，若用户确认该准目标转换视频帧的图像质量很好，可以直接用于后续转换为漫画图像的处理，则也可不对该准目标转换视频帧进行清晰度处理，此时准目标转换视频帧即为目标转换视频帧。具体的是否对准目标转换视频帧进行清晰度处理，可根据用户需求自行选取，这里不做限定。
在本申请实施例中，通过从第二视频的视频帧中，筛选出图像帧信息对应的分值满足预设条件的准目标转换视频帧，然后对准目标转换视频帧进行清晰度处理，得到目标转换视频帧，由于生成漫画的漫画图像是由目标转换视频帧转换得到，对准目标转换视频进行清晰度处理，得到目标转换视频帧，这样提高了生成漫话的漫画图像的清晰度，同时由于每个目标转换视频帧是根据每个第二视频中的图像帧信息确定得到的，又由于第二视频中的每一帧视频帧的内容相似度满足一定预设相似度条件，所以，第二视频中的每帧视频帧之间的内容相关。因此，从各第二视频中确定的目标转换视频帧能够反映第一视频的整个内容概要，不会出现第一视频的关键内容缺失的问题。因而，确保了每个目标转换视频帧的关键性，进而提高了生成的漫画的叙事连贯性，提高了生成的漫画的可读性。
在本申请的一些实施例中，为了得到图像质量好的目标转换视频帧，步骤1201具体可以包括：根据预设评分算法对第二视频中的每帧视频帧进行评比，得到每帧视频帧的评分；将评分满足预设评分条件的视频帧，确定为图像帧信息满足预设条件的准目标转换视频帧。
其中，预设评分算法可以是预先设置的评分算法，例如可以是加权评分算法。
预设评分条件可以是预先设置的评分条件。具体的例如可以是评分满足一定阈值。
在得到第二视频后，针对每个第二视频，可利用预设评分算法对第二视频中的每帧视频帧进行评比，得到每帧视频帧的评分，然后将评分满足预设评分条件的视频帧，确定为图像帧信息满足预设条件的准目标转换视频帧。
在一个示例中，针对每个第二视频，可以利用预设评分算法对第二视频中的每一帧视频帧的清晰度、动作关键度和动作优美度分别进行评分，得到每一帧视频帧的总评分，根据该总评分，确定出准目标转换视频帧。
继续参照上述示例，针对每个第二视频而言，将评分满足预设评分条件的视频帧确定为图像帧信息满足预设条件的准目标转换视频帧具体可以是：将该第二视频中的各帧视频帧的总评分中评分最高的一帧视频帧作为图像帧信息满足预设条件的准目标转换视频帧。
在本申请的一些实施例中，在得到每一帧视频帧的总评分时，可以直接分别计算每一帧视频帧的图像帧信息的评分，将各项评分相加，得到每一帧视频帧的总评分。还可以是分别计算每一帧视频帧的图像帧信息的评分后，根据该评分以及图像帧信息的权重，将该评分进行加权求和，得到每一帧视频帧的总评分。
在一个示例中，图像帧信息可以包括清晰度、动作关键度和动作优美度，对某一帧视频帧的清晰度、动作关键度和动作优美度进行评分，评分结果分别为：清晰度9分，动作关键度8分，动作优美度7分，将各评分进行求和，得到该帧视频帧的总评分9+8+7＝24。
在另一个示例中，还可以是预先设置清晰度的权重、动作关键度的权重和动作优美度的权重，例如，清晰度的权重为0.9，动作关键度的权重为1，动作优美度的权重为0.7，则将上述的清晰度、动作关键度和动作优美度的评分，以及对应权重进行加权求和，得到该帧视频帧的总评分9*0.9+8*1+7*07＝21。
在本申请实施例中，通过对第二视频中的每帧视频帧进行评比，得到每帧视频帧的评分，然后将评分满足预设评分条件的视频帧，确定为准目标转换视频帧，由于最后确定的准目标转换视频帧是第二视频中图像帧信息的评分满足预设评分条件的视频帧，这样即可得到满足用户需求，质量好的准目标转换视频帧，提高了用户体验。
在本申请的一些实施例中，在得到准目标转换视频帧后，若准目标转换视频帧的清晰度不能够满足用户需求，为了进一步提高准目标转换视频帧的清晰度，可以对准目标转换视频帧进行清晰度处理，具体处理方式可参见如下实施例：
步骤1202可以具体包括：
步骤12021、获取准目标转换视频帧的参考视频帧。
其中，参考视频帧可以是在对准目标转换视频帧进行清晰度处理时所要参考的视频帧。
在本申请的一些实施例中，参考视频帧可以包括第一视频帧和第二视频帧中的至少一项。
其中，第一视频帧为第二视频中位于准目标转换视频帧之前的M帧视频帧；第二视频帧为第二视频中位于准目标转换视频帧之后的N帧视频帧，M和N均为正整数。
在一个示例中，针对某一个第二视频而言，该第二视频一共具有20帧视频帧，其中，准目标转换视频帧是第二视频中的第12帧视频帧，则第一视频帧可以是准目标转换视频帧之前的M帧视频帧，例如可以是准目标转换视频帧之前的3帧视频帧，即第一视频帧可以为第9帧视频帧、第10帧视频帧和第11帧视频帧。第二视频帧可以是准目标转换视频帧之后的N帧视频帧，例如可以是准目标转换视频帧之后的3帧视频帧，即第二视频帧可以为第13帧视频帧、第14帧视频帧和第15帧视频帧。
需要说明的是，上述的M和N的值可以是一样的，也可以是不一样的，具体的数值可根据用户需求，自行选取，这里不做限定。
步骤12022、确定参考视频帧到准目标转换视频帧的光流图。
在本申请的一些实施例中，获取到参考视频帧后，可基于预设光流图计算算法确定参考视频帧到准目标转换视频帧的光流图。
在一个示例中，以准目标转换视频帧用I0来表示，第一视频帧用I-M、……、I-1来表示，第二视频帧用I1……、IN来表示，可基于光流算法确定出参考视频帧到准目标转换视频帧的光流图，具体计算方式如下：
Oi＝opticalflow(Ii,I0),i∈{-M,……,-2,-1,1,2,……,N} (1)
Oi代表光流图，Ii为参考视频帧，I0为准目标转换视频帧，opticalflow(.)代表光流算法。
步骤13023、基于光流图，将参考视频帧与准目标转换视频帧对齐，得到与参考视频帧对应的目标参考视频帧。
其中，目标参考视频帧可以是将参考视频帧与准目标转换视频帧对齐后，所得到的与参考视频帧对应的视频帧。
继续参照上述示例，可基于预设对齐算法将参考视频帧与准目标转换视频帧对齐，得到与参考视频帧对应的目标参考视频帧，具体计算方式如下：
I′i＝warp(Ii,Oi),i∈{-M,……,-2,-1,1,2,……,-N} (2)
I′i代表与参考视频帧对应的目标参考视频帧。
在本申请实施例中，通过确定参考视频帧到准目标转换视频帧的光流图，基于光流图，将参考视频帧与准目标转换视频帧对齐，即将参考视频帧映射到准目标转换视频帧上，这样由于参考视频帧与准目标转换视频在第二视频中是相邻的视频帧，将参考视频帧与准目标转换视频帧进行对齐，避免了由于视频的曝光时间短，导致的准目标转换视频帧不够清晰的问题，提高了准目标转换视频帧的清晰度。
步骤12024、获取目标参考视频帧的第一纹理信息，以及准目标转换视频帧的第二纹理信息。
其中，第一纹理信息可以是目标参考视频帧的纹理信息。
第二纹理信息可以是准目标转换视频帧的纹理信息。
在本申请的一些实施例中，可以基于预先的纹理提取算法获取第一纹理信息和第二纹理信息。
在一个示例中，具体的可利用如下方式来获取第一纹理信息和第二纹理信息：
t0＝I0-GB(I0) (3)
ti＝I′i-GB(I′i),i∈{-M,……,-2,-1,1,2,……,-N} (4)
I0为准目标转换视频帧，t0为第二纹理信息，GB(·)代表高斯模糊算法，ti代表第一纹理信息。
步骤12025、将第一纹理信息叠加到第二纹理信息上，得到目标转换视频帧。
在本申请实施例中，可以通过获取第纹理信息和第二纹理信息，将第一纹理信息叠加到第二纹理信息上，这样可丰富准目标转换视频帧的细节和纹理，使准目标转换视频帧的细节和纹理更加清晰，提升准目标转换视频帧的清晰度。
接着介绍步骤130，针对每个目标转换视频帧，将目标转换视频帧转换为漫画图像，得到每个第二视频对应的漫画图像。
其中，漫画图像可以是漫画形式的图像。
在本申请的一些实施例中，针对每个目标转换视频帧，可将目标转换视频帧输入到训练好的风格迁移模型中，基于风格迁移模型对目标转换视频帧进行漫画化处理，得到与该目标转换视频对应的漫画图像。这样由于风格迁移模型是预先训练好的，因此，不需进行繁琐的漫画转换步骤，即可直接基于风格迁移模型快速将目标转换视频帧转换为漫画图像，提高了漫画图像的获取效率，进而提高了漫画的生成效率。
需要说明的是，本领域技术人员应该知道，本申请实施例中将目标转换视频帧转换为漫画图像的方式并不仅限于上述所描述的利用训练好的风格迁移模型，任何可将目标转换视频帧转换为漫画图像的方式均属于本申请实施例的保护范围之内。
接着介绍步骤140，基于各漫画图像，生成第一视频对应的漫画。
在得到各漫画图像后，可直接基于各漫画图像，得到第一视频对应的漫画。
在本申请的一些实施例中，为了详细描述如何基于各漫画图像，生成第一视频对应的漫画，步骤140可以具体包括：接收用户对第一目标漫画图像的第一输入，响应于第一输入，生成目标排版图像；基于目标排版图像，生成第一视频对应的漫画；
其中，第一目标漫画图像可以是各漫画图像中的至少一项。
第一输入可以是用于对第一目标漫画图像进行排版，该第一输入可以是对第一目标漫画图像的点击输入、双击输入、拖动输入或滑动输入，或者上述至少两个输入的组合输入。
目标排版图像可以是响应于第一输入，对第一目标漫画图像进行排版后形成的图像。
在本申请实施例中，通过用户对第一目标漫画图像执行的第一输入，响应于第一输入，生成目标排版图像；基于目标排版图像，生成第一视频对应的漫画，这样实现了用户对漫画的自主排版，让用户参与漫画的制作，使漫画更加符合用户的阅读习惯和审美，提升了用户体验。
在本申请的一些实施例中，由于在展示漫画时，不会将漫画图像整体进行展示，而是仅展示与故事情节相关的关键区域，因此，为了确定漫画图像的关键区域，在步骤140之前，该方法还可以包括：确定各第二视频对应的描述信息；针对每个漫画图像，基于描述信息，从漫画图像中提取与描述信息对应的第一图像区域。
其中，描述信息可以是用于描述第二视频所对应的场景和/或动作的信息。
在本申请的一些实施例中，可以是在将第一视频输入到训练好的视频划分模型中后，继续利用该模型将切分好的各第二视频进行场景和/或动作的分析，输出各第二视频所对应的描述信息。
在本申请的另一些实施例中，还可以是基于视频划分模型得到多个第二视频后，将各第二视频输入到另一个训练好的分析模型中，利用该分析模块对第二视频进行分析，输出各第二视频所对应的描述信息。
在本申请实施例中，描述信息可以是与第二视频一同获取，也可以是在获取到各第二视频后，对各第二视频进行分析，得到各第二视频对应的描述信息，本申请实施例对此不做限定。
需要说明的是，本领域技术人员应该知道，本申请实施例中确定各第二视频对应的描述信息的方式并不仅限于上述所描述的利用训练好的模型，任何可确定各第二视频对应的描述信息的方式均属于本申请实施例的保护范围之内。
第一图像区域可以是漫画图像中与描述信息所对应的区域。
在本申请的一些实施例中，漫画图像上的内容可能很多，但是该漫画图像所对应的描述信息可能只会描述一些重要信息，其他信息则会忽略不描述，在保证漫画描述完整的基础上，为了使漫画更加简洁，可根据该描述信息，利用目标检测算法从漫画图像中提取出与描述信息对应的第一图像区域。
对应的，步骤140具体可以包括：基于各漫画图像中的第一图像区域，生成第一视频对应的漫画。即仅根据各漫画图像中的第一图像区域，生成第一视频对应的漫画，这样在展示漫画时，仅展示与故事情节相关的关键区域，用户无需观看与故事情节关联度不大的区域，提升了生成的漫画的可读性，也提升了用户体验。
在本申请实施例中，可以基于第二视频对应的描述信息，从漫画图像中提取出与描述信息所对应的第一图像区域，根据各漫画图像中的第一图像区域来生成第一视频对应的漫画，这样生成的漫画中只会描述视频中的重要信息，一些不重要的信息则会省略，这样生成的漫画不仅完整，而且简洁，提升了生成的漫画的可读性，同时也提升了用户体验。
在本申请的一些实施例中，为了增加漫画的可读性，还可以给漫画图像配置对应的文本信息，来解释说明漫画图像所描述的场景和/或动作等，在步骤140之前，该方法还可以包括：针对每个第二视频，获取与第二视频的语音信息对应的文本信息。
其中，语音信息可以是第二视频中的语音音频信息。
在一个示例中，第二视频为一段两人对话的视频，则语音信息为两人的对话信息。
在另一示例中，第二视频为一段类似人与自然的人文介绍的视频，则语音信息为介绍该段视频中所描述的人文信息的语音，例如，可以是旁白语音等。
文本信息可以是与第二视频中的语音信息对应的文字信息，即将语音信息转换为文字的信息。
在本申请的一些实施例中，可以将各第二视频输入到训练好的语音识别模型中，基于该语音识别模型来对各第二视频中的语音信息进行识别，输出语音信息对应的文本信息。这样由于语音识别模型是预先训练好的，不需进行繁琐的识别步骤，即可基于语音识别模块直接快速的得到各第二视频的语音信息对应的文本信息，提高了文本信息的获取效率，进而提高了漫画的生成效率。
在本申请的一些实施例中，由于漫画中的文本信息为了不遮挡画面，会尽量采取较为简略的文本信息，为了适应漫画的这种形式，在生成文本信息后，上述的漫画生成方法还可以包括：对文本信息进行提取，生成第一文本信息。
其中，第一文本信息可以是对文本信息进行提取后得到的文本信息。
在本申请的一些实施例中，可以将文本信息输入到训练好的摘要提取模型中，利用该摘要提取模型对文本信息进行摘要提取，提取出关键的文本信息，输出第一文本信息。这样在漫画中添加的文本信息简略且不会遮挡画面，提升了漫画的可读性。
需要说明的是，本领域技术人员应该知道，本申请实施例中获取语音信息对应的文本信息的方式并不仅限于上述所描述的利用训练好的语音识别模型，任何可获取与第二视频的语音信息对应的文本信息的方式均属于本申请实施例的保护范围之内。
对应的，在本申请的一些实施例中，基于各漫画图像中的第一图像区域，生成第一视频对应的漫画，具体可以包括：基于各漫画图像的第一图像区域和文本信息，生成第一视频对应的漫画。
在一个示例中，在将文本信息添加至漫画图像时，可以是以气泡的形式添加至漫画图像中。
在本申请实施例中，针对每个第二视频，获取与第二视频的语音信息对应的文本信息，然后根据各漫画图像的第一图像区域和文本信息，生成第一视频对应的漫画，这样为每个漫画图像都添加上文本信息，提升了漫画的可读性。
在本申请的一些实施例中，针对每个漫画图像，以及该漫画图像对应的文本信息而言，可以直接给该漫画图像的第一图像区域添加上对应的文本信息，生成第一视频对应的漫画。
在本申请的一些实施例中，还可以是对漫画图像的第一图像区域进行一定的处理，这是因为可能存在描述信息所描述的场景和/或动作不完整的情况，这样提取的第一图像区域也是不完整的，即提取的第一图像区域并不能完整的描述故事情节，因此，需要对第一图像区域进行处理，具体的可以是对第一图像区域进行扩展，然后再给处理后的第一图像区域添加上对应的文本信息，生成第一视频对应的漫画。
在本申请的一些实施例中，为了确保漫画所描述的故事情节的完整性，基于各漫画图像中的第一图像区域，生成第一视频对应的漫画，具体可以包括：针对每个漫画图像，基于文本信息，对第一图像区域进行扩展，得到与文本信息对应的扩展图像区域；基于第一图像区域、扩展图像区域和文本信息，生成第一视频对应的漫画。
其中，扩展图像区域可以是利用文本信息对第一图像区域进行扩展的区域。即在第一图像区域的基础上扩展的区域。
在本申请的一些实施例中，基于文本信息对第一图像区域进行扩展，得到扩展图像区域后，根据第一图像区域、扩展图像区域和文本信息，可生成第一视频对应的漫画。
本申请实施例中，利用文本信息对第一图像区域进行扩展，这样确保漫画所描述故事情节更加完整，提高了漫画的完整性。
在本申请的一些实施例中，为了进一步提高漫画的可读性，步骤140还可以具体包括：接收用户对第一目标漫画图像所对应的文本信息的第五输入，响应于第五输入，将文本信息添加至第一目标漫画图像中，生成第一视频对应的漫画。
其中，第五输入可以是用于对文本信息进行排版，该第五输入可以是对第一目标漫画图像所对应的文本信息的点击输入、双击输入、拖动输入或滑动输入，或者上述至少两个输入的组合输入。
在本申请实施例中，将文本信息添加至第一目标漫画图像中，提升了漫画的可读性。
在本申请的一些实施例中，各漫画图像以排版形式显示在漫画格区域中，其中，漫画格区域可以是放置各漫画图像以形成漫画的区域。
在本申请的一些实施例中，可以根据漫画格区域的大小，以及漫画图像的第一图像区域(或第二图像区域)的大小来对漫画图像进行排版。
在一个示例中，在进行排版时，以漫画图像的第一图像区域为最后进行排版的图像为例来进行说明。漫画格区域可以是网格形式的区域，例如，漫画的一页可以是3列6行共18个漫画格，若漫画图像的第一图像区域的宽度按照360尺度、720尺度和1080尺度三个档次区分，分别占据横向1个、2个和3个漫画格，即一个漫画格的宽度为360尺度。漫画图像的第一图像区域的高度按照320尺度划分，即一个漫画格的高度为320尺度。如果一个长为500尺度，宽为500尺度的漫画图像(假设为漫画图像A)的第一图像区域，其就要占据横向2个漫画格，纵向2个漫画格，共4个漫画格，如果此时下一张漫画图像(假设为漫画图像B)的第一图像区域的宽度超过360尺度，那么该行剩下一个漫画格的宽度是不足以展示该漫画图像B的，因此可将当前漫画图像A占据的横向漫画格扩张至3个漫画格，即漫画图像A原本占据了横向2个漫画格，在剩下的一格漫画格不可以放置漫画图像B的情况下，可将漫画图像A横向进行扩展，让漫画图像A占满横向的3个漫画格。在纵向不足放置一个漫画图像的情况下，也采用同样的方式。
在本申请的一些实施例中，在将漫画图像放置于漫画格区域中时，虽然在漫画格区域中仅显示了漫画图像的第一图像区域(或第二图像区域)，但这不是对漫画图像进行了裁剪，将第一图像区域(或第二图像区域)裁剪下来。在将漫画图像放置于漫画格区域中时，可以不对漫画图像进行裁剪，只是将除显示的第一图像区域(或第二图像区域)之外的区域在漫画格区域中进行透明化处理，使其不显示在漫画格区域内而已。
在本申请的一些实施例中，在生成漫画后，可以将漫画进行输出，以供用户观看，为了进一步提高用户体验，在步骤140之后，该方法可以包括：接收用户对漫画的第六输入，响应于第六输入，输出漫画。
其中，第六输入可以是用于输出漫画，该第六输入可以是对漫画的点击输入、双击输入、拖动输入或滑动输入，或者上述至少两个输入的组合输入。
在本申请的一些实施例中，在生成漫画之后，为了避免算法错误，用户可先预览漫画结果，若对生成的漫画结果不满意，可以对漫画进行调整，为了进一步提高漫画的可读性，在步骤140之后，该方法可以包括：接收用户对漫画的第七输入，响应于第七输入，显示于第七输入对应的漫画。
其中，第七输入可以是用于对漫画进行调整，该第七输入是对漫画的点击输入、双击输入、拖动输入或滑动输入，或者上述至少两个输入的组合输入。
在本申请的一些实施例中，具体的对漫画进行调整可以至少包括如下几种情况：
在本申请的一些实施例中，对漫画的调整可以包括对显示的漫画内容进行调整，为了进一步提高漫画的可读性，在步骤140之后，该方法还可以包括：在第一目标漫画格区域中显示第二目标漫画图像的第一图像内容的情况下，接收用户对第二目标漫画图像的第二输入；响应于第二输入，在第一目标漫画格区域中显示与第二输入对应的第二图像内容。
其中，第一目标漫画格区域可以是漫画格区域中的至少一个漫画格区域。
第二目标漫画图像可以是各漫画图像中的至少一项。
第一图像内容可以是第二目标漫画图像中的任意一部分图像内容。例如可以是第二目标漫画图像中左边的图像内容。
第二输入可以是用于调整显示在第一目标漫画格区域中第二目标漫画图像的图像内容。该第二输入可以是对第二目标漫画图像的点击输入、双击输入、拖动输入或滑动输入，或者上述至少两个输入的组合输入。
第二图像内容可以是第二目标漫画图像中与第一图像内容不完全相同的图像内容。例如可以是第二目标漫画图像中右边的图像内容。
在本申请的一些实施例中，第一图像内容和第二图像内容可以是不完全相同的，即第一图像内容和第二图像内容中可以具有相同的图像内容，也可以不具有相同的图像内容。
在本申请的实施例中，在第一目标漫画格区域中显示第二目标漫画图像的第一图像内容的情况下，用户可执行对第二目标漫画图像中的图像内容信息调整的第二输入，响应于第二输入，在第一目标漫画格区域中显示与第二输入对应的第二图像内容，这样用户可根据需求自行调整在第一目标漫画格区域中显示的第二目标漫画图像的图像内容，提升了用户体验。
在本申请的一些实施例中，对漫画的调整可以包括对漫画中的文本信息进行调整，为了进一步提高漫画的可读性，在步骤140之后，该方法还可以包括：接收用户对目标文本信息的第三输入；响应于第三输入，显示与第三输入对应的文本信息。
其中，目标文本信息可以是各第二视频所对应的文本信息中的至少一项。
第三输入可以是用于调整目标文本信息的位置和/或目标文本信息的内容，该第三输入可以是对目标文本信息的点击输入、双击输入、拖动输入、填写输入或滑动输入，或者上述至少两个输入的组合输入。
在本申请的实施例中，用户通过执行对目标文本信息的第三输入，响应于第三输入，实现了对目标文本信息的位置和/或目标文本信息的内容的调整，提升了用户体验，同时也提升了漫画美观性和可读性。
在本申请的一些实施例中，对漫画的调整可以包括对漫画格区域的调整，为了进一步提高漫画的可读性和美观性，在步骤140之后，该方法还可以包括：接收用户对第二目标漫画格区域的第四输入；响应于第四输入，显示与第四输入对应的第二目标漫画格区域的轮廓。
其中，第二目标漫画格区域可以是漫画格区域中的至少一个漫画格区域。
第四输入可以是用于调整第二目标漫画格区域的轮廓，该第四输入可以是对第二目标漫画格区域的点击输入、双击输入、拖动输入或滑动输入，或者上述至少两个输入的组合输入。
在一个示例中，第四输入可以是调整第二目标漫画区域的边线，该第四输入可以是对第二目标漫画区域的边线的点击输入、双击输入、拖动输入或滑动输入，或者上述至少两个输入的组合输入。
在本申请的实施例中，用户通过执行对第二目标漫画格区域的第四输入，响应于第四输入，显示与第四输入对应的第二目标漫画格区域的轮廓，实现了对第二目标漫画格区域的轮廓的调整，提升了用户体验，同时也提升了漫画美观性。
在本申请的一些实施例中，为了更加清晰的描述本申请实施例提供的漫画生成方法，下面以具体示例来进行说明。
在本申请实施例中与上述实施例中的一致的名词，为简洁起见，在此不再解释。
图2是根据一示例性实施例示出的另一种漫画生成方法的流程图。
如图2所示，本申请实施例提供的另一种漫画生成方法可以包括如下步骤210-
步骤210、获取第一视频。
步骤220、对第一视频进行划分，得到多个第二视频。
步骤230、对第二视频中的语音进行识别，得到与第二视频的语音信息对应的文本信息。
步骤240、针对每个第二视频，筛选出图像帧信息满足预设条件的准目标转换视频帧。
步骤250、对准目标转换视频帧进行清晰度处理，得到目标转换视频帧。
步骤260、将目标转换视频帧转换为漫画图像。
步骤270、从漫画图像中提取与第二视频的描述信息对应的第一图像区域。
步骤280、接收用户对第一目标漫画图像的第一输入，以及对文本信息的输入。
步骤290、接收用户对排版的漫画的调整操作。
在本申请实施例中，通过将第一视频划分为多个第二视频，根据第二视频中的每一帧视频帧的图像帧信息，可确定出目标转换视频帧，然后将该目标转换视频帧转换为漫画图像，基于各漫画图像，即可生成与第一视频对应的漫画，由于生成第一视频对应的漫画的各漫画图像是由目标转换视频帧转换得到的，而每个目标转换视频帧是根据每个第二视频中的图像帧信息确定得到的，又由于第二视频中的每一帧视频帧的内容相似度满足一定预设相似度条件，所以，第二视频中的每帧视频帧之间的内容相关。因此，从各第二视频中确定的目标转换视频帧能够反映第一视频的整个内容概要，不会出现第一视频的关键内容缺失的问题。因而，由各目标转换视频帧转换得到的各漫画图像生成的漫画能够反映第一视频的内容连续性。该漫画叙事连贯性好，可读性较强。
需要说明的是，本申请实施例提供的漫画生成方法，执行主体可以为漫画生成装置，或者该漫画生成装置中的用于执行漫画生成方法的控制模块。本申请实施例中以漫画生成装置执行漫画生成的方法为例，说明本申请实施例提供的漫画生成装置。
基于与上述的漫画生成方法相同的发明构思，本申请还提供了一种漫画生成装置，该漫画生成装置应用于服务器。下面结合图3对本申请实施例提供的漫画生成装置进行详细说明。
图3是根据一示例性实施例示出的一种漫画生成装置的结构框图。
如图3所示，该漫画生成装置可以包括：
第二视频生成模块310，用于根据第一视频的内容，对所述第一视频进行划分，得到多个第二视频；一个所述第二视频中的各帧视频帧的内容相似度满足预设相似度条件；
目标转换视频帧确定模块320，用于针对每个所述第二视频，基于所述第二视频中的每一帧视频帧的图像帧信息，确定所述第二视频的目标转换视频帧；
漫画图像确定模块330，用于针对每个所述目标转换视频帧，将所述目标转换视频帧转换为漫画图像，得到每个所述第二视频对应的漫画图像；
漫画生成模块340，用于基于各所述漫画图像，生成所述第一视频对应的漫画。
在本申请实施例中，基于第二视频生成模块对第一视频获取模块获取到的第一视频划分为多个第二视频，基于目标转换视频帧确定模块根据第二视频中的每一帧视频帧的图像帧信息，可确定出目标转换视频帧，然后基于漫画图像确定模块将该目标转换视频帧转换为漫画图像，基于漫画生成模块生成与第一视频对应的漫画，由于生成第一视频对应的漫画的各漫画图像是由目标转换视频帧转换得到的，而每个目标转换视频帧是根据每个第二视频中的图像帧信息确定得到的，又由于第二视频中的每一帧视频帧的内容相似度满足一定预设相似度条件，所以，第二视频中的每帧视频帧之间的内容相关。因此，从各第二视频中确定的目标转换视频帧能够反映第一视频的整个内容概要，不会出现第一视频的关键内容缺失的问题。因而，由各目标转换视频帧转换得到的各漫画图像生成的漫画能够反映第一视频的内容连续性。该漫画叙事连贯性好，可读性较强。
本申请实施例中的漫画生成装置可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personaldigital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(NetworkAttached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。
本申请实施例中的漫画生成装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。
本申请实施例提供的漫画生成装置能够实现图1-图2的方法实施例实现的各个过程，为避免重复，这里不再赘述。
可选地，如图4所示，本申请实施例还提供一种电子设备400，包括处理器401，存储器402，存储在存储器402上并可在所述处理器401上运行的程序或指令，该程序或指令被处理器401执行时实现上述漫画生成方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图5为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备500包括但不限于：射频单元501、网络模块502、音频输出单元503、输入单元504、传感器505、显示单元506、用户输入单元507、接口单元508、存储器509、以及处理器510等部件。
本领域技术人员可以理解，电子设备500还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器510逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图5中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
其中，
处理器510，用于根据第一视频的内容，对第一视频进行划分，得到多个第二视频；以及，针对每个第二视频，基于第二视频中的每一帧视频帧的图像帧信息，确定第二视频的目标转换视频帧；以及，针对每个目标转换视频帧，将目标转换视频帧转换为漫画图像，得到每个第二视频对应的漫画图像；还有，基于各漫画图像，生成第一视频对应的漫画。
由此，通过将第一视频划分为多个第二视频，根据第二视频中的每一帧视频帧的图像帧信息，可确定出目标转换视频帧，然后将该目标转换视频帧转换为漫画图像，基于各漫画图像，即可生成与第一视频对应的漫画，由于生成第一视频对应的漫画的各漫画图像是由目标转换视频帧转换得到的，而每个目标转换视频帧是根据每个第二视频中的图像帧信息确定得到的，又由于第二视频中的每一帧视频帧的内容相似度满足一定预设相似度条件，所以，第二视频中的每帧视频帧之间的内容相关。因此，从各第二视频中确定的目标转换视频帧能够反映第一视频的整个内容概要，不会出现第一视频的关键内容缺失的问题。因而，由各目标转换视频帧转换得到的各漫画图像生成的漫画能够反映第一视频的内容连续性。该漫画叙事连贯性好，可读性较强。
可选地，处理器510还用于：从第二视频的视频帧中，筛选出图像帧信息对应的分值满足预设条件的准目标转换视频帧；以及，对准目标转换视频帧进行清晰度处理，得到目标转换视频帧。
可选地，处理器510还用于：根据预设评分算法对第二视频中的每帧视频帧进行评比，得到每帧视频帧的评分；以及，将评分满足预设评分条件的视频帧，确定为图像帧信息满足预设条件的准目标转换视频帧。
可选地，处理器510还用于：获取准目标转换视频帧的参考视频帧；以及，确定参考视频帧到准目标转换视频帧的光流图；以及，基于光流图，将参考视频帧与准目标转换视频帧对齐，得到与参考视频帧对应的目标参考视频帧；以及，获取目标参考视频帧的第一纹理信息，以及准目标转换视频帧的第二纹理信息；还有，将第一纹理信息叠加到第二纹理信息上，得到目标转换视频帧。
可选地，处理器510还用于：确定各第二视频对应的描述信息；以及，针对每个漫画图像，基于描述信息，从漫画图像中提取与描述信息对应的第一图像区域。
对应的，处理器510还用于：基于各漫画图像中的第一图像区域，生成第一视频对应的漫画。
可选地，处理器510还用于：针对每个第二视频，获取与第二视频的语音信息对应的文本信息。
对应的，处理器510还用于：基于各漫画图像的第一图像区域和文本信息，生成第一视频对应的漫画。
可选地，处理器510还用于：接收用户对第一目标漫画图像的第一输入；以及响应于第一输入，生成目标排版图像；以及，基于目标排版图像，生成第一视频对应的漫画。
可选地，各漫画图像以排版形式显示在漫画格区域中。
可选地，处理器510还用于：在第一目标漫画格区域中显示第二目标漫画图像的第一图像内容的情况下，接收用户对第二目标漫画图像的第二输入；以及，响应于第二输入，在第一目标漫画格区域中显示与第二输入对应的第二图像内容。
可选地，处理器510还用于：针对每个漫画图像，基于文本信息，对第一图像区域进行扩展，得到与文本信息对应的扩展图像区域；以及，基于第一图像区域、扩展图像区域和文本信息，生成第一视频对应的漫画。
可选地，处理器510还用于：接收用户对目标文本信息的第三输入；以及，响应于第三输入，显示与第三输入对应的文本信息。
可选地，处理器510还用于：接收用户对第二目标漫画格区域的第四输入；以及，响应于第四输入，显示与第四输入对应的第二目标漫画格区域的轮廓。
由此，通过对第二视频中的语音信息进行识别，得到与语音信息对应的文本信息，将文本信息与漫画图像一起生成漫画，这样生成的漫画可读性更强。同时在生成漫画时，用户可对漫画进行自主排版，让用户参与漫画制作过程，使生成的漫画更符合用户的阅读习惯，在生成漫画后，还可以对漫画进行调整，以增强漫画的美观性和可读性。
应理解的是，本申请实施例中，输入单元504可以包括图形处理器(GraphicsProcessing Unit，GPU)5041和麦克风5042，图形处理器5041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元506可包括显示面板5061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板5061。用户输入单元507包括触控面板5071以及其他输入设备5072。触控面板5071，也称为触摸屏。触控面板5071可包括触摸检测装置和触摸控制器两个部分。其他输入设备5072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。存储器509可用于存储软件程序以及各种数据，包括但不限于应用程序和操作系统。处理器510可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器510中。
本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述漫画生成方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述漫画生成方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (14)

1.一种漫画生成方法，其特征在于，所述方法包括：
根据第一视频的内容，对所述第一视频进行划分，得到多个第二视频；一个所述第二视频中的各帧视频帧的内容相似度满足预设相似度条件；
针对每个所述第二视频，基于所述第二视频中的每一帧视频帧的图像帧信息，确定所述第二视频的目标转换视频帧；
针对每个所述目标转换视频帧，将所述目标转换视频帧转换为漫画图像，得到每个所述第二视频对应的漫画图像；
基于各所述漫画图像，生成所述第一视频对应的漫画。
2.根据权利要求1所述的方法，其特征在于，所述基于所述第二视频中的每一帧图像的图像帧信息，确定所述第二视频的目标转换视频帧，包括：
从所述第二视频的视频帧中，筛选出图像帧信息对应的分值满足预设条件的准目标转换视频帧；
对所述准目标转换视频帧进行清晰度处理，得到所述目标转换视频帧。
3.根据权利要求2所述的方法，其特征在于，所述对所述准目标转换视频帧进行清晰度处理，得到所述目标转换视频帧，包括：
获取所述准目标转换视频帧的参考视频帧；其中，所述参考视频帧包括第一视频帧和第二视频帧中的至少一项；所述第一视频帧为所述第二视频中位于所述准目标转换视频帧之前的M帧视频帧；所述第二视频帧为所述第二视频中位于所述准目标转换视频帧之后的N帧视频帧，M和N均为正整数；
确定所述参考视频帧到所述准目标转换视频帧的光流图；
基于所述光流图，将所述参考视频帧与所述准目标转换视频帧对齐，得到与所述参考视频帧对应的目标参考视频帧；
获取所述目标参考视频帧的第一纹理信息，以及所述准目标转换视频帧的第二纹理信息；
将所述第一纹理信息叠加到所述第二纹理信息上，得到所述目标转换视频帧。
4.根据权利要求1所述的方法，其特征在于，在所述基于各所述漫画图像，生成所述第一视频对应的漫画之前，所述方法还包括：
确定各所述第二视频对应的描述信息，所述描述信息用于描述所述第二视频所对应的场景和/或动作；
针对每个所述漫画图像，基于所述描述信息，从所述漫画图像中提取与所述描述信息对应的第一图像区域；
所述基于各所述漫画图像，生成所述第一视频对应的漫画，包括：
基于各所述漫画图像中的所述第一图像区域，生成所述第一视频对应的漫画。
5.根据权利要求4所述的方法，其特征在于，在所述基于各所述漫画图像，生成所述第一视频对应的漫画之前，所述方法还包括：
针对每个所述第二视频，获取与所述第二视频的语音信息对应的文本信息；
所述基于各所述漫画图像，生成所述第一视频对应的漫画，包括：
基于各所述漫画图像的所述第一图像区域和所述文本信息，生成所述第一视频对应的漫画。
6.根据权利要求1所述的方法，其特征在于，所述基于各所述漫画图像，生成所述第一视频对应的漫画，包括：
接收用户对第一目标漫画图像的第一输入，所述第一输入用于对所述第一目标漫画图像进行排版；
响应于所述第一输入，生成目标排版图像；
基于目标排版图像，生成所述第一视频对应的漫画；
其中，所述第一目标漫画图像为各所述漫画图像中的至少一项。
7.一种漫画生成装置，其特征在于，所述装置包括：
第二视频生成模块，用于根据第一视频的内容，对所述第一视频进行划分，得到多个第二视频；一个所述第二视频中的各帧视频帧的内容相似度满足预设相似度条件；
目标转换视频帧确定模块，用于针对每个所述第二视频，基于所述第二视频中的每一帧视频帧的图像帧信息，确定所述第二视频的目标转换视频帧；
漫画图像确定模块，用于针对每个所述目标转换视频帧，将所述目标转换视频帧转换为漫画图像，得到每个所述第二视频对应的漫画图像；
漫画生成模块，用于基于各所述漫画图像，生成所述第一视频对应的漫画。
8.根据权利要求7所述的装置，其特征在于，所述目标转换视频帧确定模块包括：
准目标转换视频帧筛选单元，用于从所述第二视频的视频帧中，筛选出图像帧信息对应的分值满足预设条件的准目标转换视频帧；
目标转换视频帧确定单元，用于对所述准目标转换视频帧进行清晰度处理，得到所述目标转换视频帧。
9.根据权利要求8所述的装置，其特征在于，所述目标转换视频帧确定单元包括：
参考视频帧获取子单元，用于获取所述准目标转换视频帧的参考视频帧；其中，所述参考视频帧包括第一视频帧和第二视频帧中的至少一项；所述第一视频帧为所述第二视频中位于所述准目标转换视频帧之前的M帧视频帧；所述第二视频帧为所述第二视频中位于所述准目标转换视频帧之后的N帧视频帧，M和N均为正整数；
光流图确定子单元，用于确定所述参考视频帧到所述准目标转换视频帧的光流图；
目标参考视频帧确定子单元，用于基于所述光流图，将所述参考视频帧与所述准目标转换视频帧对齐，得到与所述参考视频帧对应的目标参考视频帧；
纹理信息获取子单元，用于获取所述目标参考视频帧的第一纹理信息，以及所述准目标转换视频帧的第二纹理信息；
目标转换视频帧确定子单元，用于将所述第一纹理信息叠加到所述第二纹理信息上，得到所述目标转换视频帧。
10.根据权利要求7所述的装置，其特征在于，所述装置还包括：
描述信息确定模块，用于确定各所述第二视频对应的描述信息，所述描述信息用于描述所述第二视频所对应的场景和/或动作；
第一图像区域提取模块，用于针对每个所述漫画图像，基于所述描述信息，从所述漫画图像中提取与所述描述信息对应的第一图像区域；
所述漫画生成模块包括：
第一漫画生成单元，用于基于各所述漫画图像中的所述第一图像区域，生成所述第一视频对应的漫画。
11.根据权利要求10所述的装置，其特征在于，所述装置还包括：
文本信息获取模块，用于针对每个所述第二视频，获取与所述第二视频的语音信息对应的文本信息；
所述漫画生成模块包括：
第二漫画生成单元，用于基于各所述漫画图像的所述第一图像区域和所述文本信息，生成所述第一视频对应的漫画。
12.根据权利要求7所述的装置，其特征在于，所述漫画生成模块，包括：
第一输入接收单元，用于接收用户对第一目标漫画图像的第一输入，所述第一输入用于对所述第一目标漫画图像进行排版；
目标排版图像生成单元，用于响应于所述第一输入，生成目标排版图像；
第三漫画生成单元，用于基于目标排版图像，生成所述第一视频对应的漫画；其中，所述第一目标漫画图像为各所述漫画图像中的至少一项。
13.一种电子设备，其特征在于，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-6任一项所述的漫画生成方法的步骤。
14.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1-6任一项所述的漫画生成方法的步骤。
CN202110732832.2A 2021-06-29 2021-06-29 漫画生成方法、装置、电子设备和存储介质 Pending CN113393558A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110732832.2A CN113393558A (zh) 2021-06-29 2021-06-29 漫画生成方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110732832.2A CN113393558A (zh) 2021-06-29 2021-06-29 漫画生成方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN113393558A true CN113393558A (zh) 2021-09-14

Family

ID=77624534

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110732832.2A Pending CN113393558A (zh) 2021-06-29 2021-06-29 漫画生成方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN113393558A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114757161A (zh) * 2022-04-12 2022-07-15 特赞（上海）信息科技有限公司 基于动态规划的漫画自适应排版方法及装置
CN115811639A (zh) * 2022-11-15 2023-03-17 百度国际科技（深圳）有限公司 漫画视频生成方法、装置、电子设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018149175A1 (zh) * 2017-02-20 2018-08-23 北京金山安全软件有限公司 视频录制方法、装置和电子设备
CN109903314A (zh) * 2019-03-13 2019-06-18 腾讯科技（深圳）有限公司 一种图像区域定位的方法、模型训练的方法及相关装置
CN110830808A (zh) * 2019-11-29 2020-02-21 合肥图鸭信息科技有限公司 一种视频帧重构方法、装置及终端设备
CN111385644A (zh) * 2020-03-27 2020-07-07 咪咕文化科技有限公司 一种视频处理方法、电子设备及计算机可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018149175A1 (zh) * 2017-02-20 2018-08-23 北京金山安全软件有限公司 视频录制方法、装置和电子设备
CN109903314A (zh) * 2019-03-13 2019-06-18 腾讯科技（深圳）有限公司 一种图像区域定位的方法、模型训练的方法及相关装置
CN110830808A (zh) * 2019-11-29 2020-02-21 合肥图鸭信息科技有限公司 一种视频帧重构方法、装置及终端设备
CN111385644A (zh) * 2020-03-27 2020-07-07 咪咕文化科技有限公司 一种视频处理方法、电子设备及计算机可读存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114757161A (zh) * 2022-04-12 2022-07-15 特赞（上海）信息科技有限公司 基于动态规划的漫画自适应排版方法及装置
CN114757161B (zh) * 2022-04-12 2024-07-26 特赞（上海）信息科技有限公司 基于动态规划的漫画自适应排版方法及装置
CN115811639A (zh) * 2022-11-15 2023-03-17 百度国际科技（深圳）有限公司 漫画视频生成方法、装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
EP3809710A1 (en) Video processing method and device, and storage medium
CN108762505B (zh) 基于手势的虚拟对象控制方法、装置、存储介质和设备
EP4083817A1 (en) Video tag determination method, device, terminal, and storage medium
CN110795925B (zh) 基于人工智能的图文排版方法、图文排版装置及电子设备
US20230027412A1 (en) Method and apparatus for recognizing subtitle region, device, and storage medium
CN110276349A (zh) 视频处理方法、装置、电子设备及存储介质
CN111062854B (zh) 检测水印的方法、装置、终端及存储介质
CN113393558A (zh) 漫画生成方法、装置、电子设备和存储介质
CN112163577B (zh) 游戏画面中的文字识别方法、装置、电子设备和存储介质
WO2023093851A1 (zh) 图像裁剪方法、装置及电子设备
CN112752158A (zh) 一种视频展示的方法、装置、电子设备及存储介质
CN112532882A (zh) 图像显示方法和装置
CN115294055A (zh) 图像处理方法、装置、电子设备和可读存储介质
CN112989112B (zh) 在线课堂内容采集方法及装置
WO2024088269A1 (zh) 文字识别方法、装置、电子设备及介质
CN113313066A (zh) 图像识别方法、装置、存储介质以及终端
CN106469437B (zh) 图像处理方法和图像处理装置
CN111695323A (zh) 信息处理方法、装置及电子设备
CN111639474A (zh) 文档风格重构方法、装置和电子设备
CN111160265B (zh) 文件转换方法、装置、存储介质及电子设备
CN110489933B (zh) 一种平面设计框架的生成方法及系统
CN114708363A (zh) 游戏直播封面生成方法及服务器
CN114118029A (zh) 图像处理方法、装置、设备和存储介质
CN113676734A (zh) 图像压缩方法和图像压缩装置
CN113438538B (zh) 短视频预览方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination