CN118071868B - 一种基于插件的人工智能辅助漫画创作方法及系统 - Google Patents

Abstract

本发明公开了一种基于插件的人工智能辅助漫画创作方法及系统，PS插件端用于与PS软件交互，导入或导出图片，接受和发送命令给所述AI绘图端；所述AI绘图端内设置有多种绘图参数，将对应的AI操作命令发送给AI算力模块，并对中间处理的相关图片进行保存，缩放相关图片至指定大小；所述AI算力模块用于接收所述AI绘图端的相关命令，执行绘图、抠图和放大AI操作。减少传统漫画中很多手工步骤，缩短了漫画制作周期，提高了漫画制作效率，能减少最少30%的工作量，而工作量的节省主要集中在绘图、上色、抠图和重绘等传统漫画创作过程中。通过系统的自动化和协助功能，显著减少手动操作所需的时间，使用户能够更专注于创意和艺术表达。

Description

一种基于插件的人工智能辅助漫画创作方法及系统

技术领域

本发明是涉及AIGC技术领域，具体地说是涉及一种基于插件的人工智能辅助漫画创作方法及系统。

背景技术

目前传统漫画的制作方式为，漫画从业人员通过数位板在计算机上使用绘图软件（PhotoShop、Sai等）绘制分镜，草图，描线，铺色，阴影，场景，后期的顺序完成漫画成稿。整张漫画的所有内容，包括角色、场景、特效等均由主笔漫画从业人员单独完成或由主笔和助手按照分工协作依次完成线稿，之后再由上色人员对漫画进行上色，完成成稿。在人工智能渲染技术出现以后很多漫画从业人员也在使用人工智能渲染工具辅助漫画创作，例如收集创意和精修画面。

但上述漫画创作方式存在以下缺点：

（1）效率低下：当前漫画生产基本还是纯手工劳动，每个步骤都需要画师绘制，而且必须按照工序依次完成（无法在线稿未完成时进行上色，主笔和助手也无法在一张画面上作画），效率很低。

（2）美术人员素质要求高：为了保证产品质量，每个生产环节都对美术人员的审美和美术技术都有一定要求，导致人员成本较高。

（3）质量无法保证：手工绘制漫画每个步骤的制作质量是无法完全保证的，例如很多长期更新的漫画，中途主笔发生意外导致停更或更换主笔导致漫画质量下降甚至风格改变的事情时有发生。

（4）流程复杂：使用人工智能渲染的画师也会遇到生产工具不统一，需要重复的从绘图工具将图像导出到人工智能渲染工具，再由人工智能渲染工具导入到绘图工具，这样的操作比较浪费时间，而且容易使画师思路中断，影响产出效率。

发明内容

为解决上述技术问题，本发明提供了一种基于插件的人工智能辅助漫画创作方法，包括以下步骤：

S1、在PS软件中导入或直接绘制线稿或者分镜草图，根据PS软件的“选区”工具选择需要使用人工智能渲染的线稿或者分镜草图区域，选择区域坐标点设为（minX,minY），（maxX,maxY），其中选择区域内包含有图像的区域坐标点设为（minXB,minYB），（maxXB,maxYB）；

S2、基于S1，在PS插件端执行PS软件的选中命令，将选择区域复制到一个新图层，保持位置不变，再将新图层导出为PNG格式的图片文件，此图片文件中包含选择区域坐标点和选择区域内有图像的区域坐标点，PS插件端将上述坐标点和文件路径传递给AI绘图端；

S3、基于S2，AI绘图端生成一个和选择区域同样大小：宽度坐标为maxX-minX，高度坐标为maxY-minY的画布，根据文件路径读取PS插件端导出的文件，渲染到与选区相对位置：X坐标为minXB-minX，Y坐标为minYB-minY；

S4、基于S3，在AI绘图端中框选需要绘制的主体对象，AI算力模块对主体对象进行加工，为主体对象添加预制的AI模型，使用Stable Diffusion模型绘制8张小样并传回AI绘图端；

S5、基于S4，用户选择小样保存到小样库，对小样设置重绘幅度，进行AI图像放大，AI算力模块放大重绘得到高清的绘制结果；

S6、基于S5，用户指定设置采样点，进行AI抠像；

S7、基于S6，AI算力模块根据获得的采样点，使用Segment Anything模型进行抠像处理，抠像处理后返回图片；

S8、基于S7，AI绘图端收到抠像处理的图片后，将四个角分别绘制一个半透明像素，以保证PS导入文件时不会自动裁剪无像素区域；

S9、基于S8，AI绘图端将此画布保存为PNG文件，并将图片选区的两个坐标（minX,minY），（maxX,maxY）传给PS插件端进行导出；

S10、基于S9，PS插件端收到导出命令后，创建一个新图层，打开AI绘图端存储的图片文件，缩放到指定大小：宽度坐标为maxX-minX，高度坐标为maxY-minY，移动到指定位置：X坐标为minX，Y坐标为minY，对齐到参照线稿原位置；

S11、基于S10，用户在PS软件中对图片文件进行后期制作，根据不同需求添加背景和特效，完成漫画创作。

本发明还提供了一种基于插件的人工智能辅助漫画创作系统，包括PS插件端、AI绘图端和AI算力模块，所述PS插件端用于与PS软件交互，导入或导出图片，接受和发送命令给所述AI绘图端；所述AI绘图端内设置有多种绘图参数，将对应的AI操作命令发送给AI算力模块，并对中间处理的相关图片进行保存，缩放相关图片至指定大小；所述AI算力模块用于接收所述AI绘图端的相关命令，执行绘图、抠图和放大的AI操作。

优选地，所述PS插件端包括PS交互层、绘图端交互层和插件用户交互层，所述PS交互层用于与PS软件交互，执行PS软件的命令，控制PS软件的相关工具进行对应操作；所述绘图端交互层用于接受和发送命令给AI绘图端；所述插件用户交互层用于接受用户操作并给出提示。

优选地，所述AI绘图端包括插件接口服务模块、AI算力交互层、绘图用户交互层和文件管理模块，所述插件接口服务模块内置有HTTP服务，用于提供接口给所述PS插件端调用，与所述绘图端交互层双向电性连接；所述AI算力交互层用于调用AI算力模块提供的应用程序接口；所述绘图用户交互层用于控制用户交互及展示AI生产图片，所述绘图用户交互层分别与所述插件接口服务模块和AI算力交互层双向电性连接；所述文件管理模块接受所述绘图用户交互层的指令，用于提供序列化和反序列化相关功能，将创作流程中使用的当前画布和存储区状态保存成文件。

优选地，所述AI算力模块包括应用程序接口和AI模型，所述应用程序接口用于提供接口与所述AI算力交互层双向电性连接；所述AI模型内至少设置有多种角色模型、镜头参数和人物表情的相关绘图参数，根据绘图参数对图片进行处理。

优选地，所述绘图用户交互层包括画布控制模块、小样与高清图存储展示模块、重绘控制模块和提示词可视化模块，所述画布控制模块用于根据用户操作展示相关图片；所述小样与高清图存储展示模块用于根据用户操作保存小样，并展示渲染的高清图片；所述重绘控制模块用于根据用户操作进行画面的局部重绘；所述提示词可视化模块用于将模型提示词显示为带有图片的标签，用户可通过拖动标签增删提示词，并可通过滑块改变提示词强度。

优选地，所述AI模型至少包括Stable Diffusion模型、Segment Anything模型、Open Pose模型、Erika模型和SK模型，所述Stable Diffusion模型为基于Diffusion算法的AI绘图模型，可通过提示词绘制图片；所述Segment Anything模型为AI图片分割模型，用于图片区域分割、抠像和去除背景；所述Open Pose模型用于在图片中获取角色位置和姿态；所述Erika模型用于将图片转换为漫画线稿；所述SK模型用于获取图片边界。

与现有技术相比，本发明具有如下有益效果：

（1）本发明通过PS插件端、AI绘图端和AI算力模块的互相配合，PS插件端用于与PS软件交互，导入或导出图片，接受和发送命令给AI绘图端；AI绘图端内设置有多种绘图参数，将对应的AI操作命令发送给AI算力模块，并对中间处理的相关图片进行保存，缩放相关图片至指定大小；AI算力模块用于接收AI绘图端的相关命令，执行绘图、抠图和放大的AI操作。减少传统漫画中很多手工步骤，缩短了漫画制作周期，提高了漫画制作效率，能减少最少30%的工作量，而工作量的节省主要集中在绘图、上色、抠图和重绘等传统漫画创作过程中。通过系统的自动化和协助功能，显著减少手动操作所需的时间，使用户能够更专注于创意和艺术表达。

（2）本发明能对整个漫画的多阶段流程进行有效优化，提升了绘图速度，让漫画上色实现自动化，优化了相关抠图时间，能将图像的相关参数进行预设保存成可重复利用并改进的模型，无需从零开始绘制每个细节，节省了大量创作时间，用户可更轻松地进行迭代和调整，并且有效保证了每一张图片的绘制质量。

附图说明

图1为本发明的系统框图。

图2为本发明的方法流程图。

图3为本发明的绘图区域坐标示意图。

具体实施方式

下面结合附图以及具体实施方式，对本发明做进一步说明。

在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上；术语“上”、“下”、“左”、“右”、“内”、“外”、“前端”、“后端”、“头部”、“尾部”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

如图1所示，基于插件的人工智能辅助漫画创作系统，包括PS插件端、AI绘图端和AI算力模块，PS插件端用于与PS软件交互，导入或导出图片，接受和发送命令给AI绘图端，具体地，PS插件端包括PS交互层、绘图端交互层和插件用户交互层，PS交互层用于与PS软件交互，执行PS软件的命令，控制PS软件的相关工具进行对应操作；绘图端交互层用于接受和发送命令给AI绘图端；插件用户交互层用于接受用户操作并给出提示。

AI绘图端内设置有多种绘图参数，将对应的AI操作命令发送给AI算力模块，并对中间处理的相关图片进行保存，缩放相关图片至指定大小，具体地，AI绘图端包括插件接口服务模块、AI算力交互层、绘图用户交互层和文件管理模块，插件接口服务模块内置有HTTP服务，用于提供接口给PS插件端调用，与绘图端交互层双向电性连接；AI算力交互层用于调用AI算力模块提供的应用程序接口；绘图用户交互层用于控制用户交互及展示AI生产图片，绘图用户交互层分别与插件接口服务模块和AI算力交互层双向电性连接；文件管理模块接受绘图用户交互层的指令，用于提供序列化和反序列化相关功能，将创作流程中使用的当前画布和存储区状态保存成文件。

绘图用户交互层包括画布控制模块、小样与高清图存储展示模块、重绘控制模块和提示词可视化模块，画布控制模块用于根据用户操作展示相关图片；小样与高清图存储展示模块用于根据用户操作保存小样，并展示渲染的高清图片，这将使用户能够方便地回顾和比较不同版本，从而做出更明智的选择；重绘控制模块用于根据用户操作进行画面的局部重绘；提示词可视化模块用于将模型提示词显示为带有图片的标签，用户可通过拖动标签增删提示词，并可通过滑块改变提示词强度。

在传统漫画创作中，进修线稿是一项耗时的任务。通过本发明的创作系统，用户可使用AI绘图端生成预制角色模型，仅需快速绘制分镜草图就可以生成图像，这可以极大地加速绘图过程。

AI算力模块用于接收AI绘图端的相关命令，执行绘图、抠图和放大的AI操作，具体地，AI算力模块包括应用程序接口和AI模型，应用程序接口用于提供接口与AI算力交互层双向电性连接；AI模型内至少设置有多种角色模型、镜头参数和人物表情的相关绘图参数，根据绘图参数对图片进行处理，AI模型可以根据绘图参数生成更精细的角色模型，从而提升漫画画面的真实感和吸引力，并且根据相关的AI算法可以在图像生成和渲染方面提供更精细的结果，提升创作质量。

AI模型至少包括Stable Diffusion模型、Segment Anything模型、Open Pose模型、Erika模型和SK模型，Stable Diffusion模型为基于Diffusion算法的AI绘图模型，可通过提示词绘制图片，具体地，在本实施例中，Stable Diffusion模型是在现有技术的基础框架上扩充数据集以包括更多风格、背景和文化元素的漫画图像，如引入东西方艺术风格的混合，增加模型对全球漫画风格的适应能力；并采用更精细的数据清洗技术，例如使用先进的图像识别技术去除背景和不相关元素，确保数据质量，同时，增加复杂的表情和动作标签，为模型训练提供更丰富的情感和动态数据。在本实施例使用的Stable Diffusion模型使用适应性学习率调整和更高效的AdamW优化算法，以提升训练的效率和模型的性能。对特定漫画风格进行模型微调，使用迁移学习技术，借助已有的大规模预训练模型作为基础，针对性地提升模型对特定风格的理解和生成能力。

Segment Anything模型为AI图片分割模型，用于图片区域分割、抠像和去除背景，相比传统漫画创作通常需要逐步手工绘制和上色，耗费大量时间，在传统漫画中，将角色从背景中抠出来通常需要耗费时间。本发明的创作系统通过AI模型实现抠图优化，可快速准确地将角色与背景分离，节省了绘制人员手动抠图的时间。

Open Pose模型用于在图片中获取角色位置和姿态，即允许用户通过设置参数和使用预设的AI模型来快速生成角色、表情和场景；

Erika模型用于将图片转换为漫画线稿；SK模型用于获取图片边界。

传统漫画中，上色是一个相对繁琐的过程，需要手动涂色和添加阴影。通过本发明的创作系统中的AI算力模块，自动上色和添加阴影的过程可以显著减少绘制每个场景所需的时间。

本发明设置的系统内置的AI模型可以为创作者提供新的角度和视觉效果，从而激发创作者的创意和想象力。通过与AI合作，创作者可以尝试不同的风格和技巧，从而开拓创作领域。

传统漫画制作需要多个从业人员的协作，本发明的系统将多个步骤自动化，降低了人力需求，从而降低了人员成本。并且本发明的创作系统的自动化程度高，可以根据大数据中的相关数据指令更新素材，使用户更容易进行迭代和修正，用户可以尝试不同的效果、色彩和风格，而不必从头开始制作每个版本，可为用户提供更快速、高效的创作工具。

如图2所示，本实施例中基于插件的人工智能辅助漫画创作方法，包括以下步骤：

S1、在PS软件中导入或直接绘制线稿或者分镜草图，根据PS软件的“选区”工具选择需要使用人工智能渲染的线稿或者分镜草图区域，选择区域坐标点设为（minX,minY），（maxX,maxY），其中选择区域内包含有图像的区域坐标点设为（minXB,minYB），（maxXB,maxYB）；

S2、基于S1，在PS插件端执行PS软件的选中命令，将选择区域复制到一个新图层，保持位置不变，再将新图层导出为PNG格式的图片文件，此图片文件中包含选择区域坐标点和选择区域内有图像的区域坐标点，PS插件端将上述坐标点和文件路径传递给AI绘图端；

S3、基于S2，AI绘图端生成一个和选择区域同样大小：宽度坐标为maxX-minX，高度坐标为maxY-minY的画布，根据文件路径读取PS插件端导出的文件，渲染到与选区相对位置：X坐标为minXB-minX，Y坐标为minYB-minY；

S4、基于S3，在AI绘图端中框选需要绘制的主体对象，AI算力模块对主体对象进行加工，为主体对象添加预制的AI模型，使用Stable Diffusion模型绘制8张小样并传回AI绘图端；

S5、基于S4，用户选择小样保存到小样库，对小样设置重绘幅度，进行AI图像放大，AI算力模块放大重绘得到高清的绘制结果；

S6、基于S5，用户指定设置采样点，进行AI抠像；

S7、基于S6，AI算力模块根据获得的采样点，使用Segment Anything模型进行抠像处理，抠像处理后返回图片；

S8、基于S7，AI绘图端收到抠像处理的图片后，将四个角分别绘制一个半透明像素，以保证PS导入文件时不会自动裁剪无像素区域；

S9、基于S8，AI绘图端将此画布保存为PNG文件，并将图片选区的两个坐标（minX,minY），（maxX,maxY）传给PS插件端进行导出；

S10、基于S9，PS插件端收到导出命令后，创建一个新图层，打开AI绘图端存储的图片文件，缩放到指定大小：宽度坐标为maxX-minX，高度坐标为maxY-minY，移动到指定位置：X坐标为minX，Y坐标为minY，对齐到参照线稿原位置；

S11、基于S10，用户在PS软件中对图片文件进行后期制作，根据不同需求添加背景和特效，完成漫画创作。

如图3所示，（minX,minY）为用户选择图片范围的左上角点；（maxX,maxY）为用户选择图片范围的右下角点；（minXB,minYB）为用户选择图片范围内有像素区域的左上角点；（maxXB,maxYB）为用户选择图片范围内有像素区域的右下角点。（minX,minY）与（maxX,maxY）围合的区域为用户选择区域，（minXB,minYB）与（maxXB,maxYB）围合的区域为在用户选择区域内的线稿有像素区域。

本发明通过PS插件端、AI绘图端和AI算力模块的互相配合，减少传统漫画中很多手工步骤，缩短了漫画制作周期，提高了漫画制作效率，能减少最少30%的工作量，而工作量的节省主要集中在绘图、上色、抠图和重绘等传统漫画创作过程中。通过这些自动化和协助的功能，此系统能够显著减少手动操作所需的时间，使用户能够更专注于创意和艺术表达，不需要高度统一用户的绘图水平。实际的节省取决于用户的工作流程和使用系统的物理性能。

本发明能对整个漫画的多阶段流程进行有效优化，提升了绘图速度，让漫画上色实现自动化，优化了相关抠图时间，能将图像的相关参数进行预设保存成可重复利用并改进的模型，无需从零开始绘制每个细节，节省了大量创作时间，用户可更轻松地进行迭代和调整，并且有效保证了每一张图片的绘制质量。

上述的实施例仅为本发明的优选实施例，不能以此来限定本发明的权利范围，因此，依本发明申请专利范围所作的修改、等同变化、改进等，仍属本发明所涵盖的范围。

Claims (7)

1.一种基于插件的人工智能辅助漫画创作方法，其特征在于，包括以下步骤：

S1、在PS软件中导入或直接绘制线稿或者分镜草图，根据PS软件的“选区”工具选择需要使用人工智能渲染的线稿或者分镜草图区域，选择区域坐标点设为（minX,minY），（maxX,maxY），其中选择区域内包含有图像的区域坐标点设为（minXB,minYB），（maxXB,maxYB）；

S2、基于S1，在PS插件端执行PS软件的选中命令，将选择区域复制到一个新图层，保持位置不变，再将新图层导出为PNG格式的图片文件，此图片文件中包含选择区域坐标点和选择区域内有图像的区域坐标点，PS插件端将上述坐标点和文件路径传递给AI绘图端；

S3、基于S2，AI绘图端生成一个和选择区域同样大小：宽度坐标为maxX-minX，高度坐标为maxY-minY的画布，根据文件路径读取PS插件端导出的文件，渲染到与选区相对位置：X坐标为minXB-minX，Y坐标为minYB-minY；

S4、基于S3，在AI绘图端中框选需要绘制的主体对象，AI算力模块对主体对象进行加工，为主体对象添加预制的AI模型，使用Stable Diffusion模型绘制8张小样并传回AI绘图端；

S5、基于S4，用户选择小样保存到小样库，对小样设置重绘幅度，进行AI图像放大，AI算力模块放大重绘得到高清的绘制结果；

S6、基于S5，用户指定设置采样点，进行AI抠像；

S7、基于S6，AI算力模块根据获得的采样点，使用Segment Anything模型进行抠像处理，抠像处理后返回图片；

S8、基于S7，AI绘图端收到抠像处理的图片后，将四个角分别绘制一个半透明像素，以保证PS导入文件时不会自动裁剪无像素区域；

S9、基于S8，AI绘图端将此画布保存为PNG文件，并将图片选区的两个坐标（minX,minY），（maxX,maxY）传给PS插件端进行导出；

S10、基于S9，PS插件端收到导出命令后，创建一个新图层，打开AI绘图端存储的图片文件，缩放到指定大小：宽度坐标为maxX-minX，高度坐标为maxY-minY，移动到指定位置：X坐标为minX，Y坐标为minY，对齐到参照线稿原位置；

S11、基于S10，用户在PS软件中对图片文件进行后期制作，根据不同需求添加背景和特效，完成漫画创作。

2.一种基于插件的人工智能辅助漫画创作系统，用于实现如权利要求1所述的一种基于插件的人工智能辅助漫画创作方法，其特征在于：包括PS插件端、AI绘图端和AI算力模块，所述PS插件端用于与PS软件交互，导入或导出图片，接受和发送命令给所述AI绘图端；所述AI绘图端内设置有多种绘图参数，将对应的AI操作命令发送给AI算力模块，并对中间处理的相关图片进行保存，缩放相关图片至指定大小；所述AI算力模块用于接收所述AI绘图端的相关命令，执行绘图、抠图和放大的AI操作。

3.根据权利要求2所述的一种基于插件的人工智能辅助漫画创作系统，其特征在于：所述PS插件端包括PS交互层、绘图端交互层和插件用户交互层，所述PS交互层用于与PS软件交互，执行PS软件的命令，控制PS软件的相关工具进行对应操作；所述绘图端交互层用于接受和发送命令给AI绘图端；所述插件用户交互层用于接受用户操作并给出提示。

4.根据权利要求3所述的一种基于插件的人工智能辅助漫画创作系统，其特征在于：所述AI绘图端包括插件接口服务模块、AI算力交互层、绘图用户交互层和文件管理模块，所述插件接口服务模块内置有HTTP服务，用于提供接口给所述PS插件端调用，与所述绘图端交互层双向电性连接；所述AI算力交互层用于调用AI算力模块提供的应用程序接口；所述绘图用户交互层用于控制用户交互及展示AI生产图片，所述绘图用户交互层分别与所述插件接口服务模块和AI算力交互层双向电性连接；所述文件管理模块接受所述绘图用户交互层的指令，用于提供序列化和反序列化相关功能，将创作流程中使用的当前画布和存储区状态保存成文件。

5.根据权利要求4所述的一种基于插件的人工智能辅助漫画创作系统，其特征在于：所述AI算力模块包括应用程序接口和AI模型，所述应用程序接口用于提供接口与所述AI算力交互层双向电性连接；所述AI模型内至少设置有多种角色模型、镜头参数和人物表情的相关绘图参数，根据绘图参数对图片进行处理。

6.根据权利要求4所述的一种基于插件的人工智能辅助漫画创作系统，其特征在于：所述绘图用户交互层包括画布控制模块、小样与高清图存储展示模块、重绘控制模块和提示词可视化模块，所述画布控制模块用于根据用户操作展示相关图片；所述小样与高清图存储展示模块用于根据用户操作保存小样，并展示渲染的高清图片；所述重绘控制模块用于根据用户操作进行画面的局部重绘；所述提示词可视化模块用于将模型提示词显示为带有图片的标签，用户可通过拖动标签增删提示词，并可通过滑块改变提示词强度。

7.根据权利要求5所述的一种基于插件的人工智能辅助漫画创作系统，其特征在于：所述AI模型至少包括Stable Diffusion模型、Segment Anything模型、Open Pose模型、Erika模型和SK模型，所述Stable Diffusion模型为基于Diffusion算法的AI绘图模型，可通过提示词绘制图片；所述Segment Anything模型为AI图片分割模型，用于图片区域分割、抠像和去除背景；所述Open Pose模型用于在图片中获取角色位置和姿态；所述Erika模型用于将图片转换为漫画线稿；所述SK模型用于获取图片边界。