CN116843794A - 海报生成方法、装置、电子设备及存储介质 - Google Patents
海报生成方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116843794A CN116843794A CN202310793348.XA CN202310793348A CN116843794A CN 116843794 A CN116843794 A CN 116843794A CN 202310793348 A CN202310793348 A CN 202310793348A CN 116843794 A CN116843794 A CN 116843794A
- Authority
- CN
- China
- Prior art keywords
- image
- poster
- processing
- images
- generate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000003860 storage Methods 0.000 title claims description 17
- 238000012545 processing Methods 0.000 claims abstract description 116
- 239000013598 vector Substances 0.000 claims abstract description 111
- 230000009466 transformation Effects 0.000 claims abstract description 26
- 238000011049 filling Methods 0.000 claims abstract description 21
- 238000006243 chemical reaction Methods 0.000 claims abstract description 18
- 238000009877 rendering Methods 0.000 claims abstract description 9
- 230000011218 segmentation Effects 0.000 claims description 12
- 238000013519 translation Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 4
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 11
- 238000012549 training Methods 0.000 description 9
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000008451 emotion Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 230000008485 antagonism Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Image Processing (AREA)
Abstract
本发明涉及金融数据处理领域，揭露一种海报生成方法，包括：接收用户生成海报的请求，提取请求的各个关键词生成文本提示词，对文本提示词执行编码处理生成嵌入向量；在图像数据库中匹配出与嵌入向量有关联的图像集，对图像集的各个图像执行去除噪音处理，对去噪后的所有图像的特征向量与嵌入向量执行特征编码，生成候选图像；对候选图像中的图像区域进行分割，将分割后的图像区域进行图像变换处理，得到深度处理图像，将深度处理图像填充到预设海报模板中，生成初始海报；对初始海报进行像素转换和渲染生成目标海报。本发明应用在金融数据处理领域中，帮助金融机构能够快速生成高质量视觉效果的海报，缩短金融产品的推广周期。
Description
技术领域
本发明涉及金融数据处理领域，尤其涉及一种海报生成方法、装置、电子设备及存储介质。
背景技术
在金融科技领域中，金融机构对日常产品进行推广时，常常需要设计各种各样的营销海报，例如二十四节气、特殊节假日、保险公司周年庆等一些庆祝活动的海报。
目前金融机构常常使用AI绘画技术来生成海报，但是AI绘画技术在处理复杂场景的图像时，往往会出现一些问题，例如海报场景中的物体重叠、遮挡等问题。
因此，如何快速生成高质量的海报是一个亟待解决的问题。
发明内容
鉴于以上内容，有必要提供一种海报生成方法，其目的在于避免海报中出现图像重叠、遮挡等问题，快速生成高质量的海报。
本发明提供的海报生成方法，包括：
接收用户生成海报的请求，提取所述请求的文本内容中的各个关键词，生成文本提示词，对所述文本提示词执行编码处理，生成嵌入向量；
在图像数据库中匹配出与所述嵌入向量相关联的图像集，对所述图像集的各个图像执行去噪处理，对去噪后的所有图像的特征向量与所述嵌入向量执行特征编码，生成候选图像；
对所述候选图像中的每个物体对应的图像区域进行分割，将分割后的图像区域进行图像变换处理，得到深度处理图像，将所述深度处理图像填充到预设海报模板中，生成初始海报；
对所述初始海报执行像素转换及图像渲染，生成目标海报。
可选的，所述对所述文本提示词执行编码处理，生成嵌入向量，包括：
利用预设的分词器，对所述文本提示词的各个关键词设置标记；
利用预设的文本编码器对设置标记后的关键词执行编码处理，生成所述嵌入向量。
可选的，所述在图像数据库中匹配出与所述嵌入向量相关联的图像集，包括：
将所述嵌入向量作为所述图像数据库的检索索引；
根据所述检索索引与所述图像数据库中所有图像的标签之间的映射关系，从所述图像数据库中匹配出与所述嵌入向量有关联的多张图像并作为所述图像集。
可选的，所述对所述图像集的各个图像执行去噪处理，对去噪后的所有图像的特征向量与所述嵌入向量执行特征编码，生成候选图像，包括：
获取所述图像集的各个图像的噪音，对所述图像集的各个图像的噪音进行去除；
利用预设的噪音预测器的编码器，融合去噪后的所有图像的特征向量与所述嵌入向量并执行特征编码，生成所述候选图像。
可选的，所述对所述候选图像中的每个物体对应的图像区域进行分割，包括：
检测所述候选图像中每个像素点的深度值，基于深度值计算出所述候选图像中的每个物体的轮廓线；
基于所述每个物体的轮廓线对所述候选图像进行分割，得到每个物体对应的图像区域，所述图像区域包括每个物体的前景区域和背景区域。
可选的，所述将分割后的图像区域进行图像变换处理，得到深度处理图像，包括：
根据每个物体的像素点的深度值，将所有的物体的前景区域和背景区域进行多层次的排序；
对在不同层次中的每个物体对应的图像区域进行旋转、平移、缩放、像素增强的图像变换处理中的至少一种；
将图像变换处理后的各个图像区域进行拼接，生成所述深度处理图像。
可选的，所述将所述深度处理图像填充到预设海报模板中，生成初始海报，包括：
提取所述深度处理图像的语义信息，根据所述语义信息和所述文本提示词生成所述初始海报的文案部分；
将所述文案部分和所述深度处理图像填充至所述海报模板的对应位置，生成所述初始海报。
为了解决上述问题，本发明还提供一种海报生成装置，所述装置包括：
接收模块，用于接收用户生成海报的请求，提取所述请求的文本内容中的各个关键词，生成文本提示词，对所述文本提示词执行编码处理，生成嵌入向量；
选取模块，用于在图像数据库中匹配出与所述嵌入向量相关联的图像集，对所述图像集的各个图像执行去噪声处理，对去噪后的所有图像的特征向量与所述嵌入向量执行特征编码，生成候选图像；
填充模块，用于对所述候选图像中的每个物体对应的图像区域进行分割，将分割后的图像区域进行图像变换处理，得到深度处理图像，将所述深度处理图像填充到预设海报模板中，生成初始海报；
转换模块，用于对所述初始海报执行像素转换及图像渲染，生成目标海报。
为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的海报生成程序，所述海报生成程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述海报生成方法。
为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有海报生成程序，所述海报生成程序可被一个或者多个处理器执行，以实现上述海报生成方法。
相较现有技术，本发明接收用户生成海报的请求，提取所述请求的文本内容中的各个关键词，生成文本提示词，对所述文本提示词执行编码处理，生成嵌入向量；在图像数据库中匹配出与所述嵌入向量相关联的图像集，对所述图像集的各个图像执行去噪处理，对去噪后的所有图像的特征向量与所述嵌入向量执行特征编码，生成候选图像；对所述候选图像中的每个物体对应的图像区域进行分割，将分割后的图像区域进行图像变换处理，得到深度处理图像，将所述深度处理图像填充到预设海报模板中，生成初始海报；对所述初始海报执行像素转换及图像渲染，生成目标海报。本发明通过对候选图像各个图像区域采用图像变换处理方式，有利于更好地避免图像中物体重叠和遮挡问题，生成高质量视觉效果的海报。
本发明可以应用在金融数据处理等领域中，帮助金融机构能够快速生成高质量的海报，缩短金融产品的推广周期。
附图说明
图1为本发明一实施例提供的海报生成方法的流程示意图；
图2为本发明一实施例提供的海报生成装置的模块示意图；
图3为本发明一实施例提供的实现海报生成方法的电子设备的结构示意图；
本发明目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
本发明应用在金融数据处理领域中，帮助金融机构能够快速生成高质量视觉效果的海报，缩短金融产品的推广周期。
参照图1所示，为本发明一实施例提供的海报生成方法的流程示意图。该方法由电子设备执行。
本实施例中，海报生成方法包括：
S1、接收用户生成海报的请求，提取所述请求的文本内容中的各个关键词，生成文本提示词，对所述文本提示词执行编码处理，生成嵌入向量。
本实施例中，用户是指企业的工作人员(例如金融机构的业务员)或个人，用户通过账号登录金融机构的业务系统，在图像生成模型提供的交互界面中，输入想要生成海报的请求。
在一个实施例中，所述接收用户生成海报的请求，包括：
接收用户在图像生成模型提供的交互界面中触发生成海报的请求，所述请求包括文本内容。
触发生成海报的请求的方式包括语音请求、文本请求、在交互界面进行选择对应选择项的请求中的至少一种。
用户的请求包括海报类型、主题、风格、文本内容、指定要求。
1.目标海报的尺寸和分辨率：用户需要指定所需目标海报的尺寸和分辨率，以确保生成的目标海报符合用户的需求。
2.目标海报的主题和风格：用户需要选择所需目标海报的主题和风格，以便生成的目标海报符合用户的需求和喜好。
3.目标海报的文本内容：用户需要输入所需目标海报的文字内容，包括标题、副标题、正文等，以便生成的目标海报能够传达用户想要表达的信息。
4.目标海报的图片素材：用户需要上传所需目标海报的图片素材，包括背景图片、图标、照片等，以便生成的目标海报能够符合用户的需求和风格。
5.指定要求：用户还可以提出其他特殊要求，如字体、颜色、布局等，以便生成的目标海报能够满足用户的个性化需求。
本发明将以例子H对所有的实施例进行举例说明：
例如，金融机构的输入的请求是：海报上有一张照片，照片中是一对年轻的夫妇，他们正在开心地笑着，手中拿着一张保险单。海报上方有一个大大的标题：“保障你的未来，从现在开始！”；
还提供一些关键信息，保险类型：人寿保险，保额：100万，保费：每年5000元，保障期限：30年。
金融机构的这个海报的目的是吸引年轻人购买人寿保险，强调保障未来的重要性，并提供简单明了的保险信息。
在一个实施例中，提取所述请求的文本内容中的各个关键词，生成文本提示词，包括：
对所述文本内容进行分割并提取关键词，得到预设数量的关键词；
对所述预设数量的关键词进行分类，基于分类后的关键词生成所述文本提示词。
文本分割：使用自然语言处理技术，将文本内容按照标点符号、空格、换行符等进行分割，得到多个单词或短语，使用关键词提取算法提取关键词，得到预设数量(例如5个)的关键词。
文本分割：从分割后的文本内容中提取出关键词。关键词提取算法包括TF-IDF算法、TextRank算法等。
关键词分类：将提取出的关键词按照其所属的领域或主题进行分类，例如技术领域、商业领域、法律领域及金融领域等。
文本提示词生成：根据关键词分类，为每个关键词生成相应的文本提示词。文本提示词可以包括定义、解释、例子、注意事项等内容，以帮助用户更好地理解和应用关键词。
延续上述的例子H进一步举例说明：金融机构的输入的请求是：海报上有一张照片，照片中是一对年轻的夫妇，他们正在开心地笑着，手中拿着一张保险单。海报上方有一个大大的标题：“保障你的未来，从现在开始！”；
还提供一些关键信息，保险类型：人寿保险，保额：100万，保费：每年5000元，保障期限：30年。
提取金融机构请求的文本内容中的各个关键词，可能提取“年轻的夫妇”、“开心地笑”、“手中拿着一张保险单”等作为关键词并生成文本提示词。
在一个实施例中，在所述生成文本提示词之后，所述方法还包括：
将生成的文本提示词显示在图像生成模型提供的交互界面上，以便用户查看或编辑。
在用户界面上通过一个文本框或文本区域，用于显示生成的文本提示词，将生成的文本提示词自动填充到文本框或文本区域中，以便用户查看；
如果用户需要编辑文本提示词，可以在文本框或文本区域中进行编辑，添加一个保存按钮，以便用户保存编辑后的文本提示词。
当用户点击保存按钮时，将编辑后的文本提示词保存到数据库或文件中，以便下次使用。
还可以在用户界面上添加一个清除按钮，以便用户清除文本框或文本区域中的内容。
通过以上步骤，用户可以方便地查看、编辑和保存生成的文本提示词，防止对用户的输入内容产生错误语义的理解，提供进一步修正的方案。同时，添加重新生成和清除按钮也可以提高用户的使用体验。
在一个实施例中，所述对所述文本提示词执行编码处理，生成嵌入向量，包括：
利用预设的分词器，对所述文本提示词的各个关键词设置标记；
利用预设的文本编码器对设置标记后的关键词执行编码处理，生成所述嵌入向量。
选择适合的分词器例如jieba、HanLP等，将输入的文本提示词进行分词处理。
对分词器输出的分词结果设置标记，例如使用Python中的NLTK库中的Tokenize函数，对分词结果设置标记。
选择适合的文本编码器，例如使用Python中的Keras库中的Embedding函数，将标记转化为多维度的嵌入向量。
生成的嵌入向量可以准确地表达用户的语义信息，从而可以用于各种自然语言处理任务，如文本分类、情感分析、机器翻译等。
S2、在图像数据库中匹配出与所述嵌入向量相关联的图像集，对所述图像集的各个图像执行去噪处理，对去噪后的所有图像的特征向量与所述嵌入向量执行特征编码，生成候选图像。
本实施例中，将嵌入向量输入图像生成模型中，利用图像生成模型在图像数据库中匹配出与嵌入向量相关联的图像集。
图像生成模型是一个神经网络模型，它的作用是将输入的嵌入向量转换为图像信息。具体来说，它可以将嵌入向量映射到一个高维空间中，然后通过反卷积等操作生成一张候选图像。这个候选图像可以作为目标海报的预测结果。
图像数据库是指存储大量图像数据的数据库系统，它可以用于图像检索、图像分类、图像识别等应用。在图像生成模型中，图像数据库通常用于存储训练集、验证集和测试集，以便模型可以从中学习和生成新的图像。在匹配嵌入向量和相关联的图像时，图像数据库可以通过计算嵌入向量与数据库中所有图像的相似度，找到与之最相似的图像集。
延续上述的例子H进一步举例说明：将“年轻的夫妇”、“开心地笑”、“手中拿着一张保险单”等作为关键词并生成文本提示词，将文本提示词生成嵌入向量，在图像生成模型的图像数据库中匹配出与嵌入向量有关联的多张图像(图像集)；
但是这多张图像带大量的噪音，将图像集输入到图像生成模型的噪音预测器去预测图像里面的噪音并进行去噪，随着预测和去噪的动作重复执行预定次数(例如5次)后，图像中的噪音会不停去除，融合去噪后的所有图像的特征向量与所述嵌入向量并执行特征编码，生成候选图像的特征向量，通过对候选图像的特征向量进行转换生成候选图像，就能得到更精确清晰的目标海报对应的潜在对象的候选图像。
在一个实施例中，所述在图像数据库中匹配出与所述嵌入向量相关联的图像集，包括：
将所述嵌入向量作为所述图像数据库的检索索引；
根据所述检索索引与所述图像数据库中所有图像的标签之间的映射关系，从所述图像数据库中匹配出与所述嵌入向量有关联的多张图像并作为所述图像集。
通过使用预设的图像检索算法来实现匹配出图像集，例如使用基于相似度的检索方法或基于深度学习的检索方式等。检索算法将嵌入向量与数据库中的图像进行比较，并返回与嵌入向量较相似的图像集。
在一个实施例中，所述对所述图像集的各个图像执行去噪处理，对去噪后的所有图像的特征向量与所述嵌入向量执行特征编码，生成候选图像，包括：
获取所述图像集的各个图像的噪音，对所述图像集的各个图像的噪音进行去除；
利用预设的噪音预测器的编码器，融合去噪后的所有图像的特征向量与所述嵌入向量并执行特征编码，生成所述候选图像。
本发明利用噪音预测器对图像集的各个图像进行逐步去噪音方式代替现有技术中直接选取相似度最高的图像作为候选图像，从而选取出价值更高更吻合嵌入向量的图像。
根据图像数据库的各个图像中对应的标签模板，使用预设的算法或工具来获取图像集的各个图像的噪音。可以通过使用噪音估计算法或者噪音提取工具来实现。
标签模板是使用Labelbox、Supervisely等工具，对图像数据库中各个图像中的物体，可以创建一个包含物体名称和位置的标签模板，将根据标记目的和范围，标记图像中的物体类型、物体名称、场景、情感记录入标签模板。
图像集的各个图像与嵌入向量对应的生成海报的请求基本吻合的，但是图像集的各个图像中总会有些特征或物体，与嵌入向量不符合的，这些特征或物体就是图像的噪音。
利用噪音预测器，通过图像集的各个图像的噪音的向量逐个与嵌入向量进行比较，将各个图像的噪音进行去除，融合去噪后的所有图像的特征向量与嵌入向量，得到融合向量，对融合向量执行特征编码，生成候选图像的特征向量，通过对候选图像的特征向量进行转换生成候选图像，就能得到更精确清晰的目标海报对应的潜在对象的候选图像。
可以通过将融合向量输入到噪音预测器的编码器中，然后获取编码向量来实现。例如使用卷积神经网络(CNN)或变分自编码器(VAE)作为编码器的网络，通过编码器的网络将输入的嵌入向量和去除噪音后的所有图像的特征向量转换为候选图像的特征向量。
使用噪音预测器的解码器将候选图像的特征向量转换为候选图像。可以通过将候选图像的特征向量输入到噪音预测器的解码器中，例如使用反卷积神经网络(DCNN)或生成对抗网络(GAN)作为解码器的网络，通过解码器的网络将候选图像的特征向量转换为候选图像。
在匹配出与嵌入向量有关联的图像集之前，需要收集预设数量图像，且这些图像包括不同类型(节日类型、活动类型、营销类型等)能满足设计海报的需求，对图像进行预处理，如裁剪、缩放、归一化等操作，以便于图像生成模型的噪音预测器的训练，噪音预测器的训练步骤如下：
将预处理后的图像作为图像样本集，并对图像样本集划分为训练集和验证集，并对验证集内的图像进行标记标签；
标记标签步骤：使用图像标注工具，如Labelbox、Supervisely等，对图像中的物体，可以创建一个包含物体名称和位置的标签模板，将根据标记目的和范围，标记图像中的物体类型、物体名称、场景、情感记录入标签模板；
使用U-Net模型作为噪音预测器的网络，该U-Net模型包含编码器和解码器两部分，可以有效地去除图像中的噪音。
使用均方误差(MSE)作为U-Net模型的损失函数，用于衡量预测结果与真实结果之间的差异。
使用训练集对U-Net模型进行训练，通过反向传播算法不断调整模型参数，使得损失函数最小化。
使用验证集对U-Net模型进行验证，评估噪音U-Net模型的性能和泛化能力，根据验证结果对U-Net模型进行调整，如调整学习率、增加正则化项等，直至损失函数小于预设阈值时，得到训练好的噪音预测器。
S3、对所述候选图像中的每个物体对应的图像区域进行分割，将分割后的图像区域进行图像变换处理，得到深度处理图像，将所述深度处理图像填充到预设海报模板中，生成初始海报。
本实施例中，利用图像生成模型的深度图像生成网络，对分割后的图像区域进行图像变换处理，得到深度处理图像。
深度图像生成网络可以是卷积神经网络(CNN)，深度图像生成网络具有处理图像的物体重叠和遮挡的功能。
深度图像生成网络的训练过程：
1.数据准备：收集并标注具有物体重叠和遮挡问题的图像数据集，包括图像和对应的深度图像。
2.模型训练：使用深度学习模型，例如卷积神经网络(CNN)，对数据集进行训练，以预测每个像素点的深度值。训练过程中，可以使用反向传播算法来优化模型参数，以最小化预测深度值与真实深度值之间的误差。
3.深度图像生成：使用训练好的深度学习模型，对新的图像进行深度预测，生成对应的深度图像。
4.物体分割：根据深度图像，将图像中的物体进行分割，得到每个物体的前景和背景。
5.物体排序：根据物体的深度值，确定物体的前后顺序，从而更好地处理物体重叠和遮挡问题。
6.图像合成：根据物体的前后顺序，将每个物体的前景和背景进行合成，得到最终的深度处理图像。
延续上述的例子H进一步举例说明：将“年轻的夫妇”、“开心地笑”、“手中拿着一张保险单”等作为关键词，通过图像生成模型对关键词对应的嵌入向量处理后，生成初始海报。
那么，初始海报的场景中有一对年轻的夫妇，他们正在开心地笑着，手中拿着一张保险单。
在一个实施例中，所述对所述候选图像中的每个物体对应的图像区域进行分割，包括：
检测所述候选图像中每个像素点的深度值，基于深度值计算出所述候选图像中的每个物体的轮廓线；
基于所述每个物体的轮廓线对所述候选图像进行分割，得到每个物体对应的图像区域，所述图像区域包括每个物体的前景区域和背景区域。
深度值(Depth Value)是指在三维空间中，从相机或观察者位置到物体表面的距离。在计算机图形学中，深度值通常用于实现深度测试、深度排序等操作，以便正确渲染场景中的物体。深度值通常以浮点数或整数的形式表示，单位可以是米、厘米、像素等。
基于深度值计算出候选图像中的每个物体的坐标信息，基于每个物体的坐标信息进行连接，生成每个物体对应的轮廓线；
基于每个物体的轮廓线对候选图像进行分割，得到每个物体对应的图像区域，从而实现对候选图像各个图像区域采用不同的图像变换处理方式，有利于更好地处理图像中物体重叠和遮挡问题。
在一个实施例中，所述将分割后的图像区域进行图像变换处理，得到深度处理图像，包括：
根据每个物体的像素点的深度值，将所有的物体的前景区域和背景区域进行多层次的排序；
对在不同层次中的每个物体对应的图像区域进行旋转、平移、缩放、像素增强的图像变换处理中的至少一种；
将图像变换处理后的各个图像区域进行拼接，生成所述深度处理图像。
多层次的排序是指将候选图像中的物体按照它们在图像中的位置关系进行分层排序，每一层包含一组前景物体和一个背景。在每一层中，前景物体的位置关系进行固定下来，即它们之间不会发生重叠和遮挡的情况。而不同层之间的物体则可能会发生重叠和遮挡的情况，通过这种多层次的排序方式，可以更好地处理图像中的物体重叠和遮挡问题，提高物体分割和识别的准确性。
旋转是指选择旋转中心点，计算旋转矩阵，对图像区域进行仿射变换。
平移是指选择平移距离，计算平移矩阵，对图像区域进行仿射变换。
缩放是指选择缩放比例，计算缩放矩阵，对图像区域进行仿射变换。
像素增强是指选择增强算法，如直方图均衡化、对比度增强等，对图像区域进行处理。
将所有的物体分解成多层次的作业空间，每个层次对应一个物体或者一组物体，根据排序中的不同层次，对不同层次的图像区域选择不同的图像变换处理方式，从而解决图像的物体重叠和遮挡的问题。
在各个图像区域进行图像变换处理后再进行拼接，生成深度处理图像。
在一个实施例中，所述将所述深度处理图像填充到预设海报模板中，生成初始海报，包括：
提取所述深度处理图像的语义信息，根据所述语义信息和所述文本提示词生成所述初始海报的文案部分；
将所述文案部分和所述深度处理图像填充至所述海报模板的对应位置，生成所述初始海报。
预设海报模板是根据用户请求的文本内容，从海报模板数据库匹配出来。
深度处理图像的语义信息是指深度处理图像中所包含的与物体、场景、情感等相关的意义和信息。这些信息可以通过图像中的像素、颜色、纹理、形状、边缘、角度等特征来提取和分析。
根据语义信息和文本提示词重新构建并生成所述初始海报的文案部分。
将文案部分和深度处理图像填充至海报模板的对应位置，根据海报模板预先设定的参数，对文案部分和深度处理图像进行调整，包括文案部分的字体，字体尺寸、字体颜色等，及深度处理图像的饱和度，锐度等。在对文案部分和深度处理图像调整完成后生成初始海报。
延续上述的例子H进一步举例说明：将“年轻的夫妇”、“开心地笑”、“手中拿着一张保险单”等作为关键词，通过图像生成模型对关键词对应的嵌入向量处理后，生成初始海报。
那么，初始海报的场景中有一对年轻的夫妇，他们正在开心地笑着，手中拿着一张保险单。
读取用户提供的文本内容，包括标题：“保障你的未来，从现在开始！”和关键信息，保险类型：人寿保险，保额：100万，保费：每年5000元，保障期限：30年。
将深度处理图像的语义信息与用户提供的文本内容生成所述初始海报的文案部分，将文案部分和深度处理图像填充至海报模板的对应位置，生成所述初始海报。
S4、对所述初始海报执行像素转换及图像渲染，生成目标海报。
本实施例中，利用图像生成模型的解码器对初始海报进行像素转换，将像素转换的初始海报渲染成目标海报，将目标海报反馈至用户。
像素转换是指将初始海报的像素值进行修改或替换，以达到高质量的目的，比如改变图像的颜色、亮度、对比度、清晰度等。
在利用图像生成模型进行像素转换时，通常会将初始海报输入到图像生成模型中进行编码，然后再通过解码器对编码后的图像进行像素转换，最终生成一张目标海报。
本发明在整个海报生成过程中，不需要专业UI或设计师的参与，就能快速的生成专业的目标海报。
同时新生成的目标海报也可以做图像生成模型的样本，再次输入到图像生成模型进行再训练。
在其它实施例中，用户可以对目标海报进行效果打分，延续上述的例子H进一步举例说明：提到的“年轻的夫妇”、“开心地笑”、“手中拿着一张保险单”等关键词的主题；
用户打分如下：“年轻的夫妇”给90分，“开心地笑”给80分，“手中拿着一张保险单”给85分，在打分后将目标海报投回图像生成模型作为样本重新学习，将目标海报和打分后的目标海报存储在用户的帐号下，在用户下次提出新的海报需求时，读取用户的历史数据能更准确的生成对应的目标海报。
在其它实施例中，将目标海报导出为可编辑格式，用户进行再次加工微调以满足用户需求。可以节省大量设计人员的投入，同时可以减少等待设计的时间，提升推广的速度。
如图2所示，为本发明一实施例提供的海报生成装置的模块示意图。
本发明所述海报生成装置100可以安装于电子设备中。根据实现的功能，所述海报生成装置100可以包括接收模块110、选取模块120、填充模块130及转换模块140。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
在本实施例中，关于各模块/单元的功能如下：
接收模块110，用于接收用户生成海报的请求，提取所述请求的文本内容中的各个关键词，生成文本提示词，对所述文本提示词执行编码处理，生成嵌入向量。
选取模块120，用于在图像数据库中匹配出与所述嵌入向量相关联的图像集，对所述图像集的各个图像执行去噪声处理，对去噪后的所有图像的特征向量与所述嵌入向量执行特征编码，生成候选图像。
填充模块130，用于对所述候选图像中的每个物体对应的图像区域进行分割，将分割后的图像区域进行图像变换处理，得到深度处理图像，将所述深度处理图像填充到预设海报模板中，生成初始海报。
转换模块140，用于对所述初始海报执行像素转换及图像渲染，生成目标海报。
在一个实施例中，所述对所述文本提示词执行编码处理，生成嵌入向量，包括：
利用预设的分词器，对所述文本提示词的各个关键词设置标记；
利用预设的文本编码器对设置标记后的关键词执行编码处理，生成所述嵌入向量。
在一个实施例中，所述在图像数据库中匹配出与所述嵌入向量相关联的图像集，包括：
将所述嵌入向量作为所述图像数据库的检索索引；
根据所述检索索引与所述图像数据库中所有图像的标签之间的映射关系，从所述图像数据库中匹配出与所述嵌入向量有关联的多张图像并作为所述图像集。
在一个实施例中，所述对所述图像集的各个图像执行去噪处理，对去噪后的所有图像的特征向量与所述嵌入向量执行特征编码，生成候选图像，包括：
获取所述图像集的各个图像的噪音，对所述图像集的各个图像的噪音进行去除；
利用预设的噪音预测器的编码器，融合去噪后的所有图像的特征向量与所述嵌入向量并执行特征编码，生成所述候选图像。
在一个实施例中，所述对所述候选图像中的每个物体对应的图像区域进行分割，包括：
检测所述候选图像中每个像素点的深度值，基于深度值计算出所述候选图像中的每个物体的轮廓线；
基于所述每个物体的轮廓线对所述候选图像进行分割，得到每个物体对应的图像区域，所述图像区域包括每个物体的前景区域和背景区域。
在一个实施例中，所述将分割后的图像区域进行图像变换处理，得到深度处理图像，包括：
根据每个物体的像素点的深度值，将所有的物体的前景区域和背景区域进行多层次的排序；
对在不同层次中的每个物体对应的图像区域进行旋转、平移、缩放、像素增强的图像变换处理中的至少一种；
将图像变换处理后的各个图像区域进行拼接，生成所述深度处理图像。
在一个实施例中，所述将所述深度处理图像填充到预设海报模板中，生成初始海报，包括：
提取所述深度处理图像的语义信息，根据所述语义信息和所述文本提示词生成所述初始海报的文案部分；
将所述文案部分和所述深度处理图像填充至所述海报模板的对应位置，生成所述初始海报。
如图3所示，为本发明一实施例提供的实现海报生成方法的电子设备的结构示意图。
在本实施例中，电子设备1包括，但不仅限于，可通过系统总线相互通信连接的存储器11、处理器12、网络接口13，该存储器11中存储有海报生成程序10，所述海报生成程序10可被所述处理器12执行。图3仅示出了具有组件11-13以及海报生成程序10的电子设备1，本领域技术人员可以理解的是，图3示出的结构并不构成对电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
其中，存储器11包括内存及至少一种类型的可读存储介质。内存为电子设备1的运行提供缓存；可读存储介质可为如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等的非易失性存储介质。在一些实施例中，可读存储介质可以是电子设备1的内部存储单元；在另一些实施例中，该非易失性存储介质也可以是电子设备1的外部存储设备，例如电子设备1上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。本实施例中，存储器11的可读存储介质通常用于存储安装于电子设备1的操作系统和各类应用软件，例如存储本发明一实施例中的海报生成程序10的代码等。此外，存储器11还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器12在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器12通常用于控制所述电子设备1的总体操作，例如执行与其他设备进行数据交互或者通信相关的控制和处理等。本实施例中，所述处理器12用于运行所述存储器11中存储的程序代码或者处理数据，例如运行海报生成程序10等。
网络接口13可包括无线网络接口或有线网络接口，该网络接口13用于在所述电子设备1与终端(图中未画出)之间建立通信连接。
可选的，所述电子设备1还可以包括用户接口，用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选的，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
所述电子设备1中的所述存储器11存储的海报生成程序10是多个指令的组合，在所述处理器12中运行时，可以实现：
接收用户生成海报的请求，提取所述请求的文本内容中的各个关键词，生成文本提示词，对所述文本提示词执行编码处理，生成嵌入向量；
在图像数据库中匹配出与所述嵌入向量相关联的图像集，对所述图像集的各个图像执行去噪处理，对去噪后的所有图像的特征向量与所述嵌入向量执行特征编码，生成候选图像；
对所述候选图像中的每个物体对应的图像区域进行分割，将分割后的图像区域进行图像变换处理，得到深度处理图像，将所述深度处理图像填充到预设海报模板中，生成初始海报；
对所述初始海报执行像素转换及图像渲染，生成目标海报。
具体地，所述处理器12对上述海报生成程序10的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。
进一步地，所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。所述计算机可读介质可以是非易失性的，也可以是非易失性的。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)。
所述计算机可读存储介质上存储有海报生成程序10，所述海报生成程序10可被一个或者多个处理器执行，本发明计算机可读存储介质具体实施方式与上述海报生成方法各实施例基本相同，在此不作赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。
Claims (10)
1.一种海报生成方法，其特征在于，所述方法包括：
接收用户生成海报的请求，提取所述请求的文本内容中的各个关键词，生成文本提示词，对所述文本提示词执行编码处理，生成嵌入向量；
在图像数据库中匹配出与所述嵌入向量相关联的图像集，对所述图像集的各个图像执行去噪处理，对去噪后的所有图像的特征向量与所述嵌入向量执行特征编码，生成候选图像；
对所述候选图像中的每个物体对应的图像区域进行分割，将分割后的图像区域进行图像变换处理，得到深度处理图像，将所述深度处理图像填充到预设海报模板中，生成初始海报；
对所述初始海报执行像素转换及图像渲染，生成目标海报。
2.如权利要求1所述的海报生成方法，其特征在于，所述对所述文本提示词执行编码处理，生成嵌入向量，包括：
利用预设的分词器，对所述文本提示词的各个关键词设置标记；
利用预设的文本编码器对设置标记后的关键词执行编码处理，生成所述嵌入向量。
3.如权利要求1所述的海报生成方法，其特征在于，所述在图像数据库中匹配出与所述嵌入向量相关联的图像集，包括：
将所述嵌入向量作为所述图像数据库的检索索引；
根据所述检索索引与所述图像数据库中所有图像的标签之间的映射关系，从所述图像数据库中匹配出与所述嵌入向量有关联的多张图像并作为所述图像集。
4.如权利要求1所述的海报生成方法，其特征在于，所述对所述图像集的各个图像执行去噪处理，对去噪后的所有图像的特征向量与所述嵌入向量执行特征编码，生成候选图像，包括：
获取所述图像集的各个图像的噪音，对所述图像集的各个图像的噪音进行去除；
利用预设的噪音预测器的编码器，融合去噪后的所有图像的特征向量与所述嵌入向量并执行特征编码，生成所述候选图像。
5.如权利要求1所述的海报生成方法，其特征在于，所述对所述候选图像中的每个物体对应的图像区域进行分割，包括：
检测所述候选图像中每个像素点的深度值，基于深度值计算出所述候选图像中的每个物体的轮廓线；
基于所述每个物体的轮廓线对所述候选图像进行分割，得到每个物体对应的图像区域，所述图像区域包括每个物体的前景区域和背景区域。
6.如权利要求1或5所述的海报生成方法，其特征在于，所述将分割后的图像区域进行图像变换处理，得到深度处理图像，包括：
根据每个物体的像素点的深度值，将所有的物体的前景区域和背景区域进行多层次的排序；
对在不同层次中的每个物体对应的图像区域进行旋转、平移、缩放、像素增强的图像变换处理中的至少一种；
将图像变换处理后的各个图像区域进行拼接，生成所述深度处理图像。
7.如权利要求1所述的海报生成方法，其特征在于，所述将所述深度处理图像填充到预设海报模板中，生成初始海报，包括：
提取所述深度处理图像的语义信息，根据所述语义信息和所述文本提示词生成所述初始海报的文案部分；
将所述文案部分和所述深度处理图像填充至所述海报模板的对应位置，生成所述初始海报。
8.一种海报生成装置，其特征在于，所述装置包括：
接收模块，用于接收用户生成海报的请求，提取所述请求的文本内容中的各个关键词，生成文本提示词，对所述文本提示词执行编码处理，生成嵌入向量；
选取模块，用于在图像数据库中匹配出与所述嵌入向量相关联的图像集，对所述图像集的各个图像执行去噪声处理，对去噪后的所有图像的特征向量与所述嵌入向量执行特征编码，生成候选图像；
填充模块，用于对所述候选图像中的每个物体对应的图像区域进行分割，将分割后的图像区域进行图像变换处理，得到深度处理图像，将所述深度处理图像填充到预设海报模板中，生成初始海报；
转换模块，用于对所述初始海报执行像素转换及图像渲染，生成目标海报。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的海报生成程序，所述海报生成程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任一项所述的海报生成方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有海报生成程序，所述海报生成程序可被一个或者多个处理器执行，以实现如权利要求1至7任一项所述的海报生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310793348.XA CN116843794A (zh) | 2023-06-29 | 2023-06-29 | 海报生成方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310793348.XA CN116843794A (zh) | 2023-06-29 | 2023-06-29 | 海报生成方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116843794A true CN116843794A (zh) | 2023-10-03 |
Family
ID=88168327
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310793348.XA Pending CN116843794A (zh) | 2023-06-29 | 2023-06-29 | 海报生成方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116843794A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118397148A (zh) * | 2024-06-27 | 2024-07-26 | 深圳兔展智能科技有限公司 | 目标中文海报生成方法、装置、计算机设备及存储介质 |
-
2023
- 2023-06-29 CN CN202310793348.XA patent/CN116843794A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118397148A (zh) * | 2024-06-27 | 2024-07-26 | 深圳兔展智能科技有限公司 | 目标中文海报生成方法、装置、计算机设备及存储介质 |
| CN118397148B (zh) * | 2024-06-27 | 2024-10-11 | 深圳兔展智能科技有限公司 | 目标中文海报生成方法、装置、计算机设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111046784B (zh) | 文档版面分析识别方法、装置、电子设备和存储介质 | |
| Liao et al. | Guidance and evaluation: Semantic-aware image inpainting for mixed scenes | |
| CN114596566B (zh) | 文本识别方法及相关装置 | |
| CN111695518B (zh) | 结构化文档信息标注的方法、装置及电子设备 | |
| CN115917613A (zh) | 文档中文本的语义表示 | |
| CN114254071B (zh) | 从非结构化文档中查询语义数据 | |
| CN112434568B (zh) | 一种画作识别方法、装置、存储介质及计算设备 | |
| CN112633431A (zh) | 一种基于crnn和ctc的藏汉双语场景文字识别方法 | |
| CN115564469A (zh) | 广告创意选取和模型训练方法、装置、设备及存储介质 | |
| CN116843794A (zh) | 海报生成方法、装置、电子设备及存储介质 | |
| CN114550189A (zh) | 票据识别方法、装置、设备、计算机存储介质和程序产品 | |
| Baek et al. | COO: Comic onomatopoeia dataset for recognizing arbitrary or truncated texts | |
| Liu et al. | Don’t forget me: accurate background recovery for text removal via modeling local-global context | |
| CN113936187A (zh) | 文本图像合成方法、装置、存储介质及电子设备 | |
| CN112839185B (zh) | 用于处理图像的方法、装置、设备和介质 | |
| CN117152768A (zh) | 用于扫读笔的离线识别方法及系统 | |
| CN115130437B (zh) | 一种文档智能填写方法、装置及存储介质 | |
| US20230376687A1 (en) | Multimodal extraction across multiple granularities | |
| CN115203375A (zh) | 图文跨模态模型的数据增强方法、装置、设备及存储介质 | |
| Klut et al. | Laypa: A Novel Framework for Applying Segmentation Networks to Historical Documents | |
| CN116311275B (zh) | 一种基于seq2seq语言模型的文字识别方法及系统 | |
| CN115239848A (zh) | 基于自然场景文字检测、擦除与再生成的自标注图文合成方法及应用 | |
| CN117710997B (zh) | Pdf文件中无线表格的还原方法、设备及存储介质 | |
| Fennir et al. | Using gans for domain adaptive high resolution synthetic document generation | |
| CN114663414B (zh) | 一种基于unet卷积神经网络的岩矿识别提取系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |