CN117351328A - 一种标注图像生成方法、系统、设备和介质 - Google Patents
一种标注图像生成方法、系统、设备和介质 Download PDFInfo
- Publication number
- CN117351328A CN117351328A CN202311641989.XA CN202311641989A CN117351328A CN 117351328 A CN117351328 A CN 117351328A CN 202311641989 A CN202311641989 A CN 202311641989A CN 117351328 A CN117351328 A CN 117351328A
- Authority
- CN
- China
- Prior art keywords
- carton
- image
- canny edge
- template library
- background
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000002372 labelling Methods 0.000 claims abstract description 78
- 238000012549 training Methods 0.000 claims abstract description 49
- 238000009792 diffusion process Methods 0.000 claims abstract description 21
- QVFWZNCVPCJQOP-UHFFFAOYSA-N chloralodol Chemical compound CC(O)(C)CC(C)OC(O)C(Cl)(Cl)Cl QVFWZNCVPCJQOP-UHFFFAOYSA-N 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 8
- 230000001131 transforming effect Effects 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 8
- 230000011218 segmentation Effects 0.000 description 8
- 230000008901 benefit Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种标注图像生成方法、系统、设备和介质，其中，该方法通过将预先获取的纸箱真实图像和根据纸箱真实图像获取的纸箱canny边缘图像作为训练对，基于训练对对稳定扩散模型进行训练，得到标注图像生成模型；获取纸箱canny边缘模板库和纸箱背景canny边缘模板库，纸箱canny边缘模板库中包括多个带有标注的纸箱canny边缘图像，纸箱背景canny边缘模板库包括多个带有标注的纸箱背景canny边缘图像；将纸箱canny边缘模板库中一张图像与纸箱背景canny边缘模版库中一张图像组成图像对，获取若干组图像对；基于图像对，根据标注图像生成模型，得到带有标注的纸箱图像。解决相关技术中标注图像精确度低的问题，提高标注图像效率和标注的精确度。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及一种标注图像生成方法、系统设备和介质。
背景技术
在拆码垛纸箱定位的场景当中，需要用到纸箱实例分割的算法，而基于深度学习的实例分割算法需要大量高精度标注的图像用于训练，也即需要大量高精度标注的纸箱图像用于训练，才能达到理想的效果。
然而现有的真实场景数据标注主要是通过人工进行标注，人工标注的数据主要存在以下三个问题：
（1）标注数据基数大：以平均1张图像的纸箱数量为10个为例，在无任何辅助的情况下，单个人高精度标注1张图像需要2分钟左右。人均1个小时只能标注30张左右。在这样的标注效率下，上万张的数据基数是非常大的，已标注的可用数据是非常少的。
（2）数据相似度高：同一个项目中的纸箱大同小异，纸箱之间的相对位置也变化不大，这导致了拍摄得到的图像相似度高，缺少多样性。直接影响了模型的泛化能力。
（3）标注精度参差不齐：部分真实的纸箱数据存在亮度低，纸箱遮挡严重，过曝等问题，这导致了人工标注质量参差不齐。直接影响了模型最终的精度。
为了提高人工标注的效率，本领域人员开发了基于SAM(Segment AnythingModel)的智能标注工具。标注时，只需要将鼠标移动到纸箱上，即可得到精度较高的纸箱标注，然后基于此标注进行细微调整即可。这提高了人工标注效率，人均1小时可以标注60张左右，但仍然存在标注图像精确度低的问题。
发明内容
本申请实施例提供了一种标注图像生成方法、系统、设备和介质，以至少解决相关技术中标注图像精确度低的问题。
第一方面，本申请实施例提供了一种标注图像生成方法，将预先获取的纸箱真实图像和根据所述纸箱真实图像获取的纸箱canny边缘图像作为训练对，基于所述训练对对稳定扩散模型进行训练，得到标注图像生成模型；
获取纸箱canny边缘模板库和纸箱背景canny边缘模板库，所述纸箱canny边缘模板库中包括多个带有标注的纸箱canny边缘图像，所述纸箱背景canny边缘模板库包括多个带有标注的纸箱背景canny边缘图像；
从所述纸箱canny边缘模板库和所述纸箱背景canny边缘模版库中分别抽取图像形成若干组图像对；
基于所述图像对，根据所述标注图像生成模型，得到带有标注的纸箱图像。
在一实施例中，从所述纸箱canny边缘模板库和所述纸箱背景canny边缘模版库中分别抽取图像形成若干组图像对，包括：
从所述纸箱canny边缘模板库和所述纸箱背景canny边缘模版库中分别抽取图像形成初步图像对，根据初步图像对中所述纸箱canny边缘图像确定目标纸箱的纸箱尺寸；
根据所述纸箱尺寸，将所述初步图像对中纸箱背景canny边缘背景网格化；
所述纸箱canny边缘图像和网格化的纸箱背景canny边缘图像叠加，在叠加图像中以设定规则变换所述目标纸箱的形态；
响应于变换形态后所述目标纸箱未与相邻纸箱重叠，将所述初步图像作为所述图像对。
在一实施例中，从所述纸箱canny边缘模板库和所述纸箱背景canny边缘模版库中分别抽取图像形成初步图像对，包括，
从所述纸箱canny边缘模板库中的图像随机抽取一个或多个同类别纸箱，从所述纸箱背景canny边缘模版库中的图像随机抽取一个纸箱背景；执行所述一个或多个同类别纸箱和所述一个纸箱背景叠加操作，得到初步图像对；或
从所述纸箱canny边缘模板库中的图像随机抽取多个不同类别纸箱，从所述纸箱背景canny边缘模版库中的图像随机抽取一个纸箱背景；执行所述多个不同类别纸箱和所述一个纸箱背景叠加操作，得到初步图像对。
在一实施例中，在叠加图像中以设定规则变换所述目标纸箱的形态，包括：
在叠加图像中设定纹理规则，用于所述标注图像生成模型输出纹理纸箱图像；和或
在叠加图像中设定旋转规则，用于所述标注图像生成模型输出旋转纸箱图像；和或
在叠加图像中设定移动规则，用于所述标注图像生成模型输出移动纸箱图像。
在一实施例中，所述获取纸箱canny边缘模板库，包括：
获取多个不同类型的纸箱canny图像；
通过修图工具将所述非纸箱canny图像的边缘进行擦除；
通过标注工具标注擦除后的所述纸箱canny图像中的纸箱，得到多个带有标注的纸箱canny边缘图像；
基于多个所述带有标注的纸箱canny边缘图像，获取纸箱canny边缘模板库。
在一实施例中所述纸箱背景canny边缘模板库，包括：
获取多个纸箱背景canny图像；
通过标注工具标注所述纸箱背景canny图像中的背景，得到多个带有标注的纸箱背景canny边缘图像；
基于多个所述多个带有标注的纸箱背景canny边缘图像，获取纸箱背景canny边缘模板库。
在一实施例中，在所述基于所述训练对对稳定扩散模型进行训练之后，所述方法还包括:通过LoRA调整训练后的所述稳定扩散模型的官方权重。
第二方面，本申请实施例提供了一种标注图像生成的系统，所述系统包括标注图像生成模型模块、获取模板库模块、获取图像对模块和获取标注图像模块，其中：
标注图像生成模型模块，用于将预先获取的纸箱真实图像和根据所述纸箱真实图像获取的纸箱canny边缘图像作为训练对 ，基于所述训练对对稳定扩散模型进行训练，得到标注图像生成模型；
获取模板库模块，用于获取纸箱canny边缘模板库和纸箱背景canny边缘模板库，所述纸箱canny边缘模板库中包括多个带有标注的纸箱canny边缘图像，所述纸箱背景canny边缘模板库包括多个带有标注的纸箱背景canny边缘图像；
获取图像对模块，用于从所述纸箱canny边缘模板库和所述纸箱背景canny边缘模版库中分别抽取图像形成若干组图像对；
获取标注图像模块，用于基于所述图像对，根据所述标注图像生成模型，得到带有标注的纸箱图像。
第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的一种标注图像生成方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的一种标注图像生成方法。
本申请实施例提供的一种标注图像生成方法、系统、设备和介质至少具有以下技术效果。
通过将预先获取的纸箱真实图像和根据纸箱真实图像获取的纸箱canny边缘图像作为训练对，基于训练对对稳定扩散模型进行训练，得到标注图像生成模型；获取纸箱canny边缘模板库和纸箱背景canny边缘模板库，纸箱canny边缘模板库中包括多个带有标注的纸箱canny边缘图像，纸箱背景canny边缘模板库包括多个带有标注的纸箱背景canny边缘图像；将纸箱canny边缘模板库中一张图像与纸箱背景canny边缘模版库中一张图像组成图像对，获取若干组图像对；基于图像对，根据标注图像生成模型，得到带有标注的纸箱图像。本申请利用纸纸箱canny边缘图像与纸箱背景canny边缘图像组成图像对，基于图像对，根据训练得到的标注图像生成模型，得到带有标注的纸箱图像，解决相关技术中标注图像精确度低的问题，提高标注图像效率和标注的精确度。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是一种标注图像生成的的流程图；
图2是根据一示例性实施例示出的获取纸箱canny边缘模板库的流程示意图；
图3是根据一示例性实施例示出的获取纸箱canny边缘模板库的流程示意图；
图4是根据一示例性实施例示出的步骤S103的流程示意图；
图5是根据一示例性实施例示出的原始图像和原始canny边缘图像的示意图；
图6是根据一示例性实施例示出的图像对的纸箱移动与标注图像生成模型输出结果的示意图；
图7是根据一示例性实施例示出的图像对的纸箱配置纹理与标注图像生成模型输出结果的示意图；
图8是根据一示例性实施例示出的一种标注图像生成的系统的结构框图；
图9是根据一示例性实施例示出的电子设备的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块（单元）的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
第一方面，本申请实施例提供了一种标注图像生成方法，图1是一种标注图像生成的的流程图，如图1所示，一种标注图像生成方法包括：
步骤S101、将预先获取的纸箱真实图像和根据纸箱真实图像获取的纸箱canny边缘图像作为训练对，基于训练对对稳定扩散模型进行训练，得到标注图像生成模型。
步骤S102、获取纸箱canny边缘模板库和纸箱背景canny边缘模板库，纸箱canny边缘模板库中包括多个带有标注的纸箱canny边缘图像，纸箱背景canny边缘模板库包括多个带有标注的纸箱背景canny边缘图像。
步骤S103、从纸箱canny边缘模板库和纸箱背景canny边缘模版库中分别抽取图像形成若干组图像对。
步骤S104、基于图像对，根据标注图像生成模型，得到带有标注的纸箱图像。
综上，本申请实施例提供的一种标注图像生成方法，通过将预先获取的纸箱真实图像和根据纸箱真实图像获取的纸箱canny边缘图像作为训练对，基于训练对对稳定扩散模型进行训练，得到标注图像生成模型；获取纸箱canny边缘模板库和纸箱背景canny边缘模板库，纸箱canny边缘模板库中包括多个带有标注的纸箱canny边缘图像，纸箱背景canny边缘模板库包括多个带有标注的纸箱背景canny边缘图像；将纸箱canny边缘模板库中一张图像与纸箱背景canny边缘模版库中一张图像组成图像对，获取若干组图像对；基于图像对，根据标注图像生成模型，得到带有标注的纸箱图像。本申请利用纸纸箱canny边缘图像与纸箱背景canny边缘图像组成图像对，基于图像对，根据训练得到的标注图像生成模型，得到带有标注的纸箱图像，解决相关技术中标注图像精确度低的问题，提高标注图像效率和标注的精确度，有利于后续的实例分割算法。
在一实施例中，步骤S101、将预先获取的纸箱真实图像和根据纸箱真实图像获取的纸箱canny边缘图像作为训练对，基于训练对对稳定扩散模型进行训练，得到标注图像生成模型。
可选地，利用canny算子提取海量项目数据的canny边缘，具体地，通过canny算子提取大量的关于纸箱的真实图片，获取到纸箱canny边缘图像，将纸箱真实图像和根据纸箱真实图像获取的纸箱canny边缘图像作为训练对，通过LoRA调整训练后的稳定扩散模型的官方权重。具体地，使用LoRA的方式对基于canny的ControlNet官方权重进行微调，得到输入canny边缘生成工业场景纸箱数据的虚拟数据生成器，也即得到标注图像生成模型。其中，纸箱真实图像为标注图像生成模型的标签，纸箱canny边缘图像为标注图像生成模型的输入，纸箱真实图像可用于监督标注图像生成模型的输出，以使标注图像生成模型的输出与纸箱真实图像接近。通过将预先获取的纸箱真实图像和根据纸箱真实图像获取的纸箱canny边缘图像作为训练对，可以训练出能够处理和分析纸箱图像的模型。利用了拆码垛场景中数据基数大的特点，在无需人工标注的情况下，使用训练队训练了纸箱场景的标注图像生成模型。通过训练模型可以学习到从纸箱canny边缘图像中提取有用的特征，并能够生成标注图像。
值得注意的是，稳定扩散模型为ControlNet模型，通过训练对对稳定扩散模型进行训练，得到标注图像生成模型，也即得到训练后的ControlNet模型。ControlNet模型的作用是输入canny边缘图像，输出根据canny边缘图像生成的虚拟图像。此外，ControlNet模型是一种神经网络架构，用于将条件控制添加到大型预训练的文本生成图像扩散模型中，比如Stable Diffusion。ControlNet 模型冻结并重新使用Stable Diffusion预训练的编码层作为一个强大的主干来学习一组不同的条件控制。网络架构与“零卷积”（零初始化卷积层）连接，后者从零逐步增长参数，并确保没有有害的噪声会影响微调。控制条件可以是单个或者多个，例如边缘图、深度图、分割图、人体姿态图等。ControlNet的输入是条件控制，在本实施例中是canny边缘，输出是根据条件控制生成的虚拟图像，本实施例中是虚拟纸箱图片。ControlNet模型相关内容出自论文：《Adding Conditional Control to Text-to-Image Diffusion Models》，论文作者：Lvmin Zhang, Anyi Rao, and Maneesh Agrawala。ControlNet模型的相关内容在论文中有说明，在此不做太多赘述。
使用LoRA的方式对基于canny的ControlNet官方权重进行微调，具体地，当训练大模型时，重新训练所有模型参数的完整微调对硬件要求高，很多实际场景不可行。预训练模型拥有极小的本征维度(instrisic dimension)，即存在一个极低维度的参数，微调它和在全参数空间中微调能起到相同的效果。低秩适配器LoRA冻结预训练模型权重并将可训练的秩分解矩阵注入到网络架构的每一层中，大大减少了下游任务的可训练参数的数量。低秩适配器LoRA的相关内容出自论文：《Low-Rank Adaptation of Large Language Models》，论文作者：Hu E J, Shen Y, Wallis P, et al。低秩适配器LoRA的相关内容在论文中有说明，在此不做太多赘述。图2是根据一示例性实施例示出的获取纸箱canny边缘模板库的流程示意图，如图2所示，步骤S102中获取纸箱canny边缘模板库，纸箱canny边缘模板库中包括多个带有标注的纸箱canny边缘图像，包括：
步骤S210、获取多个不同类型的纸箱canny图像；
步骤S220、通过修图工具将非纸箱canny图像的边缘进行擦除；
步骤S230、通过标注工具标注擦除后的纸箱canny图像中的纸箱，得到多个带有标注的纸箱canny边缘图像；
步骤S240、基于多个带有标注的纸箱canny边缘图像，获取纸箱canny边缘模板库。
可选地，在真实图像数据中截取100种不同类型的纸箱，并对这100个纸箱单独抽取canny边缘，通过修图工具和或修图软件将非纸箱区域的canny边缘进行擦除，并通过标注工具得到100个纸箱的标注结果，得到多个带有标注的纸箱canny边缘图像。值得注意的是，纸箱的标注是最终的标注结果，是下游实例分割算法所需要的高精度标注的纸箱图像。收集并存储多个带有标注的纸箱canny边缘图像，得到纸箱canny边缘模板库。通过获取纸箱canny边缘模板库，得到了100个不同的真实纸箱canny边缘和对应的标注结果。
图3是根据一示例性实施例示出的获取纸箱canny边缘模板库的流程示意图，如图3所示，步骤S102中获取纸箱canny边缘模板库，纸箱背景canny边缘模板库包括多个带有标注 的纸箱背景canny边缘图像，包括：
步骤S310、获取多个纸箱背景canny图像；
步骤S320、通过标注工具标注纸箱背景canny图像中的背景，得到多个带有标注的纸箱背景canny边缘图像；
步骤S320、基于多个带有标注的纸箱背景canny边缘图像，获取纸箱背景canny边缘模板库。
可选地，拍摄10个无纸箱只有托盘（也即纸箱背景）的真实场景数据，并对这10个纸箱背景图片提取canny边缘，同时通过标注工具标注出托盘所在的位置。收集并存储多个带有标注的纸箱背景canny边缘图像，得到纸箱背景canny边缘模板库。托盘所在位置的标注，是为了在纸箱和托盘组合时，将纸箱的canny边缘放置在托盘（纸箱背景）上。通过获取纸箱背景canny边缘模板库，得到了10个不同的真实纸箱背景canny边缘和对应的标注结果，以及得到纸箱背景的范围。
图4是根据一示例性实施例示出的步骤S103的流程示意图，如图4所示，步骤S103、从纸箱canny边缘模板库和纸箱背景canny边缘模版库中分别抽取图像形成若干组图像对，包括：
步骤S1031、从纸箱canny边缘模板库和纸箱背景canny边缘模版库中分别抽取图像形成初步图像对，根据初步图像对中纸箱canny边缘图像确定目标纸箱的纸箱尺寸；
可选地，从纸箱canny边缘模板库中的图像随机抽取一个或多个同类别纸箱，从纸箱背景canny边缘模版库中的图像随机抽取一个纸箱背景；执行一个或多个同类别纸箱和一个纸箱背景叠加操作，得到初步图像对，或
从纸箱canny边缘模板库中的图像随机抽取多个不同类别纸箱，从纸箱背景canny边缘模版库中的图像随机抽取一个纸箱背景；执行多个不同类别纸箱和一个纸箱背景叠加操作，得到初步图像对。
具体地，从纸箱canny边缘模板库中的图像随机抽取一个或多个同类别纸箱，也即单拆的生成，从纸箱背景canny边缘模版库中的图像随机抽取一个纸箱背景；其中纸箱背景canny边缘模版库中包括不同的纸箱背景，随机抽取一个纸箱背景，执行一个或多个同类别纸箱和一个纸箱背景叠加操作，得到初步图像对，或从纸箱canny边缘模板库中的图像随机抽取多个不同类别纸箱，也即混拆的生成，从纸箱背景canny边缘模版库中的图像随机抽取一个纸箱背景；执行多个不同类别纸箱和一个纸箱背景叠加操作，得到初步图像对。在一写实施例中，为了生成紧贴的纸箱，还会随机抽取2个纸箱模板，其中，纸箱模板是包括一个或多个纸箱canny边缘，根据纸箱canny边缘的边界将2个纸箱模板进行紧密拼接，并进行单拆或混拆（也即同类别纸箱或不同类别纸箱与纸箱背景叠加）的逻辑，生成有紧密排布的纸箱。通过从纸箱canny边缘模板库和纸箱背景canny边缘模版库中分别抽取图像形成初步图像对，获取到不同组合的图像对，提高数据的多像样性，以及提高模型的泛化能力。
步骤S1032、根据纸箱尺寸，将初步图像对中纸箱背景canny边缘背景网格化；
可选地，根据纸箱的尺寸将初步图像对中纸箱背景canny边缘背景的托盘区域划分为n×m的网格。
步骤S1033、纸箱canny边缘图像和网格化的纸箱背景canny边缘图像叠加，在叠加图像中以设定规则变换目标纸箱的形态，包括：
在叠加图像中设定纹理规则，用于标注图像生成模型输出纹理纸箱图像；和或
在叠加图像中设定旋转规则，用于标注图像生成模型输出旋转纸箱图像；和或
在叠加图像中设定移动规则，用于标注图像生成模型输出移动纸箱图像。
可选地，纸箱canny边缘图像和网格化的纸箱背景canny边缘图像叠加，并在网格位置对纸箱进行随机旋转、随机移动和随机修改纹理等变换操作，其中，修改纹理操作包括对纸箱添加扎带并将变换后的纸箱边缘覆盖网格所在的区域。通过在叠加图像中以设定规则变换目标纸箱的形态，可以控制生成纸箱的位置和纹理，这解决了现有技术中数据相似度高的问题。
步骤S1034、响应于变换形态后目标纸箱未与相邻纸箱重叠，将初步图像作为图像对。
可选地，由于不改变尺寸的旋转会使得纸箱超出网格范围，因此需要判断变换后的纸箱是否与邻接网格的生成纸箱重叠，若重叠则重新生成或舍弃。也即响应于变换形态后目标纸箱未与相邻纸箱重叠，将初步图像作为图像对。
通过步骤S103、从纸箱canny边缘模板库和纸箱背景canny边缘模版库中分别抽取图像形成若干组图像对。根据纸箱canny边缘模板库和纸箱背景canny边缘模版库中带有标注的纸箱canny边缘图像和纸箱背景canny边缘图像，组合时会根据纸箱的放置方式，将纸箱的标注结果转换到纸箱背景图所在在坐标系下，即生成了标注结果。再在标注结果的位置生成了纸箱，无需人工标注，解决了“标注精度参差不齐”的问题。
在一实施例中，步骤S104、基于图像对，根据标注图像生成模型，得到带有标注的纸箱图像。
将生成的图像对输入中训练得到的标注图像生成模型（ControlNet），得到大量高精度标注的纸箱图像。通过将大量高精度标注的纸箱图像，用于纸箱实例分割算法，具有保真度高，多样性好，标签精度优点。相比于有大量重复数据和大量错误标注的真实图片，用1000张高精度标注的纸箱图像训练实例分割得到的效果，即可达到用10000张真实纸箱数据训练得到的效果。
在一实施例中，图5是根据一示例性实施例示出的原始图像和原始canny边缘图像的示意图，图6是根据一示例性实施例示出的图像对的纸箱移动与标注图像生成模型输出结果的示意图，图7是根据一示例性实施例示出的图像对的纸箱配置纹理与标注图像生成模型输出结果的示意图，如图5、图6和图7所示，
响应于图像对中的纸箱移动，标注图像生成模型输出纸箱图像中的纸箱进行相适应移动。如图5所示为原始图像和原始canny边缘图像的示意图，当图6中移动纸箱的canny边缘，标注图像生成模型输出纸箱图像也会跟随移动。
响应于图像对中的纸箱配置纹理，标注图像生成模型输出纸箱图像中的纸箱具有相适应纹理。如图5所示为原始图像和原始canny边缘图像的示意图，当图7中增加扎带的canny边缘，标注图像生成模型输出纸箱图像也会带有扎带。
综上，本申请实施例提供的一种标注图像生成方法，通过将预先获取的纸箱真实图像和根据纸箱真实图像获取的纸箱canny边缘图像作为训练对，基于训练对对稳定扩散模型进行训练，得到标注图像生成模型；获取纸箱canny边缘模板库和纸箱背景canny边缘模板库，纸箱canny边缘模板库中包括多个带有标注的纸箱canny边缘图像，纸箱背景canny边缘模板库包括多个带有标注的纸箱背景canny边缘图像；将纸箱canny边缘模板库中一张图像与纸箱背景canny边缘模版库中一张图像组成图像对，获取若干组图像对；基于图像对，根据标注图像生成模型，得到带有标注的纸箱图像。本申请利用纸纸箱canny边缘图像与纸箱背景canny边缘图像组成图像对，基于图像对，根据训练得到的标注图像生成模型，得到带有标注的纸箱图像，解决相关技术中标注图像精确度低的问题，提高标注图像效率和标注的精确度，有利于后续的实例分割算法。
第二方面，本申请实施例提供了一种标注图像生成的系统。图7是根据一示例性实施例示出的一种标注图像生成的系统的框图。如图7所示，系统包括标注图像生成模型模块710、获取模板库模块720、获取图像对模块730和获取标注图像模块740，其中：
标注图像生成模型模块710，用于将预先获取的纸箱真实图像和根据纸箱真实图像获取的纸箱canny边缘图像作为训练对 ，基于训练对对稳定扩散模型进行训练，得到标注图像生成模型；
获取模板库模块720，用于获取纸箱canny边缘模板库和纸箱背景canny边缘模板库，纸箱canny边缘模板库中包括多个带有标注的纸箱canny边缘图像，纸箱背景canny边缘模板库包括多个带有标注的纸箱背景canny边缘图像；
获取图像对模块730，用于从纸箱canny边缘模板库和纸箱背景canny边缘模版库中分别抽取图像形成若干组图像对；
获取标注图像模块710，用于基于图像对，根据标注图像生成模型，得到带有标注的纸箱图像。
综上，本申请提供的一种标注图像生成的系统。通过标注图像生成模型模块810、获取模板库模块820、获取图像对模块830和获取标注图像模块840，利用纸纸箱canny边缘图像与纸箱背景canny边缘图像组成图像对，基于图像对，根据训练得到的标注图像生成模型，得到带有标注的纸箱图像，解决相关技术中标注图像精确度低的问题，提高标注图像效率和标注的精确度，有利于后续的实例分割算法。
需要说明的是，本实施例提供的一种标注图像生成的系统用于实现上述实施方式，已经进行过说明的不再赘述。如以上所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以上实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
第三方面，本申请实施例提供了一种电子设备，图9是根据一示例性实施例示出的电子设备的框图。如图9所示，该电子设备可以包括处理器81以及存储有计算机程序指令的存储器82。
具体地，上述处理器81可以包括中央处理器（CPU），或者特定集成电路（Application Specific Integrated Circuit，简称为ASIC），或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中，存储器82可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器82可包括硬盘驱动器（Hard Disk Drive，简称为HDD）、软盘驱动器、固态驱动器（SolidState Drive，简称为SSD）、闪存、光盘、磁光盘、磁带或通用串行总线（Universal SerialBus，简称为USB）驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器82可包括可移除或不可移除（或固定）的介质。在合适的情况下，存储器82可在数据处理装置的内部或外部。在特定实施例中，存储器82是非易失性（Non-Volatile）存储器。在特定实施例中，存储器82包括只读存储器（Read-Only Memory，简称为ROM）和随机存取存储器（RandomAccess Memory，简称为RAM）。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM（Programmable Read-Only Memory，简称为PROM）、可擦除PROM（Erasable ProgrammableRead-Only Memory，简称为EPROM）、电可擦除PROM（Electrically Erasable ProgrammableRead-Only Memory，简称为EEPROM）、电可改写ROM（Electrically Alterable Read-OnlyMemory，简称为EAROM）或闪存（FLASH）或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器（Static Random-Access Memory，简称为SRAM）或动态随机存取存储器（Dynamic Random Access Memory，简称为DRAM），其中，DRAM可以是快速页模式动态随机存取存储器（Fast Page Mode Dynamic Random Access Memory，简称为FPMDRAM）、扩展数据输出动态随机存取存储器（Extended Date Out Dynamic RandomAccess Memory，简称为EDODRAM）、同步动态随机存取内存（Synchronous Dynamic Random-Access Memory，简称SDRAM）等。
存储器82可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器81所执行的可能的计算机程序指令。
处理器81通过读取并执行存储器82中存储的计算机程序指令，以实现上述实施例中的任意一种标注图像生成方法。
在一实施例中，一种标注图像生成的设备还可包括通信接口83和总线80。其中，如图8所示，处理器81、存储器82、通信接口83通过总线80连接并完成相互间的通信。
通信接口83用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通信端口83还可以实现与其他部件例如：外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
总线80包括硬件、软件或两者，将一种标注图像生成的设备的部件彼此耦接在一起。总线80包括但不限于以下至少之一：数据总线（Data Bus）、地址总线（Address Bus）、控制总线（Control Bus）、扩展总线（Expansion Bus）、局部总线（Local Bus）。举例来说而非限制，总线80可包括图形加速接口（Accelerated Graphics Port，简称为AGP）或其他图形总线、增强工业标准架构（Extended Industry Standard Architecture，简称为EISA）总线、前端总线（Front Side Bus，简称为FSB）、超传输（Hyper Transport，简称为HT）互连、工业标准架构（Industry Standard Architecture，简称为ISA）总线、无线带宽（InfiniBand）互连、低引脚数（Low Pin Count，简称为LPC）总线、存储器总线、微信道架构（MicroChannel Architecture，简称为MCA）总线、外围组件互连（Peripheral ComponentInterconnect，简称为PCI）总线、PCI-Express（PCI-X）总线、串行高级技术附件（SerialAdvanced Technology Attachment，简称为SATA）总线、视频电子标准协会局部（VideoElectronics Standards Association Local Bus，简称为VLB）总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线80可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有程序，程序被处理器执行时，实现第一方面中提供的一种标注图像生成方法。
其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。
在可能的实施方式中，本发明还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行实现第一方面提供的一种标注图像生成方法的步骤。
其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码，程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种标注图像生成方法，其特征在于，所述方法包括：
将预先获取的纸箱真实图像和根据所述纸箱真实图像获取的纸箱canny边缘图像作为训练对，基于所述训练对对稳定扩散模型进行训练，得到标注图像生成模型；
获取纸箱canny边缘模板库和纸箱背景canny边缘模板库，所述纸箱canny边缘模板库中包括多个带有标注的纸箱canny边缘图像，所述纸箱背景canny边缘模板库包括多个带有标注的纸箱背景canny边缘图像；
从所述纸箱canny边缘模板库和所述纸箱背景canny边缘模版库中分别抽取图像形成若干组图像对；
基于所述图像对，根据所述标注图像生成模型，得到带有标注的纸箱图像。
2.根据权利要求1所述的方法，其特征在于，从所述纸箱canny边缘模板库和所述纸箱背景canny边缘模版库中分别抽取图像形成若干组图像对，包括：
从所述纸箱canny边缘模板库和所述纸箱背景canny边缘模版库中分别抽取图像形成初步图像对，根据初步图像对中所述纸箱canny边缘图像确定目标纸箱的纸箱尺寸；
根据所述纸箱尺寸，将所述初步图像对中纸箱背景canny边缘背景网格化；
所述纸箱canny边缘图像和网格化的纸箱背景canny边缘图像叠加，在叠加图像中以设定规则变换所述目标纸箱的形态；
响应于变换形态后所述目标纸箱未与相邻纸箱重叠，将所述初步图像作为所述图像对。
3. 根据权利要求2所述的方法，其特征在于，从所述纸箱canny边缘模板库和所述纸箱背景canny边缘模版库中分别抽取图像形成初步图像对，包括，
从所述纸箱canny边缘模板库中的图像随机抽取一个或多个同类别纸箱，从所述纸箱背景canny边缘模版库中的图像随机抽取一个纸箱背景；执行所述一个或多个同类别纸箱和所述一个纸箱背景叠加操作，得到初步图像对；或
从所述纸箱canny边缘模板库中的图像随机抽取多个不同类别纸箱，从所述纸箱背景canny边缘模版库中的图像随机抽取一个纸箱背景；执行所述多个不同类别纸箱和所述一个纸箱背景叠加操作，得到初步图像对。
4. 根据权利要求2所述的方法，其特征在于，在叠加图像中以设定规则变换所述目标纸箱的形态，包括：
在叠加图像中设定纹理规则，用于所述标注图像生成模型输出纹理纸箱图像；和或
在叠加图像中设定旋转规则，用于所述标注图像生成模型输出旋转纸箱图像；和或
在叠加图像中设定移动规则，用于所述标注图像生成模型输出移动纸箱图像。
5.根据权利要求1所述的方法，其特征在于，所述获取纸箱canny边缘模板库，包括：
获取多个不同类型的纸箱canny图像；
通过修图工具将非纸箱canny图像的边缘进行擦除；
通过标注工具标注擦除后的所述纸箱canny图像中的纸箱，得到多个带有标注的纸箱canny边缘图像；
基于多个所述带有标注的纸箱canny边缘图像，获取纸箱canny边缘模板库。
6.根据权利要求1所述的方法，其特征在于，所述纸箱背景canny边缘模板库，包括：
获取多个纸箱背景canny图像；
通过标注工具标注所述纸箱背景canny图像中的背景，得到多个带有标注的纸箱背景canny边缘图像；
基于多个所述多个带有标注的纸箱背景canny边缘图像，获取纸箱背景canny边缘模板库。
7.根据权利要求1所述的方法，其特征在于，在所述基于所述训练对对稳定扩散模型进行训练之后，所述方法还包括：通过LoRA调整训练后的所述稳定扩散模型的官方权重。
8.一种标注图像生成方法系统，其特征在于，所述系统包括标注图像生成模型模块、获取模板库模块、获取图像对模块和获取标注图像模块，其中：
标注图像生成模型模块，用于将预先获取的纸箱真实图像和根据所述纸箱真实图像获取的纸箱canny边缘图像作为训练对，基于所述训练对对稳定扩散模型进行训练，得到标注图像生成模型；
获取模板库模块，用于获取纸箱canny边缘模板库和纸箱背景canny边缘模板库，所述纸箱canny边缘模板库中包括多个带有标注的纸箱canny边缘图像，所述纸箱背景canny边缘模板库包括多个带有标注的纸箱背景canny边缘图像；
获取图像对模块，用于从所述纸箱canny边缘模板库和所述纸箱背景canny边缘模版库中分别抽取图像形成若干组图像对；
获取标注图像模块，用于基于所述图像对，根据所述标注图像生成模型，得到带有标注的纸箱图像。
9.一种电子设备，其特征在于，包括存储器和处理器，存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的一种标注图像生成方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至7中任一项所述的一种标注图像生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311641989.XA CN117351328B (zh) | 2023-12-04 | 2023-12-04 | 一种标注图像生成方法、系统、设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311641989.XA CN117351328B (zh) | 2023-12-04 | 2023-12-04 | 一种标注图像生成方法、系统、设备和介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117351328A true CN117351328A (zh) | 2024-01-05 |
| CN117351328B CN117351328B (zh) | 2024-02-13 |
Family
ID=89365247
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311641989.XA Active CN117351328B (zh) | 2023-12-04 | 2023-12-04 | 一种标注图像生成方法、系统、设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117351328B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117830564A (zh) * | 2024-03-05 | 2024-04-05 | 之江实验室 | 一种姿态分布指导的三维虚拟人模型重建方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200311559A1 (en) * | 2017-06-20 | 2020-10-01 | Rita Chattopadhyay | Optimized decision tree machine learning for resource-constrained devices |
| US20200394752A1 (en) * | 2018-02-27 | 2020-12-17 | Portland State University | Context-aware synthesis for video frame interpolation |
| CN113128565A (zh) * | 2021-03-25 | 2021-07-16 | 之江实验室 | 面向预训练标注数据不可知的图像自动标注系统和装置 |
| CN114661455A (zh) * | 2020-12-22 | 2022-06-24 | 英特尔公司 | 用于验证边缘环境中的经训练模型的方法和设备 |
| CN116109824A (zh) * | 2023-02-10 | 2023-05-12 | 清华大学 | 基于扩散模型的医学影像及像素级标注生成方法及装置 |
| CN116188632A (zh) * | 2023-04-24 | 2023-05-30 | 之江实验室 | 一种图像的生成方法、装置、存储介质及电子设备 |
| CN116630464A (zh) * | 2023-07-21 | 2023-08-22 | 北京蔚领时代科技有限公司 | 基于稳定扩散的图像风格迁移方法和装置 |
| CN117036552A (zh) * | 2023-08-10 | 2023-11-10 | 成都潜在人工智能科技有限公司 | 一种基于扩散模型的动画序列帧生成方法及系统 |
| CN117115306A (zh) * | 2023-08-30 | 2023-11-24 | 苏州畅行智驾汽车科技有限公司 | 一种图像生成方法、装置、电子设备及存储介质 |
| CN117131271A (zh) * | 2023-08-29 | 2023-11-28 | 支付宝(杭州)信息技术有限公司 | 一种内容生成方法及系统 |
-
2023
- 2023-12-04 CN CN202311641989.XA patent/CN117351328B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200311559A1 (en) * | 2017-06-20 | 2020-10-01 | Rita Chattopadhyay | Optimized decision tree machine learning for resource-constrained devices |
| US20200394752A1 (en) * | 2018-02-27 | 2020-12-17 | Portland State University | Context-aware synthesis for video frame interpolation |
| CN114661455A (zh) * | 2020-12-22 | 2022-06-24 | 英特尔公司 | 用于验证边缘环境中的经训练模型的方法和设备 |
| CN113128565A (zh) * | 2021-03-25 | 2021-07-16 | 之江实验室 | 面向预训练标注数据不可知的图像自动标注系统和装置 |
| CN116109824A (zh) * | 2023-02-10 | 2023-05-12 | 清华大学 | 基于扩散模型的医学影像及像素级标注生成方法及装置 |
| CN116188632A (zh) * | 2023-04-24 | 2023-05-30 | 之江实验室 | 一种图像的生成方法、装置、存储介质及电子设备 |
| CN116630464A (zh) * | 2023-07-21 | 2023-08-22 | 北京蔚领时代科技有限公司 | 基于稳定扩散的图像风格迁移方法和装置 |
| CN117036552A (zh) * | 2023-08-10 | 2023-11-10 | 成都潜在人工智能科技有限公司 | 一种基于扩散模型的动画序列帧生成方法及系统 |
| CN117131271A (zh) * | 2023-08-29 | 2023-11-28 | 支付宝(杭州)信息技术有限公司 | 一种内容生成方法及系统 |
| CN117115306A (zh) * | 2023-08-30 | 2023-11-24 | 苏州畅行智驾汽车科技有限公司 | 一种图像生成方法、装置、电子设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| ZHANG, J.-Y.; HSIUNG, L.-S.; HSU, G.-S.J.: "Unleashing Stable Diffusion for Multi-Modal Facial Image Augmentation", 《 2023 INTERNATIONAL CONFERENCE ON ADVANCED ROBOTICS AND INTELLIGENT SYSTEMS》, pages 1 - 5 * |
| 郭宇轩，孙林: "基于扩散模型的ControlNet网络虚拟试衣研究", 《现代纺织技术》, pages 13 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117830564A (zh) * | 2024-03-05 | 2024-04-05 | 之江实验室 | 一种姿态分布指导的三维虚拟人模型重建方法 |
| CN117830564B (zh) * | 2024-03-05 | 2024-06-11 | 之江实验室 | 一种姿态分布指导的三维虚拟人模型重建方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117351328B (zh) | 2024-02-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210365710A1 (en) | Image processing method, apparatus, equipment, and storage medium | |
| CN109583483B (zh) | 一种基于卷积神经网络的目标检测方法和系统 | |
| CN111161349B (zh) | 物体姿态估计方法、装置与设备 | |
| US10424072B2 (en) | Leveraging multi cues for fine-grained object classification | |
| CN117351328B (zh) | 一种标注图像生成方法、系统、设备和介质 | |
| CN110310222A (zh) | 一种图像风格迁移方法、装置、电子设备及存储介质 | |
| CN110334357A (zh) | 一种命名实体识别的方法、装置、存储介质及电子设备 | |
| CN110533024B (zh) | 基于多尺度roi特征的双二次池化细粒度图像分类方法 | |
| CN110728295B (zh) | 半监督式的地貌分类模型训练和地貌图构建方法 | |
| CN109508717A (zh) | 一种车牌识别方法、识别装置、识别设备及可读存储介质 | |
| CN111414953B (zh) | 点云分类方法和装置 | |
| CN106295613A (zh) | 一种无人机目标定位方法及系统 | |
| CN109492596B (zh) | 一种基于K-means聚类和区域推荐网络的行人检测方法及系统 | |
| CN108062302A (zh) | 一种特定文本信息的识别方法及装置 | |
| CN107578367A (zh) | 一种风格化图像的生成方法及装置 | |
| CN112348737B (zh) | 模拟图像生成的方法、电子设备及存储介质 | |
| CN112132739A (zh) | 3d重建以及人脸姿态归一化方法、装置、存储介质及设备 | |
| CN114155244A (zh) | 缺陷检测方法、装置、设备及存储介质 | |
| CN110569379A (zh) | 一种汽车配件图片数据集制作方法 | |
| CN112651975A (zh) | 一种轻量化网络模型的训练方法、装置及设备 | |
| CN111325212A (zh) | 模型训练方法、装置、电子设备和计算机可读存储介质 | |
| CN110851627A (zh) | 一种用于描述全日面图像中太阳黑子群的方法 | |
| CN110717405A (zh) | 人脸特征点定位方法、装置、介质及电子设备 | |
| CN112017159B (zh) | 一种遥感场景下的地面目标真实感仿真方法 | |
| CN115984949B (zh) | 一种带有注意力机制的低质量人脸图像识别方法及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |