CN116188700A - 一种基于aigc自动生成3d场景的系统 - Google Patents
一种基于aigc自动生成3d场景的系统 Download PDFInfo
- Publication number
- CN116188700A CN116188700A CN202310466427.XA CN202310466427A CN116188700A CN 116188700 A CN116188700 A CN 116188700A CN 202310466427 A CN202310466427 A CN 202310466427A CN 116188700 A CN116188700 A CN 116188700A
- Authority
- CN
- China
- Prior art keywords
- model
- picture
- basic
- scene
- marking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Architecture (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于AIGC自动生成3D场景的系统,涉及图像数据处理技术领域,所述系统包括图片识别模块、筛选模块、演变模块以及终端处理器,所述图片识别模块、筛选模块以及演变模块与终端处理器通讯连接;所述终端处理器包括存储单元、比对单元以及模型建立单元;本发明通过对现有的3D模型制作进行改进,利用人工智能AI以及一系列算法将图片自动创建成多样化的场景、模型,解决目前3D模型制作时需要投入大量的人力成本以及较长时间周期的问题。
Description
技术领域
本发明涉及图像数据处理技术领域,尤其涉及一种基于AIGC自动生成3D场景的系统。
背景技术
目前3D模型、场景的创建基本都是基于cad图纸、图片、倾斜摄影等方式采集基础信息,经过人为手动模型处理,然后通过渲染引擎进行场景搭建、呈现。
上述方式对于3D模型、场景的制作需要投入大量的人力成本和较长时间周期,使得3D数字化进程受到了一定的阻碍,对于3D模型建立的速度以及模型的多样性造成了影响,有鉴于此,有必要对现有的3D模型的创建进行改进,提升3D模型的创建速度,增加3D模型制作的种类。
发明内容
针对现有技术存在的不足,本发明通过对现有的3D模型制作进行改进,利用人工智能AI以及一系列算法将图片自动创建成多样化的场景、模型,解决目前3D模型制作时无法制作多种不同类型的模型的问题。
本发明提供一种基于AIGC自动生成3D场景的系统,所述系统包括图片识别模块、筛选模块、演变模块以及终端处理器,所述图片识别模块、筛选模块以及演变模块与终端处理器通讯连接;
所述图片识别模块对接收到的图片进行图片采样处理,对图片采样处理后的图形进行识别,将识别后的图形记为基础图形;
所述筛选模块对基础图形使用知识蒸馏,得到关键信息以及多变特征信息;
所述演变模块对多变特征信息使用扩散模型算法,将多变特征信息进行多样化模型演变;
所述终端处理器包括存储单元、比对单元以及模型建立单元;
所述存储单元用于存储教师模型、基础模型库以及基础图形库,所述教师模型为已经训练好的用于知识蒸馏的教师模型,所述基础模型库用于存储若干行业的物品模型,所述基础图形库用于存储若干行业的物品图片以及物品的轮廓图;
所述比对单元用于将关键信息与基础模型库进行比对,得到与关键信息相对应的基础模型,记为关键基础模型;
所述模型建立单元基于关键基础模型与演变模块的多样化模型进行模型建立,得到目标场景模型。
进一步地,所述图片识别模块包括图片采样策略,所述图片采样策略包括:
获取接收到的图片,将接收到的图片记为目标图像,将目标图像放置在平面直角坐标系中,目标图像的左下角放置在平面直角坐标系的坐标原点;
对目标图像使用轮廓提取法,所述轮廓提取法包括对目标图像进行二值化处理,将处理后的图像记为二值化图像,对二值化图像进行像素点处理;
所述像素点处理为选取二值化图像中的一个像素点记为目标像素点,当目标像素点周围的所有像素点均与目标像素点颜色一致时,删除目标像素点,通过遍历对二值化图像中的每一个像素点进行像素点处理,将全部处理后的二值化图像记为轮廓图像,对轮廓图像使用边缘跟踪算法,得到轮廓图像中的所有物体的轮廓,记为物体轮廓1至物体轮廓N;
将物体轮廓1至物体轮廓N使用贴合矩形进行包裹,记为贴合矩形1至贴合矩形N,所述贴合矩形为能将物体轮廓包裹的最小矩形,贴合矩形边缘处能够检测到的物体轮廓的像素点大于等于1;
获取贴合矩形1至贴合矩形N的四个顶点在平面直角坐标系内的坐标,记为矩形坐标组1至矩形坐标组N。
进一步地,所述图片识别模块还包括图片识别策略,所述图片识别策略包括:
获取物体轮廓1至物体轮廓N,将物体轮廓1至物体轮廓N在基础图形库中进行匹配,将匹配率最高的图形记为物体轮廓的基础图形,得到基础图形1至基础图形N。
进一步地,所述筛选模块包括知识蒸馏策略,所述知识蒸馏策略包括:
获取基础图形1至基础图形N,获取教师模型,获取基础图形1至基础图形N中每个图形的第一图形数量的相关图形组,记为相关图形组1至相关图形组N;
使用知识蒸馏中的soft target对基础图形1至基础图形N进行特征图片提取,所述特征图片提取法包括使用教师模型基于相关图形组1对基础图形1使用soft target,得到相关图形组1中每个相关图形对应的概率,获取相关图形对应的概率中最大的概率,记为第一图片概率,获取第一图片概率对应的相关图片,记为第一相关图片;
对基础图片2至基础图片N使用特征图片提取,获得第二相关图片至第N相关图片;
获取第一图片概率至第N图片概率中最大的图片概率,将概率最大的图片概率对应的相关图片记为关键信息;
将第一图片概率至第N图片概率中最大的概率剔除后,获取N-1个图片概率中最大的第二图片数量的图片概率,将第二图片数量的图片概率对应的相关图片记为多变特征信息1至多变特征信息M。
进一步地,所述演变模块配置有图片演变策略,所述图片演变策略包括:
获取多变特征信息1至多变特征信息M,将多变特征信息使用扩散模型算法得到的模型记为特征模型,对每个多变特征信息使用扩散模型算法获得第一模型数量的特征模型组,对多变特征信息1至多变特征信息M分别使用扩散模型算法,得到特征模型组1至特征模型组M。
进一步地,所述比对单元配置有图片比对策略,所述图片比对策略包括:
获取基础模型库以及关键信息,将基础模型库中的基础模型与关键信息进行匹配,获取匹配后与关键信息相似度最大的第二模型数量的基础模型,记为待定基础模型1至待定基础模型P;
对待定基础模型1至待定基础模型P使用模型分析法,得到投影相似率1至投影相似率P,所述模型分析法为将基础模型基于模型的中心点进行旋转,将基础模型旋转时的投影图像与关键信息进行比对,得到比对后的相似率,将投影图像与关键信息的最大相似率记为投影相似率;
获取投影相似率1至投影相似率P中的最大值,记为关键相似率,获取与关键相似率对应的待定基础模型,记为关键基础模型。
进一步地,所述模型建立单元配置有模型放置策略,所述模型放置策略包括:
获取关键基础模型、特征模型组1至特征模型组M、矩形坐标组1至矩形坐标组N以及平面直角坐标系,获取特征模型组1至特征模型组M对应的物体轮廓,记为物体轮廓1至物体轮廓M,获取关键基础模型对应的关键信息,获取关键信息对应的物体轮廓,记为物体轮廓X;
获取物体轮廓1至物体轮廓M以及物体轮廓X对应的矩形坐标组,记为模型坐标组1至模型坐标组M以及模型坐标组X,基于平面直角坐标系建立三维直角坐标系,将关键基础模型放置在三维直角坐标系内,关键基础模型的底部平面坐标放置在模型坐标组X围成的矩形内;
将关键基础模型放置后的三维直角坐标系构成的模型记为基础场景模型;
在特征模型组1至特征模型组M中的每个特征模型组随机抽取一个特征模型,记为特征模型1至特征模型M,将特征模型1至特征模型M放置到基础场景模型的三维直角坐标系内,特征模型1至特征模型M的底部平面坐标放置在模型坐标组1至模型坐标组M内,将特征模型1至特征模型M放置后的基础场景模型记为特征场景模型;
在特征模型组1至特征模型组M中的每个特征模型组随机抽取一个特征模型,得到第一场景数量的特征模型1至特征模型M组合,基于第一场景数量的特征模型1至特征模型M组合得到第一场景数量的特征场景模型,记为特征场景模型1至特征场景模型T。
进一步地,所述模型建立单元配置有模型填充策略,所述模型填充策略包括:
获取特征场景模型1至特征场景模型T以及目标图像,将目标图像放置在对特征场景模型1至特征场景模型T所在的三维直角坐标系中的底部平面直角坐标系中,将目标图像的左下角放置在三维直角坐标系中的底部平面直角坐标系的坐标原点,获取目标图像上未被放置模型的区域,记为填充区域;
分析填充区域内的目标图像,对填充区域内的目标图像进行大数据比对,基于大数据比对结果从基础模型库中选取模型对填充区域进行填充;
将经过人工智能AI填充后的特征场景模型1至特征场景模型T记为目标场景模型1至目标场景模型T。
本发明的有益效果:
1.本发明通过对目标图像进行二值化处理,将二值化处理后的图像进行像素点处理,得到图像内各个物体的物体轮廓,这样的好处在于二值化处理能将图像简单化,方便提高图像在像素点处理时的效率,像素点处理将图片中填充的像素点剔除,保留各个物体原有的轮廓图像,有利于后续的图像比对;
2.本发明还将轮廓图像匹配成对应的基础图形,利用知识蒸馏对基础图形进行处理,得到每个基础图形对应的最大概率的相关图片,基于相关图片得到关键信息和多变特征信息,这样的好处在于智能检索能够减少人工的使用,同时使用知识蒸馏模型可以对基础图形进行更多样的分析,找到与基础图形相关性最大的图片,并以此找到目标图像中的关键信息和多变特征信息,从而提高了建立模型时的建立基础和建立多种模型时的特征信息;
3.本发明还通过关键信息在基础模型库中匹配到关键基础模型,使用扩散模型算法对多变特征信息进行处理得到特征模型组,这样的好处在于能够确定需要建立的模型主体和模型中可供改变的特征模型组,有利于后续多样化模型的搭建,能够解决建立模型时无法建立多种同类型模型的问题,能够对同一张目标图像进行充分的利用。
本发明附加方面的优点将在下面的具体实施方式的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其他特征、目的和优点将会变得更明显:
图1为本发明的系统的原理框图;
图2为本发明的物体轮廓的框选示意图;
图3为本发明的像素点处理示意图。
具体实施方式
应该指出,以下详细说明都是示例性的,旨在对本发明提供进一步的说明。除非另有指明,本发明使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本发明的示例性实施方式。
在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
请参阅图1所示,本发明提供一种基于AIGC自动生成3D场景的系统,系统包括图片识别模块、筛选模块、演变模块以及终端处理器,图片识别模块、筛选模块以及演变模块与终端处理器通讯连接;
图片识别模块对接收到的图片进行图片采样处理,对图片采样处理后的图形进行识别,将识别后的图形记为基础图形,图片识别模块主要包含两个功能,一是图片采样,用于将目标图像中的各个物体的轮廓进行框选,二是对框选后的图像进行识别;
图片识别模块包括图片采样策略,图片采样策略包括:
获取接收到的图片,将接收到的图片记为目标图像,将目标图像放置在平面直角坐标系中,目标图像的左下角放置在平面直角坐标系的坐标原点;
对目标图像使用轮廓提取法,轮廓提取法包括对目标图像进行二值化处理,使用二值化处理的原因是相比于灰度化处理,经过二值化处理后的图像只有黑白两种像素点,从图像分析和处理上更加的方便,能够更有效地找到物体的轮廓,能够加快处理的速度;
将处理后的图像记为二值化图像,对二值化图像进行像素点处理,请参阅图3所示,像素点处理为选取二值化图像中的一个像素点记为目标像素点,当目标像素点周围的八个像素点均与目标像素点颜色一致时,删除目标像素点,在具体实施过程中,检测到一个黑色像素点周围的八个像素点均为黑色像素点,则删除检测到的像素点,删除就是将像素点变成白色;
通过遍历对二值化图像中的每一个像素点进行像素点处理,将全部处理后的二值化图像记为轮廓图像,对轮廓图像使用边缘跟踪算法,得到轮廓图像中的所有物体的轮廓,记为物体轮廓1至物体轮廓N,在具体实施过程中,根据边缘跟踪算法对目标图像中的像素点进行追踪能够追踪到每个物体的轮廓图像;
请参阅图2所示,将物体轮廓1至物体轮廓N使用贴合矩形进行包裹,记为贴合矩形1至贴合矩形N,贴合矩形为能将物体轮廓包裹的最小矩形,贴合矩形边缘处能够检测到的物体轮廓的像素点大于等于1,使用贴合矩形进行包裹是为了将物体的所在区间限制在一个矩形内,在后面放置模型时能够更加准确且不影响其他模型的放置;
获取贴合矩形1至贴合矩形N的四个顶点在平面直角坐标系内的坐标,记为矩形坐标组1至矩形坐标组N,矩形坐标组用于记录每个物体可以被放置的区间;
图片识别模块还包括图片识别策略,图片识别策略包括:
获取物体轮廓1至物体轮廓N,将物体轮廓1至物体轮廓N在基础图形库中进行匹配,将匹配率最高的图形记为物体轮廓的基础图形,得到基础图形1至基础图形N,将目标图像中的物体轮廓与基础图形库中的物体轮廓进行匹配,将匹配到的最相似的图形记为目标图像中物体轮廓的基础图形;
筛选模块对基础图形使用知识蒸馏,得到关键信息以及多变特征信息,筛选模块用于将目标图像中的众多基础图形筛选出整个图像最易识别的关键信息以及除去关键信息之后可以被轻微改动且能被识别的多变特征信息;
筛选模块包括知识蒸馏策略,知识蒸馏策略包括:
获取基础图形1至基础图形N,获取教师模型,教师模型是被存储在存储单元中的,教师模型是知识蒸馏中用来训练学生模型的算法,在本发明中学生模型是目标图像中的各个物体对应的基础图形,获取基础图形1至基础图形N中每个图形的第一图形数量的相关图形组,从基础图形库中获取,记为相关图形组1至相关图形组N;
在具体实施过程中,第一图形数量设置为10,检测到基础图形为数字2,则相关图形组可以为数字0-9;
使用知识蒸馏中的soft target对基础图形1至基础图形N进行特征图片提取,在本发明中,知识蒸馏中的soft target就是基础图形对应的相关图形库的一种概率分布,将相关图形库中的所有图片与基础图形进行分析,得到每个相关图形对基础图形的概率,所有概率之和为1,特征图片提取法包括使用教师模型基于相关图形组1对基础图形1使用soft target,得到相关图形组1中每个相关图形对应的概率,获取相关图形对应的概率中最大的概率,记为第一图片概率,获取第一图片概率对应的相关图片,记为第一相关图片;
对基础图片2至基础图片N使用特征图片提取,获得第二相关图片至第N相关图片;
获取第一图片概率至第N图片概率中最大的图片概率,将概率最大的图片概率对应的相关图片记为关键信息;
在具体实施过程中,检测到第一图片概率至第N图片概率为0.4、0.3、0.5、0.7、0.8、0.6、0.7以及0.5,则关键信息为0.8对应的相关图片;
将第一图片概率至第N图片概率中最大的概率剔除后,获取N-1个图片概率中最大的第二图片数量的图片概率,将第二图片数量的图片概率对应的相关图片记为多变特征信息1至多变特征信息M;
在具体实施过程中,第二图片数量设置为6,检测到N-1个图片概率为
0.4、0.3、0.5、0.7、0.6、0.7以及0.5,则多变特征信息1至多变特征信息M为0.7、0.7、0.6、0.5、0.5以及0.4对应的相关图片;
演变模块对多变特征信息使用扩散模型算法,将多变特征信息进行多样化模型演变,演变模块用于将多变特征信息转化为多样化模型,每个多变特征信息可以对应得到多种多样化模型,使模型建立时可以基于目标图像建立更多不同的模型;
演变模块配置有图片演变策略,图片演变策略包括:
获取多变特征信息1至多变特征信息M,将多变特征信息使用扩散模型算法得到的模型记为特征模型,对每个多变特征信息使用扩散模型算法获得第一模型数量的特征模型组,对多变特征信息1至多变特征信息M分别使用扩散模型算法,得到特征模型组1至特征模型组M;
在具体实施过程中,第一模型数量设置为10,因此通过多变特征信息1至多变特征信息M共可以得到10*M个模型;
终端处理器包括存储单元、比对单元以及模型建立单元;
存储单元用于存储教师模型、基础模型库以及基础图形库,教师模型为已经训练好的用于知识蒸馏的教师模型,教师模型用于训练学生模型匹配与自身最为相近的图片,基础模型库用于存储若干行业的物品模型,基础图形库用于存储若干行业的物品图片以及物品的轮廓图;
比对单元用于将关键信息与基础模型库进行比对,得到与关键信息相对应的基础模型,记为关键基础模型;
比对单元配置有图片比对策略,图片比对策略包括:
获取基础模型库以及关键信息,将基础模型库中的基础模型与关键信息进行匹配,获取匹配后与关键信息相似度最大的第二模型数量的基础模型,记为待定基础模型1至待定基础模型P;
在具体实施过程中,第二模型数量设置为5;
对待定基础模型1至待定基础模型P使用模型分析法,得到投影相似率1至投影相似率P,模型分析法为将基础模型基于模型的中心点进行旋转,将基础模型旋转时的投影图像与关键信息进行比对,得到比对后的相似率,将投影图像与关键信息的最大相似率记为投影相似率;
使用模型分析法是通过投影找到与相关信息最为相似的基础模型,是对AI匹配后的二次筛选,投影相似率为基础模型旋转时的投影图像与关键信息的相似度,相似度越高,投影率相似率越高,在旋转结束后,取旋转过程中最大的投影相似率作为基础模型的投影相似率;
获取投影相似率1至投影相似率P中的最大值,记为关键相似率,获取与关键相似率对应的待定基础模型,记为关键基础模型;
在具体实施过程中,检测到投影相似率1至投影相似率P为92%、98%、95%、90以及95%,则取投影相似率为98%对应的基础模型为关键基础模型;
模型建立单元基于关键基础模型与演变模块的多样化模型进行模型建立,得到目标场景模型,通过演变模块得到的特征模型种类有很多,可以进行多种不同的排列组合,因此基于关键基础模型与特征模型可以搭建多种具有差异的不同的模型;
模型建立单元配置有模型放置策略,模型放置策略包括:
获取关键基础模型、特征模型组1至特征模型组M、矩形坐标组1至矩形坐标组N以及平面直角坐标系,获取特征模型组1至特征模型组M对应的物体轮廓,记为物体轮廓1至物体轮廓M,获取关键基础模型对应的关键信息,获取关键信息对应的物体轮廓,记为物体轮廓X;
获取物体轮廓1至物体轮廓M以及物体轮廓X对应的矩形坐标组,记为模型坐标组1至模型坐标组M以及模型坐标组X,基于平面直角坐标系建立三维直角坐标系,将关键基础模型放置在三维直角坐标系内,关键基础模型的底部平面坐标放置在模型坐标组X围成的矩形内,将关键基础模型放置后的三维直角坐标系构成的模型记为基础场景模型;
在特征模型组1至特征模型组M中的每个特征模型组随机抽取一个特征模型,记为特征模型1至特征模型M,将特征模型1至特征模型M放置到基础场景模型的三维直角坐标系内,特征模型1至特征模型M的底部平面坐标放置在模型坐标组1至模型坐标组M内,将特征模型1至特征模型M放置后的基础场景模型记为特征场景模型;
在特征模型组1至特征模型组M中的每个特征模型组随机抽取一个特征模型,得到第一场景数量的特征模型1至特征模型M组合,基于第一场景数量的特征模型1至特征模型M组合得到第一场景数量的特征场景模型,记为特征场景模型1至特征场景模型T;
模型建立单元配置有模型填充策略,模型填充策略是为了让搭建的模型更为饱和,基于目标图像、关键基础模型以及特征模型对特征场景模型中空白的区域进行填充,模型填充策略包括:
获取特征场景模型1至特征场景模型T以及目标图像,将目标图像放置在对特征场景模型1至特征场景模型T所在的三维直角坐标系中的底部平面直角坐标系中,将目标图像的左下角放置在三维直角坐标系中的底部平面直角坐标系的坐标原点,获取目标图像上未被放置模型的区域,记为填充区域,在目标图像上进行定位,填充区域为平面直角坐标系中目标图像上没有模型的区域;
分析填充区域内的目标图像,对填充区域内的目标图像进行大数据比对,基于大数据比对结果从基础模型库中选取模型对填充区域进行填充,根据填充区域的图像进行大数据中进行相似图像的搜索,基于相似图像在基础模型库中找到对应的模型;
将填充后的特征场景模型1至特征场景模型T记为目标场景模型1至目标场景模型T。
工作原理:本发明通过对目标图像进行二值化处理,将二值化处理后的图像进行像素点处理,得到图像内各个物体的物体轮廓,将轮廓图像匹配成对应的基础图形,利用知识蒸馏对基础图形进行处理,得到每个基础图形对应的最大概率的相关图片,基于相关图片得到关键信息和多变特征信息,通过关键信息在基础模型库中匹配到关键基础模型,使用扩散模型算法对多变特征信息进行处理得到特征模型组,基于关键基础模型和特征模型组对模型进行搭建,通过特征模型组搭建具有差异的不同模型,最后对模型中缺少的部分进行填充,得到目标场景模型。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。其中,存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(Static RandomAccess Memory,简称SRAM),电可擦除可编程只读存储器(Electrically ErasableProgrammable Read-Only Memory,简称EEPROM),可擦除可编程只读存储器(ErasableProgrammable Read Only Memory,简称EPROM),可编程只读存储器(Programmable Red-Only Memory,简称PROM),只读存储器(Read-OnlyMemory,简称ROM),磁存储器,快闪存储器,磁盘或光盘。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (8)
1.一种基于AIGC自动生成3D场景的系统,其特征在于,所述系统包括图片识别模块、筛选模块、演变模块以及终端处理器,所述图片识别模块、筛选模块以及演变模块与终端处理器通讯连接;
所述图片识别模块对接收到的图片进行图片采样处理,对图片采样处理后的图形进行识别,将识别后的图形记为基础图形;
所述筛选模块对基础图形使用知识蒸馏,得到关键信息以及多变特征信息;
所述演变模块对多变特征信息使用扩散模型算法,将多变特征信息进行多样化模型演变;
所述终端处理器包括存储单元、比对单元以及模型建立单元;
所述存储单元用于存储教师模型、基础模型库以及基础图形库,所述基础模型库用于存储若干行业的物品模型,所述基础图形库用于存储若干行业的物品图片以及物品的轮廓图;
所述比对单元用于将关键信息与基础模型库进行比对,得到与关键信息相对应的基础模型,记为关键基础模型;
所述模型建立单元基于关键基础模型与演变模块的多样化模型进行模型建立,得到目标场景模型。
2.根据权利要求1所述的一种基于AIGC自动生成3D场景的系统,其特征在于,所述图片识别模块包括图片采样策略,所述图片采样策略包括:
获取接收到的图片,将接收到的图片记为目标图像,将目标图像放置在平面直角坐标系中,目标图像的左下角放置在平面直角坐标系的坐标原点;
对目标图像使用轮廓提取法,所述轮廓提取法包括对目标图像进行二值化处理,将处理后的图像记为二值化图像,对二值化图像进行像素点处理;
所述像素点处理为选取二值化图像中的一个像素点记为目标像素点,当目标像素点周围的所有像素点均与目标像素点颜色一致时,删除目标像素点,通过遍历对二值化图像中的每一个像素点进行像素点处理,将全部处理后的二值化图像记为轮廓图像,对轮廓图像使用边缘跟踪算法,得到轮廓图像中的所有物体的轮廓,记为物体轮廓1至物体轮廓N;
将物体轮廓1至物体轮廓N使用贴合矩形进行包裹,记为贴合矩形1至贴合矩形N,所述贴合矩形为能将物体轮廓包裹的最小矩形,贴合矩形边缘处能够检测到的物体轮廓的像素点大于等于1;
获取贴合矩形1至贴合矩形N的四个顶点在平面直角坐标系内的坐标,记为矩形坐标组1至矩形坐标组N。
3.根据权利要求2所述的一种基于AIGC自动生成3D场景的系统,其特征在于,所述图片识别模块还包括图片识别策略,所述图片识别策略包括:
获取物体轮廓1至物体轮廓N,将物体轮廓1至物体轮廓N通过人工智能AI在基础图形库中进行匹配,将匹配率最高的图形记为物体轮廓的基础图形,得到基础图形1至基础图形N。
4.根据权利要求3所述的一种基于AIGC自动生成3D场景的系统,其特征在于,所述筛选模块包括知识蒸馏策略,所述知识蒸馏策略包括:
获取基础图形1至基础图形N,获取教师模型,获取基础图形1至基础图形N中每个图形的第一图形数量的相关图形组,记为相关图形组1至相关图形组N;
使用知识蒸馏中的soft target对基础图形1至基础图形N进行特征图片提取,所述特征图片提取法包括使用教师模型基于相关图形组1对基础图形1使用soft target,得到相关图形组1中每个相关图形对应的概率,获取相关图形对应的概率中最大的概率,记为第一图片概率,获取第一图片概率对应的相关图片,记为第一相关图片;
对基础图片2至基础图片N使用特征图片提取,获得第二相关图片至第N相关图片;
获取第一图片概率至第N图片概率中最大的图片概率,将概率最大的图片概率对应的相关图片记为关键信息;
将第一图片概率至第N图片概率中最大的概率剔除后,获取N-1个图片概率中最大的第二图片数量的图片概率,将第二图片数量的图片概率对应的相关图片记为多变特征信息1至多变特征信息M。
5.根据权利要求4所述的一种基于AIGC自动生成3D场景的系统,其特征在于,所述演变模块配置有图片演变策略,所述图片演变策略包括:
获取多变特征信息1至多变特征信息M,将多变特征信息使用扩散模型算法得到的模型记为特征模型,对每个多变特征信息使用扩散模型算法获得第一模型数量的特征模型组,对多变特征信息1至多变特征信息M分别使用扩散模型算法,得到特征模型组1至特征模型组M。
6.根据权利要求1所述的一种基于AIGC自动生成3D场景的系统,其特征在于,所述比对单元配置有图片比对策略,所述图片比对策略包括:
获取基础模型库以及关键信息,将基础模型库中的基础模型与关键信息进行匹配,获取匹配后与关键信息相似度最大的第二模型数量的基础模型,记为待定基础模型1至待定基础模型P;
对待定基础模型1至待定基础模型P使用模型分析法,得到投影相似率1至投影相似率P,所述模型分析法为将基础模型基于模型的中心点进行旋转,将基础模型旋转时的投影图像与关键信息进行比对,得到比对后的相似率,将投影图像与关键信息的最大相似率记为投影相似率;
获取投影相似率1至投影相似率P中的最大值,记为关键相似率,获取与关键相似率对应的待定基础模型,记为关键基础模型。
7.根据权利要求2-6任意一项所述的一种基于AIGC自动生成3D场景的系统,其特征在于,所述模型建立单元配置有模型放置策略,所述模型放置策略包括:
获取关键基础模型、特征模型组1至特征模型组M、矩形坐标组1至矩形坐标组N以及平面直角坐标系,获取特征模型组1至特征模型组M对应的物体轮廓,记为物体轮廓1至物体轮廓M,获取关键基础模型对应的关键信息,获取关键信息对应的物体轮廓,记为物体轮廓X;
获取物体轮廓1至物体轮廓M以及物体轮廓X对应的矩形坐标组,记为模型坐标组1至模型坐标组M以及模型坐标组X,基于平面直角坐标系建立三维直角坐标系,将关键基础模型放置在三维直角坐标系内,关键基础模型的底部平面坐标放置在模型坐标组X围成的矩形内,关键基础模型放置后的三维直角坐标系构成的模型记为基础场景模型;
在特征模型组1至特征模型组M中的每个特征模型组随机抽取一个特征模型,记为特征模型1至特征模型M,将特征模型1至特征模型M放置到基础场景模型的三维直角坐标系内,特征模型1至特征模型M的底部平面坐标放置在模型坐标组1至模型坐标组M内,将特征模型1至特征模型M放置后的基础场景模型记为特征场景模型;
在特征模型组1至特征模型组M中的每个特征模型组随机抽取一个特征模型,得到第一场景数量的特征模型1至特征模型M组合,基于第一场景数量的特征模型1至特征模型M组合得到第一场景数量的特征场景模型,记为特征场景模型1至特征场景模型T。
8.根据权利要求7所述的一种基于AIGC自动生成3D场景的系统,其特征在于,所述模型建立单元配置有模型填充策略,所述模型填充策略包括:
获取特征场景模型1至特征场景模型T以及目标图像,将目标图像放置在对特征场景模型1至特征场景模型T所在的三维直角坐标系中的底部平面直角坐标系中,将目标图像的左下角放置在三维直角坐标系中的底部平面直角坐标系的坐标原点,获取目标图像上未被放置模型的区域,记为填充区域;
分析填充区域内的目标图像,对填充区域内的目标图像进行大数据比对,基于大数据比对结果从基础模型库中选取模型对填充区域进行填充;
将填充后的特征场景模型1至特征场景模型T记为目标场景模型1至目标场景模型T。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310466427.XA CN116188700B (zh) | 2023-04-27 | 2023-04-27 | 一种基于aigc自动生成3d场景的系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310466427.XA CN116188700B (zh) | 2023-04-27 | 2023-04-27 | 一种基于aigc自动生成3d场景的系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116188700A true CN116188700A (zh) | 2023-05-30 |
CN116188700B CN116188700B (zh) | 2023-07-14 |
Family
ID=86452637
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310466427.XA Active CN116188700B (zh) | 2023-04-27 | 2023-04-27 | 一种基于aigc自动生成3d场景的系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116188700B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116824381A (zh) * | 2023-08-30 | 2023-09-29 | 环球数科集团有限公司 | 一种基于aigc的场景属性标注系统 |
CN117236341A (zh) * | 2023-09-21 | 2023-12-15 | 东方经纬项目管理有限公司 | 全过程工程咨询一体化系统 |
CN117475115A (zh) * | 2023-11-11 | 2024-01-30 | 华中师范大学 | 虚实融合环境中路径引导系统及其工作方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6704029B1 (en) * | 1999-04-13 | 2004-03-09 | Canon Kabushiki Kaisha | Method and apparatus for specifying scene information in a moving picture |
CN112508943A (zh) * | 2020-12-25 | 2021-03-16 | 四川工商学院 | 基于超声影像的乳腺肿瘤识别方法 |
CN114399595A (zh) * | 2021-12-29 | 2022-04-26 | 江苏华实广告有限公司 | 三维全景数字展厅的图像自动处理方法、系统及终端 |
-
2023
- 2023-04-27 CN CN202310466427.XA patent/CN116188700B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6704029B1 (en) * | 1999-04-13 | 2004-03-09 | Canon Kabushiki Kaisha | Method and apparatus for specifying scene information in a moving picture |
CN112508943A (zh) * | 2020-12-25 | 2021-03-16 | 四川工商学院 | 基于超声影像的乳腺肿瘤识别方法 |
CN114399595A (zh) * | 2021-12-29 | 2022-04-26 | 江苏华实广告有限公司 | 三维全景数字展厅的图像自动处理方法、系统及终端 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116824381A (zh) * | 2023-08-30 | 2023-09-29 | 环球数科集团有限公司 | 一种基于aigc的场景属性标注系统 |
CN116824381B (zh) * | 2023-08-30 | 2023-10-27 | 环球数科集团有限公司 | 一种基于aigc的场景属性标注系统 |
CN117236341A (zh) * | 2023-09-21 | 2023-12-15 | 东方经纬项目管理有限公司 | 全过程工程咨询一体化系统 |
CN117475115A (zh) * | 2023-11-11 | 2024-01-30 | 华中师范大学 | 虚实融合环境中路径引导系统及其工作方法 |
Also Published As
Publication number | Publication date |
---|---|
CN116188700B (zh) | 2023-07-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116188700B (zh) | 一种基于aigc自动生成3d场景的系统 | |
CN110738207B (zh) | 一种融合文字图像中文字区域边缘信息的文字检测方法 | |
CN109711416B (zh) | 目标识别方法、装置、计算机设备和存储介质 | |
CN111860027B (zh) | 二维码的识别方法及装置 | |
CN108537115B (zh) | 图像识别方法、装置及电子设备 | |
CN111626284A (zh) | 一种手写字体去除的方法、装置、电子设备和存储介质 | |
CN112101386B (zh) | 文本检测方法、装置、计算机设备和存储介质 | |
CN112749696B (zh) | 一种文本检测方法及装置 | |
CN110781882A (zh) | 一种基于yolo模型的车牌定位和识别方法 | |
CN113392669B (zh) | 一种图像信息检测方法、检测装置及存储介质 | |
CN111027538A (zh) | 一种基于实例分割模型的集装箱检测方法 | |
CN112766012B (zh) | 二维码图像的识别方法、装置、电子设备及存储介质 | |
CN111598076A (zh) | 一种标签图像中日期检测处理方法及装置 | |
CN114359538A (zh) | 一种水表读数定位与识别方法 | |
CN112861652A (zh) | 基于卷积神经网络的视频目标跟踪与分割方法及系统 | |
CN112686247A (zh) | 一种身份证号码检测方法、装置、可读存储介质和终端 | |
CN111047614B (zh) | 一种基于特征提取的复杂场景图像的目标角点提取方法 | |
CN116311391A (zh) | 一种高低精度混合的多维度特征融合指纹检索方法 | |
CN116091784A (zh) | 一种目标跟踪方法、设备及存储介质 | |
CN115797942A (zh) | 一种宣传信息交互方法及系统 | |
CN111508045B (zh) | 一种图片合成的方法及装置 | |
CN116862920A (zh) | 一种人像分割方法、装置、设备及介质 | |
CN115221910A (zh) | 二维码识别方法、装置、设备及计算机可读存储介质 | |
CN111325194B (zh) | 一种文字识别方法、装置及设备、存储介质 | |
CN111243058A (zh) | 物件模拟图像生成方法及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |