CN117274110A - 一种基于生成式人工智能与图神经网络的影像优化方法 - Google Patents

一种基于生成式人工智能与图神经网络的影像优化方法 Download PDF

Info

Publication number
CN117274110A
CN117274110A CN202311509666.5A CN202311509666A CN117274110A CN 117274110 A CN117274110 A CN 117274110A CN 202311509666 A CN202311509666 A CN 202311509666A CN 117274110 A CN117274110 A CN 117274110A
Authority
CN
China
Prior art keywords
image
feature
optimized
acquisition
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311509666.5A
Other languages
English (en)
Other versions
CN117274110B (zh
Inventor
刘景鑫
石张镇
安东洪
祖莅惠
顾桂影
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN202311509666.5A priority Critical patent/CN117274110B/zh
Publication of CN117274110A publication Critical patent/CN117274110A/zh
Application granted granted Critical
Publication of CN117274110B publication Critical patent/CN117274110B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757Matching configurations of points or features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993Evaluation of the quality of the acquired pattern
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于生成式人工智能与图神经网络的影像优化方法,涉及了影像优化技术领域,采集若干数据量的影像样本,并通过生成式人工智能技术获取影像样本的特征关联集,进而构建特征模型库,对特征模型库进行识别率判断;获取待优化影像,通过图神经网络技术对待优化影像进行语义理解以及图像特征提取,进而生成待优化图像数据集;将待优化图像数据集导入至特征模型库内进行特征匹配,根据特征匹配的结果,选择进行影像转换、影像增强以及模型调优训练,通过影像转换和影像增强生成影像结果;对影像结果进行全图扫描,进而扫描出缺失图片信息,根据缺失图片信息进行图片特征填充,进而得出最终影像图像。

Description

一种基于生成式人工智能与图神经网络的影像优化方法
技术领域
本发明涉及影像优化技术领域,具体是一种基于生成式人工智能与图神经网络的影像优化方法。
背景技术
生成式人工智能(Generative Artificial Intelligence)是一种人工智能技术,旨在通过模型学习和生成新颖的、具有高度逼真度的数据或内容,与传统的判别式人工智能不同,生成式人工智能通过学习输入数据的统计特征和潜在分布,从而能够生成与输入数据类似但又不完全相同的新数据。
图神经网络(Graph Neural Network,GNN)是一种针对图数据的神经网络模型,与传统的神经网络处理向量或序列数据不同,图神经网络能够处理非欧几里得结构的图数据,包括社交网络、化学分子结构、物联网数据等。
在传统的影像优化中,优化过程一定程度上会导致部分图像的重要特征模糊或者丢失,当图像经过压缩、降噪或者裁剪操作时,会造成图像数据的各类偏差和误差,影像优化相关的模型也存在过拟合,识别精度过低等问题,此外,影像中往往还存在图片信息缺失,这就需要进行有效的图片填充,如何解决上述这些问题,这是我们目前所需要考虑的。
发明内容
为了解决上述问题,本发明的目的在于提供一种基于生成式人工智能与图神经网络的影像优化方法。
本发明的目的可以通过以下技术方案实现:一种基于生成式人工智能与图神经网络的影像优化方法,包括以下步骤:
步骤S1:采集若干数据量的影像样本,并通过生成式人工智能技术获取影像样本的特征关联集,进而构建特征模型库,对特征模型库进行识别率判断;
步骤S2:获取待优化影像,通过图神经网络技术对待优化影像进行语义理解以及图像特征提取,进而生成待优化图像数据集;
步骤S3:将待优化图像数据集导入至特征模型库内进行特征匹配,根据特征匹配的结果,选择进行影像转换、影像增强以及模型调优训练,通过影像转换和影像增强生成影像结果;
步骤S4:对影像结果进行全图扫描,进而扫描出缺失图片信息,根据缺失图片信息进行图片特征填充,进而得出最终影像图像。
进一步的,所述采集若干数据量的影像样本的过程包括:
所述影像样本对应有不同的样本来源,不同样本来源关联不同的源码标识和采集操作,采集操作包括普通采集和安全采集,源码标识包括Sign1、Sign2和Sign3,当源码标识为Sign1时,对应的采集操作为普通采集,当源码标识为Sign2和Sign3时,对应的采集操作为安全采集;
获取影像样本的数据量,记为R,设置数据采集窗口及其对应的单位采集速率,记为V,设置采集时间,记为T,获取采集时间T内数据采集窗口捕获到的实时数据量,记为R,进而获取实时采集速率,记为V,有V=R/T
当执行普通采集时,生成临时交互空间,在临时交互空间内判断V和V的大小关系生成不同的判断结果,根据判断结果执行相应的调节操作,当执行安全采集时,对生成的临时交互空间进行动态加密并执行普通采集的对应操作。
进一步的,构建所述特征模型库的过程包括:
获取影像样本后,通过生成式人工智能技术获取影像样本的特征关联集,所述特征关联集包括若干个特征上下文,获取特征上下文所包括的若干个特征关键词,获取任意两个特征上下文的关键词重叠度,若任意两个特征上下文的关键词重叠度大于等于预设的关联阈值,则将二者封装为一个特征元素,将特征元素对应的关键词重叠度作为其区分标识ID,导入若干个特征元素至预设的初始模型库内,并在初始模型库内按照区分标识ID划分出若干个分区,进而将初始模型库构建为特征模型库。
进一步的,对所述特征模型库进行识别率判断的过程包括:
为每个分区关联一个数据导入节点,设置导入时间和判断程序,通过每个分区的数据导入节点在导入时间内获取待判别数据,并由判断程序进行识别率判断,获取识别率记为S,预设识别率区分阈值,记为S,若S≥S,则标记相应分区的特征元素为合格元素,将识别率判断的结果标识为“合格”,若S<S,则标记特征元素为非合格元素,将识别率判断的结果标识为“非合格”,根据不同判断的结果执行相应操作。
进一步的,获取所述待优化影像并语义理解的过程包括:
获取待优化影像,通过图神经网络技术进行语义理解,进而获取待优化影像对应的语义信息,设置合规比例划分出语义测试集和语义训练集,将语义测试集录入至设置的语义卷积图神经网络模型内进行语义测试,进而获取测试成功率,记测试成功率为Sc,预设停测阈值,记为Tc,若Sc≥Tc,则停止测试,若Sc<Tc,则将语义训练集录入至语义卷积图神经网络模型内进行模型训练,直至满足Sc≥Tc停止模型训练。
进一步的,进行所述图像特征提取生成待优化图像数据集的过程包括:
获取语义信息中的物体类别和物体属性作为第一特征提取项,将语义信息中的场景信息和空间关系作为第二特征提取项,将第一特征提取项和第二特征提取项分别作为第一集合元素和第二集合元素,进而根据第一集合元素和第二集合元素封装生成待优化图像数据集。
进一步的,进行所述特征匹配的过程包括:
获取待优化图像数据集并导入至特征模型库内,在导入之前,建立外部交互空间存储待优化图像数据集进行安全鉴定,通过安全鉴定生成安全环境,在安全环境下,建立外部交互空间与特征模型库之间的数据传输通道,将待优化图像数据集导入至特征模型库,进而获取其对应的图像特征系数,记为α,获取特征模型库每个分区的分区特征系数,记为β,预设匹配系数,记为γ;
若α/β≥γ,则表示特征匹配成功,生成执行指令一;
若α/β<γ,则表示特征匹配失败,生成执行指令二。
进一步的,进行所述影像转换、影像增强以及模型调优训练,并生成影像结果的过程包括:
获取特征匹配的结果,所述特征匹配的结果包括特征匹配成功和特征匹配失败,当获取到执行指令一时,表示特征匹配成功,进而选择进行影像转换和影像增强,并生成影像结果,当获取到执行指令二时,表示特征匹配失败,选择进行模型调优训练。
进一步的,对所述影像结果进行全图扫描获取缺失图片信息进行图片特征填充,进而得出最终影像图像的过程包括:
获取影像结果,并设置若干个切分队列和扫描节点,切分队列设置有切分容量,扫描节点内置有图片资源库,图片资源库用于进行缺失图片信息的检索比对;
获取影像结果对应的影像数据量,记为H,记切分容量为H`,将H和H`进行比值生成X个切分影像片段,有X=H/H`,将每个切分影像片段导入扫描节点,导入后扫描节点相应的图片资源库获取切分影像片段,并扫描出其对应的图片信息;
若图片信息存在缺失问题,则生成缺失图片信息,并检索图片资源库内的图片资源,若满足填充要求,则将图片资源填充至缺失图片信息的相应位置处,否则,进行特征填充,进而根据影像结果获取对应的最终影像图像。
与现有技术相比,本发明的有益效果是:采集若干数据量的影像样本,并通过生成式人工智能技术获取影像样本的特征关联集构建特征模型库,对特征模型库进行训练,判断其识别率是否合格,为后续图像特征提取以及特征匹配奠定了良好的条件基础,此外,采集时进行的安全采集保证了获取到的数据的安全性;根据特征匹配的结果进行影像转换和影像增强,一定程度上消除了图像处理时产生的各类误差,通过模型调优训练则有效的改善了模型存在过拟合和识别精度不高的问题;此外,通过对获取到的影像结果进行全图扫描得到缺失图片信息,并将缺失图片信息与图片资源库进行检索比对,当图片资源库能满足填充时由其进行填充处理,不能满足填充要求时,则划分填充区域生成区域填充参数进行特征填充,实现了高效合理的分情况填充,从而有效的实现了对影像的优化。
附图说明
图1为本发明的流程图。
具体实施方式
如图1所示,一种基于生成式人工智能与图神经网络的影像优化方法,包括以下步骤:
步骤S1:采集若干数据量的影像样本,并通过生成式人工智能技术获取影像样本的特征关联集,进而构建特征模型库,对特征模型库进行识别率判断;
步骤S2:获取待优化影像,通过图神经网络技术对待优化影像进行语义理解以及图像特征提取,进而生成待优化图像数据集;
步骤S3:将待优化图像数据集导入至特征模型库内进行特征匹配,根据特征匹配的结果,选择进行影像转换、影像增强以及模型调优训练,通过影像转换和影像增强生成影像结果;
步骤S4:对影像结果进行全图扫描,进而扫描出缺失图片信息,根据缺失图片信息进行图片特征填充,进而得出最终影像图像。
需要进一步说明的是,在具体的实施过程中,采集若干数据量的影像样本,并获取影像样本的特征关联集,进而构建特征模型库的过程包括:
所述影像样本对应有不同的样本来源,样本来源包括影像机器拍摄、网络抓取以及数据库录入,不同的样本来源对应关联不同的源码标识,分别为影像机器拍摄、网络抓取和数据库录入对应的源码标识为Sign1、Sign2以及Sign3,不同的源码标识有对应的采集操作;
所述采集操作包括普通采集和安全采集;
当源码标识为Sign1时,对应的采集操作为普通采集;
当源码标识为Sign2和Sign3时,对应的采集操作为安全采集;
获取影像样本的数据量,记为R,设置数据采集窗口,数据采集窗口预设有对应的单位采集速率,记为V,设置采集时间,记为T,获取采集时间T内数据采集窗口捕获到的实时数据量,记为R,获取数据采集窗口的实时采集速率,记为V,有V=R/T
当执行普通采集时,生成临时交互空间,在临时交互空间内判断V和V实的大小关系,根据判断结果执行不同的调节操作,所述判断结果包括结果一和结果二,当V>V时,对应结果一,执行的调节操作为:增大数据采集窗口的规格,且控制规格在预设的限定规格之内,直至V=V,当V≤V时,对应结果二,执行的调节操作为:缩小数据采集窗口的规格,直至V=V
当执行安全采集时,对生成的临时交互空间进行动态加密并执行普通采集的对应操作,获取实时网络环境,进而获取实时网络环境对应的网络参数,若网络参数符合定义的危险参数,则进行加密,否则,标记不存在危险参数的时间区间为安全交互时间,不进行加密;
获取影像样本后,通过生成式人工智能技术获取影像样本的特征关联集,所述特征关联集包括若干个特征上下文,对特征上下文进行编号,记为i,则有i=1,2,3,……,n,其中n为大于0的自然数,获取每个特征上下文所包括的若干个特征关键词,获取任意两个特征上下文的关键词重叠度,若任意两个特征上下文的关键词重叠度大于等于预设的关联阈值,则将二者封装为一个特征元素,重复上述操作,进而生成若干个特征元素;
将特征元素对应的关键词重叠度作为相应特征元素的区分标识ID,导入若干个特征元素至预设的初始模型库内,并在初始模型库内按照区分标识ID划分出若干个分区,进而将初始模型库构建为特征模型库;
需要进一步说明的是,在具体的实施过程中,对特征模型库进行识别率判断的过程包括:
遍历若干个不同区分标识ID对应的分区,为每个分区关联一个数据导入节点,设置导入时间,记为T,设置监测时间,记为T,预设判断程序;
在T对应的时间段内,通过分区关联的数据导入节点获取待判别数据,并将待判别数据导入当前相应的分区,导入完毕后,对分区接入判断程序,由判断程序获取待判别数据进行识别率判断;
记所述识别率为S,预设识别率区分阈值,记为S,若S≥S,则标记相应分区的特征元素为合格元素,将识别率判断的结果标识为“合格”,若S<S,则标记相应分区的特征元素为非合格元素,将识别率判断的结果标识为“非合格”;
若判断为“合格”,则不进行任何操作,若判断为“非合格”,则生成反馈预警发送至管理员处,由管理员接收反馈预警进而对关联阈值进行变更,并重新进行特征元素的生成;
在T对应的时间段内,遍历每个分区,进而获取每个分区内的状态参数,记为Sta,获取历史状态参数,记为Sta,预设浮动参数差值区间,记为Ω,有Ω=[min,max],其中min为区间的最小值,max为区间的最大值,获取每个分区的参数差值,记为CZ,有CZ=|Sta-Sta|;
根据浮动参数差值区间Ω和参数差值的从属关系,执行相应的不同操作;
若CZ∈Ω,表示当前分区状态正常,则不进行任何操作;
若CZ∉Ω,表示当前分区状态异常,获取异常对应的故障信息生成检修报表传输至相应的检修人员处,由检修人员进行故障排除;
需要进一步说明的是,在具体的实施过程中,获取待优化影像,进行所述语义理解的过程包括:
获取待优化影像,通过图神经网络技术进行语义理解,进而获取待优化影像对应的语义信息,所述语义信息包括物体类别、物体属性、场景信息、空间关系以及时间信息;
获取语义信息,进而按照合规比例设置出语义测试集和语义训练集,将语义测试集录入至语义卷积图神经网络模型内进行语义测试,进而获取测试成功率;
记所述测试成功率为Sc,以时间信息所包括的若干个时间戳为遍历节点,依次判断物体类别、物体属性、场景信息以及空间关系,若物体类别、物体属性、场景信息以及空间关系都识别正确,则标识“识别成功”,否则标识“识别失败”;
获取测试总次数,记为Num1,获取标识为“识别成功”的次数,记为Num2,则有Sc=Num2/Num1,预设停测阈值,记为Tc,若Sc≥Tc,则停止测试,若Sc<Tc,则将语义训练集录入至语义卷积图神经网络模型内进行模型训练,直至满足Sc≥Tc停止模型训练;
需要说明的是,在Sc≥Tc时,将语义卷积图神经网络模型转换为合规模型,表示此时的语义卷积图神经网络模型已经能够较准确的获取待优化影像的语义信息,当Sc<Tc时,进行的模型训练能够更好的拟合模型,从而为语义理解奠定基础,合规比例人为设置,一般设置为3:7,合规比例可进行更改;
需要进一步说明的是,在具体的实施过程中,进行所述图像特征提取,进而生成待优化图像数据集的过程包括:
当所述语义卷积图神经网络模型训练完成后,通过其获取若干个待优化影像的语义信息,将语义信息中的物体类别和物体属性作为第一特征提取项,将语义信息中的场景信息和空间关系作为第二特征提取项;
所述物体类别有对应的类别特征,预设类别数据信息库,所述类别数据信息库内存储有若干种类别特征,将第一特征提取项输入至类别数据信息库内,若当前的类别特征与类别数据信息库内的类别特征比对成功,则标记该物体类别为已有物体类别,否则,标记为未知物体类别;
所述物体属性包括颜色属性、纹理属性、形状属性以及光照属性;
所述场景信息有对应的场景类别、主视图元素以及背景视图元素;
所述空间关系包括重叠关系、邻近关系、包含关系以及其他几何关系;
将第一特征提取项和第二特征提取项分别作为第一集合元素和第二集合元素,进而根据第一集合元素和第二集合元素封装生成待优化图像数据集;
需要进一步说明的是,在具体的实施过程中,将待优化图像数据集导入至特征模型库内进行特征匹配的过程包括:
获取待优化图像数据集,并将待优化图像数据集导入至特征模型库内,在待优化图像数据集导入至特征模型库之前,建立外部交互空间,先将待优化图像数据集转存至外部交互空间内进行安全鉴定;
所述安全鉴定的内容如下:
设置鉴定时段,记为T,有T=[T1,T2],其中T1为鉴定时段的开始时间,T2为鉴定时段的结束时间,在鉴定时段内获取待优化图像数据集所关联的网络IP地址和实时网络参数;
将网络IP地址与预设的IP地址表单进行比对,所述IP地址表单包括若干个IP项,若网络IP地址为若干个IP项其中的一个,则标识该网络IP地址为合法地址,否则,对网络IP地址进行审核;
若审核通过,则标记其为新增合法地址,若审核失败,则将网络IP地址对应的待优化图像数据集标记为风险数据,备份风险数据生成备份数据传输至预设的数据回收站内,将当前的风险数据剔除;
获取合法地址或新增合法地址对应的实时网络参数,所述实时网络参数包括网络流量、响应延迟、会话状态以及网络日志信息,进而根据实时网络参数获取实时网络环境;
将网络流量与预设的流量阈值进行比对,若小于等于流量阈值,则生成比对系数一,记比对系数一的数值为Data1,否则,不进行比对系数的生成;
将响应延迟与预设的延迟区间进行从属关系判别,若响应延迟从属于延迟区间,则生成比对系数二,记比对系数二的数值为Data2,否则,不生成比对系数;
所述会话状态包括正常会话和异常会话,获取会话时间,进而获取会话时间内正常会话和异常会话各自的频数,分别记为F1和F2,获取会话总频数,记为F,进而获取会话成功率和会话失败率,分别记为C1和C2
有C1=F1/F,C2=F2/F,若C1<C2,则生成比对系数三,记其对应的数值为Data3,若C1≥C2,则不进行比对系数的生成;
获取总比对系数,记为D,则有D=Data1+Data2+Data3,设置风险系数区间与安全系数区间,分别记为Δ1和Δ2,若D∈Δ1,则设置实时网络环境为安全环境,若D∈Δ2,则设置实时网络环境为危险环境;
获取网络日志信息,进而获取网络日志信息所包括的若干个日志项,若日志项中异常的数目超过预设的临界值,则对外部交互空间进行漏洞扫描,通过漏洞扫描检索出若干个网络漏洞,进而对网络漏洞进行修复;
在安全环境下,建立外部交互空间与特征模型库之间的数据传输通道,进而将待优化图像数据集导入至特征模型库,进而获取待优化图像数据集的图像特征系数,记为α,将特征模型库每个分区对应的区分标识ID作为相应的分区特征系数,记为β;
预设匹配系数,记为γ;
若α/β≥γ,则表示特征匹配成功,生成执行指令一;
若α/β<γ,则表示特征匹配失败,生成执行指令二;
需要进一步说明的是,在具体的实施过程中,根据特征匹配的结果,选择进行所述影像转换、影像增强以及模型调优训练,进而生成影像结果的过程包括:
所述特征匹配的结果包括特征匹配成功和特征匹配失败;
当获取到执行指令一时,表示特征匹配成功,进而选择进行影像转换和影像增强,并生成影像结果;
获取当前待优化图像数据集对应的物体类别,若物体类别为已有物体类别,则跳过影像转换和影像增强的操作步骤,并获取已有物体类别所关联的影像特征参数,进而获取其对应的影像结果;
若物体类别为未知物体类别,则获取物体类别相对应的物体属性、场景信息以及空间关系,进而根据场景信息和空间关系进行影像转换生成影像拓扑图;
分析影像拓扑图对应的物体属性,内容如下:
获取物体属性中颜色属性、纹理属性、形状属性以及光照属性的属性值,分别记各自的属性值为τ1、τ2、τ3以及τ4,设置各自对应的影像增强判定值,并分别记为ω1、ω2、ω3和ω4
当τ1≥ω1时,获取出现异常颜色的像素块,进而获取该像素块像素值与标准像素区间值的差值,相应的生成颜色增强系数,当τ1<ω1时,生成标识sg1;
当τ2≥ω2时,获取出现异常纹理的像素块,进而获取该像素块纹理度与标准纹理度的差值,相应的生成纹理增强系数,当τ2<ω2时,生成标识sg2;
当τ3≥ω3时,获取形状异常的像素块的坐标和面积,进而根据坐标定位出异常像素块,并根据面积计算生成面积修正系数,当τ3<ω3时,生成标识sg3;
当τ4≥ω4时,获取若干个像素块的光照面积,进而判断光照面积对应的光斑投影区域是否超过预设的投影阈值区域,若是,则生成对比度修正系数和亮度增强系数,若否,则不进行任何操作,当τ4<ω4时,生成标识sg4;
获取颜色增强系数、纹理增强系数、面积修正系数、对比度修正系数以及亮度增强系数,对影像拓扑图进行相应修正和增强,进而生成影像结果;
需要说明的是,当获取到相应的标识sg1、sg2、sg3以及sg4时,标识对应的物体属性不需要进行修正和增强,一定程度上避免了对全部物体属性进行更改的工作量,做到了按需修改;
当获取到执行指令二时,表示特征匹配失败,选择进行模型调优训练;
设置调优时段,记为T,设置训练时段,记为T
在T对应的时间内,获取特征模型库对应的合规模型,获取合规模型对应的拟合参数,记为K,获取拟合参数K对应的拟合度,记为G,获取过往的若干个时间节点的拟合度;
分别记若干个时间节点的拟合度为G1、G2、G3、……、Gv,进而获取历史平均拟合度,记为G,G=(G1+G2+G3+……+Gv)/v,判断G和G的大小关系,进而选择是否进行模型训练;
若G≥G,则在T对应的时间内调整合规模型的拟合参数,直至满足G<G时,停止拟合参数的调整,并将此时的拟合参数标识为最佳拟合参数,记为K`,进行初始的拟合参数的替换,即进行K=K`的操作;
需要进一步说明的是,在具体的实施过程中,对影像结果进行全图扫描,进而扫描出缺失图片信息,根据缺失图片信息进行图片特征填充,进而得出最终影像图像的过程包括:
获取影像结果,并设置若干个切分队列和扫描节点,所述切分队列设置有切分容量,所述扫描节点内置有图片资源库,图片资源库用于进行缺失图片信息的检索比对;
获取影像结果对应的影像数据量,记为H,记切分容量为H`,进而比值生成X个切分影像片段,有X=H/H`,将每个切分影像片段导入扫描节点,导入后,扫描节点相应的图片资源库获取切分影像片段,并扫描出其对应的图片信息;
若图片信息存在缺失问题,则生成缺失图片信息,并检索图片资源库内的图片资源,若满足填充要求,则将图片资源填充至缺失图片信息的相应位置处,否则,进行特征填充;
所述特征填充的内容如下:
在缺失图片信息对应的缺失部位处设置若干个填充点位,以每个填充点位为圆心,设置填充半径,进而生成若干个填充区域,获取图片信息完整的部分,并通过图像处理算法获取完整的部分对应的纹理特征、像素特征以及噪声特征;
将根据图像信息完整的部分获取的纹理特征、像素特征以及噪声特征作为已有图像特征,获取上述已有图像特征的特征系数,并通过特征匹配算法获取与各特征系数相关的区域填充参数;
将区域填充参数插值入各个填充区域,并对各个填充区域的连接部分进行图像平滑处理,进而补全缺失图片信息对应的缺失部位;
进而根据影像结果获取对应的最终影像图像;
需要说明的是,当图片资源库内的图片资源能够满足缺失图片信息对应缺失部位的填充时,由其进行填充,不满足时才进行特征填充,一定程度上减少了计算区域填充参数的工作量。
以上实施例仅用以说明本发明的技术方法而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方法进行修改或等同替换,而不脱离本发明技术方法精神和范围。

Claims (9)

1.一种基于生成式人工智能与图神经网络的影像优化方法,其特征在于,包括以下步骤:
步骤S1:采集若干数据量的影像样本,并通过生成式人工智能技术获取影像样本的特征关联集,进而构建特征模型库,对特征模型库进行识别率判断;
步骤S2:获取待优化影像,通过图神经网络技术对待优化影像进行语义理解以及图像特征提取,进而生成待优化图像数据集;
步骤S3:将待优化图像数据集导入至特征模型库内进行特征匹配,根据特征匹配的结果,选择进行影像转换、影像增强以及模型调优训练,通过影像转换和影像增强生成影像结果;
步骤S4:对影像结果进行全图扫描,进而扫描出缺失图片信息,根据缺失图片信息进行图片特征填充,进而得出最终影像图像。
2.根据权利要求1所述的一种基于生成式人工智能与图神经网络的影像优化方法,其特征在于,所述采集若干数据量的影像样本的过程包括:
所述影像样本对应有不同的样本来源,不同样本来源关联不同的源码标识和采集操作,采集操作包括普通采集和安全采集,源码标识包括Sign1、Sign2和Sign3,当源码标识为Sign1时,对应的采集操作为普通采集,当源码标识为Sign2和Sign3时,对应的采集操作为安全采集;
获取影像样本的数据量,记为R,设置数据采集窗口及其对应的单位采集速率,记为V,设置采集时间,记为T,获取采集时间T内数据采集窗口捕获到的实时数据量,记为R,进而获取实时采集速率,记为V,有V=R/T
当执行普通采集时,生成临时交互空间,在临时交互空间内判断V和V的大小关系生成不同的判断结果,根据判断结果执行相应的调节操作,当执行安全采集时,对生成的临时交互空间进行动态加密并执行普通采集的对应操作。
3.根据权利要求2所述的一种基于生成式人工智能与图神经网络的影像优化方法,其特征在于,构建所述特征模型库的过程包括:
获取影像样本后,通过生成式人工智能技术获取影像样本的特征关联集,所述特征关联集包括若干个特征上下文,获取特征上下文所包括的若干个特征关键词,获取任意两个特征上下文的关键词重叠度,若任意两个特征上下文的关键词重叠度大于等于预设的关联阈值,则将二者封装为一个特征元素,将特征元素对应的关键词重叠度作为其区分标识ID,导入若干个特征元素至预设的初始模型库内,并在初始模型库内按照区分标识ID划分出若干个分区,进而将初始模型库构建为特征模型库。
4.根据权利要求3所述的一种基于生成式人工智能与图神经网络的影像优化方法,其特征在于,对所述特征模型库进行识别率判断的过程包括:
为每个分区关联一个数据导入节点,设置导入时间和判断程序,通过每个分区的数据导入节点在导入时间内获取待判别数据,并由判断程序进行识别率判断,获取识别率记为S,预设识别率区分阈值,记为S,若S≥S,则标记相应分区的特征元素为合格元素,将识别率判断的结果标识为“合格”,若S<S,则标记特征元素为非合格元素,将识别率判断的结果标识为“非合格”,根据不同判断的结果执行相应操作。
5.根据权利要求4所述的一种基于生成式人工智能与图神经网络的影像优化方法,其特征在于,获取所述待优化影像并语义理解的过程包括:
获取待优化影像,通过图神经网络技术进行语义理解,进而获取待优化影像对应的语义信息,设置合规比例划分出语义测试集和语义训练集,将语义测试集录入至设置的语义卷积图神经网络模型内进行语义测试,进而获取测试成功率,记测试成功率为Sc,预设停测阈值,记为Tc,若Sc≥Tc,则停止测试,若Sc<Tc,则将语义训练集录入至语义卷积图神经网络模型内进行模型训练,直至满足Sc≥Tc停止模型训练。
6.根据权利要求5所述的一种基于生成式人工智能与图神经网络的影像优化方法,其特征在于,进行所述图像特征提取生成待优化图像数据集的过程包括:
获取语义信息中的物体类别和物体属性作为第一特征提取项,将语义信息中的场景信息和空间关系作为第二特征提取项,将第一特征提取项和第二特征提取项分别作为第一集合元素和第二集合元素,进而根据第一集合元素和第二集合元素封装生成待优化图像数据集。
7.根据权利要求6所述的一种基于生成式人工智能与图神经网络的影像优化方法,其特征在于,进行所述特征匹配的过程包括:
获取待优化图像数据集并导入至特征模型库内,在导入之前,建立外部交互空间存储待优化图像数据集进行安全鉴定,通过安全鉴定生成安全环境,在安全环境下,建立外部交互空间与特征模型库之间的数据传输通道,将待优化图像数据集导入至特征模型库,进而获取其对应的图像特征系数,记为α,获取特征模型库每个分区的分区特征系数,记为β,预设匹配系数,记为γ;
若α/β≥γ,则表示特征匹配成功,生成执行指令一;
若α/β<γ,则表示特征匹配失败,生成执行指令二。
8.根据权利要求7所述的一种基于生成式人工智能与图神经网络的影像优化方法,其特征在于,进行所述影像转换、影像增强以及模型调优训练,并生成影像结果的过程包括:
获取特征匹配的结果,所述特征匹配的结果包括特征匹配成功和特征匹配失败,当获取到执行指令一时,表示特征匹配成功,进而选择进行影像转换和影像增强,并生成影像结果,当获取到执行指令二时,表示特征匹配失败,选择进行模型调优训练。
9.根据权利要求8所述的一种基于生成式人工智能与图神经网络的影像优化方法,其特征在于,对所述影像结果进行全图扫描获取缺失图片信息进行图片特征填充,进而得出最终影像图像的过程包括:
获取影像结果,并设置若干个切分队列和扫描节点,切分队列设置有切分容量,扫描节点内置有图片资源库,图片资源库用于进行缺失图片信息的检索比对;
获取影像结果对应的影像数据量,记为H,记切分容量为H`,将H和H`进行比值生成X个切分影像片段,有X=H/H`,将每个切分影像片段导入扫描节点,导入后扫描节点相应的图片资源库获取切分影像片段,并扫描出其对应的图片信息;
若图片信息存在缺失问题,则生成缺失图片信息,并检索图片资源库内的图片资源,若满足填充要求,则将图片资源填充至缺失图片信息的相应位置处,否则,进行特征填充,进而根据影像结果获取对应的最终影像图像。
CN202311509666.5A 2023-11-14 2023-11-14 一种基于生成式人工智能与图神经网络的影像优化方法 Active CN117274110B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311509666.5A CN117274110B (zh) 2023-11-14 2023-11-14 一种基于生成式人工智能与图神经网络的影像优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311509666.5A CN117274110B (zh) 2023-11-14 2023-11-14 一种基于生成式人工智能与图神经网络的影像优化方法

Publications (2)

Publication Number Publication Date
CN117274110A true CN117274110A (zh) 2023-12-22
CN117274110B CN117274110B (zh) 2024-02-13

Family

ID=89216232

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311509666.5A Active CN117274110B (zh) 2023-11-14 2023-11-14 一种基于生成式人工智能与图神经网络的影像优化方法

Country Status (1)

Country Link
CN (1) CN117274110B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102938142A (zh) * 2012-09-20 2013-02-20 武汉大学 基于Kinect的室内LiDAR缺失数据填补方法
CN109741268A (zh) * 2018-12-05 2019-05-10 天津大学 一种针对壁画的破损图像补全方法
CN113378976A (zh) * 2021-07-01 2021-09-10 深圳市华汉伟业科技有限公司 一种基于特征顶点组合的目标检测方法、可读存储介质
CN114022372A (zh) * 2021-10-25 2022-02-08 大连理工大学 一种引入语义损失上下文编码器的掩膜图像修补方法
CN114219995A (zh) * 2021-12-16 2022-03-22 哈尔滨工业大学 基于图像补全的空间目标异源图像匹配方法
US20220375050A1 (en) * 2021-05-18 2022-11-24 Samsung Electronics Co., Ltd. Electronic device performing image inpainting and method of operating the same
CN115761366A (zh) * 2022-11-28 2023-03-07 电子科技大学长三角研究院(湖州) 补充缺失特征的零样本图片分类方法、系统、设备及介质
CN116862832A (zh) * 2023-04-26 2023-10-10 国网甘肃省电力公司电力科学研究院 一种基于三维实景模型的作业人员定位方法
CN116895089A (zh) * 2023-07-24 2023-10-17 成都信息工程大学 一种基于生成对抗网络的人脸多元化补全方法及系统
CN116977937A (zh) * 2023-08-09 2023-10-31 沈阳大学 一种行人重识别的方法及系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102938142A (zh) * 2012-09-20 2013-02-20 武汉大学 基于Kinect的室内LiDAR缺失数据填补方法
CN109741268A (zh) * 2018-12-05 2019-05-10 天津大学 一种针对壁画的破损图像补全方法
US20220375050A1 (en) * 2021-05-18 2022-11-24 Samsung Electronics Co., Ltd. Electronic device performing image inpainting and method of operating the same
CN113378976A (zh) * 2021-07-01 2021-09-10 深圳市华汉伟业科技有限公司 一种基于特征顶点组合的目标检测方法、可读存储介质
CN114022372A (zh) * 2021-10-25 2022-02-08 大连理工大学 一种引入语义损失上下文编码器的掩膜图像修补方法
CN114219995A (zh) * 2021-12-16 2022-03-22 哈尔滨工业大学 基于图像补全的空间目标异源图像匹配方法
CN115761366A (zh) * 2022-11-28 2023-03-07 电子科技大学长三角研究院(湖州) 补充缺失特征的零样本图片分类方法、系统、设备及介质
CN116862832A (zh) * 2023-04-26 2023-10-10 国网甘肃省电力公司电力科学研究院 一种基于三维实景模型的作业人员定位方法
CN116895089A (zh) * 2023-07-24 2023-10-17 成都信息工程大学 一种基于生成对抗网络的人脸多元化补全方法及系统
CN116977937A (zh) * 2023-08-09 2023-10-31 沈阳大学 一种行人重识别的方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨荟聪: "一种融合多尺度残差和门控卷积的图像修复算法", 南昌航空大学学报:自然科学版 *

Also Published As

Publication number Publication date
CN117274110B (zh) 2024-02-13

Similar Documents

Publication Publication Date Title
CN110880019B (zh) 通过无监督域适应训练目标域分类模型的方法
CN112579707A (zh) 一种日志数据的知识图谱构建方法
CN111723870B (zh) 基于人工智能的数据集获取方法、装置、设备和介质
CN114841789B (zh) 基于区块链的审计审价故障数据在线编辑方法及系统
WO2021142072A1 (en) Peceptual video fingerprinting
CN113239365A (zh) 一种基于知识图谱的漏洞修复方法
CN114780370A (zh) 基于日志的数据修正方法、装置、电子设备及存储介质
CN114095447A (zh) 一种基于知识蒸馏与自蒸馏的通信网络加密流量分类方法
CN110414792A (zh) 基于bim和大数据的部品集采管理系统及相关产品
CN117274110B (zh) 一种基于生成式人工智能与图神经网络的影像优化方法
CN116248393A (zh) 一种内网数据传输漏洞扫描装置及系统
CN117081801A (zh) 网站的内容管理系统的指纹识别方法、装置及介质
CN117152844A (zh) 基于计算机视觉的高完整性工人施工姿态检测方法及系统
CN114665986B (zh) 一种蓝牙钥匙的测试系统及方法
CN114722240A (zh) 一种用于堡垒机录屏审计的视频分类方法和系统
CN107402920A (zh) 确定关系数据库表关联复杂度的方法和装置
CN103186785B (zh) 肤色侦测方法及系统
CN111666439A (zh) 针对云端环境快速提取和划分医学影像大数据的工作方法
CN118551408B (zh) 一种基于区块链的医疗数据安全和隐私保护系统
CN117714213B (zh) 基于商用密码评测要求的证据链自动校验方法及系统
CN111666262B (zh) 海量医学影像在网络附属存储nas状态下特征点提取工作方法
CN116049700B (zh) 基于多模态的运检班组画像生成方法及装置
CN117592061B (zh) 融合代码漏洞特征及属性图的源代码安全检测方法与装置
CN113590903B (zh) 一种情报数据的管理方法及装置
CN113254808B (zh) 一种gis数据筛选方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant