CN109934880A - 基于人工智能的文物图像复原方法、装置和设备 - Google Patents

基于人工智能的文物图像复原方法、装置和设备 Download PDF

Info

Publication number
CN109934880A
CN109934880A CN201910205497.3A CN201910205497A CN109934880A CN 109934880 A CN109934880 A CN 109934880A CN 201910205497 A CN201910205497 A CN 201910205497A CN 109934880 A CN109934880 A CN 109934880A
Authority
CN
China
Prior art keywords
historical relic
image
sample image
historical
relic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910205497.3A
Other languages
English (en)
Inventor
熊友谊
王勇
熊四明
张文金
张孝文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Ouke Information Technology Co Ltd
Original Assignee
Guangzhou Ouke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Ouke Information Technology Co Ltd filed Critical Guangzhou Ouke Information Technology Co Ltd
Priority to CN201910205497.3A priority Critical patent/CN109934880A/zh
Publication of CN109934880A publication Critical patent/CN109934880A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本申请实施例公开了基于人工智能的文物图像复原方法、装置和设备,该方法包括:对采集的文物样品图像进行预处理,所述文物样品图像为文物碎片的图像,所述预处理包括提取纹理特征;将所述文物样品图像基于神经网络方法映射到平面坐标系中得到平面图像,所述平面图像中相邻两幅文物样品图像的纹理特征达到匹配阈值;以预设文物样品图像为主视角将所述平面图像中的其他文物样品图像反投影到全景坐标系,得到文物全景图像,实现了基于文物碎片生成文物整体图像,以供文物修复过程中的操作参考,减少直接人工修复可能带来的二次伤害。

Description

基于人工智能的文物图像复原方法、装置和设备
技术领域
本申请实施例涉及图像智能处理技术,尤其涉及基于人工智能的文物图像复原方法、装置和设备。
背景技术
我国文明源远流长,在漫长悠久的历史中,产生了种类丰富,数量庞大的文物,但是随着时间的流逝,大量文物因为人为或自然的原因遭到不同程度的破坏。尤其对于陶器、瓷器类的文物,破坏后的复原需要相当强的专业知识,如果对文物没有初步的整体印象,仅仅通过逐片拼接的方式进行探索式修复,在判断错误或操作不当的情况下,可能对文物造成二次伤害。
发明内容
本申请提供了基于人工智能的文物图像复原方法、装置和设备,以解决现有技术中文物修复过程对文物整体印象的模糊生成。
本申请采用如下技术方案:
第一方面,本申请实施例提供了一种基于人工智能的文物图像复原方法,该方法包括:
对采集的文物样品图像进行预处理,所述文物样品图像为文物碎片的图像,所述预处理包括提取纹理特征;
将所述文物样品图像基于神经网络方法映射到平面坐标系中得到平面图像,所述平面图像中相邻两幅文物样品图像的纹理特征达到匹配阈值;
以预设文物样品图像为主视角将所述平面图像中的其他文物样品图像反投影到全景坐标系,得到文物全景图像。
其中,所述将所述文物样品图像基于神经网络方法映射到平面坐标系中得到平面图像,包括:
根据所述纹理特征生成训练数据,对神经网络进行预先训练,将训练后的神经网络作为图像映射模型;
根据所述图像映射模型对所述文物样品图像在平面坐标系中进行映射得到平面图像。
其中,所述以预设文物样品图像为主视角将所述平面图像中的其他文物样品图像反投影到全景坐标系,得到文物全景图像之前,还包括:
确认所述文物全景图像中文物样品图像之间的偏差小于门限值。
其中,所述以预设文物样品图像为主视角将所述平面图像中的其他文物样品图像反投影到全景坐标系,得到文物全景图像之后,还包括:
检测所述文物全景图像的空白区域,对所述文物全景图像进行空白区域填充或重生成。
其中,所述纹理特征包括边缘形状、表面纹理和色彩特征。
第二方面,本申请实施例提供了一种基于人工智能的文物图像复原装置,该装置,包括:
预处理单元,用于对采集的文物样品图像进行预处理,所述文物样品图像为文物碎片的图像,所述预处理包括提取纹理特征;
映射单元,用于将所述文物样品图像基于神经网络方法映射到平面坐标系中得到平面图像,所述平面图像中相邻两幅文物样品图像的纹理特征达到匹配阈值;
反投影单元,用于以预设文物样品图像为主视角将所述平面图像中的其他文物样品图像反投影到全景坐标系,得到文物全景图像。
其中,所述映射单元,包括:
模型训练模块,用于根据所述纹理特征生成训练数据,对神经网络进行预先训练,将训练后的神经网络作为图像映射模型;
平面映射模块,用于根据所述图像映射模型对所述文物样品图像在平面坐标系中进行映射得到平面图像。
其中,还包括:
门限值确认单元,用于确认所述文物全景图像中文物样品图像之间的角度偏差小于门限值。
其中,还包括:
空白处理单元,用于检测所述文物全景图像的空白区域,对所述文物全景图像进行空白区域填充或重生成。
第三方面,本申请实施例提供了一种电子设备,该电子设备包括:
存储器以及一个或多个处理器;
所述存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如第一方面任一所述的基于人工智能的文物图像复原方法。
第四方面,本申请实施例提供了一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的基于人工智能的文物图像复原方法。
本申请采用的技术方案中有如下有益效果:通过对采集的文物样品图像进行预处理,所述文物样品图像为文物碎片的图像,所述预处理包括提取纹理特征;然后将所述文物样品图像基于神经网络方法映射到平面坐标系中得到平面图像,所述平面图像中相邻两幅文物样品图像的纹理特征达到匹配阈值;最后以预设文物样品图像为主视角将所述平面图像中的其他文物样品图像反投影到全景坐标系,得到文物全景图像,实现了基于文物碎片生成文物整体图像,以供文物修复过程中的操作参考,减少直接人工修复可能带来的二次伤害。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1是本申请实施例提供的一种基于人工智能的文物图像复原方法的流程图;
图2是本申请实施例提供的另一种基于人工智能的文物图像复原方法的流程图;
图3-图5是三个文物样品图像的形状示意图;
图6是图3-图5中三个文物样品图像拼接后的效果示意图;
图7是文物复原效果示意图;
图8是本申请实施例提供的一种基于人工智能的文物图像复原装置的结构示意图;
图9是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是,此处所描述的具体实施例仅仅用于解释本申请,而非对本申请的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理,但是其中的许多操作可以被并行地、并发地或者同时实施。此外,各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止,但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
首先对本申请实施例的应用场景进行介绍,该基于人工智能的文物图像复原方法可以有效辅助处理文物挖掘后的复原工作。例如,在某个古瓷窑或古墓挖掘出多片陶器或瓷器碎片,可以对多片陶器或瓷器碎片进行图像采集得到文物样品图像,对文物样品图像进行本方案中的处理过程之后,可以初步得到文物的整体图像,作为后续文物修复过程中的参考。
图1给出了本申请实施例提供的一种基于人工智能的文物图像复原方法的流程图,本实施例提供的基于人工智能的文物图像复原方法可以由本申请实施例中的基于人工智能的文物图像复原装置来执行,该基于人工智能的文物图像复原装置可通过硬件和/或软件的方式实现。参考图1,该方法具体可以包括:
S101:对采集的文物样品图像进行预处理,所述文物样品图像为文物碎片的图像,所述预处理包括提取纹理特征。
在文物保护过程中,需要对文物现场进行尽可能全面的信息采集,后续甚至可能要进行现场还原,这些信息采集主要通过图像采集的方式完成。在本方案中,处理对象主要是文物碎片的图像。在对文物样品图像进行预处理时,为进行后续处理,需要进行纹理特征的提取,此外,还可以进行文物碎片的前景提取,噪声去除等。具体的前景提取可以基于色差,基于矢量边缘等。
不同的特征可以通过不同的数学表达进行描述,例如文物样品图像的边缘形状可以通过多个离散点表述为封闭多边形,例如文物样品图像的色彩特征,可以对应于颜色的分布区域同样通过多个离散点表述为封闭多边形,并标记提取到的颜色。在具体的表述中,对于封闭多边形中的任一离散点Pi,可以通过一个三元数组(lii,li+1)作为其数学表达的特征量,其中li和li+1分别表示离散点Pi与相邻的两个离散点之间的距离,θi表示离散点Pi与相邻两个离散点之间线段的夹角。在此基础上,每个文物样品图像的边缘形状通过多个有序离散点对应的多个三元数组的对应排序进行描述。
同理,一个文物样品图像中的每个色彩特征需要通过有序离散点对应的多个三元数组描述该色彩的分布区域,此外,色彩特征还需要有对具体颜色的描述,具体颜色的描述可以通过一个三元数组(R,G,B)描述该色彩特征的具体颜色,当然R、G、B不一定是一个具体的数值,也可以是某一个数值一定范围内的浮动,例如(135±5,150±5,200±5),具体颜色的描述还可以通过十六进制实现,十六进制描述的颜色同样可以在通过浮动方式表达相近颜色。
S102:将所述文物样品图像基于神经网络方法映射到平面坐标系中得到平面图像,所述平面图像中相邻两幅文物样品图像的纹理特征达到匹配阈值。
宏观上,实现映射的神经网络的网络结构可以设置为生成器网络和判别器网络,二者分别可以通过多层感知器或卷积神经网络实现。多层感知器是一种前馈人工神经网络模型,其将输入的多个数据集映射到单一的输出的数据集上;卷积神经网络是一个多层的神经网络,每层由多个二维平面组成,而每个平面由多个独立神经元组成。生成器网络用于生成两个文物碎片之间的相对方位关系,判别器网络用于判断该相对方位关系的真假,通过持续不断的学习,最终确认多个文物碎片的一个或多个相对方位关系,实现文物碎片在一个平面上的有序分布。需要说明的是,立体结构的陶瓷或瓷器破损生成的文物碎片在一个平面上平铺之后,会有一部分的文物碎片不是外周都有临近的文物碎片,这种状态在进行映射时是允许存在,但是平铺后的文物图像作为一个整体,只有外周允许这种状态存在。
在具体映射过程的实现机制上,文物样品图像在平面坐标系中的匹配通过多次特征比对实现,例如需要比对边缘形状和色彩特征。
关于边缘形状的比对,在具体进行比对时,需要针对每个边缘形状上的所有离散点进行处理,如果有大量的文物碎片图像(边缘形状),每个边缘形状有大量的离散点,对精细尺度下数量庞大的离散点逐个比较的时间复杂度很高,会严重影响比对效率,因此,在具体进行比对时,可以调整边缘形状中离散点的精细程度进行逐级计算。首先采用粗糙的精度进行数据的筛选,再逐步细化精度空间,通过分级的操作逐步清除明显不匹配的边缘形状,从而达到减少待匹配的边缘形状数量的效果。例如以角度作为筛选依据,通常来说,离散点对应的三元数组中的角度值越大,该处的线条越平滑,线条变化越小;离散点对应的三元数组中的角度值越小,该处的线条越曲折,线条变化越大。如果两条曲线中,线条变化相同,那么可以视为两条曲线相同。基于此,可以先筛选出角度小于一定梯度值的离散点,然后不断调整梯度值的大小,先将明显不匹配的曲线排除,然后提高判断精度进行更精细的匹配,最终实现多级尺度下的边缘形状的判断,提高判断效率。
理论上如果两条曲线完全匹配,那么两条曲线对应的离散点的三元数组完全一致,但是实际上,图像采集和特征提取都可能造成两条曲线对应的离散点的三元数组不完全相等,因此,实际判断过程不能要求两个离散点的三元数组完全相同,只要在一个差异范围内即可,即角度和长度的差异在阈值范围内。对应的,具体的比较过程不是两个边缘形状完全一样,而是两个边缘形状中的一段的相似度在差异范围内即可。例如分别取两个在具体到两个文物碎片图像的边缘形状的比较过程中,其中分别取两个边缘形状的一个特征段,两个特征段的数学表达分别为:
C1={a1(l11,l2),a2(l22,l3),…,an1(ln1n1,l1)}
C2={b1(l11,l2),b2(l22,l3),…,bn2(ln1n2,l1)}
设定角度阈值T,以T作为粗选尺度分别从中提取离散点,提取后的离散点的集合分别为:
设定适当角度差异阈值和边长差异阈值进行判断,如果离散点ai和离散点bj之间满足匹配条件,则认为此两点是匹配的,然后取离散点ai+1和离散点bj+1继续进行比对,直到所有的特征点全部进行匹配比较。当选择的曲线中所有特征点匹配结束之后,可以进一步向C1和C2两端的特征点进行扩展比较,直到匹配出所有满足匹配条件的最长曲线长度。在具体的比较过程中,角度差异阈值和边长差异阈值在设定范围内,即和|lg li-lg lj|≤λδ,其中θi分别为两个对应离散点的角度值,ε为角度误差阈值,li和lj分别为两个对应离散点的对应边长值,δ为相对长度误差阈值,λ为边长缩放因子。
在以上边缘形状判断的基础上,进一步对色彩特征进行匹配,色彩特征的分布区域的匹配与上述边缘形状的匹配相似,在此基础上需要进一步对颜色进行判断,颜色判断只有一组数的比较,相对简单。
在以上比较结果的基础上,根据文物样品图像的比较结果进行文物碎片的虚拟拼接,即将边缘满足匹配条件的部分进行轮廓重叠放置,实现多个文物碎片在同一平面的映射放置。因为需要通过本方案实现的文物图像复原通常来自大量文物碎片,在以上判断机制的基础上,通过大量数据训练神经网络模型,在对大量数据进行处理时,可以将其输入神经网络获得期望输出,针对可能出现的多种映射结果,对可能出现的匹配结果均予以接受。
S103:以预设文物样品图像为主视角将所述平面图像中的其他文物样品图像反投影到全景坐标系,得到文物全景图像。
完好的瓷器或陶器,通常为中空的立体结构,破损后不能保持原有结构,如果破损严重,根据文物碎片很难人工构建文物的完整结构,这也是瓷器或陶器修复过程中的痛点所在,需要对很多文物碎片进行尝试性拼接。本方案中,在已经生成的平面图像的基础上,以其中一个文物图像为主视角,将其他文物样品图像反投影到全景坐标系,在具体投影过程中,因为不确定相邻两个文物碎片之间的曲率,因此需要根据预处理后的纹理特征进行不断调整,可能需要对多个文物碎片进行反投影之后才能确认在先的投影实现的角度是否合适,最终得到一个结构封闭或纹理封闭(所有文物碎片的纹理拼接成一个整体)的立体图像,反投影之后的图像中,平面图像中外周的文物碎片对应拼接到一起,即得到文物全景图像。
在本方案中,处理对象是对文物碎片进行图像采集得到的二维图像,在无法确认相关图像采集设备的空间参数的情况下,图像处理受到很大的局限性。本方案中的反投影过程不是二维图像向三维图像的完美映射,也就说本方案中步骤S102中的平面图像不是扫描设备采集的三维图像根据投影算法实现的完美投影结果,反过来,步骤S102中得到的平面图像并不能完美地反投影得到与真实复原后的文物基本一致的三维全景图像。实际上,以上投影是根据每个文物碎片与主视角的文物碎片的相对位置进行空间变换,最终的效果是实现所有匹配的边缘形状的中互相匹配的部分实现对应重叠,在进行空间变换的过程中,构建全景坐标系,将主视角的文物碎片之外的文物样品图像基于全景坐标系逐步进行反投影,以实现将平面图像中边缘的曲线重叠到一起为目标进行逼近,最终得到的文物全景图像很可能是相对真实形状发生变形的图像。在具体操作中,可以选择多个文物碎片作为主视角,进而生成多个文物全景图像,给人以多个方向的参考。以上全景图像生成后用于文物修复过程中给参与修复的工作员人员进行参考和讨论,构建初步的整体结构印象,但是并不能作为修复的标准。
整体而言,通过对采集的文物样品图像进行预处理,所述文物样品图像为文物碎片的图像,所述预处理包括提取纹理特征;然后将所述文物样品图像基于神经网络方法映射到平面坐标系中得到平面图像,所述平面图像中相邻两幅文物样品图像的纹理特征达到匹配阈值;最后以预设文物样品图像为主视角将所述平面图像中的其他文物样品图像反投影到全景坐标系,得到文物全景图像,实现了基于文物碎片生成文物整体图像,以供文物修复过程中的操作参考,减少直接人工修复可能带来的二次伤害。
在上述实施例的基础上,图2给出了本申请实施例提供的另一种基于人工智能的文物图像复原方法的流程图。该基于人工智能的文物图像复原方法是对上述基于人工智能的文物图像复原方法的具体化。参考图2,该基于人工智能的文物图像复原方法包括:
S201、对采集的文物样品图像进行预处理,所述文物样品图像为文物碎片的图像,所述预处理包括提取纹理特征。
文物样品图像在进行纹理特征包括边缘形状、表面纹理和色彩特征。因为陶器和瓷器本身的材料特性,发生破损时,由破损产生的边缘形状通常为不整齐的锯齿状,后续拼接时,锯齿的样式是重要的参考;因为坯体材质和/或烧制工艺等加工参数的影响,表面纹理会各不相同;此外,或因为祭祀、个人爱好和/或时代特征等影响,表面处理的花纹不同,并且每个文物碎片最初有统一的花纹,而花纹常通过色彩体现。
S202、根据所述纹理特征生成训练数据,对神经网络进行预先训练,将训练后的神经网络作为图像映射模型。
通常,为了获得好的模型效果,神经网络的训练需要大量的训练数据样本,因此,可以在模型投入工作之前,预先进行离线训练,得到训练后的神经网络作为图像映射模型。
在具体的处理过程,文物碎片可能来自多个文物,在训练图像映射模型时可以考虑到多来源文物碎片的状态,对明显无法拼接的样本,尝试映射成多个平面图像。
具体的映射机制实现上,在对边缘形状进行匹配时,对于未完成匹配的任意两个文物碎片,对其进行局部形状匹配,建立记录边缘形状的曲线匹配表,取匹配的曲线最长的两个文物碎片,根据匹配的曲线重叠效果确认两个文物碎片在平面坐标系中的相对位置关系,当所有的文物碎片处理匹配结束(包括匹配但是因为匹配无法重叠放置的曲线),即确认可以输出平面图像。
在具体的处理过程中,可以通过遗传算法对边缘形状进行多边形逼近处理。假定初始曲线为C,给定的逼近多边形的顶点数目为m,输出的逼近多边形Pm=R(S*)。多边形逼近处理包括以下操作:(1)初始化染色体种群B,并且使得种群中的染色体的基因值之和为m。设H*=F(S*),S*表示当前种群中最优的染色体,也就是B中适应函数值最大的一个染色体。令g表示当前的遗传代数,g*表示第一个找到最优染色体的遗传代数,g和g*的初始值为0。(2)计算当前种群B中的每一个染色体的适应函数值。(3)按照选择、交叉、变异概率,应用选择、交叉、变异算子进行遗传运算,生成新一代种群B1,令g=g+1。(4)假定S1是新一代种群B1的最优染色体,如果F(S1)>H*,则S*=S1,g*=g,B=B1,返回到(2).否则,如果g-g*大于给定的阈值,则转到(5);如果g-g*小于给定的阈值,则转到(2)。(5)输出染色体S*;R(S1)和R(S*)的适应函数值,即对应的均方差。
S203、根据所述图像映射模型对所述文物样品图像在平面坐标系中进行映射得到平面图像,所述平面图像中相邻两幅文物样品图像的纹理特征达到匹配阈值。
通常来说,在进行反投影处理之前,需要先进行投影处理,在本方案中,根据具体处理对象的特征,可以分情况进行处理。瓷器活陶器破损之后的小块文物碎片,直接可以视为平面图像;瓷器或陶器破损之后的大块文物碎片,尤其是带有较大曲面的文物碎片,可以从多角度进行图像采集,甚至直接进行全景图的采集,然后对其进行投影处理,将投影处理后的图像与小块文物碎片对应的文物样品图像进行综合映射。纹理匹配需要达到较高的阈值,例如90%或95%。在该步骤中,实际有可能得到多个备选的方案,进而可以在此基础上做人工判断,筛选出明显正确的方案。如果文物碎片来自不同的文物,例如90片文物碎片中有25片来自A文物,35片来自B文物,30片来C文物,在该步骤中可以生成3个平面图像,并分别进行后续的反投影。
S204、确认所述文物全景图像中文物样品图像之间的偏差小于门限值。
这里所说的偏差是指文物样品图像之间的角度偏差,例如某三个文物样品图像两两相邻,但是三者映射之后相互之间存在重叠,则说明这三个文物样品图像从几何关系上无法完成拼接,这种映射方式有误,需要对拼接结果进行修正,或者对其他拼接结果进行确认。
S205、以预设文物样品图像为主视角将所述平面图像中的其他文物样品图像反投影到全景坐标系,得到文物全景图像。
在具体处理过程中,为减少数据的处理量,优先考虑从最大的文物样品图像开始为主视角进行反投影,反投影的结束以纹理特征的整体性为标准,可以输出后由人工判断。
S206、检测所述文物全景图像的空白区域,对所述文物全景图像进行空白区域填充或重生成。
空白区域具体的填充过程可以是通过对反投影的局部曲率修正,或者空白区域外部的像素混合填充实现;如果空白区域过大,则可以考虑是因为最初的平面映射有误,需要重新生成文物全景图像。
请参考图3-图7,图3-图5是三个文物样品图像的形状示意图;图6是图3-图5中三个文物样品图像拼接后的效果示意图;图7是文物复原效果示意图;即使事实上图3、图4和图5对应的文物碎片存在图6所示的相对拼接关系,但是在实际操作中,因为图像采集和图像识别时各种影响因子(例如拍照角度、识别过程)的存在,实际并不能实现无缝拼接的图像处理效果,而是会出现缝隙或重叠,在图6中仅示出缝隙表达这种误差的存在,不是限定最终的处理效果。当然,最终能得到的也只是存在一定变形的复原结果给文物修复的工作人员进行参考,结果会接近图7所示的复原效果,文物修复的工作人员可以以此为参考进行文物修复工作。
在上述实施例的基础上,图8为本申请实施例提供的基于人工智能的文物图像复原装置的结构示意图。参考图8,本实施例提供的基于人工智能的文物图像复原装置具体包括:预处理单元301、映射单元302和反投影单元303。
其中,预处理单元301,用于对采集的文物样品图像进行预处理,所述文物样品图像为文物碎片的图像,所述预处理包括提取纹理特征;映射单元302,用于将所述文物样品图像基于神经网络方法映射到平面坐标系中得到平面图像,所述平面图像中相邻两幅文物样品图像的纹理特征达到匹配阈值;反投影单元303,用于以预设文物样品图像为主视角将所述平面图像中的其他文物样品图像反投影到全景坐标系,得到文物全景图像。
所述映射单元302,包括:
模型训练模块,用于根据所述纹理特征生成训练数据,对神经网络进行预先训练,将训练后的神经网络作为图像映射模型;
平面映射模块,用于根据所述图像映射模型对所述文物样品图像在平面坐标系中进行映射得到平面图像。
其中,还包括:
门限值确认单元,用于确认所述文物全景图像中文物样品图像之间的角度偏差小于门限值。
其中,还包括:
空白处理单元,用于检测所述文物全景图像的空白区域,对所述文物全景图像进行空白区域填充或重生成。
本申请实施例提供的基于人工智能的文物图像复原装置可以用于执行上述实施例提供的基于人工智能的文物图像复原方法,具备相应的功能和有益效果。
本申请实施例提供了一种电子设备,且该电子设备中可集成本申请实施例提供的基于人工智能的文物图像复原装置。图9是本申请实施例提供的一种电子设备的结构示意图。参考图9,该电子设备包括:处理器110、存储器111。该电子设备中处理器110的数量可以是一个或者多个,图9中以一个处理器110为例。该电子设备中存储器111的数量可以是一个或者多个,图9中以一个存储器111为例。该电子设备的处理器110和存储器111可以通过总线或者其他方式连接,图9中以通过总线连接为例。
存储器111作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本申请任意实施例所述的基于人工智能的文物图像复原方法对应的程序指令/模块(例如预处理单元301、映射单元302和反投影单元303)。存储器111可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器111可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器111可进一步包括相对于处理器110远程设置的存储器,这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
处理器110通过运行存储在存储器111中的软件程序、指令以及模块,从而执行电子设备的各种功能应用以及数据处理,即实现上述的基于人工智能的文物图像复原方法,该基于人工智能的文物图像复原方法,包括:对采集的文物样品图像进行预处理,所述文物样品图像为文物碎片的图像,所述预处理包括提取纹理特征;将所述文物样品图像基于神经网络方法映射到平面坐标系中得到平面图像,所述平面图像中相邻两幅文物样品图像的纹理特征达到匹配阈值;以预设文物样品图像为主视角将所述平面图像中的其他文物样品图像反投影到全景坐标系,得到文物全景图像。
上述提供的电子设备可用于执行上述实施例提供的基于人工智能的文物图像复原方法,具备相应的功能和有益效果。
本申请实施例还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行一种基于人工智能的文物图像复原方法,该基于人工智能的文物图像复原方法,包括:对采集的文物样品图像进行预处理,所述文物样品图像为文物碎片的图像,所述预处理包括提取纹理特征;将所述文物样品图像基于神经网络方法映射到平面坐标系中得到平面图像,所述平面图像中相邻两幅文物样品图像的纹理特征达到匹配阈值;以预设文物样品图像为主视角将所述平面图像中的其他文物样品图像反投影到全景坐标系,得到文物全景图像。
存储介质——任何的各种类型的存储器电子设备或存储设备。术语“存储介质”旨在包括:安装介质,例如CD-ROM、软盘或磁带装置;计算机系统存储器或随机存取存储器,诸如DRAM、DDR RAM、SRAM、EDO RAM,兰巴斯(Rambus)RAM等;非易失性存储器,诸如闪存、磁介质(例如硬盘或光存储);寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外,存储介质可以位于程序在其中被执行的第一计算机系统中,或者可以位于不同的第二计算机系统中,第二计算机系统通过网络(诸如因特网)连接到第一计算机系统。第二计算机系统可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
当然,本申请实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的基于人工智能的文物图像复原方法,还可以执行本申请任意实施例所提供的基于人工智能的文物图像复原方法中的相关操作。
上述实施例中提供的基于人工智能的文物图像复原装置、存储介质及电子设备可执行本申请任意实施例所提供的基于人工智能的文物图像复原方法,未在上述实施例中详尽描述的技术细节,可参见本申请任意实施例所提供的基于人工智能的文物图像复原方法。
注意,上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解,本申请不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此,虽然通过以上实施例对本申请进行了较为详细的说明,但是本申请不仅仅限于以上实施例,在不脱离本申请构思的情况下,还可以包括更多其他等效实施例,而本申请的范围由所附的权利要求范围决定。

Claims (10)

1.基于人工智能的文物图像复原方法,其特征在于,包括:
对采集的文物样品图像进行预处理,所述文物样品图像为文物碎片的图像,所述预处理包括提取纹理特征;
将所述文物样品图像基于神经网络方法映射到平面坐标系中得到平面图像,所述平面图像中相邻两幅文物样品图像的纹理特征达到匹配阈值;
以预设文物样品图像为主视角将所述平面图像中的其他文物样品图像反投影到全景坐标系,得到文物全景图像。
2.根据权利要求1所述的方法,其特征在于,所述将所述文物样品图像基于神经网络方法映射到平面坐标系中得到平面图像,包括:
根据所述纹理特征生成训练数据,对神经网络进行预先训练,将训练后的神经网络作为图像映射模型;
根据所述图像映射模型对所述文物样品图像在平面坐标系中进行映射得到平面图像。
3.根据权利要求2所述的方法,其特征在于,所述以预设文物样品图像为主视角将所述平面图像中的其他文物样品图像反投影到全景坐标系,得到文物全景图像之前,还包括:
确认所述文物全景图像中文物样品图像之间的偏差小于门限值。
4.根据权利要求1所述的方法,其特征在于,所述以预设文物样品图像为主视角将所述平面图像中的其他文物样品图像反投影到全景坐标系,得到文物全景图像之后,还包括:
检测所述文物全景图像的空白区域,对所述文物全景图像进行空白区域填充或重生成。
5.根据权利要求1所述的方法,其特征在于,所述纹理特征包括边缘形状、表面纹理和色彩特征。
6.基于人工智能的文物图像复原装置,其特征在于,包括:
预处理单元,用于对采集的文物样品图像进行预处理,所述文物样品图像为文物碎片的图像,所述预处理包括提取纹理特征;
映射单元,用于将所述文物样品图像基于神经网络方法映射到平面坐标系中得到平面图像,所述平面图像中相邻两幅文物样品图像的纹理特征达到匹配阈值;
反投影单元,用于以预设文物样品图像为主视角将所述平面图像中的其他文物样品图像反投影到全景坐标系,得到文物全景图像。
7.根据权利要求6所述的装置,其特征在于,所述映射单元,包括:
模型训练模块,用于根据所述纹理特征生成训练数据,对神经网络进行预先训练,将训练后的神经网络作为图像映射模型;
平面映射模块,用于根据所述图像映射模型对所述文物样品图像在平面坐标系中进行映射得到平面图像。
8.根据权利要求7所述的装置,其特征在于,还包括:
门限值确认单元,用于确认所述文物全景图像中文物样品图像之间的角度偏差小于门限值。
9.根据权利要求6所述的装置,其特征在于,还包括:
空白处理单元,用于检测所述文物全景图像的空白区域,对所述文物全景图像进行空白区域填充或重生成。
10.一种电子设备,其特征在于,包括:
存储器以及一个或多个处理器;
所述存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-5任一所述的基于人工智能的文物图像复原方法。
CN201910205497.3A 2019-03-18 2019-03-18 基于人工智能的文物图像复原方法、装置和设备 Pending CN109934880A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910205497.3A CN109934880A (zh) 2019-03-18 2019-03-18 基于人工智能的文物图像复原方法、装置和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910205497.3A CN109934880A (zh) 2019-03-18 2019-03-18 基于人工智能的文物图像复原方法、装置和设备

Publications (1)

Publication Number Publication Date
CN109934880A true CN109934880A (zh) 2019-06-25

Family

ID=66987515

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910205497.3A Pending CN109934880A (zh) 2019-03-18 2019-03-18 基于人工智能的文物图像复原方法、装置和设备

Country Status (1)

Country Link
CN (1) CN109934880A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111754426A (zh) * 2020-06-10 2020-10-09 天津大学 一种基于遗传算法的壁画脱落病害自动修复方法
CN113763246A (zh) * 2021-08-25 2021-12-07 复旦大学 一种博物馆展览用纱幕全息投影显示方法
CN114792404A (zh) * 2022-04-26 2022-07-26 北京大学 一种ar增强辅助修复控制平台、方法、介质和设备
CN116503294A (zh) * 2023-06-30 2023-07-28 广东工业大学 基于人工智能的文物图像复原方法、装置及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107862668A (zh) * 2017-11-24 2018-03-30 河海大学 一种基于gnn的文物图像复原方法
CN108109212A (zh) * 2016-11-25 2018-06-01 阿里巴巴集团控股有限公司 一种文物修复方法、装置及系统
CN108961429A (zh) * 2018-06-08 2018-12-07 大连理工大学 一种文物碎片模型自动分割及拼接方法
CN108961400A (zh) * 2018-10-22 2018-12-07 湖南六新智能科技有限公司 一种文物智能辅助引导方法和引导系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108109212A (zh) * 2016-11-25 2018-06-01 阿里巴巴集团控股有限公司 一种文物修复方法、装置及系统
CN107862668A (zh) * 2017-11-24 2018-03-30 河海大学 一种基于gnn的文物图像复原方法
CN108961429A (zh) * 2018-06-08 2018-12-07 大连理工大学 一种文物碎片模型自动分割及拼接方法
CN108961400A (zh) * 2018-10-22 2018-12-07 湖南六新智能科技有限公司 一种文物智能辅助引导方法和引导系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XUEHUI YAN等: "RESEARCH ON SPLICING METHOD OF DIGITAL RELIC FRAGMENT MODEL", 《THE INTERNATIONAL ARCHIVES OF THE PHOTOGRAMMETRY, REMOTE SENSING AND SPATIAL INFORMATION SCIENCES》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111754426A (zh) * 2020-06-10 2020-10-09 天津大学 一种基于遗传算法的壁画脱落病害自动修复方法
CN111754426B (zh) * 2020-06-10 2022-11-29 天津大学 一种基于遗传算法的壁画脱落病害自动修复方法
CN113763246A (zh) * 2021-08-25 2021-12-07 复旦大学 一种博物馆展览用纱幕全息投影显示方法
CN114792404A (zh) * 2022-04-26 2022-07-26 北京大学 一种ar增强辅助修复控制平台、方法、介质和设备
CN114792404B (zh) * 2022-04-26 2022-11-15 北京大学 一种ar增强辅助修复控制平台、方法、介质和设备
CN116503294A (zh) * 2023-06-30 2023-07-28 广东工业大学 基于人工智能的文物图像复原方法、装置及设备
CN116503294B (zh) * 2023-06-30 2024-03-29 广东工业大学 基于人工智能的文物图像复原方法、装置及设备

Similar Documents

Publication Publication Date Title
CN109934880A (zh) 基于人工智能的文物图像复原方法、装置和设备
Williams et al. Perceptual completion of occluded surfaces
Yang et al. Urban pattern: Layout design by hierarchical domain splitting
Jia et al. Inference of segmented color and texture description by tensor voting
US7557803B2 (en) Method, computer program product and data structure for representing two- or three-dimensional object modeling
CN104616345B (zh) 一种基于八叉树森林压缩的三维体素存取方法
JP2019149148A (ja) ピクセルワイズ分類器による2dフロアプランのセマンティックセグメンテーション
US6859202B2 (en) Conversion of a hierarchical subdivision surface to nurbs
US11392728B2 (en) Systems and methods for improved parametric modeling of structures
Qian et al. Automatic unstructured all-hexahedral mesh generation from B-Reps for non-manifold CAD assemblies
CN108171780A (zh) 一种基于激光雷达构建室内真实三维地图的方法
EP0976056A2 (en) Method and system for adaptive refinement of progressive meshes
JP6886192B2 (ja) 建築図面に基づくベランダ自動認識方法
Wang et al. Enhanced remeshing from STL files with applications to surface grid generation
EP0974127A2 (en) Method and system for view-dependent refinement of progressive meshes
CN101650835B (zh) 基于局部线性嵌入法构建狗左心室传导系统三维几何结构
Peng et al. Exploring quadrangulations
Gamble et al. Integration of vision modules and labeling of surface discontinuities
Venkataraman et al. Reconstruction of feature volumes and feature suppression
CN108416312A (zh) 一种基于可见光拍照的生物特征3d数据识别方法及系统
Wu et al. Building reconstruction from high-resolution multiview aerial imagery
Miranda et al. Mesh generation on high-curvature surfaces based on a background quadtree structure
US20020085004A1 (en) Blending method for accomplishing continuity at boundary of two b-spline curves / surfaces for use in a computing apparatus
Vyas et al. Tensor-guided hex-dominant mesh generation with targeted all-hex regions
Lim Universal parametrization in constructing smoothly-connected B-spline surfaces

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190625