CN112419349A - 一种人工智能的物体碎片图像拼接方法 - Google Patents
一种人工智能的物体碎片图像拼接方法 Download PDFInfo
- Publication number
- CN112419349A CN112419349A CN202011302015.5A CN202011302015A CN112419349A CN 112419349 A CN112419349 A CN 112419349A CN 202011302015 A CN202011302015 A CN 202011302015A CN 112419349 A CN112419349 A CN 112419349A
- Authority
- CN
- China
- Prior art keywords
- image
- object fragment
- splicing
- images
- edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000012634 fragment Substances 0.000 title claims abstract description 213
- 238000000034 method Methods 0.000 title claims abstract description 92
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 15
- 238000010008 shearing Methods 0.000 claims abstract description 8
- 230000011218 segmentation Effects 0.000 claims abstract description 7
- 238000005070 sampling Methods 0.000 claims description 21
- 238000011176 pooling Methods 0.000 claims description 14
- 238000013135 deep learning Methods 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000013136 deep learning model Methods 0.000 claims description 2
- 238000004519 manufacturing process Methods 0.000 claims description 2
- 210000000988 bone and bone Anatomy 0.000 abstract description 30
- 239000000919 ceramic Substances 0.000 abstract description 5
- 238000004422 calculation algorithm Methods 0.000 abstract description 3
- 238000000605 extraction Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 12
- 238000012360 testing method Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 235000017166 Bambusa arundinacea Nutrition 0.000 description 3
- 235000017491 Bambusa tulda Nutrition 0.000 description 3
- 241001330002 Bambuseae Species 0.000 description 3
- 235000015334 Phyllostachys viridis Nutrition 0.000 description 3
- 239000011425 bamboo Substances 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000010422 painting Methods 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 1
- 241000270708 Testudinidae Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000013210 evaluation model Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013077 scoring method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种人工智能的物体碎片图像拼接方法，包括物体碎片图像边缘提取、物体碎片图像边缘拼接方法和目标图像纹理拼接三个阶段。提出带权重两阶段最大期望平方和阈值分割方法，用于检测物体碎片图像的边缘；提出物体碎片图像边缘等像素拼接和等距离拼接两种方法，匹配物体碎片图像边缘，根据物体碎片图像匹配区域，提出目标区域剪切算法，剪切目标区域图像；提出目标区域图像纹理拼接深度学习模型，计算物体碎片图像纹理是否可拼接的整个方案。本发明设计的人工智能方案，可在大规模物体碎片图像中，搜索到可拼接物体碎片图像且快速有效，保证物体拼接的准确性，实现物体碎片图像的自动拼接，可用于甲骨、陶瓷纸币发票等物体碎片图像的拼接。
Description
技术领域
本发明涉及一种人工智能的物体碎片图像拼接方法，属于人工智能、计算机视觉和数字图像处理领域，可用于甲骨碎片图像拼接、纸币碎片图像拼接、发票碎片图像拼接、文物碎片拼接等，涉及到历史、考古和金融等应用领域。
背景技术
随着计算机和人工智能技术的迅速发展，计算机视觉在国民经济、科学研究及国防建设领域都有着广泛的应用。计算机视觉技术作为辅助人类快速获取物体图像信息的主要手段，它可以减少人工的工作量、提高工作效率和质量，增加机器的智能化程度，最大的优点是与被观测对象无接触，对观测对象不会带来损伤。另外，计算机视觉技术可以在大规模数据环境中，用于代替人工不知疲倦、始终如一的观测被检测目标，学习目标图像信息，并根据所学内容做出快速有效的判断。传统的物体碎片拼接，比如大规模甲骨文碎片、纸币碎片、陶瓷碎片等图像拼接，需要人工花费大量的精力，先分出目标物体类别和正反面，比如甲骨拼接需要区分牛骨和龟甲，以及正反面，纸币拼接需要分出纸币面值等，需要专业的研究人员，花费大量的人力拼接，存在拼接效率低，拼接质量差的问题。
物体碎片图像拼接方法，根据拍摄的照片，使用计算机视觉方法检测物体碎片图像边缘，并根据物体碎片图像的边缘和纹理等内容，判断物体碎片图像是否可拼接，减少了人工工作量，增加了物体碎片拼接的效率和质量。将计算机视觉引入考古领域的甲骨碎片、陶瓷碎片、竹简碎片和古籍碎片等的图像拼接，以及金融领域的纸币碎片、发票碎片等的图像拼接，可以大大地扩展计算机的使用性能和应用范围，使计算机在完成指定任务的过程中，具有更大的适应性，也使得物体碎片的拼接现代化、智能化。在实际应用中，需要获取物体碎的边缘和图像边缘纹理信息，从而使计算机程序根据图像碎片拼接结果，保存相应的拼接位置和拼接图像。
发明内容
针对当前人工拼接物体碎片图像的不足，本发明要解决的技术问题是提供一种人工智能的的物体碎片图像拼接方法。
本发明为实现上述目的所采用的技术方案是：
本发明提供一种人工智能的物体碎片图像拼接方法，其特征在于，包括以下步骤：
S1、物体碎片图像边缘提取阶段：提出带权重两阶段最大值期望平方和阈值分割方法对物体碎片图像灰度化，将物体碎片图像分割为黑白两部分，黑色部分为背景，白色部分为物体碎片区域，然后提取物体碎片图像边缘；
S2、物体碎片图像边缘坐标拼接阶段：根据物体碎片图像的边缘，提出物体碎片图像边缘等像素拼接方法和等距离拼接方法判断两个物体碎片图像局部边缘坐标是否匹配，然后提出边缘坐标匹配区域图像剪切方法剪切出目标区域图像；
S3、目标图像纹理拼接阶段：在物体碎片图像边缘坐标匹配的基础上，为更加准确地判断物体碎片图像的纹理是否可拼接，提出目标区域图像内部相似度计算方法，对物体碎片图像纹理是否可拼接作进一步预判，提出基于深度学习的物体碎片图像拼接方案，包括最大相似度池化层和纹理拼接评估，判断物体碎片图像纹理是否可拼接。
作为本发明的一种优选技术方案，所述带权重两阶段最大期望平方和阈值分割方法具体包括以下步骤：
设存在阈值，将物体碎片灰度图像的直方图分为前景与背景两阶段；根据前景和背景阶段的直方图和权重，获取带权重两阶段最大期望平方和，相应阈值作为物体碎片灰度图像分割的阈值。
作为本发明的一种优选技术方案，所述物体碎片图像边缘等像素拼接方法具体包括以下步骤：
将源物体碎片图像边缘的一段旋转平移到目标物体碎片图像边缘的位置，每隔固定数目的像素采样一个像素点，计算此段采样点与目标物体碎片图像边缘相应采样点的距离和，并作为不相似度，将不相似度小于阈值的物体碎片图像对，作为边缘坐标匹配物体碎片图像。
作为本发明的一种优选技术方案，所述物体碎片图像边缘等距离拼接方法具体包括以下步骤：
在源物体碎片图像边缘旋转平移到目标物体碎片图像边缘后，使用半径依次等距离增加的圆形，将物体碎片图像边缘分为多个小段进行采样，计算源物体碎片图像与目标物体碎片图像边缘采样点之间的距离和，作为不相似度处理。
作为本发明的一种优选技术方案，所述物体碎片图像边缘匹配区域剪切方法具体包括以下步骤：
根据边缘匹配区域尺寸，制作矩形掩码模板，设置目标图像尺寸，然后根据掩码模板将拼接区域图像信息复制到目标区域图像。
作为本发明的一种优选技术方案，所述目标区域图像纹理相似度计算方法具体包括以下步骤：
使用局部二值模式、灰度共生矩阵等方法提取目标图像纹理特征，根据该方法计算目标图像纹理特征相似度，满足要求则进入深度学习模型评分。
作为本发明的一种优选技术方案，所述最大相似度池化层方法具体包括以下步骤：
最大相似度池化层使用2x2的窗口，根据具体公式计算窗口内像素点两两之间的相似度，如像素点P0和P1的相似度为S01等，将多个相似度中的最大值作为最大相似度进行池化。
作为本发明的一种优选技术方案，基于深度学习的物体碎片图像纹理拼接评分模型具体包括以下步骤：
根据目标图像内部相似度，将目标区域图像尺寸特征对齐，使用ResNet对目标图像进行卷积和获取残差，提出最大相似度池化层，计算目标图像内部相似度，并提取目标图像纹理相似特征，使用全连接层对纹理相似特征进行二分类和纹理拼接评分，模型的训练数据集，正样本使用已剪切的可拼接目标图像，负样本使用边缘等距离拼接方法获取的不可拼接图像。
作为本发明的一种优选技术方案，所述物体碎片图像整体拼接方法具体包括以下步骤：
在深度学习的物体碎片图像纹理拼接评分模型，获取物体碎片图像纹理评分后，若评分满足要求，则将两个物体碎片图像，根据旋转角度和平移向量拼接成完整的图像，保存到固定目录下。
本发明相较于现有技术，具有以下优点及有益效果：
1.给出的物体碎片图像拼接的具体位置，准确度高。本发明提出的物体碎片图像拼接方法，所采集图像使用大于300dpi的图像，拼接位置的误差为2个像素范围，拼接精度为0.085毫米。
2.物体碎片图像拼接的正确率高。在大规模甲骨碎片图像拼接中，使用2000个甲骨碎片图像，进行甲骨实物碎片图像拼接测试，能够搜索到92.3％以上的可拼接甲骨碎片图像。
3.物体碎片图像拼接算法速度快，实时性好。在大规模物体碎片图像拼接中，同人工拼接物体碎片相比，使用该方法拼接物体碎片图像效率高，质量好。
4.该方法适应性强。该方法适用于甲骨碎片、陶瓷碎片、竹简碎片、古籍书画碎片等的图像拼接、也适用于金融领域的纸币、发票碎片等的图像拼接。
附图说明
图1是本发明一种人工智能的物体碎片图像拼接方法的结构框图；
图2是本发明中等像素拼接方法的示意图；
图3是本发明中等距离拼接方法的示意图；
图4是本发明中匹配目标区域剪切方法的示意图；
图5是本发明中最大相似度池化层方法的示意图；
图6是本发明中基于深度学习物体碎片图像纹理拼接评分模型的示意图；
图7是本发明中物体碎片图像整体拼接的示意图；
图8是本发明中设计界面的示意图；
图9是本发明中选择拼接甲骨碎片图像的示意图；
图10是本发明中显示甲骨碎片图像的示意图；
图11是本发明中获取设置或默认参数的示意图；
图12是本发明中检测原甲骨碎片图像边缘的示意图；
图13是本发明中选择待拼接局部边缘区域的示意图；
图14是本发明中搜索目标图库的示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
为了达到本发明的目的，本发明的其中一种实施方式提供一种人工智能的的物体碎片图像拼接方法，如图1所示，包括以下步骤：
S1、物体碎片图像边缘提取阶段：采用带权重两阶段最大期望平方和阈值分割方法对物体碎片图像灰度化，将图像分割为黑白两部分，黑色部分为背景，白色部分为物体碎片区域，提取物体碎片图像边缘。
S2、物体碎片图像边缘坐标拼接阶段：根据物体碎片图像的边缘，采用物体碎片图像边缘等像素拼接方法和等距离拼接方法判断两碎片图像局部边缘坐标是否匹配，并采用边缘坐标匹配区域图像剪切方法，剪切出目标区域图像。
S3、目标图像纹理拼接阶段：在物体图像边缘坐标匹配的基础上，为更加准确地判断物体碎片图像的纹理是否可拼接，提出目标区域图像内部相似度计算方法和最大相似度池化层，提取目标图像纹理特征，提出基于深度学习的物体碎片图像纹理拼接评估模型，判断物体碎片图像纹理是否可拼接并给出评分。
步骤S1中所述带权重两阶段最大值期望平方和阈值分割方法，包括以下步骤：
设物体碎片灰度图像直方图数组为Hist[256]，灰度值为i的像素个数为ni＝Hist[i]，灰度值在[0，T]间的总像素数为N，
灰度值为i的像素的概率为：
灰度值在[T+1～255]之间像素的总数为M，则
灰度值为i的像素的概率为：
求
的最大值max{sum[i]，i∈[0～255]}对应的i，其中，
所求得的i即为图像分割阈值T，根据T进行图像阈值分割。
步骤S2中所述物体碎片图像边缘等像素拼接方法，如图2所示将源甲骨碎片图像边缘的一段，旋转平移到目标甲骨碎片图像边缘的位置，每隔固定数目的像素采样一个像素点，计算此段采样点与目标甲骨碎片图像边缘相应采样点的距离和，并作为不相似度，将不相似度小于阈值的甲骨碎片图像组，作为边缘坐标匹配甲骨碎片图像，边缘采样点之间的距离计算，如下公式，其中，Sj是源图像采样点，Di是目标图像采样点，Sdi是等像素拼接方法采样点距离和。
步骤S2中所述物体碎片图像边缘等距离拼接方法，如图3所示，在源甲骨碎片图像边缘旋转平移到目标甲骨碎片图像边缘后，使用半径依次等距离增加的圆形，将甲骨碎片图像边缘分为多个小段进行采样，计算源甲骨碎片图像与目标甲骨碎片图像边缘采样点之间的距离和，作为不相似度处理，如下公式，其中，SRj是原图像采样点，DRi是目标图像采样点，SdRi是等距离拼接方法采样点的距离和。
步骤S2中所述物体碎片图像边缘匹配区域剪切方法，如图4所示，根据边缘匹配区域尺寸，制作矩形掩码模板，设置目标图像尺寸。将两图像边缘坐标不相似度小于阈值的区域，使用矩形掩码标记，并剪切出标记的目标区域图像。
步骤S3中所述目标区域图像纹理相似度计算方法，使用局部二值模式、灰度共生矩阵等方法提取目标图像纹理特征值，根据特征值的差d和系数a，计算目标图像纹理特征相似度，如下公式：
S＝exp(-1/(d*a))
所述最大相似度池化层，如图5所示，使用2x2的滑动窗口，计算窗口内像素点P0，P1，P2和P3两两之间的相似度，如像素点P0和P1的相似度为S01等，将S01，S02和S12等6个相似度中的最大值作为最大相似度进行池化。
所述基于深度学习的物体碎片图像纹理拼接评分模型，如图6所示，将目标区域图像尺寸特征对齐，使用ResNet对目标图像进行卷积和获取残差，提出最大相似度池化层，计算目标图像内部相似度，并提取目标图像纹理相似特征，使用全连接层对纹理相似特征进行二分类和纹理拼接评分。
所述目标图像纹理特征二分类和拼接评分方法，提出目标图像纹理整体可拼接评分模型，对目标图像纹理进行可拼接与不可拼接的二分类，并给出纹理拼接评分。模型训练数据集，正样本使用已剪切的可拼接目标图像，负样本使用边缘等距离拼接方法获取的不可拼接图像。
所述物体碎片图像整体拼接方法，如图7，在深度学习的物体碎片图像纹理拼接评分模型，获取物体碎片图像纹理评分后，若评分满足要求，则将整个物体碎片，根据旋转角度和平移向量拼接成完整的图像，保存到固定目录下。本发明用于物体碎片图像的拼接，其方案设计模块图如图1所示。本发明分为三个模块，分别是物体碎片图像边缘提取模块、物体碎片图像边缘坐标拼接模块和目标图像纹理拼接模块。其中，物体碎片图像边缘提取模块，对物体碎片图像灰度化，将图像分割为黑白两部分，黑色部分为背景，白色部分为物体碎片区域，提取物体碎片图像边缘。物体碎片图像边缘坐标拼接模块，根据物体碎片图像的边缘，提出物体碎片图像边缘等像素拼接方法和等距离拼接方法，判断两碎片图像局部边缘坐标是否匹配，并提出边缘坐标匹配区域图像剪切方法，剪切出目标区域图像。目标图像纹理拼接模块，在物体图像边缘坐标匹配的基础上，为更加准确地判断物体碎片图像的纹理是否可拼接，提出目标区域图像内部相似度计算方法，设计了最大相似度池化层和纹理拼接评估方案，对物体碎片图像纹理是否可拼接进行评分，若可以拼接，则根据物体碎片整体拼接方法拼接图像，并保存相应的拼接图像，若不可以拼接，则继续在图库中寻找图像，直到遍历所有图库中所有图像。
将本发明方法在PC上进行仿真验证，选择甲骨碎片图像为测试数据库。
主要的测试平台如下：
1.操作系统：Microsoft Windows7操作系统，CPU：Pentium(R)Dual-Core，主频：2.93GHz，内存：2G，Visual Studio软件开发环境，VC++语言，OpenCV3.4。
2.Ubuntu16.0操作系统，Python语言，TensorFlow深度学习框架。
本实施例以甲骨碎片图像拼接为例，进行物体的碎片图像拼接举例说明。
以中国社会科学院历史研究所藏797号与799号甲骨碎片图像拼接为例，如图8到图14，具体流程如下：在甲骨碎片图像库中，选择797号甲骨碎片图像，选择其图像的部分边缘。在中国中国社会科学院历史研究所藏甲骨碎片图像库中，搜索能够与797号甲骨碎片图像边缘坐标匹配的图像，并剪切出目标区域图像。使用残差网络提取目标区域图像特征，计算目标区域图像内部相似度，满足要求，则使用基于深度学习的物体碎片图像纹理拼接方法，判断两甲骨碎片图像是否可拼接，并给出纹理的拼接评分，若可以拼接则保存相应的拼接图像，若不可以拼接，则继续在图库中寻找图像，直到遍历所有图库中所有图像。
在此之前需要训练基于深度学习的物体碎片图像纹理拼接模型，其所采用的数据集，训练集正样本将从甲骨拼合集、丙编和花东等已拼接甲骨碎片图像中剪切获得，负样本使用甲骨碎片图像边缘等距离拼接方法获得，测试数据集可使用甲骨文合集图像等。用于物体碎片图像拼接时，也可根据具体物体碎片图像，进行训练数据库的更改。
通过分析，可以得到如下结论：
1.本发明提出的物体碎片图像拼接方法，所采集图像使用大于300dpi的图像，拼接位置的误差为2个像素范围，拼接精度为0.085毫米，适用于甲骨碎片图像拼接。
2.物体碎片图像拼接的正确率高。在大规模甲骨碎片图像拼接中，使用2000个甲骨碎片图像，进行甲骨实物碎片图像拼接测试，能够搜索到92.3％以上的可拼接甲骨碎片图像。
3.物体碎片图像拼接算法速度快，实时性好。在大规模物体碎片图像拼接中，同人工拼接物体碎片相比，使用该方法拼接物体碎片图像效率高，质量好。
4.该方法适应性强。本方法适用于甲骨碎片、陶瓷碎片、竹简碎片、古籍书画碎片等的图像拼接、也适用于金融领域的纸币、发票碎片等的图像拼接。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种人工智能的物体碎片图像拼接方法，其特征在于，包括以下步骤：
S1、物体碎片图像边缘提取阶段：提出带权重两阶段最大值期望平方和阈值分割方法对物体碎片图像灰度化，将物体碎片图像分割为黑白两部分，黑色部分为背景，白色部分为物体碎片区域，然后提取物体碎片图像边缘；
S2、物体碎片图像边缘坐标拼接阶段：根据物体碎片图像的边缘，提出物体碎片图像边缘等像素拼接方法和等距离拼接方法判断两个物体碎片图像局部边缘坐标是否匹配，然后提出边缘坐标匹配区域图像剪切方法剪切出目标区域图像；
S3、目标图像纹理拼接阶段：在物体碎片图像边缘坐标匹配的基础上，为更加准确地判断物体碎片图像的纹理是否可拼接，提出目标区域图像内部相似度计算方法，对物体碎片图像纹理是否可拼接作进一步预判，提出基于深度学习的物体碎片图像拼接方案，包括最大相似度池化层和纹理拼接评估，判断物体碎片图像纹理是否可拼接。
2.根据权利要求1所述的一种人工智能的物体碎片图像拼接方法，其特征在于，所述带权重两阶段最大期望平方和阈值分割方法具体包括以下步骤：
设存在阈值，将物体碎片灰度图像的直方图分为前景与背景两阶段；根据前景和背景阶段的直方图和权重，获取带权重两阶段最大期望平方和，相应阈值作为物体碎片灰度图像分割的阈值。
3.根据权利要求1所述的一种人工智能的物体碎片图像拼接方法，其特征在于，所述物体碎片图像边缘等像素拼接方法具体包括以下步骤：
将源物体碎片图像边缘的一段旋转平移到目标物体碎片图像边缘的位置，每隔固定数目的像素采样一个像素点，计算此段采样点与目标物体碎片图像边缘相应采样点的距离和，并作为不相似度，将不相似度小于阈值的物体碎片图像对，作为边缘坐标匹配物体碎片图像。
4.根据权利要求1所述的一种人工智能的物体碎片图像拼接方法，其特征在于，所述物体碎片图像边缘等距离拼接方法具体包括以下步骤：
在源物体碎片图像边缘旋转平移到目标物体碎片图像边缘后，使用半径依次等距离增加的圆形，将物体碎片图像边缘分为多个小段进行采样，计算源物体碎片图像与目标物体碎片图像边缘采样点之间的距离和，作为不相似度处理。
5.根据权利要求1所述的一种人工智能的物体碎片图像拼接方法，其特征在于，所述物体碎片图像边缘匹配区域剪切方法具体包括以下步骤：
根据边缘匹配区域尺寸，制作矩形掩码模板，设置目标图像尺寸，然后根据掩码模板将拼接区域图像信息复制到目标区域图像。
6.根据权利要求1所述的一种人工智能的物体碎片图像拼接方法，其特征在于，所述目标区域图像纹理相似度计算方法具体包括以下步骤：
使用局部二值模式、灰度共生矩阵等方法提取目标图像纹理特征，根据该方法计算目标图像纹理特征相似度，满足要求则进入深度学习模型评分。
7.根据权利要求1所述的一种人工智能的物体碎片图像拼接方法，其特征在于，所述最大相似度池化层方法具体包括以下步骤：
最大相似度池化层使用2x2的窗口，根据具体公式计算窗口内像素点两两之间的相似度，如像素点P0和P1的相似度为S01等，将多个相似度中的最大值作为最大相似度。
8.根据权利要求1所述的一种人工智能的物体碎片图像拼接方法，其特征在于，基于深度学习的物体碎片图像纹理拼接评分模型具体包括以下步骤：
根据目标图像内部相似度，将目标区域图像尺寸特征对齐，使用ResNet对目标图像进行卷积和获取残差，提出最大相似度池化层，计算目标图像内部相似度，并提取目标图像纹理相似特征，使用全连接层对纹理相似特征进行二分类和纹理拼接评分，模型的训练数据集，正样本使用已剪切的可拼接目标图像，负样本使用边缘等距离拼接方法获取的不可拼接图像。
9.根据权利要求1所述的一种人工智能的物体碎片图像拼接方法，其特征在于，所述物体碎片图像整体拼接方法具体包括以下步骤：
在深度学习的物体碎片图像纹理拼接评分模型，获取物体碎片图像纹理评分后，若评分满足要求，则将两个物体碎片图像，根据旋转角度和平移向量拼接成完整的图像，保存到固定目录下。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011302015.5A CN112419349B (zh) | 2020-11-19 | 2020-11-19 | 一种人工智能的物体碎片图像拼接方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011302015.5A CN112419349B (zh) | 2020-11-19 | 2020-11-19 | 一种人工智能的物体碎片图像拼接方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112419349A true CN112419349A (zh) | 2021-02-26 |
| CN112419349B CN112419349B (zh) | 2022-11-22 |
Family
ID=74774023
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011302015.5A Active CN112419349B (zh) | 2020-11-19 | 2020-11-19 | 一种人工智能的物体碎片图像拼接方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112419349B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102011018496A1 (de) * | 2011-04-23 | 2012-10-25 | Roth + Weber Gmbh | Scan-Verfahren für ein großformatiges Scanner-System mit Stitching-Verfahren |
| WO2016165016A1 (en) * | 2015-04-14 | 2016-10-20 | Magor Communications Corporation | View synthesis-panorama |
| CN106327551A (zh) * | 2016-08-30 | 2017-01-11 | 华侨大学 | 基于边缘检测和图像拼接的书画自动配框方法 |
| AU2017100064A4 (en) * | 2017-01-11 | 2017-03-02 | Macau University Of Science And Technology | Image Stitching |
| CN106940877A (zh) * | 2016-01-05 | 2017-07-11 | 富士通株式会社 | 图像处理装置及方法 |
| CN106971453A (zh) * | 2017-04-06 | 2017-07-21 | 深圳怡化电脑股份有限公司 | 纸币碎片拼接的方法及装置 |
| CN107590772A (zh) * | 2017-07-18 | 2018-01-16 | 西北大学 | 一种基于自适应邻域匹配的文物碎片自动拼接方法 |
| CN108009986A (zh) * | 2017-11-27 | 2018-05-08 | 山东师范大学 | 基于边缘信息的碎片拼接方法和装置 |
| CN111429358A (zh) * | 2020-05-09 | 2020-07-17 | 南京大学 | 一种基于平面区域一致的图像拼接方法 |
| CN111626953A (zh) * | 2020-05-22 | 2020-09-04 | 山东师范大学 | 一种基于多特征信息的碎片拼接方法及装置 |
-
2020
- 2020-11-19 CN CN202011302015.5A patent/CN112419349B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102011018496A1 (de) * | 2011-04-23 | 2012-10-25 | Roth + Weber Gmbh | Scan-Verfahren für ein großformatiges Scanner-System mit Stitching-Verfahren |
| WO2016165016A1 (en) * | 2015-04-14 | 2016-10-20 | Magor Communications Corporation | View synthesis-panorama |
| CN106940877A (zh) * | 2016-01-05 | 2017-07-11 | 富士通株式会社 | 图像处理装置及方法 |
| CN106327551A (zh) * | 2016-08-30 | 2017-01-11 | 华侨大学 | 基于边缘检测和图像拼接的书画自动配框方法 |
| AU2017100064A4 (en) * | 2017-01-11 | 2017-03-02 | Macau University Of Science And Technology | Image Stitching |
| CN106971453A (zh) * | 2017-04-06 | 2017-07-21 | 深圳怡化电脑股份有限公司 | 纸币碎片拼接的方法及装置 |
| CN107590772A (zh) * | 2017-07-18 | 2018-01-16 | 西北大学 | 一种基于自适应邻域匹配的文物碎片自动拼接方法 |
| CN108009986A (zh) * | 2017-11-27 | 2018-05-08 | 山东师范大学 | 基于边缘信息的碎片拼接方法和装置 |
| CN111429358A (zh) * | 2020-05-09 | 2020-07-17 | 南京大学 | 一种基于平面区域一致的图像拼接方法 |
| CN111626953A (zh) * | 2020-05-22 | 2020-09-04 | 山东师范大学 | 一种基于多特征信息的碎片拼接方法及装置 |
Non-Patent Citations (4)
| Title |
|---|
| HENDRIK P.A.LENSCH ET AL: "A Silhouette-Based Algorithm for Texture Registration and Stitching", 《GRAPHICAL MODELS》 * |
| VICTOR LEMPITSKY ET AL: "Seamless Mosaicing of Image-Based Texture Maps", 《2007 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
| 张展等: "计算机拼接甲骨碎片图像技术简论", 《殷都学刊》 * |
| 高晶: "基于特征点的图像拼接算法研究", 《中国优秀硕士学位论文全文数据库》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112419349B (zh) | 2022-11-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107833213B (zh) | 一种基于伪真值自适应法的弱监督物体检测方法 | |
| CN109190752A (zh) | 基于深度学习的全局特征和局部特征的图像语义分割方法 | |
| Dibeklioglu et al. | 3D facial landmarking under expression, pose, and occlusion variations | |
| US20070014488A1 (en) | Automatically and accurately conflating road vector data, street maps, and orthoimagery | |
| CN107527054B (zh) | 基于多视角融合的前景自动提取方法 | |
| CN109299303B (zh) | 基于可变形卷积与深度网络的手绘草图检索方法 | |
| CN114492619B (zh) | 一种基于统计和凹凸性的点云数据集构建方法及装置 | |
| CN112733711B (zh) | 基于多尺度场景变化检测的遥感影像损毁建筑物提取方法 | |
| CN1885312A (zh) | 基于数学形态学和概率统计的虹膜定位方法 | |
| CN111709317B (zh) | 一种基于显著性模型下多尺度特征的行人重识别方法 | |
| CN110472081A (zh) | 一种基于度量学习的鞋图片跨域检索方法 | |
| CN114612450B (zh) | 基于数据增广机器视觉的图像检测分割方法、系统、电子设备 | |
| CN115203408A (zh) | 一种多模态试验数据智能标注方法 | |
| CN113658129B (zh) | 一种结合视觉显著性和线段强度的阵地提取方法 | |
| CN108694411B (zh) | 一种识别相似图像的方法 | |
| CN111832497B (zh) | 一种基于几何特征的文本检测后处理方法 | |
| CN112419349B (zh) | 一种人工智能的物体碎片图像拼接方法 | |
| CN105844299B (zh) | 一种基于词袋模型的图像分类方法 | |
| CN116543391A (zh) | 一种结合图像校正的文本数据采集系统及方法 | |
| CN112084365A (zh) | 基于OpenCV和CUDA加速的网络相机的实时图像检索方法 | |
| CN111144469A (zh) | 基于多维关联时序分类神经网络的端到端多序列文本识别方法 | |
| CN114429537A (zh) | 石窟点云中提取佛龛的方法 | |
| CN109977849B (zh) | 一种基于迹变换的图像纹理特征融合提取方法 | |
| CN113128492A (zh) | 一种票据文本定位方法和装置 | |
| CN113012167A (zh) | 一种细胞核与细胞质的联合分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |