CN113066010B - 全景拼接图像的二次调整方法、装置、电子设备及存储介质 - Google Patents
全景拼接图像的二次调整方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113066010B CN113066010B CN202110368115.6A CN202110368115A CN113066010B CN 113066010 B CN113066010 B CN 113066010B CN 202110368115 A CN202110368115 A CN 202110368115A CN 113066010 B CN113066010 B CN 113066010B
- Authority
- CN
- China
- Prior art keywords
- sub
- image
- adjustment
- picture
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000003860 storage Methods 0.000 title claims abstract description 23
- 238000005520 cutting process Methods 0.000 claims abstract description 46
- 239000011159 matrix material Substances 0.000 claims abstract description 20
- 238000001514 detection method Methods 0.000 claims description 21
- 238000005452 bending Methods 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000011218 segmentation Effects 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 8
- 238000003708 edge detection Methods 0.000 claims description 8
- 238000002372 labelling Methods 0.000 claims description 8
- 230000004048 modification Effects 0.000 claims description 5
- 238000012986 modification Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 230000004075 alteration Effects 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- DEYFWGXTPWNADC-UHFFFAOYSA-N 6-[2-phenylethyl(propyl)amino]-5,6,7,8-tetrahydronaphthalen-1-ol Chemical compound C1CC2=C(O)C=CC=C2CC1N(CCC)CCC1=CC=CC=C1 DEYFWGXTPWNADC-UHFFFAOYSA-N 0.000 description 1
- 241000226585 Antennaria plantaginifolia Species 0.000 description 1
- 241001025261 Neoraja caerulea Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明实施例公开了一种全景拼接图像的二次调整方法、装置、电子设备及存储介质。其中，该方法包括：利用初始全景拼接模型对多个子图片进行初始全景拼接，得到第一拼接图像；检测所述第一拼接图像中各个子图片的对准情况，根据所述对准情况对每个需要调整的子图片提供调整参数以进行初次调整，得到初次调整后的第二拼接图像；利用局部调整的单应性矩阵和/或切割参数对所述第二拼接图像进行二次调整，调整各个子图片及其掩码在全景图坐标系中的坐标以得到第三拼接图像。本发明在初次调整之后利用局部调整模型对拼接图像进行二次调整，使拼接图像在整体和局部均实现有效的对准，得到了高质量的全景拼接图像。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及一种全景拼接图像的二次调整方法、装置、电子设备及存储介质。
背景技术
随着图像采集技术的发展，用户对采集图像的需求也有了相应的变化，很多应用场景中不再局限于采集镜头当前的单幅图像，而需要获得大范围的全景图像，比如风景摄影、大视场(通常为长距离的桥梁、公路、机场或者高层建筑等)监控等。由于镜头视角和可视距离等限制，通常很难在单幅图像中一次采集到整个大视场的图像，现有技术通常通过视频全景拼接方式来得到指定视场的全景图像。
目前的全景拼接技术主要通过特征点匹配方式实现，但该方式对图片的特征点有一定的要求，在处理特征点丰富且明确的场景中可得到较高质量的拼接图像，但在某些场景单调、特征点缺失的场景中，比如大桥、路面等，由于很难提取到有效的特征点进行匹配对齐，拼接效果并不理想。现有技术虽然也存在一些特征点增强手段，比如通过小范围的旋转来累积拼接边缘的特征点数量等，但这些手段对大面积的单调场景效果有限，同时还会因旋转带来一些形变问题，并不能有效地提升拼接图像质量。
发明内容
针对现有技术中的上述技术问题，本发明实施例提出了一种全景拼接图像的二次调整方法、装置、电子设备及存储介质，以解决特征点缺失场景下拼接图像质量不佳的问题。
本发明实施例的第一方面提供了一种全景拼接图像的二次调整方法，包括：
利用初始全景拼接模型对多个子图片进行初始全景拼接，得到第一拼接图像；
检测所述第一拼接图像中各个子图片的对准情况，根据所述对准情况对每个需要调整的子图片提供调整参数以进行初次调整，得到初次调整后的第二拼接图像；
利用局部调整的单应性矩阵和/或切割参数对所述第二拼接图像进行二次调整，调整各个子图片及其掩码在全景图坐标系中的坐标以得到第三拼接图像。
在一些实施例中，所述初始全景拼接根据各个子图片之间的特征点匹配进行，包括：
所述初始全景拼接模型提取各个子图片的特征点；
识别不同子图片中相互匹配的多个特征点；
按照统一的全景图坐标系将相互匹配的多个特征点的坐标对齐。
在一些实施例中，所述方法中：
基于霍夫变换、边缘检测、语义分割和人工标注中的至少一种方式进行所述对准情况的检测；
根据所述对准情况确定需要移动、旋转、缩放或透视变化的子图片，从而提供对应的单应性矩阵相关参数和/或切割参数。
在一些实施例中，所述初次调整和所述二次调整均包括弯曲操作和/或切割操作。
在一些实施例中，所述弯曲操作包括：
利用单应性矩阵对子图片进行相应的移动、旋转、缩放或透视变化；
计算弯曲后的子图片左上角和右下角在全景图坐标系中的坐标；
计算与弯曲后的子图片同样大小的掩码阵列。
在一些实施例中，所述切割操作包括：根据切割参数切割弯曲后的子图片及其掩码，并根据切割参数修改切割后的子图片左上角和右下角的坐标。
在一些实施例中，所述方法还包括：
计算色差补偿以及最佳缝合线，根据调整后各个子图片及其掩码在全景图坐标系中的坐标、将二次调整后的各个子图片在所述第二拼接图像上融合以得到所述第三拼接图像。
本发明实施例的第二方面提供了一种全景拼接图像的二次调整装置，包括：
初始拼接模块，用于利用初始全景拼接模型对多个子图片进行初始全景拼接，得到第一拼接图像；
初次调整模块，用于检测所述第一拼接图像中各个子图片的对准情况，根据所述对准情况对每个需要调整的子图片提供调整参数以进行初次调整，得到初次调整后的第二拼接图像；
二次调整模块，用于利用局部调整的单应性矩阵和/或切割参数对所述第二拼接图像进行二次调整，调整各个子图片及其掩码在全景图坐标系中的坐标以得到第三拼接图像。
在一些实施例中，所述初始全景拼接根据各个子图片之间的特征点匹配进行，所述初始拼接模块包括：
特征提取模块，用于由所述初始全景拼接模型提取各个子图片的特征点；
特征匹配模块，用于识别不同子图片中相互匹配的多个特征点；
坐标对齐模块，用于按照统一的全景图坐标系将相互匹配的多个特征点的坐标对齐。
在一些实施例中，所述初始调整模块包括：
对准检测模块，用于基于霍夫变换、边缘检测、语义分割和人工标注中的至少一种方式进行所述对准情况的检测；
参数提供模块，用于根据所述对准情况确定需要移动、旋转、缩放或透视变化的子图片，从而提供对应的单应性矩阵相关参数和/或切割参数。
在一些实施例中，所述初次调整模块和所述二次调整模块均包括弯曲操作模块和/或切割操作模块。
在一些实施例中，所述弯曲操作模块包括：
弯曲调整模块，用于利用单应性矩阵对子图片进行相应的移动、旋转、缩放或透视变化；
坐标计算模块，用于计算弯曲后的子图片左上角和右下角在全景图坐标系中的坐标；
掩码计算模块，用于计算与弯曲后的子图片同样大小的掩码阵列。
在一些实施例中，所述切割操作模块包括：
切割模块，用于根据切割参数切割弯曲后的子图片及其掩码；
坐标修改模块，用于根据切割参数修改切割后的子图片左上角和右下角的坐标。
在一些实施例中，所述二次调整模块还包括：
通用计算模块，用于计算色差补偿以及最佳缝合线；
融合模块，用于根据调整后各个子图片及其掩码在全景图坐标系中的坐标、将二次调整后的各个子图片在所述第二拼接图像上融合以得到所述第三拼接图像。
本发明实施例的第三方面提供了一种电子设备，包括：
存储器以及一个或多个处理器；
其中，所述存储器与所述一个或多个处理器通信连接，所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行时，所述电子设备用于实现如前述各实施例所述的方法。
本发明实施例的第四方面提供了一种计算机可读存储介质，其上存储有计算机可执行指令，当所述计算机可执行指令被计算装置执行时，可用来实现如前述各实施例所述的方法。
本发明实施例的第五方面提供了一种计算机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，可用来实现如前述各实施例所述的方法。
本发明的实施例通过对全景拼接图像进行对准检测和对应调整，尤其是对初次调整后的全景拼接图像进行局部的二次调整，从而充分利用有限的图像特征进行整体和局部的检测，使拼接图像在整体和局部均实现有效的对准，得到高质量的全景拼接图像。
附图说明
通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：
图1是根据本发明的一些实施例所示的一个初始拼接后的全景图像；
图2是根据本发明的一些实施例所示的一种全景拼接图像的二次调整方法的流程示意图；
图3是根据本发明的一些实施例所示的对图1的拼接图像进行二次调整优化后的全景拼接图像；
图4是根据本发明的一些实施例所示的一种全景拼接图像的二次调整装置的结构框图；
图5是根据本发明的一些实施例所示的电子设备的示意图。
具体实施方式
在下面的详细描述中，通过示例阐述了本发明的许多具体细节，以便提供对相关披露的透彻理解。然而，对于本领域的普通技术人员来讲，本发明显而易见的可以在没有这些细节的情况下实施。应当理解的是，本发明中使用“系统”、“装置”、“单元”和/或“模块”术语，是用于区分在顺序排列中不同级别的不同部件、元件、部分或组件的一种方法。然而，如果其他表达式可以实现相同的目的，这些术语可以被其他表达式替换。
应当理解的是，当设备、单元或模块被称为“在……上”、“连接到”或“耦合到”另一设备、单元或模块时，其可以直接在另一设备、单元或模块上，连接或耦合到或与其他设备、单元或模块通信，或者可以存在中间设备、单元或模块，除非上下文明确提示例外情形。例如，本发明所使用的术语“和/或”包括一个或多个相关所列条目的任何一个和所有组合。
本发明所用术语仅为了描述特定实施例，而非限制本发明范围。如本发明说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的特征、整体、步骤、操作、元素和/或组件，而该类表述并不构成一个排它性的罗列，其他特征、整体、步骤、操作、元素和/或组件也可以包含在内。
参看下面的说明以及附图，本发明的这些或其他特征和特点、操作方法、结构的相关元素的功能、部分的结合以及制造的经济性可以被更好地理解，其中说明和附图形成了说明书的一部分。然而，可以清楚地理解，附图仅用作说明和描述的目的，并不意在限定本发明的保护范围。可以理解的是，附图并非按比例绘制。
本发明中使用了多种结构图用来说明根据本发明的实施例的各种变形。应当理解的是，前面或下面的结构并不是用来限定本发明。本发明的保护范围以权利要求为准。
如前所述，现有的全景图像拼接技术在应对某些场景时很难得到高质量的拼接图像；如图1所示，现有的全景图像主要依靠特征点匹配方式进行子图片的拼接，在诸如大桥/路面这种单调、特征点缺失的场景中，由于很难提取到有效的特征点进行匹配，只能实现有限点位的对准，实际拼接效果很难保证细节的一致性(图1中拼接后的全景图像只能大致体现出桥梁的整体景观，在车道线、栏杆等细节处仍有大量的错位问题)。
有鉴于此，本发明的实施例中提供了一种全景拼接图像的二次调整方法，通过对初始拼接图像进行多次对准调整，来对拼接图像的局部进行纠错和缺陷修复，从而得到高质量的全景拼接图像。如图2所示，所述全景拼接图像的二次调整方法包括以下步骤：
S202，利用初始全景拼接模型对多个子图片进行初始全景拼接，得到第一拼接图像。
其中，在本发明的实施例中，首先按照现有的拼接方式将同一场景的多个子图片进行拼接，得到初步对齐的拼接图像。其中，所述多个子图片可以是基于单个摄像头旋转而连续采集的多幅图像，也可以是呈一定角度分散布置的多个摄像头一起采集的多幅图像；优选地，同一批采集的多幅图像可以采用视频形式存储、管理和处理。当然，具体的图像采集方式视使用的全景图采集设备而定，本发明的实施例中对此不做具体限制。初始全景拼接模型是自动化的图像处理软件，可以是基于机器学习的人工智能模型，比如基于OpenCV的软件模型等，可以根据各个子图片之间的特征点匹配进行全景图像拼接，得到如图1所示的初始处理后的全景拼接图像(第一拼接图像)。
S204，检测所述第一拼接图像中各个子图片的对准情况，根据所述对准情况对每个需要调整的子图片提供调整参数以进行初次调整，得到初次调整后的第二拼接图像。
在本发明的实施例中，先检测第一拼接图像的对准情况，对于有明显错位的，先通过初次调整进行整体的修正。其中，无论是通过单镜头旋转采集全景图像，还是通过多个分散布置的镜头组合采集全景图像，都会因镜头角度变化而使采集的子图片的角度、比例、位置等有一定偏差，直接拼接会引发一定的图像形变问题。本发明的实施例首先通过初次调整来尽量消除基本的形变问题。
S206，利用局部调整的单应性矩阵和/或切割参数对所述第二拼接图像进行二次调整，调整各个子图片及其掩码在全景图坐标系中的坐标以得到第三拼接图像。
在本发明的实施例中，对于初次调整后的拼接图像，通过局部调整模型对局部细节的对准情况进行二次调整，从而使拼接图像在整体和局部均实现有效的对准，得到高质量的全景拼接图像。
在本发明的一个实施例中，所述初始全景拼接根据各个子图片之间的特征点匹配进行，包括：所述初始全景拼接模型提取各个子图片的特征点；识别不同子图片中相互匹配的多个特征点；按照统一的全景图坐标系将相互匹配的多个特征点的坐标对齐。其中，初始全景拼接模型可以是经过预先训练的人工智能模型，或者是经过特定优化的机器视觉处理软件。图片的特征提取、识别匹配和坐标转换对齐等属于较为通用的现有技术，此处不再逐一展开描述。
使用初始全景拼接模型对各个子相机(或单个相机旋转)拍摄目标场景的多个子图片进行无调整的拼接，得到的初始拼接图像通常有一定的错位和/或变形。在本申请的实施例中，进一步通过对准检测来判断各个子图片之间的对准情况，从而确定初次调整需要的参数。优选地，对准检测可以基于霍夫变换、边缘检测、语义分割和人工标注中的至少一种方式进行。其中，霍夫变换(HoughTransform)是一种特征检测算法，通过投票机制检测具有特定形状的物体，对于本发明所面对的技术问题，优选通过霍夫变换来进行直线检测，从而确定诸如车道线、牵引索、支撑柱或建筑边线等对准情况。当然，霍夫变换同样也支持圆形、椭圆形等任何已知形状的检测，在实际工作过程中也可按需使用。在OpenCV中通常支持标准霍夫变换(SHT)和累积概率霍夫变换(PPHT)等几种霍夫变换，具体的霍夫变换及其检测方式不应视作对本发明实施方式的限制。边缘检测和语义分割等也是通用的图像处理技术，本发明的实施例中通过这些手段处理图像后，自动识别确定边缘或分割处的对准情况。又或者，在最极端的情况下，当所有手段都无法有效检测对准情况时，可以借助人工对拼接图像进行标注，标注结果一方面可用来处理当前拼接图像，另一方面可用于训练一个人工智能模型，从而在未来的处理中实现自动识别。
对准检测后，根据图像中实际的错误和/或形变情况，进一步可以确定出子图片需要调整的形式。通常情况下，对于有位移错位的，一般需要对子图片进行移动和/或旋转；对于有比例不一致的，一般需要对子图片进行缩放处理；对于有其他图像畸变的(典型地如梯形、桶形、枕形等常见的畸变情况)，一般采用透视变化处理进行矫正(与畸变反向的变形)；这些调整处理通常会统称为弯曲处理。本发明的实施例中，除要确定各个子图片对应处理的方式外，还需进一步计算确定对应的调整参数。比如在车道线左右没对齐的情况下，需要进一步确定在全景图像中至少一个子图片的移动参数(根据没对齐程度反向左右移动)，具体的移动参数可以利用霍夫变换等通用方法检测车道线后自动计算出，也可以根据经验(比如根据历史数据、根据训练后的人工智能模型或是根据人工经验)识别提供。除左右移动外，其他移动、旋转、缩放或更一般性的透视变化均可以类似的方式获得；进一步地，若未对准的情况经常发生且可以推定是由相机/摄像头设置而引起(比如全景设备中子相机设置位置和/或角度偏差导致)，在调整全景图像的同时还可反馈设备设置问题和设备调整参数，对有问题的相机位置和/或角度进行调整，从而争取从源头修正错位情况。
根据经验，初次调整可以解决大范围的对准问题，通常已能满足大多数全景拼接图像的需求。但对于场景单一、缺少足够特征点的全景图像，由于其同样缺少足够的信息来用于对准检测，大范围的初次调整的效果有限，可能还会在细节部分存在较多问题。因此，在本发明的实施例中，在经过初次调整后，还通过局部调整模型对全景拼接图像进行二次调整。
在本发明的实施例中，局部调整模型的基本处理与初次调整相似，也以对图像的弯曲操作为主。具体地，局部调整模型针对拼接图像的局部细节进行对准检测，目标是逐一判定局部偏差，然后再计算每个子图片需要二次调整的具体参数。比如局部调整模型可以检测两相邻子图片的对准情况，在保持整体对准的情况下调整子图片之间的细部相互对准；又或者是检测每一条车道线的对准情况，确定根据该车道线各子图片的调整方式等等。局部调整模型也基于霍夫变换、边缘检测、语义分割和人工标注中的至少一种方式进行对准情况的检测，但其更偏重某一局部细节的检测，同时可以引入人工辅助检测或放大图片进行检测。
其中，对各个子图片的调整均在统一的全景图坐标系中计算。优选地，需要根据未对准的程度进行反向的弯曲操作(包括但不限于移动、旋转、缩放或透视变化等)，计算每一个待拼接的子图片对应的弯曲调整所需要的单应性矩阵、弯曲后子图片在全景图坐标系中的左上角和右下角坐标、以及和弯曲后图片一样大小的掩码阵列。其中，单应性矩阵用于对子图片像素的相对位置(关联性)进行标记，通过矩阵变换实现子图片相应的移动、旋转、缩放或透视变化等弯曲操作；左上角和右下角坐标用于标定子图片在全景图中绝对位置。掩码阵列中的数值决定在全景图上弯曲后的图片的哪些像素会排布进全景图，同时舍弃那些不排布的像素(标准流程里最佳缝合线计算时为使得各子图片间的过渡看起来更加自然，会在各个子图片在全景图上排布时“舍弃”部分像素，通常主要是重叠区域的像素，通过掩码阵列来控制具体像素的去留)。
在某些情况下，弯曲操作后的子图片的尺寸可能会发生一些变换，与全景图中给定的空间大小不符，因而可能需要进一步对子图片进行切割操作。在需要进行切割操作的时候，根据切割参数切割弯曲后的子图片和其对应的掩码阵列，并根据切割参数修改切割后的子图片的左上角和右下角坐标(保证切割后图片内容在全景图上的位置不变)。
其中，在本发明的实施例中，初次调整和二次调整均包括上述弯曲操作和/或切割操作。在完成二次调整后，将各个子图片按照坐标统一排布，并对图像整体(尤其是子图片边缘)的像素点偏差进行修正，以将多个子图片以尽可能小的差异融合在一起，从而构建最终的全景拼接图像。具体地，在一些实施例中，所述方法还包括：计算色差补偿以及最佳缝合线，根据调整后各个子图片及其掩码在全景图坐标系中的坐标、将二次调整后的各个子图片在所述第二拼接图像上融合以得到所述第三拼接图像。
在本发明的一个优选实施例中，对图1的全景拼接图像进行过二次调整后的优化效果如图3所示，可以看出原先存在大量错位的车道线、栏杆等都已实现了整体和局部的对准，图像质量明显优于图1。本发明的实施例通过对全景拼接图像进行对准检测和对应调整，尤其是对初次调整后的全景拼接图像进行局部的二次调整，从而充分利用有限的图像特征进行整体和局部的检测，使拼接图像在整体和局部均实现有效的对准，得到高质量的全景拼接图像。
以上是本发明提供的全景拼接图像的二次调整方法的具体实施方式。
图4是根据本发明的一些实施例所示的全景拼接图像的二次调整装置示意图。如图4所示，所述全景拼接图像的二次调整装置400包括初始拼接模块410、初次调整模块420和二次调整模块430。其中：
初始拼接模块410，用于利用初始全景拼接模型对多个子图片进行初始全景拼接，得到第一拼接图像；
初次调整模块420，用于检测所述第一拼接图像中各个子图片的对准情况，根据所述对准情况对每个需要调整的子图片提供调整参数以进行初次调整，得到初次调整后的第二拼接图像；
二次调整模块430，用于利用局部调整的单应性矩阵和/或切割参数对所述第二拼接图像进行二次调整，调整各个子图片及其掩码在全景图坐标系中的坐标以得到第三拼接图像。
在一些实施例中，所述初始全景拼接根据各个子图片之间的特征点匹配进行，所述初始拼接模块包括：
特征提取模块，用于由所述初始全景拼接模型提取各个子图片的特征点；
特征匹配模块，用于识别不同子图片中相互匹配的多个特征点；
坐标对齐模块，用于按照统一的全景图坐标系将相互匹配的多个特征点的坐标对齐。
在一些实施例中，所述初始调整模块包括：
对准检测模块，用于基于霍夫变换、边缘检测、语义分割和人工标注中的至少一种方式进行所述对准情况的检测；
参数提供模块，用于根据所述对准情况确定需要移动、旋转、缩放或透视变化的子图片，从而提供对应的单应性矩阵相关参数和/或切割参数。
在一些实施例中，所述初次调整模块和所述二次调整模块均包括弯曲操作模块和/或切割操作模块。
在一些实施例中，所述弯曲操作模块包括：
弯曲调整模块，用于利用单应性矩阵对子图片进行相应的移动、旋转、缩放或透视变化；
坐标计算模块，用于计算弯曲后的子图片左上角和右下角在全景图坐标系中的坐标；
掩码计算模块，用于计算与弯曲后的子图片同样大小的掩码阵列。
在一些实施例中，所述切割操作模块包括：
切割模块，用于根据切割参数切割弯曲后的子图片及其掩码；
坐标修改模块，用于根据切割参数修改切割后的子图片左上角和右下角的坐标。
在一些实施例中，所述二次调整模块还包括：
通用计算模块，用于计算色差补偿以及最佳缝合线；
融合模块，用于根据调整后各个子图片及其掩码在全景图坐标系中的坐标、将二次调整后的各个子图片在所述第二拼接图像上融合以得到所述第三拼接图像。
参考附图5，为本公开一个实施例提供的电子设备示意图。如图5所示，该电子设备500包括：
存储器530以及一个或多个处理器510；
其中，所述存储器530与所述一个或多个处理器510通信连接，所述存储器530中存储有可被所述一个或多个处理器执行的指令532，所述指令532被所述一个或多个处理器510执行，以使所述一个或多个处理器510执行本公开前述实施例中的方法。
具体地，处理器510和存储器530可以通过总线或者其他方式连接，图5中以通过总线540连接为例。处理器510可以为中央处理器(Central Processing Unit，CPU)。处理器510还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器530作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本公开实施例中的级联渐进网络等。处理器510通过运行存储在存储器530中的非暂态软件程序、指令以及功能模块532，从而执行处理器的各种功能应用以及数据处理。
存储器530可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器510所创建的数据等。此外，存储器530可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器530可选包括相对于处理器510远程设置的存储器，这些远程存储器可以通过网络(比如通过通信接口520)连接至处理器510。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
当然，本领域技术人员可以理解，图5中的电子设备是本领域中具备一定数据处理能力的设备的通用描述，在本公开的优选实施例中，图5中的电子设备的一种具体实现方式为图像处理设备；更优选地，所述图像处理设备优选为全景图采集系统。
本公开的一个实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被执行后执行上述方法实施例中的各个步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法和/或装置实施例中的对应描述，在此不再赘述。
尽管此处所述的主题是在结合操作系统和应用程序在计算机系统上的执行而执行的一般上下文中提供的，但本领域技术人员可以认识到，还可结合其他类型的程序模块来执行其他实现。一般而言，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、组件、数据结构和其他类型的结构。本领域技术人员可以理解，此处所述的本主题可以使用其他计算机系统配置来实践，包括手持式设备、多处理器系统、基于微处理器或可编程消费电子产品、小型计算机、大型计算机等，也可使用在其中任务由通过通信网络连接的远程处理设备执行的分布式计算环境中。在分布式计算环境中，程序模块可位于本地和远程存储器存储设备的两者中。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本公开的范围。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对原有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的计算机可读取存储介质包括以存储如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方式或技术来实现的物理易失性和非易失性、可移动和不可因东介质。计算机可读取存储介质具体包括，但不限于，U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccess Memory)、可擦除可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM)、闪存或其他固态存储器技术、CD-ROM、数字多功能盘(DVD)、HD-DVD、蓝光(Blue-Ray)或其他光存储设备、磁带、磁盘存储或其他磁性存储设备、或能用于存储所需信息且可以由计算机访问的任何其他介质。
综上所述，本发明提出了一种全景拼接图像的二次调整方法、装置、电子设备及其计算机可读存储介质。本发明的实施例通过对全景拼接图像进行对准检测和对应调整，尤其是对初次调整后的全景拼接图像进行局部的二次调整，从而充分利用有限的图像特征进行整体和局部的检测，使拼接图像在整体和局部均实现有效的对准，得到高质量的全景拼接图像。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。
Claims (14)
1.一种全景拼接图像的二次调整方法，其特征在于，包括：
利用初始全景拼接模型对多个子图片进行初始全景拼接，得到第一拼接图像；
检测所述第一拼接图像中各个子图片的对准情况，根据所述对准情况对每个需要调整的子图片提供调整参数以进行初次调整，得到初次调整后的第二拼接图像；
利用局部调整的单应性矩阵和/或切割参数对所述第二拼接图像进行二次调整，调整各个子图片及其掩码在全景图坐标系中的坐标以得到第三拼接图像；
基于霍夫变换、边缘检测、语义分割和人工标注中的至少一种方式进行所述对准情况的检测；
所述初始全景拼接根据各个子图片之间的特征点匹配进行，包括：
所述初始全景拼接模型提取各个子图片的特征点；
识别不同子图片中相互匹配的多个特征点；
按照统一的全景图坐标系将相互匹配的多个特征点的坐标对齐。
2.根据权利要求1所述的方法，其特征在于，所述方法中：
根据所述对准情况确定需要移动、旋转、缩放或透视变化的子图片，从而提供对应的单应性矩阵相关参数和/或切割参数。
3.根据权利要求1所述的方法，其特征在于，所述初次调整和所述二次调整均包括弯曲操作和/或切割操作。
4.根据权利要求3所述的方法，其特征在于，所述弯曲操作包括：
利用单应性矩阵对子图片进行相应的移动、旋转、缩放或透视变化；
计算弯曲后的子图片左上角和右下角在全景图坐标系中的坐标；
计算与弯曲后的子图片同样大小的掩码阵列。
5.根据权利要求4所述的方法，其特征在于，所述切割操作包括：根据切割参数切割弯曲后的子图片及其掩码，并根据切割参数修改切割后的子图片左上角和右下角的坐标。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
计算色差补偿以及最佳缝合线，根据调整后各个子图片及其掩码在全景图坐标系中的坐标、将二次调整后的各个子图片在所述第二拼接图像上融合以得到所述第三拼接图像。
7.一种全景拼接图像的二次调整装置，其特征在于，包括：
初始拼接模块，用于利用初始全景拼接模型对多个子图片进行初始全景拼接，得到第一拼接图像；
初次调整模块，用于检测所述第一拼接图像中各个子图片的对准情况，根据所述对准情况对每个需要调整的子图片提供调整参数以进行初次调整，得到初次调整后的第二拼接图像；
二次调整模块，用于利用局部调整的单应性矩阵和/或切割参数对所述第二拼接图像进行二次调整，调整各个子图片及其掩码在全景图坐标系中的坐标以得到第三拼接图像；
所述初始拼接模块包括：
特征提取模块，用于由所述初始全景拼接模型提取各个子图片的特征点；
特征匹配模块，用于识别不同子图片中相互匹配的多个特征点；
坐标对齐模块，用于按照统一的全景图坐标系将相互匹配的多个特征点的坐标对齐。
8.根据权利要求7所述的装置，其特征在于，所述初次调整模块包括：
对准检测模块，用于基于霍夫变换、边缘检测、语义分割和人工标注中的至少一种方式进行所述对准情况的检测；
参数提供模块，用于根据所述对准情况确定需要移动、旋转、缩放或透视变化的子图片，从而提供对应的单应性矩阵相关参数和/或切割参数。
9.根据权利要求7所述的装置，其特征在于，所述初次调整模块和所述二次调整模块均包括弯曲操作模块和/或切割操作模块。
10.根据权利要求9所述的装置，其特征在于，所述弯曲操作模块包括：
弯曲调整模块，用于利用单应性矩阵对子图片进行相应的移动、旋转、缩放或透视变化；
坐标计算模块，用于计算弯曲后的子图片左上角和右下角在全景图坐标系中的坐标；
掩码计算模块，用于计算与弯曲后的子图片同样大小的掩码阵列。
11.根据权利要求9所述的装置，其特征在于，所述切割操作模块包括：
切割模块，用于根据切割参数切割弯曲后的子图片及其掩码；
坐标修改模块，用于根据切割参数修改切割后的子图片左上角和右下角的坐标。
12.根据权利要求7所述的装置，其特征在于，所述二次调整模块还包括：
通用计算模块，用于计算色差补偿以及最佳缝合线；
融合模块，用于根据调整后各个子图片及其掩码在全景图坐标系中的坐标、将二次调整后的各个子图片在所述第二拼接图像上融合以得到所述第三拼接图像。
13.一种电子设备，其特征在于，包括：
存储器以及一个或多个处理器；
其中，所述存储器与所述一个或多个处理器通信连接，所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行时，所述电子设备用于实现如权利要求1-6任一项所述的方法。
14.一种计算机可读存储介质，其上存储有计算机可执行指令，当所述计算机可执行指令被计算装置执行时，可用来实现如权利要求1-6任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110368115.6A CN113066010B (zh) | 2021-04-06 | 2021-04-06 | 全景拼接图像的二次调整方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110368115.6A CN113066010B (zh) | 2021-04-06 | 2021-04-06 | 全景拼接图像的二次调整方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113066010A CN113066010A (zh) | 2021-07-02 |
| CN113066010B true CN113066010B (zh) | 2022-11-15 |
Family
ID=76566055
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110368115.6A Active CN113066010B (zh) | 2021-04-06 | 2021-04-06 | 全景拼接图像的二次调整方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113066010B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109859105A (zh) * | 2019-01-21 | 2019-06-07 | 桂林电子科技大学 | 一种无参数影像自然拼接方法 |
| CN111445389A (zh) * | 2020-02-24 | 2020-07-24 | 山东省科学院海洋仪器仪表研究所 | 一种高分辨率图像的宽视角快速拼接方法 |
| CN112529019A (zh) * | 2020-12-24 | 2021-03-19 | 华中科技大学 | 基于直线特征和关键点特征融合的图像拼接方法和系统 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105678722A (zh) * | 2014-11-20 | 2016-06-15 | 深圳英飞拓科技股份有限公司 | 一种全景拼接图像弯曲矫正方法及装置 |
| CN106780303A (zh) * | 2016-12-02 | 2017-05-31 | 上海大学 | 一种基于局部配准的图像拼接方法 |
| CN107958443B (zh) * | 2017-12-28 | 2021-12-28 | 西安电子科技大学 | 一种基于脊线特征和tps形变模型的指纹图像拼接方法 |
| CN109886878B (zh) * | 2019-03-20 | 2020-11-03 | 中南大学 | 一种基于由粗到精配准的红外图像拼接方法 |
| CN112465704B (zh) * | 2020-12-07 | 2024-02-06 | 清华大学深圳国际研究生院 | 一种全局-局部自适应优化的全景光场拼接方法 |
-
2021
- 2021-04-06 CN CN202110368115.6A patent/CN113066010B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109859105A (zh) * | 2019-01-21 | 2019-06-07 | 桂林电子科技大学 | 一种无参数影像自然拼接方法 |
| CN111445389A (zh) * | 2020-02-24 | 2020-07-24 | 山东省科学院海洋仪器仪表研究所 | 一种高分辨率图像的宽视角快速拼接方法 |
| CN112529019A (zh) * | 2020-12-24 | 2021-03-19 | 华中科技大学 | 基于直线特征和关键点特征融合的图像拼接方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113066010A (zh) | 2021-07-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103517041B (zh) | 基于多相机旋转扫描的实时全景监控方法和装置 | |
| CN108769578B (zh) | 一种基于多路摄像头的实时全景成像系统及方法 | |
| CN107665483B (zh) | 免定标便捷的单目镜头鱼眼图像畸变矫正方法 | |
| CN107085842B (zh) | 自学习多路图像融合的实时矫正方法及系统 | |
| US20130141526A1 (en) | Apparatus and Method for Video Image Stitching | |
| CN101859433A (zh) | 图像拼接设备和方法 | |
| CN112365404B (zh) | 一种基于多相机的接触网全景图像拼接方法、系统及设备 | |
| WO2020110576A1 (ja) | 情報処理装置 | |
| CN111787232B (zh) | 基于云台摄像机的图像处理方法、设备及存储介质 | |
| CN111815517B (zh) | 一种基于球机抓拍图片的自适应全景拼接方法 | |
| CN112261387B (zh) | 用于多摄像头模组的图像融合方法及装置、存储介质、移动终端 | |
| CN105023260A (zh) | 一种全景图像融合方法及融合装置 | |
| CN113301274B (zh) | 一种船舶实时视频全景拼接方法及系统 | |
| CN103971375A (zh) | 一种基于图像拼接的全景凝视相机空间标定方法 | |
| CN111383204A (zh) | 视频图像融合方法、融合装置、全景监控系统及存储介质 | |
| JP5091099B2 (ja) | 撮像装置 | |
| CN111445537A (zh) | 一种摄像机的标定方法及系统 | |
| CN107492080B (zh) | 免定标便捷的单目镜头图像径向畸变矫正方法 | |
| CN111343360B (zh) | 一种校正参数获得方法 | |
| CN115641379A (zh) | 一种三维视频融合标定及实时渲染的方法及装置 | |
| CN114331835A (zh) | 一种基于最优映射矩阵的全景图像拼接方法及装置 | |
| CN113066010B (zh) | 全景拼接图像的二次调整方法、装置、电子设备及存储介质 | |
| CN114007023A (zh) | 一种大型车辆全景拼接方法 | |
| CN108961155B (zh) | 一种高保真的鱼眼镜头畸变校正方法 | |
| CN116543014A (zh) | 一种融合全景的教师自动跟踪方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Method, device, electronic device, and storage medium for secondary adjustment of panoramic mosaic images Effective date of registration: 20230817 Granted publication date: 20221115 Pledgee: Jiangsu Jiangyin Rural Commercial Bank Co.,Ltd. Wuxi Branch Pledgor: Wuxi ankedi Intelligent Technology Co.,Ltd. Registration number: Y2023980052623 |