CN113344782A - 图像拼接方法、装置、存储介质及电子装置 - Google Patents
图像拼接方法、装置、存储介质及电子装置 Download PDFInfo
- Publication number
- CN113344782A CN113344782A CN202110602736.6A CN202110602736A CN113344782A CN 113344782 A CN113344782 A CN 113344782A CN 202110602736 A CN202110602736 A CN 202110602736A CN 113344782 A CN113344782 A CN 113344782A
- Authority
- CN
- China
- Prior art keywords
- target
- sub
- image
- determining
- vertex coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000003860 storage Methods 0.000 title claims abstract description 11
- 238000001514 detection method Methods 0.000 claims abstract description 62
- 238000004590 computer program Methods 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 8
- 238000010801 machine learning Methods 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 20
- 238000013135 deep learning Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 6
- 238000012937 correction Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000009432 framing Methods 0.000 description 3
- 238000010248 power generation Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000003466 welding Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000003345 natural gas Substances 0.000 description 1
- 239000003921 oil Substances 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 239000002210 silicon-based material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供了一种图像拼接方法、装置、存储介质及电子装置，其中，该方法包括：获取摄像设备对目标对象的不同区域进行拍摄所得到的多个目标图像，其中，目标图像中包括多个子对象；使用目标检测模型对每个目标图像进行分析，以确定每个目标图像中包括的每个子对象的目标顶点坐标以及目标尺寸参数；基于目标顶点坐标以及目标尺寸参数确定每个目标图像的目标拼缝；基于目标拼缝拼接多个目标图像，以得到目标对象的目标全景图像。通过本发明，解决了相关技术中存在的拼接图像不准确、效率低的问题，提高了图像拼接的准确性以及拼接效率。
Description
技术领域
本发明实施例涉及通信领域，具体而言，涉及一种图像拼接方法、装置、存储介质及电子装置。
背景技术
图像拼接(Image Stitching)是指将多幅有重叠部分的图像(可能是不同时间、不同视角或者不同传感器获得的)拼成一幅无缝的全景图或高分辨率图像的技术，其中全景图像拼接的输出是多个输入图像的并集。图像拼接作为图像处理领域的一个重要分支在计算机视觉、医学成像、军事目标自动识别等领域具有广泛的应用。下面以光伏发电进行说明：
随着全球石油、天然气等传统能源的日益枯竭，光伏发电逐渐成为世界各国的关注重点，而光伏组件作为光伏发电中最重要的设备之一，对其研究更是十分必要。光伏组件一般由TPT、EVA、电池片及玻璃四部分组成，经过高温高压等一系列工序成为最终件。由于光伏组件在整个生产过程中涉及多个工艺步骤，并且硅材料易碎，因此，在生产过程中及时发现组件不良现象显得十分关键，这有利于及时进行维修，大大降低生产制造成本。传统人工检测方式无论是在效率还是精度方面均已无法满足实际需求，近年来，高效并且解放人工的AI自动缺陷检测方法成为主流，该方式直接输入整幅光伏组件图像，输出缺陷类型和位置。由于单目相机成像视野有限而光伏组件本身尺寸较大，所以需要通过多个高清相机同时拍摄的方式合成一幅图像，这就需要采用全景图像拼接技术。由此可见，准确快速的光伏组件全景图像拼接方法对光伏行业的发展至关重要，对其进行研究具有巨大价值。
在相关技术中，通常采用对多相机拼接成像进行亮度校正并形成亮度校正表；之后利用亮度校正表对多目相机采集到的图像分别进行亮度校正；最后用户设置每幅图像需要的范围，通过图像变换得到单块光伏组件的拼接图像。然而，光伏组件的每次拼接都需要工人手动框选每幅图像需要的范围，不但费时费力，而且很难保证框选区域的准确性，极易产生多框与少框现象，这都会造成图像拼接不准确，进而对光伏组件缺陷检测产生很大影响。
由此可知，相关技术中存在拼接图像不准确、效率低的问题。
针对相关技术中存在的上述问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种图像拼接方法、装置、存储介质及电子装置，以至少解决相关技术中存在的拼接图像不准确、效率低的问题。
根据本发明的一个实施例，提供了一种图像拼接方法，包括：获取摄像设备对目标对象的不同区域进行拍摄所得到的多个目标图像，其中，所述目标图像中包括多个子对象，所述子对象为所述目标对象中包括的对象；使用目标检测模型对每个所述目标图像进行分析，以确定每个所述目标图像中包括的每个子对象的目标顶点坐标以及目标尺寸参数，其中，所述目标检测模型为使用多组目标训练数据通过机器学习训练出的，所述多组目标训练数据中的每组数据包括：图像和图像中包括的每个子对象的顶点坐标以及尺寸参数；基于所述目标顶点坐标以及所述目标尺寸参数确定每个所述目标图像的目标拼缝；基于所述目标拼缝拼接多个所述目标图像，以得到所述目标对象的目标全景图像。
根据本发明的另一个实施例，提供了一种图像拼接装置，包括：获取模块，用于获取摄像设备对目标对象的不同区域进行拍摄所得到的多个目标图像，其中，所述目标图像中包括多个子对象，所述子对象为所述目标对象中包括的对象；
第一确定模块，用于使用目标检测模型对每个所述目标图像进行分析，以确定每个所述目标图像中包括的每个子对象的目标顶点坐标以及目标尺寸参数，其中，所述目标检测模型为使用多组目标训练数据通过机器学习训练出的，所述多组目标训练数据中的每组数据包括：图像和图像中包括的每个子对象的顶点坐标以及尺寸参数；第二确定模块，用于基于所述目标顶点坐标以及所述目标尺寸参数确定每个所述目标图像的目标拼缝；拼接模块，用于基于所述目标拼缝拼接多个所述目标图像，以得到所述目标对象的目标全景图像。
根据本发明的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被处理器执行时实现上述任一项中所述的方法的步骤。
根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明，获取摄像设备对目标对象的不同区域进行拍摄所得到的多个目标图像，通过目标检测模型对每个目标图像进行分析，以确定出每个目标图像中包括的每个子对象的目标顶点坐标，以及每个子对象的目标尺寸参数，根据目标顶点坐标以及目标尺寸参数确定每个图像的目标拼缝，根据目标拼缝拼接多个目标图像，以得到目标对象的目标全景图像。由于可以通过目标检测模型对目标图像进行分析，可以准确地确定出每个子对象的目标顶点坐标以及目标尺寸参数，并根据目标顶点坐标以及目标尺寸参数确定出每个目标图像的目标拼缝，无需手动确定每个目标图像的检测区域，因此，可以解决相关技术中存在的拼接图像不准确、效率低的问题，提高了图像拼接的准确性以及拼接效率。
附图说明
图1是本发明实施例的一种图像拼接方法的移动终端的硬件结构框图；
图2是根据本发明实施例的图像拼接方法的流程图；
图3是根据本发明示例性实施例的目标检测模型的检测结果示意图；
图4是根据本发明示例性实施例的检测区域示意图；
图5是根据本发明示例性实施例的确定出的目标子对象示意图；
图6是根据本发明示例性实施例的确定目标拼缝中包括的右侧拼缝示意图；
图7是根据本发明示例性实施例的确定目标拼缝中各个拼缝的交点示意图；
图8是根据本发明示例性实施例的每组目标图像示意图；
图9是根据本发明示例性实施例的每组目标图像拼接效果图；
图10是根据本发明示例性实施例的目标全景图像示意图；
图11是根据本发明示例性实施例的图像拼接方法示意图；
图12是根据本发明示例性实施例的图像拼接整体流程图；
图13是根据本发明实施例的图像拼接装置的结构框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明的实施例。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种图像拼接方法的移动终端的硬件结构框图。如图1所示，移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，其中，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的图像拼接方法对应的计算机程序，处理器102 通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种图像拼接方法，图2是根据本发明实施例的图像拼接方法的流程图，如图2所示，该流程包括如下步骤：
步骤S202，获取摄像设备对目标对象的不同区域进行拍摄所得到的多个目标图像，其中，所述目标图像中包括多个子对象，所述子对象为所述目标对象中包括的对象；
步骤S204，使用目标检测模型对每个所述目标图像进行分析，以确定每个所述目标图像中包括的每个子对象的目标顶点坐标以及目标尺寸参数，其中，所述目标检测模型为使用多组目标训练数据通过机器学习训练出的，所述多组目标训练数据中的每组数据包括：图像和图像中包括的每个子对象的顶点坐标以及尺寸参数；
步骤S206，基于所述目标顶点坐标以及所述目标尺寸参数确定每个所述目标图像的目标拼缝；
步骤S208，基于所述目标拼缝拼接多个所述目标图像，以得到所述目标对象的目标全景图像。
在上述实施例中，目标对象可以为光伏组件，每个光伏组件中可以包括多个电池板，即子对象。摄像设备可以是多目相机，可以采用多个摄像设备对目标对象的不同位置进行同时拍摄。例如，采用13个相机拍摄同一块光伏组件的不同部位，这13个相机被平均分成3组，每组先分别进行图像拼接，而后将拼接后的3幅图像再进行拼接，最终完成两阶段全景图像拼接。
在上述实施例中，针对待拼接的每幅图像，即每个目标图像，可以采用深度学习目标检测模型检测出每个电池片，即每个子对象的位置信息，包括左上角坐标(x,y)、宽度w和高度h。其中，目标检测模型为YOLO模型。其中，目标顶点坐标可以为子对象的左上角的顶点的坐标，也可以为右上角的顶点的坐标，或者是左下角、右下角的顶点的坐标，还可以是子对象的中点的坐标，本发明对此不作限制。目标尺寸参数包括子对象的宽度和高度。其中，目标检测模型的检测结果示意图可参见附图3，如图3 所示，附图3中的矩形框为多有子对象的检测结果。
可选地，上述步骤的执行主体可以是后台处理器，或者其他的具备类似处理能力的设备，还可以是至少集成有图像获取设备以及数据处理设备的机器，其中，图像获取设备可以包括摄像头等图形采集模块，数据处理设备可以包括计算机、手机等终端，但不限于此。
通过本发明，获取摄像设备对目标对象的不同区域进行拍摄所得到的多个目标图像，通过目标检测模型对每个目标图像进行分析，以确定出每个目标图像中包括的每个子对象的目标顶点坐标，以及每个子对象的目标尺寸参数，根据目标顶点坐标以及目标尺寸参数确定每个图像的目标拼缝，根据目标拼缝拼接多个目标图像，以得到目标对象的目标全景图像。由于可以通过目标检测模型对目标图像进行分析，可以准确地确定出每个子对象的目标顶点坐标以及目标尺寸参数，并根据目标顶点坐标以及目标尺寸参数确定出每个目标图像的目标拼缝，无需手动确定每个目标图像的检测区域，因此，可以解决相关技术中存在的拼接图像不准确、效率低的问题，提高了图像拼接的准确性以及拼接效率。
在一个示例性实施例中，基于所述目标顶点坐标以及所述目标尺寸参数确定每个所述目标图像的目标拼缝包括：针对每个所述目标图像，执行以下操作，确定每个所述目标图像的目标拼缝：获取所述目标图像的检测区域的区域顶点坐标；基于所述目标顶点坐标、所述目标尺寸参数以及所述区域顶点坐标确定多个所述子对象中包括的目标子对象；基于所述目标子对象的目标顶点坐标以及目标尺寸参数确定所述目标图像的所述目标拼缝。在本实施例中，可以先确定出每个目标图像的目标拼接，再根据每个目标图像的目标拼缝对所有目标图像进行拼接。针对每个目标图像的操作均相同。获取目标图像的检测区域的区域顶点坐标，根据目标顶点坐标、目标尺寸参数以及区域顶点坐标确定多个子对象中包括的目标子对象，根据目标子对象的目标顶点坐标和目标尺寸参数确定目标图像的目标拼缝。其中，目标子对象为分别距离检测区域的每个顶点最近的子对象。
在上述实施例中，由于每组图像中的每幅图像的拼缝检测与后处理策略相同，故以其中一幅图像为例进行描述。当光伏组件第一次进入缺陷检测工位时，人工手动对采集的13幅图像中的ROI区域(即检测区域)进行框选，该步骤获取的ROI区域只是为了粗定位拼缝位置。由于步进电机本身控制精度较高，故当其他光伏组件陆续进入缺陷检测工位时，不会出现较大位移，ROI区域与第一次框选位置信息很接近，无需再进行选择。即，只需在输入多个目标图像中的第一个图像时手动选择检测区域，确定检测区域的区域顶点坐标，在输入其他图像时，则无需手动选择检测区域，直接获取第一次确定的区域顶点坐标即可。其中，检测区域示意图参见附图4，如图4所示，虚线框表示检测区域。
在一个示例性实施例中，基于所述目标顶点坐标、所述目标尺寸参数以及所述区域顶点坐标确定多个所述子对象中包括的目标子对象包括：基于所述目标顶点坐标、所述目标尺寸参数确定每个所述子对象的对象顶点坐标，其中，所述对象顶点坐标中包括所述子对象所在区域的各个顶点的坐标；基于所述对象顶点坐标以及所述区域顶点坐标确定距离所述区域顶点坐标中包括的每个顶点坐标最近的第一子对象；将所述第一子对象确定为所述目标子对象。在本实施例中，根据ROI框选位置信息(对应于区域顶点坐标)及电池片深度学习目标检测结果(对应于目标顶点坐标以及目标尺寸参数)可以对拼缝进行粗定位，就是将检测出的每个电池片(子对象)矩形框左上角坐标(目标顶点坐标)与ROI框选区域的各个顶点的坐标进行比较，选出分别距离四个顶点最近的左上、右上、右下、左下四个电池片(对应于上述第一子对象)。将第一子对象确定为目标子对象。
在一个示例性实施例中，基于所述对象顶点坐标以及所述区域顶点坐标确定距离所述区域顶点坐标中包括的每个顶点坐标最近的第一子对象包括：对所述区域顶点坐标中包括的每个顶点的第一坐标均执行以下操作，以确定距离所述区域顶点坐标中包括的每个顶点坐标最近的第一子对象：确定所述对象顶点坐标中包括的与所述第一坐标的方位相同的第二坐标；确定所述第二坐标中的横坐标与所述第一坐标中的横坐标的差值的第一绝对值，以及所述第二坐标中的纵坐标与所述第一坐标中的纵坐标的差值的第二绝对值；确定所述第一绝对值与所述第二绝对值的绝对值和；确定所述绝对值和中包括的最小绝对值和对应的第三坐标；将所述第三坐标对应的子对象确定为所述第一子对象。在本实施例中，在确定距离检测区域的每个顶点最近的坐标时，可以通过 min{f(xi,yi)＝|xi-xleft_top|+|yi-yleft_top||i＝1,2...n}确定，其中，(xi,yi)为每个电池片检测框左上角坐标，(xleft_top,yleft_top)为ROI区域左上角坐标，n为检测出电池片的总数目。右上角、右下角与左下角的比较方式与左上角一致，在此不再赘述。其中，确定出的目标子对象示意图可参见附图5，如图5所示，标号为1、2、3、4的子对象即为目标子对象。
在一个示例性实施例中，基于所述目标子对象的目标顶点坐标以及目标尺寸参数确定所述目标拼缝包括：基于所述目标顶点坐标中包括的所述目标子对象中的第二子对象的纵坐标搜索所述目标图像的第一直线，其中，所述第二子对象为位于第一边缘区域中的子对象；基于所述目标顶点坐标中包括的所述目标子对象中的第三子对象的纵坐标，以及所述目标尺寸参数中包括的所述第三子对象的尺寸参数搜索所述目标图像的第二直线，其中，所述第三子对象为位于第二边缘区域中的子对象；基于所述目标顶点坐标中包括的所述目标子对象中的第四子对象的横坐标，以及所述目标尺寸参数中包括的所述第四子对象的尺寸参数搜索所述目标图像的第三直线，其中，所述第四子对象为位于第三边缘区域中的子对象，所述第三边缘区域包括所述第一边缘区域和所述第二边缘区域；基于所述目标顶点坐标中包括的所述子对象中的第五子对象的横坐标，以及所述目标尺寸参数中包括的所述第五子对象的尺寸参数搜索所述目标图像的第四直线，其中，所述第五子对象为位于目标区域的子对象，所述目标区域为位于所述检测区域中的与所述第三边缘区域相邻的区域；基于所述第一直线、第二直线、第三直线以及所述第四直线确定所述目标拼缝。在本实施例中，可以先确定目标图像的横向拼缝，其中，横向拼缝可以包括上下两条拼缝。可以通过第一边缘区域中的第二子对象的纵坐标搜索第一直线，通过第二边缘区域中的第三子对象的纵坐标搜索第一直线。其中，第一边缘区域可以为检测区域的上边缘区域，第二边缘区域可以为检测区域的下边缘区域。第二子对象对应于附图5中的标号为1和2的子对象，第三子对象对应于附图 5中标号为3和4的子对象。
在上述实施例中，第三边缘区域中包括检测区域的左侧边缘区域和右侧边缘区域，第四子对象中包括两组子对象，第一组子对象为位于左侧边缘区域的子对象，第二组子对象为位于右侧边缘区域的子对象。可以根据第一组子对象的横坐标以及尺寸参数搜索左侧边缘线，根据第二组子对象的横坐标以及尺寸参数搜索右侧边缘线。即，第三直线包括左侧边缘线和右侧边缘线。其中，第四子对象对应于附图5中标号为1、3和2、4的子对象，其中，标号为1、3的子对象为第一组子对象，标号为2、4的子对象为第二组子对象。
在上述实施例中，在搜索出第三直线后，可以确定出位于目标区域的第五子对象。其中，目标区域中包括两个子区域，第一子区域为与第三边缘区域中包括的左侧边缘区域相邻，第二子区域与第三边缘区域中包括的右侧边缘区域相邻，且，第一子区域和第二子区域均位于检测区域中。可以通过第一子区域中包括的第五子对象的目标顶点坐标中包括的横坐标以及目标尺寸参数搜索第四直线中包括的第一子直线，通过第二子区域中包括的第五子对象的目标顶点坐标中包括的横坐标以及目标尺寸参数搜索第四直线中包括的第二子直线。根据第一直线，第二直线，第三直线中包括的左侧边缘线、右侧边缘线，以及第四直线中包括的第一子直线和第二子直线确定目标图像的目标拼缝。
在上述实施例中，由于在实际拼接过程中，竖向拼缝旁边有焊条和 EVA膜等因素干扰，加上深度学习目标检测结果存在一定偏差，所以当直接使用深度学习模型检测结果进行竖向直线拼缝搜索时会产生误搜现象，导致最终图像拼接失败。因此，可以采用拼缝邻近搜索策略，间接实现对竖向拼缝的精确检测。确定目标拼缝中包括的右侧拼缝示意图可参见附图 6，如图6所示，首先利用粗定位结果直接进行横向上下直线拼缝的搜索，得到直线61(对应于上述第一直线)、直线62(对应于上述第二直线)；其次利用选出的右上和右下电池片位置信息进行拼缝左侧竖向直线搜索，得到直线63(对应于上述第三直线中包括的右侧边缘线)，同样利用与选出的右上和右下电池片左侧相邻的上下两个电池片位置信息搜索竖向直线，得到直线64(对应于上述第四直线中包括的第二子直线)。根据直线 61-直线64即可确定目标图像的右侧拼缝。确定左侧拼缝的方式与确定右侧拼缝的方式相同，在此不再赘述。
在一个示例性实施例中，基于所述第一直线、第二直线、第三直线以及所述第四直线确定所述目标拼缝包括：确定所述第三直线与所述第一直线的第一交点，以及所述第三直线与所述第二直线的第二交点；确定所述第四直线与所述第一直线的第三交点，以及所述第四直线与所述第二直线的第四交点；确定所述第一交点与所述第三交点的第一差值，以及所述第二交点与所述第四交点的第二差值；将所述第一交点向预定方向移动所述第一差值，以得到第一目标交点，以及，将所述第二交点向所述预定方向移动所述第二差值，以得到第二目标交点；基于所述第一直线、所述第二直线、所述第一目标交点以及所述第二目标交点确定所述目标拼缝。在本实施例中，可以确定第三直线与第一直线的第一交点以及第三直线与第二直线的第二交点。确定第四直线与第一直线的第三交点。其中，由于第三直线中包括左侧边缘线和右侧边缘线，因此，第一交点中包括第一左交点和第一右交点，第二交点中包括第二左交点和第二右交点。由于第四直线包括第一子直线和第二子直线，因此，第三交点中包括第三左交点和第三右交点。
在上述实施例中，可以确定第一交点中包括的第一左交点和第三左交点的第一左差值以及确定第一交点中包括的第一右交点和第三右交点的第一右差值。将第一左交点向左侧移动第一左差值，以得到第一左目标交点，将第一右交点向右侧移动第一右差值，以得到第一右目标交点。
在上述实施例中，可以确定第二交点中包括的第二左交点和第四左交点的第二左差值以及确定第二交点中包括的第二右交点和第四右交点的第二右差值。将第二左交点向左侧移动第二左差值，以得到第二左目标交点，将第二右交点向右侧移动第二右差值，以得到第二右目标交点。
在上述实施例中，在确定出第一左目标交点、第一右目标交点、第二左目标交点以及第二右目标交点后，可以根据第一左目标交点、第一右目标交点、第二左目标交点以及第二右目标交点以及第一直线和第二直线确定目标拼缝。
在上述实施例中，根据第一直线、第二直线、第三直线以及第四直线确定右侧拼缝示意图可参见附图6，如图6所示，确定第一直线61和第三直线63的第一交点2(对应于上述第一右交点)，确定第二直线62和第三直线63的第二交点3(对应于上述第二右交点)，确定第四直线64分别与第一直线和第二直线的第三交点1(对应于上述第三右交点)，第四交点4(对应于上述第四右交点)，即分别求取搜索出的两条竖线与横向上下拼缝的交点，记为点1、点2、点3与点4；之后再分别计算点2与点1、点3与点4的横向坐标差的绝对值，记为Δx2与Δx3(对应于上述第一右差值和第二右差值)，按箭头所示方向将点2移动距离Δx2，将点3移动距离Δx3，移动后的点分别记为点2'和点3'(对应于上述第一目标右交点和第二目标右交点)。因为同一块光伏组件上每个电池片的尺寸基本一致，所以此时点2'和点3'的位置几乎就是右上电池片的右上角点与右下电池片的右下角点；最后可以利用点2'和点3'位置信息实现对右侧竖向拼缝的精确搜索，得到右侧目标拼缝。同理，也可以精确搜索出单幅图像的左侧拼缝位置，至此，所有目标图像中的上下左右四个拼缝均已搜索完毕。
在一个示例性实施例中，基于所述第一直线、所述第二直线、所述第一目标交点以及所述第二目标交点确定所述目标拼缝包括：将所述第一直线确定为所述目标图像的第一拼缝；将所述第二直线确定为所述目标图像的第二拼缝；基于所述第一目标交点以及所述第二目标交点搜索第三拼缝；将所述第一拼缝、所述第二拼缝以及所述第三拼缝确定为所述目标拼缝。在本实施例中，可以将第一直线确定为目标图像的第一拼缝，第二直线确定为目标图像的第二拼缝，利用第一目标右交点和第二目标右交点搜索直线，将搜索到的直线确定为右侧拼缝，利用第一目标左交点和第二目标左交点搜索直线，将搜索到的直线确定为左侧拼缝。
在一个示例性实施例中，基于所述目标拼缝拼接多个所述目标图像，以得到所述目标对象的目标全景图像包括：确定所述目标拼缝中包括的各个拼缝的交点的第四坐标；获取预先确定的目标图像中的各点与全景图像中的各点的对应关系；基于所述对应关系确定所述第四坐标在所述全景图像中的第五坐标；基于所述第五坐标将所述目标图像投影到所述全景图像中，以得到所述目标全景图像。在本实施例中，在确定出目标拼缝后，可以确定目标拼缝中包括的各个拼缝交点的第四坐标，确定目标图像中的各点与全景图像中的各点的对应关系，根据对应关系确定第四坐标在全景图像中的第五坐标，根据第五坐标将目标图像投影到全景图像中，以得到目标全景图像。其中，确定目标拼缝中各个拼缝的交点示意图可参见附图7，如图7所示，可以根据搜索到的直线拼缝，求解上下左右四条直线的交点，以获取后续光伏组件图像校正及全景拼接所需的关键点。关键点坐标，在最终拼接后的全景图像中选取对应的四个拼接点坐标，根据最终拼接点与求取的关键点建立相应的投影变换模型，将图像依次投影到共同的拼接平面中，以得到目标全景图像。
在一个示例性实施例中，基于所述目标拼缝拼接多个所述目标图像，以得到所述目标对象的目标全景图像包括：将多个所述目标图像进行分组，以得到多组目标图像；分别拼接所述多组目标图像中的每组目标图像，以得到多组全景图像；将所述多组全景图像进行拼接，以得到所述目标全景图像。在本实施例中，可以对采集到的目标图像进行分组，以得到多组目标图像，对每组目标图像进行拼接，得到多组全景图像，在将多组全景图像进行拼接，以得到目标全景图像。其中，每组目标图像示意图可参见附图8，每组目标图像拼接效果图可参见图9，再将多组拼接后的图像投影到最终全景图像中，完成两阶段光伏组件图像拼接。目标全景图像示意图可参见附图10，可见该全景图像拼接方法拼接质量很高。其中，对每组目标图像进行拼接，得到多组全景图像的方式也可以采用上述投影的方式。其中，图像拼接方法示意图可参见附图11。图像拼接整体流程图可参见附图12。
在前述实施例中，采用深度学习检测每块电池片的方式，仅需人工手动框选ROI区域一次，且无需进行图像配准与图像融合操作，即可实现单块光伏组件的全景图像拼接。利用深度学习目标检测模型分别得到每幅图像中每块电池片的坐标及长宽信息，通过与ROI区域比较粗定位拼缝位置，而后利用直线检测算法精确检测出拼缝完成图像拼接。该拼接方案避免了图像配准或人工多次精确框选十分耗时、图像融合造成拼缝处失真等问题，拼接效率高，拼接结果准确可靠。采用拼缝邻近搜索策略，能够有效应对深度学习目标检测结果不稳定、边缘焊条及EVA膜干扰等因素影响。首先利用深度学习目标检测结果搜索位于拼缝同一侧的相邻连续的两条直线段，因为光伏组件内部干扰很少，故这两条直线段搜索结果会比较稳定准确；然后分别计算搜索到的两条直线段起始点坐标差，利用该差值将最靠近拼缝处的直线段向拼缝方向进行平移；最后利用平移后直线段的起始点坐标再精细搜索拼缝。该方式有效避免了直接利用深度学习粗定位检测结果搜索拼缝位置，鲁棒性较强。采用深度学习方式进行全景图像拼接，针对不同的光伏组件类型可以训练出不同的目标检测模型，利用检测的结果结合拼缝搜索策略就可以进行图像拼接，因而适用范围较广。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如 ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
在本实施例中还提供了一种图像拼接装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图13是根据本发明实施例的图像拼接装置的结构框图，如图13所示，该装置包括：
获取模块1302，用于获取摄像设备对目标对象的不同区域进行拍摄所得到的多个目标图像，其中，所述目标图像中包括多个子对象，所述子对象为所述目标对象中包括的对象；
第一确定模块1304，用于使用目标检测模型对每个所述目标图像进行分析，以确定每个所述目标图像中包括的每个子对象的目标顶点坐标以及目标尺寸参数，其中，所述目标检测模型为使用多组目标训练数据通过机器学习训练出的，所述多组目标训练数据中的每组数据包括：图像和图像中包括的每个子对象的顶点坐标以及尺寸参数；
第二确定模块1306，用于基于所述目标顶点坐标以及所述目标尺寸参数确定每个所述目标图像的目标拼缝；
拼接模块1308，用于基于所述目标拼缝拼接多个所述目标图像，以得到所述目标对象的目标全景图像。
在一个示例性实施例中，第二确定模块1306可以通过如下方式实现基于所述目标顶点坐标以及所述目标尺寸参数确定每个所述目标图像的目标拼缝：针对每个所述目标图像，执行以下操作，确定每个所述目标图像的目标拼缝：获取所述目标图像的检测区域的区域顶点坐标；基于所述目标顶点坐标、所述目标尺寸参数以及所述区域顶点坐标确定多个所述子对象中包括的目标子对象；基于所述目标子对象的目标顶点坐标以及目标尺寸参数确定所述目标图像的所述目标拼缝。
在一个示例性实施例中，第二确定模块1306可以通过如下方式实现基于所述目标顶点坐标、所述目标尺寸参数以及所述区域顶点坐标确定多个所述子对象中包括的目标子对象：基于所述目标顶点坐标、所述目标尺寸参数确定每个所述子对象的对象顶点坐标，其中，所述对象顶点坐标中包括所述子对象所在区域的各个顶点的坐标；基于所述对象顶点坐标以及所述区域顶点坐标确定距离所述区域顶点坐标中包括的每个顶点坐标最近的第一子对象；将所述第一子对象确定为所述目标子对象。
在一个示例性实施例中，第二确定模块1306可以通过如下方式实现基于所述对象顶点坐标以及所述区域顶点坐标确定距离所述区域顶点坐标中包括的每个顶点坐标最近的第一子对象：对所述区域顶点坐标中包括的每个顶点的第一坐标均执行以下操作，以确定距离所述区域顶点坐标中包括的每个顶点坐标最近的第一子对象：确定所述对象顶点坐标中包括的与所述第一坐标的方位相同的第二坐标；确定所述第二坐标中的横坐标与所述第一坐标中的横坐标的差值的第一绝对值，以及所述第二坐标中的纵坐标与所述第一坐标中的纵坐标的差值的第二绝对值；确定所述第一绝对值与所述第二绝对值的绝对值和；确定所述绝对值和中包括的最小绝对值和对应的第三坐标；将所述第三坐标对应的子对象确定为所述第一子对象。
在一个示例性实施例中，第二确定模块1306可以通过如下方式实现基于所述目标子对象的目标顶点坐标以及目标尺寸参数确定所述目标拼缝：基于所述目标顶点坐标中包括的所述目标子对象中的第二子对象的纵坐标搜索所述目标图像的第一直线，其中，所述第二子对象为位于第一边缘区域中的子对象；基于所述目标顶点坐标中包括的所述目标子对象中的第三子对象的纵坐标，以及所述目标尺寸参数中包括的所述第三子对象的尺寸参数搜索所述目标图像的第二直线，其中，所述第三子对象为位于第二边缘区域中的子对象；基于所述目标顶点坐标中包括的所述目标子对象中的第四子对象的横坐标，以及所述目标尺寸参数中包括的所述第四子对象的尺寸参数搜索所述目标图像的第三直线，其中，所述第四子对象为位于第三边缘区域中的子对象，所述第三边缘区域包括所述第一边缘区域和所述第二边缘区域；基于所述目标顶点坐标中包括的所述子对象中的第五子对象的横坐标，以及所述目标尺寸参数中包括的所述第五子对象的尺寸参数搜索所述目标图像的第四直线，其中，所述第五子对象为位于目标区域的子对象，所述目标区域为位于所述检测区域中的与所述第三边缘区域相邻的区域；基于所述第一直线、第二直线、第三直线以及所述第四直线确定所述目标拼缝。
在一个示例性实施例中，第二确定模块1306可以通过如下方式实现基于所述第一直线、第二直线、第三直线以及所述第四直线确定所述目标拼缝：确定所述第三直线与所述第一直线的第一交点，以及所述第三直线与所述第二直线的第二交点；确定所述第四直线与所述第一直线的第三交点，以及所述第四直线与所述第二直线的第四交点；确定所述第一交点与所述第三交点的第一差值，以及所述第二交点与所述第四交点的第二差值；将所述第一交点向预定方向移动所述第一差值，以得到第一目标交点，以及，将所述第二交点向所述预定方向移动所述第二差值，以得到第二目标交点；基于所述第一直线、所述第二直线、所述第一目标交点以及所述第二目标交点确定所述目标拼缝。
在一个示例性实施例中，第二确定模块1306可以通过如下方式实现基于所述第一直线、所述第二直线、所述第一目标交点以及所述第二目标交点确定所述目标拼缝：将所述第一直线确定为所述目标图像的第一拼缝；将所述第二直线确定为所述目标图像的第二拼缝；基于所述第一目标交点以及所述第二目标交点搜索第三拼缝；将所述第一拼缝、所述第二拼缝以及所述第三拼缝确定为所述目标拼缝。
在一个示例性实施例中，所述拼接模块1308可以通过如下方式实现基于所述目标拼缝拼接多个所述目标图像，以得到所述目标对象的目标全景图像：确定所述目标拼缝中包括的各个拼缝的交点的第四坐标；获取预先确定的目标图像中的各点与全景图像中的各点的对应关系；基于所述对应关系确定所述第四坐标在所述全景图像中的第五坐标；基于所述第五坐标将所述目标图像投影到所述全景图像中，以得到所述目标全景图像。
在一个示例性实施例中，所述拼接模块1308可以通过如下方式实现基于所述目标拼缝拼接多个所述目标图像，以得到所述目标对象的目标全景图像：将多个所述目标图像进行分组，以得到多组目标图像；分别拼接所述多组目标图像中的每组目标图像，以得到多组全景图像；将所述多组全景图像进行拼接，以得到所述目标全景图像。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
本发明的实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被处理器执行时实现上述任一项中所述的方法的步骤。
在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于： U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (12)
1.一种图像拼接方法，其特征在于，包括：
获取摄像设备对目标对象的不同区域进行拍摄所得到的多个目标图像，其中，所述目标图像中包括多个子对象，所述子对象为所述目标对象中包括的对象；
使用目标检测模型对每个所述目标图像进行分析，以确定每个所述目标图像中包括的每个子对象的目标顶点坐标以及目标尺寸参数，其中，所述目标检测模型为使用多组目标训练数据通过机器学习训练出的，所述多组目标训练数据中的每组数据包括：图像和图像中包括的每个子对象的顶点坐标以及尺寸参数；
基于所述目标顶点坐标以及所述目标尺寸参数确定每个所述目标图像的目标拼缝；
基于所述目标拼缝拼接多个所述目标图像，以得到所述目标对象的目标全景图像。
2.根据权利要求1所述的方法，其特征在于，基于所述目标顶点坐标以及所述目标尺寸参数确定每个所述目标图像的目标拼缝包括：
针对每个所述目标图像，执行以下操作，确定每个所述目标图像的目标拼缝：
获取所述目标图像的检测区域的区域顶点坐标；
基于所述目标顶点坐标、所述目标尺寸参数以及所述区域顶点坐标确定多个所述子对象中包括的目标子对象；
基于所述目标子对象的目标顶点坐标以及目标尺寸参数确定所述目标图像的所述目标拼缝。
3.根据权利要求2所述的方法，其特征在于，基于所述目标顶点坐标、所述目标尺寸参数以及所述区域顶点坐标确定多个所述子对象中包括的目标子对象包括：
基于所述目标顶点坐标、所述目标尺寸参数确定每个所述子对象的对象顶点坐标，其中，所述对象顶点坐标中包括所述子对象所在区域的各个顶点的坐标；
基于所述对象顶点坐标以及所述区域顶点坐标确定距离所述区域顶点坐标中包括的每个顶点坐标最近的第一子对象；
将所述第一子对象确定为所述目标子对象。
4.根据权利要求3所述的方法，其特征在于，基于所述对象顶点坐标以及所述区域顶点坐标确定距离所述区域顶点坐标中包括的每个顶点坐标最近的第一子对象包括：
对所述区域顶点坐标中包括的每个顶点的第一坐标均执行以下操作，以确定距离所述区域顶点坐标中包括的每个顶点坐标最近的第一子对象：确定所述对象顶点坐标中包括的与所述第一坐标的方位相同的第二坐标；确定所述第二坐标中的横坐标与所述第一坐标中的横坐标的差值的第一绝对值，以及所述第二坐标中的纵坐标与所述第一坐标中的纵坐标的差值的第二绝对值；确定所述第一绝对值与所述第二绝对值的绝对值和；
确定所述绝对值和中包括的最小绝对值和对应的第三坐标；
将所述第三坐标对应的子对象确定为所述第一子对象。
5.根据权利要求2所述的方法，其特征在于，基于所述目标子对象的目标顶点坐标以及目标尺寸参数确定所述目标拼缝包括：
基于所述目标顶点坐标中包括的所述目标子对象中的第二子对象的纵坐标搜索所述目标图像的第一直线，其中，所述第二子对象为位于第一边缘区域中的子对象；
基于所述目标顶点坐标中包括的所述目标子对象中的第三子对象的纵坐标，以及所述目标尺寸参数中包括的所述第三子对象的尺寸参数搜索所述目标图像的第二直线，其中，所述第三子对象为位于第二边缘区域中的子对象；
基于所述目标顶点坐标中包括的所述目标子对象中的第四子对象的横坐标，以及所述目标尺寸参数中包括的所述第四子对象的尺寸参数搜索所述目标图像的第三直线，其中，所述第四子对象为位于第三边缘区域中的子对象，所述第三边缘区域包括所述第一边缘区域和所述第二边缘区域；
基于所述目标顶点坐标中包括的所述子对象中的第五子对象的横坐标，以及所述目标尺寸参数中包括的所述第五子对象的尺寸参数搜索所述目标图像的第四直线，其中，所述第五子对象为位于目标区域的子对象，所述目标区域为位于所述检测区域中的与所述第三边缘区域相邻的区域；
基于所述第一直线、第二直线、第三直线以及所述第四直线确定所述目标拼缝。
6.根据权利要求5所述的方法，其特征在于，基于所述第一直线、第二直线、第三直线以及所述第四直线确定所述目标拼缝包括：
确定所述第三直线与所述第一直线的第一交点，以及所述第三直线与所述第二直线的第二交点；
确定所述第四直线与所述第一直线的第三交点，以及所述第四直线与所述第二直线的第四交点；
确定所述第一交点与所述第三交点的第一差值，以及所述第二交点与所述第四交点的第二差值；
将所述第一交点向预定方向移动所述第一差值，以得到第一目标交点，以及，将所述第二交点向所述预定方向移动所述第二差值，以得到第二目标交点；
基于所述第一直线、所述第二直线、所述第一目标交点以及所述第二目标交点确定所述目标拼缝。
7.根据权利要求6所述的方法，其特征在于，基于所述第一直线、所述第二直线、所述第一目标交点以及所述第二目标交点确定所述目标拼缝包括：
将所述第一直线确定为所述目标图像的第一拼缝；
将所述第二直线确定为所述目标图像的第二拼缝；
基于所述第一目标交点以及所述第二目标交点搜索第三拼缝；
将所述第一拼缝、所述第二拼缝以及所述第三拼缝确定为所述目标拼缝。
8.根据权利要求1所述的方法，其特征在于，基于所述目标拼缝拼接多个所述目标图像，以得到所述目标对象的目标全景图像包括：
确定所述目标拼缝中包括的各个拼缝的交点的第四坐标；
获取预先确定的目标图像中的各点与全景图像中的各点的对应关系；
基于所述对应关系确定所述第四坐标在所述全景图像中的第五坐标；
基于所述第五坐标将所述目标图像投影到所述全景图像中，以得到所述目标全景图像。
9.根据权利要求1所述的方法，其特征在于，基于所述目标拼缝拼接多个所述目标图像，以得到所述目标对象的目标全景图像包括：
将多个所述目标图像进行分组，以得到多组目标图像；
分别拼接所述多组目标图像中的每组目标图像，以得到多组全景图像；
将所述多组全景图像进行拼接，以得到所述目标全景图像。
10.一种图像拼接装置，其特征在于，包括：
获取模块，用于获取摄像设备对目标对象的不同区域进行拍摄所得到的多个目标图像，其中，所述目标图像中包括多个子对象，所述子对象为所述目标对象中包括的对象；
第一确定模块，用于使用目标检测模型对每个所述目标图像进行分析，以确定每个所述目标图像中包括的每个子对象的目标顶点坐标以及目标尺寸参数，其中，所述目标检测模型为使用多组目标训练数据通过机器学习训练出的，所述多组目标训练数据中的每组数据包括：图像和图像中包括的每个子对象的顶点坐标以及尺寸参数；
第二确定模块，用于基于所述目标顶点坐标以及所述目标尺寸参数确定每个所述目标图像的目标拼缝；
拼接模块，用于基于所述目标拼缝拼接多个所述目标图像，以得到所述目标对象的目标全景图像。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被处理器执行时实现所述权利要求1至9任一项中所述的方法的步骤。
12.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至9任一项中所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110602736.6A CN113344782B (zh) | 2021-05-31 | 2021-05-31 | 图像拼接方法、装置、存储介质及电子装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110602736.6A CN113344782B (zh) | 2021-05-31 | 2021-05-31 | 图像拼接方法、装置、存储介质及电子装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113344782A true CN113344782A (zh) | 2021-09-03 |
| CN113344782B CN113344782B (zh) | 2023-07-18 |
Family
ID=77473269
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110602736.6A Active CN113344782B (zh) | 2021-05-31 | 2021-05-31 | 图像拼接方法、装置、存储介质及电子装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113344782B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114693529A (zh) * | 2022-04-20 | 2022-07-01 | 北京理工大学重庆创新中心 | 一种图像拼接方法、装置、设备及存储介质 |
| CN116862767A (zh) * | 2023-06-30 | 2023-10-10 | 苏州城市学院 | 一种线扫光伏组件图片的弹性矫正与拼接方法和系统 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101577795A (zh) * | 2009-06-17 | 2009-11-11 | 深圳华为通信技术有限公司 | 一种实现全景图像的实时预览的方法和装置 |
| US20160309086A1 (en) * | 2015-04-14 | 2016-10-20 | Kabushiki Kaisha Toshiba | Electronic device and method |
| WO2017054314A1 (zh) * | 2015-09-29 | 2017-04-06 | 百度在线网络技术（北京）有限公司 | 一种建筑物高度计算方法、装置和存储介质 |
| CN110189256A (zh) * | 2019-05-30 | 2019-08-30 | 深圳岚锋创视网络科技有限公司 | 一种全景图像拼接方法、计算机可读存储介质及全景相机 |
| WO2019218621A1 (zh) * | 2018-05-18 | 2019-11-21 | 北京市商汤科技开发有限公司 | 活体检测方法及装置、电子设备和存储介质 |
| CN111008985A (zh) * | 2019-11-07 | 2020-04-14 | 贝壳技术有限公司 | 全景图拼缝检测方法、装置、可读存储介质及电子设备 |
| WO2020103075A1 (zh) * | 2018-11-22 | 2020-05-28 | 深圳印象认知技术有限公司 | 一种图像处理方法及装置 |
| CN112164043A (zh) * | 2020-09-23 | 2021-01-01 | 苏州大学 | 一种用于多眼底图像拼接的方法及系统 |
| CN112419160A (zh) * | 2020-12-14 | 2021-02-26 | 中国人民解放军空军航空大学 | 基于特征优化及最优拼接缝的航空遥感图像拼接方法 |
| CN112613570A (zh) * | 2020-12-29 | 2021-04-06 | 深圳云天励飞技术股份有限公司 | 一种图像检测方法、图像检测装置、设备及存储介质 |
-
2021
- 2021-05-31 CN CN202110602736.6A patent/CN113344782B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101577795A (zh) * | 2009-06-17 | 2009-11-11 | 深圳华为通信技术有限公司 | 一种实现全景图像的实时预览的方法和装置 |
| US20160309086A1 (en) * | 2015-04-14 | 2016-10-20 | Kabushiki Kaisha Toshiba | Electronic device and method |
| WO2017054314A1 (zh) * | 2015-09-29 | 2017-04-06 | 百度在线网络技术（北京）有限公司 | 一种建筑物高度计算方法、装置和存储介质 |
| WO2019218621A1 (zh) * | 2018-05-18 | 2019-11-21 | 北京市商汤科技开发有限公司 | 活体检测方法及装置、电子设备和存储介质 |
| WO2020103075A1 (zh) * | 2018-11-22 | 2020-05-28 | 深圳印象认知技术有限公司 | 一种图像处理方法及装置 |
| CN110189256A (zh) * | 2019-05-30 | 2019-08-30 | 深圳岚锋创视网络科技有限公司 | 一种全景图像拼接方法、计算机可读存储介质及全景相机 |
| CN111008985A (zh) * | 2019-11-07 | 2020-04-14 | 贝壳技术有限公司 | 全景图拼缝检测方法、装置、可读存储介质及电子设备 |
| CN112164043A (zh) * | 2020-09-23 | 2021-01-01 | 苏州大学 | 一种用于多眼底图像拼接的方法及系统 |
| CN112419160A (zh) * | 2020-12-14 | 2021-02-26 | 中国人民解放军空军航空大学 | 基于特征优化及最优拼接缝的航空遥感图像拼接方法 |
| CN112613570A (zh) * | 2020-12-29 | 2021-04-06 | 深圳云天励飞技术股份有限公司 | 一种图像检测方法、图像检测装置、设备及存储介质 |
Non-Patent Citations (6)
| Title |
|---|
| BROWN M: "Automatic panoramic image stitching using invariant features", 《INTERNATIONAL JOURNAL OF COMPUTER VISION》 * |
| BROWN M: "Automatic panoramic image stitching using invariant features", 《INTERNATIONAL JOURNAL OF COMPUTER VISION》, vol. 74, no. 1, 31 December 2007 (2007-12-31), pages 59 - 73, XP037860940, DOI: 10.1007/s11263-006-0002-3 * |
| 崔家礼等: "基于图像拼接的PCB基板质量检测算法", 《计算机应用与软件》 * |
| 崔家礼等: "基于图像拼接的PCB基板质量检测算法", 《计算机应用与软件》, no. 06, 12 June 2020 (2020-06-12), pages 197 - 204 * |
| 迟龙云等: "基于局部单应性矩阵的图像拼接与定位算法研究", 《导航定位与授时》 * |
| 迟龙云等: "基于局部单应性矩阵的图像拼接与定位算法研究", 《导航定位与授时》, no. 03, 15 May 2020 (2020-05-15), pages 68 - 75 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114693529A (zh) * | 2022-04-20 | 2022-07-01 | 北京理工大学重庆创新中心 | 一种图像拼接方法、装置、设备及存储介质 |
| CN114693529B (zh) * | 2022-04-20 | 2023-03-14 | 北京理工大学重庆创新中心 | 一种图像拼接方法、装置、设备及存储介质 |
| CN116862767A (zh) * | 2023-06-30 | 2023-10-10 | 苏州城市学院 | 一种线扫光伏组件图片的弹性矫正与拼接方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113344782B (zh) | 2023-07-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110135455B (zh) | 影像匹配方法、装置及计算机可读存储介质 | |
| JP5273196B2 (ja) | 画像処理装置 | |
| CN108648240A (zh) | 基于点云特征地图配准的无重叠视场相机姿态标定方法 | |
| CA2507174C (en) | Method of registering and aligning multiple images | |
| CN107796397A (zh) | 一种机器人双目视觉定位方法、装置和存储介质 | |
| CN113344782B (zh) | 图像拼接方法、装置、存储介质及电子装置 | |
| US20140118500A1 (en) | System and method for finding correspondence between cameras in a three-dimensional vision system | |
| CN111209915A (zh) | 一种基于深度学习的三维图像同步识别和分割方法 | |
| CN102157004A (zh) | 用于超视场零件高精度影像测量仪的自动图像拼接方法 | |
| CN104732577A (zh) | 一种基于uav低空航测系统的建筑物纹理提取方法 | |
| CN110544202B (zh) | 一种基于模板匹配与特征聚类的视差图像拼接方法及系统 | |
| CA3233222A1 (en) | Method, apparatus and device for photogrammetry, and storage medium | |
| US11455767B1 (en) | Intelligent material completeness detection and configuration method based on digital twin and augmented reality (AR) | |
| CN102202159B (zh) | 无人机航摄像片数字拼接方法 | |
| CN113793266A (zh) | 一种多目机器视觉图像拼接方法、系统及存储介质 | |
| CN107895344B (zh) | 视频拼接装置及方法 | |
| CN205466320U (zh) | 一种基于多镜头的智能机械手 | |
| CN105643265B (zh) | 一种用于大型工件装配面配合的检测方法 | |
| JP2007026423A (ja) | 画像処理装置および画像処理方法 | |
| CN114331833B (zh) | 基于标定与精确几何结构的瓶体标签稳定高质量拼接方法 | |
| CN111858819A (zh) | 一种不动产测绘成图的自动处理方法 | |
| Yue et al. | Single-Point Least Square Matching Embedded Method for Improving Visual SLAM | |
| CN109089100A (zh) | 一种双目立体视频的合成方法 | |
| KR102708421B1 (ko) | 입체영상 지도이미지의 정밀 배율 처리를 위한 공간영상 도화처리 시스템 | |
| CN113344795B (zh) | 一种基于先验信息的快速图像拼接方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |