CN113379668A - 光伏板拼接方法及装置、电子设备及存储介质 - Google Patents
光伏板拼接方法及装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113379668A CN113379668A CN202110921740.9A CN202110921740A CN113379668A CN 113379668 A CN113379668 A CN 113379668A CN 202110921740 A CN202110921740 A CN 202110921740A CN 113379668 A CN113379668 A CN 113379668A
- Authority
- CN
- China
- Prior art keywords
- images
- positioning frame
- edge
- splicing
- single photovoltaic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000001514 detection method Methods 0.000 claims description 24
- 238000012549 training Methods 0.000 claims description 21
- 238000005070 sampling Methods 0.000 claims description 16
- 238000013528 artificial neural network Methods 0.000 claims description 13
- 238000004891 communication Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 11
- 238000003062 neural network model Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种光伏板拼接方法及装置、电子设备、存储介质，所述方法包括：获取多个图像采集单元采集的多张图像，利用预先训练的网络模型对多张图像分别检测，获取图像中单个光伏片的位置信息；根据所述多张图像中的预设拼接区域信息，剔除所述预设拼接区域之外的光伏片的定位框信息和倒角的定位框信息；利用多张图像中的单个光伏片的定位框，定位每张图像的预设拼接区域的边缘，并计算出边缘相交的顶点；根据每张图像的预设拼接区域的顶点的坐标，以及各图像预设拼接区域的顶点之间的对应关系，将多张图像进行拼接。本发明无需对图像进行图像解畸变，通过特征点之间的映射，可以很好地消除畸变对图像的影响。
Description
技术领域
本发明涉及目标对象拼接技术，尤其涉及一种光伏板拼接方法及装置、电子设备、存储介质。
背景技术
为了保证在光伏板生产过程中及时发现所生产的光伏板是否存在缺陷，以往是通过人工时刻观察去发现存在缺陷的光伏板，随着光伏行业近年来的迅猛发展，提高光伏板生产效率的需求迫切，所以利用机器视觉代替人工的方案随之诞生。利用视觉的方法对光伏板进行缺陷检测，首先要获得光伏板的数字图像，由于光伏板通常比较大，单个相机的视场无法拍全整个光伏板，所以需要多台相机同时拍摄，并将多个相机拍摄的图像拼接成一个完整的光伏板。目前，针对光伏板的图像拼接技术中，很难消除图像畸变，图像拼接质量较差。
发明内容
本发明提供一种光伏板拼接方法及装置、电子设备、存储介质，以至少解决现有技术中存在的以上技术问题。
本发明一方面提供一种光伏板拼接方法，包括：
获取多个图像采集单元采集的多张图像，利用预先训练的网络模型对多张图像分别检测，获取图像中单个光伏片的位置信息；所述位置信息至少包括单个光伏片的定位框信息和倒角的定位框信息；
根据所述多张图像中的预设拼接区域信息，剔除所述预设拼接区域之外的光伏片的定位框信息和倒角的定位框信息；
利用多张图像中的单个光伏片的定位框，定位每张图像的预设拼接区域的边缘，并计算出边缘相交的顶点；
根据每张图像的预设拼接区域的顶点的坐标，以及各图像预设拼接区域的顶点之间的对应关系，将多张图像进行拼接。
可选地，所述方法还包括：
构建检测神经网络yoloV3；
利用预先获得的多个图像采集单元采集的大量光伏板图像进行位置标注，生成训练标签；其中，位置标注包括单个光伏片位置和倒角位置；
利用训练标签对所述检测神经网络进行训练，获得经训练的检测神经网络模型，作为预先训练的网络模型。
可选地，所述定位每张图像的预设拼接区域的边缘，并计算出边缘相交的顶点，包括：
将单个光伏片的定位框的边作为初始线段，在初始线段上等间距的采样n个点，以采样点为中心，沿初始线段的法线方向的设定范围内计算梯度，并选择梯度符合设定条件的点作为卡尺点，得到m个卡尺点；
采用随机抽样一致（RANSAC，Random Sample Consensus）算法对m个卡尺点进行最小二乘法的直线拟合，得到单个光伏片的边缘；
根据单个光伏片的边缘确定预设拼接区域的边缘，并根据预设拼接区域的边缘计算边缘的交点，作为预设拼接区域的顶点。
可选地，所述方法还包括：
利用单个光伏片的倒角定位框信息，对单个光伏片的定位框进行调整校正。
本发明另一方面提供一种光伏板拼接装置，包括：
获取单元，用于获取多个图像采集单元采集的多张图像，利用预先训练的网络模型对多张图像分别检测，获取图像中单个光伏片的位置信息；其中，所述位置信息至少包括单个光伏片的定位框信息和倒角的定位框信息；
剔除单元，用于根据所述多张图像中的预设拼接区域信息，剔除所述预设拼接区域之外的光伏片的定位框信息和倒角的定位框信息；
定位单元，用于利用多张图像中的单个光伏片的定位框，定位每张图像的预设拼接区域的边缘，并计算出边缘相交的顶点；
拼接单元，用于根据每张图像的预设拼接区域的顶点的坐标，以及各图像预设拼接区域的顶点之间的对应关系，将多张图像进行拼接。
可选地，所述装置还包括：
模型生成单元，用于构建检测神经网络yoloV3；利用预先获得的多个图像采集单元采集的大量光伏板图像进行位置标注，生成训练标签；其中，位置标注包括单个光伏片位置和倒角位置；利用训练标签对所述检测神经网络进行训练，获得经训练的检测神经网络模型，作为预先训练的网络模型。
可选地，所述定位单元，还用于：
将单个光伏片的定位框的边作为初始线段，在初始线段上等间距的采样n个点，以采样点为中心，沿初始线段的法线方向的设定范围内计算梯度，并选择梯度符合设定条件的点作为卡尺点，得到m个卡尺点；
采用RANSAC算法对m个卡尺点进行最小二乘法的直线拟合，得到单个光伏片的边缘；
根据单个光伏片的边缘确定预设拼接区域的边缘，并根据预设拼接区域的边缘计算边缘的交点，作为预设拼接区域的顶点。
可选地，所述装置还包括：
调整单元，用于利用单个光伏片的倒角定位框信息，对单个光伏片的定位框进行调整校正。
本发明另一方面提供一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现所述的光伏板拼接方法的步骤。
本发明再一方面提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现所述的光伏板拼接方法的步骤。
本发明充分利用预设拼接区域和深度学习物体检测的方法来确定对应特征点对，可以稳定准确地找出特征点对，获得优秀的拼接精度；无需对相机进行标定，规避了使用过程中相机晃动带来的拼接误差；无需对图像进行图像解畸变，通过特征点之间的映射，很好地消除了畸变对拼接图像的影响。
附图说明
图1示出了本发明实施例的光伏板拼接方法的流程图；
图2示出了本发明实施例的多图像采集单元采集图像的示意图；
图3示出了本发明实施例的光伏板的结构示意图；
图4示出了本发明实施例的光伏板拼接装置的组成结构示意图；
图5示出了本发明实施例的电子设备的结构图。
具体实施方式
为使本发明的目的、特征点、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1示出了本发明实施例的光伏板拼接方法的流程图，如图1所示，本发明实施例的光伏板拼接方法的流程图包括以下处理步骤：
步骤101，获取多个图像采集单元采集的多张图像，利用预先训练的网络模型对多张图像分别检测，获取图像中单个光伏片的位置信息。
本发明实施例中，所述位置信息至少包括单个光伏片的定位框信息和倒角的定位框信息。
本发明实施例中，多个单个光伏片拼接而构成整个光伏板。单个光伏片的定位框即单个光伏片的各个周边；当光伏片为矩形时，定位框为矩形四个周边。
步骤102，根据所述多张图像中的预设拼接区域信息，剔除所述预设拼接区域之外的光伏片的定位框信息和倒角的定位框信息。
本发明实施例中，预先训练的网络模型通过以下方式获得：
构建检测神经网络yoloV3（其中，yolo指的是：You Only Look Once: Unified,Real-Time Object Detection, yoloV3是yolo基础上的升级版，YOLOv3:An IncrementalImprovement）；
利用预先获得的多个图像采集单元采集的大量光伏板图像进行位置标注，生成训练标签；其中，位置标注包括单个光伏片位置和倒角位置；
利用训练标签对所述检测神经网络进行训练，获得经训练的检测神经网络模型，作为预先训练的网络模型。
步骤103，利用多张图像中的单个光伏片的定位框，定位每张图像的预设拼接区域的边缘，并计算出边缘相交的顶点。
本发明实施例中，计算出边缘相交的顶点，包括：将单个光伏片的定位框的边作为初始线段，在初始线段上等间距的采样n个点，以采样点为中心，沿初始线段的法线方向的设定范围内计算梯度，并选择梯度符合设定条件的点作为卡尺点，得到m个卡尺点；采用RANSAC算法对m个卡尺点进行最小二乘法的直线拟合，得到单个光伏片的边缘；根据单个光伏片的边缘确定预设拼接区域的边缘，并根据预设拼接区域的边缘计算边缘的交点，作为预设拼接区域的顶点。
步骤104，根据每张图像的预设拼接区域的顶点的坐标，以及各图像预设拼接区域的顶点之间的对应关系，将多张图像进行拼接。
本发明实施例中，利用单个光伏片的倒角定位框信息，对单个光伏片的定位框进行调整校正。在利用yolov3进行图像检测过程中，由于光伏片内部有多个水平的线条会对预先训练的网络模型的定位框的检测产生干扰，导致预先训练的网络模型对于光伏片的定位框偶尔会出现较大的偏差的情况，而预先训练的网络模型对于检测光伏片倒角的定位框非常准确稳定。因此，在预设拼接区域对检测出倒角定位框信息之后，利用倒角定位框信息来调整校正光伏片的定位框，可以大幅提升单个光伏片的定位准确度。
以下通过具体示例，进一步阐明本发明实施例的技术方案的本质。
本发明实施例中，图2示出了本发明实施例的多图像采集单元采集图像的示意图，如图2所示，作为一种示例，在一块大的光伏板上方架设四台图像采集单元如相机同时对光伏板拍摄，相邻相机的视场存在部分重叠，图中示出了相机1、相机2的视场，两区域存在小部分重叠，所以在拼接相机1和相机2采集的图像时，需要知道哪些区域保留参与拼接，哪些区域属于重叠区域不参与拼接。图3示出了本发明实施例的光伏板的结构示意图，如图3所示，光伏板是由多个单个光伏片拼接而形成的，预设拼接区域根据相机的视场及实际图像拼接要求确定，单个光伏片的检测框即单个光伏片的四周边所围成的框体，单个光伏片的倒角即单个光伏片的四个边角的倒角，倒角所形成的框即倒角的检测框。本发明实施例采用预设拼接区域的方式，对预设拼接区域的光伏片进行拼接，整个拼接算法包括如下步骤：
首先申请一块用于保存拼接结果的图像的内存，分别对四台相机拍摄的图像设定好预设拼接区域，该预设拼接区域在四台相机架设固定完成后，在后续所有拍摄的图像中保持不变。
读取四台相机拍摄的对应图像，利用第一预设模型即预先训练的网络模型分别对该四张图像进行检测，获取单个光伏片的位置信息，该位置信息包括单个光伏片的定位框信息和倒角的定位框信息，定位框信息指的是定位框的中心点和宽高。第一预设模型由如下方式获得：构建检测神经网络yoloV3（yolo指的是：You Only Look Onece: Unified,Real-Time Object Detection, yoloV3是yolo基础上的升级版，YOLOv3:An IncrementalImprovement）；利用预先获得的相机拍摄的大量光伏板图像进行位置标注，包括单个光伏片位置和倒角位置，生成训练标签；利用训练标签对所述检测网络进行训练，获得经训练的检测神经网络模型，作为算法的第一预设模型。
利用上述四张图的预设拼接区域的位置信息过滤剔除上一步四张图对应检测结果中在预设拼接区域之外的光伏片定位框和倒角。本发明实施例中，在利用yolov3检测过程中，我们发现，由于光伏片内部有多个水平的线条会对第一预设模型检测产生干扰，导致第一预设模型对于光伏片的定位框偶尔会出现不小的偏差，而第一预设模型对于检测倒角的定位框非常准确稳定。综上，在预设拼接区域对检测结果进行过滤完之后，利用剩余的倒角定位框信息来调整校正光伏片的定位框，可以大幅提升单个光伏片的定位准确度，如此，可以提升预设拼接区域的定位准确性。
根据通过倒角定位框校正后的光伏片的定位框信息，分别对每张图像中的定位框利用卡尺找边算法，精确定位每张图像的预设拼接区域的边缘，并根据预设拼接区域精确定位过的四条边缘计算出边缘相交的四个顶点。所述卡尺找边算法指的是：将单个光伏片的定位框的边作为初始线段，在该初始线段上等间距的采样n个点，以采样点为中心，沿初始线段的法线方向的指定范围内计算梯度，并选择该范围内梯度符合设定条件的点作为卡尺点（若该范围内没有梯度符合条件的点，则该采样点没有对应卡尺点），得到m个卡尺点，采用随机抽样一致（RANSAC，Random Sample Consensus）算法对m个卡尺点进行最小二乘法的直线拟合，即可得到光伏片的精确边缘。根据单个光伏片的精确边缘可以得到整个预设拼接区域的精确边缘，并根据预设拼接区域的四条精确边缘计算四个顶点坐标。
计算每张图的四个顶点对应的顶点坐标，并分别根据每张图像与存储的结果图像的四个特征对应点，计算四张图像与待存储结果图像的位置变换关系矩阵——单应矩阵H，利用单应矩阵H将每张图的四个顶点进行坐标转换，即转换到待存储结果图像中，实现光伏板图像的拼接。无论多大面积的光伏板，通过本发明实施例的方法即可实现对其图像的完整拼接，实现光伏板图像的准确获取。
图4示出了本发明实施例的光伏板拼接装置的组成结构示意图，如图4所示，本发明实施例的光伏板拼接装置包括：
获取单元40，用于获取多个图像采集单元采集的多张图像，利用预先训练的网络模型对多张图像分别检测，获取图像中单个光伏片的位置信息；其中，所述位置信息至少包括单个光伏片的定位框信息和倒角的定位框信息；
剔除单元41，用于根据所述多张图像中的预设拼接区域信息，剔除所述预设拼接区域之外的光伏片的定位框信息和倒角的定位框信息；
定位单元42，用于利用多张图像中的单个光伏片的定位框，定位每张图像的预设拼接区域的边缘，并计算出边缘相交的顶点；
拼接单元43，用于根据每张图像的预设拼接区域的顶点的坐标，以及各图像预设拼接区域的顶点之间的对应关系，将多张图像进行拼接。
作为一种实现方式，在图4所示的光伏板拼接装置的基础上，本发明实施例的光伏板拼接装置还包括：
模型生成单元（图4中未示出），用于构建检测神经网络yoloV3；利用预先获得的多个图像采集单元采集的大量光伏板图像进行位置标注，生成训练标签；其中，位置标注包括单个光伏片位置和倒角位置；利用训练标签对所述检测神经网络进行训练，获得经训练的检测神经网络模型，作为预先训练的网络模型。
作为一种实现方式，所述定位单元42，还用于：
将单个光伏片的定位框的边作为初始线段，在初始线段上等间距的采样n个点，以采样点为中心，沿初始线段的法线方向的设定范围内计算梯度，并选择梯度符合设定条件的点作为卡尺点，得到m个卡尺点；
采用RANSAC算法对m个卡尺点进行最小二乘法的直线拟合，得到单个光伏片的边缘；
根据单个光伏片的边缘确定预设拼接区域的边缘，并根据预设拼接区域的边缘计算边缘的交点，作为预设拼接区域的顶点。
作为一种实现方式，在图4所示的光伏板拼接装置的基础上，本发明实施例的光伏板拼接装置还包括：
调整单元（图4中未示出），用于利用单个光伏片的倒角定位框信息，对单个光伏片的定位框进行调整校正。
在示例性实施例中，获取单元40、剔除单元41、定位单元42、拼接单元43、模型生成单元和调整单元等可以被一个或多个中央处理器（CPU，Central Processing Unit）、图形处理器（GPU，Graphics Processing Unit）、基带处理器（BP，Base Processor）、应用专用集成电路（ASIC，Application Specific Integrated Circuit）、数字信号处理器（DigitalSignal Processor，DSP）、可编程逻辑器件（PLD，Programmable Logic Device）、复杂可编程逻辑器件（CPLD，Complex Programmable Logic Device）、现场可编程门阵列（FPGA，Field-Programmable Gate Array）、通用处理器、控制器、微控制器（MCU，MicroController Unit）、微处理器（Microprocessor）、或其他电子元件实现，用于执行前述实施例的多目标对象的识别定位的步骤。
在本公开实施例中，图4示出的光伏板拼接装置中各个单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
下面，参考图5来描述根据本申请实施例的电子设备11。
如图5所示，电子设备11包括一个或多个处理器111和存储器112。
处理器111可以是中央处理单元（CPU）或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备11中的其他组件以执行期望的功能。
存储器112可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器（RAM）和/或高速缓冲存储器（cache）等。所述非易失性存储器例如可以包括只读存储器（ROM）、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器111可以运行所述程序指令，以实现上文所述的本申请的各个实施例的方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
在一个示例中，电子设备11还可以包括：输入装置113和输出装置114，这些组件通过总线系统和/或其他形式的连接机构（未示出）互连。
该输入装置113可以包括例如键盘、鼠标等等。
该输出装置114可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出装置114可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图5中仅示出了该电子设备11中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备11还可以包括任何其他适当的组件。
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (10)
1.一种光伏板拼接方法，其特征在于，所述方法包括：
获取多个图像采集单元采集的多张图像，利用预先训练的网络模型对多张图像分别检测，获取图像中单个光伏片的位置信息；所述位置信息至少包括单个光伏片的定位框信息和倒角的定位框信息；
根据所述多张图像中的预设拼接区域信息，剔除所述预设拼接区域之外的光伏片的定位框信息和倒角的定位框信息；
利用多张图像中的单个光伏片的定位框，定位每张图像的预设拼接区域的边缘，并计算出边缘相交的顶点；
根据每张图像的预设拼接区域的顶点的坐标，以及各图像预设拼接区域的顶点之间的对应关系，将多张图像进行拼接。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
构建检测神经网络yoloV3；
利用预先获得的多个图像采集单元采集的大量光伏板图像进行位置标注，生成训练标签；其中，位置标注包括单个光伏片位置和倒角位置；
利用训练标签对所述检测神经网络进行训练，获得经训练的检测神经网络模型，作为预先训练的网络模型。
3.根据权利要求1所述的方法，其特征在于，所述定位每张图像的预设拼接区域的边缘，并计算出边缘相交的顶点，包括：
将单个光伏片的定位框的边作为初始线段，在初始线段上等间距的采样n个点，以采样点为中心，沿初始线段的法线方向的设定范围内计算梯度，并选择梯度符合设定条件的点作为卡尺点，得到m个卡尺点；
采用随机抽样一致RANSAC算法对m个卡尺点进行最小二乘法的直线拟合，得到单个光伏片的边缘；
根据单个光伏片的边缘确定预设拼接区域的边缘，并根据预设拼接区域的边缘计算边缘的交点，作为预设拼接区域的顶点。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述方法还包括：
利用单个光伏片的倒角定位框信息，对单个光伏片的定位框进行调整校正。
5.一种光伏板拼接装置，其特征在于，所述装置包括：
获取单元，用于获取多个图像采集单元采集的多张图像，利用预先训练的网络模型对多张图像分别检测，获取图像中单个光伏片的位置信息；其中，所述位置信息至少包括单个光伏片的定位框信息和倒角的定位框信息；
剔除单元，用于根据所述多张图像中的预设拼接区域信息，剔除所述预设拼接区域之外的光伏片的定位框信息和倒角的定位框信息；
定位单元，用于利用多张图像中的单个光伏片的定位框，定位每张图像的预设拼接区域的边缘，并计算出边缘相交的顶点；
拼接单元，用于根据每张图像的预设拼接区域的顶点的坐标，以及各图像预设拼接区域的顶点之间的对应关系，将多张图像进行拼接。
6.根据权利要求5所述的装置，其特征在于，所述装置还包括：
模型生成单元，用于构建检测神经网络yoloV3；利用预先获得的多个图像采集单元采集的大量光伏板图像进行位置标注，生成训练标签；其中，位置标注包括单个光伏片位置和倒角位置；利用训练标签对所述检测神经网络进行训练，获得经训练的检测神经网络模型，作为预先训练的网络模型。
7.根据权利要求5所述的装置，其特征在于，所述定位单元，还用于：
将单个光伏片的定位框的边作为初始线段，在初始线段上等间距的采样n个点，以采样点为中心，沿初始线段的法线方向的设定范围内计算梯度，并选择梯度符合设定条件的点作为卡尺点，得到m个卡尺点；
采用RANSAC算法对m个卡尺点进行最小二乘法的直线拟合，得到单个光伏片的边缘；
根据单个光伏片的边缘确定预设拼接区域的边缘，并根据预设拼接区域的边缘计算边缘的交点，作为预设拼接区域的顶点。
8.根据权利要求5至7任一项所述的装置，其特征在于，所述装置还包括：
调整单元，用于利用单个光伏片的倒角定位框信息，对单个光伏片的定位框进行调整校正。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现权利要求1-4任一项所述的光伏板拼接方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-4任一项所述的光伏板拼接方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110921740.9A CN113379668B (zh) | 2021-08-12 | 2021-08-12 | 光伏板拼接方法及装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110921740.9A CN113379668B (zh) | 2021-08-12 | 2021-08-12 | 光伏板拼接方法及装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113379668A true CN113379668A (zh) | 2021-09-10 |
| CN113379668B CN113379668B (zh) | 2021-11-23 |
Family
ID=77576812
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110921740.9A Active CN113379668B (zh) | 2021-08-12 | 2021-08-12 | 光伏板拼接方法及装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113379668B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114140608A (zh) * | 2021-12-09 | 2022-03-04 | 江苏提米智能科技有限公司 | 一种光伏板标记方法、装置、电子设备及存储介质 |
| CN117853579A (zh) * | 2023-10-07 | 2024-04-09 | 湖州丽天智能科技有限公司 | 一种光伏板位姿修正方法、光伏机器人及存储介质 |
| CN118154421A (zh) * | 2024-05-13 | 2024-06-07 | 深圳市奇航疆域技术有限公司 | 一种光伏图片的自动裁切拼接方法、装置、终端与存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110658215A (zh) * | 2019-09-30 | 2020-01-07 | 武汉纺织大学 | 一种基于机器视觉的pcb板自动拼接检测方法与装置 |
| CN110675358A (zh) * | 2019-09-30 | 2020-01-10 | 上海扩博智能技术有限公司 | 长形物体的图像拼接方法、系统、设备和存储介质 |
| CN111311487A (zh) * | 2020-01-13 | 2020-06-19 | 河海大学常州校区 | 一种光伏组件图像的快速拼接方法及系统 |
| CN211508962U (zh) * | 2020-03-11 | 2020-09-15 | 广州华跃电力工程设计有限公司 | 一种光伏发电用光伏板拼接结构 |
-
2021
- 2021-08-12 CN CN202110921740.9A patent/CN113379668B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110658215A (zh) * | 2019-09-30 | 2020-01-07 | 武汉纺织大学 | 一种基于机器视觉的pcb板自动拼接检测方法与装置 |
| CN110675358A (zh) * | 2019-09-30 | 2020-01-10 | 上海扩博智能技术有限公司 | 长形物体的图像拼接方法、系统、设备和存储介质 |
| CN111311487A (zh) * | 2020-01-13 | 2020-06-19 | 河海大学常州校区 | 一种光伏组件图像的快速拼接方法及系统 |
| CN211508962U (zh) * | 2020-03-11 | 2020-09-15 | 广州华跃电力工程设计有限公司 | 一种光伏发电用光伏板拼接结构 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114140608A (zh) * | 2021-12-09 | 2022-03-04 | 江苏提米智能科技有限公司 | 一种光伏板标记方法、装置、电子设备及存储介质 |
| CN117853579A (zh) * | 2023-10-07 | 2024-04-09 | 湖州丽天智能科技有限公司 | 一种光伏板位姿修正方法、光伏机器人及存储介质 |
| CN118154421A (zh) * | 2024-05-13 | 2024-06-07 | 深圳市奇航疆域技术有限公司 | 一种光伏图片的自动裁切拼接方法、装置、终端与存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113379668B (zh) | 2021-11-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113379668B (zh) | 光伏板拼接方法及装置、电子设备及存储介质 | |
| CN107976669B (zh) | 一种确定相机与激光雷达之间的外参数的装置 | |
| CN107976668B (zh) | 一种确定相机与激光雷达之间的外参数的方法 | |
| CN101673397B (zh) | 一种基于lcd的数码相机非线性标定方法 | |
| CN113146073B (zh) | 基于视觉的激光切割方法及装置、电子设备、存储介质 | |
| Zhou et al. | Line-based camera calibration with lens distortion correction from a single image | |
| CN113344931A (zh) | 一种插件视觉检测识别方法、可读存储介质及设备 | |
| CN112528776B (zh) | 文本行校正方法和装置 | |
| CN112308925A (zh) | 可穿戴设备的双目标定方法、设备及存储介质 | |
| CN116193108B (zh) | 一种摄像头在线自校准方法、装置、设备及介质 | |
| CN111179351A (zh) | 一种参数标定方法及其装置、处理设备 | |
| CN117173125A (zh) | 一种基于全景图的缺陷点位显示方法、装置及存储介质 | |
| JP2011155412A (ja) | 投影システムおよび投影システムにおける歪み修正方法 | |
| CN114758005A (zh) | 激光雷达与相机外参标定方法及装置 | |
| CN107527369B (zh) | 图像校正方法、装置、设备和计算机可读存储介质 | |
| CN115546016B (zh) | Pcb的2d和3d图像的采集和处理方法及相关装置 | |
| CN110193673B (zh) | 振镜式激光加工的网格分区域补偿方法 | |
| CN114792343B (zh) | 图像获取设备的标定方法、获取图像数据的方法、装置 | |
| CN112894154B (zh) | 激光打标方法及装置 | |
| CN109410284A (zh) | 一种参数估计方法、装置、电子设备、车辆及存储介质 | |
| CN116203976A (zh) | 变电站室内巡检方法、装置、无人机和存储介质 | |
| CN114140608A (zh) | 一种光伏板标记方法、装置、电子设备及存储介质 | |
| Huang et al. | A checkerboard corner detection method using circular samplers | |
| CN113177988A (zh) | 一种球幕相机与激光的标定方法、装置、设备及存储介质 | |
| CN108650465B (zh) | 摄像机画面增强现实标签的计算方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |