CN109727217B - 基于改进Criminisi算法的地基云图修复方法 - Google Patents

Abstract

本发明涉及数字图像处理技术领域，为提出新的地基云图修复方法，能较好的修复地基云图的图像，扩展云图的有效区域，自动对云图中遮光带和镜头臂的位置进行标记，即确定待修复区域，对地基云图进行修复。本发明采取的技术方案是，基于改进Criminisi算法的地基云图修复方法，步骤如下：1、待修复区域位置提取；1)确定TSI云图的拍摄时间和设备所在位置的经纬度；2)计算太阳赤纬角δ；3)计算太阳时角ω；4)计算太阳方位角γ_s和天顶角θ_z；5)确定遮光带位置；6)确定镜头臂位置；2、云图修复。本发明主要应用于图像处理场合。

Description

基于改进Criminisi算法的地基云图修复方法

技术领域

本发明涉及数字图像处理技术领域，具体涉及一种对光伏系统中地基云图的修复方法。

背景技术

光伏发电是一个能源变换系统，其应用了光生伏特效应将太阳辐射能量直接转换为了可以使用的电能。使用光伏发电输出的功率量是由太阳能光伏面板受到的太阳辐射量决定的，因此与实时天气状况联系密切，这会导致输出功率性能的不稳定和预估误差。光伏发电的输出功率与地面辐照度密切相关，云能直接影响地面辐照度，它的产生、消亡和移动导致了输出功率的不定性改变。分析讨论云如何影响地面辐照度成为光伏功率预测模型的关键问题。在以地基云图作为基础的光伏功率预测模型研究中，国外研究人员大部分都借助于云覆盖量来预估云对地面辐照度产生的影响。为了得到云参数需进行地基全天空观测。

本方法适用于使用全天空成像仪(TSI，Total Sky Imager)设备进行地基云图观测的情况。TSI设备在一定程度上解决了云图观测问题，但是因为TSI设备的镜面上存在遮光带，且设备用于支撑镜头的机械臂也在镜面上投影，使获得的云图信息不完整，对图像的分析等一系列操作都有一定的影响，因此需要修复地基云图图像，还原云图的真实情况。

图像修复技术即利用图像中的已知信息，根据一定的算法或规则对破损区域进行修补，以达到视觉上合理的效果，让图像具备合理性与真实性。

发明内容

为克服现有技术的不足，本发明旨在提出新的地基云图修复方法，能较好的修复地基云图的图像，扩展云图的有效区域。利用TSI设备采集地基云图，结合地理位置信息，自动对云图中遮光带和镜头臂的位置进行标记，即确定待修复区域，随即采用提出的基于改进的Criminisi算法对地基云图进行修复。为此，本发明采取的技术方案是，基于改进Criminisi算法的地基云图修复方法，步骤如下：

1、待修复区域位置提取

1)确定TSI云图的拍摄时间和设备所在位置的经纬度；

2)计算太阳赤纬角δ；

3)计算太阳时角ω；

4)计算太阳方位角γ_s和天顶角θ_z；

5)确定遮光带位置；

6)确定镜头臂位置；

2、云图修复

1)对提取出的遮光带区域和镜头臂区域置黑；

2)提取置黑区域的边界，并判断边界是否为空；若是，跳到步骤7)；否则，继续下一步；

3)计算边界上各点的优先级，确定修补的先后顺序，找到优先级最大的像素点所在的待修复块，先对其进行修复；

4)确定待匹配区域，以待修复点为中心选取边长为2min(m,n)/12的正方形，该区域与源区域相交的部分即为匹配区域；

5)计算待修复块和最佳匹配块的SSD(Sum ofSquared Differences)，选取SSD最小的匹配块对待修复块进行修复；

6)更新破损区域，返回步骤2)；

7)完成修复，输出修复图像。

加入地基云图的红蓝比特征，内容2的步骤3)中改进的优先权函数表达式为：

P(p)＝RB(p)·D(p)

式中，P(p)表示优先权函数，RB(p)表示改进的置信度项，D(p)表示数据项，p表示待修复块的中心像素点；

改进后的置信度RB(p)按以下计算公式：

式中，ψ_p表示待修复块；Φ表示源区域；q表示待修复块中已知像素点；rb(q)表示q点的红蓝比；

数据项D(p)计算公式：

式中，n_p表示垂直于边界线

上p点的法向量；

表示点p的等照度线方向；α是归一化参数。

步骤5)中待修复块和最佳匹配块的SSD计算公式为：

式中，

表示匹配块中的像素点，函数R()、G()、B()分别表示M×M图像块中点(i,j)的红、绿、蓝三原色。

本发明的特点及有益效果是：

本发明利用地基云图的拍摄时间同时结合拍摄的地理位置确定图中遮光带和镜头臂位置，即自动确定出地基云图需要修复的区域，提出一种改进的Criminisi算法对待修复区域进行修复；本发明结构简单，仅需现有的图像采集设备和计算机即可实现快速稳定的地基云图修复，可以达到很好的视觉效果且修复速度较快。

附图说明：

图1基于改进Criminisi算法的地基云图修复方法流程图。

图2方位角在地基云图中的显示。

图3待修复点的匹配区域。

图4本发明实施例中第一幅地基云图的实验效果图。

图5本发明实施例中第二幅地基云图的实验效果图。

具体实施方式

为克服现有技术的不足，本发明旨在提出新的地基云图修复方法，能较好的修复地基云图的图像，扩展云图的有效区域。利用TSI设备采集地基云图，结合地理位置信息，自动对云图中遮光带和镜头臂的位置进行标记，即确定待修复区域，随即采用提出的基于改进的Criminisi算法对地基云图进行修复。本发明技术方案的流程图如图1所示，主要包括以下内容：

1、待修复区域位置提取

1)确定TSI云图的拍摄时间和设备所在位置的经纬度；

2)计算太阳赤纬角δ；

3)计算太阳时角ω；

4)计算太阳方位角γ_s和天顶角θ_z；

5)确定遮光带位置；

6)确定镜头臂位置。

2、云图修复

1)对提取出的遮光带区域和镜头臂区域置黑；

2)提取置黑区域的边界，并判断边界是否为空；若是，跳到步骤7)；否则，继续下一步；

3)计算边界上各点的优先级，确定修补的先后顺序，找到优先级最大的像素点所在的待修复块，先对其进行修复；

4)确定待匹配区域。以待修复点为中心选取边长为2min(m,n)/12的正方形，该区域与源区域相交的部分即为匹配区域；

5)计算待修复块和最佳匹配块的SSD(Sum ofSquared Differences)，选取SSD最小的匹配块对待修复块进行修复；

6)更新破损区域，返回步骤2)；

7)完成修复，输出修复图像。

3、本发明基于改进Criminisi算法的地基云图修复算法，其特征在于加入了地基云图的红蓝比特征，内容2的步骤3)中改进的优先权函数表达式为：

P(p)＝RB(p)·D(p)

式中，P(p)表示优先权函数，RB(p)表示改进的置信度项，D(p)表示数据项，p表示待修复块的中心像素点；

改进后的置信度RB(p)按以下计算公式：

式中，ψ_p表示待修复块；Φ表示源区域；q表示待修复块中已知像素点；rb(q)表示q点的红蓝比；

数据项D(p)计算公式：

式中，n_p表示垂直于边界线

上p点的法向量；

表示点p的等照度线方向；α是归一化参数，一般选择α＝255。

为使本发明的目的、技术方案和优点更加清晰，下面对本发明实施方式做进一步详细描述。

为解决基于地基云图的修复问题，本发明提出了一种基于地基云图的修复方法，算法在确定待修复区域时运用了地基云图的拍摄时间和地理位置信息，可以准确地确定出待修复区域；之后采用提出的改进Criminisi算法完成修复，可以达到较好的视觉效果；传统Criminisi算法在计算优先权时使用的置信项在修复过程中变化较快，会急剧下降为零，造成修复顺序发生错误的影响，采用的全局搜索有时会得到离待修复块较远的相关性较低的匹配块，导致算法耗时且低效。本发明将优先权函数中的置信项加入了地基云图独特的红蓝比特征，避免了置信度快速下降造成的影响，使得图像修复时的顺序更加合理；同时在搜索匹配块的过程中，基于启发信息选择匹配区域的大小，避免了搜索到离待修复块较远的相关性较低的匹配块，也有效缩短了匹配块搜索时间，降低了算法的时间复杂度，可以达到很好的修复效果且修复速度较快。本发明的具体过程如下：

1、遮光带位置提取

遮光带保护全天空成像仪TSI上的摄像头不受太阳强光损坏，它在云图中的位置会随着太阳位置的变化而变化，因此需要计算太阳光斑在地基云图中的位置以对遮光带进行定位。在天文学中，可通过太阳天顶角和方位角确定太阳的位置，方位角显示在地基云图中，如图2所示。

具体步骤如下：

1)确定TSI云图拍摄的时间刻和经纬度

2)计算太阳赤纬角δ

式中，N为一年中的日期顺序序列号，从一年中的第一天(1月1日)到最后一天(12月31号)，取值大小是1—365。

3)计算太阳时角ω

ω＝15(t-12)

式中，t表示真太阳时，以24小时计。

4)计算太阳方位角γ_s和天顶角θ_z

式中，

表示全天空成像仪TSI所处位置的纬度。

5)确定遮光带位置

由于遮光带区域的轴线与云图中心线的夹角与太阳方位角γ_s一致，所以可以通过它们来确定遮光带区域的中心线在云图中的位置。

6)镜头臂的位置在图像中固定，可直接确定。

2、云图修复：

1)对提取出的遮光带区域和镜头臂区域进行置黑；

2)提取置黑区域的边界，并判断边界是否为空；若是，跳到步骤7)；否则，继续下一步；

3)计算边界上各点的优先级，确定修补的先后顺序，找到优先级最大的像素点所在的待修复块，先对其进行修复；

改进的优先权函数表达式为：

P(p)＝RB(p)·D(p)

式中，P(p)表示优先权函数，RB(p)表示改进的置信度项，D(p)表示数据项，p表示待修复块的中心像素点；

改进后的置信度RB(p)按以下计算公式：

式中，ψ_p表示待修复块，选取9×9的方形窗口模块；Φ表示源区域；q表示待修复块中已知像素点；rb(q)表示q点的红蓝比；

数据项D(p)计算公式：

式中，n_p表示垂直于边界线

上p点的法向量；

表示点p的等照度线方向；α是归一化参数，一般选择α＝255；D(p)表示当前点所达到的等照度线的强弱；

4)确定待匹配区域。TSI拍摄的云图的大小是640×480；由于图像具有强空间冗余，并且相邻像素值的变化很小，所以在搜索匹配块的过程中，基于启发信息选择匹配区域的大小；选择以待修复点为中心的边长为2min(m,n)/12的正方形，该模块与源区域相交的部分即为匹配区域(如图3所示)；

5)计算待修复块和最佳匹配块的SSD，用SSD描述区块内像素之间存在的颜色差距，选取SSD最小的匹配块对待修复块进行修复；

SSD计算公式为：

式中，

表示匹配块中的像素点，函数R()、G()、B()分别表示M×M(本文设定M＝9)图像块中点(i,j)的红、绿、蓝三原色。

6)更新破损区域，返回步骤2)；

7)完成修复，输出修复图像。

本发明利用地基云图的修复方法对云图进行了修复，修复结果可以达到很好的视觉效果且修复速度较快；选取了某一时刻的地基云图在Matlab 2010in WIN 7platformwith

Core TM i3-2120CPU@3.30GHz进行操作，如图4所示。

图4是拍摄时间为2016-02-17-155530的地基云图，其中图4a代表原始图像；图4b黑色区域代表待修复区域；图4c为Criminisi算法的修复效果，其修复时间为228.061155s；图4d为本发明方法的修复效果，其修复时间为43.536313s。从图4中可以看出，左下角的遮光带区域较大，经Criminisi算法修复后，有明显的断层现象；而本发明算法可以保证合理的填充顺序，大大改善了出现的断层现象，达到了较好的视觉效果，且修复速度相对于Criminisi算法提升了5倍左右。观测图5同样也可以达到较好的视觉效果。

Claims (2)

1.一种基于改进Criminisi算法的地基云图修复方法，其特征是，步骤如下：

1、待修复区域位置提取

1)确定TSI云图的拍摄时间和设备所在位置的经纬度；

2)计算太阳赤纬角δ；

3)计算太阳时角ω；

4)计算太阳方位角γ_s和天顶角θ_z；

5)确定遮光带位置；

6)确定镜头臂位置；

2、云图修复

1)对提取出的遮光带区域和镜头臂区域置黑；

2)提取置黑区域的边界，并判断边界是否为空；若是，跳到步骤7)；否则，继续下一步；

3)计算边界上各点的优先级，确定修补的先后顺序，找到优先级最大的像素点所在的待修复块，先对其进行修复；

4)确定待匹配区域，以待修复点为中心选取边长为2min(m,n)/12的正方形，该区域与源区域相交的部分即为匹配区域；

5)计算待修复块和最佳匹配块的SSD，选取SSD最小的匹配块对待修复块进行修复；

6)更新破损区域，返回步骤2)；

7)完成修复，输出修复图像；

加入地基云图的红蓝比特征，内容2的步骤3)中改进的优先权函数表达式为：

P(p)＝RB(p)·D(p)

式中，P(p)表示优先权函数，RB(p)表示改进的置信度项，D(p)表示数据项，p表示待修复块的中心像素点；

改进后的置信度RB(p)按以下计算公式：

式中，ψ_p表示待修复块；Φ表示源区域；q表示待修复块中已知像素点；rb(q)表示q点的红蓝比；

数据项D(p)计算公式：

式中，n_p表示垂直于边界线

上p点的法向量；

表示点p的等照度线方向；α是归一化参数。

2.如权利要求1所述的基于改进Criminisi算法的地基云图修复方法，其特征是，步骤5)中待修复块和最佳匹配块的SSD计算公式为：

式中，

表示匹配块中的像素点，函数R()、G()、B()分别表示M×M图像块中点(i,j)的红、绿、蓝三原色。

Images