发明内容
本发明所要解决的技术问题在于:如何更方便地对LED显示屏像素是否需要校正进行分析,提供了一种基于数据处理的LED显示屏像素校正分析系统。
本发明是通过以下技术方案解决上述技术问题的,本发明包括深度图像获取模块、RGB图像获取模块、RGB图像处理模块、深度图像处理模块、校正分析模块;
所述深度图像获取模块,用于获取LED显示屏深度图像,并对LED显示屏深度图像进行降噪处理;
所述RGB图像获取模块,用于获取LED显示屏RGB图像,并对LED显示屏RGB图像进行降噪及增强处理;
所述RGB图像处理模块,用于对LED显示屏RGB图像中的方形边界进行目标识别,获取方形边界检测框的位置信息;并用于对方形边界检测框图片中的显示图像上预设的两个方形标识进行目标识别,获取两个方形标识的位置信息;
所述深度图像处理模块,用于接收位置信息,根据位置信息获取对应点的像素值,通过对应点的像素值在LED显示屏深度图像中计算两个方形标识检测框中心点与方形边界检测框中心点的距离值;
所述校正分析模块,用于对LED显示屏显示图像时的中心偏转、水平偏移现象进行分析,确定当前LED显示屏是否需要进行对应的校正。
更进一步地,所述深度图像获取模块包括第一图像获取单元、第一图像降噪单元;所述第一图像获取单元用于获取包含完整LED显示屏的深度图像,即LED显示屏深度图像;所述第一图像降噪单元用于对LED显示屏深度图像进行降噪处理。
更进一步地,所述RGB图像获取模块包括第二图像获取单元、第二图像降噪单元、图像增强单元;所述第二图像获取单元用于获取包含完整LED显示屏的RGB图像,即LED显示屏RGB图像;所述第二图像降噪单元用于对LED显示屏RGB图像进行降噪处理;所述图像增强单元用于对经过降噪处理后的LED显示屏RGB图像进行增强处理。
更进一步地,所述RGB图像处理模块包括第一目标识别单元、第二目标识别单元;所述第一目标识别单元用于通过第一目标检测模型对经过增强处理的LED显示屏RGB图像中的方形边界进行目标识别,获取方形边界检测框在LED显示屏RGB图像的第一位置信息并将该位置信息发送至所述深度图像处理模块中,然后将方形边界检测框从图像中裁剪下来,获取方形边界检测框图像,方形边界检测框图像中含有显示区域显示的预设图像;所述第二目标识别单元用于通过第二目标检测模型对方形边界检测框图像中的预设图像上的两个方形标识进行目标识别,获取两个方形标识检测框在LED显示屏RGB图像的第二位置信息并将该位置信息发送至所述深度图像处理模块、校正分析模块中。
更进一步地,所述第一目标识别单元的具体处理过程如下:
S11:通过第一目标检测模型对经过增强处理的LED显示屏RGB图像对方形边界进行目标识别,得到方形边界检测框;
S12:获取方形边界检测框在LED显示屏RGB图像的左上角点和右下角点坐标;
S13:根据方形边界检测框在LED显示屏RGB图像的左上角点和右下角点坐标计算方形边界检测框中心点坐标,方形边界检测框中心点记为点O;
S14:将方形边界检测框中心点坐标、左上角点坐标和右下角点坐标发送至所述深度图像处理模块中,同时将方形边界检测框从图像中裁剪下来,获取方形边界检测框图像,方形边界检测框图像含有显示区域显示的预设图像,方形边界检测框中心点坐标即第一位置信息。
更进一步地,所述第二目标识别单元的具体处理过程如下:
S21:通过第二目标检测模型对方形边界检测框图像中的预设图像上的两个方形标识进行目标识别,得到两个方形标识检测框;
S22:获取两个方形标识检测框在LED显示屏RGB图像的左上角点和右下角点坐标;
S23:根据两个方形标识检测框在LED显示屏RGB图像的左上角点和右下角点坐标分别计算两个方形标识检测框中心点坐标,两个方形标识检测框中心点分别记为点F1、点F2;
S24:将两个方形标识检测框中心点坐标、左上角点坐标和右下角点坐标发送至所述深度图像处理模块、校正分析模块中,两个方形标识检测框中心点坐标即第二位置信息。
更进一步地,所述深度图像处理模块包括第一位置信息接收单元、像素确定单元、距离计算单元;所述第一位置信息接收单元用于接收第一位置信息和第二位置信息,进而获取方形边界检测框中心点坐标以及两个方形标识检测框中心点坐标;所述像素确定单元用于根据方形边界检测框中心点坐标获取降噪处理后LED显示屏深度图像中的方形边界检测框中心点对应的像素值,该像素值即为LED显示屏深度图像中的方形边界检测框中心点像素距离深度相机的实际距离值,记为L1,并用于根据两个方形标识检测框中心点坐标获取降噪处理后LED显示屏深度图像中方形标识检测框的中心点对应的像素值,该像素值即为LED显示屏深度图像中的两个方形标识检测框中心点像素距离深度相机的实际距离值,记为L2、L3;所述距离计算单元用于根据勾股定理计算在LED显示屏深度图像中两个方形标识检测框中心点与方形边界检测框中心点O的实际距离值,记为L4、L5,并将实际距离值L4、L5发送至所述校正分析模块中。
更进一步地,所述校正分析模块包括第二位置信息接收单元、中心偏转分析单元、水平偏移分析单元;所述第二位置信息接收单元用于接收第二位置信息,获取两个方形标识检测框中心点坐标;所述中心偏转分析单元用于根据两个方形标识检测框中心点坐标的Y轴坐标值判断预设图像是否发生以点O为中心的中心偏转现象,若判断发生了中心偏转现象,则根据两个方形标识检测框中心点坐标利用三角函数计算线段F1F2与X轴之间的夹角,也即线段OF2与X轴之间的夹角,记为Z1,并将Z1反馈至LED显示屏的控制系统中;所述水平偏移分析单元用于在判断未发生中心偏转现象并校正后,根据实际距离值L4、L5判断预设图像是否发生了水平偏移现象,若判断发生了水平偏移现象,则对实际距离值L4、L5进行作差,获取实际距离值L4、L5之间的差值,并将该差值反馈至LED显示屏的控制系统中。
更进一步地,在所述中心偏转分析单元中,当两个方形标识检测框中心点坐标的Y轴坐标值不相同时,则判断发生了中心偏转现象,相同时则判断未发生中心偏转现象,在LED显示屏正确显示预设图像时,两个方形标识检测框中心点坐标的Y轴坐标值相同;在所述水平偏移分析单元中,当实际距离值L4、L5与不相同时,则判断发生了水平偏移现象,相同时则判断未发生中心偏转现象,在LED显示屏正确显示预设图像时,两个方形标识检测框中心点与方形边界检测框中心点O的实际距离值L4、L5相同。
更进一步地,所述第一图像获取单元为深度相机,所述第二图像获取单元为工业相机;所述LED显示屏包括显示区域、非显示区域,在依次获取LED显示屏深度图像、LED显示屏RGB图像时,显示区域均显示相同的预设图像,在显示区域显示预设图像时,所述显示区域、非显示区域之间形成一个方形边界;所述深度相机、工业相机的光轴均垂直于LED显示屏所在平面,其光轴在LED显示屏上的投影点与方形边界检测框中心点重合,且深度相机与工业相机的拍摄位置相同,所述LED显示屏深度图像、LED显示屏RGB图像的分辨率、尺寸、图像比例均相同,在所述LED显示屏深度图像/LED显示屏RGB图像中,图像坐标系的X轴与方形边界检测框的上下两边平行,Y轴与方形边界检测框的两侧边平行。
本发明相比现有技术具有以下优点:该基于数据处理的LED显示屏像素校正分析系统,通过深度图像获取模块、RGB图像获取模块获取相同分辨率、尺寸、图像比例的LED显示屏深度图像、LED显示屏RGB图像,并利用预设图像中的方形标识对LED显示屏的中心偏转、水平偏移现象进行分析,判断LED显示屏在显示图像时是否需要校正,分析过程相对简单,更方便实际应用。
具体实施方式
下面对本发明的实施例作详细说明,本实施例在以本发明技术方案为前提下进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
如图1-3所示,本实施例提供一种技术方案:一种基于数据处理的LED显示屏像素校正分析系统,包括深度图像获取模块、RGB图像获取模块、RGB图像处理模块、深度图像处理模块、校正分析模块;
在本实施例中,所述深度图像获取模块,用于获取LED显示屏深度图像,并对LED显示屏深度图像进行降噪处理;
具体的,所述深度图像获取模块包括第一图像获取单元、第一图像降噪单元;所述第一图像获取单元用于获取包含完整LED显示屏的深度图像,即LED显示屏深度图像,并将LED显示屏深度图像发送至所述第一图像降噪单元中;所述第一图像降噪单元用于对LED显示屏深度图像进行降噪处理,降低LED显示屏深度图像中的噪声,进而提升LED显示屏深度图像的质量,便于后续的处理工作;
作为更具体的,所述第一图像获取单元为深度相机,通过深度相机可方便地获取LED显示屏深度图像,在LED显示屏深度图像中,每个像素点的像素值即该像素点与深度相机在实际空间中的距离值。
作为更具体的,所述第一图像降噪单元基于变换域去噪方法对LED显示屏深度图像进行将降噪处理。
在本实施例中,所述RGB图像获取模块,用于获取LED显示屏RGB图像,并对LED显示屏RGB图像进行降噪及增强处理;
具体的,所述RGB图像获取模块包括第二图像获取单元、第二图像降噪单元、图像增强单元;所述第二图像获取单元用于获取包含完整LED显示屏的RGB图像,即LED显示屏RGB图像,并将LED显示屏RGB图像发送至所述第二图像降噪单元中;所述第二图像降噪单元用于对LED显示屏RGB图像进行降噪处理,降低LED显示屏RGB图像中的噪声,并将经过降噪处理后的LED显示屏RGB图像发送至所述图像增强单元中;所述图像增强单元用于对经过降噪处理后的LED显示屏RGB图像进行增强处理,提高LED显示屏RGB图像的对比度,便于后续的识别工作。
作为更具体的,所述第二图像获取单元为工业相机,通过工业相机可方便地获取LED显示屏RGB图像,RGB图像即RGB三通道图像。
作为更具体的,所述第二图像降噪单元也基于变换域去噪方法对LED显示屏深度图像进行将降噪处理。
作为更具体的,所述图像增强单元采用直方图均衡化方法对LED显示屏RGB图像进行增强处理,可以有效地提高LED显示屏RGB图像的对比度。
需要说明的是,在本实施例中,所述LED显示屏包括显示区域、非显示区域,在依次获取LED显示屏深度图像、LED显示屏RGB图像时,显示区域均显示相同的预设图像,在显示区域显示预设图像时,所述显示区域、非显示区域之间形成一个方形边界(见图2)。
需要说明的是,所述深度相机、工业相机的光轴均垂直于LED显示屏所在平面(见图3,俯视状态下),其光轴在LED显示屏上的投影点与方形边界检测框中心点重合,且深度相机与工业相机的拍摄位置相同,所述LED显示屏深度图像、LED显示屏RGB图像的分辨率、尺寸、图像比例均相同,在所述LED显示屏深度图像/LED显示屏RGB图像中,图像坐标系的X轴与方形边界检测框的上下两边平行,Y轴与方形边界检测框的两侧边平行。
在本实施例中,所述RGB图像处理模块,用于对LED显示屏RGB图像中的方形边界进行目标识别,获取方形边界检测框的位置信息;并用于对方形边界检测框图片中的显示图像上预设的两个方形标识进行目标识别,获取两个方形标识的位置信息。
具体的,所述RGB图像处理模块包括第一目标识别单元、第二目标识别单元;所述第一目标识别单元用于通过第一目标检测模型对经过增强处理的LED显示屏RGB图像进行方形边界的目标识别工作,获取方形边界检测框在LED显示屏RGB图像的第一位置信息并将该位置信息发送至所述深度图像处理模块中,然后将方形边界检测框从图像中裁剪下来,获取方形边界检测框图像,方形边界检测框图像含有显示区域显示的预设图像,将方形边界检测框图像发送至所述第二目标识别单元中;所述第二目标识别单元用于通过第二目标检测模型对方形边界检测框图像中的预设图像上的两个方形标识进行目标识别工作,获取两个方形标识检测框在LED显示屏RGB图像的第二位置信息并将该位置信息发送至所述深度图像处理模块、校正分析模块中。
作为更具体的,所述第一目标识别单元的具体处理过程如下:
S11:通过第一目标检测模型对经过增强处理的LED显示屏RGB图像对方形边界进行目标识别,得到方形边界检测框;
S12:获取方形边界检测框在LED显示屏RGB图像的左上角点和右下角点坐标;
S13:根据方形边界检测框在LED显示屏RGB图像的左上角点和右下角点坐标计算方形边界检测框中心点坐标,方形边界检测框中心点记为点O;
S14:将方形边界检测框中心点坐标、左上角点坐标和右下角点坐标发送至所述深度图像处理模块中,同时将方形边界检测框从图像中裁剪下来,获取方形边界检测框图像,方形边界检测框图像含有显示区域显示的预设图像,将方形边界检测框图像发送至所述第二目标识别单元中,方形边界检测框中心点坐标即第一位置信息。
在本实施例中,在所述步骤S11中,第一目标检测模型基于Fast R-CNN目标检测网络训练而得,在训练时,首先通过工业相机采集多张LED显示屏RGB图像作为数据集,将数据集中的LED显示屏RGB图像划分为训练集和测试集,然后对训练集中的LED显示屏RGB图像进行人工标注,将训练集中的图像送入Fast R-CNN目标检测网络进行训练,训练完成后,保存网络参数,得到训练后的网络模型,最后用测试集中的图像对训练后的网络模型的性能指标进行检测,当性能指标满足设定值后,保存网络模型,即得到第一目标检测模型。
作为更具体的,所述第二目标识别单元的具体处理过程如下:
S21:通过第二目标检测模型对方形边界检测框图像中的预设图像上的两个方形标识进行目标识别,得到两个方形标识检测框;
S22:获取两个方形标识检测框在LED显示屏RGB图像的左上角点和右下角点坐标;
S23:根据两个方形标识检测框在LED显示屏RGB图像的左上角点和右下角点坐标分别计算两个方形标识检测框中心点坐标,两个方形标识检测框中心点分别记为点F1、点F2;
S24:将两个方形标识检测框中心点坐标、左上角点坐标和右下角点坐标发送至所述深度图像处理模块、校正分析模块中,两个方形标识检测框中心点坐标即第二位置信息。
在本实施例中,在所述步骤S11中,第二目标检测模型基于SSD目标检测网络训练而得,在训练时,首先通过工业相机采集多张LED显示屏RGB图像作为数据集,将数据集中的LED显示屏RGB图像划分为训练集和测试集,然后对训练集中的LED显示屏RGB图像进行人工标注,将训练集中的图像送入SSD目标检测网络进行训练,训练完成后,保存网络参数,得到训练后的网络模型,最后用测试集中的图像对训练后的网络模型的性能指标进行检测,当性能指标满足设定值后,保存网络模型,即得到第二目标检测模型。
在本实施例中,所述深度图像处理模块,用于接收位置信息,根据位置信息获取对应点的像素值,通过对应点的像素值在LED显示屏深度图像中计算两个方形标识检测框中心点与方形边界检测框中心点的距离值;
具体的,所述深度图像处理模块包括第一位置信息接收单元、像素确定单元、距离计算单元;所述第一位置信息接收单元用于接收第一位置信息和第二位置信息,进而获取方形边界检测框中心点坐标,以及两个方形标识检测框中心点坐标;所述像素确定单元用于根据方形边界检测框中心点坐标获取降噪处理后LED显示屏深度图像中的方形边界检测框中心点对应的像素值,该像素值即为LED显示屏深度图像中的方形边界检测框中心点像素距离深度相机的实际距离值,记为L1;并用于根据两个方形标识检测框中心点坐标获取降噪处理后LED显示屏深度图像中方形标识检测框的中心点对应的像素值,该像素值即为LED显示屏深度图像中的两个方形标识检测框中心点像素距离深度相机的实际距离值,记为L2、L3;所述距离计算单元用于根据勾股定理计算在LED显示屏深度图像中两个方形标识检测框中心点与方形边界检测框中心点O的实际距离值,记为L4、L5,并将实际距离值L4、L5发送至所述校正分析模块中;
在本实施例中,所述校正分析模块,用于对LED显示屏显示预设图像时的中心偏转、水平偏移现象进行分析,确定当前LED显示屏是否需要进行对应的校正。
在本实施例中,所述校正分析模块包括第二位置信息接收单元、中心偏转分析单元、水平偏移分析单元;所述第二位置信息接收单元用于接收第二位置信息,获取两个方形标识检测框中心点坐标;所述中心偏转分析单元用于根据两个方形标识检测框中心点坐标的Y轴坐标值判断预设图像是否发生以点O为中心的中心偏转现象,若判断发生了中心偏转现象,则根据两个方形标识检测框中心点坐标利用三角函数计算线段F1F2与X轴之间的夹角,也即线段OF2与X轴之间的夹角,记为Z1,并将Z1反馈至LED显示屏的控制系统中,便于后续通过控制系统对显示模块进行校正;所述水平偏移分析单元用于在判断未发生中心偏转现象并校正后,根据实际距离值L4、L5判断预设图像是否发生了水平偏移现象,若判断发生了水平偏移现象,则对实际距离值L4、L5进行作差,获取实际距离值L4、L5之间的差值,并将该差值反馈至LED显示屏的控制系统中,便于后续通过控制系统对显示模块进行校正。
在本实施例中,在所述中心偏转分析单元中,当两个方形标识检测框中心点坐标的Y轴坐标值不相同时,则判断发生了中心偏转现象,相同时则判断未发生中心偏转现象,在LED显示屏正确显示预设图像时,两个方形标识检测框中心点坐标的Y轴坐标值相同。
在本实施例中,在所述水平偏移分析单元中,当实际距离值L4、L5与不相同时,则判断发生了水平偏移现象,相同时则判断未发生中心偏转现象,在LED显示屏正确显示预设图像时,两个方形标识检测框中心点与方形边界检测框中心点O的实际距离值L4、L5相同。
需要说明的是,预设图像中的两个方形标识在显示时为两个相同大小的红色方块,背景为白色。
需要说明的是,当判断发生了中心偏转现象时,须通过控制系统对显示模块进行中心偏转校正,然后再进行水平偏移分析工作,最后再进行水平偏移校正。
综上所述,上述实施例的基于数据处理的LED显示屏像素校正分析系统,通过深度图像获取模块、RGB图像获取模块获取相同分辨率、尺寸、图像比例的LED显示屏深度图像、LED显示屏RGB图像,并利用预设图像中的方形标识对LED显示屏的中心偏转、水平偏移现象进行分析,判断LED显示屏在显示图像时是否需要校正,分析过程相对简单,更方便实际应用。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。