CN111340749B - 图像质量的检测方法、装置、设备及存储介质 - Google Patents
图像质量的检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111340749B CN111340749B CN201811545090.7A CN201811545090A CN111340749B CN 111340749 B CN111340749 B CN 111340749B CN 201811545090 A CN201811545090 A CN 201811545090A CN 111340749 B CN111340749 B CN 111340749B
- Authority
- CN
- China
- Prior art keywords
- image
- detected
- detection
- determining
- brightness
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 178
- 238000000034 method Methods 0.000 claims abstract description 63
- 238000012937 correction Methods 0.000 claims abstract description 37
- 230000005856 abnormality Effects 0.000 claims description 57
- 238000012545 processing Methods 0.000 claims description 22
- 230000004044 response Effects 0.000 claims description 20
- 230000002159 abnormal effect Effects 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 12
- 238000003708 edge detection Methods 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 238000000638 solvent extraction Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种图像质量的检测方法、装置、设备及存储介质,该方法包括:获取待检测图像;对所述待检测图像进行灰度化处理;对灰度化处理后的待检测图像进行异常检测,确定检测结果;所述异常检测包括亮度异常检测、失焦检测及校正偏差检测。该方法能够及时对图像质量进行精确检测,保证了视觉系统的正常运行,进一步提高了工作效率。
Description
技术领域
本发明一般涉及图像处理技术领域,具体涉及一种图像质量的检测方法、装置、设备及存储介质。
背景技术
计算机图像处理已经成为当前多种任务和用途下的一种常用工具,例如在物流无人机领域,可以通过对采集到的图像进行图像检索、图像匹配等操作确定目标的位置和姿态;在遥感图像处理领域,利用多谱图数据进行地址勘察、地质灾害检查和预报等,为了准确对采集的关键帧图像进行分析,图像的异常检测显得尤为重要。
传统技术中,对图像的异常检测可以包括亮度检测和清晰度检测,其中,对亮度异常进行检测是根据整个图像的平均亮度和方差来进行检测,对清晰度检测是通过计算累积差分来进行检测。
但是,由于图像存在部分遮挡、噪声影响等因素,导致传统技术中对图像亮度的检测结果不稳定,且对清晰度的检测形式比较单一,无法检测问题丰富程度不同的图像。
发明内容
鉴于现有技术中的上述缺陷或不足,期望提供一种图像质量的检测方法、装置、设备及存储介质,能够对图像质量进行自动化检测,提高了图像质量检测的效率,
第一方面,本发明提供了一种图像质量的检测方法,该方法包括:
获取待检测图像;
对所述待检测图像进行灰度化处理;
对灰度化处理后的待检测图像进行异常检测,确定检测结果;所述异常检测包括亮度异常检测、失焦检测及校正偏差检测。
在其中一个实施例中,对所述灰度化处理后的待检测图像进行异常检测,包括:亮度异常检测、失焦检测及校正偏差检测。
在其中一个实施例中,所述亮度异常检测,包括:
将所述灰度化处理后的待检测图像进行分块,得到多个图片块;
对每个图片块进行亮度异常检测,确定所述每个图片块的检测结果;所述检测结果包括图像过亮、图像过暗和图像正常;
根据每个图片块的检测结果,分别确定图像亮度异常的第一图片块数量和图像过暗的第二图片块数量;
将所述第一图片块数量和所述第二图片块数量分别和对应的预设阈值进行比较;
当所述第一图片块数量大于对应的预设阈值时,确定所述待检测图像过曝;当所述第二图片块数量大于对应的预设阈值时,确定所述待检测图像被遮挡;否则确定所述待检测图像正常。
在其中一个实施例中,对每个图片块进行亮度异常检测,确定所述每个图片块的检测结果,包括:
根据所述灰度化处理后的待检测图像,提取每个图片块的灰度值;
基于每个图片块的灰度值,计算所述每个图片块的平均亮度和方差;
将平均亮度的绝对值与方差的开方作商,计算亮度异常指标;
根据所述平均亮度和所述亮度异常指标,确定所述每个图片块的检测结果。
在其中一个实施例中,根据所述平均亮度和所述亮度异常指标,确定所述每个图片块的检测结果,包括:
将所述亮度异常指标与第二预设阈值进行比较;
当所述亮度异常指标大于所述第二预设阈值时,将所述平均亮度与第三预设阈值进行比较,当所述平均亮度大于所述第三预设阈值时,确定所述检测结果为图像过亮;
当所述平均亮度小于所述第三预设阈值时,确定所述检测结果为图像过暗;
当所述亮度异常指标不大于所述第二预设阈值时,确定所述检测结果为图像正常。
在其中一个实施例中,所述失焦检测,包括:
通过Sobel算子对所述待检测图像进行边缘检测,确定边缘点;
根据所述边缘点的集合和每个边缘点的梯度响应值,计算所述待检测图像的清晰度;
判断所述清晰度与第四预设阈值的大小,若所述清晰度大于第四预设阈值,则确定所述待检测图像失焦。
在其中一个实施例中,确定边缘点之后,所述方法还包括:
确定所述边缘点的数量;
当所述边缘点的数量小于预设的边缘点数量阈值,则确定所述待检测图像失焦;以及
根据所述边缘点的集合和每个边缘点的梯度响应值,计算所述待检测图像的清晰度,包括:
当所述边缘点的数量不小于所述边缘点数量阈值时,根据所述边缘点的集合和每个边缘点的梯度响应值,计算所述待检测图像的清晰度。
在其中一个实施例中,当所述待检测图像为双目图像时,所述校正偏差检测,包括:
获取左目图像和右目图像;
通过FAST算法提取所述左目图像的关键点;
根据所述左目图像的关键点,对所述右目图像进行关键点匹配,将匹配成功的关键点对确定为校正质量检测点对;
计算每个校正质量检测点对的偏差量,并根据每个校正质量检测点对的偏差量,确定平均偏差;
将所述平均偏差与第五预设阈值进行比较,若所述平均偏差大于所述第五预设阈值,则确定所述左目图像与所述右目图像校正错误。
第二方面,本申请实施例提供了一种图像质量的检测装置,该装置包括:
获取模块,用于获取待检测图像;
处理模块,用于对所述待检测图像进行灰度化处理;
异常检测模块,用于对灰度化处理后的待检测图像进行异常检测,确定检测结果。
第三方面,本申请实施例提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述所述图像质量的检测方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述所述图像质量的检测方法。
本发明实施例提供的图像质量的检测方法、装置、设备及存储介质,通过获取待检测图像,并对待检测图像进行灰度化处理,然后对灰度化处理后的待检测图像进行亮度异常检测、失焦检测及校正偏差检测,确定检测结果。本技术方案中通过对灰度化处理后的待检测图像进行了异常检测,能够及时对图像质量进行判断,并可以精准的确定出检测结果,进一步避免了对目标的位姿估计错误的问题。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1为本发明实施例提供的图像质量的检测方法的流程示意图;
图2为本发明实施例提供的对图像的亮度异常检测方法的流程示意图;
图3为本发明实施例提供的对图像的亮度异常检测方法的流程示意图;
图4为本发明实施例提供的图像的失焦检测方法的流程示意图;
图5为本发明实施例提供的对图像的校正偏差的检测方法的流程示意图;
图6为本发明实施例提供的图像质量的检测装置的结构示意图;
图7为本发明实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
如背景技术中提到的,随着无人机和人工智能技术的不断发展,无人机视觉系统可以根据摄像头采集到的图像,通过图像检索、图像匹配等方法,实时估计每帧图像中的目标对应的位置和姿态,从而获取目标的定位信息,但是,在实际对图像采集的过程中,无人机视觉系统可能会采集到一些异常图像,导致对目标的位姿估计错误,影响系统的正常运行,因此,对视频图像的异常检测很有必要。目前,对图像质量的检测包括亮度检测和清晰度检测,其中,在对图像的亮度检测的过程中,通过计算整个图像的平均亮度值和方差,当该平均亮度大于某一预设阈值,且方差小于另一预设阈值时,则表明该图像为亮度异常;在对图像的清晰度检测的过程中,通过将整个图像的累积差分作为评价指标,但是对于一些纹理比较丰富的图像,其检测结果会存在差异,不能适应纹理比较丰富的图像,例如在城市的场景中,会存在很多楼房、道路等,使得对图像清晰度检测不准确。
基于上述缺陷,本发明实施例提供了一种图像质量的检测方法,通过对待检测图像进行灰度化处理,并对灰度化处理后的待检测图像进行异常检测,从而能够对图像质量进行准确检测,且适应于各种纹理不同的视频图像,其应用广泛,且对图像质量的检测准确。与现有技术相比,该方法能够精准的检测出图像质量,且在检测出图像异常时,能够使得视觉系统弃用该帧图像,进一步保证了视觉系统的正常运行。
下面将参考附图并结合实施例来详细说明本申请。
需要说明的是,下述方法实施例的执行主体可以是图片质量的检测装置,该装置可以通过软件、硬件或者软硬件结合的方式实现成为终端设备的部分或者全部。下述方法实施例的执行主体以计算机设备为例来进行说明。
图1为本发明实施例提供的图像质量方法的流程示意图,如图1所示,该方法包括:
S101、获取待检测图像。
具体的,上述待检测图像可以是从视频中提取的关键帧图像,也可以是通过摄像头直接采集得到的图像,可选的,该获取待检测图像的过程可以为:读取待检测的视频,并从该视频中提取含有目标的关键帧图像,将该关键帧图像作为待检测图像。
可选的,该待检测图像可以是单目相机采集的单张关键帧图像,可以是双目相机采集的左右两目的图像。
需要说明的是,该待检测图像可以包含目标的位置和位姿,可以通过分析该目标的位置和位姿,完成对目标的定位。
S102、对待检测图像进行灰度化处理。
具体的,待检测图像可以是彩色图像,其中,彩色图像中的每个像素的颜色由R、G、B三个分量决定,每个分量中有255中值可取,则一个像素点可以有1600多万的颜色的变化范围,而灰度图像是R、G、B三个分量相同的一种特殊的彩色图像,其一个像素点的变化范围为255种,因此在数字图像处理中会将各种各样的图像转化为灰度图像。
需要说明的是,灰度化表示在RGB模型中,如果R=G=B时,则彩色表示一种灰度颜色,其中R=G=B的值为灰度值,可选的,可以通过分量法、最大值法、平均值法、加权平均法等对上述待检测图像进行灰度化处理。
S103、对灰度化处理后的待检测图像进行异常检测,确定检测结果;异常检测包括亮度异常检测、失焦检测及校正偏差检测。
具体的,在对待检测图像进行灰度化处理后,可以对该处理后的待检测图像进行异常检测,包括:亮度异常检测、失焦检测及校正偏差检测,从而确定出图像的检测结果,其中,亮度异常检测和失焦检测为单目相机采集的单张关键帧图像,校正偏差检测可以为双目相机采集的左右两目图像的检测;通过对图像质量的检测,使得能够去掉无人机视觉系统采集的多余图像,得到检测结果,该检测结果可以为亮度过亮、亮度过暗、图像失焦及校正错误。
本实施例提供的图像质量的检测方法,通过获取待检测图像,并对待检测图像进行灰度化处理,然后对灰度化处理后的待检测图像进行亮度异常检测、失焦检测及校正偏差检测,确定检测结果。本技术方案中通过对灰度化处理后的待检测图像进行了异常检测,能够及时对图像质量进行判断,并可以精准的确定出检测结果,进一步避免了视觉系统对目标的位姿估计错误的问题。
图2为本发明实施例提供的对亮度异常进行检测的方法的流程示意图。如图2所示,该方法包括:
S201、将灰度化处理后的待检测图像进行分块,得到多个图片块。
具体的,在对待检测图像进行灰度化处理后,可以将待检测图像分成N×N个图片块,其中,N可以为任意实数,例如,可以将待检测图像分成3×3个图片块,也可以分为4×4个图片块,可以通过相关软件对灰度化处理后的待检测图像进行分块,从而得到多个图片块,通过将待检测图像栅格化处理,能够对采集的不同场景下的图像进行检测。
S202、对每个图片块进行亮度异常检测,确定每个图片块的检测结果;检测结果包括图像过亮、图像过暗和图像正常。
具体的,在对待检测图像进行分块后,得到多个图片块,并对每个图片块进行亮度检测,可以通过计算每个图片块的平均亮度和亮度异常指标,来确定每个图片块的检测结果。
作为步骤S202的一种实施方式,如图3所示,该方法包括:
S301、根据灰度化处理后的待检测图像,提取每个图片块的灰度值;
S302、基于每个图片块的灰度值,计算每个图片块的平均亮度和方差;
S303、将平均亮度的绝对值与方差的开方作商,计算亮度异常指标;
S304、根据平均亮度和亮度异常指标,确定每个图片块的检测结果。
需要说明的是,在确定每个图片块的检测结果可以根据灰度化处理后的待检测图像,提取每个图片块的灰度值,并基于每个图片块的灰度值,计算每个图片块的平均亮度和亮度异常指标,从而确定每个图片块的检测结果,该图片块的平均亮度可以表示为:
其中,I(i,j)为灰度图在(i,j)位置的灰度值,u为每个图片块的宽度,v为每个图片块的高度,该待检测图像的方差可以表示为:
其中,I(i,j)为灰度图在(i,j)位置的灰度值,u为每个图片块的宽度,v为每个图片块的高度,该待检测图像的亮度异常指标可以表示为:
其中,delta为待检测图像的方差,mean_brightness为待检测图像的平均亮度。
当确定出平均亮度和亮度异常指标后,将该亮度异常指标与第二预设阈值进行比较,当亮度异常指标大于第二预设阈值时,则将平均亮度与第三预设阈值进行比较,进一步确定待检测图像是亮度过暗还是亮度过亮,其中,当平均亮度大于第三预设阈值时,可以确定出检测结果为图像过亮,当平均亮度小于第三预设阈值时,则可以确定给出检测结果为图像过暗,当亮度异常指标不大于第二预设阈值时,确定出检测结果为图像正常。
示例性的,当每个图片块的平均亮度越大,方差越小,即亮度异常指标大于1时,则判定该待检测图像的亮度异常,当平均亮度大于0时,则表示该待检测图像过亮,当平均亮度小于0时,则表示该待检测图像过暗。
S203、根据每个图片块的检测结果,分别确定图像过亮的第一图片块数量和图像过暗的第二图片块数量。
S204、将第一图片块数量和第二图片块数量分别和对应的预设阈值进行比较。
S205、当第一图片块数量大于对应的预设阈值时,确定待检测图像过曝;当第二图片块数量大于对应的预设阈值时,确定待检测图像被遮挡;否则确定待检测图像正常。
具体的,可以对每个图片块进行平均亮度和亮度异常指标的计算,确定出每个图片块为图像过亮或者图像过暗,并进一步确定出图像过亮的第一图片块数量和图像过暗的第二图片块数量,将第一图片块数量与对应的预设阈值进行比较,当第一图片块数量大于对应的预设阈值时,则确定该待检测图像过曝;同样,当确定出每个图片块过暗的第二图片块数量时,将第二图片块数量与对应的预设阈值进行比较,当第二图片块数量大于对应的预设阈值时,则确定该待检测图像被遮挡,否则确定检测结果为图像正常。其中,第一图片块数量对应的预设阈值与第二图片块数量对应的预设阈值可能相同,也可能不同。
示例性的,当将该待检测图像分为3×3个图片块时,则当图片过亮的数量大于5时,则确定该待检测图像过亮,当图片过暗的数量大于5时,则确定该待检测图像过暗。
本实施例通过将待检测图像进行分块,从而能够对部分遮挡的图像进行检测,该方法对图像亮度检测的结果稳定,实现了对图像亮度的精确检测,进一步避免了视觉系统采集到异常图像,保证了视觉系统的正常运行,进而提高了工作效率。
图4为本发明实施例提供的图像进行失焦检测的方法的流程示意图。如图4所示,该方法包括:
S401、通过Sobel算子对待检测图像进行边缘检测,确定边缘点。
S402、根据边缘点的集合和每个边缘点的梯度响应值,计算待检测图像的清晰度。
S403、判断清晰度与第四预设阈值的大小,若清晰度大于第四预设阈值,则确定待检测图像失焦。
具体的,图像失焦时,会使得显示画面模糊,影响视觉系统的图像检测,为了使视觉系统避免使用失焦图像,进行图像的失焦检测非常重要。上述Sobel算子是像素图像边缘检测中最重要的算子之一,其在机器学习、数字媒体、计算机视觉等信息科技领域有着举足轻重的作用,它是一个离散的一阶差分算子,可以用来计算图像亮度函数的一阶梯度之近似值。
需要说明的是,根据Sobel算子对待检测图像进行边缘检测时,确定边缘点可以先计算像素点I(i,j)的Sobel梯度响应值,通过以下公式计算得到:
其中,Gx(i,j),Gy(i,j)分别为横向模板和纵向模板在图像(i,j)位置的卷积响应值,上述横向模板和纵向模板分别为:
当确定出像素点I(i,j)的Sobel梯度响应值后,可以将该梯度响应值与预设阈值进行比较,如果上述梯度响应值大于预设阈值,则可以确定该像素点I(i,j)为边缘点,并确定出边缘点集合为:
S={I(i,j)|∑(i,j)∈SSobel(i,j)>threshold1}
其中,Sobel(i,j)为像素点I(i,j)的Sobel梯度响应值,threshold1为预设阈值,S为边缘点集合。
进一步的,当确定出边缘点集合和梯度响应值后,可以通过以下公式计算清晰度:
其中,Sobel(i,j)为像素点I(i,j)的Sobel梯度响应值,|S|为边缘点个数,并将上述清晰度与第四预设阈值进行比较,当清晰度大于第四预设阈值时,则确定出该待检测图像失焦。
需要说明的是,在确定边缘点之后,可以先确定出边缘点数量,当边缘点的数量小于预设的边缘点数量阈值时,则确定该待检测图像失焦,即表示当边缘点数量过少时,则该图像中纹理较少,如无人机拍摄的天空等的场景中,则计算清晰度没有意义;当边缘点的数量不小于边缘点数量阈值时,则根据边缘点的结合和每个边缘点的梯度响应值,计算待检测图像的清晰度,进一步确定该待检测图像是否失焦。
本实施例中通过使用Sobel算子进行边缘检测,并确定出梯度响应值,从而可以精准的确定出边缘点集合,提高了清晰度的计算精度,进一步检测出图像是否失焦。
图5为本发明实施例提供的对图像的校正偏差的检测方法的流程示意图。如图5所示,该方法包括:
S501、获取左目图像和右目图像。
具体的,双目相机经过校正之后的左右图像应该保证对应关键点在水平位置对齐,这对于后续加速关键点的匹配和深度计算提供了保证,上述左目图像和右目图像可以通过双目相机拍摄得到。
S502、通过FAST算法提取左目图像的关键点。
具体的,以一个像素点p为中心,在半径为3的圆上,有16个像素点(p1、p2、…、p16),并定义一个阈值,计算p1、p9与中心p的像素差,若它们的绝对值都小于阈值,则p点不是特征点,若它们的绝对值大于阈值,则可以将p点作为候选点,并计算p1、p9、p5、p13与中心p的像素差,若它们的绝对值有至少3个超过阈值,则进一步计算p1到p16这16个点与中心p的像素差,若它们之间的绝对值至少有9个超过阈值,则可以确定p点为特征点。
需要说明的是,可以通过如上方法分别对左目图像进行特征点提取,从而确定出左目图像的关键点。
S503、根据左目图像的关键点,对右目图像进行关键点匹配,将匹配成功的关键点对确定为校正质量检测点对。
具体的,在对左目图像提取关键点后,并利用左右视图内容差距较小的特点,可以使用LK光流法在右目图像进行关键点跟踪,以实现左右视图关键点的匹配,其中,LK光流法的实现原理可以为:
基于灰度不变的假设,可以有公式1:
I(x+dx,y+dy,t+dt)=I(x,y,t);
其中,I(x,y,t)为图像I在(x,y)位置的像素点t时刻的灰度值,I(x+dx,y+dy,t+dt)为该关键点在t+dt时刻运动到了(x+dx,y+dy)位置,则对上述公式左边进行泰勒展开,可以得到公式2:
结合上述公式1和公式2,可以得到如下公式3:
对上述公式3两边同时除以dt,进一步变形可以得到如下公式4:
其中,分别为像素点在x、y方向上的速度,/>为像素点在x、y方向上的梯度。若将/>分别记为:Ix,Iy,u,v,It,则有公式5:
基于上述公式5,我们考虑一个大小为w×w的窗口,该窗口内的像素具有相同的u,v则可以得到w2个方程:
记:
则有:
这是一个超定方程,该方程的最小二乘解为:
则可以求得点(x,y)的匹配点(u,v),从而确定出关键点匹配对,其中,若左右两个图像中y方向的差距大于30像素值,则认为该匹配对为错误匹配的点对,并去除这些匹配明显错误的关键点,剩余匹配成功的点对为校正质量检测点对。
S504、计算每个校正质量检测点对的偏差量,并根据每个校正质量检测点对的偏差量,确定平均偏差。
需要说明的是,计算左右视图上校正质量检测点对在y方向上的偏移偏差,可以通过如下公式计算:
其中,vleft为左目图像在y方向上的偏移量,vright为右目图像在y方向上的偏移量,从而求出每个校正质量检测点对,并对其求平均,则可以确定出平均偏差。
S505、将平均偏差与第五预设阈值进行比较,若平均偏差大于所述第五预设阈值,则确定左目图像与右目图像校正错误。
具体的,在得到平均偏差后,可以将该平均偏差与第五预设阈值进行比较,当平均偏差大于第五预设阈值时,则确定左目图像与右目图像校正错误。
本实施例中通过FAST算法提取左目图像的关键点,并通过LK光流法在右图像中进行关键点跟踪,从而实现了左右图像关键点的匹配,筛选出错误匹配的点对,从而避免了对多余的匹配点对进行偏差的计算,减少了工作量,并通过计算平均偏差,使得对校正效果的评价更加准确。
应当注意,尽管在附图中以特定顺序描述了本发明方法的操作,但是,这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。相反,流程图中描绘的步骤可以改变执行顺序。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
图6为本发明实施例提供的单品的补货装置的结构示意图。如图6所示,该装置可以实现如图1~图5所示的方法,该装置可以包括:
获取模块10,用于获取待检测图像;
处理模块20,用于对所述待检测图像进行灰度化处理;
异常检测模块30,用于对灰度化处理后的待检测图像进行异常检测,确定检测结果;所述异常检测包括亮度异常检测、失焦检测及校正偏差检测。
优选的,所述异常检测模块30,包括:
亮度异常检测单元301,用于对灰度化处理后的待检测图像进行亮度异常检测;
失焦检测单元302,用于对灰度化处理后的待检测图像进行失焦检测;
校正偏差检测单元303,用于对灰度化处理后的待检测图像进行校正偏差检测。
优选的,所述亮度异常检测单元301,具体用于将所述灰度化处理后的待检测图像进行分块,得到多个图片块;对每个图片块进行亮度异常检测,确定所述每个图片块的检测结果;所述检测结果包括图像过亮、图像过暗和图像正常;根据每个图片块的检测结果,分别确定图像过亮的第一图片块数量和图像过暗的第二图片块数量;将所述第一图片块数量和所述第二图片块数量分别和对应的预设阈值进行比较;当所述第一图片块数量大于对应的预设阈值时,确定所述待检测图像过曝;当所述第二图片块数量大于对应的预设阈值时,确定所述待检测图像被遮挡;否则确定所述待检测图像正常。
优选的,所述亮度异常检测单元301,具体用于根据所述灰度化处理后的待检测图像,提取每个图片块的灰度值;基于每个图片块的灰度值,计算所述每个图片块的平均亮度和方差;将平均亮度的绝对值与方差的开方作商,计算亮度异常指标;根据所述平均亮度和所述亮度异常指标,确定所述每个图片块的检测结果。
优选的,所述亮度异常检测单元301,具体用于将所述亮度异常指标与第二预设阈值进行比较;当所述亮度异常指标大于所述第二预设阈值时,将所述平均亮度与第三预设阈值进行比较,当所述平均亮度大于所述第三预设阈值时,确定所述检测结果为图像过亮;当所述平均亮度小于所述第三预设阈值时,确定所述检测结果为图像过暗;当所述亮度异常指标不大于所述第二预设阈值时,确定所述检测结果为图像正常。
优选的,所述失焦检测单元302,具体用于通过Sobel算子对所述待检测图像进行边缘检测,确定边缘点;根据所述边缘点的集合和每个边缘点的梯度响应值,计算所述待检测图像的清晰度;判断所述清晰度与第四预设阈值的大小,若所述清晰度大于第四预设阈值,则确定所述待检测图像失焦。
优选的,所述失焦检测单元302,还用于确定所述边缘点的数量;
当所述边缘点的数量小于预设的边缘点数量阈值,则确定所述待检测图像失焦;以及根据所述边缘点的集合和每个边缘点的梯度响应值,计算所述待检测图像的清晰度,包括:当所述边缘点的数量不小于所述边缘点数量阈值时,根据所述边缘点的集合和每个边缘点的梯度响应值,计算所述待检测图像的清晰度。
优选的,所述校正偏差检测单元303,具体用于获取左目图像和右目图像;通过FAST算法提取所述左目图像的关键点;根据所述左目图像的关键点,对所述右目图像进行关键点匹配,将匹配成功的关键点对确定为校正质量检测点对;计算每个校正质量检测点对的偏差量,并根据每个校正质量检测点对的偏差量,确定平均偏差;将所述平均偏差与第五预设阈值进行比较,若所述平均偏差大于所述第五预设阈值,则确定所述左目图像与所述右目图像校正错误。
本实施例提供的图像质量的检测装置,可以执行上述方法的实施例,其实现原理和技术效果类似,在此不再赘述。
图7为本发明实施例提供的一种计算机设备的结构示意图。如图7所示,其示出了适于用来实现本申请实施例的终端设备或服务器的计算机系统700的结构示意图。
如图7所示,计算机系统700包括中央处理单元(CPU)701,其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM703中,还存储有系统700操作所需的各种程序和数据。CPU801、ROM702以及RAM703通过总线704彼此相连。输入/输出(I/O)接口606也连接至总线704。
以下部件连接至I/O接口705:包括键盘、鼠标等的输入部分706;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707;包括硬盘等的存储部分708;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口706。可拆卸介质711,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器710上,以便于从其上读出的计算机程序根据需要被安装入存储部分708。
特别地,根据本公开的实施例,上文参考图1-5描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括有形地包含在机器可读介质上的计算机程序,所述计算机程序包含用于执行图1-5的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分709从网络上被下载和安装,和/或从可拆卸介质711被安装。
附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,前述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元或模块可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中,例如,可以描述为:一种处理器包括获取模块、处理模块及确定模块。其中,这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定,例如,获取模块还可以被描述为“用于获取待检测图像”。
作为另一方面,本申请还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中前述装置中所包含的计算机可读存储介质;也可以是单独存在,未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序,前述程序被一个或者一个以上的处理器用来执行描述于本申请的图像质量的检测方法。
综上所述,本发明实施例提供的图像质量的检测方法、装置、设备及存储介质,通过获取待检测图像,并对待检测图像进行灰度化处理,然后对灰度化处理后的待检测图像进行亮度异常检测、失焦检测及校正偏差检测,确定检测结果。本技术方案中通过对灰度化处理后的待检测图像进行了异常检测,能够及时对图像质量进行判断,并可以精准的确定出检测结果,进一步避免了对目标的位姿估计错误的问题。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离所述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (7)
1.一种图像质量的检测方法,其特征在于,包括:
获取待检测图像;
对所述待检测图像进行灰度化处理;
对灰度化处理后的待检测图像进行异常检测,确定检测结果;所述异常检测包括亮度异常检测、失焦检测及校正偏差检测;
所述亮度异常检测,包括:
将所述灰度化处理后的待检测图像进行分块,得到多个图片块;
根据所述灰度化处理后的待检测图像,提取每个图片块的灰度值;
基于每个图片块的灰度值,计算所述每个图片块的平均亮度和方差;
将平均亮度的绝对值与方差的开方作商,计算亮度异常指标;
根据所述平均亮度和所述亮度异常指标,确定所述每个图片块的检测结果;所述检测结果包括图像过亮、图像过暗和图像正常;
根据每个图片块的检测结果,分别确定图像过亮的第一图片块数量和图像过暗的第二图片块数量;
将所述第一图片块数量和所述第二图片块数量分别与对应的预设阈值进行比较;
当所述第一图片块数量大于对应的预设阈值时,确定所述待检测图像过曝;当所述第二图片块数量大于对应的预设阈值时,确定所述待检测图像被遮挡;否则确定所述待检测图像正常;
其中,根据所述平均亮度和所述亮度异常指标,确定所述每个图片块的检测结果,包括:
将所述亮度异常指标与第二预设阈值进行比较;
当所述亮度异常指标大于所述第二预设阈值时,将所述平均亮度与第三预设阈值进行比较,当所述平均亮度大于所述第三预设阈值时,确定所述检测结果为图像过亮;当所述平均亮度小于所述第三预设阈值时,确定所述检测结果为图像过暗;
当所述亮度异常指标不大于所述第二预设阈值时,确定所述检测结果为图像正常。
2.根据权利要求1所述的图像质量的检测方法,其特征在于,所述失焦检测,包括:
通过Sobel算子对所述待检测图像进行边缘检测,确定边缘点;
根据所述边缘点的集合和每个边缘点的梯度响应值,计算所述待检测图像的清晰度;
判断所述清晰度与第四预设阈值的大小,若所述清晰度大于第四预设阈值,确定所述待检测图像失焦。
3.根据权利要求2所述的图像质量的检测方法,其特征在于,确定边缘点之后,所述方法还包括:
确定所述边缘点的数量;
当所述边缘点的数量小于预设的边缘点数量阈值,则确定所述待检测图像失焦;以及
根据所述边缘点的集合和每个边缘点的梯度响应值,计算所述待检测图像的清晰度,包括:
当所述边缘点的数量不小于所述边缘点数量阈值时,根据所述边缘点的集合和每个边缘点的梯度响应值,计算所述待检测图像的清晰度。
4.根据权利要求1所述的图像质量的检测方法,其特征在于,当所述待检测图像为双目图像时,所述校正偏差检测,包括:
获取左目图像和右目图像;
通过FAST算法提取所述左目图像的关键点;
根据所述左目图像的关键点,对所述右目图像进行关键点匹配,将匹配成功的关键点对确定为校正质量检测点对;
计算每个校正质量检测点对的偏差量,并根据每个校正质量检测点对的偏差量,确定平均偏差;
将所述平均偏差与第五预设阈值进行比较,若所述平均偏差大于所述第五预设阈值,则确定所述左目图像与所述右目图像校正错误。
5.一种图像质量的检测装置,其特征在于,该装置包括:
获取模块,用于获取待检测图像;
处理模块,用于对所述待检测图像进行灰度化处理;
异常检测模块,用于对灰度化处理后的待检测图像进行异常检测,确定检测结果;所述异常检测包括亮度异常检测、失焦检测及校正偏差检测;
所述异常检测模块,具体用于:
将所述灰度化处理后的待检测图像进行分块,得到多个图片块;
对每个图片块进行亮度异常检测,确定所述每个图片块的检测结果;所述检测结果包括图像过亮、图像过暗和图像正常;
根据每个图片块的检测结果,分别确定图像过亮的第一图片块数量和图像过暗的第二图片块数量;
将所述第一图片块数量和所述第二图片块数量分别与对应的预设阈值进行比较;
当所述第一图片块数量大于对应的预设阈值时,确定所述待检测图像过曝;当所述第二图片块数量大于对应的预设阈值时,确定所述待检测图像被遮挡;否则确定所述待检测图像正常;
所述异常检测模块,还用于:
根据所述灰度化处理后的待检测图像,提取每个图片块的灰度值;
基于每个图片块的灰度值,计算所述每个图片块的平均亮度和方差;
将平均亮度的绝对值与方差的开方作商,计算亮度异常指标;
根据所述平均亮度和所述亮度异常指标,确定所述每个图片块的检测结果;
所述异常检测模块,还用于:
将所述亮度异常指标与第二预设阈值进行比较;
当所述亮度异常指标大于所述第二预设阈值时,将所述平均亮度与第三预设阈值进行比较,当所述平均亮度大于所述第三预设阈值时,确定所述检测结果为图像过亮;当所述平均亮度小于所述第三预设阈值时,确定所述检测结果为图像过暗;
当所述亮度异常指标不大于所述第二预设阈值时,确定所述检测结果为图像正常。
6.一种计算机设备,包括存储器、处理器以及存储在存储器上并可再处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-4中任一项所述的方法。
7.一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序用于:
所述计算机程序被处理器执行时实现如权利要求1-4中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811545090.7A CN111340749B (zh) | 2018-12-17 | 2018-12-17 | 图像质量的检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811545090.7A CN111340749B (zh) | 2018-12-17 | 2018-12-17 | 图像质量的检测方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111340749A CN111340749A (zh) | 2020-06-26 |
CN111340749B true CN111340749B (zh) | 2023-08-29 |
Family
ID=71181282
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811545090.7A Active CN111340749B (zh) | 2018-12-17 | 2018-12-17 | 图像质量的检测方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111340749B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111739110B (zh) * | 2020-08-07 | 2020-11-27 | 北京美摄网络科技有限公司 | 一种图像过暗或过曝检测方法及装置 |
CN113129264B (zh) * | 2021-03-17 | 2024-07-26 | 联想(北京)有限公司 | 一种图像处理方法及装置 |
CN113301324B (zh) * | 2021-04-30 | 2023-01-20 | 重庆紫光华山智安科技有限公司 | 基于摄像装置的虚焦检测方法、装置、设备及介质 |
CN113379700B (zh) * | 2021-06-08 | 2022-11-25 | 展讯通信(上海)有限公司 | 图像质量的检测方法、系统、设备及介质 |
CN113643266B (zh) * | 2021-08-20 | 2024-04-05 | 百度在线网络技术(北京)有限公司 | 图像检测方法、装置及电子设备 |
WO2023184460A1 (zh) * | 2022-03-31 | 2023-10-05 | 华为技术有限公司 | 一种失焦检测方法以及相关装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102421008A (zh) * | 2011-12-07 | 2012-04-18 | 浙江捷尚视觉科技有限公司 | 视频质量智能检测系统 |
CN107071398A (zh) * | 2015-12-10 | 2017-08-18 | 青岛海信网络科技股份有限公司 | 一种视频质量诊断方法和系统 |
CN107680059A (zh) * | 2017-09-30 | 2018-02-09 | 努比亚技术有限公司 | 一种图像校正的判断方法、终端及计算机可读存储介质 |
CN108346149A (zh) * | 2018-03-02 | 2018-07-31 | 北京郁金香伙伴科技有限公司 | 图像检测、处理方法、装置及终端 |
CN108830197A (zh) * | 2018-05-31 | 2018-11-16 | 平安医疗科技有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6415066B2 (ja) * | 2014-03-20 | 2018-10-31 | キヤノン株式会社 | 情報処理装置、情報処理方法、位置姿勢推定装置、ロボットシステム |
-
2018
- 2018-12-17 CN CN201811545090.7A patent/CN111340749B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102421008A (zh) * | 2011-12-07 | 2012-04-18 | 浙江捷尚视觉科技有限公司 | 视频质量智能检测系统 |
CN107071398A (zh) * | 2015-12-10 | 2017-08-18 | 青岛海信网络科技股份有限公司 | 一种视频质量诊断方法和系统 |
CN107680059A (zh) * | 2017-09-30 | 2018-02-09 | 努比亚技术有限公司 | 一种图像校正的判断方法、终端及计算机可读存储介质 |
CN108346149A (zh) * | 2018-03-02 | 2018-07-31 | 北京郁金香伙伴科技有限公司 | 图像检测、处理方法、装置及终端 |
CN108830197A (zh) * | 2018-05-31 | 2018-11-16 | 平安医疗科技有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111340749A (zh) | 2020-06-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111340749B (zh) | 图像质量的检测方法、装置、设备及存储介质 | |
US11748894B2 (en) | Video stabilization method and apparatus and non-transitory computer-readable medium | |
US9070042B2 (en) | Image processing apparatus, image processing method, and program thereof | |
CN108830873B (zh) | 深度图像物体边缘提取方法、装置、介质及计算机设备 | |
CN107146200B (zh) | 一种基于图像拼接质量评价的无人机遥感图像拼接方法 | |
US20150279021A1 (en) | Video object tracking in traffic monitoring | |
CN110570435B (zh) | 用于对车辆损伤图像进行损伤分割的方法及装置 | |
AU2016355215A1 (en) | Methods and systems for large-scale determination of RGBD camera poses | |
US20150332480A1 (en) | Method for superpixel life cycle management | |
US10249046B2 (en) | Method and apparatus for object tracking and segmentation via background tracking | |
CN111383252B (zh) | 多相机目标追踪方法、系统、装置及存储介质 | |
CN108010059B (zh) | 电子防抖算法的性能分析方法及装置 | |
CN107578424B (zh) | 一种基于时空分类的动态背景差分检测方法、系统及装置 | |
CN111383204A (zh) | 视频图像融合方法、融合装置、全景监控系统及存储介质 | |
CN112991374A (zh) | 基于Canny算法的边缘增强方法、装置、设备及存储介质 | |
WO2024016632A1 (zh) | 亮点定位方法、亮点定位装置、电子设备及存储介质 | |
CN116129195A (zh) | 图像质量评价装置、方法、电子设备和存储介质 | |
US20160035107A1 (en) | Moving object detection | |
CN110658918B (zh) | 用于视频眼镜的眼球追踪相机的定位方法、设备及介质 | |
CN112435278B (zh) | 一种基于动态目标检测的视觉slam方法及装置 | |
CN112200775A (zh) | 图像清晰度检测方法、装置、电子设备及存储介质 | |
CN112991419B (zh) | 视差数据生成方法、装置、计算机设备及存储介质 | |
CN115249024A (zh) | 条码识别方法、装置、存储介质及计算机设备 | |
CN114359183A (zh) | 图像质量评估方法及设备、镜头遮挡的确定方法 | |
CN113628192A (zh) | 图像模糊检测方法、装置、设备、存储介质及程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20210716 Address after: 518063 5th floor, block B, building 1, software industry base, Yuehai street, Nanshan District, Shenzhen City, Guangdong Province Applicant after: Fengyi Technology (Shenzhen) Co.,Ltd. Address before: 518061 Intersection of Xuefu Road (south) and Baishi Road (east) in Nanshan District, Shenzhen City, Guangdong Province, 6-13 floors, Block B, Shenzhen Software Industry Base Applicant before: SF TECHNOLOGY Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |