CN115049658B - Rgb-d相机质量检测方法、电子设备及存储介质 - Google Patents
Rgb-d相机质量检测方法、电子设备及存储介质 Download PDFInfo
- Publication number
- CN115049658B CN115049658B CN202210971370.4A CN202210971370A CN115049658B CN 115049658 B CN115049658 B CN 115049658B CN 202210971370 A CN202210971370 A CN 202210971370A CN 115049658 B CN115049658 B CN 115049658B
- Authority
- CN
- China
- Prior art keywords
- image
- color
- depth
- value
- rgb
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/02—Diagnosis, testing or measuring for television systems or their details for colour television signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20052—Discrete cosine transform [DCT]
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
本申请实施例涉及图像处理领域,公开了一种RGB‑D相机质量检测方法、电子设备及存储介质。本申请的RGB‑D相机质量检测方法,包括:通过目标RGB‑D相机获取彩色图、红外图和深度图,其中所述彩色图、所述红外图和所述深度图均通过所述目标RGB‑D相机拍摄预设的测试板获取;分别获取针对所述彩色图的第一质量指标、针对所述红外图的第二质量指标以及针对所述深度图的第三质量指标;当所述第一质量指标、所述第二质量指标、所述第三质量指标均满足预设的条件时,所述目标RGB‑D相机质量达标。本申请通过多个指标来全方位、定量地检测RGB‑D相机的质量,速度快、准确度高。
Description
技术领域
本申请实施例涉及图像处理领域,特别涉及一种RGB-D相机质量检测方法、电子设备及存储介质。
背景技术
通过RGB-D相机可以获取彩色图、红外图和深度图,目前对各种类型RGB-D相机进行质量检测,各厂家都有不同的标准。但是批量生产时对RGB-D相机质量的把控还是通过简陋的标准色卡来判断彩色图是否正常、获取深度图的深度值并判断其是否准确以此来确定RGB-D相机的质量,这种方法时间长且准确度低。
发明内容
本申请实施方式的目的在于提供一种RGB-D相机质量检测方法、电子设备及存储介质,通过多个指标来全方位、定量地检测RGB-D相机的质量,速度快、准确度高。
为解决上述技术问题,本申请的实施方式提供了一种RGB-D相机质量检测方法,包括:通过目标RGB-D相机获取彩色图、红外图和深度图,其中所述彩色图、所述红外图和所述深度图均通过所述目标RGB-D相机拍摄预设的测试板获取;分别获取针对所述彩色图的第一质量指标、针对所述红外图的第二质量指标以及针对所述深度图的第三质量指标;当所述第一质量指标、所述第二质量指标、所述第三质量指标均满足预设的条件时,所述目标RGB-D相机质量达标;其中,所述第一质量指标包括以下之一或其任意组合:偏色度、清晰度、亮度、畸变度、所述彩色图和所述红外图的对齐误差、所述彩色图和所述深度图的对齐误差;所述第二质量指标包括以下之一或其任意组合:清晰度、亮度、畸变度、所述彩色图和所述红外图的对齐误差、所述彩色图和所述深度图的对齐误差;第三质量指标包括以下之一或其任意组合:深度平面精度、空洞率、所述深度图和所述彩色图的对齐误差、所述红外图和所述深度图的对齐误差。
本申请的实施方式还提供了一种电子设备,包括:至少一个处理器;以及,与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行如上述实施方式提及的RGB-D相机质量检测方法。
本申请的实施方式还提供了一种计算机可读存储介质,存储有计算机程序,计算机程序被处理器执行时实现上述实施方式提及的RGB-D相机质量检测方法。
本申请实施方式提供的RGB-D相机质量检测方法、电子设备及存储介质,通过对预设的测试板进行拍摄获取测试板的彩色图、红外图、和深度图,然后分别获取彩色图的第一质量指标、红外图的第二质量指标和深度图的第三质量指标集,根据每个质量指标中的一个或多个指标对RGB-D相机拍摄彩色图、红外图、深度图的质量进行评价,以此来衡量RGB-D相机的质量,当指标集中的指标值均满足预设的条件时,则认为该RGB-D相机质量达标。本申请通过多个指标对RGB-D相机的各个方面进行了全方位的衡量,能够定量地检测RGB-D相机成像质量的好坏程度,速度快且准确度高。
另外,本申请实施方式提供的RGB-D相机质量检测方法,所述测试板的表面包括:用于检测所述偏色度的第一图像块,所述第一图像块至少包括红色图像、绿色图像和蓝色图像;所述偏色度通过以下步骤获取:在所述彩色图中,分别计算所述测试板表面的第一图像块对应的图像区域中红色图像区域、绿色图像区域、蓝色图像区域的三通道灰度平均值;根据所述红色图像区域的三通道灰度平均值、所述绿色图像区域的三通道灰度平均值和所述蓝色图像区域的三通道灰度平均值计算得到红色值、绿色值和蓝色值;根据所述红色值、所述绿色值和所述蓝色值计算得到红色偏色度、绿色偏色度和蓝色偏色度,并将所述红色偏色度、所述绿色偏色度和所述蓝色偏色度组合得到彩色图的偏色度。本申请通过红色偏色度、绿色偏色度和蓝色偏色度对彩色图的偏色度进行全方位评价,准确可靠。
另外,本申请实施方式提供的RGB-D相机质量检测方法,所述测试板的表面包括:用于检测所述清晰度的图像条带,所述图像条带包括间隔分布的多个黑色条带和多个白色条带,多个所述黑色条带的条带宽度均不同,多个所述白色条带的条带宽度均相等;所述清晰度通过以下步骤获取:从目标图像中提取出多个黑色条带图像区域,其中所述目标图像为所述彩色图和/或所述红外图;对多个所述黑色条带图像区域分别进行离散余弦变换,得到每个所述黑色条带图像区域对应的能量图谱,并获取每个所述能量图谱的直流系数;当所述能量图谱的直流系数小于预设的能量阈值时,则获取所述能量图谱对应的黑色条带图像区域在所述测试板上对应的黑色条带的条带宽度,并将所述条带宽度作为所述目标图像的清晰度。本申请通过对黑色条带图像区域进行离散余弦变换获取能量图谱,通过能量图谱与预设的能量阈值判断能够辨别的黑色条带的宽度,如此能够准确且定量地对RGB-D相机的解析度能力进行衡量。
另外,本申请实施方式提供的RGB-D相机质量检测方法,所述测试板的表面包括:用于检测亮度的第二图像块,所述第二图像块至少包括黑色图像、白色图像和灰色图像;所述亮度通过以下步骤获取:在目标图像中,分别提取所述测试板表面的第二图像块对应的图像区域中黑色图像区域、白色图像区域和灰色图像区域,其中所述目标图像为所述红外图和/或所述彩色图;分别计算黑色图像区域、白色图像区域和灰色图像区域的灰度平均值,得到黑色值、白色值和灰色值,并将所述黑色值、所述白色值和所述灰色值组合得到目标图像的亮度。由于图像亮度是指画面的明亮程度,是从白色表面到黑色表面的感觉连续体,因此本申请通过黑色值、白色值和灰色值三个色值来衡量图像的亮度,避免单一色值计算图像亮度时的不准确。
另外,本申请实施方式提供的RGB-D相机质量检测方法,所述测试板的表面包括:用于检测深度图质量的立体图像块,所述立体图像块包括高度不同的多个色块;所述深度平面精度通过以下步骤获取:从所述深度图中提取出立体图像块区域,其中所述立体图像块区域包括多个子图像区域,所述子图像区域为高度不同的多个色块对应的图像区域;分别计算每个所述子图像区域深度值的平均值和深度值的标准差;根据每个所述子图像区域深度值的平均值和深度值的标准差计算得到深度图的深度平面精度。本申请通过不同子图像区域深度值的平均值和标准差来计算深度图的深度平面精度,简单、快速。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明,这些示例性说明并不构成对实施例的限定,附图中具有相同参考数字标号的元件表示为类似的元件,除非有特别申明,附图中的图不构成比例限制。
图1是本申请的实施方式提供的RGB-D相机质量检测方法的流程图;
图2是本申请的实施方式提供的一种测试板;
图3是本申请的实施方式的提供的电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合附图对本申请的各实施方式进行详细的阐述。然而,本领域的普通技术人员可以理解,在本申请各实施方式中,为了使读者更好地理解本申请而提出了许多技术细节。但是,即使没有这些技术细节和基于以下各实施方式的种种变化和修改,也可以实现本申请所要求保护的技术方案。
下面对本实施方式的RGB-D相机异常检测的实现细节进行举例说明。以下内容仅为方便理解而提供的实现细节,并非实施本方案的必须。
本申请的实施方式涉及一种RGB-D相机质量检测方法,如图1所示,包括:
步骤101,通过目标RGB-D相机获取彩色图、红外图和深度图,其中彩色图、红外图和深度图均通过目标RGB-D相机拍摄预设的测试板获取。
本实施例中,预设的测试板表面包括:用于检测偏色度的第一图像块、用于检测清晰度的图像条带、用于检测亮度的第二图像块和用于检测深度图质量的立体图像块。
第一图像块至少包括红色图像、绿色图像和蓝色图像;图像条带包括间隔分布的多个黑色条带和多个白色条带,多个黑色条带的条带宽度均不同,多个白色条带的条带宽度均相等;第二图像块至少包括黑色图像、白色图像和灰色图像;立体图像块包括高度不同的多个色块。
其中,测试板的红色图像、绿色图像、蓝色图像用于计算偏色度;测试板的黑白间隔条带用来计算清晰度;测试板的黑色图像、白色图像、灰色图像用来计算亮度;测试板的立体图像块用来计算深度平面精度、空洞率。
值得一提的是,深色物体(尤其是黑色物体)对可见光的吸收能力非常强,这导致投射在黑色物体上的可见光无法返回,导致无法测量深色物体的深度。因此,立体图像块的颜色最好设置为浅色。优选的,将不同高度的色块设置为白色块和灰色块,如此避免相机以外的因素对深度图造成的干扰,提高RGB-D相机检测的准确度。将立体图像块设置为灰色还可以测试相机能否对灰色区域进行正常恢复。
需要说明的是,本实施例中测试板表面的红色图像、绿色图像、蓝色图像、黑色图像、立体图像块、黑白间隔条带中各部分的形状、尺寸、数量、在测试板中的位置可以根据拍摄环境、测试板规格、计算量等检测条件和检测需求自行调整设置,此处不做限制。比如:色块的形状可以是圆形、三角形、矩形等。测试板上图像块的颜色除以上颜色外还可以设置其他颜色。
其中,图像条带中多条黑色条带的条带宽度均不相等,排列时可以从测试板中心至测试板外侧条带宽度依次减小,也可以从测试板中心至测试板外侧条带宽度依次增大,还可以将条带宽度不同的黑色条带无规则乱序排列。黑色条带的排列方式可以根据检测需求自行设置。立体图像块包括高度不同的多个色块,色块排列时可以按照高度顺时针增长进行排列,也可以按照高度顺时针降低进行排列,还可以将高度不同的色块无规则排布。
具体地,以图2所示的测试板为例,红色块、绿色块、蓝色块和黑色块为矩形且位于测试板四个顶点位置处,黑白间隔带有4个,分别位于测试板4个边位置处,测试板中间为高低不等的灰色块和白色块,其按照顺时针等高增长的规律排列,即左上角灰色块高度为d1,右上角白色块高度为d1+d2,右下角灰色块高度d1+2d2,左下角白色块高度为d1+3d2,d2为按照顺时针等高增长的规律排列的两个相邻色块之间的高度差。
当然,图2所示的测试板只是本申请的测试板中的一个例子,测试板表面的图案可以是任何样式,只要包含红色图像、绿色图像、蓝色图像、黑色图像、图像条带和图像立体块这些元素即可,具体这些要素的数量、位置、尺寸和形状可以有多种设计,其均在本申请的保护范围内。
步骤102,分别获取针对彩色图的第一质量指标、针对红外图的第二质量指标以及针对深度图的第三质量指标。
具体地说,第一质量指标包括以下之一或其任意组合:偏色度、清晰度、亮度、畸变度、彩色图和红外图的对齐误差、彩色图和深度图的对齐误差;所述第二质量指标包括以下之一或其任意组合:清晰度、亮度、畸变度、彩色图和红外图的对齐误差、彩色图和深度图的对齐误差;第三质量指标包括以下之一或其任意组合:深度平面精度、空洞率、深度图和彩色图的对齐误差、红外图和深度图的对齐误差。
在一实施例中,所述偏色度通过以下步骤获取:在彩色图中,分别计算测试板表面的第一图像块对应的图像区域中红色图像区域、绿色图像区域、蓝色图像区域的三通道灰度平均值;根据红色块图像区域的三通道灰度平均值、绿色块图像区域的三通道灰度平均值和蓝色块图像区域的三通道灰度平均值计算得到红色值、绿色值和蓝色值;根据红色值、绿色值和蓝色值计算得到红色偏色度、绿色偏色度和蓝色偏色度,并将红色偏色度、绿色偏色度和蓝色偏色度组合得到彩色图的偏色度。
具体地说,在计算偏色度时,对于彩色图红色图像区域,获取该区域中每一个像素点的灰度值(包括R、G、B三个通道的灰度值),然后计算所有像素点R通道灰度值的平均值r1、G通道灰度值的平均值g1、B通道灰度值的平均值b1,得到红色图像区域的三通道灰度平均值mr(r1,g1,b1),类似地,计算绿色图像区域中所有像素点R通道灰度值的平均值r2、G通道灰度值的平均值g2、B通道灰度值的平均值b2,得到绿色图像区域的三通道灰度平均值mg(r2,g2,b2),计算蓝色图像区域中所有像素点R通道灰度值的平均值r3、G通道灰度值的平均值g3、B通道灰度值的平均值b3,得到蓝色图像区域的三通道灰度平均值mb(r3,g3,b3)。进一步地,对于红色图像区域的三通道灰度平均值mr(r1,g1,b1)、绿色图像区域的三通道灰度平均值mg(r2,g2,b2)和蓝色图像区域的三通道灰度平均值mb(r3,g3,b3),再次对每个通道计算平均值得到红色值rm、绿色值gm和蓝色值bm,计算公式为rm=(r1+r2+r3)/3,gm=(g1+g2+g3)/3,bm=(b1+b2+b3)/3,最后根据红色值rm、绿色值gm和蓝色值bm计算得到红色偏色度er、绿色偏色度eg和蓝色偏色度eb,偏色度的计算公式具体如下:
其中,er、eg、eb分别表示红色偏色度、绿色偏色度和蓝色偏色度,rm、gm、bm分别表示红色值、绿色值和蓝色值。偏色度的绝对值越小,则彩色信息表达越正确。
在一实施例中,所述清晰度通过以下步骤获取:从目标图像中提取出多个黑色条带图像区域,其中所述目标图像为所述彩色图和/或所述红外图;对多个黑色条带图像区域分别进行离散余弦变换,得到每个黑色条带图像区域对应的能量图谱,并获取每个能量图谱的直流系数;当所述能量图谱的直流系数小于预设的能量阈值时,则获取所述能量图谱对应的黑色条带图像区域在所述测试板上对应的黑色条带的条带宽度,并将所述条带宽度作为所述目标图像的清晰度。
具体地说,在从目标图像中提取出多个黑色条带图像区域时,可以先从目标图像中确定出黑白条带图像区域,再从黑白条带图像区域提取出多个黑色条带图像区域。在提取图像区域时,可以检测图像关键点(比如角点),根据图像关键点的位置、测试板表面黑白间隔带设置的位置、黑色条带和白色条带的条带宽度比例关系提取出黑色条带图像区域。对于每一个黑色条带图像区域分别进行离散余弦变换(DCT for Discrete CosineTransform,DCT),将图像的像素信息从空域转为频域。DCT变换公式具体如下:
其中,f(i,j)为图像数据,i表示进行DCT变换的图像的像素点横坐标,j表示进行DCT变换的图像的像素点纵坐标,F(u,v)为DCT变换后的按列展开的浮点型数据,u表示图像经过DCT转换后的横坐标,v表示图像经过DCT变换后的纵坐标,c(u)和c(v)表示DCT变换的系数,N为图像行列数(DCT变换的图像一般要求为正方形,其行数和列数相同,对于不是方形的图像,用0补齐为方形后进行DCT变换)。需要说明的是,离散余弦变换具有很强的“能量集中”特性,即黑色图像像素值为0,白色图像像素值为255,如果该区域为全纯黑色,那么离散余弦变换后的值也为0,但由于受到RGB-D相机解析度和噪声的限制,黑色条带图像区域在DCT变换后会在图像起始位置(像素坐标(0,0)位置处,F(0,0)即为能量图谱的直流系数)聚集非0像素的能量,因此通过判断能量图谱的直流系数,即F(0,0)的值,是否小于预设的能量阈值来确定相机的清晰度。当能量图谱的直流系数大于预设的能量阈值时,认为RGB-D相机的解析度不足;当能量图谱的直流系数小于预设的能量阈值时,认为RGB-D相机的解析度达标,进一步,不同条带宽度的黑色条带意味着不同的解析度,能够辨别条带宽度越窄的黑色条带,则RGB-D相机的清晰度越高。
也就是说,当只有一个能量图谱的直流系数小于预设的能量阈值时,则该能量图谱对应的黑色条带图像区域在测试板上对应的黑色条带的条带宽度为目标图像的清晰度,即为该RGB-D相机的清晰度。当有多个能量图谱的直流系数均小于预设的能量阈值时,则获取多个能量图谱分别对应的黑色条带图像区域在测试板上分别对应的黑色条带的条带宽度,并将条带宽度的最小值作为目标图像的清晰度。
另外,在计算清晰度时可以同时对红外图和彩色图进行计算,也可以分别进行计算。当对彩色图进行清晰度计算之前,需要将彩色图转换为灰度图,即将三通道图像转换为单通道图像,转换公式如下:
Gray=R*0.299+G*0.587+B*0.114
其中,Gray表示转换后的灰度图的灰度值,R表示所述彩色图R通道的灰度值,G表示所述彩色图G通道的灰度值,B表示所述彩色图B通道的灰度值。
在一实施例中,所述亮度通过以下步骤获取:在目标图像中,分别提取测试板表面的第二图像块对应的图像区域中黑色图像区域、白色图像区域和灰色图像区域,其中所述目标图像为所述红外图和/或所述彩色图;分别计算黑色图像区域、白色图像区域和灰色图像区域的灰度平均值,得到黑色值、白色值和灰色值,并将所述黑色值、所述白色值和所述灰色值组合得到目标图像的亮度。
需要说明的是,由于图像亮度是指画面的明亮程度,是从白色表面到黑色表面的感觉连续体,因此本申请通过黑色值、白色值和灰色值三个色值来衡量图像的亮度,避免单一色值计算图像亮度时的不准确。
具体地说,从目标图像中提取黑色图像区域、白色图像区域和灰色图像区域,可以检测图像关键点(比如角点),根据图像关键点的位置、测试板表面黑色图像、白色图像和灰色图像设置的位置、尺寸等信息提取出黑色图像区域、白色图像区域和灰色图像区域。对于每一个图像区域计算其灰度平均值,得到黑色值、白色值和灰色值。当对彩色图进行亮度计算之前,需要将彩色图转换为灰度图,即将三通道图像转换为单通道图像,然后将彩色图中的黑色块图像区域所有像素点的灰度值求和并平均,得到黑色值。当然白色图像区域和灰色图像区域计算方法类似,即可得到白色值和灰色值。
在一实施例中,所述畸变度通过以下步骤获取:根据预设的角点检测算法和预设的直线检测算法,从目标图像中检测有效区域的顶点和有效区域的边缘线,其中所述目标图像为所述彩色图和/或所述红外图,所述有效区域为测试板表面所有色块组成的区域在所述目标图像中的对应区域;根据所述有效区域的顶点和有效区域的边缘线,确定所述边缘线的中心点坐标;根据所述中心点坐标和预设的中心点标准坐标,确定所述目标图像的畸变度。
具体地说,畸变度衡量的是RGB-D相机的红外图和彩色图受透镜制造精度以及组装工艺偏差导致的畸变失真误差,畸变主要有几何畸变、TV畸变等,几何畸变主要描述畸变图像中各像素点显示位置与它们在完美系统中所处位置之间的差距,即关注微观中各点的位置偏移情况,TV畸变主要描述方形边和中间边线之间的高度差,即关注宏观的矩形图像实质情况。本申请主要关注TV畸变,因此,本实施例从目标图像中检测有效区域的顶点和有效区域的边缘线,根据顶点和边缘线确定边缘线的中心点坐标;根据中心点坐标和预设的中心点标准坐标,确定目标图像的畸变度。当然,畸变包括x方向畸变和y方向畸变,一般情况下,TV畸变具有对称性,可以只需计算一个方向上的畸变即可,比如,畸变度为D=(x-x1)/x,x为预设的中心点标准坐标,x1为受畸变影响的目标图像中有效区域边缘线的中心点坐标。当然,也可以计算有效区域4个边的畸变度,然后求平均值得到更加准确的畸变度。
在一实施例中,所述深度平面精度通过以下步骤获取:从深度图中提取出立体图像块区域,其中立体图像块区域包括多个子图像区域,子图像区域为不同色块对应的块图像区域;分别计算每个子图像区域深度值的平均值和深度值的标准差;根据每个子图像区域深度值的平均值和深度值的标准差计算得到深度图的深度平面精度。
具体地说,从深度图中提取出立体图像块区域,并计算不同色块对应的图像区域深度值的平均值和标准差,对于任意一个子图像区域,若其平均值和标准差满足[mi-si,mi+si]∩[mi+j-si,mi+j+si]=Ø时,则第i个子图像区域在所述测试板上对应的色块的高度与第i+j个子图像区域在所述测试板上对应的色块的高度之差为深度图的深度平面精度,其中mi表示第i个子图像区域深度值的平均值,mi+j表示第i+j个子图像区域深度值的平均值,si表示第i个子图像区域深度值的标准差,i∈{1,2,…,n},j∈{1,2,…,n},n表示子图像区域的个数。
需要注意的是,当有多对子图像区域的深度值的平均值和标准差满足条件[mi-si,mi+si]∩[mi+j-si,mi+j+si]=Ø时,则将得到的多个高度差中的最小值作为深度图的深度平面精度。
在一实施例中,所述空洞率通过以下步骤获取:在所述深度图的立体图像块区域中确定深度无效点和所述深度无效点的数量,其中所述深度无效点为深度值超出预设的拍摄距离范围外的像素点;计算所述深度无效点的数量与所述深度图中所有像素点的数量的比值,得到深度图的空洞率。
具体地说,深度无效点指的是深度值在拍摄距离范围外的像素点,即拍摄距离为X,则深度值不在(X-d,X+d)范围内的像素点为深度无效点,其中d为预设的调节参数。
在一实施例中,对齐误差通过以下步骤获取:根据预设的角点检测算法分别获取第一目标图像的多个角点和第二目标图像的多个角点;其中当第一目标图像为所述彩色图时,第二目标图像为所述红外图或所述深度图,当所述第一目标图像为红外图时,第二目标图像为所述深度图;根据预设的图像匹配算法在所述第二目标图像中确定与所述第一目标图像的角点互为同名点的角点;计算互为同名点的角点的像素坐标差的平均值,得到第一目标图像和第二目标图像的对齐误差,其中所述对齐误差包括:x方向对齐误差和y方向对齐误差。
具体地说,角点检测算法可以是:基于灰度图像的角点检测、基于二值图像的角点检测、基于轮廓曲线的角点检测,图像匹配算法可以是平均绝对差算法(MAD)、绝对误差和算法(SAD)、误差平方和算法(SSD)、平均误差平和算法(MSD)、归一化积相关算法(NCC)、序贯相似性检测算法(SSDA)等这些图像匹配算法中的一种或多种组合。在第一目标图像中确定多个角点和多个角点的坐标A(xA,yA)、B(xB,yB)、C(xC,yC)、…等等,在第二目标图像中确定多个角点a(xa,ya)、b(xb,yb)、c(xc,yc)、…等等,然后确定第一目标图像和第二目标图像中互为同名点的两个角点,计算互为同名点的角点的像素坐标差的平均值,得到第一目标图像和第二目标图像的对齐误差,比如:有两对同名点,A(xA,yA)和a(xa,ya)互为同名点、B(xB,yB)和b(xb,yb)互为同名点,则x方向的对齐误差为Ex=[(xA—xa)+(xB—xb)]/2,y方向的对齐误差计算方法类似。
步骤103,当第一质量指标、第二质量指标、第三质量指标均满足预设的条件时,目标RGB-D相机质量达标。
本实施例中,偏色度的绝对值越小,说明目标RGB-D相机表达彩色信息越正确。清晰度值越小,说明目标RGB-D相机中的红外相机和彩色相机解析度能力越强,即清晰度越高。图像亮度包括了黑色值、白色值和灰色值,这三个色值均在预设的黑色值范围内、预设的白色范围值内和预设的灰色值范围内时,说明目标RGB-D相机能正确地表示真实世界中从太阳光直射到最暗的阴影这样大的范围亮度。畸变度的值越小,则说明目标RGB-D相机畸变失真误差越小。深度平面精度的值越大,说明目标RGB-D相机的深度图在景深方向的解析度越好。空洞率越小,则说明目标RGB-D相机的深度图质量越高。对齐误差越小,则说明图像数据受环境温度、器件组装等原因造成的偏差越小。
也就是说,对于不同类型、不同厂家的RGB-D相机,可以为质量指标中的每一个指标设置对应的判断标准(阈值、数值范围等)。当所有指标均满足对应的判断标准时,认为该RGB-D相机质量达标。另外,对于同一RGB-D相机在不同场景下使用,用户对质量达标的定义也不同,因此可以根据用户需求,应用场景等对判断标准和质量指标的具体内容进行自适应调节。
本申请实施方式提供的RGB-D相机质量检测方法,通过对预设的测试板进行拍摄获取测试板的彩色图、红外图、和深度图,然后分别获取彩色图的第一质量指标、红外图的第二质量指标、深度图的第三质量指标,根据多个指标对RGB-D相机拍摄彩色图、红外图、深度图的质量进行评价,以此来衡量RGB-D相机的质量,当多个指标均满足预设的条件时,则认为该RGB-D相机质量达标。本申请通过多个指标对RGB-D相机的各个方面进行了全方位的衡量,能够定量地检测RGB-D相机成像质量的好坏程度,速度快且准确度高。
上面各种方法的步骤划分,只是为了描述清楚,实现时可以合并为一个步骤或者对某些步骤进行拆分,分解为多个步骤,只要包括相同的逻辑关系,都在本专利的保护范围内;对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计,但不改变其算法和流程的核心设计都在该专利的保护范围内。
本申请的实施方式涉及一种电子设备,如图3所示,包括:
至少一个处理器301;以及,与至少一个处理器301通信连接的存储器302;其中,存储器302存储有可被至少一个处理器301执行的指令,指令被至少一个处理器301执行,以使至少一个处理器301能够执行如上述实施方式提及的RGB-D相机异常检测方法。
该电子设备包括:一个或多个处理器301以及存储器302,图3中以一个处理器301为例。处理器301、存储器302可以通过总线或者其他方式连接,图3中以通过总线连接为例。存储器302作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。处理器301通过运行存储在存储器302中的非易失性软件程序、指令以及模块,从而执行设备的各种功能应用以及数据处理,即实现上述RGB-D相机异常检测方法。
存储器302可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储选项列表等。此外,存储器302可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施方式中,存储器302可选包括相对于处理器301远程设置的存储器,这些远程存储器可以通过网络连接至外接设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
一个或者多个模块存储在存储器302中,当被一个或者多个处理器301执行时,执行上述任意实施方式中的RGB-D相机质量检测方法。
上述产品可执行本申请实施方式所提供的方法,具备执行方法相应的功能模块和有益效果,未在本实施方式中详尽描述的技术细节,可参见本申请实施方式所提供的方法。
本申请的实施方式涉及一种计算机可读存储介质,存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。
即,本领域技术人员可以理解,实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解,上述各实施方式是实现本申请的具体实施例,而在实际应用中,可以在形式上和细节上对其作各种改变,而不偏离本申请的精神和范围。
Claims (14)
1.一种RGB-D相机质量检测方法,其特征在于,包括:
通过目标RGB-D相机获取彩色图、红外图和深度图,其中所述彩色图、所述红外图和所述深度图均通过所述目标RGB-D相机拍摄预设的测试板获取;其中,所述测试板的表面包括:用于检测偏色度的第一图像块、用于检测清晰度的图像条带、用于检测亮度的第二图像块和用于检测深度图质量的立体图像块;所述第一图像块至少包括红色图像、绿色图像和蓝色图像,所述图像条带包括间隔分布的多个黑色条带和多个白色条带,多个所述黑色条带的条带宽度均不同,多个所述白色条带的条带宽度均相等,所述第二图像块至少包括黑色图像、白色图像和灰色图像,所述立体图像块包括高度不同的多个色块;
分别获取针对所述彩色图的第一质量指标、针对所述红外图的第二质量指标以及针对所述深度图的第三质量指标;
当所述第一质量指标、所述第二质量指标、所述第三质量指标均满足预设的条件时,所述目标RGB-D相机质量达标;
其中,所述第一质量指标包括:清晰度;所述第二质量指标包括以下之一或其任意组合:清晰度、亮度、畸变度;第三质量指标包括:空洞率;
所述清晰度通过以下步骤获取:
从目标图像中提取出多个黑色条带图像区域,其中所述目标图像为所述彩色图和/或所述红外图;
对多个所述黑色条带图像区域分别进行离散余弦变换,得到每个所述黑色条带图像区域对应的能量图谱,并获取每个所述能量图谱的直流系数;
当只有一个所述能量图谱的直流系数小于预设的能量阈值时,则获取所述能量图谱对应的黑色条带图像区域在所述测试板上对应的黑色条带的条带宽度,并将所述条带宽度作为所述目标图像的清晰度。
2.根据权利要求1所述的RGB-D相机质量检测方法,其特征在于,所述第一质量指标还包括以下之一或其任意组合:所述彩色图和所述红外图的对齐误差、所述彩色图和所述深度图的对齐误差、偏色度、亮度、畸变度;所述第二质量指标还包括:所述彩色图和所述红外图的对齐误差、所述红外图和所述深度图的对齐误差;所述第三质量指标还包括:所述深度图和所述彩色图的对齐误差、所述红外图和所述深度图的对齐误差。
3.根据权利要求2所述的RGB-D相机质量检测方法,其特征在于,所述偏色度通过以下步骤获取:
在所述彩色图中,分别计算所述测试板表面的第一图像块对应的图像区域中红色图像区域、绿色图像区域、蓝色图像区域的三通道灰度平均值;
根据所述红色图像区域的三通道灰度平均值、所述绿色图像区域的三通道灰度平均值和所述蓝色图像区域的三通道灰度平均值计算得到红色值、绿色值和蓝色值;
根据所述红色值、所述绿色值和所述蓝色值计算得到红色偏色度、绿色偏色度和蓝色偏色度,并将所述红色偏色度、所述绿色偏色度和所述蓝色偏色度组合得到所述彩色图的偏色度。
4.根据权利要求1所述的RGB-D相机质量检测方法,其特征在于,当多个所述能量图谱的直流系数均小于预设的能量阈值时,则获取多个所述能量图谱分别对应的黑色条带图像区域在所述测试板上分别对应的黑色条带的条带宽度,并将所述条带宽度的最小值作为所述目标图像的清晰度。
5.根据权利要求1所述的RGB-D相机质量检测方法,其特征在于,所述亮度通过以下步骤获取:
在目标图像中,分别提取所述测试板表面的第二图像块对应的图像区域中黑色图像区域、白色图像区域和灰色图像区域,其中所述目标图像为所述红外图和/或所述彩色图;
分别计算所述黑色图像区域、所述白色图像区域和所述灰色图像区域的灰度平均值,得到黑色值、白色值和灰色值,并将所述黑色值、所述白色值和所述灰色值组合得到所述目标图像的亮度。
6.根据权利要求1-5中任一项所述的RGB-D相机质量检测方法,其特征在于,当所述目标图像为所述彩色图时,在计算所述目标图像的清晰度或亮度之前,将所述彩色图转换为灰度图。
7.根据权利要求6所述的RGB-D相机质量检测方法,其特征在于,通过以下公式将所述彩色图转换为灰度图:
Gray=R*0.299+G*0.587+B*0.114
其中,Gray表示转换后所述灰度图的灰度值,R表示所述彩色图R通道的灰度值,G表示所述彩色图G通道的灰度值,B表示所述彩色图B通道的灰度值。
8.根据权利要求1-5中任一项所述的RGB-D相机质量检测方法,其特征在于,所述畸变度通过以下步骤获取:
根据预设的角点检测算法和预设的直线检测算法,从目标图像中检测有效区域的顶点和有效区域的边缘线,其中所述目标图像为所述彩色图和/或所述红外图,所述有效区域为测试板表面所有色块组成的区域在所述目标图像中的对应区域;
根据所述有效区域的顶点和所述有效区域的边缘线,确定所述边缘线的中心点坐标;
根据所述中心点坐标和预设的中心点标准坐标,确定所述目标图像的畸变度。
9.根据权利要求1-5中任一项所述的RGB-D相机质量检测方法,其特征在于,所述第三质量指标还包括:深度平面精度;
所述深度平面精度通过以下步骤获取:
从所述深度图中提取出立体图像块区域,其中所述立体图像块区域包括多个子图像区域,所述子图像区域为高度不同的多个色块对应的图像区域;
分别计算每个所述子图像区域深度值的平均值和深度值的标准差;
根据每个所述子图像区域深度值的平均值和深度值的标准差计算得到所述深度图的深度平面精度。
10.根据权利要求9所述的RGB-D相机质量检测方法,其特征在于,当所述子图像区域深度值的平均值和深度值的标准差满足公式[mi-si,mi+si]∩[mi+j-si,mi+j+si]=Ø时,则第i个所述子图像区域在所述测试板上对应的色块的高度与第i+j个所述子图像区域在所述测试板上对应的色块的高度之差为所述深度图的深度平面精度;
当有多对子图像区域的深度值的平均值和标准差满足条件[mi-si,mi+si]∩[mi+j-si,mi+j+si]=Ø时,则将得到的多个高度差中的最小值作为深度图的深度平面精度;
其中mi表示第i个所述子图像区域深度值的平均值,mi+j表示第i+j个所述子图像区域深度值的平均值,si表示第i个所述子图像区域深度值的标准差,i∈{1,2,…,n},i+j∈{1,2,…,n},n表示所述子图像区域的个数。
11.根据权利要求1所述的RGB-D相机质量检测方法,其特征在于,所述空洞率通过以下步骤获取:
在所述深度图的立体图像块区域中确定深度无效点和所述深度无效点的数量,其中所述深度无效点为深度值超出预设的拍摄距离范围外的像素点;
计算所述深度无效点的数量与所述深度图中所有像素点的数量的比值,得到所述深度图的空洞率。
12.根据权利要求2所述的RGB-D相机质量检测方法,其特征在于,所述对齐误差通过以下步骤获取:
根据预设的角点检测算法分别获取第一目标图像的多个角点和第二目标图像的多个角点;其中当所述第一目标图像为所述彩色图时,所述第二目标图像为所述红外图或所述深度图,当所述第一目标图像为所述红外图时,所述第二目标图像为所述深度图;
根据预设的图像匹配算法在所述第二目标图像中确定与所述第一目标图像的角点互为同名点的角点;
计算所述互为同名点的角点的像素坐标差的平均值,得到所述第一目标图像和所述第二目标图像的对齐误差,其中所述对齐误差包括:x方向对齐误差和y方向对齐误差。
13.一种电子设备,其特征在于,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至12中任一项所述的RGB-D相机质量检测方法。
14.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至12中任一项所述的RGB-D相机质量检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210971370.4A CN115049658B (zh) | 2022-08-15 | 2022-08-15 | Rgb-d相机质量检测方法、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210971370.4A CN115049658B (zh) | 2022-08-15 | 2022-08-15 | Rgb-d相机质量检测方法、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115049658A CN115049658A (zh) | 2022-09-13 |
CN115049658B true CN115049658B (zh) | 2022-12-16 |
Family
ID=83168263
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210971370.4A Active CN115049658B (zh) | 2022-08-15 | 2022-08-15 | Rgb-d相机质量检测方法、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115049658B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115442591B (zh) * | 2022-11-04 | 2023-03-24 | 合肥的卢深视科技有限公司 | 相机质量测试方法、系统、电子设备和存储介质 |
CN116418976B (zh) * | 2022-11-24 | 2023-12-12 | 北京的卢铭视科技有限公司 | 结构光相机的产测sdk授权方法、电子设备及存储介质 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE3929967A1 (de) * | 1989-09-08 | 1991-03-14 | Thomson Brandt Gmbh | Fernsehuebertragungssystem |
JP3517455B2 (ja) * | 1994-09-30 | 2004-04-12 | キヤノン株式会社 | 画像符号化方法及び装置 |
US20120056982A1 (en) * | 2010-09-08 | 2012-03-08 | Microsoft Corporation | Depth camera based on structured light and stereo vision |
US10848731B2 (en) * | 2012-02-24 | 2020-11-24 | Matterport, Inc. | Capturing and aligning panoramic image and depth data |
CN104469345B (zh) * | 2014-12-10 | 2016-05-11 | 北京理工大学 | 一种基于图像处理的视频故障诊断方法 |
CN108510496B (zh) * | 2018-04-09 | 2020-09-22 | 杭州电子科技大学 | 基于图像dct域的svd分解的模糊检测方法 |
CN108924544A (zh) * | 2018-06-29 | 2018-11-30 | 上海与德通讯技术有限公司 | 摄像头畸变测量方法与测试装置 |
CN109285140A (zh) * | 2018-07-27 | 2019-01-29 | 广东工业大学 | 一种印刷电路板图像配准评估方法 |
CN109040724B (zh) * | 2018-08-03 | 2021-07-09 | 信利光电股份有限公司 | 一种结构光投影器的光斑畸变检测方法、装置及可读存储介质 |
CN111402188A (zh) * | 2018-12-28 | 2020-07-10 | 浙江舜宇智能光学技术有限公司 | Tof摄像模组深度测量评价方法及其评价装置 |
CN110544233B (zh) * | 2019-07-30 | 2022-03-08 | 北京的卢深视科技有限公司 | 基于人脸识别应用的深度图像质量评价方法 |
CN110493595B (zh) * | 2019-09-30 | 2022-12-06 | 腾讯科技(深圳)有限公司 | 摄像头的检测方法和装置、存储介质及电子装置 |
CN112383772B (zh) * | 2020-11-20 | 2023-02-28 | 展讯通信(上海)有限公司 | 相机性能自动测试方法、装置、电子设备及存储介质 |
CN113242417B (zh) * | 2021-05-10 | 2022-09-13 | 中国人民解放军海军航空大学 | 标准差加权的色偏数字图像校正方法 |
CN113936316B (zh) * | 2021-10-14 | 2022-03-25 | 北京的卢深视科技有限公司 | Doe脱落检测方法、电子设备和计算机可读存储介质 |
CN113808135B (zh) * | 2021-11-19 | 2022-03-25 | 北京的卢深视科技有限公司 | 图像亮度异常检测方法、电子设备及存储介质 |
CN114283141A (zh) * | 2021-12-29 | 2022-04-05 | 上海肇观电子科技有限公司 | 用于评估深度图像质量的方法、装置、电子设备和介质 |
CN114862779A (zh) * | 2022-04-25 | 2022-08-05 | 合肥的卢深视科技有限公司 | 图像质量评价方法、电子设备及存储介质 |
-
2022
- 2022-08-15 CN CN202210971370.4A patent/CN115049658B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN115049658A (zh) | 2022-09-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115049658B (zh) | Rgb-d相机质量检测方法、电子设备及存储介质 | |
US12002233B2 (en) | Systems and methods for estimating depth and visibility from a reference viewpoint for pixels in a set of images captured from different viewpoints | |
CN108470334B (zh) | 一种采集屏幕亮度和色度的方法及装置 | |
US12094152B2 (en) | Method for fully automatically detecting chessboard corner points | |
CN108230397B (zh) | 多目摄像机标定与校正方法和装置、设备、程序和介质 | |
CN107507558B (zh) | 一种led显示屏的校正方法 | |
US7664315B2 (en) | Integrated image processor | |
US9111365B2 (en) | Edge-adaptive interpolation and noise filtering method, computer-readable recording medium, and portable terminal | |
CN109194954B (zh) | 鱼眼摄像头性能参数测试方法、装置、设备及可存储介质 | |
CN111163301B (zh) | 色彩调整方法、装置及计算机可读存储介质 | |
CN108257187B (zh) | 一种相机-投影仪系统标定方法 | |
CN110889874B (zh) | 一种双目相机标定结果的误差评估方法 | |
CN114187363A (zh) | 一种获取径向畸变参数值的方法、装置以及移动终端 | |
CN111429534B (zh) | 一种图像偏色矫正方法及装置 | |
CN112762896B (zh) | 一种大景深镜头相机水平度判定调整的装置及方法 | |
US20240265672A1 (en) | Image signal processor and method for processing image signal | |
CN118552540A (zh) | 一种图像检测方法、图像检测装置以及存储介质 | |
CN116071247A (zh) | 车辆阴影去除方法及系统 | |
CN116071408A (zh) | 红外图像配准方法、装置、介质及平行双光手持红外设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |