CN107347151B - 双目摄像头遮挡检测方法及装置 - Google Patents

双目摄像头遮挡检测方法及装置 Download PDF

Info

Publication number
CN107347151B
CN107347151B CN201610288457.6A CN201610288457A CN107347151B CN 107347151 B CN107347151 B CN 107347151B CN 201610288457 A CN201610288457 A CN 201610288457A CN 107347151 B CN107347151 B CN 107347151B
Authority
CN
China
Prior art keywords
block
rectangular grid
pixels
depth
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610288457.6A
Other languages
English (en)
Other versions
CN107347151A (zh
Inventor
邹超洋
贺永刚
万美君
朱豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang Black Shark Technology Co Ltd
Original Assignee
Nanchang Black Shark Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang Black Shark Technology Co Ltd filed Critical Nanchang Black Shark Technology Co Ltd
Priority to CN201610288457.6A priority Critical patent/CN107347151B/zh
Publication of CN107347151A publication Critical patent/CN107347151A/zh
Application granted granted Critical
Publication of CN107347151B publication Critical patent/CN107347151B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/02—Diagnosis, testing or measuring for television systems or their details for colour television signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种双目摄像头遮挡检测方法及装置包括：同时读取双目摄像头各一帧图像，采用模板匹配双视图图像的对应点，根据视差深度曲线表计算两幅图像之间的稠密深度图像；将所述两幅图像及所述深度图像缩放到目标尺寸；定义矩形格像素块尺寸，确定像素块个数，沿图像边沿依次对矩形格像素块编号；针对该帧图像，实时计算矩形格像素块的特征信息；判断每一个矩形格像素块涉及的特征信息是否处于指定阈值范围内；统计满足所有指定阈值条件的像素块个数，若所述像素块个数大于设定遮挡矩形格像素块阈值，则判定为遮挡；若所述像素块个数小于等于设定遮挡矩形格像素块阈值，则判定不遮挡。深度信息可有效抗干扰，提升检测准确度。

Description

双目摄像头遮挡检测方法及装置
技术领域
本发明实施例涉及拍摄遮挡检测方法及装置，尤其涉及一种双目摄像头遮挡检测的方法及装置。
背景技术
便携式移动设备已经成为人们日常生活中必不可少的一部分了，随着便携式移动设备的日益发展，带有拍摄功能的移动设备日趋完善，现在人们出行游玩，很少使用数码相机或者简易型相机，更多的人选择带拍摄功能的移动设备。但是，在使用此类设备时，往往会出现手指遮挡镜头的情况，从而导致拍摄出来的照片效果不佳。
近年来，行业内也有不少技术方案试图解决这个问题，例如，有些镜头遮挡检测的方法是通过摄像头获取场景RGB背景模型，通过前景和背景的差值来确定摄像头是否被遮挡。基于普通RGB摄像头的背景建模遮挡检测方案无法区分前景像素变化由镜头遮挡造成还是由场景目标运动所造成的，所以会导致检测准确率低的问题。
另，也有人提出采用深度摄像头遮挡检测的方法，通过深度摄像头提供的深度信息提升距离信息缺失带来的误检。但目前主流的深度摄像头深度信息获取距离普遍在0.5m以上，当目标拍摄物体距离摄像头小于0.5m，但并没有碰到摄像头时，会造成误检。
综上所述，无论是背景建模的方法还是基于特征分析的方法，目前都存在检测准确低或者漏检的情况，所以如何提供一种检测准确率高的摄像头遮挡检测的方法及装置是目前的问题。
发明内容
本发明的目的在于提供一种基于特征信息计算分析使检测准确率高，漏检率低的双目摄像头遮挡检测的方法及装置。
本发明提供一种双目摄像头遮挡检测方法，包括：S101：同时读取双目摄像头各一帧图像，采用模板匹配双视图图像的对应点，根据视差深度曲线表计算两幅图像之间的稠密深度图像；S102：将所述两幅图像及所述深度图像缩放到目标尺寸；定义矩形格像素块尺寸，确定像素块个数，沿图像边沿依次对矩形格像素块编号；S103：针对该帧图像，实时计算矩形格像素块的特征信息；S104：判断每一个矩形格像素块涉及的特征信息是否处于指定阈值范围内；S105：统计满足所有指定阈值条件的像素块个数，若所述像素块个数大于设定遮挡矩形格像素块阈值，则判定为遮挡；若所述像素块个数小于等于设定遮挡矩形格像素块阈值，则判定不遮挡。
优选地，所述S101中，所述视差深度曲线表为标定双目摄像头的视差与深度参数信息对应表，所述视差深度曲线表为预置表格。
优选地，所述视差深度曲线表的标定方法具体为：根据平行光轴结构双目测距原理depth＝B*f/p，标定深度depth和视差p关系曲线。其中depth表示的是双目摄像头公共视域范围内的像素点深度值，p表示的是对应点的视差，B表示的是平行光轴双目摄像头的基线长度，f表示的是焦距。
优选地，所述S102中，所述矩形格像素块包括方形像素块和长方形像素块，用于根据检测稳定性和精度的需求来设置对应的像素块形状。
优选地，在所述S103中，所述特征信息为灰阶宽度、清晰度、颜色变化率及深度均值。
优选地，所述S104中，具体为：判断每一个矩形格的灰度直方图对应的灰阶宽度值是否小于第一阈值，并记录状态数组A[N]；判断每一个矩形格的清晰度系数是否小于第二阈值，记录状态数组B[N]；判断每一个矩形格颜色变化率是否大于第三阈值，记录状态数组C[N]，判断每一个矩形格深度均值是否小于第四阈值，记录状态数组D[N]。
优选地，在所述S103中，所述特征信息为灰阶宽度、清晰度、肤色、边缘及深度均值。
优选地，所述S104中，具体为：判断每一个矩形格的灰度直方图对应的灰阶宽度值是否小于第一阈值，并记录状态数组A[N]；判断每一个矩形格的清晰度系数是否小于第二阈值，记录状态数组B[N]；判断每一个矩形格肤色区域面积是否大于第五阈值，记录状态数组E[N]，判断每一个矩形格区域边缘信息是否大于第六阈值，记录状态数组F[N]。
优选地，在所述S103及S104中，优先计算每一个矩形格像素块的同一种特征信息，对于不符合指定阈值范围内的矩形格像素块，标记为无效矩形格像素块，不再继续计算其他特征信息。
本发明还提供一种双目摄像头遮挡检测装置，包括：图像采集调整单元，同时读取双目摄像头各一帧图像，采用模板匹配双视图图像的对应点，根据视差深度曲线表计算两幅图像之间的稠密深度图像；图像预处理单元，将所述两幅图像及所述深度图像缩放到目标尺寸；定义矩形格像素块尺寸，确定像素块个数，沿图像边沿依次对矩形格像素块编号；图像计算单元，针对该帧图像，实时计算矩形格像素块的特征信息；图像分析单元，判断每一个矩形格像素块涉及的特征信息是否处于指定阈值范围内；图像处理单元，统计满足所有指定阈值条件的像素块个数，若所述像素块个数大于设定遮挡矩形格像素块阈值，则判定为遮挡；若所述像素块个数小于等于设定遮挡矩形格像素块阈值，则判定不遮挡。
优选地，所述视差深度曲线表为标定双目摄像头的视差与深度参数信息对应表，所述视差深度曲线表为预置表格。
优选地，所述图像预处理单元中的所述矩形格像素块包括方形像素块和长方形像素块，用于根据检测稳定性和精度的需求来设置对应的像素块形状。
优选地，所述图像计算单元中的所述特征信息为灰阶宽度、清晰度、颜色变化率及深度均值。
优选地，所述图像分析单元具体用于，判断每一个矩形格的灰度直方图对应的灰阶宽度值是否小于第一阈值，并记录状态数组A[N]；判断每一个矩形格的清晰度系数是否小于第二阈值，记录状态数组B[N]；判断每一个矩形格颜色变化率是否大于第三阈值，记录状态数组C[N]，判断每一个矩形格深度均值是否小于第四阈值，记录状态数组D[N]。
优选地，所述图像计算单元中的所述特征信息为灰阶宽度、清晰度、肤色、边缘及深度均值。
优选地，所述图像分析单元具体用于，判断每一个矩形格的灰度直方图对应的灰阶宽度值是否小于第一阈值，并记录状态数组A[N]；判断每一个矩形格的清晰度系数是否小于第二阈值，记录状态数组B[N]；判断每一个矩形格肤色区域面积是否大于第五阈值，记录状态数组E[N]，判断每一个矩形格区域边缘信息是否大于第六阈值，记录状态数组F[N]。
优选地，所述图像计算单元优先计算每一个矩形格像素块的同一种特征信息，所述图像分析单元对于不符合指定阈值范围内的矩形格像素块，标记为无效矩形格像素块，不再继续计算其他特征信息。
本发明的有益效果是，针对现有技术检测精度低和误检率高的现状，提出了一种有效的可实施的用于双摄像头结构的智能终端设备的摄像头遮挡检测方法。通过获取一帧图像，并采集边沿图片矩形格像素块的多种特征信息，并对这些特征信息进行计算分析后判定是否为遮挡，从而实现摄像头的遮挡检测。可适用于配有双目摄像头的移动终端设备，并实现双目摄像头同时进行遮挡检测；深度信息可有效抗干扰，提升检测准确度；仅检测边沿目标区域，方法简单高效，实现实时遮挡检测，适用于移动嵌入式平台和移动手持设备特别是智能手机拍照的无意识遮挡检测；所定义的特征直方图灰阶宽度能更好描述实际遮挡特征，结合矩形格像素块亮度均值和矩形格的清晰度系数，能很好适应高动态场景、全遮挡和部分遮挡场景，提升检测正确率；单帧图像即可实现检测，不依赖于连续视频图像帧信息，也不依赖于预存储信息。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明遮挡检测的方法流程示意图；
图2为本发明遮挡检测的装置示意图；
图3为本发明S102图像分块示意图。
附图标记：
S101～S105步骤
201图像采集调整单元 202图像预处理单元 203图像计算单元
204图像分析单元 205图像处理单元
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明遮挡检测的流程示意图，一种双目摄像头遮挡检测方法，包括：S101：同时读取双目摄像头一帧图像，采用模板匹配双视图图像的对应点，根据视差深度曲线表计算两幅图像之间的稠密深度图像；S102：将所述两幅图像及所述深度图像缩放到目标尺寸；定义矩形格像素块尺寸，确定像素块个数，沿图像边沿依次对矩形格像素块编号；本步骤中所述矩形格像素块包括方形像素块和长方形像素块，用于根据检测稳定性和精度的需求来设置对应形状尺寸的像素块。S103：针对该帧图像，实时计算矩形格像素块的特征信息；S104：判断每一个矩形格像素块涉及的特征信息是否处于指定阈值范围内；S105：统计满足所有指定阈值条件的像素块个数，若所述像素块个数大于设定遮挡矩形格像素块阈值，则判定为遮挡；若所述像素块个数小于等于设定遮挡矩形格像素块阈值，则判定不遮挡。
其中，所述视差深度曲线表为标定双目摄像头的视差与深度参数信息对应表，所述视差深度曲线表为预置表格。进一步地，所述视差深度曲线表的标定方法具体为：根据平行光轴结构双目测距原理depth＝B*f/p，标定深度depth和视差p关系曲线。其中depth表示的是双目摄像头公共视域范围内的像素点深度值，p表示的是对应点的视差，B表示的是平行光轴双目摄像头的基线长度，f表示的是焦距。具体操作步骤如下：
a.在目标场景中足够远的位置，垂直于摄像头光轴摆放带有标记信息棋盘格标定板，计算近似无穷远标定平面矩阵H；
b.在目标场景范围内按一定的距离间隔(例如5cm)，分别摆放带有标记信息的棋盘格标定板，通过步骤a中计算得到的H矩阵，将两幅图像映射到同一坐标系，记录标记点之间的视差像素值[pi]，记录深度对应关系数值[depthi,pi]，按照此方法拍摄多组数据。
c.将步骤b中的数据按照depth＝B*f/p函数关系进行插值拟合，得到完整的视差深度曲线查找表。
以上操作步骤仅为一个实例，本领域技术人员可知，任何根据本方法的步骤进行非创造性劳动的修改得到的新方法都在本发明保护范围内。
下文会主要阐述本发明的多个实施例，其中与前文所述的双目摄像头遮挡检测方法相同的部分不再赘述。主要针对不同实施例对应的不同步骤进行详细阐述。
实施例一
在所述步骤S102中，将双视图像和所述视差图同时缩放到目标尺寸，本实施例中优选地缩放到320*240。但是，为了便于图像计算，所述调整图像的像素值为30万像素以下即可。本领域技术人员可知，其他任何不需要通过劳动创造即可得出的变形都在本实施例涵盖范围内。
进一步地，本实施例中优选定义矩形格像素块大小为40*40，沿边沿共标记24个矩形格，计算两幅图像边沿像素块深度均值。具体地，深度均值计算方法：首先在左侧视图中，从第一个点pl开始扫描至右侧视图，找到对应的匹配点pr，然后用H矩阵映射pl到pl’，然后pr-pl’就是视差，视差查表可得到一个深度值，将该深度值填入稠密深度图对应的像素点位置；所述深度均值即为所有深度值的求和平均所得的数值。如图3所示。按边沿顺序对边沿矩形格依次编号，并存储各个像素块的基准坐标。所述矩形格像素定义尺寸为16像素的整数倍。本领域技术人员可知，其他任何不需要通过劳动创造即可得出的变形都在本实施例涵盖范围内。
在所述步骤S103中，本实施例中最低限度需要计算四个特征信息，即灰阶宽度、清晰度、颜色变化率及深度均值。
在所述步骤S104中，具体地，判断每一个矩形格的灰度直方图对应的灰阶宽度值是否小于第一阈值，并记录状态数组A[N]；判断每一个矩形格的清晰度系数是否小于第二阈值，记录状态数组B[N]；判断每一个矩形格颜色变化率是否大于第三阈值，记录状态数组C[N]，判断每一个矩形格深度均值是否小于第四阈值，记录状态数组D[N]。
在本实施例的一个优选例中，对于前述S103和S104的计算比对过程，具体如下：
定义灰阶宽度状态数组GrayScaleStatus[24]，即所述状态数组A[N]，针对前述平滑之后的亮度直方图，计算灰阶状态；
对第i个矩形格像素块：
1)根据直方图计算中值灰阶宽度Middle_Gray和底部灰阶宽度Bottom_Gray；其中中值灰阶宽度指的是直方图纵坐标中间部分值。在本实施例中，可选直方图最大值的中值，或者直接选取最大值的1/2或者1/3。设直方图最大值为G_max，本实施例取G_max/2作为中值灰阶，计算Histogram[k]＝G_max/2对应到直方图中的左右两个灰度值Gray_Left和Gray_Right，那么Middle_Gray＝Gray_Right-Gray_Left；同理计算底部灰阶宽度Bottom_Gray；
2)设定底部灰阶宽度阈值GrayBottomThred，即所述第一阈值；若底部灰阶宽度Bottom_Gray>底部灰阶宽度阈值GrayBottomThred，那么记录第i个像素块的灰阶状态GrayScaleStatus[i]＝false；
3)在本发明的另一个优选实施例中，还需设定中部灰阶宽度阈值GrayMiddleThred，若底部灰阶宽度Bottom_Gray<底部灰阶宽度阈值GrayBottomThred，并且中值灰阶宽度Middle_Gray>中部灰阶宽度阈值GrayMiddleThred，那么GrayScaleStatus[i]＝true，否则GrayScaleStatus[i]＝false。
定义清晰度状态数组ClarityStatus[24]，即所述状态数组B[N]；设定清晰度阈值ClarityThred，即，所述第二阈值。本实施例采用拉普拉斯清晰度，LapMatrix[9]＝{-1,-4,-1,-4,20,-4，-1,-4,-1}；
采用上述3*3模板卷积每一个矩形格像素块，得到每一个矩形格像素块的清晰度评价值，并归一化所有的清晰度评价值NormClarityValue[24]。对第i个矩形格像素块，若NormClarityValue[i]<ClarityThred,ClarityStatus[i]＝true,否则ClarityStatus[i]＝false。
以上所有对比结论中，判定为true即为符合遮挡条件，判定为false即为不符合遮挡条件。
定义颜色变化率状态数组，即所述状态数组C[N]。对矩形格像素块每一个像素点计算sum＝(R-G)*(R-G)+(R-B)*(R-B)+(B-G)*(B-G)，并求累加和得到颜色变化率。判断所述颜色变化率是否大于颜色变化率阈值，即第三阈值。若颜色变化率大于第三阈值，则判定符合遮挡条件，若颜色变化率小于或等于第三阈值，则判定不符合遮挡条件。记录所述符合遮挡条件的颜色状态数组，即状态数组C[N]。
定义深度均值状态数组，即所述状态数组D[N]。所述深度均值的算法前文已经阐述，此处不再赘述。判断所述深度均值是否小于深度均值阈值，即第四阈值。若深度均值小于第四阈值，则判定符合遮挡条件；若深度均值大于或等于第四阈值，则判定不符合遮挡条件。记录符合遮挡条件的深度均值状态数组，即状态数组D[N]。
在所述步骤S105中，进一步具体地，综合以上特征信息值，对所有的矩形格像素块，如果同时满足：灰阶宽度状态数组符合遮挡条件；清晰度状态数组符合遮挡条件；颜色变化率状态数组符合遮挡条件；深度均值状态数组符合遮挡条件。则判定当前矩形格像素块属于被遮挡像素块，统计所有的被遮挡像素块数目Num。
设定遮挡矩形格像素块阈值OcclusionGridNumThred，若所述被遮挡像素块数目Num>设定遮挡矩形格像素块阈值OcclusionGridNumThred，则判定摄像头被遮挡。所述设定遮挡矩形格像素块阈值可以为大于等于1的某个整数值。本领域技术人员可知，这个阈值的大小取决于检测率的高低，如果需要严格检测则定为1，如果需要放宽检测标准可以是大于1的任一一个整数。本领域技术人员可知，该设定遮挡矩形格像素块阈值的取值根据实际情况会有不同取值的考量，并不局限于某个固定数值。
实施例二
本发明的另一个优选实施例中，在所述步骤S103～所述步骤S105中，优先计算每一个矩形格像素块的同一种特征信息，即可以统一先检测所有矩形格像素块的灰阶宽度、清晰度、颜色变化率或深度均值特征信息。对于不符合指定阈值范围内的矩形格像素块，标记为无效矩形格像素块，不再继续计算其他特征信息。
本实施例中的计算顺序依次为深度均值、灰阶宽度、清晰度、颜色变化率为例。但是本领域技术人员可知，该顺序是可以打乱的，并不局限于保护顺序，只要是先计算同一种特征信息，然后把符合指定阈值范围的矩形格像素块整理分开后再依次计算其他特征信息都可以。这样的计算方法可以大大降低计算工作量，能更快的得出结论。具体算法可以参考实施例一中的相关参数算法，本实施例不再赘述。
实施例三
本实施例与实施例一的区别在于通过计算不同特征信息实现发明的目的。因此，与实施例一相同信息特征的算法在本实施例中不再赘述。
所述步骤S103中，本实施例中最低限度需要计算四个特征信息，即灰阶宽度、清晰度、肤色及边缘。在本发明的一个优选实施例中，还可以包括亮度均值。
在所述步骤S104中，具体地，判断每一个矩形格的灰度直方图对应的灰阶宽度值是否小于第一阈值，并记录状态数组A[N]；判断每一个矩形格的清晰度系数是否小于第二阈值，记录状态数组B[N]；判断每一个矩形格肤色区域面积是否大于第五阈值，记录状态数组E[N]，判断每一个矩形格区域边缘信息是否大于第六阈值，记录状态数组F[N]。还可以包括判断每一个矩形格的亮度均值是否小于第七阈值或者大于第八阈值，记录状态数组G[N]。本实施例中的N为根据实际情况区分的数量或者测定的结果总数。
本发明的一个优选实施例中，对于前述S103和S104的计算比对过程，具体如下：所述灰阶宽度及清晰度特征信息的计算对比过程见实施例一。
定义肤色面积状态数组SkinColorStatus[24]，即所述状态数组E[N]，所述设定肤色面积阈值SkinAreaThred，即所述第五阈值。检测矩形格像素块区域肤色区域面积占比。若第i个矩形格像素块肤色面积占比大于所设定阈值SkinAreaThred，则将对应的状态数组元素置位：SkinColorStatus[i]＝true；
定义边缘信息状态数组EdgeStatus[24]，即所述状态数组F[N]，设定边缘点像素之和的阈值EdgeThred，即所述第六阈值。检测矩形格像素块内边缘点数值之和。若第i个矩形格像素块边缘像素值之和大于所设定阈值EdgeThred，则将对应的状态数组元素置位：EdgeStatus[i]＝true；
对每一个矩形格，计算亮度直方图Histogram[256]，并对亮度直方图进行平滑处理，本实施例平滑方式描述如下：
Histogram[i]＝(Histogram[i]+Histogram[i+1]+Histogram[i-1])/3；即每一个灰度值取当前灰度值和前后邻近灰度值之和的均值。
定义亮度均值状态数组LightMeanStatus[24]，即所述状态数组G[N]。所述设定亮度均值阈值最高亮度均值阈值Light_High，即所述第八阈值和最低亮度均值阈值Light_Low，即所述第七阈值。计算第i个矩形格像素块的亮度均值LightMeanValue。若LightMeanValue<Light_Low或者LightMeanValue>Light_High，记录LightMeanStatus[i]＝false，否则LightMeanStatus[i]＝true。同时，在所述步骤S105中增加一个满足条件，即所述被遮挡像素块还需满足亮度均值状态数组LightMeanStatus[i]＝true。
以上所有对比结论中，判定为true即为符合遮挡条件，判定为false即为不符合遮挡条件。
在所述步骤S105中，进一步具体地，综合以上特征信息值，对所有的矩形格像素块，如果同时满足：灰阶宽度状态数组GrayScaleStatus[i]＝true；清晰度状态数组ClarityStatus[i]＝true；肤色面积状态数组SkinColorStatus[i]＝true；边缘信息状态数组EdgeStatus[i]＝true；则判定当前矩形格像素块属于被遮挡像素块，统计所有的被遮挡像素块数目Num。
本实施例的一个优选实施例中，所述被遮挡像素块还需满足亮度均值状态数组LightMeanStatus[i]＝true。
设定遮挡矩形格像素块阈值OcclusionGridNumThred，若所述被遮挡像素块数目Num>设定遮挡矩形格像素块阈值OcclusionGridNumThred，则判定摄像头被遮挡。所述设定遮挡矩形格像素块阈值可以为大于等于1的某个整数值。本领域技术人员可知，这个阈值的大小取决于检测率的高低，如果需要严格检测则定为1，如果需要放宽检测标准可以是大于1的任一一个整数。
实施例四
本发明的另一个优选实施例中，在所述步骤S103～所述步骤S105中，优先计算每一个矩形格像素块的同一种特征信息，即可以统一先检测所有矩形格像素块的灰阶宽度、亮度均值、清晰度、肤色或边缘特征信息。对于不符合指定阈值范围内的矩形格像素块，标记为无效矩形格像素块，不再继续计算其他特征信息。
本实施例中的计算顺序依次为亮度均值、灰阶宽度、清晰度、肤色面积及边缘信息为例。但是本领域技术人员可知，该顺序是可以打乱的，并不局限于保护顺序，只要是先计算同一种特征信息，然后把符合指定阈值范围的矩形格像素块整理分开后再依次计算其他特征信息都可以。这样的计算方法可以大大降低计算工作量，能更快的得出结论。具体的计算过程如下：
未遮挡像素块直方图及遮挡像素块直方图举例，对每一个矩形格，计算亮度直方图Histogram[256]，并对亮度直方图进行去噪和平滑处理。本实施例中的去噪方式采用定值去噪，设定阈值为10，小于10的灰度值对应的直方图数据置为0；
本实施例平滑方式为：Histogram[i]＝(Histogram[i]+Histogram[i+1]+Histogram[i-1])/3；即每一个灰度值取当前灰度值和前后邻近灰度值之和的均值。
定义亮度均值状态数组LightMeanStatus[24]，设定亮度均值阈值Light_High和Light_Low。计算第i个矩形格像素块的亮度均值LightMeanValue。若LightMeanValue<Light_Low或者LightMeanValue>Light_High，记录亮度均值状态数组LightMeanStatus[i]＝false，否则亮度均值状态数组LightMeanStatus[i]＝true。
针对上述步骤中满足亮度条件的目标矩形格像素块集合，执行如下操作：
定义灰阶宽度状态数组GrayScaleStatus[24]，计算灰阶状态；
对每一个满足亮度条件的矩形格像素块，进行如下操作：
1)根据直方图计算中值灰阶宽度Bottom_Gray；灰阶宽度取直方图数值等于1对应的左横截值和右横截值。计算Histogram[k]＝1对应到直方图中的左右两个灰度值Gray_Left和Gray_Right，那么Middle_Gray＝Gray_Right-Gray_Left；
2)设定底部灰阶宽度阈值GrayBottomThred，若Bottom_Gray<GrayBottomThred，那么记录该像素块的灰阶宽度状态数组GrayScaleStatus[i]＝true；
针对上述步骤中每一个满足灰阶宽度阈值条件的矩形格像素块，执行如下操作：
定义清晰度状态数组ClarityStatus[24]，设定清晰度阈值ClarityThred。采用拉普拉斯清晰度评价函数，LapMatrix[9]＝{-1,-4,-1,-4,20,-4，-1,-4,-1}；
采用上述3*3模板卷积每一个矩形格像素块，得到每一个矩形格像素块的清晰度评价值。对第i个矩形格像素块，若ClarityValue[i]<ClarityThred,清晰度状态数组ClarityStatus[i]＝true,否则清晰度状态数组ClarityStatus[i]＝false；
针对上述步骤中每一个满足清晰度阈值条件的矩形格像素块，执行如下操作：
定义肤色面积状态数组SkinColorStatus[24]，设定肤色面积阈值SkinAreaThred。对第i个像素块，计算肤色面积占比SkinColorArea[i]，若SkinColorArea[i]>SkinAreaThred，肤色面积状态数组SkinColorStatus[i]＝true；
针对上述步骤中每一个满足肤色阈值条件的矩形格像素块，执行如下操作：
定义边缘状态数组EdgeStatus[24]，设定边缘阈值EdgeThred。对第i个像素块，计算边缘数值之和EdgeInfo[i]，若EdgeInfo[i]>EdgeThred，边缘状态数组EdgeStatus[i]＝true。
最后，统计满足所有条件的遮挡像素块数目Num。设定遮挡矩形格像素块阈值OcclusionGridNumThred，若遮挡像素块数目Num>设定遮挡矩形格像素块阈值OcclusionGridNumThred，则判定摄像头被遮挡。所述设定遮挡矩形格像素块阈值可以为大于等于1的某个整数值。
实施例五
如图2所示，本发明遮挡检测装置，包括：图像采集调整单元201，同时读取双目摄像头各一帧图像，采用模板匹配双视图图像的对应点，根据视差深度曲线表计算两幅图像之间的稠密深度图像；图像预处理单元202，将所述两幅图像及所述深度图像缩放到目标尺寸；定义矩形格像素块尺寸，确定像素块个数，沿图像边沿依次对矩形格像素块编号；图像计算单元203，针对该帧图像，实时计算矩形格像素块的特征信息；图像分析单元204，判断每一个矩形格像素块涉及的特征信息是否处于指定阈值范围内；图像处理单元205，统计满足所有指定阈值条件的像素块个数，若所述像素块个数大于设定遮挡矩形格像素块阈值，则判定为遮挡；若所述像素块个数小于等于设定遮挡矩形格像素块阈值，则判定不遮挡。
在本发明实施例中，所述图像计算单元203中的特征信息具体为灰阶宽度、清晰度、颜色变化率及深度均值。所述图像分析单元204具体用于，判断每一个矩形格的灰度直方图对应的灰阶宽度值是否小于第一阈值，并记录状态数组A[N]；判断每一个矩形格的清晰度系数是否小于第二阈值，记录状态数组B[N]；判断每一个矩形格颜色变化率是否大于第三阈值，记录状态数组C[N]，判断每一个矩形格深度均值是否小于第四阈值，记录状态数组D[N]。其中，具体计算步骤前文中已经给出，故在此不再赘述。
进一步地本发明的另一个实施例中，所述图像计算单元203优先计算每一个矩形格像素块的同一种特征信息，所述图像分析单元204对于不符合指定阈值范围内的矩形格像素块，标记为无效矩形格像素块，不再继续计算其他特征信息。本实施例具体计算步骤也已经在前文给出，故在此不再赘述。
实施例六
与实施例五不同的是，所述图像计算单元203中的特征信息具体为灰阶宽度、清晰度、肤色及边缘。进一步优选地，还包括亮度均值。所述图像分析单元204具体用于，判断每一个矩形格的灰度直方图对应的灰阶宽度值是否小于第一阈值，并记录状态数组A[N]；判断每一个矩形格的清晰度系数是否小于第二阈值，记录状态数组B[N]；判断每一个矩形格肤色区域面积是否大于第五阈值，记录状态数组E[N]，判断每一个矩形格区域边缘信息是否大于第六阈值，记录状态数组F[N]。还可以包括判断每一个矩形格的亮度均值是否小于第七阈值或者大于第八阈值，记录状态数组G[N]。其中，具体计算步骤前文中已经给出，故在此不再赘述。
进一步地本发明的另一个实施例中，所述图像计算单元203优先计算每一个矩形格像素块的同一种特征信息，所述图像分析单元204对于不符合指定阈值范围内的矩形格像素块，标记为无效矩形格像素块，不再继续计算其他特征信息。本实施例具体计算步骤也已经在前文给出，故在此不再赘述。
本发明的一个操作实例中，可知本发明双目摄像头遮挡检测可用于手指遮挡移动终端设备背面的双目摄像头时，通过上述各单元执行各步骤，从而判定手指是否遮挡双目摄像头，若判定遮挡则发出遮挡警报。本领域技术人员可知，所述的遮挡警报可以是各种形式，不限于采用预览界面文字提示和语音提示等形式。
本发明的整体思路为通过获取一帧图像，并采集边沿图片矩形格像素块的多种特征信息，并对这些特征信息进行计算分析后判定是否为遮挡，从而实现摄像头的遮挡检测。如本发明步骤S101所示，单帧图像即可实现检测，不依赖于连续视频图像帧信息，也不依赖于预存储信息。如本发明步骤S102所示，本发明仅检测边沿目标区域，方法简单高效，实现实时遮挡检测，适用于移动嵌入式平台和移动手持设备特别是智能手机拍照的无意识遮挡检测。如本发明步骤S103所定义的特征直方图灰阶宽度能更好描述实际遮挡特征，结合矩形格像素块亮度均值和矩形格的清晰度系数，能很好适应高动态场景、全遮挡和部分遮挡场景，提升检测正确率。同时，本发明可适用于配有双目摄像头的移动终端设备，并实现双目摄像头同时进行遮挡检测；通过深度均值的检测，可检测与摄像头有一定距离(20cm以内)的遮挡物体，并实现遮挡报警。双目摄像头获得的深度信息可有效抗干扰，提升检测准确度。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (17)

1.一种双目摄像头遮挡检测方法，其特征在于，包括：
S101：同时读取双目摄像头各一帧图像，采用模板匹配双视图图像的对应点，根据视差深度曲线表计算两幅图像之间的稠密深度图像；
S102：将所述两幅图像及所述深度图像缩放到目标尺寸；定义矩形格像素块尺寸，确定像素块个数，沿图像边沿依次对矩形格像素块编号；
S103：针对该两幅图像，实时计算矩形格像素块的特征信息；
S104：判断每一个矩形格像素块涉及的特征信息是否处于指定阈值范围内；
S105：统计满足所有指定阈值条件的像素块个数，若所述像素块个数大于设定遮挡矩形格像素块阈值，则判定为遮挡；若所述像素块个数小于等于设定遮挡矩形格像素块阈值，则判定不遮挡。
2.根据权利要求1所述的遮挡检测方法，其特征在于，所述S101中，所述视差深度曲线表为标定双目摄像头的视差与深度参数信息对应表，所述视差深度曲线表为预置表格。
3.根据权利要求2所述的遮挡检测方法，其特征在于，所述视差深度曲线表的标定方法具体为：根据平行光轴结构双目测距原理depth＝B*f/p，标定深度depth和视差p关系曲线，其中depth表示的是双目摄像头公共视域范围内的像素点深度值，p表示的是对应点的视差，B表示的是平行光轴双目摄像头的基线长度，f表示的是焦距。
4.根据权利要求1所述的遮挡检测方法，其特征在于，所述S102中，所述矩形格像素块包括方形像素块和长方形像素块，用于根据检测稳定性和精度的需求来设置对应的像素块形状。
5.根据权利要求1所述的遮挡检测方法，其特征在于，在所述S103中，所述特征信息为灰阶宽度、清晰度、颜色变化率及深度均值。
6.根据权利要求5所述的遮挡检测方法，其特征在于，所述S104中，具体为：判断每一个矩形格的灰度直方图对应的灰阶宽度值是否小于第一阈值，并记录状态数组A[N]；判断每一个矩形格的清晰度系数是否小于第二阈值，记录状态数组B[N]；判断每一个矩形格颜色变化率是否大于第三阈值，记录状态数组C[N]，判断每一个矩形格深度均值是否小于第四阈值，记录状态数组D[N]。
7.根据权利要求1所述的遮挡检测方法，其特征在于，在所述S103中，所述特征信息为灰阶宽度、清晰度、肤色、边缘及深度均值。
8.根据权利要求7所述的遮挡检测方法，其特征在于，所述S104中，具体为：判断每一个矩形格的灰度直方图对应的灰阶宽度值是否小于第一阈值，并记录状态数组A[N]；判断每一个矩形格的清晰度系数是否小于第二阈值，记录状态数组B[N]；判断每一个矩形格肤色区域面积是否大于第五阈值，记录状态数组E[N]，判断每一个矩形格区域边缘信息是否大于第六阈值，记录状态数组F[N]。
9.根据权利要求1～8中任一种所述的遮挡检测方法，其特征在于，在所述S103及S104中，优先计算每一个矩形格像素块的同一种特征信息，对于不符合指定阈值范围内的矩形格像素块，标记为无效矩形格像素块，不再继续计算其他特征信息。
10.一种实施权利要求1所述的双目摄像头遮挡检测方法的装置，其特征在于，包括：
图像采集调整单元，同时读取双目摄像头各一帧图像，采用模板匹配双视图图像的对应点，根据视差深度曲线表计算两幅图像之间的稠密深度图像；
图像预处理单元，将所述两幅图像及所述深度图像缩放到目标尺寸；定义矩形格像素块尺寸，确定像素块个数，沿图像边沿依次对矩形格像素块编号；
图像计算单元，针对该两幅图像，实时计算矩形格像素块的特征信息；
图像分析单元，判断每一个矩形格像素块涉及的特征信息是否处于指定阈值范围内；
图像处理单元，统计满足所有指定阈值条件的像素块个数，若所述像素块个数大于设定遮挡矩形格像素块阈值，则判定为遮挡；若所述像素块个数小于等于设定遮挡矩形格像素块阈值，则判定不遮挡。
11.根据权利要求10所述的检测装置，其特征在于，所述视差深度曲线表为标定双目摄像头的视差与深度参数信息对应表，所述视差深度曲线表为预置表格。
12.根据权利要求10所述的检测装置，其特征在于，所述图像预处理单元中的所述矩形格像素块包括方形像素块和长方形像素块，用于根据检测稳定性和精度的需求来设置对应的像素块形状。
13.根据权利要求10所述的检测装置，其特征在于，所述图像计算单元中的所述特征信息为灰阶宽度、清晰度、颜色变化率及深度均值。
14.根据权利要求13所述的检测装置，其特征在于，所述图像分析单元具体用于，判断每一个矩形格的灰度直方图对应的灰阶宽度值是否小于第一阈值，并记录状态数组A[N]；判断每一个矩形格的清晰度系数是否小于第二阈值，记录状态数组B[N]；判断每一个矩形格颜色变化率是否大于第三阈值，记录状态数组C[N]，判断每一个矩形格深度均值是否小于第四阈值，记录状态数组D[N]。
15.根据权利要求10所述的检测装置，其特征在于，所述图像计算单元中的所述特征信息为灰阶宽度、清晰度、肤色、边缘及深度均值。
16.根据权利要求15所述的检测装置，其特征在于，所述图像分析单元具体用于，判断每一个矩形格的灰度直方图对应的灰阶宽度值是否小于第一阈值，并记录状态数组A[N]；判断每一个矩形格的清晰度系数是否小于第二阈值，记录状态数组B[N]；判断每一个矩形格肤色区域面积是否大于第五阈值，记录状态数组E[N]，判断每一个矩形格区域边缘信息是否大于第六阈值，记录状态数组F[N]。
17.根据权利要求10～16中任一种所述的检测装置，其特征在于，所述图像计算单元优先计算每一个矩形格像素块的同一种特征信息，所述图像分析单元对于不符合指定阈值范围内的矩形格像素块，标记为无效矩形格像素块，不再继续计算其他特征信息。
CN201610288457.6A 2016-05-04 2016-05-04 双目摄像头遮挡检测方法及装置 Active CN107347151B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610288457.6A CN107347151B (zh) 2016-05-04 2016-05-04 双目摄像头遮挡检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610288457.6A CN107347151B (zh) 2016-05-04 2016-05-04 双目摄像头遮挡检测方法及装置

Publications (2)

Publication Number Publication Date
CN107347151A CN107347151A (zh) 2017-11-14
CN107347151B true CN107347151B (zh) 2018-12-18

Family

ID=60253134

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610288457.6A Active CN107347151B (zh) 2016-05-04 2016-05-04 双目摄像头遮挡检测方法及装置

Country Status (1)

Country Link
CN (1) CN107347151B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3598389A1 (en) 2018-07-19 2020-01-22 Thomson Licensing Method for detecting occlusions in an image, corresponding device and computer program product
CN109269478A (zh) * 2018-10-24 2019-01-25 南京大学 一种基于双目视觉的集装箱码头场桥障碍物检测方法
CN111275658A (zh) * 2018-12-03 2020-06-12 北京嘀嘀无限科技发展有限公司 一种摄像头遮挡检测的方法和系统
CN109639896A (zh) * 2018-12-19 2019-04-16 Oppo广东移动通信有限公司 遮挡物检测方法、装置、存储介质及移动终端
CN112150534A (zh) * 2019-06-28 2020-12-29 深圳市商汤科技有限公司 图像采集设备遮挡状态检测方法、装置、设备和存储介质
CN110661978B (zh) * 2019-10-29 2021-03-23 维沃移动通信有限公司 一种拍照方法、电子设备
CN111080571B (zh) * 2019-11-15 2023-10-20 北京迈格威科技有限公司 摄像头遮挡状态检测方法、装置、终端和存储介质
CN110971785B (zh) * 2019-11-15 2022-04-29 北京迈格威科技有限公司 摄像头遮挡状态检测方法、装置、终端和存储介质
CN113096059B (zh) * 2019-12-19 2023-10-31 合肥君正科技有限公司 一种车内监控相机排除夜晚光源干扰遮挡检测的方法
CN113011219A (zh) * 2019-12-19 2021-06-22 合肥君正科技有限公司 一种遮挡检测中应对光线变化自动更新背景的方法
CN112291551A (zh) * 2020-06-23 2021-01-29 广州红贝科技有限公司 一种基于图像处理的视频质量检测方法、存储设备及移动终端
CN112215794B (zh) * 2020-09-01 2022-09-20 北京中科慧眼科技有限公司 一种双目adas摄像头脏污检测的方法及装置
CN112716469B (zh) * 2020-12-29 2022-07-19 厦门大学 一种基于指尖视频的实时心率提取方法及装置
CN114283195B (zh) * 2022-03-03 2022-07-26 荣耀终端有限公司 生成动态图像的方法、电子设备及可读存储介质
CN114998412B (zh) * 2022-08-01 2022-11-18 北京中科慧眼科技有限公司 基于深度网络和双目视觉的阴影区域视差计算方法和系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004040712A (ja) * 2002-07-08 2004-02-05 Minolta Co Ltd 撮像装置
CN102231223B (zh) * 2011-06-02 2013-05-01 深圳中兴力维技术有限公司 一种用于摄像机的异物遮挡告警方法
CN104657993B (zh) * 2015-02-12 2018-04-17 北京格灵深瞳信息技术有限公司 一种镜头遮挡检测方法及装置
CN105491289B (zh) * 2015-12-08 2019-10-01 小米科技有限责任公司 防止拍照遮挡的方法及装置

Also Published As

Publication number Publication date
CN107347151A (zh) 2017-11-14

Similar Documents

Publication Publication Date Title
CN107347151B (zh) 双目摄像头遮挡检测方法及装置
CN105744268A (zh) 摄像头遮挡检测方法及装置
CN103632158B (zh) 森林防火监控方法及森林防火监控系统
CN105825503B (zh) 基于视觉显著性的图像质量评价方法
CN107679503A (zh) 一种基于深度学习的人群计数算法
JP7450848B2 (ja) マシン視覚に基づく透明度検出方法
CN102833486B (zh) 一种实时调节视频图像中人脸显示比例的方法及装置
CN102737370B (zh) 检测图像前景的方法及设备
CN101390128B (zh) 脸部器官的位置的检测方法及检测系统
CN110378945A (zh) 深度图处理方法、装置和电子设备
CN104318266B (zh) 一种图像智能分析处理预警方法
CN101853286B (zh) 视频缩略图智能选取方法
JP2007534179A (ja) デジタル画像の明度の調整
CN109414182A (zh) 用于皮肤光泽检测的设备和方法
CN104079827A (zh) 一种光场成像自动重对焦方法
CN104657994B (zh) 一种基于光流法判断图像一致性的方法和系统
CN114174783A (zh) 用于创建具有改进的图像捕获的局部制剂的系统和方法
CN103096117B (zh) 视频噪声检测方法及装置
CN106023199B (zh) 一种基于图像分析技术的烟气黑度智能检测方法
CN112967285A (zh) 一种基于深度学习的黄褐斑图像识别方法、系统和装置
CN109028237A (zh) 基于双区域图像采集进行风速调节的油烟机
CN104282013B (zh) 一种用于前景目标检测的图像处理方法及装置
CN108520263A (zh) 一种全景图像的识别方法、系统及计算机存储介质
JP4697923B2 (ja) 水中または水面における移動体の計数システムおよび計数方法
CN106446832A (zh) 一种基于视频的实时检测行人的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20180223

Address after: 330008 Jiangxi Province, Nanchang Qingshan Lake Economic and Technological Development Zone of Nanchang Jiao Town Office Building Room 319

Applicant after: Nanchang shark Technology Co. Ltd.

Address before: 518063 Guangdong city of Shenzhen province Nanshan District Wei new software park building 1 floor 2 South

Applicant before: SHENZHEN ZEUSIS TECHNOLOGY CO., LTD.

GR01 Patent grant
GR01 Patent grant