CN115471821A - 车载相机遮挡检测方法、装置、电子设备及存储介质 - Google Patents
车载相机遮挡检测方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN115471821A CN115471821A CN202210267967.0A CN202210267967A CN115471821A CN 115471821 A CN115471821 A CN 115471821A CN 202210267967 A CN202210267967 A CN 202210267967A CN 115471821 A CN115471821 A CN 115471821A
- Authority
- CN
- China
- Prior art keywords
- driving position
- vehicle
- camera
- face detection
- obtaining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 182
- 238000000034 method Methods 0.000 claims abstract description 45
- 238000013145 classification model Methods 0.000 claims abstract description 20
- 238000000605 extraction Methods 0.000 claims abstract description 10
- 230000015654 memory Effects 0.000 claims description 19
- 230000002159 abnormal effect Effects 0.000 claims description 9
- 238000012549 training Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 239000002390 adhesive tape Substances 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种车载相机遮挡检测方法、装置、电子设备及存储介质。其中一种车载相机遮挡检测方法包括:获取车载相机所采集的原始图像;根据驾驶位区域标定信息,对原始图像进行标定区域提取,得到标定区域图像;基于标定区域图像和驾驶位状态分类模型,得到驾驶位状态类型;基于驾驶位状态类型与相机遮挡状态的对应关系,得到所述车载相机的遮挡状态。能够解决大多数遮挡场景下的相机遮挡判断问题,可支持多种类型的遮挡情况;通过驾驶位标定的方式,将相机遮挡判断问题从对遮挡物的检测转换为目标区域是否正常的分类问题,大幅降低了问题的复杂度,有效减少计算量。
Description
技术领域
本申请涉及智能车辆技术领域,尤其涉及车载相机遮挡检测方法、装置、电子设备及存储介质。
背景技术
当前的车载相机遮挡检测主要有两种方案,方案一为采用传统算法处理方法对输入的相机图像做均一性分析,例如,使用类似边缘检测的算法对当前的摄像头图像做边缘检测;但该方案只适用于诸如胶布贴住摄像头镜头之类的问题,无法处理部分遮挡的情况。方案二为采用目标检测算法来处理当前问题,即检测摄像头输入图像中有无遮挡物,但由于遮挡物的类别非常丰富,若枚举相机遮挡物算法会非常复杂,这种枚举在业务上来看不太可行,且计算资源占用高。因此,需要提供一种支持识别多种类型遮挡,且较少占用计算资源的车载相机遮挡检测方法。
发明内容
本申请提供了一种车载相机遮挡检测方法、装置、电子设备及存储介质,以支持多种类型的遮挡情况判断,且占用较少计算资源。本申请的技术方案如下:
第一方面,本申请实施例提供了一种车载相机遮挡检测方法,包括:
获取车载相机所采集的原始图像;
根据驾驶位区域标定信息,对所述原始图像进行标定区域提取,得到标定区域图像;
基于所述标定区域图像和驾驶位状态分类模型,得到驾驶位状态类型;
基于所述驾驶位状态类型与相机遮挡状态的对应关系,得到所述车载相机的遮挡状态。
第二方面,本申请实施例提供了另一种车载相机遮挡检测方法,包括:
获取车载相机所采集的原始图像;
基于所述原始图像、人脸检测模型以及驾驶位区域标定信息,得到驾驶位人脸检测结果;
基于所述驾驶位人脸检测结果与相机遮挡状态的对应关系,得到所述车载相机的遮挡状态。
第三方面,本申请实施例提供了一种车载相机遮挡检测装置,其特征在于,包括:
原始图像获取模块,用于获取车载相机所采集的原始图像;
区域图像获取模块,用于根据驾驶位区域标定信息,对所述原始图像进行标定区域提取,得到标定区域图像;
驾驶位状态分类模块,用于基于所述标定区域图像和驾驶位状态分类模型,得到驾驶位状态类型;
相机遮挡状态获取模块,用于基于所述驾驶位状态类型与相机遮挡状态的对应关系,得到所述车载相机的遮挡状态。
第四方面,本申请实施例提供了另一种车载相机遮挡检测装置,其特征在于,包括:
原始图像获取模块,用于获取车载相机所采集的原始图像;
驾驶位人脸检测模块,用于基于所述原始图像、人脸检测模型以及驾驶位区域标定信息,得到驾驶位人脸检测结果;
相机遮挡状态获取模块,用于基于所述驾驶位人脸检测结果与相机遮挡状态的对应关系,得到所述车载相机的遮挡状态。
第五方面,本申请实施例提供了一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行本申请第一方面或者第二方面实施例所述的车载相机遮挡检测方法。
第六方面,本申请实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行本申请第一方面或者第二方面实施例所述的车载相机遮挡检测方法。
第七方面,本申请实施例提供了一种计算机程序产品,包括计算机指令,该计算机指令被处理器执行时实现本申请第一方面或者第二方面实施例所述的车载相机遮挡检测方法的步骤。
本申请实施例提供的技术方案至少带来以下有益效果:
获取车载相机的原始图像之后,结合分类模型或者人脸检测模型与驾驶位区域标定信息,获取驾驶位区域图像的分类识别结果;根据该分类识别结果判断该车载相机的遮挡情况,能够解决大多数遮挡场景下的相机遮挡判断问题,可支持多种类型的遮挡情况。通过驾驶位标定的方式,将相机遮挡判断问题从对遮挡物的检测转换为目标区域是否正常的分类问题,相比于对遮挡物的检测大幅降低了问题的复杂度,有效减少计算量。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理,并不构成对本申请的不当限定。
图1是根据一示例性实施例示出的一种车载相机遮挡检测方法的流程图。
图2是根据另一示例性实施例示出的一种车载相机遮挡检测方法的流程图。
图3是根据一具体实施例示出的一种车载相机遮挡检测方法的流程图。
图4是根据另一具体实施例示出的一种车载相机遮挡检测方法的流程图。
图5是根据一示例性实施例示出的一种车载相机遮挡检测装置的框图。
图6是根据另一示例性实施例示出的一种车载相机遮挡检测装置的框图。
图7是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本申请的技术方案,下面将结合附图,对本申请实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本申请中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
卷积神经网络:一种主流的深度学习算法。
图1是根据本申请一个实施例的车载相机遮挡检测方法的流程图。需要说明的是,本申请实施例的车载相机遮挡检测方法可应用于本申请实施例的车载相机遮挡检测装置。该车载相机遮挡检测装置可被配置于电子设备上。如图1所示,该车载相机遮挡检测方法可以包括如下步骤。
在步骤S101中,获取车载相机所采集的原始图像。
可以理解为,为了检测车载相机是否被遮挡,通过检测该车载相机所采集的图像的异常情况进行判断。可以直接获取当前时刻车载相机所采集的原始图像。
需要说明的是,车载相机可以为车载摄像头。
在步骤S102中,根据驾驶位区域标定信息,对原始图像进行标定区域提取,得到标定区域图像。
需要说明的是,驾驶位区域标定:为根据该摄像头当前的安装位置,对获取的原始图像上呈现的驾驶位区域进行位置标注,得到该区域的多个顶点坐标。作为一个示例,驾驶位区域为矩形区域,则可以得到该区域的4个顶点坐标。还可以是多边形区域,在此不做限制。
也就是说,本申请的驾驶位区域标定信息包括驾驶位区域的4个坐标顶点的坐标数据。根据该坐标数据对原始图像进行标定区域提取,得到该驾驶位标定区域所对应的区域标定图像。
在步骤S103中,基于标定区域图像和驾驶位状态分类模型,得到驾驶位状态类型。
需要说明的是,驾驶位状态分类模型是基于卷积神经网络训练得到的。
可选的,驾驶位状态分类模型的训练方法,包括:
针对驾驶位状态分类模型,获取训练数据,其中,该训练数据包括经过标注的原始图像或者标定区域图像;
根据训练数据对该驾驶位状态分类模型进行训练。
在步骤S104中,基于驾驶位状态类型与相机遮挡状态的对应关系,得到车载相机的遮挡状态。
本申请实施例的驾驶位状态分类模型的模型输出包括三类状态:异常图像、驾驶位可见且有人、驾驶位可见且无人;当识别为异常图像时,判断摄像头发生遮挡。
可选的,状态0:表征异常图像,即摄像头发生了遮挡;状态1:驾驶位可见,且有人;状态3:驾驶位可见,且无人。只有识别为状态0时,判断摄像头发生遮挡。
本申请实施例的车载相机遮挡检测方法,获取车载相机的原始图像之后,结合驾驶位状态分类模型和驾驶位区域标定信息,获取驾驶位区域图像的分类识别结果;根据该分类识别结果判断该车载相机的遮挡情况,能够解决大多数遮挡场景下的相机遮挡判断问题,可支持多种类型的遮挡情况。通过驾驶位标定的方式,将相机遮挡判断问题从对遮挡物的检测转换为目标区域是否正常的分类问题,大幅降低了问题的复杂度,有效减少计算量。也就是说,将传统的遮挡物目标检测的问题转化为了遮挡图像分类的问题,仅占用了少量离线端计算资源。
图2是根据本申请另一个实施例的车载相机遮挡检测方法的流程图。如图2所示,该车载相机遮挡检测方法可以包括如下步骤。
在步骤S201中,获取车载相机所采集的原始图像。
需要说明的是,在本申请的实施例中,上述步骤S201的实现过程可参见上述步骤S101的实现过程的描述,在此不再赘述。
在步骤S202中,基于原始图像、人脸检测模型以及驾驶位区域标定信息,得到驾驶位人脸检测结果。
作为一种可能的实现方式,得到驾驶位人脸检测结果,包括:
根据驾驶位区域标定信息,对原始图像进行标定区域提取,得到标定区域图像;基于标定区域图像和人脸检测模型,得到驾驶位人脸检测结果。
也就是说,将标定区域图像输入人脸检测模型,识别标定区域图像中是否存在人脸信息。
作为另一种可能的实现方式,得到驾驶位人脸检测结果,包括:
基于原始图像和人脸检测模型,得到人脸检测结果;基于人脸检测结果和驾驶位区域标定信息,得到驾驶位人脸检测结果。
也就是说,将原始图像输入人脸检测模型,判断原始图像是否存在人脸特征,若存在人脸特征,再判断该人脸特征是否属于驾驶位区域标定信息对应的坐标范围,最终得到驾驶位区域是否存在人脸特征的分类结果。
需要说明的是,先获取标定区域图像后,再进行人脸检测。还是先进行人脸检测,再判断人脸是否在标定区域图像中。这两种实现方式的效果是类似的,区别在于人脸检测模型不同,一个是通过原始图像训练得到的,一个是通过标定区域图像进行训练得到的。
在实际的应用场景中,除了车载相机的遮挡检测,利用了人脸检测技术。还有其他功能也需要通过人脸检测技术实现,例如,驾驶员身份识别功能等的实现。因此,从宏观上,多个功能可能通过同一个人脸检测模型实现人脸检测,从而减少模型训练成本。在有些应用场景,车载相机遮挡检测还可以直接获取其他功能模块的人脸检测结果,再对该人脸检测结果进行区域判断,减少计算量,提供整体性能。
除此之外,对于先获取标定区域图像后,再进行人脸检测的实现方式:如果对车载相机进行位置调整,则很可能驾驶位标定区域也需要随之调整,在这种情况下,则需要重新获取大量的标定区域图像进行标记,再次训练人脸检测模型,增加很大的工作量。相反,对于还是先进行人脸检测,在判断人脸是否在标定区域图像中的实现方式,在车载相机的安装位置进行调整后,人脸检测模型不需要重新训练,可以继续使用,只根据调整后的区域标定信息对人脸检测结果进行处理即可。
在步骤S203中,基于驾驶位人脸检测结果与相机遮挡状态的对应关系,得到车载相机的遮挡状态。
本申请实施例的驾驶位人脸检测结果包括两种人脸检测结果,分别为驾驶位区域存在人脸信息、驾驶位区域不存在人脸信息。
在识别到驾驶位区域不存在人脸信息时,判断摄像头发生遮挡。
在具体实现时,通过空表征驾驶位人脸检测结果为驾驶位区域不存在人脸信息;通过非空表征驾驶位人脸检测结果为驾驶位区域存在人脸信息。
本申请实施例的车载相机遮挡检测方法,获取车载相机的原始图像之后,结合人脸检测模型和驾驶位区域标定信息,获取驾驶位区域图像的分类识别结果;根据该分类识别结果判断该车载相机的遮挡情况,能够解决大多数遮挡场景下的相机遮挡判断问题,可支持多种类型的遮挡情况。通过驾驶位标定的方式,将相机遮挡判断问题从对遮挡物的检测转换为目标区域是否正常的分类问题,大幅降低了问题的复杂度,有效减少计算量。也就是说,将传统的遮挡物目标检测的问题转化为了遮挡图像分类的问题,仅占用了少量离线端计算资源。
在上述任一实施例的基础上,图3是根据本申请一个具体实施例的车载相机遮挡检测方法的流程图。如图3所示,该车载相机遮挡检测方法可以包括如下步骤。
在步骤S301中,获取车载相机所采集的原始图像。
在步骤S302中,根据驾驶位区域标定信息,对原始图像进行标定区域提取,得到标定区域图像。
在步骤S303中,基于标定区域图像和驾驶位状态分类模型,得到驾驶位状态类型。
需要说明的是,在本申请的实施例中,上述步骤S301-步骤S303的实现过程可参见上述步骤S101-S103的实现过程的描述,在此不再赘述。
在步骤S304中,基于原始图像和人脸检测模型,得到人脸检测结果。
在步骤S305中,基于人脸检测结果和驾驶位区域标定信息,得到驾驶位人脸检测结果。
需要说明的是,在本申请的实施例中,上述步骤S304-步骤S305的实现过程可参见上述步骤S202的实现过程的描述,在此不再赘述。
在步骤S306中,基于驾驶位状态类型和驾驶位人脸检测结果分别与相机遮挡状态的对应关系,得到车载相机的遮挡状态。
本申请实施例,在驾驶位状态类型为异常图像,且驾驶位人脸检测结果为驾驶位区域不存在人脸信息时,确认车载相机处于遮挡状态。
若步骤S303的结果为0,且步骤S305的结果为空时,则判定为相机遮挡;否则,均不判断为相机遮挡。
可以理解为,根据驾驶位状态分类模型和驾驶位人脸检测结果,最终识别车载相机是否存在遮挡。单独通过驾驶位状态类型或者驾驶位人脸检测结果,判断车载相机的遮挡状态,识别结果可能存在差错。融合步骤S303以及步骤S305的结果,对相机当前的状态做出最终的判断。
本申请实施例的车载相机遮挡检测方法,获取车载相机的原始图像之后,结合人脸检测模型、驾驶位状态分类模型和驾驶位区域标定信息,获取驾驶位区域图像的两种分类识别结果;将该两种分类识别结果进行融合判断该车载相机的遮挡情况,能够解决大多数遮挡场景下的相机遮挡判断问题,可支持多种类型的遮挡情况。通过驾驶位标定的方式,将相机遮挡判断问题从对遮挡物的检测转换为目标区域是否正常的分类问题,大幅降低了问题的复杂度,有效减少计算量。也就是说,将传统的遮挡物目标检测的问题转化为了遮挡图像分类的问题,仅占用了少量离线端计算资源。并且将驾驶状态分类和人脸检测两个方面的信息进行融合,进一步提高相机遮挡状态判断的可靠性。
图4是根据本申请另一个具体实施例的车载相机遮挡检测方法的流程图。如图4所示,该车载相机遮挡检测方法可以包括如下步骤。
在步骤S401中,获取车载相机所采集的原始图像。
在步骤S402中,根据驾驶位区域标定信息,对原始图像进行标定区域提取,得到标定区域图像。
在步骤S403中,基于标定区域图像和驾驶位状态分类模型,得到驾驶位状态类型。
需要说明的是,在本申请的实施例中,上述步骤S401-步骤S403的实现过程可参见上述步骤S101-S103的实现过程的描述,在此不再赘述。
在步骤S404中,基于标定区域图像和人脸检测模型,得到驾驶位人脸检测结果。
需要说明的是,在本申请的实施例中,上述步骤S404的实现过程可参见上述步骤S202的实现过程的描述,在此不再赘述。
在步骤S405中,基于驾驶位状态类型和驾驶位人脸检测结果分别与相机遮挡状态的对应关系,得到车载相机的遮挡状态。
需要说明的是,在本申请的实施例中,上述步骤S405的实现过程可参见上述步骤S306的实现过程的描述,在此不再赘述。
本申请实施例的车载相机遮挡检测方法,获取车载相机的原始图像之后,结合人脸检测模型、驾驶位状态分类模型和驾驶位区域标定信息,获取驾驶位区域图像的两种分类识别结果;将该两种分类识别结果进行融合判断该车载相机的遮挡情况,能够解决大多数遮挡场景下的相机遮挡判断问题,可支持多种类型的遮挡情况。通过驾驶位标定的方式,将相机遮挡判断问题从对遮挡物的检测转换为目标区域是否正常的分类问题,大幅降低了问题的复杂度,有效减少计算量。也就是说,将传统的遮挡物目标检测的问题转化为了遮挡图像分类的问题,仅占用了少量离线端计算资源。并且将驾驶状态分类和人脸检测两个方面的信息进行融合,进一步提高相机遮挡状态判断的可靠性。
图5是根据一示例性实施例示出的一种车载相机遮挡检测装置的框图。参照图5,该车载相机遮挡检测装置可以包括:原始图像获取模块501、区域图像获取模块502、驾驶位状态分类模块503和相机遮挡状态获取模块504。
具体地,原始图像获取模块501,用于获取车载相机所采集的原始图像;
区域图像获取模块502,用于根据驾驶位区域标定信息,对原始图像进行标定区域提取,得到标定区域图像;
驾驶位状态分类模块503,用于基于标定区域图像和驾驶位状态分类模型,得到驾驶位状态类型;
相机遮挡状态获取模块504,用于基于驾驶位状态类型,得到车载相机的遮挡状态。
在本申请的一些实施例中,该装置还包括驾驶位人脸检测模块505,用于:
基于标定区域图像和人脸检测模型,得到驾驶位人脸检测结果;以及,
相机遮挡状态获取模块504,用于:
基于驾驶位状态类型和驾驶位人脸检测结果与相机遮挡状态的对应关系,得到车载相机的遮挡状态。
在本申请的一些实施例中,该装置还包括驾驶位人脸检测模块505,用于:
基于原始图像和人脸检测模型,得到人脸检测结果;
基于人脸检测结果和驾驶位区域标定信息,得到驾驶位人脸检测结果;以及,
相机遮挡状态获取模块504,用于:
基于驾驶位状态类型和驾驶位人脸检测结果与相机遮挡状态的对应关系,得到车载相机的遮挡状态。
在本申请的一些实施例中,驾驶位状态类型包括三种类型,分别为:异常图像、驾驶位可见且有人、驾驶位可见且无人;驾驶位人脸检测结果包括两种人脸检测结果,分别为驾驶位区域存在人脸信息、驾驶位区域不存在人脸信息;相机遮挡状态获取模块504,具体用于:
在驾驶位状态类型为异常图像,且驾驶位人脸检测结果为驾驶位区域不存在人脸信息时,确认车载相机处于遮挡状态。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本申请实施例的车载相机遮挡检测装置,获取车载相机的原始图像之后,结合人脸检测模型、驾驶位状态分类模型和驾驶位区域标定信息,获取驾驶位区域图像的两种分类识别结果;将该两种分类识别结果进行融合判断该车载相机的遮挡情况,能够解决大多数遮挡场景下的相机遮挡判断问题,可支持多种类型的遮挡情况。通过驾驶位标定的方式,将相机遮挡判断问题从对遮挡物的检测转换为目标区域是否正常的分类问题,大幅降低了问题的复杂度,有效减少计算量。也就是说,将传统的遮挡物目标检测的问题转化为了遮挡图像分类的问题,仅占用了少量离线端计算资源。并且将驾驶状态分类和人脸检测两个方面的信息进行融合,提高相机遮挡状态判断的可靠性。
图6是根据另一示例性实施例示出的一种车载相机遮挡检测装置的框图。参照图6,该车载相机遮挡检测装置可以包括:原始图像获取模块601、驾驶位人脸检测模块602和相机遮挡状态获取模块603。
原始图像获取模块601,用于获取车载相机所采集的原始图像;
驾驶位人脸检测模块602,用于基于原始图像、人脸检测模型以及驾驶位区域标定信息,得到驾驶位人脸检测结果;
相机遮挡状态获取模块603,用于基于驾驶位人脸检测结果与相机遮挡状态的对应关系,得到车载相机的遮挡状态。
在本申请的一些实施例中,驾驶位人脸检测模块602,具体用于:
基于原始图像和人脸检测模型,得到人脸检测结果;
基于人脸检测结果和驾驶位区域标定信息,得到驾驶位人脸检测结果;或者,
根据驾驶位区域标定信息,对原始图像进行标定区域提取,得到标定区域图像;
基于标定区域图像和人脸检测模型,得到驾驶位人脸检测结果。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本申请实施例的车载相机遮挡检测装置,能够解决大多数遮挡场景下的相机遮挡判断问题,可支持多种类型的遮挡情况。通过驾驶位标定的方式,将相机遮挡判断问题从对遮挡物的检测转换为目标区域是否正常的分类问题,大幅降低了问题的复杂度,有效减少计算量。也就是说,将传统的遮挡物目标检测的问题转化为了遮挡图像分类的问题,仅占用了少量离线端计算资源。
根据本申请的实施例,本申请还提供了一种电子设备和一种可读存储介质。
如图7所示,是根据本申请实施例的用于实现车载相机遮挡检测的方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图7所示,该电子设备包括:一个或多个处理器701、存储器702,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个电子设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图7中以一个处理器701为例。
存储器702即为本申请所提供的非瞬时计算机可读存储介质。其中,所述存储器存储有可由至少一个处理器执行的指令,以使所述至少一个处理器执行本申请所提供的车载相机遮挡检测的方法。本申请的非瞬时计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行本申请所提供的车载相机遮挡检测的方法。
存储器702作为一种非瞬时计算机可读存储介质,可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块,如本申请实施例中的车载相机遮挡检测的方法对应的程序指令/模块(例如,附图5所示的原始图像获取模块501、区域图像获取模块502、驾驶位状态分类模块503和相机遮挡状态获取模块504,或者,附图6的原始图像获取模块601、驾驶位人脸检测模块602和相机遮挡状态获取模块603)。处理器701通过运行存储在存储器702中的非瞬时软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例中的车载相机遮挡检测的方法。
存储器702可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据车载相机遮挡检测的电子设备的使用所创建的数据等。此外,存储器702可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中,存储器702可选包括相对于处理器701远程设置的存储器,这些远程存储器可以通过网络连接至车载相机遮挡检测的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
车载相机遮挡检测的方法的电子设备还可以包括:输入装置703和输出装置704。处理器701、存储器702、输入装置703和输出装置704可以通过总线或者其他方式连接,图7中以通过总线连接为例。
输入装置703可接收输入的数字或字符信息,以及产生与车载相机遮挡检测的电子设备的用户设置以及功能控制有关的键信号输入,例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置704可以包括显示设备、辅助照明装置(例如,LED)和触觉反馈装置(例如,振动电机)等。该显示设备可以包括但不限于,液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中,显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令,并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的,术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如,磁盘、光盘、存储器、可编程逻辑装置(PLD)),包括,接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
在示例性实施例中,还提供了一种计算机程序产品,当计算机程序产品中的指令由电子设备的处理器执行时,使得电子设备能够执行上述方法。
还需要说明的是,本发明中提及的示例性实施例,基于一系列的步骤或者装置描述一些方法或系统。但是,本发明不局限于上述步骤的顺序,也就是说,可以按照实施例中提及的顺序执行步骤,也可以不同于实施例中的顺序,或者若干步骤同时执行。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
Claims (10)
1.一种车载相机遮挡检测方法,其特征在于,包括:
获取车载相机所采集的原始图像;
根据驾驶位区域标定信息,对所述原始图像进行标定区域提取,得到标定区域图像;
基于所述标定区域图像和驾驶位状态分类模型,得到驾驶位状态类型;
基于所述驾驶位状态类型与相机遮挡状态的对应关系,得到所述车载相机的遮挡状态。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
基于所述标定区域图像和人脸检测模型,得到驾驶位人脸检测结果;
基于所述驾驶位状态类型与相机遮挡状态的对应关系,得到所述车载相机的遮挡状态,包括:
基于所述驾驶位状态类型和所述驾驶位人脸检测结果分别与相机遮挡状态的对应关系,得到所述车载相机的遮挡状态。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
基于所述原始图像和人脸检测模型,得到人脸检测结果;
基于所述人脸检测结果和驾驶位区域标定信息,得到驾驶位人脸检测结果;
基于所述驾驶位状态类型与相机遮挡状态的对应关系,得到所述车载相机的遮挡状态,包括:
基于所述驾驶位状态类型和所述驾驶位人脸检测结果分别与相机遮挡状态的对应关系,得到所述车载相机的遮挡状态。
4.根据权利要求2或3所述的方法,其特征在于,所述驾驶位状态类型包括三种类型,分别为:异常图像、驾驶位可见且有人、驾驶位可见且无人;所述驾驶位人脸检测结果包括两种人脸检测结果,分别为驾驶位区域存在人脸信息、驾驶位区域不存在人脸信息;所述基于所述驾驶位状态类型和所述驾驶位人脸检测结果分别与相机遮挡状态的对应关系,得到所述车载相机的遮挡状态,包括:
在所述驾驶位状态类型为异常图像,且驾驶位人脸检测结果为驾驶位区域不存在人脸信息时,确认所述车载相机处于遮挡状态。
5.一种车载相机遮挡检测方法,其特征在于,包括:
获取车载相机所采集的原始图像;
基于所述原始图像、人脸检测模型以及驾驶位区域标定信息,得到驾驶位人脸检测结果;
基于所述驾驶位人脸检测结果与相机遮挡状态的对应关系,得到所述车载相机的遮挡状态。
6.根据权利要求5所述的方法,其特征在于,所述基于所述原始图像、人脸检测模型以及驾驶位区域标定信息,得到驾驶位人脸检测结果,包括:
基于所述原始图像和人脸检测模型,得到人脸检测结果;
基于所述人脸检测结果和驾驶位区域标定信息,得到驾驶位人脸检测结果;或者,
根据驾驶位区域标定信息,对所述原始图像进行标定区域提取,得到标定区域图像;
基于所述标定区域图像和人脸检测模型,得到驾驶位人脸检测结果。
7.一种车载相机遮挡检测装置,其特征在于,包括:
原始图像获取模块,用于获取车载相机所采集的原始图像;
区域图像获取模块,用于根据驾驶位区域标定信息,对所述原始图像进行标定区域提取,得到标定区域图像;
驾驶位状态分类模块,用于基于所述标定区域图像和驾驶位状态分类模型,得到驾驶位状态类型;
相机遮挡状态获取模块,用于基于所述驾驶位状态类型与相机遮挡状态的对应关系,得到所述车载相机的遮挡状态。
8.一种车载相机遮挡检测装置,其特征在于,包括:
原始图像获取模块,用于获取车载相机所采集的原始图像;
驾驶位人脸检测模块,用于基于所述原始图像、人脸检测模型以及驾驶位区域标定信息,得到驾驶位人脸检测结果;
相机遮挡状态获取模块,用于基于所述驾驶位人脸检测结果与相机遮挡状态的对应关系,得到所述车载相机的遮挡状态。
9.一种电子设备,其特征在于,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1至4或者5至6中任一项所述的车载相机遮挡检测方法。
10.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使所述计算机执行权利要求1至4或者5至6中任一项所述的车载相机遮挡检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210267967.0A CN115471821A (zh) | 2022-03-17 | 2022-03-17 | 车载相机遮挡检测方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210267967.0A CN115471821A (zh) | 2022-03-17 | 2022-03-17 | 车载相机遮挡检测方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115471821A true CN115471821A (zh) | 2022-12-13 |
Family
ID=84365436
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210267967.0A Pending CN115471821A (zh) | 2022-03-17 | 2022-03-17 | 车载相机遮挡检测方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115471821A (zh) |
-
2022
- 2022-03-17 CN CN202210267967.0A patent/CN115471821A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7268076B2 (ja) | 車両再識別の方法、装置、機器及び記憶媒体 | |
CN111273268B (zh) | 自动驾驶障碍物类型的识别方法、装置及电子设备 | |
CN112132113A (zh) | 车辆再识别的方法、装置、训练方法以及电子设备 | |
CN111292531B (zh) | 交通信号灯的跟踪方法、装置、设备及存储介质 | |
CN110738183B (zh) | 路侧相机障碍物检测方法及装置 | |
CN111722245B (zh) | 定位方法、定位装置和电子设备 | |
CN110659600B (zh) | 物体检测方法、装置及设备 | |
CN112507949A (zh) | 目标跟踪方法、装置、路侧设备以及云控平台 | |
CN111860319A (zh) | 车道线的确定方法、定位精度的评测方法、装置、设备 | |
CN111612820A (zh) | 多目标跟踪方法、特征提取模型的训练方法和装置 | |
CN111275011B (zh) | 移动红绿灯检测方法、装置、电子设备和存储介质 | |
CN112528786A (zh) | 车辆跟踪方法、装置及电子设备 | |
JP7110310B2 (ja) | 画像収集設備の監視方法、装置、電子設備、記憶媒体、及びプログラム | |
CN110968718A (zh) | 目标检测模型负样本挖掘方法、装置及电子设备 | |
CN111767853A (zh) | 车道线检测方法和装置 | |
CN111652112A (zh) | 一种车道流向的识别方法、装置、电子设备及存储介质 | |
CN111950345A (zh) | 摄像头的识别方法、装置、电子设备和存储介质 | |
CN111597987A (zh) | 用于生成信息的方法、装置、设备和存储介质 | |
CN111191619A (zh) | 车道线虚线段的检测方法、装置、设备和可读存储介质 | |
CN112528932B (zh) | 用于优化位置信息的方法、装置、路侧设备和云控平台 | |
CN110798681B (zh) | 成像设备的监测方法、装置和计算机设备 | |
CN112509058A (zh) | 外参的计算方法、装置、电子设备和存储介质 | |
CN112102417A (zh) | 确定世界坐标的方法和装置及用于车路协同路侧相机的外参标定方法 | |
EP3842753B1 (en) | Method and apparatus for positioning a vehicle, vehicle, storage medium, and computer program product | |
CN111553283B (zh) | 用于生成模型的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |