CN114783041B - 目标对象识别方法、电子设备和计算机可读存储介质 - Google Patents

目标对象识别方法、电子设备和计算机可读存储介质 Download PDF

Info

Publication number
CN114783041B
CN114783041B CN202210715065.9A CN202210715065A CN114783041B CN 114783041 B CN114783041 B CN 114783041B CN 202210715065 A CN202210715065 A CN 202210715065A CN 114783041 B CN114783041 B CN 114783041B
Authority
CN
China
Prior art keywords
target object
exposure
maps
distance
strategy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210715065.9A
Other languages
English (en)
Other versions
CN114783041A (zh
Inventor
化雪诚
付贤强
王海彬
刘祺昌
李东洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Lushenshi Technology Co ltd
Original Assignee
Hefei Dilusense Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Dilusense Technology Co Ltd filed Critical Hefei Dilusense Technology Co Ltd
Priority to CN202210715065.9A priority Critical patent/CN114783041B/zh
Publication of CN114783041A publication Critical patent/CN114783041A/zh
Application granted granted Critical
Publication of CN114783041B publication Critical patent/CN114783041B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Abstract

本申请实施例涉及图像处理技术领域,公开了一种目标对象识别方法、系统、电子设备和存储介质,该方法包括:获取相机在预设的N段曝光策略下对同一场景拍摄的N组红外图和散斑图,N段曝光策略的曝光值和增益值各不相同;根据N组红外图和散斑图,生成场景中的各目标对象分别对应的N个深度图;根据预设的评分策略,在各目标对象分别对应的N个深度图中,确定出各目标对象分别对应的评分最高的目标深度图,并基于目标深度图和目标深度图对应的红外图进行各目标对象的识别,从而保证多目标、多距离场景下各目标对象都有较高的识别准确率。

Description

目标对象识别方法、电子设备和计算机可读存储介质
技术领域
本申请实施例涉及图像处理技术领域,特别涉及一种目标对象识别方法、电子设备和计算机可读存储介质。
背景技术
单目散斑结构光技术是一种精度更高、准确率更高的深度恢复技术,单目散斑结构光相机包括红外镜头和散斑投射器两个核心组件,散斑投射器将具有一定结构的光线投射到被测物体上,这种具有一定结构的光线会在被测物体表面的不同深度处发生结构变化,红外镜头则可以采集这些结构发生变化的光线,进而恢复出被测物体的深度信息,行业内的3D人脸识别方案大多采用单目散斑结构光技术,其获取目标场景下的红外图和散斑图,对红外图进行人脸检测确定人脸区域坐标,对散斑图进行深度恢复得到深度图,最终将红外图、人脸区域坐标和深度图传入识别模型进行识别。
然而,在景区、车站、街道拍摄时,目标场景内往往存在多张人脸,不同的人脸到相机的距离还各不相同,行业内普遍使用的深度恢复、3D人脸识别方法只能保证目标场景内某个或某几个人脸的识别的准确率较高,而一些不在图像主体位置、实际距离相机较远的人脸的识别准确率会大打折扣,即无法满足多目标、多距离场景下的识别需要。
发明内容
本申请实施例的目的在于提供一种目标对象识别方法、电子设备和计算机可读存储介质,可以保证多目标、多距离场景下各目标对象都有较高的识别准确率。
为解决上述技术问题,本申请的实施例提供了一种目标对象识别方法,包括以下步骤:获取相机在预设的N段曝光策略下对同一场景拍摄的N组红外图和散斑图;其中,所述N为大于1的整数,所述N段曝光策略的曝光值和增益值各不相同;根据所述N组红外图和散斑图,生成所述场景中的各目标对象分别对应的N个深度图;根据预设的评分策略,在所述各目标对象分别对应的N个深度图中,确定出所述各目标对象分别对应的评分最高的目标深度图,并基于所述目标深度图和所述目标深度图对应的红外图进行所述各目标对象的识别。
本申请的实施例还提供了一种电子设备,包括:至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述的目标对象识别方法。
本申请的实施例还提供了一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时实现上述的目标对象识别方法。
本申请的实施例提供的目标对象识别方法、电子设备和计算机可读存储介质,先获取相机在预设的N段曝光策略下对同一场景拍摄的N组红外图和散斑图,N段曝光策略的曝光值和增益值各不相同,再根据这N组红外图和散斑图,生成该场景中的各目标对象分别对应的N个深度图,最后根据预设的评分策略,在各目标对象分别对应的N个深度图中,确定出各目标对象分别对应的评分最高的目标深度图,并基于目标深度图和目标深度图对应的红外图进行各目标对象的识别,在多目标、多距离场景下,不同的目标对象距离相机远近不同,单独的全局曝光技术无法保证拍摄出的各目标对象的亮度都合适,而本申请采用N段曝光的策略,对于不同的目标对象来说,至少有一段曝光是合适的,在这一段曝光策略下拍摄的该目标对象的散斑图质量很高,本申请从曝光策略和评分选优等角度进行多目标、多距离场景下的识别,可以保证各目标对象都有较高的识别准确率。
另外,所述根据所述N组红外图和散斑图,生成所述场景中的各目标对象分别对应的N个深度图,包括:遍历所述场景中的所述各目标对象,确定当前目标对象在N个红外图中的第一区域和在N个散斑图中的第二区域;根据各组的所述第一区域和所述第二区域获取所述当前目标对象对应的N个更新散斑图,并根据所述N个更新散斑图生成所述当前目标对象对应的N个深度图,考虑到多目标、多距离场景的背景噪声非常大,本申请可以基于目标对象在同一组红外图的第一区域和散斑图的第二区域更新散斑图,更新散斑图中的背景噪声已尽可能地被消除掉,信噪比很高,基于这些更新散斑图进行深度恢复,减少了大量不必要的计算量。
另外,所述N段曝光策略根据所述相机的工作距离确定,第i段曝光策略对应的工作距离小于第i+1段曝光策略对应的工作距离,第i段曝光策略对应的曝光值小于第i+1段曝光策略对应的曝光值,第i段曝光策略对应的增益值小于第i+1段曝光策略对应的增益值;其中,所述i为大于0且小于N的整数,在实际使用中,距离相机远的物体显示在图像中会比较暗,需要曝光值、增益值较大的曝光,而距离相机近的物体显示在图像中会比较亮,只需要曝光值、增益值较小的曝光即可,因此本申请基于相机的工作距离确定N段曝光策略,距离越近的曝光策略对应的曝光值、增益值越小,这样的N段曝光策略完全覆盖了相机的工作距离,能够保证各目标对象都能拍摄得到一个曝光合适的散斑图。
另外,所述N等于3,所述N段曝光策略包括近距离曝光策略、中距离曝光策略和远距离曝光策略,所述近距离曝光策略对应的工作距离小于所述中距离曝光策略对应的工作距离,所述中距离曝光策略对应的工作距离小于所述远距离曝光策略对应的工作距离,所述近距离曝光策略对应的曝光值小于所述中距离曝光策略对应的曝光值,所述中距离曝光策略对应的曝光值小于所述远距离曝光策略对应的曝光值,所述近距离曝光策略对应的增益值小于所述中距离曝光策略对应的增益值,所述中距离曝光策略对应的增益值小于所述远距离曝光策略对应的增益值,考虑到计算资源的限制和识别效率的要求,过多的曝光策略反而不能很好地满足多目标、多距离场景下的识别需求,因此本实施将相机的工作距离分成三段,分别对应近距离曝光策略、中距离曝光策略和远距离曝光策略,既能提升多目标、多距离场景下的识别的准确率,又能保证很高的识别效率。
另外,所述根据各组的所述第一区域和所述第二区域获取所述当前目标对象对应的N个更新散斑图,包括:依次将各组作为待处理组,确定所述待处理组的第一区域中各点的灰度值,以及所述待处理组的第二区域中各点的灰度值;用所述待处理组的第二区域中各点的灰度值减去所述待处理组的第一区域中对应的点的灰度值,得到各点对应的灰度值差值;根据所述各点对应的灰度值差值生成更新散斑图,得到所述当前目标对象对应的N个更新散斑图,在多目标、多距离场景下,散斑图的背景噪声很多很复杂,考虑到相机拍摄的同一组红外图和散斑图是像素对齐的,二因此当前目标对象在红外图中的第一区域和在散斑图中的第二区域也是像素对齐的,用同一组的第二区域中各点的灰度值减去第一区域中各点的灰度值得到更新散斑图看,背景区域的灰度值基本减为0,而信息区域则保有有效的灰度值,这样得到的更新散斑图的精度非常高,基于更新散斑图进行的深度恢复的精度也就非常高。
另外,所述根据预设的评分策略,在所述各目标对象分别对应的N个深度图中,确定出所述各目标对象分别对应的评分最高的目标深度图,包括:依次将所述各目标对象作为待评分目标对象,将所述待评分目标对象对应的N个深度图输入至预训练的评分模型中,获取所述评分模型输出的各深度图对应的分数;其中,所述评分模型用于根据输入的深度图的质量对所述输入的深度图评分;将所述各深度图中分数最高的深度图作为所述待评分目标对象对应的目标深度图,从而确定出所述各目标对象分别对应的目标深度图,本申请提前训练好用于对深度图质量进行评分的评分模型,在目标对象识别过程中,直接将恢复出的N个深度图输入至评分模型进行评分,之后直接选择分数最高的深度图进行识别,可以进一步提升多目标、多距离场景下的识别的速度。
另外,所述评分模型通过以下步骤训练得到:通过所述相机对预设对象拍摄若干个散斑图,并根据所述若干个散斑图生成若干个深度图作为第一样本图;通过预设的扫描仪对所述预设对象进行扫描,得到若干张扫描出的所述预设对象的深度图,并将所述若干张扫描出的所述预设对象的深度图作为第二样本图;基于所述第一样本图和所述第二样本图生成训练样本集和验证样本集;根据所述训练样本集和所述验证样本集对预设的评分模型进行迭代训练,扫描仪的精度是非常高的,用扫描仪扫描出的预设对象的深度图的质量也是非常高的,而相机拍摄、恢复处的深度图的质量则没有那么高,这样就得到了同一预设对象的高质量的深度图和低质量的深度图,基于这样的样本可以训练出评分科学、准确的评分模型。
另外,所述确定当前目标对象在N个红外图中的第一区域和在N个散斑图中的第二区域,包括:确定当前目标对象在任意一个红外图中的第一区域,并确定所述第一区域的面积;其中,所述第一区域的面积具体为所述第一区域中像素点的总数;判断所述第一区域的面积是否大于预设的可识别阈值;在所述第一区域的面积大于所述可识别阈值的情况下,确定所述当前目标对象在其他N-1个红外图中的第一区域和在N个散斑图中的第二区域;在所述第一区域的面积小于或等于所述可识别阈值的情况下,放弃对所述当前目标对象的识别,当前目标对象的第一区域的面积过小,说明该目标对象距离相机实在太远,在整个场景中很有可能并不是用户需要识别的,即使识别出来准确率也无法保证,因此本实施例设置有可识别阈值,将第一区域的面积过小的目标对象剔除掉,进一步节约计算资源。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明,这些示例性说明并不构成对实施例的限定。
图1是一种多目标、多距离场景的示意图;
图2是本申请的一个实施例中的目标对象识别方法的流程图;
图3是本申请的一个实施例中,根据N组红外图和散斑图,生成场景中的各目标对象分别对应的N个深度图的流程图;
图4是本申请的一个实施例中,根据各组的第一区域和第二区域获取当前目标对象对应的N个更新散斑图的流程图;
图5是本申请的一个实施例中,根据预设的评分策略,在各目标对象分别对应的N个深度图中,确定出各目标对象分别对应的评分最高的目标深度图的流程图;
图6是本申请的一个实施例中,训练评分模型的流程图;
图7是本申请的一个实施例中,确定当前目标对象在N个红外图中的第一区域和在N个散斑图中的第二区域的流程图;
图8是本申请的另一个实施例中的目标对象识别系统的示意图;
图9是本申请的另一个实施例中的电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合附图对本申请的各实施例进行详细的阐述。然而,本领域的普通技术人员可以理解,在本申请各实施例中,为了使读者更好地理解本申请而提出了许多技术细节。但是,即使没有这些技术细节和基于以下各实施例的种种变化和修改,也可以实现本申请所要求保护的技术方案。以下各个实施例的划分是为了描述方便,不应对本申请的具体实现方式构成任何限定,各个实施例在不矛盾的前提下可以相互结合相互引用。
为了方便理解本申请的实施例,首先在此介绍本申请的实施例适用的多目标、多距离场景下的目标对象识别。
多目标、多距离场景指的是场景内存在多个需要检测的目标对象,这些目标对象到相机的距离还各不相同,目标对象一般为人脸,因此这种场景常见于景区、火车站、街道等人员聚集、人员流动大的场所,图1示出了一种目标对象为人脸的多目标、多距离场景,四个儿童都是需要检测的目标对象,而这四个儿童的站位与相机之间的距离不相同,这种场景下的目标对象识别困难重重,主要包括以下三个问题。
第一,为了增强拍摄的图像的质量,相机在拍摄时一般需要进行一定的曝光,相机搭载的曝光策略主要包括固定曝光、全局自动曝光(Automatic Exposure,简称:AE)和目标区域曝光等,但这些曝光策略都不适用于多目标、多距离场景,到相机距离近的目标对象很有可能会被过度曝光,而到相机距离远的目标对象很有可能曝光不足,也就使得多目标、多距离场景下部分目标对象识别的准确率较低。
第二,多目标、多距离场景下,相机拍摄出的散斑图的背景噪声很大,行业内常用的去噪技术无法消除这些因散斑本身带来的本底噪声,这使得散斑图的信噪比很低,从而导致深度回复的精度大打折扣,进而导致部分目标对象识别的准确率较低。
第三、行业内的多目标识别都针对全图进行,识别过程需要对全图进行深度恢复,计算量非常大,但部分背景区域实际上不需要进行深度恢复,浪费了大量的计算资源。
为了解决上述多目标、多距离场景下目标对象识别准确率较低的问题,本申请的一个实施例提出了一种目标对象识别方法,应用于电子设备,其中,电子设备可以为终端或服务器,本实施例以及以下各个实施例中电子设备以服务器为例进行说明,下面对本实施例的目标对象识别方法的实现细节进行具体的说明,以下内容仅为方便理解提供的实现细节,并非实施本方案的必须。
本实施例的目标对象识别方法的具体流程可以如图2所示,包括:
步骤101,获取相机在预设的N段曝光策略下对同一场景拍摄的N组红外图和散斑图。
在具体实现中,服务器在进行目标对象识别时,需要先调用相机按照预设的N段曝光策略对同一场景拍摄N组红外图和散斑图,相机内部存储器中预先存储有N段曝光策略,N为大于1的整数,即相机内部存储器中预先存储有至少两段的曝光策略,这N段曝光策略的曝光值和增益值各不相同。
在一个例子中,N段曝光策略根据相机的工作距离确定,第i段曝光策略对应的工作距离小于第i+1段曝光策略对应的工作距离,第i段曝光策略对应的曝光值小于第i+1段曝光策略对应的曝光值,第i段曝光策略对应的增益值小于第i+1段曝光策略对应的增益值,i为大于0且小于N的整数,考虑到距离相机远的物体显示在图像中会比较暗,需要曝光值、增益值较大的曝光,而距离相机近的物体显示在图像中会比较亮,只需要曝光值、增益值较小的曝光即可,因此本申请基于相机的工作距离确定N段曝光策略,距离越近的曝光策略对应的曝光值、增益值越小,这样的N段曝光策略完全覆盖了相机的工作距离,能够保证各目标对象都能拍摄得到一个曝光合适的散斑图。
在一个例子中,相机内部存储器中预先存储有三段曝光策略,这三段曝光策略包括近距离曝光策略、中距离曝光策略和远距离曝光策略,近距离曝光策略对应的工作距离小于中距离曝光策略对应的工作距离,中距离曝光策略对应的工作距离小于远距离曝光策略对应的工作距离,近距离曝光策略对应的曝光值小于中距离曝光策略对应的曝光值,中距离曝光策略对应的曝光值小于远距离曝光策略对应的曝光值,近距离曝光策略对应的增益值小于中距离曝光策略对应的增益值,中距离曝光策略对应的增益值小于远距离曝光策略对应的增益值,考虑到计算资源的限制和识别效率的需求,过多的曝光策略反而不能很好地满足多目标、多距离场景下的实际识别需求,因此本实施将相机的工作距离分成三段,分别对应近距离曝光策略、中距离曝光策略和远距离曝光策略,这样既能提升多目标、多距离场景下的识别的准确率,又能保证很高的识别效率。
在一个例子中,相机的工作距离为30cm至100cm,近距离曝光策略对应的工作距离为30cm至50com、中距离曝光策略对应的工作距离为50cm至80cm、远距离曝光策略对应的工作距离为80cm至100cm。
步骤102,根据N组红外图和散斑图,生成场景中的各目标对象分别对应的N个深度图。
在具体实现中,服务器可以根据这N组红外图和散斑图进行深度恢复,从而生成场景中的各目标对象分别对应的N个深度图。
在一个例子中,服务器根据N组红外图和散斑图,生成场景中的各目标对象分别对应的N个深度图,可以通过如图3所示的各子步骤实现,具体包括:
步骤1021,遍历场景中的各目标对象,确定当前目标对象在N个红外图中的第一区域和在N个散斑图中的第二区域。
在具体实现中,服务器获取到相机在预设的N段曝光策略下对同一场景拍摄的N组红外图和散斑图后,可以确定场景中的各目标对象并遍历场景中的各目标对象,分别在N个红外图中进行当前目标对象的检测,即分别在N个红外图中确定出当前目标对象所在的第一区域的坐标并进行裁剪,随后服务器根据各第一区域的坐标分别在各红外图对应的散斑图中确定出第二区域的位置并进行裁剪。
在一个例子中,目标对象为目标人脸,服务器在红外图中确定出的第一区域即目标人脸的外接矩形。
步骤1022,根据各组的第一区域和第二区域获取当前目标对象对应的N个更新散斑图,并根据N个更新散斑图生成当前目标对象对应的N个深度图。
具体而言,服务器出确定当前目标对象在N个红外图中的第一区域和在N个散斑图中的第二区域后,可以根据各组的第一区域和第二区域获取当前目标对象对应的N个更新散斑图,并分别对这N个更新散斑图进行深度恢复,生成当前目标对象对应N个深度图。
在一个例子中,服务器可以根据各组的第一区域中各点的灰度值对各组的第二区域中各点的灰度值进行归一化处理,从而得到当前目标对象对应的N个更新散斑图,更新散斑图中各点的灰度值即归一化后的灰度值。
值得注意的是,多目标、多距离场景的背景噪声非常大,本实施例可以基于目标对象在同一组红外图的第一区域和散斑图的第二区域更新散斑图,更新散斑图中的背景噪声已尽可能地被消除掉,信噪比很高,基于这些更新散斑图进行深度恢复,减少了大量不必要的计算量。
步骤103,根据预设的评分策略,在各目标对象分别对应的N个深度图中,确定出各目标对象分别对应的评分最高的目标深度图,并基于目标深度图和目标深度图对应的红外图进行各目标对象的识别。
在具体实现中,服务器获取到生成的各目标对象分别对应的N个深度图后,依次将各目标对象作为待评分目标对象,服务器根据预设的评分策略对待评分目标对象对应的N个深度图进行评分,选取出这N个深度图中评分最高的深度图作为该待评分目标对象对应的目标深度图,服务器基于该目标深度图和该目标深度图对应的红外图进行待评分目标对象的识别,所有待评分目标对象均遍历一遍后,即完成了对该场景内所有目标对象的识别,其中,预设的评分策略可以由本领域的技术人员根据实际需要进行设置,本实施例对此不做具体限定。
本实施例,服务器先获取相机在预设的N段曝光策略下对同一场景拍摄的N组红外图和散斑图,N段曝光策略的曝光值和增益值各不相同,再根据这N组红外图和散斑图,生成该场景中的各目标对象分别对应的N个深度图,最后根据预设的评分策略,在各目标对象分别对应的N个深度图中,确定出各目标对象分别对应的评分最高的目标深度图,并基于目标深度图和目标深度图对应的红外图进行各目标对象的识别,在多目标、多距离场景下,不同的目标对象距离相机远近不同,单独的全局曝光技术无法保证拍摄出的各目标对象的亮度都合适,而本申请采用N段曝光的策略,对于不同的目标对象来说,至少有一段曝光是合适的,在这一段曝光策略下拍摄的该目标对象的散斑图质量很高,本申请从曝光策略和评分选优等角度进行多目标、多距离场景下的识别,可以保证各目标对象都有较高的识别准确率。
在一个实施例中,服务器根据各组的第一区域和第二区域获取当前目标对象对应的N个更新散斑图,可以通过如图4所示的各步骤实现,具体包括:
步骤201,依次将各组作为待处理组,确定待处理组的第一区域中各点的灰度值,以及待处理组的第二区域中各点的灰度值。
步骤202,用待处理组的第二区域中各点的灰度值减去待处理组的第一区域中对应的点的灰度值,得到各点对应的灰度值差值。
在具体实现中,服务器使用“帧差法”来生成更新散斑图,服务器依次将各组第一区域和第二区域作为待处理组第一区域和第二区域,确定待处理组的第一区域中各点的灰度值,以及待处理组的第二区域中各点的灰度值,用待处理组的第二区域中各点的灰度值减去待处理组的第一区域中对应的点的灰度值,得到各点对应的灰度值差值,也就是用散斑图与红外图“做差”,对于非散斑点,其在散斑图和红外图中的灰度值差异不大,因此“帧差法”计算后,背景区域的各点对应的灰度值差值基本都接近于0,这也就消除了本底噪声。
步骤203,根据各点对应的灰度值差值生成更新散斑图,得到当前目标对象对应的N个更新散斑图。
具体而言,服务器得到各点对应的灰度值差值后,可以将各点对应的灰度值差值作为各点的更新灰度值,从而生成更新散斑图,从而得到当前目标对象对应的N个更新散斑图。
本实施例,考虑到在多目标、多距离场景下,散斑图的背景噪声很多很复杂,而相机拍摄的同一组红外图和散斑图是像素对齐的,因此当前目标对象在红外图中的第一区域和在散斑图中的第二区域也是像素对齐的,用同一组的第二区域中各点的灰度值减去第一区域中各点的灰度值得到更新散斑图,背景区域的灰度值基本减为0,而信息区域则保有有效的灰度值,这样得到的更新散斑图的精度非常高,基于更新散斑图进行的深度恢复的精度也就非常高。
在一个实施例中,服务器根据预设的评分策略,在各目标对象分别对应的N个深度图中,确定出各目标对象分别对应的评分最高的目标深度图,可以通过如图5所示的各步骤实现,具体包括:
步骤301,依次将各目标对象作为待评分目标对象,将待评分目标对象对应的N个深度图输入至预训练的评分模型中,获取评分模型输出的各深度图对应的分数。
步骤302,将各深度图中分数最高的深度图作为待评分目标对象对应的目标深度图,从而确定出各目标对象分别对应的目标深度图。
在具体实现中,服务器使用预训练的评分模型作为评分策略,服务器获取到生成的各目标对象分别对应的N个深度图后,可以依次将各目标对象作为待评分目标对象,再将待评分目标对象对应的N个深度图均输入至预训练的评分模型中,获取评分模型输出的该待评分深度图对应的分数,服务器选择该待评分目标对象对应的各深度图中分数最高的深度图作为该待评分目标对象对应的目标深度图,所有待评分目标对象均遍历一遍后,即确定出了各目标对象分别对应的目标深度图,提前训练好用于对深度图质量进行评分的评分模型,在目标对象识别过程中,直接将恢复出的N个深度图输入至评分模型进行评分,之后直接选择分数最高的深度图进行识别,可以进一步提升多目标、多距离场景下的识别的速度。
在一个实施例中,评分模型可以通过如图6所示的各步骤训练得到,具体包括:
步骤401,通过相机对预设对象拍摄若干个散斑图,并根据这若干个散斑图生成若干个深度图作为第一样本图。
在具体实现中,普通的结构光相机恢复出的深度图质量不如高精度的扫描仪扫描出来的深度图的质量,因此服务器通过相机对预设对象拍摄若干个散斑图,并根据这若干个散斑图生成若干个深度图作为第一样本图,第一样本图即实际评分较低的深度图。
步骤402,通过预设的扫描仪对预设对象进行扫描,得到若干张扫描出的预设对象的深度图,并将这若干张扫描出的预设对象的深度图作为第二样本图。
在具体实现中,扫描仪扫描出来的深度图的质量是比较高的,实际评分也比较高,服务器通过预设的扫描仪对同一预设对象进行扫描,得到若干张扫描出的预设对象的深度图,并将这若干张扫描出的预设对象的深度图作为第二样本图,第二样本图即实际评分较高的深度图。
步骤403,基于第一样本图和第二样本图生成训练样本集和验证样本集。
步骤404,根据训练样本集和验证样本集对预设的评分模型进行迭代训练。
具体而言,服务器得到第一样本图和第二样本图后,可以基于第一样本图和第二样本图生成训练样本集和验证样本集,最后根据训练样本集和验证样本集对预设的评分模型进行迭代训练,得到训练好的评分模型。
本实施例,考虑到训练出评分效果好的评分模型需要海量的高质量的深度图数据和海量的低质量的深度图数据,扫描仪的精度是非常高的,用扫描仪扫描出的预设对象的深度图的质量也是非常高的,而相机拍摄、恢复处的深度图的质量则没有那么高,这样就得到了同一预设对象的高质量的深度图和低质量的深度图,基于这样的样本可以训练出评分科学、准确的评分模型。
在一个实施例中,服务器确定当前目标对象在N个红外图中的第一区域和在N个散斑图中的第二区域,可以通过如图7所示的各步骤实现,具体包括:
步骤501,确定当前目标对象在任意一个红外图中的第一区域,并确定第一区域的面积。
具体而言,服务器在确定当前目标对象在N个红外图中的第一区域和在N个散斑图中的第二区域时,可以先确定当前目标对象在任意一个红外图中的第一区域,并且确定该第一区域的面积,该第一区域的面积即该第一区域中像素点的总数。
步骤502,判断第一区域的面积是否大于预设的可识别阈值,如果是,执行步骤503,否则,执行步骤504。
步骤503,确定当前目标对象在其他N-1个红外图中的第一区域和在N个散斑图中的第二区域。
步骤504,放弃对当前目标对象的识别。
在具体实现中,服务器确定该第一区域的面积后,可以判断该第一区域的面积是否大于预设的可识别阈值,若该第一区域的面积大于预设的可识别阈值,即该目标对象到相机之间的距离不会太远,能够识别,因此服务器继续确定当前目标对象在其他N-1个红外图中的第一区域和在N个散斑图中的第二区域,若该第一区域的面积小于或等于预设的可识别阈值,即当前目标对象的第一区域的面积过小,说明该目标对象距离相机实在太远,在整个场景中很有可能并不是用户需要识别的,即使识别出来准确率也无法保证,因此服务器放弃对当前目标对象的识别,从而进一步节约计算资源,满足用户的实际识别需求,其中,预设的可识别阈值可以由本领域的技术人员根据实际需要进行设置。
上面各种方法的步骤划分,只是为了描述清楚,实现时可以合并为一个步骤或者对某些步骤进行拆分,分解为多个步骤,只要包括相同的逻辑关系,都在本专利的保护范围内;对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计,但不改变其算法和流程的核心设计都在该专利的保护范围内。
本申请的另一个实施例涉及一种目标对象识别系统,下面对本实施例的目标对象识别系统的实现细节进行具体的说明,以下内容仅为方便理解提供的实现细节,并非实施本方案的必须,本实施例的目标对象识别系统的示意图可以如图7所示,包括:
单目结构光相机601,用于在预设的N段曝光策略下对同一场景拍摄N组红外图和散斑图,N为大于1的整数,N段曝光策略的曝光值和增益值各不相同。
获取模块602,用于获取N组红外图和散斑图。
定位模块603,用于确定场景中的各目标对象,并遍历场景中的各目标对象,确定当前目标对象在N个红外图中的第一区域和在N个散斑图中的第二区域。
深度恢复模块604,用于根据各组的第一区域和第二区域获取当前目标对象的N个更新散斑图,并根据N个更新散斑图生成N个深度图。
评分模块605,用于根据预设的评分策略在N个深度图中确定出评分最高的目标深度图。
识别模块606,用于基于目标深度图和目标深度图对应的第一区域进行当前目标对象的识别。
值得一提的是,本实施例中所涉及到的各模块均为逻辑模块,在实际应用中,一个逻辑单元可以是一个物理单元,也可以是一个物理单元的一部分,还可以以多个物理单元的组合实现。此外,为了突出本申请的创新部分,本实施例中并没有将与解决本申请所提出的技术问题关系不太密切的单元引入,但这并不表明本实施例中不存在其它的单元。
本申请另一个实施例涉及一种电子设备,如图8所示,包括:至少一个处理器701;以及,与所述至少一个处理器701通信连接的存储器702;其中,所述存储器702存储有可被所述至少一个处理器701执行的指令,所述指令被所述至少一个处理器701执行,以使所述至少一个处理器701能够执行上述各实施例中的目标对象识别方法。
其中,存储器和处理器采用总线方式连接,总线可以包括任意数量的互联的总线和桥,总线将一个或多个处理器和存储器的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起,这些都是本领域所公知的,因此,本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件,也可以是多个元件,比如多个接收器和发送器,提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输,进一步,天线还接收数据并将数据传送给处理器。
处理器负责管理总线和通常的处理,还可以提供各种功能,包括定时,外围接口,电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。
本申请另一个实施例涉及一种计算机可读存储介质,存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。
即,本领域技术人员可以理解,实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,简称:ROM)、随机存取存储器(Random Access Memory,简称:RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解,上述各实施例是实现本申请的具体实施例,而在实际应用中,可以在形式上和细节上对其作各种改变,而不偏离本申请的精神和范围。

Claims (8)

1.一种目标对象识别方法,其特征在于,包括:
获取相机在预设的N段曝光策略下对同一场景拍摄的N组红外图和散斑图;其中,所述N为大于1的整数,所述N段曝光策略的曝光值和增益值各不相同;
根据所述N组红外图和散斑图,生成所述场景中的各目标对象分别对应的N个深度图;
根据预设的评分策略,在所述各目标对象分别对应的N个深度图中,确定出所述各目标对象分别对应的评分最高的目标深度图,并基于所述目标深度图和所述目标深度图对应的红外图进行所述各目标对象的识别;
所述根据所述N组红外图和散斑图,生成所述场景中的各目标对象分别对应的N个深度图,包括:
遍历所述场景中的所述各目标对象,确定当前目标对象在N个所述红外图中的第一区域和在N个所述散斑图中的第二区域;
根据各组的所述第一区域和所述第二区域获取所述当前目标对象对应的N个更新散斑图,并根据所述N个更新散斑图生成所述当前目标对象对应的N个深度图;
所述根据各组的所述第一区域和所述第二区域获取所述当前目标对象对应的N个更新散斑图,并根据所述N个更新散斑图生成所述当前目标对象对应的N个深度图,包括:
依次将所述各组作为待处理组,确定所述待处理组的第一区域中各点的灰度值,以及所述待处理组的第二区域中各点的灰度值;
用所述待处理组的第二区域中各点的灰度值减去所述待处理组的第一区域中对应的点的灰度值,得到所述各点对应的灰度值差值;
根据所述各点对应的灰度值差值生成更新散斑图,得到所述当前目标对象对应的N个更新散斑图。
2.根据权利要求1所述的目标对象识别方法,其特征在于,所述N段曝光策略根据所述相机的工作距离确定,第i段曝光策略对应的工作距离小于第i+1段曝光策略对应的工作距离,第i段曝光策略对应的曝光值小于第i+1段曝光策略对应的曝光值,第i段曝光策略对应的增益值小于第i+1段曝光策略对应的增益值;其中,所述i为大于0且小于N的整数。
3.根据权利要求2所述的目标对象识别方法,其特征在于,所述N等于3,所述N段曝光策略包括近距离曝光策略、中距离曝光策略和远距离曝光策略,所述近距离曝光策略对应的工作距离小于所述中距离曝光策略对应的工作距离,所述中距离曝光策略对应的工作距离小于所述远距离曝光策略对应的工作距离,所述近距离曝光策略对应的曝光值小于所述中距离曝光策略对应的曝光值,所述中距离曝光策略对应的曝光值小于所述远距离曝光策略对应的曝光值,所述近距离曝光策略对应的增益值小于所述中距离曝光策略对应的增益值,所述中距离曝光策略对应的增益值小于所述远距离曝光策略对应的增益值。
4.根据权利要求1所述的目标对象识别方法,其特征在于,所述根据预设的评分策略,在所述各目标对象分别对应的N个深度图中,确定出所述各目标对象分别对应的评分最高的目标深度图,包括:
依次将所述各目标对象作为待评分目标对象,将所述待评分目标对象对应的N个深度图输入至预训练的评分模型中,获取所述评分模型输出的各深度图对应的分数;其中,所述评分模型用于根据输入的深度图的质量对所述输入的深度图评分;
将所述各深度图中分数最高的深度图作为所述待评分目标对象对应的目标深度图,从而确定出所述各目标对象分别对应的目标深度图。
5.根据权利要求4所述的目标对象识别方法,其特征在于,所述评分模型通过以下步骤训练得到:
通过所述相机对预设对象拍摄若干个散斑图,并根据所述若干个散斑图生成若干个深度图作为第一样本图;
通过预设的扫描仪对所述预设对象进行扫描,得到若干张扫描出的所述预设对象的深度图,并将所述若干张扫描出的所述预设对象的深度图作为第二样本图;
基于所述第一样本图和所述第二样本图生成训练样本集和验证样本集;
根据所述训练样本集和所述验证样本集对所述评分模型进行迭代训练。
6.根据权利要求1所述的目标对象识别方法,其特征在于,所述确定当前目标对象在N个红外图中的第一区域和在N个散斑图中的第二区域,包括:
确定所述当前目标对象在任意一个所述红外图中的第一区域,并确定所述第一区域的面积;其中,所述第一区域的面积具体为所述第一区域中像素点的总数;
判断所述第一区域的面积是否大于预设的可识别阈值;
在所述第一区域的面积大于所述可识别阈值的情况下,确定所述当前目标对象在其他N-1个所述红外图中的第一区域和在N个所述散斑图中的第二区域;
在所述第一区域的面积小于或等于所述可识别阈值的情况下,放弃对所述当前目标对象的识别。
7.一种电子设备,其特征在于,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至权利要求6中任一所述的目标对象识别方法。
8.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至权利要求6中任一项所述的目标对象识别方法。
CN202210715065.9A 2022-06-23 2022-06-23 目标对象识别方法、电子设备和计算机可读存储介质 Active CN114783041B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210715065.9A CN114783041B (zh) 2022-06-23 2022-06-23 目标对象识别方法、电子设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210715065.9A CN114783041B (zh) 2022-06-23 2022-06-23 目标对象识别方法、电子设备和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN114783041A CN114783041A (zh) 2022-07-22
CN114783041B true CN114783041B (zh) 2022-11-18

Family

ID=82422419

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210715065.9A Active CN114783041B (zh) 2022-06-23 2022-06-23 目标对象识别方法、电子设备和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN114783041B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021218196A1 (zh) * 2020-04-29 2021-11-04 奥比中光科技集团股份有限公司 一种深度成像方法、装置及计算机可读存储介质
CN113808185A (zh) * 2021-11-19 2021-12-17 北京的卢深视科技有限公司 图像深度恢复方法、电子设备及存储介质
CN114255233A (zh) * 2022-03-01 2022-03-29 合肥的卢深视科技有限公司 散斑图的质量评价方法、装置、电子设备和存储介质
CN114387324A (zh) * 2021-12-22 2022-04-22 北京的卢深视科技有限公司 深度成像方法、装置、电子设备和计算机可读存储介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012088785A (ja) * 2010-10-15 2012-05-10 Toyota Central R&D Labs Inc 対象物識別装置及びプログラム
CN102970548B (zh) * 2012-11-27 2015-01-21 西安交通大学 一种图像深度感知装置
CN104268871A (zh) * 2014-09-23 2015-01-07 清华大学 基于近红外激光散斑深度估计的方法及装置
CN106210568A (zh) * 2016-07-15 2016-12-07 深圳奥比中光科技有限公司 图像处理方法以及装置
CN108564558A (zh) * 2018-01-05 2018-09-21 广州广电运通金融电子股份有限公司 宽动态图像处理方法、装置、设备和存储介质
CN108764052B (zh) * 2018-04-28 2020-09-11 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN109831660B (zh) * 2019-02-18 2021-04-23 Oppo广东移动通信有限公司 深度图像获取方法、深度图像获取模组及电子设备
US10887525B2 (en) * 2019-03-05 2021-01-05 Sony Corporation Delivery of notifications for feedback over visual quality of images
CN110602384B (zh) * 2019-08-27 2022-03-29 维沃移动通信有限公司 曝光控制方法及电子设备
CN111402229A (zh) * 2020-03-16 2020-07-10 焦点科技股份有限公司 一种基于深度学习的图像评分的方法及系统
CN111601047B (zh) * 2020-04-28 2022-02-18 汕头大学 一种油液泄漏图像采集方法
CN112818732B (zh) * 2020-08-11 2023-12-12 腾讯科技(深圳)有限公司 一种图像处理方法、装置、计算机设备和存储介质
CN112070844A (zh) * 2020-08-27 2020-12-11 合肥的卢深视科技有限公司 结构光系统的校准方法及装置、校准工具图、设备及介质
CN113850785A (zh) * 2021-09-27 2021-12-28 展讯通信(上海)有限公司 图像质量模型的生成、评估方法与系统及其设备与介质
CN113965679B (zh) * 2021-10-19 2022-09-23 合肥的卢深视科技有限公司 深度图获取方法、结构光相机、电子设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021218196A1 (zh) * 2020-04-29 2021-11-04 奥比中光科技集团股份有限公司 一种深度成像方法、装置及计算机可读存储介质
CN113808185A (zh) * 2021-11-19 2021-12-17 北京的卢深视科技有限公司 图像深度恢复方法、电子设备及存储介质
CN114387324A (zh) * 2021-12-22 2022-04-22 北京的卢深视科技有限公司 深度成像方法、装置、电子设备和计算机可读存储介质
CN114255233A (zh) * 2022-03-01 2022-03-29 合肥的卢深视科技有限公司 散斑图的质量评价方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN114783041A (zh) 2022-07-22

Similar Documents

Publication Publication Date Title
EP3757890A1 (en) Method and device for image processing, method and device for training object detection model
CN107087107B (zh) 基于双摄像头的图像处理装置及方法
EP3496383A1 (en) Image processing method, apparatus and device
US8879847B2 (en) Image processing device, method of controlling image processing device, and program for enabling computer to execute same method
US8233661B2 (en) Object tracking apparatus and object tracking method
US8224069B2 (en) Image processing apparatus, image matching method, and computer-readable recording medium
JP4157620B2 (ja) 移動物体検出装置及びその方法
CN111209770A (zh) 一种车道线识别方法及装置
CN111382613B (zh) 图像处理方法、装置、设备和介质
CN110191287B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
CN110400338B (zh) 深度图处理方法、装置和电子设备
JP7209115B2 (ja) 複数の相対的に接近する様に動いているリジッドなオブジェクトの検出、3d再現および追跡
CN111881790A (zh) 一种高精度地图制作中道路人行横道自动化提取方法和装置
CN111144213A (zh) 一种对象检测方法和相关设备
KR20230110618A (ko) 영상 보정 방법, 장치 및 시스템, 전자 장치
CN105513083A (zh) 一种ptam摄像机跟踪方法及装置
CN111598065A (zh) 深度图像获取方法及活体识别方法、设备、电路和介质
CN113256683B (zh) 目标跟踪方法及相关设备
CN112270748B (zh) 基于图像的三维重建方法及装置
CN115965961B (zh) 局部到全局的多模态融合方法、系统、设备及存储介质
CN114783041B (zh) 目标对象识别方法、电子设备和计算机可读存储介质
CN116051736A (zh) 一种三维重建方法、装置、边缘设备和存储介质
CN116363628A (zh) 标志检测方法、装置、非易失性存储介质及计算机设备
CN116129386A (zh) 可行驶区域检测方法、系统及计算机可读介质
CN113965697A (zh) 基于连续帧信息的视差成像方法、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230829

Address after: Room 799-4, 7th Floor, Building A3A4, Zhong'an Chuanggu Science and Technology Park, No. 900 Wangjiang West Road, Gaoxin District, Hefei Free Trade Experimental Zone, Anhui Province, 230031

Patentee after: Anhui Lushenshi Technology Co.,Ltd.

Address before: 230091 room 611-217, R & D center building, China (Hefei) international intelligent voice Industrial Park, 3333 Xiyou Road, high tech Zone, Hefei, Anhui Province

Patentee before: Hefei lushenshi Technology Co.,Ltd.

TR01 Transfer of patent right