CN112686958A - 标定方法、装置及电子设备 - Google Patents
标定方法、装置及电子设备 Download PDFInfo
- Publication number
- CN112686958A CN112686958A CN201910994212.9A CN201910994212A CN112686958A CN 112686958 A CN112686958 A CN 112686958A CN 201910994212 A CN201910994212 A CN 201910994212A CN 112686958 A CN112686958 A CN 112686958A
- Authority
- CN
- China
- Prior art keywords
- calibration
- face image
- monitoring
- monitoring system
- person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 78
- 238000012544 monitoring process Methods 0.000 claims abstract description 196
- 230000000007 visual effect Effects 0.000 claims description 31
- 238000001514 detection method Methods 0.000 claims description 23
- 230000004438 eyesight Effects 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 16
- 238000010586 diagram Methods 0.000 description 21
- 210000003128 head Anatomy 0.000 description 17
- 238000012545 processing Methods 0.000 description 16
- 230000004044 response Effects 0.000 description 13
- 230000008569 process Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 230000001815 facial effect Effects 0.000 description 7
- 238000000605 extraction Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 230000001960 triggered effect Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 238000009434 installation Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 230000000981 bystander Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 235000018185 Betula X alpestris Nutrition 0.000 description 1
- 235000018212 Betula X uliginosa Nutrition 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Abstract
本申请提供一种标定方法、装置及电子设备,其中,所述方法应用于预定三维空间的监测系统中,包括:在检测到针对所述监测系统的登录请求信息时,确定目标标定模式;根据所述目标标定模式和当前在所述预定三维空间内检测到的人脸图像,确定所述监测系统适用于当前应用场景的标定参数;将所述标定参数加载到所述监测系统中。采用本申请实施例提供的标定方法,可以为不同结构的三维空间、不同应用场景,甚至是不同用户配置个性化的标定参数,从而对预定三维空间的监测系统进行个性化标定,使得监测系统能够更好地监测用户的状态。
Description
技术领域
本申请涉及计算机视觉技术领域,特别涉及一种标定方法、装置及电子设备。
背景技术
监测系统在智能驾驶、人机交互和安防监控等应用中起重要作用。在人机交互方面,通过定位人眼在空间中的三维位置,并结合三维视线方向,获得人的注视点在三维空间中的位置并输出给机器做进一步交互处理。在注意力检测方面,通过估计出人眼的视线方向,判断人的注视方向获得人的感兴趣区域,进而判断人的注意力是否集中。在智能驾驶方面,通过监测驾驶员的注视区域、视线方向等信息,监测驾驶员是否疲劳驾驶或分心驾驶。以智能驾驶为例,上述监测功能中利用到了驾驶员的头部姿态以及眼睛视线数据,当驾驶员驾驶不同的车型或者监测系统的摄像头安装在相同车舱的不同位置时,采用固定标定参数,会导致监测结果差距较大,影响监测的准确性。
由此可见,如何提高监测系统标定参数的准确性是本领域技术人员正在研究的技术。
发明内容
本申请提供一种标定方法、装置及电子设备。
根据本申请实施例的第一方面,提供了一种标定方法,应用于预定三维空间的监测系统中,所述方法包括:
在检测到针对所述监测系统的登录请求信息时,确定目标标定模式;
根据所述目标标定模式和当前在所述预定三维空间内检测到的人脸图像,确定所述监测系统适用于当前应用场景的标定参数;
将所述标定参数加载到所述监测系统中。
可选地,所述在检测到针对所述监测系统的登录请求信息时,确定目标标定模式,包括:
当检测到所述登录请求信息时,将一个预设标定模式确定为所述目标标定模式。
可选地,所述在检测到针对所述监测系统的登录请求信息时,确定目标标定模式,包括:
在检测到所述登录请求信息时,触发进入标定选择模式;
响应于检测到针对一个预设标定模式选项的选择操作,将所述选择操作指示的所述预设标定模式确定为所述目标标定模式。
可选地,所述登录请求信息包括:
在所述预定三维空间的指定位置检测到人脸图像;或者,
用户输入的、请求登录系统的用户信息。
可选地,所述预设标定模式包括以下任一项:实时标定模式、历史匹配模式、默认标定模式。
可选地,所述目标标定模式为所述实时标定模式;
所述根据所述目标标定模式和当前在所述预定三维空间内检测到的人脸图像,确定所述监测系统适用于当前应用场景的标定参数,包括:
在满足预设触发条件的情况下,采集所述预定三维空间内指定位置上的当前人员的人脸图像,获得人脸图像集合;
对所述人脸图像集合中的每一张人脸图像进行特征提取,获得标定样本数据;
根据所述标定样本数据确定所述监测系统适用于所述当前应用场景中所述当前人员的标定参数。
可选地,所述预定三维空间为智能车辆的车舱空间,所述在满足预设触发条件的情况下,采集所述预定三维空间内指定位置上的当前人员的人脸图像,包括:
当所述智能车辆的行驶速率超过预设速率阈值时,采集所述车舱空间中的驾驶员区域的人员的人脸图像。
可选地,所述预定三维空间为智能车辆的车舱空间,所述在满足预设触发条件的情况下,采集所述预定三维空间内指定位置上的当前人员的人脸图像,包括:
当所述智能车辆中用于采集驾驶员位置处的图像的图像采集设备上电后,采集所述车舱空间中的驾驶员区域的人员的人脸图像。
可选地,所述预定的三维空间为智能车辆的车舱空间,所述在满足预设触发条件的情况下,采集所述预定三维空间内指定位置上的当前人员的人脸图像,包括:
当接收到预设的指令、且所述智能车辆中用于采集驾驶员位置处的图像的图像采集设备上电后,采集所述车舱空间中的驾驶员区域的人员的人脸图像。
可选地,按照以下任一方式采集所述当前人员的人脸图像:
在预设时长内采集所述当前人员的人脸图像;
采集预设数量的所述当前人员的人脸图像。
可选地,所述根据所述标定样本数据确定所述监测系统适用于所述当前应用场景中所述当前人员的标定参数,包括:
对所述标定样本数据进行聚类处理,获得所述标定样本数据的聚类中心;
依据所述标定样本数据的聚类中心,确定所述监测系统适用于所述当前应用场景中所述当前人员的标定参数;
所述标定样本数据包括:所述人脸图像中人的头部姿态数据和/或眼部视线数据。
可选地,所述目标标定模式为所述历史匹配模式;
所述根据所述目标标定模式和当前在所述预定三维空间内检测到的人脸图像,确定所述监测系统适用于当前应用场景的标定参数,包括:
采集所述预定三维空间的指定位置的当前人员的人脸图像;
确定标定数据库中是否存在与所述当前人员的人脸图像相匹配的目标人脸图像,所述标定数据库包括:不同用户的人脸图像及其分别对应的历史标定参数;
响应于所述标定数据库中存在所述目标人脸图像,将所述目标人脸图像对应的历史标定参数确定为所述监测系统适用于所述当前应用场景中所述当前人员的标定参数。
可选地,所述方法还包括:
响应于所述标定数据库中不存在所述目标人脸图像,按照实时标定模式确定所述监测系统适用于所述当前应用场景中所述当前人员的标定参数。
可选地,所述目标标定模式为默认标定模式;
所述根据所述目标标定模式和当前在所述预定三维空间内检测到的人脸图像,确定所述监测系统适用于当前应用场景的标定参数,包括:
将系统默认设置的标定参数确定为所述监测系统适用于当前应用场景中当前人员的标定参数。
可选地,所述方法还包括:
根据所述标定参数对所述当前应用场景中、所述人脸图像中的人进行监测。
可选地,所述根据所述标定参数对所述当前应用场景中,所述人脸图像中的人进行监测,包括:
根据所述标定参数对所述当前应用场景中,所述人脸图像中的人进行视觉监测;
所述方法还包括:
获取视觉监测结果;
根据视觉监测结果,确定所述人脸图像对应的人的注意力监控结果;
输出所述注意力监控结果,和/或,根据所述注意力监控结果输出分心提示信息。
可选地,所述根据所述标定参数对所述当前应用场景中,所述人脸图像中的人进行监测,包括:
根据所述标定参数对所述当前应用场景中,所述人脸图像中的人进行视觉监测;
所述方法还包括:
获取视觉监测结果,所述视觉监测结果包括注视区域类别检测结果;
确定与所述注视区域类别检测结果对应的控制指令;
控制电子设备执行与所述控制指令相应的操作。
可选地,所述方法还包括:
存储所述预定三维空间的空间类型信息与所述标定参数之间的对应关系,所述预定三维空间的空间类型信息包括所述三维空间的结构信息,和/或,检测到人脸图像的图像采集装置与所述三维空间的相对位置信息。
根据本申请实施例的第二方面,提供了一种标定装置,设置于预定三维空间的监测系统中,所述装置包括:
目标模式确定模块,被配置为在检测到针对所述监测系统的登录请求信息时,确定目标标定模式;
标定参数确定模块,被配置为根据所述目标标定模式和当前在所述预定三维空间内检测到的人脸图像,确定所述监测系统适用于当前应用场景的标定参数;
参数加载模块,被配置为将所述标定参数加载到所述监测系统中。
可选的,所述目标模式确定模块,被配置为当检测到所述登录请求信息时,将一个预设标定模式确定为所述目标标定模式。
可选的,所述目标模式确定模块包括:
选择模式触发子模块,被配置为在检测到所述登录请求信息时,触发进入标定选择模式;
目标模式确定子模块,被配置为响应于检测到针对一个预设标定模式选项的选择操作,将所述选择操作指示的所述预设标定模式确定为所述目标标定模式。
可选的,所述登录请求信息包括:
在所述预定三维空间的指定位置检测到人脸图像;或者,
用户输入的、请求登录系统的用户信息。
可选的,所述预设标定模式包括以下任一项:实时标定模式、历史匹配模式、默认标定模式。
可选的,所述目标标定模式为所述实时标定模式;
所述标定参数确定模块,包括:
图像采集子模块,被配置为在满足预设触发条件的情况下,采集所述预定三维空间内指定位置上的当前人员的人脸图像,获得人脸图像集合;
特征提取子模块,被配置为对所述人脸图像集合中的每一张人脸图像进行特征提取,获得标定样本数据;
第一确定子模块,被配置为根据所述标定样本数据确定所述监测系统适用于所述当前应用场景中所述当前人员的标定参数。
可选的,所述预定三维空间为智能车辆的车舱空间,所述图像采集子模块,被配置为当所述智能车辆的行驶速率超过预设速率阈值时,采集所述车舱空间中的驾驶员区域的人员的人脸图像。
可选的,所述预定三维空间为智能车辆的车舱空间;
所述图像采集子模块,被配置为当所述智能车辆中用于采集驾驶员位置处的图像的图像采集设备上电后,采集所述车舱空间中的驾驶员区域的人员的人脸图像。
可选的,所述预定的三维空间为智能车辆的车舱空间;
所述图像采集子模块,被配置为当接收到预设的指令、且所述智能车辆中用于采集驾驶员位置处的图像的图像采集设备上电后,采集所述车舱空间中的驾驶员区域的人员的人脸图像。
可选的,所述图像采集子模块按照以下任一方式采集所述当前人员的人脸图像:
在预设时长内采集所述当前人员的人脸图像;
采集预设数量的所述当前人员的人脸图像。
可选的,所述第一确定子模块,包括:
聚类处理单元,被配置为对所述标定样本数据进行聚类处理,获得所述标定样本数据的聚类中心;
参数确定单元,被配置为依据所述标定样本数据的聚类中心,确定所述监测系统适用于所述当前应用场景中所述当前人员的标定参数;
所述标定样本数据包括:所述人脸图像中人的头部姿态数据和/或眼部视线数据。
可选的,所述目标标定模式为所述历史匹配模式;
所述标定参数确定模块,包括:
人脸图像采集子模块,被配置为采集所述预定三维空间的指定位置的当前人员的人脸图像;
匹配子模块,被配置为确定标定数据库中是否存在与所述当前人员的人脸图像相匹配的目标人脸图像,所述标定数据库包括:不同用户的人脸图像及其分别对应的历史标定参数;
第二确定子模块,被配置为响应于所述标定数据库中存在所述目标人脸图像,将所述目标人脸图像对应的历史标定参数确定为所述监测系统适用于所述当前应用场景中所述当前人员的标定参数。
可选的,所述装置还包括:
第三确定子模块,被配置为响应于所述标定数据库中不存在所述目标人脸图像,按照实时标定模式确定所述监测系统适用于所述当前应用场景中所述当前人员的标定参数。
可选的,所述目标标定模式为默认标定模式;
所述标定参数确定模块,被配置为将系统默认设置的标定参数确定为所述监测系统适用于当前应用场景中当前人员的标定参数。
可选的,所述装置还包括:
监测模块,被配置为根据所述标定参数对所述当前应用场景中、所述人脸图像中的人进行监测。
可选的,所述监测模块,被配置为根据所述标定参数对所述当前应用场景中,所述人脸图像中的人进行视觉监测;
所述装置还包括:
第一监测结果获取模块,被配置为获取视觉监测结果;
注意力确定模块,被配置为根据视觉监测结果,确定所述人脸图像对应的人的注意力监控结果;
输出模块,被配置为输出所述注意力监控结果,和/或,根据所述注意力监控结果输出分心提示信息。
可选的,所述监测模块,被配置为根据所述标定参数对所述当前应用场景中,所述人脸图像中的人进行视觉监测;
所述装置还包括:
第二监测结果获取模块,被配置为获取视觉监测结果,所述视觉监测结果包括注视区域类别检测结果;
控制指令确定模块,被配置为确定与所述注视区域类别检测结果对应的控制指令;
控制模块,被配置为控制电子设备执行与所述控制指令相应的操作。
可选的,所述装置还包括:
存储模块,被配置为存储所述预定三维空间的空间类型信息与所述标定参数之间的对应关系,所述预定三维空间的空间类型信息包括所述三维空间的结构信息,和/或,检测到人脸图像的图像采集装置与所述三维空间的相对位置信息。
根据本申请实施例的第三方面,提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面任一项所述的方法。
根据本申请实施例的第四方面,提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现上述第一方面任一项所述的方法。
采用本申请实施例提供的标定方法,可以为不同结构的三维空间、不同应用场景,甚至是不同用户配置个性化的标定参数,从而对预定三维空间的监测系统进行个性化标定,使得监测系统能够更好地监测用户的状态。因此,在预定的三维空间为车舱空间,监测系统为驾驶员监控系统(DMS,Driver Monitor System)时,本申请实施例提供的标定方法能够实现DMS的个性化标定,使得DMS能够更好地监测当前用户的驾驶状态,确保行车安全,提高辅助驾驶精度。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
图1是本申请根据一示例性实施例示出的一种标定方法的流程图;
图2-1是本申请根据一示例性实施例示出的一种标定方法的应用场景示意图;
图2-2是本申请根据一示例性实施例示出的一种标定方法的示意图;
图3是本申请根据一示例性实施例示出的另一种标定方法的流程图;
图4是本申请根据一示例性实施例示出的另一种标定方法的应用场景示意图;
图5是本申请根据一示例性实施例示出的另一种标定方法的流程图;
图6是本申请根据一示例性实施例示出的另一种标定方法的流程图;
图7是本申请根据一示例性实施例示出的另一种标定方法的示意图;
图8是本申请根据一示例性实施例示出的另一种标定方法的流程图;
图9是本申请根据一示例性实施例示出的另一种标定方法的流程图;
图10是本申请根据一示例性实施例示出的一种标定装置的结构框图;
图11是本申请根据一示例性实施例示出的另一种标定装置的结构框图;
图12是本申请根据一示例性实施例示出的另一种标定装置的结构框图;
图13是本申请根据一示例性实施例示出的另一种标定装置的结构框图;
图14是本申请根据一示例性实施例示出的另一种标定装置的结构框图;
图15是本申请根据一示例性实施例示出的另一种标定装置的结构框图;
图16是本申请根据一示例性实施例示出的另一种标定装置的结构框图;
图17是本申请根据一示例性实施例示出的一种电子设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
本申请提供了一种标定方法,可以应用于预定三维空间的监测系统中,上述预定三维空间可以是智能车舱、智能机舱、智能操作间等需要监测操作人员的空间。该方法可以应用于智能驾驶、人机交互、安防监控等应用场景中,本申请将以该监测系统应用于智能驾驶场景为例进行详细说明。
在本申请实施例中,涉及的执行主体可以包括:监测系统中的计算机系统和设置于预定三维空间如智能车辆的车舱空间(简称,智能车舱)中的图像采集设备,比如摄像头。其中,摄像头用于采集智能车舱的指定位置处的图像,并在采集到人脸图像后,将采集到的人脸图像数据发送给上述计算机系统,以使计算机系统利用人工神经网络对上述人脸图像数据进行处理,确定对应的头部姿态数据和/或人眼视线数据,并对上述数据进行处理,进一步确定上述监测系统中、用于对头部姿态和/或眼部视线进行偏移矫正的标定参数,进一步地,还可以利用该标定参数更新监测系统,使得更新后的监测系统可以输出更准确的监测结果,以便计算机系统根据上述监测结果输出准确的操作控制信息如智能驾驶车辆的操控指令等,或者,提示信息,如分心提醒信息或疲劳驾驶提醒信息。
上述计算机系统可以设置于服务器、服务器集群或者云平台中,也可以是个人计算机系统、车载设备、移动终端等电子设备中的计算机系统。上述图像采集装置可以是车载设备如行车记录仪中的摄像头、智能终端的摄像头等;上述智能终端可以具体为智能手机、PDA(Personal Digital Assistant,个人数字助理)、平板电脑、车载设备等电子设备。在具体实现过程中,摄像头和计算机系统,各自独立,同时又相互联系,共同实现本申请实施例提供的标定方法。下面以计算机系统为例,对本公开提供的标定方法进行详细说明。
参见图1根据一示例性实施例示出的一种标定方法的流程图,所述方法可以包括以下步骤:
在步骤11中,在检测到针对所述监测系统的登录请求信息时,确定目标标定模式;
本申请实施例将以监测系统是设置于智能车辆的车舱空间内的驾驶员监测系统(Driver Monitor System,DMS)为例进行说明。本申请实施例中,DMS可以动态检测用户的登录请求信息,并在检测到登录请求信息之后,根据该登录请求信息确定适用于当前应用场景的目标标定模式。
本申请中,DMS可以提供有至少两种预设标定模式,DMS的计算机系统根据登录请求信息从上述至少两种预设标定模式中确定适用于当前应用场景的目标标定模式。
本申请中,关于登录请求信息的触发,可以是自动触发,也可以是人工触发。
在本申请一实施例中,所述登录请求信息可以是监测系统中用于采集驾驶员位置处的图像的图像采集设备上电后,当采集到位于驾驶员区域的人员的人脸图像时,自动触发生成。该登录请求信息可以包括:所述人脸图像。
在本申请另一实施例中,所述登录请求信息也可以是用户通过DMS的预设应用界面手动触发生成的登录请求信息。例如,用户在DMS的应用程序界面点击“启动标定”虚拟按钮后,触发生成的登录请求信息;或者,用户通过DMS应用程序的登录界面输入用户信息如用户名、密码、登录邮箱、手机号等信息后,触发生成的登录请求信息。本申请实施例中,上述登录请求信息的触发者可以是驾驶员或者在旁辅助人员。仍以智能车辆为例,上述在旁辅助人员可以是坐在副驾驶等非驾驶员座位上的人员等。上述用户可以通过内置于智能车舱内的DMS应用界面操作入口输入上述登录请求信息;也可以是用户使用安装在智能终端上的监测APP或安装在电脑上的监测PC端工具,输入上述登录请求信息,本申请实施例对输入登录请求信息的用户以及生成上述登录请求信息的设备不作限定。
本申请实施例中,DMS在检测到上述登录请求信息后,可以将一预设标定模式确定为目标标定模式,或者,响应于用户输入的标定模式选择操作,将用户人工选择的预设标定模式确定为上述目标标定模式。
在所述目标标定模式确定的情况下,即可确定当前是否需要进行参数标定,或者,在确定需要标定的情况下,采用何种方式进行参数标定。
本申请实施例中,上述目标标定模式可以是以下任一项:
实时标定模式,根据在预定三维空间内指定位置上的当前人员的人脸图像实时确定DMS的标定参数;
历史匹配模式,参考系统记录的历史标定参数确定标定参数;
默认标定模式,使用系统默认设置的标定参数。
在步骤12中,根据所述目标标定模式和当前在所述预定三维空间内检测到的人脸图像,确定所述监测系统适用于当前应用场景的标定参数。
关于为何要对监测系统进行参数标定,DMS输出监测结果的准确性受车型、摄像头在车舱中的安装位置、驾驶员的个人特征如两眼间距或眼睛在整张人脸中的分布位置等因素影响。例如,对于同一车型,若摄像头在智能车舱内的安装位置不同,如图2-1所示,根据实际拍摄图像和摄像头的相机坐标系确定的世界坐标系中头部姿态信息及眼部视线信息也不同。为了确保计算机系统输出的监测结果、例如视觉监测结果不受摄像头安装位置、车型、驾驶员的个人特征的影响,在进行监测之前,需要对根据摄像头拍摄的人脸图像确定的头部姿态、眼睛视线信息进行偏移矫正,即,矫正头部姿态或者视线方向相对摄像头的偏移角度,使得矫正后的人脸图像相当于一台正对人脸的虚拟摄像头拍摄的人脸图像。
在监测阶段,将计算机系统根据标定参数确定的虚拟相机坐标系下的转正人脸图像,输入神经网络获得监测结果,以确保监测结果的准确性。
示例性的,参见图2-2根据一示例性实施例示出的一种标定方法的示意图,其中,图像P0为实际车载摄像头C0,如安装在图2-1所示位置1处的摄像头针对驾驶员采集的人脸图像,图像P1表示经过旋转、仿射、缩放等变换处理后,获得的虚拟相机坐标系下的转正人脸图像,即相当于正对着驾驶员头部的一台虚拟摄像头C1针对驾驶员采集的一帧人脸图像。
计算机系统可以利用上述实际相机坐标系与虚拟相机坐标系之间的位置变换关系,对人脸图像进行旋转、仿射、缩放等变换处理,获得虚拟相机坐标系下的转正人脸图像。其中,求解上述实际相机坐标系与虚拟相机坐标系之间的位置变换关系,可以理解为确定标定参数。
本申请中,根据目标标定模式不同,该步骤12的实施可以包括以下情况:
第一种情况,若所述目标标定模式为上述实时标定模式,该步骤12可以具体为:在预设触发条件下,根据图像采集设备实时采集的人脸图像数据确定系统的标定参数。
第二种情况,若所述目标标定模式为历史匹配模式,该步骤12可以具体为:根据所述人脸图像,将系统已存储的、针对同一用户的历史标定参数确定为当前应用场景中适用于当前人员的标定参数。
第三种情况,若所述目标标定模式为上述默认标定模式,该步骤12可以具体为:将系统默认的标定参数确定为适用于当前应用场景的标定参数。也就是说,第三种情况下确定的标定参数,与图像采集设备当前采集的人脸图像对应的人员无关。
其中,上述系统默认的标定参数可以是DMS在出厂设置时,技术人员根据经验值设置的标定参数,适用于所述预定三维空间的所有操作用户,如同一车型的所有驾驶员,或中,同一车辆的所有驾驶员;不再根据操作用户身份不同,针对性获取标定参数。
在步骤13中,将确定的标定参数加载到上述监测系统中,从而实现对监测系统的标定。因此,在确定了DMS的标定参数之后,将可以标定参数加载到DMS中完成对DMS的标定。
可知,采用本申请实施例提供的标定方法,监测系统在检测到登录请求信息时,可以按照用户需求确定监测系统的目标标定模式,进而确定监测系统适用于当前应用场景的标定参数,使监测系统利用当前确定的标定参数对预定三维空间里的当前操作人员进行监测,既可以满足监测的个性化需求,针对不同用户确定不同的标定参数以提高监测精度,还可以根据用户需求使用默认标定参数,节约系统标定时间。
关于如何确定目标标定模式,步骤11可以包括以下至少两种实施方式:
实施方式一、系统自动选择目标标定模式
在本申请一实施例中,上述步骤11可以具体为:当检测到所述登录请求信息时,将一个预设标定模式确定为所述目标标定模式。
其中,本申请实施例中的预设标定模式可以包括:实时标定模式、历史匹配模式、默认标定模式。
本申请实施例中,DMS所采用的标定模式可以是预先设置好的,当系统检测到上述登录请求信息时,便自动将预设标定模式确定为目标标定模式。
示例性的,假设系统预先约定采用上述默认标定模式,则当DMS检测到上述用户登录请求信息时,便自动将上述默认标定模式确定为目标标定模式。同理,若系统预先被设置为采用上述实时标定模式或者历史标定模式,当DMS检测到上述用户登录请求信息时,便自动将上述实时标定模式或者历史标定模式确定为目标标定模式,从而进行实时标定操作,或者,根据系统记录的历史标定参数确定适用于当前应用场景的标定参数。
本申请实施例中,系统在检测到用户登录请求信息时,可以自动将一预设标定模式确定为目标标定模式,节约标定时间。
实施方式二、手动选择目标标定模式
参见图3根据一示例性实施例示出的另一种标定方法的流程图,上述步骤11可以包括:
在步骤111中,在检测到所述登录请求信息时,触发进入标定选择模式;
本申请实施例中,监测系统在检测到登录请求信息时,如用户手动触发登录请求时;或者,自动触发登录请求时,可以触发进入标定选择模式。
其中,计算机系统可以在检测到以下任一操作时,触发进入标定选择模式:
触发条件一、首次登录监测系统时;如设置在一车辆中的DMS首次被触发开机时,或者,智能车辆每次启动时等。
触发条件二、检测到用户输入请求登录监测系统的用户信息时;该用户信息包括但不限于用户名、密码、绑定邮箱、绑定手机号码等信息。上述用户信息可以理解为用户在监测服务平台提供的注册界面中注册个人账户时所填写的信息。
触发条件三、所述智能车辆中用于采集驾驶员位置处图像的图像采集设备上电后,首次检测到出现在驾驶员位置的人员的人脸图像时。
在步骤112中,响应于检测到针对一个预设标定模式选项的选择操作,将所述选择操作指示的所述预设标定模式确定为所述目标标定模式。
本申请实施例中,系统在所述标定选择模式下可以提供至少两个预设标定模式选项供用户选择。
本申请一实施例中,可以通过预设用户界面显示各个预设标定模式选项,如图4所示,并在所述用户界面提供有用户操作入口,供用户对预设标定模式选项执行选择操作。其中,上述预设标定模式可以包括:
实时标定模式,根据在预定三维空间内指定位置上的当前人员的人脸图像实时确定DMS的标定参数;
历史匹配模式,使用系统记录的、针对当前人员的历史标定参数;
默认标定模式,使用系统默认设置的标定参数。
本申请实施例中,计算机系统检测到针对监测系统的登录请求信息时,可以触发进入标定选择模式,为用户提供多个可选的标定模式,使得当前用户如处于智能车舱中的驾驶员或者辅助操作人员可以根据实际需求选择目标标定模式,实现监测系统的个性化标定功能。
根据目标标定模式的不同,上述步骤12的实施可以包括以下情况:
情况一,对应目标标定模式为实时标定模式的情况。
参见图5根据一示例性实施例示出的另一种标定方法的流程图,上述步骤12可以包括:
在步骤121中,在满足预设触发条件的情况下,采集所述预定三维空间内指定位置上的当前人员的人脸图像,获得人脸图像集合;
仍以智能车舱为例,本申请一实施例中,计算机系统在确定目标标定模式为实时标定模式后,若事先没有获取到当前人员处于正常驾驶状态或模拟驾驶状态的人脸图像数据,可以在满足预设触发条件的情况下指示图像采集设备采集驾驶位置上的当前人员的人脸图像数据,获得人脸图像集合。
本申请实施例中,以预定三维空间为智能车辆的车舱空间为例,上述预设触发条件可以包括以下任一项:
触发条件一:智能车辆的移动速率超过预设速率阈值;
当所述智能车辆的行驶速率超过预设速率阈值时,采集所述车舱空间中的驾驶员区域的人员的人脸图像。
在本申请一实施例中,计算机系统在确定实时标定模式后,可以检测智能车辆的移动速率,并将实时检测的车辆移动速率与预设速率阈值进行比较,当所述智能车辆的移动速率超过预设速率阈值时,指示摄像头采集驾驶员区域的人员的人脸图像,获得人脸图像集合。
上述预设速率阈值可以是人工设置的经验值,用于表征智能车辆处于正常行驶状态。例如,当智能车舱的移动速率超过上述预设速率阈值如10km/h时,表征当前车辆处于正常行驶状态,相应的,采集的人脸图像集合为驾驶员处于正常驾驶状态时的人脸图像集合,使得计算机系统利用正常驾驶状态时采集的人脸图像集合获得更加准确的标定参数。
触发条件二:检测到智能车辆中用于采集驾驶员位置处图像的图像采集设备上电;
本申请一实施例,计算机系统在确定了实时标定模式后,也可以在检测到智能车辆中用于采集驾驶员位置处图像的图像采集设备如置于中控台的摄像头上电后,自动采集所述车舱空间中驾驶员区域的人员的人脸图像。
在本申请另一实施例中,计算机系统在确定实时标定模式后,也可以在接收到“启动标定”的指令、并且用于采集驾驶员位置处的图像的图像采集设备处于上电状态,采集当前驾驶员的人脸图像数据。
在上述各实施例中,智能车辆中用于采集驾驶员位置处的图像的图像采集设备可以按照以下任一方式采集当前人员的人脸图像:
方式一:在预设时长内采集所述当前人员的人脸图像;
例如,图像采集设备可以针对驾驶员区域的人员采集预设时长比如5分钟的人脸图像数据,获得当前人员的人脸图像集合。
方式二:采集预设数量的所述当前人员的人脸图像;
例如,图像采集设备可以针对驾驶员区域的人员采集预设数量如100帧人脸图像数据,获得人脸图像集合。
在步骤122中,对所述人脸图像集合中的每一张人脸图像进行特征提取,获得标定样本数据;
本申请实施例中,计算机系统可以采用相关特征提取算法针对上述人脸图像集合中的每一帧人脸图像进行图像特征提取,获得标定样本数据,该标定样本数据中包括:所述人脸图像中人的头部姿态数据和/或眼部视线数据。
在步骤123中,根据所述标定样本数据确定所述当前应用场景中适用于所述当前人员的标定参数。
参见图6根据一示例性实施例示出的另一种标定方法的流程图,上述步骤123可以包括:
在步骤1231中,对所述标定样本数据进行聚类处理,获得标定样本数据的聚类中心;
本申请实施例中,计算机系统在根据人脸图像集合确定标定样本数据之后,可以采用预设聚类算法对上述标定样本数据进行聚类处理,获得标定样本数据的聚类中心。
其中,上述标定样本数据可以包括:头部姿态数据、眼部视线数据、或者,头部姿态数据和眼部视线数据。上述预设聚类算法可以是MeanShift均值漂移算法、K-Means算法、DBSCAN算法原理、BIRCH算法等聚类算法。
在步骤1232中,依据所述标定样本数据的聚类中心,确定所述监测系统适用于所述当前应用场景中所述当前人员的标定参数;
示例性的,参见图7根据一示例性实施例示出的一种确定聚类中心的示意图,假设计算机系统获取了100帧当前驾驶员小明的人脸图像,本申请可以利用神经网络提取上述人脸图像中的头部姿态数据和视线方向数据,其中,每一个头部姿态数据、眼部视线数据可以是由pitch俯仰角、yaw偏航角、roll翻滚角三个方向角度值构成的三维特征向量。图7中的每一个特征点代表一个三维特征向量,采用MeanShift算法对上述特征点进行聚类处理后得到两个聚类中心D1、D2,分别表示头部姿态数据的聚类中心、眼部视线数据的聚类中心。根据聚类处理后获得的聚类中心即可确定当前智能车辆中适用于当前驾驶员小明的DMS的标定参数。
在本申请另一实施例中,若根据上述步骤122确定的标定样本数据无法确定聚类中心,计算机系统可以指示摄像头重新采集当前人员的人脸图像数据并重新进行聚类处理,重复上述步骤直至可以获得聚类中心,进而确定当前人员在驾驶该智能车辆时适用的标定参数。
采用本申请实施例提供的标定方法,可以在每次检测到登录请求信息时,根据实时采集的人脸图像集合确定当前应用场景中适用于当前人员的系统标定参数,使得重新标定后的监测系统在当前人员驾驶车辆的过程中更准确地进行监控。
情况二、对应上述目标标定模式为历史匹配模式的情况。
参见图8根据一示例性实施例示出的另一种标定方法的流程图,上述步骤12可以包括:
在步骤1201中,采集所述预定三维空间的指定位置的当前人员的人脸图像;
在本申请一实施例中,若上述登录请求信息中不包括人脸图像,系统可以指示图像采集装置采集预定三维空间的指定位置的当前人员的人脸图像,以便后续根据该人脸图像从系统的标定数据库中匹配出适合当前人员的历史标定参数。
仍以智能车辆为例,系统可以指示摄像头实时采集至少一帧出现在驾驶位置的人脸图像,以便后续根据该人脸图像进行标定参数匹配。
在本申请另一实施例中,对应上述触发条件二,即系统根据图像采集设备上电后采集到的人脸图像,触发系统进行参数标定的情况,即登录请求信息中包括人脸图像,可以直接根据登录请求信息确定上述当前人脸图像。
在步骤1202中,确定标定数据库中是否存在与所述当前人员的人脸图像相匹配的目标人脸图像,所述标定数据库中包括:不同用户的人脸图像及其分别对应的历史标定参数;
系统在获取到当前人员的人脸图像之后,可以根据当前人员的人脸图像匹配标定数据库,查询上标定数据库中是否存在与当前人员的人脸图像相匹配的目标人脸图像。其中,上述标定数据库中存储有不同用户的人脸图像及其分别对应的历史标定参数。
在一实施例中,上述标定数据库可以记录为预设用户人脸图像与历史标定参数的对应关系。其中,上述预设用户是指在历史时刻已根据其人脸图像,对监测系统进行过参数标定的用户。
以标定数据库中包括三个用户A、B、C的历史标定参数为例,可以如下述表一所示:
表一
用户人脸图像 | 历史标定参数 |
图像A | 参数1 |
图像B | 参数2 |
图像C | 参数3 |
假设当前人员的人脸图像为图像P,计算机系统可以将图像P分别与图像A~C进行图像特征匹配,判断图像P中的人是否与图像A、B、C中的人属于同一个人,若是,执行步骤1203。
在步骤1203中,响应于所述标定数据库中存在所述目标人脸图像,将所述目标人脸图像对应的历史标定参数确定为所述监测系统适用于所述当前应用场景中所述当前人员的标定参数;
如上示例,假设当前人员的人脸图像P与图像A中包含相同的人脸特征,则将历史标定参数1确定为当前应用场景中适用于所述当前人员的标定参数。
本申请实施例中,计算机系统被设置为按照历史匹配模式确定当前应用场景中适用于当前人员的标定参数时,可以首先利用当前人员的人脸图像匹配标定数据库,确定标定数据库中是否存在与当前人员的人脸图像包含相同人脸特征的目标人脸图像,若存在,将目标人脸图像对应的历史标定参数确定为当前应用场景中适用于当前人员的标定参数,从而有效节约系统确定标定参数的时间。
对于在标定数据库中匹配不到目标人脸图像的情况,可以参见图9根据一示例性实施例示出的另一种标定方法的流程图,在上述步骤1202之后,上述步骤12还可以包括:
在步骤1204中,响应于所述标定数据库中不存在所述目标人脸图像,按照实时标定模式确定所述监测系统适用于所述当前应用场景中所述当前人员的标定参数。
仍如上示例,假设当前人员的人脸图像P中包含的人脸特征与图像A~C中的人脸特征均不相同,可按照上述步骤121~步骤123实时确定监测系统适用于所述当前应用场景中当前人员的标定参数。
本申请实施例中,计算机系统被设置为按照历史匹配模式确定适用于当前应用场景的标定参数时,可以首先利用当前人员的人脸图像匹配标定数据库,确定标定数据库中是否存在与当前人员的人脸图像包含相同人脸特征的目标人脸图像,若标定数据库中不存在上述目标人脸图像,可以按照实时标定模式实时确定在当前应用场景中适用于当前人员的标定参数,从而满足标定个性化需求。
情况三,对应上述目标标定模式为系统默认标定模式的情况。
本申请实施例中,DMS可以仅做一次标定,默认适用于所有驾驶员,并存储该默认标定参数。如果系统每一次开机都进行一次标定,由于每一次标定过程计算机系统都需要花费时间计算标定参数,影响用户快速使用监测功能。此种情况下,当前用户可以选择默认标定模式,将系统针对所有驾驶员确定的标定参数加载到当前DMS中,快速进入视觉监控状态。
计算机系统按照上述任一方式确定适用于当前应用场景的标定参数之后,可以将标定参数加载于DMS中,获得更新标定后的DMS。其中,在根据实时确定的标定参数更新监测系统的过程中,可以根据实际应用需要,依据当前用户的头部姿态数据的聚类中心,和/或,眼部视线的聚类中心更新DMS的标定参数,获得重新标定的DMS。
在预定三维空间,如DMS被标定之后,可以利用重新标定后的DMS在车辆行驶过程中对驾驶员进行监测,例如视觉监测,如注视区域检测、视线方向检测,实时监控驾驶员的注意力,实现更好的辅助驾驶功能。
因此,本申请实施例提供的标定方法,进一步还包括:
根据所述标定参数对所述当前应用场景中、所述人脸图像中的人进行监测,如视觉监测。具体为:将摄像头拍摄的人脸图像输入重新标定后的DMS中,输出视觉监测结果,该视觉监测结果可以是视线方向信息和/或注视区域类别值等信息。
在获取视觉监测结果之后,可以根据该视觉监测结果做进一步的应用。例如,可以根据注视区域类别检测结果,确定所述人脸图像对应的人的注意力监控结果。比如,注视区域类别检测结果可以是“在预设长度的时间段内,该驾驶员的注视区域一直是区域2”,那么,如果该区域2是右前挡风玻璃,说明该驾驶员的驾驶较为专心。如果该区域2是副驾驶前方的杂物箱区域,说明该驾驶员很有可能分心了,注意力不集中。
在检测出注意力监控结果后,可以输出所述注意力监控结果,例如,可以在车辆内的某个显示区域显示“驾驶很专心”。或者,还可以根据所述注意力监控结果输出分心提示信息,通过显示屏醒目显示方式或语音提示等方提示驾驶员“请集中注意力驾驶,确保行车安全”。当然,在具体信息输出时,可以输出注意力监控结果和分心提示信息中的至少一种信息。
通过视觉监测结果确定人的注意力监控结果或者输出分心提示信息,对于驾驶员注意力监控有着重要的帮助,能够有效检测出驾驶员注意力不集中的情况,及时进行提醒,降低事故发生风险,确保行车安全。
上述示例的描述中,都是以在智能驾驶车辆应用场景,监控驾驶员注意力为例进行说明,注视区域的检测可以有多种用途。如下示例几种可能的应用,但不局限于此:
例如,可以进行基于视觉监测的车机交互控制。车辆内可以设置有一些电子设备,如多媒体播放器,可以通过检测车辆内乘客的注视区域,自动控制该多媒体播放器开启播放功能。
示例性的,通过部署在车辆内的摄像头拍摄得到乘客的人脸图像,通过预先训练的神经网络检测出注视区域类别检测结果,例如该检测结果可以是在一段时长T内,该乘客的注视区域一直是车辆内的某个多媒体播放器上的“注视开启”选项所在的区域,则确定该乘客要开启该多媒体播放器,则输出相应的控制指令,控制多媒体播放器开始进行播放。
又例如,除了与车相关的应用之外,还可以包括游戏控制、智能家居设备控制、广告推送等多种应用场景。再以智能家居控制为例,可以采集目标控制人的人脸图像,通过参数标定后的视觉监测系统检测出注视区域类别检测结果,例如该检测结果可以是:在一段时长T内,该控制人的注视区域一直是智能空调上的“注视开启”选项所在的区域。根据上述检测结果可以确定该控制人要启动智能空调,则输出相应的控制指令,控制空调开启。
在本申请一实施例中,在上述步骤12之后,还可以包括:
步骤C,存储所述预定三维空间的空间类型信息与所述标定参数之间的对应关系;其中,预定三维空间的空间类型信息包括所述三维空间的结构信息,和/或,检测到人脸图像的图像采集装置与所述三维空间的相对位置信息。
本申请实施例中,预定三维空间的空间类型信息用于表示同一类型的三维空间,该同一类型的三维空间内的监测系统可以使用相同的标定参数。仍以预定三维空间是智能车辆的车舱空间为例,其空间类型信息可以是智能车辆的车型信息,和/或,车舱空间中用于拍摄驾驶人脸图像的图像采集装置在车舱空间中的位置信息。
本申请实施例可以适用于上述情况二或情况三中。针对上述情况二,即历史匹配模式,上述步骤C可以具体为:存储所述预定三维空间的空间类型信息、当前人员的人脸图像、标定参数之间的对应关系;以形成一条历史记录进行存储,进而获得更新后的标定数据库,使得当前人员在下次驾驶同一车辆时,监测系统可以根据实时采集的人脸图像从标定数据库中匹配到对应的历史标定参数,节约系统标定的时间成本。或者,当前人员驾驶同一车型的不同车辆时,将上述历史标定参数导入至同一车型的不同车辆的视觉监测系统中,实现监测系统在同一款车型、不同车辆间的空间迁移性。
针对上述情况三,即系统默认标定模式,在系统内未存储标定参数的情况下,可以将上述预定三维空间的空间类型信息与上述标定参数之间的对应关系进行存储,以使另一驾驶员或相同驾驶员在后序时刻驾驶同一类型车辆时使用系统已存储的标定参数,以实现针对同一空间类型的监测系统的空间迁移性。
关于上述数据即所述预定三维空间的空间类型信息与所述标定参数之间的对应关系的存储位置,可以是本地存储,也可以是云端存储,或者是存储于可移动存储介质如SD卡、U盘、移动硬盘等存储介质中,本申请对其存储位置不作限定。
对于同一类型的预定三维空间如同一车型,无需重新确定标定参数,直接指定存储位置获取针对相同车型的标定参数即可,节约监测系统标定的时间成本,实现针对同一空间类型的监测系统的空间迁移性。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于数据处理设备实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本公开并不受所描述的动作顺序的限制,因为依据本公开,某些步骤可以采用其他顺序或者同时进行。
其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于可选实施例,所涉及的动作和模块并不一定是本公开所必须的。
与前述应用功能实现方法实施例相对应,本公开还提供了应用功能实现装置及相应终端的实施例。
本申请提供了一种标定装置,设置于预定三维空间的监测系统中。参见图10根据一示例性实施例示出的一种标定装置的结构框图,所述装置可以包括:
目标模式确定模块21,被配置为在检测到针对所述监测系统的登录请求信息时,确定目标标定模式;
标定参数确定模块22,被配置为根据所述目标标定模式和当前在所述预定三维空间内检测到的人脸图像,确定所述监测系统适用于当前应用场景的标定参数;
参数加载模块23,被配置为将所述标定参数加载到所述监测系统中。
在本申请另一装置实施例中,所述目标模式确定模块21,可以被配置为当检测到所述登录请求信息时,将一个预设标定模式确定为所述目标标定模式。
参见图11根据一示例性实施例示出的另一种标定装置的结构框图,在图10所示装置实施例的基础上,所述目标模式确定模块21可以包括:
选择模式触发子模块211,被配置为在检测到所述登录请求信息时,触发进入标定选择模式;
目标模式确定子模块212,被配置为响应于检测到针对一个预设标定模式选项的选择操作,将所述选择操作指示的所述预设标定模式确定为所述目标标定模式。
在本申请实施例中,所述登录请求信息可以包括:
在所述预定三维空间的指定位置检测到人脸图像;或者,
用户输入的、请求登录系统的用户信息。
在本申请实施例中,所述预设标定模式可以包括以下任一项:实时标定模式、历史匹配模式、默认标定模式。
在本申请一装置实施例中,所述目标标定模式为所述实时标定模式;相应的,参见图12根据一示例性实施例示出的另一标定装置的结构框图,在图10所示装置实施例的基础上,所述标定参数确定模块22,可以包括:
图像采集子模块221,被配置为在满足预设触发条件的情况下,采集所述预定三维空间内指定位置上的当前人员的人脸图像,获得人脸图像集合;
特征提取子模块222,被配置为对所述人脸图像集合中的每一张人脸图像进行特征提取,获得标定样本数据;
第一确定子模块223,被配置为根据所述标定样本数据确定所述监测系统适用于所述当前应用场景中所述当前人员的标定参数。
在本申请一装置实施例中,所述预定三维空间可以为智能车辆的车舱空间。相应的,所述图像采集子模块221,可以被配置为当所述智能车辆的行驶速率超过预设速率阈值时,采集所述车舱空间中的驾驶员区域的人员的人脸图像。
在本申请另一装置实施例中,所述预定三维空间可以为智能车辆的车舱空间;
所述图像采集子模块221,可以被配置为当所述智能车辆中用于采集驾驶员位置处的图像的图像采集设备上电后,采集所述车舱空间中的驾驶员区域的人员的人脸图像。
在本申请另一装置实施例中,所述预定的三维空间为智能车辆的车舱空间;
所述图像采集子模块221,可以被配置为当接收到预设的指令、且所述智能车辆中用于采集驾驶员位置处的图像的图像采集设备上电后,采集所述车舱空间中的驾驶员区域的人员的人脸图像。
在本申请提供的上述任一装置实施例中,所述图像采集子模块221可以按照以下任一方式采集所述当前人员的人脸图像:
在预设时长内采集所述当前人员的人脸图像;
采集预设数量的所述当前人员的人脸图像。
参见图13根据一示例性实施例示出的另一标定装置的结构框图,在图12所示装置实施例的基础上,所述第一确定子模块223,可以包括:
聚类处理单元2231,被配置为对所述标定样本数据进行聚类处理,获得所述标定样本数据的聚类中心;
参数确定单元2232,被配置为依据所述标定样本数据的聚类中心,确定所述监测系统适用于所述当前应用场景中所述当前人员的标定参数;
其中,所述标定样本数据可以包括:所述人脸图像中人的头部姿态数据和/或眼部视线数据。
在本申请一装置实施例中,所述目标标定模式可以为所述历史匹配模式;参见图14根据一示例性实施例示出的另一种标定装置的结构框图,在图10所示装置实施例的基础上,所述标定参数确定模块22,可以包括:
人脸图像采集子模块2201,被配置为采集所述预定三维空间的指定位置的当前人员的人脸图像;
匹配子模块2202,被配置为确定标定数据库中是否存在与所述当前人员的人脸图像相匹配的目标人脸图像,所述标定数据库包括:不同用户的人脸图像及其分别对应的历史标定参数;
第二确定子模块2203,被配置为响应于所述标定数据库中存在所述目标人脸图像,将所述目标人脸图像对应的历史标定参数确定为所述监测系统适用于所述当前应用场景中所述当前人员的标定参数。
参见图15根据一示例性实施例示出的另一种标定装置的结构框图,与图14所示装置实施例不同,所述装置还可以包括:
第三确定子模块2204,被配置为响应于所述标定数据库中不存在所述目标人脸图像,按照实时标定模式确定所述监测系统适用于所述当前应用场景中所述当前人员的标定参数。
在本申请另一标定装置实施例中,所述目标标定模式可以为默认标定模式;
相应的,所述标定参数确定模块22,可以被配置为将系统默认设置的标定参数确定为所述监测系统适用于当前应用场景中当前人员的标定参数。
参见图16根据一示例性实施例示出的另一种标定装置的结构框图,在图10~15任一所示装置实施例的基础上,所述装置还可以包括:
监测模块24,被配置为根据所述标定参数对所述当前应用场景中、所述人脸图像中的人进行监测。
在本申请一标定装置实施例中,所述监测模块24,可以被配置为根据所述标定参数对所述当前应用场景中,所述人脸图像中的人进行视觉监测;
相应的,所述装置还可以包括:
第一监测结果获取模块,被配置为获取视觉监测结果;
注意力确定模块,被配置为根据视觉监测结果,确定所述人脸图像对应的人的注意力监控结果;
输出模块,被配置为输出所述注意力监控结果,和/或,根据所述注意力监控结果输出分心提示信息。
在本申请另一标定装置实施例中,所述监测模块24,可以被配置为根据所述标定参数对所述当前应用场景中,所述人脸图像中的人进行视觉监测;
相应的,所述装置还可以包括:
第二监测结果获取模块,被配置为获取视觉监测结果,所述视觉监测结果包括注视区域类别检测结果;
控制指令确定模块,被配置为确定与所述注视区域类别检测结果对应的控制指令;
控制模块,被配置为控制电子设备执行与所述控制指令相应的操作。
在本申请一标定装置实施例中,所述装置还可以包括:
存储模块,被配置为存储所述预定三维空间的空间类型信息与所述标定参数之间的对应关系,所述预定三维空间的空间类型信息包括所述三维空间的结构信息,和/或,检测到人脸图像的图像采集装置与所述三维空间的相对位置信息。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
对应于上述的标定方法,本申请实施例还提出了图17所示的根据本申请的一示例性实施例的电子设备的示意结构图。请参考图17,在硬件层面,该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器,当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行,在逻辑层面上形成标定装置。当然,除了软件实现方式之外,本申请并不排除其他实现方式,比如逻辑器件抑或软硬件结合的方式等等,也就是说以下处理流程的执行主体并不限定于各个逻辑单元,也可以是硬件或逻辑器件。
本领域技术人员应明白,本说明书一个或多个实施例可提供为方法、系统或计算机程序产品。因此,本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书实施例还提供一种计算机可读存储介质,该存储介质上可以存储有计算机程序,所述程序被处理器执行时实现本说明书图1至图7任一实施例提供的标定方法的步骤。
本说明书中描述的主题及功能操作的实施例可以在以下中实现:数字电子电路、有形体现的计算机软件或固件、包括本说明书中公开的结构及其结构性等同物的计算机硬件、或者它们中的一个或多个的组合。本说明书中描述的主题的实施例可以实现为一个或多个计算机程序,即编码在有形非暂时性程序载体上以被数据处理装置执行或控制数据处理装置的操作的计算机程序指令中的一个或多个模块。可替代地或附加地,程序指令可以被编码在人工生成的传播信号上,例如机器生成的电、光或电磁信号,该信号被生成以将信息编码并传输到合适的接收机装置以由数据处理装置执行。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备、或它们中的一个或多个的组合。
本说明书中描述的处理及逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机执行,以通过根据输入数据进行操作并生成输出来执行相应的功能。所述处理及逻辑流程还可以由专用逻辑电路—例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)来执行,并且装置也可以实现为专用逻辑电路。
适合用于执行计算机程序的计算机包括,例如通用和/或专用微处理器,或任何其他类型的中央处理单元。通常,中央处理单元将从只读存储器和/或随机存取存储器接收指令和数据。计算机的基本组件包括用于实施或执行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。通常,计算机还将包括用于存储数据的一个或多个大容量存储设备,例如磁盘、磁光盘或光盘等,或者计算机将可操作地与此大容量存储设备耦接以从其接收数据或向其传送数据,抑或两种情况兼而有之。然而,计算机不是必须具有这样的设备。此外,计算机可以嵌入在另一设备中,例如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏操纵台、全球定位系统(GPS)接收机、或例如通用串行总线(USB)闪存驱动器的便携式存储设备,仅举几例。
适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、媒介和存储器设备,例如包括半导体存储器设备(例如EPROM、EEPROM和闪存设备)、磁盘(例如内部硬盘或可移动盘)、磁光盘以及CD ROM和DVD-ROM盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。
虽然本说明书包含许多具体实施细节,但是这些不应被解释为限制任何发明的范围或所要求保护的范围,而是主要用于描述特定发明的具体实施例的特征。本说明书内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面,在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外,虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护,但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除,并且所要求保护的组合可以指向子组合或子组合的变型。
类似地,虽然在附图中以特定顺序描绘了操作,但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行,以实现期望的结果。在某些情况下,多任务和并行处理可能是有利的。此外,上述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中均需要这样的分离,并且应当理解,所描述的程序组件和系统通常可以一起集成在单个软件产品中,或者封装成多个软件产品。
由此,主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下,权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外,附图中描绘的处理并非必需所示的特定顺序或顺次顺序,以实现期望的结果。在某些实现中,多任务和并行处理可能是有利的。
以上所述仅为本说明书一个或多个实施例的较佳实施例而已,并不用以限制本说明书一个或多个实施例,凡在本说明书一个或多个实施例的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本说明书一个或多个实施例保护的范围之内。
Claims (10)
1.一种标定方法,其特征在于,应用于预定三维空间的监测系统中,所述方法包括:
在检测到针对所述监测系统的登录请求信息时,确定目标标定模式;
根据所述目标标定模式和当前在所述预定三维空间内检测到的人脸图像,确定所述监测系统适用于当前应用场景的标定参数;
将所述标定参数加载到所述监测系统中。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据所述标定参数对所述当前应用场景中、所述人脸图像中的人进行监测。
3.根据权利要求2所述的方法,其特征在于,所述根据所述标定参数对所述当前应用场景中,所述人脸图像中的人进行监测,包括:
根据所述标定参数对所述当前应用场景中,所述人脸图像中的人进行视觉监测;
所述方法还包括:
获取视觉监测结果;
根据所述视觉监测结果,确定所述人脸图像对应的人的注意力监控结果;
输出所述注意力监控结果,和/或,根据所述注意力监控结果输出分心提示信息。
4.根据权利要求2所述的方法,其特征在于,所述根据所述标定参数对所述当前应用场景中,所述人脸图像中的人进行监测,包括:
根据所述标定参数对所述当前应用场景中,所述人脸图像中的人进行视觉监测;
所述方法还包括:
获取视觉监测结果,所述视觉监测结果包括注视区域类别检测结果;
确定与所述注视区域类别检测结果对应的控制指令;
控制电子设备执行与所述控制指令相应的操作。
5.一种标定装置,其特征在于,设置于预定三维空间的监测系统中,所述装置包括:
目标模式确定模块,被配置为在检测到针对所述监测系统的登录请求信息时,确定目标标定模式;
标定参数确定模块,被配置为根据所述目标标定模式和当前在所述预定三维空间内检测到的人脸图像,确定所述监测系统适用于当前应用场景的标定参数;
参数加载模块,被配置为将所述标定参数加载到所述监测系统中。
6.根据权利要求5所述的装置,其特征在于,所述装置还包括:
监测模块,被配置为根据所述标定参数对所述当前应用场景中、所述人脸图像中的人进行监测。
7.根据权利要求6所述的装置,其特征在于,所述监测模块,被配置为根据所述标定参数对所述当前应用场景中,所述人脸图像中的人进行视觉监测;
所述装置还包括:
第一监测结果获取模块,被配置为获取视觉监测结果;
注意力确定模块,被配置为根据所述视觉监测结果,确定所述人脸图像对应的人的注意力监控结果;
输出模块,被配置为输出所述注意力监控结果,和/或,根据所述注意力监控结果输出分心提示信息。
8.根据权利要求6所述的装置,其特征在于,所述监测模块,被配置为根据所述标定参数对所述当前应用场景中,所述人脸图像中的人进行视觉监测;
所述装置还包括:
第二监测结果获取模块,被配置为获取视觉监测结果,所述视觉监测结果包括注视区域类别检测结果;
控制指令确定模块,被配置为确定与所述注视区域类别检测结果对应的控制指令;
控制模块,被配置为控制电子设备执行与所述控制指令相应的操作。
9.一种计算机可读存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述权利要求1-4中任一项所述的方法。
10.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现上述权利要求1-4中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910994212.9A CN112686958A (zh) | 2019-10-18 | 2019-10-18 | 标定方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910994212.9A CN112686958A (zh) | 2019-10-18 | 2019-10-18 | 标定方法、装置及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112686958A true CN112686958A (zh) | 2021-04-20 |
Family
ID=75444987
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910994212.9A Pending CN112686958A (zh) | 2019-10-18 | 2019-10-18 | 标定方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112686958A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113552905A (zh) * | 2021-06-22 | 2021-10-26 | 歌尔光学科技有限公司 | 车载hud的位置调整方法及系统 |
WO2023231653A1 (zh) * | 2022-05-31 | 2023-12-07 | 上海商汤智能科技有限公司 | 一种车载相机的标定方法及装置、计算机设备、存储介质和产品 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101067402A (zh) * | 2007-04-12 | 2007-11-07 | 上海依波尔汽车电子有限公司 | 实时的电控发动机在线标定监测系统 |
CN102646277A (zh) * | 2012-03-05 | 2012-08-22 | 上海海事大学 | 一种具有实时参数监控和在线标定功能的视觉系统 |
CN102874188A (zh) * | 2012-09-01 | 2013-01-16 | 北京车网互联科技股份有限公司 | 一种基于车辆总线数据的驾驶行为警示方法 |
CN106218551A (zh) * | 2016-07-29 | 2016-12-14 | 北京车和家信息技术有限责任公司 | 汽车的标定方法 、标定终端及标定系统 |
CN106296703A (zh) * | 2016-08-16 | 2017-01-04 | 上海商泰汽车信息系统有限公司 | 标定板、摄像头标定方法和装置 |
CN106558078A (zh) * | 2015-09-24 | 2017-04-05 | 杭州海康威视数字技术股份有限公司 | 一种双目立体视觉摄像机及其摄像方法 |
CN107330942A (zh) * | 2017-06-20 | 2017-11-07 | 成都通甲优博科技有限责任公司 | 一种标定模板、标定方法、标定操作方法及标定系统 |
WO2018129990A1 (zh) * | 2017-01-10 | 2018-07-19 | 中兴通讯股份有限公司 | 一种显示特征参数调节方法及终端 |
CN109191536A (zh) * | 2018-10-31 | 2019-01-11 | 百度在线网络技术(北京)有限公司 | 车载摄像头的自动标定方法和装置 |
CN109410285A (zh) * | 2018-11-06 | 2019-03-01 | 北京七鑫易维信息技术有限公司 | 一种校准方法、装置、终端设备及存储介质 |
CN109795319A (zh) * | 2019-01-15 | 2019-05-24 | 威马智慧出行科技(上海)有限公司 | 检测和干预驾驶员疲劳驾驶的方法、装置和系统 |
-
2019
- 2019-10-18 CN CN201910994212.9A patent/CN112686958A/zh active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101067402A (zh) * | 2007-04-12 | 2007-11-07 | 上海依波尔汽车电子有限公司 | 实时的电控发动机在线标定监测系统 |
CN102646277A (zh) * | 2012-03-05 | 2012-08-22 | 上海海事大学 | 一种具有实时参数监控和在线标定功能的视觉系统 |
CN102874188A (zh) * | 2012-09-01 | 2013-01-16 | 北京车网互联科技股份有限公司 | 一种基于车辆总线数据的驾驶行为警示方法 |
CN106558078A (zh) * | 2015-09-24 | 2017-04-05 | 杭州海康威视数字技术股份有限公司 | 一种双目立体视觉摄像机及其摄像方法 |
CN106218551A (zh) * | 2016-07-29 | 2016-12-14 | 北京车和家信息技术有限责任公司 | 汽车的标定方法 、标定终端及标定系统 |
CN106296703A (zh) * | 2016-08-16 | 2017-01-04 | 上海商泰汽车信息系统有限公司 | 标定板、摄像头标定方法和装置 |
WO2018129990A1 (zh) * | 2017-01-10 | 2018-07-19 | 中兴通讯股份有限公司 | 一种显示特征参数调节方法及终端 |
CN107330942A (zh) * | 2017-06-20 | 2017-11-07 | 成都通甲优博科技有限责任公司 | 一种标定模板、标定方法、标定操作方法及标定系统 |
CN109191536A (zh) * | 2018-10-31 | 2019-01-11 | 百度在线网络技术(北京)有限公司 | 车载摄像头的自动标定方法和装置 |
CN109410285A (zh) * | 2018-11-06 | 2019-03-01 | 北京七鑫易维信息技术有限公司 | 一种校准方法、装置、终端设备及存储介质 |
CN109795319A (zh) * | 2019-01-15 | 2019-05-24 | 威马智慧出行科技(上海)有限公司 | 检测和干预驾驶员疲劳驾驶的方法、装置和系统 |
Non-Patent Citations (3)
Title |
---|
PAVEL ROJTVERG: "User Guidance for Interactive Camera Calibration", INTERNATIONAL CONFERENCE ON HUMAN-COMPUTER INTERACTION, 8 June 2019 (2019-06-08), pages 268 - 276, XP047512932, DOI: 10.1007/978-3-030-21607-8_21 * |
柴萌: "长途客车驾驶员疲劳状态辨识与预警", 中国博士学位论文全文数据库 工程科技I辑, no. 10, 15 October 2019 (2019-10-15), pages 026 - 3 * |
陈康;吴开华;: "轮对在线检测中基于异面特征点的摄像机标定", 光学仪器, no. 01, 15 February 2016 (2016-02-15), pages 1 - 5 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113552905A (zh) * | 2021-06-22 | 2021-10-26 | 歌尔光学科技有限公司 | 车载hud的位置调整方法及系统 |
WO2023231653A1 (zh) * | 2022-05-31 | 2023-12-07 | 上海商汤智能科技有限公司 | 一种车载相机的标定方法及装置、计算机设备、存储介质和产品 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108725357B (zh) | 基于人脸识别的参数控制方法、系统与云端服务器 | |
US9990554B1 (en) | Apparatuses, systems and methods for determining vehicle operator distractions | |
CN111709264A (zh) | 驾驶员注意力监测方法和装置及电子设备 | |
CN111723828A (zh) | 注视区域检测方法、装置及电子设备 | |
CN105829938B (zh) | 用于制作场景图像的设备 | |
JP5187517B2 (ja) | 情報提供装置、情報提供方法およびプログラム | |
CN112686958A (zh) | 标定方法、装置及电子设备 | |
US20200007759A1 (en) | Album generation apparatus, album generation system, and album generation method | |
CN103727879A (zh) | 计算和显示在显示器图像中检测的物体高度的装置和方法 | |
EP3956807A1 (en) | A neural network for head pose and gaze estimation using photorealistic synthetic data | |
CN110826370A (zh) | 车内人员的身份识别方法、装置、车辆及存储介质 | |
CN103869975A (zh) | 车辆中利用手腕角度操作用户界面的系统和方法 | |
US11922705B2 (en) | Apparatuses, systems and methods for generation and transmission of vehicle operation mode data | |
CN110297576A (zh) | 一种信息显示方法、装置和车辆 | |
CN112652174B (zh) | 基于人脸验证的停车服务控制方法和系统 | |
JP6478221B2 (ja) | 人物特定装置およびプログラム | |
CN115273489B (zh) | 车身颜色调节方法、装置、系统及存储介质 | |
CN110722982B (zh) | 试驾车辆的超载处理方法、装置、电子设备与存储介质 | |
WO2018016202A1 (ja) | 生体情報記憶システム、及び、車内生体情報記憶装置 | |
CN107832726B (zh) | 使用者识别和确认装置及车用中央控制系统 | |
CN109445597A (zh) | 一种应用于终端的操作提示方法、装置和终端 | |
CN111862576A (zh) | 追踪嫌疑目标的方法及相应的车辆、服务器、系统和介质 | |
CN112905292A (zh) | 一种显示方法、装置和车辆 | |
CN113539010A (zh) | 一种驾驶模拟方法、装置、设备及存储介质 | |
US20210302179A1 (en) | Server device, control device, program, vehicle, and operation method of information processing system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |