CN114202677A - 认证车辆内部中的乘员的方法和系统 - Google Patents

Abstract

提供了一种认证车辆内部中的乘员的方法和系统。车辆包括被配置成监控车辆内部的摄像头，以及被配置成处理由摄像头提供的图像或视频数据的处理装置。确定经由摄像头可见的特有特征，并且当乘员存在于车辆内部时，经由摄像头捕获认证图像或视频数据。应有处理装置，基于认证图像或视频数据对乘员执行面部识别和活动性检查，并且在认证图像或视频数据内确定特有特征的识别程度。基于面部识别、活动性检查和识别程度，确定是否接受对乘员的认证。

Description

认证车辆内部中的乘员的方法和系统

技术领域

本公开涉及认证车辆内部中的乘员的方法和系统。

背景技术

汽车制造商、车队运营商和移动服务提供商目前对认证车辆内部中的乘员的方法具有相当大的兴趣，例如，以便为乘员提供对某些服务的访问并为乘员授权某些动作。这样的服务和动作可以包括金融交易以及对个人或敏感数据的访问。

基于视觉的面部认证是可以为车辆乘员提供便利认证的关键技术之一。基于视觉的面部认证基于面部识别技术，然而，面部识别技术必须包括针对试图实现未授权访问的攻击者的保护措施。在本文中，术语“欺骗”是指试图欺骗认证系统而不正确地提供对系统、服务或功能的访问的过程。在存在欺骗的情况下，使系统相信存在真实的人，而不管该人的身份如何。一个示例是存在人的人体模型或海报，其被放置在例如车辆中，使得其看起来像真实的人。在认证欺骗的情况下，系统不仅会识别出有人，而且还会错误地识别该人。作为示例，可以向系统显示要识别的人的视频，或者可以利用化妆来改变人在摄像头视图中的真实外貌。

为了改进基于面部识别的面部认证，可以执行附加的活动性检查以确保面部在认证期间不是静止的。换句话说，必须有面部的一些活动，以便证明是活人正在试图得到认证。

然而，附加的活动性检查仅防止被静态图像欺骗。该系统仍然可能受到攻击，例如受到真人的视频播放或三维面具的攻击。

因此，需要一种提供对车辆中乘员的安全且可靠的认证的方法和系统。

发明内容

本公开提供了一种计算机实现方法、计算机系统和非暂时性计算机可读介质。在从属权利要求、说明书和附图中给出了实施方式。

在一个方面中，本公开涉及一种认证车辆内部中的乘员的计算机实现方法，该车辆包括被配置成监控车辆内部的摄像头并且包括被配置成处理由该摄像头提供的图像或视频数据的处理装置。根据该方法，确定经由摄像头可见的特有特征。当车辆内部存在乘员时，通过摄像头捕获认证图像或视频数据。通过处理装置，基于认证图像或视频数据对乘员执行面部识别和活动性检查。通过处理装置确定认证图像或视频数据内的特有特征的识别程度。最后，通过处理装置基于面部识别、活动性检查和特有特征的识别程度来确定是否接受乘员的身份认证。

除了一个或更多个乘员之外，所述特有特征可以是车辆内部中可由摄像头识别的物品。特有特征的示例是静态特征或标志，如车窗的边缘、A柱、B柱和/或C柱、车顶和中央控制台的部分。图像或视频数据可以是在预定时间段期间捕获的单个画面的序列或整个视频。识别程度可以被定义为在捕获认证图像或视频数据时可见的特有特征的数量与在执行第一方法步骤之后可能已知的特有特征的总数的比率。

摄像头可以是RGB摄像头，即配备有标准CMOS传感器的摄像头，通过该标准CMOS传感器检测可见光以获取人和物体的彩色图像。另选地，摄像头可以是近红外(NIR)摄像头或二者的结合，即IR RGB摄像头。虽然这些类型的摄像头通常可以提供二维(2D)图像或视频数据，但是也可以应用飞行时间摄像头、立体摄像头系统或结构光3D摄像头。这些摄像头系统可以提供包括在图像或视频数据中的3D(三维)信息。基于该3D信息，可以针对乘员包括进一步的认证检查。

根据该方法，在乘员可以通过认证之前，即除了面部识别和活动性检查之外，必须在认证图像或视频数据中识别出特有特征的至少一部分。即，除了在乘员的面部内的静态或移动特征之外，独立于乘员的特有特征必须在认证图像或视频数据内被正确地识别出以用于成功的认证。

因此，很难利用不是在车辆内部从摄像头的准确位置捕获的视频剪辑或者甚至静态图像来欺骗认证过程。例如，从社交媒体频道拍摄的简档图片将不能通过认证。

即使来自安装在车辆中的实际摄像头的视频流是可用的，例如通过从车辆内部捕获视频呼叫，也将需要在摄像头之前回放视频流以用于认证，并且例如车辆内部的标志的特有特征必须精确地匹配通过在方法开始时确定特有特征而提供的预期。因此，通过请求与乘员无关的特有特征的特定识别程度，额外保护认证免受基于视频流的这种欺骗攻击。

这同样适用于所谓的“深度伪装”，其中攻击者通过安装在车辆内部的摄像头(例如通过视频呼叫)在车辆内部记录视频，并且另外用已知要用于认证的目标人的二维图片代替他自己的面部。可以通过使用人工神经网络和运动传递技术来执行这种“深度伪装”。即使在这种情况下，也很难使用例如平面屏幕来正确地重放这种视频，使得所有的特有特征都与上述的预期相匹配。

然而，欺骗认证还剩一种可能性可以是显示器被保持在乘员面部的前面，并且显示已知要用于面部识别的人的真实大小的肖像，即，此时攻击乘员正坐在座舱中。关于特有特征的检查在这种情况下可能被通过。然而，可以添加对象检测方法或者可以训练神经网络来区分真实的乘员与在显示已知人的另一面部的面部前方持有屏幕或其它设备的乘员。

此外，可以在图像或视频数据中检测和跟踪乘员的手和手臂，并且可以基于该信息实现用于认证的附加约束。例如，在认证过程中，在乘员的面部附近应该没有手，以使得更难以将屏幕保持在适当的位置。乘员将图片或屏幕保持在面部前面的情况可以通过这种方式容易地检测出并拒绝。此外，这种附加的检查可以扩展到例如在后座中在待认证的乘员的面部的前方保持图片或屏幕的第二乘员。

仍然是欺骗认证的另一种方式是使用来自目标摄像头的预先记录的视频或这种视频的深度伪装版本，并直接将其与处理单元连接，即中断摄像头连接并用视频回放来仿真摄像头，而不是在显示器上显示视频并由实际摄像头记录。可以实现例如基于网络安全或加密方法的附加机制来检测和阻止这类攻击。此外，可以引入附加的认证步骤，下面将概述其示例。

为了执行该方法，仅需要摄像头和处理装置，其中摄像头通常无论如何在当前车辆中都有，并且处理装置仅须适用于该方法，例如通过能够控制方法步骤的适当软件。因此，根据本公开的方法可以使用传统的计算机视觉装置和方法以及例如机器学习方法容易地以低成本来实现。

该方法可以包括以下特征中的一个或更多个：

确定特有特征可以包括：在车辆内部不存在任何乘员的情况下经由摄像头捕获背景图像或视频数据；以及从背景图像或视频数据中选择特有特征。所述特有特征可以在校准阶段期间在没有任何乘员出现在车辆内部的情况下从背景图像或视频数据中手动选择。另选地，可以通过将背景图像或视频数据与在车辆内部外部捕获的另外的图像或视频数据进行比较，从背景图像或视频数据中自动选择特有特征。

确定所述认证图像或视频数据内的所述特有特征的识别程度可以包括：针对所述特有特征中的每一个，确定相应特有特征在所述认证图像或视频数据内是否可见；确定所述认证图像或视频数据的可见特有特征的数量；以及仅当所述可见特有特征的数量超过预定义阈值时才接受对所述乘员的认证。

另选地，确定特有特征可以包括：在车辆内部不存在任何乘员的情况下经由摄像头捕获背景图像或视频数据；经由摄像头捕获车辆内部外部的另外的图像或视频数据；以及基于背景图像或视频数据和所述另外的图像或视频数据来训练关于特有特征的图像分类器。可以通过在认证图像或视频数据上使用经过训练的图像分类器来确定特有特征的识别程度。

每个特有特征可以与预期图像部分和预期图像部分的预期位置相关。可以在认证图像或视频数据内检测乘员身体关键点的多个位置，并且可以将乘员身体关键点的位置之间的距离与预定距离范围进行比较。只有当至少预定数量的距离落入预定距离范围时，才可以接受对乘员的认证。在捕获认证图像或视频数据期间，可以在车辆内部改变照明强度，并且仅当认证图像或视频数据内的检测强度根据照明强度的改变而改变时，才可以接受对乘员的认证。

可以定义至少一个认证区域，乘员的面部将位于该认证区域中以进行在车辆内部的认证。基于认证图像或视频数据，可以确定乘员的面部是否位于认证区域内，并且仅当确定乘员的面部位于认证区域内时才接受对乘员的认证。确定是否接受对乘员的认证可以另外基于另一认证请求。另外的认证请求可以包括：定义将由乘员执行并且适合于由摄像头监控的任务；在预期乘员执行该任务时经由摄像头捕获任务图像或视频数据；以及经由处理装置基于任务图像或视频数据确定是否接受对乘员的认证。

根据一个实施方式，确定特有特征可以包括：在车辆内部不存在任何乘员的情况下经由摄像头捕获背景图像或视频数据；以及从背景图像或视频数据中选择特有特征。由于从背景图像或视频数据的选择，特有特征可以与在车辆内部可见的静态特征相关。通过对这些静态特征的复杂选择，可以改进认证针对攻击者的保护。

可以在校准阶段期间在没有任何乘员出现在车辆内部的情况下从背景图像或视频数据中手动选择特有特征。这种校准阶段可以是车辆的制造过程或维护服务的一部分。手动选择可以确保不会选择错误的特有特征。另选地，可以通过将这些数据与在车辆内部外部捕获的另外的图像或视频数据进行比较来从背景图像或视频数据中自动选择特有特征。即，可以提供两组图像或视频序列用于自动选择，即，一组在车辆内部捕获，一组在外部捕获。这种自动选择可以减少初始化和执行认证方法的工作量。然而，自动选择的特有特征可以在以后由专家手动检查，以便去除不应该用于认证方法的错误的特有特征。

根据另一实施方式，确定认证图像或视频数据内的特有特征的识别程度可以包括：针对每个特有特征，确定相应的特有特征在认证图像或视频数据内是否可见；确定认证图像或视频数据的可见特有特征的数量；以及仅当可见特有特征的数量超过预定阈值时才接受对乘员的认证。阈值可以是预定义的，但可针对单个车辆进行配置。此外，可以将阈值定义为在捕获认证图像或视频数据之前确定或选择的特有特征的总数的百分比。对认证图像或视频数据内的可见特有特征的数量进行计数可以是用于确定识别程度的直接方式。这可以提高该方法的性能并降低其实现的成本。

根据另一实施方式，确定特有特征可以包括：在车辆内部不存在任何乘员的情况下经由摄像头捕获背景图像或视频数据；经由摄像头捕获车辆内部外部的另外的图像或视频数据；以及基于背景图像或视频数据和所述另外的图像或视频数据来训练关于特有特征的图像分类器。此外，可以通过在认证图像或视频数据上使用经过训练的图像分类器来确定特有特征的识别程度。详细地，分类器可以从认证图像或视频数据输出置信度或似然性得分，该置信度或似然性得分定义了在目标环境中(即在车辆的内部)已经获取预定输入的可能性。

要训练的图像分类器可以是机器学习算法，例如卷积神经网络，其可以被训练用于将认证图像或视频数据与背景图像或视频数据区分开并且用于识别特有特征。通过使用经训练的图像分类器来确定识别程度，可以在几乎没有人的交互的情况下执行该方法，即，作为包括训练图像分类器的端到端方法，用于通过确定识别程度来产生用于认证乘员的附加障碍。

各特有特征可以与预期图像部分和预期图像部分的预期位置相关。预期位置可以被定义为相对于摄像头的坐标，其可以提供车辆内部的坐标系的原点。因此，除了定义相应特有特征的“形状”的预期图像部分之外，其预期位置可以被定义并存储在例如车辆的处理装置的数据库中。由于期望的位置(即校准的坐标)对于向摄像头提供图像或视频数据的攻击者来说最可能是未知的，因此可以额外地改进对认证的保护。

根据另一实施方式，可以在认证图像或视频数据内检测乘员身体关键点的多个位置，并且可以将乘员身体关键点的位置之间的距离与预定距离范围进行比较。即，可以确定检测到的位置是否在预定距离范围内。只有当至少预定数量的距离落入预定距离范围时，才可以接受对乘员的认证。此外，可以针对身体关键点的位置检查一个以上的乘员。这种对乘员身体关键点的检查可以是要接受的乘员身份认证的附加或冗余条件，即除了特有特征的识别程度之外。因此，可以通过另外检查身体关键点来改进针对攻击者的保护。另一方面，在特征的检查可能失败的情况下，对乘员身体关键点的检查可以代替对特有特征的检查。

根据另一实施方式，可以在捕获认证图像或视频数据期间改变车辆内部的照明强度。例如，可以打开和关闭车辆内的光源以改变照明强度。只有当认证图像或视频数据内的检测强度根据照明强度的变化而变化时，才可以接受对乘员的认证。例如，在认证图像或视频数据内可能存在预期的亮度和/或对比度变化，这可以在监控例如特征特性时确定。照明强度的这种变化或调制可以用作进一步检查摄像头是否正在真正观察车辆内部或用于欺骗的一些伪视频。此外，可以使用红外源在短时间内照明，并且可以在认证图像或视频数据内检测对应的响应，即关于可用于附加照明的红外波长的响应。

根据另一个实施方式，可以限定至少一个认证区域，乘员的面部将位于该认证区域中以便在车辆的内部进行认证。基于认证图像或视频数据，可以确定乘员的面部是否位于认证区域内。只有当确定乘员的面部在认证区域内时，才可以接受对乘员的认证。然而，乘员的面部可以在认证区域之外一段短的预定时间段，并且对乘员的认证仍然可以被接受。关于至少一个认证区域的这种检查可以是关于认证的欺骗攻击的另一障碍。

确定是否接受对乘员的认证可以另外基于另一认证请求。例如，这种另外的认证请求可以从包括语音识别、指纹识别、移动设备识别、密钥卡识别、个性化密钥识别和基于秘密的认证的组中选择。此外，该进一步的认证请求可以包括定义将由乘员执行并且适合于由摄像头监控的任务，在预期乘员执行该任务时经由摄像头捕获任务图像或视频数据，并经由处理装置基于任务图像或视频数据确定是否接受对乘员的认证。请求乘员执行某一任务也被称为挑战-响应技术。该任务可以从预定义的组中随机选择，例如请求乘员微笑、闭上眼睛、做出特定的面部表情或向左、向右、向上或向下转动头部。这样的任务请求可以是对欺骗攻击者的更复杂的障碍，并且因此可以进一步改进对认证的保护。

在另一方面，本发明涉及一种用于认证车辆内部的乘员的系统。该系统包括用于通过提供图像或视频数据来监控车辆内部的摄像头和处理装置。

摄像头被配置成当乘员存在于车辆内部时捕获认证图像或视频数据。所述处理装置被配置成：确定经由所述摄像头可见的特有特征；基于所述认证图像或视频数据对所述乘员执行面部识别和活动性检查；确定所述认证图像或视频数据内的所述特有特征的识别程度；以及基于所述面部识别、所述活动性检查以及所述特有特征的识别程度来确定是否接受对所述乘员的认证。

如本文所使用的，术语处理装置可以指专用集成电路(ASIC)、电子电路、组合逻辑电路、现场可编程门阵列(FPGA)、执行代码的处理器(共享的、专用的或组)、提供所描述的功能的其他合适的组件、或上述这些的一些或全部的组合(例如在片上系统中)，或者是它们的一部分，或者包括它们。处理装置可以包括存储由处理器执行的代码的存储器(共享、专用或组)。

总之，根据本公开的系统包括摄像头和用于执行以上针对相应方法描述的步骤的处理装置。因此，如上所述的用于该方法的益处、优点和所公开的内容对于根据本公开的系统也是有效的。

在另一方面，本公开涉及一种计算机系统，该计算机系统被配置成执行本文所述的计算机实现方法的几个或所有步骤。

计算机系统可以包括处理单元、至少一个存储器单元和至少一个非暂时性数据存储器。非暂时性数据存储器和/或存储器单元可以包括用于指示计算机执行本文描述的计算机实现方法的几个或所有步骤或方面的计算机程序。

在另一方面，本公开涉及一种非暂时性计算机可读介质，其包括用于执行本文所述的计算机实现方法的几个或所有步骤或方面的指令。所述计算机可读介质可以被配置为：光学介质，例如光盘(CD)或数字多功能盘(DVD)；磁介质，例如硬盘驱动器(HDD)；固态驱动器(SSD)；只读存储器(ROM)、闪存；等等。此外，计算机可读介质可以被配置成可经由诸如互联网连接的数据连接来访问的数据存储装置。计算机可读介质例如可以是在线数据储存库或云存储。

本公开还涉及一种用于指示计算机执行本文所述的计算机实现方法的几个或所有步骤或方面的计算机程序。

附图说明

本文结合以下示意性示出的附图描述了本公开的示例性实施方式和功能：

图1描绘了根据本公开的车辆内部和用于认证其中的乘员的系统，

图2描绘了如图1所示的包括选定特征点的车辆内部，

图3描绘了根据本公开的方法的框图，

图4描绘了根据本公开的系统和方法的细节的图，以及

图5描绘了包括乘员的身体关键点的车辆内部。

附图标记列表

11系统

12乘员

13内部

15车辆

17摄像头

19处理装置

21特有特征

23特征点

31训练和校准阶段

33认证阶段

40图像或视频数据

41第一训练集

43第二训练集

45认证图像或视频数据

47特征检测

49特征描述

51特征选择

53特征数据库

55特征匹配过程

57检查匹配数量

59接受

61拒绝

63身体关键点

100方法

110–170方法步骤

具体实施方式

图1描绘了用于认证车辆15的内部13内的乘员12的系统11。该系统11包括摄像头17，用于通过提供图像或视频数据40(见图4)来监控车辆15的内部13。系统11还包括处理装置19，其联接到摄像头17，以便处理由摄像头17提供的图像和视频数据40(见图4)。

摄像头17是RGB摄像头，即配备有标准CMOS传感器的摄像头，通过该标准CMOS传感器检测可见光以获取乘员12和车辆15的内部13的彩色图像。另选地，摄像头可以是近红外(NIR)摄像头或IR RGB摄像头。虽然这些类型的摄像头通常可以提供二维(2D)图像或视频数据，但是也可以应用飞行时间摄像头、立体摄像头系统或结构光3D摄像头。

图1还描绘了由白色轮廓突出显示的特有特征21。所述特有特征21位于摄像头17的仪器视场内，因此通过摄像头17是可见的。图1所示的特有特征21包括车窗的边缘、A柱、B柱或C柱、中央控制台和不可移动的座椅等。即，对于本实施方式，特有特征21包括对于车辆15的内部13内的摄像头17可见的静态物品。

作为第一可选方案，特有特征21由专家在车辆15的制造过程或维护服务期间通过在内部13内不存在任何乘员的情况下捕获车辆15的内部13的图像并且通过定义相对于被用作坐标系的原点的摄像头17的向量以及线或角特征或图像区域来手动地选择，以便几何地描述相应的特有特征21。作为第二可选方案，可以使用特征检测算法，其自动地检测特征点23，如图2所示，作为车辆15的内部13内的小白圈。特征点23属于在内部13中可见的静态物品的拐角、大的同质区域的边缘、线等。因此，通过基于特征点23的特征检测算法并使用描述符(即，特有特征21的数字或几何表示或抽象概念)来描述特有特征21。

为了自动检测特征点23，使用样本图像的两个训练集41、43(见图4)，其中第一训练集41包括经由摄像头17在车辆15的内部13内捕获的图像，而第二训练集43包括不是在车辆15的内部13内捕获的图像。特征检测算法搜索在第一训练集41中频繁出现但在第二训练集43中很少出现的物品，以便定义特征点23。

除了所捕获的车辆15的内部13的图像之外，基于特征点23自动检测的特有特征21可以可选地在屏幕上可视化，以便由人类专家进行认证。手动选择或自动检测的特有特征21被存储在特征数据库53(见图4)中，并与适当的车辆软件一起运输。

图3描绘了认证车辆15的内部13内的乘员12的方法100(也参见图1)。在步骤110，如以上在图1和图2的上下文中所描述的，确定经由摄像头17可见的特有特征21。步骤110提供了在车辆15将被使用之前对乘员12的认证的准备。因此，步骤110对应于训练和校准阶段31(见图4)，这将在下面详细描述。另外的步骤120至150在车辆15的“运行时间”执行，并且因此对应于认证阶段33，如将在图4的上下文中详细描述的。

在步骤120，当乘员12出现在车辆内部时，通过摄像头17捕获认证图像或视频数据45(见图4)。在步骤130，基于认证图像或视频数据45，通过系统11的处理装置19(也参见图1)对乘员12执行面部识别和活动性检查。对于面部识别，例如使用机器学习算法(例如卷积神经网络)或计算机视觉算法来检测乘员12的面部区域，并计算面部嵌入或特征向量。然后检查面部嵌入或特征向量与从数据库取得的已知面部的匹配。也就是说，只有当图像和/或面部特征对于系统11是已知的并且存储在相应的数据库中时，才可以识别乘员12的面部。对于活动性检查，检查认证图像或视频数据45的与静态背景无关的某些移动或改变。该移动可以包括头部移动、眼睛转动、嘴部张开和/或面部表情的改变。这种移动的检测表明活着的人正试图得到认证。面部识别与活动性检查一起阻止由静态图像执行的欺骗攻击。然而，真实人物的视频回放或三维面具可能能够克服在步骤130执行的面部识别和活动性检查。

因此，在步骤140，通过处理装置19确定认证图像或视频数据45内的特有特征21的识别程度。该识别程度由在车辆15的“运行时间”捕获的认证图像或视频数据45内可见或可识别的特有特征21的数量相对于在步骤110确定并存储在特征数据库53中的特有特征21的总数来定义。换句话说，步骤140在认证图像或视频数据45内搜索特征数据库53中预定义的特有特征21的匹配，并确定匹配的数量。匹配的数量定义了识别程度。

此后，在步骤150，通过处理装置19基于面部识别、活动性检查和特有特征21的识别程度来确定是否接受对乘员12的身份认证。也就是说，必须满足三个标准以便正确地认证乘员12。乘员12必须通过面部识别和活动性检查作为第一和第二标准，此外，特有特征21的识别程度必须大于预定阈值。详细地，在步骤110确定的在认证图像或视频数据45中找到的特有特征21的匹配数量必须超过预定数量。这定义了对于乘员12的认证必须满足的第三条件。

如果在步骤150不满足三个标准中的一个或更多个，则在步骤160拒绝对乘员12的认证。如果在步骤150满足所有标准，即通过了面部识别、活动性检查并且特有特征21的识别程度大于预定阈值，则在步骤170接受对乘员12的认证。

由于由特有特征21的识别程度提供的第三条件，几乎不可能用不是从车辆15的内部13内的摄像头17的确切位置捕获的视频镜头或静止图像来欺骗系统11和方法100(见图1)。例如从社交媒体频道拍摄的简档图片将不能通过认证。即使来自车辆15内的摄像头17的视频流是可用的，例如通过捕获视频呼叫，这种视频流也必须在摄像头的前面回放，使得特有特征21与预期(即特征数据库53(见图4)中预定义的特有特征21的精确位置和形状)精确匹配。使用例如平面屏幕，这样的回放将是非常困难的。

图4描绘了使用系统11以及执行以上在图1至图3的上下文中描述的方法100的细节。系统11和方法100基于训练和校准阶段31，在训练和校准阶段31中执行方法步骤110以便确定经由摄像头17可见的特有特征21(也参见图1)。在认证阶段33期间执行车辆15的内部13内的乘员12的实际认证，在认证阶段33中，使用在训练和校准阶段31结束时存储在特征数据库53中的特有特征21。两个阶段31和33都依赖于由摄像头17提供的图像或视频数据40。

在训练和校准阶段31的开始，捕获样本图像或视频数据的第一训练集41和图像或视频数据的第二训练集43。第一训练集在车辆15的内部13内捕获，而第二训练集43在不同(即不同于车辆15的内部13)的环境内捕获。基于第一训练集41和第二训练集43，执行特征检测47，其中特征检测算法搜索在第一训练集41中频繁出现而在第二训练集43中很少出现的物品。对于检测到的特征，执行特征描述49，其包括相应特征的几何或数值表示以及至少一个特有特征点23相对于摄像头17的坐标。此外，所检测到的特征关于它们来自车辆15的内部13或来自车辆15的外部的源进行标记。

对于检测到的特征，执行特征选择51，其中检测到的特征分别如以上在图1和图2的上下文中所述手动或自动选择。在特征选择51之后，预期的特有特征21被存储在特征数据库53中。

在认证阶段33期间，当乘员12存在于车辆15的内部13内时(也参见图1)，捕获认证图像或视频数据45。基于认证图像或视频数据45，以与上述针对训练集41、43相同的方式执行特征检测47。即，可以将认证图像或视频数据45与在车辆15的内部13外部捕获的第二训练集43进行比较。此后，还为基于认证图像或视频数据45检测到的特征提供特征描述49。在特征描述49之后，检测到的特有特征可用于特征匹配过程55。特征匹配过程55还接收存储在特征数据库53中的预期的特有特征21。特征匹配过程55将检测到的特征与预期的特有特征21关于相似性(例如关于几何形状)和关于接近度(即关于它们相对于摄像头17的位置)进行比较。如果检测到的特征与预期的特有特征21的相似性和接近度都在预定阈值内，则将相应的检测到的特征视为与预期的特有特征21相匹配。

对于基于认证图像或视频数据45的所有检测到的特征，通过特征匹配过程55确定匹配的总数。在57，将该匹配数量与所请求的匹配数量或匹配数量的阈值进行比较。如果针对所检测到的特征确定的匹配数量大于所需的匹配数量，则在59接受对乘员12的身份认证，只要根据身份认证图像或视频数据45另外执行的对乘员的面部识别和活动性检查是成功的(参见图3中的步骤130)。如果在57处检测到的特征的匹配数量等于或小于所需的匹配数量，则不管面部识别和活动性检查如何都拒绝对乘员12的认证。

通过处理装置19(参见图1)执行特征检测47、特征描述49、特征选择51和特征匹配过程55。特征数据库53也可以是处理装置19的一部分。作为特征选择51的替代，可以基于训练数据集41、43来训练图像分类器。图像分类器可以是机器学习算法，例如卷积神经网络，或者是可以基于训练数据集41、43学习的另一种图像分类方法，所述训练数据集41、43的特征必须被认为是对于车辆15的内部13内的摄像头17可见的预期特有特征21。此外，为了执行特征匹配，可以在认证图像或视频数据45(即检测到的特征)上采用图像分类器。通过这种方式，可以实现关于特有特征21的端到端训练。

作为在59接受对乘员12的认证的另一条件，可以执行一个或更多个另外的认证请求或认证测试。这些另外的认证请求可以包括语音识别、指纹识别和移动装置识别等。此外，可以定义必须由乘员12执行以便进行认证的任务。例如，可以要求乘员12微笑、闭上眼睛或沿某个方向转动头部。

作为对车辆15的内部13内的乘员12的认证的进一步检查，可以基于认证图像或视频数据45来检测至少一个乘员12的身体关键点63的多个位置。在图5中针对车辆15的内部13描绘了身体关键点63的检测位置。身体关键点63的位置包括眼睛位置、鼻子位置、脚踝位置和乘员12的其它关节的位置。为了识别身体关键点63，可以使用类似的检测算法作为上述用于自动检测特征点23的特征检测算法。身体关键点63的检测位置也可以与预期位置进行比较，即相对于摄像头17或相对于彼此的距离。例如，如果检测到的眼睛位置不在其相对于摄像头17的绝对位置的预定范围内或关于其距离的范围内，则拒绝对相应乘员12的认证。

作为进一步检查，可以改变或调制车辆15的内部13内的照明，并且可以检测认证图像或视频数据45(即它们的强度)是否以与照明的改变或调制相同的方式改变或调制。例如，如果认证图像或视频数据45的亮度和对比度没有改变，则攻击者可能试图例如通过实际上不存在于车辆15的内部13中的乘员12的图像或视频来欺骗认证系统11。在这种情况下，认证被拒绝。

Claims (15)

1.一种认证车辆(15)的内部(13)内的乘员(12)的计算机实现方法(100)，所述车辆(15)包括被配置成监控所述车辆(15)的所述内部(13)的摄像头(17)并且包括被配置成处理由所述摄像头(17)提供的图像或视频数据(40)的处理装置(19)，所述方法(100)包括：

-确定通过所述摄像头(17)可见的特有特征(21)，

-当乘员(12)存在于所述车辆(15)的所述内部(13)内时，通过所述摄像头(17)捕获认证图像或视频数据(45)，

-基于所述认证图像或视频数据(45)，通过所述处理装置(19)针对所述乘员(12)执行面部识别和活动性检查，

-通过所述处理装置(19)确定所述认证图像或视频数据(45)内的所述特有特征(21)的识别程度，以及

-通过所述处理装置(19)基于所述面部识别、所述活动性检查以及所述特有特征(21)的所述识别程度确定是否接受对所述乘员(12)的认证。

2.根据权利要求1所述的计算机实现方法(100)，确定所述特有特征(21)包括：

在所述车辆(15)的所述内部(13)内不存在任何乘员(12)的情况下通过所述摄像头(17)捕获背景图像或视频数据(41)，以及

从所述背景图像或视频数据(41)中选择所述特有特征(21)。

3.根据权利要求2所述的计算机实现方法(100)，其中，在所述车辆(15)的所述内部(13)内不存在任何乘员(12)的情况下，在校准阶段(31)期间从所述背景图像或视频数据(41)手动选择所述特有特征(21)。

4.根据权利要求2所述的计算机实现方法(100)，其中，通过将所述背景图像或视频数据(41)与在所述车辆(15)的所述内部(13)的外部捕获的另外的图像或视频数据(43)进行比较，从所述背景图像或视频数据(41)中自动选择所述特有特征(21)。

5.根据前述权利要求中任一项所述的计算机实现方法(100)，其中，确定所述认证图像或视频数据内的所述特有特征(21)的识别程度包括：

针对每个所述特有特征(21)，确定相应的特有特征(21)在所述认证图像或视频数据(45)内是否可见，

确定所述认证图像或视频数据(45)的可见特有特征(21)的数量，以及

仅在所述可见特有特征(21)的数量超过预定阈值时才接受对所述乘员(12)的所述认证。

6.根据权利要求1所述的计算机实现方法(100)，其中，确定所述特有特征(21)包括：

在所述车辆(15)的所述内部(13)内不存在任何乘员(12)的情况下，通过所述摄像头(17)捕获背景图像或视频数据(41)，

通过所述摄像头(17)捕获在所述车辆(15)的所述内部(13)的外部的另外的图像或视频数据(43)，以及

基于所述背景图像或视频数据(41)和所述另外的图像或视频数据(43)来训练关于所述特有特征(21)的图像分类器，并且其中，通过在所述认证图像或视频数据(45)上采用经训练的图像分类器来确定所述特有特征(21)的识别程度。

7.根据前述权利要求中任一项所述的计算机实现方法(100)，其中，所述特有特征(21)中的每一个与预期图像部分和所述预期图像部分的预期位置相关。

8.根据前述权利要求中任一项所述的计算机实现方法(100)，该计算机实现方法(100)还包括：

检测所述认证图像或视频数据(45)内的所述乘员(12)的身体关键点(63)的多个位置，

将所述乘员(12)的所述身体关键点(63)的位置之间的距离与预定距离范围进行比较，以及

仅在至少预定数量的距离落入所述预定距离范围内时才接受对所述乘员(12)的所述认证。

9.根据前述权利要求中任一项所述的计算机实现方法(100)，该计算机实现方法(100)还包括：

在捕获所述认证图像或视频数据(45)期间，改变所述车辆(15)的所述内部(13)内的照明强度，以及

仅在所述认证图像或视频数据(45)内的检测强度根据所述照明强度的所述改变而改变时，才接受对所述乘员(12)的所述认证。

10.根据前述权利要求中任一项所述的计算机实现方法(100)，该计算机实现方法(100)还包括：

定义至少一个认证区域，所述乘员(12)的面部将位于所述认证区域中以进行在所述车辆(15)的所述内部(13)内的认证，

基于所述认证图像或视频数据(45)确定所述乘员(12)的面部是否位于所述认证区域内，以及

仅在确定所述乘员(12)的面部位于所述认证区域内时，才接受对所述乘员(12)的所述认证。

11.根据前述权利要求中任一项所述的计算机实现方法(100)，其中，确定是否接受对所述乘员(12)的所述认证还基于另一认证请求。

12.根据权利要求11所述的计算机实现方法(100)，其中，所述另一认证请求包括：

定义将由所述乘员(12)执行并且适于由所述摄像头(17)监控的任务，

在预期所述乘员(12)执行所述任务时通过所述摄像头(17)捕获任务图像或视频数据，以及

通过所述处理装置(19)基于所述任务图像或视频数据确定是否接受对所述乘员(12)的所述认证。

13.一种用于认证车辆(15)的内部(13)内的乘员(12)的系统(11)，所述系统(11)包括：

用于通过提供图像或视频数据(40)来监控所述车辆(15)的所述内部(13)的摄像头(17)，以及

处理装置(19)，

其中，所述摄像头(17)被配置成当乘员(12)存在于所述车辆(15)的所述内部(13)内时捕获认证图像或视频数据(45)，并且其中，所述处理装置(19)被配置成：

-确定通过所述摄像头(17)可见的特有特征(21)，

-基于所述认证图像或视频数据(45)针对所述乘员(12)执行面部识别和活动性检查，

-确定所述认证图像或视频数据(45)内的所述特有特征(21)的识别程度，并且

-基于所述面部识别、所述活动性检查以及所述特有特征(21)的所述识别程度确定是否接受对所述乘员(12)的认证。

14.一种计算机系统，所述计算机系统被配置成执行根据权利要求1至12中任一项所述的计算机实现方法(100)。

15.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质包括用于执行根据权利要求1至12中任一项所述的计算机实现方法(100)的指令。

Images