CN113377189A - 用于车辆的面部辨识系统 - Google Patents

用于车辆的面部辨识系统 Download PDF

Info

Publication number
CN113377189A
CN113377189A CN202110242058.7A CN202110242058A CN113377189A CN 113377189 A CN113377189 A CN 113377189A CN 202110242058 A CN202110242058 A CN 202110242058A CN 113377189 A CN113377189 A CN 113377189A
Authority
CN
China
Prior art keywords
user
vehicle
face
controller
location
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110242058.7A
Other languages
English (en)
Inventor
阿里·哈桑尼
J·施瓦兹
约翰·罗伯特·范维梅尔施
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN113377189A publication Critical patent/CN113377189A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20—Means to switch the anti-theft system on or off
    • B60R25/25—Means to switch the anti-theft system on or off using biometry
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0098—Details of control systems ensuring comfort, safety or stability not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/10—Historical data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Automation & Control Theory (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • Mechanical Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Transportation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Lock And Its Accessories (AREA)

Abstract

本公开提供了“用于车辆的面部辨识系统”。提供了一种车辆，所述车辆包括一个或多个相机和耦接到所述一个或多个相机的控制器。所述控制器可操作以从一个或多个装置接收指示用户的位置的数据。基于从所述一个或多个装置接收的所述数据，所述控制器确定所述用户的面部的估计位置。此外，所述控制器基于所述面部的所述估计位置来在由所述一个或多个相机捕获的一个或多个图像中搜索所述用户的所述面部的位置。由此，所述控制器检测所述用户的所述面部的所述位置。

Description

用于车辆的面部辨识系统
技术领域
本公开涉及用于提供对车辆中的各种操作的访问的面部辨识的各方面。
背景技术
车辆可被配备有生物特征访问系统，所述生物特征访问系统提供对车辆及其各种操作的用户访问。在一些车辆中，可通过使用用户的生物特征数据(诸如用户的指纹、视网膜扫描、面部特征等)识别用户来提供所述用户访问。
发明内容
本公开涉及用于检测和辨识用户的面部的技术。
本公开的一个方面涉及一种车辆，所述车辆包括一个或多个相机和耦接到捕获一个或多个图像的所述一个或多个相机的控制器。所述控制器可操作以从一个或多个装置接收指示用户的位置的数据。基于从所述一个或多个装置接收的所述数据，所述控制器确定所述用户的面部的估计位置。此外，所述控制器基于所述面部的所述估计位置来在由所述一个或多个相机捕获的所述图像中搜索所述用户的所述面部的位置。由此，所述控制器检测所述用户的所述面部的所述位置。
根据本公开的另一个方面，一种系统包括一个或多个装置，所述一个或多个装置可操作以提供指示用户的位置的数据。所述系统还包括车辆，所述车辆具有：一个或多个相机，所述一个或多个相机捕获一个或多个图像；以及控制器，所述控制器耦接到所述一个或多个相机。所述控制器从所述一个或多个装置接收所述数据，并且基于所述接收到的数据来确定所述用户的面部的估计位置。随后，所述控制器基于所述估计位置来在由所述一个或多个相机捕获的所述图像中搜索所述用户的所述面部的位置。最后，所述控制器检测所述用户的所述面部的所述位置。
本公开的又一个方面涉及一种用于检测用户的面部的位置的方法。所述方法包括以下步骤：由控制器从一个或多个装置接收指示所述用户的位置的数据。所述一个或多个装置包括钥匙扣、与所述钥匙扣的连接器、便携式通信装置和/或在车辆上的传感器。所述方法还包括以下步骤：由所述控制器基于从所述一个或多个通信装置接收的所述数据来确定所述用户的所述面部的估计位置。此外，所述方法还包括以下步骤：由所述控制器基于所述估计位置来在由一个或多个相机捕获的一个或多个图像中搜索所述用户的所述面部的位置。最终，所述方法包括以下步骤：由所述控制器检测所述用户的所述面部的所述位置。
附图说明
在本文中参考附图进一步描述上述方面。应当注意，描述和附图涉及示例性方面，并且不应被解释为对本公开的限制。还应当理解，可构想各种布置，此类布置尽管没有在本文中明确地描述或示出，但是体现了本公开的原理。此外，本文叙述本公开的原理、方面和实施例以及具体的示例的所有陈述旨在涵盖其等效物。
图1示出了根据本公开的用于检测用户的面部的系统；
图2示出了根据本公开的具有定位在车辆内部的不同位置处的一个或多个相机和装置的车辆的内部；
图3示出了根据本公开的被配置为检测用户的面部的控制器的示意图；并且
图4示出了根据本公开的检测用户的面部的方法。
具体实施方式
本公开涉及一种系统和一种方法，所述系统和所述方法检测用户的面部的位置，基于用户的检测到的面部来识别用户，确定识别出的用户被授权在车辆上进行的动作，并且授权识别出的用户进行识别出的动作，诸如进入车辆、操作车辆、将车辆的门解锁或锁定、起动车辆和/或驾驶车辆。本公开的系统和方法被设计成减少识别和授权用户的延时，以及减少功率消耗、计算时间和资源。
在以下描述中，阐述了某些具体的细节，以便提供对各种所公开的实施例的透彻理解。然而，相关领域技术人员将认识到，在没有这些具体的细节中的一者或多者的情况下，或者用其他方法、部件、材料等，可实践实施例。
除非上下文另有指示，否则在整个说明书和所附权利要求中，词语“包括(comprise)”及其变型(诸如“包括(comprises)”和“包括(comprising)”)将以开放性、包容性意义解释，所述开放性、包容性意义是指“包括，但不限于”。此外，除非上下文另外清楚地规定，否则术语“第一”、“第二”和序列的类似指示符将被解释为可互换的。
在整个本说明书中对“一个实施例”或“实施例”的提及意味着结合该实施例描述的特定特征、结构或特性被包括在至少一个实施例中。因此，短语“在一个实施例中”或“在实施例中”在整个本说明书中的各个地方出现不一定全部是指同一实施例。此外，特定特征、结构或特性可在一个或多个实施例中以任何合适的方式组合。
除非内容另外清楚地规定，否则如本说明书和所附权利要求中所使用，单数形式“一个”、“一种”和“所述”包括复数指称。还应当注意，除非内容另外清楚地规定，否则术语“或”通常以其最广泛的含义使用，即，其意味着“和/或”。
图1示出了根据本公开的被配置为检测用户(未示出)的面部的系统100。系统100包括车辆102，所述车辆具有安装在车辆102上的一个或多个相机104a、104b、104c、104d、104e、104f、104g(以下统称为一个或多个相机104)。一个或多个相机104可被配置为捕获用户的面部的一个或多个实时图像，使得捕获的图像可用于检测用户的面部的位置。在至少一个示例中，相机104可捕获在车辆102周围的环境的图像。例如，相机104可捕获车库、停车场、路人和/或在车辆102周围的天气的图像。一个或多个相机104可安装在车辆102上、安装在所述车辆中和/或安装在所述车辆周围。例如，相机104a和104b分别安装在车辆102的前端106和后端108上，而相机104d和104c分别安装在驾驶员门112和前排乘客门110附近。相机104e可为360度相机，其被配置为以360度扫描车辆102的周围环境。在至少一个示例中，相机104e可安装在车辆102的车顶114上。相机104e可安装在车辆102的适合于捕获车辆102的周围环境的360度视图的任何位置处。在一些示例中，可利用多于一个的相机104来提供车辆102的周围环境的编辑的360度视图。
如图2所示，一个或多个相机104可定位或安装在车辆102的内部。例如，相机104f安装在车辆102的仪表板116上，而相机104g安装在车辆102的内顶板118上。在至少一个示例中，一个或多个相机104可为被配置为捕获高清晰度(HD)或全高清晰度(全HD)图像的高分辨率相机。此类高清晰度图像可由系统100使用来更准确地检测和/或跟踪用户的面部的位置。在一些示例中，相机104可捕获视频。在一些示例中，一个或多个相机104可捕获视频并提供实时馈送以检测和/或跟踪用户的面部的位置。
参考图1，车辆102还包括与一个或多个相机104通信地耦接的控制器120。控制器120基于指示用户的位置的接收到的数据来确定用户的面部的估计位置。然后，控制器120可使用相机104来搜索在车辆102中和/或在所述车辆周围的确定的一个或多个估计位置并检测用户的面部的位置。控制器120还可基于用户的检测到的面部来确定用户的身份，基于用户的身份来确定用户被授权在车辆102上进行的动作，和/或为用户进行所述动作提供授权。通过首先确定用户的面部的估计位置，控制器120可节省搜索时间、处理时间和/或处理功率来检测用户的面部。
在至少一个示例中，相机104中的一者或任一者可被配置为进行旋转、枢转和/或平移。例如，相机104可耦接到马达，所述马达可使相机104移动。在一些示例中，控制器120可控制马达以移动相机104来检测和/或跟踪用户的面部的位置。
车辆控制系统128(诸如发动机控制单元(ECU))可与控制器120耦接，并且可使得用户能够在车辆102上执行动作。在至少一个示例中，所述动作可包括但不限于进入车辆102；操作车辆102；将车辆102的门(诸如驾驶员门112、前排乘客门110和/或行李厢)锁定/解锁；起动车辆102；和/或驾驶车辆102。在一些示例中，车辆控制系统128可以可选地集成到控制器120中。指示用户的位置的数据可由控制器120从系统100的一个或多个装置122a、122b、122c、122d、122e、122f(本文统称为一个或多个装置122)接收。一个或多个装置122与控制器120通信地耦接，并且提供指示用户的位置的数据。在至少一个示例中，一个或多个装置122可位于车辆102外部和/或与所述车辆分开。来自一个或多个装置122的数据可包括但不限于以下一者或多者：时间、位置、与车辆102的用户交互和/或用户与车辆102的接近度。时间可包括系统100接收到对在车辆102上执行动作中的至少一者的授权的时间和/或检测到用户的位置的时间。位置可包括用户的位置。
在至少一个示例中，一个或多个装置122可包括钥匙扣122a，所述钥匙扣可通过短程通信链路124提供对应于用户相对于车辆102的接近度的数据。在至少一个示例中，一个或多个装置122可包括与钥匙扣122a的连接器。在一些示例中，一个或多个装置122可包括便携式通信装置122b，诸如移动装置等，其可通过远程通信链路126提供便携式通信装置122b的地理坐标数据，从而指示用户相对于车辆102的接近度。基于接收到的地理坐标数据，控制器120可估计用户正在接近车辆102的方向。
在一些示例中，一个或多个装置122可包括安装在车辆102上的传感器。例如，一个或多个装置122可包括安装在驾驶员门112上的驾驶员门进入传感器122c，其在用户接近驾驶员门把手110或进入其附近时提供指示用户的位置的数据。在另一个示例中，一个或多个装置122可包括安装在乘客门(诸如前排乘客门110)上的乘客门进入传感器122d，其在用户接近前排乘客门110时提供用户的位置的数据。在又一个示例中，一个或多个装置122可包括安装在车辆102的后端108处的行李厢传感器122e，并且在用户接近车辆102的后端108或行李厢时提供关于用户的位置的数据。在一些示例中，传感器可被安装来感测用户何时接近车辆102和/或正在与所述车辆交互(诸如触摸车辆102的任何门或任何部分)。
类似地，一个或多个其他装置122可安装在车辆102的内部，以在用户在车辆102内部时提供关于用户的位置的数据。一个或多个装置122中的一个这样的内部装置可包括乘员传感器122f，其在用户如图2所示已经占用车辆102内部的座椅时提供数据。
可根据需要在系统100中利用一个或多个装置122的任一者、组合或全部来提供关于用户的位置的数据。提供关于用户的位置的数据的装置122进一步增强控制器120准确地且高效地估计和检测用户的位置的能力。
控制器120依赖于一个或多个装置122来估计启动一个或多个相机104定位用户的面部的用户的位置。这种技术消除了对同时地启动所有一个或多个相机104的需要，从而降低了功率消耗。另外，由于不要求控制器120处理来自所有一个或多个相机104的图像或视频馈送，因此搜索和检测用户的面部的位置所需的时间减少，这进一步减少了系统100的延时。此外，控制器120处理图像的一部分而不是整个图像，从而还减少了计算时间和资源。
在至少一个示例中，控制器120可学习用户的行为，以改善在检测面部和/或确定用户的身份(例如，面部检测和辨识)时对感兴趣区域的识别。这种学习在一段时间内不断提高检测用户的面部的过程的准确度，从而提高系统100的整体效率和性能。
图3示出了根据本公开的控制器120的示意图。如图1所示，控制器120可操作以与相机104和/或装置122通信来检测用户的面部的位置，基于用户的面部来确定用户的身份，和/或为用户在车辆102中进行动作提供授权。本领域技术人员将理解，尽管控制器120与上文讨论的部件中的一者或多者通信，但是应当注意，控制器120也可与其他远程装置/系统通信。
如图所示，控制器120包括通过系统总线308互连的硬件和软件部件，诸如网络接口302、至少一个处理器304和存储器306。在一个示例中，网络接口302可包括用于通过通信链路(未示出)传达数据的机械、电气和信令电路，所述通信链路可包括有线或无线通信链路。网络接口302被配置为使用多种不同通信协议来传输和/或接收数据，如本领域技术人员将理解。
处理器304表示被配置为执行指令或逻辑以执行任务的数字信号处理器(例如，微处理器、微控制器或固定逻辑处理器等)。处理器304可包括通用处理器、专用处理器(其中软件指令被结合到处理器中)、状态机、专用集成电路(ASIC)、可编程门阵列(PGA)(其包括现场PGA)、单独的部件、分布式处理器组等。处理器304典型地结合共享或专用硬件操作，包括但不限于能够执行软件和硬件的硬件。例如，处理器304可包括适于进行软件程序并操纵数据结构310的元件或逻辑，所述软件程序或数据结构可驻留在存储器306中。
存储器306包括可由处理器304寻址的多个存储位置，以用于存储与本文描述的各方面相关联的软件程序和数据结构310。操作系统312(其部分典型地可驻留在存储器306中并由处理器304执行)通过尤其是调用支持在控制器120上执行的软件进程和/或服务314的动作来功能性地组织装置。这些软件进程和/或服务314可执行数据的处理和与控制器120的通信，如本文所描述。要注意，尽管软件进程/服务314被示出为在集中式存储器306中，但是一些示例提供了将在分布式计算网络中操作的这些进程/服务。
根据一个示例，存储器306可存储与相机104有关的空间数据。空间数据可包括安装在车辆102内部和外部的每个相机104的位置和高度。这种信息可能是检测用户的面部的位置所需的。存储器306还可保存历史信息，诸如用户的使用频率、车辆的环境、相邻用户、用户的身高、先前交互和/或先前识别出用户的面部以提供车辆访问的时间和位置，以及用于检测用户的面部的一个或多个相机104的细节。在后续段落中解释了使用这种信息来检测用户的面部的位置的方式。存储器306还可存储关于多个用户的身份和每个用户在系统100成功地进行面部检测后被授权进行的动作的信息。
对于本领域技术人员来说将显而易见的是，其他处理器和存储器类型(包括各种计算机可读介质)可用于存储和进行与本文描述的面部检测/辨识技术有关的程序指令。而且，尽管该描述示出了各种过程，但是可设想的是，各种过程可体现为具有被编码在其上的进程/服务314的部分的模块。以这种方式，程序模块可被编码在一个或多个有形计算机可读存储介质中以供执行，诸如用固定逻辑或可编程逻辑(例如，由处理器执行的软件/计算机指令，并且任何处理器可为可编程处理器、可编程数字逻辑(诸如现场可编程门阵列)或包括固定数字逻辑的ASIC)执行。通常，任何过程逻辑可被体现在处理器304或编码有指令以供处理器304执行的计算机可读介质中，所述指令在由处理器执行时可操作以致使处理器执行本文描述的功能。控制器120还可包括可提供位置数据(诸如车辆102的地理坐标)的位置单元(未示出)。
在操作中，基于从一个或多个装置122接收的指示用户的位置的数据，控制器120确定用户的面部的估计位置。在至少一个示例中，控制器120可使用存储在存储器306中的历史信息来识别用户的面部的估计位置。历史信息可包括但不限于用户对车辆102的使用频率、车辆102的环境、相邻用户、用户和/或相邻用户的身高、先前交互和/或时间。
然后，控制器120基于用户的面部的估计位置来选择一个或多个相机104，使得控制器120可使用从选定的一个或多个相机104接收的数据来搜索和确定用户的面部的位置。来自选定的一个或多个相机的数据可包括用户的面部的估计位置的实时捕获的图像或视频馈送。在至少一个示例中，控制器120在从便携式通信装置122b接收到数据时估计用户正在从前方接近车辆102并确定可捕获该估计位置的相机120。例如，控制器120可利用安装在车辆102的前端106处的相机104a来捕获图像并检测用户的面部的位置。在一些示例中，控制器120还可使用安装在车辆102的车顶114上的相机104e来捕获图像并检测用户的面部的位置。具体地，控制器120可在由选定的一个或多个相机104捕获并由控制器120接收的图像和/或视频馈送的帧中检测用户的面部的位置。例如，控制器120可识别图像和/或视频馈送的帧内的子帧，使得控制器120可在识别出的子帧上应用一种或多种面部检测技术来检测用户的面部的位置。
在至少一个示例中，控制器120可从便携式通信装置122b接收用户正在从前方接近车辆102并距车辆102约2米的数据。控制器120可将由安装在前端106处的选定相机104a捕获的图像和/或视频馈送的顶部中心部分识别为用户的面部很可能所在的子帧。控制器120使用一种或多种面部检测技术来检测用户的面部。
此外，所述一种或多种面部检测技术可包括中Viola-Jones对象检测技术、尺度不变特征变换(SIFT)技术、定向梯度直方图(HOG)、区域卷积神经网络(R-CNN)技术、单发多框检测器(SSD)技术、只看一次(YOLO)技术或用于对象检测的单发细化神经网络(RefineDet)技术等。由于控制器120在识别出的子帧而不是整个图像上应用面部检测技术，因此对用户的面部的检测是快速的、准确的，并且要求更少的计算资源。当控制器120在识别出的子帧中未检测到用户的面部时，控制器120可使用来自一个或多个装置122中的另一个装置的数据或使用来自一个或多个相机104中的同一个或另一个相机的捕获的图像中的另一个图像来识别下一个可能的子帧。在一些示例中，控制器120可使用历史信息来识别在同一图像内的下一个子帧，所述历史信息可包括用户的使用频率、车辆的环境、相邻用户、用户的身高、先前交互和/或时间。
在至少一个示例中，在检测到用户的面部的位置之后，控制器120可应用面部辨识技术来确定用户的身份。在一些示例中，控制器120可将存储在存储器306中的与用户的身份有关的数据与在子帧中检测到的面部进行比较。当子帧包括多个用户的面部时，控制器120可识别相邻用户并确定用户和相邻用户的授权级别。例如，控制器120可确定识别出的用户是儿童。控制器120可确定儿童被授权进入车辆102并且未被授权起动车辆102。因此，控制器120可向车辆控制系统128发送指令以在儿童接近、接触和/或操作门把手时将门解锁但阻止儿童起动车辆102。在另一个示例中，控制器120确定用户在距车辆102的后端108的预定距离内，并且确定识别出的用户被授权访问车辆102的行李厢。因此，控制器120可向车辆控制系统128发送指令以授权用户打开车辆102的行李厢。
在至少一个示例中，控制器120还可被配置为跟踪用户的面部。控制器120可识别检测到的面部的质心。为了完成对质心的识别，控制器120可相对于笛卡尔平面处理子帧，并且使用用于确定图像的质心的已知的数学模型来计算质心。此外，在一些示例中，质心可为笛卡尔坐标。此后，控制器120可在质心周围创建感兴趣区域。在用户相对于一个或多个相机104改变位置的情况下，感兴趣区域用于跟踪用户的面部。例如，需要跟踪以基于用户相对于车辆102的位置来确定要提供给用户的授权类型。此外，跟踪用户的面部可用于减少或消除对重新估计子帧来检测用户的面部的需要，从而减少对投入更多的计算时间和资源来重新估计子帧的需要。
在至少一个示例中，感兴趣区域是动态感兴趣区域，使得感兴趣区域可根据用户的面部来调整。此外，可基于检测到的面部的大小来设定动态感兴趣区域的大小。在一个示例中，动态感兴趣区域的区域可比检测到的面部的区域大25％。在一些示例中，感兴趣区域可被成形为捕获头部和/或在头部周围的预定区域。例如，感兴趣区域可基本上为椭圆形、圆形、矩形或任何其他合适的形状。这种形状和/或大小设定可允许控制器120方便地跟踪面部。此外，控制器120可在用户相对于一个或多个相机104改变位置时检查检测到的面部的质心是否改变，并且相应地，控制器120检测运动并调整动态感兴趣区域。例如，如果用户朝向一个或多个相机104的左侧移动，则与先前捕获的图像中的质心的位置相比，捕获的图像示出用户的面部略微向左。因此，控制器120可确定质心已经向左位移。因此，控制器120将动态感兴趣区域位移到使得面部保持在动态感兴趣区域内的程度。
根据至少一个示例，动态感兴趣区域还可用于在用户进入一个或多个相机104中的另一个相机的视野时快速地预测另一个捕获的图像中的子帧。例如，当先前使用来自安装在驾驶员门112上的相机122c的图像识别的用户朝向车辆102的后端108移动时，控制器120确定用户的面部正在朝向子帧的左侧移动。因此，控制器120使用动态感兴趣区域来跟踪用户的面部。此外，控制器120还确定用户的面部何时不再在由相机104d捕获的图像中，并且相应地，控制器120确定用户的面部可能出现在由安装在车辆102的后端108上的相机104b捕获的图像中。此外，控制器120可将子帧估计为从安装在车辆102的后端106处的相机104b捕获的图像的左中部分。
本主题的控制器120可能能够学习用户的行为以改善面部检测、辨识和/或跟踪，从而进一步减少计算时间和/或资源。根据本主题，控制器120可应用半监督学习技术(诸如基于强化的机器学习)来确定用户的面部的估计位置。在至少一个示例中，控制器120可使用奖励函数来偏置面部的估计位置。此外，奖励函数可基于各种因素来实现，所述因素诸如当检测到面部时的成功、用户的替代路径和/或对不同用户的辨识。例如，控制器120可跟踪子帧的检测正确时和子帧的检测不正确时的实例。另外，控制器120还可记录校正措施的实例和采取校正措施以准确地检测面部的时间。控制器120还可记录子帧的检测、检测的时间和地点，以及其他细节，所述其他细节诸如历史信息，控制器120可对所述历史信息应用已知的前述机器学习技术来确定用户的面部的估计位置。
参考图4，呈现了根据示例实施例的流程图。方法400以示例的方式提供，因为存在多种方式来进行所述方法。例如，可使用图1至图3中示出的配置来进行下文描述的方法400，并且在解释示例方法400时参考这些图的各种要素。图4中示出的每个框表示在示例方法400中执行的一个或多个过程、方法或子例程。此外，框的所示的次序仅是说明性的，并且根据本公开，框的次序可改变。在不脱离本公开的情况下，可添加附加的框，或者可利用更少的框。示例方法400可在框402处开始。
在框402处，控制器从一个或多个装置接收指示用户的位置的数据。所述装置可包括钥匙扣、与所述钥匙扣的连接器、便携式通信装置和/或在车辆上的传感器。来自装置的数据可包括时间、位置、用户交互和/或用户的接近度。
在框404处，控制器基于从一个或多个装置接收的数据来确定用户的面部的估计位置。例如，控制器可确定用户相对于车辆的位置，以便确定用户的面部的估计位置。在一些示例中，确定用户的面部的估计位置可还基于历史信息。历史信息可包括以下一者或多者：用户的使用频率、车辆的环境、相邻用户、用户的身高、先前交互和/或时间。
一旦控制器确定用户的面部的估计位置，在框406处，控制器使用由一个或多个相机捕获的图像搜索在车辆周围或内部的用户的位置。在至少一个示例中，控制器接收并处理由一个或多个相机捕获的图像和/或视频馈送。
在框408处，控制器检测用户的面部的位置。例如，控制器可识别用户的面部有可能出现的子帧，并且相应地检测用户的面部的位置。在框410处，控制器使用如上所述的面部辨识技术基于用户的面部来识别用户。一旦被识别，在框412处，控制器确定识别出的用户被授权进行的动作。在框414处，控制器向用户提供进行识别出的动作的授权。如在先前示例中所讨论，所述动作可包括以下一者或多者：进入车辆、操作车辆、将车辆的门(诸如驾驶员门和乘客门)解锁或锁定、起动车辆和/或驾驶车辆。
在一些示例中，可在用户的面部周围创建动态感兴趣区域。然后，可通过搜索和调整动态感兴趣区域来跟踪用户的面部。
在至少一个示例中，可使用半监督学习来完成面部的估计位置的确定、面部的检测和/或面部的跟踪，使得控制器使用奖励函数以基于以下各项来偏置估计位置：当检测到面部时的成功、用户的可选路径和/或对不同用户的辨识。
尽管已经参考具体的实施例描述了本公开，但是本描述不意图以限制性意义进行解释。在参考本公开的描述后，所公开的实施例的各种修改以及本公开的替代实施例对于本领域技术人员来说将变得显而易见。因此，设想的是，在不脱离如所限定的本公开的精神或范围的情况下可进行此类修改。
根据本发明，一种被配置为检测和/或跟踪用户的面部的车辆，所述车辆被提供具有：一个或多个相机，所述一个或多个相机捕获一个或多个图像；以及控制器，所述控制器与所述一个或多个相机耦接，所述控制器可操作以：从一个或多个装置接收指示用户的位置的数据；基于来自所述一个或多个装置的所述数据来确定所述用户的面部的估计位置；基于所述估计位置来在由所述一个或多个相机捕获的所述图像中搜索所述用户的所述面部的位置；以及检测所述用户的所述面部的所述位置。
根据一个实施例，所述控制器还可操作以：基于所述用户的所述面部来确定所述用户的身份；确定所述用户被授权进行的动作，所述动作包括以下一者或多者：进入所述车辆、操作所述车辆、将所述车辆的门解锁或锁定、起动所述车辆和/或驾驶所述车辆；以及为所述用户在所述车辆中进行所述动作提供授权。
根据一个实施例，来自所述一个或多个装置的所述数据包括以下一者或多者：时间、位置、用户交互和/或所述用户的接近度。
根据一个实施例，所述一个或多个装置包括钥匙扣、与所述钥匙扣的连接器、便携式通信装置和/或在所述车辆上的传感器。
根据一个实施例，确定所述用户的所述面部的所述估计位置还基于历史信息，所述历史信息包括以下一者或多者：用户的使用频率、所述车辆的环境、相邻用户、用户的身高、先前交互和/或时间。
根据一个实施例，所述控制器还可操作以：在所述用户的所述面部周围创建动态感兴趣区域；以及通过搜索和调整所述动态感兴趣区域来跟踪所述用户的所述面部。
根据一个实施例，所述面部的所述估计位置的所述确定包括半监督学习，使得所述控制器使用奖励函数以基于以下各项来偏置所述估计位置：当检测到所述面部时的成功、所述用户的可选路径和/或对不同用户的辨识。
根据本发明，提供了一种系统，所述系统具有：一个或多个装置，所述一个或多个装置可操作以提供指示用户的位置的数据；以及车辆，所述车辆包括一个或多个相机，所述一个或多个相机捕获一个或多个图像；以及控制器，所述控制器与所述一个或多个相机耦接，所述控制器可操作以：从所述一个或多个装置接收所述数据；基于来自所述一个或多个装置的所述数据来确定所述用户的面部的估计位置；基于所述估计位置来在由所述一个或多个相机捕获的所述图像中搜索所述用户的所述面部的位置；检测所述用户的所述面部的所述位置。
根据一个实施例，所述控制器还可操作以：基于所述用户的所述面部来确定所述用户的身份；确定所述用户被授权进行的动作，所述动作包括以下一者或多者：进入所述车辆、操作所述车辆、将所述车辆的门解锁或锁定、起动所述车辆和/或驾驶所述车辆；以及为所述用户在所述车辆中进行所述动作提供授权。
根据一个实施例，来自所述一个或多个装置的所述数据包括以下一者或多者：时间、位置、用户交互和/或用户的接近度。
根据一个实施例，所述一个或多个装置包括钥匙扣、与所述钥匙扣的连接器、便携式通信装置和/或在所述车辆上的传感器。
根据一个实施例，确定所述用户的所述面部的所述估计位置还基于历史信息，所述历史信息包括以下一者或多者：用户的使用频率、所述车辆的环境、相邻用户、用户的身高、先前交互和/或时间。
根据一个实施例，所述控制器还可操作以：在所述用户的所述面部周围创建动态感兴趣区域；以及通过搜索和调整所述动态感兴趣区域来跟踪所述用户的所述面部。
根据一个实施例，所述面部的所述估计位置的所述确定包括半监督学习，使得所述控制器使用奖励函数以基于以下各项来偏置所述估计位置：当检测到所述面部时的成功、所述用户的可选路径和/或对不同用户的辨识。
根据本发明，一种方法包括：由控制器从一个或多个装置接收指示用户的位置的数据，所述一个或多个装置包括钥匙扣、与所述钥匙扣的连接器、便携式通信装置和/或在车辆上的传感器；由所述控制器基于来自所述一个或多个装置的所述数据来确定所述用户的面部的估计位置；由所述控制器基于所述估计位置来在由一个或多个相机捕获的一个或多个图像中搜索在所述车辆周围或在所述车辆中的所述用户的所述面部的位置；以及由所述控制器检测所述用户的所述面部的所述位置。
在本发明的一个方面，所述方法包括：由所述控制器基于所述用户的所述面部来确定所述用户的身份；确定所述用户被授权进行的动作，所述动作包括以下一者或多者：进入所述车辆、操作所述车辆、将所述车辆的门解锁或锁定、起动所述车辆和/或驾驶所述车辆；以及为所述用户在所述车辆中进行所述动作提供授权。
在本发明的一个方面，来自所述一个或多个装置的所述数据包括以下一者或多者：时间、位置、用户交互和/或用户的接近度。
在本发明的一个方面，确定所述用户的所述面部的所述估计位置还基于历史信息，所述历史信息包括以下一者或多者：用户的使用频率、所述车辆的环境、相邻用户、用户的身高、先前交互和/或时间。
在本发明的一个方面，所述方法包括：在所述用户的所述面部周围创建动态感兴趣区域；以及通过搜索和调整所述动态感兴趣区域来跟踪所述用户的所述面部。
在本发明的一个方面，所述面部的所述估计位置的所述确定包括半监督学习，使得所述控制器使用奖励函数以基于以下各项来偏置所述估计位置：当检测到所述面部时的成功、所述用户的可选路径和/或对不同用户的辨识。

Claims (14)

1.一种被配置为检测和/或跟踪用户的面部的车辆，所述车辆包括：
一个或多个相机，所述一个或多个相机捕获一个或多个图像；以及
控制器，所述控制器与所述一个或多个相机耦接，所述控制器可操作以：
从一个或多个装置接收指示用户的位置的数据；
基于来自所述一个或多个装置的所述数据来确定所述用户的面部的估计位置；
基于所述估计位置来在由所述一个或多个相机捕获的所述图像中搜索所述用户的所述面部的位置；以及
检测所述用户的所述面部的所述位置。
2.如权利要求1所述的车辆，其中所述控制器还可操作以：
基于所述用户的所述面部来确定所述用户的身份；
确定所述用户被授权进行的动作，所述动作包括以下一者或多者：进入所述车辆、操作所述车辆、将所述车辆的门解锁或锁定、起动所述车辆和/或驾驶所述车辆；以及
为所述用户在所述车辆中进行所述动作提供授权。
3.如权利要求1所述的车辆，其中来自所述一个或多个装置的所述数据包括以下一者或多者：时间、位置、用户交互和/或所述用户的接近度。
4.如权利要求3所述的车辆，其中所述一个或多个装置包括钥匙扣、与所述钥匙扣的连接器、便携式通信装置和/或在所述车辆上的传感器。
5.如权利要求1所述的车辆，其中确定所述用户的所述面部的所述估计位置还基于历史信息，所述历史信息包括以下一者或多者：用户的使用频率、所述车辆的环境、相邻用户、用户的身高、先前交互和/或时间。
6.如权利要求1所述的车辆，其中所述控制器还可操作以：
在所述用户的所述面部周围创建动态感兴趣区域；以及
通过搜索和调整所述动态感兴趣区域来跟踪所述用户的所述面部。
7.如权利要求1所述的车辆，其中所述面部的所述估计位置的所述确定包括半监督学习，使得所述控制器使用奖励函数以基于以下各项来偏置所述估计位置：当检测到所述面部时的成功、所述用户的可选路径和/或对不同用户的辨识。
8.一种系统，所述系统包括：
一个或多个装置，所述一个或多个装置可操作以提供指示用户的位置的数据；以及
如前述权利要求1至7中任一项所述的车辆。
9.一种方法，所述方法包括：
由控制器从一个或多个装置接收指示用户的位置的数据，所述一个或多个装置包括钥匙扣、与所述钥匙扣的连接器、便携式通信装置和/或在车辆上的传感器；
由所述控制器基于来自所述一个或多个装置的所述数据来确定所述用户的面部的估计位置；
由所述控制器基于所述估计位置来在由一个或多个相机捕获的一个或多个图像中搜索在所述车辆周围或在所述车辆中的所述用户的所述面部的位置；以及
由所述控制器检测所述用户的所述面部的所述位置。
10.如权利要求9所述的方法，所述方法还包括：
由所述控制器基于所述用户的所述面部来确定所述用户的身份；
确定所述用户被授权进行的动作，所述动作包括以下一者或多者：进入所述车辆、操作所述车辆、将所述车辆的门解锁或锁定、起动所述车辆和/或驾驶所述车辆；以及
为所述用户在所述车辆中进行所述动作提供授权。
11.如权利要求9所述的方法，其中来自所述一个或多个装置的所述数据包括以下一者或多者：时间、位置、用户交互和/或用户的接近度。
12.如权利要求9所述的方法，其中确定所述用户的所述面部的所述估计位置还基于历史信息，所述历史信息包括以下一者或多者：用户的使用频率、所述车辆的环境、相邻用户、用户的身高、先前交互和/或时间。
13.如权利要求9所述的方法，所述方法还包括：
在所述用户的所述面部周围创建动态感兴趣区域；以及
通过搜索和调整所述动态感兴趣区域来跟踪所述用户的所述面部。
14.如权利要求9所述的方法，其中所述面部的所述估计位置的所述确定包括半监督学习，使得所述控制器使用奖励函数以基于以下各项来偏置所述估计位置：当检测到所述面部时的成功、所述用户的可选路径和/或对不同用户的辨识。
CN202110242058.7A 2020-03-10 2021-03-04 用于车辆的面部辨识系统 Pending CN113377189A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/813,978 2020-03-10
US16/813,978 US20210286973A1 (en) 2020-03-10 2020-03-10 Facial recognition system for a vehicle technical field

Publications (1)

Publication Number Publication Date
CN113377189A true CN113377189A (zh) 2021-09-10

Family

ID=77457314

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110242058.7A Pending CN113377189A (zh) 2020-03-10 2021-03-04 用于车辆的面部辨识系统

Country Status (3)

Country Link
US (1) US20210286973A1 (zh)
CN (1) CN113377189A (zh)
DE (1) DE102021105296A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021131742B4 (de) 2021-12-02 2024-04-18 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Computerimplementiertes Verfahren zur Kalibrierung eines elektrischen Antriebsstrangs eines Fahrzeugs

Also Published As

Publication number Publication date
DE102021105296A1 (de) 2021-09-16
US20210286973A1 (en) 2021-09-16

Similar Documents

Publication Publication Date Title
CN108473109B (zh) 无缝车辆访问系统
CN109690623B (zh) 用于识别场景中的相机的姿势的系统和方法
KR102098131B1 (ko) 자동차의 블라인드 스팟 모니터링 방법 및 이를 이용한 블라인드 스팟 모니터
JP6942712B2 (ja) コンテキスト及び深さ順序を用いる、部分的に遮られた物体の検出
US20220019810A1 (en) Object Monitoring System and Methods
CN112026686B (zh) 一种自动调节车辆座椅位置的方法及装置
US20150161796A1 (en) Method and device for recognizing pedestrian and vehicle supporting the same
CN109100537B (zh) 运动检测方法、装置、设备和介质
CN110069976A (zh) 用于确定拖车存在的基于视觉的方法和系统
CN110765807A (zh) 驾驶行为分析、处理方法、装置、设备和存储介质
CN106326866B (zh) 车辆碰撞的预警方法及装置
CN111267724B (zh) 一种车辆开启车门的保护和提醒方法及其系统
CN103646253A (zh) 基于乘客多运动行为分析的公交车客流统计方法
CN109584871B (zh) 一种车辆中语音指令的用户身份识别方法、装置
WO2018177702A9 (en) SYSTEM AND METHOD FOR PARKING AID AND VEHICLE EQUIPPED WITH THE SYSTEM
CN113377189A (zh) 用于车辆的面部辨识系统
CN112070808A (zh) 轨迹预测方法、装置和计算机可读存储介质
US8213684B2 (en) Motion estimating device
US10354368B2 (en) Apparatus and method for hybrid ground clearance determination
Shan et al. Driver gaze region estimation based on computer vision
KR101976498B1 (ko) 차량용 제스처 인식 시스템 및 그 방법
CN114312580B (zh) 确定车辆内乘员的座位及车辆控制方法及装置
US20150070267A1 (en) Misrecognition reducing motion recognition apparatus and method
US11636700B2 (en) Camera identification
KR102486161B1 (ko) 차량, 차량의 제어 방법 및 영상 탐색 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210910

WD01 Invention patent application deemed withdrawn after publication