CN112446288A - 用于车辆解锁情境的人脸识别和对象检测 - Google Patents

用于车辆解锁情境的人脸识别和对象检测 Download PDF

Info

Publication number
CN112446288A
CN112446288A CN202010879212.7A CN202010879212A CN112446288A CN 112446288 A CN112446288 A CN 112446288A CN 202010879212 A CN202010879212 A CN 202010879212A CN 112446288 A CN112446288 A CN 112446288A
Authority
CN
China
Prior art keywords
vehicle
individuals
individual
door
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010879212.7A
Other languages
English (en)
Inventor
永田勝己
R·M·维森博格
C·瑞斯博格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Engineering and Manufacturing North America Inc
Original Assignee
Toyota Motor Engineering and Manufacturing North America Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Engineering and Manufacturing North America Inc filed Critical Toyota Motor Engineering and Manufacturing North America Inc
Publication of CN112446288A publication Critical patent/CN112446288A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/40Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20Means to switch the anti-theft system on or off
    • B60R25/25Means to switch the anti-theft system on or off using biometry
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20Means to switch the anti-theft system on or off
    • B60R25/24Means to switch the anti-theft system on or off using electronic identifiers containing a code not memorised by the user
    • B60R25/241Means to switch the anti-theft system on or off using electronic identifiers containing a code not memorised by the user whereby access privileges are related to the identifiers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/305Detection related to theft or to other events relevant to anti-theft systems using a camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/316User authentication by observing the pattern of computer usage, e.g. typical user behaviour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00Individual registration on entry or exit
    • G07C9/00174Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00563Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys using personal physical data of the operator, e.g. finger prints, retinal images, voicepatterns
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00Individual registration on entry or exit
    • G07C9/20Individual registration on entry or exit involving the use of a pass
    • G07C9/22Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder
    • G07C9/25Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder using biometric data, e.g. fingerprints, iris scans or voice recognition
    • G07C9/253Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder using biometric data, e.g. fingerprints, iris scans or voice recognition visually
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00Individual registration on entry or exit
    • G07C9/20Individual registration on entry or exit involving the use of a pass
    • G07C9/22Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder
    • G07C9/25Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder using biometric data, e.g. fingerprints, iris scans or voice recognition
    • G07C9/257Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder using biometric data, e.g. fingerprints, iris scans or voice recognition electronically
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/90Services for handling of emergency or hazardous situations, e.g. earthquake and tsunami warning systems [ETWS]
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C2209/00Indexing scheme relating to groups G07C9/00 - G07C9/38
    • G07C2209/60Indexing scheme relating to groups G07C9/00174 - G07C9/00944
    • G07C2209/63Comprising locating means for detecting the position of the data carrier, i.e. within the vehicle or within a certain distance from the vehicle
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00Individual registration on entry or exit
    • G07C9/20Individual registration on entry or exit involving the use of a pass
    • G07C9/22Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder
    • G07C9/25Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder using biometric data, e.g. fingerprints, iris scans or voice recognition
    • G07C9/26Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder using biometric data, e.g. fingerprints, iris scans or voice recognition using a biometric sensor integrated in the pass

Abstract

公开了用于车辆解锁情境的人脸识别和对象检测。根据所公开技术的各种实施例,用于车辆的生物特征识别访问控制系统和方法可包括:捕获接近车辆的两个或更多个个体的图像;分析所捕获的图像以确定接近车辆的一个或更多个个体是否是车辆的授权用户;在接近车辆的所述两个或更多个个体之中的至少一个但并非全部个体被识别为车辆的授权用户的情况下,分析所捕获的图像来确定所识别的车辆的授权用户与车辆的未授权用户之间的情绪水平;以及基于所确定的车辆的授权用户与车辆的未授权用户之间的情绪水平来执行车辆访问安全操作。

Description

用于车辆解锁情境的人脸识别和对象检测
技术领域
本公开一般地涉及车辆安全,更具体而言,一些实现方式可以涉及用于确定车辆解锁情境的人脸识别和图像分析。
背景技术
许多现代车辆的访问是通过使用车钥匙来控制致动器以操作车门锁定设备来完成的。这样的系统响应于用户按车钥匙上的按钮来操作以锁定或解锁车门、打开前备箱或后备箱、进入应急模式等。一些更先进的系统提供免手持的方法,在该方法中车钥匙随着用户接近车辆而被识别,自动地解锁车门无需用户按下任何按钮。
对于哪些车门是由车钥匙打开的而言,一些系统允许用户灵活性。例如,可编程某些车辆以使得解锁按钮的一次点击仅解锁驾驶员车门,以及需要第二次点击来解锁所有乘客座位的车门。
改进车辆功能和设计来为用户提供更令人满意的或令人愉快的用户体验或者简单地使访问车辆少一些麻烦,这是汽车行业的持续性挑战。汽车设计师们已经一直奋斗于改进其车辆的用户体验并且提供可以使其车辆有别于其他制造商的特点的方法。车辆设计师们也正在寻求使系统不易误用并且为车辆及它们的操作者提供增强的安全性的方法。
发明内容
根据本公开技术的各种实施例,使用具有高精度的确定逻辑的人工智能(AI)的用于车辆的生物特征识别访问控制方法可包括:使用图像传感器来捕获接近车辆的两个或更多个个体的图像;分析所捕获的图像以确定接近车辆的一个或更多个个体是否是车辆的授权用户;在接近车辆的所述两个或更多个个体之中的至少一个但并非全部个体被识别为车辆的授权用户的情况下,分析所捕获的图像以确定车辆的所识别的授权用户与车辆的未授权用户之间的情绪水平;以及基于所确定的车辆的授权用户与车辆的未授权用户之间的情绪水平来执行车辆访问安全操作。
车辆访问操作安全可包括:在车辆的授权用户与车辆的未授权用户之间的交互被确定为非敌对的交互的情况下,为每个接近的个体打开车门;以及当车辆的授权用户与车辆的未授权用户之间的交互被确定为敌对的交互时,仅为车辆的授权用户打开车门。打开车门可包括解锁车门或实体地打开车门。
在一些实施例中,车辆访问安全操作可包括当车辆的授权用户与车辆的未授权用户之间的交互被认为是敌对的交互时,不打开车辆的任何车门。
该方法还可以包括当车辆的授权用户与车辆的未授权用户之间的交互被认为是敌对的交互时,启动警报。
使用AI分析所捕获的图像以确定接近车辆的一个或更多个个体是否是车辆的授权用户可包括:对所述一个或更多个个体的所捕获的图像执行人脸识别以确定接近车辆的所述一个或更多个个体的身份。
该方法还可以包括确定所识别的个体的用户简档(profile),并且使用用户简档来确定此所识别的个体的座位位置以及对应于此座位位置的要打开的车门。该方法还可以包括使用用户简档来调整在为所识别的个体确定的座位位置处的车辆配置设置。
该方法还可以包括:使用AI分析所捕获的图像以识别接近车辆的多个个体中的个体;并且,基于对接近车辆的、车辆的一个或更多个授权用户的识别,为作为车辆的授权用户的、接近车辆的每个所识别的个体打开车辆的特定车门。
该方法还可以包括:使用AI分析所捕获的图像以确定未被识别的个体的类别,以及基于所确定的个体的类别来确定要为此个体打开的车辆的车门。
车辆控制系统可包括:处理器;以及存储器,耦接到处理器以存储指令,所述指令在被处理器执行时使处理器执行操作,所述操作包括:捕获接近车辆的两个或更多个个体的图像;分析所捕获的图像以确定接近车辆的一个或更多个个体是否是车辆的授权用户;在接近车辆的所述两个或更多个个体之中的至少一个但并非全部个体被识别为车辆的授权用户的情况下,分析所捕获的图像来确定车辆的所识别的授权用户与车辆的未授权用户之间的情绪水平;以及基于所确定的车辆的授权用户与车辆的未授权用户之间的情绪水平来执行车辆访问安全操作。
在一些实施例中,车辆访问安全操作可包括:在车辆的授权用户与车辆的未授权用户之间的交互被确定为非敌对的交互的情况下,为每个接近的个体打开车门;以及当车辆的授权用户与车辆的未授权用户之间的交互被确定为敌对的交互时,仅为车辆的授权用户打开车门。打开车门可包括解锁车门或实体地打开车门。
在一些实施例中,车辆访问安全操作可包括当车辆的授权用户与车辆的未授权用户之间的交互被认为是敌对的交互时,不打开车辆的任何车门。
所述操作还可以包括当车辆的授权用户与车辆的未授权用户之间的交互被认为是敌对的交互时,启动警报。
在一些实施例中,使用AI分析所捕获的图像以确定接近车辆的一个或更多个个体是否是车辆的授权用户可包括:对所述一个或更多个个体的所捕获的图像执行人脸识别以确定接近车辆的所述一个或更多个个体的身份。所述操作还可以包括确定所识别的个体的用户简档,并且使用用户简档来确定此所识别的个体的座位位置以及对应于此座位位置的要打开的车门。在一些实施例中,所述操作还可以包括使用用户简档来调整在为所识别的个体确定的座位位置处的车辆配置设置。
在一些实施例中,所述操作还可以包括:使用AI分析所捕获的图像以识别接近车辆的多个个体中的个体;并且,基于对接近车辆的、车辆的一个或更多个授权用户的识别,为作为车辆的授权用户的、接近车辆的每个所识别的个体打开车辆的特定车门。
在一些实施例中,所述操作还可以包括:使用AI分析所捕获的图像以确定未被识别的个体的类别,以及基于所确定的个体的类别来确定要为此个体打开的车辆的车门。
其他的本公开技术的特征和方面从以下详细描述中变得清楚,结合附图通过示例阐释了与本公开技术的实施例一致的特征。发明内容不旨在限制本文描述的任何发明的范围,仅由所附于此的权利要求限定发明的范围。
附图说明
根据一个或更多个各种实施例,参照下图详细描述本公开。所提供的图仅用于说明并且只描述典型或示例实施例。
图1是示例混合动力车辆的示意图,通过该混合动力车辆可以实现本文公开的系统和方法的实施例。
图2图示出根据一个实施例的用于基于人脸识别的车辆解锁情境的示例处理。
图3图示出装备了用于检测接近个体的传感器的示例车辆的俯视图。
图4图示出图3中的示例车辆和7个接近个体的侧视图。
图5图示出根据一个实施例的用于车辆访问的人脸识别系统的示例架构。
图6图示出根据一个实施例的用于人脸识别访问控制的示例处理。
图7是可以用于实现在本公开中描述的实施例的各种特征的示例计算部件。
图并非穷尽的并且不将本公开限制于公开的明确形式。
具体实施方式
本文公开的系统和方法的实施例可以提供用于增强的车辆访问的系统和方法。实施例可在驾驶员接近车辆时,使用图像数据来验证驾驶员或乘客自动访问车辆的权限。可以从接近车辆的人采集图像数据并分析,以验证接近的人的权限。可以使用人工智能(AI)来执行分析。车辆可在一个被识别的操作员或被识别的乘客接近车辆时,评价被验证的个体并且自动解锁或打开车门。
当个体操作员接近车辆并且该操作员被车辆识别为该车辆的授权驾驶员时,车辆可被配置成仅解锁和打开驾驶员的车门以允许驾驶员访问。当被识别的“夫妇”接近车辆时,车辆可自动解锁并打开两个前车门,确定该夫妇中的一员通常总是驾驶员,并且配置驾驶员和乘客设置(不仅是座椅和视镜,还有分区气候控制和其他设置)或者该驾驶员设置。当双亲或其中一个在一个或更多个被识别的孩子中接近车辆时,该车辆可以根据学习到的座位位置打开适当的车门并且为这些乘客配置车辆。该系统还可被配置成确定被识别的夫妇、家庭或其他群体中的哪个人或哪些人正在接近车辆的哪扇门,并且相应地配置驾驶员和乘客设置。
在进一步的实施例中,图像分析可被用于评价接近的个体之间的交互以确定是否应该为另外的未被识别的个体做出调整。例如,车辆可能检测到一个已知操作员和3个其他个体接近车辆。成人可能正在以友好的方式相互之间讨论或闲聊。(与忽略彼此相反)在这种情况下,车辆可认为这4个成人将要一起进入该车辆并且所有的4扇车门应该被解锁并且打开。如果车辆通过图像分析识别出正在发生争吵,车辆可只解锁驾驶员车门,并且同时发出车辆告警。
随着时间的推移可以收集并记住用户习惯,这样车辆可以学习并且自动地响应操作者和乘客的偏好。这些偏好可被存储在车辆上或者在车辆外部的存储位置(例如,基于云的存储设施)并且在识别乘客时被记起。该技术也可以学习一周之中不同日子或一天之中不同时间的不同习惯或偏好。例如,在周末接近车辆的夫妇可能导致与接近车辆的相同夫妇在工作日早上或工作日晚上不同的用户偏好设置。类似的,系统可被配置成学习当在工作日早上夫妇一起接近该车辆,该夫妇中只有一人进入车辆并且另一人继续越过车辆;然而当该夫妇在周末晚上一起接近车辆,他们通常都进入车辆,并且该夫妇之中的一特定个体通常是驾驶员而且另一人是乘客。
本文公开的系统和方法可以在许多不同的车辆和车辆类型中的任意一个上被实现。例如,本文公开的系统和方法可被用于汽车、卡车、摩托车、娱乐性车辆和其他类似的公路车辆或越野车辆。另外,本文公开的主体也可扩展到其他车辆类型。图1图示出在其中本公开技术的实施例可被实现的示例混合动力电动车辆(HEV)。虽然参考图1描述的示例是一种混合动力车辆,但是车辆访问控制的系统和方法可以在其他类型的车辆中被实现,包括汽油或柴油动力车辆、燃料电池车辆、电动车辆或其他车辆。
图1图示出车辆2的驱动系统,该驱动系统可包括作为动力源的内燃引擎14和一个或更多个电动马达22(也可用作发电机)。由内燃引擎14和马达22生成的驱动力可通过转矩变换器16、变速器18、差动齿轮装置28和一对轴30传输到一个或更多个车轮34。
作为HEV,车辆2可被作为行驶驱动源的引擎14和马达22中的一个或两个驱动/供能。例如,第一行驶模式可以是仅使用内燃引擎14作为动力源的仅引擎行驶模式。第二行驶模式可以是仅使用马达22作为动力源的EV行驶模式。第三行驶模式可以是使用引擎14和马达22作为动力源的HEV行驶模式。在仅引擎和HEV行驶模式中,车辆2依赖至少由内燃引擎14生成的动力,并且离合器15可被包括来啮合引擎14。在EV行驶模式下,车辆2被由马达22生成的动力供能,同时引擎14可停止并且离合器15可脱离。
引擎14可以是内燃引擎,诸如汽油、柴油或类似动力引擎,在其中燃料在燃烧室被注入并被燃烧。可提供冷却系统12来冷却引擎14,诸如例如从引擎14消除多余热量。例如,冷却系统12可由包括散热器、水泵和一套冷却通道来实现。在操作中,水泵循环冷却剂通过引擎14来吸收来自引擎的多余热量。加热的冷却剂通过散热器循环来从冷却剂中消除热量,然后冷却的冷却剂可通过引擎再循环。还可包括风扇以增加散热器的冷却能力。水泵和在某些情况下的风扇,可通过直接或间接耦接到引擎14的驱动轴操作。在其他应用中,水泵和风扇中的一个或两个可由诸如来自电池44的电流来操作。
输出控制电路14A可被提供来控制引擎14的驱动(输出转矩)。输出控制电路14A可包括节气门致动器,以控制对燃料喷射进行控制的电子节气门阀、控制点火定时的点火装置等。输出控制电路14A可根据从电子控制单元50提供的命令控制信号来执行引擎14如下所述的输出控制。这种输出控制可包括例如节气门控制、燃料喷射控制和点火定时控制。
马达22也可被用于在车辆2中提供动力,并且由电池44来供电。电池44可被实现为一个或更多个电池或其他蓄电设备,包括例如铅酸电池、锂离子电池和电容性存储设备等。电池44可由接收来自内燃引擎14的能量的电池充电器45充电。例如,交流发电机或发电机可直接或间接地耦接到内燃引擎14的驱动轴以生成电流,来作为内燃引擎14的操作的结果。可包括离合器以使电池充电器45接合/分离。在马达22作为发电机期间,电池44也可由马达22充电,诸如例如通过再生制动或通过滑行。
马达22可由电池44供能,以生成动力来移动车辆并调整车速。马达22还可用作发电机,以诸如例如在滑行或制动时生成电力。电池44也可用于给车辆中的其他电气或电子系统供电。马达22可经由变换器42连接到电池44。电池44可包括例如一个或更多个电池、电容性存储单元或其他适合于存储电能的存储器,该存储器可被用于为马达22供能。当使用一个或更多个电池来实现电池44时,该电池可包括例如镍金属氢化物电池、锂离子电池、铅酸电池、镍镉电池、锂离子聚合物电池以及其他类型的电池。
电子控制单元50(如下所述)可被包括,并且可控制车辆的电驱动组件以及车辆其他组件。例如,电子控制单元50可控制变换器42,调整提供给马达22的驱动电流,并调整在再生滑行和制动期间从马达22接收的电流。作为更具体的示例,可由电子控制单元50通过逆变器42来增大或减小马达22的输出转矩。
可包括转矩变换器16以控制从引擎14和马达22到变速器18的动力施加。转矩变换器16可包括粘性流体耦接器,该粘性流体耦接器将来自动力源的旋转动力通过变速器传递到驱动轴。转矩变换器16可包括传统转矩变换器或锁止转矩变换器。在其他实施例中,可使用机械离合器代替转矩变换器16。
可包括离合器15,以使引擎14与车辆的传动系接合和分离。在所示的示例中,作为引擎14的输出构件的曲轴32可经由离合器15被选择性地耦接至马达22和转矩变换器16。离合器15可被实现为例如多片液压摩擦接合设备,其接合由诸如液压致动器的致动器控制。离合器15可被控制以使得其接合状态是完全接合、滑移接合以及完全分离,这取决于施加到离合器的压力。例如,离合器15的最大转矩可根据从液压控制电路(未示出)供应的液压来被控制。当离合器15接合时,在曲轴32与转矩变换器16之间的动力传输路径中提供动力传输。另一方面,当离合器15分离时,来自引擎14的动力不被传递至转矩变换器16。在滑动接合状态下,离合器15被接合,并且根据离合器15的最大转矩(传输转矩)向转矩变换器16提供动力。
如上所述,车辆2可包括电子控制单元50。电子控制单元50可包括用于控制车辆操作的各个方面的电路。电子控制单元50可包括例如微型计算机,该微型计算机包括一个或更多个处理单元(例如,微处理器)、存储器(例如,RAM,ROM等)和I/O设备。电子控制单元50的处理单元执行存储在存储器中的指令,以控制车辆中的一个或更多个电气系统或子系统。电子控制单元50可包括多个电子控制单元,诸如例如,电子引擎控制模块、动力系控制模块、变速器控制模块、悬架控制模块和车身控制模块等。作为进一步的示例,可包括电子控制单元来控制系统和功能,诸如车门和门锁、照明、人机界面、巡航控制、远程信息处理、制动系统(例如ABS或ESC)、和电池管理系统等。可使用两个或更多个单独的电子控制单元或使用单个电子控制单元来实现这些各种控制单元。
在图1所示的示例中,电子控制单元50从车辆2中包括的多个传感器接收信息。例如,电子控制单元50可接收表示车辆操作状况或特性的信号,或者可被用于得出车辆的操作状况或特性的信号。这些信号可包括但不限于加速器操作量ACC、内燃引擎14的转速NE(引擎RPM)、马达22的转速NMG(马达转速)和车速NV。这些信号还可包括转矩变换器16的输出NT(例如,表示马达输出的输出安培)、制动操作量/压力B、电池SOC(例如,由SOC传感器检测到的电池44的充电量)。相应地,车辆2可包括多个传感器52,该传感器可被用于检测车辆内部或外部的各种状况,并且将感测到的状况提供给引擎控制单元50(引擎控制单元50还可被实现为一个或更多个单独的控制电路)。在一个实施例中,可包括传感器52以直接或间接地检测一个或更多个状况,诸如例如燃料效率、EF、马达效率、EMG、混合动力(内燃马达14+MG12)效率、加速度、ACC等。
在一些实施例中,一个或更多个传感器52可包括其自身的处理能力,以计算可被提供给电子控制单元50的附加信息的结果。在其他实施例中,一个或更多个传感器可以是仅收集数据的传感器,该传感器向电子控制单元50提供仅原始数据。在进一步的实施例中,可包括混合传感器,该传感器向电子控制单元50提供原始数据和已处理数据的组合。传感器52可提供模拟输出或数字输出。
可包括传感器52,来不仅检测车辆状况,而且还检测外部状况。可以被用于检测外部状况的传感器可包括例如声纳、雷达、激光雷达或其他车辆接近传感器、以及相机或其他图像传感器。图像传感器可被用于检测例如指示当前速度限制、道路曲率、以及障碍物等的交通标志。其他传感器仍可包括那些可以检测道路坡度的传感器。一些传感器可被用于主动检测被动环境对象,而其他传感器可被包括并用于检测动态对象,诸如被用于实现可主动发送和/或接收数据或其他信息的智能道路的那些对象。
仅出于图示的目的提供图1的示例,作为可实现本公开技术的实施例的车辆系统的一个示例。阅读本说明书的本领域普通技术人员将理解如何利用本平台和其他车辆平台来实现本公开的实施例。
图2图示出根据一个实施例的用于基于人脸识别的车辆解锁情境的示例处理。现在参考图2,在操作212,系统检测接近主体车辆的个体。例如,可使用各种传感器中的一个或更多个来检测接近的个体。在操作214,可收集接近个体的图像,并且系统可使用人脸识别或其他基于图像分析的识别技术来确定系统是否识别出一个或更多个接近个体。如果接近个体被识别为车辆的操作员或车辆的其他授权进入者,那么系统可解锁对应于该个体或这些个体的适当的一扇或多扇车门。在另一些实施例中,适当的一扇或多扇车门可被自动打开以允许所识别的一个或多个个体访问车辆。
在各种实施例中,可通过各种技术将授权的车辆操作员和乘客作为授权用户向车辆注册。例如,授权人可使用智能手机应用程序、网站或其他类似的访问应用程序来注册为授权操作员或乘客。系统可收集识别数据以及生物特征数据以存储在系统(例如,ECU 50(图1),车辆访问控制系统340(图5)或其他存储位置)中。在一些应用中,车辆自身可被用于注册授权操作员或乘客。例如,车载相机或其他生物特征传感器可被用于捕获和存储授权用户的生物特征信息。在一些实施例中,车辆可基于车辆访问和使用的历史来随着时间逝去而学习并自动添加授权操作员或乘客。
在系统没有识别出全部的接近个体的情况下,系统可对接近的群体执行进一步的分析,以确定它是否应该解锁车辆,并且如果是则它应该解锁车辆到哪种程度。例如,该系统可被配置成分析由一个或更多个车辆相机捕获的接近个体的视频或其他运动图像,以确定个体之间的交互的性质。系统可分析图像以确定未被识别的个体是否正在与所识别的个体进行亲切的或友好的行为。如果是这样,则系统可确定解锁所有车门或为每个接近个体解锁车门是合适的。该系统可评价个体之间的交互,以确定他们是否正在参与互动,诸如手牵着手、臂挽臂走路、和彼此看着对方交谈和微笑等。人脸识别可被用于确定所识别的个体是否表现出快乐或满意,或者他们看起来是否受到惊吓。可使用AI算法来执行对个体及其交互的分析,以确定交互的情绪水平,并确定未被识别的个体是友善的还是敌对的(或其他类别的)个体。机器学习技术可被用于基于已识别和未识别个体之间的先前交互的数据来训练用于分析的模型。来自授权个体的结果确认可被用于完善该模型。该数据可从主体车辆收集,或者可从广泛参与者中的多个不同车辆收集。
系统可自动将未被识别的个体的生物特征数据注册或存储为车辆的访客。当在以后的日期或时间识别出相同的个体接近车辆时,可能会在将来调用此信息。相应地,这些人可被注册为授权访客,并且当为了车辆访问控制而分析接近个体及其交互时,AI算法可使用此信息。
系统还可分析图像,以确定未被识别的个体是否正在对所识别的个体进行敌对的行为。例如,可使用图像分析来确定未被识别的个体是否在推或者撞所识别的个体。该系统还可确定已识别和未被识别的个体的人脸表情,以确定所识别的个体是否不快乐或看起来有恐惧感。行为表现得更为敌对的,则该系统可被配置成仅为所识别的个体解锁足够的车门。在只有一个所识别的个体的情况下,该系统可被配置成仅解锁驾驶员的车门,以使得被识别的驾驶员可以进入车辆,而其他明显敌对的未被识别的个体仍然被锁在车辆之外。该系统可进一步被配置成当相应的所识别的个体进入车辆时立即重新锁定已解锁的一扇或多扇车门。在敌对的情况下,系统可进一步被配置成触发听觉或视觉警报,以警告敌对的个体离开或引起对该车辆的注意。在更进一步的实施例中,系统可被配置成发送向诸如执法机关或朋友和家人的其他人报警潜在的危险情况的消息。
系统可将未被识别的个体的生物特征数据自动注册或存储为敌对的个体。当在以后的日期或时间识别出相同的个体接近车辆时,可能会在将来调用此信息。相应地,这些人可注册为未授权的个体,并且当为了车辆访问控制而分析接近个体及其交互时,AI算法可使用此信息。
在这些和其他实施例中,系统可被配置成还识别由所识别的个体提供的其他信号,以确认或推翻系统的访问决定。在一些实现方式中,系统可使用姿势识别以使所识别的个体能够使用各种姿势与车辆通信,包括可能不被敌对方识别的无害姿势。该系统还可被配置成使得来自被识别用户操作的车钥匙的信号可推翻系统决定。
在操作218,系统可进一步被配置成分析图像以评价物体或接近个体的其他特性。可评价个体手中的物体以确定物体的类型,以及该物体是否构成威胁或者需要特殊处理。例如,该系统可被配置成分析物体的图像并且将它们与其他已知物体比较以确定个体是否正拿着枪或刀或其他武器。该系统还可确定一个或更多个接近个体是否正携带着包裹,并且该系统可使用该确定来进一步确定是否打开车辆的行李箱、舱口或货舱门,以便该个体可以将包裹放置在货舱中。
如以上示例所示,在操作220,系统可根据在操作214至218进行的图像识别和确定来控制车辆访问。如上所述,在仅一个接近个体被识别的情况下,系统可仅打开一扇门,除非个体的行为另有表示。在各种应用中,系统可被配置成使用人脸识别来不仅确定正在接近个体是否是授权乘客,而且还可确定这些授权乘客通常坐在车辆中的位置,以便系统可为适当的乘客打开适当的车门。例如,系统可确定驾驶员及其配偶正在接近车辆,在这种情况下,系统将解锁并可能自动打开驾驶员的车门以及其配偶通常坐的座位位置所对应的车门。
该系统还可以能够确定个体的类别,诸如成人、儿童、学步儿童、婴儿、残障人士、老人、普通乘客和受信任的乘客等。例如,系统可确定驾驶员及其两个孩子正在接近车辆。系统可进一步将孩子的身份确定为孩子A和孩子B,孩子A总是坐在左后座位位置,并且当配偶没有出现时,孩子B总是坐在前排乘客位置,而当配偶出现时,孩子B总是坐在右后排的座位位置。相应地,当驾驶员及两个被识别的孩子接近时,系统可使用此信息打开两扇前车门和左后车门,或者当驾驶员及其配偶和两个孩子接近时,系统可使用此信息打开两扇前车门和两扇后车门。作为更进一步的示例,系统可识别接近的驾驶员及孩子A和孩子C。系统可进一步确定孩子C与孩子B不同,总是坐在右后排座位位置。相应地,在这种情况下,系统可配置成打开前排驾驶员的车门和两扇后排乘客车门。
根据车辆的类别或类型或车辆被使用的目的还可提供特殊的用例。例如,在将车辆用于乘车共享服务的情况下,在服务请求时仅受信任的乘客被允许打开车辆的门。可请求乘车共享应用的用户使用乘车共享应用程序或网站注册,这可包括在注册时对权利共享的用户执行人脸识别。相应地,用于乘车共享服务的车辆可对接近个体执行人脸识别,以确认他们是该服务的注册用户以及他们是请求相应车辆的用户。这可为乘车共享服务增加安全措施。另外,车载相机可捕获车辆驾驶员的图像并对其执行人脸识别,以确认该车辆驾驶员是乘车共享主体车辆的授权驾驶员。该系统可向乘车共享服务以及发出请求的乘客发送确认,以确认驾驶员是该车辆的授权驾驶员。
图3图示出装备了用于检测接近个体的传感器的示例车辆的俯视图。图4图示出图3中的示例车辆和7个接近个体的侧视图。现在参考图3和图4,示例主体车辆2包括围绕主体车辆2放置以使得它们可捕获围绕车辆的大致360°的视野的多个图像传感器64。在各种实施例中,代替图像传感器或除了图像传感器之外,可使用其他传感器来检测接近个体。例如,雷达、激光雷达、红外、超声波或其他传感器可被用于检测接近个体。作为进一步的示例,除了图像传感器64之外或代替图像传感器64,停车传感器或自适应巡航控制传感器也可被用于检测接近个体的存在。图像传感器64可以是专用于车辆访问控制系统的相机或其他图像传感器。在其他实施例中,一些或所有相机可被与其他功能共享,诸如例如倒车相机,环视相机,前视相机或用于车辆其他功能的其他相机。
尽管在该示例中在车辆2的左后四分之一处不包括图像传感器64,但是这里也可设置图像传感器64。另外,其他的许多传感器可被用于检测个体的接近并捕获接近个体的图像。除了或包括图3和图4的示例中所示的图像传感器,图像传感器64还可被安装在车辆的其他位置。
图4的示例图示出侧面安装的图像传感器64,该图像传感器64用于检测接近个体并捕获检测到的接近个体的图像。如上所述,除了图像传感器64之外的其他传感器可用于检测接近个体。图像传感器64不需要被安装在车辆的前排窗上,而是可安装在车辆周围的其他位置。另外,如上所述,可提供其他的许多图像传感器64。通常,图像传感器提供的覆盖范围越大,系统在检测接近个体并评价接近个体的身份和性质方面越有效率。在一些实施例中,可使用较宽角度的图像传感器,从而与具有较窄视角的图像传感器的实现方式的情况相比,需要较少数量的图像传感器。
图5图示出根据一个实施例的用于车辆访问的人脸识别系统的示例架构。该示例包括相机332、传感器334、人脸识别模块336、视频图像识别模块338、存储设备337、车辆访问控制系统340、车辆锁定系统342和各种锁定机构343。
传感器334可被用于检测个体朝向车辆的接近。传感器334可包括例如图像传感器、激光雷达、雷达、超声检测器、声学传感器和其他可用于检测个体接近的传感器。在传感器334包括图像传感器的情况下,这些传感器也可执行图像捕获,而无需相机332。在该示例中,传感器334向车辆访问控制系统340提供数据,该系统使用该信息来确定个体是否正在接近。在一些实施例中,车辆访问控制系统340可在个体接近时打开相机332,并且可触发人脸识别模块336和视频图像识别模块338的操作。在一些实施例中,车辆访问控制系统340可被实现为包括一个或更多个处理器和存储器的基于处理器的系统。在一些实施例中,车辆访问控制系统340可通过人脸识别336、视频图像识别338、相机332、传感器334、存储器337和车辆锁定系统342中的任何一个来实现。
可包括照相机332以捕获接近个体的图像。相机332可包括例如各种类型的相机,诸如立体相机、飞行时间相机、深度相机或其他相机技术。可包括相机332以捕获用于人脸识别和对象检测的静止图像,以及用于行为识别的运动图像。可包括多个相机332中的任一个以捕获车辆外部的图像。相机332可由车辆访问控制系统340控制,并且可将图像数据提供给人脸识别模块336和视频图像识别模块338。在一些实施例中,人脸识别模块336和视频图像识别模块338可被实现为车辆访问控制系统340的一部分或相机332的一部分。相机332和传感器334可将收集的图像数据和其他数据提供给人脸识别模块336和视频图像识别模块338以及车辆访问控制系统340。
人脸识别模块336可被实现为基于处理器的系统,该系统包括用于分析由一个或更多个相机332捕获的人脸特征从而确定接近个体的身份的具有AI能力的人脸识别软件。可通过车辆内部或车辆外部的诸如在云服务器上的嵌入式模块或通过边缘计算来执行该分析。在一些实施例中,这是通过人脸识别模块336将捕获的图像与存储在存储设备337中的图像比较来完成的。在一些实施例中,人脸识别模块336还可被配置成一旦识别正在接近的个体,便对其进行认证,而在其他实施例中,这可由车辆访问控制系统340执行。
视频图像识别模块338也可被实现为基于处理器的系统,该系统包括用于特别是在一些接近个体不是识别个体的情况下分析由一个或更多个相机332捕获的运动、姿势和人脸特征从而确定接近个体的性质的视频图像分析软件。AI技术可被用于执行该分析。可通过车辆内部或车辆外部的诸如在云服务器上的嵌入式模块或通过边缘计算来执行该分析。视频图像识别模块338可被配置成分析身体运动、接近个体之间的交互、人脸特征或表情以及其他活动。该信息可由车辆访问控制系统340使用以确定未被识别的个体是敌对的还是友善的。视频图像识别模块338还可被用于检测接近个体的活力。
车辆访问控制系统340可使用来自人脸识别模块336和视频图像识别模块338的信息来确定是致动车门锁定/解锁机构还是打开车门。例如,在人脸识别模块确定接近个体全部被识别并被授权的情况下,车辆访问控制系统340可以指示车辆锁定系统342致动车辆锁定机构343来为接近的授权的个体解锁相应的车门。作为另一个示例,在系统确定仅一个接近个体被识别并且伴随的未被识别的个体表现出敌对的情况下,车辆访问控制系统340可以指示车辆锁定系统342仅为所识别的个体解锁一扇车门而将其他车门保持锁定。这可通过车辆内部或车辆外部的诸如在云服务器上的嵌入式模块或通过边缘计算来执行。尽管在图5中未图示出,但是车辆访问控制系统340也可指示告警系统发起车辆告警(听觉、视觉或其他方式),并且可指示消息系统向机构、亲属或其他指定的接收者发送警报。
尽管在图5中图示出,但是也可包括通信模块以允许车辆访问控制系统与服务器(例如,云服务器或其他远程服务器)或与边缘计算资源通信,以执行诸如图像识别和分析的功能。这些功能中的一些或全部根据系统设计偏好可在车辆外部或车辆内部执行。相应地,可提供适当的无线通信接口(例如,蜂窝数据,LTE,5G等)以实现这种通信。
图6图示出根据一个实施例的用于人脸识别访问控制的示例处理。现在参考图6,在操作412,系统使用传感器来扫描主体车辆周围的区域。在一些实施例中,也可使用周围车辆或该区域中的基础设施设备的传感器,并且可将传感器数据传输给主体车辆(或传输给诸如用于基于云的系统的服务器,或传输给用于基于边缘的处理的多个车辆),以确定一个或更多个个体是否正在接近车辆。如上所述,可利用许多不同的传感器中的任何传感器,包括雷达、激光雷达、超声波、图像传感器和其他传感器。
系统接收传感器数据并对其进行评价,以确定一个或更多个个体是否正在接近车辆。该系统还可评价其他数据,诸如车钥匙数据,以检测或验证接近个体的存在。如果在操作414没有检测到接近个体,则系统继续扫描车辆附近。如果系统确定个体正在接近,则系统会使用一个或更多个图像传感器(例如,一个或更多个相机)来收集一个或更多个接近个体的图像。
在操作416,系统对一个或更多个接近个体执行图像识别,以确定是否一些或全部个体被识别为被授权进入或操作车辆的个体。可在车辆上执行该分析,或者通过诸如基于云的服务系统或边缘计算网络的外部处理功能来执行该分析。根据图5所示的示例,该识别可由人脸识别模块336执行,该人脸识别模块336可是独立的处理系统,或者可与车辆访问控制系统340、车辆锁定系统342或其他车辆系统集成在一起。
在操作418,如果所有接近个体被识别,则该处理在操作420继续,在该操作420中,系统指示车辆锁定系统为乘客解锁所有车门。在一些实施例中,该系统可被配置成使得所有车门被解锁或者所有车门加上任何货舱门和加油门被解锁。在另一实施例中,该系统可被配置成为每个接近的被识别的乘客解锁一扇门,这可小于车辆上的车门的总数。在车辆包括用于实体地打开和关闭各种门的致动器的情况下,该系统可进一步被配置成解锁出门并打开车门。
该系统可进一步被配置成确定被识别的接近个体的身份并且解锁或打开与确定身份的识别个体相对应的特定的车门。作为一个示例,系统可识别两个接近个体并确定他们是特定的已知的个体。通过使用关于所识别的个体的存储的简档,或者通过使用机器学习技术基于他们的历史实践来识别和学习接近个体的行为,系统可确定接近个体中的一个通常驾驶车辆,而另一个接近个体通常是前排乘客座位上的乘客。基于此确定,系统可打开车辆的左前车门和右前车门,并根据与所识别的个体相对应的用户简档配置车辆设置。
然而,如果没有接近个体被识别,则在操作422,系统不解锁车辆,并且在操作412可继续扫描更多的接近个体。在一些应用中,该系统可被配置成在没有接近个体被识别的情况下提高车辆安全性。另一方面,如果一些但不是全部接近个体被识别,则系统可在操作424执行图像分析以确定个体的性质。可在静止图像和运动图像上执行图像分析,以确定接近车辆的被识别的和未被识别的个体之间的互动。系统可使用互动或其他信息来确定接近个体之间的情绪水平。机器学习技术可被用于构建和训练模型,以识别个体之间不同类型的行为或互动。例如,该系统可检测个体之间敌对的或其他高度激动的情绪的迹象,诸如推或撞、未被识别的个体牢牢抓住所识别的个体的手臂、在所识别的个体的表情中的恐惧或担忧的表情等。该系统同样可检测个体之间的友好或友爱的迹象,诸如例如笑声或嬉戏、牵手的个体正臂挽着臂走着、微笑或开心等。该系统可进一步被配置成确定检测到的敌对的程度是否超过设定的阈值水平,以确定该交互是否足够敌对,从而部分地或完全地限制车辆访问。
在全部个体都表现出友好的情况下,该过处理可在操作420继续,在该操作420中,所有车门被解锁,或者与每个接近个体相对应的车门可被解锁。对于被识别的个人,简档可再次被用于为那些个体打开适当的车门,并在这些车辆的其通常的座位位置配置车辆设置。在个体是未被识别的友好个体并且对于其没有可用的简档情况下,系统可就打开哪些车门以及如何配置座位位置做出有根据的判断。例如,在未被识别的友好的儿童正与被识别的成年人一起接近车辆的情况下,该系统可被配置成为儿童解锁或打开后排车门,并为儿童配置在那些后排座椅中的座位或安全带设置。
对于看起来不友好的未被识别的个体,如在操作428所示,系统可被配置成做出相应的反应,诸如部分地解锁车辆。系统可被配置成使用图像分析来确定所识别的个体正在接近车辆的哪里,并仅解锁对于所识别的个体必要的车门,以便他们可以进入车辆,而不友好的接近者将有望仍被锁在车外。如果系统确定友好度已经恶化到必要点,该系统还可被配置成发出车辆告警。例如,系统可确定友好的驾驶员和乘客能够进入车辆并关闭和锁定所有车门。在这种情况下,系统不会发出告警或发出任何警报。然而,系统可确定争执已经恶化,并且被识别的驾驶员和乘客被阻止进入车辆或有潜在危险。在这种情况下,系统可发出车辆告警,以警告可能的袭击者离开,或另外引起对该情况的注意,并且系统可将警报发送给机构或适当的个体。
图像分析还可在各种情况下被用于执行物体检测,而不管图像分析是否确定一些、全部或没有接近个体被识别。例如,系统可使用图像分析来确定接近车辆的任何个体是挥舞枪支还是其他实际的或潜在的武器。在所识别的个体正携带武器的情况下,系统可在此基础上确定这是不友好的并且可能危险的情况,并通过部分地解锁车辆来做出响应,以使所识别的个体可进入车辆。作为另一个示例,系统可确定其他物体,诸如宠物的存在或所识别的个体正携带特定尺寸(例如,超过尺寸阈值)的包裹。该示例的更进一步,在所识别的个体正携带大包裹、推着满的购物车或出现对于车辆的可能负载的情况下,车辆可被配置成自动打开货舱门,以便可以将被识别的物体载入货舱。
在进一步的情境中,系统可被配置成确定伴随着所识别的个体的一些未被识别的个体是友好的,而其他未被识别的个体是不友好的。在这种情况下,系统可为所识别的个体和那些被识别为友好的个体解锁车门,而不为未被识别的不友好的个体解锁车门。
可对系统编程(例如,在工厂处、在服务提供商处、或者通过空中下载(OTA)更新),以确定未被识别的个体是友善或不友善。如上所述,机器学习技术可被用于进一步训练和完善用于允许系统确定接近的未被识别的个体的性质的模型。可收集源自群众的数据或来自多个不同来源的其他数据,并将其用于训练模型。例如,可由用户在车辆上、由用户在智能手机或其他应用程序中、或者在经销商或服务提供商处执行为了识别并确定接近个体的身份的人脸识别。用户可允许扫描其人脸特征,并使扫描被存储为用户简档的一部分。车辆可在可被配置成允许用户输入用户偏好到他或她的简档的系统中,基于学习到的用户行为来进一步建立简档。这些简档可包括,例如,用户的典型的座位位置、该用户的车辆设置配置(例如,座椅设置、视镜设置、收音机设置、驾驶模式设置等)以及其他用户信息。用户简档可被安全地存储在车辆或诸如云服务器的服务器中。
各种实施例可被配置成使用附加的环境信息来报告各种车辆解锁情境的确定。例如,区域限定或地理信息可被用于基于停放车辆的地理区域的安全性或安全来调整解锁方案。也可使用日期和时间信息。如果车辆在较安全的地点或在通常较安全的经更新的时间(例如,白天相对安全的街区或安全的停车场),则系统可被配置成对未被识别的乘客较为宽松,如果车辆停放在较不安全的区域或一天中较不安全的时间(例如,夜间在坏的街区或空旷的停车场中),则对未被识别的乘客更不宽松。可使用诸如犯罪数据库或包含有关停车场的信息的数据库的第三方数据源,也可使用与安全相关的源自群众的信息(例如,源自具有类似系统的车辆或各种其他用户报告的犯罪信息)来建立模型,以预测车辆停放的地理区域的安全性。此信息还可被用于警告驾驶员他们正在进入或停放在不安全的区域。
可被用于报告解锁情境的确定的另一个环境信息的示例是与用户的日历、或用户的消息数据、或用户习惯有关的信息。作为一个示例,用户的日历条目可表示该用户正在从机场、学校或在特定地方和时间的其他地点接送朋友或亲戚。与朋友和家人交换的消息可提供类似的信息。系统可使用该信息来加权关于在已安排的接送地点和时间与用户一起接近车辆的未被识别的个体是否是友好同伴的预测。系统还可被配置成学习用户习惯,并使用此信息对预测进行加权。例如,商业驾驶员可能在机场或火车站进行频繁的深夜接送。同样,父母可能频繁地接送在足球练习后的高中年龄的孩子。系统可学习该行为,并且在该行为适合模式的情况下,对关于在已学习的接送时间和地点与用户一起接近车辆的未被识别的个体是否是友好同伴的预测加权。
在各种实施例中,在接送地点离开并锁定车辆之前,向用户提供将系统配置成“接送模式”或其他宽松设置的选项。该系统还可被配置成向用户提供设置或用户可配置选项,以允许用户能够根据他或她的喜好配置系统。例如,该系统可使用户能够从最严格到最宽松的范围内的模式中选择;该系统可被配置提供儿童友好模式,以为较年轻的未被识别的个体提供更宽松的设置等。
在进一步的实施例中,为了车辆解锁情境之外的目的,可与执法机构、安全部队或其他实体组织共享从系统获得的信息。在系统检测到表现出参与邪恶活动的个体的情况下,系统可被配置成向诸如执法部门的第三方提供可能正在发生的邪恶活动的报警。响应于情境以及可能识别到涉及活动的个体,系统可与执法部门共享捕获的视频、静态图像和其他传感器信息,以帮助识别活动。
如本文所使用的,术语模块可描述给定的功能单元,该功能可根据本申请的一个或更多个实施例来被执行。如本文所使用的,组件可利用任何形式的硬件、软件或其组合来实现。例如,可实现一个或更多个处理器、控制器、ASIC、PLA、PAL、CPLD、FPGA、逻辑组件、软件程序或其他机构,来组成组件。本文所述的各种组件可被实现为分立的组件,或者所描述的功能和特征可在一个或更多个组件之间部分地或全部地共享。换言之,对本领域的普通技术人员来说,在阅读本说明书之后将清楚的是,本文所述的各种特征和功能可在任何给定的应用中实现。可在一个或更多个分立的或共享的组件中以各种组合和排列来实现它们。尽管各种特征或功能元件可被单独地描述或要求为分立的组件,但是应当理解,这些特征/功能可在一个或更多个普通软件和硬件元件之间共享。这样的描述不应要求或暗示分立的硬件或软件组件被用于实现这样的特征或功能。
在使用软件全部地或部分地实现模块的情况下,这些软件元件可被实现以与能够执行根据其描述的功能的计算或处理组件一起操作。图7中示出了一个这样的示例计算组件。就该示例计算组件500,描述了各种实施例。在阅读了该说明书之后,对于相关领域的技术人员而言,如何使用其他计算组件或架构来实现应用将变得清楚。
现在参考图7,计算组件500可代表,例如,在自调节显示器、台式机、便携式电脑、笔记本电脑和平板电脑中发现的计算或处理能力。可在手持式计算设备(平板、PDAs、智能电话、手机、掌上电脑等)中发现它们。它们可被发现在工作站或其他具有显示器、服务器、或任何其他专用或通用类型计算设备的设备中,该计算设备可能是对于给定的应用或环境可取的或合适的。计算组件500还可表示嵌入在给定设备内或以其他方式可用于给定设备的计算能力。例如,可在诸如例如便携式计算设备的其他电子设备以及可包括某些形式的处理能力的其他电子设备中发现计算组件。
计算组件500可包括,例如,一个或更多个处理器、控制器、控制组件或其他处理设备。可使用诸如例如微处理器、控制器或其他控制逻辑的通用或专用处理引擎来实现处理器504。处理器504可被连接到总线502。然而,任何通信介质都可用来促进与计算组件500的其他组件的交互或用来外部通信。
计算组件500还可包括一个或更多个存储器组件,在本文中简称为主存储器508。例如,随机存取存储器(RAM)或其他动态存储器可被用于存储信息和将由处理器504执行的指令。在将由处理器504执行的指令的执行期间,主存储器508还可用于存储临时变量或其他中间信息。计算组件500可同样包括只读存储器(“ROM”)或耦接到总线502上用于存储静态信息和处理器504的指令的其他静态存储设备。
计算组件500还可包括一个或更多个各种形式的信息存储机构510,其可包括例如介质驱动器512和存储单元接口520。介质驱动器512可包括驱动器或其他支持固定或可移动存储介质514的机构。例如,硬盘驱动器、固态驱动器、磁带驱动器、光盘驱动器、光盘(CD)或数字视频光盘(DVD)驱动器(R或RW),或者可提供其他可移动或固定介质驱动器。存储介质514可包括例如硬盘、集成电路组件、磁带、盒式磁带、光盘、CD或DVD。存储介质514可以是任何其他固定或可移动介质,该介质由介质驱动器512读取、写入或访问。如这些示例所示,存储介质514可包括其中存储有计算机软件或数据的计算机可用的存储介质。
在替代实施例中,信息存储机构510可包括其他类似的工具,该工具用于允许将计算机程序或其他指令或数据加载到计算组件500中。这样的工具可包括,例如固定或可移动存储单元522和接口520。这样的存储单元522和接口520的示例可包括盒式程序存储器和盒式存储器接口、可移动存储器(例如,闪存或其他可移动存储器组件)和存储器槽。其他示例可包括PCMCIA槽和卡,以及其他固定或可移动存储单元522和接口520,该接口允许软件和数据从存储单元522被传输到计算组件500。
计算组件500还可包括通信接口524。通信接口524可被用于允许软件和数据在计算组件500和外部设备之间被传输。通信接口524的示例可包括调制解调器或软调制解调器,网络接口(诸如以太网、网络接口卡、IEEE 802.XX或其他接口)。其他示例包括通信端口(诸如例如,USB端口、IR端口、RS232端口、WiFi接口、
Figure BDA0002653591070000231
接口或其他端口)或其他通信接口。经由通信接口524传送的软件/数据可被携带在信号上,该信号可以是电子的、电磁的(包括光学的)或能够与给定的通信接口524交换的其他信号。这些信号可通过信道528提供给通信接口524。信道528可携带信号,并且可使用有线或无线通信介质来实现。信道的一些示例可包括电话线、蜂窝链路、RF链路、光链路、网络接口、局域网或广域网以及其他有线或无线通信信道。
在本文中,术语“计算机程序介质”和“计算机可用介质”通常被用于指代暂时性或非暂时性介质。这样的介质可以是,例如存储器508、存储单元520、介质514和信道528。这些和其他各种形式的计算机程序介质或计算机可用介质可涉及将一个或更多个指令的一个或更多个序列携带给处理设备用于执行。嵌入在介质上的此类指令通常称为“计算机程序代码”或“计算机程序产品”(可按计算机程序或其他分组的形式分组)。当执行时,这样的指令可以使计算组件500能够执行本文所讨论的本申请的特征或功能。
应该理解的是,在一个或更多个个体的实施例中描述的各种特征、方面和功能在其适用性上不被限至于特定实施例和对它们的描述。相反,它们可被单独地或以各种组合地应用于一个或更多个其他实施例,而不管是否描述了这样的实施例以及这些特征是否被表示为所描述的实施例的一部分。因此,不应由任何上述示例性实施例来限制本发明的宽度和范围。
除非另有明确说明,否则本文献中使用的术语和短语及其变体应被解释为开放性的而不是限制性的。作为上述示例,术语“包括”应被理解为意思是“包括但不限于”等。术语“示例”用于提供所讨论项目的示例性实例,而不是其详尽的或限制性的清单。术语“一个”应被理解为“至少一个”、“一个或更多个”等;以及形容词,诸如“常规的”、“传统的”、“正常的”、“标准的”、“已知的”,类似含义的术语不应被解释为将所描述的项目限制在给定的时间段或在给定的时间可用的项目。相反,应将它们理解为涵盖现在或将来任何时候可用或已知的常规的、传统的、正常的或标准的技术。在本文件涉及将对于本领域普通技术人员清楚的或已知的技术的情况下,此类技术涵盖本领域技术人员现在或将来任何时候清楚或已知的技术。
在某些情况下,诸如“一个或更多个”、“至少”、“但不限于”或其他类似短语的扩展单词和短语的存在,在这样的扩展短语可没有的情况下,不应当被理解为意指或要求较窄的情况。术语“组件”的使用并不意味着被描述或被要求保护为组件的一部分的方面或功能都配置在一个通用的包中。实际上,组件的各个方面的任何方面或全部方面,无论是控制逻辑还是其他组件,可被组合在单个包中或单独维护,并且可进一步被分布在多个组或包中或跨多个位置。
另外,根据示例性框图,流程图和其他图示描述了本文阐述的各种实施例。在阅读本文献后,对于本领域的普通技术人员将变得清楚的是,可在不限于所示的示例的情况下实现所示的实施例及其各种替代。例如,框图及其随附描述不应被解释为要求特定的架构或配置。

Claims (15)

1.一种用于车辆的生物特征识别访问控制方法,包括:
使用图像传感器来捕获接近车辆的两个或更多个个体的图像;
人脸识别模块分析所捕获的图像以确定接近车辆的一个或更多个个体是否是车辆的授权用户;
在接近车辆的所述两个或更多个个体之中的至少一个但并非全部个体被识别为车辆的授权用户的情况下,图像分析模块分析所捕获的图像以确定车辆的授权用户与车辆的未授权用户之间的情绪水平;以及
基于所确定的车辆的授权用户与车辆的未授权用户之间的情绪水平来执行车辆访问安全操作。
2.根据权利要求1所述的方法,其中,车辆访问安全操作包括:
在车辆的授权用户与车辆的未授权用户之间的交互被确定为非敌对的交互的情况下,为每个接近的个体打开车门;以及
当车辆的授权用户与车辆的未授权用户之间的交互被确定为敌对的交互时,仅为车辆的授权用户打开车门。
3.根据权利要求2所述的方法,其中,打开车门包括解锁车门或实体地打开车门。
4.根据权利要求1所述的方法,其中,分析所捕获的图像以确定接近车辆的一个或更多个个体是否是车辆的授权用户包括:对所述一个或更多个个体的所捕获的图像执行人脸识别以确定接近车辆的所述一个或更多个个体的身份。
5.根据权利要求4所述的方法,还包括:确定所识别的个体的用户简档,并且使用用户简档来确定此所识别的个体的座位位置以及对应于此座位位置的要打开的车门。
6.根据权利要求1所述的方法,还包括:分析所捕获的图像以识别接近车辆的多个个体中的个体;并且,基于对接近车辆的、车辆的一个或更多个授权用户的识别,为作为车辆的授权用户的、接近车辆的每个所识别的个体打开车辆的特定车门。
7.根据权利要求1所述的方法,还包括:分析所捕获的图像以确定未被识别的个体的类别,以及基于所确定的个体的类别来确定要为此个体打开的车辆的车门。
8.一种车辆控制系统,包括:
处理器;以及
存储器,耦接到处理器以存储指令,所述指令在被处理器执行时使处理器执行操作,所述操作包括:
捕获接近车辆的两个或更多个个体的图像;
分析所捕获的图像以确定接近车辆的一个或更多个个体是否是车辆的授权用户;
在接近车辆的所述两个或更多个个体之中的至少一个但并非全部个体被识别为车辆的授权用户的情况下,分析所捕获的图像来确定车辆的授权用户与车辆的未授权用户之间的情绪水平;以及
基于所确定的车辆的授权用户与车辆的未授权用户之间的情绪水平来执行车辆访问安全操作。
9.根据权利要求8所述的系统,其中,车辆访问安全操作包括:
在车辆的授权用户与车辆的未授权用户之间的交互被确定为非敌对的交互的情况下,为每个接近的个体打开车门;以及
当车辆的授权用户与车辆的未授权用户之间的交互被确定为敌对的交互时,仅为车辆的授权用户打开车门。
10.根据权利要求9所述的系统,其中,打开车门包括解锁车门或实体地打开车门。
11.根据权利要求8所述的系统,其中,分析所捕获的图像以确定接近车辆的一个或更多个个体是否是车辆的授权用户包括:对所述一个或更多个个体的所捕获的图像执行人脸识别以确定接近车辆的所述一个或更多个个体的身份。
12.根据权利要求11所述的系统,其中,所述操作还包括:确定所识别的个体的用户简档,并且使用用户简档来确定此所识别的个体的座位位置以及对应于此座位位置的要打开的车门。
13.根据权利要求8所述的系统,其中,所述操作还包括:分析所捕获的图像以识别接近车辆的多个个体中的个体;并且,基于对接近车辆的、车辆的一个或更多个授权用户的识别,为作为车辆的授权用户的、接近车辆的每个所识别的个体打开车辆的特定车门。
14.根据权利要求8所述的系统,其中,所述操作还包括:分析所捕获的图像以确定未被识别的个体的类别,以及基于所确定的个体的类别来确定要为此个体打开的车辆的车门。
15.根据权利要求8所述的系统,其中,所述操作还包括:使用环境信息对所识别的车辆的授权用户与车辆的未授权用户之间的情绪水平的确定进行加权。
CN202010879212.7A 2019-08-27 2020-08-27 用于车辆解锁情境的人脸识别和对象检测 Pending CN112446288A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/552,966 2019-08-27
US16/552,966 US10850709B1 (en) 2019-08-27 2019-08-27 Facial recognition and object detection for vehicle unlocking scenarios

Publications (1)

Publication Number Publication Date
CN112446288A true CN112446288A (zh) 2021-03-05

Family

ID=73554915

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010879212.7A Pending CN112446288A (zh) 2019-08-27 2020-08-27 用于车辆解锁情境的人脸识别和对象检测

Country Status (3)

Country Link
US (1) US10850709B1 (zh)
JP (1) JP7011009B2 (zh)
CN (1) CN112446288A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7011009B2 (ja) 2019-08-27 2022-01-26 トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ,インコーポレイティド 車両解錠シナリオのための顔認識および物体検出
CN114407832A (zh) * 2022-01-24 2022-04-29 中国第一汽车股份有限公司 一种用于车身防刮防盗的监控方法、车身控制器及车辆
CN114937322A (zh) * 2022-05-26 2022-08-23 重庆长安汽车股份有限公司 智能汽车开门方法、装置、汽车、电子设备及存储介质

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX2019012159A (es) * 2017-04-10 2019-11-21 Inventio Ag Sistema de control de acceso teniendo reconocimiento por radio y facial.
US11117255B2 (en) 2018-03-14 2021-09-14 Fedex Corporate Services, Inc. Apparatus and systems of a modular autonomous cart apparatus assembly for transporting an item being shipped
US20220222600A1 (en) * 2019-09-30 2022-07-14 Gm Cruise Holdings Llc User authentication and personalization without user credentials
US11170593B1 (en) * 2020-05-05 2021-11-09 Royal Caribbean Cruises Ltd. Multifunction smart door device
JP7478592B2 (ja) * 2020-05-27 2024-05-07 本田技研工業株式会社 車両制御システム、及び車両制御方法
US11667265B2 (en) * 2020-07-14 2023-06-06 Micron Technology, Inc. Activating a security mode for a vehicle based on driver identification
US11436864B2 (en) * 2020-07-14 2022-09-06 Micron Technology, Inc. Driver recognition to control vehicle systems
US11836230B2 (en) * 2020-07-14 2023-12-05 Micron Technology, Inc. Intelligent multi-factor authentication for vehicle use
US11953586B2 (en) 2020-11-17 2024-04-09 Ford Global Technologies, Llc Battery-powered vehicle sensors
US20220212658A1 (en) * 2021-01-05 2022-07-07 Toyota Motor Engineering & Manufacturing North America, Inc. Personalized drive with occupant identification
US20220269268A1 (en) * 2021-02-25 2022-08-25 Fedex Corporate Services, Inc. Methods and apparatus for providing enhanced automated access to a dispatched personal delivery device operative to transport a shipment item
US11763613B2 (en) * 2021-03-08 2023-09-19 Johnson Controls Tyco IP Holdings LLP Automatic creation and management of digital identity profiles for access control
US11951937B2 (en) 2021-03-12 2024-04-09 Ford Global Technologies, Llc Vehicle power management
US11614513B2 (en) 2021-03-12 2023-03-28 Ford Global Technologies, Llc Battery-powered vehicle sensors
US11912235B2 (en) 2021-03-12 2024-02-27 Ford Global Technologies, Llc Vehicle object detection
US11916420B2 (en) 2021-03-12 2024-02-27 Ford Global Technologies, Llc Vehicle sensor operation
JP7181331B2 (ja) * 2021-03-24 2022-11-30 本田技研工業株式会社 車両制御装置、車両制御方法、及びプログラム
CN113205056B (zh) * 2021-05-12 2023-08-22 延边国泰新能源汽车有限公司 一种基于公共安全问题的主动图像识别预警系统及其处理方法
US11514740B1 (en) * 2021-05-26 2022-11-29 International Business Machines Corporation Securing access to restricted areas from visitors
US20230339431A1 (en) * 2022-04-25 2023-10-26 Toyota Research Institute, Inc. Systems and methods to utilize user trajectory analysis for automatic vehicle controls
US11840160B1 (en) * 2022-07-15 2023-12-12 Ghost Autonomy Inc. Automatically adjusting ergonomic features of a vehicle seat
WO2024049462A1 (en) * 2022-08-29 2024-03-07 Siemens Corporation Synchronous user authentication and personalization of human-machine interfaces

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2481250C (en) * 2002-04-08 2011-09-27 Newton Security, Inc. Tailgating and reverse entry detection, alarm, recording and prevention using machine vision
JP2004062980A (ja) * 2002-07-29 2004-02-26 Toyota Gakuen 磁性合金、磁気記録媒体、および磁気記録再生装置
EP1772752A4 (en) * 2004-07-30 2009-07-08 Panasonic Elec Works Co Ltd Single detector and additional detector
DE602007010523D1 (de) * 2006-02-15 2010-12-30 Toshiba Kk Vorrichtung und Verfahren zur Personenidentifizierung
EP2313870B1 (en) * 2008-06-30 2013-12-04 Telecom Italia S.p.A. Method and system for communicating access authorization requests based on user personal identification as well as method and system for determining access authorizations
US8598980B2 (en) * 2010-07-19 2013-12-03 Lockheed Martin Corporation Biometrics with mental/physical state determination methods and systems
US9892413B2 (en) * 2013-09-05 2018-02-13 International Business Machines Corporation Multi factor authentication rule-based intelligent bank cards
US9902266B2 (en) * 2013-09-17 2018-02-27 Toyota Motor Engineering & Manufacturing North America, Inc. Interactive vehicle window display system with personal convenience reminders
US9400564B2 (en) * 2013-09-17 2016-07-26 Toyota Motor Engineering & Manufacturing North America, Inc. Interactive vehicle window display system with a safe driving reminder system
EP2933070A1 (en) * 2014-04-17 2015-10-21 Aldebaran Robotics Methods and systems of handling a dialog with a robot
US10235822B2 (en) * 2014-04-25 2019-03-19 Vivint, Inc. Automatic system access using facial recognition
JP6827918B2 (ja) 2014-06-11 2021-02-10 ヴェリディウム アイピー リミテッド 生体情報に基づいて、ユーザの車両へのアクセスを容易にするためのシステムと方法
US20160300410A1 (en) 2015-04-10 2016-10-13 Jaguar Land Rover Limited Door Access System for a Vehicle
KR101838967B1 (ko) 2015-10-08 2018-03-15 엘지전자 주식회사 차량용 편의 장치 및 차량
JP6631812B2 (ja) * 2017-04-24 2020-01-15 マツダ株式会社 車両用遠隔操作装置
US10146925B1 (en) * 2017-05-19 2018-12-04 Knowledge Initiatives LLC Multi-person authentication and validation controls for image sharing
US10541999B1 (en) * 2017-05-19 2020-01-21 Knowledge Initiatives LLC Multi-person authentication and validation controls for image sharing
US20190102963A1 (en) * 2017-09-29 2019-04-04 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for securing an object in a vehicle
US10956548B2 (en) * 2018-10-09 2021-03-23 Lenovo (Singapore) Pte. Ltd. User authentication via emotion detection
US11439346B2 (en) * 2019-01-03 2022-09-13 Jacob T. Boyle Robotic device for assisting individuals with a mental illness
US10850709B1 (en) 2019-08-27 2020-12-01 Toyota Motor Engineering & Manufacturing North America, Inc. Facial recognition and object detection for vehicle unlocking scenarios

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7011009B2 (ja) 2019-08-27 2022-01-26 トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ,インコーポレイティド 車両解錠シナリオのための顔認識および物体検出
CN114407832A (zh) * 2022-01-24 2022-04-29 中国第一汽车股份有限公司 一种用于车身防刮防盗的监控方法、车身控制器及车辆
CN114937322A (zh) * 2022-05-26 2022-08-23 重庆长安汽车股份有限公司 智能汽车开门方法、装置、汽车、电子设备及存储介质

Also Published As

Publication number Publication date
US10850709B1 (en) 2020-12-01
JP7011009B2 (ja) 2022-01-26
JP2021075265A (ja) 2021-05-20

Similar Documents

Publication Publication Date Title
CN112446288A (zh) 用于车辆解锁情境的人脸识别和对象检测
US10717412B2 (en) System and method for controlling a vehicle using secondary access methods
US10318795B2 (en) Remote camera access
US10155520B2 (en) Driver assistance apparatus and control method thereof
EP3133800B1 (en) Apparatus and method for controlling portable device in vehicle
US10501053B2 (en) System and method for providing access to a vehicle and enabling data off-boarding
US20170116804A1 (en) Systems and methods for user based vehicle access control
CN107357194A (zh) 自主驾驶车辆中的热监测
US20130145065A1 (en) Control of device features based on vehicle state
CN110857073B (zh) 提供遗忘通知的系统和方法
US20170154513A1 (en) Systems And Methods For Automatic Detection Of An Occupant Condition In A Vehicle Based On Data Aggregation
US11760360B2 (en) System and method for identifying a type of vehicle occupant based on locations of a portable device
CN112446761A (zh) 用于使用区块链进行共乘的系统和方法
US20210061098A1 (en) Vehicle for detection of impaired drivers of other vehicles
EP3693877A1 (en) Methods and systems to limit a vehicle functionality depending on driver profile
US20210064393A1 (en) Systems and methods for context and occupant responsive user interfaces in vehicles
US11724666B2 (en) System and method for remotely monitoring vehicle access
US20230339431A1 (en) Systems and methods to utilize user trajectory analysis for automatic vehicle controls
US20210192862A1 (en) Automated operator interface
CN108367732B (zh) 用于车辆的认证控制系统
WO2023030203A1 (en) Method and cloud service for allowing remote access to specific vehicle functions
US20230319033A1 (en) Delayed biometric authorization
WO2024051592A1 (zh) 车辆的控制方法及控制装置
US20230177888A1 (en) Self learning vehicle cargo utilization and configuration control
US20220318425A1 (en) Occupant feature recognition to ensure privacy consent

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination