CN114402319A - 用于基于用户授权启用操作的系统、方法和计算机程序 - Google Patents

用于基于用户授权启用操作的系统、方法和计算机程序 Download PDF

Info

Publication number
CN114402319A
CN114402319A CN202080061489.7A CN202080061489A CN114402319A CN 114402319 A CN114402319 A CN 114402319A CN 202080061489 A CN202080061489 A CN 202080061489A CN 114402319 A CN114402319 A CN 114402319A
Authority
CN
China
Prior art keywords
vehicle
focus
user
image
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080061489.7A
Other languages
English (en)
Inventor
W·G·里瓦德
B·J·金德尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Duelight LLC
Original Assignee
Duelight LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Duelight LLC filed Critical Duelight LLC
Publication of CN114402319A publication Critical patent/CN114402319A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20—Means to switch the anti-theft system on or off
    • B60R25/25—Means to switch the anti-theft system on or off using biometry
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30—Detection related to theft or to other events relevant to anti-theft systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30—Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/305—Detection related to theft or to other events relevant to anti-theft systems using a camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/043—Identity of occupants

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Geometry (AREA)
  • Traffic Control Systems (AREA)
  • Collating Specific Patterns (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供一种用于基于用户授权启用操作的系统、方法和计算机程序。在使用时，通过基于第一组采样参数接收至少一个第一图像，识别与所述至少一个第一图像相关联的至少一个面部以及确定所述至少一个面部是授权用户来认证第一用户。基于所述认证，允许所述第一用户进入第一车辆。另外，为所述第一用户验证所述第一车辆的使用，并且响应于所述验证，启用所述第一用户对所述第一车辆的操作。

Description

用于基于用户授权启用操作的系统、方法和计算机程序
相关申请
本申请涉及以下美国专利申请，全部公开内容出于所有目的以引用的方式并入本文中：2012年9月4日提交的标题为“数字摄影中的颜色平衡(COLOR BALANCE IN DIGITALPHOTOGRAPHY)”的第13/573,252(DUELP003/DL001)号，现为USPN8,976,264的申请；2014年12月11日提交的标题为“数字摄影中的颜色平衡(COLOR BALANCE IN DIGITALPHOTOGRAPHY)”的第14/568,045号，现为USPN 9,406,147(DUELP003A/DL001A)的申请；2014年11月5日提交的标题为“用于高动态范围图像的系统和方法(SYSTEMS AND METHODS FORHIGH-DYNAMIC RANGE IMAGES)”的第14/534,068(DUELP005/DL011)号，现为USPN 9,167,174的申请；2016年10月7日提交的标题为“用于生成数字图像的系统和方法(SYSTEM ANDMETHOD FOR GENERATING A DIGITAL IMAGE)”的第15/289,039(DUELP006A/DL013A)号申请；2014年11月5日提交的标题为“用于获得具有零帧间时间的多次曝光的图像传感器装置和方法(IMAGE SENSOR APPARATUS AND METHOD FOR OBTAINING MULTIPLE EXPOSURESWITH ZERO INTERFRAME TIME)”的第14/534,079(DUELP007/DL014)号，现为USPN 9,137,455的申请；2014年11月5日提交的标题为“用于同时捕获多个图像的图像传感器设备和方法(IMAGE SENSOR APPARATUS AND METHOD FOR SIMULTANEOUSLY CAPTURING MULTIPLEIMAGES)”的第14/534,089(DUELP008/DL015)号，现为USPN 9,167,169的申请；2014年11月6日提交的标题为“用于同时捕获闪光和环境照明图像的图像传感器装置和方法(IMAGESENSOR APPARATUS AND METHOD FOR SIMULTANEOUSLY CAPTURING FLASH AND AMBIENTILLUMINATED IMAGES)”的第14/535,274(DUELP009/DL016)号，现为USPN 9,154,708的申请；2014年11月6日提交的标题为“用于获得摄影场景的低噪声、高速捕获的图像传感器设备和方法(IMAGE SENSOR APPARATUS AND METHOD FOR OBTAINING LOW-NOISE，HIGH-SPEEDCAPTURES OF A PHOTOGRAPHIC SCENE)”的第14/535,279(DUELP010/DL017)号，现为USPN9,179,085的申请；2014年11月7日提交的标题为“用于生成高动态范围(HDR)像素流的系统和方法(SYSTEMS AND METHODS FOR GENERATING A HIGH-DYNAMIC RANGE(HDR)PIXELSTREAM)”的第14/536,524(DUELP012/DL019)号，现为USPN 9,160,936的申请；2014年2月11日提交的标题为“用于数字摄影的系统和方法(SYSTEMS AND METHODS FOR DIGITALPHOTOGRAPHY)”的第13/999,343(DUELP021/DL007)号，现为USPN 9,215,433的申请；2015年10月19日提交的标题为“用于数字摄影的系统和方法(SYSTEMS AND METHODS FOR DIGITALPHOTOGRAPHY)”的第14/887,211(DUELP021A/DL007A)号申请；2014年3月14日提交的标题为“用于数字图像传感器的系统和方法(SYSTEMS AND METHODS FORA DIGITAL IMAGESENSOR)”的第13/999,678(DUELP022/DL008)号申请；2016年11月17日提交的标题为“用于数字图像传感器的系统和方法(SYSTEMS AND METHODS FOR A DIGITAL IMAGE SENSOR)”的第15/354,935(DUELP022A/DL008A)申请；2016年7月1日提交的标题为“用于捕获数字图像的系统和方法(SYSTEMS AND METHODS FOR CAPTURING DIGITAL IMAGES)”的第15/201,283(DUELP024/DL027)号申请；2016年9月1日提交的标题为“用于基于焦点目标信息调整焦点的系统和方法(SYSTEMS AND METHODS FOR ADJUSTING FOCUS BASED ON FOCUS TARGETINFORMATION)”的第15/254,964(DUELP025/DL028)号申请；2018年5月10日提交的标题为“用于捕获具有正确肤色曝光的图像的系统、方法和计算机程序(SYSTEM，METHOD，ANDCOMPUTER PROGRAM FOR CAPTURING AN IMAGE WITH CORRECT SKIN TONE EXPOSURE)”的第15/976,756(DUELP029/DL031)号申请；以及2019年1月10日提交的标题为“用于使用图像传感器跟踪区域的系统和方法(SYSTEMS AND METHODS FOR TRACKING A REGION USING ANIMAGE SENSOR)”的第16/244,982(DUELP032/DL034)号申请。
技术领域
本发明涉及对用户进行授权，且更具体来说，涉及基于用户授权启用操作。
背景技术
常规的认证系统通常依赖于基于知识的系统(例如，密码、双重认证)、辅助装置(例如，智能卡、密钥卡)和/或生物计量特征(例如，指纹、虹膜检测、面部扫描)。目前，由于多种原因，在认证系统的上下文中使用摄影系统存在问题。例如，缺乏图像质量或捕获精度、与捕获和处理用于认证的图像相关联的延迟、所需的处理能力(例如，验证面部)和/或过多的不同捕获条件(例如，照明、天气等)都可能导致并进一步混淆捕获以及准确地和/或及时地认证结果图像的难度。
因此，需要解决与现有技术相关联的这些和/或其它问题。
发明内容
提供一种用于基于用户授权启用操作的系统、方法和计算机程序。在使用时，通过基于第一组采样参数接收至少一个第一图像，识别与至少一个第一图像相关联的至少一个面部以及确定至少一个面部是授权用户来认证第一用户。基于认证，允许第一用户进入第一车辆。另外，为第一用户验证第一车辆的使用，并且响应于验证，启用第一用户对第一车辆的操作。
附图说明
图1说明根据一个可能实施例的用于基于用户授权启用操作的示例性方法。
图2说明根据一个实施例的用于基于用户授权启用车辆的操作的方法。
图3A说明根据实施例的数字摄影系统。
图3B说明根据一个实施例的在数字摄影系统内的处理器复合体。
图3C说明根据实施例的相机模块，所述相机模块被配置成对图像进行采样并且将图像的数字表示传输到处理器复合体。
图3D说明根据实施例的与应用程序处理器通信的相机模块。
图3E说明根据实施例的车辆。
图3F说明根据实施例的车辆内部。
图4A说明根据实施例的用于基于视觉度量准许授权用户进入车辆的方法。
图4B说明根据一个实施例的用于基于视觉和虹膜度量准许授权用户进入车辆的方法。
图4C说明根据实施例的用于基于视觉度量和RF/数据网络认证准许授权用户进入车辆的方法。
图4D说明根据另一实施例的用于基于视觉度量和NFC认证准许授权用户进入车辆的方法。
图4E说明根据一个实施例的用于基于视觉和语音度量，和/或NFC认证准许授权用户进入车辆的方法。
图5A说明根据实施例的用于基于视觉度量验证授权用户对车辆的使用的方法。
图5B说明根据一个实施例的用于基于视觉和语音度量验证授权用户对车辆的使用的方法。
图5C说明根据实施例的用于基于视觉度量和NFC认证验证授权用户对车辆的使用的方法。
图5D说明根据另一实施例的用于基于虹膜扫描度量验证授权用户对车辆的使用的方法。
图5E说明根据一个实施例的用于基于在虹膜扫描期间的响应验证授权用户对车辆的使用的方法。
图5F说明根据实施例的响应于光脉冲的虹膜扩张。
图6A说明根据实施例的用于基于在地理围栏内驾驶的用户而启用车辆的操作的方法。
图6B说明根据一个实施例的用于基于一个用户和自动驾驶车辆在地理围栏内操作而启用车辆的操作的方法。
图6C说明根据实施例的用于基于多个用户和自动驾驶车辆在地理围栏内操作而启用车辆的操作的方法。
图7A说明根据实施例的用于启用和引导车辆的操作的系统。
图7B说明根据一个实施例的用于配置神经网络推理子系统的方法。
图8说明根据一个可能实施例的通信网络架构。
图9说明根据一个实施例的示例性系统。
图10A说明根据一个可能实施例的用于捕获图像的第一示例性方法。
图10B说明根据一个可能实施例的用于捕获图像的第二示例性方法。
图10C说明根据一个可能实施例的分割成面部区域和非面部区域的示例性场景。
图10D说明根据一个可能实施例的场景的面部区域掩模。
图10E说明根据一个可能实施例的包含过渡区域的场景的面部区域掩模。
图11说明根据一个可能实施例的掩模值从非面部区域到面部区域的示例性过渡。
图12说明根据一个可能实施例的执行用于基于焦点目标信息调整焦点的示例性方法。
图13说明根据一个实施例的配置成基于焦点目标信息调整焦点的示例性系统。
图14说明根据实施例的与应用程序处理器通信的相机模块。
图15说明根据实施例的在图像传感器内的焦点像素的阵列。
图16说明根据实施例的在图像传感器内的焦点像素点和焦点区域的阵列。
图17说明根据实施例的用于基于焦点目标信息调整焦点的方法。
图18说明根据实施例的用于监测车辆条件的方法。
图19说明根据实施例的用于参与搜索操作的方法。
具体实施方式
图1说明根据一个可能实施例的用于基于用户授权启用操作的示例性方法100。
如所展示，通过基于第一组采样参数接收至少一个第一图像，识别与至少一个第一图像相关联的至少一个面部以及确定至少一个面部是授权用户(可能的车辆驾驶员、驾驶员、乘客或乘员)来认证第一用户(例如，个人)。参看操作102。在一个实施例中，可以通过创建面部模型以及将面部模型与授权面部模型的数据库相比较来识别至少一个面部。授权面部模型的数据库可以在本地(例如，在车辆处)或远程地(例如，在远程服务器处)驻存。另外，可以通过使用至少一个深度图、至少一个图像的纹理图表示，或其组合来识别至少一个面部。
在实施例中，面部模型可以包含图像深度图、图像表面纹理图、音频图、相关性图，或其组合，和/或从图像深度图、图像表面纹理图、音频图、相关性图，或其组合导出。相关性图可以使音频信息(例如，语音、语调和/或情感语音变化等)与视觉信息(例如，面部表情、嘴巴位置等)相关联。
可以通过基于第二组采样参数接收至少一个第二图像以及混合至少一个第一图像和至少一个第二图像以形成混合图像(例如，以生成高动态范围图像、融合多光谱图像、一组融合图像，或组合闪光和环境图像的融合图像)来进一步认证第一用户。至少一个第一图像可以与至少一个第二图像对准。
在一个实施例中，第一组采样参数可以与环境曝光有关，并且可以基于第二组采样参数接收至少一个第二图像，所述第二组采样参数与闪光灯曝光有关。第一组采样参数可以包含曝光坐标。在实施例中，曝光坐标定义所关注的一个或多个曝光点，可以对所述曝光点进行计量以计算用于曝光的采样参数。在实施例中，曝光坐标中的一个或多个位于至少一个第一图像的界定(例如，第一用户的)至少一个面部的区域内。
另外，可以通过接收音频输入和/或通过接收虹膜扫描来进一步认证第一用户，所述音频输入与授权用户的音频签名相比较，所述虹膜扫描与授权用户的虹膜扫描相比较。在实施例中，用户说出一个或多个词语以提供音频输入。此外，用户可以说出一个或多个词语，同时在运动时摄像机对用户的面部进行采样；然后可以部分地(例如，结合音频输入)使用对运动中的用户面部的分析来认证用户。在另一实施例中，在用户说出一个或多个词语时执行虹膜(或视网膜)扫描。然后可以部分地使用虹膜/视网膜扫描来认证用户。
再者，可以使用例如近场通信(NFC)安全装置的辅助装置进一步认证第一用户。NFC安全装置可以被配置成在卡模拟模式下操作。在实施例中，NFC安全装置可以包括启用NFC的信用卡。在又另一实施例中，NFC安全装置可以包括智能钥匙。在再一个实施例中，辅助装置可以包括密钥卡装置。可以通过音频签名结合辅助装置进一步认证第一用户。
基于认证，允许第一用户进入第一车辆。参见操作104。另外，验证第一用户对第一车辆的使用。参见操作106。在一个实施例中，可以使用地理围栏、车辆状况、道路状况、用户状况或用户限制规则中的至少一个验证第一车辆的使用。
此外，响应于验证，启用第一用户对第一车辆的操作。参见操作108。在一个实施例中，可以确定第一车辆以不符合标准的方式进行操作，且作为响应，可以向第二用户提供报告。在实施例中，可以基于第二用户响应于报告的反馈来覆写(例如，允许)不符合标准的方式。在各种情形下，不允许未经认证的个人进入车辆，或未经验证使用车辆的个人可能被拒绝使用等等。
另外，可以基于第一车辆的一个或所有乘员限制第一车辆的使用，乘员中的每个乘员具有单独乘员简档(例如，用于面部识别/认证的面部模型)。可以基于乘员的所有乘员简档的组合而在没有限制或具有至少一个限制的情况下启用第一车辆，至少一个限制包含时间限制、速度极限限制、路线限制、位置限制、乘客限制或驾驶员限制中的至少一个。在各种实施例中，任意布尔型组合可以定义车辆是否被授权。例如，特定驾驶员(例如，持有学习许可证但没有驾驶执照的青少年)可能需要所需乘客名单中的至少一个乘客(父母或年长的兄弟姐妹)。在另一实例中，特定驾驶员(持有驾照的青少年)可以不与车内受限人员(例如，受驾驶员父母限制的分散注意力的朋友，或车辆不知晓的陌生人)一起驾驶车辆。此类布尔型组合或所需和/或受限人员可以应用于本文公开的任何适用方法。此外，此类组合通常可以应用于管理地理、地理围栏和/或驾驶走廊限制。
根据用户和/或制造商的需要，现将阐述关于可以或可以不实施先前方法的各种任选架构和用途的更多说明性信息。应强烈注意，以下信息是出于说明性目的而阐述，而不应解释为以任何方式的限制。可以在排除或不排除所描述的其它特征的情况下任选地并入以下特征中的任何特征。
图2说明用于基于用户授权启用车辆的操作的方法200。作为选项，可以在任何前述和/或后续图式和/或其描述中所阐述的实施例中的任何一个或多个的上下文中实施方法200。然而，当然，可以在任何所需环境的上下文中实施方法200。此外，前述定义可以同样地适用于以下描述。
尽管方法200在车辆的上下文中描述授权，但是应了解，方法200可以同样地适用于可以产生授权的任何上下文或情况，包含无人机的使用；建筑物、墙壁、房间或其它物理位置或屏障的入口；装置的使用；和/或任何安全性相关系统等。
如图所示，方法200开始于操作202，其中准许授权用户进入车辆。在本说明书的上下文中，授权用户包含具有权限或授权的用户。在各种实施例中，操作202可以基于下文所描述的方法400、方法401、方法403、方法405和/或方法407中的任一个或全部而确定是否准许用户进入车辆。在一个实施例中，操作202可以使用任何检测系统，包含辅助装置、生物计量特征和/或照片系统。
接下来，通过授权用户验证车辆的使用。参见操作204。在各种实施例中，操作204可以基于下文所描述的方法500、方法501、方法503、方法505和/或方法507中的任一个或全部而验证授权用户对车辆的使用。如果车辆的使用包括驾驶车辆，则验证车辆的使用可以包含确定授权用户处于可接受的化学状态(例如，未醉酒)和/或情绪状态(例如，不困倦或不生气)。
启用车辆的操作。参见操作206。在各种实施例中，操作206可以基于下文所描述的方法600、方法601和/或方法603中的任一个或全部而启用车辆的操作。
确定操作是否符合标准。参见决策208。如果决策208符合标准，则方法200前进到确定是否继续操作的决策212。如果决策208不符合标准，则方法200前进到操作210，其中报告不符合性指示，之后方法继续到决策212。如果决策212继续，则方法200继续回到决策208，否则方法200结束。
在各种实施例中，确定操作是否符合标准可以包含以下项中的一个或多个：确定车辆是否遵循预定路线；确定车辆是否在预定地理围栏内；确定车辆是否在预定小时数内运行；确定车辆是否以预定最大(或最小)速度运行；确定车辆是否以给定道路跨度的速度极限运行；确定车辆是否根据交通控制标志和/或灯运行；确定车辆是否包含预批准的乘员(除了驾驶员，或坐在驾驶员座椅上的用户之外)；确定车辆是否不包含禁止的乘员等。
在一个实施例中，可以将符合性覆写。例如，在一个实施例中，响应于向父母(例如，车辆的管理员)报告不符合性指示，父母可以提供授权以继续开往原本不符合标准的新目的地。另外，在另一实施例中，车辆的一个或多个状况可能提示有意不符合性。例如，气体或电力水平可以下降到低于预定阈值，当前预批准路线上的事故可能提示批准原本未批准的新路线，或沿着当前预批准路线的时间延迟可能提示批准原本未批准的新路线等。
另外，不符合性指示/报告可以包含不符合性的任何指示，包含故障报告(例如，车辆的机械问题)、消息(电子邮件、SMS等)、日志条目等，或任何其它技术上可行的消息或通知。在一个实施例中，可以将不符合性指示发送给一个或多个用户，包含例如授权用户、预定用户(例如，父母或监护人等)等。
此外，在额外实施例中，确定是否继续可以包含以下项中的一个或多个：确定授权用户是否处于车辆的驾驶员座椅上(为车辆驾驶员)；确定是否已经超过宵禁时间；确定车辆乘员是否已更换；确定任何先前条件(在车辆启用前)是否已改变；从父母接收到符合性标准的例外情况等。
在一个实施例中，方法200可以在先前收集的数据上构建。以此方式，执行方法200的系统可以从先前完成的动作和/或收集的度量中学习。例如，第一用户可以重复地使用车辆上下班。根据车辆的日常使用情况，可能会在各种环境、灯光、发型等下拍摄日常照片(用于授权进入车辆)。随着时间的推移，对用户进行授权的时间可能会减少，和/或基于允许更准确地确定存在授权用户的更大数据集，可以增加授权用户的外表的多样性。可以在此上下文中应用任何技术上可行的机器学习或其它自适应技术。
此外，方法200可以涉及驾驶体验感知。例如，方法200可以允许基于所准许的授权用户应用定制的设置集合。例如，没有其它限制的第一次车辆用户可以无限制地使用车辆控制和操作权限，然而已经被施加限制(例如，如由服务设置)的青少年可能具有有限的操作权限。此类车辆控制和/或操作权限可以包含但不限于最大加速度、用于激活防撞刹车的刹车速度-距离边界、最大速度(或道路速度极限的一部分)、较低的最大速度和劣化道路状况下(例如，雨、雪、冰)的加速度等。
作为另一实例，方法200可以允许情境感知。例如，每日时刻(早晨、中午、晚上)、车辆的位置、将准许进入车辆的乘员数、用户的状态(例如，清醒等)、连接状态，和/或附近装置可以用作对车辆进行情境感知的输入。此类输入可以用于引导进入车辆、验证车辆的使用、车辆的操作控制限制以及符合性确定。
在实施例中，本文所描述的技术可以由在初始制造时构建到车辆中的系统执行。在其它实施例中，这些技术可以通过在初始制造之后安装到车辆中的升级套件来执行。升级套件可以包含本文所描述的各种系统元件中的任一个或全部。在又其它实施例中，可以至少部分地通过例如智能电话的用户装置执行技术。
图3A说明根据一个实施例的数字摄影系统300。作为选项，可以在本文所公开的任一图的详细内容的上下文中实施数字摄影系统300。然而，当然，可以在任何所需环境中实施数字摄影系统300。此外，前述定义可以同样地适用于以下描述。
如图所示，数字摄影系统300可以包含处理器复合体310，所述处理器复合体经由互连件334耦合到相机模块330。在一个实施例中，处理器复合体310耦合到闪光灯单元336。数字摄影系统300还可以包含(不限于)显示单元312、一组输入/输出装置314、非易失性存储器316、易失性存储器318、无线单元340和传感器装置342，其各自耦合到处理器复合体310。在一个实施例中，电源管理子系统320被配置成针对数字摄影系统300内的每个电负载元件生成合适的电源电压。电池322可以被配置成将电能供应到电源管理子系统320。电池322可以实施任何技术上可行的能量存储系统，包含一次电池或可再充电电池技术。当然，在其它实施例中，系统中可以包含额外或更少的特征、单元、装置、传感器或子系统。此外，电池322和/或任何其它电源可以物理地安置在数字摄影系统300外部。
在一个实施例中，闪光灯单元336可以被配置成在由数字摄影系统300执行的图像样本事件期间提供闪光灯照明350。闪光灯单元336可以包括一个或多个LED装置、气体放电照明器(例如，氙闪光灯装置、氙灯等)，或任何其它技术上可行的照明装置。在某些实施例中，两个或更多个闪光灯单元被配置成与对图像进行采样同步地生成闪光灯照明。在一个实施例中，通过闪光灯控制信号338控制闪光灯单元336，以发射闪光灯照明350或不发射闪光灯照明350。闪光灯控制信号338可以使用任何技术上可行的信号传输协议实施。闪光灯控制信号338可以指示闪光灯参数(例如，闪光灯强度、闪光灯颜色、闪光灯时间等)，用于引导闪光灯单元336生成闪光灯照明350的指定强度和/或颜色。闪光灯控制信号338可以由处理器复合体310、相机模块330，或由其任何其它技术上可行的组合生成。在一个实施例中，闪光灯控制信号338由处理器复合体310内的相机接口单元(未示出)生成且被传输到闪光灯单元336和相机模块330两者。在另一实施例中，闪光灯控制信号338由相机模块330生成并且经由互连件334传输到闪光灯单元336。在实施例中，闪光灯单元336被配置成生成红外光和/或紫外光且基本上不生成可见光。在另一实施例中，闪光灯单元336被配置成生成(或还生成)可见光。
光学场景信息352作为光学图像聚焦在相机模块330内的图像传感器332上，所述光学场景信息可以包含从摄影场景中的对象反射的闪光灯照明350的至少一部分。图像传感器332生成光学图像的电子表示。电子表示包括空间颜色强度信息，所述空间颜色强度信息可以包含不同颜色强度样本(例如，红色光、绿色光和蓝色光、红外光、紫外光等)。在其它实施例中，空间颜色强度信息还可以包含白光的样本。经由互连件334将电子表示传输到处理器复合体310，所述电子表示可以实施任何技术上可行的信号传输协议。
在一个实施例中，输入/输出装置314可以包含但不限于电容式触摸输入表面、电阻式平板计算机输入表面、一个或多个按钮、一个或多个旋钮、发光装置、光检测装置、声音发射装置、声音检测装置或任何其它技术上可行的装置，用于接收用户输入并将输入转换为电信号，或将电信号转换为物理信号。在一个实施例中，输入/输出装置314包含耦合到显示单元312的电容式触摸输入表面。触摸输入显示系统可以包含显示单元312以及也耦合到处理器复合体310的电容式触摸输入表面。
另外，在其它实施例中，非易失性(NV)存储器316被配置成当中断电源时存储数据。在一个实施例中，NV存储器316包括一个或多个快闪存储器装置(例如，ROM、PCM、FeRAM、FRAM、PRAM、MRAM、NRAM等)。NV存储器316包括非暂时性计算机可读媒体，所述非暂时性计算机可读媒体可以被配置成包含编程指令，用于由处理器复合体310内的一个或多个处理单元执行。编程指令可以实施(不限于)操作系统(OS)、UI软件模块、图像处理和存储软件模块、连接到处理器复合体310的一个或多个输入/输出装置314、用于通过相机模块330对图像栈进行采样的一个或多个软件模块、用于通过显示单元312呈现图像栈或从图像栈生成的一个或多个合成图像的一个或多个软件模块。作为实例，在一个实施例中，编程指令还实施一个或多个软件模块，用于合并图像栈内的图像或图像的部分，将图像栈内的每个图像的至少部分对准，或其组合。在另一实施例中，处理器复合体310可以被配置成执行编程指令，所述编程指令可以实施一个或多个软件模块，所述软件模块用于创建高动态范围(HDR)图像、融合多光谱图像、融合的环境和闪光图像、红外图像(例如，短波、中波和/或长波)、紫外线图像或包括一个或多个图像和/或一个或多个融合图像(例如，与不可见光图像融合的可见光图像)的图像栈。在实施例中，进一步处理图像栈和/或所得融合图像，以从融合图像生成场景的三维(3D)模型。以此方式，例如，红外图像数据可以与可见图像数据融合，以生成具有热着色(基于温度的错误颜色)作为表面纹理的场景对象的详细3D几何模型。如果场景对象包含人脸，则热着色可以指示个人是否生病(发烧或低温)。此外，此几何模型可以用于识别特定的个人，例如用于认证目的。
再者，在一个实施例中，可以将包括NV存储器316的一个或多个存储器装置封装为模块，所述模块被配置成由用户安装或移除。在一个实施例中，易失性存储器318包括动态随机存取存储器(DRAM)，所述DRAM被配置成临时地存储在数字摄影系统300的正常操作过程中访问的编程指令、例如与图像栈相关联的数据的图像数据等。当然，易失性存储器可以以任何方式结合附接到处理器复合体310的任何其它输入/输出装置314或传感器装置342使用。
在一个实施例中，传感器装置342可以包含但不限于，用于检测运动和/或定向的加速计、用于检测运动和/或定向的电子陀螺仪、用于检测定向的磁通量检测器、用于检测地理位置的全球定位系统(GPS)模块，或其任何组合中的一个或多个。当然，包含但不限于运动检测传感器、接近传感器、RGB光传感器、红外光检测器、手势传感器、3-D输入图像传感器、压力传感器和室内位置传感器的其它传感器可以集成为传感器装置。在一个实施例中，传感器装置可以是输入/输出装置314的一个实例。
无线单元340可以包含配置成发送和接收数字数据的一个或多个数字收音机。具体来说，无线单元340可以实施无线标准(例如，WiFi、蓝牙、NFC等)，并且可以实施用于数据通信的数字蜂窝电话标准(例如，CDMA、3G、4G、LTE、LTE高级等)。当然，可以使用任何无线标准或数字蜂窝电话标准。
在一个实施例中，数字摄影系统300被配置成经由无线单元340将一张或多张数字照片(例如，静止图像、视频片段)传输到基于网络(在线)或“基于云”的摄影媒体服务。一张或多张数字照片可以驻存在NV存储器316或易失性存储器318，或与处理器复合体310相关联的任何其它存储器装置内。在一个实施例中，用户可以拥有访问在线摄影媒体服务并且传输一张或多张数字照片以供在线摄影媒体服务存储、检索和呈现的凭证。在传输数字照片之前，凭证可以存储在数字摄影系统300内或在数字摄影系统300内生成。在某些实施例中，基于传输到与在线摄影媒体服务相关联的服务器的图像数据(例如，图像栈、HDR图像栈、图像包等)，由在线摄影媒体服务生成一张或多张数字照片。在此类实施例中，用户可以从数字摄影系统300上传一个或多个源图像以供在线摄影媒体服务处理。
在另一实施例中，数字摄影系统300被配置成将一张或多张数字照片传输到移动装置(例如，智能电话)。智能电话可以位于车辆处，例如位于乘客舱内。此外，车辆可以例如使用由无线单元340提供的直接无线链路直接与智能电话通信。在实施例中，智能电话可以在与移动无线运营商连接或在与适当的本地WiFi接入点连接时存储一张或多张数字照片并将其上传到基于网络或“基于云”的摄影媒体服务。
在一个实施例中，数字摄影系统300包括相机模块330的至少一个实例。在另一实施例中，数字摄影系统300包括多个相机模块330。此实施例还可以包含至少一个闪光灯单元336，所述闪光灯单元被配置成照射由多个相机模块330采样为多个视图的摄影场景。多个相机模块330可以被配置成对广角视图(例如，相机之间大于四十五度的扫描)进行采样以生成合成光圈照片，例如以捕获车辆内前排座椅(例如，驾驶员和乘客)中所有人的扫描视图。可以生成额外的合成光圈照片以捕获车辆内后排座椅中所有乘客的扫描视图。或者，可以单独地处理来自每个相机模块330的单独视图。在一个实施例中，多个相机模块330可以被配置成对两个或更多个窄角视图(例如，相机之间小于四十五度的扫描)进行采样，以生成作为车辆的授权用户呈现的个人的虹膜和/或视网膜扫描。在其它实施例中，多个相机模块330可以被配置成生成3-D图像，例如生成作为车辆的授权用户呈现的个人的面部模型。
在一个实施例中，显示单元312可以被配置成显示像素的二维阵列以形成图像以供显示。显示单元312可以包括液晶(LCD)显示器、发光二极管(LED)显示器、有机LED显示器，或任何其它技术上可行类型的显示器。在某些实施例中，显示单元312可能够例如在单个HDR图像内或在包括多重曝光或HDR图像栈的一组两个或更多个图像上显示比从摄影场景采样的强度值完整范围更窄的图像强度值动态范围。在一个实施例中，可以根据任何技术上可行的HDR和/或多光谱融合或混合技术来合并包括图像栈的图像，以生成合成图像以供处理和/或在显示单元312的动态范围限制内显示。在一个实施例中，有限动态范围可以指定对应颜色强度的每颜色通道八位二进制表示。在其它实施例中，有限动态范围可以指定每颜色通道多于八个位(例如，10位、12位或14位等)的二进制表示。
图3B说明根据一个实施例的在数字摄影系统内的处理器复合体。在实施例中，处理器复合体包括在图3A的数字摄影系统300内的处理器复合体310。作为选项，可以在本文所公开的任一图的详细内容的上下文中实施处理器复合体310。然而，当然，可以在任何所需环境中实施处理器复合体310。此外，前述定义可以同样地适用于以下描述。
如图所示，处理器复合体310包含处理器子系统360并且可以包含存储器子系统362。在一个实施例中，处理器复合体310可以包括实施处理器子系统360的片上系统(SoC)装置，并且存储器子系统362包括耦合到处理器子系统360的一个或多个DRAM装置。在另一实施例中，处理器复合体310可以包括包封SoC装置的多芯片模块(MCM)以及包括存储器子系统362的一个或多个DRAM装置。
处理器子系统360可以包含(但不限于)一个或多个中央处理单元(CPU)核心367、存储器接口363、输入/输出接口单元365，其各自耦合到互连件366。处理器子系统360还可以包含显示器接口单元364。一个或多个CPU核心367可以被配置成执行驻存在存储器子系统362、易失性存储器318、NV存储器316，或其任何组合内的指令。一个或多个CPU核心367中的每一个可以被配置成通过互连件366和存储器接口363检索并存储数据。在一个实施例中，一个或多个CPU核心367中的每一个可以包含数据缓存和指令缓存。另外，CPU核心367中的两个或更多个可以共享数据缓存、指令缓存，或其任何组合。在一个实施例中，实施缓存层级以向每个CPU核心367提供私有缓存层和共享缓存层。
在一些实施例中，处理器子系统360可以包含一个或多个图形处理单元(GPU)核心368。每个GPU核心368可以包括多个多线程执行单元，所述多线程执行单元可以被编程为在不限制的情况下实施图形加速功能。在各种实施例中，GPU核心368可以被配置成根据众所周知的标准(例如，OpenGLTM、WebGLTM、OpenCLTM、CUDATM等)和/或用于编程GPU的任何其它语言执行多个线程程序。在某些实施例中，至少一个GPU核心368实施运动估计功能的至少一部分，例如众所周知的Harris检测器或众所周知的Hessian-Laplace检测器。此运动估计功能可以至少部分地用于在生成合并或融合图像之前对准图像栈内的图像或图像的部分。例如，在一个实施例中，可以基于图像栈编译HDR图像，其中在编译HDR图像之前首先对准两个或更多个图像。在某些实施例中，GPU核心368和/或CPU核心367可以被编程或以其它方式配置成实施神经网络结构，例如卷积神经网络，以执行推理操作。此类操作可以提供对象识别、场景分割、场景解构等。在其它实施例中，专用处理器(未示出)，例如但不限于可编程和/或固定功能数字信号处理器(DSP)、应用程序处理单元(APU)、神经网络处理器(例如，硬件辅助的神经网络功能单元)等可以包含在处理器复合体310内且执行本文所公开的方法的特定总体方法步骤。
如图所示，互连件366被配置成在存储器接口363、显示器接口单元364、输入/输出接口单元365、CPU核心367和GPU核心368之间以及之中传输数据。在各种实施例中，互连件366可以实施一个或多个总线、一个或多个环、横杆、网格，或任何其它技术上可行的数据传输结构或技术。存储器接口363被配置成将存储器子系统362耦合到互连件366。存储器接口363还可以将NV存储器316、易失性存储器318或其任何组合耦合到互连件366。显示器接口单元364可以被配置成将显示单元312耦合到互连件366。显示器接口单元364可以实施特定帧缓冲器功能(例如，帧刷新等)。或者，在另一实施例中，显示单元312可以实施特定帧缓冲器功能(例如，帧刷新等)。输入/输出接口单元365可以被配置成将各种输入/输出装置耦合到互连件366。在实施例中，相机接口单元369可以被配置成通过互连件334与一个或多个相机模块330通信，并且每个互连件334可以各自包括一个或多个高速串行连接。相机接口单元369可以包含输入/输出接口电路以及用于与相机模块330通信的任何相关通信状态机和/或缓冲器。任选地，相机接口单元369可以被配置成将控制信号传输到一个或多个闪光灯单元336。
在某些实施例中，相机模块330被配置成存储曝光参数，用于对与图像栈相关联的每个图像进行采样。例如，在一个实施例中，当引导成对摄影场景进行采样时，相机模块330可以根据所存储曝光参数对包括图像栈的一组图像进行采样。软件模块可以在引导相机模块330对图像栈进行采样之前生成并存储曝光参数，所述软件模块包括在处理器复合体310内执行的编程指令。在其它实施例中，相机模块330可以用于计量图像或图像栈，并且软件模块可以在引导相机模块330捕获图像之前生成并存储计量参数，所述软件模块包括在处理器复合体310内执行的编程指令。当然，相机模块330可以结合处理器复合体310以任何方式使用。
在一个实施例中，与包括图像栈的图像相关联的曝光参数可以存储在曝光参数数据结构内，所述曝光参数数据结构包含用于一个或多个图像的曝光参数。在另一实施例中，相机接口单元369可以被配置成从曝光参数数据结构读取曝光参数，并且在准备对摄影场景进行采样时将相关联曝光参数传输到相机模块330。在根据曝光参数配置相机模块330之后，相机接口可以引导相机模块330对摄影场景进行采样；相机模块330然后可以生成对应图像栈。曝光参数数据结构可以存储在相机接口单元、处理器复合体310内的存储器电路、易失性存储器318、NV存储器316、相机模块330，或任何其它技术上可行的存储器电路内。此外，在另一实施例中，在处理器复合体310内执行的软件模块可以生成并存储曝光参数数据结构。
图3C说明根据一个实施例的相机模块330，所述相机模块被配置成对图像进行采样并且将图像的数字表示传输到处理器复合体310。作为选项，可以在本文所公开的任一图的详细内容的上下文中实施处理器复合体310和/或相机模块330。然而，当然，可以在任何所需环境中实施相机模块330。此外，前述定义可以同样地适用于以下描述。
在实施例中，相机模块330可以被配置成通过闪光灯控制信号338C控制闪光灯单元336。如图所示，镜头331被配置成将光学场景信息352聚焦到待采样的图像传感器332。在实施例中，图像传感器332(或相机模块330内的任何其它电路)有利地通过闪光灯控制信号338C控制闪光灯单元336的详细时序，以减少在启用闪光灯单元336的情况下采样的图像与停用闪光灯单元336的情况下采样的图像之间的采样间时间。例如，图像传感器332可以对环境图像进行采样且随后对闪光灯图像进行采样；在对环境图像和闪光灯图像进行采样的过程期间，图像传感器332可以启用闪光灯单元336，以在环境图像与闪光灯图像之间的开始曝光时间与结束曝光时间之间的任何所需时间偏移处发射闪光灯照明350。例如，图像传感器332可以在图像传感器332完成与对环境图像进行采样相关联的曝光时间之后不到一微妙(或任何所需持续时间)启用闪光灯单元336。在实施例中，在对闪光灯图像进行采样之前启用闪光灯单元336。在其它实施例中，首先对闪光灯图像进行采样且随后对环境图像进行采样，其中在开始(或完成)用于对环境图像进行采样的曝光时间之前，图像传感器332停用(例如，关闭)闪光灯单元336。在某些实施例中，可以通过闪光灯单元336对环境图像进行采样，所述闪光灯单元在用于环境图像的相应曝光时间的一部分期间启用。
在某些实施例中，闪光灯照明350可以基于所需的一个或多个目标点进行配置。例如，在一个实施例中，闪光灯照明350可以照亮前景中的对象，并且取决于曝光时间的长度，闪光灯照明350还可以照亮在图像背景中的对象。在此实例中，在一个或多个目标点处的曝光计量可以确定(但不限于)曝光时间、曝光灵敏度、闪光灯强度、闪光灯持续时间，或其组合。在一个实施例中，一旦启用闪光灯单元336，图像传感器332随后可以立即开始曝光闪光灯图像。图像传感器332可以直接控制与生成图像栈相关联的采样操作，包含启用和停用闪光灯单元336。图像栈可以包括在停用闪光灯单元336的情况下采样的至少一个图像，以及在启用或停用闪光灯单元336的情况下采样的至少一个图像。在一个实施例中，经由互连件334将数据传输到处理器复合体310内的相机接口单元369，所述数据包括通过图像传感器332进行采样的图像栈。在一些实施例中，相机模块330可以包含图像传感器控制器(例如，图3D的控制器333)，所述图像传感器控制器可以被配置成结合控制图像传感器332的操作生成闪光灯控制信号338。
在一个实施例中，相机模块330可以被配置成基于闪光灯单元336的状态信息对图像进行采样。状态信息可以包含(但不限于)一个或多个闪光灯参数(例如，闪光灯强度、闪光灯颜色、闪光灯时间等)，用于引导闪光灯单元336生成闪光灯照明350的指定强度和/或颜色。在一个实施例中，可以通过闪光灯控制信号338A/338B传输用于配置与闪光灯单元336相关联的状态信息的命令，所述闪光灯控制信号可以由相机模块330监测以检测何时启用闪光灯单元336。例如，在一个实施例中，相机模块330可以在闪光灯单元336由闪光灯控制信号338A/338B启用或停用的微秒或更短的时间内检测何时启用或停用闪光灯单元336。为了对需要闪光灯照明的图像进行采样，相机接口单元369可以通过以下方式启用闪光灯单元336：通过闪光灯控制信号338A发送启用命令。启用命令可以包括信号电平转变、数据包、寄存器写入，或命令的任何其它技术上可行的传输。相机模块330可以感测到闪光灯单元336被启用，然后使图像传感器332在启用闪光灯单元336时对需要闪光灯照明的一个或多个图像进行采样。在此实施方案中，图像传感器332可以被配置成等待去往闪光灯单元336的启用信号作为开始对新曝光进行采样的触发信号。
在一个实施例中，相机接口单元369可以通过互连件334将曝光参数和命令传输到相机模块330。在某些实施例中，相机接口单元369可以被配置成通过以下方式直接控制闪光灯单元336：通过闪光灯控制信号338将控制命令传输到闪光灯单元336。通过直接控制相机模块330和闪光灯单元336两者，相机接口单元369可以使相机模块330和闪光灯单元336以精确时间同步执行它们的相应操作。在一个实施例中，精确时间同步可以小于五百微秒的事件定时误差。另外，事件定时误差可以是从预期事件发生到对应实际事件发生时间的时间差。
在另一实施例中，相机接口单元369可以被配置成在从相机模块330接收图像数据时累积统计数据。具体来说，相机接口单元369可以在通过互连件334接收图像的图像数据时累积给定图像的曝光统计数据。曝光统计数据可以包含(但不限于)以下项中的一个或多个：强度直方图、曝光过度的像素的计数、曝光不足的像素的计数、像素强度的强度加权总和、不同区域的空间曝光、绝对亮度估计、动态范围估计，或其任何组合。另外，可以累积颜色统计数据(例如，用于估计场景白平衡)。相机接口单元369可以将曝光统计数据呈现为由处理器复合体310内的处理器(例如，一个或多个CPU核心367)定义的物理或虚拟地址空间内的存储器映射存储位置。在一个实施例中，曝光统计数据驻存在存储电路中，所述存储电路被映射到存储器映射的寄存器空间。在其它实施例中，结合传输所捕获图像的像素数据而传输曝光统计数据。例如，在传输所捕获图像的像素强度数据之后，可以将给定图像的曝光统计数据传输为内嵌数据。可以在相机接口单元369内计算、存储或缓存曝光统计数据。在其它实施例中，相机模块330内的图像传感器控制器可以被配置成累积曝光统计数据，并且例如通过相机接口单元369将曝光统计数据传输到处理器复合体310。在一个实施例中，结合将图像数据传输到相机接口单元369或与传输图像数据分开，将曝光统计数据累积在相机模块330内并且传输到相机接口单元369。
在一个实施例中，相机接口单元369可以累积颜色统计数据以用于估计场景白平衡。可以累积任何技术上可行的颜色统计数据以估计白平衡，例如包括红色、绿色和蓝色颜色通道的不同颜色通道的强度总和。根据例如灰色世界白平衡模型的白平衡模型，颜色通道强度的总和然后可以用于对相关联图像执行白平衡颜色校正。在其它实施例中，针对用于对图像实施白平衡校正的线性或二次曲线拟合来累积曲线拟合统计数据。如同曝光统计数据，可以将颜色统计数据呈现为处理器复合体310内的存储器映射的存储位置。在一个实施例中，可以在可以通过互连件334访问的存储器映射的寄存器空间内映射颜色统计数据。在其它实施例中，可以结合传输所捕获图像的像素数据而传输颜色统计数据。例如，在一个实施例中，在传输图像的像素强度数据之后，可以将给定图像的颜色统计数据传输为内嵌数据。可以在相机接口369内计算、存储或缓存颜色统计数据。在其它实施例中，相机模块330内的图像传感器控制器可以被配置成累积颜色统计数据并且例如通过相机接口单元369将颜色统计数据传输到处理器复合体310。在一个实施例中，结合将图像数据传输到相机接口单元369或与传输图像数据分开，可以将颜色统计数据累积在相机模块330内并且传输到相机接口单元369。
在一个实施例中，相机接口单元369可以累积空间颜色统计数据，以用于在图像之间或之中，例如在环境图像与通过闪光灯照明采样的一个或多个图像之间或之中执行颜色匹配。如同曝光统计数据，可以将空间颜色统计数据呈现为处理器复合体310内的存储器映射的存储位置。在一个实施例中，将空间颜色统计数据映射在存储器映射的寄存器空间中。在另一实施例中，相机模块可以被配置成累积空间颜色统计数据，所述空间颜色统计数据可以通过互连件334进行访问。在其它实施例中，可以结合传输所捕获图像的像素数据而传输颜色统计数据。例如，在一个实施例中，在传输图像的像素强度数据之后，可以将给定图像的颜色统计数据传输为内嵌数据。可以在相机接口369内计算、存储或缓存颜色统计数据。
在一个实施例中，相机模块330可以将闪光灯控制信号338C传输到闪光灯单元336，从而使闪光灯单元336能够在相机模块330正对图像进行采样时产生照明。在另一实施例中，相机模块330可以在从相机接口单元369接收到启用闪光灯单元336的指示信号时对由闪光灯单元336照射的图像进行采样。在又另一实施例中，相机模块330可以在通过场景照明的快速上升检测到摄影场景内的闪光灯照明时对由闪光灯单元336照射的图像进行采样。在一个实施例中，场景照明的快速上升可以至少包含与启用闪光灯单元336一致的强度增加速率。在再一个实施例中，相机模块330可以启用闪光灯单元336，以在对一个图像进行采样时产生闪光灯照明，并且在对不同图像进行采样时停用闪光灯单元336。
在实施例中，闪光灯单元336被配置成产生具有任意空间强度图案的闪光灯照明350。例如，空间强度图案可以在由摄影场景中的给定兴趣点定位的区域内提供更强烈的闪光灯照明350。闪光灯单元336可以包含照明装置(例如，LED)的一维或二维阵列，其中基本上对每个照明装置进行独立强度控制，以促进产生照明的任意空间图案。此外，闪光灯镜头(未示出)可以被配置成将由给定照明装置产生的光引导到摄影场景的预定义空间区域内。在实施例中，照明装置可以产生不同波长的混合，使得每个预定义空间区域可以由不同波长的不同强度照射。在实施例中，不同波长包含红外波长。在另一实施例中，不同波长包含紫外线波长。在又另一实施例中，波长包含可见光与红外光和紫外光中的一个或多个的组合。
图3D说明根据一个实施例的相机模块330。作为选项，可以在本文所公开的任一图的详细内容的上下文中实施相机模块330。然而，当然，可以在任何所需环境中实施相机模块330。此外，前述定义可以同样地适用于以下描述。
在一个实施例中，相机模块330可以与应用程序处理器335通信。相机模块330被示为包含与控制器333通信的图像传感器332。此外，控制器333被示为与应用程序处理器335通信。
在一个实施例中，应用程序处理器335可以驻存在相机模块330外部。如图所示，镜头331可以被配置成将待采样的光学场景信息聚焦到图像传感器332。然后可以将由图像传感器332采样的光学场景信息作为电气表示从图像传感器332传送到控制器333，以用于后续处理应用程序处理器335以及与应用程序处理器335通信中的至少一个。在另一实施例中，控制器333可以控制由图像传感器332采样的光学场景信息的存储，或处理后的光学场景信息的存储。
在另一实施例中，在图像传感器332完成与对环境图像进行采样相关联的曝光时间之后，控制器333可以启用闪光灯单元以在短持续时间内(例如，小于十毫秒内)发射闪光灯照明。此外，控制器333可以被配置成结合控制图像传感器332的操作生成闪光灯控制信号338。
在一个实施例中，图像传感器332可以是互补金属氧化物半导体(CMOS)传感器或电荷耦合装置(CCD)传感器。在另一实施例中，控制器333和图像传感器332可以一起封装为集成系统、多芯片模块、多芯片堆栈或集成电路。在又另一实施例中，控制器333和图像传感器332可以包括离散封装。在一个实施例中，控制器333可以提供用于从图像传感器332接收光学场景信息的电气表示、处理电气表示、各种捕获功能的定时及与应用程序处理器335相关联的通信信令的电路系统。此外，在另一实施例中，控制器333可以提供用于控制曝光时间、曝光灵敏度、快门、白平衡和增益调整中的一个或多个的电路系统。控制器333的电路系统对电气表示的处理可以包含增益应用、放大和模数转换中的一个或多个。在处理电气表示之后，控制器333可以将对应数字像素数据例如传输到应用程序处理器335。
在一个实施例中，应用程序处理器335可以在处理器复合体310以及易失性存储器318和NV存储器316中的至少一个，或任何其它存储器装置和/或系统上实施。应用程序处理器335可以先前配置用于接收并处理从相机模块330传送到应用程序处理器335的数字像素数据。
图3E说明根据实施例的车辆370。如图所示，车辆370被配置成包含用户ID传感器372(1)-372(3)和/或自动驾驶传感器374(1)-374(3)。车辆370可以包含车载处理系统(未示出)，例如图7A的系统700。
用户ID传感器372可以包含(但不限于)数码相机模块和/或相关子系统，例如相机模块330和数字摄影系统300的任何组合。用户ID传感器372还可以包含一个或多个音频输入装置(例如，麦克风)、一个或多个生物计量输入装置，例如拇指/指纹扫描仪、虹膜扫描仪(可以包含照明器)等等。在实施例中，用户ID传感器372被配置成收集数据以确定是否准许个人进入车辆370。例如，可以收集并处理(例如，通过车载处理系统)生物计量数据(面部的图像、拇指指纹、虹膜图案等)，以识别寻求进入车辆370的个人是否为授权用户且是否应该准入。
自动驾驶传感器374可以被配置成提供环境数据以计算驾驶决策。自动驾驶传感器374可以包含(但不限于)一个或多个超声波接近扫描仪、一个或多个雷达扫描仪(例如，毫米雷达扫描仪)、一个或多个光探测与测距(LiDAR)扫描仪、一个或多个激光器、一个或多个光脉冲发生器、一个或多个可见光相机、一个或多个红外相机、一个或多个紫外相机、加速度计、电子陀螺仪、电子罗盘、定位子系统等等。在实施例中，自动驾驶传感器374包含相机模块330和一个或多个闪光灯单元336，所述闪光灯单元定位成朝向车辆370的前方(根据前灯的方向性)照射。此外，闪光灯单元336可以被配置成产生包括在一个或多个红外波长处的峰值的红外照明，并且图像传感器332可以包含对一个或多个红外波长敏感的红外像素元件。
在实施例中，自动驾驶传感器374(1)可以包含一个或多个毫米雷达扫描仪、一个或多个LiDAR扫描仪和/或一个或多个数码相机。来自自动驾驶传感器374(1)的数据可以用于推测前方道路上的驾驶限制；此类限制可以包含车辆、道路上或道路附近的物体、道路轮廓、道路标记、瞬时车辆速度等等。在实施例中，由车载处理系统分析限制以计算车辆370的车辆操作决策。可以执行任何技术上可行的技术以分析限制并计算车辆操作决策。
在实施例中，在手动驾驶车辆的情况下，可以收集并处理来自一个或多个自动驾驶传感器374的数据以评估特定驾驶员的能力。可以在极短间隔(几秒到几分钟)内执行评估以确定驾驶员当前是否安全驾驶。另外，可以在更长间隔(几分钟到几天、几天到几个月)内执行评估。可以将评估提供给驾驶员、管理员(例如，父母)或车辆370的所有者、车辆370的保险公司等等。在某些实施例中，数据由机器学习子系统处理以识别且任选地量化特定的驾驶度量，例如集体刹车速率、加速率、刹车裕度(是否追尾)，和/或可以收集和总结各种度量以计算驾驶员的整体驾驶安全度量的度量。
在实施例中，车辆370的车载处理系统被配置成实时记录关于车辆乘员的信息。在实施例中，信息可以包含乘员的实时3D模型、乘员的视频片段、乘员(来自车厢)的音频等。信息可以记录在存储指定时间间隔(例如，十分钟)的循环缓冲器中。如果发生事故，则可以永久性地记录循环缓冲器中的记录，由此在事故发生之前立即提供车辆乘员和车辆活动的永久记录。此事故可以包含意外、车辆失控、机械故障等等。在某些实施例中，所述信息还包含车辆操作的机械测量值，例如马达速度、车辆速度、油门和制动踏板位置、方向盘位置、实际车辆加速度(例如，三个轴上的力)等等。在某些实施例中，可以任选地将信息发布给保险公司或适当的其它第三方。例如，为了让保险公司评估事故，车辆所有者可能会选择发布信息。或者，所述信息可以与来自其它事故的信息汇总并用于生成整体保险统计数据。
图3F说明根据实施例的车辆内部380。如图所示，用户ID传感器372(4)-372(9)可以安装在车辆内部380的各种位置中，包含在仪表板376内。在实施例中，车辆内部380可以包含充电座378。
在实施例中，用户ID传感器372包含数码相机，所述数码相机被配置成检测可见波长、红外线(例如，短波、中波和/或长波红外线)波长和/或紫外线波长中的一个或多个。此外，用户ID传感器372可以包含可以发射可见和/或不可见光的照明源。在一些实施例中，一个或多个用户ID传感器372包括虹膜和/或视网膜扫描仪。在实施例中，用户ID传感器372(10)包括指纹和/或手纹扫描仪，所述指纹和/或手纹扫描仪可操作以将特定的已知用户识别为车辆的授权用户和/或将用户认证为车辆的授权用户。如本文所描述，用户ID传感器372可以收集数据以认证车辆370内的一个或多个用户。认证可以用于启用车辆的操作、限制车辆的操作、引导车辆的操作等等。
在实施例中，充电座378被配置成(但不限于)接收智能电话、检测智能电话、与智能电话通信和/或对智能电话进行充电。在实施例中，使用无线充电，例如谐振无线(例如，感应)充电对智能电话进行充电；此外，充电座378可以使用NFC技术与智能电话通信。在实施例中，充电座378与智能电话通信以接收认证凭证，车辆370可能需要所述认证凭证来启用操作。例如，智能电话可以传送存储在智能电话内的电子代码、在智能电话的显示屏上输入的用户标识符、指纹扫描、由智能电话记录和验证的口头短语等等中的一个或多个。在各种实施例中，智能电话对用户输入的认证和验证可以是直接传送到用户ID传感器372的此种输入的补充。
在各种实施例中，在所公开方法的任何或所有步骤处记录图像数据和/或其它数据，例如传感器数据、车辆数据、生物计量数据等。具体来说，即使在所公开的方法中没有明确地叙述此记录(例如，为了简洁和清晰)，也可以记录为了认证而呈现的面部的图像数据。例如，可以在方法400的步骤408处记录所呈现面部的图像数据，即使相对于步骤408未明确地叙述此记录。此外，可以存储由安装在车辆370上的各种数码相机生成的任何和所有图像数据的正在进行的记录以供稍后检索或查看。在某些实施例中，在从车辆370删除或存档之前，所述存储可以持续指定时间(例如，一天、一周、一个月)。此外，在所公开的方法中的任何一种方法中，可以在任何认证失败点发送警报，即使在所公开的方法中没有明确地叙述发送此种警报(同样，为了简洁和清楚)。例如，可以在步骤410处发送警报，即使没有关于步骤410明确地叙述此种发送警报。
图4A说明根据一个实施例的用于基于视觉度量准许授权用户进入车辆的方法400。作为选项，可以在本文所公开的任一图的详细内容的上下文中实施方法400。然而，当然，可以在任何所需环境中实施方法400。此外，前述定义可以同样地适用于以下描述。应了解，方法400(以及根据图4B、4C、4D和/或4E的后续方法)可以至少部分地应用为操作202以准许授权用户进入车辆。
如图所示，方法400开始于操作402，其中在接近度范围中检测到人脸。在一个实施例中，可以基于用户的单次捕获或任何数目的捕获而发生检测。例如，检测可以包含：实时连续检测，其采用安装在车辆内且配置成检测车辆外部的运动的运动检测装置的形式；所捕获视频帧(例如，来自安装在车辆内的相机)的运动检测处理。在某些实施例中，照明器在车辆周围提供周期性照明以检测运动；此外，周期性照明可以在不可见光谱内产生。在实施例中，红外照明源定位成照射接近车辆的驾驶员侧门的人脸。可以安装相机以查看和捕获人脸的图像。然后可以分析图像(例如，使用机器学习识别技术)以确定面部是否与车辆的已知和授权用户相关联。应了解，尽管可以检测到人脸，但是可以使用任何类型的对象作为检测的基础(例如，动物、无人机等)。
在操作404中，方法400确定面部是否与授权用户相关联。在一个实施例中，可以由集成在车辆内的系统执行确定。例如，可以将检测到的面部与存储在车辆内的授权用户的模型(或任何技术上可行的数据集)相比较。在一种使用模式中，家庭可以加载被允许使用车辆的家庭成员的图像。加载的图像可以形成识别授权用户的模型和/或数据集的基础。在一个实施例中，可以确定用户的面部不与先前所识别的授权用户相关联，并且作为响应，可以发送请求(例如，给车辆的管理员，或给车辆的所有者)以获得使用车辆的授权。如果向车辆提供用户的授权，则出于方法400的目的，用户可以被认为是授权用户。作为授权用户的这种状态可以是永久的(例如，在车辆拥有期间)或有限的(例如，一段时间内、多次骑行等等)。在实施例中，可以将请求发送给可以提供授权的指定个人。在另一实施例中，可以基于提交(例如，通过钥匙进入、移动应用程序或例如QR码的光学代码)时间敏感代码、一次性使用代码，或提供给用户的预指定代码来预测进入车辆。代码可以存储在车辆内，或者车辆可以将提交的代码传输到基于数据网络的服务以进行授权。
在决策406中，确定是否授权用户。
如果对用户进行授权，则根据操作408，车门解锁和/或打开。如果没有对用户进行授权，则根据操作410，记录所呈现面部的图像。在一个实施例中，可以将图像发送到另一装置(例如，实时发送到在线服务器/服务、车辆的所有者等)。
在一个实施例中，如果没有对用户进行授权(根据决策406)，则可以采取一个或多个取证和/或保护措施。例如，如果未授权用户尝试多次进入，则车辆可以为未授权用户建立案例档案。如果未授权用户继续尝试进入，则可能触发音频和/或视觉警报，可能通知一个或多个用户(例如，家庭成员)，可能将案例档案发送到当地安全或警察机构，和/或可能在车辆的显示装置上显示警报。
图4B说明根据一个实施例的用于基于视觉和虹膜度量准许授权用户进入车辆的方法401。作为选项，可以在本文所公开的任一图的详细内容的上下文中实施方法401。然而，当然，可以在任何所需环境中实施方法401。此外，前述定义可以同样地适用于以下描述。
如图所示，方法401开始于操作412，其中在接近度范围中检测到人脸。在一个实施例中，操作412可以以与操作402一致的方式操作。另外，在操作414中，确定面部是否与授权用户相关联。在一个实施例中，操作414可以以与操作404一致的方式操作。
在操作416处，可以启用虹膜扫描照明器和相机，并且在操作418处，确定虹膜图像是否与授权用户相关联。根据决策420，确定呈现用于虹膜扫描的用户是否为授权用户。如果是，则车门解锁和/或打开。参见操作422。如果否，则记录所呈现面部和虹膜的图像。参见操作424。在一个实施例中，操作422可以以与操作408一致的方式操作，并且操作424可以以与操作410一致的方式操作。操作424可以任选地记录所呈现虹膜的图像。
在一个实施例中，操作416和操作418可以是替代步骤(基于操作412和操作414)。例如，根据操作414，确定面部是否与授权用户相关联可以包含一个或多个最小阈值，例如准确性阈值(例如，用户是授权用户的置信度值)。
另外，在替代实施例中，确定面部是否与授权用户相关联可以包含从第三方接收输入并且要求用户对关于输入的查询作出响应。例如，可以接收与社交媒体数据相关的输入，并且授权步骤可以包含基于与用户相关联的社交媒体数据询问目标问题(例如，“您去年6月与谁一起去巴哈马旅行？”)。可以在预定时间段内向系统提供响应。另外，可以施加对移动装置的使用(或从另一装置接收听觉反馈)的限制。以此方式，接近度范围(根据操作412)不仅可以用于检测到用户出现在车辆前面，而且还可以用于检测到用户保持在车辆前面且其注意力集中在系统上(而不是注意力集中在另一装置/用户以回答问题)。应了解，可以使用任何数目的问题(基于来自第三方的输入)来满足预定数目个正确响应。在此实施例中，如果未实现预定数目的正确响应，则可以使用第二认证(例如，操作412和操作414)来确定是否存在授权用户。
图4C说明根据一个实施例的用于基于视觉度量和RF/数据网络认证准许授权用户进入车辆的方法403。作为选项，可以在本文所公开的任一图的详细内容的上下文中实施方法403。然而，当然，可以在任何所需环境中实施方法403。此外，前述定义可以同样地适用于以下描述。
如图所示，方法403开始于通过数字数据网络接收用户非常接近车辆(例如，小于十米)的通知。参见操作426。例如，用户直接拥有的密钥卡、智能电话和/或任何装置可以用于警告车辆用户正在接近。在一个实施例中，认证实用程序(例如，移动装置上的指纹扫描)可以用于预先认证用户，并且可以在此类数据(认证的用户数据)到达车辆之前将其发送到车辆。
在操作428中，可以启用车辆进入相机，并且在操作430中，可以识别呈现给车辆进入相机的面部。在一个实施例中，根据操作426接收到的数据可以用于更快速地识别用户的身份。例如，所接收的数据可以提供准确的用户简档，以与随后呈现其面部以供识别的接近用户进行比较。因此，在此实施例中，可以关于仅用户的数据集进行识别，而不是将个人的面部与简档的整个数据库进行比较，这可以加速比较过程，使得可以比更一般的面部搜索更快速地和/或更准确地进行识别。
根据操作432，确定面部是否与授权用户相关联。具体来说，根据决策434，确定是否存在授权用户。如果是，则车门解锁和/或打开。参见操作436。如果否，则记录所呈现面部的图像。参见操作438。在一个实施例中，操作436可以以与操作408(和/或本文所公开的任何其它类似操作)一致的方式操作，并且操作438可以以与操作410(和/或本文所公开的任何其它类似操作)一致的方式操作。此外，操作432可以以与操作404(和/或本文所公开的其它类似操作)一致的方式操作。
图4D说明根据一个实施例的用于基于视觉度量和NFC认证准许授权用户进入车辆的方法405。作为选项，可以在本文所公开的任一图的详细内容的上下文中实施方法405。然而，当然，可以在任何所需环境中实施方法405。此外，前述定义可以同样地适用于以下描述。
如图所示，方法405开始于操作440，其中通过车辆NFC子系统接收用户在车辆上的通知。在一个实施例中，NFC装置(例如，智能电话、密钥卡、NFC信用卡等)可以用于与车辆的NFC子系统通信。例如，NFC装置可以在卡模拟模式下操作，并且车辆的NFC子系统可以创建RF场以读取NFC装置，所述NFC装置可以模拟特定卡(例如，借记卡、信用卡、个人标识卡等)。以此方式，在极为接近车辆时，车辆的NFC子系统可以用于发起对用户的认证。在替代实施例中，用户智能电话可以充当NFC读取器(例如，生成RF场)，并且汽车可以充当标签和/或在卡模拟模式下操作，并且对汽车执行认证的动作提供通知。
在一个实施例中，车辆的NFC子系统进行的认证可能足以确定授权用户(根据决策448)。然而，卡和钱包可能被盗，因此可以通过面部扫描(根据操作444)提供二次认证。在一个实施例中，车辆可以被配置成执行两步认证，包含基于NFC(例如，卡模拟)认证的第一步骤和基于面部图像捕获的第二步骤。
在操作442中，可以启用车辆进入相机，并且在操作444中，可以识别呈现给车辆进入相机的面部。
根据操作446，确定面部是否与授权用户相关联。具体来说，根据决策448，确定是否存在授权用户。如果是，则车门解锁和/或打开。参见操作450。如果否，则记录所呈现面部的图像。参见操作452。在一个实施例中，操作450可以以与操作408(和/或本文所公开的任何其它类似操作)一致的方式操作，并且操作452可以以与操作410(和/或本文所公开的任何其它类似操作)一致的方式操作。
图4E说明根据一个实施例的用于基于视觉、语音和/或NFC度量准许授权用户进入车辆的方法407。作为选项，可以在本文所公开的任一图的详细内容的上下文中实施方法407。然而，当然，可以在任何所需环境中实施方法407。此外，前述定义可以同样地适用于以下描述。
如图所示，方法407开始于操作454，其中通过车辆NFC子系统接收用户在车辆上的通知。在一个实施例中，操作454可以以与操作440一致的方式操作。在操作456中，可以启用车辆进入相机。可以分析在车辆进入相机视野中的个人的静止帧和/或视频片段，并且可以根据其面部特征尝试性地识别用户(或可能多个用户)。在操作458中，指示用户说出口令短语(“请说出今天的口令短语”)。在实施例中，某个口令短语可以与尝试性地识别的用户相关联，并且指示用户说出口令短语。或者，口令短语可以是通用的(“说出今天星期几”)、随机生成的、唯一分配的(例如，分配的唯一口令短语)或其组合。在实施例中，向用户发送所分配的口令短语作为文本消息(或作为移动应用程序自定义消息)。
在操作460中，在说出口令短语时，对用户呈现给车辆进入相机的面部进行识别。在实施例中，基于用户的语音模式模型和面部模型，分析在用户说出口令短语时记录的音频以确定用户的语音是否与用户的面部匹配。参见操作462。在操作464处，确定用户是否为授权用户。在实施例中，可以分析用户说出口令短语的视频以改进识别用户的准确性。在不脱离各种实施例的范围和精神的情况下，可以应用或组合任何技术上可行的技术以结合音频使用视频来识别授权用户。
在决策466处，确定是否存在授权用户。如果是，则车门解锁和/或打开。参见操作468。如果否，则记录所呈现面部的图像。参见操作470。在一个实施例中，操作468可以以与操作408(和/或本文所公开的任何其它类似操作)一致的方式操作，并且操作470可以以与操作410(和/或本文所公开的任何其它类似操作)一致的方式操作。
虽然在NFC通信的上下文中论述各种实施例，但是可以在不脱离本公开的范围和精神的情况下实施任何其它技术上可行的无线通信技术(RF、光学、声学等等)。
在实施例中，用户可以说出两个不同口令短语中的一个。两个口令短语中的每一个可以允许进入(例如，解锁/打开车门)。可以针对正常情况说出第一口令短语，而可以在遇险情况下说出第二口令短语。当车辆接收第二口令短语时，车辆传输警报(例如，在步骤468处或之前)。可能会将警报传输到车辆管理局和/或执法机构，指示出现了遇险或紧急情形。例如，在正常情况下，用户可能说出短语“我是暴风雨”；但在遇险情况下(例如，用户被胁迫或劫持)，用户可能会说出短语“爸爸，谢谢你给我买这辆车”，从而导致车辆向执法部门传输警报。此外，车辆可能开始定期向执法部门传输地理位置信息/坐标。在遇险情况下，劫持者将无法区分有效的口令短语，从而允许车辆参与潜在地保护乘员。
在替代实施例中，可以执行本文所公开的技术以控制授权人员进入公共交通车辆(例如，火车、公共汽车)、建筑设施、仓库、办公楼、多层建筑中的楼层、电梯、独立房间、围栏空间、大院或穿过门槛的任何通道。此外，在其它替代实施例中，可以执行本文所公开的技术以控制设备和非机动车的使用，例如公共交通车辆、军用车辆(运兵飞机、坦克等)、飞机、叉车、动力外骨骼、无人机(例如，在无人机的控制站)等等。
图5A说明根据一个实施例的用于基于视觉度量验证授权用户对车辆的使用的方法500。作为选项，可以在本文所公开的任一图的详细内容的上下文中实施方法500。然而，当然，可以在任何所需环境中实施方法500。此外，前述定义可以同样地适用于以下描述。
如图所示，方法500开始于启用一个或多个车厢相机。参见操作502。应了解，可以在已满足操作202，即准许授权用户进入车辆之后应用方法500(以及根据图5B、5C、5D和/或5E的后续方法)。
响应于启用车厢相机，识别驾驶员座椅中的用户。参见操作504。在一个实施例中，可以基于面部识别系统、生物计量反馈(例如指纹、虹膜扫描等)、听觉响应等进行识别。
然后确定个人是否为授权驾驶员。参见决策506。如果是，则启用车辆操作。参见操作508。如果否，则从车厢相机记录图像。参见操作510。在一个实施例中，所记录的图像可以保存在车辆上的存储数据库、基于云的存储库等中。此外，可以将所记录的图像发送到个人(车辆所有者、车辆管理员等)且作为响应，可以采取一个或多个措施。例如，车辆所有者可以启用车辆操作(即使当不知道驾驶员获得车辆授权时)。以此方式，可以将车辆中发生的事件的报告发送给所有者。另外应了解，在一些实施例中，可以发送此类报告(和/或图像)，即使驾驶员被授权(根据决策506)。
图5B说明根据一个实施例的用于基于视觉和语音度量验证授权用户对车辆的使用的方法501。作为选项，可以在本文所公开的任一图的详细内容的上下文中实施方法501。然而，当然，可以在任何所需环境中实施方法501。此外，前述定义可以同样地适用于以下描述。
如图所示，方法501开始于启用一个或多个车厢相机。参见操作512。接下来，指示用户说出口令短语。参见操作514。在各种实施例中，口令短语可以是一个或多个预定词语或短语、对问题的响应(例如，基于社交媒体数据等)等。
另外，识别说出口令短语的选定面部。参见操作516。例如，在一个实施例中，车辆内可能有几个人，然后可以选择和识别与说出口令短语的个人相关联的面部。如果车辆中仅存在一个人，则这个人的面部可以用于口令短语和识别两者。
识别说出的口令短语的用户语音模式。参见操作518。在一个实施例中，任何语音分析或语音识别系统可以用于确定语音模式。例如，口令短语可以被分析、过滤和/或呈现给机器学习推理引擎，以便验证语音模式与特定个人(例如，授权用户)相关联。
在一个实施例中，用户可以是常规汽车中的驾驶员(其中执行方法501以允许用户驾驶)，和/或可以是自动驾驶车辆中的任何乘客。另外，所选择面部的识别可以基于车辆内的位置(例如，驾驶员座椅)。
在另一实施例中，口令短语可以用于创建音频签名和/或语音代码。音频签名可以单独使用或与其它签名(例如面部签名、数据响应签名等)结合使用来验证个人(作为传统汽车的驾驶员或自动驾驶车辆中的乘客)。此外，可以确定车辆内的音频源的空间坐标，并且空间坐标用于认证车辆内的特定用户正说出口令短语。例如，车辆可以被配置成要求车辆的驾驶员提供口令短语。驾驶员的头/嘴巴的空间坐标可以用作认证的基础，使得可以舍弃另一人在车辆内的另一坐标处说出的任何其它短语。在替代实施例中，可以允许乘客(例如，父母)向驾驶员座椅上具有受限授权的驾驶员(儿童)提供音频口令短语。
确定用户是否被授权。参见操作520。接下来，确定个人是否为授权驾驶员。参见决策522。如果是，则启用车辆操作。参见操作524。如果否，则从车厢相机记录图像。参见操作526。在一个实施例中，操作524可以以与操作508类似或相同的方式起作用。另外，操作526可以以与操作510类似或相同的方式其作用。
图5C说明根据一个实施例的用于基于视觉度量和NFC认证验证授权用户对车辆的使用的方法503。作为选项，可以在本文所公开的任一图的详细内容的上下文中实施方法503。然而，当然，可以在任何所需环境中实施方法503。此外，前述定义可以同样地适用于以下描述。
如图所示，方法503开始于启用一个或多个车厢相机。参见操作528。接下来，识别车辆内的个人。参见操作530。在一个实施例中，车辆可以是个人车辆，并且可以施加对谁可以驾驶车辆的限制。在此实施例中，车辆可以仅允许授权用户驾驶(或以其它方式操作，例如引导自驾车辆)。在另一实施例中，车辆可以是由共乘服务(例如Uber、Lyft等)操作的自驾车辆，并且可以施加对谁可以乘坐车辆的限制(例如，对请求服务的个人等)。因此，可以在车里内识别个人，并且个人身份可以允许或限制车辆操作。
可以通过NFC信道检测充电座(或用于固持智能电话的其它设备)上的智能电话。参见操作532。在另一实施例中，任何有限接近度系统(例如，低功耗蓝牙)可以用于检测智能电话的存在。在一个实施例中，如果车辆中存在单个用户，则可以实施其它智能电话检测系统(例如，WiFi、蓝牙等)，然而如果车辆中存在多个人，则结合NFC信道(或再次，任何有限接近度系统)的充电座可以用于检测与用户相关联的装置。
确定智能电话是否被授权。参见操作534。例如，使用NFC信道检测智能电话(根据操作532)可以用作认证智能电话(例如，通过卡模拟模式验证过程)的基础。在其它实施例中，授权可以包含验证密钥、一次性使用密码、与辅助装置(例如密钥卡)的接近度等。在实施例中，智能电话可以单独地认证用户(例如，输入代码、拇指指纹扫描、面部扫描或其任何组合)，然后对车辆进行全面认证。智能电话可以共享认证数据(例如，用户输入的代码)或简单地允许车辆继续认证智能电话(例如，通过在单独地认证用户之后启用卡模拟)。
在其它实施例中，多个触发器可以用于认证用户，包含但不限于面部识别、可听口令短语、装置检测(例如智能电话)、与其它装置和/或用户的接近度、生物计量特征(例如，虹膜扫描、指纹等)。例如，可能需要满足最少两个触发器，以便认证和授权用户。
确定用户是否被授权。参见操作536。接下来，确定个人是否被授权(例如，驾驶或引导自动驾驶车辆的操作)。参见决策538。如果是，则启用车辆操作。参见操作540。如果否，则从车厢相机记录图像。参见操作542。在一个实施例中，操作540可以以与操作508(和/或任何其它类似类型操作)类似或相同的方式起作用。另外，操作542可以以与操作510(和/或任何其它类似类型操作)类似或相同的方式起作用。
图5D说明根据一个实施例的用于基于虹膜扫描度量验证授权用户对车辆的使用的方法505。作为选项，可以在本文所公开的任一图的详细内容的上下文中实施方法505。然而，当然，可以在任何所需环境中实施方法505。此外，前述定义可以同样地适用于以下描述。
如图所示，方法505开始于启用驾驶员座椅虹膜扫描仪。参见操作544。在实施例中，驾驶员座椅虹膜扫描仪位于驾驶员仪表控制台内。在另一实施例中，驾驶员座椅虹膜扫描仪位于后视镜处。在其它实施例中，驾驶员座椅虹膜扫描仪位于车辆内部或外部的任何技术上可行的位置中，所述位置允许清晰、定向的观察点对坐在驾驶员座椅上的个人执行虹膜扫描。驾驶员座椅虹膜扫描仪可以包含用于执行虹膜扫描的一个或多个相机，以及帮助用户在虹膜扫描时精确地固定其视线的可见照明参考点(例如，LED)。驾驶员座椅虹膜扫描仪还可以包含指向所扫描虹膜的不可见照明源。
另外，作为响应，在驾驶员座椅上识别用户。参见操作546。在一个实施例中，操作544可以以与操作416类似或相同的方式起作用。然而，应了解，可以出于启用车辆操作的目的实施操作544。
根据决策548，确定用户是否为授权用户。如果是，则启用车辆操作。参见操作550。如果否，则记录虹膜的图像。参见操作552。
图5E说明根据一个实施例的用于基于在虹膜扫描期间的响应验证授权用户对车辆的使用的方法507。作为选项，可以在本文所公开的任一图的详细内容的上下文中实施方法507。然而，当然，可以在任何所需环境中实施方法507。此外，前述定义可以同样地适用于以下描述。
如图所示，方法507开始于启用驾驶员座椅虹膜扫描仪。参见操作554。响应于光脉冲测量虹膜扩张时间响应和扩张变化响应。参见操作556。在实施例中，将光脉冲引导在用户的眼睛(或双眼)处。在另一实施例中，光脉冲包括车厢内的环境照明。例如，虹膜扩张时间可以指示用户的虹膜需要变成完全扩张的第一时间，或单独地变为完全收缩的第二时间。在此上下文中，完全扩张指代针对环境照明的最大虹膜开口大小，并且完全收缩指代在光脉冲照明下的最小虹膜开口大小。以类似方式，扩张变化可以指示响应于光脉冲的相对扩张变化。
根据决策558，确定扩张时间和/或扩张变化响应是否在范围内。如果否，则根据操作566记录虹膜的图像。如果是，则确定用户有能力驾驶(例如，清醒且不困倦)并且方法507进行到步骤560。在步骤560处，识别驾驶员座椅。
根据决策562，确定用户是否为授权用户。如果是，则启用车辆操作。参见操作564。如果否，则记录虹膜的图像。参见操作566。
在各种实施例中，虹膜的测量(包含但不限于，虹膜扩张时间和/或扩张变化响应)可以包含快速眼睛运动和/或任何其它眼睛运动的检测。可以将移动、扩张时间和/或对光脉冲的响应与个性化和归一化特征相比较。例如，可以基于多个先前收集的数据(例如，移动、扩张时间、响应)而收集数据集。以此方式，可以将根据操作556的测量与用户的眼睛相关数据的个性化数据集相比较。
在另一实施例中，可以将移动、扩张时间和/或对光脉冲的响应与一般眼睛特征相比较。例如，基于具有一般阈值(例如，最小清醒阈值)的一般人群的数据集可以应用于根据操作556收集的虹膜扩张时间和/或扩张变化响应。在其它实施例中，可以执行额外和/或替代技术以确定个人有障碍还是有能力驾驶。
图5F说明根据实施例的响应于光脉冲的虹膜扩张。如图所示，绘制相对于时间的扩张值574。扩张值574可以表示用户的眼睛的瞳孔开口大小，并且用户可以是车辆370的乘员或驾驶员。此外，还沿着与扩张值574相同的比例绘制相对于时间的强度值570。将持续时间为Tp 572的光脉冲引导到眼睛，从而导致眼睛的瞳孔收缩。收缩可以由收缩时间Tc 576表征，并且后续扩张可以由扩张时间Td 578表征。收缩和扩张都限制于特定大小，差异由扩张差异580表征。在各种实施例中，车辆370的乘员具有为测量度量Tc 576、Td 578和差异580而执行的扩张响应。基于所述度量，可以确定用户处于足够好的驾驶状态并且启用车辆操作。如果确定用户不处于足够好的驾驶状态，则可以停用车辆操作。在一种使用模式中，醉酒或过度疲劳的用户将有一个或多个度量超过某个阈值，并将被确定为没有处于足够好的驾驶状态。在实施例中，相关阈值可以通过对用户进行的先前测量来确定，或者可以应用由大量个体确定的一般阈值。
图6A说明根据一个实施例的用于基于用户在地理围栏内驾驶而启用车辆的操作的方法600。作为选项，可以在本文所公开的任一图的详细内容的上下文中实施方法600。然而，当然，可以在任何所需环境中实施方法600。此外，前述定义可以同样地适用于以下描述。
如图所示，方法600开始于识别与授权用户相关联的地理围栏。参见操作602。应了解，可以在已满足操作204，即验证授权用户对车辆的使用之后应用方法600(以及根据图6B和/或6C的后续方法)。
在一个实施例中，地理围栏可以例如由用户、父母、所有者、车辆的驾驶员等预定。例如，可以基于授权用户(例如，具有限制性使用的儿童、不具有限制性使用的家长等)动态地施加地理围栏。另外，限制性使用可能是将车辆使用限制在地理区域(即地理围栏)内。在另一实施例中，可以基于路线自动地建立地理围栏。例如，可以由授权用户选择预批准目的地的列表，并且可以将预定缓冲器地理围栏(例如，围绕所选择路线的2个区块半径)应用于路线。在各种实施例中，可以基于道路状况实时地调整地理围栏。例如，在阻塞通往授权目的地的路径的位置发生的临时道路封闭或事故可能需要地理围栏扩展并包含通往目的地的额外路径。
识别车辆的地理位置。参见操作604。另外，确定车辆是否在地理围栏内。参见操作606。根据决策608，如果车辆在地理围栏内，则根据操作610，指示符合标准的操作。如果车辆不在地理围栏内，则根据操作612，指示不符合标准操作。在一个实施例中，可以将不符合标准操作的指示发送到第三方(例如，车辆的所有者、基于云的服务、存储数据库等)。此外，可以响应于不符合标准指示采取一个或多个措施，包含但不限于，可以执行程序以确保继续进行不符合标准操作和/或不符合标准操作的子集的许可。过程可以包含警告车辆管理员(父母、所有者等)并且从车辆管理员接收继续操作的许可。警告和接收许可的过程可以使用与车辆管理员的文本消息交换、与车辆管理员拥有的定制移动电话应用程序的交换等执行。警告过程可以包含通过定制移动电话应用程序的视频会议会话，其中在从移动电话应用程序授予许可后将许可证书发送回车辆。
在其它实施例中，并非确定车辆是否在地理围栏内(根据操作606)，可以确定车辆是否符合一个或多个条件，包含但不限于，时间范围、速度限制、道路状况、选定路线、汽车中的乘员等。如果确定不符合一个或多个条件，则可以施加一个或多个限制，包含对加速度的限制、对速度的限制、对路线的修改(或限制)等。此外，符合一个或多个条件可以包含交通状况的情境感知。例如，车辆的符合标准使用可以包含采取预定路线。然而，事故可能导致此预定路线延迟30分钟(或任何任意时间阈值)。鉴于此，可以自动地批准不符合标准操作，以最小化从当前位置前往选定目的地的时间量。在另一实施例中，不符合标准操作可能需要车辆管理员(例如，所有者或父母)、紧急服务代理(例如，紧急服务技术人员)或执法代理的批准。
此外，不符合标准操作的批准可以包含减少不符合标准操作的数目。例如，事故可能导致此预定路线延迟30分钟(或任何特定时间)，进而可能导致不符合对授权用户实施的宵禁。因此，确定车辆是否符合一个或多个条件可以包含确定不符合标准故障的数目(其中一个不符合标准故障可以由另一不符合标准故障引起)，以及选择将总体不符合标准故障减到最少的操作。
在一个实施例中，规则和/或条件的层次可以存储在车辆上，使得确定车辆是否符合一个或多个条件可以基于相对于规则和/或条件的层次对故障进行排序。在某些实施例中，车辆内(例如，驾驶员仪表控制台内)的显示器可以指示符合性和/或与符合性相关联的故障。在实施例中，地图可以与车辆地理位置和地理围栏一起显示。在另一实施例中，速度限制与最大速度限制一起显示，所述最大速度限制可以由道路的主要速度限制和/或最大用户速度限制确定。最大速度限制可以由道路速度限制与所估计道路/天气条件的组合来确定。例如，特定道路可能具有65MPH的标示速度限制，但已知最近的暴雨导致道路上的溢流；在此实例中，可以将最大速度降低到40MPH以降低没有经验的驾驶员发生事故的可能性。
在实施例中，如果道路状况恶化，则自动驾驶车辆可以被配置为将乘员返回家中(或到达指定的应急位置)。此外，如果认为道路状况恶化到足以指示紧急返回家中(或指定的应急位置)，则车辆可以通知指定的紧急联系人(例如，父母)。在某些实施例中，指定的应急位置可以根据主要状况更新为不同的位置。在实施例中，车辆可以确定主要状况不安全并且车辆可以停止；此外，车辆可以生成警报，请求现场急救员和/或其它机构提供援助。
图6B说明根据一个实施例的用于基于一个用户和自动驾驶车辆在地理围栏内操作而启用车辆的操作的方法601。作为选项，可以在本文所公开的任一图的详细内容的上下文中实施方法601。然而，当然，可以在任何所需环境中实施方法601。此外，前述定义可以同样地适用于以下描述。
如图所示，方法601开始于接收目的地。参见操作614。在一个实施例中，方法601可以在自动驾驶车辆的上下文内操作。在一个实施例中，目的地可以在车辆处接收(例如经由附接到车辆的触摸输入显示器、经由附接到车辆的麦克风等)，和/或可以在车辆处从与用户相关联的装置接收。例如，用户可以在智能电话上选择目的地，进而可以将目的地发送到车辆(例如，直接发送给车辆、通过基于云的车辆操作服务等)以供实施。另外，在另一实施例中，如果用户是儿童，则儿童可以具有带有自动发送到车辆以供实施的预批准位置(例如，家中的默认位置等)的密钥卡(或某一其它装置，例如智能电话或智能卡)。在某些实施例中，目的地是预定的，其中允许乘客沿着通往目的地的路径在地理围栏内添加一个或多个停靠点。例如，乘客可能决定在前往目的地的途中停下来喝杯咖啡。
识别与授权用户相关联的地理围栏。参见操作616。另外，确定目的地是否在地理围栏内。参见操作618。如果目的地在地理围栏内(根据决策620)，则自动驾驶车辆启动操作以前进到目的地。参见操作622。如果目的地不在地理围栏内，则目的地被指示为无效。参见操作624。
作为实例，可以提供车辆的用户希望去星巴克的目的地。可以确定星巴克目的地在地理围栏之外。因此，目的地可以被指示为无效。作为响应，用户可以请求地理围栏的许可或覆写。在一个实施例中，可以向用户(例如，父母、车辆所有者等)发送请求，所述用户可以提供对地理围栏的覆写。可以执行任何技术上可行的技术以提供覆写(例如，警告父母/车辆驾驶员和接收许可)。
图6C说明根据一个实施例的用于基于多个用户和自动驾驶车辆在地理围栏内操作而启用车辆的操作的方法603。作为选项，可以在本文所公开的任一图的详细内容的上下文中实施方法603。然而，当然，可以在任何所需环境中实施方法603。此外，前述定义可以同样地适用于以下描述。
如图所示，方法603开始于接收目的地。参见操作626。识别与车辆中的所有用户(例如，乘客)相关联的地理围栏。参见操作628。例如，车辆中的一组用户可以包含五个人，并且对于四个人，可能不施加地理围栏限制。然而，因为一个人受到地理围栏限制，所以车辆的整个乘员组都将受到地理围栏的影响。
在另一实例中，第一个人可能会受到第一地理围栏的影响，而第二个人可能会受到第二地理围栏的影响，并且组合的地理围栏可以基于第一个人和第二个人中的每一个的重叠地理区域。在单独实施例中，可以将第一个人的第一地理围栏添加到第二个人的第二地理围栏。例如，第一个人可以是第二个人的年长兄弟姐妹。此外，年长的兄弟姐妹可能比年幼的兄弟姐妹拥有更广泛的地理围栏；但是当年长的兄弟姐妹和年幼的兄弟姐妹在一起时，年幼的兄弟姐妹可能会在年长的兄弟姐妹的更广泛地理围栏内行进。或者，当兄弟姐妹一起行进时，年长的兄弟姐妹的地理围栏可能限制于年幼的兄弟姐妹的地理围栏。应了解，可以基于与处理地理围栏相关联的预定规则以任何技术上可行的方式添加、减去和/或操纵多个个人的地理围栏。
另外，确定目的地是否在所有用户的地理围栏内。参见操作630。如果目的地在地理围栏内(根据决策632)，则自动驾驶车辆启动操作以前进到目的地。参见操作634。如果目的地不在地理围栏内，则目的地被指示为无效。参见操作636。另外，操作636可以以类似于操作624的方式操作。
在实施例中，可以构建路线和/或地理围栏以避免高犯罪率区域(如所述区域的地图数据所指示)，即使以更长的距离或更慢的行进时间为代价。此外，在犯罪率较高的区域，可能会将车辆自动驾驶操作调整为更警惕模式。例如，可以调整自动驾驶操作以优先避免车辆可能被其它车辆挡住的交通情形。类似地，可以调整自动驾驶操作以假设其它车辆更有可能在犯罪率较高的区域违反交通规则。在某些实施例中，自动驾驶车辆与基于云的服务器系统通信，所述基于云的服务器系统被配置成引导路线决策，所述路线决策通常可以或以其他方式由自动驾驶车辆计算。
在实施例中，出于地理围栏符合性的目的，使用至少两种不同技术(GPS、WiFi、手机信号塔三角测量、视觉街道信息、惯性感测等等)确定车辆位置。此外，如果在自动驾驶操作过程期间，由至少两种不同技术报告的车辆位置偏离超过某个最大偏离距离，则可以传输警报并且车辆可以采取一个或多个缓解措施。可以将警报发送到操作中心、所有者和驾驶员、注册用户、执法人员，或其任何组合。在实施例中，在传输警报之后，车辆可以启用终止开关。可以将终止开关的操作委托给注册人员，包含执法人员。在实施例中，如果由至少两种不同技术报告的车辆位置偏离超过最大偏离距离，则车辆可以使用一致的至少两种不同位置感测技术继续操作。在实施例中，在传输警报时，车辆可以开始将视频图像数据从数码相机(例如，用户ID传感器372、自动驾驶传感器374等)传输到服务中心、驾驶员、执法人员或录音服务。在实施例中，作为技术中的一种技术，智能电话或其它用户装置可以向车辆提供车辆位置。此外，当发生位置偏离时，可以向用户提供选择使用哪种定位技术来继续车辆操作的选项。
图7A说明根据一个实施例的用于启用和引导车辆的操作的系统700。作为选项，可以在本文所公开的任一图的详细内容的上下文中实施系统700。然而，当然，可以在任何所需环境中实施系统700。此外，前述定义可以同样地适用于以下描述。
在各种实施例中，系统700可以被配置成执行方法100、200、400、401、403、405、407、500、501、503、505、507、600、601、603和701中的一个或多个。此外，系统700可以被配置成接收并解释用于驾驶员控制和/或自动驾驶车辆的车辆和/或导航操作的传感器数据。
如图所示，系统700包含车辆控制和导航系统702，所述车辆控制和导航系统包含车辆导航子系统704、神经网络推理子系统706和/或车辆操作子系统708。在一个实施例中，车辆导航子系统704可以与神经网络推理子系统706通信，此通信包含将数据和/或命令从车辆导航子系统704发送到神经网络推理子系统706，以及从车辆导航子系统704处的神经网络推理子系统706接收数据和/或命令。此外，车辆导航子系统704可以与车辆操作子系统708通信，包含将数据和/或命令从车辆导航子系统704发送到车辆操作子系统708。在实施例中，车辆导航子系统704被配置成管理总体车辆移动，神经网络推理子系统706被配置成解释车辆周围环境，并且车辆操作子系统708被配置成执行基本车辆操作(例如，加速、刹车、转弯等)。
车辆导航子系统704可以与触摸输入显示屏714、GPS接收器716、扬声器718，和/或麦克风720通信。应了解，其它组件(未示出)可以与车辆导航子系统704通信，包含但不限于，加速计、蜂窝数据连接(以允许位置的三角测量以及各种任务到固定服务器阵列的卸载)等。麦克风720可以包含多个麦克风，并且在一个实施例中，麦克风可以穿过车辆定位，使得可以创建3D音频图(以识别个人讲话的位置)。此外，如图所示，车辆导航子系统704可以控制车辆操作子系统708和/或神经网络推理子系统706。在实施例中，车辆导航子系统704和/或神经网络推理子系统706可以包括处理器复合体310的一个或多个实例。
神经网络推理子系统706可以与用户ID传感器372和/或自动驾驶传感器374通信。应了解，其它组件(未示出)可以与神经网络推理子系统706通信，包含但不限于，一个或多个超声波接近扫描仪、一个或多个雷达扫描仪(例如，毫米雷达扫描仪)、一个或多个光探测与测距(LiDAR)扫描仪、一个或多个激光器、一个或多个光脉冲发生器、一个或多个可见光相机、一个或多个红外相机、一个或多个紫外相机等。用户ID传感器372可以包含生物捕获传感器、一或多个相机(包含车厢相机、外部相机等)、虹膜扫描仪、接近传感器、秤(以测量乘员的体重)、NFC读取器等。自动驾驶传感器374可以提供要由神经网络推理子系统706解释的环境数据，其可以生成车辆周围的环境的抽象概念。
此外，车辆操作子系统708可以与车辆操作致动器710和/或车辆操作传感器712通信。应了解，其它组件(未示出)可以与车辆操作子系统708通信，包含但不限于，氧传感器、温度传感器、压力传感器、空气流动传感器、电压传感器、燃料温度传感器等。
在实施例中，可以包含位置接收器717以提供用于检测车辆位置的二级和/或三级机构。在实施例中，位置接收器717包括WiFi接收器，并且二级机构可以包含WiFi位置检测。在另一实施例中，位置接收器717包括蜂窝(例如LTE)接收器，并且机构可以包含手机信号塔三角测量。在实施例中，位置接收器717包含WiFi接收器和蜂窝接收器两者，并且可以根据信号可用性应用两种不同定位技术。在某些实施例中，位置接收器717进一步包含惯性传感器，并且惯性跟踪用于提供位置估计。在又其它实施例中，车轮旋转计数(里程表)、车轮速率(速度计)和车轮位置(转向角)可以用于估计位置。在某些实施例中，加速计和/或陀螺仪可以包含在位置接收器717中，以任选地结合用于估计位置的任一其它技术提供又一位置估计。
在实施例中，如果GPS接收器716从由位置接收器717提供的一个或多个其它位置估计技术偏离超过预定偏离距离，则传输通知和/或警报。可以将警报传输到服务提供商、车辆驾驶员/所有者、父母或执法部门。在某些情形中，攻击者可能试图欺骗GPS信号或其它信号，以试图使车辆偏离所需的路径；通过提供多种不同的位置测量，车辆可以尝试减少此类攻击。可以将偏离距离测量为曼哈顿距离、几何距离或任何其它技术上可行的距离度量。
在实施例中，可以处理来自自动驾驶传感器374的图像数据以识别车辆的当前位置，并且基于车辆的周围环境的视觉数据而提供又一位置估计。在此实施例中，基于视觉的位置估计与GPS位置之间的任何显著偏离也可能导致传输警报。
在某些实施例中，可以提供某些缓解功能，包含停用车辆。在实施例中，停用车辆可以由驾驶员、所有者或执法部门引导。此外，停用车辆可以包含使车辆减速并驶离道路，同时避免任何碰撞情形。
在实施例中，一个或多个化学传感器373包含在系统700中并且被配置成对车辆370的车厢的化学环境进行采样、测量和/或分析。在实施例中，化学传感器373被配置成测量车厢中的二氧化碳。在另一实施例中，化学传感器373被配置成测量车厢中的一氧化碳。在又一实施例中，化学传感器373被配置成测量车辆中的酒精蒸汽。在再另一实施例中，化学传感器373被配置成检测车厢中的烟雾。在其它实施例中，化学传感器373可以被配置成执行可以引导车辆行为的任何技术上可行的测量或分析，包含毒素和生物危害检测。
在实施例中，如果车辆在自动驾驶模式下操作并且测量到车厢二氧化碳(或一氧化碳)高于某一阈值，则车辆中的致动器可以被配置成冲洗掉不新鲜的空气，例如通过车辆空调系统引入新鲜空气。
在另一实施例中，如果车辆由操作人员驾驶并且测量到车厢二氧化碳(或一氧化碳)高于某一阈值，则可以激活警告信号(指示灯、声音指示器、振动指示器，或指示器的组合)；此外，车辆中的致动器可以被配置成冲洗掉不新鲜的空气，例如通过车辆空调系统引入新鲜空气。此外，系统700可以观察驾驶员的困倦迹象并且如果驾驶员显得过度困倦，则系统转换到稳健的驾驶员辅助模式以避免事故，同时继续将车辆停在安全位置。在实施例中，二氧化碳的阈值在车厢空气中测量的二氧化碳的千分之一与百分之一之间。
在实施例中，如果车辆在人类驾驶员的控制下运行并且在车厢空气中检测到酒精、毒素、一种或多种指定化学标记物或有害蒸气，则车辆可以激活警告指示器。此外，如果驾驶员被评估为受到损害(昏昏欲睡、醉酒、受伤、生病)，车辆可以被配置成减速、靠边停车并停在远离道路的安全位置。在某些实施例中，车辆控制和导航系统702从数码相机读取图像数据以评估蒸汽源，并且如果确定源在车厢外部，则车辆可以继续行驶。
在实施例中，车辆控制和导航系统702从数码相机(例如，用户ID传感器372)读取图像数据以评估驾驶员是否保持警觉。在其它实施例中，车辆控制和导航系统702从数码相机(例如，用户ID传感器372)读取图像数据，以评估车辆乘员是否正在观察车辆周围的环境(例如，道路状况、越野危险等)；如果是并且乘员专注于车辆外部的特定区域，则通过更严格检查和/或所述区域可能存在危险的偏见对所述区域进行分析。
在实施例中，车辆控制和导航系统702可以被配置成确定车辆370的操作限制。车辆控制和导航系统702可以基于传感器输入和/或地理位置信息和地图信息的组合来评估此类操作限制。当评估限制时，可以考虑道路状况，包含天气条件(例如，雨、积水、雪、冰等等)。在实施例中，神经网络推理子系统706被配置成(至少部分地)确定当前天气条件。此外，车辆控制和导航系统702可以与远程的基于网络的天气服务通信以确定(至少部分地)当前天气条件。所述限制还可以基于(至少部分地)轮胎温度、压力和/或当前车辆重量。例如，速率(速度)限制可以随着当前车辆重量增加或轮胎压力降低而减小。操作限制可以包含加速度和/或速率，这可以针对给定的路段进行评估(例如，基于道路几何形状、天气条件、车辆重量等)。所述限制可以用作向驾驶员提供反馈的基础。在实施例中，如果额外的车辆加速度或速率将超过相应的限制，则与速率和/或加速度限制相关的反馈可以以增加对驾驶员按压加速器(油门)踏板的阻力的形式提供。
在实施例中，系统700被配置成评估车辆370内(例如，由麦克风720采样)和/或车辆外部的声音的特征。例如，声音特征的评估可以指示乘员处于医疗窘迫中(例如，心脏病发作)，从而导致系统700作出响应；例如，通过警告当局并在车辆位置请求医疗援助。系统700还可以使车辆370在交通中导航并靠边停车等待援助。或者，系统700可以将车辆370驾驶到应急医疗机构。在采取重大措施之前，可以通过来自车载摄像头的视频图像进一步验证声音评估。
图7B说明根据一个实施例的用于配置神经网络推理子系统的方法701。作为选项，可以在本文所公开的任一图的详细内容的上下文中实施方法701。然而，当然，可以在任何所需环境中实施方法701。此外，前述定义可以同样地适用于以下描述。
如图所示，方法701开始于配置神经网络推理子系统706以识别授权用户。参见操作726。例如，神经网络推理子系统706可以用于识别接近车辆的个人的所捕获图像内的个人，以及进入车辆的个人(例如，在已被授予进入授权之后)。通过类似方式，虹膜扫描仪、NFC读取器等可以用于收集将由神经网络推理子系统706使用的信息，以识别一个或多个授权用户。
用户被授权操作车辆。参见操作728。另外，接收起始自动驾驶操作的命令。参见操作730。此外，神经网络推理子系统706被配置成执行自动驾驶操作。参见操作732。应了解，与需要单独配置的多个不同硬件资源来执行用户认证和自动驾驶操作的技术相比，方法701有利地提高系统利用率。
图8说明根据一个可能实施例的通信网络架构800。如图所示，提供至少一个网络802。在本发明网络架构800的背景下，网络802可以采用任何形式，包含但不限于电信网络、局域网(LAN)、无线网络、互联网等广域网(WAN)、对等网络、有线网络等。虽然仅示出一个网络，但是应理解，可以提供两个或更多类似或不同网络802。在实施例中，网络802包含无线网络，包括在网络接入点/手机信号塔处以及在客户端装置(例如，车辆814(例如，车辆370)、智能电话806和智能钥匙810)处的长期演进(LTE)数字调制解调器。在正常操作期间，客户端装置通过网络接入点传送数据。
多个装置耦合到网络802。例如，服务器计算机812可以耦合到网络802以用于通信。再者，各种其它装置可以耦合到网络802，所述装置包含智能钥匙装置810、智能电话806、车辆814等。在实施例中，车辆814包含图7A的系统700的一个或多个实例。此外，车辆814内的车辆系统700可以与网络802通信，且具体来说，与智能钥匙810和/或服务器812通信。
在实施例中，智能钥匙810被配置成排他性地允许一个或多个特定的人操作车辆814。一个或多个特定的人与智能钥匙810相关联。此外，智能钥匙810的不同实例可以允许不同组的人操作车辆814。在实施例中，智能钥匙810可以包含一个或多个特定的人的识别信息。可以对识别信息进行数字签名。在实施例中，识别信息包含由车辆处理器系统(例如，系统700)用于查找一个或多个人的辨识信息的一个或多个索引的列表。辨识信息可以包含用于识别人(例如，面部、指纹、虹膜图案、视网膜图案等)的系数。
在实施例中，车辆处理器系统被配置成记录车辆乘员装置的识别信息。例如，车辆处理器系统可以记录用于车辆乘客舱内的装置的所有WiFI媒体访问控制(MAC)地址、国际移动订户身份(IMSI)值、电子序列号(ESIN)值和/或移动设备标识符(MEID)值。此外，车辆814可以记录且尝试识别在车辆内部和/或周围的个人的面部，并且使识别信息与所记录面部相关联。
在实施例中，智能电话806、智能钥匙810和/或车辆814被配置成存储车辆乘员的医疗信息。例如，智能电话806可以被配置成存储装置的所有者的药物过敏(或没有过敏)和/或严重医学病症(或没有病症)。在事故情形下，可以将医疗信息(从智能手机806、智能钥匙810和/或车辆814)提供给现场急救员，以便在到达时进行更迅速的治疗。
在实施例中，周期性地分析(例如，由系统700)生物计量数据(心率、心脏波形、血氧饱和度)、车厢CO2和/或CO水平、经分析以评估个人健康状况(例如，健康和清醒、困倦、受伤、生病、处于急性窘迫、无意识等)的视频数据中的一个或多个，以实时确定驾驶员或乘员是否需要援助。援助可以包含车辆814驾驶或从人接管驾驶以安全地将车辆814驶离道路。援助还可以包含将车辆814驾驶到应急医疗机构。援助还可以包含呼叫救护车、通知执法部门车辆814正在进入应急医疗机构，以及任选地请求护送。在实施例中，特定生物计量数据可以由智能手表进行采样且被传输到车辆814。例如，用户可以将他们的智能手表与车辆814配对，从而允许车辆814监测由智能手表实时采样的心率、心脏波形、氧气、血压，或其组合。如果用户出现医疗问题，则车辆814可以提供例如上述援助。在实施例中，用户装置可以被配置成在用户可能受到损害或需要援助的情况下通知车辆814。例如，智能手表可能已经检测到不规则的心律或心脏压力，或者智能手表和/或智能电话可能已经在前往车辆814的途中检测到不规则的步行步态。
在实施例中，车辆814被配置成检测例如存在于乘员身上的化学标记物。在检测到化学标记物后，车辆814可以警告当局(例如，执法部门)车辆乘员身上存在化学标记物。车辆814可以被配置成允许操作，同时将地理位置信息传输到执法部门。例如，如果乘员犯罪(例如，抢劫银行)并且在犯罪现场被系统标记，则可能发生这种情况。银行进入通道可以包含例如系统，例如压缩空气雾化器，所述压缩空气雾化器被配置成在离开银行的路上用化学标记物标记作案者，然后车辆814可以检测化学标记物并警告当局。化学标记物可以包含一种或多种任何技术上可行的化合物。
图9说明根据一个实施例的示例性系统900。作为选择，可以在图8的网络架构800和/或图7A的系统700的任何装置的上下文中实施系统900。然而，当然，可以在任何所需环境中实施系统900。
如图所示，提供系统900，所述系统包含连接到通信总线912的至少一个中央处理器902。系统900还包含主存储器904[例如，随机存取存储器(RAM)等]。系统900还包含图形处理器908和显示器910。
系统900还可以包含辅助存储装置906。辅助存储装置906包含例如硬盘驱动器、固态存储器驱动器和/或可移除存储驱动器等。可移除存储驱动器以熟知方式从可移除存储单元读取和/或写入到可移除存储单元。
就此而言，计算机程序或计算机控制逻辑算法可以存储在主存储器904、辅助存储装置906和/或任何其它存储器中。此类计算机程序当被执行时使系统900能够实行各种功能(例如，如上文所阐述的功能)。存储器904、存储装置906和/或任何其它存储装置是非暂时性计算机可读媒体的可能实例。
图10A说明根据一个可能实施例的用于捕获图像的示例性方法1000。方法1000可以由任何技术上可行的数字摄影系统(例如，数码相机或数码相机子系统)执行。在一个实施例中，通过图3A的数字摄影系统300执行方法1000。
在步骤1002处，数字摄影系统检测场景内的一个或多个面部。应了解，尽管本说明书描述检测一个或多个面部，但是可以在方法1000的上下文内检测和使用一个或多个其它身体部位(例如，手臂、手、腿、脚、胸部、颈部等)。任何技术上可行的技术可以用于检测一个或多个面部(或一个或多个身体部位)。如果在步骤1004处，一个或多个面部(或一个或多个身体部位)中的至少一个具有阈值肤色，则方法前进到步骤1008。在本说明书的上下文中，肤色是指皮肤(例如，人类皮肤)的色度。例如，根据一系列自然人类肤色，肤色可以是浅色、中色或深色，或者是浅色和中色或中色和深色之间的融合。
如果在步骤1004处，场景内没有面部具有阈值肤色，则方法前进到步骤1006。在本说明书的上下文中，阈值肤色定义为低于所定义低强度阈值的深肤色或高于所定义高强度阈值的浅肤色。对于深肤色，个人的面部可能显得高度曝光不足，而对于浅肤色，个人的面部可能显得褪色和曝光过度。此类阈值可以根据任何技术上可行的技术确定，包含定量技术和/或使用来自一个或多个给定相机系统的所捕获图像的主观评估的技术。
另外，阈值肤色可以包含预定义肤色。例如，阈值肤色可以指代浅色、中等色或深色的肤色，或浅色和/或中等色和/或深色的百分比。此阈值肤色可以由用户、应用程序、操作系统等预定义。另外，阈值肤色可以以静态方式(即，其不改变等)或以动态方式起作用。例如，阈值肤色可以与所捕获装置和/或环境的上下文相关联。以此方式，可以根据特定的上下文或环境条件(例如，亮度具有预定范围等)应用默认阈值肤色，并且如果这种上下文和/或环境条件改变，则可以相应地修改阈值肤色。例如，默认阈值肤色可能与环境照明的“正常”条件相关联，但如果环境更改为室外明亮的阳光，则阈值肤色可能会考虑更亮的环境并修改阈值肤色。
低阈值肤色可以是用于所捕获场景内的低亮度外观的任何技术上可行的阈值。在一个实施例中，低阈值肤色被定义为用于所检测面部的区域的低平均强度(例如，低于总强度范围的15％)。在另一实施例中，低阈值肤色被定义为用于所检测面部的区域的低对比度。在又另一实施例中，低阈值被定义为用于所检测面部的区域的低直方图中值(例如，总强度范围的20％)。类似地，高阈值可以是用于所捕获场景内的高亮度外观的任何技术上可行的阈值。在一个实施例中，高阈值被定义为用于所检测面部的区域的高平均强度(例如，高于总强度范围的85％)。在另一实施例中，高阈值被定义为用于所检测面部的区域的高强度(亮)，但低对比度。在又另一实施例中，高阈值被定义为用于所检测面部的区域的高直方图中值(例如，总强度范围的80％)。
如果在步骤1006处，场景包含共同地具有高动态范围强度的区域，则方法前进到步骤1008。否则，方法前进到步骤1010。
在步骤1008处，数字摄影系统启用高动态范围(HDR)捕获。在步骤1010处，数字摄影系统根据捕获模式捕获场景的图像。例如，如果捕获模式指定启用HDR，则数字摄影系统捕获HDR图像。
图10B说明根据一个可能实施例的用于捕获图像的示例性方法1020。方法1020可以由任何技术上可行的数字摄影系统(例如，数码相机或数码相机子系统)执行。在一个实施例中，方法1020由图3A的数字摄影系统300执行。
在步骤1022处，数字摄影系统检测场景内具有阈值肤色的一个或多个面部，如本文所描述。当然，应了解，方法1020可以另外应用于一个或多个其它身体部位(例如，手臂、颈部、胸部、腿、手等)。
在步骤1024处，数字摄影系统将场景分成一个或多个面部区域和一个或多个非面部区域。可以实施任何技术上可行的技术以提供场景分段，包含基于外观推测片段/区域的覆盖范围的技术，以及还包含结合视觉图像捕获的深度图像(z映射)的技术。在替代实施例中，步骤1024可以包含一个部分(例如，头部等)与第二部分(例如，颈部等)之间的边缘检测。在某些实施例中，机器学习技术(例如，神经网络分类器)可以用于检测图像像素，所述图像像素是面部区域或与其它身体部位相关联的皮肤的一部分。
在步骤1026处，捕获场景的一个或多个图像。相机模块和/或数字摄影系统可以用于捕获场景的此一个或多个图像。在一个实施例中，数字摄影系统可以捕获单个高动态范围图像。例如，数字摄影系统可以捕获单个图像，所述单个图像可以具有每个像素每个颜色通道十四位或更多位的动态范围。在另一实施例中，数字摄影系统捕获两个或更多个图像，所述图像中的每一个可以提供相对较高动态范围(每像素每颜色通道十二位或更多位)或每像素每颜色通道少于十二位的动态范围。暴露两个或更多个图像以捕获至少面部区域和非面部区域的细节。例如，可以暴露两个或更多个图像中的第一个，使得面部区域的中值强度限定第一图像的中点强度。此外，可以暴露两个或更多个图像中的第二个，使得非面部区域的中值强度限定第二图像的中点强度。
在步骤1028处，数字摄影系统处理一个或多个面部区域以生成最终图像。在一个实施例中，为了处理一个或多个面部区域，数字摄影系统将高度HDR效果应用于面部区域内的最终图像像素。在某些实施例中，对于沿着从给定面部区域的外边界通过过渡区域通向周围非面部区域的边界的路径的像素，HDR效果的程度逐渐减小。过渡区域可以具有任意厚度(例如，一个像素到许多像素)。在一个实施例中，HDR效果的程序与强度系数成比例，如在2015年8月11日提交的标题为“用于获得具有零帧间时间的多次曝光的图像传感器设备和方法(IMAGE SENSOR APPARATUS AND METHOD FOR OBTAINING MULTIPLE EXPOSURES WITHZERO INTERFRAME TIME)”的共同待决的美国专利申请14/823,993中所定义，所述申请出于所有目的通过引用并入本文中。在其它实施例中，可以实施其它HDR技术，其中HDR效果的程度根据特定技术来定义。例如，基本α混合可以用于在常规曝光(ev 0)图像与HDR图像之间混合，其中对于非面部区域像素，HDR效果为零度，对于面部区域像素，HDR效果为一度，并且对于过渡区域内的像素，HDR效果在一与零之间逐渐转变(参见图2)。一般来说，将HDR效果应用于与具有深肤色的个人相关联的面部区域内的像素可在较低光级下提供更大对比度，并将较深肤色重新映射到更接近图像强度中点。将HDR效果应用于面部区域内的像素可以为面部区域内的像素提供更大对比度，由此提供更多视觉细节。某些HDR技术实施色调(强度)映射。在一个实施例中，修改常规的HDR色调映射以将较大范围提供到面部区域内的像素。例如，当捕获具有深肤色的个人的图像时，可以通过修改的色调映射来映射较深的所捕获强度范围以具有用于面部区域内的像素的较大输出范围(最终图像)，而将常规的映射应用于非面部区域内的像素。在一个实施例中，可以创建HDR像素流(具有正确色调映射)，如在2014年11月7日提交的标题为“用于生成高动态范围(HDR)像素流的系统和方法(SYSTEMSAND METHODS FOR GENERATING A HIGH-DYNAMIC RANGE(HDR)PIXEL STREAM)”的第14/536,524号美国专利申请，现为第9,160,936号美国专利中描述，所述申请出于所有目的以引用方式并入本文中。另外，可以通过应用本文所描述的方法生成视频流(具有正确色调映射)。
在另一实施例中，为了处理一个或多个图像，数字摄影系统可以对面部区域(或所选择的身体区域)内的像素执行局部均衡。可以在过渡区域内以不同程度应用局部均衡。在一个实施例中，可以单独地或结合HDR技术应用局部均衡技术，包含对比度受限自适应直方图均衡(CLAHE)。在此类实施例中，可以根据方法1020捕获一个或多个图像，或可以根据任何其它技术上可行的图像捕获技术捕获一个或多个图像。
在某些实施例中，深度图图像和相关联视觉图像可以用于构建场景内的一个或多个个人的模型。可以从视觉图像生成一个或多个纹理映射。例如，可以部分地使用深度图来构建个人的面部(摄影对象)的三维(3D)模型，而视觉图像可以提供3D模型的表面纹理。在一个实施例中，表面纹理可以包含颜色和/或特征(例如痣、切口、疤痕、雀斑、面部白皙等)。可以修改表面纹理以提供更接近图像中点强度的平均强度，同时保留肤色和个体独特的皮肤纹理(例如，痣、切口、疤痕、雀斑、面部白皙等)。然后可以渲染3D模型以生成最终图像。渲染图像可以包含推测的自然场景照明、自然场景照明与渲染过程中添加的合成照明源的组合，或它们的组合。例如，可以添加柔和的侧光，以从个人面部的高光和阴影中提供深度线索。此外，可以在渲染过程中添加渐变光以提供额外的高光和阴影。
在某些其它实施例中，本文公开的用于处理面部区域的技术可以实施为后处理，而不是与图像捕获结合。
图10C说明根据一个可能实施例的分成面部区域1042和非面部区域1044的示例性场景。如图所示，将图像1040分成面部区域1042和非面部区域1044。任何技术上可行的技术可以用于执行场景分段。所述技术可以仅对视觉图像信息、深度图信息或其组合操作。作为选项，图10C可以在如本文所描述的任一其它图的上下文中实施。具体来说，图10C可以在图10B的步骤1022-1028的上下文内实施。
在另一实施例中，可以将选择的身体部位区域与未选择的身体部位区域区分开并单独地识别。例如，可以将手与周围环境区分开，将手臂与躯干区分开，将脚与腿区分开等等。
图10D说明根据一个可能实施例的场景的面部区域掩模1041。在一个实施例中，如果图像1040内的对应像素位置在面部区域1042内，则面部区域掩模1041内的像素值设定成值一(1.0)，并且如果图像1040内的对应像素位置在面部区域1042外部，则面部区域掩模1041内的像素值设定成值零(0.0)。在一个实施例中，生成基本上完整的面部区域掩模1041且将其存储在存储器中。在另一实施例中，在使用之前计算个别掩模元件，而不将完整的面部区域掩模1041存储在存储器中。作为选项，图10D可以在如本文所描述的任一其它图的上下文中实施。具体来说，图10D可以在图10B的步骤1022-1028的上下文内或图10C的上下文内实施。
图10E说明根据一个可能实施例的包含过渡区域1046的场景的面部区域掩模1041。如图所示，过渡区域1046安置在面部区域1042与非面部区域1044之间。面部区域掩模1041内的掩模值沿着从非面部区域1044到面部区域1042的路径1048从零增加到一。沿着路径1048指示从非面部区域1044到面部区域1042增加的掩模值的梯度。例如，掩模值可以沿着路径1048从非面部区域1044中的值零(0.0)增加到面部区域1042中的值一(1.0)。任何技术上可行的技术可以用于生成梯度。作为选项，图10E可以在如本文所描述的任一其它图的上下文中实施。具体来说，图10E可以在图10B的步骤1022-1028的上下文内或图10C-10D的上下文内实施。
图11说明根据一个可能实施例的从非面部区域(例如，非面部区域1044)到面部区域(例如，面部区域1042)的掩模值的示例性转变。作为选项，可以在本文所公开的任一图的详细内容的上下文中实施图11。然而，当然，可以在任何所需环境中实施图11。
如图所示，面部区域掩模像素值1102(例如，在面部区域掩模1041内的给定像素处的掩模值)沿着路径1100从非面部区域1101A像素增加到面部区域1101C像素，所述路径开始于非面部区域1101A、穿过过渡区域1101B且继续进入面部区域1101C中。例如，路径1100可以对应于图10E的路径1048的至少一部分。当然，应了解，可以相对于其它和/或多个身体区域实施图11。例如，可以实施图11以指示包含面部区域和颈部区域的掩模值。此外，可以实施图11以指示包含具有可见皮肤的任何身体部位区域的掩模值。
在其它实施例中，深度图可以与面部区域结合使用或用于确定面部区域。另外，可以修改对比度(例如，使用CLAHE或任何类似技术)以增强肤色的对比度。在一个实施例中，如果肤色较浅(或较深)，则可以添加(或去除)额外的对比度。在其它实施例中，如果面部的轮廓是已知的(例如，从面部的3D映射)，则可以在一个或多个后处理操作中添加或修改照明、阴影和/或其它照明效果。此外，体素化(和/或2d图像的3d映射)或其它空间数据(例如，由深度图数据构建的对象的表面网格)可以用于对面部和/或额外身体部位进行建模，并且另外确定与图像相关的深度值。
在一个实施例中，深度图信息可以从数码相机获得(例如，基于从多于一个镜头视角计算的视差、同一场景但从不同角度和/或变焦级别的多个图像、图像的近同步捕获、双像素/聚焦像素相位检测等)。另外，还可以(例如从深度图传感器)获得深度图信息。作为实例，如果在图像中找到面部，并且使用图像的深度图对面部进行建模，则可以将合成照明(例如照明梯度)添加到面部以修改面部上的照明条件(例如，实时或后处理)。此外，纹理图(从图像中的面部采样)可以与深度图结合使用以生成面部的3D模型。以这种方式，合成照明不仅可以以正确的视角应用在任意面部上，但是另外根据环境照明的所测量颜色平衡，照明颜色对于环境条件和脸部(或任何显示的皮肤部分)的肤色可能是正确的。可以实施任何技术上可行的技术以测量环境照明的颜色平衡，包含识别场景中的照明源和估计照明源中的一个或多个的颜色平衡。或者，可以基于将采样颜色与已知的一组人类肤色相匹配来确定对象面部上的照明的颜色平衡。在其它实施例中，产生、增强或生成/渲染灰度图像并且将灰度图像用于识别车辆370内部或外部的一个或多个个人。
在一个实施例中，可以从图像中的面部创建纹理图。此外，可以选择性地修改纹理图上的对比度以校正肤色。例如，可以将场景分段以包含对象皮肤的区域(例如，面部、手臂、颈部等)和不是皮肤的区域(例如，衣服、头发、背景)。另外，场景可以包含其它皮肤身体部位(例如，手臂、颈部等)。在此实例中，可以将所有暴露的皮肤包含在纹理图中(作为单独的纹理图或一个包含性纹理图)并一起进行校正(例如，均衡化、色调映射等)。接着将校正的纹理图应用于面部的3D模型以及与可见身体部位相关联的任何可见皮肤。然后可以在场景中在适当位置渲染3D模型，以生成场景中个人的面部和任何其它身体部位的图像。通过对同一个人的可见皮肤执行对比度校正/调整，生成的图像整体上可能看起来更自然，因为对于个人保持一致的肤色。
在特定情形中，可以单独地校正皮肤的非连续区域。作为实例，光可能投射到个人的面部(例如，从包括车辆370的照明器)，而个人的颈部、手或手臂可能处于阴影中。因此，此面部可能很浅，而颈部、手、手臂可能都具有单独的和不同的色调和光强度。因此，可以将场景分成具有不同色调和光强度的若干物理区域。因此，可以在上下文中校正每个区域以获得更自然的整体外观。
在一个实施例中，对象分类器和/或其它对象辨识技术(例如，机器学习等)可以用于检测身体部位(手、手臂、脸、腿)并将所有身体部位与暴露的皮肤相关联，使得对比度校正(根据纹理图)可以应用于一个或多个检测到的身体部位。在一个实施例中，神经网络分类引擎被配置成将各个像素识别为与身体部位的暴露皮肤相关联。识别为暴露皮肤的像素可以被聚合成段(区域)，并且可以对区域进行校正(例如，均衡、色调映射等)。
在一个实施例中，可以构建场景的层次并且可以使用分类引擎来对场景进行分段。可以从场景片段生成相关联纹理图。可以将纹理图校正、在适当位置渲染且应用于此层次。在另一实施例中，层次可以包含提取每个皮肤暴露的身体部位的曝光值，以及基于纹理图将曝光值与校正值相关联。
在一些实施例中，肤色可以基于所确定的身体部位而不同。例如，面部肤色可以不同于手/手臂等。在此实施例中，可以生成和渲染包含纹理图和深度图的3D模型，以单独地校正和/或均衡每个不同身体部位中的一个或多个的像素。在一个实施例中，参考色调(例如，多种离散的、已知的人类肤色之一)可以用作校正(例如，均衡、色调映射、色调调整)图像内与暴露皮肤相关联的像素的基础。在其它实施例中，校正/肤色可以分别应用于不同的、视觉上不连续的身体部位。
图12说明根据一个可能实施例的执行用于基于焦点目标信息调整焦点的示例性方法1200。作为选项，可以在任一图的详细内容的上下文中实施示例性方法1200。然而，当然，可以在任何所需环境中实施示例性方法1200。
如图所示，使用相机模块将图像采样为图像数据。参见操作1202。另外，相机模块可以将图像数据传输到应用程序处理器。在本说明书的上下文中，此种图像数据包含与图像相关联的任何数据，包含对应于像素强度的电压或电流，以及由模数转换器对电压和/或电流进行采样产生的数据。此外，可以对额外图像进行采样且将额外图像添加到图像数据。
在一个实施例中，相机模块可以包含图像传感器、包括用于图像传感器的接口电路系统(例如，时序控制逻辑、模数转换电路系统、聚焦控制系统电路系统等)的控制器，以及用于与应用程序处理器和/或SoC、镜头组合件和其它控制电子装置通信的接口电路系统。另外，在另一实施例中，应用程序处理器可以包含SoC或额外集成电路(例如，一个或多个存储器芯片)。
在操作1204中，传输图像数据以供处理，其中处理包含识别一个或多个焦点区域。在一个实施例中，SoC可以用于传输图像数据和/或处理图像数据。另外，在一个实施例中，图像数据的此种处理可以包含至少部分地压缩图像数据、归一化图像数据、校正和/或调整与图像数据相关联的一个或多个参数(例如白平衡、颜色平衡、曝光、亮度、饱和度、黑点、中点等)，或分析图像数据。此外，分析图像数据可以包含识别一个或多个对象。
在一个实施例中，识别一个或多个焦点区域可以包含识别一个或多个对象(例如，人脸)；识别限定指定位置的固定区域；检测图像数据内的边缘(例如，区域边界)；检测颜色或照明的变化、观察方向的变化、大小或形状的变化、灰度匹配、梯度匹配，或直方图的变化。此外，识别一个或多个焦点区域可以包含执行图像分类器以识别图像数据内的对象。此外，在实施例中，识别对象可以用于将图像数据与个人的身份匹配。例如，图像数据可以由图像分类器和/或一个或多个机器学习模块处理以识别个人，并且更具体地识别车辆370的授权驾驶员和/或乘员。在一些实施例中，识别个人可以包含将图像数据发送到单独的服务器以更准确地识别个人。
因此，在各种实施例中，识别更多人可以包含：在一个步骤处，将第一人在一个位置的包括场景的图像数据的一个图像与第二人在另一位置的包含在图像数据内的另一图像分离；以及在另一个步骤处，识别第一人的身份和第二人的身份。
因此，确定对应于一个或多个焦点区域的焦点目标信息。参见操作1206。在本说明书的上下文中，此焦点目标信息包含任何二维(2D)坐标、像素图像平面坐标、整数像素坐标、归一化坐标(例如，每个维度中0.0到1.0)、XY坐标、或正交或非正交坐标系内的任何其它技术上可行的坐标。坐标可以使用任何技术上可行的技术来表示，例如XY坐标的列表或阵列或位图，其中每个位图元素的状态表示对应于所述元素的坐标是否包含为坐标中的一个。在一个实施例中，可以发生坐标的转换，包含例如从3D映射到2D映射，从图像传感器行和列映射到图像平面映射，或者从XY图像坐标到像素图像坐标。
在一个实施例中，焦点目标信息的确定可以是自动的。例如，基于一个或多个对象(例如，一个或多个人)的识别，可以确定哪个对象最接近相机模块，并且可以将指示的最接近对象的焦点目标信息提供给相机模块作为焦点区域。当然，在其它实施例中，与相机模块相关联的设置可以被配置成建立与对象相关联的优先级。例如，与背景中的无生命对象相比，一个或多个面部可以共同地获得更高的优先级分数。因此，在各种实施例中，对象的位置、类型(例如面部)、数目、亮度和颜色(例如已知的人类肤色)以及其它特性可以用于建立对象的优先级。优先级可以用于设定相机模块的焦点。优先级还可以用于指定一组焦距，用于捕获图像栈中的不同图像。图像栈然后可以用于焦点堆栈以生成具有更清晰整体焦点的图像，用于识别所生成图像中的对象(例如，人)。
在实施例中，多于一个相机用于拍摄对象，并且从每个相机收集的数据可以共同地用于评估所识别对象的优先级排序。例如，第一人可以站立在车辆370附近，而第二人可以站立在距车辆370一定距离处。继续所述实例，车辆370内的第一相机捕获第一人和第二人的图像。然而，仅基于第一人的位置，可能无法自动地确定第一人应该对焦。从多个相机接收输入可以允许车辆370内的处理系统识别照片中的第一人始终为所关注的对象。此外，来自多个相机模块的集体图像数据可以用于确定对象的优先级，然后此对象优先级可以用于自动地确定对象的焦点目标信息。
如图所示，基于焦点目标信息调整焦点。参见操作1208。在一个实施例中，相机模块可以调整光学镜头组合件的焦点以聚焦于焦点目标信息(例如坐标)，所述焦点目标信息可以与相机模块内的图像传感器的有效感测区域的二维坐标空间相关联。在一个实施例中，图像传感器包含焦点像素的阵列，每个焦点像素与由XY坐标识别的区域相关联。在一个实施例中，图像传感器的原始分辨率可以高于嵌入图像传感器内的焦点像素的分辨率，并且可以将给定XY坐标映射到嵌入图像传感器内的焦点像素中的一个或多个。例如，XY坐标可以位于两个或更多个焦点像素之间且映射到最近焦点像素。或者，XY坐标可以位于两个或更多个焦点像素之间，并且当基于两个或更多个焦点像素进行聚焦时可以应用权重或优先级以实现在XY坐标处的聚焦。在某些实施例中，来自与焦点区域相关联的焦点像素集合的信息被聚合以生成焦点区域(或多个焦点区域)的焦点估计(例如，根据成本函数)。在实施例中，调整焦点可以涉及将一个或多个镜头物理地移动到目标焦点位置或调整电焦点信号(例如，电压电平)，以控制具有电可变折射率的光学元件进入目标焦点配置。
在一个实施例中，系统700识别场景中的关键项目，例如用于认证的面部，但也识别危险对象，例如枪、刀、举起的棍子等等。系统700然后将关键项目指示为目标焦点位置。此外，系统700可以记录具有目标焦点位置的视频片段，以用于潜在的取证目的。
图13说明根据一个实施例的配置成基于焦点目标信息调整焦点的示例性系统1300。作为选项，可以在任一图的详细内容的上下文中实施示例性系统1300。然而，当然，可以在任何所需环境中实施示例性系统1300。此外，前述定义可以同样地适用于以下描述。
如图所示，相机模块1302将图像数据1304传输到SoC 1306。在一个实施例中，基于所接收图像数据，SoC 1306可以识别图像数据中的一个或多个对象，并且可以确定与所识别的一个或多个对象相关联的焦点目标信息(例如，坐标)。此外，SoC 1306可以将焦点目标信息1308传输回相机模块1302，所述相机模块随后可以基于由SoC 1306指示的焦点目标信息调整焦点。在实施例中，SoC 1306被配置成识别图像数据1304内的人脸，并且将一个或多个人脸的位置指定为焦点目标信息1308内的焦点目标。可以根据与图像数据1304相关联的任何坐标系指定位置。在实施例中，用户ID传感器372的实例包括相机模块1302的实例。在实施例中，用户ID传感器372的实例可以另外包括SoC 1306的实例。在某些实施例中，SoC1306与相机模块1302封装在外壳中。
在实施例中，SoC 1306可以被配置成识别与人脸中的一个或多个相关联的特定人员。所识别人员可以是车辆370的授权驾驶员或乘员(例如，乘客)。在此实施例中，将所识别人员的身份信息传输到系统700，所述系统可以相应地响应(例如，使用本文所描述的方法中的一个或多个)。
在另一实施例中，SoC 1306可以用于生成图像数据，将所述图像数据传输到系统700以供处理。图像数据可以包含具有由SoC 1306识别的焦点目标位置和由相机模块1302保持的焦点的静止和/或视频帧。在实施例中，一旦识别(由SoC 1306或系统700)焦点目标信息，则SoC 1306可以将焦点目标信息1308传输回相机模块1302，所述相机模块随后可以基于由SoC 1306指示的焦点目标信息连续地调整焦点。
图14说明根据实施例的与应用程序处理器1418通信的相机模块1402。作为选项，可以在本文所公开的任一图的详细内容的上下文中实施相机模块1402。然而，当然，可以在任何所需环境中实施相机模块1402。此外，前述定义可以同样地适用于以下描述。
如图所示，相机模块1402可以与应用程序处理器1418进行通信1416。另外，相机模块1402可以包含镜头组合件1406、图像传感器裸片1408和控制器裸片1414。图像传感器裸片1408可以从镜头组合件1406接收光学场景信息1404。此外，图像传感器裸片1408可以与控制器裸片1414进行通信1412，并且控制器裸片1414可以与镜头组合件1406进行通信1410，并且可以进一步与应用程序处理器1418进行通信1416。在一个实施例中，应用程序处理器1418可以位于相机模块1402的模块壳体外部。
如图所示，镜头组合件1406可以被配置成将光学场景信息1404聚焦到待采样的图像传感器裸片1408上。光学场景信息可以由图像传感器裸片1408采样以生成光学场景信息的电气表示。电气表示可以包括像素强度信息和像素焦点信息，可以将所述像素强度信息和像素焦点信息从图像传感器裸片1408传送到控制器裸片1414以用于后续处理(例如，模数处理)和进一步传送到应用程序处理器1418中的至少一个。在另一实施例中，控制器裸片1414可以控制由图像传感器裸片1408采样的光学场景信息的存储，和/或包括电气表示的经处理光学场景信息的存储。
此外，在各种实施例中，镜头组合件1406可以被配置成通过使用用于将光学元件(例如，镜头)移动到焦点位置的音圈、可变折射率(例如，液晶等)光学元件，或用于将光学元件移动到焦点位置的微机电系统(MEMS)致动器来控制光学场景信息1404的焦点。当然，在其它实施例中，可以使用用于控制镜头组合件的焦点的任何技术上可行的方法。在一个实施例中，控制器裸片1414包含焦点控制系统(未示出)，所述焦点控制系统包括用于评估来自图像传感器裸片1408的像素焦点信息并将聚焦调整(表示为焦点信号)传送(传输)到镜头组合件1406，以基于从应用程序处理器1418传输到控制器裸片1414的焦点区域信息而实现焦点目标的电路系统。可以基于根据本文所公开的技术计算，或替代地根据任何技术上可行的技术计算的焦点估计值来确定焦点调整。焦点调整可以包含焦点调整方向和焦点调整量值，两者均基于焦点估计以及可选地基于至少一个先前焦点估计和一个对应焦点调整。在另一实施例中，图像传感器裸片1408包含焦点控制系统。在再一个实施例中，单独裸片(未示出)包含焦点控制系统。在替代实施例中，应用程序处理器1418包含焦点控制系统的至少一部分。
在一个实施例中，相机模块1402包括相机模块330并且图像传感器裸片1408包括图像传感器332。在此实施例中，控制器裸片1414可以启用闪光灯单元，例如图3A的闪光灯单元336以发射闪光灯照明350。此外，控制器裸片1414可以被配置成结合控制图像传感器裸片1408的操作生成闪光灯控制信号338。在其它实施例中，控制器裸片1414可以感测何时启用闪光灯单元336以结合启用闪光灯单元336来协调对闪光图像进行采样。
在某些实施例中，图像传感器裸片1408可以与图像传感器332具有相同能力和特征，控制器裸片1414可以与控制器333具有相同能力和特征，并且应用程序处理器1418可以与应用程序处理器335具有相同能力和特征。
图15说明根据一个实施例的在图像传感器1502内的像素阵列1500。作为选项，可以在本文所公开的任一图的详细内容的上下文中实施像素阵列1500。然而，当然，可以在任何所需环境中实施像素阵列1500。此外，前述定义可以同样地适用于以下描述。
如图所示，图像传感器1502(例如，图像传感器裸片1408、图像传感器332)可以包含指示为白色正方形的彩色像素以及指示为用黑色填充的正方形的焦点像素。例如，像素1504是彩色像素且像素1506是焦点像素。每个彩色像素感测光强度(例如，红、绿和蓝分量)。每个焦点像素感测焦点并且还可以感测光强度。在一个实施例中，每个像素是焦点像素，其被配置成感测颜色和焦点两者。在另一实施例中，如在图15中当前所示，仅像素的子集可以用作焦点像素。
像素阵列1500可根据坐标系组织，所述坐标系具有原点1510、行维度1514和列维度1512。可以基于坐标系内的对应坐标唯一地识别图像传感器1502内的给定像素。坐标可以包含沿着给定维度的整数地址。或者，归一化坐标可以识别坐标系内的点或区域。尽管说明原点和不同维度的一个定向，但是可以在不脱离本公开的范围的情况下实施原点和维度的任何技术上可行的定向。
在各种实施例中，图像传感器1502可以包含前光图像传感器、背光图像传感器，或与焦平面(所有焦点像素)传感器裸片组合的堆叠颜色平面(所有颜色像素)中的一个。在本说明书的上下文中，焦点像素是至少用于聚焦且还可以提供颜色或强度信息的像素。例如，在一个实施例中，给定坐标(例如，由SoC指示)可以对应于焦点像素，所述焦点像素用作将光学信息聚焦到图像传感器1502上的基础。另外，在各种实施例中，聚焦可以包含感测对比度(例如，对比度检测)、感测焦点(例如，相位检测等)，或一个或多个已知技术的组合或混合。
在一些实施例中，进入镜头(例如，图14的镜头组合件1406)并聚焦到图像传感器1502上的光可以到达焦点像素，所述焦点像素可以包括第一和第二光电二极管(或可能任何更大数目的光电二极管)。取决于入射角，焦点像素处的入射光可以到达不同相位。当到达光电二极管的光不对焦时，相位差检测结构提供第一和第二光电二极管之间的光电二极管电流的差。此外，电流差的标志可以指示是否将焦点调整得更近或更远以在焦点像素处实现聚焦。第一和第二光电二极管电流中的每一个可以通过相关联电容结构在曝光时间内积分。在每个电容器处的电压提供模拟信号，可以将所述模拟信号作为电压或电流(例如通过电容器处的跨导电路)传输到模拟读出电路。模拟信号的差可以指示入射光是否对焦，并且如果不对焦，则需要在哪个方向上调整镜头以在焦点像素处实现聚焦。作为实施决策，可以在模拟域或数字域中执行用于评估焦点的差异测量。
当然，各种实施例还可以包含任何数目的焦点像素。应用本文所阐述的技术，可以根据与一个或多个所选择焦点像素相关联的焦点信息来调整图像传感器的焦点。另外，图像传感器可以实施与一个或多个焦点像素相关联的焦点调整的方面，其中实施方案包含确定焦点像素是否指示焦点条件并且相机模块调整镜头组合件，使得相对于焦点像素校正焦点。相机模块可以接收与一个或多个焦点像素相关联的焦点目标信息(例如，坐标，例如传送到控制器裸片1414的那些坐标)，并且调整镜头组合件1406以实现一个或多个焦点像素处的聚焦。以此方式，相机模块1402可以实施闭环焦点控制系统，以聚焦由相机模块捕获的图像。在此类实施例中，包括给定焦点、区域或权重掩模的焦点目标信息可以用于指定焦点控制系统的焦点目标。可以通过应用程序处理器1418将焦点目标信息提供到焦点控制系统。在一个实施例中，控制器裸片1414包含配置成实施焦点控制系统的电路系统，并且应用程序处理器1418被配置成将焦点目标信息传输到焦点控制系统。根据焦点目标信息，焦点控制系统可以通过调整镜头组合件1406以将光学场景信息1404聚焦到图像传感器上来对接收焦点目标信息和/或聚焦命令作出响应。焦点控制系统可以生成焦点信号并且将焦点信号传输到镜头组合件1406以执行焦点调整。焦点信号可以表示焦点和/或使用任何技术上可行的技术的焦点调整。在一个实施例中，焦点信号可以表示为电信号(例如，电压或电流电平)，其直接驱动致动器以将镜头组合件1406内的镜头位置调整到焦点位置中。在另一实施例中，电信号驱动可变折射率光学元件以调整焦点。在又另一实施例中，焦点信号可以例如通过驱动致动器或可变折射率光学元件而对由镜头组合件用于调整焦点的数字焦点值进行编码。
在一个实施例中，应用程序处理器(例如，应用程序处理器1418)可以提供焦点目标信息，包括点、具有半径的点、具有半径和权重分布的点、围绕关注点的权重区域或权重掩模，以便已确定所识别的焦点目标信息(聚焦的位置)。给定权重(焦点权重)可以提供在焦点目标处的区域内的相关联焦点目标和/或像素处的聚焦对相机模块的总焦距应该具有多少影响的定量指示。一旦完成此焦点位置/焦点目标确定，相机模块就可以继续独立地调整与应用处理器给出的焦点目标信息相关联的焦点。调整焦点可以作为一系列焦点调整迭代进行，其中在每次迭代中，基于焦点目标信息和测量的焦点信息生成焦点估计；然后焦点控制系统根据焦点估计调整焦点。焦点调整可以是连续的且在由控制器裸片1414驱动的控制回路内独立地执行。如本文所使用，术语“连续”包含具有量化时间(例如，基于数字时钟信号)和/或量化焦点调整(例如，从数模转换器产生)的准连续实施方案。
此外，在某些实施例中，焦点像素可以实施为R-G-G-B(红-绿-绿-蓝)像素图案的一个通道(例如，绿色)。当然，颜色通道(包含具有与红色、绿色或蓝色不同的颜色的颜色通道)中的任一个可以用于制造焦点像素。给定焦点区域可以具有与给定焦点像素或一组焦点像素相对应的焦点目标信息。
在另一实施例中，每个像素可以充当焦点像素并且包含配置成检测入射光的相位差的至少两个光电二极管。在此实施例中，每个像素可以生成用于至少一个强度样本(例如，两个绿色强度样本中的一个)的两个强度信号，其中两个强度信号可以用于聚焦，并且两个强度信号中的一个或组合可以用于与像素相关联的颜色。
再者，在另一实施例中，相机模块可以包含双照片检测平面，一个用于聚焦且另一个用于创建图像。因此，第一照片检测平面可以用于聚焦且第二照片检测平面可以用于创建图像。在一个实施例中，用于聚焦的照片检测平面可以在第一照片检测平面(例如，其收集颜色等)后方。
在一个实施例中，驻存在图像传感器裸片1408内的一个或多个所选择焦点像素将焦点信息(例如，相位差信号)提供到电路，所述电路包括驻存在控制器裸片1414内的焦点控制系统(未示出)。基于与由应用程序处理器1418识别的焦点区域相关联的焦点目标信息(例如，坐标)而选择一个或多个所选择焦点像素。可以由应用程序处理器1418实施各种技术以识别焦点区域，所述技术包含但不限于使用图像分类器自动地识别场景内的对象，其可以使用神经网络推理引擎实施。在实施例中，优先地选择焦点区域以将人脸识别为焦点目标，并且可以根据面部是否与车辆(例如，车辆370)的授权驾驶员或乘员相关联而进一步对给定人脸进行分类。例如，用户ID传感器372可以包含相机模块1402的实例，其中焦点和/或曝光目标优先选择为相机模块1402可见的场景内的人脸。在另一实施例中，分析车辆乘员注视(例如，从用户ID传感器372观察到)以确定注视方向性，并且根据乘员注视引导至少一个外部相机(例如，自动驾驶传感器374)的焦点和/或曝光。此外，系统700可以分配实时图像处理和/或推理引擎资源来分析由乘员注视指示的场景的一部分；以这种方式，系统700可以利用人类乘员的环境感知来提供额外的环境分析和车辆潜在的额外安全性。
图16说明根据实施例的在图像传感器1602内的焦点像素阵列和焦点区域1600。作为选项，可以在本文所公开的任一图的详细内容的上下文中实施焦点像素阵列和焦点区域1600。然而，当然，可以在任何所需环境中实施焦点像素阵列和焦点区域1600。此外，前述定义可以同样地适用于以下描述。
如图所示，图像传感器1602(例如，图像传感器裸片1408、图像传感器1502、图像传感器332)可以具有指定为焦点1604、焦点1606、焦点区域1608和/或焦点区域1610的焦点信息。图像传感器内的任何像素(例如，在焦点1604处，在焦点1606处，或在焦点区域1608、1610内等)可以被配置成焦点像素。在一个实施例中，焦点(或点)是选定为焦点像素的特定像素。在另一实施例中，焦点区域(或多个区域)可以包含多个像素的集合(例如，NxM像素区域)，其中像素中的至少一些是焦点像素。每个像素可以具有相关联点位置或像素点。
另外，在一个实施例中，焦点区域可以包含一个或多个隐式或显式权重。此外，各种形状(例如，圆形形状)可以限定焦点区域。例如，可以通过将权重0分配到不由NxN区域内的插入圆形区域覆盖的NxN区域的部分来实施圆形区域(并非NxM矩形区域或NxN正方形区域)。
在各种实施例中，可以通过识别包含人脸的区域来限定焦点和/或焦点区域。例如，在一个实施例中，人脸可以由应用程序处理器1418(或系统700)识别为焦点目标，并且应用程序处理器1418可以将所述焦点目标指定为人脸处的区域的焦点目标信息。可以引导相机模块(例如，相机模块1402、相机模块330)以基于焦点目标信息将焦点连续地维持在目标处。如果面部移动，则可以更新焦点目标信息并且引导相机模块以将焦点连续地维持在更新的位置处。在实施例中，通过定期更新的焦点目标信息跟踪人脸，使得应用程序处理器1418连续地跟踪对象，并且相机模块连续地保持与对象焦点目标信息(例如，坐标)相关联的图像信息对焦。以此方式，应用程序处理器1418(例如，SoC等)执行对象跟踪和/或像素流跟踪，以连续地跟踪并更新一个或多个焦点区域，并且相机模块基于焦点目标信息和/或与一个或多个连续地更新的焦点区域相关联的坐标而维持连续焦点。
图17说明根据实施例的用于基于焦点目标信息调整焦点的方法1700。作为选项，可以在本文所公开的任一图的详细内容的上下文中实施方法1700。然而，当然，可以在任何所需环境中实施方法1700。此外，前述定义可以同样地适用于以下描述。
如图所示，相机模块(例如，相机模块1402、相机模块330)对图像进行采样以产生图像数据。参见操作1702。在一个实施例中，图像数据可以包含多个帧。另外，相机模块将图像数据传输到SoC。参见操作1704。当然，在其它实施例中，相机模块可以将图像数据传输到任何类型的应用程序处理器。
在操作1706中，SoC处理图像数据以识别焦点区域。接下来，SoC确定焦点区域位置，并且将焦点区域位置坐标传输到相机模块。参见操作1708。接下来，确定是否需要位置坐标更新。参见决策1710。如果确定需要位置坐标更新，则SoC将更新的位置坐标传输到相机模块。参见操作1712。如果确定不需要位置坐标更新或在SoC将更新的位置坐标传输到相机模块之后，SoC从相机模块接收新图像。参见操作1714。在SoC从相机模块接收图像，方法返回到操作1708。
在一个实施例中，当SoC处理图像数据以识别对象时，SoC还可以确定哪些对象具有作为焦点对象的最大可能性。在一个实施例中，已知对象(例如，人脸)可以具有高于另一所识别对象的优先级排序。例如，照片可以包含靠近相机模块的人脸以及远离相机模块的人脸。两个面部都可以与排序分数相关联，从而将优先级提供给更接近的面部，以确保更相关的面部对焦。在一些实施例中，可以捕获多个图像的扫描，使得可以单独地聚焦和捕获识别的任何对象，并且可以使用焦点堆叠在多个图像上生成所得图像。
在另一实施例中，SoC可以具有所存储信息的库以有助于识别面部且此外识别特定的人。例如，与通用眼睛、鼻子或嘴巴有关的信息可以有助于确定图像中出现面部。另外，还可以存储用于特定的人的描述性细节和/或训练数据，并将其用于识别特定的人(例如，车辆370的授权驾驶员或乘员)。
此外，在一个实施例中，可以识别多个对象。例如，在一个实施例中，照片可以包含具有十个对应的单独面部的十个人。在一个实施例中，可以通过每个面部的单独焦点获得十次单独捕获，其中每一捕获具有对焦的指定面部。接着可以混合图像栈，使得十个面部中的每一个对焦。在此实施例中，可以在快速排序的采集中获得所捕获照片，其中将任何滞后时间最小化以防止所得图像的任何失真(例如，模糊)。在一个实施例中，可以执行对准步骤以确保所有混合的图像至少在它们各自的关注焦点处正确地对准，并且可以执行强度和/或颜色归一化以确保在混合操作期间照明和颜色从一个所捕获图像到下一图像是一致的。
在一个实施例中，由相机模块内的硬件执行的快速低时延聚焦可以允许更精确的图像聚焦和/或稳定。相机模块内提供的低时延焦点控制回路的一个优点是具有更佳细节的更鲜艳、更清晰的图像。此细节可以在授权的车辆驾驶员/乘员的数据库内更准确地识别特定的人。
另外，在一个实施例中，跟踪SoC中的对象位置和调整相机模块中的焦点可以提高捕捉视频片段时的对焦。例如，当录制视频时，对象将频繁地移动。然而，SoC仅需要跟踪对象(例如，自动地识别)并且将位置坐标作为焦点目标传输到相机模块，其中一旦位置坐标改变，相机模块就可以通过在新的焦点目标处提供连续焦点来响应。
在一个实施例中，在每像素具有拜耳红-绿-绿-蓝滤波器的图像传感器中，每个像素处的两个绿色通道中的一个或多个可以实施配置成提供两个或更多个焦点检测输出的焦点像素。此第一绿色通道在本文中可以称为焦点通道。在替代实施例中，可以为焦点通道选择包含透明的不同滤波器颜色。每个像素处的其余红色、绿色和蓝色通道在本文中可以称为图像通道。因此，每个像素可以提供焦点通道信息的两个或更多个样本(相位检测样本)以及图像通道信息的三个或更多个通道(红色、绿色、蓝色强度)。图像传感器可以包含二维(2D)像素阵列，并且与2D像素阵列相关联的焦点通道信息在本文中可以称为焦点阵列，而对应图像通道信息在本文中可以称为图像阵列。可以将焦点、焦点区域、焦点图和与其相关联的坐标映射到图像阵列的2D范围。在某些实施例中，焦点像素更稀疏地分布在图像传感器上，但是仍然可以进行可比较的坐标映射。
在一个实施例中，同时对焦点阵列和图像阵列进行采样(曝光)。在此实施例中，由焦点阵列采样的强度信息可以与由图像阵列采样的图像数据混合。例如，可以将焦点阵列强度信息添加在一起并视为每个像素的第二绿色通道。在另一实施例中，焦点阵列可以比图像阵列曝光更长持续时间或更短持续时间。例如，为了更佳的聚焦性能，在低光设置下焦点阵列的曝光时间可能比图像阵列的曝光时间更长，但在更高灵敏度(ISO)下，图像阵列可能在更短曝光时间内进行采样以减少抖动，同时接受图像色度噪声作为质量折衷。
在一个实施例中，可以对焦点阵列的曝光时间和灵敏度进行计量以在整个场景中实现平衡曝光(“EV 0”)。或者，可以对焦点阵列的曝光时间和灵敏度进行计量，以在一个或多个区域内实现平衡曝光，同时通常排除焦点区域之外的区域。
在某些实施例中，图像阵列包含两个或更多个模拟存储平面，每个模拟存储平面具有与另一个分开配置的曝光时间和/或灵敏度。此外，每个模拟存储平面的曝光时间和定时可以与焦点阵列的曝光时间和定时无关。在某些实施例中，每个像素的图像通道和焦点通道包含两个光电二极管和两个模拟采样电路。此外，在焦点通道电路中，两个模拟采样电路中的一个被配置成将来自两个光电二极管中的一个的电流积分以生成第一模拟强度样本，并且两个模拟采样电路中的另一个被配置成将来自两个光电二极管中的另一个的电流积分以生成第二模拟强度样本。在图像通道电路中，两个光电二极管可以耦合在一起以将光电二极管电流提供到两个不同模拟采样电路；两个不同模拟采样电路可以被配置成独立地将光电二极管电流积分。两个不同模拟采样电路可以同时地和/或单独地将光电二极管电流积分。换句话说，应该同时地将与焦点通道相关联的强度样本积分以在像素处生成焦点信息，而可以独立地将与图像通道相关联的强度样本积分以生成独立地曝光的强度样本。
在某些实施例中，图像传感器包含2D像素阵列，其中每个像素包含用于捕获焦点信息的模拟采样电路以及用于捕获图像信息的每颜色通道的两个或更多个模拟采样电路(例如，用于红色、绿色、蓝色中的每一个的两个或更多个模拟采样电路)。在此类实施例中，第一模拟存储平面包括在阵列内的对应像素处并且与图像通道相关联的两个或更多个不同模拟采样电路中的第一个的实例，并且第二模拟存储平面包括在像素处并且还与图像平面相关联的两个或更多个不同模拟采样电路中的第二个的实例。在某些实施例中，用于选择和读取图像通道样本的行的读出电路可以被配置成也选择和读取焦点通道样本的行。
再者，在某些相关实施例中，可以在第一模拟存储平面内捕获环境图像(闪光灯单元关闭)且可以在第二模拟存储平面内捕获闪光图像(闪光灯单元打开)。环境图像和闪光图像的捕获可以在时间上不重叠或在时间上重叠。或者，可以在两个不同模拟存储平面中的每一个中捕获两个闪光图像，其中两个闪光图像中的每一个具有不同曝光时间。在此类实施例中，相机模块可以被配置成在启用或不启用闪光灯单元的情况下基于指定焦点和/或区域(焦点信息)而建立焦点。
再者，在一个实施例中，引导相机模块以基于指定焦点信息捕获闪光图像。作为响应，相机模块可以执行曝光计量操作以为至少焦点像素建立适当的曝光并且随后继续基于焦点信息实现聚焦。相机模块随后在实现聚焦之后捕获闪光图像。一旦焦点控制系统已实现聚焦，就可以继续捕获闪光图像，而无需等待SoC或应用程序处理器，从而降低功耗和快门滞后。在一个实施例中，相机模块在实现聚焦之后捕获一系列闪光图像。一系列闪光图像中的每个闪光图像可以与加速度计测量同时捕捉，所述加速度计测量捕获相机运动作为对图像模糊的估计。存储具有最小估计的图像模糊的闪存图像和/或将其呈现给用户，而可以丢弃其它闪光图像。
再者，在另一实施例中，引导相机模块以捕获两个或更多个图像的图像栈，所述图像对应于相机模块图像传感器内的可用模拟存储平面。两个或更多个图像中的每一个可以是环境图像、闪光图像或合成图像。可以根据焦点信息和/或曝光信息指定两个或更多个图像中的每一个。每个图像的捕获可以与图像栈中的其它图像的捕获重叠或不重叠。一旦焦点控制系统已实现聚焦，就可以继续捕获图像栈，而无需等待SoC或应用程序处理器。
在一个实施例中，第一相机模块包括配置成包含至少一个焦点像素的图像传感器并且可以包含焦点阵列，而第二相机模块包括不包含焦点阵列的图像传感器。第一相机模块和第二相机模块可以包含在例如用户ID传感器372和/或自动驾驶传感器374的相同装置内。第一相机模块可以被配置成执行本文所描述的聚焦操作，而第二相机模块可以被配置成以跟踪模式操作，所述跟踪模式动态地跟踪由第一相机模块内的焦点控制系统确定的焦距。
在一个实施例中，用户ID传感器372和/或自动驾驶传感器374包含两个或更多个相机模块，每个相机模块被配置成独立地维持聚焦于由耦合到两个或更多个相机模块的SoC(或任何其它形式的应用程序处理器)提供的一个或多个相应焦点区域。两个或更多个相机模块可以在构造和操作上基本相同，并且可以面向相同方向安装。当SoC识别两个或更多个焦点区域时，两个或更多个相机模块中的每一个可以被配置成单独地维持聚焦于场景内的不同所分配对象上。两个或更多个相机模块可以捕获两个或更多个对应图像或视频片段，每个图像或视频片段具有独立焦点。可以根据任何技术上可行的焦点堆叠技术处理两个或更多个预览、图像和/或视频片段以生成单个图像或视频片段序列。两个或更多个图像和/或视频片段中的每一个可以经历对准过程以与参考视角对准。所述对准过程可以实施为至少基于移动装置内的相机放置几何形状和/或距移动装置的焦距的仿射变换。在一个实施例中，仿射变换被配置成大体上对准两个或更多个相机模块的视锥体。在某些实施例中，来自两个或更多个相机模块中的一个的一个或多个图像充当参考，并且来自两个或更多个相机模块中的不同相机模块的图像数据与一个或多个参考图像对准和/或混合以产生静止图像和/或视频片段。
焦点控制系统可以在耦合到图像传感器的控制器(例如，图3D的控制器333或图14的控制器裸片1414)内实施，其中图像传感器和控制器两者可以驻存在相机模块内。控制器可以包含读出电路，所述读出电路包括模数转换器电路(ADC)的阵列，所述模数转换器电路被配置成从图像传感器接收模拟强度信号并且将模拟强度信号转换成对应数字表示。每个像素可以包含红色、绿色和蓝色(或颜色的任何其它组合)模拟强度信号，可以将所述模拟强度信号转换成像素的红色、绿色和蓝色强度的对应数字表示。类似地，每个焦点像素的每个焦点通道包含可以转换成数字表示的至少两个相位检测模拟信号。
在一个实施例中，每个焦点像素通过将来自相位差检测结构内的两个不同光电二极管的两个不同光电二极管电流中的每一个积分而生成两个相位检测样本。通过从另一相位检测信号中减去一个相位检测信号生成的差信号指示焦点像素处的相对焦点。如果差信号的符号为正，则入射光信息在一个方向上离焦(例如，焦平面在光电二极管上方)；如果符号为负，则入射光信息在相反方向上离焦(例如，焦平面在光电二极管下方)。也就是说，差信号的符号确定相机模块是否应该将焦距调整得更近或更远以在焦点像素处实现聚焦。如果差信号低于预定义阈值，则入射光信息可以被视为在焦点像素处对焦。
在一个实施例中，将焦平面和图像平面的模拟强度信息从相机模块内的图像传感器(例如，图像传感器裸片1408)传输到相机模块内的控制器(例如，控制器裸片1414)。控制器对模拟强度信息执行模数转换。在此实施例中，将每个焦点像素处的差信号计算为数字域减法或比较操作。可以将模拟强度信息的数字表示从控制器传输到SoC，或任何其它技术上可行的应用程序处理器。数字表示可以包含图像阵列信息、焦点阵列信息，或其组合。
在不同实施例中，在相关联焦点像素的行读出期间，生成每个焦点像素处的差信号作为模拟域减法或模拟域比较操作的数字域结果。例如，在一个实施例中，模拟比较器电路耦合到行内的给定像素的两个相位检测样本中的每一个。比较器电路可以被配置成在差信号为正时生成数字域“1”，并且在差信号为负时生成数字域“0”。当比较器输出响应于焦点调整而从1过渡到0或从0过渡到1时，焦点调整可能超出最佳焦距。焦点控制系统随后哦可以进行相反的、较小的焦点调整以会聚焦点。比较器电路可以实施指定滞后阈值，使得当第一精细焦点调整引起比较器输出转变且在相反方向上的第二精细焦点调整不引起转变时，在焦点像素处的入射光信息随后可以被视为对焦，因为差信号低于滞后阈值。此外，多个比较器可以包含在图像传感器或控制器中，所述多个比较器被配置成同时生成一行焦点像素的差信号。或者，使用一半数目的比较器，可以在第一采样周期中生成和存储用于第一半焦点像素的差信号，并且可以在第二采样周期中生成和存储用于第二半焦点像素的差信号。还可以在不脱离本文所公开的实施例的范围的情况下实施其它模拟域焦点估计技术。
更一般来说，相机模块内的焦点控制系统可以选择性地对数字域差信号进行采样，以及基于给定的焦点成本函数调整相机模块的焦距。可以使用任何技术上可行的技术，例如在数字或模拟域中实施减法或比较操作的以上技术生成数字域差信号。选择性采样可以由焦点、焦点图、焦点区域或传输到相机模块内的控制器的任何其它焦点规范来引导。选择性采样可以包含仅对特定差信号进行采样以生成焦点估计，或将每个差信号乘以指定权重且从所得乘积生成焦点估计。在某些实施例中，可以对乘积进行签名。
在一个实施例中，焦点控制系统实施加权和成本函数以生成焦点估计。在此实施例中，焦点控制系统可以在帧读出期间累积加权的焦点信息。例如，在顺序行读出过程中给定行的读出时间期间，每个焦点像素的数字域差信号可以乘以与先前传输到相机模块的焦点区域信息相关联的对应权重。可以将每个乘法结果添加到行中的其它者以生成行焦点估计，并且可以将完整帧的行焦点估计加在一起以计算帧焦点估计。在某些实施例中，可以将帧焦点估计归一化到特定范围以生成归一化的帧焦点估计。例如，可以通过将帧焦点估计乘以焦点权重之和的倒数来计算归一化的帧焦点估计。给定帧焦点估计或归一化的帧焦点估计可以包括由焦点控制系统用于维持焦点的离散时间反馈信号的离散样本。在一个实施例中，帧焦点估计的较低绝对值(量值)指示更好的聚焦，而较高的量值指示较差的聚焦。一般来说，焦点控制系统可以被配置成最小化帧焦点估计的量值。
在一个实施例中，每个数字差信号由比较器生成，所述比较器被配置成比较如先前所描述的对应焦点像素的模拟相位检测样本。在仅一个比较器生成差信号的情况下，已知仅在一个方向上的焦点偏移产生离焦结果(例如，正差信号)，而已知通过零的焦点偏移在负方向上对焦或离焦。在此实施例中，焦点控制系统可以调整焦点以实现帧焦点估计的最小量值，但避免可能通过零的焦点调整以避免在负方向上过调焦点。
在替代实施例中，两个比较器可以用于生成每个数字差信号，所述数字差信号可以包含两个值；第一值指示差信号是否为正，而第二值指示差信号是否为负。两个比较器可以被配置成具有已知偏移，所述偏移非零但足够小，使得当两个比较器报告“0”输出时，焦点像素可以被视为对焦并且相关联焦点像素对帧焦点估计贡献零值。当比较器中的一个指示“1”值时，此1可以乘以分配到焦点像素坐标的焦点权重且产生对帧焦点估计的正符号贡献。当另一比较器指示“1”值时，此可以乘以焦点权重的负数且产生对帧焦点估计的负符号贡献。
本公开的实施例可以在完成帧的读出之后立即提供帧的焦点估计。完整焦点估计的即时可用性允许焦点控制系统在帧读出完成后立即开始调整焦点，从而减少焦点跟踪中的感知滞后。此外，通过在相机模块内的控制器上实施焦点控制系统，可能需要更少的整体系统功耗来维持特定的焦点响应时间，因为需要将更少的数据传输到SoC以进行焦点维护。相反，常规系统需要额外时间和功耗来维持焦点。例如，常规系统通常将图像数据(可能包含焦点像素数据)的帧传输到常规的SoC，常规SoC随后处理图像数据以生成焦点估计；基于焦点估计，常规SoC随后计算更新的焦距目标并且将更新的焦点目标传输到常规相机模块，所述常规相机模块接收焦距目标并且执行焦点调整。与本文所公开的实施例相比，这些常规步骤通常需要更多功耗(减少的装置电池寿命)和更多执行时间(增加的焦点滞后)。
在一个实施例中，将焦点权重值量化为具有值0或1，使得焦点区域内的任何焦点像素对焦点估计提供相等的贡献并且焦点区域外的焦点权重贡献零权重。此焦点权重的量化提供焦点图、焦点、焦点列表等的相对紧凑的表示。在其它实施例中，将焦点权重值量化为包含多个级别，其可以包含权重0、权重1，以及在0与1之间的权重。在又其它实施例中，可以实施不同量化范围，包含但不限于由固定点和/或浮点表示指定的量化范围。
当生成焦点估计以保持焦点时，焦点图可以指定将由相机模块内的焦点控制系统应用的焦点权重的2D阵列。可以将焦点权重的2D阵列的每个焦点权重映射到图像传感器的对应像素位置。在一个实施例中，焦点权重的2D阵列的每个焦点权重与图像传感器内的焦点像素以一对一对应关系对应。在另一实施例中，焦点权重的2D阵列包括比可用焦点像素更低分辨率的焦点权重集合，并且每个焦点像素的焦点权重可以通过在由焦点权重的2D阵列指定的焦点权重之间内插来计算。此内插可以产生分数或二进制(1或0)焦点权重，所述分数或二进制焦点权重与焦点像素数字域差信号结合使用以生成焦点估计。
焦点可以包括用于选择图像传感器内的焦点像素的焦点目标信息(例如，坐标)。焦点可以限定焦点之间的位置，并且可以由控制器将适当分数焦点权重应用于限定位置的两个或四个焦点像素。此外，焦点可以包含形成围绕焦点的几何区域(例如，圆形、正方形等)的半径。可以向几何区域内的焦点像素分配非零焦点权重。可以例如根据权重分布向非零焦点权重分配1或分数值。焦点列表可以包含坐标列表，每个坐标操作为焦点，其中在与焦点列表中的焦点相关联的区域内计算焦点估计。
在某些实施例中，相机模块可以提供可变焦平面定向，使得焦平面可以倾斜。在一个实施例中，包括相机模块镜头组合件的倾斜镜头可以包含两个或更多个致动器，所述致动器被配置成相对于光学路径中的光学元件的常规平面对准将至少一个光学元件移动到任意定向中。例如，光学元件可以耦合到三个独立致动器，所述致动器被配置成根据指定平面定向定位光学元件，所述指定平面定向可以相对于其它光学元件为非平面的。因此，镜头组合件可以实施与常规倾斜镜头的操作类似的聚焦操作。然而，在一个实施例中，当指定两个或更多个焦点区域时，相机模块可以定向光学元件(焦平面)以在两个或更多个焦点区域内实现聚焦。例如，当两个或更多人站立在不垂直于相机模块镜头组合件的平面内时，焦平面可以倾斜以包含处于每个焦点极限的人，由此允许相机模块捕获人的图像，其中每个人通常对焦。
在一个实施例中，确定视频中的焦点信息可以包含接收与第一图像帧相关联的位置坐标，将坐标发送到相机模块，以及将与坐标相关联的焦点调整到第二(或后续)图像帧。以此方式，如针对一个图像帧确定的焦点信息可以应用于一个或多个后续帧。
再者，在一个实施例中，识别对象(例如，通过SoC)可以包含一个或多个触发事件。例如，触发事件可以包含移动、声音、视差(例如颜色、亮度、强度的变化)等。在一个实施例中，此触发事件可以应用于安全性应用。例如，可以将安全相机指向场景，但是可以基于满足在场景内检测到的触发事件(例如，移动)而起始场景的录制。一旦检测到移动，则SoC可以跟踪移动对象并将对应坐标发送到相机模块以调整焦点。
另外，在另一实施例中，一旦已识别对象，则可以启用智能缩放功能。例如，如果已检测到移动，则可以捕获与移动对象相关联的坐标且将其发送到相机模块，所述相机模块随后可以调整焦点以及自动地增加/减少对所识别对象的缩放。例如，在一个实施例中，SoC可以确定移动对象是像素区域。相机模块可以放大直接围绕但包含由SoC识别的像素区域的区域。
再者，在一个实施例中，使用SoC来识别和/或跟踪对象以及使用相机模块来调整焦点还可以涉及多个装置。例如，在一个实施例中，可以使用一组无人机来跟踪和聚焦同一对象。另外，通过使用此系统捕获的图像将允许同一对象的多个角度和/或视角和/或缩放。此种聚合图像的集合也将允许增强或虚拟现实系统。
此外，使用此系统将允许更清晰的沉浸式360度捕捉和/或全景场景，其中可以以周围对象具有一致焦点的方式将多个图像拼接在一起。另外，在一个实施例中，此捕获还可以允许修改亮度、强度、帧速率、灵敏度，使得当将图像拼接在一起时，一个图像与另一个图像之间的模糊和失真被最小化。因此，在捕获期间更有效的聚焦可以允许对所捕获图像进行更有效的后处理工作。
再者，在一个实施例中，扫描具有多个焦点的场景可以允许在后处理期间处理器定义的焦点。例如，可以扫描具有多个对象的场景，使得可以捕获每个所识别对象的焦点。可以为摄影场景编译所有所捕获图像的图像集，以便在后处理期间，分类器(例如，推理引擎)可以定义焦点并重新调整照片(在捕获之后)以考虑焦点变化。
在一个实施例中，传输到相机模块的焦点目标信息可以包含但不限于与坐标系相关联的映射到相机模块的视场的四个坐标类型中的一个：1)点列表中的一个或多个点；2)一个或多个点，其具有围绕每个点的隐式或指定半径和/或每个点的权重分布；3)作为权重掩模内的一个或多个点；以及4)作为由2D掩模覆盖的每个离散位置的值的2D掩模。在一个实施例中，可以将此坐标类型中的一个或多个保存为与图像相关联的元数据，由此记录图像的焦点信息。此外，这种保存的元数据可以根据需要重复使用(例如，提取和应用)到其它随后捕获的图像和/或视频片段。
在实施例中，包括用于焦点信息的目标位置的一个或多个点可以与具有坐标系内的相关联坐标的特定的一个或多个像素焦点相对应。在另一实施例中，一个或多个点可以具有指示特定的一个或多个焦点像素区域的半径和/或权重分布。再者，在一个实施例中，权重分布可以包含开始点和结束点，其中将在两个点之间应用预定义函数。例如，在包含点加上半径的坐标中，半径可以包含权重分布，其中权重分布确定将沿着半径应用于每个点处的权重。半径可以限定包含点的几何区域(例如圆形、椭圆形或矩形区域)的尺寸，其中在所述区域内定义非零权重。此外，隐式或显式权重分布可以基于距点的径向距离或基于相对于点的几何关系来定义几何区域内的权重值。例如，权重分布可以定义所述点处的权重1.0，并且在半径的某一距离处将权重线性减少到值0.0。本领域的技术人员将认识到，任何和任意权重分布也是可能的。在另一实施例中，权重掩模包含权重矩阵，其中权重矩阵包含将应用于每个坐标点处的特定权重。权重掩模提供一种通用且易于实施的构造，用于在相机模块处应用一组焦点权重，而点和权重分布可以提供不太通用但更紧凑的表示以传输到相机模块。
由焦点或权重掩模明确地陈述，或由半径和/或权重分布暗示的权重建立对焦点成本函数的焦点估计贡献。在一个实施例中，焦点成本函数用于估计当前实现焦点目标的程度。在某些实施例中，驻存在图14的控制器裸片1414内或图3F的控制器333内的焦点控制系统接收一个或多个焦点和焦点权重。焦点控制系统基于焦点和焦点权重计算焦点成本函数。焦点控制系统随后在适合于减小成本函数的方向上调整镜头(例如，镜头331)。随着焦点的调整，新的焦点信息可用，并且随着每次新的调整，焦点像素可以被再次采样并且可以计算新的焦点成本函数。此过程可以重复并持续任意持续时间，其中不断地且持续地调整和更新焦点。在一个实施例中，焦点成本函数被定义为焦点像素相位差值的总和，每个焦点像素相位差值乘以对应的焦点权重。当然，在不脱离本公开的实施例的范围的情况下，还可以实施其它焦点成本函数。
以此方式，传输到相机模块的焦点目标信息(例如，坐标)可以具有不同程度的细节和不同程度的所传输数据。例如，传输一个或多个点将包含比具有半径和/或权重分布的一个或多个点更少的数据，这将包含比包括权重掩模的一个或多个点更少的数据。因此，可以基于特定系统实施的需要而选择坐标类型。
另外，在一个实施例中，权重分布可以是隐式的或显式的(例如，陈述的)。例如，隐式的权重分布可以包含参考相同分布的分布。在一个实施例中，隐式分布可以保持相同(即，其无法改变)。在另一实施例中，隐式分布可以包含设定图案(例如，圆、矩形)的使用。另外，显式权重分布可以包含每次请求或传输权重分布时参考权重的分布。
再者，在一个实施例中，权重掩模可以为显式，和/或进行存储和索引化。例如，显式权重掩模将包含每当请求或传输掩模时参考的掩模。掩模可以进行存储和索引化，并且可以稍后通过索引来参考。此外，可以将掩模存储为图像内的元数据。
在一个实施例中，可以将与先前捕获相关联的信息(例如，元数据)应用于后续帧。例如，在各种实施例中，可以将针对第一图像选择的权重分布和权重掩模应用于后续图像。在一些情况下，可以接收大量帧(例如，快速射击捕获、视频等)，使得可以将先前选择的权重分布和权重掩模应用于后续帧。此外，信息可以与一个或多个焦点相关联，并且一个或多个焦点的坐标可以在捕获帧或后续帧的过程期间变化。当然，在一些实施例中，可以根据需要修改权重分布和权重掩模(以及任何一个或多个点)以应用于当前帧和后续帧。
图18说明根据实施例的用于监测车辆条件的方法1800。作为选项，可以在本文所公开的任一图的详细内容的上下文中实施方法1800。然而，当然，可以在任何所需环境中实施方法1800。此外，前述定义可以同样地适用于以下描述。在实施例中，方法1800可以由包含在车辆(例如，车辆370)内的处理器系统(例如，车辆控制和导航系统702)实施。
在本发明的上下文中，车辆条件可以包含但不限于车辆重量、在车辆的不同位置(在座椅上、地板上、手套箱、行李箱等)处检测到的重量、车辆内的物品清单、耦合到车辆的物品清单等等。此外，操作前条件可以指在执行运输操作之前的车辆条件，而操作后条件可以指在执行运输操作之后的车辆条件。在实施例中，图像可以由用户ID传感器372、自动驾驶传感器374、额外成像传感器收集。此外，车辆条件数据可以由用于测量燃料/充电水平、电池健康状况、轮胎压力和车辆系统健康状况的其它元素、测量车辆重量的传感器、用于执行化学分析/测量的传感器等采样。
在实施例中，运输操作可以包含驾驶到乘客上车位置、准许一个或多个乘客进入车辆、将车辆驾驶到指定位置以及让一个或多个乘客下车。在此实施例中，操作前条件可以包含在接到乘客之前车辆的重量，并且操作后条件可以包含在让乘客下车之后车辆的重量。另外，操作前条件可以包含对车辆的可见评估、对车辆内部(或任何储存室中)的潜在松散物体的评估，以及对附接到车辆外部或下侧的潜在物体的评估。在让乘客下车时，操作后条件可以包含在乘客已离开车辆后车辆的重量，并且此外，在车辆(或任何储存室)内没有遗留任何物品。如果乘客遗留物品，则可能会警告乘客拿走物品。如果乘客拒绝或忽略警告，则可能需要对车辆进行检查，然后才能重新部署以进行另一运输操作。
在另一实施例中，运输操作包含准许授权驾驶员(例如，驾驶员)进入车辆，允许驾驶员驾驶/控制车辆，且接着离开车辆。例如，可以准许授权驾驶员在第一指定位置进入租赁车辆，并评估车辆的操作前条件；并且授权驾驶员随后可以在第二指定位置离开车辆，并评估车辆的操作后条件。如果物品遗留在车辆内，则可以警告授权驾驶员拿走物品。如果授权驾驶员拒绝或忽略警告，则可能需要对车辆进行检查，然后才能重新部署以进行另一运输操作。
在步骤1802处，处理器系统接收车辆的操作前条件的传感器数据。传感器数据可以包含但不限于车辆内部的图像、车辆外部的图像、车辆环境历史的图像、车辆总重量、不同表面和/或车厢的重量、车辆的物理状态、车辆的操作状态(诊断系统状态、轮胎充气水平等)、车辆的充电/燃料水平、车辆内部的环境状态以及车辆的地理位置。可以使用GPS信号和/或例如WiFi或手机信号塔信号的额外信号来确定车辆的地理位置。环境状态可以包含但不限于温度、湿度、是否存在烟雾/气味(内部空气的化学分析)、是否存在毒素或麻醉剂(内部空气的化学/生化分析)等等。
在实施例中，传感器数据可以包含确保车辆的使用的个人的视觉验证。在视觉验证后，可以授权个人使用车辆。车辆使用可以包含将授权人员从一个位置运送到另一位置，允许其他人乘坐车辆从一个位置到另一位置，将有效负载从一个位置传送到另一位置，或它们的任何组合。
在步骤1804处，处理器系统基于传感器数据评估车辆的操作前条件。评估可以包含但不限于确定车辆是否处于执行所需运输操作的状态，以及记录车辆的条件以与操作后条件进行比较。在实施例中，可以在准许乘客或授权驾驶员进入之前评估车辆组件的图像的历史。评估可以指示车辆已被篡改(例如，附接到车辆下侧的恶意装置)并且应生成警报。评估还可以在准许授权乘员(例如，驾驶员或乘客)进入之前提供车辆条件的基线。操作后条件评估可以指示授权乘员可能对车辆造成的损坏。
在步骤1806处，处理器系统引起和/或引导车辆执行运输操作。在实施例中，运输操作包括将一个或多个人和/或其它有效载荷从一个位置运送到另一位置。在另一实施例中，运输操作包括允许人操作或驾驶车辆(例如，从一个位置到另一位置，持续特定时间段，或持续未指定时间段)。
在步骤1808处，处理器系统接收车辆的操作后条件的传感器数据。在实施例中，可以如在步骤1802中接收类似数据。还可以接收额外传感器数据，包含但不限于车辆内部、外部的视频录像，以及不同的仪器读数(速度、刹车速率、燃料/充电水平等)。可以在运输操作期间和/或之后接收额外数据。
在步骤1810处，处理器系统基于传感器数据评估车辆的操作后条件。在实施例中，评估可以包含将操作前车辆条件与操作后车辆条件相比较，其中任选地记录差异。在实施例中，评估可以进一步包含以下项中的一个或多个：评估车辆是否受到重大或轻微损坏，评估是否有物品遗留在车辆中，评估车辆是否需要清洁，评估车辆是否需要重加燃料或充电等等。
在实施例中，评估物品是否遗留在车辆中包含以下项中的一个或多个：分析整个车辆和/或车辆的表面或车厢的车辆重量测量值，分析图像数据以确定是否有额外物品出现在车辆中，分析在准许任何人进入车辆之前开始的视频片段以确定是否有任何人留下物品等等。车辆重量可能会根据燃料消耗、挡风玻璃清洗液的消耗等发生变化；因此，比较操作前和操作后的车辆重量可能会考虑消耗品的使用(燃料、挡风玻璃液等)。
在步骤1820处，如果指示动作，则方法1800前进到步骤1830，否则方法1800完成。
在步骤1830处，处理器系统基于车辆的所评估操作后条件执行动作。在实施例中，各种评估结果可以指示不同的对应动作。
例如，如果车辆燃料或电量不足(如接收到的传感器数据所指示)，则指示加油或充电，并且执行动作包括给车辆加油或充电。在另一实例中，如果确定物品遗留在车辆或车辆后备箱中，则立即通知授权驾驶员(授权驾驶员仍然在场的车辆发出的口头通知、文本消息等)提供取出物品的机会。如果观察到授权驾驶员收到并忽略通知(或观察到未收到通知)，则指示的动作可能是风险缓解动作。风险缓解动作可以包含分析授权驾驶员放弃物品的视频片段。可以由系统700、服务中心处的不同系统，或由负责此分析的一个或多个人分析视频片段。风险缓解动作还可以包含但不限于(例如，向执法部门)传输警报、(例如，向执法部门)传输(例如，放弃物品的授权驾驶员的)视频片段和位置信息、将物品运送到指定的安全位置或处置机构(例如，由执法部门响应于警报预设或指示)等。
图19说明根据实施例的用于参与搜索操作的方法1900。作为选项，可以在本文所公开的任一图的详细内容的上下文中实施方法1900。然而，当然，可以在任何所需环境中实施方法1900。此外，前述定义可以同样地适用于以下描述。在实施例中，方法1900可以由包含在车辆(例如，车辆370)内的处理器系统(例如，车辆控制和导航系统702)实施。
在步骤1902处，处理器系统接收参与搜索操作的请求。请求可以包含搜索目标的识别信息。此识别信息可以包含但不限于车辆牌照字符串、车辆描述(例如，特定车辆的品牌、型号或物理描述)、车辆的一张或多张照片、正被搜寻的一个或多个个人的一张或多张照片、用于识别搜索目标的推理引擎/卷积神经网络(CNN)的一组预计算系数，或其组合。
在步骤1904处，处理器系统配置辨识子系统以检测搜索目标。例如，处理器系统可以配置系统700的神经网络推理子系统706，以识别特定车牌、特定车辆、特定个人或其组合。在实施例中，系统700可以包含神经网络推理子系统706的多个实例，其中某些实例专用于驾驶任务，而某些其它实例专用于例如执行搜索操作的辅助辨识任务。在某些实施例中，不同的实例可以包括单独的硬件子系统、单独封装的集成电路或同一集成电路裸片上的单独的电路实例。
在步骤1906处，处理器系统接收车辆环境(例如，当前车辆环境)的传感器数据。传感器数据可以包含来自安装到车辆的一个或多个数码相机(例如，自动驾驶传感器374、用户ID传感器372、其它数码相机)的图像数据；图像数据可以包含静止图像和/或视频帧。此外，传感器数据可以包含位置数据，例如地理位置坐标。
在步骤1908处，处理器系统分析传感器数据。具体来说，处理器系统分析图像数据，所述图像数据包括用于搜索目标的视觉检测的传感器数据。此检测可以包含但不限于从图像数据中可见的车辆中检测车辆牌照字符串、检测与搜索目标的外观匹配的车辆、检测正被搜索的一个或多个个人作为搜索目标。在实施例中，对于匹配的车牌字符串或匹配一个或多个个人，检测置信度可能非常高，而对于仅匹配车辆外观，置信度可能较低。
在步骤1910处，如果检测到目标，则方法1900前进到步骤1920，否则方法1900继续回到步骤1906。
在步骤1920处，处理器系统将与目标检测相关的数据传输到服务中心，所述服务中心可以进一步将数据提供到执法组织。在实施例中，数据包括地理位置(例如，GPS坐标)以及充当检测的基础的图像数据。方法1900可以继续回到(未示出)步骤1906且连续地操作。
在实施例中，仅针对高置信度检测确定检测目标，例如检测匹配的车牌字符串和匹配的车辆外观，或者匹配的个人外观和匹配的车辆外观。在其它实施例中，即使对于较低置信度检测，也可以确定检测目标，例如匹配的车辆外观但没有许可证或不匹配的许可证(例如，搜索目标可以拿走或更改其车辆上的车牌)。此较低置信度检测可以由服务中心合并用于间接模式匹配，这可能最终产生结论性检测。
应注意，在一个方面中，本文中描述的技术实施于计算机可读媒体中存储的供指令执行机器、设备或装置使用或结合指令执行机器、设备或装置使用的可执行指令中，所述指令执行机器、设备或装置例如是基于计算机或含有处理器的机器、设备或装置。本领域技术人员应了解，对于一些实施例，包含其它类型的计算机可读媒体，其可以存储可由计算机访问的数据，例如盒式磁带、闪存卡、数字视频光盘、伯努利盒式磁带、随机存取存储器(RAM)、只读存储器(ROM)等。
如此处使用，“计算机可读媒体”包含用于存储计算机程序的可执行指令的任何合适媒体中的一种或多种，使得指令执行机器、系统、设备或装置可以从所述计算机可读媒体读取(或提取)指令并且执行指令用于实施所描述的方法。合适的存储格式包含电子、磁性、光学和电磁格式中的一个或多个。常规的示例性计算机可读媒体的非详尽性列表包含：便携式计算机磁盘；RAM；ROM；可擦除可编程只读存储器(EPROM或快闪存储器)；光学存储装置，包含便携式压缩光盘(CD)、便携式数字视频光盘(DVD)、高清DVD(HD-DVDTM)、蓝光光盘；等等。
应理解，所描述的图中示出的组件的布置是示例性的，并且可能有其它布置。还应理解，由权利要求书界定的、下文描述的并且在各种框图中所说明的各种系统组件(和构件)表示根据本文中所揭示的主题配置的一些系统中的逻辑组件。
例如，这些系统组件(和构件)中的一个或多个可以整体或部分地通过所描述的图中示出的布置中示出的组件中的至少一些实现。另外，尽管这些组件中的至少一个至少部分地实施为电子硬件组件并因此构成机器，但是其它组件可以实施于软件中，当包含于执行环境中时构成机器、硬件或软件和硬件的组合。
更具体地说，由权利要求书界定的至少一个组件至少部分地实施为电子硬件组件，例如指令执行机器(例如，基于处理器的或含有处理器的机器)，和/或实施为专用电路或电路系统(例如，互连以执行专用功能的慎密逻辑门)。其它组件可以实施于软件、硬件或软件和硬件的组合中。此外，可以组合这些其它组件中的一些或全部组件，可以完全省略一些组件并且可以添加其它组件，同时仍实现本文中描述的功能性。因此，本文中所描述的主题可以许多不同变化形式体现，且所有此类变化形式都涵盖在权利要求书的范围内。
在以上描述中，除非另外指明，否则参考动作和由一个或多个装置执行的操作的符号表示来描述主题。因而，应理解，有时被称为计算机执行动作和操作的此类动作和操作包含构造形式的数据处理器的操作。此操作会转换数据或将其维持在计算机的存储器系统中的位置处，这会以所属领域的技术人员充分理解的方式来重新配置或以其它方式改变装置的操作。数据在存储器的物理位置处维持为具有由数据格式界定的特定性质的数据结构。然而，虽然在前文背景下描述了主题，但这并不表示对所述主题的限制，所属领域的技术人员将了解，下文中描述的各种动作和操作也可以实施于硬件中。
为了促进对本文中描述的主题的理解，根据动作顺序描述许多方面。由权利要求限定的这些方面中的至少一个方面由电子硬件组件执行。例如，将认识到，可以通过专用电路或电路系统、通过正由一个或多个处理器执行的程序指令或通过这两者的组合执行各个动作。本文中对任何动作序列的描述并不意图暗示必须遵循针对执行此序列而描述的特定次序。除非本文另有说明或与上下文明显矛盾，否则本文所述的所有方法都可以以任何合适的顺序进行。
除非本文另外指示或明显与上下文相矛盾，否则在描述主题的上下文中(尤其在所附权利要求书的上下文中)使用术语“一(a/an)”和“所述”以及类似指示物应理解为涵盖单数以及复数。除非本文中另有说明，否则本文中对值的范围的引述仅旨在用作个别地提及属于所述范围内的每个单独值的简写方法，并且每个单独值并入本说明书中，如同其在本文中个别地引用一样。此外，上述描述仅出于说明的目的来描述，而不是出于限制的目的，因为寻求保护的范畴由附属权利要求及其任何等效物来限定。除非另有要求，否则本文所提供的对任何和所有例子或示例性语言(例如，“例如”)的使用仅仅是意图更好地说明标的物，且并不限制标的物的范畴。在权利要求和书面描述两者中使用术语“基于”和指示用于产生结果的条件的其它类似短语并不意图排除产生那个结果的其它条件。本说明书中的语言不应理解为将任何未要求的元件指示为是实践所要求的本发明所必需的。
本文中描述的实施例包含发明人实施所要求的主题已知的一个或多个模式。当然，在阅读前文描述之后，所属领域的一般技术人员将明显了解那些实施例的变化形式。本发明人期望本领域的技术人员适时采用此类变化，且本发明人意图以不同于本文中特定描述的其它方式来实践所主张标的物。因此，此所主张标的物包含由可适用法律准许的在附属权利要求中所叙述的标的物的所有修改和等效物。此外，除非本文另外指示或以其它方式明显与上下文相矛盾，否则本发明涵盖上文所描述的元件以其所有可能的变化形式的任何组合。

Claims (20)

1.一种装置，其包括：
存储指令的非暂时性存储器；以及
与所述非暂时性存储器通信的一个或多个处理器，其中所述一个或多个处理器执行所述指令以：
通过以下操作认证第一用户：
基于第一组采样参数接收至少一个第一图像；
识别与所述至少一个第一图像相关联的至少一个面部；以及
确定所述至少一个面部是授权用户；
基于所述认证，允许所述第一用户进入第一车辆；
验证所述第一用户对所述第一车辆的使用；以及
响应于所述验证，启用所述第一用户对所述第一车辆的操作。
2.根据权利要求1所述的装置，其中通过创建面部模型以及将所述面部模型与授权面部模型的数据库相比较来识别所述至少一个面部。
3.根据权利要求1所述的装置，其中通过使用所述至少一个图像的深度图或纹理图中的至少一个来识别所述至少一个面部。
4.根据权利要求1所述的装置，其中通过以下操作进一步认证所述第一用户：
基于第二组采样参数接收至少一个第二图像，以及
将所述至少一个第一图像和所述至少一个第二图像混合以形成混合图像。
5.根据权利要求4所述的装置，其中通过将所述至少一个第一图像与所述至少一个第二图像对准来进一步认证所述第一用户。
6.根据权利要求1所述的装置，其中所述第一组采样参数与环境曝光相关，并且所述一个或多个处理器执行所述指令以基于第二组采样参数接收至少一个第二图像，所述第二组采样参数与闪光灯曝光相关。
7.根据权利要求1所述的装置，其中所述第一组采样参数包含曝光坐标。
8.根据权利要求1所述的装置，其中通过接收音频输入来进一步认证所述第一用户，将所述音频输入与授权用户的音频签名相比较。
9.根据权利要求1所述的装置，其中通过接收虹膜扫描来进一步认证所述第一用户，将所述虹膜扫描与授权用户的虹膜扫描相比较。
10.根据权利要求1所述的装置，其中使用面部模型识别所述至少一个面部，所述面部模型包含图像深度图、图像表面纹理图、音频图和相关性图。
11.根据权利要求10所述的装置，所述相关性图将与语音、语调和/或情绪相关联的音频与一个或多个面部数据点相匹配。
12.根据权利要求1所述的装置，其中使用地理围栏、车辆状况、道路状况、用户状况或用户限制规则中的至少一个验证所述第一车辆的所述使用。
13.根据权利要求1所述的装置，其中通过使用与所述第一用户相关联的辅助装置的卡模拟模式来进一步认证所述第一用户，所述辅助装置使用近场通信(NFC)与所述第一车辆通信。
14.根据权利要求13所述的装置，其中通过音频签名结合所述卡模拟模式进一步认证所述第一用户。
15.根据权利要求1所述的装置，其中所述一个或多个处理器执行所述指令以确定以不符合标准方式操作所述第一车辆，并且作为响应，将报告提供到第二用户。
16.根据权利要求15所述的装置，其中响应于所述报告，基于来自所述第二用户的反馈覆写所述不符合标准方式。
17.根据权利要求1所述的装置，其中基于所述第一车辆的所有乘员限制所述第一车辆的所述使用，所述乘员中的每个乘员具有单独的乘员简档。
18.根据权利要求17所述的装置，其中基于所述乘员的所有乘员简档的组合而在具有至少限制的情况下启用所述第一车辆的所述操作，所述至少一个限制包含时间限制、速度极限限制、路线限制、位置限制，或驾驶员限制中的至少一个。
19.一种方法，所述方法包括：
通过以下操作认证第一用户：
使用处理器基于第一组采样参数接收至少一个第一图像；
使用所述处理器识别与所述至少一个第一图像相关联的至少一个面部；以及
使用所述处理器确定所述至少一个面部是授权用户；
基于所述认证，允许所述第一用户进入第一车辆；
验证所述第一用户对所述第一车辆的使用；以及
响应于所述验证，启用所述第一用户对所述第一车辆的操作。
20.一种计算机程序产品，其包括存储在非暂时性计算机可读媒体上的计算机可执行指令，所述计算机可执行指令在由处理器执行时通过以下操作认证第一用户：
基于第一组采样参数接收至少一个第一图像；
识别与所述至少一个第一图像相关联的至少一个面部；以及
确定所述至少一个面部是授权用户；
基于所述认证，允许所述第一用户进入第一车辆；
验证所述第一用户对所述第一车辆的使用；以及
响应于所述验证，启用所述第一用户对所述第一车辆的操作。
CN202080061489.7A 2019-07-02 2020-07-01 用于基于用户授权启用操作的系统、方法和计算机程序 Pending CN114402319A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/460,807 US20210001810A1 (en) 2019-07-02 2019-07-02 System, method, and computer program for enabling operation based on user authorization
US16/460,807 2019-07-02
PCT/US2020/040478 WO2021003261A1 (en) 2019-07-02 2020-07-01 System, method, and computer program for enabling operation based on user authorization

Publications (1)

Publication Number Publication Date
CN114402319A true CN114402319A (zh) 2022-04-26

Family

ID=74066326

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080061489.7A Pending CN114402319A (zh) 2019-07-02 2020-07-01 用于基于用户授权启用操作的系统、方法和计算机程序

Country Status (7)

Country Link
US (2) US20210001810A1 (zh)
EP (1) EP3994594A4 (zh)
JP (1) JP2022538557A (zh)
CN (1) CN114402319A (zh)
AU (1) AU2020299585A1 (zh)
CA (1) CA3144478A1 (zh)
WO (1) WO2021003261A1 (zh)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9918017B2 (en) 2012-09-04 2018-03-13 Duelight Llc Image sensor apparatus and method for obtaining multiple exposures with zero interframe time
US10558848B2 (en) 2017-10-05 2020-02-11 Duelight Llc System, method, and computer program for capturing an image with correct skin tone exposure
US10795356B2 (en) * 2017-08-31 2020-10-06 Uatc, Llc Systems and methods for determining when to release control of an autonomous vehicle
DE112018007597B4 (de) * 2018-06-18 2022-06-09 Mitsubishi Electric Corporation Diagnosevorrichtung, Diagnoseverfahren und Programm
US11146759B1 (en) * 2018-11-13 2021-10-12 JMJ Designs, LLC Vehicle camera system
WO2020184281A1 (ja) * 2019-03-08 2020-09-17 マツダ株式会社 自動車用演算装置
US11451538B2 (en) * 2019-04-05 2022-09-20 University Of South Florida Methods and systems of authenticating of personal communications
US20220288790A1 (en) * 2019-10-03 2022-09-15 Sony Group Corporation Data processing device, data processing method, and robot
US11592575B2 (en) * 2019-12-20 2023-02-28 Waymo Llc Sensor steering for multi-directional long-range perception
KR20210112949A (ko) * 2020-03-06 2021-09-15 삼성전자주식회사 데이터 버스, 그것의 데이터 처리 방법 및 데이터 처리 장치
DE102020203113A1 (de) * 2020-03-11 2021-09-16 Siemens Healthcare Gmbh Paketbasiertes Multicast-Kommunikationssystem
JP2021149617A (ja) * 2020-03-19 2021-09-27 本田技研工業株式会社 レコメンド案内装置、レコメンド案内方法、および、レコメンド案内プログラム
US20220036094A1 (en) * 2020-08-03 2022-02-03 Healthcare Integrated Technologies Inc. Method and system for monitoring subjects for conditions or occurrences of interest
US11953586B2 (en) 2020-11-17 2024-04-09 Ford Global Technologies, Llc Battery-powered vehicle sensors
CN114694385B (zh) * 2020-12-25 2023-04-28 富联精密电子(天津)有限公司 停车管理方法、装置、系统、电子设备及存储介质
US11490085B2 (en) * 2021-01-14 2022-11-01 Tencent America LLC Model sharing by masked neural network for loop filter with quality inputs
US11912235B2 (en) 2021-03-12 2024-02-27 Ford Global Technologies, Llc Vehicle object detection
US11916420B2 (en) 2021-03-12 2024-02-27 Ford Global Technologies, Llc Vehicle sensor operation
US11951937B2 (en) * 2021-03-12 2024-04-09 Ford Global Technologies, Llc Vehicle power management
JP7181331B2 (ja) * 2021-03-24 2022-11-30 本田技研工業株式会社 車両制御装置、車両制御方法、及びプログラム
US11787434B2 (en) * 2021-04-19 2023-10-17 Toyota Motor North America, Inc. Modification of transport functionality based on modified components
US12008100B2 (en) 2021-04-19 2024-06-11 Toyota Motor North America, Inc. Transport component tamper detection based on impedance measurements
US11599617B2 (en) * 2021-04-29 2023-03-07 The Government of the United States of America, as represented by the Secretary of Homeland Security Mobile screening vehicle and method for mobile security scanning
US20220388479A1 (en) * 2021-06-07 2022-12-08 Autobrains Technologies Ltd Face recongition based vehicle access control
US20230029467A1 (en) * 2021-07-30 2023-02-02 Nissan North America, Inc. Systems and methods of adjusting vehicle components from outside of a vehicle
GB2609914A (en) * 2021-08-12 2023-02-22 Continental Automotive Gmbh A monitoring system and method for identifying objects
US12060071B2 (en) * 2021-11-24 2024-08-13 Rivian Ip Holdings, Llc Performance limiter
US20230175850A1 (en) * 2021-12-06 2023-06-08 Ford Global Technologies, Llc Systems and methods to enforce a curfew
CN114492687A (zh) * 2022-01-06 2022-05-13 深圳市锐明技术股份有限公司 岗前检测方法、装置、终端设备及计算机可读存储介质
US20230350431A1 (en) * 2022-04-27 2023-11-02 Snap Inc. Fully autonomous drone flights
WO2023244266A1 (en) * 2022-06-13 2023-12-21 Google Llc Using multi-perspective image sensors for topographical feature authentication
US11801858B1 (en) * 2022-08-24 2023-10-31 Bendix Commercial Vehicle Systems Llc System and method for monitoring cervical measurement of a driver and modifying vehicle functions based on changes in the cervical measurement of the driver

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7788008B2 (en) * 1995-06-07 2010-08-31 Automotive Technologies International, Inc. Eye monitoring system and method for vehicular occupants
KR20080106244A (ko) * 2006-02-13 2008-12-04 올 프로텍트 엘엘씨 제 3 자에게 주어진 차량을 제어하는 시스템
JP2008162498A (ja) * 2006-12-28 2008-07-17 Toshiba Corp 乗り物管理システム
US10922567B2 (en) * 2010-06-07 2021-02-16 Affectiva, Inc. Cognitive state based vehicle manipulation using near-infrared image processing
US9154708B1 (en) * 2014-11-06 2015-10-06 Duelight Llc Image sensor apparatus and method for simultaneously capturing flash and ambient illuminated images
US10558848B2 (en) * 2017-10-05 2020-02-11 Duelight Llc System, method, and computer program for capturing an image with correct skin tone exposure
US10708545B2 (en) * 2018-01-17 2020-07-07 Duelight Llc System, method, and computer program for transmitting face models based on face data points
US9509919B2 (en) * 2014-11-17 2016-11-29 Duelight Llc System and method for generating a digital image
US9215433B2 (en) * 2014-02-11 2015-12-15 Duelight Llc Systems and methods for digital photography
EP2817170A4 (en) * 2013-04-15 2015-11-04 ACCESS TO USER PROFILES STORED IN THE FORM OF MODELS AND PORTABILITY OF THESE USER PROFILES
WO2015120873A1 (en) * 2014-02-17 2015-08-20 Kaba Ag Group Innovation Management System and method for managing application data of contactless card applications
US11104227B2 (en) * 2016-03-24 2021-08-31 Automotive Coalition For Traffic Safety, Inc. Sensor system for passive in-vehicle breath alcohol estimation
US10095229B2 (en) * 2016-09-13 2018-10-09 Ford Global Technologies, Llc Passenger tracking systems and methods
US20190031145A1 (en) * 2017-07-28 2019-01-31 Alclear, Llc Biometric identification system connected vehicle
US10402149B2 (en) * 2017-12-07 2019-09-03 Motorola Mobility Llc Electronic devices and methods for selectively recording input from authorized users
CN110182172A (zh) * 2018-02-23 2019-08-30 福特环球技术公司 车辆驾驶员认证系统及方法

Also Published As

Publication number Publication date
CA3144478A1 (en) 2021-01-07
AU2020299585A1 (en) 2022-01-20
JP2022538557A (ja) 2022-09-05
EP3994594A4 (en) 2023-07-12
US20210001810A1 (en) 2021-01-07
EP3994594A1 (en) 2022-05-11
WO2021003261A1 (en) 2021-01-07
US20230079783A1 (en) 2023-03-16

Similar Documents

Publication Publication Date Title
US20230079783A1 (en) System, method, and computer program for enabling operation based on user authorization
JP7428993B2 (ja) 車両のドアロック解除方法及び装置、システム、車両、電子機器並びに記憶媒体
WO2021077738A1 (zh) 车门控制方法及装置、系统、车、电子设备和存储介质
US11959761B1 (en) Passenger profiles for autonomous vehicles
WO2021000587A1 (zh) 车门解锁方法及装置、系统、车、电子设备和存储介质
CN112622917B (zh) 用于认证交通工具的乘员的系统和方法
US11321983B2 (en) System and method for identifying and verifying one or more individuals using facial recognition
CN108454567B (zh) 用于车辆的物体检测
CN110290945A (zh) 记录操作员和周围视场的视频
CN107357194A (zh) 自主驾驶车辆中的热监测
CN111332252A (zh) 车门解锁方法、装置、系统、电子设备和存储介质
CN115379198A (zh) 相机篡改检测
US11769313B2 (en) Counterfeit image detection
CN115396658A (zh) 相机篡改检测
Tsiktsiris et al. In-Vehicle Services to Improve the User Experience and Security when Traveling with Automated Minibuses
CN116612511A (zh) 生物特征任务网络

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination