CN117480085A - 驾驶员监测系统(dms)数据管理 - Google Patents

驾驶员监测系统(dms)数据管理 Download PDF

Info

Publication number
CN117480085A
CN117480085A CN202280040633.8A CN202280040633A CN117480085A CN 117480085 A CN117480085 A CN 117480085A CN 202280040633 A CN202280040633 A CN 202280040633A CN 117480085 A CN117480085 A CN 117480085A
Authority
CN
China
Prior art keywords
vehicle
user
machine learning
trained model
dms
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280040633.8A
Other languages
English (en)
Inventor
I·J·阿尔瓦雷兹
M·卡兰扎
R·格雷费
F·圭姆伯纳特
C·马丁内斯-斯佩索特
D·奥利弗
S·潘尼尔
M·保利奇
R·罗萨莱斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN117480085A publication Critical patent/CN117480085A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09Driving style or behaviour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/40Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/043Identity of occupants
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/004Artificial life, i.e. computing arrangements simulating life
    • G06N3/006Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Abstract

公开了用于解决与个性化训练数据用来为驾驶员监测系统(DMS)补充机器学习训练的模型相关的问题、以及与用于维持该个性化训练数据的机密性的伴随机制相关的问题的技术。本文中的技术还解决与维持关于DMS中使用的所收集的传感器数据的透明度相关的问题。附加地,本文中公开的技术促进驾驶员的数字表示的生成以供用作用于DMS机器学习训练的模型的补充训练数据,从而允许DMS算法针对个人用户被定制。

Description

驾驶员监测系统(DMS)数据管理
相关申请的交叉引用
本申请要求于2021年9月10日提交的美国专利申请第17/471,411号的优先权和权益,该申请的内容通过引用以其整体并入本文中。
技术领域
本文中描述的公开内容总体上涉及驾驶员监测系统(driver monitoringsystem,DMS),并且具体地,涉及用于迁移在DMS的操作中使用的数据的技术。
背景技术
驾驶员监测系统(DMS)通常包括各种类型的传感器,这些传感器被配置成用于监测交通工具驾驶员并且用于执行各种安全性相关功能。DMS的示例包括使用相机、红外传感器和/或生物计量传感器来监测驾驶员注意力、检测疲劳、标识驾驶员是否在注意道路、标识紧急医疗状况等。基于特定实现方式,当检测到不安全状况时,DMS可以发出警告,该警告旨在提醒驾驶员并确保驾驶员的焦点仍保持在道路上。其他更近的DMS配置可以进一步利用对高级驾驶辅助(advanced driving assistance,ADAS)系统的使用以在检测到不安全状况时自动地应用制动、转向、联系紧急服务等。
当前的DMS实现方式可依赖于机器学习训练的模型来标识特定状况或行为。此类实现方式可以将这些经训练的模型与采集的传感器数据结合使用,这可能要求对捕获驾驶员和/或乘客的图像的舱内面向的相机的使用。此外,采集的传感器数据可以包括生物计量信息。由此,当前DMS的使用以及所收集的伴随数据引发了与在交通工具环境之外所收集的传感器数据的使用相关的质疑隐私问题。当前的DMS实现方式还存在与使用训练数据集训练的模型相关的缺点,该训练数据集可能无法充分地表示所有潜在用户关于种族、肤色、可能偏离典型用户特征的特定状况等方面的差异。由此,当前的DMS是不足的。
附图说明
并入本文中并形成本说明书的一部分的所附附图图示本公开并且与说明书一起,进一步用于解释原理,并使相关领域的技术人员能够制造和使用本文中所讨论的技术。
在附图中,贯穿不同的视图,同类的附图标记总体上指代相同部分。这些附图不一定是按比例的,而是一般着重于说明本公开的原理。
在以下描述中,参考以下附图,其中:
图1图示出如本领域中已知的、被配置成用于使用机器学习训练的模型来执行困倦级别检测的DMS;
图2图示出根据本公开的、可信组件与机密组件之间的端到端交互;
图3图示出根据本公开的、用户与云飞地之间的证明序列;
图4图示出根据本公开的、用于重新训练的机密信息供应;
图5图示出根据本公开的、内部DMS至困倦级别检测算法API定义;
图6图示出根据本公开的、在用户同意的情况下交通工具飞地与云飞地之间的证明序列;
图7图示出根据本公开的、超个性化机密算法的供应和执行;
图8图示出根据本公开的过程流程。
图9图示出根据本公开的、用于提供所收集的传感器数据的透明度的体系结构。
图10图示出根据本公开的、按用例进行的车载监测特征的分组。
图11图示出根据本公开的、可以在这些不同的用例中使用的特定类型的相机的使用。
图12图示出根据本公开的、按交通工具类型和用户角色进行的车载监测特征的分组。
图13图示出根据本公开的、用于机器学习训练的显示的匿名收集的传感器数据。
图14图示出根据本公开的、用于用户隐私简档管理的流程。
图15图示出根据本公开的过程流程。
图16A图示出根据本公开的、使用超人类(Metahuman)技术对不同种族特征进行建模的真实人类的渲染。
图16B图示出根据本公开的、使用超人类技术突出骨骼关节以控制3D化身的真实人类角色的渲染。
图17图示出根据本公开的、经由真实人类角色的渲染实现的高细节级别。
图18图示出根据本公开的、用于生成用于机器学习模型训练的用户特定数据集的处理流程。
图19图示出根据本公开的、实现用户调节和所生成的3D网格的验证的用户接口(user interface,UI)。
图20图示出根据本公开的、使用创建阶段和监测阶段的基于DMS的功能的实现方式的过程流程。
图21图示出根据本公开的、用于多个用户的基于DMS的功能的实现方式的过程流程。
图22图示出根据本公开的过程流程。
将参考所附附图来描述本公开。其中要素第一次出现的附图通常由相对应的附图标记中最左面的(一个或多个)数字指示。
具体实施方式
以下详细描述中对所附附图进行参考,所附附图通过图示方式示出了可在其中实施本公开的示例性细节。在下面的描述中,阐述了众多具体细节以便提供对本公开的完全理解。然而,对本领域技术人员将显而易见的是,可以在没有这些具体细节的情况下实施包括结构、系统和方法的各种设计。本文中的描述和表示是由本领域有经验的人员或技术人员用来向本领域其他技术人员最有效地传达其工作的实质的通用手段。在其他实例中,未详细地描述公知的方法、过程、组件、和电路系统,以避免不必要地使本公开变得模糊。
为了易于解释,本文中描述的实现方式被分成单独的节。然而,这些实现方式可以单独地被利用或者相互组合。第一节涉及解决与个性化训练数据用来为DMS补充机器学习训练模型相关的问题、以及与用于维持该个性化训练数据的机密性的伴随机制相关的问题。第二节涉及解决与维持关于DMS中使用的收集的传感器数据的透明度相关的问题。第三节涉及驾驶员的数字表示的生成以供用作用于DMS机器学习训练的模型的补充训练数据,从而允许DMS算法针对个人用户被定制。
第I节——DMS功能的机密超个性化
DMS空间的演变是惊人的。自其2006年引入市场以来,由这些系统提供的、用于改进驾驶任务安全性方面的能力已经朝向实现驾驶体验的完全自动化扩展。为了推动该演变,制造商一直持续地扩展驾驶室环境中的仪表和传感器数据的收集,并使用算法处理所收集的传感器数据以向驾驶员提供更多功能。由此,具有捕获驾驶员/乘客行为的相机、收听交通工具占用者说话的内容或使用的音调的麦克风、以及实时处理音频和/或视觉数据流的算法是常见的。最近,关于如何监测驾驶员心跳以供与DMS一起使用的研究已被实现以提供附加的用例和功能(例如,在驾驶员健康出现突发紧急情况下,以使汽车受控停止)。
由此,看起来存在收集更多关于驾驶员和乘客的数据的增加的趋势。并且为了使DMS功能更加强大和准确,数据收集将变得更加针对他们所服务的特定人员。随着这种数据收集的增加的且有针对性的类型,隐私问题也随之而来。本节中描述的技术旨在通过提供维护用户所有权下的个人数据的机制来解决DMS扩展功能当前和未来的隐私问题,但同时允许DMS使用这些数据的见解来增强驾驶员和乘客的体验和安全性。
总体上,DMS开发中的当前解决方案聚焦于网络安全和信任,但没有解决关于交通工具乘客所收集的数据的机密性或保护问题。例如,一些汽车芯片供应商通过集成芯片提供网络安全和信任解决方案,这些方案旨在增强目标平台的网络安全,并为建立信任的硬件根源提供手段。然而,此类解决方案聚焦于为汽车制造商及其生态系统提供用于网络安全的硅IP,并且不考虑最终用户(例如,驾驶员)的数据机密性。此外,具有网络安全和信任能力的电子设计自动化(Electronic Design Automation,EDA)工具将网络安全和信赖置于其产品的前沿和中心。此类解决方案旨在为系统开发人员提供构建块,以保证网络安全功能和数据保护要求。然而,此类EDA工具同样不聚焦于驱动程序的机密性,而是向系统开发人员提供工具,以在其平台(包括DMS)中实现网络安全功能。
此外,目前针对关于机密计算的实现方式的DMS开发没有已知的解决方案。相反,目前的更多努力由像微软的云服务提供商(Cloud Service Provider,CSP)驱动,以允许机密工作负载在其基础设施中执行。例如,Microsoft Azure机密计算为基础设施提供了机密计算功能,从而允许敏感数据在云中被处理时对敏感数据进行隔离。但是,此类解决方案目前没有像包括金融、健康和人工智能(artificial intelligence,AI)/机器学习(machinelearning,ML)生态系统在内的目标应用那样被定制以在DMS空间中操作。作为另一示例,机密计算联盟(Confidential Computing Consortium,CCC)赞助的Open Enclave SDK,以及诸如机密ONNX推理服务器之类的实现方式提供了用于创建机密工作负载的构建块,并且还提供了用于展示如何将该技术用于AI/ML推理的参考实现方式。
此外,在法规和合规方面,在使得智能汽车和自主交通工具的网络安全要求标准化方面做出了一些努力。这包括ISO/SAE FDIS21434标准(该标准在撰写本文时尚处于开发),并且旨在为道路交通工具定义网络安全工程要求,其目的在于使工程能够跟上变化的技术和相关的攻击方法,并且在交通工具的整个生命周期内提高交通工具的网络安全性。然而,该标准主要与关于安全的软件生命周期有关,因为该标准规定了对网络安全的基本要求,并且不涉及数据的机密性。
由此,常规的解决方案不考虑关于最终用户(例如,交通工具驾驶员和占用者)的机密性。相反,这些常规方法为汽车制造商和提供商提供了用于安全地捕获和处理数据的工具和技术。换句话说,目前的焦点在汽车供应商上。相比之下,本节中描述的技术聚焦于保护驾驶员和占用者的隐私和机密性。为此,本节中描述的技术为用户提供了用于访问DMS当前和未来功能的手段,而不必向DMS开发人员牺牲他们的隐私。通过利用机密计算技术,描述了数据的所有者与系统的提供者之间的机制和交互,这些机制和交互允许DMS功能的超个性化,从而在改进安全性和总体体验的同时保留机密性。以这种方式,用户是数据的所有者,可以验证数据没有向不需要的第三方公开,并且可以有效地选择退出不需要的DMS功能。
本文中描述的技术提供网络安全并在汽车生态系统中使用基于机密性的方法。本文中描述的技术使用户能够在正确的个人可标识数据处置的技术保证的情况下开发DMS,同时最小化数据泄露的风险。本文中描述的技术旨在消除释放AI/ML力量的障碍,同时解决对其发挥作用所需的数据收集量的问题。
图1图示出如本领域中已知的、被配置成用于使用机器学习训练的模型来执行困倦级别检测的DMS。在图1中所图示的场景中,假设个人最近获得了新品牌的“智能”交通工具。在该交通工具中,(常规的)DMS使用人工智能来提供若干个安全性相关的功能。这些功能中的一个功能包括驾驶员的困倦检测,其使用来自被放置在转向柱上的相机的输入来计算驾驶员的困倦级别,并且然后在检测到的困倦级别超过预定阈值时触发视觉和听觉警报。内部地,困倦级别检测算法使用神经网络(neural network,NN)来处理来自相机的图像帧。NN使用在汽车制造商的场地处可用的数据集来训练,并进行了彻底测试。
个人开始驾驶交通工具,并且当交通工具达到某个速度时,DMS开始处理相机馈送。几秒之后,由于在驾驶员身上检测到的不安全的困倦,警报被触发。不幸的是,对于该驾驶员而言,用于训练模型的数据集产生了对眼睛疼痛非常敏感的NN。该驾驶员具有被称为干燥综合征的医疗状况,这是最常见的自身免疫性疾病中的一种自身免疫性疾病,该疾病会使眼睛永久疼痛,并且不幸的是,该疾病不具有已知的治疗方法。因为警报在过度敏感的困倦检测系统频繁地(错误地)标识驾驶员疲劳时被触发,所以驾驶体验现在非常令人沮丧。
然后,驾驶员可以联系交通工具制造商关于该问题进行投诉,并且交通工具制造商可以询问操作的细节。这可能导致对驾驶员公开关于医疗状况的信息的请求,而驾驶员可能会由于该医疗状况是个人健康问题而不愿意这样做。以这种方式针对DMS功能使用通用训练数据集的其他问题可能是由于未能将其他因素(诸如种族、肤色等)包括或充分表示为训练数据的一部分而导致的。
由此,本节中描述的技术解决了此类场景,其中在维持隐私和机密性的同时实现AI的力量以及由现代DMS实现的最先进技术是可期望的。如下文进一步讨论的,本节描述了确保DMS功能在逐用户和逐交通工具的基础上的个性化的技术,并且还有助于用于实现该个性化的用户数据的机密性。这些技术包括用不同环境和系统标识的组件之间的各种机制和交互,以根据个人的具体情况个性化DMS的功能,同时维持个性化所需的数据机密并处于个人的控制下。如下文参考图2进一步讨论的,这些不同的环境可以包括用户、云和交通工具的环境。
图2图示出根据本公开的、可信组件与机密组件之间的端到端交互。图2中示出了DMS体系结构200,其实现与交通工具相关联的DMS的训练和操作。如图2所示,用户环境、云环境和交通工具环境中的每一者包括被配置成用于执行功能集以促进DMS208的操作的各种组件。如本节中进一步讨论的,图2中示出了关于DMS体系结构200的交互的编号序列,其定义了DMS208如何在维持用户204的数据的机密性的同时接收个性化的机器学习训练的模型。也就是说,图2中示出了编号的阶段1-8,其描绘了各种动作、数据交换和机制的序列,确保经由UE 202收集的用户数据被安全且机密地用于个性化由DMS208实现的机器学习训练的模型,如本文中进一步讨论的。
如图1所示的DMS体系结构200包括三个单独的环境:用户环境、云环境以及交通工具环境。如图2所示的三个单独的环境以非限制性意义被图示出,并且DMS体系结构200可以包括附加的、更少的或替代的环境。此外,本文中关于每个环境所讨论的各种功能也旨在是非限制性的。也就是说,用户环境、云环境以及交通工具环境中的任一者可以执行除由其他环境的组件执行的功能之外的功能中的任何功能或代替由其他环境中的组件执行的功能的功能中的任何功能。
用户环境包括用户装备(user equipment,UE)202,其可以使用用户204来标识。UE202可以被实现为被配置成用于执行无线通信的任何合适类型的电子设备,诸如移动电话、计算机、膝上型电脑、平板电脑、可穿戴设备等。UE 202被配置成用于存储和执行诸如促进对个性化数据的收集的移动“app”之类的一个或多个应用,这些个性化数据可以被安全地传输并被存储在云环境中并且用于执行个性化机器学习模型训练。如下文进一步讨论的,模型被安全地传输并被存储在交通工具环境中,以供由DMS 208使用,如本文中所讨论。由此,尽管在图2中示出了单个方向性箭头,但是使用用户环境、云环境以及交通工具环境标识的各种计算组件可以被配置成用于使用任何合适数量和/或类型的通信协议相互通信以在相互之间单向地和/或双向地交换数据。
云环境可以包括任何合适数量的计算设备206,计算设备206可以是诸如服务器、计算机等等之类的云计算设备。计算设备206可以被配置成用于在任何合适类型的计算布置中操作以执行机器学习训练,如本文中进一步讨论的。如图1中所示,计算设备206用硬件来标识,硬件可以被实现为任何合适数量和/或类型的处理器,诸如图形处理器、中央处理单元(central processing unit,CPU)、支持电路、数字信号处理器、集成电路、或适于运行应用以及适于数据处理和分析的任何其他类型的设备。硬件还可以包括存储数据和/或指令(诸如用个性化模块207标识的可执行指令)的任何合适类型的存储器。存储器可以是任何公知的易失性和/或非易失性存储器,包括只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、闪存、磁存储介质、光盘、可擦除可编程只读存储器(erasable programmable read only memory,EPROM)、以及可编程只读存储器(programmable read only memory,PROM)。存储器可以是不可移除的、可移除的、或这两者的组合。
超个性化机密算法可以被存储、被实例化或以其他方式被维护以用于经由计算设备206执行。计算设备206可以进一步包括操作系统和/或管理程序。管理程序也称为虚拟机监测器或VMM,并且是创建和运行虚拟机(virtual machine,VM)的软件。管理程序允许来自计算设备206的一个主机计算机通过虚拟地共享其资源(诸如存储器和处理)来支持多个宾客VM。如本文中进一步讨论的,用计算设备206标识的硬件结合用个性化模块207标识的OS/管理程序和可执行指令使数据能够经由任何合适类型的机器可读指令的执行从UE 202被接收并被安全地存储。以这种方式被安全地存储的数据然后可以由计算设备206用于训练个性化的机器学习模型,这些模型可以包括超个性化机密算法,并且然后被部署到DMS208。关于该过程的附加细节将在本文中进一步讨论。
交通工具环境包括一个或多个伴随交通工具的DMS208,其可以使用从云环境接收到的个性化的机器学习训练的模型来执行DMS安全性相关功能。由此,如图1中所示的硬件、DMS208和超个性化机密算法可以用交通工具的任何合适的组件来标识。硬件可以被实现为任何合适数量和/或类型的板载交通工具处理器,诸如图形处理器、中央处理单元(CPU)、支持电路、数字信号处理器、集成电路、或适于运行应用以及适于数据处理和分析的任何其他类型的设备。硬件还可以包括存储数据和/或指令(诸如用个性化模块209标识的指令)的任何合适类型的存储器。存储器可以是任何公知的易失性和/或非易失性存储器,包括只读存储器(ROM)、随机存取存储器(RAM)、闪存、磁存储介质、光盘、可擦除可编程只读存储器(EPROM)、以及可编程只读存储器(PROM)。存储器可以是不可移除的、可移除的、或这两者的组合。
用交通工具环境标识的交通工具还可以附加地包括通常与交通工具和/或DMS系统相关联的任何合适数量和/或类型的组件,诸如相机、红外传感器、LIDAR传感器、车载信息娱乐系统(in-vehicle infotainment system,IVI)、一个或多个显示器、扬声器等。由此,DMS208可以利用任何合适类型的机器学习训练的模型来执行DMS功能(诸如安全性相关功能),并在特定条件、不安全的行为等等经由使用机器学习训练的模型被检测到时以任何合适的方式警告驾驶员,如本文中进一步讨论的。
超个性化机密算法可以被存储、被实例化或以其他方式被维护以用于经由用交通工具环境标识的任何合适数量的交通工具来执行。如本文中进一步讨论的,用交通工具标识的硬件(例如,处理电路系统、一个或多个处理器等)可以执行用个性化模块209标识的本地存储的机器可读指令,以使个性化的机器学习训练的模型能够从云环境被接收并被安全地存储在交通工具存储器中的交通工具环境中。然后,以这种方式被安全地存储的个性化的机器学习训练的模型可以由DMS208用来执行DMS相关功能。由此,如图2所示的超个性化机密算法可以用特定类型的DMS算法来标识,该特定类型的DMS算法有助于特定类型的DMS相关功能(例如,上述驾驶员困倦级别检测)。DMS208根据特定的个性化的机器学习训练的模型、使用超个性化机密算法来执行DMS相关功能,特定的个性化的机器学习训练的模型在该非限制性场景中的云环境中被训练。关于该过程的附加细节将在本文中进一步讨论。
为了易于解释,在本节中进一步使用如上文参考图1所讨论的困倦检测的使用来提供关于如图2所示的阶段1-8的总体序列的场景,其被实现以使DMS能够使用个性化的机器学习训练的模型来执行安全相关功能的同时维持用户数据的机密性。该场景参考了困倦级别检测算法的使用,困倦级别检测算法可以用如图2所示的超个性化机密算法的功能来标识。由此,继续该场景,由云环境中的计算设备206用于执行机器学习模型训练的超个性化机密算法、以及由DMS208实现以用于执行安全性相关功能的超个性化机密算法用困倦级别检测算法来标识。然而,与由图1的常规DMS使用的困倦级别检测算法不同,如本文中参考图2所描述的DMS 208使用超个性化机密算法,该超个性化机密算法确保DMS功能是个性化的,同时维持实现这种个性化的用户数据的机密性。将要理解的是,这是非限制性场景,并且根据所实现的交通工具环境的特定机器学习训练的模型和/或组件,对本文中所描述的实现方式可以应用有任何合适类型的算法和DMS功能。
继续参考图2,阶段1由用户环境标识,并且包括利用来自用户204的选择加入来个性化DMS困倦检测系统的初始过程。用户204可以是用交通工具环境标识的交通工具的驾驶员或其他占用者,其将是由DMS208执行的监测功能的目标。如下文进一步讨论的,用户204可以用一个交通工具来标识,或者,替代地,交通工具环境可以包括任何合适数量的不同的交通工具。UE 202被假定为由用户204所拥有或以其他方式用用户204来标识,并且由此被用户204信任。UE可以执行可以与云环境和/或交通工具环境中的一个或多个组件通信的任何合适类型的应用,如本文中所讨论。UE 202可以实现被配置成用于触发关于通过由DMS208利用的超个性化机密算法实现的机器学习训练的模型的可信重新训练过程的应用。为此,UE 202被配置成用于实现任何合适类型的通信协议,这些通信协议可以与用交通工具环境标识的交通工具交互。这可以包括使用近场通信(near field communication,NFC)协议、蓝牙通信协议等。由此,用户204可以通过使UE 202(诸如经由对NFC设备进行敲击)靠近用DMS208标识的交通工具来使用UE 202与DMS208通信,以在UE 202与DMS208之间建立认证或“握手”。该认证过程可以根据任何合适的技术来执行,这些技术包括已知的技术,这些已知的技术利用任何合适类型的通信协议来建立UE 202与用交通工具环境标识的(一个或多个)交通工具之间的通信。
无论认证过程被如何执行,一旦该认证被完成,应用就被触发以在UE 202上执行,该应用被配置成用于捕获用户数据以用于重新训练由DMS208使用的机器学习模型(即,由超个性化机密算法使用的机器学习训练的模型,该模型最初是使用制造商数据集进行训练的,如上所述)。经由UE 202收集用户数据可以包括使用用UE 202标识的任何合适数量和类型的传感器来收集通常会用作机器学习模型训练数据集的一部分的相关数据(诸如相机图像和/或经由麦克风收集的视频、音频、LIDAR数据等)。
经由UE 202执行的应用可以指令用户204关于如何从面部和身体捕获必要的图像,以及如何恰当地添加重新训练过程所需的元数据。这可以包括在面部和眼睛上绘制边界框,如由应用发出的请求等等向UE 202相机显示不同的情绪(疲惫、快乐等)。一旦完成了该过程,用户数据就被存储在UE 202中。由此,如本文中讨论的用户数据可以包括可以用利用DMS208的交通工具的驾驶员或其他占用者来标识的用户的图像和/或音频,并且附加地可以包括用于重新训练由DMS208使用的机器学习训练的模型的其他类型的数据(诸如元数据等)。假设重新训练过程作为云环境基础设施的一部分被执行的(因为该重新训练过程可以替代地经由UE 202或交通工具环境的基础设施被执行),用户数据然后被传递到云环境。也就是说,并且如本文中进一步讨论的,计算设备206可以使用用户数据来补充原始训练数据集以执行对原始机器学习训练的模型的重新训练,因为原始机器学习训练的模型(诸如NN)是仅使用原始训练数据集来训练的,如针对上文关于图1讨论的示例和对困倦检测系统的使用的情况。
为此,计算设备206可以经由对硬件和被存储在存储器中的机器可读指令(诸如用个性化模块207标识的可执行指令)的使用来在存储器的安全位置中生成飞地。也就是说,并且如上所述,计算设备206可以包括任何合适数量和/或类型的处理器,这些处理器可以执行被存储在一个或多个存储位置中的计算机可读指令,该一个或多个存储位置可以是如图2所示的存储器。由此,计算设备206可以对存储器中的飞地的实例进行实例化,并且该实例可以用计算设备206中的一个或多个计算设备206或云环境206中的其他合适的计算设备来标识。由此,飞地可以在存储器的安全部分中进行实例化并且从存储器的安全部分被执行,该存储器的安全部分诸如由执行超个性化机密算法训练过程的一个或多个处理器保护的预定范围的存储器地址。
在云环境中对飞地的实例化和执行可以根据任何合适的技术来实现,这些技术包括已知技术。这可包括适于机密计算目的的任何技术,并且其可包括“英特尔软件防护扩展”(英特尔SGX)。由此,飞地表示存储器的受保护的部分,该受保护的部分执行在云环境中访问的特定存储器位置中运行的过程,但是由用计算设备206标识的一个或多个处理器保护。以这种方式,仅被允许的过程(即,经由超个性化机密算法使用用户数据对机器学习训练的模型的重新训练)被授权以供在那些受保护的存储位置中使用。然而,由于存储器的该部分的安全性质以及根据机密计算处理器体系结构提供的保护,计算设备206和云环境中的其他组件不能容易地访问或以其他方式查看在飞地中发生的过程。相反,由此类组件对飞地的任何尝试的访问仅产生被存储在飞地中的加密密文。
当飞地被实例化以用于使用用户数据处置对机器学习训练的模型的重新训练时,用户数据现在从UE 202被传输到云环境,从而包括将用户数据传输到用如上文所述的飞地标识的存储器的受保护的部分。为了以此方式传输用户数据,阶段2包括在UE 202与云飞地实例之间建立信任关系。作为该过程的结果,加密通信通道在UE 202与云飞地实例(即,用云飞地实例标识的一个或多个计算设备206或其部分)之间被建立。任何合适的技术(诸如如下文进一步详细讨论的对证明过程的使用)可以出于此目的被实现。证明过程相对于预定或以其他方式公知的状态验证云飞地的身份和完整性。图3图示出出于此目的的用户与云飞地之间的证明过程序列。被存储在计算设备206(诸如用个性化模块207表示的那些计算设备)中的一个或多个计算设备206的存储器中的计算机可读指令可以促进(一个或多个)计算设备206利用UE 202实现证明过程。
如图3所示,当证明过程以这种方式被实现时,UE 202充当证明过程的发起者,并且发送由计算设备206中的一个或多个计算设备206接收到的证明请求。证明请求表示数据传输,该数据传输包括至云飞地的对要被包括在图3中表示的后续数据传输中作为证明回复的元数据的请求,其也可以替代地被称为引用。引用经由报告生成和签名过程被生成,并且被发送回到UE 202,然后该引用由UE 202基于所请求的元数据来验证。用户204然后可以验证签名和飞地信息,并且在完成时,通过该证明过程确保云部分是出于重新训练目的的有效飞地。视觉上,用户204可以使用由云飞地报告的指纹来验证签名和飞地信息,这些指纹被显示在UE 202的屏幕上,并且可以包括随机艺术、QR码或类似格式。然后,用户204被邀请验证在用交通工具环境标识的交通工具的屏幕上显示的指纹,并且在这样做时,可信关系在交通工具、UE 202和云飞地中的每一者之间被建立。
在证明过程已被完成之后,加密通信通道在UE 202与云飞地之间被建立,如图3所示。用户数据(其可以包括如上所述的用户的图像和由用户204捕获的元数据)可以在UE202处被加密,并且经由该建立的加密数据通道被发送到云飞地。由此,云飞地接收用户数据并且对用户数据进行解密,并且将用户数据临时存储在存储器的受保护的(即,处理器保护的)部分中。由此,以这种方式存储的用户数据可以形成经修改的训练数据集的一部分,除了用户数据之外,该经修改的训练数据集还包括用于训练机器学习训练的模型的原始训练数据。在云飞地中的存储器的受保护的部分中的用户数据的存储触发阶段3的开始,该阶段3包括用于使用经修改的训练数据集来生成个性化的机器学习训练的模型的重新训练过程,该经修改的训练数据集再次包括个性化的训练数据集。结果是可以由DMS 208实现的新的修改的(即,个性化的)机器学习训练的模型。
需要注意的是,尽管用户数据以这种方式被传输到云环境并且被安全地存储,但这仅是临时措施,因为用户数据并未被存储(持久化)在云中。相反,对云中的用户数据的使用在飞地执行时被加载到存储器中以重新训练机器学习训练的模型,并且一旦出于此目的被使用就可以从云环境中被删除。
尽管本文中描述的技术可以包括用于与DMS208一起使用的任何合适类型的机器学习训练的模型,但是神经网络(NN)在该场景中被描述为非限制性实现方式。在这种场景中,并且如图4中进一步详细所示,原始机器学习训练的模型被表示为NN,并且个性化的机器学习训练的模型被表示为NN’,个性化的机器学习训练的模型是用经修改的训练数据集重新训练原始机器学习训练的模型的结果。
如图4中进一步详细所示,个性化的机器学习训练的模型NN’需要被存储在云环境基础设施中以供以后使用。由此,尽管用户数据未如上所述地被存储(持久化)在云环境中,但是个性化的机器学习训练的模型NN'被维持(持久化)在云环境的存储器中,而是以加密形式被存储在云存储设施中。为此,并且为避免泄露NN'的内容,云飞地的“秘密密封”功能可以被实现。根据该功能,云飞地可以使用被存储在存储器的受保护的位置中的密钥对个性化的机器学习训练的模型NN’进行加密以生成经加密的个性化的机器学习训练的模型NN’。然后,该加密的个性化的机器学习训练的模型NN’可以被存储在云环境中的存储器的受保护的位置中,即,被存储在存储器的除如上所述的受保护的位置之外的部分中。然而,密钥可以被存储在存储器的受保护的部分中,该受保护的部分再次由处理器根据本文中描述的机密计算技术来防护或以其他方式保护。由此,用于对加密的个性化的机器学习训练的模型NN’进行加密的密钥仅在执行时对云飞地是可用的。以这种方式,该个性化的机器学习训练的模型NN’的明文内容(即,经解密的个性化的机器学习训练的模型NN’)永远不会向云基础设施和系统组件公开。换句话说,秘密密封被执行后,加密的个性化的机器学习训练的模型NN’仅可以在飞地的执行上下文内被解密。
个性化的机器学习训练的模型NN’要由DMS208利用,并且由此个性化的机器学习训练的模型NN’需要从云环境被传输到交通工具环境。出于清楚的目的,提供关于DMS208的操作和配置的讨论以实现DMS 208的内部功能的这种定制。
参考图5,驾驶环境包括DMS208和伴随硬件,它们形成DMS功能的核心或主要系统,而超个性化机密算法(在此场景中作为困倦检测算法被实现)形成由DMS208访问和利用的机器学习子系统。定义的应用编程接口(API)用于促进DMS208的核心与机器学习子系统之间的通信。该API接口是由机器学习子系统暴露的机制,以用于允许主DMS系统提交要由个性化的机器学习训练的模型(诸如NN')处理的数据,并且获得由个性化的机器学习训练的模型(例如,NN')对该数据进行处理的结果。换句话说,API接口的作用是在消耗此类模型的主要或核心系统之间传递机器学习训练的模型。
此类API接口可以使用诸如英特尔OpenVINO模型服务器之类的组件来实现,该服务器为应用提供gRPC和/或REST接口,以消耗由服务器加载的机器学习训练的模型。如图5所示的代码片段与使用REST模型时API接口的实现方式相对应。由此,API接口可以使个性化的机器学习训练的模型能够被修改和被重新加载,而无需改变消耗它们的应用代码(应用与模型服务器之间的契约是API定义)。以这种方式,个性化的机器学习训练的模型不离开飞地执行上下文。相反,API接口确保个性化的机器学习训练的模型进一步(诸如通过附加训练)被更新,DMS208的核心不需要改变,因为DMS208可以调用先前用于在重新训练之前执行个性化的机器学习训练的模型的相同的API。
现在转回到图2,DMS208需要从云环境安全地下载个性化的机器学习训练的模型NN’,该模型NN’用如图2所示的阶段4的开始来标识。也就是说,云环境(诸如经由计算设备206)可以将个性化的机器学习训练的模型发送到交通工具环境(诸如用使用DMS208的特定交通工具标识的硬件)。然后,DMS208可以利用个性化的机器学习训练的模型作为驾驶员监测系统(DMS)的一部分。为了维持用户数据的机密性,交通工具环境中的计算硬件还包括用于执行机密计算的技术,其可以包括与上文关于云环境讨论的机密计算体系结构相同的机密计算体系结构。同样地,这可能包括Intel SGX或其他合适的机密计算硬件。由此,另一飞地经由对机密计算硬件的使用在交通工具环境中被实例化,然后该飞地可用于执行个性化的机器学习训练的模型。为此,并且如上文针对云环境所述,交通工具环境中的硬件包括存储器,该存储器包括安全部分,在该安全部分中与用交通工具标识的处理电路系统(即,交通工具处理器或用交通工具环境硬件标识的处理电路系统)对存储器的安全部分中的飞地的实例进行实例化,如图2所示。
现在转到图6,交通工具飞地被发起,这触发至云飞地的数据传输。如图6中所示的数据传输是由用交通工具标识的合适组件(诸如一个或多个收发器)根据任何合适的通信协议发送到云飞地的任何合适类型的握手请求,并且开始在交通工具环境与云环境之间创建另一受保护且加密的通信通道的过程。该数据传输、以及如本文中讨论的由用交通工具环境标识的交通工具执行的后续功能(其包括对个性化的机器学习训练的模型的接收和存储)可以经由用交通工具标识的一个或多个处理器执行用个性化模块209标识的计算机可读指令来实现。
如上文关于用户环境与云环境之间的加密通信通道的创建所讨论的,云飞地响应于握手请求而发送交通工具飞地的身份和完整性状态的证明请求(即,对要被包括在图6中所表示的后续数据传输中作为证明回复的元数据的引用的请求),并且进一步请求在前进之前的用户确认。换句话说,用云环境中的计算设备206标识的一个或多个处理器经由对用个性化模块207标识的计算机可读指令的执行来响应握手请求。
在这一点上,云飞地请求用户204对于交通工具经由加密通信通道接收个性化的机器学习训练的模型并且执行个性化的机器学习训练的模型的同意。这可以经由云飞地将任何合适类型的同意请求传送到UE 202来实现,该同意请求可以包括根据任何合适的通信协议的数据传输。对于用户204批准该同意请求,交通工具飞地的指纹(诸如用户204已知的预定图像)可以在交通工具环境中的显示器(诸如车载屏幕)中被示出,然后用户204被邀请(诸如经由在UE 202上提供的提示)经由与UE 202的交互来验证这些指纹。
假设用户204经由与UE 202的交互提供了这种同意,这使得(一个或多个)计算设备206以与上文关于用户环境和云环境所讨论的类似的方式、在交通工具与云之间建立信任作为证明过程的结果。也就是说,(一个或多个)计算设备206使用由云飞地发起的证明请求在云飞地与交通工具飞地之间建立加密通信通道。此外,在用户204提供同意后,经由使用UE 202的指纹验证对请求进行认证和授权,在交通工具飞地中对个性化的机器学习训练的模型(即,在该场景中是NN’)的执行被授权。
云飞地现在使用密钥对的公共部分对个性化的机器学习的模型(诸如NN’)进行加密,该密钥对仅在交通工具飞地执行上下文中可访问。一旦以这种方式被加密,云飞地(经由一个或多个计算设备206)将经加密的个性化的机器学习训练的模型NN’传送到交通工具飞地。如上文针对云环境所述,交通工具飞地同样实现任何合适类型的“秘密密封”功能,以仅公开该特定交通工具飞地上的解密密钥,该解密密钥在由交通工具处理器防护的存储器的受保护的部分中受保护。如本文中参考云飞地所讨论的,经加密的个性化的机器学习训练的模型NN’可以被存储在用交通工具飞地标识的存储器的未受保护的部分中,但可以在交通工具飞地内以解密的形式被执行,从而维持个性化的机器学习训练的模型NN’的经解密的内容的机密性。换句话说,交通工具的一个或多个处理器被配置成用于执行用个性化模块209标识的指令来以批准从云飞地被发送到UE 202的同意请求为条件,将经加密的个性化的机器学习训练的模型存储在交通工具存储器中。
然后,交通工具的一个或多个处理器可以使用被存储在由交通工具处理器保护的存储器的安全位置中的解密密钥来对经加密的个性化的机器学习训练的模型进行解密,并且然后将经解密的个性化的机器学习训练的模型存储在由交通工具处理器保护的存储器的安全位置中。以这种方式,仅与云飞地建立信任的特定交通工具飞地才可以对个性化的机器学习训练的模型NN’进行解密,并且加载个性化的机器学习训练的模型以供执行。
该过程在图7中进一步详细图示。也就是说,使用如上文针对云飞地所述的解密密钥来对个性化的机器学习训练的模型NN’进行解密,并且经解密的个性化的机器学习训练的模型NN’被存储在由交通工具处理器防护的存储器的受保护的区域中。阶段5包括DMS208捕获交通工具相机帧,而阶段6包括DMS208通过执行相关的API调用来访问个性化的机器学习训练的模型NN’,以发送交通工具相机帧以供由NN’处理作为该场景中困倦检测算法的一部分。阶段7包括使用个性化的机器学习训练的模型NN’执行DMS208,以基于检测到的驾驶员的困倦级别生成适当的警报。然而,随着现在考虑用户204的特定解剖结构和特征,困倦级别现在更加准确。此外,在存储器的不受信任的位置中的任何位置中(即,不在云环境中,并且不在交通工具环境中),未留下未被加密的个人数据。现在,驾驶体验更加愉快,因为没有触发恼人的警报,困倦程度检测算法的准确性也有所提高。
一旦个性化的机器学习训练的模型被存储在云环境的云飞地中,本文中公开的技术就有助于在任何交通工具环境中为用户204(即,为任何合适数量的交通工具)执行个性化的机器学习训练的模型,而不管此类交通工具是否为用户204所有。当用交通工具环境标识的交通工具与包括上述DMS功能并且可以由硬件技术提供动力以运行如本文中所讨论的机密工作负载的租赁交通工具相关联时,将此类技术用于不是由用户204拥有的交通工具可能是特别有用的。
为此,用户204可以重复使UE 202接近要被授权以供使用个性化的机器学习训练的模型的交通工具的交通工具环境中的IVI、显示器等的过程。也就是说,如上文关于图2所讨论的,用户204可以通过使UE202靠近用DMS208标识的交通工具而在UE 202与DMS208(在这种情况下,DMS208是与上文所讨论的交通工具不同的交通工具)之间建立握手来使用UE202与DMS208通信。这触发交通工具的硬件取得被存储在云飞地中的个性化的机器学习训练的模型,这是经由本文中参考图6所讨论的通信和证明过程来实现的。在交通工具飞地的恰当的授权(如图6所示的、使用同意请求/批准通信的证明和用户认证以及授权)之后,云环境(经由计算设备206)将个性化的机器学习训练的模型发送到DMS208,其在交通工具飞地(即,存储器的安全或交通工具处理器保护的部分)中部署个性化的机器学习训练的模型以及对个性化的机器学习训练的模型进行解密。然后,交通工具可以执行DMS208,DMS208使用与上文描述相同的API定义来消耗个性化的机器学习训练的模型,由此促进在该特定交通工具中使用为用户204进行了个性化的机器学习训练的模型。
继续上述场景,仅由经授权的交通工具执行个性化的机器学习训练的模型是可期望的。由此,在用户204的行程结束后,用户204返还交通工具等,用户204可以再次使用UE202(诸如经由NFC、蓝牙等)与交通工具交互,如本文中所描述。这种通信可以触发交通工具对交通工具飞地进行去授权。当然,该过程可以附加地或替代地基于任何其他合适的条件(诸如租赁期到期、在预定时间段(诸如每24小时)之后)自动化。该去授权过程可以使用在云飞地或云环境中的计算设备206可访问的其他合适的存储器位置中维持的授权列表来实现。该列表可以被修改以基于用户204与DMS208之间的上述经授权的通信来添加批准的交通工具,这触发了本文中参考图6描述的证明过程。去授权过程操作以从交通工具云飞地中删除个性化的机器学习训练的模型,并且从批准列表中删除该交通工具,由此在没有用户204针对该特定交通工具发起授权和证明过程的情况下防止将来从云飞地访问个性化的机器学习训练的模型。由此,并且仅当用户204授权此类使用时,云飞地才授予对用于用该批准列表标识的交通工具的个性化的机器学习训练的模型的访问权。
图8图示出根据本公开的过程流程。参考图8,流程800可以是由一个或多个处理器(处理电路系统)和/或存储设备执行的和/或以其他方式与一个或多个处理器(处理电路系统)和/或存储设备相关联的计算机实现的方法。这些处理器和/或存储设备可以与用云环境标识的一个或多个计算组件(诸如执行用个性化模块207标识的计算机可读指令的计算设备206)相关联,交通工具环境(诸如图2中所示的执行用个性化模块209标识的指令的硬件和/或DMS208)、和/或用户环境(诸如执行本地应用或“app”的UE 202),并且可以在如本文中所讨论的各种环境中相结合来实现和/或在这些计算组件中的一个或多个计算组件之间共享。
如本文中所讨论,在各种环境中用计算组件中的一个或多个计算组件标识的一个或多个处理器可以执行被存储在图中未示出的其他计算机可读存储介质上的指令(其可以是本地存储的指令和/或作为处理电路系统本身的一部分)。流程800可以包括出于简明的目的而未在图8中示出的替代的或附加的步骤,并且可以以与图8所示的步骤的顺序不同的顺序被执行。
流程800可以在一个或多个处理器在存储器的安全部分中生成(框802)第一飞地时开始。如本文中参考图2所讨论的,该飞地可以用云环境来标识,其可以被实例化以供由一个或多个计算设备206经由执行用个性化模块207标识的指令来使用。
流程800可以包括将用户数据存储(框804)在第一飞地中的一个或多个处理器。这可以包括经由加密数据通道从UE 202或其他合适的设备接收诸如图像、传感器数据、元数据等之类的用户数据。用户数据可以使用如本文中参考图3讨论的证明和验证过程以这种方式被接收。同样地,这可以经由由计算设备206执行用个性化模块207标识的指令来促进。
流程800可以包括使用用户数据生成(框806)个性化的机器学习训练的模型的一个或多个处理器。如上所述,这可以包括使用用户数据修改原始机器学习训练的模型以为用用户数据标识的用户生成个性化的机器学习训练的模型。个性化的机器学习训练的模型的生成可以经由由计算设备206执行用个性化模块207标识的指令来实现。
流程800可以包括在存储器的安全部分中生成(框808)第二飞地的一个或多个处理器。如本文中参考图2所讨论的,该飞地可以用交通工具环境来标识,其可以被实例化以供由用实现DMS208的交通工具标识的一个或多个交通工具处理器(例如,经由执行用个性化模块209标识的指令的一个或多个交通工具处理器)使用。
流程800可以包括将个性化的机器学习训练的模型存储(框810)在第二飞地中的一个或多个处理器。这可以包括经由另一加密数据通道从云飞地(一个或多个计算设备206)或其他合适的设备接收加密形式的个性化的机器学习训练的模型,然后其作为经加密的个性化的机器学习训练的模型被存储在交通工具飞地中。经加密的个性化的机器学习训练的模型可以使用如本文中参考图6讨论的证明和验证过程以这种方式被接收。这可以经由一个或多个交通工具处理器执行用个性化模块209标识的指令来促进。
流程800可以包括执行(框812)被存储在第二飞地中的个性化的机器学习训练的模型的一个或多个处理器。这可以包括使用机密计算技术、使用解密密钥来对个性化的机器学习训练的模型进行解密,如本文中所讨论。一旦被解密,个性化的机器学习训练的模型可以由交通工具DMS通过如本文所讨论的API定义来消耗。作为一个或多个交通工具处理器执行用个性化模块209标识的指令的结果,描述和执行过程可以再次被执行。
同样地,出于简单起见,本节中描述的场景使用DMS208的困倦检测功能作为原型场景。贯穿本节所描述的技术不限于此特定功能,并且要求个人可标识数据以恰当地起作用的人工智能(AI)或软件组件可以根据这些技术来实现,并且通过如本文中讨论的API定义由任何合适类型的DMS使用。
此外,并且如本文中所述,尽管描述了云环境,但这仅是用于安全地训练和存储个性化的机器学习训练的模型的机密存储的一种可能的实现方式。出于重新训练和存储个性化的机器学习训练的模型的目的,任何合适的等效机制可以被实现。这可以包括用用户环境(诸如UE 202)或交通工具环境(诸如交通工具硬件)标识的、用于重新训练机器学习训练的模型并将个性化的机器学习训练的模型作为合适的证明序列的一部分发送到交通工具飞地的其他组件。
此外,尽管贯穿本节所讨论的技术主要描述了在用交通工具的驾驶员标识时用于保护用用户204标识的数据的机制,但为了简洁起见,这些技术可以扩展到是交通工具的任何合适的占用者的用户204或图中未示出的其他用户。
此外,如本文中所讨论,用于重新训练原始机器学习训练的模型的数据集合依赖于由用户204所拥有的、用于收集用户数据(图像、元数据等)的可信设备。然而,用户数据可以附加地或替代地包括从任何合适的数据源(诸如交通工具传感器(相机、麦克风等))采集的任何其他合适的用户数据,其可以用DMS208或交通工具的其他合适部分来标识。在此类场景中,传感器与DMS208的组件之间的通信也需要保密,DMS208的组件捕获数据并将数据发送到重新训练环境(诸如云环境)。由此,在此类场景中,本文中所讨论的相关飞地(诸如交通工具和云飞地)之间的证明要求可以被重复。以这种方式使用证明序列确保了在其中用户的数据以其他方式不受保护或容易被泄露的安全环境之外不会留下任何个人可标识信息。
计算设备的一般操作
提供了一种计算设备。参考图2以及云环境,计算设备包括:存储器,该存储器被配置成用于存储计算机可读指令;以及处理器,该处理器被配置成用于执行该计算机可读指令以使计算设备:生成在存储器的安全位置中被执行并且由处理器保护的飞地;将经由在飞地与用户装备(UE)之间建立的加密通信通道接收到的用户数据存储在存储器的安全位置中作为训练数据集的一部分;使用训练数据集生成机器学习训练的模型;以及将机器学习训练的模型发送到交通工具,该交通工具利用机器学习训练的模型作为驾驶员监测系统(DMS)的一部分。用户数据包括用利用DMS的交通工具的驾驶员标识的用户的图像。除本段落中先前解释的可选的特征之外或作为本段落中先前解释的可选的特征的替代以及与本段落中先前解释的可选的特征的任何组合,处理器被配置成用于执行计算机可读指令以通过使用训练数据集重新训练先前训练的机器学习训练的模型来生成机器学习训练的模型。除本段落中先前解释的可选的特征之外或作为本段落中先前解释的可选的特征的替代以及与本段落中先前解释的可选的特征的任何组合,处理器被配置成用于执行计算机可读指令以利用被存储在存储器的安全位置中的密钥对机器学习训练的模型进行加密以生成经加密的机器学习训练的模型。除本段落中先前解释的可选的特征之外或作为本段落中先前解释的可选的特征的替代以及与本段落中先前解释的可选的特征的任何组合,经加密的机器学习训练的模型被存储在存储器的安全位置之外的部分中。除本段落中先前解释的可选的特征之外或作为本段落中先前解释的可选的特征的替代以及与本段落中先前解释的可选的特征的任何组合,处理器被配置成用于执行计算机可读指令以使得计算设备经由利用UE执行的证明过程来建立加密通信通道。除本段落中先前解释的可选的特征之外或作为本段落中先前解释的可选的特征的替代以及与本段落中先前解释的可选的特征的任何组合,处理器被配置成用于执行计算机可读指令以使得计算设备使用由计算设备发起的证明请求在计算设备与交通工具之间建立另外的加密通信通道,并且经由另外的加密通信通道将经加密的机器学习训练的模型发送到交通工具。
交通工具的一般操作
提供了一种交通工具。参考图2以及交通工具环境,交通工具包括:存储器,该存储器被配置成用于存储计算机可读指令;以及处理器,该处理器被配置成用于执行该计算机可读指令以使交通工具:生成在存储器的由处理器保护的安全位置中被执行的交通工具飞地;在交通工具飞地与同计算设备相关联的云飞地之间建立加密通信通道;将经由加密通信通道从云飞地接收的经加密的机器学习训练的模型存储在存储器中,该经加密的机器学习训练的模型经由计算设备使用包括用交通工具标识的用户数据的训练数据集被生成;以及使用经加密的机器学习训练的模型执行驾驶员监测系统(DMS)。用户数据包括用利用DMS的交通工具的驾驶员标识的用户的图像。除本段落中先前解释的可选的特征之外或作为本段落中先前解释的可选的特征的替代以及与本段落中先前解释的可选的特征的任何组合,处理器被配置成用于执行计算机可读指令以使用被存储在存储器的安全位置中的解密密钥对经加密的机器学习训练的模型进行解密,并且将经解密的机器学习训练的模型存储在存储器的安全位置中。除本段落中先前解释的可选的特征之外或作为本段落中先前解释的可选的特征的替代以及与本段落中先前解释的可选的特征的任何组合,加密通信通道响应于由交通工具发起的握手请求被发送到云飞地而被建立。除本段落中先前解释的可选的特征之外或作为本段落中先前解释的可选的特征的替代以及与本段落中先前解释的可选的特征的任何组合,处理器被配置成用于执行计算机可读指令以使交通工具以批准从云飞地被发送到用户装备(UE)的同意请求为条件,将经加密的机器学习训练的模型存储在存储器中。除本段落中先前解释的可选的特征之外或作为本段落中先前解释的可选的特征的替代以及与本段落中先前解释的可选的特征的任何组合,交通工具可以进一步包括被配置成用于采集另外的用户数据的传感器,并且经加密的机器学习训练的模型经由计算设备使用包括用户数据和另外的用户数据的训练数据集来生成。
计算机可读介质的一般操作
提供了一种计算机可读介质。参考图2以及云环境,计算机可读介质具有存储在其上的指令,指令当由用计算设备标识的处理器执行时,使计算设备:生成在存储器的由处理器保护的安全位置中被执行的飞地;将经由在飞地与用户装备(UE)之间建立的加密通信通道接收到的用户数据存储在存储器的安全位置中作为训练数据集的一部分;使用训练数据集生成机器学习训练的模型;以及将机器学习训练的模型发送到交通工具,该交通工具利用机器学习训练的模型作为驾驶员监测系统(DMS)的一部分。用户数据包括用利用DMS的交通工具的驾驶员标识的用户的图像。除本段落中先前解释的可选的特征之外或作为本段落中先前解释的可选的特征的替代以及与本段落中先前解释的可选的特征的任何组合,指令当由处理器执行时,使得计算设备通过使用训练数据集重新训练先前训练的机器学习训练的模型来生成机器学习训练的模型。除本段落中先前解释的可选的特征之外或作为本段落中先前解释的可选的特征的替代以及与本段落中先前解释的可选的特征的任何组合,指令当由处理器执行时,使得计算设备利用被存储在存储器的安全位置中的密钥对机器学习训练的模型进行加密以生成经加密的机器学习训练的模型。除本段落中先前解释的可选的特征之外或作为本段落中先前解释的可选的特征的替代以及与本段落中先前解释的可选的特征的任何组合,经加密的机器学习训练的模型被存储在存储器的安全位置之外的部分中。除本段落中先前解释的可选的特征之外或作为本段落中先前解释的可选的特征的替代以及与本段落中先前解释的可选的特征的任何组合,指令当由处理器执行时,使得计算设备经由利用UE执行的证明过程来建立加密通信通道。除本段落中先前解释的可选的特征之外或作为本段落中先前解释的可选的特征的替代以及与本段落中先前解释的可选的特征的任何组合,指令当由处理器执行时,使得计算设备使用由计算设备发起的证明请求在计算设备与交通工具之间建立另外的加密通信通道,并且经由另外的加密通信通道将经加密的机器学习训练的模型发送到交通工具。
第II节——用于驾驶员监测系统(DMS)透明度和选择退出的技术
交通工具(特别是自主交通工具)的乘客暴露于由不同的传感器进行的广泛监测,这些不同的传感器可以包括用如本文中所述的DMS标识的传感器或其他合适的车载监测系统。因此,车载监侧的应用的范围从驾驶风格的个人标识到交通工具内的动作和行为变化。但并非所有这些用例都要求确保乘客的安全性,而是可以出于方便、统计或营销目的。鉴于数据隐私努力,为占用者提供该信息以及提供用于停用非必要监测功能的选项是可期望的,诸如通过为交通工具占用者提供切换到较小侵入性的监测技术的选项(诸如像LIDAR/深度感测相对于对RGB/基于视觉的感测(像相机)的使用)。如果不向占用者提供这些选择,占用者可能会采取故意破坏行为来防止被监测,尤其是在像机器人出租车的公共交通工具中。
本节涉及通过允许占用者理解正在进行的监测的范围、以及提供直观的接口来禁用某些监测功能(诸如非安全性相关或使用个性化数据的功能)来解决与传感器数据收集相关的此类隐私问题。此外,使用传感器以用于健康检查或与交通工具的多媒体系统交互的一些服务可以被激活。本节中描述的技术还预测了关切监测交通工具中的个人活动的未来的隐私法。
图9图示出根据本公开的、用于提供所收集的传感器数据的透明度的示例体系结构。图9中示出了示例体系结构900,其使用户914能够控制由交通工具901收集的传感器数据如何被利用、被显示和/或作为交通工具操作的一部分被共享,如本文中进一步所讨论。如图9所示,体系结构900包括交通工具901、UE 912、以及一个或多个计算设备910。交通工具901可以包括处理电路系统902、通信电路系统904、传感器906、IVI/显示器908、以及存储器909。
交通工具901可以用任何合适类型的交通工具(诸如个人交通工具、租赁交通工具或诸如拼车、自动出租车等之类的出租交通工具)来标识。交通工具901可能是部分或完全自主的,或者可以替代地是标准的(即非自主的)交通工具。交通工具901可以包括比图9中所示的组件更多、更少或替代的组件。
处理电路系统902可以被实现为任何合适数量和/或类型的处理器,诸如一个或多个车上处理器、图形处理器、中央处理单元(CPU)、支持电路、数字信号处理器、集成电路、或适于运行应用以及适于数据处理和分析的任何其他类型的设备。处理电路系统902可以共同地包括可以实现如本节中所描述的各种技术的功能的任何合适数量和/或类型的交通工具处理器。处理电路系统902可以用DMS或其他合适的车载监测系统来标识,并且由此促进如本文中所讨论的车载监测功能。交通工具901还可以包括存储数据和/或指令(诸如可由处理电路系统902执行的指令)的任何合适类型的存储器909。存储器可以是任何公知的易失性和/或非易失性存储器,包括只读存储器(ROM)、随机存取存储器(RAM)、闪存、磁存储介质、光盘、可擦除可编程只读存储器(EPROM)、以及可编程只读存储器(PROM)。存储器可以是不可移除的、可移除的、或这两者的组合。
传感器906可以被实现为任何合适数量和/或类型的传感器,其可以被交通工具901利用以用于执行基于车载监测或其他适当功能。这可以包括DMS相关功能,诸如监测交通工具的占用者的功能,或者可以取决于特定交通工具901的其他合适的基于监测的功能。也就是说,传感器906可以被实现为一个或多个舱内相机和/或麦克风,该一个或多个舱内相机和/或麦克风被配置成用于捕获交通工具的占用者的图像、视频和/或音频以用于DMS相关功能、用于安全性相关功能,从而提供安全等。由此,除此类相机和/或麦克风之外或者作为此类相机和/或麦克风的替代,传感器906可以包括可用于收集关于交通工具901和/或交通工具901的占用者的状态的数据的任何其他合适类型的传感器设备(诸如LIDAR、雷达、红外传感器、加速度计、陀螺仪、指南针、气压计、振动传感器、热传感器、生物计量传感器等)。
交通工具901可以进一步包括通信电路系统904,其可以被实现为硬件和/或软件组件的任何合适的组合,以促进交通工具901与计算设备910和/或UE 912进行通信。通信电路系统904可以包括任何合适数量和/或类型的发射器、接收器、收发器等,其使得交通工具901能够根据任何合适数量或类型的通信协议从计算设备910、UE 912和/或图中未示出的其他适当组件发送和/或接收数据。
计算设备910可以被实现为远程于UE 912和交通工具901的任何合适类型的计算设备(诸如服务器、计算机等)。计算设备910可以被配置成用于在任何合适类型的计算布置中操作,以与UE 912和/或交通工具901通信,并且用于存储标识或以其他方式描述传感器数据如何由交通工具901利用的用户隐私简档,如本文中进一步所讨论。
UE 912可以用用户914来标识。UE 912可以被实现为被配置成用于执行无线通信的任何合适类型的电子设备,诸如移动电话、计算机、膝上型电脑、平板电脑、可穿戴设备等。UE 912被配置成用于存储和执行一个或多个应用,诸如促进用户创建监测设置和/或用户隐私简档的移动“app”,其中的一个或两者都可以被传输并被存储在计算设备910中。交通工具901、UE 912和计算设备910被配置成用于使用任何合适数量和/或类型的通信协议互相通信,以在互相之间单向地和/或双向地交换数据。
如贯穿本节进一步讨论的,所讨论的技术使用户能够控制用于在逐用户和逐交通工具的基础上、在不同的交通工具之间进行车载监测的传感器的类型和/或操作方面,由此为用户提供关于可能收集有关用户的图像或其他个人可标识信息或私人信息的传感器的类型和使用的透明度。换句话说,如图9所示,用户可以经由UE 912创建监测设置和/或用户隐私简档,然后监测设置和/或用户隐私简档被在线存储(诸如在计算设备910中)。在任何事件中,(一个或多个)监测设置(其可以形成用户隐私简档的一部分或以其他方式与用户隐私简档相关联)可以定义关于用于车载监测系统的传感器数据的集合的用户偏好。这些监测设置可以定义某些传感器相对于其他传感器的偏好、用户可以选择加入或退出的操作模式或传感器使用的特定类型、关于数据如何在第三方之间被共享的用户偏好、关于数据保留时间段的偏好、传感器操作设置等。
也就是说,除定义可用于收集数据的特定传感器以外或代替定义可用于收集数据的特定传感器,监测设置可以指定其他类型的用户偏好,诸如所收集的传感器数据可以在其内被维持的时间框架、以及关于所收集的传感器数据可以如何在交通工具外部被共享的限制。此类监测设置可以指示所收集的传感器数据可以被使用所达的时间范围(即,仅在用户存在期间、每个行程结束后的不同时间跨度等)。监测设置可以进一步包括仅指定车载传感器数据使用,在这种情况中,交通工具901可以不向交通工具901外部的其他方或其他计算设备发送所收集的传感器数据或不与交通工具901外部的其他方或其他计算设备共享所收集的传感器数据。监测设置可以进一步包括仅指定车载传感器数据使用,在这种情况中,交通工具901可以不向交通工具901外部的其他方或其他计算设备发送所收集的传感器数据或不与交通工具901外部的其他方或其他计算设备共享所收集的传感器数据。
在任何事件中,本节中描述的技术实现对监测设置的创建、存储和应用,监测设置可以通过所生成的用户隐私简档或经由本节中进一步详细讨论的其他手段来标识。监测设置可以指示用户对被授权在交通工具操作期间根据车载监测系统收集传感器数据的传感器的相对应的选择。由此,由相应的交通工具对这些监测设置的选择和/或随后的应用使得该交通工具执行车载监测系统(诸如DMS或如本文中所讨论的其他合适的舱内监测系统),以在交通工具操作期间以由监测设置指示的方式收集传感器数据。
如本节中进一步讨论的,可以与任何合适类型的交通工具相对应的交通工具901可以将计算机可读指令存储在存储器909(诸如用户监测设置应用模块911)中。由此,处理电路系统902可以执行这些指令以执行如本文中所讨论的各种技术,这些技术可以包括:经由与任何合适的组件(诸如计算设备910和/或UE 912)的通信来接收监测设置和/或用户隐私简档;以及标识或以其他方式将由监测设置指示的传感器选择(即,传感器授权)和/或传感器设置映射到现有的车载传感器,以促进根据由监测设置标识/授权的那些传感器和传感器设置来执行车载监测系统。此外,并且如本节中进一步详细所述的,处理电路系统902可以执行被存储在用户监测设置应用模块911中的指令,以利用特定交通工具中可用的实际传感器来对用户监测设置进行解析和/或修改。更进一步地,处理电路系统902可以执行被存储在用户监测设置应用模块911中的指令,以使交通工具901将数据传送到合适的计算设备(诸如UE 912),以传达指示交通工具中的哪些传感器在执行车载监测系统期间、在执行车载监测系统之前、或在执行车载监测系统之后用于收集传感器数据的信息。
为此,监测设置可以通过识别不同的用例来建立,这些不同的用例根据其安全性的相关性以及对各种类型的(诸如采集用户的面部、语音、指纹或其他生物计量数据的)传感器数据的需求进行聚类或分组。。由此,用户可以使用任何合适的计算设备(诸如UE 912)来创建个性化的监测设置,计算设备可以本地地执行应用或从一个或多个其他计算设备(诸如计算设备910)接收数据,以出于此目的将图形用户接口(graphical userinterface,GUI)呈现到用户914。GUI可以经由被分组为各种用例的特征的目录来显示交通工具内的各种级别的车载监测,从而可以允许用户914透明地可视化不同类型的传感器数据的集合的影响以及每个特定类型的传感器数据的影响和使用。
图10图示出根据本公开的、按用例进行的车载监测特征的分组的示例。如图10中所示的分组可以向用户显示以使得用户能够可视化用于每个用例分组的传感器数据的使用,其中图10中示出了三个作为非限制性场景。每个用例组都涉及车载监测系统要实现的不同目标。也就是说,A分组涉及安全性相关目标,B分组涉及驾驶员标识特征,并且C分组涉及舱内监测特征。
换句话说,接口可以被提供到用户914以定制监测设置。然后,监测设置可以用于生成标识这些设置的用户隐私简档,尽管这不是必要的,因为接口可以在任何合适的时间被提供到用户以用于选择监测设置,并且用户隐私简档不需要在用户乘坐交通工具901之前被创建,或者实际上根本不需要被创建。也就是说,用户914可以在每个行程开始时经由显示器和/或经由UE 912与交通工具901交互,以标识监测设置,如贯穿本节所讨论的。当使用用户隐私简档时,用户隐私简档可以有利地根据任何合适的存储系统(诸如云存储、由计算设备910等)存储在远程于交通工具901的地方。附加地或替代地,监测设置和/或用户隐私简档可由被存储在令牌中或与令牌相关联,令牌诸如可以由用户914重新编程的NFC或射频标识(radio frequency identification,RFID)标签、智能卡等。由此,本文中所讨论的用户接口可以在交通工具901中被实现和/或作为集中存储监测设置和/或用户隐私简档的基于云的平台被实现,并且其可以支持由UE 912执行的移动应用以使用户914能够查看和修改监测设置。用户接口可以在乘坐交通工具901期间、在乘坐交通工具901之前或在乘坐交通工具901之后附加地向用户传达当前交通工具的感测能力/调节状态、传感器数据收集的选择加入和选择退出状态等。
在任何事件中,本节中讨论的监测设置可以由用户914在任何合适的时间基于特定的交通工具类型、基于用户在交通工具901中行进时的角色和/或任何其他合适的因素来选择。同样地,监测设置和/或用户隐私简档的创建可以经由与任何合适的用户接口的交互来完成。替代地,该过程可以经由使用所生成的用户隐私简档来部分地或完全地自动化,该用户隐私简档可以包含为各种用户角色、交通工具类型、用例等定义的“全局”监测设置。以这种方式使用监测设置和/或用户隐私简档不仅提供了透明性并且提供了关于传感器数据如何被收集和被使用的隐私性,而且它进一步有利地为后续的机器学习算法或交通工具内部至驾驶员聚焦的和舱内聚焦(除了驾驶员)中的分割实现了更好的数据质量。
也就是说,在各种场景中,用户、交通工具、伴随监测设置和/或伴随用户隐私简档可以经由在用用户标识的设备(诸如UE 912和用户914、智能卡、令牌等)之间建立的通信(诸如,NFC通信、蓝牙通信等)、在购买私人拥有的交通工具时、在在线或在取车处租赁交通工具时、在交通工具901内视觉上和/或使用音频,当在线提出对出租车或租赁或提供商等的请求时来标识。在任何事件中,监测设置可由交通工具901根据任何合适的通信协议(诸如经由与UE 912和/或计算设备910的通信)来取回。此外,交通工具的特定类型可以附加地或替代地经由交通工具901和/或UE 912被传送到计算设备910,这可以是在UE 912执行与交通工具912的任何合适类型的通信时、在用户914使用UE 912来请求在其中交通工具901的类型由计算设备910已知的机器人出租车或乘车共享服务时等等所触发的通信的结果。
不管交通工具901可以通过何种方式获得监测设置(其可以再次由用户标识和/或与用户隐私简档相关联),交通工具901都可以应用监测设置,该监测设置可以针对该具体交通工具类型、特定用户和用户在该交通工具中行进时的角色而定制。由此,监测设置的应用可以包括处理电路系统902执行被存储在用户监测设置应用模块911中的指令,以在监测设置被创建时读取用户914的关于先前由用户914标识的各种用例、传感器类型和/或传感器操作设置的监测设置。然后,处理电路系统902可以将交通工具901的当前能力和/或传感器与监测设置映射或关联,使得车载监测系统的执行根据这些设置进行操作。也就是说,交通工具901可以执行车载监测系统以使用交通工具中的传感器来收集传感器数据,交通工具中的传感器被映射到由监测设置标识的传感器,以及使用这些传感器和由用户隐私简档指示的任何相关传感器设置来操作(即,执行)车载监测系统。
由此,并且现在参考回到图10,可以作为用例场景目录的一部分、经由用户接口呈现给用户的各种用例包括三个单独的用例组。用例的分组A可以与由DMS或其他合适的车载监测系统执行的安全性相关功能相对应,如第I节中所述,其可以执行安全性相关功能,诸如通过监测视线方向和手部活动来检测驾驶员在控制交通工具时是否分心,通过分析眼睛和面部表情来检测驾驶员在控制交通工具时是否困倦,或者在驾驶员当前没有控制交通工具但将控制权从交通工具交还给驾驶员时迫在眉睫时执行此类功能。此外,车载监测系统可以在发生事故的情况下针对对所有乘客、尤其是儿童的潜在危险执行监测、监测驾驶员的健康状况、监测驾驶员的情绪状态、检测暴力行为等。
分组B可以与安全特征(诸如使用生物计量传感器数据来标识驾驶员)相对应,并且分组C可以与既不安全也不与安全相关的舱内监测特征相对应。分组C中的用例可包括识别交通工具舱中的角色、确定人员对对象的所有权、检测遗忘的对象、舱内交互、货币化方面等。
需要注意的是,针对某些用例的某些功能对于某些交通工具类别可能是强制性的,并且由此不可由交通工具制造商修改,或者可能是由特定管辖区的法律要求的。然而,特征中的一些特征(诸如情绪状态的监测或健康监测)可能是可选的。在可能或合法这样做的程度上,本节中公开的技术可适用于车载监测系统传感器使用的应用和修改。由此,本节中所描述的技术涉及使交通工具监测透明,并且允许用户选择禁用可能不必要的功能(诸如用于特定用例的上述可选特征)。
如图10中所示的用例分组A、B和C可以来自任何合适数量的用例之中,这些用例可以随着技术的演变和/或不同类型的传感器数据、特征等变得可用而改变。此外,用例可以基于其他特征或目标(诸如便利性、采集附加信息、执行快速健康检查等)而被进一步分组。由此,每个用例分组用与车载监测系统相关联的特定传感器集来标识。也就是说,并且如图10中所示,用例A1、A2和A3各自是安全性目标用例分组的一部分,用例B1和B2是驾驶员标识用例分组的一部分,并且用例C1、C2和C3各自是舱内监测用例分组的一部分。
可以被定义为用户隐私简档的一部分的监测设置可以使得用户能够根据任何合适类型的粒度来标识关于传感器数据收集的偏好,并且由此任何合适数量的用例可以在任何合适数量的用例分组内被指派。每个单独的用例还可以与特定类型的传感器以及由用于实现期望目标以用于该用例的那些传感器收集的传感器数据相关。也就是说,并且继续参考图10,安全性目标用例分组A可以实现关于监测交通工具驾驶员的安全性相关功能,但是可以使用不同的传感器组合来实现该目标。也就是说,用例A1和B1仅使用面向驾驶员的相机,用例A2使用面向驾驶员的相机和麦克风的组合,而用例A3和B2仅使用面向驾驶员的LIDAR。此外,用例C1和C2使用舱内相机,而用例C3仅使用舱内LIDAR。图11进一步演示了可以在这些不同用例中被使用的特定类型相机的使用,以在一些用例中使用面向驾驶员的相机来捕获驾驶员的图像,并且经由使用(一个或多个)舱内相机来捕获其他交通工具中的所有占用者的图像。
同样地,如图10中所示的用例集群或分组连同它们各自的相关传感器一起可以经由用户接口被显示、被列出或以其他方式被传送到用户914。然后,用户914可以交互或以其他方式从各个用例A1、A2、A3、B1等中进行选择,以选择监测设置。尽管出于简洁的目的而未在图中示出所有用户选项,但这可能包括对禁用某些整个用例、在用例分组内对某些单独的用例进行优先级排序、指示某些用例可以被启用的偏好,关于是否基于用户的角色(诸如不是当用户是乘客时,而是当用户是驾驶员时)、不期望的特定功能或(一个或多个)服务和/或优选的其他功能或服务被监测的偏好。
需要注意的是,由于某些交通工具的配置,某些用例(诸如涉及基于安全性的功能的用例)可能无法完全被禁用。然而,用户914可以基于传感器数据的类型指示对某些用例而不是其他的偏好。也就是说,因为用例A3相对于使用面向驾驶员的相机的用例A1和A2仅使用LIDAR,所以如果考虑到隐私,用户914可能会偏好用例A3而不是用例A1或A2。用户914可以通过与被显示在UE 912、交通工具901或其他合适的计算设备上的图像进行交互来选择这些偏好或对这些偏好进行优先级排序,这可以导致被显示的图像改变以向用户传送这些偏好的结果。这可以包括使用任何合适类型的图形指示器,诸如不优选或另外未被选择的灰显用例和伴随传感器、如果特定特征将变得不可用则显示关于此类选择的影响的指示、显示关于增强的安全性相关特征的有效性降低的警告等等。附加地或替代地,用户可以修改传感器如何收集数据而不是不收集任何数据。在一种场景中,用户可以针对某些用例启用驾驶员或舱内相机,但使用较低分辨率的设置来这样做。
附加地或替代地,为了平衡非安全性相关的监测的使用,用户接口可以通过标识当做出某些用户选择时不再可用的功能来传送选择退出此类传感器数据收集的后果,由此允许用户做出明智的决策。同样地,某些类型的监测在某些时间或在某些国家中可能是法律强制性的。由此,用户接口将通知用户关于此类情况。
作为又另一选项,监测设置可以定义用户对于选择传感器数据收集以用于获得某些货币化激励的偏好。这可以包括用户(诸如当作为乘客乘坐出租交通工具时)针对特定类型的交通工具、服务和/或用户角色同意特定传感器数据收集的特定集的指示。作为选择加入此类传感器数据收集的交换,用户可以获得金钱益处,诸如降低的乘坐费用、优惠券等。作为在各种场景中选择加入传感器数据收集(其可以经由使用接口被传送给用户)的交换可以被传送的其他益处可包括费用健康检查(使用生物计量传感器数据收集)、与舱内功能的附加的交互、等等。进一步的场景包括允许用户打开或关闭安全性关键特征以作为对其他考虑因素(诸如增加保险费、减少保险福利、增加旅行费用等)的交换。
如贯穿本节进一步讨论的,以这种方式应用和使用监测设置允许正在进行的传感器数据收集的实时通信、以及用于每个用户和该用户的监测设置被应用于其中的交通工具的传感器数据收集的目的。因此,用户可以附加地或替代地针对与传感器数据被收集和/或被使用的方式相关的所选功能或用例指定用户隐私简档中的设置。这可以包括指定从特定传感器类型和/或针对特定用例收集的传感器数据的匿名化。作为一种非限制性场景,用户可以针对使用通过由交通工具的机器学习算法所使用的面向驾驶员的相机或舱内相机收集的匿名化图像、匿名化视频流和/或匿名化音频数据指定指示偏好的监测设置。
继续该场景,用于实现此类匿名化的技术可包括对“DeepFakes(深度伪造)”的使用,其保留像面部表情或眼睛注视的主要面部特征以用于机器学习训练目的。有利地,当车载监测系统根据特定监测设置被执行时,用户可以(诸如经由UE 912)查看应用该选择的结果和/或查看实时传感器数据馈送。图13中示出了其中此类匿名化技术以这种方式向用户示出的场景。在此类场景中对匿名化的使用可以使用任何合适的技术(包括已知技术)来实现。
除了本文中所述的用例分组之外,关于监测的交通工具的类型也可以被分组为任何合适数量的类别,这可能会影响各种用例的相关性和/或可用性,如本节进一步所讨论。这些类别可以包括主要由所有者和相关人员驾驶的私人所有的交通工具、在一段时间器件仍然要求人类驾驶员的租赁交通工具、全自主交通工具等。由此,交通工具901可以通过关联交通工具901的交通工具类型将这些监测设置映射到到针对该特定类型的交通工具标识的监测设置。
为促进对监测设置的应用,乘客的角色还可以被映射到用例和交通工具类型,如图12中进一步详细示出。也就是说,用户可以针对每个用例选择用户角色,并且用户由此可以通过针对每个用例、基于用户角色进一步指定用户偏好来标识针对各个用例A1、A2、A3、B1等中的每个用例的监测设置。换句话说,监测设置可以反映当在某种类型的交通工具中驾驶时对该类型的交通工具和用户角色的进一步考虑,以出于创建监测设置的目的促进用户选择。如图12中的两个场景中所示,机器人出租车不要求人类驾驶员,并且因此用户隐私简档中的用户偏好与关键功能(用例分组A)无关,因为该用例组在该场景中不包括驾驶员监测功能。然而,监测设置与私人所有的汽车和租赁汽车相关。
由此,并且正如下文在本节中进一步讨论的,监测设置可以进一步包含关于交通工具类型和/或用户在该交通工具中的角色的用户偏好。当实现包含用户914的监测偏好的全局监测设置的用户隐私简档时,可能会是这种情况。然后,交通工具901可以基于用户针对该交通工具的当前角色将监测设置映射到针对该特定类型交通工具的车载特征的不同的集合。也就是说,当用户914是交通工具901中的乘客并且交通工具是私人所有的交通工具时,交通工具901可以本地映射监测设置以禁用面向车舱的相机。在另一场景中,当用户901是交通工具901中的驾驶员并且交通工具901是私人所有的交通工具时,交通工具901可以本地映射监测设置以启用面向驾驶员的相机和舱内面向的相机。以这种方式,用户隐私简档可以确保针对不同的交通工具类型、交通工具用途和/或乘客在乘坐不同类型的交通工具时的角色来维护关于数据收集的用户偏好。
由此,用户隐私简档可以包含关于用户的任何合适类型的信息,以及针对特定用例的监测设置、交通工具类型、关于传感器数据如何被收集和/或被使用的设置、被授权以在交通工具操作期间根据车载监测系统收集传感器数据的传感器的选择、经授权的传感器在交通工具操作期间如何根据车载监测系统收集传感器数据的指示等。用户隐私简档可以被链接到特定用户,该特定用户可以由交通工具或其他合适的计算设备(诸如计算设备910)标识,并且这些计算设备可以将用户的身份和/或用户隐私简档以任何合适的方式传送到交通工具901。
同样,用户隐私简档可以被生成并被存储在合适的存储位置中,其可以包括监测设置以及可以由用户或其他实体定义的其他信息,如贯穿本节所讨论的。用户隐私简档可以包括可被应用于可由用户914使用(或被预期以供使用)的多种不同交通工具的监测设置。如贯穿本节所述,监测设置由此用于通过在用户914乘坐交通工具901时将由监测设置标识的偏好映射到交通工具901的能力来标识哪些传感器可以由交通工具901使用以用于车载监测、传感器数据如何被收集、数据可以被保留多长时间、传感器数据是否可以在交通工具901外部被共享、等等。监测设置可以以这种方式由交通工具901通过将当前交通工具类型(租赁交通工具、机器人出租车、个人交通工具等)、用户在该交通工具中的角色(诸如驾驶员与乘客)和/或其他合适的相关信息与由监测设置标识的相对应的数据相关来映射。下文参考图14进一步讨论将监测设置映射到特定交通工具的过程。
图14图示出根据本公开的、用于用户隐私简档管理的流程。如本节中所述,用户隐私简档可以包含用于特定用户的全局监测设置,该全局监测设置可以取决于特定交通工具、用户在每个交通工具中的角色、或在用户隐私简档被创建时由用户或其他实体指定的任何其他合适类型的信息或状况来指定用于该用户的监测设置。
用户隐私简档可以集中存储在远程位置中,诸如如图14中所示的云(“A”)中,其可以用如本文中参考图9所讨论的计算设备910来标识。因为用户隐私简档包括全局监测设置,所以用户隐私简档对于任何合适数量和/或类型的交通工具都是有效的。用户隐私简档可以使用任何合适类型的接口(诸如基于网络的接口)和伴随计算设备(诸如UE 912、交通工具901等)来访问和管理(即,修改、删除等)。
然后,当使用特定交通工具时,用户隐私简档中的监测设置被应用于交通工具(“B”)内的监测特征。因此,交通工具将执行车载监测系统以使用交通工具中的传感器来收集传感器数据,交通工具中的传感器被映射到由与用户隐私简档相关联的监测设置标识的传感器,如本节中所讨论的。附加地,交通工具可以使用由监测设置指示的经授权的传感器来收集传感器数据(诸如通过调节相机分辨率设置、使用匿名化数据源等)。
然而,并且如图14中所示,在许多情况下,特定交通工具中的传感器与由监测设置指定的传感器之间并不存在完美匹配。换句话说,用户隐私简档可以包含与特定交通工具不相关的监测设置,并且同样,交通工具可以实现用户之前没有遇到过的特征,并且由此不被指定为监测设置的一部分。在此类情况中,交通工具(经由执行用户监测设置应用模块911的处理电路系统902)可以使用两个特征集的交集来映射车载传感器和用于那些传感器的操作的伴随设置。也就是说,交通工具可以首先将传感器和伴随的传感器设置映射到监测设置中指定的那些传感器,从而导致交通工具调节车载监测系统以实现所指定的传感器并且以其他方式如由监测设置指定地那样操作。
然而,用户然后可以调节监测设置以结合针对该特定交通工具的新的交通工具特征。为此,交通工具(经由执行用户监测设置应用模块911的处理电路系统902)可以标识监测设置中未被考虑的未映射的或以其他方式未解析的传感器(“C”)。作为响应,用户可以利用任何合适的用户接口来将剩余的交通工具特定特征调节到他的/她的用户隐私简档,该用户隐私简档可以被存储为经修改的用户隐私简档(“D”)。由此,经修改的监测设置以及针对这些指定的传感器的任何伴随的传感器设置(如果适用)可以与交通工具中被授权(或未被授权)以用于在交通工具操作期间根据车载监测系统收集传感器数据的附加传感器的另外的选择相对应。对于任何合适数量的交通工具、交通工具类型、用户偏好等,用户隐私简档可以随时间被修改。以这种方式,用户隐私简档可以维持跨由用户随时间可能遇到的各种类型的交通工具持久的监测设置。
一旦经修改的用户隐私简档以这种方式被创建,交通工具就可以(诸如经由UE912或计算设备910)接收具有经修改的监测设置的经修改的用户隐私简档。作为响应,交通工具901可以执行车载监测系统以使用交通工具中的传感器来收集传感器数据,交通工具中的传感器基于与经修改的用户隐私简档相关联的经修改的监测设置的应用。
在一种场景中,这可能包括用户当用户最初创建用户隐私简档时指示对使用激光雷达相对于面向驾驶员的(基于图像的)相机的偏好。然而,特定交通工具可能未配备有舱内LIDAR传感器。由此,交通工具可以向用户发送传送LIDAR能力的缺乏的适当的通信(诸如经由被发送到UE 912的通信),该通信被显示给用户。作为响应,用户可以指示(针对该特定交通工具的)车载监测系统被授权以用于使用面向驾驶员的相机,但进一步将其使用限制到降低的分辨率。然后,在接收到这些经修改的监测设置后,交通工具可以根据这些新的偏好来操作车载监测系统。需要注意的是,对于该特定交通工具的未来使用,该过程可能不被需要,因为经修改的用户隐私简档现在包含了所有相关特征以实现交通工具传感器和特征到由经修改的监测设置指定的那些传感器和特征的未来映射。
本文中所讨论的用户隐私简档可以由任何合适数量的不同用户创建。由此,在交通工具901中实现的、由DMS对监测设置的本地应用可以考虑可以使用交通工具901的多个用户的监测设置。在一种场景中,多个用户(其中的一些或所有用户可能先前已经创建了用户隐私简档)可以是交通工具901中的占用者。在此类情况中农,交通工具901可以接收交通工具占用者中的每个交通工具占用者的用户简档。处理电路系统902可以执行被存储在用户监测设置应用模块911中的指令以解析用户的不同监测设置,并且然后通过应用实现针对不同占用者的监测设置的监测设置来使得交通工具DMS能够操作。也就是说,监测设置适用于每个个体,并且由此交通工具901可以执行车载监测系统以通过应用与交通工具占用者中的每个交通工具占用者相关联的监测设置、使用交通工具中的传感器、传感器设置等来收集传感器数据。
为此,交通工具901可以(经由对通信电路系统904的使用)向UE或用每个交通工具占用者标识的其他合适的计算设备发送请求,该请求可以经由直接通信、经由计算设备910的通信等。在任何事件中,所发送的请求可以提示交通工具占用者中的一个或多个交通工具占用者对于可能暂时偏离用户的优选的监测设置的许可。如果至少一个用户未能授予该访问权,则用户之间的监测设置可以由交通工具901通过在不同用户之间应用公共设置来解决,随后的传输通知用户该后果(诸如安全性增强服务的不可用性)。
在上述场景中,这可能包括乘坐交通工具901的用户A(驾驶员)以及用户的B和C(乘客)。驾驶员可能具有指示面向驾驶员的相机和舱内相机可以被使用但限制对其他舱内监测相机的使用的监测设置(参见图11),乘客B可能具有限制对面向驾驶员的相机的使用但不限制对舱内监测相机的使用的监测设置,而用户C可能具有不限制对面向驾驶员的相机的使用但限制对舱内监测相机的使用的监测设置。在该场景中,交通工具901需要确定每个用户在交通工具中的角色以应用每个用户的优选的监测设置。为了确定该信息,交通工具的DMS可以请求临时启用所有车载相机,以(诸如经由对由交通工具901的DMS使用的用户认证算法的使用)执行对用户A、B和C中的每个用户在交通工具901内的标识和定位,由此映射他们在乘坐交通工具901时的角色。
由此,交通工具可以向用户A、B和C中的一个或多个用户发送请求,以允许对要求启用所有车载相机的“人员定位”监测器的一次性使用。如果用户A、B和C中的一个用户不授权对所有车载相机的使用,则交通工具901可以通过既禁用对驾驶员相机的使用又禁用对舱内相机的使用来解决监测设置之间的差异,替代地使用用于驾驶员和占用监测两者的LIDAR传感器(假设此选项可用),并且(诸如经由每个用户的UE)向每个用户发送通知,从而指示这些替代监测设置将被使用。这是交通工具901无法充分标识每个用户在交通工具901中的角色的结果,并且由此在不禁用舱内相机和面向驾驶员的相机两者的情况下,用户监测设置之间的冲突可能无法被解决。
然而,假设用户A、B和C中的每个用户确实同意对车载相机设置的使用,则交通工具901可以确定对面向驾驶员的相机的使用实际上不存在冲突,因为利用限制其使用的监测设置的唯一用户是用户B,其被标识为乘客。此外,仅用户A和C具有限制对舱内监测设置的使用的监测设置,但这仅应用于用户C,因为用户A是驾驶员。由此,交通工具901可以通过激活对舱内监测相机的使用但是应用“掩模(mask)”来使得只有与由用户C占据的空间相关联的相机图像不被保存或被利用来解决在这种场景中监测设置中的这些差异。替代地,如果存在若干个舱内传感器,则这些舱内传感器中不捕获用户C的图像的子集可以被使用。当然,在任何事件中,将这些监测设置和任何后果应用到DMS特征可以经由向交通工具占用者中的每个交通工具占用者传输合适的消息来传送。
图15图示出根据本公开的过程流程。参考图15,流程1500可以是由一个或多个处理器(处理电路系统)和/或存储设备执行的和/或以其他方式与一个或多个处理器(处理电路系统)和/或存储设备相关联的计算机实现的方法。这些处理器和/或存储设备可以与用任何合适的计算设备(诸如计算设备910或UE 912)标识的一个或多个计算组件相关联,和/或可以包括用交通工具标识的一个或多个处理器(诸如处理电路系统902)。
如本文中讨论的用计算组件中的一个或多个计算组件标识的一个或多个处理器可以执行被存储在任何合适的计算机可读存储介质上的指令,计算机可读存储介质可以在图中被示出或可以在图中未被示出(并且其可以是本地存储的指令和/或作为处理电路系统本身的一部分(诸如用户监测设置应用模块911、存储在UE 912上的可执行指令、存储在计算设备910上的可执行指令、等等))。流程1500可以包括出于简明的目的而未在图15中示出的替代的或附加的步骤,并且可以以与图15所示的步骤的顺序不同的顺序被执行。
流程1500可以在一个或多个处理器生成(框1502)用户隐私简档时开始。该用户隐私简档可以与针对车载监测系统的监测设置相关联,这些监测设置由交通工具取决于各种用例、交通工具类型、用户角色等来应用,如本节中所讨论。
流程1500可以包括接收(框1504)监测设置的一个或多个处理器,该监测设置可以与用户隐私简档相关联。这可以包括从与UE(诸如US 912)的通信或者经由与远程计算设备(诸如计算设备910)的通信来接收监测设置,特定的用户隐私简档在远程计算设备中被接收。这可以附加地或替代地包括接收本地存储在交通工具中以用于特定用户(诸如用户的私人交通工具)的监测设置。监测设置可以指定关于以下各项的各种偏好:各种用例、用于在车载监测期间收集传感器数据的传感器类型、数据如何被收集、被使用、被存储、被共享等,如贯穿本节所讨论的。同样地,监测设置可以与特定用户、交通工具类型、用户在该交通工具中的角色等相关。
流程1500可以包括将监测设置应用(框1506)到车载监测系统的一个或多个处理器。如上所述,这可以包括解释监测设置以及调节可用于对车载监测系统的执行的传感器、传感器操作设置等。这可以包括使用交通工具中的传感器,交通工具中的传感器被映射到由与用户隐私简档相关联的设置标识的传感器。由此,该映射可以考虑交通工具的类型、用户、用户在交通工具中的角色等,这些可以在监测设置中被指定。
流程1500可以包括执行(框1508)车载监测系统以根据所应用的监测设置使用传感器来收集传感器数据的一个或多个处理器。这不仅可以包括利用特定传感器类型,而且附加地或替代地可以包括执行车载监测系统以利用特定传感器设置(诸如特定分辨率)、利用特定数据源(诸如匿名化数据)、在由监测设置指示的一段时间后删除所收集的传感器数据、等等。这还可以包括在本文中所讨论的车载监测系统的执行期间将数据传输到合适的计算设备(诸如UE 912),以向用户传送哪些传感器正在被使用、传感器数据如何被收集和被保留和/或被共享、等等。
交通工具的一般操作
提供了一种交通工具。参考图9,交通工具包括:存储器,该存储器被配置成用于存储计算机可读指令;以及处理器,该处理器被配置成用于执行该计算机可读指令以使计算设备:接收与用户隐私简档相关联的设置,该设置与被授权以用于在交通工具操作期间根据车载监测系统收集传感器数据的传感器的选择相对应;以及执行车载监测系统以使用交通工具中的传感器收集传感器数据,交通工具中的传感器基于与用户隐私简档相关联的设置的应用。处理器被配置成用于执行计算机可读指令以使交通工具在执行车载监测系统时将指示交通工具中用于收集传感器数据的传感器的数据传送至用户装备(UE)。除本段落中先前解释的可选的特征之外或作为本段落中先前解释的可选的特征的替代以及与本段落中先前解释的可选的特征的任何组合,处理器被配置成用于执行计算机可读指令以使交通工具执行车载监测系统以使用交通工具中的传感器来收集传感器数据,交通工具中的传感器被映射到由与用户隐私简档相关联的设置标识的传感器。除本段落中先前解释的可选的特征之外或作为本段落中先前解释的可选的特征的替代以及与本段落中先前解释的可选的特征的任何组合,处理器被配置成用于执行计算机可读指令以使交通工具接收与经修改的用户隐私简档相关联的经修改的设置。除本段落中先前解释的可选的特征之外或作为本段落中先前解释的可选的特征的替代以及与本段落中先前解释的可选的特征的任何组合,交通工具包括无法被映射到由与用户隐私简档相关联的设置标识的传感器的附加传感器,经修改的设置与交通工具中的附加传感器的另一选择相对应,这些附加传感器被授权以用于在交通工具操作期间根据车载监测系统收集传感器数据,并且处理器被配置成用于执行计算机可读指令以使交通工具执行车载监测系统以使用交通工具中的传感器来收集传感器数据,交通工具中的传感器基于与经修改的用户隐私简档相关联的经修改的设置的应用。除本段落中先前解释的可选的特征之外或作为本段落中先前解释的可选的特征的替代以及与本段落中先前解释的可选的特征的任何组合,用户隐私简档来自多个用户隐私简档之中,多个用户隐私简档中的每个用户隐私简档与相应用户的设置相关联,该相应用户的设置与被授权以用于在交通工具操作期间根据车载监测系统收集传感器数据的传感器的选择相对应,并且其中处理器被配置成用于执行计算机可读指令以使交通工具执行车载监测系统以使用交通工具中的传感器收集传感器数据,交通工具中的传感器基于来自多个用户隐私简档之中的设置。
第三节——使用逼真的合成用户数据集改进监测能力的方法论
如本文中在先前的节中所述,交通工具可以出于各种目的而使用车载监测系统(诸如DMS)来监测交通工具占用者。如上文第一节中所讨论的,机器学习训练的模型可以针对各种车载监测功能来实现,这些功能可以使用图像、视频和/或音频数据、以及形成被称为训练数据集的其他类型的数据来训练。如本文中所述,用于这些训练数据集的数据可以从各种源获得,这些源可以包括收集并使用此类数据以用于重新训练机器学习训练的模型、以用于逐用户个性化此类模型等等的车载监测系统,这可能会随时间改进车载监测功能的准确性。
然而,使用此类机器学习方法精确地监测驾驶员和乘客活动要求大量数据。也就是说,上述训练数据集通常是从具有多个用户的大型自然数据集合生成的。此外,并且如上文关于第一节所述,由于在实现此类训练数据集时缺乏定制的数据,所得到的机器学习训练的模型可能会在推理期间引入问题。这些数据集问题可能会使车载DMS更容易为特定用户做出错误的决策,由此导致误报或漏报。在机器学习中,这个问题通常被称为“没有免费的午餐定理”。也就是说,鉴于可用数据是有限的并且来自多个用户,样本数据和测试数据的分布不可能相同。这导致诸如DMS之类的经训练的系统在训练数据集中不存在某些肤色或生物特征时会面临偶尔的偏差。
该问题的当前解决方案包括使用在较长时间段内收集到的大型数据集,大型数据集然后被策划以用于平衡定义所需操作设计领域的大量已知性能指标的分布。然而,此类努力通常是漫长且昂贵的。其他解决方案尝试使用所捕获的传感器数据和基于合成视觉的方法来解决该问题,其中原始数据使用一些人工生成的数据来增强。更进一步地,其他现有的机器学习方法依赖于3D模型来模拟用户交互,但此类技术缺乏对用户无论是在物理外观的细节级别(用户的像素到像素的相同的数字替身)上、还是在用户独特的面部和手势行为方面的逼真的模拟。
由于机器学习解决方案的大部分的开发时间都花在了数据准备和管理上,因此这些先前描述的解决方案中的每个解决方案的开发和管理成本也很高。由现有解决方案引入的其他问题涉及系统的准确性和可靠性。例如,用户面部特征的任何改变(头发改变、生长胡子或小胡子、戴新眼镜等)都可能使精确监测能力降级。颜色、深度相机和骨架数据可以被使用,但是此类技术在可以从某些角度针对用户获得的细节级别方面具有局限性。
在本节中,公开了用于通过针对DMS生成高度专用的算法来解决这些问题的技术,该算法利用渲染方法来创建用户的超现实数字表示,然后其可用于针对到单个用户的DMS算法的定制来生成数据集,由此改进整个系统的性能。本文中所讨论的方法有助于利用高级渲染技术、使用用户的3D逼真的模型来提供无限制的数据集,使得该模型接近于从用户的捕获的真实视频采集的传感器数据。3D逼真的模型可以随时间被修改以结合发型或肤色的变化,并且可以表示真实内容与渲染内容之间的像素到像素的类似性。
本节中描述的技术通过使用超现实数字人类技术(与用户相同)针对DMS开发定制化算法,贯穿本节其可以被称为“数字替身”。数字替身可以使用数字纹理来创建以训练DMS机器学习算法,由此改进驾驶员监测的整体任务准确性。本节中进一步详细公开的技术得到针对目标用户的准确性的改进,并且可以起到学习和适应用户物理外观的改变的作用。此外,本节中进一步详细公开的技术可以实现用于在各种状况中重新训练DMS的数据集的自动生成,并且可以使用现有的骨骼运动数据集来执行对用于DMS的机器学习训练的模型的重新训练。
渲染技术(诸如来自Unreal游戏引擎的Metahuman和Nanite)的最新进展已经推进了人工渲染的真实人类角色的照片现实主义的限制以供用于诸如游戏、数字助理等之类的交互式应用。Metahuman技术的使用如图16A-图16B所述,其中图16A图示出用于对不同种族特征进行建模的真实人类角色的渲染,并且图16B图示出用于突出骨骼关节以控制三维(3D)化身的真实人类角色的渲染。图16A-图16B中示出的图像展示了在撰写本文时使用Unreal游戏引擎以>60fps的速率可以实现的真实感级别。图16B进一步图示出所生成的超人类可以如何在各个路径点被控制。
可以根据贯穿本节讨论的技术来利用此类超人类被渲染的细节级别和分辨率。也就是说,可以使用这些或其他合适的技术(包括已知的现实超人类生成技术)来生成用户的用户特定的3D模型或用户的数字替身,作为用于诸如DMS之类的关键使用的训练数据集的基础。需要进一步注意的是,此类技术可以包括高级别的细节,其可以涵盖人的虹膜颜色和形状,如图17中所示。
由此,本节中描述的技术提供了一种方法,该方法用于通过创建数字替身(其是用户的数字表示或3D模型渲染)在DMS中使用此类能力,并且渐进地使用该数字替身来训练DMS功能。为了简洁起见,关于交通工具的各种组件、UE以及远程于交通工具的其他计算设备的具体细节(其可用于训练机器学习模型)在本节中所引用的图中未被重复。然而,将要理解的是,此类组件可以以与本文中在第II节中参考交通工具901、UE 912以及计算设备910所讨论的那些类似的方式来标识和/或操作。由此,在本文中可以参考图9,因为本文中所描述的这些组件可以彼此通信并且执行与第II节中所述的类似的功能。
图18图示出根据本公开的、用于生成用于机器学习模型训练的用户特定数据集的处理流程。如图18中所示的处理流程1800可以被称为登记过程,并且用于促进交通工具占用者的一部分的3D网格的生成。如本节中进一步讨论的,3D网格可以被覆盖到参考3D模型上以生成特定于交通工具占用者的3D模型,DMS将用于针对其执行基于DMS的功能。由此,如图18中所示的登记过程可以使得用户能够创建用户简档(即,数字简档),其可以包括用该数字简档标识的单个3D网格。除3D网格之外,数字简档还可以包括与3D网格相关联的任何其他合适的参数(诸如纹理、颜色等)。如本节中进一步详细讨论的,逐用户创建的单个3D网格然后可用于训练多个DMS功能。
登记过程可以使用任何合适数量和/或类型的计算设备来完成,这些计算设备诸如可以包括移动电话、膝上型电脑或交通工具中的DMS的用户装备(UE),并且其可以以与如参考图9在第II节中所讨论的交通工具901或UE 912类似的方式进行操作。由此,登记设备可以执行如图18中所示的合适的应用以用于引导用户执行一系列移动、姿势、面部表情等,并且从UE中的一个或多个传感器收集传感器数据(诸如图像、视频、音频等)作为该过程的一部分。这可以包括使用相机、LIDAR、陀螺仪数据、加速计数据等以使用任何合适的技术(包括已知技术)来获得用户的3D网格。UE可以进一步促进用户执行注册过程以创建用户简档,该用户简档(诸如经由登录过程)实现用户的随后标识以及对与用户简档相关联的数据的访问。
如本文中进一步指出的,DMS可以基于特定应用和特征集来执行各种基于DMS的功能。每个基于DMS的功能可以根据机器学习训练的模型进行操作,该机器学习训练的模型已经使用数据集进行训练以使DMS能够执行该特定的基于DMS的功能(诸如占用者监测)。也就是说,并且如图18中所示,各种基于DMS的功能可以包括驾驶员认证特征、疲劳监测特征(如第I节中所述)和驾驶员分心特征。当然,实际的基于DMS的功能可以多于、少于或包括除了图18中所示的那些之外的基于DMS的功能。
这些基于DMS的功能中的每个基于DMS的功能都可以使用不同的训练数据集进行训练。由此,登记设备的UI可以用于引导用户遍历各个步骤,以确保为每个基于DMS的功能收集足够量的数据,从而生成用户身体的至少一部分(诸如面部)的3D网格。如本文中所述,3D网格然后可用于生成用户特定的训练数据集以使DMS能够使用该特定的机器学习训练的模型来执行每个基于DMS的功能。
需要注意的是,登记过程不仅旨在记录和捕获用户的外表面(即,皮肤/眼睛颜色、头发等),而且还记录和捕获用户的肌肉骨骼构造和运动范围。由此,UI引导还可以包括在交通工具中执行某些动作(如果登记在舱内被完成)。一旦足够量的数据被收集以用这种方式生成3D网格,登记设备(或其他合适的设备)就可以经由至用户的UI呈现用于验证/修改所生成的3D网格的提示。用于此目的的非限制性UI在图19中更详细地示出,其使用户能够更改/微调3D网格以及验证表示是否准确。需要注意的是,修改可以仅限于某些参数、仅限于某些参数范围内的调节等,以避免用户放置理想化的(即,非现实的)化身表示。
此外,在登记过程期间,用户可以选择数据为其被收集的DMS服务/特征(诸如认证功能、疲劳监测特征等)。由此,一旦登记过程完成,包含用户的3D网格的用户简档就被创建。3D网格可以表示用户的完整3D表示,尽管不同的基于DMS的功能在训练过程期间可能仅使用该网格的子集。也就是说,用于凝视检测的机器学习训练的模型可能仅使用头部和眼睛位置来估计方向或凝视。作为替代场景,用于用户认证的机器学习训练的模型可以不仅使用头部,还使用其他身体比例来执行认证过程。然后,如图18中所示的用户简档可以被存储在任何合适的位置中(诸如被存储在远程基于云的存储装置(诸如计算设备910)中、被存储在UE(诸如UE 912)中、被存储在交通工具(诸如交通工具901)中、等等)。在一种场景中,一旦如上文所讨论地验证了用户注册和3D网格创建过程,则所创建的用户简档就被上传到云以用于使用3D网格数据针对基于DMS的功能中的每个基于DMS的功能训练所指定的机器学习模型,如图18中所示。
由此,登记过程的作用是为用户生成3D网格数据,并且可以形成更大的总体创建阶段的一部分,该部分生成用户特定的训练数据集以启用每个基于DMS的特征。在图20中进一步详细地示出了该总体过程,图20表示根据本公开的、使用创建阶段和监测阶段的基于DMS的功能的实现方式的过程流程。创建阶段包括用于为特定用户生成3D网格数据的上述登记过程,该3D网格数据然后用于针对每个基于DMS的功能来训练机器学习模型。训练过程包括基于正在被训练的特定DMS功能生成训练数据所需要的部分的选择。这可以使用任何合适类型的模拟引擎和引导的数据集来离线执行,以合成生成用于个性化的3D模型的训练的真实输入。由此,创建阶段进一步包括从3D网格针对每个相应的基于DMS的功能生成用于训练机器学习模型的用户的相对应的部分(诸如用户的头部、躯干等)的相同数字替身。
如本节中进一步详细讨论的,针对每个基于DMS的功能,不同的参考3D模型可以与所生成的3D网格的相对应的部分进行组合,以生成初始用户特定的3D模型。这可以通过在每个情况中(即,针对每个基于DMS的特征)将3D网格的部分覆盖到参考3D模型上来实现。参考3D模型可以与通用参考模型(即,不特定于用户的参考模型)相对应,该通用参考模型仍然特定于用与3D网格相关联的特定的基于DMS的特征标识的具体动作、行为等。由此,参考3D模型可以从任何合适的源或数据库被获得,其可以包括出于此目的对通用训练数据的使用。作为一种场景,基本3D模型可以从预先存在的数据库被获得,并且可以执行对此类基本3D模型的配置以考虑个体差异。这可以包括选择中年/中间构建的3D模型(3D骨架),但是包括由于用户在右手上缺少一个手指而修改3D模型。
由此,初始用户特定的3D模型可以表示针对特定用户的3D模型,其是将3D网格的部分覆盖到参考3D模型上的结果。初始用户特定的3D模型可以进一步细化,以使用来自用于创建3D网格的用户视频馈送(即,来自UE、在交通工具中等)的提示来生成最终用户特定的3D模型。这些提示可以包括对于用户以特别的方式执行特定的行动或做出姿势的系统请求(诸如经由用作注册过程一部分的UE的UI,如本文中所述)。这样做使得针对该行动/提示的参考数据能够更好地捕获用户身体的肌肉骨骼结构以及针对模型训练关键的其他行为习惯。因此,该覆盖过程可以包括将3D网格中经由所收集的传感器数据标识的点映射到参考3D模型中的匹配点(诸如眼睛、鼻子、嘴巴、头发等),以进一步改变3D网格的3D和纹理参数,从而创建细化的用户特定的3D模型,其在本文中被称为用户的数字替身/孪生。由此,该数字替身表示用户的像素到像素的相同数字替身。
创建阶段进一步包括使用用户的数字替身来生成用户特定的训练数据集,如图20中所示,该数字替身再次表示包括用户特定的物理属性的用户的3D模型或渲染。通过使用数字替身,针对要被训练的每个基于DMS的功能,结合3D运动数据集和3D环境数据,用户特定数据集可以以这种方式针对基于DMS的功能的每个特定类型被生成。下文关于训练过程进一步讨论了3D运动数据集和3D环境用于生成用户特定的训练数据的应用。
创建阶段可以由任何适当数量和/或类型的计算设备来实现,其中创建阶段中的任何合适的部分由这些计算设备中的一个或多个计算设备独立地或彼此组合来实现。在一些场景中,相机或其他传感器输入数据可以用UE(诸如如本文中在第II节中所讨论的UE912)、车载传感器和相机(诸如由交通工具901实现的那些车载传感器和相机)等等来标识。由此,UE和/或交通工具可以被实现以用于生成用户的3D网格,或者从UE或交通工具收集到的传感器数据可以被发送到生成3D网格的远程计算设备或用户。远程计算设备可以包括云计算设备、或远程于UE和交通工具的其他合适的计算设备(诸如计算设备910)。
此外,出于生成3D网格的目的而收集关于用户的传感器数据的(一个或多个)相同的计算设备可用于经由上述覆盖过程生成用户的数字替身,以使用3D运动数据集和3D环境数据来渲染用户特定的数据集,并且可以附加地用于执行机器学习训练过程。在一种场景中,一旦为用户生成了3D网格,3D网格就可以被发送到(一个或多个)远程计算设备(诸如计算设备910),并且该远程计算设备可以执行对用户特定数据集的渲染和对机器学习模型的训练。
在任何事件中,创建阶段进一步包括机器学习模型训练过程,该机器学习模型训练过程使用从用户的数字替身生成的用户特定数据集来实现,并且其得到可用于要由交通工具DMS实现的每个基于DMS的功能的机器学习训练的模型,如贯穿本节所讨论的。用户特定数据集的生成和训练过程可以是单独的阶段,或者是集成的阶段,正如强化学习技术中的情况一样。在各种场景中,用户特定数据集的生成和训练过程可以由相同的计算设备来实现,或者作为单独的计算设备上的单独的过程来实现。
如上文所讨论的,用户特定数据集可以使用用户特定的3D模型(即,数字替身)以任何合适的方式被生成。这可以包括将定制的、即用户特定的3D模型或数字替身馈送到任何合适类型的模拟器(诸如虚拟驾驶模拟器)中,模拟器可以生成3D运动数据集和3D环境数据。在这种情况中,模拟器可以包含可变的车载场景(诸如表示多个交通工具模型的舱内模型)。附加地,模拟器可以提供不同的外部状况(包括灯光和交通状况),这些外部状况创建针对DMS功能的训练所需的必要输入作为特定驾驶任务的一部分。由此,模拟器针对各种场景生成3D运动数据集和3D环境数据,并且然后生成必要的用户特定数据集以用于针对每个特定的基于DMS的功能(即,情绪检测、困倦检测、注视跟踪、分心识别、行为识别等)训练机器学习模型。该过程可以包括执行由如图20中所示的3D环境数据标识的环境变化,并且可以包括由任何合适类型的驾驶模拟器支持的照明状况,这些驾驶模拟器包括诸如CARLA之类的已知的驾驶模拟器类型。用户特定数据集可以与通用数据集进行组合,以确保在各种状况和场景下对数据进行充分采样。作为一种场景,综合生成的数据可以与其他通用数据进行组合来实现个性化,这允许机器学习模型针对特定的DMS功能被训练,并且由此与仅使用通用训练数据集相比执行更好。
由此,3D运动数据集可以与由各种DMS场景中的3D模型组成的预先存在的3D运动合成数据集相对应,即用于不同的基于DMS的功能。每个参考3D模型都可以与数字替身“表皮”进行集成,从而使用针对用数字替身标识的特定用户定制的肌肉骨骼和详细表面轮廓来修改参考3D模型的基本3D装备结构。此过程导致对参考3D模型的物理行为和渲染进行修改以生成相对应的用户特定的3D模型。换句话说,结果是在模拟器中渲染合成数据以生成用于训练个性化模型的个性化数据集期间最明显的修改。模拟引擎利用3D运动数据集,其包括3D模型在给定场景中执行的移动的描述(其包括环境描述以及交通),与3D模型集成的数字替身简档然后被渲染。然后,合成传感器可以捕获所渲染的输入,以生成机器学习训练目的所需的数据集。当然,合成传感器的使用可以取决于DMS算法是使用离线训练还是在线训练,并且由此所生成的用于训练的数据集可以包括数据集文件,或替代地,3D模型诸如在强化学习的情况下可以与模拟器耦合。
作为该过程的结果,在各种环境中(诸如交通工具内的与DMS的操作相关联的不同的照明条件)相对于可以表示不同人的移动但不使用这些人的3D模型的常规训练数据集,生成了与数字替身的各种移动相对应的用户特定的训练数据集(即,特定于用户的3D模型)。由此,用户特定数据集可以表示从用户的数字替身中导出以用于要被训练的每个特定的基于DMS的功能的训练数据,如贯穿本节进一步讨论的。下文参考图21进一步详细地讨论该过程。作为创建阶段的结果,机器学习模型使用用户特定的训练数据集来训练,该用户特定的训练数据集基于(诸如经由模拟使用)特定于交通工具占用者的三维(3D)模型。
监测阶段可以用任何合适类型的计算设备(诸如实现贯穿节所讨论的基于DMS的功能的交通工具)来标识。交通工具可以被标识为交通工具901,交通工具901可以包括如上文参考第II节所讨论的相关DMS组件。由此,处理电路系统2002、通信电路系统2004、传感器2006、IVI/显示器2008以及存储器2009可以分别以与处理电路系统902、通信电路系统904、传感器906、IVI/显示器908以及存储器909相同或基本类似的方式来标识或操作,如上文在第II节中所讨论的。由此,出于简洁的目的,不提供对这些组件的操作和功能的进一步描述。
存储器2009可以包括DMS模块2011,其可以存储可由处理电路系统2002执行以实现如本节中所讨论的各种基于DMS的功能的计算机可读指令。这可以包括如图20中的监测阶段所示的经训练的网络的使用,其可以根据任何合适类型的机器学习训练的网络(诸如神经网络)来实现,机器学习训练的模型被部署到该机器学习训练的网络以供由交通工具DMS使用。
一旦训练过程完成,机器学习训练的模型就会被部署到DMS,DMS使用经训练的网络和传感器输入来监测用户行为并且执行基于DMS的功能。也就是说,经由处理电路系统902执行DMS模块2011,交通工具可以接收已使用用户特定的训练数据集训练的机器学习训练的模型,该用户特定的训练数据集标识用于用户的各种DMS功能,该用户可以是交通工具占用者。由此,DMS以这种方式操作,以接收与交通工具占用者相关联的传感器数据(图像、LIDAR数据、音频等),基于DMS的功能针对其使用用户特定的训练数据集进行训练,并且在DMS的执行期间,传感器数据根据机器学习训练的模型被接收和被分析以执行一项或多项基于DMS的功能。
经由交通工具DMS中的传感器2006获得的传感器数据还可以在监测阶段期间被使用以收集关于用户的传感器数据。然后,该传感器数据(或经由DMS收集的任何其他合适的数据)可以被发送到合适的计算设备(诸如云、计算设备910、交通工具等)并且用于随时间重新训练机器学习训练的模型作为创建阶段的一部分,如图20中所示。这可以包括使用在DMS操作期间收集的传感器数据来修改特定于交通工具占用者的3D模型,以生成用户的经修改的3D模型(即,经修改的数字替身)。在一个场景中,这可以包括刷新或以其他方式更新3D网格数据和/或从3D网格覆盖到参考3D模型数据上生成的3D模型,如上文所指出的。然后,可以通过生成新的、经修改的用户特定的训练数据集(其结合了对经修改的数字替身的改变)以及使用经更新的用户特定的训练数据集(如上所述的通用数据集)来训练机器学习模型来重复如上文所讨论的数据集以及训练过程。以这种方式,定制的(即,用户特定的)3D模型可以随时间而持续低改进,这对于考虑用户的身体变化可能特别有利,由此维持基于DMS的功能的准确性。
替代地,所收集的传感器数据可以通过将指示各种行为的传感器数据与“主数字替身”进行集成来匿名化,然后这可以实现对分布式学习/优化方法的数据共享。也就是说,有时可能难以收集某些类型的数据,因为特定类型的数据不会以高使用频率发生。也就是说,特定场景可能缺乏用于训练目的的数据的可用性。作为一个说明性场景,可以针对与驾驶员注意力预测相关的DMS功能来训练机器学习模型,但是缺乏用于驾驶员在夜间被迎面而来的交通灯遮挡时执行车道改变的数据点。在此类实例中,事件的序列可以被收集,这些事件的发生非常罕见,并且将这些事件结合到其他3D模型中以用于结合到用于其他用户的针对DMS功能的机器学习模型中是可期望的。然而,在此类情况中,用户的隐私仍然应当被尊重。由此,与此类“罕见”发生相关联的数据可以被匿名化,这可以通过将传感器数据与“主数字替身”集成来实现,该“主数字替身”看起来不像用数据源标识的用户。以这种方式使用主数字替身生成的匿名化的数据可以有利地被共享,以在不牺牲用户隐私的情况下不仅改进源用户的DMS算法,还改进其他用户的算法。
图21图示出根据本公开的、用于多个用户的基于DMS的功能的实现方式的过程流程。如以上文针对图20所述,过程流程2100中的每个步骤可以由诸如UE 912、交通工具901、计算设备910等之类的计算设备的任何组合来执行。如图21中所示,示出了参考3D模型数据集,其与用特定的基于DMS的功能标识的参考3D模型相对应。该基于DMS的功能可以与任何合适类型的DMS操作相对应,机器学习训练的模型针对该DMS操作、使用每个用户的特定数字替身(诸如情绪检测、困倦检测、凝视跟踪、分心识别、行为识别等)来生成。由此,参考3D模型可以与原型3D模型相对应,该原型3D模型涉及DMS机器学习模型要针对其被训练的用户的部分。
如图21所示,假设每个用户具有作为本文中所描述的登记过程的一部分而创建的数字替身。出于简洁而非限制的目的,图21中示出了三个单独的用户A、B和C,因为过程流程2100可以被应用于任何合适数量的用户,每个用户都具有他们自己的数字替身,该数字替身经由如图所示的单个用户简档来访问。如本节中关于图20所述,用每个用户的简档标识的3D网格被应用或被覆盖到参考3D模型数据集上,以针对每个不同的用户生成用于该用户的用户特定3D模型(即,在图21中被称为“真实3D模型”的数字替身)。
接下来,用户特定3D模型用于生成DMS数据集,以用于针对特定的基于DMS的功能训练机器学习模型。同样,这可能是使用用户特定3D模型(即,数字替身)作为模拟的一部分的结果,该模拟结合了合成的3D运动和3D环境数据以生成用户特定的数据集,如上文参考图20所讨论。由此,DMS数据集生成过程可以用如本文中参考图20所讨论的数据集渲染过程来标识,并且因此DMS数据集可以包括如本文中所述的通用数据集的结合。
附加地,DMS数据集可以用经由交通工具DMS收集的传感器数据来增强,如图21中所示。当用户是交通工具中的占用者时,“真实”数据增强过程可以利用从DMS(即,经由传感器2006)捕获的原始数据。这可以包括使用在DMS的先前使用期间收集的传感器数据来执行相同的基于DMS的功能,对于该功能,DMS数据集要用于执行训练过程。由此,从DMS增强的数据可以包括针对特定的基于DMS的功能标识用户的运动、照明等的传感器数据。如上文参考图20所指出的,该过程可以附加地或替代地通过修改用户特定的3D模型来实现以用于连续学习。
因此,DMS数据集可以以特定于每个单独用户和基于DMS的功能的方式被生成。DMS数据集可用作训练数据,以基于每个用户的用户特定的3D模型、使用特定于该用户的训练数据来执行机器学习模型训练。由此,DMS模型训练的功能是利用为每个用户生成的DMS数据集来针对每个基于DMS的功能训练机器学习训练的模型。该训练过程可以根据利用训练数据来针对基于DMS的功能执行机器学习模型训练的任何合适的技术来执行,这可以包括使用如本文中所讨论的神经网络。在任何情况下,一旦机器学习训练的模型达到了期望的性能,定制的(即,用户特定的)机器学习训练的模型就被部署回到交通工具,其中交通工具的DMS可以在运行时期间利用机器学习训练的模型执行相对应的基于DMS的功能。
当然,如图21中所示的过程流程2100可以被重复以针对任何合适数量和类型的基于DMS的功能来训练机器学习模型。也就是说,如图21中所示的参考3D模型可以针对要训练机器学习模型的任何合适的基于DMS的功能表示相对应的参考3D模型。由此,该过程可以针对任何合适数量的用户被重复,以生成任何合适数量的机器学习训练的模型,其中每个机器学习训练的模型使用与相应DMS功能相关联的用户特定的训练数据集进行训练以使DMS能够执行。
图22图示出根据本公开的过程流程。参考图22,流程2200可以是由一个或多个处理器(处理电路系统)和/或存储设备执行的和/或以其他方式与一个或多个处理器(处理电路系统)和/或存储设备相关联的计算机实现的方法。这些处理器和/或存储设备可以与用任何合适的计算设备(诸如计算设备910或UE 912)标识的一个或多个计算组件相关联,和/或可以包括用交通工具标识的一个或多个处理器(诸如处理电路系统2002)。
如本文中讨论的用计算组件中的一个或多个计算组件标识的一个或多个处理器可以执行被存储在任何合适的计算机可读存储介质上的指令,计算机可读存储介质可以在图中被示出或可以在图中未被示出(并且其可以是本地存储的指令和/或作为处理电路系统本身的一部分(诸如DMS模块2011、存储在UE 912上的可执行指令、存储在计算设备910上的可执行指令、等等))。流程2200可以包括出于简明的目的而未在图22中示出的替代的或附加的步骤,并且可以以与图22所示的步骤的顺序不同的顺序被执行。
流程2200可以在一个或多个处理器生成(框2202)用户特定的3D模型时开始。该用户特定的3D模型可以包括数字替身的创建,该数字替身是通过将用户特定的3D网格覆盖到参考3D模型上而生成的,如本节中讨论的。
流程2200可以包括使用用户特定3D模型来生成(框2204)训练数据集的一个或多个处理器。这可以包括使用模拟和/或合成3D运动数据、环境数据等来生成本节中所述的用户特定数据集。训练数据集还可以包括其他类型的数据,诸如本节中参考图20讨论的通用数据集、由DMS采集的原始传感器数据等。
流程2200可以包括使用用户特定的数据集来训练(框2206)机器学习模型的一个或多个处理器。如上所述,这可以包括根据任何合适的技术(诸如神经网络)、使用训练数据集来执行机器学习模型训练。因此,所得到的经训练的机器学习模型是用户或占用者特定的机器学习训练的模型。
流程2200可以包括接收(框2208)用户特定的机器学习训练的模型的一个或多个处理器。这可以包括将用户特定的机器学习训练的模型部署到交通工具,如本节中所讨论。
流程2200可以包括使用用户特定的机器学习训练的模型来执行(框2210)DMS的一个或多个处理器。这可以包括交通工具的DMS操作以用于接收与用用户标识的交通工具占用者相关联的传感器数据,该传感器数据可以包括用户的图像、视频、音频数据等。如本文中所讨论,DMS的执行还可以包括根据用户特定的机器学习训练的模型、使用传感器数据来执行一个或多个特定的基于DMS的功能,每个基于DMS的功能针对该功能使用相对应的机器学习训练的模型来执行。
交通工具的一般操作
提供了一种交通工具。参考图9、以及图20的交通工具DMS,交通工具包括:存储器,该存储器被配置成用于存储计算机可读指令;以及处理器,该处理器被配置成用于执行该计算机可读指令以使交通工具:接收机器学习训练的模型,该机器学习训练的模型使用标识驾驶员监测系统(DMS)功能的训练数据集进行训练;接收与交通工具占用者相关联的传感器数据;以及执行DMS以基于传感器数据、使用机器学习训练的模型来执行基于DMS的功能,其中,训练数据集基于特定于交通工具占用者的三维(3D)模型。特定于交通工具占用者的3D模型包括交通工具占用者的一部分的3D渲染。除本段落中先前解释的可选的特征之外或作为本段落中先前解释的可选的特征的替代以及与本段落中先前解释的可选的特征的任何组合,3D模型基于交通工具占用者的3D网格的一部分被生成,3D网格被覆盖到与基于DMS的功能相关联的参考3D模型上,机器学习训练的模型针对这些功能被训练以使DMS能够执行。除本段落中先前解释的可选的特征之外或作为本段落中先前解释的可选的特征的替代以及与本段落中先前解释的可选的特征的任何组合,传感器被配置成用于在DMS的执行期间生成用交通工具占用者标识的另外的传感器数据,其中,特定于交通工具占用者的3D模型使用另外的传感器数据被修改以生成经修改的3D模型。除本段落中先前解释的可选的特征之外或作为本段落中先前解释的可选的特征的替代以及与本段落中先前解释的可选的特征的任何组合,处理器被配置成用于执行计算机可读指令以执行DMS,以使用机器学习训练的模型来执行基于DMS的功能,机器学习训练的模型已经使用基于经修改的3D模型的另外的训练数据集进行了重新训练。除本段落中先前解释的可选的特征之外或作为本段落中先前解释的可选的特征的替代以及与本段落中先前解释的可选的特征的任何组合,机器学习训练的模型来自多个机器学习训练的模型之中,多个机器学习训练的模型中的每个机器学习训练的模型使用用户特定的训练数据集来训练,该用户特定的训练数据集与相应的基于DMS的功能相关联,每个相应的机器学习训练的模型针对这些功能被训练以使DMS能够执行。
示例
以下示例涉及本公开的各种技术。
示例(例如,示例1)涉及一种交通工具。交通工具包括:存储器,该存储器被配置成用于存储计算机可读指令;以及处理器,该处理器被配置成用于执行该计算机可读指令以使计算设备:接收与用户隐私简档相关联的设置,该设置与被授权以用于在交通工具操作期间根据车载监测系统收集传感器数据的传感器的选择相对应;以及执行车载监测系统以使用交通工具中的传感器收集传感器数据,交通工具中的传感器基于与用户隐私简档相关联的设置的应用。
另一示例(例如,示例2)涉及先前描述的示例(例如,示例1),其中,处理器被配置成用于执行计算机可读指令以使交通工具在执行车载监测系统时将指示交通工具中用于收集传感器数据的传感器的数据发送到用户装备(UE)。
另一示例(例如,示例3)涉及先前描述的示例(例如,示例1-2中的一项或多项),其中,处理器被配置成用于执行计算机可读指令以使交通工具执行车载监测系统以使用交通工具中的传感器来收集传感器数据,交通工具中的传感器被映射到由与用户隐私简档相关联的设置标识的传感器。
另一示例(例如,示例4)涉及先前描述的示例(例如,示例1-3中的一项或多项),其中,处理器被配置成用于执行计算机可读指令以使交通工具接收与经修改的用户隐私简档相关联的经修改的设置。
另一示例(例如,示例5)涉及先前描述的示例(例如,示例1-4中的一项或多项),其中,交通工具包括无法被映射到由与用户隐私简档相关联的设置标识的传感器的附加传感器,经修改的设置与交通工具中的附加传感器的另一选择相对应,这些附加传感器被授权以用于在交通工具操作期间根据车载监测系统收集传感器数据,并且处理器被配置成用于执行计算机可读指令以使交通工具执行车载监测系统以使用交通工具中的传感器来收集传感器数据,交通工具中的传感器基于与经修改的用户隐私简档相关联的经修改的设置的应用。
另一示例(例如,示例6)涉及先前描述的示例(例如,示例1-5中的一项或多项),其中,用户隐私简档来自多个用户隐私简档之中,多个用户隐私简档中的每个用户隐私简档与相应用户的设置相关联,该相应用户的设置与被授权以用于在交通工具操作期间根据车载监测系统收集传感器数据的传感器的选择相对应,并且其中处理器被配置成用于执行计算机可读指令以使交通工具执行车载监测系统以使用交通工具中的传感器收集传感器数据,交通工具中的传感器基于来自多个用户隐私简档之中的设置。
示例(例如,示例7)涉及一种交通工具。交通工具包括:存储器,该存储器被配置成用于存储计算机可读指令;以及处理器,该处理器被配置成用于执行该计算机可读指令以使交通工具:接收机器学习训练的模型,该机器学习训练的模型使用标识驾驶员监测系统(DMS)功能的训练数据集进行训练;接收与交通工具占用者相关联的传感器数据;以及执行DMS以基于传感器数据、使用机器学习训练的模型来执行基于DMS的功能,其中,训练数据集基于特定于交通工具占用者的三维(3D)模型。
另一示例(例如,示例8)涉及先前描述的示例(例如,示例7),其中,特定于交通工具占用者的3D模型包括交通工具占用者的一部分的3D渲染。被存储在存储器的安全位置中的解密密钥
另一示例(例如,示例9)涉及先前描述的示例(例如,示例7-8中的一项或多项),其中,3D模型基于交通工具占用者的3D网格的一部分被生成,3D网格被覆盖到与基于DMS的功能相关联的参考3D模型上,机器学习训练的模型针对这些功能被训练以使DMS能够执行。
另一示例(例如,示例10)涉及先前描述的示例(例如,示例7-9中的一项或多项),传感器被配置成用于在DMS的执行期间生成用交通工具占用者标识的另外的传感器数据,其中,特定于交通工具占用者的3D模型使用另外的传感器数据被修改以生成经修改的3D模型。
另一示例(例如,示例11)涉及先前描述的示例(例如,示例7-10中的一项或多项),其中,处理器被配置成用于执行计算机可读指令以执行DMS,以使用机器学习训练的模型来执行基于DMS的功能,机器学习训练的模型已经使用基于经修改的3D模型的另外的训练数据集进行了重新训练。
另一示例(例如,示例12)涉及先前描述的示例(例如,示例7-11中的一项或多项),其中,机器学习训练的模型来自多个机器学习训练的模型之中,多个机器学习训练的模型中的每个机器学习训练的模型使用用户特定的训练数据集来训练,该用户特定的训练数据集与相应的基于DMS的功能相关联,每个相应的机器学习训练的模型针对这些功能被训练以使DMS能够执行。
示例(例如,示例13)涉及一种计算设备。计算设备包括:存储器,该存储器被配置成用于存储计算机可读指令;以及处理器,该处理器被配置成用于执行该计算机可读指令以使计算设备:生成在存储器的安全位置中被执行、并且由处理器保护的飞地;将经由在飞地与用户装备(UE)之间建立的加密通信通道接收到的用户数据存储在存储器的安全位置中作为训练数据集的一部分;使用训练数据集生成机器学习训练的模型;以及将机器学习训练的模型发送到交通工具,该交通工具利用机器学习训练的模型作为驾驶员监测系统(DMS)的一部分。
另一示例(例如,示例14)涉及先前描述的示例(例如,示例13),其中,用户数据包括用利用DMS的交通工具的驾驶员标识的用户的图像。
另一示例(例如,示例15)涉及先前描述的示例(例如,示例13-14中的一项或多项),其中,处理器被配置成用于执行计算机可读指令以通过使用训练数据集重新训练先前训练的机器学习训练的模型来生成机器学习训练的模型。
另一示例(例如,示例16)涉及先前描述的示例(例如,示例13-15中的一项或多项),其中,处理器被配置成用于执行计算机可读指令以利用被存储在存储器的安全位置中的密钥对机器学习训练的模型进行加密以生成经加密的机器学习训练的模型。
另一示例(例如,示例17)涉及先前描述的示例(例如,示例13-16中的一项或多项),其中,经加密的机器学习训练的模型被存储在存储器的除安全位置之外的部分中。
另一示例(例如,示例18)涉及先前描述的示例(例如,示例13-17中的一项或多项),其中,处理器被配置成用于执行计算机可读指令以使计算设备经由利用UE执行的证明过程来建立加密通信通道。
另一示例(例如,示例19)涉及先前描述的示例(例如,示例13-18中的一项或多项),其中,处理器被配置成用于执行计算机可读指令,以使计算设备使用由计算设备发起的证明请求在计算设备与交通工具之间建立另外的加密通信通道,并且经由另外的加密通信通道将经加密的机器学习训练的模型发送到交通工具。
示例(例如,示例20)涉及一种交通工具。交通工具包括:存储器,该存储器被配置成用于存储计算机可读指令;以及处理器,该处理器被配置成用于执行该计算机可读指令以使交通工具:生成在存储器的由处理器保护的安全位置中被执行的交通工具飞地;在交通工具飞地与同计算设备相关联的云飞地之间建立加密通信通道;将经由加密通信通道从云飞地接收的经加密的机器学习训练的模型存储在存储器中,该经加密的机器学习训练的模型经由计算设备使用包括用交通工具标识的用户数据的训练数据集被生成;以及使用经加密的机器学习训练的模型执行驾驶员监测系统(DMS)。
另一示例(例如,示例21)涉及先前描述的示例(例如,示例20),其中,用户数据包括用利用DMS的交通工具的驾驶员标识的用户的图像。
另一示例(例如,示例22)涉及先前描述的示例(例如,示例20-21中的一项或多项),其中,处理器被配置成用于执行计算机可读指令以使用被存储在存储器的安全位置中的解密密钥对经加密的机器学习训练的模型进行解密并且将经解密的机器学习训练的模型存储在存储器的安全位置中。
另一示例(例如,示例23)涉及先前描述的示例(例如,示例20-22中的一项或多项),其中,加密通信通道响应于由交通工具发起的握手请求被发送到云飞地而被建立。
另一示例(例如,示例24)涉及先前描述的示例(例如,示例20-23中的一项或多项),其中,处理器被配置成用于执行计算机可读指令以使交通工具以批准从云飞地被发送到用户装备(UE)的同意请求为条件,将经加密的机器学习训练的模型存储在存储器中。
另一示例(例如,示例25)涉及先前描述的示例(例如,示例20-24中的一项或多项),进一步包括:传感器,该传感器被配置成用于采集另外的用户数据,其中,经加密的机器学习训练的模型经由计算设备使用包括用户数据和另外的用户数据的训练数据集被生成。
示例(例如,示例26)涉及一种计算机可读介质,该计算机可读介质具有存储于其上的指令,该指令当由用计算设备标识的处理器执行时,使计算设备:生成在存储器的由处理器保护的安全位置中被执行的飞地;将经由在飞地与用户装备(UE)之间建立的加密通信通道接收到的用户数据存储在存储器的安全位置中作为训练数据集的一部分;使用训练数据集生成机器学习训练的模型;以及将机器学习训练的模型发送到交通工具,该交通工具利用机器学习训练的模型作为驾驶员监测系统(DMS)的一部分。
另一示例(例如,示例27)涉及先前描述的示例(例如,示例26),其中,用户数据包括用利用DMS的交通工具的驾驶员标识的用户的图像。
另一示例(例如,示例28)涉及先前描述的示例(例如,示例26-27中的一项或多项),其中,指令当由处理器执行时,使计算设备通过使用训练数据集重新训练先前训练的机器学习训练的模型来生成机器学习训练的模型。
另一示例(例如,示例29)涉及先前描述的示例(例如,示例26-28中的一项或多项),其中,指令当由处理器执行时,使计算设备利用被存储在存储器的安全位置中的密钥对机器学习训练的模型进行加密以生成经加密的机器学习训练的模型。
另一示例(例如,示例30)涉及先前描述的示例(例如,示例26-29中的一项或多项),其中,经加密的机器学习训练的模型被存储在存储器的除存储器的安全位置之外的部分中。
另一示例(例如,示例31)涉及先前描述的示例(例如,示例26-30中的一项或多项),其中,指令当由处理器执行时,使计算设备经由利用UE执行的证明过程来建立加密通信通道。
另一示例(例如,示例32)涉及先前描述的示例(例如,示例26-31中的一项或多项),其中,指令当由处理器执行时,使计算设备使用由计算设备发起的证明请求在计算设备与交通工具之间建立另外的加密通信通道,并且经由另外的加密通信通道将经加密的机器学习训练的模型发送到交通工具。
示例(例如,示例33)涉及一种交通工具。交通工具包括:存储器,该存储器被配置成用于存储计算机可读指令;以及处理装置,该处理装置用于执行该计算机可读指令以使计算设备:接收与用户隐私简档相关联的设置,该设置与被授权以用于在交通工具操作期间根据车载监测系统收集传感器数据的传感器的选择相对应;以及执行车载监测系统以使用交通工具中的传感器收集传感器数据,交通工具中的传感器基于与用户隐私简档相关联的设置的应用。
另一示例(例如,示例34)涉及先前描述的示例(例如,示例33),其中,处理装置执行计算机可读指令以使交通工具在执行车载监测系统时将指示交通工具中用于收集传感器数据的传感器的数据发送至用户装备(UE)。
另一示例(例如,示例35)涉及先前描述的示例(例如,示例33-34中的一项或多项),其中,处理装置执行计算机可读指令以使交通工具执行车载监测系统以使用交通工具中的传感器来收集传感器数据,交通工具中的传感器被映射到由与用户隐私简档相关联的设置标识的传感器。
另一示例(例如,示例36)涉及先前描述的示例(例如,示例33-35中的一项或多项),其中,处理装置执行计算机可读指令以使交通工具接收与经修改的用户隐私简档相关联的经修改的设置。
另一示例(例如,示例37)涉及先前描述的示例(例如,示例33-36中的一项或多项),其中,交通工具包括无法被映射到由与用户隐私简档相关联的设置标识的传感器的附加传感器,经修改的设置与交通工具中的附加传感器的另一选择相对应,这些附加传感器被授权以用于在交通工具操作期间根据车载监测系统收集传感器数据,并且处理装置执行计算机可读指令以使交通工具执行车载监测系统以使用交通工具中的传感器来收集传感器数据,交通工具中的传感器基于与经修改的用户隐私简档相关联的经修改的设置的应用。
另一示例(例如,示例38)涉及先前描述的示例(例如,示例33-37中的一项或多项),其中,用户隐私简档来自多个用户隐私简档之中,多个用户隐私简档中的每个用户隐私简档与相应用户的设置相关联,该相应用户的设置与被授权以用于在交通工具操作期间根据车载监测系统收集传感器数据的传感器的选择相对应,并且其中处理装置执行计算机可读指令以使交通工具执行车载监测系统以使用交通工具中的传感器收集传感器数据,交通工具中的传感器基于来自多个用户隐私简档之中的设置。
示例(例如,示例39)涉及一种交通工具。交通工具包括:存储器,该存储器被配置成用于存储计算机可读指令;以及处理装置,该处理装置用于执行该计算机可读指令以使交通工具:接收机器学习训练的模型,该机器学习训练的模型使用标识驾驶员监测系统(DMS)功能的训练数据集进行训练;接收与交通工具占用者相关联的传感器数据;以及执行DMS以基于传感器数据、使用机器学习训练的模型来执行基于DMS的功能,其中,训练数据集基于特定于交通工具占用者的三维(3D)模型。
另一示例(例如,示例40)涉及先前描述的示例(例如,示例39),其中,特定于交通工具占用者的3D模型包括交通工具占用者的一部分的3D渲染。
另一示例(例如,示例41)涉及先前描述的示例(例如,示例39-40中的一项或多项),其中,3D模型基于交通工具占用者的3D网格的一部分被生成,3D网格被覆盖到与基于DMS的功能相关联的参考3D模型上,机器学习训练的模型针对这些功能被训练以使DMS能够执行。
另一示例(例如,示例42)涉及先前描述的示例(例如示例39-41中的一项或多项),传感器被配置成用于在DMS的执行期间生成用交通工具的占用者标识的另外的传感器数据,其中,特定于交通工具的占用者的3D模型使用另外的传感器数据被修改以生成经修改的3D模型。
另一示例(例如,示例43)涉及先前描述的示例(例如,示例39-42中的一项或多项),其中,处理装置执行计算机可读指令以执行DMS,以使用机器学习训练的模型来执行基于DMS的功能,机器学习训练的模型已经使用基于经修改的3D模型的另外的训练数据集进行了重新训练。
另一示例(例如,示例44)涉及先前描述的示例(例如,示例39-43中的一项或多项),其中,机器学习训练的模型来自多个机器学习训练的模型之中,多个机器学习训练的模型中的每个机器学习训练的模型使用用户特定的训练数据集来训练,该用户特定的训练数据集与相应的基于DMS的功能相关联,每个相应的机器学习训练的模型针对这些功能被训练以使DMS能够执行。
示例(例如,示例45)涉及一种计算设备。计算设备包括:存储器,该存储器被配置成用于存储计算机可读指令;以及处理装置,该处理装置用于执行该计算机可读指令以使计算设备:生成在存储器的安全位置中被执行、并且由处理器保护的飞地;将经由在飞地与用户装备(UE)之间建立的加密通信通道接收到的用户数据存储在存储器的安全位置中作为训练数据集的一部分;使用训练数据集生成机器学习训练的模型;以及将机器学习训练的模型发送到交通工具,该交通工具利用机器学习训练的模型作为驾驶员监测系统(DMS)的一部分。
另一示例(例如,示例46)涉及先前描述的示例(例如,示例45),其中,用户数据包括用利用DMS的交通工具的驾驶员标识的用户的图像。
另一示例(例如,示例47)涉及先前描述的示例(例如,示例45-46中的一项或多项),其中,处理装置执行计算机可读指令以通过使用训练数据集重新训练先前训练的机器学习训练的模型来生成机器学习训练的模型。
另一示例(例如,示例48)涉及先前描述的示例(例如,示例45-47中的一项或多项),其中,处理装置执行计算机可读指令以利用被存储在存储器的安全位置中的密钥对机器学习训练的模型进行加密以生成经加密的机器学习训练的模型。
另一示例(例如,示例49)涉及先前描述的示例(例如,示例45-48中的一项或多项),其中,经加密的机器学习训练的模型被存储在存储器的除安全位置之外的部分中。
另一示例(例如,示例50)涉及先前描述的示例(例如,示例45-49中的一项或多项),其中,处理装置执行计算机可读指令以使计算设备经由利用UE执行的证明过程来建立加密通信通道。
另一示例(例如,示例51)涉及先前描述的示例(例如,示例45-50中的一项或多项),其中,处理装置执行计算机可读指令,以使计算设备使用由计算设备发起的证明请求在计算设备与交通工具之间建立另外的加密通信通道,并且经由另外的加密通信通道将经加密的机器学习训练的模型发送到交通工具。
示例(例如,示例52)涉及一种交通工具。交通工具包括:存储器,该存储器被配置成用于存储计算机可读指令;以及处理装置,该处理装置用于执行该计算机可读指令以使交通工具:生成在存储器的由处理装置保护的安全位置中被执行的交通工具飞地;在交通工具飞地与同计算设备相关联的云飞地之间建立加密通信通道;将经由加密通信通道从云飞地接收到的经加密的机器学习训练的模型存储在存储器中,该经加密的机器学习训练的模型经由计算设备使用包括用交通工具标识的用户数据的训练数据集被生成;以及使用经加密的机器学习训练的模型执行驾驶员监测系统(DMS)。
另一示例(例如,示例53)涉及先前描述的示例(例如,示例52),其中,用户数据包括用利用DMS的交通工具的驾驶员标识的用户的图像。
另一示例(例如,示例54)涉及先前描述的示例(例如,示例52-53中的一项或多项),其中,处理装置执行计算机可读指令以使用被存储在存储器的安全位置中的解密密钥对经加密的机器学习训练的模型进行解密并且将经解密的机器学习训练的模型存储在存储器的安全位置中。
另一示例(例如,示例55)涉及先前描述的示例(例如,示例52-54中的一项或多项),其中,加密通信通道响应于由交通工具发起的握手请求被发送到云飞地而被建立。
另一示例(例如,示例56)涉及先前描述的示例(例如,示例52-55中的一项或多项),其中,处理装置执行计算机可读指令以使交通工具以批准从云飞地被发送到用户装备(UE)的同意请求为条件,将经加密的机器学习训练的模型存储在存储器中。
另一示例(例如,示例57)涉及先前描述的示例(例如,示例52-56中的一项或多项),进一步包括:传感器,该传感器被配置成用于采集另外的用户数据,其中,加密的机器学习训练的模型经由计算设备使用包括用户数据和另外的用户数据的训练数据集被生成。
示例(例如,示例58)涉及一种计算机可读介质,该计算机可读介质具有存储于其上的指令,该指令当由用计算设备标识的处理装置执行时,使计算设备:生成在存储器的由处理器保护的安全位置中被执行的飞地;将经由在飞地与用户装备(UE)之间建立的加密通信通道接收到的用户数据存储在存储器的安全位置中作为训练数据集的一部分;使用训练数据集生成机器学习训练的模型;以及将机器学习训练的模型发送到交通工具,该交通工具利用机器学习训练的模型作为驾驶员监测系统(DMS)的一部分。
另一示例(例如,示例59)涉及先前描述的示例(例如,示例58),其中,用户数据包括用利用DMS的交通工具的驾驶员标识的用户的图像。
另一示例(例如,示例60)涉及先前描述的示例(例如,示例58-59中的一项或多项),其中,指令当由处理装置执行时,使计算设备通过使用训练数据集重新训练先前训练的机器学习训练的模型来生成机器学习训练的模型。
另一示例(例如,示例61)涉及先前描述的示例(例如,示例58-60中的一项或多项),其中,指令当由处理装置执行时,使计算设备利用被存储在存储器的安全位置中的密钥对机器学习训练的模型进行加密以生成经加密的机器学习训练的模型。
另一示例(例如,示例62)涉及先前描述的示例(例如,示例58-61中的一项或多项),其中,经加密的机器学习训练的模型被存储在存储器的除存储器的安全位置之外的部分中。
另一示例(例如,示例63)涉及先前描述的示例(例如,示例58-62中的一项或多项),其中,指令当由处理装置执行时,使计算设备经由利用UE执行的证明过程来建立加密通信通道。
另一示例(例如,示例64)涉及先前描述的示例(例如,示例58-63中的一项或多项),其中,指令当由处理装置执行时,使计算设备使用由计算设备发起的证明请求在计算设备与交通工具之间建立另外的加密通信通道,并且经由另外的加密通信通道将经加密的机器学习训练的模型发送到交通工具。
如所示出和所描述的装置。
如所示出和所描述的方法。
结语
前述描述将如此充分地揭示本公开的实现方式的一般性质,以至于其他人可以通过应用本领域技术内的知识就容易地修改和/或改编此类具体实现方式的各种应用,而无需过度实验,并且不背离本公开的一般概念。因此,基于本文中展现的教示和指导,此类改编和修改旨在落入所公开的实现方式的等效方案的含义和范围内。应当理解的是,本文中的措辞或术语是出于描述而非限制的目的,使得本说明书的术语或措辞将由本领域技术人员根据教示和指导来解释。
每个被描述的实现方式可包括特定的特征、结构或特性,但每个实现方式可能不一定都包括该特定的特征、结构或特性。此外,此类短语不一定是指同一个实现方式。此外,当结合实现方式描述特定的特征、结构或特性时,认为结合无论是否被明确描述的其他实现方式而影响此类特征、结构或特性是在本领域技术人员的知识范围之内的。
本文所描述的示例性实现方式是出于说明性目的而提供的,而不是限制性的。其他实现方式是可能的,并且可以对示例性实现方式进行修改。因此,说明书并非旨在限制本公开。相反,本公开的范围仅根据所附权利要求及其等效方案来限定。
本公开的设计可以由硬件(例如,电路)、固件、软件或其组合来实现。设计还可被实现为存储于机器可读介质上的指令,这些指令可由一个或多个处理器读取和执行。机器可读介质可包括用于存储或发送机器(例如,计算设备)可读形式的信息的任何机制。机器可读介质可包括只读存储器(ROM);随机存取存储器(RAM);磁盘存储介质;光学存储介质;闪存设备;电、光、声或其他形式的传播信号(例如,载波、红外信号、数字信号等)等等。进一步地,固件、软件、例程、指令在本文中可被描述为执行特定动作。然而,应当领会的是,此类描述仅仅是出于方便起见,并且此类动作实际上起因于计算设备、处理器、控制器、或其他设备执行固件、软件、例程、指令等。此外,实现方式变化中的任一个都可以由通用计算机来执行。
贯穿附图,应当注意的是,除非另有说明,否则同类的附图标记用于描绘相同或类似的要素、特征和结构。
术语“至少一个”和“一个或多个”可被理解为包括大于或等于一的数量(例如,一个、两个、三个、四个、[...]等)。术语“多个”可被理解为包括大于或等于二的数量(例如,两个、三个、四个、五个、[...]等)。
说明书中和权利要求书中的词语“复数个(plural)”和“多个(multiple)”明确地指代大于一的量。因此,任何明确地援引上述词语来指代某个量的要素的短语(例如,“复数个[要素]”、“多个[要素]”)明确地指代多于一个的所述要素。说明书和权利要求书中的术语“(……的)组”、“(……的)集”、“(……的)集合”、“(……的)系列”、“(……的)序列”、“(……的)分组”等(如果存在)指代等于或大于一的量,即一个或多个。术语“真子集”、“减小的子集”、和“较小的子集”指代集合的不等于该集合的子集,说明性地,指代集合的包含比该集合少的要素的子集。
关于一组要素的短语“至少一个”在本文中可用于意指来自由要素组成的组的至少一个要素。关于要素组的短语“……中的至少一个”在本文中可用于意指以下各项中的选择:所列要素中的一个、多个所列要素中的一个要素、多个个体所列要素、或多个个体所列要素中的多个。
如本文中所使用的术语“数据”可被理解为包括采用任何合适的模拟或数字形式的信息,例如,作为文件、文件的部分、文件集、信号或流、信号或流的部分、信号或流的集等等被提供的信息。进一步地,术语“数据”还可用于意指对信息的例如以指针的形式的引用。然而,术语“数据”不限于上述数据类型,并且可采取各种形式并表示如本领域中理解的任何信息。
如本文中所使用的术语“处理器”或“控制器”可被理解为允许对数据的处置的任何种类的技术实体。可根据由处理器或控制器执行的一个或多个特定功能来处置数据。进一步地,如本文中所使用的处理器或控制器可被理解为任何种类的电路,例如,任何种类的模拟或数字电路。处理器或控制器由此可以是或可包括模拟电路、数字电路、混合信号电路、逻辑电路、处理器、微处理器、中央处理单元(CPU)、图形处理单元(GraphicsProcessing Unit,GPU)、数字信号处理器(Digital Signal Processor,DSP)、现场可编程门阵列(Field Programmable Gate Array,FPGA)、集成电路、专用集成电路(ApplicationSpecific Integrated Circuit,ASIC)等、或其任何组合。下文将进一步详细描述的相应功能的任何其他种类的实现方式也可以被理解为处理器、控制器或逻辑电路。应当理解的是,任何两个(或更多个)本文中详述的处理器、控制器或逻辑电路可被实现为具有等效功能等等的单个实体,并且相反地,本文中详述的任何单个处理器、控制器或逻辑电路可被实现为具有等效功能等等的两个(或更多个)分开的实体。
如本文中所使用,“存储器”被理解为数据或信息可以被存储在其中以供取回的计算机可读介质。由此,对本文中所包括的“存储器”的引用可被理解为是指易失性或非易失性存储器,包括随机存取存储器(RAM)、只读存储器(ROM)、闪存、固态存储、磁带、硬盘驱动器、光驱等等、或其任何组合。在本文中,寄存器、移位寄存器、处理器寄存器、数据缓冲器等等也由术语存储器包含。术语“软件”指代任何类型的可执行指令,包括固件。
在本文中所描述的实现方式中的一个或多个实现方式中,处理电路系统可以包括存储数据和/或指令的存储器。存储器可以是任何公知的易失性和/或非易失性存储器,包括只读存储器(ROM)、随机存取存储器(RAM)、闪存、磁存储介质、光盘、可擦除可编程只读存储器(EPROM)、以及可编程只读存储器(PROM)。存储器可以是不可移除的、可移除的、或这两者的组合。
除非明确地指定,否则术语“发射”涵盖直接的发射(点到点)和间接的发射(经由一个或多个中间点)两者。类似地,术语“接收”涵盖直接的接收和间接的接收两者。此外,术语“发射”、“接收”、“传递”和其他类似的术语涵盖物理传输(例如,对无线电信号的传输)和逻辑传输(例如,通过逻辑软件级连接对数字数据的传输)两者。处理器或控制器可通过与另一处理器或控制器的软件级连接、以无线电信号的形式发射或接收数据,其中,物理发射和接收由诸如RF收发器和天线之类的无线电层组件处置,并且通过软件级连接的逻辑发射和接收由处理器或控制器执行。术语“传递”涵盖发射和接收中的一者或这两者,即,在传入方向和传出方向中的一个或两个方向上的单向或双向传递。术语“计算”涵盖经由数学表达式/等式/关系进行的‘直接’计算和经由查找表或散列表以及其他数组索引或搜索操作进行的‘间接’计算两者。
“交通工具”可以被理解为包括任何类型的被驾驶对象。交通工具可以是具有内燃机、反作用式引擎、电驱动对象、混合驱动对象或其组合的被驾驶对象。交通工具可以是或者可以包括汽车、公共汽车、小型公共汽车、货车、卡车、房车、交通工具拖车、摩托车、自行车、三轮车、火车机车、火车车厢、移动机器人、个人运输器、船只、船、潜水器、潜艇、无人机、飞机、火箭等等。
术语“自主交通工具”可描述这样的交通工具:该交通工具至少在一些驾驶的一些(重要)部分(空间或时间上的,例如,在某些区域中,或当环境状况良好时,或在高速公路上,或高于或低于某一速度)期间实现所有的或基本上所有的导航改变。有时,将“自主交通工具”与“部分自主交通工具”或“半自主交通工具”区别开来,以指示交通工具可能在某些时候、在某些状况下、或在某些区域中能够实现一些(但不是全部)导航改变。导航改变可描述或包括交通工具的转向、制动、或加速/减速中的一项或多项的改变。即使在交通工具不是完全自动(在具有有驾驶员或没有驾驶员输入的情况下是完全可操作的)的情况下,也可以将交通工具描述为是自主的。自主交通工具可以包括可以在某些时间段期间在驾驶员控制下进行操作并且在其他时间段期间无需驾驶员控制进行操作的那些交通工具。自主交通工具还可包括仅控制交通工具导航的一些实现方式(诸如,转向(例如,以将交通工具路线维持在交通工具车道约束之间)或在某些情形下(但并非在所有情形下)的一些转向操作),但可将交通工具导航的其他实现方式留给驾驶员(例如,制动、或在某些情形下的制动)。自主交通工具还可以包括在某些情形下共享对交通工具导航的一个或多个实现方式的控制(例如,动手操作,诸如,响应于驾驶员输入)的交通工具、和在某些情形下控制交通工具导航的一个或多个实现方式的交通工具(例如,脱手,诸如独立于驾驶员输入)。自主交通工具还可以包括在某些情形下(诸如在某些环境状况下(例如,空间区域、道路状况))控制交通工具导航的一个或多个实现方式的交通工具。在一些实现方式中,自主交通工具可以处置交通工具的制动、速率控制、速度控制和/或转向中的一些或所有实现方式。自主交通工具可以包括可以在没有驾驶员的情况下操作的那些交通工具。交通工具的自主性级别可以由交通工具的汽车工程师协会(Society of Automotive Engineers,SAE)级别(由SAE在SAEJ3016 2018:与用于道路机动交通工具的驾驶自动化系统相关的术语的分类和定义中定义)或由其他相关专业组织进行描述或确定。SAE级别可以具有范围从最小级别(例如,0级(说明性地,基本上没有驾驶自动化))到最大级别(例如,5级(说明性地,完全驾驶自动化))的值。

Claims (20)

1.一种计算设备,包括:
存储器,所述存储器被配置成用于存储计算机可读指令;以及
处理器,所述处理器被配置成用于执行所述计算机可读指令以使所述计算设备:
生成在所述存储器的安全位置中被执行并且由所述处理器保护的飞地;
将经由在所述飞地与用户装备(UE)之间建立的加密通信通道接收到的用户数据存储在所述存储器的所述安全位置中作为训练数据集的一部分;
使用所述训练数据集生成机器学习训练的模型;以及
将所述机器学习训练的模型发送到交通工具,所述交通工具利用所述机器学习训练的模型作为驾驶员监测系统(DMS)的一部分。
2.如权利要求1所述的计算设备,其中,所述处理器被配置成用于执行所述计算机可读指令以通过使用所述训练数据集重新训练先前训练的机器学习训练的模型来生成所述机器学习训练的模型。
3.如权利要求1或权利要求2所述的计算设备,其中,所述用户数据包括用利用所述DMS的所述交通工具的驾驶员标识的用户的图像。
4.如权利要求1-3中的任一项所述的计算设备,其中,所述处理器被配置成用于执行所述计算机可读指令以利用被存储在所述存储器的所述安全位置中的密钥对所述机器学习训练的模型进行加密以生成经加密的机器学习训练的模型。
5.如权利要求4所述的计算设备,其中,所述经加密的机器学习训练的模型被存储在所述存储器的除所述安全位置之外的部分中。
6.如权利要求4所述的计算设备,其中,所述处理器被配置成用于执行所述计算机可读指令以使得所述计算设备使用由所述计算设备发起的证明请求在所述计算设备与所述交通工具之间建立另外的加密通信通道,并且经由所述另外的加密通信通道将所述经加密的机器学习训练的模型发送到所述交通工具。
7.如权利要求1所述的计算设备,其中,所述处理器被配置成用于执行所述计算机可读指令以使得所述计算设备经由利用所述UE执行的证明过程来建立所述加密通信通道。
8.一种交通工具,包括:
存储器,所述存储器被配置成用于存储计算机可读指令;以及
处理器装置,所述处理器装置用于执行所述计算机可读指令以使所述交通工具:
生成在所述存储器的由所述处理器保护的安全位置中被执行的交通工具飞地;
在所述交通工具飞地与同计算设备相关联的云飞地之间建立加密通信通道;
将经由所述加密通信通道从所述云飞地接收到的经加密的机器学习训练的模型存储在所述存储器中,所述经加密的机器学习训练的模型是经由所述计算设备、使用包括用所述交通工具标识的用户数据的训练数据集而生成的;以及
使用所述经加密的机器学习训练的模型来执行驾驶员监测系统(DMS)。
9.如权利要求8所述的交通工具,其中,所述用户数据包括用利用所述DMS的所述交通工具的驾驶员标识的用户的图像。
10.如权利要求8或权利要求9所述的交通工具,其中,所述处理器装置执行所述计算机可读指令以使用被存储在所述存储器的所述安全位置中的解密密钥来对所述经加密的机器学习训练的模型进行解密,并且将经解密的机器学习训练的模型存储在所述存储器的所述安全位置中。
11.如权利要求8-10中的任一项所述的交通工具,其中,所述加密通信通道响应于由所述交通工具发起的握手请求被发送到所述云飞地而被建立。
12.如权利要求9所述的交通工具,其中,所述处理器装置执行所述计算机可读指令以使所述交通工具以批准从所述云飞地被发送到用户装备(UE)的同意请求为条件,将所述经加密的机器学习训练的模型存储在所述存储器中。
13.如权利要求8所述的交通工具,进一步包括:
用于采集另外的用户数据的传感器装置,
其中,所述经加密的机器学习训练的模型经由所述计算设备使用包括所述用户数据和所述另外的用户数据的训练数据集被生成。
14.一种计算机可读介质,所述计算机可读介质被配置成用于存储指令,所述指令当由用计算设备标识的处理器执行时,使所述计算设备:
生成在存储器的由所述处理器保护的安全位置中被执行的飞地;
将经由在所述飞地与用户装备(UE)之间建立的加密通信通道接收到的用户数据存储在所述存储器的安全位置中作为训练数据集的一部分;
使用所述训练数据集生成机器学习训练的模型;以及
将所述机器学习训练的模型发送到交通工具,所述交通工具利用所述机器学习训练的模型作为驾驶员监测系统(DMS)的一部分。
15.如权利要求14所述的计算机可读介质,其中,所述指令当由所述处理器执行时,使所述计算设备通过使用所述训练数据集重新训练先前训练的机器学习训练的模型来生成所述机器学习训练的模型。
16.如权利要求14或权利要求15所述的计算机可读介质,其中,所述用户数据包括用利用所述DMS的所述交通工具的驾驶员标识的用户的图像。
17.如权利要求14-16中的任一项所述的计算机可读介质,其中,所述指令当由所述处理器执行时,使得所述计算设备用被存储在所述存储器的所述安全位置中的密钥对所述机器学习训练的模型进行加密以生成经加密的机器学习训练的模型。
18.如权利要求17所述的计算机可读介质,其中,所述经加密的机器学习训练的模型被存储在所述存储器的除所述安全位置之外的部分中。
19.如权利要求17所述的计算机可读介质,其中,所述指令当由所述处理器执行时,使得所述计算设备使用由所述计算设备发起的证明请求在所述计算设备与所述交通工具之间建立另外的加密通信通道,并且经由所述另外的加密通信通道将所述经加密的机器学习训练的模型发送到所述交通工具。
20.如权利要求14所述的计算机可读介质,其中,所述指令当由所述处理器执行时,使得所述计算设备经由利用所述UE执行的证明过程来建立所述加密通信通道。
CN202280040633.8A 2021-09-10 2022-08-10 驾驶员监测系统(dms)数据管理 Pending CN117480085A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/471,411 US20210403004A1 (en) 2021-09-10 2021-09-10 Driver monitoring system (dms) data management
US17/471,411 2021-09-10
PCT/US2022/039963 WO2023038754A1 (en) 2021-09-10 2022-08-10 Driver monitoring system (dms) data management

Publications (1)

Publication Number Publication Date
CN117480085A true CN117480085A (zh) 2024-01-30

Family

ID=79032269

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280040633.8A Pending CN117480085A (zh) 2021-09-10 2022-08-10 驾驶员监测系统(dms)数据管理

Country Status (3)

Country Link
US (1) US20210403004A1 (zh)
CN (1) CN117480085A (zh)
WO (1) WO2023038754A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11341786B1 (en) 2020-11-13 2022-05-24 Samsara Inc. Dynamic delivery of vehicle event data
US11352013B1 (en) 2020-11-13 2022-06-07 Samsara Inc. Refining event triggers using machine learning model feedback
US11643102B1 (en) 2020-11-23 2023-05-09 Samsara Inc. Dash cam with artificial intelligence safety event detection
US11698707B2 (en) * 2021-03-31 2023-07-11 Sy Interiors Pvt. Ltd. Methods and systems for provisioning a collaborative virtual experience of a building
CN113223270B (zh) * 2021-04-26 2023-02-28 西安建筑科技大学 基于计算机视觉技术的疲劳驾驶监测提醒预警方法及系统
US20210403004A1 (en) * 2021-09-10 2021-12-30 Intel Corporation Driver monitoring system (dms) data management
US20230101254A1 (en) * 2021-09-30 2023-03-30 Hyperreal Digital Inc. Creation and use of digital humans
US11386325B1 (en) * 2021-11-12 2022-07-12 Samsara Inc. Ensemble neural network state machine for detecting distractions
US11352014B1 (en) 2021-11-12 2022-06-07 Samsara Inc. Tuning layers of a modular neural network
US20230208639A1 (en) * 2021-12-27 2023-06-29 Industrial Technology Research Institute Neural network processing method and server and electrical device therefor
US11938947B2 (en) * 2022-01-05 2024-03-26 Honeywell International S.R.O. Systems and methods for sensor-based operator fatigue management

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9032493B2 (en) * 2011-03-31 2015-05-12 Intel Corporation Connecting mobile devices, internet-connected vehicles, and cloud services
KR102422326B1 (ko) * 2017-09-13 2022-07-19 현대자동차주식회사 자동차의 제어 시스템 및 제어 방법
KR20200013128A (ko) * 2018-07-12 2020-02-06 (주)포세듀 동공 인식 기반의 연구현장 데이터 수집 및 분석을 통한 연구자 행동 검출 및 연구방향 의사결정 지원 알고리즘
US11157646B2 (en) * 2018-09-27 2021-10-26 Intel Corporation Systems and methods for processing and handling privacy-sensitive image data
KR20210134635A (ko) * 2019-03-29 2021-11-10 인텔 코포레이션 자율 주행 차량 시스템
US20210403004A1 (en) * 2021-09-10 2021-12-30 Intel Corporation Driver monitoring system (dms) data management

Also Published As

Publication number Publication date
US20210403004A1 (en) 2021-12-30
WO2023038754A1 (en) 2023-03-16

Similar Documents

Publication Publication Date Title
US20210403004A1 (en) Driver monitoring system (dms) data management
US11249544B2 (en) Methods and systems for using artificial intelligence to evaluate, correct, and monitor user attentiveness
US10467488B2 (en) Method to analyze attention margin and to prevent inattentive and unsafe driving
CN113825689A (zh) 自主交通工具系统
US9932041B2 (en) Personalized medical emergency autopilot system based on portable medical device data
US11142190B2 (en) System and method for controlling autonomous driving vehicle
JP2020536317A (ja) センシング・デバイスを用いた車両運転リスクのモニタリング
US10659382B2 (en) Vehicle security system
JP2021060986A (ja) 車両の乗員を認証するためのシステムおよび方法
CN111613091A (zh) 利用外部驾驶员数据增强移动设备操作
CN111837154A (zh) 车辆乘坐者的区块链认证
US11914745B2 (en) Personally identifiable information in encrypted data streams
US20180118164A1 (en) Customizable Vehicle Security System
CN106131098A (zh) 用于车辆中应用程序开发的车辆数据执行和情境干预模块
WO2022050108A1 (ja) 情報処理装置、情報処理方法、プログラム及び情報処理端末
WO2021067380A1 (en) Methods and systems for using artificial intelligence to evaluate, correct, and monitor user attentiveness
CN112650977B (zh) 保护神经网络模型的方法
Wang et al. Automotive domain controller
US10915658B1 (en) System, method, and computer-accessible medium for training models on mixed sensitivity datasets
WO2023108566A1 (zh) 一种升级方法、装置及系统
CN117058730A (zh) 用于机器学习模型的数据集生成和增强
US20230406363A1 (en) Virtual steering wheel with autonomous vehicle
US20230382223A1 (en) Recommended vehicle-related functionality
Dawam Improvements to the operation of autonomous vehicles (AVs) in Smart Cities
Pape et al. A Systematic Approach for Automotive Privacy Management

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication