CN114379567A - 基于驾驶员状态和情境的会议 - Google Patents
基于驾驶员状态和情境的会议 Download PDFInfo
- Publication number
- CN114379567A CN114379567A CN202111159708.8A CN202111159708A CN114379567A CN 114379567 A CN114379567 A CN 114379567A CN 202111159708 A CN202111159708 A CN 202111159708A CN 114379567 A CN114379567 A CN 114379567A
- Authority
- CN
- China
- Prior art keywords
- driver
- teleconference
- vehicle
- context
- status
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 58
- 230000002996 emotional effect Effects 0.000 claims description 29
- 230000001149 cognitive effect Effects 0.000 claims description 24
- 230000015654 memory Effects 0.000 claims description 21
- 230000000694 effects Effects 0.000 claims description 12
- 238000012544 monitoring process Methods 0.000 description 50
- 238000012545 processing Methods 0.000 description 25
- 230000008569 process Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 7
- 230000036651 mood Effects 0.000 description 7
- 230000004044 response Effects 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 210000001747 pupil Anatomy 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000037007 arousal Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 239000008280 blood Substances 0.000 description 3
- 210000004369 blood Anatomy 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000008451 emotion Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 231100000430 skin reaction Toxicity 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000007177 brain activity Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000004424 eye movement Effects 0.000 description 2
- 210000000744 eyelid Anatomy 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003304 psychophysiological effect Effects 0.000 description 2
- 230000036387 respiratory rate Effects 0.000 description 2
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 238000005352 clarification Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000000537 electroencephalography Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 239000008103 glucose Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002582 magnetoencephalography Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 238000006213 oxygenation reaction Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/1066—Session management
- H04L65/1083—In-session procedures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/40—Support for services or applications
- H04L65/403—Arrangements for multi-party communication, e.g. for conferences
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W40/09—Driving style or behaviour
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/10—Architectures or entities
- H04L65/1059—End-user terminal functionalities specially adapted for real-time communication
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/1066—Session management
- H04L65/1069—Session establishment or de-establishment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/1066—Session management
- H04L65/1076—Screening of IP real time communications, e.g. spam over Internet telephony [SPIT]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/1066—Session management
- H04L65/1083—In-session procedures
- H04L65/1086—In-session procedures session scope modification
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Transportation (AREA)
- Mathematical Physics (AREA)
- Automation & Control Theory (AREA)
- Telephonic Communication Services (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本公开的实施方案阐述一种计算机实现的方法,包括:获得与车辆驾驶员相关联的传感器数据;基于所述传感器数据确定与所述驾驶员相关联的状态;以及将与所述驾驶员相关联的所述状态传输到电话会议会话,其中所述驾驶员是所述电话会议会话的参与者或受邀者中的至少一个。
Description
技术领域
各种实施方案通常涉及驾驶员辅助系统,并且更具体地,涉及基于驾驶员状态和情境的会议。
背景技术
电话会议技术的兴起将生产力领域扩展到工作场所之外。借助电话、会议系统等,用户可以在任何地方参加电话会议,包括在家中,甚至在驾驶车辆时。
当一个人使用传统的电话会议技术参加电话会议时,电话会议中的人通常只接收参加电话会议的人的声音。在典型的电话会议期间,虽然参加电话会议的人的其它活动可能是电话会议中的其他人感兴趣的,但此信息通常不可用,除非参加电话会议的人告知电话会议中的其他人或背景声音为电话会议中的其他人提供提示。在大多数情况下,参加电话会议的人会有效控制他们的注意力分散程度,因此可以管理电话会议时的分心。
当参加电话会议的人也在驾驶车辆时,参加电话会议的人可能无法充分控制他们的注意力分散程度。车辆的驾驶员有驾驶车辆和参加电话会议的双重责任,并且可能进入分散驾驶员在安全驾驶车辆的同时参加电话会议的能力的驾驶场景。然而,传统电话会议技术的缺点在于,参加电话会议的其他人无法知晓驾驶员当前是否因电话会议而分心,或者驾驶员当前是否可以处理同时参加电话会议和驾驶车辆的责任。参加电话会议的其他人不知道驾驶员是否分心,除非驾驶员透露此类信息,这样会中断电话会议的连续性并相应地有损电话会议体验。此外,许多驾驶员可能会因为开车而分心,从而无法向参加电话会议的其他人透露这一点,或者可能不愿意表明他们正因电话会议而分心。
如上所述,当电话会议的参与者正在驾驶车辆时,需要更有效的会议技术。
发明内容
一个实施方案阐述一种计算机实现的方法,包括:获得与车辆驾驶员相关联的传感器数据;基于传感器数据确定与驾驶员相关联的状态;以及将与驾驶员相关联的状态传输到电话会议会话,其中驾驶员是电话会议会话的参与者或受邀者中的至少一个。
一个实施方案阐述一种计算机实现的方法,包括:获得与车辆驾驶员相关联的传感器数据;基于传感器数据确定与驾驶员相关联的状态;接收电话会议请求;以及基于与驾驶员相关联的状态对电话会议请求作出响应。
其它实施方案尤其提供了被配置成实现上面阐述的方法的一种或多种计算机可读介质和系统。
所公开的技术的至少一个优点是可以将指示也参加电话会议的车辆驾驶员的状态和/或情境的信息传送给参加电话会议的其他人。因此,其他人可以基于驾驶员的状态和情境来调整对电话会议的期望或中止电话会议。
附图说明
为了能够详细地理解各种实施方案的上述特征的方式,可以通过参考各种实施方案来对以上简要概述的创造性概念进行更具体的描述,附图中示出了其中一些实施方案。然而,应当注意,附图只示出了创造性概念的典型实施方案,且因而不应被视为以任何方式限制其范围,并且存在其它等效实施方案。
图1示出被配置成实施各种实施方案的一个或多个方面的计算系统的框图;
图2示出根据各种实施方案的包括在图1的计算装置中的会议辅助子系统;
图3示出根据各种实施方案的示例电话会议用户界面,其包括指示参加电话会议的一个或多个人的驾驶员状态的信息;
图4示出根据各种实施方案的用于监测电话会议的一方的状态和情境的示例仪表板;
图5A至图5B示出根据各种实施方案的用于响应于电话会议请求而传送驾驶员状态和情境信息的过程步骤的流程图;以及
图6是根据各种实施方案的用于在电话会议中传送驾驶员状态和情境信息的方法步骤的流程图。
具体实施方式
在以下描述中,阐述了许多特定细节以提供对各种实施方案的更透彻理解。然而,对本领域技术人员而言将明显的是,可以在没有这些具体细节中的一个或多个的情况下实践这些创造性概念。
图1是被配置成实现各种实施方案的一个或多个方面的计算系统100的框图。如图所示,计算系统100包括但不限于计算装置180、传感器阵列120、输入/输出(I/O)装置130、位置模块138和网络160。计算装置180包括一个或多个处理单元102、I/O装置接口104、网络接口106、互连件(总线)112、存储装置114和存储器116。存储器116存储数据库142、驾驶员监测应用程序150和会议辅助应用程序152。处理单元102、I/O装置接口104、网络接口106、存储装置114和存储器116可以经由互连件112彼此通信地耦合。
如上所述,计算装置180可以包括处理单元102和存储器116。计算装置180可以是片上系统(SoC)。在一些实施方案中,计算装置180可以是包括在车辆系统中的主机单元。在各种实施方案中,计算装置180可以是便携式计算装置,例如智能电话、平板计算机、移动电话、媒体播放器等。通常,计算装置180可以被配置成协调计算系统100的整体操作。本文公开的实施方案预期被配置成经由计算装置180实现计算系统100的功能的任何技术上可行的系统。
计算装置180的各种示例包括计算装置(台式计算机等)、移动装置(例如,手机、智能电话、平板计算机、膝上型计算机等)、可穿戴装置(例如,手表、头戴式耳机等)、消费品(例如,游戏装置、媒体装置等)、车辆计算装置(例如,主机单元、车载导航系统)等。在各种实施方案中,计算装置180可以位于道路车辆环境(例如,消费型轿车、商用卡车等)、航空航天和/或航空环境(例如,飞机、直升机、宇宙飞船等)、航海和海底环境等中。更一般地,计算装置180可以位于任何车辆环境中。
处理单元102可以包括中央处理单元(CPU)、数字信号处理单元(DSP)、微处理器、专用集成电路(ASIC)、神经处理单元(NPU)、图形处理单元(GPU)、现场可编程门阵列(FPGA)等。每个处理单元102通常包括执行程序指令以操纵输入数据的可编程处理器。在一些实施方案中,处理单元102可以包括任何数量的处理核心、存储器以及用于促进程序执行的其它模块。在一些实施方案中,处理单元102可以被配置成执行用于提供驾驶员监测服务的驾驶员监测应用程序150以及用于提供会议辅助服务的会议辅助应用程序152。在一些实施方案中,驾驶员监测应用程序150基于传感器数据确定驾驶员状态和/或情境并将驾驶员状态和/或情境提供给会议辅助应用程序152。在一些实施方案中,会议辅助应用程序152使用驾驶员状态和/或情境来提供会议辅助服务,包括例如生成驾驶员状态和/或情境信息并传送所述信息,或基于驾驶员状态和/或情境对电话会议请求作出响应。
存储装置114可以包括用于应用程序、软件模块和数据的非易失性存储装置,并且可以包括固定式或可移动式磁盘驱动器、快闪存储器装置、以及CD-ROM、DVD-ROM、蓝光、HD-DVD或其它磁性、光学、固态存储装置等。例如,会议辅助应用程序152、驾驶员监测应用程序150和数据库142可以存储在存储装置114中,然后根据需要加载到存储器116中。
存储器116可以包括存储器模块或存储器模块的集合。存储器116通常包括存储用于由处理单元102处理的应用程序和数据的例如随机存取存储器(RAM)芯片的存储芯片。处理单元102、I/O装置接口104和网络接口106可以被配置成从存储器116读取数据并将数据写入所述存储器。驾驶员监测应用程序150和会议辅助应用程序152可以从存储装置114加载到存储器116中。当在存储器116中时,驾驶员监测应用程序150和会议辅助应用程序152可以由处理单元102执行以实现本公开中描述的功能。
数据库142可以存储由处理单元102检索或计算的值和其它数据,以协调驾驶员监测应用程序150和会议辅助应用程序152的操作。数据库142可以存储在存储装置114中并根据需要加载到存储器116中。在各种实施方案中,处理单元102可以被配置成将与驾驶员状态和/或情境相关联的数据和/或信息(例如,值、计算的评级或分数、生成的信息)存储在数据库142中和/或检索存储在数据库142中的数据和/或信息。例如,数据库142可以存储历史驾驶员状态值、面部识别信息、个人识别信息、查找表、驾驶员状态和/或情境算法(例如,情感认知负荷算法)、驾驶员状态和/或情境阈值、传感器值到驾驶员状态和/或情境度量的映射、驾驶员状态和/或情境值到驾驶员分心评级或分数的映射、与外部会议应用程序和相关联的应用程序编程接口(API)相关联的信息等。在一些实施方案中,数据库142可以经由网络接口106和网络160从远程计算系统(例如,云计算系统或远程服务器系统)接收对存储在数据库142中的数据的至少一部分的周期性更新(例如,对查找表、映射和/或算法的更新)。
传感器120包括一个或多个传感器装置,所述传感器装置执行测量和/或获取与环境中的某些对象有关的数据。在各种实施方案中,传感器阵列120可以生成与车辆驾驶员的状态和/或情境相关联的传感器数据。例如,传感器阵列120可以收集与驾驶员有关的生物计量数据(例如,心率、脑活动、皮肤传导、血液氧合、瞳孔大小、眼睛运动、皮肤电反应、血压水平、平均血糖浓度等)。另外或替代地,传感器阵列120可以生成与车辆的乘座舱相关联的传感器数据。例如,传感器阵列120可以生成关于车辆中其他乘客的存在、车辆的乘座舱内的环境、车辆的操作等的传感器数据。在一些实施方案中,传感器阵列120可以耦合至计算装置180和/或包括在所述计算装置内,并且将传感器数据发送到处理单元102。处理单元102执行驾驶员监测应用程序150,以便确定从所获取的传感器数据导出的驾驶员状态和/或情境。
在各种实施方案中,传感器阵列120可以获取驾驶员监测应用程序150处理的传感器数据,以便对驾驶员正在经历的情绪或情绪状态进行分类。例如,传感器阵列120可以包括面向驾驶员的相机,所述面向驾驶员的相机将驾驶员的面部和/或眼睛记录为图像数据。驾驶员监测应用程序150然后可以分析图像数据以便确定用户的面部表情,然后将面部表情映射到情绪状态。在另一个示例中,传感器阵列120可以包括在车辆的各个部分(例如,驾驶员座椅、方向盘等)中的传感器,所述传感器获取车辆驾驶员的生物和/或生理信号(例 如,出汗、心率、心率变异性(HRV)、血流量、血氧水平、呼吸频率、皮肤电反应(GSR)、用户产生的声音、用户的行为等)。在此类情况下,驾驶员监测应用程序150可以计算指示用户正在经历的情绪的一个或多个定量情绪参数化度量,例如情绪唤醒度(A)、情绪效价度(V)和/或情绪优势度。
在各种实施方案中,传感器阵列120还可以获取驾驶员监测应用程序150可以处理的数据,以便计算用户正在经历的认知负荷。例如,传感器阵列120可以包括瞳孔传感器(例 如,聚焦在驾驶员的眼睛上的相机),所述瞳孔传感器获取关于用户的至少一个瞳孔的图像数据。驾驶员监测应用程序150然后可以执行各种瞳孔测量技术以检测眼睛参数(例如,驾驶员的瞳孔直径的波动、瞳孔的凝视方向、眼睑位置等),以便估计用户的认知负荷。在另一个示例中,传感器阵列120可以包括心率传感器和/或获取驾驶员的生物和/或生理信号(例 如,心率、呼吸频率、眼睛运动、GSR、神经脑活动等)的其它生物计量传感器。在此类情况下,驾驶员监测应用程序150可以根据所获取的生物和/或生理信号中的一个或多个计算认知负荷。
在各种实施方案中,传感器阵列120可以包括成像传感器,例如RGB相机、红外相机、深度相机和/或相机阵列,所述相机阵列包括此类相机中的两个或多个。传感器阵列120还可以包括其它传感器,包括但不限于成像器、激光传感器、超声传感器、雷达传感器和/或激光雷达传感器。在一些实施方案中,传感器阵列120可以包括物理传感器,例如触摸传感器、压力传感器、位置传感器(例如,加速度计和/或惯性测量单元(IMU))、运动传感器等,所述物理传感器记录车辆驾驶员的身体位置和/或运动。在此类情况下,驾驶员监测应用程序150可以分析所获取的传感器数据以确定驾驶员的运动,然后将这种运动与特定的情绪(例 如,无聊、疲劳、唤醒度等)和/或驾驶员的认知负荷相关联。在一些实施方案中,上述相同的传感器可以监测车辆的乘座舱和乘座舱中的其他乘客,并且驾驶员监测应用程序150可以基于传感器数据确定与驾驶员相关联的情境(例如,车辆中其他乘客的存在、其他乘客与驾驶员的交互)。
在各种实施方案中,传感器阵列120可以包括生理传感器,例如心率监测器、脑电图(EEG)系统、无线电传感器、热传感器、皮肤电反应传感器(例如,测量由情绪压力引起的皮肤电阻变化的传感器)、非接触式传感器系统、脑磁图(MEG)系统等。在各种实施方案中,驾驶员监测应用程序150可以执行谱熵、加权平均频率、带宽和/或频谱边缘频率,以便根据所获取的传感器数据确定认知负荷。
另外,在一些实施方案中,传感器阵列120可以包括声学传感器,例如获取声音数据的麦克风和/或麦克风阵列。此种声音数据可以通过执行各种自然语言(NL)处理技术、情感分析和/或言语分析的驾驶员监测应用程序150处理,以便确定在环境中说出的短语的语义含义,确定驾驶员与车辆中的任何乘客之间的关系和/或从语义含义推断出情绪参数化度量。在另一个示例中,驾驶员监测应用程序150可以使用语音音调分析来分析所获取的声音数据,以便根据包括在声音数据中的言语信号推断情绪和或关系。在一些实施方案中,驾驶员监测应用程序150可以执行与声音信号的频谱形心频率和/或振幅有关的各种分析技术,以便将声音信号分类为针对认知负荷的特定值。
在一些实施方案中,传感器阵列120可以包括检测车辆的驾驶员和乘客的活动的行为传感器。此类行为传感器可以包括获取相关活动数据的装置,例如获取应用程序使用数据和/或移动装置使用数据的装置。在此类情况下,驾驶员监测应用程序150可以通过确定驾驶员和/或其他车辆乘客当前参加的活动来确定驾驶员状态和情境(例如,驾驶员认知负荷、驾驶员情绪参数化度量、车辆乘客的媒体消费)。例如,驾驶员监测应用程序150可以从车辆乘客使用的装置中获得媒体消费和/或应用程序使用活动以确定车辆乘客活动。
在一些实施方案中,传感器阵列120还可以包括一个或多个传感器装置,所述传感器装置被配置成监测车辆的外部环境。例如,传感器阵列129可以包括成像装置(例如,相机)、光传感器、激光雷达、温度传感器、湿度传感器、气压传感器等。
I/O装置130可以包括能够接收输入的装置,例如键盘、鼠标、触敏屏幕、麦克风和用于向计算装置180提供输入数据的其它输入装置。在各种实施方案中,I/O装置130可以包括能够提供输出的装置,例如显示屏、一个或多个扬声器(例如,用于产生空间声音的扩音器阵列、用于产生高度定向声音的超声扬声器)、触觉装置、非触摸式触觉装置(例如,用于在远处产生触觉感觉)等。I/O装置130中的一个或多个可以并入到计算装置180中,或者可以在计算装置180的外部。I/O装置130经由I/O装置接口104与计算装置180介接。在一些实施方案中,计算装置180和/或一个或多个I/O装置130可以是在车辆中实现的信息娱乐系统的部件。在各种实施方案中,驾驶员监测应用程序150可以基于由一个或多个I/O装置130接收的输入来确定驾驶员状态和/或情境。例如,车辆可以包括具有用户界面的主机单元。在此类情况下,驾驶员监测应用程序150可以基于经由主机单元接收的一个或多个输入来确定驾驶员状态和/或驾驶员的情境。
在各种实施方案中,I/O装置130包括一个或多个音频扬声器132、一个或多个显示装置134以及一个或多个输入装置136。显示装置134的示例包括但不限于LCD显示器、LED显示器、平视显示器、头戴式显示器或触敏屏幕。输入装置136的示例包括但不限于按钮、旋钮、拨盘、触摸板、触敏屏幕、操纵杆或麦克风。另外,I/O装置130可以包括能够接收输入和/或输出的其它装置。
网络160可以经由有线和/或无线通信协议、卫星网络、电话网络、V2X网络(包括蓝牙、低功耗蓝牙(BLE)、无线局域网(WiFi)、蜂窝协议、和/或近场通信(NFC))来实现网络中计算装置180与其它装置之间的通信。网络160是允许在计算装置180与例如服务器、云计算系统、基于云的存储装置或其它联网计算装置或系统的远程系统或装置之间交换数据的任何技术上可行的通信网络类型。例如,网络160可以包括广域网(WAN)、局域网(LAN)、无线网络(例如,Wi-Fi网络、蜂窝数据网络)和/或互联网等。计算装置180经由网络接口106与网络160连接。在一些实施方案中,网络接口106是硬件、软件或者硬件和软件的组合,其被配置成连接到网络160并与所述网络介接。在各种实施方案中,计算装置180可以经由网络160与提供电话会议系统的远程计算系统通信。例如,远程计算系统(例如,云计算系统)可以托管电话会议“空间”,并且计算装置180可以经由电话网络和/或互联网连接到所述电话会议空间。
位置模块138包括用于确定计算装置180的地理位置(例如,车辆的当前位置)的硬件和/或软件部件。位置模块138可以经由获取地理位置数据(例如,从例如全球定位系统(GPS)、格洛纳斯、伽利略、北斗等的全球导航卫星系统)和/或基于来自传感器阵列120的传感器数据确定位置(例如,航位推算)来确定计算装置180的位置。位置模块138还可以将获取的和/或确定的地理位置与数据库142中的导航数据库进行交叉引用,以确定对应于地理位置的地址信息。在一些实施方案中,驾驶员监测应用程序150可以使用车辆的位置来确定驾驶员情境。
在一些实施方案中,计算装置180可以与邻近的另一个计算装置配对和通信。另一计算装置可以使用任何合适的有线(例如,USB电缆)或无线(例如,蓝牙、Wi-Fi)连接经由I/O装置接口104和/或网络接口106和网络160耦合至计算装置180。计算装置180上的应用程序可以与所述另一计算装置上的应用程序通信和介接。例如,会议辅助应用程序152可以与在电话会议会话中传输信息的所述另一计算装置上的会议应用程序通信和介接。
图2示出根据各种实施方案的包括在计算装置180中的会议辅助子系统200。如图所示,会议辅助子系统200包括传感器阵列120、驾驶员监测应用程序150、会议辅助应用程序152和任选地位置模块138。
在操作中,处理单元102执行驾驶员监测应用程序150,所述驾驶员监测应用程序从传感器阵列120接收传感器数据222。驾驶员监测应用程序150处理传感器数据222并基于传感器数据222确定与车辆驾驶员相关联的一个或多个状态和/或情境。驾驶员监测应用程序150可以将驾驶员状态和/或情境传输到会议辅助应用程序152和/或将驾驶员状态和/或情境存储在数据库142中。在一些实施方案中,驾驶员监测应用程序150确定驾驶员状态202、内部情境204和/或外部情境206。与驾驶员相关联的驾驶员状态202可以包括与车辆驾驶员的心理生理状态相关联的生物计量值和/或从生物计量值导出或确定的状态。驾驶员状态202的示例可以包括例如但不限于头部定向和眼睛注视方向、眼睑状态、估计用户正在使用的大脑活动量的认知负荷、估计用户正在经历的情绪的情感负荷(指定为预定义的情绪或与心理生理状态相关的一组情绪参数化度量)、压力水平、驾驶参加水平、分心度量、疲劳度量等。在各种实施方案中,情感负荷可以包括一个或多个单独的情绪度量,例如单独的唤醒度、效价度和/或优势度值。另外或替代地,情感负荷可以包括一个或多个离散的情绪状态和/或每一者的相关值。在确定传感器数据222中驾驶员的生物计量值后,驾驶员监测应用程序150可以经由一个或多个估计算法组合生物计量值,以确定一个或多个驾驶员状态202(例如,作为某些生物计量值的复合的情感认知负荷(ACL)等)。
在一些实施方案中,驾驶员监测应用程序150处理传感器数据222以另外确定一个或多个“内部”情境204。内部情境204包括与车辆的驾驶员和/或车辆的乘座舱相关联的情境信息。内部情境204的示例包括但不限于车辆中的额外乘客的数目、乘客与驾驶员的关系(例如,配偶、孩子、朋友、客户乘客)、乘客的活动(例如,吃饭、睡觉,消费媒体)、乘座舱内的声级、乘座舱中的对话情况(例如,谁在和谁说话)、乘座舱中的媒体消费(例如,正在消费的内容类型,谁正在消费内容,正在消费的识别内容)、车辆出行目的(例如,通勤、开车带孩子参加活动、往返娱乐活动)或车内情绪(例如,乘客的平均情绪状态)。更一般地,内部情境204可以包括与乘客、活动和/或乘座舱中的内容相关联的任何情境信息,所述情境信息可以影响驾驶员在驾驶车辆时参加电话会议的能力。
在一些实施方案中,驾驶员监测应用程序150处理传感器数据222以另外确定一个或多个“外部”情境206。外部情境206包括与车辆外部的环境相关联的情境信息。外部情境206的示例包括但不限于交通密度水平、天气状况、行人密度、检测到的障碍物或其它即将发生的碰撞状况,或道路或路线上的难度水平(例如,道路空旷吗、道路是陡峭的山路吗)。
在一些实施方案中,驾驶员监测应用程序150还可以从位置模块138接收位置数据224,所述位置数据指示与车辆相关联的位置信息。驾驶员监测应用程序150可以使用位置数据224作为附加数据来确定驾驶员状态202(例如,确定历史上驾驶员始终经历高分心水平、高认知负荷、高情绪负荷、高驾驶员参加水平和/或高于阈值的类似物的位置)、内部情境204和/或外部情境206。
在操作中,处理单元102执行会议辅助应用程序152以提供会议辅助服务,和/或与其它应用程序和/或系统介接以提供会议辅助服务。会议辅助服务的示例包括但不限于在电话会议会话中传送驾驶员状态和/或情境信息,或基于驾驶员状态和/或情境对传入的电话会议请求作出响应。会议辅助应用程序152可以从驾驶员监测应用程序150和/或数据库142接收驾驶员状态202、内部情境204和/或外部情境206。会议辅助应用程序152可以从驾驶员状态202、内部情境204和/或外部情境206生成驾驶员状态和/或情境信息230。驾驶员状态和/或情境信息230可以是驾驶员状态202、内部情境204和/或外部情境206的概要、浓缩、可视化或其它可呈现的表达。例如,驾驶员状态和/或情境信息230可以是分数、评级、百分比、单词、颜色、表情符号、表情符、符号、图标和/或代表驾驶员状态202、内部情境204和/或外部情境206的短语。作为另一个示例,驾驶员状态和/或情境信息230可以包括某些特定驾驶员状态参数(例如,认知负荷、情绪负荷、压力水平、心率、脉搏)的可视化(例如,图表、图形)。在一些实施方案中,可以组合驾驶员监测应用程序150和会议辅助应用程序152。
如本文所用,“电话会议”是两方或多方(例如,两个或更多人)为交换和阐明信息、合作或各方之间的任何其它通信而进行的任何聚集,其中各方彼此远离(例如,一方远离其他方,每一方远离其他方等),但各方通过电信系统(例如,网络160,例如电话网络、互联网等)链接在一起。“电话会议会话”是此种电话会议的特定实例。在各种实施方案中,参加电话会议会话的人同时在驾驶车辆或被请求加入电话会议会话的人同时在驾驶车辆。因此,会议辅助应用程序152可以提供会议辅助服务以在电话会议会话中传达驾驶员状态和/或情境信息230和/或在驾驶员正在驾驶车辆时对电话会议请求(例如,传入电话呼叫、传入视频呼叫、加入电话会议的传入邀请)作出响应。
会议辅助应用程序152可以经由文本、图形和/或音频向车辆驾驶员以外的人呈现驾驶员状态和/或情境信息230。在一些实施方案中,会议辅助应用程序152可以在电话会议会话期间以多种形式中的任一种来传输234驾驶员状态和/或情境信息230。这些形式的示例包括但不限于仪表盘式用户界面、听觉反馈(例如,通过言语传达信息的生成语音、音效、根据信息改变速度的非言语音调、天气声音)、环境警报(例如,根据信息改变颜色的灯)、添加到电话会议会话中的文本和/或图形(例如,添加到与电话会议会话相关联的文本聊天中的文本、在电话会议用户界面中显示一方状态的文本)。下面结合图3和图4进一步描述多个这些形式。
此外,会议辅助应用程序152可以基于驾驶员状态202、内部情境204和/或外部情境206代表驾驶员对传入的电话会议请求作出响应232。例如,会议辅助应用程序152可以基于驾驶员状态202、内部情境204和/或外部情境206确定驾驶员的认知负荷高于当传入的电话会议请求(例如,视频聊天呼叫、电话呼叫)时的阈值。基于认知负荷高于阈值,会议辅助应用程序152可以自动地接受或拒绝请求,而无需驾驶员的直接干预。取决于会议辅助应用程序152的用户配置,会议辅助应用程序152可以向提出电话会议请求的一方传送或不传送驾驶员状态和/或情境信息230。下面结合图5A至图5B描述关于对电话会议请求作出响应的其它细节。
在各种实施方案中,如上所述,会议辅助应用程序152可以基于驾驶员状态202、内部情境204和/或外部情境206生成驾驶员状态和/或情境信息230。驾驶员状态和/或情境信息230可以是驾驶员状态202、内部情境204和/或外部情境206到适合于呈现的表达的摘要、浓缩、聚合、翻译、可视化和/或重新格式化。例如,会议辅助应用程序152可以基于驾驶员的认知负荷和情绪负荷确定驾驶员分心或专注分数或评级(例如,值、百分比);驾驶员分心或专注基于驾驶员的认知负荷和情绪负荷对驾驶员的分心或专注水平进行评级,并且代表认知负荷和情绪负荷的复合。作为另一示例,会议辅助应用程序152可以生成将驾驶员状态和/或情境信息230可视化的言语数据。会议辅助应用程序152可以使用任何技术上可行的技术从驾驶员状态202、内部情境204和/或外部情境206生成驾驶员状态和/或情境信息230,所述技术包括但不限于查找表、映射、公式或算法(例如,用于根据认知负荷和情绪负荷计算复合驾驶员分心分数的算法,根据各种生物计量值和参数计算情绪负荷分数的算法)。
在一些实施方案中,会议辅助应用程序152可以与其它应用程序介接以提供会议辅助服务。其它应用程序可以驻留在计算装置180、与计算装置180配对的另一装置中,或者远程装置处。其它应用程序可以包括例如但不限于会议应用程序(例如,视频会议应用程序)、电话应用程序或人员监测应用程序。会议辅助应用程序152可以通过相应的应用程序编程接口以及任选地通过网络160与其它应用程序介接。会议辅助应用程序152可以通过与另一应用程序介接将驾驶员状态和/或情境信息230传输234到使用所述另一应用程序的电话会议会话和/或对由所述另一应用程序接收的传入电话会议请求作出响应232。会议辅助应用程序152可以通过网络160将驾驶员状态和/或情境信息230传输234到主持电话会议会话的远程系统,其中远程系统将驾驶员状态和/或情境信息230转发给电话会议会话中的一个或多个其它装置。在一些其它实施方案中,会议辅助应用程序152可以集成在另一应用程序内(例如,在视频会议应用程序内)。
在一些实施方案中,会议辅助应用程序152确定与电话会议会话相关联的其他人(例如,参加电话会议会话的其他人、向驾驶员提出电话会议请求的人)是否被批准接收与驾驶员相关联的驾驶员状态和情境信息230。会议辅助应用程序152可以基于用户(例如,驾驶员)可配置的白名单和/或黑名单中的一个或多个来确定此批准,或者提示驾驶员批准或不批准某人。在一些实施方案中,如果与电话会议会话相关联的至少一个其他人不被批准接收与驾驶员相关联的驾驶员状态和情境信息230,则会议辅助应用程序152抑制与驾驶员相关联的驾驶员状态和情境信息230的传输。在一些其它实施方案中,如果与电话会议会话相关联的至少一个其他人被批准接收与驾驶员相关联的驾驶员状态和情境信息230,则会议辅助应用程序152传输与驾驶员相关联的驾驶员状态和情境信息230。在一些其它实施方案中,会议辅助应用程序152将驾驶员状态和情境信息230传输给被批准的人并抑制向不被批准的人的传输,或者以其它方式使驾驶员状态和情境信息230呈现给被批准的人并且抑制向不被批准的人的呈现。
图3示出根据各种实施方案的示例电话会议用户界面300,其包括指示参加电话会议的一个或多个人的驾驶员状态的信息。电话会议用户界面300可以是在活动电话会议会话期间由视频会议应用程序显示的用户界面。电话会议用户界面300可以包括显示参加电话会议会话的人的窗口或区域302。例如,如图3中所示,电话会议用户界面300包括区域302-1到302-6,其显示参加电话会议会话的人数。此外,如果一个或多个人在参加电话会议会话时正在驾驶车辆,则可以在电话会议用户界面300中显示与这些人相关联的驾驶员状态和情境信息230。驾驶员状态和情境信息230可以由与视频会议应用程序结合操作(例如,与视频会议应用程序介接)的会议辅助应用程序152提供。因此,在区域302-1中,为人A显示指示驾驶状态和专注等级的驾驶员状态信息304。在区域302-6中,为人F显示驾驶状态和专注等级的驾驶员状态306信息。驾驶员状态信息304和306分别向电话会议会话中的其他人传达人A和人F的驾驶员状态,使得电话会议中的人意识到人A和人F可能从电话会议分心。在一些实施方案中,用户可以选择区域302(例如,通过点击或轻敲区域302)。响应于所述选择,会议辅助应用程序152可以使得显示仪表盘等(例如,下面结合图4描述的仪表盘400),所述仪表盘显示与对应于所选择区域302的用户相关联的附加驾驶员状态和情境信息230。例如,用户可以选择区域302-6,并且响应于所述选择,会议辅助应用程序152将使得显示具有人F的驾驶员状态和情境信息230的仪表板。
图4示出根据各种实施方案的用于监测电话会议的一方的状态和情境的示例仪表板400。在各种实施方案中,会议辅助应用程序152可以通过网络160将驾驶员状态和情境信息230提供到另一装置上的人员监测应用程序中。在另一装置上的人员监测应用程序可以具有仪表板400,所述仪表板是可以为多人(例如,电话会议的参与者、彼此通信和/或与中央协调员通信的团队成员)呈现驾驶员状态和情境信息230的用户界面。如图所示,仪表板400包括窗口或区域402-1到402-6,所述窗口或区域为每个驾驶员呈现各种驾驶员状态和/或情境参数。参数可以包括数值或分数,以及图表或图形。例如,区域402-1示出驾驶员的当前心率,并且区域402-2示出一段时间内驾驶员的皮肤电导的图表。区域402-3到402-6分别示出对驾驶员的认知负荷、情绪负荷、压力水平和参加水平进行评级的值或分数。仪表板400中示出的值或分数以及图表和图形可以随着由人员监测应用程序从会议辅助应用程序152接收更新的驾驶员状态和情境信息230而进行更新。仪表板400还包括“团队成员列表”按钮404。用户可以激活按钮404(例如,点击或轻敲按钮404以选择按钮404),以打开可以在仪表板400中显示驾驶员状态和情境信息230的人员列表。用户可以从列表中选择一个人,并且作为响应,会议辅助应用程序152用所选人的驾驶员状态和/或情境参数填充区域402。
图5A至图5B示出根据各种实施方案的用于响应于电话会议请求而传送驾驶员状态和情境信息230的过程步骤的流程图。图5A至5B示出过程500,其中计算装置180使用驾驶员状态和情境信息230(和/或驾驶员状态202、内部情境204和/或外部情境206)对电话会议请求作出响应,并将驾驶员状态和情境信息230传输给电话会议中的其他人。
如图所示,在步骤502处,计算装置180接收电话会议请求。例如,计算装置180可以接收传入电话呼叫、传入视频聊天,或加入电话会议会话的传入邀请。会议辅助应用程序152可以与请求所指向的另一应用程序(例如,电话应用程序、视频会议应用程序)结合接收所述请求。
在步骤504处,计算装置180确定驾驶员状态和情境。驾驶员监测应用程序150可以从传感器阵列120接收传感器数据222并基于传感器数据222确定驾驶员状态202、内部情境204和/或外部情境206。驾驶员监测应用程序150将驾驶员状态202、内部情境204和/或外部情境206传输到会议辅助应用程序152。会议辅助应用程序152可以基于驾驶员状态202、内部情境204和/或外部情境206确定驾驶员状态和/或情境信息230。
在步骤506处,计算装置180确定其他人(即,提出在步骤502中接收到的请求的人)是否被批准接收驾驶员状态和/或情境信息230。在一些实施方案中,会议辅助应用程序152可以由用户(例如,车辆的驾驶员)配置为包括被预先批准接收驾驶员状态和/或情境信息230的其他人的列表。
如果其他人被预先批准,则在步骤508处,计算装置180将驾驶员状态和/或情境信息230传输给其他人,从而将车辆驾驶员的当前驾驶员状态和情境通知给其他人。会议辅助应用程序152可以通过网络160将驾驶员状态和/或情境信息230(例如,可听地指示驾驶员状态和/或情境信息230并且可以在另一装置处输出的音频信号、可以显示在另一装置的显示器上的驾驶员状态和/或情境信息230)传输到另一个人的装置。过程500然后进行到步骤512。
如果其他人未被预先批准,则在步骤510处,计算装置180确定驾驶员是否愿意批准其他人是否可以接收当前电话会议的驾驶员状态和/或情境信息230。例如,会议辅助应用程序152可以提示驾驶员一次批准或拒绝另一人接收驾驶员状态和/或情境信息230。如果其他人没有被驾驶员批准接收驾驶员状态和/或情境信息230,则过程500进行到步骤512。如果其他人被驾驶员批准,则过程500进行到步骤508,其中计算装置180(例如,会议辅助应用152)将驾驶员状态和/或情境信息230传输给其他人,如上所述,然后过程500行进到步骤512。
在步骤512处,计算装置180基于驾驶员状态和/或情境信息230确定是否代表驾驶员拒绝在步骤502接收到的请求,以防止驾驶员在驾驶车辆的同时另外承担参加电话会议的负担。例如,如果驾驶员的分心水平、认知负荷、情绪负荷等超过阈值,则会议辅助应用程序152可以自动地拒绝传入请求。作为另一示例,如果车辆位于驾驶员经历超过阈值的分心水平、认知负荷、情绪负荷等的位置,则会议辅助应用程序152可以自动地拒绝传入请求。如果会议辅助应用程序152确定应自动地拒绝请求,则过程500行进到步骤514,其中过程500结束(例如,会议辅助应用程序152拒绝所述请求并且将指示这种情况的信息传输到另一装置,会议辅助应用程序152仅忽略所述请求)。如果会议辅助应用程序152确定不应自动地拒绝请求,则过程500行进到步骤516。
在步骤516处,计算装置180确定驾驶员是否已接受请求。如果没有自动地拒绝请求,则驾驶员可以手动地接受或拒绝请求。如果驾驶员拒绝请求(例如,拒绝呼叫或加入邀请),则过程500行进到步骤514,其中过程500结束。如果驾驶员接受请求,则过程500行进到步骤518,其中计算装置180加入电话会议会话。会议辅助应用程序152可以与请求所指向的另一应用程序(例如,会议应用程序)结合加入会话。
在步骤520处,计算装置180确定更新的驾驶员状态和情境。例如,驾驶员监测应用程序150可以从传感器阵列120接收更新的传感器数据222并基于更新的传感器数据222确定更新的驾驶员状态202、内部情境204和/或外部情境206。驾驶员监测应用程序150将更新的驾驶员状态202、内部情境204和/或外部情境206传输到会议辅助应用程序152。会议辅助应用程序152可以基于更新的驾驶员状态202、内部情境204和/或外部情境206确定更新的驾驶员状态和/或情境信息230。在一些实施方案中,步骤506、508和510可以在步骤520之后执行,而不是在所示的步骤504之后执行,或者除了在步骤504之后执行之外还在步骤520之后执行。也就是说,在已接受电话会议请求之后,会议辅助应用程序152可以基于其他人是否被驾驶员批准接收驾驶员的驾驶员状态和/或情境信息230来确定是否将驾驶员状态和/或情境信息230传输给电话会议中的任何其他人。
在步骤522处,计算装置180可以将更新的驾驶员状态和/或情境信息230传输给其他人或参加电话会议的其他人。会议辅助应用程序152可以通过网络160将更新的驾驶员状态和/或情境信息230传输到一个或多个其他人的装置,其类似于以上步骤508中驾驶员状态和/或情境信息230的传输。
在步骤524处,计算装置180确定是否已结束会话。如果会话还没有结束,则过程500返回到步骤520,其中计算装置180确定更新的驾驶员状态和情境。如果会话已经结束,则过程500行进到步骤514,其中过程500结束。
如上文在图3至图5B中所示,会议辅助应用程序152可以以各种形式提供驾驶员状态和/或情境信息230,以通知参与电话会议的其他人驾驶员状态和情境和/或减轻驾驶员在驾驶车辆时的电话会议负担。其它形式在所公开的实施方案的范围内。例如,驾驶员状态和/或情境信息230可以包括指示驾驶员状态和/或情境的词或短语,并且所述词或短语可以类似地呈现为值(例如,显示在显示器上、用言语说出)。会议辅助应用程序152可以在电话会议会话的音频中添加说出或以其它方式指示驾驶员状态和/或情境信息230的音频(例 如,将说出驾驶员状态和/或情境信息230的音频信号输出到电话会议会话的音频流中、通过音调的速度输出传达驾驶员状态和/或情境信息230的非言语音频音调)。另外或替代地,会议辅助应用程序152可以将指示驾驶员状态和/或情境信息230的文本和/或图形输入到与电话会议会话相关联的聊天中。此外,另外或替代地,会议辅助应用程序152可以命令另一装置在视觉上传达驾驶员状态和/或情境信息230(例如,通过在所述另一装置处的环境照明,所述环境照明根据驾驶员状态和/或情境改变颜色或颜色变化的速率)。
在一些实施方案中,会议辅助应用程序152可以基于驾驶员状态和情境信息230自动地接受电话会议请求,以及自动地拒绝电话会议请求。例如,会议辅助应用程序152可以自动地拒绝电话会议请求,如上所述,或自动地接受电话会议请求。如果驾驶员的分心水平、认知负荷、情绪负荷等低于第二阈值,则会议辅助应用程序152可以自动地接受电话会议请求。第二阈值可以与上文关于在步骤512中自动地拒绝电话会议请求所描述的阈值相同或不同。如果第二阈值是不同的阈值,并且分心水平等在两个阈值之间,则会议辅助应用程序152可以允许驾驶员手动地接受或拒绝电话会议请求,如上面的步骤516中。
图6是根据各种实施方案的用于在电话会议中传送驾驶员状态和情境信息的方法步骤的流程图。尽管相对于图1至图5B的系统描述方法步骤,但是本领域技术人员将理解,被配置为以任何顺序执行方法步骤的任何系统落入各种实施方案的范围内。
如图所示,方法600开始于步骤602,其中计算装置180获得与车辆驾驶员相关联的传感器数据和与车辆相关联的传感器数据。计算装置180(例如,驾驶员监测应用程序150)从车辆的传感器阵列120获得传感器数据222。传感器数据222可以包括车辆驾驶员的生物计量数据,以及监测车辆乘座舱和任选地车辆外部环境的传感器数据。
在步骤604处,计算装置180基于传感器数据确定驾驶员状态和情境。驾驶员监测应用程序150可以基于传感器数据222确定驾驶员状态202、内部情境204和/或外部情境206。
在步骤606处,计算装置180基于驾驶员状态和情境生成信息。会议辅助应用程序152可以基于驾驶员状态202、内部情境204和/或外部情境206确定驾驶员状态和情境信息230。
在步骤608处,计算装置180在电话会议会话中传输信息。会议辅助应用程序152可以在正在进行的电话会议会话中传输驾驶员状态和情境信息230。例如,会议辅助应用程序152可以将驾驶员状态和情境信息230传输到主持电话会议会话的远程计算系统,并且远程计算系统可以将驾驶员状态和情境信息230传输到与电话会议会话中的各方相关联的装置以显示在装置上。
总之,所公开的技术可以用于提供电话会议能力,所述电话会议能力可以基于同时驾驶车辆的参加电话会议的人的状态和情境来说明和/或传达信息。计算系统从传感器阵列获得传感器数据,所述传感器阵列监测车辆的驾驶员以及车辆的乘座舱以及任选地车辆的其他乘客。任选地,计算系统还从监测车辆外部环境的传感器阵列获得传感器数据。计算系统基于传感器数据确定驾驶员状态和/或情境。计算系统可以以各种形式基于驾驶员状态和/或情境来传送信息。在一些实施方案中,可以响应于传入的电话会议请求以及在电话会议期间传送基于驾驶员状态和/或情境的信息。
所公开的技术的至少一个优点和技术改进是可以将指示同时驾驶车辆的参加电话会议的人的状态和/或情境的信息自动地传送给参加电话会议的其他人。因此,其他人可以基于所述信息调整对电话会议的期望或中止电话会议。另一个优点和改进是可以基于驾驶员状态和/或情境自动地接受或拒绝传入的电话会议请求,从而允许驾驶员专注于驾驶车辆,而没有必须拒绝传入的电话会议请求的额外负担。
1.在一个实施方案中,一种计算机实现的方法包括:获得与车辆驾驶员相关联的传感器数据;基于所述传感器数据确定与所述驾驶员相关联的状态;以及将与所述驾驶员相关联的所述状态传输到电话会议会话,其中所述驾驶员是所述电话会议会话的参与者或受邀者中的至少一个。
2.如条款1所述的方法,其中与所述驾驶员相关联的所述状态包括与所述驾驶员相关联的认知负荷、情绪负荷或生物计量参数中的至少一个。
3.如条款1或2所述的方法,还包括确定与所述车辆的乘座舱相关联的情境。
4.如条款1至3中任一项所述的方法,其中与所述车辆的所述乘座舱相关联的所述情境包括所述乘座舱中的乘客或所述乘座舱中的活动中的至少一个。
5.如条款1至4中任一项所述的方法,其中确定与所述驾驶员相关联的所述状态包括进一步基于与所述乘座舱相关联的所述情境确定与所述驾驶员相关联的所述状态。
6.如条款1至5中任一项所述的方法,还包括确定与所述车辆外部的环境相关联的情境。
7.如条款1至6中任一项所述的方法,其中与所述车辆外部的所述环境相关联的所述情境包括交通密度水平、天气或所述车辆的位置中的至少一个。
8.如条款1至7中任一项所述的方法,其中确定与所述驾驶员相关联的所述状态包括进一步基于与所述车辆外部的所述环境相关联的所述情境确定与所述驾驶员相关联的所述状态。
9.如条款1至8中任一项所述的方法,其中与所述驾驶员相关联的所述状态包括表示与所述驾驶员相关联的分心水平或专注水平的值。
10.如条款1至9中任一项所述的方法,其中将与所述驾驶员相关联的所述状态传输到所述电话会议会话包括将与所述驾驶员相关联的所述状态传输到主持所述电话会议会话的远程系统,其中所述远程系统被配置为将与所述驾驶员相关联的所述状态传输到与参加所述电话会议会话的一个或多个人相关联的装置。
11.在一些实施方案中,一种系统包括与车辆相关联的一个或多个传感器装置;存储应用程序的存储器;以及处理器,所述处理器在执行所述应用程序时被配置为从所述一个或多个传感器装置获得与车辆驾驶员相关联的传感器数据;基于所述传感器数据确定与所述驾驶员相关联的状态;并且将与所述驾驶员相关联的所述状态传输到电话会议会话,其中所述驾驶员是所述电话会议会话的参与者或受邀者中的至少一个。
12.如条款11所述的系统,其中所述处理器在执行所述应用程序时还被配置为从所述一个或多个传感器装置获得与所述车辆的乘座舱相关联的第二传感器数据;基于所述第二传感器数据确定与所述车辆的所述乘座舱相关联的情境;并且进一步基于与所述乘座舱相关联的所述情境来确定与所述驾驶员相关联的所述状态。
13.如条款11或12所述的系统,其中所述处理器在执行所述应用程序时还被配置为从所述一个或多个传感器装置获得与所述车辆外部的环境相关联的第三传感器数据;基于所述第三传感器数据确定与所述车辆外部的所述环境相关联的情境;并且进一步基于与所述车辆外部的所述环境相关联的所述情境来确定与所述驾驶员相关联的所述状态。
14.如条款11至13中任一项所述的系统,其中所述处理器在执行所述应用程序时还被配置为接收与所述电话会议会话相关联的电话会议请求;并基于与所述驾驶员相关联的所述状态接受所述电话会议请求。
15.如条款11至14中任一项所述的系统,其中所述处理器在执行所述应用程序时还被配置为接收与所述电话会议会话相关联的电话会议请求;并基于与所述驾驶员相关联的所述状态拒绝所述电话会议请求。
16.如条款11至15中任一项所述的系统,其中将与所述驾驶员相关联的所述状态传输到所述电话会议会话包括确定所述电话会议会话中的其他人被批准接收与所述驾驶员相关联的所述状态。
17.在一些实施方案中,一种或多种非暂时性计算机可读存储介质包括指令,所述指令当由一个或多个处理器执行时使所述一个或多个处理器执行以下步骤:获得与车辆驾驶员相关联的传感器数据;基于所述传感器数据确定与所述驾驶员相关联的状态;接收电话会议请求;并且基于与所述驾驶员相关联的所述状态对所述电话会议请求作出响应。
18.如条款17所述的一种或多种非暂时性计算机可读存储介质,其中对所述电话会议请求作出响应包括将与所述驾驶员相关联的所述状态传输到与提出所述电话会议请求的人相关联的装置。
19.如条款17或18所述的一种或多种非暂时性计算机可读存储介质,其中所述步骤还包括加入与所述电话会议请求相关联的电话会议会话;并将与所述驾驶员相关联的所述状态传输到所述电话会议会话。
20.如条款17至19中任一项所述的一种或多种非暂时性计算机可读存储介质,其中对所述电话会议请求作出响应包括基于与所述驾驶员相关联的所述状态自动地拒绝所述电话会议请求。
任何权利要求中引用的任何权利要求元素和/或本申请中描述的任何元素的以任何方式的任何和所有组合落入本公开和保护的预期范围内。
各种实施方案的描述已经呈现以用于说明目的,而并非意在穷举或限于所公开的实施方案。在不脱离所描述的实施方案的范围和精神的情况下,许多修改和变化对于本领域普通技术人员来说将是明显的。
本实施方案的各方面可体现为系统、方法或计算机程序产品。因此,本公开的各方面可采用以下形式:完全硬件实施方案、完全软件实施方案(包括固件、常驻软件、微代码等)或组合了软件方面与硬件方面的实施方案,所述各实施方案在本文中一般都可称为“模块”、“系统”或“计算机”。另外,本公开中描述的任何硬件和/或软件技术、过程、功能、部件、引擎、模块或系统可被实现为电路或电路的集合。此外,本公开的各方面可采用计算机程序产品的形式,所述计算机程序产品在其上实施有计算机可读程序代码的一个或多个计算机可读介质中实施。
可利用一个或多个计算机可读介质的任何组合。计算机可读介质可为计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是例如但不限于电子、磁性、光学、电磁、红外或半导体系统、设备或装置或前述介质的任何合适组合。计算机可读存储介质的更具体示例(非详尽列表)将包括以下介质:具有一个或多个导线的电气连接、便携式计算机软盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦可编程只读存储器(EPROM或快闪存储器)、光纤、便携式光盘只读存储器(CD-ROM)、光学存储装置、磁存储装置或前述介质的任何合适的组合。在本文档的语境中,计算机可读存储介质可以是可含有或存储供指令执行系统、设备或装置使用或与其联用的程序的任何有形介质。
参考根据本公开的实施方案的方法、设备(系统)和计算机程序产品的流程图图解和/或框图来描述本公开的各方面。应理解,流程图图解和/或框图中的每个框以及流程图图解和/或框图中的框的组合能够通过计算机程序指令来实现。可以将这些计算机程序指令提供给通用计算机、专用计算机或其他可编程数据处理设备的处理器以产生机器。所述指令当经由计算机或其它可编程数据处理设备的处理器执行时,使得能够实现流程图和/或框图的一个或多个框中所指定的功能/动作。此类处理器可为但不限于通用处理器、特殊用途处理器、专用处理器或现场可编程门阵列。
附图中的流程图和框图图示了根据本公开的各种实施方案的系统、方法和计算机程序产品的可能实现方式的体系架构、功能和操作。在这个方面,流程图或框图中的每个框可以表示代码的模块、区段或部分,所述代码包括用于实现所指定的逻辑功能的一个或多个可执行指令。还应注意,在一些替代实现方式中,框中所提出的功能可以不按附图中提出的顺序发生。例如,实际上依据所涉及的功能性,可基本上同时执行连续示出的两个框,或者有时可以相反的顺序执行所述框。还应当指出的是,框图和/或流程图图解的每个框以及框图和/或流程图图解中的框的组合可以由执行规定的功能或动作的基于专用硬件的系统或者专用硬件和计算机指令的组合来实现。
虽然前述内容针对本公开的实施方案,但是可以在不脱离本公开的基本范围的情况下设计出本公开的其它和更多实施方案,且所述范围由所附权利要求确定。
Claims (20)
1.一种计算机实现的方法,其包括:
获得与车辆的驾驶员相关的传感器数据;
基于所述传感器数据确定与所述驾驶员相关联的状态;以及
将与所述驾驶员相关联的所述状态传输到电话会议会话,其中所述驾驶员是所述电话会议会话的参与者或受邀者中的至少一个。
2.如权利要求1所述的方法,其中与所述驾驶员相关联的所述状态包括与所述驾驶员相关联的认知负荷、情绪负荷或生物计量参数中的至少一个。
3.如权利要求1所述的方法,还包括确定与所述车辆的乘座舱相关联的情境。
4.如权利要求3所述的方法,其中与所述车辆的所述乘座舱相关联的所述情境包括所述乘座舱中的乘客或所述乘座舱中的活动中的至少一个。
5.如权利要求3所述的方法,其中确定与所述驾驶员相关联的所述状态包括进一步基于与所述乘座舱相关联的所述情境确定与所述驾驶员相关联的所述状态。
6.如权利要求1所述的方法,还包括确定与所述车辆的外部的环境相关联的情境。
7.如权利要求6所述的方法,其中与所述车辆的外部的所述环境相关联的所述情境包括交通密度水平、天气或所述车辆的位置中的至少一个。
8.如权利要求6所述的方法,其中确定与所述驾驶员相关联的所述状态包括进一步基于与所述车辆的外部的所述环境相关联的所述情境确定与所述驾驶员相关联的所述状态。
9.如权利要求1所述的方法,其中与所述驾驶员相关联的所述状态包括表示与所述驾驶员相关联的分心水平或专注水平的值。
10.如权利要求1所述的方法,其中将与所述驾驶员相关联的所述状态传输到所述电话会议会话包括将与所述驾驶员相关联的所述状态传输到主持所述电话会议会话的远程系统,其中所述远程系统被配置为将与所述驾驶员相关联的所述状态传输到与参加所述电话会议会话的一个或多个人相关联的装置。
11.一种系统,其包括:
与车辆相关联的一个或多个传感器装置;
存储器,所述存储器存储应用程序;以及
处理器,所述处理器在执行所述应用程序时被配置为:
从所述一个或多个传感器装置获得与车辆的驾驶员相关的传感器数据;
基于所述传感器数据确定与所述驾驶员相关联的状态;以及
将与所述驾驶员相关联的所述状态传输到电话会议会话,其中所述驾驶员是所述电话会议会话的参与者或受邀者中的至少一个。
12.如权利要求11所述的系统,其中所述处理器在执行所述应用程序时还被配置为:
从所述一个或多个传感器装置获得与所述车辆的乘座舱相关联的第二传感器数据;
基于所述第二传感器数据确定与所述车辆的所述乘座舱相关联的情境;以及
进一步基于与所述乘座舱相关联的所述情境来确定与所述驾驶员相关联的所述状态。
13.如权利要求11所述的系统,其中所述处理器在执行所述应用程序时还被配置为:
从所述一个或多个传感器装置获得与所述车辆的外部的环境相关联的第三传感器数据;
基于所述第三传感器数据确定与所述车辆的外部的所述环境相关联的情境;以及
进一步基于与所述车辆的外部的所述环境相关联的所述情境来确定与所述驾驶员相关联的所述状态。
14.如权利要求11所述的系统,其中所述处理器在执行所述应用程序时还被配置为:
接收与所述电话会议会话相关联的电话会议请求;以及
基于与所述驾驶员相关联的所述状态接受所述电话会议请求。
15.如权利要求11所述的系统,其中所述处理器在执行所述应用程序时还被配置为:
接收与所述电话会议会话相关联的电话会议请求;以及
基于与所述驾驶员相关联的所述状态拒绝所述电话会议请求。
16.如权利要求11所述的系统,其中将与所述驾驶员相关联的所述状态传输到所述电话会议会话包括确定所述电话会议会话中的其他人被批准接收与所述驾驶员相关联的所述状态。
17.一种或多种非暂时性计算机可读存储介质,其包括指令,所述指令在由一个或多个处理器执行时使所述一个或多个处理器执行以下步骤:
获得与车辆的驾驶员相关的传感器数据;
基于所述传感器数据确定与所述驾驶员相关联的状态;
接收电话会议请求;以及
基于与所述驾驶员相关联的所述状态对所述电话会议请求作出响应。
18.如权利要求17所述的一种或多种非暂时性计算机可读存储介质,其中对所述电话会议请求作出响应包括将与所述驾驶员相关联的所述状态传输到与提出所述电话会议请求的人相关联的装置。
19.如权利要求17所述的一种或多种非暂时性计算机可读存储介质,其中所述步骤还包括:
加入与所述电话会议请求相关联的电话会议会话;以及
将与所述驾驶员相关联的所述状态传输到所述电话会议会话。
20.如权利要求17所述的一种或多种非暂时性计算机可读存储介质,其中对所述电话会议请求作出响应包括基于与所述驾驶员相关联的所述状态自动地拒绝所述电话会议请求。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/064,492 | 2020-10-06 | ||
US17/064,492 US11539762B2 (en) | 2020-10-06 | 2020-10-06 | Conferencing based on driver state and context |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114379567A true CN114379567A (zh) | 2022-04-22 |
Family
ID=80738225
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111159708.8A Pending CN114379567A (zh) | 2020-10-06 | 2021-09-30 | 基于驾驶员状态和情境的会议 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11539762B2 (zh) |
CN (1) | CN114379567A (zh) |
DE (1) | DE102021125827A1 (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11273836B2 (en) * | 2017-12-18 | 2022-03-15 | Plusai, Inc. | Method and system for human-like driving lane planning in autonomous driving vehicles |
US11787342B2 (en) * | 2021-01-13 | 2023-10-17 | Magna Electronics Inc. | Vehicular cabin monitoring camera system with dual function |
US20220363264A1 (en) * | 2021-05-14 | 2022-11-17 | International Business Machines Corporation | Assessing driver cognitive state |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6151619A (en) * | 1996-11-26 | 2000-11-21 | Apple Computer, Inc. | Method and apparatus for maintaining configuration information of a teleconference and identification of endpoint during teleconference |
EP1203284B1 (en) * | 1999-06-30 | 2008-08-13 | Silverbrook Research Pty. Limited | Method and system for conferencing |
US9298994B2 (en) | 2014-01-09 | 2016-03-29 | Harman International Industries, Inc. | Detecting visual inattention based on eye convergence |
US10399575B2 (en) * | 2015-01-12 | 2019-09-03 | Harman International Industries, Incorporated | Cognitive load driving assistant |
US10148522B2 (en) * | 2015-03-09 | 2018-12-04 | Avaya Inc. | Extension of authorization framework |
US20160267335A1 (en) * | 2015-03-13 | 2016-09-15 | Harman International Industries, Incorporated | Driver distraction detection system |
US9884628B1 (en) * | 2015-09-01 | 2018-02-06 | State Farm Mutual Automobile Insurance Company | Systems and methods for graduated response to impaired driving |
US9820108B1 (en) * | 2015-10-20 | 2017-11-14 | Allstate Insurance Company | Connected services configurator |
US10509964B2 (en) * | 2017-01-11 | 2019-12-17 | Microsoft Technology Licensing, Llc | Toggle view functions for teleconferencing sessions |
US10655978B2 (en) | 2018-06-27 | 2020-05-19 | Harman International Industries, Incorporated | Controlling an autonomous vehicle based on passenger behavior |
US10850746B2 (en) | 2018-07-24 | 2020-12-01 | Harman International Industries, Incorporated | Coordinating delivery of notifications to the driver of a vehicle to reduce distractions |
US10764536B2 (en) * | 2018-12-27 | 2020-09-01 | Denso International America, Inc. | System and method for a dynamic human machine interface for video conferencing in a vehicle |
US11535260B2 (en) | 2020-03-05 | 2022-12-27 | Harman International Industries, Incorporated | Attention-based notifications |
US11532319B2 (en) | 2020-03-16 | 2022-12-20 | Harman International Industries, Incorporated | Techniques for separating driving emotion from media induced emotion using an additive/subtractive, conjunctive, disjunctive, or Bayesian technique in a driver monitoring system |
US10967871B1 (en) | 2020-03-27 | 2021-04-06 | Harman International Industries, Incorporated | Automatically estimating skill levels and confidence levels of drivers |
US11702103B2 (en) | 2020-04-02 | 2023-07-18 | Harman International Industries, Incorporated | Affective-cognitive load based digital assistant |
-
2020
- 2020-10-06 US US17/064,492 patent/US11539762B2/en active Active
-
2021
- 2021-09-30 CN CN202111159708.8A patent/CN114379567A/zh active Pending
- 2021-10-05 DE DE102021125827.8A patent/DE102021125827A1/de active Pending
Also Published As
Publication number | Publication date |
---|---|
DE102021125827A1 (de) | 2022-04-07 |
US20220109705A1 (en) | 2022-04-07 |
US11539762B2 (en) | 2022-12-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114379567A (zh) | 基于驾驶员状态和情境的会议 | |
KR102658445B1 (ko) | 음성 정동 변조 | |
US11423895B2 (en) | Method and system for providing an interactive interface | |
JP2002034936A (ja) | 通信装置および通信方法 | |
US20230303118A1 (en) | Affective-cognitive load based digital assistant | |
US20190279629A1 (en) | Speech system | |
CN108139880B (zh) | 用于语音生成设备的定向个人通信 | |
CN108140045B (zh) | 在增强和替代通信系统中支持感知和对话处理量 | |
JP2019062490A (ja) | 制御装置、制御方法、プログラム及び制御システム | |
US9361316B2 (en) | Information processing apparatus and phrase output method for determining phrases based on an image | |
US20210404830A1 (en) | Navigation device, vehicle, navigation method, and non-transitory storage medium | |
WO2019198299A1 (ja) | 情報処理装置及び情報処理方法 | |
CN116888574A (zh) | 共存会话中的数字助理交互 | |
JP2006136742A (ja) | 通信装置 | |
Karatas et al. | NAMIDA: How to reduce the cognitive workload of driver | |
US20190173683A1 (en) | Information processing apparatus and information processing system | |
Artiran et al. | Analysis of Gaze, Head Orientation and Joint Attention in Autism with Triadic VR Interviews | |
WO2022019119A1 (ja) | 情報処理装置、情報処理方法、プログラム、および情報処理システム | |
Wang et al. | Enhancing social closeness between drivers by digital augmentation | |
WO2023243469A1 (ja) | 電子機器、電子機器の制御方法及び制御プログラム | |
WO2023145849A1 (ja) | プログラム、情報処理方法、端末、サーバ | |
Miyakawa et al. | Eye-Phonon: Wearable Sonification System based on Smartphone that Colors and Deepens the Daily Conversations for Person with Visual Impairment | |
JP2021099670A (ja) | 情報処理装置及びプログラム | |
JP2023140221A (ja) | 情報処理装置、情報処理システム、コミュニケーション支援システム、情報処理方法及びプログラム | |
Boyd | From Sensory Perception to Realtime NonVerbal Communication |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |