CN113815628A - 基于用户精神状态修改媒体内容播放 - Google Patents
基于用户精神状态修改媒体内容播放 Download PDFInfo
- Publication number
- CN113815628A CN113815628A CN202110664572.XA CN202110664572A CN113815628A CN 113815628 A CN113815628 A CN 113815628A CN 202110664572 A CN202110664572 A CN 202110664572A CN 113815628 A CN113815628 A CN 113815628A
- Authority
- CN
- China
- Prior art keywords
- media content
- mental state
- state metric
- computer
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000006996 mental state Effects 0.000 title claims abstract description 189
- 238000000034 method Methods 0.000 claims abstract description 76
- 230000001149 cognitive effect Effects 0.000 claims description 51
- 230000002996 emotional effect Effects 0.000 claims description 45
- 230000003340 mental effect Effects 0.000 claims description 38
- 230000015654 memory Effects 0.000 claims description 21
- 238000010801 machine learning Methods 0.000 claims description 17
- 238000005259 measurement Methods 0.000 claims description 17
- 210000001747 pupil Anatomy 0.000 claims description 13
- 230000004044 response Effects 0.000 claims description 13
- 238000012545 processing Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 14
- 230000036651 mood Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 230000000694 effects Effects 0.000 description 7
- 230000004434 saccadic eye movement Effects 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 6
- 230000008451 emotion Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000006399 behavior Effects 0.000 description 5
- 239000008280 blood Substances 0.000 description 5
- 210000004369 blood Anatomy 0.000 description 5
- 230000003139 buffering effect Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000013500 data storage Methods 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 230000008921 facial expression Effects 0.000 description 4
- 231100000430 skin reaction Toxicity 0.000 description 4
- 230000037007 arousal Effects 0.000 description 3
- 230000007177 brain activity Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000001537 neural effect Effects 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 description 2
- 206010047513 Vision blurred Diseases 0.000 description 2
- 239000000654 additive Substances 0.000 description 2
- 230000000996 additive effect Effects 0.000 description 2
- 230000036772 blood pressure Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000012141 concentrate Substances 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000008103 glucose Substances 0.000 description 2
- 238000006213 oxygenation reaction Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000241 respiratory effect Effects 0.000 description 2
- 230000036387 respiratory rate Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- LQIAZOCLNBBZQK-UHFFFAOYSA-N 1-(1,2-Diphosphanylethyl)pyrrolidin-2-one Chemical compound PCC(P)N1CCCC1=O LQIAZOCLNBBZQK-UHFFFAOYSA-N 0.000 description 1
- 206010011469 Crying Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000000537 electroencephalography Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002582 magnetoencephalography Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000003304 psychophysiological effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/005—Reproducing at a different information rate from the information rate of recording
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
- B60K35/22—Display screens
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/26—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using acoustic output
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/16—Type of output information
- B60K2360/164—Infotainment
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/16—Type of output information
- B60K2360/165—Videos and animations
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/40—Hardware adaptations for dashboards or instruments
- B60K2360/48—Sensors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0872—Driver physiology
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0062—Adapting control system settings
- B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/10—Accelerator pedal position
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/18—Steering angle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/22—Psychological state; Stress level or workload
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/225—Direction of gaze
Landscapes
- Engineering & Computer Science (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Automation & Control Theory (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Computer Networks & Wireless Communication (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Mathematical Physics (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本公开的实施方案阐述一种用于播放媒体内容的计算机实现的方法，所述计算机实现的方法包括：基于传感器数据确定与访问媒体内容的用户相关联的第一精神状态；以及基于所述第一精神状态来修改媒体内容的播放。
Description
技术领域
各种实施方案总体涉及心理生理感测系统，并且更具体地涉及基 于用户精神状态来修改媒体内容播放。
背景技术
与给定环境进行交互时，用户可能将其专注力分散在多个任务之 间。在各种环境中，用户可能执行主要任务，诸如驾驶车辆、工作、 锻炼等，而同时执行次要任务，诸如消遣媒体内容。在某些情况下， 主要任务需要更多的注意力，这可能会降低用户专注于次要任务的能 力。例如，当用户专注于驾驶车辆以导航复杂的行驶情况时，用户可 能会错过作为次要任务而消遣的全部或部分媒体内容。
一些多媒体系统允许用户以固定的时间增量(例如，15秒的增量) 倒回媒体内容。错过全部或部分媒体内容的用户可以按固定的时间增 量手动倒回媒体内容。然而，以固定的时间增量倒回可能是不准确的， 因为这种倒回不考虑用户从消遣媒体内容分心时所错过的实际时间 量。通常，用户会希望将媒体内容倒回到用户开始错过媒体内容的点。 然而，手动识别倒回的正确时间量可能是困难的，并且需要用户多次 尝试和/或超调。
如前所述，用于在用户分心之后修改媒体内容播放的改进技术将 是有用的。
发明内容
一个实施方案阐述了一种用于播放媒体内容的计算机实现的方 法。所述方法包括基于传感器数据确定与访问媒体内容的用户相关联 的第一精神状态度量。所述方法还包括基于第一精神状态度量来修改 媒体内容的播放。
其他实施方案尤其提供一种被配置为实现上面阐述的计算机可 读存储介质的方法和系统。
相对于现有技术，所公开的技术的至少一个技术优点在于，所公 开的技术可以基于所确定的用户精神状态来倒回和重放或者暂停和 恢复媒体内容。相对于以固定的时间增量倒回媒体内容的常规技术， 所公开的技术可以更准确地将媒体内容倒回到用户从消遣媒体内容 分心时的时间点。另外，所公开的技术可以在用户从消遣媒体内容分 心时自动暂停媒体内容的播放，并在用户不再分心时恢复播放。这些 技术优点表示优于现有技术方法的一个或多个技术改进。
附图说明
为了能够详细地理解各种实施方案的上述特征的方式，可通过参 考各种实施方案来对以上简要概述的创造性概念进行更具体的描述， 附图中示出了所述各种实施方案中的一些。然而，应当注意，附图只 示出了创造性概念的典型实施方案，且因而不应被视为以任何方式限 制其范围，并且存在其他等效实施方案。
图1示出了被配置为实现本公开的一个或多个方面的系统的框 图。
图2示出了根据各种实施方案的从车辆的乘客舱角度的视图。
图3更详细地示出了根据各种实施方案的图1的媒体控制器应用 程序。
图4示出了根据各种实施方案的包括图1的媒体控制器应用程序 的示例车辆系统。
图5是根据各种实施方案的用于基于精神状态度量来播放媒体 内容的方法步骤的流程图。
图6是根据各种其他实施方案的用于基于精神状态度量来播放 媒体内容的方法步骤的流程图。
具体实施方式
在以下描述中，阐述了许多具体细节以提供对各种实施方案的更 为透彻的理解。然而，对本领域技术人员而言将显而易见的是，可在 没有这些具体细节中的一个或多个的情况下实践发明概念。
系统概述
图1示出了被配置为实现本公开的一个或多个方面的系统100的 框图。如图所示，系统100包括但不限于计算装置110、一个或多个 传感器120、一个或多个输入/输出(I/O)装置130和网络150。计算装 置110包括处理单元112和存储器114。计算装置110可以是包括一 个或多个处理单元112的装置，诸如片上系统(SoC)。在各种实施方 案中，计算装置110可以是移动计算装置或包括在车辆系统中的主机 单元。本文公开的实施方案设想了任何技术上可行的系统，其被配置 为经由计算装置110来实现系统100的功能。计算装置110的各种示 例包括移动装置(例如，手机、平板计算机、膝上型计算机等)、可穿 戴装置(例如，手表、戒指、手镯、耳机等)、消费型产品(例如，游戏 等)、智能家居装置(例如，智能照明系统、安全系统、数字助理等)、 通信系统(例如，电话会议系统、视频会议系统等)等。计算装置110 可以位于各种环境中，包括但不限于道路车辆环境(例如，消费型轿 车、商用卡车等)，航空航天和/或航空环境(例如，飞机、直升机、宇 宙飞船等)，航海和海底环境等。
处理单元112可以包括一个或多个中央处理单元(CPU)、数字信 号处理单元(DSP)、微处理器、专用集成电路(ASIC)、神经处理单元(NPU)、图形处理单元(GPU)、现场可编程门阵列(FPGA)、它们的组 合等。处理单元112通常包括执行程序指令以操纵输入数据的一个或 多个可编程处理器。在一些实施方案中，处理单元112可以包括任何 数量的处理核心、存储器以及用于促进程序执行的其他模块。
存储器114可以包括存储器模块或存储器模块的集合。存储器 114通常包括存储芯片，诸如随机存取存储器(RAM)芯片，其存储由 处理单元112处理的应用程序和数据。在各种实施方案中，存储器114 可以包括非易失性存储器，诸如光学驱动器、磁驱动器、闪存驱动器 或其他存储装置。在一些实施方案中，单独的数据存储区，诸如可经 由网络150访问的数据存储区152(“云存储”)，可以补充存储器114。
如图所示，存储器114存储媒体控制器应用程序140和多媒体应 用程序145。在操作中，处理单元112执行媒体控制器应用程序140 和多媒体应用程序145。如以下更详细地讨论，媒体控制器应用程序 140接收并处理来自一个或多个传感器120的传感器数据，以确定与 用户相关联的精神状态度量的值。在一些实施方案中，精神状态度量 可以表示与用户正在使用的脑部活动相关联的认知负荷、与用户的情 绪状态相关联的情绪负荷、用户的心智游移量或其任何组合。媒体控 制器应用程序140通过多媒体应用程序145基于这样的精神状态度量 来控制媒体内容的播放。
在一些实施方案中，媒体控制器应用程序140可以基于确定的精 神状态度量通过以下操作来控制媒体内容的播放：(1)存储当精神状态 度量开始满足阈值时以及任选地当精神状态度量停止满足阈值时的 播放时间；以及(2)将媒体内容倒回并从当精神状态度量开始满足该阈 值时的播放时间开始重放，在精神状态度量停止满足阈值之后自动进 行或响应于用户请求而进行。例如，播放时间可作为时间代码(例如， 媒体内容内的时间戳和/或时间索引)连同任何其他合适的元数据(例如，有关文件名称和/或与媒体内容相关联和/或以其他方式识别媒体 内容的URL的元数据)一起被存储在计算装置110的存储器114中或其他地方(例如，在可经由网络150访问的数据存储区152中)。在倒 回到当精神状态度量开始满足阈值时的播放时间之后，可以从存储媒 体内容的在两次存储的播放时间之间的部分的缓冲器，或从存储媒体 内容的文件再次播放媒体内容。例如，在实况广播的情况下，媒体控 制器应用程序140可以在缓冲器中存储实况广播的介于精神状态度 量开始满足阈值的时间与精神状态度量停止满足阈值的时间之间的 部分。在这种情况下，当恢复实况广播的播放时，媒体控制器应用程 序140可以从缓冲器播放或临时压缩缓冲器的播放，同时继续缓冲实 况广播，直到播放与实况广播的当前时间同步，并且可以将播放切换 到未缓冲的实况广播，如下面更详细讨论的。
在其他实施方案中，媒体控制器应用程序140可以基于所确定的 用户精神状态通过当精神状态度量满足阈值时暂停媒体内容的播放 并且当精神状态度量不再满足阈值时恢复媒体内容的播放来控制媒 体内容的播放。在一些实施方案中，用户可以具有基于精神状态来启 用或禁用对媒体内容的播放的控制的选项。
多媒体应用程序145可以是能够播放媒体内容的任何技术上可 行的应用。如本文所使用的，媒体内容可以包括音频和/或视频内容。 例如，多媒体应用程序145可以是常规的媒体播放器应用程序。尽管 被示为与多媒体应用程序145不同，但在一些实施方案中，媒体控制 器应用程序140的功能可以被包括在多媒体应用程序145中，反之亦 然。
如所描述的，一个或多个传感器120可以包括一个或多个执行测 量的装置和/或获取可用于确定与用户相关联的精神状态度量的数 据。在各种实施方案中，一个或多个传感器120可以生成与用户经历 的认知负荷、情绪负荷、心智游移量和/或其任何组合有关的传感器 数据。例如，一个或多个传感器120可以收集与用户有关的生物特征 数据(例如，心率、呼吸行为、脑部活动、皮肤电导、血液氧合、瞳 孔测量、眼睛注视凝视和眼睛注视扫视、皮肤电反应、血压水平、平 均血糖浓度等)。另外或可替代地，一个或多个传感器120可以生成 与环境中不是用户的对象有关的传感器数据。例如，一个或多个传感 器120可以生成有关车辆操作(例如，脚踏板位置、方向盘位置等)的 传感器数据，包括车辆周围的对象、车辆的速度、车辆内的环境温度、 车辆内的光量等。在一些实施方案中，一个或多个传感器120可以耦 合到计算装置110和/或包括在其内。
在一些实施方案中，一个或多个传感器120可以获取媒体控制器 应用程序140处理的数据，以便计算用户正在经历的认知负荷作为精 神状态度量。例如，一个或多个传感器120可以包括瞳孔传感器(例如，聚焦于用户眼睛的相机)，所述瞳孔传感器获取关于用户的至少 一个瞳孔的图像数据。媒体控制器应用程序140然后可以执行各种瞳 孔测量技术，诸如使用时间序列小波变换的基于时间序列的技术，所 述技术检测眼睛参数(例如，用户瞳孔直径的波动、瞳孔正在注视的 方向、眼睑位置等)，并基于眼睛参数估计用户的认知负荷。作为另 一个示例，媒体控制器应用程序140可以将图像数据馈送到机器学习 模型中，所述机器学习模型已被训练以通过分析眼睛扫视和凝视、眨 眼率持续时间和/或其他参数对认知负荷、情绪负荷和/或心智游移量 进行分类。作为又一个示例，一个或多个传感器120可以包括心率传 感器和/或获取用户的生物信号和/或生理信号(例如，心率、呼吸频率、 眼睛运动、GSR、神经脑活动等)的其他生物特征传感器。在这样的 情况下，媒体控制器应用程序140可以根据所获取的生物信号和/或 生理信号中的一个或多个来计算用户正在经历的认知负荷。
在一些实施方案中，一个或多个传感器120可以获取媒体控制器 应用程序140处理的传感器数据，以便确定用户正在经历的情绪负荷 作为精神状态度量。情绪负荷可以通过各种方式定义和计算。在一些 实施方案中，可以计算与情绪的不同方面相关联的情绪参数化度量， 诸如表示正面情绪或负面情绪的情绪效价度度量、表示情绪强度的情 绪唤醒度度量和/或表示情绪控制水平的情绪优势度度量。然后可以 将参数化度量进行组合以确定用户经历的情绪负荷。例如，一个或多 个传感器120可以包括获取用户的生物信号和/或生理信号(例如，出 汗、心率、心率变异性(HRV)、血流量、血氧水平、呼吸频率、皮肤 电反应(GSR)、用户产生的声音、用户的行为等)的传感器。在这种情 况下，媒体控制器应用程序140可以基于传感器数据计算一个或多个 量化情绪参数化度量，以便确定用户正在经历的情绪负荷。使用参数 化度量确定情绪负荷的示例在2020年3月16日提交的具有序列号 16/820,533的题为“Techniques for Separating Driving Emotion from Media InducedEmotion in a Driver Monitoring System”的美国专利申 请中进一步描述，所述专利申请以其全文通过引用并入本文。在其他 实施方案中，可以使用例如机器学习模型来进行情绪的离散分类(例如，喜悦、愤怒、悲伤等)。例如，一个或多个传感器120可以包括 将用户面部记录在图像数据中的面向用户的相机。在这种情况下，媒 体控制器应用程序140可以使用机器学习模型(或以其他方式)分析图 像数据以确定用户的面部表情，然后将面部表情映射到特定的情绪。 在再一些实施方案中，媒体控制器应用程序140可以对经由声传感器(例如，传声器)记录的音频数据执行各种话音声调分析，以确定用户 经历的情绪负荷。例如，当用户开始通过电话呼叫讲话时，媒体控制 器应用程序140可以确定用户从消遣媒体内容分心。作为另一个示 例，媒体控制器应用程序140可以检测正在讲话的用户的话音中的高 情绪负荷(或认知负荷)，指示该用户很可能从消遣媒体内容分心。
在一些实施方案中，一个或多个传感器120可以获取媒体控制器 应用程序140处理的数据，以便计算用户正在经历的心智游移量作为 精神状态度量。与上述认知负荷计算类似，可以使用基于时间序列的 技术、机器学习技术等基于例如瞳孔传感器数据或其他数据来确定心 智游移量。在一些实施方案中，可以通过比较用户的眼睛扫视和注视 相对于用户的基线已经改变的量来确定用户经历的心智游移量。在一 些实施方案中，可以检测到比基线更少的眼睛扫视，指示用户正在盯 视。在一些实施方案中，可以检测到比基线更多的眼睛扫视，指示用 户正在空想。在其他实施方案中，当用户的眼睛发散达到无穷时，即，眼睛的眼睛注视角度是相同的并且眼睛的眼睛注视方向是平行的从 而指示用户正在聚焦于甚远处，可以识别出心智游移。在另外的其他 实施方案中，可以通过识别诸如脑电图(EEG)数据的神经活动传感器 数据中的某些脑电波模式来确定心智游移量。例如，θ(4Hz至7Hz) 或Δ(2Hz至3.5Hz)EEG数据的增加可能与心智游移相关联。
在一些实施方案中，可以通过媒体控制器应用程序140处理经由 一个或多个传感器120获取的传感器数据，以确定表示上述认知负 荷、情绪负荷和/或心智游移量的组合的精神状态度量。可以计算任 何技术上可行的组合，诸如：加法组合，其中认知负荷、情绪负荷和 /或心智游移量的度量值的加权和被用作精神状态度量；基于机器学 习的组合，其中认知负荷、情绪负荷和/或心智游移量的度量值被输 入到机器学习模型中，所述机器学习模型输出总体精神状态度量；等 等。
在确定精神状态度量时，媒体控制器应用程序140还可以移除由 消遣的媒体内容引起的精神状态度量分量。这样做可以避免在媒体内 容本身正致使用户经历高认知负荷、高情绪负荷和/或高心智游移量 时修改媒体内容的播放。在一些实施方案中，媒体控制器应用程序 140可以确定精神状态度量的特定值何时由环境因素而不是媒体内容 本身引起，并且在这种情况下忽视精神状态度量。例如，媒体控制器 应用程序140可以从相机、激光雷达(光检测和测距)、雷达等安装在 车辆上的一个或多个传感器接收传感器数据，并使用此类传感器数据 来识别正引起高认知工作负荷的复杂驾驶情况。在这种情况下，媒体控制器应用程序140可以确定高认知工作负荷不是由媒体内容本身 引起的。在其他实施方案中，媒体控制器应用程序140可以使用例如 语音到文本和/或情感分析来分析媒体内容或相关联的元数据，以确 定由媒体内容项引起的精神状态度量的值。在这种情况下，媒体控制 器应用程序140可以从精神状态度量的当前值移除(例如，通过减去) 由媒体内容项引起的精神状态度量贡献，以确定并非由媒体内容引起 的精神状态度量的值。
在一些实施方案中，一个或多个传感器120可以包括光学传感 器，诸如RGB相机、红外相机、深度相机和/或相机阵列，所述相机 阵列包括两个或更多个此类相机。其他光学传感器可以包括成像器和 激光传感器。在一些实施方案中，一个或多个传感器120可以包括记 录用户的身体位置和/或运动的物理传感器，诸如触摸传感器、压力 传感器、位置传感器(例如，加速度计和/或惯性测量单元(IMU))、运 动传感器等。在这种情况下，媒体控制器应用程序140可以分析所获 取的传感器数据以确定用户的运动，然后使这种运动与用户经历的认 知负荷、情绪负荷和/或心智游移量相关。
在一些实施方案中，一个或多个传感器120可以包括生理传感 器，诸如心率监测器、脑电图(EEG)系统、无线电传感器、热传感器、 皮肤电反应传感器(例如，测量由情绪压力引起的皮肤电阻变化的传 感器)、非接触式传感器系统、脑磁图(MEG)系统等。在各种实施方 案中，媒体控制器应用程序140可以执行谱熵、加权平均频率、带宽 和/或频谱边缘频率，以根据所获取的传感器数据确定认知负荷。
在一些实施方案中，一个或多个传感器120可以包括声传感器， 诸如获取声音数据的传声器和/或传声器阵列。此类声音数据可通过 媒体控制器应用程序140执行各种自然语言(NL)处理技术、情感分析 和/或语音分析进行处理，以便确定环境中所讲短语的语义和/或根据 语义推断情绪参数化度量。在另一个示例中，媒体控制器应用程序 140可以使用话音声调分析来分析所获取的声音数据，以便根据声音 数据中包括的语音信号推断情绪负荷和/或认知负荷。在一些实施方 案中，媒体控制器应用程序140可以执行与声音信号的频谱形心频率 和/或振幅有关的各种分析技术，以便根据声音信号确定用户经历的认知负荷、情绪负荷和/或心智游移量。
在一些实施方案中，一个或多个传感器120可以包括一个或多个 环境传感器(诸如相机)、热成像传感器、红外传感器、超声传感器、 激光雷达传感器、雷达传感器、车辆仪表传感器等。例如，在驾驶背 景中，可以经由安装在车辆上用于检测其他车辆、外部事件、天气事 件等的相机和/或其他传感器获取传感器数据。媒体控制器应用程序 140可以基于由环境传感器获取的传感器数据估计用户经历的认知负 荷、情绪负荷和/或心智游移量。返回到驾驶的示例，当媒体控制器 应用程序140基于车辆传感器数据识别到复杂的驾驶情况或异常的 天气时，媒体控制器应用程序140可以确定用户正经历高认知负荷。
在一些实施方案中，一个或多个传感器120可以包括检测环境内 用户活动的行为传感器。此类行为传感器可以包括获取相关活动数据 的装置，诸如获取应用使用数据、移动装置使用数据和/或与用户和 环境的交互相关联的数据的装置。在这种情况下，媒体控制器应用程 序140可以通过确定用户当前正在从事的活动来估计用户经历的认 知负荷、情绪负荷和/或心智游移量。例如，给定活动可被分类为用 户在开心和活跃时会参与的有趣的社交活动。在这种情况下，媒体控 制器应用程序140可以使给定应用的使用与预定义的情绪(例如，激 动)和/或预定义的情绪参数化度量(高唤醒度值和正效价度值)相关。 作为另一个示例，在驾驶背景中，行为传感器可以包括检测车辆控制 输入(诸如方向盘正如何转动或油门/制动踏板正如何踩踏)的各种传 感器。这样的传感器数据也可以与用户正经历的认知负荷、情绪负荷 和/或心智游移量相关。
一个或多个I/O装置130可以包括能够接收输入的装置，诸如键 盘、鼠标、触敏屏幕、传声器和用于向计算装置110提供输入数据的 其他输入装置。在各种实施方案中，一个或多个I/O装置130可以包 括能够提供输出的装置，诸如显示屏、扬声器等。I/O装置130中的 一个或多个可被并入计算装置110中，或者可以在计算装置110的外 部。在一些实施方案中，计算装置110和/或一个或多个I/O装置130 可以是高级驾驶员辅助系统的部件。
网络150可实现计算装置110和其他装置之间经由有线和/或无 线通信协议(包括蓝牙、低功耗蓝牙(BLE)、无线局域网(WiFi)、蜂窝 网络、卫星网络、车辆对车辆(V2V)网络和/或近场通信(NFC))的通信。 如所描述的，媒体控制器应用程序140可以经由网络150访问远程数 据存储区152，诸如云存储。在一些实施方案中，网络150还可用于 从其他计算机源检索传感器数据(例如，交通拥堵数据、天气数据等)。 在这种情况下，媒体控制器应用程序140还可以采用经由网络150检 索到的传感器数据来计算精神状态度量，所述精神状态度量用于确定 是否应当修改媒体内容的播放。
图2示出了根据各种实施方案的车辆的乘客舱200的视图。在一 些实施方案中，乘客舱200可以对应于与系统100相关联的环境。如 图所示，乘客舱200包括但不限于仪表板210、挡风玻璃220和主机 单元230。在各种实施方案中，乘客舱200可以包括实现任何技术上 可行的功能的任何数量的附加部件。例如，乘客舱200可以包括后视 摄像头(未示出)。
如图所示，主机单元230位于仪表板210的中央。在各种实施方 案中，主机单元230可以以不会挡住挡风玻璃220的任何技术上可行 的方式安装在乘客舱200内的任何位置。主机单元230可以包括任何 数量和类型的仪表和应用，并且可以提供任何数量的输入和输出机 构。例如，主机单元230可使得用户(例如，驾驶员和/或乘客)能够控 制娱乐功能。在一些实施方案中，主机单元230可以包括被设计用于 提高驾驶员安全性、使驾驶任务自动化等的导航功能和/或高级驾驶 员辅助(ADAS)功能。
主机单元230支持任何数量的输入和输出数据类型和格式，如本 领域中已知的。例如，主机单元230可以包括用于免提通话和/或音 频流的内置蓝牙、通用串行总线(USB)连接、语音识别、后视摄像头 输入、用于任何数量和类型的显示器的视频输出以及任何数量的音频 输出。通常，任何数量的传感器(例如，一个或多个传感器120)、显 示器、接收器、发送器等都可以集成到主机单元230中，或者可以实 现在主机单元230的外部。在各种实施方案中，外部装置可以以任何 技术上可行的方式与主机单元230通信。
驾驶时，车辆驾驶员会受到与主要任务(例如，引导车辆)和/或任 何数量的次要任务有关的各种刺激。例如，驾驶员可以经由挡风玻璃 220看到车道标记240、骑车人242、警车244和/或行人246。作为 响应，驾驶员可以操纵车辆来跟踪车道标记240，同时避开骑车人242 和行人246，然后踩下制动踏板以允许警车244越过车辆前方的道路。 此外，驾驶员可以同时或间断地参与对话250、收听音乐260和/或尝 试抚慰正在哭泣的婴儿270，这些是次要任务的示例。如所描述的， 不同的驾驶环境会致使车辆的驾驶员分心并且不能专注于次要任务， 诸如消遣媒体内容。
媒体控制器应用程序
图3更详细地示出了根据各种实施方案的图1的媒体控制器应用 程序140。如图所示，媒体控制器应用程序140包括精神状态测量模 块142、分心精神状态事件检测器模块144、媒体加书签/缓冲和播放 控制器模块146以及媒体播放模块148。精神状态测量模块142从一 个或多个传感器120接收传感器数据，并且基于接收到的传感器数据 确定指示用户正经历的认知负荷、情绪负荷和/或心智游移量的精神 状态度量。在实施方案中，精神状态测量模块142可以计算精神状态 度量的回归值或分类值。例如，精神状态测量模块142可以使用基于 瞳孔测量的技术来计算具体的认知负荷值，诸如回归值。作为另一个 示例，精神状态测量模块142可以使用机器学习分类器来将用户经历 的认知负荷分类为高、中或低，或者使用某种其他分类集合进行分类。
给定由精神状态测量模块142确定的精神状态度量，分心高精神 状态事件检测器模块144识别用户可能从消遣媒体内容分心的时间 段，诸如高认知负荷和/或情绪负荷的时间段，或者具有高心智游移 量的时间段。在一些实施方案中，分心高精神状态事件检测器模块 144通过将由精神状态测量模块142在播放媒体内容期间(连续地或 周期地)计算的精神状态度量值与精神状态度量指示高认知负荷、高 情绪负荷和/或高心智游移量的阈值进行比较来确定用户何时分心。 分心精神状态检测器模块144然后通知媒体加书签/缓冲模块146将 所识别的播放时间存储为书签。
当精神状态测量模块142确定精神状态度量满足上述阈值时，媒 体加书签/缓冲和播放控制器模块146保持指示最近和/或历史播放时 间的一组书签。在一些实施方案中，播放时间可以作为时间代码(诸 如时间戳)存储在计算装置110的存储器114中或其他地方(例如，存 储在可经由网络150访问的数据存储区152中)。任何合适的元数据， 诸如有关文件名称和/或与媒体内容相关联的URL的元数据，也可以 存储在书签中。当例如在高认知负荷、高情绪负荷和/高心智游移量 的时间段期间发生从一个媒体文件到另一个媒体文件的切换时，这种 元数据可能是有用的。在一些实施方案中，媒体加书签/缓冲模块146 还可以将媒体内容的在所确定的时间之间的一个或多个部分存储在 缓冲器中以供以后播放。缓冲器还可以位于计算装置110的存储器 114中或其他地方(例如，在数据存储区152中)。
在一些实施方案中，媒体加书签/缓冲和播放控制器模块146可 以与媒体播放模块148一起来：(1)基于精神状态度量满足阈值和停止 满足阈值的播放时间自动暂停和恢复媒体内容的播放，所述播放时间 也可以任选地存储在书签中；(2)自动将媒体内容倒回并从精神状态度 量满足阈值的播放时间(如所存储的书签中所指示)开始重放；或(3)处理用户的请求以将媒体内容倒回并从精神状态度量满足阈值的此类 播放时间(如所存储的书签中所指示)开始重放。
媒体播放模块148控制多媒体应用程序145，诸如媒体播放器， 其接受从某个时间开始播放媒体的命令或者来自缓冲器的时移媒体 流。在一些实施方案中，播放还可以包括智能时间压缩，所述智能时 间压缩加速了所缓冲媒体内容的播放。返回到实况广播的示例，如果 用户分心达20秒钟，则实况音频流(例如，新闻)可能在分心时间段期 间暂停并存储在缓冲器中。然后，当用户不再分心时，媒体播放模块 148可以从缓冲器读出所存储的音频，并以比正常速度更快的速度 (即，被压缩)播放所存储的音频。实况音频流继续被存储到缓冲器， 并且先前存储的音频被同时读出并以更快的速度播放，直到音频赶上 实况广播的当前时间为止，这时媒体播放模块148切换到实时音频流 的无缓冲播放。
在一些实施方案中，媒体控制器应用程序140可以被集成到诸如 音频播放器或视频播放器的多媒体播放器中。在这种情况下，媒体播 放模块148可以执行多媒体播放器的功能。
图4示出了根据各种实施方案的包括图3的媒体控制器应用程序 140的示例车辆系统400。如图所示，车辆系统400包括感测模块420、 主机单元230、网络150和输出模块440。感测模块420包括面向驾 驶员的传感器422、车舱非面向驾驶员的传感器424和车辆传感器 426。主机单元230包括娱乐子系统412、导航子系统414、网络模块 416和高级驾驶员辅助系统(ADAS)418。输出模块440包括显示器442 和扬声器444。
感测模块420包括多种类型的传感器，包括面向驾驶员的传感器 422(例如，相机、运动传感器等)、车舱非面向驾驶员的传感器424(例如，运动传感器、压力传感器、温度传感器等)和车辆传感器(例如， 面向外的相机、加速度计等)。在各种实施方案中，感测模块420提 供传感器数据的组合，所述传感器数据的组合描述可以更详细地观察 用户的精神状态的背景。
在各种实施方案中，车辆传感器426还可以包括其他外部传感 器。这样的外部传感器可以包括光学传感器、声传感器、道路振动传 感器、温度传感器等。在一些实施方案中，感测模块和/或网络模块 416可以获取其他外部数据，诸如地理位置数据(例如，GNNS系统， 包括全球定位系统(GPS)、Glonass、Galileo等)。在一些实施方案中， 导航数据和/或地理位置数据可以被组合以基于预期的驾驶条件来预 测精神状态度量的变化。例如，预期的交通拥堵可能使媒体控制器应 用程序140在车辆到达受影响区域时预测精神状态度量的增加。
网络模块416经由网络150接收和发送数据。在一些实施方案中， 网络模块416从传感器模块420检索传感器数据。在各种实施方案中， 网络模块416可以检索具体值，诸如感测数据462、连接的车辆数据 464和/或历史数据(例如，先前的精神状态度量、由远程装置计算的 计算结果等)。
在一些实施方案中，网络模块416可以发送由主机单元230获取 的数据，诸如一个或多个精神状态测量值，和/或由传感器模块420 获取的感测数据462。在这种情况下，连接到网络150的一个或多个 装置可以将从网络模块416接收的数据与来自其他车辆和/或基础设 施的数据在被计算模块消耗之前进行合并。例如，一个或多个装置可 以累积并编译感测数据，以便将驾驶条件与精神状态度量相关联。例 如，一个或多个装置可以将多个精神状态度量值计算结果累积到一组 的关注度或参与度的聚合测量中，其继而可以用于校准阈值，该阈值 在被精神状态度量满足时，指示用户从消遣媒体内容分心。在一些实 施方案中，还可以执行基线化以个性化这样的阈值，该阈值默认为对 于特定用户更适当的阈值。例如，每次用户进入车辆时，可以计算精 神状态度量值，并且可以随时间对这些值进行聚合以确定该用户的基 线和指示该特定用户从消遣媒体内容分心的阈值。
图5是根据各种实施方案的用于基于精神状态度量来播放媒体 内容的方法步骤的流程图。尽管相对于图1至图4的系统描述了方法 步骤，但本领域技术人员将理解，被配置为以任何顺序执行方法步骤 的任何系统在各种实施方案的范围内。
如图所示，方法500从步骤502开始，其中媒体控制器应用程序 140接收传感器数据。如上面结合图1所述，可以获取各种传感器数 据并将其用于确定表示用户正经历的认知负荷、用户正经历的情绪负 荷和/或心智游移量的精神状态度量。例如，传感器数据可以包括与 用户有关的生物特征数据(例如，心率、呼吸行为、脑部活动、皮肤 电导、血液氧合、瞳孔大小、眼睛注视凝视和眼睛注视扫视、皮肤电 反应、血压水平、平均血糖浓度等)和/或与用户正在从事的活动有关 的数据(例如，经由声传感器记录的语音)。另外或可替代地，传感器 数据可以包括与环境中不是用户的对象有关的数据。
在步骤504，当用户正在消遣媒体内容时，媒体控制器应用程序 140基于传感器数据计算精神状态度量。当用户消遣媒体内容时，媒 体控制器应用程序140可以连续地或以周期性间隔(例如，每秒)计算 精神状态度量。
在一些实施方案中，媒体控制器应用程序140通过分析传感器数 据的相关部分并估计不是由媒体内容本身引起的用户认知负荷、情绪 负荷、心智游移量或其任何组合来计算精神状态度量。例如，如上面 结合图1所述，媒体控制器应用程序140可以对接收到的图像数据执 行各种瞳孔测量技术，以确定用户瞳孔的指示认知负荷和/或心智游 移量的波动。特别地，媒体控制器应用程序140可以采用各种基于时 间序列或机器学习的技术基于瞳孔波动数据来确定认知负荷和/或心 智游移量经历。作为另一个示例，媒体控制器应用程序140可以通过 比较用户的眼睛扫视和注视相对于基线的变化量、识别眼睛发散何时达到无穷和/或识别神经活动传感器数据中的某些脑电波模式来确定 心智游移量。作为再一个示例，媒体控制器应用程序140可以基于从 传感器数据提取的面部表情、视觉提示、话音声调和其他音频提示、 生理信号等来确定用户的情绪负荷。例如，媒体控制器应用程序140 可以对接收到的图像数据执行各种面部表情估计技术，以便确定用户 正经历的特定情绪或情绪负荷量度中的参数化唤醒度值和效价度值。 媒体控制器应用程序140还可将用户的认知负荷、情绪负荷和/或心 智游移量的估计值进行组合。例如，在一些实施方案中，可以使用加 法组合或基于机器学习的组合。
如所描述的，也可以移除由媒体内容本身引起的精神状态度量分 量。在一些实施方案中，媒体控制器应用程序140可以基于传感器数 据确定精神状态度量值是由环境引起的，而不是由媒体内容本身引起 的。在其他实施方案中，媒体控制器应用程序140可以分析媒体内容 或相关联的元数据以确定在各个时间由媒体内容引起的精神状态度 量值。在这种情况下，媒体控制器应用程序140可以从精神状态度量 的当前值减去由媒体内容引起的精神状态度量值，以确定不是由媒体 内容引起的精神状态度量值。
在步骤506，媒体控制器应用程序140确定精神状态度量满足阈 值。如前所述，阈值是一个值，所述值在被满足(例如，超过)时指示 用户正经历高认知负荷、高情绪负荷和/或高心智游移量。在一些实 施方案中，可以执行基线化以将默认阈值个性化为针对特定用户更准 确的阈值。例如，如果精神状态度量指示用户经历的认知负荷，则媒 体控制器应用程序140可以确定精神状态度量的值超过指示用户无 法专注于消遣媒体内容的阈值。作为另一个示例，如果精神状态度量 指示情绪负荷，则媒体控制器应用程序140可以确定精神状态度量的 值超过指示用户正经历可能使用户从消遣媒体内容分心的高水平情 绪的阈值。作为再一个示例，如果精神状态度量指示高心智游移量， 则媒体控制器应用程序140可以确定精神状态度量的值超过指示用 户心智正游移太多而不能专注于消遣的媒体内容的阈值。此外，精神 状态度量可能包括认知负荷、情绪负荷和/或心智游移量的组合，在 这种情况下，该组合超过阈值可能指示用户不能专注于消遣的媒体内 容。
尽管本文主要相对于阈值进行描述，但在替代实施方案中，媒体 控制器应用程序140可以基于精神状态度量而不使用阈值来确定应 当暂停、恢复或以其他方式修改媒体内容的播放。例如，假定精神状 态度量使用机器学习分类器来确定，并指示低、中或高认知负荷中的 一者。在这种情况下，媒体控制器应用程序140可以在机器学习分类 器输出高认知负荷值时暂停媒体内容。
在步骤508，媒体控制器应用程序140暂停媒体内容的播放。在 一些实施方案中，媒体控制器应用程序140可以控制多媒体应用程序 145以暂停媒体内容的播放。在其他实施方案中，媒体控制器应用程 序140可被包括作为多媒体应用程序145的一部分，并且直接暂停媒 体内容的播放。
在步骤510，媒体控制器应用程序140任选地将媒体内容的一部 分存储在缓冲器中同时暂停媒体内容的播放。例如，媒体内容可以是 实况广播。在这种情况下，媒体控制器应用程序140可以将实况广播 在分心时间段期间(以及分心时间段之后，直到播放赶上实况广播的 当前时间)的部分存储在缓冲器中以供以后播放，使得用户不会错过 任何实况广播。
在步骤512，媒体控制器应用程序140确定精神状态度量不再满 足阈值。然后，在步骤514，媒体控制器应用程序140恢复媒体内容 的播放。在一些实施方案中，媒体控制器应用程序140可以控制多媒 体应用程序145以恢复媒体内容的播放。在其他实施方案中，媒体控 制器应用程序140可被包括作为多媒体应用程序145的一部分，在这 种情况下，媒体控制器应用程序140可以直接恢复媒体内容的播放。 在替代实施方案中，类似于上面结合步骤506的讨论，媒体控制器应 用程序140可以基于精神状态度量来恢复媒体内容的播放，而无需将 精神状态度量与阈值进行比较。
在一些实施方案中，可以从其中存储媒体内容的一部分的缓冲器 恢复媒体内容的播放。返回实况广播的示例，媒体控制器应用程序 140可以从实况广播被暂停时开始从存储实况广播的一部分的缓冲器 恢复实况广播的播放。在这种情况下，媒体控制器应用程序140还可 以在时间上压缩来自缓冲器的所存储内容的播放，同时继续将实况广 播存储在缓冲器中，直到播放与实况广播的当前时间同步，此时媒体 控制器应用程序140切换到实况广播的非缓冲播放。
图6是根据各种替代实施方案的用于基于精神状态度量来播放 媒体内容的方法步骤的流程图。尽管相对于图1至图4的系统描述了 方法步骤，但本领域技术人员将理解，被配置为以任何顺序执行方法 步骤的任何系统在各种实施方案的范围内。
如图所示，方法600从步骤602开始，其中媒体控制器应用程序 140接收传感器数据。类似于上面结合图5描述的方法500的步骤 502，可以获取各种传感器数据并将其用于确定表示用户正经历的认 知负荷、用户正经历的情绪负荷和/或用户的心智游移量的精神状态 度量。
在步骤604，当用户正在消遣媒体内容时，媒体控制器应用程序 140基于传感器数据计算精神状态度量。类似于上面结合图5描述的 方法500的步骤504，媒体控制器应用程序140可以通过分析传感器 数据的相关部分并估计不是由媒体内容本身引起的用户认知负荷、情 绪负荷、心智游移量或其任何组合来计算精神状态度量。在一些实施 方案中，可以通过分析媒体内容或相关联的元数据、基于传感器数据 确定环境条件是否正引起精神状态度量的特定值等来移除由媒体内 容本身引起的精神状态度量分量。
在步骤606，媒体控制器应用程序140确定精神状态度量满足阈 值。步骤606类似于以上结合图5描述的方法500的步骤506。然后， 在步骤608，媒体控制器应用程序140存储精神状态度量开始满足阈 值的播放时间。在一些实施方案中，媒体控制器应用程序140可以将 播放时间和任何相关联的元数据存储在书签中，如以上结合图3所描 述的。与以上结合图5描述的方法500的步骤508相反，媒体控制器 应用程序140不暂停媒体内容。在替代实施方案中，媒体控制器应用 程序140可以基于精神状态度量来存储播放时间，而无需将精神状态 度量与阈值进行比较。例如，类似于以上结合方法500的步骤506的 讨论，媒体控制器应用程序140可以在机器学习分类器将用户的认知 负荷分类为高时存储播放时间。
在步骤610，媒体控制器应用程序140任选地从精神状态度量满 足阈值的播放时间开始，将媒体内容的一部分存储在缓冲器中。如所 描述的，媒体内容可以是例如实况广播，在这种情况下，媒体控制器 应用程序140可以将实况广播的一部分存储在缓冲器中以供以后播 放，使得用户不会错过任何实况广播。
在步骤612，媒体控制器应用程序140确定精神状态度量不再满 足阈值。然后，在步骤614，媒体控制器应用程序140存储精神状态 度量停止满足阈值的另一播放时间。类似于步骤608，媒体控制器应 用程序140可以将其他播放时间和任何相关联的元数据存储在书签 中。在替代实施方案中，媒体控制器应用程序140可以存储其他播放 时间而无需将精神状态度量与阈值进行比较，类似于以上结合方法 500的步骤506的讨论。例如，媒体控制器应用程序140可以存储在 机器学习模型将用户的认知负荷分类为低或中时的播放时间。
在步骤616，媒体控制器应用程序140任选地接收倒回媒体内容 的用户请求。例如，用户可能意识到其已经错过了一部分消遣的媒体 内容，并请求倒回媒体内容。用户可以以任何技术上可行的方式请求 倒回媒体内容。例如，媒体控制器应用程序140可以提供图形用户界 面，该图形用户界面包括用于倒回媒体内容的按钮。作为另一个示例， 媒体控制器应用程序140可以接受口头或手势命令来倒回媒体内容。 在一些实施方案中，媒体控制器应用程序140还可以向用户(例如， 经由显示的通知或音频通知)通知将媒体内容倒回到在步骤808存储 的播放时间的选项。
在步骤618，媒体控制器应用程序140将媒体内容倒回到在步骤 608存储的播放时间并再次播放媒体内容。在一些实施方案中，媒体 控制器应用程序140可以控制多媒体应用程序145以倒回和重放媒体 内容。在其他实施方案中，媒体控制器应用程序140可被集成到多媒 体应用程序145中并且能够直接倒回和重放媒体内容。
在一些实施方案中，倒回和重放媒体内容可以包括播放媒体内容 的存储在缓冲器中的部分。返回实况广播的示例，媒体控制器应用程 序140可以从精神状态度量满足阈值的时间开始播放实况广播的所 存储部分。在这种情况下，在精神状态度量停止满足阈值之后，媒体 控制器应用程序140可以在时间上压缩来自缓冲器的所存储内容的 播放，同时继续将实况广播存储在缓冲器中，直到播放与实况广播的 当前时间同步，此时媒体播放模块148切换到实况广播的非缓冲播 放。
尽管本文主要相对于驾驶作为参考示例进行描述，但是本文所公 开的技术也可应用于用户在执行主要任务时作为次要任务正消遣媒 体内容的其他情况。例如，主要任务可能是工作、锻炼、家务、划船 等。在这种情况下，媒体控制器应用程序可以确定与用户相关联的精 神状态度量，并基于精神状态度量修改媒体内容的播放。例如，在户 外锻炼的用户可能由于过往车辆而经历高认知负荷和/或情绪负荷。 在这种情况下，在用户携带的移动装置或用户穿戴的可穿戴装置中运 行的媒体控制器应用程序可以基于传感器数据(例 如，心率监测器数 据、EEG数据等)识别高认知负荷和/或情绪负荷。然后，媒体控制器 应用程序可以通过例如以下方式修改用户正消遣的媒体内容的播放： 在用户的认知负荷和/或情绪负荷减小的稍后时间倒回和重放媒体内 容的一部分，或者暂停并恢复媒体内容。
尽管本文主要相对于无中断地播放的媒体内容进行描述，但是在 其他实施方案中，媒体控制器应用程序也可以考虑媒体内容的播放中 的中断。例如，正在泊车的用户可能经历使用户从消遣媒体内容分心 的高认知负荷和/或情绪负荷，其可以反映在由媒体控制器应用程序 140计算的精神状态度量中。另外，在车辆停好并关闭后，媒体内容 的播放可以停止。在这种情况下，媒体控制器应用程序140可以存储 (1)与精神状态度量满足指示用户分心的阈值相关联的播放时间，以及 (2)由于车辆关闭而中断媒体内容播放时的另一播放时间。此后，当用 户重新打开车辆时，媒体控制器应用程序140可以从精神状态度量超过阈值的时间开始再次播放媒体内容，前提是精神状态度量的当前值 不超过阈值。然而，如果精神状态度量的当前值超过阈值，则媒体控 制器应用程序140可以等待直到精神状态度量降至阈值以下，然后再 次播放媒体内容。
尽管本文主要相对于在单个计算装置110中运行的媒体控制器 应用程序140进行描述，但在其他实施方案，修改媒体内容的播放可 以通过多个应用来实现，所述多个应用可以在不同的计算装置中运 行。例如，当在不同播放装置之间“移交”媒体内容时，诸如当经由车 辆娱乐系统播放的媒体内容在用户到家之后移交给家庭娱乐系统时， 本文公开的技术可以应用于修改媒体内容的播放。在这种情况下，与 用户相关联的精神状态度量满足和/或停止满足阈值时的一个或多个 播放时间，和/或媒体内容在这种重放时间之间的部分，可以通过车 辆媒体控制器应用程序存储在外部位置，诸如存储在可经由网络150 访问的数据存储区152中。然后，家庭娱乐系统中的另一媒体控制器 应用程序可以检索一个或多个所存储的播放时间和/或部分媒体内 容，并且利用所述一个或多个播放时间和/或部分媒体内容来倒回和 重放或者恢复播放媒体内容。
总之，媒体控制器应用程序接收传感器数据并基于在环境内执行 另一任务时消遣媒体内容的用户的精神状态来修改媒体内容的播放。 在实施方案中，各种传感器获取与用户和/或环境相关联的传感器数 据并将传感器数据发送到媒体控制器应用程序。媒体控制器应用程序 根据传感器数据确定指示与用户相关联的精神状态的度量。精神状态 度量可以指示用户正经历的认知负荷、用户正经历的情绪负荷、用户 的心智游移量或其任何组合。在计算精神状态度量后，媒体控制器应 用程序分析精神状态度量以确定是否应当修改媒体内容的播放以考 虑用户的精神状态。在一些实施方案中，可以通过以下方式来修改媒体内容的播放：(1)当精神状态度量满足阈值时暂停媒体内容的播放， 以及(2)当精神状态度量不再满足阈值时恢复媒体内容的播放。在其他 实施方案中，可以通过以下方式修改媒体内容的播放：(1)存储精神状 态度量开始满足阈值和停止满足阈值的播放时间，以及(2)基于所存储 的播放时间自动地或响应于用户请求来倒回和重放媒体内容。
相对于现有技术，所公开的技术的至少一个技术优点在于，所公 开的技术可以基于所确定的用户精神状态来倒回和重放或者暂停和 恢复媒体内容。相对于以固定的时间增量倒回媒体内容的常规技术， 所公开的技术可以更准确地将媒体内容倒回到用户从消遣媒体内容 分心时的时间点。另外，所公开的技术可以在用户从消遣媒体内容分 心时自动暂停媒体内容的播放，并在用户不再分心时恢复播放。这些 技术优点表示优于现有技术方法的一个或多个技术改进。
1.在一些实施方案中，一种用于播放媒体内容的计算机实现的 方法包括：基于传感器数据确定与访问媒体内容的用户相关联的第一 精神状态度量；以及基于所述第一精神状态度量来修改所述媒体内容 的播放。
2.根据条款1所述的计算机实现的方法，其中修改所述媒体内 容的所述播放包括：将所述媒体内容倒回并从第一精神状态满足阈值 的时间点开始重放。
3.根据条款1或2所述的计算机实现的方法，其中修改所述媒 体内容的所述播放包括：响应于所述第一精神状态度量满足阈值而暂 停所述媒体内容的所述播放；以及响应于所述第一精神状态度量不满 足所述阈值而恢复所述媒体内容的所述播放。
4.根据条款1至3中任一项所述的计算机实现的方法，其还包 括：存储所述媒体内容的从所述第一精神状态度量满足所述阈值时的 第一时间开始的部分；以及当恢复所述媒体内容的所述播放时播放所 述媒体内容的所述部分在时间上压缩的版本。
5.根据条款1至4中任一项所述的计算机实现的方法，其中确 定所述第一精神状态度量包括：确定与访问所述媒体内容的所述用户 相关联的第二精神状态度量；以及从所述第一精神状态度量移除所述 第二精神状态度量。
6.根据条款1至5中任一项所述的计算机实现的方法，其中所 述第一精神状态度量包括认知负荷状态度量、情绪负荷状态度量或心 智游移量度量中的至少一者。
7.根据条款1至6中任一项所述的计算机实现的方法，其中所 述第一精神状态度量是使用基于瞳孔测量的技术确定的。
8.根据条款1至7中任一项所述的计算机实现的方法，其中所 述第一精神状态度量是使用基于机器学习的技术确定的。
9.根据条款1至8中任一项所述的计算机实现的方法，其中所 述媒体内容包括音频内容或视频内容中的一者。
10.在一些实施方案中，一种或多种计算机可读存储介质包括指 令，所述指令在由一个或多个处理器执行时，使所述一个或多个处理 器通过执行以下步骤来播放媒体内容：基于传感器数据确定与访问媒 体内容的用户相关联的第一精神状态度量；以及基于所述第一精神状 态度量来修改所述媒体内容的播放。
11.根据条款10所述的一种或多种计算机可读存储介质，其中 修改所述媒体内容的所述播放包括：将所述媒体内容倒回并从第一精 神状态满足阈值的时间点开始重放。
12.根据条款10或11所述的一种或多种计算机可读存储介质， 其中响应于用户请求执行所述媒体内容的所述倒回和重放。
13.根据条款10至12中任一项所述的一种或多种计算机可读存 储介质，所述步骤还包括：基于与所述用户相关联的历史精神状态数 据确定所述阈值。
14.根据条款10至13中任一项所述的一种或多种计算机可读存 储介质，其中修改所述媒体内容的所述播放包括：响应于所述第一精 神状态度量满足阈值而暂停所述媒体内容的所述播放；以及响应于所 述第一精神状态度量不满足所述阈值而恢复所述媒体内容的所述播 放。
15.根据条款10至14中任一项所述的一种或多种计算机可读存 储介质，所述步骤还包括：存储所述媒体内容的从所述第一精神状态 度量满足所述阈值时的第一时间开始的部分；以及当恢复所述媒体内 容的所述播放时播放所述媒体内容的所述部分在时间上压缩的版本。
16.根据条款10至15中任一项所述的一种或多种计算机可读存 储介质，其中确定所述第一精神状态度量包括：确定与访问所述媒体 内容的所述用户相关联的第二精神状态度量；以及从所述第一精神状 态度量移除所述第二精神状态度量。
17.根据条款10至16中任一项所述的一种或多种计算机可读存 储介质，其中所述第一精神状态度量包括认知负荷状态度量、情绪负 荷状态度量或心智游移量度量中的至少一者。
18.根据条款10至17中任一项所述的一种或多种计算机可读存 储介质，其中使用基于瞳孔测量的技术或基于机器学习的技术中的至 少一者来确定所述第一精神状态度量。
19.在一些实施方案中，一种装置包括：存储器，其包括指令； 以及处理器，其耦合到所述存储器，并且在执行所述指令时，基于传 感器数据确定与访问媒体内容的用户相关联的第一精神状态度量；以 及基于所述第一精神状态度量修改所述媒体内容的播放。
20.根据条款19所述的装置，其中所述处理器在执行所述指令 时，还基于包括在所述传感器数据中的与环境相关联的数据来确定第 二精神状态度量；以及从所述第一精神状态度量移除所述第二精神状 态度量。
权利要求中任一项所述的权利要求要素和/或本申请中描述的任 何要素中的任何一个的呈任何形式的任何和所有组合均落入本发明 和保护的预期范围内。
各种实施方案的描述已经呈现以用于说明目的，而并非意在穷举 或限于所公开的实施方案。在不脱离所描述的实施方案的范围和精神 的情况下，许多修改和变化对于本领域普通技术人员来说将是显而易 见的。
本实施方案的各方面可实施为系统、方法或计算机程序产品。因 此，本公开的各方面可采用以下形式：完全硬件实施方案、完全软件 实施方案(包括固件、常驻软件、微代码等)或组合了软件方面与硬件 方面的实施方案，所述各实施方案在本文中一般都可称为“模块”、“系 统”或“计算机”。另外，本公开中描述的任何硬件和/或软件技术、过 程、功能、部件、引擎、模块或系统可被实现为电路或电路的集合。 此外，本公开的各方面可采用计算机程序产品的形式，所述计算机程 序产品在其上体现有计算机可读程序代码的一个或多个计算机可读 介质中体现。
可利用一个或多个计算机可读介质的任何组合。计算机可读介质 可为计算机可读信号介质或计算机可读存储介质。计算机可读存储介 质可以是例如但不限于电子、磁性、光学、电磁、红外或半导体系统、 设备或装置或前述介质的任何合适组合。计算机可读存储介质的更具 体示例(非详尽列表)将包括以下介质：具有一个或多个导线的电气连接、便携式计算机软盘、硬盘、随机存取存储器(RAM)、只读存储器 (ROM)、可擦可编程只读存储器(EPROM或快闪存储器)、光纤、便 携式光盘只读存储器(CD-ROM)、光学存储装置、磁存储装置或前述 介质的任何合适的组合。在本文档的语境中，计算机可读存储介质可 以是可含有或存储供指令执行系统、设备或装置使用或与其联用的程 序的任何有形介质。
参考根据本公开的实施方案的方法、设备(系统)和计算机程序产 品的流程图图解和/或框图来描述本公开的各方面。应理解，流程图 图解和/或框图中的每个框以及流程图图解和/或框图中的框组合能够 通过计算机程序指令来实现。可将这些计算机程序指令提供给通用计 算机、特殊用途计算机或其他可编程数据处理设备的处理器以产生机 器。当经由计算机或其他可编程数据处理设备的处理器执行指令时， 使得能够实现流程图和/或框图的一个或多个框中所指定的功能/动 作。此类处理器可为但不限于通用处理器、特殊用途处理器、专用处 理器或现场可编程门阵列。
附图中的流程图和框图示出根据本公开的各种实施方案的系统、 方法和计算机程序产品的可能实现方式的体系结构、功能性和操作。 就这一点而言，流程图或框图中的每个框可代表代码的模块、区段或 部分，所述代码包括用于实现指定的逻辑功能的一个或多个可执行指 令。还应注意，在一些替代实现方式中，框中所提出的功能可不按附 图中提出的顺序发生。例如，实际上依据所涉及的功能性，可基本上 同时执行连续示出的两个框，或者有时可以相反的顺序执行所述框。 还应注意，框图和/或流程图图解的每个框以及框图和/或流程图图解 中的框的组合可由执行指定的功能或动作的基于特殊用途硬件的系统或者特殊用途硬件和计算机指令的组合来实现。
尽管前述内容针对本公开的实施方案，但是可在不脱离其基本范 围的情况下构想本公开的其他和更多实施方案，且其范围由所附权利 要求确定。
Claims (20)
1.一种用于播放媒体内容的计算机实现的方法，所述方法包括：
基于传感器数据确定与访问媒体内容的用户相关联的第一精神状态度量；以及
基于所述第一精神状态度量来修改所述媒体内容的播放。
2.根据权利要求1所述的计算机实现的方法，其中修改所述媒体内容的所述播放包括：
将所述媒体内容倒回并从第一精神状态满足阈值的时间点开始重放。
3.根据权利要求1所述的计算机实现的方法，其中修改所述媒体内容的所述播放包括：
响应于所述第一精神状态度量满足阈值而暂停所述媒体内容的所述播放；以及
响应于所述第一精神状态度量不满足所述阈值而恢复所述媒体内容的所述播放。
4.根据权利要求3所述的计算机实现的方法，其还包括：
存储所述媒体内容的从所述第一精神状态度量满足所述阈值时的第一时间开始的部分；以及
当恢复所述媒体内容的所述播放时播放所述媒体内容的所述部分在时间上压缩的版本。
5.根据权利要求1所述的计算机实现的方法，其中确定所述第一精神状态度量包括：
确定与访问所述媒体内容的所述用户相关联的第二精神状态度量；以及
从所述第一精神状态度量移除所述第二精神状态度量。
6.根据权利要求1所述的计算机实现的方法，其中所述第一精神状态度量包括认知负荷状态度量、情绪负荷状态度量或心智游移量度量中的至少一者。
7.根据权利要求1所述的计算机实现的方法，其中所述第一精神状态度量是使用基于瞳孔测量的技术确定的。
8.根据权利要求1所述的计算机实现的方法，其中所述第一精神状态度量是使用基于机器学习的技术确定的。
9.根据权利要求1所述的计算机实现的方法，其中所述媒体内容包括音频内容或视频内容中的一者。
10.一种或多种计算机可读存储介质，其包括指令，所述指令在由一个或多个处理器执行时致使所述一个或多个处理器通过执行以下步骤来播放媒体内容：
基于传感器数据确定与访问媒体内容的用户相关联的第一精神状态度量；以及
基于所述第一精神状态度量来修改所述媒体内容的播放。
11.根据权利要求10所述的一种或多种计算机可读存储介质，其中修改所述媒体内容的所述播放包括：将所述媒体内容倒回并从第一精神状态满足阈值的时间点开始重放。
12.根据权利要求11所述的一种或多种计算机可读存储介质，其中响应于用户请求执行所述媒体内容的所述倒回和重放。
13.根据权利要求11所述的一种或多种计算机可读存储介质，所述步骤还包括：基于与所述用户相关联的历史精神状态数据确定所述阈值。
14.根据权利要求10所述的一种或多种计算机可读存储介质，其中修改所述媒体内容的所述播放包括：
响应于所述第一精神状态度量满足阈值而暂停所述媒体内容的所述播放；以及
响应于所述第一精神状态度量不满足所述阈值而恢复所述媒体内容的所述播放。
15.根据权利要求14所述的一种或多种计算机可读存储介质，所述步骤还包括：
存储所述媒体内容的从所述第一精神状态度量满足所述阈值时的第一时间开始的部分；以及
当恢复所述媒体内容的所述播放时播放所述媒体内容的所述部分在时间上压缩的版本。
16.根据权利要求10所述的一种或多种计算机可读存储介质，其中确定所述第一精神状态度量包括：
确定与访问所述媒体内容的所述用户相关联的第二精神状态度量；以及
从所述第一精神状态度量移除所述第二精神状态度量。
17.根据权利要求10所述的一种或多种计算机可读存储介质，其中所述第一精神状态度量包括认知负荷状态度量、情绪负荷状态度量或心智游移量度量中的至少一者。
18.根据权利要求10所述的一种或多种计算机可读存储介质，其中使用基于瞳孔测量的技术或基于机器学习的技术中的至少一者来确定所述第一精神状态度量。
19.一种装置，其包括：
存储器，其包括指令；以及
处理器，其耦合到所述存储器，并且在执行所述指令时：
基于传感器数据确定与访问媒体内容的用户相关联的第一精神状态度量；以及
基于所述第一精神状态度量来修改所述媒体内容的播放。
20.根据权利要求19所述的装置，其中所述处理器在执行所述指令时还：
基于包括在所述传感器数据中的与环境相关联的数据来确定第二精神状态度量；以及
从所述第一精神状态度量移除所述第二精神状态度量。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/907,096 | 2020-06-19 | ||
| US16/907,096 US11211095B1 (en) | 2020-06-19 | 2020-06-19 | Modifying media content playback based on user mental state |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113815628A true CN113815628A (zh) | 2021-12-21 |
Family
ID=76502669
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110664572.XA Pending CN113815628A (zh) | 2020-06-19 | 2021-06-16 | 基于用户精神状态修改媒体内容播放 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11211095B1 (zh) |
| EP (1) | EP3925812A1 (zh) |
| CN (1) | CN113815628A (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11556175B2 (en) * | 2021-04-19 | 2023-01-17 | Toyota Motor Engineering & Manufacturing North America, Inc. | Hands-free vehicle sensing and applications as well as supervised driving system using brainwave activity |
| US11950909B2 (en) | 2021-07-28 | 2024-04-09 | Gmeci, Llc | Apparatuses and methods for individualized polygraph testing |
| US11604513B2 (en) * | 2021-07-28 | 2023-03-14 | Gmeci, Llc | Methods and systems for individualized content media delivery |
| US20230359468A1 (en) * | 2022-05-05 | 2023-11-09 | Microsoft Technology Licensing, Llc | User engagement surfaced through an application programming interface (api) |
| DE102022004075A1 (de) | 2022-10-31 | 2024-05-02 | Mercedes-Benz Group AG | Verfahren zur Fahrsicherheitsbewertung eines Fahrers eines Fahrzeuges |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7762665B2 (en) * | 2003-03-21 | 2010-07-27 | Queen's University At Kingston | Method and apparatus for communication between humans and devices |
| US20090138507A1 (en) * | 2007-11-27 | 2009-05-28 | International Business Machines Corporation | Automated playback control for audio devices using environmental cues as indicators for automatically pausing audio playback |
| EP3245093B1 (en) | 2015-01-12 | 2021-09-01 | Harman International Industries, Incorporated | Cognitive load driving assistant |
| US10455287B2 (en) * | 2016-02-02 | 2019-10-22 | International Business Machines Corporation | Content delivery system, method, and recording medium |
| US10791367B1 (en) * | 2017-03-31 | 2020-09-29 | Conviva Inc. | Correlating playback information of video segments |
| US10205988B1 (en) * | 2017-08-10 | 2019-02-12 | Rovi Guides, Inc. | Systems and methods for automatically resuming appropriate paused content when there are multiple users at a media device |
| US10696160B2 (en) | 2018-11-28 | 2020-06-30 | International Business Machines Corporation | Automatic control of in-vehicle media |
| US10762928B1 (en) * | 2019-03-25 | 2020-09-01 | International Business Machines Corporation | Cognitive media playback |
-
2020
- 2020-06-19 US US16/907,096 patent/US11211095B1/en active Active
-
2021
- 2021-06-10 EP EP21178721.3A patent/EP3925812A1/en active Pending
- 2021-06-16 CN CN202110664572.XA patent/CN113815628A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| EP3925812A1 (en) | 2021-12-22 |
| US20210398562A1 (en) | 2021-12-23 |
| US11211095B1 (en) | 2021-12-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11211095B1 (en) | Modifying media content playback based on user mental state | |
| US11027608B2 (en) | Driving assistance apparatus and driving assistance method | |
| Zepf et al. | Driver emotion recognition for intelligent vehicles: A survey | |
| JP7288911B2 (ja) | 情報処理装置、移動装置、および方法、並びにプログラム | |
| Kashevnik et al. | Driver distraction detection methods: A literature review and framework | |
| CN110001652B (zh) | 驾驶员状态的监测方法、装置及终端设备 | |
| US9807291B1 (en) | Augmented video processing | |
| US11702103B2 (en) | Affective-cognitive load based digital assistant | |
| US9794475B1 (en) | Augmented video capture | |
| JP2007122579A (ja) | 車両制御装置 | |
| EP3882097A1 (en) | Techniques for separating driving emotion from media induced emotion in a driver monitoring system | |
| WO2019208450A1 (ja) | 運転支援装置、運転支援方法及びプログラム | |
| JP7303901B2 (ja) | 複数の候補からドライバーを選択する提案システム | |
| JP2012085746A (ja) | 注意状態判別システム、方法、コンピュータプログラムおよび注意状態判別装置 | |
| WO2017189203A1 (en) | System and method for identifying and responding to passenger interest in autonomous vehicle events | |
| Rong et al. | Artificial intelligence methods in in-cabin use cases: a survey | |
| Busso et al. | Advances in multimodal tracking of driver distraction | |
| US20220137915A1 (en) | Daydream-aware information recovery system | |
| WO2019198299A1 (ja) | 情報処理装置及び情報処理方法 | |
| Tawari et al. | Audio visual cues in driver affect characterization: Issues and challenges in developing robust approaches | |
| US11912267B2 (en) | Collision avoidance system for vehicle interactions | |
| US11364894B2 (en) | Vehicle and method of controlling the same | |
| US10915768B2 (en) | Vehicle and method of controlling the same | |
| Spencer et al. | A Comparison of Unimodal and Multimodal Measurements of Driver Stress in Real-World Driving Conditions | |
| US20200210737A1 (en) | System and method for monitoring driver inattentiveness using physiological factors |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |