CN114077571A - 盖子控制器中枢 - Google Patents

盖子控制器中枢 Download PDF

Info

Publication number
CN114077571A
CN114077571A CN202110940137.5A CN202110940137A CN114077571A CN 114077571 A CN114077571 A CN 114077571A CN 202110940137 A CN202110940137 A CN 202110940137A CN 114077571 A CN114077571 A CN 114077571A
Authority
CN
China
Prior art keywords
user
display
data
privacy
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110940137.5A
Other languages
English (en)
Inventor
马可·巴切雷尔
亚历山大·麦琪
保罗·S·德芬堡
普拉尚·德万
克里斯托弗·弗莱明
凯西·布伊
罗素·博勒加德
阿宾·托马斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN114077571A publication Critical patent/CN114077571A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1601—Constructional details related to the housing of computer displays, e.g. of CRT monitors, of flat displays
    • G06F1/1605—Multimedia displays, e.g. with integrated or attached speakers, cameras, microphones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/76—Architectures of general purpose stored program computers
    • G06F15/78—Architectures of general purpose stored program computers comprising a single central processing unit
    • G06F15/7807—System on chip, i.e. computer system on a single chip; System in package, i.e. computer system on one or more chips in a single package
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1615—Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1615—Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function
    • G06F1/1616—Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function with folding flat displays, e.g. laptop computers or notebooks having a clamshell configuration, with body parts pivoting to an open position around an axis parallel to the plane they define in closed position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1643—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being associated to a digitizer, e.g. laptops that can be used as penpads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1688—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being integrated loudspeakers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/169—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated pointing device, e.g. trackball in the palm rest area, mini-joystick integrated between keyboard keys, touch pads or touch stripes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231—Monitoring the presence, absence or movement of users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/606—Protecting data by securing the transmission between two devices or processes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/82—Protecting input, output or interconnection devices
    • G06F21/83—Protecting input, output or interconnection devices input devices, e.g. keyboards, mice or controllers thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2111—Location-sensitive, e.g. geographical location, GPS
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Multimedia (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)
  • Calculators And Similar Devices (AREA)

Abstract

本公开提供了盖子控制器中枢。包括位于移动计算设备(例如膝上型电脑)的盖子中的处理组件的盖子控制器中枢(LCH)处理由输入传感器(麦克风、相机、触摸屏)生成的传感器数据并且相对于现有设备提供了改善和增强的体验。例如，LCH提供了强化的隐私以及触摸显示活动与显示刷新率的同步，后者相对于现有设计提供了更流畅且更响应迅捷的触摸体验。LHC包括神经网络加速器和数字信号处理器，它们使得能够在检测到认证用户的语音或脸部时唤醒设备。LCH还允许了基于视频和音频的情境感知和自适应冷却。通过实现减少的铰链线数以及单次电池充电下的典型日使用，LCH也提供了对于更简单的铰链和更小的电池的改善的工业设计。

Description

盖子控制器中枢
相关申请的交叉引用
本申请要求2020年8月18日提交的标题为“Lid Controller Hub Architecturefor Improved Touch Experiences(用于改进的触摸体验的盖子 控制器中枢体系结构)”的美国临时申请第63/067,071号的优先权和权益， 这里通过引用并入该美国申请的全部内容。
技术领域
本公开涉及电子设备领域，更具体地，涉及盖子控制器中枢。
背景技术
现有的膝上型电脑在盖子中包括各种输入传感器，例如麦克风、相机 和触摸屏。由这些盖子传感器生成的传感器数据通过穿过铰链的电线被递 送到膝上型电脑的底座，在这里它们被膝上型电脑的计算资源处理并且成 为操作系统和应用可访问的。
发明内容
根据本公开的一方面，提供了一种用户设备的控制器中枢装置，包括： 第一连接，用来与用户设备的主机片上系统(SoC)接合；第二连接，用 来与用户设备的面向用户的相机接合；以及电路，用来：访问用户设备的 隐私开关状态；基于隐私开关状态来控制对来自面向用户的相机的数据的 访问。
根据本公开的另一方面，提供了一种系统，包括：主机片上系统 (SoC)；面向用户的相机；隐私开关；与面向用户的相机和隐私开关耦 合的电路，其中电路用来基于隐私开关的状态控制对来自面向用户的相机 的数据的访问。
根据本公开的又一方面，提供了一种由用户设备的控制器中枢装置执 行的方法，包括：获得用户设备的隐私开关状态；以及基于隐私开关状态 来控制用户设备的主机片上系统(SoC)对来自用户设备的面向用户的相 机的数据的访问。
根据本公开的再一方面，提供了一种计算机可读介质，包括指令，这 些指令当被用户设备的装置执行时，使得该装置执行如本公开的上述方面 所述的方法。
附图说明
图1A图示了包括盖子控制器中枢的第一示例计算设备的框图。
图1B图示了包括盖子控制器中枢的第二示例移动计算设备的透视图。
图2图示了包括盖子控制器中枢的第三示例移动计算设备的框图。
图3图示了包括盖子控制器中枢的第四示例移动计算设备的框图。
图4图示了图3的盖子控制器中枢的安全性模块的框图。
图5图示了图3的盖子控制器中枢的主机模块的框图。
图6图示了图3的盖子控制器中枢的视觉/成像模块的框图。
图7图示了图3的盖子控制器中枢的音频模块的框图。
图8图示了结合图3的盖子控制器中枢使用的定时控制器、嵌入式显 示面板和附加电子装置的框图。
图9图示了示出包括盖子控制器中枢的移动计算设备中的组件的示例 物理布置的框图。
图10A-10E图示了盖子内的示例定时控制器和盖子控制器中枢物理布 置的框图。
图11A-11C示出了针对各种盖子控制器中枢实施例分解铰链电线计数 的表格。
图12A-12C图示了盖子中的显示内麦克风和相机的示例布置。
图13A-13B图示了示例发射式显示器中的像素的简化截面。
图14A图示了具有集成麦克风的一组示例像素。
图14B图示了沿着线A-A'取得的图14A的示例像素的截面。
图14C-14D图示了跨越多个像素的示例麦克风。
图15A图示了具有显示内相机的一组示例像素。
图15B图示了沿着线A-A'取得的图15A的示例像素的截面。
图15C-15D图示了跨越多个像素的示例相机。
图16图示了可被包含到嵌入式显示器中的示例相机。
图17图示了包括盖子控制器中枢的移动计算设备的示例软件/固件环 境的框图。
图18根据某些实施例图示了包括盖子控制器中枢的示例移动计算设 备的简化框图。
图19根据某些实施例图示了控制对与来自用户设备的面向用户的相 机的图像相关联的数据的访问的示例过程的流程图。
图20图示了一示例实施例，其包括在边框上并且在面向用户的相机 的相对两侧上的触摸传感隐私开关和隐私指示器。
图21图示了一示例实施例，其包括在边框上并且在面向用户的相机 的相对两侧上的物理隐私开关和隐私指示器。
图22图示了一示例实施例，其包括在边框中的物理隐私开关和隐私 指示器。
图23图示了一示例实施例，其包括在底座上的物理隐私开关、在边 框上的隐私指示器以及由隐私开关控制的物理隐私快门。
图24根据某些实施例图示了动态隐私监视系统的一种示例使用场景。
图25根据某些实施例图示了动态隐私监视系统的另一示例使用场景。
图26A-26B根据某些实施例图示了可由动态隐私监视系统实现的示例 屏幕模糊。
图27根据某些实施例图示了为设备过滤视觉和/或音频输出的示例过 程的流程图。
图28是根据至少一个实施例图示出用于配置有盖子控制器中枢的设 备之间的视频呼叫的通信系统的简化框图。
图29是根据至少一个实施例的视频呼叫期间的可能的计算组件和数 据流程的简化框图。
图30是根据至少一个实施例的可能分割图谱的示例图示。
图31A-31B是在显示面板上显示的视频帧的不同像素密度的示例表示。
图32A根据至少一个实施例图示了卷积神经网络的示例。
图32B根据至少一个实施例图示了完全卷积神经网络的示例。
图33是根据至少一个实施例的实现有盖子控制器中枢的设备之间建 立的视频呼叫中的示例视频流流程的图示。
图34是根据至少一个实施例的设备之间建立的视频呼叫期间可显示 的对象的示例优化和增强的图解表示。
图35是根据至少一个实施例的可与盖子控制器中枢相关联的示例过 程的高级别流程图。
图36是根据至少一个实施例的可与盖子控制器中枢相关联的示例过 程的简化流程图。
图37是根据至少一个实施例的可与盖子控制器中枢相关联的另一示 例过程的简化流程图。
图38是根据至少一个实施例的可与盖子控制器中枢相关联的另一示 例过程的简化流程图。
图39是根据至少一个实施例的可与设备的编码器相关联的示例过程 的简化流程图。
图40是根据至少一个实施例的可与为视频呼叫接收编码视频帧的设 备相关联的示例过程的简化流程图。
图41是根据至少一个实施例的具有照明边界的显示屏幕上显示的视 频呼叫的视频流的示例视频帧的图解表示。
图42是计算设备的有机发光二极管(OLED)显示器的可能层的图解 表示。
图43是根据至少一个实施例的可与盖子控制器中枢相关联的示例过 程的简化流程图。
图44A-44B是对典型的双显示器计算系统的不同显示设备的用户注意 力的图解表示。
图45A-45C是对典型的多显示器计算系统的不同显示设备的用户注意 力的图解表示。
图46是根据至少一个实施例的被配置为基于用户存在和注意力来管 理显示设备的多显示器计算系统的简化框图。
图47是图示出多显示器计算系统中的相机的可能视野的俯视图。
图48A-48C是图示出用户相对于显示设备的可能的头部/脸部朝向的 俯视图。
图49A-49B是根据至少一个实施例在被配置为对多个显示器执行基于 用户存在的显示管理的双显示器计算系统中对于不同显示设备的用户注意 力的图解表示。
图50A-50C是根据至少一个实施例在被配置为对多个显示器执行基于 用户存在的显示管理的多显示器计算系统中对于不同显示设备的用户注意 力的图解表示。
图51是根据至少一个实施例的图46的计算系统的附加细节的示意性 图示。
图52是根据至少一个实施例图示出图51的组件的附加细节的简化框 图。
图53是根据至少一个实施例的可与盖子控制器中枢相关联的示例过 程的高级别流程图。
图54是根据至少一个实施例的可与检测用户存在相关联的示例过程 的简化流程图。
图55是根据至少一个实施例的可与触发认证机制相关联的示例过程 的简化流程图。
图56是根据至少一个实施例的可与自适应地对显示面板进行调暗相 关联的示例过程的简化流程图。
图57是根据至少一个实施例的可与自适应地对显示面板进行调暗相 关联的示例过程的简化流程图。
图58是根据至少一个实施例的可与显示设备的无活动超时相关联的 示例过程的简化流程图。
图59是包括局部对比度增强和全局调暗模块的示例定时控制器的框 图。
图60是包括局部对比度增强和全局调暗模块的示例定时控制器前端 的框图。
图61是局部对比度增强和全局调暗示例方法的第一示例。
图62A-62B图示了局部对比度增强和全局调暗对示例图像的应用。
图63是局部对比度增强和全局调暗示例方法的第一示例。
图64A和64B分别图示了处于打开和闭合配置中的移动计算设备的顶 视图，其中第一示例可折叠显示器包括可作为始终开启的显示器操作的一 部分。
图65A图示了处于打开配置中的移动计算设备的顶视图，其中第二示 例可折叠显示器包括可作为始终开启的显示器操作的一部分。
图65B和65C分别图示了处于闭合配置中的图65A的移动计算设备 的截面侧视图和顶视图。
图66A-66L图示了包括可折叠显示器的移动计算设备的各种视图，该 可折叠显示器具有可作为始终开启的显示器操作的显示部分。
图67是与具有始终开启的显示部分的可折叠显示器相关联的示例定 时控制器和附加显示管线组件的框图。
图68图示了用于操作能够作为始终开启的显示器操作的移动计算设 备的可折叠显示器的示例方法。
图69是包括盖子控制器中枢的第五示例移动计算设备的底座中的计 算设备组件的框图。
图70是可以执行作为实现本文描述的技术的一部分的指令的示范性 处理器单元的框图。
具体实施方式
本文公开了盖子控制器中枢，其在膝上型电脑或者具有类似外形参数 的计算设备的盖子中执行各种计算任务。盖子控制器中枢可处理由位于盖 子中的麦克风、触摸屏、相机和其他传感器生成的传感器数据。与现有的 设备相比，盖子控制器中枢允许了膝上型电脑具有改善和扩展的用户体验、 增大的隐私和安全性，更低的功率消耗和改善的工业设计。例如，盖子控 制器中枢允许了触摸传感器数据的采样和处理与显示器的刷新率同步，这 可带来流畅和响应迅捷的触摸体验。持续监视和处理由盖子中的相机和麦 克风捕捉的图像和音频传感器数据，允许了膝上型电脑在检测到授权用户 的语音或脸部时唤醒。盖子控制器中枢通过在可信的执行环境中操作，提 供了增强的安全性。只有经过适当认证的固件才被允许在盖子控制器中枢 中操作，这意味着没有不希望的应用能够访问基于盖子的麦克风和相机， 并且由盖子控制器中枢处理来支持盖子控制器中枢特征的图像和音频传感 器数据保持在盖子控制器中枢本地。
通过盖子控制器中枢的计算资源，实现了增强和改善的体验。例如， 盖子控制器中枢内的神经网络加速器可以模糊视频呼叫的背景中的显示器 或脸部，或者过滤掉音频呼叫的背景中的狗叫声。另外，通过使用各种技 术，例如只在其可能在使用中时启用传感器，比如在检测到触摸交互时以 典型的采样率对触摸显示器输入进行采样，实现了电力节省。另外，在盖 子本地处理传感器数据，而不是必须穿过铰链发送传感器数据让操作系统对其进行处理，也提供了时延改善。盖子控制器中枢还允许膝上型电脑设 计中减少穿过铰链的电线。这不仅可降低铰链成本，还可使工业设计更加 简单，从而更加美观。下面将更详细地论述这些和其他盖子控制器中枢特 征和优势。
在下面的描述中，阐述了具体的细节，但本文描述的技术的实施例可 在没有这些具体细节的情况下实现。没有详细示出公知的电路、结构和技 术，以免模糊对本说明书的理解。“一实施例”、“各种实施例”、“一 些实施例”之类的可包括特征、结构或特性，但不是每一个实施例都一定 包括该特定特征、结构或特性。
一些实施例可具有针对其他实施例描述的特征中的一些、全部或者不 具有。“第一”、“第二”、“第三”之类的描述了共同的对象，并且指 示出提及了相似对象的不同实例。这样的形容词并不意味着这样描述的对 象必须在一个给定的序列中，无论是在时间上还是在空间上，在排名上， 或者任何其他方式。“连接”可指示出元素彼此之间有直接的物理或者电 气接触，而“耦合”可指示出元素与彼此合作或交互，但它们可能有也可 能没有发生直接的物理或电气接触。由“基本上”一词修饰的术语包括与 未修饰的术语的含义略有不同的布置、朝向、间距或者位置。例如，对相 对于移动计算的底座可旋转到基本上360度的移动计算设备的盖子的描述 包括相对于设备底座可旋转到360度的几度之内的盖子。
描述可使用短语“在一实施例中”、“在实施例中”、“在一些实施 例中”和/或“在各种实施例中”，它们各自可以指一个或多个相同或不同 实施例。此外，针对本公开的实施例所使用的术语“包括”、“包含”、 “具有”之类的是同义的。
现在参考不一定按比例绘制的附图，其中相似或相同的标号可用于指 定不同图中的相同或相似的部分。在不同图中使用相似或相同的标号并不 意味着包括相似或相同标号的所有附图构成单个或同一个实施例。具有不 同字母后缀的相似标号可表示相似组件的不同实例。附图概括地以示例方 式而非限制方式图示了本文档中论述的各种实施例。
在接下来的描述中，出于解释的目的，记载了许多具体细节以提供对 其的透彻理解。然而，可明显看出，没有这些具体细节也可实现新颖的实 施例。在其他实例中，以框图形式示出公知的结构和设备以促进对其的描 述。意图是覆盖权利要求的范围内的所有修改、等同和替换。
图1A图示了包括盖子控制器中枢的第一示例移动计算设备的框图。 计算设备100包括通过铰链130连接到盖子120的底座110。移动计算设 备(在此也被称为“用户设备”)100可以是膝上型电脑或者具有类似外 形参数的移动计算设备。底座110包括主机片上系统(system-on-a-chip， SoC)140，该主机片上系统包括一个或多个处理器单元，这一个或多个处 理器单元与一个或多个附加组件集成，例如存储器控制器、图形处理单元(graphics processing unit，GPU)、缓存、图像处理模块和本文描述的其 他组件。底座110可进一步包括物理键盘、触摸板、电池、存储器、存储 装置和外部端口。盖子120包括嵌入式显示面板145，定时控制器(timing controller，TCON)150，盖子控制器中枢(lidcontroller hub，LCH)155， 麦克风158，一个或多个相机160，以及触摸控制器165。TCON150将从SoC 140接收的视频数据190转换为驱动显示面板145的信号。
显示面板145可以是任何类型的嵌入式显示器，其中负责生成光或者 允许光透过的显示元件位于每个像素中。这种显示器可包括TFT LCD (thin-film-transistor liquidcrystal display，薄膜晶体管液晶显示器)、微型 LED(微型发光二极管(light-emittingdiode，LED))、OLED(有机 LED)和QLED(量子点LED)显示器。触摸控制器165驱动显示面板145中利用的触摸屏技术，并且收集由所采用的触摸屏技术提供的触摸传 感器数据。显示面板145可包括触摸屏，该触摸屏包括一个或多个用于实 现触摸能力的专用层，或者不要求专用触摸屏层的“单元内”或者“单元 上”触摸屏技术。
麦克风158可包括位于盖子的边框中的麦克风或者位于显示区域中的 显示内麦克风，其中显示区域是面板的显示内容的区域。一个或多个相机 160可类似地包括位于边框中的相机或者位于显示区域中的显示内相机。
LCH 155包括音频模块170、视觉/成像模块172、安全性模块174以 及主机模块176。音频模块170、视觉/成像模块172和主机模块176与盖 子传感器交互，处理由传感器生成的传感器数据。音频模块170与麦克风 158交互并且处理由麦克风158生成的音频传感器数据，视觉/成像模块 172与一个或多个相机160交互并且处理由一个或多个相机160生成的图 像传感器数据，并且主机模块176与触摸控制器165交互并且处理由触摸 控制器165生成的触摸传感器数据。同步信号180是在定时控制器150和 盖子控制器中枢155之间共享的。同步信号180可用于使触摸传感器数据 的采样和触摸传感器数据向SoC 140的递送与显示面板145的刷新率同步， 以在系统级实现流畅和响应迅捷的触摸体验。
如本文所使用的，短语“传感器数据”可以指由传感器生成或提供的 传感器数据，以及经历后续处理的传感器数据。例如，图像传感器数据可 以指在视觉/成像模块中的帧路由器处接收的传感器数据，以及由视觉/成 像模块中的帧路由器处理栈输出的经处理的传感器数据。短语“传感器数 据”也可以指离散的传感器数据(例如，由相机捕捉的一个或多个图像) 或者传感器数据流(例如，由相机生成的视频流，由麦克风生成的音频 流)。短语“传感器数据”可进一步指从传感器数据生成的元数据，例如 从触摸传感器数据确定的手势或者从图像传感器数据生成的头部朝向或者 面部标志信息。
音频模块170处理由麦克风158生成的音频传感器数据，并且在一些 实施例中使能诸如以下特征：语音唤醒(当在音频传感器数据中检测到语 音时，使设备100从低功率状态退出)，扬声器ID(当在音频传感器数据 中检测到认证用户的语音时，使设备100从低功率状态退出)，声学情境 感知(例如，过滤不想要的背景噪声)，话音和语音预处理以通过神经网 络加速器调节音频传感器数据以供进一步处理，动态降噪，以及基于音频 的自适应热解决方案。
视觉/成像模块172处理由一个或多个相机160生成的图像传感器数据， 并且在各种实施例中可使能诸如以下特征：脸部唤醒(当在图像传感器数 据中检测到脸部时，使设备100从低功率状态退出)，以及脸部ID(当在 图像传感器数据中检测到认证用户的脸部时，使设备100从低功率状态退 出)。在一些实施例中，视觉/成像模块172可使能以下特征中的一个或多 个：头部朝向检测，确定图像中的面部标志(例如，眼睛、嘴巴、鼻子、 眉毛、脸颊)的位置，以及多脸检测。
主机模块176处理由触摸控制器165提供的触摸传感器数据。主机模 块176能够使触摸相关动作与嵌入式面板145的刷新率同步。这允许了在 系统级同步触摸和显示活动，这为在移动计算设备上操作的任何应用提供 了改善的触摸体验。
从而，LCH 155可被认为是SoC 140的伴随晶粒，因为LCH 155处理 一些传感器数据相关的处理任务，这些任务是由现有移动计算设备中的 SoC执行的。LCH 155与盖子传感器的邻近允许了实现如果传感器数据必 须被穿过铰链130发送以被SoC 140处理就可能无法实现的体验和能力。 LCH 155与盖子传感器的邻近减少了时延，这为传感器数据处理创造了更 多的时间。例如，如下文将更详细论述的，LCH 155包括神经网络加速器、 数字信号处理器以及图像和音频传感器数据处理模块，以实现诸如语音唤 醒、脸部唤醒和情境理解之类的特征。将LCH计算资源定位在邻近盖子 传感器的地方也允许了电力节省，因为盖子传感器数据需要行经较短的长 度--到LCH而不是穿过铰链到底座。
盖子控制器中枢允许了额外的电力节省。例如，LCH允许了SoC和底 座中的其他组件进入低功率状态，同时LCH监视传入的传感器数据，以 确定设备是否要转变到活跃状态。通过仅在检测到认证用户的存在(例如， 经由扬声器ID或者脸部ID)时才能够唤醒设备，与设备响应于检测到任 何人的存在而唤醒相比，设备可被更长时间地保持在低功率状态中。盖子 控制器中枢还允许了在某些情境中将嵌入式显示面板处的触摸输入的采样 率降低到更低的水平(或者禁用)。下面将更详细论述由盖子控制器中枢 实现的额外的电力节省。
如本文所使用的，当提及移动计算设备的系统级状态时，术语“活跃 状态”是指该设备完全可使用的状态。也就是说，主机处理器单元和盖子 控制器中枢的全部能力是可用的，一个或多个应用可以执行，并且该设备 能够提供交互式和响应迅捷的用户体验——用户可观看电影、参与视频呼 叫、上网冲浪、操作计算机辅助设计工具，或者以无数其他方式之一使用 该设备。当设备处于活跃状态中时，设备的一个或多个模块或其他组件， 包括盖子控制器中枢或者盖子控制器中枢的组成模块或者其他组件，可被 置于低功率状态中以节约电力。当设备处于活跃状态中时，主机处理器单 元可被暂时置于高性能模式中，以适应严苛的工作负载。从而，移动计算 设备在处于活跃状态中时可在一定的功率水平范围内操作。
如本文所使用的，当提及移动计算设备的系统级状态时，术语“低功 率状态”是指设备以低于设备在活跃状态中操作时的功率消耗水平操作的 状态。通常，主机处理单元以比设备处于活跃状态中时更低的功率消耗水 平操作，并且更多的设备模块或者其他组件集体以比设备处于活跃状态中 时更低的功率状态操作。设备可在一个或多个低功率状态中操作，低功率 状态之间的一个差异的特征在于设备级的功率消耗水平。在一些实施例中， 低功率状态之间的另一个差异的特征在于设备在响应于用户输入(例如， 键盘、鼠标、触摸、语音、在图像传感器数据中检测到的用户存在、用户 打开或者移动设备)、网络事件或者来自附接设备(例如，USB设备)的 输入时需要多长时间来唤醒。这种低功率状态可被表征为“待机”、“空 闲”、“睡眠”或者“休眠”状态。
在第一种类型的设备级低功率状态中，例如被表征为“空闲”或者 “待机”低功率状态的那些，设备可响应于用户输入、硬件或网络事件而 迅速从低功率状态转变到活跃状态。在第二种类型的设备级低功率状态中， 例如被表征为“睡眠”状态的那种，设备消耗的功率比第一种类型的低功 率状态中小，并且易失性存储器被保持刷新以维持设备状态。在第三种类 型的设备级低功率状态中，例如被表征为“休眠”低功率状态的那种，设 备消耗的功率比第二种类型的低功率状态中要少。非易失性存储器不保持 刷新，并且设备状态被存储在非易失性存储器中。由于必须从非易失性存 储器中恢复系统状态，因此设备从第三种类型的低功率状态唤醒要比从第 一或第二种类型的低功率状态唤醒花费更长时间。在第四种类型的低功率 状态中，设备是关断的，不消耗功率。从关断状态唤醒设备要求设备经历 完全重启。如本文所使用的，唤醒设备是指设备从低功率状态转变到活跃 状态。
在提到盖子中枢控制器时，术语“活跃状态”是指盖子中枢控制器的 全部资源可用的盖子中枢控制器状态。也就是说，LCH可在传感器数据被 生成时对其进行处理，将传感器数据和由LCH基于传感器数据生成的任 何数据传递给主机SoC，并且基于从主机SoC接收的视频数据来显示图像。 当LCH处于活跃状态中时，LCH的一个或多个组件可被单独置于低功率 状态中。例如，如果LCH检测到在图像传感器数据中没有检测到授权用 户，则LCH可以使盖子显示器被禁用。在另一示例中，如果隐私模式被 启用，则将传感器数据传输到主机SoC的LCH组件可被禁用。当提及盖 子控制器中枢时，术语“低功率”状态可以指一种功率状态，其中LCH 以比处于活跃状态中时更低的功率消耗水平操作，并且其典型特征是一个 或多个LCH模块或者其他组件被置于比LCH处于活跃状态中时更低的功 率状态中。例如，当计算设备的盖子被闭合时，盖子显示器可被禁用， LCH视觉/成像模块可被置于低功率状态中，并且LCH音频模块可保持操 作，以支持语音唤醒特征，来允许设备继续响应音频查询。
移动计算设备的模块或者任何其他组件可通过各种方式被置于低功率 状态中，例如降低其操作电压，被以降低的频率提供时钟信号，或者通过 接收导致组件消耗更少功率的控制信号而被置于低功率状态中(例如将图 像显示管线中的模块置于低功率状态中，在该状态中它仅对图像的一部分 执行图像处理)。
在一些实施例中，由LCH实现的电力节省允许了移动计算设备在典 型的使用条件下被操作一天而不需要再充电。能够以较少量的电力为单日 使用提供电力还可允许在移动计算设备中使用较小的电池。通过能够使用 较小的电池以及能够减少穿过将设备连接到盖子的铰链上的电线的数目， 包括LCH的膝上型电脑可以更薄并且更轻，从而比现有设备具有改善的 工业设计。
在一些实施例中，本文公开的盖板控制器中枢技术允许了膝上型电脑 具有智能协作和个人助理能力。例如，LCH可提供近场和远场音频能力， 这些能力通过检测远程音频源的位置和改善对从远程音频源位置到达的音 频的检测，而允许了增强的音频接收。当与语音唤醒和扬声器ID能力相 结合时，近场和远场音频能力允许了移动计算设备的行为类似于当今市场 上普遍存在的“智能扬声器”。例如，考虑这样一个场景：用户从工作中 休息一下，离开他们的膝上型电脑，并且从房间的另一边问膝上型电脑： “明天的天气怎么样？”膝上型电脑由于在由面向用户的相机提供的图像 传感器数据中没有检测到授权用户的脸部而转变到了低功率状态中，并且 持续监视传入的音频传感器数据并检测到来自授权用户的话音。膝上型电 脑退出其低功率状态，取回请求的信息，并且回答用户的询问。
铰链130可以是任何物理铰链，其允许了底座110和盖子120可旋转 地连接。穿过铰链130的电线包括用于从SoC 140向TCON 150传递视频 数据190的电线，用于在SoC 140和音频模块170之间传递音频数据192 的电线，用于从视觉/成像模块172向SoC 140提供图像数据194的电线， 用于从LCH 155向SoC 140提供触摸数据196的电线，以及用于从主机模块176向SoC 140提供从图像传感器数据和由LCH 155生成的其他信息确 定的数据的电线。在一些实施例中，被示为在SoC和LCH之间通过不同 组电线传递的数据是通过同一组电线传输的。例如，在一些实施例中，触 摸数据、传感数据以及由LCH生成的其他信息可通过单个USB总线发送。
在一些实施例中，盖子120可移除地附着到底座110。在一些实施例 中，铰链可允许底座110和盖子120相对于任何一方基本上旋转到360度。 在一些实施例中，相对于没有LCH的现有计算设备，铰链130携带较少 的电线来将盖子120通信地耦合到底座110。穿过铰链130的电线的这种 减少可导致设备成本的降低，这不仅仅是由于电线的减少，而且还由于是 一种更简单的电磁和射频接口(EMI/RFI)解决方案。
图1A中图示为位于移动计算设备的底座中的组件可位于底座外壳中， 并且图1A中图示为位于移动计算设备的盖子中的组件可位于盖子外壳中。
图1B图示了包括盖子控制器中枢的第二示例移动计算设备的透视图。 移动计算设备122可以是膝上型电脑或者其他具有类似外形参数的移动计 算设备，例如可折叠的平板设备或者智能电话。盖子123包括“A盖”124 和“B盖”125，当移动计算设备122处于闭合配置时，“A盖”124是盖 子123的面向世界的表面，而当盖子123打开时，“B盖”125包括面向 用户的显示器。底座129包括“C盖”126和“D盖”127，其中“C盖” 126包括当设备122处于打开配置时面向上的键盘，而“D盖”127是底座 129的底部。在一些实施例中，底座129包括设备122的主要计算资源 (例如，(一个或多个)主机处理器单元、GPU)，以及电池、存储器和 存储装置，并且经由穿过铰链128的电线与盖子123通信。从而，在移动 计算设备是双显示器设备的实施例中，例如双显示器膝上型电脑、平板设 备或者智能电话，底座可被视为包括主机处理器单元的设备部分，而盖子 可被视为包括LCH的设备部分。Wi-Fi天线可位于本文描述的任何计算设 备的底座或者盖子中。
在其他实施例中，计算设备122可以是双显示器设备，其第二显示器 包括C盖126的一部分。例如，在一些实施例中，“始终开启”显示器 (always-on display，AOD)可占据C盖的位于键盘下方的区域，当盖子 123闭合时该区域是可见的。在其他实施例中，第二显示器覆盖了C盖的 大部分表面，并且可移除的键盘可被放置在第二显示器上，或者第二显示器可呈现虚拟键盘以允许键盘输入。
盖子控制器中枢不限于在膝上型电脑和其他具有类似于图1B所示的 外形参数的移动计算设备中实现。本文公开的盖子控制器中枢技术可在移 动计算设备中采用，这种移动计算设备包括底座和单个盖子之外的一个或 多个部分，额外的一个或多个部分包括显示器和/或一个或多个传感器。例 如，包括LCH的移动计算设备可包括底座；包括第一触摸显示器、相机 和麦克风的主显示部分；以及包括第二触摸显示器的辅显示部分。第一铰 链将底座可旋转地耦合到辅显示部分，第二铰链将主显示部分可旋转地耦 合到辅显示部分。位于任一显示部分中的LCH可处理由位于LCH所处的 同一显示部分中的盖子传感器或者由两个显示部分中的盖子传感器生成的 传感器数据。在这个示例中，盖子控制器中枢可位于主显示部分和辅显示 部分中的任一者或两者中。例如，第一LCH可位于经由穿过第一铰链的 电线与底座通信的次显示器中，并且第二LCH可位于经由穿过第一和第 二铰链的电线与底座通信的主显示器中。
图2图示了包括盖子控制器中枢的第三示例移动计算设备的框图。设 备200包括通过铰链230连接到盖子220的底座210。底座210包括SoC 240。盖子220包括定时控制器(TCON)250、盖子控制器中枢(LCH) 260、面向用户的相机270、嵌入式显示面板280和一个或多个麦克风290。
SoC 240包括显示模块241，集成传感器中枢242，音频捕捉模块243， 通用串行总线(Universal Serial Bus，USB)模块244，图像处理模块245， 以及多个处理器核心235。显示模块241经由八线嵌入式DisplayPort (embedded DisplayPort，eDP)连接233与TCON250中的eDP模块进行 通信。在一些实施例中，嵌入式显示面板280是刷新率高达120Hz的“3K2K”显示器(具有3K×2K分辨率的显示器)，并且连接233包括两 个eDP高比特率2(HBR2(17.28Gb/s))连接。集成传感器中枢242经 由两线移动工业处理器接口(Mobile IndustryProcessor Interface，MIPI) I3C(SenseWire)连接221与LCH 260的视觉/成像模块263进行通信，音 频捕捉模块243经由四线MIPI
Figure BDA0003212949650000151
连接222与LCH 260的音频模 块264进行通信，USB模块244经由USB连接223与LCH 260的安全性/ 主机模块261进行通信，并且图像处理模块245经由包括10条线的四通道 MIPI D-PHY连接224从LCH 260的帧路由器267的MIPI D-PHY发送端 口265接收图像数据。集成传感器中枢242可以是英特尔
Figure BDA0003212949650000164
集成 传感器中枢或者能够处理来自一个或多个传感器的传感器数据的任何其他 传感器中枢。
TCON 250包括eDP端口252和快速外围组件接口(Peripheral ComponentInterface Express，PCIe)端口254，该PCIe端口254通过48 线连接225利用PCIe的对等(peer-to-peer，P2P)通信特征驱动嵌入式显 示面板280。
LCH 260包括安全性/主机模块261、视觉/成像模块263、音频模块 264、以及帧路由器267。安全性/主机模块261包括数字信号处理(digital signal processing，DSP)处理器271、安全性处理器272、保险库和一次性 密码(one-time password，OTP)生成器273、以及存储器274。在一些实 施例中，DSP 271是
Figure BDA0003212949650000162
EM7D或者EM11D DSP处理器，并且安全性处理器是
Figure BDA0003212949650000163
SEM安 全性处理器。除了与SoC 240中的USB模块244通信以外，安全性/主机 模块261还经由集成电路间(inter-integrated circuit，I2C)连接226与 TCON 250通信，以提供LCH和TCON活动之间的同步。存储器274存储 由LCH 260的组件执行的指令。
视觉/成像模块263包括DSP 275、神经网络加速器(neural networkaccelerator，NNA)276、图像预处理器278和存储器277。在一些实施例 中，DSP 275是
Figure BDA0003212949650000161
EM11D处理器。视觉/成像模块263 经由智能外围接口(intelligent peripheral interface，IPI)连接227与帧路由 器267通信。视觉/成像模块263可执行脸部检测，检测头部朝向，并且基 于检测到图像传感器数据中的人的脸部(脸部唤醒)或者授权用户的脸部 (脸部ID)来使能设备访问。在一些实施例中，视觉/成像模块263可经 由神经网络加速器276实现一个或多个人工智能(artificial intelligence，AI)模型以使能这些功能。例如，神经网络加速器276可实现一种模型，该模 型被训练来识别图像传感器数据中的授权用户的脸部以使能脸部唤醒特征。 视觉/成像模块263经由包括一对I2C或I3C线和五线通用I/O(general- purpose I/O，GPIO)连接的连接228与相机270通信。帧路由器267包括 D-PHY发送端口265和D-PHY接收器266，该接收器经由包括四线MIPI相机串行接口2(Camera Serial Interface，CSI2)连接的连接231接收由面 向用户的相机270提供的图像传感器数据。LCH 260经由连接232与触摸 控制器285通信，该连接232可包括八线串行外围接口(serial peripheral interface，SPI)或者四线I2C连接。
音频模块264包括一个或多个DSP 281、神经网络加速器282、音频 预处理器284和存储器283。在一些实施例中，盖子220包括四个麦克风 290，并且音频模块264包括四个DSP281，每个麦克风一个。在一些实施 例中，每个DSP 281是
Figure BDA0003212949650000171
HiFiDSP。音频模块264经由 连接229与一个或多个麦克风290通信，该连接229包括MIPI
Figure BDA0003212949650000172
连接或者经由脉冲密度调制(pulse-density modulation，PDM) 发送的信号。在其他实施例中，连接229包括四线数字麦克风(digital microphone，DMIC)接口，两线集成IC间声音总线(inter-IC sound，I2S) 连接，以及一个或多个GPIO线。音频模块264使得能够在检测到人类语 音(语音唤醒)或者认证用户的语音(说话者ID)、近场和远场音频(输 入和输出)时将设备从低功率状态唤醒，并且可执行额外的话音识别任务。 在一些实施例中，NNA 282是人工神经网络加速器，实现一个或多个人工 智能(AI)模型，以使能各种LCH功能。例如，NNA 282可实现一种AI 模型，该AI模型被训练来检测由一个或多个麦克风290生成的音频传感 器数据中的唤醒词或者短语，以使能语音唤醒特征。
在一些实施例中，安全性/主机模块存储器274、视觉/成像模块存储器 277和音频模块存储器283是安全性/主机模块261、视觉/成像模块263和 音频模块264可访问的共享存储器的一部分。在设备200的启动期间，共 享存储器的一部分被指派给安全性/主机模块261、视觉/成像模块263和音 频模块264中的每一者。在启动之后，指派给一个模块的共享存储器的每 个部分与其他指派的部分是防火墙隔开的。在一些实施例中，共享存储器 可以是12MB存储器，其分区如下：安全性/主机存储器(1MB)、视觉/ 成像存储器(3MB)、音频存储器(8MB)。
本文描述的连接两个或更多个组件的任何连接都可利用不同的接口、 协议或连接技术和/或利用与对于特定连接描述的不同的线数。尽管显示模 块241、集成传感器中枢242、音频捕捉模块243、USB模块244和图像处 理模块245被图示为集成到SoC 240中，但在其他实施例中，这些组件中 的一个或多个可位于SoC的外部。例如，这些组件中的一个或多个可位于 晶粒上、封装中或者与包括主机处理器单元(例如，核心235)的晶粒、 封装或者板分开的板上。
图3图示了包括盖子控制器中枢的第四示例移动计算设备的框图。移 动计算设备300包括经由铰链330连接到底座315的盖子301。盖子301 包括盖子控制器中枢(LCH)305、定时控制器355、面向用户的相机346、 麦克风390、嵌入式显示面板380、触摸控制器385和存储器353。LCH 305包括安全性模块361、主机模块362、视觉/成像模块363和音频模块364。安全性模块361为LCH 305提供安全的处理环境，并且包括保险库 320、安全性处理器321、架构310、I/O 332、始终开启(AON)块316和 存储器323。安全性模块361负责加载和认证存储在存储器353中并且由 LCH 305的各种组件(例如，DSP、神经网络加速器)执行的固件。安全 性模块361通过以下方式来认证固件：在固件上执行加密散列函数并且确 保所得到的散列是正确的并且固件具有使用存储在安全性模块361中的密 钥信息的适当签名。加密散列函数由保险库320执行。在一些实施例中， 保险库320包括加密加速器。在一些实施例中，安全性模块361可呈现产 品信任根(product root of trust，PRoT)接口，设备200的另一个组件可通 过该接口查询LCH 305以获得固件认证的结果。在一些实施例中，可通过I2C/I3C接口(例如，I2C/I3C接口470)提供PRoT接口。
如本文所使用的，术语“操作”、“执行”或者“运行”在其涉及与 盖子控制器中枢、盖子控制器中枢组件、主机处理器单元、SoC或者其他 计算设备组件相关的软件或固件时是可互换使用的，并且可以指存储在计 算设备组件可访问的一个或多个计算机可读存储介质中的软件或固件，即 使该软件或固件中包含的指令并没有正被该组件活跃执行。
安全性模块361还存储隐私信息并且处理隐私任务。在一些实施例中， LCH 305用来执行脸部ID或者说话者ID以在认证用户的语音被麦克风拾 取或者认证用户的脸部被相机捕捉时唤醒计算设备的信息被存储在安全性 模块361中。安全性模块361还为LCH或者计算设备使能隐私模式。例如， 如果用户输入指示出用户希望使能隐私模式，则安全性模块361可禁止 LCH资源访问由一个或多个盖子输入设备(例如，触摸屏、麦克风、相机) 生成的传感器数据。在一些实施例中，用户可设置隐私设置以使得设备进 入隐私模式。隐私设置包括，例如，在视频会议应用中禁用视频和/或音频 输入，或者使能操作系统级别的隐私设置，其防止任何应用或者操作系统 接收和/或处理传感器数据。设置应用或者操作系统隐私设置可使得信息被 发送到盖子控制器中枢，以使得LCH进入隐私模式。在隐私模式中，盖子控制器中枢可使得输入传感器进入低功率状态，防止LCH资源处理传 感器数据，或者防止原始或者经处理的传感器数据被发送到主机处理单元。
在一些实施例中，LCH 305可使能脸部唤醒或者脸部ID特征，同时 对系统的其余部分(例如，操作系统和在操作系统上运行的任何应用)保 持图像传感器数据的隐私。在一些实施例中，视觉/成像模块363继续处理 图像传感器数据，以在设备处于隐私模式中时，允许脸部唤醒或者脸部ID 特征保持活跃。在一些实施例中，只有在检测到脸部(或者授权用户的脸 部)时，图像传感器数据才会通过视觉/成像模块363传递给SoC 340中的 图像处理模块345，而不管隐私模式是否被使能，以增强隐私并且降低功 耗。在一些实施例中，移动计算设备300除了面向用户的相机346之外， 还可包括一个或多个面向世界的相机，以及一个或多个面向世界的麦克风 (例如，包含到膝上型电脑的“A盖”中的麦克风)。
在一些实施例中，盖子控制器中枢305响应于用户按下隐私按钮、翻 转隐私开关或者在盖子中的输入传感器上滑动滑块，而进入隐私模式。在 一些实施例中，可向用户提供隐私指示器以指示LCH处于隐私模式中。 隐私指示器可例如是位于底座或者显示器边框中的LED，或者显示在显示 器上的隐私图标。在一些实施例中，用户激活外部隐私按钮、开关、滑块、 热键等等会使能在硬件级别或者系统级别设置的隐私模式。也就是说，隐 私模式适用于在移动计算设备上操作的所有应用和操作系统。例如，如果 用户按压位于盖子的边框中的隐私开关，则LCH作为响应可禁止所有音 频传感器数据和所有图像传感器数据被提供给SoC。音频和图像传感器数 据仍然可供LCH用来执行任务，例如语音唤醒和扬声器ID，但盖子控制 器中枢可访问的音频和图像传感器数据不能被其他处理组件访问。
主机模块362包括安全性处理器324、DSP 325、存储器326、架构 311、始终开启块317、以及I/O 333。在一些实施例中，主机模块362可 启动LCH，将LCH遥测和中断数据发送到SoC，管理与触摸控制器385 的交互，并且将触摸传感器数据发送到SoC 340。主机模块362通过USB 连接向SoC 340中的USB模块344发送来自多个盖子传感器的盖子传感器 数据。通过单个连接发送多个盖子传感器的传感器数据，有助于相对于现 有膝上型电脑设计而言减少穿过铰链330的电线的数目。DSP 325处理从 触摸控制器385接收的触摸传感器数据。主机模块362可通过利用在 TCON 355和主机模块362之间共享的同步信号370来使得向SoC 340发 送触摸传感器数据与显示面板刷新率同步。
主机模块362可基于诸如用户存在和用户与面板380的触摸交互量这 类的因素来动态地调整显示面板380的刷新率。例如，如果在相机346前 面没有检测到用户或者没有检测到授权用户，则主机模块362可降低面板 380的刷新率。在另一示例中，刷新率可响应于基于触摸传感器数据对面 板380处的触摸交互的检测而被增大。在一些实施例中，取决于显示面板 380的刷新率能力，主机模块362可使得面板380的刷新率被提高到120 Hz或者降低到20Hz或者更低。
主机模块362也可基于用户正与之交互的应用调整刷新率。例如，如 果用户正与一个插图应用交互，则主机模块362可将刷新率提高到120Hz (如果显示面板刷新率和触摸传感器数据的处理是同步的，则它也可提高 触摸数据被发送到SoC 340的速率)，以为用户提供更流畅的触摸体验。 类似地，如果主机模块362检测到用户当前正与之交互的应用是内容相对 静态的应用，或者是涉及低程度的用户触摸交互或者简单触摸交互(例如， 比如选择图标或者输入消息)的应用，则主机模块362可将刷新率降低到 较低的频率。在一些实施例中，主机模块362可通过监视触摸交互的频率 来调整刷新率和触摸采样频率。例如，如果有高程度的用户交互，或者如 果主机模块362检测到用户正在利用特定的触摸输入设备(例如，触笔) 或者触摸输入触笔的特定特征(例如，触笔的倾斜特征)，则刷新率可被 向上调整。如果得到显示面板的支持，则主机模块362可使得显示面板的 频闪特征被启用，以在刷新率一旦超过阈值时减少重影。
视觉/成像模块363包括神经网络加速器327、DSP 328、存储器329、 架构312、AON块318、I/O 334、和帧路由器339。视觉/成像模块363与 面向用户的相机346交互。视觉/成像模块363可与多个相机交互，并且将 来自多个相机的图像数据整合成单个流，以传输到SoC 340中的集成传感 器中枢342。在一些实施例中，除了面向用户的相机346以外，盖子301 还可包括一个或多个额外的面向用户的相机和/或面向世界的相机。在一些 实施例中，任何一个面向用户的相机都可以是显示内相机。由相机346生 成的图像传感器数据被帧路由器339接收，在那里它经历预处理，然后被 发送到神经网络加速器327和/或DSP328。图像传感器数据也可通过帧路 由器339被传递给SoC 340中的图像处理模块345。神经网络加速器327 和/或DSP 328使能了脸部检测、头部朝向检测、面部标志(例如，眼睛、 脸颊、眉毛、鼻子、嘴巴)的识别、适合检测到的脸部的3D网格的生成、 以及其他图像处理功能。在一些实施例中，面部参数(例如，面部标志的 位置、3D网格、面部物理尺寸、头部朝向)可以按每秒30帧(30fps)的 速率被发送到SoC。
音频模块364包括神经网络加速器350、一个或多个DSP 351、存储 器352、架构313、AON块319、以及I/O 335。音频模块364接收来自麦 克风390的音频传感器数据。在一些实施例中，对于每个麦克风390有一 个DSP 351。神经网络加速器350和DSP 351实现改善音频质量的音频处 理算法和AI模型。例如，DSP 351可对接收到的音频传感器数据执行音频预处理，以调节音频传感器数据，以供由神经网络加速器350实现的音频 AI模型进行处理。可由神经网络加速器350实现的音频AI模型的一个示 例是过滤掉背景噪声(例如狗的叫声或者警笛的呼啸声)的降噪算法。第 二示例是使能语音唤醒或者扬声器ID特征的模型。第三示例是情境感知 模型。例如，可实现音频情境模型，其对与要召唤执法人员或者紧急医疗 提供者的情形有关的音频事件的发生进行分类，例如玻璃破碎、车祸或者 枪击。LCH可向SoC提供指示出这种事件的发生的信息，并且SoC可向 用户查询是否应当召唤有关部门或者医疗专业人员。
LCH模块361-364中的AON块316-319包括各种I/O、定时器、中断 和控制单元，用于支持LCH的“始终开启”特征，例如语音唤醒、说话 者ID、脸部唤醒和脸部ID以及始终开启的显示器，该始终开启的显示器 在盖子301闭合时可见并且呈现内容。
图4图示了图3的盖子控制器中枢的安全性模块的框图。保险库320 包括加密加速器400，它可实现对存储在存储器353中的固件执行的加密 散列功能。在一些实施例中，加密加速器400实现了符合128比特块大小 的高级加密标准(advanced encryptionstandard，AES)(AES-128)或者 符合384比特安全散列算法(secure hash algorithm，SHA)(SHA-384) 的加密算法。安全性处理器321驻留在安全性处理器模块402中，该模块 还包括平台独特特征模块(platform unique feature，PUF)405、OTP生成 器410、ROM 415和直接存储器访问(direct memory access，DMA)模块 420。PUF 405可实现一个或多个与安全性有关的特征，这些特征是特定的 LCH实现方式所特有的。在一些实施例中，安全性处理器321可以是
Figure BDA0003212949650000221
SEM安全性处理器。架构310允许了安全性模块361 的各种组件之间的通信，并且包括高级可扩展接口(advanced extensible interface，AXI)425、高级外围总线(advanced peripheral bus，APB)440 和高级高性能总线(advancedhigh-performance bus，AHB)445。AXI 425 经由AXI到APB(AXI X2P)桥430与高级外围总线440通信，并且经由 AXI到AHB(AXI X2A)桥435与高级高性能总线445通信。始终开启的 块316包括多个GPIO 450、通用异步接收器-发送器(universal asynchronous receiver-transmitter，UART)455、定时器460以及功率管理 和时钟管理单元(power managementand clock management units， PMU/CMU)465。PMU/CMU 465控制对LCH组件的电力和时钟信号的供 应，并且可以有选择地对个体LCH组件提供电力和时钟信号，以使得只 有那些要用来支持特定LCH操作模式或者特征的组件才会接收到电力和 被钟控。I/O集合332包括I2C/I3C接口470和队列化串行外围接口 (queued serial peripheral interface，QSPI)475，以与存储器353通信。在 一些实施例中，存储器353是16MB的串行外围接口(serialperipheral interface，SPI)-NOR闪存，其存储LCH固件。在一些实施例中，LCH安 全性模块可不包括图4中所示的一个或多个组件。在一些实施例中，LCH 安全性模块可包括超出图4所示那些的一个或多个额外组件。
图5图示了图3的盖子控制器中枢的主机模块的框图。DSP 325是 DSP模块500的一部分，该模块进一步包括一级(L1)缓存504、ROM 506和DMA模块508。在一些实施例中，DSP325可以是
Figure BDA0003212949650000233
Figure BDA0003212949650000232
EM11D DSP处理器。安全性处理器324是安全性处理器模块502 的一部分，该模块进一步包括PUF模块510以允许实现平台独特的特征， OTP生成器512，ROM 514和DMA模块516。在一些实施例中，安全性 处理器324是
Figure BDA0003212949650000231
SEM安全性处理器。架构 311允许了主机模块362的各种组件之间的通信，并且包括与安全性组件 架构310类似的组件。始终开启的块317包括多个UART 550、支持LCH 调试的联合测试行动组(Joint Test Action Group，JTAG)/I3C端口552、 多个GPIO 554、定时器556、中断请求(interrupt request，IRQ)/唤醒块 558，以及向相机346提供19.2MHz参考时钟的PMU/CCU端口560。同 步信号370连接到GPIO端口之一。I/O333包括支持与相机346的I2C和/ 或I3C通信的接口570，与SoC 340中的USB模块344通信的USB模块 580，以及与触摸控制器385通信的QSPI块584。在一些实施例中，I/O集 合333经由QSPI接口582与SoC提供触摸传感器数据。在其他实施例中， 触摸传感器数据是通过USB连接583与SoC通信的。在一些实施例中， 连接583是USB 2.0连接。通过利用USB连接583将触摸传感器数据发送 到SoC，铰链330免于携带支持由QSPI接口582支持的QSPI连接的电线。不必支持这个额外的QSPI连接，可将穿过铰链的电线数目减少四到八条。
在一些实施例中，主机模块362可支持双显示器。在这样的实施例中， 主机模块362与第二触摸控制器和第二定时控制器通信。第二定时控制器 和主机模块之间的第二同步信号允许了处理由第二触摸控制器提供的触摸 传感器数据和发送由第二触摸传感器提供的被递送到SoC的触摸传感器数 据以与第二显示器的刷新率同步。在一些实施例中，主机模块362可支持 三个或更多个显示器。在一些实施例中，LCH主机模块可不包括图5中所示的一个或多个组件。在一些实施例中，LCH主机模块可包括超出图5所 示那些的一个或多个额外组件。
图6图示了图3的盖子控制器中枢的视觉/成像模块的框图。DSP 328 是DSP模块600的一部分，该模块进一步包括L1缓存602、ROM 604和 DMA模块606。在一些实施例中，DSP328可以是
Figure BDA0003212949650000241
EM11D DSP处理器。架构312允许了视觉/成像模块363的各种组件之间 的通信，并且包括高级可扩展接口(AXI)625，其通过AXI到APB (X2P)桥630连接到高级外围总线(APB)640。始终开启的块318包括 多个GPIO 650、多个定时器652、IRQ/唤醒块654、和PMU/CCU 656。在 一些实施例中，IRQ/唤醒块654接收来自相机346的运动唤醒(Wake on Motion，WoM)中断。WoM中断可基于由位于相机中或者与相机通信耦 合的加速器生成的加速度计传感器数据生成，或者响应于相机在相机捕捉 的图像中执行运动检测处理而生成。I/O 334包括I2C/I3C接口674，它将 元数据发送到SoC 340中的集成传感器中枢342，以及I2C3/I3C接口670， 它连接到相机346和其他盖子传感器671(例如，雷达传感器、飞行时间 相机、红外)。视觉/成像模块363可经由I2C/I3C接口670从额外的盖子 传感器671接收传感器数据。在一些实施例中，元数据包括诸如以下信息： 指示出由盖子控制器中枢提供的信息是否有效的信息，指示出盖子控制器 中枢的操作模式(例如，关闭、“脸部唤醒”低功率模式，其中一些LCH 组件被禁用，但LCH持续监视图像传感器数据以检测用户的脸部)的信 息，自动曝光信息(例如，视觉/成像模块363为相机346自动设置的曝光 水平)，以及与在相机346捕捉的图像或视频中检测到的脸部有关的信息 (例如，指示出脸部存在的置信水平的信息、指示出脸部与授权用户的脸 部相匹配的置信水平的信息、指示出脸部在捕捉的图像或视频中的位置的 限界框信息、指示出检测到的脸部的朝向的朝向信息，以及面部标志信 息)。
帧路由器339从相机346接收图像传感器数据，并且可在将图像传感 器数据传递给神经网络加速器327和/或DSP 328进行进一步处理之前处理 图像传感器数据。帧路由器339也允许了接收到的图像传感器数据绕过帧 路由器处理，并且被发送到SoC 340中的图像处理模块345。图像传感器 数据可在被帧路由器处理栈699处理的同时被发送到图像处理模块345。 由相机346生成的图像传感器数据在帧路由器339处被MIPI D-PHY接收 器680接收，在那里它被传递给MIPI CSI2接收器682。多路复用器/选择 器块684允许了图像传感器数据被帧路由器处理栈699处理，被直接发送 到CSI2发送器697和D-PHY发送器698以传输到图像处理模块345，或 者两者。
帧路由器处理栈699包括一个或多个模块，这些模块可对图像传感器 数据执行预处理以调节图像传感器数据来供神经网络加速器327和/或DSP 328处理，并且对图像传感器数据执行额外的图像处理。帧路由器处理栈 699包括采样器/裁剪器模块686、镜头遮光模块688、运动检测器模块690、 自动曝光模块692、图像预处理模块694和DMA模块696。采样器/裁剪 器模块686可降低由图像传感器数据表示的视频的帧速率和/或裁剪由图像 传感器数据表示的图像的大小。镜头遮光模块688可将一个或多个镜头遮 光效果应用于由图像传感器数据表示的图像。在一些实施例中，要应用到 由图像传感器数据表示的图像的镜头遮光效果可由用户选择。运动检测器 690可检测由图像传感器数据表示的多个图像间的运动。运动检测器可在 多个图像上指示出任何运动或者特定对象(例如，脸部)的运动。
自动曝光模块692可确定由图像传感器数据表示的图像是否曝光过度 或者曝光不足，并且使得相机346的曝光被调整以改善由相机346捕捉的 未来图像的曝光。在一些实施例中，自动曝光模块362可修改图像传感器 数据，以改善由图像传感器数据表示的图像的质量，以考虑到曝光过度或 者曝光不足。图像预处理模块694对图像传感器数据执行图像处理，以进 一步调节图像传感器数据，以便由神经网络加速器327和/或DSP 328处理。在图像传感器数据被帧路由器处理栈699的一个或多个模块处理之后，它 可经由架构312被传递给视觉/成像模块363中的其他组件。在一些实施例 中，帧路由器处理栈699包含比图6所示更多或者更少的模块。在一些实 施例中，帧路由器处理栈699是可配置的，因为图像传感器数据由帧处理 栈的选定模块处理。在一些实施例中，帧处理栈中的模块对图像传感器数 据的操作顺序也是可配置的。
一旦图像传感器数据被帧路由器处理栈699处理，经处理的图像传感 器数据就被提供给DSP 328和/或神经网络加速器327以进一步处理。神经 网络加速器327通过检测经处理的图像传感器数据中的脸部的存在来实现 脸部唤醒功能，并且通过检测经处理的图像传感器数据中的认证用户的脸 部的存在来实现脸部ID功能。在一些实施例中，NNA 327能够检测图像 传感器数据中的多个脸部和图像传感器数据中的多个认证用户的存在。神经网络加速器327是可配置的，并且可被更新以具有允许NNA 327识别一 个或多个认证用户或者识别新的认证用户的信息。在一些实施例中，NNA 327和/或DSP 328使能一个或多个自适应调暗特征。自适应调暗特征的一 个示例是对没有被人类脸部占据的图像或视频区域的调暗，这是视频会议 或者视频呼叫应用的一个有用特征。另一示例是，当计算设备处于活跃状 态中并且在相机前面不再检测到脸部时对屏幕进行全局调暗，然后当再次 检测到脸部时对显示器取消调暗。如果后一种自适应调暗特征被扩展到包 含脸部ID，那么只有当再次检测到认证用户时，屏幕才被取消调暗。
在一些实施例中，帧路由器处理栈699包括超级分辨率模块(未示 出)，该模块可提升或者缩减由图像传感器数据表示的图像的分辨率。例 如，在图像传感器数据表示100万像素图像的实施例中，超级分辨率模块 可在100万像素图像被传递给图像处理模块345之前将其提升为更高分辨 率的图像。在一些实施例中，LCH视觉/成像模块可不包括图6所示的一 个或多个组件。在一些实施例中，LCH视觉/成像模块可包括超出图6所 示那些的一个或多个额外组件。
图7图示了图3的盖子控制器中枢的音频模块364的框图。在一些实 施例中，NNA350可以是人工神经网络加速器。在一些实施例中，NNA 350可以是
Figure BDA0003212949650000271
高斯与神经加速器(Gaussian&Neural Accelerator，GNA) 或者其他低功率神经协处理器。DSP 351是DSP模块700的一部分，该模 块进一步包括指令缓存702和数据缓存704。在一些实施例中，每个DSP351是
Figure BDA0003212949650000272
HiFi DSP。音频模块364对于盖子中的每个麦 克风包括一个DSP模块700。在一些实施例中，DSP 351可对音频传感器 数据执行动态降噪。在其他实施例中，可使用多于或者少于四个麦克风， 并且由多个麦克风提供的音频传感器数据可被单个DSP 351处理。在一些 实施例中，NNA 350实现了一个或多个改善音频质量的模型。例如，NNA 350可实现一个或多个“智能静音”模型，这些模型去除或者降低在音频 或视频呼叫期间可能是破坏性的背景噪声。
在一些实施例中，DSP 351可使能远场能力。例如，包括分布在边框 上的多个前置麦克风的盖子(如果使用显示内麦克风，则分布在显示区域 上)可对麦克风生成的音频信号执行波束成形或者空间滤波，以实现远场 能力(例如，增强对远程声源生成的声音的检测)。音频模块364利用 DSP 351可确定远程音频源的位置，以增强对从远程音频源位置接收的声 音的检测。在一些实施例中，DSP 351可通过如下方式确定音频源的位置： 确定要添加到由麦克风生成的音频信号的延迟以使得音频信号在时间上重 叠，然后基于添加到每个音频信号的延迟推断出从每个麦克风到音频源的 距离。通过向麦克风提供的音频信号添加确定的延迟，可增强远程音频源 方向的音频检测。增强的音频可被提供给NNA 350用于话音检测，以使能 语音唤醒或者扬声器ID特征。增强的音频也可被DSP 351进一步处理。 音频源的识别位置可被提供给SoC，以便由操作系统或者在操作系统上运 行的应用使用。
在一些实施例中，DSP 351可检测在近超声(例如，15kHz-20kHz) 或者超声(例如，>20kHz)频率的音频传感器数据中编码的信息，从而 提供低频低功率的通信信道。在近超声/超声频率中检测到的信息可被传递 到SoC 340中的音频捕捉模块343。超声通信信道也可用于例如将会议连 接或者Wi-Fi连接信息由会议室中的另一计算设备(例如，Wi-Fi路由器、 中继器、演示设备)传达给移动计算设备。音频模块364可进一步驱动一 个或多个麦克风390来以超声频率发送信息。从而，音频信道可被用作计 算设备之间的双向低频率低功率通信信道。
在一些实施例中，音频模块364可使能自适应冷却。例如，音频模块 364可确定环境噪声水平，并且将指示环境噪声水平的信息发送到SoC。 SoC可使用该信息作为确定计算设备的冷却风扇的操作水平的因素。例如， 冷却风扇的速度可随着环境噪声水平的增大和减小而提高或者降低，这可 使得冷却性能在更嘈杂的环境中得到提高。
架构313允许了音频模块364的各种组件之间的通信。架构313包括 开放核心协议(open core protocol，OCP)接口726，以经由OCP到APB 桥728将NNA 550、DSP模块700、存储器352和DMA 748连接到APB 740。始终开启的块319包括多个GPIO 750、接收由麦克风390生成的音 频传感器数据的脉冲密度调制(PDM)模块752、一个或多个定时器754、 PMU/CCU756、以及用于向音频捕捉模块343发送从其和接收音频数据的 MIPI
Figure BDA0003212949650000281
模块758。在一些实施例中，由麦克风390提供的音频传 感器数据在
Figure BDA0003212949650000282
模块760处被接收。在一些实施例 中，LCH音频模块可不包括图7所示的一个或多个组件。在一些实施例中， LCH音频模块可包括超出图7所示那些的一个或多个额外组件。
图8图示了结合图3的盖子控制器中枢使用的定时控制器、嵌入式显 示面板和附加电子装置的框图。定时控制器355通过包括多个主链路通道 800和辅助(AUX)信道805的eDP连接从SoC 340的显示模块341接收 视频数据。由显示模块341提供的视频数据和辅助信道信息在TCON 355 处被eDP主链路接收器812和辅助信道接收器810接收。定时控制器处理 栈820包括一个或多个模块，负责像素处理并且将从显示模块341发送的 视频数据转换为驱动显示面板380的控制电路的信号(例如，行驱动器 882、列驱动器884)。视频数据可被定时控制器处理栈820处理而不被存 储在帧缓冲器830中，或者视频数据可在被定时控制器处理栈820处理之 前被存储在帧缓冲器830中。帧缓冲器830存储一个或多个视频帧(或者 帧，如本文所使用的，术语“图像”和“帧”是可互换使用的)的像素信 息。例如，在一些实施例中，帧缓冲器可存储要在面板上显示的视频帧的 像素的颜色信息。
定时控制器处理栈820包括自主低刷新率模块(autonomous low refresh rate，ALRR)822，解码器-面板自刷新(解码器-PSR)模块824， 以及功率优化模块826。ALRR模块822可动态地调整显示器380的刷新 率。在一些实施例中，ALRR模块822可在20Hz和120Hz之间调整显示 刷新率。ALRR模块822可实现各种动态刷新率方案，例如基于接收到的 视频数据的帧率来调整显示刷新率，这在游戏应用中可取决于正在渲染的 图像的复杂性而变化。由ALRR模块822确定的刷新率可作为同步信号 370被提供给主机模块。在一些实施例中，该同步信号包括对于显示刷新 即将发生的指示。在一些实施例中，ALRR模块822可通过调整消隐期的 长度来动态地调整面板刷新率。在一些实施例中，ALRR模块822可基于 从主机模块362接收到的信息调整面板刷新率。例如，在一些实施例中， 如果视觉/成像模块363确定相机前面没有用户，则主机模块362可向 ALRR模块822发送信息，以指示出刷新率将被降低。在一些实施例中， 如果主机模块362基于从触摸控制器385接收到的触摸传感器数据确定面 板380处有触摸交互，则主机模块362可向ALRR模块822发送信息，以 指示出刷新率要被增大。
在一些实施例中，解码器-PSR模块824可包括视频电子标准协会 (VideoElectronics Standards Association，VESA)显示流压缩(VESA Display StreamingCompression，VDSC)解码器，其对使用VDSC压缩标 准编码的视频数据进行解码。在其他实施例中，解码器-面板自刷新模块 824可包括面板自刷新(PSR)实现方式，该实现方式当被启用时，基于 存储在帧缓冲器中并且在先前刷新周期中利用的视频数据刷新显示面板380的全部或者一部分。这可允许通往帧缓冲器的显示管线的一部分进入 低功率状态。在一些实施例中，解码器-面板自刷新模块824可以是eDP v1.3中实现的PSR特征或者eDPv1.4中实现的PSR2特征。在一些实施例 中，TCON可通过在移动计算设备操作系统被升级时进入零或者低刷新状 态来实现额外的电力节省。在零刷新状态中，定时控制器不刷新显示器。 在低刷新状态中，定时控制器以缓慢的速率(例如，20Hz或者更低)刷 新显示器。
在一些实施例中，定时控制器处理栈820可包括超级分辨率模块825， 该模块可缩减或者提升由显示模块341提供的视频帧的分辨率以匹配显示 面板380的分辨率。例如，如果嵌入式面板380是3K×2K的面板，而显 示模块341提供以4K渲染的4K视频帧，则超级分辨率模块825可将4K 视频帧缩减为3K×2K视频帧。在一些实施例中，超级分辨率模块825可提升视频的分辨率。例如，如果游戏应用以1360×768的分辨率渲染图像， 则超级分辨率模块825可将视频帧提升为3K×2K，以充分利用显示面板 380的分辨率能力。在一些实施例中，提升视频帧的超级分辨率模块825 可利用一个或多个神经网络模型来执行提升。
功率优化模块826包括用于降低TCON 355所消耗的功率的额外算法。 在一些实施例中，功率优化模块826包括局部对比度增强和全局调暗模块， 该模块增强局部对比度并且对个体帧应用全局调暗以降低显示面板380的 功率消耗。
在一些实施例中，定时控制器处理栈820可包括比图8所示更多或者 更少的模块。例如，在一些实施例中，定时控制器处理栈820包括ALRR 模块和eDP PSR2模块，但不包含功率优化模块。在其他实施例中，除了 图8所示的那些以外，在定时控制器栈820中还可包括其他模块。包括在 定时控制器处理栈820中的模块可取决于包括在盖子301中的嵌入式显示 面板380的类型。例如，如果显示面板380是背光液晶显示器(liquid crystal display，LCD)，则定时控制器处理栈820将不包括包含上述全局 调暗和局部对比度功率降低方案的模块，因为该方案更适合用于发射型显 示器(其中发光元件位于个体像素中的显示器，例如QLED、OLED和微 型LED显示器)而不是背光LCD显示器。在一些实施例中，定时控制器 处理栈820包括颜色和伽玛校正模块。
在视频数据被定时控制器处理栈820处理之后，P2P发送器880将视 频数据转换为驱动显示面板380的控制电路的信号。显示面板380的控制 电路包括行驱动器882和列驱动器884，它们驱动嵌入式380内的显示器 380中的像素的行和列，以控制个体像素的颜色和亮度。
在嵌入式面板380是背光LCD显示器的实施例中，TCON 355可包括 背光控制器835，该控制器生成信号来驱动背光驱动器840以控制显示面 板380的背光。背光控制器835基于表示将在面板380上显示的图像的视 频帧数据向背光驱动器840发送信号。背光控制器835可实现低功率特征， 例如，如果要显示的图像的某个区域(或者整个图像)大部分是黑暗的， 则关闭或者降低面板的那些部分(或者整个面板)的背光的亮度。在一些 实施例中，背光控制器835通过调整像素的色度值，同时降低背光的亮度 以使得观看者感觉到很少或者没有视觉退化，从而来降低功耗。在一些实 施例中，背光是基于经由eDP辅助信道发送到盖子的信号来控制的，这可 减少穿过铰链330进行发送的电线数目。
触摸控制器385负责驱动嵌入式面板380的触摸屏技术并且从显示面 板380收集触摸传感器数据。触摸控制器385可定期或者不定期地对触摸 传感器数据进行采样，并且可从定时控制器355和/或盖子控制器中枢305 接收控制信息。触摸控制器385可以按类似于或者接近于显示面板刷新率 的采样率采样触摸传感器数据。触摸采样可响应于显示面板刷新率的调整 而被调整。从而，如果显示面板正被以低速率刷新或者根本不刷新，则触摸控制器可被置于低功率状态中，其中它以低速率采样或者根本不采样触 摸传感器数据。当计算设备响应于例如视觉/成像模块363在被视觉/成像 模块363持续分析的图像数据中检测到用户而退出低功率状态时，触摸控 制器385可增大触摸传感器采样率或者再次开始采样触摸传感器数据。在 一些实施例中，正如下文将更详细论述的那样，触摸传感器数据的采样可 与显示面板刷新率同步，这可实现流畅和反应迅捷的触摸体验。在一些实 施例中，触摸控制器可以按独立于显示刷新率的速率对触摸传感器数据进 行采样。
虽然图2和图3的定时控制器250和351分别被图示为与盖子控制器 中枢260和305分开，但本文描述的任何定时控制器都可与盖子控制器中 枢集成到同一个晶粒、封装或者印刷电路板上。从而，提到盖子控制器中 枢可以指包括定时控制器的组件，提到定时控制器可以指盖子控制器中枢 内的组件。图10A-10D图示了定时控制器和盖子控制器中枢之间的各种可 能的物理关系。
在一些实施例中，与本文描述的LCH实施例相比，盖子控制器中枢 可以有更多或者更少的组件和/或实现更少的特征或者能力。例如，在一些 实施例中，移动计算设备可包括没有音频模块的LCH，并且在底座中执行 音频传感器数据的处理。在另一示例中，移动计算设备可包括没有视觉/成 像模块的LCH，并且在底座中执行图像传感器数据的处理。
图9图示了示出包括盖子控制器中枢的移动计算设备中的组件的示例 物理布置的框图。移动计算设备900包括经由铰链930连接到盖子920的 底座910。底座910包括主板912，SoC 914和其他计算设备组件位于主板 912上。盖子920包括边框922，该边框围绕显示区域924的外围延伸，该 显示区域是位于盖子内的嵌入式显示面板927的活跃区域，例如，嵌入式 显示面板的显示内容的部分。盖子920进一步包括位于盖子920的左上角 和右上角的一对麦克风926，以及位于沿边框922的中心顶部部分的传感 器模块928。传感器模块928包括前置相机932。在一些实施例中，传感 器模块928是印刷电路板，相机932被安装在该电路板上。盖子920进一 步包括位于盖子920的底部部分中的面板电子装置940和盖子电子装置 950。盖子电子装置950包括盖子控制器中枢954，面板电子装置940包括 定时控制器944。在一些实施例中，盖子电子装置950包括印刷电路板， LCH 954被安装在该印刷电路板上。在一些实施例中，面板电子装置940 包括印刷电路板，TCON 944和额外的面板电路被安装在该印刷电路板上， 例如行和列驱动器、背光驱动器(如果嵌入式显示器是LCD背光显示器) 和触摸控制器。定时控制器944和盖子控制器中枢954经由连接器958进 行通信，该连接器可以是连接两个电路板的线缆连接器。连接器958可运 载同步信号，该同步信号允许了触摸采样活动与显示刷新率同步。在一些 实施例中，LCH 954可经由连接器958向TCON944和作为面板电子装置 940的一部分的其他电子组件输送电力。传感器数据线缆970将由相机 932生成的图像传感器数据、由麦克风926生成的音频传感器数据、由触 摸屏技术生成的触摸传感器数据运载到盖子控制器中枢954。运载由麦克 风926生成的音频信号数据的电线可从盖子的左上角的麦克风926延伸到 传感器模块928，这些电线在传感器模块928处与运载图像传感器数据的 电线聚合，这些图像传感器数据由相机932生成并且经由传感器数据线缆 970输送到盖子控制器中枢954。
铰链930包括左铰链部分980和右铰链部分982。铰链930将盖子920 与底座910物理耦合，并且允许了盖子920相对于底座旋转。将盖子控制 器中枢954连接到底座910的电线穿过铰链部分980和982中的一者或两 者。虽然示为包括两个铰链部分，但铰链930在其他实施例中可采取各种 不同的配置。例如，铰链930可包括单个铰链部分或者两个以上的铰链部 分，并且将盖子控制器中枢954连接到SoC 914的电线可在任何铰链部分 穿过铰链。由于穿过铰链930的电线的数目比现有膝上型电脑设备中的少， 所以相对于现有膝上型电脑中的铰链，铰链930可以是更便宜和更简单的 组件。
在其他实施例中，盖子920可具有与图9所示不同的传感器布置。例 如，盖子920可包括额外的传感器，例如额外的前置相机、前置深度传感 相机、红外传感器、以及一个或多个面向世界的相机。在一些实施例中， 盖子920可包括位于边框中的额外的麦克风，或者只是位于传感器模块上 的一个麦克风。传感器模块928可聚集运载由位于盖子中的额外传感器生 成的传感器数据的电线，并且将它们输送到传感器数据线缆970，该线缆 将额外的传感器数据输送到盖子控制器中枢954。
在一些实施例中，盖子包括显示内传感器，例如显示内麦克风或者显 示内相机。这些传感器位于显示区域924中，位于不被为每个像素产生光 的发射元件所利用的像素区域中，并且在下面更详细地论述。由显示内相 机和显示内麦克风生成的传感器数据可由传感器模块928以及位于盖子中 的其他传感器模块聚集，并且将由显示内传感器生成的传感器数据输送到 盖子控制器中枢954以进行处理。
在一些实施例中，一个或多个麦克风和相机可位于盖子内的某个位置， 该位置便于在“始终开启”使用场景中使用，例如当盖子被闭合时。例如， 一个或多个麦克风和相机可位于膝上型电脑的“A盖”或者移动计算设备 的当该设备被闭合时的其他面向世界的表面(例如盖子的顶边缘或者侧边 缘)上，以便能够捕捉和监视音频或者图像数据，以检测唤醒词或者短语 的说出或者在相机的视野中的人的存在。
图10A-10E图示了盖子内的示例定时控制器和盖子控制器中枢物理布 置的框图。图10A图示了位于第一模块1020上的盖子控制器中枢1000和 定时控制器1010，该第一模块在物理上与第二模块1030分开。在一些实 施例中，第一模块102和第二模块1030是印刷电路板。盖子控制器中枢 1000和定时控制器1010经由连接1034进行通信。图10B图示了位于第三 模块1040上的盖子控制器中枢1042和定时控制器1046。LCH 1042和 TCON 1046经由连接1044进行通信。在一些实施例中，第三模块1040是 印刷电路板，并且连接1044包括一个或多个印刷电路板迹线。采取模块 化的方案来进行盖子控制器中枢和定时控制器设计的一个优点是，它允许 了定时控制器供应商提供能够与具有不同特征集合的多个LCH设计一起 工作的单个定时控制器。
图10C图示了分成前端和后端组件的定时控制器。定时控制器前端 (TCON FE)1052和盖子控制器中枢1054被集成在第一共同组件1056中， 或者共同位于在第一共同组件1056上。在一些实施例中，第一共同组件 1056是集成电路封装，并且TCON FE 1052和LCH1054是集成在多芯片 封装中的单独集成电路晶粒或者集成在单个集成电路晶粒上的单独电路。 第一共同组件1056位于第四模块1058上，定时控制器后端(TCON BE) 1060位于第五模块1062上。定时控制器前端和后端组件经由连接1064进 行通信。将定时控制器分解成前端和后端组件可为开发具有各种定时控制 器处理栈的定时控制器提供灵活性。例如，定时控制器后端可包括驱动嵌 入式显示器的模块，例如图8中的定时控制器处理栈820的P2P发送器 880和其他可能是各种定时控制器帧处理器栈所共有的模块，例如解码器 或者面板自刷新模块。定时控制器前端可包括针对特定移动设备设计的模 块。例如，在一些实施例中，TCON FE包括功率优化模块826，该模块执 行在特定的膝上型电脑型号中想要实现的全局调暗和局部对比度增强，或 者包括ALRR模块，在该ALRR模块中方便让(例如，经由同步信号370) 同步工作的定时控制器和盖子控制器中枢组件被定位地更靠近在一起以减 少时延。
图10D图示了一实施例，其中第二共同组件1072和定时控制器后端 1078位于同一模块，即第六模块1070上，并且第二共同组件1072和 TCON BE 1078经由连接1066进行通信。图10E图示了一实施例，其中盖 子控制器中枢1080和定时控制器1082被集成在第三共同组件1084上，该 第三共同组件1084位于第七模块1086上。在一些实施例中，第三共同组件1084是集成电路封装，并且LCH 1080和TCON 1082是封装在多芯片 封装中的个体集成电路晶粒或者位于单个集成电路晶粒上的电路。在盖子 控制器中枢和定时控制器位于物理上分开的模块上的实施例中(例如，图 10A、图10C)，模块之间的连接可包括多条电线、柔性印刷电路、印刷 电路，或者由提供模块之间的通信的一个或多个其他组件组成。
图10C-10E中的包括盖子控制器中枢和定时控制器的模块和组件(例 如第四模块1058、第二共同组件1072和第三共同组件1084)可称为盖子 控制器中枢。
图11A-11C示出了为各种盖子控制器中枢实施例分解铰链电线计数的 表格。显示线将视频数据从SoC显示模块输送到LCH定时控制器，图像 线将一个或多个盖子相机生成的图像传感器数据输送到SoC图像处理模块， 触摸线将触摸传感器数据提供给SoC集成传感器中枢，音频和传感线将音 频传感器数据提供给SoC音频捕捉模块，并将其他类型的传感器数据提供 给集成传感器中枢，并且额外的一组“LCH”线在LCH和SoC之间提供 额外通信。由音频和传感线提供的传感器数据类型可包括由基于视觉的输 入传感器生成的视觉传感数据，例如指纹传感器、血管传感器，等等。在 一些实施例中，视觉传感数据可基于由一个或多个通用相机而不是专用的 生物识别传感器(例如指纹传感器)生成的信息来生成。
表格1100示出了72线实施例的电线分解。显示线包括19条数据线和 16条电源线，共35条线，以支持四个eDP HBR2通道和六个信号以供原 始设备制造商(originalequipment manufacturer，OEM)使用。图像线包括 六条数据线和八条电源线，共14条线，用于运载由单个100万像素相机 生成的图像传感器数据。触摸线包括四条数据线和两条电源线，共六条线， 以支持I2C连接来运载由触摸控制器生成的触摸传感器数据。音频和传感线包括八条数据线和两条电源线，共十条线，以支持DMIC和I2C连接， 来支持由四个麦克风生成的音频传感器数据，还有单条中断(INT)线。 另外七条数据线为LCH和SoC之间通过USB和QSPI连接的通信运载额 外的信息。
表格1110示出了39线实施例的电线分解，其中提供专用线为盖子组 件供电和消除各种数据信号有助于减少电线计数。显示线包括14条数据 线和4条电源线，总共18条线，以支持两条eDP HBR2线路、6个OEM 信号和对盖子的电力输送。通过四条电源线提供的电力为盖子控制器中枢 和其他盖子组件供电。盖子中的电力资源接收来自底座的通过专用电源线 提供的电力，并且控制向盖子组件的电力输送。图像线、触摸线、音频和 传感线包括与表格1100所示实施例中相同数目的数据线，但不包括电源 线，因为电力是单独提供给盖子的。另外三条数据线在LCH和SoC之间 运载额外的信息，这相对于表格1100所示的实施例中的七条有所减少。
表格1120示出了29线实施例的电线分解，其中通过利用现有的USB 总线来运载触摸传感器数据，并且消除运载OEM信号的六条显示数据线， 实现了电线计数的进一步减少。显示线包括八条数据线和四条电源线，总 共12条线。图像线包括四条数据线，每条用于两个相机--一个200万像素 RGB(红绿蓝)相机和红外(IR)相机。音频和传感包括四条线(不到表 格1110所示实施例的一半)，以支持
Figure BDA0003212949650000361
连接，为四个麦克风运 载音频数据。没有专用于传输触摸传感器数据的电线，并且五条电线用于 传达触摸传感器数据。额外的信息要经由USB连接在LCH和SoC之间传 达。从而，表格1100和1120图示了通过经由一组专用电源线为盖子供电、 减少eDP信道的数目、利用现有的连接(USB)来传输触摸传感器数据以 及消除OEM特定的信号而实现的电线计数减少。通过将视频数据从底座 流传输到盖子，以及将音频传感器数据、触摸传感器数据、图像传感器数 据和传感数据通过单个接口从盖子流传输到底座，可实现铰链电线计数的 进一步减少。在一些实施例中，这个单个连接可包括PCIe连接。
在除表格1100、1110和1120中总结的那些以外的实施例中，铰链可 携带更多或者更少的总电线，有更多或者更少的电线来运载所列出的每种 类型的信号(显示、图像、触摸、音频与传感，等等)，并且可利用除表 格1100、1100和1120中所示的那些以外的连接和接口技术。
如前所述，除了位于盖子边框中的相机和麦克风之外，盖子还可包括 显示内相机和显示内麦克风。图12A-12C图示了显示内麦克风和相机在盖 子中的示例布置。图12A图示了包括边框1204、显示内麦克风1210和显 示区域1208的盖子1200。边框1204与显示区域1208邻接，显示区域由 驻留在显示基板(未示出)上的多个像素定义。像素延伸到边框1204的 内部边缘1206，并且显示区域1028从而在水平和垂直方向上都从一个内 部边框边缘1206延伸到对面的边框边缘1206。显示内麦克风1210与像素 显示元件共享不动产，这将在下面更详细地论述。麦克风1210包括位于 显示区域1208的外围区域中的一组麦克风和基本上位于显示区域1208的 中心的麦克风。图12B图示了盖子1240，其中显示内麦克风1250包括位 于显示区域1270的外围区域中的一组麦克风，位于显示区域1270的中心 的麦克风，以及分布在显示区域1270上的四个额外的麦克风。图12C图 示了盖子1280，其中显示内麦克风阵列1290位于盖子1280的显示区域 1295内。在其他实施例中，显示器可以有多个显示内麦克风，其数目和布 置与图12A-12C中所示的示例配置有所不同。
图12A-12C还图示了嵌入式显示面板中的前置相机的示例布置，其中 1210、1250和1290表示显示内相机而不是麦克风。在一些实施例中，嵌 入式显示面板可包括显示内麦克风和相机的组合。嵌入式显示器可包括显 示内相机或者显示内相机和显示内麦克风的组合的布置，其数目和布置与 图12A-12C中所示的示例配置不同。
图13A-13B图示了示例发射式显示器中的像素的简化截面。图13A图 示了示例微型LED显示器中的像素的截面的简化图示。微型LED像素 1300包括显示基板1310、红色LED1320、绿色LED 1321、蓝色LED 1322、电极1330-1332、以及透明显示介质1340。LED 1320-1322是像素 1300的个体产光元件，每个LED 1320-1322产生的光量由关联的电极 1330-1332控制。
LED堆叠(红色LED堆叠(层1320和1330)，绿色LED堆叠(层 1321和1331)和蓝色LED堆叠(层1322和1332))可利用微电子制造 技术制造在基板上。在一些实施例中，显示基板1310是不同于制造LED 堆叠的基板的基板，并且LED堆叠被从制造基板转移到显示基板1310。 在其他实施例中，LED堆叠直接生长在显示基板1310上。在这两个实施 例中，多个像素都可位于单个显示基板上，并且多个显示基板可被组装起 来以实现所需尺寸的显示器。
像素1300具有像素宽度1344，这可取决于例如显示分辨率和显示尺 寸。例如，对于给定的显示分辨率，像素宽度1344可随着显示尺寸而增 大。对于给定的显示尺寸，像素宽度1344可随着分辨率的增大而减小。 像素1300具有未使用的像素区域1348，它是显示器的黑矩阵区域的一部 分。在一些显示器中，LED尺寸、显示尺寸和显示分辨率的组合可使得未 使用的像素区域1348可大到足以容纳诸如麦克风之类的组件在像素内的 集成。
图13B图示了示例OLED显示器中的像素的截面的简化图示。OLED 像素1350包括显示基板1355，有机发光层1360-1362，它们能够分别产生 红色(层1360)、绿色(层1361)和蓝色(层1362)的光。OLED像素 1350进一步包括阴极层1365-1367、电子注入层1370-1372、电子传输层 1375-1377、阳极层1380-1382、空穴注入层1385-1387、空穴传输层1390- 1392、和透明显示介质1394。OLED像素1350通过在阴极层1365-1367和 阳极层1380-1382上施加电压来生成光，这导致电子和空穴分别注入到电 子注入层1370-1372和空穴注入层1385-1387中。注入的电子和空穴分别 穿过电子传输层1375-1377和空穴传输层1390-1392，并且电子-空穴对分 别在有机发光层1360-1362中重新结合，以生成光。
与微型LED显示器中的LED堆叠类似，OLED堆叠(红色OLED堆 叠(层1365、1370、1375、1360、1390、1385、1380)，绿色OLED堆叠 (层1366、1371、1376、1361、1386、1381)，以及蓝色OLED堆叠(层 1367、1372、1377、1362、1392、1387、1382)，可在与显示基板1355 分开的基板上制造。在一些实施例中，显示基板1355是不同于制造OLED 堆叠的基板的基板，并且OLED堆叠被从制造基板转移到显示基板1355。 在其他实施例中，OLED堆叠直接生长在显示基板1355上。在这两类实施 例中，都可组装多个显示基板组件，以实现所需的显示尺寸。透明显示介 质1340和1394可以是任何透明介质，例如玻璃、塑料或者薄膜。在一些 实施例中，透明显示介质可包括触摸屏。
同样，与微型LED像素1300类似，OLED像素1350具有像素宽度 1396，这可取决于诸如显示分辨率和显示尺寸之类的因素。OLED像素 1350具有未使用的像素区域1398，并且在一些显示器中，OLED堆叠宽度、 显示尺寸和显示分辨率的组合可使得未使用的像素区域1398大到足以容 纳诸如麦克风之类的组件在像素内的集成。
如本文所使用的，术语“显示基板”可以指用于显示器中的任何基板， 并且在其上制造或者放置像素显示元件。例如，显示基板可以是与像素显 示元件(例如，像素1300和1350中的微型LED/OLED)分开制造并且像 素显示元件附着在其上的背板，或者是在上面制造像素显示元件的基板。
图14A图示了具有集成麦克风的一组示例像素。像素1401-1406各自 具有红色显示元件1411、绿色显示元件1412和蓝色显示元件1413，它们 可以是例如微型LED或者OLED。每个像素1401-1406占据一像素区域。 例如，像素1404占据了像素区域1415。每个像素中的显示元件1411-1413 所占据的像素区域的数量为微型麦克风的包括留下了足够的剩余黑矩阵空 间。像素1401和1403分别包含前置麦克风1420和1421，位于显示元件 1411-1413旁边。由于后置麦克风位于显示基板的背面，所以它们不受未 使用的像素区域或者显示元件尺寸的限制，并且可放在显示基板背面的任 何地方。例如，后置麦克风1422跨越像素1402和1403。
图14B图示了沿着线A-A'取得的图14A的示例像素的截面。截面 1450图示了像素1401-1403的截面。绿色显示元件1412和用于像素1401- 1403的相应电极1430位于显示基板1460上。像素1401-1403被透明显示 介质1470覆盖，该介质具有在麦克风1420和1421上方的孔1474，以允 许到达显示表面1475的声音振动到达麦克风1420和1421。后置麦克风1422位于显示基板1460的背面。在一些实施例中，像素1401-1403位于 其中的显示外壳(未示出)具有通风口或者其他开口，以允许到达外壳背 面的声音振动到达后置麦克风1422。
在一些实施例中，本文描述的技术中使用的麦克风可以是独立于像素 显示元件制造或者制作的分立麦克风，并且被从制造基板转移或者以其他 方式附着到显示基板。在其他实施例中，麦克风可直接制作在显示基板上。 尽管在图14B中，前置麦克风被示为位于显示基板1460的表面上，但在 麦克风被制作在显示基板上的实施例中，它们可至少部分驻留在显示基板 内。
如本文所使用的，提及任何传感器(麦克风、压电元件、热传感器) 相对于显示基板的术语“位于……上”是指以任何方式物理耦合到显示基 板的传感器(例如，直接附着到基板的分立传感器、经由一个或多个居间 层附着到基板的分立传感器、已经制作在显示基板上的传感器)。如本文 所使用的，提及LED相对于显示基板的术语“位于……上”类似地是指以 任何方式物理耦合到显示基板的LED(例如，直接附着到基板的分立LED、 经由一个或多个居间层附着到基板的分立LED、已经制作在显示基板上的 LED)。在一些实施例中，前置麦克风位于显示器的外围区域中，以减少 前置麦克风上方的显示器中的孔(例如孔1474)可能给用户带来的任何视 觉干扰。在其他实施例中，麦克风上方的孔可足够小或者数目足够少，从 而它们对观看体验造成很少或者没有干扰。
尽管前置麦克风1420和1421各自被示为驻留在一个像素内，但在其 他实施例中，前置麦克风可跨越多个像素。这例如可允许较大的麦克风集 成到显示区域中，或者允许麦克风集成到具有较小像素的显示器中。图 14C-14D图示了跨越多个像素的示例麦克风。图14C图示了具有与像素 1401-1406相同尺寸的相邻像素1407和1408，以及前置麦克风1425，前 置麦克风比前置麦克风1420-1421大，并且在两个像素中占据不被显示元 件使用的像素区域。图14D图示了宽度比像素1401-1406窄的相邻像素 1409和1410，以及跨越两个像素的前置麦克风1426。使用较大的麦克风 可允许显示器的声学性能得到改善，例如允许了改善的声学检测。具有分 布在显示区域上的许多集成微型麦克风的显示器可具有声学检测能力，这 种能力超过只有一个或几个位于显示器边框中的分立麦克风的显示器。
在一些实施例中，本文描述的麦克风是MEMS (microelectromechanical system，微机电系统)麦克风。在一些实施例中， 麦克风生成模拟音频信号，这些信号被提供给音频处理组件，而在其他实 施例中，麦克风提供数字音频信号给音频处理组件。生成数字音频信号的 麦克风可包含本地模数转换器，并且以脉冲密度调制(PDM)、I2S (Inter-ICSound，IC间声音)或者其他数字音频信号格式提供数字音频输 出。在麦克风生成数字音频信号的实施例中，音频处理组件可不包括模数 转换器。在一些实施例中，集成麦克风是MEMS PDM麦克风，其尺寸约 为3.5mm(宽)×2.65mm(长)×0.98mm(高)。
由于麦克风可利用本文描述的技术被集成到个体像素中或者跨几个像 素，因此各种各样的麦克风配置可被包含到显示器中。图12A-12C和图 14A-14D图示了几种麦克风配置，还有更多的配置是可能的。本文描述的 显示器集成的麦克风生成音频信号，这些信号被发送到盖子控制器中枢的 音频模块(例如，图3和图7中的音频模块364)。
如本文描述，带有集成到显示区域中的麦克风的显示器可执行各种音 频处理任务。例如，其中多个前置麦克风分布在显示区域上的显示器可对 麦克风生成的音频信号执行波束成形或者空间滤波，以实现远场能力(例 如，增强对远程声源生成的声音的检测)。音频处理组件可确定远程音频 源的位置，基于音频源位置选择麦克风的子集，并且利用来自所选麦克风 子集的音频信号来增强对在显示器处接收到的来自音频源的声音的检测。在一些实施例中，音频处理组件可通过确定要添加到由麦克风的各种组合 生成的音频信号的延迟以使得音频信号在时间上重叠，然后基于添加到每 个音频信号的延迟推断出从组合中的每个麦克风到音频源的距离，从而来 确定音频源的位置。通过向麦克风所提供的音频信号添加所确定的延迟， 可以增强远程音频源方向的音频检测。显示器中的麦克风总数的子集可用 于波束成形或者空间滤波，而不包括在该子集中的麦克风可被关断以降低功率。波束成形也可类似地利用分布在显示基板的背面的后置麦克风来执 行。与有几个麦克风被包含到显示器边框中的显示器相比，有麦克风集成 到显示区域中的显示器能够改善波束成形，这是由于有更多的麦克风能够 被集成到显示器中并且分散在更大的区域上。
在一些实施例中，显示器配置有一组分布在显示器区域上的后置麦克 风，允许了包含显示器的可闭合设备在显示器被闭合时具有音频检测能力。 例如，闭合的设备可处于低功率模式中，在该模式中能够执行唤醒短语或 者词语检测或者识别特定用户(说话者ID)的后置麦克风和音频处理组件 被使能。
在一些实施例中，包括前置和后置麦克风两者的显示器可利用这两种 类型的麦克风进行降噪，增强音频检测(远场音频)，以及增强音频记录。 例如，如果用户在嘈杂的环境中操作膝上型电脑，例如咖啡馆或者自助餐 厅，那么来自拾取环境噪声的一个或多个后置麦克风的音频信号可用于降 低包含膝上型电脑用户的语音的由前置麦克风提供的音频信号中的噪声。 在另一示例中，由包含这种显示器的设备所做的音频记录可包括由前置和后置麦克风两者接收的音频。通过包括由前置和后置麦克风两者捕捉的音 频，这样的记录可提供记录的环境的更准确音频表示。在进一步示例中， 包括前置和后置麦克风两者的显示器可提供360度远场音频接收。例如， 本文描述的波束成形或者空间滤波方法可应用于由前置和后置麦克风两者 提供的音频信号，以提供增强的音频检测。
与麦克风位于显示器边框中的显示器相比，具有位于显示区域内的集 成麦克风的显示器具有优势。麦克风位于显示区域中的显示器可具有更窄 的边框，因为不需要用来容纳集成的麦克风的边框空间。边框宽度减小的 显示器对观看者而言更有美感，并且在给定的显示器外壳尺寸内允许了更 大的显示区域。将麦克风集成在显示区域中允许了在设备中包括更多的麦 克风，这可允许音频检测和降噪得到改善。此外，具有位于显示区域上的 麦克风的显示器通过使用如上所述的接收到的音频信号的波束成形或空间 滤波，而允许了具有增强的音频检测能力的显示器。另外，将音频信号从 位于显示区域中的麦克风路由到也位于显示区域中的音频处理组件的成本 和复杂性可低于将位于显示器边框中的分立麦克风布线到位于显示器外部 的音频处理组件。
图15A图示了具有显示内相机的一组示例像素。像素1501-1506各自 具有红色显示元件1511、绿色显示元件1512和蓝色显示元件1513。在一 些实施例中，这些显示元件是微型LED或者OLED。每个像素1501-1506 占据一像素区域。例如，像素1504占据了像素区域1515。每个像素中的 显示元件1511-1513所占据的像素区域的数量为包括微型相机或其他传感 器留下了足够的剩余黑矩阵区域。像素1501和1503分别包含相机1520和 1521，位于显示元件1511-1513旁边。如本文所使用的，术语“显示内相 机”是指位于显示器内的一个或多个像素的像素区域中的相机。相机1520 和1521是显示内相机。
图15B图示了沿着线A-A'取得的图15A的示例像素的截面。截面 1550图示了像素1501-1503的截面。绿色显示元件1512和像素1501-1503 的相应电极1530位于显示基板1560上，并且位于透明显示介质1570后面。 位于显示区域中的相机可接收通过或者不通过透明显示介质的光线。例如， 透明显示介质1570在相机1520上方的区域中具有孔，以允许光击中相机 1520的图像传感器，而不必通过透明显示介质。相机1521上方的透明显 示介质1570的区域没有孔，并且到达相机1521中的图像传感器的光会通 过透明显示介质。
在一些实施例中，显示内相机可以是独立于像素显示元件制造的分立 相机，并且分立相机在制造完成之后被附着到显示基板。在其他实施例中， 一个或多个相机组件，例如图像传感器，可直接制作在显示基板上。尽管 在图15B中，相机1520-1521被示为位于显示基板1560的前表面1580上， 但在相机组件被制作在显示基板上的实施例中，相机可至少部分驻留在显 示基板内。
如本文所使用的，提及任何传感器或组件(例如，相机、热传感器) 相对于显示基板的术语“位于……上”是指以任何方式物理耦合到显示基 板的传感器或组件，例如直接附着到基板的分立传感器或其他组件，经由 一个或多个居间层附着到基板的分立传感器或组件，以及已经制作在显示 基板上的传感器或组件。如本文所使用的，提及LED相对于显示基板的术 语“位于……上”类似地是指以任何方式物理耦合到显示基板的LED，例 如，直接附着到基板的分立LED，经由一个或多个居间层附着到基板的分 立LED，以及已经制作在显示基板上的LED。
虽然相机1520和1521在图15A和15B中被示为分别驻留在一个像素 内，但在其他实施例中，显示内相机可跨越多个像素。这可允许例如将更 大的相机集成到显示区域中，或者将相机集成到具有较小黑矩阵区域的像 素的显示器中。图15C-15D图示了跨越多个像素的示例相机。图15C图示 了具有与像素1501-1506相同尺寸的相邻像素1507和1508，以及比相机 1520-1521大并且占据了像素1507-1508中的一部分像素区域的相机1525。 图15D图示了宽度比像素1501-1506窄的相邻像素1509和1510，以及跨 越两个像素的相机1526。使用较大的相机可允许改善图像或者视频捕捉， 例如允许了在个体相机处捕捉更高分辨率的图像和视频。
由于相机可被集成到个体像素中或者跨几个像素，所以各种各样的相 机配置可被包含到显示器中。图12A-12C和图15A-15D只是图示了几个 相机配置，还有很多是可能的。在一些实施例中，数以千计的相机可位于 显示区域中。具有分布在显示区域上的多个显示内相机的显示器可具有超 过那些只有一个或几个相机位于边框中的显示器的图像和视频捕捉能力。
本文描述的显示内相机生成的图像传感器数据被发送到盖子控制器中 枢中的视觉/成像模块，例如图3和图6中的视觉/成像模块363。图像传感 器数据是从相机输出到其他组件的数据。图像传感器数据可以是图像数据， 即表示图像的数据，或者视频数据，即表示视频的数据。图像数据或者视 频数据可以是压缩的或者未压缩的形式。图像传感器数据也可以是另一组 件(例如，视觉/成像模块363或者其中的任何组件)从其生成图像数据或视频数据的数据。
将图像传感器数据从相机提供给盖子控制器中枢的互连可位于显示基 板上。互连可被制作在显示基板上，附着到显示基板上，或者以任何其他 方式物理地耦合到显示基板。在一些实施例中，显示器制造包括制造附着 有像素的个体显示基板部分，并且将显示基板部分组装在一起以实现所需 的显示尺寸。
图16图示了可被包含到嵌入式显示器中的示例相机。相机1600位于 显示基板1610上，并且包括图像传感器1620、光圈1630、和微透镜组件 1640。图像传感器1620可以是CMOS光电探测器或者任何其他类型的光 电探测器。图像传感器1620包括一定数目的相机像素，即相机中用于捕 捉光的个体元素，并且相机中的像素数目可用作相机分辨率的度量(例如， 100万像素、1200万像素、2000万像素)。光圈1630具有开口宽度1635。 微透镜组件1640包括一个或多个微透镜1650，它们将光聚焦到焦点，并 且可由玻璃、塑料或者其他透明材料制成。微透镜组件1640通常包括多 个微透镜，以考虑到各种类型的像差(例如，色差)和畸变。
相机1655也位于显示基板1610上，并且包括图像传感器1660、光圈 1670和超透镜(metalens)1680。相机1655类似于相机1600，除了使用 超透镜而不是微透镜组件作为聚焦元件以外。一般而言，超透镜是平面透 镜，在其表面上包括物理结构，这些物理结构的作用是操纵不同波长的光， 使其到达同一焦点。超透镜不产生在单个现有微透镜中会发生的色差。超 透镜可以比玻璃、塑料或者其他类型的微透镜薄得多，并且可利用MEMS (微机电系统)或者NEMS(纳米机电系统)方法来制作。从而，包括单 个薄超透镜的相机，例如相机1655，可以比包括由多个微透镜组成的微透 镜组件的相机，例如相机1600，更薄。光圈1670具有开口宽度1675。
从微透镜组件1640到图像传感器1620的距离和从超透镜1680到图像 传感器1660的距离分别定义了相机1600和1655的焦距，并且焦距与光圈 开口宽度(1635，1675)的比率定义了相机的光圈值(f-stop)，这是到达 图像传感器的表面的光量的度量。光圈值也是相机的景深的一个度量，小 光圈值相机的景深较浅，大光圈值相机的景深较深。景深可对捕捉的图像 产生戏剧性的影响。在景深较浅的图像中，通常只有图片的主体是焦点对 准的，而在景深较深的图像中，大多数物体通常都是焦点对准的。
在一些实施例中，相机1600和1655是定焦相机。也就是说，它们的 焦距是不可调整的。在其他实施例中，相机1600和1655的焦距可通过移 动微透镜组件1640或者超透镜1680更靠近或者更远离相关联的图像传感 器来调整。在一些实施例中，微透镜组件1640或超透镜1680到它们各自 的图像传感器的距离可通过基于MEMS的致动器或其他方法来调整。
显示内相机可以以各种密度分布在显示区域上。例如，相机可以按 100像素的间隔、10像素的间隔、按相邻像素、或者按其他密度来定位。 一定水平的相机密度(对于显示器的一个区域，每单位面积有多少个相机) 可能是特定用例所需要的。例如，与相机被用于触摸检测或者触摸位置确 定相比，如果相机被用于图像和视频捕捉，那么较低的相机密度可能就足 够了。
在一些实施例中，可利用与由多个个体相机捕捉的图像相对应的图像 数据来生成复合图像。该复合图像可具有比个体相机能够捕捉的任何图像 更高的分辨率。例如，系统可利用与几个300万像素相机捕捉的图像相对 应的图像数据来产生600万像素图像。在一些实施例中，从个体显示内相 机捕捉的图像或视频生成的复合图像或视频可具有超高的分辨率，例如在 千兆像素范围内。复合图像和视频可用于超高分辨率的自拍和视频、超高 分辨率的安全监视器、或者其他应用。
从与由多个个体相机捕捉的图像相对应的图像数据生成更高分辨率的 图像可允许具有较低的百万像素数的个体相机位于个体像素中。这可允许 相机在给定的屏幕尺寸下被集成到更高分辨率的显示器中，或者在给定的 分辨率下被集成到更小的显示器中(在显示器尺寸的单位面积上有更多的 像素，从而可用来容纳像素水平的相机集成的自由像素区域更少)。复合 图像可在捕捉图像时被实时生成，只存储复合图像的图像数据，或者可存 储个体相机捕捉的图像的图像数据，并且在后期处理期间生成复合图像。 复合视频也可类似地利用与多个个体相机生成的视频相对应的视频数据来 生成，其中复合视频可实时生成或者在后期处理期间生成。
在一些实施例中，显示内相机可用来代替触摸屏，以检测物体(例如， 手指、触笔)触摸显示表面，并且确定触摸发生在显示器上什么位置。一 些现有的触摸屏技术(例如，基于电阻的、基于电容的)可通过在透明显 示介质上添加多层来增加显示器的厚度，而其他技术则使用单元内或者单 元上触摸技术来减小显示器厚度。如本文所使用的，术语“透明显示介质” 包括触摸屏层，无论触摸屏层是位于透明显示介质之上还是透明显示介质 被用作触摸屏层。一些现有的触摸屏技术采用层压在一起的透明导电表面， 并且有隔离层将其分开。这些额外的层增加了显示器的厚度，并且会降低 通过显示器的光的透射率。消除对单独的触摸屏层的使用可降低显示器的 费用，因为触摸屏中使用的透明导体通常是由氧化铟锡制成的，而氧化铟 锡可能很昂贵。
触摸检测和触摸位置确定可利用显示内相机来执行，例如，通过检测 由触摸或者很靠近显示器的物体引起的可见光或者红外光的遮挡。可位于 显示器中或者以其他方式与显示器通信耦合的触摸检测模块可接收由显示 内相机捕捉的图像，并且处理图像数据以检测对显示表面的一个或多个触 摸，并且确定触摸的位置。触摸检测可通过例如确定图像传感器数据是否 指示出图像传感器处的接收光线已经下降到阈值以下来完成。在另一示例 中，触摸检测可通过确定图像传感器数据是否指示出相机处的接收光线下 降了所确定的百分比或者量来执行。在另一示例中，触摸检测可通过确定 图像传感器数据是否指示出相机处的接收光线在预定量的时间内下降了预 定的百分比或者量来执行。
触摸位置确定可例如通过使用其关联的图像传感器数据指示出在显示 器处检测到触摸的相机的位置(例如，关联的图像传感器数据指示出在相 机的图像传感器处的接收光线已经下降到阈值以下，下降了预定的百分比 或者量，或者在预定量的时间内下降了预定的百分比或者量)作为触摸位 置来完成。在一些实施例中，触摸位置是基于图像传感器内接收到最低水 平光线的位置的。如果与多个相邻相机相关联的图像传感器数据指示出有 触摸，则可通过确定多个相邻相机的位置的形心来确定触摸位置。
在一些实施例中，利用显示内相机进行触摸检测和触摸位置确定的支 持触摸的显示器，其相机密度可大于包括不支持触摸的显示内相机的显示 器。然而，通过使用显示内相机来支持触摸的显示器不一定要在每个像素 中都定位有相机。触摸检测模块可利用来自一个或多个相机的图像传感器 数据来确定触摸位置。显示内相机的密度也可部分取决于所使用的触摸检 测算法。
指示出触摸的存在的信息和触摸位置信息可被提供给操作系统、应用 或者包括显示器或者与显示器通信耦合的系统的任何其他软件或者硬件组 件。多次触摸也可被检测到。在一些实施例中，显示内相机以足够的频率 向触摸检测模块提供更新的图像传感器数据，以提供用户对于现代支持触 摸设备的所期望的那种触摸显示体验。显示器的触摸检测能力可被暂时禁 用，因为显示内相机被用于本文描述的其他目的。
在一些实施例中，如果在系统提示了用户用其手指、拇指或者手掌触 摸显示器以认证用户的情境中系统检测到了触摸，则系统可使得位于检测 到触摸的地方或者附近的一个或多个像素显示元件发光，以允许用户的手 指、拇指或者手掌所触摸的区域被照明。这种照明可允许捕捉指纹、拇指 指纹或者掌纹，其中指纹特征可能更容易被系统或设备识别或者提取。
与现有的电容式触摸屏技术能够检测到的相比，对显示内相机的使用 允许了检测到更多种类的物体对显示表面的触摸。电容式触摸屏通过检测 电容式触摸屏生成的静电场的局部变化来检测对显示器的触摸。这样一来， 电容式触摸屏可检测到接触或者很接近显示表面的导电物体，例如手指或 者金属触笔。由于显示内相机依靠光线的遮挡来检测触摸，而不是感测显 示表面的电容变化，因此基于显示内相机的触摸传感方法可检测到各种物 体的触摸，包括无源触笔。触摸物体是导电的或者以其他方式能够在显示 器的静电场中生成变化，这一点没有限制。
在一些实施例中，显示内相机可用于检测用户可用来与系统或者设备 交流的手势。包含显示内相机的显示器可允许识别一个或多个手指或其他 物体在显示表面上做出的二维(2D)手势(例如，轻扫、轻敲、捏拢、张 开)，或者识别由触笔、手指、手或者其他物体在显示器前面的空间体积 中做出的三维(3D)手势。如本文所使用的，短语“3D手势”描述了一 种手势，其至少有一部分是在显示器前面的空间体积中做出的，并且没有 接触到显示表面。
扭转手势可被映射到由操作系统或者在系统上执行的应用执行的操作。 例如，扭转手势可促成在CAD(计算机辅助设计)应用中对对象的操纵。 例如，扭转手势可使得CAD应用中的选定对象变形，其方式是通过该应 用保持对象的一端固定，并且将对象的另一端旋转，旋转量与所确定的用 户对物理物体的扭转量相对应。例如，CAD程序中的3D圆柱体可被选择， 并且响应于系统检测到用户在显示器前面扭转触笔而围绕其纵轴进行扭转。 由此产生的变形圆柱体可看起来像一块扭转的甘草糖。响应于检测到物理 物体在显示器前面被旋转，所选对象所经历的旋转、变形或者其他操纵的 量不需要与检测到的物理物体的旋转量有一对一的对应关系。例如，响应 于检测到触笔被旋转360度，所选对象可被旋转180度(检测到的旋转量 的一半)、720度(检测到的旋转量的两倍)，或者与检测到的物理物体旋转量成比例的任何其他量。
与位于显示器边框中的仅少数相机能够捕捉的相比，包含显示器或者 与具有显示内相机的显示器通信地耦合的系统能够在显示器前面的更大空 间体积内捕捉3D手势。这是由于显示内相机能够位于整个显示器上，相 对于少数边框相机的整体观看区域而言，整体上具有更宽广的观看区域。 如果显示器只包含一个或多个位于显示器边框中的相机，则这些相机将不 太可能捕捉到在远离边框处(例如，在显示器的中心区域)做出的3D手 势或者在靠近显示表面处做出的3D手势。位于显示区域中的多个相机也 可用于捕捉3D手势的深度信息。
识别显示区域前面的3D手势的能力允许了检测和识别包括电阻式或 电容式触摸屏或者边框相机的显示器无法检测和识别的手势。例如，包含 显示内相机的系统可检测以对显示器的触摸开始或结束的3D手势。例如， “拾取-移动-放置”手势可包括用户在显示表面上执行捏拢手势以选择在 捏拢的手指合在一起的位置(捏拢位置)或者该位置附近示出的对象，通 过将其捏拢的手指从显示表面移开来拾取该对象，通过将其捏拢的手指沿 着从捏拢位置到目的地位置的路径移动来移动该对象，通过将其捏拢的手 指朝着显示表面移回直到捏拢的手指触摸显示表面为止并且在目的地位置 张开其手指来放置该对象。
在“拾取-移动-放置”手势期间，响应于对该手势的捏拢部分的检测， 所选对象可从未选中外观变为选中外观，响应于对该手势的移动部分的检 测，所选对象可在显示器上从捏拢位置移动到目的地位置，并且响应于检 测到该手势的放置部分，所选物体可变回未选中外观。这样的手势可用于 操纵在显示器上渲染的三维环境中的对象。这样的三维环境可以是CAD 应用或者游戏的一部分。这种手势的三维性质可表现为，例如，当所选对 象在捏拢位置和目的地位置之间移动时，其不会与环境中位置沿着所选对 象行进的路径的其他对象交互。也就是说，所选对象经由3D“拾取-移动- 放置”手势被拾起，并且被抬升到应用中的其他对象之上。
这种手势的变化也可被识别。例如，“拾取并放下”手势可包括用户 通过在用捏拢手势抓住对象之后将其捏拢的手指从显示表面移开来拾取对 象，然后通过在其手指位于显示器上方时张开其手指来“放下”对象。应 用可生成对于检测到被拾取的对象已被放下的响应。响应的幅值可对应于 对象被放下时的“高度”，该高度对应于所确定的捏拢的手指在其被张开 时的位置与显示表面的距离。在一些实施例中，应用对于对象被放下的响 应可对应于被放下的对象的一个或多个属性，例如其重量。
例如，在游戏应用中，系统可通过检测在显示器上示出巨石的位置处 的捏拢手势来检测到用户拾取了巨石，检测到用户已将其捏拢的手指从显 示表面移动了一段距离，并且检测到用户已在距显示表面某个距离处张开 了其捏拢的手指。该应用可将用户在距显示表面某个距离处张开捏拢的手 指解读为巨石被从某个高度放下。游戏应用可更改游戏环境，使之与巨石 被放下时的“高度”和巨石的重量相对应，该高度与系统所确定的捏拢的手指被张开时与显示表面的距离相对应。例如，如果巨石被从较小的高度 放下，则可能会在环境中产生一个小坑，并且当巨石撞击地面时，应用可 生成柔和的砰砰声。如果巨石被从更高的高度放下，则可形成更大的坑， 附近的树木可能被撞倒，并且当巨石撞击地面时，应用可生成巨大的撞击 声。在其他实施例中，应用可考虑到巨石的属性，例如其重量，以确定响 应的幅值，较重的巨石在被放下时在游戏环境中产生更大的更改。
在一些实施例中，张开或捏拢的手指与显示表面的距离的度量可由从 显示内相机生成的图像传感器数据提取的指尖的大小来确定，提取的指尖 大小越大，则指示出指尖越靠近显示表面。所确定的捏拢或张开的手指的 距离不需要根据标准化的测量系统(例如，公制、英制)来确定，而可以 是任何量度，其中位于离显示表面较远之处的手指比位于离显示表面较近 之处的手指离显示表面的距离更大。
图17图示了包括盖子控制器中枢的移动计算设备的示例软件/固件环 境的框图。环境1700包括位于盖子1701中的盖子控制器中枢1705和定时 控制器1706，与位于设备的底座1702中的组件通信。LCH 1705包括安全 性模块1710、主机模块1720、音频模块1730、和视觉/成像模块1740。安 全性模块1710包括启动模块1711、固件更新模块1712、闪存文件系统模 块1713、GPIO隐私模块1714、和CSI隐私模块1715。在一些实施例中， 模块1711-1715中的任何一者都可在图2-图4中图示的或者本文中以其他 方式公开的安全性模块1710组件中的一个或多个上操作或者由其实现。 启动模块1711响应于计算设备被开启而使得安全性模块进入操作状态中。 在一些实施例中，启动模块1711响应于计算设备被开启而使得LCH 1705 的额外组件进入操作状态中。固件更新模块1712更新安全性模块1710所 使用的固件，这允许了对模块1711和1713-1715的更新。闪存文件系统模 块1713为存储在安全性模块1710可访问的闪存中的固件和其他文件实现 了文件系统。GPIO和CSI隐私模块1714和1715控制LCH组件对位于盖 子中的相机生成的图像传感器数据的可访问性。
主机模块1720包括调试模块1721、遥测模块1722、固件更新模块 1723、启动模块1724、虚拟I2C模块1725、虚拟GPIO 1726和触摸模块 1727。在一些实施例中，模块1721-1727中的任何一者都可在图2-图3和 图5中图示的或者本文中以其他方式公开的主机模块组件中的一个或多个 上操作或者由其实现。启动模块1724响应于计算设备被开启而使得主机 模块1720进入操作状态中。在一些实施例中，启动模块1724响应于计算 设备被开启而使得LCH 1705的额外组件进入操作状态中。固件更新模块 1723更新主机模块1720所使用的固件，这允许了对模块1721-1722和 1724-1727的更新。调试模块1721为主机模块1720提供调试能力。在一 些实施例中，调试模块1721利用JTAG端口向底座1702提供调试信息。在一些实施例中，遥测模块1722生成可用于监视LCH性能的遥测信息。 在一些实施例中，遥测模块1722可提供由位于LCH中的功率管理单元 (power management unit，PMU)和/或时钟控制器单元(clock controller unit，CCU)生成的信息。虚拟I2C模块1725和虚拟GPIO1726允许了主 机处理器1760远程控制LCH上的GPIO和I2C端口，就好像它们是SoC 的一部分一样。通过在低引脚USB连接上向主机处理器提供对LCH GPIO 和I2C端口的控制，允许了减少设备铰链中的电线的数目。触摸模块1727 处理由触摸传感器控制器提供给主机模块1720的触摸传感器数据，并且 驱动显示器的触摸控制器。触摸模块1727可确定，例如，对显示器的一 个或多个触摸的显示的位置和手势信息(例如，手势的类型，指示出手势 在显示器上的位置的信息)。由触摸模块1727确定的信息和由主机模块 1720生成的其他信息可通过USB连接1728被传达给底座1702。
音频模块1730包括语音唤醒模块1731、超声模块1732、降噪模块 1733、远场预处理模块1734、声学情境感知模块1735、话题检测模块 1736和音频核心1737。在一些实施例中，模块1731-1737中的任何一者都 可在图2-图3和图6中图示的或者本文中以其他方式公开的音频模块组件 中的一个或多个上操作或者由其实现。语音唤醒模块1731实现先前描述 的语音唤醒特征，并且在一些实施例中可进一步实现先前描述的扬声器ID 特征。超声模块1732可通过检测音频传感器数据中的近超声/超声频率的 信息来支持低功率低频超声通道。在一些实施例中，超声模块1732可驱 动位于计算设备中的一个或多个扬声器，以经由超声通信向另一个计算设 备传输信息。降噪模块1733在音频传感器数据上实现一个或多个降噪算 法。远场预处理模块1734对音频传感器数据执行预处理，以增强从远程 音频源接收的音频信号。声学情境感知模块1735可实现基于音频信号的 所确定的音频情境来处理音频传感器数据的算法或模型(例如，检测不需 要的背景噪声，然后将不需要的背景噪声从音频信号中过滤掉)。
话题检测模块1736确定在音频传感器数据中检测到的话音中的一个 或多个话题。在一些实施例中，话题检测模块1736包括自然语言处理算 法。在一些实施例中，话题检测模块1736可确定在用户的音频查询之前 正在讨论的话题，并且基于跟踪的话题向用户提供响应。例如，话题检测 模块1736可确定在查询之前的某个时间段(例如，在过去30秒、过去1 分钟、过去5分钟)所讨论的人、地点或者其他话题，并且基于该话题回 答该查询。例如，如果一个用户正在与另一个人谈论夏威夷，则话题检测 模块1736可确定“夏威夷”是交谈的话题。如果用户然后问计算设备， “那里的天气如何？”，则计算设备可提供响应以提供夏威夷的天气。音 频核心1737是音频模块1730中实现的音频处理算法构建于其上的实时操 作系统和基础设施。音频模块1730经由
Figure BDA0003212949650000531
连接1738与底座 1702中的音频捕捉模块1780进行通信。
视觉/成像模块1740包括视觉模块1741、成像模块1742、视觉核心 1743、和相机驱动器1744。在一些实施例中，组件1741-1744中的任何一 者都可在图2-图3和图7中图示的或者本文中以其他方式公开的视觉/成像 模块组件中的一个或多个上操作或者由其实现。视觉/成像模块1740经由 I3C连接1745与底座1702中的集成传感器中枢1790进行通信。视觉模块 1741和成像模块1742在作用于由计算设备的一个或多个相机提供的图像 传感器数据时可实现本文公开的算法中的一个或多个。例如，视觉和图像 模块可单独或者协同工作来实现本文描述的脸部唤醒、脸部ID、头部朝向 检测、面部标志跟踪、3D网格生成特征中的一个或多个。视觉核心1743 是视觉/成像模块1740中实现的视觉和图像处理算法构建于其上的实时操 作系统和基础设施。视觉/成像模块1740经由相机驱动器1744与一个或多个盖子相机交互。在一些情况下，相机驱动器1744可以是微驱动器。
底座中的组件包括主机处理器1760、音频捕捉模块1780和集成传感 器中枢1790。在一些实施例中，这三个组件被集成在SoC上。音频捕捉 模块1780包括LCH音频编解码器驱动器1784。集成传感器中枢1790可 以是英特尔
Figure BDA0003212949650000532
集成传感器中枢或者任何其他能够处理来自一个或多个传感 器的传感器数据的传感器中枢。集成传感器中枢1790经由LCH驱动器1798与LCH 1705进行通信，在一些实施例中，该LCH驱动器可以是微驱 动器。集成传感器中枢1790进一步包括生物识别存在传感器1794。生物 识别存在传感器1794可包括位于底座1702中的传感器，该传感器能够生 成由计算设备用于确定用户的存在的传感器数据。生物识别存在传感器 1794可包括例如压力传感器、指纹传感器、红外传感器、或者皮肤电反应传感器。在一些实施例中，集成传感器中枢1790可基于从LCH接收的图 像传感器数据和/或由位于盖子中的生物识别存在传感器(例如，基于盖子 的指纹传感器、基于盖子的红外传感器)生成的传感器数据来确定用户的 存在。
主机处理器1760包括USB根联合体1761，它将触摸驱动器1762和 LCH驱动器1763连接到主机模块1720。主机模块1720将从图像传感器数 据确定的数据，例如图像或者视频中一个或多个用户的存在、面部标志数 据、3D网格数据等等，经由到USB根联合体1761的USB连接1728传达 给主机处理器1760上的一个或多个应用1766。数据从USB根联合体1761经过LCH驱动器1763、相机传感器驱动器1764和智能协作模块1765， 到达一个或多个应用1766。
主机处理器1760进一步包括平台框架模块1768，其允许了平台级的 功率管理。例如，平台框架模块1768提供了对个体平台级资源的功率管 理，所述资源例如是主机处理器1760、SoC组件(GPU、I/O控制器，等 等)、LCH、显示器，等等。平台框架模块1768还提供对其他系统级设 置的管理，例如用于控制各种组件的操作频率的时钟速率，增大冷却性能 的风扇设置。平台框架模块1768与LCH音频堆栈1767通信以允许对音频 设置的控制，并且与图形驱动器1770通信以允许对图形设置的控制。图 形驱动器1770经由eDP连接1729向定时控制器1706提供视频数据，并 且图形控制器1772提供对计算设备的图形设置的用户控制。例如，用户 可配置图形设置以优化性能、图像质量或者电池寿命。在一些实施例中， 图形控制器是英特尔
Figure BDA0003212949650000541
图形控制面板应用实例。
增强的隐私
在主机上实现始终开启(AON)使用的软件应用，例如脸部或者头部 朝向检测，可能会使他们的数据能够被操作系统访问，因为这些解决方案 是在主机片上系统(SoC)上运行的。这就造成了私人用户数据(例如， 来自面向用户的相机的脸部图像)有可能暴露给其他软件应用，并且可能 使用户的数据和隐私面临病毒或者其他不受信任的软件在用户不知情的情 况下获得用户数据的风险。
目前的隐私解决方案一般包括对麦克风或者面向用户的相机的基本控 件和/或指示器。例如，设备可包括软件管理的“热键”，用于使能/禁用 面向用户的相机或者设备的其他方面(例如，麦克风)。管理热键的软件 (或者其他软件)也可控制一个或多个关联的指示器(例如，LED)，这 些指示器指示出相机(或其他设备)当前是否开启/活跃。然而，这些控件 一般是由软件管理的，本质上是不安全的，并且可能被运行在主机SoC上 的恶意软件所操纵。从而，这些控件不被大多数IT专业人士或者最终用户 信任。这是因为禁用麦克风或相机的热键和关联指示器很容易被恶意行为 者欺骗。作为另一示例，一些设备包括了物理屏障，以防止面向用户的相 机获得设备用户的不想要的图像。然而，虽然物理阻挡成像传感器可作为 面向用户的相机的权宜隐私机制，但它们阻止了相机被用于其他可能有帮 助的方式(例如，用于认证或其他目的脸部检测)。
然而，本公开的实施例提供了一种强化的隐私控制系统，该系统包括 强化的隐私控件和指示器(例如，不受运行在主机SoC/处理器上的软件控 制的隐私控件/指示器)，为潜在的私人传感器数据(例如，从面向用户的 相机获得的图像)提供保护，同时还允许了(一个或多个)传感器被设备 用于一个或多个有用的功能。在某些实施例中，强化的隐私控制系统可以 是本文描述的与主机SoC/处理器分开的盖子控制器中枢的一部分。从而， 用户数据可与SoC/主机处理器隔离，从而与主机OS和在OS上运行的其 他软件隔离。此外，本公开的实施例可使得AON能力(例如，脸部检测 或者用户存在检测)能够集成在设备上，并且可允许执行这种功能而不暴 露用户数据。
图18根据某些实施例图示了包括盖子控制器中枢的示例移动计算设 备1800的简化框图。示例移动计算设备1800可实现强化的隐私控制系统， 该系统包括本文描述的强化的隐私开关和隐私指示器。尽管下面的示例是 针对面向用户的相机描述的，但这些技术可应用于其他类型的设备传感器 (例如，麦克风)，以提供与本文描述的那些类似的优点。
设备1800包括通过铰链1830连接到盖子1820的底座1810。底座 1810包括SoC1840，并且盖子1820包括盖子控制器中枢(LCH)1860， 它包括安全性/主机模块1861和视觉/成像模块1863。设备1800的各个方 面可包括比所示那些更多的一个或多个额外组件，并且可以按类似于图1A的设备100、图1B的设备122、图2的设备200或者图3的设备300或 者上文描述的其他计算设备(例如但不限于图9和图17)的方式实现。例 如，底座1810、SoC1840和LCH 1860可以用上文分别关于设备 100/122/200/300的底座110/124/210/310、SoC140/240/340和LCH 155/260/305描述的那些的组件或者与其类似的特征来实现。类似地，安全 性/主机模块1861、视觉/成像模块1863和音频模块1864可以用上文分别 关于设备100/200的安全性/主机模块174/261/361/362、视觉/成像模块 172/263/363和音频模块170/264/364描述的那些的组件或者与其类似的特 征来实现。
在所示的示例中，类似于图1A、图1B、图2和图3中的示例计算设 备(以及上文描述的其他计算设备，例如但不限于图9和图17)，盖子 1820进一步包括面向用户的相机1870、(一个或多个)麦克风1890、隐 私开关1822和耦合到LCH 1860的隐私指示器1824。隐私开关1822可通 过硬件、固件或者其组合来实现，并且可允许用户硬禁止设备的相机、麦 克风和/或其他传感器被主机处理器(例如，在底座1810中)或者在主机 处理器上运行的软件访问。例如，当用户将隐私开关的状态切换/改变到 “开启”位置(例如，隐私模式开启)时，选择器1865可阻止来自相机 1870的图像流传递到SoC 1840中的图像处理模块1845，阻止其传递到视 觉/成像模块1863，或者两者皆阻止。此外，当隐私开关处于“开启”位 置时，选择器1866可阻止来自(一个或多个)麦克风1890的音频流传递 给SoC 1840中的音频捕捉模块1843。作为另一示例，当用户将隐私开关 的状态切换/改变到“关闭”位置(例如，隐私模式关闭)时，选择器 1865可将来自相机1870的图像流传递到视觉/成像模块1863和/或仅允许元数据传递到SoC 1840的集成传感器中枢1842。类似地，当用户将隐私 开关的状态切换/改变到“关闭”位置(例如，隐私模式关闭)时，选择器 1866可将音频流从(一个或多个)麦克风1890传递到音频模块1864和/或 到SoC 1840的音频捕捉模块1843。尽管被示为包含在盖子1820中，但面 向用户的相机1870和/或(一个或多个)麦克风1890可被包含在其他地方，例如在底座1820中。
在某些实施例中，LCH 1860的安全性/主机模块1861可基于隐私开关 1822的位置或者状态控制对来自面向用户的相机1870的图像数据、来自 (一个或多个)麦克风1890的音频数据和/或与图像或音频数据相关联的 元数据或者其他信息的访问。例如，隐私开关1822的状态(这可基于例 如物理隐私开关的位置、位置信息和/或来自本文描述的可管理性引擎的信 息)可被存储在安全性/主机模块1861的存储器中，该模块可控制选择器1865、1866和或LCH 1860的一个或多个其他方面以控制对图像或者音频 数据的访问。选择器1865、1866可基于来自安全性/主机模块1861的信号 或者其他信息，路由面向用户的相机1870和/或(一个或多个)麦克风 1890的信号。选择器1865、1866可如图所示单独实现，或者可被组合成 一个选择器。在一些实施例中，安全性/主机模块1861可只允许LCH 1860 的受信任的固件，例如，在视觉/成像模块1863和/或音频模块1864中， 访问图像或者音频数据，或者与其相关联的信息。安全性/主机模块1861 可控制这种模块和主机SoC 1840之间的接口，例如，通过允许/禁止SoC 1840的组件经由这种接口访问这些模块的存储器区域。
在一些实施例中，隐私开关1822可实现为物理开关，其允许设备 1800的用户选择是否允许来自面向用户的相机1870的图像(或者关于这 种图像或与这种图像相关的信息，例如元数据)和/或来自(一个或多个) 麦克风1890的音频(或者关于这种音频或与这种音频相关的信息，例如 元数据)被传递到主机处理器。在一些实施例中，开关可利用电容式触摸 传感按钮、滑块、快门、按钮开关或者要求来自设备1800的用户的物理 输入的另一种类型的开关来实现。在一些实施例中，隐私开关1822可以 按不同于物理开关的另一种方式实现。例如，隐私开关1822可被实现为 键盘热键或者软件用户接口(UI)元素。
在一些实施例中，隐私开关1822可通过设备的可管理性引擎 (manageabilityengine，ME)(例如，1847)被远程暴露(例如，暴露给 IT专业人士)。例如，例如图18所示，LCH1860可耦合到ME 1847。 ME 1847一般可将设备1800的能力暴露给远程用户(例如，IT专业人 士)，例如，通过英特尔
Figure BDA0003212949650000571
主动管理技术(Active Management Technology，AMT)。通过将LCH 1860连接到ME 1847，远程用户可能够控制隐私开 关1822和/或在设备1800上实现一个或多个安全性策略。
隐私指示器1824可包括一个或多个视觉指示器(例如，(一个或多 个)发光二极管(LED))，其明确地向用户传达隐私状态(例如，隐私 模式被设置为开启，并且相机图像被阻止传递到主机SoC和/或视觉/成像 模块)。通常，这种指示器是由软件控制的。然而，在本公开的实施例中， 隐私状态可由LCH 1860基于开关1822的位置和/或一个或多个其他因素(例如，设备上现行的隐私策略，例如，由用户选择)来确定，并且LCH 1860可直接控制隐私指示器1824的照明。例如，在一些实施例中，当用 户将开关1822切换到“开启”位置(例如，隐私模式开启)时，隐私指 示器1824的(一个或多个)LED可亮起第一颜色，以指示出相机图像被 阻止被主机SoC和视觉/成像模块访问。另外，如果用户将开关1822切换 到“关闭”位置(例如，隐私模式关闭)，则隐私指示器1824的(一个 或多个)LED可亮起第二颜色，以指示出相机图像可被主机SoC访问。在 一些情况下，例如，在隐私状态是基于隐私开关的状态和现行隐私策略两 者的情况下，或者在隐私开关被实现有两个以上的位置的情况下，隐私指示器1824的(一个或多个)LED可亮起第三颜色，以指示出相机图像不 可被主机SoC访问，但相机被视觉/成像模块1863用于另一目的(例如， 脸部检测)，并且只有与其他目的(例如，检测到/未检测到脸部)相关的 元数据被传递给主SoC。
在一些实施例中，隐私指示器1824可包括多色LED，以向设备1800 的用户传达一个或多个潜在的隐私状态。例如，多色LED可向用户传达多 个隐私状态中的一个，其中隐私状态基于隐私开关的状态(其可基于物理 开关的位置(例如，开/关，或者在多个切换位置之一)、设备的当前位置 (如下所述)、来自可管理性引擎的命令(如下所述)或者这些的组合) 和/或设备上现行的当前隐私策略。下面描述了一些示例隐私状态。
在第一示例隐私状态中，LED可点亮橙色，以指示出(一个或多个) 传感器(例如，相机和/或麦克风)被禁用。这可被称为“隐私模式”。此 模式可例如是当隐私开关1822对于开/关开关处于开启位置或者处于具有 三个或更多个切换位置的开关的第一位置时设置的模式。这个模式指示是 传感器的硬禁用，例如，设备上的任何东西都不能访问任何隐私敏感传感 器，例如相机1870。
在第二示例隐私状态中，LED可点亮黄色，以指示出(一个或多个) 传感器正在活跃地以非加密形式向在主机SoC上运行的软件流传输数据。 这可被称为“通过模式”。此模式可例如是当隐私开关1822对于开/关开 关处于关闭位置或者处于具有三个或更多个切换位置的开关的第二位置时 设置的模式。
在第三示例隐私状态中，LED灯可亮起蓝色，以指示出(一个或多个) 传感器正在活跃地进行流传输，但只向受信任的软件流传输。这可被称为 “受信任流传输模式”，其中加密安全(例如，加密或者数字签名)的成 像传感器数据被发送到在主机SoC上执行的应用。在这种受信任流传输模 式中，(一个或多个)选择器1865、1866的电路可执行加密和/或数字签 名功能。例如，在一些实施例中，可利用仅与受信任的应用、云服务等等 共享的密钥对图像流进行实时加密。虽然由(一个或多个)选择器1865、 1866的电路执行，但安全性/主机模块1861可控制加密操作的某些方面 (例如，密钥共享和管理)。此模式可例如是当隐私开关1822对于开/关 开关处于开启位置(例如，现行有对于某些受信任的应用允许受信任流传 输模式的安全性策略)，或者处于具有三个或更多个切换位置的开关的第 三位置时设置的模式。
在第四示例隐私状态中，LED可被关闭，指示出(一个或多个)传感 器不活跃或者在隐私保护模式中操作，其中敏感数据受到完全保护，免遭 在主机SoC/处理器上运行的软件的窃听。这可被称为“视觉模式”，其中 (一个或多个)传感器可能仍在使用中，但只有受隐私保护的元数据(例 如，指示出检测到脸部或特定用户，而不是实际的相机图像)可被提供给 主机SoC。此模式可例如是当隐私开关1822对于开/关开关处于开启位置 (例如，现行有允许视觉/成像模块访问来自相机的数据的安全性策略)， 或者处于具有四个或更多个切换位置的开关的第四位置时设置的模式。
在一些实施例中，LCH 1860可耦合到包括位置传感器(例如，与全 球导航卫星系统(global navigation satellite system，GNSS)兼容的传感器， 例如，全球定位系统(global positioning system，GPS)、GLONASS、伽 利略或者北斗，或者另一种类型的位置传感器)或者以其他方式获得位置 信息(例如，经由设备1800的调制解调器)的位置模块1846，，并且 LCH 1860可至少部分地基于由位置模块1846提供的位置信息确定设备 1800的隐私模式。例如，在一些实施例中，LCH 1860可耦合到WWAN 或者Wi-Fi调制解调器(例如，经由边带UART连接)，该调制解调器可 作为位置模块1846运作，并且位置信息可被路由到LCH 1860，以使得 LCH 1860可控制隐私开关1822。也就是说，作为位置模块1846运作的调制解调器可利用附近的无线网络(例如，Wi-Fi网络)信息(例如，(一 个或多个)无线网络名称/标识符，(一个或多个)无线网络信号强度，或 者与设备附近的无线网络相关的其他信息)来确定设备的相对位置。在一 些情况下，可利用细粒度的Wi-Fi定位服务。作为另一示例，LCH 1860可 耦合到GPS模块，该模块可作为位置模块1846运作，并且来自GPS模块 的位置信息可被路由到LCH 1860，以使得LCH 1860可控制隐私开关 1822。
LCH 1860可处理一个或多个隐私策略以控制隐私开关1822的状态。 例如，策略可包括“好”坐标(例如，LCH 1860可允许图像或音频数据 被访问的坐标)和/或“坏”坐标(例如，LCH 1860可防止图像或音频数 据被访问的坐标(在一些情况下，无论设备上的物理隐私开关的位置如 何))。对于好坐标，LCH 1860可允许物理开关单独控制隐私开关状态。 然而，对于坏坐标，LCH 1860可自动使能隐私模式，甚至忽略物理隐私 开关设置，以便用户不能在“坏”位置使能相机。通过这种方式，用户或 者IT专业人员可设置领域范围的隐私策略，据此，设备1800的相机、麦 克风或者其他隐私敏感传感器的使用在某些位置可受到限制。从而，可提 供隐私开关1822的基于位置的自动化。例如，当设备靠近敏感位置(例 如，绝密建筑)或者在某些地理边界之外(例如，在用户的祖国之外)时， 隐私开关1822可自动切换到开启(并且阻止来自相机的图像)。
在某些实施例中，可将视觉/成像模块1863的功能维持在一个或多个 隐私模式中。例如，在一些情况下，视觉/成像模块1863可基于在从面向 用户的相机1870获得的图像上执行的面部识别提供连续的用户认证。视 觉/成像模块1863(例如，基于由安全性/主机模块1861实现的安全性策略) 可在不向主机SoC 1840提供所获得的图像的情况下执行此功能或者其他 功能，保护这种图像不被在主机SoC 1840上运行的软件访问。
例如，视觉/成像模块1863可允许移动计算设备1800仅在视觉/成像 模块1863检测到授权用户存在时“唤醒”。安全性/主机模块1861可存储 一个或多个授权用户的用户配置文件，并且视觉/成像模块1863可使用这 些配置文件来确定面向用户的相机1870的视野中的用户是否是授权用户。 视觉/成像模块1863可向主机SoC 1840发送指示，以指出在设备1800前 面有一个授权用户，并且在主机SoC 1840上运行的操作系统或其他软件 可提供自动登录(例如，Windows Hello)功能或者可建立信任。在一些情 况下，视觉/成像模块1863认证可用于提供自动登录功能，而无需进一步 的OS/软件审查。
作为另一示例，视觉/成像模块1863可向在主机SoC 1840上运行的软 件提供隐私和安全，例如，在web浏览器或者其他应用中，其方式是通过 仅在视觉/成像模块1863检测到授权用户时才从事密码、付款和其他自动 填充选项。设备1800仍可允许其他用户继续使用该设备1800，然而，他 们将被阻止使用这种自动填充特征。
作为又一个示例，视觉/成像模块1863可提供改善的文档处理。例如， 由视觉/成像模块1863提供的连续用户认证可允许在主机SoC 1840上运行 的软件处理安全文档，并且确保授权用户是在查看安全文档时存在于系统 前面的唯一的脸部，例如，如本文所述。
作为另一示例，视觉/成像模块1863可提供自动注册和训练功能。例 如，在接收到操作系统或者其他软件成功登录的确认后(手动或者通过生 物识别技术，例如WindowsHello)，视觉/成像模块1863可记录当前在视 野中的脸部的属性，并且使用该信息来训练和完善脸部认证模型。一旦模 型被正确训练，就可实现用户体验(UX)的改善，并且此后每次成功的 操作系统登录都可进一步完善该模型，使得视觉/成像模块1863使用的模 型可以不断学习并且适应用户的外观变化，等等。
图19根据某些实施例图示了控制对与来自用户设备的面向用户的相 机的图像相关联的数据的访问的示例过程1900的流程图。该示例过程可 以用软件、固件、硬件或者其组合来实现。例如，在一些实施例中，图19 所示的示例过程中的操作可由控制器中枢装置执行，该装置实现了盖子控 制器中枢(LCH)的一个或多个组件的功能(例如，图2的安全性/主机模 块261、视觉/成像模块263和音频模块264或者图1A的计算设备100和/ 或图3的设备300和/或本文先前论述的任何其他计算设备中的相应模块中 的一个或多个)。在一些实施例中，计算机可读介质(例如，在图2的存 储器274、存储器277和/或存储器283中)可被编码有实现以下示例过程 中的一个或多个操作的指令。该示例过程可包括额外的或不同的操作，并 且这些操作可按示出的顺序或者另外的顺序来执行。在一些情况下，图19 中所示的操作中的一个或多个被实现为包括多个操作、子过程或其他类型 的例程的过程。在一些情况下，操作可被组合，被按另一顺序执行，被并 行执行，被迭代，或者被以其他方式重复，或者被以另一种方式执行。
在1902，用户设备的隐私开关状态被访问。例如，隐私开关状态可被 存储在用户设备的存储器中。例如，隐私开关状态可以指示出在用户设备 中使能的(当前)隐私模式。
在1904，基于在1902处访问的隐私开关状态，控制用户设备的主机 SoC对来自面向用户的相机的图像和/或与来自面向用户的相机的图像相关 联的信息(例如，元数据)(其可统称为与面向用户的相机的图像相关联 的数据)的访问。在一个示例中，SoC对访问的控制可涉及LCH或其组件 访问存储在用户设备上的一个或多个安全性策略，并且基于一个或多个安 全性策略和隐私开关状态来控制对来自面向用户的相机的图像或者与图像相关联的其他信息(例如，元数据)的访问。此外，在这个示例中，或者 在替换示例中，LCH可如下控制访问：在隐私开关状态处于第一状态的情 况下，来自面向用户的相机的图像和/或与图像相关联的信息(例如，元数 据)被LCH阻止传递到主机SoC，而在隐私开关状态处于第二状态的情 况下，来自面向用户的相机的图像和/或与图像相关联的信息(例如，元数据)被从控制器中枢传递到主机SoC。
在1906，基于在1902处访问的隐私开关状态，经由用户设备的隐私 指示器提供指示。隐私指示器可例如直接连接到控制器中枢，以使得控制 器中枢可直接控制用户设备的隐私指示器(例如，不使用主机SoC作为中 介)，防止恶意行为者经由隐私指示器欺骗指示。隐私指示器可实现为或 者包括发光二极管(LED)，它可由控制器中枢开启/关闭，以指示出用户 设备的当前隐私开关状态。在一些实施例中，隐私指示器可实现为或者包 括多色LED，以通过不同的颜色来指示出不同的隐私开关状态。在一些实 施例中，隐私指示器可包括除这样的(一个或多个)LED之外或者代替这 样的(一个或多个)LED的其他视觉指示器。从而，用户设备上启用的当 前隐私开关状态和/或隐私模式可被控制器中枢装置直接指示给用户设备的 用户。
注意，执行1904和1906两者可以是可选的。因此，过程1900可只包 括块1902和1904，或者只包括块1902和1906，或者如图所示的1902、 1904和1906的所有三个。用户设备例如可包括通过铰链连接到盖子的底 座。用户设备可以是例如膝上型电脑或者具有类似外形参数的移动用户设 备。底座可包括主机SoC。控制器中枢和面向用户的相机可被包括在盖子 中，但这不是必须的。
在示例实现方式中，关于过程1900描述的功能可由图18和图20-23中 的示例计算设备1800、2000、2100、2200和2300之一中的盖子控制器中 枢装置实现，但也可在图1A、图1B、图2-9以及图10A-10E、图11A-11C、 图12A-12C、图13A-13B、图14A-14D、图15A-15D、图16和图17的示 例计算设备中实现。在一些实施例中，执行过程1900的操作的控制器中枢 装置可由盖子控制器中枢(LCH)，例如LCH 1860，或者由其一个或多个 组件，例如视觉/成像模块1863和/或音频模块1864实现。
图20-图23图示了移动计算设备中的组件的示例物理布置。图20-图 23所示的每个示例包括通过铰链(例如，2080、2082)连接到盖子(例如， 2020)的底座(例如，1910)。图20-图23的每个示例实施例中的底座可 以以类似于图1A的底座110、图2的底座210或者图3的底座315的方式 实现(例如，包括其一个或多个组件)。类似地，图20-图23的每个示例 实施例中的盖子可以以类似于图1A的盖子120、图2的盖子220或者图3 的盖子301的方式实现(例如，包括其一个或多个组件)。在每个示例实 施例中，盖子包括边框(例如，2022)，该边框围绕显示区域(例如， 2024)的外围延伸，该显示区域是显示内容的区域。此外，每个示例实施 例包括隐私开关和隐私指示器。隐私开关(例如，2026)可耦合到盖子 (例如，2020)中的LCH，并且可具有与上文关于图18的隐私开关1822 所描述的相同或者相似的功能。隐私指示器(例如，2028)可实现为边框 (例如，2022)的表面下方的LED(例如，多色LED)，并且可耦合到盖 子(例如，2020)中的LCH，并且可具有与上文关于图18的隐私指示器 1824所描述的相同或者相似的功能。
图20图示了一示例实施例，其包括在边框2022上并且在面向用户的 相机2032的相对两侧上的触摸传感隐私开关2026和隐私指示器2028。触 摸传感隐私开关2026可由背光电容式触摸传感器实现，并且可基于开关 的状态而照亮(或者不照亮)。作为示例，在一些实施例中，当LCH不 允许图像被处理/传递到主机SoC时，开关2026的LED(其与隐私指示器 2028的LED不同)可照亮(显示划掉的相机图像)，并且当LCH允许图 像被处理/传递到主机SoC时不照亮。
图21图示了一示例实施例，其包括在边框2122上并且在面向用户的 相机2132的相对两侧上的物理隐私开关2126和隐私指示器2128。在所示 的示例中，物理隐私开关2126被实现为滑块；然而，也可使用其他类型 的开关。如图所示，当开关被切换在“开启”位置时(例如，隐私模式开 启)，开关可提供视觉指示(在本示例中是划掉的相机图标)，而当开关被切换在“关闭”位置时(例如，隐私模式关闭)，可不显示指示。除了 所示的指示以外，还可使用其他类型的指示。
图22图示了一示例实施例，其包括在边框2222中的物理隐私开关 2226和隐私指示器2228。物理隐私开关2226的实现类似于上述的物理隐 私开关2126，只不过物理隐私开关2226也起到物理阻挡面向用户的相机 2232的视野的作用，来为设备的用户提供额外的保证。
图23图示了一示例实施例，其包括在底座2310上的物理隐私开关 2312、边框2322上的隐私指示器2328以及由隐私开关2312控制的物理隐 私快门2326。在所示的示例中，物理隐私开关2312的实现类似于上述的 物理隐私开关2126。在其他实施例中，物理隐私开关2312被实现为键盘 “热键”(例如，与按压某些键盘键绑定的开关)。
此外，在所示的示例中，物理隐私开关2312被硬连线到物理隐私快 门2326，该快门基于物理隐私开关2312的位置物理地阻挡面向用户的相 机2332的视野。例如，如图所示，当开关2312被切换在“关闭”位置时 (例如，隐私模式关闭)，隐私快门2326不覆盖相机。类似地，当开关 被切换在“开启”位置时(例如，隐私模式开启)，快门可被定位为覆盖 相机。这可防止最终用户不得不手动闭合快门，并且向用户提供了额外的 保证，即相机被物理地阻挡(除了在电气上被阻止将图像传递给主机SoC 以外)。
在一些情况下，物理隐私快门2326可基于隐私开关2312的位置被自 动打开(例如，通过设备的软件或者通过开关2312和快门2326之间的电 耦合)。例如，当受信任的应用(例如，如上文关于“受信任流传输模式” 所描述)被加载在设备上时，受信任的应用可启用相机并且打开快门。快 门被应用打开可导致隐私指示器2328以相应的方式被照亮，例如，指示 出相机开启并且图像正在被访问，但是在“受信任”模式下(例如，如上 文关于“受信任流传输模式”所描述的)。
尽管图23中所示的实施例包括由隐私开关2312控制的物理隐私快门 2326，但实施例可在底座中包括类似于隐私开关2312的物理隐私开关， 而不包括像物理隐私快门2326那样由隐私开关控制的物理隐私快门。此 外，具有其他类型的隐私开关的实施例(例如，图20-图21中所示的和上 文描述的隐私开关)也可包括像物理隐私快门2326那样由隐私开关控制 的物理隐私快门。
当前描述的增强隐私实施例的其他示例包括以下非限制性实现方式。 以下非限制性示例中的每一个都可独立存在，或者可与下文提供的或者贯 穿本公开内容的其他示例中的任何一个或多个按任何排列或组合方式进行 组合。
示例AA1涉及一种可用于用户设备中的装置。该装置包括：第一连接， 用来与所述用户设备的主机片上系统(SoC)接合；第二连接，用来与用 户设备的面向用户的相机接合；以及电路，被配置为：访问所述用户设备 的隐私开关状态；并且基于所述隐私开关状态来控制对与所述面向用户的 相机相关联的数据的访问。所述装置可例如是控制器中枢，例如盖子控制 器中枢(LCH)。
示例AA2包括如示例AA1所述的主题，还包括被配置为存储一个或 多个安全性策略的存储器，其中所述电路被配置为基于所述一个或多个安 全性策略和所述隐私开关状态来控制对与所述面向用户的相机相关联的数 据的访问。
示例AA3包括如示例AA1或AA2所述的主题，其中所述电路被配置 为允许关于来自所述面向用户的相机的数据的信息被传递到所述主机SoC 并且不允许来自所述面向用户的相机的数据被传递到所述主机SoC。
示例AA4包括如示例AA1或AA2所述的主题，其中所述电路被配置 为允许来自所述面向用户的相机的数据被传递到所述主机SoC。
示例AA5包括如示例AA1或AA2所述的主题，其中所述电路还被配 置为：对来自所述面向用户的相机的数据进行加密保护；并且允许被加密 保护的数据被传递到所述图像处理模块。
示例AA6包括如示例AA5所述的主题，其中所述电路被配置为通过 以下方式中的一个或多个对来自所述面向用户的相机的数据进行加密保护： 对所述数据进行加密，和对所述数据进行数字签名。
示例AA7包括如示例AA1-AA6的任何一个所述的主题，还包括第三 连接，用来与所述用户设备的隐私指示器接合，其中所述电路还被配置为 使得所述隐私指示器基于所述隐私开关状态来提供指示。
示例AA8包括如示例AA7所述的主题，其中所述电路被配置为：当 所述隐私开关状态处于第一状态中时：阻止来自所述面向用户的相机的数 据被传递到所述主机SoC；并且使得所述隐私指示器提供第一指示；并且 当所述隐私开关状态处于第二状态中时：允许来自所述面向用户的相机的 数据或者关于来自所述面向用户的相机的数据的信息被传递到所述主机 SoC；并且使得所述隐私指示器提供第二指示。
示例AA9包括如以上任何先前示例AA所述的主题，还包括第三连接， 用来与位置模块接合，其中所述电路还被配置为基于从所述位置模块获得 的位置信息来控制所述隐私开关状态。
示例AA10包括如示例AA9所述的主题，其中所述位置信息是基于全 球导航卫星系统(GNSS)坐标和无线网络信息中的一个或多个的。
示例AA11包括如以上任何先前示例AA所述的主题，还包括第三连 接，用来与可管理性引擎接合，其中所述电路还被配置为基于从所述可管 理性引擎获得的信息来控制所述隐私开关状态。
示例AA12包括如以上任何先前示例AA所述的主题，还包括第三连 接，用来与所述用户设备的麦克风接合，其中所述电路耦合到所述麦克风 并且还被配置为基于所述隐私开关状态来控制对来自所述麦克风的数据的 访问。
示例AA13包括如以上任何先前示例AA所述的主题，还包括第三连 接来与物理开关接合以基于所述物理开关的位置来控制所述隐私开关状态。
示例AA14包括如以上任何先前示例AA所述的主题，其中所述装置 在移动计算设备的印刷电路板(PCB)上并且所述主机SoC不在所述PCB 上。
示例AA15包括如示例AA14所述的主题，其中所述PCB在所述移动 计算设备的盖子中并且所述主机SoC在所述移动计算设备的底座中。
示例AB1涉及一种系统，包括主机片上系统(SoC)；面向用户的相 机；隐私指示器；隐私开关；以及与所述面向用户的相机、所述隐私开关 和所述隐私指示器耦合的盖子控制器中枢(LCH)电路，其中所述LCH 电路被配置为实现如以上任何先前示例AA所述的电路。
示例AC1涉及一种系统，包括：主机片上系统(SoC)；面向用户的 相机；隐私开关；以及与所述面向用户的相机和所述隐私开关耦合的电路， 其中所述电路被配置为基于所述隐私开关的状态控制对来自所述面向用户 的相机的数据的访问。
示例AC2包括如示例AC1所述的主题，还包括被配置为存储一个或 多个安全性策略的存储器，其中所述电路被配置为基于所述一个或多个安 全性策略来允许与所述面向用户的相机相关联的数据被传递到所述主机 SoC。
示例AC3包括如示例AC1或AC2所述的主题，其中所述电路被配置 为允许关于来自所述面向用户的相机的数据的信息被传递到所述主机SoC 并且不允许来自所述面向用户的相机的数据被传递到所述主机SoC。
示例AC4包括如示例AC3所述的主题，其中所述主机SoC包括集成 传感器中枢，并且所述电路基于所述隐私开关状态来允许与来自所述面向 用户的相机的数据相关联的元数据被传递到所述集成传感器中枢。
示例AC5包括如示例AC1或AC2所述的主题，其中所述电路允许来 自所述面向用户的相机的数据被传递到所述主机SoC。
示例AC6包括如示例AC5所述的主题，其中所述主机SoC包括图像 处理模块，并且所述电路允许来自所述面向用户的相机的数据被传递到所 述图像处理模块。
示例AC7包括如示例AC1或AC2所述的主题，其中所述主机SoC包 括图像处理模块，并且所述电路被配置为：对来自所述面向用户的相机的 数据进行加密保护；并且允许被加密保护的数据被传递到所述图像处理模 块。
示例AC8包括如示例AC7所述的主题，其中所述电路被配置为通过 以下方式中的一个或多个对来自所述面向用户的相机的数据进行加密保护： 对所述数据进行加密，和对所述数据进行数字签名。
示例AC9包括如以上任何先前示例AC所述的主题，还包括与所述电 路耦合的隐私指示器，其中所述电路被配置为：当所述隐私开关状态处于 第一状态中时：阻止来自所述面向用户的相机的数据被传递到所述主机 SoC；并且使得所述隐私指示器提供第一指示；并且当所述隐私开关状态 处于第二状态中时：允许来自所述面向用户的相机的数据或者关于来自所 述面向用户的相机的数据的信息被传递到所述主机SoC；并且使得所述隐 私指示器提供第二指示。
示例AC10包括如示例AC9所述的主题，其中所述隐私指示器包括发 光二极管(LED)并且所述电路在所述隐私开关处于所述第一状态中时使 得所述LED不被照亮。
示例AC11包括如示例AC9所述的主题，其中所述隐私指示器包括多 色发光二极管(LED)，并且所述电路使得所述多色LED在所述隐私开关 处于所述第二状态中时基于允许来自所述面向用户的相机的数据被传递到 所述主机SoC而发出第一颜色，并且在所述隐私开关处于所述第二状态中 时基于允许关于来自所述面向用户的相机的数据的信息被传递到所述主机 SoC而发出第二颜色。
示例AC12包括如以上任何先前示例AC所述的主题，其中所述隐私 开关包括物理开关和电容式触摸传感开关中的一个或多个。
示例AC13包括如示例AC12所述的主题，其中所述隐私开关基于所 述隐私开关的状态来遮蔽所述面向用户的相机。
示例AC14包括如示例AC12所述的主题，还包括与所述面向用户的 相机耦合的快门，其中所述电路基于所述隐私开关的状态来使得所述快门 遮蔽所述面向用户的相机。
示例AC15包括如以上任何先前示例AC所述的主题，还包括与所述 电路耦合的位置模块，其中所述电路还被配置为基于从所述位置模块获得 的位置信息来控制所述隐私开关的状态。
示例AC16包括如示例AC15所述的主题，其中所述位置模块包括全 球导航卫星系统(GNSS)模块来从一个或多个卫星获得位置信息。
示例AC17包括如示例AC15所述的主题，其中所述位置模块基于与 所述设备邻近的无线网络的无线网络信息来确定所述位置信息。
示例AC18包括如以上任何先前示例AC所述的主题，还包括与所述 电路耦合的可管理性引擎，其中所述电路还被配置为基于从所述可管理性 引擎获得的信息来控制所述隐私开关的状态。
示例AC19包括如以上任何先前示例AC所述的主题，还包括麦克风， 其中所述电路还耦合到所述麦克风并且还被配置为基于所述隐私开关状态 来控制所述主机SoC对来自所述麦克风的数据的访问。
示例AC20包括如以上任何先前示例AC所述的主题，其中所述系统 包括底座和经由铰链耦合到所述底座的盖子，所述底座包括所述主机SoC， 并且所述盖子包括所述面向用户的相机，所述隐私指示器，以及包括所述 电路的盖子控制器中枢。
示例AC21包括如示例AC20所述的主题，其中所述盖子还包括所述 隐私开关。
示例AC22包括如示例AC20所述的主题，其中所述底座还包括所述 隐私开关。
示例AD1涉及一种系统，包括：主机片上系统(SoC)；面向用户的 相机；用于存储隐私开关状态的装置；以及用于基于所述隐私开关状态来 控制所述主机SoC对来自所述面向用户的相机的数据的访问的装置。
示例AD2包括如示例AD1所述的主题，还包括用于存储一个或多个 安全性策略的装置，其中所述用于控制对来自所述面向用户的相机的数据 的访问的装置基于所述一个或多个安全性策略和所述隐私开关状态来控制 访问。
示例AD3包括如示例AD1或AD2所述的主题，其中所述用于控制访 问的装置包括用于允许来自所述面向用户的相机的数据被传递到所述主机 SoC的装置。
示例AD4包括如示例AD1或AD2所述的主题，其中所述用于控制访 问的装置包括用于允许关于来自所述面向用户的相机的数据的信息被传递 到所述主机SoC的装置。
示例AD5包括如示例AD1或AD2所述的主题，还包括用于进行以下 操作的装置：对来自所述面向用户的相机的数据进行加密保护；并且允许 被加密保护的数据被传递到所述图像处理模块。
示例AD6包括如示例AD5所述的主题，其中所述用于对来自所述面 向用户的相机的数据进行加密保护的装置包括用于对所述数据加密的装置。
示例AD7包括如示例AD5或AD6所述的主题，其中所述用于对来自 所述面向用户的相机的数据进行加密保护的装置包括用于对所述数据进行 数字签名的装置。
示例AD8包括如以上任何先前示例AD所述的主题，还包括用于获得 位置信息的装置和用于基于所述位置信息来控制所述隐私开关状态的装置。
示例AD9包括如以上任何先前示例AD所述的主题，还包括麦克风和 用于基于所述隐私开关状态来控制对来自所述麦克风的数据的访问的装置。
示例AD10包括如以上任何先前示例AD所述的主题，还包括隐私指 示器和用于使得所述隐私指示器基于所述隐私开关状态来提供指示的装置。
示例AE1涉及一种或多种计算机可读介质，包括指令，所述指令当被 用户设备的装置执行时，使得所述装置：访问用户设备的隐私开关状态； 并且基于所述隐私开关状态来控制所述用户设备的主机片上系统(SoC) 对与所述用户设备的面向用户的相机相关联的数据的访问。
示例AE2包括如示例AE1所述的主题，其中所述指令还被配置为使 得所述装置：访问存储在所述用户设备上的一个或多个安全性策略；并且 基于所述一个或多个安全性策略和所述隐私开关状态来控制对来自所述面 向用户的相机的数据的访问。
示例AE3包括如示例AE1或AE2所述的主题，其中所述指令还被配 置为使得所述装置允许来自所述面向用户的相机的数据被传递到所述主机 SoC。
示例AE4包括如示例AE1或AE2所述的主题，其中所述指令还被配 置为使得所述装置允许关于来自所述面向用户的相机的数据的信息被传递 到所述主机SoC并且不允许来自所述面向用户的相机的数据被传递到所述 主机SoC。
示例AE5包括如示例AE1或AE2所述的主题，其中所述指令还被配 置为：对来自所述面向用户的相机的数据进行加密保护；并且允许被加密 保护的数据被传递到所述图像处理模块。
示例AE6包括如示例AE5所述的主题，其中所述指令通过以下方式 中的一个或多个对来自所述面向用户的相机的数据进行加密保护：对所述 数据进行加密，和对所述数据进行数字签名。
示例AE7包括如以上任何先前示例AE所述的主题，其中所述指令还 被配置为使得所述装置使得所述用户设备的隐私指示器基于所述隐私开关 状态来提供指示。
示例AE8包括如示例AE7所述的主题，其中所述指令还被配置为使 得所述装置：当所述隐私开关状态处于第一状态中时：阻止来自所述面向 用户的相机的数据被传递到所述主机SoC；并且使得所述隐私指示器提供 第一指示；并且当所述隐私开关状态处于第二状态中时：允许来自所述面 向用户的相机的数据或者关于来自所述面向用户的相机的数据的信息被传 递到所述主机SoC；并且使得所述隐私指示器提供第二指示。
示例AE9包括如以上任何先前示例AE所述的主题，其中所述指令还 被配置为使得所述装置基于从所述用户设备的位置模块获得的位置信息来 控制所述隐私开关状态。
示例AE10包括如示例AE9所述的主题，其中所述位置信息是基于全 球导航卫星系统(GNSS)坐标和无线网络信息中的一个或多个的。
示例AE11包括如以上任何先前示例AE所述的主题，其中所述指令 还被配置为使得所述装置基于从所述用户设备的可管理性引擎获得的信息 来控制所述隐私开关状态。
示例AE12包括如以上任何先前示例AE所述的主题，其中所述指令 还被配置为使得所述装置基于所述隐私开关状态来控制对来自所述用户设 备的麦克风的数据的访问。
示例AF1涉及一种要由用户设备的控制器中枢装置执行的方法。该方 法包括：获得所述用户设备的隐私开关状态；并且基于所述隐私开关状态 来控制所述用户设备的主机片上系统(SoC)对与所述用户设备的面向用 户的相机相关联的数据的访问。
示例AF2包括如示例AF1所述的主题，还包括：访问存储在所述用 户设备上的一个或多个安全性策略；并且基于所述一个或多个安全性策略 和所述隐私开关状态来控制对与所述面向用户的相机相关联的数据的访问。
示例AF3包括如示例AF1或AF2所述的主题，其中控制所述主机 SoC的访问包括允许来自所述面向用户的相机的数据被传递到所述主机 SoC。
示例AF4包括如示例AF1或AF2所述的主题，其中控制所述主机SoC的访问包括允许关于来自所述面向用户的相机的数据的信息被传递到 所述主机SoC。
示例AF5包括如示例AF1或AF2所述的主题，还包括：对来自所述 面向用户的相机的数据进行加密保护；并且允许被加密保护的数据被传递 到所述图像处理模块。
示例AF6包括如示例AF5所述的主题，其中对来自所述面向用户的 相机的数据进行加密保护包括以下之中的一个或多个：对所述数据进行加 密，和对所述数据进行数字签名。
示例AF7包括如以上任何先前示例AF所述的主题，还包括经由所述 用户设备的隐私指示器来指示所述隐私开关状态。
示例AF8包括如以上任何先前示例AF所述的主题，还包括：从所述 用户设备的位置模块获得位置信息；并且基于所述位置信息来控制所述隐 私开关状态。
示例AF9包括如示例AF8所述的主题，其中所述位置信息是基于全 球导航卫星系统(GNSS)坐标和无线网络信息中的一个或多个的。
示例AF10包括如以上任何先前示例AF所述的主题，还包括：从所 述用户设备的可管理性引擎获得信息；并且基于所述信息来控制所述隐私 开关状态。
示例AF11包括如以上任何先前示例AF所述的主题，还包括基于所 述隐私开关状态来控制对来自所述用户设备的麦克风的数据的访问。
示例AF12包括如以上任何先前示例AF所述的主题，其中获得所述 隐私开关状态包括确定所述用户设备的物理开关的位置。
示例AF13包括如以上任何先前示例AF所述的主题，其中所述控制 器中枢装置在所述用户设备的盖子中，并且所述主机SoC在所述用户设备 的底座中。
示例AG1包括一种装置，被配置为实现如以上任何一个示例AF中所 述的方法。
示例AH1包括一种或多种计算机可读介质，包括指令，所述指令当被 机器执行时，使得所述机器实现以上示例AF所述的方法中的一个或多个。
示例AI1包括一种系统，包括用于实现以上示例AF所述的方法中的 一个或多个的装置。
隐私和毒性控制
在一些情况下，用户可能会在设备上存储文档，或者可能在设备上查 看可能是机密的、受保护的、敏感的或者对其他观看者(例如，儿童)不 合适的内容，从而，可能不希望这些内容对于设备的其他用户(例如，可 能没有该特定内容的权利的合作者，或者设备的未经授权的用户)或者附 近的旁观者可见。此外，在一些情况下，不适当的(或者有毒的)，或者 成熟的内容可能会在不知不觉中或者在没有提示的情况下出现在屏幕上， 例如，在浏览互联网文章、学校研究、媒体的自动播放算法等等之时。不 幸的是，客户端设备通常只有有限的选项来保护用户免受这些场景的影响， 特别是对于可能在使用或者查看系统的独特用户而言。这些问题的复杂度 随着系统正在向无主工作模式转移(例如，对于学校或者企业)并且不总 是由一个或几个用户拥有而增大了。
当前的解决方案包括隐私屏幕、内容保护软件或者网页拒绝软件；然 而，这些解决方案都相当有限。例如，隐私屏幕是静态的，并且限制了合 作体验(例如，父母帮助儿童进行研究项目)。经过认证的用户内容保护 软件限制了某些文档的共享，但并不限制没有查看特定文档的证书的旁观 者或者合作者对该给定文档的查看。此外，虽然网页拒绝软件(例如，家 长控制产品和/或设置)在程序认为不合适的情况下限制了网页的查看，但 该网页要么可查看，要么不可查看(二元切换)，限制了可能想要就研究 示例访问给定网页，但不是访问其全部的情况(例如，你可能希望仍然显 示网站的一些部分)。此外，这些控件要求用户在某一时间中或者对于某 一账户开启和关闭它们。
然而，本公开的实施例可提供一种动态隐私监视系统，其允许基于动 态面部检测、识别和/或分类来修改在显示器上示出的内容。例如，盖子控 制器中枢(LCH，例如图1A的设备100、图1B的设备122、图2的设备 200、图3的设备300、图18的设备1800或者上文描述的其他计算设备 (例如但不限于图9和图17)的LCH 155/260/305/1860/等等)可提供用户检测能力，并且可能够修改正由显示输出提供的图像流的各方面(例如， GPU或者其他图像处理装置，例如图2和图3的显示模块241/341)，基 于视野中的人改变屏幕上的内容。本文的实施例可相应地提供一种动态隐 私解决方案，由此，用户不必记住切换或者修改鉴于视野中的人和/或场景 的隐私设置。此外，本文的实施例可提供基于配置文件的系统(已知用户 “用户A”和“用户B”，例如，父母和儿童)，并且可利用机器学习技 术来在考虑到设备上的一个或多个设置的情况下确定一个或者两个用户是 否能够查看显示的内容。
根据实施例，提供了用于用户设备中的另一装置。该装置可对应于用 户设备的控制器中枢，例如，盖子控制器中枢(LCH)，或者对应于LCH 的组件装置，如下文更详细描述。该装置包括：第一连接，用来与用户设 备的面向用户的相机接合，并且包括第二连接，用来与用户设备的视频显 示电路接合。该装置还具有电路，该电路被配置为基于从面向用户的相机 获得的图像来检测和分类邻近用户设备的人；确定正被所述视频显示电路 处理以显示在用户设备上的视觉数据包括不适合被检测到的人查看的内容； 并且基于该确定，使得视频显示电路在视觉数据的包含不适当内容的部分 被显示在用户设备上时对其进行视觉上的遮蔽。替换地，整个视觉数据可 基于该确定在视觉上被遮蔽。对包含不适当内容的视觉数据的至少一部分 的遮蔽可通过以下一项或多项来实现：模糊、阻挡和用其他内容取代该内 容中。
可选地，该装置可进一步包括第三连接，来与用户设备的麦克风接合， 其中该电路进一步被配置为基于从麦克风获得的音频来检测和分类邻近用 户设备的人。对人的分类可以是例如将该人分类为未授权使用用户设备、 未授权查看机密信息、未知用户和儿童中的一个或多个。对视频显示的该 部分的遮蔽可基于该分类。
数据的遮蔽不限于视觉数据，而是也可能(替换地或额外地)在其被 在用户设备上播放时对包含不适当内容的音频数据的一部分进行听觉上的 遮蔽，如果确定要在用户设备上播放的该音频数据包括不适合被检测到的 人听到的内容的话。该装置可以可选地还包含实现增强的隐私的特征，如 上文联系图18-图23论述的那样。
具体地，在某些实施例中，LCH的视觉/成像子系统(例如，图1A的 LCH 155的视觉-成像模块172，图2的视觉/成像模块263，图3的视觉-成 像模块363，或者图18的视觉-成像模块1863)连续捕捉面向用户的相机 (例如，图1A的(一个或多个)相机160、图2的面向用户的相机270、 图3的面向用户的相机346或者图18的面向用户的相机1870)的视野， 并且分析图像(例如，使用图2的NNA 276的神经网络)以检测、识别和 /或分类在相机前面或者以其他方式邻近用户设备的人的脸部，并且可提供 指示出检测、识别或者分类的输出的元数据或者其他信息。此外，在一些 实施例中，LCH的音频子系统(例如，图1的音频模块170，图2的音频 模块264，或者图3的音频模块364，图18的视觉-成像模块1863)连续 地从麦克风(例如，图1的(一个或多个)麦克风158、图2的(一个或 多个)麦克风290、图3的麦克风390、或者图18的(一个或多个)麦克 风1890)捕捉音频，并且分析音频(例如，使用图2的NNA 282的神经 网络或者图3的NNA 350的神经网络)以检测、识别和/或分类邻近用户 设备的用户。根据基于视频和/或音频的用户检测和分类，LCH可激活或 者实施一个或多个安全性策略，这些策略可以有选择地阻挡、模糊或者以 其他方式遮蔽被认为对于LCH检测到的一个或多个用户不合适的视频或 者音频内容。LCH可遮蔽视频数据，例如，通过访问连接的TCON的缓冲 器(例如，图8的TCON 355的帧缓冲器830)中保存的图像，并且在图 像被传递到面板(例如，图8的嵌入式面板380)以进行显示之前修改图 像。
例如，LCH可包括深度学习引擎(例如，在图2的NNA 276或者图3 的NNA 327的神经网络中)，它可连续监视设备的显示模块所输出的内容 (例如，图2的显示模块241或者图3的显示模块341的输出)。深度学 习引擎可被训练来检测和分类显示模块输出的图像中的某些类别的信息， 例如，只有某些用户可查看的机密信息/图像，或者对儿童或者年轻用户不 合适的成熟信息/图像。此外，在一些实施例中，LCH的音频子系统(例 如，图2的音频模块264或者图3的音频模块364)还包括神经网络加速 器(NNA)，它可检测和分类由设备的音频模块(例如，图2的音频捕捉 模块243或者图3的音频捕捉模块343)输出的音频信息，并且可在听觉 上遮蔽(例如，静音和/或过滤)对某些用户不合适的某些音频(例如，机 密或者成熟的音频(例如，“坏”词语或者“脏话”词语))。
LCH(例如，经由图2的安全性/主机模块261和/或其他相应的模块 或者电路(例如174、361、1861)，如先前论述的其他示例计算设备中所 示)可使用由视频-成像模块和/或音频模块的NNA提供的信息来确定是否 过滤被输出到设备的显示面板或者扬声器的内容。在一些情况下，LCH可 在该确定中使用额外的信息，例如，文档元数据、网站信息(例如，URL)，等等。对于是否过滤内容的确定可基于对由面向用户的相机检测 到的用户的识别或者分类。利用用户识别或者分类以及先前描述的其他信 息，LCH可基于指示出关于可显示的内容类型的规则的一个或多个安全性 策略来应用过滤。例如，安全性策略可指示出，儿童不能查看或者听到任 何成熟的内容，或者已知用户以外的任何人可查看正被显示的机密信息。 在其他实施例中，LCH可仅基于检测到不适当内容(例如，由用户设备的 安全性策略定义)而过滤被输出到设备的显示面板或者扬声器的内容。
图24根据某些实施例图示了动态隐私监视系统的一种示例使用场景。 在示出的示例中，儿童2420正在浏览计算机2410。计算机2410的实现可 类似于图1A的设备100和/或图2的设备200和/或图3的设备300和/或图 18的设备1800，或者本文先前论述的任何其他计算设备。例如，计算机 2410可包括LCH及其构成组件，如关于设备100、200、300、1800或者本文先前论述的任何其他计算设备所描述的那样。
在示出的示例中，计算机2410起初显示图像2411和文本2412。后来， 随着儿童滚动，LCH检测到正在由显示输出(例如，计算机2410的GPU) 输出的图像流中的有毒/不适当的图像2413。因为LCH继续检测到儿童 2420在计算机2410前面，所以LCH在有毒/不适当的图像2413被呈现在 显示器上之前，将其模糊(或者以其他方式遮蔽)。也就是说，LCH对由显示输出提供的图像流中的图像进行分类，并且在(一个或多个)图像被 呈现给用户之前对其进行修改。在示出的示例中，儿童2420可能仍然能 够阅读文本2412，但可能无法查看有毒/不适当的图像2413。然而，在其 他实施例中，整个屏幕可能被模糊或者以其他方式被遮蔽而无法查看(例 如，如图26B中所示)。此外，虽然该示例示出了图像2413被模糊，但 图像2413可被阻挡(例如，涂黑或者涂白)，不示出，用另一个图像替 换，或者以其他方式向用户隐藏。
图25根据某些实施例图示了动态隐私监视系统的另一示例使用场景 2500。在示出的示例中，用户2520正在浏览设备2510。设备2510的实现 可类似于图1A的设备100和/或图2的设备200和/或图3的设备300和/或 图18的设备1800，或者本文先前论述的任何其他计算设备。例如，设备 2510可包括LCH及其构成组件，例如关于设备100、200、300、1800或者本文先前论述的任何其他计算设备所描述的那样。
在示出的示例中，设备2510正在显示图像2511和文本2512。后来， 另一个用户2530进入到设备2510的面向用户的相机的视野中，被设备 2510的麦克风听到，或者两者都有，并且相应地被LCH检测到。LCH将 用户2530分类为未经授权的(例如，基于由面向用户的相机和/或麦克风 收集的信息与已知的用户配置文件的比较)，并且相应地，进行到模糊图像2511和文本2512，以使得它们根本不能被查看。例如，用户2530可能 是儿童或者未被授权查看计算机上的信息(例如，已知的机密信息)的一 些其他用户。在其他实施例中，只有显示输出的一部分(例如，已知是不 适当的、机密的图像或者文本)可被模糊，而不是整个显示输出(例如， 如图26A所示)。此外，虽然该示例示出了图像2511和文本2512被模糊， 但图像2511和/或文本2512可被阻挡(例如，涂黑或者编辑)，不被示出， 用一个/另一个图像替换，或者以其他方式向用户隐藏。
然而，在一些情况下，第二用户2530可以是已知的或者授权的用户， 并且可相应地被允许查看图像2511和/或文本2512。例如，第二用户2530 可以是具有类似权限或者授权的用户2520的同事。在这种情况下，LCH 可将第二用户2530分类为授权的(例如，基于由面向用户的相机和/或麦 克风收集的信息与已知用户配置文件的比较)，并且继续显示图像2511 和文本2512。
图26A-26B根据某些实施例图示了可由动态隐私监视系统实现的示例 屏幕模糊。在图26A所示的示例中，只有显示输出的一部分(有毒/机密 图像2603)被模糊或者以其他方式遮蔽，使用户无法经由LCH查看。被 LCH模糊或者遮蔽的部分可基于该部分被检测或分类为有毒、机密等等， 如上所述。显示输出的其余部分可被维持，从而可以是设备的(一个或多 个)用户可查看的。与之不同，在图26B所示的示例中，整个显示输出 (文本2602和有毒/机密图像2603)被模糊或者以其他方式遮蔽，使用户 无法经由LCH查看。LCH的模糊可基于显示输出的仅一部分被检测或分 类为有毒、机密等等，如上所述。
图27是根据某些实施例为设备过滤视觉和/或音频输出的示例过程 2700的流程图。该示例过程可以用软件、固件、硬件或者其组合来实现。 例如，在一些实施例中，图27所示的示例过程中的操作可由控制器中枢 装置执行，该装置实现了盖子控制器中枢(LCH)的一个或多个组件的功 能(例如，图2的安全性/主机模块261、视觉/成像模块263和音频模块264或者图1A的计算设备100和/或图3的设备300和/或图18的设备 1800或者本文先前论述的任何其他计算设备中的相应模块中的一个或多 个)。在一些实施例中，计算机可读介质(例如，在图2的存储器274、 存储器277和/或存储器283或者图1A的计算设备100和/或图3的设备 300和/或图18的设备1800或者本文先前论述的任何其他计算设备中的相 应模块中)可被编码有实现以下示例过程中的一个或多个操作的指令。该 示例过程可包括额外的或不同的操作，并且这些操作可按示出的顺序或者 另外的顺序来执行。在一些情况下，图27中所示的操作中的一个或多个 被实现为包括多个操作、子过程或其他类型的例程的过程。在一些情况下， 操作可被组合，被按另一顺序执行，被并行执行，被迭代，或者被以其他方式重复，或者被以另一种方式执行。
在2702，LCH从用户设备的面向用户的相机获得一个或多个图像和/ 或从用户设备的麦克风获得音频。例如，参考图2所示的示例，LCH 260 可从面向用户的相机270获得图像，并且从(一个或多个)麦克风290获 得音频。
在2704，LCH基于在2702处获得的图像和/或音频，对邻近用户设备 的人进行检测和分类。检测和分类可由LCH的一个或多个神经网络加速 器(例如，图2的NNA 276、282)执行。作为一些示例，LCH可将该人 分类为：授权或者未授权使用用户设备，授权或者未授权查看机密信息， 已知/未知用户，或者分类为年长/年轻(例如，成人、儿童或者青少年)。 在一些情况下，LCH可检测到一个以上的人邻近用户设备(例如，如上文 关于图2的描述)，并且每个被检测到的人可被单独分类。
在2706，确定由用户设备的显示模块提供的视觉数据和/或由用户设 备的音频模块提供的音频数据中的内容不适合由检测到的人查看/聆听。该 确定可基于由一个或多个神经网络加速器(例如，图2的NNA 276、282) 对内容执行的(一个或多个)分类。例如，NNA可将文本或图像分类为成 熟的或者机密的，并且LCH可相应地基于检测到用户设备附近的儿童或 者未经授权的用户来确定遮蔽该文本或图像。
在2708，视觉数据、音频数据或者两者都被修改，以遮蔽被确定为对 于检测到的用户不适当的内容。这可包括只遮蔽被确定为不适当的内容的 部分，或者遮蔽被显示在面板上或者经由扬声器播放的整个内容。被遮蔽 的内容可经由模糊、阻挡或者用其他内容替换该内容中的一种或多种方式 来遮蔽。例如，LCH可访问视频显示电路的TCON中的保存着要显示的图 像的缓冲器，并且可在图像被传递到设备的面板以进行显示之前修改这些 图像。
当前描述的方法、系统和设备隐私和毒性实施例的其他示例包括以下 非限制性实现方式。以下非限制性示例中的每一个都可独立存在，或者可 与下文提供的或者贯穿本公开内容的其他示例中的任何一个或多个按任何 排列或组合方式进行组合。
示例BA1涉及一种装置，包括：第一连接，用来与用户设备的面向用 户的相机接合；第二连接，用来与所述用户设备的视频显示电路接合；以 及电路，用来：基于从所述面向用户的相机获得的图像来对邻近所述用户 设备的人进行检测和分类；确定正被所述视频显示电路处理以显示在所述 用户设备上的视觉数据包括不适合被检测到的人查看的内容；并且基于所 述确定，在被显示在所述用户设备上时使得至少所述视觉数据的包含不适当内容的部分被从视觉上遮蔽。所述装置可例如是控制器中枢，例如盖子 控制器中枢(LCH)。
示例BA2包括如示例BA1所述的主题，其中所述电路从视觉上遮蔽 整个视觉数据。
示例BA3包括如示例BA1或BA2所述的主题，还包括第三连接，用 来与所述用户设备的麦克风接合，其中所述电路还被配置为基于从所述麦 克风获得的音频来对邻近所述用户设备的人进行检测和分类。
示例BA4包括如示例BA1-BA3的任何一个所述的主题，其中所述电 路被配置为将人分类为以下所列项中的一个或多个：未被授权使用所述用 户设备、未被授权查看机密信息、未知用户、以及儿童。
示例BA5包括如示例BA4所述的主题，其中检测到的人是第一人， 并且所述电路被配置为还将邻近所述用户设备的第二人检测和分类为以下 所列项中的一个或多个：被授权使用所述用户设备、被授权查看机密信息、 已知用户、以及成人。
示例BA6包括如示例BA1-BA5的任何一个所述的主题，其中所述电 路被配置为基于神经网络加速器对内容的分类来确定所述视觉数据包括不 适合被检测到的人查看的内容。
示例BA7包括如示例BA1-BA6的任何一个所述的主题，其中所述电 路被配置为利用一个或多个神经网络加速器来对人进行检测和分类。
示例BA8包括如示例BA1-BA7的任何一个所述的主题，其中所述电 路被配置为使得所述视频显示电路通过以下所列项中的一个或多个来从视 觉上遮蔽所述视觉数据的包含不适当内容的部分：模糊、阻挡、以及用其 他内容替换所述内容。
示例BA9包括如示例BA1-BA8的任何一个所述的主题，其中所述视 频显示电路包括所述用户设备的定时控制器(TCON)和显示面板中的一 个或多个。
示例BA10包括如示例BA1-BA9的任何一个所述的主题，还包括第 三连接，用来与所述用户设备的音频模块接合，其中所述电路还被配置为： 确定要在所述用户设备上播放的音频数据包括不适合被检测到的人听到的 内容；并且基于所述确定，当在所述用户设备上播放时使得至少所述音频 数据的包含不适当内容的部分被从听觉上遮蔽。
示例BA11包括如示例BA10所述的主题，其中所述电路被配置为基 于神经网络加速器对内容的分类来确定所述音频数据包括不适合被检测到 的人听到的内容。
示例BA12包括如以上任何一个示例BA所述的主题，其中所述电路 通过以下方式使用所述视频显示电路来在被显示在所述用户设备上时至少 将所述视觉数据的包含不适当内容的部分从视觉上遮蔽：在所述视频显示 电路的缓冲器中访问所述视觉数据；并且修改所述视觉数据。
示例BA13包括如以上任何一个示例BA所述的主题，并且还包括以 上任何一个示例AA或者AG1的特征(只要这些特征不与以上示例BA的 特征冗余)。
示例BB1涉及一种或多种计算机可读介质，包括指令，所述指令当被 机器执行时，用来：从用户设备的面向用户的相机获得图像；基于所述图 像对邻近所述用户设备的人进行检测和分类；确定正被处理以显示在所述 用户设备上的视觉数据包括不适合被检测到的人查看的内容；并且基于所 述确定，在被显示在所述用户设备上时使得至少所述视觉数据的包含不适 当内容的部分被从视觉上遮蔽。
示例BB2包括如示例BB1所述的主题，其中所述指令在被显示在所 述用户设备上时从视觉上遮蔽整个视觉数据。
示例BB3包括如示例BB1-BB2的任何一个所述的主题，其中所述指 令还被配置为：从所述用户设备的麦克风获得音频；并且基于从所述麦克 风获得的音频来对邻近所述用户设备的人进行检测和分类。
示例BB4包括如示例BB1-BB3的任何一个所述的主题，其中所述指 令将人分类为以下所列项中的一个或多个：未被授权使用所述用户设备、 未被授权查看机密信息、未知用户、以及儿童。
示例BB5包括如示例BB4所述的主题，其中检测到的人是第一人， 并且所述指令还被配置为将邻近所述用户设备的第二人检测和分类为以下 所列项中的一个或多个：被授权使用所述用户设备、被授权查看机密信息、 已知用户、以及成人。
示例BB6包括如示例BB1-BB5的任何一个所述的主题，其中所述指 令基于神经网络加速器对内容的分类来确定所述视觉数据包括不适合被检 测到的人查看的内容。
示例BB7包括如示例BB1-BB6的任何一个所述的主题，其中所述指 令利用一个或多个神经网络加速器来对人进行检测和分类。
示例BB8包括如示例BB1-BB7的任何一个所述的主题，其中所述指 令通过以下所列项中的一个或多个来从视觉上遮蔽至少所述视觉数据的包 含不适当内容的部分：模糊、阻挡、以及用其他内容替换所述内容。
示例BB9包括如示例BB1-BB8的任何一个所述的主题，其中所述指 令还被配置为：确定要在所述用户设备上播放的音频数据包括不适合被检 测到的人听到的内容；并且基于所述确定，当在所述用户设备上播放时使 得所述音频模块至少将所述音频数据的包含不适当内容的部分从听觉上遮 蔽。
示例BB10包括如示例BB9所述的主题，其中所述指令基于神经网络 加速器对内容的分类来确定所述音频数据包括不适合被检测到的人听到的 内容。
示例BB11包括如以上任何一个示例BB所述的主题，其中所述指令 通过以下方式来在被显示在所述用户设备上时使得至少所述视觉数据的包 含不适当内容的部分被从视觉上遮蔽：在所述用户设备的视频显示电路的 缓冲器中访问所述视觉数据；并且修改所述视觉数据。
示例BB12包括如以上任何一个示例BB所述的主题，并且还包括以 上任何一个示例AE或者AH1的特征(只要这些特征不与以上示例BB的 特征冗余)。
示例BC1涉及一种系统，包括：底座，包括：一个或多个处理器核心； 以及显示模块，用来生成视觉数据；经由铰链与所述底座耦合的盖子，所 述盖子包括：面向用户的相机；显示面板；定时控制器(TCON)，该 TCON包括电路来在所述显示模块和所述显示面板之间接口；以及与所述TCON耦合的盖子控制器中枢(LCH)，其中所述LCH包括电路来：基于 从所述面向用户的相机获得的图像来对邻近所述用户设备的人进行检测和 分类；确定所述TCON的帧缓冲器中的视觉数据包括不适合被检测到的人 查看的内容；并且基于所述确定，修改所述TCON的帧缓冲器中的所述视 觉数据以从视觉上遮蔽至少所述视觉数据的包含不适当内容的所述部分。
示例BC2包括如示例BC1所述的主题，其中所述LCH电路还修改所 述视觉数据以在被显示在所述用户设备上时从视觉上遮蔽整个视觉数据。
示例BC3包括如示例BC1-BC2的任何一个所述的主题，其中所述盖 子还包括麦克风，并且所述LCH电路还被配置为基于从所述麦克风获得 的音频来对邻近所述用户设备的人进行检测和分类。
示例BC4包括如示例BC1-BC3的任何一个所述的主题，其中所述 LCH电路被配置为将人分类为以下所列项中的一个或多个：未被授权使用 所述用户设备、未被授权查看机密信息、未知用户、以及儿童。
示例BC5包括如示例BC4所述的主题，其中检测到的人是第一人， 并且所述LCH电路被配置为还将邻近所述用户设备的第二人检测和分类 为以下所列项中的一个或多个：被授权使用所述用户设备、被授权查看机 密信息、已知用户、以及成人。
示例BC6包括如示例BC1-BC5的任何一个所述的主题，其中所述 LCH电路被配置为基于神经网络加速器对内容的分类来确定所述视觉数据 包括不适合被检测到的人查看的内容。
示例BC7包括如示例BC1-BC6的任何一个所述的主题，其中所述 LCH电路被配置为利用一个或多个神经网络加速器来对人进行检测和分类。
示例BC8包括如示例BC1-BC7的任何一个所述的主题，其中所述 LCH电路通过以下所列项中的一个或多个来修改所述视觉数据以从视觉上 遮蔽至少所述视觉数据的包含不适当内容的部分：模糊、阻挡、以及用其 他内容替换所述内容。
示例BC9包括如示例BC1-BC8的任何一个所述的主题，其中所述底 座还包括音频模块来生成音频数据，并且所述LCH电路还被配置为：确 定要在所述用户设备上播放的音频数据包括不适合被检测到的人听到的内 容；并且基于所述确定，当在所述用户设备上播放时使得所述音频模块至 少将所述音频数据的包含不适当内容的部分从听觉上遮蔽。
示例BC10包括如示例BC9所述的主题，其中所述LCH电路被配置 为基于神经网络加速器对内容的分类来确定所述音频数据包括不适合被检 测到的人听到的内容。
示例BC11包括如示例BC1-BC10的任何一个所述的主题，其中所述 底座包括片上系统(SoC)并且所述一个或多个处理器核心和显示模块实 现在所述SoC内。
示例BC12包括如以上任何一个示例BC所述的主题，并且还包括以 上示例AB、以上示例AC、以上示例AD或者AI1的任何一个所述的特征 (只要这些特征不与以上示例BC的特征冗余)。
示例BD1涉及一种方法，包括：从用户设备的面向用户的相机获得图 像；基于所述图像对邻近所述用户设备的人进行检测和分类；确定正被处 理以显示在所述用户设备上的视觉数据包括不适合被检测到的人查看的内 容；并且基于所述确定，在被显示在所述用户设备上时将至少所述视觉数 据的包含不适当内容的部分从视觉上遮蔽。
示例BD2包括如示例BD1所述的主题，其中整个视觉数据在被显示 在所述用户设备上时被从视觉上遮蔽。
示例BD3包括如示例BD1-BD2的任何一个所述的主题，还包括从所 述用户设备的麦克风获得音频，其中对邻近所述用户设备的人进行检测和 分类还基于从所述麦克风获得的音频。
示例BD4包括如示例BD1-BD3的任何一个所述的主题，其中人被分 类为以下所列项中的一个或多个：未被授权使用所述用户设备、未被授权 查看机密信息、未知用户、以及儿童。
示例BD5包括如示例BD5所述的主题，其中检测到的人是第一人， 并且所述方法还包括将邻近所述用户设备的第二人检测和分类为以下所列 项中的一个或多个：被授权使用所述用户设备、被授权查看机密信息、已 知用户、以及成人。
示例BD6包括如示例BD1-BD5的任何一个所述的主题，还包括利用 神经网络加速器来对所述内容进行分类，其中确定所述视觉数据包括不适 合被检测到的人查看的内容是基于所述神经网络加速器进行的分类的。
示例BD7包括如示例BD1-BD6的任何一个所述的主题，其中对人进 行检测和分类是基于由一个或多个神经网络加速器进行的分类的。
示例BD8包括如示例BD1-BD7的任何一个所述的主题，其中从视觉 上遮蔽至少所述视觉数据的包含不适当内容的部分包括以下所列项中的一 个或多个：模糊、阻挡、以及用其他内容替换所述内容。
示例BD9包括如示例BD1-BD8的任何一个所述的主题，还包括：确 定要在所述用户设备上播放的音频数据包括不适合被检测到的人听到的内 容；并且基于所述确定，当在所述用户设备上播放时遮蔽至少所述音频数 据的包含不适当内容的部分。
示例BD10包括如示例BD9所述的主题，其中所述电路被配置为基于 神经网络加速器对内容的分类来确定所述音频数据包括不适合被检测到的 人听到的内容。
示例BD11包括如以上任何一个示例BD所述的主题，其中在被显示 在所述用户设备上时将至少所述视觉数据的包含不适当内容的部分从视觉 上遮蔽包括：在所述用户设备的帧缓冲器中访问所述视觉数据；并且修改 所述视觉数据。
示例BD12包括如以上任何一个示例BD所述的主题，并且还包括以 上任何一个示例AF的方法步骤(只要这些方法步骤不与以上示例BD的 方法步骤冗余)。
示例BE1涉及一种装置，被配置为实现如以上任何一个示例BD中所 述的方法。
示例BF1涉及一种或多种计算机可读介质，包括指令，所述指令当被 机器执行时，使得所述机器实现以上示例BD所述的方法中的一个或多个。
示例BG1涉及一种系统，包括用于实现以上示例BD所述的方法中的 一个或多个的装置。
示例BH1包括一种系统，包括：用于基于从所述用户设备的面向用户 的相机获得的图像来对邻近所述用户设备的人进行检测和分类的装置；用 于确定正被处理以显示在所述用户设备上的视觉数据包括不适合被检测到 的人查看的内容的装置；用于基于所述确定在被显示在所述用户设备上时 将至少所述视觉数据的包含不适当内容的部分从视觉上遮蔽的装置：以及 用于显示所述视觉数据的装置。
示例BH2包括如示例BH1所述的主题，还包括用于对邻近所述用户 设备的人进行检测和分类的装置还基于从所述用户设备的麦克风获得的音 频。
示例BH3包括如示例BH1-BH2的任何一个所述的主题，其中用于对 邻近所述用户设备的人进行检测和分类的装置包括一个或多个神经网络加 速器。
示例BH4包括如示例BH1-BH3的任何一个所述的主题，其中用于确 定所述视觉数据包括不适合被检测到的人查看的内容的装置包括神经网络 加速器。
示例BH5包括如示例BH1-BH4的任何一个所述的主题，还包括：用 于确定要在所述用户设备上播放的音频数据包括不适合被检测到的人听到 的内容的装置；以及用于基于所述确定当在所述用户设备上播放时将至少 所述音频数据的包含不适当内容的部分从听觉上遮蔽的装置。
示例BH6包括如示例BH5所述的主题，其中用于确定所述音频数据 包括不适合被检测到的人听到的内容的装置包括神经网络加速器。
示例BH7包括如以上任何一个示例BH所述的主题，其中用于基于所 述确定将至少所述视觉数据的包含不适当内容的部分从视觉上遮蔽的装置 包括用于在用于显示所述视觉数据的装置中访问和修改所述视觉数据的装 置。
示例BH8包括如以上任何一个示例BH所述的主题，并且还包括用于 实现以上示例AB、以上示例AC、以上示例AD或者AI1的任何一个所述 的特征的装置(只要这些步骤不与以上示例BH的方法步骤冗余)。
视频呼叫管线优化
近来，随着复杂而广泛可用的视频呼叫应用的出现，视频呼叫/会议使 用已经爆炸性增长。然而，当前，典型设备(例如，个人计算机、膝上型 电脑、平板设备、移动设备)上的视频呼叫可对系统功率和带宽消耗产生 负面影响。例如，用于显示视频流中的每个视频帧的光会对系统功率产生 不利影响，并且缩短电池充电后的运行时间。用户对高质量视频呼叫的需 求可导致更大的互联网带宽使用，以经由互联网将高质量的经编码的视频 帧从一个节点路由到另一个节点。此外，视频呼叫可有助于有机发光二极 管(OLED)显示面板的“烧损(burn-in)”，特别是当显示面板被用来 提供面向用户的光以增强正在捕捉其图像的用户的亮度时。
如本文所公开的，优化视频呼叫管线可解决这些问题(以及更多问 题)。某些视频呼叫特征可被优化，以降低系统功率和/或带宽消耗，并且 增强视频图像的亮度，而不增大OLED显示面板上的烧损风险。例如，用 于实现背景模糊、带有用户意图的图像的锐化以及使用面向用户的显示面 板作为照明的信号路径可被优化，以降低系统功率和/或带宽消耗。在一个 示例中，一个或多个机器学习算法可被应用于视频流的捕捉的视频帧，以 识别用户头部/脸部、用户身体、用户手势和捕捉的图像的背景部分。模糊 技术可用于将捕捉的视频帧与识别的背景部分以较低的分辨率进行编码。 类似地，视频帧的某些对象或区域可被识别并且在经编码的视频帧中被过 滤。在至少一个实施例中，可在捕捉的视频帧中识别“热点”，并且可以 修改与热点相关联的像素值，以在视频帧被显示时降低白度或者亮度。捕 捉的视频帧的背景的亮度也可被调低，以使得接收设备在接收和显示视频 帧时能够使用电力节省技术。从而，捕捉的视频帧可用修改后的像素进行 编码。
增强也可被应用于本文所公开的视频帧，以在视频呼叫中提供更好的 用户体验。将本文描述的优化与增强相结合可抵消(或者超过抵消)增强 所需的任何额外带宽。增强可包括对基于手势识别和/或眼睛跟踪或者注视 方向所识别的所选对象进行锐化。例如，有时用户可能需要在视频呼叫期 间展示一个物品。如果用户在对某个物品做手势(例如，拿着、指向)， 则该物品在视频帧中的位置可通过任何适当的技术(例如超级分辨率技术，)来确定和锐化。类似地，如果用户的眼睛或者注视方向指向视频帧 内的特定物品，那么该物品的位置可基于用户的眼睛或者注视方向来确定， 并且可被锐化。
在一个或多个实施例中，盖子控制器中枢，例如LCH 155、260、305、 954、1705、1860，可用于实现这些优化和增强。每个优化单独地可如上 所述在一设备中提供特定改善。此外，使用本文所公开的带有低功率成像 组件的盖子控制器中枢的这些优化和增强的组合可改善整体系统的性能。 具体而言，优化的组合可改善视频呼叫的质量，降低系统功率和/或电池功 率消耗，并且减少设备的互联网带宽使用，以及其他好处。
一些实施例涉及一种系统，例如，用户设备，它具有神经网络加速器。 神经网络加速器(NNA)可例如在控制器中枢中实现，例如上文描述的盖 子控制器中枢，例如联系图1A、图2、图3、图9、图17-图23描述的。 在这个示例实现方式中，NNA可被配置为从计算设备的相机接收视频流， 神经网络加速器包括第一电路，来：在视频呼叫期间接收由相机捕捉的视频帧；识别视频帧中的背景区域；识别视频帧中的感兴趣的对象；并且生 成包括用于背景区域的第一标签和用于感兴趣的对象的第二标签的分割图 谱。该系统还包括图像处理模块。图像处理模块可例如在上文描述的用户 设备的主机SoC中实现，例如计算设备100、122、200、300、900、1700- 2300。图像处理模块可包括第二电路，来从神经网络加速器接收分割图谱； 并且至少部分地基于分割图谱对视频帧编码，其中对视频帧编码被配置为 包括模糊视频帧中的背景区域。感兴趣的对象可例如是人类脸部、人类身 体、人类脸部和人类身体的组合、动物或者能够与人类交互的机器。可选 的，NNA可提高视频帧的与感兴趣的对象相对应的一部分的分辨率，而不 提高背景区域的分辨率。
替换地，NNA可被配置为在视频帧中识别用户的一个或多个手势；在 视频帧中识别展示区域，其中展示区域是至少部分地基于与一个或多个手 势的邻近来识别的；并且使得分割图谱包括用于展示区域的标签。NNA可 提高展示区域的分辨率而不提高背景区域的分辨率。注意，这个备选方案 的特征也可被添加到上述系统的示例实现方式中论述的实现方式。
转到图28，图28是图示出通信系统2850的简化框图，该通信系统 2850包括被配置为经由视频呼叫应用进行通信并且为视频呼叫管线执行优 化的两个设备。在这个示例中，第一设备2800A包括面向用户的相机 2810A、显示面板2806A、盖子控制器中枢(LCH)2830A、定时控制器 (TCON)2820A和硅芯片(silicon-on-a-chip，SoC)2840A。LCH 2830A 可包括视觉/成像模块2832A，以及本文进一步描述的其他组件。视觉/成 像模块2832A可包括神经网络加速器(NNA)2834A、图像处理算法 2833A和视觉/成像存储器2835A。SoC 2840A可包括处理器2842A、图像 处理模块2844A以及通信单元2846A。在示例实现方式中，LCH 2830A可 被定位为邻近设备2800A的显示器(例如，在盖子外壳、显示监视器外壳 中)。在这个示例中，SoC 2840A可被定位在另一个外壳(例如，底座外 壳、塔)中，并且与LCH 2830A通信地连接。在一个或多个实施例中， LCH 2830A表示LCH 155、260、305、954、1705、1860的示例实现方式， 并且SoC 2840A表示SoC 140、240、340、914、1840的示例实现方式， 两者都包括本文公开和描述的各种实施例。
第二设备2800B包括面向用户的相机2810B、显示面板2806B、盖子 控制器中枢(LCH)2830B、定时控制器(TCON)2820B以及硅芯片 (SoC)2840B。LCH 2830B可包括视觉/成像模块2832B。在一些实现方 式中，定时控制器2820A、2820B可被集成到与盖子控制器中枢2830A、 2830B相同的晶粒或者封装上。视觉/成像模块2832B可包括神经网络加速 器(NNA)2834B、图像处理算法2833A以及视觉/成像存储器2835B。 SoC 2840B可包括处理器2842B、图像处理模块2844B以及通信单元 2846B。在示例实现方式中，LCH 2830B可被定位为邻近设备2800B的显 示器(例如，在盖子外壳、显示监视器外壳中)。在这个示例中，SoC 2840B可被定位在另一个外壳(例如，底座外壳、塔)中，并且与LCH 2830B通信地连接。在一个或多个实施例中，LCH 2830B表示LCH 155、 260、305、954、1705、1860的示例实现方式，并且SoC2840B表示SoC 140、240、340、914、1840的示例实现方式，两者都包括本文公开和描述 的各种实施例。
第一和第二设备2800A和2800B可经由任何类型或拓扑结构的网络进 行通信。第一和第二设备2800A和2800B表示用于接收和发送通过一个或 多个网络2852传播的信息封包的互连通信路径的点或者节点。在其中可 实现第一和第二设备并使其能够通信的网络2852的示例可包括，但不一 定限于，广域网(wide area network，WAN)(例如互联网)、局域网 (local area network，LAN)、城域网(metropolitan area network， MAN)、车辆区域网络(vehicle area networ，VAN)、虚拟专用网 (virtual private network，VPN)、内联网、任何其他适当的网络、或者这 些的任何组合。这些网络可包括促进网络中的节点之间的通信的任何技术 (例如，有线的或者无线的)。
通信单元2846A可将由图像处理模块2844A生成的经编码的视频帧， 经由(一个或多个)网络2852传输到一个或多个其他节点，例如设备 2800B。类似地，第二设备2800B的通信单元2846B可操作来将由图像处 理模块2844B生成的经编码的视频帧经由(一个或多个)网络2852传输 到一个或多个其他节点，例如设备2800A。通信单元2846A和2846B可包 括可操作来经由(一个或多个)网络2852进行通信的任何有线或无线设 备(例如，调制解调器、网络接口设备或者其他类型的通信设备)。
相机2810A和2810B可被配置和定位为捕捉用于视频呼叫应用的视频 流，以及其他用途。尽管设备2800A和2800B可被设计为使能其各自外壳 (例如，盖子、底座、第二显示器)的各种朝向和配置，但在至少一个位 置处，相机2810A和2810B可以是面向用户的。在一个或多个示例中，相 机2810A和2810B可被配置为始终开启的图像传感器，以使得每个相机可 通过在其各自的设备2800A或2800B处于活跃状态或者低功率状态中时为 视频帧生成图像传感器数据来捕捉图像的序列，在此也被称为“视频帧”。 由第一设备的相机2810A捕捉的视频流在传输到第二设备2800B之前可被 优化和可选地增强。图像处理模块2844A可利用任何适当的编码和/或压 缩技术对具有优化和增强的视频帧进行编码。在一些实施例中，单个视频 帧被编码以便传输，但在其他实施例中，多个视频帧可一起被编码。
LCH 2830A和LCH 2830B可利用机器学习算法来检测捕捉的视频帧 中的对象和区域。LCH 2830A和LCH 2830B不仅可提供说明书的这一节 中描述的功能，而且还可实现联系前文描述的计算设备描述的LCH的功 能，例如计算设备100、200、300、900、1700-2300。神经网络加速器 (NNA)2834A和2834B可包括硬件、固件、软件或者其任何适当组合。 在一个或多个实施例中，神经网络加速器(NNA)2834A和2834B可各自 实现一个或多个深度神经网络(deep neural network，DNN)，以识别用户 的存在、用户的头部/脸部、用户的身体、头部朝向、用户的手势和/或图 像的背景区域。深度学习是一种类型的机器学习，它使用被称为人工神经 网络(或者ANN)的分层算法结构，来从数据表示中学习和识别模式。 ANN一般被呈现为可从输入计算值的互连的“神经元”的系统。ANN代 表了用于学习和识别模式的最相关和最广泛的技术之一。因此，ANN已经 成为针对改善用户体验的直观的人类/设备交互的有效解决方案，是一种被 称为“认知计算”的新的计算范式。除了其他用途以外，ANN还可用于成 像处理和对象识别。卷积神经网络(CNN)只是代表了采用ANN算法的 计算范式的一个示例，并且将在此进一步论述。
图像处理算法2833A、2833B可执行各种功能，包括但不一定限于识 别视频帧中的某些特征(例如，高亮度)，和/或一旦生成了分割图谱则识 别图像中的某些对象或区域(例如，被应用了超级分辨率的对象，用户指 向或者注视的区域，等等)，和/或执行超级分辨率技术。图像处理算法可 作为一个逻辑和物理单元与NNA 2834A、2834B一起实现，或者可作为视 觉/成像模块2832A、2832B的一部分在硬件和/或固件中单独实现。在一个 示例中，图像处理算法2833A、2833B可在微代码中实现。
当在第一和第二设备2800A和2800B之间建立视频呼叫时，视频流可 被每个设备捕捉并且被发送到另一设备以在另一设备的显示面板上显示。 当设备正在捕捉和发送视频流时，以及当设备正在接收和显示视频流时， 可执行不同的操作和活动，这可同时发生。现在将参考作为捕捉和发送设 备的设备2800A和作为接收和显示设备的设备2800B对这些操作和活动中 的一些进行一般性描述。
第一设备2800A的相机2810A可被配置为从相机2810A的视野 (FOV)捕捉图像序列形式的视频流。相机2810A的FOV是基于其特定 位置和朝向通过相机可见的区域，以从相机2810A的视野(FOV)捕捉图 像序列形式的视频流。图像序列中的每个捕捉的图像可包括图像传感器数 据，这些数据可由面向用户的相机2810A以个体像素(也被称为“像素元 素”)的形式生成。像素是可显示在显示面板上的图像的最小可寻址单位。 捕捉的图像可由视频流中的一个视频帧表示。
在一个或多个实施例中，捕捉的视频帧在被传输到接收设备(例如第 二设备2800B)以进行显示之前，可由设备2800A进行优化和增强。一般 而言，视频帧中的相关的、重要的对象或部分的焦点和亮度不会被设备 2800A降低(或者可被最低限度地降低)，并且至少在一些情况下，可被 增强。在一个或多个实施例中，在视频帧中捕捉的用户(例如，人类、动 物或者通信机器)的手势或者注视可用于识别可被增强的相关对象。增强 可包括例如应用超级分辨率来优化用户和/或所识别的相关对象或者相关对 象所位于的视频帧内的区域的聚焦和渲染。
视频帧的其他不重要或者不太相关的对象或部分可被修改(例如，降 低分辨率，降低亮度)，以降低功耗和带宽使用。此外，背景区域中的不 重要或者不需要的对象可不被示出。例如，可识别模糊的背景区域，并且 在图像处理模块2844A中可减小这些区域的像素密度/分辨率。减小像素 密度可减少通过管线发送的内容，从而可减少例如网络2852中的无线电 链路上的带宽使用和功率消耗。外观滤波(也被称为“美化”)也可被应 用到任何对象，尽管它可能更常被应用于人类脸部。对脸部进行滤波例如 可通过降低脸部的分辨率以软化特征来实现，但不一定要将分辨率降低得 像在不需要或不重要的区域中那么多。热点，即高亮度(或者白色)的局 部区域，可被识别和减弱，这也可降低显示视频帧时的功率消耗。最后， 在一些情况下，背景区域可进一步被变暗或者“关闭”(例如，降低或者 关闭这些区域的背光)，以最大限度地尽可能节省显示功率。
在一个或多个实施例中，由第二设备2800B(例如，从第一设备 2800A)接收的编码的视频帧可由图像处理模块2844B解码。TCON 2820B可对解码的视频帧执行电力节省技术，以便提供给显示面板2806B 的背光可被降低，并从而降低功耗。TCON 2820B不仅可提供说明书的这 一节中描述的功能，而且还可实现联系前文描述的计算设备描述的TCON 的功能，例如计算设备100、200、300、900、1700-2300。
应当注意，第一设备2800A和第二设备2800B可配置有相同或相似的 组件，并且可具有相同或相似的能力。此外，这两个设备都可具有视频呼 叫能力，从而，每个设备可能够生成和发送视频流，以及接收和显示视频 流。然而，为了易于说明各种操作和特征，本文的实施例一般将参考第一 设备2800A作为捕捉和发送设备来描述，并且参考第二设备2800B作为接 收和显示设备来描述。
图29是在第一和第二设备2800A和2800B之间建立的视频呼叫的视 频流中的一个视频帧的示例流程2900的简化框图。在示例流程2900中， 面向用户的相机2810A捕捉图像，并且为在第一设备2800A和第二设备 2800B之间建立的视频呼叫连接期间从第一设备2800A流向第二设备 2800B的视频流中的一个视频帧2812生成图像传感器数据。视觉/成像模 块2832A的NNA 2834A可使用一个或多个机器学习算法，这些算法已被 训练来识别视频帧中的背景部分和(一个或多个)用户。在一些实施例中， 用户可只包括人类脸部。在其他实施例中，对用户的识别可包括人类身体 的全部或部分，或者人类身体可被单独识别。
在至少一个实施例中，视觉/成像模块2832A的NNA 2834A可利用神 经网络加速器2834A创建分割图谱2815。图30中示出了特定视频帧的可 能分割图谱3000的图示。一般而言，分割图谱是将数字图像划分成多个 片段(例如，像素的集合)。片段在这里也可被称为“对象”。在分割图 谱中，可给图像中的每个像素指派一个标签，以使得具有相同标签的像素 就共享共同的特性。在其他实施例中，标签可被指派给共享共同特性的像 素群组。例如，在图30所示的分割图谱3000中，标签A可被指派给对应 于人类脸部3002的像素(或者像素群组)，标签B可被指派给对应于人 类身体3004的像素(或者像素群组)，并且标签C(在分割图谱3000的 两个区域中示出)可被指派给对应于背景区域3006的像素(或者像素群组)。
参考图29，在一些实施例中，视觉/成像模块2832A可使用一个或多 个机器学习算法(在此也称为“模型”)，这些算法已被训练为从由面向 用户的相机2810A捕捉的视频帧中识别用户存在和注意力。具体地，可确 定注视方向。此外，机器学习算法(或者成像模型)可被训练来识别用户 手势。一个或多个算法可用于识别由用户的注视方向和/或用户的手势指示 的相关对象或者区域。应当清楚，注视方向和手势可指示不同的对象或区 域，或者可以指示相同的对象或区域。相关对象的一些非限制性示例可包 括但不限于白板上的文本、产品原型、或者图片或照片。分割图谱2815 可被修改以标记由用户的注视方向和/或手势指示的(一个或多个)指示对 象和/或区域。例如，在图30的分割图谱3000中，标签D可被指派给与已 识别的相关对象/区域相对应的像素(或者像素群组)。从而，背景区域可 被划分以将标签D指派给相关对象/区域，以使得相关对象/区域就不会作 为背景区域的一部分被模糊。
再次参考图29，视觉/成像模块2832A也可运行一个或多个图像处理 算法2833A以识别视频帧2812内的热点。热点是高亮度的局部区域，并 且可通过确定满足局部亮度阈值的像素值的集群来识别。局部亮度阈值可 基于满足局部亮度阈值的一定数目的相邻像素，或者在阈值数目的相邻像 素的内满足局部亮度阈值的像素的比率。热点可位于图像内的任何位置。 例如，热点可包括背景区域中的窗户，背景中的通电的计算机或者电视屏 幕，某些材料或皮肤上的反射，等等。在一实施例中，可在视频帧2812 中修改像素值的集群，以减弱亮度。例如，可基于减弱亮度参数来修改像 素值的集群。所选的减弱亮度参数可以是实际值(例如，将热点亮度降低 到X级)或者相对值(例如，将热点亮度降低X％)。
平均亮度也可在视频帧2812的模糊空间(例如，背景)内被降低。 一旦识别了背景区域，TCON 2820A就可识别在背景区域中哪里的和多少 亮度应当被降低。在一个示例中，TCON 2820A可确定视频帧2812的平均 亮度(或者背景区域的平均亮度)，并且降低背景区域中的亮度，以使得 接收设备可以节省电力。可通过基于背景亮度参数将像素值修改(例如， 减小)到所需的亮度水平来降低平均亮度。背景亮度参数可以是实际值 (例如，将背景亮度降低到Y级)或者相对值(例如，将背景亮度降低 Y％)。这个参数可以是用户或系统可配置的。当接收设备接收到具有模 糊的背景区域、减弱的热点、以及降低或调低的亮度的经修改的视频帧时， 接收设备可执行电力节省技术，该技术使得提供给显示面板的背光能够被 降低。从而，发送设备的优化技术可促成接收设备上的电力节省。
在至少一些实施例中，所识别的某些感兴趣的对象，例如用户的脸部 和由手势和/或注视方向指示的相关对象，可在接收设备(例如，2800B) 上被增强以获得更好的图片质量。在一个示例中，超级分辨率技术可被应 用到视频帧2812中的感兴趣的对象。例如，神经网络加速器2834A可包 括机器学习算法，以将超级分辨率应用于图像中感兴趣的对象。在一个实 施例中，可实现卷积神经网络(CNN)，以从视频流中的多个连续的低分 辨率视频帧生成高分辨率视频帧。可通过较低分辨率的当前帧和具有预测 运动的参考帧来训练CNN，以学习映射函数来生成超级分辨率帧。在一个 或多个实施例中，学习的映射函数可只增大感兴趣的对象的分辨率，例如 在分割图谱2815中识别的相关对象(例如，标签A、标签B、标签D)。 在其他实施例中，超级分辨率可被应用到整个帧，但编码器可将分割图谱 同步到超级分辨率帧并且将优化应用于背景区域。从而，图片质量可只在 视频帧的选定区域中得到增强，而不是整个帧。这种有选择的增强可防止 不必要的带宽使用，如果超级分辨率被应用于整个视频帧，则可能会出现 这种情况。
视觉/成像模块2832A可产生经修改的视频帧2814，它表示原始捕捉 的视频帧2812，包括在LCH 2830A进行的处理期间对像素值的任何修改 (例如，热点、亮度、超级分辨率)。分割图谱2815和修改后的视频帧 2814可被提供给图像处理模块2844A。图像处理模块2844A可将分割图谱 2815与视频帧2814同步，以对视频帧2814进行编码，并且基于分割图谱 2815中的各种标记的片段进行优化。可从编码产生经编码的视频帧2816。 例如，一个或多个背景区域(例如，标签C)可通过由图像处理模块 2844A执行的操作而被模糊。在至少一个实施例中，可通过基于背景对象 的背景分辨率参数减小像素密度来模糊背景部分。像素密度可被定义为屏 幕或帧中的每英寸像素数(pixels per inch，PPI)。以更高的PPI编码视频 帧，可在显示时获得更高的分辨率和改善的图片质量。然而，以较低的PPI传输视频帧，可减少管线中的内容，并且因此可减少(一个或多个) 网络2852的通信路径中的互联网带宽使用。
图31A-图31B图示了像素密度的示例差异。图31A图示了高像素密 度3100A的示例，图31B图示了较低像素密度3100B的示例。在这个图 示中，用像素密度3100A编码的视频帧的一部分可比用像素密度3100B编 码的视频帧的一部分具有更高的分辨率。至少有一部分用较低像素密度 3100B编码的视频帧可能比用较高像素密度3100A编码的整个视频帧使用 较少的带宽。
再次参考图29，外观滤波是可由图像处理模块2844A编码到视频帧 2816中的另一种可能的优化。外观滤波可包括略微减小像素密度以柔化对 象。例如，脸部(例如，标签A)可被滤波以柔化，但不模糊面部特征。 在至少一个实施例中，可通过基于脸部以及可选地其他要滤波的对象的 (一个或多个)适当滤波参数减小像素密度来对脸部滤波。被滤波的对象 可以用比其他感兴趣的对象(例如，身体、相关区域/对象)更低的像素密 度、但用比模糊的背景区域更高的像素密度来进行编码。从而，在传输视 频帧之前用外观滤波对视频帧进行编码也可帮助减少带宽使用。
编码的视频帧2816可由图像处理模块2844A生成为具有至少部分地 基于分割图谱2815的公开的优化和/或增强中的任何一个或多个。第一设 备2800A可使用任何适当的通信协议(例如，传输控制协议/互联网协议、 用户数据报协议(User Datagram Protocol，UDP))，经由一个或多个网 络2852，将经编码的视频帧2816发送到第二设备2800B。
在第二设备2800B处，经编码的视频帧2816可由图像处理模块 2844B接收。图像处理模块2844B可对接收到的经编码的视频帧进行解码 以生成经解码的视频帧2818。经解码的视频帧2818可被提供给TCON 2820B，该TCON 2820B可使用电力节省技术来使得能够响应于操纵解码 视频帧2818的像素值(颜色的亮度)而将较低的背光供应给显示面板 2806B。一般而言，像素值的数字越高，对应于它们的颜色就越亮。电力 节省技术可包括增大像素值(即，增大颜色的亮度)，这使得视频帧在显 示时的背光可被降低。这例如对于具有LED背光的LCD显示面板可能特 别有用。从而，这种对像素值的操纵可降低接收设备2800B上的功率消耗。 然而，在发送设备没有执行热点减弱和背景模糊的情况下，接收设备上的 电力节省技术可能不会被利用来实现最大的电力节省，因为经解码的视频 帧的背景区域和热点区域可能不会被TCON 2820B充分操纵以允许降低背 光。在第一显示面板中，背光可被提供给整个面板。在第二显示面板中， 面板可被划分为多个区域(例如，100个区域)，并且可向每个区域提供 独特的背光水平。相应地，TCON 2820B可确定经解码的视频帧的亮度并 且设置背光。
图32A和32B图示了可用于一个或多个实施例中的示例深度神经网络。 在至少一个实施例中，神经网络加速器(NNA)(例如，276、327、1740、 1863、2834A、2834B)实现一个或多个深度神经网络，例如图32A和 32B所示的那些。图32A图示了卷积神经网络(CNN)3200，根据本公开 的实施例，其包括卷积层3202、池化层3204、完全连接层3206和输出预 测3208。每个层可执行独特类型的操作。卷积层将卷积操作应用于输入， 以便从输入图像中提取特征，并且将结果传递给下一层。可通过对输入图 像应用一个或多个矩阵形式的滤波器来提取图像(例如视频帧2812)的特 征，以产生特征图谱(或者神经元集群)。例如，当输入是图像的时间序 列时，卷积层3202可将滤波器操作3212应用于每个输入图像的像素，例如图像3210。滤波器操作3212可实现为滤波器在整个图像上的卷积。
滤波器操作3212的结果可被加在一起以提供输出，例如特征图谱 3214。可通过池化或者跨步卷积或者任何其他适当的方法来执行下采样。 例如，可从卷积层3202到池化层3204提供特征图谱3214。也可执行其他 操作，例如，修正线性单元操作。池化层将一个层中的所选特征或者神经 元集群的输出组合到下一个层中的单个神经元中。在一些实现方式中，神 经元集群的输出可以是来自该集群的最大值。在另一实现方式中，神经元 集群的输出可以是来自该集群的平均值。在另外一个实现方式中，神经元 集群的输出可以是来自该集群的总和。例如，池化层3204可执行子采样 操作3216(例如，最大值、平均值或者总和)，以将特征图谱3214简化 为简化特征图谱3218的堆栈。
池化层3204的这个输出可被馈送到完全连接层3206以执行模式检测。 完全连接层将一层中的每个神经元连接到另一层中的每个神经元。完全连 接层使用来自其他层的特征来基于训练数据集对输入图像进行分类。完全 连接层3206可在其输入中应用一组权重，并且将结果累积为(一个或多 个)输出预测3208。例如，这里的实施例可产生关于哪些像素表示哪些对 象的输出预测(例如，概率)。例如，输出可预测个体像素(或者像素群 组)或者像素群组为背景区域、用户头部/脸部、用户身体和/或用户手势 的一部分。在一些实施例中，不同的神经网络可用于识别不同的对象。例 如，可利用不同的神经网络来识别手势。
在实践中，卷积层和池化层可在结果被传输到完全连接层之前被多次 应用于输入数据。此后，最终的输出值可被测试，以确定是否识别了模式。 卷积、池化和完全连接神经网络层的每一者都可以用常规的乘法然后累加 操作来实现。在标准处理器(例如，CPU或GPU)上实现的算法可包括整 数(或者定点)乘法和加法，或者浮点融合乘加法(fusedmultiply-add， FMA)。这些操作涉及输入与参数的乘法操作，然后是乘法结果的求和。
在至少一个实施例中，卷积神经网络(CNN)可用于对视频帧执行语 义分割或实例分割。在语义分割中，图像的每个像素被分类(或者标记) 为特定的对象。在实例分割中，图像中的对象的每个实例被识别和标记。 被识别为同一类型的多个对象被指派相同的标签。例如，两张人类脸部可 各自被标记为脸部。通过提供图像(或者视频帧)的片段作为CNN的输 入，CNN体系结构可用于图像分割。CNN可扫描图像，直到整个图像被 映射为止，然后可标记像素。
另一个可使用的深度学习体系结构是集成学习(Ensemble learning)， 它可将多个模型的结果组合到单个分割图谱中。在这个示例中，一个模型 可运行来识别和标记背景区域，另一个模型可运行来识别和标记头部/脸部， 另一个模型可运行来标记身体，另一个模型可运行来标记手势。各种模型 的结果可被组合起来，以生成包含所有指派的标签的单个分割图谱。虽然 CNN和集成学习是一个或多个实施例中可使用的两个可能的深度学习体系 结构，但可基于特定的需求和实现方式使用其他深度学习体系结构，这些 体系结构使得能够识别和标记图像(例如视频帧)中的对象。
图32B图示了另一示例深度神经网络(DNN)3250(在此也称为“图 像分割模型”)，它可被训练来识别像素化图像(例如视频帧)中的特定 对象，并且对图像执行语义图像分割。在本文公开的LCH(例如155、 260、305、954、1705、1860、2830A、2830B)的一个或多个实施例中， DNN 3250可由神经网络加速器(例如，276、327、1740、1863、2834A、 2834B)实现来接收视频帧3256作为输入，以识别在视频帧中的用来训练 神经网络的对象(例如，背景区域、头部/脸部、身体和/或手势)，并且 创建具有对每个对象进行分类的标签的分割图谱3258。在至少一些实施例 中，分类可在像素级完成。
在一个示例中，DNN 3250包括编码器3252和解码器3254。编码器对 输入(例如，视频帧3256)的空间分辨率进行下采样，以产生具有较低分 辨率的特征映射。然后，解码器将特征映射上采样为分割图谱(例如，具 有全分辨率的分割图谱3258)。各种方法可用于完成特征图谱的上采样， 包括去池化(例如，参考CNN 3200描述的池化的反向)和转置卷积，其中上采样被学习。全卷积神经网络(fully convolutional neural network， FCN)是使用卷积层转置将特征图谱上采样为全分辨率分割图谱的一个示 例。各种功能和技术可被包含到FCN中，以使得在上采样期间能够进行准 确的形状重建。此外，这些深度神经网络(例如，CNN 3200、DNN 3250) 只是打算用于例示目的，而不打算限制本公开的宽广范围，本公开允许可 从像素化的图像(例如视频帧)产生分割图谱的任何类型的机器学习算法。
转到图33，图33是在第一和第二设备2800A和2800B之间建立的视 频呼叫中的示例视频流的图示，其中实现了视频呼叫管线的优化。作为示 例，而不是限制，第一设备2800A被图示为移动计算设备实现方式。第一 设备2800A是移动计算设备122的示例实现方式。第一设备2800A包括底 座2802A和具有嵌入式显示面板2806A的盖子2804A。盖子2804A可被 构造为具有围绕显示面板2806A的周边的边框区域2808A。面向用户的相 机2810A可被布置在盖子2804A的边框区域2808A中。LCH 2830A和 TCON 2820A可被布置在盖子2804A中，并且可邻近显示面板2806A并且 可操作地耦合到显示面板2806A。SoC 2840A可被布置在底座2802A内， 并且可操作地耦合到LCH 2830A。在盖子2804A和底座2802A的一个或 多个配置中，盖子2804A可以可旋转地连接到底座2802A。然而，应当清 楚，能够实现LCH2830A的设备的许多其他配置和变化可用于实现如本 文所公开的与优化视频呼叫管线相关联的特征。
为了非限制性的示例目的，第二设备2800B也被图示为移动计算设备 实现方式。第二设备2800B是移动计算设备122的示例实现方式。第二设 备2800B包括底座2802B和具有嵌入式显示面板2806B的盖子2804B。盖 子2804B可被构造为具有围绕显示面板2806B的周边的边框区域2808B。 面向用户的相机2810B可被布置在盖子2804B的边框区域2808B中。LCH 2830B和TCON 2820B可被布置在盖子2804B中，并且可邻近显示面板 2806B并且可操作地耦合到显示面板2806B。SoC 2840A可被布置在底座 2802B内并且可操作地耦合到LCH2830B。在盖子2804B和底座2802B的 一个或多个配置中，盖子2804B可以可旋转地连接到底座2802B。然而， 应当清楚，能够实现LCH 2830B的设备的许多其他配置和变化可用于实现如本文所公开的与优化视频呼叫管线相关联的特征。
第一设备2800A的面向用户的相机2810A可被配置和定位为从相机的 视野(FOV)捕捉图像序列形式的视频流。例如，在视频呼叫中，设备 2800A的用户可面向显示面板2806A，并且来自面向用户的相机2810A的 FOV可包括用户和用户周围的一些区域。图像序列中的每个捕捉的图像可 包括由相机生成的图像传感器数据，并且可由视频流的一个视频帧表示。 在第一设备根据本文包含的一个或多个实施例对视频帧进行编码并且将其 传输到另一设备之前，可由第一设备2800A对捕捉的视频帧进行优化和增 强。SoC 2840A的图像处理模块2844A可以用一个或多个优化和/或增强对 每个视频帧进行编码，以产生经编码的视频帧3302(1)、3302(2)、3302(3) 等等的序列3300。每个经编码的视频帧可由通信单元2846A经由(一个 或多个)网络2852传输到一个或多个接收设备，例如第二设备2800B。第二设备2800B可对经编码的视频帧进行解码，并且以给定的频率在显示面 板2806B上显示经解码的视频帧，例如经解码的最终视频帧3304(1)。
在图33中，图示了在第二(接收)设备的显示面板2806B上显示的 示例经解码的最终视频帧3304(1)的线条图。在第一(发送)设备2800A 处应用于相应的捕捉视频帧的各种优化被表示在显示面板2806B上的经解 码的最终视频帧3304(1)中。当在第一(发送)设备2800A上捕捉时，视 频帧中相关的、重要的对象的焦点和亮度不会被第一设备2800A降低，而 是可能被增强。例如，人类脸部和人类身体的一部分分别用限界框3312 和3324指示，并且当在接收设备2800B上显示时看起来是焦点对准(例 如，高像素密度)和明亮的。其他不重要或者不需要的对象(例如，在背 景区域中)不被示出，或者可被修改(例如，减小像素密度、降低亮度) 以降低功耗和带宽使用。例如，背景区域3326可被模糊(例如，减小像 素密度)并且以更低的平均亮度显示。此外，当最终视频帧被显示在接收 设备上时，其中像素集群中的像素亮度满足局部亮度阈值的一个或多个热 点可被第一设备2800A减弱(例如，修改像素值以降低亮度)以节省电力。 通过一旦任何热点被减弱则由第一(发送)设备2800A降低平均亮度，当 视频帧被显示时，在第二(接收)设备2800B上可降低功耗。
图34是根据至少一个实施例的在设备之间建立的视频呼叫期间可显 示的视频帧中的对象的示例优化和增强的图解表示。图34图示了在第二 (接收)设备2800B的显示面板2806B上显示的示例解码最终视频帧 3400。在第一(发送)设备2800A处应用于相应的捕捉视频帧的各种优化 被表示在显示面板2806B上的经解码的最终视频帧3400中。当在第一(发送)设备2800A上捕捉时，视频帧中相关的、重要的对象的焦点和亮 度不会被第一设备2800A降低，而是可能被增强。
例如，人类脸部和人类身体的一部分分别用限界框3402和3404指示， 并且当在接收设备2800B上显示时看起来是焦点对准(例如，高像素密度) 和明亮的。此外，如限界框3403所指示的指向手势在最终视频帧3400被 显示时也可能是焦点对准且明亮的。第一(发送)设备可识别该手势，并 且使用它来识别相关对象，例如由限界框3410指示的白板上的文本。因 此，当最终视频帧3400被显示时，限界框3410内的区域是焦点对准并且 明亮的。此外(或者替换地)，第一(发送)设备2800A可使用捕捉的视 频帧中的所识别的用户的眼睛跟踪或者注视方向来识别白板上的文本或者 另一个相关对象。
其他不重要或者不需要的对象(例如，在背景区域中)不被示出，或 者可被修改(例如，减小像素密度，降低亮度)以降低功耗和带宽使用。 例如，背景区域3406可被模糊(例如，减小像素密度)并且以更低的平 均亮度显示。为了图示起见，在背景区域3406中示出了模糊的窗框3405。 然而，应当注意，整个背景区域3406或者只是所选对象可被模糊。此外， 当最终视频帧被显示在接收设备上时，其中像素集群中的像素亮度满足局 部亮度阈值的一个或多个热点(例如窗玻璃3408)可被第一设备2800A 减弱(例如，修改像素值以降低亮度)以节省电力。通过一旦任何热点被 减弱则由第一(发送)设备2800A降低平均亮度，当视频帧被显示时，在 第二(接收)设备2800B上可减小功率消耗。
转到图35-图39，简化的流程图根据本文公开的一个或多个实施例图 示了用于优化视频呼叫管线和增强图片质量的示例过程。图35-图39的过 程可在硬件、固件、软件或者其任何适当组合中实现。尽管LCH 2830A 和SoC 2840A的各种组件可参考参照图35-图39描述的特定过程来描述， 但这些过程可被组合并且由单个组件执行，或者被分离成多个过程，其中 每个过程可包括一个或多个操作，这些操作可由相同或者不同的组件执行。 此外，虽然参考图35-图39描述的过程描述了处理视频流的单个视频帧， 但应当清楚，这些过程可对每个视频帧重复，并且/或者至少一些过程可利 用视频流的多个视频帧来执行。此外，为了便于提及，本文描述的过程将 提及第一设备2800A作为捕捉和处理视频流的视频帧的设备，以及第二设 备2800B作为接收和显示视频流的视频帧的设备。然而，应当清楚，第二 设备2800B可同时捕捉和处理第二视频流的视频帧，并且第一设备2800A 可接收和显示第二视频流的视频帧。此外，应当清楚，第一设备2800A和 第二设备2800B及其组件可以是本文描述的其他计算设备及其组件(类似 地命名)(包括但不一定限于计算设备122)的示例实现方式。
图35是图示出用于优化视频流的视频帧的示例高级别过程3500的简 化流程图。实现过程3500的一个或多个操作可由面向用户的相机2810A 和盖子控制器中枢(LCH)2830A执行。在至少一些实施例中，神经网络 加速器2834A、视觉/成像模块2832A的图像处理算法2833A和/或定时控 制器(TCON)2820A可执行过程3500的一个或多个操作。
在3502，第一设备2800A的面向用户的相机2810A在其视野中捕捉 图像。可为表示该图像的视频帧生成图像传感器数据。视频帧可以是由面 向用户的相机捕捉的一系列视频帧的一部分。在3504，视频帧可被提供给 视觉/成像模块2832A，以确定用户是否存在于视频帧中。在一个示例中， 可使用神经网络加速器2834A的一个或多个机器学习算法来确定用户存在、 手势和/或注视方向。在3506，基于神经网络加速器2834A的输出(例如， 预测)，确定用户是否存在于视频帧中。
如果在3506处确定用户存在于视频帧中，那么在3508，视频帧可被 提供给LCH2830的视觉/成像模块。在3510，可执行一过程以识别视频帧 中的对象，并且基于识别的对象生成视频帧的分割图谱。在3512，可执行 一过程以识别视频帧中的相关对象(如果有的话)，并且在需要时更新视 频帧的分割图谱。可以增强感兴趣的对象(包括识别的相关对象)的分辨 率。在3514，可识别出亮度的局部区域(或者“热点”)并且将其减弱。 另外，在视频帧的背景中，也可降低平均亮度。在此将参考图36-图38进 一步描述3510-3514处所示的过程的附加细节。
在3516，将分割图谱和修改后的视频帧提供给SoC 2840A的图像处理 模块2844A，以将分割图谱与视频帧同步，并且生成具有优化的经编码的 视频帧。在此将参考图39进一步描述3516处所示的过程的附加细节。
图36是简化的流程图，图示出了用于识别捕捉的视频帧中的对象并 且基于识别的对象生成视频帧的分割图谱的示例高级别流程3600。过程 3600的一个或多个部分可对应于图35的3510。实现过程3600的一个或多 个操作可由第一设备2800A中的LCH 2830A的视觉/成像模块2832A的神 经网络加速器2834A执行。
在3602，一个或多个神经网络算法可被应用于视频帧以检测视频帧中 的某些对象(例如，用户、背景区域)以进行优化和可能的增强，并且生 成分割图谱。在一示例中，视频帧可例如是到神经网络分割算法中的输入。 在3604，用户的每个实例被识别。例如，用户可以是人类、动物或者具有 至少一些人类特征(例如，脸部)的机器人。如果视频帧中存在多个用户， 那么他们都可被识别为用户。在其他实现方式中，正在说话的用户(或者 最近说话的用户)可被识别为用户。在其他实施例中，最接近相机的用户 可以是被识别的唯一用户。如果只有一个用户被识别，那么其他用户可被 识别为背景区域的一部分。视频帧中所识别的脸部(可能还有身体)不会 像背景区域那样被模糊。相反，所识别的脸部和身体将保持焦点对准。可 选地，视频帧中的用户可在被传输之前被增强(例如，具有超级分辨率)。
在3606，视频帧中的背景区域的每个实例被识别。在至少一个实施例 中，视频帧中的未被识别为用户的任何部分可以是背景区域的一部分。在 3608，可生成分割图谱。分割图谱可包括指示出每个背景区域以及每个用 户的头部和身体的信息。在一个示例中，第一标签(或者第一分类)可被 指派给每个背景。类似地，第二标签(或者第二分类)可被指派给每个头 部，并且第三标签(或者第三分类)可被指派给每个身体。然而，应当清 楚，取决于视频帧的哪些部分被认为是重要的和相关的(例如，本例中的 用户)，以及视频帧的哪些部分被认为是不重要的和不需要的(例如，本 例中的背景区域)，可使用许多其他方法来生成分割图谱。
图37是简化的流程图，图示出了用于识别视频帧中的相关对象并且 在需要时更新视频帧的分割图谱的示例过程3700。在一示例中，视频帧可 例如是到神经网络分割算法或者另一神经网络算法的输入，以识别手势和/ 或注视方向。过程3700的一个或多个部分可对应于图35的3512。实现过 程3700的一个或多个操作可由第一设备2800A中的LCH2830A的视觉/成 像模块2832A的神经网络加速器2834A和/或图像处理算法2833A执行。
在3702，一个或多个神经网络算法可被应用于视频帧，以检测用户的 头部朝向和/或眼睛跟踪，以及用户的手势。在3704，确定在视频帧中是 否检测到用户的任何手势。如果检测到了任何手势，那么在3706，可执行 一个或多个算法，以基于手势来识别包含相关对象的展示区域。在一个可 能的实施例中，可确定手势的轨迹，并且可基于该轨迹在手势附近创建限 界框，以使得该限界框包含展示区域，该展示区域包括相关对象。可在视 频帧中的任何地方创建展示区域的限界框，包括例如，在用户的前面、侧 面和/或后面。
在3708，确定是否在视频帧中识别了用户的注视方向。如果识别了注 视方向，那么在3710，可执行一个或多个算法，以基于注视方向识别包含 相关对象的查看区域。在一个可能的实施例中，可确定注视方向的轨迹， 并且可基于该轨迹创建限界框，以使得该限界框包含查看区域，该查看区 域包括相关对象。在一些场景中，基于所识别的注视方向生成的限界框可 完全或者部分地与基于检测到的手势生成的限界框重叠，例如，如果用户正在看着由手势指示的同一相关对象的话。在其他场景中，可识别一个以 上的相关对象，其中基于识别的注视方向生成的限界框可与基于检测的手 势生成的限界框分开。
在3712，分割图谱可被更新以包括指示出所识别的(一个或多个)相 关对象的信息。在一些场景中，更新分割图谱可包括将背景区域的一部分 的标签改变为不同的标签，以指示出这些像素表示相关对象，而不是背景 区域。
在3714，超级分辨率可被应用于所识别的感兴趣的对象，这可包括所 识别的(一个或多个)相关对象、用户的头部/脸部和/或用户的身体的至 少一部分。例如，要应用的超级分辨率技术可包括卷积神经网络(CNN) 来学习映射函数以生成超级分辨率帧。在一个或多个实施例中，超级分辨 率可只被应用于感兴趣的对象。替换地，超级分辨率可被应用到整个帧， 并且图像处理模块2844A随后可将分割图谱同步到超级分辨率视频帧，并 且应用优化(例如，模糊、滤波)。
图38是简化的流程图，图示出了用于使视频帧中的高亮度的(一个 或多个)局部区域减弱并且降低捕捉的视频帧的背景区域中的平均亮度的 示例过程3800。过程3800的一个或多个部分可对应于图35的3514。实 现过程3800的一个或多个操作可由LCH(例如，155、260、305、954、 1705、1860、2830A、2830B)的视觉/成像模块(例如，172、263、363、1740、1863、2832A、2832B)的图像处理算法(例如，2833A)和/或定时 控制器(TCON)(例如，150、250、355、944、1706、2820A、2820B) 执行。
在3802，检查视频帧中的像素，以识别一个或多个局部亮度区域，也 被称为“热点”。热点可由符合局部亮度阈值的像素集群创建(例如，一 定数目的相邻像素，其中每个像素的亮度值满足局部亮度阈值，一定数目 的相邻像素，其平均亮度满足局部亮度阈值)。热点可位于视频帧内的任 何地方。例如，热点可在背景区域中或者感兴趣的对象上。在3804，确定 是否有一个或多个像素集群已被识别为满足(或者超过)局部亮度阈值。 如果像素集群满足(或者超过)局部亮度阈值，那么在3806，可对识别的 (一个或多个)热点进行减弱，例如，通过修改识别的集群中的像素值。 该修改可基于减弱亮度参数，这可导致减小像素值。
在3808，一旦任何热点已被减弱，视频帧的(一个或多个)背景区域 的平均亮度就可被计算。在至少一个实施例中，可基于(一个或多个)背 景区域的像素值来计算平均亮度。在3810，确定每个背景区域的计算出的 平均亮度是否满足(或者超过)平均亮度阈值。如果任何背景区域的计算 出的平均亮度满足(或者超过)平均亮度阈值，那么在3812，该(一个或 多个)背景区域的亮度可基于背景亮度参数而被降低。
还应当注意，在一些实现方式中，如果用户不存在于视频帧中(例如， 如在3506处确定的)，那么整个视频帧可被标记为背景区域。可避免运 行机器学习算法，因为可基于将整个帧识别为背景区域的单个标签来生成 分割图谱。在这个场景中，热点仍然可被识别和减弱，并且整个视频帧的 亮度可被降低。然而，亮度可被更大幅度地降低，以节省更多的电力，直 到有用户存在为止。
图39是简化的流程图，图示了用于同步分割图谱和视频帧以生成要 传输的经编码的视频帧的示例过程3900。实现过程3900的一个或多个操 作可由设备2800A的SoC2840A中的图像处理模块2844A和通信单元 2846A执行。
在3902，图像处理模块2844A可接收要同步和编码的分割图谱和视 频帧。可从位于第一设备2800A的盖子中的LCH 2830A接收分割图谱和 视频帧。在3904，将分割图谱与视频帧同步，以确定视频帧中的哪些对象 将被模糊。分割图谱可包括指示出视频帧中背景区域的位置的标签。在 3906，做出关于分割图谱是否包括视频帧中要模糊的任何对象(例如，背 景区域)的确定。如果在分割图谱中指示了任何背景对象(例如，为背景 区域指派了标签)，那么在3908，在视频帧中模糊所指示的(或者标记的) 背景对象。例如，标记为背景区域的任何对象(例如，图30中的标签C) 可位于视频帧中，并且视频帧中的这些背景区域的关联像素密度可被减小。 可基于背景分辨率参数而减小像素密度。分割图谱中指示的其他对象(例 如，感兴趣的对象)可维持其当前的分辨率/像素密度。
在3910，可确定是否要在视频帧中编码外观滤波，以及如果是，要对 哪些对象进行编码。例如，用户或者系统设置可指示出，外观滤波将被应 用于用户的脸部。如果要对特定对象应用滤波，那么在3912，做出关于分 割图谱是否包括在视频帧中要滤波的任何对象(例如，用户的脸部)的确 定。如果在分割图谱中指示了要滤波的任何对象(例如，为脸部或者要滤 波的其他对象指派一标签)，那么在3914，指示的(或者标记的)对象在 视频帧中被滤波。例如，被标记为脸部区域的任何对象(例如，图30中 的标签A)可位于视频帧中，并且视频帧中的这些脸部的关联像素密度可 被减小。可基于滤波参数来减小像素密度。在一个或多个实施例中，与背 景分辨率参数相比，滤波参数指示出对象分辨率的较少降低。换句话说， 在至少一些实施例中，分辨率在背景区域中可能比在滤波对象中减小得更 多。
一旦视频帧被用优化和/或增强(例如，模糊、滤波)进行编码，在 3916，经编码的视频帧就可经由一个或多个网络2852被发送到接收节点， 例如第二设备2800B。
图40是简化流程图，图示出了用于在接收计算设备处接收经编码的 视频帧、解码以及显示经解码的视频帧的示例过程4000。实现过程4000 的一个或多个操作可由第二(接收)设备2800B的SoC 2840B中的图像处 理模块2844B和/或由接收设备的TCON 2820B执行。
在4002，接收设备2800B的图像处理模块2844B可从发送设备 2800A接收经编码的视频帧。在4004，图像处理模块2844B可将经编码的 视频帧解码成包含由发送设备应用的优化和增强的经解码的视频帧。在 4006，经解码的视频帧可被提供给TCON 2820B。
TCON 2820B可对经解码的视频帧执行电力节省技术，以产生要显示 的最终视频帧，该最终视频帧将减少所需的背光量。该电力节省技术可涉 及增大像素值(即，增大颜色的亮度)，以降低显示面板上所需的背光。 在4008，TCON 2820B可确定经解码的视频帧的平均亮度，以及高亮度的 局部区域。在4010，可根据平均亮度和高亮度的局部区域来修改(例如， 增大)视频帧的像素值。然而，高亮度的局部区域已被减弱，并且背景区 域已被调低。因此，TCON 2820B可比在热点没有被减弱的情况下更显著 地修改像素值(例如，更大幅地增大)。
在4012，确定显示面板的背光设置，以显示最终视频帧(具有经修改 的像素值)。像素值被增大(即，变亮)得越多，提供给显示面板的背光 就响应于该增大被降低得越多。从而，当热点被减弱并且背景被调低时， 可节省更多的电力。此外，在一些实现方式中，对于被划分为多个区域的 显示面板，TCON 2820B可根据哪个区域正在接受光来以不同的量降低背 光(例如，对背景区域降低背光，对感兴趣的对象提高背光)。在另一显 示面板中，可向整个显示面板提供相同的背光。在4014，提供最终修改后 视频帧以在显示面板2806B上显示，并且根据所确定的背光设置来调整背 光。
转到图41-图43，公开了用于在视频呼叫期间增大用户在显示面板上 的外观的亮度的实施例。图41是设备4100的显示面板中的显示有照明边 界的视频呼叫的示例视频帧的图解表示。作为示例，而不是限制，设备 4100被图示为移动计算设备实现方式。设备4100是移动计算设备122的 示例实现方式。设备4100包括底座4102和带有显示面板4106的盖子4104。显示面板4106可被配置为不具有背光的显示面板，例如有机发光 二极管(OLED)或者微型LED显示面板。盖子4104可被构造为具有围 绕显示面板4106的周边的边框区域4108。面向用户的相机4110可被布置 在盖子4104的边框区域4108中。盖子控制器中枢(LCH)4130和定时控 制器(TCON)4120可被布置在盖子4104中，邻近显示面板4106并且可 操作地耦合到显示面板4106(例如，在盖子外壳、显示监视器外壳中)。 SoC 4140可被定位在另一个外壳(例如，底座外壳、塔)中，并且与 LCH 4130通信地连接。在一个或多个实施例中，显示面板4106可以以类 似于本文描述的一个或多个嵌入式面板(例如，145、280、380、927)的 方式配置来连接到计算设备的盖子中的盖子控制器中枢。在一个或多个实 施例中，LCH 4130表示LCH 155、260、305、954、1705、1860、2830A、 2830B的示例实现方式，SoC 4140表示SoC140、240、340、914、1840、 2840A、2840B的示例实现方式，并且TCON 4120表示TCON 150、250、 355、944、1706、2820A、2820B的示例实现方式。在盖子4104和底座 4102的一个或多个配置中，盖子4104可以可旋转地连接到底座4102。然 而，应当清楚，使得能够实现LCH 4130的设备的许多其他配置和变化可 用于实现如本文所公开的与增大用户在视频呼叫中的外观的亮度相关联的 特征。
来自视频呼叫中的多个视频流的示例缩减图像4112被显示在显示面 板4106上。在这个示例中，从到视频呼叫的不同连接接收的多个缩减视 频帧4114A、4114B、4114C和4114D可被缩减并且在显示面板4106的子 区域中同时显示。子区域可被分配允许在显示面板的剩余空间中形成照明 区域4116的尺寸。在显示面板4106中，子区域被放置在显示面板4106中， 以使得照明区域4116围绕着显示缩减的视频帧的子区域的三侧。
显示面板4106可以是面向用户的(UF)，并且被划分，以允许更亮 的点(例如，在照明区域4116中)，以增大面向用户的图像(例如，用 户脸部、相关内容)的亮度。照明区域4116也将柔和的光照在面向显示 面板4106的用户上，并且因此，在柔和的光照在用户脸上的情况下，由 相机4110捕捉的视频帧可能比通常更明亮。
缩减要显示的图像(或者视频帧)，禁用显示面板4106的照明区域 4116中的像素，以及在OLED面板(或者其他非背光显示面板)上使用带 有背光的光导，这些的组合可实现增大面向用户的图像的亮度，以及增大 捕捉的面向显示面板4106的用户的图像的亮度。首先，LCH 4130可被配 置为缩减从SoC 4140接收的视频帧，以便为照明区域4116腾出空间。在 一个示例中，LCH 4130的视觉/成像模块(例如，2832A)的图像处理算 法(例如，2833A)可基于用户选择的缩放因子或者系统配置的缩放因子 来缩小视频帧。第二，可通过不向照明区域中的像素提供电信号来禁用或 者关闭显示面板4106的照明区域4116的像素。在一实施例中，定时控制 器(TCON)4120可被配置为控制(一个或多个)缩减的最终视频帧在显示面板4106中放置的位置，实际上禁用了不显示该(一个或多个)视频 帧的像素。第三，光导(例如，图42)和发光二极管(LED)背光可与显 示面板4106一起使用，以照亮用户。在子区域中显示的图像中的用户， 以及面向用户的显示面板4106可从照明中受益。
在视频呼叫期间，通过在显示面板中创建照明区域，可实现许多优点。 例如，具有照明区域4116和缩减的图像(或者视频帧)4114A-4114D的 经分配的UF显示面板减轻了OLED显示面板4106的老化/烧损的风险， 从而，显示面板4106的寿命可被延长。此外，一个或多个实施例允许了 窄边框区域(例如，4108)，这是可取的，因为设备越来越多地被设计成 更薄和更小，同时最大限度地扩大显示面板尺寸。此外，通过缩减要显示 的一个或多个图像(视频帧)4114A-4114D，在视频呼叫中不需要整个显 示区域。此外，由于在显示面板的边缘添加LED并没有增大显示器的厚度， 所以没有厚度影响。此外，这个特征(缩减视频帧和创建照明区域)可由 LCH 4130控制，而不涉及在SoC 4140上运行的操作系统。
应当注意，如图41所示，缩减的视频帧和显示缩减视频帧的子区域， 只是用于示例目的。基于特定的需求和偏好，各种实现方式是可能的。一 个或多个被缩减的视频帧可被缩减到任何适当的尺寸，并且被定位在任何 适当的布置中，允许了显示面板4106的至少一些区域被分配为照明区域。 例如，照明区域4116可围绕缩减图像的一侧、两侧、三侧或者更多侧。 缩减的图像可如图41所示以网格格式排列，或者可被分离或者组合成更 小的群组，或者以任何其他适当的布置来定位。此外，可通过调整缩放因 子以适应所需的照明区域来将任何数目的视频帧缩减并且显示在一起。
图42是有机发光二极管(OLED)显示面板4200的可能层的图解表 示。OLED显示面板4200是显示面板4106的一个示例实现方式。OLED 显示面板4200的层可包括OLED层4202、棱镜膜4204、集成单光导层 4206、和反射膜4208。在至少一个实施例中，棱镜膜4204与OLED层 4202的背面相邻，并且集成单光导层4206被布置在棱镜膜4204和反射膜 4208之间。多个发光二极管(LED)4210可与集成单光导层4206的一个 或多个边缘相邻放置。LED 4210提供背光，该背光从反射膜4208上反射 下来并且传播到OLED层4202，以通过OLED层4202提供面向用户的光， 其中包括经由照明区域(例如照明区域4116)的柔和白光。
光导层(例如4210)可以是光导板或者光导面板(LGP)，它大体上 与OLED层平行，并且在OLED层后面分布光线。光导层可由任何(一个 或多个)适当的材料制成，包括但不一定限于由PMMA(聚甲基丙烯酸甲 酯)制成的透明丙烯酸酯。在一个实施例中，LED 4210可与光导层的一个、 两个、三个或者四个外边缘相邻或者邻近地定位。
图43是简化的流程图，图示了用于增大显示器中的面向用户的图像 以及捕捉的面向显示器的用户的图像的亮度的示例过程4300。实现过程 4300的一个或多个操作可由邻近设备4100的显示面板4106并且与之耦合 的盖子控制器中枢(LCH)4130执行。在至少一些实施例中，LCH 4130 和/或TCON 4120中的视觉/成像模块(例如，172、263、363、1740、1863、2832A、2832B)的图像处理算法(例如，2833A)可执行至少一些 操作。
在4302，LCH 4130可从SoC 4140接收一个或多个经解码的视频帧， 该SoC 4140与LCH 4130通信地耦合。在一些场景中，可接收视频呼叫中 的视频流的单个视频帧，以在显示面板4106内分配的子区域中进行显示。 在其他场景中，可从连接到视频呼叫的不同发送者(例如，不同的计算设 备)接收多个视频帧，这些视频帧将被显示在分配的子区域中。
在4304，可确定要应用到要显示的一个或多个视频帧的缩放因子。在 一些场景中，可接收单个频帧以在显示面板4106上显示。在这个场景中， 可选择缩放因子，以将单个视频帧缩小到为要显示的视频帧分配的子区域 的完全尺寸。在另一个场景中，可从不同的来源接收多个视频帧，以在显 示面板4106上同时显示。在这个场景中，可选择单个缩放因子来将每个 视频帧缩小相同的量，以使得它们的组合尺寸适合在分配的子区域内。在 另外一个示例中，可为不同的视频帧选择不同的缩放因子，以按不同的量 缩小视频帧。例如，一个视频帧可能在显示面板4106上更突出，因此可 能比其他视频帧缩小得更少。然而，缩放因子被选择为使得缩小的视频帧 的组合尺寸适合在显示面板4106内分配的子区域内。
在4306，一个或多个视频帧可基于选定的(一个或多个)缩放因子被 缩小。在4308，一个或多个缩减的视频帧可被布置来在分配的(一个或多 个)子区域中显示。例如，对于显示一个视频帧，可做出如下确定：在显 示面板的中间显示缩减的单个视频帧，从而在缩减的单个视频帧的三侧或 四侧形成照明区域。如果要显示四个视频帧，则它们可被布置来在未划分 的子区域中显示，例如，如图41所示，在显示面板的中心以网格格式显 示。在其他实现方式中，多个视频帧可在划分的更小区域中间隔开来，从 而在包含视频帧的每个更小区域之间形成照明区域。缩减的视频帧的许多 布置和放置是可能的，并且可基于特定的需求和/或偏好来实现。
在4310，背光可被通电。在其他实施例中，背光可在计算设备被通电 时通电。在至少一个实施例中，背光可由平行于显示面板4106并且有间 隔地在其后面的光导提供。光导可使用围绕其周边的LED灯，这引起 LED灯提供从反射膜向显示面板4106反射的光，以提供面向用户的。在 4312，提供一个或多个缩减的视频帧，以在分配的子区域(或者划分的子区域)中进行显示。显示面板4106的剩余空间中的像素形成照明区域 (例如，4116)。因为没有向显示面板的照明区域中的像素提供电流，所 以当一个或多个视频帧只在子区域内显示时，这些像素实际上被禁用。从 而，照明区域中的像素变得透明，并且从光导提供的背光通过在显示面板 中创建的照明区域产生柔和的、面向用户的光。
当前描述的视频呼叫管线优化实施例的其他示例包括以下非限制性实 现方式。以下非限制性示例中的每一个都可独立存在，或者可与下文提供 的或者贯穿本公开内容的其他示例中的任何一个或多个按任何排列或组合 方式进行组合。
示例CA1提供了一种装置或系统。该装置可例如是控制器中枢，例如 上文描述的计算设备(例如计算设备100、122、200、300、900、1700- 2300、2800A/B)中的盖子控制器中枢。该系统可例如是用户设备，例如 计算设备100、122、200、300、900、1700-2300、2800A/B。该装置或系 统包括：布置在第一计算设备的盖子中的神经网络加速器，其被配置为从 所述第一计算设备的相机接收视频流，所述神经网络加速器包括第一电路， 用来：在视频呼叫期间接收由相机捕捉的视频帧；识别所述视频帧中的背 景区域；识别所述视频帧中的感兴趣的对象；生成包括用于所述背景区域 的第一标签和用于所述感兴趣的对象的第二标签的分割图谱；并且将所述 分割图谱发送到所述第一计算设备的底座中的处理器上的图像处理模块， 以至少部分地基于所述分割图谱来对所述视频帧编码并且生成在所述背景区域中包括模糊的经编码的视频帧，其中所述经编码的视频帧将被从所述 第一计算设备传输到第二计算设备，以显示在所述第二计算设备上。
示例CA2包括如示例CA1所述的主题，并且所述图像处理模块包括 第二电路，用来将所述经编码的视频帧提供到所述第一计算设备的通信单 元，所述通信单元被配置为将所述经编码的视频帧传输到第二计算设备。
示例CA3包括如示例CA1-CA2的任何一个所述的主题，并且模糊所 述背景区域包括基于背景分辨率参数来降低所述背景区域的分辨率。
示例CA4包括如示例CA1-CA3的任何一个所述的主题，并且所述神 经网络加速器在布置在所述第一计算设备的盖子中的盖子控制器中枢上。
示例CA5包括如示例CA1-CA4的任何一个所述的主题，并且所述神 经网络加速器包括一个或多个神经网络，其中所述一个或多个神经网络包 括完全卷积神经网络来生成所述分割图谱。
示例CA6包括如示例CA1-CA5的任何一个所述的主题，并且所述感 兴趣的对象可以是人类脸部、人类身体、人类脸部和人类身体的组合、动 物、或者能够与人类交互的机器。
示例CA7包括如示例CA1-CA6的任何一个所述的主题，并且所述神 经网络加速器的第一电路还被配置为：在所述视频帧中识别用户的一个或 多个手势；在所述视频帧中识别展示区域，其中所述展示区域是至少部分 地基于与所述一个或多个手势的邻近来识别的；并且使得所述分割图谱包 括用于所述展示区域的第三标签。
示例CA8包括如示例CA7所述的主题，并且所述神经网络加速器的 第一电路还被配置为增大所述展示区域的分辨率，而不增大所述背景区域 的分辨率。
示例CA9包括如示例CA1-CA8的任何一个所述的主题，并且所述神 经网络加速器的第一电路还被配置为在所述视频帧中识别用户的注视方向， 在所述视频帧中识别查看区域，其中所述查看区域是至少部分地基于所述 用户的注视方向来识别的，并且使得所述分割图谱包括用于所述查看区域 的第四标签。
示例CA10包括如示例CA1-CA9的任何一个所述的主题，并且所述 神经网络加速器的第一电路还被配置为在所述视频帧中识别由像素的集群 创建的具有高亮度的局部区域，并且基于减弱亮度参数修改所述像素的集 群中的第一像素值以降低所述局部区域中的高亮度。
示例CA11包括如示例CA10所述的主题，并且所述神经网络加速器 的第一电路还用于，在降低所述局部区域的高亮度之后，基于背景亮度参 数修改所述背景区域中的第二像素值。
示例CA12包括如示例CA11所述的主题，并且所述第二像素值包括 经修改的第一像素值。
示例CA13包括如示例CA1-CA12的任何一个所述的主题，并且所述 分割图谱是基于语义分割或实例分割之一来分割的。
示例CA14包括如以上任何一个示例CA所述的主题，并且还包括示 例AA1-AA16、AB1-AB2、AC1-AC22、AD1-AD10、AG1、AI1、BA1- BA12、BC1-BC12、BE1、BG1或者BH1-BH7的任何一个所述的特征(只 要这些特征不与以上示例CA的特征冗余)。
示例CB1提供了一种方法，包括：由神经网络加速器接收在视频呼叫 期间由第一计算设备的相机捕捉的视频帧，识别所述视频帧中的背景区域， 识别所述视频帧中的感兴趣的对象，由所述神经网络加速器生成包括用于 所述背景区域的第一标签和用于所述感兴趣的对象的第二标签的分割图谱， 并且将所述分割图谱发送到所述第一计算设备的底座中的处理器上的图像 处理模块，以至少部分地基于所述分割图谱来对所述视频帧编码，并且生 成在所述背景区域中包括模糊的经编码的视频帧，其中所述经编码的视频 帧将被从所述第一计算设备传输到第二计算设备，以显示在所述第二计算 设备上。
示例CB2包括如示例CB1所述的主题，并且所述处理器是片上系统 (SoC)。
示例CB3包括如示例CB1-CB2的任何一个所述的主题，并且模糊所 述背景区域包括基于背景分辨率参数来降低所述背景区域的分辨率。
示例CB3.5包括如示例CB1-CB3的任何一个所述的主题，并且所述 神经网络加速器在布置在所述第一计算设备的盖子中的盖子控制器中枢上。
示例CB4包括如示例CB1-CB3的任何一个所述的主题，并且还包括 由所述神经网络加速器执行完全卷积神经网络来生成所述分割图谱。
示例CB5包括如示例CB1-CB4的任何一个所述的主题，并且所述感 兴趣的对象可以是人类脸部、人类身体、人类脸部和人类身体的组合、动 物、或者能够与人类交互的机器。
示例CB6包括如示例CB1-CB5的任何一个所述的主题，并且还包括 在所述视频帧中识别用户的一个或多个手势；在所述视频帧中识别展示区 域，其中所述展示区域是至少部分地基于与所述一个或多个手势的邻近来 识别的；并且使得所述分割图谱包括用于所述展示区域的第三标签。
示例CB7包括如示例CB1-CB6的任何一个所述的主题，并且还包括 在所述视频帧中识别用户的注视方向，在所述视频帧中识别查看区域，并 且使得所述分割图谱包括用于所述查看区域的第四标签，其中所述查看区 域是至少部分地基于所述用户的注视方向来识别的。
示例CB8包括如示例CB7所述的主题，并且还包括增大所述查看区 域的分辨率，而不增大所述背景区域的分辨率。
示例CB9包括如示例CB1-CB8的任何一个所述的主题，并且还包括 在所述视频帧中识别由像素的集群创建的具有高亮度的局部区域，并且基 于减弱亮度参数修改所述像素的集群中的第一像素值以降低所述局部区域 中的高亮度。
示例CB10包括如示例CB9所述的主题，并且还包括，在降低所述局 部区域的高亮度之后，基于背景亮度参数修改所述背景区域中的第二像素 值。
示例CB11包括如示例CB10所述的主题，并且所述第二像素值包括 经修改的第一像素值。
示例CB12包括如示例CB1-CB11的任何一个所述的主题，并且所述 分割图谱是基于语义分割或实例分割之一来分割的。
示例CB13包括如以上任何一个示例CB所述的主题，并且还包括示 例AF1-AF12或者BD1-BD11的任何一个所述的方法的元素(只要这些方 法元素不与以上示例CB的方法元素冗余)。
示例CC1提供了一种计算设备，包括：包含显示面板和相机的盖子外 壳，与所述盖子外壳耦合的底座外壳，与所述显示面板可操作地耦合并且 布置在所述盖子外壳中的第一处理单元，布置在所述底座外壳中的第二处 理单元，以及与所述第一处理单元和所述第二处理单元耦合的图像处理模 块。在示例CC1中，所述第一处理单元可选地接收在视频呼叫期间由所述 相机捕捉的视频帧，识别所述视频帧中的背景区域，识别所述视频帧中的感兴趣的对象，并且生成包括用于所述背景区域的第一标签和用于所述感 兴趣的对象的第二标签的分割图谱。在示例CC1中，所述图像处理模块可 选地从所述第一处理单元接收所述分割图谱，并且至少部分地基于所述分 割图谱来对所述视频帧编码，其中对所述视频帧编码包括模糊所述视频帧 中的所述背景区域。
示例CC2包括如示例CC1所述的主题，并且所述第一处理单元包括 神经网络加速器，并且其中所述第二处理单元是硅芯片(SoC)。
示例CC3包括如示例CC1-CC2的任何一个所述的主题，并且所述神 经网络加速器包括一个或多个神经网络，并且其中所述一个或多个神经网 络包括完全卷积神经网络来生成所述分割图谱。
示例CC4包括如示例CC1-CC3的任何一个所述的主题，并且所述图 像处理模块还被配置为将经编码的视频帧提供到所述计算设备的通信单元， 并且所述通信单元将所述经编码的视频帧传输到另一计算设备。
示例CC5包括如示例CC1-CC4的任何一个所述的主题，并且模糊所 述背景区域包括基于背景分辨率参数来降低所述背景区域的分辨率。
示例CC6包括如示例CC1-CC5的任何一个所述的主题，并且所述感 兴趣的对象可以是人类脸部、人类身体、人类脸部和人类身体的组合、动 物、或者能够与人类交互的机器。
示例CC7包括如示例CC1-CC6的任何一个所述的主题，并且所述第 一处理单元还被配置为在所述视频帧中识别用户的一个或多个手势，在所 述视频帧中识别展示区域，并且使得所述分割图谱包括用于所述展示区域 的第三标签，其中所述展示区域是至少部分地基于与所述一个或多个手势 的邻近来识别的。
示例CC8包括如示例CC7所述的主题，并且所述第一处理单元还被 配置为增大所述展示区域的分辨率，而不增大所述背景区域的分辨率。
示例CC9包括如示例CC1-CC8的任何一个所述的主题，并且所述第 一处理单元还被配置为在所述视频帧中识别用户的注视方向，在所述视频 帧中识别查看区域，并且使得所述分割图谱包括用于所述查看区域的第四 标签，其中所述查看区域是至少部分地基于所述用户的注视方向来识别的。
示例CC10包括如示例CC1-CC9的任何一个所述的主题，并且所述第 一处理单元还被配置为在所述视频帧中识别由像素的集群创建的具有高亮 度的局部区域，并且基于减弱亮度参数修改所述像素的集群中的第一像素 值以降低所述局部区域中的高亮度。
示例CC11包括如示例CC10所述的主题，并且所述第一处理单元还 被配置为，在降低所述局部区域的高亮度之后，基于背景亮度参数修改所 述背景区域中的第二像素值。
示例CC12包括如示例CC11所述的主题，并且所述第二像素值包括 经修改的第一像素值。
示例CC13包括如示例CC1-CC12的任何一个所述的主题，并且所述 分割图谱是基于语义分割或实例分割之一来分割的。
示例CC14包括如以上任何一个示例CC所述的主题，并且还包括示 例AA1-AA16、AG1、BA1-BA12或者BE1的任何一个所述的特征(只要 这些特征不与以上示例CC的特征冗余)。
示例CD1提供了一种系统，包括显示面板，与所述显示面板耦合的处 理器，定时控制器，以及用来向所述显示面板提供背光的光源。在示例 CD1中，所述显示面板包括包含第一像素的子区域，以及包含第二像素的 照明区域。在示例CD1中，所述处理器被配置为执行一个或多个指令以接 收与视频呼叫相关联的第一视频流的第一视频帧，至少部分地基于要同时 显示的视频帧的数目选择第一缩放因子来缩小所述第一视频帧，并且基于 所述第一缩放因子来生成第一缩减视频帧。在示例CD1中，所述定时控制 器提供所述第一缩减视频帧来在所述显示面板的子区域中显示，其中所述 照明区域的第二像素被禁用。
示例CD2包括如示例CD1所述的主题，并且提供给所述显示面板的 背光经由所述照明区域中的第二像素产生面向用户的光。
示例CD3包括如示例CD1-CD2的任何一个所述的主题，并且所述显 示面板是有机发光二极管(OLED)或者微型LED显示面板之一。
示例CD4包括如示例CD1-CD3的任何一个所述的主题，并且所述显 示面板包括与所述显示面板的背面间隔开的反射膜，其中所述光源包括布 置在所述显示面板和所述反射膜之间的光导构件，以及在所述构件的边缘 处的一个或多个发光二极管(LED)。在示例CD4中，所述背光发源自所 述一个或多个LED并且被所述反射膜反射到所述显示面板的背面。
示例CD4.5包括如示例CD4所述的主题，并且棱镜层被布置在所述 显示面板和所述光导构件之间。
示例CD5包括如示例CD1-CD4的任何一个所述的主题，并且所述照 明区域与所述子区域的至少一侧相邻。
示例CD6包括如示例CD1-CD5的任何一个所述的主题，并且所述处 理器被配置为进一步执行所述一个或多个指令，以接收与所述视频呼叫相 关联的第二视频流的第二视频帧，并且基于第二缩放因子来生成第二缩减 视频帧，其中所述定时控制器提供所述第二缩减视频帧来与所述第一缩减 视频帧同时显示在所述显示面板的子区域中。
示例CD7包括如示例CD6所述的主题，并且所述第一缩放因子和所 述第二缩放因子相等。
示例CD8包括如示例CD6所述的主题，并且所述第一缩放因子比所 述第二缩放因子引起更大幅的缩小。
示例CD9包括如示例CD1-CD8的任何一个所述的主题，并且所述子 区域被划分成第一更小区域和第二更小区域，其中所述第一视频帧被提供 来在所述第一更小区域中显示并且所述第二缩减视频帧被提供来在所述第 二更小区域中显示。
示例CD10包括如示例CD1-CD9的任何一个所述的主题，并且所述 子区域是所述显示面板中的未划分区域。
示例CD11包括如示例CD1-CD10的任何一个所述的主题，并且还包 括示例AB1-AB2、AC1-AC22、AD1-AD10、AI1、BC1-BC12、BG1或 BH1-BH7的任何一个所述的特征(只要这些特征不与示例CD1-CD10的特 征冗余)。
示例CE1提供了一种方法，包括：由与显示设备的显示面板耦合的处 理器接收与视频呼叫相关联的第一视频流的第一视频帧，至少部分地基于 要同时显示的视频帧的数目选择第一缩放因子来缩小所述第一视频帧，基 于所述第一缩放因子来生成第一缩减视频帧，并且由定时控制器提供所述 第一缩减视频帧来在所述显示面板的子区域中显示，并且由光源向所述显 示面板提供背光，其中所述子区域包括第一像素并且所述显示面板的照明 区域包括被禁用的第二像素。
示例CE2包括如示例CE1所述的主题，并且提供给所述显示面板的 背光经由所述照明区域中的第二像素产生面向用户的光。
示例CE3包括如示例CE1-CE2的任何一个所述的主题，并且所述显 示面板是有机发光二极管(OLED)之一。
示例CE4包括如示例CE1-CE3的任何一个所述的主题，并且所述显 示面板包括与所述显示面板的背面间隔开的反射膜，其中所述光源包括与 所述显示面板相邻的棱镜层，布置在所述棱镜膜和所述反射膜之间的光导 构件，以及在所述构件的边缘处的一个或多个发光二极管(LED)。在示 例CD4中，所述背光发源自所述一个或多个LED并且被所述反射膜反射 到所述显示面板的背面。
示例CE5包括如示例CE1-CE4的任何一个所述的主题，并且所述照 明区域与所述子区域的至少一侧相邻。
示例CE6包括如示例CE1-CE5的任何一个所述的主题，并且所述方 法还包括接收与所述视频呼叫相关联的第二视频流的第二视频帧，并且基 于第二缩放因子来生成第二缩减视频帧，其中所述定时控制器提供所述第 二缩减视频帧来与所述第一缩减视频帧同时显示在所述显示面板的子区域 中。
示例CE7包括如示例CE6所述的主题，并且所述第一缩放因子和所 述第二缩放因子相等。
示例CE8包括如示例CE6所述的主题，并且所述第一缩放因子比所 述第二缩放因子引起更大幅的缩小。
示例CE9包括如示例CE1-CE8的任何一个所述的主题，并且所述方 法还包括将所述子区域划分成第一更小区域和第二更小区域，并且提供所 述第一视频帧来在所述第一更小区域中显示，并且提供所述第二缩减视频 帧来在所述第二更小区域中显示。
示例CE10包括如示例CE1-CE9的任何一个所述的主题，并且所述子 区域是所述显示面板中的未划分区域。
示例CE11包括如以上任何一个示例CE所述的主题，并且还包括示 例AF1-AF12、BD1-BD11或CB1-CB13的任何一个所述的方法的元素 (只要这些方法元素不与以上示例CE的方法元素冗余)。
示例CF1提供了一种装置，包括用于执行如示例CB1-CB13或者 CE1-CE11的任何一个所述的方法的装置。
示例CF2包括如示例CF1所述的主题，并且所述用于执行方法的装置 包括至少一个处理器和至少一个存储器元件。
示例CF3包括如示例CF2所述的主题，并且所述至少一个存储器元件 包括机器可读指令，所述指令当被执行时，使得所述装置执行如任何一个 在前示例所述的方法。
示例CF4包括如示例CF1-CF3的任何一个所述的主题，其中所述装 置是以下之一：计算系统、处理元件、或者片上系统。
示例CF5包括如以上任何一个示例CF所述的主题，并且还包括示例 AA1-AA16、AG1、BA1-BA12或者BE1的任何一个所述的特征(只要这 些特征不与以上示例CF的特征冗余)。
示例CG1提供了至少一个机器可读存储介质，包括指令，其中所述指 令当被执行时，实现如在前示例CA1-CA14、CB1-CB13、CC1-CC14、 CD1-CD11、CE1-CE11或者CF1-CF5的任何一个所述的装置、系统或者 方法。
示例CH1包括一种显示面板，包括：有机发光二极管(OLED)层， 该OLED层具有大体上平面的形状，包括面向外的显示面板和面向内的背 面；光导层，具有由第一对相对外边缘连接的上侧和下侧；布置在所述 OLED层和所述光导层之间的棱镜膜；具有与所述光导层的下侧相对的上 侧的反射膜；以及与所述光导层相邻的多个灯。在示例CH1中，所述光导层与所述OLED层的面向内的背面大体平行并且间隔开，并且所述OLED 层的下侧从所述OLED层面向外。
示例CH2包括如示例CH1所述的主题，并且多个灯邻近所述第一对 相对外侧边缘。
示例CH3包括如示例CH1-CH2的任何一个所述的主题，并且所述光 导包括相对于所述第一对相对边缘大体上垂直布置的第二对相对边缘，其 中多个额外的灯邻近所述第二对相对边缘。
示例CH4包括如示例CH1-CH3的任何一个所述的主题，并且所述第 一对相对边缘和所述第二对相对边缘形成大体上矩形的形状。
示例CH5包括如示例CH1-CH4的任何一个所述的主题，并且所述多 个额外的灯包括发光二极管。
示例CH6包括如示例CH1-CH5的任何一个所述的主题，并且所述多 个灯包括发光二极管。
示例CH7包括如示例CH1-CH6的任何一个所述的主题，并且所述显 示面板被配置为嵌入在计算设备的盖子中。
示例CH8包括如示例CH7所述的主题，并且所述显示面板被配置为 可操作地连接到所述计算设备的盖子中的定时控制器并且从所述定时控制 器接收信号以驱动视频数据来显示在所述OLED层上。
示例CH9包括如以上任何一个示例CH所述的主题，并且还包括示例 AA1-AA16、AB1-AB2、AC1-AC22、AD1-AD10、AG1、AI1、BA1-BA12、 BC1-BC12、BE1、BG1、BH1-BH7、CA1-CA14的任何一个所述的特征 (只要这些特征不与以上示例CH的特征冗余)。
多显示器计算系统的显示管理
可包括背光和面板电子装置的显示器电源在当今的系统上消耗了大量 的电力。计算系统中的显示器可能会引发系统总功率的百分之四十到六十 (40-60％)。当有多个外部显示器时，SoC和系统功率显著增大。例如， 由于渲染额外的高分辨率显示器，连接到两个4K监视器可能会招致显著 更高的功率成本。
许多当前计算设备在功率模式之间切换，以节省能量，延长电池的寿 命，和/或防止某些显示屏幕上的烧损。然而，在计算系统中实现的能量效 率技术，如果损害了系统的响应性或者性能，则可能会对用户体验产生负 面影响。
为显示器节省电力和能量的显示管理解决方案涉及来自单个显示系统 的用户存在检测，其中如果没有检测到用户，则显示面板就会被调暗或者 关闭。例如，背光可被调暗，以使得亮度被降低，或者背光可被完全关闭。 例如，基于软件的解决方案可确定用户的脸部是否朝向单个显示器，并且 相应地调暗或者关闭该显示器。然而，基于软件的解决方案会引发大量的 功率，例如在瓦特范围的量。此外，基于软件的解决方案只能够处理嵌入式显示器，并且在确定何时关闭该显示器时需要更加保守。此外，这些单 显示器解决方案只有单显示器的视野那么大的精度。
单显示器用户存在解决方案不能适当地集体或者有效地管理电池寿命、 响应能力增益以及隐私和安全性特征。在单显示器系统中，获得来自一个 显示器的仅一个输入，这限制了可用于有效地管理多显示器场景的数据量。 取决于支持用户存在的系统被放置于何处，该系统可能无法有效地接收关 于用户何时接近其计算系统(例如，在工作站、办公桌)以及他们位于其 计算系统时正在看哪里的准确信息。此外，如果用户闭合其具有单显示器 用户存在解决方案的膝上型电脑，那么就没有办法来管理外部监视显示器 并且节省电力，如果用户从该外部监视器转移目光的话。当膝上型电脑被 闭合时，外部监视器将不能对任何用户存在行为作出响应。
外部和高分辨率显示器(例如，4K显示器)正越来越多地被用于扩 展的显示场景中。然而，这种显示器显著增大了显示器和系统的电力和能 量。这些解决方案没有用于处理用户存在以节省电力和能量的方法，这可 能会影响满足某些州和/或联邦认证，例如加州能量委员会和能量之星。高 分辨率也可对性能产生百分之五十(50％)或者更多的影响，这可能会进 一步降低用户体验。
在另一示例中，认证软件(例如，
Figure BDA0003212949650001241
Windows
Figure BDA0003212949650001242
认证软 件)允许了用户在每个监视器上放置一个夹式相机，并且在用户的注意力 所指向的监视器上运行脸部认证。这种解决方案只可用于当用户在显示面 板前面位于合适的距离和朝向时认证(例如，通过面部识别)用户和使用 户登录。这些认证解决方案并没有解决基于用户存在来管理显示功率和亮 度。
最近的发展包括一种低功率组件，其提供人类存在和注意力感测，以 基于用户存在和注意力通过不同操作模式提供隐私和安全。虽然对膝上型 电脑或者其他单个设备实现方式具有重要意义，但这些进展并且没有解决 当今最常见的计算环境中围绕多个显示模块的问题。
在当今的计算环境中，无论是在办公室还是在家中，用户将其膝上型 电脑坞接在其工作站处，是很常见的。研究表明，公司用户大约有百分之 八十(80％)的时间是在坞接的场景中工作的。一个常见的场景是，用户 将其膝上型电脑坞接并且主要在带有外部监视器的坞接站上工作，其中外 部监视器可以是较大的主显示器，用户在大部分坞接时间中都与该显示器 接触。
实施例提供了一种计算系统，该计算系统包括第一显示设备，该第一 显示设备包括第一显示面板、第一相机和第一电路，以基于第一相机捕捉 的第一图像传感器数据生成第一图像元数据；以及第二显示设备，该第二 显示设备包括第二显示面板、第二相机和第二电路，以基于第二相机捕捉 的第二图像传感器数据生成第二图像元数据。计算系统可进一步包括与第 一显示设备和第二显示设备可操作地耦合的处理器。该处理器被配置为基于图像元数据为显示设备选择操作模式。例如，处理器可基于第一图像元 数据为第一显示设备选择第一操作模式，并且基于第二图像元数据为第二 显示设备选择第二操作模式。
第一和第二图像元数据例如可分别指示出用户是否在与第一显示设备 或者第二显示设备接触，并且可基于该指示来选择个体显示设备的操作模 式。对用户与显示设备的接触或者脱离的检测可例如基于脸部识别。例如， 第一电路可在第一图像传感器数据中检测用户的脸部；基于在第一图像传 感器数据中检测到用户的脸部，确定用户存在于第一相机的第一视野中； 基于第一图像传感器数据，确定用户的脸部的第一朝向；并且至少部分地 基于用户的脸部的第一朝向，确定用户是否与第一显示设备接触或者脱离。 第二电路可执行类似的操作，以确定用户是否与第二显示设备接触或者脱 离。如果用户与这些显示设备中的特定一个脱离，则可为该一个显示设备 选择一种操作模式，其中该一个显示设备的显示面板的背光的亮度在一段 时间中被逐步降低，直到发生用户事件为止或者直到背光被降低到预定的 最低亮度水平为止(或者直到背光甚至被关闭为止)。
用户存在可用于解锁计算系统和/或认证用户。例如，计算系统的处理 器可进一步确定对计算系统的访问被锁定，确定认证机制当前没有在第二 显示设备上运行；触发认证机制以经由用户与之接触的显示设备来认证用 户；并且让其他显示设备保持关闭，直到用户得到认证为止。
图44A-图44B展示了在膝上型电脑与一个另外的外部监视器相连接 的计算系统中，用户可能的注意力的情景。图44A包括用户4402、膝上 型电脑4412和与膝上型电脑4412通信耦合的外部监视器4424。膝上型电 脑4412包括在膝上型电脑的盖子4414中的主显示面板4416和与盖子耦合 的面向用户的相机4410。外部监视器4424包括辅显示面板4426。只有膝 上型电脑4412启用了用户存在和注意力检测，其中用户存在策略可基于 用户是否脱离或者不存在于该单个嵌入式主显示面板4416而调暗显示器 和/或将其完全关闭。因为膝上型电脑4412是唯一使能了用户存在和注意 力检测的系统，那么该系统就是唯一一个可基于用户的注意力，即基于该 显示器的视角，来调暗或者关闭其嵌入式显示面板的系统。从而，显示管 理可只被应用于膝上型电脑中的主显示面板，或者其可被统一应用于所有屏幕。
在图44A中，当用户的注意力指向主显示面板4416时，如4404A处 所示，膝上型电脑4412可检测到用户的脸部和存在，并且发起(或者维 持)适当的操作模式，以使得能够使用膝上型电脑及其主显示面板4416， 而外部监视器4424也保持开启，并且招致电力和能量。当用户的注意力 指向外部监视器4424的辅显示面板4426时，如图44B中的4404B处所示， 膝上型电脑4412可向其主显示面板4416应用显示管理。在显示管理被统 一应用于两个监视器的情况下，那么应用于主显示面板4416的任何变化 (例如，调暗、睡眠模式)也被应用于辅显示面板4426，即使用户在与辅 显示面板4426接触。
存在许多多屏幕和坞接配置。在另一示例中，图45A-图45C展示了 在膝上型电脑与两个另外的外部监视器连接的计算系统中，用户可能的注 意力的情景。图45A包括用户4502、膝上型电脑4512以及与膝上型电脑 4512通信地耦合的第一和第二外部监视器4524和4534。膝上型电脑4512 包括在膝上型电脑的盖子4514中的主显示面板4516和与主显示面板耦合 的相机4510，包括图像传感器。外部监视器4524包括辅显示面板4526， 并且外部监视器4534也包括辅显示面板4536。只有膝上型电脑4512启用 了用户存在和注意力检测。用户可接触并且专注于三个监视器中的任何一 个。因为膝上型电脑4512是唯一使能了用户存在和注意力检测的系统， 那么该系统就是唯一一个可基于用户的注意力，即基于该显示器的视角， 来调暗或者关闭其嵌入式显示器的系统。如果用户只保持接触那台膝上型电脑显示器，那么其他两个监视器将保持通电，因为它们不向策略提供任 何基于用户存在的输入。从而，显示管理可只被应用于膝上型电脑中的显 示面板，或者其可被统一应用于所有三个屏幕。
在图45A中，当用户的注意力指向膝上型电脑4512的主显示面板4516时，如4504A所表明地，膝上型电脑4512可检测到用户的脸部和存 在，并且发起(或者维持)适当的操作模式，以使得能够使用该系统，而 两个外部监视器4524和4534也保持通电，并且招致电力和能量。当用户 的注意力指向中间屏幕时，如图45B中的4504B所表明地，膝上型电脑 4512可将显示管理应用于其主显示面板4516，而辅显示面板4536将保持 通电并且招致电力和能量。这也可能使用户体验不那么理想，因为只有一 个显示器可处理调暗策略，而其他外部监视器保持开启。类似地，当用户 的注意力指向最后一个屏幕时，如图45C中的4504C所表明地，膝上型电 脑4512可将显示管理应用于其主显示面板4516，而中间显示面板4526将保持通电并且招致电力和能量。
本文所公开的基于用户存在和注意力的多显示器和坞接场景的显示器 功率管理可解决这些问题。本文描述的实施例将单个显示器策略扩展到处 理多个显示器，以根据全局集体策略无缝地管理每个个体显示面板。本文 公开的实施例使得多显示器计算系统中的主显示设备(例如，移动计算设 备中的包含嵌入式显示面板的盖子、连接到桌面的监视器)，以及多显示 器计算系统中的一个或多个辅显示器(例如，外部监视器)，能够执行用户存在和注意力检测，以及基于该检测的个性化显示管理。从而，显示设 备的任何显示面板都可根据用户的行为被调暗和/或关闭。可以实现策略， 来以一致的方式管理多个显示面板(例如，计算设备的主显示面板和与计 算设备可操作地耦合的外部监视器中的一个或多个其他显示面板)。示例 可包括策略来适应在来自多个显示设备的任何一者的脸部检测时唤醒系统， 基于用户对特定显示设备的注意力自适应地调暗显示面板(例如，通过降 低背光)，如果检测到用户(即使用户没有与计算系统交互)则防止锁定 显示面板，以及在不再由任何显示设备检测到使用时锁定计算系统。
在一个或多个实施例中，盖子控制器中枢，例如LCH 155、260、305、 954、1705、1860、2830A、2830B，或者其至少某些特征，可用于实现针 对多显示器和坞接场景的基于用户存在和注意力的显示管理。本文公开的 实施例可智能地处理从每个显示器(例如，经由各个LCH)接收的输入， 以基于用户存在和注意力数据无缝地调暗或者关闭每个显示器。在一个或 多个实施例中，甚至在用户坐下来之前，系统就可被触发唤醒。此外，可 通过为每个显示器使用一相机来扩大可检测到用户的区域。当用户已经登 录时，甚至在系统的任何使用之前，系统也可被触发唤醒。本文的实施例 还提供了防止系统基于用户在多个显示器的任何一者处的存在而调暗显示 面板或者将系统设置在低功率状态中，即使用户没有活跃地与系统交互。 因此，当多于一个(或者所有)的显示器可提供用户存在和注意力检测时， 可节省电力和能量，并且改善用户体验。
转到图46，图46是图示了多显示器系统4600的可能细节的简化框图， 其中可以实现基于用户存在的显示管理的实施例，以应用全局策略来处理 多个显示设备。在一个或多个实施例中，每个显示设备被调整为提供自己 的用户存在和注意力输入。多显示器系统4600可包括计算设备4605，例 如膝上型电脑或者任何其他移动计算设备，其连接到一个或多个额外的显 示设备。在至少一个示例中，计算设备4605(及其组件)表示本文公开的 其他计算设备(及其组件)(例如，100、122、200、300、900、1700- 2300、2800A、2800B)的示例实现方式。示例系统4600中的额外显示设 备体现为第一外部监视器4620和第二外部监视器4630。在一个可能的实 现方式中，外部监视器4620和4630可经由坞接站4650坞接到计算设备 4605。然而，应当清楚，其他实现方式也是可能的。例如，外部监视器 4620和4630可直接连接到计算设备4605(例如，经由计算设备上的 HDMI端口)，或者可使用任何其他适当的手段连接到计算设备4605。
计算设备4605可配置有底座4606和盖子4610。处理元件4608，例 如片上系统(SoC)或者中央处理单元(CPU)，可布置在底座4606中。 显示面板4612和面向用户的相机4614可布置在盖子4610中。外部监视器 4620和4630也配置有各自的显示面板4622和4632以及各自的相机4624 和4634。
每个显示设备，包括计算设备的主显示设备(例如，4612)和连接到 计算设备的一个或多个额外的外部(或者辅)显示设备(例如，4620、 4630)，可配置有其自身的基于视觉的分析器集成电路(IC)，其可包括 包含本文描述的一个或多个盖子控制器中枢(例如，LCH155、260、305、954、1705、1860、2830A、2830B)的一些或全部特征。例如，基于视觉 的分析器IC 4640A被布置在计算设备4605的盖子4610中，基于视觉的分 析器IC 4640B被布置在第一外部监视器4620中，并且基于视觉的分析器 IC 4640C被布置在第二外部监视器4630的外部。
基于视觉的分析器IC 4640A、4640B和4640C各自包括执行机器学习 算法的电路，这些算法可基于由关联相机生成的图像传感器数据，在来自 其各自相机4614、4624和4634的成像视野中执行用户存在检测、脸部检 测和脸部朝向检测。基于视觉的分析器IC4640A、4640B和4640C可基于 各自的相机4614、4624和4634生成的各自的图像传感器数据，生成各自 的图像元数据。由与给定相机相关联的给定的基于视觉的分析器IC生成 的图像元数据可指示出用户是否存在于给定相机的视野中，接触与给定相 机相关联的显示面板，脱离与给定相机相关联的显示面板，和/或不存在于 给定相机的视野中。
由基于视觉的分析器IC 4640A、4640B和4640C生成的图像元数据可 被提供给SoC4608，该SoC 4608可以选择性地控制影响多个显示设备 4610、4620和4630以及多个显示设备坞接或者以其他方式连接到的计算 设备4605的功率水平和/或性能水平的特定性能参数的设置。可根据基于 用户存在、用户不存在、用户接触和/或用户脱离每个显示设备而定义的策 略来控制显示设备的设置。由于为每个显示设备(例如，计算设备的主显 示设备和(一个或多个)外部监视器的次显示设备)实现了专用的相机和 基于视觉的分析器IC，因此可以更准确地管理基于用户存在的策略。基于 用户存在的策略的示例可包括，但不一定限于，当检测到用户时，用于唤 醒系统的脸部和头部存在和朝向检测，当用户不注意时自适应地调暗显示 面板，当用户存在时不锁定系统，以及当用户不存在时锁定系统。与显示 面板的相机耦合的每个基于视觉的分析器IC可提供输入，该输入指示出 用户从独特的视野接近其显示设备，这可改善唤醒系统和触发脸部认证的 准确性和速度。另外，对于每个显示器单独地和集体地，可提供更多的准 确性来管理显示设备(例如，当用户脱离或者不在时，调暗或者关闭显示 面板的背光)。重要的是，当一个或多个显示面板可通过调整背光而被变 暗或者关闭时，和/或当显示面板刷新率和渲染对于一个或多个显示面板可 被降低时，功率和性能可以改善。至少在用于多显示器计算系统的显示管 理的实施例的情境中，可通过将显示面板的背光调整为降低的亮度来调暗 显示面板，并且在不向显示面板提供背光时将显示面板关闭。然而，应当 注意，即使没有向显示面板提供背光，从而显示面板实际上被关闭，相机 4614、4624和4634也可被配置为“始终开启”使用，从而每个相机可继 续捕捉图像并且生成图像传感器数据，并且基于视觉的分析器IC 4640A、 4640B和4640B可继续评估图像传感器数据。
在一个或多个实施例中，可以为多显示器系统(例如，4600)中的每 个显示设备配设专用的基于视觉的分析器IC。实施例允许了基于视觉的分 析器IC被集成到显示设备中，或者被配置为显示设备的附加设备。例如， 在一些情况下，专用的基于视觉的分析器IC可被集成到计算设备的盖子 中和外部监视器中。然而，在其他场景中，基于视觉的分析器IC可被配 置为电子狗(dongle)或者能够被连接到计算系统中的任何显示设备并且 与之一起使用的其他小型设备。例如，在系统4600中，计算设备4605的 盖子4610和第一外部监视器4620可具有各自的集成的基于视觉的分析器 IC 4640A和4640B。然而，第二外部监视器4630可以有附加的基于视觉 的分析器IC 4640C。在一个示例中，附加的基于视觉的分析器IC 4640C 可与它自己的相机集成并且被附着到第二外部监视器4630的外壳，以使 得外部相机被定位为捕捉第二外部监视器4630的适当成像视野的图像。 在另一示例中，第二外部监视器4630可配置有端口，该端口允许了附加 的基于视觉的分析器IC 4640C连接嵌入在第二外部监视器中的相机，例如 相机4634。
图47是图示出多显示器系统中的相机的可能视野的俯视图。在这个 示例场景中，示出了第一显示设备4710、第二显示设备4720和第三显示 设备4730的俯视图。至少一个显示设备可被配置为计算设备的一部分 (例如，计算设备4605的盖子4610)。另外两个显示设备可体现为外部 监视器(例如，4620、4630)或者包括与计算设备可操作地耦合的显示面板的其他设备。第一显示设备4710包括第一显示面板4712和第一面向用 户的相机4714，第二显示设备4720包括第二显示面板4722和第二相机 4724，并且第三显示设备4730包括第三显示面板4732和第三相机4734。 每个相机可被配置为始终开启使用，并且可面向其关联显示面板的方向。 每个相机4714、4724和4734可布置在围绕其各自的显示面板4712、4722或者4732的边框区域中，耦合到其各自的显示面板4712、4722或者4732， 从外部附着到其各自的显示设备4710、4720或者4730，并且/或者位于其 各自的显示设备或者关联计算设备的另一部分上。
在至少一个实施例中，每个相机与成像视野(FoV)相关联，并且可 包括(或者可操作地耦合到)适当的图像传感器，用于检测可能指示出用 户在相机的成像FoV中的存在的运动和/或光线。例如，第一相机4714与 在虚线4717和4719之间张开的第一成像FoV 4718相关联。第二相机 4724与在虚线4727和4729之间张开的第二成像FoV 4728相关联。第三相机4734与在虚线4737和4739之间张开的第三成像FoV 4738相关联。 在图47的示例中，第一相机4714生成表示在成像FoV 4718内可见的第一 显示设备4710周围的区域的图像的图像传感器数据。第二相机4724生成 表示在第二成像FoV 4728内可见的第二显示设备4720周围的区域的图像 的图像传感器数据。第三相机4734生成表示在第三成像FoV 4738内可见 的第三显示设备4730周围的区域的图像的图像传感器数据。
如图47所示，取决于多显示器系统的布置，成像FoV可重叠。在这 个示例中，与显示设备4710、4720和4730相关联的成像FoV 4718、4728 和4738重叠，以创建大于单个相机的FoV的扩展区域，其中用户的存在 可由相机4714、4724和4734中的一个或多个感测到。应当注意，尽管图 47中所示的多个设备是沿着大体笔直的线布置的，但许多其他配置是可能的。例如，任何一个显示设备都可基于用户的特定需要和偏好来调整角度 或者转动。不同的布置(例如，角度、倾斜、位置)可导致不同的视野和 多个相机的视野的不同重叠部分。
图48A-图48C是图示出用户相对于显示设备的可能的头部/脸部朝向 的俯视图。在这些示例场景中，示出了显示设备4810，其包括显示面板 4812和面向用户的相机4814。也示出了用户4802，其定位在显示面板4812的对面，从而用户可查看显示面板。在这个示例中，用户4802位于 相机4814的视野(FoV)内，从而，由相机4814生成的图像传感器数据 可包括表示用户4802的数据。出于图示目的，脸部朝向4804A-4804D指 示出用户4802的注视相对于显示面板4812的示例方向。在一个或多个示 例中，脸部朝向或注视方向从用户的脸部(例如，用户脸部的中心，例如 鼻子、眼睛之间的中心点、嘴唇的中心点)垂直延伸。显示设备4810表 示计算设备的示例盖子(例如，计算设备4605的盖子4610)或者外部监 视器(例如，4620、4630)或者具有可操作地耦合到计算设备的显示面板 的其他设备。
在一个或多个实施例中，由相机4814生成的图像传感器数据可被基 于视觉的分析器IC(例如，4640A、4640B、4640C)分析，以确定用户是 否存在于相机的成像视野(FoV)中，如参考图47所述。此外，当确定用 户存在于相机4814的成像FoV中时，基于视觉的分析器IC可确定用户 4802相对于显示面板4812的脸部朝向。(一个或多个)机器学习算法可 用于训练基于视觉的分析器IC来识别人类面部特征，并且基于对这种面 部特征的识别，确定用户的脸部朝向，即用户的头部/脸部在关联相机的成 像视野(FoV)内的位置。在至少一个实施例中，可从所识别的脸部朝向 以及定义用户的脸部和/或注视方向的最大旋转角度的参数中推断出用户的 意图(例如，接触、脱离)。
在一个或多个实施例中，确定用户4802是否接触或者脱离显示面板 4812可通过确定用户的脸部相对于显示面板4812的旋转角度是否在用户 4802和显示面板4812之间的第一级区域内来完成。在一个示例中，用户 的脸部相对于显示面板4812的旋转角度可被计算为在直接显示路径(例 如，4803)和用户的脸部朝向或者注视方向(例如，4804A-4804D)之间 定义的角度。直接显示路径(例如，4803)可被定义为从相机4814到用 户4802的一般直接路径，因为相机通常邻近显示面板。用户的头部朝向 (例如，4804A-4804D)可对应于从用户的脸部(例如，从鼻子、嘴唇的 中心、眼睛之间的前额中心)延伸的垂直方向。第一级区域可被定义为用 户脸部向直接显示路径左侧的第一级最大旋转角度和用户脸部向直接显示 路径右侧的第一级最大旋转角度之间的区域。在一个或多个实现方式中， 向左的第一级最大旋转角度与向右的第一级最大旋转角度相同，并且可以 例如是四十五度(45°)。在至少一个实施例中，第一级最大旋转角度可以 是用户和/或系统可配置的。
如图48A-图48C所示，直接显示路径4803和脸部朝向4804A-4804D 指示出用户的脸部朝向相对于显示面板4812的可能情景，从中可推断出 用户4802与显示面板4812接触或者不接触。一般而言，如果用户4802面 朝着显示面板4812(不管用户是位于显示面板4812的正前方还是位于相 机4814的成像FoV内的其他位置)，那么基于视觉的分析器IC可推断出 用户对显示面板上渲染的内容感兴趣(例如，接触)，并且因此，不希望 计算设备的操作或者显示面板4812的亮度受到负面影响。在另一场景中， 如果用户4802相对于从用户到显示面板4812的直接显示路径转向任何一 侧，但没有完全从显示面板4812转开，那么基于视觉的分析器IC可推断 出用户当前对显示面板4812上渲染的内容不感兴趣(例如，存在但脱 离)，但仍然存在并且参与计算设备的操作。例如，用户4802可能坐在 他或她的办公桌前，在与相机4814相关联的成像FoV内，但转向一侧以 查看坞接的外部监视器的第二显示面板。从而，虽然用户可能脱离了显示 面板4812，但用户可能对外部监视器的第二显示面板上渲染的内容感兴趣， 并且因此，可能希望计算设备的操作继续。在这种情况下，假设用户不把 他或她的注意力重新指向显示面板4812，显示面板4812可随着时间的推 移被逐步调暗(例如，背光的亮度被降低)。然而，与外部监视器相关联 的基于视觉的分析器IC可确定，用户4802存在并且与外部监视器中的第 二显示面板接触。从而，在这个场景中，计算设备和外部监视器的第二显 示面板的操作不会受到负面影响(例如，显示面板被调暗、SoC转变到低 功率状态中)。一般而言，可基于推断的用户4802的接触来调整计算设 备、显示面板4812和外部监视器的第二显示面板的性能，以增大性能来 改善用户体验(例如，当用户接触时)或者降低性能以节约电力(例如， 当用户存在并且脱离时或者当用户不存在时)。
在至少一个实施例中，可基于识别用户存在/不存在和检测到的人类脸 部的脸部朝向来生成指示出用户相对于显示面板4812的存在、不存在、 接触或者脱离的图像元数据。该图像元数据可被提供给与显示设备4810 的基于视觉的分析器IC通信地耦合的计算设备的处理元件(例如，计算 设备4605的SoC 4608)。基于对用户是否接触、脱离、存在和/或不存在 的指示，以及基于一个或多个预定义的规则，计算设备可控制影响显示设 备4810的功率水平和/或性能水平的特定性能参数的设置。
在图48A所示的第一示例中，基于视觉的分析器IC可基于确定用户 的脸部朝向4804A在第一级区域4818内，来确定用户4802相对于显示面 板4812是存在并且接触的。在一个实现方式中，第一级区域4818可向直 接显示路径4803的左侧延伸四十五度(45°)并且向其右侧延伸四十五度 (45°)。在这个示例中，第一级区域4818可在表示向右的第一级最大旋 转角度的虚线4817和表示向左的第一级最大旋转角度的虚线4819之间张 开大约九十度(90°)。用户的脸部朝向4804A，与直接显示路径4803形 成一旋转角度，该旋转角度小于虚线4817所指示的向右的第一级最大旋 转角度。因此，用户的脸部朝向4804A在第一级区域4818内。因此，基 于视觉的分析器IC可推断出用户4802在与显示面板4812接触(例如，对 显示面板4812上渲染的内容感兴趣)，即使用户4802当前没有与用户接 口(例如，键盘、触摸板、鼠标、触摸屏)交互。
在图48B所示的第二示例中，基于视觉的分析器IC可基于确定用户 的脸部朝向4804B或4804C在第二级区域4828B或4828C内，而确定用 户4802相对于显示面板4812是存在的但没有接触。在一个实现方式中， 每个第二级区域4828B和4828C位于第一级区域4818之外，但不超过从 直接显示路径向左或者向右的第二级最大旋转角度。在一个示例中，从直 接显示路径4803的第二级最大旋转角度是虚线4829处指示的向左九十度 (90°)和虚线4827处指示的向右九十度(90°)。左侧和右侧的第二级区 域可各自张成大约四十五度(45°)，并且可在虚线4819和4829之间以及 虚线4817和4827之间定义。在图48B的一个场景中，用户的脸部朝向 4804C与直接显示路径4803形成一个旋转角度，该旋转角度在虚线4817 所指示的向右的第一级最大旋转角度和虚线4827所指示的向右的第二级 最大旋转角度之间。因此，用户的脸部朝向4804C在第二级区域4828A内。 因此，在这个场景中，基于视觉的分析器IC可推断出用户4802没有与显 示面板4812接触，但仍然存在并且可能与另一个显示设备接触。在图48B 的另一个场景中，用户的脸部朝向4804B与直接显示路径4803形成一个 旋转角度，该旋转角度在虚线4819所指示的向左的第一级最大旋转角度 和虚线4829所指示的向左的第二级最大旋转角度之间。因此，用户的脸 部朝向4804B在第二级区域4828B内。因此，在这个场景中，基于视觉的 分析器IC可推断出用户4802没有与显示面板4812接触，但仍然存在并且 可能与另一个显示设备接触。
在图48C所示的第三示例中，基于确定用户的脸部朝向4804D在第三 级区域4838内，基于视觉的分析器IC可确定用户4802不在，或者确定用 户存在，但用户的脸部相对于显示面板4812而言是不可检测的。在一个 实现方式中，第三级区域4838可从直接显示路径向左或者向右延伸超过 第二级最大旋转角度。在一个示例中，第三级区域4838可在表示向右的 第二级最大旋转角度的虚线4827和表示向左的第二级最大旋转角度的虚 线4829之间张成大约一百八十度(180°)。用户的脸部朝向4804D没有 被识别，因为用户4802的脸部没有被相机4814捕捉，因为它从相机4814 和显示面板4812转开了。因此，基于视觉的分析器IC可推断出用户4802 不存在。然而，在一些场景中，基于视觉的分析器IC可推断出用户4802 是存在的(例如，基于其他可检测的特征，比如身体、头的背面)，但用 户的脸部是不可检测的。这可能是有用的，例如，用来实现更激进的调暗 策略，而不是当用户的脸部朝向在第二级区域内时应用的调暗策略。
在一个或多个实施例中，可定义额外级别的区域。在这个实施例中， 当用户的脸部朝向被确定为在额外级别区域内时，用户的注意力是未知的。 在一个可能的实现方式中，第一级区域4818和第二级区域4828A和 4828B的尺寸可被减小，以在图48A-图48C所示的第一和第二级区域之间 的右侧和左侧创建额外级别区域。例如，第一级区域(例如，4818)可在 向右的第一级最大旋转角度(例如，37°)和向左的第一级最大旋转角度 (例如，37°)之间张成七十四度(74°)。右侧的第二(额外)级别区域 可在向右的第一级最大旋转角度(例如，37°)和向右的第二级最大旋转角 度(例如，52°)之间张成十五度(15°)。左侧的第二(额外)级别区域 可在向左的第一级最大旋转角度(例如，37°)和向左的第二级最大旋转角 度(例如，52°)之间张成十五度(15°)。右侧的第三级区域(例如， 4828A)可在向右的第二级最大旋转角度(例如，52°)和向右的第三级最 大旋转角度(例如，90°)之间张成三十八度(38°)。左侧的第三级区域 可在向左的第二级最大旋转角度(例如，52°)和向左的第三级最大旋转角 度(例如，90°)之间张成三十八度(38°)。第四级区域(例如，4838) 可在向右的第三级最大旋转角度(90°)和向左的第三级最大旋转角度 (90°)之间张成一百八十度(180°)。
在这个示例中，当用户的脸部朝向处于额外的第二级区域之一中时， 可确定用户与显示设备的接触状态是未知的。在用户具有未知状态的这个 场景中，可根据特定的实现方式和需要，以任何适当的方式处理显示管理。 在一个示例中，未知状态可防止显示面板被逐步调暗，以确保它不会过早 地和/或不合需要地调暗。在一些实现方式中，可启动定时器来监视用户保 持在未知状态朝向的时间。如果阈值量的时间逝去了，那么显示亮度可立即被降低到预先确定的最小显示亮度水平，用于仍然存在但没有参与的用 户，或者逐步调暗可被应用到显示设备。可以按与参考图48A-图48C描 述的相同方式来评估其他级别区域。具体地，如果用户的脸部朝向在第一 级区域内，那么推断出用户与显示面板接触，并且可向显示面板提供正常/ 默认的亮度水平。如果用户的脸部朝向在第三级区域内，则推断出用户存 在，但脱离了与捕捉的图像传感器数据相关联的显示面板，但用户可能与 另一个显示设备接触。在这个场景中，调暗背光可被逐步应用于显示面板。 如果用户的脸部朝向在第四级区域内，则推断出用户不存在，或者用户的 脸部无法检测。在这个场景中，可立即关闭显示面板(例如，如果所有其 他显示设备提供指示出用户不存在的图像传感器数据的话)，或者逐步对 显示面板应用激进调暗，直到显示面板被关闭，并且背光不被提供为止。
应当注意，本文对于用户视野提供的特定值(例如，度数、距离)仅 用于说明目的。虽然这样的给定值确实可在一个或多个场景中实现，但这 样的值可基于特定的需求和实现方式被调整为任何其他适当的值。此外， 这样的值可按显示设备进行调整。例如，在一些场景中，对于特定的显示 设备，例如在单个工作站中处于几个显示设备末端的那个，可能希望扩大 第一级区域的旋转范围，以确保该显示面板不会被太频繁地调暗。
图49A-图49B图示了示例双显示器系统4900，在其中实现了基于用 户存在的显示管理的实施例。双显示器系统4900包括计算设备4905和可 操作地耦合到计算设备4905的外部监视器4920。计算设备4905可包括底 座4906和盖子4910。在这个示例中，盖子4910包括嵌入式主显示面板 4912和包括图像传感器的面向用户的相机4914。外部监视器4920包括辅 显示面板4922和包括图像传感器的面向用户的相机4924。在这个示例中， 相机4914和4924被嵌入在其各自的盖子和监视器的边框区域中。然而， 应当清楚，这些相机可以以任何其他适当的方式与它们各自的盖子和监视 器集成或者外部耦合。图49A-图49B还示出了用户4902和指向两个显示 面板4912和4922的可能注意力。
每个面向用户的相机4914和4924可耦合到各自的基于视觉的分析器 IC(例如，本文描述的LCH，例如LCH 155、260、305、954、1705、 1860、2830A、2830B等等或者包含其一些特征的电路)，该IC可布置在 盖子/监视器外壳内，或者可通过外部连接器(例如，电子狗)可操作地耦 合到盖子/监视器。每个基于视觉的分析器IC可被配置为向计算设备4905 提供输入，以指示出用户在其关联的面向用户的相机的视野中是否存在、 接触、脱离或者不存在。来自给定的基于视觉的分析器IC的输入可基于 为由其关联的相机4914或者4924捕捉的图像生成的图像传感器数据来生 成。
图49A示出了用户4902的注意力，其指向主显示面板4912，如 4904A处所示。相机4914可捕捉特定于相机4914的第一视野中的图像。 耦合到相机4914的第一基于视觉的分析器IC可使用来自捕捉的图像的图 像传感器数据来检测用户的存在和用户的脸部朝向。第一基于视觉的分析 器IC随后可向计算设备4905提供输入，以指示出基于相机4914的第一视 野，用户是存在、接触、脱离还是不存在。相机4924可捕捉特定于相机4924的第二视野中的图像。耦合到相机4924的第二基于视觉的分析器IC 可使用来自捕捉的图像的图像传感器数据来从第二视野检测用户的存在和 脸部朝向。第二基于视觉的分析器IC随后可向计算设备4905提供输入， 以指示出基于相机4924的第二视野，用户是存在、接触、脱离还是不存 在。
在图49A-图49B的双显示器和坞接场景中实现的实施例有能力依据 用户面向的地方来调暗和关闭适当的显示器。例如，在图49A中，与计算 设备4905的盖子4910中的显示面板4912相关联的基于视觉的分析器IC 可检测用户的存在和脸部朝向，如4904A处所示，而与外部监视器4920 的显示面板4922相关联的基于视觉的分析器IC可检测到用户的存在，但 没有检测到用户的注意力，因为用户的脸部改为转向计算设备4905。因此， 计算设备可发起(或维持)适当的操作模式，以使得能够使用计算设备及 其主显示面板4912。计算设备还可自适应地调暗外部监视器4920的显示 面板4922，直到在没有检测到用户对外部监视器的注意力的情况下经过阈 值量的时间为止。一旦阈值量的时间已过去，显示面板4922就可被关闭， 而用户继续使用计算设备及其嵌入式显示面板4912。
在图49B中，与外部监视器4920的显示面板4922相关联的基于视觉 的分析器IC可检测用户的存在和脸部朝向，如4904B处所示，而与计算 设备4905的盖子4910中的显示面板4912相关联的基于视觉的分析器IC 可检测到用户的存在，但没有检测到用户注意力，因为用户的脸部改为转 向外部监视器4920。因此，计算设备可发起(或维持)适当的操作模式， 以使得能够使用计算设备和外部显示面板4922。计算设备还可自适应地调 暗计算设备4905的显示面板4912，直到在没有检测到用户对计算设备的 注意力的情况下经过阈值量的时间为止。一旦阈值量的时间已过去，显示 面板4912就可被关闭，而用户继续使用计算设备和外部监视器4920。
在计算设备与多于一个额外的外部监视器连接的情况下，基于用户存 在的策略可被应用到任何数目的显示器。图50A-图50C图示了示例多显 示器系统5000，其中实现了基于用户存在和注意力的显示管理。多显示器 系统5000包括计算设备5005、与计算设备5005可操作地耦合的第一外部 监视器5020以及与计算设备5005可操作地耦合的第二外部监视器5030。 计算设备5005可包括底座5006和盖子5010。在这个示例中，盖子5010 包括嵌入式主显示面板5012和包括图像传感器的面向用户的相机5014。 第一外部监视器5020包括辅显示面板5022和包括图像传感器的面向用户 的相机5024。第二外部监视器5030也包括辅显示面板5032和包括图像传 感器的面向用户的相机5034。在这个示例中，相机5014、5024和5034被 嵌入在其各自的盖子/监视器的边框区域中。然而，应当清楚，这些相机可以以任何其他适当的方式与它们各自的盖子/监视器集成或者外部耦合。图 50A-图50C还示出了用户5002和指向多个显示面板5012、5022和5032 的可能注意力。
每个面向用户的相机5014、5024和5034可耦合到各自的基于视觉的 分析器IC(例如，本文公开的LCH，例如LCH 155、260、305、954、 1705、1860、2830A、2830B等等或者包含其一些特征的电路)，该基于 视觉的分析器IC可被布置在盖子/监视器外壳内，或者可通过外部连接器 (例如，电子狗)可操作地耦合到盖子/监视器。每个基于视觉的分析器 IC可被配置为向计算设备5005提供输入，以指示出用户在其关联的面向 用户的相机的视野中是存在、接触、脱离还是不存在。来自给定的基于视 觉的分析器IC的输入可基于为由其关联的相机5014、5024或者5034捕捉 的图像生成的图像传感器数据来生成。
图50A示出了用户5002的注意力，其指向主显示面板5012，如 5004A所表明的。相机5014可在特定于相机5014的第一视野中捕捉图像。 耦合到相机5014的第一基于视觉的分析器IC可使用来自捕捉的图像的图 像传感器数据来检测用户的存在和用户的脸部朝向。第一基于视觉的分析 器IC随后可向计算设备5005提供输入，以指示出基于相机5014的第一视 野，用户是存在、接触、脱离还是不存在。相机5024可在特定于相机 5024的第二视野中捕捉图像。耦合到相机5024的第二基于视觉的分析器 IC可使用捕捉的图像来从第二视野检测用户的存在和脸部朝向。第二基于 视觉的分析器IC随后可向计算设备5005提供输入，以指示出基于相机 5024的第二视野，用户是存在、接触、脱离还是不存在。相机5034可在 特定于相机5034的第三视野中捕捉图像。耦合到相机5034的第三基于视 觉的分析器IC可使用捕捉的图像来从第三视野检测用户的存在和脸部朝 向。第三基于视觉的分析器IC随后可向计算设备5005提供输入，以指示 出基于相机5034的第三视野，用户是存在、接触、脱离还是不存在。
在图50A-图50C的多个显示器中实现的实施例有能力依据用户面向 的地方来调暗和关闭适当的显示器。例如，在图50A中，与计算设备 5005的盖子5010中的显示面板5012相关联的第一基于视觉的分析器IC 可检测用户存在和脸部朝向，如5004A所表明的。与外部监视器5020的 显示面板5022相关联的第二基于视觉的分析器IC可检测到用户存在，但没有检测到用户注意力，因为用户的脸部改为转向计算设备5005。类似地， 与外部监视器5030的显示面板5032相关联的第三基于视觉的分析器IC可 检测到用户存在，但没有检测到用户注意力，因为用户的脸部改为转向计 算设备5005。因此，计算设备可发起(或维持)适当的操作模式，以使得 能够使用计算设备及其主显示面板5012。计算设备还可自适应地调暗外部 监视器5020的显示面板5022，直到在没有检测到用户对外部监视器5020 的注意力的情况下经过阈值量的时间为止。一旦阈值量的时间已过去，显 示面板5022就可被关闭，而用户继续使用计算设备及其嵌入式显示面板 5012。类似地，计算设备还可自适应地调暗外部监视器5030的显示面板 5032，直到在没有检测到用户对外部监视器5030的注意力的情况下经过 阈值量的时间为止。一旦阈值量的时间已过去，显示面板5032就可被关闭，而用户继续使用计算设备及其嵌入式显示面板5012。
在图50B中，与外部监视器5020的显示面板5022相关联的基于视觉 的分析器IC可检测用户存在和脸部朝向，如5004B所表明的。与计算设 备5005的盖子5010中的显示面板5012相关联的第一基于视觉的分析器 IC可检测用户存在，但没有检测到用户注意力，因为用户的脸部改为转向 外部监视器5020。类似地，与外部监视器5030的显示面板5032相关联的 第三基于视觉的分析器IC可检测到用户存在，但没有检测到用户注意力， 因为用户的脸部改为转向外部监视器5020。因此，计算设备可发起(或维 持)适当的操作模式，以使得能够使用计算设备和外部监视器5020的显 示面板5022。计算设备可自适应地调暗计算设备5005的显示面板5012， 直到在没有检测到用户对计算设备的注意力的情况下经过阈值量的时间为 止。一旦阈值量的时间已过去，显示面板5012就可被关闭，而用户继续 使用外部监视器5020。计算设备还可自适应地调暗外部监视器5030的显 示面板5032，直到在没有检测到用户对外部监视器5030的注意力的情况 下经过阈值量的时间为止。一旦阈值量的时间已过去，显示面板5032就 可被关闭，而用户继续使用外部监视器5020。
在图50C中，与外部监视器5030的显示面板5032相关联的基于视觉 的分析器IC可检测用户存在和脸部朝向，如5004C所表明的。与计算设 备5005的盖子5010中的显示面板5012相关联的第一基于视觉的分析器 IC可检测用户存在，但没有检测到用户注意力，因为用户的脸部改为转向 外部监视器5030。类似地，与外部监视器5020的显示面板5022相关联的 第二基于视觉的分析器IC可检测到用户存在，但没有检测到用户注意力， 因为用户的脸部改为转向外部监视器5030。因此，计算设备可发起(或维 持)适当的操作模式，以使得能够使用计算设备和外部监视器5030的显 示面板5032。计算设备可自适应地调暗计算设备5005的显示面板5012， 直到在没有检测到用户对计算设备的注意力的情况下经过阈值量的时间为 止。一旦阈值量的时间已过去，显示面板5012就可被关闭，而用户继续 使用外部监视器5030。计算设备还可自适应地调暗外部监视器5020的显 示面板5022，直到在没有检测到用户对外部监视器5020的注意力的情况 下经过阈值量的时间为止。一旦阈值量的时间已过去，显示面板5022就 可被关闭，而用户继续使用外部监视器5030。
图51是图示可操作地耦合到多显示器计算系统(例如多显示器计算 系统4600)中的SoC 5102的基于视觉的分析器IC 5120的附加可能细节的 框图。在一个或多个示例中，SoC 5102示出了图46的多显示器计算系统 4600的计算设备4605中的SoC 4608的可能细节。在一个或多个示例中， 基于视觉的分析器IC 5120示出了基于视觉的分析器IC 4640A、4640B和 4640C的可能细节，它们分别在计算设备4605的盖子4610中、在第一外 部监视器4620中以及在多显示器计算系统4600的第二外部监视器4630的 外部实现。因此，在图51中图示了显示设备5110，来表示基于视觉的分 析器IC 5120可在其中实现的任何一种可能的显示设备。相机5114可与显 示设备5110集成，或者作为附件耦合到显示设备并且与基于视觉的分析 器IC 5120通信地耦合。相机5114被布置为面向用户，并且可具有独特的 成像视野，该视野从显示设备5110中的显示面板向外延伸。可在显示装 置5110中提供强化指示器和控件5112，并且其可包括发光二极管(LED) 以指示出相机5114在如何被使用(例如，由运行在SoC 5102中的软件、 由基于视觉的分析器IC 5120)。
一般而言，在一个或多个实施例中，SoC 5102和基于视觉的分析器 IC 5120可执行与本文描述的多显示器计算系统的显示管理相关联的不同 功能。在一些示例中，SoC5102包括输入/输出(I/O)接口(IF)5104、 集成传感器中枢(integrated sensor hub，ISH)5106和图像处理模块5108。 在一些示例中，基于视觉的分析器IC 5120包括视觉/成像模块5126、安全 性模块5122和选择器5124。视觉/成像模块5126是基于人工智能的视觉 处理单元，其支持处理图像传感器数据以检测(一个或多个)人类脸部和 头部/脸部朝向。可以为由面向用户的相机5114捕捉的图像序列的每一帧 生成图像传感器数据，并且将其流传输到视觉/成像模块5126，在这里， 对于图像传感器数据的每一帧，检测(一个或多个)人类脸部和头部/脸部 朝向，生成图像元数据(例如，指示出用户存在、不存在、接触和/或脱 离)，并且图像元数据被发送到SoC 5102的ISH 5106。在一些实施例中， 图像元数据可以指示出何时用户存在但用户的脸部是不可检测的，例如当 用户从显示屏幕上转过去时(例如，用户的脸部朝向在第三级区域4838 内)。在一个或多个示例中，相机5114可将图像数据传感器文档(或者 帧)的流发送到视觉/成像模块5126，该模块可包括神经网络加速器 (NNA)5130和存储单元，例如数据库5140。在一个或多个示例中，SoC 5102和基于视觉的分析器IC5120及其组件可被配置有至少一些与本文公 开的一个或多个其他SoC(例如140、240、340、914、1840、2840A、 2840B、4608)和/或盖子控制器中枢(例如155、260、305、954、1705、1860、2830A、2830B)中提供的相同的特征。
NNA 5130可被配置为对由嵌入在显示设备5110中或者耦合到显示设 备5110的相机5114生成的图像传感器数据执行初始分析，以确定用户是 否存在于视野中，以及是否与显示设备接触或者脱离。NNA 5130可利用 机器学习算法(例如，神经网络)来检测从相机5114接收的图像传感器 数据中的人类脸部、脸部朝向和/或多个脸部。NNA 5130可包括硬件、固 件、软件或者其任何适当的组合，以执行(一个或多个)人类脸部和脸部 朝向检测。显示设备5110的图像元数据可在每次由相机5114生成图像传 感器数据并且由NNA 5130分析时创建。图像元数据可指示出用户是否存 在于相机5114的视野中，以及用户是否与显示设备5110接触或者脱离。
示例的基于视觉的分析器IC 5120可作为与SoC 5102分开的晶粒来实 现，并且被专门设计为对于“始终开启”实现方式以相对较低的功率(例 如，约10mW)执行这种基于视觉的分析。基于视觉的分析器IC 5120是 基于视觉的分析器4640A、4640B、4640C的示例实现方式，并且可在显 示设备5110中实现。基于视觉的分析器IC 5120可被配置为盖子控制器中 枢(LCH)，或者其一部分，如本文所公开的(例如，LCH 155、260、 305、954、1705、1860、2830A、2830B)。在分析图像传感器数据并且响 应于该分析而生成图像元数据之后，视觉/成像模块5126可将图像元数据 (例如，经由I2C串行总线)传输到SoC 5102的集成传感器中枢(ISH) 5106，以便进一步处理。在一个优化中，图像元数据可被存储在数据库 5140中，以与随后的图像元数据进行比较，该随后的图像元数据是为由相 机5114捕捉的新图像传感器数据生成的。在这种优化中，仅在响应于基 于对新生成的图像元数据与存储在数据库5140中的先前生成的图像元数 据的比较而确定事件已发生的情况下才将图像元数据传输到SoC。
当ISH 5106从显示设备5110的基于视觉的分析器IC 5120接收图像 元数据时，ISH可使用该图像元数据来识别用于SoC 5102、与所接收的图 像元数据相关联的显示设备以及可操作地耦合到SoC 5102的其他显示设 备的适当操作模式，并且相应地调整相应的性能参数。操作模式的示例可 包括，但不一定限于以下所列项中的一个或多个：1)存在并且接触，2) 存在并且被动接触，3)存在并且脱离，4)不存在。
如图示示例中所示，基于视觉的分析器IC 5120在相机5114和SoC 5102之间通信地耦合，以使得视觉/成像模块5126能够执行图像传感器数 据的初始低功率分析。然而，当用户发起涉及使用相机5114的操作时 (例如，用于视频会议呼叫)，示例选择器5124可将图像传感器数据直 接转发到SoC 5102的图像处理单元5108并且绕过视觉/成像模块5126。
在一些示例中，基于视觉的分析器IC 5120包括安全性模块5122以维 持基于视觉的分析器IC 5120的安全性和/或完好性。安全性模块5122可 使得最终用户对面向用户的相机5114有完全的可见性和控制。在一些实 现方式中，安全性模块5122经由I/O接口5104与SoC 5102进行通信。然 而，安全性模块5122确保表示在相机5114的成像视野中捕捉到了什么的 图像传感器数据不会在未经授权的情况下被暴露给SoC 5102。例如，用户 可以有授权视频呼叫的视频帧的选项。此外，安全性模块5122确保在用 户不知情的情况下(例如，经由强化指示器和控件5112)或者在没有用户 控制的情况下(例如，经由隐私开关控制)图像传感器数据不能被潜在的 恶意软件访问。具体地，强化指示器和控件5112可确保选择器5124的当 前状态(例如，正常、ULP视觉或者隐私模式)被指示器正确反映。除了 接收图像传感器数据以外，基于视觉的分析器IC 5120还可接收强化指示 器和控件5112的输入，并且经由通用输入/输出(GPIOs)向LED提供适 当的信号。
图52是图示基于视觉的分析器IC 5120的视觉/成像模块5126和SoC 5102的集成传感器中枢(ISH)5106的附加可能细节的框图。视觉/成像模 块5126可包括NNA 5130、数据库5140和图像处理算法5139。ISH 5106 可包括显示管理策略5101、性能控制器5103、操作模式选择器5105和操 作模式定义/规则5107。
NNA 5130可实现一个或多个深度神经网络(DNN)，例如卷积神经 网络(CNN)，该网络是针对人类脸部、头部/脸部朝向和多脸部检测来调 节的。在至少一个实施例中，神经网络可利用机器学习模型来实现，这些 模型被训练来识别人类脸部和脸部的朝向。在至少一个示例中，机器学习 模型被训练来识别以旋转度数为单位的人类脸部的朝向。在至少一个实施 例中，旋转度数可从人类脸部和相机被嵌入或耦合到的显示设备之间的路 径来测量。机器学习引擎5150可使用训练图像数据5152来训练机器学习 模型。示例训练图像数据5152可包括特定的一个或多个用户和/或多个其 他人类主体的历史图像数据。机器学习引擎5150可运行在与正使用模型 的基于视觉的分析器IC相关联的计算设备(例如，4605)中、在本地或 远程服务器中、在云中、或者在任何其他适当的系统或设备中，经训练的 模型可被从该系统或设备提供到适当的基于视觉的分析器IC(例如，基于 视觉的分析器IC 5120)或者被其访问。
训练图像数据5152可被存储在任何适当的存储单元或存储器中。在 一些示例中，训练图像数据5152可被存储在机器学习引擎5150被存储和/ 或运行于其中的那同一个系统或设备中。在其他示例中，训练图像数据 5152可被存储在机器学习引擎5150被存储和/或运行于其中的系统或设备 的外部，但可在机器学习引擎5150可访问的位置。
经训练的模型可被存储在数据库5140中，以便由NNA 5130用来检测 (一个或多个)人类脸部并且确定人类脸部的朝向。例如，(一个或多个) 脸部检测模型5144和(一个或多个)脸部朝向模型5146可被存储在数据 库5140中。
在一个或多个示例中，NNA 5130可包括人类脸部检测器5134、脸部 朝向检测器5136和多脸部检测器5138。人类脸部检测器5134可使用(一 个或多个)脸部检测模型5144从图像传感器数据中识别人类脸部，图像 传感器数据是由面向用户的相机5114从其独特成像FoV生成的，该独特 成像FoV围绕基于视觉的分析器IC 5120放置在其中的显示设备的前面部 分。在图像传感器数据中检测到人类脸部是对于用户存在于成像FoV中的 指示。在图像传感器数据中未检测到人类脸部是对于用户未存在(或者不 存在)于成像FoV中的指示。人类脸部检测器5134也可生成信息，该信 息可用于确定检测到的用户脸部与生成了图像传感器数据的相机的距离。 在一个示例中，人类脸部检测器5134的神经网络可被训练来预测人类头 部的限界框，作为检测人类脸部的一部分。一旦确定了限界框并且识别了 人类脸部，就可基于限界框的大小来确定用户(例如，用户的脸部)与相 机的距离。在一些实现方式中，这个确定可由NNA 5130做出。在其他实 现方式中，限界框信息可被提供给图像处理算法5139，以确定检测到的人 类脸部到与显示设备相关联的相机的距离。
如果检测到人类脸部，则脸部朝向检测器5136可使用(一个或多个) 脸部朝向模型5146来确定脸部的朝向。在一个示例中，脸部的朝向可以 以相对于面向用户的相机5114和检测到的人类脸部之间的路径的度数的 形式来提供。可基于图像传感器数据中的面部特征的识别(例如，可见的 耳朵的数目、可见的眼睛的数目)来确定脸部朝向。脸部朝向可用于推断 用户是否与与生成了图像传感器数据的相机相关联的特定显示设备接触或 者脱离。在本文先前描述的一个示例中，如果用户的脸部朝向在第一级区 域内，那么可推断出用户与与相机5114相关联的显示设备接触。如果用 户的脸部朝向在第二级区域内，那么可推断出，用户没有与与相机5114 相关联的显示设备接触，但可能与坞接或者以其他方式连接到同一计算设 备的另一显示设备接触。如果用户的脸部朝向在第三级区域内，那么可推 断出，用户没有与和相机5114相关联的显示设备或者坞接或者以其他方 式连接到同一计算设备的任何其他显示设备接触。在一些实现方式中，这 些推断可由NNA 5130确定。在其他实现方式中，这些推断可由图像处理 算法5139确定。
在一个或多个实施例中，NNA 5130还可包括多脸部检测器5138，以 在由面向用户的相机5114从其独特的成像FoV生成的图像传感器数据内 检测多个脸部。在至少一个实施例中，(一个或多个)脸部检测模型5144 可被训练为在单个图像的图像传感器数据中检测多个人类脸部。在其他实 施例中，(一个或多个)脸部检测模型5144可被训练为检测单个人类脸 部，并且另一个模型可被训练用于多脸部检测。当检测到多个人类脸部时， 在至少一个实施例中，可分析每个检测到的脸部，以确定脸部朝向，并且 推断与检测到的脸部相关联的用户是否接触显示设备。只有当所有检测到 的人类脸部都被确定为与显示设备脱离时，才可进行与相机5114相关联 的显示设备的显示面板的调暗和/或关闭。
图像处理算法5139可作为NNA 5130的一部分在视觉成像模块5126 中提供，或者单独实现。图像处理算法5139可在电路中实现，并且可包 括硬件、固件、软件或者其任何适当的组合。图像处理算法5139可使用 由人类脸部检测器5134、脸部朝向检测器5136和多脸部检测器5138基于 图像传感器数据的当前帧生成的信息，来为由相机5114捕捉的图像生成 新的图像元数据。新的图像元数据可指示出在表示所捕捉图像的当前图像 传感器数据中，用户是存在、不存在、接触还是者不接触。一旦生成了新 的图像元数据，图像处理算法5139就可将新的图像元数据与存储在数据 库5140中的先前图像元数据5142进行比较，以确定两个图像元数据二进 制文件(或者文件)之间的任何变化是否指示出发生了与用户的存在、不 存在、接触或者脱离与相机5114相关联的显示设备相关的事件。先前的 图像元数据5142可表示基于由视觉/成像模块5126在即将接收到用来生成 新的图像元数据的图像传感器数据的帧之前接收到的图像传感器数据的帧 生成的图像元数据。
如果基于该比较确定有事件发生，那么视觉/成像模块5126可将新图 像元数据的副本存储在数据库5140中作为先前的图像元数据5142，并且 将新的图像元数据发送到ISH5106。如果基于该比较确定没有事件发生， 那么在至少一个实施例中可不将新的图像元数据发送到ISH 5106，以节省 处理资源。然而，新的图像元数据仍然可作为先前的图像元数据5142被 存储在数据库5140中。
在一个或多个实施例中，SoC 5102的ISH 5106被配置为从视觉/成像 模块5126接收图像元数据，基于图像元数据应用适当的策略，为与所接 收的图像元数据相关联的显示设备以及可能为该显示设备坞接或者以其他 方式连接到的计算设备选择适当的操作模式，并且如果需要，基于所选择 的操作模式调整性能参数。
操作模式定义/规则5107可包括可基于为每个显示设备生成的图像元 数据而单独应用于每个显示设备(例如，4610、4620、4630)的各种操作 模式。基于图像元数据和适用于所接收的元数据的策略，可选择适当的操 作模式并且将其应用于与所接收的图像元数据相关联的显示设备。在一个 示例中，可被应用到特定显示设备的操作模式可包括但不一定限于：
接触操作模式——图像元数据指示出用户存在并且接触——检测到用 户，并且相对于显示设备而言，注视方向在第一级区域中(例如，用户可 能正在显示设备上阅读或者观看视频)；
自适应调暗操作模式(常规的或者激进的)——图像元数据指示出用 户存在并且脱离——检测到用户但没有与显示设备接触(但可能与计算系 统中的另一个显示设备接触)；以及
不存在操作模式——图像元数据指示出用户不存在或者用户脸部无法 检测——未检测到用户脸部
应当注意，也可使用其他操作模式，例如用于计算设备的SoC或者其 他处理元件的操作模式。这些其他操作模式可与本文描述的用于显示设备 的操作模式联合使用。
在一个或多个实施例中，性能控制器5103可控制支配计算设备4605 和坞接或者以其他方式连接到计算设备的多个显示设备4610、4620和 4630的功率消耗、性能和/或系统响应性的性能参数。性能参数可响应于 对用户与计算系统4600中的一个或多个显示设备4610、4620、4630的存 在和/或接触的确定而被调整。例如，性能控制器5103可控制性能参数， 以便在系统中的显示设备之一检测到用户接近时唤醒系统，并且可触发基 于脸部的认证。在另一实例中，性能控制器5103可控制性能参数，以在 确定用户没有与特定显示设备接触时，调暗该特定显示设备的背光。背光 可基于预先确定的用户没有与显示设备接触的时间段被逐步调暗(例如， 背光的亮度被降低)。在另一示例中，性能控制器5103可控制性能参数， 以在确定用户已经从计算系统中的多个显示器走开时迅速锁定计算系统。在另外一个示例中，性能控制器5103可控制性能参数，以在计算系统的 至少一个显示设备检测到存在并且发生接触的用户，即使该用户没有与诸 如键盘、鼠标、触摸板等等之类的用户接口交互时，推翻SoC锁定系统的 任何尝试。
各种显示管理策略5101可由SoC 5102基于从视觉/成像模块5126接 收的图像元数据来实现。示例显示管理策略5101可包括但不一定限于脸 部唤醒策略、自适应调暗策略、存在时不锁定策略和不存在时锁定策略。 在多显示器计算系统中，当用户接近计算系统并且进入与每个显示设备相 关联的相机中的一个或多个的视野时，可调用脸部唤醒策略。当脸部唤醒 策略被调用时，计算系统醒来，并且基于脸部的认证(例如，Windows
Figure BDA0003212949650001491
认证软件)被触发。从而，在用户坐在任何一个显示设备前面或者 与计算系统进行交互(例如，经由用户接口机制、语音)之前，计算系统 已准备就绪。对于多显示器计算系统，用户首先与之接触的显示设备(例 如，通过将其注意力指向该显示设备)会触发计算系统醒来。多显示器计 算系统中的其他显示设备保持关闭，直到用户成功登录到计算系统中为止。 脸部唤醒多显示器策略覆盖了用户在其中接近和查看计算系统的更多不动 产(real estate)。因为每个显示设备有一个关联的相机，具有不同的成像 视野，所以相对于单显示器计算系统而言，多显示器计算系统周围可感测 到运动和光线以及可从中捕捉图像的区域得到了扩大。这创造了一个更鲁 棒的解决方案，特别是对于可能从不同方向进入工作空间的用户而言。
在一个或多个实施例中，自适应调暗策略可在多显示器计算系统中被 调用，以在用户不注意时，在定义的一段时间内逐步调暗显示面板的背光， 并且在用户不再存在时进一步关闭显示设备。当自适应调暗策略被调用时， 可为特定的显示设备选择常规或者激进的调暗操作模式。通过实现这一策 略，可实现显著的电池寿命增益。对于其中实现了基于视觉的分析器IC 的每个显示设备，可对每个显示设备优化电力节省和响应性。例如，当用户接触并且看着用户正前方的第一显示设备时，该策略可被调节为调暗用 户没有看着的任何其他显示器上的显示。在一个实现方式中，自适应调暗 策略可包括在一段时间内逐步调暗用户已脱离的显示面板，并且关闭用户 的脸部转开的显示面板(例如，脸部朝向在任一方向>90°)。这一策略 可被应用到任何数目的具有集成或者附加的基于视觉的分析器IC5120 (或者LCH 155、260、305、954、1705、1860、2830A、2830B，等等) 的额外外部显示设备。与调暗和关闭显示设备的显示面板一起，还可管理 刷新率。例如，对于用户脱离的任何显示面板，刷新率可被降低。从而， SoC 5102可应用自适应调暗策略来降低刷新率和减少渲染，以优化性能。
在一个或多个实施例中，可在多显示器计算系统中调用存在时不锁定 策略，以防止计算系统在用户存在时锁定和显示设备关闭，即使用户没有 活跃地打字或者移动鼠标，或者即使用户脱离了。当调用存在时不锁定策 略时，如果用户仍在接触，则可能为特定的显示设备选择(或者不改变) 接触操作模式。这个场景可能会发生在例如用户正在阅读长文档或者观看 嵌入式视频时。如果用户脱离了，那么可为特定的显示器选择(或者不改变)脱离操作模式，但是可调用存在时不锁定策略，以防止计算系统锁定， 并且防止背光完全关闭。从而，在多显示器计算系统的至少一个实施例中， 如果来自至少一个显示设备的图像元数据指示出用户存在并且接触(例如， 脸部朝向在任一方向上在≤45°之间)或者脱离(例如，脸部朝向在任一方 向上>45°但≤90°)，则计算系统将不会锁定。
在一个或多个实施例中，可在多显示器计算系统中调用不存在时锁定 策略，以便在用户走开时关闭显示设备并且迅速锁定计算系统，而不是等 待无活动超时期满。当调用不存在时锁定策略时，可为每个特定的显示设 备选择不存在操作模式。无活动超时通常在5分钟左右，并且可基于用户 与计算系统缺乏交互(例如，经由诸如鼠标、触摸板之类的用户接口)来 执行。当某些应用正在运行时(例如，嵌入式视频)，无活动超时可能根 本不会发生。在一个或多个实施例中，多显示器计算系统可被配置为在所 有显示设备都指示出用户不存在时锁定计算系统并且关闭所有显示设备 (例如，没有用户存在或者脸部朝向在任一方向>90°)。
用于多显示器计算系统的显示管理的实施例提供了一种增强的用户体 验。在存在来自额外的用户存在输入的更好准确性的情况下，实施例允许 了更迅速且更无缝地检测用户何时接近其系统，因为能够检测到用户接近 的第一显示器可唤醒系统。此外，在多个输入中也有更大的准确性。自适 应调暗提供了显著的能量和电力节省，以关闭膝上型电脑显示器或者用户 不接触的额外外部监视器。这种节省可达到50-100W的量级。这种显著的 能量节省也可适用于无线显示场景。
因为多显示器计算系统的显示管理的实施例通过在用户脱离额外的外 部监视器中的一个或多个时不必驱动这些额外的外部监视器而允许了刷新 率和渲染的降低，所以性能可得到优化。通常情况下，高分辨率显示器意 味着高成本，包括关于用于处理和渲染的GPU开销的渲染税，关于用于 合成和传输数据的图形和显示引擎的显示税，以及对受热约束的外形参数 的CPU预算影响。使用电池寿命测量工具的分析已指示出，在附着到外部4K显示器时，性能损失≥50％。
不必不必要地驱动额外的显示设备可显著降低渲染和刷新率。通过在 用户脱离或者不存在时适时地降低刷新率和显示渲染，显示功率和能量可 满足(甚至超过)某些国家认证(例如，加州能量委员会和能量之星标 准)。此外，在优化某些特征的用户体验的同时(例如，脸部唤醒、自适 应调暗、存在时不锁定和不存在时锁定)，可适当地处理相关策略的问题。 相关策略可包括当存在与用户是否存在和接触、脱离或者不存在相关的用 户输入事件(HID)时，实施例可为多显示器计算系统场景解决这个问题， 以准确地指示出用户是否存在和接触或者脱离/不存在，而不必等待用户输 入事件。具体地，实施例可以指示出哪个显示器是不相关的以有效地管理 功率、能量和性能。
转到图53-图58，简化的流程图表示可与其中实现了基于用户存在和 注意力的显示管理的多显示器计算系统4600的实施例相关联的示例硬件 逻辑、机器可读指令、固件、软件或者其任何适当的组合。在至少一个实 施例中，一组操作对应于图53-图58的流程图中所示的活动。在一个示例 中，盖子控制中枢(例如，155、260、305、954、1705、1860、2830A、2830B)，或者其一部分(例如，基于视觉的分析器集成电路(例如， 4640A、4640B、4640C、5120))可利用或者执行至少一些操作，并且 SoC(例如，140、240、340、914、1840、2840A、2840B、4608、5102) 可利用或者执行至少一些操作。为了便于图示，可参考图46和图51的组件来描述图53-图58的流程图，但是应当明白和理解，这些组件已经在本 申请各处被进一步图示和描述，并且这些图示和描述中的一个或多个适用 于参考图53-图58提及的组件。
图53是根据至少一个实施例的与在多显示器计算系统(例如，4600) 中检测用户存在相关联的示例过程5300的高级别流程图。在至少一个实 施例中，一组操作对应于示例过程5300的活动。在一个示例中，操作可 由布置在多显示器计算系统的显示设备(例如，241、341、4610、4620、 4630、5110)中的视觉/成像模块(例如，172、263、363、1740、1863、2832A、2832B、5126)和与该显示设备相关联的相机(例如，4614、5114) 执行。更具体而言，神经网络加速器(例如，276、327、1740、1863、 2834A、2834B、5130)可执行一个或多个操作。
在5302，可检测与显示设备5110相关联的相机5114的视野(FoV) 内的运动。在一些实现方式中，检测运动可由与相机集成或者与相机5114 通信耦合的成像传感器执行。在5304，相机在与相机相关联的FoV中捕 捉新的图像(或者帧)。相机为新图像(或者帧)生成图像传感器数据， 并且图像传感器数据被提供给基于视觉的分析器IC 5120，该基于视觉的 分析器IC 5120与显示设备5110相关联。更具体而言，在至少一个实施例 中，图像传感器数据被提供给神经网络加速器5130，以执行用户存在检测、 脸部检测、脸部朝向检测，以及可能的多脸部检测。
在5305，NNA 5130可运行一个或多个机器学习算法来检测(一个或 多个)人类脸部，并且如果检测到人类脸部，则检测(一个或多个)人类 脸部的朝向。在5306，视觉/成像模块5126可基于NNA 5130执行的脸部、 用户存在和头部朝向检测来生成新的图像元数据。新的图像元数据可包括， 例如，关于根据由相机5114在显示设备5110前面捕捉的新图像用户是存 在还是不存在的指示。用户的存在可基于脸部检测来确定。如果检测到人 类脸部，那么用户就存在。如果确定有用户存在，那么头部朝向新图像元 数据还可包括关于用户是否与和相机相关联的显示设备5110接触或者与 显示设备5110脱离(例如，被动接触)的指示。
在5308，新的图像元数据可被与先前的图像元数据进行比较，以确定 自从与先前图像元数据相关联的先前图像被捕捉以来是否发生了任何用户 事件。为了确定是否发生了用户事件，基于由相机5114捕捉的新图像的 图像传感器数据而生成的新图像元数据可被与存储的先前图像元数据进行 比较，先前图像元数据是之前基于在捕捉新图像之前捕捉的图像的图像传 感器数据而生成的。从而，新的图像元数据被与先前的图像元数据进行比 较，以识别差异，并且确定这些差异是否与用户事件相对应。当与先前图 像数据相比在新图像元数据中检测到用户存在发生变化时，可能发生了用 户事件。例如，用户可能不存在于先前的图像中，但用户可能存在于新的 图像中，或者用户可能存在于先前的图像中，但用户可能不存在于新图像 中。另一个可能发生的用户事件是当用户的脸部朝向变化时。在这个场景 中，在先前图像中已检测到了人类脸部，并且可能已识别了脸部的朝向。 如果新的图像元数据指示出，检测到的用户的脸部朝向与先前的图像元数 据中指示的脸部朝向不同，那么就发生了用户事件。例如，先前的图像元 数据可能指示出用户没有与显示设备接触(基于脸部朝向确定)，而新的 图像元数据可指示出用户与显示设备接触(基于脸部朝向确定)，或者反 之亦然。
在5310，基于在5308中执行的比较，确定是否发生了用户事件。如 果没有发生用户事件(例如，先前的图像元数据和新的图像元数据是相同 的)，那么在5312，作为优化，新的图像元数据可不被发送到SoC 5102。 如果基于在5308中执行的比较确定发生了用户事件，那么在5314，新的 图像元数据被发送到SoC 5102以确定显示设备(以及可能是显示设备所 连接到的计算设备)的操作模式。在5316，新的图像元数据可被存储为先 前的图像元数据，以与将为显示设备生成的下一个新图像元数据进行比较。
图54是根据至少一个实施例与在多显示器计算系统(例如，4600) 中处理新图像传感器数据以检测用户存在、(一个或多个)人类脸部和头 部/脸部朝向相关联的示例过程5400的高级别流程图。示例过程5400可提 供与图53中的过程5300的一个或多个操作(例如，5305、5306)相关联 的附加细节。在至少一个实施例中，一组操作对应于示例过程5400的活 动。在一个示例中，至少一些操作可由基于视觉的分析器IC(例如， 4640A、4640B、4640C、5120)的视觉/成像模块(例如、172、263、363、 1740、1863、2832A、2832B、5126)中的神经网络加速器(例如、276、 327、1740、1863、2834A、2834B、5130)和可能的图像处理算法5139执 行。
在5402，NNA 5130可对由与显示设备5110相关联的相机5114捕捉 的新图像的图像传感器数据运行一个或多个机器学习算法。一个示例机器 学习算法可以是为检测人类脸部而训练的神经网络模型，并且当被执行时， 其可检测图像传感器数据中是否存在人类脸部。在5404，确定用于脸部检 测的神经网络模型是否在图像传感器数据中检测到人类脸部。如果没有检 测到人类脸部，那么在5406，生成新的图像元数据以指示出没有用户存在。新的图像元数据也可指示出没有用户与显示设备5110接触。
如果在5404处确定由用于脸部检测的神经网络模型在图像传感器数 据中检测到人类脸部，那么在5408，可运行另一个机器学习算法以确定检 测到的人类脸部的头部/脸部朝向。一个示例机器学习算法可以是一种神经 网络模型，该神经网络模型被训练以检测人类脸部的朝向(例如，以度为 单位)，并且当被执行时，可检测图像传感器数据中的检测到的人类脸部 的朝向。在至少一个实施例中，脸部朝向可以以相对于在用户的脸部和显示设备之间定义的直接显示路径的旋转度数来确定。直接显示路径可根据 检测到的脸部到显示设备的显示面板的中心、到捕捉了图像的相机或者到 与显示设备相关联的任何其他适当的点来计算。
在5410，可评估用户的脸部朝向，以确定它是否在推断出与显示设备 5110接触的最大旋转角度之内。在一个示例中，最大旋转角度是用户的脸 部在任一方向上相对于用户的脸部和显示设备5110(例如，在显示设备的 显示面板的中心，在相机处，或者显示设备上的任何其他适当的位置)之 间的直接显示路径的第一级最大旋转角度(例如，45°)。
在5412，如果用户的脸部朝向被确定为在第一级最大旋转角度(例如， 45°)内，那么可推断出用户在与显示设备5110的显示面板接触(例如， 用户可能正在阅读或者查看显示面板上的东西)。在这个场景中，在5416， 生成新的图像元数据，以指示出用户存在，并且用户与显示设备5110接 触。
如果用户的脸部朝向被确定为大于第一级最大旋转角度，但不大于第 二级最大旋转角度(例如，90°)，那么可推断出，用户脱离了显示设备 5110的显示面板，但可能与显示设备5110被坞接或者以其他方式连接到 的计算系统中的另一显示面板接触。在这个场景中，在5414，生成新的图 像元数据，以指示出用户存在，但用户未与显示设备5110接触(即，脱 离)。
应当注意，如果用户的脸部朝向大于第二级最大旋转角度或者以其他 方式无法检测，那么可确定用户不存在，如在5406处评估的那样。
还应当注意，在另一实施例中，可由SoC(例如，5102)做出关于用 户的脸部朝向是否在特定的旋转阈值水平内以推断出接触或者脱离的确定。 在这个实施例中，元数据可包括对于所确定的脸部朝向的指示，并且该信 息可被SoC用来确定用户与显示设备接触还是脱离。
图55是与处理由多显示器计算系统(例如，4600)中的显示设备 (例如，5110)的基于视觉的分析器IC(例如，5120)生成的新图像元数 据相关联的示例过程5500的高级别流程图。在至少一个实施例中，一组 操作和/或指令对应于示例过程5500的活动，用于在计算系统被锁定(例 如，在不存在操作模式中)时接收由计算系统中的基于视觉的分析器IC(或者LCH)生成的新图像元数据，并且应用脸部唤醒策略，如果适用的 话。在一个示例中，至少一些操作可由多显示器计算系统(例如，4600) 的SoC(例如，140、240、340、914、1840、2840A、2840B、4140、5102、 4608)执行。在更具体的示例中，过程5500的一个或多个操作可由SoC 的集成传感器中枢(例如，242、342、1790、1842、5106)执行。
在5502，新的图像元数据由多显示器计算系统的SoC 5102从显示设 备5110中的基于视觉的分析器IC 5120接收，此时显示设备被关闭(例如， 不向显示面板提供背光)并且计算系统被锁定。在至少一个实施例中，当 为所有显示设备选择不存在操作模式时，计算系统可被锁定。
在5504，做出关于新图像元数据是否指示用户存在的确定。如果机器 学习算法(例如，NNA 5130)在由相机5114捕捉的新图像的图像传感器 数据中检测到人类脸部，则用户可在元数据中被指示为存在。如果新图像 元数据没有指示出用户存在，那么显示设备5110保持关闭，并且计算系 统保持锁定。
如果新图像元数据指示出用户存在，则在5506处做出关于新图像元 数据是否指示出用户在与显示设备接触的确定。如果确定用户的脸部朝向 (例如，相对于到显示设备的直接显示路径)在任一方向上不大于第一级 最大旋转角度，则新图像元数据可以指示出用户与显示设备接触。如果新 的图像元数据没有指示出用户在与显示设备接触，那么显示设备5110保 持关闭，并且计算系统保持锁定。然而，用户可能与多显示器计算系统中 的另一显示设备接触，并且如果是这样，那么从该另一显示设备接收到的 新图像元数据(这将指示出用户存在并且与该显示设备接触)可使得SoC 触发认证机制。
在5506，如果新的图像元数据指示出用户与显示设备接触，那么在 5508处可做出关于多显示器计算系统中的另一个显示设备是否已经使得 SoC 5102触发认证机制的确定。如果是这样，那么显示设备5110保持关 闭，直到用户通过其他显示设备得到认证为止。
如果在5508处确定多显示器计算系统中没有其他显示设备已经使得 SoC 5102触发认证机制，那么在5510处可调用脸部唤醒策略，并且SoC 可在显示设备5110上触发认证机制。多显示器计算系统中的其他显示设 备可保持关闭，直到用户经由显示设备5110得到认证为止。
图56图示了与处理由多显示器计算系统(例如，4600)中的显示设 备(例如，5110)的基于视觉的分析器IC(例如，5120)生成的新图像元 数据相关联的示例过程5600的高级别流程图。在至少一个实施例中，一 组操作对应于示例过程5600的活动，用于在显示设备处于接触操作模式 (例如，显示设备的显示面板具有默认亮度)时接收新的图像元数据，并且调用调暗策略或者不存在时锁定策略，如果适用的话。在一个示例中， 至少一些操作可由多显示器计算系统(例如，4600)的SoC(例如，140、 240、340、914、1840、2840A、2840B、4140、5102、4608)执行。在更 具体的示例中，过程5600的一个或多个操作可由SoC的集成传感器中枢 (例如，242、342、1790、1842、5106)执行。
在5602，当显示设备处于接触操作模式(例如，显示设备的显示面板 具有默认亮度)时，由多显示器计算系统的SoC 5102从显示设备5110中 的基于视觉的分析器IC 5120接收新图像元数据。
在5604，做出关于新图像元数据是否指示出用户存在的确定。如果新 图像元数据指示出用户存在，则在5606处做出关于新图像元数据是否指 示出用户在与显示设备接触的确定。如果用户与显示设备接触，那么用户 的脸部朝向可在第一级区域中(例如，在任一方向上不大于第一级最大旋 转角度)。如果新的图像元数据指示出用户与显示设备接触，那么如5608 处所示，显示设备保持在接触操作模式中(例如，全显示亮度或者默认显 示亮度)。
如果在5606处确定新图像元数据没有指示出用户与显示设备5110接 触，那么在5610，做出关于新图像元数据是否指示用户与显示设备脱离 (但仍然存在)的确定。如果确定用户脱离(但仍然存在)，那么在5614， 可调用自适应调暗策略，并且可为显示设备5110选择常规调暗操作模式。 在一个示例中，常规调暗操作模式可将显示设备5110的显示面板的背光 降低预定的亮度百分比，直到达到预定的最低亮度水平为止。例如，显示 面板的亮度可在五秒过后被降低百分之五(5％)，然后每秒降低百分之五 (5％)，直到达到百分之二十(20％)为止。显示面板可保持在百分之二 十(20％)的亮度，直到用户事件发生为止。
如果在5610处确定新的图像元数据指示出用户存在，但没有接触或 者脱离，那么用户的脸部朝向可能处于第三级区域中(例如，在任一方向 上大于第二级最大旋转角度)。从而，用户的脸部可能是无法检测的。在 这个场景中，不同的用户可能希望采用不同的方法。最初，在5612，可调 用激进的自适应调暗策略，并且可为显示设备5110选择激进调暗操作模 式。在一个可能的实现方式(或者系统/用户配置)中，激进调暗操作模式 可将显示设备5110的显示面板的背光按预定的亮度百分比降低，直到背 光被关闭为止。例如，显示面板的亮度可在五秒过后被降低百分之二十 (20％)，然后每秒降低百分之一(1％)，直到达到百分之零(0％)为 止，并且背光可被关闭。在另一可能的实现方式(或者系统/用户配置)中， 激进调暗操作模式可将显示设备5110的显示面板的背光按预定的亮度百 分比降低，直到背光被降低到预定的最低亮度水平为止。在背光最终被关 闭的实现方式中，可以调用存在时不锁定策略(如本文将进一步描述的那 样)，以防止计算系统在用户仍然存在时锁定，即使用户的脸部是无法检 测到的。然而，在其他实现方式中，如果未检测到用户的脸部(例如，当 用户的脸部朝向在第三级区域中时)，系统可被配置为在背光被关闭后锁 定。
再次参考5604，如果新的图像元数据没有指示出用户存在，那么在 5620，可就是否应当调用不存在时锁定策略进行评估。在5620，确定从多 显示器计算系统中的每个其他显示设备接收到的最后图像元数据是否指示 出用户不存在。如果是这样，那么在5622，可调用不存在时锁定策略，并 且可为显示设备5110选择不存在操作模式。当选择不存在操作模式时， 显示设备被关闭并且不提供背光。当为显示设备5110选择不存在操作模 式，并且所有其他显示设备已经处于不存在操作模式(或者处于激进调暗 操作模式)时，那么计算系统的SoC锁定，并且用户必须再次被认证以解 锁和使用计算系统。
如果在5620处确定来自计算系统中的其他显示设备中的至少一者的 最后图像元数据指示出有用户存在，那么在5624，可调用激进的自适应调 暗策略，并且可为显示设备5110选择激进调暗操作模式，如前所述。
图57是与处理由多显示器计算系统(例如，4600)中的显示设备 (例如，5110)的基于视觉的分析器IC(例如，5120)生成的新图像元数 据相关联的示例过程5700的高级别流程图。在至少一个实施例中，一组 操作对应于当显示设备处于常规或者激进调暗操作模式时用于接收新图像 元数据的示例过程5700的活动。在一个示例中，至少一些操作可由多显示器计算系统(例如，4600)的SoC(例如，140、240、340、914、1840、 2840A、2840B、4140、5102、4608)执行。在更具体的示例中，过程 5700的一个或多个操作可由SoC的集成传感器中枢(例如，242、342、 1790、1842、5106)执行。
在5702，当显示设备处于调暗操作模式中时，由多显示器计算系统的 SoC 5102从显示设备5110中的基于视觉的分析器IC 5120接收新图像元数 据。
在5704，做出关于新图像元数据是否指示出用户存在的确定。如果新 图像元数据指示出用户存在，则在5706处做出关于新图像元数据是否指 示出用户在与显示设备接触的确定。如果新的图像元数据指示出用户与显 示设备接触，那么在5708，显示设备的调暗操作模式被改变为接触操作模 式。从而，显示设备5110的显示面板的亮度可被增大到完全或者默认显 示亮度。
如果在5706处确定新图像元数据没有指示出用户与显示设备5110接 触，那么在5710，做出关于新图像元数据是否指示用户与显示设备脱离的 确定。如果新的图像元数据指示出用户脱离(但存在)，那么用户的脸部 朝向可能处于第二级区域中(例如，在任一方向上大于第一级最大旋转角 度但不大于第二级最大旋转角度)。在这个场景中，在5714，显示设备 5110保持在自适应调暗操作模式中，如本文先前所述。
如果在5710处确定新的图像元数据指示出用户没有脱离(但仍然存 在)，那么用户的脸部朝向可能处于第三级区域中(例如，在任一方向上 大于第二级最大旋转角度)。从而，用户的脸部可能不是可检测的。在这 个场景中，在5712，如果显示设备当前处于常规自适应调暗操作模式中， 则可为显示设备5110选择激进自适应调暗操作模式，如本文先前所述。 否则，如果已经为显示设备5110选择了激进自适应调暗操作模式，那么 它保持被选择。
再次参考5704，如果新的图像元数据没有指示出用户存在，那么该过 程可流向图56的过程5600，如(A)所表明的，以评估是否应当调用不 存在时锁定策略，如本文先前所述。
图58是与多显示器计算系统(例如，4600)的显示设备(例如， 5110)的无活动超时过程相关联的示例过程5800的高级别流程图。在至 少一个实施例中，一组操作和/或指令对应于示例过程5800的活动，用于 评估由显示设备的基于视觉的分析器IC(或者LCH)生成的图像元数据， 并且应用存在时不锁定策略，如果适用的话。在一个示例中，至少一些操作可由多显示器计算系统(例如，4600)的SoC(例如，140、240、340、 914、1840、2840A、2840B、4140、5102、4608)执行。在更具体的示例 中，过程5800的一个或多个操作可由SoC的集成传感器中枢(例如，242、 342、1790、1842、5106)执行。
在5802，显示设备5110的显示锁定定时器期满。在5804，访问来自 显示设备的最后图像元数据。在一个或多个实施例中，多显示器计算系统 中的每个显示设备的最后图像元数据可被存储在任何适当的存储器或存储 单元中，直到接收到更新版本的图像数据并且其取代当前存储的图像元数 据为止。
在5806，做出关于来自显示设备5110的最后图像元数据是否指示出 用户存在的确定。如果在5806处确定显示设备5110的最后图像元数据指 示出用户存在，那么在5810，做出关于来自显示设备5110的最后图像元 数据是否指示出用户接触或者脱离的确定。例如，如果新的图像元数据指 示出用户脱离(但存在)，那么用户的脸部朝向可能处于第二级区域中 (例如，在任一方向上大于第一级最大旋转角度但不大于第二级最大旋转 角度)。替换地，如果最后图像元数据指示出用户与显示设备接触，那么 用户的脸部朝向可在第一级区域中(例如，在任一方向上不大于第一级最 大旋转角度)。在这些场景的任一者中，用户仍然存在，并且在5812，可 调用存在时不锁定策略，并且可推翻无活动监视器以防止显示设备5110 被锁定。相反，显示设备5110保持在当前选择的任何模式中(例如，接 触操作模式、自适应调暗操作模式)。
如果在5806处确定显示设备5110的最后图像元数据指示出用户不存 在，或者如果在5810处确定来自显示设备5110的最后图像元数据指示出 用户没有接触显示设备并且没有与显示设备脱离(即，用户存在，但是无 法检测到脸部)，那么在5808，可为显示设备选择不存在操作模式，并且 可关闭显示设备(例如，背光被关闭)并且可锁定计算系统。此外，显示 设备5110的锁定定时器可被重置。
以下示例关于根据本说明书的实施例。示例DA1提供了一种计算系统， 包括：在第一显示器中并且与第一相机通信耦合的第一电路，所述第一电 路基于由所述第一相机捕捉的第一图像传感器数据来生成第一图像元数据； 在第二显示设备中并且与第二相机通信耦合的第二电路，所述第二电路基 于由所述第二相机从所述第二相机的第二视野捕捉的第二图像传感器数据 来生成第二图像元数据，其中所述第一视野和所述第二视野部分重叠；以 及与所述第一显示设备和所述第二显示设备可操作地耦合的处理器，其中 所述处理器：基于所述第一图像元数据为所述第一显示设备选择第一操作 模式；并且基于所述第二图像元数据为所述第二显示设备选择第二操作模 式。
示例DA2包括如示例DA1所述的主题，并且所述计算系统还包括在 第三显示设备中的第三电路，所述第二电路耦合到第三相机和所述处理器， 所述第三电路：基于由所述第三相机从第三视野捕捉的第三图像传感器数 据来生成第三图像元数据，其中所述处理器：从所述第三显示设备接收所 述第三图像元数据；并且基于所述第三图像元数据为所述第三显示设备选 择第三操作模式。
示例DA3包括如示例DA1-DA2的任何一个所述的主题，并且所述第 一电路还被配置为：在所述第一图像传感器数据中检测用户的脸部；基于 在所述第一图像传感器数据中检测到用户的脸部，确定用户存在于所述第 一相机的第一视野中；基于所述第一图像传感器数据，确定所述用户的脸 部的第一朝向；并且至少部分地基于所述用户的脸部的第一朝向，确定所 述用户是否与所述第一显示设备接触或者脱离。
示例DA4包括如示例DA3所述的主题，并且基于确定所述用户的脸 部相对于所述用户的脸部和所述第一显示设备之间的第一路径在任一方向 上没有旋转超过第一最大旋转角度，确定所述用户在与所述第一显示设备 接触。
示例DA5包括如示例DA3-DA4的任何一个所述的主题，并且基于确 定所述用户在与所述第一显示设备接触，所述第一图像元数据指示出所述 用户在与所述第一显示设备接触。
示例DA6包括如示例DA3-DA5的任何一个所述的主题，并且所述第 二电路被配置为：在所述第二图像传感器数据中检测所述用户的脸部；并 且基于在所述第二图像传感器数据中检测到所述用户的脸部，确定所述用 户存在于所述第二相机的第二视野中；基于所述第二图像传感器数据，确 定所述用户的脸部的第二朝向；并且至少部分地基于所述用户的脸部的第 二朝向，确定所述用户是否与所述第二显示设备接触或者脱离。
示例DA6.5包括如示例DA6所述的主题，并且基于确定所述用户的 脸部相对于所述用户的脸部和所述第二显示设备之间的第二路径在任一方 向上旋转超过第一最大旋转角度并且不超过第二旋转角度，确定所述用户 与所述第二显示设备脱离。
示例DA7包括如示例DA6-DA6.5的任何一个所述的主题，并且基于 确定所述用户与所述第二显示设备脱离，所述第二图像元数据指示出所述 用户与所述第二显示设备脱离。
示例DA8包括如示例DA6-DA7的任何一个所述的主题，并且所述第 一电路还被配置为：执行机器学习算法以在所述第一图像传感器数据中检 测所述用户的脸部并且确定所述用户的脸部的第一朝向，并且所述第二电 路还执行所述机器学习算法以在所述第二图像传感器数据中检测所述用户 的脸部并且确定所述用户的脸部的第二朝向。
示例DA9包括如示例DA8所述的主题，并且所述机器学习算法包括 被训练来识别人类脸部和人类脸部朝向的一个或多个神经网络。
示例DA10包括如示例DA1-DA9的任何一个所述的主题，并且所述 处理器还被配置为：确定所述第一图像元数据指示出用户存在并且所述用 户在与所述第一显示设备接触；确定对所述计算系统的访问被锁定；确定 认证机制当前未在所述第二显示设备上运行；触发所述认证机制以经由所 述第一显示设备认证所述用户；并且让所述第二显示设备保持关闭，直到 所述用户得到认证为止。
示例DA11包括如示例DA1-DA10的任何一个所述的主题，并且所述 处理器还被配置为：确定所述第二图像元数据指示出用户存在并且所述用 户与所述第二显示设备脱离；其中基于确定所述用户与所述第二显示设备 脱离将选择所述第二操作模式；并且响应于选择所述第二操作模式，在一 段时间中逐步降低用于所述第二显示设备的显示面板的背光的亮度，直到 用户事件发生为止或者直到所述背光被降低到预定的最低亮度水平为止。
示例DA12包括如示例DA1-DA10的任何一个所述的主题，并且所述 处理器还被配置为：确定所述第二图像元数据指示出用户存在并且所述用 户的脸部是不可检测的，其中基于确定所述用户存在并且所述用户的脸部 是不可检测的，将选择所述第二操作模式；并且响应于选择所述第二操作 模式，在一段时间中逐步降低用于所述第二显示设备的显示面板的背光的 亮度，直到用户事件发生为止或者直到所述背光被关闭为止。
示例DA13包括如示例DA1-DA10的任何一个所述的主题，并且所述 处理器还被配置为：确定所述第二图像元数据指示出用户不存在；确定与 可操作地耦合到所述处理器的所有其他显示设备相关联的最后图像元数据 指示出所述用户不存在；并且响应于选择所述第二操作模式：关闭所述第 二显示设备和可操作地耦合到所述处理器的所有其他显示设备；并且锁定 所述计算系统。
示例DA14包括如示例DA1-DA13的任何一个所述的主题，并且所述 处理器还被配置为确定对于所述第一显示设备已过去为无活动允许的最大 时间量，访问与所述第一显示设备相关联的最后图像元数据，并且基于确 定与所述第一显示设备相关联的最后图像元数据指示出用户存在，防止所 述第一显示设备被关闭。
示例DA15包括如示例DA1-DA14的任何一个所述的主题，并且所述 第一图像元数据指示出用户在与所述第一相机相关联的第一视野中存在或 者不存在以及所述用户是与所述第一显示设备接触还是脱离。
示例DA16包括如示例DA1-DA14的任何一个所述的主题，并且所述 第一电路还被配置为确定在所述第一视野中发生了第一事件，并且响应于 确定在所述第一视野中发生了第一事件，将所述第一图像元数据发送到所 述处理器。
示例DA17包括如示例DA16所述的主题，并且所述第一电路还被配 置为通过将所述第一图像元数据与第四图像元数据进行比较来确定所述第 一事件发生了，所述第四图像元数据是所述第一电路先前基于由所述第一 相机在捕捉所述第一图像传感器数据之前从所述第一视野捕捉的其他图像 传感器数据生成的。
示例DA18包括如以上任何一个示例DA所述的主题，并且还包括示 例AB1-AB2、AC1-AC22、AD1-AD10、AI1、BC1-BC12、BG1、BH1- BH7、CA1-CA14或者CD1-CD11的任何一个所述的特征(只要这些特征 不与以上示例DA的特征冗余)。
示例DB1提供了一种计算系统，包括：计算设备，包括：包含第一显 示设备的盖子，所述第一显示设备包括：第一相机；与所述第一相机通信 耦合的第一电路，所述第一电路基于由所述第一相机从第一视野捕捉的第 一图像传感器数据来生成第一图像元数据；以及在所述盖子中与所述第一 电路可操作地耦合的处理器，所述处理器被配置为基于所述第一图像元数 据为所述第一显示设备选择第一操作模式；以及与所述计算设备的处理器可操作地耦合的第二显示设备，所述第二显示设备包括：通信地耦合到与 所述第二显示设备相关联的第二相机的第二电路，所述第二电路基于由所 述第二相机从第二视野捕捉的第二图像传感器数据来生成第二图像元数据， 其中所述第一视野和所述第二视野部分重叠，并且其中所述处理器基于所 述第二图像元数据为所述第二显示设备选择第二操作模式。
示例DB2包括如示例DB1所述的主题，并且所述第一电路被配置为 在所述第一图像传感器数据中检测用户的脸部，基于在所述第一图像传感 器数据中检测到所述用户的脸部，确定所述用户存在于所述第一视野中， 基于所述第一图像传感器数据，确定所述用户的脸部的第一朝向，并且至 少部分地基于所述用户的脸部的第一朝向，确定所述用户是否与所述第一 显示设备接触或者脱离。
示例DB3包括如示例DB2所述的主题，并且基于确定所述用户的脸 部相对于所述用户的脸部和所述第一显示设备之间的路径在任一方向上没 有旋转超过第一最大旋转角度，确定所述用户与所述第一显示设备接触。
示例DB4包括如示例DB2-DB3的任何一个所述的主题，并且所述第 二电路被配置为在所述第二图像传感器数据中检测所述用户的脸部，并且 基于在所述第二图像传感器数据中检测到所述用户的脸部，确定所述用户 存在于所述第二相机的第二视野中，基于所述第二图像传感器数据，确定 所述用户的脸部的第二朝向，并且至少部分地基于所述用户的脸部的第二 朝向，确定所述用户是与所述第二显示设备接触还是脱离。
示例DB4.5包括如示例DB4所述的主题，并且基于确定所述用户的 脸部相对于所述用户的脸部和所述第二显示设备之间的第二路径在任一方 向上旋转超过第一最大旋转角度并且不超过第二旋转角度，确定所述用户 与所述第二显示设备脱离。
示例DB5包括如示例DB4-DB4.5的任何一个所述的主题，并且所述 第一电路还被配置为执行机器学习算法以在所述第一图像传感器数据中检 测所述用户的脸部并且确定所述用户的脸部的第一朝向，并且所述第二电 路还执行所述机器学习算法以在所述第二图像传感器数据中检测所述用户 的脸部并且确定所述用户的脸部的第二朝向。
示例DB6包括如示例DB5所述的主题，并且所述机器学习算法包括 被训练来识别人类脸部和人类脸部朝向的一个或多个神经网络，其中所述 人类脸部朝向被表示为旋转度数。
示例DB7包括如示例DB1-DB6的任何一个所述的主题，并且所述处 理器还被配置为确定所述第一图像元数据指示出用户存在并且所述用户在 与所述第一显示设备接触，确定对所述计算系统的访问被锁定，触发认证 机制以经由所述第一显示设备认证所述用户，并且让所述第二显示设备保 持关闭，直到所述用户得到认证为止。
示例DB8包括如示例DB1-DB7的任何一个所述的主题，并且所述处 理器还被配置为确定所述第二图像元数据指示出用户存在并且所述用户与 所述第二显示设备脱离，其中基于确定所述用户与所述第二显示设备脱离 将选择所述第二操作模式，并且响应于选择所述第二操作模式，在一段时 间中逐步降低用于所述第二显示设备的显示面板的背光的亮度。
示例DB9包括如示例DB1-DB7的任何一个所述的主题，并且所述处 理器还被配置为确定所述第二图像元数据指示出用户不存在，确定与可操 作地耦合到所述处理器的所有其他显示设备相关联的最后图像元数据指示 出所述用户不存在，并且响应于选择所述第二操作模式，关闭所述第二显 示设备和可操作地耦合到所述处理器的所有其他显示设备并且锁定所述计 算系统。
示例DB10包括如示例DB1-DB9的任何一个所述的主题，并且所述 处理器还被配置为确定为无活动允许的最大时间量对于所述第一显示设备 已过去，访问与所述第一显示设备相关联的最后图像元数据，并且基于确 定与所述第一显示设备相关联的最后图像元数据指示出用户存在，防止所 述第一显示设备被关闭。
示例DB11包括如示例DB1-DB10的任何一个所述的主题，并且所述 第一图像元数据指示出用户在与所述第一相机相关联的第一视野中存在或 者不存在以及所述用户是与所述第一显示设备接触还是脱离。
示例DB12包括如示例DB1-DB10的任何一个所述的主题，并且所述 第一电路还被配置为确定在所述第一视野中发生了第一事件，并且响应于 确定在所述第一视野中发生了第一事件，将所述第一图像元数据发送到所 述处理器。
示例DB13包括如示例DB12所述的主题，并且所述第一电路还被配 置为通过将所述第一图像元数据与第三图像元数据进行比较来确定所述第 一事件发生了，所述第三图像元数据是所述第一电路先前基于由所述第一 相机在捕捉所述第一图像传感器数据之前从所述第一视野捕捉的其他图像 传感器数据生成的。
示例DB14包括如示例DB1-DB13的任何一个所述的主题，并且所述 第二显示设备经由坞接站可操作地耦合到所述计算设备。
示例DB15包括如以上任何一个示例DB所述的主题，并且还包括示 例AB1-AB2、AC1-AC22、AD1-AD10、AI1、BC1-BC12、BG1、BH1- BH7、CA1-CA14或者CD1-CD11的任何一个所述的特征(只要这些特征 不与以上示例DB的特征冗余)。
示例DC1提供了一种装置，包括被配置为通信地耦合到与外部监视器 相关联的相机的电路，和可操作地耦合到所述外部监视器的计算设备，所 述电路接收从所述相机的视野捕捉的图像传感器数据，在所述图像传感器 数据中检测用户的脸部，基于在所述图像传感器数据中检测到所述用户的 脸部，确定所述用户存在于所述相机的视野中，确定所述用户的脸部的朝 向，并且至少部分地基于所述用户的脸部的朝向，确定所述用户是与所述外部监视器接触还是脱离，生成图像元数据以指示出所述用户存在于所述 相机的视野中并且还指示出所述用户是与所述外部监视器接触还是脱离， 并且将所述图像元数据发送到所述计算设备的处理器。
示例DC2包括如示例DC1所述的主题，并且所述用户的脸部的朝向 是相对于所述用户的脸部和所述外部监视器之间的路径来确定的。
示例DC3包括如示例DC1-DC2的任何一个所述的主题，并且所述电 路还被配置为，基于所述用户的脸部的朝向，确定所述用户的脸部没有旋 转超过第一最大旋转角度，其中，基于确定所述用户的脸部没有旋转超过 所述第一最大旋转角度，所述图像元数据指示出所述用户与所述外部监视 器接触。
示例DC4包括如示例DC1-DC2的任何一个所述的主题，并且所述电 路还被配置为：基于所述用户的脸部的朝向，确定所述用户的脸部旋转超 过第一最大旋转角度但没有超过第二最大旋转角度，其中，基于确定所述 用户的脸部旋转超过第一最大旋转角度但没有超过第二最大旋转角度，所 述图像元数据指示出所述用户与所述外部监视器脱离。
示例DC5包括如示例DC1-DC2的任何一个所述的主题，并且所述电 路还被配置为：基于所述用户的脸部的朝向，确定所述用户的脸部旋转超 过第二最大旋转角度，其中，基于确定所述用户的脸部旋转超过第二最大 旋转角度，所述图像元数据指示出所述用户存在并且所述用户的脸部是不 可检测的。
示例DC6包括如示例DC1-DC5的任何一个所述的主题，并且所述电 路还被配置为执行机器学习算法以在所述图像传感器数据中检测所述用户 的脸部并且确定所述用户的脸部的朝向。
示例DC7包括如示例DC6所述的主题，并且所述机器学习算法包括 被训练来识别人类脸部和人类脸部朝向的一个或多个神经网络，其中所述 人类脸部朝向被表示为旋转度数。
示例DC8包括如示例DC1-DC7的任何一个所述的主题，并且所述电 路在所述计算设备外部。
示例DC9包括如示例DC1-DC8的任何一个所述的主题，并且所述外 部监视器经由坞接站连接到所述计算设备。
示例DC10包括如示例DC1-DC9的任何一个所述的主题，并且所述 电路和所述相机或者嵌入在所述外部监视器中，或者可移除地连接到所述 外部监视器。
示例DC11包括如以上任何一个示例DC所述的主题，并且还包括示 例AA1-AA16、AG1、BA1-BA12、BE1、CA1-CA14或者CF1-CF4的任何 一个所述的特征(只要这些特征不与以上示例DC的特征冗余)。
示例DD1提供了一种装置，包括与第一显示设备和第二显示设备可操 作地耦合的处理器，所述处理器执行一个或多个指令以接收与第一相机从 邻近所述第一显示设备的第一视野捕捉的第一图像相关联的第一图像元数 据，确定所述第一图像元数据指示出用户存在于所述第一视野中并且所述 用户在所述第一显示设备接触，接收与第二相机从邻近所述第二显示设备 的第二视野捕捉的第二图像相关联的第二图像元数据，确定所述第二图像 元数据指示出所述用户存在于所述第二视野中并且所述用户与所述第二显 示设备脱离，至少部分地基于所述第一图像元数据而为所述第一显示设备 选择第一操作模式，并且至少部分地基于所述第二图像元数据而为所述第 二显示设备选择第二操作模式。
示例DD2包括如示例DD1所述的主题，并且所述处理器还执行所述 一个或多个指令以确定对包括所述处理器的计算系统的访问被锁定，确定 认证机制当前未在所述第二显示设备上运行，触发所述认证机制以经由所 述第一显示设备认证所述用户，并且让所述第二显示设备保持关闭，直到 所述用户得到认证为止。
示例DD3包括如示例DD1-DD2的任何一个所述的主题，并且所述处 理器还执行所述一个或多个指令以确定所述第二图像元数据指示出所述用 户与所述第二显示设备脱离，并且在一段时间中逐步降低用于所述第二显 示设备的显示面板的背光的亮度。
示例DD4包括如示例DD3所述的主题，并且所述背光的亮度被逐步 降低，直到所述背光被降低到预定的最低亮度水平或者被关闭为止。
示例DD5包括如示例DD1-DD4的任何一个所述的主题，并且所述处 理器还执行所述一个或多个指令以接收与第三相机从邻近与所述处理器可 操作地耦合的第三显示设备的第三视野捕捉的第三图像相关联的第三图像 元数据，确定所述第三图像元数据指示出所述用户不存在于所述第三视野 中，确定与所述第一显示设备相关联的最后图像元数据指示出所述用户不 存在于所述第一视野中并且与所述第二显示设备相关联的最后图像元数据 指示出所述用户不存在于所述第二视野中，为所述第三显示设备选择第三 操作模式，并且响应于选择所述第三操作模式：关闭所述第三显示设备、 所述第一显示设备和所述第二显示设备，锁定包括所述处理器的计算系统。
示例DD5.1包括如示例DD1-DD6的任何一个所述的主题，并且基于 确定所述用户的脸部相对于所述用户的脸部和所述第一显示设备之间的第 一路径在任一方向上没有旋转超过第一最大旋转角度，确定所述用户与所 述第一显示设备接触。
示例DD5.2包括如示例DD1-DD6.1的任何一个所述的主题，并且基 于确定所述用户的脸部相对于所述用户的脸部和所述第二显示设备之间的 第二路径在任一方向上旋转超过第一最大旋转角度并且小于第二最大旋转 角度，确定所述用户与所述第一显示设备脱离。
示例DD6包括如示例DD1-DD5.2的任何一个所述的主题，并且所述 处理器还执行所述一个或多个指令以确定对于所述第一显示设备已过去为 无活动允许的最大时间量，访问与所述第一显示设备相关联的最后图像元 数据，并且基于确定与所述第一显示设备相关联的最后图像元数据指示出 所述用户存在，防止所述第一显示设备被关闭。
示例DD7包括如以上任何一个示例DD所述的主题，并且还包括示例 AA1-AA16、AG1、BA1-BA12、BE1、CA1-CA14或者CF1-CF4的任何一 个所述的特征(只要这些特征不与以上示例DD的特征冗余)。
示例DE1提供了一种方法，包括：由与第一相机耦合的第一电路基于 由所述第一相机从邻近第一显示设备的第一视野捕捉的第一图像传感器数 据来生成第一图像元数据；由与第二相机耦合的第二电路基于由所述第二 相机从邻近第二显示设备的第二视野捕捉的第二图像传感器数据来生成第 二图像元数据，其中所述第一视野和所述第二视野部分重叠；由计算设备 的处理器从所述第一电路接收所述第一图像元数据并且从所述第二电路接 收所述第二图像元数据；由所述处理器基于所述第一图像元数据为所述第 一显示设备选择第一操作模式；并且由所述处理器基于所述第二图像元数 据为所述第二显示设备选择第二操作模式。
示例DE2包括如示例DE1所述的主题，并且所述方法还包括在所述 第一图像传感器数据中检测用户的脸部，基于在所述第一图像传感器数据 中检测到所述用户的脸部，确定所述用户存在于所述第一相机的第一视野 中，基于所述第一图像传感器数据，确定所述用户的脸部的第一朝向，并 且至少部分地基于所述用户的脸部的第一朝向，确定所述用户是与所述第 一显示设备接触还是脱离。
示例DE3包括如示例DE2所述的主题，并且所述方法还包括基于确 定所述用户的脸部相对于所述用户的脸部和所述第一显示设备之间的第一 路径在任一方向上没有旋转超过第一最大旋转角度，确定所述用户与所述 第一显示设备接触。
示例DE4包括如示例DE2-DE3的任何一个所述的主题，并且基于确 定所述用户在所述第一显示设备接触，所述第一图像元数据被生成为指示 出所述用户在与所述第一显示设备接触。
示例DE5包括如示例DE2-DE4的任何一个所述的主题，并且所述第 二电路：在所述第二图像传感器数据中检测所述用户的脸部；并且基于在 所述第二图像传感器数据中检测到所述用户的脸部，确定所述用户存在于 所述第二相机的第二视野中；基于所述第二图像传感器数据，确定所述用 户的脸部的第二朝向；并且至少部分地基于所述用户的脸部的第二朝向， 确定所述用户是与所述第二显示设备接触还是脱离。
示例DE5.5包括如示例DE5所述的主题，并且所述方法还包括基于确 定所述用户的脸部相对于所述用户的脸部和所述第二显示设备之间的第二 路径在任一方向上旋转超过第一最大旋转角度并且不超过第二最大旋转角 度，确定所述用户所述第二显示设备脱离。
示例DE6包括如示例DE5-DE5.5的任何一个所述的主题，并且基于 确定所述用户与所述第二显示设备脱离，所述第二图像元数据被生成为指 示出所述用户与所述第二显示设备脱离。
示例DE7包括如示例DE5-DE6的任何一个所述的主题，并且在所述 第二图像传感器数据中检测所述用户的脸部并且确定所述用户的脸部的第 二朝向包括执行一个或多个机器学习算法，并且在所述第一图像传感器数 据中检测所述用户的脸部并且确定所述用户的脸部的第一朝向包括执行所 述一个或多个图像元数据算法。
示例DE8包括如示例DE7所述的主题，并且所述一个或多个机器学 习算法包括被训练来识别人类脸部和人类脸部朝向的一个或多个神经网络。
示例DE9包括如示例DE1-DE8的任何一个所述的主题，并且所述方 法还包括确定所述第一图像元数据指示出用户存在并且所述用户在与所述 第一显示设备接触，确定对包括所述处理器的计算系统的访问被锁定，确 定认证机制当前未在所述第二显示设备上运行，触发所述认证机制以经由 所述第一显示设备认证所述用户，并且让所述第二显示设备保持关闭，直 到所述用户得到认证为止。
示例DE10包括如示例DE1-DE9的任何一个所述的主题，并且所述方 法还包括：确定所述第二图像元数据指示出用户存在并且所述用户与所述 第二显示设备脱离，其中基于确定所述用户与所述第二显示设备脱离而选 择所述第二操作模式；并且，响应于选择所述第二操作模式，在一段时间 中逐步降低用于所述第二显示设备的显示面板的背光的亮度。
示例DE11包括如示例DE10所述的主题，并且所述背光的亮度被逐 步降低，直到所述背光被降低到预定的最低亮度水平或者被关闭为止。
示例DE12包括如示例DE1-DE9的任何一个所述的主题，并且所述方 法还包括：确定所述第二图像元数据指示出用户存在并且所述用户的脸部 是不可检测的，其中选择所述第二操作模式是基于确定所述用户存在并且 所述用户的脸部是不可检测的；并且响应于选择所述第二操作模式，在一 段时间中逐步降低用于所述第二显示设备的显示面板的背光的亮度，直到 用户事件发生或者所述背光被关闭为止。
示例DE13包括如示例DE1-DE9的任何一个所述的主题，并且所述方 法还包括确定所述第二图像元数据指示出用户不存在，确定与所述第一显 示设备相关联的最后图像元数据指示出所述用户不存在，并且响应于选择 所述第二操作模式：关闭所述第一显示设备和所述第二显示设备，并且锁 定包括所述处理器的计算系统。
示例DE14包括如示例DE1-DE13的任何一个所述的主题，并且所述 方法还包括确定对于所述第一显示设备已过去为无活动允许的最大时间量， 访问与所述第一显示设备相关联的最后图像元数据，并且基于确定与所述 第一显示设备相关联的最后图像元数据指示出用户存在，防止所述第一显 示设备被关闭。
示例DE15包括如示例DE1-DE14的任何一个所述的主题，并且所述 第一图像元数据指示出用户在与所述第一相机相关联的第一视野中存在还 是不存在以及所述用户是与所述第一显示设备接触还是脱离。
示例DE16包括如示例DE1-DE14的任何一个所述的主题，并且所述 方法还包括确定在所述第一视野中发生了第一事件，并且响应于确定在所 述第一视野中发生了第一事件，从所述第一电路向所述处理器发送所述第 一图像元数据。
示例DE17包括如示例DE16所述的主题，并且所述方法还包括通过 将所述第一图像元数据与第三图像元数据进行比较来确定所述第一事件发 生了，所述第三图像元数据是所述第一电路先前基于由所述第一相机在捕 捉所述第一图像传感器数据之前从所述第一视野捕捉的其他图像传感器数 据生成的。
示例DE18包括如以上任何一个示例DE所述的主题，并且还包括示 例AF1-AF12、BD1-BD11、CB1-CB13或者CE1-CE11的任何一个所述的 方法的元素(只要这些方法元素不与以上示例DE的方法元素冗余)。
示例DF1提供了一种装置，该装置包括用于执行如示例DE1-DE17的 任何一个所述的方法的部件。
示例DF2包括如示例DF1所述的主题，并且所述用于执行方法的部 件包括至少一个处理器和至少一个存储器元件。
示例DF3包括如示例DF2所述的主题，并且所述至少一个存储器元 件包括机器可读指令，所述指令当被执行时，使得所述装置执行如任何一 个在前示例所述的方法。
示例DF4包括如示例DF1-DF3的任何一个所述的主题，并且所述装 置是以下之一：计算系统、处理元件、或者片上系统。
示例DF5包括如以上任何一个示例DF所述的主题，并且还包括示例AA1-AA16、AG1、BA1-BA12、BE1、CA1-CA14或者CF1-CF4的任何一 个所述的特征(只要这些特征不与以上示例DF的特征冗余)。
示例DG1提供了至少一个机器可读存储介质，包括指令，其中所述指 令当被执行时实现如在前示例的任何一个所述的装置、计算系统或者方法。
图像的局部对比度增强和全局调暗
在一些实施例中，移动计算设备中的嵌入式发光显示器(例如， OLED、微型LED和QLED显示器)的功率消耗可通过在图像(帧)级别 调暗像素并且通过增强图像中的局部对比度以补偿由此产生的对比度损失 来得以降低。由此产生的图像保留了与原始图像相似的局部对比度，并且 保持对用户的视觉吸引力，这是由于如下事实：人类视觉系统聚焦在大约 两度角直径的区域。
在一些实施例中，一种装置，例如定时控制器，可增强输入图像的多 个分片(tile)的个体分片的局部对比度，以生成增强的图像。此外，该装 置确定了增强的图像的增强的图像平均局部对比度值，以及输入图像的图 像平均局部对比度值。这些参数被用来确定全局调暗因子。例如，这可涉 及装置基于增强的图像平均局部对比度值和图像平均局部对比度值来确定 全局调暗因子。增强的图像可基于全局调暗因子被调暗，以生成调暗的增 强图像。全局调暗因子可例如基于以下所列项中的一个或多个：调暗激进 水平，要显示调暗的增强图像的显示器的显示亮度设置，或者环境光水平。 在一个示例实现方式中，全局调暗因子是根据以下式子确定的：
DF＝1.0-AL·(CF-1.0)
其中DF是全局调暗因子，AL是调暗激进水平，CF是根据以下式子 确定的对比度增强因子：
Figure BDA0003212949650001731
该装置可选择性地进一步生成基于调暗的增强图像的最终图像，以在 显示器上显示。显示器可例如位于根据上文论述的实现方式之一的计算设 备的盖子中。
图59图示了包括局部对比度增强和全局调暗模块的示例定时控制器 的框图。定时控制器5900包括视频数据接收器5910、帧缓冲器5920、局 部对比度增强和全局调暗模块5930以及显示驱动器5940。定时控制器 5900从位于移动计算设备的底座中的显示模块5950接收视频数据并且驱 动嵌入式面板5960。定时控制器5900和嵌入式面板5960位于移动计算设 备的盖子中。显示驱动器5940驱动显示面板控制器电路，例如行驱动器 5980和列驱动器5990。
在一个或多个实施例中，定时控制器5900表示TCON 150、250、355、 2820A、2820B的示例实现方式，并且嵌入式面板5960表示嵌入式显示面 板145、280、380、2806A、2806B、4612的示例实现方式，其中任何一个 可用于盖子120、220、301、1820、4610的示例实现方式中，该盖子进而 可以是移动计算设备(用户设备)100、200、300、2800A、2800B、4605 的示例实现方式的一部分。在一个或多个实施例中，显示模块5950表示 显示模块241、341的示例实现方式，该显示模块可用于SoC 140、240、 2840A、2840B、4608的示例实现方式中，该SoC可位于底座210、315、 1810、4616的示例实现方式中，该底座进而又可以是移动计算设备(用户 设备)100、200、300、2800A、2800B、4605的示例实现方式的一部分。
局部对比度增强和全局调暗模块5930使得显示面板5960所消耗的功 率能够被降低，其方式是通过全局调暗要显示的图像，同时增强其局部对 比度，以使得显示的图像具有与它们被模块5930处理之前相似的局部对 比度。在一些实施例中，局部对比度增强和全局调暗模块5930是帧处理 栈5995的一部分，该帧处理栈5995包括在栈5995中位于局部对比度增强 和全局调暗模块5930之前和/或之后的一个或多个图像处理模块5970。图 像处理模块5970可包括图8(例如，模块822、824、825、826)或者图 67(例如，模块6725、6726、6728)中图示的任何图像处理模块或者本文 描述或者提及的任何其他图像处理模块。
图60图示了包括局部对比度增强和全局调暗模块的示例定时控制器 前端的框图。定时控制器前端(TCON FE)6000包括一些与定时控制器 5900相同的组件。TCON FE6000不包括显示驱动器来驱动嵌入式显示面 板5960，而是将经处理的视频数据5998发送到定时控制器后端6050 (TCON BE)，该定时控制器后端包括一个或多个图像处理模块6080， 该一个或多个图像处理模块在视频数据被提供给驱动嵌入式面板控制电路 的显示驱动器6090之前对经处理的视频数据5998执行额外处理。如先前 关于图10C和10D所论述，将定时控制器分成前端和后端组件可提供定时 控制器设计的灵活性。定时控制器前端可包括特定移动设备设计所特有的 模块，而定时控制器后端可与具有不同特征集合的多个定时控制器前端设 计兼容。在一个或多个实施例中，定时控制器前端6000表示TCON FE1052、1076的示例实现方式，并且定时控制器后端6050表示TCON BE 1060、1070的示例实现方式，两者都可用于盖子120、220、301、1820、 4610的示例实现方式中，而盖子120、220、301、1820、4610进而可以是 移动计算设备(用户设备)100、200、300、2800A、2800B、4605的示例 实现方式的一部分。
在一些实施例中，显示模块5950通过eDP连接与TCON 5900或者 TCON FE 6000通信，并且视频数据接收器5910包括eDP主链路接收器。 在一些实施例中，显示驱动器5940和显示驱动器6090是P2P传输模块。
图61图示了局部对比度增强和全局调暗示例方法的第一示例。方法 6100可由定时控制器对包括在提供给定时控制器的视频数据中的图像执行。 在6110，局部对比度增强被应用于输入图像6120以生成增强的图像6130。 在6140，为增强的图像6130确定增强的图像平均局部对比度值，并且在 6150，为输入图像6120确定图像平均局部对比度值。在6160，基于增强 图像平均局部对比度值和图像平均局部对比度值确定全局调暗因子。在 6170，基于全局调暗因子对增强的图像6130进行全局调暗，以生成调暗 的增强图像6180。在6190，使基于调暗的增强图像6180的最终图像被显 示在显示器上。
图像的局部对比度可在6110处使用各种现有的方法来增强，例如那 些基于直方图均衡化或者利用非锐化遮罩的方法。在直方图均衡化局部对 比度增强方法中，图像被划分为分片，并且为每个分片的像素亮度直方图 被生成。在一些实施例中，分片可以是大小为256×256像素或者128× 128像素的方形分片。从直方图中生成校正查找表，并且将其应用于分片， 以提供更均衡的像素亮度分布。空间平滑滤波器可用于平滑掉分片边界附 近的不连续。在利用非锐化遮罩的局部对比度增强方法中，输入图像的模 糊负片被用来创建图像的遮罩，该遮罩与图像相结合以生成锐化的图像。 在一些利用非锐化遮罩的局部对比度增强实施例中，使用了移动平均二维 有限冲激响应锐化滤波器。
在一些实施例中，在6140处确定的增强图像平均局部对比度值和在 6150处确定的图像平均局部对比度值是使用基于直方图的方法确定的。同 样，图像被划分为分片。对于每个分片，像素亮度直方图是通过将像素亮 度值(例如，像素明度值)分成若干个箱格(bin)，并且计算具有落入与 每个箱格相关联的亮度范围的亮度值的像素的数目而生成的。例如，将具 有8比特颜色深度的图像分到32个箱格中，明度值为0-7的像素被分到箱 格0中，明度值为8-15的像素被分到箱格1中，以此类推。虽然提及了像 素的明度值，但本文描述的任何图像可采用任何颜色编码方案(例如， RGB、YUV、任何非线性编码方案，例如伽马编码)，并且如果像素亮度 不是颜色编码方案参数之一，那么像素的亮度可从所采用的颜色编码方案 的值确定。例如，如果图像是用RGB颜色方案来编码的，则像素亮度可 从像素的RGB值确定。如果图像采用了一种颜色编码方案，其中每个像 素的亮度不是颜色编码方案的分量之一(例如，RGB)，那么像素的亮度 可被确定。分片的局部对比度可被定义为像素亮度直方图的最高填充箱格 (亮箱格)和最低填充箱格(暗箱格)之间的正规化距离。在一些实施例 中，与亮度谱的任一端相对应的箱格被如下过滤掉。暗箱格是累积像素计 数(从箱格0开始)达到分片中像素总数的4％的箱格。亮箱格是累积像 素计数达到像素总数的90％的箱格。除了用于确定暗箱格的4％和用于确 定亮箱格的90％之外，还可以使用其他累积像素计数阈值百分比。分片的 局部对比度由式1确定：
对比度＝(亮箱格索引–暗箱格索引)/最大箱格索引(式1)
例如，考虑一个分片被分到32个箱格中，其索引值为0到31。如果 分片的暗箱格是箱格6并且分片的亮箱格是箱格28，那么分片的局部对比 度是0.71((28-6)/31)。图像平均局部对比度值是图像中所有分片的局部 对比度的平均值。虽然已经提供了使用32个箱格的示例，但可使用不同 数目的箱格来计算图像平均局部对比度值。在一些实施例中，图像平均局 部对比度值是图像中的部分分片的局部对比度的平均值。例如，图像平均 局部对比度值可以是图像中每隔一个(每三个，等等)分片的局部对比度 的平均值。
在一些实施例中，图像6120的分片的亮度直方图是由显示模块、 GPU或者其他计算组件作为生成图像的一部分来确定的。在这样的实施例 中，确定图像平均局部对比度值可包括使用先前在图像生成期间确定的亮 度直方图信息。在一些实施例中，由位于移动计算设备的底座中的计算组 件生成的亮度直方图信息可由位于底座中的显示模块提供给位于移动计算 设备的盖子中的定时控制器。亮度信息可与由显示模块发送到定时控制器 的视频数据一起发送，或者是其一部分。在一些实施例中，用于图像6120 的亮度直方图信息可由定时控制器在图像经历局部对比度增强和全局调暗 之前执行的图像处理被执行期间生成，并且局部对比度增强和全局调暗可 利用先前由定时控制器生成的亮度直方图信息。用于增强的图像6130的 分片的亮度直方图信息可作为生成增强的图像6130的一部分来确定，或 者在生成增强的图像6130之后确定。
在6160处确定的全局调暗因子是基于增强的图像平均局部对比度值 和为输入图像6120确定的图像平均局部对比度值的。全局调暗因子指示 出要被应用于增强图像6130的全局调暗量。也就是说，全局调暗因子指 示出增强的图像6130的像素的亮度要被降低的量。一般而言，输入图像 6120的局部对比度被增强得越多，增强的图像6130就会被越多地调暗。 在一些实施例中，全局调暗因子是根据式2计算的：
DF＝1.0-AL·(CF-1.0) (式2)
其中DF是全局调暗因子，AL是调暗激进水平，CF是根据式3确定 的对比度增强因子：
Figure BDA0003212949650001771
全局调暗因子一般具有零到一的范围，并且表示增强的图像6130中 的像素的亮度要被降低的倍数。调暗激进水平可以是大于或等于一的任何 值，并且反映了经由图像的局部对比度增强和全局调暗要实现的显示面板 功率降低的水平。增大调暗激进水平的值会导致全局调暗因子的减小，从 而带来增大的显示面板电力节省。在应用式2和式3的一个示例中，对于 CF为1.05并且调暗激进水平被设置为4的输入图像，全局调暗因子为0.8， 意味着该图像被全局调暗20％。在一些实施例中，可为全局调暗因子设置 下限，以防止过度调暗。在一些实施例中，全局调暗因子下限可在0.4至 0.7的范围内。在局部对比度增强和全局调暗的一个应用中，多个测试图 像的CF在1.03-1.07的范围内，并且在2至6的范围内的调暗激进水平导 致了调暗的增强图像仍然具有视觉吸引力，同时提供了显示功率降低。在 一些实施例中，调暗激进水平是由OEM或者其他移动计算设备制造商设 置的。在其他实施例中，调暗激进水平由最终用户通过用户接口设置。
在一些实施例中，全局调暗因子可进一步取决于用户可配置的显示亮 度设置。指示出要显示更亮的图像的显示亮度设置可导致全局调暗因子具 有更窄的高值范围(例如，0.7-1.0)。指示出要显示较暗的图像的显示亮 度设置可导致全局调暗因子具有更宽的值范围(例如，0.4-1.0)或者更窄 的较低值范围(例如，0.4-0.7)。在一些实施例中，全局调暗因子可进一 步取决于基于由集成到移动计算设备的盖子或底座中的环境光传感器生成的传感器数据的环境光水平。例如，指示出更大量的环境光的环境光水平 可导致全局调暗因子具有更窄的高值范围(例如，0.7-1.0)。指示出更少 量的环境光的环境光水平可导致全局调暗因子具有更宽的值范围(例如， 0.4-1.0)或者更窄的较低值范围(例如，0.4-0.7)。在增强的图像包括非 线性编码的像素值的实施例中，例如伽马编码的像素值，非线性像素值编 码可在增强的图像的调暗之前被解码。
在一些实施例中，全局调暗因子通过按全局调暗因子线性缩放像素强 度值而被应用于增强的图像6130。在一些实施例中，调暗图像包括，对于 每个像素，将包括每个像素的像素强度值的矩阵与包括与全局调暗因子相 匹配的元素的矩阵相乘。在其他实施例中，可通过参考与全局调暗因子相 关联的查找表来生成调暗的增强图像6180，该查找表包括对应于像素亮度 水平的索引值和对应于由全局调暗因子缩放的像素亮度的返回值。在一些 实施例中，每个都与不同的全局调暗因子相关联的多个查询表可被存储于 在定时控制器中操作的局部对比度增强和全局调暗模块本地的存储器中。 全局调暗因子查询表可在移动计算设备被关闭时被存储在位于定时控制器、 与定时控制器通信耦合的盖子控制器中枢或者移动计算设备的底座中的非 易失性存储器中，并且在由局部对比度增强和全局调暗模块处理图像之前 被加载到定时控制器本地的存储器中。在一些实施例中，与全局调暗因子 查找表相关联的全局调暗因子的集合可在全局调暗因子的范围内以相等的 间隔分布(例如，十分之一的间隔(0.4，0.5……0.9，1.0)，二十分之一 的间隔(0.4，0.45……0.95，1.00))。在一些实施例中，可为经常出现 的全局调暗因子生成新的全局调暗因子查找表，并且在运行时期间生成的 新的全局调暗因子查找表可被存储在非易失性存储器中，并且在移动计算 设备下次被加电时被加载到定时控制器存储器本地的存储器中。
在6190，使最终图像显示在显示器上。在一些实施例中，要显示的最 终图像是调暗的增强图像6180。在其他实施例中，调暗的增强图像6180 经过额外的图像处理以生成要显示的最终图像。在一些实施例中，方法 6100由定时控制器执行。在一些实施例中，方法6100由定时控制器中的 局部对比度增强和全局调暗模块执行。方法6100可由硬件、软件、固件 或者其任何组合来执行。
在一些实施例中，图像的局部对比度增强和全局调暗的应用可使得发 射型显示器的功率消耗降低10-30％。如果该发射型显示器被包含到膝上 型电脑中，则可实现整体系统功率降低5-15％。
图62A-图62B图示了局部对比度增强和全局调暗对示例图像的应用。 图62A示出了在应用局部对比度增强和全局调暗之前的输入图像，图62B 示出了所得到的调暗的增强图像。可以看出，调暗的增强图像在视觉上与 输入图像看起来相似。当在发射型显示器上查看时，图62A和62B看起来 会更相似。显示图62B所示的调暗的增强图像，相对于与关联输入图像的 显示相关联的显示功率消耗而言，使得显示功率降低了20％。
图63是局部对比度增强和全局调暗示例方法的第二示例。方法6300 可由位于移动计算设备的盖子中的定时控制器中的对比度增强和调暗 (contrast enhancement anddimming，CED)模块执行。在6310，接收图 像。在该示例中，CED模块接收从移动计算设备的底座中的显示模块接收 的视频数据中包括的图像。该图像可能已经经历了由定时控制器进行的一 些图像处理。在6320，图像的多个分片中的个体分片的局部对比度被增强 以生成增强的图像。在该示例中，CED模块增强了图像中的256×256像 素分片的局部对比度。在6330，为增强的图像确定增强的图像平均局部对 比度值。在该示例中，CED模块为增强的图像确定了0.82的增强的图像 平均局部对比度值。在6340，为图像确定图像平均局部对比度值。在该示 例中，为输入图像确定了0.78的图像平均局部对比度值。在6350，确定 基于增强的图像平均局部对比度值和图像平均局部对比度值的全局调暗因 子。在该示例中，全局调暗因子是利用式(2)和(3)计算的。CF为 1.05，并且调暗激进水平为3，全局调暗因子为0.85。在6360，基于全局 调暗因子对增强的图像进行调暗，以生成调暗的增强图像。在该示例中， 增强的图像中的像素的亮度按0.85的因子被调暗。在6370，使得最终图 像被显示在位于移动计算设备的盖子中的显示器上，该最终图像是基于调 暗的增强图像的。在该示例中，调暗的增强图像被显示在移动计算设备中 的盖子上。方法6300可以可选地包括一个或多个额外的动作，例如对调 暗的增强图像执行额外的图像处理以生成最终图像。
当前描述的显示面板功率降低实施例的其他示例包括以下非限制性实 现方式。以下非限制性示例中的每一个都可独立存在，或者可与下文提供 的或者贯穿本公开内容的其他示例中的任何一个或多个按任何排列或组合 方式进行组合。
示例EA1包括一种方法，包括：接收第一图像；增强所述第一图像的 多个分片中的个体分片的局部对比度以生成第二图像；为所述第二图像确 定第二图像平均局部对比度值；为所述第一图像确定第一图像平均局部对 比度值；基于所述第二图像平均局部对比度值和所述第一图像平均局部对 比度值确定全局调暗因子；并且基于所述全局调暗因子调暗所述第二图像 以生成调暗的增强图像。
示例EA2包括如示例EA1所述的方法，其中最终图像是所述调暗的 增强图像。
示例EA3包括如示例EA1所述的方法，还包括对所述调暗的增强图 像执行额外的图像处理以生成所述最终图像。
示例EA4包括如示例EA1-EA3的任何一个所述的方法，其中确定所 述全局调暗因子是进一步基于调暗激进水平的。
示例EA5包括如示例EA1-EA4的任何一个所述的方法，其中确定所 述全局调暗因子是进一步基于显示亮度设置的。
示例EA6包括如示例EA1-EA5的任何一个所述的方法，其中确定所 述全局调暗因子是进一步基于环境光水平的。
示例EA7包括如示例EA1-EA6的任何一个所述的方法，其中所述全 局调暗因子是根据以下式子确定的：
DF＝1.0-AL·(CF-1.0)
其中DF是所述全局调暗因子，AL是调暗激进水平，并且CF是根据 下式确定的对比度增强因子：
Figure BDA0003212949650001811
示例EA8包括如示例EA1-EA7的任何一个所述的方法，还包括使得 最终图像被显示在位于移动计算设备的盖子中的显示器上，所述最终图像 是基于所述调暗的增强图像的。
示例EA9包括如示例EA1-EA8的任何一个所述的方法，其中所述第 一图像平均局部对比度值是利用基于直方图的方法来确定的。
示例EA10包括如示例EA9所述的方法，其中所述基于直方图的方法 包括为所述第一图像中的个体分片确定像素亮度直方图。
示例EA11包括如示例EA1-EA8的任何一个所述的方法，其中确定所 述第一图像平均局部对比度值包括针对所述第一图像中的个体分片：为所 述个体分片确定像素亮度直方图；并且确定所述像素亮度直方图的最高填 充箱格和所述像素亮度直方图的最低填充像素亮度箱格之间的正规化距离。
示例EA12包括如以上任何一个示例EA所述的方法，并且还包括示 例AE1-AE11、AH1、BB1-BB11、BF1、CB1-CB12、CE1-CE10或者 DE1-DE16的任何一个所述的方法的元素(只要这些方法元素不与以上示 例EA的方法元素冗余)。
示例EB1包括一种装置，包括：视频数据接收器，用来接收视频数据， 所述视频数据包括表示一个或多个图像的数据；以及局部对比度增强和全 局调暗模块，来对于所述图像中的个体图像：增强所述个体图像的多个分 片中的个体分片的局部对比度以生成增强的图像；为所述增强图像确定第 二图像平均局部对比度值；为所述个体图像确定第一图像平均局部对比度 值；基于所述第二图像平均局部对比度值和所述第一图像平均局部对比度 值确定全局调暗因子；并且基于所述全局调暗因子调暗所述增强的图像以 生成调暗的增强图像。该装置可例如是定时控制器。
示例EB2包括如示例EB1所述的装置，其中确定所述全局调暗因子 还基于调暗激进水平。
示例EB3包括如示例EB1或EB2所述的装置，其中确定所述全局调 暗因子还基于显示亮度设置。
示例EB4包括如示例EB1-EB3的任何一个所述的装置，其中确定所 述全局调暗因子还基于环境光水平。
示例EB5包括如示例EB1-EB4的任何一个所述的装置，其中所述全 局调暗因子是根据以下式子确定的：
DF＝1.0-AL·(CF-1.0)
其中DF是所述全局调暗因子，AL是调暗激进水平，并且CF是根据 下式确定的对比度增强因子：
Figure BDA0003212949650001821
示例EB6包括如示例EB1-EB5的任何一个所述的装置，其中所述装 置位于移动计算设备的盖子中，所述装置还包括显示驱动器来使得最终图 像被显示在位于所述盖子中的显示器上，所述最终图像是基于所述调暗的 增强图像的。
示例EB7包括如示例EB1-EB6的任何一个所述的装置，其中，对于 所述调暗的增强图像中的个体调暗的增强图像，所述最终图像是所述个体 调暗的增强图像。
示例EB8包括如示例EB1-EB6的任何一个所述的装置，还包括一个 或多个额外图像处理模块，用来对于所述调暗的增强图像中的个体调暗的 增强图像，对所述个体调暗的增强图像执行额外的图像处理以生成所述最 终图像。
示例EB9包括如示例EB1-EB8的任何一个所述的装置，其中所述装 置是定时控制器前端。
示例EB10包括如示例EB1-EB8的任何一个所述的装置，其中所述第 二图像平均局部对比度值是利用基于直方图的方法来确定的。
示例EB11包括如示例EB10所述的装置，其中所述基于直方图的方 法包括为所述第二图像中的多个分片中的个体分片确定像素亮度直方图。
示例EB12包括如示例EB1-EB8的任何一个所述的装置，其中确定所 述第二图像平均局部对比度值包括对于所述第二图像中的个体第二图像分 片：为所述个体第二图像分片确定像素亮度直方图；并且确定所述像素亮 度直方图的最高填充箱格和所述像素亮度直方图的最低填充像素亮度箱格 之间的正规化距离。
示例EB13包括如以上任何一个示例EB所述的装置，并且还包括示 例AA1-AA15、AB1、AC1-AC22、AD1-AD10、BA1-BA12、BC1-BC11、 CA1-CA13、CC1-CC13、CD1-CD10、CH1-CH8、DA1-DA17、DB1-DB13、 DC1-DC5或DD1-DD5的任何一个所述的特征(只要这些特征不与以上示 例EB的特征冗余)。
示例EC1包括一种移动计算设备，包括；底座，包括片上系统 (SoC)，所述SoC包括显示模块；与所述底座可旋转地耦合的盖子，所 述盖子包括：嵌入式显示面板；定时控制器，包括：视频数据接收器，用 来从所述显示模块接收视频数据，所述视频数据包括表示一个或多个图像 的数据；以及局部对比度增强和全局调暗模块，用来对于所述一个或多个图像中的个体图像：增强所述个体图像的多个分片中的个体分片的局部对 比度以生成增强的图像；为所述增强的图像确定第二图像平均局部对比度 值；为所述个体图像确定第一图像平均局部对比度值；基于所述第二图像 平均局部对比度值和所述第一图像平均局部对比度值确定全局调暗因子； 并且按所述全局调暗因子调暗所述增强的图像以生成调暗的增强图像；以 及显示驱动器，用来对于所述调暗的增强图像中的个体调暗的增强图像，使得最终图像被显示在所述嵌入式显示面板上的显示器上，所述最终图像 是基于所述个体调暗的增强图像的。
示例EC2包括如示例EC1所述的移动计算设备，其中，对于所述调 暗的增强图像中的个体调暗的增强图像，所述最终图像是所述个体调暗的 增强图像。
示例EC3包括如示例EC1所述的移动计算设备，还包括一个或多个 图像处理模块来对于所述调暗的增强图像中的个体调暗的增强图像，对所 述个体调暗的增强图像执行另外的图像处理以生成所述最终图像。
示例EC4包括如示例EC1-EC3的任何一个所述的移动计算设备，其 中确定所述全局调暗因子还基于调暗激进水平。
示例EC5包括如示例EC1-EC4的任何一个所述的移动计算设备，其 中确定所述全局调暗因子还基于显示亮度设置。
示例EC6包括如示例EC1-EC5的任何一个所述的移动计算设备，其 中确定所述全局调暗因子还基于环境光水平。
示例EC7包括如示例EC1-EC6的任何一个所述的移动计算设备，其 中所述全局调暗因子是根据以下式子确定的：
DF＝1.0-AL·(CF-1.0)
其中DF是所述全局调暗因子，AL是调暗激进水平，并且CF是根据 下式确定的对比度增强因子：
Figure BDA0003212949650001841
示例EC8包括如示例EC1-EC7的任何一个所述的移动计算设备，其 中所述嵌入式显示面板是有机发光二极管(OLED)嵌入式显示面板。
示例EC9包括如示例EC1-EC8的任何一个所述的移动计算设备，其 中所述第一图像平均局部对比度值是利用基于直方图的方法来确定的。
示例EC10包括如示例EC9所述的移动计算设备，其中所述基于直方 图的方法包括为所述个体分片确定像素亮度直方图。
示例EC11包括如示例EC1-EC8的任何一个所述的移动计算设备，其 中确定所述第一图像平均局部对比度值包括对于所述多个分片中的个体分 片：为所述个体分片确定像素亮度直方图；并且确定所述像素亮度直方图 的最高填充箱格和所述像素亮度直方图的最低填充像素亮度箱格之间的正 规化距离。
示例EC12包括如以上任何一个示例EC所述的移动计算设备，并且 还包括示例AA1-AA15、AB1、AC1-AC22、AD1-AD10、BC1-BC11、 CA1-CA13、CD1-CD10、CH1-CH8、DA1-DA17或者DB1-DB13的任何一 个所述的特征(只要这些特征不与以上示例EC的特征冗余)。
示例ED1包括一种装置，包括：视频数据接收器，用来接收视频数据， 所述视频数据包括表示一个或多个图像的数据；以及局部对比度增强和全 局调暗模块，用来对于所述一个或多个图像中的个体图像：增强所述个体 区域的多个区域中的个体区域的局部对比度以生成增强的图像；为所述增 强的图像确定第二图像平均局部对比度值；为所述个体图像确定第一平均 局部对比度值；并且基于所述第二图像平均局部对比度值和所述第一图像 平均局部对比度值确定全局调暗因子；由调暗装置按所述全局调暗因子调 暗所述增强的图像以生成调暗的增强图像。该装置可例如是定时控制器。
示例EE1包括一种装置，包括：视频数据接收器，用来接收视频数据， 所述视频数据包括表示一个或多个图像的数据；局部对比度增强和全局调 暗模块，用来对于所述图像中的个体图像，对所述个体图像进行局部对比 度增强和全局调暗以生成调暗的增强图像；以及显示驱动器，用来对于所 述调暗的增强图像中的个体调暗增强图像，使得最终图像被显示在嵌入式 显示面板上的显示器上，所述最终图像是基于所述个体调暗的增强图像的。
示例EF1包括一个或多个非暂态计算机可读存储介质，存储计算机可 执行指令，用于使得移动计算设备执行如这里的示例EA所述的任何一个 方法。
示例EF2包括一个或多个非暂态计算机可读存储介质，存储计算机可 执行指令，用于使得移动计算设备执行如以上示例EA所述的任何一个方 法，并且还包括示例AE1-AE11、AH1、BB1-BB11、BF1、CB1-CB12、 CE1-CE10或者DE1-DE16的任何一个所述的方法的方法元素(只要这些 方法元素不与以上示例EA的方法元素冗余)。
示例EG1包括一种系统，包括一个或多个装置来实现以上示例EA所 述的一个或多个方法。
示例EG2包括一种系统，包括一个或多个装置来实现以上示例EA所 述的一个或多个方法，并且还实现示例AE1-AE11、AH1、BB1-BB11、 BF1、CB1-CB12、CE1-CE10或DE1-DE16所述的任何一个方法(只要这 些方法不与以上示例EA的方法冗余)。
示例EH1包括一种设备，包括：存储指令的存储器；以及与所述存储 器耦合的处理器，所述指令被所述处理器执行来执行以上任何一个示例 EA的方法。
低功率始终开启的显示器
在一些实施例中，移动计算设备包括可折叠显示器，该显示器包括 “始终开启”部分，该部分在设备闭合并且和处于低功率模式中时对用户 可见并且显示内容。为了在设备处于这个低功率模式中时降低功耗，显示 器的在设备闭合时对用户不可见的部分被禁用。这可通过将显示管线的一 个或多个组件(例如帧缓冲器、图像处理模块、行驱动器和列驱动器)置 于低功率状态中来实现。当设备被闭合时显示在显示器的始终开启部分上 的内容可以用SoC显示模块提供的新图像来定期更新，但在一些实施例中， 作为低功率子系统一部分的第二显示模块可向盖子提供图像，从而允许 SoC显示模块保持在低功率状态中。通过选择性地禁用显示器的一部分来 扩展现有显示器以提供始终开启显示能力，比添加第二显示器和第二定时 控制器的成本要低，并且可带来较低的设备成本。
实施例提供了一种移动计算设备，它具有底座、可折叠显示器和可旋 转地附着到底座的盖子。盖子可包括定时控制器，该定时控制器包括帧缓 冲器。计算设备的定时控制器可在计算设备处于完全显示模式中时启用可 折叠显示器的第一显示部分，并且在计算设备处于部分显示模式中时禁用 第一显示部分并且启用可折叠显示器的第二显示部分。第一显示部分例如 在计算设备处于打开配置中时可以是可见的，而在计算设备处于闭合配置 中时可以是不可见的。相比之下，第二显示部分在计算设备处于闭合配置 中时可以是可见的，其中计算设备在处于部分显示模式中时可处于闭合配 置中。当计算设备处于部分显示模式时，计算设备的定时控制器可进一步 能够将帧缓冲器的至少一部分置于帧缓冲器低功率状态中。帧缓冲器可存 储与在可折叠显示器处显示的图像相对应的图像数据。可选地，当移动计 算设备处于完全显示模式中时，定时控制器可使能第二显示部分。在一示 例中，计算设备可能处于部分显示模式中。在此模式中，定时控制器可将 分别驱动第一显示部分的行和列的一个或多个行驱动器和/或一个或多个列 驱动器置于低功率状态中。
图64A和图64B分别图示了处于打开和闭合配置中的移动计算设备的 顶视图，其中第一示例可折叠显示器包括可作为始终开启的显示器操作的 一部分。移动计算设备6400包括经由铰链6412可旋转地附着到盖子6420 的底座6410。底座6410包括物理键盘6414和触控板6418。盖子6420包 括环绕着盖子的顶边缘6435的可折叠显示器6430。可折叠显示器6430包 括位于盖子6420的表面6450上的第一显示部分6440以及位于盖子的表面6470上的第二显示部分6460，其中当设备6400处于打开配置中时该表面 6450是面向用户的。第二显示部分6460可作为显示器6430的始终开启部 分来操作，因为当设备6400处于闭合配置中时它是可见的，如图64B中 所示。当设备6400被闭合时，在第二显示部分6460上示出通知6480。参 考图1B，盖子表面6450和6470分别对应于移动计算设备6400的B盖和 A盖。
图65A图示了处于打开配置中的移动计算设备的顶视图，其中第二示 例可折叠显示器包括可作为始终开启的显示器操作的一部分。移动计算设 备6500包括可旋转地附着到盖子6520的底座6510。设备6500包括可折 叠显示器6530，该显示器覆盖盖子表面6550的一部分和底座表面6560的 一部分，当该设备6500处于打开配置中时，盖子表面6550是面向用户的 表面，底座表面是面向上的表面。虚拟键盘6534被显示在可折叠显示器 6530的底座显示部分6564上。图65B和图65C分别图示了处于闭合配置 中的图65A的移动计算设备的截面侧视图和顶视图。盖子6520从盖子顶 边缘6576到铰链端部6578的长度6574小于底座6510从底座前边缘6584 延伸到铰链端部6578的长度6570，从而当设备6500闭合时使得可折叠显 示器6530的显示部分6580可见。显示部分6580可作为始终开启的显示器 来操作。从上面看，盖子6520的顶表面6590出现在邻近始终开启显示部 分6580之处。当设备6500被闭合时，在始终开启显示部分6580上示出通 知内容6594。参考图1B，盖子表面6550、底座表面6560和盖子顶表面 6590，分别对应于移动计算设备6500的B盖、C盖和A盖。
图66A-图66L图示了包括可折叠显示器的移动计算设备的各种视图， 该可折叠显示器具有可作为始终开启的显示器操作的显示部分。图66A-图 66C分别图示了移动计算设备6600的A盖、B盖和C盖的视图，该移动 计算设备6600包括底座6612、盖子6614和可折叠显示器，该可折叠显示 器环绕在盖子6614的顶边缘6618之上。盖子顶边缘6618位于铰链端部6619的远端，移动计算设备6600在铰链端部可旋转地附着到底座6612。 可折叠显示器包括第一显示部分6620和第二显示部分6622。当设备6600 处于打开配置中时，第一显示部分6620是面向用户的，而当设备6600处 于打开配置或者闭合配置中时，第二显示部分6622是面向世界的。第二 显示部分6622可作为始终的开启显示部分来操作，因为当设备6600处于闭合配置中时它是可见的。相机6624位于设备6600的A盖上，在第二显 示部分6622的下面。
图66D-图66F分别图示了移动计算设备6630的A盖、B盖和C盖视 图，该移动计算设备6630包括底座6632、盖子6634和可折叠显示器，该 可折叠显示器环绕在盖子6634的顶边缘6638之上。盖子顶边缘6638位于 铰链端部6639的远端，移动计算设备6630在铰链端部可旋转地附着到底 座6632。可折叠显示器包括第一显示部分6640和第二显示部分6642。当设备6630处于打开配置中时，第一显示部分6640是面向用户的，而当设 备6630处于打开配置或者闭合配置中时，第二显示部分6642是面向世界 的。第二显示部分6642可作为始终开启的显示部分来操作，因为当设备 6630处于闭合配置中时它是可见的。相机6644位于设备6630的A盖上， 在第二显示部分6642的侧面。
图66G-图66I分别图示了移动计算设备6650的A盖、B盖和C盖视 图，该移动计算设备6650包括底座6652、盖子6654和可折叠显示器，该 可折叠显示器环绕着盖子6654的侧边缘6658。可折叠显示器包括第一显 示部分6660和第二显示部分6662。当设备6650处于打开配置中时，第一 显示部分6660是面向用户的，而当设备6650处于打开配置或者闭合配置中时，第二显示部分6662是面向世界的。第二显示部分6662可作为始终 开启的显示部分来操作，因为当设备6650处于闭合配置中时它是可见的。 相机6664位于设备6650的A盖上，在第二显示部分6662的侧面。在其 他实施例中，可折叠显示器可环绕着盖子的两个侧边缘，并且包括两个面 向世界的第二显示部分，其中一个或者两个可作为始终开启的显示器操作。
图66J-图66L分别图示了移动计算设备6670的顶部、B盖和C盖视 图，该移动计算设备6670包括底座6672、盖子6674和可折叠显示器，该 可折叠显示器延伸过底座6672和盖子6674。可折叠显示器包括位于盖子 中的第一显示部分6676和位于底座中的第二显示部分6678。当设备6670 处于打开配置中时，第一显示部分6676是面向用户的，第二显示部分6678是面向上的。第二显示部分6678的一部分6682可作为始终开启的显 示部分来操作，因为当设备6670处于闭合配置中时它是可见的。相机 6684位于设备6670的A盖上。图66J图示了移动计算设备6670在处于闭 合配置中时的俯视图，并且示出了第二显示部分6678的始终开启的显示 部分6682，该显示部分6682在移动计算设备6670被闭合时是可见的，由 于盖子长度6686短于底座长度6688。当从上面看时，始终开启的显示部 分6682呈现为邻近计算设备6670的A盖6690。
图67图示了与具有可作为始终开启的显示器来操作的部分的可折叠 显示器相关联的示例定时控制器和附加显示管线组件的框图。定时控制器 6700包括视频数据接收器6710、帧缓冲器6720、处理栈6722和显示驱动 器6730。定时控制器6700以及嵌入式可折叠显示面板6740和显示面板控 制电路(例如，行驱动器6750和列驱动器6760)位于移动计算设备的盖 子中。视频数据接收器6710通过连接6782从显示模块6764接收视频数据， 该显示模块是SoC 6786的一部分并且位于移动计算设备的底座中。帧处 理栈6722包括解码器6724、RGB模块6725和VDSC编码器6726。解码 器6724在由RGB模块6725处理之前对编码的帧进行解码，并且编码器 6726在由颜色和伽马校正模块6728处理之前对帧进行重新编码。颜色和 伽马校正模块6728对帧执行颜色和伽马校正。在一些实施例中，解码器 6724和编码器6726根据
Figure BDA0003212949650001902
显示压缩标准(
Figure BDA0003212949650001901
Display Compression Standard，VDSC)执行帧解码和编码。
在一个或多个实施例中，定时控制器6700表示TCON 150、250、355、 2820A、2820B、5900的示例实现方式，并且嵌入式面板6790表示嵌入式 显示面板145、280、380、2806A、2806B、4612、5690的示例实现方式， 其中任何一个可被用于盖子120、220、301、1820、4610的示例实现方式 中，该盖子进而可以是移动计算设备(用户设备)100、200、300、2800A、2800B、4605的示例实现方式的一部分。在一个或多个实施例中，显示模 块6764表示显示模块241、341、5950的示例实现方式，该显示模块可用 于SoC 140、240、2840A、2840B、4608的示例实现方式中，该SoC可位 于底座210、315、1810、4606中，该底座进而又可以是移动计算设备 (用户设备)100、200、300、2800A、2800B、4605的一部分。
在一些实施例中，帧处理栈6722包括除图67所示的模块之外的一个 或多个模块。额外的图像处理模块可包括图8和图59中所示的任何模块 或者本文描述或者提及的任何其他图像处理模块。在一些实施例中，帧处 理栈6722可包括比图67中所示更少的模块。在一些实施例中，显示模块 6764通过eDP连接与TCON 6700通信，并且视频数据接收器6710包括 eDP主链路接收器。在一些实施例中，显示驱动器6730是P2P传输模块。
可折叠显示面板6740包括第一显示部分6790和第二显示部分6794。 第一显示部分6790在移动计算设备处于打开配置中时是可见的，而在移 动计算设备处于闭合配置中时是不可见的(例如图64A中的第一显示部分 6440和图66B、66E、66H和66K中的显示部分6620、6640、6660和 6676)，并且第二显示部分6794在移动计算设备处于闭合配置中时是可见的(例如图64B中的第二显示部分6460以及图66A、66D、66G和66J 中的显示部分6622、6642、6662和6682)。第二显示部分6794可在移动 设备处于闭合配置中时作为始终开启的显示部分操作。第一显示部分6790 和第二显示部分6794基于移动计算设备的显示模式被启用。当移动计算 设备处于打开配置中时，该设备可处于完全显示模式中，其中第一和第二 显示部分6790和6794都被启用。在一些实施例中，多个完全显示模式是 可能的。例如，在第一完全显示模式中，第一显示部分6790被启用，而 第二显示部分6794被禁用，而在第二完全显示模式中，第一和第二显示 部分6790和6794被启用并且显示内容。当移动计算设备处于闭合配置中 时，该设备可处于部分显示模式中，其中第一显示部分6790被禁用并且不显示内容，而第二显示部分6794被启用并且作为始终开启的显示器操 作。
在一些实施例中，除了基于移动计算设备的物理配置之外，显示模式 还还基于用户可配置的设置。例如，可向用户提供用户可配置的显示设置， 该设置允许用户选择当设备处于打开配置中时第二显示部分是被启用还是 禁用，以及当设备处于闭合配置中时第二显示部分是否被启用。定时控制 器6700从盖子控制器中枢或者移动计算设备的底座中的组件，例如显示 模块6764，接收显示模式信息6796。
为了降低设备功率消耗，当设备处于部分显示模式中时，设备的显示 管线的一个或多个组件可被置于低功率状态中。显示管线包括参与在显示 面板6740处显示的图像的生成、处理和显示的组件。在图67所示的实施 例中，显示管线组件包括显示模块6764、视频数据接收器6710、帧缓冲 器6720、帧处理栈6722、显示驱动器6730、行驱动器6750和列驱动器 6760。将移动计算设备置于低功率状态中可包括将其任何组成组件置于低 功率状态中。例如，行驱动器可被置于行驱动器低功率状态中，列驱动器 可被置于列驱动器低功率状态中，帧缓冲器可被置于帧缓冲器低功率状态 中，显示模块可被置于显示模块低功率状态中，等等。将一个组件或者组 件的一部分置于低功率状态中可包括，例如，降低其操作电压，以更低的 频率操作组件，禁用组件，或者禁用组件功能(例如禁用存储器阵列的一 部分或者禁用输出驱动器)。显示管线组件可通过定时控制器控制逻辑或 者通过显示模式信息(例如，显示模式信息6796)被直接提供给个体显示 管线组件并且使得模块被置于低功率状态中而被置于低功率状态中。
在一些实施例中，当设备处于部分显示模式中时，驱动第一显示部分 6790的行驱动器6754可被置于低功率状态中，而驱动第二显示部分6794 的行驱动器6758保持被启用。在其他实施例中，列驱动器6760可包括驱 动第一显示部分的第一组列驱动器和驱动始终开启显示部分的第二组列驱 动器，并且当设备处于部分显示模式中时，第一组列驱动器被禁用，并且 第二组列驱动器被启用。在一些实施例中，当设备处于部分显示模式中时， 定时控制器显示驱动器(例如，显示驱动器6730)的对驱动第一显示部分 的行或列驱动器进行驱动的部分可被置于低功率状态中。
在一些实施例中，当设备处于部分显示模式中时，帧缓冲器6720的 一部分被置于低功率状态中。将帧缓冲器6720的一部分置于低功率状态 中可包括禁用帧缓冲器6720中的存储器阵列的存储在第一显示部分6790 处显示的图像的部分，禁用控制存储器阵列的存储在第一显示部分6790 中显示的图像的部分的控制电路，或者仅存储与在显示器的第二显示部分 6794上显示的图像相对应的图像数据。
在一些实施例中，TCON 6700包括第一帧缓冲器，其存储与将在第一 显示部分6790处显示的图像相对应的图像数据，以及第二帧缓冲器，其 存储与将在第二显示部分6794处显示的图像相对应的图像数据。第一和 第二帧缓冲器的大小分别基于第一和第二显示部分的大小，并且从而每个 都小于为了存储要在显示部分6790和6794上显示的图像的图像数据而将 会需要的单个帧缓冲器(例如，帧缓冲器6720)的大小。当设备处于部分显示模式中时，第一帧缓冲器可被置于低功率状态中。
在一些实施例中，TCON 6700包括第一帧缓冲器，用来存储要在第一 显示部分6790和第二显示部分6794上显示的图像，以及第二帧缓冲器， 用来存储要在第二显示部分6794处显示的图像，第二帧缓冲器比第一帧 缓冲器小。当移动计算设备处于完全显示模式中时，TCON 6700利用第一 帧缓冲器，并且第二帧缓冲器被置于低功率状态中，并且当处于部分显示 模式中时，TCON 6700将第一帧缓冲器置于低功率状态中并且利用第二帧 缓冲器。
在一些实施例中，当移动计算设备处于部分显示模式中时，帧处理栈 6722的一个或多个图像处理组件可被绕过，以降低显示管线功率消耗。例 如，如果当设备处于部分显示模式中时在第二显示部分6794处显示的内 容是以黑白显示的，或者以其他方式不会受益于帧处理栈中的模块的处理， 则当设备处于部分显示模式中时可绕过这些模块。绕过一组件可包括将被 绕过的组件的至少一部分置于低功率状态中。作为示例，被绕过的模块的一部分可保持被启用，以允许图像数据通过该模块，而被绕过的组件的其 余部分可被禁用。
在一些实施例中，可通过管线中的组件仅对与在第二显示部分6794 处显示的内容相对应的图像数据部分进行操作来降低显示管线功率消耗。 在对像素的像素数据进行并行操作的组件中，可禁用该组件的对与第一显 示部分相对应的像素数据执行操作的部分。在对多个像素的像素数据进行 串行操作的组件中，该模块可被配置为(通过例如定时控制器逻辑)仅对 与第二显示部分6794相对应的像素的像素数据进行操作。
在一些实施例中，当设备处于部分显示模式中时，在第二显示器6794 处显示的内容可包括以小于当在完全显示模式中操作时嵌入式面板的典型 刷新率(例如，30-120Hz)的速率更新的通知内容。例如，如果通知内容 包括显示小时和分钟的时钟，则显示模块6764可每分钟从低功率状态退 出一次，以生成新的图像，来在显示当前时间的第二显示部分处显示。在 生成更新的图像之后，显示模块6764可返回到低功率状态。当设备处于 部分显示模式中时可包括在通知内容中并且显示在第二显示部分6794处 的其他类型的信息的示例包括关于即将举行的会议、剩余电池寿命、未读 信息(例如，电子邮件、文本、社交媒体)的数目以及基于情境的问候语 (例如，“早上好！”)的信息。许多其他类型的信息可被包括在通知内 容中。通知内容可依据所显示的信息以各种间隔来更新(例如，如果显示 时钟则每分钟一次，每5或10分钟一次以更新未读消息信息，每60分钟 一次以更新会议信息)。在一些实施例中，定时控制器可向显示模块发信 号，指出何时唤醒并且生成更新的通知内容。在其他实施例中，唤醒显示 模块以生成更新的信息可由底座中的组件控制。
在一些实施例中，通知内容可由显示模块6798通过带外连接6784提 供给TCON6700，该显示模块是位于设备底座(例如，210、315、1810、 4606)中的低功率子系统6799的一部分。低功率子系统6799可以用比 SoC 6786更低的功率水平生成通知内容。通知内容可作为通过连接6784 提供给TCON 6700的视频数据来提供，该连接6784与显示模块6764用于向视频数据接收器6710提供视频数据的连接6782是分开的。通过使用低 功率子系统6799来生成通知内容，SoC 6786和显示模块6764可被保持在 低功率状态中，并且移动计算设备的功率消耗可被降低。在一些实施例中， 带外连接6784是USB连接或者MIPI显示串行接口(MIPI DSI)连接。
图68图示了用于操作能够作为始终开启的显示器操作的移动计算设 备的可折叠显示器的示例方法。方法6800可由例如膝上型电脑来执行， 该膝上型电脑包括可折叠显示器，该可折叠显示器环绕着膝上型电脑的盖 子的顶部。可折叠显示器在盖子打开时具有面向用户的部分，并且在膝上 型电脑盖子闭合时具有作为始终开启的显示器操作的面向世界的部分。在 6810，当移动计算设备处于完全显示模式中时，移动计算设备的可折叠显 示器的第一显示部分被启用。在该示例中，当膝上型电脑响应于盖子被打 开而进入完全显示模式时，膝上型电脑的面向用户的部分被启用并且显示 内容。在6820，当移动计算设备处于部分显示模式中时，第一显示部分被 禁用，并且可折叠显示器的第二显示部分被启用。当移动计算设备处于打 开配置中时，第一显示部分是可见的，而当移动计算设备处于闭合配置中 时，第一显示部分不可见。当移动计算设备处于闭合配置中时，第二显示 部分是可见的，而当处于部分显示模式中时，移动计算设备处于闭合配置 中。在该示例中，当盖子被闭合时，显示器的面向用户的部分被禁用，并 且显示器的面向世界的部分被启用，并且第二显示部分作为始终开启的显 示器操作。在6830，当移动计算设备处于部分显示模式中时，帧缓冲器的 至少一部分被置于帧缓冲器低功率状态中，该帧缓冲器存储与在可折叠显示器处显示的图像相对应的图像数据。在该示例中，帧缓冲器中的用于存 储用于在可折叠显示器处显示的图像的那部分存储器阵列被置于更低功率 状态中。也就是说，只有帧缓冲器中存储要在始终开启的显示器处显示的 图像的那部分存储器阵列被启用。
当前描述的低功率始终开启实施例的其他示例包括以下非限制性实现 方式。以下非限制性示例中的每一个都可独立存在，或者可与下文提供的 或者贯穿本公开内容的其他示例中的任何一个或多个按任何排列或组合方 式进行组合。
示例FA1是一种方法，包括：当移动计算设备处于完全显示模式中时 使能所述移动计算设备的可折叠显示器的第一显示部分；当所述移动计算 设备处于部分显示模式中时禁用所述第一显示部分并且启用所述可折叠显 示器的第二显示部分，所述第一显示部分在所述移动计算设备处于打开配 置中时是可见的并且在所述移动计算设备处于闭合配置中时是不可见的， 所述第二显示部分在所述移动计算设备处于所述闭合配置中时是可见的， 所述移动计算设备当处于所述部分显示模式中时处于所述闭合配置中；当 所述移动计算设备处于所述部分显示模式时将帧缓冲器的至少一部分置于 帧缓冲器低功率状态中，所述帧缓冲器存储与要在所述可折叠显示器处显 示的图像相对应的图像数据。
示例FA2包括如示例FA1所述的方法，还包括当所述移动计算设备 处于所述完全显示模式中时启用所述第二显示部分。
示例FA3包括如示例FA1或FA2所述的方法，还包括，当所述移动 计算设备处于所述部分显示模式中时，将驱动所述第一显示部分的行的一 个或多个行驱动器置于行驱动器低功率状态中。
示例FA4包括如示例FA1-FA3的任何一个所述的方法，还包括，当 所述移动计算设备处于所述部分显示模式中时，将驱动所述第一显示部分 的列的一个或多个列驱动器置于列驱动器低功率状态中。
示例FA5包括如示例FA1-FA4的任何一个所述的方法，其中所述帧 缓冲器是第一帧缓冲器并且所述移动计算设备包括小于所述第一帧缓冲器 的第二帧缓冲器，所述方法还包括，当所述移动计算设备处于所述部分显 示模式中时，利用所述第二帧缓冲器来存储与要在所述第二显示部分处显 示的图像相对应的图像数据。
示例FA6包括如示例FA1-FA5的任何一个所述的方法，还包括当所 述移动计算设备处于所述部分显示模式中时绕过显示管线中的一个或多个 图像处理组件。
示例FA7包括如示例FA1-FA6的任何一个所述的方法，还包括当所 述移动计算设备处于所述部分显示模式中时将显示管线中的一个或多个图 像处理组件配置为不处理与要在所述第一显示部分上显示的图像的一部分 相对应的图像数据。
示例FA8包括如示例FA1-FA7的任何一个所述的方法，还包括：当 所述移动计算设备处于所述完全显示模式中时在所述第一显示部分处显示 第一图像，所述第一图像对应于由第一显示模块提供的视频数据；并且当 所述移动计算设备处于所述部分显示模式中时在所述第二显示部分处显示 第二图像，所述第二图像对应于由第二显示模块提供的视频数据。
示例FA9包括如示例FA8所述的方法，还包括，当所述移动计算设 备处于所述部分显示模式中时：将所述第一显示模块置于第一显示模块低 功率状态中；并且周期性地从第二显示模块低功率状态中唤醒所述第二显 示模块以生成要在所述第二显示部分处显示的新图像。
示例FA10包括如示例FA1-FA9的任何一个所述的方法，其中所述移 动计算设备包括可旋转地附着到底座的盖子，并且所述可折叠显示器覆盖 所述盖子的第一表面的至少一部分和所述盖子的第二表面的至少一部分， 所述盖子的第一表面在所述移动计算设备处于打开配置中时是面向用户的 表面，并且所述盖子的第二表面是面向世界的表面。
示例FA11包括如示例10所述的方法，其中所述盖子包括位于铰链端 部的远端的顶边缘，所述盖子在所述铰链端部可旋转地附着到所述底座， 并且所述可折叠显示器环绕着所述盖子的顶边缘。
示例FA12包括如示例10所述的方法，其中所述盖子包括侧边缘并且 所述可折叠显示器环绕着所述侧边缘的至少一者。
示例FA13包括如示例FA1-FA9的任何一个所述的方法，其中所述移 动计算设备包括可旋转地附着到底座的盖子，所述可折叠显示器覆盖所述 盖子的第一表面的至少一部分和所述底座的第一表面的至少一部分，所述 盖子的第一表面和所述底座的第一表面在所述移动计算设备处于所述闭合 配置中时面向彼此，所述盖子具有从所述盖子可旋转地附着到所述底座处 的铰链端部延伸到位于所述铰链端部远端的盖子顶边缘的盖子长度，所述 底座具有从所述底座可旋转地附着到所述盖子处的铰链端部延伸到位于所 述铰链端部远端的底座前边缘的底座长度，所述盖子长度小于所述底座长 度，并且所述第二显示部分位于所述底座的第一表面上。
示例FA14包括如示例FA1-FA13的任何一个所述的方法，其中将所 述帧缓冲器的至少一部分置于所述帧缓冲器低功率状态中包括禁用所述帧 缓冲器。
示例FA15包括如示例FA1-FA13的任何一个所述的方法，其中将所 述帧缓冲器的至少一部分置于所述帧缓冲器低功率状态中包括禁用所述帧 缓冲器的存储器阵列的一部分。
示例FA16包括如示例FA1-FA13的任何一个所述的方法，其中将所 述帧缓冲器的至少一部分置于所述帧缓冲器低功率状态中包括降低所述帧 缓冲器的操作电压。
示例FA17包括如以上任何一个示例FA所述的方法，并且还包括示 例AE1-AE11、AH1、BB1-BB10、BF1、CB1-CB12、CE1-CE10、DE1- DE16或者EA1-EA11的任何一个所述的方法的元素(只要这些方法元素 不与以上示例FA的方法元素冗余)。
示例FB1包括一种移动计算设备，包括；底座；可折叠显示器；以及 可旋转地附着到所述底座的盖子，所述盖子包括定时控制器，该定时控制 器包括帧缓冲器，所述定时控制器用来：在所述移动计算设备处于完全显 示模式中时启用所述可折叠显示器的第一显示部分；在所述移动计算设备 处于部分显示模式中时禁用所述第一显示部分并且启用所述可折叠显示器 的第二显示部分，所述第一显示部分在所述移动计算设备处于打开配置中 时是可见的并且在所述移动计算设备处于闭合配置中时是不可见的，所述 第二显示部分在所述移动计算设备处于所述闭合配置中时是可见的，所述 移动计算设备当处于所述部分显示模式中时处于所述闭合配置中；并且在 所述移动计算设备处于所述部分显示模式时将帧缓冲器的至少一部分置于 帧缓冲器低功率状态中，所述帧缓冲器存储与要在所述可折叠显示器处显 示的图像相对应的图像数据。
示例FB2包括如示例FB1所述的移动计算设备，所述定时控制器还在 所述移动计算设备处于所述完全显示模式中时启用所述第二显示部分。
示例FB3包括如示例FB1或FB2所述的移动计算设备，所述定时控 制器还在所述移动计算设备处于所述部分显示模式中时，将驱动所述第一 显示部分的行的一个或多个行驱动器置于行驱动器低功率状态中。
示例FB4包括如示例FB1-FB3的任何一个所述的移动计算设备，所 述定时控制器还在所述移动计算设备处于所述部分显示模式中时，将驱动 所述第一显示部分的列的一个或多个列驱动器置于列驱动器低功率状态中。
示例FB5包括如示例FB1-FB4的任何一个所述的移动计算设备，其 中所述帧缓冲器是第一帧缓冲器，所述定时控制器还包括小于所述第一帧 缓冲器的第二帧缓冲器，所述定时控制器还在所述移动计算设备处于所述 部分显示模式中时，利用所述第二帧缓冲器来存储与要在所述第二显示部 分处显示的图像相对应的图像数据。
示例FB6包括如示例FB1-FB5的任何一个所述的移动计算设备，其 中所述定时控制器还包括一个或多个图像处理组件，所述定时控制器还在 所述移动计算设备处于所述部分显示模式中时绕过显示管线中的一个或多 个图像处理组件。
示例FB7包括如示例FB1-FB6的任何一个所述的移动计算设备，其 中所述定时控制器还包括一个或多个图像处理组件，所述定时控制器还在 所述移动计算设备处于所述部分显示模式中时将显示管线中的一个或多个 图像处理组件配置为不处理与要在所述第一显示部分上显示的图像的一部 分相对应的图像数据。
示例FB8包括如示例FB1-FB7的任何一个所述的移动计算设备，所 述定时控制器还用来：在所述移动计算设备处于所述完全显示模式中时在 所述第一显示部分处显示第一图像；并且在所述移动计算设备处于所述部 分显示模式中时在所述第二显示部分处显示第二图像；并且所述移动计算 设备还包括：第一显示模块，用来将所述第一图像提供给所述定时控制器； 以及第二显示模块，用来将所述第二图像提供给所述定时控制器。
示例FB9包括如示例FB1-FB8的任何一个所述的移动计算设备，其 中所述盖子包括位于铰链端部的远端的顶边缘，所述盖子在所述铰链端部 可旋转地附着到所述底座，并且所述可折叠显示器环绕着所述盖子的顶边 缘。
示例FB10包括如示例FB1-FB8的任何一个所述的移动计算设备，其 中所述盖子包括一个或多个侧边缘并且所述可折叠显示器环绕着所述侧边 缘的至少一者。
示例FB11包括如示例FB1-FB8的任何一个所述的移动计算设备，其 中所述可折叠显示器覆盖所述盖子的第一表面的至少一部分和所述底座的 第一表面的至少一部分，所述盖子的第一表面和所述底座的第一表面在所 述移动计算设备处于所述闭合配置中时面向彼此，所述盖子具有从所述盖 子可旋转地附着到所述底座处的铰链端部延伸到位于所述铰链端部远端的 盖子顶边缘的盖子长度，所述底座具有从所述底座可旋转地附着到所述盖 子处的铰链端部延伸到位于所述铰链端部远端的底座前边缘的底座长度， 所述盖子长度小于所述底座长度，并且所述第二显示部分位于所述底座的 第一表面上。
示例FB12包括如示例FB1-FB11的任何一个所述的移动计算设备， 其中将所述帧缓冲器的至少一部分置于所述帧缓冲器低功率状态中包括禁 用所述帧缓冲器。
示例FB13包括如示例FB1-FB11的任何一个所述的移动计算设备， 其中将所述帧缓冲器的至少一部分置于所述帧缓冲器低功率状态中包括禁 用所述帧缓冲器的存储器阵列的一部分。
示例FB14包括如示例FB1-FB11的任何一个所述的移动计算设备， 其中将所述帧缓冲器的至少一部分置于所述帧缓冲器低功率状态中包括降 低所述帧缓冲器的操作电压。
示例FB15包括如以上任何一个示例FB所述的移动计算设备，并且还 包括示例AA1-AA15、AB1-AB2、AC1-AC22、AD1-AD10、BC1-BC11、 CA1-CA13、CD1-CD10、CH1-CH8、DA1-DA17、DB1-DB13或者EC1- EC8的任何一个所述的特征(只要这些特征不与以上示例FB的特征冗 余)。
示例FC1包括一个或多个非暂态计算机可读存储介质，存储计算机可 执行指令，用于使得移动计算设备执行如以上示例FA所述的任何一个方 法。
示例FC2包括一个或多个非暂态计算机可读存储介质，存储计算机可 执行指令，用于使得移动计算设备执行如以上示例FA所述的任何一个方 法，并且还包括示例AE1-AE11、AH1、BB1-BB10、BF1、CB1-CB12、 CE1-CE10、DE1-DE16或者EA1-EA11的任何一个所述的方法的方法元素 (只要这些方法元素不与以上示例FA的方法元素冗余)。
示例FD1包括一种系统，包括一个或多个装置来实现以上示例FA所 述的一个或多个方法。
示例FD2包括一种系统，包括一个或多个装置来实现以上示例FA所 述的一个或多个方法，并且还实现示例AE1-AE11、AH1、BB1-BB10、 BF1、CB1-CB12、CE1-CE10、DE1-DE16或EA1-EA11所述的任何一个方 法(只要这些方法不与以上示例FA的方法冗余)。
本文描述的盖子控制器中枢技术可被膝上型电脑和其他具有类似外形 参数的移动计算设备所利用，例如可转换膝上型电脑、二合一膝上型电脑、 双显示器膝上型电脑、混合膝上型电脑、可折叠智能电话和可折叠平板设 备。
图69是包括盖子控制器中枢的第五示例移动计算设备的底座中的计 算设备组件的框图。一般而言，图69中所示的组件可与其他所示的组件 进行通信，包括盖子控制器中枢中的那些组件，尽管为了便于图示，没有 示出所有的连接。组件6900包括由第一处理器6902和第二处理器6904组 成的多处理器系统，并且被图示为包括点对点(P-P)互连。。例如，处 理器6902的点对点(P-P)接口6906经由点对点互连6905耦合到处理器 6904的点对点接口6907。要理解，图69中图示的任何或所有点对点互连 可替换地实现为多点分支总线，并且图69中图示的任何或所有总线可被 点对点互连取代。
如图69所示，处理器6902和6904是多核处理器。处理器6902包括 处理器核心6908和6909，并且处理器6904包括处理器核心6910和6911。 处理器核心6908-6911可以以类似于下面联系图70论述的方式或者以其他 方式执行计算机可执行指令。
处理器6902和6904还分别包括至少一个共享缓存存储器6912和 6914。共享缓存6912和6914可存储由处理器的一个或多个组件，例如处 理器核心6908-6909和6910-6911，利用的数据(例如，指令)。共享缓存 6912和6914可以是设备的存储器层次体系的一部分。例如，共享缓存 6912可在本地存储也存储在存储器6916中的数据，以允许处理器6902的组件更快地访问该数据。在一些实施例中，共享缓存6912和6914可包括 多个缓存层，例如第一级(L1)、第二级(L2)、第三级(L3)、第四级 (L4)、和/或其他缓存或缓存层，例如最后一级缓存(last level cache， LLC)。
虽然示出了两个处理器，但该设备可包括任何数目的处理器或者其他 计算资源，包括盖子控制器中枢中的那些。另外，处理器可包括任何数目 的处理器核心。处理器可采取各种形式，例如中央处理单元、控制器、图 形处理器、加速器(例如图形加速器、数字信号处理器(digital signal processor，DSP)或者AI加速器))。设备中的处理器可以与设备中的其 他处理器相同或者不同。在一些实施例中，设备可包括一个或多个处理器， 这些处理器与第一处理器、加速器、FPGA或者任何其他处理器是异构的 或者不对称的。在系统中的处理元件之间，就包括体系结构特性、微体系 结构特性、热特性、功率消耗特性等等在内的价值度量的范围而言，可以 有多种差异。这些差异可实际上将其自身展现为系统中的处理器之间的非 对称性和异构性。在一些实施例中，处理器6902和6904驻留在多芯片封 装中。如本文所使用的，术语“处理器单元”和“处理单元”可以指任何 处理器、处理器核心、组件、模块、引擎、电路或者本文描述的任何其他 处理元件。处理器单元或处理单元可以用硬件、软件、固件或者其能够的 任何组合来实现。盖子控制器中枢可包括一个或多个处理器单元。
处理器6902和6904进一步包括存储器控制器逻辑(memory controller，MC)6920和6922。如图69所示，MC 6920和6922控制分别耦合到处理 器6902和6904的存储器6916和6918。存储器6916和6918可包括各种 类型的存储器，例如易失性存储器(例如，动态随机存取存储器 (dynamic random-access memory，DRAM)、静态随机存取存储器(staticrandom-access memory，SRAM))或者非易失性存储器(例如，闪存、固 态驱动器、基于硫族化物的相变非易失性存储器)。虽然MC 6920和 6922被图示为集成到处理器6902和6904中，但在替换实施例中，MC可 以是处理器外部的逻辑，并且可包括存储器层次体系的一个或多个层。
处理器6902和6904经由P-P互连6932和6934与输入/输出(I/O)子 系统6930耦合。点对点互连6932将处理器6902的点对点接口6936与I/O 子系统6930的点对点接口6938连接，并且点对点互连6934将处理器 6904的点对点接口6940与I/O子系统6930的点对点接口6942连接。输入 /输出子系统6930进一步包括接口6950，来将I/O子系统6930与图形模块6952耦合，该图形模块可以是高性能图形模块。输入/输出子系统6930和 图形模块6952经由总线6954耦合。替换地，总线6954可以是点对点互连。
输入/输出子系统6930进一步经由接口6962耦合到第一总线6960。 第一总线6960可以是外围组件互连(Component Interconnect，PCI)总线、 快速PCI总线、另一第三代I/O互连总线或者任何其他类型的总线。
各种I/O设备6964可耦合到第一总线6960。总线桥6970可将第一总 线6960耦合到第二总线6980。在一些实施例中，第二总线6980可以是低 引脚数(low pin count，LPC)总线。各种设备可耦合到第二总线6980， 包括例如键盘/鼠标6982、音频I/O设备6988和存储设备6990，例如硬盘 驱动器、固态驱动器或者其他用于存储计算机可执行指令(代码)6992的 存储设备。代码6992可包括用于执行本文描述的技术的计算机可执行指 令。可耦合到第二总线6980的其他组件包括(一个或多个)通信设备或 单元6984，其可经由一个或多个有线或者无线通信链路(例如，电线、线 缆、以太网连接、射频(radio-frequency，RF)通道、红外通道、Wi-Fi通 道)利用一个或多个通信标准(例如，IEEE 6902.11标准及其补充)提供设备和一个或多个有线或无线网络6986(例如Wi-Fi、蜂窝或者卫星网络) 之间的通信。
该设备可包括可移除存储器，例如闪存卡(例如，SD(Secure Digital， 安全数字)卡)、记忆棒、订户身份模块(Subscriber Identity Module， SIM)卡)。计算设备中的存储器(包括缓存器6912和6914、存储器 6916和6918以及存储设备6990，以及盖子控制器中枢中的存储器)可存 储数据和/或计算机可执行指令，用于执行操作系统6994，或者应用程序6996。示例数据包括网页、文本消息、图像、声音文件、视频数据、传感 器数据或者从盖子控制器中枢接收的任何其他数据，或者由设备经由一个 或多个有线或无线网络发送到和/或从一个或多个网络服务器或其他设备接 收的或者供设备使用的其他数据集合。该设备还可访问外部存储器(未示 出)，例如外部硬盘驱动器或者基于云的存储。
操作系统6994可控制图69中图示的组件的分配和使用，并且支持一 个或多个应用程序6996。应用程序6996可包括常见的移动计算设备应用 (例如，电子邮件应用、日历、联系人管理器、web浏览器、消息传递应 用)以及其他计算应用。
该设备可支持各种输入设备，例如触摸屏、麦克风、相机(单镜或者 立体)、轨迹球、触摸板、触控板、鼠标、键盘、邻近传感器、光传感器、 压力传感器、红外传感器、心电图(ECG)传感器、PPG(光体积描记图) 传感器、皮肤电反应传感器，以及一个或多个输出设备，例如一个或多个 扬声器或者显示器。输入或输出设备的任何一者可以在设备的内部、外部或者可以与设备可移除地附着。外部输入和输出设备可经由有线或无线连 接与设备通信。
此外，计算设备可提供一个或多个自然用户接口(NUI)。例如，操 作系统6994、应用6996或者盖子控制器中枢可包括话音识别，作为语音 用户接口的一部分，其允许了用户经由语音命令操作设备。另外，该设备 可包括输入设备和组件，这些输入设备和组件允许了用户经由身体、手部 或者脸部手势与该设备交互。
该设备可进一步包括一个或多个通信组件6984。组件6984可包括与 一个或多个天线耦合的无线通信组件，以支持设备和外部设备之间的通信。 天线可位于底座、盖子或者设备的其他部分中。无线通信组件可支持各种 无线通信协议和技术，例如近场通信(Near Field Communication，NFC)、 IEEE 1002.11(Wi-Fi)变体、WiMax、蓝牙、Zigbee、4G长期演进 (Long Term Evolution，LTE)、码分复用接入(Code Division MultiplexingAccess，CDMA)、通用移动电信系统(Universal Mobile Telecommunication System，UMTS)和全球移动电信系统(Global System for Mobile Telecommunication，GSM)。此外，无线调制解调器可支持与 一个或多个蜂窝网络的通信，以在单个蜂窝网络内、在蜂窝网络之间或者 在移动计算设备与公共交换电话网络(public switched telephone network，PSTN)之间进行数据和语音通信。
该设备可进一步包括至少一个输入/输出端口(其例如可以是USB、 IEEE 1394(FireWire)、以太网和/或RS-232端口)，该端口包括物理连 接器；电源(例如可再充电电池)；卫星导航系统接收器，例如GPS接收 器；陀螺仪；加速度计；以及罗盘。GPS接收器可耦合到GPS天线。该设 备可进一步包括一个或多个额外的天线，耦合到一个或多个额外的接收器、 发送器和/或收发器，以支持额外的特征。
图69图示了一个示例计算设备体系结构。基于替换体系结构的计算 设备可用于实现本文描述的技术。例如，取代处理器6902和6904以及图 形模块6952位于分立的集成电路上，计算设备可包括包含有图69中所示 的一个或多个组件的SoC(片上系统)集成电路。在一个示例中，SoC可 包括多个处理器核心、缓存存储器、显示驱动器、GPU、多个I/O控制器、 AI加速器、图像处理单元驱动器、I/O控制器、AI加速器、图像处理器单 元。另外，计算设备可经由与图69所示不同的总线或者点对点配置连接 元件。此外，图69中图示的元件不是必须的或者无所不包的，因为在替 换实施例中，可以移除示出的元件，并且可以添加其他元件。
图70是示例处理器单元7000的框图，该示例处理器单元7000用于作 为实现盖子控制器中枢的一部分执行计算机可执行指令。处理器单元7000 可以是任何类型的处理器或者处理器核心，例如微处理器、嵌入式处理器、 数字信号处理器(DSP)、网络处理器或者加速器。处理器单元7000可以 是单线程的核心，或者多线程的核心，因为它可在每个核心中包括多于一 个硬件线程情境(或者“逻辑处理器”)。
图70还图示了与处理器7000耦合的存储器7010。存储器7010可以 是本文描述的任何存储器或者本领域技术人员已知的任何其他存储器。存 储器7010可存储可由处理器单元7000执行的计算机可执行指令7015(代 码)。
处理器核心包括前端逻辑7020，它从存储器7010接收指令。指令可 被一个或多个解码器7030处理。解码器7030可生成诸如预定格式的固定 宽度微操作之类的微操作作为其输出，或者可生成其他指令、微指令或者 反映原始代码指令的控制信号。前端逻辑7020进一步包括寄存器重命名 逻辑7035和调度逻辑7040，它们一般分配资源和对与转换指令来执行相 对应的操作排队。
处理器单元7000进一步包括执行逻辑7050，它包括一个或多个执行 单元(execution unit，EU)7065-1至7065-N。一些处理器核心实施例可包 括专用于特定功能或者功能集合的若干个执行单元。其他实施例可只包括 一个执行单元或者可执行特定功能的一个执行单元。执行逻辑7050执行 由代码指令指定的操作。在代码指令指定的操作的执行完成之后，后端逻 辑7070利用引退逻辑7075引退指令。在一些实施例中，处理器单元7000 允许指令的无序执行，但要求指令的有序引退。引退逻辑7075可采取本 领域技术人员已知的多种形式(例如，重排序缓冲器之类的)。
处理器单元7000在指令的执行期间被变换，至少就由解码器7030生 成的输出、被寄存器重命名逻辑7035利用的硬件寄存器和表格以及被执 行逻辑7050修改的任何寄存器(未示出)而言。虽然在图70中没有图示， 但处理器可包括与处理器单元7000一起在集成芯片上的其他元件。例如， 处理器可包括额外的元素，例如存储器控制逻辑、一个或多个图形模块、 I/O控制逻辑和/或一个或多个缓存。
就本文的任何实施例中使用的而言，术语“模块”是指可在硬件组件 或者设备中实现的逻辑、在处理器上运行的软件或者固件、或者这些的组 合，以执行符合本公开的一个或多个操作。软件可体现为记录在非暂态计 算机可读存储介质上的软件包、代码、指令、指令集和/或数据。固件可体 现为被硬编码(例如，非易失性)在存储器设备中的代码、指令或指令集 和/或数据。就本文的任何实施例中使用的而言，术语“电路”可单独或者 按任何组合包括硬连线的电路、可编程电路(例如包括一个或多个个体指 令处理核心的计算机处理器)、状态机电路和/或存储由可编程电路执行的 指令的固件。本文描述的模块可集体或者单独地体现为形成一个或多个设 备的一部分的电路。从而，任何模块都可实现为电路，例如连续项集生成 电路、基于熵的离散化电路，等等。被提及为被编程为执行方法的计算机 设备可经由软件、硬件、固件或者其组合被编程为执行该方法。
在一些实施例中，盖子控制器中枢是包括本文描述为盖子控制器中枢 的一部分的组件(模块、端口、控制器、驱动器、定时器、块、加速器、 处理器，等等)的封装集成电路。盖子控制器中枢组件可实现为专用电路、 操作固件或软件的可编程电路或者这些的组合。从而，模块可被替换地称 为“电路”(例如，“图像预处理电路”)。模块也可被替换地称为“引擎”(例如，“安全引擎”、“主机引擎”、“视觉/成像引擎”、“音频 引擎”)，并且“引擎”可实现为硬件、软件、固件或者其组合的组合。 另外，盖子控制器中枢模块(例如，音频模块、视觉/成像模块)可与其他 模块组合，并且个体模块可被分成单独的模块。
在权利要求书和说明书中使用标号是为了帮助理解权利要求书和说明 书，而不是为了进行限制。
任何公开的方法都可实现为计算机可执行指令或者计算机程序产品。 这种指令可使得计算机或者一个或多个能够执行计算机可执行指令的处理 器执行任何公开的方法。一般而言，如本文所使用的，术语“计算机”是 指本文描述或提及的任何计算设备或系统，或者任何其他计算设备。从而， 术语“计算机可执行指令”是指可由本文描述或提及的任何计算设备或者 任何其他计算设备执行的指令。
计算机可执行指令或者计算机程序产品以及在公开的技术的实现期间 创建和使用的任何数据可被存储在一个或多个有形或者非暂态计算机可读 存储介质上，例如光介质光盘(例如，DVD、CD)、易失性存储器组件(例如，DRAM、SRAM)或者非易失性存储器组件(例如，闪存、固态 驱动器、基于硫族化物的相变非易失性存储器)。计算机可读存储介质可 被包含在计算机可读存储设备中，例如固态驱动器、USB闪存驱动器和存 储器模块。替换地，计算机可执行指令可由包含用于执行公开的方法的全 部或者一部分的硬连线逻辑的特定硬件组件执行，或者由计算机可读存储 介质和硬件组件的任何组合执行。
计算机可执行指令可以是例如专用软件应用或者经由web浏览器或其 他软件应用(例如远程计算应用)访问的软件应用的一部分。这种软件可 被例如单个计算设备或者在网络环境中利用一个或多个联网的计算机来读 取和执行。另外，要理解，公开的技术不限于任何具体的计算机语言或程 序。例如，公开的技术可由以C++、Java、Perl、Python、JavaScript、 Adobe Flash或任何其他适当的编程语言编写的软件来实现。类似地，公开的技术不限于任何特定的计算机或者任何特定类型的硬件。
此外，任何基于软件的实施例(包括例如用于使得计算机执行任何公 开的方法的计算机可执行指令)可通过适当的通信手段来上传、下载或远 程访问。这种适当的通信手段包括例如互联网、万维网、内联网、线缆 (包括光纤光缆)、磁通信、电磁通信(包括RF、微波和红外通信)、 电子通信或者其他这种通信手段。
就在本申请中和权利要求中使用的而言，由术语“和/或”联接的项目 的列表可意指列出的项目的任何组合。例如，短语“A、B和/或C”可意 指A；B；C；A和B；A和C；B和C；或者A、B和C。另外，就在本 申请中和权利要求中使用的而言，由术语“……中的至少一者”联接的项 目的列表可意指列出的术语的任何组合。例如，短语“A、B或C的至少 一者”可意指A；B；C；A和B；A和C；B和C；或者A、B和C。此 外，就在本申请中和权利要求中使用的而言，由术语“……中的一个或多 个”联接的项目的列表可意指列出的术语的任何组合。例如，短语“A、B和C中的一个或多个”可意指A；B；C；A和B；A和C；B和C；或者 A、B和C。
此外，词语“使优化”、“优化”“进行优化”、和相关术语是这样 的专门术语：其指的是对系统、组件或过程的功率消耗、时延或者其他性 能或行为特性的相对改善，而并不指示出系统、组件或过程已经得到完美 的改善，从而实现了功率消耗、时延或者性能或行为特性的“最优”状态。
所公开的方法、装置和系统不应被解释为以任何方式作出限制。反而， 本公开针对各种公开的实施例的所有新颖且非显而易见的特征和方面，无 论是单独的还是与彼此发生各种组合和子组合。所公开的方法、装置和系 统不限于任何特定方面或特征或者其组合，并且所公开的实施例也不要求 任何一个或多个特定优点存在或者问题被解决。
本文在提及本公开的装置或方法时提出的操作理论、科学原理或者其 他理论描述是为了更好地理解而提供的，而不打算在范围上进行限制。所 附权利要求中的装置和方法并不限于以这种操作理论所描述的方式运作的 那些装置和方法。
虽然所公开的一些方法的操作为了方便演示是按特定先后顺序描述的， 但要理解这种描述方式涵盖了重排列，除非由本文记载的具体语言要求特 定的排序。例如，顺序描述的操作在一些情况中可被重排列或者被同时执 行。另外，为了简单起见，附图可能没有示出所公开的方法可结合其他方 法使用的各种方式。

Claims (25)

1.一种用户设备的控制器中枢装置，包括：
第一连接，用来与用户设备的主机片上系统SoC接合；
第二连接，用来与所述用户设备的面向用户的相机接合；以及
电路，用来：
访问所述用户设备的隐私开关状态；
基于所述隐私开关状态来控制对来自所述面向用户的相机的数据的访问。
2.如权利要求1所述的装置，还包括存储器，用来存储一个或多个安全性策略，其中所述电路基于所述一个或多个安全性策略和所述隐私开关状态来控制对来自所述面向用户的相机的数据的访问。
3.如权利要求1所述的装置，其中，所述电路用来允许关于来自所述面向用户的相机的数据的信息被传递到所述主机片上系统SoC并且不允许来自所述面向用户的相机的数据被传递到所述主机片上系统SoC。
4.如权利要求1所述的装置，其中，所述电路还用来：
对来自所述面向用户的相机的数据进行加密保护；并且
允许被加密保护的数据被传递到所述图像处理模块。
5.如权利要求1到4中任一项所述的装置，还包括第三连接，用来与所述用户设备的隐私指示器接合，其中所述电路还使得所述隐私指示器基于所述隐私开关状态来提供指示。
6.如权利要求5所述的装置，其中，所述电路用来：
当所述隐私开关状态处于第一状态中时：
阻止来自所述面向用户的相机的数据被传递到所述主机片上系统SoC；并且
使得所述隐私指示器提供第一指示；并且
当所述隐私开关状态处于第二状态中时：
允许来自所述面向用户的相机的数据或者关于来自所述面向用户的相机的数据的信息被传递到所述主机片上系统SoC；并且
使得所述隐私指示器提供第二指示。
7.如权利要求1到4中任一项所述的装置，还包括第三连接，用来与所述用户设备的麦克风接合，其中所述电路被耦合到所述麦克风并且还用来基于所述隐私开关状态来控制对来自所述麦克风的数据的访问。
8.一种系统，包括：
主机片上系统SoC；
面向用户的相机；
隐私开关；
与所述面向用户的相机和所述隐私开关耦合的电路，其中所述电路用来基于所述隐私开关的状态控制对来自所述面向用户的相机的数据的访问。
9.如权利要求8所述的系统，还包括存储器，用来存储一个或多个安全性策略，其中所述电路用来基于所述一个或多个安全性策略来允许来自所述面向用户的相机的数据被传递到所述主机片上系统SoC。
10.如权利要求8所述的系统，其中，所述电路用来允许关于来自所述面向用户的相机的数据的信息被传递到所述主机片上系统SoC并且不允许来自所述面向用户的相机的数据被传递到所述主机片上系统SoC。
11.如权利要求10所述的系统，其中，所述主机片上系统SoC包括集成传感器中枢，并且所述电路用来基于所述隐私开关状态来允许与来自所述面向用户的相机的数据相关联的元数据被传递到所述集成传感器中枢。
12.如权利要求8所述的系统，其中，所述主机片上系统SoC包括图像处理模块，并且所述电路用来：
对来自所述面向用户的相机的数据进行加密保护；并且
允许被加密保护的数据被传递到所述图像处理模块。
13.如权利要求8到12中任一项所述的系统，还包括与所述电路耦合的隐私指示器，其中所述电路用来：
当所述隐私开关状态处于第一状态中时：
阻止来自所述面向用户的相机的数据被传递到所述主机片上系统SoC；并且
使得所述隐私指示器提供第一指示；并且
当所述隐私开关状态处于第二状态中时：
允许来自所述面向用户的相机的数据或者关于来自所述面向用户的相机的数据的信息被传递到所述主机片上系统SoC；并且
使得所述隐私指示器提供第二指示。
14.如权利要求13所述的系统，其中，所述隐私指示器包括发光二极管LED，并且所述电路用来在所述隐私开关处于所述第一状态中时使得所述LED不被照亮。
15.如权利要求13所述的系统，其中，所述隐私指示器包括多色发光二极管LED，并且所述电路用来：使得所述多色发光二极管LED在所述隐私开关处于所述第二状态中时基于允许来自所述面向用户的相机的数据被传递到所述主机片上系统SoC而发出第一颜色，并且在所述隐私开关处于所述第二状态中时基于允许关于来自所述面向用户的相机的数据的信息被传递到所述主机片上系统SoC而发出第二颜色。
16.如权利要求13所述的系统，其中，所述电路与所述隐私指示器直接耦合。
17.如权利要求8到12中任一项所述的系统，还包括与所述电路耦合的位置模块，其中所述电路还用于基于从所述位置模块获得的位置信息来控制所述隐私开关的状态。
18.如权利要求8到12中任一项所述的系统，还包括与所述电路耦合的可管理性引擎，其中所述电路还用来基于从所述可管理性引擎获得的信息来控制所述隐私开关的状态。
19.如权利要求8到12中任一项所述的系统，还包括麦克风，其中所述电路还耦合到所述麦克风并且还用来基于所述隐私开关状态来控制所述主机SoC对来自所述麦克风的数据的访问。
20.如权利要求8到12中任一项所述的系统，其中，所述系统包括底座和经由铰链耦合到所述底座的盖子，所述底座包括所述主机片上系统SoC，并且所述盖子包括所述面向用户的相机、所述隐私指示器、以及包括所述电路的盖子控制器中枢。
21.一种由用户设备的控制器中枢装置执行的方法，包括：
获得所述用户设备的隐私开关状态；以及
基于所述隐私开关状态来控制所述用户设备的主机片上系统SoC对来自所述用户设备的面向用户的相机的数据的访问。
22.如权利要求21所述的方法，还包括：
访问存储在所述用户设备上的一个或多个安全性策略；以及
基于所述一个或多个安全性策略和所述隐私开关状态来控制对来自所述面向用户的相机的数据的访问。
23.如权利要求21所述的方法，其中，控制所述主机片上系统SoC的访问包括允许来自所述面向用户的相机的数据被传递到所述主机片上系统SoC或者允许关于来自所述面向用户的相机的数据的信息被传递到所述主机片上系统SoC。
24.如权利要求21所述的方法，还包括：
对来自所述面向用户的相机的数据进行加密保护；并且
允许被加密保护的数据被传递到图像处理模块。
25.一种或多种计算机可读介质，包括指令，所述指令当被用户设备的装置执行时，使得所述装置执行如权利要求21到24中任一项所述的方法。
CN202110940137.5A 2020-08-18 2021-08-16 盖子控制器中枢 Pending CN114077571A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202063067071P 2020-08-18 2020-08-18
US63/067,071 2020-08-18
US17/247,836 US20210149441A1 (en) 2020-08-18 2020-12-24 Lid controller hub
US17/247,836 2020-12-24

Publications (1)

Publication Number Publication Date
CN114077571A true CN114077571A (zh) 2022-02-22

Family

ID=75909934

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110940137.5A Pending CN114077571A (zh) 2020-08-18 2021-08-16 盖子控制器中枢

Country Status (5)

Country Link
US (1) US20210149441A1 (zh)
EP (1) EP3958161A1 (zh)
CN (1) CN114077571A (zh)
TW (1) TW202227999A (zh)
WO (1) WO2022040009A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3159676B1 (de) * 2015-10-23 2018-04-04 Abberior Instruments GmbH Verfahren und vorrichtung zum hochauflösenden abbilden einer mit fluoreszenzmarkern markierten struktur einer probe
JP7315821B2 (ja) * 2019-04-01 2023-07-27 日本電信電話株式会社 画像生成装置、画像生成方法、及びプログラム
US11244654B2 (en) * 2020-06-19 2022-02-08 Intel Corporation Display control apparatus and method for a display based on information indicating presence or engagement of the user of the display
US11409685B1 (en) * 2020-09-24 2022-08-09 Amazon Technologies, Inc. Data synchronization operation at distributed computing system
US11467992B1 (en) 2020-09-24 2022-10-11 Amazon Technologies, Inc. Memory access operation in distributed computing system
US11354258B1 (en) 2020-09-30 2022-06-07 Amazon Technologies, Inc. Control plane operation at distributed computing system
US11877088B2 (en) * 2020-12-17 2024-01-16 Microsoft Technology Licensing, Llc Contrast enhanced images composited with artificial colorization
US20220236782A1 (en) * 2021-01-28 2022-07-28 Dell Products, Lp System and method for intelligent multi-application and power management for multimedia collaboration applications
US11741918B1 (en) * 2021-02-22 2023-08-29 Apple Inc. Display with a vignetting mask
CN113320568B (zh) * 2021-06-29 2022-05-31 中车青岛四方车辆研究所有限公司 一种基于多系统融合的列车网络控制系统及其控制方法
US11822193B2 (en) * 2021-07-07 2023-11-21 Dell Products L.P. Edge-to-edge display with a sensor region
US11622147B2 (en) * 2021-07-22 2023-04-04 Popio Mobile Video Cloud, Llc Blurring digital video streams upon initiating digital video communications
US20230072623A1 (en) * 2021-09-03 2023-03-09 Meta Platforms Technologies, Llc Artificial Reality Device Capture Control and Sharing
CN113625986B (zh) * 2021-10-12 2022-02-25 广州匠芯创科技有限公司 刷屏方法及计算机可读存储介质
US20230215255A1 (en) * 2022-01-04 2023-07-06 Google Llc Batch Size Adjustment Using Latency-Critical Event Recognition
US11841785B1 (en) 2023-01-18 2023-12-12 Dell Products L.P. System and methods for managing system configuration settings and session retainment based on user presence

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8743224B2 (en) * 2012-07-13 2014-06-03 Intel Corporation Context based management for secure augmented reality applications
US9317721B2 (en) * 2012-10-31 2016-04-19 Google Inc. Privacy aware camera and device status indicator system
KR102095912B1 (ko) * 2013-05-15 2020-04-02 삼성전자 주식회사 보안 기능 운용 방법 및 이를 지원하는 전자 장치
US9740882B2 (en) * 2014-02-28 2017-08-22 Intel Corporation Sensor privacy mode
US10579820B2 (en) * 2016-12-09 2020-03-03 Blackberry Limited Verified privacy mode devices
US11490248B2 (en) * 2017-12-14 2022-11-01 Lutron Technology Company Llc Privacy mode for a wireless audio device
EP3782005A1 (en) * 2018-10-08 2021-02-24 Google LLC Speaker assembly in a display assistant device
US11175714B2 (en) * 2019-12-28 2021-11-16 Intel Corporation Detection of user-facing camera obstruction

Also Published As

Publication number Publication date
EP3958161A1 (en) 2022-02-23
US20210149441A1 (en) 2021-05-20
TW202227999A (zh) 2022-07-16
WO2022040009A1 (en) 2022-02-24

Similar Documents

Publication Publication Date Title
US20210149441A1 (en) Lid controller hub
EP3958101A1 (en) Lid controller hub architecture for improved touch experiences
US11467646B2 (en) Context data sharing
CN110045908B (zh) 一种控制方法和电子设备
EP4064690A1 (en) Technologies for video conferencing
EP2990937B1 (en) Wearable electronic device
US8686924B2 (en) Determining whether a wearable device is in use
TWI516099B (zh) 用以降低平台電力之帶有延遲期間的視訊串流之手勢前置處理技術
WO2021147396A1 (zh) 图标管理方法及智能终端
CN105718043A (zh) 用于控制电子装置的方法和设备
CN112598594A (zh) 颜色一致性矫正方法及相关装置
CN108737739A (zh) 一种预览画面采集方法、预览画面采集装置及电子设备
US20220244846A1 (en) User Interface Display Method and Electronic Device
EP4254319A1 (en) Image processing method and apparatus
CN111783375A (zh) 芯片系统及相关装置
US11592725B2 (en) Systems and methods for operating an electro-optical shutter with variable transmissivity
US20220114126A1 (en) Technologies for a controller hub with a usb camera
WO2021103919A1 (zh) 构图推荐方法和电子设备
US20220114946A1 (en) Technologies for low-power selective frame update on a display
US10531401B2 (en) Method, terminal device and system for controlling transmission
US20220114985A1 (en) Technologies for selective frame update on a display
RU2782960C1 (ru) Способ управления и электронное устройство
WO2023001023A1 (zh) 一种移动焦点方法及设备
CN115589539B (zh) 一种图像调节的方法、设备及存储介质
EP4329320A1 (en) Method and apparatus for video playback

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination