JP2022034538A - タッチ体験向上のためのリッドコントローラハブアーキテクチャ - Google Patents

タッチ体験向上のためのリッドコントローラハブアーキテクチャ Download PDF

Info

Publication number
JP2022034538A
JP2022034538A JP2021131913A JP2021131913A JP2022034538A JP 2022034538 A JP2022034538 A JP 2022034538A JP 2021131913 A JP2021131913 A JP 2021131913A JP 2021131913 A JP2021131913 A JP 2021131913A JP 2022034538 A JP2022034538 A JP 2022034538A
Authority
JP
Japan
Prior art keywords
display
sensor data
touch
touch sensor
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021131913A
Other languages
English (en)
Inventor
エス． パリク クンジャル
S Parikh Kunjal
エス． チェン アントニオ
S Cheng Antonio
エス． ディーフェンボー ポール
S Diefenbaugh Paul
ツァイ ジャクソン
Tsai Jackson
ジェームス ラレイ エドワード
James Raleigh Edward
ラヴィンドラ シンハ ヴィシャル
Ravindra Sinha Vishal
リアン チュン－ユ
Chung-Yu Liang
マギ アレクサンダー
Magi Aleksander
リ イファン
Yifan Li
キング マット
King Matt
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of JP2022034538A publication Critical patent/JP2022034538A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04184—Synchronisation with the driving of the display or the backlighting unit to avoid interferences generated internally
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1615—Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function
    • G06F1/1616—Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function with folding flat displays, e.g. laptop computers or notebooks having a clamshell configuration, with body parts pivoting to an open position around an axis parallel to the plane they define in closed position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1632—External expansion units, e.g. docking stations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1641—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being formed by a plurality of foldable display components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1643—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being associated to a digitizer, e.g. laptops that can be used as penpads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1647—Details related to the display arrangement, including those related to the mounting of the display in the housing including at least an additional display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1675—Miscellaneous details related to the relative movement between the different enclosures or enclosure parts
    • G06F1/1677—Miscellaneous details related to the relative movement between the different enclosures or enclosure parts for detecting open or closed state or particular intermediate positions assumed by movable parts of the enclosure, e.g. detection of display lid position with respect to main body in a laptop, detection of opening of the cover of battery compartment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1675—Miscellaneous details related to the relative movement between the different enclosures or enclosure parts
    • G06F1/1681—Details related solely to hinges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1675—Miscellaneous details related to the relative movement between the different enclosures or enclosure parts
    • G06F1/1683—Miscellaneous details related to the relative movement between the different enclosures or enclosure parts for the transmission of signal or power between the different housings, e.g. details of wired or wireless communication, passage of cabling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3215—Monitoring of peripheral devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3215—Monitoring of peripheral devices
    • G06F1/3218—Monitoring of peripheral devices of display devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231—Monitoring the presence, absence or movement of users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G06F1/3262—Power saving in digitizer or tablet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G06F1/3265—Power saving in display device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/3287—Power saving characterised by the action undertaken by switching off individual functional units in the computer system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/3293—Power saving characterised by the action undertaken by switching to a less power-consuming processor, e.g. sub-CPU
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/82—Protecting input, output or interconnection devices
    • G06F21/83—Protecting input, output or interconnection devices input devices, e.g. keyboards, mice or controllers thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/4401—Bootstrapping
    • G06F9/4418—Suspend and resume; Hibernate and awake
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0435—Change or adaptation of the frame rate of the video stream
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Neurology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

【課題】リッドコントローラハブは、入力センサにより生成されたセンサデータを処理し、既存のデバイスよりも向上および改善した体験を実現する方法、装置システム及びモバイルコンピューティングデバイスを提供する。【解決手段】方法は、タッチディスプレイコントローラからタッチセンサデータを受信する段階と、ディスプレイリフレッシュ通知の受信に応じて、タッチセンサデータに基づいて、調整されたタッチセンサデータを生成する段階と、調整されたタッチセンサデータをオペレーティングシステムに送信する段階と、を含む。タッチセンサデータを受信する段階、調整されたタッチセンサデータを生成する段階及び調整されたタッチセンサデータを送信する段階は、モバイルコンピューティングデバイスのリッド内で実行され、オペレーティングシステムは、モバイルコンピューティングデバイスのベース内に配置された１又は複数の処理ユニットの上で実行される。【選択図】図１Ａ

Description

［関連出願の相互参照］
本出願は、２０２０年８月１８日に出願された米国仮特許出願第６３／０６７，０７１号（発明の名称「タッチ体験向上のためのリッドコントローラハブアーキテクチャ」）の優先権の利益を主張する、２０２０年１２月２４日に出願された米国出願第１７／２４７，８３６号（発明の名称「リッドコントローラハブ」）の継続出願である（米国特許法第１２０条の下でその優先権の利益を主張する）。先行出願の開示は、本出願の開示の一部とみなされ、本出願の開示にその全体が参照によって組み込まれる。
既存のラップトップは、マイクロホン、カメラ、およびタッチスクリーンなどの様々な入力センサを、リッド内に含む。これらのリッドセンサにより生成されたセンサデータは、ヒンジ越しにラップトップのベースまで延在するワイヤにより送られる。ベースにおいて、それらはラップトップの計算リソースにより処理され、オペレーティングシステムおよびアプリケーションによりアクセス可能となる。
リッドコントローラハブを含む第１の例示的なコンピューティングデバイスのブロック図を示す。
リッドコントローラハブを含む第２例示的モバイルコンピューティングデバイスの斜視図を示す。
リッドコントローラハブを含む第３の例示的なモバイルコンピューティングデバイスのブロック図を示す。
リッドコントローラハブを含む第４の例示的なモバイルコンピューティングデバイスのブロック図を示す。
図３のリッドコントローラハブのセキュリティモジュールのブロック図を示す。
図３のリッドコントローラハブのホストモジュールのブロック図である。
図３のリッドコントローラハブのビジョン／撮像モジュールのブロック図を示す。
図３のリッドコントローラハブのオーディオモジュールのブロック図を示す。
図３のリッドコントローラハブとともに使用されるタイミングコントローラ、内蔵ディスプレイパネル、および追加的な電子装置のブロック図を示す。
リッドコントローラハブを含むモバイルコンピューティングデバイスにおけるコンポーネントの例示的な物理的配置を示すブロック図を示す。
リッド内のタイミングコントローラおよびリッドコントローラハブの例示的な物理的配置のブロック図を示す。 リッド内のタイミングコントローラおよびリッドコントローラハブの例示的な物理的配置のブロック図を示す。 リッド内のタイミングコントローラおよびリッドコントローラハブの例示的な物理的配置のブロック図を示す。 リッド内のタイミングコントローラおよびリッドコントローラハブの例示的な物理的配置のブロック図を示す。 リッド内のタイミングコントローラおよびリッドコントローラハブの例示的な物理的配置のブロック図を示す。
様々なリッドコントローラハブ実施形態について、ヒンジワイヤ数の内訳の表を示す。 様々なリッドコントローラハブ実施形態について、ヒンジワイヤ数の内訳の表を示す。 様々なリッドコントローラハブ実施形態について、ヒンジワイヤ数の内訳の表を示す。
リッドにおけるディスプレイ内マイクロホンおよびカメラの例示的配置を示す。 リッドにおけるディスプレイ内マイクロホンおよびカメラの例示的配置を示す。 リッドにおけるディスプレイ内マイクロホンおよびカメラの例示的配置を示す。
例示的な発光型ディスプレイにおける画素の簡略化された断面を示す。 例示的な発光型ディスプレイにおける画素の簡略化された断面を示す。
一体型マイクロホンを有する例示的画素の組を示す。
図１４Ａの例示的画素の、線Ａ－Ａ′に沿った断面を示す。
複数の画素にわたる例示的マイクロホンを示す。 複数の画素にわたる例示的マイクロホンを示す。
ディスプレイ内カメラとともに、例示的画素の組を示す。
図１５Ａの例示的画素の、線Ａ－Ａ′に沿った断面を示す。
複数の画素にわたる例示的カメラを示す。 複数の画素にわたる例示的カメラを示す。
内蔵ディスプレイ内に組み込み可能な例示的カメラを示す。
リッドコントローラハブを含むモバイルコンピューティングデバイスの例示的ソフトウェア／ファームウェア環境を示すブロック図を示す。
開構成のモバイルコンピューティングデバイスの上面図を示す。ここで第１の例示的な折りたたみ可能ディスプレイは、常時オンディスプレイとして動作し得る部分を含む。 閉構成のモバイルコンピューティングデバイスの上面図を示す。ここで第１の例示的な折りたたみ可能ディスプレイは、常時オンディスプレイとして動作し得る部分を含む。
常時オンディスプレイとして動作し得る部分を含む第２の例示的な折りたたみ可能ディスプレイを有する、開構成のモバイルコンピューティングデバイスの上面図を示す。
閉構成にある図１９Ａのモバイルコンピューティングデバイスの横断面図を示す。 閉構成にある図１９Ａのモバイルコンピューティングデバイスの上面図を示す。
常時オンディスプレイとして動作され得るディスプレイ部分を有する折りたたみ可能ディスプレイを含むモバイルコンピューティングデバイスの図を示す。 常時オンディスプレイとして動作され得るディスプレイ部分を有する折りたたみ可能ディスプレイを含むモバイルコンピューティングデバイスの図を示す。 常時オンディスプレイとして動作され得るディスプレイ部分を有する折りたたみ可能ディスプレイを含むモバイルコンピューティングデバイスの図を示す。 常時オンディスプレイとして動作され得るディスプレイ部分を有する折りたたみ可能ディスプレイを含むモバイルコンピューティングデバイスの図を示す。 常時オンディスプレイとして動作され得るディスプレイ部分を有する折りたたみ可能ディスプレイを含むモバイルコンピューティングデバイスの図を示す。 常時オンディスプレイとして動作され得るディスプレイ部分を有する折りたたみ可能ディスプレイを含むモバイルコンピューティングデバイスの図を示す。 常時オンディスプレイとして動作され得るディスプレイ部分を有する折りたたみ可能ディスプレイを含むモバイルコンピューティングデバイスの図を示す。 常時オンディスプレイとして動作され得るディスプレイ部分を有する折りたたみ可能ディスプレイを含むモバイルコンピューティングデバイスの図を示す。 常時オンディスプレイとして動作され得るディスプレイ部分を有する折りたたみ可能ディスプレイを含むモバイルコンピューティングデバイスの図を示す。 常時オンディスプレイとして動作され得るディスプレイ部分を有する折りたたみ可能ディスプレイを含むモバイルコンピューティングデバイスの図を示す。 常時オンディスプレイとして動作され得るディスプレイ部分を有する折りたたみ可能ディスプレイを含むモバイルコンピューティングデバイスの図を示す。 常時オンディスプレイとして動作され得るディスプレイ部分を有する折りたたみ可能ディスプレイを含むモバイルコンピューティングデバイスの図を示す。
常時オンディスプレイ部分を有する折りたたみ可能ディスプレイに関連付けられた、例示的なタイミングコントローラと、追加的なディスプレイパイプラインコンポーネントとのブロック図を示す。
常時オンディスプレイとして動作可能な、モバイルコンピューティングデバイスの折りたたみ可能ディスプレイを動作するための例示的方法を示す。
典型的なデュアルディスプレイコンピューティングシステムの異なるディスプレイデバイスに対するユーザの注意を表す図である。 典型的なデュアルディスプレイコンピューティングシステムの異なるディスプレイデバイスに対するユーザの注意を表す図である。
典型的な複数のディスプレイコンピューティングシステムの異なるディスプレイデバイスに対するユーザの注意を表す図である。 典型的な複数のディスプレイコンピューティングシステムの異なるディスプレイデバイスに対するユーザの注意を表す図である。 典型的な複数のディスプレイコンピューティングシステムの異なるディスプレイデバイスに対するユーザの注意を表す図である。
少なくとも１つの実施形態に係るユーザの存在および注意に基づいてディスプレイデバイスを管理するように構成された複数のディスプレイコンピューティングシステムの簡略化されたブロック図である。
複数のディスプレイコンピューティングシステムにおけるカメラのあり得る視野を示す上平面図である。
ディスプレイデバイスに対する、あり得るユーザの頭部／顔の向きを示す、上平面図である。 ディスプレイデバイスに対する、あり得るユーザの頭部／顔の向きを示す、上平面図である。 ディスプレイデバイスに対する、あり得るユーザの頭部／顔の向きを示す、上平面図である。
少なくとも１つの実施形態に係る複数のディスプレイについてユーザの存在ベースのディスプレイ管理を実行するように構成されたデュアルディスプレイコンピューティングシステムの異なるディスプレイデバイスに対するユーザの注意を表す図である。 少なくとも１つの実施形態に係る複数のディスプレイについてユーザの存在ベースのディスプレイ管理を実行するように構成されたデュアルディスプレイコンピューティングシステムの異なるディスプレイデバイスに対するユーザの注意を表す図である。
少なくとも１つの実施形態に係る複数のディスプレイについてユーザの存在ベースのディスプレイ管理を実行するように構成された複数のディスプレイコンピューティングシステムの異なるディスプレイデバイスに対するユーザの注意を表す図である。 少なくとも１つの実施形態に係る複数のディスプレイについてユーザの存在ベースのディスプレイ管理を実行するように構成された複数のディスプレイコンピューティングシステムの異なるディスプレイデバイスに対するユーザの注意を表す図である。 少なくとも１つの実施形態に係る複数のディスプレイについてユーザの存在ベースのディスプレイ管理を実行するように構成された複数のディスプレイコンピューティングシステムの異なるディスプレイデバイスに対するユーザの注意を表す図である。
少なくとも１つの実施形態に係る図４６のコンピューティングシステムの追加的な詳細の概略図である。
少なくとも１つの実施形態に係る図３０のコンポーネントの追加的な詳細の簡略化されたブロック図である。
少なくとも１つの実施形態に係るリッドコントローラハブに関連付けられ得る例示的プロセスの高次フローチャートである。
少なくとも１つの実施形態に係るユーザの存在を検出することに関連付けられ得る例示的プロセスの簡略化されたフローチャートである。
少なくとも１つの実施形態に係る認証機構をトリガすることに関連付けられ得る例示的プロセスの簡略化されたフローチャートである。
少なくとも１つの実施形態に係るディスプレイパネルを適応的に減光することに関連付けられ得る例示的プロセスの簡略化されたフローチャートである。
少なくとも１つの実施形態に係るディスプレイパネルを適応的に減光することに関連付けられ得る例示的プロセスの簡略化されたフローチャートである。
少なくとも１つの実施形態に係るディスプレイデバイスの非アクティブタイムアウトに関連付けられ得る例示的プロセスの簡略化されたフローチャートである。
向上したタッチユーザ体験を提供可能なリッドコントローラハブを含む、例示的コンピューティングデバイスの簡略化されたブロック図である。
図３８に示すコンピューティングデバイスにおけるコンポーネント間の情報の例示的な流れを示す。
オペレーティングシステムにタッチセンサデータを送信することを、ディスプレイリフレッシュレートに同期する、例示的方法を示す。
組み合わせジェスチャーおよびマルチプレーンジェスチャーをサポート可能な例示的コンピューティングデバイスの簡略化されたブロック図である。
コンピューティングデバイスで行われた、例示的組み合わせジェスチャーを示す。
関連マルチプレーンジェスチャーおよび基準タッチジェスチャーの第１例を示す。 関連マルチプレーンジェスチャーおよび基準タッチジェスチャーの第１例を示す。 関連マルチプレーンジェスチャーおよび基準タッチジェスチャーの第１例を示す。
関連マルチプレーンマルチユーザジェスチャーの第２の例を示す。 関連マルチプレーンマルチユーザジェスチャーの第２の例を示す。 関連マルチプレーンマルチユーザジェスチャーの第２の例を示す。
マルチプレーンジェスチャーの第３の例を示す。 マルチプレーンジェスチャーの第３の例を示す。
関連マルチプレーンジェスチャーの第４の例を示す。 関連マルチプレーンジェスチャーの第４の例を示す。
関連マルチプレーンジェスチャーの第５の例を示す。 関連マルチプレーンジェスチャーの第５の例を示す。
関連マルチプレーンジェスチャーの第６の例を示す。 関連マルチプレーンジェスチャーの第６の例を示す。
モバイルコンピューティングデバイスに適用された組み合わせジェスチャーを判定し、組み合わせジェスチャーに基づき動作を実行する例示的方法である。
一連のマルチプレーンジェスチャーの存在を判定し、マルチプレーンジェスチャーに基づいて動作を実行する例示的方法である。
ユーザの存在に基づいて、タッチ操作を調整する例示的方法を示す。
ユーザの存在、関与、およびインタラクションに基づき、タッチ操作を制御可能な例示的コンピューティングデバイスの簡略化されたブロック図である。
ユーザの存在、関与、およびインタラクションに基づき、タッチ操作を制御する例示的方法である。
リッドコントローラハブを含む例示的モバイルコンピューティングデバイスのベース内のコンピューティングデバイスコンポーネントのブロック図である。
本明細書に記載の技術の実装の一部として命令を実行可能な例示的処理ユニットのブロック図である。
本明細書に開示のリッドコントローラハブは、ラップトップまたは同様のフォームファクターを有するコンピューティングデバイスのリッド内で、様々な計算タスクを実行する。リッドコントローラハブは、リッド内に配置されたマイクロホン、タッチスクリーン、カメラ、および他のセンサにより生成されたセンサデータを処理可能である。リッドコントローラハブは、ユーザ体験が向上および拡張し、プライバシーおよびセキュリティが高まり、より低電力消費で、既存のデバイスよりも向上した工業的デザインのラップトップを可能にする。例えば、リッドコントローラハブは、タッチセンサデータのサンプリングおよび処理を、ディスプレイのリフレッシュレートと同期可能とする。これはスムーズで反応の良いタッチ体験に帰結し得る。リッドにおけるカメラおよびマイクロホンにより捕捉された画像およびオーディオセンサデータの継続的な監視および処理は、認証ユーザの声または顔が検出されるとラップトップが起動することを可能とする。リッドコントローラハブは、信頼できる実行環境で動作することで、向上したセキュリティを提供する。リッドコントローラハブにおいては、適切に認証されたファームウェアのみが動作許可されている。これは、望まないアプリケーションがリッドに基礎を置くマイクロホンおよびカメラにアクセスできないことと、リッドコントローラハブの機能をサポートするためにリッドコントローラハブにより処理される画像およびオーディオセンサデータが、リッドコントローラハブに対してローカルに保たれることとを意味する。
リッドコントローラハブの計算リソースにより体験の向上および改善が可能となる。例えば、リッドコントローラハブ内のニューラルネットワークアクセラレータは、ビデオ通話の背景における表示または顔をぼやかす、あるいは音声通話の背景で吠える犬の音をフィルタアウトすることが可能である。さらに、センサをそれらが使用される可能性が高い場合にのみイネーブルするなど、タッチインタラクションが検出された場合における典型的なサンプリングレートでのサンプリングタッチディスプレイ入力など様々な技術の使用を通じて、省電力が実現される。さらに、センサデータを、ヒンジ越しに送信してオペレーティングシステムに処理させる代わりに、リッドにおいてセンサデータをローカルに処理することで、レイテンシ改善が図られる。リッドコントローラハブはさらに、ヒンジ越しに通されるワイヤの数がより少ないラップトップデザインを可能とする。これはヒンジコストの低減を可能とするだけでなく、よりシンプルで、見た目に良い工業的デザインに帰結し得る。これらおよび他のリッドコントローラハブの特徴および利点をより詳細に後述する。
以下の説明では、特定の詳細が記載されるが、本明細書に記載される技術の実施形態は、これらの特定の詳細がなくとも実施され得る。既知の回路、構造、および技術は、本明細書の理解を不明瞭にすることを避けるため、詳細に示していない。「ある実施形態」、「様々な実施形態」、「いくつかの実施形態」などは、特徴、構造、または特性を含み得るが、必ずしも全ての実施形態が特定の特徴、構造、または特性を含むわけではない。
いくつかの実施形態は、他の実施形態についての特徴の一部または全部を有してよく、これらの特徴を一切有さなくてもよい。「第１」、「第２」、「第３」などは共通のオブジェクトを記載し、同様のオブジェクトの異なる例が言及されていることを示す。そのような形容詞は、このように記載されたオブジェクトが、時間的にも空間的にも、所与の順序、順位、または他の任意の様式にある必要があることを示すものではない。「接続（ｃｏｎｎｅｃｔｅｄ）」は要素が互いに直接物理的または電気的に接触していることを示し得、「結合（ｃｏｕｐｌｅｄ）」は要素が互いと協働またはインタラクトしているが、これらが直接物理的または電気的に接触していても、していなくてもよいことを示し得る。「略」という語で修飾された用語には、修飾されていない用語の意味からわずかに変化した配置、向き、間隔、または位置を含む。例えば、モバイルコンピューティングのベースに対して略３６０度回転可能な当該モバイルコンピューティングデバイスのリッドの記載は、デバイスベースに対して３６０度から数度内で回転可能なリッドを含む。
本説明では、「ある実施形態では」、「実施形態では」「いくつかの実施形態では」、および／または「様々な実施形態では」という表現が使用される場合があり、これらはそれぞれ、同一の実施形態または異なる実施形態のうちの１または複数を指し得る。さらに本開示の実施形態について使用される「備える（ｃｏｍｐｒｉｓｉｎｇ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、および「有する（ｈａｖｉｎｇ）」などの用語は同義である。
以下に図面を参照するが、図面は必ずしも縮尺どおりに描かれておらず、同様または同一の符号が別異なる図における同様または同一の部分を指定するために使用され得る。異なる図における同様または同一の符号の使用は、同様または同一の符号を含む全ての図面が単一の、または同じ実施形態を構成することを意味するものではない。異なる文字の添え字を有する同様の符号は、同様のコンポーネントの異なる例を表し得る。図面は一般的に、例として、非限定的に、本書に記載の様々な実施形態を示している。
以下の記載では、説明の目的のため、数値的な特定の詳細がこれらの理解を提供するために記載されている。しかし、新規の実施形態がこれらの特定の詳細がなくとも実施可能であることは明白であり得る。他の例では、既知の構造およびデバイスが、その記載を容易にするためにブロック図の形態で示される。本発明は請求項の範囲内の全ての変形、均等物、および代替物を網羅するものである。
図１Ａは、リッドコントローラハブを含む第１の例示的なモバイルコンピューティングデバイスのブロック図を示す。コンピューティングデバイス１００は、ヒンジ１３０によりリッド１２０に接続されたベース１１０を含む。モバイルコンピューティングデバイス（本明細書では「ユーザデバイス」とも称する）１００は、ラップトップまたは同様のフォームファクターを有するモバイルコンピューティングデバイスであり得る。ベース１１０は、メモリコントローラ、グラフィックス処理ユニット（ＧＰＵ）、キャッシュ、画像処理モジュール、および本明細書に記載の他のコンポーネントなど、１または複数の追加的なコンポーネントに一体化された１または複数の処理ユニットを含む、ホストシステム・オン・チップ（ＳｏＣ）１４０を含む。ベース１１０はさらに、物理的なキーボード、タッチパッド、バッテリ、メモリ、ストレージ、および外部ポートを含み得る。リッド１２０は、内蔵ディスプレイパネル１４５、タイミングコントローラ（ＴＣＯＮ）１５０、リッドコントローラハブ（ＬＣＨ）１５５、マイクロホン１５８、１または複数のカメラ１６０、およびタッチディスプレイコントローラ（タッチコントローラ）１６５を含む。ＴＣＯＮ１５０は、ＳｏＣ１４０から受信したビデオデータ１９０を、ディスプレイパネル１４５を駆動する信号に変換する。
ディスプレイパネル１４５は、光の生成を担う、または光透過を可能にするディスプレイ要素が、各画素に配置された、任意のタイプの内蔵ディスプレイであり得る。当該ディスプレイは、ＴＦＴ ＬＣＤ（薄膜トランジスタ液晶ディスプレイ）、マイクロＬＥＤ（マイクロ発光ダイオード（ＬＥＤ））、ＯＬＥＤ（有機ＬＥＤ）、およびＱＬＥＤ（量子ドットＬＥＤ）ディスプレイを含み得る。タッチコントローラ１６５は、ディスプレイパネル１４５において利用されるタッチスクリーン技術を駆動し、適用されたタッチスクリーン技術により提供されるタッチセンサデータを収集する。ディスプレイパネル１４５はタッチディスプレイであり得、タッチ機能を実装する１または複数の専用の層、あるいは専用タッチスクリーン層を要さない「インセル」または「オンセル」タッチスクリーン技術を含み得る、タッチスクリーンを含む。
マイクロホン１５８は、リッドのベゼル内に配置されたマイクロホン、または表示領域内即ちコンテンツを表示するパネルの領域に配置されたディスプレイ内マイクロホンを含み得る。１または複数のカメラ１６０も同様に、ベゼルに配置されたカメラ、または表示領域内に配置されたディスプレイ内カメラを含み得る。
ＬＣＨ１５５は、オーディオモジュール１７０と、ビジョン／撮像モジュール１７２と、セキュリティモジュール１７４と、ホストモジュール１７６とを含む。オーディオモジュール１７０、ビジョン／撮像モジュール１７２、およびホストモジュール１７６は、リッドセンサとインタラクトし、センサにより生成されたセンサデータを処理する。オーディオモジュール１７０は、マイクロホン１５８とインタラクトし、マイクロホン１５８により生成されたオーディオセンサデータを処理する。ビジョン／撮像モジュール１７２は、１または複数のカメラ１６０とインタラクトし、１または複数のカメラ１６０により生成された画像センサデータを処理する。ホストモジュール１７６はタッチコントローラ１６５とインタラクトし、タッチコントローラ１６５により生成されたタッチセンサデータを処理する。同期信号１８０が、タイミングコントローラ１５０と、リッドコントローラハブ１５５との間で共有される。同期信号１８０は、システムレベルでのスムーズで反応の良いタッチ体験を可能とするように、タッチセンサデータのサンプリングと、ＳｏＣ１４０へのタッチセンサデータの送信とを、ディスプレイパネル１４５のリフレッシュレートに同期するのに使用可能である。
本明細書で使用される、「センサデータ」という表現は、センサにより生成または提供されたセンサデータ、並びに後続の処理が実施されたセンサデータを示し得る。例えば、画像センサデータは、ビジョン／撮像モジュールにおけるフレームルータで受信されたセンサデータ、ならびにビジョン／撮像モジュールにおけるフレームルータ処理スタックにより出力された処理済みセンサデータを示し得る。「センサデータ」という表現はさらに、個別のセンサデータ（例えばカメラが捕捉した１または複数の画像）またはセンサデータのストリーム（例えば、カメラにより生成されたビデオストリーム、マイクロホンにより生成されたオーディオストリーム）を示し得る。「センサデータ」という表現はさらに、タッチセンサデータから判定されたジェスチャー、あるいは画像センサデータから生成された頭部の向きまたは顔のランドマーク情報などの、センサデータから生成されたメタデータを示し得る。
オーディオモジュール１７０は、マイクロホン１５８により生成されたオーディオセンサデータを処理し、いくつかの実施形態において、音声起動（オーディオセンサデータで声が検出されると、デバイス１００を低電力状態から脱せさせる）、話者ＩＤ（オーディオセンサデータで認証されたユーザの声が検出されると、デバイス１００を低電力状態から脱せさせる）、アコースティックコンテキストアウェアネス（例えば、望ましくない背景ノイズをフィルタリング）、ニューラルネットワークアクセラレータによるさらなる処理用にオーディオセンサデータを調整するための発話および声前処理、ダイナミックノイズリダクション、およびオーディオベース適応熱的ソリューションなどの機能を有効にする。
ビジョン／撮像モジュール１７２は、１または複数のカメラ１６０により生成された画像センサデータを処理し、様々な実施形態において、顔起動（Ｗａｋｅ ｏｎ Ｆａｃｅ）（画像センサデータで顔が検出されると、デバイス１００を低電力状態から脱せさせる）、およびフェースＩＤ（画像センサデータで認証されたユーザの顔が検出されると、デバイス１００を低電力状態から脱せさせる）などの機能を有効にできる。いくつかの実施形態において、ビジョン／撮像モジュール１７２は、以下の機能のうちの１または複数を有効にできる。頭部の向き検出、画像内で顔ランドマーク（例えば、眼、口、鼻、眉毛、頬）の位置を判定、マルチ顔検出。
ホストモジュール１７６は、タッチコントローラ１６５により提供されたタッチセンサデータを処理する。ホストモジュール１７６は、タッチ関連動作を内蔵ディスプレイパネル１４５のリフレッシュレートと同期できる。これにより、システムレベルでのタッチおよび表示動作の同期を可能とする。これによりモバイルコンピューティングデバイス上で動作する任意のアプリケーションについて、タッチ体験向上を実現する。
したがって、ＬＣＨ１５５は、ＬＣＨ１５５が、既存のモバイルコンピューティングデバイスにおいてＳｏＣが実行するセンサデータ関連処理タスクの一部を扱うという点から、ＳｏＣ１４０のコンパニオンダイとして考えられ得る。ＬＣＨ１５５がリッドセンサに近いことは、センサデータをＳｏＣ１４０による処理のためにヒンジ１３０越しに送る場合には不可能であり得る体験および機能を可能とする。ＬＣＨ１５５がリッドセンサに近いことは、レイテンシを低減させる。これにより、センサデータ処理用の時間が長くなる。例えば、より詳細に後述するように、ＬＣＨ１５５は、音声起動、顔起動、およびコンテクスチュアルアンダースタンディングなどの機能を有効にするため、ニューラルネットワークアクセラレータ、デジタル信号プロセッサ、および画像およびオーディオセンサデータ処理モジュールを含む。ＬＣＨ計算リソースをリッドセンサの近傍に配置することでさらに、省電力が可能となる。リッドセンサデータが、ヒンジ越しにベースに移動するのではなく、ＬＣＨまでより短い距離で移動できるためである。
リッドコントローラハブは、追加的な省電力を可能とする。例えば、ＬＣＨは、ＬＣＨが送られてくるセンサデータを監視してデバイスがアクティブ状態に移行するかを判定する間に、ＳｏＣおよびベース内の他のコンポーネントが低電力状態になることを可能とする。認証されたユーザの存在が検出された場合にのみデバイスを起動可能とすることで（例えば話者ＩＤまたはフェースＩＤを介する）、デバイスは、デバイスが任意の人物の存在の検出に応じて起動される場合よりも、低電力状態に長くとどまることができる。リッドコントローラハブはさらに、特定のコンテキストにおいて、内蔵ディスプレイパネルでのタッチ入力のサンプリングをより低レートに低減（または無効に）できる。リッドコントローラハブにより可能となる追加的な省電力は、より詳細に後述する。
モバイルコンピューティングデバイスのシステムレベル状態に関して、本明細書で使用される用語「アクティブ状態」は、デバイスが完全に使用可能な状態を示す。即ち、ホスト処理ユニットおよびリッドコントローラハブの全機能が利用可能で、１または複数のアプリケーションが実行可能で、デバイスがインタラクティブで反応の良いユーザ体験を提供可能であり、ユーザは動画を観る、ビデオ通話に参加する、ネットサーフィンを行う、コンピュータ支援設計ツールを操作する、または他の様々な形式の内の１つでデバイスを使用することができる。デバイスがアクティブ状態にある際、節電のため、リッドコントローラハブあるいはリッドコントローラハブの構成モジュールまたは他のコンポーネントを含む、１または複数のモジュール、またはデバイスの他のコンポーネントを低電力状態にできる。デバイスがアクティブ状態にある状態で、ホスト処理ユニットを多大なワークロードに対応するために、一時的にハイパフォーマンスモードにすることができる。したがって、モバイルコンピューティングデバイスは、アクティブ状態において、複数の電力レベルの範囲内で動作可能である。
モバイルコンピューティングデバイスのシステムレベル状態に関して、本明細書で使用される用語「低電力状態」は、デバイスがアクティブ状態で動作している場合よりも低い電力消費レベルでデバイスが動作している状態を示す。典型的には、デバイスがアクティブ状態にある場合よりも低い電力消費レベルでホスト処理ユニットが動作しており、デバイスがアクティブ状態にある場合よりも多くのデバイスモジュールまたは他のコンポーネントがまとめて低電力状態で動作している。デバイスは、１または複数の低電力状態で動作可能である。低電力状態間の１つの違いは、デバイスレベルの電力消費レベルにより特徴付けられる。いくつかの実施形態において、低電力状態間の別の違いは、デバイスがユーザ入力（例えば、キーボード、マウス、タッチ、声、画像センサデータにおいてユーザの存在検出、ユーザがデバイスを開くまたは動かす）、ネットワークイベント、または取り付けられたデバイス（例えばＵＳＢデバイス）からの入力に応じて起動するまでの長さにより特徴づけられる。このような低電力状態は、「スタンバイ」、「アイドル」、「スリープ」または「ハイバーネーション」状態として特徴付けられ得る。
「アイドル」または「スタンバイ」低電力状態として特徴付けられるもののような第１タイプのデバイスレベル低電力状態において、ユーザ入力、ハードウェアまたはネットワークイベントに応じて、デバイスは急速に低電力状態からアクティブ状態に移行できる。「スリープ」状態として特徴付けられるもののような第２タイプのデバイスレベル低電力状態において、デバイスは、第１タイプの低電力状態よりも低い電力を消費し、デバイス状態を維持するように、揮発性メモリのリフレッシュが維持される。「ハイバーネート」低電力状態として特徴付けられるもののような第３タイプのデバイスレベル低電力状態において、デバイスは、デバイスは、第２タイプの低電力状態よりも低い電力を消費する。不揮発性メモリのリフレッシュは維持されず、デバイス状態は不揮発性メモリに格納される。システム状態を不揮発性メモリから復元する必要があるため、第３タイプの低電力状態からのデバイスの起動は、第１または第２タイプの低電力状態よりも時間がかかる。第４タイプの低電力状態において、デバイスはオフで、電力を消費していない。オフ状態からのデバイスの起動の場合、デバイスの完全再起動が必要である。本明細書で使用される、デバイスの起動は、デバイスが低電力状態からアクティブ状態に移行することを示す。
リッドコントローラハブに関して、「アクティブ状態」という用語は、リッドコントローラハブの全リソースが利用可能なリッドコントローラハブ状態を示す。即ち、ＬＣＨは、センサデータを、生成されると処理し、センサデータとセンサデータに基づいてＬＣＨにより生成された任意のデータをホストＳｏＣに送り、ホストＳｏＣから受信したビデオデータに基づいて画像を表示し得る。ＬＣＨの１または複数のコンポーネントを、ＬＣＨがアクティブ状態にあるとき、個別に低電力状態にできる。例えばＬＣＨが、認証ユーザが画像センサデータ内に検出されなかったことを検出すると、ＬＣＨはリッドディスプレイを無効にできる。別の例において、プライバシーモードが有効になると、センサデータをホストＳｏＣに送信するＬＣＨコンポーネントを無効にできる。リッドコントローラハブに関する「低電力」状態という用語は、ＬＣＨがアクティブ状態の場合よりも低電力消費レベルで動作する電力状態を示し得、典型的には１または複数のＬＣＨモジュールまたは別のコンポーネントが、ＬＣＨがアクティブ状態にある場合よりも低電力状態となることで特徴付けられる。例えば、コンピューティングデバイスのリッドが閉じると、リッドディスプレイを無効にでき、ＬＣＨビジョン／撮像モジュールを低電力状態にでき、ＬＣＨオーディオモジュールは、デバイスが音声質問に応答し続けることができるように、音声起動機能をサポートするように動作し続けることができる。
モバイルコンピューティングデバイスのモジュールまたは他の任意のコンポーネントを、動作電圧を下げる、より低周波数でクロック信号を供給する、またはコンポーネントをより低電力消費で動作させる制御信号の受信により低電力状態にする（画像表示パイプラインにおけるモジュールを、画像の一部のみに画像処理を行う低電力状態にするなど）など、様々な方法で低電力状態にできる。
いくつかの実施形態において、ＬＣＨにより可能となった省電力は、モバイルコンピューティングデバイスを、再充電の必要なく典型的な使用状況下で一日動作可能とする。さらに、一日使用のための電力をより少量の電力で賄うことが可能であることは、モバイルコンピューティングデバイスにおいてより小さなバッテリを使用可能にする。より小さなバッテリを可能にすること、さらにデバイスをリッドに接続するヒンジを越すワイヤ数をより少なくすることが可能であることで、ＬＣＨを含むラップトップがより薄く、軽く、したがって既存のデバイスよりも向上した工業的デザインを有することができる。
いくつかの実施形態において、本明細書に開示のリッドコントローラハブ技術は、インテリジェントコラボレーションおよびパーソナルアシスタント機能を有するラップトップを可能とする。例えば、ＬＣＨはニアフィールドおよびファーフィールドオーディオ機能を提供し得る。これは、遠隔音源の位置を検出し、遠隔音源の位置から到来する音声検出を向上することで、音声受信向上を可能とする。音声起動および話者ＩＤ機能と組み合わせると、ニアおよびファーフィールドオーディオ機能は、モバイルコンピューティングデバイスを、今日市場に普及している「スマートスピーカ」と同様に動作することを可能にする。例えば、ユーザが仕事を中断し、そのラップトップから離れ、部屋の反対側からラップトップに「明日の天気はどう？」と尋ねるシナリオを考える。ユーザフェイシングカメラにより提供された画像センサデータにおいて認証ユーザの顔を検出しなかったことで低電力状態に移行しているラップトップは、到来するオーディオセンサデータを継続的に監視して、認証ユーザからの会話を検出する。ラップトップはその低電力状態を脱し、要求された情報を捕捉し、ユーザの質問に答える。
ヒンジ１３０は、ベース１１０と、リッド１２０とを回転可能に接続可能にする任意の物理的なヒンジであり得る。ヒンジ１３０を越すワイヤは、ビデオデータ１９０をＳｏＣ１４０からＴＣＯＮ１５０に送るためのワイヤと、ＳｏＣ１４０と、オーディオモジュール１７０との間でオーディオデータ１９２を送るためのワイヤと、画像データ１９４をビジョン／撮像モジュール１７２からＳｏＣ１４０に提供するワイヤと、タッチデータ１９６をＬＣＨ１５５からＳｏＣ１４０に提供するためのワイヤと、画像センサデータから判定されたデータと、ＬＣＨ１５５により生成された他の情報を、ホストモジュール１７６からＳｏＣ１４０に提供するためのワイヤとを含む。いくつかの実施形態において、ＳｏＣとＬＣＨとの間で異なるワイヤの組を通じて送られるように示されたデータは、同じワイヤの組を通じて通信される。例えば、いくつかの実施形態において、タッチデータ、センシングデータ、およびＬＣＨにより生成された他の情報は、単一のＵＳＢバスを通じて送られ得る。
いくつかの実施形態において、リッド１２０はベース１１０に取り外し可能に取り付けられる。いくつかの実施形態において、ヒンジは、ベース１１０と、リッド１２０とを互いに対して略３６０度回転可能にすることができる。いくつかの実施形態において、ヒンジ１３０は、リッド１２０をベース１１０に通信可能に結合するのに、ＬＣＨを有さない既存のコンピューティングデバイスよりも少ないワイヤを担持する。このようにヒンジ１３０を越すワイヤを低減することで、ワイヤ低減のみではなく、さらによりシンプルな電磁および無線周波数インタフェース（ＥＭＩ／ＲＦＩ）ソリューションであることで、より低デバイスコストに帰結し得る。
モバイルコンピューティングデバイスのベース内に配置されていると図１Ａに示されるコンポーネントは、ベースハウジング内に配置され得、モバイルコンピューティングデバイスのリッド内に配置されていると図１Ａに示されているコンポーネントは、リッドハウジング内に配置され得る。
図１Ｂは、リッドコントローラハブを含む、二次的な例示的モバイルコンピューティングデバイスの斜視図を示す。モバイルコンピューティングデバイス１２２は、ラップトップまたは、折りたたみ可能なタブレットまたはスマートフォンなどの、同様のフォームファクターを有する他のモバイルコンピューティングデバイスであり得る。リッド１２３は、モバイルコンピューティングデバイス１２２が閉構成時に、リッド１２３のワールドフェイシング表面である「Ａカバー」１３９と、リッド１２３が開いているときのユーザフェイシングディスプレイを含む「Ｂカバー」１４０とを含む。ベース１２９は、デバイス１２２が開構成時に上向きのキーボードを含む「Ｃカバー」１２６と、ベース１２９の底である「Ｄカバー」１２７とを含む。いくつかの実施形態において、ベース１２９は、デバイス１２２の一次計算リソース（例えば、ホスト処理ユニット（１または複数）、ＧＰＵ）とともに、バッテリ、メモリ、およびストレージを含み、ヒンジ１２８を通るワイヤを介してリッド１２３と通信する。したがって、モバイルコンピューティングデバイスがデュアルディスプレイラップトップ、タブレット、またはスマートフォンなどのデュアルディスプレイデバイスである実施形態において、ベースは、ホスト処理ユニットを含むデバイス部分としてみなされ得、リッドはＬＣＨを含むデバイス部分としてみなされ得る。Ｗｉ－Ｆｉ（登録商標）アンテナが、本明細書に記載の任意のコンピューティングデバイスのベースまたはリッド内に配置され得る。
別の実施形態において、コンピューティングデバイス１２２は、第２ディスプレイがＣカバー１２６の部分を含むデュアルディスプレイデバイスであり得る。例えば、いくつかの実施形態において、「常時オン」ディスプレイ（ＡＯＤ）が、リッド１２３が閉まっていても視認可能なキーボードの下方のＣカバーの領域を占め得る。別の実施形態において、第２ディスプレイが、Ｃカバーの表面の大部分を覆い、第２ディスプレイ上に取り外し可能キーボードが配置され得、または第２ディスプレイがキーボード入力を可能とするように、バーチャルキーボードを提示し得る。
リッドコントローラハブは、ラップトップ、または図１Ｂに示すものと同様のフォームファクターを有する別のモバイルコンピューティングデバイス内での実装に限定されない。本明細書に開示のリッドコントローラハブ技術は、ベースと単一のリッドを超えた１または複数の部分含むモバイルコンピューティングデバイスにおいて適用可能である。この追加的な１または複数の部分はディスプレイおよび／または１または複数のセンサを含む。例えば、ＬＣＨを含むモバイルコンピューティングデバイスは、ベースと、第１タッチディスプレイ、カメラ、およびマイクロホンを含む一次ディスプレイ部分と、第２タッチディスプレイを含む二次ディスプレイ部分を含み得る。第１ヒンジは、ベースを二次ディスプレイ部分に回転可能に結合し、第２ヒンジは一次ディスプレイ部分を、二次ディスプレイ部分に回転可能に結合する。いずれかのディスプレイ部分内に配置されたＬＣＨは、ＬＣＨが配置されているのと同じディスプレイ部分内に配置されたリッドセンサにより、または両方のディスプレイ部分内で生成されたリッドセンサにより生成されたセンサデータを処理可能である。この例において、リッドコントローラハブは、一次および二次ディスプレイ部分のいずれかまたは両方内に配置され得る。例えば、第１ＬＣＨは、第１ヒンジを通るワイヤを介してベースに通信する二次ディスプレイ内に配置され得、第２ＬＣＨは、第１および第２ヒンジを通るワイヤを介してベースに通信する一次ディスプレイ内に配置され得る。
図２は、リッドコントローラハブを含む第３の例示的なモバイルコンピューティングデバイスのブロック図を示す。デバイス２００は、ヒンジ２３０によりリッド２２０に接続されたベース２１０を含む。ベース２１０はＳｏＣ３９０を含む。リッド２２０は、タイミングコントローラ（ＴＣＯＮ）４００と、リッドコントローラハブ（ＬＣＨ）２６０と、ユーザフェイシングカメラ２７０と、内蔵ディスプレイパネル２８０と、１または複数のマイクロホン２９０とを含む。
ＳｏＣ３９０は、ディスプレイモジュール３９１と、内蔵センサハブ３９２と、音声捕捉モジュール３９３と、ユニバーサルシリアルバス（ＵＳＢ）モジュール３９４と、画像処理モジュール３９５と、複数のプロセッサコア２３５とを含む。ディスプレイモジュール３９１は、ＴＣＯＮ４００内の内蔵ディスプレイポート（ｅＤＰ）モジュールと、８ワイヤｅＤＰ接続２３３を介して通信する。いくつかの実施形態において、内蔵ディスプレイパネル２８０は、リフレッシュレートが最高１２０Ｈｚの「３Ｋ２Ｋ」ディスプレイ（３Ｋｘ２Ｋ解像度を有するディスプレイ）である。接続２３３は、２つのｅＤＰ高ビットレート２（ＨＢＲ２（１７．２８Ｇｂ／ｓ））接続を含む。内蔵センサハブ３９２は、２ワイヤモバイルインダストリプロセッサインタフェース（ＭＩＰＩ）Ｉ３Ｃ（センスワイヤ）接続２２１を介してＬＣＨ２６０のビジョン／撮像モジュール２６３と通信する。音声捕捉モジュール３９３は、４ワイヤＭＩＰＩ ＳｏｕｎｄＷｉｒｅ（登録商標）接続２２２を介してＬＣＨ２６０のオーディオモジュール２６４と通信する。ＵＳＢモジュール３９４は、ＵＳＢ接続２２３を介してＬＣＨ２６０のセキュリティ／ホストモジュール２６１と通信する。画像処理モジュール３９５は、１０本のワイヤを含む４レーンＭＩＰＩ Ｄ－ＰＨＹ接続２３９を介して、ＬＣＨ２６０のフレームルータ２６７のＭＩＰＩ Ｄ－ＰＨＹ送信ポート２６５から画像データを受信する。内蔵センサハブ３９２は、１または複数のセンサからのセンサデータを処理可能な、インテル（登録商標）内蔵センサハブまたは他の任意のセンサハブであり得る。
本明細書で使用される、「ポート」という用語は、１つのモジュール、回路、コンポーネントなどから別のものに情報または信号を送信および／または受信する、任意のインタフェース、モジュール、コネクタなどを示し得る。ポートは、ハードウェア、ソフトウェア、ファームウェア、またはそのコンポーネント内に実装され得る。
ＴＣＯＮ４００は、ｅＤＰポート４０２と、４８ワイヤ接続２４０を通じて、ＰＣＩｅのピアツーピア（Ｐ２Ｐ）通信機能を使用して、内蔵ディスプレイパネル２８０を駆動するペリフェラルコンポーネントインタフェースエキスプレス（ＰＣＩｅ）ポート４０４とを含む。
ＬＣＨ２６０は、セキュリティ／ホストモジュール２６１と、ビジョン／撮像モジュール２６３と、オーディオモジュール２６４と、フレームルータ２６７とを含む。セキュリティ／ホストモジュール２６１は、デジタル信号処理（ＤＳＰ）プロセッサ２７１と、セキュリティプロセッサ２７２と、ヴォルトおよびワンタイムパスワードジェネレータ（ＯＴＰ）２７３と、メモリ２７４とを含む。いくつかの実施形態において、ＤＳＰ２７１は、Ｓｙｎｏｐｓｉｓ（登録商標）ＤｅｓｉｇｎＷａｒｅ（登録商標）ＡＲＣ（登録商標）ＥＭ７ＤまたはＥＭ１１Ｄ ＤＳＰプロセッサであり、セキュリティプロセッサはＳｙｎｏｐｓｉｓ（登録商標）ＤｅｓｉｇｎＷａｒｅ（登録商標）ＡＲＣ（登録商標）ＳＥＭセキュリティプロセッサである。ＳｏＣ３９０におけるＵＳＢモジュール３９４と通信することに加え、セキュリティ／ホストモジュール２６１は、ＬＣＨおよびＴＣＯＮ動作間の同期を実現するために、インター集積回路（Ｉ２Ｃ）接続２２６を介してＴＣＯＮ４００と通信する。メモリ２７４は、ＬＣＨ２６０のコンポーネントにより実行される命令を格納する。
ビジョン／撮像モジュール２６３は、ＤＳＰ２７５と、ニューラルネットワークアクセラレータ（ＮＮＡ）２７６と、画像プリプロセッサ２７８と、メモリ２７７とを含む。いくつかの実施形態において、ＤＳＰ２７５はＤｅｓｉｇｎＷａｒｅ（登録商標）ＡＲＣ（登録商標）ＥＭ１１Ｄプロセッサである。ビジョン／撮像モジュール２６３は、インテリジェントペリフェラルインタフェース（ＩＰＩ）接続２２７を介してフレームルータ２６７と通信する。ビジョン／撮像モジュール２６３は、顔検出、頭部の向き検出を実行でき、人の顔（顔起動）、または画像センサデータ内の認証ユーザの顔（フェースＩＤ）を検出したことに基づいて、デバイスアクセスを有効にする。いくつかの実施形態において、ビジョン／撮像モジュール２６３は、これら機能を有効にするために、ニューラルネットワークアクセラレータ２７６を介して１または複数の人工知能（ＡＩ）モデルを実装可能である。例えば、ニューラルネットワークアクセラレータ２７６は、顔起動機能を有効にするため、画像センサデータ内の認証ユーザの顔を認識するように訓練されたモデルを実装し得る。ビジョン／撮像モジュール２６３は、一対のＩ２ＣまたはＩ３Ｃワイヤと、５ワイヤ汎用Ｉ／Ｏ（ＧＰＩＯ）接続とを含む接続２２８を介して、カメラ２７０と通信する。フレームルータ２６７は、ＤからＰＨＹ送信ポート２６５と、４ワイヤＭＩＰＩカメラシリアルインタフェース２（ＣＳＩ２）接続を含む接続２３１を介して、ユーザフェイシングカメラ２７０により提供された画像センサデータを受信するＤからＰＨＹレシーバ２６６とを含む。ＬＣＨ２６０は、８ワイヤシリアルペリフェラルインタフェース（ＳＰＩ）または４ワイヤＩ２Ｃ接続を含み得る接続２３２を介してタッチディスプレイコントローラ（タッチコントローラ）２８５と通信する。
オーディオモジュール２６４は、１または複数のＤＳＰ２８１と、ニューラルネットワークアクセラレータ２８２と、オーディオプリプロセッサ２８４と、メモリ２８３とを含む。いくつかの実施形態において、リッド２２０は、４つのマイクロホン２９０を含み、オーディオモジュール２６４は、各マイクロホンに１つで、４つのＤＳＰ２８１を含む。いくつかの実施形態において、各ＤＳＰ２８１はＣａｄｅｎｃｅ（登録商標）Ｔｅｎｓｉｌｉｃａ（登録商標）ＨｉＦｉ ＤＳＰである。オーディオモジュール２６４は、ＭＩＰＩ ＳｏｕｎｄＷｉｒｅ（登録商標）接続を含む接続２２９、またはパルス密度変調（ＰＤＭ）を介して送信される信号を介して、１または複数のマイクロホン２９０と通信する。別の実施形態において、接続２２９は、４ワイヤデジタルマイクロホン（ＤＭＩＣ）インタフェースと、２ワイヤ内蔵ＩＣ間サウンドバス（Ｉ２Ｓ）接続と、１または複数のＧＰＩＯワイヤとを含む。オーディオモジュール２６４は、人間の声（音声起動）、または認証されたユーザ（話者ＩＤ）の声の検出に応じた、デバイスの低電力状態からの起動と、ニアおよびファーフィールドオーディオ（入力および出力）を有効にし、追加的な音声認識タスクを実行可能である。いくつかの実施形態において、ＮＮＡ２８２は、様々なＬＣＨ機能を有効にするため、１または複数の人工知能（ＡＩ）モデルを実装する人工ニューラルネットワークアクセラレータである。例えば、ＮＮＡ２８２は、音声起動機能を有効にするために、１または複数のマイクロホン２９０により生成されたオーディオセンサデータにおける、起動のための言葉または表現を検出するように訓練されたＡＩモデルを実装可能である。
いくつかの実施形態において、セキュリティ／ホストモジュールメモリ２７４、ビジョン／撮像モジュールメモリ２７７、およびオーディオモジュールメモリ２８３は、セキュリティ／ホストモジュール２６１、ビジョン／撮像モジュール２６３、およびオーディオモジュール２６４に対してアクセス可能な共有メモリの一部である。デバイス２００の起動時、共有メモリのセクションが、セキュリティ／ホストモジュール２６１、ビジョン／撮像モジュール２６３、およびオーディオモジュール２６４のそれぞれに割り当てられる。起動後、モジュールに割り当てられた共有メモリの各セクションは、別の割り当てられたセクションからファイアウォールされる。いくつかの実施形態において、共有メモリは、次のようにパーティショニングされた１２ＭＢメモリであり得る。セキュリティ／ホストメモリ（１ＭＢ）、ビジョン／撮像メモリ（３ＭＢ）、オーディオメモリ（８ＭＢ）。
２つ以上のコンポーネントを接続する、本明細書に記載の任意の接続は、異なるインタフェース、プロトコル、または接続技術を利用、および／または特定の接続について記載されたものとは異なる数のワイヤを利用し得る。ディスプレイモジュール３９１、内蔵センサハブ３９２、音声捕捉モジュール３９３、ＵＳＢモジュール３９４、および画像処理モジュール３９５は、ＳｏＣ３９０に内蔵されているように示されているが、別の実施形態において、これらコンポーネントのうちの１または複数は、ＳｏＣ外に配置され得る。例えば、これらコンポーネントのうちの１または複数はダイ上、パッケージ内、またはダイ、パッケージとは別個の基板、またはホスト処理ユニット（例えば、コア２３５）を含む基板上に配置され得る。
図３は、リッドコントローラハブを含む第４の例示的なモバイルコンピューティングデバイスのブロック図を示す。モバイルコンピューティングデバイス３００は、ヒンジ３３０によりベース３１５を介して接続されたリッド３０１を含む。リッド３０１は、リッドコントローラハブ（ＬＣＨ）３０５と、タイミングコントローラ３５５と、ユーザフェイシングカメラ３４６と、マイクロホン３９０と、内蔵ディスプレイパネル３８０と、タッチディスプレイコントローラ（ディスプレイコントローラ）３８５と、メモリ３５３とを含む。ＬＣＨ３０５は、セキュリティモジュール３６１と、ホストモジュール３６２と、ビジョン／撮像モジュール３６３と、オーディオモジュール３６４とを含む。セキュリティモジュール３６１は、ＬＣＨ３０５用に安全な処理環境を提供し、ヴォルト３２０と、セキュリティプロセッサ３２１と、ファブリック３１０と、Ｉ／Ｏ３３２と、常時オン（ＡＯＮ）ブロック３１６と、メモリ３２３とを含む。セキュリティモジュール３６１は、メモリ３５３に格納され、ＬＣＨ３０５の様々なコンポーネント（例えば、ＤＳＰ、ニューラルネットワークアクセラレータ）により実行されるファームウェアのロードおよび認証を担う。セキュリティモジュール３６１は、ファームウェア上で暗号学的ハッシュ関数を実行し、セキュリティモジュール３６１に格納された鍵情報を使用して、結果的なハッシュが正しく、ファームウェアが適切な署名を有することを確認することで、ファームウェアを認証する。暗号学的ハッシュ関数はヴォルト３２０により実行される。いくつかの実施形態において、ヴォルト３２０は暗号学的アクセラレータを含む。いくつかの実施形態において、セキュリティモジュール３６１は、デバイス２００の別のコンポーネントがファームウェア認証の結果についてＬＣＨ３０５に対して問い合わせできるようにする、製品信頼の起点（ＰＲｏＴ）インタフェースを提示し得る。いくつかの実施形態において、ＰＲｏＴインタフェースは、Ｉ２Ｃ／Ｉ３Ｃインタフェース（例えば、Ｉ２Ｃ／Ｉ３Ｃインタフェース４７０）を介して提供され得る。
リッドコントローラハブ、リッドコントローラハブコンポーネント、ホスト処理ユニット、ＳｏＣ、または他のコンピューティングデバイスコンポーネントに関連して、ソフトウェアまたはファームウェアについて本明細書で使用される、「動作」、「実行」、または「稼働」という用語は、同義で使用され、ソフトウェアまたはファームウェア内に収容された命令がコンポーネントにより積極的に実行されていなくても、コンピューティングデバイスコンポーネントによりアクセス可能な１または複数のコンピュータ可読ストレージ媒体に格納されたソフトウェアまたはファームウェアを示し得る。
セキュリティモジュール３６１はさらにプライバシー情報を格納し、プライバシータスクを取り扱う。いくつかの実施形態において、マイクロホンが認証されたユーザの声を拾うと、またはカメラが認証されたユーザの顔を捕捉すると、コンピューティングデバイスの起動のためのフェースＩＤまたは話者ＩＤを実行するためにＬＣＨ３０５が使用する情報が、セキュリティモジュール３６１内に格納される。セキュリティモジュール３６１はさらに、ＬＣＨまたはコンピューティングデバイスに対してプライバシーモードを有効にする。例えば、ユーザ入力が、ユーザがプライバシーモードの有効化を求めていることを示すと、セキュリティモジュール３６１は、リッド入力デバイス（例えば、タッチスクリーン、マイクロホン、カメラ）のうちの１または複数により生成されたセンサデータへの、ＬＣＨリソースによるアクセスを無効にし得る。いくつかの実施形態において、ユーザは、デバイスをプライバシーモードに移行させるためのプライバシー設定を設定し得る。プライバシー設定は、例えばビデオ会議アプリケーションにおいてビデオおよび／またはオーディオ入力を無効にすること、またはあらゆるアプリケーションまたはオペレーティングシステムによるセンサデータの受信および／または処理を防止するオペレーティングシステムレベルプライバシー設定を有効にすることを含む。アプリケーションまたはオペレーティングシステムプライバシー設定を設定することで、ＬＣＨをプライバシーモードに移行させるために、リッドコントローラハブに情報を送信させられ得る。プライバシーモードにおいて、リッドコントローラハブは、入力センサを低電力状態に移行させ得、ＬＣＨリソースがセンサデータを処理することを防止し得、または生または処理済みセンサデータがホスト処理ユニットに送信されることを防止し得る。
いくつかの実施形態において、ＬＣＨ３０５は、画像センサデータを、システム（例えば、オペレーティングシステム、およびオペレーティングシステム上で稼働する任意のアプリケーション）の残部に対してプライベートに保ちながら、顔起動またはフェースＩＤ機能を有効にし得る。いくつかの実施形態において、ビジョン／撮像モジュール３６３は、デバイスがプライバシーモードにある状態で、顔起動またはフェースＩＤ機能がアクティブであり続けることを可能とするように、画像センサデータを処理し続ける。いくつかの実施形態において、プライバシー向上および電力消費削減のため、プライバシーモードが有効であるか否かを問わず、画像センサデータは、顔（または認証ユーザの顔）が検出された場合にのみＳｏＣ３４０内の画像処理モジュール３４５へと、ビジョン／撮像モジュール３６３を通じて送られる。いくつかの実施形態において、モバイルコンピューティングデバイス３００は、ユーザフェイシングカメラ３４６に加えて１または複数のワールドフェイシングカメラと、１または複数のワールドフェイシングマイクロホン（例えば、ラップトップの「Ａカバー」内に組み込まれたマイクロホン）とを含み得る。
いくつかの実施形態において、ユーザがプライバシーボタンを押したこと、プライバシースイッチをひねるフリップすること、またはリッド内の入力センサ上でスライダを摺動させることに応じて、リッドコントローラハブ３０５は、プライバシーモードに移行する。いくつかの実施形態において、ＬＣＨがプライバシーモードであることを示すため、プライバシーインジケータがユーザに提供され得る。プライバシーインジケータは、例えば、ベースまたはディスプレイベゼルに配置されたＬＥＤ、またはディスプレイ上に表示されたプライバシーアイコンであり得る。いくつかの実施形態において、ユーザが外部プライバシーボタン、スイッチ、スライダ、ホットキー、などを起動することで、ハードウェアレベルまたはシステムレベルで設定されたプライバシーモードが有効になる。即ち、プライバシーモードは、モバイルコンピューティングデバイス上で動作する全てのアプリケーションおよびオペレーティングシステムに適用される。例えば、ユーザが、リッドのベゼルに配置されたプライバシースイッチを押すと、ＬＣＨはそれに応じて、ＳｏＣに利用可能とされた全てのオーディオセンサデータおよび全ての画像センサデータを無効にし得る。音声起動および話者ＩＤなどのタスクを実行するために、オーディオおよび画像センサデータはＬＣＨにとって利用可能なままであるが、リッドコントローラハブによりアクセス可能なオーディオおよび画像センサデータは、他の処理コンポーネントにはアクセス不能である。
ホストモジュール３６２は、セキュリティプロセッサ３２４と、ＤＳＰ３２５と、メモリ３２６と、ファブリック３１１と、常時オンブロック３１７と、Ｉ／Ｏ３３３とを含む。いくつかの実施形態において、ホストモジュール３６２はＬＣＨを起動し、ＬＣＨテレメトリを送信してＳｏＣへのデータ割り込みを行い、タッチコントローラ３８５とのインタラクションを管理し、タッチセンサデータをＳｏＣ３４０に送信できる。ホストモジュール３６２は、複数のリッドセンサからのリッドセンサデータを、ＳｏＣ３４０におけるＵＳＢモジュール３４４へとＵＳＢ接続を通じて送る。単一の接続を通じて複数のリッドセンサについて、センサデータを送ることは、既存のラップトップ設計よりも、ヒンジ３３０を通るワイヤの数を低減することに寄与する。ＤＳＰ３２５は、タッチコントローラ３８５から受信したタッチセンサデータを処理する。ホストモジュール３６２は、ＴＣＯＮ３５５と、ホストモジュール３６２との間で共有される同期信号３７０を利用することで、タッチセンサデータのＳｏＣ３４０への送信を、ディスプレイパネルリフレッシュレートと同期できる。
ホストモジュール３６２は、ユーザの存在およびパネル３８０とのユーザタッチインタラクション量などの要素に基づいて、ディスプレイパネル３８０のリフレッシュレートを動的に調整できる。例えば、ホストモジュール３６２は、ユーザが検出されない、またはカメラ３４６の前に認証ユーザが検出されないと、パネル３８０のリフレッシュレートを低減できる。別の例において、リフレッシュレートは、タッチセンサデータに基づいて、パネル３８０でのタッチインタラクションの検出に応じて増加し得る。いくつかの実施形態において、そしてディスプレイパネル３８０のリフレッシュレート機能によっては、ホストモジュール３６２は、パネル３８０のリフレッシュレートを、１２０Ｈｚまで増加させるか、または２０Ｈｚ以下に低減させ得る。
ホストモジュール３６２はさらに、ユーザがインタラクトするアプリケーションに基づいて、リフレッシュレートを調整可能である。例えば、ユーザがイラストレーションアプリケーションとインタラクトしている場合、ユーザに対してよりスムーズなタッチ体験を実現するために、ホストモジュール３６２はリフレッシュレートを１２０Ｈｚまで増加させ得る（これによりさらに、ディスプレイパネルリフレッシュレートと、タッチセンサデータの処理とが同期している場合、タッチデータのＳｏＣ３４０への送信レートも増加し得る）。同様に、ユーザが現在インタラクト中のアプリケーションが、コンテンツが比較的静的なものである、あるいは低度のユーザタッチインタラクションまたはシンプルなタッチインタラクション（例えば、アイコンの選択、またはメッセージのタイピングなど）を伴うものであることをホストモジュール３６２が検出すると、ホストモジュール３６２はリフレッシュレートをより低周波数に低減し得る。いくつかの実施形態において、ホストモジュール３６２は、タッチインタラクションの周波数を監視することで、リフレッシュレートとタッチサンプリング周波数とを調整し得る。例えば、高度なユーザインタラクションが存在する、またはユーザが特定のタッチ入力デバイス（例えばスタイラス）またはタッチ入力スタイラスの特定の機能（例えば、スタイラスのティルト機能）を利用していることがホストモジュール３６２により検出されると、リフレッシュレートを上げる方向に調整可能である。リフレッシュレートが閾値を超えると、ディスプレイパネルがサポートする場合に、ゴースト障害を低減するために、ホストモジュール３６２はディスプレイパネルのストロボ機能を有効にさせ得る。
ビジョン／撮像モジュール３６３は、ニューラルネットワークアクセラレータ３２７と、ＤＳＰ３２８と、メモリ３２９と、ファブリック３１２と、ＡＯＮブロック３１８と、Ｉ／Ｏ３３４と、フレームルータ３３９とを含む。ビジョン／撮像モジュール３６３は、ユーザフェイシングカメラ３４６とインタラクトする。ビジョン／撮像モジュール３６３は、複数のカメラとインタラクトし、複数のカメラからの画像データを、ＳｏＣ３４０における内蔵センサハブ３４２への送信用の単一ストリームに統合可能である。いくつかの実施形態において、リッド３０１は、ユーザフェイシングカメラ３４６に加え、１または複数の追加的なユーザフェイシングカメラおよび／またはワールドフェイシングカメラを含み得る。いくつかの実施形態において、ユーザフェイシングカメラの内のいずれかが、ディスプレイ内カメラであり得る。カメラ３４６により生成された画像センサデータは、フレームルータ３３９により受信され、そこでニューラルネットワークアクセラレータ３２７および／またはＤＳＰ３２８に送信される前に前処理される。画像センサデータはさらに、ＳｏＣ３４０における画像処理モジュール３４５に、フレームルータ３３９を通じて送られ得る。ニューラルネットワークアクセラレータ３２７および／またはＤＳＰ３２８は、顔検出、頭部の向き検出、顔ランドマーク（例えば、眼、頬、眉毛、鼻、口）の認識、検出された顔に適合する３Ｄメッシュの生成、および他の画像処理機能を有効にする。いくつかの実施形態において、顔パラメータ（例えば、顔ランドマークの位置、３Ｄメッシュ、顔の物理的な寸法、頭部の向き）は、毎秒３０フレーム（３０ｆｐｓ）のレートでＳｏＣに送信され得る。
オーディオモジュール３６４は、ニューラルネットワークアクセラレータ３５０と、１または複数のＤＳＰ３５１と、メモリ３５２と、ファブリック３１３と、ＡＯＮブロック３１９と、Ｉ／Ｏ３３５とを含む。オーディオモジュール３６４は、マイクロホン３９０からオーディオセンサデータを受信する。いくつかの実施形態において、各マイクロホン３９０に対して１つのＤＳＰ３５１が存在する。ニューラルネットワークアクセラレータ３５０およびＤＳＰ３５１は、オーディオ処理アルゴリズムと、オーディオ品質を向上するＡＩモデルを実装する。例えば、ＤＳＰ３５１は、ニューラルネットワークアクセラレータ３５０により実装されたオーディオＡＩモデルによる処理用に、オーディオセンサデータを調整するために、受信したオーディオセンサデータにオーディオ前処理を実行し得る。ニューラルネットワークアクセラレータ３５０により実装可能なオーディオＡＩモデルの一例は、犬の鳴き声または鳴り響くサイレンなどの、背景ノイズをフィルタアウトするノイズリダクションアルゴリズムである。第２の例は、音声起動または話者ＩＤ機能を有効にするモデルである。第３の例は、コンテキストアウェアネスモデルである。例えば、ガラスが割れる、車の衝突、または銃の発砲など、警察または緊急医療提供者が呼び出されるような状況に関連するオーディオイベント発生を分類するオーディオコンテキストモデルが実装され得る。ＬＣＨは当該イベントの発生を示す情報をＳｏＣに提供し得、ＳｏＣはユーザに、警察または医療専門家を呼ぶべきかを問い合わせ得る。
ＬＣＨモジュール３６１から３６４におけるＡＯＮブロック３１６から３１９は、音声起動、話者ＩＤ、顔起動、およびフェースＩＤなどのＬＣＨ「常時オン」機能、およびリッド３０１が閉じると視認可能でコンテンツとを提供する常時オンディスプレイをサポートするため、様々なＩ／Ｏ、タイマ、インタラプト、および制御ユニットを含む。
図４は、図３のリッドコントローラハブのセキュリティモジュールのブロック図を示す。ヴォルト３２０は、メモリ３５３に格納されたファームウェア上で実行される暗号学的ハッシュ関数を実装可能な暗号学的アクセラレータ４００を含む。いくつかの実施形態において、暗号学的アクセラレータ４００は、１２８ビットブロックサイズのアドバンスト暗号化規格（ＡＥＳ）準拠（ＡＥＳから１２８）または３８４ビットセキュアハッシュアルゴリズム（ＳＨＡ）準拠（ＳＨＡから３８４）暗号化アルゴリズムを実装する。セキュリティプロセッサ３２１は、プラットフォーム固有機能モジュール（ＰＵＦ）４０５と、ＯＴＰジェネレータ４１０と、ＲＯＭ４１５と、ダイレクトメモリアクセス（ＤＭＡ）モジュール４２０とをさらに含むセキュリティプロセッサモジュール４０２内に存在する。ＰＵＦ４０５は、特定のＬＣＨ実装に固有の１または複数のセキュリティ関連機能を実装可能である。いくつかの実施形態において、セキュリティプロセッサ３２１はＤｅｓｉｇｎＷａｒｅ（登録商標）ＡＲＣ（登録商標）ＳＥＭセキュリティプロセッサであり得る。ファブリック３１０は、セキュリティモジュール３６１の様々なコンポーネント間の通信を可能にし、アドバンストエクステンシブインタフェース（ＡＸＩ）４４０と、アドバンストペリフェラルバス（ＡＰＢ）４４０と、アドバンストハイパフォーマンスバス（ＡＨＢ）４４５とを含む。ＡＸＩ４４０は、ＡＸＩからＡＰＢ（ＡＸＩ Ｘ２Ｐ）ブリッジ４３０を介してアドバンストペリフェラルバス４４０と、ＡＸＩからＡＨＢ（ＡＸＩ Ｘ２Ａ）ブリッジ４３５を介してアドバンストハイパフォーマンスバス４４５と通信する。常時オンブロック３１６は、複数のＧＰＩＯ４５０と、ユニバーサル非同期レシーバ／トランスミッタ（ＵＡＲＴ）４５５と、タイマ４６０と、電力管理およびクロック管理ユニット（ＰＭＵ／ＣＭＵ）４６５とを含む。ＰＭＵ／ＣＭＵ４６５は、ＬＣＨコンポーネントへの電力およびクロック信号供給を制御し、個別のＬＣＨコンポーネントへ電力およびクロック信号を選択的に供給できる。これにより、特定のＬＣＨ動作モードまたは機能をサポートするために使用されるコンポーネントのみが、電力を受信し、クロックされる。Ｉ／Ｏセット３３２は、メモリ３５３との通信のために、Ｉ２Ｃ／Ｉ３Ｃインタフェース４７０と、キュードシリアルペリフェラルインタフェース（ＱＳＰＩ）４７５をと含む。いくつかの実施形態において、メモリ３５３は、ＬＣＨファームウェアを格納する１６ＭＢシリアルペリフェラルインタフェース（ＳＰＩ）からＮＯＲフラッシュメモリである。いくつかの実施形態において、ＬＣＨセキュリティモジュールは、図４に示すコンポーネント１または複数を排除可能である。いくつかの実施形態において、ＬＣＨセキュリティモジュールは、図４に示すもの以上に、１または複数の追加的なコンポーネントを含み得る。
図５は、図３のリッドコントローラハブのホストモジュールのブロック図を示している。ＤＳＰ３２５は、さらにレベル１（Ｌ１）キャッシュ５０４と、ＲＯＭ５０６と、ＤＭＡモジュール５０８とをさらに含むＤＳＰモジュール５００の一部である。いくつかの実施形態において、ＤＳＰ３２５はＤｅｓｉｇｎＷａｒｅ（登録商標）ＡＲＣ（登録商標）ＥＭ１１Ｄ ＤＳＰプロセッサであり得る。セキュリティプロセッサ３２４は、さらにプラットフォーム固有機能と、ＯＴＰジェネレータ５１２と、ＲＯＭ５１４と、ＤＭＡモジュール５１６との実装を可能にするＰＵＦモジュール５１０をさらに含むセキュリティプロセッサモジュール５０２の一部である。いくつかの実施形態において、セキュリティプロセッサ３２４はＳｙｎｏｐｓｉｓ（登録商標）ＤｅｓｉｇｎＷａｒｅ（登録商標）ＡＲＣ（登録商標）ＳＥＭセキュリティプロセッサである。ファブリック３１１は、ホストモジュール３６２の様々なコンポーネント間の通信を可能にし、セキュリティコンポーネントファブリック３１０と同様のコンポーネントを含む。常時オンブロック３１７は、複数のＵＡＲＴ５５０と、ＬＣＨデバッグをサポートするためのＪｏｉｎｔ Ｔｅｓｔ Ａｃｔｉｏｎ Ｇｒｏｕｐ（ＪＴＡＧ）／Ｉ３Ｃポート５５２、複数のＧＰＩＯ５５４、タイマ５５６、インタラプトリクエスト（ＩＲＱ）／起動ブロック５５８、カメラ３４６に１９．２ＭＨｚ基準クロックを提供するＰＭＵ／ＣＣＵポート５６０を含む。同期信号３７０は、ＧＰＩＯポートの１つに接続される。Ｉ／Ｏ３３３は、カメラ３４６とのＩ２Ｃおよび／またはＩ３Ｃ通信をサポートするインタフェース５７０と、ＳｏＣ３４０におけるＵＳＢモジュール３４４と通信するＵＳＢモジュール５８０と、タッチコントローラ３８５と通信するＱＳＰＩブロック５８４とを含む。いくつかの実施形態において、Ｉ／Ｏセット３３３は、ＱＳＰＩインタフェース５８２を介して、ＳｏＣによりタッチセンサデータを提供する。別の実施形態において、タッチセンサデータは、ＵＳＢ接続５８３を介して、ＳｏＣと通信する。いくつかの実施形態において、接続５８３はＵＳＢ２．０接続である。タッチセンサデータをＳｏＣに送信するのに、ＵＳＢ接続５８３を利用することで、ヒンジ３３０はＱＳＰＩインタフェース５８２がサポートするＱＳＰＩ接続をサポートするのに、ワイヤを搭載する必要がなくなる。この追加的なＱＳＰＩ接続をサポートする必要がないことで、ヒンジを通るワイヤの数を４から８本のワイヤ分削減できる。
いくつかの実施形態において、ホストモジュール３６２はデュアルディスプレイをサポートできる。そのような実施形態において、ホストモジュール３６２は、第２タッチコントローラと、第２タイミングコントローラと通信する。第２タイミングコントローラと、ホストモジュールとの間の第２同期信号は、第２タッチコントローラにより提供されるタッチセンサデータの処理と、ＳｏＣに送られる、第２タッチセンサにより提供されるタッチセンサデータの送信の、第２ディスプレイのリフレッシュレートとの同期とを可能にする。いくつかの実施形態において、ホストモジュール３６２は３つ以上のディスプレイをサポート可能である。いくつかの実施形態において、ＬＣＨホストモジュールは図５に示すコンポーネントの１または複数を省き得る。いくつかの実施形態において、ＬＣＨホストモジュールは、図５に示すもの以上に、１または複数の追加的なコンポーネントを含み得る。
図６は、図３のリッドコントローラハブのビジョン／撮像モジュールのブロック図を示す。ＤＳＰ３２８は、Ｌ１キャッシュ６０２と、ＲＯＭ６０４と、ＤＭＡモジュール６０６とをさらに含むＤＳＰモジュール６００の一部である。いくつかの実施形態において、ＤＳＰ３２８は、ＤｅｓｉｇｎＷａｒｅ（登録商標）ＡＲＣ（登録商標）ＥＭ１１Ｄ ＤＳＰプロセッサであり得る。ファブリック３１２は、ビジョン／撮像モジュール３６３の様々なコンポーネント間での通信を可能にし、ＡＸＩからＡＰＢ（Ｘ２Ｐ）ブリッジ６３０により、アドバンストペリフェラルバス（ＡＰＢ）６４０に接続されたアドバンストエクステンシブルインタフェース（ＡＸＩ）６４０を含む。常時オンブロック３１８は、複数のＧＰＩＯ６５０、複数のタイマ６５２、ＩＲＱ／起動ブロック６５４、およびＰＭＵ／ＣＣＵ６５６を含む。いくつかの実施形態において、ＩＲＱ／起動ブロック６５４はカメラ３４６からウェイクオンモーション（ＷｏＭ）インタラプトを受信する。ＷｏＭインタラプトは、カメラ内に配置された、または通信可能に結合されたアクセラレータにより生成された加速度計センサデータに基づき生成され得、またはカメラが、カメラが捕捉した画像内で動き検出処理を実行したことに応じて生成され得る。Ｉ／Ｏ３３４は、ＳｏＣ３４０内の内蔵センサハブ３４２にメタデータを送信するＩ２Ｃ／Ｉ３Ｃインタフェース６７４と、カメラ３４６および他のリッドセンサ６７１（例えば、ライダセンサ、レーダセンサ、超音波センサ、タイムオブフライトカメラ、赤外線センサ）接続するＩ２Ｃ３／Ｉ３Ｃインタフェース６７０とを含む。ビジョン／撮像モジュール３６３は、Ｉ２Ｃ／Ｉ３Ｃインタフェース６７０を介して追加的なリッドセンサ６７１からセンサデータを受信し得る。いくつかの実施形態において、メタデータは、リッドコントローラハブにより提供される情報が有効かを示す情報、リッドコントローラハブの動作モードを示す情報（例えば、オフ、ＬＣＨコンポーネントの一部が無効だが、ＬＣＨはユーザの顔を検出するために継続的に画像センサデータを監視する「顔起動」低電力モード）、自動露光情報（例えば、ビジョン／撮像モジュール３６３がカメラ３４６に対して自動で設定した露光レベル）、およびカメラ３４６により捕捉された画像またはビデオ内に検出された顔に関連する情報（例えば、顔が存在するという信頼レベルを示す情報、顔が認証ユーザの顔と一致する信頼レベルを示す情報、捕捉された画像またはビデオ内の顔の位置を示すバウンディングボックス情報、検出された顔の向きを示す向き情報、および顔ランドマーク情報）などの情報を含む。
フレームルータ３３９は、カメラ３４６からの画像センサデータを受信し、画像センサデータをさらなる処理用にニューラルネットワークアクセラレータ３２７および／またはＤＳＰ３２８に送る前に、画像センサデータを処理可能である。フレームルータ３３９はさらに、受信した画像センサデータを、フレームルータ処理をバイパスし、ＳｏＣ３４０内の画像処理モジュール３４５に送信可能とする。画像センサデータは、フレームルータ処理スタック６９９に処理されるのと同時に画像処理モジュール３４５に送信され得る。カメラ３４６により生成された画像センサデータは、ＭＩＰＩ Ｄ－ＰＨＹレシーバ６８０によりフレームルータ３３９において受信され、ここでＭＩＰＩ ＣＳＩ２レシーバ６８２に送られる。マルチプレクサ／セレクタブロック６８４は、画像センサデータをフレームルータ処理スタック６９９により処理される、画像処理モジュール３４５への送信用に直接ＣＳＩ２トランスミッタ６９７およびＤからＰＨＹトランスミッタ６９８に送られる、またはその両方を可能とする。
フレームルータ処理スタック６９９は、画像センサデータをニューラルネットワークアクセラレータ３２７および／またはＤＳＰ３２８による処理用に調整するために、画像センサデータの前処理を実行し、画像センサデータに追加的な画像処理を実行できる１または複数のモジュールを含む。フレームルータ処理スタック６９９は、サンプラー／クロッパーモジュール６８６と、レンズシェーディングモジュール６８８と、動き検出器モジュール６９０と、自動露光モジュール６９２と、画像前処理モジュール６９４と、ＤＭＡモジュール６９６とを含む。サンプラー／クロッパーモジュール６８６は、画像センサデータにより表されるビデオのフレームレートを低減可能で、および／または画像センサデータにより表される画像のサイズをクロッピングする。レンズシェーディングモジュール６８８は、１または複数のレンズシェーディング効果を、画像センサデータにより表される画像に適用可能である。いくつかの実施形態において、画像センサデータにより表される画像に適用されるレンズシェーディング効果はユーザにより選択可能である。動き検出器６９０は、画像センサデータにより表される複数の画像の間の動きを検出可能である。動き検出器は、複数の画像にわたる、任意の動き、または特定のオブジェクト（例えば、顔）の動きを示し得る。
自動露光モジュール６９２は、画像センサデータにより表される画像が露光過多または露光不足かを判定し、カメラ３４６により捕捉される将来の画像の露光を向上するように、カメラ３４６の露光を調整させることができる。いくつかの実施形態において、自動露光モジュール３６２は、露光過多または露光不足に対応するように、画像センサデータにより表される画像の品質を向上するように、画像センサデータを修正可能である。画像前処理モジュール６９４は、ニューラルネットワークアクセラレータ３２７および／またはＤＳＰ３２８による処理用に、画像センサデータをさらに調整するように、画像センサデータの画像処理を実行する。画像センサデータは、フレームルータ処理スタック６９９の１または複数のモジュールにより処理された後、ファブリック３１２を介して、ビジョン／撮像モジュール３６３内の別のコンポーネントに送られ得る。いくつかの実施形態において、フレームルータ処理スタック６９９は、図６に示すよりもより多くのまたはより少ないモジュールを含む。いくつかの実施形態において、フレームルータ処理スタック６９９は、画像センサデータが、フレーム処理スタックの選択されたモジュールで処理されるという点で構成可能である。いくつかの実施形態において、フレーム処理スタックにおけるモジュールの画像センサデータ上での動作順序も構成可能である。
フレームルータ処理スタック６９９により画像センサデータが処理されたら、処理された画像センサデータは、さらなる処理のためにＤＳＰ３２８および／またはニューラルネットワークアクセラレータ３２７に提供される。ニューラルネットワークアクセラレータ３２７は、処理された画像センサデータ内に顔の存在を検出することで顔起動機能を、処理された画像センサデータにおいて認証されたユーザの顔の存在を検出することでフェースＩＤ機能を、有効にする。いくつかの実施形態において、ＮＮＡ３２７は、画像センサデータ内に複数の顔を、画像センサデータ内に複数の認証されたユーザの存在を検出可能である。ニューラルネットワークアクセラレータ３２７は、構成可能であり、ＮＮＡ３２７に１または複数の認証されたユーザを識別または新たな認証されたユーザを識別可能とする情報により更新できる。いくつかの実施形態において、ＮＮＡ３２７および／またはＤＳＰ３２８は１または複数の適応減光機能を有効にする。適応減光機能の一例は、ビデオ会議またはビデオ通話アプリケーションに対して有用な機能である、人間の顔が占めていない画像またはビデオ領域の減光である。別の例は、コンピューティングデバイスがアクティブ状態にあり、顔がカメラの前にもはや検出されていない間はスクリーンを全体的に減光し、その後、顔が再度検出されたらディスプレイの減光解除を行うことである。適応減光機能を、フェースＩＤを組み込むように拡張すると、スクリーンは再度認証されたユーザが検出された場合にのみ減光解除される。
いくつかの実施形態において、フレームルータ処理スタック６９９は、画像センサデータにより表される画像の解像度をアップスケールまたはダウンスケール可能な超解像モジュール（不図示）を含む。例えば、画像センサデータが１メガピクセル画像を表す実施形態において、超解像モジュールは、１メガピクセル画像を画像処理モジュール３４５に送られる前により高解像度の画像にアップスケール可能である。いくつかの実施形態において、ＬＣＨビジョン／撮像モジュールは図６に示すコンポーネントの１または複数を有さなくてよい。いくつかの実施形態において、ＬＣＨビジョン／撮像モジュールは図６に示すものに加え、１または複数の追加的なコンポーネントを含み得る。
図７は、図３のリッドコントローラハブのオーディオモジュール３６４のブロック図を示す。いくつかの実施形態において、ＮＮＡ３５０は人工ニューラルネットワークアクセラレータであり得る。いくつかの実施形態において、ＮＮＡ３５０は、インテル（登録商標）ガウシアン＆ニューラルアクセラレータ（ＧＮＡ）または他の低電力ニューラルコプロセッサであり得る。ＤＳＰ３５１は、命令キャッシュ７０２およびデータキャッシュ７０４をさらに含む、ＤＳＰモジュール７００の一部である。いくつかの実施形態において、各ＤＳＰ３５１はＣａｄｅｎｃｅ（登録商標）Ｔｅｎｓｉｌｉｃａ（登録商標）ＨｉＦｉ ＤＳＰである。オーディオモジュール３６４は、リッド内の各マイクロホンに対して１つＤＳＰモジュール７００を含む。いくつかの実施形態において、ＤＳＰ３５１はオーディオセンサデータにダイナミックノイズリダクションを実行可能である。別の実施形態において、４つよりも多くまたは少ないマイクロホンが使用され得、複数のマイクロホンにより提供されるオーディオセンサデータは単一のＤＳＰ３５１により処理され得る。いくつかの実施形態において、ＮＮＡ３５０は、オーディオ品質を向上する１または複数のモデルを実装する。例えば、ＮＮＡ３５０は、オーディオまたはビデオ通話中に妨げとなり得る背景ノイズを除去または低減する、１または複数の「スマートミュート」モデルを実装可能である。
いくつかの実施形態において、ＤＳＰ３５１は、ファーフィールド機能を有効にできる。例えば、ベゼルにわたって（またはディスプレイ内マイクロホンが使用される場合には表示領域にわたって）分散された複数の前方向きマイクロホンを含むリッドは、ファーフィールド機能（例えば、遠隔音源により生成された音の検出向上）を可能にするように、マイクロホンにより生成されたオーディオ信号に、ビームフォーミングまたは空間的フィルタリングを実行可能である。ＤＳＰ３５１を利用するオーディオモジュール３６４は、遠隔音源位置から受信した音の検出を向上するように、遠隔音源の位置を判定できる。いくつかの実施形態において、ＤＳＰ３５１は、オーディオ信号が時間的に重複するようにマイクロホンにより生成されたオーディオ信号に加えられる遅延を決定し、各オーディオ信号に加えられた遅延に基づいて、各マイクロホンから音源の距離を推測することで音源の位置を判定できる。決定された遅延を、マイクロホンにより提供されたオーディオ信号に加えることで、遠隔音源の方向におけるオーディオ検出が向上可能である。音声起動または話者ＩＤ機能を可能とするための音声検出用に、ＮＮＡ３５０に向上したオーディオが提供可能である。向上したオーディオに、ＤＳＰ３５１によるさらなる処理も実行可能である。音源の識別された位置は、オペレーティングシステムまたはオペレーティングシステム上で稼働するアプリケーションによる使用のために、ＳｏＣに提供され得る。
いくつかの実施形態において、ＤＳＰ３５１は、近超音波（例えば、１５ｋＨｚから２０ｋＨｚ）または超音波（例えば、＞２０ｋＨｚ）周波数で、オーディオセンサデータにエンコードされた情報を検出でき、それにより低周波数低電力通信チャネルを実現する。近超音波／超音波周波数で検出された情報は、ＳｏＣ３４０における音声捕捉モジュール３４３に送られ得る。例えば、モバイルコンピューティングデバイスに対する、会議室内の別のコンピューティングデバイス（例えば、ＷｉからＦｉルータ、リピータ、プレゼン機器）に対する会議接続またはＷｉからＦｉ接続情報の通信に、超音波通信チャネルは使用できる。オーディオモジュール３６４はさらに、超音波周波数で情報を送信するために、１または複数のマイクロホン３９０を駆動できる。したがって、オーディオチャネルは、コンピューティングデバイス間の双方向低周波数低電力通信チャネルとして使用され得る。
いくつかの実施形態において、オーディオモジュール３６４は適応冷却を有効にできる。例えば、オーディオモジュール３６４は、アンビエントノイズレベルを判定し、アンビエントノイズレベルを示す情報をＳｏＣに送信可能である。ＳｏＣは、この情報を、コンピューティングデバイスの冷却ファンの動作レベルを判定するための要素として使用できる。例えば、冷却ファンのスピードは、アンビエントノイズレベルを上げ下げしてスケールアップまたはダウンできる。これにより、より騒音の多い環境で、冷却性能向上が可能となり得る。
ファブリック３１３は、オーディオモジュール３６４の様々なコンポーネント間の通信を可能にする。ファブリック３１３は、ＮＮＡ５５０、ＤＳＰモジュール７００、メモリ３５２、およびＤＭＡ７４８を、ＯＣＰからＡＰＢブリッジ７２８を介してＡＰＢ７４０に接続するオープンコアプロトコル（ＯＣＰ）インタフェース７２６を含む。常時オンブロック３１９は、複数のＧＰＩＯ７５０と、マイクロホン３９０により生成されたオーディオセンサデータを受信するパルス密度変調（ＰＤＭ）モジュール７５２と、１または複数のタイマ７５４と、ＰＭＵ／ＣＣＵ７５６と、音声捕捉モジュール３４３へ、およびからオーディオデータを送信および受信するためのＭＩＰＩ ＳｏｕｎｄＷｉｒｅ（登録商標）モジュール７５８とを含む。いくつかの実施形態において、マイクロホン３９０により提供されるオーディオセンサデータは、ＤｅｓｉｇｎＷａｒｅ（登録商標）ＳｏｕｎｄＷｉｒｅ（登録商標）モジュール７６０で受信される。いくつかの実施形態において、ＬＣＨオーディオモジュールは図７に示すコンポーネントの１または複数を有さなくてよい。いくつかの実施形態において、ＬＣＨオーディオモジュールは図７に示すものに加え、１または複数の追加的なコンポーネントを含み得る。
図８は、図３のリッドコントローラハブとともに使用されるタイミングコントローラ、内蔵ディスプレイパネル、および追加的な電子装置のブロック図を示す。タイミングコントローラ３５５は、複数のメインリンクレーン８００および補助（ＡＵＸ）チャネル８０５を含むｅＤＰ接続を介して、ＳｏＣ３４０のディスプレイモジュール３４１からビデオデータを受信する。ディスプレイモジュール３４１により提供されたビデオデータおよび補助チャネル情報は、ｅＤＰメインリンクレシーバ８１２および補助チャネルレシーバ８１０により、ＴＣＯＮ３５５で受信される。タイミングコントローラ処理スタック８２０は、画素処理と、ディスプレイモジュール３４１から送信されたビデオデータのディスプレイパネル３８０（例えば、行ドライバ８８２、列ドライバ８８４）の制御回路機構を駆動する信号への変換とを担う１または複数のモジュールを含む。ビデオデータは、フレームバッファ８３０に格納されることなく、タイミングコントローラ処理スタック８２０により処理され得、またはビデオデータはタイミングコントローラ処理スタック８２０による処理前に、フレームバッファ８３０内に格納され得る。フレームバッファ８３０は、１または複数のビデオフレーム（または、フレーム。本明細書で使用される用語「画像」および「フレーム」は同義で使用される）に対する画素情報を格納する。例えば、いくつかの実施形態において、フレームバッファは、パネル上に表示される、ビデオフレームにおける画素の色情報を格納できる。
タイミングコントローラ処理スタック８２０は、自律的低リフレッシュレートモジュール（ＡＬＲＲ）８２２と、デコーダパネル自己リフレッシュ（デコーダＰＳＲ）モジュール８２４と、電力最適化モジュール８２６とを含む。ＡＬＲＲモジュール８２２は、ディスプレイ３８０のリフレッシュレートを動的に調整可能である。いくつかの実施形態において、ＡＬＲＲモジュール８２２は、２０Ｈｚおよび１２０Ｈｚの間で、ディスプレイリフレッシュレートを調整可能である。ＡＬＲＲモジュール８２２は、ゲーミングアプリケーションにおいて、レンダリングされる画像の複雑さに応じて変化し得る、受信したビデオデータのフレームレートに基づき、ディスプレイリフレッシュレートを調整するなどの、様々なダイナミックリフレッシュレート手法を実装できる。ＡＬＲＲモジュール８２２により判定されたリフレッシュレートは、同期信号３７０としてホストモジュールに提供可能である。いくつかの実施形態において、同期信号は、ディスプレイリフレッシュがまさに発生しようとしていることのインジケーションを含む。いくつかの実施形態において、ＡＬＲＲモジュール８２２は、ブランク期間の長さを調整することで、パネルリフレッシュレートを動的に調整可能である。いくつかの実施形態において、ＡＬＲＲモジュール８２２は、ホストモジュール３６２から受信した情報に基づいて、パネルリフレッシュレートを調整できる。例えば、いくつかの実施形態において、ホストモジュール３６２は、ビジョン／撮像モジュール３６３がカメラの前にユーザがいないことを判定すると、リフレッシュレートが低減することを示す情報をＡＬＲＲモジュール８２２に送信できる。いくつかの実施形態において、ホストモジュール３６２は、ホストモジュール３６２がタッチコントローラ３８５から受信したタッチセンサデータに基づいてパネル３８０にタッチインタラクションがあったと判定すると、リフレッシュレートが増加することを示す情報をＡＬＲＲモジュール８２２に送信できる。
いくつかの実施形態において、ＶＤＳＣ圧縮規格を使用してエンコードされたビデオデータをデコードする、デコーダＰＳＲモジュール８２４は、ビデオ電子装置規格関連付け（ＶＥＳＡ）、ディスプレイストリーミング圧縮（ＶＤＳＣ）デコーダを含み得る。別の実施形態において、デコーダからパネル自己リフレッシュモジュール８２４は、有効にされると、前のリフレッシュサイクルで利用されたフレームバッファに格納されたビデオデータに基づいて、ディスプレイパネル３８０の全部または一部をリフレッシュする、パネル自己リフレッシュ（ＰＳＲ）実装を含み得る。これは、ディスプレイパイプラインのフレームバッファに通じる部分を、低電力状態に移行可能にできる。いくつかの実施形態において、デコーダからパネル自己リフレッシュモジュール８２４は、ｅＤＰ ｖ１．３において実装されるＰＳＲ機能または、ｅＤＰ ｖ１．４において実装されるＰＳＲ２機能であり得る。いくつかの実施形態において、ＴＣＯＮは、モバイルコンピューティングデバイスオペレーティングシステムのアップグレードの際に、ゼロまたは低リフレッシュ状態に移行することで、追加的な省電力を実現できる。ゼロリフレッシュ状態において、タイミングコントローラはディスプレイをリフレッシュしない。低リフレッシュ状態において、タイミングコントローラは低レート（例えば、２０Ｈｚ以下）でディスプレイをリフレッシュする。
いくつかの実施形態において、タイミングコントローラ処理スタック８２０は、ディスプレイモジュール３４１により提供されたビデオフレームの解像度を、ディスプレイパネル３８０のものに一致するようにダウンスケールまたはアップスケール可能な超解像モジュール８２５を含み得る。例えば、内蔵パネル３８０が３Ｋｘ２Ｋパネルで、ディスプレイモジュール３４１が４Ｋでレンダリングされた４Ｋビデオフレームを提供する場合、超解像モジュール８２５は、４Ｋビデオフレームを３Ｋｘ２Ｋビデオフレームにダウンスケールできる。いくつかの実施形態において、超解像モジュール８２５はビデオの解像度をアップスケールできる。例えば、ゲーミングアプリケーションが１３６０ｘ７６８解像度で画像をレンダリングする場合、超解像モジュール８２５は、ディスプレイパネル３８０の解像度機能を最大限発揮するように、ビデオフレームを３Ｋｘ２Ｋにアップスケールできる。いくつかの実施形態において、ビデオフレームをアップスケールする超解像モジュール８２５は、アップスケーリングを実行するため、１または複数のニューラルネットワークモデルを利用できる。
電力最適化モジュール８２６は、ＴＣＯＮ３５５が消費する電力を低減する追加的なアルゴリズムを含む。いくつかの実施形態において、電力最適化モジュール８２６は、ローカルコントラストを改善し、個別のフレームに全体減光を適用することで、ディスプレイパネル３８０の電力消費を低減するローカルコントラスト改善および全体減光モジュールを含む。
いくつかの実施形態において、タイミングコントローラ処理スタック８２０は、図８に示すよりもより多くのまたはより少ないモジュールを含むことができる。例えば、いくつかの実施形態において、タイミングコントローラ処理スタック８２０は、ＡＬＲＲモジュールおよびｅＤＰ ＰＳＲ２モジュールを含むが、電力最適化モジュールを有さない。別の実施形態において、図８に示すものに対する追加的なモジュールが、タイミングコントローラスタック８２０に含まれ得る。タイミングコントローラ処理スタック８２０に含まれたモジュールは、リッド３０１に含まれる内蔵ディスプレイパネル３８０のタイプに応じ得る。例えば、ディスプレイパネル３８０がバックライト付液晶ディスプレイ（ＬＣＤ）であれば、タイミングコントローラ処理スタック８２０は、上述の全体減光およびローカルコントラスト電力低減手法を含むモジュールを含まない。その手法は、バックライト付ＬＣＤディスプレイよりも発光型ディスプレイ（ＱＬＥＤ、ＯＬＥＤ、およびマイクロＬＥＤディスプレイなど、発光要素が個別の画素内に配置されたディスプレイ）での使用により適するためである。いくつかの実施形態において、タイミングコントローラ処理スタック８２０は色およびガンマ補正モジュールを含む。
タイミングコントローラ処理スタック８２０によりビデオデータが処理された後、Ｐ２Ｐトランスミッタ８８０が、ビデオデータを、ディスプレイパネル３８０用の制御回路機構を駆動する信号に変換する。ディスプレイパネル３８０用の制御回路機構は、個別の画素の色と明るさを制御する、内蔵ディスプレイパネル３８０内のディスプレイ３８０における画素の行および列を駆動する行ドライバ８８２および列ドライバ８８４を含む。
内蔵パネル３８０がバックライト付ＬＣＤディスプレイである実施形態において、ＴＣＯＮ３５５は、ディスプレイパネル３８０のバックライトを制御するため、バックライトドライバ８４０を駆動する信号を生成する、バックライトコントローラ８３５を含み得る。バックライトコントローラ８３５は、パネル３８０上に表示される画像を表すビデオフレームデータに基づいて、信号をバックライトドライバ８４０に送信する。バックライトコントローラ８３５は、表示される画像の領域（または画像全体）の大部分が暗く表示される場合、パネルのそれら部分（またはパネル全体）のバックライトを消す、またはその明るさを低減することなどで、低電力機能を実装できる。いくつかの実施形態において、バックライトコントローラ８３５は、見るものがほとんど、または全く視覚的劣化を感じないように、バックライトの明るさを低減しながら、画素の彩度値を調整することで、電力消費を低減する。いくつかの実施形態においてバックライトは、ｅＤＰ補助チャネルを介してリッドに送信される信号に基づいて制御される。これにより、ヒンジ３３０越しに送られるワイヤの数が低減可能である。
タッチコントローラ３８５は、内蔵パネル３８０のタッチスクリーン技術の駆動、ディスプレイパネル３８０からのタッチセンサデータの収集を担う。タッチコントローラ３８５は定期的または非定期的にタッチセンサデータをサンプリング可能で、タイミングコントローラ３５５および／またはリッドコントローラハブ３０５から制御情報を受信可能である。タッチコントローラ３８５は、ディスプレイパネルリフレッシュレートと同様、または近いサンプリングレートで、タッチセンサデータをサンプリング可能である。タッチサンプリングは、ディスプレイパネルリフレッシュレートにおける調整に応じて、調整可能である。したがって、ディスプレイパネルが低レートでリフレッシュされている、または一切リフレッシュされていない場合、タッチコントローラは、そのタッチセンサデータが低レートでサンプリングタッチセンサデータされるまたは全くされない、低電力状態にされ得る。例えば、ビジョン／撮像モジュール３６３が、ビジョン／撮像モジュール３６３により継続的に分析されている画像データ内にユーザを検出したことに応じて、コンピューティングデバイスが低電力状態から脱すると、タッチコントローラ３８５はタッチセンササンプリングレートを増加、またはタッチセンサデータのサンプリングを再開し得る。いくつかの実施形態において、より詳細に後述するように、タッチセンサデータのサンプリングは、ディスプレイパネルリフレッシュレートと同期され得る。これは、スムーズで反応の良いタッチ体験を可能にし得る。いくつかの実施形態において、タッチコントローラは、ディスプレイリフレッシュレートから独立したレートで、タッチセンサデータをサンプリング可能である。
図２および図３のタイミングコントローラ４００および３５１はそれぞれリッドコントローラハブ２６０および３０５とは別個であるように示されているが、本明細書に記載のタイミングコントローラの内の任意のものは、リッドコントローラハブと同じダイ、パッケージ、またはプリント回路基板上に一体化され得る。したがって、リッドコントローラハブへの言及は、タイミングコントローラを含むコンポーネントを示し得、タイミングコントローラへの言及はリッドコントローラハブ内のコンポーネントを示し得る。図１０Ａから図１０Ｄは、タイミングコントローラおよびリッドコントローラハブの間の、様々なあり得る物理的な関係を示す。
いくつかの実施形態において、リッドコントローラハブは、より多く、またはより少ないコンポーネントを有し、および／または本明細書に記載のＬＣＨ実施形態よりも少ない特徴または機能を実装し得る。例えば、いくつかの実施形態において、モバイルコンピューティングデバイスは、オーディオモジュールを有さないＬＣＨを含み、ベース内のオーディオセンサデータの処理を実行し得る。別の例において、モバイルコンピューティングデバイスは、ビジョン／撮像モジュールを有さないＬＣＨを含み、ベース内の画像センサデータの処理を実行し得る。
図９は、リッドコントローラハブを含むモバイルコンピューティングデバイスにおけるコンポーネントの例示的な物理的配置を示すブロック図を示す。モバイルコンピューティングデバイス９００は、ヒンジ９３０を介してリッド９２０に接続されたベース９１０を含む。ベース９１０は、その上にＳｏＣ９１４および他のコンピューティングデバイスコンポーネントが配置されたマザーボード９１２を含む。リッド９２０は、例えば、内蔵ディスプレイパネルのコンテンツ表示部分である、リッド内に配置された内蔵ディスプレイパネル９２６のアクティブ領域である、表示領域９２４の周辺の周りに延在するベゼル９２２を含む。リッド９２０はさらに、リッド９２０の左右上角の一対のマイクロホン９２６と、ベゼル９２２の中心上部分に沿って配置されたセンサモジュール９２８とを含む。センサモジュール９２８は、前方向きカメラ９３２を含む。いくつかの実施形態において、センサモジュール９２８は、カメラ９３２が搭載されたプリント回路基板である。リッド９２０はさらに、リッド９２０の底部分に配置されたパネル電子装置９４０およびリッド電子装置９５０を含む。リッド電子装置９５０は、リッドコントローラハブ９５４を含み、パネル電子装置９４０はタイミングコントローラ９４４を含む。いくつかの実施形態において、リッド電子装置９５０は、ＬＣＨ９５４が搭載されたプリント回路基板を含む。いくつかの実施形態において、パネル電子装置９４０は、ＴＣＯＮ９４４と、行および列ドライバ、バックライトドライバ（内蔵ディスプレイがＬＣＤバックライト付ディスプレイの場合）、およびタッチコントローラなどの追加的なパネル回路機構が搭載されたプリント回路基板を含む。タイミングコントローラ９４４およびリッドコントローラハブ９５４は、２つの回路基板を接続するケーブルコネクタであり得る、コネクタ９５８を介して通信する。コネクタ９５８は、タッチサンプリング動作を、ディスプレイリフレッシュレートと同期可能とする、同期信号を伝送できる。いくつかの実施形態において、ＬＣＨ９５４は、コネクタ９５８を介して、ＴＣＯＮ９４４および、パネル電子装置９４０の一部である他の電子コンポーネントに電力を送ることができる。センサデータケーブル９７０は、カメラ９３２により生成された画像センサデータ、マイクロホン９２６により生成されたオーディオセンサデータ、タッチスクリーン技術により生成されたタッチセンサデータを、リッドコントローラハブ９５４に伝送する。マイクロホン９２６により生成されたオーディオ信号データを伝送するワイヤは、リッドの左右上角におけるマイクロホン９２６からセンサモジュール９２８へ延在し得る。そこで、それらのワイヤは、カメラ９３２により生成されてセンサデータケーブル９７０を介してリッドコントローラハブ９５４に送られる画像センサデータを伝送するワイヤとまとめられる。
ヒンジ９３０は、左ヒンジ部分９８０および右ヒンジ部分９８２を含む。ヒンジ９３０は、リッド９２０をベース９１０に物理的に結合し、リッド９２０をベースに対して回転可能とする。リッドコントローラハブ９５４をベース９１０に接続するワイヤは、ヒンジ部分９８０および９８２の一方または両方を通過する。ヒンジ９３０は、２つのヒンジ部分を含むものとして示されているが、別の実施形態において様々な異なる構成であり得る。例えば、ヒンジ９３０は、単一のヒンジ部分または３つ以上のヒンジ部分を含み得、リッドコントローラハブ９５４をＳｏＣ９１４に接続するワイヤは、任意のヒンジ部分でヒンジと交差し得る。ヒンジ９３０と交差するワイヤの数を、既存ラップトップデバイスよりも少なくすることで、ヒンジ９３０は、既存ラップトップのヒンジよりも、より安価で、よりシンプルなコンポーネントとなり得る。
別の実施形態において、リッド９２０は、図９に示すものとは異なるセンサ配置を有し得る。例えば、リッド９２０は、追加的な前方向きカメラ、前方向きデプスセンシングカメラ、赤外線センサ、および１または複数のワールドフェイシングカメラなどの追加的なセンサを含み得る。いくつかの実施形態において、リッド９２０は、ベゼルに配置された追加的なマイクロホン、またはセンサモジュール上に配置された１つだけのマイクロホンを含み得る。センサモジュール９２８は、リッド内に配置された追加的なセンサにより生成されたセンサデータを伝送するワイヤをまとめ、それらをセンサデータケーブル９７０に送ることができ、センサデータケーブル９７０は、これらの追加的なセンサデータをリッドコントローラハブ９５４に送る。
いくつかの実施形態において、リッドは、ディスプレイ内マイクロホンまたはディスプレイ内カメラなどディスプレイ内センサを含む。これらセンサは、各画素に対して光を生成し、より詳細に後述する発光要素により利用さない画素領域における表示領域９２４に配置される。ディスプレイ内カメラセンサおよびディスプレイ内マイクロホンにより生成されたデータは、センサモジュール９２８と、リッド内に配置され、ディスプレイ内センサにより生成されたセンサデータを処理用にリッドコントローラハブ９５４に送る他のセンサモジュールとによりまとめられ得る。
いくつかの実施形態において、１または複数のマイクロホンおよびカメラは、リッドが閉じている場合など、「常時オン」利用シナリオでの使用に便利な、リッド内の位置に配置され得る。例えば、１または複数のマイクロホンおよびカメラは、デバイスが閉じたときに、ラップトップの「Ａカバー」、またはモバイルコンピューティングデバイスの他のワールドフェイシング表面（リッドの上エッジまたは横エッジなど）上に配置され得る。これにより、起動用の言葉または表現を発したこと、またはカメラの視野内の人の存在を検出するように、オーディオまたは画像データが捕捉および監視可能となる。
図１０Ａから図１０Ｅは、リッド内のタイミングコントローラおよびリッドコントローラハブの例示的な物理的配置のブロック図を示す。図１０Ａは、第２モジュール１０３０から物理的に離れた第１モジュール１０２０上に配置されたリッドコントローラハブ１０００およびタイミングコントローラ１０１０を示す。いくつかの実施形態において、第１および第２モジュール１０２０および１０３０はプリント回路基板である。リッドコントローラハブ１０００およびタイミングコントローラ１０１０は、接続１０３４を介して通信する。図１０Ｂは、第３モジュール１０４０上に配置されたリッドコントローラハブ１０４２およびタイミングコントローラ１０４６を示す。ＬＣＨ１０４２およびＴＣＯＮ１０４６は、接続１０４４を介して通信する。いくつかの実施形態において、第３モジュール１０４０はプリント回路基板で、接続１０４４は１または複数のプリント回路基板トレースを含む。リッドコントローラハブおよびタイミングコントローラ設計にモジュール式手法を適用する利点の１つは、それによりタイミングコントローラベンダーが、異なる特徴組を有する複数のＬＣＨ設計と協働する単一のタイミングコントローラを提供可能となることである。
図１０Ｃは、フロントエンドおよびバックエンドコンポーネントに分けられたタイミングコントローラを示す。タイミングコントローラフロントエンド（ＴＣＯＮ ＦＥ）１０５２およびリッドコントローラハブ１０５４は、第１共通コンポーネント１０５６上に一体化される、または共に配置される。いくつかの実施形態において、第１共通コンポーネント１０５６は集積回路パッケージで、ＴＣＯＮ ＦＥ１０５２およびＬＣＨ１０５４は、マルチチップパッケージに一体化された個別の集積回路ダイ、または単一の集積回路ダイ上に一体化された個別回路である。第１共通コンポーネント１０５６は第４モジュール１０５８上に配置され、タイミングコントローラバックエンド（ＴＣＯＮ ＢＥ）１０６０は第５モジュール１０６２上に配置される。タイミングコントローラフロントエンドおよびバックエンドコンポーネントは、接続１０６４を介して通信する。タイミングコントローラをフロントエンドおよびバックエンドコンポーネントに分けることで、様々なタイミングコントローラ処理スタックを有するタイミングコントローラの開発の柔軟性を実現できる。例えば、タイミングコントローラバックエンドは、内蔵ディスプレイを駆動するモジュールを含み得る。図８のタイミングコントローラ処理スタック８２０のＰ２Ｐトランスミッタ８８０と、デコーダまたはパネル自己リフレッシュモジュールなど、様々なタイミングコントローラフレームプロセッサスタックに共通し得る他のモジュールなどである。タイミングコントローラフロントエンドは、特定のモバイルデバイス設計に固有のモジュールを含み得る。例えば、いくつかの実施形態において、ＴＣＯＮ ＦＥは、全体減光と、特定のラップトップモデルで実装が所望のローカルコントラスト改善を実行する電力最適化モジュール８２６、またはレイテンシを低減するため、同期動作して（例えば、同期信号３７０を介する）近くに配置されるタイミングコントローラおよびリッドコントローラハブコンポーネントを有することが便利なＡＬＲＲモジュールを含む。
図１０Ｄは、第２共通コンポーネント１０７２およびタイミングコントローラバックエンド１０７８は同じモジュール、即ち第６モジュール１０７０上に配置され、第２共通コンポーネント１０７２と、ＴＣＯＮ ＢＥ１０７８とが接続１０６６を介して通信する実施形態を示す。図１０Ｅは、リッドコントローラハブ１０８０およびタイミングコントローラ１０８２が、第７モジュール１０８６上に配置された第３共通コンポーネント１０８４上に一体化された実施形態を示す。いくつかの実施形態において、第３共通コンポーネント１０８４は集積回路パッケージで、ＬＣＨ１０８０およびＴＣＯＮ１０８２は、マルチチップパッケージに統合された個別の集積回路ダイパッケージ、または単一の集積回路ダイ上に配置された回路である。リッドコントローラハブと、タイミングコントローラとが物理的に別のモジュールに配置された実施形態（例えば図１０Ａ、図１０Ｃ）において、モジュール間の接続は、複数のワイヤ、フレキシブルプリント回路、プリント回路、またはモジュール間の通信を実現する１または複数の他のコンポーネントを含み得る。
リッドコントローラハブおよびタイミングコントローラ（例えば、第４モジュール１０５８、第２共通コンポーネント１０７２、および第３共通コンポーネント１０８４）を含む図１０Ｃから図１０Ｅにおけるモジュールおよびコンポーネントは、リッドコントローラハブと称され得る。
図１１Ａ～図１１Ｃは、様々なリッドコントローラハブ実施形態について、ヒンジワイヤ数の内訳の表を示す。ディスプレイワイヤは、ＳｏＣディスプレイモジュールからＬＣＨタイミングコントローラにビデオデータを送る。画像ワイヤは、１または複数のリッドカメラにより生成された画像センサデータをＳｏＣ画像処理モジュールに送る。タッチワイヤは、タッチセンサデータをＳｏＣ内蔵センサハブに提供する。オーディオおよびセンシングワイヤは、オーディオセンサデータをＳｏＣ音声捕捉モジュールに提供し、他のタイプのセンサデータを内蔵センサハブに提供する。追加的な「ＬＣＨ」ワイヤ組は、ＬＣＨおよびＳｏＣの間の追加的な通信を実現する。オーディオおよびセンシングワイヤにより提供されるセンサデータのタイプは、指紋センサ、血管センサなどのようなビジョンベースの入力センサにより生成された視覚的センシングデータを含み得る。いくつかの実施形態において、ビジョンセンシングデータは、指紋センサなどの専用生体センサではなく、１または複数の汎用カメラにより生成された情報に基づいて生成され得る。
表１１００は、７２本ワイヤ実施形態の、ワイヤの内訳を示す。ディスプレイワイヤは、４つのｅＤＰ ＨＢＲ２レーンと、相手先ブランド名製造（ＯＥＭ）使用のための６つの信号をサポートするための総数３５本のワイヤについて、１９本のデータワイヤと、１６本の電力ワイヤとを含む。画像ワイヤは、単一の１メガピクセルカメラにより生成された画像センサデータを搬送するための、総数１４本のワイヤについて、６本のデータワイヤと、８本の電力ワイヤを含む。タッチワイヤは、タッチコントローラにより生成されたタッチセンサデータを搬送するためのＩ２Ｃ接続をサポートするための、総数６本のワイヤについて、４本のデータワイヤと、２本の電力ワイヤを含む。オーディオおよびセンシングワイヤは、４つのマイクロホンにより生成されたオーディオセンサデータをサポートするためのＤＭＩＣおよびＩ２Ｃ接続をサポートするための総数１０本のワイヤについて、８本のデータワイヤと、２本の電力ワイヤと、さらに単一のインタラプト（ＩＮＴ）ワイヤを含む。７本の追加的なデータワイヤが、ＵＳＢおよびＱＳＰＩ接続を介したＬＣＨと、ＳｏＣとの間の通信用の追加的な情報を伝送する。
表１１１０は、３９本ワイヤ実施形態についての、ワイヤの内訳を示す。ここで、リッドコンポーネントを給電するための専用ワイヤを提供し、様々なデータ信号を省略することが、ワイヤ数削減に寄与する。ディスプレイワイヤは、２本のｅＤＰ ＨＢＲ２レーン、６つのＯＥＭ信号、およびリッドへの電力搬送をサポートする総数１８本のワイヤについて、１４本のデータワイヤと、４本の電力ワイヤを含む。４本の電力ワイヤを介して提供される電力は、リッドコントローラハブおよび他のリッドコンポーネントに電力供給する。リッド内の電力リソースは、ベースから専用電力ワイヤを介して提供される電力を受信し、リッドコンポーネントへの電力搬送を制御する。画像ワイヤ、タッチワイヤ、およびオーディオおよびセンシングワイヤは、表１１００に示す実施形態と同数のデータワイヤを含むが、リッドへ個別に電力が提供されているため、電力ワイヤを含まない。３本の追加的なデータワイヤが、ＬＣＨおよびＳｏＣの間の追加的な情報を搬送し、これは表１１００に示す実施形態の７本から削減されている。
表１１２０は、２９本ワイヤ実施形態のワイヤの内訳を示す。ここで、タッチセンサデータも搬送するように既存のＵＳＢバスを利用し、ＯＥＭ信号を搬送する６本のディスプレイデータワイヤを省略することで、さらなるワイヤ数削減が図られている。ディスプレイワイヤは、総数１２本のワイヤについて、８本のデータワイヤと、４本の電力ワイヤを含む。画像ワイヤは、２メガピクセルＲＧＢ（赤から緑から青）カメラおよび赤外線（ＩＲ）カメラの２つのカメラそれぞれについて、４本のデータワイヤを含む。オーディオおよびセンシングワイヤは、４個のマイクロホンに対してオーディオデータを搬送するための、ＳｏｕｎｄＷｉｒｅ（登録商標）接続をサポートするため、４本のワイヤを含む（表１１１０に示す実施形態の半分未満）。タッチセンサデータ送信専用のワイヤは存在せず、タッチセンサデータの通信に５本のワイヤが使用される。ＵＳＢ接続を介して、ＬＣＨおよびＳｏＣの間で追加的な情報が通信される。したがって、表１１００および１１２０は、リッドへ専用電力ワイヤ組を介して給電し、ｅＤＰチャネル数を削減し、タッチセンサデータを送るのに既存の接続（ＵＳＢ）を利用し、ＯＥＭ固有信号を省略することで、ワイヤ数削減が可能となることを示す。ビデオデータをベースからリッドに、そしてオーディオセンサデータ、タッチセンサデータ、画像センサデータ、およびセンシングデータをリッドからベースに単一のインタフェースを介してストリーミングすることで、ヒンジワイヤ数のさらなる削減が実現され得る。いくつかの実施形態において、この単一の接続は、ＰＣＩｅ接続を含み得る。
表１１００、１１１０、および１１２０にまとめたものと異なる実施形態において、ヒンジは、より多いもまたはより少ない総ワイヤ、列挙されたタイプの各タイプの信号（ディスプレイ、画像、タッチ、オーディオおよびセンシング、など）を搬送するのにより多くまたはより少ないワイヤを保持し得、表１１００、１１１０、および１１２０に示したものと異なる接続およびインタフェース技術を利用可能である。
上述のように、リッドは、リッドベゼル内に配置されたカメラとマイクロホンに加え、ディスプレイ内カメラおよびディスプレイ内マイクロホンを含み得る。図１２Ａから図１２Ｃは、リッドにおけるディスプレイ内マイクロホンおよびカメラの例示的配置を示す。図１２Ａは、ベゼル１２０４、ディスプレイ内マイクロホン１２１０、および表示領域１２０８を含むリッド１２００を示す。ベゼル１２０４は、ディスプレイ基板（不図示）上に配置された複数の画素により画定される表示領域１２０８の境界を成す。画素はベゼル１２０４の内エッジ１２０６に延在し、したがって表示領域１０２８が、水平および垂直方向の両方において、一方の内ベゼルエッジ１２０６から反対のベゼルエッジ１２０６まで延在する。ディスプレイ内マイクロホン１２１０は、より詳細に後述するように、画素ディスプレイ要素と面積を共有する。マイクロホン１２１０は、表示領域１２０８の周辺領域に配置されたマイクロホン組と、表示領域１２０８の略中心に配置されたマイクロホンとを含む。図１２Ｂは、ディスプレイ内マイクロホン１４００が、表示領域１２７０の周辺領域に配置されたマイクロホン組と、表示領域１２７０の略中心に配置されたマイクロホンと、表示領域１２７０にわたって分散された４つの追加的なマイクロホンを含む、リッド１３９０を示す。図１２Ｃは、ディスプレイ内マイクロホン１２９０のアレイが、リッド１２８０の表示領域１２９５内に配置されたリッド１２８０を示す。別の実施形態において、ディスプレイは、図１２Ａから図１２Ｃに示す例示的構成とは異なる数および配置の複数のディスプレイ内マイクロホンを有し得る。
図１２Ａから図１２Ｃはさらに、内蔵ディスプレイパネルにおける前方向きカメラの例示的配置を示す。ここで、１２１０、１４００、および１２９０は、マイクロホンではなくディスプレイ内カメラを示す。いくつかの実施形態において、内蔵ディスプレイパネルは、ディスプレイ内マイクロホンおよびカメラの組み合わせを含み得る。内蔵ディスプレイは、図１２Ａから図１２Ｃに示す例示的構成とは異なる数および配置の、ディスプレイ内カメラの配置、またはディスプレイ内カメラおよびディスプレイ内マイクロホンの組み合わせを含み得る。
図１３Ａから図１３Ｂは、例示的な発光型ディスプレイにおける画素の簡略化された断面を示す。図１３Ａは、例示的マイクロＬＥＤディスプレイにおける画素の断面の簡略化された図を示す。マイクロＬＥＤ画素１３００は、ディスプレイ基板１３１０と、赤ＬＥＤ１３２０と、緑ＬＥＤ１３２１と、青ＬＥＤ１３２２と、電極１３３０から１３３２と、透明表示媒体１３４０とを含む。ＬＥＤ１３２０から１３２２は、画素１３００に対する個別の光生成要素である。ここで、ＬＥＤ１３２０から１３２２それぞれが生成する光の量は、関連付けられた電極１３３０から１３３２により制御される。
ＬＥＤスタック（赤ＬＥＤスタック（層１３２０および１３３０）、緑ＬＥＤスタック（層１３２１および１３３１）、および青ＬＥＤスタック（層１３２２および１３３２））は、マイクロ電子製造技術を使用して、基板上に製造可能である。いくつかの実施形態において、ディスプレイ基板１３１０は、ＬＥＤスタックがその上に製造される基板と異なる基板であり、ＬＥＤスタックは製造用基板からディスプレイ基板１３１０へと移される。別の実施形態において、ＬＥＤスタックは、ディスプレイ基板１３１０上に直接構築される。両方の実施形態において、所望のサイズのディスプレイを実現するように、複数の画素が、単一のディスプレイ基板上に配置され得、複数のディスプレイ基板が組み立てられ得る。
画素１３００は、例えばディスプレイ解像度およびディスプレイサイズに依存し得る、画素幅１３４４を有する。例えば、所与のディスプレイ解像度について、ディスプレイサイズは画素幅１３４４とともに増加し得る。所与のディスプレイサイズについて、画素幅１３４４は解像度増加ともに減少し得る。画素１３００は、ディスプレイのブラックマトリクス領域の一部である、未使用画素領域１３４８を有する。いくつかのディスプレイにおいて、ＬＥＤサイズ、ディスプレイサイズ、およびディスプレイ解像度の組み合わせは、マイクロホンなどのコンポーネントの画素内での統合を収容できる程、未使用画素領域１３４８を十分に大きくできるものとなる。
図１３Ｂは、例示的ＯＬＥＤディスプレイにおける画素の断面の簡略化された図を示す。ＯＬＥＤ画素１３５０は、ディスプレイ基板１３５５と、それぞれ赤色（層１３６０）、緑色（層１３６１）、および青色（層１３６２）光を生成可能な、有機発光層１３６０から１３６２を含む。ＯＬＥＤ画素１３５０はさらに、陰極層１３６５から１３６７、電子注入層１３７０から１３７２、電子輸送層１３７５から１３７７、陽極層１３８０から１３８２、正孔注入層１３８５から１３８７、正孔輸送層１３９０から１３９２、および透明表示媒体１３９４を含む。ＯＬＥＤ画素１３５０は、陰極層１３６５から１３６７および陽極層１３８０から１３８２にわたって電圧をかけることで、光を生成する。この結果、電子および正孔が、それぞれ電子注入層１３７０から１３７２および正孔注入層１３８５から１３８７に注入される。注入された電子および正孔は、それぞれ電子輸送層１３７５から１３７７および正孔輸送層１３９０から１３９２を横切り、電子－正孔組が、それぞれ有機発光層１３６０から１３６２において再結合して、光が生成される。
マイクロＬＥＤディスプレイにおけるＬＥＤスタックと同様に、ＯＬＥＤスタック（赤ＯＬＥＤスタック（層１３６５、１３７０、１３７５、１３６０、１３９０、１３８５、１３８０）、緑ＯＬＥＤスタック（層１３６６、１３７１、１３７６、１３６１、１３９１、１３８６、１３８１）、および青ＯＬＥＤスタック（層１３６７、１３７２、１３７７、１３６２、１３９２、１３８７、１３８２）が、ディスプレイ基板１３５５とは別の基板上に製造可能である。いくつかの実施形態において、ディスプレイ基板１３５５は、ＯＬＥＤスタックが製造用基板からディスプレイ基板１３５５へと移される基板と異なる基板である。別の実施形態において、ＯＬＥＤスタックは、ディスプレイ基板１３５５上に直接構築される。両方のタイプの実施形態で、所望のディスプレイサイズを実現するように、複数のディスプレイ基板コンポーネントを組み立て可能である。透明表示媒体１３４０および１３９４は、ガラス、プラスチック、またはフィルムなど、任意の透明媒体であり得る。いくつかの実施形態において、透明表示媒体はタッチスクリーンを含み得る。
ここでも、マイクロＬＥＤ画素１３００と同様に、ＯＬＥＤ画素１３５０はディスプレイ解像度およびディスプレイサイズなどの要素に応じ得る、画素幅１３９６を有する。ＯＬＥＤ画素１３５０は未使用画素領域１３９８を有し、いくつかのディスプレイにおいて、ＯＬＥＤスタック幅、ディスプレイサイズ、およびディスプレイ解像度の組み合わせは、マイクロホンなどのコンポーネントの画素内での統合を収容できる程、未使用画素領域１３９８を十分に大きくできるものとなる。
本明細書で使用される、「ディスプレイ基板」という用語は、ディスプレイにおいて使用され、その上に画素ディスプレイ要素が製造されるまたは載置される任意の基板を示し得る。例えば、ディスプレイ基板は、画素ディスプレイ要素（例えば、画素１３００および１３５０におけるマイクロＬＥＤ／ＯＬＥＤ）とは別個に製造され、その上に画素ディスプレイ要素が取り付けられるバックプレーン、またはその上に画素ディスプレイ要素が製造される基板であり得る。
図１４Ａは、内蔵マイクロホンを有する例示的画素の組を示す。画素１４０１から１４０６はそれぞれ、赤色ディスプレイ要素１４１１、緑色ディスプレイ要素１４１２、および青色ディスプレイ要素１４１３を有し、これは例えば、マイクロＬＥＤまたはＯＬＥＤであり得る。画素１４０１から１４０６はそれぞれ、画素領域を占める。例えば、画素１４０４は、画素領域１４１５を占める。各画素において、ディスプレイ要素１４１１から１４１３を占める画素領域の量は、小型マイクロホンが含まれるのに十分のブラックマトリクス空間が残るものとなる。画素１４０１および１４０３は、それぞれディスプレイ要素１４１１から１４１３に沿って配置された前方向きマイクロホン１４２０および１４２１を収容する。後方向きマイクロホンはディスプレイ基板の裏側に配置されているため、未使用画素領域またはディスプレイ要素サイズの制約を受けず、ディスプレイ基板の裏側のどの箇所にも配置され得る。例えば、後方向きマイクロホン１４２２は、画素１４０２および１４０３に跨る。
図１４Ｂは、図１４Ａの例示的画素の、線Ａ－Ａ′に沿った断面を示す。断面１４５０は、画素１４０１から１４０３の断面を示す。緑色ディスプレイ要素１４１２と、画素１４０１から１４０３に対する対応する電極１４３０とが、ディスプレイ基板１４６０上に配置される。画素１４０１から１４０３は、マイクロホン１４２０および１４２１上に孔１４７４を有することで、音響振動がディスプレイ表面１４７５に達し、マイクロホン１４２０および１４２１に達することを可能にする透明表示媒体１４７０により覆われる。後方向きマイクロホン１４２２は、ディスプレイ基板１４６０の裏側に配置される。いくつかの実施形態において、画素１４０１から１４０３が配置されたディスプレイハウジング（不図示）は、音響振動がハウジングの裏側に達し、後方向きマイクロホン１４２２に達することができるように、通気口または他の開口を有する。
いくつかの実施形態において、本明細書に記載の技術で使用されるマイクロホンは、画素ディスプレイ要素とは独立して製造または作成され、製造用基板から移される、または他の方法でディスプレイ基板に取り付けられる個別マイクロホンであり得る。別の実施形態において、マイクロホンは、ディスプレイ基板上に直接作成できる。前方向きマイクロホンは、図１４Ｂではディスプレイ基板１４６０の表面に配置されているように示されているが、マイクロホンがディスプレイ基板上に作成された実施形態においてそれらは少なくとも部分的にディスプレイ基板内に存在し得る。
本明細書で使用される、ディスプレイ基板に対する任意のセンサ（マイクロホン、圧電素子、温感センサ）に関する「上に配置」という用語は、任意の方法でディスプレイ基板に物理的に結合されたセンサを示す（例えば、基板に直接取り付けられた個別センサ、１または複数の介在層を介して基板に取り付けられた個別センサ、ディスプレイ基板上に作成されたセンサ）。本明細書で使用される、ディスプレイ基板に対するＬＥＤに関する「上に配置」という用語は、任意の方法でディスプレイ基板に物理的に結合されたＬＥＤを同様に示す（例えば、基板に直接取り付けられた個別ＬＥＤ、１または複数の介在層を介して基板に取り付けられた個別ＬＥＤ、ディスプレイ基板上に作成されたＬＥＤ）。いくつかの実施形態において、前方向きマイクロホンは、前方向きマイクロホンの上方のディスプレイにおける孔（孔１４７４など）がユーザに呈し得る、あらゆる視覚的妨害を低減するように、ディスプレイの周辺領域に配置される。別の実施形態において、マイクロホン上の孔は、視覚的体験に妨害を呈さない、またはほとんど呈さないように、十分に小さく、または十分に数が少なくなり得る。
前方向きマイクロホン１４２０および１４２１はそれぞれ、単一の画素内に存在するように示されているが、別の実施形態において、前方向きマイクロホンは、複数の画素に跨り得る。これは、例えば、より大きなマイクロホンを、表示領域に内蔵、またはマイクロホンをより小さい画素を有するディスプレイに内蔵可能とし得る。図１４Ｃから図１４Ｄは、複数の画素にわたる例示的マイクロホンを示す。図１４Ｃは、画素１４０１から１４０６と同じサイズを有する隣接する画素１４０７および１４０８と、２つの画素におけるディスプレイ要素で使用されない画素領域を占める、前方向きマイクロホン１４２０から１４２１よりも大きな前方向きマイクロホン１４４０とを示す。図１４Ｄは、画素１４０１から１４０６よりも幅の狭い隣接する画素１４０９および１４１０と、両画素にわたる前方向きマイクロホン１４２６とを示す。より大きなマイクロホンを使用することで、音響検出向上が可能となるなど、ディスプレイの音響性能向上が可能となり得る。表示領域にわたって分散された、多くの内蔵小型マイクロホンを有するディスプレイは、ディスプレイベゼル内に配置された個別マイクロホンを１つのみ、または少数有するディスプレイを超える音響検出機能を有し得る。
いくつかの実施形態において、本明細書に記載のマイクロホンは、ＭＥＭＳ（マイクロエレクトロメカニカルシステム）マイクロホンである。いくつかの実施形態において、マイクロホンは、オーディオ処理コンポーネントに提供されるアナログオーディオ信号を生成し、別の実施形態において、マイクロホンはデジタルオーディオ信号をオーディオ処理コンポーネントに提供する。デジタルオーディオ信号を生成するマイクロホンは、ローカルＡＤコンバータを含み、パルス密度変調（ＰＤＭ）、Ｉ２Ｓ（Ｉｎｔｅｒ－ＩＣ Ｓｏｕｎｄ）、または他のデジタルオーディオ信号形式で、デジタルオーディオ出力を提供し得る。マイクロホンがデジタルオーディオ信号を生成する実施形態において、オーディオ処理コンポーネントはＡＤコンバータを含まなくてよい。いくつかの実施形態において、内蔵マイクロホンは、約３．５ｍｍ（幅）ｘ２．６５ｍｍ（長さ）ｘ０．９８ｍｍ（高さ）の寸法を有する、ＭＥＭＳ ＰＤＭマイクロホンである。
マイクロホンは、本明細書に記載の技術を使用して、個別の画素に、またはいくつかの画素にわたって内蔵され得る。したがって、多様なマイクロホン構成が、ディスプレイ内に組み込まれ得る。図１２Ａから図１２Ｃおよび図１４Ａから図１４Ｄは、いくつかのマイクロホン構成を示す。さらに多くのものが可能である。本明細書に記載のディスプレイ内蔵マイクロホンは、リッドコントローラハブのオーディオモジュール（例えば、図３および７のオーディオモジュール３６４）に送られるオーディオ信号を生成する。
本明細書に記載の、表示領域内に内蔵されたマイクロホンを有するディスプレイは、様々なオーディオ処理タスクを実行可能である。例えば、表示領域にわたって複数の前方向きマイクロホンが分散されるディスプレイは、ファーフィールド機能（例えば、遠隔音源により生成された音の検出向上）を可能にするように、マイクロホンにより生成されたオーディオ信号に、ビームフォーミングまたは空間的フィルタリングを実行可能である。オーディオ処理コンポーネントは、遠隔音源の位置を判定し、音源位置に基づいてマイクロホンサブセットを選択肢、選択されたマイクロホンサブセットからのオーディオ信号を利用して、音源からディスプレイで受信された音の検出を向上できる。いくつかの実施形態において、オーディオ処理コンポーネントが、オーディオ信号が時間的に重複するようにマイクロホンの様々な組み合わせにより生成されたオーディオ信号に加えられる遅延を決定し、各オーディオ信号に加えられた遅延に基づいて、その組み合わせにおける各マイクロホンから音源の距離を推測することで音源の位置を判定できる。決定された遅延を、マイクロホンにより提供されたオーディオ信号に加えることで、遠隔音源の方向におけるオーディオ検出が向上可能である。ディスプレイにおける、マイクロホンサブセットの総数を、ビームフォーミングまたは空間的フィルタリングに使用でき、電力削減のため、サブセットに含まれないマイクロホンをオフにできる。ディスプレイ基板の裏側にわたって分散した後方向きマイクロホンを使用しても同様にビームフォーミングを実行できる。いくつかのマイクロホンがディスプレイベゼルに内蔵されたディスプレイと比較して、マイクロホンが表示領域内に内蔵されたディスプレイは、より多くの数のマイクロホンがディスプレイ内に組み込まれ、より広い範囲に分散できることで、向上したビームフォーミングが可能である。
いくつかの実施形態において、ディスプレイは、表示領域にわたって分散した後方向きマイクロホンの組により構成される。これは、ディスプレイを組み込む、閉じることができるデバイスに、ディスプレイが閉じた状態でオーディオ検出機能を有することを可能にする。例えば、閉じたデバイスは、起動表現または用語検出、または特定のユーザ識別（話者ＩＤ）を実行可能とする後方向きマイクロホンおよびオーディオ処理コンポーネントが有効な、低電力モードになり得る。
いくつかの実施形態において、前方および後方向きマイクロホンの両方を有するディスプレイは、両タイプのマイクロホンをノイズリダクション、オーディオ検出向上（ファーフィールドオーディオ）、およびオーディオ録音向上に利用できる。例えば、ユーザがラップトップをコーヒーショップまたはカフェテリアなど、騒音の多い環境で操作している場合、ラップトップユーザの声を含む、前方向きマイクロホンにより提供されたオーディオ信号から、ノイズを低減するのに、アンビエントノイズを拾う１または複数の後方向きマイクロホンからのオーディオ信号が使用され得る。別の例において、当該ディスプレイを組み込むデバイスによるオーディオ録音は、前方および後方向きマイクロホンの両方により受信されたオーディオを含み得る。前方および後方向きマイクロホンの両方が捕捉したオーディオを含むことで、当該録音は、録音環境のより精確なオーディオ表現を提供可能となる。さらなる例において、前方および後方向きマイクロホンの両方を含むディスプレイは、３６０度ファーフィールドオーディオ受信を実現可能である。例えば、本明細書に記載のビームフォーミングまたは空間的フィルタリング手法は、向上したオーディオ検出を提供するために、前方および後方向きマイクロホンの両方により提供されたオーディオ信号に適用可能である。
表示領域内に配置された内蔵マイクロホンを有するディスプレイは、ディスプレイベゼル内に配置されたマイクロホンを有するディスプレイよりも有利である。表示領域内に配置されたマイクロホンを有するディスプレイは、より狭いベゼルを有することができる。内蔵マイクロホンを収容するのにベゼル空間が不要であるためである。ベゼル幅の低減したディスプレイは、見るものに対する見た目により優れ、所与のディスプレイハウジングサイズ内でより大きな表示領域を可能とし得る。表示領域内にマイクロホンを組み込むことで、デバイス内により多くの数のマイクロホンが含まれることが可能となる。これは、オーディオ検出およびノイズリダクション向上を可能にし得る。さらに、マイクロホンが表示領域にわたって配置されたディスプレイは、上述のように、受信したオーディオ信号のビームフォーミングまたは空間的フィルタリングの使用により、向上したオーディオ検出機能を有するディスプレイを可能とする。さらに、オーディオ信号を、表示領域に配置されたマイクロホンから、同じく表示領域に配置されたオーディオ処理コンポーネントにルーティングするコストと複雑さは、ディスプレイベゼルに配置された個別のマイクロホンを、ディスプレイの外部に配置されたオーディオ処理コンポーネントに配線するよりも軽微であり得る。
図１５Ａは、ディスプレイ内カメラとともに、例示的画素の組を示す。画素１５０１から１５０６はそれぞれ、赤色ディスプレイ要素１５１１、緑色ディスプレイ要素１５１２、および青色ディスプレイ要素１５１３を有する。いくつかの実施形態において、これらディスプレイ要素はマイクロＬＥＤまたはＯＬＥＤである。画素１５０１から１５０６はそれぞれ、画素領域を占める。例えば、画素１５０４は、画素領域１５１５を占める。各画素において、ディスプレイ要素１５１１から１５１３を占める画素領域の量は、小型カメラまたは他のセンサが含まれるのに十分のブラックマトリクス領域が残るものとなる。画素１５０１および１５０３は、それぞれディスプレイ要素１５１１から１５１３に沿って配置されたカメラ１５２０および１５２１を収容する。本明細書で使用される、「ディスプレイ内カメラ」という用語は、ディスプレイ内の１または複数の画素の画素領域内に配置されたカメラを示す。カメラ１５２０および１５２１はディスプレイ内カメラである。
図１５Ｂは、図１５Ａの例示的画素の、線Ａ－Ａ′に沿った断面を示す。断面１５５０は、画素１５０１から１５０３の断面を示す。緑色ディスプレイ要素１５１２と、画素１５０１から１５０３に対する対応する電極１５３０とが、ディスプレイ基板１５６０上に配置され、透明表示媒体１５７０の後ろに配置される。表示領域に配置されたカメラは、透明表示媒体を通過したまたは通過しない光を受信できる。例えば、カメラ１５２０上の透明表示媒体１５７０の領域は、孔が開いており、これにより、光が透明表示媒体を通過する必要なく、カメラ１５２０の画像センサに入射可能となる。カメラ１５２１上の透明表示媒体１５７０の領域は、孔が開いておらず、カメラ１５２１における画像センサに到達する光は、透明表示媒体を通過する。
いくつかの実施形態において、ディスプレイ内カメラは、画素ディスプレイ要素とは独立して製造された個別のカメラであり得、個別のカメラは製造後にディスプレイ基板に取り付けられる。別の実施形態において、画像センサなどの１または複数のカメラコンポーネントは、ディスプレイ基板上に直接作成され得る。カメラ１５２０から１５２１は、図１５Ｂではディスプレイ基板１５６０の前面１５８０に配置されているように示されているが、カメラコンポーネントがディスプレイ基板上に作成された実施形態において、カメラは少なくとも部分的にディスプレイ基板内に存在し得る。
本明細書で使用される、ディスプレイ基板に対する任意のセンサまたはコンポーネント（例えば、カメラ、温感センサ）に関する「上に配置」という用語は、任意の方法でディスプレイ基板に物理的に結合されたセンサまたはコンポーネントを示す。基板に直接取り付けられた個別のセンサまたは他のコンポーネント、１または複数の介在層を介して基板に取り付けられた個別のセンサまたはコンポーネントディスプレイ基板上に作成されたセンサまたはコンポーネントなどである。本明細書で使用される、ディスプレイ基板に対するＬＥＤに関する「上に配置」という用語は同様に、任意の方法でディスプレイ基板に物理的に結合されたＬＥＤを示す。基板に直接取り付けられた個別ＬＥＤ、１または複数の介在層を介して基板に取り付けられた個別ＬＥＤ、ディスプレイ基板上に作成されたＬＥＤなどである。
図１５Ａおよび図１５Ｂにおいて、カメラ１５２０および１５２１は、それぞれ、単一の画素内に存在するように示されているが、別の実施形態において、ディスプレイ内カメラは、複数の画素に跨り得る。これは、例えば、より大きなカメラを、表示領域に統合、またはカメラをより小さいブラックマトリクス領域を有する画素を持つディスプレイへ内蔵可能とし得る。図１５Ｃから図１５Ｄは、複数の画素にわたる例示的カメラを示す。図１５Ｃは、画素１５０１から１５０６と同じサイズを有する隣接する画素１５０７および１５０８と、カメラ１５２０から１５２１より大きく、画素１５０７から１５０８内の画素領域の部分を占めるカメラ１５４０とを示す。図１５Ｄは、画素１５０１から１５０６よりも幅の狭い隣接する画素１５０９および１５１０と、両画素にわたるカメラ１５２６とを示す。より大きなカメラを使用することで、個別のカメラで、より高解像度の画像およびビデオが捕捉可能となるなど、画像またはビデオ捕捉の向上が可能となり得る。
カメラは、個別の画素内に、またはいくつかの画素にわたって内蔵可能であるため、多様なカメラ構成がディスプレイ内に組み込み可能である。図１２Ａから図１２Ｃ、および図１５Ａから図１５Ｄは、ほんの数例のカメラ構成を示すものであり、さらに多くのものが可能である。いくつかの実施形態において、何千ものカメラが表示領域に配置され得る。表示領域にわたって分散された複数のディスプレイ内カメラを有するディスプレイは、ベゼル内に配置されたカメラを１つのみまたはいくつか有するディスプレイよりも優れた画像およびビデオ捕捉機能を有し得る。
本明細書に記載のディスプレイ内カメラは、図３および６のビジョン／撮像モジュール３６３などの、リッドコントローラハブにおけるビジョン／撮像モジュールに送信される画像センサデータを生成する。画像センサデータは、カメラから他のコンポーネントに出力されるデータである。画像センサデータは、画像表すデータである画像データ、またはビデオを表すデータであるビデオデータであり得る。画像データまたはビデオデータは、圧縮または非圧縮形式であり得る。画像センサデータは、他のコンポーネント（例えば、ビジョン／撮像モジュール３６３またはその任意のコンポーネント）により、画像データまたはビデオデータが生成されるデータでもあり得る。
カメラからリッドコントローラハブに画像センサデータを提供する相互接続が、ディスプレイ基板内に配置され得る。相互接続は、ディスプレイ基板上に作成される、ディスプレイ基板に取り付けられるか、または他の任意の方法でディスプレイ基板に物理的に結合され得る。いくつかの実施形態において、ディスプレイの製造は、画素が取り付けられる個別のディスプレイ基板部分を製造することと、所望のディスプレイサイズを実現するようにディスプレイ基板部分を組み付けることとを含む。
図１６は、内蔵ディスプレイ内に組み込み可能な例示的カメラを示す。カメラ１６００は、ディスプレイ基板１６１０上に配置され、画像センサ１６２０と、絞り１６３０と、マイクロレンズアセンブリ１６４０とを含む。画像センサ１６２０は、ＣＭＯＳ光検出器または他の任意のタイプの光検出器であり得る。画像センサ１６２０は、複数のカメラ画素と、カメラ内で光を捕捉するために使用される個別の要素とを含み、カメラ内の画素数は、カメラの解像度の尺度として使用され得る（例えば、１メガピクセル、１２メガピクセル、２０メガピクセル）。絞り１６３０は開口幅１６３５を有する。マイクロレンズアセンブリ１６４０は、焦点に光を合焦する、１または複数のマイクロレンズ１６５０を含む。これは、ガラス、プラスチック、または他の透明材料製であり得る。マイクロレンズアセンブリ１６４０は典型的に、様々なタイプ収差（色収差など）および歪曲に対応するため、複数のマイクロレンズを含む。
カメラ１６５５はさらにディスプレイ基板１６１０上に配置され、画像センサ１６６０と、絞り１６７０と、メタレンズ１６８０とを含む。カメラ１６５５は、合焦要素として、マイクロレンズアセンブリの代わりにメタレンズを使用する以外、カメラ１６００と同様である。一般的に、メタレンズは、異なる波長の光を、同じ焦点に達するように操作するように作用する、物理的な構造をその表面に含む、平面レンズである。メタレンズは、単一の既存マイクロレンズで発生し得るような色収差を生成しない。メタレンズは、ガラス、プラスチックまたは他のタイプマイクロレンズよりもかなり薄くなり得、ＭＥＭＳ（マイクロエレクトロメカニカルシステム）またはＮＥＭＳ（ナノエレクトロメカニカルシステム）手法を使用して作成可能である。このように、カメラ１６５５などの、単一の薄いメタレンズを含むカメラは、カメラ１６００などの、複数のマイクロレンズを含むマイクロレンズアセンブリを含むカメラより薄くなり得る。絞り１６７０は、開口幅１６７５を有する。
マイクロレンズアセンブリ１６４０から画像センサ１６２０へ、およびメタレンズ１６８０から画像センサ１６６０への距離はそれぞれカメラ１６００および１６５５の焦点距離を定義する。絞り開口幅（１６３５、１６７５）に対する焦点距離の比は、画像センサの表面に達する光の量の尺度である、カメラのＦストップを定義する。Ｆストップは、さらにカメラの被写界深度の尺度となる。Ｆストップの小さいカメラは被写界深度がより浅くなり、Ｆストップの大きいカメラは被写界深度がより深くなる。被写界深度は、捕捉された画像に大きな影響をもたらし得る。被写界深度の浅い画像では、写真の被写体のみに焦点が合っていることが多い。一方、被写界深度の深い画像では、典型的にはほとんどのオブジェクトに焦点が合っている。
いくつかの実施形態において、カメラ１６００および１６５５は、固定焦点カメラである。即ち、それらの焦点距離は調整不能である。別の実施形態において、カメラ１６００および１６５５の焦点距離は、マイクロレンズアセンブリ１６４０またはメタレンズ１６８０を、関連付けられた画像センサに対して近づくまたは遠ざかるかいずれかのように移動することで調整され得る。いくつかの実施形態において、マイクロレンズアセンブリ１６４０またはメタレンズ１６８０の、それらのそれぞれの画像センサに対する距離は、ＭＥＭＳベースのアクチュエータ、または他の手法により調整され得る。
ディスプレイ内カメラは、様々な密度で、表示領域にわたって分散し得る。例えば、カメラは、１００画素間隔、１０画素間隔、隣接する画素、または他の密度で配置され得る。所定レベルのカメラ密度（ディスプレイの領域の単位面積あたりにいくつのカメラがあるか）が、特定の使用状況では望ましくなり得る。例えば、カメラは画像およびビデオ捕捉に使用される場合、タッチ検出またはタッチ位置判定にカメラが使用される場合よりも、低カメラ密度で十分であり得る。
いくつかの実施形態において、複数の個別のカメラにより捕捉された画像に対応する画像データが、合成画像生成用に利用され得る。合成画像は、個別のカメラが捕捉可能であるどの画像よりも高解像度を有し得る。例えば、システムは、いくつかの３メガピクセルカメラにより捕捉された画像に対応する画像データを利用して、６メガピクセル画像を生成できる。いくつかの実施形態において、個別のディスプレイ内カメラにより捕捉された画像またはビデオから生成された合成画像またはビデオは、ギガピクセル範囲内など、超高解像度を有し得る。合成画像およびビデオは、超高解像度の自撮り画像またはビデオ、超高解像度セキュリティモニタ、または他の用途に使用され得る。
複数の個別のカメラにより捕捉された画像に対応する画像データからより高解像度画像を生成することで、個別の画素により少ないメガピクセル数の個別カメラが配置可能となり得る。これにより、カメラが、所定のスクリーンサイズのより高解像度ディスプレイに、または所定の解像度のより小さいディスプレイに（ディスプレイサイズの単位面積当たりの画素がより多く、したがって画素レベルで内蔵できるカメラに対して利用可能な自由画素領域がより少ない）内蔵可能になり得る。合成画像は、画像捕捉と共にリアルタイムで生成され得る。この場合、合成画像用の画像データのみが格納される。または、個別のカメラにより捕捉された画像に対する画像データが格納され得、合成画像は後処理時に生成され得る。同様に、複数の個別のカメラにより生成されたビデオに対応するビデオデータを使用して、合成ビデオが生成され得る。ここで、合成ビデオはリアルタイムまたは後処理時に生成される。
いくつかの実施形態において、ディスプレイ表面にタッチするオブジェクト（例えば、指、スタイラス）を検出し、ディスプレイのどこでタッチが生じたかを判定するために、タッチスクリーンに代えて、ディスプレイ内カメラが使用され得る。一部の既存タッチスクリーン技術（例えば、抵抗ベース、容量ベース）は、透明表示媒体の上に複数の層が追加されることでディスプレイの厚みが増し得るが、他のものセル内またはセル上タッチ技術を使用して、ディスプレイの厚さを低減する。本明細書で使用される、「透明表示媒体」という用語は、タッチスクリーン層を含む。タッチスクリーン層が、透明表示媒体上に配置される、または透明表示媒体がタッチスクリーン層内で使用されるかは問わない。一部の既存タッチスクリーン技術は、絶縁層により分離されながら、互いに積層された透明導電性表面を採用する。これら追加的な層は、ディスプレイに厚みを増し得、ディスプレイの透光性を低減し得る。別個のタッチスクリーン層の使用を省略することで、ディスプレイ費用が低減され得る。タッチスクリーン内に使用される透明導電体は、一般的に、高価であり得る酸化インジウムスズ製であるためである。
例えば、ディスプレイにオブジェクトがタッチするまたは近接することにより生じる、可視または赤外線光の遮蔽を検出することで、ディスプレイ内カメラを使用したタッチ検出およびタッチ位置判定が実行可能である。ディスプレイ内に配置、または他の方法でディスプレイに通信可能に結合され得るタッチ検出モジュールは、ディスプレイ内カメラにより捕捉された画像を受信し、画像データを処理することで、ディスプレイ表面への１または複数のタッチを検出し、およびタッチ位置を判定し得る。タッチ検出は、例えば、画像センサデータが、画像センサが受信した光が、閾値未満まで減少したことを示すかを判定することで実行され得る。別の例において、タッチ検出は、画像センサデータが、カメラが受信した光が、決定されたパーセンテージまたは量減少したことを示すかを判定することで実行され得る。さらに別の例において、タッチ検出は、画像センサデータが、カメラが受信した光が、所定の時間内に、所定のパーセンテージまたは量減少したことを示すかを判定することで実行され得る。
タッチ位置判定は、例えばその関連付けられた画像センサデータがディスプレイでタッチが検出されたことを示すカメラの位置をタッチ位置として使用することで実行可能である（例えば、関連付けられた画像センサデータが、カメラの画像センサで受信した光が、閾値未満まで減少した、所定のパーセンテージまたは量減少した、または所定の時間内に所定のパーセンテージまたは量減少したことを示す）。いくつかの実施形態において、タッチ位置は、最低レベルの光が受信された、画像センサ内の位置に基づく。複数の近接したカメラに関連付けられた画像センサデータがタッチを示すと、複数の近接したカメラの重心位置を判定することで、タッチ位置が判定され得る。
いくつかの実施形態において、タッチ検出およびタッチ位置判定用にディスプレイ内カメラを利用するタッチ式ディスプレイは、タッチ式ではない、ディスプレイ内カメラを含むディスプレイよりも、高いカメラ密度を有し得る。ただし、ディスプレイ内カメラを使用することで、タッチ式となっているディスプレイは、全画素にカメラが配置される必要はない。タッチ検出モジュールは、タッチ位置を判定するために、１または複数のカメラからの画像センサデータを利用し得る。ディスプレイ内カメラの密度は、使用されるタッチ検出アルゴリズムにも一部依存し得る。
タッチの存在を示す情報およびタッチ位置情報が、オペレーティングシステム、アプリケーション、もしくはディスプレイを含む、またはディスプレイに通信可能に結合されたシステムの他の任意のソフトウェアもしくはハードウェアコンポーネントに提供され得る。複数のタッチも検出され得る。いくつかの実施形態において、ユーザがディスプレイ内カメラは、現代のタッチ式デバイスに期待するようなタッチディスプレイ体験を実現するのに十分な頻度で、更新された画像センサデータをタッチ検出モジュールに提供し得る。ディスプレイのタッチ検出機能は、本明細書に記載の他の目的にディスプレイ内カメラが利用されている際に、一時的に無効とされ得る。
いくつかの実施形態において、システムがユーザ認証のために、ユーザにディスプレイをその指、親指、または掌でタッチすることを促した状況において、システムがタッチを検出すると、システムは、タッチが検出された箇所においてまたはその近傍に配置された１または複数の画素ディスプレイ要素に発光させ得る。これにより、ユーザの指、親指、または掌がタッチした領域が照明可能となる。この照明により、システムまたはデバイスにとって紋の特徴がより識別可能、またはより容易に抽出可能である、指紋、拇印、または掌紋の捕捉が可能となり得る。
ディスプレイ内カメラを使用することで、既存の容量性タッチスクリーン技術で検出可能なものよりも、より多様なオブジェクトにより、ディスプレイ表面に対するタッチが検出可能となる。容量性タッチスクリーンは、容量性タッチスクリーンにより生成された静電場の局地的変化を検出することで、ディスプレイに対するタッチを検出する。したがって、容量性タッチスクリーンは指または金属製スタイラスなどの導電性オブジェクトが、ディスプレイ表面にタッチまたは近接していることを検出できる。ディスプレイ内カメラは、タッチの検出にディスプレイ表面での容量の変化を感知するのではなく、光の遮蔽に依存するため、タッチ検出用のディスプレイ内カメラベースの手法は、パッシブスタイラスを含む多様なオブジェクトのタッチを検出可能である。タッチするオブジェクトが導電性である、または他のディスプレイの静電場の変化を生成可能でなければならないという限定はない。
いくつかの実施形態において、ユーザがシステムまたはデバイスとインタフェースするために使用可能なジェスチャーを検出するため、ディスプレイ内カメラを使用可能である。ディスプレイ内カメラを組み込むディスプレイは、ディスプレイ表面上の１または複数の指または他のオブジェクトによる２次元（２Ｄ）ジェスチャー（例えば、スワイプ、タップ、ピンチ、アンピンチ）、またはディスプレイの前の空間容積内で行われる、スタイラス、指、手、または他のオブジェクトによる３次元（３Ｄ）ジェスチャーの認識を可能にできる。本明細書で使用される場合、「３Ｄジェスチャー」または「空中ジェスチャー」という表現は、少なくとも部分的に、ディスプレイ表面を触ることなく、ディスプレイの前の空間容積内で行われるジェスチャーを示す。
オペレーティングシステムまたはシステム上で実行されるアプリケーションが実行する動作に、ツイストジェスチャーがマッピングされ得る。例えば、ツイストジェスチャーは、ＣＡＤ（コンピュータ支援設計）アプリケーションにおけるオブジェクト操作を生じ得る。例えば、ツイストジェスチャーは、ＣＡＤアプリケーションにおける選択されたオブジェクトの変形を生じ得る。即ち、アプリケーションが、オブジェクトの一端を固定したまま、オブジェクトの反対端を、判定された、ユーザが物理的なオブジェクトをツイストした量に対応する量だけ回転させる。例えば、ユーザがスタイラスをディスプレイの前でひねったシステムが検出したことに応じて、ＣＡＤプログラムにおける３Ｄシリンダが選択され、その長手軸を中心にひねられ得る。その結果としての変形したシリンダは、ひねられた１つのリコリス菓子のように見え得る。ディスプレイの前の物理的なオブジェクトの回転の検出に応じて、選択されたオブジェクトに行われる回転、歪み、または他の操作の量は、物理的なオブジェクトの検出された回転の量と１対１の対応である必要はない。例えば、スタイラスが３６０度回転されたことが検出されたことに応じて、選択されたオブジェクトは１８０度（検出された回転量の半分）、７２０度（検出された回転量の２倍）、または物理的なオブジェクトの検出された回転量に比例する他の任意の量、回転され得る。
ディスプレイ内カメラを有するディスプレイを組み込む、またはディスプレイに通信可能に結合されたシステムは、ディスプレイベゼル内に配置されたほんの少数のカメラによって捕捉できるものよりも、ディスプレイ前のより大きな空間容積にわたる３Ｄジェスチャーを捕捉可能である。これはディスプレイにわたって配置されることが可能なディスプレイ内カメラは、少数のベゼルカメラの総視野領域よりも、広い総視野領域を有するためである。ディスプレイが、ディスプレイベゼル内に配置された１または複数のカメラのみを有する場合、これらカメラが、ベゼルから離れたところ（例えば、ディスプレイの中心領域）で行われた３Ｄジェスチャー、またはディスプレイ表面近傍で行われた３Ｄジェスチャーを捕捉できる可能性は低い。表示領域内に配置された複数のカメラはさらに、３Ｄジェスチャーの奥行き情報を捕捉するのに使用可能である。
表示領域の前の３Ｄジェスチャーを認識する能力は、抵抗性または容量性タッチスクリーン、あるいはベゼルカメラを含むディスプレイでは不可能な、ジェスチャーの検出および認識を可能とする。例えば、ディスプレイ内カメラを組み込むシステムは、ディスプレイへのタッチとともに開始または終了する３Ｄジェスチャーを検出可能である。例えば、「持ち上げて動かして置く」ジェスチャーは、ユーザがディスプレイ表面上でピンチジェスチャーを実行することで、ピンチする指が合わさる位置（ピンチ位置）にまたはその近傍に示されたオブジェクトを選択することと、そのピンチした指をディスプレイ表面から離れるように動かすことでオブジェクトを持ち上げることと、そのピンチした指をピンチ位置から目的位置への経路に沿って動かすことでオブジェクト動かすことと、ピンチした指がディスプレイ表面にタッチするまで、ピンチした指をディスプレイ表面に向けて戻すように動かして、目的位置でその指をアンピンチすることでオブジェクトを置くこととを含み得る。
「持ち上げて動かして置く」ジェスチャー中、選択されたオブジェクトは、ジェスチャーのピンチ部分の検出に応じて、非選択外見から、選択外見に変化し得、選択されたオブジェクトは、ジェスチャーの移動部分の検出に応じて、ピンチ位置から目的位置までディスプレイを横切って動き得、選択されたオブジェクトは、ジェスチャーの置く部分の検出に応じて、非選択外見に戻るように変化し得る。当該ジェスチャーは、ディスプレイ上にレンダリングされた３次元環境におけるオブジェクトの操作に使用され得る。当該３次元環境は、ＣＡＤアプリケーションまたはゲームの一部であり得る。このジェスチャーの３次元的性質は、例えば選択されたオブジェクトが、ピンチ位置と目的位置との間で移動中に、選択されたオブジェクトの移動経路に沿って配置された、環境内の他のオブジェクトとインタラクトしないことで表され得る。即ち、選択されたオブジェクトは、３Ｄ「持ち上げて動かして置く」ジェスチャーを介して、持ち上げられて、アプリケーション内の他のオブジェクト上に浮かせられる。
このジェスチャーのバリエーションも認識され得る。例えば、「持ち上げて落とす」ジェスチャーは、ユーザが、ピンチジェスチャーによりオブジェクトを掴んだ後に、そのピンチした指をディスプレイ表面から離すように動かすことでオブジェクトを持ち上げることと、その後その指を、ディスプレイの上方に位置した状態でアンピンチすることで、オブジェクトを「落とす」こととを含み得る。アプリケーションは、持ち上げたオブジェクトが落とされたことを検出したことに対する反応を生成し得る。反応の大きさは、オブジェクトが落とされた「高さ」に対応し得る。高さは、ピンチした指がアンピンチされた時にそのピンチした指が位置していると判定された、ディスプレイ表面からの距離に対応する。いくつかの実施形態において、アプリケーションの、オブジェクトが落とされたことに対する反応は、落とされたオブジェクトの重さなどの、１または複数の属性に対応し得る。
例えば、ゲーミングアプリケーションにおいて、システムは、ディスプレイ上で巨石が示された位置でピンチジェスチャーを検出することで、ユーザが巨石を持ち上げたことを検出し、ユーザが、ディスプレイ表面から或る距離、そのピンチした指を移動させたことを検出し、ユーザが、ディスプレイ表面から或る距離離れて、ピンチした指をアンピンチしたことを検出し得る。アプリケーションは、ピンチした指がディスプレイ画面から或る距離離れてアンピンチされたことを、巨石が或る高さから落ちることと解釈し得る。ゲーミングアプリケーションは、ゲーミング環境を、巨石が落とされた「高さ」であって、ピンチした指がアンピンチされたとシステムが判定した、ディスプレイ表面からの距離に対応する高さと、巨石の重量とに対応する程度に変更し得る。例えば、巨石が低い高さから落とされた場合、環境には小さなクレーターが形成され得、アプリケーションは巨石が地面に着地する際に、小さくドサッというノイズを生成し得る。巨石がより高い高さから落とされた場合、より大きなクレーターが形成され得、近くの木々が倒され得、アプリケーションは巨石が地面に着地する際に、大きな衝突音を生成し得る。別の実施形態において、反応の大きさを決定する際、アプリケーションは、巨石の重量など、その属性を考慮し得る。より重い巨石は、落下時により大きな変更をゲーム環境にもたらす。
いくつかの実施形態において、ディスプレイ表面からの、アンピンチされたまたはピンチされた指の距離の測定値は、ディスプレイ内カメラにより生成された画像センサデータから抽出された指先のサイズにより判定され得る。抽出された指先のサイズが大きいほど、指先がディスプレイ表面に近いことを示す。アンピンチされたまたはピンチされた指の判定された距離は、規格化された測定システム（例えば、メートル法、帝国単位）に応じて判定されなくてよい。ディスプレイ表面からより離れて配置された指が、ディスプレイ表面のより近くに配置された指よりも、ディスプレイ表面からより長い距離となるような任意の測定基準であり得る。
図１７は、リッドコントローラハブを含むモバイルコンピューティングデバイスの例示的ソフトウェア／ファームウェア環境を示すブロック図を示す。環境１７００は、デバイスのベース１７０２内に配置されたコンポーネントと通信するリッド１７０１内に配置されたリッドコントローラハブ１７０５およびタイミングコントローラ１７０６を含む。ＬＣＨ１７０５は、セキュリティモジュール１７１０と、ホストモジュール１７２０と、オーディオモジュール１７３０と、ビジョン／撮像モジュール１７４０とを含む。セキュリティモジュール１７１０は、ブートモジュール１７１１と、ファームウェア更新モジュール１７１２と、フラッシュファイルシステムモジュール１７１３と、ＧＰＩＯプライバシーモジュール１７１４と、ＣＳＩプライバシーモジュール１７１５とを含む。いくつかの実施形態において、モジュール１７１１から１７１５の内の任意のものは、図２から４に示された、または他の本明細書に開示のセキュリティモジュール１７１０コンポーネントのうちの１または複数上で動作する、またはそれに実装され得る。ブートモジュール１７１１は、コンピューティングデバイスが起動されたことに応じて、セキュリティモジュールを動作状態にする。いくつかの実施形態において、ブートモジュール１７１１は、コンピューティングデバイスが起動されたことに応じて、ＬＣＨ１７０５の追加的なコンポーネントを動作状態にする。ファームウェア更新モジュール１７１２は、セキュリティモジュール１７１０により使用されるファームウェアを更新する。これにより、モジュール１７１１および１７１３から１７１５の更新が可能となる。フラッシュファイルシステムモジュール１７１３は、ファームウェア、およびセキュリティモジュール１７１０によりアクセス可能なフラッシュメモリに格納された他のファイルに対するファイルシステムを実装する。ＧＰＩＯおよびＣＳＩプライバシーモジュール１７１４および１７１５は、リッド内に配置されたカメラにより生成された画像センサデータに対する、ＬＣＨコンポーネントによるアクセシビリティを制御する。
ホストモジュール１７２０は、デバッグモジュール１７２１と、テレメトリモジュール１７２２と、ファームウェア更新モジュール１７２３と、ブートモジュール１７２４と、仮想Ｉ２Ｃモジュール１７２５と、仮想ＧＰＩＯ１７２６と、タッチモジュール１７２７とを含む。いくつかの実施形態において、モジュール１７２１から１７２７の内のいずれかは、図２、３、および５に示された、または他の本明細書に開示のホストモジュールコンポーネントのうちの１または複数上で動作するか、またはそれに実装され得る。ブートモジュール１７２４は、コンピューティングデバイスが起動されたことに応じて、ホストモジュール１７２０を動作状態にする。いくつかの実施形態において、ブートモジュール１７２４は、コンピューティングデバイスが起動されたことに応じて、ＬＣＨ１７０５の追加的なコンポーネントを動作状態にする。ファームウェア更新モジュール１７２３は、ホストモジュール１７２０により使用されるファームウェアを更新する。これにより、モジュール１７２１から１７２２および１７３９から１７２７の更新が可能となる。デバッグモジュール１７２１は、ホストモジュール１７２０に対するデバッグ機能を提供する。いくつかの実施形態においてデバッグモジュール１７２１は、ＪＴＡＧポートを利用して、デバッグ情報をベース１７０２に提供する。いくつかの実施形態において。テレメトリモジュール１７２２は、ＬＣＨ性能の監視に使用可能なテレメトリ情報を生成する。いくつかの実施形態において、テレメトリモジュール１７２２は、ＬＣＨ内に配置された電力管理ユニット（ＰＭＵ）および／またはクロックコントローラユニット（ＣＣＵ）により生成された情報を提供し得る。仮想Ｉ２Ｃモジュール１７２５および仮想 ＧＰＩＯ１７２６は、ホストプロセッサ１７６０に、ＬＣＨ上のＧＰＩＯおよびＩ２Ｃポートを、ＳｏＣの一部かのように遠隔制御可能にする。ＬＣＨ ＧＰＩＯおよびＩ２Ｃポートの制御を、低ピンＵＳＢ接続を介してホストプロセッサに提供することで、デバイスヒンジ内のワイヤ数が低減可能になる。タッチモジュール１７２７は、タッチセンサコントローラによりホストモジュール１７２０に提供されるタッチセンサデータを処理し、ディスプレイのタッチコントローラを駆動する。タッチモジュール１７２７は、例えば、ディスプレイに対する１または複数のタッチの、ディスプレイ上での位置と、ジェスチャー情報（例えば、ジェスチャーのタイプ、ディスプレイ上のジェスチャーの位置を示す情報）を判定し得る。タッチモジュール１７２７により判定された情報と、ホストモジュール１７２０により生成された他の情報は、ＵＳＢ接続１７２８を介してベース１７０２に通信できる。
オーディオモジュール１７３０は、音声起動モジュール１７３１と、超音波モジュール１７３２と、ノイズリダクションモジュール１７３３と、ファーフィールド前処理モジュール１７３４と、アコースティックコンテキストアウェアネスモジュール１７３５と、トピック検出モジュール１７３６と、オーディオコア１７３７とを含む。いくつかの実施形態において、モジュール１７３１から１７３７の内のいずれかは、図２、図３、および図６に示された、または他の本明細書に開示のオーディオモジュールコンポーネントのうちの１または複数上で動作する、またはそれに実装され得る。音声起動モジュール１７３１は、上述の音声起動機能を実装し、いくつかの実施形態において、上述の話者ＩＤ機能もさらに実装可能である。超音波モジュール１７３２は、オーディオセンサデータ内の近超音波／超音波周波数における情報を検出することで、低電力低周波数超音波チャネルをサポート可能である。いくつかの実施形態において、超音波モジュール１７３２は、情報を他のコンピューティングデバイスに超音波通信を介して送信するように、コンピューティングデバイス内に配置された１または複数のスピーカを駆動可能である。ノイズリダクションモジュール１７３３は、オーディオセンサデータ上で１または複数のノイズリダクションアルゴリズムを実装可能である。ファーフィールド前処理モジュール１７３４は、遠隔音源から受信したオーディオ信号のエンハンスメントのため、オーディオセンサデータに前処理を実行する。アコースティックコンテキストアウェアネスモジュール１７３５は、判定されたオーディオ信号のオーディオコンテキストに基づいて、オーディオセンサデータを処理するアルゴリズムまたはモデルを実装できる（例えば、不要な背景ノイズを検出し、オーディオ信号から不要な背景ノイズをフィルタリングする）。
トピック検出モジュール１７３６は、オーディオセンサデータ内に検出された音声内の、１または複数のトピックを判定する。いくつかの実施形態において、トピック検出モジュール１７３６は自然言語処理アルゴリズムを含む。いくつかの実施形態において、トピック検出モジュール１７３６は、ユーザによる音声質問の前に話題となっていたトピックを判定し、追跡されたトピックに基づいてユーザに応答を提供し得る。例えば、トピック検出モジュール１７３６は、質問の前の期間（例えば、過去３０秒、過去１分、過去５分）に話題となっていた人、場所、または他のトピックを判定し、トピックに基づいて質問に回答し得る。例えば、ユーザが別の人とハワイについて話していた場合、トピック検出モジュール１７３６は、会話のトピックが「ハワイ」であると判定できる。その後、ユーザがコンピューティングデバイスに「そこの天気は？」と聞くと、コンピューティングデバイスは、ハワイの天気を提供する応答を提供できる。オーディオコア１７３７は、リアルタイムオペレーティングシステムであり、インフラである。その上に、オーディオモジュール１７３０に実装されたオーディオ処理アルゴリズムが構築される。オーディオモジュール１７３０は、ＳｏｕｎｄＷｉｒｅ（登録商標）接続１７３８を介してベース１７０２内の音声捕捉モジュール１７８０と通信する。
ビジョン／撮像モジュール１７４０は、ビジョンモジュール１７４１と、撮像モジュール１７４２と、ビジョンコア１７４３と、カメラドライバ１７４４とを含む。いくつかの実施形態において、コンポーネント１７４１から１７４４の内のいずれかは、図２、３、および７に示された、または他の本明細書に開示のビジョン／撮像モジュールコンポーネントのうちの１または複数上で動作する、またはそれに実装され得る。ビジョン／撮像モジュール１７４０は、Ｉ３Ｃ接続１７４５を介してベース１７０２内の内蔵センサハブ１７９０と通信する。ビジョンモジュール１７４１および撮像モジュール１７４２は、本明細書に開示のアルゴリズムの１または複数を、コンピューティングデバイスの１または複数のカメラにより提供された画像センサデータ上で動作するように実装できる。例えば、ビジョン／撮像モジュールは本明細書に記載の顔起動、フェースＩＤ、頭部の向き検出、顔ランドマーク追跡、３Ｄメッシュ生成機能の内の１または複数を、別個に、または協働するように実装可能である。ビジョンコア１７４３はリアルタイムオペレーティングシステムであり、インフラである。その上に、ビジョン／撮像モジュール１７４０に実装されたビデオおよび画像処理アルゴリズムが構築される。ビジョン／撮像モジュール１７４０は、カメラドライバ１７４４を介して１または複数のリッドカメラとインタラクトする。状況によっては、カメラドライバ１７４４はマイクロドライバであり得る。
ベース内のコンポーネントは、ホストプロセッサ１７６０と、音声捕捉モジュール１７８０と、内蔵センサハブ１７９０とを含む。いくつかの実施形態において、これら３つのコンポーネントはＳｏＣ上に一体化される。音声捕捉モジュール１７８０は、ＬＣＨオーディオコーデックドライバ１７８４を含む。内蔵センサハブ１７９０は、インテル（登録商標）内蔵センサハブ、または１または複数のセンサからのセンサデータを処理可能な他の任意のセンサハブであり得る。内蔵センサハブ１７９０は、いくつかの実施形態において、マイクロドライバであり得る、ＬＣＨドライバ１７９８を介して、ＬＣＨ１７０５と通信する。内蔵センサハブ１７９０はさらに、生体存在センサ１７９４を含む。生体存在センサ１７９４は、ユーザの存在を判定するために、コンピューティングデバイスにより使用されるセンサデータを生成可能な、ベース１７０２内に配置されたセンサを含み得る。生体存在センサ１７９４は、例えば圧力センサ、指紋センサ、赤外線センサ、または皮膚電気反射センサを含み得る。いくつかの実施形態において、内蔵センサハブ１７９０は、ＬＣＨから受信した画像センサデータ、および／またはリッド内に配置された生体存在センサ（例えばリッドベースの指紋センサ、リッドベースの赤外線センサ）により生成されたセンサデータに基づいて、ユーザの存在を判定し得る。
ホストプロセッサ１７６０は、タッチドライバ１７６２と、ＬＣＨドライバ１７６３とをホストモジュール１７２０に接続するＵＳＢルートコンプレックス１７６１を含む。ホストモジュール１７２０は、画像またはビデオ内の１または複数のユーザの存在、顔ランドマークデータ、３Ｄメッシュデータなどのような、画像センサデータから判定されたデータを、ＵＳＢルートコンプレックス１７６１へのＵＳＢ接続１７２８を介してホストプロセッサ１７６０上の１または複数のアプリケーション１７６６に通信する。データは、１または複数のアプリケーション１７６６に到達するように、ＬＣＨドライバ１７６３、カメラセンサドライバ１７６４、およびインテリジェントコラボレーションモジュール１７６５を通じて、ＵＳＢルートコンプレックス１７６１から送られる。
ホストプロセッサ１７６０は、プラットフォームレベルでの電力管理を可能とする、プラットフォームフレームワークモジュール１７６８をさらに含む。例えば、プラットフォームフレームワークモジュール１７６８は、ホストプロセッサ１７６０、ＳｏＣコンポーネント（ＧＰＵ、Ｉ／Ｏコントローラ、など）、ＬＣＨ、ディスプレイなどのような、個別のプラットフォームレベルリソースへの電力の管理を実現する。プラットフォームフレームワークモジュール１７６８はさらに、様々なコンポーネントの動作周波数を制御するためのクロックレート、冷却性能を上げるためのファン設定など、他のシステムレベル設定の管理を実現する。プラットフォームフレームワークモジュール１７６８は、オーディオ設定の制御を可能とするようにＬＣＨオーディオスタック１７６７と通信し、グラフィック設定の制御を可能とするようにグラフィックドライバ１７７０と通信する。グラフィックドライバ１７７０は、ｅＤＰ接続１７２９を介して、ビデオデータをタイミングコントローラ１７０６に提供する。グラフィックコントローラ１７７２は、コンピューティングデバイスのグラフィック設定に対するユーザ制御を実現する。例えば、ユーザは、性能、画像品質、またはバッテリ寿命最適化のために、グラフィック設定を構成可能である。いくつかの実施形態において、グラフィックコントローラはインテル（登録商標）グラフィック制御パネルアプリケーションインスタンスである。
低電力常時オンディスプレイ
いくつかの実施形態において、モバイルコンピューティングデバイスは、ユーザに視認可能で、デバイスが閉じて低電力モードにある際に、コンテンツを表示する「常時オン」部分を含む折りたたみ可能ディスプレイを含む。デバイスが低電力モードにある際の電力消費を低減するため、ディスプレイの、デバイスが閉じているときにユーザに視認不能な部分は無効となっている。これは、ディスプレイパイプラインの１または複数のコンポーネント（フレームバッファ、画像処理モジュール、行ドライバ、および列ドライバなど）を、低電力状態にすることで実現され得る。デバイスが閉じているときに、ディスプレイの常時オン部分に表示されるコンテンツは、ＳｏＣディスプレイモジュールにより提供される新たな画像で定期的に更新できるが、いくつかの実施形態においては、低電力サブシステムの一部である第２ディスプレイモジュールが、リッドに画像を提供できる。これにより、ＳｏＣディスプレイモジュールを低電力状態に維持できる。選択的にディスプレイ上の部分を無効にすることで、既存のディスプレイを、常時オンディスプレイ機能を提供するように拡張することは、第２ディスプレイおよび第２タイミングコントローラを追加するよりも安価で、したがってデバイスコスト低減に帰結し得る。
実施形態は、ベースと、折りたたみ可能ディスプレイと、ベースに回転可能に取り付けられたリッドとを有する、モバイルコンピューティングデバイスを提供する。リッドは、フレームバッファを含むタイミングコントローラを含み得る。コンピューティングデバイスのタイミングコントローラは、コンピューティングデバイスが全表示モードにある際に折りたたみ可能ディスプレイの第１ディスプレイ部分を有効にし、コンピューティングデバイスが部分表示モードにある際に第１ディスプレイ部分を無効にし、折りたたみ可能ディスプレイの第２ディスプレイ部分を有効にし得る。第１ディスプレイ部分は、例えば、コンピューティングデバイスが開構成にある際に視認可能であり得、コンピューティングデバイスが閉構成にある際に視認不能であり得る。対照的に、第２ディスプレイ部分は、コンピューティングデバイスが閉構成である際に視認可能であり得、コンピューティングデバイスは、部分表示モードにある際に、閉構成であり得る。コンピューティングデバイスのタイミングコントローラはさらに、コンピューティングデバイスが部分表示モードにある際に、フレームバッファの少なくとも一部を、フレームバッファ低電力状態にすることができ得る。フレームバッファは、折りたたみ可能ディスプレイに表示された画像に対応する画像データを格納し得る。任意で、タイミングコントローラは、モバイルコンピューティングデバイスが全表示モードにある際に、第２ディスプレイ部分を有効にし得る。一例において、コンピューティングデバイスは、部分表示モードにあり得る。このモードにおいて、タイミングコントローラは、それぞれ第１ディスプレイ部分の行および列を駆動する、１または複数の行ドライバおよび／または１または複数の列ドライバを、低電力状態にし得る。
図１８Ａおよび図１８Ｂは、それぞれ開および閉構成のモバイルコンピューティングデバイスの上面図を示す。ここで第１の例示的な折りたたみ可能ディスプレイは、常時オンディスプレイとして動作し得る部分を含む。モバイルコンピューティングデバイス１８００は、ヒンジ１８１２を介してリッド１８２０に回転可能に取り付けられたベース１８１０を含む。ベース１８１０は、物理的なキーボード１８１４と、トラックパッド１８１８とを含む。リッド１８２０は、リッド上エッジ１８３５に巻き付けられた折りたたみ可能ディスプレイ１８３０を含む。折りたたみ可能ディスプレイ１８３０は、デバイス１８００が開構成にある際にユーザフェイシングであるリッド１８２０の表面１８５０上に配置された第１ディスプレイ部分１８４０と、リッドの表面１８７０上の第２ディスプレイ部分１８６０とを含む。第２ディスプレイ部分１８６０は、図１８Ｂに示すように、デバイス１８００が閉構成にある際に視認可能であるため、ディスプレイ１８３０の常時オン部分として動作し得る。デバイス１８００が閉じた状態で、第２ディスプレイ部分１８６０上に通知１８８０が表示される。図１Ｂを参照すると、リッド表面１８５０および１８７０は、それぞれモバイルコンピューティングデバイス１８００のＢカバーおよびＡカバーに対応する。
図１９Ａは、常時オンディスプレイとして動作し得る部分を含む第２の例示的な折りたたみ可能ディスプレイを有する、開構成のモバイルコンピューティングデバイスの上面図を示す。モバイルコンピューティングデバイス１９００は、リッド１９２０に回転可能に取り付けられたベース１９１０を含む。デバイス１９００は、リッド表面１９５０の一部と、ベース表面１９６０の一部とを覆う折りたたみ可能ディスプレイ１９３０を含む。リッド表面１９５０は、ユーザフェイシング表面であり、ベース表面は、デバイス１９００が開構成にある際の上向き表面である。仮想キーボード１９３４が折りたたみ可能ディスプレイ１９３０のベースディスプレイ部分１９６４上に表示される。図１９Ｂおよび図１９Ｃはそれぞれ、閉構成にある図１９Ａのモバイルコンピューティングデバイスの横断面図と上面図を示す。リッド上エッジ１９７６からヒンジ端部分１９７８へのリッド１９２０の長さ１９７４は、ベース前エッジ１９８４からヒンジ端部分１９７８に延在するベース１９１０の長さ１９７０よりも短い。これにより、折りたたみ可能ディスプレイ１９３０ディスプレイ部分１９８０が、デバイス１９００が閉じても視認可能のままとなる。ディスプレイ部分１９８０は、常時オンディスプレイとして動作し得る。上から見ると、リッド１９２０の上表面１９９０は、常時オンディスプレイ部分１９８０に隣接するように見える。通知コンテンツ１９９４は、デバイス１９００が閉じている際に、常時オンディスプレイ部分１９８０上に表示され得る。図１Ｂを参照すると、リッド表面１９５０、ベース表面１９６０、およびリッド上表面１９９０は、それぞれモバイルコンピューティングデバイス１９００のＢカバー、Ｃカバー、およびＡカバーに対応する。
図２０Ａから図２０Ｌは、常時オンディスプレイとして動作され得るディスプレイ部分を有する折りたたみ可能ディスプレイを含むモバイルコンピューティングデバイスの様々な図を示す。図２０Ａから図２０Ｃは、ベース２０１２と、リッド２０１４と、リッド２０１４の上エッジ２０１８に巻き付けられた折りたたみ可能ディスプレイとを含むモバイルコンピューティングデバイス２０００のＡカバー、Ｂカバー、およびＣカバーの図をそれぞれ示す。リッド上エッジ２０１８は、モバイルコンピューティングデバイス２０００が回転可能にベース２０１２に取り付けられた、ヒンジ端部分２０１９から離れて配置される。折りたたみ可能ディスプレイは、第１ディスプレイ部分２０２０と、第２ディスプレイ部分２０２２とを含む。第１ディスプレイ部分２０２０は、デバイス２０００が開構成にある際にユーザフェイシングであり、第２ディスプレイ部分２０２２は、デバイス２０００が開構成または閉構成のいずれかである場合にワールドフェイシングである。第２ディスプレイ部分２０２２は、デバイス２０００が閉構成にある際に視認可能であるため、常時オンディスプレイ部分として動作し得る。カメラ２０３９は、第２ディスプレイ部分２０２２の下で、デバイス２０００のＡカバー上に配置され得る。
図２０Ｄから図２０Ｆは、ベース２０３２と、リッド２０３４と、リッド２０３４の上エッジ２０３８に巻き付けられた折りたたみ可能ディスプレイとを含むモバイルコンピューティングデバイス２０３０のＡカバー、Ｂカバー、およびＣカバーの図をそれぞれ示す。リッド上エッジ２０３８は、モバイルコンピューティングデバイス２０３０が回転可能にベース２０３２に取り付けられるヒンジ端部分２０３９から離れて配置される。折りたたみ可能ディスプレイは、第１ディスプレイ部分２０４０と、第２ディスプレイ部分２０４２とを含む。第１ディスプレイ部分２０４０は、デバイス２０３０が開構成にある際にユーザフェイシングであり、第２ディスプレイ部分２０４２は、デバイス２０３０が開構成または閉構成のいずれかである場合にワールドフェイシングである。第２ディスプレイ部分２０４２は、デバイス２０３０が閉構成にある際に視認可能であるため、常時オンディスプレイ部分として動作し得る。カメラ２０４４は、第２ディスプレイ部分２０４２の側で、デバイス２０３０のＡカバー上に配置され得る。
図２０Ｇから図２０Ｉは、ベース２０５２と、リッド２０５４と、リッド２０５４の横エッジ２０５８に巻き付けられた折りたたみ可能ディスプレイとを含むモバイルコンピューティングデバイス２０５０のＡカバー、Ｂカバー、およびＣカバーの図をそれぞれ示す。折りたたみ可能ディスプレイは、第１ディスプレイ部分２０６０と、第２ディスプレイ部分２０６２とを含む。第１ディスプレイ部分２０６０は、デバイス２０５０が開構成にある際にユーザフェイシングであり、第２ディスプレイ部分２０６２は、デバイス２０５０が開構成または閉構成のいずれかである場合にワールドフェイシングである。第２ディスプレイ部分２０６２は、デバイス２０５０が閉構成にある際に視認可能であるため、常時オンディスプレイ部分として動作し得る。カメラ２０６４は、第２ディスプレイ部分２０６２の側で、デバイス２０５０のＡカバー上に配置され得る。別の実施形態において、折りたたみ可能ディスプレイは、リッドの両方の横エッジに巻き付けられ、一方または両方が常時オンディスプレイとして動作し得る２つのワールドフェイシング第２ディスプレイ部分を含み得る。
図２０Ｊから図２０Ｌは、ベース２０７２と、リッド２０７４と、ベース２０７２およびリッド２０７４にわたって延在する折りたたみ可能ディスプレイとを含むモバイルコンピューティングデバイス２０７０の、上面図、Ｂカバーの図、およびＣカバーの図をそれぞれ示す。折りたたみ可能ディスプレイは、リッド内に配置された第１ディスプレイ部分２０７６と、ベース内に配置された第２ディスプレイ部分２０７８とを含む。第１ディスプレイ部分２０７６はユーザフェイシングであり、第２ディスプレイ部分２０７８は、デバイス２０７０が開構成にある際に、上向きになる。第２ディスプレイ部分２０７８の部分２０８２は、デバイス２０７０が閉構成にある際に視認可能であるため、常時オンディスプレイ部分として動作し得る。カメラ２０８４は、デバイス２０７０のＡカバー上に配置され得る。図２０Ｊは、閉構成にあるモバイルコンピューティングデバイス２０７０の上面図を示し、リッド長さ２０８６がベース長さ２０８８よりも短いことにより、モバイルコンピューティングデバイス２０７０が閉じても視認可能である、第２ディスプレイ部分２０７８の常時オンディスプレイ部分２０８２を示す。常時オンディスプレイ部分２０８２は上から見ると、コンピューティングデバイス２０７０のＡカバー２０９０に隣接するように見える。
図２１は、常時オンディスプレイとして動作し得る部分を有する折りたたみ可能ディスプレイに関連付けられた、例示的タイミングコントローラと、追加的なディスプレイパイプラインコンポーネントとのブロック図を示す。タイミングコントローラ２１００は、ビデオデータレシーバ２１１０と、フレームバッファ２１２０と、処理スタック２１２２と、ディスプレイドライバ２１３０とを含む。タイミングコントローラ２１００は、内蔵折りたたみ可能ディスプレイパネル２１４０およびディスプレイパネル制御回路機構（例えば、行ドライバ２１５０および列ドライバ２１６０）と共に、モバイルコンピューティングデバイスのリッド内に配置される。ビデオデータレシーバ２１１０は、ＳｏＣ２１８６の一部であり、モバイルコンピューティングデバイスのベース内に配置されたディスプレイモジュール２１６４から、接続２１８２を介してビデオデータを受信する。フレーム処理スタック２１２２は、デコーダ２１３９と、ＲＧＢモジュール２１４０と、ＶＤＳＣエンコーダ２１２６とを含む。デコーダ２１３９は、エンコードされたフレームを、ＲＧＢモジュール２１４０により処理される前にデコードし、エンコーダ２１２６は、フレームを、色およびガンマ補正モジュール２１２８により処理される前に、再エンコードする。色およびガンマ補正モジュール２１２８はフレームに、色およびガンマ補正を実行する。いくつかの実施形態において、デコーダ２１３９およびエンコーダ２１２６は、ＶＥＳＡ（登録商標）ディスプレイ圧縮規格（ＶＤＳＣ）に応じて、フレームのデコードとエンコードを実行する。
１または複数の実施形態において、タイミングコントローラ２１００は、ＴＣＯＮ１５０、４００、３５５の例示的実装を示す。内蔵パネル２１９０は、内蔵ディスプレイパネル１４５、２８０、３８０の例示的実装を示す。これはいずれも、モバイルコンピューティングデバイス（ユーザデバイス）１００、２００、３００の例示的実装の一部であり得る、例示的実装ｏｆリッド１２０、２２０、３０１、１８２０内で使用可能である。１または複数の実施形態において、ディスプレイモジュール２１６４は、モバイルコンピューティングデバイス（ユーザデバイス）１００、２００、３００の一部であり得るベース２１０、３１５、１８１０内に配置され得る、ＳｏＣ１４０、３９０の例示的実装において使用可能である、ディスプレイモジュール３９１、３４１の例示的実装を示す。
いくつかの実施形態において、フレーム処理スタック２１２２は、図２１に示すものに加えて１または複数のモジュールを含む。追加的な画像処理モジュールは、図８に示すモジュール、または本明細書において記載または参照される他の任意の画像処理モジュールの内の任意のものを含み得る。いくつかの実施形態において、フレーム処理スタック２１２２は、図２１に示すよりもより多くのまたはより少ないモジュールを含み得る。いくつかの実施形態において、ディスプレイモジュール２１６４は、ｅＤＰ接続を介してＴＣＯＮ２１００と通信し、ビデオデータレシーバ２１１０はｅＤＰメインリンクレシーバを含む。いくつかの実施形態において、ディスプレイドライバ２１３０はＰ２Ｐ送信モジュールである。
折りたたみ可能ディスプレイパネル２１４０は、第１ディスプレイ部分２１９０と、第２ディスプレイ部分２１９４とを含む。第１ディスプレイ部分２１９０は、モバイルコンピューティングデバイスが開構成の際に視認可能で、モバイルコンピューティングデバイスが閉構成の際に視認不能である（図１８Ａにおける第１ディスプレイ部分１８４０、および図２０Ｂ、図２０Ｅ、図２０Ｈ、および図２０Ｋそれぞれにおけるディスプレイ部分２０２０、２０４０、２０６０、および２０７６など）。第２ディスプレイ部分２１９４は、モバイルコンピューティングデバイスが閉構成の際に視認可能である（図１８Ｂにおける第２ディスプレイ部分１８６０、および図２０Ａ、図２０Ｄ、図２０Ｇ、および図２０Ｊそれぞれにおけるディスプレイ部分２０２２、２０４２、２０６２、および２０８２など）。第２ディスプレイ部分２１９４は、モバイルデバイスが閉構成の際に、常時オンディスプレイ部分として動作され得る。第１ディスプレイ部分２１９０および第２ディスプレイ部分２１９４は、モバイルコンピューティングデバイスのディスプレイモードに基づいて有効にされる。モバイルコンピューティングデバイスが開構成にある際、デバイスは、第１および第２ディスプレイ部分２１９０および２１９４の両方が有効である全表示モードとなり得る。いくつかの実施形態において複数の全表示モードがあり得る。例えば、第１全表示モードにおいて、第１ディスプレイ部分２１９０が有効となり、第２ディスプレイ部分２１９４が無効となる。第２全表示モードにおいて、第１および第２ディスプレイ部分２１９０および２１９４が有効で、コンテンツを表示する。モバイルコンピューティングデバイスが閉構成にある際、デバイスは、第１ディスプレイ部分２１９０が無効で、コンテンツを表示せず、第２ディスプレイ部分２１９４が有効で、常時オンディスプレイとしで動作する部分表示モードにあり得る。
いくつかの実施形態において、ディスプレイモードは、モバイルコンピューティングデバイスの物理的な構成に基づくことに加え、ユーザが構成可能な設定にさらに基づく。例えば、ユーザが構成可能なディスプレイ設定がユーザに提供され得る。これは、ユーザに、デバイスが開構成にある際に、第２ディスプレイ部分が有効となる、または無効となるか、そしてデバイスが閉構成にある際に、第２ディスプレイ部分が有効となるかを選択可能にする。タイミングコントローラ２１００は、リッドコントローラハブ、またはディスプレイモジュール２１６４などのモバイルコンピューティングデバイスのベース内のコンポーネントから、ディスプレイモード情報２１９６を受信する。
デバイス電力消費を低減するため、デバイスのディスプレイパイプラインの１または複数のコンポーネントを、デバイスが部分表示モードにある際に、低電力状態にすることができる。ディスプレイパイプラインは、ディスプレイパネル２１４０に表示される画像の生成、処理、および表示に関連するコンポーネントを含む。図２１に示す実施形態において、ディスプレイパイプラインコンポーネントは、ディスプレイモジュール２１６４と、ビデオデータレシーバ２１１０と、フレームバッファ２１２０と、フレーム処理スタック２１２２と、ディスプレイドライバ２１３０と、行ドライバ２１５０と、列ドライバ２１６０とを含む。モバイルコンピューティングデバイスをより低電力状態にすることは、その構成コンポーネントのいずれかを低電力状態にすることを含み得る。例えば、行ドライバを行ドライバ低電力状態にでき、列ドライバを列ドライバ低電力状態にでき、フレームバッファをフレームバッファ低電力状態にでき、ディスプレイモジュールをディスプレイモジュール低電力状態にできる、などである。コンポーネントまたはコンポーネントの一部を低電力状態にすることは、例えば、その動作電圧を低減する、コンポーネントをより低周波数で動作する、コンポーネントを無効にする、またはコンポーネントの機能を無効にする（メモリアレイの一部を無効にする、または出力ドライバを無効にするなど）ことを含み得る。ディスプレイパイプラインコンポーネントは、タイミングコントローラ制御ロジックにより、またはディスプレイモード情報（例えば、ディスプレイモード情報２１９６）が直接個別のディスプレイパイプラインコンポーネントに提供され、モジュールを低電力状態にさせることで、低電力状態にされ得る。
いくつかの実施形態において、デバイスが部分表示モードにある際に、第１ディスプレイ部分２１９０を駆動する行ドライバ２１５４を低電力状態にでき、一方、第２ディスプレイ部分２１９４を駆動する行ドライバ２１５８は有効のままとなる。別の実施形態において、列ドライバ２１６０は、第１ディスプレイ部分を駆動する、第１組の列ドライバと、常時オンディスプレイ部分を駆動する第２組の列ドライバとを含み得、デバイスが部分表示モードにある際に、第１組の列ドライバは無効となり、第２組の列ドライバは有効となる。いくつかの実施形態において、第１ディスプレイ部分を駆動する、行または列ドライバを駆動するタイミングコントローラディスプレイドライバ（例えば、ディスプレイドライバ２１３０）の部分は、デバイスが部分表示モードにある際に、低電力状態にできる。
いくつかの実施形態において、デバイスが部分表示モードにある際に、フレームバッファ２１２０の一部は低電力状態となる。フレームバッファ２１２０の一部を低電力状態にすることは、フレームバッファ２１２０内のメモリアレイの、第１ディスプレイ部分２１９０に表示される画像を格納する部分を無効にすること、メモリアレイの、第１ディスプレイ部分２１９０に表示される画像を格納する部分を制御する制御回路機構を無効にすること、または単純にディスプレイの第２ディスプレイ部分２１９４上に表示される画像に対応する画像データのみを格納することを含み得る。
いくつかの実施形態において、ＴＣＯＮ２１００は、第１ディスプレイ部分２１９０に表示される画像に対応する画像データを格納する第１フレームバッファと、第２ディスプレイ部分２１９４に表示される画像に対応する画像データを格納する第２フレームバッファとを含む。第１および第２フレームバッファはそれぞれ、第１および第２ディスプレイ部分のサイズに基づくサイズとされ、したがってそれぞれディスプレイ部分２１９０および２１９４にわたって表示される画像に対する画像データを格納するのに必要な単一のフレームバッファ（例えば、フレームバッファ２１２０）のサイズよりも小さい。第１フレームバッファは、デバイスが部分表示モードにある際に、低電力状態にされ得る。
いくつかの実施形態において、ＴＣＯＮ２１００は、第１ディスプレイ部分２１９０および第２ディスプレイ部分２１９４にわたって表示される画像に対応する画像データを格納する第１フレームバッファと、第２ディスプレイ部分２１９４に表示される画像に対応する画像データを格納する第２フレームバッファとを有する。第２フレームバッファは、第１フレームバッファよりも小さい。モバイルコンピューティングデバイスが全表示モードにある際に、ＴＣＯＮ２１００は、第１フレームバッファを利用し、第２フレームバッファは低電力状態にされる。部分表示モードでは、ＴＣＯＮ２１００は第１フレームバッファを低電力状態にし、第２フレームバッファを利用する。
いくつかの実施形態において、ディスプレイパイプライン電力消費を低減するため、フレーム処理スタック２１２２の１または複数の画像処理コンポーネントは、モバイルコンピューティングデバイスが部分表示モードにある際に、バイパスされ得る。例えば、デバイスが部分表示モードにある際に第２ディスプレイ部分２１９４に表示されるコンテンツが白黒表示される、またはフレーム処理スタック内のモジュールによる処理による他の利点を享受しない場合、デバイスが部分表示モードにある際に、それらモジュールはバイパスされ得る。コンポーネントをバイパスすることは、バイパスされるコンポーネントの少なくとも一部を低電力状態にすることを含み得る。一例として、バイパスされるモジュールの一部は有効のままとされ得る。これにより、残りのバイパスされるコンポーネントが無効であり得る間に、モジュールを画像データが通過可能となる。
いくつかの実施形態において、パイプライン内のコンポーネントが、第２ディスプレイ部分２１９４に表示されるコンテンツに対応する画像データの部分にのみ動作することで、ディスプレイパイプライン電力消費が低減し得る。画素に対する画素データに並列に動作するコンポーネントにおいて、第１ディスプレイ部分に対応する画素データに操作を実行するコンポーネントの部分を無効にできる。複数画素に対する画素データに直列に動作するモジュールにおいて、モジュールは、第２ディスプレイ部分２１９４に対応する画素に対する画素データのみに対して動作するように構成され得る（例えば、タイミングコントローラロジックによる）。
いくつかの実施形態において、デバイスが部分表示モードにある際に、第２ディスプレイ２１９４に表示されるコンテンツは、全表示モードでの動作時の、内蔵パネルの典型的なリフレッシュレート（例えば、３０から１２０Ｈｚ）よりも低レートで更新された通知コンテンツを含み得る。例えば、通知コンテンツが時間と分とを示すクロックを含む場合、ディスプレイモジュール２１６４は、現在時刻を示す第２ディスプレイ部分に表示される新たな画像を生成するため、１分に１度、低電力状態から脱し得る。更新された画像を生成した後、ディスプレイモジュール２１６４は低電力状態に戻り得る。通知コンテンツに含まれ、デバイスが部分表示モードにある際に、第２ディスプレイ部分２１９４に表示され得る他のタイプの情報の例は、今後の会議、バッテリ残量、未読メッセージの数（例えば、ｅメール、テキスト、ソーシャルメディア）、およびコンテキストベースの挨拶（例えば「おはようございます！」）についての情報を含む。他の多くのタイプの情報が、通知コンテンツに含まれ得る。表示される情報に応じて、通知コンテンツは様々な間隔で更新され得る（例えば、クロックの表示の場合は１分に１度、未読メッセージ情報を更新するのは５または１０分に１度、会議情報を更新するのは６０分に１度）。いくつかの実施形態において、タイミングコントローラは、いつ起動し、更新された通知コンテンツを生成すべきかを、ディスプレイモジュールにシグナリングし得る。別の実施形態において、更新された情報を生成するためのディスプレイモジュールの起動は、ベース内のコンポーネントにより制御され得る。
いくつかの実施形態において、デバイスベース（例えば、２１０、３１５、１８１０）内に配置された低電力サブシステム２１９９の一部であるディスプレイモジュール２１９８により、アウトオブバンド接続２１８４を介して、通知コンテンツがＴＣＯＮ２１００に提供され得る。低電力サブシステム２１９９は、ＳｏＣ２１８６よりも低電力レベルで通知コンテンツを生成し得る。通知コンテンツは、ディスプレイモジュール２１６４がビデオデータをビデオデータレシーバ２１１０に提供するために使用する接続２１８２とは別の、接続２１８４を介して、ＴＣＯＮ２１００に提供されるビデオデータとして提供され得る。低電力サブシステム２１９９を使用して通知コンテンツを生成することで、ＳｏＣ２１８６およびディスプレイモジュール２１６４を低電力状態に維持でき、モバイルコンピューティングデバイスの電力消費を低減できる。いくつかの実施形態において、アウトオブバンド接続２１８４は、ＵＳＢ接続またはＭＩＰＩディスプレイシリアルインタフェース（ＭＩＰＩ ＤＳＩ）接続である。
図２２は、常時オンディスプレイとして動作可能な、モバイルコンピューティングデバイスの折りたたみ可能ディスプレイを動作するための例示的方法を示す。方法２２００は、例えばラップトップのリッドの上部に巻き付けられた折りたたみ可能ディスプレイを含むラップトップにより実行され得る。折りたたみ可能ディスプレイは、リッドが開いている際にユーザフェイシング部分と、ラップトップリッドが閉じている際に常時オンディスプレイとして動作するワールドフェイシング部分とを有する。２２１０において、モバイルコンピューティングデバイスの折りたたみ可能ディスプレイの第１ディスプレイ部分は、モバイルコンピューティングデバイスが全表示モードにある際に有効となる。例において、リッドが開いたことに応じて、ラップトップが全表示モードに移行すると、ラップトップのユーザフェイシング部分は有効となり、コンテンツを表示する。２２２０において、モバイルコンピューティングデバイスが部分表示モードにある際に、第１ディスプレイ部分は無効となり、折りたたみ可能ディスプレイの第２ディスプレイ部分は有効となる。第１ディスプレイ部分は、モバイルコンピューティングデバイスが開構成にある際に視認可能となり、モバイルコンピューティングデバイスが閉構成にある際に視認不能となる。第２ディスプレイ部分は、モバイルコンピューティングデバイスが閉構成にある際に視認可能となり、モバイルコンピューティングデバイスは部分表示モード時に閉構成となる。例において、リッドが閉じると、ディスプレイのユーザフェイシング部分は無効となり、ディスプレイのワールドフェイシング部が有効となる。第２ディスプレイ部分は常時オンディスプレイとして動作する。２２３０において、モバイルコンピューティングデバイスが部分表示モードにある際に、フレームバッファの少なくとも一部は、フレームバッファ低電力状態にされる。フレームバッファは、折りたたみ可能ディスプレイに表示された画像に対応する画像データを格納する。例において、折りたたみ可能ディスプレイに表示する画像を格納するのに使用されるフレームバッファにおけるメモリアレイの部分は、より低電力状態にされる。即ち、常時オンディスプレイに表示される画像を格納するフレームバッファにおけるメモリアレイの部分のみが有効にされる。
ここに記載の低電力常時オン実施形態の追加的例は、以下の非限定的実装を含む。以下の非限定的な例のそれぞれは、単独で成立し得、または任意の順列で組み合わされ、または以下のまたは本開示全体において提供される他の例の内の任意の１または複数のものと組み合わされ得る。
例ＡＡ１は、モバイルコンピューティングデバイスが全表示モードにある際に上記モバイルコンピューティングデバイスの折りたたみ可能ディスプレイの第１ディスプレイ部分を有効にする段階と、上記モバイルコンピューティングデバイスが部分表示モードにある際に上記第１ディスプレイ部分を無効にし、上記折りたたみ可能ディスプレイの第２ディスプレイ部分を有効にする段階であって、上記第１ディスプレイ部分は、上記モバイルコンピューティングデバイスが開構成にある際に視認可能であり、上記モバイルコンピューティングデバイスが閉構成にある際に視認不能であり、上記第２ディスプレイ部分は、上記モバイルコンピューティングデバイスが閉構成である際に視認可能であり、上記モバイルコンピューティングデバイスは、上記部分表示モードにある際に上記閉構成である、無効および有効にする段階と、上記モバイルコンピューティングデバイスが上記部分表示モードにある際に、フレームバッファの少なくとも一部をフレームバッファ低電力状態にする段階であって、上記フレームバッファは、上記折りたたみ可能ディスプレイに表示される画像に対応する画像データを格納する、フレームバッファ低電力状態にする段階と、を含む方法である。
例ＡＡ２は、例ＡＡ１の方法を含み、上記モバイルコンピューティングデバイスが上記全表示モードにある際に上記第２ディスプレイ部分を有効にする段階をさらに含む。
例ＡＡ３は、例ＡＡ１またはＡＡ２の方法を含み、上記モバイルコンピューティングデバイスが上記部分表示モードにある際に、上記第１ディスプレイ部分の行を駆動する１または複数の行ドライバを、行ドライバ低電力状態にする段階をさらに含む。
例ＡＡ４は、例ＡＡ１からＡＡ３のいずれか１つの方法を含み、上記モバイルコンピューティングデバイスが上記部分表示モードにある際に、上記第１ディスプレイ部分の列を駆動する１または複数の列ドライバを、列ドライバ低電力状態にする段階をさらに含む。
例ＡＡ５は、例ＡＡ１からＡＡ４のいずれか１つの方法を含み、上記フレームバッファは第１フレームバッファであり、上記モバイルコンピューティングデバイスは、上記第１フレームバッファよりも小さい第２フレームバッファをさらに含み、上記方法は、上記モバイルコンピューティングデバイスが上記部分表示モードにある際に、上記第２フレームバッファを利用して、上記第２ディスプレイ部分に表示される画像に対応する画像データを格納する段階をさらに含む。
例ＡＡ６は、例ＡＡ１からＡＡ５のいずれか１つの方法を含み、上記モバイルコンピューティングデバイスが上記部分表示モードにある際にディスプレイパイプライン内の１または複数の画像処理コンポーネントをバイパスする段階をさらに含む。
例ＡＡ７は、例ＡＡ１からＡＡ６のいずれか１つの方法を含み、上記モバイルコンピューティングデバイスが上記部分表示モードにある際に、ディスプレイパイプライン内の１または複数の画像処理コンポーネントを、上記第１ディスプレイ部分に表示される画像の一部に対応する画像データを処理しないように構成する段階をさらに含む。
例ＡＡ８は、例ＡＡ１からＡＡ７のいずれか１つの方法を含み、上記モバイルコンピューティングデバイスが上記全表示モードにある際に第１画像を上記第１ディスプレイ部分に表示する段階であって、上記第１画像は第１ディスプレイモジュールにより提供されるビデオデータに対応する、表示する段階と、上記モバイルコンピューティングデバイスが上記部分表示モードにある際に第２画像を上記第２ディスプレイ部分に表示する段階であって、上記第２画像は、第２ディスプレイモジュールにより提供されるビデオデータに対応する、表示する段階と、をさらに含む。
例ＡＡ９は、例ＡＡ８の方法を含み、上記モバイルコンピューティングデバイスが上記部分表示モードにある際に上記第１ディスプレイモジュールを第１ディスプレイモジュール低電力状態にする段階と、上記第２ディスプレイ部分に表示される新たな画像を生成するために、上記第２ディスプレイモジュールを第２ディスプレイモジュール低電力状態から定期的に起動する段階と、をさらに含む。
例ＡＡ１０は、例ＡＡ１からＡＡ９のいずれか１つの方法を含み、上記モバイルコンピューティングデバイスは、ベースに回転可能に取り付けられたリッドを含み、上記折りたたみ可能ディスプレイは、上記リッドの第１表面の少なくとも一部と、上記リッドの第２表面の少なくとも一部とを覆い、上記モバイルコンピューティングデバイスが開構成にある際に上記リッドの上記第１表面はユーザフェイシング表面であり、上記リッドの上記第２表面はワールドフェイシング表面である。
例ＡＡ１１は、例１０の方法を含み、上記リッドは、上記リッドが回転可能に上記ベースに取り付けられたヒンジ端部分から離れて配置された上エッジを含み、上記折りたたみ可能ディスプレイは、上記リッドの上記上エッジに巻き付けられている。
例ＡＡ１２は、例１０の方法を含み、上記リッドは、横エッジを含み、上記折りたたみ可能ディスプレイは、横エッジの少なくとも一方に巻き付けられている。
例ＡＡ１３は、例ＡＡ１からＡＡ９のいずれか１つの方法を含み、上記モバイルコンピューティングデバイスは、ベースに回転可能に取り付けられたリッドを含み、上記折りたたみ可能ディスプレイは、上記リッドの第１表面の少なくとも一部と、上記ベースの第１表面の少なくとも一部とを覆い、上記モバイルコンピューティングデバイスが閉構成である際に上記リッドの上記第１表面と上記ベースの上記第１表面とは互いに対向し、上記リッドは、上記リッドが回転可能に上記ベースに取り付けられたヒンジ端部分から、上記ヒンジ端部分から離れて配置されたリッド上エッジまで延びるリッド長さを有し、上記ベースは、上記ベースが回転可能に上記リッドに取り付けられたヒンジ端部分から、上記ヒンジ端部分から離れて配置されたベース前エッジまで延びるベース長さを有し、上記リッド長さは上記ベース長さよりも短く、上記第２ディスプレイ部分は上記ベースの上記第１表面に配置されている。
例ＡＡ１４は、例ＡＡ１からＡＡ１３のいずれか１つの方法を含み、フレームバッファの少なくとも一部をフレームバッファ低電力状態にする段階は、上記フレームバッファを無効にする段階を含む。
例ＡＡ１５は、例ＡＡ１からＡＡ１３のいずれか１つの方法を含み、フレームバッファの少なくとも一部をフレームバッファ低電力状態にする段階は、上記フレームバッファのメモリアレイの一部を無効にする段階を含む。
例ＡＡ１６は、例ＡＡ１からＡＡ１３のいずれか１つの方法を含み、フレームバッファの少なくとも一部をフレームバッファ低電力状態にする段階は、上記フレームバッファの動作電圧を下げる段階を含む。
例ＡＢ１は、ベースと、折りたたみ可能ディスプレイと、上記ベースに回転可能に取り付けられたリッドとを備える、モバイルコンピューティングデバイスを含み、上記リッドは、フレームバッファを含むタイミングコントローラを含み、上記タイミングコントローラは、上記モバイルコンピューティングデバイスが全表示モードにある際に上記折りたたみ可能ディスプレイの第１ディスプレイ部分を有効にし、上記モバイルコンピューティングデバイスが部分表示モードにある際に上記第１ディスプレイ部分を無効にし、上記折りたたみ可能ディスプレイの第２ディスプレイ部分を有効にし、上記第１ディスプレイ部分は、上記モバイルコンピューティングデバイスが開構成にある際に視認可能であり、上記モバイルコンピューティングデバイスが閉構成にある際に視認不能であり、上記第２ディスプレイ部分は、上記モバイルコンピューティングデバイスが閉構成である際に視認可能であり、上記モバイルコンピューティングデバイスは、上記部分表示モードにある際に上記閉構成であり、上記モバイルコンピューティングデバイスが上記部分表示モードにある際に、フレームバッファの少なくとも一部をフレームバッファ低電力状態にし、上記フレームバッファは、上記折りたたみ可能ディスプレイに表示される画像に対応する画像データを格納する。
例ＡＢ２は、例ＡＢ１のモバイルコンピューティングデバイスを含み、上記タイミングコントローラはさらに、上記モバイルコンピューティングデバイスが上記全表示モードにある際に上記第２ディスプレイ部分を有効にする。
例ＡＢ３は、例ＡＢ１またはＡＢ２のモバイルコンピューティングデバイスを含み、上記タイミングコントローラはさらに、上記モバイルコンピューティングデバイスが上記部分表示モードにある際に、上記第１ディスプレイ部分の行を駆動する１または複数の行ドライバを、行ドライバ低電力状態にする。
例ＡＢ４は、例ＡＢ１からＡＢ３のいずれか１つのモバイルコンピューティングデバイスを含み、上記タイミングコントローラはさらに、上記モバイルコンピューティングデバイスが上記部分表示モードにある際に、上記第１ディスプレイ部分の列を駆動する１または複数の列ドライバを、列ドライバ低電力状態にする。
例ＡＢ５は、例ＡＢ１からＡＢ４のいずれか１つのモバイルコンピューティングデバイスを含み、上記フレームバッファは第１フレームバッファであり、上記タイミングコントローラは、上記第１フレームバッファよりも小さい第２フレームバッファをさらに含み、上記タイミングコントローラはさらに、上記モバイルコンピューティングデバイスが上記部分表示モードにある際に、上記第２フレームバッファを利用して、上記第２ディスプレイ部分に表示される画像に対応する画像データを格納する。
例ＡＢ６は、例ＡＢ１からＡＢ５のいずれか１つのモバイルコンピューティングデバイスを含み、上記タイミングコントローラは、１または複数の画像処理コンポーネントをさらに含み、上記タイミングコントローラはさらに、上記モバイルコンピューティングデバイスが上記部分表示モードにある際にディスプレイパイプライン内の１または複数の画像処理コンポーネントをバイパスする。
例ＡＢ７は、例ＡＢ１からＡＢ６のいずれか１つのモバイルコンピューティングデバイスを含み、上記タイミングコントローラは、１または複数の画像処理コンポーネントをさらに含み、上記タイミングコントローラはさらに、上記モバイルコンピューティングデバイスが上記部分表示モードにある際に、ディスプレイパイプライン内の１または複数の画像処理コンポーネントを、上記第１ディスプレイ部分に表示される画像の一部に対応する画像データを処理しないように構成する。
例ＡＢ８は、例ＡＢ１からＡＢ７のいずれか１つのモバイルコンピューティングデバイスを含み、上記タイミングコントローラはさらに、上記モバイルコンピューティングデバイスが上記全表示モードにある際に第１画像を上記第１ディスプレイ部分に表示し、上記モバイルコンピューティングデバイスが上記部分表示モードにある際に第２画像を上記第２ディスプレイ部分に表示し、上記モバイルコンピューティングデバイスはさらに、上記第１画像を上記タイミングコントローラに提供する第１ディスプレイモジュールと、上記第２画像を上記タイミングコントローラに提供する第２ディスプレイモジュールと、を含む。
例ＡＢ９は、例ＡＢ１からＡＢ８のいずれか１つのモバイルコンピューティングデバイスを含み、上記リッドは、上記リッドが回転可能に上記ベースに取り付けられたヒンジ端部分から離れて配置された上エッジを含み、上記折りたたみ可能ディスプレイは、上記リッドの上記上エッジに巻き付けられている。
例ＡＢ１０は、例ＡＢ１からＡＢ８のいずれか１つのモバイルコンピューティングデバイスを含み、上記リッドは、１または複数の横エッジを含み、上記折りたたみ可能ディスプレイは、横エッジの少なくとも一方に巻き付けられている。
例ＡＢ１１は、例ＡＢ１からＡＢ８のいずれか１つのモバイルコンピューティングデバイスを含み、上記折りたたみ可能ディスプレイは、上記リッドの第１表面の少なくとも一部と、上記ベースの第１表面の少なくとも一部とを覆い、上記モバイルコンピューティングデバイスが閉構成である際に上記リッドの上記第１表面と上記ベースの上記第１表面とは互いに対向し、上記リッドは、上記リッドが回転可能に上記ベースに取り付けられたヒンジ端部分から、上記ヒンジ端部分から離れて配置されたリッド上エッジまで延びるリッド長さを有し、上記ベースは、上記ベースが回転可能に上記リッドに取り付けられたヒンジ端部分から、上記ヒンジ端部分から離れて配置されたベース前エッジまで延びるベース長さを有し、上記リッド長さは上記ベース長さよりも短く、上記第２ディスプレイ部分は上記ベースの上記第１表面に配置されている。
例ＡＢ１２は、例ＡＢ１からＡＢ１１のいずれか１つのモバイルコンピューティングデバイスを含み、フレームバッファの少なくとも一部をフレームバッファ低電力状態にすることは、上記フレームバッファを無効にすることを含む。
例ＡＢ１３は、例ＡＢ１からＡＢ１１のいずれか１つのモバイルコンピューティングデバイスを含み、フレームバッファの少なくとも一部をフレームバッファ低電力状態にすることは、上記フレームバッファのメモリアレイの一部を無効にすることを含む。
例ＡＢ１４は、例ＡＢ１からＡＢ１１のいずれか１つのモバイルコンピューティングデバイスを含み、フレームバッファの少なくとも一部をフレームバッファ低電力状態にすることは、上記フレームバッファの動作電圧を下げることを含む。
例ＡＣ１は、モバイルコンピューティングデバイスに本明細書に上述の例ＡＡのいずれか１つの方法を実行させるためのコンピュータ実行可能命令を格納する１または複数の非一時的コンピュータ可読ストレージ媒体を含む。
例ＡＤ１は、本明細書に上述の例ＡＡの１または複数の方法を実装するための１または複数の手段を含むシステムを含む。
複数のディスプレイコンピューティングシステムに対するディスプレイ管理
バックライトおよびパネル電子装置を含み得るディスプレイ電力は今日、システム上のかなりの電力量を消費する。コンピューティングシステムにおけるディスプレイは、総システム電力の、４０から６０パーセント（４０～６０％）を使用し得る。ＳｏＣおよびシステム電力は、複数の外部ディスプレイが存在すると大幅に増加する。例えば、２つの４Ｋモニタを接続するのには、追加的な高解像度表示をレンダリングするために、大幅に大きな電力コストが使用され得る。
現行のコンピューティングデバイスの多くは、省電力、バッテリ寿命延長、および／または特定のディスプレイスクリーンのバーンインを防止するため、電力モード間の切り替えを行う。しかし、コンピューティングシステムに実装されたエネルギー効率技術は、当該技術がシステムの反応性または性能を損なう場合、ユーザ体験に悪影響を及ぼし得る。
ディスプレイの省電力およびエネルギー用のディスプレイ管理ソリューションは、ユーザが検出されないと、ディスプレイパネルが減光される、またはオフにされる、単一のディスプレイシステムからのユーザの存在検出を伴うものであった。例えば、バックライトが、明るさを減じるように減光され得る。あるいはバックライトが完全にオフにされ得る。例えば、ソフトウェアベースのソリューションは、ユーザの顔が単一のディスプレイに向いているかを判定し、それに応じてそのディスプレイを減光する、またはオフにし得る。しかし、ソフトウェアベースのソリューションは、例えばワット範囲の量の、大量の電力を使用する。さらに、ソフトウェアベースのソリューションは、内蔵ディスプレイしか扱うことができないため、いつディスプレイオフするかについての判定は、より慎重にならざるを得ない。さらに、これら単一ディスプレイソリューションは、単一のディスプレイの視野分の精度しか有さない。
単一ディスプレイユーザ存在ソリューションは、適切にバッテリ寿命、反応性ゲイン、プライバシーおよびセキュリティ機能をまとめてまたは効率的に管理することができない。単一ディスプレイシステムにおいて、１つのディスプレイから得られる入力は１つのみである。これは、複数のディスプレイシナリオを効果的に管理するのに使用可能なデータの量を限定する。ユーザの存在が有効となったシステムがどこに配置されたかによっては、ユーザがいつそのコンピューティングシステム（例えば、ワークステーション、デスク）に接近しているか、そしてそのコンピューティングシステムに存在する場合に、どこを見ているかについて、精確な情報をシステムが効果的に受信しない可能性がある。さらに、ユーザが単一ディスプレイユーザ存在ソリューションを有するラップトップを閉じれば、外部モニタディスプレイを管理して、ユーザがその外部モニタを見ていない場合に節電することはできなくなる。ラップトップが閉じられると、ユーザの存在挙動の一切に、外部モニタが反応できなくなる。
外部高解像度ディスプレイ（例えば、４Ｋディスプレイ）が、拡張ディスプレイシナリオにおいて益々使用されるようになっている。しかしこのようなディスプレイは、ディスプレイとシステムの電力およびエネルギーを大幅に増大させる。これらソリューションは、電力およびエネルギーを節約するようにユーザの存在を扱う方法を有さない。これは、カリフォルニア州エネルギー政策およびエネルギースターなど、特定の州および／または連邦制度への適合に影響し得る。高解像度も、性能を５０パーセント（５０％）以上影響し得る。したがって、さらにユーザ体験が損なわれ得る。
別の例において、認証ソフトウェア（例えば、マイクロソフト（登録商標）Ｗｉｎｄｏｗｓ Ｈｅｌｌｏ（登録商標）認証ソフトウェア）が、ユーザに、各モニタ上にクリップオンカメラを配置し、ユーザの注意が向けられたモニタ上で顔認証を実行可能にする。当該ソリューションは、ユーザが適切な距離およびディスプレイパネル正面の向きにある場合にのみ、認証（例えば、顔認識による）およびユーザのログインに利用可能である。これら認証ソリューションは、ユーザの存在に基づくディスプレイの電力および明るさの管理に対処しない。
最新の開発は、人間の存在および注意センシングを提供する、低電力コンポーネントを含んでいる。これにより、ユーザの存在と注意に基づき、異なる動作モードを通じて、プライバシーおよびセキュリティを提供する。これら進歩は、ラップトップまたは他の単一のデバイス実装には重要であるが、今日の一般的なコンピューティング環境における複数のディスプレイモジュールにまつわる問題を解決するものではない。
今日のコンピューティング環境では、ユーザがオフィスまたは自宅を問わず、そのワークステーションに自身のラップトップをドッキングすることが一般的である。研究によると、企業のユーザは、約８０パーセント（８０％）の時間をドッキングされたシナリオで作業することが示されている。ユーザにとって一般的なシナリオは、自身のラップトップをドッキングし、外部モニタ付きのドッキングステーションで主に作業するものである。ここで、外部モニタは、ドッキングされた時間の大部分でユーザが関与しているメインディスプレイよりも大きくなり得る。
実施形態は、第１ディスプレイパネル、第１カメラ、および第１カメラにより捕捉された第１画像センサデータに基づいて第１画像メタデータを生成する第１回路機構を含む第１ディスプレイデバイスと、第２ディスプレイパネル、第２カメラ、および第２カメラにより捕捉された第２画像センサデータに基づいて第２画像メタデータを生成する第２回路機構を含む第２ディスプレイデバイスを含むコンピューティングシステムを提供する。コンピューティングシステムはさらに、第１ディスプレイデバイスおよび第２ディスプレイデバイスに動作結合されたプロセッサをさらに含み得る。プロセッサは、画像メタデータに基づき、ディスプレイデバイスの動作モードを選択するように構成される。例えば、プロセッサは、第１画像メタデータに基づいて、第１動作モードを第１ディスプレイデバイスに対して選択し、第２画像メタデータに基づいて、第２動作モードを第２ディスプレイデバイスに対して選択し得る。
第１および第２画像メタデータは、例えば、ユーザが第１ディスプレイデバイスまたは第２ディスプレイデバイスに関与しているかをそれぞれ示し得、このインジケーションに基づき、個別のディスプレイデバイスの動作モードが選択され得る。例えば、ユーザのディスプレイデバイスに対する関与または非関与の検出は、顔認識に基づき得る。例えば、第１回路機構は、第１画像センサデータ内のユーザの顔を検出し、第１画像センサデータ内にユーザの顔を検出したことに基づいて、第１カメラの第１視野においてユーザが存在すると判定し、ユーザの顔の第１向きを、第１画像センサデータに基づき判定し、ユーザの顔の第１向きに少なくとも部分的に基づいて、ユーザが第１ディスプレイデバイスに関与しているか非関与かを判定し得る。ユーザが第２ディスプレイデバイスに関与しているまたは非関与であるかを判定するため、同様な動作が第２回路機構により実行され得る。ユーザがディスプレイデバイスのうちの特定の１つに非関与であれば、当該１つのディスプレイデバイスのディスプレイパネルに対するバックライトの明るさが、ユーザイベントが生じるまたはバックライトが所定の最低レベルの明るさまで低減するまで（または、延いてはバックライトがオフになるまで）、一定期間にわたって、漸次的に減少するように、当該１つのディスプレイデバイスに対する動作モードが選択され得る。
コンピューティングシステムのアンロックおよび／またはユーザ認証に、ユーザの存在が使用され得る。例えば、コンピューティングシステムのプロセッサはさらに、コンピューティングシステムへのアクセスがロックされたことを判定し、現在第２ディスプレイデバイス上で認証機構が稼働していないことを判定し、認証機構による、ユーザが関与しているディスプレイデバイスを介したユーザの認証をトリガし、ユーザが認証されるまで、他のディスプレイデバイスをオフのままとし得る。
図２３Ａから図２３Ｂは、１つの追加的な外部モニタにラップトップが接続されたコンピューティングシステムにおける、ユーザのあり得る注意のシナリオを例示する。図２３Ａは、ユーザ２３０２と、ラップトップ２３１２と、ラップトップ２３１２に通信可能に結合された外部モニタ２３３９とを含む。ラップトップ２３１２は、ラップトップのリッド２３１４の一次ディスプレイパネル２３１６と、リッドに結合されたユーザフェイシングカメラ２３１０とを含む。外部モニタ２３３９は、二次ディスプレイパネル２３２６を含む。ラップトップ２３１２にのみ、ユーザの存在および注意検出が有効である。即ち、単一の内蔵一次ディスプレイパネル２３１６に対してユーザが非関与である、または存在しないことに基づく、ユーザの存在ポリシーにより、ディスプレイが減光される、および／または完全にオフにされ得る。ラップトップ２３１２が、ユーザの存在および注意検出が有効な唯一のシステムであるため、そのシステムのみが、ユーザの注意に基づき、即ち、そのディスプレイの視点に基づき、その内蔵ディスプレイパネルを減光またはオフにできる。したがって、ディスプレイ管理は、ラップトップにおける一次ディスプレイパネルのみに適用され得る、または全てのスクリーンに等しく適用され得る。
図２３Ａにおいて、２３０４Ａに示すように、ユーザの注意が一次ディスプレイパネル２３１６に向けられている場合、ラップトップ２３１２は、ユーザの顔と存在を検出し、外部モニタ２３３９もオンのままで電力およびエネルギーを使用しながら、ラップトップとその一次ディスプレイパネル２３１６の使用を可能にする、適切な動作モードを開始（または維持）できる。ユーザの注意が図２３Ｂの２３０４Ｂに示すように、外部モニタ２３３９の二次ディスプレイパネル２３２６に向いている場合、ラップトップ２３１２は、ディスプレイ管理をその一次ディスプレイパネル２３１６に適用できる。両方のモニタに等しくディスプレイ管理が適用される場合には、一次ディスプレイパネル２３１６に適用されるあらゆる変化（例えば、減光、スリープモード）は、ユーザが二次ディスプレイパネル２３２６に関与していたとしても、二次ディスプレイパネル２３２６にも適用される。
多数のスクリーンおよびドッキング構成があり得る。別の例において、図２４Ａから図２４Ｃは、２つの追加的な外部モニタにラップトップが接続されたコンピューティングシステムにおける、ユーザのあり得る注意のシナリオを例示する。図２４Ａは、ユーザ２４０２と、ラップトップ２４１２と、ラップトップ２４１２に通信可能に結合された第１および第２外部モニタ２４３９および２４３４とを含む。ラップトップ２４１２は、ラップトップのリッド２４１４における一次ディスプレイパネル２４１６と、一次ディスプレイパネルに結合された、画像センサを含むカメラ２４１０とを含む。外部モニタ２４３９は二次ディスプレイパネル２４２６を含み、外部モニタ２４３４も二次ディスプレイパネル２４３６を含む。ラップトップ２４１２にのみ、ユーザの存在および注意検出が有効である。ユーザは、３つのモニタのいずれにも関与し、集中し得る。ラップトップ２４１２が、ユーザの存在および注意検出が有効な唯一のシステムであるため、そのシステムのみが、ユーザの注意に基づき、即ち、そのディスプレイの視点に基づき、その内蔵ディスプレイパネルを減光またはオフにできる。ユーザが、そのラップトップディスプレイのみに関与し続ける場合、他の２つのモニタは給電され続ける。これらは、ポリシーに、ユーザの存在ベースの入力を一切提供しないためである。したがって、ディスプレイ管理は、ラップトップにおけるディスプレイパネルのみに適用され得る、または３つ全てのスクリーンに等しく適用され得る。
図２４Ａにおいて、２４０４Ａに示すように、ユーザの注意がラップトップ２４１２の一次ディスプレイパネル２４１６に向けられている場合、ラップトップ２４１２は、ユーザの顔と存在を検出し、両方の外部モニタ２４３９および２４３４もオンのままで電力およびエネルギーを使用しながら、システムの使用を可能にする、適切な動作モードを開始（または維持）し得る。ユーザの注意が中央のスクリーンに向いている場合、図２４Ｂにおいて２４０４Ｂに示すように、ラップトップ２４１２は、二次ディスプレイパネル２４３６がオンのままで電力およびエネルギーを使用した状態で、ディスプレイ管理をその一次ディスプレイパネル２４１６に適用し得る。これも、ユーザ体験の低下につながり得る。他の外部モニタがオンのままで、減光ポリシーを扱うことができるディスプレイは１つのみであるためである。同様に、ユーザの注意が中央のスクリーンに向いている場合、図２４Ｃの２４０４Ｃに示すように、ラップトップ２４１２は、中央のディスプレイパネル２４２６がオンのままで電力およびエネルギーを使用した状態で、ディスプレイ管理をその一次ディスプレイパネル２４１６に適用し得る。
本明細書に開示の、ユーザの存在および注意に基づく、複数のディスプレイおよびドッキングシナリオに対するディスプレイ電力管理は、これら問題を解決できる。本明細書に記載の実施形態は、全体的総合的ポリシーに応じて、各個別のディスプレイパネルをシームレスに管理するため、複数のディスプレイを扱うため、単一のディスプレイポリシーを拡張する。本明細書に開示の実施形態は、複数のディスプレイコンピューティングシステムにおいて、一次ディスプレイデバイス（例えば、モバイルコンピューティングデバイスにおける、内蔵ディスプレイパネルを含むリッド、デスクトップに接続されたモニタ）を有効にし、複数のディスプレイコンピューティングシステムにおける１または複数の二次ディスプレイ（例えば、外部モニタ）に、ユーザの存在および注意検出と、検出に基づく個別ディスプレイ管理を実行可能にする。したがって、ディスプレイデバイスの任意のディスプレイパネルは、ユーザの挙動に応じて減光および／またはオフにされ得る。複数のディスプレイパネル（例えば、コンピューティングデバイスの一次ディスプレイパネルと、コンピューティングデバイスに動作結合された外部モニタにおける１または複数の他のディスプレイパネル）を、一貫性を持って管理するようにポリシーを実装可能である。例は、複数のディスプレイデバイスのうちの任意のものから顔が検出されたことによりシステムを起動すること、特定のディスプレイデバイスに対するユーザ注意に基づいて適応的にディスプレイパネルを減光すること（例えば、バックライトを低減することによる）、ユーザが検出されるとディスプレイパネルがロックされることを防止すること（ユーザがコンピューティングシステムとインタラクトしていなかったとしても）、および、ディスプレイデバイスのうちの任意のものから使用がもはや検出されていない場合、コンピューティングシステムをロックすることに対応するようにポリシーを含み得る。
１または複数の実施形態において、ＬＣＨ１５５、２６０、３０５、９５４、１７０５、１８６０、２８３０Ａ、２８３０Ｂなどのリッドコントローラハブ、または少なくともその特定の機能を、複数のディスプレイおよびドッキングシナリオに対するユーザの存在および注意ベースのディスプレイ管理を実装するのに使用可能である。本明細書に開示の実施形態は、全てのディスプレイから（例えばそれぞれのＬＣＨを介して）受信した入力をインテリジェントに扱うことができる。これにより、ユーザの存在および注意データに基づき、各ディスプレイをシームレスに減光またはオフにする。１または複数の実施形態において、システムは、ユーザが座る前であっても、起動するようにトリガされ得る。さらに、各ディスプレイに対してカメラを使用することで、ユーザが検出され得る領域は拡大され得る。システムはさらに、ユーザが既にログオンしている場合、システムが一切使用される前にであっても、起動するようにもトリガされ得る。本明細書の実施形態はさらに、ユーザがシステムと積極的にインタラクトしていない場合でも、複数のディスプレイにおける任意のものにおけるユーザの存在に基づき、システムがディスプレイパネルを減光すること、またはシステムを低電力状態に設定することを防止することを実現する。したがって、２以上（または全ての）ディスプレイがユーザの存在および注意検出を提供できる場合に、省電力およびエネルギー実現、およびユーザ体験向上が可能である。
図２５を参照する。図２５は、複数のディスプレイデバイスを扱うために、全体的ポリシーを適用するため、ユーザの存在ベースのディスプレイ管理の実施形態を実装可能な複数のディスプレイシステム２５００のあり得る詳細を示す、簡略化されたブロック図である。１または複数の実施形態において、各ディスプレイデバイスは、自己のユーザの存在および注意入力を提供するように構成される。複数のディスプレイシステム２５００は、１または複数の追加的なディスプレイデバイスに接続されたラップトップまたは他の任意のモバイルコンピューティングデバイスなどの、コンピューティングデバイス２５０５を含み得る。少なくとも１つの例において、コンピューティングデバイス２５０５（およびそのコンポーネント）は、本明細書に開示の他のコンピューティングデバイス（およびそれらのコンポーネント）の例示的実装（例えば、１００、１２２、２００、３００、９００、１７００から２３００、２８００Ａ、２８００Ｂ）を示す。例示的システム２５００における追加的なディスプレイデバイスが、第１外部モニタ２５２０および第２外部モニタ２５３０において実施される。１つの可能な実装において、外部モニタ２５２０および２５３０は、ドッキングステーション２５５０を介して、コンピューティングデバイス２５０５にドッキングされ得る。ただし、他の実装も可能であることが明らかであろう。例えば、外部モニタ２５２０および２５３０は、コンピューティングデバイス２５０５に直接接続され得る（例えば、コンピューティングデバイス上のＨＤＭＩ（登録商標）ポートを介して）。または、他の任意の適切な手段を使用して、コンピューティングデバイス２５０５に接続され得る。
コンピューティングデバイス２５０５は、ベース２５０６と、リッド２５１０とにより構成可能である。システム・オン・チップ（ＳｏＣ）または中央処理ユニット（ＣＰＵ）などの処理要素２５０８が、ベース２５０６内に配置され得る。ディスプレイパネル２５１２およびユーザフェイシングカメラ２５１４がリッド２５１０内に配置され得る。外部モニタ２５２０および２５３０も、それぞれのディスプレイパネル２５２２および２５３２と、それぞれのカメラ２５３９および２５３４により構成され得る。
コンピューティングデバイスの一次ディスプレイデバイス（例えば、２５１２）と、コンピューティングデバイス（例えば、２５２０、２５３０）に接続された１または複数の追加的な外部（または二次）ディスプレイデバイス（１または複数）を含む、各ディスプレイデバイスは、本明細書に記載の１または複数のリッドコントローラハブ（例えば、ＬＣＨ１５５、２６０、３０５、９５４、１７０５、１８６０、２８３０Ａ、２８３０Ｂ）の特徴の一部または全部を含み得る、自身のビジョンベースのアナライザ集積回路（ＩＣ）により構成され得る。例えば、ビジョンベースのアナライザＩＣ２５４０Ａは、コンピューティングデバイス２５０５のリッド２５１０内に配置される。ビジョンベースのアナライザＩＣ２５４０Ｂは、第１外部モニタ２５２０内に配置される。ビジョンベースのアナライザＩＣ２５４０Ｃは、第２外部モニタ２５３０の外部に配置される。
ビジョンベースのアナライザＩＣ２５４０Ａ、２５４０Ｂ、および２５４０Ｃはそれぞれ、関連付けられたカメラにより生成された画像センサデータ基づいて、それらのそれぞれのカメラ２５１４、２５３９、および２５３４からの撮像視野におけるユーザの存在検出、顔検出、および顔の向き検出を実行可能な機械学習アルゴリズムを実行するために回路機構を含む。ビジョンベースのアナライザＩＣ２５４０Ａ、２５４０Ｂ、および２５４０Ｃは、それぞれのカメラ２５１４、２５３９、および２５３４により生成されたそれぞれの画像センサデータに基づき、それぞれの画像メタデータを生成し得る。所与のカメラに関連付けられた所与のビジョンベースのアナライザＩＣにより生成された画像メタデータは、ユーザが所与のカメラの視野内に存在するか、所与のカメラに関連付けられたディスプレイパネルに関与しているか、所与のカメラに関連付けられたディスプレイパネルには非関与か、および／または所与のカメラの視野内に存在しないかを示し得る。
ビジョンベースのアナライザＩＣ２５４０Ａ、２５４０Ｂ、および２５４０Ｃにより生成された画像メタデータは、ＳｏＣ２５０８に提供され得る。これは、複数のディスプレイデバイス２５１０、２５２０、および２５３０、ならびに複数のディスプレイデバイスがドッキングされたまたは他の方法で接続されたコンピューティングデバイス２５０５の電力レベルおよび／または性能レベルに影響する特定の性能パラメータの設定を選択的に制御可能である。ディスプレイデバイスについての設定は、各ディスプレイデバイスに対するユーザの存在、ユーザの不在、ユーザ関与、および／またはユーザ非関与に基づき定義されたポリシーに応じて制御され得る。専用カメラおよびビジョンベースのアナライザＩＣは、各ディスプレイデバイス（例えば、コンピューティングデバイスの一次ディスプレイデバイスおよび外部モニタ（１または複数）の二次ディスプレイデバイス）に対して実装されているため、ユーザの存在ベースのポリシーはより正確に管理され得る。ユーザの存在ベースのポリシーの例は、ユーザが検出された場合にシステムを起動する、ユーザの注意が向いていなければ適応的にディスプレイパネルを減光する、ユーザが存在する際にシステムをロックしない、およびユーザが不在の場合にシステムをロックするための顔および頭部の存在および向き検出を含み得るが、必ずしもこれに限られない。ディスプレイパネルに対するカメラに結合された各ビジョンベースのアナライザＩＣは、固有の視野からユーザがそのディスプレイデバイスに接近していることを示す入力を提供可能である。これは、システムの起動および顔認証のトリガに関して、精度および速度を向上可能である。また、ディスプレイデバイスを、各ディスプレイを個別におよびまとめて管理するにあたって、より精度を上げることができる（例えば、ユーザが非関与または存在しない場合にディスプレイパネルのバックライトを減光またはオフにする）。重要なことは、バックライトを調整することで、１または複数のディスプレイパネルが減光またはオフにできれば、および／または１または複数のディスプレイパネルについてディスプレイパネルリフレッシュレートおよびレンダリングが低減できれば、電力および性能を向上できる。少なくとも、複数のディスプレイコンピューティングシステムに対するディスプレイ管理の実施形態の文脈において、ディスプレイパネルに対してバックライトが提供されない場合、ディスプレイパネルのバックライトをより低い明るさに調整し、オフにすることでディスプレイパネルを減光可能である。なお、一方で、ディスプレイパネルが効果的にオフにされるようにディスプレイパネルにバックライトが提供されていなければ、カメラ２５１４、２５３９、および２５３４は、各カメラが画像を捕捉し、画像センサデータを生成し続けることができ、ビジョンベースのアナライザＩＣ２５４０Ａ、２５４０Ｂ、および２５４０Ｂが画像センサデータを評価し続けることができるように、「常時オン」用途用に構成され得る。
１または複数の実施形態において、複数のディスプレイシステム（例えば、２５００）における各ディスプレイデバイスに対して、専用ビジョンベースのアナライザＩＣが提供され得る。実施形態は、ビジョンベースのアナライザＩＣを、ディスプレイデバイスに一体化、またはディスプレイデバイスに対するアドオンデバイスとして構成可能とする。例えば、場合によっては、専用ビジョンベースのアナライザＩＣが、コンピューティングデバイスのリッド内、および外部モニタに内蔵され得る。ただし別のシナリオでは、ビジョンベースのアナライザＩＣは、ドングル、またはコンピューティングシステムにおける任意のディスプレイデバイスに接続され、共用可能な他の小デバイスとして構成され得る。例えば、システム２５００において、コンピューティングデバイス２５０５のリッド２５１０および第１外部モニタ２５２０はそれぞれ一体化されたビジョンベースのアナライザＩＣ２５４０Ａおよび２５４０Ｂを有し得る。ただし、第２外部モニタ２５３０は、アドオンビジョンベースの分析ＩＣ２５４０Ｃを有し得る。一例において、アドオンビジョンベースのアナライザＩＣ２５４０Ｃが自身のカメラと一体化され得、外部カメラが第２外部モニタ２５３０の適切な撮像視野の画像を捕捉するように配置されるように、第２外部モニタ２５３０のハウジングに取り付けられる。別の例において、第２外部モニタ２５３０は、アドオンビジョンベースのアナライザＩＣ２５４０Ｃが、カメラ２５３４などの、第２外部モニタに内蔵されたカメラに接続されることを可能にするポートと共に構成され得る。
図２６は、複数のディスプレイシステムにおけるカメラのあり得る視野を示す上平面図である。この例示的シナリオにおいて、第１ディスプレイデバイス２６１０、第２ディスプレイデバイス２６２０、および第３ディスプレイデバイス２６３０の上平面図が示されている。ディスプレイデバイスのうちの少なくとも１つは、コンピューティングデバイスの一部として構成され得る（例えば、コンピューティングデバイス２５０５のリッド２５１０）。他の２つのディスプレイデバイスは、外部モニタ（例えば、２５２０、２５３０）、またはコンピューティングデバイスに動作結合されたディスプレイパネルを含む他のデバイスとして実施され得る。第１ディスプレイデバイス２６１０は、第１ディスプレイパネル２６１２と、第１ユーザフェイシングカメラ２６１４とを含む。第２ディスプレイデバイス２６２０は、第２ディスプレイパネル２６２２と、第２カメラ２６３９とを含む。第３ディスプレイデバイス２６３０は、第３ディスプレイパネル２６３２と、第３カメラ２６３４とを含む。各カメラは、常時オン用途ように構成され得、その関連付けられたディスプレイパネルの方向を向き得る。カメラ２６１４、２６３９、および２６３４はそれぞれ、それぞれのディスプレイパネル２６１２、２６２２、または２６３２に結合された、それぞれのディスプレイデバイス２６１０、２６２０、または２６３０に外部から取り付けられた、および／またはそれぞれのディスプレイデバイスまたは関連付けられたコンピューティングデバイスの他の部分上に配置された、それぞれのディスプレイパネル２６１２、２６２２、または２６３２を囲うベゼル領域内に配置され得る。
少なくとも１つの実施形態において、各カメラは、撮像視野（ＦｏＶ）に関連付けられ、カメラの撮像ＦｏＶ内のユーザの存在を示し得る、移動および／または光を検出するための適切な画像センサを含み得る（またはそれに動作結合され得る）。例えば、第１カメラ２６１４は、破線２６１７および２６１９の間にわたる第１撮像ＦｏＶ２６１８に関連付けられる。第２カメラ２６３９は、破線２６２７および２６２９の間にわたる第２撮像ＦｏＶ２６２８に関連付けられる。第３カメラ２６３４は、破線２６３７および２６３９の間にわたる第３撮像ＦｏＶ２６３８に関連付けられる。図２６の例において、第１カメラ２６１４は、撮像ＦｏＶ２６１８内に視認可能な第１ディスプレイデバイス２６１０の周囲の領域の画像を表す画像センサデータを生成する。第２カメラ２６３９は、第２撮像ＦｏＶ２６２８内に視認可能な第２ディスプレイデバイス２６２０の周囲の領域の画像を表す画像センサデータを生成する。第３カメラ２６３４は、第３撮像ＦｏＶ２６３８内に視認可能な第３ディスプレイデバイス２６３０の周囲の領域の画像を表す画像センサデータを生成する。
図２６に示すように、複数のディスプレイシステムの配置によっては、撮像ＦｏＶは重複し得る。この例において、ディスプレイデバイス２６１０、２６２０、および２６３０に関連付けられた撮像ＦｏＶ２６１８、２６２８、および２６３８は、単一のカメラのＦｏＶよりも大きな拡張領域を生成するように重複し得る。ここで、ユーザの存在は、カメラ２６１４、２６３９、および２６３４の内の１または複数により検出され得る。なお、図２６に示す複数のデバイスは、略直線に沿って配置されるが、多数の他の構成も可能である。例えば、ディスプレイデバイスの内の任意のものが、ユーザの特定の希望および好みに基づいて、角度をつける、または回転し得る。異なる配置（例えば、角度、傾斜、位置）が、異なる視野および複数のカメラの視野の異なる重複部分に帰結し得る。
図２７Ａから図２７Ｃは、ディスプレイデバイスに対する、あり得るユーザ頭部／顔の向きを示す、上平面図である。この例示的シナリオにおいて、ディスプレイパネル２７１２およびユーザフェイシングカメラ２７１４を含むディスプレイデバイス２７１０が示される。さらにユーザ２７０２は、ユーザがディスプレイパネルを見ることができるように、ディスプレイパネル２７１２に対向して位置しているように示されている。この例において、ユーザ２７０２は、カメラ２７１４の視野（ＦｏＶ）内に存在する。したがって、カメラ２７１４により生成された画像センサデータは、ユーザ２７０２を表すデータを含み得る。図示のために、顔の向き２７０４Ａから２７０４Ｄは、ディスプレイパネル２７１２に対する、ユーザ２７０２の例示的視線方向を示す。１または複数の例において、顔の向きまたは視線方向は、ユーザの顔（例えば、鼻、両眼の間の中心点、唇の中心点など、ユーザの顔の中心）から垂直に延在する。ディスプレイデバイス２７１０は、コンピューティングデバイスの例示的なリッド（例えば、コンピューティングデバイス２５０５のリッド２５１０）、あるいはコンピューティングデバイスに動作結合されたディスプレイパネルを有する外部モニタ（例えば、２５２０、２５３０）または他のデバイスを示す。
１または複数の実施形態において、カメラ２７１４により生成された画像センサデータは、図２６を参照して説明するように、カメラの撮像視野（ＦｏＶ）内にユーザが存在するかを判定するために、ビジョンベースのアナライザＩＣ（例えば、２５４０Ａ、２５４０Ｂ、２５４０Ｃ）により分析され得る。さらに、カメラ２７１４の撮像ＦｏＶ内にユーザが存在すると判定されると、ビジョンベースのアナライザＩＣは、ディスプレイパネル２７１２に対するユーザ２７０２の顔の向きを判定し得る。機械学習アルゴリズム（１または複数）使用して、人間の顔特徴を認識するように、そして当該顔特徴の認識に基づき、ユーザの顔の向き、関連付けられたカメラの撮像視野（ＦｏＶ）内のユーザの頭部／顔の位置を判定するように、ビジョンベースのアナライザＩＣが訓練され得る。少なくとも１つの実施形態において、識別された顔の向き、およびユーザの顔および／または視線方向の最大回転角度を定義するパラメータから、ユーザの意図（例えば、関与、非関与）が推測可能である。
１または複数の実施形態において、ユーザ２７０２がディスプレイパネル２７１２に関与しているか、非関与かの判定は、ディスプレイパネル２７１２に対するユーザの顔の回転角度が、ユーザ２７０２と、ディスプレイパネル２７１２との間の第１レベル領域内かの判定により実現され得る。一例において、ディスプレイパネル２７１２に対するユーザの顔の回転角度は、直接ディスプレイ経路（例えば、２７０３）と、ユーザの顔の向きまたは視線方向（例えば、２７０４Ａから２７０４Ｄ）との間に定義された角度として計算され得る。直接ディスプレイ経路（例えば、２７０３）は、カメラ２７１４からユーザ２７０２への略直接的経路として定義され得る。カメラは、典型的にはディスプレイパネルに近接するためである。ユーザの頭部の向き（例えば、２７０４Ａから２７０４Ｄ）は、ユーザの顔（例えば、鼻、両眼の間の中心点、唇の中心点など、ユーザの顔の中心）から延在する垂直な方向に対応し得る。第１レベル領域は、ユーザの顔の、直接ディスプレイ経路の左への第１レベル最大回転角度と、ユーザの顔の、直接ディスプレイ経路の右への第１レベル最大回転角度との間の領域として定義され得る。１または複数の実装において、左への第１レベル最大回転角度は右への第１レベル最大回転角度と同じであり得、例えば４５度（４５°）であり得る。第１レベル最大回転角度は、少なくとも１つの実施形態においてユーザおよび／またはシステム構成可能であり得る。
図２７Ａから図２７Ｃに示すように、直接ディスプレイ経路２７０３と、顔の向き２７０４Ａから２７０４Ｄとが、ディスプレイパネル２７１２に対するユーザの顔の向きのあり得るシナリオを示し得る。ここから、ディスプレイパネル２７１２に対するユーザ２７０２の関与または非関与が推測可能である。一般的に、ユーザ２７０２がディスプレイパネル２７１２に向いている場合（ユーザがディスプレイパネル２７１２の真正面にいるか、またはカメラ２７１４の撮像ＦｏＶ内の或る他の位置にいるかにかかわらず）、ビジョンベースのアナライザＩＣは、ユーザが、ディスプレイパネルにレンダリングされたコンテンツに興味があり（例えば、関与しており）、コンピューティングデバイスの動作またはディスプレイパネル２７１２の明るさに悪影響があることを望まないと推測し得る。別のシナリオにおいて、ユーザ２７０２は、ユーザからディスプレイパネル２７１２への直接ディスプレイ経路に対して、いずれかの側を向いたが、完全にはディスプレイパネル２７１２と違う向きを向いてはいない場合、ビジョンベースのアナライザＩＣは、ユーザが現在、ディスプレイパネル２７１２上にレンダリングされたコンテンツに興味がないが（例えば存在するが非関与）、存在はしており、コンピューティングデバイスの動作に関与していると推測し得る。例えば、ユーザ２７０２は、カメラ２７１４に関連付けられた撮像ＦｏＶ内の自身のデスクに座っているが、ドッキングされた外部モニタの第２ディスプレイパネルを見るために脇を向いている可能性がある。したがって、ユーザはディスプレイパネル２７１２には非関与であり得るが、ユーザは外部モニタの第２ディスプレイパネル上にレンダリングされたコンテンツに興味があり得、したがって、コンピューティングデバイスの動作の継続を望み得る。この場合、ディスプレイパネル２７１２は、ユーザが自身の注意をディスプレイパネル２７１２に戻さないと仮定して、時間をかけて漸次的に減光され得る（例えば、バックライトの明るさが低減される）。しかし、外部モニタに関連付けられたビジョンベースのアナライザＩＣは、ユーザ２７０２が存在し、外部モニタにおける第２ディスプレイパネルに関与していると判定し得る。したがって、このシナリオにおいて、コンピューティングデバイスの動作と、外部モニタの第２ディスプレイパネルは悪影響を受けない（例えば、ディスプレイパネルの減光、ＳｏＣの低電力状態への移行）。一般的に、コンピューティングデバイスと、ディスプレイパネル２７１２と、外部モニタの第２ディスプレイパネルの性能は、推測されたユーザ２７０２の関与に基づき調整され得る。これにより、ユーザ体験（例えば、ユーザが関与している場合）を向上するために性能が向上する、または、節電のため、性能を落とす（例えば、ユーザが存在し、非関与である、または不在のいずれかの場合）。
少なくとも１つの実施形態において、ディスプレイパネル２７１２に対するユーザの存在、不在、関与、または非関与を示す画像メタデータが、ユーザの存在／不在および検出された人間の顔の顔の向きを識別することに基づいて生成され得る。この画像メタデータは、ディスプレイデバイス２７１０のビジョンベースのアナライザＩＣに通信可能に結合されたコンピューティングデバイスの処理要素（例えば、コンピューティングデバイス２５０５のＳｏＣ２５０８）に提供され得る。ユーザが関与している、非関与である、存在する、および／または不在であるかについてのインジケーションに、および１または複数の予め定義されたルールに基づいて、コンピューティングデバイスは、ディスプレイデバイス２７１０の電力レベルおよび／または性能レベルに影響する特定の性能パラメータについての設定を制御し得る。
図２７Ａに示す第１の例において、ビジョンベースのアナライザＩＣは、ユーザの顔の向き２７０４Ａが第１レベル領域２７１８内であるという判定に基づいて、ユーザ２７０２が存在し、ディスプレイパネル２７１２に関与していると判定し得る。一実装において、第１レベル領域２７１８は、直接ディスプレイ経路２７０３の左に４５度（４５°）および右に４５度（４５°）延在し得る。この例において、第１レベル領域２７１８は、右への第１レベル最大回転角度を示す破線２７１７と、左への第１レベル最大回転角度を示す破線２７１９との間で、約９０度（９０°）にわたり得る。ユーザの顔の向き２７０４Ａは、直接ディスプレイ経路２７０３との間に、破線２７１７により示される右への第１レベル最大回転角度未満の回転角度を成す。したがって、ユーザの顔の向き２７０４Ａは第１レベル領域２７１８内である。したがって、ビジョンベースのアナライザＩＣは、ユーザ２７０２が現在ユーザインタフェース（例えば、キーボード、タッチパッド、マウス、タッチスクリーン）とインタラクトしていなくても、ユーザ２７０２がディスプレイパネル２７１２に関与している（例えば、ディスプレイパネル２７１２上にレンダリングされたコンテンツに興味がある）と推定し得る。
図２７Ｂに示す第２の例において、ビジョンベースのアナライザＩＣは、ユーザの顔の向き２７０４Ｂまたは２７０４Ｃが第２レベル領域２７２８Ｂまたは２７２８Ｃ内であるという判定に基づいて、ユーザ２７０２が存在するが、ディスプレイパネル２７１２に関与していないと判定し得る。一実装において、第２レベル領域２７２８Ｂおよび２７２８Ｃはそれぞれ、第１レベル領域２７１８外に存在するが、直接ディスプレイ経路から左または右への第２レベル最大回転角度を超えて延在しない。一例において、直接ディスプレイ経路２７０３からの回転の第２レベル最大角度は、破線２７２９で示すように左に９０度（９０°）で、破線２７２７で示すように右に９０度（９０°）である。左右第２レベル領域はそれぞれ約４５度（４５°）にわたり得、破線２７１９および２７２９間と、破線２７１７および２７２７間に画定され得る。図２７Ｂの１つのシナリオでは、ユーザの顔の向き２７０４Ｃは、直接ディスプレイ経路２７０３との間に、破線２７１７により示される右への第１レベル最大回転角度と、破線２７２７により示される右への第２レベル最大回転角度との間の回転角度を成す。したがって、ユーザの顔の向き２７０４Ｃは第２レベル領域２７２８Ａ内である。したがって、このシナリオにおいて、ビジョンベースのアナライザＩＣは、ユーザ２７０２がディスプレイパネル２７１２に関与していないが、存在し、他のディスプレイデバイスに関与している可能性があると推定し得る。図２７Ｂの別のシナリオでは、ユーザの顔の向き２７０４Ｂは、直接ディスプレイ経路２７０３との間に、破線２７１９により示される左への第１レベル最大回転角度と、破線２７２９により示される左への第２レベル最大回転角度との間の回転角度を成す。したがって、ユーザの顔の向き２７０４Ｂは第２レベル領域２７２８Ｂ内である。したがって、このシナリオにおいて、ビジョンベースのアナライザＩＣは、ユーザ２７０２がディスプレイパネル２７１２に関与していないが、存在し、他のディスプレイデバイスに関与している可能性があると推定し得る。
図２７Ｃに示す第３の例において、ビジョンベースのアナライザＩＣは、ユーザの顔の向き２７０４Ｄが第３レベル領域２７３８内であるという判定に基づいて、ユーザ２７０２が存在しない、またはユーザが存在するが、ディスプレイパネル２７１２に対してユーザの顔が検出不能であると判定し得る。一実装において、第３レベル領域２７３８は、直接ディスプレイ経路から左または右への第２レベル最大回転角度を超えて延在し得る。１つの例において、第３レベル領域２７３８は右への第２レベル最大回転角度を示す破線２７２７と、左への第２レベル最大回転角度を示す破線２７２９との間で、約１８０度（１８０°）にわたり得る。ユーザ２７０２の顔が、カメラ２７１４とディスプレイパネル２７１２を向いていないので、カメラ２７１４により捕捉されていないためユーザの顔の向き２７０４Ｄが識別されない。したがって、ビジョンベースのアナライザＩＣは、ユーザ２７０２が存在しないと推測し得る。ただしいくつかのシナリオにおいて、ビジョンベースのアナライザＩＣは、ユーザ２７０２が存在するが（例えば、身体、後頭部のような他の検出可能な特徴に基づく）、ユーザの顔が検出不能であると推測し得る。これは例えば、ユーザの顔の向きが第２レベル領域内にある場合に適用される減光ポリシーよりも、より積極的な減光ポリシーを実装することが有用となり得る。
１または複数の実施形態において、追加的なレベル領域が定義され得る。この実施形態において、ユーザの顔の向きが、追加的なレベル領域内であると判定されると、ユーザの注意は未知となる。１つの可能な実装において、第１レベル領域２７１８および第２レベル領域２７２８Ａおよび２７２８Ｂのサイズを低減することで、図２７Ａから図２７Ｃに示す第１および第２レベル領域の間で左右に追加的なレベル領域が生成され得る。例えば、第１レベル領域（例えば、２７１８）は、右への第１レベル最大回転角度（例えば、３７°）、および左への第１レベル最大回転角度（例えば、３７°）の間の７４度（７４°）にわたり得る。右への第２（追加）レベル領域は、右への第１レベル最大回転角度（例えば、３７°）と右への第２レベル最大回転角度（例えば、３１°）との間の１５度（１５°）にわたり得る。左への第２（追加）レベル領域は、左への第１レベル最大回転角度（例えば、３７°）と左への第２レベル最大回転角度（例えば、３１°）との間の１５度（１５°）にわたり得る。右への第３レベル領域（例えば、２７２８Ａ）は、右への第２レベル最大回転角度（例えば、３１°）と右への第３レベル最大回転角度（例えば、９０°）との間の３８度（３８°）にわたり得る。左への第３レベル領域は、左への第２レベル最大回転角度（例えば、３１°）と左への第３レベル最大回転角度（例えば、９０°）との間の３８度（３８°）にわたり得る。第４レベル領域（例えば、２７３８）は、右への第３レベル最大回転角度（例えば、９０°）と左への第３レベル最大回転角度（例えば、９０°）との間の１８０度（１８０°）にわたり得る。
この例において、ユーザの顔の向きが追加的な第２レベル領域の１つ内にある場合、ディスプレイデバイスに対するユーザの関与のステータスが未知であるという判定がなされ得る。ユーザが未知のステータスを有するこのシナリオにおいて、ディスプレイ管理は特定の実装および必要に応じて、任意の適切な方法で扱われ得る。一例において、未知のステータスは、ディスプレイパネルが、減光が早すぎない、および／または望まないものとならないことを保証するために、それが漸次的に減光されることを防止し得る。いくつかの実装において、ユーザが未知のステータス向きに留まる時間を監視するために、タイマが起動され得る。閾値時間が経過すると、ディスプレイの明るさは、存在するが非関与のユーザに対して、即座に所定の最低ディスプレイ明るさレベルにまで低減され得る、または、ディスプレイデバイスに漸次的減光が適用され得る。他のレベル領域は、図２７Ａから図２７Ｃを参照に説明するのと同様にして、評価され得る。具体的にはユーザの顔の向きが第１レベル領域内であれば、ユーザはディスプレイパネルに関与していると推測され、通常／デフォルトレベルの明るさが、ディスプレイパネルに提供され得る。ユーザの顔の向きが第３レベル領域内であれば、ユーザが存在するが、捕捉された画像センサデータに関連付けられたディスプレイパネルには非関与であり、一方でユーザは他のディスプレイデバイスに関与し得ると推測される。このシナリオにおいて、バックライトの減光が漸次的にディスプレイパネルに適用され得る。ユーザの顔の向きが第４レベル領域内であれば、ユーザが存在しないか、ユーザの顔が検出不能であるという推測がなされる。このシナリオにおいて、ディスプレイパネルは即、オフにされ得る（例えば、全ての他のディスプレイデバイスが、ユーザが存在しないことを示す画像センサデータを提供する場合）、またはディスプレイパネルがオフになり、バックライトが提供されなくなるまで、積極的減光がディスプレイパネルに漸次的に適用され得る。
なお、ユーザの視野に関して本明細書で提供された特定の値（例えば、度、距離）は、あくまで図示を目的としたものである。そのような所与の値は実際に１または複数のシナリオで実装され得るが、当該値は、特定の必要および実装に基づいて、他の任意の適切な値に調整され得る。さらに、当該値は、ディスプレイデバイス毎に調整され得る。例えば、いくつかのシナリオにおいて、単一のワークステーション内で、いくつかのディスプレイデバイスの端にあるものなどの、特定のディスプレイデバイスが、第１レベル領域の回転範囲が、当該ディスプレイパネルがあまりに頻繁に減光されないことを保証するように拡大されることが望ましくなり得る。
図２８Ａから図２８Ｂは、ユーザの存在ベースのディスプレイ管理の実施形態が実装される、２つのディスプレイシステム２８００の例を示す。この２つのディスプレイシステム２８００は、コンピューティングデバイス２８０５と、コンピューティングデバイス２８０５に動作結合された外部モニタ２８２０とを含む。コンピューティングデバイス２８０５は、ベース２８０６と、リッド２８１０とを含み得る。この例において、リッド２８１０は、内蔵一次ディスプレイパネル２８１２と、画像センサを含むユーザフェイシングカメラ２８１４を含む。外部モニタ２８２０は、二次ディスプレイパネル２８２２と、画像センサを含むユーザフェイシングカメラ２８３９とを含む。この例において、カメラ２８１４および２８３９は、それらのそれぞれのリッドおよびモニタのベゼル領域内に内蔵される。ただし、これらカメラは、それらのそれぞれのリッドおよびモニタに、一体化される、または他の任意の適切な方法で、外部結合され得ることが理解されよう。図２８Ａから図２８Ｂも、ユーザ２８０２と、２つのディスプレイパネル２８１２および２８２２に向けられたあり得る注意を示す。
ユーザフェイシングカメラ２８１４および２８３９のそれぞれは、リッド／モニタハウジング内に配置され得る、または外部コネクタ（例えばドングル）によりリッド／モニタに動作結合され得る、それぞれのビジョンベースのアナライザＩＣ（例えば、ＬＣＨ１５５、２６０、３０５、９５４、１７０５、１８６０、２８３０Ａ、２８３０Ｂ、など、本明細書に記載のＬＣＨ、またはその特徴の一部を含む回路機構）に結合され得る。各ビジョンベースのアナライザＩＣは、その関連付けられたユーザフェイシングカメラの視野内に、ユーザが存在する、関与している、非関与である、または存在しないかを示す入力を、コンピューティングデバイス２８０５に提供するように構成され得る。所与のビジョンベースのアナライザＩＣからの入力は、その関連付けられたカメラ２８１４または２８３９により捕捉された画像に対して生成された画像センサデータに基づいて生成され得る。
図２８Ａは、２８０４Ａに示すように、一次ディスプレイパネル２８１２に向けられたユーザ２８０２の注意を示す。カメラ２８１４は、カメラ２８１４に固有の第１視野内の画像を捕捉できる。カメラ２８１４に結合された第１ビジョンベースのアナライザＩＣは、ユーザの存在と、ユーザの顔の向きとを検出するため、捕捉画像からの画像センサデータを使用し得る。その後、第１ビジョンベースのアナライザＩＣは、カメラ２８１４の第１視野に基づいて、ユーザが存在する、関与している、非関与である、または存在しないかを示す入力を、コンピューティングデバイス２８０５に提供し得る。カメラ２８３９は、カメラ２８３９に固有の第２視野内の画像を捕捉できる。カメラ２８３９に結合された第２ビジョンベースのアナライザＩＣは、第２視野からユーザの存在と、ユーザの顔の向きと検出するため、捕捉画像からの画像センサデータを使用し得る。その後、第２ビジョンベースのアナライザＩＣは、カメラ２８３９の第２視野に基づいて、ユーザが存在する、関与している、非関与である、または存在しないかを示す入力を、コンピューティングデバイス２８０５に提供し得る。
図２８Ａから図２８Ｂのデュアルディスプレイおよびドッキングシナリオで実装された実施形態は、ユーザが向いているかに応じて、適切なディスプレイを減光およびオフにする機能がある。例えば、図２８Ａにおいて、コンピューティングデバイス２８０５のリッド２８１０におけるディスプレイパネル２８１２に関連付けられたビジョンベースのアナライザＩＣは、ユーザの存在と、２８０４Ａに示す顔の向きとを検出し得る。一方、外部モニタ２８２０のディスプレイパネル２８２２に関連付けられたビジョンベースのアナライザＩＣは、ユーザの存在を検出するが、ユーザの顔が代わりにコンピューティングデバイス２８０５に向いているため、ユーザの注意は検出しないことがあり得る。したがって、コンピューティングデバイスは、コンピューティングデバイスと、その一次ディスプレイパネル２８１２との使用を可能にするように、適切な動作モードを開始（または維持）し得る。コンピューティングデバイスは、外部モニタへのユーザ注意を検出することなく、閾値時間が経過するまで、外部モニタ２８２０のディスプレイパネル２８２２を適応的に減光することもできる。閾値時間が経過すると、ユーザがコンピューティングデバイスおよびその内蔵ディスプレイパネル２８１２を使用し続けながら、ディスプレイパネル２８２２はオフにされ得る。
図２８Ｂにおいて、外部モニタ２８２０のディスプレイパネル２８２２に関連付けられたビジョンベースのアナライザＩＣは、ユーザの存在と、２８０４Ｂに示す顔の向きとを検出し得る。一方、コンピューティングデバイス２８０５のリッド２８１０におけるディスプレイパネル２８１２に関連付けられたビジョンベースのアナライザＩＣはユーザの存在を検出するが、ユーザの顔が代わりに外部モニタ２８２０に向いているため、ユーザの注意は検出しないことがあり得る。したがって、コンピューティングデバイスは、コンピューティングデバイスと、外部ディスプレイパネル２８２２との使用を可能にするように、適切な動作モードを開始（または維持）し得る。コンピューティングデバイスは、コンピューティングデバイスへのユーザ注意を検出することなく、閾値時間が経過するまで、コンピューティングデバイス２８０５のディスプレイパネル２８１２を適応的に減光することもできる。閾値時間が経過すると、ユーザがコンピューティングデバイスと外部モニタ２８２０を使用し続けながら、ディスプレイパネル２８１２はオフにされ得る。
コンピューティングデバイスが２以上の追加的な外部モニタに接続されている場合、ユーザの存在ベースのポリシーは、任意の数のディスプレイに適用され得る。図２９Ａから図２９Ｃは、ユーザの存在および注意に基づくディスプレイ管理が実装された、複数の例示的ディスプレイシステム２９００を示す。複数のディスプレイシステム２９００は、コンピューティングデバイス２９０５と、コンピューティングデバイス２９０５に動作結合された第１外部モニタ２９２０と、コンピューティングデバイス２９０５に動作結合された第２外部モニタ２９３０とを含む。コンピューティングデバイス２９０５は、ベース２９０６と、リッド２９１０とを含み得る。この例において、リッド２９１０は、内蔵一次ディスプレイパネル２９１２と、画像センサを含むユーザフェイシングカメラ２９１４とを含む。第１外部モニタ２９２０は、二次ディスプレイパネル２９２２と、画像センサを含むユーザフェイシングカメラ２９３９とを含む。第２外部モニタ２９３０も、二次ディスプレイパネル２９３２と、画像センサを含むユーザフェイシングカメラ２９３４とを含む。この例において、カメラ２９１４、２９３９、および２９３４は、それらのそれぞれのリッド／モニタのベゼル領域内に内蔵される。ただし、これらカメラは、それらのそれぞれのリッド／モニタに、一体化される、または他の任意の適切な方法で、外部結合され得ることが理解されよう。図２９Ａから図２９Ｃも、ユーザ２９０２と、複数のディスプレイパネル２９１２、２９２２、および２９３２に向けられたあり得る注意を示す。
ユーザフェイシングカメラ２９１４、２９３９、および２９３４のそれぞれは、リッド／モニタハウジング内に配置され得る、または外部コネクタ（例えばドングル）によりリッド／モニタに動作結合され得る、それぞれのビジョンベースのアナライザＩＣ（例えば、ＬＣＨ１５５、２６０、３０５、９５４、１７０５、１８６０、２８３０Ａ、２８３０Ｂ、など、本明細書に開示のＬＣＨ、またはその特徴の一部を含む回路機構）に結合され得る。各ビジョンベースのアナライザＩＣは、その関連付けられたユーザフェイシングカメラの視野内に、ユーザが存在する、関与している、非関与である、または存在しないかを示す入力を、コンピューティングデバイス２９０５に提供するように構成され得る。所与のビジョンベースのアナライザＩＣからの入力は、その関連付けられたカメラ２９１４、２９３９、または２９３４により捕捉された画像に対して生成された画像センサデータに基づいて生成され得る。
図２９Ａは、２９０４Ａに示すように、一次ディスプレイパネル２９１２に向けられたユーザ２９０２を示す。カメラ２９１４は、カメラ２９１４に固有の第１視野内の画像を捕捉できる。カメラ２９１４に結合された第１ビジョンベースのアナライザＩＣは、ユーザの存在と、ユーザの顔の向きとを検出するため、捕捉画像からの画像センサデータを使用し得る。その後、第１ビジョンベースのアナライザＩＣは、カメラ２９１４の第１視野に基づいて、ユーザが存在する、関与している、非関与である、または存在しないかを示す入力を、コンピューティングデバイス２９０５に提供し得る。カメラ２９３９は、カメラ２９３９に固有の第２視野内の画像を捕捉できる。カメラ２９３９に結合された第２ビジョンベースのアナライザＩＣは、第２視野からユーザの存在と、ユーザの顔の向きと検出するため、捕捉画像からの画像センサデータを使用し得る。その後、第２ビジョンベースのアナライザＩＣは、カメラ２９３９の第２視野に基づいて、ユーザが存在する、関与している、非関与である、または存在しないかを示す入力を、コンピューティングデバイス２９０５に提供し得る。カメラ２９３４は、カメラ２９３４に固有の第３視野内の画像を捕捉できる。カメラ２９３４に結合された第３ビジョンベースのアナライザＩＣは、第３視野からユーザの存在と、ユーザの顔の向きと検出するため、捕捉画像からの画像センサデータを使用し得る。その後、第３ビジョンベースのアナライザＩＣは、カメラ２９３４の第３視野に基づいて、ユーザが存在する、関与している、非関与である、または存在しないかを示す入力を、コンピューティングデバイス２９０５に提供し得る。
図２９Ａから図２９Ｃの複数のディスプレイで実装された実施形態は、ユーザがどこを向いているかに応じて、適切なディスプレイを減光およびオフにする機能がある。例えば、図２９Ａにおいて、コンピューティングデバイス２９０５のリッド２９１０におけるディスプレイパネル２９１２に関連付けられた第１ビジョンベースのアナライザＩＣは、ユーザの存在と、２９０４Ａで示された顔の向きとを検出可能である。外部モニタ２９２０のディスプレイパネル２９２２に関連付けられた第２ビジョンベースのアナライザＩＣは、ユーザの存在を検出するが、ユーザの顔が代わりにコンピューティングデバイス２９０５に向いているため、ユーザの注意は検出しない場合がある。同様に、外部モニタ２９３０のディスプレイパネル２９３２に関連付けられた第３ビジョンベースのアナライザＩＣは、ユーザの存在を検出するが、ユーザの顔が代わりにコンピューティングデバイス２９０５に向いているため、ユーザの注意は検出しない場合がある。したがって、コンピューティングデバイスは、コンピューティングデバイスと、その一次ディスプレイパネル２９１２との使用を可能にするように、適切な動作モードを開始（または維持）し得る。コンピューティングデバイスは、外部モニタ２９２０へのユーザ注意を検出することなく、閾値時間が経過するまで、外部モニタ２９２０のディスプレイパネル２９２２を適応的に減光することもできる。閾値時間が経過すると、ユーザがコンピューティングデバイスとその内蔵ディスプレイパネル２９１２を使用し続けながら、ディスプレイパネル２９２２はオフにされ得る。同様に、コンピューティングデバイスは、外部モニタ２９３０へのユーザ注意を検出することなく、閾値時間が経過するまで、外部モニタ２９３０のディスプレイパネル２９３２を適応的に減光することもできる。閾値時間が経過すると、ユーザがコンピューティングデバイスとその内蔵ディスプレイパネル２９１２を使用し続けながら、ディスプレイパネル２９３２はオフにされ得る。
図２９Ｂにおいて、外部モニタ２９２０のディスプレイパネル２９２２に関連付けられたビジョンベースのアナライザＩＣは、ユーザの存在と、２９０４Ｂで示された顔の向きとを検出可能である。コンピューティングデバイス２９０５のリッド２９１０におけるディスプレイパネル２９１２に関連付けられた第１ビジョンベースのアナライザＩＣは、ユーザの存在を検出するが、ユーザの顔が代わりに外部モニタ２９２０に向いているため、ユーザの注意は検出しない場合がある。同様に、外部モニタ２９３０のディスプレイパネル２９３２に関連付けられた第３ビジョンベースのアナライザＩＣは、ユーザの存在を検出するが、ユーザの顔が代わりに外部モニタ２９２０に向いているため、ユーザの注意は検出しない場合がある。したがって、コンピューティングデバイスは、コンピューティングデバイスと、その外部モニタ２９２０のディスプレイパネル２９２２との使用を可能にするように、適切な動作モードを開始（または維持）し得る。コンピューティングデバイスは、コンピューティングデバイスへのユーザ注意を検出することなく、閾値時間が経過するまで、コンピューティングデバイス２９０５のディスプレイパネル２９１２を適応的に減光することもできる。閾値時間が経過すると、ユーザが外部モニタ２９２０を使用し続けながら、ディスプレイパネル２９１２はオフにされ得る。コンピューティングデバイスは、外部モニタ２９３０へのユーザ注意を検出することなく、閾値時間が経過するまで、外部モニタ２９３０のディスプレイパネル２９３２を適応的に減光することもできる。閾値時間が経過すると、ユーザが外部モニタ２９２０を使用し続けながら、ディスプレイパネル２９３２はオフにされ得る。
図２９Ｃにおいて、外部モニタ２９３０のディスプレイパネル２９３２に関連付けられたビジョンベースのアナライザＩＣは、ユーザの存在と、２９０４Ｃで示された顔の向きとを検出可能である。コンピューティングデバイス２９０５のリッド２９１０におけるディスプレイパネル２９１２に関連付けられた第１ビジョンベースのアナライザＩＣは、ユーザの存在を検出するが、ユーザの顔が代わりに外部モニタ２９３０に向いているため、ユーザの注意は検出しない場合がある。同様に、外部モニタ２９２０のディスプレイパネル２９２２に関連付けられた第２ビジョンベースのアナライザＩＣは、ユーザの存在を検出するが、ユーザの顔が代わりに外部モニタ２９３０に向いているため、ユーザの注意は検出しない場合がある。したがって、コンピューティングデバイスは、コンピューティングデバイスと、外部モニタ２９３０のディスプレイパネル２９３２との使用を可能にするように、適切な動作モードを開始（または維持）し得る。コンピューティングデバイスは、コンピューティングデバイスへのユーザ注意を検出することなく、閾値時間が経過するまで、コンピューティングデバイス２９０５のディスプレイパネル２９１２を適応的に減光することもできる。閾値時間が経過すると、ユーザが外部モニタ２９３０を使用し続けながら、ディスプレイパネル２９１２はオフにされ得る。コンピューティングデバイスは、外部モニタ２９２０へのユーザ注意を検出することなく、閾値時間が経過するまで、外部モニタ２９２０のディスプレイパネル２９２２を適応的に減光することもできる。閾値時間が経過すると、ユーザが外部モニタ２９３０を使用し続けながら、ディスプレイパネル２９２２はオフにされ得る。
図３０は、複数のディスプレイコンピューティングシステム２５００などの複数のディスプレイコンピューティングシステムにおいて、ＳｏＣ３００２に動作結合されたビジョンベースのアナライザＩＣ３０２０の追加的なあり得る詳細を示すブロック図である。１または複数の例において、ＳｏＣ３００２は、図２５の複数のディスプレイコンピューティングシステム２５００の、コンピューティングデバイス２５０５におけるＳｏＣ２５０８のあり得る詳細を示す。１または複数の例において、ビジョンベースのアナライザＩＣ３０２０は、それぞれコンピューティングデバイス２５０５のリッド２５１０内、第１外部モニタ２５２０内、および複数のディスプレイコンピューティングシステム２５００の第２外部モニタ２５３０の外部に実装された、ビジョンベースのアナライザＩＣ２５４０Ａ、２５４０Ｂ、および２５４０Ｃのあり得る詳細を示す。したがって、ディスプレイデバイス３０１０は、ビジョンベースのアナライザＩＣ３０２０が実装され得る、あり得るディスプレイデバイスの内のいずれか１つを表すように図３０において示される。カメラ３０１４は、ディスプレイデバイス３０１０と一体化される、またはアドオンとしてディスプレイデバイスに結合され、ビジョンベースのアナライザＩＣ３０２０に通信可能に結合され得る。カメラ３０１４は、ユーザフェイシングであるように配置され、ディスプレイデバイス３０１０においてディスプレイパネルから外に広がる固有の撮像視野を有し得る。ハードニングされたインジケータおよび制御３０１２が、ディスプレイデバイス３０１０内に設けられ得、カメラ３０１４がどのように使用されているか（例えば、ＳｏＣ３００２で動作するソフトウェアにより、ビジョンベースのアナライザＩＣ３０２０により）を示すように発光ダイオード（ＬＥＤ）を含み得る。
一般的に、１または複数の実施形態において、ＳｏＣ３００２と、ビジョンベースのアナライザＩＣ３０２０とは、本明細書に記載の複数のディスプレイコンピューティングシステムに対するディスプレイ管理に関連付けられた異なる機能を実行し得る。いくつかの例において、ＳｏＣ３００２は、入力／出力（Ｉ／Ｏ）インタフェース（ＩＦ）３００４と、内蔵センサハブ（ＩＳＨ）３００６と、画像処理モジュール３００８とを含む。いくつかの例において、ビジョンベースのアナライザＩＣ３０２０は、ビジョン／撮像モジュール３０２６と、セキュリティモジュール３０２２と、セレクタ３０２４とを含む。ビジョン／撮像モジュール３０２６は、人間の顔（１または複数）および頭部／顔の向きを検出するための、処理画像センサデータをサポートする、人工知能ベースのビジョン処理ユニットである。画像センサデータは、ユーザフェイシングカメラ３０１４により捕捉された画像のシーケンスの各フレームに対して生成され得、ビジョン／撮像モジュール３０２６内にストリーミングされ、ここで、画像センサデータの各フレームについて、人間の顔（１または複数）および頭部／顔の向きが検出され、画像メタデータが生成され（例えば、ユーザの存在、不在、関与、および／または非関与を示す）、画像メタデータは、ＳｏＣ３００２のＩＳＨ３００６に送信される。いくつかの実施形態において、画像メタデータは、ディスプレイスクリーンからユーザが顔をそむけた場合（例えば、ユーザの顔の向きが第３レベル領域２７３８内にある）など、ユーザが存在するがユーザの顔が検出不能である場合を示し得る。１または複数の例において、カメラ３０１４は、画像データセンサファイル（またはフレーム）のストリームを、ニューラルネットワークアクセラレータ（ＮＮＡ）３０３０と、データベース３０４０などのストレージユニットを含み得るビジョン／撮像モジュール３０２６に送信できる。１または複数の例において、ＳｏＣ３００２およびビジョンベースのアナライザＩＣ３０２０、ならびにそのコンポーネントは、本明細書に開示の１または複数の他のＳｏＣ（例えば、１４０、３９０、３４０、９１４、１８４０、２８４０Ａ、２８４０Ｂ、２５０８）および／またはリッドコントローラハブ（例えば、１５５、２６０、３０５、９５４、１７０５、１８６０、２８３０Ａ、２８３０Ｂ）で提供されたのと同じ特徴の少なくとも一部により構成され得る。
ＮＮＡ３０３０は、ユーザがカメラの視野内に存在するかしないか、およびディスプレイデバイスに関与しているか非関与かを判定するため、ディスプレイデバイス３０１０に内蔵された、または結合されたカメラ３０１４により生成された画像センサデータの初期分析を実行するように構成され得る。ＮＮＡ３０３０は、カメラ３０１４から受信した画像センサデータにおいて人間の顔、顔の向き、および／または複数の顔を検出するため、機械学習アルゴリズム（例えば、ニューラルネットワーク）を利用し得る。ＮＮＡ３０３０は、人間の顔（１または複数）および顔の向き検出を実行するため、ハードウェア、ファームウェア、ソフトウェア、またはそれらの任意の適切な組み合わせを含み得る。ディスプレイデバイス３０１０に対する画像メタデータは、カメラ３０１４により画像センサデータが生成され、ＮＮＡ３０３０により分析される度に、生成され得る。画像メタデータは、カメラ３０１４の視野内にユーザが存在するかしないか、およびユーザがディスプレイデバイス３０１０に関与しているか非関与かを示し得る。
例示的ビジョンベースのアナライザＩＣ３０２０は、ＳｏＣ３００２とは別個のダイとして実装され得、「常時オン」実装に対して、比較的低電力（例えば、約１０ｍＷ）でこのビジョンベースの分析を実行するように具体的に設計される。ビジョンベースのアナライザＩＣ３０２０は、ビジョンベースのアナライザ２５４０Ａ、２５４０Ｂ、２５４０Ｃの一例示的実装で、ディスプレイデバイス３０１０内に実装され得る。ビジョンベースのアナライザＩＣ３０２０は、本明細書に開示のリッドコントローラハブ（ＬＣＨ）（例えば、ＬＣＨ１５５、２６０、３０５、９５４、１７０５、１８６０、２８３０Ａ、２８３０Ｂ）またはその一部として構成され得る。画像センサデータを分析して、分析に応じて画像メタデータを生成した後、ビジョン／撮像モジュール３０２６は、画像メタデータを、さらなる処理のために、（例えば、Ｉ２Ｃシリアルバスを介して）ＳｏＣ３００２の内蔵センサハブ（ＩＳＨ）３００６に送信し得る。一最適化において、画像メタデータは、カメラ３０１４により捕捉された新たな画像センサデータに対して生成された後続の画像メタデータとの比較のために、データベース３０４０に格納され得る。この最適化において、新たに生成された画像メタデータの、以前生成されてデータベース３０４０に格納されていた画像メタデータとの比較に基づいて、イベントが発生したという判定に応じてのみ、画像メタデータがＳｏＣに送信される。
ＩＳＨ３００６が、ディスプレイデバイス３０１０のビジョンベースのアナライザＩＣ３０２０から画像メタデータを受信すると、ＩＳＨは、ＳｏＣ３００２に対して適切な動作モードと、受信した画像メタデータに関連付けられたディスプレイデバイスと、ＳｏＣ３００２に動作結合された他のディスプレイデバイスとを識別し、それに応じて対応する性能パラメータを調整するために、画像メタデータを使用し得る。動作モードの例は、１）存在し関与、２）存在し受動的に関与、３）存在し非関与、４）不在の内の１または複数を含み得るが必ずしもこれに限定されない。
図示の例に示すように、ビジョンベースのアナライザＩＣ３０２０は、ビジョン／撮像モジュール３０２６に画像センサデータの初期低電力分析を実行可能にするため、カメラ３０１４と、ＳｏＣ３００２との間に通信可能に結合される。しかし、ユーザがカメラ３０１４（例えば、ビデオ会議通話用）の使用を伴う動作を開始すると、例示的なセレクタ３０２４が、画像センサデータを、ビジョン／撮像モジュール３０２６をバイパスして、直接ＳｏＣ３００２の画像処理ユニット３００８に転送し得る。
いくつかの例において、ビジョンベースのアナライザＩＣ３０２０は、ビジョンベースのアナライザＩＣ３０２０のセキュリティおよび／または一貫性を維持するために、セキュリティモジュール３０２２を含む。セキュリティモジュール３０２２は、エンドユーザに、ユーザフェイシングカメラ３０１４の完全可視性および制御を提供し得る。いくつかの実装において、セキュリティモジュール３０２２はＩ／Ｏインタフェース３００４を介して、ＳｏＣ３００２と通信し得る。しかし、セキュリティモジュール３０２２は、認証されることなくＳｏＣ３００２に、カメラ３０１４の撮像視野内に捕捉されたものを示す画像センサデータが開示されないことを保証する。例えば、ユーザは、ビデオ通話のビデオフレームを認証する選択肢を有し得る。さらに、セキュリティモジュール３０２２は、ユーザの把握（例えば、ハードニングされたインジケータおよび制御３０１２を介して）または制御（例えば、プライバシースイッチを介して）無しで、マルウェアの可能性があるものにより、画像センサデータがアクセスできないことを保証する。具体的には、ハードニングされたインジケータおよび制御３０１２は、セレクタ３０２４の現在の状態（例えば、ノーマル、ＵＬＰビジョン、またはプライバシーモード）が、インジケータに適切に反映されることを保証し得る。画像センサデータを受信することに加え、ビジョンベースのアナライザＩＣ３０２０はさらに、ハードニングされたインジケータおよび制御３０１２に対する入力を受信し、適切な信号を、汎用入力／出力（ＧＰＩＯ）を介してＬＥＤに提供し得る。
図３１は、ビジョンベースのアナライザＩＣ３０２０のビジョン／撮像モジュール３０２６と、ＳｏＣ３００２の内蔵センサハブ（ＩＳＨ）３００６との追加的なあり得る詳細を示すブロック図である。ビジョン／撮像モジュール３０２６は、ＮＮＡ３０３０と、データベース３０４０と、画像処理アルゴリズム３０３９とを含み得る。ＩＳＨ３００６は、ディスプレイ管理ポリシー３００１と、性能コントローラ３００３と、動作モードセレクタ３００５と、および動作モード定義／ルール３００７とを含み得る。
ＮＮＡ３０３０は、人間の顔、頭部／顔の向き、およびマルチ顔検出用に調整された、畳み込みニューラルネットワーク（ＣＮＮ）などの１または複数のディープニューラルネットワーク（ＤＮＮ）を実装し得る。少なくとも１つの実施形態において、ニューラルネットワークは、人間の顔と顔の向きとを認識するように訓練された機械学習モデルを使用して実装され得る。少なくとも１つの例において、機械学習モデルは、人間の顔の向きを回転度で識別するように訓練される。少なくとも１つの実施形態において、回転度は、人間の顔と、カメラが内蔵または結合されたディスプレイデバイスとの間の経路から測定され得る。機械学習エンジン３０５０は、訓練用画像データ３０５２を使用して、機械学習モデルを訓練し得る。例示的訓練用画像データ３０５２は、特定の単数または複数のユーザおよび／または複数の他の人間の被写体に対する、過去の画像データを含み得る。機械学習エンジン３０５０は、訓練済みモデルが提供可能な、またはビジョンベースのアナライザＩＣ３０２０などの適切なビジョンベースのアナライザＩＣによりアクセス可能な、ローカルまたはリモートサーバ内、クラウド内、または他の任意の適切なシステムまたはデバイスにおいて、モデルを使用しているビジョンベースのアナライザＩＣに関連付けられたコンピューティングデバイス（例えば、２５０５）内で動作し得る。
訓練用画像データ３０５２は、任意の適切なストレージユニットまたはメモリ内に格納され得る。いくつかの例において、訓練用画像データ３０５２は、機械学習エンジン３０５０が格納されたおよび／または動作しているのと同じシステムまたはデバイスに格納され得る。別の例において、訓練用画像データ３０５２は、機械学習エンジン３０５０が格納されたおよび／または動作しているシステムまたはデバイスの外部に格納され得、一方で機械学習エンジン３０５０からアクセス可能な位置にあり得る。
訓練済みモデルは、人間の顔（単数または複数）を検出し、人間の顔の向きを判定するようにＮＮＡ３０３０により使用されるために、データベース３０４０に格納され得る。例えば、顔検出モデル（１または複数）３０４４および顔の向きモデル（１または複数）３０４６がデータベース３０４０内に格納され得る。
１または複数の例において、ＮＮＡ３０３０は、人間の顔検出器３０３４と、顔の向き検出器３０３６と、マルチ顔検出器３０３８とを含み得る。人間の顔検出器３０３４は、ユーザフェイシングカメラ３０１４により生成された画像センサデータから、ビジョンベースのアナライザＩＣ３０２０が配置されたディスプレイデバイスの前部分を囲う固有の撮像ＦｏＶから、人間の顔を識別するように、顔検出モデル（１または複数）３０４４を使用し得る。画像センサデータ内に人間の顔を検出することは、撮像ＦｏＶ内にユーザが存在することを示すものである。画像センサデータ内に人間の顔を検出しないことは、撮像ＦｏＶ内にユーザが存在しない（または不在である）ことを示すものである。人間の顔検出器３０３４はさらに、画像センサデータを生成したカメラから、検出されたユーザの顔への距離を判定するために使用できる情報を生成し得る。一例において、人間の顔検出器３０３４のニューラルネットワークは、人間の顔の検出の一部として、人間の頭部のバウンディングボックスを予測するように訓練され得る。バウンディングボックスが判定され、人間の顔が認識されると、バウンディングボックスのサイズに基づいて、カメラへのユーザ（例えば、ユーザの顔）の距離が判定され得る。いくつかの実装において、この判定は、ＮＮＡ３０３０により実行され得る。他の実装において、ディスプレイデバイスに関連付けられたカメラへの、検出された人間の顔の距離を判定するために、バウンディングボックス情報が画像処理アルゴリズム３０３９に提供され得る。
人間の顔が検出されると、顔の向き検出器３０３６は顔の向きを判定するために、顔の向きモデル（１または複数）３０４６を使用し得る。一例において、顔の向きは、カメラ３０１４を向くユーザと、検出された人間の顔との間の経路に対する度合いにより提供され得る。顔の向きは、画像センサデータにおける顔特徴（例えば、見えている耳の数、見えている眼の数）の識別に基づいて判定され得る。顔の向きは、画像センサデータを生成した、カメラに関連透けられた特定のディスプレイデバイスに対して、ユーザが関与しているかまたは非関与かを推測するのに使用され得る。一例において、本明細書において上述したように、ユーザの顔の向きがレベル１領域内にあれば、カメラ３０１４に関連付けられたディスプレイデバイスに、ユーザが関与していると推測され得る。ユーザの顔の向きがレベル２領域内にあれば、カメラ３０１４に関連付けられたディスプレイデバイスに、ユーザが関与していないが、同じコンピューティングデバイスにドッキングされた、または他の方法で接続された他のディスプレイデバイスに関与し得ると推測され得る。ユーザの顔の向きがレベル３領域内にあれば、カメラ３０１４に関連付けられたディスプレイデバイスに、または同じコンピューティングデバイスにドッキングされた、または他の方法で接続された他の任意のディスプレイデバイスに、ユーザが関与していないと推測され得る。いくつかの実装において、これら推測は、ＮＮＡ３０３０により判定され得る。他の実装において、これら推測は、画像処理アルゴリズム３０３９により判定され得る。
１または複数の実施形態において、ＮＮＡ３０３０はさらに、ユーザフェイシングカメラ３０１４により生成された画像センサデータ内で、その固有の撮像ＦｏＶから、複数の顔を検出するように、マルチ顔検出器３０３８を含み得る。少なくとも１つの実施形態において、顔検出モデル（１または複数）３０４４は、単一の画像の画像センサデータにおける複数の人間の顔を検出するように訓練され得る。別の実施形態において、顔検出モデル（１または複数）３０４４が、単一の人間の顔を検出するように訓練され得、他のモデルがマルチ顔検出用に訓練され得る。複数の人間の顔が検出されると、少なくとも１つの実施形態において、各検出された顔は、顔の向きと、検出された顔に関連付けられたユーザがディスプレイデバイスに関与しているかとを判定するように分析され得る。カメラ３０１４に関連付けられたディスプレイデバイスのディスプレイパネルを減光および／またはオフにすることは、検出された全ての人間の顔が、ディスプレイデバイスとは非関与であると判定された場合にのみ実行され得る。
画像処理アルゴリズム３０３９は、ＮＮＡ３０３０の一部としてビジョン撮像モジュール３０２６内に提供される、または個別に実装され得る。画像処理アルゴリズム３０３９は、回路機構内で実装され得、ハードウェア、ファームウェア、ソフトウェア、またはそれらの任意の適切な組み合わせを含み得る。画像処理アルゴリズム３０３９は、カメラ３０１４により捕捉された画像の新たな画像メタデータを生成するために、画像センサデータの現在のフレームに基づき、人間の顔検出器３０３４、顔の向き検出器３０３６、およびマルチ顔検出器３０３８により生成された情報を使用し得る。新たな画像メタデータは、捕捉された画像を示す現在の画像センサデータ内に、ユーザが存在する、存在しない、関与している、または関与していないかを示し得る。新たな画像メタデータが生成されると、画像処理アルゴリズム３０３９は、新たな画像メタデータを、データベース３０４０に格納された以前の画像メタデータ３０４２と比較することで、カメラ３０１４に関連付けられたディスプレイデバイスに対するユーザの存在、不在、関与または非関与に関連するイベントが生じたことを、２つの画像メタデータバイナリ（またはファイル）間の任意の変化が示すかを判定し得る。以前の画像メタデータ３０４２は、新たな画像メタデータが生成された画像センサデータのフレームを受信する直前に、ビジョン／撮像モジュール３０２６により受信された画像センサデータのフレームに基づいて生成された画像メタデータを示し得る。
比較に基づいて、イベントが発生したと判定された場合、ビジョン／撮像モジュール３０２６は、新たな画像メタデータのコピーを、データベース３０４０に、以前の画像メタデータ３０４２として格納し、新たな画像メタデータをＩＳＨ３００６に送信し得る。比較に基づいて、イベントが発生していないと判定された場合、少なくとも１つの実施形態において、省処理リソースのため、新たな画像メタデータが、ＩＳＨ３００６に送信されなくてよい。しかしここでも、新たな画像メタデータは、以前の画像メタデータ３０４２として、データベース３０４０内に格納されてもよい。
１または複数の実施形態において、ＳｏＣ３００２のＩＳＨ３００６は、ビジョン／撮像モジュール３０２６から画像メタデータを受信し、画像メタデータに基づいて、適切なポリシーを適用し、受信した画像メタデータに関連付けられたディスプレイデバイスと、おそらくはディスプレイデバイスにドッキングされたまたは他の方法で接続されたコンピューティングデバイスとに対して適切な動作モードを選択し、必要であれば、選択された動作モードに基づいて、性能パラメータを調整するように構成される。
動作モード定義／ルール３００７は、各ディスプレイデバイスに対して生成された画像メタデータに個別に基づいて、各ディスプレイデバイス（例えば、２５１０、２５２０、２５３０）に適用され得る、様々な動作モードを含み得る。画像メタデータと、受信したメタデータに対して適用可能なポリシーに基づいて、適切な動作モードが選択され、受信した画像メタデータに関連付けられたディスプレイデバイスに適用され得る。一例において、特定のディスプレイデバイスに適用され得る動作モードは、以下を含み得るが、それに必ずしも限定されない。
関与動作モード－画像メタデータが、ユーザが存在し関与していることを示す。ユーザが検出され、視線方向が、ディスプレイデバイスに対してレベル１領域内にある（例えば、ユーザは読んでいる、またはディスプレイデバイス上のビデオを観ている状態であり得る）。
適応減光動作モード（通常または積極的）－画像メタデータが、ユーザが存在し非関与であることを示す。ユーザが検出されたが、ディスプレイデバイスに対して関与していない（しかし、コンピューティングシステムにおける他のディスプレイデバイスに関与し得る）。
不在動作モード－画像メタデータが、ユーザが存在しない、またはユーザの顔が検出不能であることを示す。ユーザの顔が検出されない。
なお、コンピューティングデバイスのＳｏＣまたは他の処理要素に対する動作モードなど、他の動作モードも使用され得ることが理解されたい。これら他の動作モードは、本明細書に記載のディスプレイデバイスに対する動作モードと共に使用され得る。
１または複数の実施形態において、性能コントローラ３００３は、コンピューティングデバイス２５０５と、コンピューティングデバイスにドッキングされた、または他の方法で接続された複数のディスプレイデバイス２５１０、２５２０、および２５３０の、電力消費、性能、および／またはシステム反応性を司る、性能パラメータを制御し得る。性能パラメータは、コンピューティングシステム２５００における１または複数のディスプレイデバイス２５１０、２５２０、２５３０に対するユーザの存在および／または関与の判定に応じて調整され得る。例えば、性能コントローラ３００３は、システムにおけるディスプレイデバイスの１つが、ユーザが接近していることを検出すると、システムを起動するように性能パラメータを制御し得、顔ベース認証をトリガし得る。別の場合において、性能コントローラ３００３は、ユーザが特定のディスプレイデバイスが関与していないと判定された場合、特定のディスプレイデバイスに対するバックライトを減光するように性能パラメータを制御し得る。バックライトは、ディスプレイデバイスに対してユーザが非関与の所定期間に基づいて、漸次的に減光され得る（例えば、バックライトの明るさが低減される）。別の例において、性能コントローラ３００３は、コンピューティングシステムにおける複数のディスプレイから、ユーザが立ち去ったことを判定したら迅速に、コンピューティングシステムをロックするように性能パラメータを制御し得る。さらに別の例において、性能コントローラ３００３は、コンピューティングシステムの少なくとも１つのディスプレイデバイスが、ユーザが存在し、関与していると検出した場合、ユーザがキーボード、マウス、タッチパッドなどのようなユーザインタフェースとインタラクトしていなくても、ＳｏＣによるシステムをロックしようとするあらゆる試みを止めるように、性能パラメータを制御し得る。
ビジョン／撮像モジュール３０２６から受信した画像メタデータに基づいて、ＳｏＣ３００２により様々なディスプレイ管理ポリシー３００１が実装され得る。例示的ディスプレイ管理ポリシー３００１は、顔起動ポリシー、適応減光ポリシー、存在確認時非ロックポリシー、不在時ロックポリシーを含み得るが、これに限定されない。複数のディスプレイコンピューティングシステムにおいて、顔起動ポリシーは、ユーザがコンピューティングシステムに接近し、各ディスプレイデバイスに関連付けられたカメラの１または複数の視野に入ったことに応じて呼び出され得る。顔起動ポリシーが呼び出されると、コンピューティングシステムが起動し、顔からベースの認証（例えば、Ｗｉｎｄｏｗｓ Ｈｅｌｌｏ（登録商標）認証ソフトウェア）がトリガされる。したがって、コンピューティングシステムは、ユーザがディスプレイデバイスのいずれかの前に座る前に、またはコンピューティングシステムと（例えば、ユーザインタフェース機構、声を介して）インタラクトする前に、準備できている。複数のディスプレイコンピューティングシステムについて、ユーザが最初に関与するディスプレイデバイス（例えば、当該ディスプレイデバイスに自身の注意を向ける）が、コンピューティングシステムを起動するようにトリガする。複数のディスプレイコンピューティングシステムにおける他のディスプレイデバイスは、ユーザがコンピューティングシステムへログイン成功がするまで、オフのままとなる。複数ディスプレイ顔起動ポリシーは、ユーザがコンピューティングシステムに接近して見るより大きな面積をカバーする。各ディスプレイデバイスは、異なる撮像視野を有する関連付けられたカメラを備えるため、複数のディスプレイコンピューティングシステムの周りの、移動および光が検出可能で、画像が捕捉可能な領域は、単一のディスプレイコンピューティングシステムよりも広くなる。これは、特に異なる方向から作業領域に入り得るユーザに対して、よりロバストなソリューションを創り出す。
１または複数の実施形態において、適応減光ポリシーは、ディスプレイパネルのバックライトを、ユーザの注意が向いていない、定義された期間にわたって漸次的に減光し、さらにユーザがもはや存在しなくなるとディスプレイデバイスをオフにするように、複数のディスプレイコンピューティングシステムで呼び出され得る。適応減光ポリシーが呼び出されると、特定のディスプレイデバイスに対して、通常または積極的減光動作モードが選択され得る。このポリシーを実装することで、大幅なバッテリ寿命延長が実現され得る。ビジョンベースのアナライザＩＣが実装された各ディスプレイデバイスについて、ディスプレイデバイス毎に省電力と反応性が最適化され得る。例えば、ユーザが関与して、ユーザの真正面の第１ディスプレイデバイスを見ている場合、ユーザが見ていない他の任意のディスプレイ上のディスプレイを減光するように調整され得る。一実装において、適応減光ポリシーは、ユーザが非関与になったディスプレイパネルをある期間にわたって漸次的に減光することと、ユーザの顔が向かなくなった（例えば、いずれかの方向に、顔の向き＞９０°）ディスプレイパネルをオフにすることを含み得る。このポリシーは、一体化またはアドオンビジョンベースのアナライザＩＣ３０２０（またはＬＣＨ１５５、２６０、３０５、９５４、１７０５、１８６０、２８３０Ａ、２８３０Ｂ、など）を有する、任意の数の追加的な外部ディスプレイデバイスに適用され得る。ディスプレイデバイスのディスプレイパネルを減光し、オフにするとともに、リフレッシュレートも管理できる。例えば、ユーザが非関与となった任意のディスプレイパネルについてリフレッシュレートが下げられ得る。したがって、ＳｏＣ３００２は、リフレッシュレートを低減し、レンダリングを低減することで性能を最適化するように、適応減光ポリシーを適用できる。
１または複数の実施形態において、ユーザが存在する場合、ユーザが積極的にタイピングを行ったりマウスを動かしていなかったり、またはユーザが非関与であったりしても、コンピューティングシステムがロックされたり、そしてディスプレイデバイスがオフにされたりすることを防止するように、複数のディスプレイコンピューティングシステムで存在時非ロックポリシーが呼び出され得る。存在時非ロックポリシーが呼び出されると、ユーザが関与していれば、特定のディスプレイデバイスに対して、関与動作モードが選択され得る（または変更されない）。このシナリオは、例えば、ユーザが長い文書を読んでいるまたは埋め込まれたビデオを観ているときに生じ得る。ユーザが非関与であれば、特定のディスプレイに対して非関与動作モードが選択され得る（または変更されない）。一方、コンピューティングシステムがロックされることを防止し、バックライトが完全にオフになることを防止するように、存在時非ロックポリシーが呼び出され得る。したがって、複数のディスプレイコンピューティングシステムの少なくとも１つの実施形態において、少なくとも１つのディスプレイデバイスからの画像メタデータが、ユーザが存在するが、関与（例えば、いずれの方向にも、顔の向きが≦４５°の間）、または非関与（例えば、いずれの方向にも、顔の向きが＞４５°で≦９０°）のいずれかであることを示す場合、コンピューティングシステムがロックされない。
１または複数の実施形態において、ユーザが、非アクティブタイムアウトが経過する前に立ち去った場合に、ディスプレイデバイスをオフにして、迅速にコンピューティングシステムをロックするため、複数のディスプレイコンピューティングシステムにおいて不在時ロックポリシーが呼び出され得る。不在時ロックポリシーが呼び出されると、特定のディスプレイデバイスそれぞれに対して不在動作モードが選択され得る。非アクティブタイムアウトは一般的に約５分で、ユーザのコンピューティングシステムとのインタラクション（例えば、マウス、タッチパッドなどのユーザインタフェースを介する）がないことに基づいて実行され得る。特定のアプリケーション（例えば、埋め込みビデオ）が動作中は、非アクティブタイムアウトが一切生じなくてよい。１または複数の実施形態において、複数のディスプレイコンピューティングシステムは、全てのディスプレイデバイスが、ユーザの不在を示す場合に（例えば、ユーザが不在である、またはいずれの方向にも、顔の向き＞９０°）、コンピューティングシステムをロックし、全てのディスプレイデバイスをオフにするように構成され得る。
複数のディスプレイコンピューティングシステムに対するディスプレイ管理の実施形態は、ユーザ体験向上を提供する。追加的なユーザの存在入力からの精度向上により、ユーザ接近を検出可能な第１ディスプレイがシステムを起動可能であるため、実施形態は、ユーザが自身のシステムに接近したことをより迅速にかつシームレスに検出可能とする。さらに、複数の入力に関して精度向上が図られる。適応減光は、ユーザが関与していないラップトップディスプレイまたは追加的な外部ディスプレイのいずれかをオフにすることで、省エネルギーおよび電力を提供する。この省電力は、２９から１００Ｗ程度になり得る。この大幅な省エネルギーは、ワイヤレスディスプレイのシナリオにも適用され得る。
複数のディスプレイコンピューティングシステムのディスプレイ管理の実施形態は、追加的な外部モニタを、ユーザがそれら外部モニタの１または複数に非関与である場合に駆動する必要がないため、リフレッシュレートおよびレンダリングを低減でき、性能が最適化可能となる。典型的には、高解像度ディスプレイは、処理およびレンダリング用のＧＰＵオーバヘッドへのレンダリングタックス、データ構成および送信用の、グラフィックおよびディスプレイエンジンのディスプレイタックス、および熱的に規制を受けるフォームファクターへのＣＰＵバジェットの影響を含む高コストに直結する。バッテリ寿命測定ツールによる分析は、外部４Ｋディスプレイへの取り付け時に≧５０％の性能ロスを示した。
不要に追加的なディスプレイデバイスを駆動する必要がなければ、レンダリングおよびリフレッシュレートを大幅に下げられ得る。ユーザが非関与または不在時に、リフレッシュレートおよびディスプレイレンダリングを適時低減することで、ディスプレイ電力およびエネルギーは、特定の州の政策（例えば、カリフォルニア州エネルギー政策およびエネルギースター規格）に適合する（延いてはそれを超越する）ことができる。さらに、特定の機能（例えば、顔起動、適応減光、存在時非ロック、不在時ロック）に対するユーザ体験の最適化に合わせて、相関ポリシーの問題も適切に扱われ得る。相関ポリシーは、ユーザが存在し関与しているか、非関与であるか、または存在しないかに相関した、ユーザ入力イベント（ＨＩＤ）がある場合を含み得る。実施形態は、ユーザ入力イベントを待つ必要なく、ユーザが存在し関与しているかまたは非関与／存在しないかを正確に示すように、複数のディスプレイコンピューティングシステムシナリオについてこの問題を解消し得る。具体的には、実施形態は、どのディスプレイが、電力エネルギー、および性能の効果的な管理と相関していないかを示し得る。
図３２から図３７を参照すると、簡略化されたフローチャートが、ユーザの存在および注意ベースのディスプレイ管理が実装された複数のディスプレイコンピューティングシステム２５００の実施形態に関連付けられ得る、例示的なハードウェアロジック、機械可読命令、ファームウェア、ソフトウェア、またはそれらの任意の適切な組み合わせを示す。少なくとも１つの実施形態において、動作の組は図３２から図３７のフローチャートに示す動作に対応する。一例において、リッド制御ハブ（例えば、１５５、２６０、３０５、９５４、１７０５、１８６０、２８３０Ａ、２８３０Ｂ）、またはその一部（例えば、ビジョンベースのアナライザ集積回路（例えば、２５４０Ａ、２５４０Ｂ、２５４０Ｃ、３０２０））が、動作の少なくとも一部を利用または実行し得、ＳｏＣ（例えば、１４０、３９０、３４０、９１４、１８４０、２８４０Ａ、２８４０Ｂ、２５０８、３００２）が、動作の少なくとも一部を利用または実行し得る。図示簡略化のため、図３２から図３７のフローチャートは、図２５および図３０のコンポーネントを参照にして説明され得る。しかし、これらコンポーネントは、本出願を通じて、さらに図示および説明され、これら図示および説明のうちの１または複数は、図３２から図３７に関して参照されるコンポーネントに適用可能であることが理解および受け入れられよう。
図３２は、少なくとも１つの実施形態に係る複数のディスプレイコンピューティングシステム（例えば、２５００）においてユーザの存在を検出することに関連付けられた例示的プロセス３２００の高次フローチャートである。少なくとも１つの実施形態において、動作の組は、例示的プロセス３２００の動作に対応する。一例において、動作は、複数のディスプレイコンピューティングシステムのディスプレイデバイス（例えば、３９１、３４１、２５１０、２５２０、２５３０、３０１０）内に配置されたビジョン／撮像モジュール（例えば、１７２、２６３、３６３、１７４０、１８６３、２８３２Ａ、２８３２Ｂ、３０２６）、およびディスプレイデバイスに関連付けられたカメラ（例えば、２５１４、３０１４）により実行され得る。より具体的には、ニューラルネットワークアクセラレータ（例えば、２７６、３２７、１７４０、１８６３、２８３４Ａ、２８３４Ｂ、３０３０）が動作の１または複数を実行し得る。
３２０２において、ディスプレイデバイス３０１０に関連付けられたカメラ３０１４の視野（ＦｏＶ）内の移動が検出され得る。いくつかの実装において、移動の検出は、カメラに一体化された、またはカメラ３０１４に通信可能に結合された撮像センサにより実行され得る。３２０４において、カメラは、カメラに関連付けられたＦｏＶ内で新たな画像（またはフレーム）を捕捉する。カメラは、新たな画像（またはフレーム）に対する画像センサデータを生成し、画像センサデータがディスプレイデバイス３０１０に関連付けられたビジョンベースのアナライザＩＣ３０２０に提供される。より具体的には、少なくとも１つの実施形態において、画像センサデータが、ユーザの存在検出、顔検出、顔の向き検出、および任意でマルチ顔検出を実行するため、ニューラルネットワークアクセラレータ３０３０に提供される。
３２０５において、ＮＮＡ３０３０は、人間の顔（１または複数）を検出し、人間の顔が検出された場合、人間の顔（１または複数）の向きを検出するため、１または複数の機械学習アルゴリズムを動作し得る。３２０６において、ビジョン／撮像モジュール３０２６は、ＮＮＡ３０３０により実行された顔、ユーザの存在、および頭部の向き検出に基づき、新たな画像メタデータを生成し得る。新たな画像メタデータは、例えば、カメラ３０１４により、ディスプレイデバイス３０１０の前で捕捉された新たな画像に、ユーザが存在する、または不在であるかについてのインジケーションを含み得る。ユーザの存在は、顔検出に基づいて判定され得る。人間の顔が検出されると、ユーザは存在する。ユーザが存在すると判定された場合、頭部の向きの新たな画像メタデータはさらに、ユーザがカメラに関連付けられたディスプレイデバイス３０１０に関与しているか、またはディスプレイデバイス３０１０に非関与（例えば、受動的に関与）かのインジケーションを含み得る。
３２０８において、以前の画像メタデータに関連付けられた以前の画像が捕捉されてから、何らかのユーザイベントが生じたかを判定するため、新たな画像メタデータが、以前の画像メタデータと比較され得る。ユーザイベントが生じたかを判定するため、カメラ３０１４により捕捉された新たな画像の画像センサデータに基づいて生成された新たな画像メタデータが、新たな画像が捕捉される前に捕捉された画像の画像センサデータに基づいて以前に生成された、格納された以前の画像メタデータに比較され得る。したがって、新たな画像メタデータは、違いを識別し、その違いがユーザイベントに対応するかを判定するため、以前の画像メタデータと比較される。以前の画像データと比較して、新たな画像メタデータ内にユーザの存在の変化が検出されると、ユーザイベントが発生し得る。例えば、ユーザは、以前の画像で不在であり得るが、新たな画像でユーザが存在し得る。または、ユーザは、以前の画像で存在し得るが、新たな画像でユーザが不在であり得る。起こり得る他のユーザイベントとしては、ユーザの顔の向きが変わることが挙げられる。このシナリオにおいて、人間の顔が以前の画像で検出済みで、顔の向きが識別済みであり得る。新たな画像メタデータが、検出されたユーザの顔の向きが、以前の画像メタデータ内で示された顔の向きと異なることを示す場合、ユーザイベントが起きている。例えば、以前の画像メタデータは、ユーザがディスプレイデバイスに関与していなかったことを示し得る（顔の向きに基づいて判定される）。新たな画像メタデータは、ユーザがディスプレイデバイスに関与していることを示し得る（顔の向きに基づいて判定される）。あるいはこの逆である。
３２１０において、３２０８で実行された比較に基づいて、ユーザイベントが発生したかが判定される。ユーザイベントが発生していない場合（例えば、以前の画像メタデータと、新たな画像メタデータとが同じ）、３２１２において、最適化として、新たな画像メタデータが、ＳｏＣ３００２に送信されなくてよい。３２０８で実行された比較に基づいて、ユーザイベントが発生したと判定された場合、３２１４において、ディスプレイデバイス（そして任意でディスプレイデバイスが接続されたコンピューティングデバイス）に対して動作モードを決定するため、新たな画像メタデータがＳｏＣ３００２に送信される。３２１６において、新たな画像メタデータが、ディスプレイデバイスに対して生成される次の新たな画像メタデータに対する比較のために、以前の画像メタデータとして格納され得る。
図３３は、少なくとも１つの実施形態に係る、ユーザの存在、人間の顔（１または複数）、および頭部／顔の向きを検出するための、複数のディスプレイコンピューティングシステム（例えば、２５００）における、新たな画像センサデータの処理に関連付けられた、例示的プロセス３３００の高次フローチャートである。例示的プロセス３３００は、図３２の処理３２００の１または複数の動作（例えば、３２０５、３２０６）に関連付けられた追加的な詳細を提供し得る。少なくとも１つの実施形態において、動作の組は、例示的プロセス３３００の動作に対応する。一例において、動作の少なくとも一部は、ニューラルネットワークアクセラレータ（例えば、２７６、３２７、１７４０、１８６３、２８３４Ａ、２８３４Ｂ、３０３０）、および任意でビジョンベースのアナライザＩＣ（例えば、２５４０Ａ、２５４０Ｂ、２５４０Ｃ、３０２０）のビジョン／撮像モジュール（例えば、１７２、２６３、３６３、１７４０、１８６３、２８３２Ａ、２８３２Ｂ、３０２６）における画像処理アルゴリズム３０３９により実行され得る。
３３０２において、ＮＮＡ３０３０は、ディスプレイデバイス３０１０に関連付けられたカメラ３０１４により捕捉された新たな画像の画像センサデータ上で、１または複数の機械学習アルゴリズムを実行し得る。機械学習アルゴリズムの一例は、人間の顔を検出するように訓練され、実行されると、画像センサデータ内に人間の顔が存在するか検出可能なニューラルネットワークモデルであり得る。３３０４において、顔検出用のニューラルネットワークモデルにより画像センサデータ内で、人間の顔が検出されたかを判定される。人間の顔が検出されなければ、３３０６において、ユーザが存在しないことを示すため、新たな画像メタデータが生成される。新たな画像メタデータはさらに、ディスプレイデバイス３０１０に関与しているユーザがいないことを示し得る。
３３０４において、顔検出用のニューラルネットワークモデルにより画像センサデータ内に人間の顔が検出されたと判定された場合、３３０８において、検出された人間の顔の頭部／顔の向きを判定するために、別の機械学習アルゴリズムが実行され得る。機械学習アルゴリズムの一例は、人間の顔（例えば、度で）人間の顔の向きを検出するように訓練され、実行されると、画像センサデータにおいて検出された人間の顔の向きを検出可能なニューラルネットワークモデルであり得る。少なくとも１つの実施形態において、顔の向きは、ユーザの顔と、ディスプレイデバイスとの間に定義された直接ディスプレイ経路に対する回転度で判定され得る。直接ディスプレイ経路は、検出された顔からディスプレイデバイスのディスプレイパネルの中心まで、画像を捕捉したカメラまで、またはディスプレイデバイスに関連付けられた他の任意の適切なポイントまで計算され得る。
３３１０において、推測されるディスプレイデバイス３０１０に対する関与が最大回転角度内であるかを判定するために、ユーザの顔の向きが評価され得る。一例において、最大回転角度は、ユーザの顔と、ディスプレイデバイス３０１０（例えば、ディスプレイデバイスのディスプレイパネルの中心、カメラ、またはディスプレイデバイス上の任意の他の位置にある）との間の直接ディスプレイ経路に対して、いずれの方向にも、ユーザの顔の第１レベル最大回転角度（例えば、２４°）である。
３３１２において、ユーザの顔の向きが第１レベル最大回転角度（例えば、２４°）内であると判定された場合、ユーザがディスプレイデバイス３０１０のディスプレイパネルに関与している（例えば、ユーザはディスプレイパネル上の何かを読んでいるか、見ている可能性がある）と推測され得る。このシナリオにおいて、３３１６において、ユーザが存在し、ユーザがディスプレイデバイス３０１０に関与していることを示すため、新たな画像メタデータが生成される。
ユーザの顔の向きが、第１レベル最大回転角度を超えるが、第２レベル最大回転角度（例えば、９０°）を超えないと判定された場合、ユーザがディスプレイデバイス３０１０のディスプレイパネルに非関与であるが、ディスプレイデバイス３０１０がドッキングされた、または他の方法で接続された、コンピューティングシステムにおける他のディスプレイパネルに関与し得ると推測され得る。このシナリオにおいて、３３１４において、ユーザが存在するが、ユーザがディスプレイデバイス３０１０に関与していない（即ち非関与である）ことを示すため、新たな画像メタデータが生成される。
なお、ユーザの顔の向きが第２レベル最大回転角度を超える、または他の理由で検出不能である場合、３３０６で評価されるように、ユーザが存在しないと判定され得る
なお、別の実施形態において、関与または非関与を推測するために、ユーザの顔の向きが特定の閾値レベルの回転以内であるかは、ＳｏＣ（例えば３００２）により判定され得ることにも留意されたい。この実施形態において、メタデータは、判定された顔の向きのインジケーションを含み得、この情報は、ＳｏＣにより、ユーザがディスプレイデバイスに関与しているか非関与かを判定するために使用され得る。
図３４は、複数のディスプレイコンピューティングシステム（例えば、２５００）における、ディスプレイデバイス（例えば、３０１０）のビジョンベースのアナライザＩＣ（例えば、３０２０）により生成された、新たな画像メタデータの処理に関連付けられた例示的プロセス３４００の高次フローチャートである。少なくとも１つの実施形態において、動作および／または命令の組は、コンピューティングシステムがロックされた際に（例えば、不在動作モードにおいて）、コンピューティングシステムにおけるビジョンベースのアナライザＩＣ（またはＬＣＨ）により生成された新たな画像メタデータを受信し、適用可能であれば顔起動ポリシーを適用するための例示的プロセス３４００の動作に対応する。一例において、動作の少なくとも一部は、複数のディスプレイコンピューティングシステム（例えば、２５００）のＳｏＣ（例えば、１４０、３９０、３４０、９１４、１８４０、２８４０Ａ、２８４０Ｂ、４１４０、３００２、２５０８）により実行され得る。より具体的な例において、プロセス３４００の１または複数の動作は、ＳｏＣの内蔵センサハブ（例えば、３９２、３４２、１７９０、１８４２、３００６）により実行され得る。
３４０２において、ディスプレイデバイスがオフにされ（例えば、ディスプレイパネルにバックライトが提供されない）、コンピューティングシステムがロックされると、複数のディスプレイコンピューティングシステムのＳｏＣ３００２が、ディスプレイデバイス３０１０におけるビジョンベースのアナライザＩＣ３０２０から新たな画像メタデータを受信する。少なくとも１つの実施形態において、コンピューティングシステムは、全てのディスプレイデバイスに対して不在動作モードが選択されると、ロックされ得る。
３４０４において、新たな画像メタデータはユーザが存在することを示すかを判定する。機械学習アルゴリズム（例えば、ＮＮＡ３０３０）が、カメラ３０１４により捕捉された新たな画像の画像センサデータにおいて人間の顔を検出すると、メタデータ内にユーザが存在すると示され得る。新たな画像メタデータはユーザが存在することを示さない場合、ディスプレイデバイス３０１０はオフのままとなり、コンピューティングシステムはロックされたままとなる。
新たな画像メタデータはユーザが存在することを示す場合、３４０６において、新たな画像メタデータはユーザがディスプレイデバイスに関与していることを示すかを判定される。ユーザの顔の向き（例えば、ディスプレイデバイスへの直接ディスプレイ経路に対する）が、いずれの方向にも、第１レベル最大回転角度以下であると判定された場合、新たな画像メタデータは、ユーザがディスプレイデバイスに関与していることを示し得る。新たな画像メタデータはユーザがディスプレイデバイスに関与していることを示さない場合、ディスプレイデバイス３０１０はオフのままとなり、コンピューティングシステムはロックされたままとなる。しかし、複数のディスプレイコンピューティングシステムにおける別のディスプレイデバイスにユーザは関与し得る。その場合、当該別のディスプレイデバイスから受信した新たな画像メタデータ（ユーザが存在し、当該ディスプレイデバイスに関与していることを示し得る）が、ＳｏＣに認証機構をトリガさせ得る。
３４０６において、新たな画像メタデータはユーザがディスプレイデバイスに関与していることを示す場合、３４０８において、複数のディスプレイコンピューティングシステムにおける別のディスプレイデバイスが、既にＳｏＣ３００２に認証機構をトリガさせたかが判定され得る。されている場合、ユーザが別のディスプレイデバイスを通じて認証されるまで、ディスプレイデバイス３０１０はオフのままとなる。
３４０８において、既にＳｏＣ３００２に認証機構をトリガさせた別のディスプレイデバイスが、複数のディスプレイコンピューティングシステム内に存在しないと判定された場合、３４１０において、顔起動ポリシーが呼び出され得、ＳｏＣはディスプレイデバイス３０１０上に認証機構をトリガできる。ユーザがディスプレイデバイス３０１０を通じて認証されるまで、複数のディスプレイコンピューティングシステムの別のディスプレイデバイスはオフのままにできる。
図３５は、複数のディスプレイコンピューティングシステム（例えば、２５００）における、ディスプレイデバイス（例えば、３０１０）のビジョンベースのアナライザＩＣ（例えば、３０２０）により生成された、新たな画像メタデータの処理に関連付けられた例示的プロセス３５００の高次フローチャートを示す。少なくとも１つの実施形態において、動作の組は、ディスプレイデバイスが関与動作モードにある場合に（例えば、ディスプレイデバイスのディスプレイパネルが初期明るさを有する）、新たな画像メタデータを受信し、適用可能であれば、減光ポリシーまたは不在時ロックポリシーを呼び出すための例示的プロセス３５００の動作に対応する。一例において、動作の少なくとも一部は、複数のディスプレイコンピューティングシステム（例えば、２５００）のＳｏＣ（例えば、１４０、３９０、３４０、９１４、１８４０、２８４０Ａ、２８４０Ｂ、４１４０、３００２、２５０８）により実行され得る。より具体的な例において、プロセス３４００の１または複数の動作は、ＳｏＣの内蔵センサハブ（例えば、３９２、３４２、１７９０、１８４２、３００６）により実行され得る。
３５０２において、ディスプレイデバイスが関与動作モードにある際に（例えば、ディスプレイデバイスのディスプレイパネルが初期明るさを有する）、複数のディスプレイコンピューティングシステムのＳｏＣ３００２が、ディスプレイデバイス３０１０におけるビジョンベースのアナライザＩＣ３０２０から新たな画像メタデータを受信する。
３５０４において、新たな画像メタデータはユーザが存在することを示すかを判定する。新たな画像メタデータはユーザが存在することを示す場合、３５０６において、新たな画像メタデータはユーザがディスプレイデバイスに関与していることを示すかを判定される。ユーザがディスプレイデバイスに関与している場合、ユーザの顔の向きは、第１レベル領域内にあり得る（例えば、いずれの方向にも、第１レベル最大回転角度以下）。新たな画像メタデータはユーザがディスプレイデバイスに関与していることを示す場合、３５０８において示すように、ディスプレイデバイスは関与動作モードに留まる（例えば、フルディスプレイ明るさまたは初期ディスプレイ明るさ）。
３５０６において、新たな画像メタデータはユーザがディスプレイデバイス３０１０に関与していることを示さないと判定された場合、３５１０において、新たな画像メタデータはユーザがディスプレイデバイスに非関与である（しかし存在する）と示すかを判定される。ユーザが非関与である（しかし存在する）と判定された場合、３５１４において、適応減光ポリシーが呼び出され得、ディスプレイデバイス３０１０に対して通常減光動作モードが選択可能である。一例において、通常減光動作モードは、ディスプレイデバイス３０１０のディスプレイパネルのバックライトを、所定の最低レベルの明るさに達するまで、所定の明るさのパーセンテージで低減され得る。例えば、ディスプレイパネルの明るさは、５秒経過後に５パーセント（５％）低減され得、２０パーセント（２０％）に達するまで、毎秒５パーセント（５％）低減され得る。ディスプレイパネルは、ユーザイベントが発生するまで、２０パーセント（２０％）の明るさに維持され得る。
３５１０において、新たな画像メタデータはユーザが存在するが、関与していないまたは非関与であることを示すと判定された場合、ユーザの顔の向きは第３レベル領域にあり得る（例えば、いずれの方向にも、第２レベル最大回転角度を超える）。したがって、ユーザの顔は検出不能であり得る。このシナリオにおいて、異なるユーザには、異なる手法が望ましくなり得る。最初に、３５１２において、積極的適応減光ポリシーが呼び出され得、ディスプレイデバイス３０１０に対して積極的減光動作モードが選択可能である。１つの可能な実装（またはシステム／ユーザ構成）において、積極的減光動作モードは、バックライトがオフになるまで、明るさを所定のパーセンテージでディスプレイデバイス３０１０のディスプレイパネルのバックライトを低減し得る。例えば、ディスプレイパネルの明るさは、５秒経過後に２０パーセント（２０％）低減され得、０パーセント（０％）に達し、バックライトをオフにできるまで、毎秒１パーセント（１％）低減され得る。別の可能な実装（またはシステム／ユーザ構成）において、積極的減光動作モードは、バックライトが所定の最低レベルの明るさに低減されるまで、明るさを所定のパーセンテージでディスプレイデバイス３０１０のディスプレイパネルのバックライトを低減し得る。バックライトが最終的にオフになる実装において、ユーザの存在時に、たとえユーザの顔が検出不能でも、コンピューティングシステムがロックされないように、存在時非ロックポリシーが呼び出され得る（本明細書でさらに説明する）。ただし、他の実装において、システムは、ユーザの顔が検出されなければ（例えば、ユーザの顔の向きが第３レベル領域内）であれば、バックライトがオフになった後にロックするように構成され得る。
再度３５０４を参照すると、新たな画像メタデータはユーザが存在することを示さない場合、３５２０において、不在時ロックポリシーが呼び出されるべきか評価され得る。３５２０において、複数のディスプレイコンピューティングシステムにおける他のディスプレイデバイスのそれぞれから受信した、最後の画像メタデータはユーザが存在しないことを示すかを判定される。示す場合、３５２２において、不在時ロックポリシーは呼び出され得、不在動作モードがディスプレイデバイス３０１０に対して選択され得る。不在動作モードが選択されると、ディスプレイデバイスがオフにされ、バックライトが提供されない。ディスプレイデバイス３０１０に対して不在動作モードが選択され、全ての他のディスプレイデバイスが既に不在動作モード（または積極的減光動作モード）にある場合、コンピューティングシステムのＳｏＣはロックし、ユーザはコンピューティングシステムをアンロックして使用するためには再度認証されなければならない。
３５２０で、コンピューティングシステムにおける他のディスプレイデバイスのうちの少なくとも１つからの最後の画像メタデータはユーザが存在することを示すと判定された場合、３５３９において、積極的適応減光ポリシーが呼び出され得、上述のようにディスプレイデバイス３０１０に対して積極的減光動作モードが選択可能である。
図３６は、複数のディスプレイコンピューティングシステム（例えば、２５００）における、ディスプレイデバイス（例えば、３０１０）のビジョンベースのアナライザＩＣ（例えば、３０２０）により生成された、新たな画像メタデータの処理に関連付けられた例示的プロセス３６００の高次フローチャートを示す。少なくとも１つの実施形態において、動作の組は、ディスプレイデバイスが通常または積極的減光動作モードにある際に、新たな画像メタデータを受信するための例示的プロセス３６００の動作に対応する。一例において、動作の少なくとも一部は、複数のディスプレイコンピューティングシステム（例えば、２５００）のＳｏＣ（例えば、１４０、３９０、３４０、９１４、１８４０、２８４０Ａ、２８４０Ｂ、４１４０、３００２、２５０８）により実行され得る。より具体的な例において、プロセス３６００の１または複数の動作は、ＳｏＣの内蔵センサハブ（例えば、３９２、３４２、１７９０、１８４２、３００６）により実行され得る。
３６０２において、ディスプレイデバイスが減光動作モードにある際に、複数のディスプレイコンピューティングシステムのＳｏＣ３００２が、ディスプレイデバイス３０１０におけるビジョンベースのアナライザＩＣ３０２０から新たな画像メタデータを受信する。
３６０４において、新たな画像メタデータはユーザが存在することを示すかを判定する。新たな画像メタデータはユーザが存在することを示す場合、３６０６において、新たな画像メタデータはユーザがディスプレイデバイスに関与していることを示すかを判定される。新たな画像メタデータはユーザがディスプレイデバイスに関与していることを示す場合、３６０８において、ディスプレイデバイスに対する減光動作モードが関与動作モードに変更される。したがって、ディスプレイデバイス３０１０のディスプレイパネルの明るさが、フルまたは初期ディスプレイ明るさまで増加され得る。
３６０６において、新たな画像メタデータはユーザがディスプレイデバイス３０１０に関与していることを示さないと判定された場合、３６１０において、新たな画像メタデータはユーザがディスプレイデバイスに非関与であることを示すかを判定される。新たな画像メタデータはユーザが非関与である（しかし存在する）と示す場合、ユーザの顔の向きは、第２レベル領域内にあり得る（例えば、いずれの方向にも、第１レベル最大回転角度を超えるが、第２レベル最大回転角度以下）。このシナリオにおいて、３６１４で、ディスプレイデバイス３０１０は、本明細書で上述したように、適応減光動作モードに留まる。
３６１０において、新たな画像メタデータはユーザが非関与でないと（しかし存在する）示すと判定される場合、ユーザの顔の向きは第３レベル領域にあり得る（例えば、いずれの方向にも、第２レベル最大回転角度を超える）。したがって、ユーザの顔は検出不能であり得る。このシナリオにおいて、３６１２で、ディスプレイデバイスが現在通常適応減光動作モードであれば、本明細書で上述したように、積極的適応減光動作モードがディスプレイデバイス３０１０に対して選択可能である。あるいは、積極的適応減光動作モードがディスプレイデバイス３０１０に対して既に選択されている場合、それが選択されたままとなる。
再度３６０４を参照すると、新たな画像メタデータはユーザが存在することを示さない場合、処理は、本明細書で上述したように、不在時ロックポリシーが呼び出されるべきか評価するため、（Ａ）が示すように図３５の処理３５００に進み得る。
図３７は、複数のディスプレイコンピューティングシステム（例えば、２５００）のディスプレイデバイス（例えば、３０１０）に対する非アクティブタイムアウト処理に関連付けられた例示的プロセス３７００の高次フローチャートである。少なくとも１つの実施形態において、動作および／または命令の組は、ディスプレイデバイスのビジョンベースのアナライザＩＣ（またはＬＣＨ）により生成された画像メタデータを評価し、適用可能であれば、存在時非ロックポリシーを適用する例示的プロセス３７００の動作に対応する。一例において、動作の少なくとも一部は、複数のディスプレイコンピューティングシステム（例えば、２５００）のＳｏＣ（例えば、１４０、３９０、３４０、９１４、１８４０、２８４０Ａ、２８４０Ｂ、４１４０、３００２、２５０８）により実行され得る。より具体的な例において、プロセス３７００の１または複数の動作は、ＳｏＣの内蔵センサハブ（例えば、３９２、３４２、１７９０、１８４２、３００６）により実行され得る。
３７０２において、ディスプレイデバイス３０１０に対するディスプレイロックタイマが満了する。３７０４で、ディスプレイデバイスからの最後の画像メタデータがアクセスされる。１または複数の実施形態において、複数のディスプレイコンピューティングシステムにおける各ディスプレイデバイスの最後の画像メタデータは、より新しいバージョンの画像データが受信され、現在格納されている画像メタデータを置き換えるまで、任意の適切なメモリまたはストレージユニットに格納され得る。
３７０６において、ディスプレイデバイス３０１０からの最後の画像メタデータはユーザが存在することを示すかを判定する。３７０６において、ディスプレイデバイス３０１０の最後の画像メタデータはユーザが存在することを示すと判定された場合、３７１０において、ディスプレイデバイス３０１０からの最後の画像メタデータはユーザが関与している、または非関与であることを示すかを判定される。例えば、新たな画像メタデータはユーザが非関与である（しかし存在する）と示す場合、ユーザの顔の向きは、第２レベル領域内にあり得る（例えば、いずれの方向にも、第１レベル最大回転角度を超えるが、第２レベル最大回転角度以下）。あるいは、最後の画像メタデータはユーザがディスプレイデバイスに関与していることを示す場合、ユーザの顔の向きは、第１レベル領域内にあり得る（例えば、いずれの方向にも、第１レベル最大回転角度以下）。これらシナリオのいずれでも、ユーザはまだ存在しており、３７１２において、存在時非ロックポリシーが呼び出され得、ディスプレイデバイス３０１０がロックされることを防止するように非アクティブモニタをオーバーライドすることができる。その代わりに、ディスプレイデバイス３０１０は現在選択されているモードが何であれ、それにとどまる（例えば、関与動作モード、適応減光動作モード）。
３７０６において、ディスプレイデバイス３０１０の最後の画像メタデータはユーザが存在しないことを示すと判定された場合、または３７１０において、ディスプレイデバイス３０１０の最後の画像メタデータはユーザがディスプレイデバイスに関与せず、非関与でもないことを示すと判定された場合（即ち、ユーザが存在し、しかし顔は検出不能である）、３７０８において、ディスプレイデバイスに対して不在動作モードが選択され得、ディスプレイデバイスがオフにされ得（例えば、バックライトがオフにされ）、コンピューティングシステムがロックされ得る。さらに、ディスプレイデバイス３０１０用のロックタイマがリセットされ得る。
以下の例は、本明細書に係る実施形態に関する。例ＤＡ１は、第１ディスプレイデバイス内にあり、第１カメラに通信可能に結合された第１回路機構であって、上記第１カメラにより捕捉された第１画像センサデータに基づいて第１画像メタデータを生成する、第１回路機構と、第２ディスプレイデバイス内にあり、第２カメラに通信可能に結合された第２回路機構であって、上記第２カメラの第２視野から上記第２カメラにより捕捉された第２画像センサデータに基づいて第２画像メタデータを生成し、上記第１視野と上記第２視野とは部分的に重複する、第２回路機構と、上記第１ディスプレイデバイスおよび上記第２ディスプレイデバイスに動作結合されたプロセッサであって、上記第１画像メタデータに基づいて、第１動作モードを上記第１ディスプレイデバイスに対して選択し、上記第２画像メタデータに基づいて、第２動作モードを上記第２ディスプレイデバイスに対して選択するプロセッサと、を含む、コンピューティングシステムを提供する。
例ＤＡ２は、例ＤＡ１の主題を含み、上記コンピューティングシステムは、第３ディスプレイデバイス内の第３回路機構をさらに含み、上記第２回路機構は、第３カメラおよび上記プロセッサに結合され、上記第３回路機構は、第３視野から上記第３カメラにより捕捉された第３画像センサデータに基づいて第３画像メタデータを生成し、上記プロセッサは、上記第３ディスプレイデバイスから上記第３画像メタデータを受信し、上記第３画像メタデータに基づいて、第３動作モードを上記第３ディスプレイデバイスに対して選択する。
例ＤＡ３は、例ＤＡ１からＤＡ２のいずれか１つの主題を含み、上記第１回路機構は、上記第１画像センサデータ内にユーザの顔を検出し、上記第１画像センサデータ内に上記ユーザの顔を検出したことに基づいて、上記第１カメラの上記第１視野において上記ユーザが存在すると判定し、上記ユーザの顔の第１向きを、上記第１画像センサデータに基づき判定し、上記ユーザの顔の上記第１向きに少なくとも部分的に基づいて、上記ユーザが上記第１ディスプレイデバイスに関与しているか非関与かを判定するようにさらに構成される。
例ＤＡ４は、例ＤＡ３の主題を含み、上記ユーザの顔と、上記第１ディスプレイデバイスとの間の第１経路に対して、いずれの方向にも、第１最大回転角度を超えて上記ユーザの顔が回転されていないという判定に基づいて、上記ユーザは、上記第１ディスプレイデバイスに関与していると判定される。
例ＤＡ５は、例ＤＡ３からＤＡ４のいずれか１つの主題を含み、上記ユーザが上記第１ディスプレイデバイスに関与しているという判定に基づいて、上記第１画像メタデータは、上記ユーザが上記第１ディスプレイデバイスに関与していることを示す。
例ＤＡ６は、例ＤＡ３からＤＡ５のいずれか１つの主題を含み、上記第２回路機構は、上記第２画像センサデータ内に上記ユーザの顔を検出し、上記第２画像センサデータ内に上記ユーザの顔を検出したことに基づいて、上記第２カメラの上記第２視野において上記ユーザが存在すると判定し、上記ユーザの顔の第２向きを、上記第２画像センサデータに基づき判定し、上記ユーザの顔の上記第２向きに少なくとも部分的に基づいて、上記ユーザが上記第２ディスプレイデバイスに関与しているか非関与かを判定するように構成される。
例ＤＡ６．５は、例ＤＡ６の主題を含み、上記ユーザの顔と、上記第２ディスプレイデバイスとの間の第２経路に対して、いずれの方向にも、第１最大回転角度を超えているが第２回転角度以下で、上記ユーザの顔が回転されているという判定に基づいて、上記ユーザは、上記第２ディスプレイデバイスに非関与であると判定される。
例ＤＡ７は、例ＤＡ６からＤＡ６．５のいずれか１つの主題を含み、上記ユーザが上記第２ディスプレイデバイスに非関与であるという判定に基づいて、上記第２画像メタデータは、上記ユーザが上記第２ディスプレイデバイスに非関与であることを示す。
例ＤＡ８は、例ＤＡ６からＤＡ７のいずれか１つの主題を含み、上記第１回路機構は、上記第１画像センサデータ内に上記ユーザの顔を検出し、上記ユーザの顔の上記第１向きを判定するため、機械学習アルゴリズムを実行するようにさらに構成され、上記第２回路機構は、上記第２画像センサデータ内に上記ユーザの顔を検出し、上記ユーザの顔の上記第２向きを判定するため、上記機械学習アルゴリズムを実行するようにさらに構成される。
例ＤＡ９は、例ＤＡ８の主題を含み、上記機械学習アルゴリズムは、人間の顔および人間の顔の向きを認識するように訓練された１または複数のニューラルネットワークを含む。
例ＤＡ１０は、例ＤＡ１からＤＡ９のいずれか１つの主題を含み、上記プロセッサは、上記第１画像メタデータはユーザが存在することと、上記ユーザが上記第１ディスプレイデバイスに関与していることを示すと判定し、上記コンピューティングシステムへのアクセスがロックされたことを判定し、現在上記第２ディスプレイデバイス上で認証機構が稼働していないことを判定し、上記認証機構による、上記第１ディスプレイデバイスを介した上記ユーザの認証をトリガし、上記ユーザが認証されるまで、上記第２ディスプレイデバイスをオフのままとするようにさらに構成される。
例ＤＡ１１は、例ＤＡ１からＤＡ１０のいずれか１つの主題を含み、上記プロセッサは、上記第２画像メタデータはユーザが存在することと、上記ユーザが上記第２ディスプレイデバイスに非関与であることを示すと判定し、上記ユーザが上記第２ディスプレイデバイスに非関与であるという判定に基づいて、上記第２動作モードは選択され、上記第２動作モードの選択に応じて、ユーザイベントが発生するまで、または上記バックライトが所定の最低レベルの明るさまで低減するまで、上記第２ディスプレイデバイスのディスプレイパネルに対するバックライトの明るさを、一定期間にわたって、漸次的に減少させるようにさらに構成される。
例ＤＡ１２は、例ＤＡ１からＤＡ１０のいずれか１つの主題を含み、上記プロセッサは、上記第２画像メタデータは、ユーザが存在することと、上記ユーザの顔が検出可能でないことを示すと判定し、上記第２動作モードは、上記ユーザが存在し、上記ユーザの顔が検出可能でないという判定に基づいて選択され、第２動作モードの選択に応じて、ユーザイベントが発生するまで、または上記バックライトがオフになるまで、上記第２ディスプレイデバイスのディスプレイパネルに対するバックライトの明るさを、一定期間にわたって、漸次的に減少させるようにさらに構成される。
例ＤＡ１３は、例ＤＡ１からＤＡ１０のいずれか１つの主題を含み、上記プロセッサは、上記第２画像メタデータはユーザが存在しないことを示すと判定し、上記プロセッサに動作結合された全ての他のディスプレイデバイスに関連付けられた最後の画像メタデータが、上記ユーザが存在しないことを示すと判定し、上記第２動作モードの選択に応じて、上記第２ディスプレイデバイスおよび上記プロセッサに動作結合された全ての他のディスプレイデバイスをオフにし、上記コンピューティングシステムをロックするようにさらに構成される。
例ＤＡ１４は、例ＤＡ１からＤＡ１３のいずれか１つの主題を含み、上記プロセッサは、非アクティブのために許可された最大時間が上記第１ディスプレイデバイスに対して経過したと判定し、上記第１ディスプレイデバイスに関連付けられた最後の画像メタデータにアクセスし、上記第１ディスプレイデバイスに関連付けられた最後の画像メタデータはユーザが存在することを示すという判定に基づいて、上記第１ディスプレイデバイスがオフにされることを防止するようにさらに構成される。
例ＤＡ１５は、例ＤＡ１からＤＡ１４のいずれか１つの主題を含み、上記第１画像メタデータは、上記第１カメラに関連付けられた上記第１視野においてユーザが存在するか、または存在しないか、および上記ユーザが上記第１ディスプレイデバイスに関与しているか非関与かを示す。
例ＤＡ１６は、例ＤＡ１からＤＡ１４のいずれか１つの主題を含み、上記第１回路機構は、上記第１視野において第１イベントが発生したと判定し、上記第１視野において上記第１イベントが発生したとの判定に応じて、上記第１画像メタデータを上記プロセッサに送信するようにさらに構成される。
例ＤＡ１７は、例ＤＡ１６の主題を含み、上記第１回路機構は、上記第１画像センサデータの捕捉前に上記第１カメラにより上記第１視野から捕捉された他の画像センサデータに基づいて、上記第１画像メタデータを上記第１回路機構により以前生成された第４画像メタデータと比較することにより、上記第１イベントが発生したと判定するようにさらに構成される。
例ＤＡ１８は、本明細書に上述の例ＤＡのいずれか１つの主題を含み、例ＡＢ１からＡＢ１４のいずれか１つの特徴（これらの特徴が本明細書に上述の例ＤＡの特徴と重複しない限り）をさらに含む。
例ＤＢ１は、第１ディスプレイデバイスおよび第２ディスプレイデバイスを含むリッドを含む、コンピューティングデバイスを備えるコンピューティングシステムを提供する。上記第１ディスプレイデバイスは、第１カメラと、上記第１カメラに通信可能に結合された第１回路機構であって、第１視野から上記第１カメラにより捕捉された第１画像センサデータに基づいて第１画像メタデータを生成する第１回路機構と、上記リッド内で上記第１回路機構に動作結合されたプロセッサであって、上記第１画像メタデータに基づいて、第１動作モードを上記第１ディスプレイデバイスに対して選択するように構成されたプロセッサと、を含む。上記第２ディスプレイデバイスは、上記コンピューティングデバイスの上記プロセッサに動作結合される。上記第２ディスプレイデバイスは、上記第２ディスプレイデバイスに関連付けられた第２カメラに通信可能に結合された第２回路機構を含み、上記第２回路機構は、第２視野から上記第２カメラにより捕捉された第２画像センサデータに基づいて第２画像メタデータを生成する。上記第１視野と上記第２視野とは部分的に重複する。上記プロセッサは、上記第２画像メタデータに基づいて、第２動作モードを上記第２ディスプレイデバイスに対して選択する。
例ＤＢ２は、例ＤＢ１の主題を含み、上記第１回路機構は、上記第１画像センサデータ内にユーザの顔を検出し、上記第１画像センサデータ内に上記ユーザの顔を検出したことに基づいて、上記第１視野において上記ユーザが存在すると判定し、上記ユーザの顔の第１向きを、上記第１画像センサデータに基づき判定し、上記ユーザの顔の上記第１向きに少なくとも部分的に基づいて、上記ユーザが上記第１ディスプレイデバイスに関与しているか非関与かを判定するように構成される。
例ＤＢ３は、例ＤＢ２の主題を含み、上記ユーザの顔と、上記第１ディスプレイデバイスとの間の経路に対して、いずれの方向にも、第１最大回転角度を超えて、上記ユーザの顔が回転されていないという判定に基づいて、上記ユーザは、上記第１ディスプレイデバイスに関与していると判定される。
例ＤＢ４は、例ＤＢ２からＤＢ３のいずれか１つの主題を含み、上記第２回路機構は、上記第２画像センサデータ内に上記ユーザの顔を検出し、上記第２画像センサデータ内に上記ユーザの顔を検出したことに基づいて、上記第２カメラの上記第２視野において上記ユーザが存在すると判定し、上記ユーザの顔の第２向きを、上記第２画像センサデータに基づき判定し、上記ユーザの顔の上記２向きに少なくとも部分的に基づいて、上記ユーザが上記第２ディスプレイデバイスに関与しているか非関与かを判定するように構成される。
例ＤＢ４．５は、例ＤＢ４の主題を含み、上記ユーザの顔と、上記第２ディスプレイデバイスとの間の第２経路に対して、いずれの方向にも、第１最大回転角度を超えているが第２回転角度以下で、上記ユーザの顔が回転されているという判定に基づいて、上記ユーザは、上記第２ディスプレイデバイスに非関与であると判定される。
例ＤＢ５は、例ＤＢ４からＤＢ４．５のいずれか１つの主題を含み、上記第１回路機構は、上記第１画像センサデータ内に上記ユーザの顔を検出し、上記ユーザの顔の上記第１向きを判定するため、機械学習アルゴリズムを実行するようにさらに構成され、上記第２回路機構は、上記第２画像センサデータ内に上記ユーザの顔を検出し、上記ユーザの顔の上記第２向きを判定するため、上記機械学習アルゴリズムを実行するようにさらに構成される。
例ＤＢ６は、例ＤＢ５の主題を含み、上記機械学習アルゴリズムは、人間の顔および人間の顔の向きを認識するように訓練された１または複数のニューラルネットワークを含み、上記人間の顔の向きは、回転度で表される。
例ＤＢ７は、例ＤＢ１からＤＢ６のいずれか１つの主題を含み、上記プロセッサは、上記第１画像メタデータはユーザが存在することと、上記ユーザが上記第１ディスプレイデバイスに関与していることを示すと判定し、上記コンピューティングシステムへのアクセスがロックされたことを判定し、認証機構による、上記第１ディスプレイデバイスを介した上記ユーザの認証をトリガし、上記ユーザが認証されるまで、上記第２ディスプレイデバイスをオフのままとするようにさらに構成される。
例ＤＢ８は、例ＤＢ１からＤＢ７のいずれか１つの主題を含み、上記プロセッサは、上記第２画像メタデータはユーザが存在することと、上記ユーザが上記第２ディスプレイデバイスに非関与であることを示すと判定し、上記ユーザが上記第２ディスプレイデバイスに非関与であるという判定に基づいて、上記第２動作モードは選択され、上記第２動作モードの選択に応じて、上記第２ディスプレイデバイスのディスプレイパネルに対するバックライトの明るさを、一定期間にわたって、漸次的に減少させるようにさらに構成される。
例ＤＢ９は、例ＤＢ１からＤＢ７のいずれか１つの主題を含み、上記プロセッサは、上記第２画像メタデータはユーザが存在しないことを示すと判定し、上記プロセッサに動作結合された全ての他のディスプレイデバイスに関連付けられた最後の画像メタデータが、上記ユーザが存在しないことを示すと判定し、上記第２動作モードの選択に応じて、上記第２ディスプレイデバイスおよび上記プロセッサに動作結合された全ての他のディスプレイデバイスをオフにし、上記コンピューティングシステムをロックするようにさらに構成される。
例ＤＢ１０は、例ＤＢ１からＤＢ９のいずれか１つの主題を含み、上記プロセッサは、非アクティブのために許可された最大時間が上記第１ディスプレイデバイスに対して経過したと判定し、上記第１ディスプレイデバイスに関連付けられた最後の画像メタデータにアクセスし、上記第１ディスプレイデバイスに関連付けられた最後の画像メタデータはユーザが存在することを示すという判定に基づいて、上記第１ディスプレイデバイスがオフにされることを防止するようにさらに構成される。
例ＤＢ１１は、例ＤＢ１からＤＢ１０のいずれか１つの主題を含み、上記第１画像メタデータは、上記第１カメラに関連付けられた第１視野においてユーザが存在するか、または存在しないか、および上記ユーザが上記第１ディスプレイデバイスに関与しているか非関与かを示す。
例ＤＢ１２は、例ＤＢ１からＤＢ１０のいずれか１つの主題を含み、上記第１回路機構は、上記第１視野において第１イベントが発生したと判定し、上記第１視野において上記第１イベントが発生したとの判定に応じて、上記第１画像メタデータを上記プロセッサに送信するようにさらに構成される。
例ＤＢ１３は、例ＤＢ１２の主題を含み、上記第１回路機構は、上記第１画像センサデータの捕捉前に上記第１カメラにより上記第１視野から捕捉された他の画像センサデータに基づいて、上記第１画像メタデータを上記第１回路機構により以前生成された第３画像メタデータと比較することにより、上記第１イベントが発生したと判定するようにさらに構成される。
例ＤＢ１４は、例ＤＢ１からＤＢ１３のいずれか１つの主題を含み、上記第２ディスプレイデバイスは、ドッキングステーションを介して上記コンピューティングデバイスに動作結合されている。
例ＤＢ１５は、本明細書に上述の例ＤＢのいずれか１つの主題を含み、例ＡＢ１からＡＢ１４のいずれか１つの特徴（これらの特徴が本明細書に上述の例ＤＢの特徴と重複しない限り）をさらに含む。
例ＤＣ１は、外部モニタに関連付けられたカメラに通信可能に結合されるように構成された回路機構と、上記外部モニタに動作結合されたコンピューティングデバイスと、を含む装置を提供し、上記回路機構は、上記カメラの視野から捕捉された画像センサデータを受信し、上記画像センサデータ内にユーザの顔を検出し、上記画像センサデータ内に上記ユーザの顔を検出したことに基づいて、上記カメラの上記視野において上記ユーザが存在すると判定し、上記ユーザの顔の向きを判定し、上記ユーザの顔の向きに少なくとも部分的に基づいて、上記ユーザが上記外部モニタに関与しているか非関与かを判定し、上記カメラの上記視野において上記ユーザが存在することを示し、上記ユーザが上記外部モニタに関与しているか非関与かをさらに示す画像メタデータを生成し、上記画像メタデータを上記コンピューティングデバイスのプロセッサに送信する。
例ＤＣ２は、例ＤＣ１の主題を含み、上記ユーザの顔の向きは、上記ユーザの顔と、上記外部モニタとの間の経路に対して判定される。
例ＤＣ３は、例ＤＣ１からＤＣ２のいずれか１つの主題を含み、上記回路機構は、上記ユーザの顔の向きに基づいて、第１最大回転角度を超えて上記ユーザの顔が回転されていないと判定するようにさらに構成され、上記第１最大回転角度を超えて上記ユーザの顔が回転されていないという判定に基づいて、上記画像メタデータは、上記ユーザが上記外部モニタに関与していることを示す。
例ＤＣ４は、例ＤＣ１からＤＣ２のいずれか１つの主題を含み、上記回路機構は、上記ユーザの顔の向きに基づいて、第１最大回転角度を超えているが第２最大回転角度以下で、上記ユーザの顔が回転されていると判定するようにさらに構成され、第１最大回転角度を超えているが第２最大回転角度以下で、上記ユーザの顔が回転されているという判定に基づいて、上記画像メタデータは、上記ユーザが上記外部モニタに非関与であることを示す。
例ＤＣ５は、例ＤＣ１からＤＣ２のいずれか１つの主題を含み、上記回路機構は、上記ユーザの顔の向きに基づいて、第２最大回転角度を超えて上記ユーザの顔が回転されていると判定するようにさらに構成され、第２最大回転角度を超えて上記ユーザの顔が回転されているという判定に基づいて、上記画像メタデータは、上記ユーザが存在し、上記ユーザの顔が検出不能であることを示す。
例ＤＣ６は、例ＤＣ１からＤＣ５のいずれか１つの主題を含み、上記回路機構は、上記画像センサデータ内に上記ユーザの顔を検出し、上記ユーザの顔の向きを判定するため、機械学習アルゴリズムを実行するようにさらに構成される。
例ＤＣ７は、例ＤＣ６の主題を含み、上記機械学習アルゴリズムは、人間の顔および人間の顔の向きを認識するように訓練された１または複数のニューラルネットワークを含み、上記人間の顔の向きは、回転度で表される。
例ＤＣ８は、例ＤＣ１からＤＣ７のいずれか１つの主題を含み、上記回路機構は、上記コンピューティングデバイス外にある。
例ＤＣ９は、例ＤＣ１からＤＣ８のいずれか１つの主題を含み、上記外部モニタは、ドッキングステーションを介して上記コンピューティングデバイスに接続されている。
例ＤＣ１０は、例ＤＣ１からＤＣ９のいずれか１つの主題を含み、上記回路機構および上記カメラは、上記外部モニタに内蔵されるか、上記外部モニタに取り外し可能に接続されるかのいずれかである。
例ＤＤ１は、第１ディスプレイデバイスおよび第２ディスプレイデバイスに動作結合されたプロセッサを含む装置を提供し、上記プロセッサは、上記第１ディスプレイデバイスに近接する第１視野から第１カメラにより捕捉された第１画像に関連付けられた第１画像メタデータを受信し、上記第１画像メタデータは、上記第１視野においてユーザが存在し、上記ユーザが上記第１ディスプレイデバイスに関与していることを示すと判定し、上記第２ディスプレイデバイスに近接する第２視野から第２カメラにより捕捉された第２画像に関連付けられた第２画像メタデータを受信し、上記第２画像メタデータは、上記第２視野において上記ユーザが存在し、上記ユーザが上記第２ディスプレイデバイスに非関与であることを示すと判定し、上記第１画像メタデータに少なくとも部分的に基づいて、第１動作モードを上記第１ディスプレイデバイスに対して選択し、上記第２画像メタデータに少なくとも部分的に基づいて、第２動作モードを上記第２ディスプレイデバイスに対して選択する１または複数の命令を実行する。
例ＤＤ２は、例ＤＤ１の主題を含み、上記プロセッサは、さらに、上記プロセッサを含むコンピューティングシステムへのアクセスがロックされたことを判定し、現在上記第２ディスプレイデバイス上で認証機構が稼働していないことを判定し、上記認証機構による、上記第１ディスプレイデバイスを介した上記ユーザの認証をトリガし、上記ユーザが認証されるまで、上記第２ディスプレイデバイスをオフのままとするように上記１または複数の命令を実行する。
例ＤＤ３は、例ＤＤ１からＤＤ２のいずれか１つの主題を含み、上記プロセッサは、さらに、上記第２画像メタデータは上記ユーザが上記第２ディスプレイデバイスに非関与であることを示すと判定し、上記第２ディスプレイデバイスのディスプレイパネルに対するバックライトの明るさを、一定期間にわたって、漸次的に減少させるように上記１または複数の命令を実行する。
例ＤＤ４は、例ＤＤ３の主題を含み、上記バックライトが所定の最低レベルの明るさまで低減するまで、またはオフになるまで、上記バックライトの明るさを漸次的に減少させる。
例ＤＤ５は、例ＤＤ１からＤＤ４のいずれか１つの主題を含み、上記プロセッサは、さらに、上記プロセッサに動作結合された第３ディスプレイデバイスに近接する第３視野から第３カメラにより捕捉された第３画像に関連付けられた第３画像メタデータを受信し、上記第３画像メタデータは、上記第３視野において上記ユーザが存在しないことを示すと判定し、上記第１ディスプレイデバイスに関連付けられた最後の画像メタデータが、上記第１視野において上記ユーザが存在しないことを示し、上記第２ディスプレイデバイスに関連付けられた最後の画像メタデータが、上記第２視野において上記ユーザが存在しないことを示すと判定し、第３動作モードを上記第３ディスプレイデバイスに対して選択し、上記第３動作モードの選択に応じて、上記第３ディスプレイデバイス、上記第１ディスプレイデバイス、および上記第２ディスプレイデバイスをオフにし、上記プロセッサを含むコンピューティングシステムをロックする上記１または複数の命令を実行する。
例ＤＤ５．１は、例ＤＤ１からＤＤ６のいずれか１つの主題を含み、上記ユーザの顔と、上記第１ディスプレイデバイスとの間の第１経路に対して、いずれの方向にも、第１最大回転角度を超えて、上記ユーザの顔が回転されていないという判定に基づいて、上記ユーザは、上記第１ディスプレイデバイスに関与していると判定される。
例ＤＤ５．２は、例ＤＤ１からＤＤ６．１のいずれか１つの主題を含み、上記ユーザの顔と、上記第２ディスプレイデバイスとの間の第２経路に対して、いずれの方向にも、第１最大回転角度を超えているが第２最大回転角度未満で、上記ユーザの顔が回転されているという判定に基づいて、上記ユーザは、上記第１ディスプレイデバイスに非関与であると判定される。
例ＤＤ６は、例ＤＤ１からＤＤ５．２のいずれか１つの主題を含み、上記プロセッサは、さらに、非アクティブのために許可された最大時間が上記第１ディスプレイデバイスに対して経過したと判定し、上記第１ディスプレイデバイスに関連付けられた最後の画像メタデータにアクセスし、上記第１ディスプレイデバイスに関連付けられた最後の画像メタデータが、上記ユーザが存在することを示すという判定に基づいて、上記第１ディスプレイデバイスがオフにされることを防止する上記１または複数の命令を実行する。
例ＤＥ１は、第１カメラに結合された第１回路機構によって、第１ディスプレイデバイスに近接した第１視野から上記第１カメラにより捕捉された第１画像センサデータに基づいて第１画像メタデータを生成する段階と、第２カメラに結合された第２回路機構によって、第２ディスプレイデバイスに近接した第２視野から上記第２カメラにより捕捉された第２画像センサデータに基づいて第２画像メタデータを生成する段階であって、上記第１視野と上記第２視野とは部分的に重複する、生成する段階と、コンピューティングデバイスのプロセッサによって、上記第１回路機構からの上記第１画像メタデータおよび上記第２回路機構からの上記第２画像メタデータを受信する段階と、上記プロセッサによって、上記第１画像メタデータに基づいて、第１動作モードを上記第１ディスプレイデバイスに対して選択する段階と、上記プロセッサによって、上記第２画像メタデータに基づいて、第２動作モードを上記第２ディスプレイデバイスに対して選択する段階と、を含む方法を提供する。
例ＤＥ２は、例ＤＥ１の主題を含み、上記方法は、上記第１画像センサデータ内にユーザの顔を検出する段階と、上記第１画像センサデータ内に上記ユーザの顔を検出したことに基づいて、上記第１カメラの上記第１視野において上記ユーザが存在すると判定する段階と、上記ユーザの顔の第１向きを、上記第１画像センサデータに基づき判定する段階と、上記ユーザの顔の上記第１向きに少なくとも部分的に基づいて、上記ユーザが上記第１ディスプレイデバイスに関与しているか非関与かを判定する段階と、をさらに含む。
例ＤＥ３は、例ＤＥ２の主題を含み、上記方法は、上記ユーザの顔と、上記第１ディスプレイデバイスとの間の第１経路に対して、いずれの方向にも、第１最大回転角度を超えて、上記ユーザの顔が回転されていないという判定に基づいて、上記ユーザが上記第１ディスプレイデバイスに関与していると判定する段階をさらに含む。
例ＤＥ４は、例ＤＥ２からＤＥ３のいずれか１つの主題を含み、上記ユーザが上記第１ディスプレイデバイスに関与しているという判定に基づいて、上記第１画像メタデータは、上記ユーザが上記第１ディスプレイデバイスに関与していることを示すために生成される。
例ＤＥ５は、例ＤＥ２からＤＥ４のいずれか１つの主題を含み、上記第２回路機構は、上記第２画像センサデータ内に上記ユーザの顔を検出し、上記第２画像センサデータ内に上記ユーザの顔を検出したことに基づいて、上記第２カメラの上記第２視野において上記ユーザが存在すると判定し、上記ユーザの顔の第２向きを、上記第２画像センサデータに基づき判定し、上記ユーザの顔の上記第２向きに少なくとも部分的に基づいて、上記ユーザが上記第２ディスプレイデバイスに関与しているか非関与かを判定する。
例ＤＥ５．５は、例ＤＥ５の主題を含み、上記方法は、上記ユーザの顔と、上記第２ディスプレイデバイスとの間の第２経路に対して、いずれの方向にも、第１最大回転角度を超えているが第２最大回転角度以下で、上記ユーザの顔が回転されているという判定に基づいて、上記ユーザが上記第２ディスプレイデバイスに非関与であると判定する段階をさらに含む。
例ＤＥ６は、例ＤＥ５からＤＥ５．５のいずれか１つの主題を含み、上記ユーザが上記第２ディスプレイデバイスに非関与であるという判定に基づいて、上記第２画像メタデータは、上記ユーザが上記第２ディスプレイデバイスに非関与であることを示すために生成される。
例ＤＥ７は、例ＤＥ５からＤＥ６のいずれか１つの主題を含み、上記第２画像センサデータ内に上記ユーザの顔を検出する段階および上記ユーザの顔の上記第２向きを判定する段階は、１または複数の機械学習アルゴリズムを実行する段階を含み、上記第１画像センサデータ内に上記ユーザの顔を検出する段階および上記ユーザの顔の上記第１向きを判定する段階は、１または複数の機械学習アルゴリズムを実行する段階を含む。
例ＤＥ８は、例ＤＥ７の主題を含み、上記１または複数の機械学習アルゴリズムは、人間の顔および人間の顔の向きを認識するように訓練された１または複数のニューラルネットワークを含む。
例ＤＥ９は、例ＤＥ１からＤＥ８のいずれか１つの主題を含み、上記方法は、上記第１画像メタデータはユーザが存在することと、上記ユーザが上記第１ディスプレイデバイスに関与していることを示すと判定する段階と、上記プロセッサを含むコンピューティングシステムへのアクセスがロックされたことを判定する段階と、現在上記第２ディスプレイデバイス上で認証機構が稼働していないことを判定する段階と、上記認証機構による、上記第１ディスプレイデバイスを介した上記ユーザの認証をトリガする段階と、上記ユーザが認証されるまで、上記第２ディスプレイデバイスをオフのままとする段階と、をさらに含む。
例ＤＥ１０は、例ＤＥ１からＤＥ９のいずれか１つの主題を含み、上記方法は、上記第２画像メタデータは、ユーザが存在することと、上記ユーザが上記第２ディスプレイデバイスに非関与であることを示すと判定する段階であって、上記第２動作モードを選択する段階は、上記ユーザが上記第２ディスプレイデバイスに非関与であるという判定に基づく、判定する段階と、上記第２動作モードの選択に応じて、上記第２ディスプレイデバイスのディスプレイパネルに対するバックライトの明るさを、一定期間にわたって、漸次的に減少させる段階をさらに含む。
例ＤＥ１１は、例ＤＥ１０の主題を含み、上記バックライトが所定の最低レベルの明るさまで低減するまで、またはオフになるまで、上記バックライトの明るさを漸次的に減少させる。
例ＤＥ１２は、例ＤＥ１からＤＥ９のいずれか１つの主題を含み、上記方法は、上記第２画像メタデータは、ユーザが存在することと、上記ユーザの顔が検出可能でないことを示すと判定する段階であって、上記第２動作モードを選択する段階は、上記ユーザが存在し、上記ユーザの顔が検出可能でないという判定に基づく、判定する段階と、上記第２動作モードの選択に応じて、ユーザイベントが発生するか、または上記バックライトがオフにされるまで、上記第２ディスプレイデバイスのディスプレイパネルに対するバックライトの明るさを、一定期間にわたって、漸次的に減少させる段階と、をさらに含む。
例ＤＥ１３は、例ＤＥ１からＤＥ９のいずれか１つの主題を含み、上記方法は、上記第２画像メタデータはユーザが存在しないことを示すと判定する段階と、上記第１ディスプレイデバイスに関連付けられた最後の画像メタデータが、上記ユーザが存在しないことを示すと判定する段階と、上記第２動作モードの選択に応じて、上記第１ディスプレイデバイスおよび上記第２ディスプレイデバイスをオフにする段階と、上記プロセッサを含むコンピューティングシステムをロックする段階と、をさらに含む。
例ＤＥ１４は、例ＤＥ１からＤＥ１３のいずれか１つの主題を含み、上記方法は、非アクティブのために許可された最大時間が上記第１ディスプレイデバイスに対して経過したと判定する段階と、上記第１ディスプレイデバイスに関連付けられた最後の画像メタデータにアクセスする段階と、上記第１ディスプレイデバイスに関連付けられた最後の画像メタデータはユーザが存在することを示すという判定に基づいて、上記第１ディスプレイデバイスがオフにされることを防止する段階と、をさらに含む。
例ＤＥ１５は、例ＤＥ１からＤＥ１４のいずれか１つの主題を含み、上記第１画像メタデータは、上記第１カメラに関連付けられた上記第１視野においてユーザが存在するか、または存在しないか、および上記ユーザが上記第１ディスプレイデバイスに関与しているか非関与かを示す。
例ＤＥ１６は、例ＤＥ１からＤＥ１４のいずれか１つの主題を含み、上記方法は、上記第１視野において第１イベントが発生したと判定する段階と、上記第１視野において上記第１イベントが発生したとの判定に応じて、上記第１回路機構から、上記第１画像メタデータを上記プロセッサに送信する段階と、をさらに含む。
例ＤＥ１７は、例ＤＥ１６の主題を含み、上記方法は、上記第１画像センサデータの捕捉前に上記第１カメラにより上記第１視野から捕捉された他の画像センサデータに基づいて、上記第１画像メタデータを上記第１回路機構により以前生成された第３画像メタデータと比較することにより、上記第１イベントが発生したと判定する段階をさらに含む。
例ＤＥ１８は、本明細書に上述の例ＤＥのいずれか１つの主題を含み、例ＡＡ１からＡＡ１６のいずれか１つの方法の要素（これらの方法要素が本明細書に上述の例ＤＥの方法要素と重複しない限り）をさらに含む。
例ＤＦ１は、例ＤＥ１からＤＥ１７のいずれか１つの方法を実行する手段を含む装置を提供する。
例ＤＦ２は、例ＤＦ１の主題を含み、上記方法を実行する上記手段は、少なくとも１つのプロセッサおよび少なくとも１つのメモリ要素を含む。
例ＤＦ３は、例ＤＦ２の主題を含み、上記少なくとも１つのメモリ要素は機械可読命令を含み、上記命令は、実行されると、上記装置に上述のいずれか１つの例の方法を実行させる。
例ＤＦ４は、例ＤＦ１からＤＦ３のいずれか１つの主題を含み、上記装置は、コンピューティングシステム、処理要素、またはシステム・オン・チップのうちの１つである。
例ＤＧ１は、命令を含む少なくとも１つの機械可読ストレージ媒体を提供し、上記命令は、実行されると、装置を実現し、コンピューティングシステムを実現し、または上述のいずれか１つの例に記載の方法を実装する。
タッチ体験向上
上述のように、リッドコントローラハブは、タッチセンサデータのオペレーティングシステムへの送信と、ディスプレイリフレッシュレートとの同期を可能とする。この同期は、スムーズなタッチ体験を実現する。フレームが、ディスプレイリフレッシュ間の時間と同じ時間間隔で収集されたタッチセンサデータに基づいてレンダリング可能であるためである。ユーザが、その指で、ディスプレイを横切るように一定の速度でアイコンを動かすことを考える。オペレーティングシステムへのタッチセンサデータ送信が、ディスプレイリフレッシュレートと同期していれば、アイコンは、スクリーンリフレッシュ毎に、実質的に同じ距離、ディスプレイを横切るように移動し、アイコンはディスプレイを横切ってスムーズに移動するように見える。同期がなければ、連続したフレームにおけるアイコンが移動する距離は異なる可能性があり、アイコンの移動は、同期的手法よりも断続的に見え得る。
いくつかの既存アプリケーションは、この非同期に対応するため、使用前にタッチセンサデータの平滑化を行う。しかし、そのような調整は、アプリケーションレベルで実行され、アプリケーションの全てが使用前にタッチセンサデータを平滑化しなくてもよい。リッドコントローラハブによるタッチセンサデータの調整は、デバイスレベルでのタッチセンサデータの調整を実現する。調整されたタッチセンサデータは、ＬＣＨによりオペレーティングシステムに送信され、これによりオペレーティングシステムと、コンピューティングデバイス上で動作するアプリケーションにより利用可能になる。したがって、リッドコントローラハブは、少なくとも２つの方法で、全アプリケーション間で、ユーザに向上したタッチ体験を提供する、デバイスレベル機能を可能とする。即ち、タッチセンサデータのオペレーティングシステムへの送信と、ディスプレイリフレッシュレートとの同期、およびタッチセンサデータをオペレーティングシステムに送信する前に調整することである。
一般的に、タッチセンサデータの送信と、ディスプレイリフレッシュレートとの同期は、以下のとおりに実行できる。タッチディスプレイコントローラ（例えば、１６５、２８５、３８５）は、タッチディスプレイ（例えば、１４５、２８０、３８０、９２６、２１４０）でのタッチインタラクション開始を検出し、タッチセンサデータをＬＣＨに提供する。ディスプレイがリフレッシュされる前の或る時点で、ＬＣＨ（例えば、１５５、２６０、３０５、９５４、１７０５）は、今後のリフレッシュの通知を受信する。この通知は、表示サブシステム、またはタイミングコントローラ（例えば、タイミングコントローラ１５０、４００、３５５、９４４、１７０６、２１００）などの表示サブシステムのコンポーネントから来得る。ＬＣＨは、タッチコントローラから受信したタッチセンサデータに基づいて、調整されたタッチセンサデータを生成し、調整されたタッチセンサデータをオペレーティングシステムに送信する。調整されたタッチセンサデータは、調整されたタッチ位置データを、いくつかの実施形態においては調整されたタッチ強度データを含み得る。調整されたタッチセンサデータをオペレーティングシステムに送信することは、データをリッド（例えば、１２０、１２３、２２０、３０１、１７０１）から、コンピューティングデバイス（例えば、１００、１２２、２００、３００、９００）のベース（例えば、１１０、１２９、２１０、３１５、９１０、１７０２）におけるホスト処理ユニット（例えば、１４０、３９０、３４０、１７６０、２１８６）に送信することを含み得る。
オペレーティングシステムは、調整されたタッチセンサデータを、コンピューティングデバイス上で実行中のアプリケーションに送り得る。オペレーティングシステムまたはアプリケーションは、調整されたタッチセンサデータに基づいて、フレームデータを生成し得る。フレームデータは、ディスプレイ上に表示される新たなフレームを生成するディスプレイモジュール（例えば、３９１、３４１、２１６４）に提供され得る。ディスプレイモジュールは、新たなフレームを示す情報を含むビデオデータを、タイミングコントローラ（例えば、１５０、４００、３５５、９４４、１７０６、２１００）に送信する。タイミングコントローラは、新たなフレームを、ディスプレイ上に表示させ得る。個別のアプリケーションが、それらが受信したタッチセンサデータを調整する代わりに、リッドコントローラハブが調整されたタッチセンサデータをオペレーティングシステムに提供することで、調整されたタッチセンサデータが、オペレーティングシステムと、コンピューティングデバイス上で動作するあらゆるアプリケーションにより利用可能にできる。
図３８は、向上したタッチユーザ体験を提供可能なリッドコントローラハブを含む、例示的コンピューティングデバイスの簡略化されたブロック図である。コンピューティングデバイス３８００は、リッド３８１０ａと、ベース３８２０とを含む。リッド３８１０は、タッチディスプレイコントローラ（タッチコントローラ）３８３０と、ＬＣＨ３８３４と、表示サブシステム３８３８と、内蔵ディスプレイパネル３８４２とを含む。ベース３８２０は、ディスプレイモジュール３８６０を含む、ホスト処理ユニット３８５０を含む。オペレーティングシステム３８７０および１または複数のアプリケーション３８８０は、ベース３８２０（例えば、ホスト処理ユニット３８５０）における計算リソース上で実行され得る。
コンピューティングデバイス３８００は、本明細書に記載のコンピューティングデバイス（例えば、１００、１２２、２００、３００、９００）のいずれかであり得る。リッド３８１０は、本明細書に記載のリッド（例えば、１２０、１２３、２２０、３０１、９２０、１７０１）のいずれかであり得る。タッチコントローラ３８３０は、本明細書に記載のタッチコントローラ（例えば、１６５、２８５、３８５）のいずれかであり得る。内蔵ディスプレイパネル３８４２は、タッチディスプレイであり、本明細書に記載のディスプレイパネル（例えば、１４５、２８０、３８０、９２６、２１４０）のいずれかであり得る。ＬＣＨ３８３４は、本明細書に記載のＬＣＨ（例えば、１５５、２６０、３０５、９５４、１７０５）のいずれかであり得る。いくつかの実施形態において、ＬＣＨ３８３４は、本明細書に記載の他のＬＣＨ実施形態のＬＣＨの一部として記載された全てのコンポーネントおよびモジュールよりもコンポーネントを少なく有する。例えば、ＬＣＨ３８３４は、オーディオモジュールを含まなくてよい。
表示サブシステム３８３８は、タイミングコントローラ（例えば、１５０、４００、３５５、９４４、１７０６、２１００）とそれを構成するタイミングコントローラコンポーネント（例えば、フレームバッファ（例えば、８３０、２１２０）、フレーム処理スタックモジュール（例えば、８２２から８２６、２１３９から２１２８））、行ドライバ（例えば、８８２、２１５４、２１５８）、列ドライバ（例えば、８８４、２１６０）、ディスプレイドライバ（例えば、８８０、２１３０）、およびビデオデータレシーバ（例えば、８１２、２１１０）などの、ディスプレイ関連動作を実行する本明細書に記載の１または複数のコンポーネントを含み得る。ホスト処理ユニット３８５０は、本明細書に記載の任意のホスト処理ユニット（例えば、１４０、３８５、３８０、３８２、３４０、３４２、９１４、１７６０、２１８６）であり得る。ディスプレイモジュール３８６０は、本明細書に記載の任意のディスプレイモジュール（例えば、３８１、３４１、２１６４）であり得る。ベース３８２０は、本明細書に記載のベース（例えば、１１０、１２９、２１０、３１５、９１０、１７０２）のいずれかであり得る。
図３９は、コンピューティングデバイス３９００におけるコンポーネント間の情報の例示的な流れを示す。３９２０において、タッチコントローラ３８３０は、ディスプレイ３８４２におけるタッチインタラクションを検出しない。いくつかの実施形態において、タッチコントローラ３８３０は、ディスプレイをタッチしているオブジェクトがないことを示すタッチセンサデータからの、タッチセンサデータの乖離を検出することにより、タッチインタラクションを検出し得る。３９２５において、タッチコントローラ３８３０は、ディスプレイ３８４２におけるタッチインタラクションの開始を検出する。３９３０において、ディスプレイ３８４２でのタッチインタラクションの開始の検出に応じて、タッチコントローラ３８３０は、タッチセンサデータをＬＣＨ３８３４に提供する。３９３５において、ＬＣＨ３８３４は、表示サブシステム３８３８に、ディスプレイ３８４２のリフレッシュレートを増加するよう通知を送信する。別の実施形態において、ＬＣＨ３８３４は、表示サブシステム３８３８に、通知で指定されたレートにリフレッシュレートを変更するよう、またはリフレッシュレートをディスプレイ３８４２の最大リフレッシュレートに変更するよう通知し得る。いくつかの実施形態において、ＬＣＨ３８３４は、同期信号３８８２（例えば、１８０、２２６、３７０）を介して、表示サブシステム３８３８に通知を送信する。ＬＣＨ３８３４が、ディスプレイリフレッシュレートを追跡しており、ディスプレイリフレッシュレートが既に「アクティブ」ディスプレイレート（例えば、６０Ｈｚから１２０Ｈｚ）であれば、ＬＣＨ３８３４はこの通知を表示サブシステム３８３８に送信しなくてよい。
３９４０で、タッチコントローラ３８３０は、タッチセンサデータ３８３２をＬＣＨ３８３４に送信し続ける。３９４５および３９５０で、表示サブシステム３８３８は、ディスプレイリフレッシュが発生することを示すディスプレイリフレッシュ通知をＬＣＨ３８３４およびオペレーティングシステム３８７０に送信する。ディスプレイリフレッシュ通知３９４５がＬＣＨ３８３４に送信された後に、オペレーティングシステム３８７０に送信されるディスプレイリフレッシュ通知３９４５は、遅延３９４７により遅延され得る。これにより、オペレーティングシステム３８７０またはアプリケーション３８８０が、調整されたタッチセンサデータに基づいて、新たなフレームをレンダリングするのに、追加的な時間が提供される。いくつかの実施形態において、遅延３９４７はプログラム可能である。いくつかの実施形態において、ディスプレイリフレッシュ通知は、ディスプレイの第１行または列のリドローが発生することを通知し得る。今後のディスプレイリフレッシュの通知と、ディスプレイリフレッシュの開始との間の遅延は、３９５５で示される。いくつかの実施形態において、この遅延はプログラム可能である。一部の既存のディスプレイの最大リフレッシュレート（例えば、１２０Ｈｚ）でも、調整されたタッチセンサデータを生成し、調整されたタッチセンサデータをオペレーティングシステム３８７０に送信し、調整されたタッチセンサデータをアプリケーション３８８０に送り、調整されたタッチセンサデータに基づいてフレーム情報を生成し、フレーム情報に基づいて新たなフレームを生成し、ディスプレイ３８４２が新たなフレームでリフレッシュされるのに間に合うように、表示サブシステム３８３８に新たなフレームを表す情報を含むビデオデータを提供する時間がある。
３９６０において、ディスプレイリフレッシュ通知の受信に応じて、ＬＣＨ３８３４は、タッチコントローラ３８３０により提供されたタッチセンサデータに基づいて、調整されたタッチセンサデータ３８３６を生成する。いくつかの実施形態において、タッチセンサデータは、タッチコントローラがタッチを検出したタッチ位置情報（例えば、ｘ－ｙ座標）を含み、調整されたタッチデータは調整されたタッチ位置データを含み得る。いくつかの実施形態において、タッチセンサデータ３８３２は、タッチインタラクションの強度（例えば、ユーザまたはオブジェクトがどれほど強くディスプレイに押し当てられているか）を反映できるタッチ強度情報を含み、調整されたタッチセンサデータは、調整されたタッチ強度データを含むことができる。タッチインタラクションの開始、または調整されたタッチセンサデータの最後の生成から、ＬＣＨ３８３４が複数のタッチセンサデータサンプルを受信した場合（例えば、複数のｘ－ｙ座標組）、ＬＣＨ３８３４は、複数のタッチセンサデータサンプルに対して、１または複数の調整操作を実行し得る。調整操作は、複数のタッチセンサデータサンプルにわたるタッチ位置ｘ－ｙ座標の平均化、カルマンフィルタを利用した平滑化操作、または他の任意のタイプの平滑化操作等の平滑化操作であり得る。いくつかの実施形態において、ＬＣＨ３８３４は、前回のディスプレイリフレッシュよりも前にＬＣＨ３８３４が受信したタッチセンサデータに基づき、調整されたタッチセンサデータ３８３６を生成し得る。例えば、調整されたタッチデータ位置を生成することは、以前、例えば５回のディスプレイリフレッシュにわたり、ＬＣＨが受信したタッチ位置データが示すタッチ位置の平均を計算することを含み得る。
３９６５において、調整されたタッチセンサデータ３８３６がオペレーティングシステム３８７０に送信される。ＬＣＨ３８３４は、調整されたタッチセンサデータ３８３６送信後の次のディスプレイリフレッシュ間隔について、調整されたタッチセンサデータの生成に使用されるタッチセンサデータ３８３２を、タッチコントローラ３８３０から受信できる。３９７０において、オペレーティングシステム３８７０は、調整されたタッチセンサデータを、調整されたタッチセンサデータに基づいてフレーム情報を生成可能なアプリケーション３８８０に送る。いくつかの実施形態において、オペレーティングシステム３８７０は、調整されたタッチセンサデータに基づいて、フレーム情報を生成できる。フレーム情報は、ユーザ要素（例えば、カーソル、ポインター）またはゲームキャラクターの位置を更新するなど、調整されたタッチセンサデータに基づいて、アプリケーション３８８０またはオペレーティングシステム３８７０に更新されたフレームの全部または一部を示し得る。３９７５において、アプリケーション３８８０はリドローコマンドをオペレーティングシステム３８７０に送信する。例えば、オペレーティングシステム３８７０がＷｉｎｄｏｗｓ（登録商標）オペレーティングシステムであれば、アプリケーション３８８０は、ディスプレイウィンドウマネージャに、リドローコマンドを送信できる。
図３９には示されていないが、ディスプレイリフレッシュ時に新たなフレームを表示させる追加的動作は、コンピューティングデバイスのベース３８２０から表示サブシステム３８３８がビデオデータ３８５４を受信することと、表示サブシステム３８３８が新たなフレームでディスプレイ３８４２をリフレッシュさせることとを含み得る。いくつかの実施形態において、ビデオデータ３８５４は、ホスト処理ユニット３８５０の一部であるディスプレイモジュール３８６０による生成され得る。いくつかの実施形態において、タッチコントローラ３８３０が、タッチセンサデータをＬＣＨ３８３４のホストモジュール（例えば、２６１、３６２）に送信できる。いくつかの実施形態において、調整されたタッチセンサデータ３８３６は、Ｉ３Ｃ接続（例えば、接続２２１）またはＵＳＢ接続（例えば、接続２３８）を介してオペレーティングシステム３８７０に送られ得る。
図４０は、オペレーティングシステムにタッチセンサデータを送信することを、ディスプレイリフレッシュレートに同期する、例示的方法を示す。方法は例えば、ラップトップ内のリッドコントローラハブ（例えば、１５５、２６０、３０５、９５４、１７０５、３８３４）により実行され得る。４０１０において、タッチセンサデータがタッチディスプレイコントローラから受信される。４０２０において、ディスプレイリフレッシュ通知の受信に応じて、調整されたタッチセンサデータがタッチセンサデータに基づいて生成され、調整されたタッチセンサデータがオペレーティングシステムに送信される。タッチセンサデータを受信することと、調整されたタッチセンサデータを生成することと、調整されたタッチセンサデータを送信することとは、モバイルコンピューティングデバイスのリッド内で実行され得、オペレーティングシステムは、モバイルコンピューティングデバイスのベース内に配置された１または複数の処理ユニットの上で実行され得る。
別の実施形態において、方法４０００は追加的な要素を含み得る。例えば、ディスプレイリフレッシュ通知は、表示サブシステムから受信され得る。別の例において、オペレーティングシステム、またはモバイルコンピューティングデバイス上で実行されるアプリケーションは、調整されたタッチセンサデータに基づいてフレーム情報を生成する。新たなフレームは、フレーム情報に基づいて生成される。ディスプレイは、新たなフレームを表示するため、リフレッシュされる。
以下の例は、本明細書に係る実施形態に関する。
例ＥＡ１は、タッチディスプレイコントローラからタッチセンサデータを受信する段階と、ディスプレイリフレッシュ通知の受信に応じて、上記タッチセンサデータに基づいて、調整されたタッチセンサデータを生成する段階と、上記調整されたタッチセンサデータをオペレーティングシステムに送信する段階と、を含む方法であって、上記タッチセンサデータを受信する段階と、上記調整されたタッチセンサデータを生成する段階と、上記調整されたタッチセンサデータを送信する段階は、モバイルコンピューティングデバイスのリッド内で実行され、上記オペレーティングシステムは、上記モバイルコンピューティングデバイスのベース内に配置された１または複数の処理ユニットの上で実行される。
例ＥＡ２は、例ＥＡ１の方法を含み、上記タッチセンサデータは、タッチ位置データを含み、上記調整されたタッチセンサデータを生成する段階は、上記タッチ位置データに基づいて、調整されたタッチ位置データを生成する段階を含み、上記調整されたタッチセンサデータは、上記調整されたタッチ位置データを含む。
例ＥＡ３は、例ＥＡ１またはＥＡ２の上記方法を含み、上記タッチセンサデータは、タッチ強度データを含み、上記調整されたタッチセンサデータを生成する段階は、上記タッチ強度データに基づいて、調整されたタッチ強度データを生成する段階を含み、上記調整されたタッチセンサデータは、上記調整されたタッチ強度データを含む。
例ＥＡ４は、例ＥＡ１からＥＡ３のいずれか１つの方法を含み、上記調整されたタッチセンサデータを生成する段階は、上記タッチセンサデータを平滑化する段階を含む。
例ＥＡ５は、例ＥＡ１からＥＡ４のいずれか１つの方法を含み、以前のタッチセンサデータを受信する段階と、上記ディスプレイリフレッシュ通知より前の以前のディスプレイリフレッシュ通知を受信する段階と、をさらに含み、上記以前のタッチセンサデータは、上記以前のディスプレイリフレッシュ通知の受信より前に受信され、上記調整されたタッチセンサデータを生成する段階は、上記タッチセンサデータを上記以前のタッチセンサデータで平均化する段階を含む。
例ＥＡ６は、例ＥＡ１からＥＡ５のいずれか１つの方法を含み、表示サブシステムに、ディスプレイのリフレッシュレートを変更するよう通知する段階をさらに含む。
例ＥＡ７は、例ＥＡ１からＥＡ５のいずれか１つの方法を含み、表示サブシステムに、ディスプレイのリフレッシュレートを増加させるよう通知する段階をさらに含む。
例ＥＡ８は、例ＥＡ１からＥＡ５のいずれか１つの方法を含み、表示サブシステムに、上記ディスプレイのリフレッシュレートを最大リフレッシュレートまで増加させるよう通知する段階をさらに含む。
例ＥＡ９は、例ＥＡ６からＥＡ８のいずれか１つの方法を含み、上記タッチセンサデータの受信に応じて、上記表示サブシステムに通知する段階をさらに含む。
例ＥＡ１０は、例ＥＡ１からＥＡ９のいずれか１つの方法を含み、上記調整されたタッチセンサデータを上記モバイルコンピューティングデバイス上で実行されるアプリケーションに送信する段階をさらに含む。
例ＥＡ１１は、例ＥＡ１からＥＡ１０のいずれか１つの方法を含み、上記オペレーティングシステムまたは上記モバイルコンピューティングデバイス上で実行されるアプリケーションにより、上記調整されたタッチセンサデータに基づいてフレーム情報を生成する段階と、上記フレーム情報に基づいて新たなフレームを生成する段階と、上記新たなフレームを表示するため、ディスプレイをリフレッシュする段階と、をさらに含む。
例ＥＡ１２は、本明細書に上述の例ＥＡのいずれか１つの方法を含み、例ＡＡ１からＡＡ１６またはＤＥ１からＤＥ１７のいずれか１つの方法の要素（これらの方法要素が本明細書に上述の例ＥＡの方法要素と重複しない限り）をさらに含む。
例ＥＢ１は、タッチディスプレイコントローラからタッチセンサデータを受信し、ディスプレイリフレッシュ通知を受信し、上記ディスプレイリフレッシュ通知の受信に応じて、上記タッチセンサデータに基づいて、調整されたタッチセンサデータを生成し、上記調整されたタッチセンサデータをホスト処理ユニットに送信する、回路機構を備える装置であって、上記装置は、モバイルコンピューティングデバイスのリッド内で使用される。
例ＥＢ１．５は、例ＥＢ１の装置を含み、上記装置は、リッドコントローラハブである。
例ＥＢ２は、例ＥＢ１の装置を含み、上記タッチセンサデータは、タッチ位置データを含み、上記調整されたタッチセンサデータを生成することは、上記タッチ位置データに基づいて、調整されたタッチ位置データを生成することを含み、上記調整されたタッチセンサデータは、上記調整されたタッチ位置データを含む。
例ＥＢ３は、例ＥＢ１またはＥＢ２の装置を含み、上記タッチセンサデータは、タッチ強度データを含み、上記調整されたタッチセンサデータを生成することは、上記タッチ強度データに基づいて、調整されたタッチ強度データを生成することを含み、上記調整されたタッチセンサデータは、上記調整されたタッチ強度データを含む。
例ＥＢ４は、例ＥＢ１からＥＢ３のいずれか１つの装置を含み、上記調整されたタッチセンサデータを生成することは、上記タッチセンサデータを前回のディスプレイリフレッシュよりも前に受信されたタッチセンサデータで平均化することを含む。
例ＥＢ５は、例ＥＢ１からＥＢ３のいずれか１つの装置を含み、上記回路機構はさらに、表示サブシステムに、ディスプレイのリフレッシュレートを変更するよう通知する。
例ＥＢ６は、例ＥＢ１からＥＢ３のいずれか１つの装置を含み、上記回路機構はさらに、表示サブシステムに、ディスプレイのリフレッシュレートを増加させるよう通知する。
例ＥＢ７は、例ＥＢ１からＥＢ３のいずれか１つの装置を含み、上記回路機構はさらに、表示サブシステムに、ディスプレイのリフレッシュレートを最大リフレッシュレートまで増加させるよう通知する。
例ＥＢ８は、例ＥＢ６からＥＢ７のいずれか１つの装置を含み、上記回路機構はさらに、上記タッチセンサデータの受信に応じて、上記表示サブシステムに通知する。
例ＥＢ９は、本明細書に上述の例ＥＢのいずれか１つの装置を含み、例ＤＣ１からＤＣ１０、またはＤＤ１からＤＤ６のいずれか１つの特徴（これらの特徴が本明細書に上述の例ＥＢの特徴と重複しない限り）をさらに含む。
例ＥＣ１は、オペレーティングシステムを実行する１または複数のホスト処理ユニットを含むベースと、上記ベースに回転可能に結合されたリッドであって、タッチディスプレイと、タッチディスプレイコントローラと、上記タッチディスプレイをリフレッシュする表示サブシステムと、回路機構であって、上記タッチディスプレイコントローラからタッチセンサデータを受信し、上記表示サブシステムからディスプレイリフレッシュ通知を受信し、上記ディスプレイリフレッシュ通知の受信に応じて、上記タッチセンサデータに基づいて、調整されたタッチセンサデータを生成し、上記調整されたタッチセンサデータを上記オペレーティングシステムに送信する、回路機構と、を含むリッドと、を備えるモバイルコンピューティングデバイスである。
例ＥＣ１．５は、例ＥＣ１の装置を含み、上記装置は、リッドコントローラハブである。
例ＥＣ２は、例ＥＣ１のモバイルコンピューティングデバイスを含み、上記タッチセンサデータは、タッチ位置データを含み、上記調整されたタッチセンサデータを生成することは、上記タッチ位置データに基づいて、調整されたタッチ位置データを生成することを含み、上記調整されたタッチセンサデータは、上記調整されたタッチ位置データを含む。
例ＥＣ３は、例ＥＣ１またはＥＣ２のモバイルコンピューティングデバイスを含み、上記タッチセンサデータは、タッチ強度データを含み、上記調整されたタッチセンサデータを生成することは、上記タッチ強度データに基づいて、調整されたタッチ強度データを生成することを含み、上記調整されたタッチセンサデータは、上記調整されたタッチ強度データを含む。
例ＥＣ４は、例ＥＣ１からＥＣ３のいずれか１つのモバイルコンピューティングデバイスを含み、上記回路機構はさらに、以前のタッチセンサデータを受信し、上記ディスプレイリフレッシュ通知より前の以前のディスプレイリフレッシュ通知を受信し、上記以前のタッチセンサデータは、上記以前のディスプレイリフレッシュ通知の受信より前に受信され、上記調整されたタッチセンサデータを生成することは、上記タッチセンサデータを上記以前のタッチセンサデータで平均化することを含む。
例ＥＣ５は、例ＥＣ１からＥＣ４のいずれか１つのモバイルコンピューティングデバイスを含み、上記回路機構はさらに、上記表示サブシステムに、ディスプレイのリフレッシュレートを変更するよう通知する。
例ＥＣ６は、例ＥＣ１からＥＣ４のいずれか１つのモバイルコンピューティングデバイスを含み、上記回路機構はさらに、上記表示サブシステムに、ディスプレイのリフレッシュレートを増加させるよう通知する。
例ＥＣ７は、例ＥＣ１からＥＣ４のいずれか１つのモバイルコンピューティングデバイスを含み、上記回路機構はさらに、上記表示サブシステムに、ディスプレイのリフレッシュレートを最大リフレッシュレートまで増加させるよう通知する。
例ＥＣ８は、例ＥＣ７の上記モバイルコンピューティングデバイスを含み、上記回路機構はさらに、上記タッチセンサデータの受信に応じて、上記表示サブシステムに通知する。
例ＥＣ９は、例ＥＣ１からＥＣ８のいずれか１つのモバイルコンピューティングデバイスを含み、上記表示サブシステムはタイミングコントローラを含む。
例ＥＣ１０は、例ＥＣ１からＥＣ９のいずれか１つのモバイルコンピューティングデバイスを含み、上記ホスト処理ユニットは、アプリケーションを実行し、上記オペレーティングシステムは、上記調整されたタッチセンサデータを上記アプリケーションに提供する。
例ＥＣ１１は、例ＥＣ１からＥＣ１０のいずれか１つのモバイルコンピューティングデバイスを含み、上記オペレーティングシステムまたは上記アプリケーションは、上記調整されたタッチセンサデータに基づいてフレーム情報を生成し、上記オペレーティングシステムは、上記フレーム情報に基づいて新たなフレームを生成し、上記表示サブシステムはさらに、上記ベースからビデオデータを受信し、上記ディスプレイを上記新たなフレームでリフレッシュさせる。
例ＥＣ１２は、本明細書に上述の例ＥＣのいずれか１つのモバイルコンピューティングデバイスを含み、例ＡＢ１からＡＢ１４、ＤＡ１からＤＡ１７、またはＤＢ１からＤＢ１４のいずれかの特徴（これらの特徴が本明細書に上述の例ＥＣの特徴と重複しない限り）をさらに含む。
例ＥＤ１は、オペレーティングシステムを実行する１または複数のホスト処理ユニットを含むベースと、上記ベースに回転可能に結合されたリッドであって、タッチディスプレイと、タッチディスプレイコントローラと、上記タッチディスプレイをリフレッシュする表示サブシステムと、上記タッチディスプレイコントローラから受信されたタッチセンサデータを調整し、上記タッチディスプレイのリフレッシュレートと同期して、上記オペレーティングシステムに上記調整されたタッチセンサデータを送信するためのタッチセンサデータ調整手段と、を含むリッドと、を備えるモバイルコンピューティングデバイスである。
例ＥＤ２は、例ＥＤ１のモバイルコンピューティングデバイスを含み、上記タッチセンサデータは、タッチ位置データを含み、上記調整されたタッチセンサデータを生成することは、上記タッチ位置データに基づいて、調整されたタッチ位置データを生成することを含み、上記調整されたタッチセンサデータは、上記調整されたタッチ位置データを含む。
例ＥＤ３は、例ＥＤ１またはＥＤ２のモバイルコンピューティングデバイスを含み、上記ホスト処理ユニットは、アプリケーションを実行し、上記オペレーティングシステムは、上記調整されたタッチセンサデータを上記アプリケーションに提供する。
例ＥＤ４は、例ＥＤ１からＥＤ３のいずれか１つのモバイルコンピューティングデバイスを含み、上記オペレーティングシステムまたは上記アプリケーションは、上記調整されたタッチセンサデータに基づいてフレーム情報を生成し、上記オペレーティングシステムは、上記フレーム情報に基づいて新たなフレームを生成し、上記表示サブシステムはさらに、上記ベースからビデオデータを受信し、上記タッチディスプレイを上記新たなフレームでリフレッシュさせる。
例ＥＤ５は、本明細書に上述の例ＥＤのいずれか１つのモバイルコンピューティングデバイスを含み、例ＡＢ１からＡＢ１４、ＤＡ１からＤＡ１７、またはＤＢ１からＤＢ１４のいずれかの特徴（これらの特徴が本明細書に上述の例ＥＤの特徴と重複しない限り）をさらに含む。
例ＥＥは、命令を格納する１または複数の非一時的コンピュータ可読ストレージ媒体であって、上記命令は、実行されると、モバイルコンピューティングデバイスのリッドの１または複数の処理ユニットに、例ＡＡ１からＡＡ１６、ＤＥ１からＤＥ１７、またはＥＡ１からＥＡ８のいずれか１つの方法を実行させる。
例ＥＦは、例ＡＡ１からＡＡ１６、ＤＥ１からＤＥ１７、またはＥＡ１からＥＡ１１のいずれか１つの方法を実行する１または複数の手段を含む装置である。
ジェスチャー連続体
モバイルコンピューティングデバイスのリッドに１または複数の前方向きカメラを内蔵することは、空中ジェスチャーをジェスチャー連続体の一部として扱うことを可能とする。ジェスチャー連続体とは、即ち、連続したジェスチャーが初期タッチジェスチャーコンポーネント（２Ｄジェスチャー）を含み、それにディスプレイの前の空間で実行される空中ジェスチャー（３Ｄジェスチャー）コンポーネントが続くジェスチャー空間連続体、および、タッチジェスチャーに１または複数の関連空中ジェスチャーが続く、関連「マルチプレーン」ジェスチャーを含むジェスチャー時間連続体である。逆の状況も可能である。連続したジェスチャーは、空中ジェスチャーコンポーネントにより開始し、タッチジェスチャーコンポーネントにより終了し得る。一連の関連マルチプレーンジェスチャーは、空中ジェスチャーにより開始し、それに１または複数の関連タッチジェスチャーが続き得る。マルチプレーンジェスチャーは、複数のユーザにより提供され得る。例えば、第１ユーザがタッチジェスチャーを提供し得、第２ユーザの関連空中ジェスチャーがそれに続き得る。同時マルチプレーンジェスチャーもサポートされる。複数のユーザが関連タッチおよび空中ジェスチャーを同時に供給できる。
一般的に、組み合わせジェスチャーは以下のとおりに可能となる。タッチメタデータおよび画像メタデータは、タッチディスプレイコントローラ（例えば、１６５、２８５、３８５、３８３０）により提供されるタッチセンサデータと、カメラ（例えば、１６０、２７０、３４６、９３２、２５１４、３０１４）により提供される画像センサデータによりそれぞれ判定される。タッチメタデータはタッチアナライザにより判定され得、画像メタデータはビジョン／撮像アナライザ（１７２、２６３、３６３、１７４０、２５４０Ａ、２５４０Ｂ、３０２０、３０２６）により判定され得る。タッチディスプレイコントローラ、カメラ、タッチアナライザ、およびビジョン／撮像アナライザは、ラップトップなどのモバイルコンピューティングデバイス（例えば、１００、１２２、２００、３００、９００、３８００）のリッド（例えば、１２０、１２３、２２０、３０１、９２０、１７０１、３８１０）内に配置され得る。タッチメタデータおよび画像メタデータは、タッチメタデータおよび画像メタデータに基づいて、ユーザにより組み合わせジェスチャーが実行されたかを判定するオペレーティングシステムおよび／またはアプリケーションに送信される。組み合わせジェスチャーが行われたかの判定は、これに加えて、オペレーティングシステムおよび／またはアプリケーションに同じく送信され得るタッチセンサデータの一部および／または画像センサデータの一部に基づき得る。タッチメタデータは、ディスプレイ（例えば、１４５、２８０、３８０、９２６、２１４０、３８４２）へのタッチの位置を示す情報を含み得る。画像メタデータは、ディスプレイの前の空間における、ジェスチャーオブジェクト（例えば、指、スタイラス）の位置を示す情報を含み得る。画像メタデータは、ディスプレイの表面からのジェスチャーオブジェクトの距離を示す、距離情報を含み得る。タッチアナライザおよび／またはビジョン／撮像アナライザは、タッチセンサデータおよび画像センサデータが、空間的または時間的に関連しているかを示す情報を、オペレーティングシステムに提供できる。組み合わせジェスチャーが実行されたかの判定は、空間的および時間的関係情報にさらに基づき得る。組み合わせジェスチャーが実行されたと判定された場合、オペレーティングシステムおよび／またはアプリケーションは、仮想オブジェクトを「持ち上げて」、アプリケーション環境内でオブジェクトを移動するなど、組み合わせジェスチャーに基づき、１または複数の動作を実行できる。
マルチプレーンジェスチャーも同様に可能となる。タッチメタデータおよび画像メタデータは、タッチディスプレイコントローラ（例えば、１６５、２８５、３８５、３８３０）により提供される第１タッチセンサデータと、カメラ（例えば、１６０、２７０、３４６、９３２、２５１４、３０１４）により提供される画像センサデータによりそれぞれ判定される。マルチプレーンジェスチャーシナリオにおいて、画像メタデータは、第１タッチセンサデータ受信後に受信された画像センサデータに基づいて判定され得る。第１タッチメタデータおよび画像メタデータは、第１タッチメタデータに基づき、１または複数の第１動作を実行し、その後、画像センサデータに基づいて、１または複数の第２動作を実行する、オペレーティングシステムまたはアプリケーションに送信される。第１タッチセンサデータの受信に関連付けられた時間から、ディスプレイ（例えば、１４５、２８０、３８０、９２６、２１４０、３８４２）にユーザが関与していると、第２動作が実行され得る。追加的なタッチメタデータが、追加的なタッチセンサデータに基づいて判定され得、追加的なタッチメタデータは、オペレーティングシステムまたはアプリケーションに提供され得る。そして、オペレーティングシステムまたはアプリケーションは、追加的なタッチメタデータに基づいて、１または複数の第３動作を実行し得る。第１タッチセンサデータの受信に関連付けられた時間から、スクリーンのディスプレイにユーザが関与していると、第３動作が実行され得る。オペレーティングシステムおよび／またはアプリケーションにより実行される第１動作の一部として、デバイス（例えば、１００、１２２、２００、３００、９００、３８００）は、空中ジェスチャーが認識され、対応されるモードまたはコンテキストに移行し得る。いくつかの実施形態において、モードまたはコンテキストに移行することは、新たなユーザインタフェースを提示すること、または既存のものを空中ジェスチャーに対するプロンプトを含むように更新することを含み得る。
ディスプレイに対するユーザの関与を検出することは、ユーザがディスプレイの前に存在するかの判定、および／またはディスプレイに対するユーザの頭部または顔の向きの判定に基づき得る。ユーザの存在および頭部／顔の向きは、画像アナライザにより判定され得る。ユーザの存在検出および／または頭部／顔の向きの判定に、ニューラルネットワークアクセラレータが使用され得る。
複数のユーザにより提供されるマルチプレーンジェスチャーもサポートされる。例えば、タッチセンサデータは、第１ユーザによる、ディスプレイ（例えば、１４５、２８０、３８０、９２６、２１４０、３８４２）へのタッチに応じて生成され得、画像センサデータは、第２ユーザによる空中ジェスチャーを示し得る。第１ユーザによるタッチが行われた時間から、空中ジェスチャーが行われた時間まで第２ユーザがディスプレイに関与したと判定された場合、オペレーティングシステムおよび／またはアプリケーションは、１または複数の空中ジェスチャー関連動作を実行し得る。ディスプレイへの初期タッチが行われた時間から、任意の後続のタッチがディスプレイに行われた時間までに、第１ユーザがディスプレイに関与したと判定された場合、オペレーティングシステムおよび／またはアプリケーション１または複数のタッチ関連動作を実行し得る。画像アナライザ（例えば、１７２、２６３、３６３、１７４０、２５４０Ａ、２５４０Ｂ、３０２０、３０２６）は、画像センサデータに基づいて複数のユーザの存在を検出し、第１ユーザをタッチセンサデータに関連付け、第２ユーザを画像センサデータに関連付け、各ユーザがディスプレイに関与しているかを判定し得る。画像センサデータにおける１または複数のユーザの存在の検出、およびユーザがディスプレイに関与しているかの判定に、ニューラルネットワークアクセラレータが使用され得る。
マルチユーザマルチプレーンジェスチャーは、創作プロセス時の、ユーザ間の同時コラボレーションを可能にし得る。例えば、イラストレーションプログラムにおいて、１人がタッチ入力を介してイラストレーションの１部分の作業を実行でき、その間に、第２の人が空中ジェスチャーを介してイラストレーションの他の部分の作業を実行できる。ここで、各ユーザは自身の個別の好みに応じて、イラストレーションアプリケーションとインタラクトする。または、両ユーザは、空中ジェスチャーを介して同時にインタラクトし得る。マルチプレーンジェスチャーの別の例において、ユーザは、ブラシ色変更を可能とするアイコンをタッチすることで、イラストレーションアプリケーションにおけるブラシの異なるブラシ色を選択可能である。タッチに応じて、ユーザが、空中ジェスチャーを使用して新たな色を選択するためにインタラクト可能なカラーホイールユーザインタフェース要素が表示される。空中ジェスチャーは、例えば、ユーザが所望の色を指先で指さして、その指をピンチし、または伸ばしたその指をその拳内に引き込むことで選択することを含み得る。
いくつかのモバイルコンピューティングデバイスは、ライダセンサ、レーダセンサ、および超音波センサなど、連続的ジェスチャーおよびマルチプレーンジェスチャーを可能とするタッチディスプレイコントローラおよびカメラとは異なるセンサにより生成されたセンサデータを利用し得る。これら追加的なセンサ（例えば、追加的なセンサ６７１）により生成されたセンサデータは、モバイルコンピューティングデバイスのリッド、モバイルコンピューティングデバイスのべースまたはその両方において、タッチセンサデータおよび画像センサデータと融合できる。
図４１は、組み合わせジェスチャーおよびマルチプレーンジェスチャーをサポート可能な例示的コンピューティングデバイスの簡略化されたブロック図である。コンピューティングデバイス４１００は、リッド４１１０ａと、ベース４１４０とを含む。リッド４１１０は、タイミングコントローラ（ＴＣＯＮ）４１１４と、内蔵ディスプレイパネル４１１８と、タッチディスプレイコントローラ４１２４と、カメラ４１２８と、タッチアナライザ４１３４と、ビジョン／撮像アナライザ４１３８とを含む。ベース４１４０は、オペレーティングシステム４１６０および１または複数のアプリケーション４１７０を実行可能な１または複数のホスト処理ユニット４１５０を含む。コンピューティングデバイス４１００は、本明細書に記載のコンピューティングデバイス（例えば、１００、１２２、２００、３００、９００、３８００）のいずれかであり得る。リッド４１１０は、本明細書に記載のリッド（例えば、１２０、１２３、２２０、３０１、９２０、１７０１、３８１０）のいずれかであり得る。タッチディスプレイコントローラ４１２４は、本明細書に記載のタッチコントローラ（例えば、１６５、２８５、３８５、３８３０）のいずれかであり得る。内蔵ディスプレイパネル４１１８はタッチディスプレイであり、本明細書に記載のディスプレイパネル（例えば、１４５、２８０、３８０、９２６、２１４０、３８４２）のいずれかであり得る。タッチアナライザ４１３４およびビジョン／撮像アナライザ４１３８は、本明細書に記載のリッドコントローラハブ（例えば、１５５、２６０、３０５、９５４、１７０５、３８１０）のいずれかの一部であり得る。いくつかの実施形態において、タッチアナライザ４１３４はＬＣＨホストモジュール（例えば、１７６、２６１、３６２、１７２０）の一部であり得る。いくつかの実施形態において、ビジョン／撮像アナライザ４１３８は、本明細書に記載のＬＣＨビジョン／撮像モジュールまたはビジョン／撮像アナライザ集積回路（例えば、１７２、２６３、３６３、１７４０、２５４０Ａ、２５４０Ｂ、３０２０、３０２６）のいずれかを含む、またはその一部であり得る。いくつかの実施形態において、タッチアナライザ４１３４およびビジョン／撮像アナライザ４１３８は別個の物理的なコンポーネント（例えば、個別にパッケージングされた集積回路またはともにパッケージングされた個別の集積回路）であり得る。カメラ４１２８は、本明細書に記載のカメラ（例えば、１６０、２７０、３４６、９３２、２５１４、３０１４）のいずれかであり得る。ホスト処理ユニット４１５０は、本明細書に記載の任意のホスト処理ユニット（例えば、１４０、３８５、３８０、３８２、３４０、３４２、９１４、１７６０、２１８６、３８２０）であり得る。ベース４２１４は、本明細書に記載のベース（例えば、１１０、１２９、２１０、３１５、９１０、１７０２）のいずれかであり得る。
図４２は、コンピューティングデバイスに適用される、例示的組み合わせジェスチャーを示す。コンピューティングデバイス４２００は、リッド４２１０と、ベース４２１４と、カメラ４２１８と、ディスプレイ４２２８とを含む。組み合わせジェスチャー４２５０は、仮想オブジェクトを選択するための、ディスプレイ４２２８上の第１ポイント４２３２へのユーザの指４２２０のタッチにより開始する。ユーザがその指４２２０をディスプレイ４２２８上で、第１ポイント４２３２から第２ポイント４２３６への経路４２４０に沿って動かすことでジェスチャーが継続する。組み合わせジェスチャーの空中部分は、第２ポイント４２３６で開始する。ここでユーザは、オブジェクトを「つかむ」ためにその指を、ピンチし、選択されたオブジェクトを「持ち上げる」ためにディスプレイ表面から離隔するようにその指を引く。ユーザは、そのピンチした指を、経路４２４４に沿って、ディスプレイ表面から離隔するように引く。経路４２４４は破線で示され、これは経路がディスプレイ４２２８の前の空間に生じることを示す。ディスプレイの前の空間におけるポイント４２４８で、ユーザは例えば、その指をアンピンチして、選択された仮想オブジェクトをアプリケーション環境内で「落下」させることで、組み合わせジェスチャーの空中ジェスチャー部分を終了する。
図４１を参照すると、いくつかの実施形態において、デバイス４１００は、以下のとおりに、図４２に示す組み合わせジェスチャーなどの、組み合わせジェスチャーを可能にできる。タッチアナライザ４１３４は、タッチディスプレイコントローラ４１２４からタッチセンサデータ４１３０を受信する。タッチセンサデータ４１３０は、ディスプレイで実行されたタッチジェスチャー（例えば、第１ポイント４２３２でのピンチジェスチャー、経路４２４０に沿って仮想オブジェクトをドラッグ）に関連付けられる。タッチアナライザ４１３４は、受信したタッチデータに基づいて、タッチメタデータを判定する。タッチアナライザは、受信したタッチデータに基づいて、タッチ位置情報を判定できる（例えば、仮想オブジェクトをユーザが選択した第１ポイント４２３２の位置、オブジェクトをユーザが「持ち上げた」第２ポイント４１３６の位置、経路４２４０に沿った位置）。タッチアナライザ４１３４は、タッチメタデータ４１４４をホスト処理ユニット４１５０に送信する。いくつかの実施形態において、タッチアナライザ４１３４は、タッチアナライザ４１３４で受信したタッチセンサデータ４１３０の一部を、ホスト処理ユニット４１５０に送信できる。タッチアナライザ４１３４がリッドコントローラハブの一部である実施形態において、タッチアナライザ４１３４以外の、ＬＣＨのコンポーネントは、タッチメタデータ４１４４をホスト処理ユニット４１５０に送信できる。いくつかの実施形態において、タッチアナライザ４１３４は、複数のタッチ位置を判定し得、タッチメタデータは、ディスプレイ４１１８への複数の同時タッチに関するタッチ位置情報を含み得る。ディスプレイへの複数の同時タッチの位置は、オペレーティングシステム４１６０またはアプリケーション４１７０に、図４１に示す例示的組み合わせジェスチャーにおける、仮想オブジェクトを持ち上げるのに使用したピンチジェスチャーなど、ディスプレイでのマルチ指タッチジェスチャーを判定可能にし得る。
ビジョン／撮像アナライザ４１３８は、カメラ４１２８から画像センサデータ４１３２を受信する。画像センサデータは、ユーザによる空中ジェスチャー（例えば、ユーザが、経路４２４４に沿って、ディスプレイの表面から、そのピンチした指を引き戻す）に関連付けられる。ビジョン／撮像アナライザ４１３８は、受信した画像センサデータに基づいて、画像メタデータを判定する。ビジョン／撮像アナライザ４１３８は、画像センサデータに基づいて、空中ジェスチャー位置情報を判定し得る。空中ジェスチャー位置情報は、画像センサデータ４１３２で検出されたジェスチャーオブジェクト（例えば、指、スタイラス）の位置を含み得る。ジェスチャーオブジェクトの位置は、１または複数のＮＮＡ（例えば、ＮＮＡ３２７）および／またはＤＳＰ（例えば、ＤＳＰ３２８）を利用して判定され得る。いくつかの実施形態において、ビジョン／撮像アナライザ４１３８は、リッド内に配置された複数のカメラから受信した画像センサデータに基づいて画像メタデータを判定する。ビジョン／撮像アナライザ４１３８は、画像メタデータ４１４８をホスト処理ユニット４１５０に送信する。いくつかの実施形態において、ビジョン／撮像アナライザ４１３８は、画像センサデータ４１３２の一部をホスト処理ユニット４１５０に送信できる。ビジョン／撮像アナライザ４１３８がリッドコントローラハブの一部である実施形態において、ビジョン／撮像アナライザ４１３８以外の、ＬＣＨのコンポーネントは、画像メタデータ４１４８をホスト処理ユニット４１５０に送信できる。
いくつかの実施形態において、ライダセンサ、レーダセンサ、および超音波センサなどの入力センサは、カメラよりも近接センサとしてより良く作用し得る。空中ジェスチャー位置情報は、画像センサデータからのジェスチャーオブジェクトの位置よりも、より少ない演算負荷で判定され得るためである。
タッチアナライザ４１３４、ビジョン／撮像アナライザ４１３８、リッド４１１０における他のコンポーネント、またはそれらの組み合わせは、タッチセンサデータ４１３０が画像センサデータ４１３２に時間的に関連していることを示す時間的関係情報、タッチセンサデータ４１３０が画像センサデータ４１３２に空間的関連していることを示す空間的関係情報、またはその両方を判定し得る。時間的関係情報および空間的関係情報は、タッチアナライザ４１３４、ビジョン／撮像アナライザ４１３８、または他のリッドコンポーネントから、ホストプロセッサユニット４１５０に送信され得る。例えば、空中ジェスチャーに対応する画像センサデータが、カメラ４１２８により捕捉された、またはビジョン／撮像アナライザ４１３８により受信されたと判定される直前または直後に、ディスプレイへのタッチに対応するタッチセンサデータがタッチディスプレイコントローラ４１２４により捕捉された、またはタッチアナライザ４１３４により受信されたと判定された場合、タッチセンサデータ４１３０および画像センサデータ４１３２が時間的に関連し得る。タッチセンサデータと、画像センサデータとの間の時間的関係の判定に使用される、用語「直前」および「直後」は、タッチコントローラ４１２４でのタッチセンサデータの捕捉、またはタッチアナライザ４１３４でのタッチセンサデータの受信と、カメラ４１２８での画像センサデータの捕捉、またはビジョン／撮像アナライザ４１３８での画像センサデータの受信との間の時間間隔が存在しないことを意味しない。むしろそれらは時間的に連続して発生し、互いに短期間内に発生し得る（例えば、１／１０、１／４、１／２、または１秒以内）。
例えば、タッチ位置データにより示される、ディスプレイへのタッチの判定された開始または終了位置が、画像センサデータにより示される、空中ジェスチャーの判定された開始または終了位置に近ければ、タッチセンサデータおよび画像センサデータは、空間的に関連し得る。タッチセンサデータおよび画像センサデータが空間的関連するかの判定で使用される「近い」という用語は、タッチジェスチャーが、空中ジェスチャーが終わるまたは始まる正確な位置で始まるまたは終わることを意味しない。むしろ、タッチセンサデータおよび画像センサは、それらの対応するタッチジェスチャーおよび空中ジェスチャーが、互いに距離閾値内（例えば、人間の指先のサイズや、スタイラスの先のサイズの規模の画素数内）に開始または終了する場合に、空間的に関連していると判定され得る。
いくつかの実施形態において、ディスプレイに組み合わせジェスチャーが行われたかの判定は、第１ジェスチャーコンポーネントが開始した時間（例えば、タッチアナライザまたはビジョン／撮像アナライザによりタッチ／画像センサデータが受信された時間、またはタッチアナライザまたはビジョン／撮像アナライザからのタッチ／画像センサデータの分析に基づき、ジェスチャーが開始したと判定された時間）から、第２ジェスチャーコンポーネントが終了した時間（例えば、タッチアナライザまたはビジョン／撮像アナライザにより最後のタッチ／画像センサが受信された時間、またはタッチアナライザまたはビジョン／撮像アナライザからのタッチ／画像センサデータの分析に基づき、ジェスチャーが終了したと判定された時間）までに、ユーザが、ディスプレイに関与していたかの判定を含み得る。ディスプレイに対するユーザ関与を判定することは、より詳細に後述する。
デバイス４１００上で動作するオペレーティングシステム４１６０またはアプリケーション４１７０は、タッチメタデータ４１４４および画像メタデータ４１４８に基づいて、デバイス４１００で組み合わせジェスチャーが行われたかを判定できる。いくつかの実施形態において、この判定は、以下のうちの１または複数に基づいて行うことができる：空間的関係情報、時間的関係情報、タッチセンサデータ、画像センサデータ、タッチ位置情報、および空中ジェスチャー位置情報。オペレーティングシステム４１６０またはアプリケーション４１７０は、図４１に示す、「移動、持ち上げ、落下」という組み合わせジェスチャーを実行するなど、組み合わせジェスチャーが行われたと判定されたことに応じて、１または複数の動作を実行し得る。
いくつかの実施形態において、デバイス４１００は、追加的なセンサ４１５４を含み得る。追加的なセンサ４１５４は、１または複数のライダ（「光検出および測距」、「レーザ撮像、検出、および測距」）センサ、レーダセンサ、および超音波センサを含み得る。ライダセンサは、レーザ光をオブジェクトに照射して、反射を測定可能な任意のセンサを含む。ライダセンサは、ライダセンサデータを、リッド４１１０内の１または複数の他のコンポーネントに提供し得る。ライダセンサデータは、センサにより測定されたレーザ光反射、および／または他のコンポーネントによる処理用の、測定されたレーザ光反射を表すデータに基づき、デバイス４１００近傍の、１または複数の検出されたオブジェクトの存在または距離を示す情報を含み得る。
レーダセンサは、その周囲に電磁波を発し、電磁波反射を測定可能な任意のセンサを含み得る。レーダセンサは、レーダセンサデータを、リッド４１１０内の１または複数の他のコンポーネントに提供し得る。レーダセンサデータは、レーダセンサにより測定された電磁波反射、および／または他のコンポーネントによる処理用の、測定された電磁波反射を表すデータに基づき、デバイス４１００近傍の、１または複数のオブジェクトの存在または距離を示す情報を含み得る。超音波センサは、その周囲に超音波を発し、超音波反射を測定可能な任意のセンサを含み得る。超音波センサは、超音波センサデータを、リッド４１１０内の１または複数の他のコンポーネントに提供し得る。超音波センサデータは、センサにより測定された超音波反射、および／または他のコンポーネントによる処理用の、測定された超音波反射を表すデータに基づき、デバイス４１００近傍の、１または複数のオブジェクトの存在または距離を示す情報を含み得る。
ライダセンサデータ、レーダセンサデータ、および超音波センサデータは、追加的なセンサアナライザ４１６２に、追加的なデータセンサデータ４１５８として送信され得る。追加的なセンサアナライザ４１６２は、追加的なセンサデータ４１５８に基づいて、オブジェクトの存在またはそこまでの距離を判定し得る。いくつかの実施形態において、追加的なセンサアナライザ４１６２は、複数のアナライザを含み得る。各アナライザは、ライダセンサデータを処理するライダアナライザ、レーダセンサデータを処理するレーダアナライザ、および超音波センサデータを処理する超音波センサなど、１タイプのセンサデータを処理するアナライザである。追加的なセンサアナライザは、１または複数のホスト処理ユニット４１５０に提供され得、そこでオペレーティングシステム４１６０、アプリケーション４１７０の内の１または複数、または内蔵センサハブ４１８０によりさらに処理され得る、追加的なセンサメタデータ４１６６を生成し得る。
いくつかの実施形態において、リッド内の１または複数のコンポーネントは、リッド４１１０またはベース４１４０における他のコンポーネントにより使用されるメタデータ情報を判定するために、様々なタイプのセンサデータを利用（または「融合」）できる。例えば、ディスプレイ４１１８の前の、１または複数のオブジェクトの存在または位置を判定するために、ライダセンサデータ、画像センサデータ、レーダセンサデータ、または超音波センサデータのうちの１または複数を使用できる。本明細書の、組み合わせジェスチャーおよびマルチプレーンジェスチャーに関する説明において、画像センサデータおよび画像センサメタデータが参照されるが、組み合わせおよびマルチプレーンジェスチャーは、追加的なセンサデータおよび追加的なセンサメタデータにも依存し得る。例えば、組み合わせジェスチャーが行われたという判定、またはマルチプレーンジェスチャーの関連性の判定は、追加的なセンサデータ４１５８および／または追加的なセンサメタデータ４１６６に基づき得る。画像センサメタデータ４１４８は、画像センサデータを、追加的なセンサデータ４１６２のタイプの１または複数に組み合わせた処理に基づく、メタデータを含み得る。
例えば、オペレーティングシステム４１６０またはアプリケーション４１７０の１つは、画像センサデータおよび追加的なセンサデータタイプのうちの１または複数から判定されたメタデータを含む、画像メタデータに基づき、組み合わせジェスチャーを判定し得る。いくつかの実施形態において、組み合わせジェスチャーはさらに、追加的なセンサメタデータに基づいて判定され得る。追加的なセンサメタデータおよび／または画像メタデータは、画像センサデータ、レーダセンサ、ライダセンサデータ、および超音波センサデータのうちの１または複数に基づく、空中ジェスチャー位置情報を含み得る。いくつかの実施形態において、ライダセンサデータの一部、レーダセンサデータの一部、超音波センサデータの一部の内の１または複数が、１または複数の処理ユニット４１５０に提供され得る。組み合わせジェスチャーは、さらに、ベース４１４０に送られたこの追加的なセンサデータに基づいてさらに判定され得る。
いくつかの実施形態において、時間的関係情報および／または空間的関係情報は、タッチセンサデータ、画像センサデータ、レーダセンサデータ、ライダセンサデータ、および超音波センサデータのうちの１または複数に基づき得る。
いくつかの実施形態において、ユーザ関与情報は、追加的なセンサデータタイプにも基づき得る。例えば、ディスプレイの前にユーザが存在するか存在しないか、ユーザの頭部または顔の向き、およびユーザがデバイス４１００のディスプレイに関与しているか関与していないかの判定は、画像センサデータ、レーダセンサデータ、ライダセンサデータ、および超音波センサデータのうちの１または複数に基づき得る。いくつかの実施形態において、１または複数のＮＮＡ（例えば、３２７、３０３０）および／またはＤＳＰ（例えば、ＤＳＰ３２８）は、当該判定の実行の一部として、様々なセンサデータタイプのうちの１または複数を利用し得る。
いくつかの実施形態において、タッチ位置、空中ジェスチャー位置、空間的または時間的関係、ユーザの存在、頭部／顔の向き、ユーザ関与の判定、または複数のタイプのセンサデータを伴う他の任意の判定のために、複数のタイプのセンサデータを処理または「融合」することは、タッチアナライザ、ビジョン／撮像アナライザ４１３８、追加的なセンサアナライザ、および／または図４１に示さないリッド４１１０内の他の任意のコンポーネントにより実行され得る。タッチアナライザ４１３４、ビジョン／撮像アナライザ４１３８、追加的なセンサ分析４１６２のそれぞれは、当該アナライザで受信したセンサデータを、他のアナライザの任意のものと共有できる。さらに、アナライザのうちの１つにより生成された任意のメタデータは、他のアナライザの任意のものと共有できる。ＬＣＨ４１３８は、本明細書に記載のＬＣＨ（例えば、１５５、２６０、３０５、９５４、１７０５、３８３４）のいずれかであり得る。いくつかの実施形態において、複数のセンサデータタイプを融合することは、内蔵センサハブ４１８０のベース内で実行され得る。
図４３Ａから図４３Ｃは、関連マルチプレーンジェスチャーおよび基準タッチジェスチャーの第１例を示す。本明細書で使用される場合、「マルチプレーンジェスチャー」という表現は、１または複数のジェスチャーが、ディスプレイ（第１「プレーン」）で実行されるタッチジェスチャーであり、１または複数のジェスチャーが、ディスプレイ（第２「プレーン」）の前の空間で実行される空中ジェスチャーである、２つ以上ジェスチャーを指す。「マルチプレーン」という用語における、「プレーン」という語の使用は、空中ジェスチャーがディスプレイから固定距離に沿って行われることを要さず、空中ジェスチャーがディスプレイ表面で実行されないことを示すのに使用される。マルチプレーンジェスチャーは、ディスプレイ表面に向かっておよびそこから離れる移動を含み（例えば、ディスプレイスクリーンの表面に対するｚ軸に沿う）、ディスプレイ表面から任意の距離で発生し得る空中ジェスチャーを含み得る。
図４３Ａから図４３Ｂに示すマルチプレーンジェスチャーは、コンピューティングデバイス４３００に適用されるように示されている。デバイス４３００は、リッド４３１０と、ベース４３１４と、カメラ４３０４と、ディスプレイ４３１８とを含む。デバイス４３００はイラストレーションアプリケーションを実行する。図４３Ａにおいて、ユーザは、ディスプレイ４３１８上のポイント４３２４における編集ユーザインタフェース要素をタッチすることで、編集モードを選択する。編集インタフェース要素の選択に応じて、アプリケーションは、イラストレーションを編集するための空中ジェスチャーを認識し、それに反応する編集モードに移行する。したがって、ディスプレイ４３１８上のポイント４３２４へのタッチは、一連のマルチプレーンジェスチャーにおける第１ジェスチャーである。図４３Ｂにおいて、ユーザは、ディスプレイ４３１８の前の空間内で行うユーザの手４３２８で示される空中ジェスチャーを用いて、イラストレーションを編集（例えば、描画、ペイント、着色）する。空中ジェスチャーは、ユーザが、伸ばした人差し指またはその手でジェスチャーを行うことを含むことができる。
空中ジェスチャーでイラストレーションを編集することは、ユーザに、ディスプレイ４３１８がより遮蔽されることなく、イラストレーションとインタラクト可能となるという利点を提供する。図４３Ｃは、ユーザがタッチを介してイラストレーションを編集する、図４３Ｂの空中ジェスチャーと比較される基準タッチジェスチャーを示す。図示のように、タッチジェスチャーを介してイラストレーションを編集することにより、ユーザの手（および手首）がディスプレイの一部を遮蔽し得る。したがって、空中ジェスチャーによると、ユーザはインタラクション時に、ディスプレイをより見やすくなる。さらに、空中ジェスチャーは、ユーザに、より心地よい物理的条件で、ディスプレイとインタラクト可能にし得る。例えば、デスクに着いてラップトップとインタラクトするユーザは、ラップトップディスプレイ表面にタッチするには前にかがむ必要があり得る。空中ジェスチャーの使用は、ユーザを、椅子にもたれたまま、より心地よく、人体構造的にも適切な姿勢で、デバイスとインタラクト可能とし得る。
図４３Ａから図４３Ｂに示すタイプの関連マルチプレーンジェスチャーは、第１動作（例えば、編集ＵＩ要素をタッチ）が、アプリケーション、オペレーティングシステム、またはデバイスを、空中ジェスチャーが認識され、対応されるモードまたはコンテキストにするという点で関連している。いくつかの実施形態において、タッチジェスチャー後に実行された空中ジェスチャーは、タッチジェスチャーと時間的にどれほど近くに実行されたかに基づいて、タッチジェスチャーと関連すると見做される。例えば、図４３Ａから図４３Ｂに示すイラストレーションプログラムは、ユーザが編集ＵＩ要素を選択し、空中ジェスチャーがイラストレーションを編集するものと解釈された後に、特定の期間内（予め定義された時間またはユーザが定義した時間であり得る）に発生する任意の空中ジェスチャーを認識可能である。１または複数の空中ジェスチャーは、編集目的で実行されていると解釈され得る。特定の時間について、空中ジェスチャーが実行されないと、イラストレーションプログラムは、空中ジェスチャーがイラストレーション編集目的と解釈されるモードまたはコンテキストから脱し得る。
いくつかの実施形態において、タッチジェスチャーに続く空中ジェスチャーは、タッチジェスチャーが実行された時間から、空中ジェスチャーが実行された時間までの、ディスプレイに対するユーザの関与の連続性に基づき、タッチジェスチャーに関連付けられ得る。例えば、編集ＵＩ要素がタッチされた後に複数の空中ジェスチャーが実行され得、後続の空中ジェスチャーは、ユーザがディスプレイに関与している限り、イラストレーション編集ジェスチャーと解釈され得る。即ち、タッチジェスチャーに応じてデバイス４３００、オペレーティングシステム、またはアプリケーションが置かれるモードまたはコンテキストは、ユーザのディスプレイ４３１８に対する関与が維持される限り、維持される。例えば、ディスプレイの前のユーザの存在が検出されなくなる、またはユーザがディスプレイから眼をそらしたことが検出されることで、ユーザが非関与となると、アプリケーション、オペレーティングシステム、またはアプリケーションは、タッチジェスチャーによりトリガされたモードまたはコンテキストから脱する。連続したジェスチャーおよびマルチプレーンジェスチャーに関して、ユーザ関与を判定することは、さらに詳細に後述する。初期タッチジェスチャー後に実行されるジェスチャーは、空中ジェスチャーである必要はない。初期タッチジェスチャーの後に実行されたタッチジェスチャーは、初期タッチジェスチャーの結果移行したモードまたはコンテキストで実行されたと解釈され得、空中ジェスチャーの後、その間、またはそれと同時に実行され得る。
さらに、一連のマルチプレーンジェスチャーはタッチジェスチャーで始まる必要はない。いくつかの実施形態において、一連のマルチプレーンジェスチャーにおける初期ジェスチャーは空中ジェスチャーであり得る。例えば、ユーザがスクリーンの前に存在すると検出されると、ディスプレイに対するジェスチャーオブジェクト（例えば、指、スタイラス）の接近の検出は、１または複数のＵＩ要素を表示させるなど、１または複数の動作を実行させ得る。いくつかの実施形態において、指がディスプレイに接近したと判定されたディスプレイの近傍にＵＩ要素が表示され得る。接近するジェスチャーオブジェクトに対して画像センサデータを監視することは、ユーザがスクリーンの前で検出された場合、または特定のアプリケーションが動作している、アプリケーションの特定の部分が動作しているなど、特定のコンテキストで連続して実行され得る。いくつかの実施形態において、ジェスチャーオブジェクトにより実行された特定の空中ジェスチャーは、ディスプレイ表面に接近するジェスチャーオブジェクトの検出により、１または複数のＵＩ要素が表示され得る、または他の動作が実行されるモードをトリガし得る。
図４１を参照すると、いくつかの実施形態において、デバイス４１００は、以下のとおり、図４３Ａから図４３Ｂ、図４４Ａから図４４Ｃ、図４５Ａから図４５Ｂ、図４６Ａから図４６Ｂ、図４７Ａから図４７Ｂ、および図４８Ａから図４８Ｂに示すマルチプレーンジェスチャーなどの関連マルチプレーンジェスチャーを可能にし得る。タッチアナライザ４１３４は、タッチディスプレイコントローラ４１２４からタッチセンサデータ４１３０を受信する。タッチセンサデータ４１３０は、ディスプレイで実行されたタッチジェスチャー（例えば、図４３Ａの編集ＵＩ要素を選択）に関連付けられる。タッチアナライザ４１３４は、受信したタッチセンサデータ４１３０に基づいて、タッチメタデータ４１４４を判定する。タッチアナライザ４１３４は、受信したタッチセンサデータ４１３０に基づいて、タッチ位置情報を判定可能である。タッチアナライザ４１３４は、タッチメタデータ４１４４をホスト処理ユニット４１５０に送信する。いくつかの実施形態において、タッチアナライザ４１３４は、タッチアナライザ４１３４で受信したタッチセンサデータ４１３０の一部を、ホスト処理ユニット４１５０に送信できる。タッチアナライザ４１３４がリッドコントローラハブの一部である実施形態において、タッチアナライザ４１３４以外の、ＬＣＨのコンポーネントは、タッチメタデータ４１４４をホスト処理ユニット４１５０に送信できる。いくつかの実施形態において、タッチアナライザ４１３４は、複数のタッチ位置の位置を判定し得、タッチメタデータは、ディスプレイ４１１８への複数のタッチに関するタッチ位置情報を含み得る。ディスプレイへの複数のタッチの位置情報は、オペレーティングシステム４１６０またはアプリケーション４１７０にマルチ指タッチジェスチャーを検出可能にし得る。
ビジョン／撮像アナライザ４１３８は、カメラ４１２８から画像センサデータ４１３２を受信する。画像センサデータ４１３２は、ユーザにより実行された１または複数の空中ジェスチャーに関連付けられる（例えば、ユーザが図４３Ｂに示す「描画」または「ペイント」空中ジェスチャーを実行）。ビジョン／撮像アナライザ４１３８は、受信した画像センサデータ４１３２に基づいて、画像メタデータ４１４８を判定する。ビジョン／撮像アナライザ４１３８は、画像センサデータ４１３２に基づいて、空中ジェスチャー位置情報を判定し得る。空中ジェスチャー位置情報は、画像センサデータ４１３２で検出されたジェスチャーオブジェクト（例えば、指、スタイラス）の位置を含み得る。ジェスチャーオブジェクトの位置は、１または複数のニューラルネットワークアクセラレータ（例えば、ＮＮＡ３２７、３０３０）および／またはデジタル信号プロセッサ（例えば、ＤＳＰ３２８）を利用して判定され得る。ビジョン／撮像アナライザ４１３８は、画像メタデータ４１４８をホスト処理ユニット４１５０に送信する。ビジョン／撮像アナライザ４１３８がリッドコントローラハブの一部である実施形態において、ビジョン／撮像アナライザ４１３８以外の、ＬＣＨのコンポーネントは、画像メタデータ４１４８をホスト処理ユニット４１５０に送信できる。いくつかの実施形態において、タッチアナライザ４１３４は、タッチセンサデータ４１３０の一部をホスト処理ユニット４１５０に送信できる。
ビジョン／撮像アナライザ４１３８は、画像センサデータに基づいて、ユーザ関与情報を判定し得る。ビジョン／撮像アナライザ４１３８は、ディスプレイに対するユーザの顔または頭部の向きを判定することでユーザ関与が判定され得る。顔または頭部の向き情報が、ユーザがディスプレイを見ていないことを示す場合に、ユーザはディスプレイに関与していないと判定される。いくつかの実施形態において、ユーザ関与情報を判定することは、ユーザがディスプレイの前に存在するかを判定し得る。いくつかの実施形態において、ユーザが存在するかを判定することは、ユーザがデバイス４１００内に配置されたカメラの視野内に存在するかを判定することを含む。ビジョン／撮像アナライザ４１３８は、ユーザの存在を検出、またはユーザがディスプレイに関与しているかを、図２３Ａから図３７および対応する説明での、本明細書に開示の、ユーザが存在することの検出および、複数のディスプレイシステムにおけるディスプレイ管理に関してユーザが関与しているかの検出に関して説明された手法の任意のものなどの本明細書に記載の手法のいずれかを介して判定し得る。例えば、ビジョン／撮像アナライザ４１３８は、視野内にユーザが存在するか存在しないか、およびディスプレイ４１１８に関与している、または非関与かを判定するために、ＮＮＡ（例えば、ＮＮＡ３２７、３０３０）を利用し得る。ビジョン／撮像アナライザ４１３８は、カメラ４１２８により提供された画像センサデータ４１３２において、人間の顔、および／または顔の向きを検出するため、機械学習アルゴリズム（例えば、ニューラルネットワーク）を利用し得る。画像メタデータは、検出された顔の位置を示す、ユーザ位置情報を含み得る。いくつかの実施形態において、ビジョン／撮像アナライザ４１３８は、画像センサデータ４１３２に基づいて、複数のユーザの存在を検出し、頭部または顔の向きを判定し、および／または関与情報を判定し得る。
いくつかの実施形態において、デバイスは、ユーザが短期間非関与であれば、空中認識モードにとどまり得る。これによりデバイスは、デバイスが空中ジェスチャー認識モードに留まるために、ユーザがスクリーンを見ているとする場合よりも、空中ジェスチャーが認識され、対応されるモードまたはコンテキストに、より長くとどまることができる。例えば、ユーザがラップトップで作業しており、ラップトップを空中ジェスチャー認識モードに移行させるＵＩ要素を選択したシナリオを考える。ユーザは、スクリーンの前に存在し、コーヒーをすすったり、自身のスマートフォンを見たりなどすることにより、よそ見し得る。デバイスは、当該非関与の瞬間を可能としながら、空中ジェスチャーモードに留まり得る。ユーザ非関与が可能な期間は、予め構成され得、またはユーザにより定義され得、例えば、１秒、３秒、１分、５分、１０分、または他の任意の時間の長さであり得る。別の実施形態において、デバイスは、ユーザがスクリーンを見ているかにかかわらず、ユーザが存在する限り、空中ジェスチャー認識モードに留まる。これは、ユーザが空中ジェスチャー認識モードにあるデバイスの前に存在しながら、ユーザに新聞を読む、本を読むなどに、不定の時間割くことを可能とするシナリオを可能とし得る。そのようなシナリオにおいて、デバイススクリーン上に、可聴警報を介してユーザに通知可能なシステム通知がポップアップすると、ユーザは見上げて、通知を読んで、スクリーンをタッチするのに前に手を伸ばす必要なく、その手を空中でスワイプすることで、それを消すことができる。
いくつかの実施形態において、ユーザ関与は、ディスプレイの前のユーザの存在検出に基づき得るが、ユーザに短時間非関与が可能となる。ユーザがスクリーンを見ているかを考慮してある。これにより、デバイス、オペレーティングシステム、またはアプリケーションは、ユーザが関与していると考えられるために、ユーザがスクリーンを見ているとする場合よりも、空中ジェスチャーが認識され、対応されるモードまたはコンテキストに、より長くとどまることができる。例えば、ユーザがラップトップで作業しており、ラップトップを、空中ジェスチャーを認識するモードに移行させるＵＩ要素を選択したシナリオを考える。ユーザは、スクリーンの前に存在し、コーヒーをすすったり、新聞を読んだり、自身のスマートフォンを見たりなどすることにより、よそ見し得る。短い間から可能になる
ビジョン／撮像アナライザ４１３８が複数のユーザを検出するいくつかの実施形態において、デバイスは、ユーザをタッチジェスチャーまたは空中ジェスチャーに関連付け得る。この関連付けは、ビジョン／撮像アナライザ４１３８、タッチアナライザ４１３４、リッド４１１０における他のコンポーネント、またはそれらの組み合わせにより実行され得る。いくつかの実施形態において、ユーザをタッチジェスチャーまたは空中ジェスチャーに関連付けることは、ホスト処理ユニット４１５０など、デバイス４１００のベース４１４０内の計算リソースにより実行され得る。複数の検出されたユーザの１人を、タッチジェスチャーまたは空中ジェスチャーに関連付けることは、タッチ位置情報、画像位置情報、および／またはユーザ位置情報に基づいて、どのユーザがジェスチャーに最も近いかを判定することを含み得る。１または複数のユーザに対するユーザ関与情報は、ビジョン／撮像アナライザ４１３８、またはリッド４１１０内の他のコンポーネントにより、ホスト処理ユニット４１５０に送信され得る。
デバイス４１００上で動作するオペレーティングシステム４１６０またはアプリケーション４１７０は、タッチメタデータに基づき、１または複数の第１動作を実行し、その後、画像メタデータに基づき、１または複数の第２動作を実行し得る。タッチアナライザ４１３４でのタッチセンサデータ４１３０の受信に関連付けられた時間から、ビジョン／撮像アナライザ４１３８での画像センサデータ４１３２の受信に関連付けられた第２の時間までに、ユーザがディスプレイ４１１８に関与したとオペレーティングシステム４１６０またはアプリケーション４１７０が判定すると、１または複数の第２動作が実行され得る。いくつかの実施形態において、タッチセンサデータ４１３０の受信に関連付けられた時間は、タッチメタデータ４１４４がホスト処理ユニット１５０に送信された時間、タッチセンサデータ４１３０に基づき、ディスプレイ４１１８でタッチジェスチャーが生じたと判定された時間、またはタッチセンサデータ４１３０の処理に関連した他の時間であり得る。いくつかの実施形態において、画像センサデータ４１３２の受信に関連付けられた第２の時間は、画像メタデータ４１４８がホスト処理ユニット１５０に送信された時間、画像センサデータ４１３２に基づき、ディスプレイ４１１８で空中ジェスチャーが生じたと判定された時間、またはビジョン／撮像アナライザ４１３８で受信された画像センサデータ４１３２の処理に関連した他の時間であり得る。
オペレーティングシステム４１６０またはアプリケーション４１７０は、一連の関連マルチユーザマルチプレーンジェスチャーを可能にし得る。例えば、画像メタデータ４１４８が複数のユーザの存在を示す場合、ジェスチャーに関連付けられたユーザが、初期マルチプレーンジェスチャーからディスプレイに関与しているかに基づいて、動作が実行され得る。例えば、第１ユーザがディスプレイにタッチし、第２ユーザが後続の空中ジェスチャーを実行すると、オペレーティングシステム４１６０またはアプリケーション４１７０は、第１ユーザがディスプレイにタッチしてから、第２ユーザがディスプレイに関与していると判定された場合、空中ジェスチャーに関連付けられた１または複数の動作を実行し得る。同様に、オペレーティングシステム４１６０またはアプリケーション４１７０は、最初のタッチから、第１ユーザがディスプレイに関与していると判定された場合、第１ユーザにより行われた後続のタッチに応じて動作を実行し得る。いくつかの実施形態において、オペレーティングシステム４１６０またはアプリケーション４１７０は、タッチメタデータに基づき、第１動作を実行し、同時に、画像メタデータに基づき、第２動作を実行し得る。単一のユーザにより同時に提供されるタッチジェスチャーおよび空中ジェスチャーも認識され、対応され得る。
いくつかの実施形態において、デバイス４１００は、１または複数のライダセンサ、レーダセンサ、および超音波センサであり得る、追加的なセンサ４１５４を含み得る。別の実施形態において、追加的なセンサ４１５４は、赤外線センサおよび光センサの１または複数をさらに含み得る。追加的なセンサは、追加的なセンサアナライザ４１６２に提供される、追加的なセンサデータ４１５８を生成し得る。追加的なセンサアナライザ４１６２は、追加的なセンサデータに基づいて、追加的なセンサメタデータを生成し得る。追加的なセンサアナライザ４１６２は、追加的なセンサデータ４１６６を１または複数のホスト処理ユニットに送信する。オペレーティングシステム４１６０、アプリケーション４１７０の１つ、または内蔵センサハブ４１８０は、追加的なセンサメタデータを利用し得る。いくつかの実施形態において、追加的なセンサアナライザ４１６２は、追加的なセンサデータ４１５８の一部を、ホスト処理ユニット４１５０に送信する。追加的なセンサメタデータは、空中ジェスチャーの位置を示す、追加的なセンサ位置情報を含み得る。
図４４Ａから図４４Ｃは、関連マルチプレーンマルチユーザジェスチャーの第２の例を示す。図４４Ａから図４４Ｃは、図４３Ａから図４３Ｃに示すものと同様だが、タッチジェスチャーおよび空中ジェスチャーが２人のユーザにより実行されるシナリオを示す。図４４Ａにおいて第１ユーザは、ポイント４３２４における編集ＵＩ要素にタッチし、アプリケーションは空中ジェスチャーが認識される編集モードに移行する。図４４Ｂから図４４Ｃにおいて、第１ユーザの指４４２８と、第２ユーザの指４４３２はそれぞれ、イラストレーションを編集するための、タッチジェスチャーおよび空中ジェスチャーを提供する。
図４５Ａから図４５Ｂは、マルチプレーンジェスチャーの第３の例を示す。ジェスチャーは、リッド４５１０、ベース４５２０、カメラ４５０４、およびディスプレイ４５３０を含むコンピューティングデバイス４５００に適用されるものとして示される。デバイス４５００は、コンピュータ支援描画（ＣＡＤ）アプリケーションを実行している。図４５Ａにおいて、ユーザは、ディスプレイ４５３０上のポイント４５２４をタッチすることで、操作用のコーン４５３４を選択する。オブジェクト（例えば、コーン４５３４）を選択したことに応じて、ＣＡＤアプリケーションは、選択されたオブジェクトが空中ジェスチャーを介して移動または他の方法で操作され得るモードに移行する。図４５Ｂは、１または複数の空中ジェスチャーを介してコーン４５３４を操作するユーザの手４５２８を示す。オブジェクトを移動または操作する空中ジェスチャーは、ＣＡＤ環境の表面から、オブジェクトを持ち上げるまたは浮かせるための、「掴む」ジェスチャー（例えば、１または複数の指を親指に向かってまとめる（が触れない））またはピンチジェスチャー、およびオブジェクトを回転させるための、ピンチした指または掴む姿勢の手をひねるまたは移動することを含み得る。ユーザがスクリーンに対して離れるようにまたは近づけるようにその指または手を動かすことで、ＣＡＤ環境において、オブジェクトをそれぞれユーザに近づけ、またはさらに離れさせ得る。したがって、ＣＡＤアプリケーションは、ディスプレイ４５３０の表面からの、ユーザの指、手、または他のジェスチャーオブジェクトの距離に基づいて動作を実行し得る。
図４６Ａから図４６Ｂは、関連マルチプレーンジェスチャーの第４の例を示す。ジェスチャーは、リッド４６１０、ベース４６２０、カメラ４６０４、およびディスプレイ４６３０を含むコンピューティングデバイス４６００に適用されるものとして示される。デバイス４６００は、ビデオ会議アプリケーションを実行する。図４６Ａにおいて、ユーザは、ディスプレイ４６３０上のポイント４６２４へのタッチを介して、音量制御ＵＩ要素を選択する。これに応じて、ビデオ会議アプリケーションは、空中ジェスチャーを介して、音量が制御され得る、音量制御モードに移行する。図４６Ｂにおいて、ユーザの指４６２８は、空中ジェスチャーを介して、音量スライダＵＩ要素４６３２を制御する（例えば、ユーザの指４６２８の左または右への移動は、音量スライダＵＩ要素を、左または右にスライドさせ、それにより、音量レベル設定を下げるまたは上げる）。調整された音量設定の承認として認識され得る空中ジェスチャーの例は、指４６２８を上または下にスワイプすること、またはユーザの拳に指４６２８を引っ込めることを含む。
図４６Ａから図４６Ｂは、初期ジェスチャー（音量制御ＵＩ要素へのタッチ）に応じて提示される、ユーザインタフェース要素（音量制御スライダ）の例を示す。ＵＩ要素は、空中ジェスチャーを介して、インタラクト可能である。ディスプレイのタッチに応じて、空中ジェスチャーを介してインタラクト可能な様々な他のＵＩ要素が提示され得る。いくつかの実施形態において、オペレーティングシステムまたはアプリケーションは、空中ジェスチャーが認識され、対応される、新たなユーザインタフェースを表示することを含むモードまたはコンテキストに移行し得る。オペレーティングシステムまたはアプリケーションは、ユーザがディスプレイに関与しなくなるまで、想定された空中ジェスチャーが受信されるまで、あるいはユーザがモードまたはコンテキストを脱する（例えば、オペレーティングシステムまたはアプリケーションが、ユーザがモードまたはコンテキストを脱することを希望していることを示すジェスチャーとして認識するタッチジェスチャーまたは空中ジェスチャーを提供することによる）、またはユーザが空中ジェスチャーモードまたはコンテキストから脱させるＵＩ要素にタッチするまで、このモードまたはコンテキストに留まることができる。
空中ジェスチャーを介して、図４６Ａから図４６Ｂに示すビデオ会議アプリケーションに対する音量設定など、アプリケーション設定に対するパラメータ値の調整が可能なアプリケーションにおいて、様々なタイプの空中ジェスチャーによりパラメータ値の調整が制御可能である。例えば、ディスプレイに向けて掌を掲げることで、音声がミュートされ得る。上向きの掌は、パラメータ値を増加させ得る。下向きの掌は、パラメータ値を減少させ得る。パラメータ値の選択として認識され得る空中ジェスチャーの例は、指をくねらせる、空中で指を「ダブルタップする」、または拳を握ることを含む。いくつかの実施形態において、オペレーティングシステムレベルパラメータの調整も、空中ジェスチャーを介して行われ得る。例えば、ユーザがオペレーティングシステムパラメータに関連付けられたアイコンをタッチすることに応じて、デバイスは、後続の空中ジェスチャーがオペレーティングシステムパラメータの値を調整可能なモードまたはコンテキストに移行できる。
図４７Ａから図４７Ｂは、関連マルチプレーンジェスチャーの第５の例を示す。ジェスチャーは、リッド４７１０、ベース４７２０、カメラ４７０４、およびディスプレイ４７３０を含むコンピューティングデバイス４７００に適用されるものとして示される。デバイス４７００は、参加者が円グラフを共有する、ビデオ会議アプリケーションを実行している。図４７Ａにおいて、ユーザは、ポイント４７２８でディスプレイ４７３０をタッチすることで、円グラフの部分４７２４を選択する。これに応じて、ビデオ会議アプリケーションは、空中ジェスチャーを介してグラフが注釈付き可能となる、注釈モードに移行する。図４７Ｂは、空中ジェスチャーを介して、「＋１０」という注釈を加え、矢印を部分４７２４から当該注釈に描くことで、グラフ部分４７２４に注釈を加えるユーザの指４７３２を示す。いくつかの実施形態において、アプリケーションが、ディスプレイ表面から第１の範囲の距離内でジェスチャーオブジェクトにより行われた空中ジェスチャーをディスプレイに行われた書き込みと解し、ジェスチャーオブジェクトによりディスプレイからこの距離範囲よりさらに遠くで行われた空中ジェスチャーを、注釈を生成するジェスチャーとして解さないことで、空中ジェスチャーで書くことが実行され得る。他のビデオ会議アプリケーション実施形態において、ユーザは、アプリケーションを、会議中に共有されるコンテンツが空中ジェスチャーで制御されるプレゼンテーションモードに移行させるＵＩ要素をタッチし得る。例えば、右への空中スワイプは、プレゼンテーションの次のスライドへの進行を生じさせ得、空中ピンチまたはアンピンチジェスチャーは、アプリケーションを提示されたコンテンツに対してズームインまたはズームアウトさせ得る。
図４８Ａから図４８Ｂは、関連マルチプレーンジェスチャーの第６の例を示す。ジェスチャーは、リッド４８１０、ベース４８２０、カメラ４８０４、およびディスプレイ４８３０を含むコンピューティングデバイス４８００に適用されるものとして示される。デバイス４８００は、オフィス生産性アプリケーションを実行し、複数の通知４８２４（例えば、テキスト通知、ｅメール通知、システム通知、会議通知、着信通話通知）が、ディスプレイ４８３０の右下に現れている。図４８Ａにおいて、ユーザは、ディスプレイ４８３０上のポイント４８３２で、指４８２８により、複数の通知４８２４から通知を選択する。それに応じて、オペレーティングシステムは、空中ジェスチャーを介して、通知が消される、または選択され得るモードに移行する。図４８Ｂにおいて、指４８２８は、空中ジェスチャーを介して通知４８２４を選択する。これは、例えば、この通知を閾値時間の間指し、通知を消すために、「右スワイプ」ジェスチャーを行うことによる。ユーザは、同様にして、通知４８３６および４８４０を消すことができる。あるいは、ユーザは、例えば左スワイプ、上スワイプ、空中「タップ」ジェスチャーなどにより、選択された通知に関する情報をさらに見ることを指示し得る。通知に関するさらなる情報を見るためのインジケーションを提供することで、デバイスに、ｅメールを見るためにｅメールアプリケーションを開かせ、通知コンテンツをさらに見せるためのポップアップウィンドウを表示させ、またはユーザが選択された通知に関するさらなる情報を見ることができるようにするための他の任意の動作を実行させ得る。
空中ジェスチャーがオペレーティングシステムまたはアプリケーションにより受け付けできる場合に、それに対する制御向上を実現することで、本明細書に記載の関連マルチプレーンジェスチャーは、コラボレーションアプリケーションの制御向上、ゲーミング体験の向上、およびより没入感の強いクリエイターツールを実現可能にし得る。上述のように、ユーザがデバイスを空中ジェスチャーが認識され、対応されるモードまたはコンテキストに移行させることができるようにするＵＩ要素が提示され得る。これは、例えば、イラストレーションアプリケーションで有効となり得る。例えば、ユーザは、その利き手を用いて、スタイラスを制御してタッチジェスチャーを介してイラストレーションアプリケーションとインタラクトし、その反対の手を使用してＵＩ要素をタッチして、ユーザが空中ジェスチャーを介して新たな色を選択可能なカラーホイールＵＩ要素を出現させ得る。ユーザはその利き手でスタイラスを持ったまま、利き手ではない手による空中ジェスチャーを介して新たな色を選択し得る。これにより、その利き手ではない手がディスプレイの一部を遮蔽することなく、新たな色の選択が可能となる。他の多くのマルチプレーンジェスチャー使用状況があり得る。例えば、選択されると、ユーザに空中ジェスチャーを介してブラシ幅を選択可能とする、ブラシサイズＵＩ要素が提示され得る。ブラシ幅は、ユーザがその指または手をスクリーンに近づけるように、またはさらに離すように動かすことで、またはその指または手を上または下に動かすことで、調整可能である。
図４９は、モバイルコンピューティングデバイスに適用された組み合わせジェスチャーを判定し、組み合わせジェスチャーに基づき動作を実行する例示的方法である。方法４９００は、ラップトップ（例えば、１００、１２２、２００、３００、９００、３８００）などのモバイルコンピューティングデバイスにより実行可能である。方法要素４９１０は、モバイルコンピューティングデバイスのリッド内で実行され得、方法要素４９３０は、モバイルコンピューティングデバイスのベース内で実行され得る。４９１２において、タッチセンサデータがタッチディスプレイコントローラから受信される。４９１４において、画像センサデータがカメラから受信される。４９１６において、タッチセンサデータに基づいて、タッチメタデータが判定される。４９１８において、画像センサデータに基づいて、画像メタデータが判定される。４９２０において、タッチメタデータおよび画像メタデータがオペレーティングシステムに提供される。４９３２において、オペレーティングシステムまたはアプリケーションが、タッチメタデータおよび画像メタデータに基づいて、組み合わせジェスチャーを判定する。オペレーティングシステムおよびアプリケーションは、モバイルコンピューティングデバイスのベース内に配置された１または複数の処理ユニット上で実行される。４９３４において、オペレーティングシステムまたはアプリケーションは、組み合わせジェスチャーに基づいて、１または複数の動作を実行し得る。別の実施形態において、方法４９００は、タッチセンサデータの一部および／または画像センサデータの一部をオペレーティングシステムに提供するなどの追加的な要素を含み得、オペレーティングシステムまたはアプリケーションは、タッチセンサデータおよび／または画像センサデータ当該一部にさらに基づいて、組み合わせジェスチャーを判定する。
図５０は、一連のマルチプレーンジェスチャーの存在を判定し、マルチプレーンジェスチャーに基づいて動作を実行する例示的方法である。方法５０００は、ラップトップ（例えば、１００、１２２、２００、３００、９００、３８００）などのモバイルコンピューティングデバイスにより実行可能である。方法要素５０１０は、モバイルコンピューティングデバイスのリッド内で実行され得、方法要素５０３０は、モバイルコンピューティングデバイスのベース内で実行され得る。５０１２において、第１タッチセンサデータがタッチディスプレイコントローラから受信される。５０１４において、第１タッチセンサデータに基づいて、第１タッチメタデータが判定される。５０１６において、第１タッチメタデータがオペレーティングシステムに提供される。５０１８において、第１タッチセンサデータが受信された後に、モバイルコンピューティングデバイスのリッド内に配置されたカメラから画像センサデータが受信される。５０２０において、画像センサデータに基づいて、画像メタデータが判定される。５０２２において、画像メタデータがオペレーティングシステムに提供される。５０３２において、オペレーティングシステムまたはアプリケーションは、第１タッチメタデータに基づいて、１または複数の第１動作を実行する。オペレーティングシステムおよびアプリケーションは、モバイルコンピューティングデバイスのベース内に配置された１または複数の処理ユニット上で実行される。５０３４において、オペレーティングシステムまたはアプリケーションは、画像メタデータに基づいて、１または複数の第２動作を実行する。
別の実施形態において、方法５０００は、画像センサデータに基づいて、モバイルコンピューティングデバイスのディスプレイに対する第１ユーザの関与を示す第１ユーザ関与情報を判定すること、および第１ユーザ関与情報をオペレーティングシステムに提供することなどの追加的な要素を含み得る。第１ユーザ関与情報が、第１タッチセンサデータの受信に関連付けられる第１時間から、画像センサデータの受信に関連付けられる第２時間までに、第１ユーザのディスプレイに対する関与を示す場合、オペレーティングシステムまたはアプリケーションは１または複数の第２動作を実行する。
以下の例は、本明細書に係る実施形態に関する。
例ＦＡ１は、モバイルコンピューティングデバイスのリッド内で、タッチディスプレイコントローラからタッチセンサデータを受信する段階と、カメラから画像センサデータを受信する段階と、上記タッチセンサデータに基づいてタッチメタデータを判定する段階と、上記画像センサデータに基づいて画像メタデータを判定する段階と、上記タッチメタデータおよび上記画像メタデータをオペレーティングシステムに提供する段階と、上記モバイルコンピューティングデバイスのベース内で、上記オペレーティングシステムまたはアプリケーションにより、上記タッチメタデータおよび上記画像メタデータに基づいて組み合わせジェスチャーを判定する段階であって、上記オペレーティングシステムおよび上記アプリケーションは、上記ベース内に配置された１または複数の処理ユニット上で実行される、判定する段階と、上記オペレーティングシステムまたは上記アプリケーションにより、上記組み合わせジェスチャーに基づいて１または複数の動作を実行する段階と、を含む方法である。
例ＦＡ２は、例ＦＡ１の方法を含み、上記画像メタデータは、空中ジェスチャー位置情報を含む。
例ＦＡ３は、例ＦＡ２の方法を含み、上記空中ジェスチャー位置情報は、上記モバイルコンピューティングデバイスのディスプレイからのジェスチャーオブジェクトの距離を示す距離情報を含み、上記１または複数の動作を実行する段階は、上記距離情報にさらに基づく。
例ＦＡ４は、例ＦＡ１の方法を含み、上記タッチメタデータはタッチ位置情報を含む。
例ＦＡ５は、例ＦＡ１の方法を含み、上記モバイルコンピューティングデバイスの上記リッド内で、上記オペレーティングシステムに上記タッチセンサデータの少なくとも一部を提供する段階をさらに含み、上記組み合わせジェスチャーを判定する段階は、上記タッチセンサデータの上記少なくとも一部にさらに基づく。
例ＦＡ６は、例ＦＡ１の方法を含み、上記モバイルコンピューティングデバイスの上記リッド内で、上記オペレーティングシステムに上記画像センサデータの少なくとも一部を提供する段階をさらに含み、上記組み合わせジェスチャーを判定する段階は、上記画像センサデータの上記少なくとも一部にさらに基づく。
例ＦＡ７は、例ＦＡ１の方法を含み、上記モバイルコンピューティングデバイスの上記リッド内で、上記タッチセンサデータと上記画像センサデータとが時間的に関連することを示す時間的関係情報を判定する段階と、上記オペレーティングシステムに上記時間的関係情報を提供する段階と、をさらに含み、上記組み合わせジェスチャーを判定する段階は、上記時間的関係情報にさらに基づく。
例ＦＡ８は、例ＦＡ１の方法を含み、上記モバイルコンピューティングデバイスの上記リッド内で、上記タッチセンサデータと上記画像センサデータとが空間的に関連することを示す空間的関係情報を判定する段階と、上記オペレーティングシステムに上記空間的関係情報を提供する段階とを、さらに含み、上記組み合わせジェスチャーを判定する段階は、上記空間的関係情報にさらに基づく。
例ＦＡ９は、例ＦＡ１の方法を含み、上記モバイルコンピューティングデバイスの上記リッド内で、ライダセンサ、レーダセンサ、および超音波センサのうちの１または複数からの追加的なセンサデータを受信する段階と、上記追加的なセンサデータに基づいて追加的なセンサメタデータを判定する段階と、上記１または複数の処理ユニットに上記追加的なセンサメタデータを提供する段階と、をさらに含み、上記組み合わせジェスチャーを判定する段階は、上記追加的なセンサメタデータにさらに基づく。
例ＦＡ１０は、本明細書に上述の例ＦＡのいずれか１つの方法を含み、例ＡＡ１からＡＡ１６、ＤＥ１からＤＥ１７、またはＥＡ１からＥＡ１０のいずれか１つの方法の要素（これらの方法要素が本明細書に上述の例ＦＡの方法要素と重複しない限り）をさらに含む。
例ＦＢ１は、リッドおよびベースを備えるモバイルコンピューティングデバイスであって、上記リッドは、タッチディスプレイと、カメラと、タッチディスプレイコントローラと、ビジョン／撮像アナライザ回路機構であって、上記カメラから画像センサデータを受信し、上記画像センサデータに基づいて画像メタデータを判定し、オペレーティングシステムに上記画像メタデータを送信する、ビジョン／撮像アナライザ回路機構と、タッチアナライザ回路機構であって、上記タッチディスプレイコントローラからタッチセンサデータを受信し、上記タッチセンサデータに基づいてタッチメタデータを判定し、上記オペレーティングシステムに上記タッチメタデータを送信する、タッチアナライザ回路機構と、を含み、上記ベースは、上記オペレーティングシステムおよびアプリケーションを実行する１または複数の処理ユニットを含み、上記オペレーティングシステムまたはアプリケーションは、上記タッチメタデータおよび上記画像メタデータに基づいて組み合わせジェスチャーを判定し、上記組み合わせジェスチャーに基づいて１または複数の動作を実行する。
例ＦＢ１．５は、例ＦＢ１のモバイルコンピューティングデバイスを含み、上記ビジョン／撮像アナライザ回路機構および上記タッチアナライザ回路機構は、リッドコントローラハブの一部である。
例ＦＢ２は、例ＦＢ１のモバイルコンピューティングデバイスを含み、上記画像メタデータは、空中ジェスチャー位置情報を含む。
例ＦＢ３は、例ＦＢ２のモバイルコンピューティングデバイスを含み、上記空中ジェスチャー位置情報は、上記タッチディスプレイからのジェスチャーオブジェクトの距離を示す距離情報を含み、上記１または複数の動作を実行することは、上記距離情報にさらに基づく。
例ＦＢ４は、例ＦＢ１のモバイルコンピューティングデバイスを含み、上記タッチメタデータはタッチジェスチャー位置情報を含む。
例ＦＢ５は、例ＦＢ１のモバイルコンピューティングデバイスを含み、上記タッチアナライザ回路機構は、上記オペレーティングシステムに上記タッチセンサデータの少なくとも一部をさらに提供し、上記組み合わせジェスチャーを判定することは、上記タッチセンサデータの上記少なくとも一部にさらに基づく。
例ＦＢ６は、例ＦＢ１のモバイルコンピューティングデバイスを含み、上記ビジョン／撮像アナライザ回路機構は、上記オペレーティングシステムに上記画像センサデータの少なくとも一部をさらに提供し、上記組み合わせジェスチャーを判定することは、上記画像センサデータの上記少なくとも一部にさらに基づく。
例ＦＢ７は、例ＦＢ１のモバイルコンピューティングデバイスを含み、上記組み合わせジェスチャーを判定することは、上記タッチメタデータおよび上記画像メタデータに基づいて、上記タッチセンサデータと上記画像センサデータとが時間的に関連するかにさらに基づく。
例ＦＢ８は、例ＦＢ１のモバイルコンピューティングデバイスを含み、上記タッチセンサデータと上記画像センサデータとが時間的に関連することを示す時間的関係情報を生成し、上記オペレーティングシステムを上記時間的関係情報に提供する上記ビジョン／撮像アナライザ回路機構および／または上記画像アナライザ回路機構をさらに含み、上記組み合わせジェスチャーを判定することは、上記時間的関係情報にさらに基づく。
例ＦＢ９は、例ＦＢ１のモバイルコンピューティングデバイスを含み、上記組み合わせジェスチャーを判定することは、上記タッチメタデータおよび上記画像メタデータに基づいて、上記タッチセンサデータと上記画像センサデータとが空間的に関連するかにさらに基づく。
例ＦＢ１０は、例ＦＢ１のモバイルコンピューティングデバイスを含み、上記タッチセンサデータと上記画像センサデータとが空間的に関連することを示す空間的関係情報を生成し、上記オペレーティングシステムに上記空間的関係情報を提供する上記ビジョン／撮像アナライザ回路機構および／または上記画像アナライザ回路機構をさらに含み、上記組み合わせジェスチャーを判定することは、上記空間的関係情報にさらに基づく。
例ＦＢ１１は、例ＦＢ１のモバイルコンピューティングデバイスを含み、上記リッド内で、ライダセンサ、レーダセンサ、および超音波音センサのうちの１または複数を含む１または複数の追加的なセンサと、追加的なセンサアナライザと、をさらに含み、上記追加的なセンサアナライザは、上記１または複数の追加的なセンサから追加的なセンサデータを受信し、上記追加的なセンサデータに基づいて追加的なセンサメタデータを判定し、上記１または複数の処理ユニットに上記追加的なセンサメタデータを送信し、上記組み合わせジェスチャーを判定することは、上記追加的なセンサメタデータにさらに基づく。
例ＦＢ１２は、本明細書に上述の例ＦＢのいずれか１つのモバイルコンピューティングデバイスを含み、例ＡＢ１からＡＢ１４、ＤＡ１からＤＡ１７、ＤＢ１からＤＢ１４、またはＥＣ１からＥＣ１０のいずれかの特徴（これらの特徴が本明細書に上述の例ＦＢの特徴と重複しない限り）をさらに含む。
例ＦＣ１は、モバイルコンピューティングデバイスのリッド内で、タッチディスプレイコントローラから第１タッチセンサデータを受信する段階と、上記第１タッチセンサデータに基づいて第１タッチメタデータを判定する段階と、上記第１タッチメタデータをオペレーティングシステムに提供する段階と、上記第１タッチセンサデータの受信後に上記リッド内に配置されたカメラから画像センサデータを受信する段階と、上記画像センサデータに基づいて画像メタデータを判定する段階と、上記画像メタデータを上記オペレーティングシステムに提供する段階と、上記モバイルコンピューティングデバイスのベース内で、上記オペレーティングシステムまたはアプリケーションは、上記モバイルコンピューティングデバイスの上記ベース内に配置された１または複数の処理ユニット上で実行され、上記第１タッチメタデータに基づいて１または複数の第１動作を実行する段階と、上記１または複数の第１動作の実行の後、上記画像メタデータに基づいて１または複数の第２動作を実行する段階と、を含む方法である。
例ＦＣ１．５は、例ＦＣ１のモバイルコンピューティングデバイスを含み、上記ビジョン／撮像アナライザ回路機構および上記タッチアナライザ回路機構は、リッドコントローラハブの一部である。
例ＦＣ２は、例ＦＣ１の方法を含み、上記モバイルコンピューティングデバイスの上記リッド内で、上記画像センサデータに基づいて、上記モバイルコンピューティングデバイスのディスプレイに対する第１ユーザの関与を示す第１ユーザ関与情報を判定する段階と、上記オペレーティングシステムに上記第１ユーザ関与情報を提供する段階と、を含み、上記第１ユーザ関与情報が、上記第１タッチセンサデータの受信に関連付けられる第１時間から、上記画像センサデータの受信に関連付けられる第２時間までに、上記第１ユーザの上記ディスプレイに対する関与を示す場合、上記オペレーティングシステムまたは上記アプリケーションは、上記１または複数の第２動作を実行する。
例ＦＣ３は、例ＦＣ１の方法を含み、上記モバイルコンピューティングデバイスの上記リッド内で、上記タッチディスプレイコントローラから第２タッチセンサデータを受信する段階と、上記第２タッチセンサデータに基づいて第２タッチメタデータを判定する段階と、上記画像センサデータに基づいて、上記モバイルコンピューティングデバイスのディスプレイに対する第１ユーザの関与を示す第１ユーザ関与情報を判定する段階と、上記オペレーティングシステムに上記第２タッチメタデータおよび上記第１ユーザ関与情報を提供する段階と、上記モバイルコンピューティングデバイスの上記ベース内で、上記第１ユーザ関与情報が、上記第１タッチセンサデータの受信に関連付けられる第１時間から、上記第２タッチセンサデータの受信に関連付けられる第３時間までに、上記第１ユーザの上記ディスプレイに対する関与を示す場合、上記オペレーティングシステムまたは上記アプリケーションは、上記第２タッチメタデータに基づいて１または複数の第３動作を実行する段階と、をさらに含む。
例ＦＣ４は、例ＦＣ３の方法を含み、上記第１ユーザ関与情報を判定する段階は、上記画像センサデータに基づいて上記カメラの視野において上記第１ユーザの存在を検出する段階と、上記第１ユーザの顔の向きを判定する段階と、上記顔の向きに基づいて、上記第１ユーザが上記モバイルコンピューティングデバイスのディスプレイを見ているかを判定する段階と、を含む。
例ＦＣ５は、例ＦＣ１の方法を含み、上記モバイルコンピューティングデバイスの上記リッド内で、上記画像センサデータに基づいて、上記カメラの視野において第１ユーザおよび第２ユーザの存在を判定する段階と、上記第１ユーザを上記第１タッチセンサデータに関連付ける段階と、上記第２ユーザを上記画像センサデータに関連付ける段階と、をさらに含む。
例ＦＣ６は、例ＦＣ４の方法を含み、上記モバイルコンピューティングデバイスの上記リッド内で、上記モバイルコンピューティングデバイスのディスプレイに対する上記第２ユーザの関与を示す第２ユーザ関与情報を判定する段階と、上記オペレーティングシステムに上記第２ユーザ関与情報を提供する段階と、さらに含み、上記第２ユーザ関与情報が、上記第１タッチセンサデータの受信に関連付けられる第１時間から、上記画像センサデータの受信に関連付けられる第２時間までに、第２ユーザの上記ディスプレイに対する関与を示す場合、上記オペレーティングシステムまたは上記アプリケーションは、上記１または複数の第２動作を実行する。
例ＦＣ７は、例ＦＣ１の方法を含み、上記モバイルコンピューティングデバイスの上記リッド内で、上記第１タッチセンサデータの受信後に、上記タッチディスプレイコントローラから第２タッチセンサデータを受信する段階と、上記第２タッチセンサデータに基づいて第２タッチメタデータを判定する段階と、第１ユーザが上記モバイルコンピューティングデバイスのディスプレイに関与しているかを示す第１ユーザ関与情報を判定する段階と、上記オペレーティングシステムに上記第２タッチメタデータおよび上記第１ユーザ関与情報を提供する段階と、上記モバイルコンピューティングデバイスの上記ベース内で、上記第１ユーザ関与情報が、上記第１タッチセンサデータの受信に関連付けられる第１時間から、上記第２タッチセンサデータの受信に関連付けられる第３時間までに、第１ユーザの上記ディスプレイに対する関与を示す場合、上記オペレーティングシステムまたは上記アプリケーションは、上記第２タッチメタデータに基づいて１または複数の第３動作を実行する段階と、をさらに含む。
例ＦＣ８は、例ＦＣ１からＦＣ７のいずれかの方法を含み、上記１または複数の第２動作を実行する段階は、空中ジェスチャーを介してインタラクト可能なユーザインタフェースを表示させる段階を含む。
例ＦＣ９は、例ＦＣ１の方法を含み、上記モバイルコンピューティングデバイスの上記リッド内で、ライダセンサ、レーダセンサ、および超音波センサのうちの１または複数からの追加的なセンサデータを受信する段階と、上記追加的なセンサデータに基づいて追加的なセンサメタデータを判定する段階と、上記１または複数の処理ユニットに上記追加的なセンサメタデータを提供する段階と、をさらに含み、上記１または複数の第２動作を実行する段階は、上記追加的なセンサメタデータにさらに基づく。
例ＦＣ１０は、本明細書に上述の例ＦＣのいずれか１つの方法を含み、例ＡＡ１からＡＡ１６、ＤＥ１からＤＥ１７、またはＥＡ１からＥＡ１０のいずれか１つの方法の要素（これらの方法要素が本明細書に上述の例ＦＣの方法要素と重複しない限り）をさらに含む。
例ＦＤ１は、リッドおよびベースを備えるモバイルコンピューティングデバイスであって、上記リッドは、タッチディスプレイと、カメラと、タッチディスプレイコントローラと、ビジョン／撮像アナライザ回路機構であって、上記タッチディスプレイコントローラから第１タッチセンサデータを受信し、上記第１タッチセンサデータに基づいて第１タッチメタデータを判定し、オペレーティングシステムに上記第１タッチメタデータを提供する、ビジョン／撮像アナライザ回路機構と、タッチアナライザ回路機構であって、上記ビジョン／撮像アナライザ回路機構で上記第１タッチセンサデータが受信された後、上記カメラから画像センサデータを受信し、上記画像センサデータに基づいて画像メタデータを判定し、上記オペレーティングシステムに上記画像メタデータを提供する、タッチアナライザ回路機構と、を含み、上記ベースは、上記オペレーティングシステムおよびアプリケーションを実行する１または複数の処理ユニットを含み、上記オペレーティングシステムまたはアプリケーションは、上記第１タッチメタデータに基づいて１または複数の第１動作を実行し、上記１または複数の第１動作の実行の後、上記画像メタデータに基づいて１または複数の第２動作を実行する。
例ＦＤ２は、例ＦＤ１のモバイルコンピューティングデバイスを含み、上記ビジョン／撮像アナライザ回路機構はさらに、上記画像センサデータに基づいて、上記タッチディスプレイに対する第１ユーザの関与を示す第１ユーザ関与情報を判定し、上記オペレーティングシステムに上記第１ユーザ関与情報を提供し、上記第１ユーザ関与情報が、上記第１タッチセンサデータの受信に関連付けられる第１時間から、上記画像センサデータの受信に関連付けられる第２時間までに、上記第１ユーザの上記タッチディスプレイに対する関与を示す場合、上記オペレーティングシステムまたは上記アプリケーションは、上記１または複数の第２動作を実行する。
例ＦＤ３は、例ＦＤ１のモバイルコンピューティングデバイスを含み、上記タッチアナライザ回路機構はさらに、上記タッチディスプレイコントローラから第２タッチセンサデータを受信し、上記第２タッチセンサデータに基づいて第２タッチメタデータを判定し、上記ビジョン／撮像アナライザ回路機構はさらに、上記画像センサデータに基づいて、第１ユーザが上記タッチディスプレイに関与しているかを示す第１ユーザ関与情報を判定し、上記オペレーティングシステムに上記第２タッチメタデータおよび上記第１ユーザ関与情報を提供し、上記第１ユーザ関与情報が、上記第１タッチセンサデータの受信に関連付けられる第１時間から、上記第２タッチセンサデータの受信に関連付けられる第３時間までに、上記第１ユーザの上記タッチディスプレイに対する関与を示す場合、上記オペレーティングシステムまたは上記アプリケーションは、上記第２タッチメタデータに基づいて１または複数の第３動作をさらに実行する。
例ＦＤ４は、例ＦＤ１のモバイルコンピューティングデバイスを含み、上記第１ユーザ関与情報を判定することは、上記画像センサデータに基づいて上記カメラの視野において上記第１ユーザの存在を検出し、上記第１ユーザの顔の向きを判定し、上記顔の向きに基づいて、上記第１ユーザが上記タッチディスプレイを見ているかを判定することを含む。
例ＦＤ５は、例ＦＤ１のモバイルコンピューティングデバイスを含み、上記モバイルコンピューティングデバイスの上記リッド内で、上記画像センサデータに基づいて、上記カメラの視野において第１ユーザおよび第２ユーザの存在を判定し、上記第１ユーザを上記第１タッチセンサデータに関連付け、上記第２ユーザを上記画像センサデータに関連付けることをさらに含む。
例ＦＤ６は、例ＦＤ５のモバイルコンピューティングデバイスを含み、上記ビジョン／撮像アナライザ回路機構はさらに、上記モバイルコンピューティングデバイスの上記タッチディスプレイに対する上記第２ユーザの関与を示す第２ユーザ関与情報を判定し、上記オペレーティングシステムに上記第２ユーザ関与情報を提供し、上記第２ユーザ関与情報が、上記第１タッチセンサデータの受信に関連付けられる第１時間から、上記画像センサデータの受信に関連付けられる第２時間までに、上記第２ユーザの上記タッチディスプレイに対する関与を示す場合、上記オペレーティングシステムまたは上記アプリケーションは、上記１または複数の第２動作を実行する。
例ＦＤ７は、例ＦＤ６のモバイルコンピューティングデバイスを含み、上記タッチアナライザ回路機構は、上記第１タッチセンサデータの受信後に、上記タッチディスプレイコントローラから第２タッチセンサデータを受信し、上記第２タッチセンサデータに基づいて第２タッチメタデータを判定し、上記第１ユーザの上記タッチディスプレイに対する関与を示す第１ユーザ関与情報を判定し、上記オペレーティングシステムに上記第２タッチメタデータおよび上記第１ユーザ関与情報を提供し、上記モバイルコンピューティングデバイスの上記ベース内で、上記第１ユーザ関与情報が、上記第１タッチセンサデータの受信に関連付けられた上記第１時間から、上記第２タッチセンサデータの受信に関連付けられた第３時間までに、第１ユーザの上記タッチディスプレイに対する関与を示す場合、上記オペレーティングシステムまたは上記アプリケーションは、上記第２タッチメタデータに基づいて１または複数の第３動作を実行する。
例ＦＤ８は、例ＦＤ１からＦＤ７のいずれかのモバイルコンピューティングデバイスを含み、上記１または複数の第２動作は、ユーザに空中ジェスチャーを促す上記タッチディスプレイにユーザインタフェースを表示させることを含む。
例ＦＤ９は、例ＦＤ１のモバイルコンピューティングデバイスを含み、上記リッド内で、ライダセンサ、レーダセンサ、および超音波音センサのうちの１または複数を含む１または複数の追加的なセンサと、追加的なセンサアナライザと、をさらに含み、上記追加的なセンサアナライザは、上記１または複数の追加的なセンサから追加的なセンサデータを受信し、上記追加的なセンサデータに基づいて追加的なセンサメタデータを判定し、上記１または複数の処理ユニットに上記追加的なセンサメタデータを提供し、上記１または複数の第２動作を実行する段階は、上記追加的なセンサメタデータにさらに基づく。
例ＦＤ１０は、本明細書に上述の例ＦＤのいずれか１つのモバイルコンピューティングデバイスを含み、例ＡＢ１からＡＢ１４、ＤＡ１からＤＡ１７、ＤＢ１からＤＢ１４、ＥＣ１からＥＣ１０のいずれかの特徴（これらの特徴が本明細書に上述の例ＦＤの特徴と重複しない限り）をさらに含む。
例ＦＥ１は、回路機構を備える装置であって、上記回路機構は、上記装置の第１入力ポートでタッチセンサデータを受信し、上記タッチセンサデータに基づいてタッチメタデータを判定し、上記装置の第２入力ポートで画像センサデータを受信し、上記画像センサデータに基づいて画像メタデータを判定し、上記タッチセンサデータと上記画像センサデータとが時間的に関連することを示す時間的関係情報を生成し、上記タッチメタデータ、上記画像メタデータ、および上記時間的関係情報を上記装置の１または複数の出力ポートで提供し、上記装置は、モバイルコンピューティングデバイスのリッド内で使用される。
例ＦＥ１．５は、例ＦＥ１の装置であって、上記装置は、リッドコントローラハブである。
例ＦＥ２は、例ＦＥ１の装置であって、上記回路機構はさらに、上記タッチセンサデータと上記画像センサデータとが空間的に関連することを示す空間的関係情報を生成し、上記装置の上記出力ポートの１つで上記空間的関係情報を提供する。
例ＦＥ３は、例ＦＥ１の装置であって、上記回路機構はさらに、上記装置の第３入力ポートで追加的なセンサデータを受信し、上記追加的なセンサデータは、ライダセンサ、レーダセンサ、および超音波センサのうちの１または複数により提供され、上記追加的なセンサデータに基づいて追加的なセンサメタデータを判定し、上記装置の上記出力ポートのうちの上記１または複数で上記追加的なセンサメタデータを提供し、上記時間的関係を生成することは、上記タッチセンサデータおよび／または上記画像センサデータが上記追加的なセンサデータに時間的に関連すると判定することを含み、上記時間的関係情報は、上記タッチセンサデータおよび／または上記画像センサデータが上記追加的なセンサデータに時間的に関連することをさらに示す。
例ＦＦ１は、回路機構を備える装置であって、上記回路機構は、上記装置の第１入力ポートで第１タッチセンサデータを受信し、上記第１タッチセンサデータに基づいて第１タッチメタデータを判定し、上記装置の第２入力ポートで画像センサデータを受信し、上記画像センサデータに基づいて画像メタデータを判定し、上記画像センサデータに基づいて、タッチディスプレイに対する第１ユーザの関与を示す第１ユーザ関与情報を判定し、上記画像メタデータ、上記第１タッチメタデータ、および上記第１ユーザ関与情報を上記装置の１または複数の出力ポートで提供し、上記装置は、モバイルコンピューティングデバイスのリッド内で使用される。
例ＦＦ１．５は、は、例ＦＦ１の装置であって、上記装置は、リッドコントローラハブである。
例ＦＦ２は、例ＦＦ１の装置を備え、上記第１ユーザ関与情報を判定することは、上記画像センサデータに基づいてカメラの視野において上記第１ユーザの存在を検出し、上記第１ユーザの顔の向きを判定し、上記顔の向きに基づいて、上記第１ユーザが上記タッチディスプレイを見ているかを判定することを含む。
例ＦＦ３は、例ＦＦ１の装置を備え、上記回路機構はさらに、上記画像センサデータに基づいて、カメラの視野において第１ユーザおよび第２ユーザの存在を判定し、上記第１ユーザを上記第１タッチセンサデータに関連付け、上記第２ユーザを上記画像センサデータに関連付ける。
例ＦＦ４は、例ＦＦ３の装置を備え、上記回路機構はさらに、上記モバイルコンピューティングデバイスの上記タッチディスプレイに対する上記第２ユーザの関与を示す第２ユーザ関与情報を判定し、上記装置の上記出力ポートの１つで上記第２ユーザ関与情報を提供する。
例ＦＦ５は、例ＦＦ１の装置を備え、上記回路機構はさらに、上記装置の第３入力ポートで追加的なセンサデータを受信し、上記追加的なセンサデータは、ライダセンサ、レーダセンサ、および超音波センサのうちの１または複数により提供され、上記追加的なセンサデータに基づいて追加的なセンサメタデータを判定し、上記画像センサデータに基づいて、タッチディスプレイに対する第１ユーザの関与を示す第１ユーザ関与情報を判定し、上記装置の上記１または複数の出力ポートで上記追加的なセンサメタデータを提供し、上記装置は、モバイルコンピューティングデバイスのリッド内で使用される。
例ＦＧ１は、回路機構および時間的関係判定手段を備える装置であって、上記回路機構は、上記装置の第１入力ポートでタッチセンサデータを受信し、上記タッチセンサデータに基づいてタッチメタデータを判定し、上記装置の第２入力ポートで画像センサデータを受信し、上記画像センサデータに基づいて画像メタデータを判定し、上記タッチメタデータ、上記画像メタデータ、および時間的関係情報を上記装置の１または複数の出力ポートで提供し、上記時間的関係情報は、上記タッチセンサデータと上記画像センサデータとが時間的に関連することを示し、上記タッチメタデータ、上記画像メタデータ、および上記時間的関係情報を上記装置の１または複数の出力ポートで提供し、上記装置は、モバイルコンピューティングデバイスのリッド内で使用され、上記時間的関係判定手段は、上記時間的関係情報を判定する。
例ＦＧ２は、例ＦＧ１の装置を備え、上記回路機構はさらに、上記装置の上記出力ポートの１つで空間的関係情報を提供し、上記空間的関係情報は、上記タッチセンサデータと上記画像センサデータとが空間的に関連することを示し、上記装置は、上記空間的関係情報を判定する空間的関係判定手段をさらに含む。
例ＦＨ１は、回路機構およびユーザ関与判定手段を備える装置であって、上記回路機構は、上記装置の第１入力ポートで第１タッチセンサデータを受信し、上記第１タッチセンサデータに基づいて第１タッチメタデータを判定し、上記装置の第２入力ポートで画像センサデータを受信し、上記画像センサデータに基づいて画像メタデータを判定し、上記画像メタデータ、上記第１タッチメタデータ、および第１ユーザ関与情報を上記装置の１または複数の出力ポートで提供し、上記第１ユーザ関与情報は、上記画像センサデータに基づいて、タッチディスプレイに対する第１ユーザの関与を示し、上記装置は、モバイルコンピューティングデバイスのリッド内で使用され、上記ユーザ関与判定手段は、上記第１ユーザ関与情報を判定する。
例ＦＩ１は、命令を格納する１または複数の非一時的コンピュータ可読ストレージ媒体であって、上記命令は、実行されると、コンピューティングデバイスのリッドの１または複数の処理ユニットに、例ＦＡ１からＦＡ９のうちのいずれか１つの方法を実行させる。
例ＦＪ１は、例ＦＡ１からＦＡ９のいずれか１つの方法を実行する１または複数の手段を含む装置である。
ユーザの存在による低電力タッチ
上述のように、ＬＣＨはリッドベースのコンポーネントを低電力状態にできる。例えば、モバイルコンピューティングデバイスのリッドが閉じたときに、ディスプレイの少なくとも一部が無効となるように、ディスプレイパイプラインコンポーネントが低電力状態にされ得る。ＬＣＨはさらに、タッチディスプレイコントローラと、タッチセンサデータの処理に関連したコンポーネントを、リッドディスプレイの前にユーザが存在しない、ユーザがディスプレイを見ていない、またはユーザがデバイスとインタラクトしていないなど様々な状況で、低電力状態にし得る。
リッドコントローラハブを有するモバイルコンピューティングデバイスのいくつかの実施形態において、低電力モードにおいて、タッチディスプレイコントローラ（サンプリングによるタッチセンサデータの生成、またはタッチディスプレイのスキャニングを担うコンポーネント）が消費する電力は、既存の実施形態から約５０％減であり得る。既存のサプライヤによる１３．３''ＦＨＤ（フルＨＤ（ハイデフニション））タッチディスプレイ用のアーキテクチャに基づき、タッチアイドル電力消費を５０％低減することは、そのディスプレイのタッチアイドル電力消費を４００ｍＷから２００ｍＷに低減する。
表１は、既存のインセルタッチディスプレイに関する電力消費値を示す。通常動作時に、インセルディスプレイのロジック部分は、最大約０．８９Ｗを消費する。これは、同等のオンセルディスプレイのロジック部分が消費する電力よりも、約４５０ｍＷ多い。インセルディスプレイのこの電力消費増は、ディスプレイがアイドルモードある際に発生する、継続的タッチスキャニングによるものである。記載のとおり、表１のインセルディスプレイが、そのアイドル状態（Ｉｄｌｅ＿１、Ｉｄｌｅ＿２）のいずれかにある場合、３０または６０Ｈｚのレートで、タッチスキャン動作は実行中のままとなる。インセルディスプレイの動作状態は、タッチスキャン（サンプリング）と、タッチレポートレートを１２０Ｈｚまで増加することで、よりスムーズなタッチ体験が実現されるが、ディスプレイリフレッシュレートも１２０Ｈｚに増加し、これが電力消費増に帰結する、Ｏｐｅｒａｔｉｏｎ＿２状態を含む。タッチレポートレートは、タッチセンサデータまたはタッチメタデータがオペレーティングシステムにレポートされるレートである。ディスプレイリフレッシュレート、タッチスキャンレート、およびタッチレポートレートが全て６０Ｈｚに設定されるＯｐｅｒａｔｉｏｎ＿３状態は、ディスプレイパネル電力消費減に帰結するが、タッチ体験劣化にも帰結する。
ユーザの存在検出により、タッチセンサデータのサンプリングは、アイドルモードで停止し得、既存のインセルディスプレイで消費されるアイドルタッチ電力（最大２００ｍＷ）の約半分がセーブできる。モバイルコンピューティングデバイスのデバイスリッドに組み込まれた入力センサ（例えば、カメラ、タッチディスプレイ、ライダセンサ、レーダセンサ、超音波センサ、マイクロホン）により生成されたセンサデータに基づき、ユーザの存在が検出されると、デバイスのタッチ機能が、低電力状態から起動され得る。タッチサンプリングまたはスキャニング動作が有効になり得（低電力状態で無効となっていた場合）、サンプリングは、アクティブサンプリングレート（例えば、６０Ｈｚ以上）で発生し得る。いくつかの実施形態において、１２０Ｈｚまたは２４０Ｈｚなど、より高いアクティブスキャンレートが利用され得る。これらより高いスキャニングレートは、ゲーミングアプリケーションで利用され得る。
表１ 既存のインセルディスプレイパネルについての電力消費およびディスプレイリフレッシュ、タッチスキャン、およびタッチレポートレート
Figure 2022034538000002
一般的に、ユーザの存在、ユーザ関与および／またはユーザインタラクションに基づくタッチコンポーネント電力消費削減は、以下のとおりに可能となる。タッチディスプレイコントローラ、およびタッチセンサデータを処理するコンポーネントなどのタッチコンポーネントは、ユーザが存在しない場合に低電力状態にされ得る。タッチディスプレイコントローラは、タッチセンサデータを生成するために、それがタッチディスプレイのスキャンまたはサンプリングを行うレートを低レートに（例えば、２０Ｈｚ以下）下げることで、またはタッチディスプレイコントローラに供給される電力を下げることを介してタッチディスプレイコントローラを無効にすることで、低電力状態にされ得る。タッチセンサデータを処理するコンポーネントを低電力モードにすることは、コンポーネントに供給される電力を低減すること、またはコンポーネントまたはコンポーネントの、タッチセンサデータを処理する部分が動作しないコンポーネントのモードを有効することを含み得る。
ユーザの存在が検出されると、タッチディスプレイコントローラのタッチサンプリングレートは、６０Ｈｚ以上（例えば、１２０Ｈｚ、２４０Ｈｚ）などのアクティブタッチサンプリングレートに増加され得る。リッド内に配置された、カメラ、ライダセンサ、レーダセンサ、超音波センサ、マイクロホンなどの１または複数の入力センサ、およびさらには、タッチディスプレイがまだ動作中であればタッチディスプレイにより生成されたセンサデータに基づき、ユーザの存在が検出され得る。例えば、カメラにより提供された画像センサデータ内にユーザを検出することで、またはユーザ、指、または他のオブジェクトを近接センサ（例えば、ライダセンサ、レーダセンサ、超音波センサ）の１つにより、ディスプレイの近傍で検出することで、タッチディスプレイでのタッチイベントの検出によりユーザの存在が判定され得る。タッチセンサデータを処理するタッチディスプレイコントローラまたはタッチアナライザによりタッチイベントが検出され得る。画像センサデータ内でのユーザの検出は、１または複数のＮＮＡ（例えば、２７６、３２７、３０３０）および／またはＤＳＰ（例えば、２７５、３７８）により実行され得る。タッチセンサデータは、タッチサンプリングレートで、タッチアナライザ（ＬＣＨの一部であり得る）に提供され得る。タッチメタデータは、タッチセンサデータに基づき生成され、タッチレポートレートでオペレーティングシステムにレポートされ得る。タッチレポートレートは、タッチメタデータおよび／またはタッチセンサデータがオペレーティングシステムに供給されるレートである。タッチレポートレートは、ユーザの存在検出に応じて増加され得る。いくつかの場合において、タッチサンプリングレートとタッチレポートレートとは同じであり得る。ディスプレイが低電力状態（例えば、ディスプレイが無効にされた、または２０Ｈｚ以下などの低リフレッシュレートで動作していた）であれば、ユーザの存在の検出に応じて、ディスプレイのリフレッシュレートは増加し得る。タッチレポートレート、ディスプレイリフレッシュレート、またはその両方は、タッチサンプリングレートに一致させられ得る。モバイルコンピューティングデバイスのベースにおいて、オペレーティングシステムおよび１または複数のアプリケーションは、タッチメタデータおよび／またはタッチセンサデータに基づいて動作を実行し得る。
ユーザの存在が検出されると、ユーザの存在が維持されるか、ディスプレイに関与しているか、および／またはデバイスとインタラクトしているかに基づいて、その後ディスプレイリフレッシュレート、タッチサンプリングレート、およびタッチレポートレートが調整され得る。これら後続の調整は、追加的なタッチセンサデータ、および／またはベース入力デバイスセンサデータに基づき得る。ユーザ関与は、本明細書で上述したように判定され得る（例えば、ユーザの判定された頭部または顔の向きに基づき、ユーザがディスプレイを見ているかを判定）。ユーザのインタラクションのレベルは、ユーザが直近でいつデバイスと、タッチディスプレイにタッチする、物理的なまたは仮想キーボード上のキーをタイピングする、トラックパッドまたはタッチパッドにタッチする、またはデバイスに通信可能に結合されたマウスを動かすなどしてインタラクトしたかに基づいて判定され得る。ユーザが存在し、関与し、デバイスと積極的にインタラクトしていれば、高反応性のユーザ体験を提供するために、ディスプレイリフレッシュレート、タッチサンプリングレート、タッチレポートレートは全て高い値（例えば１２０Ｈｚ、２４０Ｈｚ）に設定され得る。ユーザがまだ存在しているが、そのインタラクションのレベルが減少するまたは非関与となれば、タッチサンプリングレートおよびタッチレポートはスケールダウンされ得る。ユーザは、ユーザがディスプレイから閾値時間（例えば、約１から５秒）眼をそらしていると、非関与であると判定され得る。ユーザが存在するがディスプレイに非関与であれば、タッチディスプレイコントローラが無効にされるか、またはタッチサンプリングレートが０Ｈｚまで低減され得る。ユーザが存在しなくなると、タッチディスプレイコントローラがオフにされてもよい。さらに、ユーザが存在しなくなれば、ベースにおけるホスト処理ユニットが低電力状態にされ得る。ユーザ開始タスクが、ユーザが既に存在しないと判定された後にも動作している場合、処理ユニットを低電力状態にすることは、ユーザ開始タスクの実行が終了するまで延期できる。
ユーザの存在、ユーザ関与、およびユーザインタラクションのレベルの検出、およびディスプレイリフレッシュレート、タッチサンプリングレート、およびタッチレポートレートを変化させることは全て、リッドコントローラハブなど、コンピューティングデバイスのリッド内の１または複数のコンポーネント内で生じ得る。
図５１は、ユーザの存在に基づいて、タッチ操作を調整する例示的方法を示す。方法５１００は例えば、ラップトップ（例えば、１００、１２２、２００、３００、９００、３８００）により実行され得る。５１１０で、デバイスがオンになること、またはモバイルデバイスのリッドが開くことに応じてディスプレイがオンになるなどの「ディスプレイオン」イベントが発生する。５１２０で、ディスプレイの前のユーザの存在が判定される。ユーザの存在検出は、例えば、タッチディスプレイ表面をタッチするユーザの指を検出する、ラップトップデバイスに内蔵された１または複数のカメラにより捕捉された画像データ内にユーザの存在を検出する、コンピューティングデバイスに組み込まれ、リッドコントローラハブアーキテクチャに内蔵されたマイクロホンが捕捉した音声内に、起動表現もしくは鍵表現を検出する、または、近接センサデータ（例えば、ライダセンサデータ、レーダセンサデータ、超音波センサデータ、光センサデータ）に基づいて、ユーザの頭部、指、もしくはデバイスの近傍にあるオブジェクトの近接性を検出することで実行され得る。ユーザの存在が検出されると、５１３０で通常タッチ操作が有効になる。通常のタッチ操作は、タッチサンプリングレートおよびタッチレポートレートを６０Ｈｚ以上の値（例えば、１２０Ｈｚ、２４０Ｈｚ）に設定することに対応し得る。５１４０でユーザが検出されなければ、タッチ操作は、タッチサンプリングレートおよびタッチレポートレートが低い値（例えば２０Ｈｚ以下）に設定される、またはタッチディスプレイコントローラおよびタッチ処理コンポーネントが無効になる、低電力状態にされる。
図５２は、ユーザの存在、関与、およびインタラクションに基づき、タッチ操作を制御可能な例示的コンピューティングデバイスの簡略化されたブロック図である。コンピューティングデバイス５２００は、リッド５２１０ａと、ベース５２４０とを含む。リッド５２１０は、表示サブシステム５２１４と、内蔵ディスプレイパネル５２１８と、タッチディスプレイコントローラ５２２４と、リッドセンサ５２３３と、リッドコントローラハブ５２３８とを含む。ベース５２４０は、オペレーティングシステム５２６０および１または複数のアプリケーション５２７０を実行可能な１または複数のホスト処理ユニット５２５０を含む。ベース５２４０はさらに、ベース入力デバイス５２８０（例えば、キーボード、トラックパッド、タッチパッド、マウス）を含む。
コンピューティングデバイス５２００は、本明細書に記載のコンピューティングデバイス（例えば、１００、１２２、２００、３００、９００、３８００、４１００）のいずれかであり得る。リッド５２１０は、本明細書に記載のリッド（例えば、１２０、１２３、２２０、３０１、９２０、１７０１、３８１０）のいずれかであり得る。内蔵ディスプレイパネル５２１８はタッチディスプレイであり、本明細書に記載のディスプレイパネル（（例えば、１４５、２８０、３８０、９２６、２１４０、３８４２、４１２４）のいずれかであり得る。ＬＣＨ５２３８は、本明細書に記載のＬＣＨ（例えば、１５５、２６０、３０５、９５４、１７０５、３８３４、４１３８）のいずれかであり得る。表示サブシステム５２１４は、本明細書に記載の表示サブシステム（例えば、３８３８）のいずれかであり得、タイミングコントローラ（例えば、１５０、４００、３５５、９４４、１７０６、２１００、３８３０、４１２４）とそれを構成するタイミングコントローラコンポーネント（例えば、フレームバッファ（例えば、８３０、２１２０）、フレーム処理スタックモジュール（例えば、８２２から８２６、２１３９から２１２８））、行ドライバ（例えば、８８２、２１５４、２１５８）、列ドライバ（例えば、８８４、２１６０）、ディスプレイドライバ（例えば、８８０、２１３０）、およびビデオデータレシーバ（例えば、８１２、２１１０）などの、ディスプレイ関連動作を実行する本明細書に記載の１または複数のコンポーネントを含み得る。タッチディスプレイコントローラ５２２４は、本明細書に記載のタッチディスプレイコントローラ（例えば、１６５、２８５、３８５、３８３０、４１１０）のいずれかであり得る。
タッチディスプレイコントローラ５２２４は、ＬＣＨ５２３８に提供される、タッチセンサデータサンプル（例えば、タッチセンサデータ）５２３０を生成するために、タッチディスプレイ５２１８をスキャンまたはサンプリングする。リッドセンサ５２３３は、本明細書に記載のカメラ（例えば、１６０、２７０、３４６、９３２、２５１４、３０１４、４１２８）のいずれかであり得るカメラ５２２８と、本明細書に記載のマイクロホン（例えば、１５８、２９０、３９０、９２６）のいずれかであり得るマイクロホン５２２６とを含む。リッドセンサ５２３３は、ライダセンサ、レーダセンサ、超音波センサ、または光センサなどの１または複数の追加的なセンサ５２９０を任意で含み得る。
マイクロホン５２２６はオーディオセンサデータを生成し、カメラ５２２８は画像センサデータを生成、追加的なセンサ５２９０は追加的なリッドセンサデータを生成し、これら全ては、まとめてリッドセンサデータと称され得、ＬＣＨ５２３８に提供される。ＬＣＨ５２３８は、リッドセンサデータ５２３２に基づいてリッドセンサメタデータ５２４８を生成する。いくつかの実施形態において、リッドセンサメタデータ５２４８は、タッチアナライザ（例えば、４１３４）、ホストモジュール（例えば、１７６、２６１、３６２、１７２０）、オーディオモジュール（例えば、１７０、２６４、３６４、１７３０）、およびビジョン／撮像アナライザモジュールまたはビジョン／撮像集積回路（例えば、１７２、２６３、３６３、１７４０、２５４０Ａ、２５４０Ｂ、３０２０、３０２６、４１６２）のうちの１または複数により生成され得る。ＬＣＨ５２３８は、ホスト処理ユニット５２５０に送られる、リッドセンサメタデータ５２４８を生成する。いくつかの実施形態において、ＬＣＨ５２３８はタッチセンサデータ５２３０の少なくとも一部、および／またはリッドセンサデータ５２３２の一部をホスト処理ユニット５２５０に送信できる。いくつかの実施形態において、ＬＣＨ５２３８は、ライダセンサデータを処理するライダアナライザ、レーダセンサデータを処理するレーダアナライザ、および超音波センサデータを処理する超音波アナライザなど、追加的なアナライザを含み得る。
いくつかの実施形態において、ユーザの存在、ユーザ関与、またはユーザインタラクションのレベルを判定するために、１または複数のタイプセンサデータは使用され得る。例えば、ライダセンサデータ、レーダセンサデータ、または超音波センサデータのうちの１または複数を使用して、ユーザの存在が検出され得、オブジェクト（例えば、顔、指、ジェスチャーオブジェクト）がディスプレイ４１１８の近傍内かを判定され得る。別の実施形態において、ユーザの存在は、画像センサデータ内にユーザの存在を検出するため（例えば顔起動）、１または複数のＮＮＡ（例えば、２７６、３２７、３０３０）および／またはＤＳＰ（例えば、２７５、３７８）を使用することで検出され得る。さらに別の実施形態において、ユーザの存在は、画像センサデータ内に認証ユーザの顔を検出することに基づいて判定される（例えば、フェースＩＤ）。同様に、ユーザの頭部または顔の向きは、画像センサデータを処理するため、１または複数のＮＮＡ（例えば、２７６、３２７、３０３０）および／またはＤＳＰ（例えば、２７５、３７８）を使用することで検出され得る。ユーザの存在または頭部／顔の向きは、例えば、画像センサデータおよびライダセンサデータなど、ＮＮＡおよび／またはＤＳＰに供給される２つ以上のタイプのセンサデータを提供することで判定され得る。ユーザがデバイス５２００とインタラクトしていたか、またはデバイス５２００とのユーザインタラクションのレベルの判定は、ディスプレイへのタッチを示すタッチセンサデータ、物理的なまたは仮想キーボードの打鍵、トラックパッドまたはタッチパッドへのタッチ、またはデバイスに通信可能に結合されたマウスの移動を示すベース入力デバイスセンサデータ５２８４など、デバイスとのユーザの物理的なインタラクションを捕捉するセンサにより生成された１または複数のセンサデータタイプに基づき得る。
いくつかの実施形態において、デバイスとのユーザインタラクションのレベルは、タッチセンサデータ５２３０、リッドセンサデータ５２３２、およびベース入力デバイスセンサデータ５２８４のうちの１または複数に基づいて、ユーザが直近でいつデバイスとインタラクトしたかに基づいて判定され得る。ユーザが積極的にデバイスとインタラクトしていることを反映する直近のユーザインタラクション以降に、ユーザがある期間内（例えば、１／２、１、または２秒以内）にデバイスと直近でインタラクトした場合（例えば、スクリーンをタッチ、仮想または物理的なキーボードのキーをタイプ、マウスを移動）、ディスプレイリフレッシュレート、タッチサンプリングレート、およびタッチレポートレートは、デバイス４１００が高反応ユーザ体験を提供可能となるレベル（例えば、１２０Ｈｚまたは２４０Ｈｚ）に設定可能である。いくつかの実施形態において、この高反応モードにおいて、ディスプレイリフレッシュレート、タッチサンプリングレート、およびタッチレポートレートは、その最大値に設定可能で、タッチメタデータは、スムーズなタッチ体験を提供するため、調整されたタッチセンサデータ（例えば、３９６５）を含み得る。いくつかの実施形態において、デバイス４１００は、反応の良いユーザ体験を維持するために、デバイスリソースが利用可能となるように、予定されたタスクを延期し得る。
ユーザが存在し関与しているが、インタラクションのレベルが低い場合、デバイスは、ディスプレイリフレッシュレート、タッチサンプリングレート、およびタッチレポートレートのうちの１または複数をより低アクティブレベル（例えば、６０Ｈｚ）まで低減できる。これにより、ユーザの低度のインタラクションに高反応でありながら、省電力となる。いくつかの実施形態において、ユーザは、ユーザが直近の直前インタラクション以降の第１の期間内に、デバイスと直近でインタラクトした場合に、高レベルでインタラクトしていると判定され得、ユーザが直近の直前インタラクション以降に第１の期間より長くデバイスと直近でインタラクトした場合に、低レベルのインタラクションで関与していると判定される。ユーザが高レベルのインタラクションでインタラクトしている場合、タッチサンプリングレートおよびタッチレポートレートはより高レート（例えば、１２０Ｈｚ、２４０Ｈｚ）に設定され得る。ユーザがデバイスと、低レベルのインタラクションでインタラクトしている場合、タッチサンプリングレートおよびタッチレポートレートは低レートに設定できる（例えば、６０Ｈｚ）。
いくつかの実施形態において、デバイスは、３以上のユーザインタラクションレベル間を区別し得る。例えば、直近の直前インタラクション以降の、デバイスとの直近のユーザインタラクションが、第１期間内であれば、タッチサンプリングおよびタッチレポートレートは高レベル（例えば、１２０Ｈｚ、２４０Ｈｚ）に設定され得る。直近の直前インタラクション以降の、デバイスとの直近のユーザインタラクションが、第１期間よりも長い第２期間内であれば、タッチサンプリングおよびタッチレポートレートは中レベル（例えば、６０Ｈｚ）に設定され得る。直近の直前インタラクション以降の、デバイスとの直近のユーザインタラクションが、第２期間よりも長い第３期間内であれば、タッチサンプリングおよびタッチレポートレートは低レベル（例えば、２０Ｈｚ以下）に設定され得る。
ユーザが存在するが非関与であれば（例えば、ユーザがラップトップの前にいるが、雑誌の記事、本、レポートなどを読んでいる場合）、タッチサンプリングレートおよびタッチレポートレートはゼロに設定され得る、またはタッチディスプレイコントローラおよび／またはタッチセンサデータを処理するコンポーネントが無効にされ得る。しかし、ホスト処理ユニットは、アクティブレベルで動作し続け得、予定されたタスクが継続して実行され得る。
ユーザが存在しない場合（例えば、デバイスのリッドが閉じられた、またはユーザが単純に立ち去ったことによる）、デバイスは、タッチサンプリングレートおよびタッチレポートレートがゼロに設定される、またはタッチセンサデータを処理するタッチディスプレイコントローラおよび／またはコンポーネントが無効になるスタンバイモードに移行し得る。ディスプレイは無効にされ得、ホスト処理ユニットは低電力状態にされ得る。デバイスはスタンバイ状態においてロックされ得る。
いくつかの実施形態において、処理ユニットが低電力状態になり、デバイスがスタンバイ状態に移行する前に、デバイスは、あらゆる実行中のユーザ開始タスクが終了可能で、ユーザ開始タスクが実行中に実行される予定の他の任意のタスクがデバイスがスタンバイ状態に移行する前に実行可能となる、静状態となり得る。
ユーザの存在を検出すると、ＬＣＨ５２３８はタッチサンプリングレートおよびディスプレイリフレッシュレートを調整させ得る。ＬＣＨ５２３８は、表示サブシステム５２１４に、同期信号５２３４（例えば、１８０、２２６、３７０）を介してディスプレイリフレッシュレートを調整させ得、タッチサンプリングレートを、そのタッチディスプレイコントローラ５２２４との接続を通じて調整させ得る。
図５３は、ユーザの存在、関与、およびインタラクションに基づき、タッチ操作を制御する例示的方法である。方法５３００は、ラップトップのリッド内のリッドコントローラハブにより実行され得る。５３１０において、リッド入力センサデータがリッド内に配置された１または複数のリッド入力センサから受信される。５３２０において、リッド入力センサデータに基づいて、リッド内に配置されたタッチディスプレイの前のユーザの存在が判定される。５３３０において、ユーザが存在すると判定したことに応じて、タッチディスプレイコントローラのタッチサンプリングレートの増加を生じさせる。５３４０において、タッチセンサデータがタッチディスプレイコントローラからタッチサンプリングレートで受信される。５３５０において、タッチセンサデータに基づいて、タッチセンサメタデータが判定される。５３６０において、タッチメタデータは、タッチレポートレートで、モバイルコンピューティングデバイスのベース内に配置された１または複数のホストプロセッサに提供される。別の実施形態において、方法５３００は、追加的な要素を含み得る。例えば、方法５３００はさらに、１または複数のリッド入力センサから追加的なリッド入力センサデータを受信し、追加的な入力センサデータに基づいてユーザが存在しないと判定し、ユーザが存在しないと判定したことに応じて、タッチディスプレイコントローラのタッチサンプリングレートの低減を生じ得る。
以下の例は、本明細書に係る実施形態に関する。
例ＧＡ１は、モバイルコンピューティングデバイスのリッド内で、上記リッド内に配置された１または複数のリッド入力センサからリッド入力センサデータを受信する段階と、上記リッド入力センサデータに基づいて、上記リッド内に配置されたタッチディスプレイの前にユーザが存在すると判定する段階と、上記ユーザが存在するという判定に応じて、タッチディスプレイコントローラのタッチサンプリングレートの増加を生じさせる段階と、上記タッチサンプリングレートで上記タッチディスプレイコントローラからタッチセンサデータを受信する段階と、上記タッチセンサデータに基づいてタッチメタデータを判定する段階と、タッチレポートレートで上記モバイルコンピューティングデバイスのベース内に配置された１または複数のホストプロセッサに上記タッチメタデータを提供する段階と、を含む方法である。
例ＧＡ２は、例１の方法を含み、上記タッチセンサデータは第２タッチセンサデータであり、上記リッド入力センサデータは、上記タッチディスプレイコントローラにより提供された第１タッチセンサデータをさらに含む。
例ＧＡ３は、例１の方法を含み、１または複数のリッド入力センサは、カメラを含む。
例ＧＡ４は、例３の方法を含み、１または複数のリッド入力センサは、ライダセンサ、レーダセンサ、および超音波センサのうちの１または複数をさらに含む。
例ＧＡ５は、例１の方法を含み、上記ベース内で、オペレーティングシステムにより、上記タッチセンサデータに基づいて１または複数の動作を実行する段階をさらに含み、上記オペレーティングシステムは、上記ベース内に配置された１または複数の処理ユニットを実行する。
例ＧＡ６は、例１の方法を含み、上記リッド内で、上記ユーザが存在するという判定に応じて、上記タッチレポートレートを増加させる段階をさらに含む。
例ＧＡ７は、例１の方法を含み、上記リッド内で、上記ユーザが存在するという判定に応じて、上記タッチディスプレイのディスプレイリフレッシュレートの増加を生じさせる段階をさらに含む。
例ＧＡ８は、例１の方法を含み、上記タッチレポートレートは、上記タッチサンプリングレートと同じである。
例ＧＡ９は、例１の方法を含み、上記リッド内で、上記ユーザが存在するという判定に応じて、上記タッチディスプレイのディスプレイリフレッシュレートの増加を生じさせる段階をさらに含み、上記タッチサンプリングレートと、上記ディスプレイリフレッシュレートと、上記タッチサンプリングレートとは同じである。
例ＧＡ１０は、例１の方法を含み、上記タッチサンプリングレート、上記タッチレポートレート、および上記タッチディスプレイのディスプレイリフレッシュレートのうちの少なくとも２つは異なる。
例ＧＡ１１は、例１の方法を含み、上記タッチサンプリングレート、上記タッチレポートレート、および上記タッチディスプレイのディスプレイリフレッシュレートは、全て互いに異なる。
例ＧＡ１２は、例１の方法を含み、上記リッド内で、上記１または複数のリッド入力センサから追加的なリッド入力センサデータを受信する段階と、上記追加的な入力リッドセンサデータに基づいて、上記ユーザが存在しないと判定する段階と、上記ユーザが存在しないという判定に応じて、上記タッチディスプレイコントローラのタッチサンプリングレートの低減を生じさせる段階と、をさらに含む。
例ＧＡ１３は、例１２の方法を含み、上記ユーザが存在しないという判定に応じて、上記タッチレポートレートを低減させる段階をさらに含む。
例ＧＡ１４は、例１２の方法を含み、上記ユーザが存在しないという判定に応じて、上記タッチディスプレイのディスプレイリフレッシュレートを低減させる段階をさらに含む。
例ＧＡ１５は、例１の方法を含み、上記リッド内で、１または複数のリッド入力センサから追加的なリッド入力センサデータを受信する段階と、上記追加的なリッド入力センサデータに基づいて、上記ユーザが上記タッチディスプレイに関与していないと判定する段階と、上記ユーザが上記タッチディスプレイに関与していないという判定に応じて、上記タッチサンプリングレートを低減および／または上記タッチレポートレートの低減を生じさせる段階と、をさらに含む。
例ＧＡ１６は、例１５の方法を含み、上記タッチサンプリングレートはゼロに低減され、上記タッチレポートレートはゼロに低減される。
例ＧＡ１７は、例１の方法を含み、上記ベース内で、１または複数の処理ユニットに対するユーザ開始タスクを実行する段階と、上記リッド内で、上記１または複数のリッド入力センサから追加的なリッド入力センサデータを受信する段階と、上記追加的なリッド入力センサデータに基づいて、上記ユーザが上記タッチディスプレイに関与していないと判定する段階と、上記ユーザが上記タッチディスプレイに関与していないという判定に応じて、上記タッチサンプリングレートの低減および／または上記タッチレポートレートの低減を生じさせる段階と、上記ベース内で、上記１または複数の処理ユニットを低電力状態にする前に上記ユーザ開始タスクが完成することを許可する段階と、をさらに含む。
例ＧＡ１８は、例１の方法を含み、上記リッド内で、上記１または複数のリッド入力センサから追加的なリッド入力センサデータを受信する段階と、上記追加的なリッド入力センサデータに基づいて、上記ユーザの上記タッチディスプレイに対する関与を判定する段階と、上記タッチセンサデータおよび上記リッド入力センサデータのうちの１または複数に基づいて、上記ユーザが上記モバイルコンピューティングデバイスとインタラクトしているかを判定する段階と、上記ユーザが上記タッチディスプレイに関与し、上記ユーザが上記デバイスとインタラクトしている場合、上記タッチサンプリングレートを上記タッチディスプレイコントローラの最大タッチサンプリングレートに設定する段階と、をさらに含む。
例ＧＡ１９は、例１８の方法を含み、調整されたタッチセンサデータを生成するため、上記タッチセンサデータを調整する段階をさらに含み、上記タッチメタデータは上記調整されたタッチセンサデータを含む。
例ＧＡ２０は、例１８の方法を含み、上記ユーザの上記タッチディスプレイに対する関与を判定する段階は、上記ユーザの顔の向きを判定する段階と、上記顔の向きに基づいて、上記ユーザが上記タッチディスプレイを見ているかを判定する段階と、を含む。
例ＧＡ２１は、例１の方法を含み、上記リッド内で、上記１または複数のリッド入力センサから追加的なリッド入力センサデータを受信する段階と、上記追加的なリッド入力センサデータに基づいて、上記ユーザの上記タッチディスプレイに対する関与を判定する段階と、上記タッチセンサデータおよび上記追加的なリッド入力センサデータのうちの１または複数に基づいて、直近でいつ、上記ユーザが上記モバイルコンピューティングデバイスとインタラクトしたかを判定する段階と、上記ユーザが上記タッチディスプレイに関与している場合、以前のインタラクションから第２期間よりも短い第１期間内に上記ユーザが上記モバイルコンピューティングデバイスとインタラクトした場合は上記タッチサンプリングレートを第１タッチサンプリングレートに設定する段階と、上記第１期間内に上記ユーザが上記デバイスとインタラクトしていない場合、上記第２期間内に上記ユーザが上記デバイスとインタラクトした場合は上記タッチサンプリングレートを第２タッチサンプリングレートに設定する段階と、をさらに含み、上記第１タッチサンプリングレートは上記第２タッチサンプリングレートよりも大きい。
例ＧＡ２２は、例１の方法を含み、１または複数のリッド入力センサから追加的なリッド入力センサデータを受信する段階と、上記追加的なリッド入力センサデータに基づいて、上記ユーザの上記タッチディスプレイに対する関与を判定する段階と、上記タッチセンサデータおよび上記追加的なリッド入力センサデータのうちの１または複数に基づいて、直近でいつ、上記ユーザが上記モバイルコンピューティングデバイスとインタラクトしたかを判定する段階と、上記ユーザが上記タッチディスプレイに関与している場合、以前のインタラクションから第１期間内に上記ユーザが上記モバイルコンピューティングデバイスとインタラクトした場合は上記タッチサンプリングレートを第１タッチサンプリングレートに設定する段階と、上記第１期間は第２期間よりも短く、上記第２期間は第３期間よりも短く、上記第１期間内に上記ユーザが上記モバイルコンピューティングデバイスとインタラクトしていない場合、上記以前のインタラクションから上記第２期間内に上記ユーザが上記モバイルコンピューティングデバイスとインタラクトした場合は上記タッチサンプリングレートを第２タッチサンプリングレートに設定する段階と、上記第２期間内に上記ユーザが上記モバイルコンピューティングデバイスとインタラクトしていない場合、上記以前のインタラクションから上記第３期間内に上記ユーザが上記デバイスとインタラクトした場合は上記タッチサンプリングレートを第３タッチサンプリングレートに設定する段階と、をさらに含み、上記第１タッチサンプリングレートは上記第２タッチサンプリングレートよりも大きく、上記第２タッチサンプリングレートは上記第３タッチサンプリングレートよりも大きい。
例ＧＡ２３は、例１８から例２２のいずれか１つの方法を含み、１または複数のベース入力デバイスに関連付けられたベース入力デバイスセンサデータを受信する段階をさらに含み、直近でいつ、上記ユーザが上記モバイルコンピューティングデバイスとインタラクトしたかを判定する段階は、上記ベース入力デバイスセンサデータにさらに基づく。
例ＧＡ２４は、例２３の方法を含み、１または複数のベース入力デバイスは、キーボード、トラックパッド、タッチパッド、およびマウスのうちの１または複数を含む。
例ＧＡ２５は、本明細書に上述の例ＧＡのいずれか１つの方法を含み、例ＡＡ１からＡＡ１６、ＤＥ１からＤＥ１７、ＥＡ１からＥＡ１０またはＦＡ１からＦＡ９のいずれか１つの方法の要素（これらの方法要素が本明細書に上述の例ＧＡの方法要素と重複しない限り）をさらに含む。
例ＧＢ１は、１または複数のホスト処理ユニットを含むベースと、タッチディスプレイ、タッチディスプレイコントローラ、１または複数のリッド入力センサ、および回路機構を含むリッドと、を備えるモバイルコンピューティングデバイスであって、上記回路機構は、上記１または複数のリッド入力センサからリッド入力センサデータを受信し、上記リッド入力センサデータに基づいて、上記タッチディスプレイの前にユーザが存在すると判定し、上記ユーザが存在するという判定に応じて、上記タッチディスプレイコントローラのタッチサンプリングレートの増加を生じさせ、上記タッチサンプリングレートで上記タッチディスプレイコントローラからタッチセンサデータを受信し、上記タッチセンサデータに基づいてタッチメタデータを判定し、タッチレポートレートで上記１または複数のホスト処理ユニットに上記タッチメタデータを提供する。
例ＧＢ２は、例ＧＢ１のモバイルコンピューティングデバイスを含み、上記タッチセンサデータは第２タッチセンサデータであり、上記リッド入力センサデータは、上記タッチディスプレイコントローラにより提供された第１タッチセンサデータをさらに含む。
例ＧＢ３は、例ＧＢ１のモバイルコンピューティングデバイスを含み、１または複数のリッド入力センサは、カメラを含む。
例ＧＢ４は、例ＧＢ１のモバイルコンピューティングデバイスを含み、１または複数のリッド入力センサは、ライダセンサ、レーダセンサ、および超音波センサのうちの１または複数をさらに含む。
例ＧＢ５は、例ＧＢ１のモバイルコンピューティングデバイスを含み、上記１または複数のホスト処理ユニットは、上記タッチセンサデータに基づいて１または複数の動作を実行するため、オペレーティングシステムを実行する。
例ＧＢ６は、例ＧＢ１のモバイルコンピューティングデバイスを含み、上記回路機構はさらに、上記ユーザが存在するという判定に応じて、上記タッチレポートレートを増加させる。
例ＧＢ７は、例ＧＢ１のモバイルコンピューティングデバイスを含み、上記回路機構はさらに、上記ユーザが存在するという判定に応じて、上記タッチディスプレイのディスプレイリフレッシュレートの増加を生じさせる。
例ＧＢ８は、例ＧＢ１のモバイルコンピューティングデバイスを含み、上記タッチレポートレートは、上記タッチサンプリングレートと同じである。
例ＧＢ９は、例ＧＢ１のモバイルコンピューティングデバイスを含み、上記回路機構はさらに、上記ユーザが存在するという判定に応じて、上記タッチディスプレイのディスプレイリフレッシュレートの増加を生じさせ、上記タッチサンプリングレートと、上記ディスプレイリフレッシュレートと、上記タッチサンプリングレートとは同じである。
例ＧＢ１０は、例ＧＢ１のモバイルコンピューティングデバイスを含み、上記タッチサンプリングレート、上記タッチレポートレート、および上記タッチディスプレイのディスプレイリフレッシュレートのうちの少なくとも２つは異なる。
例ＧＢ１１は、例ＧＢ１のモバイルコンピューティングデバイスを含み、上記タッチサンプリングレート、上記タッチレポートレート、および上記タッチディスプレイのディスプレイリフレッシュレートは、全て互いに異なる。
例ＧＢ１２は、例ＧＢ１のモバイルコンピューティングデバイスを含み、上記回路機構はさらに、上記１または複数のリッド入力センサから追加的なリッド入力センサデータを受信し、上記追加的なリッド入力センサデータに基づいて、上記ユーザが存在しないと判定し、上記ユーザが存在しないという判定に応じて、上記タッチディスプレイコントローラのタッチサンプリングレートの低減を生じさせる。
例ＧＢ１３は、例ＧＢ１２のモバイルコンピューティングデバイスを含み、上記回路機構はさらに、上記ユーザが存在しないという判定に応じて、上記タッチレポートレートを低減させる。
例ＧＢ１４は、例ＧＢ１２のモバイルコンピューティングデバイスを含み、上記回路機構はさらに、上記ユーザが存在しないという判定に応じて、上記タッチディスプレイのディスプレイリフレッシュレートを低減させる。
例ＧＢ１５は、例ＧＢ１のモバイルコンピューティングデバイスを含み、上記回路機構はさらに、上記１または複数のリッド入力センサから追加的なリッド入力センサデータを受信し、上記追加的なリッド入力センサデータに基づいて、上記ユーザが上記タッチディスプレイに関与していないと判定し、上記ユーザが上記タッチディスプレイに関与していないという判定に応じて、上記タッチサンプリングレートを低減および／または上記タッチレポートレートの低減を生じさせる。
例ＧＢ１６は、例ＧＢ１５のモバイルコンピューティングデバイスを含み、上記タッチサンプリングレートはゼロに低減され、上記タッチレポートレートはゼロに低減される。
例ＧＢ１７は、例ＧＢ１のモバイルコンピューティングデバイスを含み、上記１または複数のホスト処理ユニットは、ユーザ開始タスクの実行を開始し、上記回路機構はさらに、上記１または複数のリッド入力センサから追加的なリッド入力センサデータを受信し、上記追加的なリッド入力センサデータに基づいて、上記ユーザが上記タッチディスプレイに関与していないと判定し、上記ユーザが上記タッチディスプレイに関与していないという判定に応じて、上記タッチサンプリングレートの低減および／または上記タッチレポートレートの低減を生じさせ、上記１または複数のホスト処理ユニットは、低電力状態にされる前に上記ユーザ開始タスクが完成することを許可する。
例ＧＢ１８は、例ＧＢ１のモバイルコンピューティングデバイスを含み、上記回路機構はさらに、上記１または複数のリッド入力センサから追加的なリッド入力センサデータを受信し、上記追加的なリッド入力センサデータに基づいて、上記ユーザの上記タッチディスプレイに対する関与を判定し、上記タッチセンサデータおよび上記リッド入力センサデータのうちの１または複数に基づいて、上記ユーザが上記モバイルコンピューティングデバイスとインタラクトしているかを判定し、上記ユーザが上記タッチディスプレイに関与し、上記ユーザが上記モバイルコンピューティングデバイスとインタラクトしている場合、上記タッチサンプリングレートを上記タッチディスプレイコントローラの最大タッチサンプリングレートに設定する。
例ＧＢ１９は、例ＧＢ１８のモバイルコンピューティングデバイスを含み、上記回路機構はさらに、調整されたタッチセンサデータを生成するため、上記タッチセンサデータを調整し、上記タッチメタデータは上記調整されたタッチセンサデータを含む。
例ＧＢ２０は、例ＧＢ１８のモバイルコンピューティングデバイスを含み、上記ユーザの上記タッチディスプレイに対する関与を判定することは、上記ユーザの顔の向きを判定することと、上記顔の向きに基づいて、上記ユーザが上記タッチディスプレイを見ているかを判定することとを含む。
例ＧＢ２１は、例ＧＢ１のモバイルコンピューティングデバイスを含み、上記回路機構はさらに、上記１または複数のリッド入力センサから追加的なリッド入力センサデータを受信し、上記追加的なリッド入力センサデータに基づいて、上記ユーザの上記タッチディスプレイに対する関与を判定し、上記タッチセンサデータおよび上記追加的なリッド入力センサデータのうちの１または複数に基づいて、直近でいつ、上記ユーザが上記モバイルコンピューティングデバイスとインタラクトしたかを判定し、上記ユーザが上記タッチディスプレイに関与している場合、以前のインタラクションから第２期間よりも短い第１期間内に上記ユーザが上記モバイルコンピューティングデバイスとインタラクトした場合は上記タッチサンプリングレートを第１タッチサンプリングレートに設定し、上記第１期間内に上記ユーザが上記モバイルコンピューティングデバイスとインタラクトしていない場合、上記第２期間内に上記ユーザが上記モバイルコンピューティングデバイスとインタラクトした場合は上記タッチサンプリングレートを第２タッチサンプリングレートに設定し、上記第１タッチサンプリングレートは上記第２タッチサンプリングレートよりも大きい。
例ＧＢ２２は、例ＧＢ１のモバイルコンピューティングデバイスを含み、上記回路機構はさらに、上記１または複数のリッド入力センサから追加的なリッド入力センサデータを受信し、上記追加的なリッド入力センサデータに基づいて、上記ユーザの上記タッチディスプレイに対する関与を判定し、上記タッチセンサデータおよび上記追加的なリッド入力センサデータのうちの１または複数に基づいて、直近でいつ、上記ユーザが上記モバイルコンピューティングデバイスとインタラクトしたかを判定し、上記ユーザが上記タッチディスプレイに関与している場合、以前のインタラクションから第１期間内に上記ユーザが上記モバイルコンピューティングデバイスとインタラクトした場合は上記タッチサンプリングレートを第１タッチサンプリングレートに設定し、上記第１期間は第２期間よりも短く、上記第２期間は第３期間よりも短く、上記第１期間内に上記ユーザが上記モバイルコンピューティングデバイスとインタラクトしていない場合、上記以前のインタラクションから上記第２期間内に上記ユーザが上記モバイルコンピューティングデバイスとインタラクトした場合は上記タッチサンプリングレートを第２タッチサンプリングレートに設定し、上記第２期間内に上記ユーザが上記モバイルコンピューティングデバイスとインタラクトしていない場合、上記以前のインタラクションから上記第３期間内に上記ユーザが上記モバイルコンピューティングデバイスとインタラクトした場合は上記タッチサンプリングレートを第３タッチサンプリングレートに設定し、上記第１タッチサンプリングレートは上記第２タッチサンプリングレートよりも大きく、上記第２タッチサンプリングレートは上記第３タッチサンプリングレートよりも大きい。
例ＧＢ２３は、例ＧＢ１９からＧＢ２２のいずれか１つのモバイルコンピューティングデバイスを含み、上記回路機構はさらに、１または複数のベース入力デバイスに関連付けられたベース入力デバイスセンサデータを受信し、直近でいつ、上記ユーザが上記モバイルコンピューティングデバイスとインタラクトしたかの判定は、上記ベース入力デバイスセンサデータにさらに基づく。
例ＧＢ２４は、例ＧＢ２４のモバイルコンピューティングデバイスを含み、１または複数のベース入力デバイスは、キーボード、トラックパッド、タッチパッド、およびマウスのうちの１または複数を含む。
例ＧＢ２５は、本明細書に上述の例ＧＢのいずれか１つのモバイルコンピューティングデバイスを含み、例ＡＢ１からＡＢ１４、ＤＡ１からＤＡ１７、ＤＢ１からＤＢ１４、ＥＣ１からＥＣ１０、ＦＢ１からＦＢ１０、またはＦＤ１からＦＤ９のいずれかの特徴（これらの特徴が本明細書に上述の例ＦＢの特徴と重複しない限り）をさらに含む。
例ＧＣ０は、回路機構を備える装置であって、上記回路機構は、１または複数のリッド入力センサからリッド入力センサデータを受信し、上記リッド入力センサデータに基づいて、タッチディスプレイの前にユーザが存在すると判定し、上記ユーザが存在するという判定に応じて、タッチディスプレイコントローラのタッチサンプリングレートの増加を生じさせ、上記タッチディスプレイコントローラから上記タッチサンプリングレートでタッチセンサデータを受信し、上記タッチセンサデータに基づいてタッチメタデータを判定し、タッチレポートレートで１または複数のホスト処理ユニットに上記タッチメタデータを提供する。
例ＧＣ１は、例ＧＣ０の装置を含み、１または複数のリッド入力センサは、カメラを含む。
例ＧＣ２は、例ＧＣ０の装置を含み、１または複数のリッド入力センサは、ライダセンサ、レーダセンサ、および超音波センサのうちの１または複数をさらに含む。
例ＧＣ３は、例ＧＣ０の装置を含み、上記回路機構はさらに、上記ユーザが存在するという判定に応じて、上記タッチレポートレートを増加させる。
例ＧＣ４は、例ＧＣ０の装置を含み、上記回路機構はさらに、上記ユーザが存在するという判定に応じて、上記タッチディスプレイのディスプレイリフレッシュレートの増加を生じさせる。
例ＧＣ５は、例ＧＣ０の装置を含み、上記タッチレポートレートは、上記タッチサンプリングレートと同じである。
例ＧＣ６は、例ＧＣ０の装置を含み、上記回路機構はさらに、上記ユーザが存在するという判定に応じて、上記タッチディスプレイのディスプレイリフレッシュレートの増加を生じさせ、上記タッチサンプリングレートと、上記ディスプレイリフレッシュレートと、上記タッチサンプリングレートとは同じである。
例ＧＣ７は、例ＧＣ０の装置を含み、上記タッチサンプリングレート、上記タッチレポートレート、および上記タッチディスプレイのディスプレイリフレッシュレートのうちの少なくとも２つは異なる。
例ＧＣ８は、例ＧＣ０の装置を含み、上記タッチサンプリングレート、上記タッチレポートレート、および上記タッチディスプレイのディスプレイリフレッシュレートは、全て互いに異なる。
例ＧＣ９は、例ＧＣ０の装置を含み、上記回路機構はさらに、上記１または複数のリッド入力センサから追加的なリッド入力センサデータを受信し、上記追加的なリッド入力センサデータに基づいて、上記ユーザが存在しないと判定し、上記ユーザが存在しないという判定に応じて、上記タッチディスプレイコントローラのタッチサンプリングレートの低減を生じさせる。
例ＧＣ１０は、例ＧＣ９の装置を含み、上記回路機構はさらに、上記ユーザが存在しないという判定に応じて、上記タッチレポートレートを低減させる。請求項５８の装置は、上記回路機構はさらに、上記ユーザが存在しないという判定に応じて、上記タッチディスプレイのディスプレイリフレッシュレートを低減させる。
例ＧＣ１１は、例ＧＣ０の装置を含み、上記回路機構はさらに、上記１または複数のリッド入力センサから追加的なリッド入力センサデータを受信し、上記追加的なリッド入力センサデータに基づいて、上記ユーザが上記タッチディスプレイに関与していないと判定し、上記ユーザが上記タッチディスプレイに関与していないという判定に応じて、上記タッチサンプリングレートを低減および／または上記タッチレポートレートの低減を生じさせる。
例ＧＣ１２は、例ＧＣ１１の装置を含み、上記タッチサンプリングレートはゼロに低減され、上記タッチレポートレートはゼロに低減される。
例ＧＣ１３は、例ＧＣ１１の装置を含み、上記回路機構はさらに、上記１または複数のリッド入力センサから追加的なリッド入力センサデータを受信し、上記追加的なリッド入力センサデータに基づいて、上記ユーザの上記タッチディスプレイに対する関与を判定し、上記タッチセンサデータおよび上記リッド入力センサデータのうちの１または複数に基づいて、上記ユーザがモバイルコンピューティングデバイスとインタラクトしているかを判定し、上記ユーザが上記タッチディスプレイに関与し、上記ユーザが上記モバイルコンピューティングデバイスとインタラクトしている場合、上記タッチサンプリングレートを上記タッチディスプレイコントローラの最大タッチサンプリングレートに設定する。
例ＧＣ１４は、例ＧＣ１１の装置を含み、上記回路機構はさらに、調整されたタッチセンサデータを生成するため、上記タッチセンサデータを調整し、上記タッチメタデータは上記調整されたタッチセンサデータを含む。
例ＧＣ１５は、例ＧＣ１１の装置を含み、上記ユーザの上記タッチディスプレイに対する関与を判定することは、上記ユーザの顔の向きを判定することと、上記顔の向きに基づいて、上記ユーザが上記タッチディスプレイを見ているかを判定することとを含む。
例ＧＣ１６は、例ＧＣ０の装置を含み、上記回路機構はさらに、上記１または複数のリッド入力センサから追加的なリッド入力センサデータを受信し、上記追加的なリッド入力センサデータに基づいて、上記ユーザの上記タッチディスプレイに対する関与を判定し、上記タッチセンサデータおよび上記追加的なリッド入力センサデータのうちの１または複数に基づいて、直近でいつ、上記ユーザがモバイルコンピューティングデバイスとインタラクトしたかを判定し、上記ユーザが上記タッチディスプレイに関与している場合、以前のインタラクションから第２期間よりも短い第１期間内に上記ユーザが上記モバイルコンピューティングデバイスとインタラクトした場合は上記タッチサンプリングレートを第１タッチサンプリングレートに設定し、上記第１期間内に上記ユーザが上記モバイルコンピューティングデバイスとインタラクトしていない場合、上記第２期間内に上記ユーザが上記モバイルコンピューティングデバイスとインタラクトした場合は上記タッチサンプリングレートを第２タッチサンプリングレートに設定し、上記第１タッチサンプリングレートは上記第２タッチサンプリングレートよりも大きい。
例ＧＣ１７は、例ＧＣ０の装置を含み、上記回路機構はさらに、上記１または複数のリッド入力センサから追加的なリッド入力センサデータを受信し、上記追加的なリッド入力センサデータに基づいて、上記ユーザの上記タッチディスプレイに対する関与を判定し、上記タッチセンサデータおよび上記追加的なリッド入力センサデータのうちの１または複数に基づいて、直近でいつ、上記ユーザがモバイルコンピューティングデバイスとインタラクトしたかを判定し、上記ユーザが上記タッチディスプレイに関与している場合、以前のインタラクションから第１期間内に上記ユーザが上記モバイルコンピューティングデバイスとインタラクトした場合は上記タッチサンプリングレートを第１タッチサンプリングレートに設定し、上記第１期間は第２期間よりも短く、上記第２期間は第３期間よりも短く、上記第１期間内に上記ユーザが上記モバイルコンピューティングデバイスとインタラクトしていない場合、上記以前のインタラクションから上記第２期間内に上記ユーザが上記モバイルコンピューティングデバイスとインタラクトした場合は上記タッチサンプリングレートを第２タッチサンプリングレートに設定し、上記第２期間内に上記ユーザが上記モバイルコンピューティングデバイスとインタラクトしていない場合、上記以前のインタラクションから上記第３期間内に上記ユーザが上記モバイルコンピューティングデバイスとインタラクトした場合は上記タッチサンプリングレートを第３タッチサンプリングレートに設定し、上記第１タッチサンプリングレートは上記第２タッチサンプリングレートよりも大きく、上記第２タッチサンプリングレートは上記第３タッチサンプリングレートよりも大きい。
例ＧＣ１８は、例ＧＣ１３からＧＣ１７のいずれか１つの装置を含み、上記回路機構はさらに、１または複数のベース入力デバイスに関連付けられたベース入力デバイスセンサデータを受信し、直近でいつ、上記ユーザが上記モバイルコンピューティングデバイスとインタラクトしたかの判定は、上記ベース入力デバイスセンサデータにさらに基づく。
例ＧＣ１８は、例ＧＣ１８の装置を含み、１または複数のベース入力デバイスは、キーボード、トラックパッド、タッチパッド、およびマウスのうちの１または複数を含む。
例ＧＤ１は、命令を格納する１または複数の非一時的コンピュータ可読ストレージ媒体であって、上記命令は、実行されると、コンピューティングデバイスのリッドの１または複数の処理ユニットに、例ＧＡ１からＧＡ２４のいずれか１つの方法を実行させる。
例ＧＥ１は、請求項ＧＡ１からＧＡ２４のいずれか一項に記載の方法を実行する１または複数の手段を備える装置である。
図５４は、リッドコントローラハブを含む例示的モバイルコンピューティングデバイスのベース内のコンピューティングデバイスコンポーネントのブロック図である。一般的に、図５４に示すコンポーネントは、リッドコントローラハブ内にあるものを含む図示された他のコンポーネントと通信可能であるが、図示簡略化のため、全ての接続が示されているわけではない。コンポーネント５４００は、第１プロセッサ５４０２および第２プロセッサ５４０４を含むマルチプロセッサシステムを備え、ポイントツーポイント（Ｐ－Ｐ）インターコネクトを含むものとして示されている。例えば、プロセッサ５４０２のポイントツーポイント（Ｐ－Ｐ）インタフェース５４０６は、ポイントツーポイント相互接続５４０５を介してプロセッサ５４０４のポイントツーポイントインタフェース５４０７に結合される。図５４に示す任意または全部のポイントツーポイントインターコネクトは、代わりにマルチドロップバスとして実装可能であり、図５４に示す任意または全部のバスをポイントツーポイントインターコネクトで置換し得ることが理解されよう。
図５４に示すとおり、プロセッサ５４０２および５４０４はマルチコアプロセッサである。プロセッサ５４０２はプロセッサコア５４０８および５４０９を含み、プロセッサ５４０４はプロセッサコア５４１０および５４１１を含む。プロセッサコア５４０８から５４１１は、以下で図５４との関連で説明するのと同様に、または他の方法で、コンピュータ実行可能命令を実行可能である。
プロセッサ５４０２および５４０４は、それぞれ少なくとも１つの共有キャッシュメモリ５４１２および５４１４をさらに含む。共有キャッシュ５４１２および５４１４は、プロセッサコア５４０８から５４０９および５４１０から５４１１など、プロセッサの１または複数のコンポーネントによって利用されるデータ（例えば、命令）を格納し得る。共有キャッシュ５４１２および５４１４は、デバイスのためのメモリ階層の一部であり得る。例えば、共有キャッシュ５４１２は、プロセッサ５４０２のコンポーネントによるデータへのより迅速なアクセスを可能にするため、メモリ５４１６にも格納されたデータをローカルに格納し得る。いくつかの実施形態において、共有キャッシュ５４１２および５４１４は、レベル１（Ｌ１）、レベル２（Ｌ２）、レベル３（Ｌ３）、レベル４（Ｌ４）などの複数のキャッシュ層、および／またはラストレベルキャッシュ（ＬＬＣ）などの他のキャッシュまたはキャッシュ層を含み得る。
２つのプロセッサが示されているが、デバイスは、リッドコントローラハブ内にあるものを含む、任意の数のプロセッサまたは他の計算リソースを含み得る。さらに、プロセッサは、任意の数のプロセッサコアを含み得る。プロセッサは、中央処理ユニット、コントローラ、グラフィックプロセッサ、アクセラレータ（グラフィックアクセラレータ、デジタル信号プロセッサ（ＤＳＰ）、またはＡＩアクセラレータ）など）などの様々な形態を取り得る。デバイス内のプロセッサは、当該デバイス内の他のプロセッサと同じであっても異なっていてもよい。いくつかの実施形態において、デバイスは、第１プロセッサ、アクセラレータ、ＦＰＧＡ、または他の任意のプロセッサと異種または非対称である１または複数のプロセッサを含み得る。システム内の処理要素間には、アーキテクチャ、マイクロアーキテクチャ、熱、電力消費特性などを含む特長の基準の範囲という点で各種差異があり得る。これらの差異は、システム内のプロセッサ間の非対称性および異種性として効果的に現れ得る。いくつかの実施形態において、プロセッサ５４０２および５４０４は、マルチチップパッケージ内にある。本明細書で使用される場合、「プロセッサユニット」および「処理ユニット」という用語は、任意のプロセッサ、プロセッサコア、コンポーネント、モジュール、エンジン、回路機構または本明細書に記載された他の任意の処理要素を指し得る。プロセッサユニットまたは処理ユニットは、ハードウェア、ソフトウェア、ファームウェア、またはこれらの可能な任意の組み合わせで実装され得る。リッドコントローラハブは、１または複数の処理ユニットを含み得る。
プロセッサ５４０２および５４０４は、メモリコントローラロジック（ＭＣ）５４２０および５４２２をさらに含む。図５４に示すように、ＭＣ５４２０および５４２２は、プロセッサ５４０２および５４０４にそれぞれ結合されたメモリ５４１６および５４１８を制御する。メモリ５４１６および５４１８は、揮発性メモリ（例えば、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ））または不揮発性メモリ（例えば、フラッシュメモリ、ソリッドステートドライブ、カルコゲニドベースの相変化不揮発性メモリ）などの様々なタイプのメモリを含み得る。ＭＣ５４２０および５４２２はプロセッサ５４０２および５４０４に一体化されたものとして示されているが、代替の実施形態では、ＭＣはプロセッサの外部のロジックであってよく、およびメモリ階層の１または複数の層を含んでよい。
プロセッサ５４０２および５４０４は、Ｐ－Ｐ相互接続５４３２および５４３４を介して入力／出力（Ｉ／Ｏ）サブシステム５４３０に結合される。ポイントツーポイント相互接続５４３２は、プロセッサ５４０２のポイントツーポイントインタフェース５４３６をＩ／Ｏサブシステム５４３０のポイントツーポイントインタフェース５４３８に接続し、ポイントツーポイント相互接続５４３４は、プロセッサ５４０４のポイントツーポイントインタフェース５４４０をＩ／Ｏサブシステム５４３０のポイントツーポイントインタフェース５４４２に接続する。入力／出力サブシステム５４３０は、Ｉ／Ｏサブシステム５４３０を高性能グラフィックモジュールであり得るグラフィックモジュール５４５２に結合するため、インタフェース５４５０をさらに含む。Ｉ／Ｏサブシステム５４３０とグラフィックモジュール５４５２とは、バス５４５４を介して結合される。これに代わり、バス５４５４は、ポイントツーポイントインターコネクト相互接続であり得る。
入力／出力サブシステム５４３０は、インタフェース５４６２を介して第１バス５４６０にさらに結合される。第１バス５４６０は、ペリフェラルコンポーネントインターコネクト（ＰＣＩ）バス、ＰＣＩ Ｅｘｐｒｅｓｓバス、別の第３世代Ｉ／Ｏ相互接続バス、または任意の他のタイプのバスであってもよい。
様々なＩ／Ｏデバイス５４６４が第１バス５４６０に結合され得る。バスブリッジ５４７０が第１バス５４６０を第２バス５４８０に結合し得る。いくつかの実施形態において、第２バス５４８０は、ローピンカウント（ＬＰＣ）バスであってよい。例えば、キーボード／マウス５４８２、オーディオＩ／Ｏデバイス５４８８、およびコンピュータ実行可能命令（コード）５４９２を格納するためのハードディスクドライブ、ソリッドステートドライブ、または他のストレージデバイスなどのストレージデバイス５４９０を含む、様々なデバイスが第２のバス５４８０に結合され得る。コード５４９２は、本明細書に記載の技術を実行するためのコンピュータ実行可能命令を含んでよい。第２バス５４８０に結合可能な追加的なコンポーネントとしては、１または複数の通信規格（例えば、ＩＥＥＥ５４０２．１１規格およびその補足事項）を使用して、１または複数の有線または無線通信リンク（例えば、ワイヤ、ケーブル、イーサネット（登録商標）接続、無線周波数（ＲＦ）チャネル、赤外線チャネル、Ｗｉ－Ｆｉ（登録商標）チャネル）を介して、デバイスと１または複数の有線または無線ネットワーク５４８６（例えばＷｉ－Ｆｉ（登録商標）、セルラまたは衛星ネットワーク）との間の通信を提供し得る、通信デバイス（１または複数）またはユニット（１または複数）５４８４が挙げられる。
デバイスは、フラッシュメモリカード（例えば、ＳＤ（セキュアデジタル）カード）、メモリスティック、加入者識別モジュール（ＳＩＭ）カード）などの取り外し可能メモリを含み得る。（キャッシュ５４１２および５４１４、メモリ５４１６および５４１８、ストレージデバイス５４９０、およびリッドコントローラハブ内のメモリを含む）コンピューティングデバイス内のメモリは、データおよび／またはオペレーティングシステム５４９４またはアプリケーションプログラム５４９６を実行するためのコンピュータ実行可能命令を格納し得る。データの例としては、リッドコントローラハブから受信されたウェブページ、テキストメッセージ、画像、音楽ファイル、ビデオデータ、センサデータもしくは他の任意のデータ、または１または複数の有線または無線ネットワークを介してデバイスにより１または複数のネットワークサーバまたは他のデバイスと送受信する、またはデバイスによる使用のための他のデータセットが挙げられる。デバイスは、外部ハードドライブまたはクラウドベースのストレージなどの外部メモリ（不図示）へのアクセスも有し得る。
オペレーティングシステム５４９４は、図５４に示すコンポーネントの割り当ておよび使用を制御し、１または複数のアプリケーションプログラム５４９６をサポートし得る。アプリケーションプログラム５４９６は、共通のモバイルコンピューティングデバイスアプリケーション（例えば、電子メールアプリケーション、カレンダ、連絡先管理ソフト、ウェブブラウザ、メッセージングアプリケーション）ならびに他のコンピューティングアプリケーションを含み得る。
デバイスは、タッチスクリーン、マイクロホン、カメラ（平面視または立体視）、トラックボール、タッチパッド、トラックパッド、マウス、キーボード、近接センサ、光センサ、圧力センサ、赤外線センサ、心電図（ＥＣＧ）センサ、ＰＰＧ（フォトプレチスモグラム）センサ、皮膚電気反射センサなどの様々な入力デバイス、および１または複数のスピーカまたはディスプレイなどの１または複数の出力デバイスをサポートし得る。入力または出力デバイスのいずれも、デバイスの内部にあっても、外部にあっても、またはデバイスに取り外し可能に取り付けられていてもよい。外部入力および出力デバイスは、有線または無線接続を介してデバイスと通信し得る。
さらに、コンピューティングデバイスは、１または複数のナチュラルユーザインタフェース（ＮＵＩ）を提供し得る。例えば、オペレーティングシステム５４９４、アプリケーション５４９６、またはリッドコントローラハブは、ユーザが音声コマンドを介してデバイスを動作可能とする音声ユーザインタフェースの一部として音声認識を含み得る。さらに、デバイスは、ユーザを体、手、または顔のジェスチャーを介してデバイスとインタラクト可能とする入力デバイスおよびコンポーネントを含み得る。
デバイスは、１または複数の通信コンポーネント５４８４をさらに含み得る。コンポーネント５４８４は、デバイスと外部デバイストの間の通信をサポートするため、１または複数のアンテナに結合された無線通信コンポーネントを含み得る。アンテナは、ベース、リッド、またはデバイスの他の部分に配置され得る。無線通信コンポーネントは、近距離通信通信（ＮＦＣ）、ＩＥＥＥ１００２．１１（Ｗｉ－Ｆｉ（登録商標））変形、ＷｉＭａｘ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｚｉｇｂｅｅ（登録商標）、４Ｇロング・ターム・イボリューション（ＬＴＥ）、符号分割多重アクセス（ＣＤＭＡ）、ユニバーサル・モバイル・テレコミュニケーション・システム（ＵＭＴＳ）およびグローバル・システム・フォー・モバイル・テレコミュニケーション（ＧＳＭ（登録商標））などの様々な無線通信プロトコルおよび技術をサポートし得る。さらに、無線モデムが、単一のセルラネットワーク内、セルラネットワーク間、またはモバイルコンピューティングデバイスと公衆交換電話網（ＰＳＴＮ）との間の、データおよび音声通信のための１または複数のセルラネットワークとの通信をサポートし得る。
デバイスは、物理的なコネクタ、電力源（再充電可能バッテリなど）、ＧＰＳレシーバなどの衛星ナビゲーションシステムレシーバ、ジャイロスコープ、加速度計、およびコンパスを含む、少なくとも１つの入力／出力ポート（例えば、ＵＳＢ、ＩＥＥＥ１３９４（ＦｉｒｅＷｉｒｅ（登録商標））、イーサネット（登録商標）および／またはＲＳから２３２ポートであり得る）をさらに含み得る。ＧＰＳレシーバは、ＧＰＳアンテナに結合され得る。デバイスは、追加的な機能を可能にするため、１または複数の追加的なレシーバ、トランスミッタおよび／またはトランシーバに結合された１または複数の追加的なアンテナをさらに含み得る。
図５４は、１つの例示的コンピューティングデバイスアーキテクチャを示す。本明細書に記載の技術を実装するため、代替のアーキテクチャに基づくコンピューティングデバイスが使用され得る。例えば、個別の集積回路に配置されているプロセッサ５４０２および５４０４、およびグラフィックモジュール５４５２に代えて、コンピューティングデバイスは、図５４に示すコンポーネントのうちの１または複数を組み込むＳｏＣ（システム・オン・チップ）集積回路を含み得る。一例において、ＳｏＣは、複数のプロセッサコア、キャッシュメモリ、ディスプレイドライバ、ＧＰＵ、複数のＩ／Ｏコントローラ、ＡＩアクセラレータ、画像処理ユニットドライバ、Ｉ／Ｏコントローラ、ＡＩアクセラレータ、画像プロセッサユニットを含み得る。さらに、コンピューティングデバイスは、図５４に示すものとは異なるバスまたはポイントツーポイント構成を介して要素を接続し得る。さらに、代替の実施形態では、示されたコンポーネントが除かれ、他のコンポーネントが追加され得ることから、図５４に図示されたコンポーネントは必須でも包括的なものでもない。
図５５は、リッドコントローラハブを実装する一部としてコンピュータ実行可能命令を実行するための例示的処理ユニット５５００のブロック図である。処理ユニット５５００は、マイクロプロセッサ、組み込みプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、ネットワークプロセッサ、またはアクセラレータなどの、任意のタイプのプロセッサまたはプロセッサコアであってよい。処理ユニット５５００は、シングルスレッドコアであってよく、あるいは、コアごとに、２以上のハードウェアスレッドコンテキスト（または「ロジカルプロセッサ」）を含み得るという点で、マルチスレッド化されたコアであってよい。
図５５はまた、プロセッサ５５００に結合されたメモリ５５１０を示す。メモリ５５１０は、本明細書に記載の任意のメモリ、または当業者にとって既知の他の任意のメモリであってよい。メモリ５５１０は、処理ユニット５５００によって実行可能なコンピュータ実行可能命令５５１５（コード）を格納してよい。
プロセッサコアは、メモリ５５１０から命令を受信するフロントエンドロジック５５２０を含む。命令は、１または複数のデコーダ５５３０によって処理されてよい。デコーダ５５３０は、その出力として、予め定義されたフォーマットで固定幅のマイクロオペレーションのようなマイクロオペレーションを生成してよく、あるいは、他の複数の命令、マイクロ命令、または元のコード命令を反映する制御信号を生成してよい。フロントエンドロジック５５２０はさらに、概して複数のリソースおよびキューに対し、実行のための変換命令に対応する動作を割り当てるレジスタリネーミングロジック５５３５およびスケジューリングロジック５５４０を含んでよい。
処理ユニット５５００は、１または複数の実行ユニット（ＥＵ）５５６５－１から５５６５－Ｎを有する、実行ロジック５５５０をさらに含む。いくつかのプロセッサコア実施形態は、特定の複数の機能または複数の機能セット専用の複数の実行ユニットを含んでよい。複数の他の実施形態は、１つの実行ユニットのみ、または特定の機能を実行し得る１つの実行ユニットを含んでよい。実行ロジック５５５０は、複数のコード命令によって指定される複数の動作を実行する。複数のコード命令によって指定される複数の動作の実行完了後、バックエンドロジック５５７０が退避ロジック５５７５を使用して複数の命令を退避する。いくつかの実施形態において、処理ユニット５５００は、アウトオブオーダ実行を可能にするが、複数の命令のインオーダ退避を要求する。退避ロジック５５７５は、当業者に既知の様々な形態を取り得る（例えば、複数のリオーダバッファなど）。
処理ユニット５５００は、命令の実行中、少なくともデコーダ５５３０によって生成される出力の観点において、レジスタリネーミングロジック５５３５によって利用される複数のハードウェアレジスタおよびテーブル、および実行ロジック５５５０によって変更される任意の複数のレジスタ（不図示）に変換される。図５５に示されないが、プロセッサは、処理ユニット５５００を備える集積チップ上に複数の他の要素を含んでよい。例えば、プロセッサは、メモリ制御ロジック、１または複数のグラフィックモジュール、Ｉ／Ｏ制御ロジック、および／または１または複数のキャッシュなどの追加的な要素を含んでよい。
本明細書の任意の実施形態に使用される場合、「モジュール」という用語は、本開示に従った１または複数の動作を実行するために、ハードウェアコンポーネントまたはデバイス、プロセッサ上で動作するソフトウェアまたはファームウェア、またはこれらの組み合わせで実装され得るロジックを指す。ソフトウェアは、ソフトウェアパッケージ、コード、命令、命令セットおよび／または非一時的コンピュータ可読ストレージ媒体に記録されたデータとして具現化されてよい。ファームウェアは、メモリデバイス内でハードコード（例えば、不揮発性）されたコード、命令または命令セットおよび／またはデータとして具現化されてよい。本明細書の任意の実施形態に使用される場合、「回路機構」という用語は、例えば、ハードワイヤード回路機構、１または複数の個別の命令処理コアを含むコンピュータプロセッサなどのプログラマブル回路機構、ステートマシン回路機構、および／またはプログラマブル回路機構により実行される命令を格納したファームウェアを単独で、または任意の組み合わせで含み得る。本明細書に記載のモジュールは、１または複数のデバイスの一部を形成する回路機構として、集合的にまたは個別に具現化され得る。したがって、任意のモジュールが、連続的アイテムセット生成回路機構、エントロピーベースの離散化回路機構などのような回路機構として実装され得る。方法を実行するためにプログラムされたと言及されるコンピュータデバイスは、ソフトウェア、ハードウェア、ファームウェアまたはそれらの組み合わせを介して方法を実行するためにプログラムされ得る。
いくつかの実施形態において、リッドコントローラハブは、リッドコントローラハブの一部として本明細書に記載されたコンポーネント（モジュール、ポート、コントローラ、ドライバ、タイミング、ブロック、アクセラレータ、プロセッサなど）を含むパッケージ化された集積回路である。リッドコントローラハブコンポーネントは、専用回路機構、ファームウェアまたはソフトウェア、またはそれらの組み合わせを動作させるプログラマブル回路機構として実装され得る。したがって、モジュールは代替的に「回路機構」（例えば、「画像前処理回路機構」）とも称され得る。モジュールはさらに代替的に「エンジン」（例えば、「セキュリティエンジン」、「ホストエンジン」、「ビジョン／撮像エンジン」、「オーディオエンジン」）とも称され得、「エンジン」はハードウェアの組み合わせ、ソフトウェア、ファームウェアまたはそれらの組み合わせとして実装され得る。さらに、リッドコントローラハブモジュール（例えば、オーディオモジュール、ビジョン／撮像モジュール）は、他のモジュールと組み合わせられ得、個別のモジュールは個別のモジュールに分割できる。
請求項および明細書における参照符号の使用は、請求項および明細書の理解を助けることを意図し、限定的なものを意図していない。
開示された方法はいずれも、コンピュータ実行可能命令またはコンピュータプログラム製品として実装され得る。そのような命令は、コンピュータ実行可能命令を実行可能なコンピュータまたは１または複数のプロセッサに開示の方法のいずれかを実行させ得る。一般的に、本明細書で使用される場合、「コンピュータ」という用語は、本明細書に記載または言及されたいずれかのコンピューティングデバイスまたはシステム、または他の任意のコンピューティングデバイスを指す。したがって、「コンピュータ実行可能命令」という用語は、本明細書に記載または言及されたいずれかのコンピューティングデバイス、または他の任意のコンピューティングデバイスによって実行可能な命令を指す。
コンピュータ実行可能命令またはコンピュータプログラム製品、ならびに開示の技術の実装時に作成され使用された任意のデータは、光学媒体ディスク（例えば、ＤＶＤ、ＣＤ）、揮発性メモリコンポーネント（例えば、ＤＲＡＭ、ＳＲＡＭ）、または不揮発性メモリコンポーネント（例えば、フラッシュメモリ、ソリッドステートドライブ、カルコゲニドベースの相変化不揮発性メモリ）などの１または複数の有形または非一時的コンピュータ可読ストレージ媒体に格納され得る。コンピュータ可読ストレージ媒体は、ソリッドステートドライブ、ＵＳＢフラッシュドライブ、およびメモリモジュールなどのコンピュータ可読ストレージデバイス内に含まれ得る。あるいは、コンピュータ実行可能命令は、開示された方法の全部または一部を実行するためのハードワイヤードロジックを含む特定ハードウェアコンポーネントにより、またはコンピュータ可読ストレージ媒体およびハードウェアコンポーネントの任意の組み合わせにより実行され得る。
コンピュータ実行可能命令は、例えば、ウェブブラウザまたは他のソフトウェアアプリケーション（リモートコンピューティングアプリケーションなど）を介してアクセスされた専用ソフトウェアアプリケーションまたはソフトウェアアプリケーションの一部であり得る。そのようなソフトウェアは、例えば、単一のコンピューティングデバイスにより、または１または複数のネットワーク接続されたコンピュータを使用してネットワーク環境において読み出され、実行され得る。さらに、開示された技術は、いずれの特定のコンピュータ言語またはプログラムにも限定されないことが理解されよう。例えば、開示された技術は、Ｃ＋＋、Ｊａｖａ（登録商標）、Ｐｅｒｌ、Ｐｙｔｈｏｎ、ＪａｖａＳｃｒｉｐｔ（登録商標）、Ａｄｏｂｅフラッシュ、または他の任意の適切なプログラミング言語で記述されたソフトウェアにより実装され得る。同様に、開示された技術は、いずれの特定のコンピュータまたはハードウェアのタイプにも限定されない。
さらに、いずれのソフトウェアベースの実施形態（例えば、コンピュータにいずれかの開示された方法を実行させるためのコンピュータ実行可能命令を含む）も、適切な通信手段を介してアップロード、ダウンロード、または遠隔アクセスし得る。そのような適切な通信手段としては、例えば、インターネット、ワールド・ワイド・ウェブ、イントラネット、ケーブル（光ファイバケーブルを含む）、磁気通信、電磁気通信（ＲＦ、マイクロ波、および赤外線通信を含む）、電子通信、または他のそのような通信手段が挙げられる。
本出願および請求項に使用される場合、「および／または」という用語によってつながれた項目のリストは、リストされた項目の任意の組み合わせを意味し得る。例えば、「Ａ、Ｂおよび／またはＣ」という表現は、Ａ、Ｂ、Ｃ、ＡおよびＢ、ＡおよびＣ、ＢおよびＣ、またはＡ、Ｂ、およびＣを意味し得る。さらに、本出願および請求項に使用される場合、「のうちの少なくとも１つ」という用語によってつながれた項目のリストは、リストされた用語の任意の組み合わせを意味し得る。例えば、「Ａ、Ｂ、またはＣのうちの少なくとも１つ」という表現は、Ａ、Ｂ、Ｃ、ＡおよびＢ、ＡおよびＣ、ＢおよびＣ、またはＡ、Ｂ、およびＣを意味し得る。さらに、本出願および請求項に使用される場合、「の１または複数」という用語によってつながれた項目のリストは、リストされた用語の任意の組み合わせを意味し得る。例えば、「Ａ、ＢおよびＣの１または複数」という表現は、Ａ、Ｂ、Ｃ、ＡおよびＢ、ＡおよびＣ、ＢおよびＣ、またはＡ、Ｂ、およびＣを意味し得る。さらに、本出願および請求項に使用される場合、「少なくとも２つ」という表現は、リストされた用語の任意の２つを意味し得る。例えば、「Ａ、Ｂ、またはＣの少なくとも２つ」という表現は、ＡおよびＢ、ＢおよびＣ、またはＡおよびＣであり得る。さらに、本出願および請求項に使用される場合、「互いに全て異なる」という表現は、リストされた項目がそれぞれ互いに異なることを意味する。例えば、「Ａ、Ｂ、Ｃは互いに全て異なる」は、Ａ、Ｂ、およびＣがそれぞれ異なる値（例えば、Ａは２０Ｈｚ、Ｂは６０Ｈｚ、およびＣは１２０Ｈｚ）を有することを意味し得る。
さらに、「最適化する（ｏｐｔｉｍｉｚｅ）」、「最適化（ｏｐｔｉｍｉｚａｔｉｏｎ）」、「最適化している（ｏｐｔｉｍｉｚｉｎｇ）」という単語および関連する用語は、システム、コンポーネント、またはプロセスの電力消費、レイテンシまたは他の性能または挙動特性における相対的改善を指す技術用語であり、システム、コンポーネント、またはプロセスが電力消費、レイテンシ、または性能または挙動特性の「最適な（ｏｐｔｉｍａｌ）」状態が達成されるほど完全に改善されたことを示すものではない。
開示された方法、装置、およびシステムは、いかなる形にも限定的に解釈されるものではない。むしろ、本開示は、単独で、および互いに様々な組み合わせおよび下位組み合わせで、様々な開示された実施形態の全ての新規且つ非自明な特徴および態様を対象とする。開示された方法、装置、およびシステムは、任意の特定の態様または特徴またはそれらの組み合わせに限定されず、開示された実施形態は、任意の１または複数の特定の効果が存在し、または問題が解決されることを必要としない。
本開示の装置または方法を参照して本明細書で提示された動作論理、科学的原則または他の論理的記載は、理解を促す目的で提供されており、範囲を限定することを意図していない。添付の請求項の装置および方法は、そのような動作論理により記載された方法で機能するこれらの装置および方法に限定されない。
開示された方法の一部の動作は、提示の便宜上、特定の順序で記載されているが、特定の順番が本明細書に記載の特定の文言によって必要となる場合を除いて、この記載の仕方は再配置を包含することが理解されよう。例えば、順序立てて記載された動作は、場合によっては再配置または同時に実行され得る。さらに、簡潔さのために、添付の図面は、開示された方法が他の方法と連動して使用可能な様々な手法を示していない場合がある。

Claims (25)

  1. タッチディスプレイコントローラからタッチセンサデータを受信する段階と、
    ディスプレイリフレッシュ通知の受信に応じて、
    前記タッチセンサデータに基づいて、調整されたタッチセンサデータを生成する段階と、
    前記調整されたタッチセンサデータをオペレーティングシステムに送信する段階と、
    を含む方法であって、
    前記タッチセンサデータを受信する段階と、前記調整されたタッチセンサデータを生成する段階と、前記調整されたタッチセンサデータを送信する段階とは、モバイルコンピューティングデバイスのリッド内で実行され、前記オペレーティングシステムは、前記モバイルコンピューティングデバイスのベース内に配置された１または複数の処理ユニットの上で実行される、
    方法。
  2. 前記タッチセンサデータは、タッチ位置データを含み、前記調整されたタッチセンサデータを生成する段階は、前記タッチ位置データに基づいて、調整されたタッチ位置データを生成する段階を含み、前記調整されたタッチセンサデータは、前記調整されたタッチ位置データを含む、請求項１に記載の方法。
  3. 前記タッチセンサデータは、タッチ強度データを含み、前記調整されたタッチセンサデータを生成する段階は、前記タッチ強度データに基づいて、調整されたタッチ強度データを生成する段階を含み、前記調整されたタッチセンサデータは、前記調整されたタッチ強度データを含む、請求項１または２に記載の方法。
  4. 前記調整されたタッチセンサデータを生成する段階は、前記タッチセンサデータを平滑化する段階を含む、請求項１から３のいずれか一項に記載の方法。
  5. 以前のタッチセンサデータを受信する段階と、
    前記ディスプレイリフレッシュ通知より前の以前のディスプレイリフレッシュ通知を受信する段階と、
    をさらに含み、前記以前のタッチセンサデータは、前記以前のディスプレイリフレッシュ通知の受信より前に受信され、前記調整されたタッチセンサデータを生成する段階は、前記タッチセンサデータを前記以前のタッチセンサデータで平均化する段階を含む、請求項１から４のいずれか一項に記載の方法。
  6. 表示サブシステムに、ディスプレイのリフレッシュレートを変更するよう通知する段階をさらに含む、請求項１から５のいずれか一項に記載の方法。
  7. 前記オペレーティングシステムまたは前記モバイルコンピューティングデバイス上で実行されるアプリケーションにより、前記調整されたタッチセンサデータに基づいてフレーム情報を生成する段階と、
    前記フレーム情報に基づいて新たなフレームを生成する段階と、
    前記新たなフレームを表示するため、ディスプレイをリフレッシュする段階と、
    さらに含む、請求項１から６のいずれか一項に記載の方法。
  8. タッチディスプレイコントローラからタッチセンサデータを受信し、
    ディスプレイリフレッシュ通知を受信し、
    前記ディスプレイリフレッシュ通知の受信に応じて、
    前記タッチセンサデータに基づいて、調整されたタッチセンサデータを生成し、
    前記調整されたタッチセンサデータをホスト処理ユニットに送信する、
    ように回路機構を備える装置であって、
    前記装置は、モバイルコンピューティングデバイスのリッド内で使用される、
    装置。
  9. 前記タッチセンサデータは、タッチ位置データを含み、前記調整されたタッチセンサデータを生成することは、前記タッチ位置データに基づいて、調整されたタッチ位置データを生成することを含み、前記調整されたタッチセンサデータは、前記調整されたタッチ位置データを含む、請求項８に記載の装置。
  10. 前記タッチセンサデータは、タッチ強度データを含み、前記調整されたタッチセンサデータを生成することは、前記タッチ強度データに基づいて、調整されたタッチ強度データを生成することを含み、前記調整されたタッチセンサデータは、前記調整されたタッチ強度データを含む、請求項８または９に記載の装置。
  11. 前記調整されたタッチセンサデータを生成することは、前記タッチセンサデータを前回のディスプレイリフレッシュよりも前に受信されたタッチセンサデータで平均化することを含む、請求項８から１０のいずれか一項に記載の装置。
  12. 前記回路機構はさらに、表示サブシステムに、ディスプレイのリフレッシュレートを増加させるよう通知する、請求項８から１１のいずれか一項に記載の装置。
  13. 前記回路機構はさらに、表示サブシステムに、ディスプレイのリフレッシュレートを最大リフレッシュレートまで増加させるよう通知する、請求項８から１２のいずれか一項に記載の装置。
  14. 前記回路機構はさらに、前記タッチセンサデータの受信に応じて、前記表示サブシステムに通知する、請求項１２または１３に記載の装置。
  15. オペレーティングシステムを実行する１または複数のホスト処理ユニットを含むベースと、
    前記ベースに回転可能に結合されたリッドであって、
    タッチディスプレイと、
    タッチディスプレイコントローラと、
    前記タッチディスプレイをリフレッシュする表示サブシステムと、
    回路機構であって、
    前記タッチディスプレイコントローラからタッチセンサデータを受信し、
    前記表示サブシステムからディスプレイリフレッシュ通知を受信し、
    前記ディスプレイリフレッシュ通知の受信に応じて、
    前記タッチセンサデータに基づいて、調整されたタッチセンサデータを生成し、
    前記調整されたタッチセンサデータを前記オペレーティングシステムに送信する、回路機構と、
    を含むリッドと、
    を備えるモバイルコンピューティングデバイス。
  16. 前記タッチセンサデータは、タッチ位置データを含み、前記調整されたタッチセンサデータを生成することは、前記タッチ位置データに基づいて、調整されたタッチ位置データを生成することを含み、前記調整されたタッチセンサデータは、前記調整されたタッチ位置データを含む、請求項１５に記載のモバイルコンピューティングデバイス。
  17. 前記タッチセンサデータは、タッチ強度データを含み、前記調整されたタッチセンサデータを生成することは、前記タッチ強度データに基づいて、調整されたタッチ強度データを生成することを含み、前記調整されたタッチセンサデータは、前記調整されたタッチ強度データを含む、請求項１５または１６に記載のモバイルコンピューティングデバイス。
  18. 前記回路機構はさらに、
    以前のタッチセンサデータを受信し、
    前記ディスプレイリフレッシュ通知より前の以前のディスプレイリフレッシュ通知を受信し、前記以前のタッチセンサデータは、前記以前のディスプレイリフレッシュ通知の受信より前に受信され、前記調整されたタッチセンサデータを生成することは、前記タッチセンサデータを前記以前のタッチセンサデータで平均化することを含む、請求項１５から１７のいずれか一項に記載のモバイルコンピューティングデバイス。
  19. 前記回路機構はさらに、前記表示サブシステムに、ディスプレイのリフレッシュレートを変更するよう通知する、請求項１５から１８のいずれか一項に記載のモバイルコンピューティングデバイス。
  20. 前記回路機構はさらに、前記タッチセンサデータの受信に応じて、前記表示サブシステムに通知する、請求項１５から１９のいずれか一項に記載のモバイルコンピューティングデバイス。
  21. 前記表示サブシステムはタイミングコントローラを含む、請求項１５から２０のいずれか一項に記載のモバイルコンピューティングデバイス。
  22. 前記１または複数のホスト処理ユニットは、アプリケーションを実行し、前記オペレーティングシステムは、前記調整されたタッチセンサデータを前記アプリケーションに提供する、請求項１５から２１のいずれか一項に記載のモバイルコンピューティングデバイス。
  23. 前記オペレーティングシステムまたは前記アプリケーションは、前記調整されたタッチセンサデータに基づいてフレーム情報を生成し、前記オペレーティングシステムは、前記フレーム情報に基づいて新たなフレームを生成し、前記表示サブシステムはさらに、
    前記ベースからビデオデータを受信し、
    前記タッチディスプレイを前記新たなフレームでリフレッシュさせる、請求項２２に記載のモバイルコンピューティングデバイス。
  24. オペレーティングシステムを実行する１または複数のホスト処理ユニットを含むベースと、
    前記ベースに回転可能に結合されたリッドであって、
    タッチディスプレイと、
    タッチディスプレイコントローラと、
    前記タッチディスプレイをリフレッシュする表示サブシステムと、
    前記タッチディスプレイコントローラから受信されたタッチセンサデータを調整し、前記タッチディスプレイのリフレッシュレートと同期して、前記オペレーティングシステムに前記調整されたタッチセンサデータを送信するためのタッチセンサデータ調整手段と、
    を含むリッドと、
    を備えるモバイルコンピューティングデバイス。
  25. 前記１または複数のホスト処理ユニットは、アプリケーションを実行し、前記オペレーティングシステムまたは前記アプリケーションは、前記調整されたタッチセンサデータに基づいてフレーム情報を生成し、前記オペレーティングシステムは、前記フレーム情報に基づいて新たなフレームを生成し、前記表示サブシステムはさらに、
    前記ベースからビデオデータを受信し、
    前記タッチディスプレイを前記新たなフレームでリフレッシュさせる、請求項２４に記載のモバイルコンピューティングデバイス。
JP2021131913A 2020-08-18 2021-08-13 タッチ体験向上のためのリッドコントローラハブアーキテクチャ Pending JP2022034538A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202063067071P 2020-08-18 2020-08-18
US63/067,071 2020-08-18
US17/134,396 2020-12-26
US17/134,396 US11789565B2 (en) 2020-08-18 2020-12-26 Lid controller hub architecture for improved touch experiences

Publications (1)

Publication Number Publication Date
JP2022034538A true JP2022034538A (ja) 2022-03-03

Family

ID=76942931

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021131913A Pending JP2022034538A (ja) 2020-08-18 2021-08-13 タッチ体験向上のためのリッドコントローラハブアーキテクチャ

Country Status (5)

Country Link
US (1) US11789565B2 (ja)
EP (1) EP3958101A1 (ja)
JP (1) JP2022034538A (ja)
KR (1) KR20220022465A (ja)
CN (1) CN114077320A (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11481022B2 (en) * 2017-08-18 2022-10-25 Hewlett-Packard Development Company, L.P. Motion based power states
US11662695B2 (en) 2019-10-11 2023-05-30 Dell Products L.P. Information handling system infrared proximity detection with distance reduction detection
US11435447B2 (en) 2019-10-11 2022-09-06 Dell Products L.P. Information handling system proximity sensor with mechanically adjusted field of view
US11435475B2 (en) 2019-10-11 2022-09-06 Dell Products L.P. Information handling system infrared proximity detection with frequency domain modulation
US11513813B2 (en) 2020-01-31 2022-11-29 Dell Products L.P. Information handling system notification presentation based upon user presence detection
US11334146B2 (en) * 2020-01-31 2022-05-17 Dell Products L.P. Information handling system peripheral enhanced user presence detection
US11663343B2 (en) 2020-01-31 2023-05-30 Dell Products L.P. Information handling system adaptive user presence detection
US11244654B2 (en) * 2020-06-19 2022-02-08 Intel Corporation Display control apparatus and method for a display based on information indicating presence or engagement of the user of the display
US20230176643A1 (en) * 2020-06-23 2023-06-08 Hewlett-Packard Development Company, L.P. Touch based computing devices
TW202203048A (zh) * 2020-07-10 2022-01-16 日商索尼半導體解決方案公司 通信裝置及通信方法、以及程式
US11782149B2 (en) * 2021-01-08 2023-10-10 Google Llc Systems and methods for managing motion detection of an electronic device, and associated electronic devices
CN115390687A (zh) * 2021-05-21 2022-11-25 荣耀终端有限公司 一种显示屏控制方法及电子设备
EP4099130A1 (en) 2021-06-04 2022-12-07 INTEL Corporation Power management of a processor and a platform in active state and low power state
CN113570033B (zh) * 2021-06-18 2023-04-07 北京百度网讯科技有限公司 神经网络处理单元、神经网络的处理方法及其装置
US11783799B2 (en) * 2021-06-29 2023-10-10 Ati Technologies Ulc Display engine initiated prefetch to system cache to tolerate memory long blackout
US11714473B2 (en) * 2021-06-30 2023-08-01 Synaptics Incorporated Closure detection for foldable devices
US20230115702A1 (en) * 2021-10-10 2023-04-13 Dell Products L.P. System Event Classification for a Multi-Way Information Handling System Architecture
CN116339658A (zh) * 2021-12-23 2023-06-27 联想(北京)有限公司 电子设备
US20230282151A1 (en) * 2022-03-02 2023-09-07 Intel Corporation Dynamic allocation of display pipes to external displays
US20240272748A1 (en) * 2022-04-21 2024-08-15 Nanjing Boe Display Technology Co., Ltd Display control method, display device and readable storage medium
US12087254B2 (en) * 2022-09-07 2024-09-10 Lenovo (Singapore) Pte. Ltd. Computing devices, computer-readable medium, and methods for reducing power consumption during video rendering
US20240152198A1 (en) * 2022-11-03 2024-05-09 Lenovo (Singapore) Pte. Ltd. Method and system for indicating system state in camera-under-display configurations
JP7488383B1 (ja) * 2023-02-15 2024-05-21 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、及び制御方法

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001350549A (ja) 2000-06-08 2001-12-21 Hitachi Ltd 表示画面の省電力制御方法、記録媒体
US8681098B2 (en) 2008-04-24 2014-03-25 Oblong Industries, Inc. Detecting, representing, and interpreting three-space input: gestural continuum subsuming freespace, proximal, and surface-contact modes
EP2247999A1 (en) 2008-01-25 2010-11-10 Sensitive Object Touch-sensitive panel
US20100079508A1 (en) 2008-09-30 2010-04-01 Andrew Hodge Electronic devices with gaze detection capabilities
CN101754466B (zh) * 2008-12-10 2012-09-05 运软网络科技(上海)有限公司 移动虚拟化的基础设施以及基础平台
JP4615053B2 (ja) 2009-03-04 2011-01-19 株式会社ナナオ 表示システム、表示制御装置及びコンピュータプログラム
US8386800B2 (en) 2009-12-04 2013-02-26 Cryptography Research, Inc. Verifiable, leak-resistant encryption and decryption
US9335793B2 (en) 2011-01-31 2016-05-10 Apple Inc. Cover attachment with flexible display
US8806235B2 (en) 2011-06-14 2014-08-12 International Business Machines Corporation Display management for multi-screen computing environments
US9323379B2 (en) 2011-12-09 2016-04-26 Microchip Technology Germany Gmbh Electronic device with a user interface that has more than two degrees of freedom, the user interface comprising a touch-sensitive surface and contact-free detection means
US9158383B2 (en) 2012-03-02 2015-10-13 Microsoft Technology Licensing, Llc Force concentrator
US9093050B1 (en) 2012-03-21 2015-07-28 Amazon Technologies, Inc. Determining when to delay sending updates to a display device
KR101349406B1 (ko) 2012-05-15 2014-01-09 엘지이노텍 주식회사 디스플레이장치 및 이의 절전 방법
US9317721B2 (en) 2012-10-31 2016-04-19 Google Inc. Privacy aware camera and device status indicator system
US9927902B2 (en) 2013-01-06 2018-03-27 Intel Corporation Method, apparatus, and system for distributed pre-processing of touch data and display region control
US9465276B2 (en) 2013-07-06 2016-10-11 Karl S Jonsson Webcam privacy shield
US9601085B2 (en) 2013-09-20 2017-03-21 Synaptics Incorporated Device and method for synchronizing display and touch controller with host polling
US9727134B2 (en) 2013-10-29 2017-08-08 Dell Products, Lp System and method for display power management for dual screen display device
US20150215535A1 (en) 2014-01-24 2015-07-30 Kazuki Takahashi Restriction System
US20150242038A1 (en) * 2014-02-24 2015-08-27 Toshiba Global Commerce Solutions Holdings Corporation Filter module to direct audio feedback to a plurality of touch monitors
US9354744B2 (en) 2014-06-09 2016-05-31 Sony Corporation Adaptive touch panel synchronization
JP6324923B2 (ja) * 2015-04-24 2018-05-16 株式会社ニフコ 車両用収納装置
KR101760092B1 (ko) 2016-05-09 2017-07-21 주식회사에스에이티 하드웨어 보안모듈을 이용한 cctv 보안강화 장치 및 그 방법
CN106020871A (zh) * 2016-05-11 2016-10-12 青岛海信移动通信技术股份有限公司 一种移动设备的屏幕启动方法和装置
US10687184B2 (en) 2016-05-13 2020-06-16 Google Llc Systems, methods, and devices for utilizing radar-based touch interfaces
US10474277B2 (en) * 2016-05-31 2019-11-12 Apple Inc. Position-based stylus communication
US10042421B2 (en) 2016-08-24 2018-08-07 Disney Enterprises, Inc. System and method of latency-aware rendering of a focal area of an animation
US10311548B2 (en) 2017-09-05 2019-06-04 Microsoft Technology Licensing, Llc Scaling render targets to a higher rendering resolution to display higher quality video frames
US10817018B1 (en) * 2019-04-29 2020-10-27 Apple Inc. Electronic devices with ambient light sensors and emissive displays
CN110502153B (zh) 2019-08-30 2022-11-11 Oppo（重庆）智能科技有限公司 触摸屏报点率的调整方法、触摸屏、电子设备及存储介质
US11733761B2 (en) 2019-11-11 2023-08-22 Intel Corporation Methods and apparatus to manage power and performance of computing devices based on user presence

Also Published As

Publication number Publication date
EP3958101A1 (en) 2022-02-23
US11789565B2 (en) 2023-10-17
CN114077320A (zh) 2022-02-22
KR20220022465A (ko) 2022-02-25
US20210132769A1 (en) 2021-05-06

Similar Documents

Publication Publication Date Title
JP2022034538A (ja) タッチ体験向上のためのリッドコントローラハブアーキテクチャ
EP3958161A1 (en) Lid controller hub
CN110045908B (zh) 一种控制方法和电子设备
WO2021227770A1 (zh) 应用窗口显示方法和电子设备
EP4064690A1 (en) Technologies for video conferencing
US9842549B2 (en) System and method for coordinating image capture in a camera hidden behind a display device
KR101951729B1 (ko) 터치 데이터의 분산된 전처리와 디스플레이 영역 제어를 위한 방법, 장치, 및 시스템
US20180329523A1 (en) Automatic selection of a wireless connectivity protocol for an input device
TWI516099B (zh) 用以降低平台電力之帶有延遲期間的視訊串流之手勢前置處理技術
CN108900770A (zh) 一种控制摄像头旋转的方法、装置、智能手表及移动终端
US10474324B2 (en) Uninterruptable overlay on a display
US20220114126A1 (en) Technologies for a controller hub with a usb camera
US20210096802A1 (en) Device manager that utilizes physical position of display devices
CN116343716A (zh) 用于显示器上的低功率选择性帧更新的技术
CN115562771B (zh) 应用窗口管理方法、电子设备和计算机可读取存储介质
WO2022213831A1 (zh) 一种控件显示方法及相关设备
US20220114985A1 (en) Technologies for selective frame update on a display
WO2022247614A1 (zh) 一种多界面显示的方法和电子设备
WO2022228043A1 (zh) 显示方法、电子设备、存储介质和程序产品
WO2022143094A1 (zh) 一种窗口页面的交互方法、装置、电子设备以及可读存储介质
WO2023061054A1 (zh) 非接触式手势控制方法和电子设备
WO2023231893A1 (zh) 光标显示的方法及电子设备
WO2023098417A1 (zh) 一种界面显示方法以及装置
CN118055185A (zh) 页面显示方法、装置、设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240806