CN116546281A - 一种投屏方法、系统、投屏源设备和屏幕设备 - Google Patents
一种投屏方法、系统、投屏源设备和屏幕设备 Download PDFInfo
- Publication number
- CN116546281A CN116546281A CN202210092394.2A CN202210092394A CN116546281A CN 116546281 A CN116546281 A CN 116546281A CN 202210092394 A CN202210092394 A CN 202210092394A CN 116546281 A CN116546281 A CN 116546281A
- Authority
- CN
- China
- Prior art keywords
- screen
- data
- brightness
- recognition result
- throwing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 95
- 230000009467 reduction Effects 0.000 claims abstract description 65
- 230000006870 function Effects 0.000 claims abstract description 35
- 238000005266 casting Methods 0.000 claims description 52
- 230000005540 biological transmission Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 230000008447 perception Effects 0.000 abstract description 9
- 238000004891 communication Methods 0.000 description 86
- 230000006854 communication Effects 0.000 description 86
- 238000012545 processing Methods 0.000 description 55
- 238000010586 diagram Methods 0.000 description 16
- 238000007726 management method Methods 0.000 description 15
- 230000006835 compression Effects 0.000 description 14
- 238000007906 compression Methods 0.000 description 14
- 230000005236 sound signal Effects 0.000 description 13
- 238000010295 mobile communication Methods 0.000 description 12
- 210000000988 bone and bone Anatomy 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 210000004027 cell Anatomy 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 229920001621 AMOLED Polymers 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 2
- 230000036772 blood pressure Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000002096 quantum dot Substances 0.000 description 2
- 230000011664 signaling Effects 0.000 description 2
- 208000008918 voyeurism Diseases 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 238000011217 control strategy Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 239000010985 leather Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000002138 osteoinductive effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000010349 pulsation Effects 0.000 description 1
- 238000010791 quenching Methods 0.000 description 1
- 230000000171 quenching effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
- 230000002618 waking effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
- H04N21/4436—Power management, e.g. shutting down unused components of the receiver
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
- H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
- H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
本发明实施例提供的一种投屏方法、系统、投屏源设备和屏幕设备的技术方案中，所述系统包括：投屏源设备，用于向屏幕设备发送投屏数据，屏幕设备包括屏幕、摄像头和具有图像识别功能的微处理器，投屏源设备和屏幕设备无线连接；屏幕设备，用于获取当前环境的图像数据，根据图像数据得到识别结果，识别结果用于指示用户使用屏幕设备的状态，并将识别结果发送至投屏源设备；投屏源设备，用于根据识别结果执行降功耗操作；当识别结果不包括人脸的持续时间大于第一阈值，投屏数据包括视频数据时，降功耗操作包括投屏源设备停止发送视频数据以及向屏幕设备发送用于关闭屏幕的指令或者调低屏幕亮度的指令，能够在无线投屏场景中基于智慧感知实现降功耗。
Description
【技术领域】
本发明涉及计算机技术领域，尤其涉及一种投屏方法、系统、投屏源设备和屏幕设备。
【背景技术】
目前的无线投屏系统包括投屏源端和屏幕端。投屏是指投屏源端将通过计算得到或者从服务器或者从其他计算设备处获取的投屏数据发送至屏幕端，屏幕端根据投屏数据对画面进行渲染并通过屏幕进行显示，当投屏数据包括音频数据时，屏幕端控制扬声器播放音频。
在无线投屏场景中，投屏数据的无线传输与屏幕显示会占用较大功耗，需要解决降功耗的问题。
【发明内容】
有鉴于此，本发明实施例提供了一种投屏方法、系统、投屏源设备和屏幕设备，能够在无线投屏场景中基于智慧感知实现降功耗。
第一方面，本发明实施例提供了一种投屏方法，应用于投屏源设备，所述投屏源设备用于向屏幕设备发送投屏数据，所述投屏源设备和所述屏幕设备无线连接，所述方法包括：
接收来自所述屏幕设备的第一识别结果，所述第一识别结果用于指示用户使用所述屏幕设备的状态；
根据所述第一识别结果执行降功耗操作，
当所述第一识别结果不包括人脸的持续时间大于第一阈值，所述投屏数据包括第一图像数据时，所述降功耗操作包括控制所述投屏源设备停止发送所述第一图像数据，控制所述屏幕设备关闭屏幕或者调低所述屏幕的亮度。
本发明实施例在音视频场景，当用户长时间不在位时，通过控制投屏源设备停止发送第一图像数据，控制屏幕设备关闭屏幕或者调低屏幕的亮度实现降功耗。
结合第一方面，在第一方面的某些实现方式中，当所述第一识别结果包括人脸、人眼未注视屏幕的持续时间大于第二阈值，所述投屏数据包括所述第一图像数据时，所述降功耗操作包括控制所述投屏源设备停止发送所述第一图像数据，控制所述屏幕设备关闭所述屏幕或者调低所述屏幕的亮度。
本发明实施例在音视频场景，当用户在位但人眼短时间未注视屏幕时，通过控制投屏源设备停止发送第一图像数据，控制屏幕设备关闭屏幕或者调低屏幕的亮度实现降功耗。
结合第一方面，在第一方面的某些实现方式中，当所述第一识别结果包括人脸、人眼未注视屏幕的持续时间大于第二阈值，所述投屏数据不包括所述第一图像数据和音频数据时，所述降功耗操作包括控制所述投屏源设备停止发送所述投屏数据，控制所述屏幕设备关闭所述屏幕或者调低所述屏幕的亮度。
本发明实施例在非音视频场景，当用户在位但人眼短时间未注视屏幕时，通过控制投屏源设备停止发送投屏数据，控制屏幕设备关闭屏幕或者调低屏幕的亮度实现降功耗。
结合第一方面，在第一方面的某些实现方式中，当所述第一识别结果包括人脸、人眼未注视屏幕的持续时间大于第三阈值，所述投屏数据包括所述第一图像数据和音频数据时，所述降功耗操作包括控制所述投屏源设备停止发送所述第一图像数据，控制所述屏幕设备关闭所述屏幕或者调低所述屏幕的亮度。
本发明实施例在音视频场景，当用户在位但人眼长时间未注视屏幕时，通过控制投屏源设备停止发送第一图像数据，控制屏幕设备关闭屏幕或者调低屏幕的亮度实现降功耗。
结合第一方面，在第一方面的某些实现方式中，当所述第一识别结果不包括人脸的持续时间大于第一阈值，所述投屏数据不包括所述第一图像数据和音频数据时，所述降功耗操作包括控制投屏源设备进入睡眠模式，控制所述屏幕设备关闭所述屏幕或者调低所述屏幕的亮度。
本发明实施例在非音视频场景，当用户长时间离位时，通过控制投屏源设备进入睡眠模式，控制屏幕设备关闭屏幕或者调低屏幕的亮度实现降功耗。
结合第一方面，在第一方面的某些实现方式中，当所述识别结果包括人脸、人眼未注视屏幕的持续时间大于第三阈值，所述投屏数据不包括所述第一图像数据和音频数据时，所述降功耗操作包括控制投屏源设备进入睡眠模式，控制所述屏幕设备关闭所述屏幕或者调低所述屏幕的亮度。
本发明实施例在非音视频场景，当用户在位但人眼长时间未注视屏幕时，通过控制投屏源设备进入睡眠模式，控制屏幕设备关闭屏幕或者调低屏幕的亮度实现降功耗。
结合第一方面，在第一方面的某些实现方式中，所述投屏数据还包括音频数据，所述方法还包括：维持发送所述音频数据。
本发明实施例在音视频场景，投屏源设备维持发送音频数据，以使屏幕设备持续播放音频。
结合第一方面，在第一方面的某些实现方式中，当所述降功耗操作包括控制所述屏幕设备调低所述屏幕的亮度时，所述降功耗操作还包括控制所述屏幕设备显示固定画面。
本发明实施例中，屏幕设备调低屏幕亮度时，显示固定画面，实现降功耗。
结合第一方面，在第一方面的某些实现方式中，所述根据所述第一识别结果执行降功耗操作之后，所述方法还包括：
接收来自所述屏幕设备的第二识别结果，所述第二识别结果在所述第一识别结果之后；
当所述第二识别结果包括人脸时，控制所述投屏源设备继续发送所述第一图像数据以及控制所述屏幕设备打开所述屏幕或者使所述屏幕恢复正常亮度。
本发明实施例在音视频场景，当用户长时间不在位，投屏源设备执行降功耗操作之后，用户重新在位时，投屏源设备继续发送第一图像数据，屏幕设备打开屏幕或者使屏幕恢复正常亮度。
结合第一方面，在第一方面的某些实现方式中，所述根据所述识别结果执行降功耗操作之后，所述方法还包括：
接收来自所述屏幕设备的第二识别结果，所述第二识别结果在所述第一识别结果之后；
当所述第二识别结果包括人脸、人眼注视屏幕时，控制所述投屏源设备继续发送所述第一图像数据以及控制所述屏幕设备打开所述屏幕或者使所述屏幕恢复正常亮度。
本发明实施例，当用户在位但人眼短时间或长时间未注视屏幕，投屏源设备执行降功耗操作之后，人眼重新注视屏幕时，投屏源设备继续发送第一图像数据，屏幕设备打开屏幕或者使屏幕恢复正常亮度。
结合第一方面，在第一方面的某些实现方式中，所述根据所述识别结果执行降功耗操作之后，所述方法还包括：
接收来自所述屏幕设备的第二识别结果，所述第二识别结果在所述第一识别结果之后；
当所述第二识别结果包括人脸时，控制所述投屏源设备唤醒系统并控制所述屏幕设备打开所述屏幕或者使所述屏幕恢复正常亮度。
本发明实施例在非音视频场景，当用户长时间离位，投屏源设备执行降功耗操作之后，用户重新在位时，投屏源设备唤醒系统，屏幕设备打开屏幕或者使屏幕恢复正常亮度。
结合第一方面，在第一方面的某些实现方式中，所述根据所述识别结果执行降功耗操作之后，所述方法还包括：
接收来自所述屏幕设备的第二识别结果，所述第二识别结果在所述第一识别结果之后；
当所述第二识别结果包括人脸、人眼注视屏幕时，控制所述投屏源设备唤醒系统并控制所述屏幕设备打开所述屏幕或者使所述屏幕恢复正常亮度。
本发明实施例在非音视频场景，当用户在位但人眼长时间未注视屏幕，投屏源设备执行降功耗操作之后，人眼重新注视屏幕时，投屏源设备唤醒系统，屏幕设备打开屏幕或者使屏幕恢复正常亮度。
结合第一方面，在第一方面的某些实现方式中，所述投屏源设备包括处理器。
第二方面，本发明实施例提供了一种投屏方法，应用于屏幕设备，所述屏幕设备包括屏幕、摄像头和具有图像识别功能的处理器，所述屏幕设备用于接收投屏源设备发送的投屏数据，所述屏幕设备和所述投屏源设备无线连接，所述方法包括：
获取当前环境的第二图像数据；
根据所述第二图像数据得到第一识别结果，所述第一识别结果用于指示用户使用所述屏幕设备的状态；
将所述第一识别结果发送至所述投屏源设备；
当所述第一识别结果不包括人脸的持续时间大于第一阈值，所述投屏数据包括图像数据时，关闭所述屏幕或者调低所述屏幕的亮度。
结合第二方面，在第二方面的某些实现方式中，当所述第一识别结果包括人脸、人眼未注视屏幕的持续时间大于第二阈值，所述投屏数据包括所述第一图像数据时，所述方法还包括：关闭所述屏幕或者调低所述屏幕的亮度。
结合第二方面，在第二方面的某些实现方式中，当所述第一识别结果包括人脸、人眼未注视屏幕的持续时间大于第二阈值，所述投屏数据不包括所述第一图像数据和音频数据时，所述方法还包括：关闭所述屏幕或者调低所述屏幕的亮度。
结合第二方面，在第二方面的某些实现方式中，当所述第一识别结果包括人脸、人眼未注视屏幕的持续时间大于第三阈值，所述投屏数据不包括所述第一图像数据和音频数据时，所述方法还包括：关闭所述屏幕或者调低所述屏幕的亮度。
结合第二方面，在第二方面的某些实现方式中，当所述第一识别结果不包括人脸的持续时间大于第一阈值，所述投屏数据不包括所述第一图像数据和音频数据时，所述方法还包括关闭所述屏幕或者调低所述屏幕的亮度。
结合第二方面，在第二方面的某些实现方式中，当所述识别结果包括人脸、人眼未注视屏幕的持续时间大于第三阈值，所述投屏数据不包括所述第一图像数据和音频数据时，所述方法还包括：关闭所述屏幕或者调低所述屏幕的亮度。
结合第二方面，在第二方面的某些实现方式中，所述投屏数据还包括音频数据，所述方法还包括：持续接收所述音频数据。
结合第二方面，在第二方面的某些实现方式中，若所述屏幕设备调低所述屏幕的亮度，所述方法还包括：显示固定画面。
结合第二方面，在第二方面的某些实现方式中，所述关闭所述屏幕或者调低所述屏幕的亮度之后，还包括：
将第二识别结果发送至所述投屏源设备，所述第二识别结果在所述第一识别结果之后；
当所述第二识别结果包括人脸时，打开所述屏幕或者恢复所述屏幕的亮度。
结合第二方面，在第二方面的某些实现方式中，所述关闭所述屏幕或者调低所述屏幕的亮度之后，还包括：
将第二识别结果发送至所述投屏源设备，所述第二识别结果在所述第一识别结果之后；
当所述第二识别结果包括人脸、人眼注视屏幕时，打开所述屏幕或者恢复所述屏幕的亮度。
第三方面，本发明实施例提供了一种投屏系统，所述系统包括：如上述第一方面任一项所述的投屏源设备和如上述第二方面任一项所述的屏幕设备。
第四方面，本发明实施例提供了一种投屏源设备，所述投屏源设备用于向屏幕设备发送投屏数据，所述投屏源设备和所述屏幕设备无线连接；所述投屏源设备包括处理器和存储器，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，当所述处理器运行所述程序指令时，使所述投屏源设备执行如上述第一方面任一项所述方法的步骤。
第五方面，本发明实施例提供了一种屏幕设备，包括屏幕、摄像头、具有图像识别功能的处理器和存储器，所述投屏源设备用于接收投屏源设备发送的投屏数据，所述屏幕设备和所述投屏源设备无线连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，当所述处理器运行所述程序指令时，使所述屏幕设备执行如上述第二方面任一项所述方法的步骤。
第六方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，当所述程序请求被计算机运行时使所述计算机执行如上述第一方面任一项或者如上述第二方面任一项所述的方法。
本发明实施例提供的投屏方法、系统、投屏源设备和屏幕设备的技术方案中，所述系统包括：投屏源设备，用于向屏幕设备发送投屏数据，屏幕设备包括屏幕、摄像头和具有图像识别功能的微处理器，投屏源设备和屏幕设备无线连接；屏幕设备，用于获取当前环境的图像数据，根据图像数据得到识别结果，识别结果用于指示用户使用屏幕设备的状态，并将识别结果发送至投屏源设备；投屏源设备，用于根据识别结果执行降功耗操作；当识别结果不包括人脸的持续时间大于第一阈值，投屏数据包括视频数据时，降功耗操作包括投屏源设备停止发送视频数据以及向屏幕设备发送用于关闭屏幕的指令或者调低屏幕亮度的指令，能够在无线投屏场景中基于智慧感知实现降功耗。
【附图说明】
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的一种投屏系统的架构图；
图2为音视频场景下用户长时间离位以及重新在位时投屏系统状态变化的示意图；
图3为非音视频场景下用户长时间离位以及重新在位时投屏系统状态变化的示意图；
图4为音视频场景下用户短时间未注视屏幕、长时间未注视屏幕以及重新注视屏幕时投屏系统状态变化的示意图；
图5为非音视频场景下用户短时间未注视屏幕、长时间未注视屏幕以及重新注视屏幕时投屏系统状态变化的示意图；
图6为本发明实施例提供的一种投屏方法的信令交互图；
图7为本发明实施例提供的一种投屏方法的流程图；
图8为图7中投屏源设备根据识别结果判断人眼是否注视屏幕执行降功耗操作的流程图；
图9为本发明实施例提供的一种投屏源设备的结构示意图；
图10为本发明实施例提供的一种屏幕设备的结构示意图；
图11为本发明实施例提供的一种电子设备的结构示意图。
【具体实施方式】
为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，甲和/或乙，可以表示：单独存在甲，同时存在甲和乙，单独存在乙这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
Always On智慧感知技术是指感知类器件工作在Always On状态，利用感知类器件对用户状态进行实时检测，识别是否有人脸、是否人眼注视屏幕、是否存在手势操作等，根据识别结果对设备进行智能控制(比如靠近唤醒、注视不熄屏或者隔空手势等)，给用户带来更加智慧的使用体验。
例如，感知类器件可以通过摄像头(camera)、飞行时间法(Time of flight，ToF)或者超声波等对用户状态进行实时检测。
在一种相关技术中，投屏系统包括屏幕端和键盘端，屏幕端和键盘端通过转轴连接。键盘端包括第一处理器；屏幕端包括摄像头、屏幕和具有图像识别功能的第二处理器。摄像头获取当前环境的图像数据。第二处理器对图像数据进行图像识别得到识别结果，并将识别结果发送至第一处理器。第一处理器根据识别结果实现靠近唤醒、用户在位不熄屏、用户离位熄屏或者多人注视防偷窥等功能，从而基于智慧感知实现降功耗。
在一些实施例中，摄像头可以以低分辨率与低帧率获取图像数据，工作在低功耗状态，能够节省功耗。第二处理器只是将识别结果发送给至第一处理器，图像数据不会流出屏幕端，保证了图像数据的安全性。但是该投屏系统只适用于笔记本形态的个人电脑(Personal Computer，PC)产品，不适用于无线投屏形态产品。
在另一种相关技术中，投屏系统包括屏幕端和键盘端，屏幕端和键盘端通过转轴连接。屏幕端包括摄像头和屏幕；键盘端包括具有图像识别功能的处理器。摄像头获取当前环境的图像数据。处理器用于对图像数据进行图像识别得到识别结果，并根据识别结果实现靠近唤醒、用户在位不熄屏、用户离位熄屏或者多人注视防偷窥等功能，从而基于智慧感知实现降功耗。
其中，摄像头以正常分辨率与正常帧率运行，且基于处理器进行图像识别处理，系统占用与功耗高；图像数据被发送至键盘端的处理器，图像数据可能会被软件后台非法获取，存在安全隐私风险；并且该投屏系统也只适用于笔记本形态的个人电脑(PersonalComputer，PC)产品，不适用于无线投屏形态产品。
综上，在无线投屏场景中，还未实现基于智慧感知降功耗。
基于上述技术问题，本发明实施例提供一种投屏系统。图1为本发明实施例提供的一种投屏系统的架构图。
投屏系统包括屏幕设备10和投屏源设备20，屏幕设备10和投屏源设备20之间无线连接。如图1所示，屏幕设备10包括摄像头11、第二处理器12、第一无线通信模块13和屏幕14。投屏源设备20包括第一处理器21、微处理单元22和第二无线通信模块23。屏幕设备10和投屏源设备20之间通过第一无线通信模块13和第二无线通信模块23实现无线传输。第一处理器21用于将投屏数据发送至微处理单元22。其中，投屏数据包括第一处理器21通过计算得到的数据或者从服务器或者从其他计算设备处获取的数据。微处理单元22用于对投屏数据进行压缩编码后，将压缩编码后的投屏数据发送至第二无线通信模块23。其中，微处理单元22可以是嵌入式神经网络处理器(Neural-network Processing Unit，NPU)，也可以和第一处理器21合成一体。第二无线通信模块23用于将压缩编码后的投屏数据发送至第一无线通信模块13。第一无线通信模块13用于将压缩编码后的投屏数据发送至第二处理器12。第二处理器12用于通过对压缩编码后的投屏数据进行解码得到投屏数据，并根据投屏数据完成送显操作。其中，投屏数据包括处理器通过计算得到的数据或者通过联网从服务器获取的数据。第二处理器12的送显操作包括根据投屏数据对画面进行渲染并通过屏幕14进行显示，当投屏数据包括音频数据时，送显操作还包括控制扬声器播放音频。
投屏源设备20包括具有计算能力的终端设备，例如：主机、手机、平板、笔记本电脑、一体机或者包含处理器的无线键盘等。其中，投屏源设备20的第一处理器21包括中央处理器(Central Processing Unit，CPU)，CPU上运行操作系统产生投屏数据。屏幕设备10包括具有摄像头和图像识别功能的显示设备，例如：手机、平板、笔记本电脑、显示器或者电视等。
其中，第二处理器12具有图像识别功能，第二处理器12能够根据图像数据识别出是否有人脸、人眼是否注视屏幕或者手势操作等。例如，第二处理器12包括人工智能(Artificial Intelligence，AI)处理器，AI处理器的核心包括嵌入式神经网络处理器(Neural-network Processing Unit，NPU)；AI处理器能够低功耗运行图像预处理算法与AI算法以进行图像识别。
在非音视频场景中，投屏数据不包括音频数据和第一图像数据，投屏数据包括用于屏幕14显示桌面、光标和窗口等其中之一或者任意组合的数据，送显操作包括在屏幕14上显示桌面、光标、图标、窗口和画面等其中之一或者任意组合。例如，将手机投屏到笔记本电脑上，笔记本电脑上会显示与手机当前界面对应的画面。例如，将主机与显示器无线连接，在非音视频场景中，显示器上会显示桌面、光标、图标等。
在音视频场景中，投屏数据包括音频数据和/或第一图像数据，例如，将手机上的电视剧投屏到电视上进行观看时，手机向电视发送的投屏数据包括该电视剧的第一图像数据和音频数据，送显操作包括在屏幕14上显示该电视剧的视频，同时播放该电视剧的音频。
如图1所示，摄像头11用于获取当前环境的第二图像数据，并将第二图像数据发送至第二处理器12。第二处理器12还用于对第二图像数据进行图像识别得到第一识别结果，第一识别结果用于指示用户使用屏幕设备10的状态(比如用户在位观看屏幕14时，识别结果包含人脸且人眼注视屏幕14)，并将第一识别结果发送至第一无线通信模块13。第一无线通信模块13还用于将第一识别结果发送至第二无线通信模块23。第二无线通信模块23还用于将第一识别结果发送至微处理单元22。微处理单元22还用于将第一识别结果发送至第一处理器21。第一处理器21还用于根据第一识别结果执行降功耗操作。
在一些实施例中，摄像头11可以以低分辨率与低帧率获取图像数据，工作在低功耗状态，能够节省功耗；屏幕设备10只是将第一识别结果发送给至投屏源设备20，当前环境的第二图像数据不会流出屏幕设备10，保证了第二图像数据的安全性。
本发明实施例中，投屏源设备20通过根据接收到的第一识别结果判断第一识别结果是否包含人脸执行降功耗操作，如图2-图3所示，具体如下：
本发明实施例中，在音视频场景中，当第一识别结果包括人脸且人眼注视屏幕(即用户在位且注视屏幕，摄像头11检测到人脸且人眼注视屏幕)时，投屏源设备20还用于维持发送投屏数据和用于屏幕14显示正常亮度的指令；屏幕设备10还用于持续接收投屏数据，并根据用于屏幕14显示正常亮度的指令，使屏幕14显示正常亮度。如图2所示，用户在位且注视屏幕时，第一识别结果包括人脸且人眼注视屏幕，投屏源设备20正常发送投屏数据和用于屏幕14显示正常亮度的指令，投屏数据包括第一图像数据和音频数据；屏幕设备10根据第一图像数据进行正常画面显示，根据用于屏幕14显示正常亮度的指令显示正常亮度，并根据音频数据进行音频播放。当第一识别结果不包括人脸的持续时间大于第一阈值(即用户长时间不在位，摄像头11检测不到人脸)，投屏数据包括第一图像数据时，降功耗操作包括控制投屏源设备20停止发送第一图像数据，控制屏幕设备10关闭屏幕14或者调低屏幕14的亮度。如图2所示，用户长时间离位，第一识别结果不包括人脸的持续时间大于第一阈值，投屏源设备20停止发送第一图像数据，屏幕设备10关闭屏幕14或者调低屏幕14的亮度。投屏源设备20根据第一识别结果执行降功耗操作之后，投屏源设备20接收屏幕设备发送的第二识别结果，第二识别结果在第一识别结果之后，当第二识别结果包括人脸(即用户重新在位，摄像头11重新检测到人脸)时，投屏源设备20还用于继续发送第一图像数据，屏幕设备10打开屏幕14或者恢复屏幕14的亮度。如图2所示，用户重新在位时，第二识别结果包括人脸，投屏源设备20继续发送第一图像数据，屏幕设备10打开屏幕14或者恢复屏幕14的亮度。
如图2所示，投屏数据还包括音频数据，投屏源设备20还用于维持发送音频数据；屏幕设备10还用于根据音频数据进行音频播放。需要说明的是，当降功耗操作包括控制屏幕设备10调低屏幕14的亮度时，降功耗操作还包括：控制屏幕设备10显示固定画面。例如，固定画面可以包括用户视线离开前的最后一帧视频图像、投屏视频暂停时的视频图像、当前播放视频或者音频的封面图像、用户设置的或者从网络上获取的指定图像等。
例如，用户将平板上的电视剧投屏至具有摄像头和图像识别能力的电视进行观看时，投屏数据包括第一图像数据和音频数据。在用户注视电视的屏幕时，摄像头能够拍摄到包括用户人脸的第二图像数据，并根据第二图像数据得到包括人脸且人眼注视屏幕的第一识别结果，电视将该第一识别结果发送至手机。手机根据该第一识别结果确定用户正在观看屏幕，维持发送投屏数据并控制电视的屏幕显示正常亮度；电视持续接收投屏数据，并根据投屏数据在屏幕上显示该电视剧的画面并进行音频播放。
例如，当用户临时有事离开电视1分钟时，电视根据第二图像数据得到不包括人脸的持续时间小于或者等于5分钟的第一识别结果，电视将该第一识别结果发送至手机。手机根据该第一识别结果控制手机维持发送投屏数据，控制电视的屏幕显示正常亮度；电视持续接收投屏数据，并根据投屏数据在屏幕上显示该电视剧的画面并进行音频播放。
例如，当用户临时有事离开电视超过5分钟时，电视根据图像数据得到不包括人脸的持续时间大于5分钟的识别结果，电视将该识别结果发送至手机。手机根据该第一识别结果控制手机停止发送第一图像数据、维持发送音频数据以及控制电视关闭屏幕或调低屏幕亮度；电视持续接收音频数据以进行音频播放。当电视调低屏幕亮度时，电视的屏幕显示固定画面。
例如，当用户在离开电视超过5分钟之后又回来时，电视的摄像头能够重新拍摄到包括用户人脸的第二图像数据，并根据第二图像数据得到包括人脸的第二识别结果，电视将该第二识别结果发送至手机。手机根据该第二识别结果确定用户重新在位，继续发送第一图像数据并控制电视打开屏幕或恢复屏幕的亮度；电视继续接收第一图像数据、维持接收音频数据，根据第一图像数据在屏幕上显示该电视剧的画面并根据音频数据进行音频播放。
在一些实施例中，当第一识别结果不包括人脸的持续时间大于第四阈值时，第四阈值不同于第一阈值，降功耗操作还包括控制投屏源设备20停止发送音频数据。
本发明实施例中，在非音视频场景中，投屏数据不包括第一图像数据和音频数据，当第一识别结果包括人脸且人眼注视屏幕(即用户在位且注视屏幕，摄像头11检测到人脸且人眼注视屏幕)时，投屏源设备20还用于维持发送投屏数据和用于屏幕14显示正常亮度的指令；屏幕设备10还用于持续接收投屏数据，并根据用于屏幕14显示正常亮度的指令，使屏幕14显示正常亮度。如图3所示，用户在位且注视屏幕时，第一识别结果包括人脸且人眼注视屏幕，投屏源设备20正常发送投屏数据和用于屏幕14显示正常亮度的指令；屏幕设备10根据投屏数据进行正常画面显示，根据用于屏幕14显示正常亮度的指令显示正常亮度。
在一些实施例中，当第一识别结果不包括人脸的持续时间大于第一阈值(即用户长时间不在位，摄像头11检测不到人脸)时，降功耗操作包括控制投屏源设备20进入睡眠模式以及控制屏幕设备10关闭屏幕14。如图3所示，用户长时间离位，第一识别结果不包括人脸的持续时间大于第一阈值，投屏源设备20进入睡眠模式，屏幕设备10关闭屏幕14。投屏源设备20根据第一识别结果执行降功耗操作之后，接收屏幕设备10发送的第二识别结果，当第二识别结果包括人脸(即用户重新在位，摄像头11重新检测到人脸)时，投屏源设备20还用于继续发送投屏数据以及控制屏幕设备10打开屏幕14；屏幕设备10还用于继续接收投屏数据，并打开屏幕14。如图3所示，用户重新在位时，第二识别结果包括人脸，投屏源设备20继续发送投屏数据，并控制屏幕设备10打开屏幕14；屏幕设备10根据投屏数据使屏幕14正常画面显示并显示正常亮度。
在一些实施例中，当第一识别结果不包括人脸的持续时间大于第一阈值(即用户长时间不在位，摄像头11检测不到人脸)时，降功耗操作包括控制投屏源设备20进入睡眠模式以及控制屏幕设备10降低屏幕14的亮度并显示固定画面。投屏源设备20根据第一识别结果执行降功耗操作之后，接收屏幕设备10发送的第二识别结果，当第二识别结果包括人脸(即用户重新在位，摄像头11重新检测到人脸)时，投屏源设备20还用于继续发送投屏数据以及控制屏幕设备10恢复屏幕14的亮度；屏幕设备10还用于继续接收投屏数据，并根据投屏数据使屏幕14正常画面显示。
例如，在非音视频场景中，主机与具有摄像头和图像识别能力的显示器无线连接，主机开机后，显示器的屏幕上会显示桌面、光标、图标等。在用户注视显示器的屏幕时，显示器的摄像头能够拍摄到包括用户人脸的第二图像数据，并根据第二图像数据得到包括人脸且人眼注视屏幕的第一识别结果，显示器将该第一识别结果发送至主机。主机根据该第一识别结果确定用户正在观看屏幕，控制主机维持发送投屏数据并控制显示器的屏幕显示正常亮度；显示器持续接收投屏数据，并根据投屏数据在屏幕上显示与该投屏数据对应的画面。
例如，当用户临时有事离开显示器1分钟时，显示器根据摄像头拍摄的第二图像数据得到不包括人脸的持续时间小于或者等于5分钟的第一识别结果，显示器将该第一识别结果发送至主机。主机根据该第一识别结果控制主机维持发送投屏数据控制显示器的屏幕显示正常亮度；显示器持续接收投屏数据，并根据投屏数据在屏幕上显示与该投屏数据对应的画面。
例如，当用户临时有事离开显示器超过5分钟时，显示器根据摄像头拍摄的第二图像数据得到不包括人脸的持续时间大于5分钟的第一识别结果，显示器将该第一识别结果发送至主机。主机根据该第一识别结果控制主机停止发送投屏数据以及控制显示器关闭屏幕或调低屏幕亮度；当显示器调低屏幕亮度时，显示器显示固定画面。
例如，当用户在离开显示器超过5分钟之后又回来时，显示器的摄像头能够重新拍摄到包括用户人脸的第二图像数据，并根据第二图像数据得到包括人脸的第二识别结果，显示器将该第二识别结果发送至主机。主机根据该第二识别结果确定用户重新在位，控制主机继续发送投屏数据并控制显示器打开屏幕或恢复屏幕的亮度；显示器继续接收投屏数据，根据投屏数据在屏幕上显示与该投屏数据对应的画面。
其中，第一阈值可根据实际情况进行设置，本发明实施例对此不作限定。
本发明实施例中，当第一识别结果包括人脸时，投屏源设备20通过根据接收到的第一识别结果判断第一识别结果中的人眼是否注视屏幕执行降功耗操作，如图4-图5所示，具体如下：
本发明实施例中，在音视频场景中，当第一识别结果包括人脸且人眼注视屏幕(即用户在位且注视屏幕，摄像头11检测到人脸且人眼注视屏幕)时，投屏源设备20还用于维持发送投屏数据控制屏幕14显示正常亮度；屏幕设备10还用于持续接收投屏数据，并根据投屏数据显示正常画面以及播放音频。如图4所示，用户在位且注视屏幕时，第一识别结果包括人脸且人眼注视屏幕，投屏源设备20正常发送投屏数据，屏幕14显示正常亮度的指令，投屏数据包括第一图像数据和音频数据；屏幕设备10根据第一图像数据进行正常画面显示，并根据音频数据进行音频播放。
当第一识别结果包括人脸且人眼未注视屏幕14的持续时间大于第二阈值且小于或者等于第三阈值(即用户短时间未注视屏幕)，投屏数据包括第一图像数据时，降功耗操作包括控制投屏源设备20停止发送第一图像数据以及控制屏幕设备10调低屏幕设备10屏幕14的亮度。如图4所示，用户短时间未注视屏幕，第一识别结果包括人脸且人眼未注视屏幕14的持续时间大于第二阈值且小于或者等于第三阈值，投屏源设备20停止发送第一图像数据，屏幕设备调低屏幕14亮度。投屏数据还包括音频数据，投屏源设备20还用于维持发送音频数据；屏幕设备10还用于根据音频数据进行音频播放。需要说明的是，当降功耗操作包括控制屏幕设备10调低屏幕14亮度时，降功耗操作还包括：控制屏幕设备10显示固定画面。例如，固定画面可以包括用户视线离开前的最后一帧视频图像、投屏视频暂停时的视频图像、当前播放视频或者音频的封面图像、用户设置的或者从网络上获取的指定图像等。在投屏源设备20根据第一识别结果停止发送第一图像数据并控制屏幕设备10调低屏幕14亮度之后，投屏源设备20接收屏幕设备10发送的第二识别结果，当第二识别结果包括人脸且人眼注视屏幕(即用户重新注视屏幕)时，投屏源设备20还用于继续发送第一图像数据以及控制屏幕设备10恢复屏幕14的亮度；屏幕设备10还用于继续接收第一图像数据，根据第一图像数据使屏幕14进行正常画面显示。如图4所示，用户重新注视屏幕时，第二识别结果包括人脸且人眼注视屏幕，投屏源设备20继续发送第一图像数据，屏幕设备10根据第一图像数据使屏幕14正常画面显示并恢复正常亮度。
在一些实施例中，当第一识别结果包括人脸且人眼未注视屏幕14的持续时间大于第二阈值且小于或者等于第三阈值(即用户短时间未注视屏幕)，投屏数据包括第一图像数据时，降功耗操作包括控制投屏源设备20停止发送第一图像数据以及控制屏幕设备10关闭屏幕14。在投屏源设备20根据第一识别结果停止发送第一图像数据并控制屏幕设备10调低屏幕14亮度之后，投屏源设备20接收屏幕设备10发送的第二识别结果，当第二识别结果包括人脸且人眼注视屏幕(即用户重新注视屏幕)时，投屏源设备20还用于继续发送第一图像数据以及控制屏幕设备10打开屏幕14；屏幕设备10还用于继续接收第一图像数据，根据第一图像数据使屏幕14进行正常画面显示。
当第一识别结果包括人脸且人眼未注视屏幕14的持续时间大于第三阈值(即用户长时间未注视屏幕)，投屏数据包括第一图像数据时，降功耗操作包括控制投屏源设备20停止发送第一图像数据以及控制屏幕设备10关闭屏幕14。如图4所示，用户长时间未注视屏幕，第一识别结果包括人脸且人眼未注视屏幕14的持续时间大于第三阈值，投屏源设备20停止发送第一图像数据，并控制屏幕设备10关闭屏幕14。投屏数据还包括音频数据，投屏源设备20还用于维持发送音频数据；屏幕设备10还用于根据音频数据进行音频播放。在投屏源设备20根据第一识别结果停止发送第一图像数据并控制屏幕设备10关闭屏幕14之后，接收屏幕设备发送的第二识别结果，当第二识别结果包括人脸且人眼注视屏幕(即用户重新注视屏幕)时，投屏源设备20还用于继续发送第一图像数据以及控制屏幕设备10打开屏幕14；屏幕设备10还用于继续接收第一图像数据，根据第一图像数据使屏幕14正常画面显示。如图4所示，用户重新注视屏幕时，第二识别结果包括人脸且人眼注视屏幕，投屏源设备20继续发送第一图像数据，屏幕设备10打开屏幕14，并根据第一图像数据使屏幕14正常画面显示并显示正常亮度。
在一些实施例中，当第一识别结果包括人脸且人眼未注视屏幕14的持续时间大于第三阈值(即用户长时间未注视屏幕)，投屏数据包括第一图像数据时，降功耗操作包括控制投屏源设备20停止发送第一图像数据以及控制屏幕设备10调低屏幕14的亮度并显示固定画面。在投屏源设备20根据第一识别结果停止发送第一图像数据并控制屏幕设备10调低屏幕14的亮度并显示固定画面之后，接收屏幕设备发送的第二识别结果，当第二识别结果包括人脸且人眼注视屏幕(即用户重新注视屏幕)时，投屏源设备20还用于继续发送第一图像数据以及控制屏幕设备10恢复屏幕14亮度；屏幕设备10还用于继续接收第一图像数据，根据第一图像数据使屏幕14正常画面显示。
在一些实施例中，当第一识别结果包括人脸且人眼未注视的持续时间大于第五阈值时，第五阈值不同于第三阈值，降功耗操作还包括控制投屏源设备20停止发送音频数据。
本发明实施例中，在非音视频场景中，投屏数据不包括第一图像数据和音频数据，当第一识别结果包括人脸且人眼注视屏幕(即用户在位且注视屏幕，摄像头11检测到人脸且人眼注视屏幕)时，投屏源设备20还用于维持发送投屏数据控制屏幕14显示正常亮度。如图5所示，用户在位且注视屏幕时，投屏源设备20正常发送投屏数据，屏幕设备10根据投屏数据进行正常画面显示，屏幕14显示正常亮度。
当第一识别结果包括人脸且人眼未注视屏幕的持续时间大于第二阈值且小于或者等于第三阈值(即用户短时间未注视屏幕)时，降功耗操作包括控制投屏源设备20停止发送投屏数据以及控制屏幕设备10调低屏幕14的亮度。如图5所示，用户短时间未注视屏幕，投屏源设备20停止发送投屏数据，屏幕设备10调低屏幕14的亮度并显示固定画面在投屏源设备20根据识别结果停止发送投屏数据并控制屏幕设备10调低屏幕14亮度之后，接收屏幕设备10发送的第二识别结果，当第二识别结果包括人脸且人眼注视屏幕(即用户重新注视屏幕)时，投屏源设备20还用于继续发送投屏数据以及控制屏幕设备10恢复屏幕14亮度；屏幕设备10还用于继续接收投屏数据，根据投屏数据使屏幕14进行正常画面显示。如图5所示，用户重新注视屏幕时，投屏源设备20继续发送投屏数据，屏幕14显示正常画面并恢复正常亮度。
在一些实施例中，当第一识别结果包括人脸且人眼未注视屏幕的持续时间大于第二阈值且小于或者等于第三阈值(即用户短时间未注视屏幕)时，降功耗操作包括控制投屏源设备20停止发送投屏数据以及控制屏幕设备10关闭屏幕14。在投屏源设备20根据识别结果停止发送投屏数据并控制屏幕设备10关闭屏幕14之后，接收屏幕设备10发送的第二识别结果，当第二识别结果包括人脸且人眼注视屏幕(即用户重新注视屏幕)时，投屏源设备20还用于继续发送投屏数据以及控制屏幕设备10打开屏幕14亮度。
当第一识别结果包括人脸且人眼未注视屏幕14的持续时间大于第三阈值(即用户长时间未注视屏幕)，降功耗操作包括控制投屏源设备20停止发送投屏数据以及控制屏幕设备10关闭屏幕14。如图5所示，用户长时间未注视屏幕，投屏源设备20进入睡眠模式，屏幕设备10关闭屏幕14。投屏源设备20根据第一识别结果停止发送投屏数据以及控制屏幕设备10关闭屏幕14之后，接收屏幕设备10发送的第二识别结果，当第二识别结果包括人脸且人眼注视屏幕(即用户重新注视屏幕)时，投屏源设备20还用于继续发送投屏数据以及控制屏幕设备10发送打开屏幕14；屏幕设备10还用于继续接收投屏数据，并根据投屏数据使屏幕14正常显示画面。如图5所示，用户重新注视屏幕时，投屏源设备20继续发送投屏数据，屏幕设备10打开屏幕14并根据投屏数据使屏幕14正常画面显示。
在一些实施例中，当第一识别结果包括人脸且人眼未注视屏幕14的持续时间大于第三阈值(即用户长时间未注视屏幕)，降功耗操作包括控制投屏源设备20停止发送投屏数据以及控制屏幕设备10调低屏幕14的亮度并显示固定画面。如图5所示，用户长时间未注视屏幕，投屏源设备20进入睡眠模式，屏幕设备10调低屏幕14的亮度并显示固定画面。投屏源设备20根据第一识别结果停止发送投屏数据以及控制屏幕设备10降低屏幕14亮度之后，接收屏幕设备10发送的第二识别结果，当第二识别结果包括人脸且人眼注视屏幕(即用户重新注视屏幕)时，投屏源设备20还用于继续发送投屏数据以及控制屏幕设备10恢复屏幕14的亮度；屏幕设备10还用于继续接收投屏数据，并根据投屏数据使屏幕14正常显示画面。
其中，第三阈值大于第二阈值。第二阈值和第三阈值可根据实际情况进行设置，本发明实施例对此不作限定。
本发明实施例针对无线投屏式产品，设计了如图1所示的投屏系统，且本发明实施例对投屏传输的控制策略为无线投屏产品所独有，对降低投屏系统功耗有较大收益。
本发明实施例中，投屏数据的无线传输与屏幕显示会占用较大功耗，利用人脸与人眼视线状态的第一识别结果，在用户未注视屏幕或者离位时，非音视频场景下通过使投屏源设备进入睡眠模式且屏幕设备关闭屏幕，或者使投屏源设备停止发送投屏数据且屏幕设备降低屏幕亮度并显示固定画面，从而实现降功耗的收益；音视频场景下通过使投屏源设备停止发送第一图像数据且屏幕设备降低屏幕亮度显示固定画面或关闭屏幕，从而实现降功耗的收益。进一步地，与投屏源设备通过判断第一识别结果中的人眼是否注视屏幕执行降功耗操作相比，投屏源设备通过判断识别结果是否包括人脸执行降功耗，更加快速简化。
基于图1所示的架构图，本发明实施例提供的一种投屏方法的信令交互图。如图6所示，该方法包括：
步骤102、第一处理器将投屏数据发送至微处理单元。
该步骤中，投屏源设备中的第一处理器将投屏数据发送至微处理单元。
其中，投屏数据包括第一处理器通过计算得到的数据或者从服务器或者从其他计算设备处获取的数据。在非音视频场景中，投屏数据不包括音频数据和第一图像数据，投屏数据包括用于屏幕显示桌面、光标和窗口等其中之一或者任意组合的数据。在音视频场景中，投屏数据包括音频数据和第一图像数据，例如，将手机上的电视剧投屏到电视上进行观看时，手机向电视发送的投屏数据包括该电视剧的第一图像数据和音频数据，送显操作包括根据投屏数据对画面进行渲染并通过屏幕进行显示，并控制扬声器播放音频。
步骤104、微处理单元对投屏数据进行压缩编码。
该步骤中，投屏源设备中的微处理单元对投屏数据进行压缩编码。
步骤106、微处理单元将压缩编码后的投屏数据发送至第二无线通信模块。
该步骤中，投屏源设备中的微处理单元将压缩编码后的投屏数据发送至第二无线通信模块。
步骤108、第二无线通信模块将压缩编码后的投屏数据发送至第一无线通信模块。
该步骤中，投屏源设备中的第二无线通信模块将压缩编码后的投屏数据发送至屏幕设备中的第一无线通信模块。第一无线通信模块和第二无线通信模块之间无线连接。
步骤110、第一无线通信模块将压缩编码后的投屏数据发送至第二处理器。
该步骤中，屏幕设备中的第一无线通信模块将压缩编码后的投屏数据发送至第二处理器。
步骤112、第二处理器通过对压缩编码后的投屏数据进行解码得到投屏数据，并根据投屏数据完成送显操作。
该步骤中，屏幕设备中的第二处理器通过对压缩编码后的投屏数据进行解码得到投屏数据，并根据投屏数据完成送显操作。
其中，在非音视频场景中，送显操作包括在屏幕14上显示桌面、光标和窗口等其中之一或者任意组合。在音视频场景中，送显操作包括在屏幕14上显示该电视剧的视频，同时播放该电视剧的音频。
步骤114、摄像头获取当前环境的第二图像数据。
该步骤中，在投屏过程中，屏幕设备的摄像头工作在低功耗状态，以低分辨率与低帧率获取第二图像数据，能够节省功耗。
步骤116、摄像头将第二图像数据发送至第二处理器。
该步骤中，屏幕设备的摄像头将第二图像数据发送至第二处理器。其中，第二处理器具有图像识别功能。
步骤118、第二处理器根据第二图像数据得到第一识别结果，第一识别结果用于指示用户使用所述屏幕设备的状态。
该步骤中，屏幕设备的第二处理器根据第二图像数据得到第一识别结果，第一识别结果用于指示用户使用所述屏幕设备的状态(比如用户在位观看屏幕时，第一识别结果包含人脸且人眼注视屏幕)。
步骤120、第二处理器将第一识别结果发送至第一无线通信模块。
该步骤中，屏幕设备的第二处理器将第一识别结果发送至第一无线通信模块。
步骤122、第一无线通信模块将第一识别结果发送至第二无线通信模块。
该步骤中，屏幕设备的第一无线通信模块将第一识别结果发送至投屏源设备的第二无线通信模块。
步骤124、第二无线通信模块将第一识别结果发送至微处理单元。
该步骤中，投屏源设备的第二无线通信模块将第一识别结果发送至微处理单元。
步骤126、微处理单元将第一识别结果发送至第一处理器。
该步骤中，投屏源设备的微处理单元将第一识别结果发送至第一处理器。
步骤128、第一处理器根据第一识别结果执行降功耗操作。
该步骤中，投屏源设备的第一处理器根据第一识别结果执行降功耗操作。投屏源设备执行降功耗操作的具体工作过程，可以参考前述系统实施例中的对应过程，在此不再赘述。
需要说明的是，步骤114—128在步骤112之后执行。
基于图1所示的架构图，本发明实施例提供的一种投屏方法的流程图。如图7所示，该方法包括：
步骤202、投屏源设备向屏幕设备发送投屏数据。
本发明实施例中，投屏源设备包括具有计算能力的终端设备，例如：主机、手机、平板、一体机或者包含第一处理器的无线键盘等。屏幕设备包括具有摄像头和图像识别功能的显示设备，例如：手机、平板、显示器或者电视等。屏幕设备和投屏源设备之间无线连接。
其中，投屏数据包括第一处理器通过计算得到的数据或者从服务器或者从其他计算设备处获取的数据。
如图1所示，投屏源设备的第一处理器将投屏数据发送至微处理单元，微处理单元对投屏数据进行压缩编码后，将压缩编码后的投屏数据发送至第二无线通信模块，第二无线通信模块将压缩编码后的投屏数据发送至屏幕设备的第一无线通信模块。屏幕设备的第一无线通信模块将压缩编码后的投屏数据发送至第二处理器，第二处理器根据投屏数据执行送显操作。其中，送显操作包括根据投屏数据对画面进行渲染并通过屏幕进行显示，当投屏数据包括音频数据时，送显操作还包括控制扬声器播放音频。
在非音视频场景中，投屏数据不包括音频数据和第一图像数据，投屏数据包括用于屏幕显示桌面、光标和窗口等其中之一或者任意组合的数据，送显操作包括在屏幕上显示桌面、光标和窗口等其中之一或者任意组合。
在音视频场景中，投屏数据包括音频数据和第一图像数据，例如，将手机上的电视剧投屏到电视上进行观看时，手机向电视发送的投屏数据包括该电视剧的第一图像数据和音频数据，送显操作包括在屏幕上显示该电视剧的视频，同时播放该电视剧的音频。
步骤204、屏幕设备获取当前环境中的第二图像数据。
在投屏过程中，如图1所示，屏幕设备的摄像头获取当前环境的第二图像数据，并将第二图像数据发送至第二处理器。
步骤206、屏幕设备根据第二图像数据得到第一识别结果，第一识别结果用于指示用户使用屏幕设备的状态。
如图1所示，屏幕设备的第二处理器对图像数据进行第二图像识别得到第一识别结果，第一识别结果用于指示用户使用屏幕设备的状态(比如用户在位观看屏幕时，第一识别结果包含人脸且人眼注视屏幕)，并将第一识别结果发送至第一无线通信模块。
步骤208、屏幕设备将第一识别结果发送至投屏源设备。
如图1所示，屏幕设备的第一无线通信模块将第一识别结果发送至投屏源设备的第二无线通信模块。第一无线通信模块和第二无线通信模块之间无线连接。
步骤210、投屏源设备根据第一识别结果判断第一识别结果是否包括人脸，若是，执行步骤224；若否，执行步骤212。
如图1所示，投屏源设备的第二无线通信模块将第一识别结果发送至第一处理器，第一处理器根据第一识别结果执行降功耗操作。具体的，第一处理器首先根据第一识别结果判断第一识别结果是否包括人脸，以判断用户是否在位。当用户在位时，屏幕设备的摄像头能够拍摄到人脸，第二图像数据包括人脸数据，第一识别结果包括人脸；当用户离位时，屏幕设备的摄像头拍摄不到人脸，第二图像数据不包括人脸数据，第一识别结果不包括人脸。
步骤212、投屏源设备根据第一识别结果判断第一识别结果不包括人脸的持续时间是否大于第一阈值，若是，执行步骤214；若否，执行步骤224。
该步骤中，若投屏源设备的第一处理器根据第一识别结果判断出第一识别结果不包括人脸，继续根据第一识别结果判断第一识别结果是否不包括人脸的持续时间是否大于第一阈值，以判断用户是否长时间离位。用户离位后开始计时，若在计时时间小于或者等于第一阈值时用户重新在位，表明用户是短时间离位；若在计时时间大于第一阈值时，用户还未重新在位，表明用户是长时间离位。
步骤214、投屏源设备判断投屏数据是否包括第一图像数据和音频数据，若是，执行步骤216；若否，执行步骤220。
该步骤中，若投屏源设备的第一处理器根据第一识别结果判断出第一识别结果不包括人脸的持续时间大于第一阈值，即用户长时间离位，通过判断投屏数据是否包括第一图像数据和音频数据，以判断当前场景是否是音视频场景。
步骤216、投屏源设备控制投屏源设备停止发送第一图像数据、维持发送音频数据以及控制屏幕设备关闭屏幕或者调低屏幕的亮度。
该步骤中，若投屏源设备的第一处理器判断出投屏数据包括第一图像数据和音频数据，当前场景为音视频场景，如图2所示，投屏源设备控制投屏源设备停止发送第一图像数据、维持发送音频数据以及控制屏幕设备关闭屏幕或者调低屏幕的亮度。需要说明的是，当步骤216包括投屏源设备控制屏幕设备调低屏幕亮度时，步骤216还包括：投屏源设备控制屏幕设备显示固定画面。例如，固定画面可以包括用户视线离开前的最后一帧视频图像、投屏视频暂停时的视频图像、当前播放视频或者音频的封面图像、用户设置的或者从网络上获取的指定图像等。
步骤218、屏幕设备根据音频数据继续播放音频，关闭屏幕或者调低屏幕的亮度。
如图2所示，屏幕设备根据音频数据继续播放音频，关闭屏幕或者调低屏幕亮度。需要说明的是，当步骤218包括屏幕设备调低屏幕亮度时，步骤218还包括：屏幕设备显示固定画面。
需要说明的是，当用户长时间离位后又重新在位时，步骤218之后还包括：投屏源设备继续发送第一图像数据并控制屏幕设备打开屏幕或恢复屏幕的亮度；屏幕设备继续接收第一图像数据，并根据第一图像数据正常显示画面。如图2所示，用户重新在位时，投屏源设备继续发送第一图像数据，屏幕设备打开屏幕或者恢复屏幕亮度，并根据第一图像数据使屏幕正常显示画面。
步骤220、投屏源设备进入睡眠模式，并控制屏幕设备关闭屏幕。
该步骤中，若投屏源设备的第一处理器判断出投屏数据不包括第一图像数据和音频数据，当前场景为非音视频场景，如图3所示，投屏源设备进入睡眠模式以及控制屏幕设备关闭屏幕。
在一些实施例中，步骤220可以包括：投屏源设备进入睡眠模式，并控制屏幕设备调低屏幕亮度并显示固定画面。
步骤222、屏幕设备关闭屏幕。
如图3所示，屏幕设备关闭屏幕。需要说明的是，当用户长时间离位后又重新在位时，步骤222之后还包括：投屏源设备继续发送投屏数据并控制屏幕设备打开屏幕；屏幕设备继续接收投屏数据，并根据投屏数据正常显示画面。如图3所示，用户重新在位时，投屏源设备继续发送投屏数据，屏幕设备打开屏幕并根据投屏数据使屏幕正常显示画面。
步骤224、投屏源设备根据第一识别结果判断人眼是否注视屏幕执行降功耗操作。
该步骤中，若投屏源设备的第一处理器根据第一识别结果判断出第一识别结果包括人脸，继续根据第一识别结果判断人眼是否注视屏幕执行降功耗操作。
本发明实施例中，如图8所示，步骤224具体包括：
步骤224a、投屏源设备根据第一识别结果判断人眼是否注视屏幕，若是，执行步骤224b；若否，执行步骤224d。
如图1所示，投屏源设备的第二无线通信模块将第一识别结果发送至第一处理器，第一处理器根据第一识别结果执行降功耗操作。具体的，第一处理器根据第一识别结果判断出第一识别结果包括人脸时，第一识别结果必然包括人眼，第一处理器继续根据第一识别结果判断第一识别结果是否包括人眼注视屏幕，以确定用户是否在使用屏幕设备。
步骤224b、投屏源设备维持向屏幕设备发送投屏数据并控制屏幕设备的屏幕显示正常亮度。
该步骤中，若投屏源设备的第一处理器判断出第一识别结果包括人眼注视屏幕，确定出用户在使用屏幕设备，投屏源设备不执行降功耗操作，维持向屏幕设备发送投屏数据并控制屏幕设备的屏幕显示正常亮度。
步骤224c、屏幕设备持续接收投屏数据，并使屏幕显示正常亮度。
该步骤中，屏幕设备持续接收投屏数据，并使屏幕显示正常亮度。
步骤224d、投屏源设备根据第一识别结果判断人眼未注视屏幕的持续时间是否大于第二阈值，若是，执行步骤224e；若否，继续执行步骤224b。
该步骤中，若投屏源设备的第一处理器判断出第一识别结果包括人脸且人眼未注视屏幕，确定出用户在位缺没有使用屏幕设备，第一处理器继续根据第一识别结果判断人眼未注视屏幕的持续时间是否大于第二阈值，以确定用户是否又重新注视屏幕。若第一识别结果包括人脸且人眼未注视屏幕的持续时间小于或者等于第二阈值，用户又重新注视屏幕，投屏源设备不执行降功耗操作，维持向屏幕设备发送投屏数据和用于屏幕显示正常亮度的指令；若第一识别结果包括人脸且人眼未注视屏幕的持续时间大于第二阈值，用户始终未注视屏幕。
步骤224e、投屏源设备根据第一识别结果判断人眼未注视屏幕的持续时间是否大于第三阈值，若否，执行步骤224f；若是，执行步骤224h。
该步骤中，投屏源设备的第一处理器判断出第一识别结果包括人脸且人眼未注视屏幕的持续时间大于第二阈值，用户始终未注视屏幕，第一处理器继续根据第一识别结果判断人眼未注视屏幕的持续时间是否大于第三阈值，以确定用户是短时间未注视屏幕还是长时间未注视屏幕。若第一识别结果包括人脸且人眼未注视屏幕的持续时间大于第二阈值且小于或者等于第三阈值，用户是短时间未注视屏幕；若第一识别结果包括人脸且人眼未注视屏幕的持续时间大于第三阈值，用户是长时间未注视屏幕。
步骤224f、投屏源设备停止发送投屏数据或第一图像数据以及控制屏幕设备降低屏幕亮度并显示固定画面。
如图1所示，投屏源设备的第一处理器停止发送投屏数据，以及向微处理单元发送用于降低屏幕亮度的指令和屏幕显示固定画面的指令；微处理单元将用于降低屏幕亮度的指令和屏幕显示固定画面的指令转发至第二无线通信模块；第二无线通信模块将用于降低屏幕亮度的指令和屏幕显示固定画面的指令转发至屏幕设备的第一无线通信模块。
该步骤中，投屏源设备的第一处理器判断出第一识别结果包括人脸且人眼未注视屏幕的持续时间大于第二阈值且小于或者等于第三阈值，用户是短时间未注视屏幕，投屏源设备执行降功耗操作，即投屏源设备控制投屏源设备停止发送投屏数据以及控制屏幕设备降低屏幕亮度和屏幕显示固定画面。具体的，在音视频场景，如图4所示，用户短时间未注视屏幕，投屏源设备停止发送第一图像数据，并控制屏幕设备调低屏幕亮度并显示固定画面。具体的，在非音视频场景，如图5所示，用户短时间未注视屏幕，投屏源设备停止发送投屏数据，并控制屏幕设备调低屏幕亮度并显示固定画面。例如，固定画面可以包括用户视线离开前的最后一帧视频图像、投屏视频暂停时的视频图像、当前播放视频或者音频的封面图像、用户设置的或者从网络上获取的指定图像等。
在一些实施例中，步骤224f可以包括：投屏源设备停止发送投屏数据或第一图像数据以及控制屏幕设备关闭屏幕。
步骤224g、屏幕设备调低屏幕亮度并显示固定画面。
如图1所示，屏幕设备的第一无线通信模块将用于调低屏幕亮度的指令和屏幕显示固定画面的指令发送至第二处理器；第二处理器根据用于调低屏幕亮度的指令和屏幕显示固定画面的指令，调低屏幕亮度并使屏幕显示固定画面。
具体的，在音视频场景，如图4所示，用户短时间未注视屏幕，屏幕设备根据用于调低屏幕亮度的指令调低屏幕的亮度。投屏数据还包括音频数据，投屏源设备维持发送音频数据；屏幕设备根据音频数据进行音频播放。具体的，在非音视频场景，如图5所示，用户短时间未注视屏幕，屏幕设备根据用于调低屏幕亮度的指令调低屏幕的亮度。
需要说明的是，当用户短时间未注视屏幕后又重新注视屏幕时，在音视频场景，步骤224g之后还包括：投屏源设备接收屏幕设备发送的第二识别结果，当第二识别结果包括人脸且人眼注视屏幕，继续发送第一图像数据并控制屏幕设备恢复屏幕的亮度；屏幕设备继续接收第一图像数据，并恢复屏幕亮度。如图4所示，用户重新注视屏幕时，投屏源设备继续发送第一图像数据，屏幕设备根据第一图像数据使屏幕正常画面显示并显示正常亮度。投屏源设备还维持发送音频数据，屏幕设备持续接收音频数据并根据音频数据进行音频播放。
需要说明的是，当用户短时间未注视屏幕后又重新注视屏幕时，在非音视频场景，步骤224g之后还包括：投屏源设备继续发送投屏数据并控制屏幕设备恢复屏幕的亮度；屏幕设备继续接收投屏数据，并恢复屏幕正常亮度。如图5所示，用户重新注视屏幕时，投屏源设备继续发送投屏数据，屏幕设备根据投屏数据使屏幕正常显示画面并恢复正常亮度。
在一些实施例中，步骤224g可以包括：屏幕设备关闭屏幕。
步骤224h、投屏源设备判断投屏数据是否包括第一图像数据和音频数据，若是，执行步骤224i；若否，执行步骤224k。
该步骤中，投屏源设备的第一处理器判断出第一识别结果包括人眼未注视屏幕的持续时间大于第三阈值，用户是长时间未注视屏幕，第一处理器继续判断投屏数据是否包括第一图像数据和音频数据，以判断当前场景是否为音视频场景。
步骤224i、投屏源设备停止发送第一图像数据、维持发送音频数据以及控制屏幕设备关闭屏幕。
该步骤中，若投屏源设备的第一处理器判断投屏数据包括第一图像数据和音频数据，当前场景为音视频场景，第一处理器执行降功耗操作。具体的，如图1所示，投屏源设备的第一处理器停止发送第一图像数据、维持发送音频数据以及向微处理单元发送用于关闭屏幕的指令；微处理单元将音频数据和用于关闭屏幕的指令转发至第二无线通信模块；第二无线通信模块将音频数据和用于关闭屏幕的指令转发至屏幕设备的第一无线通信模块。
如图4所示，用户长时间未注视屏幕，投屏源设备停止发送第一图像数据，并向屏幕设备发送用于关闭屏幕的指令。投屏数据还包括音频数据，投屏源设备维持发送音频数据。
在一些实施例中，步骤224i可以包括：投屏源设备停止发送第一图像数据、维持发送音频数据以及控制屏幕设备调低屏幕的亮度并显示固定画面。
步骤224j、屏幕设备根据音频数据继续播放音频并关闭屏幕。
如图1所示，屏幕设备的第一无线通信模块将音频数据和用于关闭屏幕的指令发送至第二处理器；第二处理器根据音频数据和用于关闭屏幕的指令，进行音频播放并关闭屏幕。
如图4所示，用户长时间未注视屏幕，屏幕设备关闭屏幕。投屏数据还包括音频数据，屏幕设备根据音频数据进行音频播放。
需要说明的是，用户在长时间未注视屏幕后又重新注视屏幕时，步骤224j之后还包括：投屏源设备接收屏幕设备发送的第二识别结果，当第二识别结果包括人脸且人眼注视屏幕时，继续发送第一图像数据以及控制屏幕设备打开屏幕；屏幕设备继续接收第一图像数据，打开屏幕并根据第一图像数据使屏幕正常画面显示以及显示正常亮度。如图4所示，用户重新注视屏幕时，投屏源设备继续发送第一图像数据，屏幕设备打开屏幕并根据第一图像数据使屏幕正常画面显示并显示正常亮度。
在一些实施例中，步骤224j可以包括：屏幕设备调低屏幕的亮度并显示固定画面。
步骤224k、投屏源设备进入睡眠模式，并控制屏幕设备关闭屏幕。
如图1所示，投屏源设备的第一处理器停止进入睡眠模式以及向微处理单元发送用于关闭屏幕的指令；微处理单元将用于关闭屏幕的指令转发至第二无线通信模块；第二无线通信模块将用于关闭屏幕的指令转发至屏幕设备的第一无线通信模块。
该步骤中，若投屏源设备的第一处理器判断出投屏数据不包括第一图像数据和音频数据，当前场景为非音视频场景，如图5所示，用户长时间未注视屏幕，投屏源设备进入睡眠模式以及向屏幕设备发送用于关闭屏幕的指令。
在一些实施例中，步骤224k可以包括：投屏源设备进入睡眠模式，并控制屏幕设备调低屏幕的亮度并显示固定画面。
步骤224l、屏幕设备关闭屏幕。
如图1所示，屏幕设备的第一无线通信模块将用于关闭屏幕的指令发送至第二处理器；第二处理器根据用于关闭屏幕的指令关闭屏幕。
如图5所示，用户长时间未注视屏幕，屏幕设备根据用于关闭屏幕的指令关闭屏幕。
需要说明的是，当用户长时间未注视屏幕后又重新注视屏幕时，步骤224l之后还包括：投屏源设备接收屏幕设备发送的第二识别结果，当第二识别结果包括人脸且人眼注视屏幕时，继续发送投屏数据和用于打开屏幕的指令；屏幕设备继续接收投屏数据，并根据用于打开屏幕的指令打开屏幕。如图5所示，用户长时间未注视屏幕后又重新注视屏幕时，投屏源设备继续发送投屏数据，并发送用于打开屏幕的指令；屏幕设备根据投屏数据和用于打开屏幕的指令使屏幕正常画面显示并显示正常亮度。
在一些实施例中，骤224l可以包括：屏幕设备调低屏幕的亮度并显示固定画面。
本发明实施例中，投屏数据的无线传输与屏幕显示会占用较大功耗，利用人脸与人眼视线状态的识别结果，在用户未注视屏幕或者离位时，非音视频场景下通过使投屏源设备进入睡眠模式且屏幕设备关闭屏幕，或者使投屏源设备停止发送投屏数据且屏幕设备降低屏幕亮度并显示固定画面，从而实现降功耗的收益；音视频场景下通过使投屏源设备停止发送第一图像数据且屏幕设备降低屏幕亮度显示固定画面或关闭屏幕，从而实现降功耗的收益。进一步地，与投屏源设备通过判断人眼是否注视屏幕执行降功耗操作相比，投屏源设备通过判断识别结果是否包括人脸执行降功耗，更加快速简化。
本发明实施例提供一种投屏方法中，投屏源设备和屏幕设备无线连接，投屏源设备向屏幕设备发送投屏数据；屏幕设备获取当前环境的第二图像数据，根据第二图像数据得到第一识别结果，第一识别结果用于指示用户使用屏幕设备的状态，并将第一识别结果发送至投屏源设备；投屏源设备根据第一识别结果执行降功耗操作；当第一识别结果不包括人脸的持续时间大于第一阈值，投屏数据包括第一图像数据时，降功耗操作包括投屏源设备停止发送第一图像数据以及控制屏幕设备关闭屏幕或者调低屏幕亮度，能够在无线投屏场景中基于智慧感知实现降功耗。
图9是本发明一实施例提供的一种投屏源设备的结构示意图，应理解，投屏源设备400能够执行上述投屏方法中投屏源设备的各个步骤，为了避免重复，此处不再详述。投屏源设备400包括：第一处理单元401和接收单元402。
第一处理单元401用于向屏幕设备发送投屏数据，投屏源设备400和屏幕设备无线连接。
接收单元402用于接收来自所述屏幕设备的第一识别结果，所述第一识别结果用于指示用户使用所述屏幕设备的状态。
第一处理单元401还用于根据所述第一识别结果执行降功耗操作。
当所述第一识别结果不包括人脸的持续时间大于第一阈值，所述投屏数据包括第一图像数据时，所述降功耗操作包括控制所述投屏源设备停止发送所述第一图像数据，控制所述屏幕设备关闭屏幕或者调低所述屏幕的亮度。
可选地，当所述第一识别结果包括人脸、人眼未注视屏幕的持续时间大于第二阈值，所述投屏数据包括所述第一图像数据时，所述降功耗操作包括控制所述投屏源设备停止发送所述第一图像数据，控制所述屏幕设备关闭所述屏幕或者调低所述屏幕的亮度。
可选地，当所述第一识别结果包括人脸、人眼未注视屏幕的持续时间大于第二阈值，所述投屏数据不包括所述第一图像数据和音频数据时，所述降功耗操作包括控制所述投屏源设备停止发送所述投屏数据，控制所述屏幕设备关闭所述屏幕或者调低所述屏幕的亮度。
可选地，当所述第一识别结果包括人脸、人眼未注视屏幕的持续时间大于第三阈值，所述投屏数据包括所述第一图像数据和音频数据时，所述降功耗操作包括控制所述投屏源设备停止发送所述第一图像数据，控制所述屏幕设备关闭所述屏幕或者调低所述屏幕的亮度。
可选地，当所述第一识别结果不包括人脸的持续时间大于第一阈值，所述投屏数据不包括所述第一图像数据和音频数据时，所述降功耗操作包括控制投屏源设备进入睡眠模式，控制所述屏幕设备关闭所述屏幕或者调低所述屏幕的亮度。
可选地，当所述识别结果包括人脸、人眼未注视屏幕的持续时间大于第三阈值，所述投屏数据不包括所述第一图像数据和音频数据时，所述降功耗操作包括控制投屏源设备进入睡眠模式，控制所述屏幕设备关闭所述屏幕或者调低所述屏幕的亮度。
可选地，所述投屏数据还包括音频数据，所述第一处理单元401还用于维持发送所述音频数据。
可选地，当所述降功耗操作包括控制所述屏幕设备调低所述屏幕的亮度时，所述降功耗操作还包括控制所述屏幕设备显示固定画面。
可选地，所述接收单元402还用于接收来自所述屏幕设备的第二识别结果，所述第二识别结果在所述第一识别结果之后；当所述第二识别结果包括人脸时，所述第一处理单元401还用于控制所述投屏源设备继续发送所述第一图像数据以及控制所述屏幕设备打开所述屏幕或者使所述屏幕恢复正常亮度。
可选地，所述接收单元402还用于接收来自所述屏幕设备的第二识别结果，所述第二识别结果在所述第一识别结果之后；当所述第二识别结果包括人脸、人眼注视屏幕时，所述第一处理单元401还用于控制所述投屏源设备继续发送所述第一图像数据以及控制所述屏幕设备打开所述屏幕或者使所述屏幕恢复正常亮度。
可选地，所述接收单元402还用于接收来自所述屏幕设备的第二识别结果，所述第二识别结果在所述第一识别结果之后；当所述第二识别结果包括人脸时，所述第一处理单元401还用于控制所述投屏源设备唤醒系统并控制所述屏幕设备打开所述屏幕或者使所述屏幕恢复正常亮度。
可选地，所述接收单元402还用于接收来自所述屏幕设备的第二识别结果，所述第二识别结果在所述第一识别结果之后；当所述第二识别结果包括人脸、人眼注视屏幕时，所述第一处理单元401还用于控制所述投屏源设备唤醒系统并控制所述屏幕设备打开所述屏幕或者使所述屏幕恢复正常亮度。
可选地，所述投屏源设备包括处理器。
图10是本发明一实施例提供的一种屏幕设备的结构示意图，应理解，屏幕设备500能够执行上述投屏方法中屏幕设备的各个步骤，为了避免重复，此处不再详述。屏幕设备500包括：收发单元501和第二处理单元502。
收发单元501用于接收投屏源设备发送的投屏数据，所述屏幕设备500和所述投屏源设备无线连接。
第二处理单元502用于获取当前环境的第二图像数据；根据所述第二图像数据得到第一识别结果，所述第一识别结果用于指示用户使用所述屏幕设备的状态。
收发单元501还用于将所述第一识别结果发送至所述投屏源设备；
当所述第一识别结果不包括人脸的持续时间大于第一阈值，所述投屏数据包括图像数据时，关闭所述屏幕或者调低所述屏幕的亮度。
可选地，当所述第一识别结果包括人脸、人眼未注视屏幕的持续时间大于第二阈值，所述投屏数据包括所述第一图像数据时，第二处理单元502还用于关闭所述屏幕或者调低所述屏幕的亮度。
可选地，当所述第一识别结果包括人脸、人眼未注视屏幕的持续时间大于第二阈值，所述投屏数据不包括所述第一图像数据和音频数据时，所述第二处理单元502还用于关闭所述屏幕或者调低所述屏幕的亮度。
可选地，当所述第一识别结果包括人脸、人眼未注视屏幕的持续时间大于第三阈值，所述投屏数据不包括所述第一图像数据和音频数据时，所述第二处理单元502还用于关闭所述屏幕或者调低所述屏幕的亮度。
可选地，当所述第一识别结果不包括人脸的持续时间大于第一阈值，所述投屏数据不包括所述第一图像数据和音频数据时，所述第二处理单元502还用于关闭所述屏幕或者调低所述屏幕的亮度。
可选地，当所述识别结果包括人脸、人眼未注视屏幕的持续时间大于第三阈值，所述投屏数据不包括所述第一图像数据和音频数据时，所述第二处理单元502还用于关闭所述屏幕或者调低所述屏幕的亮度。
可选地，所述投屏数据还包括音频数据，所述收发单元501还用于持续接收所述音频数据。
可选地，若所述屏幕设备500调低所述屏幕的亮度，所述第二处理单元502还用于显示固定画面。
可选地，所述收发单元501还用于将第二识别结果发送至所述投屏源设备，所述第二识别结果在所述第一识别结果之后；当所述第二识别结果包括人脸时，所述第二处理单元502还用于打开所述屏幕或者恢复所述屏幕的亮度。
可选地，所述收发单元501还用于将第二识别结果发送至所述投屏源设备，所述第二识别结果在所述第一识别结果之后；当所述第二识别结果包括人脸、人眼注视屏幕时，所述第二处理单元502还用于打开所述屏幕或者恢复所述屏幕的亮度。
应理解，这里的投屏源设备400和屏幕设备500以功能单元的形式体现。这里的术语“单元”可以通过软件和/或硬件形式实现，对此不作具体限定。例如，“单元”可以是实现上述功能的软件程序、硬件电路或二者结合。所述硬件电路可能包括应用特有集成电路(application specific integrated circuit，ASIC)、电子电路、用于执行一个或多个软件或固件程序的处理器(例如共享处理器、专有处理器或组处理器等)和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。
因此，在本发明的实施例中描述的各示例的单元，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
本申请实施例提供一种电子设备，该电子设备可以是终端设备也可以是内置于所述终端设备的电路设备。该电子设备可以用于执行上述方法实施例中投屏源设备或者屏幕设备的功能/步骤。
图11为本申请实施例提供的一种电子设备300的结构示意图。电子设备300可以包括处理器310，外部存储器接口320，内部存储器321，通用串行总线(universal serialbus，USB)接口330，充电管理模块340，电源管理模块341，电池342，天线1，天线2，移动通信模块350，无线通信模块360，音频模块370，扬声器370A，受话器370B，麦克风370C，耳机接口370D，传感器模块380，按键390，马达391，指示器392，摄像头393，显示屏394，以及用户标识模块(subscriber identification module，SIM)卡接口395等。其中传感器模块380可以包括压力传感器380A，陀螺仪传感器380B，气压传感器380C，磁传感器380D，加速度传感器380E，距离传感器380F，接近光传感器380G，指纹传感器380H，温度传感器380J，触摸传感器380K，环境光传感器380L，骨传导传感器380M等。
可以理解的是，本申请实施例示意的结构并不构成对电子设备300的具体限定。在本申请另一些实施例中，电子设备300可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
处理器310可以包括一个或多个处理单元，例如：处理器310可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
处理器310中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器310中的存储器为高速缓冲存储器。该存储器可以保存处理器310刚用过或循环使用的指令或数据。如果处理器310需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器310的等待时间，因而提高了系统的效率。
在一些实施例中，处理器310可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。
I2C接口是一种双向同步串行总线，包括一根串行数据线(serial data line，SDA)和一根串行时钟线(derail clock line，SCL)。在一些实施例中，处理器310可以包含多组I2C总线。处理器310可以通过不同的I2C总线接口分别耦合触摸传感器380K，充电器，闪光灯，摄像头393等。例如：处理器310可以通过I2C接口耦合触摸传感器380K，使处理器310与触摸传感器380K通过I2C总线接口通信，实现电子设备300的触摸功能。
I2S接口可以用于音频通信。在一些实施例中，处理器310可以包含多组I2S总线。处理器310可以通过I2S总线与音频模块370耦合，实现处理器310与音频模块370之间的通信。在一些实施例中，音频模块370可以通过I2S接口向无线通信模块360传递音频信号，实现通过蓝牙耳机接听电话的功能。
PCM接口也可以用于音频通信，将模拟信号抽样，量化和编码。在一些实施例中，音频模块370与无线通信模块360可以通过PCM总线接口耦合。在一些实施例中，音频模块370也可以通过PCM接口向无线通信模块360传递音频信号，实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。
UART接口是一种通用串行数据总线，用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中，UART接口通常被用于连接处理器310与无线通信模块360。例如：处理器310通过UART接口与无线通信模块360中的蓝牙模块通信，实现蓝牙功能。在一些实施例中，音频模块370可以通过UART接口向无线通信模块360传递音频信号，实现通过蓝牙耳机播放音乐的功能。
MIPI接口可以被用于连接处理器310与显示屏394，摄像头393等外围器件。MIPI接口包括摄像头串行接口(camera serial interface，CSI)，显示屏串行接口(displayserial interface，DSI)等。在一些实施例中，处理器310和摄像头393通过CSI接口通信，实现电子设备300的拍摄功能。处理器310和显示屏394通过DSI接口通信，实现电子设备300的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号，也可被配置为数据信号。在一些实施例中，GPIO接口可以用于连接处理器310与摄像头393，显示屏394，无线通信模块360，音频模块370，传感器模块380等。GPIO接口还可以被配置为I2C接口，I2S接口，UART接口，MIPI接口等。
USB接口330是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口330可以用于连接充电器为电子设备300充电，也可以用于电子设备300与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他电子设备，例如AR设备等。
可以理解的是，本申请实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备300的结构限定。在本申请另一些实施例中，电子设备300也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。
充电管理模块340用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块340可以通过USB接口330接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块340可以通过电子设备300的无线充电线圈接收无线充电输入。充电管理模块340为电池342充电的同时，还可以通过电源管理模块341为电子设备供电。
电源管理模块341用于连接电池342，充电管理模块340与处理器310。电源管理模块341接收电池342和/或充电管理模块340的输入，为处理器310，内部存储器321，显示屏394，摄像头393，和无线通信模块360等供电。电源管理模块341还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块341也可以设置于处理器310中。在另一些实施例中，电源管理模块341和充电管理模块340也可以设置于同一个器件中。
电子设备300的无线通信功能可以通过天线1，天线2，移动通信模块350，无线通信模块360，调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备300中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。
移动通信模块350可以提供应用在电子设备300上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块350可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块350可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块350还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块350的至少部分功能模块可以被设置于处理器310中。在一些实施例中，移动通信模块350的至少部分功能模块可以与处理器310的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器370A，受话器370B等)输出声音信号，或通过显示屏394显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器310，与移动通信模块350或其他功能模块设置在同一个器件中。
无线通信模块360可以提供应用在电子设备300上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。
无线通信模块360可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块360经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器310。无线通信模块360还可以从处理器310接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。
在一些实施例中，电子设备300的天线1和移动通信模块350耦合，天线2和无线通信模块360耦合，使得电子设备300可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(codedivision multiple access，CDMA)，宽带码分多址(wideband code division multipleaccess，WCDMA)，时分码分多址(time-division code division multiple access，TD-SCDMA)，长期演进(long term evolution，LTE)，BT，GNSS，WLAN，NFC，FM，和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system，GPS)，全球导航卫星系统(global navigation satellite system，GLONASS)，北斗卫星导航系统(beidounavigation satellite system，BDS)，准天顶卫星系统(quasi-zenith satellitesystem，QZSS)和/或星基增强系统(satellite based augmentation systems，SBAS)。
电子设备300通过GPU，显示屏394，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏394和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器310可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。
显示屏394用于显示图像，视频等。显示屏394包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备300可以包括1个或N个显示屏394，N为大于1的正整数。
电子设备300可以通过ISP，摄像头393，视频编解码器，GPU，显示屏394以及应用处理器等实现拍摄功能。
ISP用于处理摄像头393反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头393中。
摄像头393用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备300可以包括1个或N个摄像头393，N为大于1的正整数。
数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备300在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备300可以支持一种或多种视频编解码器。这样，电子设备300可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。
NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备300的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。
外部存储器接口320可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备300的存储能力。外部存储卡通过外部存储器接口320与处理器310通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。
内部存储器321可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器321可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备300使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器321可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。处理器310通过运行存储在内部存储器321的指令，和/或存储在设置于处理器中的存储器的指令，执行电子设备300的各种功能应用以及数据处理。
电子设备300可以通过音频模块370，扬声器370A，受话器370B，麦克风370C，耳机接口370D，以及应用处理器等实现音频功能。例如音乐播放，录音等。
音频模块370用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块370还可以用于对音频信号编码和解码。在一些实施例中，音频模块370可以设置于处理器310中，或将音频模块370的部分功能模块设置于处理器310中。
扬声器370A，也称“喇叭”，用于将音频电信号转换为声音信号。电子设备300可以通过扬声器370A收听音乐，或收听免提通话。
受话器370B，也称“听筒”，用于将音频电信号转换成声音信号。当电子设备300接听电话或语音信息时，可以通过将受话器370B靠近人耳接听语音。
麦克风370C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风370C发声，将声音信号输入到麦克风370C。电子设备300可以设置至少一个麦克风370C。在另一些实施例中，电子设备300可以设置两个麦克风370C，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，电子设备300还可以设置三个，四个或更多麦克风370C，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。
耳机接口370D用于连接有线耳机。耳机接口370D可以是USB接口330，也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform，OMTP)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the USA，CTIA)标准接口。
压力传感器380A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器380A可以设置于显示屏394。压力传感器380A。
的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器380A，电极之间的电容改变。电子设备300根据电容的变化确定压力的强度。当有触摸操作作用于显示屏394，电子设备300根据压力传感器380A检测所述触摸操作强度。电子设备300也可以根据压力传感器380A的检测信号计算触摸的位置。在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不同的操作指令。例如：当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时，执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时，执行新建短消息的指令。
陀螺仪传感器380B可以用于确定电子设备300的运动姿态。在一些实施例中，可以通过陀螺仪传感器380B确定电子设备300围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器380B可以用于拍摄防抖。示例性的，当按下快门，陀螺仪传感器380B检测电子设备300抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消电子设备300的抖动，实现防抖。陀螺仪传感器380B还可以用于导航，体感游戏场景。
气压传感器380C用于测量气压。在一些实施例中，电子设备300通过气压传感器380C测得的气压值计算海拔高度，辅助定位和导航。
磁传感器380D包括霍尔传感器。电子设备300可以利用磁传感器380D检测翻盖皮套的开合。在一些实施例中，当电子设备300是翻盖机时，电子设备300可以根据磁传感器380D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态，设置翻盖自动解锁等特性。
加速度传感器380E可检测电子设备300在各个方向上(一般为三轴)加速度的大小。当电子设备300静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态，应用于横竖屏切换，计步器等应用。
距离传感器380F，用于测量距离。电子设备300可以通过红外或激光测量距离。在一些实施例中，拍摄场景，电子设备300可以利用距离传感器380F测距以实现快速对焦。
接近光传感器380G可以包括例如发光二极管(LED)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。电子设备300通过发光二极管向外发射红外光。电子设备300使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时，可以确定电子设备300附近有物体。当检测到不充分的反射光时，电子设备300可以确定电子设备300附近没有物体。电子设备300可以利用接近光传感器380G检测用户手持电子设备300贴近耳朵通话，以便自动熄灭屏幕达到省电的目的。接近光传感器380G也可用于皮套模式，口袋模式自动解锁与锁屏。
环境光传感器380L用于感知环境光亮度。电子设备300可以根据感知的环境光亮度自适应调节显示屏394亮度。环境光传感器380L也可用于拍照时自动调节白平衡。环境光传感器380L还可以与接近光传感器380G配合，检测电子设备300是否在口袋里，以防误触。
指纹传感器380H用于采集指纹。电子设备300可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。
温度传感器380J用于检测温度。在一些实施例中，电子设备300利用温度传感器380J检测的温度，执行温度处理策略。例如，当温度传感器380J上报的温度超过阈值，电子设备300执行降低位于温度传感器380J附近的处理器的性能，以便降低功耗实施热保护。在另一些实施例中，当温度低于另一阈值时，电子设备300对电池342加热，以避免低温导致电子设备300异常关机。在其他一些实施例中，当温度低于又一阈值时，电子设备300对电池342的输出电压执行升压，以避免低温导致的异常关机。
触摸传感器380K，也称“触控器件”。触摸传感器380K可以设置于显示屏394，由触摸传感器380K与显示屏394组成触摸屏，也称“触控屏”。触摸传感器380K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏394提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器380K也可以设置于电子设备300的表面，与显示屏394所处的位置不同。
骨传导传感器380M可以获取振动信号。在一些实施例中，骨传导传感器380M可以获取人体声部振动骨块的振动信号。骨传导传感器380M也可以接触人体脉搏，接收血压跳动信号。在一些实施例中，骨传导传感器380M也可以设置于耳机中，结合成骨传导耳机。音频模块370可以基于所述骨传导传感器380M获取的声部振动骨块的振动信号，解析出语音信号，实现语音功能。应用处理器可以基于所述骨传导传感器380M获取的血压跳动信号解析心率信息，实现心率检测功能。
按键390包括开机键，音量键等。按键390可以是机械按键。也可以是触摸式按键。电子设备300可以接收按键输入，产生与电子设备300的用户设置以及功能控制有关的键信号输入。
马达391可以产生振动提示。马达391可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用(例如拍照，音频播放等)的触摸操作，可以对应不同的振动反馈效果。作用于显示屏394不同区域的触摸操作，马达391也可对应不同的振动反馈效果。不同的应用场景(例如：时间提醒，接收信息，闹钟，游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器392可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。
SIM卡接口395用于连接SIM卡。SIM卡可以通过插入SIM卡接口395，或从SIM卡接口395拔出，实现和电子设备300的接触和分离。电子设备300可以支持1个或N个SIM卡接口，N为大于1的正整数。SIM卡接口395可以支持Nano SIM卡，Micro SIM卡，SIM卡等。同一个SIM卡接口395可以同时插入多张卡。所述多张卡的类型可以相同，也可以不同。SIM卡接口395也可以兼容不同类型的SIM卡。SIM卡接口395也可以兼容外部存储卡。电子设备300通过SIM卡和网络交互，实现通话以及数据通信等功能。在一些实施例中，电子设备300采用eSIM，即：嵌入式SIM卡。eSIM卡可以嵌在电子设备300中，不能和电子设备300分离。
本申请实施例提供一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当该指令在终端设备上运行时，使得终端设备执行如上述方法实施例中投屏源设备或者屏幕设备的功能/步骤。
本申请实施例还提供了一种包含指令的计算机程序产品，当该计算机程序产品在计算机或任一至少一种处理器上运行时，使得计算机执行如上述方法实施例中投屏源设备或者屏幕设备的功能/步骤。
本申请实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示单独存在A、同时存在A和B、单独存在B的情况。其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达，是指的这些项中的任意组合，包括单项或复数项的任意组合。例如，a，b和c中的至少一项可以表示：a,b,c,a-b,a-c,b-c,或a-b-c，其中a,b,c可以是单个，也可以是多个。
本领域普通技术人员可以意识到，本文中公开的实施例中描述的各单元及算法步骤，能够以电子硬件、计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，任一功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。本申请的保护范围应以所述权利要求的保护范围为准。
Claims (27)
1.一种投屏方法，其特征在于，应用于投屏源设备，所述投屏源设备用于向屏幕设备发送投屏数据，所述投屏源设备和所述屏幕设备无线连接，所述方法包括：
接收来自所述屏幕设备的第一识别结果，所述第一识别结果用于指示用户使用所述屏幕设备的状态；
根据所述第一识别结果执行降功耗操作，
当所述第一识别结果不包括人脸的持续时间大于第一阈值，所述投屏数据包括第一图像数据时，所述降功耗操作包括控制所述投屏源设备停止发送所述第一图像数据，控制所述屏幕设备关闭屏幕或者调低所述屏幕的亮度。
2.根据权利要求1所述的方法，其特征在于，当所述第一识别结果包括人脸、人眼未注视屏幕的持续时间大于第二阈值，所述投屏数据包括所述第一图像数据时，所述降功耗操作包括控制所述投屏源设备停止发送所述第一图像数据，控制所述屏幕设备关闭所述屏幕或者调低所述屏幕的亮度。
3.根据权利要求1所述的方法，其特征在于，当所述第一识别结果包括人脸、人眼未注视屏幕的持续时间大于第二阈值，所述投屏数据不包括所述第一图像数据和音频数据时，所述降功耗操作包括控制所述投屏源设备停止发送所述投屏数据，控制所述屏幕设备关闭所述屏幕或者调低所述屏幕的亮度。
4.根据权利要求1所述的方法，其特征在于，当所述第一识别结果包括人脸、人眼未注视屏幕的持续时间大于第三阈值，所述投屏数据包括所述第一图像数据和音频数据时，所述降功耗操作包括控制所述投屏源设备停止发送所述第一图像数据，控制所述屏幕设备关闭所述屏幕或者调低所述屏幕的亮度。
5.根据权利要求1所述的方法，其特征在于，当所述第一识别结果不包括人脸的持续时间大于第一阈值，所述投屏数据不包括所述第一图像数据和音频数据时，所述降功耗操作包括控制投屏源设备进入睡眠模式，控制所述屏幕设备关闭所述屏幕或者调低所述屏幕的亮度。
6.根据权利要求1所述的方法，其特征在于，当所述识别结果包括人脸、人眼未注视屏幕的持续时间大于第三阈值，所述投屏数据不包括所述第一图像数据和音频数据时，所述降功耗操作包括控制投屏源设备进入睡眠模式，控制所述屏幕设备关闭所述屏幕或者调低所述屏幕的亮度。
7.根据权利要求1、2和4任一项所述的方法，其特征在于，所述投屏数据还包括音频数据，所述方法还包括：维持发送所述音频数据。
8.根据权利要求1-5任一项所述的方法，其特征在于，当所述降功耗操作包括控制所述屏幕设备调低所述屏幕的亮度时，所述降功耗操作还包括控制所述屏幕设备显示固定画面。
9.根据权利要求1所述的方法，其特征在于，所述根据所述第一识别结果执行降功耗操作之后，所述方法还包括：
接收来自所述屏幕设备的第二识别结果，所述第二识别结果在所述第一识别结果之后；
当所述第二识别结果包括人脸时，控制所述投屏源设备继续发送所述第一图像数据以及控制所述屏幕设备打开所述屏幕或者使所述屏幕恢复正常亮度。
10.根据权利要求2-4任一项所述的方法，其特征在于，所述根据所述识别结果执行降功耗操作之后，所述方法还包括：
接收来自所述屏幕设备的第二识别结果，所述第二识别结果在所述第一识别结果之后；
当所述第二识别结果包括人脸、人眼注视屏幕时，控制所述投屏源设备继续发送所述第一图像数据以及控制所述屏幕设备打开所述屏幕或者使所述屏幕恢复正常亮度。
11.根据权利要求5所述的方法，其特征在于，所述根据所述识别结果执行降功耗操作之后，所述方法还包括：
接收来自所述屏幕设备的第二识别结果，所述第二识别结果在所述第一识别结果之后；
当所述第二识别结果包括人脸时，控制所述投屏源设备唤醒系统并控制所述屏幕设备打开所述屏幕或者使所述屏幕恢复正常亮度。
12.根据权利要求6所述的方法，其特征在于，所述根据所述识别结果执行降功耗操作之后，所述方法还包括：
接收来自所述屏幕设备的第二识别结果，所述第二识别结果在所述第一识别结果之后；
当所述第二识别结果包括人脸、人眼注视屏幕时，控制所述投屏源设备唤醒系统并控制所述屏幕设备打开所述屏幕或者使所述屏幕恢复正常亮度。
13.根据权利要求1-12任一项所述的方法，其特征在于，所述投屏源设备包括处理器。
14.一种投屏方法，其特征在于，应用于屏幕设备，所述屏幕设备包括屏幕、摄像头和具有图像识别功能的处理器，所述屏幕设备用于接收投屏源设备发送的投屏数据，所述屏幕设备和所述投屏源设备无线连接，所述方法包括：
获取当前环境的第二图像数据；
根据所述第二图像数据得到第一识别结果，所述第一识别结果用于指示用户使用所述屏幕设备的状态；
将所述第一识别结果发送至所述投屏源设备；
当所述第一识别结果不包括人脸的持续时间大于第一阈值，所述投屏数据包括图像数据时，关闭所述屏幕或者调低所述屏幕的亮度。
15.根据权利要求14所述的方法，当所述第一识别结果包括人脸、人眼未注视屏幕的持续时间大于第二阈值，所述投屏数据包括所述第一图像数据时，所述方法还包括：关闭所述屏幕或者调低所述屏幕的亮度。
16.根据权利要求14所述的方法，其特征在于，当所述第一识别结果包括人脸、人眼未注视屏幕的持续时间大于第二阈值，所述投屏数据不包括所述第一图像数据和音频数据时，所述方法还包括：关闭所述屏幕或者调低所述屏幕的亮度。
17.根据权利要求14所述的方法，其特征在于，当所述第一识别结果包括人脸、人眼未注视屏幕的持续时间大于第三阈值，所述投屏数据不包括所述第一图像数据和音频数据时，所述方法还包括：关闭所述屏幕或者调低所述屏幕的亮度。
18.根据权利要求14所述的方法，其特征在于，当所述第一识别结果不包括人脸的持续时间大于第一阈值，所述投屏数据不包括所述第一图像数据和音频数据时，所述方法还包括关闭所述屏幕或者调低所述屏幕的亮度。
19.根据权利要求14所述的方法，其特征在于，当所述识别结果包括人脸、人眼未注视屏幕的持续时间大于第三阈值，所述投屏数据不包括所述第一图像数据和音频数据时，所述方法还包括：关闭所述屏幕或者调低所述屏幕的亮度。
20.根据权利要求14、15和17任一项所述的方法，其特征在于，所述投屏数据还包括音频数据，所述方法还包括：持续接收所述音频数据。
21.根据权利要求14-17任一项所述的方法，其特征在于，若所述屏幕设备调低所述屏幕的亮度，所述方法还包括：显示固定画面。
22.根据权利要求14、18任一项所述的方法，其特征在于，所述关闭所述屏幕或者调低所述屏幕的亮度之后，还包括：
将第二识别结果发送至所述投屏源设备，所述第二识别结果在所述第一识别结果之后；
当所述第二识别结果包括人脸时，打开所述屏幕或者恢复所述屏幕的亮度。
23.根据权利要求15-17、19任一项所述的方法，其特征在于，所述关闭所述屏幕或者调低所述屏幕的亮度之后，还包括：
将第二识别结果发送至所述投屏源设备，所述第二识别结果在所述第一识别结果之后；
当所述第二识别结果包括人脸、人眼注视屏幕时，打开所述屏幕或者恢复所述屏幕的亮度。
24.一种投屏系统，其特征在于，所述系统包括：如权利要求1-13任一项所述的投屏源设备和如权利要求14-23任一项所述的屏幕设备。
25.一种投屏源设备，其特征在于，所述投屏源设备用于向屏幕设备发送投屏数据，所述投屏源设备和所述屏幕设备无线连接；所述投屏源设备包括处理器和存储器，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，当所述处理器运行所述程序指令时，使所述投屏源设备执行如权利要求1-13任一项所述方法的步骤。
26.一种屏幕设备，其特征在于，包括屏幕、摄像头、具有图像识别功能的处理器和存储器，所述投屏源设备用于接收投屏源设备发送的投屏数据，所述屏幕设备和所述投屏源设备无线连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，当所述处理器运行所述程序指令时，使所述屏幕设备执行如权利要求14-23任一项所述方法的步骤。
27.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，当所述程序请求被计算机运行时使所述计算机执行如权利要求1-13任一项或者14-23任一项所述的投屏方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210092394.2A CN116546281A (zh) | 2022-01-26 | 2022-01-26 | 一种投屏方法、系统、投屏源设备和屏幕设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210092394.2A CN116546281A (zh) | 2022-01-26 | 2022-01-26 | 一种投屏方法、系统、投屏源设备和屏幕设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116546281A true CN116546281A (zh) | 2023-08-04 |
Family
ID=87447674
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210092394.2A Pending CN116546281A (zh) | 2022-01-26 | 2022-01-26 | 一种投屏方法、系统、投屏源设备和屏幕设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116546281A (zh) |
-
2022
- 2022-01-26 CN CN202210092394.2A patent/CN116546281A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111742361B (zh) | 一种终端更新语音助手的唤醒语音的方法及终端 | |
| CN113395382B (zh) | 一种设备间数据交互的方法及相关设备 | |
| EP4053783A1 (en) | Energy-efficient display processing method, and apparatus | |
| CN113343193A (zh) | 身份验证方法、装置和电子设备 | |
| CN111526407A (zh) | 屏幕内容的显示方法及装置 | |
| CN114257920B (zh) | 一种音频播放方法、系统和电子设备 | |
| CN114339429A (zh) | 音视频播放控制方法、电子设备和存储介质 | |
| CN115665632B (zh) | 音频电路、相关装置和控制方法 | |
| CN111935705A (zh) | 数据业务管理方法及装置、计算机可读介质及终端设备 | |
| EP4307168A1 (en) | Target user determination method, electronic device and computer-readable storage medium | |
| CN113467747B (zh) | 音量调节方法、电子设备及存储介质 | |
| CN114915747B (zh) | 视频通话的方法、电子设备及可读存储介质 | |
| CN117093068A (zh) | 基于穿戴设备的振动反馈方法、系统、穿戴设备和电子设备 | |
| CN116546281A (zh) | 一种投屏方法、系统、投屏源设备和屏幕设备 | |
| CN114500725B (zh) | 目标内容传输方法、主设备、从设备和存储介质 | |
| CN114329595B (zh) | 应用程序的检测方法、设备、存储介质和程序产品 | |
| CN116708317B (zh) | 数据包mtu的调整方法、装置和终端设备 | |
| CN116233599B (zh) | 一种录像模式推荐方法和电子设备 | |
| CN116700654B (zh) | 一种图像显示方法、装置、终端设备及存储介质 | |
| CN114520870B (zh) | 一种显示方法及终端 | |
| CN115515001B (zh) | 屏幕镜像方法、装置、设备及存储介质 | |
| CN116668763B (zh) | 录屏方法及装置 | |
| CN114115513B (zh) | 一种按键控制方法和一种按键装置 | |
| CN117793861A (zh) | 近场通信的模式切换方法、装置和终端设备 | |
| CN116414339A (zh) | 穿戴式设备及其控制方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |