CN113473216A - 数据传输方法、芯片系统及相关装置 - Google Patents
数据传输方法、芯片系统及相关装置 Download PDFInfo
- Publication number
- CN113473216A CN113473216A CN202010239039.4A CN202010239039A CN113473216A CN 113473216 A CN113473216 A CN 113473216A CN 202010239039 A CN202010239039 A CN 202010239039A CN 113473216 A CN113473216 A CN 113473216A
- Authority
- CN
- China
- Prior art keywords
- data
- computing device
- interactive
- encoding
- connection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 171
- 238000000034 method Methods 0.000 title claims abstract description 128
- 230000002452 interceptive effect Effects 0.000 claims abstract description 358
- 230000003993 interaction Effects 0.000 claims description 107
- 238000004891 communication Methods 0.000 claims description 53
- 230000006854 communication Effects 0.000 claims description 53
- 238000009877 rendering Methods 0.000 claims description 35
- 230000004044 response Effects 0.000 claims description 27
- 238000012546 transfer Methods 0.000 claims description 9
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 230000003190 augmentative effect Effects 0.000 claims description 4
- 230000003068 static effect Effects 0.000 claims description 4
- 230000001360 synchronised effect Effects 0.000 claims description 4
- 230000001976 improved effect Effects 0.000 abstract description 12
- 230000000875 corresponding effect Effects 0.000 description 92
- 230000006835 compression Effects 0.000 description 44
- 238000007906 compression Methods 0.000 description 44
- 230000006870 function Effects 0.000 description 40
- 238000012545 processing Methods 0.000 description 36
- 230000008569 process Effects 0.000 description 22
- 230000005236 sound signal Effects 0.000 description 17
- 238000007726 management method Methods 0.000 description 15
- 230000008859 change Effects 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 11
- 239000011521 glass Substances 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 11
- 210000000988 bone and bone Anatomy 0.000 description 10
- 238000010295 mobile communication Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000002829 reductive effect Effects 0.000 description 9
- 230000001960 triggered effect Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 8
- 210000001508 eye Anatomy 0.000 description 8
- 230000002093 peripheral effect Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 210000005252 bulbus oculi Anatomy 0.000 description 5
- 238000013500 data storage Methods 0.000 description 5
- 230000010354 integration Effects 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- 238000003825 pressing Methods 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 4
- 230000004438 eyesight Effects 0.000 description 4
- 238000005192 partition Methods 0.000 description 4
- 238000013139 quantization Methods 0.000 description 4
- 229920001621 AMOLED Polymers 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 238000013529 biological neural network Methods 0.000 description 2
- 230000036772 blood pressure Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000003990 capacitor Substances 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000004371 high visual acuity Effects 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000000630 rising effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 101100498818 Arabidopsis thaliana DDR4 gene Proteins 0.000 description 1
- 102100036725 Epithelial discoidin domain-containing receptor 1 Human genes 0.000 description 1
- 101710131668 Epithelial discoidin domain-containing receptor 1 Proteins 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 238000010009 beating Methods 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- GVVPGTZRZFNKDS-JXMROGBWSA-N geranyl diphosphate Chemical compound CC(C)=CCC\C(C)=C\CO[P@](O)(=O)OP(O)(O)=O GVVPGTZRZFNKDS-JXMROGBWSA-N 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 239000010985 leather Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000010349 pulsation Effects 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
- H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
- H04N21/43632—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wired protocol, e.g. IEEE 1394
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
- H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
- H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Digital Computer Display Output (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
一种数据传输方法、芯片系统及相关装置。在该方法中,传输显示数据时,当计算设备与交互设备之间的有线连接断开时,计算设备可建立与交互设备之间的无线连接,通过该无线连接传输显示数据。这样,当计算设备和交互设备之间的有线连接断开时,计算设备和交互设备之间仍能够正常传输显示数据,交互设备可将显示数据在显示屏上显示出来,提高交互设备播放视频的流畅性。
Description
技术领域
本申请涉及电子技术领域,尤其涉及一种数据传输方法、芯片系统及相关装置。
背景技术
当前,各类电子设备越来越被广泛使用。其中,虚拟现实(virtual reality,VR)产品、增强现实(augmented reality,AR)产品、智慧屏等交互设备,因交互性强而备受用户喜爱,并逐渐发展起来。
然而,当前交互设备的设备形态不明确,且数据处理能力和功能参差不齐。这样,降低了用户使用交互设备的便利性。
发明内容
本申请实施例公开了一种数据传输方法,可提高交互设备播放视频的流畅性。本申请实施例还公开了一种芯片系统,可降低芯片系统的功耗,减小芯片系统在交互设备中所占据的空间。
第一方面,本申请实施例提供一种数据传输方法,该方法包括:计算设备与交互设备之间建立有线连接;该计算设备利用第一编码参数对第一显示数据进行编码,并将得到的第一编码数据通过有线连接发送给该交互设备,该第一编码参数是与该有线连接匹配的编码参数;该交互设备利用该第一编码参数对应的解码参数对该第一编码数据进行解码,并通过显示屏进行显示;该计算设备检测到第一事件,该第一事件对应断开该有线连接的用户操作;响应于该第一事件,该计算设备建立与该交互设备之间的无线连接;该计算设备利用第二编码参数对第二显示数据进行编码,并将得到的第二编码数据通过该无线连接发送给该交互设备,该第二编码参数是与该无线连接匹配的编码参数;该交互设备利用该第二编码参数对应的解码参数对该第二编码数据进行解码,并通过显示屏进行显示。
实施第一方面提供的方法,计算设备和交互设备组成的交互系统在传输数据过程中,两设备之间的有线连接断开,则计算设备和交互设备之间可建立起无线连接,通过该无线连接继续传输数据。这样,无需用户手动建立无线连接,也无需手动重新开启数据传输,从而提高数据传输的便利性。
例如,在计算设备向交互设备传输显示数据使得交互设备显示视频的场景下,计算设备和交互设备之间有线连接断开,计算设备和交互设备之间依然可建立起无线连接,并继续通过该无线连接传输显示数据。这样,即使有线连接断开,交互设备依然能够继续播放视频,从而提升了交互设备视频播放的便利性。
对第一编码参数、该第一编码参数对应的解码参数、第二编码参数、该第二编码参数对应的解码参数进行举例。有线传输场景下第一编码参数可包含:数据传输码率M1(大于无线传输场景的传输码率M2),压缩技术采用全关键帧压缩法,不开启图像分层编码。例如,PCIE接口进行有线连接场景下,PCIE接口的传输速率为5Gbps~10Gbps,此时数据传输码率M1可采用1Gbps。第一编码参数对应的解码参数包含,压缩技术采用全关键帧压缩法,不开启图像分层编码。
在无线传输场景下第二编码参数可包含:数据传输码率M2,压缩技术采用P帧参考压缩法,开启图像分层编码。数据传输码率M2可小于有线场景下数据传输码率M1。例如,采用Wi-Fi传输数据,可用的带宽为100Mbps,此时数据传输码率M1可采用30Mbps。另外,无线场景下,计算设备30采用的压缩技术可以是P帧参考压缩法。无线场景下,计算设备30采用的压缩技术还可以是I帧+P帧压缩法。第二编码参数对应的解码参数包含,压缩技术采用P帧参考压缩法,开启图像分层编码。
在有线传输场景和无线传输场景,计算设备分别设置与传输方式匹配的编码参数,这样,提高了数据的传输效率,从而在交互设备根据编码数据进行显示的场景下,提高视频播放的流畅性。
本申请实施例中,第一事件和第二事件可通过传感器检测,也可由用户操作触发。以下以第一事件为例分别列举:
(1)传感器触发第一事件
例如传感器为温度传感器,当用户操作有线接口上安装的接线以拔出接线时,用户可接触或靠近计算设备上的温度传感器。从而温度传感器检测到温度达到设定值(例如大于或等于35℃),则触发第一事件。
可以理解的,上述以温度传感器为例进行介绍,不限于温度传感器,还可以是其他类型的传感器,例如湿度传感器、压力传感器、指纹传感器等。
(2)用户操作触发第一事件
例如,计算设备上特定物理按键的按压操作,可触发计算设备检测到第一事件。再例如,计算设备显示的用户界面上特定控件的触控操作,可触发计算设备检测到第一事件。又例如,当检测到特定手势信号、特定语音信号等信号时,则计算设备触发检测到第一事件。
这样,用户可执行上述用户操作(例如特定物理按键的按压操作、特定控件的触控操作、特定手势信号、特定语音信号)。则计算设备触发检测到第一事件,可根据第一事件启动Wi-Fi模块。之后用户可将计算设备和交互设备之间的有线连接断开(例如拔掉接线),计算设备仍然可响应于检测到的第一事件,建立与交互设备之间的Wi-Fi连接,并通过Wi-Fi连接传输编码数据。
结合第一方面,在一些实施例中,该无线连接为Wi-Fi连接,该计算设备建立与该交互设备之间的无线连接之前,该方法还包括:该计算设备与该交互设备之间进行Wi-Fi配对;响应于该第一事件,该计算设备建立与该交互设备之间的无线连接,包括:响应于该第一事件,该计算设备启动该Wi-Fi模块,并通过该Wi-Fi模块建立与该交互设备之间的Wi-Fi连接。
在本申请的一种可能的实施例中,交互设备和计算设备可以是手机等电子设备的两部分机体。交互设备可独立运行各类应用,实现各种功能。计算设备可与交互设备合体,为交互设备提供一定功能,例如为交互设备充电,再例如,为交互设备提供更强大的数据处理功能等等。交互设备和计算设备上均可包含压力传感器。计算设备与交互设备分体时,通过PCIE接口建立的有线连接断开,且交互设备的压力传感器检测到数值与合体时的数值不同。计算设备上压力传感器检测到的数值与合体时也不同。当交互设备和计算设备合体时,交互设备和计算设备通过有线接口(例如PCIE接口)连接。当交互设备和计算设备合体时,两设备卡合。交互设备的压力传感器检测到数值与分体时的数值不同。计算设备上压力传感器检测到的数值与分体时也不同。当计算设备与交互设备由合体状态变为分体状态时,计算设备上的压力传感器可检测到第一事件,交互设备上压力传感器可检测到第二事件。计算设备可根据第一事件和第二事件(或者指示第二事件的通知)改变编码参数,并传输编码数据。其中,交互设备和计算设备上还可包无线模块,例如Wi-Fi模块。交互设备和计算设备可通过Wi-Fi模块进行Wi-Fi配对,当交互设备和计算设备分体时,两设备可建立Wi-Fi连接。
结合第一方面,在一些实施例中,该计算设备利用第二编码参数对第二显示数据进行编码,并将得到的第二编码数据通过该无线连接发送给该交互设备之前,该方法还包括:响应于该第一事件,该计算设备利用该第二编码参数对第三显示数据进行编码,并将得到第三编码数据通过该有线连接发送给该交互设备;该交互设备利用该第二编码参数对应的解码参数对该第三编码数据进行解码,并通过显示屏进行显示;该计算设备利用第二编码参数对第二显示数据进行编码,并将得到的第二编码数据通过该无线连接发送给该交互设备,包括:当该计算设备建立与该交互设备之间的无线连接时,该计算设备利用该第二编码参数对第二显示数据进行编码,并将得到第二编码数据通过该无线连接发送给该交互设备。
结合第一方面,在一些实施例中,该计算设备利用第二编码参数对第二显示数据进行编码,并将得到的第二编码数据通过该无线连接发送给该交互设备,包括:该计算设备利用该第二编码参数,对一帧图像的注视区域对应的数据进行编码得到注视区域对应的编码数据;该一帧图像为该第二显示数据中的任一帧图像;该计算设备将该注视区域对应的编码数据通过该无线连接发送给该交互设备;当该一帧图像的注视区域对应的数据编码完成时,该计算设备利用该第二编码参数,对一帧图像的非注视区域对应的数据进行编码得到非注视区域对应的编码数据;其中,该非注视区域为一帧图像中该注视区域以外的区域;该计算设备将该非注视区域对应的编码数据通过该无线连接发送给该交互设备。
结合第一方面,在一些实施例中,该交互设备利用该第二编码参数对应的解码参数对该第二编码数据进行解码,并通过显示屏进行显示,包括:当接收到该注视区域对应的编码数据时,该交互设备将该注视区域对应的编码数据进行解码,得到该注视区域对应的解码数据;当接收到该注视区域对应的编码数据之后设定时间内接收到该非注视区域对应的编码数据时,该交互设备将该注视区域对应的编码数据进行解码,得到该非注视区域对应的解码数据;该交互设备将该注视区域对应的解码数据和该非注视区域对应的解码数据进行合成并通过显示屏进行显示。
结合第一方面,在一些实施例中,该交互设备将该注视区域对应的编码数据进行解码,得到该注视区域对应的解码数据之后,该方法还包括:当接收到该注视区域对应的编码数据之后设定时间内未接收到该非注视区域对应的编码数据时,该交互设备根据该一帧图像的上一帧图像的非注视区域对应的解码数据,得到该一帧图像的非注视区域对应的解码数据;该交互设备将该注视区域对应的解码数据和该非注视区域对应的解码数据进行合成并通过显示屏进行显示。
本申请实施例中,图像帧分区为注视区域和非注视区域,独立的进行编解码和传输,可在注视区域的数据传输和解码后交互设备即可进行显示,无需完整的图像帧传输完成才显示,可减少交互设备显示的时延。
其中,图像的注视区域可根据用户眼球视线确定,例如图像中以用户视线为中心,周围设定区域内的像素区域为注视区域,注视区域以外的图像区域为非注视区域。其中设定区域可以是矩形区域、圆形区域还可以是其他形状的区域,本申请实施例对此不作限定。
可选的,注视区域还可根据交互设备的眼动追踪进行更新,确保注视区域与眼球视线保持一致,从而为用户提供视场范围内注视区域恒定高质量的图像。
结合第一方面,在一些实施例中,该计算设备与交互设备之间建立有线连接之后,该方法还包括:该交互设备检测到第二事件,该第二事件对应断开该有线连接的用户操作;该交互设备通过该有线连接向该计算设备发送第一通知,该第一通知指示检测到该第二事件;该响应于该第一事件,该计算设备建立与该交互设备之间的无线连接,包括:响应于该第一事件和该第一通知,该计算设备建立与该交互设备之间的无线连接。
结合第一方面,在一些实施例中,该计算设备与交互设备之间建立有线连接之后,该交互设备检测到第二事件之前,该方法还包括:该交互设备利用第三编码参数对摄像头采集的第四显示数据进行编码,并将得到的第四编码数据通过该有线连接发送给该计算设备;该计算设备建立与该交互设备之间的无线连接之后,该方法还包括:该交互设备利用第四编码参数对该摄像头采集的第五显示数据进行编码,并将得到的第五编码数据通过该无线连接发送给该计算设备。
本申请实施例中,交互设备向计算设备传输数据过程中,两设备之间的有线连接断开,则计算设备和交互设备之间可建立起无线连接,交互设备可通过该无线连接继续向计算设备传输数据。这样,无需用户手动建立无线连接,也无需手动重新开启数据传输,从而提高数据传输的便利性。
结合第一方面,在一些实施例中,该第一显示数据、该第二显示区域和该第三显示数据中的图像帧被分为多个片区;该多个片区中一个片区由该计算设备编码得到该一个片区对应的编码数据,并由该计算设备传输给该交互设备;该一个片区编码完成后,该多个片区中另一个片区由该计算设备编码得到该另一个片区对应的编码数据,并由该计算设备传输给该交互设备;该一个片区对应的编码数据和该另一个片区对应的编码数据由该交互设备依次进行解码。
这样,计算设备可在进行编码的同时传输已编码完成的数据,无需等到一帧图像全部编码才传输该图像数据,从而减少了显示数据传输的延迟。
其中,计算设备利用第一编码参数对第一显示数据进行编码之前,计算设备还对原始显示数据进行一次渲染得到第一显示数据。交互设备在是AR/VR设备时,在接收到第一编码数据后,还将第一编码数据进行解码,并进行二次渲染得到待显示数据。
结合第一方面,在一些实施例中,该计算设备利用第二编码参数对第二显示数据进行编码,并将得到的第二编码数据通过该无线连接发送给该交互设备之后,该方法还包括:当该交互设备与该计算设备之间建立有线连接时,该计算设备利用该第一编码参数对第六显示数据进行编码,并将得到的第六编码数据通过有线连接发送给该交互设备;该交互设备利用该第一编码参数对应的解码参数对该第六编码数据进行解码,并通过显示屏进行显示。
本申请实施例中,当重新建立起有线连接时,计算设备可通过该有线连接传输编码数据,并将编码参数改变为与有线连接匹配的编码参数。这样,提高了数据的传输效率,从而在交互设备根据编码数据进行显示的场景下,提高视频播放的流畅性。
在一些实施例中,当交互设备与计算设备之间建立起有线连接时,交互设备可显示提示,以提示用户当前已建立有线连接,将通过有线连接传输显示数据。例如,提示“已建立起有线连接,尝试有线连接传输视频数据”。
结合第一方面,在一些实施例中,该有线连接为以下连接中的任一个:高速串行计算机扩展总线标准PCIE接口连接、显示接口DP连接、USB接口连接。
本申请的一些实施例中,计算设备和交互设备之间连接方式改变时,计算设备可不改变编码参数,交互设备也可不改变解码参数。具体的,有线传输方式下,计算设备可使用第二编码参数(例如为数据传输码率M2,压缩技术采用P帧参考压缩法,开启图像分层编码)进行编码得到编码数据,并将编码数据通过有线连接传输给交互设备。当计算设备检测到第一事件或第一通知,计算设备可开启Wi-Fi模块,建立与交互设备之间的Wi-Fi连接。建立Wi-Fi连接之后,计算设备可仍然使用第二编码参数编码得到编码数据,并将编码数据通过无线连接传输给交互设备。类似的,无线传输方式切换为有线传输方式时,计算设备可依然均使用第二编码参数编码得到编码数据,并向交互设备传输编码数据。
类似的,交互设备向计算设备传输数据过程,无论有线传输还是无线传输,交互设备可均使用第四编码参数对显示数据进行编码,并将得到的编码数据传输给计算设备。在有线传输和无线传输时,计算设备可使用第四编码参数对应的解码参数进行解码。
其中,在有线传输和无线传输时,使用的编码参数需满足有线传输的带宽要求且满足无线传输的带宽要求。
在本申请的一些实施例中,计算设备可与多个交互设备连接,计算设备可响应于NFC模块检测到的设备的变化,切换传输数据的交互设备。具体的,以计算设备连接三个交互设备为例,计算设备传输显示数据为例进行介绍,计算设备可分别与交互设备A、交互设备B和交互设备C连接,该连接可以是有线连接(例如USB连接),还可以是无线连接(例如Wi-Fi连接)。计算设备、交互设备A、交互设备B和交互设备C上均可包含NFC模块。当用户想要通过交互设备A播放视频时,将交互设备A靠近计算设备。当交互设备A靠近计算设备时,计算设备中的NFC模块检测到交互设备A中的NFC模块。则计算设备将编码数据传输给交互设备A,交互设备A为AR/VR产品时,对编码数据解码、二次渲染并进行显示。交互设备A为非AR/VR产品时,对编码数据解码并进行显示。当用户想要切换到交互设备B播放视频时,将交互设备B靠近计算设备。当交互设备B靠近计算设备时,计算设备中的NFC模块检测到交互设备B中的NFC模块。则计算设备可不再向交互设备A传输编码数据,而是将编码数据传输给交互设备B。交互设备B对编码数据解码、二次渲染并进行显示。
第二方面,本申请提供了一种数据传输方法,该方法包括:计算设备与交互设备之间建立有线连接;该计算设备利用第一编码参数对第一显示数据进行编码,并将得到的第一编码数据通过有线连接发送给该交互设备,该第一编码参数是与该有线连接匹配的编码参数;该计算设备检测到第一事件,该第一事件对应断开该有线连接的用户操作;响应于该第一事件,该计算设备建立与该交互设备之间的无线连接;该计算设备利用第二编码参数对第二显示数据进行编码,并将得到的第二编码数据通过该无线连接发送给该交互设备,该第二编码参数是与该无线连接匹配的编码参数。
实施第二方面提供的方法,计算设备和交互设备组成的交互系统在传输数据过程中,两设备之间的有线连接断开,则计算设备和交互设备之间可建立起无线连接,通过该无线连接继续传输数据。这样,无需用户手动建立无线连接,也无需手动重新开启数据传输,从而提高数据传输的便利性。
结合第二方面,在一些实施例中,该无线连接为Wi-Fi连接,该计算设备建立与该交互设备之间的无线连接之前,该方法还包括:该计算设备与该交互设备之间进行Wi-Fi配对;响应于该第一事件,该计算设备建立与该交互设备之间的无线连接,包括:响应于该第一事件,该计算设备启动该Wi-Fi模块,并通过该Wi-Fi模块建立与该交互设备之间的Wi-Fi连接。
结合第二方面,在一些实施例中,该计算设备利用第二编码参数对第二显示数据进行编码,并将得到的第二编码数据通过该无线连接发送给该交互设备之前,该方法还包括:响应于该第一事件,该计算设备利用该第二编码参数对第三显示数据进行编码,并将得到第三编码数据通过该有线连接发送给该交互设备;该计算设备利用第二编码参数对第二显示数据进行编码,并将得到的第二编码数据通过该无线连接发送给该交互设备,包括:当该计算设备建立与该交互设备之间的无线连接时,该计算设备利用该第二编码参数对第二显示数据进行编码,并将得到第二编码数据通过该无线连接发送给该交互设备。
结合第二方面,在一些实施例中,该计算设备利用第二编码参数对第二显示数据进行编码,并将得到的第二编码数据通过该无线连接发送给该交互设备,包括:该计算设备利用该第二编码参数,对一帧图像的注视区域对应的数据进行编码得到注视区域对应的编码数据;该一帧图像为该第二显示数据中的任一帧图像;该计算设备将该注视区域对应的编码数据通过该无线连接发送给该交互设备;当该一帧图像的注视区域对应的数据编码完成时,该计算设备利用该第二编码参数,对一帧图像的非注视区域对应的数据进行编码得到非注视区域对应的编码数据;其中,该非注视区域为一帧图像中该注视区域以外的区域;该计算设备将该非注视区域对应的编码数据通过该无线连接发送给该交互设备。
结合第二方面,在一些实施例中,该第一显示数据、该第二显示区域和该第三显示数据中的图像帧被分为多个片区;该多个片区中一个片区由该计算设备编码得到该一个片区对应的编码数据,并由该计算设备传输给该交互设备;该一个片区编码完成后,该多个片区中另一个片区由该计算设备编码得到该另一个片区对应的编码数据,并由该计算设备传输给该交互设备;该一个片区对应的编码数据和该另一个片区对应的编码数据由该交互设备依次进行解码。
结合第二方面,在一些实施例中,该计算设备利用第二编码参数对第二显示数据进行编码,并将得到的第二编码数据通过该无线连接发送给该交互设备之后,该方法还包括:当该交互设备与该计算设备之间建立有线连接时,该计算设备利用第一编码参数对第四显示数据进行编码,并将得到的第四编码数据通过有线连接发送给该交互设备;该交互设备利用该第一编码参数对应的解码参数对该第四编码数据进行解码,并通过显示屏进行显示。
结合第二方面,在一些实施例中,该有线连接为以下连接中的任一个:高速串行计算机扩展总线标准PCIE接口连接、显示接口DP连接、USB接口连接。
第三方面,本申请提供了一种芯片系统,该芯片系统应用于交互设备,该芯片系统包括:一个或多个控制器;存储器,包含静态随机存储器SRAM、磁性随机存储器MRAM和闪存,该存储器用于存储程序和数据;无线通信模块,用于与计算设备建立无线连接;视频播放模块;有线接口,用于与该计算设备建立有线连接;总线;其中,该控制器、该无线通信模块、该视频播放模块和该有线接口通过该总线连接;该视频播放模块,用于当与该计算设备建立该有线连接时,利用第一编码参数对应的解码参数对接收的第一编码数据进行解码;该第一编码参数是有线连接时,该计算设备使用的编码参数;该视频播放模块,还用于当与该计算设备建立该无线连接时,利用第二编码参数对应的解码参数对接收的第二编码数据进行解码;该第二编码参数是无线连接时,该计算设备使用的编码参数。
结合第三方面,在一些实施例中,该控制器不包含图形处理器GPU、神经网络计算处理器NPU;该存储器不包含双倍速率同步动态随机存储器DDR。
第三方面提供的芯片系统中,处理器可采用包含控制器的低功耗模块,不再包含GPU、NPU等功耗和体积较大的模块。存储模块中不再包含功耗和体积较大的DDR,这样,降低了芯片系统的功耗,减小了芯片系统在交互设备中所占据的空间。
其中,交互设备例如是AR产品、VR产品、智慧屏。
其中,控制器可采用轻量低功耗处理单元,例如Cortex-A系列处理器、Cortex-R系列处理器、Cortex-M系列处理器等。
具体实现中,该芯片系统的通信模块可包含Wi-Fi模块,不再包含FM、NFC、IR等模块。该芯片系统还可以包含应用处理器和ISP。应用处理器,用于作为协处理器处理信号,以实现数码相机、MP3播放器、FM广播接收、视频图像播放等功能。ISP用于处理摄像头反馈的数据,对图片的噪点,亮度,肤色进行算法优化,还可以对拍摄场景的曝光,色温等参数优化。
具体实现中,该芯片系统还可以包含温湿度传感器,可包含温度传感器或者湿度传感器中的一个或多个。温湿度传感器可与控制器连接,以将检测到的温湿度数据传输给控制器。
具体的,视频播放模块,包含视频解码器VDEC、显示子系统DSS和行动产业处理器MIPI显示器串行接口DSI。其中,VDEC、DSS和MIPI DSI依次连接。VDEC用于低延迟视频解码。DSS可将待显示图像数据经由MIPI DSI连接到显示屏。DSS可用于驱动显示屏对待显示图像数据进行显示。在芯片系统应用在AR/VR设备时DSS还可用于二次渲染。MIPI DSI用于连接VDEC和显示屏。
结合第三方面,在一些实施例中,该芯片系统还包括:视频采集模块,用于将摄像头采集的显示数据进行编码;传感器,用于检测第二事件,该第二事件对应有线接口的接线拔出的用户操作;音频模块,用于对音频数据进行编解码;其中,该控制器通过该总线分别与所视频采集模块、该传感器和该音频模块连接。
结合第三方面,在一些实施例中,该视频采集模块,具体用于当与该计算设备建立该有线连接时,利用第三编码参数对摄像头采集的第四显示数据进行编码得到第四编码数据;该有线接口,用于通过该有线连接将该第四编码数据发送给该计算设备;该视频采集模块,具体还用于当与该计算设备建立该无线连接时,利用第四编码参数对该摄像头采集的第五显示数据进行编码得到第五编码数据;该无线通信模块,用于通过该无线连接将该第五编码数据发送给该计算设备。
结合第三方面,在一些实施例中,该传感器包含以下中的任一个或多个:温度传感器、湿度传感器、压力传感器、指纹传感器。
结合第三方面,在一些实施例中,该芯片系统应用在增强现实AR设备或虚拟现实VR设备;该视频播放模块,用于对编码数据进行解码,并进行二次渲染得到待显示数据,并将该待显示数据传输给显示屏进行显示。
第四方面,本申请实施例提供了一种交互系统,该交互系统包括计算设备和交互设备,该计算设备和该交互设备,用于执行第一方面或第一方面的任意一种实现方式提供的数据传输方法。
第五方面,本申请实施例提供了一种计算设备,该计算设备用于执行本申请实施例第二方面或第二方面的任意一种实现方式提供的数据传输方法。
第六方面,本申请实施例提供了一种计算机存储介质,包括计算机指令,当该计算机指令在计算设备上运行时,使得该计算设备执行本申请实施例第二方面或第二方面的任意一种实现方式提供的数据传输方法。
第七方面,本申请实施例提供了一种计算机程序产品,当该计算机程序产品在计算设备上运行时,使得该计算设备执行本申请实施例第二方面或第二方面的任意一种实现方式提供的数据传输方法。
可以理解地,上述第四方面提供的交互系统,用于执行第一方面或第一方面的任意一种实现方式提供的数据传输方法,因此,其所能达到的有益效果可参考第一方面所提供的无线充电方法中的有益效果。上述第五方面提供的计算设备,第六方面提供的计算机存储介质以及第七方面提供的计算机程序产品均用于执行第二方面或第二方面的任意一种实现方式提供的数据传输方法,因此,其所能达到的有益效果可参考第二方面所提供的无线充电方法中的有益效果,此处不再赘述。
附图说明
下面对本申请实施例用到的附图进行介绍。
图1是本申请实施例提供的一种全功能芯片的结构框图;
图2是本申请实施例提供的一种交互系统的结构示意图;
图3是本申请实施例提供的一种数据传输方法的流程示意图;
图4是本申请实施例提供的一种场景示意图;
图5是本申请实施例提供的一种数据传输方法的流程示意图;
图6是本申请实施例涉及的一种电子设备的结构示意图;
图7是本申请实施例提供的计算设备30的结构示意图。
具体实施方式
下面结合本申请实施例中的附图对本申请实施例进行描述。本申请实施例的实施方式部分使用的术语仅用于对本申请的具体实施例进行解释,而非旨在限定本申请。
当前,交互设备中所使用的芯片系统为全功能芯片。全功能芯片可应用在智能手机、平板电脑等电子设备中。全功能芯片可包含GPU、NPU和DDR等器件,以使得全功能芯片安装到智能手机、平板电脑等电子设备中,能够运行操作系统,并能够运行各类功能的第三方应用程序。下面介绍全功能芯片的结构。
请参阅图1,图1是本申请实施例提供的一种全功能芯片的结构框图。如图1所示,全功能芯片可包含通信模块101、存储模块102、处理器103、视频播放模块104、视频采集模块105、总线106、传感器107、音频模块108、USB接口和显示接口(display port,DP)等。通信模块101、存储模块102、处理器103、视频播放模块104、视频采集模块105、传感器107、音频模块108、USB接口和DP可通过总线106连接。下面分别介绍各模块。
(1)通信模块101
通信模块101可以提供无线局域网(wireless local area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),还可提供包括蓝牙(bluetooth,BT)功能,全球导航卫星系统(global navigation satellite system,GNSS),调频(frequencymodulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。通信模块101可以是集成至少一个通信处理模块的一个或多个器件。通信模块101可经由天线接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号经由总线106发送到处理器103。通信模块101还可以从处理器103接收待发送的信号,对其进行调频,放大,经天线转为电磁波辐射出去。
(2)存储模块102
存储模块102可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图片或视频播放功能等)等。存储数据区可存储数据(比如音频数据,电话本等)等。
存储模块102可包含DDR、静态随机存储器(staticrandom access memory,SRAM)、磁性随机存储器(magnetic random access memory,MRAM)、闪存(flash)等存储模块。其中:
DDRSDRAM也称DDR,可在一个时钟周期内传输两次数据,具体可在时钟的上升期和下降期各传输一次数据。而SDRAM在一个时钟周期内只传输一次数据,即在时钟的上升期进行数据传输。因此,与SDRAM相比,DDRSDRAM可以在与SDRAM相同的时钟频率下达到更高的数据传输速率,DDRSDRAM称为双倍速率同步动态随机存储器。DDRSDRAM是靠MOS电路中的栅极电容来存储数据的,电容的电荷会随时间越来越少,导致存储的数据丢失。因此,DDRSDRAM的存储阵列需要不断的刷新来保证数据不丢失。其中,刷新的周期可以是4ms-64ms。
本申请实施例中,DDRSDRAM可包含DDR1 SDRAM、DDR2 SDRAM、DDR3 SDRAM、DDR4SDRAM。
SRAM是一种具有静止存取功能的内存。SRAM是靠双稳态触发器来存储数据,因此SRAM不需要刷新电路即能存储数据。SRAM可用在主板上。具体的,一种情况下,SRAM作为处理器103与大容量的内存间的高速缓存存储器。该情况下SRAM有两种规格:一是固定在主板上的高速缓存(cache memory)存储器。二是插在卡槽上的扩充用的高速缓存(cache onastick,COAST)存储器。另一种情况下,为了加速处理器103内部数据的传送,处理器103的内部也设计有SRAM作为高速缓存。
SRAM不需要刷新电路即能存储数据,而DDRSDRAM需要不断刷新电路来保证内部的数据不会消失。因此,与DDRSDRAM相比,SRAM具有高的读写效率,但是SRAM的集成度较低。相同的容量,DDR SDRAM可以设计为较小的体积,而SRAM却需要很大的体积。
DDRSDRAM比SRAM集成度高,适于用作大容量存储器。所以内存通常采用DDRSDRAM,而高速缓冲存储器(cache)则使用SRAM。SRAM的存取速度大于DDRSDRAM。
其中,内存又称为主存。是处理器103能直接寻址的存储空间。内存的特点是访问数据的速率快。内存是相对于外存而言的。电子设备上的操作系统、各类应用程序,一般都是安装在硬盘等外存上。但当电子设备需要调用应用程序的功能时,将应用程序调入内存中运行,应用程序才能运行起来,以实现应用程序的功能。
MRAM是一种非易失性(non-volatile)的磁性随机存储器。它拥有SRAM的高速读取写入能力,以及DRAM的高集成度。本申请实施例中,MRAM可包含Toggle MRAM和自旋扭矩随机存储器(spin torque random access memory,ST-MRAM)。ST-MRAM具有节能的特点,在低电压下就能实现高速度读取写入能力。尺寸更小,ST-MRAM还可以实现高集成度。
闪存,用于存储需要保存的数据,闪存允许在操作中被多次擦或写。闪存可用于一般性数据存储。
(3)处理器103
处理器103可以包括一个或多个处理单元,例如:处理器103可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,基带处理器,神经网络计算处理器(neural-networkprocessing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器(microcontroller unit,MCU)可以是交互设备的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。控制器可控制芯片的各个功能模块协同工作,还可以用于运行应用程序。控制器可以是ARM架构。
GPU为图像处理的微处理器,可用于执行数学和几何计算,用于图形渲染。处理器103可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。GPU可用于游戏、视频等显示图像的渲染。
基带处理器是一个语音压缩芯片,在通话场景中可用于发送语音时对语音进行压缩,接收语音时对接收信号解压缩。
应用处理器是在低功耗中央处理器(central processing unit,CPU)的基础上扩展音视频功能和专用接口的超大规模集成电路。为了实现视频、音频(高保真音乐),需要另外一个协处理器专门处理这些信号,它就是应用处理器。在智能手机、平板等消费类电子产品中,应用处理器作为协处理器处理信号,以实现数码相机、MP3播放器、FM广播接收、视频图像播放等功能。
NPU通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
ISP用于处理摄像头反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图片或视频。ISP还可以对图片的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头中。
ISP,摄像头,视频采集模块105,视频播放模块104,GPU,显示屏以及应用处理器可配合以等实现图像和视频采集的功能。
视频播放模块104,GPU,显示屏以及应用处理器可配合以等实现图像和视频播放的功能。
处理器103中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器103中的存储器为高速缓存存储器。该存储器可以保存处理器103刚用过或循环使用的指令或数据。如果处理器103需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器103的等待时间,因而提高了全功能芯片的处理效率。
在一些实施例中,全功能芯片还可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integratedcircuit sound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
(4)视频播放模块104
视频播放模块104可包含视频解码器(video decoder,VDEC)、显示子系统(display subsystem,DSS)和行动产业处理器(mobile industry processor interface,MIPI)显示器串行接口(display serial interface,DSI)。其中,VDEC、DSS和MIPI DSI依次连接。其中:
VDEC可进行低延迟视频解码,能够根据解码参数配置调整图像压缩的比例。VDEC可将解码后的待显示图像数据经由DSS发送到MIPI DSI。低延迟视频解码时,VDEC可接收一帧图像中的一个区域对应的数据并进行解码。其中,一帧图像被分割多个片区,每个片区被编码完成后即可被传输,无需等到一帧图像全部被编码才传输。
DSS可将待显示图像数据经由MIPI DSI连接到显示屏。DSS可用于驱动显示屏对待显示图像数据进行显示。
MIPI DSI是用于连接VDEC和显示屏的接口。在一些实施例中,处理器103和显示屏通过MIPI DSI接口通信,实现显示功能。
(5)视频采集模块105
视频采集模块105可包含网络视频编码器(network video encoder,VENC)、MIPI摄像头串行接口(camera serial interface,CSI)。其中:
VENC,可进行低延迟视频编码,能够将来自摄像头的摄像头数据进行编码。摄像头采集的摄像头数据可由ISP进行处理后传输给VENC进行编码。低延迟视频解码时,VENC可将一帧图像分割为多个片区,每个片区分别单独被编码、传输。VENC对每个片区编码完成后即可传输给其他设备,无需等到一帧图像全部编码完成才传输。
MIPI CSI是用于连接VENC和摄像头的接口。在一些实施例中,处理器103和摄像头通过MIPI CSI接口通信,实现拍摄功能。
其中,视频编码器和视频解码器可支持H.264,H.265等标准化编解码。
(6)总线106
本申请实施例中,总线106可通过片上网络(network on a chip,NoC)实现。NoC可实现单一硅芯片上大型电路系统中不同模块之间的通讯。在一个片上网络系统,信息可以从任何源模块通过不同的链路转发到任何目的模块。
(7)传感器107
传感器107可包含各类传感器,例如触摸屏(touch panel,TP),用于测量物体姿态和加速度的惯性测量单元(Inertial measurement unit,IMU),指纹传感器(fingerprint,FP),环境光传感器(ambient light sensors,ALS)等等。不限于上述举例,传感器107还可以包含其他传感器。
(8)音频模块108
音频模块108可包含音频信号处理(digital signal processing,DSP)模块,还可包含音频外设接口。音频信号处理模块可对待播放的音频数据进行解码,并经由音频外设接口发送到扬声器或者听筒。音频信号处理模块还可对传声器采集的音频信号进行编码。
音频模块108,可与扬声器、受话器、麦克风、耳机接口以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块108可与视频播放模块104一起,以实现视频播放且视频对应的音频的播放。
音频模块108用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块108还可以用于对音频信号编码和解码。在一些实施例中,音频模块108可以设置于处理器103中,或将音频模块108的部分功能模块设置于处理器103中,即前述的基带处理器。
(9)USB接口和DP接口
本申请实施例中,USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于与外围设备之间传输数据。传输的数据可以是图像数据。
DP接口由芯片制造商联盟开发,是符合视频电子标准协会(vedio electronicstandard association,VESA)标准化的数字式视频接口标准。DP接口可用于从其他设备接收图像数据或者显示数据,并将数据转换并传输给MIPI DSI。
应该理解的是,图1所示全功能芯片仅是一个范例,并且全功能芯片可以具有比图1中所示的更多的或者更少的部件,可以组合两个或多个的部件,或者可以具有不同的部件配置。
上述全功能芯片可应用在智能手机、平板等设备上,以运行操作系统,并能够运行各类功能的第三方应用程序实现各类功能,例如数码相机、MP3播放器、FM广播接收、视频图像播放等功能。上述全功能芯片还可应用在VR产品、智慧屏等交互设备。然而,全功能芯片提供的一些能力交互设备并不需要。全功能芯片应用在交互设备上,提高了交互设备的功耗,增加了在交互设备中所占据的空间。
为降低芯片系统的功耗,减小芯片系统在交互设备中所占据的空间,本申请实施例提供一种芯片系统。该芯片系统中,处理器可采用包含控制器203的低功耗模块,不再包含GPU、NPU等功耗和体积较大的模块。存储模块202中不再包含功耗和体积较大的DDR,以降低芯片系统的功耗和体积。下面具体介绍该芯片系统。
该芯片系统应用在交互设备中,交互设备可与计算设备进行通信,以接收计算设备传输的显示数据。下面介绍本申请实施例所涉及的交互系统的结构示意图。请参阅图2,图2是本申请实施例提供的一种交互系统的结构示意图。如图2中的(A)所示,该交互系统可包含交互设备20和计算设备30。其中,交互设备例如是AR产品、VR产品、智慧屏等,计算设备例如是智能手机、平板等设备。
如图2中的(A)所示,交互设备20可包含主芯片2011、麦克风209、喇叭210、触控屏211、摄像头212、电源213、温湿度传感器214和天线215。交互设备20可通过主芯片2011上的高速串行计算机扩展总线标准(peripheral component interconnect express,PCIE)接口与计算设备30连接。下面介绍本申请实施例提供的主芯片2011。
如图2中的(B)所示,主芯片2011可包含Wi-Fi模块201、存储模块202、控制器203、视频播放模块204、视频采集模块205、总线206、传感器207、音频模块208、USB接口和PCIE接口。
与图1所示出的全功能芯片相比,本申请提供的用在交互设备20上的主芯片2011中,处理器可采用包含控制器203的低功耗模块,不再包含GPU、NPU等功耗和体积较大的模块。存储模块202中不再包含功耗和体积较大的DDR。这样,与使用全功能芯片相比,在交互设备20中使用主芯片2011,可降低芯片系统的功耗,减小芯片系统在交互设备中所占据的空间。
可选的,与图1所描述的全功能芯片相比,主芯片2011的通信模块可包含Wi-Fi模块,不再包含FM、NFC、IR等模块。
本申请实施例中,Wi-Fi模块不限于设置在主芯片2011上,Wi-Fi模块还可以是通过PCIE接口或者安全数字输入输出卡(secure digital input and output card,SDIO)接口与主芯片2011连接。
图2中的(B)所示的主芯片2011中,关于Wi-Fi模块201、SRAM、MRAM、控制器203、视频播放模块204、视频采集模块205、总线206、传感器207、音频模块208、USB接口可参考图1所描述实施例中描述,这里不再赘述。
本申请以Wi-Fi模块为例进行介绍,不限于Wi-Fi模块,还可以是其他无线通信模块,例如超移动宽带系统(ultra mobile broadband,UMB)模块,60GHz毫米波通信模块,点对点通信(deviceto device communication,D2D)模块,车对车通信(vehicleto vehiclecommunication,V2V)模块等。
其中,控制器203可采用轻量低功耗处理单元,例如Cortex-A系列处理器、Cortex-R系列处理器、Cortex-M系列处理器等。
在本申请的一些实施例中,主芯片2011还可以包含应用处理器和ISP。
其中,如图2中的(A)和(B)所示,MIPI DSI可与触控屏211连接,用于传输显示数据给触控屏211进行显示。
MIPI CSI可与摄像头212连接,用于将摄像头212拍摄的摄像头数据传输ISP,ISP将摄像头数据转化为肉眼可见的图片或视频,还可对图像的噪点,亮度,肤色进行算法优化得到显示数据。显示数据可传输给VENC进行编码。
音频模块208可与麦克风209连接,用于将麦克风208采集的音频数据进行编码。
音频模块208还可与喇叭210连接,用于将音频数据传输给喇叭210,以进行音频播放。
天线215可与主芯片2011上的Wi-Fi模块201连接。计算设备30也可包含天线302。计算设备30和交互设备20可通过各自的天线建立无线连接,例如Wi-Fi连接。
温湿度传感器214可包含温度传感器或者湿度传感器中的一个或多个。温湿度传感器214可与控制器203连接,以将检测到的温湿度数据传输给控制器203。
本申请实施例中,温湿度传感器214可设置在有线接口(例如PCIE接口)附近,当拨出有线接口上的接线或者将接线接入有线接口时,温湿度传感器214可检测到用户手指的温湿度数据。温湿度传感器214可将检测到的温湿度数据传输给计算设备30,计算设备30可根据来自交互设备20的温湿度数据(或者指示温湿度数据的通知)和自身温湿度传感器301检测到的温湿度数据切换编码参数。
如图2中的(A)所示,计算设备30可包含温湿度传感器301,温湿度传感器301可包含温度传感器或者湿度传感器中的一个或多个。当拨出有线接口上的接线或者将接线接入有线接口时,温湿度传感器301可检测到用户手指的温湿度数据。
电源213可为主芯片2011供电,并为交互设备20中的其他器件供电。
PCIE接口是高速串行点对点双通道高带宽传输,可用于传输显示数据。不限于通过PCIE接口传输,还可以通过USB接口、DP接口等。其中,PCIE接口实现有线连接可以是基于线缆,也可以基于光波导。
可以理解的,本申请实施例中以通过PCIE接口实现有线连接为例进行介绍,但是不限于有线连接,有线连接还可替换为其他高速连接,例如毫米波短距离连接,光传输连接等。
本申请实施例中,通过USB接口传输显示数据的场景下,交互设备20上USB接口还可与交互设备20的电池连接,计算设备30上USB接口也可与计算设备30的电池连接。计算设备30的电池中的电能可通过该USB连接传输给交互设备20的电池,实现充电功能。则计算设备30和交互设备20通过USB接口连接时,该有线连接即可实现计算设备30向交互设备20充电,也可实现计算设备30向交互设备20传输显示数据。
本申请实施例中,不限于通过上述有线方式传输显示数据,还可以通过无线方式,例如Wi-F来传输显示数据。
无线传输方式可以是802.11ac,802.11ax,802.11ad,802.11ay等IEEE标准系统,也可以是基于第三代合作伙伴计划(3rd generation partnership project,3GPP)标准的终端直通(Device to Device,D2D)标准系统。
本申请实施例中,主芯片2011还可包含音频接口,例如集成电路内置音频总线(inter integrated circui sound,I2S),用于向其他设备传输音频数据。主芯片2011还可包含传感器接口,例如外接串口(serial peripheral interface,SPI),I2C接口等,用于外接传感器。例如主芯片2011中控制器203通过传感器接口,与温湿度传感器214连接。
在本申请的一些实施例中,各类交互接口(例如包含PCIE接口、USB接口、DP接口、音频接口和传感器接口等等)均可集成在主芯片2011上。主芯片2011还包含各类存储单元(例如包含存储模块202),这样可实现高集成度。另外,控制器203可采用轻量低功耗处理单元,以降低功耗,减小体积。
下面介绍本申请实施例涉及的几个概念。
(a)编码参数
本申请实施例中,编码参数可包含:数据传输码率,压缩技术。下面分别进行介绍。
(I)数据传输码率
数据传输码率,是两设备(即本申请实施例中计算设备30和交互设备20)之间数据传输速率。数据传输码率可与数据传输通道的带宽正相关。例如,与无线传输场景下相比,有线传输场景下数据传输通道的带宽较大,因此,有线传输场景下可采用比无线传输场景下较高数据传输速率。即有线传输场景下的数据传输码率M1可大于无线传输场景下数据传输码率M2。
(II)压缩技术
压缩技术,可包含全关键帧压缩法(又称全帧内压缩法(I frame))、P帧(即前向预测编码帧)参考压缩法、I帧+P帧压缩法、是否开启图像分层编码(layered coding)。其中:
全I帧即所传输显示数据中所有的数据帧均作为关键帧压缩。关键帧在进行编码时进行全压缩,解码时仅用I帧的数据就可重构完整图像,不需要其他帧的图像参与解码。
P帧,即当前这一帧跟之前的一个关键帧或P帧的差别。解码时计算设备30需要用之前帧画面叠加上本帧定义的差别,生成最终画面。
I帧+P帧压缩法,即部分帧采用关键帧压缩法,另一部分帧采用P帧参考压缩法。
图像分层编码是在传输带宽受限时,将图像分成不同的层分别单独传输,以保证图像传输的准确性。
本申请实施例中,无线传输具有带宽有限和易错、时变的特点。为提高图像传输的准确性,计算设备30可在无线传输时使用分层编码。示例性的,在无线传输场景下(例如通过Wi-Fi传输),计算设备30可将图像数据分为基本层和增强层。其中,基本层包含了图像最基本的信息,是图像质量的最低要求。增强层包含了图像中的细节信息,是图像解码的可选信息。分层编码后在进行解码时,交互设备20首先得到基本层的码流,解码并重建低质量的图像,如果无线传输带宽富余则交互设备20再接收并解码增强层的码流,得到高质量的图像。
本申请实施例中,编码参数还可包含编码器的量化步长,图像预测算法的滤波器参数,输出图像的分辨率等。这些参数可根据显示图像分辨率和接口的传输速率计算得到。
(b)二次渲染
在本申请的一些实施例中,交互设备20可以是虚拟现实(virtual reality,VR)设备、增强现实(augmented reality,AR)设备。VR设备、AR设备内包含光学设计模块。为提升在VR设备、AR设备上的显示效果,VR设备、AR设备可对解码后的数据进行二次渲染,以使得显示的图像适应VR设备、AR设备内的光学设计模块。下面对本申请实施例涉及的二次渲染进行介绍。
二次渲染过程,交互设备20(具体为主芯片2011中控制器203执行)可进行镜头失真校正(lens distortion correction,LDC),色差校正(chromatic aberrationcorrection,CAC),异步时间扭曲(asynchronous timewarp,ATW),异步空间扭曲(asynchronous spacewarp,ASW)等。其中:
LDC可预先扭曲图像以抵销镜头的效应,这样,透过VR设备、AR设备内的透镜看到的图像能准确显示且没有扭曲失真。
CAC可实现在相反的方向预先分离色版,以抵消VR设备、AR设备的透镜所造成的模糊效果。
ATW可实现根据3D立体空间中用户当前头部的位置,进行虚拟场景的重新投射。ATW可实现对图像的旋转、平移等操作,使得图像适应AR/VR设备的显示系统。
ASW可实现在显示画面中插入额外帧,从而提高帧率,提升渲染效果和画面的流畅性。
本申请实施例中,不限于上述校正,二次渲染还可以包含其他处理过程,本申请实施例对此不作限定。
传输显示数据时,当计算设备与交互设备之间的有线连接断开时,计算设备可建立与交互设备之间的无线连接,通过该无线连接传输显示数据。这样,当计算设备和交互设备之间的有线连接断开时,计算设备和交互设备之间仍能够正常传输显示数据,交互设备可将显示数据在显示屏上显示出来,保证交互设备播放视频的流畅性。
下面基于图2所描述的交互系统,具体介绍以下两个过程:(1)有线方式切换为无线方式(2)无线方式切换为有线方式。
(1)有线方式切换为无线方式过程
请参阅图3,图3是本申请实施例提供的一种数据传输方法的流程示意图。如图3所示,该数据传输方法可包含步骤S101~S113。
S101、计算设备30与交互设备20通过PCIE接口建立有有线连接。
可以理解的,本申请实施例以PCIE接口为例进行介绍,不限于PCIE接口,还可以是其他有线连接,该有线连接可用于传输显示数据。
S102、计算设备30对原始显示数据进行一次渲染得到显示数据。
计算设备30将存储器中的原始显示数据转换为能够绘制在显示屏上的对应数据的过程可称为渲染。经过一次渲染后得到的显示数据可传输给显示屏进行显示。具体的,原始显示数据一般用三维形式表示,更接近于现实世界,便于操作和变换。三维形式的数据可包含场景和实体。而图像的显示设备大多是二维的光栅化显示器和点阵化打印机。一次渲染可将三维形式的数据转换为二维形式的数据。该二维形式的数据可传输给显示屏,以显示画面。
S103、计算设备30通过第一编码参数对显示数据进行编码得到编码数据。
本申请实施例中,有线传输和无线传输场景下数据传输通道的带宽不同,因此,在有线传输(例如PCIE接口)和无线传输场景下,计算设备30进行编码的编码参数可不同。本申请实施例中,第一编码参数与有线连接匹配,是指,第一编码参数根据有线连接的带宽确定。
具体的,有线传输场景下第一编码参数可包含:数据传输码率M1,压缩技术采用全关键帧压缩法,不开启图像分层编码。
例如,PCIE接口进行有线连接场景下,PCIE接口的传输速率为5Gbps~10Gbps,此时数据传输码率M1可采用1Gbps。
另外,有线场景下,计算设备30采用的压缩技术可以是全I帧压缩法。
由于有线传输场景下数据传输通道的带宽较大,带宽受限的情况较少,计算设备30无需开启图像分层编码,即可保证图像传输的准确性。
其中,编码参数还可包含编码器的量化步长,图像预测算法的滤波器参数,输出图像的分辨率等。这些参数可根据显示图像分辨率和接口的传输速率计算得到。示例性的,第一编码参数中这些参数可根据显示图像分辨率和PCIE接口的传输速率确定,第二编码参数中这些参数可根据显示图像分辨率和无线连接的带宽确定。
本申请实施例中,步骤S103中有线传输场景下,被第一编码参数编码的显示数据为第一显示数据,编码后得到的编码数据为第一编码数据。
S104、计算设备30通过有线连接,向交互设备20发送编码数据。
S105、交互设备20将编码数据进行解码,并进行二次渲染得到待显示数据。
本申请实施例中,交互设备20可使用与第一编码参数对应的解码参数对编码数据进行解码。具体的,在有线连接的场景下,压缩技术采用全关键帧压缩法,不开启图像分层编码。则交互设备20在对编码数据进行解码时,对于每帧数据,仅用该帧的数据即可解码出完整的图像,无需在解码时结合之前帧画面。由于未开启图像分层编码,交互设备20也无需分别解码基本层和增强层。
其中,交互设备20中经过PCIE接口接收的编码数据可经由总线传输给视频播放模块204,视频播放模块204对编码数据进行解码后可将数据传输给控制器203进行二次渲染,从而得到待显示数据。该待显示数据可经由MIPI DIS传输给显示屏,在显示屏上显示画面。
S106、交互设备20根据待显示数据在显示屏上显示画面。
解码后得到的待显示数据可在显示屏上进行显示。在本申请的一些实施例中,交互设备20可根据待显示数据进行二次渲染,二次渲染后将得到的数据在显示屏上进行显示。关于二次渲染可参考步骤S113的描述。
S107、计算设备30通过传感器301检测到第一事件。第一事件指示计算设备30对应位置被触控或者被接近。
第一事件对应用户将有线接口的线拔出的用户操作。例如传感器301为温度传感器,当用户操作有线接口上安装的接线以拔出接线时,用户可接触或靠近温度传感器。从而温度传感器检测到温度达到设定值(例如大于或等于35℃),则触发第一事件。
可以理解的,上述以温度传感器为例进行介绍,不限于温度传感器,还可以是其他类型的传感器,例如湿度传感器、压力传感器、指纹传感器等。对于指纹传感器来说,检测到指纹特征,则触发第一事件。
S108、交互设备20通过传感器214检测到第二事件。第二事件对应用户将有线接口的线拔出的用户操作。
与第一事件类似,第二事件指示交互设备20对应位置被触控或者被接近。例如传感器214为温度传感器,当用户操作有线接口上安装的接线以拔出接线时,用户可接触或靠近温度传感器。从而温度传感器检测到温度达到设定值(例如大于或等于35℃),则触发第二事件。
本申请实施例中,交互设备20可在设定时间内均检测到第二事件,才执行步骤S109。类似的,计算设备30可在设定时间内均检测到第一事件,才执行步骤S110。
在本申请的一些实施例中,交互设备20可以是VR眼镜或者AR眼镜。该眼镜上的镜腿上设置有USB接口,用于与计算设备30建立有线连接,则在眼镜镜腿的外立面可设置有压力传感器。该压力传感器即为传感器214,用于检测第二事件。
S109、交互设备20向计算设备30发送第一通知,指示已检测到第二事件。
在本申请的一些实施例中,交互设备20到第二事件后,可显示提示,以提示用户当前正在断开有线连接。例如,提示“正在断开有线连接,尝试无线连接传输视频数据”。
本申请实施例中,该第一通知可通过有线连接(例如PCIE接口连接)传输给计算设备30。
S110、计算设备30根据第一事件与第一通知,启动Wi-Fi模块。
在一种可能的实施例中,当计算设备30检测到第一事件和第一通知中的任一个时,则触发启动Wi-Fi模块。在另一种可能的实施例中,当计算设备30检测到第一事件且接收到第一通知时,才触发启动Wi-Fi模块。
交互设备20上Wi-Fi模块也处于启动状态。在一种可能的实施例中,交互设备20可根据第二事件,启动Wi-Fi模块。
本申请实施例中,第一事件、第二事件不限于通过传感器检测来触发,还可以是其他用户操作触发,例如,计算设备30上特定物理按键的按压操作,可触发计算设备30检测到第一事件。再例如,计算设备30显示的用户界面上特定控件的触控操作,可触发计算设备30检测到第一事件。又例如,当检测到特定手势信号、特定语音信号等信号时,则计算设备30触发检测到第一事件。
这样,用户可执行上述用户操作(例如特定物理按键的按压操作、特定控件的触控操作、特定手势信号、特定语音信号)。则计算设备30触发检测到第一事件,可根据第一事件启动Wi-Fi模块。之后用户可将计算设备30和交互设备20之间的有线连接断开(例如拔掉接线),计算设备30仍然可响应于检测到的第一事件,建立与交互设备20之间的Wi-Fi连接,并通过Wi-Fi连接传输编码数据。
类似的,第二事件也可通过用户操作触发。例如,以下任一个用户操作可触发交互设备20检测到第二事件:交互设备20上特定物理按键的按压操作、用户界面上特定控件的选中操作、特定手势信号、特定语音信号等。
S111、当建立与交互设备20之间的Wi-Fi连接时,计算设备30通过第二编码参数对显示数据进行编码得到编码数据。
本申请实施例中,步骤S111中无线传输场景下,被第一编码参数编码的显示数据为第二显示数据,编码后得到的编码数据为第二编码数据。
本申请实施例中,在步骤S110之前,计算设备30与交互设备20之间已完成Wi-Fi配对。其中,Wi-Fi配对的过程可包含发现、验证过程。具体的,计算设备30和交互设备20均开启Wi-Fi模块。在发现阶段,交互设备20可发射Wi-Fi广播,该Wi-Fi广播可携带交互设备20的设备地址。计算设备30可搜索到该Wi-Fi广播,并根据携带的交互设备20的设备地址显示设备标识。在验证阶段,计算设备30可接收到作用在该设备标识的用户操作,响应于该用户操作,计算设备30可完成Wi-Fi配对。完成Wi-Fi配对后,计算设备30可与交互设备20建立Wi-Fi连接。完成Wi-Fi配对之后,以后无需在配对即可建立计算设备30与交互设备20之间的Wi-Fi连接。
在无线传输场景下第二编码参数可包含:数据传输码率M2,压缩技术采用P帧参考压缩法,开启图像分层编码。
数据传输码率M2可小于有线场景下数据传输码率M1。例如,采用Wi-Fi传输数据,可用的带宽为100Mbps,此时数据传输码率M1可采用30Mbps。
另外,无线场景下,计算设备30采用的压缩技术可以是P帧参考压缩法。无线场景下,计算设备30采用的压缩技术还可以是I帧+P帧压缩法。
在无线传输场景下,计算设备30可开启图像分层编码。这样,在无线传输带宽受限时,保证图像传输的准确性。具体的,在无线传输场景下,计算设备30可将图像数据分为基本层和增强层。其中,基本层包含了图像最基本的信息,是图像质量的最低要求。增强层包含了图像中的细节信息,是图像解码的可选信息。分层编码后在进行解码时,交互设备20首先得到基本层的码流,解码并重建低质量的图像,如果无线传输带宽富余则交互设备20再接收并解码增强层的码流,得到高质量的图像。
本申请实施例中,第二编码参数与无线连接匹配,是指,第二编码参数根据无线连接的带宽确定。
可以理解的,上述对有线、无线两种场景下的编码参数的举例仅用于解释本申请实施例,不应构成限定。两种场景下还可以有其他类型或取值的编码参数。上述分层编码也不限于分为两层(基本层和增强层),计算设备30在无线传输时还可以分为更多的层进行分层编码,本申请实施例对此不作限定。
在一种可能的实现方式中,当建立与交互设备20之间的Wi-Fi连接时,计算设备30从当前时刻正在编码的一帧图像的下一帧图像开始,通过第二编码参数进行编码。
S112、计算设备30通过Wi-Fi连接,向交互设备20发送编码数据。
S113、交互设备20将编码数据进行解码,并进行二次渲染得到待显示数据。
本申请实施例中,交互设备20可使用与第二编码参数对应的解码参数对编码数据进行解码。具体的,在无线连接(Wi-Fi连接)的场景下,压缩技术采用P帧参考压缩法,开启图像分层编码。则交互设备20在对编码数据进行解码时,对于每帧数据,解码时用之前帧画面叠加上本帧定义的差别,生成本帧最终画面。由于开启图像分层编码,交互设备20解码基本层的码流,重建低质量的图像。如果无线传输带宽富余则交互设备20再接收并解码增强层的码流,得到高质量的图像。
S114、交互设备20根据待显示数据在显示屏上显示画面。
本申请实施例中,待显示数据可存储在缓存(buffer)中,DSS可从缓存中读取待显示数据并通过MIPI DIS输出到显示屏(例如触控屏211)。
在本申请的另一些实施例中,计算设备30可根据第一事件和第一通知在建立无线连接之前,即将编码参数切换为第二编码参数。则建立无线连接之后,即可利用与无线连接匹配的第二编码参数传输显示数据。这样,减少了已切换为无线连接但是编码参数依然是第一编码参数,无法通过无线连接传输显示数据的情况,从而可减少有线切无线时显示画面卡顿的情况,提高显示画面的流畅性。则有线传输场景下,切换为第二编码参数后,被第二编码参数编码的显示数据为第三显示数据,编码后得到的编码数据为第三编码数据。
其中,当编码参数为第二编码参数时,无线连接可能仍未建立起来,如果计算设备30和交互设备20之间依然建立有有线连接,则计算设备30可将通过第二编码参数编码得到的编码数据,通过有线连接发送给交互设备20。
图3所描述的数据传输方法中,计算设备30和交互设备20组成的交互系统在传输数据过程中,两设备之间的有线连接断开,则计算设备30和交互设备20之间可建立起无线连接,通过该无线连接继续传输数据。这样,无需用户手动建立无线连接,也无需手动重新开启数据传输,从而提高数据传输的便利性。
例如,在计算设备30向交互设备20传输显示数据使得交互设备显示视频的场景下,计算设备30和交互设备20之间有线连接断开,计算设备30和交互设备20之间依然可建立起无线连接,并继续通过该无线连接传输显示数据。这样,即使有线连接断开,交互设备20依然能够继续播放视频,从而提升了交互设备20视频播放的便利性。
下面以计算设备30为智能手机/平板电脑,交互设备为AR/VR眼镜举例介绍。请参阅图4,图4是本申请实施例提供的一种场景示意图。如图4中的(A)所示,计算设备30和交互设备20可均包含PCIE接口,计算设备30的PCIE接口和交互设备20的PCIE接口之间可通过接线连接。计算设备30可通过接线向交互设备20传输编码数据,交互设备20可将编码数据进行解码并通过显示屏显示画面。如图4中的(A)所示,交互设备20显示的界面即为编码数据进行解码后显示的内容。
计算设备30上课包含温湿度传感器301。如图4中的(B)所示,当用户将接线从计算设备30的PCIE接口拔出时,计算设备30的温湿度传感器301可检测到第一事件。响应于该第一事件,计算设备30可开启Wi-Fi模块,并建立起与交互设备20的Wi-Fi连接。如图4中的(C)所示,在有线连接断开后,计算设备30仍然可继续通过Wi-Fi连接向交互设备20传输编码数据。交互设备20的显示屏上显示的界面可不中断。交互设备20依然能够继续播放视频,从而提升了交互设备20视频播放的便利性。
在一种可能的实现中,计算设备30的温湿度传感器301可检测到第一事件。响应于该第一事件,计算设备30还可通知交互设备20。交互设备20接收到通知后,可显示提示,示例性的如图4中的(B)所示,交互设备20可显示提示216,提示“正在断开有线连接,尝试无线连接传输视频数据”。
可以理解的,本申请实施例以有线连接为例进行介绍,但是不限于有线连接,有线连接还可替换为其他高速连接,例如毫米波短距离连接,光传输连接等。
图3所描述的实施例中,以计算设备30与交互设备20之间传输的编码数据为显示数据为例进行介绍。不限于显示数据,两设备之间传输的编码数据还可以包含其他类型的数据,例如音频数据等等。在一种可能的实现方式中,与显示数据对应播放的音频数据也可通过计算设备30与交互设备20之间的连接传输。当计算设备30与交互设备20之间通过有线连接时,音频数据被编码采用的编码参数也可以是第一编码参数。
本申请实施例中,当交互设备20向计算设备30传输数据时,传输数据的方式也可在有线方式与无线方式之间切换。相应的,在传输数据的方式切换时,交互设备20将所传输数据编码的编码参数进行切换。交互设备20向计算设备30传输的数据例如是交互设备20通过摄像头采集的摄像数据。以传输数据的方式从有线方式切换为无线方式为例,在有线场景下,交互设备20中控制器203调用MIPI CSI接口读取摄像头采集的图像,每次读取设定行数(例如64行)的摄像头数据。摄像头数据可传输ISP,转化为肉眼可见的图片或视频,还可对图像的噪点,亮度,肤色进行算法优化得到显示数据。显示数据可经由VENC通过第三编码参数进行编码得到编码数据。编码数据经由有线连接(例如PCIE接口连接)由交互设备20传输给计算设备30。
本申请实施例中,有线传输场景下,被第三编码参数编码的摄像头的显示数据为第四显示数据,编码后得到的编码数据为第四编码数据。摄像头的显示数据可以是摄像头采集的摄像头数据经ISP处理后得到的显示数据。
其中,该第三编码参数类比第一编码参数,是有线连接对应的编码参数。当传输数据的方式为有线方式时,计算设备30可使用第三编码参数对应的解码参数进行解码。该第三编码参数可包含数据传输码率,压缩技术,还可包含编码器的量化步长,图像预测算法的滤波器参数,输出图像的分辨率等。第三编码参数可以和第一编码参数相同,也可以不同,本申请实施例对此不作限定。
当交互设备20通过传感器214检测到第二事件时,交互设备20通过Wi-Fi模块与计算设备30建立无线连接。当建立起Wi-Fi连接时,交互设备20可将当前正在编码的数据帧之后的数据帧通过第四编码参数进行编码得到编码数据。编码后得到的编码数据经由Wi-Fi连接传输给计算设备30。
本申请实施例中,无线传输场景下,被第四编码参数编码的摄像头的显示数据为第五显示数据,编码后得到的编码数据为第五编码数据。摄像头的显示数据可以是摄像头采集的摄像头数据经ISP处理后得到的显示数据。
其中,该第四编码参数类比第二编码参数,是无线连接对应的编码参数。该第四编码参数也可包含数据传输码率,压缩技术,还可包含编码器的量化步长,图像预测算法的滤波器参数,输出图像的分辨率等。第四编码参数可以和第二编码参数相同,也可以不同,本申请实施例对此不作限定。
当传输数据的方式为无线方式时,计算设备30可使用第四编码参数对应的解码参数进行解码。
其中,交互设备20中摄像头采集的图像数据可由视频采集模块205接收并进行编码,得到编码数据。该编码数据可经由有线连接(例如PCIE接口连接)传输给计算设备30。
(2)无线方式切换为有线方式过程
以计算设备30和交互设备20之间由Wi-Fi连接切换为PCIE接口连接为例进行介绍。当计算设备30和交互设备20通过Wi-Fi连接时,计算设备30对原始显示数据进行一次渲染得到显示数据后,通过第二编码参数对显示数据进行编码得到编码数据。计算设备30将编码数据通过Wi-Fi连接发送给交互设备20。交互设备20将编码数据进行解码,并进行二次渲染得到待显示数据,并在显示屏上显示画面。在该无线传输场景下,被第一编码参数编码的显示数据为第二显示数据,编码后得到的编码数据为第二编码数据。
当交互设备20与计算设备30之间建立起有线连接时,计算设备30可通过第一编码参数对显示数据进行编码得到编码数据。计算设备30将编码数据通过有线连接发送给交互设备20。交互设备20将编码数据进行解码,并进行二次渲染得到待显示数据,并在显示屏上显示画面。在该有线传输场景下,被第一编码参数编码的显示数据为第六显示数据,编码后得到的编码数据为第六编码数据。
其中,第二编码参数是无线连接对应的编码参数,第一编码参数是有线连接对应的编码参数,具体可参考图3所描述实施例。
在本申请的一些实施例中,当交互设备20与计算设备30之间建立起有线连接时,交互设备20可显示提示,以提示用户当前已建立有线连接,将通过有线连接传输显示数据。例如,提示“已建立起有线连接,尝试有线连接传输视频数据”。
在本申请的一些实施例中,当交互设备20向计算设备30传输数据时,传输数据的方式也可从无线方式切换为有线方式。相应的,在传输数据的方式切换时,交互设备20将所传输数据编码的编码参数进行切换。交互设备20向计算设备30传输的数据例如是交互设备20通过摄像头采集的摄像头数据。在计算设备30和交互设备20之间建立无线连接但未建立起有线连接时,交互设备20中控制器203调用MIPI CSI接口读取摄像头采集的摄像头数据,每次读取设定行数(例如64行)的摄像头数据。摄像头数据传输ISP,转化为肉眼可见的图片或视频,还可对图像的噪点,亮度,肤色进行算法优化得到显示数据。显示数据可传输给VENC通过第四编码参数进行编码得到编码数据。编码数据经由无线连接(例如Wi-Fi连接)由交互设备20传输给计算设备30。
当交互设备20检测到建立起有线连接时,交互设备20可通过第三编码参数对显示数据进行编码得到编码数据。交互设备20将编码数据通过有线连接发送给计算设备30。计算设备30将编码数据进行解码,并进行二次渲染得到待显示数据,在显示屏上显示画面。或者计算设备30存储该待显示数据。
其中,第四编码参数是无线连接对应的编码参数,第三编码参数是有线连接对应的编码参数,具体可参考图3所描述实施例。
在本申请的一些实施例中,交互设备20的主芯片2011上包含DP接口,该DP接口可通过总线206与MIPI DSI接口连接。在通过有线方式传输数据时,计算设备20通过交互设备20的DP接口传输待显示数据,DP接口接收的数据经由交互设备20的MIPI DSI接口传输给显示屏进行显示。在另一种实现中,交互设备20的DP接口接收的数据为解码后的解码数据,该解码数据是经过一次渲染的数据。控制器203对解码数据进行二次渲染得到待显示数据,并将待显示数据送到MIPI DSI接口传输给显示屏进行显示。
在本申请的一些实施例中,计算设备30和交互设备20之间连接方式改变时,计算设备30可不改变编码参数,交互设备20也可不改变解码参数。具体的,有线传输方式下,计算设备30可使用第二编码参数(例如为数据传输码率M2,压缩技术采用P帧参考压缩法,开启图像分层编码)进行编码得到编码数据,并将编码数据通过有线连接传输给交互设备20。当计算设备30检测到第一事件或第一通知,计算设备30可开启Wi-Fi模块,建立与交互设备20之间的Wi-Fi连接。建立Wi-Fi连接之后,计算设备30可仍然使用第二编码参数编码得到编码数据,并将编码数据通过无线连接传输给交互设备20。类似的,无线传输方式切换为有线传输方式时,计算设备30可依然均使用第二编码参数编码得到编码数据,并向交互设备20传输编码数据。
类似的,交互设备20向计算设备30传输数据过程,无论有线传输还是无线传输,交互设备20可均使用第四编码参数对显示数据进行编码,并将得到的编码数据传输给计算设备30。在有线传输和无线传输时,计算设备30可使用第四编码参数对应的解码参数进行解码。
其中,在有线传输和无线传输时,使用的编码参数需满足有线传输的带宽要求且满足无线传输的带宽要求。
本申请实施例中,对显示数据进行低延迟编码时,计算设备30可将每帧图像数据分割成多个数据,每个数据对应图像的一个区域,分别对这多个区域对应的数据进行编码,每个区域对应的数据编码后即可传输给交互设备20,无需等到整帧图像编码完成才开始传输。
本申请实施例中,当计算设备30和交互设备20之间建立无线连接(例如Wi-Fi连接)时,计算设备30可在传输显示数据时使用上述分割编码并传输的方法。具体的,一帧图像可划分为多个片(即条带)(slice),每个片的数据编码都是独立的。在编码时,每一个片中的编码树单元(coding tree unit,CTU)按光栅扫描顺序进行编码。每个片编码完成即可通过无线连接发送到交互设备20。这样,计算设备30可在进行编码的同时传输已编码完成的数据,无需等到一帧图像全部编码才传输该图像数据,从而减少了显示数据传输的延迟。
基于图2所描述的系统架构,为减小交互设备显示视频时的延时,减少视频播放时画面的卡顿,本申请实施例提供一种数据传输方法。该数据传输方法中,在无线传输显示数据的场景中,计算设备30将每一帧图像划分为注视区域和非注视区域。计算设备30首先对注视区域对应的数据进行编码,编码完成则传输给交互设备20。注视区域对应的数据编码完成后,再对非注视区域对应的数据进行编码,传输给交互设备20。
具体的,以交互设备为VR眼镜为例,计算设备30先对一帧图像的注视区域对应的数据进行编码,并且经过无线方式进行传输给VR眼镜。VR眼镜接收到该部分数据后,进行解码,经过二次渲染后输出给显示屏进行显示。计算设备20在对该帧图像的注视区域对应数据编码完成后,才对该帧图像的非注视区域对应的显示数据进行编码。VR眼镜在将注视区域对应的数据输出给显示屏进行显示之后,如果设定时间内未接收到该帧图像对应的非注视区域的数据,则根据上一帧图像的非注视区域的数据矫正后作为本帧图像的非注视区域的数据,输出给显示屏进行显示。
下面具体介绍该数据传输方法,请参阅图5,图5是本申请实施例提供的一种数据传输方法的流程示意图。如图5所示,该数据传输方法可包含步骤S201~S209。
S201、计算设备30与交互设备20之间建立无线连接。
S202、计算设备30将一帧图像的注视区域对应的数据进行编码,得到注视区域对应的编码数据。
本申请实施例中,一帧图像的注视区域和非注视区域的划分可根据眼球关注的规律确定。具体的,将眼球重点关注的区域作为一帧图像的注视区域优先传输,注视区域以外的图像区域为非注视区域。本申请实施例对一帧图像注视区域和非注视区域的划分的具体算法不作限定。例如,眼球视场中央凹区域为注视区域,即高视敏度(high acuity,HA)区域,而中央凹区域以外的视场为非注视区域。下面介绍一种一帧图像的注视区域的确定方法示例。
图像的注视区域可根据用户眼球视线确定,例如图像中以用户视线为中心,周围设定区域内的像素区域为注视区域,注视区域以外的图像区域为非注视区域。其中设定区域可以是矩形区域、圆形区域还可以是其他形状的区域,本申请实施例对此不作限定。
可选的,注视区域还可根据交互设备的眼动追踪进行更新,确保注视区域与眼球视线保持一致,从而为用户提供视场范围内注视区域恒定高质量的图像。
本申请实施例中,计算设备30对注视区域对应的数据和非注视区域对应的数据进行编码,采用的编码参数可以是无线传输方式下的编码参数,例如是前例中的第二编码参数,第二编码参数可参考图3所描述的实施例。
S203、计算设备30通过无线连接向交互设备20发送注视区域对应的编码数据。
S204、交互设备20对注视区域对应的编码数据进行解码,经过二次渲染得到注视区域的解码数据。
S205、计算设备30完成注视区域对应的数据编码之后,对非注视区域对应的数据进行分辨率调小,并进行编码,得到非注视区域对应的编码数据。
本申请实施例中,为提高传输效率,计算设备30可将非注视区域的分辨率调小并编码传输,交互设备20在接收到编码数据后,可解码并调大非注视区域的分辨率。
S206、计算设备30通过无线连接向交互设备20发送非注视区域对应的编码数据。
S207、交互设备20得到注视区域的解码数据之后,设定时间内未接收到该帧图像的非注视区域对应的编码数据,则交互设备20获取上一帧图像的非注视区域的数据。
S208、交互设备20将上一帧图像的非注视区域的解码数据进行调大分辨率、二次渲染得到预测的非注视区域的解码数据。
其中,二次渲染过程可根据上一帧图像的非注视区域预测得到本帧图像的非注视区域的解码数据。
S209、交互设备20将预测的非注视区域的解码数据与注视区域的解码数据进行拼接,输出给显示屏进行显示。
调大分辨率后,非注视区域的尺寸与步骤S205中调小分辨率之前的尺寸相同。本申请实施例中,调大分辨率、二次渲染可以是交互设备20中控制器203实现。另外,调大分辨率、二次渲染还可以是显示屏中的处理模块实现。
S210、交互设备20得到注视区域的解码数据之后,设定时间内接收到该帧图像的非注视区域对应的编码数据,交互设备20将非注视区域对应的编码数据进行解码、调大分辨率、二次渲染得到非注视区域的解码数据。
S211、交互设备20将非注视区域的解码数据与注视区域的解码数据进行拼接,输出给显示屏进行显示。
图5所描述的数据传输方法中,图像帧分区为注视区域和非注视区域,独立的进行编解码和传输,可在注视区域的数据传输和解码后交互设备20即可进行显示,无需完整的图像帧传输完成才显示,可减少交互设备20显示的时延。
在本申请的一种可能的实施例中,交互设备20和计算设备30可以是手机等电子设备的两部分机体。请参阅图6,图6是本申请实施例涉及的一种电子设备的结构示意图。如图6中的(A)和(B)所示,该电子设备包含第一部分(即交互设备20)和第二部分(即计算设备30)。交互设备20可独立运行各类应用,实现各种功能。计算设备30可与交互设备20合体,为交互设备20提供一定功能,例如为交互设备20充电,再例如,为交互设备20提供更强大的数据处理功能等等。交互设备20和计算设备30上均可包含压力传感器。
图6中的(A)所示出为计算设备30和交互设备20分体的状态,如图6中的(A)所示,计算设备30与交互设备20分体时,通过PCIE接口建立的有线连接断开,且交互设备20的压力传感器检测到数值与合体时的数值不同。计算设备30上压力传感器检测到的数值与合体时也不同。
图6中的(B)所示出为计算设备30和交互设备20合体的状态,如图6中的(B)所示,当交互设备20和计算设备30合体时,交互设备20和计算设备30通过有线接口(例如PCIE接口)连接。当交互设备20和计算设备30合体时,两设备卡合。交互设备20的压力传感器检测到数值与分体时的数值不同。计算设备30上压力传感器检测到的数值与分体时也不同。
当计算设备30与交互设备20由合体状态变为分体状态时,计算设备30上的压力传感器可检测到第一事件,交互设备20上压力传感器可检测到第二事件。计算设备30可根据第一事件和第二事件(或者指示第二事件的通知)改变编码参数。其中,交互设备20和计算设备30上还可包无线模块,例如Wi-Fi模块。交互设备20和计算设备30可通过Wi-Fi模块进行Wi-Fi配对,当交互设备20和计算设备30分体时,两设备可建立Wi-Fi连接。当计算设备30和交互设备20由分体状态变为合体状态时,计算设备30上的压力传感器也可检测到事件,交互设备20上压力传感器也可检测到事件。计算设备30和交互设备20还可检测到建立起PCIE连接。交互设备20和计算设备30可用于执行图3和图5所描述的数据传输方法。
在本申请的一些实施例中,计算设备30可与多个交互设备20连接,计算设备30可响应于NFC模块检测到的设备的变化,切换传输数据的交互设备20。
具体的,以计算设备30连接三个交互设备20为例,计算设备30传输显示数据为例进行介绍,计算设备30可分别与交互设备A、交互设备B和交互设备C连接,该连接可以是有线连接(例如USB连接),还可以是无线连接(例如Wi-Fi连接)。计算设备30、交互设备A、交互设备B和交互设备C上均可包含NFC模块。当用户想要通过交互设备A播放视频时,将交互设备A靠近计算设备30。当交互设备A靠近计算设备30时,计算设备30中的NFC模块检测到交互设备A中的NFC模块。则计算设备30将编码数据传输给交互设备A,交互设备A为AR/VR产品时,对编码数据解码、二次渲染并进行显示。交互设备A为非AR/VR产品时,对编码数据解码并进行显示。
当用户想要切换到交互设备B播放视频时,将交互设备B靠近计算设备30。当交互设备B靠近计算设备30时,计算设备30中的NFC模块检测到交互设备B中的NFC模块。则计算设备30可不再向交互设备A传输编码数据,而是将编码数据传输给交互设备B。交互设备B对编码数据解码、二次渲染并进行显示。
上述数据传输从交互设备A切换到交互设备B过程,向计算设备30传输数据的交互设备也可切换到B。具体的,当交互设备B中的NFC模块检测到计算设备30的NFC模块,可开始将交互设备B的摄像头采集的图像数据渲染、编码传输给计算设备30。当计算设备30中的NFC模块检测到交互设备B中的NFC模块时,计算设备30可不再从交互设备A接收编码数据,而是从交互设备B接收编码数据。
下面对本申请实施例涉及计算设备30进行介绍。请参阅图7,图7是本申请实施例提供的计算设备30的结构示意图。
应该理解的是,图7所示计算设备30仅是一个范例,并且计算设备30可以具有比图7中所示的更多的或者更少的部件,可以组合两个或多个的部件,或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
计算设备30可以包括:处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本发明实施例示意的结构并不构成对计算设备30的具体限定。在本申请另一些实施例中,计算设备30可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是计算设备30的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括(I2C接口,集成电路内置音频(inter-integrated circuit sound,I2S)接口,脉冲编码调制(pulsecode modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purpose input/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口,PCIE接口等。
I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串行时钟线(derail clock line,SCL)。在一些实施例中,处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K,充电器,闪光灯,摄像头193等。例如:处理器110可以通过I2C接口耦合触摸传感器180K,使处理器110与触摸传感器180K通过I2C总线接口通信,实现计算设备30的触摸功能。
I2S接口可以用于音频通信。在一些实施例中,处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合,实现处理器110与音频模块170之间的通信。在一些实施例中,音频模块170可以通过I2S接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。
PCM接口也可以用于音频通信,将模拟信号抽样,量化和编码。在一些实施例中,音频模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中,音频模块170也可以通过PCM接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。
UART接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中,UART接口通常被用于连接处理器110与无线通信模块160。例如:处理器110通过UART接口与无线通信模块160中的蓝牙模块通信,实现蓝牙功能。在一些实施例中,音频模块170可以通过UART接口向无线通信模块160传递音频信号,实现通过蓝牙耳机播放音乐的功能。
MIPI接口可以被用于连接处理器110与显示屏194,摄像头193等外围器件。MIPI接口包括MIPICSI,MIPIDSI等。在一些实施例中,处理器110和摄像头193通过MIPICSI接口通信,实现计算设备30的拍摄功能。处理器110和显示屏194通过MIPIDSI接口通信,实现计算设备30的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,GPIO接口可以用于连接处理器110与摄像头193,显示屏194,无线通信模块160,音频模块170,传感器模块180等。GPIO接口还可以被配置为I2C接口,I2S接口,UART接口,MIPI接口等。
USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于连接充电器为计算设备30充电,也可以用于计算设备30与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备,例如AR设备等。
可以理解的是,本发明实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对计算设备30的结构限定。在本申请另一些实施例中,计算设备30也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
本申请实施例中,在有线传输场景下,计算设备30通过上述接口中的一种(例如USB)向交互设备20传输编码数据。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过计算设备30的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,外部存储器,显示屏194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
计算设备30的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。计算设备30中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在计算设备30上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。无线通信模块160可以提供应用在计算设备30上的包括无线局域网(wireless local area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(globalnavigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在无线传输场景下,计算设备30通过上述Wi-Fi模块或者其他无线模块经由天线2向交互设备20传输编码数据。
在一些实施例中,计算设备30的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得计算设备30可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(codedivision multiple access,CDMA),宽带码分多址(wideband code division multipleaccess,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(global navigation satellite system,GLONASS),北斗卫星导航系统(beidounavigation satellite system,BDS),准天顶卫星系统(quasi-zenith satellitesystem,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。
计算设备30通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。具体的,例如GPU可用于执行图3所描述实施例步骤S102中的一次渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,计算设备30可以包括1个或N个显示屏194,N为大于1的正整数。
计算设备30可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,计算设备30可以包括1个或N个摄像头193,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当计算设备30在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。计算设备30可以支持一种或多种视频编解码器。这样,计算设备30可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
本申请实施例中,在有线传输场景,视频编解码器可通过第一编码参数对显示数据进行编码得到编码数据。在无线传输场景,视频编解码器可通过第二编码参数对显示数据进行编码得到编码数据。其中,第一编码参数和第二编码参数可参考图3所示示例的描述。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现计算设备30的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展计算设备30的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行计算设备30的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储计算设备30使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
计算设备30可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。计算设备30可以通过扬声器170A收听音乐,或收听免提通话。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当计算设备30接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。计算设备30可以设置至少一个麦克风170C。在另一些实施例中,计算设备30可以设置两个麦克风170C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,计算设备30还可以设置三个,四个或更多麦克风170C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。当有触摸操作作用于显示屏194,计算设备30根据压力传感器180A检测所述触摸操作强度。计算设备30也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
陀螺仪传感器180B可以用于确定计算设备30的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定计算设备30围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器180B检测计算设备30抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消计算设备30的抖动,实现防抖。陀螺仪传感器180B还可以用于导航,体感游戏场景。
气压传感器180C用于测量气压。在一些实施例中,计算设备30通过气压传感器180C测得的气压值计算海拔高度,辅助定位和导航。
磁传感器180D包括霍尔传感器。计算设备30可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中,当计算设备30是翻盖机时,计算设备30可以根据磁传感器180D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态,设置翻盖自动解锁等特性。
加速度传感器180E可检测计算设备30在各个方向上(一般为三轴)加速度的大小。当计算设备30静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。
距离传感器180F,用于测量距离。计算设备30可以通过红外或激光测量距离。在一些实施例中,拍摄场景,计算设备30可以利用距离传感器180F测距以实现快速对焦。
接近光传感器180G可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。计算设备30通过发光二极管向外发射红外光。计算设备30使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定计算设备30附近有物体。当检测到不充分的反射光时,计算设备30可以确定计算设备30附近没有物体。
环境光传感器180L用于感知环境光亮度。计算设备30可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。
指纹传感器180H用于采集指纹。计算设备30可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
温度传感器180J用于检测温度。在一些实施例中,计算设备30利用温度传感器180J检测的温度,执行温度处理策略。例如,当温度传感器180J上报的温度超过阈值,计算设备30执行降低位于温度传感器180J附近的处理器的性能,以便降低功耗实施热保护。在另一些实施例中,当温度低于另一阈值时,计算设备30对电池142加热,以避免低温导致计算设备30异常关机。在其他一些实施例中,当温度低于又一阈值时,计算设备30对电池142的输出电压执行升压,以避免低温导致的异常关机。
本申请实施例中,用于与交互设备20连接的有线接口(例如PCIE接口)处也可设置有以下传感器中的一种或多种:温度传感器180J、湿度传感器、接近光传感器180G、压力传感器180A、指纹传感器180H。该传感器可用于检测图3所描述实施例中步骤S107的第一事件。第一事件对应用户将接线从计算设备30的有线接口拔出的用户操作。例如该传感器为温度传感器180J,当用户操作有线接口上安装的接线以拔出接线时,用户可接触或靠近温度传感器180J。从而温度传感器180J检测到温度达到设定值(例如大于或等于35℃),则触发第一事件。
触摸传感器180K,也称“触控面板”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于计算设备30的表面,与显示屏194所处的位置不同。
骨传导传感器180M可以获取振动信号。在一些实施例中,骨传导传感器180M可以获取人体声部振动骨块的振动信号。骨传导传感器180M也可以接触人体脉搏,接收血压跳动信号。在一些实施例中,骨传导传感器180M也可以设置于耳机中,结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180M获取的声部振动骨块的振动信号,解析出语音信号,实现语音功能。应用处理器可以基于所述骨传导传感器180M获取的血压跳动信号解析心率信息,实现心率检测功能。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。计算设备30可以接收按键输入,产生与计算设备30的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和计算设备30的接触和分离。计算设备30可以支持1个或N个SIM卡接口,N为大于1的正整数。
本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在计算机或处理器上运行时,使得计算机或处理器执行上述任一个方法中的一个或多个步骤。
本申请实施例还提供了一种包含指令的计算机程序产品。当该计算机程序产品在计算机或处理器上运行时,使得计算机或处理器执行上述任一个方法中的一个或多个步骤。
在上述实施例中,全部或部分功能可以通过软件、硬件、或者软件加硬件的组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如,固态硬盘(solidstate disk,SSD))等。
以上所述,仅为本申请实施例的具体实施方式,但本申请实施例的保护范围并不局限于此,任何在本申请实施例揭露的技术范围内的变化或替换,都应涵盖在本申请实施例的保护范围之内。因此,本申请实施例的保护范围应以所述权利要求的保护范围为准。
Claims (26)
1.一种数据传输方法,其特征在于,所述方法包括:
计算设备与交互设备之间建立有线连接;
所述计算设备利用第一编码参数对第一显示数据进行编码,并将得到的第一编码数据通过有线连接发送给所述交互设备,所述第一编码参数是与所述有线连接匹配的编码参数;
所述交互设备利用所述第一编码参数对应的解码参数对所述第一编码数据进行解码,并通过显示屏进行显示;
所述计算设备检测到第一事件,所述第一事件对应断开所述有线连接的用户操作;
响应于所述第一事件,所述计算设备建立与所述交互设备之间的无线连接;
所述计算设备利用第二编码参数对第二显示数据进行编码,并将得到的第二编码数据通过所述无线连接发送给所述交互设备,所述第二编码参数是与所述无线连接匹配的编码参数;
所述交互设备利用所述第二编码参数对应的解码参数对所述第二编码数据进行解码,并通过显示屏进行显示。
2.根据权利要求1所述的方法,其特征在于,所述无线连接为Wi-Fi连接,所述计算设备建立与所述交互设备之间的无线连接之前,所述方法还包括:
所述计算设备与所述交互设备之间进行Wi-Fi配对;
响应于所述第一事件,所述计算设备建立与所述交互设备之间的无线连接,包括:
响应于所述第一事件,所述计算设备启动所述Wi-Fi模块,并通过所述Wi-Fi模块建立与所述交互设备之间的Wi-Fi连接。
3.根据权利要求1或2所述的方法,其特征在于,所述计算设备利用第二编码参数对第二显示数据进行编码,并将得到的第二编码数据通过所述无线连接发送给所述交互设备之前,所述方法还包括:
响应于所述第一事件,所述计算设备利用所述第二编码参数对第三显示数据进行编码,并将得到第三编码数据通过所述有线连接发送给所述交互设备;
所述交互设备利用所述第二编码参数对应的解码参数对所述第三编码数据进行解码,并通过显示屏进行显示;
所述计算设备利用第二编码参数对第二显示数据进行编码,并将得到的第二编码数据通过所述无线连接发送给所述交互设备,包括:
当所述计算设备建立与所述交互设备之间的无线连接时,所述计算设备利用所述第二编码参数对第二显示数据进行编码,并将得到第二编码数据通过所述无线连接发送给所述交互设备。
4.根据权利要求1至3任一项所述的方法,其特征在于,所述计算设备利用第二编码参数对第二显示数据进行编码,并将得到的第二编码数据通过所述无线连接发送给所述交互设备,包括:
所述计算设备利用所述第二编码参数,对一帧图像的注视区域对应的数据进行编码得到注视区域对应的编码数据;所述一帧图像为所述第二显示数据中的任一帧图像;
所述计算设备将所述注视区域对应的编码数据通过所述无线连接发送给所述交互设备;
当所述一帧图像的注视区域对应的数据编码完成时,所述计算设备利用所述第二编码参数,对一帧图像的非注视区域对应的数据进行编码得到非注视区域对应的编码数据;
其中,所述非注视区域为一帧图像中所述注视区域以外的区域;
所述计算设备将所述非注视区域对应的编码数据通过所述无线连接发送给所述交互设备。
5.根据权利要求4所述的方法,其特征在于,所述交互设备利用所述第二编码参数对应的解码参数对所述第二编码数据进行解码,并通过显示屏进行显示,包括:
当接收到所述注视区域对应的编码数据时,所述交互设备将所述注视区域对应的编码数据进行解码,得到所述注视区域对应的解码数据;
当接收到所述注视区域对应的编码数据之后设定时间内接收到所述非注视区域对应的编码数据时,所述交互设备将所述注视区域对应的编码数据进行解码,得到所述非注视区域对应的解码数据;
所述交互设备将所述注视区域对应的解码数据和所述非注视区域对应的解码数据进行合成并通过显示屏进行显示。
6.根据权利要求5所述的方法,其特征在于,所述交互设备将所述注视区域对应的编码数据进行解码,得到所述注视区域对应的解码数据之后,所述方法还包括:
当接收到所述注视区域对应的编码数据之后设定时间内未接收到所述非注视区域对应的编码数据时,所述交互设备根据所述一帧图像的上一帧图像的非注视区域对应的解码数据,得到所述一帧图像的非注视区域对应的解码数据;
所述交互设备将所述注视区域对应的解码数据和所述非注视区域对应的解码数据进行合成并通过显示屏进行显示。
7.根据权利要求1至6任一项所述的方法,其特征在于,所述计算设备与交互设备之间建立有线连接之后,所述方法还包括:
所述交互设备检测到第二事件,所述第二事件对应断开所述有线连接的用户操作;
所述交互设备通过所述有线连接向所述计算设备发送第一通知,所述第一通知指示检测到所述第二事件;
所述响应于所述第一事件,所述计算设备建立与所述交互设备之间的无线连接,包括:
响应于所述第一事件和所述第一通知,所述计算设备建立与所述交互设备之间的无线连接。
8.根据权利要求7所述的方法,其特征在于,所述计算设备与交互设备之间建立有线连接之后,所述交互设备检测到第二事件之前,所述方法还包括:
所述交互设备利用第三编码参数对摄像头采集的第四显示数据进行编码,并将得到的第四编码数据通过所述有线连接发送给所述计算设备;
所述计算设备建立与所述交互设备之间的无线连接之后,所述方法还包括:
所述交互设备利用第四编码参数对所述摄像头采集的第五显示数据进行编码,并将得到的第五编码数据通过所述无线连接发送给所述计算设备。
9.根据权利要求1至8任一项所述的方法,其特征在于,所述第一显示数据、所述第二显示区域和所述第三显示数据中的图像帧被分为多个片区;
所述多个片区中一个片区由所述计算设备编码得到所述一个片区对应的编码数据,并由所述计算设备传输给所述交互设备;所述一个片区编码完成后,所述多个片区中另一个片区由所述计算设备编码得到所述另一个片区对应的编码数据,并由所述计算设备传输给所述交互设备;
所述一个片区对应的编码数据和所述另一个片区对应的编码数据由所述交互设备依次进行解码。
10.根据权利要求1至9任一项所述的方法,其特征在于,所述计算设备利用第二编码参数对第二显示数据进行编码,并将得到的第二编码数据通过所述无线连接发送给所述交互设备之后,所述方法还包括:
当所述交互设备与所述计算设备之间建立有线连接时,所述计算设备利用所述第一编码参数对第六显示数据进行编码,并将得到的第六编码数据通过有线连接发送给所述交互设备;
所述交互设备利用所述第一编码参数对应的解码参数对所述第六编码数据进行解码,并通过显示屏进行显示。
11.根据权利要求1至10任一项所述的方法,其特征在于,所述有线连接为以下连接中的任一个:
高速串行计算机扩展总线标准PCIE接口连接、显示接口DP连接、USB接口连接。
12.一种数据传输方法,其特征在于,所述方法包括:
计算设备与交互设备之间建立有线连接;
所述计算设备利用第一编码参数对第一显示数据进行编码,并将得到的第一编码数据通过有线连接发送给所述交互设备,所述第一编码参数是与所述有线连接匹配的编码参数;
所述计算设备检测到第一事件,所述第一事件对应断开所述有线连接的用户操作;
响应于所述第一事件,所述计算设备建立与所述交互设备之间的无线连接;
所述计算设备利用第二编码参数对第二显示数据进行编码,并将得到的第二编码数据通过所述无线连接发送给所述交互设备,所述第二编码参数是与所述无线连接匹配的编码参数。
13.根据权利要求12所述的方法,其特征在于,所述无线连接为Wi-Fi连接,所述计算设备建立与所述交互设备之间的无线连接之前,所述方法还包括:
所述计算设备与所述交互设备之间进行Wi-Fi配对;
响应于所述第一事件,所述计算设备建立与所述交互设备之间的无线连接,包括:
响应于所述第一事件,所述计算设备启动所述Wi-Fi模块,并通过所述Wi-Fi模块建立与所述交互设备之间的Wi-Fi连接。
14.根据权利要求12或13所述的方法,其特征在于,所述计算设备利用第二编码参数对第二显示数据进行编码,并将得到的第二编码数据通过所述无线连接发送给所述交互设备之前,所述方法还包括:
响应于所述第一事件,所述计算设备利用所述第二编码参数对第三显示数据进行编码,并将得到第三编码数据通过所述有线连接发送给所述交互设备;
所述计算设备利用第二编码参数对第二显示数据进行编码,并将得到的第二编码数据通过所述无线连接发送给所述交互设备,包括:
当所述计算设备建立与所述交互设备之间的无线连接时,所述计算设备利用所述第二编码参数对第二显示数据进行编码,并将得到第二编码数据通过所述无线连接发送给所述交互设备。
15.根据权利要求12至14任一项所述的方法,其特征在于,所述计算设备利用第二编码参数对第二显示数据进行编码,并将得到的第二编码数据通过所述无线连接发送给所述交互设备,包括:
所述计算设备利用所述第二编码参数,对一帧图像的注视区域对应的数据进行编码得到注视区域对应的编码数据;所述一帧图像为所述第二显示数据中的任一帧图像;
所述计算设备将所述注视区域对应的编码数据通过所述无线连接发送给所述交互设备;
当所述一帧图像的注视区域对应的数据编码完成时,所述计算设备利用所述第二编码参数,对一帧图像的非注视区域对应的数据进行编码得到非注视区域对应的编码数据;
其中,所述非注视区域为一帧图像中所述注视区域以外的区域;
所述计算设备将所述非注视区域对应的编码数据通过所述无线连接发送给所述交互设备。
16.根据权利要求12至15任一项所述的方法,其特征在于,所述第一显示数据、所述第二显示区域和所述第三显示数据中的图像帧被分为多个片区;
所述多个片区中一个片区由所述计算设备编码得到所述一个片区对应的编码数据,并由所述计算设备传输给所述交互设备;所述一个片区编码完成后,所述多个片区中另一个片区由所述计算设备编码得到所述另一个片区对应的编码数据,并由所述计算设备传输给所述交互设备;
所述一个片区对应的编码数据和所述另一个片区对应的编码数据由所述交互设备依次进行解码。
17.根据权利要求12至16任一项所述的方法,其特征在于,所述计算设备利用第二编码参数对第二显示数据进行编码,并将得到的第二编码数据通过所述无线连接发送给所述交互设备之后,所述方法还包括:
当所述交互设备与所述计算设备之间建立有线连接时,所述计算设备利用第一编码参数对第四显示数据进行编码,并将得到的第四编码数据通过有线连接发送给所述交互设备;
所述交互设备利用所述第一编码参数对应的解码参数对所述第四编码数据进行解码,并通过显示屏进行显示。
18.根据权利要求12至17任一项所述的方法,其特征在于,所述有线连接为以下连接中的任一个:
高速串行计算机扩展总线标准PCIE接口连接、显示接口DP连接、USB接口连接。
19.一种芯片系统,所述芯片系统应用于交互设备,其特征在于,所述芯片系统包括:
一个或多个控制器;
存储器,包含静态随机存储器SRAM、磁性随机存储器MRAM和闪存,所述存储器用于存储程序和数据;
无线通信模块,用于与计算设备建立无线连接;
视频播放模块;
有线接口,用于与所述计算设备建立有线连接;
总线;
其中,所述控制器、所述无线通信模块、所述视频播放模块和所述有线接口通过所述总线连接;
所述视频播放模块,用于当与所述计算设备建立所述有线连接时,利用第一编码参数对应的解码参数对接收的第一编码数据进行解码;所述第一编码参数是有线连接时,所述计算设备使用的编码参数;
所述视频播放模块,还用于当与所述计算设备建立所述无线连接时,利用第二编码参数对应的解码参数对接收的第二编码数据进行解码;所述第二编码参数是无线连接时,所述计算设备使用的编码参数。
20.根据权利要求18所述的芯片系统,其特征在于,所述控制器不包含图形处理器GPU、神经网络计算处理器NPU;
所述存储器不包含双倍速率同步动态随机存储器DDR。
21.根据权利要求19或20所述的芯片系统,其特征在于,所述芯片系统还包括:
视频采集模块,用于将摄像头采集的显示数据进行编码;
传感器,用于检测第二事件,所述第二事件对应有线接口的接线拔出的用户操作;
音频模块,用于对音频数据进行编解码;
其中,所述控制器通过所述总线分别与所视频采集模块、所述传感器和所述音频模块连接。
22.根据权利要求21所述的芯片系统,其特征在于,所述视频采集模块,具体用于当与所述计算设备建立所述有线连接时,利用第三编码参数对摄像头采集的第四显示数据进行编码得到第四编码数据;
所述有线接口,用于通过所述有线连接将所述第四编码数据发送给所述计算设备;
所述视频采集模块,具体还用于当与所述计算设备建立所述无线连接时,利用第四编码参数对所述摄像头采集的第五显示数据进行编码得到第五编码数据;
所述无线通信模块,用于通过所述无线连接将所述第五编码数据发送给所述计算设备。
23.根据权利要求19至22任一项所述的芯片系统,其特征在于,
所述传感器包含以下中的任一个或多个:温度传感器、湿度传感器、压力传感器、指纹传感器。
24.根据权利要求19所述的芯片系统,其特征在于,所述芯片系统应用在增强现实AR设备或虚拟现实VR设备;
所述视频播放模块,用于对编码数据进行解码,并进行二次渲染得到待显示数据,并将所述待显示数据传输给显示屏进行显示。
25.一种交互系统,其特征在于,所述交互系统包括计算设备和交互设备,所述计算设备和所述交互设备,用于执行如权利要求1至11任一项所述的数据传输方法。
26.一种计算设备,其特征在于,所述计算设备用于执行如权利要求12至18任一项所述的数据传输方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010239039.4A CN113473216A (zh) | 2020-03-30 | 2020-03-30 | 数据传输方法、芯片系统及相关装置 |
CN202310320745.5A CN116389822A (zh) | 2020-03-30 | 2020-03-30 | 数据传输方法、芯片系统及相关装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010239039.4A CN113473216A (zh) | 2020-03-30 | 2020-03-30 | 数据传输方法、芯片系统及相关装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310320745.5A Division CN116389822A (zh) | 2020-03-30 | 2020-03-30 | 数据传输方法、芯片系统及相关装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113473216A true CN113473216A (zh) | 2021-10-01 |
Family
ID=77865234
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010239039.4A Pending CN113473216A (zh) | 2020-03-30 | 2020-03-30 | 数据传输方法、芯片系统及相关装置 |
CN202310320745.5A Pending CN116389822A (zh) | 2020-03-30 | 2020-03-30 | 数据传输方法、芯片系统及相关装置 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310320745.5A Pending CN116389822A (zh) | 2020-03-30 | 2020-03-30 | 数据传输方法、芯片系统及相关装置 |
Country Status (1)
Country | Link |
---|---|
CN (2) | CN113473216A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114286036A (zh) * | 2021-12-22 | 2022-04-05 | 小派科技(上海)有限责任公司 | 用于虚拟现实设备的图像处理方法、装置及虚拟现实设备 |
CN116389352A (zh) * | 2023-03-17 | 2023-07-04 | 深圳市同行者科技有限公司 | 车载交互投屏数据的传输方法、系统及相关设备 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104539962A (zh) * | 2015-01-20 | 2015-04-22 | 北京工业大学 | 一种融合视觉感知特征的可分层视频编码方法 |
CN104834617A (zh) * | 2015-04-01 | 2015-08-12 | 深圳市金立通信设备有限公司 | 一种数据传输方法 |
US20170295373A1 (en) * | 2016-04-08 | 2017-10-12 | Google Inc. | Encoding image data at a head mounted display device based on pose information |
US20180012418A1 (en) * | 2016-07-07 | 2018-01-11 | Disney Enterprises, Inc. | Methods and systems of performing eye reconstruction using a parametric model |
CN107770561A (zh) * | 2017-10-30 | 2018-03-06 | 河海大学 | 一种利用眼动跟踪数据的多分辨率虚拟现实设备屏幕内容编码算法 |
CN108259813A (zh) * | 2018-01-30 | 2018-07-06 | 北京小鱼易连科技有限公司 | 多功能传屏装置、系统及方法 |
CN108668138A (zh) * | 2017-03-28 | 2018-10-16 | 华为技术有限公司 | 一种视频下载方法以及用户终端 |
CN109819493A (zh) * | 2019-03-06 | 2019-05-28 | 深圳前海达闼云端智能科技有限公司 | 控制方法和投屏方法及装置、存储介质、电子设备 |
CN110784745A (zh) * | 2019-11-26 | 2020-02-11 | 科大讯飞股份有限公司 | 一种视频传输方法、装置、系统、设备及存储介质 |
-
2020
- 2020-03-30 CN CN202010239039.4A patent/CN113473216A/zh active Pending
- 2020-03-30 CN CN202310320745.5A patent/CN116389822A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104539962A (zh) * | 2015-01-20 | 2015-04-22 | 北京工业大学 | 一种融合视觉感知特征的可分层视频编码方法 |
CN104834617A (zh) * | 2015-04-01 | 2015-08-12 | 深圳市金立通信设备有限公司 | 一种数据传输方法 |
US20170295373A1 (en) * | 2016-04-08 | 2017-10-12 | Google Inc. | Encoding image data at a head mounted display device based on pose information |
US20180012418A1 (en) * | 2016-07-07 | 2018-01-11 | Disney Enterprises, Inc. | Methods and systems of performing eye reconstruction using a parametric model |
CN108668138A (zh) * | 2017-03-28 | 2018-10-16 | 华为技术有限公司 | 一种视频下载方法以及用户终端 |
CN107770561A (zh) * | 2017-10-30 | 2018-03-06 | 河海大学 | 一种利用眼动跟踪数据的多分辨率虚拟现实设备屏幕内容编码算法 |
CN108259813A (zh) * | 2018-01-30 | 2018-07-06 | 北京小鱼易连科技有限公司 | 多功能传屏装置、系统及方法 |
CN109819493A (zh) * | 2019-03-06 | 2019-05-28 | 深圳前海达闼云端智能科技有限公司 | 控制方法和投屏方法及装置、存储介质、电子设备 |
CN110784745A (zh) * | 2019-11-26 | 2020-02-11 | 科大讯飞股份有限公司 | 一种视频传输方法、装置、系统、设备及存储介质 |
Non-Patent Citations (1)
Title |
---|
杨成著: "《网络电视技术》", 30 September 2017 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114286036A (zh) * | 2021-12-22 | 2022-04-05 | 小派科技(上海)有限责任公司 | 用于虚拟现实设备的图像处理方法、装置及虚拟现实设备 |
CN116389352A (zh) * | 2023-03-17 | 2023-07-04 | 深圳市同行者科技有限公司 | 车载交互投屏数据的传输方法、系统及相关设备 |
Also Published As
Publication number | Publication date |
---|---|
CN116389822A (zh) | 2023-07-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113542839B (zh) | 电子设备的投屏方法和电子设备 | |
CN113810601B (zh) | 终端的图像处理方法、装置和终端设备 | |
CN112312366B (zh) | 一种通过nfc标签实现功能的方法、电子设备及系统 | |
CN114710640A (zh) | 基于虚拟形象的视频通话方法、装置和终端 | |
CN114327312B (zh) | 投屏控制方法和装置 | |
WO2022170854A1 (zh) | 视频通话的方法与相关设备 | |
CN113129202A (zh) | 数据传输方法、装置及数据处理系统、存储介质 | |
CN113709464A (zh) | 视频编码方法及相关设备 | |
CN113126948A (zh) | 一种音频播放方法及相关设备 | |
CN113485173A (zh) | 一种开关切换方法及相关装置 | |
CN114339429A (zh) | 音视频播放控制方法、电子设备和存储介质 | |
CN114205336A (zh) | 跨设备音频播放方法、移动终端、电子设备及存储介质 | |
CN113473216A (zh) | 数据传输方法、芯片系统及相关装置 | |
CN114880251A (zh) | 存储单元的访问方法、访问装置和终端设备 | |
CN113497851B (zh) | 控制显示方法及电子设备 | |
US20230045631A1 (en) | Text to Speech Processing Method, Terminal, and Server | |
CN113593567A (zh) | 视频声音转文本的方法及相关设备 | |
CN114827098A (zh) | 合拍的方法、装置、电子设备和可读存储介质 | |
CN110806994B (zh) | 一种信号传输方法及装置 | |
CN109285563B (zh) | 在线翻译过程中的语音数据处理方法及装置 | |
WO2022095752A1 (zh) | 帧解复用方法、电子设备及存储介质 | |
CN113810595B (zh) | 视频拍摄的编码方法、设备和存储介质 | |
WO2022042281A1 (zh) | 一种编解码方法、装置及系统 | |
CN117440194A (zh) | 一种投屏画面的处理方法及相关装置 | |
CN115119336A (zh) | 耳机连接系统、方法、耳机、电子设备及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20211001 |