CN113938743A - 一种电子设备间的协同控制方法及系统 - Google Patents

一种电子设备间的协同控制方法及系统 Download PDF

Info

Publication number
CN113938743A
CN113938743A CN202010651585.9A CN202010651585A CN113938743A CN 113938743 A CN113938743 A CN 113938743A CN 202010651585 A CN202010651585 A CN 202010651585A CN 113938743 A CN113938743 A CN 113938743A
Authority
CN
China
Prior art keywords
electronic device
service
interface
mobile phone
cooperative control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010651585.9A
Other languages
English (en)
Other versions
CN113938743B (zh
Inventor
祁长乐
童碧峰
王菲
马宇驰
周犇
胡佳佳
崔威风
黄德志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202010651585.9A priority Critical patent/CN113938743B/zh
Priority to PCT/CN2021/105039 priority patent/WO2022007856A1/zh
Priority to EP21838169.7A priority patent/EP4167581A4/en
Priority to US18/014,591 priority patent/US20230254399A1/en
Publication of CN113938743A publication Critical patent/CN113938743A/zh
Application granted granted Critical
Publication of CN113938743B publication Critical patent/CN113938743B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/547—Remote procedure calls [RPC]; Web services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/4222—Remote control device emulator integrated into a non-television apparatus, e.g. a PDA, media center or smart toy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4433—Implementing client middleware, e.g. Multimedia Home Platform [MHP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4753—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for user identification, e.g. by entering a PIN or password
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781—Games
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/04—Key management, e.g. using generic bootstrapping architecture [GBA]
    • H04W12/047—Key management, e.g. using generic bootstrapping architecture [GBA] without using a trusted network node as an anchor
    • H04W12/0471—Key exchange
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/06—Authentication
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G09G2340/145—Solving problems related to the presentation of information to be displayed related to small screens
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Telephonic Communication Services (AREA)
  • Telephone Function (AREA)

Abstract

本申请涉及终端技术领域，公开了一种电子设备间的协同控制方法及系统，第二电子设备在触发协同控制时，将运行业务关联的远程视图逻辑信息发送到第一电子设备。第一电子设备基于远程视图逻辑信息中包含的界面布局文件在本地直接加载与业务相关的界面。如此，对于第一电子设备端，无需针对第二电子设备的运行业务在第一电子设备端自定义设置与该运行业务相关的组件以及参数等，只需加载第一电子设备传输的远程视图逻辑信息即可。第二电子设备的运行业务均可以在第二电子设备侧定义分布式业务逻辑，再由第二电子设备同步至第一电子设备，应用场景广。

Description

一种电子设备间的协同控制方法及系统
技术领域
本申请涉及终端技术领域，尤其涉及一种电子设备间的协同控制方法及系统。
背景技术
随着科学技术的发展，智能设备成为人们生活必需品的一部分。智能设备是传统电气设备与计算机技术、数据处理技术、控制理论、传感器技术、网络通信技术、电力电子技术等相结合的产物。其中，智能设备包括第一智能设备和第二智能设备，第一智能设备指的是可以对第二智能设备进行控制使用的计算机设备，包括智能手机、笔记本、台式电脑等。第二智能设备指的是利用计算机技术和数字通讯网技术来处理和控制媒体信息的系统设备，如智能电视、车机、手表、音箱等。在第一智能设备与第二智能设备之间可以通过第一智能设备对第二智能设备进行协同控制，第一智能设备对第二智能设备进行协同控制的传统的做法是在第一智能设备应用业务和第二智能设备业务之间创建一套业务协议，以便第一智能设备应用业务与第二智能设备应用业务通过协议规则以及参数等实现协调控制。例如，通过手机控制智能电视切换节目，其由智能电视将显示区域布局信息以及各个显示区域的缩略图传递到手机端客户端应用。手机端根据显示区域布局信息以及各个显示区域的缩略图重构显示画面并在手机端显示。以上方式需要在手机端和智能电视端同时自定义设置对应的场景，当智能电视端切换当前的场景时，手机端便不再适用智能电视切换后的场景，适用场景单一。
发明内容
本发明的目的在于提供一种电子设备间的协同控制方法及系统，适用场景广。
第一方面，本申请实施例提供了一种电子设备间的协同控制方法，所述电子设备包括基于近场通信连接的作为施控方的第一电子设备和作为受控方的第二电子设备，所述协同控制方法包括：
所述第二电子设备运行业务并触发协同控制，并将与所述业务关联的远程视图逻辑信息发送至所述第一电子设备，其中所述远程视图逻辑信息包括界面布局文件；
所述第一电子设备接收所述远程视图逻辑信息，并基于所述界面布局文件在本地加载与所述业务相关的界面，并且绑定所述第二电子设备侧的与所述业务相关的服务；
所述第一电子设备基于所述服务对外公开的服务接口发送控制信息至所述第二电子设备，以实现在所述第一电子设备控制所述第二设备运行所述业务。
本申请第一方面公开的一种电子设备间的协同控制方法，第二电子设备在触发协同控制时，将运行业务关联的远程视图逻辑信息发送到第一电子设备。第一电子设备基于远程视图逻辑信息中包含的界面布局文件在本地直接加载与业务相关的界面。如此，对于第一电子设备端，无需针对第二电子设备的运行业务在第一电子设备端自定义设置与该运行业务相关的组件以及参数等，只需加载第一电子设备传输的远程视图逻辑信息即可。第二电子设备的运行业务均可以在第二电子设备侧定义分布式业务逻辑，再由第二电子设备同步至第一电子设备，应用场景广。
根据本申请中第一方面的一些实施例，所述界面布局文件包括与所述业务相关的业务控件。
根据本申请中的一些实施例，所述绑定所述第二电子设备侧的与所述业务相关的服务包括：
所述第一电子设备加载所述界面布局文件；
所述第一电子设备通过加载所述界面布局文件构建view树；
所述第一电子设备在构建所述view树的过程中绑定与所述业务相关的服务。
根据本申请中第一方面的一些实施例，所述第一电子设备基于所述界面布局文件业务控件在本地加载所述界面。
根据本申请中第一方面的一些实施例，所述控制信息由所述第一电子设备绑定的所述第二电子设备侧的与所述业务相关的服务对外公开的服务接口传递。
根据本申请中第一方面的一些实施例，所述第一电子设备注册与所述第二电子设备相关的CallBack，所述第一电子设备通过所述服务接口传递ICallBack句柄给所述第二电子设备，所述第二电子设备通过ICallBack句柄反向控制所述第一电子设备。
根据本申请中第一方面的一些实施例，所述第二电子设备运行特定业务时，触发所述协同控制。
根据本申请中第一方面的一些实施例，当所述第二电子设备运行所述业务并触发协同控制时，基于分布式中间件与所述第一电子设备之间建立数据物理通道以传输所述远程视图逻辑信息。
根据本申请中第一方面的一些实施例，所述数据物理通道包括Socket通道。
根据本申请中第一方面的一些实施例，在所述第一电子设备和所述第二电子设备之间建立所述数据物理通道之前，所述第一电子设备利用所述分布式中间件对所述第一电子设备和所述第二电子设备进行设备可信认证和交换秘钥凭证。
根据本申请中第一方面的一些实施例，所述分布式中间件分别为所述第二电子设备和所述第一电子设备提供平台接口以通过所述平台接口传递所述远程视图逻辑信息。
根据本申请中第一方面的一些实施例，所述第二电子设备通过所述平台接口将所述远程视图逻辑信息以二进制数字流的形式传递至所述第一电子设备。
根据本申请中第一方面的一些实施例，所述平台接口为基于binder机制实现跨进程的接口。
根据本申请中第一方面的一些实施例，所述协同控制方法还包括：
所述第一电子设备基于所述分布式中间件对所述第二电子设备侧绑定的与所述业务相关的服务进行解绑。
根据本申请中第一方面的一些实施例，所述第二电子设备运行所述业务时，基于所述控制信息刷新所述第二电子设备侧的界面。
第二方面，本申请实施例公开了一种电子设备间的协同控制系统，所述协同控制系统包括第一电子设备和第二电子设备；
所述第一电子设备作为施控方，所述第二电子设备作为受控方，且所述第一电子设备和所述第二电子设备基于近场通信连接；
所述第二电子设备运行业务并触发协同控制，并将与所述业务关联的远程视图逻辑信息发送至所述第一电子设备，其中所述远程视图逻辑信息包括界面布局文件；
所述第一电子设备接收所述远程视图逻辑信息，并基于所述布局文件在本地加载界面，并且绑定所述第二电子设备侧的与所述业务相关的服务；
所述第一电子设备基于所述服务对外公开的服务接口发送控制信息至所述第二电子设备，以实现在所述第一电子设备本地控制所述第二设备运行所述业务。
本申请第二方面公开的一种电子设备间的协同控制系统，第二电子设备在触发协同控制时，将运行业务关联的远程视图逻辑信息发送到第一电子设备。第一电子设备基于远程视图逻辑信息中包含的界面布局文件在本地直接加载与业务相关的界面。第二电子设备的运行业务均可以在第二电子设备侧定义分布式业务逻辑，再由第二电子设备同步至第一电子设备，应用场景广。
根据本申请中第二方面的一些实施例，所述第二电子设备运行所述业务时，第一电子设备收到远程协助请求后，基于所述控制信息刷新所述第二电子设备侧的界面。此外，第一电子设备除了可以远程刷新第二电子设备侧的界面外，还可以对第二电子设备进行其余的控制(可以是远程控制)，本申请实施例在此并不作限定。
第三方面，本申请实施例公开了一种电子设备间的协同控制方法，所述电子设备包括基于近场通信连接的作为施控方的第一电子设备和作为受控方的第二电子设备，所述协同控制方法应用于第二电子设备，所述协同控制方法包括：
运行业务并触发协同控制，并将与所述业务关联的远程视图逻辑信息发送至所述第一电子设备，其中所述远程视图逻辑信息包括界面布局文件；
所述第一电子设备接收所述远程视图逻辑信息，并基于所述界面布局文件在本地加载与所述业务相关的界面，并且绑定与所述业务相关的服务；
所述第一电子设备基于所述服务对外公开的服务接口发送控制信息至所述第二电子设备，以实现在所述第一电子设备本地控制所述第二设备运行所述业务。
本申请第三方面公开的一种电子设备间的协同控制方法，第二电子设备在触发协同控制时，将运行业务关联的远程视图逻辑信息发送到第一电子设备。第一电子设备基于远程视图逻辑信息中包含的界面布局文件在本地直接加载与业务相关的界面。如此，对于第一电子设备端，无需针对第二电子设备的运行业务在第一电子设备端自定义设置与该运行业务相关的组件以及参数等，只需加载第一电子设备传输的远程视图逻辑信息即可。第二电子设备的运行业务均可以在第二电子设备侧定义分布式业务逻辑，再由第二电子设备同步至第一电子设备，应用场景广。
第四方面，本申请实施例公开了一种电子设备间的协同控制方法，所述电子设备包括基于近场通信连接的作为施控方的第一电子设备和作为受控方的第二电子设备，所述协同控制方法应用于第一电子设备，所述协同控制方法包括：
接收远程视图逻辑信息，所述远程视图逻辑信息与所述第二电子设备的运行业务相关且所述远程视图逻辑信息包括界面布局文件；
基于所述界面布局文件在本地加载与所述业务相关的界面，并且绑定与所述业务相关的服务；
所述第一电子设备基于所述服务对外公开的服务接口发送控制信息至所述第二电子设备，以实现在所述第一电子设备本地控制所述第二设备运行所述业务。
本申请第四方面公开的一种电子设备间的协同控制系统，第二电子设备在触发协同控制时，将运行业务关联的远程视图逻辑信息发送到第一电子设备。第一电子设备基于远程视图逻辑信息中包含的界面布局文件在本地直接加载与业务相关的界面。如此，对于第一电子设备端，无需针对第二电子设备的运行业务在第一电子设备端自定义设置与该运行业务相关的组件以及参数等，只需加载第一电子设备传输的远程视图逻辑信息即可。第二电子设备的运行业务均可以在第二电子设备侧定义分布式业务逻辑，再由第二电子设备同步至第一电子设备，应用场景广。
本发明其他特征和相应的有益效果在说明书的后面部分进行阐述说明，且应当理解，至少部分有益效果从本发明说明书中的记载变的显而易见。
附图说明
图1A为本申请实施例公开的一种手机和智能电视的协同控制场景图；
图1B为本申请实施例公开的一种手机和智能电视的协同控制的结构图；
图1C为本申请实施例公开的一种分布式中间件的结构示意图；
图1D为本申请实施例公开的一种远程视图逻辑信息的结构示意图；
图2为本申请实施例公开的手机的结构示意图；
图3为本申请实施例公开的一种智能电视的结构示意图；
图4A为本申请实施例公开的一种手机和智能电视的协同控制的场景图1；
图4B为本申请实施例公开的一种手机和智能电视的协同控制方法的线程图；
图4C为本申请实施例公开的一种输入密码业务的界面示意图；
图5A为本申请实施例公开的一种手机和智能电视的协同控制的场景图2；
图5B为本申请实施例公开的一种小球游戏的界面示意图；
图5C为本申请实施例公开的一种手机与智能电视间的协同控制方法的流程示意图；
图6为本申请实施例公开的一种电子设备的结构示意图；
图7为本申请实施例公开的一种SOC的结构示意图。
具体实施方式
本申请实施例提供的电子设备间的协同控制方法可以应用于具有显示屏的任何电子设备，电子设备包括但不限于手机、平板电脑、膝上型计算机、台式计算机、可穿戴设备、头戴式显示器、移动电子邮件设备、便携式游戏机、便携式音乐播放器、阅读器设备、个人数字助理、虚拟现实或者增强现实设备、其中嵌入或耦接有一个或多个处理器的电视机等电子设备。
下面根据本申请的一些实施例，以手机10和智能电视20为例说明本申请的技术方案。
下面基于图1A、图1B、图1C和图1D对本申请实施例提供的技术方案进行阐述。
如图1A所示，作为施控方的手机10和作为受控方的智能电视20之间基于近场通信。组网方式包括但不限于无线保真点对点通信(Wi-Fi Peer-to-Peer，Wi-Fi P2P)、蓝牙P2P通信、局域网通信以及WIFI通信等。本申请实施例中以手机10和智能电视20之间以Wi-Fi P2P通信方式为例完成手机10和智能电视20之间的通信，并实现手机10和智能电视20之间的协同控制。
根据本申请实施例提供的一种应用场景，智能电视20作为受控方在本地运行业务。智能电视20针对本地运行的业务，智能电视20将与本地运行的业务关联的远程视图逻辑信息发送到手机10。其中，远程视图逻辑信息包括智能电视20在本地运行的业务的界面布局文件(如本地运行业务的业务控件)。手机10接收到远程视图逻辑信息后，基于界面布局文件在手机10本地加载与智能电视20本地运行的业务相关的界面(如智能电视20在本地运行业务的业务控件和显示界面)。在手机10加载远程视图逻辑信息的同时，手机10绑定智能电视20侧的与本地运行的业务相关的服务。从而由手机10基于绑定的服务公开的接口发送控制信息至智能电视20，从而实现手机10基于控制信息控制智能电视20运行业务。值得注意的是，远程视图逻辑信息可以由智能电视20自定义设置。远程视图逻辑信息中的界面布局文件可以与智能电视20在本地运行的业务的界面布局相同，远程视图逻辑信息中的界面布局文件也可以与智能电视20在本地运行的业务的界面布局不同。本申请实施例子在此并不作限定。
根据本申请的一些实施例，手机10侧基于远程视图逻辑信息定义有服务组件，服务组件包括但不限于Android系统的Service组件。当然，根据实际应用情况，服务组件还可以为其他类型，本申请实施例在此并不作限定。
根据本申请的一些实施例，手机10和智能电视20之间组网是手机10和智能电视20通信的前提。如图1B所示，手机10和智能电视20可近场通信网络，并基于Wi-Fi P2P通信方式进行组网。
手机10和智能电视20基于Wi-Fi P2P组网后，手机10和智能电视20之间建立连接以传输远程视图逻辑信息。其中，手机10和智能电视20之间建立连接可以是智能电视20运行特定业务时，由特定业务触发智能电视20与手机10连接，也可以是手机10和智能设备20均处于同一近场网络时，触发智能电视20的Host模块与手机10的Host模块，通过智能电视20的Host模块和手机10的Host模块实现智能电视20和手机10的连接。
根据本申请的一些实施例，对于特定业务触发智能电视20与手机10连接具体是：智能电视20切换到特定业务并运行时，触发协同控制。智能电视20基于分布式中间件对手机10进行可信认证和交换秘钥凭证。智能电视20和手机10完成可信认证和交换秘钥凭证后，基于分布式中间件与手机10建立数据物理通道(可以是Socket物理通道)以完成连接。值得注意的是，手机10和智能电视20之间建立连接的方式不限于Socket通信，其还可以是其他方式，本申请实施例在此并不作限定。
基于连接后的手机10和智能电视20，智能电视20在本地运行业务，并将本地运行业务的远程视图逻辑信息发送到手机10。
如图1D所示的远程视图逻辑信息包括但不限于界面布局文件、应用包配置信息和dex文件。界面布局文件包括与智能电视20在本地运行业务相关的业务控件。应用包配置信息包括本地运行业务的应用程序的配置参数。dex文件包括自定义的容器控件、相关业务逻辑代码和CallBack类。值得注意的是，远程视图逻辑信息整体可以为应用apk文件，也可以为打包的二进制文件。
根据本申请的一些实施例，手机10基于远程视图逻辑信息在本地加载界面(智能电视20在本地运行业务的界面)，并绑定智能电视20在本地运行业务的服务。在本地加载界面的过程具体为：手机10在加载所述界面的同时创建view树。在创建View树过程中，绑定与智能电视20在本地运行业务的服务。
手机10在绑定与本地运行业务相关的服务后，注册CallBack对象。
手机10基于绑定的智能电视20在本地运行业务的服务，以使手机10在操作本地加载的界面的同时刷新智能电视20侧的界面。智能电视20通过与CallBack相关的ICallBack反向控制手机10(可以是智能电视20反向刷新手机10侧的界面)。值得注意的是，智能电视20除了可以远程刷新手机10侧的界面外，还可以对手机10进行其余的控制(可以是远程控制)，本申请实施例在此并不作限定。
智能电视20操作其本地的局部窗口还可以通过与反向刷新到手机10侧加载出的界面。
根据本申请中的一些实施例，如图1C所示的，分布式中间件的结构包括但不限于以下模块：
NetWorkManager网络管理模块，用于为手机10和智能电视20之间组网、手机10和智能电视20之间的认证和交换秘钥凭证、手机10和智能电视20之间的设备连接提供支持。
DManager模块，其是为手机10或智能电视20提供一些平台接口，平台接口包括但不限于手机10绑定智能电视20侧远程服务的接口、手机10解绑智能电视20侧远程服务的接口、手机10向智能电视20传递远程视图逻辑信息的接口(该接口可以为基于binder机制实现跨进程的接口(binder接口))等。
DBinder模块，其是基于Android Binder机制封装，能够将原本跨进程binder转化为跨设备(手机10和智能电视20)的binder。对于智能电视20调用手机10的binder接口，类似本地化binder调用。对于手机10侧的客户端而言，智能电视20侧的位于Dbinder内部会把经过自己的binder接口调用的参数数据(可以为远程视图逻辑信息以二进制数字流的形式传递至所述第一电子设备)转换为二进制数字流经过数据物理通道(Socket通道)传递到手机10。DBinder模块为了实现多个Binder接口并发调用，可以在DBinder模块设计线程池和一系列子线程的列表，DBinder对外提供跨进程binder调用的binder线程规格与原生平台binder调度线程规格一致。
根据本申请的一些实施例，如图1C所示的，在手机10侧的客户端调用智能电视20侧的平台接口时，调用数据参数经过两次数据物理通道(socket通信)。
本申请实施例公开的一种电子设备间的协同控制方法，智能电视在触发协同控制时，将运行业务关联的远程视图逻辑信息发送到手机。手机基于远程视图逻辑信息中包含的界面布局文件在本地直接加载与业务相关的界面。如此，对于第一电子设备端，无需针对第二电子设备的运行业务在第一电子设备端自定义设置与该运行业务相关的组件以及参数等，只需加载第一电子设备传输的远程视图逻辑信息即可。第二电子设备的运行业务均可以在第二电子设备侧定义分布式业务逻辑，再由第二电子设备同步至第一电子设备，应用场景广。
下面以手机10和智能电视20为上述电子设备对本申请实施例提供的电子设备间的协同控制方法进行详细说明。
首先，请参见图2，图2示出了手机的结构示意图。
手机10可以包括处理器110，外部存储器接口120，内部存储器121，天线1，天线2，移动通信模块150，无线通信模块160等，显示屏170。
可以理解的是，本发明实施例示意的结构并不构成对手机10的具体限定。在本申请另一些实施例中，手机10可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
处理器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。对于本申请实施例而言，在处理器110接收到智能电视20发送的远程视图逻辑后，执行处理器中存储的指令。该指令实现基于远程视图逻辑中的界面布局文件在本地加载与业务相关的界面，并且绑定智能电视20侧的与本地运行业务相关的服务接口。
手机10的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。手机10中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在手机10上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(lownoise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
无线通信模块160可以提供应用在手机10上的包括无线局域网(wireless localarea networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequencymodulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案，从而实现与智能电视10之间的组网。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。
在一些实施例中，手机10的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得手机10可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(code divisionmultiple access，CDMA)，宽带码分多址(wideband code division multiple access，WCDMA)，时分码分多址(time-division code division multiple access，TD-SCDMA)，长期演进(long term evolution，LTE)，BT，GNSS，WLAN，NFC，FM，和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system，GPS)，全球导航卫星系统(globalnavigation satellite system，GLONASS)，北斗卫星导航系统(beidou navigationsatellite system，BDS)，准天顶卫星系统(quasi-zenith satellite system，QZSS)和/或星基增强系统(satellite based augmentation systems，SBAS)。
手机10通过GPU，显示屏170，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏170和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。
显示屏170用于显示远程视图逻辑信息中包含与智能电视10运行业务相关的界面。显示屏170包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emitting diode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emitting diode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot light emitting diodes，QLED)等。在一些实施例中，手机10可以包括1个或N个显示屏170，N为大于1的正整数。
外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展手机10的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将智能电视20传递的远程视图逻辑信息保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储手机10使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。处理器110通过运行存储在内部存储器121的指令，和/或存储在设置于处理器中的存储器的指令，执行手机10的各种功能应用以及数据处理。
其次，请参见图3，图3为本申请实施例公开的一种智能电视的结构示意图。
智能电视20可以包括处理器220，外部存储器接口221，内部存储器222，天线3，天线4，无线通信模块223等，显示屏224。
可以理解的是，本发明实施例示意的结构并不构成对智能电视20的具体限定。在本申请另一些实施例中，智能电视20可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
智能电视20处理器220，外部存储器接口221，内部存储器222，天线3，天线4，无线通信模块223等，显示屏224的详细阐述可以对应参照手机10的描述，本申请实施例在此不再赘述。
外部存储器接口221可以用于连接外部存储卡，例如Micro SD卡，实现扩展智能电视20的存储能力。外部存储卡通过外部存储器接口221与处理器220通信，实现数据存储功能。例如将本地运行业务产生的缓存文件保存在外部存储卡中。
内部存储器222可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器222可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统。存储数据区可存储智能电视20使用过程中所创建的数据(比如音频数据，视频等)等。此外，内部存储器222可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。处理器220通过运行存储在内部存储器222的指令，和/或存储在设置于处理器中的存储器的指令，执行智能电视20的各种功能应用以及数据处理。
以下，结合具体场景对本申请实施例的技术方案进行说明：
场景1
场景1中，以电子设备为手机10和智能电视20为例，场景1中智能电视20侧中应用客户端的本地运行业务为文字编辑业务(可以作为特定业务)。智能电视20侧的处理器220基于文字编辑业务在本地的显示屏224上显示文字编辑界面。智能电视20侧的处理器220触发协同控制，向外广播设备连接请求，手机10基于设备连接请求与智能电视20建立通信连接和绑定智能电视20中与文字编辑业务相关的服务。智能电视20将包含文字编辑界面的远程视图逻辑信息通过建立的通信信道发送到手机10。手机10的处理器110基于远程视图逻辑信息在本地加载智能电视20侧中应用客户端的文字编辑业务的本地窗口(智能电视文字编辑界面)。手机10的处理器控制显示屏170显示该文字编辑业务的界面。并且手机10在本地的文字编辑界面中输入文字时，通过绑定的与文字编辑业务相关的服务实时将输入的文字同步到智能电视20侧的文字编辑界面。值得注意的是，智能电视20侧还可以运行其他类型的业务，本申请实施例并不局限于文字编辑业务。此外，手机10在加载出的本地的文字编辑界面中也可以进行其余的操作，本申请实施例并不局限于输入文字这一种操作。
请参见图4A、图4B和图4C，图4A为本申请实施例公开的一种手机和智能电视的协同控制的场景图1，图4B为本申请实施例公开的一种手机和智能电视的协同控制方法的线程图，图4C为本申请实施例公开的一种输入密码业务的界面示意图。下面结合图4A、图4B和图4C对本申请实施例中的手机和智能电视的协同控制方法进行详细的阐述。
如图4A所示的，智能电视20端包括但不限于应用客户端和分布式中间件。应用客户端中包括但不限于文字编辑界面控件和服务组件和ICallBack对象。手机10端包括但不限于Host模块和分布式中间件。Host模块中包括但不限于CallBack对象，其中，ICallBack对象和CallBack对象是客户端和服务端的关系，智能电视20可以通过ICallBack对象反向刷新手机10的本地运行业务的文字编辑界面。智能电视20和手机10之间通过分布式中间件实现组网、手机10和智能电视20之间的连接、手机10和智能电视20之间的可信认证、手机10和智能电视20之间的数据传递以及手机10和智能电视20之间的Binder接口的调用能力。
根据本申请中的一些实施例，智能电视20端的用户切换到文字编辑业务时，智能电视20侧通过智能电视20侧分布式中间件向在同一个局域网的手机10发出设备连接请求广播。手机10侧在收到设备连接请求广播后，手机10侧的分布式中间件会把消息发给自身的Host模块，Host模块(指的是接收和加载远程视图逻辑信息业务模块)根据设备连接请求广播，通过分布式中间件发送一个设备连接通知消息至智能电视20。手机10的Host模块调用自身的分布式中间件提供的平台接口(其能提供binder句柄对象作为binder接口)，与智能电视20进行设备连接(可以Socket创建一个Socket物理通道)。智能电视20基于分布式中间件提供的Socket物理通道发送远程视图逻辑信息，手机10的Host模块基于远程视图逻辑信息在本地加载智能电视20侧文字编辑界面，并注册CallBack对象和加载view树的过程中绑定智能电视20的服务组件(具有远程服务功能)。手机10通过服务接口将控制信息(在本地加载的文字编辑业务的刷新数据(如用户在文字编辑界面中输入的文字))同步更新到智能电视20的文字编辑界面。此外，智能电视20还可以通过ICallBack对象反向同步文字或其他信息至手机10。
如图4B所示的，手机和智能电视的协同控制方法包括：
步骤S40：智能电视20侧用的户在用遥控器操作智能电视20的应用客户端时，将智能电视20切换到文字编辑业务，在智能电视20的显示屏显示文字编辑界面。
步骤S41：智能电视20侧的分布式中间件发出设备连接请求广播。其中，智能电视20发出的设备连接请求在智能电视20所在的局域网，手机10和智能电视20处于同一个局域网时可以接收到智能电视发出的设备连接请求广播。
步骤S42：手机10侧的分布式中间件接收来自于智能电视20的分布式中间件发出的设备连接请求广播，且手机10侧的分布式中间件会把设备连接请求广播发给手机10侧的Host模块。
步骤S43：手机10侧Host模块根据设备连接请求广播，发送一个设备连接通知消息。
步骤S44：用户在手机10的显示屏170上点击设备连接通知消息(触发一个触摸指令)。
步骤S45：手机10的处理器基于触摸指令，控制手机10的Host模块调用手机10侧的分布式中间件进行设备认证和设备连接接口。
步骤S46：手机10的分布式中间件对智能电视20进行设备认证和秘钥凭证交换，然后利用分布式中间件的连接接口实现与智能电视20之间的设备连接。
根据本申请的一些实施例，手机10侧在进行设备连接过程中，传递手机10和智能电视20分别传递具有远程调用能力的服务列表到对端。手机10和智能电视20传递服务列表的过程包括两个步骤：一是手机10或智能电视20通过安卓包管理器服务接口，查询具有远程能力的服务列表，二是手机10或智能电视20通过分布式中间件提供的接口把远程服务列表传递到对端。这样在智能电视20运行业务且需要手机10绑定智能电视20的服务时，首先手机10从自身的存储器中查询来自于智能电视20传输的远程调用能力的服务列表是否由远端服务，然后再使用手机10侧的分布式中间件绑定智能电视20侧的服务。
步骤S47：智能电视20和手机10连接完成后，智能电视20向智能电视20侧的分布式中间件发送远程视图逻辑信息。
根据本申请中的一些实施例，远程视图逻辑信息为一种应用结构，采用安卓系统apk打包工具aapt打包成apk压缩包的实现方式。压缩包中包括三个文件：应用包配置信息文件(如文字编辑的应用程序包)、一个界面布局文件(文字编辑界面)、一个dex文件。其中dex文件包括自定义容器控件和CallBack类。此外，远程视图逻辑信息也可以由其他工具进行打包生成，本申请实施例在此并不作限定。
远程视图逻辑信息中界面布局文件为智能电视20侧的应用客户端自定义配置，属于智能电视20编辑窗口布局的一部分，可以选择的，对于文字编辑业务而言，远程视图逻辑信息的界面布局文件中可以包含一个文本输入控件EditText，也可以包含文本输入控件EditText和文本提示控件TextView两个控件。界面布局文件也可以使用安卓系统扩展的标准模板的容器控件，具体容器控件选择的类型是由业务根据需求定义。手机10侧和智能电视20侧的窗口界面绑定了与文字编辑业务相关的同一个服务，通过绑定的服务对外公开的服务接口可以实现手机10侧和智能电视20侧的窗口布局文件控件状态(如文本输入控件EditText的外形的变化)和信息(如文本输入控件中输入的文字)的同步。此外，远程视图逻辑信息的界面布局文件中还可以包含其余的控件，本申请实施例对于控件的类型并不作限定。
根据本申请中的一些实施例，以智能电视20侧的文字编辑业务为输入密码业务。如图4C所示的，智能电视20侧在显示屏224上显示文本输入控件EditText(输入密码文本编辑框)后，向手机10发送远程视图逻辑信息。手机10侧基于远程视图逻辑信息在本地加载出与智能电视20相适应的输入密码文本编辑框。手机10在本地刷新输入密码文本编辑框或者在输入密码文本编辑框输入文字时，将刷新界面实时同步到智能电视20侧。
根据图4C可以看出的是，智能电视20侧运行输入密码业务时，在界面显示文本提示控件TextView控件“请输入密码”、输入密码文本编辑框、控件“确认”和文字提示类控件“按“首页”键返回首页”。可以理解的是，智能电视20侧显示的界面还可以自定义设置其余更多的控件，本申请实施例在此并不作限定。
根据本申请的一些实施例，文本提示控件，输入密码的文本编辑框、确认控件等的宽度、高度等相关定义可以采用线性布局的各参数进行定义等。
如CustomView，其为一个自定义控件类名，它是一个容器控件，里面包含了文本提示控件，文本编辑框和一个按钮。自定义控件定义了容器控件的宽度和高度，与父容器一致。
对于文本提示控件TextView控件“请输入密码”，三个字段分别为ID、宽度、高度等。
在文本提示控件下面定义了一个线性布局容器，容器控件里面包含但不限于一个文本编辑框和控件“确认”。
输入密码的文本编辑框的定义如下，四个字段分别为ID、宽度、高度、输入文字类型等。
控件“确认”的定义如下，四个字段分别为ID、宽度、高度、右对齐方式、显示文本定义。
当然，对于输入密码业务或者其他业务的定义还可以为其他更多的定义，本申请实施例在此并不作限定。
可以理解的是，智能电视20侧显示的界面还可以自定义设置其余更多的控件，定义的方式也可以为其他方式，本申请实施例在此均不作限定。
本申请实施例中，智能电视20传递的远程视图逻辑信息中的界面布局文件中包含View树，View树可以作为智能电视20侧的文字编辑界面的一部分，界面布局文件也可以基于业务逻辑由业务独立定义，本申请实施例在此并不作限定。界面布局文件可以包含文本输入控件EditText，也可以包含一些其他控件，可以实现远程界面协同的多样性。可选择的，为了方便开发，远程视图逻辑信息的布局可以使用基于安卓系统扩展定义的一些具有远程控制能力的容器控件。另外远程视图逻辑信息的结构具有远程访问调用逻辑信息。手机10侧加载远程视图逻辑信息同时绑定了智能电视20侧的远程服务，通过该远程服务，可以实现手机10和智能电视20之间的控制信息的传递。通过该种方式，手机10和智能电视20之间通过控制接口调用方式，时延小，手机10和智能电视20之间的协同体验好。
步骤S48：智能电视20侧的分布式中间件响应远程视图逻辑信息，将智能电视20侧的远程视图逻辑信息(其中的界面布局文件包含文本提示控件TextView控件“请输入密码”、输入密码文本编辑框、控件“确认”)发送到手机10侧的分布式中间件。
步骤S49：手机10侧的分布式中间件接收到远程视图逻辑信息后，传递到手机10侧的Host模块。
步骤S50：手机10侧的Host模块根据远程视图逻辑信息加载界面布局文件，在加载界面布局文件的过程中生成本地窗口，本地窗口构建View树包含文本提示控件TextView控件“请输入密码”、输入密码文本编辑框、控件“确认”，从而在手机10侧本地显示与文字输入业务相关的界面。
步骤S51：手机10侧在加载出本地窗口的过程中加载View树，手机10侧的Host模块基于加载出的view树请求绑定智能电视20侧的具有远程调用能力的服务，手机10通过手机10侧的分布式中间件将服务绑定请求发送到智能电视20侧的分布式中间件。
步骤S52：智能电视20侧的分布式中间件将手机10侧分布式中间件的服务绑定请求发送到智能电视20的应用客户端。应用客户端响应服务绑定请求，并绑定与文字输入业务相关的服务。
步骤S53：智能电视20侧绑定服务后，手机加载view树绑定智能电视20的服务和注册CallBack服务对象。
步骤S54：手机10获取智能电视20侧应用客户端返回的aidl接口binder句柄对象(binder接口)，通过binder句柄对象可以实现手机10向智能电视20传递控制消息，实现手机10辅助智能电视20进行文字输入。此外，智能电视20还可以通过ICallBack反向控制(如刷新手机10的界面)手机10。
本场景1中的技术方案，手机10侧加载远程视图逻辑信息同时绑定了智能电视20侧的远程服务，通过该远程服务，可以实现手机10和智能电视20之间的控制信息的传递。通过该种方式，手机10和智能电视20之间通过控制接口调用方式，时延小，手机10和智能电视20之间的协同体验好。
智能电视20侧界面中的布局可以由智能电视20侧自定义设置，智能电视20侧自定义设置的布局在本地构建完成后，以远程视图逻辑信息的形式发送到手机10，手机10只需加载远程视图逻辑信息在本地加载出界面。无需针对智能电视的文字输入业务在手机端自定义设置与该文字输入业务相关的组件以及参数等，只需加载智能电视传输的远程视图逻辑信息即可。智能电视的运行业务均可以在智能电视侧定义分布式业务逻辑，再由智能电视同步至手机，应用场景广。
智能电视20侧的ICallBack对象和手机侧的CallBack对象是客户端和服务端的关系，智能电视20可以通过ICallBack对象反向刷新手机10的本地运行业务的文字编辑界面或其他信息。
场景2
场景2中，以电子设备为手机10和智能电视20为例，场景2中智能电视20侧中应用客户端的本地运行业务为一小球游戏。智能电视20侧的处理器220基于小球游戏在本地的显示屏224上显示小球游戏界面。智能电视20侧的处理器220触发协同控制，通过分布式中间件向外广播设备连接请求，手机10通过自身的分布式中间件接收设备连接请求，并基于设备连接请求与智能电视20建立通信连接。智能电视20将包含小球游戏的远程视图逻辑信息通过建立的通信信道发送到手机10。手机10的处理器110基于远程视图逻辑信息在本地加载智能电视20侧中应用客户端的小球游戏相关的本地窗口(智能电视20侧小球游戏界面)。值得注意的是，对于场景2也可以是两个手机10实现场景2的技术方案，本申请实施例对于电子设备的类型并不作限定。
手机10的处理器控制显示屏170显示该小球游戏界面。手机10在本地的小球游戏界面操作游戏滑条控件时，通过绑定的与小球游戏相关的服务实时将游戏滑条控件的状态和当前小球游戏的游戏界面同步刷新到智能电视20侧的小球游戏界面。智能电视20侧操控智能电视20侧本地的游戏界面时，将智能电视20侧的游戏刷新界面反向同步到手机10侧。值得注意的是，智能电视20侧还可以运行其他类型的业务，本申请实施例并不局限于小球游戏业务。
请参见图5A、图5B和图5C，图5A为本申请实施例公开的一种手机和智能电视的协同控制的场景图2，图5B为本申请实施例公开的一种小球游戏的界面示意图，图5C为本申请实施例公开的一种手机与智能电视间的协同控制方法的流程示意图。下面结合图5A、图5B和图5C对本申请实施例中的手机和智能电视的协同控制方法进行详细的阐述。
如图5A和图5B所示的，智能电视20和手机10的HostApp用来显示小球游戏界面，在HostApp里包含一个view树和一个Session.stub服务端。对于本申请的场景2中的小球游戏而言，智能电视20侧和手机10的view树上包含但不限于栅格方块容器控件500和栅格方块容器控件501(按行列排布了6*8个子栅格方块)，小球控件51，智能电视20侧的滑块控件52或者手机10侧的滑块控件53。重置按钮控件502和计分控件503。该滑块控件52和滑块控件53分别为智能电视20侧和手机10侧的操控控件。对于滑块控件52和滑块控件53而言，其均可以响应输入事件，输入事件可以为Sensor事件也可以为TP事件。其中，Sensor事件指的是智能电视20和手机10的压力传感器、陀螺仪等上传的三维坐标信息，TP时间指的是用户触摸智能电视20和手机10的触屏事件。
根据本申请中的一些实施例，智能电视20侧和手机10侧可以通过滑块控件52和滑操控小球控件51的位置。智能电视20侧的游戏界面可以同步到手机10侧，手机10侧的游戏界面可以同步到智能电视20侧。
当小球控件51碰到各自界面的栅格方块容器控件500中的子栅格方块或栅格方块容器控件501中的子栅格方块时，被小球控件51碰到的栅格方块容器控件500中的子栅格方块或栅格方块容器控件501中的子栅格方块消失，判定小球游戏胜负(可以是方块容器控件500中被小球控件51碰到的子栅格方块对应消除或栅格方块容器控件501中被小球控件51碰到的子栅格方块对应消除，则在对应的游戏界面的计分控件中显示得几分，也可以是小球控件碰撞一次栅格方块容器控件500中的子栅格方块或栅格方块容器控件501中的子栅格方块，则计1分，依次叠加)。若在手机10侧和智能电视20侧在指定时间内未达到某个分数(可以自定义设置)，小球游戏无效。
小球游戏的滑块控件52用于智能电视20操作，滑块控件53用于手机10的操作.即智能电视20和手机10根据TP或者Sensor输入事件可以影响滑块控件52和滑块控件53的位置，当小球控件51或小球控件54下落到各自的窗口底部时，与各自的滑块控件52或滑块控件53碰撞，碰撞后小球控件51反弹回去，反弹路径与速度与碰撞位置以及角度有关。
小球游戏的游戏过程具体为：智能电视20和手机10分别控制各自的滑块控件52和滑块控件53，若滑块控件52碰撞小球控件51使得小球控件51接触其游戏界面内的栅格方块容器控件500中的子栅格方块，智能电视20得分。若滑块控件53碰撞小球控件51引起小球控件51碰撞栅格方块容器控件501中的子栅格方块，手机10得分。在设定时间内，分数高者获胜。可选择性的，小球游戏的HostApp和GameApp可以由同一个应用进程实现。
值得注意的是，智能电视20和手机10两个设备用户分别操作属于自己的滑块控件52和滑块控件53，无法操作对方的滑块控件。如智能电视20的用户操作滑块控件52碰撞到小球控件51时，小球控件51反弹，当小球控件51碰撞到栅格方块容器控件500，小球游戏给智能电视20的用户计分并在计分控件中显示计分分数。当手机10的用户操作滑块控件53碰撞到小球控件51时，小球控件51反弹，当小球控件51碰撞到栅格方块容器控件501，小球游戏给手机10的用户计分，在一定时间内得分高的设备的用户获胜。
如图5A所示的，智能电视20的HostApp中包括的Session.stub服务端，在智能电视20侧View树构建过程绑定智能电视20侧的GameApp(小球游戏的应用程序)里面一个服务(可以为Session服务)，通过服务对外提供aidl接口，把Session服务中的ISession mLocal句柄传递到GameApp，这样GameApp通过ISession mLocal句柄对象控制更新智能电视20侧的小球游戏的界面。
智能电视20侧还包含一个GameApp，GameApp负责管理小球游戏的业务逻辑管理。GameApp包括一个服务组件和GameSession模块。GameSession模块管理了Isession mLocal句柄和Isession mRemote句柄。session mLocal句柄用于智能电视20的HostApp小球游戏界面的刷新，Isession mRemote句柄用于手机10的HostApp小球游戏界面的刷新。
手机10侧包括HostApp和一个Session.stub服务端。智能电视20和手机10建立通信连接后，手机10接收智能电视20传递的远程视图逻辑信息(小球游戏的界面控件)，在本地加载小球游戏的界面并在HostApp上显示。同时，手机10绑定智能电视20中GameApp的服务，绑定服务完成后通过服务对外公开的服务接口注册GameApp中的ISession mRemote句柄。这样，智能电视20可以通过GameApp中的ISession mRemote句柄更新手机10侧的小球游戏界面。
手机10侧的本地窗口也显示与智能电视20相同的小球游戏界面，
请参见图5C，手机10和智能电视20件操控小球游戏的流程具体如下：
步骤S60：智能电视20进入HostApp启动小球游戏，选择小球游戏为分布式游戏模式，触发协同控制，在其所在的通讯网络内对外广播设备连接请求。
根据本申请中的一些实施例，智能电视20对外广播设备连接请求的方式包括但不限于通过分布式中间件的NetWorkManager网络管理模块对外广播设备连接请求。
根据本申请中的一些实施例，智能电视20在启动小球游戏后，智能电视20注册GameApp模块中的session mLocal句柄用于智能电视20的HostApp小球游戏界面的刷新。
步骤S61：手机10检测设备连接请求。手机10检测到设备连接请求后，在手机10的显示屏上显示设备连接相关的信息以使用户操作连接智能电视20。
步骤S62：用户操作手机10，触发手机10和智能电视20连接。具体是手机10通过自身的分布式中间件接收设备连接请求，并基于设备连接请求与智能电视20建立通信连接(可以是Socket连接)和绑定智能电视20中与小球游戏相关的服务和注册服务句柄。
步骤S63：手机10和智能电视20连接完成后，智能电视20发送远程视图逻辑信息(智能电视20侧的小球游戏的游戏界面)发送到手机10。
步骤S64：手机10的HostApp模块接收到远程视图逻辑信息，在本地加载小球游戏的界面。同时，手机10的HostApp模块绑定智能电视20的GameApp模块的服务组件。
步骤S65：手机10注册ISession mRemote句柄到智能电视20的GameApp模块里。
步骤S66：智能电视20的GameApp模块分别定义滑块控件52、滑块控件53、小球控件51。滑块控件52和小球控件51对应于智能电视20的HostApp模块，滑块控件53和小球控件51对应于手机10的HostApp模块。
步骤S67：智能电视20和手机10计分。当智能电视20操作滑块控件52，触发小球控件51碰撞栅格方块容器控件500，GameApp模块给智能电视20计分，并在智能电视20的游戏界面的计分控件503处显示分数。当手机10操作滑块控件53，触发小球控件51碰撞栅格方块容器控件501，GameApp模块给手机10计分，并在手机10的游戏界面的计分控件503处显示分数。
根据本申请的一些实施例，智能电视20和手机10的游戏界面都有重置退出按钮502，在用户触摸重置退出按钮502时，智能电视20和手机10都可以响应用户的操作而退出当前的游戏界面。
步骤S68：在预定实际内，得分高的设备的用户获胜。
本场景2中的技术方案，手机根据智能电视分享的一个远程视图逻辑信息，构建手机的本地界面。手机只需加载远程视图逻辑信息在本地加载出界面。如此，对于手机端，无需针对智能电视的游戏业务在手机端自定义设置与该游戏业务相关的组件以及参数等，只需加载智能电视传输的远程视图逻辑信息即可。智能电视的运行业务均可以在智能电视侧定义分布式业务逻辑，再由智能电视同步至手机，应用场景广。
在本申请一些实施例中，还提供了一种电子设备，下面结合图6对本申请实施例中的电子设备进行介绍。图6为本申请实施例公开的一种电子设备的结构示意图。
对于至少一个实施例，控制器中枢804经由诸如前端总线(FSB)之类的多分支总线、诸如快速通道互连(QPI)之类的点对点接口、或者类似的连接与处理器801进行通信。处理器801执行控制一般类型的数据处理操作的指令。在一实施例中，控制器中枢804包括，但不局限于，图形存储器控制器中枢(GMCH)(图中未示出)和输入/输出中枢(IOH)(其可以在分开的芯片上)(图中未示出)，其中GMCH包括存储器和图形控制器并与IOH耦合。
电子设备800还可包括耦合到控制器中枢804的协处理器806和存储器802。或者，存储器802和GMCH中的一个或两者可以被集成在处理器801内(如本申请中所描述的)，存储器802和协处理器806直接耦合到处理器801以及控制器中枢804，控制器中枢804与IOH处于单个芯片中。
在一个实施例中，存储器802可以是例如动态随机存取存储器(DRAM)、相变存储器(PCM)或这两者的组合。存储器802中可以包括用于存储数据和/或指令的一个或多个有形的、非暂时性计算机可读介质。计算机可读存储介质中存储有指令，具体而言，存储有该指令的暂时和永久副本。
在一个实施例中，协处理器806是专用处理器，诸如例如高吞吐量MIC处理器、网络或通信处理器、压缩引擎、图形处理器、GPU、或嵌入式处理器等等。协处理器806的任选性质用虚线表示在图6中。
在一个实施例中，电子设备800可以进一步包括网络接口(NIC)803。网络接口803可以包括收发器，用于为设备800提供无线电接口，进而与任何其他合适的设备(如前端模块，天线等)进行通信。在各种实施例中，网络接口803可以与电子设备800的其他组件集成。网络接口803可以实现上述实施例中的通信单元的功能。
在一个实施例中，如图6所示的，电子设备800可以进一步包括输入/输出(I/O)设备805。输入/输出(I/O)设备805可以包括：用户界面，该设计使得用户能够与电子设备800进行交互；外围组件接口的设计使得外围组件也能够与电子设备800交互；和/或传感器设计用于确定与电子设备800相关的环境条件和/或位置信息。
值得注意的是，图6仅是示例性的。即虽然图6中示出了电子设备800包括处理器801、控制器中枢804、存储器802等多个器件，但是，在实际的应用中，使用本申请各方法的设备，可以仅包括电子设备800各器件中的一部分器件，例如，可以仅包含处理器801和NIC803。图6中可选器件的性质用虚线示出。
在本申请一些实施例中，该电子设备800的计算机可读存储介质中存储有指令可以包括：由处理器中的至少一个单元执行时导致设备实施如场景1、场景2所提到的电子设备间的协同控制方法的指令。当指令在计算机上运行时，使得计算机执行上述如场景1、场景2所提到的电子设备间的协同控制方法。
现在参考图7，图7为本申请实施例公开的一种SOC的结构示意图，所示为根据本申请的一实施例的SoC(System on Chip，片上系统)1000的框图。在图7中，相似的部件具有同样的附图标记。另外，虚线框是更先进的SoC的可选特征。该SoC可以被用于根据本申请的一实施例的电子设备，根据其内所存储的指令，可以实现相应的功能。
在图7中，SoC 1000包括：互连单元1002，其被耦合至处理器1001；系统代理单元1006；总线控制器单元1005；集成存储器控制器单元1003；一组或一个或多个协处理器1007，其可包括集成图形逻辑、图像处理器、音频处理器和视频处理器；静态随机存取存储器(SRAM)单元1008；直接存储器存取(DMA)单元1004。在一个实施例中，协处理器1007包括专用处理器，诸如例如网络或通信处理器、压缩引擎、GPGPU、高吞吐量MIC处理器、或嵌入式处理器等等。
静态随机存取存储器(SRAM)单元1008中可以包括用于存储数据和/或指令的一个或多个计算机可读介质。计算机可读存储介质中可以存储有指令，具体而言，存储有该指令的暂时和永久副本。
在SoC 1000被应用于根据本申请的电子设备上时，计算机可读存储介质中存储有指令可以包括：由处理器中的至少一个单元执行时导致电子设备实施如场景1、场景2所提到的电子设备间的协同控制方法的指令。当指令在计算机上运行时，使得计算机执行上述如场景1、场景2所提到的电子设备间的协同控制方法的指令。
此外，本申请实施例还公开了一种计算机可读存储介质，计算机可读存储介质上存储有处理程序，处理程序被处理器执行时实现如场景1、场景2所提到的电子设备间的协同控制方法的指令。
计算机可读存储介质可以为只读存储器、随机存取存储器、硬盘或者光盘等。

Claims (17)

1.一种电子设备间的协同控制方法，其特征在于，所述电子设备包括基于近场通信连接的作为施控方的第一电子设备和作为受控方的第二电子设备，所述协同控制方法包括：
所述第二电子设备运行业务并触发协同控制，并将与所述业务关联的远程视图逻辑信息发送至所述第一电子设备，其中所述远程视图逻辑信息包括界面布局文件；
所述第一电子设备接收所述远程视图逻辑信息，并基于所述界面布局文件在本地加载与所述业务相关的界面，并且绑定所述第二电子设备侧的与所述业务相关的服务；
所述第一电子设备基于所述服务对外公开的服务接口发送控制信息至所述第二电子设备，以实现所述第一电子设备控制所述第二设备运行所述业务。
2.如权利要求1所述的协同控制方法，其特征在于，所述界面布局文件包括与所述业务相关的业务控件。
3.如权利要求2所述的协同控制方法，其特征在于，所述绑定所述第二电子设备侧的与所述业务相关的服务包括：
所述第一电子设备加载所述界面布局文件；
所述第一电子设备通过加载所述界面布局文件构建view树；
所述第一电子设备在构建所述view树的过程中绑定与所述业务相关的服务。
4.如权利要求2所述的协同控制方法，其特征在于，所述第一电子设备基于所述界面布局文件本地加载所述界面。
5.如权利要求1所述的协同控制方法，其特征在于，所述控制信息由所述第一电子设备绑定的所述第二电子设备侧的与所述业务相关的服务对外公开的服务接口传递。
6.如权利要求5所述的协同控制方法，其特征在于，所述第一电子设备注册与所述第二电子设备相关的CallBack，所述第一电子设备通过所述服务接口传递ICallBack句柄给所述第二电子设备，所述第二电子设备通过ICallBack句柄反向控制所述第一电子设备。
7.如权利要求1所述的协同控制方法，其特征在于，所述第二电子设备运行特定业务时，触发所述协同控制。
8.如权利要求7所述的协同控制方法，其特征在于，当所述第二电子设备运行所述业务并触发协同控制时，基于分布式中间件与所述第一电子设备之间建立数据物理通道以传输所述远程视图逻辑信息。
9.如权利要求8所述的协同控制方法，其特征在于，所述数据物理通道包括Socket通道。
10.如权利要求9所述的协同控制方法，其特征在于，在所述第一电子设备和所述第二电子设备之间建立所述数据物理通道之前，所述第一电子设备利用所述分布式中间件对所述第一电子设备和所述第二电子设备进行设备可信认证和交换秘钥凭证。
11.如权利要求8所述的协同控制方法，其特征在于，所述分布式中间件分别为所述第二电子设备和所述第一电子设备提供平台接口以通过所述平台接口传递所述远程视图逻辑信息。
12.如权利要求11所述的协同控制方法，其特征在于，所述第二电子设备通过所述平台接口将所述远程视图逻辑信息以二进制数字流的形式传递至所述第一电子设备。
13.如权利要求12所述的协同控制方法，其特征在于，所述平台接口为基于binder机制实现跨进程的接口。
14.如权利要求8-13任意一项所述的协同控制方法，其特征在于，所述协同控制方法还包括：
所述第一电子设备基于所述分布式中间件对所述第二电子设备侧绑定的与所述业务相关的服务进行解绑。
15.如权利要求1-3任意一项或5-7任意一项所述的协同控制方法，其特征在于，所述第二电子设备运行所述业务时，基于所述控制信息刷新所述第二电子设备侧的界面。
16.一种电子设备间的协同控制系统，其特征在于，所述协同控制系统包括第一电子设备和第二电子设备；
所述第一电子设备作为施控方，所述第二电子设备作为受控方，且所述第一电子设备和所述第二电子设备基于近场通信连接；
所述第二电子设备运行业务并触发协同控制，并将与所述业务关联的远程视图逻辑信息发送至所述第一电子设备，其中所述远程视图逻辑信息包括界面布局文件；
所述第一电子设备接收所述远程视图逻辑信息，并基于所述布局文件在本地加载界面，并且绑定所述第二电子设备侧的与所述业务相关的服务；
所述第一电子设备基于所述服务对外公开的服务接口发送控制信息至所述第二电子设备，以实现所述第一电子设备本地控制所述第二设备运行所述业务。
17.如权利要求16所述的协同控制方法，其特征在于，所述第二电子设备运行所述业务时，基于所述控制信息刷新所述第一电子设备侧的界面。
CN202010651585.9A 2020-07-08 2020-07-08 一种电子设备间的协同控制方法及系统 Active CN113938743B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010651585.9A CN113938743B (zh) 2020-07-08 2020-07-08 一种电子设备间的协同控制方法及系统
PCT/CN2021/105039 WO2022007856A1 (zh) 2020-07-08 2021-07-07 一种电子设备间的协同控制方法及系统
EP21838169.7A EP4167581A4 (en) 2020-07-08 2021-07-07 COOPERATIVE CONTROL METHOD AND SYSTEM FOR ELECTRONIC DEVICES
US18/014,591 US20230254399A1 (en) 2020-07-08 2021-07-07 Coordinated control method and system for electronic devices

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010651585.9A CN113938743B (zh) 2020-07-08 2020-07-08 一种电子设备间的协同控制方法及系统

Publications (2)

Publication Number Publication Date
CN113938743A true CN113938743A (zh) 2022-01-14
CN113938743B CN113938743B (zh) 2023-06-27

Family

ID=79272908

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010651585.9A Active CN113938743B (zh) 2020-07-08 2020-07-08 一种电子设备间的协同控制方法及系统

Country Status (4)

Country Link
US (1) US20230254399A1 (zh)
EP (1) EP4167581A4 (zh)
CN (1) CN113938743B (zh)
WO (1) WO2022007856A1 (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103686404A (zh) * 2013-12-04 2014-03-26 康佳集团股份有限公司 一种移动终端播放机顶盒画面的方法和系统
CN104683843A (zh) * 2013-12-02 2015-06-03 中国移动通信集团公司 一种视频设备控制方法及视频设备
CN105120327A (zh) * 2015-02-04 2015-12-02 张沈平 一种电子设备间的输入方法及相应的电子设备
CN110381195A (zh) * 2019-06-05 2019-10-25 华为技术有限公司 一种投屏显示方法及电子设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102638716A (zh) * 2012-03-21 2012-08-15 华为技术有限公司 实现移动终端遥控电视的方法、装置和系统
KR101919788B1 (ko) * 2012-05-31 2018-11-19 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR102144553B1 (ko) * 2013-08-30 2020-08-13 삼성전자주식회사 다중 디스플레이 방법, 저장 매체 및 전자 장치
CN104333791A (zh) * 2013-12-18 2015-02-04 乐视网信息技术（北京）股份有限公司 一种移动终端与智能电视的交互方法、装置及系统
JP6729372B2 (ja) * 2014-11-27 2020-07-22 ソニー株式会社 情報処理装置および情報処理方法
CN106162364B (zh) * 2015-03-30 2020-01-10 腾讯科技（深圳）有限公司 智能电视系统输入方法及装置、终端辅助输入方法及装置
CN106506488A (zh) * 2016-10-11 2017-03-15 深圳市天易联科技有限公司 信息同步的方法、装置及分布式系统
KR102509071B1 (ko) * 2018-08-29 2023-03-10 삼성전자주식회사 전자 장치 및 이의 외부 장치를 제어하는 방법
CN111324327B (zh) * 2020-02-20 2022-03-25 华为技术有限公司 投屏方法及终端设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104683843A (zh) * 2013-12-02 2015-06-03 中国移动通信集团公司 一种视频设备控制方法及视频设备
CN103686404A (zh) * 2013-12-04 2014-03-26 康佳集团股份有限公司 一种移动终端播放机顶盒画面的方法和系统
CN105120327A (zh) * 2015-02-04 2015-12-02 张沈平 一种电子设备间的输入方法及相应的电子设备
CN110381195A (zh) * 2019-06-05 2019-10-25 华为技术有限公司 一种投屏显示方法及电子设备

Also Published As

Publication number Publication date
CN113938743B (zh) 2023-06-27
EP4167581A1 (en) 2023-04-19
WO2022007856A1 (zh) 2022-01-13
EP4167581A4 (en) 2023-10-04
US20230254399A1 (en) 2023-08-10

Similar Documents

Publication Publication Date Title
US10341716B2 (en) Live interaction system, information sending method, information receiving method and apparatus
CN109395372B (zh) 实现游戏手柄远程操控电脑游戏的方法、系统与电子设备
US10630629B2 (en) Screen display method, apparatus, terminal, and storage medium
WO2018161958A1 (zh) 移动终端的控制方法、装置及移动终端
CN106658064B (zh) 虚拟礼物展示方法及装置
US20230273812A1 (en) Display Method and Device
CN106406924B (zh) 应用程序启动和退出画面的控制方法、装置及移动终端
CN109753892B (zh) 人脸皱纹的生成方法、装置、计算机存储介质和终端
CN113810732B (zh) 直播内容显示方法、装置、终端、存储介质及程序产品
CN105681542A (zh) 一种信息处理方法、系统及终端
CN114741008B (zh) 分布式跨设备协同方法、电子设备及通信系统
WO2023169434A1 (zh) 通信方法和装置
JP2022547923A (ja) 顔画像送信方法、価値転送方法、装置、電子デバイス
CN112689012A (zh) 跨网络的代理通讯方法及装置
CN114089900A (zh) 一种跨设备的对象拖拽方法及设备
JP2001096069A (ja) 移動端末、ゲームの制御方法およびコンピュータ読み取り可能な記録媒体
WO2018119630A1 (zh) 一种交互方法和终端
CN115147056A (zh) 一种设备间应用协同工作的方法及设备
CN113938743B (zh) 一种电子设备间的协同控制方法及系统
EP4354270A1 (en) Service recommendation method and electronic device
EP4195639A1 (en) Service sharing method, system and electronic device
CN113018857B (zh) 游戏操作数据处理方法、装置、设备及存储介质
JP2022141683A (ja) アプリケーション機能の実施方法及び電子装置
WO2023231818A1 (zh) 一种应用界面显示方法及电子设备
US9185515B2 (en) Non-transitory storage medium encoded with computer readable information processing program capable of further enhancing zest of data communication, information processing apparatus, method of controlling information processing apparatus, and information processing system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant