CN115314494A - 一种多设备协同工作方法和装置 - Google Patents

一种多设备协同工作方法和装置 Download PDF

Info

Publication number
CN115314494A
CN115314494A CN202210935547.5A CN202210935547A CN115314494A CN 115314494 A CN115314494 A CN 115314494A CN 202210935547 A CN202210935547 A CN 202210935547A CN 115314494 A CN115314494 A CN 115314494A
Authority
CN
China
Prior art keywords
cooperation
cooperative
equipment
group
hardware
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210935547.5A
Other languages
English (en)
Inventor
王秋锋
骆子春
严肃
刘明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics China R&D Center
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics China R&D Center
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics China R&D Center, Samsung Electronics Co Ltd filed Critical Samsung Electronics China R&D Center
Priority to CN202210935547.5A priority Critical patent/CN115314494A/zh
Publication of CN115314494A publication Critical patent/CN115314494A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72439—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for image or video messaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/4222—Remote control device emulator integrated into a non-television apparatus, e.g. a PDA, media center or smart toy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W76/00—Connection management
    • H04W76/10—Connection setup

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer And Data Communications (AREA)

Abstract

本申请公开了一种多设备协同工作方法和装置，其中方法包括：协作组的协作控制设备实时监听组内各成员设备的应用运行和资源使用状态；组内所有设备处于同一局域网；当第一成员设备需要启动应用运行时，协作控制设备判断所述运行是否需要设备协作，如果是，则根据第一成员设备的资源使用状态，确定需要协作的硬件；协作控制设备根据组中成员设备的资源使用状态，为需要协作的硬件匹配用于提供相应协作的第二成员设备；利用由局域网的通信链路模拟的虚拟总线，向第二成员设备发送协作请求指令以及执行相应协作需要的操作指令和数据集，以触发第二成员设备执行相应协同操作。采用本申请，可以实现多对多的设备协作，且可以有效提高协同工作效率。

Description

一种多设备协同工作方法和装置
技术领域
本发明涉及计算机应用技术，特别是涉及一种多设备协同工作方法和装置。
背景技术
现有的设备协同工作方案，通常实现的是设备间的一对一协作，无法实现多对多的设备协作，即一个设备可以同时协作多个设备，一个设备也可以同时被多个设备协作。并且，设备间的协作多为屏幕共享、投递文件等表层业务协作，无法实现内存、CPU等系统硬件层面的合作，如此使得设备间的协作不够充分，从而不能充分利用设备间的协作机制提高应用的运行效率。
发明内容
有鉴于此，本发明的主要目的在于提供一种多设备协同工作方法和装置，可以实现多对多的设备协作，且可以有效提高协同工作效率。
为了达到上述目的，本发明实施例提出的技术方案为：
一种多设备协同工作方法，包括：
协作组的协作控制设备实时监听组内各成员设备的应用运行和资源使用状态；所述协作组内所有成员设备处于同一局域网；
当第一成员设备需要启动应用运行时，所述协作控制设备判断所述运行是否需要设备协作，如果是，则根据所述第一成员设备的资源使用状态，确定所述运行需要协作的硬件；所述第一成员设备为所述协作组中的任一成员设备；
所述协作控制设备根据所述协作组中各成员设备的资源使用状态，在所述协作组内，为所述需要协作的硬件匹配用于提供相应协作的第二成员设备；利用所述协作组的虚拟总线，向每个所述第二成员设备发送协作请求指令以及执行相应协作需要的操作指令和数据集，以触发所述第二成员设备基于所述操作指令和数据集执行相应协同操作；所述虚拟总线由所述局域网的通信链路模拟。
本发明实施例还提出一种多设备协同工作装置，设置于协作组的协作控制设备中，包括：
监听单元，用于实时监听所述协作组内各成员设备的应用运行和资源使用状态；所述协作组内所有成员设备处于同一局域网；
协作决策单元，用于当第一成员设备需要启动应用运行时，所述协作控制设备判断所述运行是否需要设备协作，如果是，则根据所述第一成员设备的资源使用状态，确定所述运行需要协作的硬件；所述第一成员设备为所述协作组中的任一成员设备；
协作控制单元，用于根据所述协作组中各成员设备的资源使用状态，在所述协作组内，为所述需要协作的硬件匹配用于提供相应协作的第二成员设备；利用所述协作组的虚拟总线，向每个所述第二成员设备发送协作请求指令以及执行相应协作需要的操作指令和数据集，以触发所述第二成员设备基于所述操作指令和数据集执行相应协同操作；所述虚拟总线由所述局域网的通信链路模拟。
本发明实施例还提出一种多设备协同工作设备，包括处理器和存储器；
所述存储器中存储有可被所述处理器执行的应用程序，用于使得所述处理器执行如上所述多设备协同工作方法。
本发明实施例还提出一种计算机可读存储介质，其中存储有计算机可读指令，该计算机可读指令用于执行如上所述多设备协同工作方法。
本发明实施例还提出一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述多设备协同工作方法的步骤。
综上所述，本发明实施例提出的多设备协同工作方案，利用协作控制设备，对协作组内各成员设备的应用运行和资源使用状态进行实时监听，在监听到任一成员设备需要启动应用运行时，判断该应用运行是否需要设备协作，为需要协作的硬件匹配用于提供相应协作的设备，并利用由局域网的通信链路模拟的虚拟总线，向每个所述第二成员设备发送协作请求指令以及执行相应协作需要的操作指令和数据集，以触发所述第二成员设备基于所述操作指令和数据集执行相应协同操作。如此，通过利用局域网模拟虚拟总线，连接各协作设备，在虚拟总线上传输CPU、GPU等硬件控制信号，进行时钟同步和时序信号传输，使得设备间的协作可以深入到系统层面，即内存、CPU等层面的合作，而不再局限在屏幕共享、投递文件等方面，从而可以提高跨系统多设备协作能力，有效提高了协同工作效率。并且，上述实施例中利用局域网连接协作组内各协作设备，协作组内设备可以随意协作，因此，可以实现多对多协作。
附图说明
图1为本发明实施例的方法流程示意图；
图2为本发明实施例在场景一的应用示意图；
图3为本发明实施例在场景二的应用示意图；
图4为本发明实施例在场景三的应用示意图；
图5为本发明实施例在场景五的应用示意图；
图6为本发明实施例的装置结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明作进一步地详细描述。
图1为本发明实施例的多设备协同工作方法流程示意图，如图1所示，该实施例主要包括：
步骤101、协作组的协作控制设备实时监听组内各成员设备的应用运行和资源使用状态；所述协作组内所有成员设备处于同一局域网。
本步骤中，需要利用协作控制设备，对协作组内各成员设备上应用程序的运行情况和各硬件资源的使用状态，进行实时监听，以便及时地对组内各设备上的应用运行进行协作控制。
这里，所述协作控制设备用于负责对协作组内的协同工作进行决策控制，具体可以预先在协作组中选择一个成员设备作为该协作控制设备，例如，可以选择硬件处理能力较强的设备作为协作控制设备，但不限于此。在实际应用中，也可以利用一专用设备作为协作控制设备。
协作组内所有成员设备处于同一局域网，以便利用局域网模拟总线进行设备间的操作指令和数据的传输，实现协作设备间的时钟同步和时序信号传输，使得设备间的协作可以深入到内存、CPU等层面的合作，而不再局限在屏幕共享、投递文件等方面的合作。
在实际应用中，协作组内的成员设备可以是手机、电脑、电视、平板电脑等，但不限于此。
步骤102、当第一成员设备需要启动应用运行时，所述协作控制设备判断所述运行是否需要设备协作，如果是，则根据所述第一成员设备的资源使用状态，确定所述运行需要协作的硬件；所述第一成员设备为所述协作组中的任一成员设备。
本步骤中，当协作控制设备监听到组内一成员设备(即第一成员设备)上需要启动应用运行时，需要判断该应用运行是否需要由组内其他设备提供协作。具体可以根据预设的协作策略进行判断。例如，如果第一成员设备上开启了协作开关，则判定需要设备协作。
当协作控制设备判断应用运行需要设备协作时，需要针对应用运行所需要的各种硬件，逐一判断每种硬件是否需要由其他设备的相应硬件提供协作。具体地，所述硬件包括外部设备(例如扬声器、耳机、屏幕等)和核心硬件设备(例如CPU、GPU、内存等)。
一种实施方式中，具体可以采用下述方法根据所述第一成员设备的资源使用状态，确定所述运行需要协作的硬件：
对于所述运行需要的每种硬件，根据所述第一成员设备当前的资源使用状态，判断所述第一成员设备当前是否能够提供相应硬件资源以完成所述运行，如果不能，则确定该种硬件为需要协作的硬件。
上述方法中，对于应用运行需要的每种硬件，需要判断所述第一成员设备中该种硬件的空闲资源是否能够满足该应用运行对该种硬件的资源需求，如果不能满足，则确定需要由其他设备提供相应硬件协作，即为需要协作的硬件。
步骤103、所述协作控制设备根据所述协作组中各成员设备的资源使用状态，在所述协作组内，为所述需要协作的硬件匹配用于提供相应协作的第二成员设备；利用所述协作组的虚拟总线，向每个所述第二成员设备发送协作请求指令以及执行相应协作需要的操作指令和数据集，以触发所述第二成员设备基于所述操作指令和数据集执行相应协同操作；所述虚拟总线由所述局域网的通信链路模拟。
本步骤中，对于已确定的需要协作的每种硬件，需要从协作组中，为其匹配用于提供相应协作的成员设备(即第二成员设备)，之后，再利用由局域网模拟的虚拟总线，向每个第二成员设备发送协作请求指令以及执行相应协作需要的操作指令和数据集，以触发第二成员设备执行相应协同操作。
这里，由局域网模拟的虚拟总线和现有计算机系统的总线结构相同，具体包括虚拟控制总线和虚拟数据总线。其中，虚拟控制总线用于传递控制信号和时序信号，为双向。控制总线具体包括用于显卡数据传输、显存信息传输的显卡专用总线(AGP总线)、用于发送控制信号和同步内存信息的CPU总线、以及用于传输除CPU和显卡之外的控制信号以及时序信号的其他总线。虚拟数据总线用于传输数据，包括缓存信息，App软件等运行信息。
通过利用局域网模拟虚拟总线，在虚拟总线上传输CPU、GPU等硬件控制信号，进行时钟同步和时序信号传输，使得设备间的协作可以深入到系统层面，即内存、CPU等层面的合作，而不再局限在屏幕共享、投递文件等方面，从而可以提高跨系统多设备协作能力，有效提高了协同工作效率。
在实际应用中，虚拟总线上的数据传输方式同现有技术，在进行数据传输之前需要进行相应总线传输格式的转化，以在总线上传输。
一种实施方式中，具体可以采用下述方法在所述协作组内，为所述需要协作的硬件匹配用于提供相应协作的第二成员设备：
对于需要协作的每种硬件，根据所述协作组中各成员设备的资源使用状态，从所述协作组中除所述第一成员设备之外的其他成员设备中，查找可以提供相应硬件资源的成员设备，并从查找到的成员设备中，选择一个成员设备作为该种硬件对应的所述第二成员设备。
在实际应用中，可以在查找到的可以提供相应硬件资源的成员设备中，根据相应硬件的占用情况，选择空闲资源最大的设备为所述第二成员设备，也可以由用户从查找到的成员设备中选择设备作为所述第二成员设备。
一种实施方式中，还可以进一步利用下述方法，在协作组中增加新的成员设备：
当所述局域网中接入新设备，且用户同意所述新设备加入协作组时，所述协作控制设备将所述新设备加入所述协作组，获取并保存所述新设备的硬件配置和使用状态信息。
采用上述方法可以将加入局域网的新设备增加至协作组中，协作控制设备对其所有可用硬件(包括核心硬件和外部设备)及其占用状态进行记录，此后，协作控制设备也将会对其上的应用运行和资源使用状态进行实时监听。
进一步地，考虑到实际应用中，第二成员设备的协同操作有可能会由于某种原因(如第二成员设备主动中断协作或更高优先级请求占用设备等)而被中断，此时，可以采用下述方法考虑通过协作转移，继续完成被中断的应用运行。具体方法如下：
一种实施方式中，所述方法进一步包括：
步骤a1、当所述第二成员设备的所述协同操作被中断时，将所述应用运行的任务挂起，并对相应断点数据进行备份。
本步骤中，在协同操作被中断时，需要对断点数据进行备份，以确保中断继续时可以在协作组中的某个设备中继续执行，确保应用运行数据不会因中断而丢失。
步骤a2、如果所述中断是由新任务对所述第二成员设备的抢占导致，则所述协作控制设备判断所述新任务的执行时间是否大于预设的短任务时长阈值，如果是，则执行协作转移过程；所述协作转移过程包括：判断所述第一成员设备进行所述应用运行是否继续需要相应硬件的协作，如果需要，则根据所述协作组中各成员设备的资源使用状态，在所述协作组内，为所述协同操作对应的硬件，匹配用于继续提供相应协作的第三成员设备，并利用所述协作组的虚拟总线，向所述第三成员设备发送协作请求指令、所述断点数据以及继续执行相应协作需要的操作指令和数据集，以触发所述第三成员设备继续为所述第一成员设备提供相应协同操作，否则，将所述断点数据发送给所述第一成员设备，以触发所述第一成员设备在所述中断的断点继续执行所述应用运行。
这里，当中断是由新任务对所述第二成员设备的抢占导致时，需要考虑新任务的执行时长，如果为短时任务(如：听一句语音)，则等待中断结束后在第二成员设备中继续执行协同操作即可，如果时长较长，即大于所述短任务时长阈值，则执行协作转移过程，以转移到其他设备继续执行协作，或继续由第一成员设备执行，从而可以通过协作转移减少中断对设备间协作运行应用的影响。
如果所述中断是由所述第二成员设备主动放弃提供协作导致，则所述协作控制设备执行所述协作转移过程。
这里，当中断是由第二成员设备主动放弃提供协作导致时，说明第二成员设备不能再继续提供相应协作了，此时，需要执行协作转移过程，以转移到其他设备继续执行协作，或继续由第一成员设备执行，从而可以通过协作转移减少协作中断对应用运行的影响。
一种实施方式中，考虑到实际应用中，第一成员设备可能由于硬件资源的释放或其他原因(如接收到用户的关闭协作指令等)而不再需要协作设备提供协作，此时，可以采用下述方法将协作操作转移至第一成员设备继续执行相应应用程序的运行：
当所述协作控制设备接收到所述第一成员设备的终止协作指令时，所述协作控制设备触发将所述应用运行的任务挂起，并对相应断点数据进行备份；将所述断点数据发送给所述第一成员设备，以使所述第一成员设备在所述中断的断点继续执行所述应用运行。
通过上述技术方案可以看出，上述实施例提出的多设备协同工作方案，通过利用局域网模拟虚拟总线，连接各协作设备，在虚拟总线上传输CPU、GPU等硬件控制信号，进行时钟同步和时序信号传输，使得设备间的协作可以深入到系统层面，有效提高了协同工作效率。并且，利用局域网连接协作组内各协作设备，使得协作组内设备可以随意协作，从而实现了设备间的多对多协作。
下面结合家庭局域网下的几种多设备场景，对上述实施例的具体实现进行详细说明。
场景一：用户同时使用电脑，手机，平板且都需要蓝牙耳机的场景。
具体场景：
1.用户正在使用电脑全屏模式看电影(蓝牙耳机连着电脑)。
2.用平板电脑的微信和别人发语音聊天(一句一句的语音)。
3.手机有QQ语音接入。
4.手机、平板和电脑均连入局域网，加入协作。
如图2所示，运用上述方法实施例进行下述多设备协同：
1.电脑，手机，平板电脑均接入协作设备，蓝牙耳机作为电脑的音频播放设备被登记组成一协作组。蓝牙耳机和电脑配对，电脑多媒体声道声音(视频声音)从蓝牙耳机输出。
2.当平板电脑的微信语音播放时，用户选择使用协作，匹配模块自动匹配到用户当前正在使用的电脑多媒体声音输出设备。建立短时协作(如果一段时间用户没有使用平板输出音频，自动断开协作)。将音频作为数据，打包发送给电脑，借用电脑的多声道和电脑视频声音同时播放到蓝牙耳机。
3.手机QQ电话接入，用户选择使用协作。建立短时协作(如果用户结束QQ电话，自动断开协作)，手机将音频作为数据，由蓝牙耳机输出。
场景二：用户使用手机玩3D游戏，同时，手机后台视频APP投屏到电视，播放游戏教程高清视频。
具体场景：
1.用户A在卧室使用电脑Office办公。
2.用户B在客厅带着耳机用手机玩3D游戏(耳机插在手机上)。
3.用户B在客厅希望能在电视上投屏手机视频软件里的游戏攻略。
4.手机、电视、电脑均连入局域网，加入协作。
如图3所示，运用上述方法实施例进行下述多设备协同：
1.手机、电视、电脑均接入协作设备，耳机插在手机上。
2.用户打开视频软件，选择要播放的视频，置入手机后台，指定电视投屏。
3.手机将视频和音频拆开，视频数据通过虚拟总线发送到电视，音频通过手机声道由耳机输出。
4.电视端使用自己的处理器进行处理，并显示在电视屏幕上。
5.手机端视频声音和电视端视频同步由时钟信号控制。
6.用户使用手机玩3D游戏，用电视遥控暂停视频。
7.电视收到暂停信号并通过虚拟总线同步到手机，手机暂停音频的播放
8.用户开启游戏最高画质，由协作控制设备匹配到电脑GPU空闲，手机将画面的几何处理相关数据通过虚拟总线发送到电脑，由电脑GPU处理完，将数据发送回手机做光栅处理，并显示到屏幕上，提高处理速度。
场景三：协作设备被占用，协作中断并转移。
具体场景：
1.用户A在客厅带着耳机用手机玩3D游戏(耳机插在手机上)。
2.用户A在客厅在电视上投屏手机视频软件里的游戏攻略。
3.用户B调起电视菜单。
4.询问用户A是否将投屏转移到平板电脑上(平板电脑上并没有对应的视频软件)
如图4所示，运用上述方法实施例进行下述多设备协同：
1.用户B调起电视菜单。
2.电视协作中断，将中断数据打包。
3.协作控制设备认为手机需要协作，并扫描协作组设备。
4.匹配到新设备为平板电脑，并询问用户是否在平板电脑上继续播放。
5.用户A选择协作在平板电脑上继续播放，并打开平板电脑(用户也可以指定新的协作设备)。
6.中断数据经格式转化标准化后发送到平板电脑上，建立新的协作关系。
7.中断视频在平板电脑上继续播放。
场景四：用户用手机看蓝光高清视频，同时手机在更新大量的软件，同时和朋友视频聊天。
具体场景：
1.用户打开视频软件观看蓝光高清视频。
2.用户打开应用商店更新全部可更新软件(用户很久没有更新过)。
3.用户开启微信视频聊天，会员最高画质(更新软件不包括该视频软件和微信)。
4.视频和聊天经历暂时卡顿，恢复正常。
运用上述方法实施例进行下述多设备协同：
1.用户更新软件同时观看高清视频，并和朋友视频聊天。
2.检测到CPU占用率极高，影响用户的视频解码速度以及视频聊天转码速度。
3.自动匹配到协作组中没有被使用的平板电脑。
4.建立手机到平板电脑的协作，将视频源码在平板电脑中进行解码。
5.解码后的数据通过虚拟总线传回到手机，在手机上实时播放。
6.用户软件更新完毕，检测到手机CPU使用率下降，协作中断。
7.将已经解码完成的数据和断点发送回手机，由手机CPU继续处理。
场景五：元宇宙的协作能力，在未来，如元宇宙，设备的界限注定要被打破。因此，深入和彻底的合作是不可避免的。应用上述实施例，可以最大限度地利用设备的功能和计算能力。
具体场景：
元宇宙拥有强大功能
电视和手机使用元宇宙中的功能
如图5所示，运用上述方法实施例进行下述多设备协同：
1.所有设备加入协同。
2.元宇宙的能力(计算力，AR等)共享到电视TV和手机。
3.TV可以使用手机功能，例如人脸识别等。
基于上述方法实施例，本发明实施例还提出一种多设备协同工作装置，该装置设置于协作组的协作控制设备中，如图6所示，包括：
监听单元601，用于实时监听所述协作组内各成员设备的应用运行和资源使用状态；其中，组内所有成员设备处于同一局域网中。
协作决策单元602，用于当第一成员设备需要启动应用运行时，所述协作控制设备判断所述运行是否需要设备协作，如果是，则根据所述第一成员设备的资源使用状态，确定所述运行需要协作的硬件；所述第一成员设备为所述协作组中的任一成员设备。
协作控制单元603，用于根据所述协作组中各成员设备的资源使用状态，在所述协作组内，为所述需要协作的硬件匹配用于提供相应协作的第二成员设备；利用所述协作组的虚拟总线，向每个所述第二成员设备发送协作请求指令以及执行相应协作需要的操作指令和数据集，以触发所述第二成员设备基于所述操作指令和数据集执行相应协同操作；所述虚拟总线由所述局域网的通信链路模拟。
需要说明的是，上述方法和装置是基于同一发明构思的，由于方法及装置解决问题的原理相似，因此，装置和方法的实施可以相互参见，重复之处不再赘述。
基于上述方法实施例，本发明实施例还提出一种多设备协同工作设备，包括处理器和存储器；所述存储器中存储有可被所述处理器执行的应用程序，用于使得所述处理器执行如上所述多设备协同工作方法。具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施例中任一实施方式的功能的软件程序代码，且使该系统或者装置的计算机(或CPU或MPU)读出并执行存储在存储介质中的程序代码。此外，还可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作。还可以将从存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展单元上的CPU等来执行部分和全部实际操作，从而实现上述多设备协同工作方法实施方式中任一实施方式的功能。
其中，存储器具体可以实施为电可擦可编程只读存储器(EEPROM)、快闪存储器(Flash memory)、可编程程序只读存储器(PROM)等多种存储介质。处理器可以实施为包括一或多个中央处理器或一或多个现场可编程门阵列，其中现场可编程门阵列集成一或多个中央处理器核。具体地，中央处理器或中央处理器核可以实施为CPU或MCU。
本申请实施例实现了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现如上所述多设备协同工作方法的步骤。
需要说明的是，上述各流程和各结构图中不是所有的步骤和模块都是必须的，可以根据实际的需要忽略某些步骤或模块。各步骤的执行顺序不是固定的，可以根据需要进行调整。各模块的划分仅仅是为了便于描述采用的功能上的划分，实际实现时，一个模块可以分由多个模块实现，多个模块的功能也可以由同一个模块实现，这些模块可以位于同一个设备中，也可以位于不同的设备中。
各实施方式中的硬件模块可以以机械方式或电子方式实现。例如，一个硬件模块可以包括专门设计的永久性电路或逻辑器件(如专用处理器，如FPGA或ASIC)用于完成特定的操作。硬件模块也可以包括由软件临时配置的可编程逻辑器件或电路(如包括通用处理器或其它可编程处理器)用于执行特定操作。至于具体采用机械方式，或是采用专用的永久性电路，或是采用临时配置的电路(如由软件进行配置)来实现硬件模块，可以根据成本和时间上的考虑来决定。
在本文中，“示意性”表示“充当实例、例子或说明”，不应将在本文中被描述为“示意性”的任何图示、实施方式解释为一种更优选的或更具优点的技术方案。为使图面简洁，各图中的只示意性地表示出了与本发明相关部分，而并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”并不表示将本发明相关部分的数量限制为“仅此一个”，并且“一个”不表示排除本发明相关部分的数量“多于一个”的情形。在本文中，“上”、“下”、“前”、“后”、“左”、“右”、“内”、“外”等仅用于表示相关部分之间的相对位置关系，而非限定这些相关部分的绝对位置。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种多设备协同工作方法，其特征在于，包括：
协作组的协作控制设备实时监听组内各成员设备的应用运行和资源使用状态；所述协作组内所有成员设备处于同一局域网；
当第一成员设备需要启动应用运行时，所述协作控制设备判断所述运行是否需要设备协作，如果是，则根据所述第一成员设备的资源使用状态，确定所述运行需要协作的硬件；所述第一成员设备为所述协作组中的任一成员设备；
所述协作控制设备根据所述协作组中各成员设备的资源使用状态，在所述协作组内，为所述需要协作的硬件匹配用于提供相应协作的第二成员设备；利用所述协作组的虚拟总线，向每个所述第二成员设备发送协作请求指令以及执行相应协作需要的操作指令和数据集，以触发所述第二成员设备基于所述操作指令和数据集执行相应协同操作；所述虚拟总线由所述局域网的通信链路模拟。
2.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：
当所述局域网中接入新设备，且用户同意所述新设备加入协作组时，所述协作控制设备将所述新设备加入所述协作组，获取并保存所述新设备的硬件配置和使用状态信息。
3.根据权利要求1所述的方法，其特征在于，所述根据所述第一成员设备的资源使用状态，确定所述运行需要协作的硬件包括：
对于所述运行需要的每种硬件，根据所述第一成员设备当前的资源使用状态，判断所述第一成员设备当前是否能够提供相应硬件资源以完成所述运行，如果不能，则确定该种硬件为需要协作的硬件。
4.根据权利要求1所述的方法，其特征在于，所述在所述协作组内，为所述需要协作的硬件匹配用于提供相应协作的第二成员设备包括：
对于需要协作的每种硬件，根据所述协作组中各成员设备的资源使用状态，从所述协作组中除所述第一成员设备之外的其他成员设备中，查找可以提供相应硬件资源的成员设备，并从查找到的成员设备中，选择一个成员设备作为该种硬件对应的所述第二成员设备。
5.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：
当所述第二成员设备的所述协同操作被中断时，将所述应用运行的任务挂起，并对相应断点数据进行备份；
如果所述中断是由新任务对所述第二成员设备的抢占导致，则所述协作控制设备判断所述新任务的执行时间是否大于预设的短任务时长阈值，如果是，则执行协作转移过程；所述协作转移过程包括：判断所述第一成员设备进行所述应用运行是否继续需要相应硬件的协作，如果需要，则根据所述协作组中各成员设备的资源使用状态，在所述协作组内，为所述协同操作对应的硬件，匹配用于继续提供相应协作的第三成员设备，并利用所述协作组的虚拟总线，向所述第三成员设备发送协作请求指令、所述断点数据以及继续执行相应协作需要的操作指令和数据集，以触发所述第三成员设备继续为所述第一成员设备提供相应协同操作，否则，将所述断点数据发送给所述第一成员设备，以触发所述第一成员设备在所述中断的断点继续执行所述应用运行；
如果所述中断是由所述第二成员设备主动放弃提供协作导致，则所述协作控制设备执行所述协作转移过程。
6.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：
当所述协作控制设备接收到所述第一成员设备的终止协作指令时，所述协作控制设备触发将所述应用运行的任务挂起，并对相应断点数据进行备份；将所述断点数据发送给所述第一成员设备，以使所述第一成员设备在所述中断的断点继续执行所述应用运行。
7.一种多设备协同工作装置，其特征在于，设置于协作组的协作控制设备中，包括：
监听单元，用于实时监听所述协作组内各成员设备的应用运行和资源使用状态；所述协作组内所有成员设备处于同一局域网；
协作决策单元，用于当第一成员设备需要启动应用运行时，所述协作控制设备判断所述运行是否需要设备协作，如果是，则根据所述第一成员设备的资源使用状态，确定所述运行需要协作的硬件；所述第一成员设备为所述协作组中的任一成员设备；
协作控制单元，用于根据所述协作组中各成员设备的资源使用状态，在所述协作组内，为所述需要协作的硬件匹配用于提供相应协作的第二成员设备；利用所述协作组的虚拟总线，向每个所述第二成员设备发送协作请求指令以及执行相应协作需要的操作指令和数据集，以触发所述第二成员设备基于所述操作指令和数据集执行相应协同操作；所述虚拟总线由所述局域网的通信链路模拟。
8.一种多设备协同工作设备，其特征在于，包括处理器和存储器；
所述存储器中存储有可被所述处理器执行的应用程序，用于使得所述处理器执行如权利要求1至6中任一项所述多设备协同工作方法。
9.一种计算机可读存储介质，其特征在于，其中存储有计算机可读指令，该计算机可读指令用于执行如权利要求1至6中任一项所述多设备协同工作方法。
10.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1至6中任一项所述多设备协同工作方法的步骤。
CN202210935547.5A 2022-08-04 2022-08-04 一种多设备协同工作方法和装置 Pending CN115314494A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210935547.5A CN115314494A (zh) 2022-08-04 2022-08-04 一种多设备协同工作方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210935547.5A CN115314494A (zh) 2022-08-04 2022-08-04 一种多设备协同工作方法和装置

Publications (1)

Publication Number Publication Date
CN115314494A true CN115314494A (zh) 2022-11-08

Family

ID=83859996

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210935547.5A Pending CN115314494A (zh) 2022-08-04 2022-08-04 一种多设备协同工作方法和装置

Country Status (1)

Country Link
CN (1) CN115314494A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117171551A (zh) * 2023-11-02 2023-12-05 山东港口科技集团烟台有限公司 大规模工业设备数据分析与智能管理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117171551A (zh) * 2023-11-02 2023-12-05 山东港口科技集团烟台有限公司 大规模工业设备数据分析与智能管理方法
CN117171551B (zh) * 2023-11-02 2024-01-30 山东港口科技集团烟台有限公司 大规模工业设备数据分析与智能管理方法

Similar Documents

Publication Publication Date Title
CN107360458B (zh) 播放控制方法、装置、存储介质及终端
JP6104495B2 (ja) 再生同期化方法及びこれを適用したデバイス｛Ｍｅｔｈｏｄｆｏｒｐｌａｙｓｙｎｃｈｒｏｎｉｚａｔｉｏｎａｎｄｄｅｖｉｃｅｕｓｉｎｇｔｈｅｓａｍｅ｝
CN112988102A (zh) 投屏方法和装置
EP2854342A1 (en) Multi-screen interaction method, apparatus, and terminal device
CN106454389B (zh) 一种直播视频的播放方法与装置
CN109819303B (zh) 数据输出方法及相关设备
CN106303648A (zh) 一种同步播放多媒体数据的方法及装置
CN102981613A (zh) 终端和终端控制方法
KR20150001881A (ko) 동영상 멀티미디어 링톤을 제공하기 위한 방법 및 시스템
KR101624904B1 (ko) 휴대용 단말기에서 디엔엘에이를 이용하여 멀티 사운드 채널 컨텐츠를 재생하기 위한 장치 및 방법
CN115314494A (zh) 一种多设备协同工作方法和装置
CN109669765A (zh) 应用切换方法及装置
CA3143942C (en) Methods, systems, and media for providing dynamic media sessions
CN112565876B (zh) 投屏方法、装置、设备、系统及存储介质
US20210227005A1 (en) Multi-user instant messaging method, system, apparatus, and electronic device
CN114554277B (zh) 多媒体的处理方法、装置、服务器及计算机可读存储介质
CN104869347A (zh) 视频通话方法及装置
CN108282720B (zh) 一种音频数据流的传输方法及装置
CN113827953B (zh) 游戏控制系统
CN113727177B (zh) 投屏资源播放方法及其装置、设备与介质
CN108600838A (zh) Android电视的信源切换方法、装置、Android电视及可读存储介质
CN115767158A (zh) 同步播放方法、终端设备及存储介质
CN112055238B (zh) 视频播放的控制方法、设备及系统
CN114422840A (zh) 音轨切换的方法及装置
CN114025230A (zh) 一种终端视频播放方法和相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination