CN111327769B - 多屏互动方法及装置、存储介质 - Google Patents

多屏互动方法及装置、存储介质 Download PDF

Info

Publication number
CN111327769B
CN111327769B CN202010117281.4A CN202010117281A CN111327769B CN 111327769 B CN111327769 B CN 111327769B CN 202010117281 A CN202010117281 A CN 202010117281A CN 111327769 B CN111327769 B CN 111327769B
Authority
CN
China
Prior art keywords
interface
terminal
file
detected
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010117281.4A
Other languages
English (en)
Other versions
CN111327769A (zh
Inventor
李嘉懿
刘鸣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Priority to CN202010117281.4A priority Critical patent/CN111327769B/zh
Publication of CN111327769A publication Critical patent/CN111327769A/zh
Priority to US16/934,904 priority patent/US11604572B2/en
Priority to EP20188582.9A priority patent/EP3872611A1/en
Application granted granted Critical
Publication of CN111327769B publication Critical patent/CN111327769B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72469—User interfaces specially adapted for cordless or mobile telephones for operating the device by selecting functions from two or more displayed items, e.g. menus or icons
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43076—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of the same content streams on multiple devices, e.g. when family members are watching the same movie on different devices
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开是关于一种多屏互动方法及装置、存储介质。该方法包括：在所述第一终端的显示屏上投影所述第二终端的第一界面；检测作用于所述第一界面的第一操作；当检测到针对所述第一界面中第一对象的所述第一操作时，在所述第一终端中响应针对所述第一对象的所述第一操作。通过该方法，增强了不同终端间的互动。

Description

多屏互动方法及装置、存储介质
技术领域
本公开涉及电子设备技术领域，尤其涉及一种多屏互动方法及装置、存储介质。
背景技术
随着跨设备连接的发展，手机和电脑之间的传输受到了业界的广泛重视，苹果开发的airdrop和Handoff等功能，微软研发的nearby sharing等产品，均为用户手机和电脑之间的连接建立了技术基础。在这些技术的基础之上，手机和电脑拥有了更多的交互可能性。
发明内容
本公开提供一种多屏互动方法及装置、存储介质。
根据本公开实施例的第一方面，提供一种多屏互动方法，应用于第一终端，包括：
在所述第一终端的显示屏上投影所述第二终端的第一界面；
检测作用于所述第一界面的第一操作；
当检测到针对所述第一界面中第一对象的所述第一操作时，在所述第一终端中响应针对所述第一对象的所述第一操作。
可选的，所述当检测到针对所述第一界面中第一对象的所述第一操作时，在所述第一终端中响应针对所述第一对象的所述第一操作，包括：
当检测到将所述第一界面中第一对象拖动到所述第一界面外的所述第一操作时，将所述第一对象存储到所述第一终端中。
可选的，所述显示屏还包括：显示有所述第一界面以外的一个或多个第二对象；
所述方法还包括：
检测作用于所述第一界面外区域的第二操作；
当检测到将从所述第二对象拖到所述第一界面内的所述第二操作时，将所述第二对象发送给所述第二终端。
可选的，所述第一对象为文件或程序；所述当检测到针对所述第一界面中第一对象的所述第一操作时，在所述第一终端中响应针对所述第一对象的所述第一操作，包括：
当检测到打开所述第一界面中第一对象的所述第一操作时，在所述第一终端中打开所述第一对象。
可选的，所述第一对象为文件；所述当检测到针对所述第一界面中第一对象的所述第一操作时，在所述第一终端中响应针对所述第一对象的所述第一操作，包括：
当检测到编辑所述文件的所述第一操作时，在所述第一终端中打开所述文件并编辑所述文件；
将完成编辑的所述文件发送给所述第二终端。
可选的，所述第一对象为链接地址，所述当检测到针对所述第一界面中第一对象的所述第一操作时，在所述第一终端中响应针对所述第一对象的所述第一操作，包括：
当检测到作用于所述第一界面中链接地址的所述第一操作时，所述第一终端根据所述链接地址打开所述连接地址所连接的页面。
可选的，所述第一对象包括：界面新增控件；所述当检测到针对所述第一界面中第一对象的所述第一操作时，在所述第一终端中响应针对所述第一对象的所述第一操作，包括：
当检测到作用于所述界面新增控件的所述第一操作时，在所述第一终端的显示屏上投影所述第二终端的第二界面。
可选的，所述第二界面包括所述第二终端的桌面，所述方法还包括：
当检测到将所述桌面中目标应用的图标拖动到所述桌面外的第三操作时，在所述第一终端的显示屏上投影所述目标应用的第三界面。
可选的，所述方法还包括：
当检测到将所述第一界面中的第一对象拖动到所述第三界面的所述第一操作时，向所述第二终端发送第一对象复制指令；所述第一对象复制指令，用于指示所述第二终端将所述第一对象从所述第一界面复制到所述第三界面；
当检测到将所述第三界面中的第三对象拖动到所述第一界面的第四操作时，向所述第二终端发送第三对象复制指令；所述第三对象复制指令，用于指示所述第二终端将所述第三对象从所述第三界面复制到所述第一界面。
可选的，所述第一界面包括消息提示界面，所述界面新增控件包括消息显示控件；所述当检测到作用于所述界面新增控件的所述第一操作时，在所述第一终端的显示屏上投影所述第二终端的第二界面，包括：
当检测到作用于所述消息提示界面中所述消息显示控件的所述第一操作时，在所述第一终端的显示屏上投影所述第二终端的消息显示界面。
根据本公开实施例的第二方面，提供一种多屏互动方法，应用于第二终端，包括：
将第一界面投影到第一终端的显示屏；
响应所述第一终端检测到的对所述第一界面中第一对象的第一操作。
可选的，所述响应所述第一终端检测到的对所述第一界面中第一对象的第一操作，包括：
若所述第一操作为所述第一终端检测到的将所述第一界面中第一对象拖动到所述第一界面外，将所述第一对象发送给所述第一终端。
可选的，所述方法还包括：
接收所述第一终端发送的第二对象；所述第二对象，为所述第一终端检测到将所述第一界面外区域的第二对象拖到所述第一界面内的第二操作后发送的；
保存所述第二对象。
可选的，所述第一对象为文件，所述响应所述第一终端针对所述第一界面中第一对象的第一操作，包括：
接收所述第一终端发送的编辑后的文件；所述文件为：存储在第二终端并在所述第一终端中打开的文件；
保存所述编辑后的文件。
可选的，所述第一对象为界面新增控件，所述响应所述第一终端检测到的对所述第一界面中第一对象的第一操作，包括：
若所述第一操作为所述第一终端检测到的作用于所述界面新增控件的操作，将第二界面投影到所述第一终端的显示屏。
可选的，所述第二界面包括所述第二终端的桌面，所述方法还包括：
若所述第一操作为所述第一终端检测到的将所述桌面中目标应用的图标拖动到所述桌面外的第三操作，将所述目标应用的第三界面投影到所述第一终端的显示屏。
可选的，所述方法还包括：
接收第一对象复制指令或第三对象复制指令；其中，所述第一对象复制指令为所述第一终端检测到将所述第一界面中的第一对象拖动到所述第三界面的所述第一操作后发送的；所述第三对象复制指令为所述第一终端检测到将所述第三界面中的第三对象拖动到所述第一界面的第四操作后发送的；
根据所述第一对象复制指令，将所述第一界面中的第一对象复制到所述第三界面；或，根据所述第三对象复制指令，将所述第三界面中的第三对象复制到所述第一界面。
可选的，所述第一界面包括消息提示界面，所述界面新增控件包括消息显示控件；所述若所述第一操作为所述第一终端检测到的作用于所述界面新增控件的操作，将第二界面投影到所述第一终端的显示屏，包括：
若所述第一操作为所述第一终端检测到的作用于所述消息提示界面中所述消息显示控件的操作，将消息显示界面投影到所述第一终端的显示屏。
可选的，所述方法还包括：
显示投屏控制界面；
检测作用于所述投屏控制界面的第五操作；
当检测到针对所述投屏控制界面中第四对象的所述第五操作时，响应所述第五操作。
可选的，所述第四对象包括静音设置控件，所述当检测到针对所述投屏控制界面中第四对象的所述第五操作时，响应所述第五操作，包括：
当检测到针对所述静音设置控件的所述第五操作时，将所述第二终端设置为静音模式。
根据本公开实施例的第三方面，提供一种多屏互动装置，应用于第一终端，包括：
第一投影模块，配置为在所述第一终端的显示屏上投影所述第二终端的第一界面；
第一检测模块，配置为检测作用于所述第一界面的第一操作；
第一响应模块，配置为当检测到针对所述第一界面中第一对象的所述第一操作时，在所述第一终端中响应针对所述第一对象的所述第一操作。
可选的，所述第一响应模块，具体配置为当检测到将所述第一界面中第一对象拖动到所述第一界面外的所述第一操作时，将所述第一对象存储到所述第一终端中。
可选的，所述显示屏还包括：显示有所述第一界面以外的一个或多个第二对象；
所述装置还包括：
第二检测模块，配置为检测作用于所述第一界面外区域的第二操作；
第一发送模块，配置为当检测到将从所述第二对象拖到所述第一界面内的所述第二操作时，将所述第二对象发送给所述第二终端。
可选的，所述第一对象为文件或程序；所述第一响应模块，具体配置为当检测到打开所述第一界面中第一对象的所述第一操作时，在所述第一终端中打开所述第一对象。
可选的，所述第一对象为文件；所述第一响应模块，具体配置为当检测到编辑所述文件的所述第一操作时，在所述第一终端中打开所述文件并编辑所述文件；将完成编辑的所述文件发送给所述第二终端。
可选的，所述第一对象为链接地址，所述第一响应模块，具体配置为当检测到作用于所述第一界面中链接地址的所述第一操作时，所述第一终端根据所述链接地址打开所述连接地址所连接的页面。
可选的，所述第一对象包括：界面新增控件；所述第一响应模块，具体配置为当检测到作用于所述界面新增控件的所述第一操作时，在所述第一终端的显示屏上投影所述第二终端的第二界面。
可选的，所述第二界面包括所述第二终端的桌面，所述装置还包括：
第二投影模块，配置为当检测到将所述桌面中目标应用的图标拖动到所述桌面外的第三操作时，在所述第一终端的显示屏上投影所述目标应用的第三界面。
可选的，所述装置还包括：
第二发送模块，配置为当检测到将所述第一界面中的第一对象拖动到所述第三界面的所述第一操作时，向所述第二终端发送第一对象复制指令；所述第一对象复制指令，用于指示所述第二终端将所述第一对象从所述第一界面复制到所述第三界面；当检测到将所述第三界面中的第三对象拖动到所述第一界面的第四操作时，向所述第二终端发送第三对象复制指令；所述第三对象复制指令，用于指示所述第二终端将所述第三对象从所述第三界面复制到所述第一界面。
可选的，所述第一界面包括消息提示界面，所述界面新增控件包括消息显示控件；
所述第二投影模块，具体配置为当检测到作用于所述消息提示界面中所述消息显示控件的所述第一操作时，在所述第一终端的显示屏上投影所述第二终端的消息显示界面。
根据本公开实施例的第四方面，提供一种多屏互动装置，应用于第二终端，包括：
第三投影模块，配置为将第一界面投影到第一终端的显示屏；
第二响应模块，配置为响应所述第一终端检测到的对所述第一界面中第一对象的第一操作。
可选的，所述第二响应模块，具体配置为若所述第一操作为所述第一终端检测到的将所述第一界面中第一对象拖动到所述第一界面外，将所述第一对象发送给所述第一终端。
可选的，所述装置还包括：
第一接收模块，配置为接收所述第一终端发送的第二对象；所述第二对象，为所述第一终端检测到将所述第一界面外区域的第二对象拖到所述第一界面内的第二操作后发送的；
第一保存模块，配置为保存所述第二对象。
可选的，所述第一对象为文件，所述第二响应模块，具体配置为接收所述第一终端发送的编辑后的文件；所述文件为：存储在第二终端并在所述第一终端中打开的文件；保存所述编辑后的文件。
可选的，所述第一对象为界面新增控件，所述第二响应模块，配置为若所述第一操作为所述第一终端检测到的作用于所述界面新增控件的操作，将第二界面投影到所述第一终端的显示屏。
可选的，所述第二界面包括所述第二终端的桌面，所述装置还包括：
第四投影模块，配置为若所述第一操作为所述第一终端检测到的将所述桌面中目标应用的图标拖动到所述桌面外的第三操作，将所述目标应用的第三界面投影到所述第一终端的显示屏。
可选的，所述装置还包括：
第二接收模块，配置为接收第一对象复制指令或第三对象复制指令；其中，所述第一对象复制指令为所述第一终端检测到将所述第一界面中的第一对象拖动到所述第三界面的所述第一操作后发送的；所述第三对象复制指令为所述第一终端检测到将所述第三界面中的第三对象拖动到所述第一界面的第四操作后发送的；
复制模块，配置为根据所述第一对象复制指令，将所述第一界面中的第一对象复制到所述第三界面；或，根据所述第三对象复制指令，将所述第三界面中的第三对象复制到所述第一界面。
可选的，所述第一界面包括消息提示界面，所述界面新增控件包括消息显示控件；
所述第四投影模块，具体配置为若所述第一操作为所述第一终端检测到的作用于所述消息提示界面中所述消息显示控件的操作，将消息显示界面投影到所述第一终端的显示屏。
可选的，所述装置还包括：
显示模块，配置为显示投屏控制界面；
第二检测模块，配置为检测作用于所述投屏控制界面的第五操作；
第三响应模块，配置为当检测到针对所述投屏控制界面中第四对象的所述第五操作时，响应所述第五操作。
可选的，所述第四对象包括静音设置控件，
所述第三响应模块，具体配置为当检测到针对所述静音设置控件的所述第五操作时，将所述第二终端设置为静音模式。
根据本公开实施例的第五方面，提供一种多屏互动装置，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行如上述第一方面或第二方面中所述的多屏互动方法。
根据本公开实施例的第六方面，提供一种存储介质，包括：
当所述存储介质中的指令由计算机的处理器执行时，使得计算机能够执行如上述第一方面或第二方面中所述的多屏互动方法。
本公开的实施例提供的技术方案可以包括以下有益效果：
在本公开的实施例中，第一终端的显示屏上会投影第二终端的第一界面，第一终端会检测作用于第一界面的第一操作；当检测到针对第一界面中第一对象的第一操作时，第一终端会响应针对第一对象的第一操作。通过上述方式，使得第一终端不仅能接收第二终端的分享，还可以直接由第一终端检测到对第一终端所显示的第一界面上的操作对第二终端进行控制，简化了第一终端和第二终端之间的交互用户操作，且有利于根据基于用户输入的操作选择更为适合当前应用场景的第一终端和/或第二终端来执行对应的操作，提升了用户体验且提升了多屏互动的智能性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是本公开实施例示出的一种多屏互动方法流程图一。
图2-图3为本公开实施例中一种第一终端和第二终端通过收发广播信息的方式建立连接的示意图。
图4-图5为本公开实施例中一种扫码登陆方式建立连接的示例图。
图6为本公开实施例中一种投屏应用示例图一。
图7为本公开实施例中一种投屏应用示例图二。
图8为本公开实施例中一种投屏应用示例图三。
图9为本公开实施例中一种投屏应用示例图四。
图10为本公开实施例中一种投屏应用示例图五。
图11为本公开实施例中一种投屏应用示例图六。
图12为本公开实施例中一种投屏应用示例图七。
图13为本公开实施例中一种投屏应用示例图八。
图14是本公开实施例示出的一种多屏互动方法流程图二。
图15为本公开实施例中一种投屏应用示例图九。
图16是本公开实施例示出的一种多屏互动系统执行多屏互动方法的交互流程图。
图17是根据一示例性实施例示出的一种多屏互动装置图一。
图18是根据一示例性实施例示出的一种多屏互动装置图二。
图19是本公开实施例示出的一种第一终端或第二终端的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是本公开实施例示出的一种多屏互动方法流程图一，如图1所示，应用于第一终端中的多屏互动方法包括以下步骤：
S11、在所述第一终端的显示屏上投影所述第二终端的第一界面；
S12、检测作用于所述第一界面的第一操作；
S13、当检测到针对所述第一界面中第一对象的所述第一操作时，在所述第一终端中响应针对所述第一对象的所述第一操作。
在本公开的实施例中，第一终端可以是笔记本电脑、平板电脑或电视终端等。
在一些实施例中，所述第一终端可为屏幕大于所述第二终端的终端设备。例如，若所述第一终端为个人电脑(Personal Computer，PC)则所述第二终端可为：手机或平板电脑等。在另一些实施例中，若所述第一终端为平板电脑或平板和PC二合一电脑，则所述第二终端可为手机或可穿戴式设备等。
在本公开实施例中，第一终端和第二终端之间可建立有线连接，该有线连接包括但不限于通用串行总线(Universal Serial Bus，USB)连接或者串口连接。此外，第一终端和第二终端之间还可进行无线连接。例如，通过蓝牙通信或近场通信(Near FieldCommunication，NFC)等方式建立无线连接。该无线连接还包括：设备到设备(Device toDevice，D2D)或者无线保真(Wireless Fidelity，Wi-Fi)直连等方式建立的无线连接。
针对无线连接，在一种实施例中：
第一终端发送第一广播信息，第一广播信息中携带有第一终端的用户账户信息；
接收第二终端基于用户账户信息反馈的第一连接请求；
根据第一连接请求与第二终端建立连接。
在该种连接方式中，第一终端发送的第一广播信息中携带有第一终端的用户账户信息，该用户账户信息例如包括用户的账号名。位于同一局域网的第二终端接收到该第一广播信息后，在第二终端的显示屏上显示第一广播信息中的用户账户信息，第二终端接收用户基于用户账户信息发送的连接确认指令，并向第一终端发送第一连接请求，第一终端根据第一连接请求即和第二终端建立连接。
图2-图3为本公开实施例中一种第一终端和第二终端通过收发广播信息的方式建立连接的示意图，如图2所示，笔记本电脑发送携带有自身用户标识信息的广播信息后，显示了附近多个接收到该广播信息的终端；如图3所示，第二终端中显示了包括第一终端设备用户标识信息的连接提示信息，第二终端检测到针对连接提示信息的用户确认反馈之后，建立与第一终端的连接。例如，第二终端基于用户点击“连接”控件的操作后，即和第一终端建立连接。
在该种连接方式中，通过第一终端广播连接信号来建立第一终端和第二终端的直接连接，而无需通过路由器的中转，因而能减少路由器中转造成的信息泄露问题，提升第一终端和第二终端间交互的安全性。
针对无线连接，在另一种实施例中：
第一终端的显示屏上显示包括登陆链接信息的二维码；
接收第二终端基于二维码反馈的第二连接请求；
根据第二连接请求与第二终端建立连接。
在该种连接方式中，登陆链接信息中包括第一终端的设备标识信息，第二终端扫描二维码后解析获得第一终端的设备标识信息，并基于该设备标识信息向第一终端发送第二连接请求，第一终端基于该第二连接请求和第二终端建立连接。该设备标识信息例如是设备的物理地址(Media Access Control Address，MAC地址)。
图4-图5为本公开实施例中一种扫码登陆方式建立连接的示例图，如图4所示，第一终端(笔记本电脑)，电脑的桌面上显示了用于建立连接的二维码信息。如图5所示，第二终端(手机)利用例如相机中的扫码功能扫码后和第一终端建立连接，并在手机的显示界面上显示连接成功的提示消息。
需要说明的是，在本公开的实施例中，在首次通过扫码登陆的方式建立连接后，第二终端也可上传自身的用户账户信息给第一终端，以便于第一终端保存。其中，用户账户信息包括：用户的账户名，还可包括与用户的账户名匹配的密码。通常，第二终端和第一终端属于同一用户的设备时，第二终端才会基于用户的许可上传用户账户信息给第一终端。
如图5所示，手机的显示界面上显示了是否同步用户账号(用户账户信息)给电脑设备的提示信息。基于用户的同步确认操作，手机即将用户账号发送给笔记本电脑。
在后续建立连接时，第一终端可发送第二广播信息，第二广播信息中携带有自身的MAC地址和存储的第二终端的用户账户信息，当接收到该第二广播信息的第二终端确定第二广播信息中携带的用户账户信息和自身的用户账户信息一致时，即自动通过第二广播信息中第一终端的MAC地址和第一终端建立连接。可以理解的是，该种基于用户账户信息进行自动连接的方式，为第一终端和第二终端的投屏带来了便利，无需用户在每次投屏时手动操作以实现连接，提升了用户的使用体验。
第一终端基于和第二终端建立的连接，即可基于步骤S11在显示屏上投影第二终端的第一界面。需要说明的是，第二终端的第一界面，可以是第一终端的桌面，也可以是第二终端的设置界面，还可以是第二终端当前正显示的某一应用的应用界面，本公开实施例不做限制。此外，显示于第一终端显示屏上的第一界面的布局可与第二终端中的布局一致。
在一些实施例中，所述第一终端显示屏上显示的第一界面的尺寸与第二终端的尺寸相同。而在另一些实施例中，显示在第一终端显示屏上的第一界面的尺寸，可按照第一终端显示屏的大小做适当缩放，但保持与第二终端显示屏一致的长宽比，以减少用户因比例变化带来的陌生感，从而提升用户使用体验。
第一终端基于显示的第二终端的第一界面，即可在步骤S12中检测作用于第一界面的第一操作。若第二终端是可连接键鼠的设备，例如笔记本电脑，则第一操作可以是基于鼠标的点击操作或基于键盘的输入操作，当然也可以是基于语音的语音控制操作，本公开实施例不做限制。
在步骤S13中，第一终端检测到针对第一界面中第一对象的第一操作时，则在第一终端中响应针对第一对象的第一操作，即在第一终端中实现对第二终端的控制。
在该实施例中，第一对象可以是桌面中某个应用程序的图标，也可以是应用界面中的某个文件，还可以是设置界面中的某个控件，本公开实施例不做限制。
可以理解的是，在该实施例中，第一终端不仅能接收第二终端的分享，还可以对第二终端进行控制，简化了第一终端和第二终端之间的交互用户操作，且有利于根据基于用户输入的操作选择更为适合当前应用场景的第一终端和/或第二终端来执行对应的操作，提升了用户体验且提升了多屏互动的智能性。此外，以第一终端是电脑，第二终端是手机为例，在电脑的显示屏上显示分享的内容，因显示屏相对于手机较大，因而能提升用户的视觉体验；此外，基于用户的第一操作在电脑中响应，电脑中硬件处理能力也通常优于手机，因而能加快第一操作的响应速度，从而提升用户使用体验。
在一种实施例中，步骤S13包括：
当检测到将所述第一界面中第一对象拖动到所述第一界面外的所述第一操作时，将所述第一对象存储到所述第一终端中。
在该实施例中，例如第一界面是手机或带显示屏的智能音箱中的音频文件列表的界面，该第一对象可以是其中的某个音频文件。再例如，第一界面是手机中的图片文件列表的界面，该第一对象则是某个图像文件。
在本公开的实施例中，当第一终端检测到将第一界面中第一对象拖动到第一界面外的第一操作时，第二终端会将第一对象发送给第一终端，从而使得第一终端能将第一对象存储到本地。例如，该第一操作是基于连接电脑的鼠标的点击拖动，或者是平板电脑上用户的触控拖动。
图6为本公开实施例中一种投屏应用示例图一，如图6所示，该第一操作是利用鼠标将手机的图片列表界面中某一图片拖到笔记本电脑的图片列表界面(即第一界面外)时，手机向笔记本电脑发送被拖动的图片，被拖动的图片在笔记本电脑的图片列表界面中展示。
可以理解是，在该实施例中，第一终端通过检测到将第一界面中第一对象拖动到第一界面外的第一操作而将第一对象存储在本端，实现了第二终端向第一终端传输文件的功能。该文件传输功能只用第一终端检测到在第一终端的显示屏上的第一操作就可完成，减少了用户操作终端的个数以及操作次数；且，该操作是一种简单的拖动操作，无需用户额外的记忆操作动作，因而具有交互友好的特点。
在一种实施例中，所述显示屏还包括：显示有所述第一界面以外的一个或多个第二对象；
应用于第一终端中的投屏方法还包括：
检测作用于所述第一界面外区域的第二操作；
当检测到将从所述第二对象拖到所述第一界面内的所述第二操作时，将所述第二对象发送给所述第二终端。
在本公开的实施例中，第一终端的显示屏上也会显示第二对象，例如，该第二对象也是第一终端桌面中某个文档文件，也可以是图像列表界面中的某个图片文件等。当第一终端检测到将第二对象拖动到第一界面内的第二操作时，第一终端会将第二对象发送给第二终端，从而使得第二终端能将第二对象保存。
图7为本公开实施例中一种投屏应用示例图二，如图7所示，该第二操作是将笔记本电脑桌面上的某一文档拖到笔记本电脑中手机的微信聊天界面(即第一界面内)时，笔记本电脑向手机发送被拖动的文档，从而使得手机用户能通过微信聊天界面发送该文档。需要说明的是，被发送的文档因为在手机中保存了，所以才能被发送出去。
可以理解是，在该实施例中，第一终端在检测到将第一界面外的第二对象拖动到第一界面内的第二操作时，会像第二终端发送该第二对象，以便第二对象保存后使用，实现了第一终端向第二终端传输文件的功能。
在本公开实施例中，基于提供的文件互传功能，进一步提升了投屏应用的智能性，提升了用户的使用体验。
在一种实施例中，所述第一对象为文件或程序；步骤S13包括：
当检测到打开所述第一界面中第一对象的所述第一操作时，在所述第一终端中打开所述第一对象。
在该实施例中，该第一对象例如是word文档、音乐文件或图片文件等，或者是第二终端中的音乐应用程序。当第一对象为文件或程序，该第一操作是对文件或程序的打开操作时，即可直接在第一终端中打开该第一对象。
需要说明的是，在本公开的实施例中，若第一对象是文件，当第一终端检测到针对文件的打开操作时，会接收第二终端发送的文件并利用第一终端中的工具打开。例如第一对象是word文档，第一终端利用自身的Microsoft office Word工具打开该文档。当然，若第一终端中未安装相应的工具打开文件，则第一终端会自动下载并安装相应工具并打开文件。
若第一对象是程序时，当第一终端检测到针对程序的打开操作时，会事先确定第一终端中是否安装有与第二终端相同版本的程序，若安装有，则直接打开第一终端中安装的程序。例如，第一终端是PC，第二终端是平板电脑，该程序是游戏程序。当然，若第一终端中未安装与第二终端相同版本的程序，第一终端也可自动下载并安装该程序再打开。
可以理解的是，在该实施例中，一方面，因用户在将第二终端的第一界面投影至第一终端时，会更关注第一终端，因而无需用户在处于更关注第一终端的前提下，再去利用第二终端打开文件或程序，给用户提供了便利。另一方面，因第一终端的显示屏显示屏尺寸相对于第二终端可能较大，因而能提升用户的视觉体验；此外，因第一终端的硬件处理能力也相对优于第二终端，因而能加快第一操作的响应速度，从而提升用户使用体验。且该实施例中，当第一终端中未安装能打开文件或程序的工具时，还会自动安装并打开文件或程序，具备智能性的特点。
需要说明的是，在本公开的实施例中，当在第一终端中打开第一对象时，第二终端中可不用同步打开该第一对象，因而能节省第二终端的功耗。
在一种实施例中，所述第一对象为文件；所述当检测到针对所述第一界面中第一对象的所述第一操作时，在所述第一终端中响应针对所述第一对象的所述第一操作，包括：
当检测到编辑所述文件的所述第一操作时，在所述第一终端中打开所述文件并编辑所述文件；
将完成编辑的所述文件发送给所述第二终端。
在该实施例中，当第一终端检测到编辑文件的第一操作时，例如，第一终端检测到对word文档的修改操作，对演示文稿(Microsoft Office PowerPoint，PPT)文件的修改，或对图片文件的修改，则第一终端会利用相应的工具打开该文件并执行编辑操作。例如，对于图片文件，利用Photoshop工具执行修图的操作。在完成对文件的编辑后，第一终端即会自动将编辑后的文件发送给第二终端。
图8为本公开实施例中一种投屏应用示例图三，如图8所示，笔记本电脑打开了笔记本电脑的显示屏上来自于手机端的文件列表界面中的某一word文档，并利用word进行编辑。
可以理解的是，在该实施例中，第一终端不仅能打开第二终端中的文件，还能利用自身的工具对文件进行编辑，不仅给用户提供了便利，可以提升用户的视觉体验，还可能进一步地利用第一终端中硬件处理能力，加快对文件的编辑操作的响应速度，从而提升用户使用体验。此外，第一终端对文件进行编辑后，无需再接收用户的拖动操作，基于文件的拖动操作将文件发送给第二终端，而是自动发送编辑后的文件，提升了文件回传的便利性。
在一种实施例中，所述第一对象为链接地址，步骤S13包括：
当检测到作用于所述第一界面中链接地址的所述第一操作时，所述第一终端根据所述链接地址打开所述连接地址所连接的页面。
在该实施例中，当第一对象为链接地址，该链接地址可以是微信对话界面中的网址，也可以是新闻界面中的新闻标题信息关联的网址，第一终端检测到作用于该链接地址的第一操作，例如点击操作时，则第一终端会打开该链接地址所连接的页面。
图9为本公开实施例中一种投屏应用示例图四，如图9所示，当笔记本检测到鼠标对投影的新闻界面中第二项新闻标题的点击操作时，则利用笔记本的浏览器打开该新闻标题所连接的页面。
可以理解的是，在该实施例中，利用第一终端来打开链接地址所连接的页面，不仅可提升用户的视觉体验，还可能进一步加快页面的打开速度，从而提升用户使用体验。
在一种实施例中，所述第一对象包括：界面新增控件；步骤S13包括：
当检测到作用于所述界面新增控件的所述第一操作时，在所述第一终端的显示屏上投影所述第二终端的第二界面。
在该实施例中，第一界面中还包括界面控件，该界面控件包括界面新增控件，还包括界面关闭控件等。界面控件可在第一终端的显示屏上隐藏，并基于第一终端检测到的用户的操作而显示在显示屏上。例如，当第一终端检测到对第一界面区域附近的鼠标滑动操作时，则将界面控件显示出来。进一步的，当第一终端检测到作用于界面新增控件的第一操作时，则会在第一终端的显示屏上投影第二终端的第二界面。该第一操作，例如是对界面新增控件的点击操作。需要说明的是，第二界面也可以是第二终端的任意界面，例如，第二终端的桌面、负一屏桌面或设置界面。
图10为本公开实施例中一种投屏应用示例图五，如图10所示，第一界面是微信聊天界面，该界面中还包括位于聊天界面右侧的一些控件。例如，位于右侧最上方的第一个显示为“十”的控件即为界面新增控件。当笔记本电脑检测到鼠标对该界面新增控件的点击操作时，则会投影手机的桌面。
可以理解的是，在该实施例中，当第一终端检测到作用于界面新增控件的第一操作时，则在第一终端的显示屏上投影第二终端的第二界面，使得第一终端可接收第二终端的多个分享任务，进一步为第一终端操作第二终端中的多个任务提供了便利。
在一种实施例中，所述第二界面包括所述第二终端的桌面，所述方法还包括：
当检测到将所述桌面中目标应用的图标拖动到所述桌面外的第三操作时，在所述第一终端的显示屏上投影所述目标应用的第三界面。
在该实施例中，第二界面是第二终端的桌面，当第一终端检测到将桌面中目标应用的图标拖动到桌面外的第三操作时，则在第一终端的显示屏上投影目标应用的第三界面。例如，目标应用是微信应用，则第三界面可以是微信应用的聊天界面；再例如，目标应用是视频应用，则第三界面可以是视频应用的首页。
图11为本公开实施例中一种投屏应用示例图六，如图11所示，第二界面是手机的桌面，当笔记本电脑检测到将投影到显示屏上来自手机桌面中微信应用图标拖动到桌面外的第三操作时，则在笔记本电脑的显示屏上投影微信应用的聊天界面。
可以理解的是，在该实施例中，当第一终端检测到将桌面中目标应用的图标拖动到桌面外的第三操作时，则在第一终端的显示屏上投影目标应用的第三界面。通过该方式，在投屏过程中，用户有打开新的应用需求时，无需在第二终端中打开目标应用再将界面投影到第一终端，而是直接在第一终端中拖动目标应用的图标即可，具有智能性的特点。
需要说明的是，在本公开的实施例中，当第一终端的显示屏上显示有第二终端的多个界面时，任意界面中的操作均可在第一终端中响应。例如，第一终端的显示屏上既可基于对第二终端的图片列表界面(第一界面)中的图片的点击操作显示图片，也可同时在第一终端的显示屏上显示微信聊天界面(第三界面)中接收的消息。
在一种实施例中，所述方法还包括：
当检测到将所述第一界面中的第一对象拖动到所述第三界面的所述第一操作时，向所述第二终端发送第一对象复制指令；所述第一对象复制指令，用于指示所述第二终端将所述第一对象从所述第一界面复制到所述第三界面；
当检测到将所述第三界面中的第三对象拖动到所述第一界面的第四操作时，向所述第二终端发送第三对象复制指令；所述第三对象复制指令，用于指示所述第二终端将所述第三对象从所述第三界面复制到所述第一界面。
在该实施例中，不同界面间也可基于第一终端检测的交互操作进行交互。当第一终端检测到将第一界面中的第一对象拖动到第三界面的第一操作时，会向第二终端发送第一对象复制指令，以使第二终端根据该第一对象复制指令将第一对象从第一界面复制到第三界面。而当第一终端检测到将第三界面中的第三对象拖动到第一界面的第四操作时，会向第二终端发送第三对象复制指令，以使第二终端根据该第三对象复制指令将第三对象从第三界面复制到第一界面。
图12为本公开实施例中一种投屏应用示例图七，如图12所示，显示在笔记本电脑显示屏上的第一界面是手机中的图片列表界面，第三界面是手机中的微信聊天界面。当笔记本电脑检测到将图片列表界面中的图片拖动到微信聊天界面时，则该被拖动的图片即会复制到微信聊天界面中。
可以理解的是，在该实施例中，第一终端可控制不同界面之间的信息交互，使得第一终端的投屏应用更加智能，无需用户在处于更关注第一终端的前提下，再有信息复制需求时，再在第二终端上操作，提升了用户使用体验。
在一种实施例中，所述第一界面包括消息提示界面，所述界面新增控件包括消息显示控件；
所述当检测到作用于所述界面新增控件的所述第一操作时，在所述第一终端的显示屏上投影所述第二终端的第二界面，包括：
当检测到作用于所述消息提示界面中所述消息显示控件的所述第一操作时，在所述第一终端的显示屏上投影所述第二终端的消息显示界面。
在该实施例中，第一终端上投影的第一界面是第二终端的消息提示界面，消息提示界面上有消息显示控件。当第一终端检测到作用于消息显示控件的第一操作时，例如，第一终端检测的对消息显示控件的点击操作，即在第一终端的显示屏上投影第二终端的消息显示界面。
图13为本公开实施例中一种投屏应用示例图八，如图13所示，显示在笔记本电脑显示屏上的第一界面是手机中的消息提示界面，消息提示界面上有“新窗口打开”控件，该控件即为消息显示控件。当笔记本电脑检测到对该消息显示控件的点击操作时，则在第二终端中显示手机的消息显示界面。
可以理解的是，在该实施例中，第一终端中也可投影第二终端在接收到消息时的消息提示界面，用户基于在第一终端中的操作，即可在第一终端中投影第二终端的消息显示界面。无需用户在处于更关注第一终端的前提下，在第二终端接收到消息时再在第二终端上操作，提升了用户使用体验。
图14是本公开实施例示出的一种多屏互动方法流程图二，如图14所示，应用于第二终端中的多屏互动方法包括以下步骤：
S21、将第一界面投影到第一终端的显示屏；
S22、响应所述第一终端检测到的对所述第一界面中第一对象的第一操作。
在本公开的实施例中，第二终端可以是智能手机或带显示屏的其他智能设备，例如智能音箱等。
如在第一终端部分所描述的，第二终端可与第一终端采用多种方式进行连接。且，在首次连接之后，第二终端和第一终端也可基于用户账户信息进行自动连接，以提升用户使用体验。
第二终端基于和第一终端建立的连接，即可基于步骤S21将第一界面投影到第一终端。该第一界面，可以是桌面，也可以是设置界面，还可以是当前正显示的某一应用的应用界面，本公开实施例不做限制。
第二终端基于投影的第一界面，即可在步骤S22中响应第一终端检测到的对第一界面中第一对象的第一操作。
可以理解的是，在该实施例中，第二终端不仅能主动分享自身的第一界面，还可以响应第一终端中检测的针对第一界面中第一对象的第一操作，通过第二终端和第一终端的配合，从而使得多屏互动的交互性更强。
在一种实施例中，所述响应所述第一终端检测到的对所述第一界面中第一对象的第一操作，包括：
若所述第一操作为所述第一终端检测到的将所述第一界面中第一对象拖动到所述第一界面外，将所述第一对象发送给所述第一终端。
在本公开的实施例中，若第一操作是将第一界面中第一对象拖动到第一界面外，则第二终端会将第一对象发送给第一终端，从而使得第一终端能将第一对象存储到本地。
可以理解是，在该实施例中，基于第二终端响应拖动的第一操作将第一对象发送给第一终端，实现了第二终端向第一终端传输文件的功能。
在一种实施例中，所述方法还包括：
接收所述第一终端发送的第二对象；所述第二对象，为所述第一终端检测到将所述第一界面外区域的第二对象拖到所述第一界面内的第二操作后发送的；
保存所述第二对象。
在本公开的实施例中，第一终端的显示屏上也会显示第二对象，例如，该第二对象也是第一终端桌面中某个文档文件，也可以是图像列表界面中的某个图片文件等。当第一终端检测到将第二对象拖动到第一界面内时，第一终端会将第二对象发送给第二终端，第二终端基于接收的第二对象，会将第二对象保存。
可以理解是，在该实施例中，第二终端不仅能向外发送对象，还能接收第一终端发送的第二对象，实现了第二终端接收文件的功能。
在一种实施例中，所述第一对象为文件，步骤S22包括：
接收所述第一终端发送的编辑后的文件；所述文件为：存储在第二终端并在所述第一终端中打开的文件；
保存所述编辑后的文件。
在该实施例中，第一终端会利用第一终端中的工具打开文件并执行编辑操作，在完成对文件的编辑后，第一终端即会自动将编辑后的文件发送给第二终端。该文件，来自第二终端，例如，是第二终端投影在第一终端的图片列表界面中的图片文件。
可以理解的是，在该实施例中，第二终端基于第一终端对来自于第二终端的文件的编辑操作后，会接收到第一终端发送的编辑后的文件并保存，利用了第一终端相对较好的硬件处理能力，使得文件编辑操作更便捷；且基于第一终端的自动发送，提升了文件回传的便利性。
在一种实施例中，所述第一对象为界面新增控件，所述响应所述第一终端检测到的对所述第一界面中第一对象的第一操作，包括：
若所述第一操作为所述第一终端检测到的作用于所述界面新增控件的操作，将第二界面投影到所述第一终端的显示屏。
在该实施例中，第一界面中还包括界面控件，该界面控件包括界面新增控件，还包括界面关闭控件等。界面控件可在第一终端的显示屏上隐藏，并基于第一终端检测到的用户的操作而显示在显示屏上。例如，当第一终端检测到对第一界面区域附近的鼠标滑动操作时，则将界面控件显示出来。进一步的，当第一操作是第一终端检测到的作用于界面新增控件的第一操作时，则第二终端会将第二界面投影到第一终端的显示屏上。需要说明的是，第二界面也可以是第二终端的任意界面，例如，第二终端的桌面、负一屏桌面或设置界面。
可以理解的是，在该实施例中，当第一操作是第一终端检测到的作用于界面新增控件的第一操作时，则第二终端会继续投影第二界面，使得第一终端可接收第二终端的多个分享任务，进一步为第一终端操作第二终端中的多个任务提供了便利。
在一种实施例中，所述第二界面包括所述第二终端的桌面，所述方法还包括：
若所述第一操作为所述第一终端检测到的将所述桌面中目标应用的图标拖动到所述桌面外的第三操作，将所述目标应用的第三界面投影到所述第一终端的显示屏。
在该实施例中，第二界面是第二终端的桌面，当第一操作是第一终端检测到的将桌面中目标应用的图标拖动到桌面外的第三操作时，则第二终端将目标应用的第三界面投影到第一终端的显示屏上。例如，目标应用是微信应用，则第三界面可以是微信应用的聊天界面；再例如，目标应用是视频应用，则第三界面可以是视频应用的首页。
可以理解的是，在该实施例中，在投屏过程中，用户有打开新的应用需求时，无需在第二终端中打开目标应用再将界面投影到第一终端，而是第二终端根据第一终端检测的图标拖动操作即可实现在第一终端中打开应用，具有智能性的特点。
在一种实施例中，所述方法还包括：
接收第一对象复制指令或第三对象复制指令；其中，所述第一对象复制指令为所述第一终端检测到将所述第一界面中的第一对象拖动到所述第三界面的所述第一操作后发送的；所述第三对象复制指令为所述第一终端检测到将所述第三界面中的第三对象拖动到所述第一界面的第四操作后发送的；
根据所述第一对象复制指令，将所述第一界面中的第一对象复制到所述第三界面；或，根据所述第三对象复制指令，将所述第三界面中的第三对象复制到所述第一界面。
在该实施例中，不同界面间也可基于第一终端检测的交互操作进行交互。当第一终端检测到将第一界面中的第一对象拖动到第三界面的第一操作时，第二终端会接收到第一终端发送的第一对象复制指令，并根据该第一对象复制指令将第一对象从第一界面复制到第三界面。同理，第二终端也会根据接收的第三对象复制指令将第三对象从第三界面复制到第一界面。
可以理解的是，在该实施例中，第二终端可根据第一终端的复制指令，控制不同界面之间的信息交互，使得第一终端的投屏应用更加智能，无需用户在处于更关注第一终端的前提下，再有信息复制需求时，再在第二终端上操作，提升了用户使用体验。
在一种实施例中，所述第一界面包括消息提示界面，所述界面新增控件包括消息显示控件；
所述若所述第一操作为所述第一终端检测到的作用于所述界面新增控件的操作，将第二界面投影到所述第一终端的显示屏，包括：
若所述第一操作为所述第一终端检测到的作用于所述消息提示界面中所述消息显示控件的操作，将消息显示界面投影到所述第一终端的显示屏。
在该实施例中，第一终端上投影的第一界面是第二终端的消息提示界面，消息提示界面上有消息显示控件。当第一操作是第一终端检测到的作用于消息显示控件的第一操作时，第二终端即将消息显示界面投影到第一终端的显示屏上。
可以理解的是，在该实施例中，无需用户在处于更关注第一终端的前提下，在第二终端接收到消息时再在第二终端上操作，而是第二终端响应第一终端的操作，直接将消息显示界面投影到第一终端的显示屏，提升了用户使用体验。
在一种实施例中，应用于第二终端中的投屏方法还包括：
显示投屏控制界面；
检测作用于所述投屏控制界面的第五操作；
当检测到针对所述投屏控制界面中第四对象的所述第五操作时，响应所述第五操作。
在该实施例中，第二终端在和第一终端建立连接后，第一终端的显示屏上可显示投屏控制界面。投屏控制界面上包括多个第四对象，例如多个控件，可使得用户基于对不同控件的第五操作，执行不同的功能。
图15为本公开实施例中一种投屏应用示例图九，如图15所示，手机的显示屏上显示有投屏控制界面，该投屏控制界面中包括可控制进行文件传输的控件，可控制断开投屏连接的控件，还包括可控制手机静音的控件等。
可以理解的是，在该实施例中，第二终端在进行投屏应用时，第二终端的显示屏上可显示投屏控制界面，并可接收用户对投屏控制界面上第四对象的操作，从而满足客户对投屏应用控制需求，例如，针对不同的应用需求做针对性的控制操作，因而能提升用户使用体验。此外，第一终端在投屏过程中也可只显示投屏控制界面，例如对于在第一终端中打开第一对象，如打开文件或打开某一应用程序时，第二终端中可不用同步打开该第一对象，因而能节省第二终端的功耗。
在一种实施例中，所述第四对象包括静音设置控件，所述当检测到针对所述投屏控制界面中第四对象的所述第五操作时，响应所述第五操作，包括：
当检测到针对所述静音设置控件的所述第五操作时，将所述第二终端设置为静音模式。
在该实施例中，第四对象是投屏控制界面上的静音设置控件，如图15所示的，显示有“手机静音”的控件即为静音设置控件。第二终端检测到对该控件的第五操作，如点击操作时，则将第二终端设置为静音模式。在静音模式下，第二终端例如有通知，都不会响铃和/或震动来提醒用户。
如前所述的，第一终端中可显示消息提示界面，还可基于用户的第一操作打开消息显示界面。可以理解的是，该实施例中，当第二终端接收到用户对静音设置控件的第五操作时，即将第二终端设置成静音模式，使得用户能将精力集中的第一终端上，当有例如通知消息时，直接在第一终端查看即可，给用户提供了便利。
图16是本公开实施例示出的一种多屏互动系统执行多屏互动方法的交互流程图，多屏互动系统包括第一终端和第二终端，如图16所示，应用第一终端和第二终端中的多屏互动方法包括以下步骤：
S31、第二终端将第一界面投影到第一终端的显示屏上。
S32、第一终端检测作用于所述第一界面的第一操作。
S33、当第一终端检测到针对所述第一界面中第一对象的所述第一操作时，在所述第一终端中响应针对所述第一对象的所述第一操作。
S34、第二终端响应所述第一终端检测到的对所述第一界面中第一对象的第一操作。
可以理解的是，在本公开实施例中，第一终端不仅能接收第二终端的分享，还可以直接由第一终端检测到对第一终端所显示的第一界面上的操作对第二终端进行控制，简化了第一终端和第二终端之间的交互用户操作，且有利于根据基于用户输入的操作选择更为适合当前应用场景的第一终端和/或第二终端来执行对应的操作，提升了用户体验且使得多屏互动更具智能性。
图17是根据一示例性实施例示出的一种多屏互动装置图一。参照图17，该多屏互动装置应用于第一终端，包括：
第一投影模块101，配置为在所述第一终端的显示屏上投影所述第二终端的第一界面；
第一检测模块102，配置为检测作用于所述第一界面的第一操作；
第一响应模块103，配置为当检测到针对所述第一界面中第一对象的所述第一操作时，在所述第一终端中响应针对所述第一对象的所述第一操作。
可选的，所述第一响应模块103，具体配置为当检测到将所述第一界面中第一对象拖动到所述第一界面外的所述第一操作时，将所述第一对象存储到所述第一终端中。
可选的，所述显示屏还包括：显示有所述第一界面以外的一个或多个第二对象；
所述装置还包括：
第二检测模块104，配置为检测作用于所述第一界面外区域的第二操作；
第一发送模块105，配置为当检测到将从所述第二对象拖到所述第一界面内的所述第二操作时，将所述第二对象发送给所述第二终端。
可选的，所述第一对象为文件或程序；
所述第一响应模块103，具体配置为当检测到打开所述第一界面中第一对象的所述第一操作时，在所述第一终端中打开所述第一对象。
可选的，所述第一对象为文件；
所述第一响应模块103，具体配置为当检测到编辑所述文件的所述第一操作时，在所述第一终端中打开所述文件并编辑所述文件；将完成编辑的所述文件发送给所述第二终端。
可选的，所述第一对象为链接地址，
所述第一响应模块103，具体配置为当检测到作用于所述第一界面中链接地址的所述第一操作时，所述第一终端根据所述链接地址打开所述连接地址所连接的页面。
可选的，所述第一对象包括：界面新增控件；
所述第一响应模块103，具体配置为当检测到作用于所述界面新增控件的所述第一操作时，在所述第一终端的显示屏上投影所述第二终端的第二界面。
可选的，所述第二界面包括所述第二终端的桌面，所述装置还包括：
第二投影模块106，配置为当检测到将所述桌面中目标应用的图标拖动到所述桌面外的第三操作时，在所述第一终端的显示屏上投影所述目标应用的第三界面。
可选的，所述装置还包括：
第二发送模块107，配置为当检测到将所述第一界面中的第一对象拖动到所述第三界面的所述第一操作时，向所述第二终端发送第一对象复制指令；所述第一对象复制指令，用于指示所述第二终端将所述第一对象从所述第一界面复制到所述第三界面；当检测到将所述第三界面中的第三对象拖动到所述第一界面的第四操作时，向所述第二终端发送第三对象复制指令；所述第三对象复制指令，用于指示所述第二终端将所述第三对象从所述第三界面复制到所述第一界面。
可选的，所述第一界面包括消息提示界面，所述界面新增控件包括消息显示控件；
所述第二投影模块106，具体配置为当检测到作用于所述消息提示界面中所述消息显示控件的所述第一操作时，在所述第一终端的显示屏上投影所述第二终端的消息显示界面。
图18是根据一示例性实施例示出的一种多屏互动装置图二。参照图18，该多屏互动装置应用于第二终端，包括：
第三投影模块201，配置为将第一界面投影到第一终端的显示屏；
第二响应模块202，配置为响应所述第一终端检测到的对所述第一界面中第一对象的第一操作。
可选的，所述第二响应模块202，具体配置为若所述第一操作为所述第一终端检测到的将所述第一界面中第一对象拖动到所述第一界面外，将所述第一对象发送给所述第一终端。
可选的，所述装置还包括：
第一接收模块203，配置为接收所述第一终端发送的第二对象；所述第二对象，为所述第一终端检测到将所述第一界面外区域的第二对象拖到所述第一界面内的第二操作后发送的；
第一保存模块204，配置为保存所述第二对象。
可选的，所述第一对象为文件，所述第二响应模块202，具体配置为接收所述第一终端发送的编辑后的文件；所述文件为：存储在第二终端并在所述第一终端中打开的文件；保存所述编辑后的文件。
可选的，所述第一对象为界面新增控件，所述第二响应模块202，配置为若所述第一操作为所述第一终端检测到的作用于所述界面新增控件的操作，将第二界面投影到所述第一终端的显示屏。
可选的，所述第二界面包括所述第二终端的桌面，所述装置还包括：
第四投影模块205，配置为若所述第一操作为所述第一终端检测到的将所述桌面中目标应用的图标拖动到所述桌面外的第三操作，将所述目标应用的第三界面投影到所述第一终端的显示屏。
可选的，所述装置还包括：
第二接收模块206，配置为接收第一对象复制指令或第三对象复制指令；其中，所述第一对象复制指令为所述第一终端检测到将所述第一界面中的第一对象拖动到所述第三界面的所述第一操作后发送的；所述第三对象复制指令为所述第一终端检测到将所述第三界面中的第三对象拖动到所述第一界面的第四操作后发送的；
复制模块207，配置为根据所述第一对象复制指令，将所述第一界面中的第一对象复制到所述第三界面；或，根据所述第三对象复制指令，将所述第三界面中的第三对象复制到所述第一界面。
可选的，所述第一界面包括消息提示界面，所述界面新增控件包括消息显示控件；
所述第四投影模块205，具体配置为若所述第一操作为所述第一终端检测到的作用于所述消息提示界面中所述消息显示控件的操作，将消息显示界面投影到所述第一终端的显示屏。
可选的，所述装置还包括：
显示模块208，配置为显示投屏控制界面；
第二检测模块209，配置为检测作用于所述投屏控制界面的第五操作；
第三响应模块210，配置为当检测到针对所述投屏控制界面中第四对象的所述第五操作时，响应所述第五操作。
可选的，所述第四对象包括静音设置控件，
所述第三响应模块210，具体配置为当检测到针对所述静音设置控件的所述第五操作时，将所述第二终端设置为静音模式。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图19是根据一示例性实施例示出的一种终端装置800的框图。例如，装置800可以是第一终端，也可以是第二终端。例如，第一终端是电脑，第二终端是手机。
参照图19，装置800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。
处理组件802通常控制装置800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件806为装置800的各种组件提供电力。电力组件806可以包括电源管理系统，一个或多个电源，及其他与为装置800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当装置800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器，用于为装置800提供各个方面的状态评估。例如，传感器组件814可以检测到设备800的打开/关闭状态，组件的相对定位，例如所述组件为装置800的显示器和小键盘，传感器组件814还可以检测装置800或装置800一个组件的位置改变，用户与装置800接触的存在或不存在，装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络，如Wi-Fi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由装置800的处理器820执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质，当所述存储介质中的指令由第一终端的处理器执行时，使得第一终端能够执行控制方法，所述方法包括：
在所述第一终端的显示屏上投影所述第二终端的第一界面；
检测作用于所述第一界面的第一操作；
当检测到针对所述第一界面中第一对象的所述第一操作时，在所述第一终端中响应针对所述第一对象的所述第一操作。
一种非临时性计算机可读存储介质，当所述存储介质中的指令由第二终端的处理器执行时，使得第二终端能够执行控制方法，所述方法包括：
将第一界面投影到第一终端的显示屏；
响应所述第一终端检测到的对所述第一界面中第一对象的第一操作。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (34)

1.一种多屏互动方法，其特征在于，应用于第一终端，所述方法包括：
在所述第一终端的显示屏上投影第二终端的第一界面；
检测作用于所述第一界面的第一操作；
当检测到针对所述第一界面中第一对象的所述第一操作时，在所述第一终端中响应针对所述第一对象的所述第一操作；其中，所述第一对象包括：界面新增控件；
所述当检测到针对所述第一界面中第一对象的所述第一操作时，在所述第一终端中响应针对所述第一对象的所述第一操作，包括：
当检测到作用于所述界面新增控件的所述第一操作时，在所述第一终端的显示屏上投影所述第二终端的第二界面；所述第二界面包括所述第二终端的桌面；
所述方法还包括：
当检测到将所述桌面中目标应用的图标拖动到所述桌面外的第三操作时，在所述第一终端的显示屏上投影所述目标应用的第三界面；
当检测到将所述第一界面中的文件拖动到所述第三界面的操作时，向所述第二终端发送文件复制指令；所述文件复制指令，用于指示所述第二终端将所述文件从所述第一界面复制到所述第三界面。
2.根据权利要求1所述的方法，其特征在于，所述当检测到针对所述第一界面中第一对象的所述第一操作时，在所述第一终端中响应针对所述第一对象的所述第一操作，包括：
当检测到将所述第一界面中的文件拖动到所述第一界面外不包括所述第二界面和所述第三界面的界面处的操作时，将所述文件存储到所述第一终端中。
3.根据权利要求1所述的方法，其特征在于，所述显示屏还包括：显示有所述第一界面以外的一个或多个第二对象；
所述方法还包括：
检测作用于所述第一界面外区域的第二操作；
当检测到将从所述第二对象拖到所述第一界面内的所述第二操作时，将所述第二对象发送给所述第二终端。
4.根据权利要求1所述的方法，其特征在于，所述当检测到针对所述第一界面中第一对象的所述第一操作时，在所述第一终端中响应针对所述第一对象的所述第一操作，包括：
当检测到打开所述第一界面中的文件或程序的操作时，在所述第一终端中打开所述文件或程序。
5.根据权利要求4所述的方法，其特征在于，所述当检测到针对所述第一界面中第一对象的所述第一操作时，在所述第一终端中响应针对所述第一对象的所述第一操作，包括：
当检测到编辑所述文件的操作时，在所述第一终端中打开所述文件并编辑所述文件；
将完成编辑的所述文件发送给所述第二终端。
6.根据权利要求1所述的方法，其特征在于，所述当检测到针对所述第一界面中第一对象的所述第一操作时，在所述第一终端中响应针对所述第一对象的所述第一操作，包括：
当检测到作用于所述第一界面中链接地址的操作时，所述第一终端根据所述链接地址打开所述链接地址所连接的页面。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当检测到将所述第三界面中的第三对象拖动到所述第一界面的第四操作时，向所述第二终端发送第三对象复制指令；所述第三对象复制指令，用于指示所述第二终端将所述第三对象从所述第三界面复制到所述第一界面。
8.根据权利要求1所述的方法，其特征在于，所述第一界面包括消息提示界面，所述界面新增控件包括消息显示控件；
所述当检测到作用于所述界面新增控件的所述第一操作时，在所述第一终端的显示屏上投影所述第二终端的第二界面，包括：
当检测到作用于所述消息提示界面中所述消息显示控件的所述第一操作时，在所述第一终端的显示屏上投影所述第二终端的消息显示界面。
9.一种多屏互动方法，其特征在于，应用于第二终端，所述方法包括：
将第一界面投影到第一终端的显示屏；
响应所述第一终端检测到的对所述第一界面中第一对象的第一操作；其中，所述第一对象包括界面新增控件；
所述响应所述第一终端检测到的对所述第一界面中第一对象的第一操作，包括：
若所述第一操作为所述第一终端检测到的作用于所述界面新增控件的操作，将第二界面投影到所述第一终端的显示屏，所述第二界面包括所述第二终端的桌面；
若所述第一操作为所述第一终端检测到的将所述桌面中目标应用的图标拖动到所述桌面外的第三操作，将所述目标应用的第三界面投影到所述第一终端的显示屏；
接收文件复制指令；其中，所述文件复制指令为所述第一终端检测到将所述第一界面中的文件拖动到所述第三界面的操作后发送的；
根据所述文件复制指令，将所述第一界面中的文件复制到所述第三界面。
10.根据权利要求9所述的方法，其特征在于，所述响应所述第一终端检测到的对所述第一界面中第一对象的第一操作，包括：
若所述第一操作为所述第一终端检测到的将所述第一界面中的文件拖动到所述第一界面外不包括所述第二界面和所述第三界面的界面处，将所述文件发送给所述第一终端。
11.根据权利要求9所述的方法，其特征在于，所述方法还包括：
接收所述第一终端发送的第二对象；所述第二对象，为所述第一终端检测到将所述第一界面外区域的第二对象拖到所述第一界面内的第二操作后发送的；
保存所述第二对象。
12.根据权利要求9所述的方法，其特征在于，所述响应所述第一终端针对所述第一界面中第一对象的第一操作，包括：
接收所述第一终端发送的编辑后的文件；所述文件为：存储在第二终端并在所述第一终端中打开的文件；
保存所述编辑后的文件。
13.根据权利要求9所述的方法，其特征在于，所述方法还包括：
接收第三对象复制指令；其中，所述第三对象复制指令为所述第一终端检测到将所述第三界面中的第三对象拖动到所述第一界面的第四操作后发送的；
根据所述第三对象复制指令，将所述第三界面中的第三对象复制到所述第一界面。
14.根据权利要求9所述的方法，其特征在于，所述第一界面包括消息提示界面，所述界面新增控件包括消息显示控件；
所述若所述第一操作为所述第一终端检测到的作用于所述界面新增控件的操作，将第二界面投影到所述第一终端的显示屏，包括：
若所述第一操作为所述第一终端检测到的作用于所述消息提示界面中所述消息显示控件的操作，将消息显示界面投影到所述第一终端的显示屏。
15.根据权利要求9所述的方法，其特征在于，所述方法还包括：
显示投屏控制界面；
检测作用于所述投屏控制界面的第五操作；
当检测到针对所述投屏控制界面中第四对象的所述第五操作时，响应所述第五操作。
16.根据权利要求15所述的方法，其特征在于，所述第四对象包括静音设置控件，所述当检测到针对所述投屏控制界面中第四对象的所述第五操作时，响应所述第五操作，包括：
当检测到针对所述静音设置控件的所述第五操作时，将所述第二终端设置为静音模式。
17.一种多屏互动装置，其特征在于，应用于第一终端，所述装置包括：
第一投影模块，配置为在所述第一终端的显示屏上投影第二终端的第一界面；
第一检测模块，配置为检测作用于所述第一界面的第一操作；
第一响应模块，配置为当检测到针对所述第一界面中第一对象的所述第一操作时，在所述第一终端中响应针对所述第一对象的所述第一操作；其中，所述第一对象包括界面新增控件，所述第一响应模块具体配置为当检测到作用于所述界面新增控件的所述第一操作时，在所述第一终端的显示屏上投影所述第二终端的第二界面；所述第二界面包括所述第二终端的桌面；
第二投影模块，配置为当检测到将所述桌面中目标应用的图标拖动到所述桌面外的第三操作时，在所述第一终端的显示屏上投影所述目标应用的第三界面；
第二发送模块，配置为当检测到将所述第一界面中的文件拖动到所述第三界面的操作时，向所述第二终端发送文件复制指令；所述文件复制指令，用于指示所述第二终端将所述文件从所述第一界面复制到所述第三界面。
18.根据权利要求17所述的装置，其特征在于，
所述第一响应模块，具体配置为当检测到将所述第一界面中的文件拖动到所述第一界面外不包括所述第二界面和所述第三界面处的操作时，将所述文件存储到所述第一终端中。
19.根据权利要求17所述的装置，其特征在于，所述显示屏还包括：显示有所述第一界面以外的一个或多个第二对象；
所述装置还包括：
第二检测模块，配置为检测作用于所述第一界面外区域的第二操作；
第一发送模块，配置为当检测到将从所述第二对象拖到所述第一界面内的所述第二操作时，将所述第二对象发送给所述第二终端。
20.根据权利要求17所述的装置，其特征在于，
所述第一响应模块，具体配置为当检测到打开所述第一界面中的文件或程序的操作时，在所述第一终端中打开所述文件或程序。
21.根据权利要求20所述的装置，其特征在于，所述第一响应模块，具体配置为当检测到编辑所述文件的操作时，在所述第一终端中打开所述文件并编辑所述文件；将完成编辑的所述文件发送给所述第二终端。
22.根据权利要求17所述的装置，其特征在于，
所述第一响应模块，具体配置为当检测到作用于所述第一界面中链接地址的操作时，所述第一终端根据所述链接地址打开所述链接地址所连接的页面。
23.根据权利要求17所述的装置，其特征在于，
所述第二发送模块，还配置为当检测到将所述第三界面中的第三对象拖动到所述第一界面的第四操作时，向所述第二终端发送第三对象复制指令；所述第三对象复制指令，用于指示所述第二终端将所述第三对象从所述第三界面复制到所述第一界面。
24.根据权利要求17所述的装置，其特征在于，所述第一界面包括消息提示界面，所述界面新增控件包括消息显示控件；
所述第二投影模块，具体配置为当检测到作用于所述消息提示界面中所述消息显示控件的所述第一操作时，在所述第一终端的显示屏上投影所述第二终端的消息显示界面。
25.一种多屏互动装置，其特征在于，应用于第二终端，所述装置法包括：
第三投影模块，配置为将第一界面投影到第一终端的显示屏；
第二响应模块，配置为响应所述第一终端检测到的对所述第一界面中第一对象的第一操作；其中，所述第一对象包括界面新增控件，所述第二响应模块具体配置为若所述第一操作为所述第一终端检测到的作用于所述界面新增控件的操作，将第二界面投影到所述第一终端的显示屏；所述第二界面包括所述第二终端的桌面；
第四投影模块，配置为若所述第一操作为所述第一终端检测到的将所述桌面中目标应用的图标拖动到所述桌面外的第三操作，将所述目标应用的第三界面投影到所述第一终端的显示屏；
第二接收模块，配置为接收文件复制指令；其中，所述文件复制指令为所述第一终端检测到将所述第一界面中的文件拖动到所述第三界面的操作后发送的；
复制模块，配置为根据所述文件复制指令，将所述第一界面中的文件复制到所述第三界面。
26.根据权利要求25所述的装置，其特征在于，
所述第二响应模块，具体配置为若所述第一操作为所述第一终端检测到的将所述第一界面中的文件拖动到所述第一界面外不包括所述第二界面和所述第三界面的界面处，将所述文件发送给所述第一终端。
27.根据权利要求25所述的装置，其特征在于，所述装置还包括：
第一接收模块，配置为接收所述第一终端发送的第二对象；所述第二对象，为所述第一终端检测到将所述第一界面外区域的第二对象拖到所述第一界面内的第二操作后发送的；
第一保存模块，配置为保存所述第二对象。
28.根据权利要求25所述的装置，其特征在于，
所述第二响应模块，具体配置为接收所述第一终端发送的编辑后的文件；所述文件为：存储在第二终端并在所述第一终端中打开的文件；保存所述编辑后的文件。
29.根据权利要求25所述的装置，其特征在于，所述第二接收模块，还配置为接收第三对象复制指令；其中，所述第三对象复制指令为所述第一终端检测到将所述第三界面中的第三对象拖动到所述第一界面的第四操作后发送的；
所述复制模块，还配置为根据所述第三对象复制指令，将所述第三界面中的第三对象复制到所述第一界面。
30.根据权利要求25所述的装置，其特征在于，所述第一界面包括消息提示界面，所述界面新增控件包括消息显示控件；
所述第四投影模块，具体配置为若所述第一操作为所述第一终端检测到的作用于所述消息提示界面中所述消息显示控件的操作，将消息显示界面投影到所述第一终端的显示屏。
31.根据权利要求25所述的装置，其特征在于，所述装置还包括：
显示模块，配置为显示投屏控制界面；
第二检测模块，配置为检测作用于所述投屏控制界面的第五操作；
第三响应模块，配置为当检测到针对所述投屏控制界面中第四对象的所述第五操作时，响应所述第五操作。
32.根据权利要求31所述的装置，其特征在于，所述第四对象包括静音设置控件，
所述第三响应模块，具体配置为当检测到针对所述静音设置控件的所述第五操作时，将所述第二终端设置为静音模式。
33.一种多屏互动装置，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行如权利要求1至8中任一项所述的多屏互动方法；或被配置为执行如权利要求9至16中任一项所述的多屏互动方法。
34.一种非临时性计算机可读存储介质，当所述存储介质中的指令由多屏互动装置的处理器执行时，使得多屏互动装置能够执行如权利要求1至8中任一项所述的多屏互动方法；或被配置为执行如权利要求9至16中任一项所述的多屏互动方法。
CN202010117281.4A 2020-02-25 2020-02-25 多屏互动方法及装置、存储介质 Active CN111327769B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010117281.4A CN111327769B (zh) 2020-02-25 2020-02-25 多屏互动方法及装置、存储介质
US16/934,904 US11604572B2 (en) 2020-02-25 2020-07-21 Multi-screen interaction method and apparatus, and storage medium
EP20188582.9A EP3872611A1 (en) 2020-02-25 2020-07-30 Multi-screen interaction method and apparatus, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010117281.4A CN111327769B (zh) 2020-02-25 2020-02-25 多屏互动方法及装置、存储介质

Publications (2)

Publication Number Publication Date
CN111327769A CN111327769A (zh) 2020-06-23
CN111327769B true CN111327769B (zh) 2022-04-08

Family

ID=71171127

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010117281.4A Active CN111327769B (zh) 2020-02-25 2020-02-25 多屏互动方法及装置、存储介质

Country Status (3)

Country Link
US (1) US11604572B2 (zh)
EP (1) EP3872611A1 (zh)
CN (1) CN111327769B (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112527221A (zh) * 2019-09-18 2021-03-19 华为技术有限公司 一种数据传输的方法及相关设备
CN114115629A (zh) * 2020-08-26 2022-03-01 华为技术有限公司 一种界面显示方法及设备
CN111880757A (zh) * 2020-06-30 2020-11-03 北京小米移动软件有限公司 投屏方法、投屏装置及存储介质
CN113918104A (zh) * 2020-07-07 2022-01-11 华为技术有限公司 一种打开文件的方法及设备
CN112261466A (zh) * 2020-08-18 2021-01-22 北京京东尚科信息技术有限公司 一种投屏方法、装置、电子设备及存储介质
CN114115770B (zh) * 2020-08-31 2024-06-25 华为终端有限公司 显示控制的方法及相关装置
CN114237529A (zh) * 2020-09-07 2022-03-25 华为技术有限公司 一种导航栏显示方法、显示方法与第一电子设备
CN112202965B (zh) * 2020-09-23 2021-06-22 广州华欣电子科技有限公司 通信设备控制方法、装置、系统和存储介质
CN112181272A (zh) * 2020-10-12 2021-01-05 Oppo广东移动通信有限公司 信息显示方法、装置、电子设备和计算机可读存储介质
CN112333474B (zh) * 2020-10-28 2022-08-02 深圳创维－Rgb电子有限公司 投屏方法、系统、设备及存储介质
CN112365346A (zh) * 2020-10-30 2021-02-12 北京数秦科技有限公司 股票交易委托大单的判定及显示方法、装置及存储介质
US11157160B1 (en) * 2020-11-09 2021-10-26 Dell Products, L.P. Graphical user interface (GUI) for controlling virtual workspaces produced across information handling systems (IHSs)
CN112383803B (zh) * 2020-11-16 2023-04-11 Oppo广东移动通信有限公司 信息处理方法及相关装置
CN112698770B (zh) * 2020-12-28 2022-08-16 北京小米移动软件有限公司 信息处理方法及装置、存储介质
USD1003319S1 (en) * 2021-02-07 2023-10-31 Huawei Technologies Co., Ltd. Display screen or portion thereof with graphical user interface
WO2022166618A1 (zh) * 2021-02-08 2022-08-11 华为技术有限公司 一种投屏的方法和电子设备
CN113282548A (zh) * 2021-05-20 2021-08-20 Oppo广东移动通信有限公司 文件保存方法、装置、电子设备以及存储介质
CN115509476A (zh) * 2021-06-23 2022-12-23 华为技术有限公司 一种屏幕共享方法、系统和虚拟显示设备
CN115599566A (zh) * 2021-06-25 2023-01-13 荣耀终端有限公司（Cn） 通知消息处理方法、设备、系统及计算机可读存储介质
CN113873679B (zh) * 2021-09-17 2022-08-19 荣耀终端有限公司 协同窗口处理方法、系统及电子设备
CN113986417A (zh) * 2021-10-11 2022-01-28 深圳康佳电子科技有限公司 一种应用程序投屏控制方法、装置、终端设备及存储介质
CN114513645B (zh) * 2021-12-08 2022-12-09 荣耀终端有限公司 投屏方法、设备及存储介质
CN116263649A (zh) * 2021-12-13 2023-06-16 华为技术有限公司 一种显示方法及电子设备
CN116033157B (zh) * 2022-05-30 2023-10-20 荣耀终端有限公司 投屏方法和电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109766066A (zh) * 2018-12-29 2019-05-17 华为技术有限公司 一种消息处理的方法、相关装置及系统
CN110471639A (zh) * 2019-07-23 2019-11-19 华为技术有限公司 显示方法及相关装置
CN110515576A (zh) * 2019-07-08 2019-11-29 华为技术有限公司 显示控制方法及装置
CN110618970A (zh) * 2019-09-12 2019-12-27 联想(北京)有限公司 文件传输方法和电子设备
CN110618971A (zh) * 2019-09-12 2019-12-27 联想(北京)有限公司 信息交互方法和电子设备
CN110673782A (zh) * 2019-08-29 2020-01-10 华为技术有限公司 一种应用于投屏场景的控制方法以及相关设备

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5801700A (en) 1996-01-19 1998-09-01 Silicon Graphics Incorporated System and method for an iconic drag and drop interface for electronic file transfer
US6219669B1 (en) 1997-11-13 2001-04-17 Hyperspace Communications, Inc. File transfer system using dynamically assigned ports
US7031004B1 (en) 1999-08-26 2006-04-18 Xerox Corporation Web print submission from within an application
US7266776B2 (en) 2002-11-25 2007-09-04 Aol Llc Facilitating communications between computer users across a network
US8090844B2 (en) * 2004-10-08 2012-01-03 Truecontext Corporation Content management across shared, mobile file systems
US20060083187A1 (en) 2004-10-18 2006-04-20 Mobile (R&D) Ltd. Pairing system and method for wirelessly connecting communication devices
US7783985B2 (en) 2006-01-04 2010-08-24 Citrix Systems, Inc. Systems and methods for transferring data between computing devices
KR101200300B1 (ko) 2006-10-25 2012-11-12 삼성전자주식회사 브로드캐스팅 기능을 구비한 프리젠테이션 장치 및 그 방법
US20080307367A1 (en) 2007-06-07 2008-12-11 John Michael Garrison Method and apparatus for a drag and drop operation implementing a hierarchical path name
JP4453738B2 (ja) 2007-10-18 2010-04-21 ソニー株式会社 ファイル転送方法、装置、およびプログラム
US20100005138A1 (en) 2008-04-21 2010-01-07 Topia Technology Electronic file sharing
US8375336B2 (en) 2008-05-23 2013-02-12 Microsoft Corporation Panning content utilizing a drag operation
JP2010092455A (ja) 2008-09-10 2010-04-22 Ricoh Co Ltd ファイル管理システム及びプログラム
US8321802B2 (en) 2008-11-13 2012-11-27 Qualcomm Incorporated Method and system for context dependent pop-up menus
US20100223563A1 (en) * 2009-03-02 2010-09-02 Apple Inc. Remotely defining a user interface for a handheld device
US9349120B2 (en) * 2009-04-08 2016-05-24 Blackberry Limited System and method for silencing notifications for a message thread
TWI554076B (zh) * 2009-09-04 2016-10-11 普露諾洛股份有限公司 遠距離的電話管理器
US20110112819A1 (en) * 2009-11-11 2011-05-12 Sony Corporation User interface systems and methods between a portable device and a computer
CN101834937A (zh) 2010-03-19 2010-09-15 宇龙计算机通信科技(深圳)有限公司 一种终端之间进行信息交互的方法、装置及终端
WO2012020864A1 (ko) * 2010-08-13 2012-02-16 엘지전자 주식회사 이동단말기, 디스플레이 장치 및 그 제어 방법
KR101738527B1 (ko) * 2010-12-07 2017-05-22 삼성전자 주식회사 모바일기기 및 그 제어방법
TWI477114B (zh) 2011-02-25 2015-03-11 Univ Nat Chiao Tung 以擴增實境為基礎並結合雲端計算之創新檔案傳輸方法
US9210213B2 (en) * 2011-03-03 2015-12-08 Citrix Systems, Inc. Reverse seamless integration between local and remote computing environments
US20120289290A1 (en) * 2011-05-12 2012-11-15 KT Corporation, KT TECH INC. Transferring objects between application windows displayed on mobile terminal
KR101832370B1 (ko) 2011-07-14 2018-02-28 엘지전자 주식회사 이동 단말기
JP5172997B2 (ja) 2011-07-15 2013-03-27 シャープ株式会社 情報処理装置、操作画面表示方法、制御プログラムおよび記録媒体
US20130125009A1 (en) * 2011-11-16 2013-05-16 International Business Machines Corporation Remote desktop localized content sharing
CN102687117B (zh) 2012-02-06 2014-09-03 华为技术有限公司 数据传输的方法和装置
US8558790B2 (en) * 2012-03-04 2013-10-15 Lg Electronics Inc. Portable device and control method thereof
KR102027357B1 (ko) 2012-04-24 2019-10-01 삼성전자주식회사 외부 기기의 스크린 상에 디스플레이된 정보를 탐색하는 터치 스크린을 가지는 휴대용 기기 및 그의 정보 탐색 방법
CN102707880B (zh) 2012-04-24 2015-01-07 华为终端有限公司 文件传输的方法及终端
CN102830906B (zh) 2012-07-04 2016-08-03 华为终端有限公司 基于用户界面进行文件处理的方法及终端设备
US9743017B2 (en) * 2012-07-13 2017-08-22 Lattice Semiconductor Corporation Integrated mobile desktop
CN103577089A (zh) 2012-08-10 2014-02-12 中兴通讯股份有限公司 文件传输的方法及触摸屏终端
CN102984393B (zh) 2012-12-12 2015-06-17 努比亚技术有限公司 一种移动终端之间传输文件的方法及移动终端
KR102064952B1 (ko) * 2013-07-12 2020-01-10 삼성전자주식회사 수신 데이터를 이용하여 어플리케이션을 운영하는 전자 장치
CN103731186B (zh) 2013-12-23 2018-05-01 上海斐讯数据通信技术有限公司 一种传输文件的方法及传输终端
US10248363B2 (en) 2014-02-13 2019-04-02 Hewlett-Packard Development Company, L.P. Accessory modules
CN104053249A (zh) 2014-06-18 2014-09-17 广州三星通信技术研究有限公司 用于在电子终端之间传输数据的装置和方法及其系统
CN104468741B (zh) 2014-11-21 2019-01-25 中兴通讯股份有限公司 云桌面的处理方法及装置
KR102390082B1 (ko) * 2015-07-14 2022-04-25 삼성전자주식회사 전자 장치의 동작 방법 및 전자 장치
MY197378A (en) 2015-07-29 2023-06-14 Tencent Tech Shenzhen Co Ltd Service data group sending method, terminal and server
CN106603823A (zh) * 2016-11-28 2017-04-26 努比亚技术有限公司 一种内容分享方法、装置及终端
CN107066172B (zh) * 2017-02-16 2020-07-10 北京小米移动软件有限公司 移动终端的文件传输方法及装置
CN108803958B (zh) 2017-04-26 2022-12-16 腾讯科技（深圳）有限公司 文件载入控制、云存储应用中实现上传的交互方法和装置
CN109739450B (zh) * 2018-04-08 2020-03-27 北京字节跳动网络技术有限公司 一种交互方法及装置
US10783012B2 (en) * 2018-04-20 2020-09-22 CopyBucket, Inc. Systems and methods for efficient inter-device data exchange
US11416205B2 (en) * 2019-04-16 2022-08-16 Apple Inc. Systems and methods for initiating and interacting with a companion-display mode for an electronic device with a touch-sensitive display
CN110221798A (zh) * 2019-05-29 2019-09-10 华为技术有限公司 一种投屏方法、系统及相关装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109766066A (zh) * 2018-12-29 2019-05-17 华为技术有限公司 一种消息处理的方法、相关装置及系统
CN110515576A (zh) * 2019-07-08 2019-11-29 华为技术有限公司 显示控制方法及装置
CN110471639A (zh) * 2019-07-23 2019-11-19 华为技术有限公司 显示方法及相关装置
CN110673782A (zh) * 2019-08-29 2020-01-10 华为技术有限公司 一种应用于投屏场景的控制方法以及相关设备
CN110618970A (zh) * 2019-09-12 2019-12-27 联想(北京)有限公司 文件传输方法和电子设备
CN110618971A (zh) * 2019-09-12 2019-12-27 联想(北京)有限公司 信息交互方法和电子设备

Also Published As

Publication number Publication date
US11604572B2 (en) 2023-03-14
CN111327769A (zh) 2020-06-23
EP3872611A1 (en) 2021-09-01
US20210263642A1 (en) 2021-08-26

Similar Documents

Publication Publication Date Title
CN111327769B (zh) 多屏互动方法及装置、存储介质
EP3174027B1 (en) Method and apparatus for connecting with controlled smart device, computer program and recording medium
CN106126025B (zh) 复制粘贴的交互方法及装置
CN111866571B (zh) 在智能电视上编辑内容的方法、装置及存储介质
CN112162716A (zh) 一种文件传输方法、装置、终端及存储介质
CN112905089A (zh) 设备控制方法及装置
CN105578391B (zh) 信息处理方法、装置、系统及终端设备
CN113988021A (zh) 内容互动方法、装置、电子设备及存储介质
CN109787890B (zh) 即时通信方法、装置及存储介质
CN104572230A (zh) 脚本文件的加载方法、脚本文件生成方法及装置
CN107105005B (zh) 同步数据的方法及装置
CN112954596B (zh) 数据共享方法、装置、设备及存储介质
CN105607958B (zh) 信息输入方法及装置
CN114025317A (zh) 多媒体资源的传播方法、装置、服务器、终端及存储介质
CN109981729B (zh) 文件处理方法、装置、电子设备及计算机可读存储介质
CN112698770B (zh) 信息处理方法及装置、存储介质
CN105516335A (zh) 移动终端应用的方法及装置
CN106919336B (zh) 用于评论语音消息的方法及装置
EP4020247A1 (en) Method and device for information processing, and storage medium
CN109412935B (zh) 即时通信的发送方法和接收方法、发送装置和接收装置
US20240056921A1 (en) Connection method and apparatus for wireless smart wearable device and storage medium
CN109375959B (zh) 定向拉起应用的方法及装置
CN106557227B (zh) 界面显示方法及装置
CN116419165A (zh) 多设备交互控制方法、装置、触控笔和存储介质
CN105516781A (zh) 应用程序排布方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant