CN114153531A - 管理物联网设备的方法和装置 - Google Patents

管理物联网设备的方法和装置 Download PDF

Info

Publication number
CN114153531A
CN114153531A CN202010846926.8A CN202010846926A CN114153531A CN 114153531 A CN114153531 A CN 114153531A CN 202010846926 A CN202010846926 A CN 202010846926A CN 114153531 A CN114153531 A CN 114153531A
Authority
CN
China
Prior art keywords
iot device
iot
user
virtual
icon
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010846926.8A
Other languages
English (en)
Inventor
郭泽金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202010846926.8A priority Critical patent/CN114153531A/zh
Priority to PCT/CN2021/110623 priority patent/WO2022037412A1/zh
Priority to US18/041,779 priority patent/US20230305693A1/en
Publication of CN114153531A publication Critical patent/CN114153531A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486Drag-and-drop
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/70Services for machine-to-machine communication [M2M] or machine type communication [MTC]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04808Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16YINFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00IoT characterised by the purpose of the information processing
    • G16Y40/30Control
    • G16Y40/35Management of things, i.e. controlling in accordance with a policy or in order to achieve specified objectives

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

本申请实施例提供了一种管理物联网设备的方法和装置,该方法包括:获取第一触发信号;根据所述第一触发信号显示虚拟设备界面,所述虚拟设备界面包括至少两个IoT设备的虚拟设备信息;获取操作信号,所述操作信号为用户在所述虚拟设备界面上触发的控制所述至少两个IoT设备进行交互的信号;执行与所述操作信号对应的处理方法。由于至少两个IoT设备的虚拟设备信息显示在同一个界面中,用户可以在虚拟设备界面上执行操作控制至少两个IoT设备进行交互,从而实现了IoT设备之间无缝切换业务。

Description

管理物联网设备的方法和装置
技术领域
本申请实施例涉及电子技术领域,具体涉及一种管理物联网设备的方法和装置。
背景技术
物联网(internet of things,IoT)即万物相连的互联网,是将各种传感器与互联网结合起来而形成的网络,能够实现人、机、物的互联互通。
一种管理IoT设备的方法是在手机上添加IoT设备管理列表,通过IoT设备管理列表来管理IoT设备。例如,用户打开管理IoT设备的应用程序(application,APP),在APP展示的IoT设备图标中点击目标IoT设备图标,随后进入目标IoT设备的管理界面选择对应的功能,从而完成IoT设备的管理。
现有技术只能够对IoT设备进行分别管理,无法在一步操作中同时控制多个设备。因此,实现同时管理多个IoT设备,是现在需要解决的问题。
发明内容
本申请实施例提供了一种管理IoT设备的方法,能够在IoT设备之间无缝切换业务。
第一方面,提供了一种管理IoT设备的方法,包括:获取第一触发信号;根据所述第一触发信号显示虚拟设备界面,所述虚拟设备界面包括至少两个IoT设备的虚拟设备信息;获取操作信号,所述操作信号为用户在所述虚拟设备界面上触发的控制所述至少两个IoT设备进行交互的信号;执行与所述操作信号对应的处理方法。
上述方法的执行装置可以是至少两个IoT设备中的一个,也可以是与该至少两个IoT设备不同的装置。第一触发信号可以是手指在触摸屏上滑动生成的电信号,也可以是执行装置的摄像头捕捉到的肢体动作(如双指收拢动作),还可以是遥控器等控制装置生成的红外信号,本申请对第一触发信号的具体形式不做限定。虚拟设备界面可以是执行装置的屏幕上显示的界面,也可以是执行装置通过增强现实(augmented reality,AR)技术或虚拟现实(virtual reality,VR)技术显示的界面,虚拟设备信息可以是图像形式的信息,也可以是文字形式的信息,本申请对虚拟设备界面和虚拟设备信息的具体形式不做限定。由于至少两个IoT设备的虚拟设备信息显示在同一个界面中,用户可以在虚拟设备界面上执行操作控制至少两个IoT设备进行交互,例如,用户可以通过拖动或点击等方式触发执行设备生成操作信号,执行设备可以基于该操作信号对应的处理方法控制至少两个IoT设备进行设备共享、功能迁移等交互。基于上述方法,用户无需分别打开不同IoT设备的管理界面控制不同IoT设备进行交互,从而实现了IoT设备之间无缝切换业务。
可选地,所述至少两个IoT设备的虚拟设备信息包括:所述至少两个IoT设备的虚拟设备图标和逻辑端口图标。
图标形式的虚拟设备信息相比于文字形式的虚拟设备信息更加直观,能够增强客户体验。
可选地,所述至少两个IoT设备包括第一IoT设备和第二IoT设备,所述操作信号包括:所述用户拖动所述第一IoT设备的逻辑端口图标至所述第二IoT设备的虚拟设备图标;所述执行与所述操作信号对应的处理方法,包括:将所述第一IoT设备的逻辑端口图标对应的功能迁移至所述第二IoT设备,其中,所述第二IoT设备具有所述第一IoT设备的逻辑端口图标对应的功能。
用户可以在第一IoT设备的显示屏上拖动逻辑端口图标生成操作信号,也可以在VR界面或AR界面中拖动逻辑端口图标生成操作信号,本申请对拖动逻辑端口图标生成操作信号的具体方式不做限定。本实施例中的逻辑端口图标例如是麦克风图标,麦克风图标对应的功能是拾音功能,第一IoT设备可以将拾音功能迁移至第二IoT设备,利用第二IoT设备的麦克风传输用户的声音,当用户与第一IoT设备的距离较远而与第二IoT设备的距离较近时,可以提高拾音效果。因此,本实施例可以在特定场景中以简单的操作(拖动逻辑端口的图标)使用户获得更好的体验。
可选地,所述至少两个IoT设备包括第一IoT设备和第二IoT设备,所述操作信号包括:所述用户拖动所述第一IoT设备的虚拟设备图标至所述第二IoT设备的虚拟设备图标;所述执行与所述操作信号对应的处理方法,包括:将所述第一IoT设备的目标应用的功能迁移至所述第二IoT设备,其中,目标应用为所述第一IoT设备正在运行的应用,并且,所述第二IoT设备安装有所述目标应用。
目标应用例如是视频聊天APP,当视频聊天APP正在第一IoT设备上运行时,用户可以通过拖动操作第一IoT设备的虚拟设备图标至第二IoT设备的虚拟图标将视频聊天APP的功能无缝迁移至第二IoT设备,其中,第一IoT设备例如是智能电视,第二IoT设备例如是手机,用户可以利用手机的移动性实现更方便的视频聊天。因此,本实施例可以在特定场景中以简单的操作(拖动虚拟设备的图标)使用户获得更好的体验。
可选地,所述至少两个IoT设备包括第一IoT设备和第二IoT设备,所述操作信号包括:所述用户拖动所述第一IoT设备的虚拟设备图标至所述第二IoT设备的虚拟设备图标;所述执行与所述操作信号对应的处理方法,包括:建立所述第一IoT设备的目标应用与所述第二IoT设备的目标应用之间的通信连接,其中,所述第一IoT设备在获取所述操作信号前未运行所述目标应用。
当第一IoT设备未运行目标应用时,用户的拖动操作可能是想在第一IoT设备的目标应用和第二IoT设备的目标应用之间建立通信连接。目标应用可以是预设的APP,也可以是用户实时选择的APP。当目标应用为视频聊天APP时,用户无需打开视频聊天APP即可在第一IoT设备与第二IoT设备之间实现视频聊天。因此,本实施例可以在特定场景中以简单的操作(拖动虚拟设备的图标)使用户获得更好的体验。
可选地,所述至少两个IoT设备包括第一IoT设备和第二IoT设备,所述操作信号包括:所述用户通过双指拖动所述第一IoT设备的逻辑端口图标和所述第二IoT设备的逻辑端口图标进行合并;所述执行与所述操作信号对应的处理方法,包括:共享所述第一IoT设备的逻辑端口图标的功能和所述第二IoT设备的逻辑端口图标的功能。
用户可以通过拖动两个逻辑设备的端口图标实现共享逻辑端口的功能。例如,当用户A正在使用手机与用户C进行视频通话时,用户B希望通过智能电视加入该视频通话,则用户A可以拖动手机的麦克风图标和智能电视的麦克风图标使得用户B加入该视频通话。本实施例可以在特定场景中以简单的操作(拖动虚拟设备的逻辑端口的图标)使用户获得更好的体验。
可选地,所述至少两个IoT设备包括第一IoT设备和第二IoT设备,所述操作信号包括:所述用户点击所述第二IoT设备的虚拟设备图标;所述执行与所述操作信号对应的处理方法,包括:建立所述第一IoT设备与所述第二IoT设备的控制事件映射关系,其中,所述第一IoT设备为预设的控制设备,所述第二IoT设备为被控制设备。
第一IoT设备例如是智能电视,第二IoT设备例如是手机,用户可以利用手机实现对智能电视的控制,例如,可以利用手机键盘在智能电视的浏览器中输入网址,相比于通过遥控器控制智能电视,本实施例可以在特定的场景中使用户获得更好的体验。
可选地,所述获取第一触发信号,包括:通过触控屏幕获取所述第一触发信号,所述第一触发信号为所述用户在所述触控屏幕上执行预设动作生成的触发信号。
可选地,所述获取第一触发信号,包括:通过摄像头获取所述第一触发信号,所述第一触发信号为所述用户在空中执行预设动作生成的触发信号。
可选地,还包括:退出所述虚拟设备界面。
可选地,所述退出所述虚拟设备界面,包括:获取第二触发信号;根据所述第二触发信号退出所述虚拟设备界面。
第二方面,提供了一种管理IoT设备的装置,包括由软件和/或硬件组成的单元,该单元用于执行第一方面所述的技术方案中任意一种方法。
第三方面,提供了一种电子设备,包括处理器和存储器,该存储器用于存储计算机程序,该处理器用于从存储器中调用并运行该计算机程序,使得该电子设备执行第一方面所述的技术方案中任意一种方法。
第四方面,提供了一种计算机可读介质,所述计算机可读介质存储有程序代码,当所述计算机程序代码在电子设备上运行时,使得该电子设备执行第一方面所述的技术方案中任意一种方法。
第五方面,提供了一种计算机程序产品,所述计算机程序产品包括:计算机程序代码,当所述计算机程序代码在电子设备上运行时,使得该电子设备执行第一方面所述的技术方案中任意一种方法。
附图说明
图1是一种适用于本申请实施例的IoT系统的示意图;
图2是本申请实施例提供的一种IoT设备的硬件系统示意图;
图3是本申请实施例提供的一种IoT设备的软件系统示意图;
图4是本申请实施例提供的几种IoT设备的逻辑设备的拓扑接构示意图;
图5是本申请实施例提供的一种通过智能电视进入逻辑设备显示界面的方法;
图6是本申请实施例提供的一种通过手机进入逻辑设备显示界面的方法;
图7是本申请实施例提供的另一种通过手机进入逻辑设备显示界面的方法;
图8是本申请实施例提供的一种逻辑设备显示界面的示意图;
图9是本申请实施例提供的一种设置视频通话的方法的示意图;
图10是本申请实施例提供的一种设置共享蓝牙耳机的方法的示意图;
图11是本申请实施例提供的另一种设置视频通话的方法的示意图;
图12是本申请实施例提供的另一种设置多方视频通话的方法的示意图;
图13是本申请实施例提供的一种设置摄像头的方法的示意图;
图14是本申请实施例提供的一种迁移APP功能的方法的示意图;
图15是本申请实施例提供的另一种迁移APP功能的方法的示意图;
图16是本申请实施例提供的一种建立视频通话的方法的示意图;
图17是本申请实施例提供的另一种建立视频通话的方法的示意图;
图18是本申请实施例提供的一种通过手机控制智能电视的方法的示意图;
图19是本申请实施例提供的一种管理IoT设备的电子设备的示意图。
具体实施方式
下面将结合附图,对本申请实施例中的技术方案进行描述。
图1是一种适用于本申请实施例的IoT系统100的示意图,IoT系统100包括智能电视101、手机102、智能音箱103和路由器104,这些设备可以称为IoT设备。
用户可以通过手机102向智能电视101发送指令,该指令经由路由器104转发传输至智能电视101,智能电视101根据该指令执行相应的操作,如打开摄像头、屏幕、麦克风和扬声器。
用户也可以通过手机102向智能音箱103发送指令,该指令通过手机102与智能音箱103之间的蓝牙连接传输至智能音箱103,智能音箱103根据该指令执行相应的操作,如打开麦克风和扬声器。
IoT系统100是适用于本申请的IoT系统的一个示例而非全部。例如,适用于本申请实施例的IoT系统中,IoT设备之间还可以通过有线连接方式进行通信;用户可以通过AR设备或VR设备控制智能电视101和智能音箱103。
下面以图2为例介绍本申请实施例提供的IoT设备的硬件结构。
IoT设备可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
需要说明的是,图2所示的结构并不构成对IoT设备的具体限定。在本申请另一些实施例中,IoT设备可以包括比图2所示的部件更多或更少的部件,或者,IoT设备可以包括图2所示的部件中某些部件的组合,或者,IoT设备可以包括图2所示的部件中某些部件的子部件。图2示的部件可以以硬件、软件、或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元。例如,处理器110可以包括以下处理单元中的至少一个:应用处理器(application processor,AP)、调制解调处理器、图形处理器(graphics processing unit,GPU)、图像信号处理器(image signal processor,ISP)、控制器、视频编解码器、数字信号处理器(digital signal processor,DSP)、基带处理器、神经网络处理器(neural-network processing unit,NPU)。其中,不同的处理单元可以是独立的器件,也可以是集成的器件。
控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。例如,处理器110可以包括以下接口中的至少一个:内部集成电路(inter-integrated circuit,I2C)接口、内部集成电路音频(inter-integrated circuit sound,I2S)接口、脉冲编码调制(pulse codemodulation,PCM)接口、通用异步接收传输器(universal asynchronous receiver/transmitter,UART)接口、移动产业处理器接口(mobile industry processor interface,MIPI)、通用输入输出(general-purpose input/output,GPIO)接口、SIM接口、USB接口。
I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串行时钟线(derail clock line,SCL)。在一些实施例中,处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K、充电器、闪光灯、摄像头193等。例如:处理器110可以通过I2C接口耦合触摸传感器180K,使处理器110与触摸传感器180K通过I2C总线接口通信,实现IoT设备的触摸功能。
I2S接口可以用于音频通信。在一些实施例中,处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合,实现处理器110与音频模块170之间的通信。在一些实施例中,音频模块170可以通过I2S接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。
PCM接口也可以用于音频通信,将模拟信号抽样,量化和编码。在一些实施例中,音频模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中,音频模块170也可以通过PCM接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。
UART接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中,UART接口通常被用于连接处理器110与无线通信模块160。例如:处理器110通过UART接口与无线通信模块160中的蓝牙模块通信,实现蓝牙功能。在一些实施例中,音频模块170可以通过UART接口向无线通信模块160传递音频信号,实现通过蓝牙耳机播放音乐的功能。
MIPI接口可以被用于连接处理器110与显示屏194和摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface,CSI)、显示屏串行接口(displayserial interface,DSI)等。在一些实施例中,处理器110和摄像头193通过CSI接口通信,实现IoT设备的拍摄功能。处理器110和显示屏194通过DSI接口通信,实现IoT设备的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号接口,也可被配置为数据信号接口。在一些实施例中,GPIO接口可以用于连接处理器110与摄像头193,显示屏194、无线通信模块160、音频模块170和传感器模块180。GPIO接口还可以被配置为I2C接口、I2S接口、UART接口或MIPI接口。
USB接口130是符合USB标准规范的接口,例如可以是迷你(Mini)USB接口、微型(Micro)USB接口或C型USB(USB Type C)接口。USB接口130可以用于连接充电器为IoT设备充电,也可以用于IoT设备与外围设备之间传输数据,还可以用于连接耳机以通过耳机播放音频。USB接口130还可以用于连接其他电子设备,例如AR设备。
图2所示的各模块间的连接关系只是示意性说明,并不构成对IoT设备的各模块间的连接关系的限定。可选地,IoT设备的各模块也可以采用上述实施例中多种连接方式的组合。
充电管理模块140用于从充电器接收电力。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的电流。在一些无线充电的实施例中,充电管理模块140可以通过IoT设备的无线充电线圈接收电磁波(电流路径如虚线所示)。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,显示屏194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量、电池循环次数和电池健康状态(例如,漏电、阻抗)等参数。可选地,电源管理模块141可以设置于处理器110中,或者,电源管理模块141和充电管理模块140可以设置于同一个器件中。
IoT设备的无线通信功能可以通过天线1、天线2、移动通信模块150、无线通信模块160、调制解调处理器以及基带处理器等器件实现。
天线1和天线2用于发射和接收电磁波信号。IoT设备中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在IoT设备上的无线通信的解决方案,例如下列方案中的至少一个:第二代(2th generation,2G)移动通信解决方案、第三代(3thgeneration,3G)移动通信解决方案、第四代(4th generation,5G)移动通信解决方案、第五代(5th generation,5G)移动通信解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波和放大等处理,随后传送至调制解调处理器进行解调。移动通信模块150还可以放大经调制解调处理器调制后的信号,放大后的该信号经天线1转变为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(例如,扬声器170A、受话器170B)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
与移动通信模块150类似,无线通信模块160也可以提供应用在IoT设备上的无线通信解决方案,例如下列方案中的至少一个:无线局域网(wireless local areanetworks,WLAN)、蓝牙(bluetooth,BT)、全球导航卫星系统(global navigationsatellite system,GNSS)、调频(frequency modulation,FM)、近场通信(near fieldcommunication,NFC)、红外(infrared,IR)。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,并将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频和放大,该信号经天线2转变为电磁波辐射出去。
在一些实施例中,IoT设备的天线1和移动通信模块150耦合,IoT设备的天线2和无线通信模块160耦合。
IoT设备可以通过GPU、显示屏194以及应用处理器实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194可以用于显示图像或视频。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD)、有机发光二极管(organic light-emitting diode,OLED)、有源矩阵有机发光二极体(active-matrix organic light-emitting diode,AMOLED)、柔性发光二极管(flex light-emitting diode,FLED)、迷你发光二极管(mini light-emitting diode,Mini LED)、微型发光二极管(micro light-emitting diode,Micro LED)、微型OLED(Micro OLED)或量子点发光二极管(quantum dotlight emitting diodes,QLED)。在一些实施例中,IoT设备可以包括1个或N个显示屏194,N为大于1的正整数。
IoT设备可以通过ISP、摄像头193、视频编解码器、GPU、显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP可以对图像的噪点、亮度和色彩进行算法优化,ISP还可以优化拍摄场景的曝光和色温等参数。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的红绿蓝(red green blue,RGB),YUV等格式的图像信号。在一些实施例中,IoT设备可以包括1个或N个摄像头193,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当IoT设备在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。IoT设备可以支持一种或多种视频编解码器。这样,IoT设备可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1、MPEG2、MPEG3和MPEG4。
NPU是一种借鉴生物神经网络结构的处理器,例如借鉴人脑神经元之间传递模式对输入信息快速处理,还可以不断地自学习。通过NPU可以实现IoT设备的智能认知等功能,例如:图像识别、人脸识别、语音识别和文本理解。
外部存储器接口120可以用于连接外部存储卡,例如安全数码(secure digital,SD)卡,实现扩展IoT设备的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能(例如,声音播放功能和图像播放功能)所需的应用程序。存储数据区可存储IoT设备使用过程中所创建的数据(例如,音频数据和电话本)。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如:至少一个磁盘存储器件、闪存器件和通用闪存存储器(universal flash storage,UFS)等。处理器110通过运行存储在内部存储器121的指令和/或存储在设置于处理器中的存储器的指令,执行IoT设备的各种功能应用以及数据处理。
IoT设备可以通过音频模块170、扬声器170A、受话器170B、麦克风170C、耳机接口170D以及应用处理器等实现音频功能,例如,音乐播放和录音。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也可以用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170或者音频模块170的部分功能模块可以设置于处理器110中。
扬声器170A,也称为喇叭,用于将音频电信号转换为声音信号。IoT设备可以通过扬声器170A收听音乐或免提通话。
受话器170B,也称为听筒,用于将音频电信号转换成声音信号。当用户使用IoT设备接听电话或语音信息时,可以通过将受话器170B靠近耳朵接听语音。
麦克风170C,也称为话筒或传声器,用于将声音信号转换为电信号。当用户拨打电话或发送语音信息时,可以通过靠近麦克风170C发声将声音信号输入麦克风170C。IoT设备可以设置至少一个麦克风170C。在另一些实施例中,IoT设备可以设置两个麦克风170C,以实现降噪功能。在另一些实施例中,IoT设备还可以设置三个、四个或更多麦克风170C,以实现识别声音来源和定向录音等功能。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多,例如可以是电阻式压力传感器、电感式压力传感器或电容式压力传感器。电容式压力传感器可以是包括至少两个具有导电材料的平行板,当力作用于压力传感器180A,电极之间的电容改变,IoT设备根据电容的变化确定压力的强度。当触摸操作作用于显示屏194时,IoT设备根据压力传感器180A检测所述触摸操作。IoT设备也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令;当触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
陀螺仪传感器180B可以用于确定IoT设备的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定IoT设备围绕三个轴(即,x轴、y轴和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。例如,当快门被按下时,陀螺仪传感器180B检测IoT设备抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消IoT设备的抖动,实现防抖。陀螺仪传感器180B还可以用于导航和体感游戏等场景。
气压传感器180C用于测量气压。在一些实施例中,IoT设备通过气压传感器180C测得的气压值计算海拔高度,辅助定位和导航。
磁传感器180D包括霍尔传感器。IoT设备可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中,当IoT设备是翻盖机时,IoT设备可以根据磁传感器180D检测翻盖的开合。IoT设备可以根据检测到的皮套的开合状态或翻盖的开合状态,设置翻盖自动解锁等特性。
加速度传感器180E可检测IoT设备在各个方向上(一般为x轴、y轴和z轴)加速度的大小。当IoT设备静止时可检测出重力的大小及方向。加速度传感器180E还可以用于识别IoT设备的姿态,作为横竖屏切换和计步器等应用的输入参数。
距离传感器180F用于测量距离。IoT设备可以通过红外或激光测量距离。在一些实施例中,例如在拍摄场景中,IoT设备可以利用距离传感器180F测距以实现快速对焦。
接近光传感器180G可以包括例如发光二极管(light-emitting diode,LED)和光检测器,例如,光电二极管。LED可以是红外LED。IoT设备通过LED向外发射红外光。IoT设备使用光电二极管检测来自附近物体的红外反射光。当检测到反射光时,IoT设备可以确定附近存在物体。当检测不到反射光时,IoT设备可以确定附近没有物体。IoT设备可以利用接近光传感器180G检测用户是否手持IoT设备贴近耳朵通话,以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式或口袋模式的自动解锁与自动锁屏。
环境光传感器180L用于感知环境光亮度。IoT设备可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合,检测IoT设备是否在口袋里,以防误触。
指纹传感器180H用于采集指纹。IoT设备可以利用采集的指纹特性实现解锁、访问应用锁、拍照和接听来电等功能。
温度传感器180J用于检测温度。在一些实施例中,IoT设备利用温度传感器180J检测的温度,执行温度处理策略。例如,当温度传感器180J上报的温度超过阈值,IoT设备执行降低位于温度传感器180J附近的处理器的性能,以便降低功耗实施热保护。在另一些实施例中,当温度低于另一阈值时,IoT设备对电池142加热,以避免低温导致IoT设备异常关机。在其他一些实施例中,当温度低于又一阈值时,IoT设备对电池142的输出电压执行升压,以避免低温导致的异常关机。
触摸传感器180K,也称为触控器件。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,触摸屏也称为触控屏。触摸传感器180K用于检测作用于其上或其附近的触摸操作。触摸传感器180K可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于IoT设备的表面,并且与显示屏194设置于不同的位置。
骨传导传感器180M可以获取振动信号。在一些实施例中,骨传导传感器180M可以获取人体声部振动骨块的振动信号。骨传导传感器180M也可以接触人体脉搏,接收血压跳动信号。在一些实施例中,骨传导传感器180M也可以设置于耳机中,结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180M获取的声部振动骨块的振动信号,解析出语音信号,实现语音功能。应用处理器可以基于所述骨传导传感器180M获取的血压跳动信号解析心率信息,实现心率检测功能。
按键190包括开机键和音量键。按键190可以是机械按键,也可以是触摸式按键。IoT设备可以接收按键输入信号,实现于案件输入信号相关的功能。
马达191可以产生振动。马达191可以用于来电提示,也可以用于触摸反馈。马达191可以对作用于不同应用的触摸操作产生不同的振动反馈效果。对于作用于显示屏194的不同区域的触摸操作,马达191也可产生不同的振动反馈效果。不同的应用场景(例如,时间提醒、接收信息、闹钟和游戏)可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器192可以是指示灯,可以用于指示充电状态和电量变化,也可以用于指示消息、未接来电和通知。
SIM卡接口195用于连接SIM卡。SIM卡可以插入SIM卡接口195实现与IoT设备的接触,也可以从SIM卡接口195拔出实现与IoT设备的分离。IoT设备可以支持1个或N个SIM卡接口,N为大于1的正整数。同一个SIM卡接口195可以同时插入多张卡,所述多张卡的类型可以相同,也可以不同。SIM卡接口195也可以兼容外部存储卡。IoT设备通过SIM卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,IoT设备采用嵌入式SIM(embedded-SIM,eSIM)卡,eSIM卡可以嵌在IoT设备中,不能和IoT设备分离。
上文详细描述了IoT设备的硬件系统,下面介绍本申请实施例提供的IoT设备的软件系统。IoT设备的软件系统可以采用分层架构、事件驱动架构、微核架构、微服务架构或云架构,本申请实施例以分层架构为例,示例性地描述IoT设备的软件系统。
如图3所示,分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将软件系统分为三层,从上至下分别为应用层、操作系统层和逻辑设备层。
应用层可以包括相机、图库、日历、通话、地图、导航、WLAN、蓝牙、音乐、视频、短信息等应用程序。在一些设备能力较弱的IoT设备中,应用层还可以以软件开发工具包(software development kit,SDK)的形式存在。
操作系统层为应用层的APP提供应用编程接口(application programminginterface,API)和后台服务,后台服务例如是一些预先定义的函数。
当用户在触摸传感器180K上进行触摸操作时,相应的硬件中断被发送至操作系统层,操作系统层将触摸操作加工成原始输入事件,原始输入事件例如包括触摸坐标和触摸操作的时间戳等信息;随后,操作系统层识别出原始出入事件对应的控件,并通知该控件对应的APP。例如,上述触摸操作为单击操作,上述控件对应的APP为相机APP,则相机APP可以通过API调用后台服务,将控制指令传输至逻辑端口管理模块,通过逻辑端口管理模块控制摄像头193进行拍摄。
逻辑设备层包括逻辑设备端口管理模块、逻辑设备管理模块和逻辑设备用户界面(user interface,UI)模块三个主要模块。
逻辑端口管理模块用于管理各逻辑端口的路由,并实现逻辑端口的功能共享和功能引用,可以通过网络连接来引用远端IoT设备的端口。例如,手机102使用智能电视101(远端IoT设备)的摄像头时,智能电视101将摄像头功能的状态设置为可共享,手机102的逻辑端口管理模块通过网络连接引用智能电视101的摄像头功能;随后,手机102上的APP就可以使用智能电视101的摄像头进行视频聊天等操作。
逻辑设备管理模块的功能包括IoT设备的添加、删除和权限管理。
逻辑设备UI模块用于将逻辑设备列表以可视化的形式展示给用户,以便于用户管理IoT设备。
例如,当用户设置手机102使用本地的麦克风1时,逻辑设备UI模块获取的用户操作信息传输至逻辑设备管理模块,逻辑设备管理模块可以基于该用户操作信息激活函数/dev/mic1,将麦克风1添加至逻辑设备列表,逻辑端口管理模块即可利用麦克风1的端口进行拾音;当用户设置手机102使用智能电视101的麦克风2时,逻辑设备管理模块可以激活函数/dev/mic2,将麦克风2添加至逻辑设备列表,逻辑端口管理模块即可利用麦克风2的端口进行拾音。
为了便于用户控制IoT设备,可以将IoT设备虚拟为逻辑设备。智能电视101、手机102和智能音箱103的逻辑设备的拓扑结构如图4所示。
智能电视101和手机102包含的模块中具有用户交互功能的模块通常是麦克风、扬声器、摄像头和屏幕,因此,智能电视101和手机102的逻辑设备可以包括上述模块对应的逻辑端口。
智能音箱103包含的模块中具有用户交互功能的模块通常是麦克风和扬声器,因此,智能音箱103的逻辑设备包括的逻辑端口可以是麦克风和扬声器。
图4所示的拓扑结构可以由手机102生成。
手机102可以向智能电视101和智能音箱103发送指示信息,指示智能电视101和智能音箱103上报各自的能力信息,该能力信息指示各个IoT设备所支持的功能。例如,智能电视101上报的能力信息指示智能电视101支持的功能包括麦克风、扬声器、摄像头和屏幕,智能音箱103上报的能力信息指示智能音箱支持的功能包括麦克风和扬声器。
手机102也可以向服务器发送查询请求,根据设备品牌和/或设备型号,从服务器获取智能电视101和智能音箱103的能力信息。
此外,当手机102与智能电视101和智能音箱103登录相同的管理账号时,手机102可以同步智能电视101和智能音箱103的能力信息。例如,智能电视101和智能音箱103可以周期性地向手机102发送能力信息,或者,手机102周期性地查询智能电视101和智能音箱103的能力,或者,智能电视101和智能音箱103在自己支持的功能发生变化时向手机102发送能力信息。
在一些可能的实施方案中,设备间还需要同步设备状态(例如逻辑设备电量、逻辑设备是否熄屏、逻辑端口是否被占用等)。该同步的方式可选地参考能力信息的同步,本申请对此不做限定。
用户可以通过智能电视101或者智能音箱103进入逻辑设备显示界面,不管从哪个IoT设备进入逻辑设备显示界面,用户均可以看到各个IoT设备的状态,并且可以以相同的方式管理各个IoT设备。
下面,以智能电视101或者手机102为例介绍本申请提供的进入逻辑设备显示界面的方法。
图5示出了一种通过智能电视101进入逻辑设备显示界面的方法。
用户可以在智能电视101处于任意显示界面时做出双指收拢动作,该动作用于触发智能电视101进入逻辑设备显示界面。智能电视101可以通过摄像头捕捉双指收拢动作,也可以通过具有触控功能的屏幕捕捉双指收拢动作;即,用户可以在空中做出双指收拢动作,通过摄像头触发智能电视101进入逻辑设备显示界面,用户也可以在具有触控功能的屏幕上做出双指收拢动作,通过该屏幕触发智能电视101进入逻辑设备显示界面。
智能电视101的处理器检测到双指收拢动作后,可以缩小当前显示界面,将当前显示界面的小尺寸画面作为智能电视101的逻辑设备显示在屏幕上。
用户还可以通过声音或者遥控器或者其它动作触发智能电视101进入逻辑设备显示界面,本申请对触发智能电视101进入逻辑设备显示界面的具体方式不做限定。
图6示出了一种通过手机102进入逻辑设备显示界面的方法。
用户可以在手机102处于任意显示界面时单击或双击悬浮按键,单击或双击悬浮按键用于触发手机102进入逻辑设备显示界面,其中,悬浮按键可以设置为半透明状态,并且可以被拖动至手机102的屏幕的任意位置。
图7示出了另一种通过手机102进入逻辑设备显示界面的方法。
用户可以在手机102处于任意显示界面时长按屏幕进入逻辑设备显示界面,手指按压的位置可以是屏幕的任意位置。
智能电视101和手机102的虚拟设备的显示界面如图8所示。智能电视101和手机102的虚拟设备的下方均显示各自的逻辑端口,这些逻辑端口可以以2D图标的形式显示在屏幕上。智能电视101的虚拟设备下方显示的四个2D图标从左至右分别为麦克风、扬声器、摄像头和屏幕,手机102的虚拟设备下方显示的四个2D图标从左至右分别为麦克风、扬声器、摄像头和屏幕。
逻辑端口也可以以3D模型的形式显示在屏幕上,若用户当前正在使用AR设备,3D模型的逻辑端口还可以通过AR设备展示给用户。
在一些可能的实施方案中,本申请实施例中的音频和视频分别进行管理。例如,麦克风和扬声器主要用于音频的采集和播放,在进行跨设备传输数据时,可传输原始音频数据。又例如,摄像头和显示屏主要用于视频的采集和播放,在进行跨设备传输数据时,可通过视频的编解码实现视频数据的传输。
在一些可能的实施方案中,本申请实施例中的音频和视频需要同时传输,此时可选地使用封装后的投屏协议、音视频传输协议等。
智能电视101可以将各个IoT设备的实时状态同步显示在对应的虚拟设备上。如图8所示,用户正在使用智能电视101进行视频通话,则当前的视频通话内容可以显示在智能电视101的虚拟设备上;当手机102处于锁屏状态时,锁屏画面可以显示在手机102的虚拟设备上。
当用户需要退出逻辑设备显示界面时,可以单击逻辑设备显示界面的空白处退出逻辑设备显示界面,也可以单击虚拟设备退出逻辑设备显示界面,还可以点击虚拟返回键或者实体返回键退出逻辑设备显示界面,本申请对退出逻辑设备显示界面的具体方式不做限定。
上文详细说明了进入和退出逻辑设备显示界面的方法,下面,将介绍逻辑设备显示界面的操作方法。
视频通话是一种常见的应用场景,当用户使用智能电视101或者手机102进行视频通话时,用户能够通过屏幕看到对方的画面,还可以通过扬声器听到对方的声音,用户的声音和影像则可以通过摄像头和麦克风传输至对方。
智能电视101和手机102在视频通话中有不同的优点,例如,智能电视101的屏幕较大,摄像头视角较广,手机102具有灵活移动的特点。用户可以在不同的场景中使用以特定的方式进行视频通话,满足个性化需求。
图9示出了一种视频通话的设置方法。用户当前正在使用智能电视101进行视频通话,当用户与智能电视101的距离较远时,智能电视101的麦克风的拾音效果较差,则用户可以使用手机102的麦克风拾音。
用户可以在空中做出双指并拢动作,智能电视101的摄像头捕捉到该动作后,进入逻辑设备显示界面,显示智能电视101和手机102的虚拟设备。用户可以选中智能电视101的麦克风图标,并在空中做出拖动操作,将智能电视101的麦克风图标拖动至手机102的麦克风图标,或者,将智能电视101的麦克风图标拖动至手机102的虚拟设备图标(以下,简称为“虚拟设备”)。智能电视101检测到该拖动操作后,向手机102发送请求消息,请求使用手机102的麦克风,手机102接收到该请求消息后,启动拾音功能,获取用户的声音并将用户的声音传输至智能电视101;智能电视101从手机102获取音频数据后,可以将该音频数据与智能电视101获取的视频数据封装起来,发送至视频通话的对端。该实施例无需关闭当前的视频通话进行麦克风功能迁移设置,增强了用户的体验。
可选地,智能电视101在麦克风功能迁移完成后,在智能电视101的麦克风图标与手机102的麦克风图标之间添加连线,手机102也可以在屏幕上显示麦克风图标,分别提示用户智能电视101与手机102已完成麦克风功能迁移,增强用户的体验。
麦克风功能迁移完成后,用户可以点击遥控器的退出按键退出逻辑设备显示界面。
除了将智能电视101的麦克风功能迁移至手机102之外,智能电视101还可以使用与手机102连接的蓝牙耳机的麦克风和扬声器,以便于用户在双手不能持有手机102时进行视频通话。
如图10所示,用户可以在空中做出双指并拢动作,智能电视101的摄像头捕捉到该动作后,进入逻辑设备显示界面,显示智能电视101和手机102的虚拟设备。手机102与蓝牙耳机连接,手机102的虚拟设备包括蓝牙图标。用户可以选中智能电视101的麦克风图标,并在空中做出拖动操作,用户可以将智能电视101的麦克风图标和扬声器图标分别拖动至手机102的蓝牙图标,指示手机102将蓝牙耳机的麦克风和扬声器开放给智能电视101使用。用户也可以将智能电视101的麦克风图标和扬声器图标分别拖动至手机102的虚拟设备,由手机102决定是否将蓝牙耳机的麦克风和扬声器开放给智能电视101使用。
智能电视101检测到拖动麦克风图标的操作后,向手机102发送请求消息,请求使用手机102的麦克风,手机102接收到该请求消息后,启动拾音功能,获取用户的声音并将用户的声音传输至智能电视101;智能电视101从手机102获取音频数据后,可以将该音频数据与智能电视101获取的视频数据封装起来,发送至视频通话的对端。
智能电视101检测到拖动扬声器图标的操作后,再次向手机102发送请求消息,请求使用手机102的扬声器,手机102接收到该请求消息后,启动扬声器功能,播放从智能电视101获取的音频数据。
图10所示的实施例无需关闭当前的视频通话进行麦克风和扬声器功能迁移设置,增强了用户的体验。麦克风和扬声器功能迁移设置完成后,用户可以点击遥控器的退出按键退出逻辑设备显示界面。
图11示出了另一种视频通话的设置方法。用户当前正在使用手机102进行视频通话,当用户与智能电视101的距离较近时,可以使用智能电视101的屏幕观看视频通话的画面,以获取更好的视觉效果。
用户可以长按手机102的屏幕,手机102检测到该动作后,进入逻辑设备显示界面,显示智能电视101和手机102的虚拟设备。用户可以拖动手机102的屏幕图标至智能电视101的虚拟设备。手机102基于该拖动操作向智能电视101发送请求消息,请求将视频通话的画面投屏到智能电视101,智能电视101接收到该请求消息后,启动投屏功能,从手机102获取视频通话的视频数据并将视频通话的画面并显示在屏幕上,手机102继续处理该视频通话的音频数据。该实施例无需关闭当前的视频通话进行投屏设置,增强了用户的体验。
投屏设置完成后,用户可以点击逻辑设备显示界面的空白处退出逻辑设备显示界面。
图12示出了本申请提供的再一种视频通话的设置方法,该方法应用于三方视频通场景。用户A当前正在使用手机102与用户C进行视频通话,用户B希望通过智能电视101加入该视频通话,其中,用户A和用户B处于相同的地理位置。
用户A可以长按手机102的屏幕,手机102检测到该动作后,进入逻辑设备显示界面,显示智能电视101和手机102的虚拟设备。用户A可以使用两指同时拖动智能电视101和手机102的虚拟设备。手机102检测到该拖动操作后向智能电视101发送请求消息,基于当前正在运行的视频通话APP请求智能电视101共享麦克风、摄像头和扬声器;智能电视101接收到该请求消息后,将用户B的媒体数据(如视频数据和音频数据)发送至手机102,手机102可以将用户B的媒体数据和用户A的媒体数据打包发送至用户C,并且将用户C的媒体数据和用户A的媒体数据打包发送至智能电视101,使得用户B加入用户和用户C之间的视频通话。用户A也可以使用两指同时拖动智能电视101和手机102的摄像头图标,使得智能电视101和手机102单独共享摄像头。该实施例无需关闭当前的视频通话进行视频通话设置,增强了用户的体验。
视频通话设置完成后,用户可以点击逻辑设备显示界面的空白处退出逻辑设备显示界面。
与投屏类似,用户正在使用手机102进行视频通话时,可以使用智能电视101的摄像头以使对方能够看到视角更广的画面。使用智能电视101的摄像头的方法如图13所示。
用户可以长按手机102的屏幕,手机102检测到该动作后,进入逻辑设备显示界面,显示智能电视101和手机102的虚拟设备。用户可以拖动手机102的摄像头图标至智能电视101的虚拟设备。手机102基于该拖动操作向智能电视101发送请求消息,请求获取智能电视101的摄像头拍摄的画面,智能电视101接收到该请求消息后,启动摄像头进行拍摄,并将拍摄到的画面发送至手机102,手机102的本地视频画面(手机102的右上角显示的视频画面)与智能电视101显示的视频画面相同。该实施例无需关闭当前的视频通话进行摄像头设置,增强了用户的体验。
摄像头设置完成后,用户可以点击逻辑设备显示界面的空白处退出逻辑设备显示界面。
当智能电视101和手机102安装有相同的APP时,用户可以将该APP的状态从智能电视101迁移至手机102,或者,用户可以将该APP的状态从手机102迁移至智能电视101。
例如,手机102相比于智能电视101具有移动性强的优势,用户可以将正在进行的视频通话从智能电视101迁移至手机102以获得更好的移动性。
视频通话的迁移流程如图14所示。用户可以在智能电视101的屏幕上做出双指收拢动作,触发智能电视101进入逻辑设备显示界面;随后,用户可以点击选中智能电视101的虚拟设备,将智能电视101的虚拟设备拖动至手机102的虚拟设备;智能电视101检测到该拖动操作后,向手机102发送请求消息,请求将视频通话迁移至手机102;手机102接收到该请求消息后,执行视频通话的迁移流程;视频通话迁移完成后,手机102的虚拟设备显示视频通话界面,智能电视101的虚拟设备移除视频通话界面。该实施例无需关闭当前的视频通话进行视频通话的迁移设置,增强了用户的体验。
APP迁移完成后,用户可以点击逻辑设备显示界面的空白处退出逻辑设备显示界面。
此外,智能电视101相比于手机102具有大屏幕的优势,用户可以将正在进行的视频通话从手机102迁移至智能电视101以获得更好的视觉体验。
视频通话的迁移流程如图15所示。用户可以长按手机102的屏幕,触发手机102进入逻辑设备显示界面;随后,用户可以点击选中手机102的虚拟设备,将手机102的虚拟设备拖动至智能电视101的虚拟设备;手机102检测到该拖动操作后,向智能电视101发送请求消息,请求将视频通话迁移至智能电视101;智能电视101接收到该请求消息后,执行视频通话的迁移流程;视频通话迁移完成后,智能电视101的虚拟设备显示视频通话界面,手机102的虚拟设备移除视频通话界面。该实施例无需关闭当前的视频通话进行视频通话的迁移设置,增强了用户的体验。
APP迁移完成后,用户可以点击逻辑设备显示界面的空白处退出逻辑设备显示界面。
上文描述了视频通话过程中对逻辑设备显示界面的一些操作方法,在视频通话的准备阶段,也可以利用逻辑设备显示界面获得更好的用户体验。
图16示出了一种建立视频通话的方法。用户希望使用手机102与智能电视101建立视频通话,则可以按照如下所述的内容进行操作。
用户可以长按手机102的屏幕,手机102检测到该动作后,进入逻辑设备显示界面,显示智能电视101和手机102的虚拟设备。当前手机102处于桌面显示状态时,用户可以拖动手机102的虚拟设备至智能电视101的虚拟设备。手机102基于该拖动操作向智能电视101发送请求消息,请求获取与智能电视101建立视频通话连接,智能电视101接收到该请求消息后可以在屏幕上显示视频通话建立请求对话框,以便于智能电视101的使用者(如用户的家人)选择接受或拒绝视频通话;智能电视101接收到该请求消息后也可以根据预先设置的信息直接建立视频通话,并将拍摄到的画面发送至手机102,以便于用户能够看到智能电视101所处的环境(如用户的家庭环境)。该实施例采用了直观的方式建立视频通话,增强了用户的体验。
视频通话建立后,用户可以点击逻辑设备显示界面的空白处退出逻辑设备显示界面。当用户需要退出视频通话时,可以再次进入逻辑设备显示界面,点击智能设备101的虚拟设备与手机102的虚拟设备之间的箭头,断开视频通话。
当用户有多个居住地时,并且该多个居住地均有智能电视时,用户可以利用一个居住地的智能电视与另外一个居住地的智能电视建立视频通话。
图17示出了另一种建立视频通话的方法。用户、智能电视101和手机102位于一个居住地,智能电视105位于另一个居住地,用户希望使用手机102在智能电视101与智能电视105之间建立视频通话,则可以按照如下所述的内容进行操作。
用户可以长按手机102的屏幕,手机102检测到该动作后,进入逻辑设备显示界面,显示智能电视101、智能电视105和手机102的虚拟设备。用户可以拖动智能电视101的虚拟设备至智能电视105的虚拟设备。手机102基于该拖动操作向智能电视101发送通知消息,通知智能电视101与智能电视105建立视频通话连接,智能电视101接收到该通知消息后向智能电视105发送视频通话建立请求,智能电视105接收到该请求消息后可以在屏幕上显示视频通话建立请求对话框,以便于智能电视105的使用者(如用户的家人)选择接受或拒绝视频通话;智能电视105接收到该请求消息后也可以根据预先设置的信息直接建立视频通话,并将拍摄到的画面发送至智能电视101,以便于用户能够看到智能电视105所处的环境。该实施例采用了直观的方式建立视频通话,增强了用户的体验。
视频通话建立后,用户可以点击手机102的虚拟设备或者逻辑设备显示界面的空白处退出逻辑设备显示界面。
上文介绍了在视频通话场景中的一些逻辑设备显示界面的使用方法,用户也可以利用逻辑设备显示界面进行其它操作,例如,一些智能电视的屏幕是非触摸屏,使用遥控器在智能电视上输入内容不方便,用户可以使用手机在智能电视上输入内容,操作方法如图18所示。
用户可以长按手机102的屏幕,手机102检测到该动作后,进入逻辑设备显示界面,显示智能电视101和手机102的虚拟设备。用户可以单击智能电视101的虚拟设备,手机102检测到该点击动作后,退出逻辑设备显示界面并在手机屏幕上显示智能电视101的画面,手机102还需要将控制事件映射给智能电视101,即,把手机102的触屏事件(TouchEvent)转换成对智能电视101的触屏事件,从而可以通过手机102对智能电视101进行点击操作或输入操作。在触屏事件转换过程中,手机102可以将手机102的触屏事件的坐标信息发送至智能电视101,智能电视101根据屏幕参数进行映射,确定该坐标信息在屏幕上的等效位置,进而生成与该等效位置对应的触屏事件。
当用户需要终止手机102对智能电视101的控制时,可以再次长按手机102的屏幕进入逻辑设备显示界面,然后单击手机102的虚拟设备或者智能电视101的虚拟设备终止手机102对智能电视101的控制。
上文详细介绍了本申请提供的管理IoT设备的方法的示例。可以理解的是,相应的装置为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请可以根据上述方法示例对管理IoT设备的装置进行功能单元的划分,例如,可以将各个功能划分为各个功能单元,也可以将两个或两个以上的功能集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。需要说明的是,本申请中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
图19示出了本申请提供的一种管理IoT设备的电子设备的结构示意图。电子设备1900可用于实现上述方法实施例中描述的方法。
电子设备1900包括一个或多个处理器1901,该一个或多个处理器1901可支持电子设备1900实现方法实施例中的方法。处理器1901可以是通用处理器或者专用处理器,例如,处理器1901可以是中央处理器(central processing unit,CPU)。CPU可以用于对电子设备1900进行控制,执行软件程序,以实现管理IoT设备的功能。
处理器1901也可以是数字信号处理器(digital signal processor,DSP)、专用集成电路(application specific integrated circuit,ASIC)、现场可编程门阵列(fieldprogrammable gate array,FPGA)或者其它可编程逻辑器件,例如,分立门、晶体管逻辑器件或分立硬件组件。本申请对处理器的具体类型不做限定。
电子设备1900还可以包括通信模块1905和输入模块1906,其中,通信模块1905用以实现与IoT设备之间的信号的输入(接收)和/或输出(发送),输入模块1906用以实现用户输入功能。
例如,通信模块1905可以是电子设备1900的收发器或通信接口,电子设备1900通过收发器发送或接收无线信号,或者,电子设备1900通过通信接口发送或接收有线信号,该无线信号或该有线信号可以用于控制IoT设备;输入模块1906可以是电子设备1900的触控屏幕或者摄像头,电子设备1900可以通过触控屏幕或摄像头获取用户输入的触发信号。
电子设备1900中可以包括一个或多个存储器1902,其上存有程序1904,程序1904可被处理器1901运行,生成指令1903,使得处理器1901根据指令1903执行上述方法实施例描述的方法。
例如,输入模块1906用于:获取第一触发信号;
处理器1901用于:根据所述第一触发信号显示虚拟设备界面,所述虚拟设备界面包括至少两个物联网IoT设备的虚拟设备信息;
输入模块1906还用于:获取操作信号,所述操作信号为用户在所述虚拟设备界面上触发的控制所述至少两个IoT设备进行交互的信号;
处理器1901还用于:执行与所述操作信号对应的处理方法。
可选地,存储器1902中还可以存储有数据(如IoT设备的虚拟设备信息)。可选地,处理器1901还可以读取存储器1902中存储的数据,该数据可以与程序1904存储在相同的存储地址,该数据也可以与程序1904存储在不同的存储地址。
处理器1901和存储器1902可以单独设置,也可以集成在一起,例如,集成在系统级芯片(system on chip,SOC)上。
应理解,上述方法实施例的各步骤可以通过处理器1901中的硬件形式的逻辑电路或者软件形式的指令完成,电子设备1900执行管理IoT设备的方法的具体方式以及产生的有益效果可以参见方法实施例中的相关描述。
本申请还提供了一种计算机程序产品,该计算机程序产品被处理器1901执行时实现本申请中任一方法实施例所述的方法。
该计算机程序产品可以存储在存储器1902中,例如是程序1904,程序1904经过预处理、编译、汇编和链接等处理过程最终被转换为能够被处理器1901执行的可执行目标文件。
本申请还提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被计算机执行时实现本申请中任一方法实施例所述的方法。该计算机程序可以是高级语言程序,也可以是可执行目标程序。
该计算机可读存储介质例如是存储器1902。存储器1902可以是易失性存储器或非易失性存储器,或者,存储器1902可以同时包括易失性存储器和非易失性存储器。其中,非易失性存储器可以是只读存储器(read-only memory,ROM)、可编程只读存储器(programmable ROM,PROM)、可擦除可编程只读存储器(erasable PROM,EPROM)、电可擦除可编程只读存储器(electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(static RAM,SRAM)、动态随机存取存储器(dynamic RAM,DRAM)、同步动态随机存取存储器(synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(synchlinkDRAM,SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM,DR RAM)。
本领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的装置和设备的具体工作过程以及产生的技术效果,可以参考前述方法实施例中对应的过程和技术效果,在此不再赘述。
在本申请所提供的几个实施例中,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的方法实施例的一些特征可以忽略,或不执行。以上所描述的装置实施例仅仅是示意性的,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,多个单元或组件可以结合或者可以集成到另一个系统。另外,各单元之间的耦合或各个组件之间的耦合可以是直接耦合,也可以是间接耦合,上述耦合包括电的、机械的或其它形式的连接。
在本申请的各种实施例中,序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请的实施例的实施过程构成任何限定。
另外,本文中的术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
总之,以上所述仅为本申请技术方案的较佳实施例而已,并非用于限定本申请的保护范围。凡在本申请的原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (21)

1.一种管理物联网设备的方法,其特征在于,包括:
获取第一触发信号;
根据所述第一触发信号显示虚拟设备界面,所述虚拟设备界面包括至少两个物联网IoT设备的虚拟设备信息;
获取操作信号,所述操作信号为用户在所述虚拟设备界面上触发的控制所述至少两个IoT设备进行交互的信号;
执行与所述操作信号对应的处理方法。
2.根据权利要求1所述的方法,其特征在于,所述至少两个IoT设备的虚拟设备信息包括:
所述至少两个IoT设备的虚拟设备图标和逻辑端口图标。
3.根据权利要求2所述的方法,其特征在于,所述至少两个IoT设备包括第一IoT设备和第二IoT设备,
所述操作信号包括:
所述用户拖动所述第一IoT设备的逻辑端口图标至所述第二IoT设备的虚拟设备图标;
所述执行与所述操作信号对应的处理方法,包括:
将所述第一IoT设备的逻辑端口图标对应的功能迁移至所述第二IoT设备,其中,所述第二IoT设备具有所述第一IoT设备的逻辑端口图标对应的功能。
4.根据权利要求2所述的方法,其特征在于,所述至少两个IoT设备包括第一IoT设备和第二IoT设备,
所述操作信号包括:
所述用户拖动所述第一IoT设备的虚拟设备图标至所述第二IoT设备的虚拟设备图标;
所述执行与所述操作信号对应的处理方法,包括:
将所述第一IoT设备的目标应用的功能迁移至所述第二IoT设备,其中,所述目标应用为所述第一IoT设备正在运行的应用,并且,所述第二IoT设备安装有所述目标应用。
5.根据权利要求2所述的方法,其特征在于,所述至少两个IoT设备包括第一IoT设备和第二IoT设备,
所述操作信号包括:
所述用户拖动所述第一IoT设备的虚拟设备图标至所述第二IoT设备的虚拟设备图标;
所述执行与所述操作信号对应的处理方法,包括:
建立所述第一IoT设备的目标应用与所述第二IoT设备的所述目标应用之间的通信连接,其中,所述第一IoT设备在获取所述操作信号前未运行所述目标应用。
6.根据权利要求2所述的方法,其特征在于,所述至少两个IoT设备包括第一IoT设备和第二IoT设备,
所述操作信号包括:
所述用户通过双指拖动所述第一IoT设备的逻辑端口图标和所述第二IoT设备的逻辑端口图标进行合并;
所述执行与所述操作信号对应的处理方法,包括:
共享所述第一IoT设备的逻辑端口图标的功能和所述第二IoT设备的逻辑端口图标的功能。
7.根据权利要求2所述的方法,其特征在于,所述至少两个IoT设备包括第一IoT设备和第二IoT设备,
所述操作信号包括:
所述用户点击所述第二IoT设备的虚拟设备图标;
所述执行与所述操作信号对应的处理方法,包括:
建立所述第一IoT设备与所述第二IoT设备的控制事件映射关系,其中,所述第一IoT设备为预设的控制设备,所述第二IoT设备为被控制设备。
8.根据权利要求1至7中任一项所述的方法,其特征在于,所述获取第一触发信号,包括:
通过触控屏幕获取所述第一触发信号,所述第一触发信号为所述用户在所述触控屏幕上执行预设动作生成的触发信号。
9.根据权利要求1至7中任一项所述的方法,其特征在于,所述获取第一触发信号,包括:
通过摄像头获取所述第一触发信号,所述第一触发信号为所述用户在空中执行预设动作生成的触发信号。
10.根据权利要求1至9中任一项所述的方法,其特征在于,还包括:
获取第二触发信号;
根据所述第二触发信号退出所述虚拟设备界面。
11.一种管理物联网设备的电子设备,其特征在于,包括输入模块和处理器,
所述输入模块用于:获取第一触发信号;
所述处理器用于:根据所述第一触发信号显示虚拟设备界面,所述虚拟设备界面包括至少两个物联网IoT设备的虚拟设备信息;
所述输入模块还用于:获取操作信号,所述操作信号为用户在所述虚拟设备界面上触发的控制所述至少两个IoT设备进行交互的信号;
所述处理器还用于:执行与所述操作信号对应的处理方法。
12.根据权利要求11所述的电子设备,其特征在于,所述至少两个IoT设备的虚拟设备信息包括:
所述至少两个IoT设备的虚拟设备图标和逻辑端口图标。
13.根据权利要求12所述的电子设备,其特征在于,所述至少两个IoT设备包括第一IoT设备和第二IoT设备,
所述操作信号包括:
所述用户拖动所述第一IoT设备的逻辑端口图标至所述第二IoT设备的虚拟设备图标;
所述处理器具体用于:
将所述第一IoT设备的逻辑端口图标对应的功能迁移至所述第二IoT设备,其中,所述第二IoT设备具有所述第一IoT设备的逻辑端口图标对应的功能。
14.根据权利要求12所述的电子设备,其特征在于,所述至少两个IoT设备包括第一IoT设备和第二IoT设备,
所述操作信号包括:
所述用户拖动所述第一IoT设备的虚拟设备图标至所述第二IoT设备的虚拟设备图标;
所述处理器具体用于:
将所述第一IoT设备的目标应用的功能迁移至所述第二IoT设备,其中,目标应用为所述第一IoT设备正在运行的应用,并且,所述第二IoT设备安装有所述目标应用。
15.根据权利要求12所述的电子设备,其特征在于,所述至少两个IoT设备包括第一IoT设备和第二IoT设备,
所述操作信号包括:
所述用户拖动所述第一IoT设备的虚拟设备图标至所述第二IoT设备的虚拟设备图标;
所述处理器具体用于:
建立所述第一IoT设备的目标应用与所述第二IoT设备的目标应用之间的通信连接,其中,所述第一IoT设备在获取所述操作信号前未运行所述目标应用。
16.根据权利要求12所述的电子设备,其特征在于,所述至少两个IoT设备包括第一IoT设备和第二IoT设备,
所述操作信号包括:
所述用户通过双指拖动所述第一IoT设备的逻辑端口图标和所述第二IoT设备的逻辑端口图标进行合并;
所述处理器具体用于:
共享所述第一IoT设备的逻辑端口图标的功能和所述第二IoT设备的逻辑端口图标的功能。
17.根据权利要求12所述的电子设备,其特征在于,所述至少两个IoT设备包括第一IoT设备和第二IoT设备,
所述操作信号包括:
所述用户点击所述第二IoT设备的虚拟设备图标;
所述处理器具体用于:
建立所述第一IoT设备与所述第二IoT设备的控制事件映射关系,其中,所述第一IoT设备为预设的控制设备,所述第二IoT设备为被控制设备。
18.根据权利要求11至17中任一项所述的电子设备,其特征在于,所述输入模块包括触控屏幕,所述输入模块具体用于:
通过所述触控屏幕获取所述第一触发信号,所述第一触发信号为所述用户在所述触控屏幕上执行预设动作生成的触发信号。
19.根据权利要求11至17中任一项所述的电子设备,其特征在于,所述输入模块包括摄像头,所述输入模块具体用于:
通过所述摄像头获取所述第一触发信号,所述第一触发信号为所述用户在空中执行的预设动作。
20.根据权利要求11至19中任一项所述的电子设备,其特征在于,所述处理器还用于:
通过所述输入模块获取第二触发信号;
根据所述第二触发信号退出所述虚拟设备界面。
21.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储了计算机程序,当所述计算机程序被处理器执行时,使得处理器执行权利要求1至10中任一项所述的方法。
CN202010846926.8A 2020-08-18 2020-08-18 管理物联网设备的方法和装置 Pending CN114153531A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010846926.8A CN114153531A (zh) 2020-08-18 2020-08-18 管理物联网设备的方法和装置
PCT/CN2021/110623 WO2022037412A1 (zh) 2020-08-18 2021-08-04 管理物联网设备的方法和装置
US18/041,779 US20230305693A1 (en) 2020-08-18 2021-08-04 Internet-of-things device management method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010846926.8A CN114153531A (zh) 2020-08-18 2020-08-18 管理物联网设备的方法和装置

Publications (1)

Publication Number Publication Date
CN114153531A true CN114153531A (zh) 2022-03-08

Family

ID=80323367

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010846926.8A Pending CN114153531A (zh) 2020-08-18 2020-08-18 管理物联网设备的方法和装置

Country Status (3)

Country Link
US (1) US20230305693A1 (zh)
CN (1) CN114153531A (zh)
WO (1) WO2022037412A1 (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120278727A1 (en) * 2011-04-29 2012-11-01 Avaya Inc. Method and apparatus for allowing drag-and-drop operations across the shared borders of adjacent touch screen-equipped devices
CN102999251A (zh) * 2012-10-31 2013-03-27 东莞宇龙通信科技有限公司 终端和设备连接管理方法
US20140053086A1 (en) * 2012-08-20 2014-02-20 Samsung Electronics Co., Ltd. Collaborative data editing and processing system
CN106161100A (zh) * 2016-08-03 2016-11-23 青岛海信电器股份有限公司 一种物联网设备配置方法及物联网终端
US20170185281A1 (en) * 2015-12-29 2017-06-29 Samsung Electronics Co., Ltd. User terminal apparatus and control method thereof
US20170311368A1 (en) * 2016-04-25 2017-10-26 Samsung Electronics Co., Ltd. Methods and systems for managing inter device connectivity
CN111123723A (zh) * 2019-12-30 2020-05-08 星络智能科技有限公司 编组交互方法、电子设备以及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100132173A (ko) * 2009-06-09 2010-12-17 삼성전자주식회사 디바이스들의 연결 관계 및 배치 상태가 나타난 gui 제공방법 및 이를 적용한 디바이스
US11036806B2 (en) * 2018-06-26 2021-06-15 International Business Machines Corporation Search exploration using drag and drop

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120278727A1 (en) * 2011-04-29 2012-11-01 Avaya Inc. Method and apparatus for allowing drag-and-drop operations across the shared borders of adjacent touch screen-equipped devices
US20140053086A1 (en) * 2012-08-20 2014-02-20 Samsung Electronics Co., Ltd. Collaborative data editing and processing system
CN102999251A (zh) * 2012-10-31 2013-03-27 东莞宇龙通信科技有限公司 终端和设备连接管理方法
US20170185281A1 (en) * 2015-12-29 2017-06-29 Samsung Electronics Co., Ltd. User terminal apparatus and control method thereof
US20170311368A1 (en) * 2016-04-25 2017-10-26 Samsung Electronics Co., Ltd. Methods and systems for managing inter device connectivity
CN106161100A (zh) * 2016-08-03 2016-11-23 青岛海信电器股份有限公司 一种物联网设备配置方法及物联网终端
CN111123723A (zh) * 2019-12-30 2020-05-08 星络智能科技有限公司 编组交互方法、电子设备以及存储介质

Also Published As

Publication number Publication date
US20230305693A1 (en) 2023-09-28
WO2022037412A1 (zh) 2022-02-24

Similar Documents

Publication Publication Date Title
CN111316598B (zh) 一种多屏互动方法及设备
WO2020238871A1 (zh) 一种投屏方法、系统及相关装置
CN113923230B (zh) 数据同步方法、电子设备和计算机可读存储介质
CN113169915B (zh) 无线音频系统、音频通讯方法及设备
WO2022100610A1 (zh) 投屏方法、装置、电子设备及计算机可读存储介质
WO2022001619A1 (zh) 一种截屏方法及电子设备
WO2022042770A1 (zh) 控制通信服务状态的方法、终端设备和可读存储介质
WO2022017393A1 (zh) 显示交互系统、显示方法及设备
WO2020056684A1 (zh) 通过转发模式连接的多tws耳机实现自动翻译的方法及装置
WO2021052407A1 (zh) 一种电子设备操控方法及电子设备
CN114040242A (zh) 投屏方法和电子设备
JP7181990B2 (ja) データ伝送方法及び電子デバイス
WO2023131070A1 (zh) 一种电子设备的管理方法、电子设备及可读存储介质
CN114258671A (zh) 通话方法及装置
CN114339429A (zh) 音视频播放控制方法、电子设备和存储介质
CN117956269A (zh) 一种摄像头切换方法及相关电子设备
CN113593567B (zh) 视频声音转文本的方法及相关设备
WO2021052388A1 (zh) 一种视频通信方法及视频通信装置
CN114185503A (zh) 多屏交互的系统、方法、装置和介质
EP4293997A1 (en) Display method, electronic device, and system
WO2022095820A1 (zh) 一种文本输入的方法、电子设备和系统
WO2022161006A1 (zh) 合拍的方法、装置、电子设备和可读存储介质
WO2021218544A1 (zh) 一种提供无线上网的系统、方法及电子设备
CN114153531A (zh) 管理物联网设备的方法和装置
WO2022267917A1 (zh) 蓝牙通信方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination