CN113419652A - 智能设备交互方法、服务端和客户端 - Google Patents
智能设备交互方法、服务端和客户端 Download PDFInfo
- Publication number
- CN113419652A CN113419652A CN202110694793.1A CN202110694793A CN113419652A CN 113419652 A CN113419652 A CN 113419652A CN 202110694793 A CN202110694793 A CN 202110694793A CN 113419652 A CN113419652 A CN 113419652A
- Authority
- CN
- China
- Prior art keywords
- intelligent
- equipment
- intelligent equipment
- information
- video picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 86
- 230000003993 interaction Effects 0.000 title abstract description 18
- 238000001514 detection method Methods 0.000 claims abstract description 96
- 238000013473 artificial intelligence Methods 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 description 29
- 238000010586 diagram Methods 0.000 description 13
- 230000000007 visual effect Effects 0.000 description 12
- 230000008569 process Effects 0.000 description 11
- 238000010408 sweeping Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 241001122767 Theaceae Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明实施例提供一种智能设备交互方法、服务端和客户端，该方法包括：获取视频采集设备实时采集的智能设备所在环境的视频画面；对视频画面实时进行目标检测，得到目标检测结果，目标检测结果包括视频画面中包含的智能设备的设备类型和每个智能设备所在的位置信息；将视频画面和目标检测结果发送至客户端，以使客户端根据目标检测结果获取智能设备的操作界面信息，并将操作界面信息和视频画面叠加显示，以指示用户通过叠加显示界面与智能设备进行交互。本发明实施例通过叠加显示界面和智能设备进行远程交互，保证了对智能设备的控制准确率，还可以实时查看智能设备的运行状态，保证客户能够随时且直观的查看智能设备的状态，提高了操作效率。
Description
技术领域
本发明实施例涉及物联网技术领域，尤其涉及一种智能设备交互方法、服务端和客户端。
背景技术
随着物联网技术的快速发展，越来越多的智能设备应运而生，比如，扫地机器人、智能音箱、智能电灯、智能电视等智能设备。用户通过一部手机或者智能音箱便可以与接入物联网的各种智能设备进行交互，控制智能设备运行状态，极大的方便了人们的生活。
相关技术中，用户与智能设备的交互方式主要有两种，第一种是图形用户接口(Graphical User Interface，GUI)的方式，即采用图形方式在手机界面上显示相关智能设备的操作用户界面，用户可以通过操作手机应用程序APP的GUI中的按钮或者其他控件来对智能设备进行控制，也可以通过界面中的视觉控件来查看设备的状态。第二种是语音控制方式，用户可以通过语音来和智能音箱进行交互，然后再通过智能音箱对智能设备进行控制，并通过智能音箱播放的声音来收听设备的状态。
但是，通过GUI的方式，需要用户找到手机、在打开APP、切换到设备界面等一系列操作才能对设备进行控制或者查看设备状态，操作效率比较低；通过语音的方式，虽然能在一定程度上提高操作效率，但是对设备的控制精度较低、控制准确率较低，并且对设备状态的查看不够直观和高效。
发明内容
本发明实施例提供一种智能设备交互方法、服务端和客户端，以解决现有技术中通过GUI的方式，需要用户找到手机、在打开APP、切换到设备界面等一系列操作才能对设备进行控制或者查看设备状态，操作效率比较低；通过语音的方式，虽然能在一定程度上提高操作效率，但是对设备的控制精度较低、控制准确率较低，并且对设备状态的查看不够直观和高效的技术问题。
本发明实施例的第一方面提供一种智能设备交互方法，应用于服务端，所述方法包括：
获取视频采集设备实时采集的智能设备所在环境的视频画面；
对所述视频画面实时进行目标检测，得到目标检测结果，所述目标检测结果包括所述视频画面中包含的智能设备的设备类型和每个智能设备所在的位置信息；
将所述视频画面和所述目标检测结果发送至客户端，以使所述客户端根据所述目标检测结果获取所述智能设备的操作界面信息，并将所述操作界面信息和所述视频画面叠加显示，以指示用户通过叠加显示界面与所述智能设备进行交互。
可选的，所述方法还包括：
接收智能设备实时上报的运行状态更新信息，所述运行状态更新信息是所述智能设备执行控制指令之后生成的，所述控制指令是根据用户通过所述客户端的叠加显示界面输入的控制信息生成的；
将所述运行状态更新信息发送至所述客户端，以使所述客户端根据所述运行状态更新信息，更新所述智能设备的操作界面信息。
可选的，所述方法还包括：
基于人工智能算法，检测所述视频画面中的智能设备的当前运行状态；
判断所述当前运行状态和接收到的所述智能设备当前上报的运行状态是否一致；
若判断结果为否，则更新所述智能设备的运行状态，并向目标终端发送提示信息，以指示目标人员采取相应措施。
可选的，所述发给发还包括智能设备的注册步骤：
接收用户输入的至少一个智能设备的注册信息，所述注册信息包括智能设备类型、智能设备支持的功能、智能设备支持的状态信息、智能设备的图片、智能设备在各种不同运行状态和模式下的图片、智能设备在不同运行状态下分别对应的操作界面信息、智能设备所在环境的图片和智能设备标识；
对所述智能设备的注册信息进行校验处理，并保存所述智能设备的注册信息；
在所述智能设备的图片、智能设备在各种不同运行状态和模式下的图片中提取识别特征，并保存所述智能设备对应的设备识别特征；
在智能设备所在环境的图片中提取环境识别特征，并保存不同智能设备分别对应的环境识别特征；
创建并保存每个智能设备分别对应的编号以及编号与设备识别特征、环境识别特征、智能设备类型、智能设备在不同运行状态下分别对应的操作界面信息、智能设备支持的功能以及智能设备支持的状态信息之间的对应关系，并保存所述对应关系。
可选的，所述对所述视频画面进行目标检测，得到目标检测结果，包括：
提取所述视频画面中每个智能设备的设备识别特征和环境识别特征；
根据提取到的设备识别特征和环境识别特征以及所述对应关系，确定所述视频画面中每个智能设备的设备类型和每个智能设备所在的位置信息。
本发明实施例的第二方面提供一种智能设备交互方法，应用于客户端，所述方法包括：
接收服务端发送的视频画面和目标检测结果，所述视频画面是服务端获取的视频采集设备实时采集的智能设备所在环境的视频画面，所述目标检测结果是服务端对所述视频画面实时进行目标检测得到的，所述目标检测结果包括所述视频画面中包含的智能设备的设备类型和每个智能设备所在的位置信息；
根据所述目标检测结果，获取所述智能设备的操作界面信息；
将所述操作界面信息和所述视频画面叠加显示，以指示用户通过叠加显示界面与所述智能设备进行交互。
可选的，所述根据所述目标检测结果，获取所述智能设备的操作界面信息，包括：
根据所述智能设备的设备类型，向服务端请求所述智能设备的当前运行状态信息；
根据所述服务端返回的所述智能设备的当前状态信息，向服务端请求与所述智能设备的当前运行状态信息对应的操作界面信息，所述智能设备的当前运行状态信息是服务端基于人工智能算法对所述视频画面中的智能设备进行检测得到的。
可选的，所述方法还包括：
接收用户通过所述叠加显示界面输入的控制信息；
根据所述控制信息，获取相应的待控制智能设备的设备标识并生成相应的控制指令；
将所述设备标识和控制指令发送至服务端，以使服务端根据所述设备标识查询待控制智能设备信息，并将所述控制指令发送至相应的智能设备，以使相应的智能设备执行所述控制指令。
可选的，所述方法还包括：
接收所述智能设备在执行所述控制指令之后生成的运行状态更新信息；
根据所述运行状态更新信息，更新所述智能设备对应的操作信息界面。
本发明实施例的第三方面提供一种服务端，包括：
第一获取模块，用于获取视频采集设备实时采集的智能设备所在环境的视频画面；
目标检测模块，用于对所述视频画面实时进行目标检测，得到目标检测结果，所述目标检测结果包括所述视频画面中包含的智能设备的设备类型和每个智能设备所在的位置信息；
发送模块，用于将所述视频画面和所述目标检测结果发送至客户端，以使所述客户端根据所述目标检测结果获取所述智能设备的操作界面信息，并将所述操作界面信息和所述视频画面叠加显示，以指示用户通过叠加显示界面与所述智能设备进行交互。
本发明实施例的第四方面提供一种客户端，包括：
接收模块，用于接收服务端发送的视频画面和目标检测结果，所述视频画面是服务端获取的视频采集设备实时采集的智能设备所在环境的视频画面，所述目标检测结果是服务端对所述视频画面实时进行目标检测得到的，所述目标检测结果包括所述视频画面中包含的智能设备的设备类型和每个智能设备所在的位置信息；
第二获取模块，用于根据所述目标检测结果，获取所述智能设备的操作界面信息；
显示模块，用于将所述操作界面信息和所述视频画面叠加显示，以指示用户通过叠加显示界面与所述智能设备进行交互。
本发明实施例的第五方面提供一种计算机设备，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行本发明实施例第一方面或第二方面所述的智能设备交互方法。
本发明实施例的第六方面提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现本发明实施例第一方面或第二方面所述的智能设备交互方法。
本发明实施例的第七方面提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现本发明实施例第一方面或第二方面所述的智能设备交互方法。
本发明实施例提供一种智能设备交互方法、服务端和客户端，该方法通过对视频采集设备实时采集的智能设备所在环境的视频画面进行目标检测，能准确的检测出视频画面中各个智能设备的设备类型和每个智能设备所在的位置信息；并将视频画面和目标检测结果均发送至客户端，客户端根据目标检测结果获取智能设备的操作界面信息，并将所述操作界面信息和所述视频画面叠加显示，通过该叠加显示界面，用户既可以通过实时的叠加显示界面和智能设备进行远程交互，保证了对智能设备的控制精度和准确率，还可以通过实时的智能设备所在环境的视频画面查看到智能设备的当前运行状态，保证客户能够随时且直观的查看智能设备的状态，提高了操作效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一示例性实施例示出的智能设备交互方法的应用场景图；
图2是本发明一示例性实施例示出的智能设备交互方法的流程示意图；
图3a是本发明另一示例性实施例示出的智能设备交互方法的应用场景图；
图3b是本发明另一示例性实施例示出的智能设备交互方法的应用场景图；
图4是本发明一示例性实施例示出的智能设备注册过程的流程示意图
图5是本发明另一示例性实施例示出的智能设备交互方法的流程示意图；
图6是本发明另一示例性实施例示出的智能设备交互方法的流程示意图；
图7是本发明另一示例性实施例示出的智能设备交互方法的流程示意图；
图8是本发明另一示例性实施例示出的智能设备交互方法的流程示意图；
图9是本发明一示例性实施例示出的智能设备交互系统的结构示意图；
图10是本发明一示例性实施例示出的服务端的结构示意图；
图11是本发明一示例性实施例示出的客户端的结构示意图；
图12是本发明一示例性实施例示出的计算机设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
随着物联网技术的快速发展，越来越多的智能设备应运而生，比如，扫地机器人、智能音箱、智能电灯、智能电视等智能设备。用户通过一部手机或者智能音箱便可以与接入物联网的各种智能设备进行交互，控制智能设备运行状态，极大的方便了人们的生活。
相关技术中，用户与智能设备的交互方式主要有两种，第一种是图形用户接口(Graphical User Interface，GUI)的方式，即采用图形方式在手机界面上显示相关智能设备的操作用户界面，用户可以通过操作手机应用程序APP的GUI中的按钮或者其他控件来对智能设备进行控制，也可以通过界面中的视觉控件来查看设备的状态。但是，通过GUI的方式，需要用户找到手机、在打开APP、切换到设备界面等一系列操作才能对设备进行控制或者查看设备状态，操作效率比较低。第二种是语音控制方式，用户可以通过语音来和智能音箱进行交互，然后再通过智能音箱对智能设备进行控制，并通过智能音箱播放的声音来收听设备的状态。通过语音的方式，虽然能在一定程度上提高操作效率，但是对设备的控制精度较低、控制准确率较低，并且对设备状态的查看不够直观和高效。为了解决该问题，用户可以在智能设备所在的环境中安装一个摄像头，在通过手机或智能音箱控制智能设备时，可以通过摄像头查看被控智能设备的运行状态以及起所在环境的变化，但是这种方法将智能设备控制和视频监控割裂开来，交互效率比较低。
针对此缺陷，本发明的技术方案主要在于：利用摄像头采集智能设备所在环境实时拍摄视频，并将视频画面实时传输至服务器，服务器根据人工智能算法识别视频画面中各种不同类型的智能设备以及同类设备中型号不同的设备等，并将视频画面和识别出来的设备类型发送至客户端，客户端根据设备类型获取对应的可视化操作界面，并将该智能设备对应的可视化操作界面与视频画面叠加显示，因此，用户可以通过客户端显示的界面控制该智能设备实现远程交互，同时，还可以通过视频画面实时看到智能设备的当前状态，在保证了对智能设备控制精度和准确率的同时，方便了用户查看智能设备的运行状态，提高了交互效率。
图1是本发明一示例性实施例示出的智能设备交互方法的应用场景图。
如图1所示，本实施例提供的应用场景图的基本架构主要包括：智能设备101，摄像头102，服务器103以及客户端104；其中，智能设备可以但不限于包括扫地机器人、智能电灯、智能音箱以及智能电视等可接入物联网进行控制的设备，摄像头实时采集智能设备所在环境的视频画面，并将视频画面传输至服务器，服务器对视频画面进行分析，并将分析结果和视频画面均发送给客户端，用户通过客户端与智能设备进行交互。
图2是本发明一示例性实施例示出的智能设备交互方法的流程示意图，本实施例以设备端、服务端和客户端的三端交互为例，对智能设备的交互方法进行描述。
需要说明的是，所述设备端包括需要控制的智能设备，比如扫地机器人、智能电视等，还包括视频采集设备。
如图2所示，本实施例提供的方法可以包括以下步骤。
S201，视频采集设备实时采集智能设备所在环境的视频画面，并将视频画面发送至服务端。
本步骤中，视频采集设备可以是高清摄像头，其视频采集的范围是智能设备所在环境，视频采集设备将实时采集到的智能设备所在环境的视频画面以有线或无线的传输方式发送至服务端，其中，有线传输方式可以是通过摄像头和服务端之间的数据线进行视频画面的传输，无线传输方式可以但不限于是蓝牙传输、5G网络传输等。
S202，服务端获取所述视频画面，对所述视频画面实时进行目标检测，得到目标检测结果，所述目标检测结果包括所述视频画面中包含的智能设备的设备类型和每个智能设备所在的位置信息。
本步骤中，服务端接收到视频采集设备实时传输的视频画面后，基于人工智能算法对视频画面进行目标检测，检测出所述视频画面中所有的智能设备的类型和每个智能设备在视频画面中的位置信息。
具体的，本步骤中若要实现服务端基于人工智能算法从视频画面中精准的检测出所有的智能设备的类型和每个智能设备在视频画面中的位置信息，需要预先在服务端对各种智能设备进行注册，注册信息包括智能设备类型、智能设备支持的功能、智能设备支持的状态信息、智能设备的图片、智能设备在各种不同运行状态和模式下的图片、智能设备在不同运行状态下分别对应的操作界面信息、智能设备所在环境的图片和智能设备标识等。服务端根据预先注册的各种智能设备的注册信息，对实时接收到的视频画面进行目标检测，具体设备注册流程将在后面实施例中进行详细描述。
S203，服务端将所述视频画面和所述目标检测结果发送至客户端。
本步骤中，服务端将实时接收到的视频画面通过有线或无线的传输方式发送至客户端，同时将对视频画面的实时目标检测结果也发送至客户端，其中，有线传输方式可以是通过摄像头和服务端之间的数据线进行视频画面的传输，无线传输方式可以但不限于是蓝牙传输、5G网络传输等。
S204，客户端根据所述目标检测结果获取所述智能设备的操作界面信息，并将所述操作界面信息和所述视频画面叠加显示，以指示用户通过叠加显示界面与所述智能设备进行交互。
本步骤中，客户端接收到目标检测结果后，根据目标检测结果中智能设备的类型和位置信息，获取该智能设备的操作界面信息，比如，智能设备类型为智能电灯，其位置在卧室屋顶，则客户端获取到的对应的操作界面信息包括电灯的“开启”控件、“关闭”控件、“色温”调整控件等。客户端将操作界面信息和视频画面叠加显示，如图3a所示，用户通过客户端既可以看到智能电灯所在环境的视频画面，也可以看到智能电灯的操作界面，用户通过该操作界面信息可以直接控制智能电灯的开关、色温等，实现远程交互。同时，还能通过视频画面实时查看到智能设备被控前后的状态。比如，如图3a所示，当前客户端显示的视频画面中智能电灯的状态为电灯关闭的状态，用户通过客户端显示的操作界面，点击“开启”控件，客户端将开启控制指令通过服务端发送至智能电灯，电灯开启，此时视频采集设备采集到的视频画面中电灯为开启的，通过实时视频画面传输，如图3b所示，此时用户通过客户端显示界面的视频画面便可以看到智能电灯的状态为开启状态。
本实施例中，通过视频采集设备采集智能设备所在环境实时拍摄视频，并将视频画面实时传输至服务器，服务器根据人工智能算法识别视频画面中各种不同类型的智能设备以及同类设备中型号不同的设备等，并将视频画面和识别出来的设备类型发送至客户端，客户端根据设备类型获取对应的可视化操作界面，并将该智能设备对应的可视化操作界面与视频画面叠加显示，因此，用户可以通过客户端显示的界面控制该智能设备实现远程交互，同时，还可以通过视频画面实时看到智能设备的当前状态，在保证了对智能设备控制精度和准确率的同时，方便了用户查看智能设备的运行状态，提高了交互效率。
在一种可能的实施例中，服务端需要预先注册各种智能设备，才能精确的在视频画面中进行目标检测，检测出视频画面中智能设备的类型和位置信息。具体的，参见图4，智能设备注册流程主要包括如下步骤。
S401，接收用户输入的至少一个智能设备的注册信息，所述注册信息包括智能设备类型、智能设备支持的功能、智能设备支持的状态信息、智能设备的图片、智能设备在各种不同运行状态和模式下的图片、智能设备在不同运行状态下分别对应的操作界面信息、智能设备所在环境的图片和智能设备标识。
具体的，在物联网系统中，为了实现智能设备的接入，用户能够通过手机等设备进行远程控制，需要设备开发商提供设备类型信息，包括设备类型、设备型号、设备厂家以及设备参数等；还需要提供设备支持的功能，通常用设备支持的控制或查询命令集合来表示设备支持的功能；还包括设备支持的状态信息，通常用设备支持的属性集合来表示设备支持的状态信息。进一步的，为了实现在物联网系统中进行可视化智能交互，设备开发商还需要提供智能产品的可视化信息，包括智能设备的图片、智能设备在各种不同运行状态和模式下的图片，以及智能设备可视化用户界面(User Interface，UI)，即智能设备在不同运行状态下分别对应的操作界面信息，比如，扫地机器人在不同运行状态下对应的操作界面也是不同的，比如，在关闭状态下，其对应的操作界面信息只包含“开启”和“充电”两个控件，当扫地机器人进入工作状态时，对应的操作界面包含“关闭”控件、“左转”和“右转”等调整运行方向的控件等，因此，注册信息应当包括将智能设备在各种运行状态下的图片和可视化UI包。并且，用户在实际使用智能设备时，可能将智能设备放置在不同环境中，因此注册信息还包括智能设备所在环境的图片和智能设备标识，以便于服务端在后续目标检测时能精准的识别不同环境中的智能设备。用户可以通过键盘等输入设备，将上述注册信息输入至服务端。
S402，对所述智能设备的注册信息进行校验处理，并保存所述智能设备的注册信息。
具体的，服务端接收到输入的注册信息后，对注册进行校验处理，以验证注册信息的正确性、完整性等，当注册信息正确且完整时，将各种智能设备的注册信息保存在本地的存储器中，以便于需要信息时能够从本地存储器中快速调取相关信息。
S403，在所述智能设备的图片、智能设备在各种不同运行状态和模式下的图片中提取识别特征，并保存所述智能设备对应的设备识别特征。
具体的，保存了所有注册信息后，服务端在智能设备的图片、智能设备在各种不同运行状态和模式下的图片中提取识别特征，识别特征可以但不限于包括智能设备的颜色、外观形状、在图片中的位置、智能设备上包含的文字信息等，并保存设备识别特征，完成各种智能设备在服务端的注册。
S404，在智能设备所在环境的图片中提取环境识别特征，并保存不同智能设备分别对应的环境识别特征。
具体的，由于不同用户在在实际使用智能设备时所处环境可能不同，因此，将各种智能设备都注册在服务端之后，还需要根据不同用户对智能设备的实际使用情况进行注册。比如，用户使用了两个同类型的智能电灯，一个是在卧室使用，另一个在客厅使用，实际控制时需要对两个环境中的电灯单独识别并单独控制。因此，服务端需要针对用户输入的智能设备所在环境的图片中提取环境识别特征，并保存不同智能设备分别对应的环境识别特征，比如，卧室内使用的智能电灯周围环境中存在衣橱、床，客厅内使用的智能电灯周围环境中存在沙发、茶几等，因此，服务端需要将每个智能设备所在环境中的特征识别出来，并将不同环境中的智能设备分别对应的环境识别特征存储至本地存储器中。
S405，创建并保存每个智能设备分别对应的编号以及编号与设备识别特征、环境识别特征、智能设备类型、智能设备在不同运行状态下分别对应的操作界面信息、智能设备支持的功能以及智能设备支持的状态信息之间的对应关系，并保存所述对应关系。
具体的，创建每个智能设备对应的编号，得到每个智能设备编号与设备识别特征、环境识别特征、智能设备类型、智能设备在不同运行状态下分别对应的操作界面信息、智能设备支持的功能以及智能设备支持的状态信息之间的对应关系，将对应关系存储在本地存储器中，便于使用时快速在本地存储器中调用。
图5是本发明另一示例性实施例示出的智能设备交互方法的流程示意图，本实施例在图2所示实施例的基础上，以设备端、服务端和客户端三段交互为例，对每个端的详细实现流程进行描述。
如图5所示，本实施例提供的方法可以包括以下步骤。
S201，视频采集设备实时采集智能设备所在环境的视频画面，并将视频画面发送至服务端。
本步骤中，视频采集设备可以是高清摄像头，其视频采集的范围是智能设备所在环境，视频采集设备将实时采集到的智能设备所在环境的视频画面以有线或无线的传输方式发送至服务端，其中，有线传输方式可以是通过摄像头和服务端之间的数据线进行视频画面的传输，无线传输方式可以但不限于是蓝牙传输、5G网络传输等。
S2021，服务端提取所述视频画面中每个智能设备的设备识别特征和环境识别特征。
S2022，服务端根据提取到的设备识别特征和环境识别特征以及预先确定的对应关系，确定所述视频画面中每个智能设备的设备类型和每个智能设备所在的位置信息。
在步骤S2021-S2022中，服务端接收到视频采集设备实时传输的视频画面后，基于人工智能算法对视频画面进行目标检测，检测出所述视频画面中所有的智能设备的类型和每个智能设备在视频画面中的位置信息。
具体的，由于预先将各种智能设备的信息以及同种智能设备在不同环境下的信息均在服务端注册，并且，得到了每个智能设备编号与设备识别特征、环境识别特征、智能设备类型、智能设备在不同运行状态下分别对应的操作界面信息、智能设备支持的功能以及智能设备支持的状态信息之间的对应关系，且将对应关系存储在本地存储器中。因此，服务端在对视频画面进行目标检测时，基于人工智能算法提取视频画面中智能设备的设备识别特征(比如智能设备的颜色、外观形状等特征)和环境识别特征(比如智能设备周围存在哪些家具、家电等特征)，在视频画面中提取出设备识别特征和环境识别特征之后，将其与本地存储器中存储的对应关系进行匹配，得到设备识别特征和环境识别特征对应的智能设备编号，从而得到智能设备的类型等信息。
本实施例中，在注册设备时，采用了可用于人工智能算法和可视化交互的必要信息，利用注册时的设备图片和设备环境图片等注册信息，服务端基于人工智能算法可以准确的识别实时接收到的视频画面中包含的智能设备的类型和区分同一类型的不同设备。
S2023，服务端基于人工智能算法，检测所述视频画面中的智能设备的当前运行状态。
具体的，由于预先在服务端注册智能设备时使用了各种智能设备在各种不同运行状态和模式下的图片，因此，当服务端接收到视频画面时，可以基于人工智能算法识别出视频画面中的智能设备当前的运行状态。
S203，服务端将所述视频画面和所述视频画面中每个智能设备的设备类型和每个智能设备所在的位置信息发送至客户端。
本步骤中，服务端将实时接收到的视频画面通过有线或无线的传输方式发送至客户端，同时将对视频画面的实时目标检测结果也发送至客户端，其中，有线传输方式可以是通过摄像头和服务端之间的数据线进行视频画面的传输，无线传输方式可以但不限于是蓝牙传输、5G网络传输等。
S2041，客户端根据所述智能设备的设备类型，向服务端请求所述智能设备的当前运行状态信息。
具体的，客户端接收到服务端发送过来的目标检测结果后，根据智能设备类型向服务端请求智能设备当前的运行状态信息，由于服务端能基于人工智能算法在视频画面中实时识别智能设备的运行状态，当服务端接收到客户端的请求后，将智能设备当前的运行状态信息发送给客户端，客户端同时调用本地用户界面UI包。
S2042，客户端根据所述服务端返回的所述智能设备的当前状态信息，向服务端请求与所述智能设备的当前运行状态信息对应的操作界面信息。
具体的，客户端接收到服务端返回的智能设备的当前运行状态信息后，再次向服务端发起请求，以获取当前运行状态对应的操作界面信息，服务端接收到客户端的二次请求后，根据预先存储在本地存储器中的每个智能设备编号与设备识别特征、环境识别特征、智能设备类型、智能设备在不同运行状态下分别对应的操作界面信息、智能设备支持的功能以及智能设备支持的状态信息之间的对应关系，确定该智能设备当前运行状态对应的操作界面信息，比如，扫地机器人在当前状态为关闭状态，其对应的操作界面信息包含“开启”和“充电”两个控件；若扫地机器人当前为工作状态，对应的操作界面包含“关闭”控件、“左转”和“右转”等调整运行方向的控件等，服务端将智能设备当前运行状态对应的操作界面信息返回给客户端。
S2043，客户端将所述操作界面信息和所述视频画面叠加显示，以指示用户通过叠加显示界面与所述智能设备进行交互。
具体的，客户端从服务端请求到智能设备当前运行状态对应的操作界面信息为设备UI包，客户端装在该UI包，将视频画面和操作界面同时显示在屏幕上，用户通过屏幕上显示的视频画面能实时查看智能设备当前运行状态，同时，通过屏幕上显示的操作界面能实现与智能设备的交互。
S205，智能设备实时检测当前运行状态的更新信息，运行状态更新信息是所述智能设备执行控制指令之后生成的，所述控制指令是根据用户通过所述客户端的叠加显示界面输入的控制信息生成的，当检测到状态发生变化时，将运行状态更新信息上报至服务端。
具体的，用户可以通过客户端屏幕显示的操作界面远程控制智能设备，智能设备根据用户输入的控制信息执行相应的控制指令，智能设备执行相应控制指令之后，运行状态会发生变化，比如，智能电灯接收到“开启”控制指令后，其状态由关闭状态转为发光状态，智能设备检测到自身状态改变时，会向服务端上报运行状态更新信息。
需要说明的是，用户通过客户端实现智能设备的远程控制流程将下下面实施例中详细描述。
S206，服务端将接收到的智能设备实时上报的运行状态更新信息发送至客户端。
S207，客户端根据所述运行状态更新信息，更新所述智能设备的操作界面信息。
具体的，客户端接收到服务端发送的运行状态更新信息后，实时更新客户端屏幕当前显示的操作界面，比如，智能电灯从关闭状态转为发光状态，关闭状态时，如图3a所示，客户端显示的操作界面包含“开启”控件，客户端则根据智能电灯从关闭状态转为发光状态的信息向服务端重新请求智能电灯在发光状态下对应的操作界面信息，更新显示为如图3b所示，包含“关闭”控件和“色温”调整控件。
本实施例中，通过利用人工智能算法对摄像头视频画面进行实时分析，并根据分析结果确定视频画面中不同位置智能设备的类型灯，再结合该智能设备的运行状态，在客户端同时显示智能设备在当前运行状态下的交互操作界面、视频画面和智能设备状态信息，将实时视频画面和设备交互界面很好得融合在一起，实现自然、直观的交互。
在一种可能的实施例中，服务端侧执行的方法还包括：基于人工智能算法，检测所述视频画面中的智能设备的当前运行状态；判断所述当前运行状态和接收到的所述智能设备当前上报的运行状态是否一致；若判断结果为否，则更新所述智能设备的运行状态，并向目标终端发送提示信息，以指示目标人员采取相应措施。
具体的，由于预先在服务端注册智能设备时使用了各种智能设备在各种不同运行状态和模式下的图片，因此，当服务端接收到视频画面时，可以基于人工智能算法识别出视频画面中的智能设备当前的运行状态。同时，服务端还通过物联网实时接收智能设备主动上报的运行状态，服务端会将从视频画面中检测到的运行状态和智能设备上报的运行状态进行对比，判断两者是否一致，若状态一直，则说明智能设备上报的运行状态和视频画面中检测出来的运行状态均正确，那么客户端根据设备当前状态更新屏幕上显示的智能设备的操作界面即可，若对比两个状态不一致，则说明智能设备上报的运行状态不正确，那么需要更新设备状态，使得客户端按照更新的设备状态显示相应的操作界面；并向目标终端发送提示信息，提示目标人员检查智能设备等操作。
本实施例中，利用智能设备在不同状态和模式下的图片，人工智能算法可以对视频画面中的智能设备的运行状态进行识别，并对智能设备真实状态和设备上报的状态进行比较，如果设备上报状态和真实状态不符，则进行纠正，并通知相关人员，能够实现对智能设备更加精确的控制。
为了更好的理解本申请，下面将结合图6对用户通过客户端、服务端实现与智能设备交互的流程进行详细描述。
如图6所示，本实施例提供的方法可以包括如下步骤。
S601，客户端接收用户通过所述叠加显示界面输入的控制信息。
具体的，客户端的屏幕同时显示视频画面和智能设备当前运行状态对应的操作界面，用户想要控制智能设备时，点击屏幕上的操作界面上的控件，客户端根据用户点击的控件，得到相应的控制信息。
示例性的，客户端屏幕当前显示的是智能电灯所在环境的视频画面和智能电灯在关闭状态下的操作界面，如图3a所示，该操作界面包含“开启”控件，用户想要开启电灯时，则点击屏幕上“开启”控件，客户端检测到用户的输入之后得到开启控制信息。
S602，客户端根据所述控制信息，获取相应的待控制智能设备的设备标识并生成相应的控制指令。
S603，客户端将所述设备标识和控制指令发送至服务端。
S604，服务端根据所述设备标识查询待控制智能设备信息，并将所述控制指令发送至相应的智能设备。
S605，智能设备执行所述控制指令。
在步骤S602-S604中，客户端检测到用户点击“开启”控件时，得到开启控制信息，客户端根据该信息在本地存储中获取智能电灯的设备标识，比如，用户在卧室和客厅中安装的同一款智能电灯，两者标识不同，卧室内的智能电灯标识为“电灯A”，客厅中的智能电灯标识为“电灯B”，当前视频画面中显示的是卧室内的智能电灯，客户端得到开启控制信息后，则在本地存储中获取卧室内的智能电灯的标识“电灯A”，然后客户端生成电灯A的开启控制指令，并将开启控制指令发送至服务端。服务端接收到该开启控制指令后，对该开启控制指令进行解析，得到“电灯A”这一标识，然后查询接入服务端的电灯A，将开启控制指令发送至电灯A，电灯A执行该开启控制指令。
S606，智能设备将执行控制指令之后的状态更新信息发送至服务端。
具体的，智能设备在执行完控制指令之后，其运行状态也会发生相应的变化，比如，电灯A执行开启控制指令后，会从原来的关闭状态变成发光状态。智能设备
S607，服务端将状态更新信息发送至客户端。
S608，客户端接收所述智能设备在执行所述控制指令之后生成的运行状态更新信息。
S609，客户端根据所述运行状态更新信息，更新所述智能设备对应的操作信息界面。
具体的，客户端接收到服务端发送的运行状态更新信息后，实时更新客户端屏幕当前显示的操作界面，比如，智能电灯从关闭状态转为发光状态，关闭状态时，如图3a所示，客户端显示的操作界面包含“开启”控件，客户端则根据智能电灯从关闭状态转为发光状态的信息向服务端重新请求智能电灯在发光状态下对应的操作界面信息，更新显示为如图3b所示，包含“关闭”控件和“色温”调整控件。
本实施例中，通过客户端屏幕上显示叠加显示界面，用户既可以通过实时的叠加显示界面和智能设备进行远程交互，保证了对智能设备的控制精度和准确率，还可以通过实时的智能设备所在环境的视频画面查看到智能设备的当前运行状态，保证客户能够随时且直观的查看智能设备的状态，提高了操作效率，客户端还根据智能设备的状态更新，实时更新相应的操作界面，保证了用户通过客户端能精准的控制智能设备实现各种功能。
图7是本发明另一示例性实施例示出的智能设备交互方法的流程示意图，本实施例以服务端一侧的执行为例，对智能设备交互方法进行描述。
如图7所示，本实施例提供的方法可以包括如下步骤。
S701，获取视频采集设备实时采集的智能设备所在环境的视频画面。
S702，对所述视频画面实时进行目标检测，得到目标检测结果，所述目标检测结果包括所述视频画面中包含的智能设备的设备类型和每个智能设备所在的位置信息。
S703，将所述视频画面和所述目标检测结果发送至客户端，以使所述客户端根据所述目标检测结果获取所述智能设备的操作界面信息，并将所述操作界面信息和所述视频画面叠加显示，以指示用户通过叠加显示界面与所述智能设备进行交互。
在一种可能的实施例中，所述方法还包括：
接收智能设备实时上报的运行状态更新信息，所述运行状态更新信息是所述智能设备执行控制指令之后生成的，所述控制指令是根据用户通过所述客户端的叠加显示界面输入的控制信息生成的；
将所述运行状态更新信息发送至所述客户端，以使所述客户端根据所述运行状态更新信息，更新所述智能设备的操作界面信息。
在一种可能的实施例中，所述方法还包括：
基于人工智能算法，检测所述视频画面中的智能设备的当前运行状态；
判断所述当前运行状态和接收到的所述智能设备当前上报的运行状态是否一致；
若判断结果为否，则更新所述智能设备的运行状态，并向目标终端发送提示信息，以指示目标人员采取相应措施。
在一种可能的实施例中，所述方法还包括：智能设备的注册步骤：
接收用户输入的至少一个智能设备的注册信息，所述注册信息包括智能设备类型、智能设备支持的功能、智能设备支持的状态信息、智能设备的图片、智能设备在各种不同运行状态和模式下的图片、智能设备在不同运行状态下分别对应的操作界面信息、智能设备所在环境的图片和智能设备标识；
对所述智能设备的注册信息进行校验处理，并保存所述智能设备的注册信息；
在所述智能设备的图片、智能设备在各种不同运行状态和模式下的图片中提取识别特征，并保存所述智能设备对应的设备识别特征；
在智能设备所在环境的图片中提取环境识别特征，并保存不同智能设备分别对应的环境识别特征；
创建并保存每个智能设备分别对应的编号以及编号与设备识别特征、环境识别特征、智能设备类型、智能设备在不同运行状态下分别对应的操作界面信息、智能设备支持的功能以及智能设备支持的状态信息之间的对应关系，并保存所述对应关系。
在一种可能的实施例中，所述对所述视频画面进行目标检测，得到目标检测结果，包括：
提取所述视频画面中每个智能设备的设备识别特征和环境识别特征；
根据提取到的设备识别特征和环境识别特征以及所述对应关系，确定所述视频画面中每个智能设备的设备类型和每个智能设备所在的位置信息。
本实施例中，服务端执行的各个步骤的详细解释可以参考上述方法实施例中的详细描述，此处不再重复说明。
图8是本发明另一示例性实施例示出的智能设备交互方法的流程示意图，本实施例以客户端一侧的执行为例，对智能设备交互方法进行描述。
如图8所示，本实施例提供的方法可以包括如下步骤。
S801，接收服务端发送的视频画面和目标检测结果，所述视频画面是服务端获取的视频采集设备实时采集的智能设备所在环境的视频画面，所述目标检测结果是服务端对所述视频画面实时进行目标检测得到的，所述目标检测结果包括所述视频画面中包含的智能设备的设备类型和每个智能设备所在的位置信息。
S802，根据所述目标检测结果，获取所述智能设备的操作界面信息；
S803，将所述操作界面信息和所述视频画面叠加显示，以指示用户通过叠加显示界面与所述智能设备进行交互。
在一种可能的实施例中，所述根据所述目标检测结果，获取所述智能设备的操作界面信息，包括：
根据所述智能设备的设备类型，向服务端请求所述智能设备的当前运行状态信息；
根据所述服务端返回的所述智能设备的当前状态信息，向服务端请求与所述智能设备的当前运行状态信息对应的操作界面信息，所述智能设备的当前运行状态信息是服务端基于人工智能算法对所述视频画面中的智能设备进行检测得到的。
在一种可能的实施例中，所述方法还包括：
接收用户通过所述叠加显示界面输入的控制信息；
根据所述控制信息，获取相应的待控制智能设备的设备标识并生成相应的控制指令；
将所述设备标识和控制指令发送至服务端，以使服务端根据所述设备标识查询待控制智能设备信息，并将所述控制指令发送至相应的智能设备，以使相应的智能设备执行所述控制指令。
在一种可能的实施例中，所述方法还包括：
接收所述智能设备在执行所述控制指令之后生成的运行状态更新信息；
根据所述运行状态更新信息，更新所述智能设备对应的操作信息界面。
本实施例中，客户端执行的各个步骤的详细解释可以参考上述方法实施例中的详细描述，此处不再重复说明。
图9是本发明一示例性实施例示出的智能设备交互系统的结构示意图。
如图9所示，本实施例提供的系统主要包括设备端、服务端和客户端三部分，其中，设备端包括系统中的智能灯泡、机械臂和智能电视等智能设备。服务端包含运行在服务器上的三个核心功能模块。客户端包含用于和智能设备进行交互的UI控件和与服务器端的通信模块灯。
具体的，设备端中除了包含可以被控制的物联网智能设备以外，还包含用于获取物联网设备的真实画面的高清摄像头。
服务端包含运行在服务器上的三个核心功能模块分别为智能设备管理、实时视频传输以及智能分析三个模块。其中，智能设备管理是传统物联网的核心功能，主要负责智能设备的注册、设备接入和管理、远程控制命令和智能设备状态更新事件的转发(即图9中的消息转发)、以及固件升级、健康状况监控等功能。实时视频传输模块则通过高清网络摄像机进行视频接入，通过5G网络获取到高清网络摄像机的实时视频流并进行转发，分别转发到智能分析模块和客户端。而智能分析模块则通过人工智能算法对实时视频流中的图像进行目标检测和物体识别，确定智能设备在视频画面中的位置以及设备类型，并可以对设备管理模块转发的智能设备上报的事件进行事件检测，来发现智能设备是否出现异常。
客户端中，用于通信的模块有设备管理客户端、智能分析客户端和视频传输客户端，分别用于和服务端中的智能设备管理模块、智能分析模块和视频传输模块进行通信。UI框架则通过将设备UI和视频播放UI组织起来，来实现实时视频画面和设备操作UI的展示，以及对用户输入的接收等功能。
需要说明的是，上述仅仅对设备端、服务端和客户端各自的功能进行大致的描述，各个部分的详细实现过程请参考上述有关方法实施例中的描述。
图10是本发明一示例性实施例示出的服务端的结构示意图。
如图10所示，本实施例提供的服务端包括：第一获取模块1001，用于获取视频采集设备实时采集的智能设备所在环境的视频画面；目标检测模块1002，用于对所述视频画面实时进行目标检测，得到目标检测结果，所述目标检测结果包括所述视频画面中包含的智能设备的设备类型和每个智能设备所在的位置信息；发送模块1003，用于将所述视频画面和所述目标检测结果发送至客户端，以使所述客户端根据所述目标检测结果获取所述智能设备的操作界面信息，并将所述操作界面信息和所述视频画面叠加显示，以指示用户通过叠加显示界面与所述智能设备进行交互。
进一步的，本实施例提供的服务端还包括：第二接收模块1004，用于接收智能设备实时上报的运行状态更新信息，所述运行状态更新信息是所述智能设备执行控制指令之后生成的，所述控制指令是根据用户通过所述客户端的叠加显示界面输入的控制信息生成的；所述发送模块还用于将所述运行状态更新信息发送至所述客户端，以使所述客户端根据所述运行状态更新信息，更新所述智能设备的操作界面信息。
进一步的，所述目标检测模块还用于：基于人工智能算法，检测所述视频画面中的智能设备的当前运行状态；判断所述当前运行状态和接收到的所述智能设备当前上报的运行状态是否一致；若判断结果为否，则更新所述智能设备的运行状态，并向目标终端发送提示信息，以指示目标人员采取相应措施。
进一步的，本实施例提供的服务端还包括：设备注册模块1005，用于接收用户输入的至少一个智能设备的注册信息，所述注册信息包括智能设备类型、智能设备支持的功能、智能设备支持的状态信息、智能设备的图片、智能设备在各种不同运行状态和模式下的图片、智能设备在不同运行状态下分别对应的操作界面信息、智能设备所在环境的图片和智能设备标识；对所述智能设备的注册信息进行校验处理，并保存所述智能设备的注册信息；在所述智能设备的图片、智能设备在各种不同运行状态和模式下的图片中提取识别特征，并保存所述智能设备对应的设备识别特征；在智能设备所在环境的图片中提取环境识别特征，并保存不同智能设备分别对应的环境识别特征；创建并保存每个智能设备分别对应的编号以及编号与设备识别特征、环境识别特征、智能设备类型、智能设备在不同运行状态下分别对应的操作界面信息、智能设备支持的功能以及智能设备支持的状态信息之间的对应关系，并保存所述对应关系。
进一步的，所述目标检测模块具体用于：提取所述视频画面中每个智能设备的设备识别特征和环境识别特征；根据提取到的设备识别特征和环境识别特征以及所述对应关系，确定所述视频画面中每个智能设备的设备类型和每个智能设备所在的位置信息。
本实施例中提供的装置中的各个模块的实现过程可参考上述有关方法实施例中的详细描述。
图11是本发明一示例性实施例示出的客户端的结构示意图。
如图11所示，本实施例提供的客户端包括：第一接收模块1101，用于接收服务端发送的视频画面和目标检测结果，所述视频画面是服务端获取的视频采集设备实时采集的智能设备所在环境的视频画面，所述目标检测结果是服务端对所述视频画面实时进行目标检测得到的，所述目标检测结果包括所述视频画面中包含的智能设备的设备类型和每个智能设备所在的位置信息；第二获取模块1102，用于根据所述目标检测结果，获取所述智能设备的操作界面信息；显示模块1103，用于将所述操作界面信息和所述视频画面叠加显示，以指示用户通过叠加显示界面与所述智能设备进行交互。
进一步的，所述第二获取模块具体用于：
根据所述智能设备的设备类型，向服务端请求所述智能设备的当前运行状态信息；
根据所述服务端返回的所述智能设备的当前状态信息，向服务端请求与所述智能设备的当前运行状态信息对应的操作界面信息，所述智能设备的当前运行状态信息是服务端基于人工智能算法对所述视频画面中的智能设备进行检测得到的。
进一步的，所述第一接收模块还用于：接收用户通过所述叠加显示界面输入的控制信息；所述第二获取模块还用于根据所述控制信息，获取相应的待控制智能设备的设备标识并生成相应的控制指令；将所述设备标识和控制指令发送至服务端，以使服务端根据所述设备标识查询待控制智能设备信息，并将所述控制指令发送至相应的智能设备，以使相应的智能设备执行所述控制指令。
进一步的，所述第一接收模块还用于：接收所述智能设备在执行所述控制指令之后生成的运行状态更新信息；根据所述运行状态更新信息，更新所述智能设备对应的操作信息界面。
本实施例中提供的装置中的各个模块的实现过程可参考上述有关方法实施例中的详细描述。
图12为本发明实施例提供的计算机设备的硬件结构示意图。如图12所示，本实施例提供的计算机设备120包括：至少一个处理器1201和存储器1202。其中，处理器1201、存储器1202通过总线1203连接。
在具体实现过程中，至少一个处理器1201执行所述存储器1202存储的计算机执行指令，使得至少一个处理器1201执行上述方法实施例中的智能设备交互方法。
处理器1201的具体实现过程可参见上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
在上述的图12所示的实施例中，应理解，处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application SpecificIntegrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器。
总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component Interconnect，PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
本申请的另一实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现上述方法实施例中的智能设备交互方法。
本申请的另一实施例提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现本发明实施例第一方面所述的智能设备交互方法。
上述的计算机可读存储介质，上述可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。可读存储介质可以是通用或专用计算机能够存取的任何可用介质。
一种示例性的可读存储介质耦合至处理器，从而使处理器能够从该可读存储介质读取信息，且可向该可读存储介质写入信息。当然，可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(Application Specific IntegratedCircuits，简称：ASIC)中。当然，处理器和可读存储介质也可以作为分立组件存在于设备中。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (14)
1.一种智能设备交互方法，其特征在于，应用于服务端，所述方法包括：
获取视频采集设备实时采集的智能设备所在环境的视频画面；
对所述视频画面实时进行目标检测，得到目标检测结果，所述目标检测结果包括所述视频画面中包含的智能设备的设备类型和每个智能设备所在的位置信息；
将所述视频画面和所述目标检测结果发送至客户端，以使所述客户端根据所述目标检测结果获取所述智能设备的操作界面信息，并将所述操作界面信息和所述视频画面叠加显示，以指示用户通过叠加显示界面与所述智能设备进行交互。
2.根据权利要求1所述的方法，其特征在于，还包括：
接收智能设备实时上报的运行状态更新信息，所述运行状态更新信息是所述智能设备执行控制指令之后生成的，所述控制指令是根据用户通过所述客户端的叠加显示界面输入的控制信息生成的；
将所述运行状态更新信息发送至所述客户端，以使所述客户端根据所述运行状态更新信息，更新所述智能设备的操作界面信息。
3.根据权利要求2所述的方法，其特征在于，还包括：
基于人工智能算法，检测所述视频画面中的智能设备的当前运行状态；
判断所述当前运行状态和接收到的所述智能设备当前上报的运行状态是否一致；
若判断结果为否，则更新所述智能设备的运行状态，并向目标终端发送提示信息，以指示目标人员采取相应措施。
4.根据权利要求1-3任一项所述的方法，其特征在于，还包括智能设备的注册步骤：
接收用户输入的至少一个智能设备的注册信息，所述注册信息包括智能设备类型、智能设备支持的功能、智能设备支持的状态信息、智能设备的图片、智能设备在各种不同运行状态和模式下的图片、智能设备在不同运行状态下分别对应的操作界面信息、智能设备所在环境的图片和智能设备标识；
对所述智能设备的注册信息进行校验处理，并保存所述智能设备的注册信息；
在所述智能设备的图片、智能设备在各种不同运行状态和模式下的图片中提取识别特征，并保存所述智能设备对应的设备识别特征；
在智能设备所在环境的图片中提取环境识别特征，并保存不同智能设备分别对应的环境识别特征；
创建并保存每个智能设备分别对应的编号以及编号与设备识别特征、环境识别特征、智能设备类型、智能设备在不同运行状态下分别对应的操作界面信息、智能设备支持的功能以及智能设备支持的状态信息之间的对应关系，并保存所述对应关系。
5.根据权利要求4所述的方法，其特征在于，所述对所述视频画面进行目标检测，得到目标检测结果，包括：
提取所述视频画面中每个智能设备的设备识别特征和环境识别特征；
根据提取到的设备识别特征和环境识别特征以及所述对应关系，确定所述视频画面中每个智能设备的设备类型和每个智能设备所在的位置信息。
6.一种智能设备交互方法，其特征在于，应用于客户端，所述方法包括：
接收服务端发送的视频画面和目标检测结果，所述视频画面是服务端获取的视频采集设备实时采集的智能设备所在环境的视频画面，所述目标检测结果是服务端对所述视频画面实时进行目标检测得到的，所述目标检测结果包括所述视频画面中包含的智能设备的设备类型和每个智能设备所在的位置信息；
根据所述目标检测结果，获取所述智能设备的操作界面信息；
将所述操作界面信息和所述视频画面叠加显示，以指示用户通过叠加显示界面与所述智能设备进行交互。
7.根据权利要求6所述的方法，其特征在于，所述根据所述目标检测结果，获取所述智能设备的操作界面信息，包括：
根据所述智能设备的设备类型，向服务端请求所述智能设备的当前运行状态信息；
根据所述服务端返回的所述智能设备的当前状态信息，向服务端请求与所述智能设备的当前运行状态信息对应的操作界面信息，所述智能设备的当前运行状态信息是服务端基于人工智能算法对所述视频画面中的智能设备进行检测得到的。
8.根据权利要求6或7所述的方法，其特征在于，还包括：
接收用户通过所述叠加显示界面输入的控制信息；
根据所述控制信息，获取相应的待控制智能设备的设备标识并生成相应的控制指令；
将所述设备标识和控制指令发送至服务端，以使服务端根据所述设备标识查询待控制智能设备信息，并将所述控制指令发送至相应的智能设备，以使相应的智能设备执行所述控制指令。
9.根据权利要求8所述的方法，其特征在于，还包括：
接收所述智能设备在执行所述控制指令之后生成的运行状态更新信息；
根据所述运行状态更新信息，更新所述智能设备对应的操作信息界面。
10.一种服务端，其特征在于，包括：
第一获取模块，用于获取视频采集设备实时采集的智能设备所在环境的视频画面；
目标检测模块，用于对所述视频画面实时进行目标检测，得到目标检测结果，所述目标检测结果包括所述视频画面中包含的智能设备的设备类型和每个智能设备所在的位置信息；
发送模块，用于将所述视频画面和所述目标检测结果发送至客户端，以使所述客户端根据所述目标检测结果获取所述智能设备的操作界面信息，并将所述操作界面信息和所述视频画面叠加显示，以指示用户通过叠加显示界面与所述智能设备进行交互。
11.一种客户端，其特征在于，包括：
第一接收模块，用于接收服务端发送的视频画面和目标检测结果，所述视频画面是服务端获取的视频采集设备实时采集的智能设备所在环境的视频画面，所述目标检测结果是服务端对所述视频画面实时进行目标检测得到的，所述目标检测结果包括所述视频画面中包含的智能设备的设备类型和每个智能设备所在的位置信息；
第二获取模块，用于根据所述目标检测结果，获取所述智能设备的操作界面信息；
显示模块，用于将所述操作界面信息和所述视频画面叠加显示，以指示用户通过叠加显示界面与所述智能设备进行交互。
12.一种计算机设备，其特征在于，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1-5或6-9任一项所述的智能设备交互方法。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1-5或6-9任一项所述的智能设备交互方法。
14.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-5或6-9任一项所述的智能设备交互方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110694793.1A CN113419652A (zh) | 2021-06-22 | 2021-06-22 | 智能设备交互方法、服务端和客户端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110694793.1A CN113419652A (zh) | 2021-06-22 | 2021-06-22 | 智能设备交互方法、服务端和客户端 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113419652A true CN113419652A (zh) | 2021-09-21 |
Family
ID=77716198
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110694793.1A Pending CN113419652A (zh) | 2021-06-22 | 2021-06-22 | 智能设备交互方法、服务端和客户端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113419652A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113965829A (zh) * | 2021-10-20 | 2022-01-21 | 中国电信股份有限公司 | 基于5g消息的物联网设备控制方法、装置、设备和介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103309308A (zh) * | 2013-05-17 | 2013-09-18 | 华为技术有限公司 | 一种设备智能化控制方法及装置、系统、即插即用设备 |
| CN105955040A (zh) * | 2016-05-20 | 2016-09-21 | 深圳市大拿科技有限公司 | 根据实时视频画面可视化控制的智能家居系统及控制方法 |
| CN106502118A (zh) * | 2016-12-21 | 2017-03-15 | 惠州Tcl移动通信有限公司 | 一种基于ar摄像头的智能家居控制方法及系统 |
| CN107168085A (zh) * | 2017-06-28 | 2017-09-15 | 杭州登虹科技有限公司 | 一种智能家居设备远程控制方法、装置、介质和计算设备 |
| CN108668077A (zh) * | 2018-04-25 | 2018-10-16 | Oppo广东移动通信有限公司 | 摄像头控制方法、装置、移动终端及计算机可读介质 |
| CN109541950A (zh) * | 2018-11-16 | 2019-03-29 | 格力电器（武汉）有限公司 | 智能家居设备的控制方法、装置和设备 |
-
2021
- 2021-06-22 CN CN202110694793.1A patent/CN113419652A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103309308A (zh) * | 2013-05-17 | 2013-09-18 | 华为技术有限公司 | 一种设备智能化控制方法及装置、系统、即插即用设备 |
| CN105955040A (zh) * | 2016-05-20 | 2016-09-21 | 深圳市大拿科技有限公司 | 根据实时视频画面可视化控制的智能家居系统及控制方法 |
| CN106502118A (zh) * | 2016-12-21 | 2017-03-15 | 惠州Tcl移动通信有限公司 | 一种基于ar摄像头的智能家居控制方法及系统 |
| CN107168085A (zh) * | 2017-06-28 | 2017-09-15 | 杭州登虹科技有限公司 | 一种智能家居设备远程控制方法、装置、介质和计算设备 |
| CN108668077A (zh) * | 2018-04-25 | 2018-10-16 | Oppo广东移动通信有限公司 | 摄像头控制方法、装置、移动终端及计算机可读介质 |
| CN109541950A (zh) * | 2018-11-16 | 2019-03-29 | 格力电器（武汉）有限公司 | 智能家居设备的控制方法、装置和设备 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113965829A (zh) * | 2021-10-20 | 2022-01-21 | 中国电信股份有限公司 | 基于5g消息的物联网设备控制方法、装置、设备和介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109491263B (zh) | 智能家居设备控制方法、装置、系统及存储介质 | |
| CN107703872B (zh) | 家电设备的终端控制方法、装置及终端 | |
| US9710219B2 (en) | Speaker identification method, speaker identification device, and speaker identification system | |
| WO2020135334A1 (zh) | 电视应用主题切换方法、电视、可读存储介质及设备 | |
| CN105160854A (zh) | 设备控制方法、装置和终端设备 | |
| CN111104341A (zh) | 智能家居设备自动化测试方法、装置、设备及存储介质 | |
| CN107704233B (zh) | 一种信息处理方法和电子设备 | |
| CN110196557B (zh) | 设备控制方法、装置、移动终端及存储介质 | |
| CN104896868A (zh) | 一种根据远程图像识别管理冰箱食品列表的方法 | |
| US11943498B2 (en) | Display method, display terminal and non-transitory computer readable storage medium | |
| CN105516321B (zh) | 一种数据采集方法和装置 | |
| CN105091491A (zh) | 智能冰箱的食品管理方法及装置 | |
| CN105467874A (zh) | 智能插座上电子设备类别的识别方法及装置 | |
| CN104503888A (zh) | 告警提示的方法及装置 | |
| CN107315606A (zh) | 应用更新方法及装置 | |
| CN111273899A (zh) | 代码处理方法、装置、电子设备及存储介质 | |
| CN110334629B (zh) | 可多方位检测距离的方法、装置及可读存储介质 | |
| CN108900004A (zh) | 电源状态监控方法、装置及计算机可读存储介质 | |
| CN107817987B (zh) | 一种硬件配置方法、系统、终端及服务器 | |
| KR20180023300A (ko) | 감시카메라 설정 방법과 감시카메라 관리 방법 및 시스템 | |
| CN104834382A (zh) | 移动终端应用程序响应系统及方法 | |
| CN113419652A (zh) | 智能设备交互方法、服务端和客户端 | |
| CN110324216A (zh) | 自动化配置方法、装置、系统、服务器及存储介质 | |
| CN115525140A (zh) | 手势识别方法、手势识别装置及存储介质 | |
| WO2022033228A1 (zh) | 一种数据处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |