CN108307390A - 无屏智能设备的用户交互系统及交互方法 - Google Patents

无屏智能设备的用户交互系统及交互方法 Download PDF

Info

Publication number
CN108307390A
CN108307390A CN201610727989.5A CN201610727989A CN108307390A CN 108307390 A CN108307390 A CN 108307390A CN 201610727989 A CN201610727989 A CN 201610727989A CN 108307390 A CN108307390 A CN 108307390A
Authority
CN
China
Prior art keywords
smart machine
screen smart
video terminal
screen
terminal equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610727989.5A
Other languages
English (en)
Inventor
田雨农
黄振
刘南昌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Roiland Technology Co Ltd
Original Assignee
Dalian Roiland Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Roiland Technology Co Ltd filed Critical Dalian Roiland Technology Co Ltd
Priority to CN201610727989.5A priority Critical patent/CN108307390A/zh
Publication of CN108307390A publication Critical patent/CN108307390A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/06—Authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1407—General aspects irrespective of display type, e.g. determination of decimal point position, display with fixed or driving decimal point, suppression of non-significant zeros
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W48/00—Access restriction; Network selection; Access point selection
    • H04W48/20—Selecting an access point
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W84/00—Network topologies
    • H04W84/02—Hierarchically pre-organised networks, e.g. paging networks, cellular networks, WLAN [Wireless Local Area Network] or WLL [Wireless Local Loop]
    • H04W84/10—Small scale networks; Flat hierarchical networks
    • H04W84/12—WLAN [Wireless Local Area Networks]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Telephone Function (AREA)

Abstract

一种无屏智能设备的用户交互系统及交互方法，属于界面控制领域，为了解决现有无屏智能设备与用户交互程度低的技术问题，技术要点是：包括无屏智能设备和可视终端设备，所述无屏智能设备端包括主控芯片、连接所述主控芯片的WLAN模块；所述WLAN模块，与带有WLAN模块的可视终端设备以局域网形式连接，可视终端设备安装控制软件，用所述控制软件操控所述无屏智能设备。效果是：扭转用户互动不理想的局面。同时本发明拓宽了无屏智能设备的使用场合，极大提高了用户使用体验。

Description

无屏智能设备的用户交互系统及交互方法
技术领域
本发明属于界面控制领域，涉及一种无屏智能设备的用户交互系统及交互方法。
背景技术
目前智能设备中，从用户交互角度看，主要分两种，一种是带显示功能，一种是不带显示功能，即无屏终端设备。带屏设备如智能手机或者平板电脑等，用户可以很方便的安装或者操控各种应用，体验感出众；但在特殊应用中，有些智能设备是无法带屏的，比如内嵌在车身内的车联网智能设备等，用户只能使用设备内置的应用程序或固定的操作方法与设备交互，不能根据自己的喜好来随意操作应用程序，体验感不佳。
发明内容
为了解决现有无屏智能设备与用户交互程度低的技术问题，本发明提出了一种无屏智能设备的用户交互系统，其技术要点是：
一种无屏智能设备的用户交互系统，包括无屏智能设备和可视终端设备，所述无屏智能设备端包括主控芯片、连接所述主控芯片的WLAN模块；所述WLAN模块，与带有WLAN模块的可视终端设备以局域网形式连接，可视终端设备安装控制软件，用所述控制软件操控所述无屏智能设备。
进一步的，所述无屏智能设备端还包括连接所述主控芯片的电源管理模块，所述电源管理模块连接供电电源。
本发明还涉及一种如上述方案所述的无屏智能设备的用户交互系统的交互方法，包括如下步骤：
S1.所述无屏智能设备开启WIFI热点，并且启动Socket服务端；
S2.用户使用带有WLAN模块的可视终端设备，连接所述无屏智能设备的WIFI热点，开启控制软件，控制软件连接无屏智能设备的Socket服务端，并发送合法身份鉴权数据包；
S3.无屏智能设备收到合法身份鉴权数据包后，对可视终端设备合法性进行识别，识别为合法时，可视终端设备做为Socket客户端与所述无屏智能设备的Socket服务端连接；
S4.Socket连接建立后，无屏智能设备定时抓取自身的UI画面，实时通过Socket连接传输到可视终端设备。
进一步的，所述的对可视终端设备合法性进行识别步骤是：鉴权通过则可视终端设备连接上所述无屏智能设备的Socket服务端；如果鉴权失败，所述无屏智能设备自动断开与可视终端设备的连接。
进一步的，所述无屏智能设备定时抓取自身的UI画面，通过压缩算法压缩后，实时通过Socket连接向可视终端设备传输数据压缩包，可视终端设备在接收到UI画面数据包时，对数据包进行解压并推送显示。
进一步的，所述方法还包括步骤：
S5.当用户在可视终端设备上进行互动时，控制软件把在可视终端设备上发生的触点坐标信息及操作类型编码成操作指令，发送到所述的无屏智能终端设备；
S6.所述的无屏智能终端设备接收到用户操作指令后，解析操作指令，按照显示比例重新校准触点的坐标，模拟操作指令的交互动作，并把更新后的UI画面回传至可视终端，由此完成了一次互动。
进一步的，所述的方法还包括步骤：
S7.当出现Socket连接断开时，可视终端设备的控制软件自动发起重新连接，每次重新连接都发出合法身份鉴权数据包，鉴权合法时，才进行交互；
S8.交互使用完毕，可视终端设备的控制软件断开与所述无屏智能终端设备的Socket连接，退出。
有益效果：
本发明提出了一种无屏智能设备用户交互方法，使用所述方法，实现对无屏智能设备的友好控制，从而可以根据用户的喜好，随意控制应用程序，更加符合用户的操作习惯。
在某些特殊场合，用户无法直接与设备交互，本发明可以非常完美的解决这类问题，使无屏设备也能发挥它的显示优势，扭转用户互动不理想的局面。同时本发明拓宽了无屏智能设备的使用场合，极大提高了用户使用体验。
附图说明
图1为所述系统的结构示意图；
图2为所述交互方法的流程图。
具体实施方式
实施例1：一种无屏智能设备的用户交互系统，其特征在于，包括无屏智能设备和可视终端设备，所述无屏智能设备端包括主控芯片、连接所述主控芯片的WLAN模块；所述WLAN模块，与带有WLAN模块的可视终端设备以局域网形式连接，可视终端设备安装控制软件，用所述控制软件操控所述无屏智能设备。作为优选方案，所述无屏智能设备端还包括连接所述主控芯片的电源管理模块，所述电源管理模块连接供电电源。
作为一种实施例：一种如实施例1各技术方案所述的无屏智能设备的用户交互系统的交互方法，包括如下步骤：
S1.所述无屏智能设备开启WIFI热点，并且启动Socket服务端；
S2.用户使用带有WLAN模块的可视终端设备，连接所述无屏智能设备的WIFI热点，开启控制软件，控制软件连接无屏智能设备的Socket服务端，并发送合法身份鉴权数据包；
S3.无屏智能设备收到合法身份鉴权数据包后，对可视终端设备合法性进行识别，识别为合法时，可视终端设备与所述无屏智能设备的Socket服务端建立连接；
S4.Socket连接建立后，无屏智能设备定时抓取自身的UI画面并压缩，实时通过Socket连接传输到可视终端设备。定时越短，操作越流畅，但资源开销越大，故要平衡；
S5.当用户在可视终端设备上进行互动时，如点击、拖动等操作，控制软件把可视终端设备的触点坐标信息及操作类型编码成操作指令，发送到所述的无屏智能终端设备；
S6.所述的无屏智能终端设备接收到用户操作指令后，解析操作指令，按照显示比例重新校准触点的坐标，模拟操作指令的交互动作，并把更新后的UI画面回传至可视终端，由此完成了一次互动，从而实现了隔空控制的效果。
S7.当出现Socket连接断开时，可视终端设备的控制软件自动发起重新连接，每次重新连接都发出合法身份鉴权数据包，鉴权合法时，才进行交互；
S8.交互使用完毕，退出。
为了保证安全性，所述的对可视终端设备合法性进行识别步骤是：鉴权通过则可视终端设备连接上所述无屏智能设备的Socket服务端；如果鉴权失败，所述无屏智能设备自动断开可视终端设备的连接，保证安全性。
为了保证传输速度和传输安全，所述无屏智能设备定时抓取自身的UI画面，通过压缩算法压缩后，实时通过Socket连接向可视终端设备传输数据压缩包，可视终端设备在接收到UI画面数据包时，对数据包进行解压并推送显示，即可视终端设备可以看到设备端的画面了。
实施例2：作为实施例1的方案补充，本实施例的方法有2部分单元配合工作，其中一端是无屏智能设备，即设备端，另一部分是可视终端，安装了匹配的控制软件，典型如手机APP。其设备端包括主控芯片、连接所述主控芯片的电源管理模块、连接所述主控芯片的WLAN模块，所述电源管理模块连接供电电源；所述WLAN模块，可以与带有WLAN模块的可视终端设备以局域网形式连接；所述控制软件，安装在带有WLAN模块的可视终端设备上，可以用该软件来操控所述无屏智能设备。
设计方法组成参见图1，无屏智能终端设备，包括主控芯片、电源管理模块、WLAN模块、以及控制软件，该控制软件被安装在用于跟所述无屏智能终端设备交互的带有WLAN模块的可视终端设备上。
交互方法如下：
1.参见图2，所述无屏智能设备上电启动，开启WIFI热点，并且启动Socket服务端；
2.用户使用带有WLAN模块的可视终端设备，比如智能手机、平板电脑等，安装控制软件(APP)，连接所述无屏智能设备的WIFI热点，开启控制软件，控制软件自动连上设备的Socket服务端，并发送鉴权数据包；
3.无屏智能设备收到鉴权包后，对可视终端设备合法性进行识别，如果是鉴权通过则可视终端设备可稳定连接上所述无屏智能设备的Socket服务端；如果鉴权失败设备端可以自动断开可视终端设备的连接，保证安全性。
4.Socket连接建立后，无屏智能设备定时抓取自身的UI画面，并通过压缩算法，快速压缩后实时通过Socket传输到用户的可视终端设备，定时越短，操作越流畅，但资源开销越大，故要平衡；
5.可视终端设备在接收到UI画面数据包时，对数据包进行快速解压并推送显示，即可视终端设备可以看到设备端的画面了；
6.当用户在可视终端设备上进行互动时，如点击、拖动等操作，控制软件会把可视终端设备的触点坐标信息及操作类型编码成操作指令，发送到所述的无屏智能终端设备；
7.所述的无屏智能终端设备接收到用户操作指令后，解析指令内容，按照显示比例重新校准触点的坐标，模拟操作指令的交互动作，并把更新后的UI画面回传给可视终端，由此完成了一次互动，从而实现了隔空控制的效果。
8.当出现Socket断开时，可视终端软件自动发起重新连接，每次重新连接都必须发起合法身份鉴权数据包；
9.使用完毕，正常退出。
以上所述，仅为本发明创造较佳的具体实施方式，但本发明创造的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明创造披露的技术范围内，根据本发明创造的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明创造的保护范围之内。

Claims (7)

1.一种无屏智能设备的用户交互系统，其特征在于，包括无屏智能设备和可视终端设备，所述无屏智能设备端包括主控芯片、连接所述主控芯片的WLAN模块；所述WLAN模块，与带有WLAN模块的可视终端设备以局域网形式连接，可视终端设备安装控制软件，用所述控制软件操控所述无屏智能设备。
2.如权利要求1所述的无屏智能设备的用户交互系统，所述无屏智能设备端还包括连接所述主控芯片的电源管理模块，所述电源管理模块连接供电电源。
3.一种权利要求1或2所述的无屏智能设备的用户交互系统的交互方法，其特征在于，包括如下步骤：
S1.所述无屏智能设备开启WIFI热点，并且启动Socket服务端；
S2.用户使用带有WLAN模块的可视终端设备，连接所述无屏智能设备的WIFI热点，开启控制软件，控制软件连接无屏智能设备的Socket服务端，并发送合法身份鉴权数据包；
S3.无屏智能设备收到合法身份鉴权数据包后，对可视终端设备合法性进行识别，识别为合法时，可视终端设备做为Socket客户端与所述无屏智能设备的Socket服务端连接；
S4.Socket连接建立后，无屏智能设备定时抓取自身的UI画面，实时通过Socket连接传输到可视终端设备。
4.如权利要求3所述的无屏智能设备的用户交互系统的交互方法，其特征在于，所述的对可视终端设备合法性进行识别步骤是：鉴权通过则可视终端设备连接上所述无屏智能设备的Socket服务端；如果鉴权失败，所述无屏智能设备自动断开可视终端设备的连接。
5.如权利要求3所述的无屏智能设备的用户交互系统的交互方法，其特征在于，所述无屏智能设备定时抓取自身的UI画面，通过压缩算法压缩后，实时通过Socket连接向可视终端设备传输数据压缩包，可视终端设备在接收到UI画面数据包时，对数据包进行解压并推送显示。
6.如权利要求3所述的无屏智能设备的用户交互系统的交互方法，其特征在于，还包括步骤：
S5.当用户在可视终端设备上进行互动时，控制软件把在可视终端设备上发生的触点坐标信息及操作类型编码成操作指令，发送到所述的无屏智能终端设备；
S6.所述的无屏智能终端设备接收到用户操作指令后，解析操作指令，按照显示比例重新校准触点的坐标，模拟操作指令的交互动作，并把更新后的UI画面回传至可视终端，由此完成了一次互动。
7.如权利要求6所述的无屏智能设备的用户交互系统的交互方法，其特征在于，还包括步骤：
S7.当出现Socket连接断开时，可视终端设备的控制软件自动发起重新连接，每次重新连接都发出合法身份鉴权数据包，鉴权合法时，才进行交互；
S8.交互使用完毕，可视终端设备的控制软件断开与所述无屏智能终端设备的Socket连接，退出。
CN201610727989.5A 2016-08-25 2016-08-25 无屏智能设备的用户交互系统及交互方法 Pending CN108307390A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610727989.5A CN108307390A (zh) 2016-08-25 2016-08-25 无屏智能设备的用户交互系统及交互方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610727989.5A CN108307390A (zh) 2016-08-25 2016-08-25 无屏智能设备的用户交互系统及交互方法

Publications (1)

Publication Number Publication Date
CN108307390A true CN108307390A (zh) 2018-07-20

Family

ID=62871391

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610727989.5A Pending CN108307390A (zh) 2016-08-25 2016-08-25 无屏智能设备的用户交互系统及交互方法

Country Status (1)

Country Link
CN (1) CN108307390A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102460407A (zh) * 2009-04-16 2012-05-16 iBAHN综合控股公司 虚拟桌面服务
CN102882938A (zh) * 2012-09-10 2013-01-16 广东欧珀移动通信有限公司 一种数据共享方法及移动终端
CN102912589A (zh) * 2012-09-26 2013-02-06 海尔集团公司 一种无显示控制器件的全自动洗衣机及其控制方法
CN103309308A (zh) * 2013-05-17 2013-09-18 华为技术有限公司 一种设备智能化控制方法及装置、系统、即插即用设备
CN103428297A (zh) * 2013-08-30 2013-12-04 上海交通大学 基于桌面虚拟化的远程交互系统架构
CN104202714A (zh) * 2014-08-05 2014-12-10 深圳市元征科技股份有限公司 相异操作系统的移动终端近距离通讯方法和系统
US9130899B1 (en) * 2011-04-27 2015-09-08 Cisco Technology, Inc. Integrated user interface for unified communications applications
CN104980414A (zh) * 2014-05-15 2015-10-14 腾讯科技（深圳）有限公司 一种文件传输方法及终端
CN105091498A (zh) * 2015-08-10 2015-11-25 惠而浦（中国）股份有限公司 一种无显示屏的电控冰箱控制方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102460407A (zh) * 2009-04-16 2012-05-16 iBAHN综合控股公司 虚拟桌面服务
US9130899B1 (en) * 2011-04-27 2015-09-08 Cisco Technology, Inc. Integrated user interface for unified communications applications
CN102882938A (zh) * 2012-09-10 2013-01-16 广东欧珀移动通信有限公司 一种数据共享方法及移动终端
CN102912589A (zh) * 2012-09-26 2013-02-06 海尔集团公司 一种无显示控制器件的全自动洗衣机及其控制方法
CN103309308A (zh) * 2013-05-17 2013-09-18 华为技术有限公司 一种设备智能化控制方法及装置、系统、即插即用设备
CN103428297A (zh) * 2013-08-30 2013-12-04 上海交通大学 基于桌面虚拟化的远程交互系统架构
CN104980414A (zh) * 2014-05-15 2015-10-14 腾讯科技（深圳）有限公司 一种文件传输方法及终端
CN104202714A (zh) * 2014-08-05 2014-12-10 深圳市元征科技股份有限公司 相异操作系统的移动终端近距离通讯方法和系统
CN105091498A (zh) * 2015-08-10 2015-11-25 惠而浦（中国）股份有限公司 一种无显示屏的电控冰箱控制方法

Similar Documents

Publication Publication Date Title
CN104301012A (zh) 一种通过nfc技术实现的交互方法、终端及系统
CN106455139B (zh) WiFi模块同时工作在双模式的方法、设备和系统
CN103442126A (zh) 一种基于云服务的手机的通讯方法及系统
CN103581598A (zh) 一种互联互通、多屏互动的设备、系统及实现方法
CN103634629A (zh) 一种机顶盒共享移动终端摄像头的方法和装置
US20230138804A1 (en) Enhanced video call method and system, and electronic device
EP3217596B1 (en) Communication terminal, communication system, and data transmission method
CN104821929A (zh) 多媒体数据分享方法及终端
CN109684025A (zh) 一种远程通信方法及相关装置
CN111478930A (zh) Stb云化方法、系统、瘦stb、虚拟stb及平台、存储介质
CN103561310B (zh) 一种数据处理的方法、装置及系统
CN108200572A (zh) 终端的切换方法、装置及系统
CN105354505A (zh) 一种图像适配方法及电子设备
CN103618967A (zh) 一种移动终端与电视端互动的方法和装置
CN103970582A (zh) Usb设备模拟方法
US10887401B2 (en) Device connection method and terminal
US20160248963A1 (en) Terminal photographing/camera shooting processing method, device and system
CN105446680A (zh) 一种屏幕镜像及其扩展方法、系统及终端设备
CN103581607A (zh) 使用远程摄像机设备将视频流传递到本地端点主机的方法
EP3151481B1 (en) Communication terminal, communication system, and output method
CN103209209B (zh) 基于Windows系统和网络传输的应用虚拟化实现方法及系统
CN104063033B (zh) 基于电子设备互连的状态切换方法及电子设备
CN103701644A (zh) 一种it设备的运维方法及系统
CN105162874B (zh) 一种扩展移动终端运算能力的系统
CN104391576A (zh) 一种基于无线以太网的远程输入的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180720