CN112162494A - 一种智能手机系统的远程虚拟控制仿真方法及装置 - Google Patents

一种智能手机系统的远程虚拟控制仿真方法及装置 Download PDF

Info

Publication number
CN112162494A
CN112162494A CN202010996930.2A CN202010996930A CN112162494A CN 112162494 A CN112162494 A CN 112162494A CN 202010996930 A CN202010996930 A CN 202010996930A CN 112162494 A CN112162494 A CN 112162494A
Authority
CN
China
Prior art keywords
smart phone
computer
protocol
remote
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010996930.2A
Other languages
English (en)
Inventor
匡柠
汪巍威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Jiexing Xinyuan Information Technology Co ltd
Original Assignee
Anhui Jiexing Xinyuan Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Jiexing Xinyuan Information Technology Co ltd filed Critical Anhui Jiexing Xinyuan Information Technology Co ltd
Priority to CN202010996930.2A priority Critical patent/CN112162494A/zh
Publication of CN112162494A publication Critical patent/CN112162494A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B17/00—Systems involving the use of models or simulators of said systems
    • G05B17/02—Systems involving the use of models or simulators of said systems electric

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Telephonic Communication Services (AREA)
  • Telephone Function (AREA)

Abstract

本发明公开了一种智能手机系统的远程虚拟控制仿真方法及装置，所述方法包括：在智能手机和计算机内预置控制程序，并进行智能手机和计算机的协议数据通信；采集智能手机屏幕图像数据，通过协议发送到计算机进行屏幕显示；在计算机端采集智能手机的触控指令，通过协议发送触控指令到智能手机；智能手机响应远程触控指令，通过协议将测试数据发送给计算机；通过计算机的人机交互实现远程智能手机的虚拟化控制仿真；本发明的优点在于：提供一种智能手机系统的远程虚拟控制仿真方法及装置，不需要测试人员直接操作手机，直接仿真测试即可，测试应用的数据方便计算机采集，能够通过计算机实现测试人员之间数据共享。

Description

一种智能手机系统的远程虚拟控制仿真方法及装置
技术领域
本发明涉及手机系统的虚拟控制仿真领域，更具体涉及一种智能手机系统的远程虚拟控制仿真方法及装置。
背景技术
随着移动互联网技术的发展，智能手机上安装的手机应用也越来越多，对手机应用进行检测是亟待解决的技术问题。
目前，通常采用测试人员直接操作手机的方式，进行APP的安装、运行，实体手机不能方便的进行测试人员之间数据共享，测试应用的数据不方便计算机采集，测试应用不方便进行安装和管理，测试手机不方便进行版本管理。
中国专利公开号CN110226095A，公开了一种用于测试嵌入式系统的特征的系统和方法。所述系统包含低功率计算装置，其通信地耦合到控制应用程序接口、传感器接口和机器人接口。所述低功率计算装置可接收在测试期间产生的传感器信号，提供对应于所述传感器信号的传感器数据，接收用于所述测试的命令，并提供用于机器人处理机的移动的指令，所述指令对应于用于所述测试的所述命令中的至少一者。所述系统还包含计算装置，其通信地耦合到所述控制应用程序接口、图像处理接口和数据库接口。所述计算装置可接收传感器数据，接收对应于在所述测试期间所捕获的所述嵌入式系统的图像的图像数据，接收能够执行的测试，且提供用于所述测试的命令。但是该专利不是仿真控制，不能应用于手机系统的远程虚拟控制仿真。
发明内容
本发明所要解决的技术问题在于现有技术缺乏手机系统的远程虚拟控制仿真方法及装置，导致不能方便的进行测试人员之间数据共享，测试应用的数据不方便计算机采集的问题。
本发明通过以下技术手段实现解决上述技术问题的：一种智能手机系统的远程虚拟控制仿真方法，所述方法包括：
在智能手机和计算机的操作系统中，自定义通讯协议的控制指令，在智能手机的USB通讯接口，通过协议转换为以太网协议，智能手机和计算机定义控制指令和图像数据传输通讯端口，控制指令和数据指令采用TCP/UDP协议进行通信，应用层封装高并发的传输命令和数据，实现智能手机和计算机的协议数据通信；
采集智能手机屏幕图像数据，通过协议发送到计算机进行屏幕显示；
在计算机端采集智能手机的触控指令，通过协议发送触控指令到智能手机；
智能手机响应远程触控指令，通过协议将测试数据发送给计算机；
通过计算机的人机交互实现远程智能手机的虚拟化控制仿真。
本发明采集智能手机屏幕图像数据，通过协议发送到计算机屏幕显示，在计算机采集虚拟智能手机的触控指令，通过协议发送指令到智能手机，智能手机响应远程触控，通过协议发送测试数据发送给计算机，通过计算机的人机交互实现远程智能手机的虚拟化控制仿真，不需要测试人员直接操作手机，直接仿真测试即可，测试应用的数据方便计算机采集，能够通过计算机实现测试人员之间数据共享。
进一步地，所述在智能手机和计算机内预置控制程序，并进行智能手机和计算机的协议数据通信，包括：在计算机端监听TCP通信端口，监听远端的TCP连接；在智能手机端监听TCP通信端口，监听远端的TCP连接，智能手机和计算机的通过TCP协议进行数据通信连接。
进一步地，所述采集智能手机屏幕图像数据，通过协议发送到计算机进行屏幕显示，包括：从智能手机的framebuffer和智能手机屏幕硬件数据接口获取原始图像数据，对原始图像数据进行媒体流编码传输，或直接原始图像数据进行传输，通过TCP协议发送到计算机进行屏幕显示。
进一步地，所述触控指令包括：智能手机界面内的功能点击操作、触摸滑动操作以及功能按键。
更进一步地，所述功能按键包括智能手机开机、关机、音量增大、音量降低以及HOME按键。
进一步地，所述测试数据包括：智能手机系统应用在手机内的资源调用、各程序执行结果以及手机系统状态信息。
本发明还提供一种智能手机系统的远程虚拟控制仿真装置，所述装置包括：
预置模块，用于在智能手机和计算机内预置控制程序，并进行智能手机和计算机的协议数据通信；
第一采集模块，用于采集智能手机屏幕图像数据，通过协议发送到计算机进行屏幕显示；
第二采集模块，用于在计算机端采集智能手机的触控指令，通过协议发送触控指令到智能手机；
响应模块，用于智能手机响应远程触控指令，通过协议将测试数据发送给计算机；
虚拟化模块，用于通过计算机的人机交互实现远程智能手机的虚拟化控制仿真。
进一步地，所述预置模块，还用于：在计算机端监听TCP通信端口，监听远端的TCP连接；在智能手机端监听TCP通信端口，监听远端的TCP连接，智能手机和计算机的通过TCP协议进行数据通信连接。
进一步地，所述第一采集模块，还用于：从智能手机的framebuffer和智能手机屏幕硬件数据接口获取原始图像数据，对原始图像数据进行媒体流编码传输，或直接原始图像数据进行传输，通过TCP协议发送到计算机进行屏幕显示。
进一步地，所述触控指令包括：智能手机界面内的功能点击操作、触摸滑动操作以及功能按键。
更进一步地，所述功能按键包括智能手机开机、关机、音量增大、音量降低以及HOME按键。
进一步地，所述测试数据包括：智能手机系统应用在手机内的资源调用、各程序执行结果以及手机系统状态信息。
本发明的优点在于：本发明采集智能手机屏幕图像数据，通过协议发送到计算机屏幕显示，在计算机采集虚拟智能手机的触控指令，通过协议发送指令到智能手机，智能手机响应远程触控，通过协议发送测试数据发送给计算机，通过计算机的人机交互实现远程智能手机的虚拟化控制仿真，不需要测试人员直接操作手机，直接仿真测试即可，测试应用的数据方便计算机采集，能够通过计算机实现测试人员之间数据共享。
附图说明
图1为本发明实施例所公开的一种智能手机系统的远程虚拟控制仿真方法的流程图；
图2为本发明实施例所公开的一种智能手机系统的远程虚拟控制仿真装置的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
如图1所示，一种智能手机系统的远程虚拟控制仿真方法，所述方法包括：
步骤S1：在智能手机和计算机的操作系统中，自定义通讯协议的控制指令，在智能手机的USB通讯接口，通过协议转换为以太网协议，智能手机和计算机定义控制指令和图像数据传输通讯端口，控制指令和数据指令采用TCP/UDP协议进行通信，应用层封装高并发的传输命令和数据，实现智能手机和计算机的协议数据通信；具体过程为：在计算机端监听TCP通信端口，监听远端的TCP连接；在智能手机端监听TCP通信端口，监听远端的TCP连接，本发明实施例中智能手机和计算机通过USB的端口映射功能，按照TCP协议进行数据通信连接，其中预置程序包括发送和接收数据的程序块。
步骤S2：采集智能手机屏幕图像数据，通过协议发送到计算机进行屏幕显示；具体过程为：从智能手机的framebuffer(帧缓冲)和智能手机屏幕硬件数据接口获取原始图像数据，对原始图像数据进行媒体流编码传输，或直接原始图像数据进行传输，通过TCP协议发送到计算机进行屏幕显示。其中，媒体流编码具体为H.264方式进行图像编码，减低数据流量大小。直接原始图像数据进行传输可进行分辨率和清晰度调整，以降低数据流量大小。
步骤S3：在计算机端采集智能手机的触控指令，通过协议发送触控指令到智能手机；其中，所述触控指令包括：智能手机界面内的功能点击操作、触摸滑动操作以及功能按键。所述功能按键包括智能手机开机、关机、音量增大、音量降低以及HOME按键。智能手机界面内的功能点击操作、触摸滑动操作主要采集计算机屏幕内坐标信息，通过对应关系转换为智能手机屏幕的坐标信息。
步骤S4：智能手机响应远程触控指令，通过协议将测试数据发送给计算机；其中，所述测试数据包括：智能手机系统应用在手机内的资源调用、各程序执行结果以及手机系统状态信息，资源调用包括手机网络资源的访问调用、手机系统API接口资源的访问调用、手机系统资源的访问调用。例如，应用A读取手机通讯录、读取短信记录、读取通话记录，发送短信、网络访问地址H，测试数据与APP对应后，发送到计算机进行记录。资源调用
步骤S5：通过计算机的人机交互实现远程智能手机的虚拟化控制仿真。
通过以上技术方案，本发明提供的一种智能手机系统的远程虚拟控制仿真方法，采集智能手机屏幕图像数据，通过协议发送到计算机屏幕显示，在计算机采集虚拟智能手机的触控指令，通过协议发送指令到智能手机，智能手机响应远程触控，通过协议发送测试数据发送给计算机，通过计算机的人机交互实现远程智能手机的虚拟化控制仿真，不需要测试人员直接操作手机，直接仿真测试即可，测试应用的数据方便计算机采集，能够通过计算机实现测试人员之间数据共享。
实施例2
如图2所示，与本发明实施例1相对应的，本发明实施例2还提供一种智能手机系统的远程虚拟控制仿真装置，所述装置包括：
预置模块201，用于在智能手机和计算机的操作系统中，自定义通讯协议的控制指令，在智能手机的USB通讯接口，通过协议转换为以太网协议，智能手机和计算机定义控制指令和图像数据传输通讯端口，控制指令和数据指令采用TCP/UDP协议进行通信，应用层封装高并发的传输命令和数据，实现智能手机和计算机的协议数据通信；
第一采集模块202，用于采集智能手机屏幕图像数据，通过协议发送到计算机进行屏幕显示；
第二采集模块203，用于在计算机端采集智能手机的触控指令，通过协议发送触控指令到智能手机；
响应模块204，用于智能手机响应远程触控指令，通过协议将测试数据发送给计算机；
虚拟化模块205，用于通过计算机的人机交互实现远程智能手机的虚拟化控制仿真。
具体的，所述预置模块201，还用于：在计算机端监听TCP通信端口，监听远端的TCP连接；在智能手机端监听TCP通信端口，监听远端的TCP连接，智能手机和计算机的通过TCP协议进行数据通信连接。
具体的，所述第一采集模块202，还用于：从智能手机的framebuffer和智能手机屏幕硬件数据接口获取原始图像数据，对原始图像数据进行媒体流编码传输，或直接原始图像数据进行传输，通过TCP协议发送到计算机进行屏幕显示。
具体的，所述触控指令包括：智能手机界面内的功能点击操作、触摸滑动操作以及功能按键。
具体的，所述功能按键包括智能手机开机、关机、音量增大、音量降低以及HOME按键。
具体的，所述测试数据包括：智能手机系统应用在手机内的资源调用、各程序执行结果以及手机系统状态信息。
通过以上技术方案，本发明提供的一种智能手机系统的远程虚拟控制仿真装置，采集智能手机屏幕图像数据，通过协议发送到计算机屏幕显示，在计算机采集虚拟智能手机的触控指令，通过协议发送指令到智能手机，智能手机响应远程触控，通过协议发送测试数据发送给计算机，通过计算机的人机交互实现远程智能手机的虚拟化控制仿真，不需要测试人员直接操作手机，直接仿真测试即可，测试应用的数据方便计算机采集，能够通过计算机实现测试人员之间数据共享。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种智能手机系统的远程虚拟控制仿真方法，其特征在于，所述方法包括：
在智能手机和计算机内预置控制程序，并进行智能手机和计算机的协议数据通信；
采集智能手机屏幕图像数据，通过协议发送到计算机进行屏幕显示；
在计算机端采集智能手机的触控指令，通过协议发送触控指令到智能手机；
智能手机响应远程触控指令，通过协议将测试数据发送给计算机；
通过计算机的人机交互实现远程智能手机的虚拟化控制仿真。
2.根据权利要求1所述的一种智能手机系统的远程虚拟控制仿真方法，其特征在于，所述在智能手机和计算机内预置控制程序，并进行智能手机和计算机的协议数据通信，包括：在计算机端监听TCP通信端口，监听远端的TCP连接；在智能手机端监听TCP通信端口，监听远端的TCP连接，智能手机和计算机的通过TCP协议进行数据通信连接。
3.根据权利要求1所述的一种智能手机系统的远程虚拟控制仿真方法，其特征在于，所述采集智能手机屏幕图像数据，通过协议发送到计算机进行屏幕显示，包括：从智能手机的framebuffer和智能手机屏幕硬件数据接口获取原始图像数据，对原始图像数据进行媒体流编码传输，或直接原始图像数据进行传输，通过TCP协议发送到计算机进行屏幕显示。
4.根据权利要求1所述的一种智能手机系统的远程虚拟控制仿真方法，其特征在于，所述触控指令包括：智能手机界面内的功能点击操作、触摸滑动操作以及功能按键。
5.根据权利要求4所述的一种智能手机系统的远程虚拟控制仿真方法，其特征在于，所述功能按键包括智能手机开机、关机、音量增大、音量降低以及HOME按键。
6.根据权利要求1所述的一种智能手机系统的远程虚拟控制仿真方法，其特征在于，所述测试数据包括：智能手机系统应用在手机内的资源调用、各程序执行结果以及手机系统状态信息。
7.一种智能手机系统的远程虚拟控制仿真装置，其特征在于，所述装置包括：
预置模块，用于在智能手机和计算机内预置控制程序，并进行智能手机和计算机的协议数据通信；
第一采集模块，用于采集智能手机屏幕图像数据，通过协议发送到计算机进行屏幕显示；
第二采集模块，用于在计算机端采集智能手机的触控指令，通过协议发送触控指令到智能手机；
响应模块，用于智能手机响应远程触控指令，通过协议将测试数据发送给计算机；
虚拟化模块，用于通过计算机的人机交互实现远程智能手机的虚拟化控制仿真。
8.根据权利要求7所述的一种智能手机系统的远程虚拟控制仿真装置，其特征在于，所述预置模块，还用于：在计算机端监听TCP通信端口，监听远端的TCP连接；在智能手机端监听TCP通信端口，监听远端的TCP连接，智能手机和计算机的通过TCP协议进行数据通信连接。
9.根据权利要求7所述的一种智能手机系统的远程虚拟控制仿真装置，其特征在于，所述第一采集模块，还用于：从智能手机的framebuffer和智能手机屏幕硬件数据接口获取原始图像数据，对原始图像数据进行媒体流编码传输，或直接原始图像数据进行传输，通过TCP协议发送到计算机进行屏幕显示。
10.根据权利要求7所述的一种智能手机系统的远程虚拟控制仿真装置，其特征在于，所述触控指令包括：智能手机界面内的功能点击操作、触摸滑动操作以及功能按键。
CN202010996930.2A 2020-09-21 2020-09-21 一种智能手机系统的远程虚拟控制仿真方法及装置 Pending CN112162494A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010996930.2A CN112162494A (zh) 2020-09-21 2020-09-21 一种智能手机系统的远程虚拟控制仿真方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010996930.2A CN112162494A (zh) 2020-09-21 2020-09-21 一种智能手机系统的远程虚拟控制仿真方法及装置

Publications (1)

Publication Number Publication Date
CN112162494A true CN112162494A (zh) 2021-01-01

Family

ID=73863183

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010996930.2A Pending CN112162494A (zh) 2020-09-21 2020-09-21 一种智能手机系统的远程虚拟控制仿真方法及装置

Country Status (1)

Country Link
CN (1) CN112162494A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115473943A (zh) * 2022-08-15 2022-12-13 西门子（中国）有限公司 接口扩展方法、扩展接口使用方法、系统和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101355777A (zh) * 2008-09-23 2009-01-28 余纯龙 基于总线截取及视频采集的远程手机测试系统及方法
CN102902206A (zh) * 2012-10-18 2013-01-30 同济大学 一种交通信号控制硬件在环仿真系统的信号转换设备
CN103036968A (zh) * 2012-12-11 2013-04-10 广东好帮手电子科技股份有限公司 一种通过车载主机显示并控制智能手机的方法及系统
CN103152458A (zh) * 2011-12-07 2013-06-12 中国移动通信集团广东有限公司 测试手机、远程手机测试系统、远程手机测试方法与装置
CN103324424A (zh) * 2012-03-23 2013-09-25 百度在线网络技术（北京）有限公司 一种远程模拟多点触控的方法和系统
CN103338290A (zh) * 2013-06-04 2013-10-02 宁波大学 一种自动测试Android手机触屏性能的方法
US20160127930A1 (en) * 2013-05-31 2016-05-05 Cellular South, Inc. Dba C Spire Wireless Wireless system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101355777A (zh) * 2008-09-23 2009-01-28 余纯龙 基于总线截取及视频采集的远程手机测试系统及方法
CN103152458A (zh) * 2011-12-07 2013-06-12 中国移动通信集团广东有限公司 测试手机、远程手机测试系统、远程手机测试方法与装置
CN103324424A (zh) * 2012-03-23 2013-09-25 百度在线网络技术（北京）有限公司 一种远程模拟多点触控的方法和系统
CN102902206A (zh) * 2012-10-18 2013-01-30 同济大学 一种交通信号控制硬件在环仿真系统的信号转换设备
CN103036968A (zh) * 2012-12-11 2013-04-10 广东好帮手电子科技股份有限公司 一种通过车载主机显示并控制智能手机的方法及系统
US20160127930A1 (en) * 2013-05-31 2016-05-05 Cellular South, Inc. Dba C Spire Wireless Wireless system
CN103338290A (zh) * 2013-06-04 2013-10-02 宁波大学 一种自动测试Android手机触屏性能的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吕为工: "《嵌入式计算机系统设计》", 31 March 2017 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115473943A (zh) * 2022-08-15 2022-12-13 西门子（中国）有限公司 接口扩展方法、扩展接口使用方法、系统和存储介质

Similar Documents

Publication Publication Date Title
US8903317B2 (en) System and method for controlling an infrared camera using a mobile phone
US20160249106A1 (en) Remote Control of a Mobile Device
WO2016019495A1 (zh) 终端、服务器及终端控制方法
CN109144396A (zh) 一种触摸信息处理方法、装置、设备和存储介质
CN112799891B (zh) iOS设备测试方法、装置、系统、存储介质及计算机设备
CN103472996A (zh) 一种移动设备接收触控方法及设备
CN110515821B (zh) 基于埋点的事件处理方法、电子设备及计算机存储介质
CN108446211B (zh) 浏览器异常收集方法、装置、移动终端以及存储介质
CN112333057A (zh) 智能家居设备配网测试方法及装置、执行机、存储介质
CN112600631B (zh) 一种WiFi信号稳定性自动化测试方法及其相关组件
CN111427524A (zh) 远程控制的方法、装置、计算机设备及存储介质
CN107577542B (zh) 日志信息上报方法、装置、存储介质及移动终端
CN106776286A (zh) 移动终端app远程检测方法、移动终端及客户端
CN111444095A (zh) 移动设备的测试平台系统和测试方法
CN112162494A (zh) 一种智能手机系统的远程虚拟控制仿真方法及装置
CN114489350B (zh) 一种输入法调用方法及相关设备
CN107438091B (zh) 用于工业嵌入式系统的影像管控装置、系统及其方法
CN111475359A (zh) 多消息交互场景下的系统测试方法、装置和存储介质
CN107621999B (zh) 日志信息上报方法、装置、存储介质及移动终端
CN103473170B (zh) 测试系统及测试方法
CN113038251B (zh) 一种控制方法和控制装置
CN103595854A (zh) 手持设备及其与电子产品间的通信方法
CN113821428A (zh) 云测试方法、装置、电子设备和计算机存储介质
TWM611092U (zh) 控制物聯網終端設備的處理系統與應用於物聯網中的閘道器
CN112685045A (zh) 页面源文件的处理方法、装置、电子设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210101