CN113391782A - 计算机控制移动终端的方法、系统、电子设备及存储介质 - Google Patents
计算机控制移动终端的方法、系统、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113391782A CN113391782A CN202110740211.9A CN202110740211A CN113391782A CN 113391782 A CN113391782 A CN 113391782A CN 202110740211 A CN202110740211 A CN 202110740211A CN 113391782 A CN113391782 A CN 113391782A
- Authority
- CN
- China
- Prior art keywords
- mobile terminal
- computer
- preset
- bluetooth
- controlling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000004891 communication Methods 0.000 claims abstract description 37
- 230000015654 memory Effects 0.000 claims description 18
- 230000002159 abnormal effect Effects 0.000 claims description 10
- 239000000126 substance Substances 0.000 claims description 2
- 230000006870 function Effects 0.000 description 21
- 230000002093 peripheral effect Effects 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1407—General aspects irrespective of display type, e.g. determination of decimal point position, display with fixed or driving decimal point, suppression of non-significant zeros
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Telephone Function (AREA)
Abstract
本申请公开了一种计算机控制移动终端的方法、系统、电子设备及存储介质，应用于计算机通讯与应用技术领域。本申请的基于计算机控制移动终端的方法，包括：计算机与移动终端建立通信连接，并在通信连接下获取移动终端当前的显示界面，计算机将移动终端当前的显示界面作为计算机的操作界面，接着捕捉操作界面上的预设控制操作，根据捕捉到的预设控制操作生成控制指令，计算机将生成的控制指令发送至移动终端，使移动终端根据控制指令对移动终端的显示界面进行实际控制操作，本申请实施例实现了计算机显示并控制移动终端的显示界面的功能，提升了用户体验。
Description
技术领域
本申请涉及计算机通讯与应用技术领域，特别涉及一种计算机控制移动终端的方法、系统、电子设备及存储介质。
背景技术
近年来，随着互联网技术的发展，远程协同的办公需求日渐凸显，使计算机操作移动终端的场景越来越多。目前，可以通过Airplay服务使操作系统为ios的移动终端的显示界面投射到计算机屏幕上显示，但是通过这样的方式，计算机只能投屏和显示移动终端的显示界面，不能对移动终端进行控制，导致用户体验差。
发明内容
本申请旨在至少解决现有技术中存在的技术问题之一。为此，本申请提出一种计算机控制移动终端的方法、系统、电子设备及存储介质，不仅能够在计算机上显示移动终端的显示界面，还可以通过计算机控制移动终端的显示界面，提升用户体验。
根据本申请的第一方面实施例的基于计算机控制移动终端的方法，包括：
与移动终端建立通信连接；
在所述通信连接下获取所述移动终端当前的显示界面；
将所述显示界面作为操作界面；
捕捉所述操作界面的预设控制操作；
根据所述预设控制操作生成控制指令；
将所述控制指令发送至所述移动终端，以使所述移动终端根据所述控制指令对所述显示界面进行实际控制操作。
根据本申请实施例的基于计算机控制移动终端的方法，至少具有如下有益效果：
计算机与移动终端建立通信连接，并在通信连接下获取移动终端当前的显示界面，计算机将移动终端当前的显示界面作为计算机的操作界面，接着捕捉操作界面上的预设控制操作，根据捕捉到的预设控制操作生成控制指令，计算机将生成的控制指令发送至移动终端，使移动终端根据控制指令对移动终端的显示界面进行实际控制操作，计算机将移动终端的显示界面投射到计算机屏幕上，作为操作界面，用户可在计算机的操作界面上进行预设控制操作，然后由计算机根据预设控制操作生成控制指令，以使终端设备根据控制指令进行实际控制操作，本申请实施例实现了计算机显示并控制移动终端的显示界面的功能，提升用户体验。
根据本申请的一些实施例，所述与移动终端建立通信连接，包括：
发布预设的蓝牙服务；
基于所述蓝牙服务与移动终端的终端蓝牙进行配对；
若与所述移动终端的所述终端蓝牙配对成功，则与所述移动终端建立通信连接。
根据本申请的一些实施例，所述方法还包括：
若所述蓝牙服务发布失败，则生成异常提示，所述异常提示用于提示所述蓝牙服务发布异常。
根据本申请的一些实施例，所述方法还包括：创建蓝牙服务；
所述创建蓝牙服务，包括：
根据预设的蓝牙标准，生成蓝牙标识符；
根据所述蓝牙标识符创建蓝牙服务。
根据本申请的一些实施例，所述根据所述预设控制操作生成控制指令，包括：
根据所述预设控制操作生成预设操作数据，并根据所述预设控制操作的操作类型获取对应的报告描述符数据；
根据所述报告描述符数据格式化所述预设操作数据，得到目标操作数据；
根据所述目标操作数据生成控制指令。
根据本申请的一些实施例，所述预设控制操作为鼠标点击操作；
对应的，所述根据所述预设控制操作生成预设操作数据，包括：
获取所述移动设备的第一屏幕对应的第一尺寸数据，并获取预存的第二屏幕对应的第二尺寸数据；
根据所述第一尺寸数据和所述第二尺寸数据计算所述第一屏幕和所述第二屏幕的屏幕比值；
获取所述鼠标点击操作在所述操作界面上的第一坐标；
根据所述屏幕比值和所述第一坐标，计算在所述显示界面上与所述第一坐标对应的第二坐标；
根据所述鼠标点击操作和所述第二坐标生成预设操作数据。
根据本申请的一些实施例，所述将所述控制指令发送至所述移动终端，包括：
将所述控制指令中的所述目标操作数据添加至预设的缓存队列中；
基于预设时间间隔将所述缓存队列中的所述目标操作数据发送至所述移动终端。
根据本申请的第二方面实施例的基于计算机控制移动终端的系统，包括：
连接模块：所述连接模块与移动终端建立通信连接；
获取模块：所述获取模块在所述通信连接下获取所述移动终端当前的显示界面，将所述显示界面作为操作界面；
捕捉模块：所述捕捉模块捕捉所述操作界面的预设控制操作；
指令生成模块：所述指令生成模块根据所述预设控制操作生成控制指令；
指令发送模块：所述指令发送模块将所述控制指令发送至所述移动终端，以使所述移动终端根据所述控制指令对所述显示界面进行实际控制操作。
根据本申请实施例的基于计算机控制移动终端的系统，至少具有如下有益效果：
本申请实施例的基于计算机控制移动终端的系统，包括：连接模块、获取模块、捕捉模块、指令生成模块和指令发送模块，连接模块与移动终端建立通信连接，获取模块在通信连接下获取移动终端当前的显示界面，将移动终端当前的显示界面作为计算机的操作界面，捕捉模块捕捉操作界面上的预设控制操作，指令生成模块根据捕捉到的预设控制操作生成控制指令，指令发送模块将生成的控制指令发送至移动终端，使移动终端根据控制指令对移动终端的显示界面进行实际控制操作。计算机将移动终端的显示界面投射到计算机屏幕上，作为操作界面，用户可在计算机的操作界面上进行预设控制操作，然后由计算机根据预设控制操作生成控制指令，以使终端设备根据控制指令进行实际控制操作，本申请实施例实现了计算机显示并控制移动终端的显示界面的功能，提升用户体验。
根据本申请的第三方面实施例的电子设备，包括：
至少一个处理器，以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行所述指令时实现如本申请第一方面实施例任一项所述的基于计算机控制移动终端的方法。
根据本申请的第四方面实施例的计算机可读存储介质，包括：
所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于执行如本申请第一方面实施例所述的基于计算机控制移动终端的方法。
本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
下面结合附图和实施例对本申请做进一步的说明，其中：
图1为本申请一些实施例提供的基于计算机控制移动终端的方法的第一流程图；
图2为本申请一些实施例提供的基于计算机控制移动终端的方法中步骤S100的具体流程图；
图3为本申请一些实施例提供的基于计算机控制移动终端的方法中步骤S500的具体流程图；
图4为本申请一些实施例提供的基于计算机控制移动终端的方法中步骤S510的具体流程图；
图5为本申请一些实施例提供的基于计算机控制移动终端的方法中步骤S600的具体流程图；
图6为本申请一些实施例提供的基于计算机控制移动终端的方法的第二流程图；
图7为本申请一些实施例提供的基于计算机控制移动终端的方法的具体应用流程图；
图8为本申请一些实施例提供的基于计算机控制移动终端的系统的模块结构框图。
附图说明：
连接模块100、获取模块200、捕捉模块300、指令生成模块400、指令发送模块500。
具体实施方式
下面详细描述本申请的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。
本申请的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
近年来，随着互联网技术的发展，远程协同的办公需求日渐凸显，使计算机操作移动终端的场景越来越多。目前，可以通过Airplay服务使操作系统为ios的移动终端的显示界面投射到计算机屏幕上显示，但是通过这样的方式，计算机只能投屏和显示移动终端的显示界面，不能对移动终端进行控制，导致用户体验差。
基于此，本申请提出一种计算机控制移动终端的方法、系统、电子设备及存储介质，能够使计算机与移动终端建立通信连接，并在通信连接下获取移动终端当前的显示界面，计算机将移动终端当前的显示界面作为计算机的操作界面，接着捕捉操作界面上的预设控制操作，根据捕捉到的预设控制操作生成控制指令，计算机将生成的控制指令发送至移动终端，使移动终端根据控制指令对移动终端的显示界面进行实际控制操作，计算机将移动终端的显示界面投射到计算机屏幕上，作为操作界面，用户可在计算机的操作界面上进行预设控制操作，然后由计算机根据预设控制操作生成控制指令，以使终端设备根据控制指令进行实际控制操作，本申请实施例实现了计算机显示并控制移动终端的显示界面的功能，提升用户体验。
需要说明的是，本申请实施例中所针对的计算机以个人计算机(PersonalComputer，PC)为例，移动终端以操作系统为ios的ios设备为例，用于实现PC端控制ios设备的显示界面。
第一方面，本申请实施例提供了一种基于计算机控制移动终端的方法。
参照图1，本申请一些实施例提供的基于计算机控制移动终端的方法具体包括步骤：
S100，与移动终端建立通信连接；
S200，在通信连接下获取移动终端当前的显示界面；
S300，将显示界面作为操作界面；
S400，捕捉操作界面的预设控制操作；
S500，根据预设控制操作生成控制指令；
S600，将控制指令发送至移动终端。
在步骤S100中，计算机与移动终端建立通信连接，在实际应用中，主要将PC端与ios设备建立蓝牙连接，用于收发数据。
在一些实施例中，如图2所示，步骤S100具体包括步骤：
S110，发布预设的蓝牙服务；
S120，基于蓝牙服务与移动终端的终端蓝牙进行配对；
S130，若与移动终端的终端蓝牙配对成功，则与移动终端建立通信连接。
在步骤S110中，发布预设的蓝牙服务，预设的蓝牙服务指PC端能够作为HID外设被ios设备识别，PC端只有在开启蓝牙服务后，才能与ios设备进行配对并建立通信连接，其中HID设备指的是能够直接与人交互的设备，例如键盘、鼠标、触控板和摇杆等。
在步骤S120中，基于蓝牙服务与移动终端的终端蓝牙进行配对，PC端开启蓝牙服务后，可以与移动终端对应的终端蓝牙进行配对，具体为，在PC端显示搜索到的蓝牙列表，在蓝牙列表搜索到需要连接的移动终端，并且与需要连接的移动终端的终端蓝牙进行配对。
在步骤S130中，PC端若与ios设备的终端蓝牙配对成功，则与ios设备建立通信连接，PC端若与ios设备的终端蓝牙配对失败，则说明PC端与ios端暂时还不能建立通信连接，此时需要生成异常提示，提示用户PC端与ios设备配对失败，或者提示用户PC端不支持蓝牙配对，或者提示用户ios设备不支持蓝牙配对，及时将配对情况反馈给用户，提升用户体验。
在步骤S200中，在通信连接下获取移动终端当前的显示界面，实际应用中，PC端通过蓝牙通信获取ios设备当前在屏幕上显示的显示界面。
在步骤S300中，将显示界面作为操作界面，换句话说，就是将ios设备的显示界面投屏到PC端的屏幕上，作为PC端的操作界面。
在步骤S400中，捕捉操作界面的预设控制操作，预设控制操作主要包括用户通过PC端的键盘、鼠标、触控板和摇杆等，对PC端的操作界面进行控制，例如用户通过鼠标点击操作界面的某个位置，就是其中一种预设控制操作。
在步骤S500中，根据预设控制操作生成控制指令，在实际应用中，PC端捕捉到用户在操作界面上的预设控制操作，就会根据这些操作生成控制指令，用于控制ios设备在显示界面上实现与PC端在操作界面上一致的预设控制操作，以达到PC端控制ios设备的目的。
在一些实施例中，如图3所示，步骤S500具体包括步骤：
S510，根据预设控制操作生成预设操作数据，并根据预设控制操作的操作类型获取对应的报告描述符数据；
S520，根据报告描述符数据格式化预设操作数据，得到目标操作数据；
S530，根据目标操作数据生成控制指令。
在步骤S510中，PC端根据预设控制操作生成预设操作数据，并根据预设控制操作的操作类型获取对应的报告描述符数据，在实际应用中，预设操作数据可以是用户在PC端操作时，在操作界面所产生的坐标等，报告描述符数据指的是描述本服务可以提供的功能，例如利用鼠标、键盘、触控板和摇杆等外设，可以在PC端实现蓝牙鼠标，蓝牙键盘，蓝牙触控板等外设的功能，此外，本申请实施例提到的操作类型包括键盘操作、鼠标操作、触控板操作和摇杆操作等，其中不同的功能对应不同的操作类型以及报告描述符数据，
在一些实施例中，如图4所示，步骤S510具体包括步骤：
S511，获取移动设备的第一屏幕对应的第一尺寸数据，并获取预存的第二屏幕对应的第二尺寸数据；
S512，根据第一尺寸数据和第二尺寸数据计算第一屏幕和第二屏幕的屏幕比值；
S513，获取鼠标点击操作在操作界面上的第一坐标；
S514，根据屏幕比值和第一坐标，计算在显示界面上与第一坐标对应的第二坐标；
S515，根据鼠标点击操作和第二坐标生成预设操作数据。
在步骤S511中，获取移动设备的第一屏幕对应的第一尺寸数据，并获取计算机预存的第二屏幕对应的第二尺寸数据，其中移动设备的第一屏幕指ios设备的设备屏幕，第一尺寸数据主要包括第一屏幕的长、宽等，能够反映ios设备屏幕尺寸的数据，计算机预存的第二屏幕指PC端的设备屏幕，第二尺寸数据主要包括第二屏幕的长、宽等，能够反映PC端屏幕尺寸的数据。
在步骤S512中，根据第一尺寸数据和第二尺寸数据计算第一屏幕和第二屏幕的屏幕比值，屏幕比值指PC端的屏幕尺寸与ios设备的屏幕尺寸的比值关系，具体可以将第一尺寸数据与第二尺寸数据进行对比，得到第一屏幕与第二屏幕的屏幕比值，或将第二尺寸数据与第一存储数据进行对比，得到第二屏幕与第一屏幕的屏幕比值。
在步骤S513中，假设本申请实施例提到的预设控制操作为鼠标点击操作，获取鼠标点击操作在操作界面上的第一坐标，即用户在操作界面上进行鼠标点击操作时，PC端会提取用户在点击鼠标时，鼠标在操作界面上的坐标值。
在步骤S514中，根据屏幕比值和第一坐标，计算显示界面上与第一坐标对应的第二坐标。
在步骤S515中，根据鼠标点击操作和第二坐标生成预设操作数据，具体为，根据PC端的鼠标点击操作，ios设备就能得知接下来需要执行鼠标点击操作，根据第二坐标和鼠标点击操作，ios设备就能得知接下来需要在显示界面的某一具体位置，使ios的鼠标移动到该具体位置上。
在一些实施例中，对于PC端的操作界面上捕捉到的操作数据，如鼠标操作和键盘按键。由于本申请实施例的目的是对ios设备投屏到PC端的镜像，如本申请实施例提到的操作界面进行操作，需要做到PC端点击镜像中的某个点，ios设备中的圆点在相应位置触发点击。基于此，本申请实施例提供了三种方案实现准确点击的功能，第一种：屏蔽隐藏PC端的鼠标，即将PC端的鼠标作为蓝牙鼠标使用，此时不用考虑PC端的鼠标指针与ios的圆点指针不一致问题。第二种：采集每个鼠标移动数据在ios设备中的位移，然后通过ios设备的屏幕尺寸投屏到PC端的屏幕尺寸与点击位置的坐标比值，计算出ios设备中对应的坐标，再依据从PC端采集到的鼠标的实际坐标计算出相应的所需发送的数据，使ios设备中的鼠标能移动到对应点，具体为：X镜像为PC端的镜像窗体鼠标点击位置的x坐标，W镜像为PC端中投屏镜像的宽度，X实际为所求的ios设备实际需要点击到的x坐标，W实际为ios设备的屏幕宽度，同理可以求得实际ios设备中需要点击的y坐标，求解公式为：X实际＝X镜像/W镜像×W实际，接着用采集到的位移数据，如计算鼠标移动到实际[X实际,Y实际]所需要发送的数据。第三种：通过绝对坐标鼠标的方法计算ios设备中对应的坐标。
在步骤S520中，根据报告描述符数据格式化预设操作数据，得到目标操作数据，具体为，将捕捉到的预设操作数据后，比如鼠标操作，键盘按键等，将PC端实时采集到的预设操作数据按照与预设操作数据对应的报告描述符的格式进行格式化，得到目标操作数据，其中目标操作数据为进行格式化之后的预设操作数据。
在步骤S530中，根据目标操作数据生成控制指令，ios设备依据控制指令进行相应的操作。
在步骤S600中，将控制指令发送至移动终端，以使移动终端根据控制指令对显示界面进行实际控制操作，例如，PC端在操作界面上利用鼠标点击某个控件，根据PC端相应的操作生成控制指令，将控制指令发送至移动终端，移动终端根据接收到的控制指令在ios设备的显示界面上，利用鼠标点击PC端点击到的控件，实现PC端对ios设备的控制。
在一些实施例中，如图5所示，步骤S600具体包括步骤：
S610，将控制指令中的目标操作数据添加至预设的缓存队列中；
S620，基于预设时间间隔将缓存队列中的目标操作数据发送至移动终端。
在步骤S610中，将控制指令中的目标操作数据添加至预设的缓存队列中，本申请设置预设的缓存队列的作用是为了防止频繁的读写。
在步骤S620中，基于预设时间间隔将缓存队列中的目标操作数据发送至移动终端，也就是每隔一段时间，将缓存队列中的目标操作数据提取出来，发送至移动终端，还可以根据用户需求，设置不同的提取规则。
在一些实施例中，如图6所示，本申请实施例提到的基于计算机控制移动终端的方法具体还包括步骤：
S700，根据预设的蓝牙标准，生成蓝牙标识符；
S800，根据蓝牙标识符创建蓝牙服务。
在步骤S700中，根据预设的蓝牙标准，生成蓝牙标识符，PC端需要蓝牙模块支持BLE(蓝牙低能耗，Bluetooth Low Energy)的外设角色，通过windows端的蓝牙相关属性判断PC端是否支持蓝牙功能，如果PC端支持蓝牙功能，就生成蓝牙标识符，比如UUID(通用唯一识别码，Universally Unique Identifier)，在实际应用中，由于PC端要作为外设被ios设备识别，所以蓝牙服务的UUID使用蓝牙标准已定义外设设备的UUID，例如0x1812。
在步骤S800中，根据蓝牙标识符创建蓝牙服务，例如根据蓝牙服务的UUID创建蓝牙低功耗的外设服务。
在一些实施例中，在PC端创建好低功耗的外设服务后，就创建服务提供者，接着为创建好的服务提供者添加其相关的特征，特征包含HID Information，即HID信息、ReportMap，即依据HID的SUB标准描述HID设备的操作、Hid Control Point，即指示HID的HOST状态、Report Characteristic，即为输入输出的报告特征、Protocal Mode，即PC端的协议模式。此外，本申请实施例还为PC端创建好的服务提供者添加相关读写数据请求响应回调等特征。其中，上述的Report Map特征，可以描述本服务可以提供的功能，本服务可以提供的功能如鼠标，键盘，触控板，摇杆等外设，即说明PC端能够实现蓝牙鼠标、蓝牙键盘和蓝牙触控板等外设的功能。需要说明的是，本申请实施例中蓝牙低功耗HID所用的规范是以USB的HID规范为基础的，所以本申请实施例的报告描述符基本与SUB的HID的报告描述符一致，通过上述报告描述符，可以将PC端的服务描述成可提供鼠标、键盘等外设功能，通过对服务添加各种相应的蓝牙特征可以实现对各种蓝牙外设进行模拟，例如，为某个蓝牙服务添加服务特征，将报告描述符数据作为参数放置进去，依次添加特征后，将服务广告出去，即可在目标设备的蓝牙列表搜索到目标的ios设备，接着将PC端与ios设备进行配对，配对成功后进行连接。
在一些实施例中，PC端通过上述提到的Report Characteristic向ios设备发送操作数据，ios端依据Report Map特征中的描述来解析接收到的数据，作为鼠标键盘等指令响应，从而实现PC端控制ios设备的功能。
在一些实施例中，对本申请实施例中PC端与ios设备进行数据传输的功能进行解释，本申请实施例的蓝牙HID服务有三种数据传输方式，利用到上文提供的服务特征，如Report Characteristic，即为输入输出的报告特征，其中Report Characteristic有三种报告类型：第一种报告类型为Input Reports，即输入报告，通过Input Reports可使蓝牙服务端，即PC端向ios设备发送数据；第二种报告类型为Output Reports，即输出报告，通过Output Reports可使蓝牙服务端接收ios设备发送的数据；第三种报告类型为FeatureReports，即特征报告，通过Feature Reports可开启PC端和ios设备的双向数据通道，PC端和ios设备能够互相传输数据。需要说明的是，本申请实施例所模拟的蓝牙低功耗服务端主要通过Input Reports向目标的ios设备发送数据，少部分需要通过Output Reports接收数据，如键盘的状态灯等。
在一些实施例中，本申请实施例提到的基于计算机控制移动终端的方法具体还包括步骤：若蓝牙服务发布失败，则生成异常提示，异常提示用于提示蓝牙服务发布异常。
在一些实施例中，如图7所示，PC端启动程序后发布蓝牙功能，判断PC端的蓝牙功能是否发布成功，如果PC端的蓝牙功能发布失败，则生成异常提示，提醒用户PC端不支持蓝牙服务，如果PC端的蓝牙功能发布成功，则将PC端与ios设备的蓝牙进行配对和连接，判断PC端与ios设备的蓝牙是否配对成功，如果PC端与ios设备的蓝牙是否配对失败，则生成异常提示，如果PC端与ios设备的蓝牙配对成功，则说明PC端成为蓝牙HID设备，PC端能够捕捉PC端在操作界面上的键盘或者鼠标操作，并且根据相应的操作生成HID协议数据，将HID协议数据发送至ios设备。ios设备端，首先与PC端的蓝牙进行配对，与PC端的蓝牙进行连接，判断PC端是否有HID服务，如果PC端没有HID服务，则生成异常提示，如果PC端有HID服务，则说明已经连接上HID设备，也就是PC端，接收来自PC端发送的HID协议数据，并根据HID协议数据进行界面响应，完成PC端对ios设备的控制。
在本申请实施例中，计算机与移动终端建立通信连接，并在通信连接下获取移动终端当前的显示界面，计算机将移动终端当前的显示界面作为计算机的操作界面，接着捕捉操作界面上的预设控制操作，根据捕捉到的预设控制操作生成控制指令，计算机将生成的控制指令发送至移动终端，使移动终端根据控制指令对移动终端的显示界面进行实际控制操作，计算机将移动终端的显示界面投射到计算机屏幕上，作为操作界面，用户可在计算机的操作界面上进行预设控制操作，然后由计算机根据预设控制操作生成控制指令，以使终端设备根据控制指令进行实际控制操作，本申请实施例实现了计算机显示并控制移动终端的显示界面的功能，提升用户体验。
第二方面，如图8所示，本申请实施例还提供了一种基于计算机控制移动终端的系统，包括：连接模块100、获取模块200、捕捉模块300、指令生成模块400和指令发送模块500，连接模块100与移动终端建立通信连接，获取模块200在通信连接下获取移动终端当前的显示界面，将移动终端当前的显示界面作为计算机的操作界面，捕捉模块300捕捉操作界面上的预设控制操作，指令生成模块400根据捕捉到的预设控制操作生成控制指令，指令发送模块500将生成的控制指令发送至移动终端，使移动终端根据控制指令对移动终端的显示界面进行实际控制操作。计算机将移动终端的显示界面投射到计算机屏幕上，作为操作界面，用户可在计算机的操作界面上进行预设控制操作，然后由计算机根据预设控制操作生成控制指令，以使终端设备根据控制指令进行实际控制操作，本申请实施例实现了计算机显示并控制移动终端的显示界面的功能，提升用户体验。
第三方面，本申请实施例还提供了一种电子设备。
在一些实施例中，电子设备包括：至少一个处理器，以及与至少一个处理器通信连接的存储器；其中，存储器存储有指令，指令被至少一个处理器执行，以使至少一个处理器执行指令时实现本申请实施例中任一项基于计算机控制移动终端的方法。
处理器和存储器可以通过总线或者其他方式连接。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序，如本申请实施例描述的基于计算机控制移动终端的方法。处理器通过运行存储在存储器中的非暂态软件程序以及指令，从而实现上述的基于计算机控制移动终端的方法。
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储执行上述基于计算机控制移动终端的方法。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，比如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
实现上述的基于计算机控制移动终端的方法所需的非暂态软件程序以及指令存储在存储器中，当被一个或者多个处理器执行时，执行上述第一方面实施例中提到的基于计算机控制移动终端的方法。
第四方面，本申请实施例还提供了计算机可读存储介质。
在一些实施例中，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于执行第一方面实施例中提到的基于计算机控制移动终端的方法。
在一些实施例中，该存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个控制处理器执行，比如，被上述电子设备中的一个处理器执行，可使得上述一个或多个处理器执行上述基于计算机控制移动终端的方法。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
上面结合附图对本申请实施例作了详细说明，但是本申请不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本申请宗旨的前提下作出各种变化。此外，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
Claims (10)
1.基于计算机控制移动终端的方法，其特征在于，包括：
与移动终端建立通信连接；
在所述通信连接下获取所述移动终端当前的显示界面；
将所述显示界面作为操作界面；
捕捉所述操作界面的预设控制操作；
根据所述预设控制操作生成控制指令；
将所述控制指令发送至所述移动终端，以使所述移动终端根据所述控制指令对所述显示界面进行实际控制操作。
2.根据权利要求1所述的基于计算机控制移动终端的方法，其特征在于，所述与移动终端建立通信连接，包括：
发布预设的蓝牙服务；
基于所述蓝牙服务与移动终端的终端蓝牙进行配对；
若与所述移动终端的所述终端蓝牙配对成功，则与所述移动终端建立通信连接。
3.根据权利要求2所述的基于计算机控制移动终端的方法，其特征在于，所述方法还包括：
若所述蓝牙服务发布失败，则生成异常提示，所述异常提示用于提示所述蓝牙服务发布异常。
4.根据权利要求2所述的基于计算机控制移动终端的方法，其特征在于，所述方法还包括：创建蓝牙服务；
所述创建蓝牙服务，包括：
根据预设的蓝牙标准，生成蓝牙标识符；
根据所述蓝牙标识符创建蓝牙服务。
5.根据权利要求1所述的基于计算机控制移动终端的方法，其特征在于，所述根据所述预设控制操作生成控制指令，包括：
根据所述预设控制操作生成预设操作数据，并根据所述预设控制操作的操作类型获取对应的报告描述符数据；
根据所述报告描述符数据格式化所述预设操作数据，得到目标操作数据；
根据所述目标操作数据生成控制指令。
6.根据权利要求5所述的基于计算机控制移动终端的方法，其特征在于，所述预设控制操作为鼠标点击操作；
对应的，所述根据所述预设控制操作生成预设操作数据，包括：
获取所述移动设备的第一屏幕对应的第一尺寸数据，并获取预存的第二屏幕对应的第二尺寸数据；
根据所述第一尺寸数据和所述第二尺寸数据计算所述第一屏幕和所述第二屏幕的屏幕比值；
获取所述鼠标点击操作在所述操作界面上的第一坐标；
根据所述屏幕比值和所述第一坐标，计算在所述显示界面上与所述第一坐标对应的第二坐标；
根据所述鼠标点击操作和所述第二坐标生成预设操作数据。
7.根据权利要求5所述的基于计算机控制移动终端的方法，其特征在于，所述将所述控制指令发送至所述移动终端，包括：
将所述控制指令中的所述目标操作数据添加至预设的缓存队列中；
基于预设时间间隔将所述缓存队列中的所述目标操作数据发送至所述移动终端。
8.基于计算机控制移动终端的系统，其特征在于，包括：
连接模块：所述连接模块与移动终端建立通信连接；
获取模块：所述获取模块在所述通信连接下获取所述移动终端当前的显示界面，将所述显示界面作为操作界面；
捕捉模块：所述捕捉模块捕捉所述操作界面的预设控制操作；
指令生成模块：所述指令生成模块根据所述预设控制操作生成控制指令；
指令发送模块：所述指令发送模块将所述控制指令发送至所述移动终端，以使所述移动终端根据所述控制指令对所述显示界面进行实际控制操作。
9.电子设备，其特征在于，包括：
至少一个处理器，以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行所述指令时实现如权利要求1至7任一项所述的基于计算机控制移动终端的方法。
10.计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于执行如权利要求1至7任一项所述的基于计算机控制移动终端的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110740211.9A CN113391782A (zh) | 2021-06-30 | 2021-06-30 | 计算机控制移动终端的方法、系统、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110740211.9A CN113391782A (zh) | 2021-06-30 | 2021-06-30 | 计算机控制移动终端的方法、系统、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113391782A true CN113391782A (zh) | 2021-09-14 |
Family
ID=77624745
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110740211.9A Pending CN113391782A (zh) | 2021-06-30 | 2021-06-30 | 计算机控制移动终端的方法、系统、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113391782A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114003139A (zh) * | 2021-10-27 | 2022-02-01 | 北京乐驾科技有限公司 | 车载设备操作方法以及装置、存储介质、电子装置 |
| CN114637571A (zh) * | 2022-05-18 | 2022-06-17 | 深圳麦风科技有限公司 | 电脑终端控制ios终端方法、装置、智能终端及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120075204A1 (en) * | 2010-09-27 | 2012-03-29 | Google Inc. | Using a Touch-Sensitive Display of a Mobile Device with a Host Computer |
| CN106873846A (zh) * | 2016-12-29 | 2017-06-20 | 北京奇虎科技有限公司 | 一种pc端控制移动设备的方法及系统 |
| CN109407882A (zh) * | 2018-09-13 | 2019-03-01 | 深圳市天英联合教育股份有限公司 | 触点轨迹平滑的方法、装置、设备和存储介质 |
| CN109426430A (zh) * | 2017-09-05 | 2019-03-05 | 中兴通讯股份有限公司 | 触摸消息融合方法及终端、计算机可读存储介质 |
| CN110018754A (zh) * | 2019-04-10 | 2019-07-16 | 北京硬壳科技有限公司 | 传输触控数据的方法和触控显示设备 |
| CN110169079A (zh) * | 2017-02-06 | 2019-08-23 | 惠普发展公司，有限责任合伙企业 | 在信宿设备上的源设备的媒体内容控制 |
| CN112468863A (zh) * | 2020-11-24 | 2021-03-09 | 北京字节跳动网络技术有限公司 | 投屏控制方法、设备及电子设备 |
| CN113050841A (zh) * | 2019-12-26 | 2021-06-29 | 华为技术有限公司 | 显示多窗口的方法、电子设备和系统 |
-
2021
- 2021-06-30 CN CN202110740211.9A patent/CN113391782A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120075204A1 (en) * | 2010-09-27 | 2012-03-29 | Google Inc. | Using a Touch-Sensitive Display of a Mobile Device with a Host Computer |
| CN106873846A (zh) * | 2016-12-29 | 2017-06-20 | 北京奇虎科技有限公司 | 一种pc端控制移动设备的方法及系统 |
| CN110169079A (zh) * | 2017-02-06 | 2019-08-23 | 惠普发展公司，有限责任合伙企业 | 在信宿设备上的源设备的媒体内容控制 |
| CN109426430A (zh) * | 2017-09-05 | 2019-03-05 | 中兴通讯股份有限公司 | 触摸消息融合方法及终端、计算机可读存储介质 |
| CN109407882A (zh) * | 2018-09-13 | 2019-03-01 | 深圳市天英联合教育股份有限公司 | 触点轨迹平滑的方法、装置、设备和存储介质 |
| CN110018754A (zh) * | 2019-04-10 | 2019-07-16 | 北京硬壳科技有限公司 | 传输触控数据的方法和触控显示设备 |
| CN113050841A (zh) * | 2019-12-26 | 2021-06-29 | 华为技术有限公司 | 显示多窗口的方法、电子设备和系统 |
| CN112468863A (zh) * | 2020-11-24 | 2021-03-09 | 北京字节跳动网络技术有限公司 | 投屏控制方法、设备及电子设备 |
Non-Patent Citations (1)
| Title |
|---|
| 向守超 等: "《Android程序设计教程》", 31 October 2019 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114003139A (zh) * | 2021-10-27 | 2022-02-01 | 北京乐驾科技有限公司 | 车载设备操作方法以及装置、存储介质、电子装置 |
| CN114637571A (zh) * | 2022-05-18 | 2022-06-17 | 深圳麦风科技有限公司 | 电脑终端控制ios终端方法、装置、智能终端及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4235300B2 (ja) | 通信システム | |
| KR101733115B1 (ko) | 원격 스크린내 콘텐츠 원격 제어 방법 및 장치 | |
| US20060103508A1 (en) | Remote-control system, remote-control apparatus, apparatus to be controlled, remote-control method, computer program, and storage medium | |
| US11334449B2 (en) | Information processing apparatus, update control method, and information processing system | |
| US11909847B2 (en) | Information processing apparatus, information processing system, information processing method and recording medium | |
| CN113391782A (zh) | 计算机控制移动终端的方法、系统、电子设备及存储介质 | |
| WO2014090016A1 (zh) | 设备控制方法与移动通信终端 | |
| CN104038527A (zh) | 远程操作方法和系统 | |
| JP6035971B2 (ja) | 情報処理装置、プログラム及び画像処理システム | |
| CN111078104B (zh) | 一种云桌面上的多点触控设备的重定向方法及计算机设备 | |
| US20210092170A1 (en) | Communication terminal, communication system, and method of sharing data | |
| CN108351774A (zh) | 信息处理装置、通信系统和信息处理方法 | |
| JP2016139322A (ja) | 画像処理装置及びそれを備えた電子黒板 | |
| CN109298806A (zh) | 一种基于对象识别的远程快速界面交互方法及装置 | |
| CN110750319A (zh) | 一种会议平板交互方法、装置和会议平板 | |
| EP3156895A1 (en) | Image processing apparatus and image processing system | |
| Huang et al. | Remote mobile test system: a mobile phone cloud for application testing | |
| CN109753315A (zh) | 一种智能设备交互式内容编辑实现方法及存储介质 | |
| US9960924B2 (en) | Conference system, server, and computer-readable medium storing conference information generation program | |
| US10148708B2 (en) | Electronic information terminal, image processing apparatus, and information processing method | |
| US7836461B2 (en) | Computer interface system using multiple independent hardware and virtual human-computer input devices and related enabling subroutines | |
| CN114422236B (zh) | 一种智能设备的访问方法、装置和电子设备 | |
| CN105468206B (zh) | 交互演示方法和设备 | |
| CN116149769A (zh) | 基于远程窗口的虚拟应用系统及方法 | |
| CN113316011B (zh) | 电子白板系统的控制方法、系统、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20211123 Address after: 518000 1001, block D, building 5, software industry base, Yuehai street, Nanshan District, Shenzhen City, Guangdong Province Applicant after: Shenzhen Wanxing Software Co.,Ltd. Address before: 518000 1002, block D, building 5, software industry base, Yuehai street, Nanshan District, Shenzhen City, Guangdong Province Applicant before: SHENZHEN SIBO TECHNOLOGY Co.,Ltd. |
|
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210914 |