CN115134523A - 远程控制方法、装置、操作终端、控制设备和存储介质 - Google Patents
远程控制方法、装置、操作终端、控制设备和存储介质 Download PDFInfo
- Publication number
- CN115134523A CN115134523A CN202210700388.0A CN202210700388A CN115134523A CN 115134523 A CN115134523 A CN 115134523A CN 202210700388 A CN202210700388 A CN 202210700388A CN 115134523 A CN115134523 A CN 115134523A
- Authority
- CN
- China
- Prior art keywords
- equipment
- display screen
- user operation
- indication information
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 86
- 238000004590 computer program Methods 0.000 claims description 17
- 238000004891 communication Methods 0.000 claims description 10
- 230000009471 action Effects 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000003058 natural language processing Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 6
- 230000002159 abnormal effect Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Selective Calling Equipment (AREA)
Abstract
本申请公开了远程控制方法、装置、操作终端、控制设备和存储介质，涉及自然语言处理、计算机视觉和智能硬件控制技术领域。具体实现方案为：获取第一设备显示屏的拍摄数据，根据拍摄数据展示显示画面，在接收到用户操作的情况下，在显示画面中确定用户操作的第一操作位置，根据用户操作的触控持续时间和/或触控轨迹，确定用户操作的操作类型，根据第一操作位置和用户操作的操作类型，控制第二设备在第一设备对应的第二操作位置上，依据操作类型执行用户操作，通过被控设备外置的摄像头等装置，无需在被控设备内部运行远程控制软件，同时在被控设备系统状态异常的情况下，仍可实现远程控制，提高了远程控制的可靠性。
Description
技术领域
本申请涉及人工智能技术领域，尤其涉及自然语言处理、计算机视觉和智能硬件控制技术领域，具体涉及远程控制方法、装置、操作终端、控制设备和存储介质。
背景技术
在日常工作、生活中有很多场景中需要远程操作手机、电脑、车机屏幕等智能设备，更需要我们具备这种远程控制的能力，使得远程协助、远程办公等成为可能。同时，在不同场景和环境下，均需要实现远程控制。
因此，如何提高远程控制的可靠性是亟待解决的问题。
发明内容
本申请提供了一种远程控制方法、装置、操作终端、控制设备和存储介质，提高了远程控制的可靠性。
根据本申请的一方面，提供了一种远程控制方法，包括以下步骤：
获取第一设备显示屏的拍摄数据；
根据所述拍摄数据，展示显示画面；
在接收到用户操作的情况下，在所述显示画面中确定所述用户操作的第一操作位置；
根据所述用户操作的触控持续时间和/或触控轨迹，确定所述用户操作的操作类型；
根据所述第一操作位置和所述用户操作的操作类型，控制所述第二设备在所述第一设备对应的第二操作位置上，依据所述操作类型执行操作。
根据本申请的另一方面，提供了一种远程控制方法，包括以下步骤：
控制图像采集设备对第一设备的显示屏进行拍摄，以得到拍摄数据；
将所述拍摄数据发送至操作终端以展示显示画面；
根据所述操作终端探测到的用户操作在所述显示画面中的第一操作位置，以及所述用户操作的类型，控制所述第二设备在所述第一设备对应的第二操作位置上，依据所述操作类型执行操作。
根据本申请的另一方面，提供了一种远程控制装置，包括：
获取模块，用于获取第一设备显示屏的拍摄数据；
展示模块，用于根据所述拍摄数据，展示显示画面；
第一确定模块，用于在接收到用户操作的情况下，在所述显示画面中确定所述用户操作的第一操作位置；
第二确定模块，用于根据所述用户操作的触控持续时间和/或触控轨迹，确定所述用户操作的操作类型；
控制模块，用于根据所述第一操作位置和所述用户操作的操作类型，控制所述第二设备在所述第一设备对应的第二操作位置上，依据所述操作类型执行操作。
根据本申请的另一方面，提供了另一种远程控制装置，包括：
第一控制模块，用于控制图像采集设备对第一设备的显示屏进行拍摄，以得到拍摄数据；
发送模块，用于将所述拍摄数据发送至操作终端以展示显示画面；
第二控制模块，用于根据所述操作终端探测到的用户操作在所述显示画面中的第一操作位置，以及所述用户操作的类型，控制所述第二设备在所述第一设备对应的第二操作位置上，依据所述操作类型执行操作。
根据本申请的另一方面，提供了一种操作终端，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述一方面所述的方法。
根据本申请的另一方面，提供了一种控制设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行另一方面所述的方法。
根据本申请的另一方面，提供了一种远程控制系统，包括：
至少一如前述一方面所述的操作终端；
至少一如前述一方面所述的控制设备；
其中，所述控制设备与图像采集设备和第二设备连接；
所述图像采集设备，用于对第一设备的显示屏进行拍摄；
所述第二设备，设置于第一设备外部，用于对所述第一设备模拟执行用户操作。
根据本申请的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据上述实施例所述的方法的步骤。
根据本申请的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现上述实施例所述方法的步骤。
应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1为本申请实施例提供的一种远程控制方法的流程示意图；
图2为本申请实施例提供的另一种远程控制方法的流程示意图；
图3为本申请实施例提供的另一种远程控制方法的流程示意图；
图4为本申请实施例提供的另一种远程控制方法的流程示意图；
图5为本申请实施例提供的另一种远程控制方法的流程示意图；
图6为本申请实施例提供的另一种远程控制方法的流程示意图；
图7为本申请实施例提供的一种远程控制系统的结构示意图；
图8为本申请实施例提供的另一种远程控制系统的结构示意图；
图9为本申请实施例提供的一种远程控制装置的结构示意图；
图10为本申请实施例提供的另一种远程控制装置的结构示意图；
图11为本申请的实施例提供的示例操作终端的结构框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
下面参考附图描述本申请实施例的远程控制方法、装置、操作终端、控制设备和存储介质。
图1为本申请一实施例提供的远程控制方法的流程示意图。
本申请实施例的远程控制方法，可以由本申请实施例的操作终端执行，该装置可以配置于操作终端中，其中，操作终端可以为任一具有计算能力的设备，例如可以为个人电脑、移动终端、服务器等，移动终端例如可以为车载设备、手机、平板电脑、个人数字助理、穿戴式设备等具有各种操作系统、触摸屏和/或显示屏的硬件设备。
如图1所示，该方法包含以下步骤：
步骤101，获取第一设备显示屏的拍摄数据。
其中，第一设备，即为远程控制的对象，第一设备可以为操作终端，操作终端可以为任一具有计算能力的设备，例如可以为个人电脑、移动终端、服务器等，移动终端例如可以为车载设备、手机、平板电脑、个人数字助理、穿戴式设备等具有各种操作系统、触摸屏和/或显示屏的硬件设备。
本申请实施例中，第一设备的显示屏显示有显示画面，图像采集设备对第一设备的显示屏进行拍摄得到拍摄数据，即第一设备显示的显示画面，显示画面为需要进行远程控制的界面。其中，图像采集设备可以为图像传感器。
需要说明的是，本申请实施例的信息和数据的获取，均是在经过授权的情况下进行获取的，所涉及的信息和数据的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
步骤102，根据拍摄数据，展示显示画面。
本申请实施例中，操作终端可以获取图像采集设备采集的拍摄数据，并通过运行设定的应用程序或浏览器展示拍摄数据对应的显示画面。
步骤103，在接收到用户操作的情况下，在显示画面中确定用户操作的第一操作位置。
本申请实施例中，操作终端的显示屏可以为触控屏幕，在触控屏幕上展示有显示画面，同时操作终端会探测用户操作，在接收到用户操作的情况下，根据显示屏上探测到用户操作的位置，根据展示画面在显示屏中显示的占比关系，在显示画面中确定用户操作的第一操作位置。作为一种实现方式，可基于操作终端的触控屏幕建立屏幕坐标系，从而可确定该触控屏幕上的任意位置，进而在探测到用户操作时，可确定用户操作的第一操作位置。其中，用户操作可以为点击操作、滑动操作、按压操作等，本实施例中不进行限定。
步骤104，根据用户操作的触控持续时间和/或触控轨迹，确定用户操作的操作类型。
作为一种实现方式，根据用户操作的触控持续时间，确定用户操作的操作类型，例如，点击操作，包含长按或短按的点击操作类型，按压操作类型等。
作为另一种实现方式，根据用户操作的触控轨迹，确定用户操作的操作类型，例如，滑动操作类型、拖动操作类型等。
作为又一种实现方式，根据用户操作的触控持续时间和触控轨迹，确定用户操作的操作类型。
步骤105，根据第一操作位置和用户操作的操作类型，控制第二设备在第一设备对应的第二操作位置上，依据操作类型执行操作。
本申请实施例中，确定了在操作终端中的第一操作位置和用户操作的操作类型后，可控制第一设备外部设置的第二设备，在第一设备对应的第二操作位置上依据操作类型模拟执行用户操作。其中，第二设备为操作装置，操作装置例如为机器人或机械臂，在机器人或机械臂上安装有操作组件，操作组件例如为触控笔，操作组件可模拟用户的手执行用户操作。
其中，操作终端中的第一操作位置和第一设备的第二操作位置具有对应关系，也就是说在操作终端中的第一操作位置上执行远程的用户操作，就等同于在第一设备的第二操作位置上执行同样的用户操作，例如，操作终端中第一操作位置的按压按钮A 被按压后，则被控制的第一设备上第二操作位置的按压按钮A则被按压，实现了远程控制，同时不受第一设备系统状态和网络状态的异常的影响，提高了远程控制的可靠性和鲁棒性。
本申请实施例的远程控制方法中，获取第一设备显示屏的拍摄数据，根据拍摄数据展示显示画面，在接收到用户操作的情况下，在显示画面中确定用户操作的第一操作位置，根据用户操作的触控持续时间和/或触控轨迹，确定用户操作的操作类型，根据第一操作位置和用户操作的操作类型，控制第二设备在第一设备对应的第二操作位置上，依据操作类型执行用户操作，通过被控设备外置的摄像头等装置，无需在被控设备内部运行远程控制软件，同时在被控设备系统状态异常的情况下，仍可实现远程控制，提高了远程控制的可靠性。
为了实现上述实施例，本申请实施例还提出一种远程控制方法的可能的实现方式，图2为本申请实施例提供的另一种远程控制方法的流程示意图，如图2所示，该方法包含以下步骤：
步骤201，获取第一设备显示屏的拍摄数据。
步骤202，根据拍摄数据，展示显示画面。
步骤203，在接收到用户操作的情况下，在显示画面中确定用户操作的第一操作位置。
步骤204，根据用户操作的触控持续时间和/或触控轨迹，确定用户操作的操作类型。
其中，步骤201至步骤204可参照前述实施例中的解释说明，原理相同，本实施例中不再限定。
步骤205，根据用户操作的操作类型，确定对应的目标事件标识。
本申请实施例中，各个用户操作的操作类型，都具有对应的事件标识，作为一种实现方式，将操作类型包装成对应的目标事件标识，便于后续将目标事件标识发送至服务器。从而，根据确定的用户操作的操作类型，可确定对应的目标事件标识，其中，目标事件标识，是指操作终端监测到的用户操作的操作类型对应的事件标识。
作为一种示例，操作终端探测到用户操作的操作类型为点击开机的类型，则确定点击开机的操作类型对应的目标事件标识为指示开机的标识。
步骤206，根据第一操作位置在显示画面中的相对位置，确定第一操作位置的第一位置坐标。
本申请实施例的一种实现方式中，对显示画面进行边框识别，以从显示画面中确定与第一设备的显示屏对应的目标区域。作为一种实现方式，可采用训练完成的图像识别模型，对显示画面进行边框识别，以识别得到显示画面中第一设备的显示屏对应的目标区域，这是因为，操作终端展示的显示画面，是图像采集设备对第一设备的显示屏进行拍摄所得到的显示画面，从而拍摄得到的显示画面中可能不仅包含显示屏对应的目标区域，还包含第一设备的显示屏的边缘以及显示屏边缘以外的显示内容，因此，需要从显示画面中确定与第一设备的显示屏对应的目标区域，以去除干扰信息，以提高后续第一操作位置确定的准确性。进而，基于目标区域建立第一图像坐标系，其中，第一图像坐标系是以目标区域中默认位置为坐标原点，以目标区域的至少一边距离坐标原点的距离为单位长度建立的，也就是说目标区域的至少一边距离坐标原点的距离为单位长度，例如，目标区域的一边距离坐标原点的距离为20厘米，则将20 厘米作为一个单位长度，即第一操作位置的坐标就是指示在第一图像坐标系中的相对位置，从而，在第一图像坐标系中，可确定第一操作位置的第一位置坐标。由于需要将第一操作位置的第一坐标位置映射为第一设备的显示屏对应的目标区域中的第二操作位置的第二位置坐标，因此通过识别确定显示画面中第一设备的显示屏对应的目标区域，在目标区域中建立坐标系以确定第一操作位置的第一位置坐标，可提高后续第一设备中第二操作位置的第二位置坐标的准确性，从而提高远程控制的准确性。
步骤207，根据目标事件标识和第一位置坐标，生成第一指示信息。
其中，第一指示信息，包含第一位置坐标和目标事件标识。
步骤208，向服务器发送第一指示信息。
其中，第一指示信息，用于指示服务器向第二设备的控制设备发送对应的第二指示信息。
其中，服务器，可以为设置在云端的服务器，也可以为设置在本地的服务器，服务器可以为单一服务器，也可以为服务器集群，本实施例中不进行限定。
本申请实施例的一种实现方式中，将第一指示信息发送至服务器，具体可通过无线网络将第一指示信息发送至服务器，例如wifi、4G、5G网络等，从而服务器根据第一指示信息中包含的第一位置坐标和目标事件标识，生成第二指示信息，并将第二指示信息发送至第二设备的控制设备，其中，第二指示信息中携带有第一位置坐标对应的第二位置坐标，其中，第二位置坐标用于指示第一设备的显示屏中的第二操作位置。从而使得控制设备根据第二指示信息控制第二设备在第一设备对应的第二操作位置上，依据操作类型模拟执行用户操作。通过将第一指示信息发送至服务器，通过服务器来计算确定第一位置坐标对应的第二位置坐标，即生成第二指示信息，实现了将算力布置在服务器端，降低了本地设备运算的压力，提高了运算效率。
本申请实施例的另一种实现方式中，将第一指示信息发送至服务器，从而服务器将第一指示信息转发至第二设备的控制设备，也就是说第一指示信息和第二指示信息相同，进而可在控制设备中根据第一指示信息，生成第二指示信息，控制设备中生成的第二指示信息中携带有第一位置坐标对应的第二位置坐标，其中，第二位置坐标用于指示第一设备的显示屏中的第二操作位置。从而使得控制设备根据第二指示信息控制第二设备在第一设备对应的第二操作位置上，依据操作类型模拟执行用户操作。通过第二设备的控制设备来计算确定第一位置坐标对应的第二位置坐标，降低了操作终端运算的压力，提高了运算效率。
本申请实施例中，根据用户操作的操作类型，确定对应的目标事件标识，确定操作终端中用户操作的第一操作位置对应的第一位置坐标，并将用户操作对应的目标事件标识和第一位置坐标，生成第一指示信息，向服务器发送第一指示信息，以使得服务器将第一指示信息转化为第二设备的控制设备对应的第二指示信息，进而，根据第二指示信息指示的第二操作位置和操作类型，控制第一设备外部设置的第二设备在第一设备对应的第二操作位置上，依据操作类型模拟执行用户操作，实现了通过第一设备外置的摄像头等装置，无需在第一设备内部运行远程控制软件，即可实现远程控制。同时，可适用于远程第一设备存在运行异常，或者，其能力不支持这种相关软件运行的情况，也无需人工到现场进行控制，提高了远程控制的可靠性。
基于上述实施例，本申请实施例还提出一种远程控制方法的可能的实现方式，图3为本申请实施例提供的另一种远程控制方法的流程示意图，如图3所示，该方法包含以下步骤：
步骤301，获取第一设备显示屏的拍摄数据。
步骤302，根据拍摄数据，展示显示画面。
步骤303，在接收到用户操作的情况下，在显示画面中确定用户操作的第一操作位置。
步骤304，根据用户操作的触控持续时间和/或触控轨迹，确定用户操作的操作类型。
其中，步骤301至步骤304可参照前述实施例中的解释说明，原理相同，本实施例中不再限定。
步骤305，根据用户操作的操作类型，确定对应的目标事件标识。
具体的，可参照前述实施例中解释说明，原理相同，本实施例中不再赘述。
步骤306，根据第一操作位置在显示画面中的相对位置，以及第一设备的显示屏尺寸，确定对应的第二操作位置在第一设备的显示屏上的第三位置坐标。
本申请实施例中，对显示画面进行边框识别，以从显示画面中确定与第一设备的显示屏对应的目标区域，作为一种实现方式，可通过边缘识别算法识别得到显示屏的边框对应的目标区域；作为另一种实现方式，可以通过训练得到的边缘识别模型，识别得到显示屏的边框，进而确定边框内的目标区域。进而，根据第一操作位置在显示画面中的相对位置，确定第一操作位置在目标区域中的相对位置，具体来说，目标区域在显示画面中的位置已经确定，也就是说目标区域相对于显示画面的位置已经确定，根据第一操作在显示画面中的相对位置和目标区域相对于显示画面的位置，可以确定第一操作位置在目标区域中的相对位置。进而，根据第一操作位置在目标区域中的相对位置，以及第一设备的显示屏尺寸，确定对应的第二操作位置在第一设备的显示屏上的第三位置坐标，具体来说，根据第一设备的显示屏尺寸和目标区域在显示画面中的尺寸大小，可确定第一设备的显示屏尺寸和显示画面中目标区域的尺寸间的映射关系，根据该映射关系和第一操作位置在目标区域中的相对位置，可确定对应的第二操作位置在第一设备的显示屏上的第三位置坐标，通过边框识别确定显示画面中与显示屏对应的目标区域，以确定第一操作位置在显示屏对应的目标区域中的相对位置，提高了相对位置确定的准确性，进而根据第一设备的显示屏尺寸，确定第一设备的显示屏上的第三位置坐标，提高了显示屏上第三位置坐标的准确性。
步骤307，根据目标事件标识和第三位置坐标，生成第三指示信息。
其中，第三指示信息的生成方式，可参照前述实施例中的第二指示信息的说明，原理相同，此处不再赘述。
步骤308，通过服务器向第二设备的控制设备发送第三指示信息。
本申请实施例中，通过服务器向第二设备的控制设备发送第三指示信息，第三指示信息中包含了目标事件标识和第三位置坐标，目标事件标识指示了第二设备要执行的目标操作的目标操作类型，第三位置坐标指示了第二设备执行目标操作的目标操作类型对应的位置。其中，第三位置坐标是第二设备对应的第二操作位置在第一设备的显示屏上的位置坐标，在第二设备的控制设备控制第二设备执行对应的目标操作之前，需要将第三位置坐标转化至第二设备对应的坐标系中，以便于第二设备可识别出执行目标操作的位置，实现对应的目标操作。作为一种实现方式，根据第二设备的坐标系与第一设备的显示屏的坐标系之间的转换关系，确定第二操作位置在第二设备的坐标系中的目标位置，根据目标位置和操作类型，向第二设备发送动作指令，以使得第二设备执行该动作指令，实现对第一设备的远程操作，而在操作终端中根据图像采集装置实时采集的图像中也可以看到对应的操作效果，实现了把用户在远程操作终端的操作复制到第一设备实现远程操控。
本申请实施例中，根据用户操作的操作类型，确定对应的目标事件标识，根据所述第一操作位置在所述显示画面中的相对位置，以及第一设备的显示屏尺寸，确定对应的第二操作位置在第一设备的显示屏上的第三位置坐标，根据目标事件标识和第三位置坐标，生成第三指示信息，通过服务器向第二设备的控制设备发送第三指示信息，实现了在操作终端将第一操作位置映射至第一设备的显示屏上的第二操作位置的第三位置坐标，进而通过服务器将第三指示信息转发至第二设备的控制设备，减少了操作终端和服务器间的数据传输量，避免了数据丢失导致的第三位置坐标无法计算或计算不准的问题，提高了第三位置坐标确定的效率和的准确性，提高了控制效率。
基于上述实施例，本申请实施例还提出一种远程控制方法的可能的实现方式，图4为本申请实施例提供的另一种远程控制方法的流程示意图，如图4所示，该方法包含以下步骤：
步骤401，向服务器发送远程控制请求。
其中，远程控制请求，用于触发服务器从多台候选终端中确定空闲的第一设备，以及启动第一设备对应的图像采集设备和第二设备。
例如，候选终端为4个，其中，3个已经被对应的操作终端控制，则将剩余的未被控制的空闲终端作为第一设备，并启动该第一设备对应的图像采集设备采集该第一设备的图像，并启动第二设备以使得第二设备后续根据确定的第三位置坐标对第一设备进行操作。
步骤402，获取第一设备显示屏的拍摄数据。
步骤403，根据拍摄数据，展示显示画面。
步骤404，在接收到用户操作的情况下，在显示画面中确定用户操作的第一操作位置。
步骤405，根据用户操作的触控持续时间和/或触控轨迹，确定用户操作的操作类型。
步骤406，根据第一操作位置和用户操作的操作类型，控制第二设备在第一设备对应的第二操作位置上，依据操作类型执行操作。
其中，步骤402至步骤406可参照前述实施例中的解释说明，原理相同，本实施例中不再赘述。
本申请实施例中，向服务器发送远程控制请求，触发服务器从多台候选终端中确定空闲的第一设备，以及启动第一设备对应的图像采集设备和第二设备，避免了操作终端对非空闲的终端的控制，导致多个操作终端对一个终端进行控制，造成控制混乱，通过服务器确定空闲的终端并进行控制，提高了控制的准确性和效率。
为了实现上述实施例，本申请实施例还提出一种远程控制方法的可能的实现方式，图5为本申请实施例提供的另一种远程控制方法的流程示意图，该方法的执行主体为控制设备，如图5所示，该方法包含以下步骤：
步骤501，控制图像采集设备对第一设备的显示屏进行拍摄，以得到拍摄数据。
步骤502，将拍摄数据发送至操作终端以展示显示画面。
步骤503，根据操作终端探测到的用户操作在显示画面中的第一操作位置，以及用户操作的类型，控制第二设备在第一设备对应的第二操作位置上，依据操作类型执行操作。
其中，步骤501至步骤503可参照前述实施例中的解释说明，原理相同，本实施例中不再赘述。
本申请实施例的远程控制方法中，通过被控设备外置的摄像头等装置，无需在被控设备内部运行远程控制软件，同时在被控设备系统状态异常的情况下，根据操作终端探测到的用户操作在显示画面中的第一操作位置，以及用户操作的类型，控制第一设备外部设置的第二设备在第一设备对应的第二操作位置上，依据操作类型模拟执行用户操作，即可实现远程控制，提高了远程控制的可靠性。
需要说明的是前述实施例中的相关解释说明和有益效果，也适用于本实施例中，本实施例中不再赘述。
基于上述实施例，本申请实施例还提出一种远程控制方法的可能的实现方式，图6为本申请实施例提供的另一种远程控制方法的流程示意图，该方法的执行主体为控制设备，如图6所示，该方法包含以下步骤：
步骤601，向服务器发送空闲状态的指示信息。
其中，空闲状态的指示信息用于服务器从多台候选终端中确定空闲的第一设备。
作为一种实现方式，在第一设备为至少一个时，若控制设备在设定时长内未控制第二设备在第一设备上模拟执行用户操作，则控制该第一设备进入空闲状态，实现了对第一设备的确定。
步骤602，在服务器的控制下启动第一设备对应的图像采集设备和第二设备。
步骤603，控制图像采集设备对第一设备的显示屏进行拍摄，以得到拍摄数据。
步骤604，将拍摄数据发送至操作终端以展示显示画面。
步骤605，接收服务器发送的指示信息。
其中，所述指示信息，是所述服务器根据操作终端发送的第一指示信息生成的第二指示信息，或者，是操作终端通过所述服务器发送的第三指示信息。
步骤606，根据指示信息中携带的位置坐标，确定第一设备的显示屏中的第二操作位置。
步骤607，根据指示信息中携带的目标事件标识，确定用户操作的操作类型。
步骤608，控制第二设备在第一设备对应的第二操作位置上，依据操作类型执行操作。
本申请实施例中，根据第二设备的坐标系与第一设备的显示屏的坐标系之间的转换关系，确定第二操作位置在第二设备的坐标系中的目标位置，实现将第一设备的显示屏的坐标转换至第二设备的坐标系，便于第二设备对待操作的位置的定位。作为一种实现方式，可以手动控制第二设备移动到第一设备的显示屏的任意三个角，读取第二设备的三维坐标，从而可以建立第二设备坐标系和第一设备的显示屏坐标系之间的转换关系，完成标定过程。
进而根据目标位置和操作类型，向第二设备发送动作指令，以使得第二设备准确执行该动作指令，实现远程控制，提高远程控制的效率，降低远程控制的成本。
需要说明的是前述实施例中的相关解释说明和有益效果，也适用于本实施例中，本实施例中不再赘述。
基于上述实施例，本申请实施例还提出一种远程控制系统的可能的实现方式，图7为本申请实施例提供的一种远程控制系统的结构示意图，如图7所示，该系统包括：操作终端71、控制设备72、图像采集设备73、第二设备74、第一设备75。
操作终端71，用于执行图1-4对应实施例的方法。
控制设备72，用于执行图5-6对应实施例的方法。
其中，控制设备72与图像采集设备73和第二设备74连接。
图像采集设备73，用于对第一设备75的显示屏进行拍摄。
第二设备74，设置于第一设备75外部，用于对第一设备75模拟执行用户操作。
作为一种实现方式，该系统还包括：服务器76。
服务器76，与操作终端71和控制设备72通信连接。
需要说明的是前述实施例中的相关解释说明和有益效果，也适用于本实施例中，本实施例中不再赘述。
作为一种示例，图8为本申请实施例提供的另一种远程控制系统的结构示意图，其中，图像采集设备和声音采集设备，可以设置再控制设备内部，也可以是独立的采集设备。第二设备可以设置再控制设备上，也可以独立于控制设备。其中，服务器可以为本地的服务器也可以为云端的服务器，本实施例中不进行限定。
其中，声音采集设备可以采集第一设备播放的多媒体数据的音频数据，将音频数据传输至操控终端，以便于通过操控终端远程控制的过程中，进行声音的控制，例如，播放的音量等。
其中，前述的远程控制方法的解释说明，也适用于该场景，原理相同，本实施例中不再赘述。
为了实现上述实施例，本申请实施例还提出一种远程控制装置，该装置设置在操作终端。
图9为本申请实施例提供的一种远程控制装置的结构示意图。
如图9所示，该装置包括：
获取模块91，用于获取第一设备显示屏的拍摄数据。
展示模块92，用于根据所述拍摄数据，展示显示画面。
第一确定模块93，用于在接收到用户操作的情况下，在所述显示画面中确定所述用户操作的第一操作位置。
第二确定模块94，用于根据所述用户操作的触控持续时间和/或触控轨迹，确定所述用户操作的操作类型。
控制模块95，用于根据所述第一操作位置和所述用户操作的操作类型，控制所述第二设备在所述第一设备对应的第二操作位置上，依据所述操作类型执行操作。
进一步，作为一种实现方式，控制模块95，具体用于：
根据所述用户操作的操作类型，确定对应的目标事件标识；
根据所述第一操作位置在所述显示画面中的相对位置，确定所述第一操作位置的第一位置坐标；
根据所述目标事件标识和所述第一位置坐标，生成第一指示信息；
向服务器发送所述第一指示信息，其中，所述第一指示信息，用于指示所述服务器向所述第二设备的控制设备发送对应的第二指示信息，所述第二指示信息包括所述目标事件标识，以及所述第一位置坐标对应的第二位置坐标，所述第二位置坐标用于指示所述第一设备的显示屏中的所述第二操作位置。
作为一种实现方式，控制模块95，具体用于：
对所述显示画面进行边框识别，以从所述显示画面中确定与所述第一设备的显示屏对应的目标区域；
基于所述目标区域建立第一图像坐标系，其中，所述第一图像坐标系以所述目标区域中默认位置为坐标原点，以所述目标区域的至少一边距离所述坐标原点的距离为单位长度；
在所述第一图像坐标系中，确定所述第一操作位置的所述第一位置坐标。
作为另一种实现方式，控制模块95，具体还用于：
根据所述用户操作的操作类型，确定对应的目标事件标识；
根据所述第一操作位置在所述显示画面中的相对位置，以及所述第一设备的显示屏尺寸，确定对应的所述第二操作位置在所述第一设备的显示屏上的第三位置坐标；
根据所述目标事件标识和所述第三位置坐标，生成第三指示信息；
通过所述服务器向所述第二设备的控制设备发送所述第三指示信息。
作为一种实现方式，控制模块95，具体用于：
对所述显示画面进行边框识别，以从所述显示画面中确定与所述第一设备的显示屏对应的目标区域；
根据所述第一操作位置在所述显示画面中的相对位置，确定所述第一操作位置在所述目标区域中的相对位置；
根据所述第一操作位置在所述目标区域中的相对位置，以及所述第一设备的显示屏尺寸，确定对应的所述第二操作位置在所述第一设备的显示屏上的第三位置坐标。
作为一种实现方式，该装置还包括：
发送模块，用于向服务器发送远程控制请求；
其中，所述远程控制请求，用于触发所述服务器从多台候选终端中确定空闲的所述第一设备，以及启动所述第一设备对应的所述图像采集设备和所述第二设备。
需要说明的是，前述方法实施例的解释说明，也适用于该实施例的装置，故在此不再赘述。
本申请实施例的远程控制装置中，获取第一设备显示屏的拍摄数据，根据拍摄数据，展示显示画面，在接收到用户操作的情况下，在显示画面中确定用户操作的第一操作位置，根据用户操作的触控持续时间和/或触控轨迹，确定用户操作的操作类型，根据第一操作位置和用户操作的操作类型，控制第二设备在第一设备对应的第二操作位置上，依据操作类型执行操作，通过被控设备外置的摄像头等装置，无需在被控设备内部运行远程控制软件，同时在被控设备系统状态异常的情况下，仍可实现远程控制，提高了远程控制的可靠性。
为了实现上述实施例，本申请实施例还提出一种远程控制装置，该装置设置在控制设备。
图10为本申请实施例提供的另一种远程控制装置的结构示意图。
如图10所示，该装置包括：
第一控制模块1001，用于控制图像采集设备对第一设备的显示屏进行拍摄，以得到拍摄数据。
发送模块1002，用于将所述拍摄数据发送至操作终端以展示显示画面。
第二控制模块1003，用于根据所述操作终端探测到的用户操作在所述显示画面中的第一操作位置，以及所述用户操作的类型，控制所述第二设备在所述第一设备对应的第二操作位置上，依据所述操作类型执行操作。
进一步，作为一种实现方式，第二控制模块1003，具体用于：
接收服务器发送的指示信息；其中，所述指示信息，是所述服务器根据所述操作终端发送的第一指示信息生成的第二指示信息，或者，是所述操作终端通过所述服务器发送的第三指示信息；
根据所述指示信息中携带的位置坐标，确定所述第一设备的显示屏中的所述第二操作位置；
根据所述指示信息中携带的目标事件标识，确定所述用户操作的操作类型；
控制所述第一设备外部设置的第二设备在所述第一设备对应的第二操作位置上，依据所述操作类型模拟执行所述用户操作。
作为一种实现方式，第二控制模块1003，具体用于：
根据所述第二设备的坐标系与所述第一设备的显示屏的坐标系之间的转换关系，确定所述第二操作位置在所述第二设备的坐标系中的目标位置；
根据所述目标位置，和所述操作类型，向所述第二设备发送动作指令。
作为一种实现方式，所述装置，还包括：
发送模块1002，还用于向服务器发送空闲状态的指示信息；其中，所述空闲状态的指示信息用于所述服务器从多台候选终端中确定空闲的第一设备；
启动模块，用于在所述服务器的控制下启动所述第一设备对应的所述图像采集设备和所述第二设备。
作为一种实现方式，所述装置，还包括：
控制模块，用于在设定时长内未模拟执行所述用户操作，则控制所述第一设备进入所述空闲状态。
需要说明的是，前述方法实施例的解释说明，也适用于该实施例的装置，故在此不再赘述。
本申请实施例的远程控制装置中，通过被控设备外置的摄像头等装置，无需在被控设备内部运行远程控制软件，同时在被控设备系统状态异常的情况下，根据操作终端探测到的用户操作在显示画面中的第一操作位置，以及用户操作的类型，控制第一设备外部设置的第二设备在第一设备对应的第二操作位置上，依据操作类型模拟执行用户操作，即可实现远程控制，提高了远程控制的可靠性。
为了实现上述实施例，本申请实施例提供了一种操作终端，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述实施例中操作终端执行的所述方法的步骤。
为了实现上述实施例，本申请实施例提供了一种控制设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述实施例中控制设备执行的所述方法的步骤。
为了实现上述实施例，本申请实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据上述实施例所述的方法的步骤。
为了实现上述实施例，本申请实施例提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现上述实施例所述方法的步骤。
根据本申请的实施例，本申请还提供了一种操作终端、一种可读存储介质和一种计算机程序产品。
图11为本申请的实施例提供的示例操作终端的结构框图。其中，控制设备的结构框图和操作终端的结构框图类似，后续不再赘述。操作终端旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。操作终端还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图11所示，操作终端1100包括计算单元1101，其可以根据存储在ROM (Read-Only Memory，只读存储器)1102中的计算机程序或者从存储单元1108加载到RAM(RandomAccess Memory，随机访问/存取存储器)1103中的计算机程序，来执行各种适当的动作和处理。在RAM 1103中，还可存储操作终端1100操作所需的各种程序和数据。计算单元1101、ROM1102以及RAM 1103通过总线1104彼此相连。I/O(Input/Output，输入/输出)接口1105也连接至总线1104。
操作终端1100中的多个部件连接至I/O接口1105，包括：输入单元1106，例如键盘、鼠标等；输出单元1107，例如各种类型的显示器、扬声器等；存储单元1108，例如磁盘、光盘等；以及通信单元1109，例如网卡、调制解调器、无线通信收发机等。通信单元1109允许操作终端1100通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1101可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1101的一些示例包括但不限于CPU(Central Processing Unit，中央处理单元)、 GPU(Graphic Processing Units，图形处理单元)、各种专用的AI(Artificial Intelligence，人工智能)计算芯片、各种运行机器学习模型算法的计算单元、DSP(Digital SignalProcessor，数字信号处理器)、以及任何适当的处理器、控制器、微控制器等。计算单元1101执行上文所描述的各个方法和处理，例如远程控制方法。例如，在一些实施例中，远程控制方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1108。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1102 和/或通信单元1109而被载入和/或安装到操作终端1100上。当计算机程序加载到 RAM 1103并由计算单元1101执行时，可以执行上文描述的远程控制方法的一个或多个步骤。备选地，在其他实施例中，计算单元1101可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行远程控制方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、FPGA(Field Programmable Gate Array，现场可编程门阵列)、ASIC(Application-Specific Integrated Circuit，专用集成电路)、ASSP(ApplicationSpecific Standard Product，专用标准产品)、SOC(System On Chip，芯片上系统的系统)、CPLD(Complex Programmable Logic Device，复杂可编程逻辑设备)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本申请的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本申请的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、RAM、ROM、EPROM(Electrically Programmable Read-Only-Memory，可擦除可编程只读存储器)或快闪存储器、光纤、 CD-ROM(Compact Disc Read-Only Memory，便捷式紧凑盘只读存储器)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(Cathode-Ray Tube，阴极射线管)或者LCD(Liquid Crystal Display，液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：LAN(LocalArea Network，局域网)、WAN(Wide Area Network，广域网)、互联网和区块链网络。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS 服务(Virtual Private Server，虚拟专用服务器)中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
根据本申请的实施例，本申请还提供了一种计算机程序产品，当计算机程序产品中的指令处理器执行时，执行本申请上述实施例提出的远程控制方法。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (19)
1.一种远程控制方法，包括以下步骤：
获取第一设备显示屏的拍摄数据；
根据所述拍摄数据，展示显示画面；
在接收到用户操作的情况下，在所述显示画面中确定所述用户操作的第一操作位置；
根据所述用户操作的触控持续时间和/或触控轨迹，确定所述用户操作的操作类型；
根据所述第一操作位置和所述用户操作的操作类型，控制所述第二设备在所述第一设备对应的第二操作位置上，依据所述操作类型执行操作。
2.根据权利要求1所述的方法，其中，所述根据所述第一操作位置和所述用户操作的操作类型，控制所述第二设备在所述第一设备对应的第二操作位置上，依据所述操作类型执行操作，包括：
根据所述用户操作的操作类型，确定对应的目标事件标识；
根据所述第一操作位置在所述显示画面中的相对位置，确定所述第一操作位置的第一位置坐标；
根据所述目标事件标识和所述第一位置坐标，生成第一指示信息；
向服务器发送所述第一指示信息，其中，所述第一指示信息，用于指示所述服务器向所述第二设备的控制设备发送对应的第二指示信息，所述第二指示信息包括所述目标事件标识，以及所述第一位置坐标对应的第二位置坐标，所述第二位置坐标用于指示所述第一设备的显示屏中的所述第二操作位置。
3.根据权利要求2所述的方法，其中，所述根据所述第一操作位置在所述显示画面中的相对位置，确定所述第一操作位置的第一位置坐标，包括：
对所述显示画面进行边框识别，以从所述显示画面中确定与所述第一设备的显示屏对应的目标区域；
基于所述目标区域建立第一图像坐标系，其中，所述第一图像坐标系以所述目标区域中默认位置为坐标原点，以所述目标区域的至少一边距离所述坐标原点的距离为单位长度；
在所述第一图像坐标系中，确定所述第一操作位置的所述第一位置坐标。
4.根据权利要求1所述的方法，其特征在于，所述根据所述第一操作位置和所述用户操作的操作类型，控制所述第二设备在所述第一设备对应的第二操作位置上，依据所述操作类型执行操作，包括：
根据所述用户操作的操作类型，确定对应的目标事件标识；
根据所述第一操作位置在所述显示画面中的相对位置，以及所述第一设备的显示屏尺寸，确定所述第二操作位置在所述第一设备的显示屏上的第三位置坐标；
根据所述目标事件标识和所述第三位置坐标，生成第三指示信息；
通过所述服务器向所述第二设备的控制设备发送所述第三指示信息。
5.根据权利要求4所述的方法，其特征在于，所述根据所述第一操作位置在所述显示画面中的相对位置，以及所述第一设备的显示屏尺寸，确定对应的所述第二操作位置在所述第一设备的显示屏上的第三位置坐标，包括：
对所述显示画面进行边框识别，以从所述显示画面中确定与所述第一设备的显示屏对应的目标区域；
根据所述第一操作位置在所述显示画面中的相对位置，确定所述第一操作位置在所述目标区域中的相对位置；
根据所述第一操作位置在所述目标区域中的相对位置，以及所述第一设备的显示屏尺寸，确定对应的所述第二操作位置在所述第一设备的显示屏上的第三位置坐标。
6.根据权利要求1-5任一项所述的方法，其中，所述方法还包括：
向服务器发送远程控制请求；
其中，所述远程控制请求，用于触发所述服务器从多台候选终端中确定空闲的所述第一设备，以及启动所述第一设备对应的所述第二设备。
7.一种远程控制方法，包括以下步骤：
控制图像采集设备对第一设备的显示屏进行拍摄，以得到拍摄数据；
将所述拍摄数据发送至操作终端以展示显示画面；
根据所述操作终端探测到的用户操作在所述显示画面中的第一操作位置，以及所述用户操作的类型，控制所述第二设备在所述第一设备对应的第二操作位置上，依据所述操作类型执行操作。
8.根据权利要求7所述的方法，其中，所述根据所述操作终端探测到的用户操作在所述显示画面中的第一操作位置，以及所述用户操作的类型，控制所述第二设备在所述第一设备对应的第二操作位置上，依据所述操作类型执行操作，包括：
接收服务器发送的指示信息；其中，所述指示信息，是所述服务器根据所述操作终端发送的第一指示信息生成的第二指示信息，或者，是所述操作终端通过所述服务器发送的第三指示信息；
根据所述指示信息中携带的位置坐标，确定所述第一设备的显示屏中的所述第二操作位置；
根据所述指示信息中携带的目标事件标识，确定所述用户操作的操作类型；
控制所述第二设备在所述第一设备对应的第二操作位置上，依据所述操作类型执行操作。
9.根据权利要求8所述的方法，其中，所述控制所述第二设备在所述第一设备对应的第二操作位置上，依据所述操作类型执行操作，包括：
根据所述第二设备的坐标系与所述第一设备的显示屏的坐标系之间的转换关系，确定所述第二操作位置在所述第二设备的坐标系中的目标位置；
根据所述目标位置，和所述操作类型，向所述第二设备发送动作指令。
10.根据权利要求7-9任一项所述的方法，其中，所述方法还包括：
向服务器发送空闲状态的指示信息；其中，所述空闲状态的指示信息用于所述服务器从多台候选终端中确定空闲的第一设备；
在所述服务器的控制下启动所述第一设备对应的所述图像采集设备和所述第二设备。
11.根据权利要求10所述的方法，其中，所述方法还包括：
在设定时长内执行操作，则控制所述第一设备进入所述空闲状态。
12.一种远程控制装置，包括：
获取模块，用于获取第一设备显示屏的拍摄数据；
展示模块，用于根据所述拍摄数据，展示显示画面；
第一确定模块，用于在接收到用户操作的情况下，在所述显示画面中确定所述用户操作的第一操作位置；
第二确定模块，用于根据所述用户操作的触控持续时间和/或触控轨迹，确定所述用户操作的操作类型；
控制模块，用于根据所述第一操作位置和所述用户操作的操作类型，控制所述第二设备在所述第一设备对应的第二操作位置上，依据所述操作类型执行操作。
13.一种远程控制装置，包括：
第一控制模块，用于控制图像采集设备对第一设备的显示屏进行拍摄，以得到拍摄数据；
发送模块，用于将所述拍摄数据发送至操作终端以展示显示画面；
第二控制模块，用于根据所述操作终端探测到的用户操作在所述显示画面中的第一操作位置，以及所述用户操作的类型，控制所述第二设备在所述第一设备对应的第二操作位置上，依据所述操作类型执行操作。
14.一种操作终端，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。
15.一种控制设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求7-11中任一项所述的方法。
16.一种远程控制系统，包括：
至少一如权利要求14所述的操作终端；
至少一如权利要求15所述的控制设备；
其中，所述控制设备与图像采集设备和第二设备连接；
所述图像采集设备，用于对第一设备的显示屏进行拍摄；
所述第二设备，设置于第一设备外部，用于对所述第一设备模拟执行用户操作。
17.根据权利要求16所述的系统，其中，所述系统还包括：
服务器，与所述操作终端和所述控制设备通信连接。
18.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令在被处理器执行时实现权利要求1-6中任一项所述方法的步骤，或者，实现权利要求7-11中任一项所述方法的步骤。
19.一种计算机程序产品，包含计算机程序，其中，所述计算机程序在被处理器执行时实现权利要求1-6中任一项所述方法的步骤，或者，实现权利要求7-11中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210700388.0A CN115134523B (zh) | 2022-06-20 | 2022-06-20 | 远程控制方法、装置、操作终端、控制设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210700388.0A CN115134523B (zh) | 2022-06-20 | 2022-06-20 | 远程控制方法、装置、操作终端、控制设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115134523A true CN115134523A (zh) | 2022-09-30 |
| CN115134523B CN115134523B (zh) | 2023-10-13 |
Family
ID=83380257
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210700388.0A Active CN115134523B (zh) | 2022-06-20 | 2022-06-20 | 远程控制方法、装置、操作终端、控制设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115134523B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115643365A (zh) * | 2022-12-26 | 2023-01-24 | 北京天智航医疗技术服务有限公司 | 一种远程手术控制方法、装置和电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103945251A (zh) * | 2014-04-03 | 2014-07-23 | 上海斐讯数据通信技术有限公司 | 一种远程遥控系统及移动终端 |
| US20160249106A1 (en) * | 2012-09-14 | 2016-08-25 | Appurify, Inc. | Remote Control of a Mobile Device |
| CN107168119A (zh) * | 2017-06-01 | 2017-09-15 | 国网天津市电力公司 | 一种移动通信设备控制机械臂的智能硬件运维系统及方法 |
| CN108920225A (zh) * | 2018-05-03 | 2018-11-30 | 腾讯科技（深圳）有限公司 | 远程辅助控制方法及装置、终端、存储介质 |
| CN111277670A (zh) * | 2020-03-09 | 2020-06-12 | 西安万像电子科技有限公司 | 远程控制系统及方法 |
-
2022
- 2022-06-20 CN CN202210700388.0A patent/CN115134523B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160249106A1 (en) * | 2012-09-14 | 2016-08-25 | Appurify, Inc. | Remote Control of a Mobile Device |
| CN103945251A (zh) * | 2014-04-03 | 2014-07-23 | 上海斐讯数据通信技术有限公司 | 一种远程遥控系统及移动终端 |
| CN107168119A (zh) * | 2017-06-01 | 2017-09-15 | 国网天津市电力公司 | 一种移动通信设备控制机械臂的智能硬件运维系统及方法 |
| CN108920225A (zh) * | 2018-05-03 | 2018-11-30 | 腾讯科技（深圳）有限公司 | 远程辅助控制方法及装置、终端、存储介质 |
| CN111277670A (zh) * | 2020-03-09 | 2020-06-12 | 西安万像电子科技有限公司 | 远程控制系统及方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115643365A (zh) * | 2022-12-26 | 2023-01-24 | 北京天智航医疗技术服务有限公司 | 一种远程手术控制方法、装置和电子设备 |
| CN115643365B (zh) * | 2022-12-26 | 2023-03-28 | 北京天智航医疗技术服务有限公司 | 一种远程手术控制方法、装置和电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115134523B (zh) | 2023-10-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111757098B (zh) | 安装智能人脸监控摄像机后的调试方法、装置、摄像机和介质 | |
| CN111555938B (zh) | 一种信息处理的方法以及相关装置 | |
| CN111766995A (zh) | 数值调节控制方法、装置、电子设备及存储介质 | |
| CN111832557A (zh) | 电网巡检方法、装置、电子设备及存储介质 | |
| CN112994980A (zh) | 时延测试方法、装置、电子设备和存储介质 | |
| CN115134523B (zh) | 远程控制方法、装置、操作终端、控制设备和存储介质 | |
| CN114417780B (zh) | 状态同步方法、装置、电子设备及存储介质 | |
| US11776294B2 (en) | Method, apparatus, computing device and computer-readable storage medium for monitoring use of target item | |
| CN115616928A (zh) | 基于人工智能的控制面板控制方法和装置 | |
| CN116943216A (zh) | 一种贴合关系检测方法、装置、设备及存储介质 | |
| CN113780291B (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| CN113780045B (zh) | 用于训练距离预测模型的方法和装置 | |
| CN114218166A (zh) | 数据处理方法、装置、电子设备及可读存储介质 | |
| CN111913574A (zh) | 用于控制设备的方法、装置、电子设备和计算机可读介质 | |
| CN104965647A (zh) | 一种信息处理方法及电子设备 | |
| CN113722231B (zh) | 用户操作的模拟方法、装置、电子设备及存储介质 | |
| CN114051110B (zh) | 视频生成方法、装置、电子设备和存储介质 | |
| CN114475631B (zh) | 驾驶数据处理方法装置、设备、自动驾驶车辆介质及产品 | |
| CN113760431B (zh) | 应用程序的控制方法、装置、电子设备及可读存储介质 | |
| CN114445683A (zh) | 属性识别模型训练、属性识别方法、装置及设备 | |
| WO2024094118A1 (zh) | 点云数据处理方法、装置、电子设备及存储介质 | |
| CN116824014B (zh) | 用于虚拟形象的数据生成方法、装置、电子设备、介质 | |
| CN112533040A (zh) | 遥控电视应用进程的方法、装置及电子设备 | |
| CN117651090A (zh) | 语音消息录入的方法及装置、电子设备和存储介质 | |
| CN114692247A (zh) | 一种生成屋面板的方法、装置、存储介质及终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |