CN112584049A - 远程交互方法及装置、电子设备、存储介质 - Google Patents

Abstract

本公开实施例是关于一种远程交互方法及装置、电子设备、存储介质，涉及计算机技术领域，该方法包括：响应第一终端发送的实时连接请求，与所述第一终端建立实时通信连接；所述第一终端包括虚拟摄像头；响应所述第一终端的拍摄指令，通过第二终端的摄像头对所述第一终端所处的目标应用的待采集画面进行采集，并根据所述虚拟摄像头的属性信息对采集画面进行处理形成目标画面；将所述目标画面发送至所述第一终端的所述虚拟摄像头，以使所述第一终端根据所述虚拟摄像头接收的所述目标画面对所述目标应用进行交互操作。本公开的技术方案能够提高交互的便捷性。

Description

远程交互方法及装置、电子设备、存储介质

技术领域

本公开涉及计算机技术领域，具体而言，涉及一种远程交互方法、远程交互装置、电子设备以及计算机可读存储介质。

背景技术

为了实现便捷性交互，经常需要调用终端的摄像头采集需要的图像来在某些应用程序中进行交互操作，以执行部分功能。相关技术中，如果用户当前使用的终端无法完成交互，则需要通过外部设备将另一终端连接至当前使用的终端，以便于通过其他终端的摄像头来进行交互。但是在这种方式中，由于借助外部设备，因此使用场景具有一定的局限性和依赖性，并且需要修改应用程序，便捷性较差。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种远程交互方法及装置、电子设备及计算机可读存储介质，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的交互存在局限性的问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的一个方面，提供一种远程交互方法，包括：响应第一终端发送的实时连接请求，与所述第一终端建立实时通信连接；所述第一终端包括虚拟摄像头；响应所述第一终端的拍摄指令，通过第二终端的摄像头对所述第一终端所处的目标应用的待采集画面进行采集，并根据所述虚拟摄像头的属性信息对采集画面进行处理形成目标画面；将所述目标画面发送至所述第一终端的所述虚拟摄像头，以使所述第一终端根据所述虚拟摄像头接收的所述目标画面对所述目标应用进行交互操作。

根据本公开的一个方面，提供一种远程交互装置，包括：连接建立模块，用于响应第一终端发送的实时连接请求，与所述第一终端建立实时通信连接；所述第一终端包括虚拟摄像头；画面采集模块，用于响应所述第一终端的拍摄指令，通过第二终端的摄像头对所述第一终端所处的目标应用的待采集画面进行采集，并根据所述虚拟摄像头的属性信息对采集画面进行处理形成目标画面；画面传输模块，用于将所述目标画面发送至所述第一终端的所述虚拟摄像头，以使所述第一终端根据所述虚拟摄像头接收的所述目标画面对所述目标应用进行交互操作。

根据本公开的一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任意一项所述的远程交互方法。

根据本公开的一个方面，提供一种电子设备，包括：处理器；以及

存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的远程交互方法。

本公开实施例中提供的远程交互方法、远程交互装置、电子设备以及计算机可读存储介质，在与包括虚拟摄像头的第一终端建立实时通信连接后，调用第二终端的摄像头对第一终端当前所处的目标应用的待采集画面进行采集，并根据第二终端的属性信息形成目标画面，进一步地，可以采用实时音视频传输方案将采集到的目标画面发送至第一终端的虚拟摄像头，从而使得第一终端使用虚拟摄像头接收到的目标画面来通过目标应用进行交互操作。一方面，可以在不同终端之间通过调用未处于目标应用的第二终端的摄像头来采集画面，并将采集的目标画面发送至处于目标应用的虚拟摄像头来实现远程交互，在第一终端无法实现功能的情况下，借助其他终端的摄像头以及第一终端的远程虚拟摄像头方案，实现远程交互，提高了交互便捷性，能够通过任意类型的第一终端随时进行远程交互，增加了终端的可用性和应用范围。另一方面，由于第一终端上设置有虚拟摄像头，可以将其他终端的摄像头拍摄的目标画面，通过实时音视频传输方式实时传输至虚拟摄像头从而实现交互操作，而不需要借助于外部设备连接，因此可以避免第一终端在使用过程中需要依赖外部设备的局限性，也不需要对终端上的任何内容进行修改，提高了交互的实时性和兼容性，提高了适配性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示意性示出本公开实施例用于实现远程交互方法的系统架构图。

图2示出了适于用来实现本公开实施例的电子设备的结构示意图。

图3示意性示出本公开实施例中远程交互方法的流程示意图。

图4示意性示出本公开实施例中形成目标画面的流程示意图。

图5示意性示出本公开实施例中发送目标画面的流程示意图。

图6示意性示出本公开实施例中远程交互的应用场景的示意图。

图7中示意性示出本公开实施例中交互过程的具体流程图。

图8示意性示出本公开实施例中远程交互装置的框图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。此外，附图仅为本公开的示意性图解，图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

本示例性实施例中，首先提供了一种用于执行远程交互方法的系统架构图。参考图1中所示，系统架构100可以包括第一端101、网络102、第二端103。其中，第一端101可以是第一终端，具体可以为任意可以用于交互的终端，例如可以为电视、投影或者是电脑、具有显示屏幕的智能音箱、智能手机、智能门锁等等。第二端可以为第二终端，第二终端可以具有摄像头。例如可以为智能手机或者是单个摄像头、无人机等等。网络102用以在第一端101和第二端103之间提供通信链路的介质，网络102可以包括各种连接类型，例如有线通信链路、无线通信链路等等，在本公开实施例中，第一端101和第二端103之间的网络102可以是有线通信链路，例如可以通过串口连接线提供通信链路，也可以是无线通信链路，通过无线网络提供通信链路。

应该理解，图1中的第一端、网络和第二端的数目仅仅是示意性的。根据实现需要，可以具有任意数目的客户端、网络。

需要说明的是，本公开实施例所提供的远程交互方法可以完全由第二端或第一端执行，也可以部分由第一端执行，部分由第二端执行，此处对远程交互方法的执行主体不做特殊限定。相应地，远程交互装置可设置于第二端103中或设置于第一端101中。本公开实施例中，以执行主体为第二终端为例进行说明。

在图1的基础上，第一终端与第二终端建立通信连接，调用第二终端的摄像头进行画面采集得到目标画面，并进一步将目标画面传输至第一终端的虚拟摄像头，以使得第一终端根据虚拟摄像头上显示的目标画面来通过目标应用进行交互，从而通过第一终端和第二终端实现远程交互。

图2示出了适于用来实现本公开示例性实施方式的电子设备的示意图。本公开的第一终端或第二终端可以被配置为如图2所示电子设备的形式，然而，需要说明的是，图2示出的电子设备仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

本公开的电子设备至少包括处理器和存储器，存储器用于存储一个或多个程序，当一个或多个程序被处理器执行时，使得处理器可以实现本公开示例性实施方式的方法。

具体的，如图2所示，电子设备200可以包括：处理器210、内部存储器221、外部存储器接口222、通用串行总线(Universal Serial Bus，USB)接口230、充电管理模块240、电源管理模块241、电池242、天线1、天线2、移动通信模块250、无线通信模块260、音频模块270、扬声器271、受话器272、麦克风273、耳机接口274、传感器模块280、显示屏290、摄像模组291、指示器292、马达293、按键294以及用户标识模块(Subscriber IdentificationModule，SIM)卡接口295等。其中传感器模块280可以包括深度传感器、压力传感器、陀螺仪传感器、气压传感器、磁传感器、加速度传感器、距离传感器、接近光传感器、指纹传感器、温度传感器、触摸传感器、环境光传感器及骨传导传感器等。

可以理解的是，本申请实施例示意的结构并不构成对电子设备200的具体限定。在本申请另一些实施例中，电子设备200可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件、软件或软件和硬件的组合实现。

处理器210可以包括一个或多个处理单元，例如：处理器210可以包括应用处理器(Application Processor，AP)、调制解调处理器、图形处理器(Graphics ProcessingUnit，GPU)、图像信号处理器(Image Signal Processor，ISP)、控制器、视频编解码器、数字信号处理器(Digital Signal Processor，DSP)、基带处理器和/或神经网络处理器(Neural-etwork Processing Unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。另外，处理器210中还可以设置存储器，用于存储指令和数据。

USB接口230是符合USB标准规范的接口，具体可以是MiniUSB接口，MicroUSB接口，USBTypeC接口等。USB接口230可以用于连接充电器为电子设备200充电，也可以用于电子设备200与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他电子设备等。

充电管理模块240用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。电源管理模块241用于连接电池242、充电管理模块240与处理器210。电源管理模块241接收电池242和/或充电管理模块240的输入，为处理器210、内部存储器221、显示屏290、摄像模组291和无线通信模块260等供电。

电子设备200的无线通信功能可以通过天线1、天线2、移动通信模块250、无线通信模块260、调制解调处理器以及基带处理器等实现。

移动通信模块250可以提供应用在电子设备200上的包括2G/3G/4G/5G等无线通信的解决方案。

无线通信模块260可以提供应用在电子设备200上的包括无线局域网(WirelessLocal Area Networks，WLAN)(如无线保真(Wireless Fidelity，Wi-Fi)网络)、蓝牙(Bluetooth，BT)、全球导航卫星系统(Global Navigation Satellite System，GNSS)、调频(Frequency Modulation，FM)、近距离无线通信技术(Near Field Communication，NFC)、红外技术(Infrared，IR)等无线通信的解决方案。

电子设备200通过GPU、显示屏290及应用处理器等实现显示功能。GPU为图像虚化的微处理器，连接显示屏290和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器210可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

电子设备200可以通过ISP、摄像模组291、视频编解码器、GPU、显示屏290及应用处理器等实现拍摄功能。在一些实施例中，电子设备200可以包括1个或N个摄像模组291，N为大于1的正整数，若电子设备200包括N个摄像头，N个摄像头中有一个是主摄像头，其他可以为副摄像头，例如长焦摄像头。

内部存储器221可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器221可以包括存储程序区和存储数据区。外部存储器接口222可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备200的存储能力。

电子设备200可以通过音频模块270、扬声器271、受话器272、麦克风273、耳机接口274及应用处理器等实现音频功能。例如音乐播放、录音等。

音频模块270用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块270还可以用于对音频信号编码和解码。在一些实施例中，音频模块270可以设置于处理器210中，或将音频模块270的部分功能模块设置于处理器210中。

扬声器271，用于将音频电信号转换为声音信号。电子设备200可以通过扬声器271收听音乐，或收听免提通话。受话器272，也称“听筒”，用于将音频电信号转换成声音信号。当电子设备200接听电话或语音信息时，可以通过将受话器272靠近人耳接听语音。麦克风273，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风273发声，将声音信号输入到麦克风273。电子设备200可以设置至少一个麦克风273。耳机接口274用于连接有线耳机。

针对电子设备200包括的传感器，深度传感器用于获取景物的深度信息。压力传感器用于感受压力信号，可以将压力信号转换成电信号。陀螺仪传感器可以用于确定电子设备200的运动姿态。气压传感器用于测量气压。磁传感器包括霍尔传感器。电子设备200可以利用磁传感器检测翻盖皮套的开合。加速度传感器可检测电子设备200在各个方向上(一般为三轴)加速度的大小。距离传感器用于测量距离。接近光传感器可以包括例如发光二极管(LED)和光检测器，例如光电二极管。指纹传感器用于采集指纹。温度传感器用于检测温度。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏290提供与触摸操作相关的视觉输出。环境光传感器用于感知环境光亮度。骨传导传感器可以获取振动信号。

按键294包括开机键，音量键等。按键294可以是机械按键。也可以是触摸式按键。马达293可以产生振动提示。马达293可以用于来电振动提示，也可以用于触摸振动反馈。指示器292可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。SIM卡接口295用于连接SIM卡。电子设备200通过SIM卡和网络交互，实现通话以及数据通信等功能。

本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读存储介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如下述实施例中所述的方法。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

基于上述系统架构，本公开实施例中提供了一种远程交互方法。图3示意性示出了该远程交互方法的流程图，可以应用于使用多个终端进行交互的应用场景中。参照图3所示，该远程交互方法至少包括步骤S310至步骤S330，详细介绍如下：

在步骤S310中，响应第一终端发送的实时连接请求，与所述第一终端建立实时通信连接；所述第一终端包括虚拟摄像头。

本公开实施例中，第一终端可以为具有摄像头的终端，也可以为无摄像头的终端。无论第一终端是否具有摄像头，均会为其提供一个虚拟摄像头。具体地，可以在第一终端的操作系统中装载虚拟摄像头，从而为其配置虚拟摄像头，并且通过该虚拟摄像头来实现交互过程。如果第一终端为具有摄像头的设备，则可以在采集画面时根据用户选择操作来确定需要使用的摄像头为真实的摄像头还是虚拟摄像头。本公开实施例中，以第一终端无摄像头为例进行说明。其中，虚拟摄像头的分辨率可以根据实际需求进行设置，例如可以设置为默认分辨率，也可以为任意分辨率。

实时连接请求可以用于控制是否连接第一终端和第二终端。第一终端上可以安装用于实现实时连接的应用程序，例如实时音视频通讯程序。第二终端可以具有摄像头的终端，例如可以为智能手机、平板电脑等能够用于图像采集的终端。第二终端也需要具备支持实时连接的功能，即第二终端也需要安装实时连接的应用程序(例如实时音视频通讯程序)。第一终端和第二终端可以处于相同的网络，也可以处于不同的网络。第一终端和第二终端的位置可以相同或者是不同。第一终端的数量可以为一个，第二终端的数量也可以为一个或多个。

实时连接请求可以根据用户操作而触发。用户操作可为对第一终端上安装的实时连接的应用程序的触发操作，触发操作具体可以通过语音方式执行，也可以通过触控方式执行，还可以通过点击第一终端的外部设备执行，此处不作限定。如果第一终端和第二终端处于相同的网络，或者是第一终端与第二终端处于不同的网络，若检测到用于控制第一终端和第二终端连接的实时连接请求，则可以响应于实时连接请求为第一终端和第二终端之间建立实时通信连接。

在第一终端以外，若开启实时连接的应用程序的终端只有一个，则直接将该开启实时连接的应用程序的终端确定为第二终端。当开启实时连接的应用程序的终端存在多个时，可以选择默认的终端(以前连接过的终端)作为第二终端。如果第一终端与多个终端处于相同的网络，也可以将距离最近的终端作为第二终端。或者是也可以通过其他方式来从开启实时连接的应用程序的终端中随机选择一个终端作为第二终端，此处不作限定。若处于不同的网络，则直接将开启实时连接的应用程序的终端作为第二终端。该第二终端可以处于第一终端的一定范围内(例如1千米内)，以保证能够建立实时通信连接。如果没有第一终端之外的终端开启实时连接的应用程序，则认为实时通信连接失败。

需要补充的是，在建立实时通信连接时，还可以对第一终端和第二终端进行安全验证，以提高交互安全性。安全验证可以包括音视频通讯验证和设备安全验证，音视频通讯验证具体可以基于WebRTC框架而实现。其中，WebRTC(Web Real-Time Communication)的最终目的主要是让Web开发者能够基于浏览器轻易快捷开发出丰富的实时多媒体应用，而无需下载安装任何插件。设备安全验证可以通过验证标识来进行验证，验证标识例如可以为验证码或者是密钥等等。具体地，当第一终端开启实时连接的应用程序时，可以发送验证标识，若第二终端开启了实时连接的应用程序，且接收到的验证标识与第一终端发送的验证标识匹配，则可以认为第二终端与第一终端成功建立实时通信连接。

在第一终端发送实时连接请求的过程中，可以获取该实时连接请求，并判断该实时连接请求的参数是否为第二终端的参数。实时连接请求的参数例如可以为需要连接的终端的名称或者是产品标识号等等。若不是，则将实时连接请求的参数调整为第二终端的参数，例如将默认终端的参数修改为第二终端的参数等等。本公开实施例中，可以灵活地将实时连接请求中的参数调整为需要建立通信连接的终端的参数，以增加应用范围，提高便捷性。

在步骤S320中，响应所述第一终端的拍摄指令，通过第二终端的摄像头对所述第一终端所处的目标应用的待采集画面进行采集，并根据所述虚拟摄像头的属性信息形成目标画面。

本公开实施例中，第二终端具有摄像头，该摄像头可以为真实的摄像头。第二终端的类型包括有显示屏设备(智能终端)和无显示屏设备(例如摄像头)。本公开实施例中以第二终端为有显示屏设备为例进行说明。当第二终端为有显示屏设备时，摄像头的类型可以为前置摄像头或者是后置摄像头，且对摄像头的数量不作限定。

第一终端的拍摄指令指的是第一终端需要采集画面或视频的指令。第一终端的拍摄指令可以为目标应用中的拍摄指令。目标应用可以为即时通信应用、支付应用、检验应用或者是任意需要采集画面的应用程序。具体可以为目标应用中的应用功能，例如视频功能、扫码功能、支付功能等等，可以分为人脸识别类功能和非人脸识别类功能。如果检测到第一终端发送的拍摄指令，则可以通过第二终端的摄像头来对第一终端所处的目标应用的待采集画面进行采集。

进一步地，本公开实施例中，可根据第一终端的当前正在执行的应用功能而确定调用的第二终端的摄像头的类型，例如调用前置摄像头或者是调用后置摄像头。具体地，当前正在执行的应用功能为非人脸识别类功能时，则可以调用后置摄像头；当前正在执行的应用功能非人脸识别类功能时，则可以调用前置摄像头。除此之外，还可以根据第一终端的当前正在执行的应用功能而确定待采集画面，待采集画面可以为人脸图像，或者是二维码图像等等。

在调用第二终端的摄像头对待采集画面进行图像采集时，可以根据第二终端的类型提供对应的显示范围，并基于所述显示范围对所述第一终端所处的目标应用的待采集画面进行采集。第二终端可以显示第一终端的当前页面或者是显示第一终端的显示范围，以便于准确采集画面，提高交互感。显示范围可以为显示框，具体可以为第一终端的当前界面上展示的取景框，具体可以用形状标识进行标识性显示。例如，将第一终端在支付应用中人脸识别的页面以及取景框显示在第二终端中，以使得第二终端根据该取景框准确拍摄需要的待采集画面。

在采集图像过程中，还可以提供一个提示信息来对是否采集成功进行提示。提示信息可以为文字信息或者是语音信息或者是任意形式的表意信息等等，以便于通过提示信息及时提醒用户是否需要重新采集画面。

在调用第二终端的摄像头对第一终端所处的目标应用的待采集画面进行采集时，可以根据虚拟摄像头的属性信息对第二终端的采集画面进行图像处理，生成目标画面。属性信息可以为虚拟摄像头具有的硬件参数，例如可以为虚拟摄像头的分辨率。具体可以根据虚拟摄像头的分辨率的支持状态，对第二终端的摄像头获取的采集画面进行图像处理，得到目标画面。支持状态用于描述虚拟摄像头和第二终端的摄像头的分辨率是否匹配。

图4示意性示出了形成目标画面的流程图，参考图4中所示，主要包括以下步骤：

在步骤S410中，判断虚拟摄像头的分辨率是否支持所述第二终端的摄像头的分辨率。若是，则转至步骤S420；若否，则转至步骤S430。

在步骤S420中，若虚拟摄像头的分辨率支持第二终端的摄像头的分辨率，则直接将第二终端的摄像头的采集画面作为目标画面。

在步骤S430中，按照第二终端的摄像头的分辨率和第一终端的虚拟摄像头的分辨率之间的大小关系，对所述多个采集画面进行缩放得到多个缩放画面，并将所述缩放画面确定为所述目标画面。

本步骤中，第二终端的摄像头的分辨率可以与第一终端中配置的虚拟摄像头的分辨率相同或者是不同，此处不做限定。首先可以判断虚拟摄像头的分辨率是否支持第二终端的摄像头的分辨率，若虚拟摄像头的分辨率不支持第二终端的摄像头的分辨率，则可以按照第二终端的摄像头的分辨率和第一终端的虚拟摄像头的分辨率之间的大小关系，对多个采集画面进行缩放得到多个缩放画面。若大小关系为第二终端的摄像头的分辨率大于虚拟摄像头的分辨率，则可以对第二终端的摄像头的采集画面，按照虚拟摄像头的分辨率进行缩放，得到多个缩放画面。

举例而言，第一终端的虚拟摄像头的分辨率为1280x720，第二终端的摄像头最大分辨率为1920x1080。如果摄像头支持，可以让第一终端的摄像头采集出来的画面即为1280x720的。如果摄像头不支持，可以让第二终端的摄像头采集1920x1080的采集画面，在编码之前进行缩放到1280x720得到缩放画面，之后再编码发送到第一终端。

图4中的技术方案，通过第二终端的摄像头的分辨率形成对应的目标画面，以避免不同摄像头的分辨率不同以及不合适而导致的无法精准显示目标画面的问题，能够提高目标画面的适配性，提高其在虚拟摄像头的画面质量。

接下来，继续参考图3中所示，在步骤S330中，将所述目标画面发送至所述第一终端的所述虚拟摄像头，以使所述第一终端根据所述虚拟摄像头接收的所述目标画面对所述目标应用进行交互操作。

本公开实施例中，在第二终端通过编码获取到目标画面后，第二终端可以将目标画面发送至第一终端的虚拟摄像头，以使虚拟摄像头进行显示。

具体地，可以按照预设编码方式来对目标画面进行编码。预设编码方式可以为H263、H264、H265、3D video、vp9中的任意一种或者是其组合，以将目标画面转换为与预设编码方式对应的H264、H265、vp9等视频编码格式，从而缩小传输数据的体积，提高数据传输效率和传输可靠性。

图5中示意性示出了发送目标画面的流程图，参考图5中所示，主要包括以下步骤：

在步骤S510中，根据每个编码画面的数据量，将每个编码画面拆分为多个数据包；

在步骤S520中，按照预设顺序对所述多个数据包进行传输，以将每个编码画面对应的目标画面发送至所述虚拟摄像头。

本公开实施例中，数据量指的是每个编码画面所需要的存储空间大小，数据量例如可以为5K字节或者是任意字节大小。首先可以确定编码操作之后形成的每个编码画面的数据量，进一步可以按照每个编码画面的数据量的大小来将每个编码画面拆分为多个数据包。数据包的数量可以根据实际需求来确定，例如数据量与数据包的数量正相关，即数据量越大数据包的数量越多。每个数据包中包含的数据量可以相同。基于此，由于不同的编码画面的数据量相同或不同，因此对于不同的编码画面而言，其划分的多个数据包可能相同或不同。例如，一个编码画面为5K字节，分为5个1K字节发送，由接收方再恢复即可。

在将每个编码画面拆分为多个数据包后，可以按照预设顺序将多个数据包传输至第一终端，以将每个编码画面传输至第一终端的虚拟摄像头。预设顺序指的是每个编码画面的多个数据包的序号的大小顺序，例如可以按照序号从小到大的顺序或者是从大到小的顺序对多个数据包进行传输。具体地，可以采用RTP(Real-time Transport Protocol，实时传输协议)来承载拆分的多个数据包，通过实时音视频传输通道将多个数据包发送至第一终端，防止数据包传输过程中的乱序问题，提高数据包传输的准确性和稳定性。

在数据包传输的过程中，还可以对多个数据包进行添加冗余包以及丢包重传，将多个数据包传输至所述虚拟摄像头。丢包重传指的是根据数据包的序号来判断是否丢包。若发现数据丢失，则请求第二终端重新发送丢失的数据包。除此之外，还可以根据数据传输状态来对多个数据包添加冗余包，以对多个数据包进行保护，防止网络丢包的情况，提高目标画面传输的准确性和可靠性。

在第二终端将目标画面传输至虚拟摄像头之后，第一终端可以对接收到的多个数据包按照解码方式进行解码，将其恢复为编码画面对应的解码画面，该解码画面指的即是第二终端的摄像头获取的目标画面。解码方式可以与编码方式相对应，例如可以为H263、H264、H265、3D video、vp9中的任意一种或者是其组合。

由于第一终端的虚拟摄像头显示的是目标画面，因此可以将虚拟摄像头解码出来的目标画面写入虚拟摄像头，作为虚拟摄像头的数据来源。在此基础上，第一终端通过虚拟摄像头获取到目标画面，因此可以基于获取到的目标画面对目标应用进行交互操作。此处的交互操作例如可以为登录操作、验证操作、视频交流操作、扫码操作等等，具体根据目标应用的功能类型而确定。如此一来，可以通过调用远程连接的其他终端采集的目标画面，通过安装的虚拟摄像头在第一终端上执行原本无法进行的目标应用的交互操作，提高了交互的便捷性和应用范围。

需要说明的是，如有多个第二终端与第一终端的低延时视频传输程序连接，在使用虚拟摄像头的过程中也可实时切换第二终端。在没有第二终端与第一终端的低延时视频传输程序通信连接时，虚拟摄像头显示的画面为纯黑色画面，以避免其他画面的干扰。

需要补充的是，如果第二终端的参考信息不满足远程调用条件，则可以停止调用第二终端的摄像头来对第一终端的待采集画面进行获取。参考信息可以为用于表示第二终端的性能的信息，参考信息可以为剩余电量以及第二终端的摄像头的使用状态。远程调用条件可以根据剩余电量或者是剩余存储空间而确定，并且可以为剩余电量配置电量阈值，此处不作限定。举例而言，剩余电量的电量阈值可以为10％。如果第二终端的剩余电量小于第一阈值，则认为不满足远程调用条件；如果第二终端的摄像头处于使用状态，则认为不满足远程调用条件。在第二终端的参考信息不满足远程调用条件时，可以停止调用第二终端的摄像头来采集目标画面发送至第一终端的虚拟摄像头。此时可以重新确定一个第二终端，以避免影响第一终端的交互过程。

除此之外，为了保证安全性，还可以对接收到的目标画面进行检测，以判断其是否为第二终端实时采集的画面，而不是事先存储的画面。在目标画面属于实时采集的画面时，第一终端可以继续执行交互操作。

图6中示意性示出了远程交互的应用场景，参考图6中所示，第一终端601无摄像头，第二终端602具有摄像头。第一终端可以为电视，第二终端可以为智能手机。在第一终端上安装虚拟摄像头，且第一终端可以使用支付宝/微信等目标应用。第一终端和第二终端上均安装有低延时视频传输程序。

在第一终端向操作系统安装虚拟摄像头。第二终端利用自身的摄像头采集数据得到目标画面，通过实时音视频网络通道以及网络603将目标画面传输给第一终端。第一终端接收第二终端的摄像头采集的目标画面作为虚拟摄像头的数据来源。第一终端将目标画面写入虚拟摄像头作为应用程序支付宝/微信真正的采集数据。而第一终端上面的应用程序如支付宝/微信可以无感的正常使用第一终端的摄像头功能。

图7中示意性示出了交互过程的具体流程图，参考图7中所示，主要包括以下步骤：

在步骤S710中，在操作系统中装载虚拟摄像头设备，并运行一实时音视频通讯程序作为虚拟摄像头画面数据的生产方。

在步骤S720中，第一终端使用目标应用时，通过网络请求与第二终端连接提供摄像头功能。

在步骤S730中，第二终端打开自身摄像头采集摄像头数据。

在步骤S740中，第二终端将摄像头画面进行编码，并通过实时音视频传输通道发送给第一终端。

在步骤S750中，第一终端解码摄像头画面，并将其写入虚拟摄像头，作为虚拟摄像头的数据来源。

在步骤S760中，在第一终端上正常使用摄像头应用如支付宝/微信等，其摄像头画面即是由远程设备第二终端提供的。

通过图7中的技术方案，可以实现以下功能：没有摄像头的电脑，可以无线使用手机的摄像头来进行视频通话。没有摄像头的门禁设备，可以通过手机的摄像头来采集画面做人脸识别。在云手机场景中，运行在服务器上面的虚拟手机需要拍照/扫码等功能的时候，可以调用使用者手上的真实终端的摄像头来拍照。在远程场景中，使用第二终端B来为第一终端A进行单车扫码或者是其他扫码解锁。具体过程可以如下：A先与B进行实时视频通讯的连接，A的实时视频通讯程序打开摄像头开始采集画面；在B设备上选择摄像头来源为虚拟摄像头；B打开单车软件进行二维码扫描，其扫描框内的画面内容即来自于A手机采集到的画面；此时A只要将手机对着单车上面的二维码，B手机上的单车软件即可识别二维码开启单车。

本公开实施例中的技术方案，在无法进行交互的第一终端(无摄像头或者是不使用摄像头的第一终端)上，向操作系统装载一个虚拟摄像头驱动，应用程序可以向此驱动写入视频画面，其他应用程序通过操作系统正常打开摄像头时，看到即是前面写入的画面。同时，具有摄像头的第二终端可以打开自己的摄像头，捕捉视频画面，通过RTC传输给第一终端，第一终端通过实时音视频通信应用程序向虚拟摄像头驱动写入此视频画面。至此，完成有摄像头的第二终端将摄像头远程虚拟到无摄像头的第一终端上，实现跨终端的远程虚拟摄像头方案。带有摄像头的终端可以将摄像头虚拟到与其连接的另一个终端上，使另一个终端具有摄像头的功能，避免了局限性，增加了终端交互的使用场景和可应用性。借助带有摄像头的终端来实现远程交互，提高了交互便捷性。能够增加所有终端的应用范围，避免了终端的局限性，能够在任意需要采集图像的场景下通过任意一个终端实现功能，实现多样性交互功能。

本公开实施例中，还提供了一种远程交互装置，参考图8中所示，该远程交互装置800主要包括以下模块：

连接建立模块801，用于响应第一终端发送的实时连接请求，与所述第一终端建立实时通信连接；所述第一终端包括虚拟摄像头；

画面采集模块802，用于响应所述第一终端的拍摄指令，通过第二终端的摄像头对所述第一终端所处的目标应用的待采集画面进行采集，并根据所述虚拟摄像头的属性信息对采集画面进行处理形成目标画面；

画面传输模块803，用于将所述目标画面发送至所述第一终端的所述虚拟摄像头，以使所述第一终端根据所述虚拟摄像头接收的所述目标画面对所述目标应用进行交互操作。

在本公开的一种示例性实施例中，所述连接建立模块被配置为：对所述第一终端和所述第二终端进行安全验证，并在验证成功后响应于所述第一终端通过低延时传输程序生成的所述实时连接请求，与所述第一终端建立通信连接。

在本公开的一种示例性实施例中，所述画面采集模块包括：范围限制模块，用于根据所述第二终端的类型提供对应的显示范围，并基于所述显示范围对所述第一终端所处的所述目标应用的所述待采集画面进行采集。

在本公开的一种示例性实施例中，所述画面采集模块包括：图像处理模块，用于根据所述虚拟摄像头的分辨率的支持状态，对所述第二终端的摄像头获取的所述采集画面进行图像处理，得到所述目标画面。

在本公开的一种示例性实施例中，所述图像处理模块包括：画面缩放模块，用于若所述虚拟摄像头的分辨率不支持所述第二终端的摄像头的分辨率，则按照第二终端的摄像头的分辨率和第一终端的虚拟摄像头的分辨率之间的大小关系，对所述采集画面进行缩放得到缩放画面，并将所述缩放画面确定为所述目标画面。

在本公开的一种示例性实施例中，所述画面传输模块包括：画面编码模块，用于对所述目标画面进行编码得到多个编码画面，并将所述多个编码画面发送至所述虚拟摄像头。

在本公开的一种示例性实施例中，所述画面编码模块包括：拆分模块，用于根据每个所述编码画面的数据量，将每个所述编码画面拆分为多个数据包；传输模块，用于按照预设顺序对所述多个数据包进行传输，以将每个所述编码画面发送至所述虚拟摄像头。

需要说明的是，上述远程交互装置中各模块的具体细节已经在对应的远程交互方法中进行了详细描述，因此此处不再赘述。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

Claims (10)

1.一种远程交互方法，其特征在于，包括：

响应第一终端发送的实时连接请求，与所述第一终端建立实时通信连接；所述第一终端包括虚拟摄像头；

响应所述第一终端的拍摄指令，通过第二终端的摄像头对所述第一终端所处的目标应用的待采集画面进行采集，并根据所述虚拟摄像头的属性信息对采集画面进行处理形成目标画面；

将所述目标画面发送至所述第一终端的所述虚拟摄像头，以使所述第一终端根据所述虚拟摄像头接收的所述目标画面对所述目标应用进行交互操作。

2.根据权利要求1所述的远程交互方法，其特征在于，所述响应第一终端发送的实时连接请求，与所述第一终端建立实时通信连接，包括：

对所述第一终端和所述第二终端进行安全验证，并在验证成功后响应于所述第一终端通过低延时传输程序生成的所述实时连接请求，与所述第一终端建立通信连接。

3.根据权利要求1所述的远程交互方法，其特征在于，所述通过第二终端的摄像头对所述第一终端所处的目标应用的待采集画面进行采集，包括：

根据所述第二终端的类型提供对应的显示范围，并基于所述显示范围对所述第一终端所处的所述目标应用的所述待采集画面进行采集。

4.根据权利要求1所述的远程交互方法，其特征在于，所述根据所述虚拟摄像头的属性信息对采集画面进行处理形成目标画面，包括：

根据所述虚拟摄像头的分辨率的支持状态，对所述第二终端的摄像头获取的所述采集画面进行图像处理，得到所述目标画面。

5.根据权利要求4所述的远程交互方法，其特征在于，所述根据所述虚拟摄像头的分辨率的支持状态，对所述第二终端的摄像头获取的采集画面进行处理，得到所述目标画面，包括：

若所述虚拟摄像头的分辨率不支持所述第二终端的摄像头的分辨率，则按照第二终端的摄像头的分辨率和第一终端的虚拟摄像头的分辨率之间的大小关系，对所述采集画面进行缩放得到缩放画面，并将所述缩放画面确定为所述目标画面。

6.根据权利要求1所述的远程交互方法，其特征在于，所述将所述目标画面发送至所述第一终端的所述虚拟摄像头，包括：

对所述目标画面进行编码得到多个编码画面，并将所述多个编码画面发送至所述虚拟摄像头。

7.根据权利要求6所述的远程交互方法，其特征在于，所述将所述多个编码画面发送至所述虚拟摄像头，包括：

根据每个所述编码画面的数据量，将每个所述编码画面拆分为多个数据包；

按照预设顺序对所述多个数据包进行传输，以将每个所述编码画面发送至所述虚拟摄像头。

8.一种远程交互装置，其特征在于，包括：

连接建立模块，用于响应第一终端发送的实时连接请求，与所述第一终端建立实时通信连接；所述第一终端包括虚拟摄像头；

画面采集模块，用于响应所述第一终端的拍摄指令，通过第二终端的摄像头对所述第一终端所处的目标应用的待采集画面进行采集，并根据所述虚拟摄像头的属性信息对采集画面进行处理形成目标画面；

画面传输模块，用于将所述目标画面发送至所述第一终端的所述虚拟摄像头，以使所述第一终端根据所述虚拟摄像头接收的所述目标画面对所述目标应用进行交互操作。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任意一项所述的远程交互方法。

10.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-7任意一项所述的远程交互方法。

Images