CN117061581B - 远程控制方法、装置、电子设备、存储介质及程序产品 - Google Patents

Abstract

本申请公开了一种远程控制方法、装置、电子设备、存储介质及程序产品，可应用于远程驾驶场景；本申请可响应于远程控制请求，获取交通工具的环境视频；基于操控对象的属性信息，确定环境视频对应的合规元素；从每帧环境图像中，确定合规元素对应的目标区域；根据每帧环境图像中的目标区域以及合规元素，对环境视频进行合规处理，得到合规视频；基于合规视频，获取远程控制指令，并根据远程控制指令调整交通工具的运动状态。通过合规元素对环境视频进行合规处理，可避免随意泄露他人的私人数据，可有效提升远程控制中的视频的机密性。

Description

远程控制方法、装置、电子设备、存储介质及程序产品

技术领域

本申请涉及计算机技术领域，具体涉及一种远程控制方法、装置、电子设备、存储介质及程序产品。

背景技术

远程控制是指通过无线通信或网络连接等技术手段，从远处对设备、系统或机器进行操作和控制的过程，它允许用户在不同的位置和时间，通过远程手段实现对设备、系统或机器的控制，而无需接触他们。例如，对交通工具的远程控制。

在对交通工具进行远程控制时，用户需要获取到交通工具周围的环境信息，进而发出远程控制指令，以确保交通工具的安全行驶。通常，交通工具周围的环境信息可通过视频获得，视频内容中可能携带了他人的私人数据，存在泄露风险，导致视频的机密性较低。

发明内容

本申请实施例提供一种远程控制方法、装置、电子设备、存储介质及程序产品，可以提升远程控制中视频的机密性。

本申请实施例提供一种远程控制方法，该方法包括：

响应于远程控制请求，获取所述交通工具的环境视频，所述远程控制请求包括与所述交通工具对应的操控对象的属性信息，所述环境视频包括多帧环境图像；

基于所述操控对象的属性信息，确定所述环境视频对应的合规元素；

从每帧环境图像中，确定所述合规元素对应的目标区域；

根据每帧环境图像中的目标区域以及所述合规元素，对所述环境视频进行合规处理，得到合规视频；

基于所述合规视频，获取远程控制指令，并根据所述远程控制指令调整所述交通工具的运动状态。

本申请实施例还提供一种远程控制装置，该装置包括：

视频获取单元，用于响应于远程控制请求，获取所述交通工具的环境视频，所述远程控制请求包括与所述交通工具对应的操控对象的属性信息，所述环境视频包括多帧环境图像；

元素确定单元，用于基于所述操控对象的属性信息，确定所述环境视频对应的合规元素；

区域确定单元，用于从每帧环境图像中，确定所述合规元素对应的目标区域；

合规单元，用于根据每帧环境图像中的目标区域以及所述合规元素，对所述环境视频进行合规处理，得到合规视频；

控制单元，用于基于所述合规视频，获取远程控制指令，并根据所述远程控制指令调整所述交通工具的运动状态。

在一些实施例中，所述合规元素包括标识元素，所述目标区域包括标识区域，所述区域确定单元还包括：

规则确定子单元，用于获取所述标识元素，在每帧环境图像中对应的排列规则；

标识确定子单元，用于根据所述排列规则和所述标识元素，从每帧环境图像中确定标识区域。

在一些实施例中，标识确定子单元还用于：

针对每帧环境图像，按照对应的排列规则，在环境图像中排列所述标识元素，得到排列后的环境图像；

将排列后的环境图像中，与所述标识元素重叠的区域，确定为标识区域。在一些实施例中，合规单元还包括：

频域变换子单元，用于将所述标识元素进行频域变换处理，得到调整后的标识元素；

融合子单元，用于针对每帧环境图像，将所述调整后的标识元素和所述标识区域内的图像进行融合处理，得到融合后的环境图像；

合规获取子单元，用于根据所有融合后的环境图像，得到合规视频。

在一些实施例中，融合子单元还用于：

针对每帧环境图像，对所述标识区域内的图像进行频域变换，得到变换后的图像；

融合调整后的标识元素和变换后的图像，得到区域融合图像；

将区域融合图像变换至空间域，得到融合后的环境图像。

在一些实施例中，所述合规元素包括遮蔽元素，所述目标区域包括遮蔽区域，所述区域确定单元还包括：

检测子单元，用于在每帧环境图像中，检测所述遮蔽元素对应的预设对象；

遮蔽确定子单元，用于将所述环境图像中，所述预设对象所在的区域，确定为遮蔽区域。

在一些实施例中，合规单元还包括：

模糊子单元，用于针对每帧环境图像，使用所述遮蔽元素对所述遮蔽区域内的图像进行模糊处理，得到模糊后的环境图像；

合规获取子单元，用于根据所有模糊后的环境图像，得到合规视频。

在一些实施例中，模糊子单元还用于：

针对每帧融合后的环境图像，获取所述遮蔽区域内的图像的边界信息，所述边界信息包括色彩信息和形状信息；

利用所述形状信息对所述遮蔽元素的形状进行调整，得到调整后的遮蔽元素；

根据所述色彩信息校正所述调整后的遮蔽元素的色彩，得到校正后的遮蔽元素；

将所述校正后的遮蔽元素覆盖至所述遮蔽区域，得到模糊后的环境图像。

在一些实施例中，所述属性信息包括对象类型，元素确定单元还包括：

映射获取子单元，用于获取预设类型和预设元素之间的映射关系，所述预设类型包括所述对象类型；

确定子单元，用于根据所述映射关系，将所述对象类型对应的预设元素确定为合规元素。

在一些实施例中，控制单元还包括：

参数获取子单元，用于获取交通工具的当前运动参数；

编码子单元，用于对所述合规视频进行编码处理，得到视频压缩数据；

指令获取子单元，用于向服务器发送所述运动参数和所述视频压缩数据，以便向操控对象展示所述运动参数和视频压缩数据，得到远程控制指令；

控制子单元，用于通过所述服务器获取所述远程控制指令，并根据所述远程控制指令调整所述交通工具的当前运动参数，以调整所述交通工具的运动状态。

在一些实施例中，编码子单元还用于：

对所述合规视频中的多帧图像进行分析，确定每帧图像对应的帧类型；

若图像的帧类型为预设类型，基于所述图像内的空间相关性对所述图像进行编码，得到图像编码数据；

若图像的帧类型不为预设类型，根据图像在时间上的重复性，对所述图像进行编码，得到图像编码数据；

将所有所述图像编码数据，确定为视频压缩数据。

本申请实施例还提供一种电子设备，包括存储器存储有多条指令；所述处理器从所述存储器中加载指令，以执行本申请实施例所提供的任一种远程控制方法中的步骤。

本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本申请实施例所提供的任一种远程控制方法中的步骤。

本申请实施例还提供一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现本申请实施例所提供的任一种远程控制方法中的步骤。

本申请实施例在接收到远程控制请求时，可以获取到交通工具的环境视频，并利用操控对象的属性信息，确定环境视频对应的合规元素；再从每帧环境图像中，确定合规元素对应的目标区域；根据每帧环境图像中的目标区域以及合规元素，对所述环境视频进行合规处理，得到合规视频，最后，再利用合规视频获取远程控制指令，并基于远程控制指令调整交通工具的运动状态。根据操控对象的属性信息确定合规元素，再利用合规元素对环境视频进行合规处理，以便对环境视频中的私人数据进行保护，避免数据泄露，从而有效提升远程控制中的视频的机密性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1a是本申请实施例提供的远程控制方法的应用场景示意图；

图1b是本申请实施例提供的远程控制方法的流程示意图；

图1c是本申请实施例提供的基于对象类型进行合规处理的流程示意图；

图1d是本申请实施例提供的远程控制方法的整体架构示意图；

图2a是本申请另一实施例提供的远程控制方法的流程示意图；

图2b是本申请实施例提供的远程控制方法的数据交互示意图；

图3是本申请实施例提供的远程控制装置的结构示意图；

图4是本申请实施例提供的电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供一种远程控制方法、装置、电子设备、存储介质及程序产品。

其中，该远程控制装置具体可以集成在电子设备中，该电子设备可以为终端、服务器等设备。其中，终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、或者个人电脑（Personal Computer，PC）、智能语音交互设备、智能家电、车载终端、飞行器等设备；服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群。

在一些实施例中，该远程控制装置还可以集成在多个电子设备中，比如，远程控制装置可以集成在多个服务器中，由多个服务器来实现本申请的远程控制方法。

在一些实施例中，服务器也可以以终端的形式来实现。

例如，参考图1a，示出了远程控制方法的应用场景示意图。该应用场景中包括电子设备101，服务器102以及模拟驾驶舱103，这三者组成远程控制系统。

其中，电子设备101可设置在交通工具中，该交通工具可以是指车辆、无人机、飞机、船舶等。例如图1a中，将电子设备101设置在车辆中，作为车辆的工控机，其可以包括视频编码传输模块、视频处理模块、车辆控制模块。

视频处理模块负责对环境视频进行合规处理，以确保视频的机密性，视频编码传输模块用于对视频进行编码后传输，车辆控制模块则用于接收远程控制指令，实现对车辆的控制。

服务器102可以包括信令与媒体控制模块、远程驾驶状态显示模块以及远程驾驶服务模块。其中，信令和媒体控制模块，用于转发上行的视频、车辆的运动参数，及下行的远程控制指令。远程驾驶服务模块，用于接收操控对象通过模拟驾驶舱103的硬件驱动传送过来的远程控制指令，然后经网络下发给电子设备101的车辆控制模块。远程驾驶状态显示模块，负责从信令和媒体控制模块拉取视频和运动参数并进行显示。

电子设备101、服务器102以及模拟驾驶舱103之间可通过网络互相传输数据，例如通过5G网络互相传输数据。其中5G网络可以包括5G基站和5G核心网，5G基站是5G网络的无线接入点，负责将数据传输用户设备和从用户设备接收数据，5G核心网是5G网络的核心部分，负责管理和控制整个网络的运行。

车辆上可安装有多个图像采集装置，例如摄像头，可对车辆周围的环境信息进行采集。电子设备101可获取到图像采集装置采集的环境视频，并对其进行处理、编码和传输。

操控对象可在模拟驾驶舱103中发起远程驾驶的登录操作请求，该登录操作请求可由服务器102验证，验证通过后，由服务器102生成操作对象的远程控制请求，并发送给电子设备101。电子设备101可响应于远程控制请求，获取交通工具的环境视频，所述远程控制请求包括与所述交通工具对应的操控对象的属性信息，所述环境视频包括多帧环境图像；基于所述操控对象的属性信息，确定所述环境视频对应的合规元素；从每帧环境图像中，确定所述合规元素对应的目标区域；根据每帧环境图像中的目标区域以及所述合规元素，对所述环境视频进行合规处理，得到合规视频；基于所述合规视频，获取远程控制指令，并根据所述远程控制指令调整所述交通工具的运动状态。

该远程控制方法可应用于智能驾驶场景中，例如远程驾驶场景、自动驾驶场景等。例如，在一些危险环境中，可使用该远程控制方法控制车辆进行作业，降低作业风险，又例如，在自动驾驶出现异常时，可使用该远程控制方法接管自动驾驶异常的车辆，确保安全驾驶。

以下分别进行详细说明。需说明的是，以下实施例的顺序不作为对实施例优选顺序的限定。

可以理解的是，在本申请的具体实施方式中，涉及到属性信息、身份标识、私钥等相关的数据，当本申请以上实施例运用到具体产品或技术中时，需要获得用户许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

在本实施例中，提供了一种远程控制方法，如图1b所示，该远程控制方法的具体流程可以如下：

110、响应于远程控制请求，获取交通工具的环境视频，所述远程控制请求包括与所述交通工具对应的操控对象的属性信息。

操控对象是指控制交通工具的对象，该操控对象可以是模拟驾驶舱的用户、也可以是智能助理等，远程控制请求是指用于控制交通工具的请求。

其中，远程控制请求可以携带有操控对象的属性信息，该属性信息可以包括操控对象的身份标识，发起远程控制请求的设备标识等信息。

在一些实施方式中，为了确保控制的机密性，远程控制请求可以是在操控对象通过鉴权认证后生成的。例如，操控对象可在模拟驾驶舱内进行登录操作，以向服务器发送登录请求，该登录请求中可以包括所要控制的交通工具的标识、操控对象的身份标识以及相应的秘钥。服务器可基于身份标识和秘钥进行鉴权处理，在鉴权通过后，根据交通工具的标识向该交通工具对应的电子设备发送远程控制请求。从而，电子设备可接收到操控对象的远程控制请求。

电子设备在接收到远程控制请求后，可以获取到交通工具的环境视频。其中，环境视频是对交通工具所处于的环境进行图像采集后得到影像，该环境视频中可以包括多帧环境图像。

在获取环境视频时，电子设备可以向交通工具上的图像采集模块下达采集指令，图像采集模块在接收到采集指令后，在其采集范围内持续采集图像，得到环境视频并发送给电子设备。从而，电子设备可以获取到交通工具的环境视频。

在一些实施方式中，该环境视频可由多个图像采集装置采集得到，例如，有两个图像采集装置，这两个图像采集装置的采集范围相邻但不重叠，每个图像采集装置可以将采集到的图像发送给电子设备，电子设备可将同一时刻采集到的图像拼接在一起，得到环境图像，最终得到环境视频。

120、基于所述操控对象的属性信息，确定所述环境视频对应的合规元素。

环境视频由交通工具上的图像采集装置采集得到，通常，交通工具周围的环境中可能会出现行人、其他车辆的车牌号等私人数据，则对应的环境视频中也会出现这些私人数据，若直接将环境视频发送给任意一个操控对象则可能会造成私人数据的泄露，并且视频在传播后，也难以进行溯源，导致环境视频的机密性较差。

为了提升环境视频的机密性，可以根据操控对象的属性信息，确定该环境视频的合规元素。合规元素是指为了使得环境视频合法合规所使用的元素，该合规元素在环境视频中可表现为消除了私人数据的元素、或者可对视频进行溯源的元素从而增强环境视频的机密性。

在一些实施方式中，可以基于操控对象的对象类型，确定环境视频的合规元素，例如，可以是获取预设类型和预设元素之间的映射关系，所述预设类型包括所述对象类型；根据所述映射关系，将所述对象类型对应的预设元素确定为合规元素。

其中，预设类型和预设元素之间的映射关系可以是预先设置好的，预设类型可以包括多种对象类型，例如，可信类型、不可信类型等，预设元素可以包括标识元素、遮蔽元素等，其中，标识元素可用于溯源环境视频的来源，遮蔽元素可用于遮挡环境视频中的私人数据。

作为一种实施方式，操控对象的对象类型可以被包括在属性信息中，该对象类型由服务器确定得到。获取到属性信息后，则可以直接获取到对象类型，从而可以将该映射关系中，与该对象类型对应的预设元素确定为合规元素。

作为一种实施方式，同一操控对象在不同的交通工具下，具有不同的对象类型。例如，某个操控对象A对于车辆A而言，其对象类型为可信类型，但是对于车辆B而言，其对象类型为不可信类型。由此，可由电子设备基于属性信息确定出对象类型，例如，电子设备可以存储有其所在的交通工具对应的预设列表，该预设列表内可以存放预设标识，即该交通工具对应的可信对象的对象标识。由此，可直接从属性信息中获取到操控对象的对象标识；根据对象标识和预设列表，确定操控对象的对象类型。例如，若对象标识在预设列表中，可将操控对象的对象类型为可信类型；若对象标识不在预设列表中，可将操控对象的对象类型为不可信类型。

作为一种实施方式，属性信息中可以携带有对象类型，该对象类型可以是由服务器确定出的，电子设备也可以基于属性信息确定出对象类型，电子设备还可以根据属性信息中携带的对象类型和自身确定出的对象类型，综合确定出操控对象的对象类型。例如，将属性信息中携带的对象类型记为第一类型，将电子设备确定出的对象类型为第二类型，即可以在第一类型和第二类型均为可信类型时，将操控对象的对象类型确定为可信类型，否则确定为不可信类型。

在确定出对象类型后，可以将该映射关系中，与该对象类型对应的预设元素确定为合规元素，以供后续使用。例如，若对象类型为可信类型，可将标识元素确定为合规元素；若对象类型为不可信类型，可将标识元素以及遮蔽元素确定为合规元素。

130、从每帧环境图像中，确定所述合规元素对应的目标区域。

环境视频中可以包括多帧环境图像，针对每帧环境图像，均可以从中确定出合规元素对应的目标区域。目标区域是指将合规元素融合至环境图像中时，该合规元素在环境图像中所处于的区域。

如前所述，合规元素可以包括标识元素，标识元素被添加至环境视频中后，可对环境视频的来源进行溯源。例如，操控对象A所看到的环境视频a中包含了和操控对象A对应的标识元素，从而，在环境视频a被非法传播之后，可根据标识元素进行溯源。其中，标识元素可以和操控对象的身份标识相关，该标识元素的表现形式可以是图像，例如，标识元素可以是基于操控对象的身份标识生成的图像。

在一些实施方式中，若合规元素为标识元素，则对应的目标区域可以为标识区域。确定合规元素对应的目标区域时，可以是获取所述标识元素，在每帧环境图像中对应的排列规则；根据所述排列规则和所述标识元素，从每帧环境图像中确定标识区域。

其中，一帧环境图像中，可以添加进多个标识元素，排列规则是指多个标识元素在环境图像中的分布所需要满足的规则。每帧环境图像对应的排列规则可以是相同的，也即，所有环境图像均使用相同的排列规则，例如，排列规则可以为左对角线排列，即以环境图像的左上角为排列起点，以指定间距向右下角排列标识元素，则每帧环境图像中，标识元素均以左对角线的方式分布。

为了进一步提升环境视频的机密性，每帧环境图像的排列规则可以不同。例如，第一帧环境图像对应的排列规则为对角线排列，第二帧环境图像对应的排列规则为右对角线排列，即以环境图像的右上角为排列起点，以指定间距向左下角排列标识元素。

在获取每帧环境图像对应的排列规则时，可以是为环境视频中的每帧环境图像进行编号处理，得到每帧环境图像对应的帧编号；获取标识元素的总数量，然后获取该帧环境图像对应的帧编号，基于帧编号，生成总数量个随机位置，将这总数量个随机位置在环境图像中的分布作为环境图像的排列规则。

对环境图像进行编号处理后，可以得到每帧环境图像对应的帧编号，假设每帧环境中，所要添加的标识元素的数量均为总数量。以帧编号为种子值，使用伪随机数生成器生成总数量个随机位置，其中，该伪随机数生成器可以是线性同余生成器、梅森旋转算法等，具体可根据实际的需要进行选择。

在一些实施方式中，还可以预先建立排列规则库，该排列规则库中可包括多个排列规则，针对每一帧环境图像，随机从排列规则库中选择一个排列规则即可，从而得到每帧环境图像对应的排列规则。

然后，根据每帧环境图像对应的排列规则和标识元素，从每帧环境中确定标识区域。例如，可以是针对每帧环境图像，按照对应的排列规则，在环境图像中排列所述标识元素，得到排列后的环境图像；将排列后的环境图像中，与所述标识元素重叠的区域，确定为标识区域。

由于每帧环境图像对应有排列规则，则可以按照排列规则，将标识元素排列在环境图像中，得到排列后的环境图像，排列后的环境图像中，部分区域和标识元素重叠，则可以将重叠的区域直接确定为标识区域。

在一些实施方式中，合规元素可以包括遮蔽元素，遮蔽元素被添加至环境视频中后，可以对环境视频中的私人数据进行遮挡。例如，环境视频中有其他车辆的车牌号的画面，可使用遮蔽元素将车牌号遮挡，避免泄露他人的私人数据。其中，遮蔽元素可以是预先设置好的和私人数据匹配的图像，例如，私人数据为车牌号，则遮蔽元素可以是一个矩形，例如，私人数据为行人的脸部，则遮蔽元素可以是一个圆形等。

若合规元素为遮蔽元素，则对应的目标区域可以包括遮蔽区域。确定合规元素对应的目标区域时，可以是在每帧环境图像中，检测所述遮蔽元素对应的预设对象；将所述环境图像中，所述预设对象所在的区域，确定为遮蔽区域。

遮蔽区域是指遮蔽元素在环境图像中所在的区域，由此，可以对每帧环境图像进行检测，检测屏蔽元素对应的预设对象，其中，屏蔽元素对应的预设对象则是指环境图像中需要被遮挡的内容，例如，可以是行人、还可以是其他车辆的车牌号等。

也就是说，需要对每帧环境图像进行图像检测，以检测出环境图像中的预设对象。其中，可以使用训练完成的检测网络，该检测网络可以识别出环境图像中的预设对象，并给出预设对象在环境图像中的区域。例如，预设对象为行人以及车牌号时，可以先获取样本图像，以及样本图像对应的样本标签，其中，样本图像可以是包含行人的图像、包含车牌号的图像、包含行人和车牌号的图像，样本标签则是行人、车牌号、行人和车牌号在图像中的位置信息。

该检测网络可以是卷积神经网络，可将样本图像输入至该卷积神经网络中，实现对预设对象的位置的预测，得到预测位置信息，利用预测位置信息和样本标签之间的差距可得到损失函数，调整卷积神经网络的网络参数，不断减小预测位置信息和样本标签之间的差距，使得损失函数收敛，损失函数收敛时，即可得到检测网络。

在实际检测预设对象时，可以将每帧环境图像输入检测网络，将该检测网络检测出的区域，即预设对象所在的区域，确定为遮蔽区域。需要说明的是，若某帧环境图像中没有预设对象，则不存在对应的遮蔽区域。当然，在一些实施方式中，合规元素可以为遮蔽元素和标识元素，则目标区域为遮蔽区域和标识区域，则可以按照前述的方式，在每帧环境图像中检测预设对象，以得到遮蔽区域，并根据环境图像中的排列规则，确定出标识区域。需要说明的是，若某帧环境图像中没有预设对象，则不存在对应的遮蔽区域，也即一帧环境图像中可能同时存在遮蔽区域和标识区域，或者仅存在标识区域。

140、根据每帧环境图像中的目标区域以及所述合规元素，对所述环境视频进行合规处理，得到合规视频。

前述在确定出目标区域后，可基于目标区域和合规元素，对环境视频进行合规处理。其中，合规处理是指提升环境视频机密性的处理，可以是将合规元素融合至环境图像中的目标区域的处理。

在一些实施方式中，若合规元素为标识元素，目标区域为标识区域，进行合规处理时，可以是将标识元素的透明度调整为预设透明度，得到调整后的标识元素；将所述调整后的标识元素叠加至标识区域，得到融合后的环境图像；根据所有融合后的环境图像，得到合规视频。

标识元素可对环境视频进行溯源，那么标识元素在融合至环境图像中时，不能遮挡环境图像中的原本的内容，由此，可以直接将标识元素的透明度调整为预设透明度，得到调整后的标识元素。其中，透明度是指标识元素在环境图像中的可见性，透明度越高，标识元素的可见性越高，透明度越低，标识元素的可见性越低。透明度通常可使用一个基于0至1之间的值来表示，其中，0表示完全透明即不可见，1表示完全不透明即完全可见。

若标识元素完全可见，则会遮挡环境图像中的原始内容，由此，预设透明度可设置为可见性较低的一个值，例如，0.3，0.4等，具体可根据实际的需要进行设置，具有预设透明度的标识元素则为调整后的标识元素。得到调整后的标识元素之后，可直接将标识元素放置在标识区域，实现融合，得到融合后的环境图像，再将所有融合后的环境图像确定为合规视频。

在一些实施方式中，为了提升标识元素的鲁棒性和机密性，若合规元素为标识元素，目标区域为标识区域，进行合规处理时，可以是对所述标识元素进行频域变换处理，得到调整后的标识元素；针对每帧环境图像，将所述调整后的标识元素和所述标识区域内的图像进行融合处理，得到融合后的环境图像；根据所有融合后的环境图像，得到合规视频。

频域变换处理是指将标识元素从空间域转换到频域，具体可使用通过傅里叶变换、小波变换等进行频域变换处理。例如，通过傅里叶变换将标识元素变换至指定频域，得到调整后的标识元素。

然后可将调整后的标识元素和标识区域内的图像进行融合处理，以得到融合后的环境图像。例如，可以是针对每帧环境图像，对所述标识区域内的图像进行频域变换，得到变换后的图像；融合调整后的标识元素和变换后的图像，得到区域融合图像；将区域融合图像变换至空间域，得到融合后的环境图像。

在每帧环境图像中，标识区域可能是多个，则每个标识区域内的图像均需要和调整后的标识元素进行融合，下面将以一个标识区域内的图像和调整后的标识元素进行融合进行详细说明。

在标识区域内，本身就存在环境图像的一部分图像，可以对标识区域内的图像进行频域变换，得到变换后的图像。其中，该次频域变化和前述对标识元素进行频域变换处理时所使用的方式相同，且变换到相同的频域。也即调整后的标识元素和变换后的图像是处于相同频域的频域图像。

在频域图像中，每个像素的数值表示了对应频率分量的强度和相位信息，频域系数则是在频域图像中的每个像素处的数值，对于二维图像而言，其频域系数通常是复数形式，包括实部和虚部，频域图像可以看作是频域系数构成的矩阵。由此，融合调整后的标识元素和变换后的图像时，可以是将调整后的标识元素的频域系数添加至变换后的图像的频域系数中，得到区域融合图像。

作为一种实施方式，可以使用加权求和的方式融合调整后的标识元素和变换后的图像。例如，加权求和的方式可用如下公式表示：y=α*x1+β*x2，其中，y表示区域融合图像，x1表示调整后的标识元素的频域系数，α表示调整后的标识元素对应的权重，x2表示变换后的图像的频域系数，β表示变换后的图像对应的权重。α和β可根据实际的需要进行设置。

然后，再将区域融合图像变换至空间域，可得到融合后的环境图像，例如，可使用傅里叶逆变换、小波逆变换等方式将区域融合图像变换至空间域，以得到融合后的环境图像。

将所有融合后的环境图像，确定为合规视频即可。合规视频中包含有和操控对象相关的标识元素，可降低合规视频被违规传播的风险，进而有效保护视频，提升视频的机密性，在合规视频被违规传播后，可进行高效的溯源。

在一些实施方式中，若合规元素包括遮蔽元素，则目标区域为遮蔽区域，进行合规处理时，可以是针对每帧环境图像，使用所述遮蔽元素对所述遮蔽区域内的图像进行模糊处理，得到模糊后的环境图像；根据所有模糊后的环境图像，得到合规视频。

由于遮蔽区域是预设对象在环境图像中的区域，可能只有部分环境图像中存在遮蔽区域，对于存在遮蔽区域的环境图像，可使用遮蔽元素对遮蔽区域内的图像进行模糊处理，以得到模糊后的环境图像。其中，该遮蔽元素可用于遮蔽预设对象，其可以表现为遮蔽区域内的图像被模糊，无法看清即可。该遮蔽元素可以是基于模糊处理后生成在遮蔽区域内，也可以是一个图像。

遮蔽元素可以是基于模糊处理后生成在遮蔽区域内时，则是对遮蔽区域内的图像进行模糊处理，以便在遮蔽区域内生成遮蔽元素，以得到模糊后的环境图像。可选地，可以是将遮蔽区域划分为多个子区域；针对每个子区域，利用子区域内各个像素点的像素值，计算子区域像素均值；使用子区域像素均值更新子区域内各个像素点的像素值，以在遮蔽区域内生成遮蔽元素，得到模糊后的环境图像。

例如，将遮蔽区域划分为3个子区域，针对每个子区域，可以获取子区域内各个像素点的像素值，计算子区域内像素点的平均值，得到子区域像素均值。然后，将子区域内各个像素点的像素值更新为该子区域像素均值，从而在遮蔽区域内生成遮蔽元素。

遮蔽元素为具体图像时，可以是使用所述遮蔽元素对所述遮蔽区域内的图像进行模糊处理，得到模糊处理后的环境图像。可选地，可以是直接将遮蔽元素覆盖至遮蔽区域，以使得遮蔽元素覆盖原来的环境图像。

在一些实施方式中，为了使得遮蔽元素更加自然地融合在环境图像中，以提升视觉效果，可以是针对每帧融合后的环境图像，获取所述遮蔽区域内的图像的边界信息，所述边界信息包括色彩信息和形状信息；利用所述形状信息对所述遮蔽元素的形状进行调整，得到调整后的遮蔽元素；根据所述色彩信息校正所述调整后的遮蔽元素的色彩，得到校正后的遮蔽元素；将所述校正后的遮蔽元素覆盖至所述遮蔽区域，得到模糊后的环境图像。

边界信息是指遮蔽区域是环境图像中边界，可包括边界的色彩信息和形状信息，其中，色彩信息是指边界处的颜色，需要说明的是，边界所围成的封闭区域为遮蔽区域，边界的颜色并非为单一的，例如，边界的右侧可以是黄色，边界的左侧可以是绿色等。形状信息是指边界的形状，例如，是圆形、扇形、矩形等。

由于遮蔽元素是一具体的图像，其本身就具有形状，例如，遮蔽元素可以是一个黑色的圆形图像。在获取到色彩信息和形状信息后，可以利用形状信息对遮蔽元素的形状进行调整，例如，边界的形状信息为矩形，则可以将遮蔽元素从圆形调整为矩形，使得其与边界的形状信息相匹配，避免遮挡非遮蔽区域内的图像。

同时，可利用颜色信息校正遮蔽元素的色彩，例如，颜色信息为单一的颜色，例如，矩形边界的颜色为红色，则可以直接将整个遮蔽元素的色彩从黑色更改为红色，得到校正后的遮蔽元素。

若边界的色彩信息包括至少两种颜色，在一些实施方式中，可基于这两种颜色在边界的占比确定目标颜色，然后将遮蔽元素的颜色调整为目标颜色即可。例如，色彩信息包括黄色和绿色，其中，黄色在整个边界中的占比为30%，绿色在整个边界中的占比为70%，可以直接将占比最高的颜色确定为目标颜色，即可直接将遮蔽元素的颜色调整为绿色，以得到校正后的遮蔽元素。

在一些实施方式中，若边界的色彩信息包括至少两种颜色，还可以基于色彩信息生成过渡颜色，然后将遮蔽元素的颜色调整为过渡颜色。其中，过渡颜色并非是单一的颜色，而是从浅到深的一个渐变颜色。例如，矩形左侧和上侧为黄色，右侧和下侧为绿色，则可以生成从黄色到浅黄色，则遮蔽元素的颜色可以从浅黄色到浅绿色，最后到绿色的渐变颜色，渐变的方向从左上侧到右下侧，以得到校正后的遮蔽元素。

在得到校正后的遮蔽元素后，可直接将校正后的遮蔽元素覆盖至遮蔽区域，实现对遮蔽区域内的图像的遮挡，得到模糊后的环境图像，避免私密数据的泄露。

如前所述，预设对象可以包括行人和车牌号，遮蔽元素可以是相同的图像，例如，为一个马赛克的图像。当然，针对不同的预设对象，遮蔽元素也可以表现为不同。前述在检测遮蔽区域时，可以对应检测出遮蔽区域中的预设对象的类型，在确定遮蔽区域时，可对其中的预设对象的类型进行标记。例如，预设对象是行人时，该遮蔽区域携带有指定标识，可以将一个笑脸图像作为携带有指定标识的遮蔽区域的遮蔽元素，将一个马赛克图像作为未携带有指定标识的遮蔽区域的遮蔽元素，具体可根据实际的需要进行设置，在此不做具体限定。

对每帧环境图像均进行合规处理后，可以得到对应的模糊后的环境图像，从而可以得到合规视频，也即，合规视频中包括多帧模糊后的环境图像。

在一些实施方式中，若合规元素为标识元素和遮蔽元素，则目标区域为标识区域和遮蔽区域。则可以结合前述的两种方式，利用标识区域以及对应的标识元素、并利用遮蔽区域以及对应的遮蔽区域，对环境视频进行合规处理，得到合规视频。

为了更加详细地说明上述对视频的处理过程，可参阅图1c，示出了基于对象类型进行合规处理的流程示意图。若确定操控对象的对象类型为可信类型，可将标识元素确定为合规元素，在环境图像中确定出标识区域，作为目标区域，将标识元素融合在每帧环境图像的标识区域内，则可以得到合规视频。

若确定操控对象的对象类型为不可信类型，可将标识元素和遮蔽元素确定为合规元素，在环境图像中确定出标识区域以及遮蔽区域作为目标区域。环境图像中存在遮蔽区域，则将标识元素融合在每帧环境图像的标识区域内，并将遮蔽元素融合在遮蔽区域；若环境图像中不存在遮蔽区域，则将标识元素融合在每帧环境图像的标识区域内，以此得到合规视频。

当然，由于遮蔽元素可用于遮蔽行人或车牌号，还可以对不可信类型进行进一步细分为不可信程度为高或低。例如，前述在结合属性信息中携带的对象类型，即第一类型，以及电子设备所确定出的对象类型，第二类型，共同确定对象类型时，可以是在第一类型和第二类型中仅有一个为不可信类型时，将其不可信程度确定为低，在第一类型和第二类型中均为不可信类型时，将其不可信程度确定为高。针对不可信程度为高的情况，可将行人和车牌号均通过遮蔽元素进行遮蔽，针对不可信程度为低的情况，可在行人和车牌号中择一遮蔽即可。

在一些实施方式中，具体需要遮蔽的预设对象，还可以由用户预先设置，例如，用户仅选择遮蔽行人，则后续仅将行人所在的区域确定为遮蔽区域；若用户仅选择遮蔽车牌号，则后续仅将车牌号所在的区域确定为遮蔽区域。具体可根据实际的需要进行选择或设置，在此不做具体限定。

针对可信类型的操控对象，使用与操控对象相关的标识元素进行合规处理，在视频被违规传播后，可快速溯源，并且也可降低视频被违规传播的风险，进而有效保护视频，提升视频的机密性。

针对不可信类型的操控对象，同时使用标识元素和遮蔽元素进行合规处理，可降低泄露他人私人数据的风险，遮蔽元素可对视频中的私人数据进行遮蔽，有效避免数据泄露，并且标识元素可用于溯源，在发生数据泄露后也可快速锁定视频来源，有效提升视频的机密性。

150、基于所述合规视频，获取远程控制指令，并根据所述远程控制指令调整所述交通工具的运动状态。

在得到合规视频后，电子设备可以将合规视频转发给其他终端，其他终端可以播放合规视频，从而便于用户获知交通工具周围的环境信息。当然，在合规视频被播放后，操控对象也可以基于合规视频发出远程控制指令，以实现远程控制交通工具。

作为一种实施方式，为了降低远程控制中的数据传输量，电子设备可以获取交通工具的运动参数；对所述合规视频进行编码处理，得到视频压缩数据；向服务器发送所述运动参数和所述视频压缩数据，以便向操控对象展示所述运动参数和合规视频，得到远程控制指令；通过所述服务器获取所述远程控制指令，并根据所述远程控制指令调整所述交通工具的当前运动参数，以调整所述交通工具的运动状态。

在远程控制中，不仅需要实时展示交通工具的周边环境，还需要获知交通工具的运动参数，以确保远程控制更加准确。交通工具的运动参数可以包括速度、加速度、能源的消耗情况等，电子设备可以从交通工具上设置的传感器处获取到运动参数，例如，在得到合规视频后，电子设备可以向速度传感器、加速度传感器、能源检测器等发送指令，以获取到交通工具的运动参数。

在传输合规视频时，为了降低合规视频的数据传输量，可对合规视频进行编码处理，得到编码数据，再向服务器发送编码数据和当前运动参数，以便向操控对象展示当前运动参数和合规视频。需要说明的是，合规视频编码后成为编码数据，对编码数据进行解码，即可还原为合规视频。

从而，操控对象可发出对应的远程控制指令。该远程控制指令可由服务器转发至电子设备，从而电子设备可根据远程控制指令，对交通工具的运动参数进行调整，进而改变交通工具的运动状态。

其中，对合规视频进行编码处理可减少视频数据的大小，同时保持较高的视觉质量。在对合规视频进行编码处理时，可以是对所述合规视频中的多帧图像进行分析，确定每帧图像对应的帧类型；若图像的帧类型为预设类型，基于所述图像内的空间相关性对所述图像进行编码，得到图像编码数据；若图像的帧类型不为预设类型，根据图像在时间上的重复性，对所述图像进行编码，得到图像编码数据；将所有所述图像编码数据，确定为视频压缩数据。

在对合规视频进行编码时，可以是先确定每帧图像对应的帧类型，其中，帧类型可以包括关键类型和非关键类型。例如，可以是使用运动估计算法估计相邻帧之间的运动矢量，例如，当前帧和前一帧之间的运动矢量。该运动矢量可用于描述视频中物体或场景在连续两帧之间的移动情况的矢量量值。若运动矢量大于预设阈值，则将当前帧的帧类型确定为关键类型。当前，首帧视频的帧类型也为关键类型。从而按照该种方式，可确定出每帧图像对应的帧类型。

其中，预设类型可以是指关键类型，即针对关键类型的图像，可基于图像内的空间相关性对图像进行编码。在图像中，相邻像素通常具有相似的颜色、纹理或灰度值，这意味着它们之间存在一定的空间相关性，由此利用图像中相邻像素之间的相关性可减少冗余信息，以达到更好的压缩比。

若图像的帧类型不为预设类型，即针对非关键类型的图像，相邻帧之间的运动矢量较小，即非关键类型的图像之间的重复性较高。可以理解的是的，关键帧之后存在非关键帧以及关键帧，非关键帧均是以其前面的帧为参考确定出的。例如，第1帧和第5帧为关键帧，那么第2帧至第4帧和其前一帧相比变化较小。针对非关键类型的图像，无需对每一帧进行编码，仅需对差异进行编码，例如，编码第2帧时，可以仅对第2帧和第1帧之间的差异进行编码即可，以此减少冗余信息，实现更高的压缩比。将所有图像对应的图像编码数据，确定为视频压缩数据。通过发送视频压缩数据传输合规视频，可有效降低数据传输量，提升远程控制的响应速度。

需要说明的是，服务器或模拟驾驶舱接收到视频压缩数据后，可使用响应的解码方式，将视频压缩数据还原为合规视频进行播放。

操控对象处于模拟驾驶舱中，模拟驾驶舱是带有显示屏、方向盘和刹车等的模拟驾驶硬件系统。电子设备对合规视频进行编码得到视频压缩数据后，可将视频压缩数据和运动参数通过网络发送给服务器，服务器可将视频压缩数据和运动参数发送至模拟驾驶舱，当然，服务器也可以将视频压缩数据和运动参数发送至其他显示设备，以便向其他用户展示远程驾驶下的交通工具的运动状态。

模拟驾驶舱内的显示屏上可以显示有视频压缩数据和运动参数，操控对象可通过方向盘或刹车等发出远程控制指令，经由服务器中转给电子设备，以调整交通工具的运动参数，使得交通工具的运动状态发生变化。

为了更加清楚地说明该远程控制方法，可参阅图1d，示出了远程控制方法的整体架构示意图。以交通工具为车辆为例，主要分为服务器端和车端，其中，车端可包括视频采集模块和电子设备，电子设备可以包括车辆控制模块、视频处理模块以及视频编码传输模块。服务器端可包括信令与媒体控制模块、远程驾驶状态显示模块以及远程驾驶服务模块。下面将对各个模块的功能进行详细说明。

视频采集模块，负责采集车辆上部署的多个图像采集装置的视频，并将其以固定格式，例如YUV格式提供给视频处理模块；

视频处理模块，负责对视频内容进行合规处理，将环境视频转换为合规视频，也即视频处理模块负责执行前述120至140的步骤。

视频编码传输模块，负责对合规视频进行编码，得到视频压缩数据，将视频压缩数据通过网络发送给服务器，其中，网络可以是无线局域网、蜂窝网络、卫星通信、专用通信网络等。

车辆控制模块，在上行方向上负责获取车辆的运动参数并通过网络发送给远程驾驶状态显示模块；在下行方向上，从网络接收来自于远程驾驶服务模块下发的远程控制指令给车辆控制模块，控制车辆的运动状态；

信令和媒体控制模块，用于转发上行的视频压缩数据、车辆的运动参数，及下行的远程控制指令；

远程驾驶状态显示模块，负责从信令和媒体控制模块拉取视频压缩数据，接收上行的车辆的运动参数并进行显示；

远程驾驶服务模块，负责接收操控对象通过模拟驾驶舱硬件驱动传送过来的远程控制指令，然后经网络下发给车辆控制模块。

本申请实施例提供的远程控制方案可以应用在各种远程驾驶场景中。比如，以远程驾驶车辆为例，采用本申请实施例提供的方案能够在远程驾驶车辆的过程中，在车辆端对环境视频进行合规处理，得到视频压缩数据，再将视频压缩数据发送给服务器。相比于将视频发送给服务器或云端，由服务器或云端进行合规处理，进一步减少了数据处理量，从而可确保视频机密性的同时提升远程控制的响应速度。

通过本申请实施例提供的方法可以在接收到远程控制请求时，可以获取到交通工具的环境视频，并利用操控对象的属性信息，确定环境视频对应的合规元素；再从每帧环境图像中，确定合规元素对应的目标区域；根据每帧环境图像中的目标区域以及合规元素，对所述环境视频进行合规处理，得到合规视频，以实现对环境视频中的私人数据进行保护，避免数据泄露，从而有效提升视频的机密性。最后，再利用合规视频获取远程控制指令，并基于远程控制指令调整交通工具的运动状态，实现远程控制。

相比于将视频发送给服务器或云端进行合规处理的方式，即视频编码后被发送给服务器，服务器对其解码后进行合规处理，再编码传输给远程控制端。本申请实施例对视频的合规处理在交通工具侧进行，可避免反复编码解码，降低端到端的视频传输时延，从而降低远程控制的延迟，提升远程控制的响应速度，从而本申请实施例可在远程控制中兼顾响应速度和视频机密性。

根据上述实施例所描述的方法，以下将作进一步详细说明。

在本实施例中，将以电子设备集成在车辆上，对车辆进行远程控制为例，对本申请实施例的方法进行详细说明。

如图2a所示，一种远程控制方法具体流程如下：

210、服务器从模拟驾驶舱处获取操控对象的登录请求，并对所述登录请求进行鉴权认证。

220、若服务器确定鉴权认证通过，向车辆发起远程控制请求，所述远程控制请求包括操控对象的属性信息。

230、车辆响应于所述远程控制请求，获取环境视频。

240、车辆基于所述操控对象的属性信息，对所述环境视频进行合规处理，得到合规视频。

250、车辆对合规视频进行编码处理，得到视频压缩数据，并向服务器发送视频压缩数据和车辆的运动参数。

260、服务器将视频压缩数据和运动参数发送给模拟驾驶舱，进行显示，操控对象操控驾驶舱生成远程控制指令，并发送给服务器。

270、服务器将远程控制指令发送给车辆，以改变车辆的运动状态。

上述210至270的步骤可和前述实施例中的内容互相参照，为了更加清楚地说明该远程控制的具体流程，可参阅图2b，示出了远程控制方法的数据交互示意图，下面将结合图2b进行详细说明。

其中，车辆控制模块、视频采集模块、视频处理模块以及视频编码与传输模块均部署在车辆上，视频采集模块可采集车辆上部署的多个摄像头的视频，以固定格式，例如YUV格式提供给视频处理模块。

远程驾驶状态显示模块、远程驾驶服务模块以及信令与媒体控制模块均部署在服务器或云端。

1、驾驶舱用户，即操控对象在模拟驾驶舱内发起远程驾驶的登录请求，请求中包含车辆编号ID-a、操控对象的身份标识及相应的秘钥，登录请求发送至远程驾驶服务模块。

2、远程驾驶服务模块将请登录求转发给媒体和信令控制模块。

3、信令和媒体和控制模块完成对登录请求的鉴权认证，返回响应给远程驾驶服务模块。

4、远程驾驶服务模块开始向信令和媒体控制模块发起编号为ID-a的车辆的远程控制请求。

5、信令和媒体控制模块将远程控制请求转发给编号为ID-a的车辆控制模块，同时携带操控对象的身份标识及用户类型（可信类型或者非可信类型）。

6、车辆控制模块向视频采集模块下达视频操作指令。

7、视频采集模块开始启动，将采集到的视频送给视频处理模块。

8、视频处理模块开始视频内容的隐私保护处理，如果此时用户类型为可信类型，则只进行视频水印的处理，即仅添加标识元素至环境视频中，否则进行视频加水印和视频脱敏（即同时添加标识元素和遮蔽元素至环境视频中）的处理。

9、处理完的视频到视频编码传输模块，由其进行压缩编码然后经5G网络发送给服务器的信令和媒体控制模块。需要说明的是，若仅有一人需要观看该视频，也可以直接将压缩编码后的视频直接发送给远程驾驶服务，而无需信令和媒体控制模块的中转。

10、此时，车辆控制模块也开始向服务器的信令和媒体控制模块发送车辆的运动参数。

11、信令和媒体控制模块将视频数据和运动参数发送给远程驾驶服务。

12、远程驾驶服务把视频和运动参数一起发送给远程驾驶状态显示模块，由其在显示屏上展示车端摄像头的视频以及车辆的行驶状态数据。

13、驾驶舱用户根据视频和运动参数操作模拟驾驶舱开始远程驾驶。

14、远程驾驶服务模块接收到操作指令通过云端的信令与控制模块，送至车端的车辆控制模块，由其通过CAN总线对车辆行驶进行控制，以改变车辆的运动状态。

由上可知，基于操控对象的对象类型，可确定是否进行脱敏处理，在需要的时候再进行脱敏处理，可避免随意泄露他人的私人数据，并且，为环境视频中添加了和操控对象相关的水印，可降低视频被违规传播的风险，在视频被违规传播后，也可快速锁定视频的来源，从而确保视频的机密性。对视频的合规处理均在车辆端执行，服务器无需进行任何处理，可降低视频传输时延，提升远程控制的响应速度。

为了更好地实施以上方法，本申请实施例还提供一种远程控制装置，该远程控制装置具体可以集成在电子设备中，该电子设备可以为终端、服务器等设备。其中，终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、个人电脑、智能语音交互设备、智能家电、车载终端、飞行器、交通工具的主控机等设备；服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群。

比如，在本实施例中，将以远程控制装置具体集成在电子设备为例，对本申请实施例的方法进行详细说明。

例如，如图3所示，该远程控制装置可以包括视频获取单元310、元素确定单元320、区域确定单元330、合规单元340以及控制单元350，如下：

（一）视频获取单元310

用于响应于远程控制请求，获取所述交通工具的环境视频，所述远程控制请求包括与所述交通工具对应的操控对象的属性信息，所述环境视频包括多帧环境图像。

（二）元素确定单元320

用于基于所述操控对象的属性信息，确定所述环境视频对应的合规元素。

在一些实施例中，所述属性信息包括对象类型，元素确定单元320还包括：

映射获取子单元，用于获取预设类型和预设元素之间的映射关系，所述预设类型包括所述对象类型；

确定子单元，用于根据所述映射关系，将所述对象类型对应的预设元素确定为合规元素。

（三）区域确定单元330

用于从每帧环境图像中，确定所述合规元素对应的目标区域。

在一些实施方式中，所述合规元素为标识元素，所述目标区域包括标识区域，所述区域确定单元330还包括：

规则确定子单元，用于获取所述标识元素，在每帧环境图像中对应的排列规则；

标识确定子单元，用于根据所述排列规则和所述标识元素，从每帧环境图像中确定标识区域。

在一些实施例中，标识确定子单元还用于：

针对每帧环境图像，按照对应的排列规则，在环境图像中排列所述标识元素，得到排列后的环境图像；

将排列后的环境图像中，与所述标识元素重叠的区域，确定为标识区域。

在一些实施方式中，所述合规元素包括遮蔽元素，所述目标区域包括遮蔽区域，所述区域确定单元330还包括：

检测子单元，用于在每帧环境图像中，检测所述遮蔽元素对应的预设对象；

遮蔽确定子单元，用于将所述环境图像中，所述预设对象所在的区域，确定为遮蔽区域。

（四）合规单元340

用于根据每帧环境图像中的目标区域以及所述合规元素，对所述环境视频进行合规处理，得到合规视频。

在一些实施例中，合规单元340还包括：

频域变换子单元，用于将所述标识元素进行频域变换处理，得到调整后的标识元素；

融合子单元，用于针对每帧环境图像，将所述调整后的标识元素和所述标识区域内的图像进行融合处理，得到融合后的环境图像；

合规获取子单元，用于根据所有融合后的环境图像，得到合规视频。

在一些实施例中，融合子单元还用于：

针对每帧环境图像，对所述标识区域内的图像进行频域变换，得到变换后的图像；

融合调整后的标识元素和变换后的图像，得到区域融合图像；

将区域融合图像变换至空间域，得到融合后的环境图像。

在一些实施例中，合规单元340还包括：

模糊子单元，用于针对每帧环境图像，使用所述遮蔽元素对所述遮蔽区域内的图像进行模糊处理，得到模糊后的环境图像；

合规获取子单元，用于根据所有模糊后的环境图像，得到合规视频。

在一些实施例中，模糊子单元还用于：

针对每帧融合后的环境图像，获取所述遮蔽区域内的图像的边界信息，所述边界信息包括色彩信息和形状信息；

利用所述形状信息对所述遮蔽元素的形状进行调整，得到调整后的遮蔽元素；

根据所述色彩信息校正所述调整后的遮蔽元素的色彩，得到校正后的遮蔽元素；

将所述校正后的遮蔽元素覆盖至所述遮蔽区域，得到模糊后的环境图像。

（五）控制单元350

用于基于所述合规视频，获取远程控制指令，并根据所述远程控制指令调整所述交通工具的运动状态。

在一些实施例中，控制单元350还包括：

参数获取子单元，用于获取交通工具的当前运动参数；

编码子单元，用于对所述合规视频进行编码处理，得到视频压缩数据；

指令获取子单元，用于向服务器发送所述运动参数和所述视频压缩数据，以便向操控对象展示所述运动参数和视频压缩数据，得到远程控制指令；

控制子单元，用于通过所述服务器获取所述远程控制指令，并根据所述远程控制指令调整所述交通工具的当前运动参数，以调整所述交通工具的运动状态。

在一些实施例中，编码子单元还用于：

对所述合规视频中的多帧图像进行分析，确定每帧图像对应的帧类型；

若图像的帧类型为预设类型，基于所述图像内的空间相关性对所述图像进行编码，得到图像编码数据；

若图像的帧类型不为预设类型，根据图像在时间上的重复性，对所述图像进行编码，得到图像编码数据；

将所有所述图像编码数据，确定为视频压缩数据。

具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。

由上可知，本实施例的远程控制装置可以利用操控对象的属性信息，确定环境视频的合规元素，确定合规元素对应的目标区域；根据每帧环境图像中的目标区域以及合规元素，对所述环境视频进行合规处理，得到合规视频，最后，再利用合规视频获取远程控制指令，并基于远程控制指令调整交通工具的运动状态。利用合规元素对视频进行合规处理，可对视频的内容进行保护，提升远程控制中视频的机密性。

本申请实施例还提供一种电子设备，该电子设备可以为终端、服务器等设备。其中，终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、个人电脑，智能语音交互设备、智能家电、车载终端、飞行器、交通工具的主控机等等；服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群，等等。

在一些实施例中，该远程控制装置还可以集成在多个电子设备中，比如，远程控制装置可以集成在多个服务器中，由多个服务器来实现本申请的远程控制方法。

在本实施例中，将以本实施例的电子设备是车辆的主控机为例进行详细描述，比如，如图4所示，其示出了本申请实施例所涉及的电子设备的结构示意图，具体来讲：

该电子设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403、输入模块404以及通信模块405等部件。本领域技术人员可以理解，图4中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器401是该电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监测。在一些实施例中，处理器401可包括一个或多个处理核心；在一些实施例中，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。

存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。

电子设备还包括给各个部件供电的电源403，在一些实施例中，电源403可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该电子设备还可包括输入模块404，该输入模块404可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

该电子设备还可包括通信模块405，在一些实施例中通信模块405可以包括无线模块，电子设备可以通过该通信模块405的无线模块进行短距离无线传输，从而为用户提供了无线的宽带互联网访问。比如，该通信模块405可以用于帮助用户收发电子邮件、浏览网页和访问流式媒体等。

尽管未示出，电子设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，电子设备中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能，如下：

响应于远程控制请求，获取交通工具的环境视频，所述远程控制请求包括与所述交通工具对应的操控对象的属性信息，所述环境视频包括多帧环境图像；

基于所述操控对象的属性信息，确定所述环境视频对应的合规元素；

从每帧环境图像中，确定所述合规元素对应的目标区域；

根据每帧环境图像中的目标区域以及所述合规元素，对所述环境视频进行合规处理，得到合规视频；

基于所述合规视频，获取远程控制指令，并根据所述远程控制指令调整所述交通工具的运动状态。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

由上可知，根据操控对象的属性信息确定合规元素，再利用合规元素对环境视频进行合规处理，可对视频的内容进行保护，避免随意泄露他人的私人数据，可有效提升远程控制中的视频的机密性。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本申请实施例提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请实施例所提供的任一种远程控制方法中的步骤。例如，该指令可以执行如下步骤：

响应于远程控制请求，获取交通工具的环境视频，所述远程控制请求包括与所述交通工具对应的操控对象的属性信息，所述环境视频包括多帧环境图像；

基于所述操控对象的属性信息，确定所述环境视频对应的合规元素；

从每帧环境图像中，确定所述合规元素对应的目标区域；

根据每帧环境图像中的目标区域以及所述合规元素，对所述环境视频进行合规处理，得到合规视频；

基于所述合规视频，获取远程控制指令，并根据所述远程控制指令调整所述交通工具的运动状态。

其中，该存储介质可以包括：只读存储器（ROM，Read Only Memory）、随机存取记忆体（RAM，Random Access Memory）、磁盘或光盘等。

根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该电子设备执行上述实施例中提供的远程控制方面的各种可选实现方式中提供的方法。

由于该存储介质中所存储的指令，可以执行本申请实施例所提供的任一种远程控制方法中的步骤，因此，可以实现本申请实施例所提供的任一种远程控制方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

以上对本申请实施例所提供的一种远程控制方法、装置、电子设备、存储介质及程序产品进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (14)

1.一种远程控制方法，其特征在于，所述方法包括：

响应于远程控制请求，获取交通工具的环境视频，所述远程控制请求包括与所述交通工具对应的操控对象的属性信息，所述环境视频包括多帧环境图像，所述属性信息包括对象类型，所述对象类型包括可信类型和不可信类型，所述对象类型为：与所述交通工具对应的操控对象的对象类型；所述操控对象为在模拟驾驶舱以远程控制方法驾驶交通工具的用户；

基于所述操控对象的属性信息，确定所述环境视频对应的合规元素，其中，包括：若所述交通工具对应的操控对象的对象类型为所述可信类型，将标识元素确定为所述合规元素；若所述交通工具对应的操控对象的对象类型为所述不可信类型，将标识元素以及遮蔽元素确定为所述合规元素；

从每帧环境图像中，确定所述合规元素对应的目标区域；

根据每帧环境图像中的目标区域以及所述合规元素，对所述环境视频进行合规处理，得到合规视频；

基于所述合规视频，获取远程控制指令，并根据所述远程控制指令调整所述交通工具的运动状态。

2.根据权利要求1所述的方法，其特征在于，所述合规元素包括标识元素，所述目标区域包括标识区域，所述从每帧环境图像中，确定所述合规元素对应的目标区域，包括：

获取所述标识元素，在每帧环境图像中对应的排列规则；

根据所述排列规则和所述标识元素，从每帧环境图像中确定标识区域。

3.根据权利要求2所述的方法，其特征在于，所述根据所述排列规则和所述标识元素，从每帧环境图像中确定标识区域，包括：

针对每帧环境图像，按照对应的排列规则，在环境图像中排列所述标识元素，得到排列后的环境图像；

将排列后的环境图像中，与所述标识元素重叠的区域，确定为标识区域。

4.根据权利要求2所述的方法，其特征在于，所述根据每帧环境图像中的目标区域以及所述合规元素，对所述环境视频进行合规处理，得到合规视频，包括：

将所述标识元素进行频域变换处理，得到调整后的标识元素；

针对每帧环境图像，将所述调整后的标识元素和所述标识区域内的图像进行融合处理，得到融合后的环境图像；

根据所有融合后的环境图像，得到合规视频。

5.根据权利要求4所述的方法，其特征在于，所述针对每帧环境图像，将所述调整后的标识元素和所述标识区域内的图像进行融合处理，得到融合后的环境图像，包括：

针对每帧环境图像，对所述标识区域内的图像进行频域变换，得到变换后的图像；

融合调整后的标识元素和变换后的图像，得到区域融合图像；

将区域融合图像变换至空间域，得到融合后的环境图像。

6.根据权利要求1所述的方法，其特征在于，所述合规元素包括遮蔽元素，所述目标区域包括遮蔽区域，所述从每帧环境图像中，确定所述合规元素对应的目标区域，包括：

在每帧环境图像中，检测所述遮蔽元素对应的预设对象；

将所述环境图像中，所述预设对象所在的区域，确定为遮蔽区域。

7.根据权利要求6所述的方法，其特征在于，所述根据每帧环境图像中的目标区域以及所述合规元素，对所述环境视频进行合规处理，得到合规视频，包括：

针对每帧环境图像，使用所述遮蔽元素对所述遮蔽区域内的图像进行模糊处理，得到模糊后的环境图像；

根据所有模糊后的环境图像，得到合规视频。

8.根据权利要求7所述的方法，其特征在于，所述针对每帧环境图像，使用所述遮蔽元素对所述遮蔽区域内的图像进行模糊处理，得到模糊后的环境图像，包括：

针对每帧环境图像，获取所述遮蔽区域内的图像的边界信息，所述边界信息包括色彩信息和形状信息；

利用所述形状信息对所述遮蔽元素的形状进行调整，得到调整后的遮蔽元素；

根据所述色彩信息校正所述调整后的遮蔽元素的色彩，得到校正后的遮蔽元素；

将所述校正后的遮蔽元素覆盖至所述遮蔽区域，得到模糊后的环境图像。

9.根据权利要求1所述的方法，其特征在于，所述基于所述操控对象的属性信息，确定所述环境视频对应的合规元素，包括：

获取预设类型和预设元素之间的映射关系，所述预设类型包括所述对象类型；

根据所述映射关系，将所述对象类型对应的预设元素确定为合规元素。

10.根据权利要求1所述的方法，其特征在于，所述基于所述合规视频，获取远程控制指令，并根据所述远程控制指令调整所述交通工具的运动状态，包括：

获取交通工具的当前运动参数；

对所述合规视频进行编码处理，得到视频压缩数据；

向服务器发送所述运动参数和所述视频压缩数据，以便向操控对象展示所述运动参数和合规视频，得到远程控制指令；

通过所述服务器获取所述远程控制指令，并根据所述远程控制指令调整所述交通工具的当前运动参数，以调整所述交通工具的运动状态。

11.如权利要求10所述的方法，其特征在于，所述对所述合规视频进行编码处理，得到视频压缩数据，包括：

对所述合规视频中的多帧图像进行分析，确定每帧图像对应的帧类型；

若图像的帧类型为预设类型，基于所述图像内的空间相关性对所述图像进行编码，得到图像编码数据；

若图像的帧类型不为预设类型，根据图像在时间上的重复性，对所述图像进行编码，得到图像编码数据；

将所有所述图像编码数据，确定为视频压缩数据。

12.一种远程控制装置，其特征在于，应用于交通工具，所述装置包括：

视频获取单元，用于响应于远程控制请求，获取所述交通工具的环境视频，所述远程控制请求包括与所述交通工具对应的操控对象的属性信息，所述环境视频包括多帧环境图像，所述属性信息包括对象类型，所述对象类型包括可信类型和不可信类型，所述对象类型为：与所述交通工具对应的操控对象的对象类型；所述操控对象为在模拟驾驶舱以远程控制方法驾驶交通工具的用户；

元素确定单元，用于基于所述操控对象的属性信息，确定所述环境视频对应的合规元素，其中，包括：若所述交通工具对应的操控对象的对象类型为所述可信类型，将标识元素确定为所述合规元素；若所述交通工具对应的操控对象的对象类型为所述不可信类型，将标识元素以及遮蔽元素确定为所述合规元素；

区域确定单元，用于从每帧环境图像中，确定所述合规元素对应的目标区域；

合规单元，用于根据每帧环境图像中的目标区域以及所述合规元素，对所述环境视频进行合规处理，得到合规视频；

控制单元，用于基于所述合规视频，获取远程控制指令，并根据所述远程控制指令调整所述交通工具的运动状态。

13.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有多条指令；所述处理器从所述存储器中加载指令，以执行如权利要求1~11任一项所述的远程控制方法中的步骤。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1~11任一项所述的远程控制方法中的步骤。