CN114339059A - 远程驾驶画面的调整方法及装置 - Google Patents

Abstract

本公开提供一种远程驾驶画面的调整方法及装置。该方法应用于自动驾驶车辆或者无人车，包括：接收无人车发送的远程驾驶画面的视频数据，对视频数据进行处理，将处理后的远程驾驶画面在远程驾驶客户端中显示；获取每一时刻无人车对应的行驶速度，根据速度阈值以及行驶速度，判断是否对远程驾驶画面的焦点中心进行调整；当判断结果为对远程驾驶画面的焦点中心进行调整时，根据判断前后无人车所对应的行驶速度之间的差值，对无人车的速度变化趋势进行判断；根据速度变化趋势以及调整规则，确定焦点中心在远程驾驶画面的移动方向及移动距离，并对远程驾驶画面的焦点中心进行调整。本公开能够降低远程驾驶视频画面的冲击感，提升远程驾驶的安全性。

Description

远程驾驶画面的调整方法及装置

技术领域

本公开涉及无人驾驶技术领域，尤其涉及一种远程驾驶画面的调整方法及装置。

背景技术

无人车是一种集环境感知、规划决策、多等级辅助驾驶等功能于一体的综合系统，无人车包括无人驾驶车辆和无人车。其中，无人驾驶车辆，也称自动驾驶车辆、无人车，无人车是一种通过驾驶舱对车辆进行云端操控的特殊驾驶模式的车辆。

目前，以无人车为例，可通过远程驾驶客户端的视频画面实时观测无人车的行驶环境，并对车辆进行远程驾驶操控。在远程驾驶操控过程中，远程驾驶画面的视角通常为车辆前端摄像头拍摄到的实时视角，该视角在较低的车速区间内能够使远程驾驶人员获得正常的观测体验。但是当车辆行驶速度提升后，由于远程驾驶画面的视角不变，导致远程驾驶画面对远程驾驶人员造成较强的视觉冲击，使远程驾驶人员通过视频画面感知到的车速变得非常快，从而影响远程驾驶的安全性，降低了远程驾驶体验。

发明内容

有鉴于此，本公开实施例提供了一种远程驾驶画面的调整方法及装置，以解决现有技术存在的远程驾驶画面对远程驾驶人员造成较强的视觉冲击，影响远程驾驶的安全性，降低远程驾驶体验的问题。

本公开实施例的第一方面，提供了一种远程驾驶画面的调整方法，包括：在无人车的远程驾驶过程中，接收无人车发送的远程驾驶画面对应的视频数据，对视频数据进行处理，并将处理后得到的远程驾驶画面在远程驾驶客户端中进行显示；对无人车的行驶速度进行检测，获取每一时刻无人车对应的行驶速度，根据预设的速度阈值以及行驶速度，判断是否对远程驾驶画面的焦点中心进行调整；当判断结果为对远程驾驶画面的焦点中心进行调整时，根据判断前后无人车所对应的行驶速度之间的差值，对无人车的速度变化趋势进行判断；根据速度变化趋势以及预设的调整规则，确定焦点中心在远程驾驶画面的移动方向以及移动距离，沿移动方向以及移动距离对远程驾驶画面的焦点中心进行调整。

本公开实施例的第二方面，提供了一种远程驾驶画面的调整装置，包括：接收模块，被配置为在无人车的远程驾驶过程中，接收无人车发送的远程驾驶画面对应的视频数据，对视频数据进行处理，并将处理后得到的远程驾驶画面在远程驾驶客户端中进行显示；检测模块，被配置为对无人车的行驶速度进行检测，获取每一时刻无人车对应的行驶速度，根据预设的速度阈值以及行驶速度，判断是否对远程驾驶画面的焦点中心进行调整；判断模块，被配置为当判断结果为对远程驾驶画面的焦点中心进行调整时，根据判断前后无人车所对应的行驶速度之间的差值，对无人车的速度变化趋势进行判断；调整模块，被配置为根据速度变化趋势以及预设的调整规则，确定焦点中心在远程驾驶画面的移动方向以及移动距离，沿移动方向以及移动距离对远程驾驶画面的焦点中心进行调整。

本公开实施例采用的上述至少一个技术方案能够达到以下有益效果：

通过在无人车的远程驾驶过程中，接收无人车发送的远程驾驶画面对应的视频数据，对视频数据进行处理，并将处理后得到的远程驾驶画面在远程驾驶客户端中进行显示；对无人车的行驶速度进行检测，获取每一时刻无人车对应的行驶速度，根据预设的速度阈值以及行驶速度，判断是否对远程驾驶画面的焦点中心进行调整；当判断结果为对远程驾驶画面的焦点中心进行调整时，根据判断前后无人车所对应的行驶速度之间的差值，对无人车的速度变化趋势进行判断；根据速度变化趋势以及预设的调整规则，确定焦点中心在远程驾驶画面的移动方向以及移动距离，沿移动方向以及移动距离对远程驾驶画面的焦点中心进行调整。本公开能够在不同车速区间内保持远程驾驶画面对远程驾驶人员带来的视觉体验，降低由于车速提升给远程驾驶人员造成的视觉冲击，提升远程驾驶的安全性以及远程驾驶体验。

附图说明

为了更清楚地说明本公开实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本公开实施例提供的远程驾驶画面的调整方法的流程示意图；

图2是本公开实施例提供的远程驾驶过程中所呈现的视频画面的示意图；

图3是本公开实施例提供的增速趋势下远程驾驶画面的焦点中心的移动过程示意图；

图4是本公开实施例提供的远程驾驶画面的调整装置的结构示意图；

图5是本公开实施例提供的电子设备的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本公开实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本公开。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本公开的描述。

在远程驾驶技术中，通过在车辆上安装一些技术设备以及摄像头，并通过在远程驾驶平台中安装的远程操作设备，比如摇杆、方向盘、踏板等模拟器，利用模拟器将远程驾驶人员的动作在远程驾驶客户端中转换成控车指令，并通过网络将控车指令发送给车辆，使无人车按照控车指令行驶。在无人车的远程驾驶过程中，远程驾驶客户端接收无人车实时传输的远程驾驶画面，并将远程驾驶画面渲染到显示屏中，使远程驾驶人员能够实时观测到无人车的行驶画面，从而辅助远程驾驶人员实现对路况的观测和判断。由此可见，远程驾驶客户端中所显示的视频画面的质量以及视觉体验对远程驾驶来说具有重要作用，也是远程驾驶技术中的重要组成部分之一。

目前远程驾驶客户端的视频画面的视角通常采用车端摄像头采集的实时视角，并且为了方便远程驾驶人员判定车辆起步时车头位置的路面情况，减少车头部位的视野盲区，需要将摄像头安装在离地面高度比较低的位置。但是由于远程驾驶过程中是以路面作为中心，当车辆行驶速度位于低速区间时，远程驾驶人员能够正常观测到远程驾驶画面。但是当车辆行驶速度提升时，受摄像头角度、离地高度等因素的影响，远程驾驶人员通过远程驾驶客户端所观测到的视频画面的视觉冲击感就会增强，导致远程驾驶人员感知到的车速比实际车速更快，这将对远程驾驶人员的感官带来较强的冲击感，从而影响远程驾驶的安全性，降低远程驾驶体验。

现有技术中，为了解决不同行驶速度下的视觉冲击的问题，通常需要对摄像头的拍摄角度进行调整，从而使摄像头拍摄到的视频画面具有较小的视觉冲击力。但是这种通过远程控制摄像头角度偏转的方式，不仅增加了摄像头的硬件成本，而且远程调整摄像头角度还会增加消息传输，容易产生消息传输的延时，造成视频画面与实际行驶的道路环境不同步。另外一点，现有无人车的前端摄像头的视角一般是固定的，无法随意更改摄像头的视角及焦点，因此现有技术中通过远程控制摄像头角度的处理方式，无法达到调整摄像头焦点或焦距的目的，并且摄像头在调整焦距时可能因为焦点、光照等问题导致失败。

鉴于上述现有技术中存在的问题，本公开实施例提供一种远程驾驶画面的调整方法，根据不同的车速对当前远程驾驶客户端中所展示的视频画面进行重新对焦，从而达到调整视频画面的焦点及中心点的目的，使得调整焦点中心后的视频画面能够减少对远程驾驶人员的冲击感，从而解决不同行驶速度下带来的视觉冲击的问题。本公开实施例能够保证远程驾驶人员适应不同车速下的视觉感受，由于不需要对摄像头的硬件进行更改，降低了车辆成本，同时不会增加额外的网络消息传输，使视频画面的调整更加的迅速及时。

需要说明的是，本公开以下实施例是以远程驾驶作为应用场景来描述的，针对的是远程驾驶技术中的远程监控视频画面，但是在现实应用中，本公开实施例不限于上述应用场景，其它自动驾驶的场景同样适用于本方案，例如：在自动驾驶车辆技术中通过移动终端实时呈现自动驾驶车辆的道路环境及行驶状态，便于用户对自动驾驶车辆的行驶状态进行监控。以上应用场景不构成对本公开技术方案的限定。

接下来对本公开实施例进行详细说明。

图1是本公开实施例提供的远程驾驶画面的调整方法的流程示意图。图1的远程驾驶画面的调整方法可以由远程驾驶平台中的远程驾驶客户端来执行。如图1所示，该远程驾驶画面的调整方法的处理方法具体可以包括：

S101，在无人车的远程驾驶过程中，接收无人车发送的远程驾驶画面对应的视频数据，对视频数据进行处理，并将处理后得到的远程驾驶画面在远程驾驶客户端中进行显示；

S102，对无人车的行驶速度进行检测，获取每一时刻无人车对应的行驶速度，根据预设的速度阈值以及行驶速度，判断是否对远程驾驶画面的焦点中心进行调整；

S103，当判断结果为对远程驾驶画面的焦点中心进行调整时，根据判断前后无人车所对应的行驶速度之间的差值，对无人车的速度变化趋势进行判断；

S104，根据速度变化趋势以及预设的调整规则，确定焦点中心在远程驾驶画面的移动方向以及移动距离，沿移动方向以及移动距离对远程驾驶画面的焦点中心进行调整。

具体地，无人车上的前端摄像头将车辆周边的环境画面实时采集并传输给远程驾驶平台，远程驾驶平台的客户端通过外接显示设备或者通过连接移动终端，将视频画面同步呈现给远程驾驶人员，远程驾驶人员根据视频画面所展示的路面状况，利用远程驾驶舱中的模拟器（如摇杆、方向盘、踏板等）向车辆端发送控制命令，车辆端根据控制命令使车辆行驶，从而实现对车辆的远程驾驶操控。

进一步地，远程驾驶视频画面的冲击感主要是由于远程驾驶以前方路面作为中心行驶，并且车辆前端摄像头的安装位置比较低，导致当车辆行驶速度增加时会产生强烈的冲击感。因此，本公开实施例所针对的远程驾驶画面主要是指无人车上的主视摄像头（即安装在车辆前端的摄像头，也称前视摄像头），这里的摄像头应当具有基本的图像拍摄及视频数据采集的功能。

进一步地，本公开实施例的远程驾驶画面的焦点中心可以理解为视频画面的中心点，即视频画面中心位于整个画面的位置，随着远程驾驶画面中心点的位置变化，整个视频画面的角度也将随之改变，例如当调整后的中心点的位置相比调整前的视频画面的中心点的位置向上提升之后，那么调整后的视频画面的中离车端最近的位置点（即远程驾驶画面的最低点）相比调整之前，距离车端的距离变得越远，远程驾驶人员能看到更远的路面，因此本公开实施例通过调整视频画面的中心点来达到调整摄像头角度后的视觉效果，从而减少视频画面对感官上的冲击。

进一步地，本公开实施例的远程驾驶客户端是安装在显示设备中的客户端程序，通过远程驾驶客户端，远程驾驶人员可以实时观测远程驾驶中的道路画面以及车速、车端网络、车辆故障、车辆定位等信息。用于显示远程驾驶画面的终端既可以是与远程驾驶平台端口连接的电脑设备，也可以是其它移动终端，例如可以是安装了远程监控应用的用户终端，比如手机、平板、个人电脑等具有连网和视频展示功能的远程驾驶的终端设备。

根据本公开实施例提供的技术方案，通过在无人车的远程驾驶过程中，接收无人车发送的远程驾驶画面对应的视频数据，对视频数据进行处理，并将处理后得到的远程驾驶画面在远程驾驶客户端中进行显示；对无人车的行驶速度进行检测，获取每一时刻无人车对应的行驶速度，根据预设的速度阈值以及行驶速度，判断是否对远程驾驶画面的焦点中心进行调整；当判断结果为对远程驾驶画面的焦点中心进行调整时，根据判断前后无人车所对应的行驶速度之间的差值，对无人车的速度变化趋势进行判断；根据速度变化趋势以及预设的调整规则，确定焦点中心在远程驾驶画面的移动方向以及移动距离，沿移动方向以及移动距离对远程驾驶画面的焦点中心进行调整。本公开能够在不同车速区间内保持远程驾驶画面对远程驾驶人员带来的视觉体验，降低由于车速提升给远程驾驶人员造成的视觉冲击，提升远程驾驶的安全性以及远程驾驶体验。

在一些实施例中，在接收无人车发送的远程驾驶画面对应的视频数据之前，该方法还包括：根据定时任务启动无人车的远程驾驶模式，或者向无人车发送远程驾驶操控请求，以使无人车根据远程驾驶操控请求启动远程驾驶模式。

具体地，无人车可以包括远程驾驶模式和自动驾驶模式，在远程驾驶模式下，通过云端来操作车辆，可以实时看到车辆前后左右的画面，无人车通过摄像头采集到的视频数据（实时采集到的车辆周边的视频画面）传输给远程驾驶客户端，由远程驾驶人员根据视频画面中的路面情况，通过远程驾驶舱端向车辆发送指令，利用远程驾驶舱中的摇杆或者方向盘等操控无人车实现远程驾驶。

进一步地，远程驾驶模式可以采用以下两种方式进行启动，第一种方式是通过定时任务启动，第二种方式是通过验证远程驾驶操控请求来启动。在实际应用场景中，在用户手动驾驶无人车的过程中，需要更换为远程驾驶模式时，用户可以通过无人车的中央控制面板向远程驾驶平台发送远程控制请求，远程驾驶平台对远程控制请求进行验证之后，接管车辆的控制权限。

在一些实施例中，接收无人车发送的远程驾驶画面对应的视频数据，对视频数据进行处理，并将处理后得到的远程驾驶画面在远程驾驶客户端中进行显示，包括：利用安装在无人车前端的前视摄像头采集远程驾驶过程中道路环境对应的视频数据，利用通信网络对视频数据进行拉流，并在远程驾驶平台中对视频数据进行解析及解码，得到解码后的远程驾驶画面，将远程驾驶画面渲染到远程驾驶客户端中进行显示。

具体地，通过安装在无人车前端的主视摄像头对无人车前方的道路环境进行实时拍摄并形成视频数据，在实际应用中主视摄像头可以安装在车辆前端的保险杠或者底盘前端的位置处。本公开实施例的主视摄像头可以采用超广角摄像头或者鱼眼摄像头，以获取更大的观测视野。在实际应用中，不仅可以采集车辆前端的道路画面，还可以同时采集车辆后侧、左侧及右侧的道路画面，并将车辆周围的道路画面在视频画面的不同区域内进行显示。

进一步地，在利用主视摄像头实时采集无人车前方行驶道路环境的视频数据之后，利用无人车上的数据传输单元通过预设的通信协议，将视频数据传输给远程驾驶平台，由远程驾驶平台的客户端对视频数据进行解析，并对解析后的视频数据执行解码操作，得到解码后的视频数据，并将视频数据渲染后在显示设备中进行同步播放。

显示设备中所播放的视频画面中包含车辆在道路行驶过程中周围环境所对应的道路画面，下面结合附图对无人车行驶过程中视频画面所显示的内容及显示区域进行说明。图2是本公开实施例提供的远程驾驶过程中所呈现的视频画面的示意图。如图2所示，该视频画面中主要包括以下内容：

将视频数据在显示设备中进行渲染及显示时，整个视频画面将被分割成若干个显示区域，每个显示区域对应不同方向的道路画面，例如整个视频画面被划分成四个显示区域，每个显示区域分别对应以下画面：天空画面、车辆前端行驶画面、左侧道路画面和右侧道路画面。其中，天空画面位于视频画面的上方，车辆前端行驶画面位于视频画面的下方，左侧道路画面位于视频画面的左侧，右侧道路画面位于视频画面的右侧。四个显示区域共同组成了远程驾驶过程中无人车前方道路环境画面。本公开实施例中的视频画面的显示内容及显示区域的设置不构成对本公开技术方案的限定。

在一些实施例中，对无人车的行驶速度进行检测，获取每一时刻无人车对应的行驶速度，包括：利用安装在无人车上的车速传感器对无人车在远程驾驶过程中每一时刻对应的行驶速度进行采集，并利用通信网络将行驶速度推送给远程驾驶平台，以使远程驾驶平台将无人车的行驶速度渲染到远程驾驶客户端中进行动态展示。

具体地，除了在显示设备中同步不同方向的道路画面之外，还可以在远程驾驶过程中，利用车速传感器对无人车的行驶速度进行实时检测，并将实时的车速信息通过网络传输给远程驾驶平台，以使远程驾驶平台的客户端对车速信息进行渲染并在显示设备中进行显示。这里的每一时刻的车速信息可以认为是每一秒钟对应的车速，在实际应用中，除了可以将一秒钟作为一个时刻外，还可以根据实际场景设置不同的时间维度，时刻所对应的时间维度不构成对本公开技术方案的限定。

在一些实施例中，根据预设的速度阈值以及行驶速度，判断是否对远程驾驶画面的焦点中心进行调整，包括：根据无人车在前一时刻对应的行驶速度以及当前时刻对应的行驶速度，判断前一时刻的行驶速度以及当前时刻的行驶速度分别对应的速度阈值区间；当前一时刻的行驶速度与当前时刻的行驶速度不属于同一速度阈值区间时，则判断为对当前远程驾驶画面的焦点中心进行调整；当前一时刻的行驶速度与当前时刻的行驶速度属于同一速度阈值区间时，则判断为保持当前远程驾驶画面的焦点中心。

具体地，可以根据实际情况设置不同的速度阈值，每一速度阈值表示一个速度区间内的最大车速，当无人车的行驶速度超过某一速度阈值时，将触发对视频画面的焦点中心进行调整的操作，从而保证远程驾驶人员的观测体验。下面结合具体实施例，对本公开实施例在实际场景中所设置的速度阈值，以及由不同速度阈值所形成的速度阈值区间进行详细说明，具体可以包括以下内容：

可以根据经验设置不同的速度阈值，例如可以设置三种速度阈值，分别为8km/h、20km/h、35km/h，根据上述三种速度阈值可以将车速划分成以下速度阈值区间：第一速度阈值区间（0-8km/h），第二速度阈值区间（8-20km/h），第三速度阈值区间（20-35km/h），第四速度阈值区间（＞35km/h）。根据以上速度阈值区间的划分可以判断每一时刻车速所对应的速度阈值区间，从而判断前后时刻车速所对应的速度阈值区间的变化情况。

进一步地，当判断前后时刻的车速不在同一速度阈值区间内时，此时表明无人车的车速从一个速度阈值区间进入另一个速度阈值区间，即当前时刻无人车的车速将触发对视频画面的焦点中心的调整。比如无人车前一时刻对应的车速为7km/h，而无人车当前时刻的车速为9km/h，显然无人车的车速从第一速度阈值区间进入第二速度阈值区间，需要对当前远程驾驶画面的焦点中心进行调整。当前后时刻无人车的车速均处于同一速度阈值区间内时，比如前后时刻无人车的车速分别为5km/h和7km/h，此时无需对当前远程驾驶画面的焦点中心进行调整。

进一步地，在实际应用中还可以设置以下判断条件，当无人车从一个速度阈值区间进入另一个速度阈值区间，且车速在该速度阈值区间内保持一段时间（比如3s）之后，再执行对当前远程驾驶画面的焦点中心进行调整的操作。这样做的目的在于，当车速在两个相邻的低速或者高速区间内的变化频率比较高时，避免频繁调整画面的焦点中心对远程驾驶人员产生不必要的打扰，以及避免频繁调整画面的焦点中心所造成的视觉不适。

在一些实施例中，速度变化趋势包括增速趋势和减速趋势，根据判断前后无人车所对应的行驶速度之间的差值，对无人车的速度变化趋势进行判断，包括：根据前一时刻的行驶速度与当前时刻的行驶速度，对判断前后无人车所对应的行驶速度之间的差值进行计算；当差值为负值时，则判断无人车的速度变化趋势为增速趋势，当差值为正值时，则判断无人车的速度变化趋势为减速趋势。

具体地，在根据前后时刻的车速所在速度阈值区间的判断，当判断需要对当前远程驾驶画面的焦点中心进行调整时，还需进一步判断无人车的速度变化趋势，从而判断无人车是从高速状态变为低速状态，还是从低速状态变为高速状态。在实际应用中，将前一时刻的车速数值与当前时刻的车速数值相减，当两者之间的差值为负数时，表示无人车的车速从低速阈值区间变为高速阈值区间，此时判定无人车的车速处于增速趋势，相反则表示无人车的车速从高速阈值区间变为低速阈值区间，无人车的车速处于减速趋势。

在一些实施例中，根据速度变化趋势以及预设的调整规则，确定焦点中心在远程驾驶画面的移动方向以及移动距离，包括：将前一时刻的行驶速度对应的速度阈值区间作为第一速度阈值区间，将当前时刻的行驶速度对应的速度阈值区间作为第二速度阈值区间；根据预先配置的第一速度阈值区间与第二速度阈值区间之间的调整规则以及速度变化趋势，对远程驾驶画面的焦点中心进行调整；其中，每个相邻的速度阈值区间之间对应各自的调整规则，每个调整规则对应不同速度阈值区间之间的移动方向和移动距离。

具体地，在不同速度变化趋势下，远程驾驶画面的焦点中心的移动方向不同，例如在判断为增速趋势时，将远程驾驶画面的焦点中心向上移动，在判断为减速趋势时，将远程驾驶画面的焦点中心向下移动；另外，即使在相同的速度变化趋势下，前后时刻无人车的车速所对应的速度阈值区间不同也会影响焦点中心的移动距离，例如无人车的车速从第一速度阈值区间（0-8km/h）转变为第二速度阈值区间（8-20km/h），与无人车的车速从第二速度阈值区间（8-20km/h）转变为第三速度阈值区间（20-35km/h）时，虽然这两种情形下均处于增速趋势，但是对应的调整规则可能不同，这里的调整规则可以包括焦点中心的移动距离等。

在一些实施例中，沿移动方向以及移动距离对远程驾驶画面的焦点中心进行调整，包括：当速度变化趋势为增速趋势时，将远程驾驶画面的焦点中心沿移动距离向上移动，当速度变化趋势为减速趋势时，将远程驾驶画面的焦点中心沿移动距离向下移动。

具体地，根据上述判断后的速度变化趋势以及前后时刻不同速度阈值区间对应的调整规则（用于确定焦点中心的移动距离），对当前远程驾驶画面的焦点中心进行调整。在增速趋势下将焦点中心向上移动，在减速趋势下将焦点中心向下移动，移动距离根据前后时刻无人车的车速所对应的速度阈值区间来判断。例如，假设无人车的车速从第一速度阈值区间（0-8km/h）转变为第二速度阈值区间（8-20km/h），根据预先配置的调整规则确定本次焦点中心的移动距离为2cm，此时远程驾驶客户端自动将当前视频画面的焦点中心向上方（天空画面的方向）移动2cm，该移动过程可以是动态缓慢提升的过程。

下面结合附图对远程驾驶过程中远程驾驶画面的焦点中心的变化过程进行说明。图3是本公开实施例提供的增速趋势下远程驾驶画面的焦点中心的移动过程示意图。如图3所示，该远程驾驶画面的焦点中心的移动过程主要包括以下内容：

假设无人车的速度变化趋势为增速趋势，在图3所示的前后时刻对应的远程驾驶画面中，A1表示前一时刻无人车的远程驾驶画面对应的焦点中心，A2表示当前时刻无人车的远程驾驶画面对应的焦点中心。与前一时刻无人车的远程驾驶画面的焦点中心相比，当前时刻无人车的远程驾驶画面的焦点中心向上移动一段距离，与焦点中心调整之前的视频画面相比，调整之后的视频画面中车辆前端行驶画面（主要显示中间道路的画面）所显示的区域更小，而上方的天空画面所显示的区域变大。因此可见，随着车速的增加，远程驾驶画面所呈现给远程驾驶人员的视频画面被逐渐抬高，视频画面中最低观测位置距离车头也越来越远，于此同时，最上方的观测位置变得越来越高。

在一些实施例中，在沿移动方向以及移动距离对远程驾驶画面的焦点中心进行调整之后，方法还包括：根据调整后的远程驾驶画面的焦点中心的位置，对调整前的远程驾驶画面进行裁剪和/或填充，以使调整后的远程驾驶画面中能够显示完整的道路环境。

具体地，根据调整后的远程驾驶画面中各个画面区域的大小，自动对各个画面区域进行裁剪和/或填充。例如图3所示，在焦点中心变化后的远程驾驶画面中，由于整个视频画面向上移动一段距离，导致天空画面的显示区域增大，而中间道路画面的显示区域缩小，因此，可以根据之前的天空画面自动对空白区域进行填充，同时根据调整后的焦点中心在视频画面中的位置，对中间道路画面的显示区域进行裁剪，使得整个视频画面中的各个显示区域能够被铺满，达到缩小焦点中心调整前后的视频画面内容差异的目的。

需要的说明的是，本公开实施例是通过调整远程驾驶画面的焦点中心来对视频画面的显示角度进行调整，从而在不改变摄像头的实际物理位置下，实现对画面冲击感的调节。但是应当理解的是，除了调整视频画面的焦点中心以外，还可以通过调整视频画面的焦距、焦点中线、中心线、最低观测点的位置等方式达到调节显示角度的目的。本公开实施例不需要对摄像头的硬件资源进行更改，也不会额外增加消息通信，降低远程驾驶的网络负担，并且具有更高的实时性，焦点中心位置的调整不会因光照等自然环境的变化而失败。

下述为本公开装置实施例，可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节，请参照本公开方法实施例。

图4是本公开实施例提供的远程驾驶画面的调整装置的结构示意图。如图4所示，该远程驾驶画面的调整装置包括：

接收模块401，被配置为在无人车的远程驾驶过程中，接收无人车发送的远程驾驶画面对应的视频数据，对视频数据进行处理，并将处理后得到的远程驾驶画面在远程驾驶客户端中进行显示；

检测模块402，被配置为对无人车的行驶速度进行检测，获取每一时刻无人车对应的行驶速度，根据预设的速度阈值以及行驶速度，判断是否对远程驾驶画面的焦点中心进行调整；

判断模块403，被配置为当判断结果为对远程驾驶画面的焦点中心进行调整时，根据判断前后无人车所对应的行驶速度之间的差值，对无人车的速度变化趋势进行判断；

调整模块404，被配置为根据速度变化趋势以及预设的调整规则，确定焦点中心在远程驾驶画面的移动方向以及移动距离，沿移动方向以及移动距离对远程驾驶画面的焦点中心进行调整。

在一些实施例中，图4的接收模块401在接收无人车发送的远程驾驶画面对应的视频数据之前，根据定时任务启动无人车的远程驾驶模式，或者向无人车发送远程驾驶操控请求，以使无人车根据远程驾驶操控请求启动远程驾驶模式。

在一些实施例中，图4的接收模块401利用安装在无人车前端的前视摄像头采集远程驾驶过程中道路环境对应的视频数据，利用通信网络对视频数据进行拉流，并在远程驾驶平台中对视频数据进行解析及解码，得到解码后的远程驾驶画面，将远程驾驶画面渲染到远程驾驶客户端中进行显示。

在一些实施例中，图4的检测模块402利用安装在无人车上的车速传感器对无人车在远程驾驶过程中每一时刻对应的行驶速度进行采集，并利用通信网络将行驶速度推送给远程驾驶平台，以使远程驾驶平台将无人车的行驶速度渲染到远程驾驶客户端中进行动态展示。

在一些实施例中，图4的判断模块403根据无人车在前一时刻对应的行驶速度以及当前时刻对应的行驶速度，判断前一时刻的行驶速度以及当前时刻的行驶速度分别对应的速度阈值区间；当前一时刻的行驶速度与当前时刻的行驶速度不属于同一速度阈值区间时，则判断为对当前远程驾驶画面的焦点中心进行调整；当前一时刻的行驶速度与当前时刻的行驶速度属于同一速度阈值区间时，则判断为保持当前远程驾驶画面的焦点中心。

在一些实施例中，速度变化趋势包括增速趋势和减速趋势，图4的判断模块403根据前一时刻的行驶速度与当前时刻的行驶速度，对判断前后无人车所对应的行驶速度之间的差值进行计算；当差值为负值时，则判断无人车的速度变化趋势为增速趋势，当差值为正值时，则判断无人车的速度变化趋势为减速趋势。

在一些实施例中，图4的调整模块404将前一时刻的行驶速度对应的速度阈值区间作为第一速度阈值区间，将当前时刻的行驶速度对应的速度阈值区间作为第二速度阈值区间；根据预先配置的第一速度阈值区间与第二速度阈值区间之间的调整规则以及速度变化趋势，对远程驾驶画面的焦点中心进行调整；其中，每个相邻的速度阈值区间之间对应各自的调整规则，每个调整规则对应不同速度阈值区间之间的移动方向和移动距离。

在一些实施例中，图4的调整模块404当速度变化趋势为增速趋势时，将远程驾驶画面的焦点中心沿移动距离向上移动，当速度变化趋势为减速趋势时，将远程驾驶画面的焦点中心沿移动距离向下移动。

在一些实施例中，图4的调整模块404在沿移动方向以及移动距离对远程驾驶画面的焦点中心进行调整之后，根据调整后的远程驾驶画面的焦点中心的位置，对调整前的远程驾驶画面进行裁剪和/或填充，以使调整后的远程驾驶画面中能够显示完整的道路环境。

图5是本公开实施例提供的电子设备5的结构示意图。如图5所示，该实施例的电子设备5包括：处理器501、存储器502以及存储在该存储器502中并且可以在处理器501上运行的计算机程序503。处理器501执行计算机程序503时实现上述各个方法实施例中的步骤。或者，处理器501执行计算机程序503时实现上述各装置实施例中各模块/单元的功能。

示例性地，计算机程序503可以被分割成一个或多个模块/单元，一个或多个模块/单元被存储在存储器502中，并由处理器501执行，以完成本公开。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序503在电子设备5中的执行过程。

电子设备5可以是桌上型计算机、笔记本、掌上电脑及云端服务器等电子设备。电子设备5可以包括但不仅限于处理器501和存储器502。本领域技术人员可以理解，图5仅仅是电子设备5的示例，并不构成对电子设备5的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如，电子设备还可以包括输入输出设备、网络接入设备、总线等。

处理器501可以是中央处理单元（Central Processing Unit，CPU），也可以是其它通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器502可以是电子设备5的内部存储单元，例如，电子设备5的硬盘或内存。存储器502也可以是电子设备5的外部存储设备，例如，电子设备5上配备的插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（Secure Digital，SD）卡，闪存卡（Flash Card）等。进一步地，存储器502还可以既包括电子设备5的内部存储单元也包括外部存储设备。存储器502用于存储计算机程序以及电子设备所需的其它程序和数据。存储器502还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本公开的范围。

在本公开所提供的实施例中，应该理解到，所揭露的装置/计算机设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/计算机设备实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本公开实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可以存储在计算机可读存储介质中，该计算机程序在被处理器执行时，可以实现上述各个方法实施例的步骤。计算机程序可以包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如，在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

以上实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围，均应包含在本公开的保护范围之内。

Claims (10)

1.一种远程驾驶画面的调整方法，其特征在于，包括：

在无人车的远程驾驶过程中，接收无人车发送的远程驾驶画面对应的视频数据，对所述视频数据进行处理，并将处理后得到的远程驾驶画面在远程驾驶客户端中进行显示；

对所述无人车的行驶速度进行检测，获取每一时刻无人车对应的行驶速度，根据预设的速度阈值以及所述行驶速度，判断是否对所述远程驾驶画面的焦点中心进行调整；

当判断结果为对所述远程驾驶画面的焦点中心进行调整时，根据判断前后所述无人车所对应的行驶速度之间的差值，对所述无人车的速度变化趋势进行判断；

根据所述速度变化趋势以及预设的调整规则，确定所述焦点中心在所述远程驾驶画面的移动方向以及移动距离，沿所述移动方向以及移动距离对所述远程驾驶画面的焦点中心进行调整。

2.根据权利要求1所述的方法，其特征在于，在所述接收无人车发送的远程驾驶画面对应的视频数据之前，所述方法还包括：

根据定时任务启动所述无人车的远程驾驶模式，或者向所述无人车发送远程驾驶操控请求，以使所述无人车根据所述远程驾驶操控请求启动远程驾驶模式。

3.根据权利要求1所述的方法，其特征在于，所述接收无人车发送的远程驾驶画面对应的视频数据，对所述视频数据进行处理，并将处理后得到的远程驾驶画面在远程驾驶客户端中进行显示，包括：

利用安装在所述无人车前端的前视摄像头采集远程驾驶过程中道路环境对应的视频数据，利用通信网络对所述视频数据进行拉流，并在远程驾驶平台中对所述视频数据进行解析及解码，得到解码后的远程驾驶画面，将所述远程驾驶画面渲染到所述远程驾驶客户端中进行显示。

4.根据权利要求1所述的方法，其特征在于，所述对所述无人车的行驶速度进行检测，获取每一时刻无人车对应的行驶速度，包括：

利用安装在所述无人车上的车速传感器对所述无人车在远程驾驶过程中每一时刻对应的行驶速度进行采集，并利用通信网络将所述行驶速度推送给远程驾驶平台，以使所述远程驾驶平台将所述无人车的行驶速度渲染到所述远程驾驶客户端中进行动态展示。

5.根据权利要求1所述的方法，其特征在于，所述根据预设的速度阈值以及所述行驶速度，判断是否对所述远程驾驶画面的焦点中心进行调整，包括：

根据所述无人车在前一时刻对应的行驶速度以及当前时刻对应的行驶速度，判断所述前一时刻的行驶速度以及所述当前时刻的行驶速度分别对应的速度阈值区间；

当前一时刻的行驶速度与当前时刻的行驶速度不属于同一速度阈值区间时，则判断为对当前所述远程驾驶画面的焦点中心进行调整；

当前一时刻的行驶速度与当前时刻的行驶速度属于同一速度阈值区间时，则判断为保持当前所述远程驾驶画面的焦点中心。

6.根据权利要求5所述的方法，其特征在于，所述速度变化趋势包括增速趋势和减速趋势，所述根据判断前后所述无人车所对应的行驶速度之间的差值，对所述无人车的速度变化趋势进行判断，包括：

根据所述前一时刻的行驶速度与所述当前时刻的行驶速度，对所述判断前后所述无人车所对应的行驶速度之间的差值进行计算；

当所述差值为负值时，则判断所述无人车的速度变化趋势为增速趋势，当所述差值为正值时，则判断所述无人车的速度变化趋势为减速趋势。

7.根据权利要求6所述的方法，其特征在于，所述根据所述速度变化趋势以及预设的调整规则，确定所述焦点中心在所述远程驾驶画面的移动方向以及移动距离，包括：

将所述前一时刻的行驶速度对应的速度阈值区间作为第一速度阈值区间，将所述当前时刻的行驶速度对应的速度阈值区间作为第二速度阈值区间；

根据预先配置的所述第一速度阈值区间与所述第二速度阈值区间之间的调整规则以及所述速度变化趋势，对所述远程驾驶画面的焦点中心进行调整；

其中，每个相邻的速度阈值区间之间对应各自的调整规则，每个所述调整规则对应不同速度阈值区间之间的移动方向和移动距离。

8.根据权利要求7所述的方法，其特征在于，所述沿所述移动方向以及移动距离对所述远程驾驶画面的焦点中心进行调整，包括：

当所述速度变化趋势为增速趋势时，将所述远程驾驶画面的焦点中心沿所述移动距离向上移动，当所述速度变化趋势为减速趋势时，将所述远程驾驶画面的焦点中心沿所述移动距离向下移动。

9.根据权利要求1所述的方法，其特征在于，在所述沿所述移动方向以及移动距离对所述远程驾驶画面的焦点中心进行调整之后，所述方法还包括：

根据调整后的远程驾驶画面的焦点中心的位置，对所述调整前的远程驾驶画面进行裁剪和/或填充，以使所述调整后的远程驾驶画面中能够显示完整的道路环境。

10.一种远程驾驶画面的调整装置，其特征在于，包括：

接收模块，被配置为在无人车的远程驾驶过程中，接收无人车发送的远程驾驶画面对应的视频数据，对所述视频数据进行处理，并将处理后得到的远程驾驶画面在远程驾驶客户端中进行显示；

检测模块，被配置为对所述无人车的行驶速度进行检测，获取每一时刻无人车对应的行驶速度，根据预设的速度阈值以及所述行驶速度，判断是否对所述远程驾驶画面的焦点中心进行调整；

判断模块，被配置为当判断结果为对所述远程驾驶画面的焦点中心进行调整时，根据判断前后所述无人车所对应的行驶速度之间的差值，对所述无人车的速度变化趋势进行判断；

调整模块，被配置为根据所述速度变化趋势以及预设的调整规则，确定所述焦点中心在所述远程驾驶画面的移动方向以及移动距离，沿所述移动方向以及移动距离对所述远程驾驶画面的焦点中心进行调整。

Images