CN111629278A - 图像传输方法、装置、可移动平台、服务器及存储介质 - Google Patents

Abstract

本公开实施例涉及一种图像传输方法、装置、可移动平台、服务器及存储介质，通过获取可移动平台上搭载的拍摄设备拍摄到的第一图像数据，将第一图像数据的序列化数据通过RPC请求消息发送给云端服务器，并在接收到云端服务器根据该RPC请求消息返回的RPC反馈消息后，向云端服务器发送拍摄设备拍摄得到的第二图像数据，实现了图像数据的间隔传输，避免了连续传输对网路带宽的挤占，降低了网络拥堵的概率。

Description

图像传输方法、装置、可移动平台、服务器及存储介质

技术领域

本公开实施例涉及无人车技术领域，尤其涉及一种图像传输方法、装置、可移动平台、服务器及存储介质。

背景技术

在无人驾驶场景中，无人车在行驶到红绿灯路口时，一般会基于实时传输协议(Realtime Transport Protocol，简称RTP)/实时传输控制协议(Real-time TransportControl Protocol，简称RTCP)、实时流传输协议(Real Time Streaming Protocol，简称RTSP)或超文本传输协议(HyperText Transfer Protocol，简称HTTP)中的一种将摄像头拍摄的路口的视频流发送给云端服务器，云端服务器对视频流中的红绿灯状态进行识别，并基于识别结果向无人车下发行驶策略，使得无人车能够在红绿灯路口安全行驶。

但是，无论RTP/RTCP、RTSP或HTTP中的哪一种传输方式，其对网络带宽的挤占都非常严重，容易造成网络拥堵、视频流传输出现延迟，视频流传输的实时性较差。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本公开实施例提供了一种图像传输方法、装置、可移动平台、服务器及存储介质。

本公开实施例第一方面提供了一种图像传输方法，该方法包括：

可移动平台获取可移动平台上搭载的拍摄设备拍摄得到的第一图像数据；向云端服务器发送远程过程调用(Remote Procedure Call Protocol，简称RPC)请求消息，RPC请求消息中包括第一图像数据的序列化数据；接收到云端服务器根据RPC请求消息返回的RPC反馈消息后，向云端服务器发送拍摄设备拍摄得到的第二图像数据。

本公开实施例第二方面提供了一种图像传输方法，该方法包括：

云端服务器接收可移动平台发送的RPC请求消息，RPC请求消息中包括可移动平台上搭载的拍摄设备拍摄得到的第一图像数据的序列化数据；根据RPC请求消息向可移动平台发送RPC反馈消息，以使可移动平台在接收到RPC反馈消息后，继续向云端服务器发送拍摄设备拍摄得到的第二图像数据。

本公开实施例第三方面提供了一种图像传输装置，该装置包括：

获取模块，用于获取可移动平台上搭载的拍摄设备拍摄得到的第一图像数据；

发送模块，用于向云端服务器发送RPC请求消息，RPC请求消息中包括第一图像数据的序列化数据；以及在可移动平台接收到云端服务器根据RPC请求消息返回的RPC反馈消息后，向云端服务器发送拍摄设备拍摄得到的第二图像数据。

本公开实施例第四方面提供了一种图像传输装置，该装置包括：

接收模块，用于接收可移动平台发送的RPC请求消息，RPC请求消息中包括可移动平台上搭载的拍摄设备拍摄得到的第一图像数据的序列化数据；

发送模块，用于根据RPC请求消息向可移动平台发送RPC反馈消息，以使可移动平台在接收到RPC反馈消息后，继续向云端服务器发送拍摄设备拍摄得到的第二图像数据。

本公开实施例第五方面提供了一种可移动平台，包括存储器和处理器，其中，存储器中存储有计算机程序，处理器执行该计算机程序以实现上述第一方面的方法。

本公开实施例第六方面提供了一种云端服务器，包括存储器和处理器，其中，存储器中存储有计算机程序，处理器执行该计算机程序以实现上述第二方面的方法。

本公开实施例第七方面提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序可以被处理器执行以实现上述第一方面或第二方面的方法。

本公开实施例提供的技术方案与现有技术相比具有如下优点：

通过获取可移动平台上搭载的拍摄设备拍摄到的第一图像数据，将第一图像数据的序列化数据通过RPC请求消息发送给云端服务器，并在接收到云端服务器根据该RPC请求消息返回的RPC反馈消息后，向云端服务器发送拍摄设备拍摄得到的第二图像数据，实现了基于RPC技术的图像数据传输。由于本公开实施例中可移动平台在向云端服务器发送RPC请求消息后需要等待云端服务器返回的RPC反馈消息，并且在等待RPC反馈消息期间可移动平台不再向云端服务器发送图像数据，因而能够实现图像数据的间隔传输，避免了连续传输对网路带宽的挤占，降低了网络拥堵的概率。并且在本公开实施例中当网络状况较好时云端服务器可以快速的返回RPC反馈消息，可移动平台根据RPC反馈消息能够以较快的速率向云端服务器传输图像数据，图像传输的帧率被提升，当网络状况较差时云端服务器返回RPC反馈消息的速度较慢，可移动平台以较慢的速率向云端服务器发送图像数据，图像传输的帧率下降，从而间接实现了对帧率的动态调整，避免了固定帧率在网络拥塞时使拥塞进一步恶化。另外，可移动平台能够接收到云端服务器返回的RPC反馈消息说明当前网络连接正常，在此前提下对第二图像数据进行传输，能够提高数据传输的成功率，保证每次传输网络连接都处于正常状态，提高了图像数据传输过程中网络连接的可靠性，并且即使出现网络断开的情况，也能通过接收到云端服务器RPC反馈消息，立即恢复对图像数据的传输。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本公开实施例提供的一种自动驾驶场景的示意图；

图2是本公开实施例提供的一种图像传输方法的流程图；

图3是本公开实施例提供的一种基于gRPC技术的传输架构示意图；

图4是本公开实施例提供的一种图像传输方法的流程图；

图5是本公开实施例提供的一种图像传输方法的流程图；

图6是本公开实施例提供的一种图像传输装置的结构示意图；

图7是本公开实施例提供的一种图像传输装置的结构示意图。

具体实施方式

为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。

图1为本公开实施例提供的一种自动驾驶场景的示意图。图1中包括无人车11和云端服务器12，其中无人车11上搭载有无人驾驶系统以及至少一个拍摄设备，该拍摄设备可以被具体为摄像机，用于对车辆周围的环境进行拍摄。云端服务器12搭载有至少一个处理器用于根据无人车11传输的图像数据为无人车11提供行驶策略，比如，在交通灯变为红灯时云端服务器下发停车等候的行驶策略、在交通灯变为绿灯时下发起步行驶的行驶策略。无人车11和云端服务器12上搭载有通信模块，可以互相通信。

示例的，图1提供的是一种红绿灯的行驶场景。在该场景中无人车11上的拍摄设备对红绿灯进行拍摄，得到包含红绿灯状态的图像数据，该图像数据一般为视频流。在相关技术中无人车11一般通过RTP/RTCP、RTSP或HTTP中的一种将拍摄设备拍摄的视频流连续的传输给云端服务器12。云端服务器12基于无人车11传输的视频流计算出包含红绿灯状态的图像帧，通过对图像帧中的图像帧进行识别确定图像帧中的红绿灯状态，并根据红绿灯的状态下发相应的行驶车略。但是相关技术存在非常严重的带宽挤占问题，视频流的连续传输不能根据网络情况自适应调整帧率，当网络带宽不足时，很容易造成网络拥堵，影响图像数据传输的实时性。另外，在相关技术中包含红绿灯的图像帧时根据视频流中的多个图像帧计算得到的，图像的清晰度较低，并且如果视频流的传输出现延迟，则云端服务器无法得到实时的图像帧，图像数据传输的实时性较差。

针对相关技术存在的上述问题本公开实施例提供了一些示例性的解决方案，具体如下：

图2是本公开实施例提供的一种图像传输方法的流程图，如图2所示，该方法包括如下步骤：

步骤201、可移动平台获取所述可移动平台上搭载的拍摄设备拍摄得到的第一图像数据。

步骤202、可移动平台向云端服务器发送远RPC请求消息，RPC请求消息中包括第一图像数据的序列化数据。

步骤203、可移动平台接收到云端服务器根据RPC请求消息返回的RPC反馈消息后，向云端服务器发送拍摄设备拍摄得到的第二图像数据。

在本实施例中，可移动平台可以示例性的理解为无人车，其上可以搭载至少一个摄像头，摄像头可以用于对可移动平台周围的环境进行拍摄。摄像头拍摄得到的第一图像数据可以是摄像头实时拍摄得到的原始图像数据也可以是该原始数据经过压缩处理后得到的压缩数据。例如，在t时刻，可移动平台可以将获取到的摄像头在t时刻拍摄得到的原始图像数据作为第一图像数据，或者也可以将t时刻拍摄的原始图像数据的压缩数据作为第一图像数据。

在一种实施方式中，摄像头拍摄得到的第一图像数据可以被具体为拍摄设备实时拍摄得到的单个图像帧的数据，比如，可移动平台在t时刻向云端服务器传输图像数据，则可移动平台从拍摄设备拍摄得到的视频流中抽取t时刻对应的图像帧，将t时刻的图像帧作为第一图像数据，或者采用诸如jpg、png或gif等图像压缩算法对t时刻的图像帧进行压缩处理，将压缩得到的压缩数据作为第一图像数据。由于本实施例传输单个图像帧的方式不需要利用视频流计算单帧图像，因此实时性更优，并且相较于基于视频流计算得到的图像帧，直接传输的图像帧清晰度更高，有利于提高云端服务器图像识别的准确率。

在另一种实施方式中，摄像头拍摄得到的第一图像数据还可以被具体为拍摄设备实时拍摄得到的视频段数据。比如，可移动平台可以将拍摄设备在当前30秒内拍摄的视频流作为第一图像数据，或者采用H.261、H.263、H.264等编码标准中的一种对当前30秒内拍摄的视频流进行压缩处理，将压缩后的视频数据作为第一图像数据。

通过将拍摄设备实时拍摄的视频段作为第一图像数据，能够满足对帧率要求较高的场景的需求。

本实施例采用RPC技术向云端服务器发送图像数据。为了方便理解，下面以RPC框架下的gRPC技术进行举例说名。

具体的，图3是本公开实施例提供的一种基于gRPC技术的传输架构示意图。gRPC的客户端被配置在可移动平台上，gRPC的服务端被配置在云端服务器上。可移动平台获取到拍摄设备拍摄得到的原始图像帧后通过jpg技术对原始图像帧进行压缩处理，并采用Protocol Buffer技术对压缩得到的jpg图像进行数据序列化处理，通过调用gRPC的客户端将得到的序列化数据携带在RPC请求消息中发送给gRPC的服务端。其中，Protocol Buffer是一种序列化数据结构的协议，在gRPC技术中被用于数据的序列化和反序列化处理。

云端服务器通过gRPC的服务端接收RPC请求消息，并在接收到RPC请求消息后，向gRPC的客户端返回RPC反馈消息，并基于Protocol Buffer技术对RPC请求消息中的数据进行反序列化处理得到jpg图像。其中，RPC反馈消息中至少可以包括如下信息中的一种：接收状态，接收到的时间等。

可移动平台通过gRPC的客户端发送RPC请求消息后等待云端服务器的反馈，并在等待期间不发送新的图像数据，当gRPC的客户端收到RPC反馈消息后，可移动平台获取摄像头当前拍摄的第二图像数据进行下一次发送操作，其中，第二图像数据的具体形式与第一图像数据类似，在这里不再赘述。

本实施例通过获取可移动平台上搭载的拍摄设备拍摄到的第一图像数据，将第一图像数据的序列化数据通过RPC请求消息发送给云端服务器，并在接收到云端服务器根据该RPC请求消息返回的RPC反馈消息后，向云端服务器发送拍摄设备拍摄得到的第二图像数据，实现了基于RPC技术的图像数据传输。由于本实施例中可移动平台在向云端服务器发送RPC请求消息后需要等待云端服务器返回的RPC反馈消息，并且在等待RPC反馈消息期间可移动平台不再向云端服务器发送图像数据，因而能够实现图像数据的间隔传输，避免了连续传输对网路带宽的挤占，降低了网络拥堵的概率。并且在本实施例中当网络状况较好时云端服务器可以快速的返回RPC反馈消息，可移动平台根据RPC反馈消息能够以较快的速率向云端服务器传输图像数据，图像传输的帧率被提升，当网络状况较差时云端服务器返回RPC反馈消息的速度较慢，可移动平台以较慢的速率向云端服务器发送图像数据，图像传输的帧率下降，从而间接实现了对帧率的动态调整，避免了固定帧率在网络拥塞时使拥塞进一步恶化。另外，可移动平台能够接收到云端服务器返回的RPC反馈消息说明当前网络连接正常，在此前提下对第二图像数据进行传输，能够提高数据传输的成功率，保证每次传输网络连接都处于正常状态，提高了图像数据传输过程中网络连接的可靠性，并且即使出现网络断开的情况，也能通过接收到云端服务器RPC反馈消息，立即恢复对图像数据的传输。

图4是本公开实施例提供的一种图像传输方法的流程图，如图4所示，该方法包括：

步骤401、可移动平台检测网络在当前单位时间内的数据交互量，若网络在当前单位时间内的数据交互量大于预设阈值，则跳转到步骤402，若网络在当前单位时间内的数据交互量小于预设阈值，则跳转到步骤403。

其中，本实施例中预设阈值可以根据需要进行取值，而不必局限于某一特定值。

步骤402、可移动平台获取可移动平台上搭载的拍摄设备在当前时刻拍摄得到图像帧，将该图像帧作为第一图像数据。

步骤403、可移动平台获取可移动平台上搭载的拍摄设备在当前单位时间段内拍摄得到的视频段，将该视频段作为第一图像数据。

步骤404、可移动平台向云端服务器发送远RPC请求消息，RPC请求消息中包括第一图像数据的序列化数据。

步骤405、可移动平台接收到云端服务器根据RPC请求消息返回的RPC反馈消息后，向云端服务器发送拍摄设备拍摄得到的第二图像数据。

本实施例中可移动平台除了与云端服务器之间的通信需要占用带宽之外，可移动平台上诸如定位，直播等业务功能也可能需要占用带宽进行网络交互。其中，网络带宽的占用情况可通过当前单位时间内网络上的数据交互量进行体现。当单位时间内网络的数据交互量大于预设阈值时，可以认为网络带宽的占用情况较严重，当单位时间内网络的数据交互量小于预设阈值时，可以认为网络状况较好。这样在对帧率要求较高的场景中可以在网络带宽占用较严重的情况下，可以将图像帧作为传输对象，而在网络状态较好的情况下，将视频段作为传输对象从而尽可能的满足对帧率的要求。

本实施例通过RPC技术向云端服务器发送图像数据，并基于网络状态动态选择将图像帧或者视频段作为传输对象，能够在减少带宽占用的同时满足数据传输对帧率的要求。

图5是本公开实施例提供的一种图像传输方法的流程图，如图5所示，该方法包括：

步骤501、云端服务器接收可移动平台发送的RPC请求消息，RPC请求消息中包括可移动平台上搭载的拍摄设备拍摄得到的第一图像数据的序列化数据。

步骤502、云端服务器根据RPC请求消息向可移动平台发送RPC反馈消息，以使可移动平台在接收到所述RPC反馈消息后，继续向云端服务器发送拍摄设备拍摄得到的第二图像数据。

在一种实施方式中，第一图像数据和第二图像数据为拍摄设备实时拍摄到的单个图像帧的数据。

在另一种实施方式中，第一图像数据和第二图像数据为拍摄设备实时拍摄到的视频段数据。

在一种实施方式中，第一图像数据和第二图像数据为拍摄设备实时拍摄到的原始图像数据的压缩数据。

本实施例的执行方式和有益效果与上述实施例类似，在这里不在赘述。

图6是本公开实施例提供的一种图像传输装置的结构示意图，该装置可以被具体为可移动平台或者可移动平台内的部分功能模块。如图6所示，装置60包括：

获取模块61，用于获取所述可移动平台上搭载的拍摄设备拍摄得到的第一图像数据；

发送模块62，用于向云端服务器发送RPC请求消息，所述RPC请求消息中包括所述第一图像数据的序列化数据；以及在所述可移动平台接收到所述云端服务器根据所述RPC请求消息返回的RPC反馈消息后，向所述云端服务器发送所述拍摄设备拍摄得到的第二图像数据。

在一种实施方式中，第一图像数据和第二图像数据为拍摄设备实时拍摄到的单个图像帧的数据。

在一种实施方式中，第一图像数据和第二图像数据为拍摄设备实时拍摄到的视频段数据。

在一种实施方式中，该装置还包括检测模块，用于检测在当前单位时间内的数据交互量。获取模块61用于在数据交互量大于预设阈值时，获取拍摄设备实时拍摄到的单个图像帧的数据或者在数据交互量小于预设阈值时，获取拍摄设备实时拍摄到的视频段数据。

在一种实施方式中，第一图像数据和第二图像数据为拍摄设备实时拍摄到的原始图像数据的压缩数据。

本实施例提供的装置能够执行图2或图4实施例的方法，其执行方式和有益效果类似，在这里不在赘述。

图7是本公开实施例提供的一种图像传输装置的结构示意图，该装置可以被具体为云端服务器或者云端服务器内的部分功能模块。如图7所示，装置70包括：

接收模块71，用于接收可移动平台发送的RPC请求消息，所述RPC请求消息中包括所述可移动平台上搭载的拍摄设备拍摄得到的第一图像数据的序列化数据；

发送模块72，用于根据所述RPC请求消息向所述可移动平台发送RPC反馈消息，以使所述可移动平台在接收到所述RPC反馈消息后，继续向所述云端服务器发送所述拍摄设备拍摄得到的第二图像数据。

在一种实施方式中，第一图像数据和第二图像数据为拍摄设备实时拍摄到的单个图像帧的数据。

在另一种实施方式中，第一图像数据和第二图像数据为拍摄设备实时拍摄到的视频段数据。

在一种实施方式中，第一图像数据和第二图像数据为拍摄设备实时拍摄到的原始图像数据的压缩数据。

本实施例提供的装置能够执行图5实施例的方法，其执行方式和有益效果类似，在这里不在赘述。

本公开实施例还提供一种可移动平台，该平台包括存储器和处理器，其中，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序以实现图2-图4中任一项实施例的方法。

其中，该可移动平台包括无人车。

本公开实施例还提供一种云端服务器，该云端服务器包括存储器和处理器，其中，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序以实现图5实施例的方法。

本公开实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现上述任一方法实施例的方法。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (14)

1.一种图像传输方法，其特征在于，包括：

可移动平台获取所述可移动平台上搭载的拍摄设备拍摄得到的第一图像数据；

向云端服务器发送远程过程调用RPC请求消息，所述RPC请求消息中包括所述第一图像数据的序列化数据；

接收到所述云端服务器根据所述RPC请求消息返回的RPC反馈消息后，向所述云端服务器发送所述拍摄设备拍摄得到的第二图像数据。

2.根据权利要求1所述的方法，其特征在于，所述第一图像数据和所述第二图像数据为所述拍摄设备实时拍摄到的单个图像帧的数据。

3.根据权利要求2所述的方法，其特征在于，所述可移动平台获取所述可移动平台上搭载的拍摄设备拍摄得到的第一图像数据之前，所述方法还包括：

检测到网络在当前单位时间内的数据交互量大于预设阈值。

4.根据权利要求1所述的方法，其特征在于，所述第一图像数据和所述第二图像数据为所述拍摄设备实时拍摄到的视频段数据。

5.根据权利要求4所述的方法，其特征在于，所述可移动平台获取所述可移动平台上搭载的拍摄设备拍摄得到的第一图像数据之前，所述方法还包括：

检测到网络在当前单位时间内的数据交互量小于所述预设阈值。

6.根据权利要求1-5中任一项所述的方法，其特征在于，所述第一图像数据和所述第二图像数据为所述拍摄设备实时拍摄到的原始图像数据的压缩数据。

7.一种图像传输方法，其特征在于，包括：

云端服务器接收可移动平台发送的RPC请求消息，所述RPC请求消息中包括所述可移动平台上搭载的拍摄设备拍摄得到的第一图像数据的序列化数据；

根据所述RPC请求消息向所述可移动平台发送RPC反馈消息，以使所述可移动平台在接收到所述RPC反馈消息后，继续向所述云端服务器发送所述拍摄设备拍摄得到的第二图像数据。

8.根据权利要求7所述的方法，其特征在于，所述第一图像数据和所述第二图像数据为所述拍摄设备实时拍摄到的单个图像帧的数据。

9.一种图像传输装置，其特征在于，包括：

获取模块，用于获取所述可移动平台上搭载的拍摄设备拍摄得到的第一图像数据；

发送模块，用于向云端服务器发送RPC请求消息，所述RPC请求消息中包括所述第一图像数据的序列化数据；以及在所述可移动平台接收到所述云端服务器根据所述RPC请求消息返回的RPC反馈消息后，向所述云端服务器发送所述拍摄设备拍摄得到的第二图像数据。

10.一种图像传输装置，其特征在于，包括：

接收模块，用于接收可移动平台发送的RPC请求消息，所述RPC请求消息中包括所述可移动平台上搭载的拍摄设备拍摄得到的第一图像数据的序列化数据；

发送模块，用于根据所述RPC请求消息向所述可移动平台发送RPC反馈消息，以使所述可移动平台在接收到所述RPC反馈消息后，继续向所述云端服务器发送所述拍摄设备拍摄得到的第二图像数据。

11.一种可移动平台，其特征在于，包括：

存储器和处理器，其中，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序以实现权利要求1-6中任一项所述的方法。

12.根据权利要求11所述的可移动平台，其特征在于，所述可移动平台包括无人车。

13.一种云端服务器，其特征在于，包括：

存储器和处理器，其中，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序以实现权利要求7或8所述的方法。

14.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行以实现如权利要求1-8中任一项所述的方法。

Images