CN108898044A - 装载率获取方法、装置、系统及存储介质 - Google Patents

Abstract

本申请公开了装载率获取方法、装置、系统及存储介质。该方法包括：该方法包括：获取第一时刻的视频帧，该视频帧包括目标区域的第一左视图和第一右视图，目标区域为车辆载货后的车厢区域，第一时刻为第一触发状态对应的时刻；基于第一左视图和第一右视图计算深度图，其中，深度图包括多个深度值；从第一左视图或第一右视图中提取第一感兴趣区域，其中，第一感兴趣区域为目标区域；从深度图中确定与第一感兴趣区域的边缘对应的深度值的子集合；基于子集合计算车辆的装载率。根据本申请实施例的技术方案，无需人工干预，节省了人力资源，同时提升了获取车载率的效率。

Description

装载率获取方法、装置、系统及存储介质

技术领域

本申请一般涉及运输网络管理技术领域，具体涉及中转场监控管理技术领域，尤其涉及装载率获取方法、装置、系统及存储介质。

背景技术

中转场(站)是网络中的集散节点，基本功能是对快件进行集散和转运。快递业一般称为中转场、中转站、分拨场、中转中心等。中转场是进行快件分拣集散的重要节点，其运作模式的主要特点在于它不是从事具体商品生产的组织单位，主要是将从其他网点汇集来的快件进行集中、交换和转运，实现快件在全网中从分散到集中再到分散的流动。

中转场一般都具有不同程度的机械化、自动化处理能力，以提高效率，降低成本。目前对于中转场货车的转载情况主要通过两种方法进行估算。一是系统装载率，通过货车所在货物的重量和货车总载重的比值来计算；二是人为肉眼估算。前者需要获取重量因素，费事且不方便，后者需要额外的人力监控、估算，估算结果还存在误差较大等问题。

车辆的装载率直接影响整个物流运输的效率，装载率低下，会使资源得不到充分利用，降低运营效率。因此，亟待提出解决上述问题的技术方案来提升装载率的准确性、及时性。

发明内容

鉴于现有技术中的上述缺陷或不足，期望提供一种智能测算货车装载率的技术方案，提高物流信息处理效率。

第一方面，本申请实施例提供了一种车辆装载率获取方法，该方法包括：

获取第一时刻的视频帧，该视频帧包括目标区域的第一左视图和第一右视图，该目标区域为车辆载货后的车厢区域，该第一时刻为第一触发状态对应的时刻；

基于第一左视图和第一右视图计算深度图，其中，深度图包括多个深度值；

从第一左视图或第一右视图中提取第一感兴趣区域，其中，第一感兴趣区域为目标区域；

从深度图中确定与第一感兴趣区域的边缘对应的深度值的子集合；

基于子集合计算车辆的装载率。

第二方面，本申请实施例提供了一种车辆装载率获取的装置，该装置包括：

第一获取单元，用于获取第一时刻的视频帧，该视频帧包括目标区域的第一左视图和第一右视图，该目标区域为车辆载货后的车厢区域，该第一时刻为第一触发状态对应的时刻；

第一计算单元，用于基于第一左视图和第一右视图计算深度图，其中，深度图包括多个深度值；

提取单元，用于从第一左视图或第一右视图中提取第一感兴趣区域，第一感兴趣区域为目标区域；

子集合确定单元，用于从深度图中确定与第一感兴趣区域的边缘对应的深度值的子集合；

第二计算单元，用于基于子集合计算车辆的装载率。

第三方面，本申请实施例提供了一种分布式服务配置系统，该系统包括中心配置节点、视频流获取装置以及如本申请实施例描述的车辆装载率获取装置，其中，

中心配置节点，用于存储配置参数；

视频流获取装置，用于监听前述配置参数的变更消息，基于该变更消息获取与之相关的视频流数据；

装载率获取装置，用于基于视频流数据的第一时刻的视频帧来计算车辆的装载率，其中，第一时刻为触发获取视频帧的时刻。

第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序用于：

该计算机程序被处理器执行时实现如本申请实施例描述的方法。

本申请实施例提供车辆装载率获取方法，通过对深度图中车厢区域的深度值进行积分计算得到车辆的装载。该方法通过图像识别技术从装货后的车厢图像中，识别处货物占据车厢空间比例，从而计算得到车辆的装载率。该方法无需人工干预，节省了人力资源，同时提升了车载率获取速度。

进一步地，本申请实施例还通过校准方法，进一步提高了装载率计算精度。

进一步地，本申请实施例还通过智能识别第二感兴趣区域，即车牌区域，实现了中转场的智能化管理，并大大提升了管理效率。

进一步地，本申请实施例还通过基于配置驱动的方式构建了分布式系统，从而降低了计算车辆车载率的算法与后台系统的耦合性。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1示出了本申请实施例提供的车辆装载率获取方法的流程示意图；

图2示出了本申请实施例提供的步骤150之前方法处理的流程示意图；

图3示出了本申请实施例提供的步骤110之前方法处理的流程示意图；

图4示出了本申请实施例提出的车辆装载率获取装置的示例性结构框图；

图5示出了本申请实施例提供的第二计算单元450之前的示例性结构框图；

图6示出了本申请实施例提供的第一获取单元410之前的示例性结构框图；

图7示出了本申请实施例提供的基于分配驱动的分布式系统；

图8示出了适于用来实现本申请实施例的终端设备的计算机系统的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

随着物流行业的发展，中转场作为承载货物运输的重要场地，其地位越来越重要。中转场的主要流程包括收货、到货、卸货、分拣、装车、出货等环节。其中，装车环节是针对分拣后的快递件进行装车、也可以称为装货或者载货。现有对于装车后的装载率的计算，可以通过人工估算或者重量比值计算方法得到，这种方式需要耗费较多的时间资源和人力资源，造成中转场管理效率较低。

本申请实施例提出了基于上述中转场场景货车载货智能计算装载率的方法，有效地解决上述问题，提升了中转场的管理时效性。

请参考图1，图1示出了本申请实施例提供的车辆装载率获取方法的流程示意图。

如图1所示，该方法包括：

步骤110，获取第一时刻的视频帧，视频帧包括目标区域的第一左视图和第一右视图，目标区域为车辆载货后的车厢区域，第一时刻为第一触发状态对应的时刻。

本申请实施例中，通过中转场设置双目摄像头，用于采集中转场内进行载货的车辆的车厢的视频图像，例如，装货后货车的车厢及货物的视频图像或视频流。通过识别货车装货完成的时刻，从双目摄像头采集的视频流中获取该时刻的视频帧图像进行处理。完成载货的状态可以称为第一触发状态。货车完成载货的时刻例如可以是用于触发获取视频帧图像的时刻，也可以通过其他方式触发获取视频帧图像，例如在货车完成载货后等待几秒时间，图像处于静止作为触发条件。

从双目摄像头采集的视频流中获取第一时刻的视频帧图像，该视频帧图像包括目标区域的左视图和右视图，其中，目标区域是指车辆载货后的车厢区域，例如中转场中已经完成装车的货车的车厢区域。

在通过双目摄像头获取图像之前，还可以通过张氏标定法对摄像头进行标定。在标定之后，需要根据摄像头标定后获得的单目内参数据(焦距、成像原点、畸变系数)和双目相对位置关系(旋转矩阵和平移向量)，分别对左右视图进行消除畸变和行对准，使得左右视图的成像原点坐标一致、两摄像头光轴平行、左右成像平面共面、对极线行对齐。将左右视图调整成完全平行对准的理想形式。

步骤120，基于第一左视图和第一右视图计算深度图，其中，深度图包括多个深度值。

本申请实施例中，在获得包括目标区域的左右视图之后，可以基于左右视图得到遍历每个像素得到其视差值，这些视差值构成视差图。然后将视差图中的视差值进行转换，可以得到对应的深度值，多个像素的深度值构成深度图。也即是深度图包括每个像素对应的深度值。基于左右视图计算视差图可以通过立体匹配算法找出每对图像间的对应关系，然后根据三角测量原理，得到视差图；在获得了视差信息后，根据投影模型可以得到原始图像的深度信息和三维信息。立体匹配的效果直接影响得到的三维信息。这里立体匹配算法例如可以是SAD算法、SSD算法、SGBM算法等。

该步骤还可以包括：

利用半全局块匹配算法计算第一左视图和第一右视图的视差图；

然后，将视差图转换成深度图，其中深度图包括与视差图的像素一一对应的深度值。

步骤130，从第一左视图或第一右视图中提取第一感兴趣区域，第一感兴趣区域为目标区域。

左右视图是双目摄像头采集的视频流数据中的一帧或多帧图像，该帧图像中均含有目标区域，即货车车厢区域。本申请实施例中，通过图像分割方法从包含目标区域的原始图像中，将目标区域划分出来，目标区域即为图像中感兴趣区域(Region of Interst，以下简称ROI区域)。其中，图像分割方法例如可以是N-cut方法或者基于卷积神经网络的语义分割方法。优选地，基于全卷积神经网络(Fully Convolutional Networks，以下简称FCN)执行语义分割任务，将目标区域即车厢区域从原始图像中分离出来。

优选地，利用新设计的全卷积网络获取图像的语义分割。

该步骤还可以包括：

将第一左视图或第一右视图输入预先建立的神经网络模型进行检测，输出第一感兴趣区域。

本申请实施例还可以通过预先训练得到FCN网络作为语义分割模型或者提取模型，将原始图像输入FCN网络，可以得到一个与输入原始图像具有相同尺寸的布尔值(boolean)表。表中，True表示对应的像素为车厢的边缘，例如车框。False则相反。

输出与第一左视图或第一右视图具有相同尺寸的布尔值表，该表中数值1表示对应的像素属于第一感兴趣区域的边缘，数值0表示为对应的像素不属于第一感兴趣区域的边缘。

步骤140，从深度图中确定与第一感兴趣区域的边缘对应的深度值的子集合。

本申请实施例，在步骤130获得第一感兴趣区域之后，可以确定第一感兴趣区域的边缘的坐标信息，第一感兴趣区域的边缘即车框，其对应的坐标信息是指车框在原始图像中的坐标信息，根据其坐标信息可以从与之对应的深度图中获取得到车厢的深度值的子集合。该子集合是车框对应像素的深度值组成的集合。

该步骤还可以包括：

确定第一感兴趣区域在第一左视图或第一右视图中对应的坐标位置；

在深度图中基于坐标位置确定与坐标位置对应的深度值作为子集合。

步骤150，基于子集合计算车辆的装载率。

本申请实施例中，在获得车厢的深度值之后，可以采用积分方法基于车厢的深度值计算载货后的车厢的剩余体积；

然后，计算车厢的可用体积与剩余体积的差值，与车厢的可用体积相除，得到车辆的装载率。

该步骤还可以包括：

采用积分方法基于前述子集合计算载货后的车厢的剩余体积；

计算前述车厢的可用体积与该剩余体积的差值；

将该差值与该可用体积的比值作为车辆的装载率。

本申请实施例，通过图像处理方法从原始图像中获取载货车辆在装货完成后拍摄的图像的深度值信息，来计算车辆的装载率。整个过程无需额外的人员干预，大大节省了计算装载率的时间，提高了中转场管理的时效性。

在步骤150后，该方法还可以包括：

步骤160，基于预先建立装载率与识别结果之间映射关系，存储装载率。

在步骤150基于子集合计算车辆的装载率之后，将计算得到的装载率与预先得到的识别结果绑定，得到计算车辆的装载率和识别结果之间的映射关系，从而完成车辆与车辆的装载率的智能匹配。

本申请实施例在预先得到识别结果之后，建立识别结果与车辆的装载率的映射关系，该映射关系可以是列表形式，或者指向性指针的方式，也可以指定的存储区域等多种方式之一。

本申请实施例，建立识别得到的车牌信息与对应车辆的装载率之间的映射关系，并将其存储在相应的存储装置中，以供后端业务平台及时获取，实现了车辆的车载率的智能化管理，减少人工录入的繁琐程序。

本申请实施例在图1基础上，可以进一步提升装载率计算的精度。请参考图2，图2示出了本申请实施例提供的步骤150之前方法处理的流程示意图。

本申请实施例在执行完与步骤110-140相同的步骤之后，如图2所示，该方法进一步包括：

步骤250a，计算子集合的每个深度值在垂直方向上的变化量；

步骤250b，基于变化量计算车厢平面与成像平面之间的夹角；

步骤250c，根据夹角校正第一感兴趣区域的边缘对应的像素的三维坐标；

步骤250d，利用校正后的三维坐标调整子集合。

通过分析双目摄像头安装过程存在的问题。双目摄像头安装时，其成像平面与车框平面不平行，由于两个平面之间的夹角会造成计算误差，导致装载率可能不够精准。本申请实施例，在计算装载率之前，还可以通过纠正夹角带来的误差，来提高装载率的准确度。

在获取得到子集合之后，可以通过步骤250a对子集合中每个深度值计算其在垂直方向上的变化量，然后通过变化量计算车厢平面与成像平面之间的夹角。

如果视差图中对应目标区域的每个像素计算的三维坐标为(x_old，y_old，z_old)，根据车厢平面和成像平面的夹角α对该三维坐标进行校正，得到校正后的三维坐标(x_new，y_new，z_new)，其中，

x_new＝x_old

y_new＝y_old×z_old×sin(α)

z_new＝y_old×sin(α)+z_old×cos(α)

由校正后的三维坐标进一步调整子集合中对应的深度值。然后利用坐标调整后对应的深度值计算装载率。从而得到更为准确的深度值集合用于计算装载率。其中，装载率计算公式如下：

其中，r_V表示装载率；

V_e表示车厢的可用体积，即最大装载体积；

V_o表示完成装货后车厢的剩余体积，该剩余体积通过上述公式中积分计算部分获得；

f(x，y)表示指定像素点(x，y)对应的深度值，c(x，y)表示车厢的车框对应的深度值，w表示车框宽度，h表示车框高度。

在上述实施例基础上，本申请实施例提出了一种智能获取车辆转载率的方法，请参考图3，图3示出了本申请实施例提供的步骤110之前方法处理的流程示意图。

本申请实施例在执行完与步骤110之前，如图3所示，该方法还进一步包括，

步骤310a，获取第二时刻的视频帧，该视频帧包括第二左视图和第二右视图，第二时刻为第二触发状态对应的时刻；

本申请实施例，第二时刻例如可以是第二触发状态对应的时刻，第二触发状态例如可以是车辆驶入中转场入口的状态。该状态可以通过深度图对应的深度值区域的变化智能识别，也可以通过标识信息识别该状态。

步骤310b，将第二左视图或第二右视图与预先设定的RGB信息比较，得到第二感兴趣区域，其中，第二感兴趣区域是车辆的车牌区域；

本申请实施例，通过从第二左视图或第二右视图中识别出车辆的车牌区域。机动车牌照是车管所给机动车的行车凭证，车牌的底色有蓝色、黄色、白色、黑色、绿色等。例如，小吨位的货车是蓝色车牌。通过RGB信息比对，可以初步筛选得到感兴趣区域，认为蓝色区域属于车牌区域。

步骤310c，将第二感兴趣区域输入检测识别模型，得到识别结果，其中，识别结果为车辆的车牌号码；该检测识别模型包括预先训练得到的检测模型和识别模型，该检测模型采用机器学习算法训练得到，该识别模型采用深度学习算法训练得到。

在步骤310a之后，通过初步判断第二感兴趣区域的范围，然后进一步判断第二感兴趣区域是否为车牌区域，可以通过预定的机器学习算法预先训练得到的模型来判断，例如可以是支持向量机(support vector machines)算法。然后，再对判断后的数据进行识别，从而获取第二感兴趣区域中对应的标识信息，即车牌信息，车牌信息例如可以是车牌号码。

得到车牌信息后，可以设置车牌信息对应的存储位置或者将车牌信息保存到数据库中，从而建立车牌信息与车载率之间的映射关系。

本申请实施例，还可以在步骤310a之前，进一步包括：

步骤3101，获取第二时刻之前预定时间长度的连续的多个视频帧；

从多个视频帧中逐个获取与每个视频帧对应的左视图和右视图。

步骤3102，逐个计算与每个视频帧对应的左视图和右视图的深度图。

步骤3103，确定深度图中第一感兴趣区域的边缘的深度值的变化情况。

步骤3104，基于变化情况判断车辆的触发状态，其中触发状态至少包括以下一种：驶入中转场入口、驶出中转场出口、开始载货、完成载货。

现有技术中，在中转场内货车的装车过程都需要人工监控，一定程度上对于中转场智能管理设置障碍。本申请实施例，通过获取车辆在预定时间长度的视频帧图像进行分析，可以识别出货车在中转场所处的状态。例如，车辆驶入中转场入口，车辆驶出中转场出口，车辆开始载货，车辆完成载货。预定时间长度可以是几秒或几帧对应的时间。

本申请实施例，双目摄像机按照预先设置的采集频率拍摄目标车辆的视频流图像。例如，当车辆驶入中转场入口，通过获取视频帧图像的左右视图，计算其深度图，然后通过深度图进行三维测距分析判断车辆是不是驶入中转场入口。当判断有车辆驶入中转场入口时，触发后端处理流程，主动获取该时刻对应的视频帧图像进行步骤310a-310b的判断，得到车牌号码信息，并同时触发后端控制中心开始装货动作，记录车辆开始装货的时间状态。

然后，再通过获取第二预设时段的视频帧图像，通过与前述相同的方式计算视频帧图像的深度图，通过对应深度值的变化可以识别出车辆是否完成装货，并在判断结果为完成装货时，触发后端处理程序进一步提取第一感兴趣区域进行分析，具体描述如步骤130-150的内容，智能计算车辆的装载率，并在得到计算结果后，将计算结果传送到预先建立的与该车辆的车牌号码对应的位置，或者预先建立的存储表中相应的位置。

本申请实施例提出适用于中转场的智能管理方法，该方法实施过程中无需额外的人员进行监控监管，很大程度节约了人力资源，提升了智能管理的效率。

应当注意，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序。例如步骤110之前的步骤310a-310c，可以先执行步骤110之前的步骤3101-3104。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。例如，步骤150可以包括计算车厢的可用体积与剩余体积的差值的步骤，以及将该差值与车厢的可用体积相除的步骤，从而得到车辆的装载率。

本申请实施例在图1的基础上，还提出了一种车辆装载率获取装置。进一步参考图4，图4示出了本申请实施例提出的车辆装载率获取装置的示例性结构框图。

如图4所示，该装置400包括：

第一获取单元410，用于获取第一时刻的视频帧，视频帧包括目标区域的第一左视图和第一右视图，该目标区域为车辆载货后的车厢区域，第一时刻为第一触发状态对应的时刻。

本申请实施例中，通过中转场设置双目摄像头，用于采集中转场内进行载货的车辆的车厢的视频图像，例如，装货后货车的车厢及货物的视频图像或视频流。通过识别货车装货完成的时刻，从双目摄像头采集的视频流中获取该时刻的视频帧图像进行处理。完成载货的状态可以称为第一触发状态。货车完成载货的时刻例如可以是用于触发获取视频帧图像的时刻，也可以通过其他方式触发获取视频帧图像，例如在货车完成载货后等待几秒时间，图像处于静止作为触发条件。

从双目摄像头采集的视频流中获取第一时刻的视频帧图像，该视频帧图像包括目标区域的左视图和右视图，其中，目标区域是指车辆载货后的车厢区域，例如中转场中已经完成装车的货车的车厢区域。

在通过双目摄像头获取图像之前，还可以通过张氏标定法对摄像头进行标定。在标定之后，需要根据摄像头标定后获得的单目内参数据(焦距、成像原点、畸变系数)和双目相对位置关系(旋转矩阵和平移向量)，分别对左右视图进行消除畸变和行对准，使得左右视图的成像原点坐标一致、两摄像头光轴平行、左右成像平面共面、对极线行对齐。将左右视图调整成完全平行对准的理想形式。

第一计算单元420，用于基于左视图和右视图计算深度图，其中，深度图包括多个深度值。

本申请实施例中，在获得包括目标区域的左右视图之后，可以基于左右视图得到遍历每个像素得到其视差值，这些视差值构成视差图。然后将视差图中的视差值进行转换，可以得到对应的深度值，多个像素的深度值构成深度图。也即是深度图包括每个像素对应的深度值。基于左右视图计算视差图可以通过立体匹配算法找出每对图像间的对应关系，然后根据三角测量原理，得到视差图；在获得了视差信息后，根据投影模型可以得到原始图像的深度信息和三维信息。立体匹配的效果直接影响得到的三维信息。这里立体匹配算法例如可以是SAD算法、SSD算法、SGBM算法等。

该步骤还可以包括：

利用半全局块匹配算法计算第一左视图和第一右视图的视差图；

然后，将视差图转换成深度图，其中深度图包括与视差图的像素一一对应的深度值。

提取单元430，用于从左视图或右视图中提取第一感兴趣区域，第一感兴趣区域为目标区域。

左右视图是双目摄像头采集的视频流数据中的一帧或多帧图像，该帧图像中均含有目标区域，即货车车厢区域。本申请实施例中，通过图像分割方法从包含目标区域的原始图像中，将目标区域划分出来，目标区域即为图像中感兴趣区域(Region of Interst，以下简称ROI区域)。其中，图像分割方法例如可以是N-cut方法或者基于卷积神经网络的语义分割方法。优选地，基于全卷积神经网络(Fully Convolutional Networks，以下简称FCN)执行语义分割任务，将目标区域即车厢区域从原始图像中分离出来。

优选地，利用新设计的全卷积网络获取图像的语义分割。

该提取单元还可以用于将第一左视图或第一右视图输入预先建立的神经网络模型进行检测，输出第一感兴趣区域。

本申请实施例还可以通过预先训练得到FCN网络作为语义分割模型或者提取模型，将原始图像输入FCN网络，可以得到一个与输入原始图像具有相同尺寸的布尔值(boolean)表。表中，True表示对应的像素为车厢的边缘，例如车框。False则相反。

输出与第一左视图或第一右视图具有相同尺寸的布尔值表，该表中数值1表示对应的像素属于第一感兴趣区域的边缘，数值0表示为对应的像素不属于第一感兴趣区域的边缘。

子集合确定单元440，用于从深度图中确定与第一感兴趣区域的边缘对应的深度值的子集合。

本申请实施例，在获得第一感兴趣区域之后，可以确定第一感兴趣区域的边缘的坐标信息，即车框在图像中的坐标信息，可以从与之对应的深度图中获取得到车厢的深度值的子集合。该子集合是车框对应像素的深度值组成的集合。

该子集合确定单元还可以包括：

第一确定模块，用于确定第一感兴趣区域在第一左视图或第一右视图中对应的坐标位置；

第二确定模块，用于在深度图中基于坐标位置确定与坐标位置对应的深度值作为子集合。

第二计算单元450，用于基于子集合计算车辆的装载率。

本申请实施例中，在获得车厢的深度值之后，可以采用积分方法基于车厢的深度值计算载货后的车厢的剩余体积；

然后，计算车厢的可用体积与剩余体积的差值，与车厢的可用体积相除，得到车辆的装载率。

第二计算单元450还可以包括：

剩余体积计算模块，用于采用积分方法基于前述子集合计算载货后的车厢的剩余体积；

差值计算模块，用于计算前述车厢的可用体积与该剩余体积的差值；

比值模块，用于将该差值与该可用体积的比值作为车辆的装载率。

本申请实施例，通过图像处理方法从原始图像中获取载货车辆在装货完成后拍摄的图像的深度值信息，来计算车辆的装载率。整个过程无需额外的人员干预，大大节省了计算装载率的时间，提高了中转场管理的时效性。

在第二计算单元450之后，该装置还可以包括：

关联存储单元460，用于基于预先建立装载率与识别结果之间映射关系，存储装载率。

在第二计算单元450之后，基于子集合计算车辆的装载率之后，将计算得到的装载率与预先得到识别结果绑定，得到计算车辆的装载率和识别结果之间的映射关系，从而完成车辆与车辆的装载率的智能匹配。

本申请实施例，建立识别得到的车牌信息与对应车辆的装载率之间的映射关系，并将其存储在相应的存储装置中，以供后端业务平台及时获取，实现了车辆的车载率的智能化管理，减少人工录入的繁琐程序。

本申请实施例在图4基础上，可以进一步提升装载率计算的精度。请参考图5，图5示出了本申请实施例提供的第二计算单元450之前的示例性结构框图。

如图5所示，在第二计算单元450之前，该装置400还可以包括：

变化量计算单元550a，用于计算子集合的每个深度值在垂直方向上的变化量；

夹角计算单元550b，用于基于变化量计算车厢平面与成像平面之间的夹角；

校正单元550c，用于根据夹角校正第一感兴趣区域的边缘对应的像素的三维坐标；

调整单元550d，用于利用校正后的三维坐标调整子集合。

通过分析双目摄像头安装过程存在的问题。双目摄像头安装时，其成像平面与车框平面不平行，由于两个平面之间的夹角会造成计算误差，导致装载率计算结果的精确度有待提高。本申请实施例，在计算装载率之前，可以通过纠正夹角带来的误差，来提高装载率的准确度。

在获取得到子集合之后，可以通过对子集合中每个深度值计算其在垂直方向上的变化量，然后通过变化量计算车厢平面与成像平面之间的夹角。

如果视差图中对应目标区域的每个像素计算的三维坐标为(x_old，y_old，z_old)，根据车厢平面和成像平面的夹角α对该三维坐标进行校正，得到校正后的三维坐标(x_new，y_new，z_new)，其中，

x_new＝x_old

y_new＝y_old×z_old×sin(α)

z_new＝y_old×sin(α)+z_old×cos(α)

由校正后的三维坐标进一步调整子集合中对应的深度值。然后利用坐标调整后对应的深度值计算装载率。从而得到更为准确的深度值集合用于计算装载率。其中，装载率计算公式如下：

其中，r_V表示装载率；

V_e表示车厢的可用体积，即最大装载体积；

V_o表示完成装货后车厢的剩余体积，该剩余体积通过上述公式中积分计算部分获得；

f(x，y)表示指定像素点(x，y)对应的深度值，c(x，y)表示车厢的车框对应的深度值，w表示车框宽度，h表示车框高度

本申请实施例在图4基础上，提出了一种智能获取转载率的装置，请参考图6，图6示出了本申请实施例提供的第一获取单元410之前的示例性结构框图。

如图6所示，在第一获取单元410之前，该装置400还可以包括：

第二获取单元610a，用于获取第二时刻的视频帧，该视频帧包括第二左视图和第二右视图，第二时刻为第二触发状态对应的时刻。

本申请实施例，第二时刻例如可以是第二触发状态对应的时刻，第二触发状态例如可以是车辆驶入中转场入口的状态。该状态可以通过深度图对应的深度值区域的变化智能识别，也可以通过标识信息识别该状态。

信息比较单元610b，用于将第二左视图或第二右视图与预先设定的RGB信息比较，得到第二感兴趣区域，其中，第二感兴趣区域是车辆的车牌区域；

本申请实施例，通过从第二左视图或第二右视图中识别出车辆的车牌区域。机动车牌照是车管所给机动车的行车凭证，车牌的底色有蓝色、黄色、白色、黑色、绿色等。例如，小吨位的货车是蓝色车牌。通过RGB信息比对，可以初步筛选得到感兴趣蓝色区域，但是根据RGB粗略筛选出来还需要进一步判断。

识别检测单元610c，用于将第二感兴趣区域输入检测识别模型，得到识别结果，其中，识别结果为车辆的车牌号码；该检测识别模型包括预先训练得到的检测模型和识别模型，该检测模型采用机器学习算法训练得到，该识别模型采用深度学习算法训练得到。

在第二获取单元610a之后，通过初步判断第二感兴趣区域的范围，然后进一步判断第二感兴趣区域是否为车牌区域，可以通过预定的机器学习算法预先训练得到的模型来判断，例如可以是支持向量机(support vector machines)算法。然后，再对判断后的数据进行识别，从而获取第二感兴趣区域中对应的标识信息，即车牌信息，车牌信息例如可以是车牌号码。

得到车牌信息后，可以设置车牌信息对应的存储位置或者将车牌信息保存到数据库中。

进一步，在第二获取单元610a之前，该装置600还可以包括：

第三获取单元6101，用于获取第二时刻之前预定时间长度的连续的多个视频帧；并从多个视频帧中逐个获取与每个视频帧对应的左视图和右视图。

第三计算单元6102，用于逐个计算与每个视频帧对应的左视图和右视图的深度图。

变化确定单元6103，用于确定深度图中第一感兴趣区域的边缘的深度值的变化情况。

判断单元6104，用于基于变化情况判断车辆的触发状态，其中触发状态至少包括以下一种：驶入中转场入口、驶出中转场出口、开始载货、完成载货。

现有技术中，在中转场内货车的装车过程都需要人工监控，一定程度上对于中转场智能管理设置障碍。本申请实施例，通过获取车辆在预定时间长度的视频帧图像进行分析，可以识别出货车在中转场所处的状态。例如，车辆驶入中转场入口，车辆驶出中转场出口，车辆开始载货，车辆完成载货。预定时间长度可以是几秒或几帧对应的时间。

本申请实施例，双目摄像机按照预先设置的采集频率拍摄目标车辆的视频流图像。例如，当车辆驶入中转场入口，通过获取视频帧图像的左右视图，计算其深度图，然后通过深度图进行三维测距分析判断车辆是不是驶入中转场入口。当判断有车辆驶入中转场入口时，触发后端处理流程，主动获取该时刻对应的视频帧图像输入第一识别单元610a和第二识别单元610b进行判断，得到车牌号码信息，并同时触发后端控制中心开始装货动作，记录车辆开始装货的时间状态。

然后，再通过获取第二预设时段的视频帧图像，通过与前述相同的方式计算视频帧图像的深度图，通过对应深度值的变化可以识别出车辆是否完成装货，并在判断结果为完成装货时，触发后端处理程序进一步提取第一感兴趣区域进行分析，具体描述如步骤130-150的内容，智能计算车辆的装载率，并在得到计算结果后，将计算结果传送到预先建立的与该车辆的车牌号码对应的位置，或者预先建立的存储表中相应的位置。

本申请实施例提供了一种适用于中转场的智能管理方法，该方法实施过程中无需额外的人员进行监控监管，很大程度节约了人力资源，提升了智能管理的效率。

本申请实施例基于前述的智能装载率计算装置，进一步提出了一种基于配置驱动的分布式系统架构。请参见图7，图7示出了本申请实施例提供的基于分配驱动的分布式系统。

如图7所示，该分布式系统700可以包括：中心配置节点710、视频流获取装置720、装载率获取装置730等。

其中，中心配置节点710，用于存储配置参数，该配置参数是与双目摄像头对应的配置信息。

视频流获取装置720，用于监听中心配置节点710的变更消息，然后基于变更消息获取与之相关的视频流数据，并存储到相应的数据库；

装载率获取装置730，用于基于视频流数据的第一时刻的视频帧来计算车辆的装载率，其中，第一时刻为第一触发状态对应的时刻。

本申请实施例，如果新增某一路双目摄像头，其配置信息会通过视频流获取装置注册到中心配置节点720，或者基于其他触发事件的导致配置信息更新，中心配置节点720都会实时通知装载率获取装置730，以使得装载率获取装置730获取到最新的配置信息。

本申请实施例，通过引入基于配置驱动的分布式系统，使得视频流获取装置(消息发布者)和装载率获取装置(消息订阅者)都使用Watcher机制，然后通过注册与异步通知机制，实现分布式环境下不同系统之间的通知与协调，从而对视频流数据变更进行实时处理。

由于ETCD进行低耦合的心跳检测，检测主体和被检测主体是通过ETCD上注册的某个目录关联而非直接关联起来，这样可以大大减少系统的耦合性，从而降低了计算装载率算法和后台系统之间的耦合性。

应当理解，装置400中记载的诸单元或模块与参考图1描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作和特征同样适用于装置400及其中包含的单元，在此不再赘述。装置400可以预先实现在电子设备的浏览器或其他安全应用中，也可以通过下载等方式而加载到电子设备的浏览器或其安全应用中。装置400中的相应单元可以与电子设备中的单元相互配合以实现本申请实施例的方案。

下面参考图8，其示出了适于用来实现本申请实施例的终端设备或服务器的计算机系统800的结构示意图。

如图8所示，计算机系统800包括中央处理单元(CPU)801，其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。在RAM 803中，还存储有系统500操作所需的各种程序和数据。CPU 801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。

以下部件连接至I/O接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。

特别地，根据本公开的实施例，上文参考图1描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，前述计算机程序包含用于执行图1-3的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，前述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，例如，可以描述为：一种处理器包括第一获取单元单元、第一计算单元、提取单元、子集合确定单元以及第二计算单元。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定，例如，第一获取单元还可以被描述为“用于获取第一时刻的视频帧的单元”。

作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中前述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，前述程序被一个或者一个以上的处理器用来执行描述于本申请的车辆车载率获取方法。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离前述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (25)

1.一种车辆装载率获取方法，其特征在于，该方法包括：

获取第一时刻的视频帧，所述视频帧包括目标区域的第一左视图和第一右视图，所述目标区域为所述车辆载货后的车厢区域，所述第一时刻为第一触发状态对应的时刻；

基于所述第一左视图和所述第一右视图计算深度图，所述深度图包括多个深度值；

从所述第一左视图或所述第一右视图中提取第一感兴趣区域，所述第一感兴趣区域为所述目标区域；

从所述深度图中确定与所述第一感兴趣区域的边缘对应的深度值的子集合；

基于所述子集合计算所述车辆的装载率。

2.根据权利要求1所述的方法，其特征在于，所述基于所述深度值集合计算所述车辆的装载率，包括：

采用积分方法基于所述子集合计算载货后的车厢的剩余体积；

计算所述车厢的可用体积与所述剩余体积的差值；

将所述差值与所述可用体积的比值作为所述车辆的装载率。

3.根据权利要求1或2所述的方法，其特征在于，所述基于所述第一左视图和第一右视图计算深度图，包括：

利用半全局块匹配算法计算所述第一左视图和第一右视图的视差图；

然后，将所述视差图转换成所述深度图，所述深度图包括与所述视差图的像素一一对应的深度值。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述从所述第一左视图或所述第一右视图中获取第一感兴趣区域，包括：

将所述第一左视图或所述第一右视图输入预先建立的神经网络模型进行检测，输出所述第一感兴趣区域。

5.根据权利要求4所述的方法，其特征在于，所述神经网络模型为全卷积网络模型。

6.根据权利要求4或5所述的方法，其特征在于，所述输出所述第一感兴趣区域，还包括：

输出与所述第一左视图或所述第一右视图具有相同尺寸的布尔值表，该表中数值1表示对应的像素属于所述第一感兴趣区域的边缘，数值0表示为对应的像素不属于所述第一感兴趣区域的边缘。

7.根据权利要求1-6任一项所述的方法，其特征在于，所述从所述深度图中确定与所述第一感兴趣区域的边缘对应的深度值的子集合，包括：

确定所述第一感兴趣区域在所述第一左视图或所述第一右视图中对应的坐标位置；

在所述深度图中基于所述坐标位置确定与所述坐标位置对应的深度值作为子集合。

8.根据权利要求1-7任一项所述的方法，其特征在于，在基于所述子集合计算所述车辆的装载率之前，该方法还包括：

计算所述子集合的每个深度值在垂直方向上的变化量；

基于所述变化量计算车厢平面与成像平面之间的夹角；

根据所述夹角校正所述第一感兴趣区域的边缘对应的像素的三维坐标；

再利用校正后的三维坐标调整所述子集合。

9.根据权利要求8所述的方法，其特征在于，在基于所述第一左视图和所述第一右视图计算深度图之前，该方法还包括：

获取第二时刻的视频帧，所述视频帧包括第二左视图和第二右视图，所述第二时刻为第二触发状态对应的时刻；

将所述第二左视图或所述第二右视图与预先设定的RGB信息比较，得到所述第二感兴趣区域，所述第二感兴趣区域是所述车辆的车牌区域；

将所述第二感兴趣区域输入检测识别模型，得到识别结果，所述识别结果为所述车辆的车牌号码，其中，所述检测识别模型包括预先训练得到的检测模型和识别模型，所述检测模型采用机器学习算法训练得到，所述识别模型采用深度学习算法训练得到。

10.根据权利要求9所述的方法，其特征在于，将所述第二感兴趣区域输入检测识别模型，得到识别结果，包括：

将所述第二感兴趣区域输入所述检测模型，得到第一结果；

将所述第一结果输入所述识别模型，得到所述识别结果。

11.根据权利要求10所述的方法，其特征在于，在基于所述子集合计算所述车辆的装载率之后，该方法还包括：

基于预先建立所述装载率与所述识别结果之间映射关系，存储装载率。

12.根据权利要求1-11任一项所述的方法，其特征在于，在获取第一时刻的视频帧之前，该方法包括：

获取第二时刻之前预定时间长度的连续的多个视频帧；

从所述多个视频帧中逐个获取与每个视频帧对应的左视图和右视图；

并逐个计算所述与每个视频帧对应的左视图和右视图的深度图；

并确定所述深度图中所述第一感兴趣区域的边缘的深度值的变化情况；

基于所述变化情况判断所述车辆的触发状态，所述触发状态至少包括以下一种：驶入中转场入口、驶出中转场出口、开始载货、完成载货。

13.一种车辆装载率获取的装置，其特征在于，该装置包括：

第一获取单元，用于获取第一时刻的视频帧，所述视频帧包括目标区域的第一左视图和第一右视图，所述目标区域为所述车辆载货后的车厢区域，所述第一时刻为第一触发状态对应的时刻；

第一计算单元，用于基于所述第一左视图和所述第一右视图计算深度图，所述深度图包括多个深度值；

提取单元，用于从所述第一左视图或所述第一右视图中提取第一感兴趣区域，所述第一感兴趣区域为所述目标区域；

子集合确定单元，用于从所述深度图中确定与所述第一感兴趣区域的边缘对应的深度值的子集合；

第二计算单元，用于基于所述子集合计算所述车辆的装载率。

14.根据权利要求13所述的装置，其特征在于，所述第二计算单元还包括：

剩余体积计算模块，用于采用积分方法基于所述子集合计算载货后的车厢的剩余体积；

差值计算模块，用于计算所述车厢的可用体积与所述剩余体积的差值；

比值模块，用于将所述差值与所述可用体积的比值作为所述车辆的装载率。

15.根据权利要求13或14所述的装置，其特征在于，所述第一计算单元，包括：

视差计算模块，用于利用半全局块匹配算法计算所述第一左视图和第一右视图的视差图；

转换模块，用于将所述视差图转换成所述深度图，所述深度图包括与所述视差图的像素一一对应的深度值。

16.根据权利要求13-15任一项所述的装置，其特征在于，所述提取单元，还用于将所述第一左视图或所述第一右视图输入预先建立的神经网络模型进行检测，输出所述第一感兴趣区域。

17.根据权利要求16所述的装置，其特征在于，所述神经网络模型为全卷积网络模型。

18.根据权利要求13-17任一项所述的装置，其特征在于，所述子集合确定单元，包括：

第一确定模块，用于确定所述第一感兴趣区域在所述第一左视图或所述第一右视图中对应的坐标位置；

第二确定模块，用于在所述深度图中基于所述坐标位置确定与所述坐标位置对应的深度值作为子集合。

19.根据权利要求13-18任一项所述的装置，其特征在于，在第二计算单元之前，该装置还包括：

变化量计算单元，用于计算所述子集合的每个深度值在垂直方向上的变化量；

夹角计算单元，用于基于所述变化量计算车厢平面与成像平面之间的夹角；

校正单元，用于根据所述夹角校正所述第一感兴趣区域的边缘对应的像素的三维坐标；

调整单元，用于再利用校正后的三维坐标调整所述子集合。

20.根据权利要求19所述的装置，其特征在于，在第一计算单元之前，该装置还包括：

第二获取单元，用于获取第二时刻的视频帧，所述视频帧包括第二左视图和第二右视图，所述第二时刻为第二触发状态对应的时刻；

信息比较单元，用于将所述第二左视图或所述第二右视图与预先设定的RGB信息比较，得到所述第二感兴趣区域，所述第二感兴趣区域是所述车辆的车牌区域；

识别检测单元，用于将所述第二感兴趣区域输入检测识别模型，得到识别结果，所述识别结果为所述车辆的车牌号码，其中，所述检测识别模型包括预先训练得到的检测模型和识别模型，所述检测模型采用机器学习算法训练得到，所述识别模型采用深度学习算法训练得到。

21.根据权利要求20所述的装置，其特征在于，所述识别检测单元，包括：

检测模块，用于将所述第二感兴趣区域输入所述检测模型，得到第一结果；

识别模块，用于将所述第一结果输入所述识别模型，得到所述识别结果。

22.根据权利要求21所述的装置，其特征在于，在所述第二计算单元之后，该装置还包括：

关联存储单元，用于基于预先建立装载率与识别结果之间映射关系，存储装载率。

23.根据权利要求13-22任一项所述的装置，其特征在于，在所述第一获取单元之前，该装置还包括：

第三获取单元，用于获取第一时刻之前预定时间长度的连续的多个视频帧；并从所述多个视频帧中逐个获取与每个视频帧对应的左视图和右视图；

第二计算单元，用于逐个计算所述与每个视频帧对应的左视图和右视图的深度图；

变化确定单元，用于确定所述深度图中所述第一感兴趣区域的边缘的深度值的变化情况；

判断单元，用于基于所述变化情况判断所述车辆的触发状态，所述触发状态至少包括以下一种：驶入中转场入口、驶出中转场出口、开始载货、完成载货。

24.一种分布式服务配置系统，所述系统包括中心配置节点、视频流获取装置以及如权利要求13-23任一项所述的车辆装载率获取装置，其中，

所述中心配置节点，用于存储配置参数；

所述视频流获取装置，用于监听所述配置参数的变更消息，基于所述变更消息获取与之相关的视频流数据；

所述装载率获取装置，用于基于所述视频流数据的第一时刻的视频帧来计算车辆的装载率，其中，所述第一时刻为第一触发状态对应的时刻。

25.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序用于：

所述计算机程序被处理器执行时实现如权利要求1-12中任一所述的方法。