CN108288022B - 基于图像识别的航线货运状况识别方法及装置 - Google Patents

Abstract

本发明公开了基于图像识别的航线货运状况识别方法，包括以下步骤：第一获取步骤：获取待统计海域内覆盖所有航线的卫星图片；货船识别步骤：根据卫星图片与系统建立的货船识别模型得出所述卫星图片中所出现的货船的类型和数量；货物识别步骤：根据卫星图片与系统建立的货物识别模型得出所述卫星图片中所出现的每个货船装载货物的类型和数量。本发明还公开了一种电子设备、计算机可读存储介质以及基于图像识别的航线货运状况识别装置。本发明通过建立货船识别模型和货物识别模型来识别海域内的卫星图片来获取海域内航线上的货船的货运状况数据，便于后期对海域内航线的发展状况的评估。

Description

基于图像识别的航线货运状况识别方法及装置

技术领域

本发明涉及一种航线货运发展状况评估系统，尤其涉及一种基于图像识别的航线货运状况识别方法、电子设备及存储介质。

背景技术

目前，航运业是拥有百年历史的古老传统行业，而船运数据的价值在贸易、金融领域有很大的应用价值。比如以石油运输为例，原油从装载到卸货可能经历半月以上，这期间原油市场波动就能够带来一定的商业价值，同时会引起如货主、对冲基金、投资经验企业的兴趣。整个航运产业链上的相关方，从船厂、船东、经纪人、货主、甚至银行、保险，随着大数据的发展，都在逐步探索使用大数据产品来完善决策和管理系统。

但是由于航运业所产生的海量数据可能来自于货物相关的提单数据、船舶运营相关的航行数据、设备数据等，存在着体量大却标准涣散、条块割据、数据不完整、统计口径不一致的问题。因此，在对数据整理时，需要人工通过专用软件进行转换，造成了信息传递的迟滞与低效。同时，由于受体制或专有经营等问题，产业链上的部分环节自身变革的动力不强，使得其占据的有些关键数据难以获取，信息孤岛效应比较明显，不利于整个产业链信息通道的建立。也即是说，对于航运业的数据其存在来源多、数据量大、数据间关系复杂、数据孤立性强的问题，导致对于航线货运数据采集存在很大的困难，不利于对航线货运的综合评估。

发明内容

为了克服现有技术的不足，本发明的目的之一在于提供基于图像识别的航线货运状况识别方法，其能够解决现有技术中由于航运业的数据复杂等原因而不能有效、快速采集识别的问题。

本发明的目的之二在于提供一种电子设备，其能够解决现有技术中由于航运业的数据复杂等原因而不能有效、快速采集识别的问题。

本发明的目的之三在于提供一种计算机可读存储介质，其能够解决现有技术中由于航运业的数据复杂等原因而不能有效、快速采集识别的问题。

本发明的目的之一采用如下技术方案实现：

基于图像识别的航线货运状况识别方法，包括以下步骤：

模型建立步骤：建立货船识别模型和货物识别模型；所述货船识别模型存储了每种货船的卫星图片所对应的特征向量的集合；所述货物识别模型存储了每种集装箱的卫星图片所对应的特征向量的集合；

第一获取步骤：获取待统计海域内覆盖所有航线的卫星图片；

货船识别步骤：根据卫星图片与货船识别模型得出所述卫星图片中所出现的货船的类型和数量；

货物识别步骤：根据卫星图片与货物识别模型得出所述卫星图片中所出现的每个货船装载货物的类型和数量。

进一步地，还包括：

第二获取步骤：获取统计周期内待统计海域覆盖所有航线的多张卫星图片；

判断步骤：按照卫星图片的日期的先后顺序依次对比在前日期的卫星图片中所出现的每个货船是否在其后日期的卫星图片中出现；若是，则根据该货船所出现的卫星图片的日期以及该货船所出现的卫星图片上的经纬度数据来得知该货船在统计周期内所经过的地点以及时间；

确定航线步骤：根据每个货船在统计周期内所经过的地点、时间与系统中待统计海域内所有航线的航线信息来得知每个货船所属的航线。

进一步地，还包括：

识别步骤：对多张卫星图片依次执行提取步骤、货船识别步骤、货物识别步骤得出每张卫星图片中所出现的货船的类型和数量、每个货船装载货物的类型和数量；

货船统计步骤：根据每个货船装载货物的类型和数量以及每个货船所属的航线来统计每个航线上货船的数量；所述每个航线上的货船的数量包括从航线出发点到目的地的货船以及从航线目的地返回到出发点的货船。

进一步地，还包括：

航行时间计算步骤：根据每个货船所经过的地点、时间以及所属的航线统计得出统计周期内每个货船在航线上的航行时间；所述航行时间为货船从航线的出发点到目的地之间的行驶时间；处理步骤：根据每个航线上的货船数量、每个货船装载的货物类型和数量、统计周期内每个货船在航线上的航行时间得出每个航线在统计周期内的总体装载货物的数量以及平均航行时间。

进一步地，所述货船识别步骤还包括对卫星图片进行特征提取得出对应的特征向量，并根据所述特征向量与货船识别模型得出所述卫星图片中所出现的货船。

进一步地，所述货物识别步骤还包括对卫星图片进行特征提取得出对应的特征向量，并根据所述特征向量与货物识别模型得出每个货船装载集装箱的类型和数量，并根据每个货船装载集装箱的类型和数量得出所述卫星图片中所出现的每个货船装载货物的类型和数量。

进一步地，所述货船识别模型的建立过程如下：首先分别获取每种货船的多张卫星图片并对其进行预处理；然后对预处理后的每种货船的每张卫星图片均进行特征提取得出对应的特征向量；最后对每种货船的多张卫星图片所对应的特征向量进行识别训练得出每种货船的卫星图片所对应的特征向量的集合，也即是货船识别模型。

进一步地，所述货物识别模型的建立过程如下：首先分别获取每种集装箱的多张卫星图片并对其进行预处理；然后对预处理后的每种集装箱的每张卫星图片均进行特征提取得出对应的特征向量；最后对每种集装箱的多张卫星图片所对应的特征向量进行识别训练得出每种集装箱的卫星图片所对应的特征向量的集合，也即是货物识别模型；其中，集装箱的类型与货物的类型一一对应。

本发明的目的之二采用如下技术方案实现：

一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明的目的之一所提供的基于图像识别的航线货运状况识别方法的步骤。

本发明的目的之三采用如下技术方案实现：

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如本发明的目的之一所提供的基于图像识别的航线货运状况识别方法的步骤。

相比现有技术，本发明的有益效果在于：

本发明通过建立货船识别模型用来对待统计海域的卫星图片中的货船进行识别，通过建立货物识别模型用来对待统计海域内的货船所装载的货物状况进行识别，从而解决了现有技术中由于航线货运数据复杂性而导致数据采集困难的问题。

附图说明

图1为本发明提供的基于图像识别的航线货运状况识别方法的流程图；

图2为本发明提供的基于图像识别的航线货运状况识别装置的模块图。

具体实施方式

下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。

实施例

本发明通过运用图像识别技术来对卫星图片进行分析识别来实现对航运数据的采集、统计，解决了航运业的数据来源多、数据关系复杂、数据孤立等的问题，同时还可设定一统计周期，对该统计周期内前后航线货运数据的变化以及总量进行统计，实现对航运业货运发展状况的评估。

如图1所示，基于图像识别的航线货运状况识别方法，其包括以下步骤：

步骤S1、获取统计周期内待统计海域覆盖所有航线的多张卫星图片。该卫星图片是根据待统计海域内所有航线的出发点、目的地以及途径点的经纬度数据，然后根据经纬度数据获取覆盖所有航线所经过的所有区域所组成的。也即是说：在获取卫星图片时，可以选择覆盖航线所经过的所有地方的卫星图片，而对于那些并没有航线经过的区域不需要获取其对应的卫星图片，这样在后期处理时避免数据冗余。

在对于多张卫星图片是根据预设的一个统计周期内获取的按照日期的先后顺序进行获取的，比如统计周期为3个月，则获取3个月内待统计海域内每天的卫星图片。

另外，在对卫星图片提取海洋区域之前，可首先通过对卫星图片进行预处理过程，可提高系统对图片的处理性能，比如将卫星图片转换为统一的格式、大小等。其中预处理过程包括以下一种或多种方法的组合：图像二值化、去除干扰点、质心对齐方法以及线性插值放大方法。

另外，由于卫星图片上不仅仅只显示海域，其也可能会出现港口、陆地等，根据颜色聚类以及边缘检测技术查找出卫星图片中的海洋与陆地之间的边界，进而可提取出卫星图片中的海洋区域。比如对于卫星图片来说，海洋区域一般呈现蓝色区域，可通过边缘检测技术对海洋、陆地的颜色进行区别，可得出卫星图片中的海洋区域，这样在后期处理时，可以避免去除不必要的多余数据，提高系统性能。

步骤S2、识别每张卫星图片中所出现的货船，比如每张卫星图片中所出现的货船的类型和数量。

步骤S3、识别每张卫星图片中所出现的每个货船装载货物的状况，也即是每个货船装载货物的类型、数量等。

对于每张卫星图片中所出现的货船的识别，也即是对提取出的卫星图片中所出现的货船的识别采用模型匹配的方法。也即是预先通过机器学习的方式建立货船识别模型，然后根据货船识别模型来匹配得出海洋区域内所出现的所有的货船。

而对于货船识别模型，其存储了各种货船的图片所对应的特征向量的集合。由于货船的功能不同，其外观特征也不同，因此可通过对货船的外观图片进行处理，进而根据货船的外观图片来建立货船识别模型。也即是：首先通过获取同一种货船的多张货船图片并对货船图片进行特征提取得出对应的特征向量，然后对每种货船的多张货船图片所对应的特征向量进行识别训练，提取得出每货船的多个特征向量的集合，也即是货船识别模型。

在识别时，比如通过对卫星图片进行处理得出可能包含有货船的部分图片，然后对包含有货船的部分图片进行特征提取得出对应的特征向量，进而将对应的特征向量与货船识别模型进行匹配，得出该卫星图片中所出现的所有的货船，比如货船的类型以及货船的数量。或者对整个卫星图片进行特征向量的提取，而在识别时，将特征向量与货船识别模型中的任意特征向量进行对比，当卫星图片的特征向量中包括有货船识别模型中的任意一个特征向量时，就认为该卫星图片中出现有对应的货船。

而对于识别每个货船上装载货物的状况也是通过模型匹配的方法来实现。另外，由于货船所装载的货物时，一般是通过集装箱装载；而集装箱也会根据所装载的货物或货运公司的不同其形状外观也不同，因此可根据集装箱的外观特征来建立货物识别模型，也即是说，本发明中对于货物的识别是根据集装箱的识别来得到，比如识别得到货船上装载有集装箱，并且识别得出集装箱的类型以及集装箱的数量，就可以得知该货船上装载有货物，并且可根据集装箱的类型以及数量来得到货船上所装载的货物的类型以及数量。在匹配识别时，同样的，通过获取每种集装箱的大量图片并对其进行预处理、特征提取得出对应的特征向量，并对每种集装箱的大量图片进行识别训练，提取出每种集装箱的图片所对应的特征向量的集合，由于集装箱所的外观不同，其所装载的货物也不同，因此就可以通过对集装箱的不同来建立对应的货物识别模型。

在对货船上的货物进行识别时，将对卫星图片中包含有货船的图片所对应的特征向量与货物识别模型进行对比，来查看该包含有货船的图片的特征向量中是否包含有货物识别模型中的特征向量，从而可得知该货船上是否装载有集装箱，以及根据匹配得知的特征向量以及特征向量的数量来得知集装箱的类型以及数量，从而可根据集装箱的数量以及类型来得知每个货船装载货物的类型、数量等。同样的，也可以对卫星图片整个提取特征向量，然后将特征向量与货物识别模型中的特征向量集进行匹配识别，看卫星图片的特征向量是否包括货物识别模型中的特征向量，进而可识别得出每个货船装载集装箱的类型、数量等数据，也即是货船上装载货物的类型、数量等。

步骤S4、判断识别每个货船所属的航线。

判断每个货船所属的航线是根据每个货船所经过的地点以及系统中所存储的所有航线信息来得出的。而对于每个货船所经过的地点，可通过对统计周期内多张卫星图片中的货船进行对比来得到。也即是：通过对比统计周期内每张卫星图片中包含的货船是否在其他的卫星图片中所出现；若出现时，则根据该货船所在的卫星图片的日期以及经纬度数据对该货船进行跟踪定位，进而得知该货船在统计周期内所经过的地点以及时间。

另外，在判断一货船是否同时出现在多张卫星图片上时，可根据日期的先后顺序对卫星图片进行依次识别，通过对在前日期的卫星图片中第一次出现的货船的图片提取特征向量，然后再将该货船的特征向量与往后日期的卫星图片中的所有货船的特征向量进行一一对比，当对比结果达到预设值时，认为该货船出现在相应的卫星图片中。

比如对于卫星图片按照日期的先后顺序排序后为M1、M2、M3、M4、…、Mn。其中M1(比如2017年3月2日所拍摄的卫星图片)中出现的货船有A1、A2；M2(比如2017年3月3日所拍摄的卫星图片)中出现的货船有B1、B2、B3；M3(比如2017年3月4日所拍摄的卫星图片)中出现的货船为C1。

通过对货船A1的图片、货船A2的图片分别进行特征向量的提取，然后将货船A1的图片的特征向量与M2中的货船B1、B2、B3的图片的特征向量进行一一对比、与M3中的货船C1的图片的特征向量进行对比；将货船A2的图片的特征向量与M2中的货船B1、B2、B3的图片的特征向量进行一一对比、与M3中的货船C1的图片的特征向量进行对比；假设货船B2的图片的特征向量与货船A1的图片的特征向量相似度达到80％、货船C1的图片的特征向量与货船A1的图片的特征向量相似度达到80％，则认为货船A1、货船B2和货船C1为同一货船。然后根据货船A1、货船B2以及货船C1所出现的卫星图片所对应的日期以及该货船在对应卫星图片中的经纬度数据来得知，该货船在统计周期内所行驶的时间以及经过的地点。比如该货船A1(也即是货船B2、货船C1)在统计周期内的所行驶的时间为3月2日、3月3日、3月4日，其经过的地点分别为m1、m2、m3(其中m1、m2、m3分别为该货船在卫星图片M1、M2、M3上所出现的地点。)

由于系统中存储待统计海域内所有航线的信息，比如每个航线的出发点、目的地、途经点等，根据每个货船在统计周期内所经过的地点以及时间就可以得出每个货船所属的航线。比如看每个货船所经过的地点分别属于哪个航线上的，最终可得出每个货船所属的航线。

步骤S5、统计各个航线的货船的数量。

根据每个货船所装载货物的状况以及每个货船所属的航线来得出在统计周期内每个航线上货船的数量。其中每个货船所装载货物的状况包括货船是否装载货物以及装载货物的类型数量。

一般来说，对于货船通常从出发点出发时，货船都会满载，达到目的地卸货后会空载返程或装置少量货物；也即是说，货船出发时其货船上的集装箱数量多(对应的货物数量较多)，而返程时货船上集装箱的数量少(对应的货物数量较少)。因此，可根据同一货船是否装载集装箱(货物)以及装载集装箱(货物)的数量来判断该货船的往返程；进而根据每个货船的往返程来计算得出各个航线以及货船所属的航线来得知每个航线上货船的数量。比如对于货船A1、货船B1同属于航线L1，但是由于货船B1上的货物的集装箱数量很少或没有，则说明货船B1为返程的，因此则说明该航线L1上的货船数量有两个，其中货船A1为出发到目的地，而货船B2为返回出发点的。也即是说首先根据货船的装载货物的情况判断货船的往返程，然后再根据货船的往返程来统计得出每个航线上的货船数量，这里统计航线的货船数量是统计的单程的数量，也即是只包括航线上从出发点到目的地的货船的数量。

步骤S6、计算在统计周期内每个货船在所属航线上的航行时间。根据每个货船所经过的地点、时间以及所属的航线统计得出在统计周期内每个货船在对应航线上的航行时间。这里的航行时间为货船从航线的出发点到目的地之间的行驶时间。当然若根据需要也可以计算每个货船的往返程的航行时间，其包括货船从航线的出发点到目的地之间的行驶时间与货船从航线的目的地到出发点之间的行驶时间之和。另外，在计算每个货船在所述航线上的航行时间时，只是针对那些在航线上有完整往返程的货船的航行时间。比如针对一个货船其在统计周期内并没有显示其完整的往返程路线时，在计算航行时间时不予考虑。也即是说，在统计周期内对于那些无法获知其出发点或目的地的货船来说，不考虑计算其航行时间。

步骤S7、根据每个航线的货船数量、每个货船所装载货物的状况、以及统计周期内每个货船在航线上的航行时间得出计算每个航线在统计周期内的总体装载货物的数量以及平均航行时间等。

比如，在该统计周期内航线L1上出发到目的的货船有2个，其中每个货船上的货物数量分别为3、4(集装箱的数量)，则该航线L1在统计周期内总体装载货物的数量为7。另外，其平均航行时间可对每个航线上所有货船的航行时间求平均值即可。

在实际的应用中，就可以根据统计周期内的待统计海域内的各个航线上的总体装载货物的数量来得出待统计海域内的总进出口量、每条航线的进出口量、每条航线的平均航行时间等等，进而可对待统计海域的航线货运状况进行评估，为投资经营企业建立海运评估模型等提供了良好的数据支撑。

本发明还提供了一种电子设备，其包括存储器、处理器以及存储在存储器上并可在处理上运行的计算机程序，所述处理器执行所述程序时实现基于图像识别的航线货运状况识别方法的步骤。

本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现基于图像识别的航线货运状况识别方法的步骤。

如图2所示，基于图像识别的航线货运状况识别装置，其包括：

模型建立模块，用于建立货船识别模型和货物识别模型；所述货船识别模型存储了每种货船的卫星图片所对应的特征向量的集合；所述货物识别模型存储了每种集装箱的卫星图片所对应的特征向量的集合；

第一获取模块，用于获取待统计海域内覆盖所有航线的卫星图片；

货船识别模块，用于根据卫星图片与货船识别模型得出所述卫星图片中所出现的货船的类型和数量；

货物识别模块，用于根据卫星图片与货物识别模型得出所述卫星图片中所出现的每个货船装载货物的类型和数量。

进一步地，还包括：

第二获取模块，用于获取统计周期内待统计海域覆盖所有航线的多张卫星图片；

判断模块，用于按照卫星图片的日期的先后顺序依次对比在前日期的卫星图片中所出现的每个货船是否在其后日期的卫星图片中出现；若是，则根据该货船所出现的卫星图片的日期以及该货船所出现的卫星图片上的经纬度数据来得知该货船在统计周期内所经过的地点以及时间；

确定航线模块，用于根据每个货船在统计周期内所经过的地点、时间与系统中待统计海域内所有航线的航线信息来得知每个货船所属的航线。

进一步地，还包括：

识别模块，用于对多张卫星图片依次执行提取步骤、货船识别步骤、货物识别步骤得出每张卫星图片中所出现的货船的类型和数量、每个货船装载货物的类型和数量；

货船统计模块，用于根据每个货船装载货物的类型和数量以及每个货船所属的航线来统计每个航线上货船的数量；所述每个航线上的货船的数量包括从航线出发点到目的地的货船以及从航线目的地返回到出发点的货船。

进一步地，还包括：

航行时间计算模块，用于根据每个货船所经过的地点、时间以及所属的航线统计得出统计周期内每个货船在航线上的航行时间；所述航行时间为货船从航线的出发点到目的地之间的行驶时间；

处理模块，用于根据每个航线上的货船数量、每个货船装载的货物类型和数量、统计周期内每个货船在航线上的航行时间得出每个航线在统计周期内的总体装载货物的数量以及平均航行时间。

上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。

Claims (7)

1.基于图像识别的航线货运状况识别方法，其特征在于包括以下步骤：

模型建立步骤：建立货船识别模型和货物识别模型；所述货船识别模型存储了每种货船的卫星图片所对应的特征向量的集合；所述货物识别模型存储了每种集装箱的卫星图片所对应的特征向量的集合；

第一获取步骤：获取待统计海域内覆盖所有航线的卫星图片；

货船识别步骤：根据卫星图片与货船识别模型得出所述卫星图片中所出现的货船的类型和数量；

所述货船识别步骤还包括对卫星图片进行特征提取得出对应的特征向量，并根据所述特征向量与货船识别模型得出所述卫星图片中所出现的货船；

货物识别步骤：根据卫星图片与货物识别模型得出所述卫星图片中所出现的每个货船装载货物的类型和数量；

所述货物识别步骤还包括对卫星图片进行特征提取得出对应的特征向量，并根据所述特征向量与货物识别模型得出每个货船装载集装箱的类型和数量，并根据每个货船装载集装箱的类型和数量得出所述卫星图片中所出现的每个货船装载货物的类型和数量；

第二获取步骤：获取统计周期内待统计海域覆盖所有航线的多张卫星图片；

判断步骤：按照卫星图片的日期的先后顺序依次对比在前日期的卫星图片中所出现的每个货船是否在其后日期的卫星图片中出现；若是，则根据该货船所出现的卫星图片的日期以及该货船所出现的卫星图片上的经纬度数据来得知该货船在统计周期内所经过的地点以及时间；

确定航线步骤：根据每个货船在统计周期内所经过的地点、时间与系统中待统计海域内所有航线的航线信息来得知每个货船所属的航线。

2.如权利要求1所述的方法，其特征在于还包括：

识别步骤：对多张卫星图片依次执行提取步骤、货船识别步骤、货物识别步骤得出每张卫星图片中所出现的货船的类型和数量、每个货船装载货物的类型和数量；

货船统计步骤：根据每个货船装载货物的类型和数量以及每个货船所属的航线来统计每个航线上货船的数量；所述每个航线上的货船的数量包括从航线出发点到目的地的货船以及从航线目的地返回到出发点的货船。

3.如权利要求2所述的方法，其特征在于还包括：

航行时间计算步骤：根据每个货船所经过的地点、时间以及所属的航线统计得出统计周期内每个货船在航线上的航行时间；所述航行时间为货船从航线的出发点到目的地之间的行驶时间；

处理步骤：根据每个航线上的货船数量、每个货船装载的货物类型和数量、统计周期内每个货船在航线上的航行时间得出每个航线在统计周期内的总体装载货物的数量以及平均航行时间。

4.如权利要求1所述的方法，其特征在于：所述货船识别模型的建立过程如下：首先分别获取每种货船的多张卫星图片并对其进行预处理；然后对预处理后的每种货船的每张卫星图片均进行特征提取得出对应的特征向量；最后对每种货船的多张卫星图片所对应的特征向量进行识别训练得出每种货船的卫星图片所对应的特征向量的集合，也即是货船识别模型。

5.如权利要求1所述的方法，其特征在于：所述货物识别模型的建立过程如下：首先分别获取每种集装箱的多张卫星图片并对其进行预处理；然后对预处理后的每种集装箱的每张卫星图片均进行特征提取得出对应的特征向量；最后对每种集装箱的多张卫星图片所对应的特征向量进行识别训练得出每种集装箱的卫星图片所对应的特征向量的集合，也即是货物识别模型；其中，集装箱的类型与货物的类型一一对应。

6.一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于：所述处理器执行所述程序时实现如权利要求 1-5中任一项所述的基于图像识别的航线货运状况识别方法的步骤。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1-5中任一项所述的基于图像识别的航线货运状况识别方法的步骤。

Images