CN112948482B - 一种旅游在线服平台机器学习的数据预处理方法和系统 - Google Patents

一种旅游在线服平台机器学习的数据预处理方法和系统 Download PDF

Info

Publication number
CN112948482B
CN112948482B CN202110467581.XA CN202110467581A CN112948482B CN 112948482 B CN112948482 B CN 112948482B CN 202110467581 A CN202110467581 A CN 202110467581A CN 112948482 B CN112948482 B CN 112948482B
Authority
CN
China
Prior art keywords
data
platform
service
map
machine learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110467581.XA
Other languages
English (en)
Other versions
CN112948482A (zh
Inventor
刘洪�
欧江平
王丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yunjing Cultural Tourism Technology Co ltd
Original Assignee
Yunjing Cultural Tourism Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yunjing Cultural Tourism Technology Co ltd filed Critical Yunjing Cultural Tourism Technology Co ltd
Priority to CN202110467581.XA priority Critical patent/CN112948482B/zh
Publication of CN112948482A publication Critical patent/CN112948482A/zh
Application granted granted Critical
Publication of CN112948482B publication Critical patent/CN112948482B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/26—Visual data mining; Browsing structured data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/14—Travel agencies
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本申请公开了一种旅游在线服平台机器学习的数据预处理方法和系统，该方法包括：获取多个旅游在线平台中的每个平台的数据提供接口，其中，多个旅游在线数据平台中的每个平台分别为不同的地区提供服务；通过多个数据提供接口从每个平台获取数据，其中，获取到的数据包括多个类型的数据；将同一类型的数据进行汇聚；将汇聚后的数据分为多组数据，其中，每一组数据均包括数据本身以及该数据下所采用的策略；将同一类型下的多组数据作为机器学习的训练数据使用。通过本申请解决了现有技术中并没有相关技术来收集旅游策略等相关数据的问题，进而收集了多组训练数据，使得机器学习训练成为了可能。

Description

一种旅游在线服平台机器学习的数据预处理方法和系统
技术领域
本申请涉及到旅游平台领域，具体而言，涉及一种旅游在线服平台机器学习的数据预处理方法和系统。
背景技术
目前，各个旅游景点均建立了旅游在线平台，该平台用于统计景区的人流、景区的服务等情况，管理单位根据平台中发出的预警，采取相应的策略进行处理。这些策略也会被记录在该平台了。
各个旅游在线平台基本上也是独立运营，每个景区的管理单位也会根据预警人工决定作出解决策略，这种人工提出解决策略的方式有可能因为管理单元的工作人员经验不足而出现不恰当的处理。
随着机器学习的出现，使用训练数据进行训练得到机器学习模型之后，可以使用机器学习模型进行判断，但是，对机器学习模型的训练需要大量的训练数据，现有技术中并没有相关技术来收集旅游策略等相关数据。
发明内容
本申请实施例提供了一种旅游在线服平台机器学习的数据预处理方法和系统，以至少解决现有技术中并没有相关技术来收集旅游策略等相关数据的问题。
根据本申请的一个方面，提供了一种旅游在线服平台机器学习的数据预处理方法，包括：获取多个旅游在线平台中的每个平台的数据提供接口，其中，所述多个旅游在线数据平台中的每个平台分别为不同的地区提供服务；通过多个所述数据提供接口从每个平台获取数据，其中，获取到的数据包括多个类型的数据；将同一类型的数据进行汇聚；将汇聚后的数据分为多组数据，其中，每一组数据均包括数据本身以及该数据下所采用的策略；将同一类型下的多组数据作为机器学习的训练数据使用。
进一步地，将同一类型下的多组数据作为机器学习的训练数据使用包括：判断所述同一类型下的多组数据的组数是否超过阈值，在超过所述阈值的情况下，确定将所述多组数据作为机器学习的训练数据。
进一步地，还包括：在所述组数未超过阈值的情况下，将所述多组数据保存在本地。
进一步地，通过多个所述数据提供接口从每个平台获取数据包括：按照预定周期通过多个所述数据体用接口从所述每个平台获取所述数据，其中，所述预定周期以天为单位。
根据本申请的另一个方面，还提供了一种旅游在线服平台机器学习的数据预处理系统，包括：第一获取模块，用于获取多个旅游在线平台中的每个平台的数据提供接口，其中，所述多个旅游在线数据平台中的每个平台分别为不同的地区提供服务；第二获取模块，用于通过多个所述数据提供接口从每个平台获取数据，其中，获取到的数据包括多个类型的数据；汇聚模块，用于将同一类型的数据进行汇聚；分组模块，用于将汇聚后的数据分为多组数据，其中，每一组数据均包括数据本身以及该数据下所采用的策略；数据模块，用于将同一类型下的多组数据作为机器学习的训练数据使用。
进一步地，所述数据模块，用于判断所述同一类型下的多组数据的组数是否超过阈值，在超过所述阈值的情况下，确定将所述多组数据作为机器学习的训练数据。
进一步地，所述数据模块还用于在所述组数未超过阈值的情况下，将所述多组数据保存在本地。
进一步地，所述第二获取模块，用于按照预定周期通过多个所述数据体用接口从所述每个平台获取所述数据，其中，所述预定周期以天为单位。
根据本申请的另一个方面，还提供了一种存储器，用于存储软件，其中，所述软件用于执行上述的方法。
根据本申请的另一个方面，还提供了一种处理器，用于执行软件，其中，所述软件用于执行上述的方法。
在本申请实施例中，采用了获取多个旅游在线平台中的每个平台的数据提供接口，其中，所述多个旅游在线数据平台中的每个平台分别为不同的地区提供服务；通过多个所述数据提供接口从每个平台获取数据，其中，获取到的数据包括多个类型的数据；将同一类型的数据进行汇聚；将汇聚后的数据分为多组数据，其中，每一组数据均包括数据本身以及该数据下所采用的策略；将同一类型下的多组数据作为机器学习的训练数据使用。通过本申请解决了现有技术中并没有相关技术来收集旅游策略等相关数据的问题，进而收集了多组训练数据，使得机器学习训练成为了可能。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的旅游在线服平台机器学习的数据预处理方法的流程图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
大数据时代，数据爆炸性增长，各种电商平台，内容服务平台，行政管理平台层出不穷。但是，数据都处于各自平台或系统当中，形成信息孤岛，难以发挥最大的利用价值，游客服务得不到反馈，无法提前做好服务预案，产业发展是否健康，产业如何监管，旅游如何执法等问题，难以利用信息化进行解决。为了解决上诉问题，也为了更好的服务游客，整合产业，将建立全域旅游的态势监管平台，整合各方数据资源，为全域旅游提供全方位的保障，也为服务和监管提出决策性意见。
本实施例旨在通过“全域旅游态势监测平台”主要包含了以下几个板块：1.游客服务：监测游客的服务质量和游客满意度及旅游体验舒适度；2.产业监管：全面监管旅游相关产业服务企业对游客的服务质量；3.旅游执法：监测对导游，旅行社，景区等主要的游客服务机构对游客的服务质量。杜绝黑导游，黑商家的出现；4.全域旅游态势分析：监测区域内游客的来访趋势，投诉情况，舆情、舆论趋势。通过对数据的整合和分析全面掌握区域内旅游的态势。整个系统通过数据的采集，数据挖掘，数据清洗，数据治理以及数据标准化等流程，再通过机器学习，逐步提供更为精准，更为可靠的信息依据和决策意见。
在本实施例中提供了一种旅游在线服平台机器学习的数据预处理方法，图1是根据本申请实施例的旅游在线服平台机器学习的数据预处理方法的流程图，如图1所示，该流程包括如下步骤：
步骤S102，获取多个旅游在线平台中的每个平台的数据提供接口，其中，所述多个旅游在线数据平台中的每个平台分别为不同的地区提供服务；
步骤S104，通过多个所述数据提供接口从每个平台获取数据，其中，获取到的数据包括多个类型的数据；
步骤S106，将同一类型的数据进行汇聚；
步骤S108，将汇聚后的数据分为多组数据，其中，每一组数据均包括数据本身以及该数据下所采用的策略；
作为一个可选的实施方式，还可以将每组数据进行数据处理，从而统一数据的格式以及内容。例如，数据合并：可以将某些数据，按照一定的规则进行合并，形成一个数据。数据映射：利用数据交换工具二次开发的可视化指标映射功能模块，实现交换数据库的源数据到目标数据指标映射。数据对比：根据源数据与目标数据的情况进行比较，并设置转换映射关系；从而在交换过程中，根据源与目的数据的差异进行相应的处理。数据计算：通过可视化的编辑计算模块输入计算规则和语法；数据拆分：可以将某些数据，在交换过程中根据需要拆分成几个数据。
作为另一个可选的实施方式，还可以将策略进行标签，该标签用于指示该策略的名称，例如，人员分流、车辆调度、天气预警、增加服务等。
步骤S110，将同一类型下的多组数据作为机器学习的训练数据使用。
可选地，在进行训练的时候，将每组数据和该数据对应的策略的标签作为训练数据使用。每个标签也是一个超链接，该超链接在被点击的情况下，打开被该标签标记过的所有的策略。该标签标记过每个策略均有一个优先级，在显示所有的策略时候，按照优先级的从高到低的顺序显示，策略被使用的次数越多则该优先级越高。
通过上述步骤，解决了现有技术中并没有相关技术来收集旅游策略等相关数据的问题，进而收集了多组训练数据，使得机器学习训练成为了可能。
在本实施例中，提供一种电子装置，包括存储器和处理器，存储器中存储有计算机程序，处理器被设置为运行计算机程序以执行以上实施例中的方法。
优选地，将同一类型下的多组数据作为机器学习的训练数据使用包括：判断所述同一类型下的多组数据的组数是否超过阈值，在超过所述阈值的情况下，确定将所述多组数据作为机器学习的训练数据。
优选地，还包括：在所述组数未超过阈值的情况下，将所述多组数据保存在本地。
优选地，通过多个所述数据提供接口从每个平台获取数据包括：按照预定周期通过多个所述数据体用接口从所述每个平台获取所述数据，其中，所述预定周期以天为单位。
作为一个优选的实施方式，上述步骤可以在综合平台中实现，该综合平台用于综合各个平台的数据。综合平台还可以提供地图显示功能，该地图用于显示各个平台的地理位置，以及各个平台对应的地理位置的平台，当用户选择某个平台的时候，直接显示该平台所在区域的地图。
该地图功能可以包括如下内容：
(1)瓦片发布
地图功能支持直接将已有的瓦片作为服务来源发布为地图服务或三维服务。
地图功能支持直接发布地图瓦片、矢量瓦片为地图服务，发布的瓦片类型包括地图瓦片和矢量瓦片。地图瓦片是指将地图中所有图层切分并存储为栅格图片；而矢量瓦片是指对地图中的矢量图层生成的瓦片。相对来说，地图瓦片适合用作变更不频繁的地图底图数据，而矢量瓦片则可用于查询、高亮等交互操作，因此更适用于展示对时效性要求较高的地物要素(如POI)。地图功能支持直接发布MongoDB二维、三维瓦片为三维服务。其中，二维瓦片是指存储在MongoDB中的地图瓦片，而三维瓦片是指三维的影像、地形瓦片。地图功能支持发布的瓦片覆盖了分布式存储、本地存储的多种格式。
(2)分析计算能力
地图功能内置几何服务，包括距离和面积量算，坐标转换、空间分析功能。其中，空间分析包含叠加分析和缓冲区分析。在距离量算功能中，考虑到所使用的坐标参考系以及测量结果的准确性，iEdge提供了两种计算方式，测地线模式(Geodesic)和平面模式(Planar)。测地线模式(Geodesic)：测量结果为沿地球椭球体的最短距离。平面模式(Planar)：两点间的直线距离，当量算时点串坐标系是投影坐标系时有效。叠加分析功能中，iEdge针对点、线、面数据支持裁剪、擦除、相交、同一的叠加方式，对称差模式仅用于面数据。
(3)地图服务
通过直接发布瓦片，地图功能可以提供基于瓦片的地图服务，并实现地图浏览等相关功能。具体包括：基于地图瓦片的地图服务，支持地图浏览、鹰眼、全幅显示，支持瓦片集、坐标系与图层信息的查看，基于矢量瓦片的地图服务，支持坐标系、图层信息查看，符号获取、矢量瓦片获取，客户端基于该服务的矢量瓦片可实现要素查询与高亮显示。
(4)服务代理
地图功能通过代理Web服务，可以把GIS服务直接再次发布，供本地用户访问，从而有效提升本地用户的访问效率。
地图功能支持代理多种来源、多种类型的Web服务，既可以代理SuperMap iServerREST服务、在线地图服务、OGC标准服务，也可以代理第三方平台发布的地图服务。从GIS服务的功能分类来看，地图功能支持代理的GIS服务既包括地图服务、数据服务，也包括多种专业的空间分析服务、三维服务。地图功能提供了快速发布服务、批量发布服务等多种方式，协助实现快速部署边缘节点。
(5)边缘分析计算
地图功能支持基于本地的计算、存储、网络和数据资源，提供边缘动态出图，边缘空间查询，边缘空间运算等多种边缘GIS分析计算能力，助力构建更高效的云GIS应用。
对于那些GIS数据更新频度低，或者数据体量总体不大的数据可以选择在边缘节点进行发布。有些GIS业务需要的GIS分析和计算不依赖于存量数据，这种工作也可以放在边缘节点来进行，因此通过把一部分GIS分析计算的工作按需前置到边缘节点，可以为GIS系统提供更快的网络响应。
(6)服务聚合
地图功能提供了服务聚合功能，通过服务聚合可以将各处的GIS服务聚合为一个服务供用户访问，实现资源整合。例如，服务器端的地图服务聚合，可以将相同坐标系的地图直接按照地理范围叠加，叠加后的地图可作为一个地图服务供客户端访问，而服务端原始数据并没有更改。
服务聚合功能包括：GIS服务端地图聚合：在GIS服务层支持聚合已有的在线地图服务、使用地图瓦片包发布的服务和第三方地图服务，将不同类型、不同来源的地图聚合成一幅地图展现给客户端。GIS服务端数据聚合：在GIS服务层支持聚合已有的数据服务和第三方数据服务，将不同类型、不同来源的数据聚合成统一的空间数据展现给客户端，实现数据整合。
该电子装置中还可以包括一个软件模块构成的装置或系统，该装置或系统中的模块与上述实施例中的步骤相对应，例如，在本实施例中该软件模块构成的装置或系统，可以称为一种旅游在线服平台机器学习的数据预处理系统，包括：第一获取模块，用于获取多个旅游在线平台中的每个平台的数据提供接口，其中，所述多个旅游在线数据平台中的每个平台分别为不同的地区提供服务；第二获取模块，用于通过多个所述数据提供接口从每个平台获取数据，其中，获取到的数据包括多个类型的数据；汇聚模块，用于将同一类型的数据进行汇聚；分组模块，用于将汇聚后的数据分为多组数据，其中，每一组数据均包括数据本身以及该数据下所采用的策略；数据模块，用于将同一类型下的多组数据作为机器学习的训练数据使用。
优选地，所述数据模块，用于判断所述同一类型下的多组数据的组数是否超过阈值，在超过所述阈值的情况下，确定将所述多组数据作为机器学习的训练数据。
优选地，所述数据模块还用于在所述组数未超过阈值的情况下，将所述多组数据保存在本地。
优选地，所述第二获取模块，用于按照预定周期通过多个所述数据体用接口从所述每个平台获取所述数据，其中，所述预定周期以天为单位。
下面结合一个优选实施例进行说明。
在本优选实施例中提供了一种平台，该平台可以具有如下功能：
(1)数据采集，包括：采集接口管理：采集接口实现对现有数据源和新增数据源的登记和管理，包括数据源所有部门的基本信息、数据源存储方式、获取内容项、获取方式(全量、增量)、网络情况等内容；同时，还可以对已存在的数据源内容进行查询、查看、修改、暂停、启用、删除等管理功能；采集规则定制：根据采集接口所定义的数据源信息，定制具体采集规则，如采集节点配置、采集内容、采集周期、限制条件(如某区域、某时段等)等要求。系统根据规则自动执行数据采集工作；采集通道管理：对所有采集通道使用情况进行统一的管理，记录采集通道使用的信息(包括：采集方、数据基本信息、采集节点等信息)、采集通道状态(任务数、繁忙程度、传输速度等)、正在传输的任务(任务名称、传输内容、开始时间、完成进度、是否加密)，能够对采集任务进行开启、暂停、终止、调优先级等操作。
本实施例中的综合平台和每个平台之间均预先配置有预定数量的采集通道。该采集通道的数据是根据各个平台的数量增长来确定的。例如，综合平台在第一个周期从第一平台和第二平台获取数据，此时对应与第一平台和第二平台的采集通道均为一个。综合平台在第二个周期从第一平台和第二平台获取数据，综合平台比较第二周期获取的数据量和第一周期的数据量的差距，如果第二周期获取的数据量相比于第一周期的数据量的增长超过预定比例，则按照该预定比例增加采集通道。
在进行数据采集的时候，判断综合平台的可用硬件资源，并预留该硬件资源的20％用于提供除数据采集外的其他服务，将硬件资源的80％均用于数据采集。将该80％的硬件资源按照采集通道的数量平均分配到各个采集通道中。
(2)共享开放,包括：资源发布：管理用户基于信息资源目录发布信息资源实现共享开放。共享发布时可根据资源类型和内容确定共享类型、共享方式等。共享类型一般应包括：完全共享、有条件共享(含特定范围共享)有条件共享的应能定义共享条件。共享方式应包含：网页浏览、接口调用、数据下载及通过交换平台传输等；审核管理：共享资源的申请与审核实现线上办理。用户通过申请获取省内信息资源后，审核通过后，完成资源调度实现信息共享，并登记共享内容、交换频率、限制条件(如某区域、某时段等)等信息。
该功能是在各个平台上设置的。这些共享条件是有综合平台制定的，该共享条件根据各个平台情况的不同来进行制定，在制定好数据共享条件之后，将共享条件发送至各个平台，接收到共享条件的内容之后，按照共享条件来进行数据的共享。各个平台共享的数据通过数据接口的采集通道被综合平台采集。
(3)数据清洗、映射、对比、加工。
各种数据处理组件，能够完成数据的端到端的处理，包括数据计算、数据合并、数据比对、数据影射、数据拆分等功能。这些数据处理组件，可以根据不同的需要，组合起来，应对各种数据处理的负责场景，并且能够以可定制的、业务化的脚本的方式进行脚本的动态扩展。
数据合并：可以将某些数据，按照一定的规则进行合并，形成一个数据。
数据映射：利用数据交换工具二次开发的可视化指标映射功能模块，实现交换数据库的源数据到目标数据指标映射。
数据对比：根据源数据与目标数据的情况进行比较，并设置转换映射关系；从而在交换过程中，根据源与目的数据的差异进行相应的处理。
数据计算：通过可视化的编辑计算模块输入计算规则和语法；
数据拆分：可以将某些数据，在交换过程中根据需要拆分成几个数据。
(4)人工智能应用
数据处理完毕之后，提供给机器进行学习，根据决策模型，规则模型进行学习，输出决策数据。
在上述实施例中，首次在文旅行业引入人工智能技术，帮助文旅管理部门进行智能化管理，为游客安全提前预警、产业监管和扶持提供信息保障和决策依据。还提供了数据联网监控，数据联网监控系统提供了基于浏览器的监控和管理工具，能够做到运行期对整体平台的实时监控。管理工具还提供了对交换共享平台对整个网络的实时监控功能，可以对交换共享平台网络上的任意一个节点运行情况进行实时监控，包括流程实例的运行状态，数据状态等等，真正做到对交换共享平台的运行状况了然于胸，尽在掌握。
交换共享平台除了交换数据之外，还拥有完善的日志管理机制，可进行多维度的日志发现、跟踪与分析。交换共享平台还提供了基于浏览器的监控和管理工具，能够做到运行期对整体平台的实时监控；实现对数据交换的状况和性能进行管理，主要包括用户管理、角色管理、授权管理、配置管理、备份恢复、服务统计、服务分析、日志监控等。配置管理是对交换共享平台相关参数进行管理。配置备份恢复对数据交换配置中的相关参数进行维护，同时对数据进行备份。备份包括业务流程、业务数据等备份。同时，如果服务器出现异常时，可以通过系统的备份文件，从备份数据中，还原共享数据中心的内容。服务统计、服务分析、日志监控、邮件发送等功能，必须有远距离的服务对象的使用情况，并对使用情况进行分析，确定各种数据交换流程访问情况。在交换日志进行分析的基础中，分析用户访问管理功能。
本实施例中的数据治理功能可以包括：数据标准检测、数据质量评估、数据质量统计、数据质量发布等各方面全流程，全自动进行数据的治理能力保证。
这些计算机程序也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤，对应与不同的步骤可以通过不同的模块来实现。
上述程序可以运行在处理器中，或者也可以存储在存储器中(或称为计算机可读介质)，计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (4)

1.一种旅游在线服平台机器学习的数据预处理方法，其特征在于，所述方法在综合平台中实现，该综合平台用于综合各个平台的数据，综合平台还提供地图功能，该地图用于显示各个平台的地理位置，以及各个平台对应的地理位置的平台，当用户选择某个平台的时候，直接显示该平台所在区域的地图；地图功能提供了服务聚合功能，通过服务聚合将各处的GIS服务聚合为一个服务供用户访问，其中，服务器端的地图服务聚合，将相同坐标系的地图直接按照地理范围叠加，叠加后的地图可作为一个地图服务供客户端访问；其中，服务聚合功能包括：GIS服务端地图聚合：在GIS服务层支持聚合已有的在线地图服务、使用地图瓦片包发布的服务和第三方地图服务，将不同类型、不同来源的地图聚合成一幅地图展现给客户端；GIS服务端数据聚合：在GIS服务层支持聚合已有的数据服务和第三方数据服务，将不同类型、不同来源的数据聚合成统一的空间数据展现给客户端；所述方法包括：
获取多个旅游在线平台中的每个平台的数据提供接口，其中，所述多个旅游在线数据平台中的每个平台分别为不同的地区提供服务；
通过多个所述数据提供接口从每个平台获取数据，其中，获取到的数据包括多个类型的数据；
将同一类型的数据进行汇聚；
将汇聚后的数据分为多组数据，其中，每一组数据均包括数据本身以及该数据下所采用的策略；
将每组数据进行数据处理，以统一数据的格式以及内容，其中，对每组数据进行数据处理包括：数据合并、数据映射、数据对比、数据计算和数据拆分，数据合并用于将数据按照一定的规则进行合并形成一个数据；数据映射用于利用数据交换工具二次开发的可视化指标映射功能模块进行交换数据库的源数据到目标数据指标映射；数据对比用于根据源数据与目标数据的情况进行比较并设置转换映射关系，并在交换过程中，根据源数据与目的数据的差异进行对应的处理；数据计算用于通过可视化的编辑计算模块输入计算规则和语法；数据拆分用于将数据根据需要拆分成几个数据；
将同一类型下的多组数据作为机器学习的训练数据使用；其中，在进行训练时，将每组数据和该数据对应的策略的标签作为训练数据使用，每个标签也是一个超链接，该超链接在被点击的情况下，打开被该标签标记过的所有的策略，该标签标记过每个策略均有一个优先级，在显示所有的策略时候，按照优先级的从高到低的顺序显示，策略被使用的次数越多则该优先级越高。
2.根据权利要求1所述的方法，其特征在于，将同一类型下的多组数据作为机器学习的训练数据使用包括：
判断所述同一类型下的多组数据的组数是否超过阈值，在超过所述阈值的情况下，确定将所述多组数据作为机器学习的训练数据。
3.根据权利要求2所述的方法，其特征在于，还包括：
在所述组数未超过阈值的情况下，将所述多组数据保存在本地。
4.根据权利要求1至3中任一项所述的方法，其特征在于，通过多个所述数据提供接口从每个平台获取数据包括：
按照预定周期通过多个所述数据体用接口从所述每个平台获取所述数据，其中，所述预定周期以天为单位。
CN202110467581.XA 2021-04-28 2021-04-28 一种旅游在线服平台机器学习的数据预处理方法和系统 Active CN112948482B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110467581.XA CN112948482B (zh) 2021-04-28 2021-04-28 一种旅游在线服平台机器学习的数据预处理方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110467581.XA CN112948482B (zh) 2021-04-28 2021-04-28 一种旅游在线服平台机器学习的数据预处理方法和系统

Publications (2)

Publication Number Publication Date
CN112948482A CN112948482A (zh) 2021-06-11
CN112948482B true CN112948482B (zh) 2023-04-18

Family

ID=76233613

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110467581.XA Active CN112948482B (zh) 2021-04-28 2021-04-28 一种旅游在线服平台机器学习的数据预处理方法和系统

Country Status (1)

Country Link
CN (1) CN112948482B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106779146A (zh) * 2016-11-15 2017-05-31 广州铁路职业技术学院 一种用于提供推荐旅游路线的旅游服务系统
CN108737492A (zh) * 2018-03-29 2018-11-02 西安电子科技大学 一种基于大数据系统的导航与位置服务的方法
CN110471997A (zh) * 2019-07-02 2019-11-19 浙江大学 一种基于手机使用数据的个性化地点推荐方法
CN111881369A (zh) * 2020-04-03 2020-11-03 北京嘀嘀无限科技发展有限公司 一种推荐上车点名称准确性检测方法和系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110301433A1 (en) * 2010-06-07 2011-12-08 Richard Scott Sadowsky Mental state analysis using web services
US20160140789A1 (en) * 2014-11-14 2016-05-19 Retailmenot, Inc. Group-decision engine
CN106066892A (zh) * 2016-06-20 2016-11-02 四川上略互动网络技术有限公司 一种基于多源数据融合的旅游信息数据处理方法
CN106408459A (zh) * 2016-08-28 2017-02-15 桂林力拓信息科技有限公司 一种旅游服务集成系统
CN106384312A (zh) * 2016-12-14 2017-02-08 成都中科大旗软件有限公司 一种旅游团队服务管理平台
CN109034893A (zh) * 2018-07-20 2018-12-18 成都中科大旗软件有限公司 一种旅游网络评论情感分析及服务质量评价方法
US20200050997A1 (en) * 2018-08-10 2020-02-13 XSELIS, Inc. System and method for automatically optimizing and implementing a travel itinerary using a machine learning model
CN110866775A (zh) * 2019-10-12 2020-03-06 东南大学 一种基于机器学习的用户空铁联程城际出行信息处理方法
CN110796570B (zh) * 2019-10-30 2022-12-27 成都中科大旗软件股份有限公司 一种智慧文旅系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106779146A (zh) * 2016-11-15 2017-05-31 广州铁路职业技术学院 一种用于提供推荐旅游路线的旅游服务系统
CN108737492A (zh) * 2018-03-29 2018-11-02 西安电子科技大学 一种基于大数据系统的导航与位置服务的方法
CN110471997A (zh) * 2019-07-02 2019-11-19 浙江大学 一种基于手机使用数据的个性化地点推荐方法
CN111881369A (zh) * 2020-04-03 2020-11-03 北京嘀嘀无限科技发展有限公司 一种推荐上车点名称准确性检测方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李洋.旅游跨媒体大数据的语义学习与建模研究 .《中国优秀硕士学位论文全文数据库 (经济与管理科学辑)》.2018,(第10期),J153-6. *

Also Published As

Publication number Publication date
CN112948482A (zh) 2021-06-11

Similar Documents

Publication Publication Date Title
US11456932B2 (en) System capacity heatmap
Praveen et al. RETRACTED ARTICLE: smart traffic management system in metropolitan cities
Li et al. Design and implementation of intelligent traffic and big data mining system based on internet of things
CN112256819A (zh) 一种基于监控地图的数据处理方法、装置和可读存储介质
CN115168876A (zh) 基于联邦学习的云边端协同方法、控制装置、及协同系统
CN112948482B (zh) 一种旅游在线服平台机器学习的数据预处理方法和系统
Badakhshan et al. Celonis Process Repository: A Bridge between Business Process Management and Process Mining.
Verma et al. A graph based analysis of user mobility for a smart city project
Ye et al. SparseTrajAnalytics: An interactive visual analytics system for sparse trajectory data
Vera-Baquero et al. Big-data analysis of process performance: A case study of smart cities
CN115034718A (zh) 一种危化品管理方法、系统、计算设备及存储介质
Colarusso et al. PROMENADE: A big data platform for handling city complex networks with dynamic graphs
CN113934535A (zh) 海量点云数据处理方法、装置、服务器及系统
Sillberg et al. Interpretation, modeling, and visualization of crowdsourced road condition data
CN113111143A (zh) 公路多源异构数据重构整合及支撑共享成套方法及系统
Yamaguchi et al. Identifying anomaly work in intralogistics using BLE and LPWA
Kumar et al. Smart Cities with spatial data infrastructure and big data-a critical review
Camargo et al. Diagnosing the performance of human mobility models at small spatial scales using volunteered geographical information
Yao et al. Design and application of network optimizing integrated platform based on rasterized big data
Ayfantopoulou et al. Cataloging and assessing city-scale mobility data
CN116450620B (zh) 面向多源多域时空基准数据的数据库设计方法及系统
Lakshman Narayana et al. An intelligent IoT framework for handling multidimensional data generated by IoT gadgets
Zakeri et al. A Heuristic Machine Learning Based Approach for Utilizing Scarce Data in Estimating Fuel Consumption of Heavy Duty Trucks
Deksne et al. Towards Data Ecosystem Based Winter Road Maintenance ERP System
Jukic et al. Inventory management system for water supply network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant