CN117131954A - 地图数据有效性验证方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开提供了一种地图数据有效性验证方法、装置、电子设备及存储介质，涉及生成式大语言模型、地图数据更新、有效性验证、有监督训练、强化学习等人工智能技术领域。该方法包括：获取针对地图数据发起的有效性验证任务的任务描述信息；利用预设的有效性验证模型处理任务描述信息，得到返回的有效性验证结果，有效性验证模型是以生成式大语言模型为底层核心、按基于自动机器学习方式构建出的框架训练得到的模型，训练得到有效性验证模型的训练过程包括：基于将从地图应用中收集到的历史人工验证作业日志作为有监督数据进行的微调训练；根据有效性验证结果确定有效性验证通过的目标地图数据。应用该方法可以实现地图数据的大规模自动生产。

Description

地图数据有效性验证方法、装置、电子设备及存储介质

技术领域

本公开涉及任务处理领域，涉及生成式大语言模型、地图数据更新、有效性验证、有监督训练、强化学习等人工智能技术领域，尤其涉及一种地图数据有效性验证方法、装置、电子设备、计算机可读存储介质及计算机程序产品。

背景技术

大型语言模型(LLM，Large Language Model，其本质是生成式模型，也简称为生成式大语言模型)已经展现了强大的NLP(Natural Language Processing，自然语言处理)理解和生成能力。

而地图数据作为智能交通、城市规划、路线导航等领域的核心要素，其准确性和实时性对于提高各类应用的性能和用户体验具有至关重要的作用。然而，传统的地图数据生产主要依赖于人工作业，包括数据采集、编辑、审核等环节，这种方式存在诸多缺点：1)效率较低，难以满足大规模数据更新和实时性的要求；2)作业人员流动性大，标注质量难以控制，容易出现误差，影响数据质量；3)成本较高，尤其是对于比较复杂的数据生产任务，例如哪些信息是有效的、如何去验证其有效性等。

发明内容

本公开实施例提出了一种地图数据有效性验证方法、装置、电子设备、计算机可读存储介质及计算机程序产品。

第一方面，本公开实施例提出了一种地图数据有效性验证方法，包括：获取针对地图数据发起的有效性验证任务的任务描述信息；利用预设的有效性验证模型处理任务描述信息，得到返回的有效性验证结果；其中，有效性验证模型是以生成式大语言模型为底层核心、按基于自动机器学习方式构建出的框架训练得到的模型，训练得到有效性验证模型的训练过程包括：基于将从地图应用中收集到的历史人工验证作业日志作为有监督数据进行的微调训练；根据有效性验证结果确定有效性验证通过的目标地图数据。

第二方面，本公开实施例提出了一种地图数据有效性验证装置，包括：任务描述信息获取单元，被配置成获取针对地图数据发起的有效性验证任务的任务描述信息；有效性验证模型处理单元，被配置成利用预设的有效性验证模型处理任务描述信息，得到返回的有效性验证结果；其中，有效性验证模型是以生成式大语言模型为底层核心、按基于自动机器学习方式构建出的框架训练得到的模型，训练得到有效性验证模型的训练过程包括：基于将从地图应用中收集到的历史人工验证作业日志作为有监督数据进行的微调训练；目标地图数据确定单元，被配置成根据有效性验证结果确定有效性验证通过的目标地图数据。

第三方面，本公开实施例提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器执行时能够实现如第一方面描述的地图数据有效性验证方法。

第四方面，本公开实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行时能够实现如第一方面描述的地图数据有效性验证方法。

第五方面，本公开实施例提供了一种包括计算机程序的计算机程序产品，该计算机程序在被处理器执行时能够实现如第一方面描述的地图数据有效性验证方法的步骤。

本公开所提供的地图数据有效性验证方案，针对地图领域下需要进行有效性验证的复杂地图相关问题，创造性的引入以生成式大语言模型为核心、按基于自动机器学习方式构建出的框架训练得到的有效性验证模型来处于包含相应问题内容的任务描述信息，以借助其核心和框架使其具有的准确理解和确定与任务描述信息对应的有效性验证结果的能力，从而得以自动化完成对地图数据的有效性验证任务、将人工从繁杂的手动验证操作中解放出来，提升有效性验证效率、准确性，进而提升对地图应用的使用体验。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本公开的其它特征、目的和优点将会变得更明显：

图1是本公开可以应用于其中的示例性系统架构；

图2为本公开实施例提供的一种地图数据有效性验证方法的流程图；

图3为本公开实施例提供的一种训练得到有效性验证模型的训练过程的流程图；

图4为本公开实施例提供的基于自动机器学习方式构建得到的框架包含的多种机制的示意图；

图5为本公开实施例提供的一种地图数据有效性验证装置的结构框图；

图6为本公开实施例提供的一种适用于执行地图数据有效性验证方法的电子设备的结构示意图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。

本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

图1示出了可以应用本公开的地图数据有效性验证方法、装置、电子设备及计算机可读存储介质的实施例的示例性系统架构100。

如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103和服务器105上可以安装有各种用于实现两者之间进行信息通讯的应用，例如地图数据有效性验证类应用、模型训练类应用、数据传输类应用等。

终端设备101、102、103和服务器105可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等；当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中，其可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块，在此不做具体限定。当服务器105为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器；服务器为软件时，可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块，在此不做具体限定。

服务器105通过内置的各种应用可以提供各种服务，以可以提供基于地图数据的有效性验证服务的地图数据有效性验证类应用为例，服务器105在运行该地图数据有效性验证类应用时可实现如下效果：首先，通过网络104接收由终端设备101、102、103传入的针对地图数据发起的有效性验证任务的任务描述信息；接着，利用预设的有效性验证模型处理所述任务描述信息，得到返回的有效性验证结果，该有效性验证模型是以生成式大语言模型为底层核心、按基于自动机器学习方式构建出的框架训练得到的模型，训练得到该有效性验证模型的训练过程包括：基于将从地图应用中收集到的历史人工验证作业日志作为有监督数据进行的微调训练；最后，根据该有效性验证结果确定有效性验证通过的目标地图数据。

进一步的，服务器105还可以将确定出的目标地图数据用于更新地图应用中的相应部分内容，以提升地图应用内容的准确性。

需要指出的是，任务描述信息除可以从终端设备101、102、103通过网络104获取到之外，也可以通过各种方式预先存储在服务器105本地。因此，当服务器105检测到本地已经存储有这些数据时(例如开始处理之前留存的待处理验证任务)，可选择直接从本地获取这些数据，在此种情况下，示例性系统架构100也可以不包括终端设备101、102、103和网络104。

由于基于任务描述信息进行相应的有效性验证需要占用较多的运算资源和较强的运算能力，因此本公开后续各实施例所提供的地图数据有效性验证方法一般由拥有较强运算能力、较多运算资源的服务器105来执行，相应地，地图数据有效性验证装置一般也设置于服务器105中。但同时也需要指出的是，在终端设备101、102、103也具有满足要求的运算能力和运算资源时，终端设备101、102、103也可以通过其上安装的地图数据有效性验证类应用完成上述本交由服务器105做的各项运算，进而输出与服务器105同样的结果。尤其是在同时存在多种具有不同运算能力的终端设备的情况下，但地图数据有效性验证类应用判断所在的终端设备拥有较强的运算能力和剩余较多的运算资源时，可以让终端设备来执行上述运算，从而适当减轻服务器105的运算压力，相应的，地图数据有效性验证装置也可以设置于终端设备101、102、103中。在此种情况下，示例性系统架构100也可以不包括服务器105和网络104。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

请参考图2，图2为本公开实施例提供的一种地图数据有效性验证方法的流程图，其中流程200包括以下步骤：

步骤201：获取针对地图数据发起的有效性验证任务的任务描述信息；

本步骤旨在由地图数据有效性验证方法的执行主体(例如图1所示的服务器105)获取针对地图数据发起的有效性验证任务的任务描述信息(例如通过各式终端设备传入的任务描述信息，例如图1所示的终端设备101、102、103)。由于任务描述信息应当能够获知如何进行有效性验证任务，因此该任务描述信息中通常情况下应当至少包括：作为验证对象的目标兴趣点(例如是哪个景点、哪个机构、哪个商业中心或哪个店铺)、针对目标兴趣点的验证问题(例如针对当前记录的包括营业时间、营业范围、开放对象在内的相关信息是否正确)，当然，除目标兴趣点和验证问题外，任务描述信息还可以包含有其它额外的任务要求，例如限制搜索、验证用的信息渠道数量、种类、要求准确性到什么程度、应当在多少时间内完成验证等等。

需要说明的是，任务描述信息原始就可以表现为文本形式，也可以是将以图像、语音或其它的信息表现形式经转换后得到的便于模型识别和处理的文本形式。

步骤202：利用预设的有效性验证模型处理任务描述信息，得到返回的有效性验证结果；

在步骤201的基础上，本步骤旨在由上述执行主体利用预设的有效性验证模型处理任务描述信息，得到返回的有效性验证结果。其中，该有效性验证模型是以生成式大语言模型为底层核心、按基于自动机器学习方式构建出的框架(例如AutoGPT，其英文全称为：Auto Generative Pre-trained Transformer，对应的中文名为自动生成式预训练变换器)训练得到的模型，训练得到有效性验证模型的训练过程包括：基于将从地图应用中收集到的历史人工验证作业日志作为有监督数据进行的微调训练。

因此，本步骤实际上就是将任务描述信息作为输入数据输入该有效性验证模型，以借助该有效性验证模型至少通过有监督微调训练(Supervised Fine-tuning，英文缩写为SFT)后具备的理解任务描述信息中的任务需求并实现该任务需求的能力。进一步的，作为核心的生成式大语言模型可以选择ChatGPT或类似的模型外，而基于自动机器学习方式构建出的框架则可以根据实际需求设置多种相关策略或机制，例如基于思维链(Chain-Of-Thought，COT)或提示链的任务理解、拆分、推理机制、基于对外部工具的调用机制等等。

步骤203：根据有效性验证结果确定有效性验证通过的目标地图数据。

在步骤202的基础上，本步骤旨在由上述执行主体根据有效性验证结果确定有效性验证通过的目标地图数据。即通常情况下有效性验证结果应当会分为两类，即通过有效性验证和未通过有效性验证，因此本步骤就是将能够确定属于通过有效性验证的一类地图数据确定为目标地图数据，例如针对某个景点的夏季开放时间进行有效性验证的任务，那么通过有效性验证后得到的开放时间段就应当为目标地图数据，至于原任务描述信息中是否携带了疑似夏季开放时间并不重要，因为即使携带了疑似夏季开放时间，也仅能为后续的有效性验证提供参考。

进一步的，上述执行主体后续还可以利用目标地图数据更新地图应用中的相应内容，以使用经有效性验证后得到的准确地图数据替换存疑地图数据，进而使得更新后的地图应用中的信息更加准确，进而提升使用体验。

本公开实施例提供的地图数据有效性验证方法，针对地图领域下需要进行有效性验证的复杂地图相关问题，创造性的引入以生成式大语言模型为核心、按基于自动机器学习方式构建出的框架训练得到的有效性验证模型来处于包含相应问题内容的任务描述信息，以借助其核心和框架使其具有的准确理解和确定与任务描述信息对应的有效性验证结果的能力，从而得以自动化完成对地图数据的有效性验证任务、将人工从繁杂的手动验证操作中解放出来，提升有效性验证效率、准确性，进而提升对地图应用的使用体验。

为加深对具体通过何种训练方式才能够训练得到该有效性验证模型的理解，本实施例通过图3具体提供了一种训练得到有效性验证模型的训练过程方案，其中流程300包括以下步骤：

步骤301：基于将从地图应用中收集到的历史人工验证作业日志作为有监督数据进行的微调训练；

本步骤为在上一实施例步骤202中提及过的训练方案，一种具体的实现方式可以为：

1)采集并记录人工作业人员的具体生产流程；

2)将采集到的数据转化为适合LLM的训练格式，包括任务理解和推理(Reasoning)、任务拆解和规划(Planning)、Action生成等；

3)进行有监督微调训练。

进行本步骤所提供的微调训练的目的为：挖掘人工作业人员在具体数据生产时候的操作步骤(例如采用了哪些数据源、具体的决策逻辑、步骤等)，并将其作为SFT数据，来增强LLM的自动化数据生产能力。

步骤302：将线上访问次数超过预设次数的高频兴趣点的兴趣点信息作为标准答案，以强化学习的方式对经微调训练后的模型进行一次优化训练；

本步骤则是在已经完成步骤301的有监督微调训练的基础上，尝试充分利用地图应用的线上标准答案来进行优化训练，这是因为线上的高频兴趣点(POI，Point ofInterest)对应的POI属性信息准确率相对较高，因此可以作为用于优化训练的标准答案(也称Golden答案、黄金答案)。具体的，可以通过强化学习下的奖励函数(ReinforcementLearning Reward，也简称为RL Reward)来指导进行优化训练，即通过线上采集到的高频POI的属性信息和模型自动生产的属性信息之间的差异，来计算增强学习过程中的奖励。

即对于给定的POI生产任务，首先，利用SFT后的模型进行自动化数据生产，并获得对应的属性信息；然后，根据RL Reward计算公式计算奖励并更新策略；接下来，对于自动生产结果和线上属性信息一致的案例(Case)，则可以收集起来，对模型进行二次SFT(PseudoSFT)，以进一步强化这部分知识。

步骤303：将获取到的用户对经一次优化训练后得到的模型的使用反馈信息，以强化学习的方式对经一次优化训练后的模型进行二次优化训练。

本步骤则是在已经完成步骤302的一次优化训练后的基础上，尝试利用将已部署的模型在后续的用户使用阶段给予的使用反馈来进一步优化，来进一步增强模型的鲁棒性和泛化性。

在模型被部署用于对地图数据的离线生产后，线上系统会通过设置的反馈按钮(例如点赞按钮和点踩按钮)来收集线上用户对地图应用呈现给用户的兴趣点属性信息的真实反馈，让用户对数据准确性进行评价，也包括从用户在评论区回复一些对相应属性信息的不满的内容。因此可以通过收集到这些真实反馈数据来以强化学习的方式进一步优化模型。

本实施例通过步骤301-步骤303提供一种依次进行三次训练、优化的模型训练方案，在某些实施例中，也可以不包含步骤303提供的二次优化训练，本实施例仅作为同时包含了两次不同的优化训练的优选实施例方案存在。

为了更好的理解基于自动机器学习方式构建得到的框架可能包含的多种策略或机制，以及这些策略或机制应当各自如何结合作为核心的生成式大语言模型来最终完成有效性验证，本实施例还通过图4示出了一种基于自动机器学习方式构建得到的框架包含的多种机制的示意图，如图4所示，基于自动机器学习方式构建出的框架可以包括：

1)基于以向量形式存储的记忆数据所进行的辅助决策机制，该辅助决策机制用于召回与任务描述信息对应的以向量形式存储的地图相关信息、并基于所地图相关信息辅助生成式大语言模型做出与任务描述信息相应的决策，地图相关信息包括与兴趣点相关的图像、文本或音视频数据。进一步的，该辅助决策机制在召回与任务描述信息对应的以向量形式存储的地图相关信息时，基于下述至少一项召回策略进行：基于时效性的优先召回策略(即据当前时间越近、时效性越强、召回优先级或召回时的权重越高)、基于重要性的优先召回策略(即越重要、召回优先级或召回时的权重越高)、基于与任务描述信息的特征相似度的优先召回策略(即相关信息任务描述信息的特征相似度越高、召回优先级或召回时的权重越高)。在同时包含上述多种不同的召回策略时，多种召回策略在召回优先级或召回权重上可以融合或累加。

2)基于对历史决策结果中的成功决策案例和失败决策案例建立得到的反思机制，该反思机制通过将成功决策案例和失败决策方案对应的决策过程和相关历史信息发送给生成式大语言模型，以使生成式大语言模型从中提取出用于辅助后续决策的经验信息。例如：对于景区营业时间的核实，假设发现某网站A上提供的内容往往是更加准确的，可以得出一条结论：网站A对于景区营业时间核实可靠性高。那么以后在景区营业时间核实这类型任务上，该条结论可能会提供比较重要的信息。

即基于反思机制得到的经验信息包括一下至少一项：从不同信息渠道获取到有效信息的成功率排序、不同验证方式均完成验证的耗时排序、不同网站中记载错误信息的占比排序。这些排序实际上可以总结为在多项备选中的优先选择的偏好信息。

3)基于思维链的任务理解、推理、拆解和规划机制。

4)对外部工具的调用机制，该调用机制指生成式大语言模型基于对任务描述信息的理解调用相应的外部工具进行相应的查询、并基于接收到的查询结果进行继续理解或生成有效性验证结果。

应当理解的是，本实施例通过图4示出的4中核心机制，并不一定会全部在同一具体应用场景下出现，具体需要哪些机制应当根据实际应用场景下的实际需求灵活选择。

虽然LLM展现了强大的NLP理解和生成能力，其为自动化的进行数据生产提供了可能。但常规的LLM在使用过程仍存在如下缺陷：

1)LLM支持的Token数量有限，导致其很难处理复杂的地图数据生产任务；

2)产生的经验(包括成功和失败案例)无法被及时记录和总结，只能通过滞后的微调(Fine-Tune)方式进行模型更新；

3)LLM受限于自身训练集的时效性，导致在面对实时更新和动态变化的地图数据时，依靠其本身能力，无法做出及时和准确的决策；

4)LLM即使采用基于思维链(Chain-of-Thought，CoT)的方式进行任务拆解，也难以确保拆解结果的准确性。特别是对于一些比较复杂，决策过程不固定的场景，很难通过确定且完备的思维链条提前进行人工设定。这是因为LLM需要人类提供大型语言模型的提示(Prompt)，通过逐步构建和完善文本提示来使LLM“理解”，需要人类的反馈和干预，对复杂的生产任务不友好。

为将其能够应用在地图应用上实现大规模地图数据的自动生产，本实施例提出了基于AutoGPT框架的解决方案-DataGenerationGPT。为了让模型能够获取实时POI信息，处理复杂的数据生产任务，并能不断提升数据生产能力能力，需要解决以下几个问题和挑战：

1)如何解决LLM支持Token数量有限，且产生的经验(包括成功和失败案例)无法被及时记录和总结问题；

解决方案：构建memory机制，让模型记住历史决策过程。

2)如何解决LLM的时效性问题；

解决方案：赋予起调用各种工具的能力。

3)如何克服CoT方案的局限性，让模型能处理复杂的数据生产任务；

解决方案：让模型进行多步自主思考，决策，并建立反思(Reflection)机制。

具体来说，DataGenerationGPT会结合不同的生产任务，对任务进行规划和拆解，并调用工具(Tool)获取需要的实时信息，来更好的完成任务。

具体来说，其主要分以下步骤执行：

1)生产人员对生产任务进行定义：包括任务目标，任务约束和限制，可以调用的工具(包括Tool名称、描述、调用参数等)等；

2)对于给定的POI，DataGenerationGPT会结合任务定义，并调用历史信息(通过memory机制)和上一步所调用工具后返回的结果，进行规划(Planning)，具体包括任务理解和推理(Reasoning)，任务拆解和规划(Planning)，反思(Reflection)，Action生成(是否调用Tool、具体调用哪个Tool、Tool调用参数)，并对memory进行更新；

3)如果需要调用Tool，则进行Tool调用，并将Tool返回结果送给DataGenerationGPT,重复步骤2)和3)；

4)如果Action部分显示任务完成，或者循环次数超过限制，则结束任务。

具体的方案设计和实现步骤

1、底层能力建设

Memory构建：

memory定义：采用向量数据库的方式来构建memory。具体来说，其会将每一条需要保存的内容(图片，文本片段等)表示成固定维度的向量，并存储到向量数据库中。每次在做决策的时候，会召回其中最有用的信息，来辅助LLM做决策。

memory召回算法：在从memory召回的时候，可采取三种方法的融合：

1)根据memory item的更新时间进行加权，越新越有价值；

2)根据memroy item重要性进行加权，item越重要越有价值。重要性是在将item写入memory的时候直接进行打分；

3)根据POI生产任务(query)与memory中的item embedding特征的余弦相似度加权，越相似，权重越大。

Reflection机制：

Reflection定义：在实际的数据生中产，会产生大量的成功和失败的案例，Reflection机制目的是对这些经验进行总结和汇总，并将其写入memroy中，从而为之后的数据生产提供借鉴和参考。

Reflection算法：对于每次成功或者失败的案例，可以将其决策过程和历史信息送给LLM，让LLM从中提炼出有价值的信息，并写入memory，从而作为生产经验来帮助之后的决策。

2、模型训练流程

主要训练步骤为：

1)收集人工作业日志，对LLM进行SFT；

2)利用强化学习算法来对LLM进行优化；

3)自动化生产数据上线地图应用程序后，利用用户反馈等信息，来持续优化模型。

为进一步加深对上述方案在具体应用层面所能够实现效果的理解，本公开还在此处以一个具体的例子进行相关说明：

假定输入的任务描述信息为：核实颐和园营业时间(即验证对象为：景点—颐和园，验证问题为：该景点的准确营业时间)。

对于该任务描述信息，进行处理的模型运行过程可以：

task definition:核实POI营业时间；

工具集：1:baidu搜索引擎2:bing搜索引擎3,browse_website 4，写文件write_to_file；

约束条件：1，只搜索中文网页；2，至少从两个网页获取营业时间，确保一致性和准确性3，优先采用baidu搜索引擎，其次是bing搜索引擎；

具体输入：核实颐和园营业时间；

step1 LLM output:

Thoughts：开始搜索颐和园营业时间；

PLAN：1，使用baidu搜索引擎2，至少两个网页上进行搜索3，用中文query进行搜索；

ACTION：Command＝baidu Arguments＝{'input':'颐和园营业时间'}；

tools返回结果：[url1,url2,.....url10]；

step2 LLM output:

Thoughts：选择两个网站来获取颐和园的营业时间；

PLAN：1，浏览第一个可靠网站2，浏览第二个可靠网站；

ACTION：Command＝browse_website Arguments＝{'url':'http://www.url1','question':'颐和园营业时间'}；

tools返回结果：颐和园的营业时间如下：旺季(4月1日-10月31日)为6:00开园，19:00闭园。淡季(11月1日-3月31日)为6:30开园，18:00闭园。****

step3 LLM output:

Thoughts：浏览另一个网站来获取颐和园的营业时间。

PLAN：浏览第二个可靠网站；

ACTION：Command＝browse_website Arguments＝{'url':'http://www.url2','question':'颐和园营业时间'}；

tools返回结果：颐和园的营业时间如下：颐和园的营业时间分为旺季和淡季。旺季时间为早6:00--晚19:00，淡季时间为早6:30--晚18:00。

****

step4 LLM output:

Thoughts：已经从另个网站上核实了颐和园的营业时间。

PLAN：将营业时间写入文件；

ACTION：Command＝write_to_file Arguments＝{'file':'颐和园营业时间.txt','text':'颐和园的营业时间：旺季(4月1日-10月31日)为6:00开园，19:00停止入园。淡季(11月1日-3月31日)为6:30开园，18:00停止入园'}；

tools返回结果：已保存输入内容。

step5 LLM output:

Thoughts：已将颐和园营业时间记录在文件中。

PLAN：任务完成，关闭；

ACTION：Command＝task_complete；

Task finished！！

进一步参考图5，作为对上述各图所示方法的实现，本公开提供了一种地图数据有效性验证装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图5所示，本实施例的地图数据有效性验证装置500可以包括：任务描述信息获取单元501、有效性验证模型处理单元502、目标地图数据确定单元503。其中，任务描述信息获取单元501，被配置成获取针对地图数据发起的有效性验证任务的任务描述信息；有效性验证模型处理单元502，被配置成利用预设的有效性验证模型处理任务描述信息，得到返回的有效性验证结果；其中，有效性验证模型是以生成式大语言模型为底层核心、按基于自动机器学习方式构建出的框架训练得到的模型，训练得到有效性验证模型的训练过程包括：基于将从地图应用中收集到的历史人工验证作业日志作为有监督数据进行的微调训练；目标地图数据确定单元503，被配置成根据有效性验证结果确定有效性验证通过的目标地图数据。

在本实施例中，地图数据有效性验证装置500中：任务描述信息获取单元501、有效性验证模型处理单元502、目标地图数据确定单元503的具体处理及其所带来的技术效果可分别参考图2对应实施例中的步骤201-203的相关说明，在此不再赘述。

在本实施例的一些可选的实现方式中，训练过程还包括：将线上访问次数超过预设次数的高频兴趣点的兴趣点信息作为标准答案，以强化学习的方式对经微调训练后的模型进行一次优化训练。

在本实施例的一些可选的实现方式中，训练过程还包括：将获取到的用户对经一次优化训练后得到的模型的使用反馈信息，以强化学习的方式对经一次优化训练后的模型进行二次优化训练。

在本实施例的一些可选的实现方式中，基于自动机器学习方式构建出的框架包括：基于以向量形式存储的记忆数据所进行的辅助决策机制，辅助决策机制用于召回与任务描述信息对应的以向量形式存储的地图相关信息、并基于所地图相关信息辅助生成式大语言模型做出与任务描述信息相应的决策，地图相关信息包括与兴趣点相关的图像、文本或音视频数据。

在本实施例的一些可选的实现方式中，辅助决策机制在召回与任务描述信息对应的以向量形式存储的地图相关信息时，基于下述至少一项召回策略进行：

基于时效性的优先召回策略、基于重要性的优先召回策略、基于与任务描述信息的特征相似度的优先召回策略。

在本实施例的一些可选的实现方式中，基于自动机器学习方式构建出的框架包括：基于对历史决策结果中的成功决策案例和失败决策案例建立得到的反思机制，反思机制通过将成功决策案例和失败决策方案对应的决策过程和相关历史信息发送给生成式大语言模型，以使生成式大语言模型从中提取出用于辅助后续决策的经验信息。

在本实施例的一些可选的实现方式中，基于反思机制得到的经验信息包括一下至少一项：

从不同信息渠道获取到有效信息的成功率排序、不同验证方式均完成验证的耗时排序、不同网站中记载错误信息的占比排序。

在本实施例的一些可选的实现方式中，基于自动机器学习方式构建出的框架包括：基于思维链的任务理解、推理、拆解和规划机制。

在本实施例的一些可选的实现方式中，基于自动机器学习方式构建出的框架包括：对外部工具的调用机制，调用机制指生成式大语言模型基于对任务描述信息的理解调用相应的外部工具进行相应的查询、并基于接收到的查询结果进行继续理解或生成有效性验证结果。

在本实施例的一些可选的实现方式中，任务描述信息至少包括：作为验证对象的目标兴趣点、针对目标兴趣点的验证问题。

在本实施例的一些可选的实现方式中，地图数据有效性验证装置500中还包括：

地图应用内容更新单元，被配置成利用目标地图数据更新地图应用中的相应内容。

本实施例作为对应于上述方法实施例的装置实施例存在，本实施例提供的地图数据有效性验证装置，针对地图领域下需要进行有效性验证的复杂地图相关问题，创造性的引入以生成式大语言模型为核心、按基于自动机器学习方式构建出的框架训练得到的有效性验证模型来处于包含相应问题内容的任务描述信息，以借助其核心和框架使其具有的准确理解和确定与任务描述信息对应的有效性验证结果的能力，从而得以自动化完成对地图数据的有效性验证任务、将人工从繁杂的手动验证操作中解放出来，提升有效性验证效率、准确性，进而提升对地图应用的使用体验。

根据本公开的实施例，本公开还提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器执行时能够实现上述任意实施例所描述的地图数据有效性验证方法。

根据本公开的实施例，本公开还提供了一种可读存储介质，该可读存储介质存储有计算机指令，该计算机指令用于使计算机执行时能够实现上述任意实施例所描述的地图数据有效性验证方法。

根据本公开的实施例，本公开还提供了一种计算机程序产品，该计算机程序在被处理器执行时能够实现上述任意实施例所描述的地图数据有效性验证方法。

图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图6所示，设备600包括计算单元601，其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序，来执行各种适当的动作和处理。在RAM 603中，还可存储设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如地图数据有效性验证方法。例如，在一些实施例中，地图数据有效性验证方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由计算单元601执行时，可以执行上文描述的地图数据有效性验证方法的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行地图数据有效性验证方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决传统物理主机与虚拟专用服务器(VPS，Virtual Private Server)服务中存在的管理难度大，业务扩展性弱的缺陷。

针对地图领域下需要进行有效性验证的复杂地图相关问题，本公开实施例所提供的技术方案创造性的引入以生成式大语言模型为核心、按基于自动机器学习方式构建出的框架训练得到的有效性验证模型来处于包含相应问题内容的任务描述信息，以借助其核心和框架使其具有的准确理解和确定与任务描述信息对应的有效性验证结果的能力，从而得以自动化完成对地图数据的有效性验证任务、将人工从繁杂的手动验证操作中解放出来，提升有效性验证效率、准确性，进而提升对地图应用的使用体验。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (25)

1.一种地图数据有效性验证方法，包括：

获取针对地图数据发起的有效性验证任务的任务描述信息；

利用预设的有效性验证模型处理所述任务描述信息，得到返回的有效性验证结果；其中，所述有效性验证模型是以生成式大语言模型为底层核心、按基于自动机器学习方式构建出的框架训练得到的模型，训练得到所述有效性验证模型的训练过程包括：基于将从地图应用中收集到的历史人工验证作业日志作为有监督数据进行的微调训练；

根据所述有效性验证结果确定有效性验证通过的目标地图数据。

2.根据权利要求1所述的方法，其中，所述训练过程还包括：将线上访问次数超过预设次数的高频兴趣点的兴趣点信息作为标准答案，以强化学习的方式对经所述微调训练后的模型进行一次优化训练。

3.根据权利要求2所述的方法，其中，所述训练过程还包括：将获取到的用户对经所述一次优化训练后得到的模型的使用反馈信息，以强化学习的方式对经所述一次优化训练后的模型进行二次优化训练。

4.根据权利要求1所述的方法，其中，基于所述自动机器学习方式构建出的框架包括：基于以向量形式存储的记忆数据所进行的辅助决策机制，所述辅助决策机制用于召回与所述任务描述信息对应的以向量形式存储的地图相关信息、并基于所地图相关信息辅助所述生成式大语言模型做出与所述任务描述信息相应的决策，所述地图相关信息包括与兴趣点相关的图像、文本或音视频数据。

5.根据权利要求4所述的方法，其中，所述辅助决策机制在召回与所述任务描述信息对应的以向量形式存储的地图相关信息时，基于下述至少一项召回策略进行：

基于时效性的优先召回策略、基于重要性的优先召回策略、基于与所述任务描述信息的特征相似度的优先召回策略。

6.根据权利要求1所述的方法，其中，基于所述自动机器学习方式构建出的框架包括：基于对历史决策结果中的成功决策案例和失败决策案例建立得到的反思机制，所述反思机制通过将所述成功决策案例和所述失败决策方案对应的决策过程和相关历史信息发送给所述生成式大语言模型，以使所述生成式大语言模型从中提取出用于辅助后续决策的经验信息。

7.根据权利要求6所述的方法，其中，基于所述反思机制得到的经验信息包括以下至少一项：

从不同信息渠道获取到有效信息的成功率排序、不同验证方式均完成验证的耗时排序、不同网站中记载错误信息的占比排序。

8.根据权利要求1所述的方法，其中，基于所述自动机器学习方式构建出的框架包括：基于思维链的任务理解、推理、拆解和规划机制。

9.根据权利要求1所述的方法，其中，基于所述自动机器学习方式构建出的框架包括：对外部工具的调用机制，所述调用机制指所述生成式大语言模型基于对所述任务描述信息的理解调用相应的外部工具进行相应的查询、并基于接收到的查询结果进行继续理解或生成所述有效性验证结果。

10.根据权利要求1所述的方法，其中，所述任务描述信息至少包括：作为验证对象的目标兴趣点、针对所述目标兴趣点的验证问题。

11.根据权利要求1-10任一项所述的方法，还包括：

利用所述目标地图数据更新所述地图应用中的相应内容。

12.一种地图数据有效性验证装置，包括：

任务描述信息获取单元，被配置成获取针对地图数据发起的有效性验证任务的任务描述信息；

有效性验证模型处理单元，被配置成利用预设的有效性验证模型处理所述任务描述信息，得到返回的有效性验证结果；其中，所述有效性验证模型是以生成式大语言模型为底层核心、按基于自动机器学习方式构建出的框架训练得到的模型，训练得到所述有效性验证模型的训练过程包括：基于将从地图应用中收集到的历史人工验证作业日志作为有监督数据进行的微调训练；

目标地图数据确定单元，被配置成根据所述有效性验证结果确定有效性验证通过的目标地图数据。

13.根据权利要求12所述的装置，其中，所述训练过程还包括：将线上访问次数超过预设次数的高频兴趣点的兴趣点信息作为标准答案，以强化学习的方式对经所述微调训练后的模型进行一次优化训练。

14.根据权利要求12所述的装置，其中，所述训练过程还包括：将获取到的用户对经所述一次优化训练后得到的模型的使用反馈信息，以强化学习的方式对经所述一次优化训练后的模型进行二次优化训练。

15.根据权利要求12所述的装置，其中，基于所述自动机器学习方式构建出的框架包括：基于以向量形式存储的记忆数据所进行的辅助决策机制，所述辅助决策机制用于召回与所述任务描述信息对应的以向量形式存储的地图相关信息、并基于所地图相关信息辅助所述生成式大语言模型做出与所述任务描述信息相应的决策，所述地图相关信息包括与兴趣点相关的图像、文本或音视频数据。

16.根据权利要求15所述的装置，其中，所述辅助决策机制在召回与所述任务描述信息对应的以向量形式存储的地图相关信息时，基于下述至少一项召回策略进行：

基于时效性的优先召回策略、基于重要性的优先召回策略、基于与所述任务描述信息的特征相似度的优先召回策略。

17.根据权利要求12所述的装置，其中，基于所述自动机器学习方式构建出的框架包括：基于对历史决策结果中的成功决策案例和失败决策案例建立得到的反思机制，所述反思机制通过将所述成功决策案例和所述失败决策方案对应的决策过程和相关历史信息发送给所述生成式大语言模型，以使所述生成式大语言模型从中提取出用于辅助后续决策的经验信息。

18.根据权利要求17所述的装置，其中，基于所述反思机制得到的经验信息包括一下至少一项：

从不同信息渠道获取到有效信息的成功率排序、不同验证方式均完成验证的耗时排序、不同网站中记载错误信息的占比排序。

19.根据权利要求12所述的装置，其中，基于所述自动机器学习方式构建出的框架包括：基于思维链的任务理解、推理、拆解和规划机制。

20.根据权利要求12所述的装置，其中，基于所述自动机器学习方式构建出的框架包括：对外部工具的调用机制，所述调用机制指所述生成式大语言模型基于对所述任务描述信息的理解调用相应的外部工具进行相应的查询、并基于接收到的查询结果进行继续理解或生成所述有效性验证结果。

21.根据权利要求12所述的装置，其中，所述任务描述信息至少包括：作为验证对象的目标兴趣点、针对所述目标兴趣点的验证问题。

22.根据权利要求12-21任一项所述的装置，还包括：

地图应用内容更新单元，被配置成利用所述目标地图数据更新所述地图应用中的相应内容。

23.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-12中任一项所述的地图数据有效性验证方法。

24.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-12中任一项所述的地图数据有效性验证方法。

25.一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现根据权利要求1-12中任一项所述地图数据有效性验证方法的步骤。