CN115169471A - 确定群体记忆特征的方法和记忆网络的训练方法、装置 - Google Patents

确定群体记忆特征的方法和记忆网络的训练方法、装置 Download PDF

Info

Publication number
CN115169471A
CN115169471A CN202210844680.XA CN202210844680A CN115169471A CN 115169471 A CN115169471 A CN 115169471A CN 202210844680 A CN202210844680 A CN 202210844680A CN 115169471 A CN115169471 A CN 115169471A
Authority
CN
China
Prior art keywords
access
determining
characteristic
target object
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210844680.XA
Other languages
English (en)
Inventor
辛浩然
路新江
窦德景
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202210844680.XA priority Critical patent/CN115169471A/zh
Publication of CN115169471A publication Critical patent/CN115169471A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开提供了一种确定群体记忆特征的方法和记忆网络的训练方法、装置，涉及人工智能领域，具体涉及大数据和深度学习等技术领域，可应用于智能推荐等场景。确定群体记忆特征的方法包括：根据目标对象对常驻区域的访问数据，确定目标对象针对常驻区域的访问特征；根据访问特征和多个区域中每个区域的访问记忆特征，确定目标对象与每个区域之间的关联强度；以及以关联强度为权重，根据多个区域的访问记忆特征确定目标对象对多个区域的群体记忆特征，其中，区域的访问记忆特征是根据参考对象对区域的访问数据确定的，区域为针对参考对象的异地区域。

Description

确定群体记忆特征的方法和记忆网络的训练方法、装置
技术领域
本公开涉及人工智能领域，具体涉及大数据和深度学习等技术领域，可应用于智能推荐等场景。
背景技术
随着互联网技术和信息技术的不断发展，旨在为用户提供便利的各种信息推荐类应用得到快速发展。其中，兴趣点(Point-of-Interest，POI)的推荐旨在为用户提供可能感兴趣的地点，以提高用户出行的便利性。例如，在用户到不熟悉的区域时，借助推荐的兴趣点，用户可以更有效地做出出行决定。其中，用户偏好不仅受个人喜好的影响，还会在一定程度上受群体行为的影响。为了考虑群体行为，对群体行为进行表征至关重要。
发明内容
本公开旨在提供一种提高表征准确性的确定群体记忆特征的方法和记忆网络的训练方法、装置、电子设备、存储介质。
根据本公开的一个方面，提供了一种确定群体记忆特征的方法，包括：根据目标对象对常驻区域的访问数据，确定目标对象针对常驻区域的访问特征；根据访问特征和多个区域中每个区域的访问记忆特征，确定目标对象与每个区域之间的关联强度；以及以关联强度为权重，根据多个区域的访问记忆特征确定目标对象对多个区域的群体记忆特征，其中，区域的访问记忆特征是根据参考对象对区域的访问数据确定的，区域为针对参考对象的异地区域。
根据本公开的另一个方面，提供了一种记忆网络的训练方法，记忆网络包括聚合子网络和第一注意力子网络和第二注意力子网络，训练方法包括：根据目标对象对常驻区域的访问数据，采用聚合子网络确定目标对象针对常驻区域的第一访问特征；根据目标对象对多个区域中除常驻区域外其他区域的访问数据，采用聚合子网络确定目标对象针对其他区域的第二访问特征；根据第一访问特征和多个区域中每个区域的访问记忆特征，采用第一注意力子网络确定目标对象与每个区域之间的关联强度，并以关联强度为权重，根据多个区域的访问记忆特征确定目标对象对多个区域的群体记忆特征；采用第二注意力子网络对其他区域的访问记忆特征和第二访问特征进行处理，确定目标对象对其他区域的记忆特征；以及根据记忆特征与群体记忆特征之间的差异，对记忆网络进行训练。
根据本公开的另一个方面，提供了一种确定群体记忆特征的装置，包括：访问特征确定模块，用于根据目标对象对常驻区域的访问数据，确定目标对象针对常驻区域的访问特征；关联强度确定模块，用于根据访问特征和多个区域中每个区域的访问记忆特征，确定目标对象与每个区域之间的关联强度；以及群体记忆确定模块，用于以关联强度为权重，根据多个区域的访问记忆特征确定目标对象对多个区域的群体记忆特征，其中，区域的访问记忆特征是根据参考对象对区域的访问数据确定的，区域为针对参考对象的异地区域。
根据本公开的另一个方面，提供了一种记忆网络的训练装置，记忆网络包括聚合子网络和第一注意力子网络和第二注意力子网络，训练装置包括：第一访问特征确定模块，用于根据目标对象对常驻区域的访问数据，采用聚合子网络确定目标对象针对常驻区域的第一访问特征；第二访问特征确定模块，用于根据目标对象对多个区域中除常驻区域外其他区域的访问数据，采用聚合子网络确定目标对象针对其他区域的第二访问特征；群体记忆确定模块，用于根据第一访问特征和多个区域中每个区域的访问记忆特征，采用第一注意力子网络确定目标对象与每个区域之间的关联强度，并以关联强度为权重，根据多个区域的访问记忆特征确定目标对象对多个区域的群体记忆特征；记忆特征确定模块，用于采用第二注意力子网络对其他区域的访问记忆特征和第二访问特征进行处理，确定目标对象对其他区域的记忆特征；以及模型训练模块，用于根据记忆特征与群体记忆特征之间的差异，对记忆网络进行训练，其中，区域的访问记忆特征是根据参考对象对区域的访问数据确定的，区域为针对参考对象的异地区域。
根据本公开的另一个方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开提供的确定群体记忆特征的方法或记忆网络的训练方法。
根据本公开的另一个方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开提供的确定群体记忆特征的方法或记忆网络的训练方法。
根据本公开的另一个方面，提供了一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令在被处理器执行时实现本公开提供的确定群体记忆特征的方法或记忆网络的训练方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开实施例的方法和装置的应用场景示意图；
图2是根据本公开实施例的兴趣点推荐方法的流程示意图；
图3是根据本公开实施例的确定兴趣点的空间约束表征的流程示意图；
图4是根据本公开实施例的确定兴趣点的空间约束表征的实现原理图；
图5是根据本公开实施例的确定空间约束表征的条件随机场模型的训练方法的流程示意图；
图6是根据本公开实施例的确定群体记忆特征的方法的流程示意图；
图7是根据本公开实施例的确定群体记忆特征的方法的实现原理图；
图8是根据本公开实施例的记忆网络的训练方法的流程示意图；
图9是根据本公开实施例的记忆网络的训练方法的实现原理图；
图10是根据本公开实施例的兴趣点推荐方法的实现原理图；
图11是根据本公开实施例的兴趣点推荐模型的训练方法的流程示意图；
图12是根据本公开实施例的确定群体记忆特征的装置的结构框图；
图13是根据本公开实施例的记忆网络的训练装置的结构框图；以及
图14是用来实施本公开实施例的确定群体记忆特征的方法或记忆网络的训练方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
以下将对本公开所涉及的专业术语进行解释：
兴趣点：指地理信息系统中的某个地标，用以标示出该地所代表的旅游景点、各行各业商业机构(如加油站、超市、餐厅、酒店、便利店、医院等)、交通设施(如各式车站、停车场、限速标示)等处所。在本公开实施例中，兴趣点可以是地图服务上标注的兴趣点，通常包含名称、地址、坐标、类别等属性信息，该兴趣点可以用于表征地理空间上的任意实体，例如表征公交站、景点、商场等。
度量学习：Metric Learning，是广泛应用于图像检索领域的一种方法，度量学习旨在通过网络学习出两张图片的相似度。例如，在行人重识别问题上，度量学习旨在使得同一行人的不同图像之间的相似度大于不同行人的不同图像之间的相似度。采用损失函数训练网络的目的为使得相同行人的两个图像(即正样本对)之间的距离近可能小，不同行人的两个图像(即负样本对)之间的距离尽可能大。在本公开实施例中，度量学习旨在通过网络学习出用户的偏好特征与兴趣点的用户到访的兴趣点的空间约束表征之间的关系。
度量空间：在数学中，一个度量(或距离函数)是一个定义集合中元素之间的距离的函数，一个具有度量的集合被称为度量空间。度量学习可以根据不同的任务自主学习出针对某个特定任务的度量距离函数。本公开实施例中，度量空间是指一系列表征在欧式距离的约束下所在的特征空间。
变分推断：旨在通过使用已知的简单分布来逼近需推断的复杂分布，并通过限制近似分布的类型，得到一种局部最优但具有确定解的近似后验分布。变分推断的主要思想为：基于KL散度(Kullback-Leibler divergence)，利用一个已知分布去近似后验分布，将近似推断问题转换为优化问题，以在一定程度上提高算法的性能。
平均场近似：可以捕捉任何隐变量的边缘密度，基于平均场近似的变分推断表现是杠杆的，其假设各隐变量之间是相互独立的。
条件随机场模型(Conditional Random Fields，CRF)：是一种无向图模型，条件随机场是在给定随机变量X的条件下，随机变量Y的马尔科夫随机场。CRF既具有判别式模型的优点，又具有产生式模型考虑到上下文标记间的转移概率，以序列化形式进行全局参数优化和解码的优点。
吉布斯(Gibbs)分布：如果无向图模型能够表示成一系列在无向图的最大团上的非负函数乘积的形式，这个无向图模型的概率分布P(X)就称为Gibbs分布。
吉布斯能量函数：是由一元势函数和二元势函数构成的能量函数。在图像分割任务中，一元势函数用于衡量像素点的类别概率。二元势函数用于描述像素点与像素点之间的关系，鼓励为相似像素分配相同的标签，而为相差较大的像素分配不同的标签。在本公开实施例中，可以将兴趣点的空间约束表征问题转换为吉布斯能量最小化问题，以使得相似兴趣点(例如位于同一区域的兴趣点)具有相近的空间约束表征。
插槽：Slot，是一个资源单元，在逻辑概念上，一个节点的slot数量用来表示此节点的资源容量或是计算能力的大小。插槽用于界定将所携带的内容，插入到指定的某个位置，从而使模板分块，具有模块化的特质和更大的重要性。在本公开实施例中，可以将为包括兴趣点的每个区域维护一个记忆存储空间，并为多个区域构建一个存储矩阵
Figure BDA0003750708450000051
其中，m表示该每个区域的记忆存储中slot的数量，d表示兴趣点的隐变量的维度，
Figure BDA0003750708450000052
表示区域中兴趣点的个数。
门控机制：Gating Mechanism，通过输入门额遗忘门来对历史数据进行有选择的学习。
注意力机制：Attention Mechanism，对输入的X每个部分赋予不同的权重，抽取出更加关键及重要的信息。
聚合函数：对一组值执行计算并返回单一的值的函数，例如可以包括求和函数、平均池化函数、最大池化函数和注意力池化函数等。
地理学第一定律：即Tobler′s First Law of Geography，该第一定律认为地理事物或属性在空间分布上互为相关，呈现聚集(clustering)、随机(random)或规则(Regularity)分布，任何事物都是与其他事物相关的，只不过相近的事物关联更紧密。
本公开实施例可以用于进行行前场景的POI推荐，即本公开实施例可以在用户计划离开常驻地去异地旅游，且目的地区域和POI都未确定时，向用户推荐POI。例如，可以采用迁移学习的方法来将用户的常驻地偏好迁移到异地的行为预测中，从而向用户推荐异地的POI。或者，可以采用概率图模型来整合用户偏好和输入的搜索文本等信息，并基于该些信息对兴趣偏移进行建模，以根据建模结果来推荐异地POI。
在行前场景中，候选的POI的搜索空间很大，这可能会导致在不同的异地区域产生大量的POI推荐，混淆用户最终的决策。传统的异地POI的推荐方法很难处理庞大且丰富的候选POI集合。再者，在异地旅行中，群体的行为也会影响个人的决策和行为。因此，本公开旨在提供一种能够有效管理和维护不同区域的群体行为，并在向用户推荐POI等信息时加以利用的兴趣点推荐方法，以提高推荐精度。
以下将结合图1对本公开提供的方法和装置的应用场景进行描述。
图1是根据本公开实施例的方法和装置的应用场景示意图。
如图1所示，该实施例的应用场景100中可以包括用户110、用户使用的终端设备120和服务器130。
终端设备120例如可以为提供有交互界面的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便捷计算机和台式计算机等。该终端设备120例如可以安装有各种客户端应用，包括但不限于地图导航类应用、旅游社交类应用、即时通信类应用或生活消费类应用等。用户110可以通过与终端设备120的人机交互，来查询所需的信息，或者，终端设备120可以响应于客户端应用的启动，向用户110推荐各种类型的信息。
服务器130例如可以为对终端设备120中客户端应用的运行提供支持的后台管理服务器等。终端设备120可以通过网络与服务器130通信连接，网络可以为有线或无线通信链路。
终端设备120例如可以通过人机交互获取用户对各个区域的访问记录140，并将访问记录140反馈给服务器130。其中，访问记录140例如可以包括用户访问的POI标识、访问时间、POI所属区域等。服务器130例如可以维护有用户群体的访问记录，并根据用户群体的访问记录及用户110的访问记录，确定向用户110推荐的POI，并将推荐POI 150反馈给终端设备120。
在一实施例中，服务器130例如可以根据用户群体对异地区域的访问，为每个区域维护不断更新的访问记忆特征。在确定向用户110推荐的POI时，可以根据该访问记忆特征，来考虑群体行为对用户偏好的影响，并基于此确定用户110的偏好特征。最后根据偏好特征和各个POI的特征来向用户推荐POI。例如，服务器130例如可以结合深度学习模型来确定向用户推荐的POI。其中，深度学习模型可以由服务器130预先训练得到，或者可以由与服务器130通信连接的其他电子设备训练得到。
需要说明的是，本公开提供的方法可以由服务器130执行。相应地，本公开提供的装置可以设置在服务器130中。本公开提供的训练方法可以还可以由与服务器130通信连接的其他电子设备执行。相应地，本公开提供的训练装置还可以设置在与服务器130通信连接的其他电子设备中。
应该理解，图1中的终端设备120和服务器130的数目和类型仅仅是示意性的。根据实现需要，可以具有任意数目和类型的终端设备120和服务器130。
以下将结合图2～图11对本公开提供的方法的实现原理进行详细描述。
图2是根据本公开实施例的兴趣点推荐方法的流程示意图。
如图2所示，本公开提供的兴趣点推荐方法200可以包括操作S210～操作S220。
在操作S210，根据目标对象对常驻区域的访问数据和多个兴趣点所属区域的访问记忆特征，确定目标对象的偏好特征。
在操作S220，根据偏好特征与多个兴趣点中每个兴趣点的空间约束特征之间的差异，确定多个兴趣点中针对目标对象的待推荐兴趣点。
根据本公开的实施例，常驻区域例如可以为目标对象的居住地或者为预定时段内目标对象停留时长最长的区域。该常驻区域可以为省/直辖市、地级市、区/县等任意级别的行政区域。本公开可以将多个区域包括的多个兴趣点作为候选兴趣点，每个区域例如可以包括任意数量个兴趣点。
根据本公开的实施例，访问数据可以包括访问时间、访问的POI、访问者、访问POI的属性等信息。在行前场景中，该实施例可以为作为候选兴趣点的多个兴趣点所属的区域维护有访问记忆特征。对于每个区域，访问记忆特征可以根据参考对象对该每个区域的访问数据来确定。其中，参考对象的常驻区域为除该每个区域的其他区域，即该每个区域对于参考对象而言为异地区域。
该实施例可以对单个参考对象对每个区域的访问数据进行编码，得到编码特征。随后，将根据多个参考对象对该每个区域的访问数据编码所得到的多个编码特征进行聚合，得到该每个区域的访问记忆特征。其中，对编码特征的聚合可以包括对编码特征的平均池化操作等，本公开对此不做限定。
根据本公开的实施例，可以对目标对象对常驻区域的访问数据进行编码，得到常驻区域的访问特征。随后根据该常驻区域的访问特征与多个区域中每个区域的访问记忆特征之间的相似度，为每个区域的访问记忆特征分配权重。随后，将多个区域的访问记忆特征根据分配的权重加权求和，将加权求和得到的特征与常驻区域的访问特征进行拼接，将拼接得到的特征作为目标对象的偏好特征。其中，分配的权重可以与相似度正相关。
根据本公开的实施例，兴趣点的空间约束特征可以是根据多个兴趣点彼此之间的位置关系确定的。例如，可以通过将每个兴趣点的特征与该每个兴趣点的关联兴趣点的特征融合，来得到每个兴趣点的空间约束特征。其中，每个兴趣点的关联兴趣点可以指距离该每个兴趣点较近的第一预定数量个兴趣点。其中，例如可以将每个兴趣点的特征作为值特征和键特征，将关联兴趣点的特征作为查询特征，采用自注意力机制处理得到每个兴趣点的空间约束表征。可以理解的是，各个兴趣点的空间约束表征可以预先计算得到，也可以在兴趣点推荐方法的执行过程中，与目标对象的偏好特征同步地得到，本公开对此不做限定。
在得到偏好特征和兴趣点的空间约束特征后，该实施例可以将空间约束特征与偏好特征之间的差异较小的第一预定数量个兴趣点作为待推荐兴趣点。其中，特征之间的差异例如可以根据特征之间的欧式距离等来表示。
本公开实施例在确定向目标对象推荐的兴趣点时，通过结合常驻区域的访问数据和各区域的异地访问的访问记忆特征来确定目标对象的偏好特征，不仅可以考虑自身偏好对目标对象访问POI的行为的影响，还可以考虑群体的访问数据对目标对象访问POI的行为的影响，因此，可以提高确定的偏好特征的表达能力。再者，由于各兴趣点的空间约束特征是根据多个兴趣点彼此之间的位置关系来确定的，因此空间约束特征可以更好地表达兴趣点彼此之间的地理亲和度。基于此，在根据该空间约束特征与偏好特征之间的差异来确定待推荐兴趣点时，可以提高确定的待推荐兴趣点的准确性，利于提高用户体验。
根据本公开的实施例，在根据目标对象对常驻区域的访问数据得到常驻区域的访问特征后，例如可以对访问特征进行转移处理，以将访问特征的特征空间划分为多个子空间，使得不同对象的访问特征更具有区分性。类似地，还可以对每个兴趣点的空间约束特征进行转移处理，以将空间约束特征的特征空间划分为多个子空间，使得不同兴趣点的空间约束特征更具有区分性。其中，例如可以采用动态映射机制(Dynamic Mapping Mechanism)来实现对特征的转移处理。在此基础上，可以根据转移处理后访问特征与转移处理后空间约束特征之间的差异，来确定待推荐兴趣点。由于转移处理可以使得不同对象的访问特征和不同区域的空间约束特征更具有区分性，因此，可以进一步提高确定的待推荐兴趣点的精度。
以下将对确定兴趣点的空间约束特征的实现方式做进一步扩展和限定。
图3是根据本公开实施例的确定兴趣点的空间约束表征的流程示意图。
根据本公开的实施例，可以藉由条件随机场模型来学习POI的空间约束表征，使得该空间约束表征可以更为准确地表征POI之间的空间亲和度，且表征的空间亲和度与地理学第一定律更为吻合。
例如，如图3所示，确定兴趣点的空间约束表征的方法300可以包括操作S310～操作S330。
在操作S310，根据多个兴趣点彼此之间的位置关系，确定多个兴趣点彼此之间的关联关系。
例如，该实施例可以计算多个兴趣点彼此之间的距离，确定距离小于距离阈值ρd的两个兴趣点之间具有关联关系。其中，距离阈值ρd可以根据实际需求进行设定，例如可以为1km，5km等，本公开对此不做限定。
例如，多个兴趣点彼此之间的关联关系可以采用关联关系矩阵εs来表示，其中，关联关系矩阵中第i行第j列的元素
Figure BDA0003750708450000101
表示多个兴趣点中第i个兴趣点
Figure BDA0003750708450000102
与第j个兴趣点
Figure BDA0003750708450000103
之间的关联关系，该元素
Figure BDA0003750708450000104
的取值可以为：
Figure BDA0003750708450000105
其中，
Figure BDA0003750708450000106
的取值为1时，表示第i个兴趣点
Figure BDA0003750708450000107
与第j个兴趣点
Figure BDA0003750708450000108
之间具有关联关系。
在操作S320，根据多个兴趣点彼此之间的关联关系和多个兴趣点各自的特征数据，确定针对多个兴趣点的空间图。
根据本公开的实施例，可以为多个兴趣点随机分配特征数据。设定多个兴趣点构成兴趣点集合
Figure BDA0003750708450000109
兴趣点集合中第i个兴趣点由
Figure BDA00037507084500001010
表示，第i个兴趣点的特征数据由vi表示，则兴趣点集合
Figure BDA00037507084500001011
多个兴趣点的特征数据可以构成特征数据集合
Figure BDA00037507084500001012
其中，
Figure BDA00037507084500001013
为兴趣点集合
Figure BDA00037507084500001014
中兴趣点的总个数。该实施例可以将每个兴趣点作为空间图中每个顶点所表示的对象。
该实施例可以根据多个兴趣点彼此之间的关联关系来确定空间图中的边，以由边来表示兴趣点之间的关联关系。例如，确定的空间图可以表示为
Figure BDA00037507084500001015
根据本公开的实施例，还可以根据每个兴趣点的属性信息，来确定每个兴趣点的特征数据。其中，兴趣点的属性信息可以包括兴趣点的类型、兴趣点的地理位置、兴趣点的名称和/或兴趣点的客流量等。该实施例可以采用嵌入方式来根据属性信息得到特征数据。
在操作S330，以特征数据为观察变量，以空间约束特征为随机变量，将空间图输入条件随机场模型，得到多个兴趣点中每个兴趣点的空间约束特征。
根据本公开的实施例，可以以多个兴趣点的多个特征数据构成的特征数据集合
Figure BDA0003750708450000116
作为观察变量序列，构建空间约束特征的后验概率分布模型，例如，若多个兴趣点的多个空间约束特征构成的集合由
Figure BDA0003750708450000111
表示，则空间约束特征的后验概率分布函数可以表示为：
Figure BDA0003750708450000112
其中，
Figure BDA0003750708450000113
为概率归一化因子，
Figure BDA0003750708450000114
为特征函数。
条件随机场模型可以对该后验概率分布函数进行求解，确定最大概率时
Figure BDA0003750708450000115
的取值，从而得到空间约束特征。例如，条件随机场模型可以基于线性链结构构建，通过训练得到条件随机场模型的参数，该参数可以包括各特征函数的权重向量，能量函数可以通过对多个特征函数累加来得到。
本公开实施例通过采用条件随机场模型来确定兴趣点的空间约束特征，可以使得得到的空间约束特征能够同时表达POI的固有属性和POI之间的空间亲和度。如此，可以便于将该确定的空间约束特征迁移到不同的下游任务中。该下游任务例如可以包括兴趣点的推荐任务、兴趣点访问流量的趋势的预测任务等，本公开对此不做限定。
可以理解的是，在新增加了目标兴趣点的情况下，可以将多个兴趣点作为预定兴趣点。在确定该新增加的目标兴趣点的空间约束特征时，该实施例可以根据目标兴趣点与预定兴趣点之间的位置关系，确定预定兴趣点中与目标兴趣点具有关联关系的点，并将具有关联关系的点作为目标兴趣点的关联兴趣点。随后根据该关联兴趣点和目标兴趣点中每个兴趣点的属性信息，确定每个兴趣点的特征数据。随后，根据该目标兴趣点和关联兴趣点确定空间图，该空间图是针对目标兴趣点的。在得到针对目标兴趣点的空间图后，即可采用与操作S330类似的原理，来确定目标兴趣点的空间约束特征。
以下将结合图4所示的实现原理图，对确定兴趣点的空间约束特征的实现方式做进一步扩展和限定。
图4是根据本公开实施例的确定兴趣点的空间约束表征的实现原理图。
根据本公开的实施例，可以设定条件随机场模型为吉布斯随机场模型。即条件随机场模型可以通过随机采样来不断更新空间约束特征的表示模型，当满足一定的迭代终止条件或者达到最大迭代次数时就可以得到最终的空间约束特征。
在该实施例中，特征函数可以由吉布斯能量函数来表示，能量函数由一元势函数和二元势函数构成。例如，上述的特征函数可以采用以下公式(3)来表示：
Figure BDA0003750708450000121
其中，E为吉布斯能量函数，对于多个兴趣点中的第i个兴趣点，吉布斯能量函数的取值例如可以采用以下公式(4)来表示：
Figure BDA0003750708450000122
其中，α、β为超参数，
Figure BDA0003750708450000123
表示一元势函数的取值，
Figure BDA0003750708450000124
表示二元势函数的取值。
具体地，如图4所示，在该实施例400中，吉布斯随机场模型中能量函数的一元势函数可以根据每个兴趣点的特征数据与每个兴趣点的空间约束特征来确定。例如可以根据第1个兴趣点的特征数据v1 411与第1个兴趣点的空间约束特征
Figure BDA0003750708450000125
之间的差异来确定针对第1个兴趣点的一元势函数，根据第2个兴趣点的特征数据v2 412与第2个兴趣点的空间约束特征
Figure BDA0003750708450000126
之间的差异确定针对第2个兴趣点的一元势函数，针对
Figure BDA0003750708450000127
个兴趣点，可以总计得到
Figure BDA0003750708450000128
个一元势函数。其中，确定一元势函数的差异例如可以由曼哈顿距离或者欧式距离等来表示。示例性地，对于第i个兴趣点，一元势函数可以表示为：
Figure BDA0003750708450000129
如图4所示，吉布斯随机场模型中能量函数的二元势函数可以根据每个兴趣点的空间约束特征与具有关联关系的兴趣点的空间约束特征来确定。例如，可以根据第1个兴趣点的空间约束特征
Figure BDA00037507084500001210
与具有关联关系的第2个兴趣点的空间约束特征
Figure BDA00037507084500001211
之间的差异来确定针对第1个兴趣点的二元势函数。其中，确定二元势函数的差异可以由曼哈顿距离或者欧式距离等来表示。示例性地，设定与第i个兴趣点具有关联关系的兴趣点为第j个兴趣点，则针对第i个兴趣点的二元势函数可以表示为：
Figure BDA0003750708450000131
在得到一元势函数和二元势函数后，该实施例可以根据观察变量、一元势函数和二元势函数对后验概率分布公式进行求解，从而得到多个兴趣点中每个兴趣点的空间约束特征。
具体地，在得到一元势函数的表达公式(5)和二元势函数的表达公式(6)后，可以将公式(5)和公式(6)代入公式(4)和(3)，得到针对多个兴趣点中每个兴趣点的能量函数430。在得到能量函数后，将能量函数代入公式(2)，可得到随机变量的后验分布模型，即随机变量的后验概率分布函数。
条件随机场模型例如可以采用变分推断方法来对后验概率分布函数进行求解。具体地，可以采用先验分布模型来逼近后验分布模型，采用KL散度来衡量两个分布的逼近程度，如此，求解后验分布模型的问题可以被转化为一个最小化KL散度的最优化问题。其中，先验分布模型例如可以为高斯分布模型等模型，例如还可以为均匀分布模型等，本公开对此不做限定。
在一实施例中，对于吉布斯随机场模型，可以设定一系列独立的边缘分布为随机变量的先验分布，该一系列独立的边缘分布例如可以采用以下公式(7)来表示：
Figure BDA0003750708450000132
设定
Figure BDA0003750708450000133
符合高斯分布，则该实施例可以采用平均场近似算法来得到先验分布模型的最优解。随后，该实施例可以根据最优解表示的高斯分布模型的最优解的期望和观察变量，来确定多个兴趣点中每个兴趣点的空间约束表征。
示例性地，采用平均场近似算法确定的针对第i个兴趣点的先验分布模型的最优解可以采用以下公式(8)来表示：
Figure BDA0003750708450000134
其中，
Figure BDA0003750708450000135
为与第i个兴趣点具有关联关系的兴趣点的集合。设定该最优解表示的分布为高斯分布，考虑到高斯分布的最大概率所对应的随机变量即为该高斯分布的期望，则该实施例可以通过求解
Figure BDA0003750708450000136
的期望，获得随机变量。通过求解
Figure BDA0003750708450000137
的期望，例如可以得到以下公式(9)：
Figure BDA0003750708450000141
该实施例可以将第j个兴趣点的特征数据作为该第j个兴趣点的空间约束特征的初始值
Figure BDA0003750708450000142
例如，第1个兴趣点的空间约束特征
Figure BDA0003750708450000143
的初始值为
Figure BDA0003750708450000144
第2个兴趣点的空间约束特征
Figure BDA0003750708450000145
的初始值为
Figure BDA0003750708450000146
将最后一次迭代所得到的特征
Figure BDA0003750708450000147
作为第i个兴趣点的空间约束特征。在条件随机场模型中，根据该迭代公式(9)计算空间约束特征的网络层可以为如图4所示的空间聚合层440，用于对与每个兴趣点具有关联关系的关联兴趣点的空间约束表征进行聚合，从而得到该每个兴趣点的空间约束表征。其中，L为迭代次数，该迭代次数为超参数。
基于如图4所示的原理，可以根据观察变量、每个兴趣点的一元势函数、每个兴趣点的二元势函数，得到每个兴趣点的空间约束表征。例如，对于第1个兴趣点，可以得到空间约束表征
Figure BDA0003750708450000148
对于第2个兴趣点，可以得到空间约束表征
Figure BDA0003750708450000149
在一实施例中，通常与每个兴趣点具有关联关系的兴趣点有多个，该具有关联关系的兴趣点为针对每个兴趣点的关联兴趣点。在该实施例中，在确定二元势函数时，例如还可以采用注意力机制来确定每个兴趣点与每个关联兴趣点之间的空间关联度，随后以该空间关联度为加权系数，对每个兴趣点与多个关联兴趣点之间的多个差异进行加权，将加权得到的函数作为针对该每个兴趣点的二元势函数。如此，可以使得具有更强的空间亲和度的POI在空间约束特征的特征空间中更为相似，可以提高确定的空间约束特征的表达能力。
例如，条件随机场模型可以以兴趣点的空间约束特征为变量，采用注意力机制确定空间关联度的表达式。例如，在采用注意力机制确定空间关联度的表达式时，条件随机场模型例如可以先将每个兴趣点的空间约束特征与每个关联兴趣点的空间约束特征融合，得到融合特征。随后采用激活函数对融合特征进行处理，得到激活处理后的特征。最后通过将针对每个兴趣点得到的多个激活处理后的特征进行归一化处理，从而得到每个兴趣点与每个关联兴趣点之间的空间关联度。
例如，针对第i个兴趣点及与第i个兴趣点关联的第j个兴趣点，可以采用以下公式(10)得到激活处理后的特征：
Figure BDA0003750708450000151
其中，σ1()为激活函数，该激活函数例如可以为ReLU激活函数或ELU激活函数等非饱和激活函数，本公开对此不做限定。as与Ws时训练得到的模型参数。
Figure BDA0003750708450000152
表示特征之间的拼接操作。
在一实施例中，可以采用以下公式(11)进行归一化处理，从而得到第i个兴趣点与第j个兴趣点之间的空间关联度：
Figure BDA0003750708450000153
在得到空间关联度后，针对第i个兴趣点的二元势函数例如可以表示为以下公式(12)：
Figure BDA0003750708450000154
基于该二元势函数，上述针对第i个兴趣点的先验分布模型的最优解可以采用以下公式(13)来表示：
Figure BDA0003750708450000155
相应地，通过求解公式(13)中
Figure BDA0003750708450000156
的期望，可以得到以下公式(14)：
Figure BDA0003750708450000157
需要说明的是，在迭代公式(14)中，对于第l次迭代，γij是根据第(l-1)次迭代中得到的空间约束特征确定的。
为了便于确定兴趣点的空间约束特征，本公开还提供了一种确定空间约束特征的条件随机场模型的训练方法。以下将结合图5对该训练方法进行详细描述。
图5是根据本公开实施例的确定空间约束表征的条件随机场模型的训练方法的流程示意图。
如图5所示，该实施例的条件随机场模型的训练方法500可以包括操作S510～操作S550。
在操作S510，根据多个兴趣点彼此之间的位置关系，确定多个兴趣点彼此之间的关联关系。
在操作S520，根据多个兴趣点彼此之间的关联关系和多个兴趣点各自的特征数据，确定针对多个兴趣点的空间图。
在操作S530，以特征数据为观察变量，以空间约束特征作为随机变量，将空间图输入条件随机场模型，得到多个兴趣点中每个兴趣点的空间约束特征。
可以理解的是，操作S510～操作S530分别与上文描述的操作S310～操作S330类似，在此不再赘述。
在操作S540，根据每个兴趣点的空间约束特征和多个兴趣点中与每个兴趣点具有关联关系的关联兴趣点的空间约束特征，确定条件随机场模型的损失值。
在操作S550，根据损失值，训练条件随机场模型。
在一实施例中，可以根据每个兴趣点的空间约束特征与关联兴趣点的空间约束特征之间的差异来确定损失值。该损失值例如可以与空间约束特征之间的差异正相关。该实施例可以以最小化损失值为目标，调整条件随机场模型中的网络参数，实现对条件损失场模型的训练。
在一实施例中，条件场随机场模型包括吉布斯随机场模型。相应地，在训练条件随机场模型时，例如可以以最小化吉布斯能量函数为目标。这是由于吉布斯能量函数的取值(即能量值越大)，则表示状态越不稳定。
例如，在确定损失值时，可以先针对每个兴趣点，根据每个兴趣点的特征数据与每个兴趣点的空间约束特征之间的差异，确定一元势函数针对每个兴趣点的第一取值。例如，对于第i个兴趣点，可以采用上文描述的公式(5)来得到第一取值。同时，根据每个兴趣点的空间约束特征与关联兴趣点的空间约束特征之间的差异，来确定二元势函数针对该每个兴趣点的第二取值。例如，对于第i个兴趣点，可以采用上文描述的公式(6)或公式(12)得到第二取值。在第i个兴趣点的关联兴趣点为多个的情况下，采用上文描述的公式(12)得到针对每个关联兴趣点的第二取值。最终，将针对多个关联兴趣点的第二取值的和，作为针对第i个兴趣点的第二取值。
在得到针对每个兴趣点的第一取值和第二取值后，可以根据第一取值和第二取值，来确定条件随机场模型的损失值。例如，可以将第一取值和第二取值代入上文描述的公式(3)，从而得到条件随机场模型的损失值。
示例性地，对于第i个兴趣点，设定该第i个兴趣点的关联兴趣点为多个，则计算损失值
Figure BDA0003750708450000171
的损失函数例如可以表示为如下公式(15)，该公式(15)将针对多个兴趣点的吉布斯能量函数的和作为条件随机场模型的损失值
Figure BDA0003750708450000172
Figure BDA0003750708450000173
可以理解的是，在采用上文描述的公式(12)得到针对每个兴趣点的第二取值的原理与上文描述的类似，可以为：先根据每个兴趣点的空间约束特征与关联兴趣点的空间约束特征，采用注意力机制确定每个兴趣点与关联兴趣点之间的空间关联度。例如，可以采用上文描述的公式(10)和公式(11)来确定空间关联度。随后，可以以空间关联度为加权系数，对每个兴趣点的空间约束特征与关联兴趣点的空间约束特征之间的差异进行加权，从而得到针对每个兴趣点的第二取值。例如，在得到空间关联度后，可以采用上文描述的公式(12)得到第二取值。
在条件随机场模型的训练过程中，可以对上文公式(10)中的模型参数as与Ws进行调整及条件随机场模型中的其他网络参数进行调整。
本公开实施例通过训练条件随机场模型，可以使得条件随机场模型预测的空间约束特征能够表征POI的固有属性，且可以表征POI彼此之间的空间亲和度。再者，由于POI之间存在天然的区域聚集效应，通过使得空间约束特征能够表征POI彼此之间的空间亲和度，可以达到使得不同区域的POI的空间约束特征存在显著区别的效果，从而能够为区域级别的下游任务的实现提供有力的支持。
以下将对确定群体记忆特征的实现方式做进一步扩展和限定。
图6是根据本公开实施例的确定群体记忆特征的方法的流程示意图。
根据本公开的实施例，可以对群体的POI访问行为按区域精细化管理，以在确定待推荐兴趣点时，按区域考虑对象的访问倾向性受群体的访问行为的影响，并因此可以使得推荐结果更为符合对象需求。这是由于对象通常是以区域为单位，根据不同异地区域的不同总体特征来做出出行规划的。其中，可以针对每个区域维护访问记忆特征，以采用访问区域特征来体现群体对区域的访问行为。
根据本公开的实施例，例如可以采用注意力机制来整合多个区域的访问记忆特征，将整合得到的特征来作为群体记忆特征，该群体记忆特征可以反应群体行为对对象的偏好特征的影响。其中，综合多个访问记忆特征时，例如可以根据用户对常驻区域的访问数据来确定每个访问记忆特征的权重。在得到群体记忆特征后，可以对群体记忆特征和目标对象对常驻区域的访问特征进行融合，从而得到目标对象的偏好特征。通过该方式，可以使得确定的偏好特征能够更准确地反映目标对象的POI访问倾向性，并因此利于提高兴趣点的推荐效果，提高用户体验。
如图6所示，该实施例的确定群体记忆特征的方法600可以包括操作S610～操作S630。
在操作S610，根据目标对象对常驻区域的访问数据，确定目标对象针对常驻区域的访问特征。
根据本公开的实施例，可以通过对目标对象对常驻区域的访问数据编码，从而得到访问特征。或者，可以先确定对常驻区域的访问数据中POI的访问记录，随后根据为常驻区域内的POI分配的特征数据，对常驻区域中所有目标对象访问过的POI的特征数据进行聚合，从而得到目标对象针对常驻区域的访问特征。其中，对特征数据的聚合可以包括对特征数据的平均池化操作、最大池化操作等，本公开对此不做限定。
在操作S620，根据访问特征和多个兴趣点所属区域中每个区域的访问记忆特征，确定目标对象与每个区域之间的关联强度。
在一实施例中，可以根据访问特征与每个区域的访问记忆特征之间的相似度，来确定目标对象与每个区域之间的关联强度。其中，相似度与关联强度正相关。
在一实施例中，还可以将访问特征与每个区域的访问记忆特征进行融合，得到与多个区域一一对应的多个融合特征。随后，对多个融合特征进行归一化处理，将对每个融合特征归一化处理所得到的值作为目标对象与该每个融合特征所对应的区域之间的关联强度。
在操作S630，以关联强度为权重，根据多个兴趣点所属区域的访问记忆特征确定目标对象对多个兴趣点所属区域的群体记忆特征。
根据本公开的实施例，可以以关联强度为权重，对多个访问记忆特征进行加权求和，将加权求和得到的特征作为群体记忆特征。
在得到群体记忆特征后，该实施例可以将目标对象针对常驻区域的访问特征与该群体记忆特征进行拼接，将拼接得到的特征作为目标对象的偏好特征。
可以理解的是，多个兴趣点所属区域可以为设定的多个预定区域，该多个预定区域例如可以根据目标对象的搜索记录、页面浏览记录等来确定，本公开对此不做限定。
在一实施例中，在采用注意力机制来确定目标对象与每个区域之间的关联强度时，例如可以先采用第一激活函数对每个区域的访问记忆特征和对常驻区域的访问特征进行处理，得到每个区域与目标对象之间的关联特征。随后，对得到的多个关联特征进行归一化处理等，从而得到目标对象与每个区域之间的关联强度。
其中，在采用第一激活函数对每个区域的访问记忆特征和访问特征进行处理时，例如以先将访问特征与每个区域的空间约束特征融合，得到融合特征。例如可以采用拼接的方式进行融合。随后采用第一激活函数对融合特征进行处理，得到关联特征。例如，设定第i个区域的访问记忆特征为Mi，对常驻区域的访问特征为uh，则例如可以采用以下公式(16)来得到第i个区域与目标对象之间的关联特征
Figure BDA0003750708450000191
Figure BDA0003750708450000192
其中，σ2()为第一激活函数，该第一激活函数例如可以为ReLU激活函数或ELU激活函数等，本公开对此不做限定。ar与Wr是训练得到的注意力网络的网络参数，
Figure BDA0003750708450000193
表示特征之间的拼接操作。可以理解的是，该关联特征
Figure BDA0003750708450000194
例如可以由关联值来表示。通过对关联值归一化处理，可以得到关联强度。
示例性地，在得到关联特征后，例如可以采用以下公式(17)来确定目标对象与第i个区域之间的关联强度
Figure BDA0003750708450000195
Figure BDA0003750708450000196
其中，
Figure BDA0003750708450000197
为多个兴趣点所属区域的区域集合，
Figure BDA0003750708450000198
表示区域集合中区域的总个数。
示例性地中，在得到关联特征后，例如可以采用以下公式(18)来确定目标对象与第i个区域之间的关联强度
Figure BDA0003750708450000199
Figure BDA00037507084500001910
可以理解的是，公式(17)和公式(18)所示的归一化处理的原理仅作为示例以利于理解本公开，本公开对此不做限定。本公开实施例通过将注意力机制和激活函数相结合来确定目标对象和区域之间的关联强度，可以使得针对每个区域都具有独特的非线性变换，利于提高确定的关联强度的精度。
以下将对确定每个区域与目标对象之间的关联特征的实现方式做进一步扩展和限定。
图7是根据本公开实施例的确定群体记忆特征的方法的实现原理图。
根据本公开的实施例，在维护各个区域的访问记忆特征时，例如可以为每个区域的访问记忆特征分配第二预定数量个插槽(例如可以为m)，以提高数据存储的鲁棒性。相应地，每个区域的访问记忆特征例如可以包括存储在第二预定数量个插槽的第二预定数量个子特征。例如，设定第i个区域的访问记忆特征由矩阵
Figure BDA0003750708450000201
表示，则第二预定数量个插槽中每个插槽存储的为尺寸为d的特征向量，该特征向量即表示一个子特征。
在该实施例中，例如可以采用注意力机制来整合第二预定数量个插槽中存储的子特征，并将整合得到的特征来与访问特征进行融合，并采用注意力机制对融合得到的特征处理从而得到群体记忆特征。如此，可以进一步提高得到的关联特征的精度。
如图7所示，该实施例700中，用来得到群体记忆特征
Figure BDA0003750708450000202
的注意力网络710可以包括两级注意力网络，包括插槽级注意力子网络711和区域级注意力子网络712。设定对于区域集合
Figure BDA0003750708450000203
中的每个区域，该每个区域的访问记忆特征可以存储在5个插槽中，区域集合
Figure BDA0003750708450000204
对应的访问记忆特征可以由存储矩阵
Figure BDA0003750708450000205
来表示。
在得到每个区域与目标对象之间的关联特征时，可以先从存储矩阵中读取该每个区域的第二预定数量个子特征。随后采用插槽级注意力子网络711来对访问特征uh 702和每个子特征进行处理，得到每个子特征与目标对象之间的子关联强度，并以该子关联强度为权重，根据第二预定数量个子特征确定目标对象对该每个区域的记忆特征。具体地，插槽级注意力子网络711可以以子关联强度为权重，对第二预定数量个子特征进行加权求和，从而得到目标对象对该每个区域的记忆特征mr。
在得到记忆特征后，可以将该记忆特征与访问特征uh 702作为区域级注意力子网络712的输入，由区域级注意力子网络712采用第一激活函数对记忆特征和访问特征uh 702进行处理，从而得到每个区域与目标对象之间的关联特征。具体地，对于第i个区域，区域级注意力子网络712可以采用以下公式(19)来得到关联特征
Figure BDA0003750708450000211
Figure BDA0003750708450000212
其中，mi为目标对象对第i个区域的记忆特征。
在得到关联特征后，区域级注意力子网络712可以采用如上文所示的公式(17)或(18)得到目标对象与第i个区域之间的关联强度
Figure BDA0003750708450000213
并根据如以下公式(20)得到群体记忆特征
Figure BDA0003750708450000214
Figure BDA0003750708450000215
其中，
Figure BDA0003750708450000216
为区域集合
Figure BDA0003750708450000217
中区域的个数。
在一实施例中，在插槽级注意力子网络711得到子关联强度时，例如可以采用第二激活函数来对访问特征uh 702和每个子特征进行处理，得到每个子特征与目标对象之间的子关联特征。该得到子关联特征的原理与上文描述的得到关联特征的原理类似。例如，插槽级注意力子网络711可以采用如下公式(21)计算得第i个区域的第k个子特征与目标对象之间的子关联特征
Figure BDA0003750708450000218
Figure BDA0003750708450000219
其中，Mk，i为第i个区域的第k个子特征。σ3()为第二激活函数，该第二激活函数与上文描述的第一激活函数类似，在此不再赘述。ap、Wp是训练得到的插槽级注意力子网络711的网络参数。
在得到子关联特征后，插槽级注意力子网络711例如可以根据每个子特征与目标对象之间的子关联特征和第二预定数量个子特征分别与目标对象之间的子关联特征，来确定每个子特征与目标对象之间的子关联强度。例如，可以对针对第二预定数量个子特征的第二预定数量个子关联特征进行归一化处理，将归一化处理得到的值作为子关联强度。
示例性地，插槽级注意力子网络711例如可以采用以下公式(22)来确定第i个区域的第k个子特征Mk，i与目标对象之间的子关联强度：
Figure BDA00037507084500002110
其中，m为每个区域的访问记忆特征所包括的子特征的个数。
在得到子关联强度后，插槽级注意力子网络711例如可以以子关联强度为权重，采用以下公式(23)来得到目标对象对第i个区域的记忆特征：
Figure BDA0003750708450000221
以下将对上文描述的操作S610的实现方式做进一步扩展和限定。
在实施例700中，如图7所示，在确定目标对象针对常驻区域的访问特征时，可以采用聚合器730对常驻区域中被访问的POI的空间约束特征701进行聚合，从而得到访问特征uh 702。该聚合器730例如可以采用平均池化、最大值池化等方式来聚合多个POI的空间约束特征701。
例如，在聚合空间约束特征之前，可以先根据目标对象对常驻区域的访问数据，来确定常驻区域中被访问的目标兴趣点及目标兴趣点的被访问次数。随后根据被访问次数来聚合目标兴趣点的空间约束特征，从而得到访问特征。例如，若采用平均池化的方式来对目标兴趣点的空间约束特征进行聚合，则对于被访问次数为多次的目标兴趣点，应将目标兴趣点的空间约束特征作为被访问次数个特征进行聚合。通过该方式，可以使得被多次访问的兴趣点的空间约束特征在聚合时占有较大的权重，可以提高访问特征的精度。
例如，若对常驻区域的访问数据包括多条数据，每条数据表示对一个POI的单次访问，则访问特征例如可以采用以下公式(24)得到：
Figure BDA0003750708450000222
其中，
Figure BDA0003750708450000223
为对常驻区域的访问数据的条数，
Figure BDA0003750708450000224
表示对常驻区域的访问数据的集合，
Figure BDA0003750708450000225
表示
Figure BDA0003750708450000226
中第i条访问数据所涉及的POI的空间约束特征。AGG()为聚合器采用的聚合函数，例如可以为平均池化函数、最大池化函数等，本公开对此不做限定。
为了便于确定群体记忆特征，本公开还提供了一种用于确定群体记忆特征的记忆网络的训练方法。以下将结合图8～图9对该训练方法进行详细描述。
图8是根据本公开实施例的记忆网络的训练方法的流程示意图。
如图8所示，该实施例的记忆网络的训练方法800可以包括操作S810～操作S850。其中，记忆网络例如可以包括聚合子网络、第一注意力子网络和第二注意力子网络。聚合子网络可以基于上文描述的聚合器构建。第一注意力子网络可以用于确定目标对象对多个区域的群体记忆特征。第二注意力子网络可以用于确定目标对象对单个区域的记忆特征。
在操作S810，根据目标对象对常驻区域的访问数据，采用聚合子网络确定目标对象针对常驻区域的第一访问特征。
在操作S820，根据目标对象对除常驻区域外其他区域的访问数据，采用聚合子网络确定目标对象针对其他区域的第二访问特征。
可以理解的是，第一访问特征和第二访问特征的确定原理与上文描述的操作S610中确定访问特征的原理类似，在此不再赘述。
在一实施例中，设定对于对象u，其对常驻区域和对其他区域的访问数据可以表示为：
Figure BDA0003750708450000231
其中，rh为常驻区域，ro为除常驻区域外的其他区域，可以称为异地区域。
Figure BDA0003750708450000232
为对常驻区域的访问数据，
Figure BDA0003750708450000233
为对异地区域的访问数据。
例如，聚合子网络可以采用上文描述的公式(24)得到第一访问特征uh。类似地，聚合子网络可以采用以下公式(25)得到第二访问特特征uo：
Figure BDA0003750708450000234
其中，
Figure BDA0003750708450000235
为对异地区域的访问数据的条数，
Figure BDA0003750708450000236
表示对异地区域的访问数据的集合。
Figure BDA0003750708450000237
表示
Figure BDA0003750708450000238
中第i条访问数据所涉及的POI的空间约束特征。AGG()为聚合子网络采用的聚合函数。
在操作S830，根据第一访问特征和多个预定区域中每个区域的访问记忆特征，采用第一注意力子网络确定目标对象与每个区域之间的关联强度，并以关联强度为权重，根据多个预定区域的访问记忆特征确定目标对象对多个区域的群体记忆特征。
可以理解的是，操作S830中确定的关联强度的原理与上文描述的操作S620中确定关联强度的原理类似，操作S830中确定群体记忆特征的原理与上文描述的操作S630中确定群体记忆特征的原理类似，在此不再赘述。
在操作S840，采用第二注意力子网络对其他区域的访问记忆特征和第二访问特征进行处理，确定目标对象对其他区域的记忆特征。
根据本公开的实施例，第二注意力子网络例如可以采用注意力机制对其他区域的访问记忆特征和第二访问特征进行融合，将融合得到的特征作为目标对象对其他区域的记忆特征。例如，可以将第二访问特征作为查询特征，将其他区域的访问记忆特征作为键特征和值特征，采用注意力机制对查询特征、键特征和值特征进行运算，将运算得到的特征作为目标对象对其他区域的记忆特征。
在操作S850，根据记忆特征与群体记忆特征之间的差异，对记忆网络进行训练。
该实施例可以以最小化记忆特征与群体记忆特征之间的差异为目标，对记忆网络中的网络参数进行调整，从而实现对记忆网络的训练。其中记忆特征与群体记忆特征之间的差异可以采用欧式距离等来表示。例如，设定目标对象对其他区域的记忆特征可以表示为
Figure BDA0003750708450000241
群体记忆特征为
Figure BDA0003750708450000242
则该操作S850例如可以先采用如下损失函数公式(26)计算记忆网络的损失
Figure BDA0003750708450000243
随后通过以最小化损失
Figure BDA0003750708450000244
为目标，来训练记忆网络。
Figure BDA0003750708450000245
该损失函数公式(26)可以理解为基于监督信号的重构损失函数。在该实施例中，
Figure BDA0003750708450000246
中的ro可以仅为一个异地区域。该实施例可以将对象最新访问过的异地区域作为ro，由对象访问该异地区域后对常驻区域的访问数据构成
Figure BDA0003750708450000247
在一实施例中，第一注意力子网络可以采用上文描述的区域级注意力子网络，第二注意力子网络可以采用上文描述的插槽级注意力子网络，本公开对此不做限定。
可以理解的是，区域的访问记忆特征是根据参考对象对区域的访问数据确定的，该区域为针对参考对象的异地区域。具体地，可以根据多个对象对异地区域的访问数据来维护区域的访问记忆特征。
在一实施例中，在对记忆网络进行训练的过程中，还可以不断地对目标对象访问的异地区域的访问记忆特征进行更新，以使得访问记忆特征能够更好地表达群体访问异地区域的偏好。
图9是根据本公开实施例的记忆网络的训练方法的实现原理图。
如图9所示，在该实施例900中，记忆网络可以包括聚合子网络930、第一注意力子网络912、第二注意力子网络911和特征更新子网络920。其中，聚合子网络930可以采用上文描述的聚合器。第一注意力子网络912和第二注意力子网络可以构成两级注意力网络910，即第一注意力子网络912为区域级注意力子网络，第二注意力子网络911为插槽级注意力子网络。
该实施例在训练记忆网络时，例如还可以根据第二访问特征uo901，采用特征更新子网络920来对其他区域ro的访问记忆特征进行更新，得到更新后的访问记忆特征。该实施例可以根据上述描述的第一访问特征uh902和更新后访问记忆特征，采用第一注意力子网络来确定目标对象与其他区域ro之间的关联强度。
在一实施例中，特征更新子网络920例如可以将第二访问特征与其他区域ro的访问记忆特征拼接，从而得到更新后的访问记忆特征。
在一实施例中，特征更新子网络920例如可以基于门控遗忘机制构建得到。如此，在得到更新后访问记忆特征时，特征更新子网络920例如可以先根据第二访问特征和其他区域ro的访问记忆特征，来采用门控遗忘机制来确定门控系数。将该门控系数作为保留访问记忆特征的比例，根据该比例对访问记忆特征和第二访问特征进行加和，从而得到更新后访问记忆特征。
在访问记忆特征包括存储在第二预定数量个插槽的第二预定数量个子特征时，该实施例可以采用门控遗忘机制来确定针对每个子特征的门控系数。根据该门控系数来对每个子特征进行更新。
例如，设定其他区域ro的第k个子特征由
Figure BDA0003750708450000251
表示，则针对该第k个子特征的门控系数gk例如可以采用以下公式(27)计算得到：
Figure BDA0003750708450000252
其中，σ4()为激活函数，该激活函数可以为sigmoid函数等，本公开对此不做限定。ag为特征更新子网络920的网络参数。
在得到门控系数后，该实施例例如可以采用以下公式(28)来对其他区域ro的第k个子特征由
Figure BDA0003750708450000253
进行更新，得到更新后的子特征
Figure BDA0003750708450000254
Figure BDA0003750708450000255
通过类似原理可以对其他区域ro的第二预定数量个(例如m个)子特征进行更新，从而得到更新后记忆特征
Figure BDA0003750708450000256
该实施例通过在训练记忆网络时，不断将对象的异地区域的访问特征写入访问记忆特征中，可以方便后续对象对群体偏好的利用，利于提高在预测阶段确定的群体记忆特征的精度，以及兴趣点的推荐效果。
在该实施例900中，可以将目标对象对常驻区域的第一访问数据903作为聚合器930的输入，由聚合器聚合得到第一访问特征uh 902。同时，可以将目标对象对一个其他区域的第二访问数据904作为聚合器930的输入，由聚合器聚合得到第二访问特征uo901。随后，可以将第二访问特征uo 901作为特征更新子网络920的输入，由特征更新子网络920完成对其他区域ro的访问记忆特征的更新，得到包括更新后访问记忆特征的存储矩阵
Figure BDA0003750708450000261
随后，可以将从存储矩阵
Figure BDA0003750708450000262
中查询得到的每个区域的m个子特征和第一访问特征uh 902输入插槽级注意力子网络911，由插槽级注意力子网络911采用上文描述的公式(21)～公式(23)得到目标对象对每个区域的记忆特征。其中，对其他区域ro的记忆特征即为记忆特征
Figure BDA0003750708450000263
在得到目标区域对多个区域的多个记忆特征后，该实施例可以将多个记忆特征和第一访问特征uh 902输入区域级注意力子网络912中，由区域级注意力子网络912采用上文描述的公式(18)～公式(20)得到群体记忆特征
Figure BDA0003750708450000264
根据该群体记忆特征
Figure BDA0003750708450000265
和记忆特征
Figure BDA0003750708450000266
的差异，即可得到记忆网络的损失值。
以下将对上文描述的确定偏好特征的操作S210和确定待推荐兴趣点的操作S220的实现方式做进一步扩展和限定。
根据本公开的实施例，在确定待推荐兴趣点的过程中，可以采用动态映射机制来对各特征进行转换，以使得不同对象的特征更具有区分性，从而利于提高兴趣点推荐的效果。
例如，在确定目标对象的偏好特征时，可以对确定的对常驻区域的访问特征进行映射变换，随后再根据映射变换后的特征来与群体记忆特征进行融合。具体地，该实施例可以根据映射矩阵来对常驻区域的访问特征进行转移处理，得到转移后访问特征。随后，根据转移后访问特征和群体记忆特征，来确定目标对象的偏好特征。
示例性地，可以先根据对常驻区域的访问特征和映射矩阵来确定动态转移矩阵。其中，映射矩阵可以是通过训练得到的，针对每个区域，都训练有一个对应的映射矩阵。例如，可以采用以下公式(29)来得到用于对常驻区域的访问特征进行转移处理的动态转移矩阵
Figure BDA0003750708450000271
Figure BDA0003750708450000272
其中，
Figure BDA0003750708450000273
为映射矩阵。
在一实施例中，还可以采用以下公式(30)来得到用于对常驻区域的访问特征进行转移处理的动态转移矩阵
Figure BDA0003750708450000274
本公开对此不做限定。
Figure BDA0003750708450000275
其中，Wd、bd为训练得到的网络参数，通过设置该网络参数，可以提高确定动态转移矩阵的算法的拟合能力，利于提高确定的动态转移矩阵及转移后访问特征的表达能力和精度。
在得到动态转移矩阵
Figure BDA0003750708450000276
后，例如可以采用以下公式(31)来完成对常驻区域的访问特征的转移处理，从而得到转移后访问特征uhr。
Figure BDA0003750708450000277
可以理解的是，上述对uh的转移处理可以理解为动态映射操作，如此，可以将访问特征uh的特征空间自适应地划分为多个子空间，使得不同对象对不同区域的访问特征更具有独有的特性。
在一实施例中，在得到转移后访问特征后，可以将该转移后访问特征与群体记忆特征拼接，从而得到目标对象的偏好特征。
在一实施例中，还可以根据该映射矩阵对兴趣点的空间约束特征进行转移处理，将转移处理后的空间约束特征(简称转移后约束特征)作为确定待推荐兴趣点的依据。可以理解的是，该对空间约束特征的转移处理与上文描述的对访问特征uh转移处理的原理类似。
例如，可以先采用以下公式(32)来得到用于对第i个兴趣点的空间约束特征进行转移处理的动态转移矩阵
Figure BDA0003750708450000278
Figure BDA0003750708450000279
其中，
Figure BDA00037507084500002710
为映射矩阵。
在一实施例中，还可以采用以下公式(33)来得到用于对第i个兴趣点的空间约束特征
Figure BDA00037507084500002711
进行转移处理的动态转移矩阵
Figure BDA00037507084500002712
本公开对此不做限定。
Figure BDA0003750708450000281
其中，Wd、bd为训练得到的网络参数，通过设置该网络参数，可以提高确定动态转移矩阵的算法的拟合能力，利于提高确定的动态转移矩阵及转移后约束特征的表达能力和精度。
在得到动态转移矩阵
Figure BDA0003750708450000282
后，例如可以采用以下公式(34)来完成对空间约束特征的转移处理，得到第i个兴趣点的转移后约束特征
Figure BDA0003750708450000283
Figure BDA0003750708450000284
可以理解的是，上述对
Figure BDA0003750708450000285
的转移处理可以理解为动态映射操作，如此，可以将空间约束特征的特征空间自适应地划分为多个子空间，使得不同区域的空间约束特征更具有独有的特性。
在得到第i个兴趣点的转移后约束特征
Figure BDA0003750708450000286
和目标对象对常驻区域的转移后访问特征uhr后，该实施例可以采用以下公式(35)来确定第i个兴趣点的转移后约束特征
Figure BDA0003750708450000287
与目标对象的偏好特征之间的差异e(u，vi)：
Figure BDA0003750708450000288
其中，
Figure BDA0003750708450000289
为群体记忆特征。
基于类似的原理，可以得到目标对象的偏好特征与多个兴趣点中每个兴趣点的转移后约束特征之间的差异。最后，可以选择转移后约束特征与偏好特征之间的差异较小的第一预定数量个兴趣点，作为待推荐兴趣点。
为了更好地理解本公开提供的兴趣点推荐方法的实现原理，以下将结合图10，对一实施例中兴趣点推荐方法的实现原理进行描述。
图10是根据本公开实施例的兴趣点推荐方法的实现原理图。
如图10所示，该实施例中1000中，在确定推荐的兴趣点时，可以先根据多个兴趣点彼此之间的位置关系，生成针对多个兴趣点的空间图1001，该空间图1001的生成原理可以参见上文描述的操作S310～操作S320，在此不再赘述。
随后，该实施例可以将空间图1001作为条件随机场网络(CRF)1010的输入，由基于条件随机场模型构建的条件随机场网络1010生成多个兴趣点中每个兴趣点的空间约束特征。随后，可以根据对象的访问数据1002调训得到所需的空间约束特征。对象的访问数据1002可以包括对常驻区域的第一访问数据。该实施例可以从生成的空间约束特征中挑选出第一访问数据所涉及兴趣点的空间约束特征。
例如，第一访问数据涉及的兴趣点可以包括兴趣点1和兴趣点2，则挑选得到的空间约束特征可以包括针对常驻区域的特征
Figure BDA0003750708450000291
和
Figure BDA0003750708450000292
随后，该实施例可以将该针对常驻区域的特征
Figure BDA0003750708450000293
和
Figure BDA0003750708450000294
输入记忆网络1020(也可以称为群体行为记忆网络(CrowdBehavior Memory Network，CBMN))中，可以由记忆网络1020采用上文描述的聚合子网络得到对象对常驻区域的访问特征uh 1005和目标对象对多个区域的群体记忆特征
Figure BDA0003750708450000295
随后，该实施例可以将访问特征uh 1005和得到的多个兴趣点中每个兴趣点的空间约束特征作为映射网络1030的输入，由映射网络采用如上文描述的动态映射操作得到访问特征uh 1005的转移后访问特征uhr，以及每个兴趣点的转移后动态约束特征。
将转移后访问特征uhr、群体记忆特征
Figure BDA0003750708450000296
和每个兴趣点的转移后动态约束特征输入基于度量学习的推荐器1040中，基于度量学习的推荐器来对转移后访问特征uhr和群体记忆特征
Figure BDA0003750708450000297
进行融合，并基于融合特征与转移后动态约束特征之间的距离，来度量对象对POI的喜好程度。将距离较小的第一预定数量个POI作为待推荐兴趣点。
可以理解的是，条件随机场网络1010、CBMN 1020、映射网络1030和推荐器1040可以集成为端到端的兴趣点推荐模型。
可以理解的是，在对该兴趣点推荐模型进行训练时，对象的访问数据1002例如还可以包括对象对其他区域的第二访问数据。例如第二访问数据涉及的兴趣点可以包括兴趣点3和兴趣点4，则可以从CRF得到的空间约束特征中挑选得到针对其他区域的特征
Figure BDA0003750708450000298
和
Figure BDA0003750708450000299
在训练阶段中，还可以将该针对其他区域的特征
Figure BDA00037507084500002910
和
Figure BDA00037507084500002911
输入CBMN 1020中，以采用CBMN 1020对其他区域的访问记忆特征进行更新。在该实施例中，CBMN1020例如可以为上文实施例900中所示的记忆网络，更新原理与实施例900中的特征更新子网络更新访问记忆特征的原理类似，在此不再赘述。
为了便于兴趣点推荐方法的实施，本公开还提供了一种兴趣点推荐模型的训练方法，以下将结合图11对该方法进行详细描述。
图11是根据本公开实施例的兴趣点推荐模型的训练方法的流程示意图。
如图11所示，该兴趣点推荐模型的训练方法1100可以包括操作S1110～操作S1130。其中，兴趣点推荐模型可以包括偏好特征提取子模型，该偏好特征提取子模型例如可以包括上文描述的记忆网络和映射网络等，也可以仅包括记忆网络，本公开对此不做限定。
在操作S1110，根据目标对象对常驻区域的第一历史访问数据和多个兴趣点所属区域的访问记忆特征，采用偏好特征提取子模型得到目标对象的偏好特征。可以理解的是，该操作S1110的实现原理与上文描述的操作S210的实现原理类似，第一历史访问数据与上文描述的第一访问数据类似，在此不再赘述。
在操作S1120，根据目标对象对异地区域的第二历史访问数据，确定多个兴趣点中被目标对象访问的目标兴趣点。其中，第二历史访问数据与上文描述的第二访问数据类似。
在操作S1130，根据偏好特征与目标兴趣点的空间约束特征之间的差异，对偏好特征提取子模型进行训练。
可以理解的是，空间约束特征可以是根据多个兴趣点彼此之间的位置关系确定的。该确定原理可以详见上文描述的操作S310～操作S330，在此不再赘述。区域的访问记忆特征是根据参考对象对区域的访问数据确定的，该区域为针对参考对象的异地区域，该访问记忆特征与上文描述的操作S630中的访问记忆特征类似，在此不再赘述。
根据本公开的实施例，该实施例可以将偏好特征与目标兴趣点的空间约束特征之间的差异作为偏好特征提取子模型的损失值，以最小化损失值为目标，对偏好特征提取子模型中的各网络参数进行调整，从而实现对偏好特征提取子模型的训练。
示例性地，在训练阶段中，偏好特征例如可以由上文描述的转移后访问特征uhr和对象对异地区域ro的记忆特征融合得到。这是由于在训练阶段中，存在作为监督信息的异地区域。该实施例可以采用以下公式(36)得到损失值：
Figure BDA0003750708450000301
其中，e(u，vi)可以表示损失值。
在一实施例中，在存在多个对象，且每个对象有多个常驻区域的情况下，例如可以采用以下公式(37)来计算损失值
Figure BDA0003750708450000311
Figure BDA0003750708450000312
其中，
Figure BDA0003750708450000313
为训练样本中的对象集合，
Figure BDA0003750708450000314
为对象的常驻区域的集合。
在一实施例中，可以根据对象真实访问过的异地区域来构建正样本，还可以根据对象未访问过的异地区域来构建负样本，将正样本与负样本按预定比例组合，可以得到兴趣点推荐模型的样本集。类似地，确定偏好特征提取子模型的损失时，还应考虑负样本。通过结合正样本和负样本来对模型进行训练，可以提高训练得到的模型的稳定性和精度。
相应地，在训练偏好特征提取子模型时，还可以以最大化偏好特征与多个兴趣点中除目标兴趣点外其他异地区域的兴趣点的空间约束表征之间的差异为目标，来对偏好特征提取子模型进行训练。例如，可以采用以下公式(38)来计算损失值
Figure BDA0003750708450000315
Figure BDA0003750708450000316
其中，e(u，vj)表示偏好特征与除目标兴趣点外其他异地区域的兴趣点之间的差异。δ为边距大小，[]+为铰链损失函数，该损失函数的取值为[]中的值与0中较大的值。该实施例通过设置边距大小δ和铰链损失函数，可以避免训练过拟合的情况，也可以避免损失为负的情形。可以理解的是，上述公式(38)计算损失值的方式仅作为示例以利于理解本公开，本公开对此不做限定。
在一实施例中，偏好特征提取子网络包括上文描述的记忆网络，该记忆网络包括聚合子网络、第一注意力子网络和第二注意力子网络。则该实施例在确定操作S1110中的偏好特征时，可以先根据第一历史访问数据，采用聚合子网络确定目标对象针对所述常驻区域的第一访问特征。随后根据第一访问特征和多个兴趣点所属区域的访问记忆特征，采用第一注意力子网络得到目标对象对多个兴趣点所属区域的群体记忆特征，随后，可以根据第一访问特征和群体记忆特征，确定目标对象的偏好特征。同时，该实施例还可以根据第二历史访问数据，采用聚合子网络确定目标对象针对目标兴趣点的第二访问特征，并根据第二访问特征和目标兴趣点所属区域的访问记忆特征，采用第二注意力子网络得到目标对象对目标兴趣点所属区域的目标记忆特征。最后，该实施例还可以根据群体记忆特征与目标记忆特征之间的差异，对偏好特征提取子模型进行训练。
示例性地，可以根据以最小化上文描述的损失
Figure BDA0003750708450000321
为目标，训练偏好特征提取子模型。
在一实施例中，兴趣点推荐模型还包括基于条件随机场模型构建的条件随机场网络。该实施例还可以采用如上文描述的训练条件随机场模型的原理来训练兴趣点推荐模型。具体地，兴趣点推荐模型的训练方法还可以包括：根据多个兴趣点彼此之间的位置关系，确定多个兴趣点彼此之间的关联关系。根据多个兴趣点彼此之间的关联关系和多个兴趣点各自的特征数据，确定针对多个兴趣点的空间图。以特征数据为观察变量，以空间约束特征为随机变量，将空间图输入条件随机场模型，得到多个兴趣点中每个兴趣点的空间约束特征。最后根据每个兴趣点的特征数据、每个兴趣点的空间约束特征和多个兴趣点中与每个兴趣点具有关联关系的关联兴趣点的空间约束特征，训练兴趣点推荐模型。例如，该实施例可以采用上文描述的损失值
Figure BDA0003750708450000322
为目标，训练兴趣点推荐模型。
在一实施例中，兴趣点推荐模型的损失值
Figure BDA0003750708450000323
例如可以采用如下公式(39)计算得到。
Figure BDA0003750708450000324
其中，λ1、λ2、λ3为超参数。
在一实施例中，兴趣点推荐模型还可以包括上文描述的基于度量学习的推荐器，该推荐器可以预训练得到，或者，该推荐器可以不包括网络参数，因此，在兴趣点推荐模型的训练中，主要是对条件随机场网络和偏好特征提取网络进行训练。
基于本公开提供的确定群体记忆特征的方法，本公开还提供了一种确定群体记忆特征的装置。以下将结合图12对该装置进行详细描述。
图12是根据本公开实施例的确定群体记忆特征的装置的结构框图。
如图12所示，该实施例的确定群体记忆特征的装置1200可以包括访问特征确定模块1210、关联强度确定模块1220和群体记忆确定模块1230。
访问特征确定模块1210用于根据目标对象对常驻区域的访问数据，确定目标对象针对常驻区域的访问特征。
关联强度确定模块1220用于根据访问特征和多个区域中每个区域的访问记忆特征，确定目标对象与每个区域之间的关联强度。其中，区域的访问记忆特征是根据参考对象对区域的访问数据确定的，区域为针对参考对象的异地区域。
群体记忆确定模块1230用于以关联强度为权重，根据多个区域的访问记忆特征确定目标对象对多个区域的群体记忆特征。
根据本公开的实施例，上述关联强度确定模块1220可以包括：关联特征确定子模块，用于针对每个区域，采用第一激活函数对每个区域的访问记忆特征和访问特征进行处理，得到每个区域与目标对象之间的关联特征；以及强度确定子模块，用于根据每个区域与目标对象之间的关联特征和多个区域分别与目标对象之间的关联特征，确定目标对象与每个区域之间的关联强度。
根据本公开的实施例，每个区域的访问记忆特征包括存储在预定数量个插槽的预定数量个子特征。上述关联特征确定子模块可以包括：子强度确定单元，用于采用注意力机制对访问特征和预定数量个子特征进行处理，得到预定数量个子特征中每个子特征与目标对象之间的子关联强度；记忆特征确定单元，用于以子关联强度为权重，根据预定数量个子特征确定目标对象对每个区域的记忆特征；以及关联特征确定单元，用于采用第一激活函数对记忆特征和访问特征进行处理，得到每个区域与目标对象之间的关联特征。
根据本公开的实施例，上述子强度确定单元可以包括：特征确定子单元，用于针对每个子特征，采用第二激活函数对访问特征和每个子特征进行处理，得到目标对象与每个子特征之间的子关联特征；以及强度确定子单元，用于根据每个子特征与目标对象之间的子关联特征和预定数量个子特征分别与目标对象之间的子关联特征，确定每个子特征与目标对象之间的子关联强度。
根据本公开的实施例，上述访问特征确定模块1210可以包括：信息确定子模块，用于根据目标对象对常驻区域的访问数据，确定常驻区域中被访问的目标兴趣点及目标兴趣点的被访问次数；约束特征确定子模块，用于确定目标兴趣点的空间约束特征；以及访问特征获得子模块，用于根据被访问次数，聚合目标兴趣点的空间约束特征，得到访问特征。
根据本公开的实施例，上述约束特征确定子模块包括：关联点确定单元，用于根据目标兴趣点与多个预定兴趣点之间的位置关系，确定目标兴趣点与多个预定兴趣点中各兴趣点之间的关联关系，得到与目标兴趣点具有关联关系的关联兴趣点；特征数据确定单元，用于针对关联兴趣点和目标兴趣点中的每个兴趣点，根据每个兴趣点的属性信息，确定每个兴趣点的特征数据；图确定单元，用于根据特征数据和目标兴趣点与多个预定兴趣点之间的关联关系，确定针对目标兴趣点的空间图；以及约束特征确定单元，用于以特征数据作为观察变量，以空间约束特征为随机变量，将空间图输入条件随机场模型，得到目标兴趣点的空间约束特征。
根据本公开的实施例，条件随机场模型包括基于吉布斯随机场模型。上述约束特征确定单元包括：第一函数确定子单元，用于根据目标兴趣点的特征数据与目标兴趣点的空间约束特征之间的差异，确定能量函数的一元势函数；第二函数确定子单元，用于根据目标兴趣点的空间约束特征与关联兴趣点的空间约束特征之间的差异，确定能量函数的二元势函数；以及约束特征确定子单元，用于根据观察变量、一元势函数和二元势函数，确定目标兴趣点的空间约束特征。
根据本公开的实施例，关联兴趣点包括多个兴趣点，上述第二函数确定子单元具体用于：以空间约束特征为变量，采用注意力机制确定目标兴趣点与多个兴趣点中每个兴趣点之间的空间关联度；以及以空间关联度为加权系数，对目标兴趣点的空间约束特征与关联兴趣点的空间约束特征之间的差异进行加权，得到二元势函数。
根据本公开的实施例，上述约束特征确定子单元具体用于：根据观察变量、一元势函数和二元势函数，确定随机变量的后验分布模型；采用平均场近似算法得到先验高斯分布模型的最优解；以及根据最优解的期望和观察变量，确定目标兴趣点的空间约束特征。
基于本公开提供的记忆网络的训练方法，本公开还提供了一种记忆网络的训练装置，以下将结合图13对该装置进行详细描述。
图13是根据本公开实施例的记忆网络的训练装置的结构框图。
如图13所示，该实施例的记忆网络的训练装置1300可以包括第一访问特征确定模块1310、第二访问特征确定模块1320、群体记忆确定模块1330、记忆特征确定模块1340和模型训练模块1350。记忆网络包括聚合子网络和第一注意力子网络和第二注意力子网络。
第一访问特征确定模块1310用于根据目标对象对常驻区域的访问数据，采用聚合子网络确定目标对象针对常驻区域的第一访问特征。
第二访问特征确定模块1320用于根据目标对象对多个区域中除常驻区域外其他区域的访问数据，采用聚合子网络确定目标对象针对其他区域的第二访问特征。
群体记忆确定模块1330用于根据第一访问特征和多个区域中每个区域的访问记忆特征，采用第一注意力子网络确定目标对象与每个区域之间的关联强度，并以关联强度为权重，根据多个区域的访问记忆特征确定目标对象对多个区域的群体记忆特征。其中，区域的访问记忆特征是根据参考对象对区域的访问数据确定的，区域为针对参考对象的异地区域。
记忆特征确定模块1340用于采用第二注意力子网络对其他区域的访问记忆特征和第二访问特征进行处理，确定目标对象对其他区域的记忆特征。
模型训练模块1350用于根据记忆特征与群体记忆特征之间的差异，对记忆网络进行训练。
根据本公开的实施例，记忆网络还包括特征更新子网络，上述群体记忆确定模块1330包括：特征更新子模块，用于根据第二访问特征，采用特征更新子网络更新其他区域的访问记忆特征，得到更新后访问记忆特征；以及强度确定子模块，用于根据第一访问特征和更新后访问记忆特征，采用第一注意力子网络确定目标对象与其他区域之间的关联强度。
根据本公开的实施例，访问记忆特征包括存储在预定数量个插槽的预定数量个子特征。上述特征更新子模块包括：系数确定单元，用于根据第二访问特征和其他区域的访问记忆特征包括的每个子特征，采用门控遗忘机制确定针对每个子特征的门控系数；以及特征更新单元，用于根据门控系数对每个子特征和第二访问特征进行处理，完成对每个子特征的更新。
需要说明的是，本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供、公开和应用等处理，均符合相关法律法规的规定，采取了必要保密措施，且不违背公序良俗。在本公开的技术方案中，在获取或采集用户个人信息之前，均获取了用户的授权或同意。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图14示出了可以用来实施本公开实施例的确定群体记忆特征的方法或记忆网络的训练方法的示例电子设备1400的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图14所示，设备1400包括计算单元1401，其可以根据存储在只读存储器(ROM)1402中的计算机程序或者从存储单元1408加载到随机访问存储器(RAM)1403中的计算机程序，来执行各种适当的动作和处理。在RAM 1403中，还可存储设备1400操作所需的各种程序和数据。计算单元1401、ROM 1402以及RAM 1403通过总线1404彼此相连。输入/输出(I/O)接口1405也连接至总线1404。
设备1400中的多个部件连接至I/O接口1405，包括：输入单元1406，例如键盘、鼠标等；输出单元1407，例如各种类型的显示器、扬声器等；存储单元1408，例如磁盘、光盘等；以及通信单元1409，例如网卡、调制解调器、无线通信收发机等。通信单元1409允许设备1400通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1401可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1401的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1401执行上文所描述的各个方法和处理，例如确定群体记忆特征的方法或记忆网络的训练方法。例如，在一些实施例中，确定群体记忆特征的方法或记忆网络的训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1408。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1402和/或通信单元1409而被载入和/或安装到设备1400上。当计算机程序加载到RAM 1403并由计算单元1401执行时，可以执行上文描述的确定群体记忆特征的方法或记忆网络的训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元1401可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行确定群体记忆特征的方法或记忆网络的训练方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读合质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。其中，服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务(″Virtual Private Server″，或简称″VPS″)中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (17)

1.一种确定群体记忆特征的方法，包括：
根据目标对象对常驻区域的访问数据，确定所述目标对象针对所述常驻区域的访问特征；
根据所述访问特征和多个区域中每个区域的访问记忆特征，确定所述目标对象与所述每个区域之间的关联强度；以及
以所述关联强度为权重，根据所述多个区域的访问记忆特征确定所述目标对象对所述多个区域的群体记忆特征，
其中，区域的访问记忆特征是根据参考对象对所述区域的访问数据确定的，所述区域为针对所述参考对象的异地区域。
2.根据权利要求1所述的方法，其中，所述根据所述访问特征和多个区域中每个区域的访问记忆特征，确定所述目标对象与所述每个区域之间的关联强度包括：
针对所述每个区域，采用第一激活函数对所述每个区域的访问记忆特征和所述访问特征进行处理，得到所述每个区域与所述目标对象之间的关联特征；以及
根据所述每个区域与所述目标对象之间的关联特征和所述多个区域分别与所述目标对象之间的关联特征，确定所述目标对象与所述每个区域之间的关联强度。
3.根据权利要求2所述的方法，其中，所述每个区域的访问记忆特征包括存储在预定数量个插槽的预定数量个子特征；所述针对所述每个区域，采用第一激活函数对所述每个区域的访问记忆特征和所述访问特征进行处理，得到所述每个区域与所述目标对象之间的关联特征包括：
采用注意力机制对所述访问特征和所述预定数量个子特征进行处理，得到所述预定数量个子特征中每个子特征与所述目标对象之间的子关联强度；
以所述子关联强度为权重，根据所述预定数量个子特征确定所述目标对象对所述每个区域的记忆特征；以及
采用所述第一激活函数对所述记忆特征和所述访问特征进行处理，得到所述每个区域与所述目标对象之间的关联特征。
4.根据权利要求3所述的方法，其中，所述采用注意力机制对所述访问特征和所述预定数量个子特征进行处理，得到所述预定数量个子特征中每个子特征与所述目标对象之间的子关联强度包括：
针对所述每个子特征，采用第二激活函数对所述访问特征和所述每个子特征进行处理，得到所述目标对象与所述每个子特征之间的子关联特征；以及
根据所述每个子特征与所述目标对象之间的子关联特征和所述预定数量个子特征分别与所述目标对象之间的子关联特征，确定所述每个子特征与所述目标对象之间的子关联强度。
5.根据权利要求1所述的方法，其中，所述根据目标对象对常驻区域的访问数据，确定所述目标对象针对所述常驻区域的访问特征包括：
根据所述目标对象对所述常驻区域的访问数据，确定所述常驻区域中被访问的目标兴趣点及所述目标兴趣点的被访问次数；
确定所述目标兴趣点的空间约束特征；以及
根据所述被访问次数，聚合所述目标兴趣点的空间约束特征，得到所述访问特征。
6.根据权利要求5所述的方法，其中，所述确定所述目标兴趣点的空间约束特征包括：
根据所述目标兴趣点与多个预定兴趣点之间的位置关系，确定所述目标兴趣点与所述多个预定兴趣点中各兴趣点之间的关联关系，得到与所述目标兴趣点具有关联关系的关联兴趣点；
针对所述关联兴趣点和所述目标兴趣点中的每个兴趣点，根据所述每个兴趣点的属性信息，确定所述每个兴趣点的特征数据；
根据所述特征数据和所述目标兴趣点与所述多个预定兴趣点之间的关联关系，确定针对所述目标兴趣点的空间图；以及
以所述特征数据作为观察变量，以所述空间约束特征为随机变量，将所述空间图输入条件随机场模型，得到所述目标兴趣点的空间约束特征。
7.根据权利要求6所述的方法，其中，所述条件随机场模型包括基于吉布斯随机场模型；所述以所述特征数据作为观察变量，以所述空间约束特征为随机变量，将所述空间图输入条件随机场模型，得到所述目标兴趣点的空间约束特征包括：
根据所述目标兴趣点的特征数据与所述目标兴趣点的空间约束特征之间的差异，确定能量函数的一元势函数；
根据所述目标兴趣点的空间约束特征与所述关联兴趣点的空间约束特征之间的差异，确定能量函数的二元势函数；以及
根据所述观察变量、所述一元势函数和所述二元势函数，确定所述目标兴趣点的空间约束特征。
8.根据权利要求7所述的方法，其中，所述关联兴趣点包括多个兴趣点；所述根据所述目标兴趣点的空间约束特征与所述关联兴趣点的空间约束特征之间的差异，确定能量函数的二元势函数包括：
以空间约束特征为变量，采用注意力机制确定所述目标兴趣点与所述多个兴趣点中每个兴趣点之间的空间关联度；以及
以所述空间关联度为加权系数，对所述目标兴趣点的空间约束特征与所述关联兴趣点的空间约束特征之间的差异进行加权，得到所述二元势函数。
9.根据权利要求7所述的方法，其中，所述根据所述观察变量、所述一元势函数和所述二元势函数，确定所述目标兴趣点的空间约束特征包括：
根据所述观察变量、所述一元势函数和所述二元势函数，确定所述随机变量的后验分布模型；
采用平均场近似算法得到先验高斯分布模型的最优解；以及
根据所述最优解的期望和所述观察变量，确定所述目标兴趣点的空间约束特征。
10.一种记忆网络的训练方法，其中，所述记忆网络包括聚合子网络和第一注意力子网络和第二注意力子网络；所述方法包括：
根据目标对象对常驻区域的访问数据，采用所述聚合子网络确定所述目标对象针对所述常驻区域的第一访问特征；
根据所述目标对象对多个区域中除所述常驻区域外其他区域的访问数据，采用所述聚合子网络确定所述目标对象针对所述其他区域的第二访问特征；
根据所述第一访问特征和所述多个区域中每个区域的访问记忆特征，采用所述第一注意力子网络确定所述目标对象与所述每个区域之间的关联强度，并以所述关联强度为权重，根据所述多个区域的访问记忆特征确定所述目标对象对所述多个区域的群体记忆特征；
采用所述第二注意力子网络对所述其他区域的访问记忆特征和所述第二访问特征进行处理，确定所述目标对象对所述其他区域的记忆特征；以及
根据所述记忆特征与所述群体记忆特征之间的差异，对所述记忆网络进行训练，
其中，区域的访问记忆特征是根据参考对象对所述区域的访问数据确定的，所述区域为针对所述参考对象的异地区域。
11.根据权利要求10所述的方法，其中，所述记忆网络还包括特征更新子网络；采用所述第一注意力子网络确定所述目标对象与所述每个区域之间的关联强度包括：
根据所述第二访问特征，采用所述特征更新子网络更新所述其他区域的访问记忆特征，得到更新后访问记忆特征；以及
根据所述第一访问特征和所述更新后访问记忆特征，采用所述第一注意力子网络确定所述目标对象与所述其他区域之间的关联强度。
12.根据权利要求11所述的方法，其中，访问记忆特征包括存储在预定数量个插槽的预定数量个子特征；所述根据所述第二访问特征，采用所述特征更新网络更新所述其他区域的访问记忆特征，得到更新后访问记忆特征包括：
根据所述第二访问特征和所述其他区域的访问记忆特征包括的每个子特征，采用门控遗忘机制确定针对所述每个子特征的门控系数；以及
根据所述门控系数对所述每个子特征和所述第二访问特征进行处理，完成对所述每个子特征的更新。
13.一种确定群体记忆特征的装置，包括：
访问特征确定模块，用于根据目标对象对常驻区域的访问数据，确定所述目标对象针对所述常驻区域的访问特征；
关联强度确定模块，用于根据所述访问特征和多个区域中每个区域的访问记忆特征，确定所述目标对象与所述每个区域之间的关联强度；以及
群体记忆确定模块，用于以所述关联强度为权重，根据所述多个区域的访问记忆特征确定所述目标对象对所述多个区域的群体记忆特征，
其中，区域的访问记忆特征是根据参考对象对所述区域的访问数据确定的，所述区域为针对所述参考对象的异地区域。
14.一种记忆网络的训练装置，其中，所述记忆网络包括聚合子网络和第一注意力子网络和第二注意力子网络；所述装置包括：
第一访问特征确定模块，用于根据目标对象对常驻区域的访问数据，采用所述聚合子网络确定所述目标对象针对所述常驻区域的第一访问特征；
第二访问特征确定模块，用于根据所述目标对象对多个区域中除所述常驻区域外其他区域的访问数据，采用所述聚合子网络确定所述目标对象针对所述其他区域的第二访问特征；
群体记忆确定模块，用于根据所述第一访问特征和所述多个区域中每个区域的访问记忆特征，采用所述第一注意力子网络确定所述目标对象与所述每个区域之间的关联强度，并以所述关联强度为权重，根据所述多个区域的访问记忆特征确定所述目标对象对所述多个区域的群体记忆特征；
记忆特征确定模块，用于采用所述第二注意力子网络对所述其他区域的访问记忆特征和所述第二访问特征进行处理，确定所述目标对象对所述其他区域的记忆特征；以及
模型训练模块，用于根据所述记忆特征与所述群体记忆特征之间的差异，对所述记忆网络进行训练，
其中，区域的访问记忆特征是根据参考对象对所述区域的访问数据确定的，所述区域为针对所述参考对象的异地区域。
15.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1～12中任一项所述的方法。
16.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1～12中任一项所述的方法。
17.一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令在被处理器执行时实现根据权利要求1～12中任一项所述方法的步骤。
CN202210844680.XA 2022-07-18 2022-07-18 确定群体记忆特征的方法和记忆网络的训练方法、装置 Pending CN115169471A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210844680.XA CN115169471A (zh) 2022-07-18 2022-07-18 确定群体记忆特征的方法和记忆网络的训练方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210844680.XA CN115169471A (zh) 2022-07-18 2022-07-18 确定群体记忆特征的方法和记忆网络的训练方法、装置

Publications (1)

Publication Number Publication Date
CN115169471A true CN115169471A (zh) 2022-10-11

Family

ID=83495060

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210844680.XA Pending CN115169471A (zh) 2022-07-18 2022-07-18 确定群体记忆特征的方法和记忆网络的训练方法、装置

Country Status (1)

Country Link
CN (1) CN115169471A (zh)

Similar Documents

Publication Publication Date Title
CN111160471B (zh) 一种兴趣点数据处理方法、装置、电子设备和存储介质
US11586992B2 (en) Travel plan recommendation method, apparatus, device and computer readable storage medium
CN110489507B (zh) 确定兴趣点相似度的方法、装置、计算机设备和存储介质
US20210239486A1 (en) Method and apparatus for predicting destination, electronic device and storage medium
CN116664719B (zh) 一种图像重绘模型训练方法、图像重绘方法及装置
CN113139140B (zh) 基于时空感知gru并结合用户关系偏好的旅游景点推荐方法
Chen et al. Next POI recommendation based on location interest mining with recurrent neural networks
CN112131261B (zh) 基于社区网络的社区查询方法、装置和计算机设备
CN114357105A (zh) 地理预训练模型的预训练方法及模型微调方法
CN111141301A (zh) 导航终点确定方法、装置、存储介质和计算机设备
CN111460044B (zh) 地理位置数据处理方法及装置
CN117726884B (zh) 对象类别识别模型的训练方法、对象类别识别方法及装置
Zhuang et al. Integrating a deep forest algorithm with vector‐based cellular automata for urban land change simulation
CN114579892A (zh) 一种基于跨城市兴趣点匹配的用户异地访问位置预测方法
CN113158030B (zh) 异地兴趣点的推荐方法、装置、电子设备及存储介质
CN113139110B (zh) 区域特征处理方法、装置、设备、存储介质和程序产品
CN116701734B (zh) 地址文本的处理方法、设备及计算机可读存储介质
CN117079148A (zh) 城市功能区的识别方法、装置、设备和介质
CN114416941B (zh) 融合知识图谱的对话知识点确定模型的生成方法及装置
CN112364258B (zh) 基于图谱的推荐方法、系统、存储介质及电子设备
Yabe et al. Unsupervised translation via hierarchical anchoring: functional mapping of places across cities
CN117010480A (zh) 模型训练方法、装置、设备、存储介质及程序产品
CN115169471A (zh) 确定群体记忆特征的方法和记忆网络的训练方法、装置
CN114969577A (zh) 兴趣点推荐方法和兴趣点推荐模型的训练方法、装置
CN114461943A (zh) 基于深度学习的多源poi语义匹配方法、装置及其存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination