CN111666461A - 检索地理位置的方法、装置、设备和计算机存储介质 - Google Patents
检索地理位置的方法、装置、设备和计算机存储介质 Download PDFInfo
- Publication number
- CN111666461A CN111666461A CN202010334224.1A CN202010334224A CN111666461A CN 111666461 A CN111666461 A CN 111666461A CN 202010334224 A CN202010334224 A CN 202010334224A CN 111666461 A CN111666461 A CN 111666461A
- Authority
- CN
- China
- Prior art keywords
- vector representation
- similarity
- character
- neural network
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 77
- 239000013598 vector Substances 0.000 claims abstract description 343
- 238000013528 artificial neural network Methods 0.000 claims abstract description 108
- 238000012549 training Methods 0.000 claims description 123
- 230000008569 process Effects 0.000 claims description 25
- 230000015654 memory Effects 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 19
- 238000013507 mapping Methods 0.000 claims description 5
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 230000006399 behavior Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 235000013410 fast food Nutrition 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/909—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2457—Query processing with adaptation to user needs
- G06F16/24578—Query processing with adaptation to user needs using ranking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3347—Query execution using vector based model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/38—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/387—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Remote Sensing (AREA)
- Library & Information Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Instructional Devices (AREA)
Abstract
本申请公开了一种检索地理位置的方法、装置、设备和计算机存储介质,涉及人工智能领域。具体实现方案为:利用国际字符向量表示词典,分别确定检索词中各字符的向量表示;将检索词中各字符的向量表示输入第一神经网络,得到检索词的向量表示;确定检索词的向量表示与地图数据库中各地理位置的向量表示的相似度;依据相似度,确定检索得到的地理位置;其中地理位置的向量表示是利用国际字符向量表示词典确定地理位置的描述文本中各字符的向量表示后,将地理位置的描述文本中各字符的向量表示输入第二神经网络后得到的;国际字符向量表示词典用于将至少两种语种的字符映射至同一向量空间。本申请能够更好地满足跨语言的地理位置检索需求。
Description
技术领域
本申请涉及计算机应用技术领域,特别涉及人工智能技术领域。
背景技术
对于地图类应用而言,地理位置检索是用户使用最频繁的功能之一。无论在客户端还是网页端,用户可以在检索功能入口通过文本或语音的形式输入检索词来检索地理位置。
现有检索地理位置的方法大多采用检索词与地理位置名称的字面匹配方式进行检索,无法很好地满足语义相关的地理位置检索,甚至跨语言的地理位置检索需求。
比如一位中国用户,在搜索法国巴黎的埃菲尔铁塔时,大概率会用中文检索词进行搜索。但作为国际化地图业务,埃菲尔铁塔大概率是用当地文字即法文,或者是国际通用的英文。因此,单纯地字面匹配并不能够很好地满足跨语言检索的需求。
发明内容
有鉴于此,本申请提供了一种检索地理位置的方法、装置、设备和计算机存储介质,以便于更好地满足跨语言的地理位置检索需求。
第一方面,本申请提供了一种检索地理位置的方法,该方法包括:
利用国际字符向量表示词典,分别确定用户输入的检索词中各字符的向量表示;
将检索词中各字符的向量表示输入预先训练得到的第一神经网络,得到检索词的向量表示;
确定所述检索词的向量表示与地图数据库中各地理位置的向量表示的相似度;
依据所述相似度,确定检索得到的地理位置;
其中所述地理位置的向量表示是利用国际字符向量表示词典确定地理位置的描述文本中各字符的向量表示后,将所述地理位置的描述文本中各字符的向量表示输入预先训练得到的第二神经网络后得到的;所述国际字符向量表示词典用于将至少两种语种的字符映射至同一向量空间。
第二方面,本申请提供了一种检索地理位置的装置,该装置包括:
第一向量确定单元,用于利用国际字符向量表示词典,分别确定用户输入的检索词中各字符的向量表示,所述国际字符向量表示词典用于将至少两种语种的字符映射至同一向量空间;
第二向量确定单元,用于将检索词中各字符的向量表示输入预先训练得到的第一神经网络,得到检索词的向量表示;
相似度确定单元,用于确定所述检索词的向量表示与地图数据库中各地理位置的向量表示的相似度;其中所述地理位置的向量表示是利用国际字符向量表示词典确定地理位置的描述文本中各字符的向量表示后,将所述地理位置的描述文本中各字符的向量表示输入预先训练得到的第二神经网络后得到的;
检索处理单元,用于依据所述相似度,确定检索得到的地理位置。
第三方面,本申请还提供了一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述中任一项所述的方法。
第四方面,本申请还提供了一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行上述中任一项所述的方法。
由以上技术方案可以看出,本申请中利用国际字符向量表示词典,将不同语种的字符均映射至同一向量空间,且基于各字符的向量表示分别得到检索词的向量表示和地理位置的向量表示,从而进一步基于检索词的向量表示和地理位置的向量表示之间的相似度,确定检索得到的地理位置。这种方式能够更好地满足跨语言的地理位置检索需求。
上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。
附图说明
附图用于更好地理解本方案,不构成对本申请的限定。其中:
图1示出了可以应用本发明实施例的示例性系统架构;
图2为本申请实施例提供的相似度模型的计算框架示意图;
图3为本申请实施例一提供的检索地理位置的方法流程图;
图4为本申请实施例二提供的训练相似度模型的方法流程图;
图5为本申请实施例二提供的训练相似度模型的原理示意图;
图6为本申请实施例三提供的训练相似度模型的方法流程图;
图7为本申请实施例三提供的构建语义图的示意图;
图8为本申请实施例三提供的训练相似度模型的原理示意图;
图9为本申请实施例提供的检索地理位置的装置结构图;
图10是用来实现本申请实施例的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
图1示出了可以应用本发明实施例的示例性系统架构。如图1所示,该系统架构可以包括终端设备101和102,网络103和服务器104。网络103用以在终端设备101、102和服务器104之间提供通信链路的介质。网络103可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101和102通过网络103与服务器104交互。终端设备101和102上可以安装有各种应用,例如地图类应用、语音交互类应用、网页浏览器应用、通信类应用等。
终端设备101和102可以是能够支持并展现地图类应用的各种电子设备,包括但不限于智能手机、平板电脑、智能穿戴式设备等等。本发明所提供的装置可以设置并运行于上述服务器104中。其可以实现成多个软件或软件模块(例如用来提供分布式服务),也可以实现成单个软件或软件模块,在此不做具体限定。
例如,检索地理位置的装置设置并运行于上述服务器104中,服务器104可以接收终端设备101或102的检索请求,该检索请求中包含检索词。检索地理位置的装置使用本发明实施例提供的方式进行地理位置的检索,并将检索结果返回终端设备101或102。在服务器104端维护有地图数据库,该地图数据库可以存储于服务器104本地,也可以存储于其他服务器中由服务器104进行调用。服务器104也能够获取并记录用户使用地图类应用的相关行为,从而形成诸如历史点击日志、历史浏览日志等。
服务器104可以是单一服务器,也可以是多个服务器构成的服务器群组。应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
本申请的核心思想在于,利用国际字符向量表示词典,将不同语种的字符均映射至同一向量空间,且基于各字符的向量表示分别得到检索词的向量表示和地理位置的向量表示,从而进一步基于检索词的向量表示和地理位置的向量表示之间的相似度,确定检索得到的地理位置。下面结合实施例对本申请提供的方法和装置进行详细描述。
实施例一、
本申请中实现的检索地理位置的方法基于相似度模型,如图2中所示,相似度模型可以包括国际字符向量表示词典(图中简称为“词典”)、第一神经网络和第二神经网络。检索地理位置的方法可以如图3中所示,包括以下步骤:
在301a中,当获取到用户输入的检索词后,利用国际字符向量表示词典,分别确定用户输入的检索词中各字符的向量表示。以用户输入检索词“KFC”为例,分别利用国际字符向量表示词典,确定出“K”的字符向量表示、“F”的字符向量表示和“C”的字符向量表示。
在本申请中涉及的国际字符向量表示词典用于将至少两种语种的字符都映射至同一向量空间,使得在对各种不同语种的字符进行量化时,都能够量化得到一个向量表示。所有语种的字符映射的得到的向量表示具有相同维度。
假设c为一个字符,该字符可以是词典所支持的任意语种的字符,C为c对应的向量表示,那么C表达为:
C=D(c)
其中,D()为国际字符向量表示词典所采用的映射函数。
同样地,在301b中,地图数据库中各地理位置的描述文本中的各字符,也可以通过国际字符向量表示词典映射为各字符的向量表示。其中,本申请中涉及的地理位置,包括地图数据库中的地理位置,指的是地图类应用中的地理位置点,该地理位置点可以供用户检索、浏览,向用户推荐等。这些地理位置点具有经纬度、名称、行政地址、类型等基本属性。其中地理位置点可以包括但不限于POI(Point Of Interest,兴趣点)、AOI(Area ofInterest,兴趣面)、ROI(Regin of Interest,兴趣区域)等。
为了能够实现在检索过程中,不仅仅在名称上使得地理位置与检索词匹配,也能够检索到其他地理位置的描述信息与检索词匹配,因此在本申请中是将地理位置的描述文本中的各字符分别确定向量表示后,再进一步确定地理位置的向量表示。其中描述文本可以包括但不限于名称、标签、地址、评价、照片描述文本中的至少一种。这些描述文本的信息在地图数据中也会得到存储和维护。
例如,地理位置点“肯德基(西直门南大街店)”而言,描述文本包括:
名称—“肯德基(西直门南大街店)”,
地址—“北京市西城区西直门南大街甲15-6号2层”,
标签—“连锁”、“交通便利”、“工作餐”、“西式快餐”等,
评价—“味道不错”、“人气旺”、“适合亲子”等
…
可以将上述描述文本中的各字符通过国际字符向量表示词典映射为各字符的向量表示。
在302a中,将检索词的各字符的向量表示输入第一神经网络,得到检索词的向量表示作为输出。在302b中,将地理位置的描述文本中各字符的向量表示输入第二神经网络,得到该地理位置的向量表示。这样可以分别得到地图数据库中各地理位置的向量表示。
本申请中并不限制第一神经网络和第二神经网络的类型,只要两个神经网络输出向量的维度保持一致即可。例如两个神经网络可以采用CNN(Convolutional NeuralNetworks,卷积神经网络)、ERNIE(Enhanced Representation through kNowledgeIntEgration,知识增强语义表示模型)。另外需要说明的是,本申请实施例中涉及的“第一”、“第二”等限定仅仅为了在名称上进行区分,并不具备顺序、数量、重要程度等含义的限定。
假设检索词由一系列m个字符q1,q2,…,qm构成;某个地理位置的描述文本由n个p1,p2,…,pn字符构成,那么在取得对应的字符向量表示之后,各自通过一个神经网络(设定G()是查询词对应的神经网络,H()是地理位置对应的神经网络),分别获得维度相同的向量y与z:
G(q1,q2,…,qm)=y
H(p1,p2,…,pn)=z
另外,对于地图数据库中各地理位置的向量表示可以在检索过程中实时确定。但优选地,可以预先确定后在检索过程中直接调用结果,即301b和302b是预先已经离线执行的处理。
在303中,确定检索词的向量表示与地图数据库中各地理位置的向量表示的相似度。可以采用诸如余弦相似度的方式来量化向量y与z之间的相似度s:
s=S(q1,q2,…,qm;p1,p2,…,pn)
=cosine(y,z)
在304中,依据确定出的相似度,确定检索得到的地理位置。其中相似度可以独立作为地理位置排序的依据,也可以以非独立的方式,即相似度以其中一个特征向量集成到现有排序模型中。
在相似度独立作为地理位置排序的依据时,可以按照相似度从高到底对各地理位置进行排序,依据排序结果确定检索得到的地理位置。例如选取排在前N个的地理位置作为检索得到的地理位置,N为预设的正整数。再例如选取相似度超过预设相似度阈值的地理位置作为检索得到的地理位置。再例如,依据相似度从高到低的顺序展现地理位置,依据用户的操作(例如一个页面能够展示5条地理位置,若用户有下拉刷新操作,则展示下5条地理位置)来确定展现的地理位置数量。
在采用非独立的方式时,可以利用相似度确定相似度特征,将相似度特征作为预先训练得到的排序模型的输入向量之一,利用排序模型对各地理位置的排序结果确定检索得到的地理位置。
通过该实施例一的实现方法,可以达到如下的检索需求:
检索需求1:
用户输入检索词“埃菲尔铁塔”,由于会通过国际字符向量表示词典将检索词中各字符以及地理位置的描述文本中的各字符都映射到同一向量空间,即便描述文本中采用了法语名称“La Tour Eiffel”或者英语名称“Eiffel Tower”,也能够在同一向量空间中具有很近的距离,实现跨语言的地理位置检索需求。
检索需求2:
用户输入检索词“KFC”,由于是将检索词中各字符以及地理位置的描述文本中的各字符都映射到同一向量空间后,利用各字符的向量表示得到检索词的向量表示和地理位置的向量表示。即便描述文本中采用了全称“Kentucky Fried Chicken”,也能够在同一向量空间中具有很近的距离,实现基于语义的地理位置检索需求。
要实现上述实施例一,需要预先对相似度模型进行训练。下面分别结合实施例二和实施例三对上述相似度模型的训练过程进行详细描述。
实施例二、
本实施例中利用历史点击日志实现相似度模型的训练。其中历史点击日志是基于检索历史记录的关于用户是否对检索得到的地理位置进行点击所产生的日志。本实施例提供的训练相似度模型的过程可以如图4中所示,可以包括以下步骤:
在401中,从历史点击日志中获取训练数据,训练数据包括:检索词以及检索词对应的被点击地理位置作为正样本和未被点击地理位置作为负样本。
本步骤中在获取训练数据时,每个训练数据实际上包含了一个正、负样本对。对于同一个检索词而言,其对应的检索结果中选取一个被点击的地理位置作为正样本,再从未被点击的地理位置中选取一个作为负样本。
举个例子:假设在历史点击日志中,检索词“KFC”对应的检索结果包括以下地理位置:肯德基(西直门店)、肯德基(回龙观店)、肯德基(三元桥店)等等。用户点击了“肯德基(回龙观店)”,其他地理位置未被点击,则其中一条训练数据可以包括:“KFC”-“肯德基(回龙观店)”作为正样本对,“KFC”-肯德基(三元桥店)作为负样本对。
采用这种方式可以选取很多训练数据。
在402中,利用训练数据训练上述的国际字符向量表示词典、第一神经网络和第二神经网络,以最大化第一相似度和第二相似度的差异,其中第一相似度为检索词的向量表示和正样本的向量表示的相似度,第二相似度为检索词的向量表示和负样本的向量表示的相似度。
具体地,可以如图5中所示,首先利用国际字符向量表示词典(图中简称为“词典”),分别确定训练数据中各字符的向量表示,即检索词中各字符的向量表示,作为正样本的被点击地理位置的描述文本中各字符的向量表示,作为负样本的未被点击地理位置的描述文本中各字符的向量表示。
这里所有字符,不分语种都能够通过国际字符向量表示词典被映射至同一向量空间。所有字符的向量表示都具备相同的维度。
然后,将检索词中各字符的向量表示输入第一神经网络,得到检索词的向量表示;将正样本地理位置的描述文本中各字符的向量表示以及负样本地理位置的描述文本中各字符的向量表示分别输入第二神经网络,得到正样本的向量表示以及负样本的向量表示。本申请中并不限制第一神经网络和第二神经网络的类型,只要两个神经网络输出向量的维度一致即可。例如两个神经网络可以采用CNN(Convolutional Neural Networks,卷积神经网络)、ERNIE(Enhanced Representation through kNowledge IntEgration,知识增强语义表示模型)。
接着,确定检索词的向量表示与正样本的向量表示的第一相似度以及同一检索词的向量表示与负样本的向量表示的第二相似度。
利用第一相似度和第二相似度,可以训练上述的国际字符向量表示词典、第一神经网络和第二神经网络,以最大化第一相似度和第二相似度的差异。
也就是说,训练目标为:最大化第一相似度,最小化第二相似度,尽可能地最大化第一相似度和第二相似度的差异。
训练目标可以表示成最小化损失函数,损失函数Loss可以采用诸如:
Loss=max[0,γ+cosine(y,z+)-cosine(y,z-)]
其中,y为检索词的向量表示,z+为正样本的向量表示,z-为负样本的向量表示,γ为超参数。
训练过程中,利用Loss的值迭代更新模型参数,包括国际字符向量表示词典、第一神经网络和第二神经网络的参数,直至达到训练目标。例如Loss的取值满足预设要求、迭代次数满足预设要求,等等。
通过本实施例提供的模型训练方法,可以突破地理位置检索中必须字面匹配的限制,以达到如下检索需求:
例如,对于一些地理位置,常常会存在一些在用户中流传的戏称、简称或者昵称等。这些称呼如果不能被即时采集到并建立同义词典,则很难实现用户实际需求的地理位置搜索。例如,对于肯德基而言,很多用户将其戏称为“开封菜”。但使用本申请所提供的方式,用户输入检索词“开封菜”,若有用户或越来越多的用户在地理位置的搜索结果中点击了“肯德基”相关的地理位置,则就能够通过上述训练过程建立两者之间的相似度关联,从而在实际检索过程中,当用户输入检索词“开封菜”时,能够检索得到关于肯德基的地理位置。
然而,本实施例训练得到的相似度模型往往会非常依赖于既有的、有点击历史的检索词和地理位置。对于高频出现和点击的检索词与地理位置,模型在检索结果的排序上具有非常好的效果。但对于那些出现次数稀疏的检索词和地理位置,甚至从来没有出现过的检索词和地理位置,模型给出的检索结果就非常差,即无法实现历史点击日志稀疏的冷启动问题。为了解决这一技术问题,本申请还提供了一种优选的模型训练方式,下面通过实施例三进行详细描述。
实施例三、
为了尽可能让点击次数稀疏的地理位置,甚至从来没被点击过的地理位置(例如新出现的地理位置)都能获得不错的检索排序结果。在本实施例中将既有的高频点击的地理位置与低频的或者没有被点击过的地理位置,从另外一个角度建立关联。因此除了历史点击日志之外,在模型训练过程中引入了历史浏览日志,通过浏览共现关系建立地理位置之间的关联。
图6为本申请实施例三提供的训练相似度模型的方法流程图,如图6中所示,该方法可以包括以下步骤:
在601中,从历史点击日志中获取训练数据,训练数据包括检索词以及检索词对应的被点击地理位置作为正样本和未被点击地理位置作为负样本。
本步骤与实施例二中401中相同,在此不做赘述。
在602中,利用历史浏览日志,基于地理位置之间的浏览共现关系对所述正样本和负样本进行扩展。
除了历史点击日志之外,本申请还引用了历史浏览日志。历史浏览日志由用户对地理位置的浏览行为记录得到。包括但不限于:用户在检索过程中的浏览行为、随机在地图应用中查看地理位置的浏览行为、通过地图应用的信息推荐进行的浏览行为,等等。
为了更直观地进行理解,以图7为例进行解释。在图7中,对于检索词“q1”、“q2”和“q3”而言,在历史点击日志中存在q1对应的被点击地理位置P1,q2对应的被点击地理位置P2以及q3对应的被点击地理位置P3,该基于点击的联系在图7中以实线表示。但基于历史浏览日志,可以获取到用户在浏览P1时还浏览了P2、P4。可以认为P1与P2存在浏览共现关系,P1与P3存在浏览共现关系。若在一个会话中先后浏览了多个地理位置,则认为该多个地理位置之间存在共现关系。
在图7中,以虚线表示地理位置之间基于浏览共现关系的关联。为了方便对样本的扩展,可以基于历史浏览日志,利用上述地理位置之间的关联可以构成语义图。在语义图中,节点为地理位置,地理位置之间的关联表示地理位置之间存在浏览共现关系,地理位置之间还存在关联参数,如图7中边上注明的“a12”是P1与P2之间的关联参数,“a14”为P1与P4之间的关联参数,“a23”为P2与P3之间的关联参数,以此类推。关联参数体现了地理位置之间的浏览共现程度,初始可以依据对应地理位置之间的共现状况确定,例如依据共现次数确定,共现次数越高对应的关联参数值越大。该关联参数值将在后续训练过程中也发挥作用,具体参见关于步骤603的描述。
在本步骤中,可以从语义图中分别获取与被点击地理位置存在浏览共现关系的各地理位置以扩展正样本,获取与未被点击地理位置存在浏览共现关系的地理位置以扩展负样本。利用语义图来扩展正样本和负样本的方式,可以直接从语义图中查找地理位置之间的浏览共现关系,更加方便,效率更高。
举个例子,对于一个训练数据:q1-P1为正样本对,q1-P7为负样本对。经过扩展后,可以扩展P1、P2、P4构成正样本中的地理位置,扩展P7、P3构成负样本中的地理位置。
在603中,利用扩展后的训练数据训练国际字符向量表示词典、第一神经网络和第二神经网络,以最大化第一相似度和第二相似度的差异,所述第一相似度为检索词的向量表示和所述正样本的向量表示的相似度,所述第二相似度为检索词的向量表示和负样本的向量表示的相似度。
具体地,可以如图8中所示,首先利用国际字符向量表示词典,分别确定训练数据中各字符的向量表示。即检索词中各字符的向量表示,作为正样本的被点击地理位置、与被点击地理位置存在浏览共现关系的地理位置的描述文本中各字符的向量表示,作为负样本的未被点击地理位置、与未被点击地理位置存在浏览共现关系的地理位置的描述文本中各字符的向量表示。
这里所有字符,不分语种都能够通过国际字符向量表示词典被映射至同一向量空间。所有字符的向量表示都具备相同的维度。
然后,将检索词中各字符的向量表示输入第一神经网络,得到检索词的向量表示。
将被点击地理位置的描述文本中各字符的向量表示输入第二神经网络,得到未被点击地理位置的向量表示,将与被点击地理位置存在浏览共现关系的地理位置(图中称为浏览共现地理位置)的描述文本中各字符的向量表示分别输入第二神经网络,得到浏览共现的地理位置对应的向量表示。将第二神经网络输出的各地理位置的向量表示按照语义图中对应地理位置之间的关联参数进行加权处理,得到正样本的向量表示。
仍以图7所示语义图为例,q1对应的正样本地理位置包括P1、P2、P4,第二神经网络分别得到P1的向量表示V1、P2的向量表示V2和P4的向量表示V4之后,可以进行以下加权处理,得到正样本的向量表示z+:
z+=V1+a12*V2+a14*V4。
将未被点击地理位置的描述文本中各字符的向量表示、与未被点击地理位置存在浏览共现关系的地理位置的描述文本中各字符的向量表示分别输入第二神经网络,将第二神经网络输出的各地理位置的向量表示按照语义图中对应地理位置之间的关联参数进行加权处理,得到负样本的向量表示。
接续上例,q1对应的负样本地理位置包括P7、P3,第二神经网络分别得到P7的向量表示V7、P3的向量表示V3。按照图7所示的语义图,进行以下加权处理,得到负样本的向量表示z-:
z-=V7+a37*V3
接着,确定检索词的向量表示与正样本的向量表示的第一相似度以及同一检索词的向量表示与负样本的向量表示的第二相似度。
利用第一相似度和第二相似度,训练所述国际字符向量表示词典、语义图、第一神经网络和第二神经网络,以最大化第一相似度和第二相似度的差异。
也就是说,训练目标为:最大化第一相似度,最小化第二相似度,尽可能的最大化第一相似度和第二相似度的差异。
训练目标同样可以表示成最小化损失函数,损失函数Loss可以采用诸如:
Loss=max[0,γ+cosine(y,z+)-cosine(y,z-)]
其中,y为检索词的向量表示,z+为正样本的向量表示,z-为负样本的向量表示,γ为超参数。
训练过程中,利用Loss的值迭代更新模型参数,包括国际字符向量表示词典、语义图、第一神经网络和第二神经网络的参数,直至达到训练目标。例如Loss的取值满足预设要求、迭代次数满足预设要求,等等。
训练过程中语义图中的关联参数也会进行更新,从而使得各地理位置之间基于浏览共现的关联关系逐渐被优化,以达到训练目标。
通过本实施例提供的模型训练方法,可以解决对应点击次数系数的地理位置检索的冷启动问题,已达到诸如如下检索需求:
对于一些新出现的地理位置,例如“肯德基(回龙观店)”是新开的店,初始由于其并未出现在历史点击日志中,或者点击次数非常少,因此很难通过实施例二建立的模型检索得到该新的地理位置。但若采用本实施例三的模型建立方式,用户在地图的使用过程中,通过在地图中的浏览,在一个会话中同时浏览过已经出现很久的地理位置“肯德基(西直门店)”,并同时浏览了“肯德基(回龙观店)”,或者在地图应用的信息推荐功能中同时浏览了“肯德基(西直门店)”和“肯德基(回龙观店)”。那么在语义图中就建立了地理位置“肯德基(西直门店)”和“肯德基(回龙观店)”之间的关联。由于“肯德基(西直门店)”是出现很久的地理位置,历史点击次数很多。因此在建立相似度模型的过程中,在“肯德基(西直门店)”作为正样本进行训练的过程中,“肯德基(回龙观店)”也对正样本的向量表示做出了贡献,就使得“肯德基(回龙观店)”也与“肯德基(西直门店)”的检索词“KFC”建立了关联。那么用户在检索“KFC”时,也能够基于相似度在检索结果中出现“肯德基(回龙观店)”,从而解决了“肯德基(回龙观店)”的冷启动问题。
以上是对本申请所提供的方法进行的详细描述,下面结合实施例对本申请提供的装置进行详细描述。
实施例四、
图9为本申请实施例提供的检索地理位置的装置结构图,该装置是可以位于服务器端的应用程序,或者还可以为位于服务器端应用程序的插件或软件开发工具包(Software Development Kit,SDK)等功能单元,本发明实施例对此不进行特别限定。如图9中所示,该装置可以包括:第一向量确定单元01、第二向量确定单元02、相似度确定单元03和检索处理单元04,还可以进一步包括:第一模型训练单元05或者第二模型训练单元06。其中各组成单元的主要功能如下:
第一向量确定单元01,用于利用国际字符向量表示词典,分别确定用户输入的检索词中各字符的向量表示,国际字符向量表示词典用于将至少两种语种的字符映射至同一向量空间。
第二向量确定单元02,用于将检索词中各字符的向量表示输入预先训练得到的第一神经网络,得到检索词的向量表示。
相似度确定单元03,用于确定检索词的向量表示与地图数据库中各地理位置的向量表示的相似度。
其中,地理位置的向量表示通过复用上述第一向量确定单元01是利用国际字符向量表示词典确定地理位置的描述文本中各字符的向量表示后,再复用上述第二向量确定单元02将地理位置的描述文本中各字符的向量表示输入预先训练得到的第二神经网络后得到的。地理位置的向量表示可以在检索地理位置的过程中实时确定,但作为一种优选的实施方式,可以采用离线的方式预先得到,然后由相似度确定单元03在检索过程中实时调用离线得到的地图数据中地理位置的向量表示。
其中,地理位置的描述文本可以包括名称、标签、地址、评价、照片描述文本中的至少一种。
检索处理单元04,用于依据相似度,确定检索得到的地理位置。
具体地,检索处理单元04可以按照相似度从高到低对各地理位置进行排序,依据排序结果确定检索得到的地理位置。
或者,检索处理单元04也可以利用相似度确定相似度特征,将相似度特征作为预先训练得到的排序模型的输入向量之一,利用排序模型对各地理位置的排序结果确定检索得到的地理位置。
第一模型训练单元05和第二模型训练单元06负责预先训练上述国际字符向量表示词典、第一神经网络和第二神经网络构成的相似度模型。本申请中可以采用第一模型训练单元05和第二模型训练单元06中的一种。
第一模型训练单元05,用于预先执行以下训练过程:
从历史点击日志中获取训练数据,训练数据包括检索词以及检索词对应的被点击地理位置作为正样本和未被点击地理位置作为负样本;
利用训练数据训练国际字符向量表示词典、第一神经网络和第二神经网络,以最大化第一相似度和第二相似度的差异,第一相似度为检索词的向量表示和正样本的向量表示的相似度,第二相似度为检索词的向量表示和负样本的向量表示的相似度。
具体地,第一模型训练单元05在利用训练数据训练国际字符向量表示词典、第一神经网络和第二神经网络时,可以执行:
利用国际字符向量表示词典,分别确定训练数据中各字符的向量表示;
将检索词中各字符的向量表示输入第一神经网络,得到检索词的向量表示;将正样本地理位置的描述文本中各字符的向量表示以及负样本地理位置的描述文本中各字符的向量表示分别输入第二神经网络,得到正样本的向量表示以及负样本的向量表示;
确定检索词的向量表示与正样本的向量表示的第一相似度以及同一检索词的向量表示与负样本的向量表示的第二相似度;
训练国际字符向量表示词典、第一神经网络和第二神经网络,以最大化第一相似度和第二相似度的差异。
第二模型训练单元06,用于预先执行以下训练过程:
从历史点击日志中获取训练数据,训练数据包括检索词以及检索词对应的被点击地理位置作为正样本和未被点击地理位置作为负样本;
利用历史浏览日志,基于地理位置之间的浏览共现关系对正样本和负样本进行扩展;
利用扩展后的训练数据训练国际字符向量表示词典、第一神经网络和第二神经网络,以最大化第一相似度和第二相似度的差异,第一相似度为检索词的向量表示和正样本的向量表示的相似度,第二相似度为检索词的向量表示和负样本的向量表示的相似度。
具体地,第二模型训练单元06可以从语义图中分别获取与被点击地理位置存在浏览共现关系的各第一地理位置以扩展正样本,以及与未被点击地理位置存在浏览共现关系的各第二地理位置以扩展负样本。
其中,第二模型训练单元06在利用扩展后的训练数据训练国际字符向量表示词典、第一神经网络和第二神经网络时,可以具体执行:
利用国际字符向量表示词典,分别确定训练数据中各字符的向量表示;
将检索词中各字符的向量表示输入第一神经网络,得到检索词的向量表示;将被点击地理位置的描述文本中各字符的向量表示、各第一地理位置的描述文本中各字符的向量表示分别输入第二神经网络,将第二神经网络输出的各地理位置的向量表示按照语义图中对应地理位置之间的关联参数进行加权处理,得到正样本的向量表示;将未被点击地理位置的描述文本中各字符的向量表示、各第二地理位置的描述文本中各字符的向量表示分别输入第二神经网络,将第二神经网络输出的各地理位置的向量表示按照语义图中对应地理位置之间的关联参数进行加权处理,得到负样本的向量表示;
确定检索词的向量表示与正样本的向量表示的第一相似度以及同一检索词的向量表示与负样本的向量表示的第二相似度;
训练国际字符向量表示词典、语义图、第一神经网络和第二神经网络,以最大化第一相似度和第二相似度的差异。
在采用第二模型训练单元06的情况下,该装置还包括:
语义图构建单元07,用于基于历史浏览日志建立语义图,语义图中节点为地理位置,对于存在浏览共现关系的地理位置建立对应节点之间的关联,地理位置之间的关联参数初始依据地理位置之间的共现状况确定;
相应地,第二模型训练单元06在训练过程中更新语义图中地理位置之间的关联参数。
由于第二模型训练单元06除了从历史点击日志获取训练数据之外,进一步从历史浏览日志中,基于浏览共现关系对训练数据中的正样本和负样本进行扩展,从而解决对应点击次数系数的地理位置检索的冷启动问题。因此本申请中优选采用第二模型训练单元06,因此在图9中将第一模型训练单元05采用虚线表示。
根据本申请的实施例,本申请还提供了一种电子设备和一种可读存储介质。
如图10所示,是根据本申请实施例的检索地理位置的方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图10所示,该电子设备包括:一个或多个处理器1001、存储器1002,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个电子设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图10中以一个处理器1001为例。
存储器1002即为本申请所提供的非瞬时计算机可读存储介质。其中,所述存储器存储有可由至少一个处理器执行的指令,以使所述至少一个处理器执行本申请所提供的检索地理位置的方法。本申请的非瞬时计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行本申请所提供的检索地理位置的方法。
存储器1002作为一种非瞬时计算机可读存储介质,可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块,如本申请实施例中的检索地理位置的方法对应的程序指令/模块。处理器1001通过运行存储在存储器1002中的非瞬时软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例中的检索地理位置的方法。
存储器1002可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器1002可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中,存储器1002可选包括相对于处理器1001远程设置的存储器,这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
检索地理位置的方法的电子设备还可以包括:输入装置1003和输出装置1004。处理器1001、存储器1002、输入装置1003和输出装置1004可以通过总线或者其他方式连接,图10中以通过总线连接为例。
输入装置1003可接收输入的数字或字符信息,以及产生与电子设备的用户设置以及功能控制有关的键信号输入,例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置1004可以包括显示设备、辅助照明装置(例如,LED)和触觉反馈装置(例如,振动电机)等。该显示设备可以包括但不限于,液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中,显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令,并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的,术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如,磁盘、光盘、存储器、可编程逻辑装置(PLD)),包括,接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。
Claims (20)
1.一种检索地理位置的方法,其特征在于,该方法包括:
利用国际字符向量表示词典,分别确定用户输入的检索词中各字符的向量表示;
将检索词中各字符的向量表示输入预先训练得到的第一神经网络,得到检索词的向量表示;
确定所述检索词的向量表示与地图数据库中各地理位置的向量表示的相似度;
依据所述相似度,确定检索得到的地理位置;
其中所述地理位置的向量表示是利用国际字符向量表示词典确定地理位置的描述文本中各字符的向量表示后,将所述地理位置的描述文本中各字符的向量表示输入预先训练得到的第二神经网络后得到的;所述国际字符向量表示词典用于将至少两种语种的字符映射至同一向量空间。
2.根据权利要求1所述的方法,其特征在于,所述地理位置的描述文本包括名称、标签、地址、评价、照片描述文本中的至少一种。
3.根据权利要求1所述的方法,其特征在于,依据所述相似度,确定检索得到的地理位置包括:
按照相似度从高到低对各地理位置进行排序,依据排序结果确定检索得到的地理位置;或者,
利用所述相似度确定相似度特征,将所述相似度特征作为预先训练得到的排序模型的输入向量之一,利用所述排序模型对各地理位置的排序结果确定检索得到的地理位置。
4.根据权利要求1所述的方法,其特征在于,该方法还包括预先执行的以下训练过程:
从历史点击日志中获取训练数据,所述训练数据包括检索词以及检索词对应的被点击地理位置作为正样本和未被点击地理位置作为负样本;
利用所述训练数据训练所述国际字符向量表示词典、第一神经网络和第二神经网络,以最大化第一相似度和第二相似度的差异,所述第一相似度为所述检索词的向量表示和所述正样本的向量表示的相似度,所述第二相似度为所述检索词的向量表示和所述负样本的向量表示的相似度。
5.根据权利要求4所述的方法,其特征在于,利用所述训练数据训练所述国际字符向量表示词典、第一神经网络和第二神经网络包括:
利用国际字符向量表示词典,分别确定训练数据中各字符的向量表示;
将检索词中各字符的向量表示输入第一神经网络,得到检索词的向量表示;将正样本地理位置的描述文本中各字符的向量表示以及负样本地理位置的描述文本中各字符的向量表示分别输入第二神经网络,得到正样本的向量表示以及负样本的向量表示;
确定检索词的向量表示与正样本的向量表示的第一相似度以及同一检索词的向量表示与负样本的向量表示的第二相似度;
训练所述国际字符向量表示词典、第一神经网络和第二神经网络,以最大化第一相似度和第二相似度的差异。
6.根据权利要求1所述的方法,其特征在于,该方法还包括预先执行的以下训练过程:
从历史点击日志中获取训练数据,所述训练数据包括检索词以及检索词对应的被点击地理位置作为正样本和未被点击地理位置作为负样本;
利用历史浏览日志,基于地理位置之间的浏览共现关系对所述正样本和负样本进行扩展;
利用扩展后的训练数据训练所述国际字符向量表示词典、第一神经网络和第二神经网络,以最大化第一相似度和第二相似度的差异,所述第一相似度为所述检索词的向量表示和所述正样本的向量表示的相似度,所述第二相似度为所述检索词的向量表示和所述负样本的向量表示的相似度。
7.根据权利要求6所述的方法,其特征在于,所述利用历史浏览日志,基于地理位置之间的浏览共现关系对所述正样本和负样本进行扩展包括:
从语义图中分别获取与所述被点击地理位置存在浏览共现关系的各第一地理位置以扩展所述正样本,以及与所述未被点击地理位置存在浏览共现关系的各第二地理位置以扩展所述负样本。
8.根据权利要求7所述的方法,其特征在于,所述利用扩展后的训练数据训练所述国际字符向量表示词典、第一神经网络和第二神经网络包括:
利用国际字符向量表示词典,分别确定训练数据中各字符的向量表示;
将检索词中各字符的向量表示输入第一神经网络,得到检索词的向量表示;将所述被点击地理位置的描述文本中各字符的向量表示、所述各第一地理位置的描述文本中各字符的向量表示分别输入第二神经网络,将第二神经网络输出的各地理位置的向量表示按照语义图中对应地理位置之间的关联参数进行加权处理,得到正样本的向量表示;将所述未被点击地理位置的描述文本中各字符的向量表示、所述各第二地理位置的描述文本中各字符的向量表示分别输入第二神经网络,将第二神经网络输出的各地理位置的向量表示按照语义图中对应地理位置之间的关联参数进行加权处理,得到负样本的向量表示;
确定检索词的向量表示与正样本的向量表示的第一相似度以及同一检索词的向量表示与负样本的向量表示的第二相似度;
训练所述国际字符向量表示词典、语义图、第一神经网络和第二神经网络,以最大化第一相似度和第二相似度的差异。
9.根据权利要求7或8所述的方法,其特征在于,所述语义图基于历史浏览日志建立;
所述语义图中节点为地理位置,对于存在浏览共现关系的地理位置建立对应节点之间的关联,地理位置之间的关联参数初始依据地理位置之间的共现状况确定并在所述训练过程中被更新。
10.一种检索地理位置的装置,其特征在于,该装置包括:
第一向量确定单元,用于利用国际字符向量表示词典,分别确定用户输入的检索词中各字符的向量表示,所述国际字符向量表示词典用于将至少两种语种的字符映射至同一向量空间;
第二向量确定单元,用于将检索词中各字符的向量表示输入预先训练得到的第一神经网络,得到检索词的向量表示;
相似度确定单元,用于确定所述检索词的向量表示与地图数据库中各地理位置的向量表示的相似度;其中所述地理位置的向量表示是利用国际字符向量表示词典确定地理位置的描述文本中各字符的向量表示后,将所述地理位置的描述文本中各字符的向量表示输入预先训练得到的第二神经网络后得到的;
检索处理单元,用于依据所述相似度,确定检索得到的地理位置。
11.根据权利要求10所述的装置,其特征在于,所述地理位置的描述文本包括名称、标签、地址、评价、照片描述文本中的至少一种。
12.根据权利要求10所述的装置,其特征在于,所述检索处理单元,具体用于:
按照相似度从高到低对各地理位置进行排序,依据排序结果确定检索得到的地理位置;或者,
利用所述相似度确定相似度特征,将所述相似度特征作为预先训练得到的排序模型的输入向量之一,利用所述排序模型对各地理位置的排序结果确定检索得到的地理位置。
13.根据权利要求10所述的装置,其特征在于,该装置还包括:
第一模型训练单元,用于预先执行以下训练过程:
从历史点击日志中获取训练数据,所述训练数据包括检索词以及检索词对应的被点击地理位置作为正样本和未被点击地理位置作为负样本;
利用所述训练数据训练所述国际字符向量表示词典、第一神经网络和第二神经网络,以最大化第一相似度和第二相似度的差异,所述第一相似度为所述检索词的向量表示和所述正样本的向量表示的相似度,所述第二相似度为所述检索词的向量表示和所述负样本的向量表示的相似度。
14.根据权利要求13所述的装置,其特征在于,所述第一模型训练单元在利用所述训练数据训练所述国际字符向量表示词典、第一神经网络和第二神经网络时,具体执行:
利用国际字符向量表示词典,分别确定训练数据中各字符的向量表示;
将检索词中各字符的向量表示输入第一神经网络,得到检索词的向量表示;将正样本地理位置的描述文本中各字符的向量表示以及负样本地理位置的描述文本中各字符的向量表示分别输入第二神经网络,得到正样本的向量表示以及负样本的向量表示;
确定检索词的向量表示与正样本的向量表示的第一相似度以及同一检索词的向量表示与负样本的向量表示的第二相似度;
训练所述国际字符向量表示词典、第一神经网络和第二神经网络,以最大化第一相似度和第二相似度的差异。
15.根据权利要求10所述的装置,其特征在于,该装置还包括:第二模型训练单元,用于预先执行以下训练过程:
从历史点击日志中获取训练数据,所述训练数据包括检索词以及检索词对应的被点击地理位置作为正样本和未被点击地理位置作为负样本;
利用历史浏览日志,基于地理位置之间的浏览共现关系对所述正样本和负样本进行扩展;
利用扩展后的训练数据训练所述国际字符向量表示词典、第一神经网络和第二神经网络,以最大化第一相似度和第二相似度的差异,所述第一相似度为所述检索词的向量表示和所述正样本的向量表示的相似度,所述第二相似度为所述检索词的向量表示和所述负样本的向量表示的相似度。
16.根据权利要求15所述的装置,其特征在于,所述第二模型训练单元,具体用于从语义图中分别获取与所述被点击地理位置存在浏览共现关系的各第一地理位置以扩展所述正样本,以及与所述未被点击地理位置存在浏览共现关系的各第二地理位置以扩展所述负样本。
17.根据权利要求16所述的装置,其特征在于,所述第二模型训练单元在利用扩展后的训练数据训练所述国际字符向量表示词典、第一神经网络和第二神经网络时,具体执行:
利用国际字符向量表示词典,分别确定训练数据中各字符的向量表示;
将检索词中各字符的向量表示输入第一神经网络,得到检索词的向量表示;将所述被点击地理位置的描述文本中各字符的向量表示、所述各第一地理位置的描述文本中各字符的向量表示分别输入第二神经网络,将第二神经网络输出的各地理位置的向量表示按照语义图中对应地理位置之间的关联参数进行加权处理,得到正样本的向量表示;将所述未被点击地理位置的描述文本中各字符的向量表示、所述各第二地理位置的描述文本中各字符的向量表示分别输入第二神经网络,将第二神经网络输出的各地理位置的向量表示按照语义图中对应地理位置之间的关联参数进行加权处理,得到负样本的向量表示;
确定检索词的向量表示与正样本的向量表示的第一相似度以及同一检索词的向量表示与负样本的向量表示的第二相似度;
训练所述国际字符向量表示词典、语义图、第一神经网络和第二神经网络,以最大化第一相似度和第二相似度的差异。
18.根据权利要求16或17所述的装置,其特征在于,该装置还包括:
语义图构建单元,用于基于历史浏览日志建立语义图,所述语义图中节点为地理位置,对于存在浏览共现关系的地理位置建立对应节点之间的关联,地理位置之间的关联参数初始依据地理位置之间的共现状况确定;
所述第二模型训练单元在所述训练过程中更新语义图中所述地理位置之间的关联参数。
19.一种电子设备,其特征在于,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-9中任一项所述的方法。
20.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使所述计算机执行权利要求1-9中任一项所述的方法。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010334224.1A CN111666461B (zh) | 2020-04-24 | 2020-04-24 | 检索地理位置的方法、装置、设备和计算机存储介质 |
JP2021568840A JP7319391B2 (ja) | 2020-04-24 | 2020-11-25 | 地理的位置を検索する方法、装置、機器、コンピュータ記憶媒体及びコンピュータプログラム |
EP20875658.5A EP3926493B1 (en) | 2020-04-24 | 2020-11-25 | Method and apparatus for retrieving geographical position, and device and computer storage medium |
US17/285,857 US20220121692A1 (en) | 2020-04-24 | 2020-11-25 | Method, apparatus, device and computer storage medium for retrieving geographic positions |
PCT/CN2020/131321 WO2021212827A1 (zh) | 2020-04-24 | 2020-11-25 | 检索地理位置的方法、装置、设备和计算机存储介质 |
KR1020217035955A KR20210145811A (ko) | 2020-04-24 | 2020-11-25 | 지리적 위치를 검색하는 방법, 장치, 기기 및 컴퓨터 기록 매체 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010334224.1A CN111666461B (zh) | 2020-04-24 | 2020-04-24 | 检索地理位置的方法、装置、设备和计算机存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111666461A true CN111666461A (zh) | 2020-09-15 |
CN111666461B CN111666461B (zh) | 2023-05-26 |
Family
ID=72382968
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010334224.1A Active CN111666461B (zh) | 2020-04-24 | 2020-04-24 | 检索地理位置的方法、装置、设备和计算机存储介质 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20220121692A1 (zh) |
EP (1) | EP3926493B1 (zh) |
JP (1) | JP7319391B2 (zh) |
KR (1) | KR20210145811A (zh) |
CN (1) | CN111666461B (zh) |
WO (1) | WO2021212827A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113342912A (zh) * | 2021-05-24 | 2021-09-03 | 北京百度网讯科技有限公司 | 地理位置区域的编码方法、建立编码模型的方法及装置 |
WO2021212827A1 (zh) * | 2020-04-24 | 2021-10-28 | 百度在线网络技术(北京)有限公司 | 检索地理位置的方法、装置、设备和计算机存储介质 |
US11836174B2 (en) | 2020-04-24 | 2023-12-05 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and apparatus of establishing similarity model for retrieving geographic location |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024170389A1 (en) * | 2023-02-13 | 2024-08-22 | Fnv Ip B.V. | Method of encoding and storing geodata |
CN118297758A (zh) * | 2024-02-26 | 2024-07-05 | 中国科学技术信息研究所 | 专利突破性计算方法、装置、电子设备及可读存储介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101136028A (zh) * | 2006-07-10 | 2008-03-05 | 日电(中国)有限公司 | 基于自然语言的位置查询系统以及基于关键词的位置查询系统 |
US20090238474A1 (en) * | 2008-03-24 | 2009-09-24 | Michael Stephen Sandberg | String searching facility |
CN104834721A (zh) * | 2015-05-12 | 2015-08-12 | 百度在线网络技术(北京)有限公司 | 基于位置的搜索处理方法及装置 |
US20170154055A1 (en) * | 2015-12-01 | 2017-06-01 | Facebook, Inc. | Determining and utilizing contextual meaning of digital standardized image characters |
US20190065506A1 (en) * | 2017-08-28 | 2019-02-28 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Search method and apparatus based on artificial intelligence |
CN109408814A (zh) * | 2018-09-30 | 2019-03-01 | 中国地质大学(武汉) | 基于释义基元词的中英跨语言词汇表征学习方法及系统 |
CN110019668A (zh) * | 2017-10-31 | 2019-07-16 | 北京国双科技有限公司 | 一种文本检索方法及装置 |
CN110377686A (zh) * | 2019-07-04 | 2019-10-25 | 浙江大学 | 一种基于深度神经网络模型的地址信息特征抽取方法 |
CN110765368A (zh) * | 2018-12-29 | 2020-02-07 | 北京嘀嘀无限科技发展有限公司 | 用于语义检索的人工智能系统和方法 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8838512B2 (en) | 2011-04-18 | 2014-09-16 | Microsoft Corporation | Random walk on query pattern graph for query task classification |
US9129029B1 (en) * | 2011-05-19 | 2015-09-08 | Google Inc. | Ranking content using location-based query log analysis |
CN103714092A (zh) * | 2012-09-29 | 2014-04-09 | 北京百度网讯科技有限公司 | 一种地理位置的搜索方法和装置 |
US10067913B2 (en) * | 2013-05-08 | 2018-09-04 | Microsoft Technology Licensing, Llc | Cross-lingual automatic query annotation |
CN106547735B (zh) * | 2016-10-25 | 2020-07-07 | 复旦大学 | 基于深度学习的上下文感知的动态词或字向量的构建及使用方法 |
CN107301170B (zh) * | 2017-06-19 | 2020-12-22 | 北京百度网讯科技有限公司 | 基于人工智能的切分语句的方法和装置 |
US11526670B2 (en) * | 2018-09-28 | 2022-12-13 | The Mitre Corporation | Machine learning of colloquial place names |
CN110162593B (zh) * | 2018-11-29 | 2023-03-21 | 腾讯科技(深圳)有限公司 | 一种搜索结果处理、相似度模型训练方法及装置 |
CN110674419B (zh) | 2019-01-25 | 2020-10-20 | 滴图(北京)科技有限公司 | 地理信息检索方法、装置、电子设备及可读存储介质 |
CN111026937B (zh) * | 2019-11-13 | 2021-02-19 | 百度在线网络技术(北京)有限公司 | 提取poi名称的方法、装置、设备和计算机存储介质 |
CN111666461B (zh) * | 2020-04-24 | 2023-05-26 | 百度在线网络技术(北京)有限公司 | 检索地理位置的方法、装置、设备和计算机存储介质 |
-
2020
- 2020-04-24 CN CN202010334224.1A patent/CN111666461B/zh active Active
- 2020-11-25 EP EP20875658.5A patent/EP3926493B1/en active Active
- 2020-11-25 JP JP2021568840A patent/JP7319391B2/ja active Active
- 2020-11-25 US US17/285,857 patent/US20220121692A1/en not_active Abandoned
- 2020-11-25 KR KR1020217035955A patent/KR20210145811A/ko active Search and Examination
- 2020-11-25 WO PCT/CN2020/131321 patent/WO2021212827A1/zh unknown
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101136028A (zh) * | 2006-07-10 | 2008-03-05 | 日电(中国)有限公司 | 基于自然语言的位置查询系统以及基于关键词的位置查询系统 |
US20090238474A1 (en) * | 2008-03-24 | 2009-09-24 | Michael Stephen Sandberg | String searching facility |
CN104834721A (zh) * | 2015-05-12 | 2015-08-12 | 百度在线网络技术(北京)有限公司 | 基于位置的搜索处理方法及装置 |
US20170154055A1 (en) * | 2015-12-01 | 2017-06-01 | Facebook, Inc. | Determining and utilizing contextual meaning of digital standardized image characters |
US20190065506A1 (en) * | 2017-08-28 | 2019-02-28 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Search method and apparatus based on artificial intelligence |
CN110019668A (zh) * | 2017-10-31 | 2019-07-16 | 北京国双科技有限公司 | 一种文本检索方法及装置 |
CN109408814A (zh) * | 2018-09-30 | 2019-03-01 | 中国地质大学(武汉) | 基于释义基元词的中英跨语言词汇表征学习方法及系统 |
CN110765368A (zh) * | 2018-12-29 | 2020-02-07 | 北京嘀嘀无限科技发展有限公司 | 用于语义检索的人工智能系统和方法 |
CN110377686A (zh) * | 2019-07-04 | 2019-10-25 | 浙江大学 | 一种基于深度神经网络模型的地址信息特征抽取方法 |
Non-Patent Citations (1)
Title |
---|
黄芬: "基于地理信息的室外场景检索技术研究" * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021212827A1 (zh) * | 2020-04-24 | 2021-10-28 | 百度在线网络技术(北京)有限公司 | 检索地理位置的方法、装置、设备和计算机存储介质 |
US11836174B2 (en) | 2020-04-24 | 2023-12-05 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and apparatus of establishing similarity model for retrieving geographic location |
CN113342912A (zh) * | 2021-05-24 | 2021-09-03 | 北京百度网讯科技有限公司 | 地理位置区域的编码方法、建立编码模型的方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
KR20210145811A (ko) | 2021-12-02 |
EP3926493A1 (en) | 2021-12-22 |
JP2022533200A (ja) | 2022-07-21 |
CN111666461B (zh) | 2023-05-26 |
US20220121692A1 (en) | 2022-04-21 |
EP3926493B1 (en) | 2023-02-15 |
WO2021212827A1 (zh) | 2021-10-28 |
JP7319391B2 (ja) | 2023-08-01 |
EP3926493A4 (en) | 2022-01-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111666461B (zh) | 检索地理位置的方法、装置、设备和计算机存储介质 | |
CN111666292B (zh) | 用于检索地理位置的相似度模型建立方法和装置 | |
US11709999B2 (en) | Method and apparatus for acquiring POI state information, device and computer storage medium | |
CN112507715A (zh) | 确定实体之间关联关系的方法、装置、设备和存储介质 | |
CN111737559B (zh) | 资源排序方法、训练排序模型的方法及对应装置 | |
CN111931500B (zh) | 搜索信息的处理方法、装置 | |
WO2021139209A1 (zh) | 查询自动补全的方法、装置、设备和计算机存储介质 | |
CN112507091A (zh) | 检索信息的方法、装置、设备以及存储介质 | |
CN112328890A (zh) | 搜索地理位置点的方法、装置、设备及存储介质 | |
KR102601545B1 (ko) | 지리 위치점 정렬 방법, 정렬 모델 트레이닝 방법 및 대응하는 장치 | |
CN111460296B (zh) | 用于更新事件集合的方法和装置 | |
CN114861889A (zh) | 深度学习模型的训练方法、目标对象检测方法和装置 | |
CN112287121A (zh) | 推送信息的生成方法、装置 | |
CN112528001A (zh) | 一种信息查询方法、装置及电子设备 | |
CN112380847A (zh) | 兴趣点处理方法、装置、电子设备及存储介质 | |
CN112541362A (zh) | 一种泛化处理的方法、装置、设备和计算机存储介质 | |
CN112328896B (zh) | 用于输出信息的方法、装置、电子设备和介质 | |
CN112000495A (zh) | 用于兴趣点信息管理的方法、电子设备和存储介质 | |
CN114201607B (zh) | 一种信息处理的方法和装置 | |
CN112784600A (zh) | 信息排序方法、装置、电子设备和存储介质 | |
CN113595874B (zh) | 即时通讯群组的搜索方法、装置、电子设备和存储介质 | |
CN112905884B (zh) | 生成序列标注模型的方法、设备、介质及程序产品 | |
CN117668171A (zh) | 文本生成方法、训练方法、装置、电子设备以及存储介质 | |
CN117851546A (zh) | 资源检索方法、训练方法、装置、电子设备、存储介质及程序产品 | |
CN117668342A (zh) | 双塔模型的训练方法及商品召回方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |