CN114461718A - 数据融合方法、搜索方法、装置、电子设备及存储介质 - Google Patents

数据融合方法、搜索方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114461718A
CN114461718A CN202210140471.7A CN202210140471A CN114461718A CN 114461718 A CN114461718 A CN 114461718A CN 202210140471 A CN202210140471 A CN 202210140471A CN 114461718 A CN114461718 A CN 114461718A
Authority
CN
China
Prior art keywords
data
attribute
poi
search
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210140471.7A
Other languages
English (en)
Inventor
宋林鹏
郑智垚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202210140471.7A priority Critical patent/CN114461718A/zh
Publication of CN114461718A publication Critical patent/CN114461718A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/258Data format conversion from or to a database
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29Geographical information databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开提供了一种数据融合方法、搜索方法、装置、电子设备及存储介质,涉及计算机技术领域,尤其涉及数据处理、云计算、智能搜索等领域。具体实现方案为:从不同数据源获取待融合数据,所述待融合数据包括数据格式不统一的异构数据;对所述待融合数据的属性字段进行数据格式的转换处理,得到数据格式统一的属性数据;对所述属性数据进行属性分级处理,得到属性分级数据;根据所述属性分级数据进行数据融合处理,得到数据融合结果。采用本公开,可以对海量的多源异构数据进行数据融合,以提高数据处理速度。

Description

数据融合方法、搜索方法、装置、电子设备及存储介质
技术领域
本公开涉及计算机技术领域,尤其涉及数据处理、云计算、智能搜索等领域。
背景技术
大数据的时代,来自不同数据源的海量数据存在异构数据(比如数据格式不同的数据),海量的多源异构数据,其数据量巨大,且各自采用不同的数据格式,势必影响数据处理速度。然而,现有的数据融合方法大多是针对小规模数据,目前针对海量的多源异构数据,为了提高数据处理速度,迫切需要一种高效的数据融合方法。
发明内容
本公开提供了一种数据融合方法、装置、电子设备以及存储介质。
根据本公开的一方面,提供了一种数据融合方法,包括:
从不同数据源获取待融合数据,所述待融合数据包括数据格式不统一的异构数据;
对所述待融合数据的属性字段进行数据格式的转换处理,得到数据格式统一的属性数据;
对所述属性数据进行属性分级处理,得到属性分级数据;
根据所述属性分级数据进行数据融合处理,得到数据融合结果。
根据本公开的一方面,提供了一种搜索方法,包括:
从获取的搜索请求中提取出搜索关键词;
将所述搜索关键词发送给后台服务器,其中,所述后台服务器存储有根据上述数据融合方法得到的数据融合结果;
接收根据所述搜索关键词匹配所述数据融合结果得到的搜索结果。
根据本公开的另一方面,提供了一种数据融合装置,包括:
数据获取单元,用于从不同数据源获取待融合数据,所述待融合数据包括数据格式不统一的异构数据;
数据转换单元,用于对所述待融合数据的属性字段进行数据格式的转换处理,得到数据格式统一的属性数据;
数据分级单元,用于对所述属性数据进行属性分级处理,得到属性分级数据;
数据融合单元,用于根据所述属性分级数据进行数据融合处理,得到数据融合结果。
根据本公开的另一方面,提供了一种搜索装置,包括:
关键词提取单元,用于从获取的搜索请求中提取出搜索关键词;
关键词发送单元,用于将所述搜索关键词发送给后台服务器,其中,所述后台服务器存储有根据上述数据融合方法得到的数据融合结果;
搜索结果接收单元,用于接收根据所述搜索关键词匹配所述数据融合结果得到的搜索结果。
根据本公开的另一方面,提供了一种电子设备,包括:
至少一个处理器;以及
与该至少一个处理器通信连接的存储器;其中,
该存储器存储有可被该至少一个处理器执行的指令,该指令被该至少一个处理器执行,以使该至少一个处理器能够执行本公开任意一实施例所提供的方法。
根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,该计算机指令用于使该计算机执行本公开任意一项实施例所提供的方法。
根据本公开的另一方面,提供了一种计算机程序产品,包括计算机指令,该计算机指令被处理器执行时实现本公开任意一项实施例所提供的方法。
采用本公开,可以从不同数据源获取待融合数据,该待融合数据包括数据格式不统一的异构数据,对该待融合数据的属性字段进行数据格式的转换处理,可以得到数据格式统一的属性数据。对该属性数据进行属性分级处理,可以得到属性分级数据,根据该属性分级数据进行数据融合处理,得到数据融合结果,从而可以对海量的多源异构数据进行数据融合,以提高数据处理速度。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1是根据本公开实施例的一应用场景的示意图;
图2是根据本公开实施例的数据融合方法的流程示意图;
图3是根据本公开实施例的搜索方法的流程示意图;
图4是根据本公开实施例的应用示例中分级融合的示意图;
图5是根据本公开实施例的应用示例中对搜索请求进行解析的示意图;
图6是根据本公开实施例的应用示例中搜索场景的示意图;
图7-图8是根据本公开实施例的应用示例中显示搜索结果的示意图;
图9是根据本公开实施例的数据融合装置的组成结构示意图;
图10是根据本公开实施例的搜索装置的组成结构示意图;
图11是用来实现本公开实施例的数据融合方法或搜索方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括A、B、C中的至少一种,可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。本文中术语“第一”、“第二”表示指代多个类似的技术用语并对其进行区分,并不是限定顺序的意思,或者限定只有两个的意思,例如,第一特征和第二特征,是指代有两类/两个特征,第一特征可以为一个或多个,第二特征也可以为一个或多个。
另外,为了更好的说明本公开,在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解,没有某些具体细节,本公开同样可以实施。在一些实例中,对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述,以便于凸显本公开的主旨。
图1是根据本公开实施例的一应用场景的示意图,如图1所示,包括:后台服务器101执行的数据融合处理,以及客户端105执行的搜索处理两部分。客户端105执行的搜索处理仅为数据操作的一个示例,客户端也可以基于后台服务器执行的数据融合处理进行其他数据操作。其中,该数据融合处理的过程中,后台服务器101可以从不同数据源(如多家平台)获取待融合数据,对该待融合数据进行诸如数据格式标准化的数据预处理102后进行数据融合处理103,以得到数据融合结果,将该数据融合结果入库到数据库105中,该数据库105支持在线或离线搜索。该搜索处理的过程中,用户可以在客户端105的显示界面上输入搜索请求,搜索请求携带搜索关键词“xx酒店”,去后台服务器的数据库105中根据该搜索关键词匹配该数据融合结果,得到搜索结果,并在客户端105的显示界面上显示该搜索结果。该搜索结果可以包括两部分内容:在客户端显示界面的第一区域106显示第一信息,该第一信息是由不同平台(如不同酒店平台)对同一个兴趣点(Point of Interest,POI)提供的多个基础信息融合后得到的信息;在客户端显示界面的第二区域107分类显示多个第二信息,该多个第二信息是由不同平台(如不同酒店平台)对同一个POI提供的多个比价信息融合后得到的多个信息。
根据本公开的实施例,提供了一种数据融合方法,图2是根据本公开实施例的数据融合方法的流程示意图,该方法可以应用于数据融合装置,例如,该装置可以部署于单机、多机或集群系统中的终端或服务器或其它处理设备执行的情况下,可以实现海量多源异构数据的整合等处理。其中,终端可以为用户设备(UE,User Equipment)、移动设备、个人数字处理(PDA,Personal Digital Assistant)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中,该方法还可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。如图2所示,包括:
S201、从不同数据源获取待融合数据,该待融合数据包括数据格式不统一的异构数据。
S202、对该待融合数据的属性字段进行数据格式的转换处理,得到数据格式统一的属性数据。
S203、对该属性数据进行属性分级处理,得到属性分级数据。
S204、根据该属性分级数据进行数据融合处理,得到数据融合结果。
S201-S204的一示例中,从不同数据源,如不同票务平台、不同生活类应用(如酒店应用、电影票应用、演唱会应用等)的客户端或网站获取待融合数据,考虑到该待融合数据隶属于不同数据源,数据格式的定义有所不同,换言之,该待融合数据包括数据格式不统一的异构数据,在执行如搜索处理等数据操作之前,需要进行数据融合处理。具体的,可以对该待融合数据的属性字段(如用于描述POI属性的待处理字段)进行数据格式的转换处理,得到数据格式统一的属性数据,对该属性数据进行属性分级处理,可以得到属性分级数据(如用于描述POI属性的属性分级数据),根据该属性分级数据进行数据融合处理,得到数据融合结果(如基于POI身份标识融合得到的数据融合结果)。
采用本公开实施例,可以从不同数据源获取待融合数据,该待融合数据包括数据格式不统一的异构数据,对该待融合数据的属性字段进行数据格式的转换处理,可以得到数据格式统一的属性数据。对该属性数据进行属性分级处理,可以得到属性分级数据,根据该属性分级数据进行数据融合处理,得到数据融合结果,从而可以对海量的多源异构数据进行数据融合,以提高数据处理速度。
一实施方式中,对待融合数据的属性字段进行数据格式的转换处理,得到数据格式统一的属性数据,包括:该属性字段包括待融合数据中用于描述POI属性的待处理字段的情况下,提取用于描述POI属性标准化的第一模板,根据该第一模板对该待处理字段进行数据格式的转换处理,得到该属性数据。采用本实施方式,针对用于描述POI属性的待处理字段,可以通过用于描述POI属性标准化的第一模板(如表格形式的图表)进行转换,由于第一模板中包括POI属性标准化所满足的统一数据格式,因此,通过数据格式转换,可以得到统一的属性数据。属性数据的数据格式统一后,便于后续更高效的完成属性分级、数据融合处理。
一实施方式中,对属性数据进行属性分级处理,得到属性分级数据,包括:提取用于描述POI属性分级的第二模板,根据该第二模板对该属性数据进行属性分级处理,得到属性分级数据。采用本实施方式,针对属性分级数据(如用于描述POI属性的属性分级数据),可以通过用于描述POI属性分级的第二模板(如表格形式的图表)进行属性分级处理,由于第二模板中包括POI属性分级所满足的不同数据类型,因此,通过属性分级处理,可以得到属性分级数据。分级后可以按照分级融合优先级进行数据融合处理,便于后续更高效的完成数据融合处理。
需要指出的是,该第一模板和该第二模板可以整合为同一个模板,也可以是各自独立存在的模板,作为各自独立存在的模板的情况下,处理速度更快。
一实施方式中,还包括:根据POI所属的行政区域、POI所对应的地理坐标、包括POI属性描述的富媒体信息中的至少一种信息,得到所述POI属性分级。采用本实施方式,可以采用多样化的方式进行POI属性分级,从而,根据用户实际需要,满足不同的数据分级精度或数据融合精度的设计需求。
一实施方式中,根据属性分级数据进行数据融合处理,得到数据融合结果,包括:根据POI身份标识对该属性分级数据进行数据融合处理,将该属性分级数据映射到具备该POI身份标识的地图上,得到数据融合结果。采用本实施方式,可以基于POI身份标识将该属性分级数据映射到以POI身份标识为基准的地图(即:具有唯一身份标识的POI身份系统,或称为基准身份体系),从而,实现了POI地址在地理位置上的统一,且具有全局唯一的POI身份标识,便于各种客户端应用使用数据融合结果时,可以基于该唯一的POI身份标识去匹配该数据融合结果。
一实施方式中,还包括:根据属性分级数据对应的分级融合优先级,进行数据融合处理。采用本实施方式,比如,分级融合优先级可以包括:一级属性、二级属性、三级属性,一级属性>二级属性>三级属性。当能获取到一级属性时,用一级属性做数据融合处理;否则,找不到一级属性,再用二级属性做数据融合处理;都找不到,最后再用三级属性做数据融合处理,可以提高数据融合速度及匹配不同的数据融合精度。
根据本公开的实施例,提供了一种搜索方法,图3是根据本公开实施例的搜索方法的流程示意图,该方法可以应用于搜索装置,例如,该装置可以部署于单机、多机或集群系统中的终端或服务器或其它处理设备执行的情况下,可以实现针对海量的多源异构数据的搜索等处理。其中,终端可以为用户设备(UE,User Equipment)、移动设备、个人数字处理(PDA,Personal Digital Assistant)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中,该方法还可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。如图3所示,包括:
S301、从获取的搜索请求中提取出搜索关键词。
S302、将该搜索关键词发送给后台服务器,其中,该后台服务器存储有根据上述实施例的数据融合方法得到的数据融合结果。
S303、接收根据该搜索关键词匹配数据融合结果得到的搜索结果。
S301-S303的一示例中,可以从获取的搜索请求中提取出搜索关键词,如“xx酒店”或“xx电影”等,将搜索关键词“如xx酒店”或“xx电影”等发送给后台服务器,由于后台服务器进行数据融合处理后存储有数据融合结果,如“多家平台针对xx酒店的融合结果”或“多家平台针对xx电影的融合结果”,将该搜索关键词匹配该数据融合结果,得到搜索结果,如“xx酒店”或“xx电影”等的比价信息。
采用本公开实施例,针对搜索场景的数据操作,从上述实施例的数据融合结果中匹配搜索请求中的搜索关键词,由于数据融合结果是对来自不同平台的多源异构数据进行数据格式的转换处理、分级处理、融合处理后得到的结果,数据格式统一,按照属性分级还可以满足不同搜索的类型分级及搜索精度要求,不仅可以在同一个搜索结果中得到不同平台的相关搜索结果,而且,搜索更快、精度更高。
一实施方式中,还包括:显示搜索结果。其中,该搜索关键词包括POI的情况下,该搜索结果用于表征不同资源方对同一个POI的融合结果。采用本实施方式,由于数据融合结果可以是针对用于描述POI属性的待处理字段进行数据融合处理所得到的数据融合结果,比如,该数据融合结果可以是基于POI身份标识融合得到的数据融合结果,因此,可以将搜索关键词基于POI身份标识去匹配该数据融合结果,从而得到不同资源方对同一个POI的融合结果,方便用户针对同一个POI进行比价。
一实施方式中,显示搜索结果,包括:在客户端显示界面的第一区域,对不同资源方对同一个POI提供的多个基础信息融合后得到第一信息,在该客户端显示界面的第二区域,对该不同资源方对同一个POI提供的多个比价信息融合后得到多个第二信息。根据该第一信息及该多个第二信息进行图文渲染,显示该搜索结果。采用本实施方式,搜索结果包括:由基础信息得到的第一信息,以及由多个比价信息得到的多个第二信息,满足用户在同一个客户端针对同一个POI的比价查询需求,搜索更快、精度更高。
下面对上述本公开实施例提供的数据融合方法及搜索方法进行示例说明。
搜索场景中,由于不同票务平台的数据不一样,比如,不同票务平台针对同一个酒店的报价和优惠力度不同,因此,用户需要去不同票务平台获取数据并进行比价。以网络购票为例,把提供网络购票的网站称为在线票务服务商,各个票务平台各自为阵,用户一般只能获取到一家票务平台的票务信息,如果需要对不同票务平台提供的票务服务信息做比价,需要下载多个客户端,对不同票务平台的资源融合能力亟待突破。需要为用户提供基于搜索引擎的统一的票务信息搜索及票务服务获取入口,对不同行业、不同票务平台的数据进行融合处理,如下应用示例中针对酒店及电影票进行示例说明,不限于酒店及电影票,还可以针对景点门票等其他票务服务进行不同票务平台的资源融合。
对应用示例中涉及的技术名词解释如下:
a、POI:是地理空间的基本实体,一个POI可以是一栋房子、一个商铺、一个城市、一个公交站、一条街道等。许多商业消费实体都是一个POI,住宿消费中的酒店、休闲娱乐消费中的电影院、游乐园等都是POI。
b、多源异构POI:各个票务平台提供的票务服务,其需求不一样,对同一POI的属性描述具备各自的专业术语,通过各个票务平台接入的各级别服务资源方的质量层次不齐,数据标准也不统一,对这样多源异构的POI进行整合管理,需要进行数据格式标准化的预处理。
c、POI比价:对同一个商业POI点,各个票务平台的数据会有不同的报价,需要对各个票务平台的资源进行数据融合,以最终显示出各个票务平台对同一个POI点的比价信息。
将各个票务平台直接对接各级别服务资源方的POI,各个票务平台直接提供报价信息,或者,由中间商对接各级别服务资源方的POI,中间商掌握报价资源,各个票务平台再与中间商对接后显示报价信息,在数据融合处理上都具有排他性,即:对用户屏蔽了不同渠道价格不一的信息,导致用户想获取多渠道的报价信息并进行比价,需要下载多个各个票务平台对应的客户端或中间商对应的客户端才可以进行比价,尤其是对于一些没有独立客户端的中间商,用户无法获取报价信息并进行比价。
本应用示例中,主要包括如下针对用于描述POI属性的待处理字段的数据融合、根据数据融合结果入库以构建离线系统、根据离线系统中的数据融合结果实现在线系统的搜索等内容,具体描述如下:
一、针对用于描述POI属性的待处理字段的数据融合
1、POI属性标准制定&属性分级:
不同搜索场景下的各个票务平台具有的POI属性数据不一样,各个票务平台对用于描述POI属性的字段的表达方式也多种多样,需要具备统一的属性标准,考虑到不同属性对数据融合精度的影响也不一样,需要根据数据融合精度的不同需求对属性数据进行分级使用。
以用于描述POI属性标准化的第一模板及用于描述POI属性分级的第二模板整合为同一个模板(如表1所示的图表)为例,可以针对用于描述POI属性的待处理字段,采用该模板中“示例”的数据格式进行数据格式转换,从而得到统一的属性数据。之后,针对该属性数据,采用该模板中“属性”对应的“分级”进行属性分级处理,可以得到属性分级数据,比如,根据POI所属的行政区域进行划分,得到二级属性,以此类推,不做赘述。
Figure BDA0003506641010000101
表1
2、基于POI身份标识的数据融合处理:
对来自各个票务平台的多源异构POI进行数据融合时,需要具备一套具有唯一身份标识的POI身份系统(或称为基准身份体系),该基准身份体系可以是具备该POI身份标识的地图,使得具有各种不同类型的POI点(如电影院商户POI、酒店商户POI、景点商户POI等)具备一套全局唯一的POI身份标识,以便后续基于该POI身份标识匹配数据融合结果。
基于POI点的属性数据,将来自各个票务平台归一融合到基准身份体系,比如,映射到具备该POI身份标识的地图上,且使用该具备该POI身份标识的地图的坐标为统一的坐标系,最终得到数据融合结果,以确保在该数据融合结果中,各个票务平台针对同一个POI的地址,在地理位置上是统一,且具有全局唯一的POI身份标识。
进一步的,还可以根据不同的属性字段类型(数字、文本、富文本等),基于多种类型的相似度算法对该基于POI点的属性数据进行筛选,以提高数据融合效率,还可以采用如下模板(如表2所示的图表)进行数据融合处理。
Figure BDA0003506641010000111
表2
进一步的,数据融合处理还可以通过上述模板(如表1所示的图表)中的属性分级(如一级属性、二级属性、三级属性等)进行分级的数据融合处理,以匹配不同融合精度的需求。图4是根据本公开实施例的应用示例中分级融合的示意图,如图4所示,将来自各个票务平台的多源异构POI归一融合到基准身份体系上,进行属性预处理后还可以进行分级融合处理,比如,分级融合优先级可以包括:一级属性、二级属性、三级属性,一级属性>二级属性>三级属性。当能获取到一级属性时,用一级属性做数据融合处理;否则,找不到一级属性,再用二级属性做数据融合处理;都找不到,最后再用三级属性做数据融合处理,可以提高数据融合速度及匹配不同的数据融合精度,将分级融合后得到的数据融合结果入库,得到融合后的POI库,该融合后的POI库还可以存储在离线系统中。
二、根据数据融合结果入库以构建离线系统
离线系统中可以存储数据融合结果(融合后的POI库),离线系统可以是一个离线数据库,与数据融合处理各自独立运行;该离线系统还可以是包括数据提交模块和POI融合模块的系统,即:在离线系统中,通过该数据提交模块接收来自各个票务平台的多源异构POI(支持离线全量&实时批量数据的多种数据提交模式),通过该POI融合模块进行数据融合处理,以得到数据融合结果。
其中,通过该数据提交模块接收的上述多源异构POI,可以是各个票务平台按照事先的数据格式约定,以数据schema格式提交的,还可以是各个票务平台提交原始数据,如果原始数据不满足该数据格式,则由该数据提交模块进行数据格式转换的预处理后再使用。
三、根据离线系统中的数据融合结果实现在线系统的搜索
1、对搜索请求的搜索需求进行解析
在线系统获取用户发送的搜索请求(比如,用户基于小程序、客户端、h5网页平台等不同入口发送的搜索请求)后,解析该搜索请求,得到搜索关键词,为了提高搜索准确率,可以利用神经网络训练的先验经验,即:对将诸如酒店的消费数据,电影院的消费数据、音乐会的消费数据等作为训练样本以预先训练分类模板或分类模型,利用训练好的分类模板或分类模型对搜索请求进行解析,以识别出该搜索请求中的搜索关键词满足的搜索需求为哪种具体的类别(如酒店、电影院、音乐会等)。
进一步的,还可以将通过训练好的分类模板或分类模型识别出的该搜索需求提供给其他搜索服务,不限于通过实体搜索或键值(key-Value,KV)搜索等,以更好的识别出搜索请求中的搜索需求。
图5是根据本公开实施例的应用示例中对搜索请求进行解析的示意图,如图5所示,以分类模型为例,通过用于酒店需求实体识别的训练数据训练好该分类模型后,输入搜索请求到该分类模型(比如,nlp命名实体识别模型)中,通过该分类模型对搜索请求的搜索需求进行解析,判断是否为酒店POI实体/酒店POI需求实体,如果是,则输出酒店实体词,如表3所示为基于该分类模型基于POI实体进行解析的输入/输出示例,其中,输入示例为如下的搜索请求,输出示例为搜索需求对应的实体。
示例的搜索请求 酒店POI实体 搜索需求对应的实体
“xx酒店”联系电话 “xx酒店” 联系电话
“xx酒店”地址 “xx酒店” 地址
“xx酒店”评价如何 “xx酒店” 评价
“xx酒店”在哪个市 “xx酒店” 哪个市
“xx酒店”在哪个街道 “xx酒店” 在哪个街道
“xx酒店”图文简介 “xx酒店” 图文简介
“xx酒店”最低报价 “xx酒店” 最低报价
表3
具体的,为了提高该分类模型的解析准确率,可以进行挖掘、泛化等处理,包括如下内容:
1)需求向量(pattern)挖掘&泛化
在模型训练过程中,对具有POI购票需求用户,对用户真实的搜索请求进行分析,抽离出该搜索请求中除了POI实体以外的实体,这些实体就是需求pattern。比如:一个搜索请求中包括:“北京xx酒店”住一晚多少钱,其中,“北京xx酒店”是POI实体,而“住一晚多少钱”是需求pattern。对需求pattern进行泛化,则是找出需求pattern的类似表达,比如“住一次多少钱”、“住一晚最便宜多少钱”等。其中,针对需求pattern的挖掘可以根据全量用户购票需求的搜索请求减去所有POI实体名称后获取;针对需求pattern进行泛化,则可以nlp短文本的搜索请求进行相似度匹配,得到类似的描述。
2)该分类模型的训练
根据抽离出的上述POI实体,可以得到POI实体词典;根据抽离出的上述需求pattern的挖掘和泛化,可以得到需求pattern词典(或称为购票需求词典)。将POI实体词典和购票需求词典作为训练数据,对分类模型进行模型训练,可以使用少量的训练数据训练分类模型,在网络购票中,该分类模型具体为判别用户query是否具有某类购票需求的文本多分类模型。
进一步的,还可以根据通过[POI实体词典][需求pattern词典]构建需求模板,如果从搜索请求中得到的需求向量pattern与需求pattern词典匹配,则调用需求模板,之后使用分类模板对搜索请求中的POI实体进行解析,以明确针对该POI实体具备哪种具体的搜索需求。
2、POI在线搜索
图6是根据本公开实施例的应用示例中搜索场景的示意图,如图6所示,POI在线搜索包括:根据用户输入的搜索请求,对搜索请求的搜索需求(如购票需求)进行识别,从搜索请求中提取出POI实体名(如“xx酒店”),以Kv搜索方式去离线系统中的POI库进行搜索,得到与POI实体名对应的目标POI实体及对应的POI身份标识,根据目标POI实体及对应的POI身份标识得到搜索结果,搜索结果可以是各个票务平台提供的比价信息,比价信息可以是以富媒体形式所显示的信息。
图7是根据本公开实施例的应用示例中显示搜索结果的示意图,如图7所示,在客户端的屏幕上显示对各个票务平台进行数据融合后针对同一个酒店的比价页面701,该比价界面701是后台服务器接收客户端的输入的搜索请求(搜索请求携带搜索关键词“xx酒店”)之后反馈的搜索结果。具体的,后台服务器的一个示例中,后台服务器可以包括在线系统和离线系统,通过该在线系统接收客户端的输入的搜索请求后,在离线系统中根据该搜索关键词匹配存储的数据融合结果,与该搜索关键词匹配的数据融合结果即为该搜索结果。该搜索结果包括两部分:在第一区域702显示第一信息,该第一信息是由不同酒店平台对同一个POI提供的多个基础信息融合后得到的信息;在第二区域703分类显示多个第二信息,该多个第二信息是由不同酒店平台对同一个POI提供的多个比价信息融合后得到的多个信息。
图8是根据本公开实施例的应用示例中显示搜索结果的示意图,如图8所示,在客户端的屏幕上显示对各个票务平台进行数据融合后针对同一个电影的比价页面801,该比价界面801是后台服务器在搜索框802接收客户端的输入的搜索请求(搜索请求携带搜索关键词“xx电影”)之后反馈的搜索结果。具体的,后台服务器的一个示例中,后台服务器可以包括在线系统和离线系统,通过该在线系统接收客户端的输入的搜索请求后,在离线系统中根据该搜索关键词匹配存储的数据融合结果,与该搜索关键词匹配的数据融合结果即为该搜索结果。该搜索结果包括两部分:在第一区域803显示第一信息,该第一信息是由不同电影院线平台对同一个POI提供的多个基础信息融合后得到的信息;在第二区域804分类显示多个第二信息,该多个第二信息是由不同电影院线平台对同一个POI提供的多个比价信息融合后得到的多个信息。
根据本公开的实施例,提供了一种数据融合装置,图9是根据本公开实施例的数据融合装置的组成结构示意图,如图9所示,数据融合装置900包括:数据获取单元901,用于从不同数据源获取待融合数据,所述待融合数据包括数据格式不统一的异构数据;数据转换单元902,用于对所述待融合数据的属性字段进行数据格式的转换处理,得到数据格式统一的属性数据;数据分级单元903,用于对所述属性数据进行属性分级处理,得到属性分级数据;数据融合单元904,用于根据所述属性分级数据进行数据融合处理,得到数据融合结果。
一实施方式中,所述数据转换单元,用于所述属性字段包括所述待融合数据中用于描述POI属性的待处理字段的情况下,提取用于描述POI属性标准化的第一模板;根据所述第一模板对所述待处理字段进行数据格式的转换处理,得到所述属性数据。
一实施方式中,所述数据分级单元,用于提取用于描述POI属性分级的第二模板;根据所述第二模板对所述属性数据进行属性分级处理,得到属性分级数据。
一实施方式中,还包括属性分级生成单元,用于根据POI所属的行政区域、POI所对应的地理坐标、包括POI属性描述的富媒体信息中的至少一种信息,得到所述POI属性分级。
一实施方式中,所述数据融合单元,用于根据POI身份标识对所述属性分级数据进行数据融合处理,将所述属性分级数据映射到具备所述POI身份标识的地图上,得到数据融合结果。
一实施方式中,还包括分级融合单元,用于根据所述属性分级数据对应的分级融合优先级,进行所述数据融合处理。
根据本公开的实施例,提供了一种搜索装置,图10是根据本公开实施例的搜索装置的组成结构示意图,如图10所示搜索装置1000包括:关键词提取单元1001,用于从获取的搜索请求中提取出搜索关键词;关键词发送单元1002,用于将所述搜索关键词发送给后台服务器,其中,所述后台服务器存储有根据上述数据融合方法得到的数据融合结果;搜索结果接收单元1003,用于接收根据所述搜索关键词匹配所述数据融合结果得到的搜索结果。
一实施方式中,还包括显示单元,用于显示所述搜索结果;其中,所述搜索关键词包括POI的情况下,所述搜索结果用于表征不同资源方对同一个兴趣点POI的融合结果。
一实施方式中,所述显示单元,用于在客户端显示界面的第一区域,对所述不同资源方对同一个POI提供的多个基础信息融合后得到第一信息;在所述客户端显示界面的第二区域,对所述不同资源方对同一个POI提供的多个比价信息融合后得到多个第二信息;根据所述第一信息及所述多个第二信息进行图文渲染,显示所述搜索结果。
本公开的技术方案中,所涉及的用户个人信息的获取,存储和应用等,均符合相关法律法规的规定,且不违背公序良俗。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图11示出了可以用来实施本公开的实施例的示例电子设备1100的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图11所示,电子设备1100包括计算单元1101,其可以根据存储在只读存储器(ROM)1102中的计算机程序或者从存储单元1108加载到随机访问存储器(RAM)1103中的计算机程序,来执行各种适当的动作和处理。在RAM 803中,还可存储电子设备1100操作所需的各种程序和数据。计算单元1101、ROM 1102以及RAM 1103通过总线1104彼此相连。输入/输出(I/O)接口1105也连接至总线1104。
电子设备1100中的多个部件连接至I/O接口1105,包括:输入单元1106,例如键盘、鼠标等;输出单元1107,例如各种类型的显示器、扬声器等;存储单元1108,例如磁盘、光盘等;以及通信单元1109,例如网卡、调制解调器、无线通信收发机等。通信单元1109允许电子设备1100通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1101可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1101的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1101执行上文所描述的各个方法和处理,例如数据融合方法或搜索方法。例如,在一些实施例中,数据融合方法或搜索方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元1108。在一些实施例中,计算机程序的部分或者全部可以经由ROM 1102和/或通信单元1109而被载入和/或安装到电子设备1100上。当计算机程序加载到RAM 1103并由计算单元1101执行时,可以执行上文描述的数据融合方法或搜索方法的一个或多个步骤。备选地,在其他实施例中,计算单元1101可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行数据融合方法或搜索方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入、或者触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,也可以为分布式系统的服务器,或者是结合了区块链的服务器。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。

Claims (21)

1.一种数据融合方法,包括:
从不同数据源获取待融合数据,所述待融合数据包括数据格式不统一的异构数据;
对所述待融合数据的属性字段进行数据格式的转换处理,得到数据格式统一的属性数据;
对所述属性数据进行属性分级处理,得到属性分级数据;
根据所述属性分级数据进行数据融合处理,得到数据融合结果。
2.根据权利要求1所述的方法,其中,所述对所述待融合数据的属性字段进行数据格式的转换处理,得到数据格式统一的属性数据,包括:
所述属性字段包括所述待融合数据中用于描述兴趣点POI属性的待处理字段的情况下,提取用于描述POI属性标准化的第一模板;
根据所述第一模板对所述待处理字段进行数据格式的转换处理,得到所述属性数据。
3.根据权利要求2所述的方法,其中,对所述属性数据进行属性分级处理,得到属性分级数据,包括:
提取用于描述POI属性分级的第二模板;
根据所述第二模板对所述属性数据进行属性分级处理,得到属性分级数据。
4.根据权利要求3所述的方法,还包括:
根据POI所属的行政区域、POI所对应的地理坐标、包括POI属性描述的富媒体信息中的至少一种信息,得到所述POI属性分级。
5.根据权利要求1-4中任一项所述的方法,其中,所述根据所述属性分级数据进行数据融合处理,得到数据融合结果,包括:
根据POI身份标识对所述属性分级数据进行数据融合处理,将所述属性分级数据映射到具备所述POI身份标识的地图上,得到数据融合结果。
6.根据权利要求5所述的方法,还包括:
根据所述属性分级数据对应的分级融合优先级,进行所述数据融合处理。
7.一种搜索方法,包括:
从获取的搜索请求中提取出搜索关键词;
将所述搜索关键词发送给后台服务器,其中,所述后台服务器存储有根据上述权利要求1-6所述的数据融合方法得到的数据融合结果;
接收根据所述搜索关键词匹配所述数据融合结果得到的搜索结果。
8.根据权利要求7所述的方法,还包括:
显示所述搜索结果;
所述搜索关键词包括兴趣点POI的情况下,所述搜索结果用于表征不同资源方对同一个POI的融合结果。
9.根据权利要求8所述的方法,其中,所述显示所述搜索结果,包括:
在客户端显示界面的第一区域,对所述不同资源方对同一个POI提供的多个基础信息融合后得到第一信息;
在所述客户端显示界面的第二区域,对所述不同资源方对同一个POI提供的多个比价信息融合后得到多个第二信息;
根据所述第一信息及所述多个第二信息进行图文渲染,显示所述搜索结果。
10.一种数据融合装置,包括:
数据获取单元,用于从不同数据源获取待融合数据,所述待融合数据包括数据格式不统一的异构数据;
数据转换单元,用于对所述待融合数据的属性字段进行数据格式的转换处理,得到数据格式统一的属性数据;
数据分级单元,用于对所述属性数据进行属性分级处理,得到属性分级数据;
数据融合单元,用于根据所述属性分级数据进行数据融合处理,得到数据融合结果。
11.根据权利要求10所述的装置,其中,所述数据转换单元,用于:
所述属性字段包括所述待融合数据中用于描述兴趣点POI属性的待处理字段的情况下,提取用于描述POI属性标准化的第一模板;
根据所述第一模板对所述待处理字段进行数据格式的转换处理,得到所述属性数据。
12.根据权利要求11所述的装置,其中,所述数据分级单元,用于:
提取用于描述POI属性分级的第二模板;
根据所述第二模板对所述属性数据进行属性分级处理,得到属性分级数据。
13.根据权利要求12所述的装置,还包括属性分级生成单元,用于:
根据POI所属的行政区域、POI所对应的地理坐标、包括POI属性描述的富媒体信息中的至少一种信息,得到所述POI属性分级。
14.根据权利要求10-13中任一项所述的装置,其中,所述数据融合单元,用于:
根据POI身份标识对所述属性分级数据进行数据融合处理,将所述属性分级数据映射到具备所述POI身份标识的地图上,得到数据融合结果。
15.根据权利要求14所述的装置,还包括分级融合单元,用于:
根据所述属性分级数据对应的分级融合优先级,进行所述数据融合处理。
16.一种搜索装置,包括:
关键词提取单元,用于从获取的搜索请求中提取出搜索关键词;
关键词发送单元,用于将所述搜索关键词发送给后台服务器,其中,所述后台服务器存储有根据上述权利要求1-6所述的数据融合方法得到的数据融合结果;
搜索结果接收单元,用于接收根据所述搜索关键词匹配所述数据融合结果得到的搜索结果。
17.根据权利要求16所述的装置,还包括显示单元,用于:
显示所述搜索结果;
所述搜索关键词包括兴趣点POI的情况下,所述搜索结果用于表征不同资源方对同一个POI的融合结果。
18.根据权利要求17所述的装置,其中,所述显示单元,用于:
在客户端显示界面的第一区域,对所述不同资源方对同一个POI提供的多个基础信息融合后得到第一信息;
在所述客户端显示界面的第二区域,对所述不同资源方对同一个POI提供的多个比价信息融合后得到多个第二信息;
根据所述第一信息及所述多个第二信息进行图文渲染,显示所述搜索结果。
19.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-9中任一项所述的方法。
20.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-9中任一项所述的方法。
21.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-9中任一项所述的方法。
CN202210140471.7A 2022-02-16 2022-02-16 数据融合方法、搜索方法、装置、电子设备及存储介质 Pending CN114461718A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210140471.7A CN114461718A (zh) 2022-02-16 2022-02-16 数据融合方法、搜索方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210140471.7A CN114461718A (zh) 2022-02-16 2022-02-16 数据融合方法、搜索方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114461718A true CN114461718A (zh) 2022-05-10

Family

ID=81413674

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210140471.7A Pending CN114461718A (zh) 2022-02-16 2022-02-16 数据融合方法、搜索方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114461718A (zh)

Similar Documents

Publication Publication Date Title
US20220198327A1 (en) Method, apparatus, device and storage medium for training dialogue understanding model
CN106296059B (zh) 派送网点确定方法及设备
TWI703862B (zh) 內容推薦方法及裝置
CN111325022B (zh) 识别层级地址的方法和装置
CN114549874A (zh) 多目标图文匹配模型的训练方法、图文检索方法及装置
KR102601545B1 (ko) 지리 위치점 정렬 방법, 정렬 모델 트레이닝 방법 및 대응하는 장치
CN111382341A (zh) 一种基于大数据的科技信息资源检索查询系统及方法
CN114416900A (zh) 一种轨迹停留点分析的方法和装置
CN113239295A (zh) 搜索方法、装置、电子设备以及存储介质
CN114372133A (zh) 查询信息问答方法、相关装置及计算机程序产品
US20230194302A1 (en) Method of updating map data, electronic device and storage medium
CN113722580A (zh) 地址信息处理方法、装置、电子设备和计算机可读介质
US20220172310A1 (en) House-renting recommendation method, electronic device and storage medium
CN110737820B (zh) 用于生成事件信息的方法和装置
CN115619142A (zh) 匹配数据的方法、装置、设备和计算机可读介质
CN114461718A (zh) 数据融合方法、搜索方法、装置、电子设备及存储介质
CN115563942A (zh) 一种合同生成方法、装置、电子设备及计算机可读介质
JP2023554210A (ja) インテリジェント推奨用のソートモデルトレーニング方法及び装置、インテリジェント推奨方法及び装置、電子機器、記憶媒体、並びにコンピュータプログラム
CN115203281A (zh) 信息查找方法、装置、电子设备和存储介质
CN112559876A (zh) 地图搜索结果的展现方法、装置、设备及存储介质
CN112148847A (zh) 一种语音信息的处理方法及装置
CN113076395A (zh) 语义模型训练、搜索显示方法、装置、设备及存储介质
CN113190676A (zh) 一种提取地址关键词的方法和装置
CN113515687A (zh) 物流信息的获取方法和装置
CN111475742A (zh) 一种地址提取方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination