CN112100156A - 基于用户行为构建知识库的方法、装置、介质、系统 - Google Patents
基于用户行为构建知识库的方法、装置、介质、系统 Download PDFInfo
- Publication number
- CN112100156A CN112100156A CN202010968825.8A CN202010968825A CN112100156A CN 112100156 A CN112100156 A CN 112100156A CN 202010968825 A CN202010968825 A CN 202010968825A CN 112100156 A CN112100156 A CN 112100156A
- Authority
- CN
- China
- Prior art keywords
- event
- events
- entity
- user
- knowledge base
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 230000006399 behavior Effects 0.000 title claims abstract description 51
- 238000009411 base construction Methods 0.000 claims abstract description 6
- 238000000605 extraction Methods 0.000 claims description 12
- 230000015654 memory Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 2
- 238000004891 communication Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000009471 action Effects 0.000 description 6
- 238000012216 screening Methods 0.000 description 6
- 235000014510 cooky Nutrition 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000003936 working memory Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000009933 burial Methods 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/288—Entity relationship models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Transfer Between Computers (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本公开了一种基于用户行为构建知识库的方法、装置、计算设备、介质和计算机系统,涉及知识库领域,尤其涉及用户行为采集与知识库的构建,可应用于用户意图识别及理解等场景。方法包括:获取由用户发起的多个事件的事件信息;针对多个事件中的每个事件,从相应的事件信息中提取实体;通过分析多个事件中的事件之间的关联性获取相应的实体间的关系,其中,如果确定多个事件中的第一事件与多个事件中的第二事件相关联,则在第一实体与第二实体之间建立关系,其中,第一实体是从第一事件中提取的,第二实体是从第二事件中提取的;以及利用所提取的实体与所获取的关系构建知识库。
Description
技术领域
本公开涉及知识库领域,尤其涉及一种基于用户行为构建知识库的方法、装置、介质和系统。
背景技术
传统的知识库往往是从先验的领域知识提取出知识内容,或者非结构化数据比如文本数据中提取出知识内容。
基于领域知识的知识库技术受限于主观知识的局限性,往往在知识召回上存在问题,而且需要大量的人工回顾来构建领域知识。从非结构化数据中提取知识关系的方法主要适用于开放领域,例如互联网上的体育、新闻领域等。然而,对于某些专业性强、知识关系或知识结构间的可复用性偏低、或者文本数据偏少的使用场景,例如企业级业务场景,该方法往往不适用。
发明内容
根据本公开的一个方面,提供了一种基于用户行为构建知识库的方法,所述方法包括:获取由用户发起的多个事件的事件信息;针对所述多个事件中的每个事件,从相应的事件信息中提取实体;通过分析所述多个事件中的事件之间的关联性获取相应的实体间的关系,其中,如果确定所述多个事件中的第一事件与所述多个事件中的第二事件相关联,则在第一实体与第二实体之间建立关系,其中,所述第一实体是从所述第一事件中提取的,所述第二实体是从所述第二事件中提取的;以及利用所提取的实体与所获取的关系构建知识库。
根据本公开的另一个方面,提供了一种基于用户行为构建知识库的装置,所述装置包括:事件信息获取单元,用于获取用户发起的多个事件的事件信息;实体提取单元,用于针对所述多个事件中的每个事件,从相应的事件信息中提取实体;关系提取单元,用于通过分析所述多个事件中的事件之间的关联性获取实体间的关系,其中,如果确定所述多个事件中的第一事件与所述多个事件中的第二事件相关联,则在第一实体与第二实体之间建立关系,所述第一实体是从所述第一事件中提取的,所述第二实体是从所述第二事件中提取的;以及知识库构建单元,用于利用获取的实体与关系构建知识库。
根据本公开的另一个方面,提供了一种计算设备。计算设备包括:处理器;以及存储程序的存储器,所述程序包括指令,所述指令在由所述处理器执行时使所述处理器执行根据本公开的实施例的基于用户行为构建知识库的方法。
根据本公开的另一个方面,提供了一种存储程序的计算机可读存储介质,所述程序包括指令,所述指令在由计算设备的处理器执行时,致使所述计算设备执行根据本公开的实施例的基于用户行为构建知识库的方法。
根据本公开的另一个方面,提供了一种知识库系统。知识库系统使用根据本公开的实施例的基于用户行为构建知识库的方法构建的知识库。
根据本公开的实施例,能够在不依赖于大量文本信息或先验知识的情况下构建数据库。
附图说明
附图示例性地示出了实施例并且构成说明书的一部分,与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于例示的目的,并不限制权利要求的范围。在所有附图中,相同的附图标记指代类似但不一定相同的要素。
图1示出了根据本公开的实施例的可以在其中实施本文描述的各种方法的示例性系统的示意图;
图2是根据本公开的一些实施例的基于用户行为构建知识库的方法的流程图。
图3是根据本公开的另一实施例的基于用户行为构建知识库的方法的流程图。
图4是根据本公开的又一实施例的基于用户行为构建知识库的方法的流程图。
图5是示出根据一个示例性实施例的基于用户行为构建知识库的装置的框图。
图6是示出根据一个示例性实施例的基于用户行为构建知识库的计算设备的框图。
具体实施方式
在本公开中,除非另有说明,否则使用术语“第一”、“第二”等来描述各种要素不意图限定这些要素的位置关系、时序关系或重要性关系,这种术语只是用于将一个元件与另一元件区分开。在一些示例中,第一要素和第二要素可以指向该要素的同一实例,而在某些情况下,基于上下文的描述,它们也可以指代不同实例。
在本公开中对各种所述示例的描述中所使用的术语只是为了描述特定示例的目的,而并非旨在进行限制。除非上下文另外明确地表明,如果不特意限定要素的数量,则该要素可以是一个也可以是多个。此外,本公开中所使用的术语“和/或”涵盖所列出的项目中的任何一个以及全部可能的组合方式。
下面将结合附图详细描述本公开的实施例。
图1示出了根据本公开的实施例可以将本文描述的各种方法和装置在其中实施的示例性系统100的示意图。参考图1,该系统100包括一个或多个客户端设备101、102、103、104、105和106、服务器120以及将一个或多个客户端设备耦接到服务器120的一个或多个通信网络110。客户端设备101、102、103、104、105和106可以被配置为执行一个或多个应用程序。
在本公开的实施例中,服务器120可以运行使得能够基于用户行为构建知识库的方法的一个或多个服务或软件应用。
在某些实施例中,服务器120还可以提供可以包括非虚拟环境和虚拟环境的其他服务或软件应用。在某些实施例中,这些服务可以作为基于web的服务或云服务提供,例如在软件即服务(SaaS)模型下提供给客户端设备101、102、103、104、105和/或106的用户。
在图1所示的配置中,服务器120可以包括实现由服务器120执行的功能的一个或多个组件。这些组件可以包括可由一个或多个处理器执行的软件组件、硬件组件或其组合。操作客户端设备101、102、103、104、105和/或106的用户可以依次利用一个或多个客户端应用程序来与服务器120进行交互以利用这些组件提供的服务。应当理解,各种不同的系统配置是可能的,其可以与系统100不同。因此,图1是用于实施本文所描述的各种方法的系统的一个示例,并且不旨在进行限制。
用户可以使用客户端设备101、102、103、104、105和/或106来使用或者调取根据本公开的基于用户行为构建的知识库或者以其他方式与根据本公开的方法构建的知识库进行交互。客户端设备可以提供使客户端设备的用户能够与客户端设备进行交互的接口。客户端设备还可以经由该接口向用户输出信息。尽管图1仅描绘了六种客户端设备,但是本领域技术人员将能够理解,本公开可以支持任何数量的客户端设备。
客户端设备101、102、103、104、105和/或106可以包括各种类型的计算系统,例如便携式手持设备、通用计算机(诸如个人计算机和膝上型计算机)、工作站计算机、可穿戴设备、游戏系统、瘦客户端、各种消息收发设备、传感器或其他感测设备等。这些计算设备可以运行各种类型和版本的软件应用程序和操作系统,例如Microsoft Windows、Apple iOS、类UNIX操作系统、Linux或类Linux操作系统(例如Google Chrome OS);或包括各种移动操作系统,例如Microsoft Windows Mobile OS、iOS、Windows Phone、Android。便携式手持设备可以包括蜂窝电话、智能电话、平板电脑、个人数字助理(PDA)等。可穿戴设备可以包括头戴式显示器和其他设备。游戏系统可以包括各种手持式游戏设备、支持互联网的游戏设备等。客户端设备能够执行各种不同的应用程序,例如各种与Internet相关的应用程序、通信应用程序(例如电子邮件应用程序)、短消息服务(SMS)应用程序,并且可以使用各种通信协议。
网络110可以是本领域技术人员熟知的任何类型的网络,其可以使用多种可用协议中的任何一种(包括但不限于TCP/IP、SNA、IPX等)来支持数据通信。仅作为示例,一个或多个网络110可以是局域网(LAN)、基于以太网的网络、令牌环、广域网(WAN)、因特网、虚拟网络、虚拟专用网络(VPN)、内部网、外部网、公共交换电话网(PSTN)、红外网络、无线网络(例如蓝牙、WIFI)和/或这些和/或其他网络的任意组合。
服务器120可以包括一个或多个通用计算机、专用服务器计算机(例如PC(个人计算机)服务器、UNIX服务器、中端服务器)、刀片式服务器、大型计算机、服务器群集或任何其他适当的布置和/或组合。服务器120可以包括运行虚拟操作系统的一个或多个虚拟机,或者涉及虚拟化的其他计算架构(例如可以被虚拟化以维护服务器的虚拟存储设备的逻辑存储设备的一个或多个灵活池)。在各种实施例中,服务器120可以运行提供下文所描述的功能的一个或多个服务或软件应用。
服务器120中的计算系统可以运行包括上述任何操作系统以及任何商业上可用的服务器操作系统的一个或多个操作系统。服务器120还可以运行各种附加服务器应用程序和/或中间层应用程序中的任何一个,包括HTTP服务器、FTP服务器、CGI服务器、JAVA服务器、数据库服务器等。
在一些实施方式中,服务器120可以包括一个或多个应用程序,以分析和合并从客户端设备101、102、103、104、105和106的用户接收的数据馈送和/或事件更新。服务器120还可以包括一个或多个应用程序,以经由客户端设备101、102、103、104、105和106的一个或多个显示设备来显示数据馈送和/或实时事件。
系统100还可以包括一个或多个数据库130。在某些实施例中,这些数据库可以用于存储数据和其他信息。例如,数据库130中的一个或多个可用于存储诸如音频文件和视频文件的信息。数据存储库130可以驻留在各种位置。例如,由服务器120使用的数据存储库可以在服务器120本地,或者可以远离服务器120且可以经由基于网络或专用的连接与服务器120通信。数据存储库130可以是不同的类型。在某些实施例中,由服务器120使用的数据存储库可以是数据库,例如关系数据库。这些数据库中的一个或多个可以响应于命令而存储、更新和检索到数据库以及来自数据库的数据。
在某些实施例中,数据库130中的一个或多个还可以由应用程序使用来存储应用程序数据。由应用程序使用的数据库可以是不同类型的数据库,例如键值存储库,对象存储库或由文件系统支持的常规存储库。
图1的系统100可以以各种方式配置和操作,以使得能够应用根据本公开所描述的各种方法和装置。
图2示出了根据本公开的实施例的基于用户行为构建知识库的方法。
在步骤S21处,获取由用户发起的多个事件的事件信息。用户发起的每个事件可以具有相应的事件信息,事件信息是对事件的描述。
在步骤S22处,针对所述多个事件中的每个事件,从相应的事件信息中提取实体。实体是知识库领域的概念。实体与实体之间可以存在关系。在知识库中,以实体和关系的形式对知识进行存储。例如,在某些场景中,实体可以是“注册”“登录”“访问首页”;在另外的场景中,实体可以是“北京”“天安门”“足球赛”等,并且本发明不限于任何具体的领域或者实体类型。
在步骤S23处,通过分析所述多个事件中的事件之间的关联性获取相应的实体间的关系。如果确定所述多个事件中的第一事件与所述多个事件中的第二事件相关联,则在从第一事件中提取的第一实体与从第二事件中提取的第二实体之间建立关系。由此,建立了从用户事件到知识库中的实体关系模型的联系。
在步骤S24处,利用所提取的实体与所获取的关系构建知识库。
根据图2所述的方法,能够从用户事件抽取知识库,而不需要像传统方法那样依赖于专业人员的领域知识或者大量的结构化数据。由此,能够在不依赖于大量文本数据的情况下构建知识库。
图3示出了根据本公开的另一实施例的基于用户行为构建知识库的方法。
在步骤S31处,通过采集用户的页面行为,获取由用户发起的多个用户页面事件的事件信息。
由此,能够基于用户对特定页面的行为获得特定于业务的知识库。例如,在针对特定企业业务建立知识库的使用场景下,能够针对企业的用户对特定企业网站的行为,通过采集用户行为获得用户页面事件的对应信息,来抽取并构建特定于企业业务的知识库。
根据一些实施例,获取由用户发起的多个事件的事件信息包括对页面进行全埋点采集。全埋点采集是指预先收集用户的所有行为数据,然后再根据实际分析需求从中提取行为数据。与其他采集方式相比,全埋点采集方式能够更加全面地采集信息,因而这样获得的事件信息更有利于分析实体与关联性。当然,其他的信息采集方式,例如常见的埋点方式,或者任何能够监视用户行为并由此获得用户事件的描述信息的采集方式均能够实现本公开中的方法,并且本公开不限于此。
在步骤S32处,针对所述多个事件中的每个事件,从相应的事件信息中提取实体。
根据一些实施例,例如在步骤S21或在步骤S31中提取的事件信息包括事件类型。基于确定事件类型为点击类型,从事件信息中提取实体。通过对事件类型进行筛选,有利于分析典型的知识库实体。例如,用户事件类型可以是触摸类型、点击类型、滑动类型等。例如,用户事件可以是用户用手指或触笔在触摸屏幕上轻轻触摸特定对象,对应的用户事件类型可以是触摸类型。例如,用户事件可以是用鼠标点击页面中的特定文本框、用手指轻敲屏幕上的虚拟按钮或者终端设备上的实体按钮等,并且对应的用户事件类型可以是点击类型。点击类型的事件与仅仅浏览等的用户事件相比,往往代表了更强的用户交互意愿,更具有针对性和具有更强的行为特征,因而更有利于分析典型的知识库实体。此处的“点击”仅为了叙述方便,而并不限于使用鼠标的点击。例如,用户对任何互动元素的轻敲、按压、选择事件也可以被视为点击事件类型。可选地,取决于使用场景,可以选择其他代表用户的强交互特征的事件类型,例如针对非接触的用户行为选择特定的手势类型等。
根据一些实施例,事件信息包括事件内容。从相应的事件信息中提取实体包括基于确定事件内容满足实体特征,获取事件内容作为实体。这是因为事件内容作为最直接描述事件的信息,往往更具有实体的特征,更能够反映用户行为所针对的知识内容。
根据一些实施例,确定事件内容满足实体特征可以包括以下各项中的至少一个:确定事件内容的长度小于第一长度阈值;确定事件内容的长度大于第二长度阈值;和/或确定事件内容与噪声特征的匹配度低于匹配阈值。从而,优化了实体的提取,减少了误提取。内容过长的事件可能是描述性片段,不符合实体特征。内容过短的事件可能是干扰项,或者因为未携带足够的信息,不适于用于知识库中的实体。第一长度阈值和第二长度阈值可以根据使用场景、典型实体长度、典型干扰项长度等来选取。例如,第一长度阈值可以是10个字符、20个字符或者50个字符。第二长度阈值可以是5个字符、3个字符或者1个字符。第一长度阈值可以大于第二长度阈值。也可以只采用第一长度阈值和第二长度阈值中的一个进行比较,而不进行与另外一个阈值进行比较筛选的过程。另外,可以对事件内容中容易出现的噪声进行过滤。
根据一些实施例,噪声特征可以包括以下各项中的至少一项:日期、数字、特殊字符。由此,能够筛选掉一些常见的噪声项,例如用户选择的数字、用户事件中的日期或者不适于称为实体的特殊字符等等。也可以计算事件内容中数字或字符的比例,并且仅将具有超过一定比例的数字或字符的事件内容认为是噪声特征。在其他的应用场景中,还可以选择其他特定于领域的典型噪声项,如特定文字、特定字符组合、较短的文字或者包含或不包含特定语言的文字等,并且本公开不限于此。
根据一些实施例,事件内容可以包括以下各项中的至少一个:按钮上的文字、链接的名称、文本框的名称或图片的名称。由此,能够更加方便地获取可以直接描述事件、知识库所需的信息。
根据一些实施例,在步骤S21或S22中采集的多个事件可以是由多个用户发起的。之后,在从事件信息中提取实体之后,过滤掉在低于阈值数量的用户中出现的实体。这样,能够过滤掉访问数少并且因而非典型的事件,更加精确地获得实体。过滤掉在低于阈值数量的用户中出现的实体也可以被称为仅选取头部访问事件对应的实体。可以使用访问人数UV(Unique View)对用户数量进行统计。在这里,头部访问事件或头部UV指的是访问人数较多的事件内容。例如,可以筛选出所有的事件中以访问人数排序位于top5%、top10%、top20%的事件;可以筛选出访问量大于500、5000、50000等的事件等,并且仅保留与这样筛选出的事件相对应的实体作为最终实体。
在步骤S33处,通过分析所述多个事件中的事件之间的关联性获取相应的实体间的关系。如果确定所述多个事件中的第一事件与所述多个事件中的第二事件相关联,则在从第一事件中提取的第一实体与从第二事件中提取的第二实体之间建立关系。
根据一些实施例,可以通过确定第一事件和第二事件具有相同的用户标识来确定所述多个事件中的第一事件与所述多个事件中的第二事件相关联。或者,可以通过确定所述第一事件的发生时间与所述第二事件的发生时间之间的间隔小于预定间隔来确定所述多个事件中的第一事件与所述多个事件中的第二事件相关联。替选地,可以通过具有相同的用户标识的两个事件的发生时间之间的间隔小于预定间隔,来确定这两个事件相关联。基于相同用户标识和发生的短时间间隔能够有效筛选存在关联的事件。当然,判断事件存在关联的方式不限于此。
根据一些实施例,在步骤S21或S22中采集的多个事件可以是由多个用户发起的。继而,可以针对所述多个用户中的每个用户,通过分析由该用户发起的事件中的事件之间的关联性,获取实体间的关系:并且过滤掉在低于阈值数量的用户中出现的关系。由此,按照单个用户的事件时间建立实体关联,并且选取出现数量多的事件关联,能够获取典型实体关系,排除掉偶然发生、访问数少并且因而非典型的事件,更加精确地获得实体。
根据一些实施例,还可以利用事件所在位置来判断事件(并且由此对应实体)之间的关联。具体地,事件信息可以包括事件定位符,并且确定所述多个事件中的第一事件与所述多个事件中的第二事件相关联可以包括确定所述第一事件与所述第二事件的发生位置相关联。因而,能够将知识库中的关系与用户行为所针对的访问事件的位置关联相对应,有效地构建知识库中的关系。
根据一些实施例,能够利用事件之间的关联性来构建实体之间的实体与属性关系。具体地,确定所述第一事件与所述第二事件的发生位置相关联包括确定所述第一事件是访问事件,并且所述第二事件定位在所述访问事件所指向的位置中,并且在所述第一实体与所述第二实体之间建立关系包括确定所述第二实体是所述第一实体的属性。由此,提供了一种将知识库中的实体与属性关系与访问事件的从属性相对应、并且将访问事件的从属性与访问位置的从属性相对应的方法。因此,能够有效地获取知识库中的实体与属性间的关系。
在步骤S34处,利用所提取的实体与所获取的关系构建知识库。
根据一些实施例,利用获取的实体与关系构建知识库包括用资源描述框架RDF将所获取的实体与关系导入知识库。RDF使用资源-属性-值三元组来描述实体/属性关系,具有即使数据量大也易控制、易扩展、包容性、可交换性强等的优点。
图4示出了根据本公开的又一实施例的基于用户行为构建知识库的方法。
在步骤S41处,对用户行为进行采集。例如,在针对企业构建知识库的应用场景中,可以对企业业务相关的流量进行采集,尤其是进行全埋点采集。全埋点是指对细粒度用户行为进行采集,抓取所有的用户页面行为,包括页面浏览、事件点击行为等。常见的全埋点采集方式例如采用SDK等。当然,也可以通过普通的埋点方式来采集用户行为。
采集返回信息可以包括以下内容:
cookie,timestamp,event,event_content,URL,action_type。其中,cookie是发生采集行为的用户cookie,也即用户标识。timestamp是事件发生的对应时间戳。event是全埋点所捕捉到的具体的事件,比如按钮点击、链接点击等。event_content是指事件内容。例如,事件为用户点击按钮,按钮上有“提交”字面,那么event_content就可以是“提交”;或者,用户点击输入密码或者输入验证码的文本框,那么event_content可以分别是“密码”和“验证码”。统一资源定位符URL是事件定位符的一个示例。URL可以描述该事件发生所在的页面。动作类型action_type可以包括点击和触屏等。可以对动作类型进行筛选,例如仅选择action_type为点击的事件。这样筛选出的用户行为可以具有更强的行为特征。
在步骤S42处,从获得的采集返回信息中提取实体。
首先,选取全埋点内容小于一定长度的事件,以筛除可能的描述性片段。
接下来,将前一步骤中获得的事件集合与噪声集进行比较。噪声集可以是预先定义的。可以剔除掉满足噪声集的事件。噪声集可以包括日期类型的内容;包含数字超过一定比例的内容;包含其他特殊字符的内容;长度过短的内容等。
之后,将事件内容对应到实体。再次,可以根据访问人数来进行筛选。例如,根据时间的UV进行筛选,并且认为只有处于头部UV的事件内容,才能作为实体候选。头部UV在这里指的是例如所有事件中UV数量排在前面的那些事件。例如,可以筛选出所有的事件内容中访问人数top 20%的事件内容;可以筛选出UV大于500的事件内容等等,并且本公开不限于此。
可选地,可以将这一步中产生的实体称为实体候选集,并且可以在后面步骤中结合对关系进行筛选的步骤,对实体候选进行验证。例如,可以在后续步骤中对UV量较小、实体关联较少的实体进行排除等。
在步骤S43处,获取实体与实体间的关系。基于所获取的实体和实体对应的采集返回信息,找出实体与实体间的关系。知识库层面的实体间的关系对应于用户行为层面的关联性。首先,对同一个用户根据采集返回信息中的时间对实体事件进行排序。例如,对来自相同cookie的事件,尤其是来自相同cookie的点击事件,根据时间进行排序。其次,按一定的时间窗口,对某个实体在时间窗口内的上下文实体进行关联。随后,对所有用户的这种上下文实体行为进行聚合。例如,可以选取有较大UV量的那部分上下文实体,并且将其形成为实体与实体间的关系。例如,实体“访问首页”跟实体“登录”、实体“访问首页”跟实体“注册”,由于在用户行为上存在关联,因此存在实体与实体间的关系。
在步骤S44处,获取实体与属性间的关系。如果一个实体A所来自的事件对应于URL页面访问,那么与位于该URL的所有事件对应的实体,都可以作为实体A的属性。通过实体所对应的事件的位置从属关系,决定实体之间的从属关系。例如,实体“注册”对应注册页面,在注册页面上填写的事件所对应的实体“用户名”、实体“密码”、实体“验证码”、实体“确认”都是实体“注册”的属性。例如,实体“密码”、实体“验证码”的对应的事件可以是用户对密码或验证码的输入框的点击,并且对应的事件内容是输入框的标题“密码”“验证码”而非密码或验证码内容本身。由此,可以获得实体“注册”有这样一些展开的属性值。可选地,可以首先对同一个URL的所有实体事件进行聚合,随后根据UV进行筛选。可选地,能够作为属性的实体需要只隶属于某个URL。可选地,如果URL带有参数,可以对URL进行模式(pattern)化,使得相同URL能够得以归并。该步骤不依赖于前一步骤中建立的实体间关联,并且该步骤与建立实体间关系的步骤的次序也不必是顺序的,可以同时发生,或者其中的任一个可以被省略。
在步骤S45处,将实体、实体与实体间的关系、实体与属性间的关系导入或构建知识库。可选地,可以用知识表达语言例如RDF对实体和关系进行建模入库。
本公开的一个特别有利的应用场景是提供面向企业的数据服务等的第三方数据服务提供商。具体地,企业将自己平台中的采集返回信息例如全埋点采集返回信息提供给第三方数据服务提供商,第三方采取本方案中的技术对采集返回信息进行分析,之后向企业返回构建好的知识库,或者构建基于该知识库的问答系统,以在企业客户提出问题时利用知识库给出相应回答。由于企业业务场景涉及与客户企业的行业相关的数据,例如特定于客户行业的订票数据、电商数据等,这样的数据难以在互联网上开放获得,具有封闭性、专业性等特点,因而难以利用文本数据的现有技术。在企业级分析产品中,采用本公开的方法能够更深入的理解企业业务,沉淀业务知识,更好的帮助客户进行分析,具有显著价值。
图5是示出根据一个示例性实施例的基于用户行为构建知识库的装置的框图。
根据该示例性实施例的基于用户行为构建知识库的装置500可以包括:事件信息获取单元501、实体提取单元502、关系提取单元503和知识库构建单元504。事件信息获取单元501被配置成获取用户发起的多个事件的事件信息。实体提取单元502被配置成针对所述多个事件中的每个事件,从相应的事件信息中提取实体。关系提取单元503被配置成通过分析所述多个事件中的事件之间的关联性获取实体间的关系,其中,如果确定所述多个事件中的第一事件与所述多个事件中的第二事件相关联,则在第一实体与第二实体之间建立关系,所述第一实体是从所述第一事件中提取的,所述第二实体是从所述第二事件中提取的。知识库构建单元504被配置成利用获取的实体与关系构建知识库。由此,能够基于用户行为而非大量文本信息来构建知识库。
在一些实施例中,多个事件是用户页面事件,并且获取用户发起的多个事件的事件信息包括采集用户的页面行为。在一些实施例中,获取用户发起的多个事件的事件信息包括对页面进行全埋点采集。
应当理解,前述结合图2-4对方法步骤进行的描述,同样适用于图5中执行相应方法步骤的单元,并且这里不再赘述。
根据本公开的一个方面,还提供一种计算设备,可以包括:处理器;以及存储程序的存储器,所述程序包括指令,所述指令在由所述处理器执行时使所述处理器执行上述的基于用户行为构建知识库的方法。
根据本公开的另一方面,还提供一种存储程序的计算机可读存储介质,所述程序包括指令,所述指令在由计算设备的处理器执行时,致使所述计算设备执行上述的基于用户行为构建知识库的方法。
另外,根据本公开所生成的知识库,可以被任何需要的知识库系统使用。
参考图6,现将描述可以作为本公开的服务器或客户端的计算设备2000的结构框图,其是可以应用于本公开的各方面的硬件设备的示例。
计算设备2000可以包括(可能经由一个或多个接口)与总线2002连接或与总线2002通信的元件。例如,计算设备2000可以包括总线2002、一个或多个处理器2004、一个或多个输入设备2006以及一个或多个输出设备2008。一个或多个处理器2004可以是任何类型的处理器,并且可以包括但不限于一个或多个通用处理器和/或一个或多个专用处理器(例如特殊处理芯片)。处理器2004可以对在计算设备2000内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个计算设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图6中以一个处理器2004为例。
输入设备2006可以是能向计算设备2000输入信息的任何类型的设备。输入设备2006可以接收输入的数字或字符信息,以及产生与用于基于用户行为构建数据库的计算设备的用户设置和/或功能控制有关的键信号输入,并且可以包括但不限于鼠标、键盘、触摸屏、轨迹板、轨迹球、操作杆、麦克风和/或遥控器。输出设备2008可以是能呈现信息的任何类型的设备,并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。
计算设备2000还可以包括非暂时性存储设备2010或者与非暂时性存储设备2010连接,非暂时性存储设备可以是非暂时性的并且可以实现数据存储的任何存储设备,并且可以包括但不限于磁盘驱动器、光学存储设备、固态存储器、软盘、柔性盘、硬盘、磁带或任何其他磁介质,光盘或任何其他光学介质、ROM(只读存储器)、RAM(随机存取存储器)、高速缓冲存储器和/或任何其他存储器芯片或盒、和/或计算机可从其读取数据、指令和/或代码的任何其他介质。非暂时性存储设备2010可以从接口拆卸。非暂时性存储设备2010可以具有用于实现上述方法和步骤的数据/程序(包括指令)/代码/模块(例如,图5所示装置500中的事件信息获取单元501、实体提取单元502、关系提取单元503和知识库构建单元504等)。
计算设备2000还可以包括通信设备2012。通信设备2012可以是使得能够与外部设备和/或与网络通信的任何类型的设备或系统,并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信设备和/或芯片组,例如蓝牙TM设备、1302.11设备、WiFi设备、WiMax设备、蜂窝通信设备和/或类似物。
计算设备2000还可以包括工作存储器2014,其可以是可以存储对处理器2004的工作有用的程序(包括指令)和/或数据的任何类型的工作存储器,并且可以包括但不限于随机存取存储器和/或只读存储器设备。
软件要素(程序)可以位于工作存储器2014中,包括但不限于操作系统2016、一个或多个应用程序2018、驱动程序和/或其他数据和代码。用于执行上述方法和步骤的指令可以包括在一个或多个应用程序2018中,并且上述方法可以通过由处理器2004读取和执行一个或多个应用程序2018的指令来实现。软件要素(程序)的指令的可执行代码或源代码也可以从远程位置下载。
还应该理解,可以根据具体要求而进行各种变型。例如,也可以使用定制硬件,和/或可以用硬件、软件、固件、中间件、微代码,硬件描述语言或其任何组合来实现特定元件。例如,所公开的方法和设备中的一些或全部可以通过使用根据本公开的逻辑和算法,用汇编语言或硬件编程语言(诸如VERILOG,VHDL,C++)对硬件(例如,包括现场可编程门阵列(FPGA)和/或可编程逻辑阵列(PLA)的可编程逻辑电路)进行编程来实现。
还应该理解,前述方法可以通过服务器-客户端模式来实现。例如,客户端可以接收用户输入的数据并将所述数据发送到服务器。客户端也可以接收用户输入的数据,进行前述方法中的一部分处理,并将处理所得到的数据发送到服务器。服务器可以接收来自客户端的数据,并且执行前述方法或前述方法中的另一部分,并将执行结果返回给客户端。客户端可以从服务器接收到方法的执行结果,并例如可以通过输出设备呈现给用户。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算设备上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以为分布式系统的服务器,或者是结合了区块链的服务器。服务器也可以是云服务器,或者是带人工智能技术的智能云计算服务器或智能云主机。
还应该理解,计算设备2000的组件可以分布在网络上。例如,可以使用一个处理器执行一些处理,而同时可以由远离该一个处理器的另一个处理器执行其他处理。计算设备2000的其他组件也可以类似地分布。这样,计算设备2000可以被解释为在多个位置执行处理的分布式计算系统。
根据本公开实施例的技术方案,能够不依赖于专业人员或者大量文本数据地构建知识库。
虽然已经参照附图描述了本公开的实施例或示例,但应理解,上述的方法、系统和设备仅仅是示例性的实施例或示例,本发明的范围并不由这些实施例或示例限制,而是仅由授权后的权利要求书及其等同范围来限定。实施例或示例中的各种要素可以被省略或者可由其等同要素替代。此外,可以通过不同于本公开中描述的次序来执行各步骤。进一步地,可以以各种方式组合实施例或示例中的各种要素。重要的是随着技术的演进,在此描述的很多要素可以由本公开之后出现的等同要素进行替换。
Claims (20)
1.一种基于用户行为构建知识库的方法,所述方法包括:
获取由用户发起的多个事件的事件信息;
针对所述多个事件中的每个事件,从相应的事件信息中提取实体;
通过分析所述多个事件中的事件之间的关联性获取相应的实体间的关系,其中,如果确定所述多个事件中的第一事件与所述多个事件中的第二事件相关联,则在第一实体与第二实体之间建立关系,其中,所述第一实体是从所述第一事件中提取的,所述第二实体是从所述第二事件中提取的;以及
利用所提取的实体与所获取的关系构建知识库。
2.根据权利要求1所述的方法,其中,所述多个事件是用户页面事件,并且所述获取由用户发起的多个事件的事件信息包括采集用户的页面行为。
3.根据权利要求2所述的方法,其中,所述获取由用户发起的多个事件的事件信息包括对页面进行全埋点采集。
4.根据权利要求2所述的方法,其中,所述事件信息包括事件类型,并且其中,所述从相应的事件信息中提取实体包括:
基于确定事件类型为点击类型,从事件信息中提取实体。
5.根据权利要求1-4中的任意一项所述的方法,其中,所述事件信息包括事件内容,并且其中,所述从相应的事件信息中提取实体包括:
基于确定事件内容满足实体特征,获取事件内容作为实体。
6.根据权利要求5所述的方法,其中,确定事件内容满足实体特征包括以下各项中的至少一个:
确定事件内容的长度小于第一长度阈值;
确定事件内容的长度大于第二长度阈值;和/或
确定事件内容与噪声特征的匹配度低于匹配阈值。
7.根据权利要求6所述的方法,其中,所述噪声特征包括以下各项中的至少一项:日期、数字、特殊字符。
8.根据权利要求5所述的方法,其中,所述事件内容包括以下各项中的至少一个:按钮上的文字、链接的名称、文本框的名称或图片的名称。
9.根据权利要求1-4中的任意一项所述的方法,其中,所述多个事件是由多个用户发起的,并且所述方法还包括,在从相应的事件信息中提取实体之后,过滤掉在低于阈值数量的用户中出现的实体。
10.根据权利要求1-4中的任意一项所述的方法,其中,确定所述多个事件中的第一事件与所述多个事件中的第二事件相关联包括以下中的至少一项:
确定第一事件和第二事件具有相同的用户标识;以及
确定所述第一事件的发生时间与所述第二事件的发生时间之间的间隔小于预定间隔。
11.根据权利要求1-4中的任意一项所述的方法,其中,所述多个事件是由多个用户发起的,并且所述方法还包括:
针对所述多个用户中的每个用户,通过分析由该用户发起的事件中的事件之间的关联性,获取实体间的关系:
过滤掉在低于阈值数量的用户中出现的关系。
12.根据权利要求1-4中的任意一项所述的方法,其中,所述事件信息包括事件定位符,并且其中,确定所述多个事件中的第一事件与所述多个事件中的第二事件相关联包括:
确定所述第一事件与所述第二事件的发生位置相关联。
13.根据权利要求12所述的方法,其中,确定所述第一事件与所述第二事件的发生位置相关联包括:确定所述第一事件是访问事件,并且所述第二事件定位在所述访问事件所指向的位置中,
并且其中,在所述第一实体与所述第二实体之间建立关系包括:确定所述第二实体是所述第一实体的属性。
14.根据权利要求1-4中的任意一项所述的方法,其中,利用获取的实体与关系构建知识库包括:用资源描述框架RDF将所获取的实体与关系导入知识库。
15.一种基于用户行为构建知识库的装置,所述装置包括:
事件信息获取单元,用于获取用户发起的多个事件的事件信息;
实体提取单元,用于针对所述多个事件中的每个事件,从相应的事件信息中提取实体;
关系提取单元,用于通过分析所述多个事件中的事件之间的关联性获取实体间的关系,其中,如果确定所述多个事件中的第一事件与所述多个事件中的第二事件相关联,则在第一实体与第二实体之间建立关系,所述第一实体是从所述第一事件中提取的,所述第二实体是从所述第二事件中提取的;以及
知识库构建单元,用于利用获取的实体与关系构建知识库。
16.根据权利要求15所述的装置,其中,所述多个事件是用户页面事件,并且获取用户发起的多个事件的事件信息包括采集用户的页面行为。
17.根据权利要求16所述的装置,其中,获取用户发起的多个事件的事件信息包括对页面进行全埋点采集。
18.一种计算设备,包括:
处理器;以及
存储程序的存储器,所述程序包括指令,所述指令在由所述处理器执行时使所述处理器执行根据权利要求1-14中任一项所述的方法。
19.一种存储程序的计算机可读存储介质,所述程序包括指令,所述指令在由计算设备的处理器执行时,致使所述计算设备执行根据权利要求1-14中任一项所述的方法。
20.一种知识库系统,所述系统使用根据权利要求1-14中任一项所述的方法构建的知识库。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010968825.8A CN112100156B (zh) | 2020-09-15 | 2020-09-15 | 基于用户行为构建知识库的方法、装置、介质、系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010968825.8A CN112100156B (zh) | 2020-09-15 | 2020-09-15 | 基于用户行为构建知识库的方法、装置、介质、系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112100156A true CN112100156A (zh) | 2020-12-18 |
CN112100156B CN112100156B (zh) | 2024-02-20 |
Family
ID=73759136
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010968825.8A Active CN112100156B (zh) | 2020-09-15 | 2020-09-15 | 基于用户行为构建知识库的方法、装置、介质、系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112100156B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113378040A (zh) * | 2021-05-24 | 2021-09-10 | 山东浪潮爱购云链信息科技有限公司 | 一种用于推广的用户行为分析方法及设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107783973A (zh) * | 2016-08-24 | 2018-03-09 | 慧科讯业有限公司 | 基于行业知识图谱数据库对互联网媒体事件进行监测的方法、装置和系统 |
US20180089576A1 (en) * | 2016-09-23 | 2018-03-29 | International Business Machines Corporation | Identifying and analyzing impact of an event on relationships |
US20180225380A1 (en) * | 2017-02-08 | 2018-08-09 | International Business Machines Corporation | Visualization and augmentation of human knowledge construction during material consumption |
CN110147401A (zh) * | 2019-05-22 | 2019-08-20 | 苏州大学 | 融合先验知识和上下文相关度的知识库抽取方法 |
CN111143576A (zh) * | 2019-12-18 | 2020-05-12 | 中科院计算技术研究所大数据研究院 | 一种面向事件的动态知识图谱构建方法和装置 |
CN111339299A (zh) * | 2020-02-27 | 2020-06-26 | 北京明略软件系统有限公司 | 一种领域知识库的构建方法和装置 |
-
2020
- 2020-09-15 CN CN202010968825.8A patent/CN112100156B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107783973A (zh) * | 2016-08-24 | 2018-03-09 | 慧科讯业有限公司 | 基于行业知识图谱数据库对互联网媒体事件进行监测的方法、装置和系统 |
US20180089576A1 (en) * | 2016-09-23 | 2018-03-29 | International Business Machines Corporation | Identifying and analyzing impact of an event on relationships |
US20180225380A1 (en) * | 2017-02-08 | 2018-08-09 | International Business Machines Corporation | Visualization and augmentation of human knowledge construction during material consumption |
CN110147401A (zh) * | 2019-05-22 | 2019-08-20 | 苏州大学 | 融合先验知识和上下文相关度的知识库抽取方法 |
CN111143576A (zh) * | 2019-12-18 | 2020-05-12 | 中科院计算技术研究所大数据研究院 | 一种面向事件的动态知识图谱构建方法和装置 |
CN111339299A (zh) * | 2020-02-27 | 2020-06-26 | 北京明略软件系统有限公司 | 一种领域知识库的构建方法和装置 |
Non-Patent Citations (1)
Title |
---|
冯鑫;李雪;闫月;李佳培;刘梦瑶;吴晔;: "基于知识实体的突发公共卫生事件数据平台构建研究", 知识管理论坛, no. 03 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113378040A (zh) * | 2021-05-24 | 2021-09-10 | 山东浪潮爱购云链信息科技有限公司 | 一种用于推广的用户行为分析方法及设备 |
Also Published As
Publication number | Publication date |
---|---|
CN112100156B (zh) | 2024-02-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11836662B2 (en) | Systems and methods for identifying processes for robotic automation and building models therefor | |
US11361211B2 (en) | Artificial intelligence (AI) based chatbot creation and communication system | |
US11263241B2 (en) | Systems and methods for predicting actionable tasks using contextual models | |
US9298763B1 (en) | Methods for providing a profile completion recommendation module | |
US20230004586A1 (en) | Systems and methods for analyzing computer input to provide next action | |
US20180129744A1 (en) | Generating sequential segments with pre-sequence and post-sequence analytics data | |
US11768908B2 (en) | System and method for collection of a website in a past state and retroactive analysis thereof | |
WO2018129069A1 (en) | De-anonymization of website visitor identity | |
KR20180008480A (ko) | 애플리케이션 관련 사용자 데이터를 추출하고 공유하기 위한 시스템 및 방법 | |
CN111582477B (zh) | 神经网络模型的训练方法和装置 | |
JP2019536185A (ja) | コンピュータおよびネットワーク活動を監視および分析するためのシステムおよび方法 | |
CN103493089A (zh) | 跟踪社交网络中的馈送 | |
CN112509690A (zh) | 用于控制质量的方法、装置、设备和存储介质 | |
CN112817817A (zh) | 埋点信息查询方法、装置、计算机设备和存储介质 | |
EP3491513A1 (en) | Systems and methods for presentation of a terminal application screen | |
CN112528625B (zh) | 事件抽取的方法、装置、计算机设备以及可读存储介质 | |
CN112100156B (zh) | 基于用户行为构建知识库的方法、装置、介质、系统 | |
CN107085599B (zh) | Poi推荐方法、装置、设备及计算机可读存储介质 | |
CN111127057B (zh) | 一种多维用户画像恢复方法 | |
US20230267475A1 (en) | Systems and methods for automated context-aware solutions using a machine learning model | |
CN112100502B (zh) | 用于数据库的信息查询方法、装置、计算设备和介质 | |
JP2023547299A (ja) | オブジェクト推薦方法及び装置 | |
US20220284319A1 (en) | Intelligent guidance using machine learning for user navigation of multiple web pages | |
CN113609370A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
US11403539B2 (en) | Pattern-optimized session logs for improved web analytics |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |