CN112965742A - 基于用户图谱的应用版本发布方法及系统 - Google Patents
基于用户图谱的应用版本发布方法及系统 Download PDFInfo
- Publication number
- CN112965742A CN112965742A CN202110184032.1A CN202110184032A CN112965742A CN 112965742 A CN112965742 A CN 112965742A CN 202110184032 A CN202110184032 A CN 202110184032A CN 112965742 A CN112965742 A CN 112965742A
- Authority
- CN
- China
- Prior art keywords
- user
- information
- analysis
- characteristic
- user information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000004458 analytical method Methods 0.000 claims abstract description 104
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 50
- 238000012216 screening Methods 0.000 claims abstract description 30
- 239000013598 vector Substances 0.000 claims description 34
- 238000004590 computer program Methods 0.000 claims description 17
- 238000007405 data analysis Methods 0.000 claims description 14
- 238000010801 machine learning Methods 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 12
- 238000003860 storage Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 238000012360 testing method Methods 0.000 description 5
- 238000012546 transfer Methods 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 230000002411 adverse Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000013144 data compression Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003203 everyday effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011002 quantification Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/70—Software maintenance or management
- G06F8/71—Version control; Configuration management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9024—Graphs; Linked lists
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/60—Software deployment
- G06F8/65—Updates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Security & Cryptography (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种基于用户图谱的应用版本发布方法及系统,可用于人工智能领域,所述方法包括:对用户信息进行特征分析形成用户特征图数据库,所述图数据库包括用户信息及对应的特征信息;基于预设灰度发布规则根据所述图数据库对所述用户信息进行筛选得到目标用户信息;将新版本应用客户端发送至所述目标用户信息对应的终端以完成版本升级,本发明可有效控制新版本发布范围、规避质量风险,提升客户体验。
Description
技术领域
本发明涉及互联网技术领域,特别涉及人工智能技术领域,尤其涉及一种基于用户图谱的应用版本发布方法及系统。
背景技术
随着终端设备的不断普及,应用客户端(Application,App)已普通安装于手机和平板电脑(ipad)等终端的IOS及安卓系统中。为了提高移动客户端应用运行的稳定性和可用性,通常通过定期发布新版本以提供新功能,满足用户新的需求。但在应用版本的快速迭代过程中,可能存在由于新版本的版本质量、测试不充分等情况,在版本升级后引起大范围的移动客户端运行异常的问题。
发明内容
本发明的一个目的在于提供一种基于用户图谱的应用版本发布方法,有效控制新版本发布范围、规避质量风险,提升客户体验。本发明的另一个目的在于提供一种基于用户图谱的应用版本发布系统。本发明的再一个目的在于提供一种计算机设备。本发明的还一个目的在于提供一种可读介质。
为了达到以上目的,本发明一方面公开了一种基于用户图谱的应用版本发布方法,包括:
对用户信息进行特征分析形成用户特征图数据库,所述图数据库包括用户信息及对应的特征信息;
基于预设灰度发布规则根据所述图数据库对所述用户信息进行筛选得到目标用户信息;
将新版本应用客户端发送至所述目标用户信息对应的终端以完成版本升级。
优选的,所述对用户信息进行特征分析形成用户特征图数据库具体包括:
对用户信息中的用户基本信息和用户操作信息分别进行线性分析和非线性分析;
根据线性分析和非线性分析的数据分析结果形成用户特征图数据库。
优选的,所述对用户信息中的用户基本信息和用户操作信息分别进行线性分析和非线性分析具体包括:
通过预设第一人工智能模型对用户信息中的用户基本信息进行线性分析;
通过预设第二人工智能模型对用户信息中的用户操作信息进行非线性分析。
优选的,进一步包括形成所述第一人工智能模型和所述第二人工智能模型的步骤:
对历史用户信息的用户基本信息和用户操作信息进行特征提取并转换得到特征向量;
对所述特征向量进行关键词标记;
根据所述特征向量和对应的关键词对机器学习模型进行训练得到所述第一人工智能模型和所述第二人工智能模型。
优选的,进一步包括预先采集所述用户信息的步骤:
采集用户预先设置的用户基本信息,所述用户基本信息包括客户属性对照表和客户信息参数表;
采集终端客户端的日志记录,根据所述日志记录提取用户操作信息。
优选的,所述基于预设灰度发布规则根据所述图数据库对所述用户信息进行筛选得到目标用户信息具体包括:
根据预设灰度发布规则确定目标特征信息;
根据所述目标特征信息及所述图数据库的特征信息进行筛选得到目标用户信息。
本发明还公开了一种基于用户图谱的应用版本发布系统,包括:
数据分析模块,用于对用户信息进行特征分析形成用户特征图数据库,所述图数据库包括用户信息及对应的特征信息;
灰度筛选模块,用于基于预设灰度发布规则根据所述图数据库对所述用户信息进行筛选得到目标用户信息;
灰度发布模块,用于将新版本应用客户端发送至所述目标用户信息对应的终端以完成版本升级。
优选的,所述数据分析模块具体用于对用户信息中的用户基本信息和用户操作信息分别进行线性分析和非线性分析;根据线性分析和非线性分析的数据分析结果形成用户特征图数据库。
优选的,进一步包括数据采集模块,用于采集用户预先设置的用户基本信息,所述用户基本信息包括客户属性对照表和客户信息参数表;采集终端客户端的日志记录,根据所述日志记录提取用户操作信息。
优选的,所述灰度筛选模块具体用于根据预设灰度发布规则确定目标特征信息;根据所述目标特征信息及所述图数据库的特征信息进行筛选得到目标用户信息。
本发明还公开了一种计算机设备,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,
所述处理器执行所述程序时实现如上所述方法。
本发明还公开了一种计算机可读介质,其上存储有计算机程序,
该程序被处理器执行时实现如上所述方法。
本发明通过对用户信息进行特征分析形成用户特征图数据库,其中图数据库包括用户信息及对应的特征信息,从而基于用户信息对不同用户进行特征分类。进一步的,根据预设灰度发布规则对图数据库中的用户信息进行筛选得到目标用户信息,将新版本应用客户端发送至目标用户信息对应的终端并完成版本升级。因此,本发明通过建立图数据库,根据图数据库及预设灰度发布规则筛选目标用户信息,针对目标用户进行新版本客户端的灰度发布,解决由于版本质量、测试不充分等原因引起的客户端版本升级对终端带来的不良影响,有效控制新版本发布范围、规避质量风险,提升客户体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出本发明基于用户图谱的应用版本发布方法一个具体实施例的流程图;
图2示出本发明基于用户图谱的应用版本发布方法一个具体实施例S100的流程图;
图3示出本发明基于用户图谱的应用版本发布方法一个具体实施例S110的流程图;
图4示出本发明基于用户图谱的应用版本发布方法一个具体实施例形成所述第一人工智能模型和所述第二人工智能模型的步骤的流程图;
图5示出本发明基于用户图谱的应用版本发布方法一个具体实施例预先采集所述用户信息的步骤的流程图;
图6示出本发明基于用户图谱的应用版本发布系统一个具体实施例的结构图;
图7示出本发明基于用户图谱的应用版本发布系统一个具体实施例包括数据采集模块的结构图;
图8示出适于用来实现本发明实施例的计算机设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,本发明公开的基于用户图谱的应用版本发布方法、装置及系统可用于人工智能技术领域,也可用于除人工智能技术领域之外的任意领域,本发明对公开的基于用户图谱的应用版本发布方法、装置及系统的应用领域不做限定。
考虑到目前用户终端的应用客户端版本全面升级后,新版本应用客户端可能由于测试不充分和版本质量的问题而出现版本运行问题,进而导致全面升级后可能会对大范围的用户客户端运行造成影响。由此,本发明为了克服由于客户端版本质量而导致的大范围移动客户端运行异常问题,提供了一种基于用户信息特征分析和灰度发布规则的新版本应用客户端灰度发布方法,有效控制新版本发布范围、规避质量风险,提升客户体验。
基于此,为了实现本发明,在本发明的一个或多个实施例中,还提供了一种用于实现基于用户图谱的应用版本发布方法的应用版本发布装置。该应用版本发布装置可与用户终端设备之间通信连接,所述用户终端设备可以设有多个,应用版本发布装置具体可以通过应用服务器访问所述用户终端设备。
可以理解的是,所述终端设备可以包括智能手机、平板电子设备、网络机顶盒、便携式计算机、台式电脑、个人数字助理(PDA)、车载设备、智能穿戴设备等。其中,所述智能穿戴设备可以包括智能眼镜、智能手表、智能手环等。
在本发明的其他实施例中,进行基于用户图谱的应用版本发布的部分可以通过如上述内容所述的基于用户图谱的应用版本发布装置执行,也可以所有的操作都在所述用户终端设备中完成。具体可以根据所述用户终端设备的处理能力,以及用户使用场景的限制等进行选择。本申请对此不作限定。若所有的操作都在所述用户终端设备中完成,所述用户终端设备还可以包括处理器,用于进行数据处理。
上述的终端设备可以具有通信模块(即通信单元),可以与远程的服务器进行通信连接,实现与所述服务器的数据传输。通信单元还可以接收服务器返回的处理结果。所述服务器可以包括任务调度中心一侧的服务器,其他的实施场景中也可以包括中间平台的服务器,例如与任务调度中心服务器有通信链接的第三方服务器平台的服务器。所述的服务器可以包括单台计算机设备,也可以包括多个服务器组成的服务器集群,或者分布式装置的服务器结构。
上述服务器与所述客户端设备之间可以使用任何合适的网络协议进行通信,包括在本申请提交日尚未开发出的网络协议。所述网络协议例如可以包括TCP/IP协议、UDP/IP协议、HTTP协议、HTTPS协议等。当然,所述网络协议例如还可以包括在上述协议之上使用的RPC协议(Remote Procedure Call Protocol,远程过程调用协议)、REST协议(Representational State Transfer,表述性状态转移协议)等。
根据本发明的一个方面,本实施例公开了一种基于用户图谱的应用版本发布方法。如图1所示,本实施例中,所述方法包括:
S100:对用户信息进行特征分析形成用户特征图数据库,所述图数据库包括用户信息及对应的特征信息。
S200:基于预设灰度发布规则根据所述图数据库对所述用户信息进行筛选得到目标用户信息。
S300:将新版本应用客户端发送至所述目标用户信息对应的终端以完成版本升级。
本发明通过对用户信息进行特征分析形成用户特征图数据库,其中图数据库包括用户信息及对应的特征信息,从而基于用户信息对不同用户进行特征分类。进一步的,根据预设灰度发布规则对图数据库中的用户信息进行筛选得到目标用户信息,将新版本应用客户端发送至目标用户信息对应的终端并完成版本升级。因此,本发明通过建立图数据库,根据图数据库及预设灰度发布规则筛选目标用户信息,针对目标用户进行新版本客户端的灰度发布,解决由于版本质量、测试不充分等原因引起的客户端版本升级对终端带来的不良影响,有效控制新版本发布范围、规避质量风险,提升客户体验。
在优选的实施方式中,如图2所示,所述S100对用户信息进行特征分析形成用户特征图数据库具体包括:
S110:对用户信息中的用户基本信息和用户操作信息分别进行线性分析和非线性分析。
S120:根据线性分析和非线性分析的数据分析结果形成用户特征图数据库。
可以理解的是,用户信息中的用户基本信息可以通过用户注册等过程获取,用户基本信息可包括身份证号、年龄、性别和居住地等信息。用户信息中的用户操作信息可通过对用户操作终端客户端的操作日志分析得到,用户操作信息可包括用户查询余额和理财产品等操作信息。对于基本无变化的用户基本信息可进行线性分析统计,对于基于用户习惯的用户操作信息可进行非线性分析统计,以得到用户基本信息和用户操作信息两个方面的用户特征,根据用户信息及线性分析和非线性分析得到的特征信息可形成图数据库,以便于进一步根据图数据库进行图谱分析。
进一步的,可基于用户基本特征或用户群等因素形成预设的灰度发布规则,根据形成的图数据库和该预设的灰度发布规则筛选对应的目标用户信息,以便于将新版本应用客户端发送至目标用户信息对应的客户端进行版本升级。其中,用户基本特征可包括用户所在的地理位置、用户性别、用户年龄和用户常使用的模块等信息。用户群可包括内部用户、合作伙伴用户和活跃用户等信息。根据预设灰度发布规则中的客户性别、年龄段和所在地区对图数据库进行筛选,根据筛选出的结果,推送新版本应用客户端进行灰度验证。如:选择男性年龄段在20-25岁地区在北京朝阳区,时间段在8点-9点操作转账交易的客户进行灰度客户端推送。
具体的,可基于预设的特征分析条件对用户基本信息进行线性特征分析得到用户信息及对应的特征信息。对于用户基本信息,可预先设置用户的年龄段特征、性别特征和居住地特征等多种特征条件,年龄段特征可包括18~25、26~30、30~32、33~35和36~40等年龄段特征,性别特征可包括男性和女性的性别特征,居住地可包括北京、上海和广州等居住地特征。例如,在一个具体例子中,根据预设的特征分析条件可得到年龄段特征为30-32岁、性别为男性和居住地为上海的特征信息以及对应的用户信息,将得到的用户信息和对应的特征信息存储至数据库中形成图数据库。
用户操作信息可包括用户查询余额和理财产品等操作信息。也可通过预先形成特征分析条件对用户操作信息进行特征分析。例如,对于银行产品客户端,可对用户对客户端操作形成的操作日记进行特征分析得到用户操作信息对应的特征信息。通过预先设定用户操作一个或多个产品功能或模块的特征分析条件,然后对用户操作信息进行非线性分析可得到用户信息对应的特征信息,根据用户信息和分析得到的对应特征信息可形成图数据库。在一个具体例子中,形成的图数据库的数据表如表1所示。
表1
需要说明的是,预设的特征分析条件不仅限于上述的多种特征条件,在实际应用中,开发人员可根据实际需求对特征分析条件进行灵活设置,本发明对此并不作限定。
在优选的实施方式中,如图3所示,所述S110对用户信息中的用户基本信息和用户操作信息分别进行线性分析和非线性分析具体包括:
S111:通过预设第一人工智能模型对用户信息中的用户基本信息进行线性分析。
S112:通过预设第二人工智能模型对用户信息中的用户操作信息进行非线性分析。
可以理解的是,人工智能是计算机学科的一个分支,人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科,主要包括计算机实现智能的原理、制造类似于人脑智能的计算机,使计算机能实现更高层次的应用。人工智能将涉及到计算机科学、心理学、哲学和语言学等学科。该优选的实施方式中,为了提高对用户基本信息和用户操作信息特征分析的准确度,采用人工智能算法形成第一人工智能模型和第二人工智能模型分别对用户信息进行线性分析和非线性分析。需要说明的是,在该优选的实施方式中,对用户信息中的用户基本信息和用户操作信息分别进行线性分析和非线性两类分析,在实际应用中,也可以针对用户信息中的各类信息设置其他人工智能模型进行分析,本发明对此并不作限定。
在优选的实施方式中,如图4所示,所述方法进一步包括形成所述第一人工智能模型和所述第二人工智能模型的步骤:
S011:对历史用户信息的用户基本信息和用户操作信息进行特征提取并转换得到特征向量。
S012:对所述特征向量进行关键词标记。
S013:根据所述特征向量和对应的关键词对机器学习模型进行训练得到所述第一人工智能模型和所述第二人工智能模型。
可以理解的是,该优选的实施方式中,人工智能算法可采用基于机器学习算法形成的模型。具体的,可对历史用户的用户基本信息和用户操作信息进行采集,可将用户基本信息和用户操作信息存储在数据库中,基于用户基本信息和用户操作信息的信息类型的不同建立线性分析和非线性分析分别对应的机器学习模型,然后通过历史用户的用户基本信息和用户操作信息对机器学习模型进行训练得到第一人工智能模型和第二人工智能模型。在实际训练过程中,可对用户基本信息和用户操作信息进行特征提取形成特征向量,并对各特征向量进行关键词标记,将标记后的特征向量输入机器学习进行训练得到第一人工智能模型和第二人工智能模型。
在一个具体例子中,可从客户端收集的数据中拉取用户使用客户端的用户操作信息,该用户操作信息包括客户id和常使用模块等信息,并形成用户常使用模块使用频率的特征向量,通过人工智能模型建立向量库和映射关系表进行数据压缩,即形成图数据库。同时,可记录压缩文件大小,生成hd-key,并将向量库等数据上传数据库。根据数据库中预置的常使用模块向量库中的特征向量(按照使用频率进行划分,并编号),预制常使用模块与向量、使用频率映射关系表。当需要灰度发布时,可通过装置提供的搜索接口,进行功能模块搜索,返回搜索结果,确定灰度发布的目标用户。优选的,可每日定时获取最新的用户信息以更新向量库,进行常使用模块向量的更新,根据使用频率推荐不同维度客户进行灰度试用,提高灰度发布的合理性。
在优选的实施方式中,如图5所示,所述方法进一步包括预先采集所述用户信息的步骤:
S021:采集用户预先设置的用户基本信息,所述用户基本信息包括客户属性对照表和客户信息参数表。
S022:采集终端客户端的日志记录,根据所述日志记录提取用户操作信息。
可以理解的是,对于用户基本信息和用户操作信息的获取可以通过多种方式获取,在该优选的实施方式中,为了快速、准确的获取用户基本信息,可从客户端中获取用户注册或输入的预先设置的用户基本信息,并可采集终端客户端的日志记录,从用户操作客户端的日志记录中提取用户操作信息。在实际应用中,还可以通过其他方式得到用户基本信息和用户操作信息,本发明对此并不作限定。
在优选的实施方式中,所述S200基于预设灰度发布规则根据所述图数据库对所述用户信息进行筛选得到目标用户信息具体可包括:
S210:根据预设灰度发布规则确定目标特征信息。
S220:根据所述目标特征信息及所述图数据库的特征信息进行筛选得到目标用户信息。
可以理解的是,可通过人为预设的方式基于用户基本特征或用户群等因素形成预设的灰度发布规则,根据形成的图数据库和该预设的灰度发布规则筛选对应的目标用户信息,以便于将新版本应用客户端发送至目标用户信息对应的客户端进行版本升级。其中,用户基本特征可包括用户所在的地理位置、用户性别、用户年龄和用户常使用的模块等信息。用户群可包括内部用户、合作伙伴用户和活跃用户等信息。根据预设灰度发布规则中的客户性别、年龄段和所在地区对图数据库进行筛选,根据筛选出的结果,推送新版本应用客户端进行灰度验证。如:选择男性年龄段在20-25岁地区在北京朝阳区,时间段在8点-9点操作转账交易的客户进行灰度客户端推送。
本发明实现了移动端灰度发布,并集成了客户行为分析、人工智能算法、用户图谱筛选等功能,并通过特定分析系统所收集的数据,作为验证灰度发布结果的量化手段。上述技术方案显著提高了版本质量和发布水平。
基于相同原理,本实施例还公开了一种基于用户图谱的应用版本发布系统。如图6所示,所述系统包括数据分析模块11、灰度筛选模块12和灰度发布模块13。
其中,数据分析模块11用于对用户信息进行特征分析形成用户特征图数据库,所述图数据库包括用户信息及对应的特征信息。
灰度筛选模块12用于基于预设灰度发布规则根据所述图数据库对所述用户信息进行筛选得到目标用户信息。
灰度发布模块13用于将新版本应用客户端发送至所述目标用户信息对应的终端以完成版本升级。
本发明通过对用户信息进行特征分析形成用户特征图数据库,其中图数据库包括用户信息及对应的特征信息,从而基于用户信息对不同用户进行特征分类。进一步的,根据预设灰度发布规则对图数据库中的用户信息进行筛选得到目标用户信息,将新版本应用客户端发送至目标用户信息对应的终端并完成版本升级。因此,本发明通过建立图数据库,根据图数据库及预设灰度发布规则筛选目标用户信息,针对目标用户进行新版本客户端的灰度发布,解决由于版本质量、测试不充分等原因引起的客户端版本升级对终端带来的不良影响,有效控制新版本发布范围、规避质量风险,提升客户体验。
在优选的实施方式中,所述数据分析模块11具体用于对用户信息中的用户基本信息和用户操作信息分别进行线性分析和非线性分析;根据线性分析和非线性分析的数据分析结果形成用户特征图数据库。
可以理解的是,用户信息中的用户基本信息可以通过用户注册等过程获取,用户基本信息可包括身份证号、年龄、性别和居住地等信息。用户信息中的用户操作信息可通过对用户操作终端客户端的操作日志分析得到,用户操作信息可包括用户查询余额和理财产品等操作信息。对于基本无变化的用户基本信息可进行线性分析统计,对于基于用户习惯的用户操作信息可进行非线性分析统计,以得到用户基本信息和用户操作信息两个方面的用户特征,根据用户信息及线性分析和非线性分析得到的特征信息可形成图数据库,以便于进一步根据图数据库进行图谱分析。
进一步的,可基于用户基本特征或用户群等因素形成预设的灰度发布规则,根据形成的图数据库和该预设的灰度发布规则筛选对应的目标用户信息,以便于将新版本应用客户端发送至目标用户信息对应的客户端进行版本升级。其中,用户基本特征可包括用户所在的地理位置、用户性别、用户年龄和用户常使用的模块等信息。用户群可包括内部用户、合作伙伴用户和活跃用户等信息。根据预设灰度发布规则中的客户性别、年龄段和所在地区对图数据库进行筛选,根据筛选出的结果,推送新版本应用客户端进行灰度验证。如:选择男性年龄段在20-25岁地区在北京朝阳区,时间段在8点-9点操作转账交易的客户进行灰度客户端推送。
具体的,可基于预设的特征分析条件对用户基本信息进行线性特征分析得到用户信息及对应的特征信息。对于用户基本信息,可预先设置用户的年龄段特征、性别特征和居住地特征等多种特征条件,年龄段特征可包括18~25、26~30、30~32、33~35和36~40等年龄段特征,性别特征可包括男性和女性的性别特征,居住地可包括北京、上海和广州等居住地特征。例如,在一个具体例子中,根据预设的特征分析条件可得到年龄段特征为30-32岁、性别为男性和居住地为上海的特征信息以及对应的用户信息,将得到的用户信息和对应的特征信息存储至数据库中形成图数据库。
用户操作信息可包括用户查询余额和理财产品等操作信息。也可通过预先形成特征分析条件对用户操作信息进行特征分析。例如,对于银行产品客户端,可对用户对客户端操作形成的操作日记进行特征分析得到用户操作信息对应的特征信息。通过预先设定用户操作一个或多个产品功能或模块的特征分析条件,然后对用户操作信息进行非线性分析可得到用户信息对应的特征信息,根据用户信息和分析得到的对应特征信息可形成图数据库。需要说明的是,预设的特征分析条件不仅限于上述的多种特征条件,在实际应用中,开发人员可根据实际需求对特征分析条件进行灵活设置,本发明对此并不作限定。
在优选的实施方式中,所述数据分析模块具体用于通过预设第一人工智能模型对用户信息中的用户基本信息进行线性分析。通过预设第二人工智能模型对用户信息中的用户操作信息进行非线性分析。
可以理解的是,人工智能是计算机学科的一个分支,人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科,主要包括计算机实现智能的原理、制造类似于人脑智能的计算机,使计算机能实现更高层次的应用。人工智能将涉及到计算机科学、心理学、哲学和语言学等学科。该优选的实施方式中,为了提高对用户基本信息和用户操作信息特征分析的准确度,采用人工智能算法形成第一人工智能模型和第二人工智能模型分别对用户信息进行线性分析和非线性分析。需要说明的是,在该优选的实施方式中,对用户信息中的用户基本信息和用户操作信息分别进行线性分析和非线性两类分析,在实际应用中,也可以针对用户信息中的各类信息设置其他人工智能模型进行分析,本发明对此并不作限定。
在优选的实施方式中,所述系统进一步包括形成所述第一人工智能模型和所述第二人工智能模型的模型构建模块。模型构建模块用于对历史用户信息的用户基本信息和用户操作信息进行特征提取并转换得到特征向量。对所述特征向量进行关键词标记。根据所述特征向量和对应的关键词对机器学习模型进行训练得到所述第一人工智能模型和所述第二人工智能模型。
可以理解的是,该优选的实施方式中,人工智能算法可采用基于机器学习算法形成的模型。具体的,可对历史用户的用户基本信息和用户操作信息进行采集,可将用户基本信息和用户操作信息存储在数据库中,基于用户基本信息和用户操作信息的信息类型的不同建立线性分析和非线性分析分别对应的机器学习模型,然后通过历史用户的用户基本信息和用户操作信息对机器学习模型进行训练得到第一人工智能模型和第二人工智能模型。在实际训练过程中,可对用户基本信息和用户操作信息进行特征提取形成特征向量,并对各特征向量进行关键词标记,将标记后的特征向量输入机器学习进行训练得到第一人工智能模型和第二人工智能模型。
在一个具体例子中,可从客户端收集的数据中拉取用户使用客户端的用户操作信息,该用户操作信息包括客户id和常使用模块等信息,并形成用户常使用模块使用频率的特征向量,通过人工智能模型建立向量库和映射关系表进行数据压缩,即形成图数据库。同时,可记录压缩文件大小,生成hd-key,并将向量库等数据上传数据库。根据数据库中预置的常使用模块向量库中的特征向量(按照使用频率进行划分,并编号),预制常使用模块与向量、使用频率映射关系表。当需要灰度发布时,可通过装置提供的搜索接口,进行功能模块搜索,返回搜索结果,确定灰度发布的目标用户。优选的,可每日定时获取最新的用户信息以更新向量库,进行常使用模块向量的更新,根据使用频率推荐不同维度客户进行灰度试用。
在优选的实施方式中,如图7所示,所述系统进一步包括数据采集模块10。数据采集模块10用于采集用户预先设置的用户基本信息,所述用户基本信息包括客户属性对照表和客户信息参数表;采集终端客户端的日志记录,根据所述日志记录提取用户操作信息。
可以理解的是,对于用户基本信息和用户操作信息的获取可以通过多种方式获取,在该优选的实施方式中,为了快速、准确的获取用户基本信息,可从客户端中获取用户注册或输入的预先设置的用户基本信息,并可采集终端客户端的日志记录,从用户操作客户端的日志记录中提取用户操作信息。在实际应用中,还可以通过其他方式得到用户基本信息和用户操作信息,本发明对此并不作限定。
本发明实现了移动端灰度发布,并集成了客户行为分析、人工智能算法、用户图谱筛选等功能,并通过特定分析系统所收集的数据,作为验证灰度发布结果的量化手段。上述技术方案显著提高了版本质量和发布水平。
在优选的实施方式中,所述灰度筛选模块12具体用于根据预设灰度发布规则确定目标特征信息;根据所述目标特征信息及所述图数据库的特征信息进行筛选得到目标用户信息。
可以理解的是,可通过人为预设的方式基于用户基本特征或用户群等因素形成预设的灰度发布规则,根据形成的图数据库和该预设的灰度发布规则筛选对应的目标用户信息,以便于将新版本应用客户端发送至目标用户信息对应的客户端进行版本升级。其中,用户基本特征可包括用户所在的地理位置、用户性别、用户年龄和用户常使用的模块等信息。用户群可包括内部用户、合作伙伴用户和活跃用户等信息。根据预设灰度发布规则中的客户性别、年龄段和所在地区对图数据库进行筛选,根据筛选出的结果,推送新版本应用客户端进行灰度验证。如:选择男性年龄段在20-25岁地区在北京朝阳区,时间段在8点-9点操作转账交易的客户进行灰度客户端推送。
由于该系统解决问题的原理与以上方法类似,因此本系统的实施可以参见方法的实施,在此不再赘述。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机设备,具体的,计算机设备例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
在一个典型的实例中计算机设备具体包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上所述的由客户端执行的方法,或者,所述处理器执行所述程序时实现如上所述的由服务器执行的方法。
下面参考图8,其示出了适于用来实现本申请实施例的计算机设备600的结构示意图。
如图8所示,计算机设备600包括中央处理单元(CPU)601,其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM))603中的程序而执行各种适当的工作和处理。在RAM603中,还存储有系统600操作所需的各种程序和数据。CPU601、ROM602、以及RAM603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605:包括键盘、鼠标等的输入部分606;包括诸如阴极射线管(CRT)、液晶反馈器(LCD)等以及扬声器等的输出部分607;包括硬盘等的存储部分608;以及包括诸如LAN卡,调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器610上,以便于从其上读出的计算机程序根据需要被安装如存储部分608。
特别地,根据本发明的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明的实施例包括一种计算机程序产品,其包括有形地包含在机器可读介质上的计算机程序,所述计算机程序包括用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分609从网络上被下载和安装,和/或从可拆卸介质611被安装。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (12)
1.一种基于用户图谱的应用版本发布方法,其特征在于,包括:
对用户信息进行特征分析形成用户特征图数据库,所述图数据库包括用户信息及对应的特征信息;
基于预设灰度发布规则根据所述图数据库对所述用户信息进行筛选得到目标用户信息;
将新版本应用客户端发送至所述目标用户信息对应的终端以完成版本升级。
2.根据权利要求1所述的基于用户图谱的应用版本发布方法,其特征在于,所述对用户信息进行特征分析形成用户特征图数据库具体包括:
对用户信息中的用户基本信息和用户操作信息分别进行线性分析和非线性分析;
根据线性分析和非线性分析的数据分析结果形成用户特征图数据库。
3.根据权利要求1所述的基于用户图谱的应用版本发布方法,其特征在于,所述对用户信息中的用户基本信息和用户操作信息分别进行线性分析和非线性分析具体包括:
通过预设第一人工智能模型对用户信息中的用户基本信息进行线性分析;
通过预设第二人工智能模型对用户信息中的用户操作信息进行非线性分析。
4.根据权利要求3所述的基于用户图谱的应用版本发布方法,其特征在于,进一步包括形成所述第一人工智能模型和所述第二人工智能模型的步骤:
对历史用户信息的用户基本信息和用户操作信息进行特征提取并转换得到特征向量;
对所述特征向量进行关键词标记;
根据所述特征向量和对应的关键词对机器学习模型进行训练得到所述第一人工智能模型和所述第二人工智能模型。
5.根据权利要求1所述的基于用户图谱的应用版本发布方法,其特征在于,进一步包括预先采集所述用户信息的步骤:
采集用户预先设置的用户基本信息,所述用户基本信息包括客户属性对照表和客户信息参数表;
采集终端客户端的日志记录,根据所述日志记录提取用户操作信息。
6.根据权利要求1所述的基于用户图谱的应用版本发布方法,其特征在于,所述基于预设灰度发布规则根据所述图数据库对所述用户信息进行筛选得到目标用户信息具体包括:
根据预设灰度发布规则确定目标特征信息;
根据所述目标特征信息及所述图数据库的特征信息进行筛选得到目标用户信息。
7.一种基于用户图谱的应用版本发布系统,其特征在于,包括:
数据分析模块,用于对用户信息进行特征分析形成用户特征图数据库,所述图数据库包括用户信息及对应的特征信息;
灰度筛选模块,用于基于预设灰度发布规则根据所述图数据库对所述用户信息进行筛选得到目标用户信息;
灰度发布模块,用于将新版本应用客户端发送至所述目标用户信息对应的终端以完成版本升级。
8.根据权利要求7所述的基于用户图谱的应用版本发布系统,其特征在于,所述数据分析模块具体用于对用户信息中的用户基本信息和用户操作信息分别进行线性分析和非线性分析;根据线性分析和非线性分析的数据分析结果形成用户特征图数据库。
9.根据权利要求7所述的基于用户图谱的应用版本发布系统,其特征在于,进一步包括数据采集模块,用于采集用户预先设置的用户基本信息,所述用户基本信息包括客户属性对照表和客户信息参数表;采集终端客户端的日志记录,根据所述日志记录提取用户操作信息。
10.根据权利要求7所述的基于用户图谱的应用版本发布系统,其特征在于,所述灰度筛选模块具体用于根据预设灰度发布规则确定目标特征信息;根据所述目标特征信息及所述图数据库的特征信息进行筛选得到目标用户信息。
11.一种计算机设备,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,
所述处理器执行所述程序时实现如权利要求1-6任一项所述方法。
12.一种计算机可读介质,其上存储有计算机程序,其特征在于,
该程序被处理器执行时实现如权利要求1-6任一项所述方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110184032.1A CN112965742A (zh) | 2021-02-10 | 2021-02-10 | 基于用户图谱的应用版本发布方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110184032.1A CN112965742A (zh) | 2021-02-10 | 2021-02-10 | 基于用户图谱的应用版本发布方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112965742A true CN112965742A (zh) | 2021-06-15 |
Family
ID=76284838
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110184032.1A Pending CN112965742A (zh) | 2021-02-10 | 2021-02-10 | 基于用户图谱的应用版本发布方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112965742A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113392018A (zh) * | 2021-06-28 | 2021-09-14 | 北京字节跳动网络技术有限公司 | 流量分发方法、装置、存储介质及电子设备 |
CN117369864A (zh) * | 2023-12-05 | 2024-01-09 | 深圳市光子跃动科技有限公司 | 一种基于人工智能的集成化软件开发处理方法及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109471657A (zh) * | 2018-09-07 | 2019-03-15 | 平安科技(深圳)有限公司 | 灰度发布方法、装置、计算机设备及计算机存储介质 |
CN110597535A (zh) * | 2019-08-27 | 2019-12-20 | 贝壳技术有限公司 | 一种灰度发布的方法、装置和存储介质 |
CN111338679A (zh) * | 2020-03-24 | 2020-06-26 | 深圳市元征科技股份有限公司 | 一种软件升级方法、装置以及相关设备 |
CN111882362A (zh) * | 2020-07-31 | 2020-11-03 | 苏州云开网络科技有限公司 | 一种基于5g通讯网络的人工智能广告投放系统 |
CN112116912A (zh) * | 2020-09-23 | 2020-12-22 | 平安国际智慧城市科技股份有限公司 | 基于人工智能的数据处理方法、装置、设备及介质 |
-
2021
- 2021-02-10 CN CN202110184032.1A patent/CN112965742A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109471657A (zh) * | 2018-09-07 | 2019-03-15 | 平安科技(深圳)有限公司 | 灰度发布方法、装置、计算机设备及计算机存储介质 |
CN110597535A (zh) * | 2019-08-27 | 2019-12-20 | 贝壳技术有限公司 | 一种灰度发布的方法、装置和存储介质 |
CN111338679A (zh) * | 2020-03-24 | 2020-06-26 | 深圳市元征科技股份有限公司 | 一种软件升级方法、装置以及相关设备 |
CN111882362A (zh) * | 2020-07-31 | 2020-11-03 | 苏州云开网络科技有限公司 | 一种基于5g通讯网络的人工智能广告投放系统 |
CN112116912A (zh) * | 2020-09-23 | 2020-12-22 | 平安国际智慧城市科技股份有限公司 | 基于人工智能的数据处理方法、装置、设备及介质 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113392018A (zh) * | 2021-06-28 | 2021-09-14 | 北京字节跳动网络技术有限公司 | 流量分发方法、装置、存储介质及电子设备 |
CN113392018B (zh) * | 2021-06-28 | 2024-01-16 | 北京字节跳动网络技术有限公司 | 流量分发方法、装置、存储介质及电子设备 |
CN117369864A (zh) * | 2023-12-05 | 2024-01-09 | 深圳市光子跃动科技有限公司 | 一种基于人工智能的集成化软件开发处理方法及系统 |
CN117369864B (zh) * | 2023-12-05 | 2024-03-22 | 深圳市光子跃动科技有限公司 | 一种基于人工智能的集成化软件开发处理方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110222880B (zh) | 业务风险的确定方法、模型训练方法和数据处理方法 | |
CN112965742A (zh) | 基于用户图谱的应用版本发布方法及系统 | |
CN112785086A (zh) | 信贷逾期风险预测方法及装置 | |
CN112948695A (zh) | 基于用户画像的普惠金融快贷产品推荐方法和装置 | |
CN112288572A (zh) | 业务数据处理方法及计算机设备 | |
CN112766825A (zh) | 企业金融服务风险预测方法及装置 | |
CN112308173A (zh) | 基于多评价因子融合的多目标对象评价方法及其相关设备 | |
CN116684330A (zh) | 基于人工智能的流量预测方法、装置、设备及存储介质 | |
CN114943284A (zh) | 行为预测模型的数据处理系统与方法 | |
US10783449B2 (en) | Continual learning in slowly-varying environments | |
CN110674208A (zh) | 用于确定用户的职住地信息的方法和装置 | |
CN111160614A (zh) | 资源转移预测模型的训练方法、装置及计算设备 | |
CN113568888A (zh) | 索引推荐方法及装置 | |
CN114528973A (zh) | 业务处理模型的生成方法、业务处理方法和装置 | |
CN110020728B (zh) | 业务模型强化学习方法以及装置 | |
CN114067149A (zh) | 互联网服务提供方法、装置和计算机设备 | |
CN113610225A (zh) | 质量评估模型训练方法、装置、电子设备及存储介质 | |
CN113190429A (zh) | 服务器性能预测方法、装置及终端设备 | |
CN109298831B (zh) | 信息存储方法和装置 | |
CN113779335A (zh) | 信息生成方法、装置、电子设备和计算机可读介质 | |
CN117636100B (zh) | 预训练任务模型调整处理方法、装置、电子设备和介质 | |
CN112926834B (zh) | 工业app质量评价方法、装置、设备及介质 | |
CN113905070B (zh) | 一种服务提供方法和系统 | |
CN117009659A (zh) | 套餐推荐方法、装置、设备及存储介质 | |
CN117972210A (zh) | 一种功能推荐及模型训练方法、装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |