CN109871963A - 运行故障还原方法、装置、电子设备及存储介质 - Google Patents

运行故障还原方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN109871963A
CN109871963A CN201910014963.XA CN201910014963A CN109871963A CN 109871963 A CN109871963 A CN 109871963A CN 201910014963 A CN201910014963 A CN 201910014963A CN 109871963 A CN109871963 A CN 109871963A
Authority
CN
China
Prior art keywords
data
user
point data
module
burying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910014963.XA
Other languages
English (en)
Inventor
金同宝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tibet Nawang Network Technology Co Ltd
Original Assignee
Tibet Nawang Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tibet Nawang Network Technology Co Ltd filed Critical Tibet Nawang Network Technology Co Ltd
Priority to CN201910014963.XA priority Critical patent/CN109871963A/zh
Publication of CN109871963A publication Critical patent/CN109871963A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本公开实施例公开了一种运行故障还原方法、装置、电子设备及存储介质。其中,该方法包括:接收用户提供的故障投诉信息;根据所述故障投诉信息获取运行故障相关的埋点数据;使用所述埋点数据生成所述运行故障的场景还原多媒体数据;将所述场景还原多媒体数据输出给所述运行故障的相关人员。

Description

运行故障还原方法、装置、电子设备及存储介质
技术领域
本公开涉及互联网技术领域,具体涉及一种运行故障还原方法、装置、电子设备及存储介质。
背景技术
随着互联网技术和信息处理终端的发展,用户在日常生活中已经离不开互联网服务的支持。相对于传统服务,互联网服务的最大优势在于服务获取的便利性和及时性,亦即用户无论通过哪种终端以何种方式获取互联网服务,基本上都能随时随地获得无差别的服务。
但上述便利性和及时性通常只体现在互联网服务可正常运行时,一旦用户获取服务出现问题,往往需要花费大量的时间和精力来发现和解决异常情况。现有技术中,通常会通过用户投诉信息去获取相应的日志信息,再通过日志分析来定位故障或还原场景,从而确定故障发生的范围和原因,以便有针对性地解决异常情况。
然而,发明人在实现本公开实施例相关技术方案的过程中发现,现有技术至少存在以下问题:一方面,由于用户的不专业性,投诉信息往往很难有效帮助确定异常,有时甚至连是否发生异常都无法确认(比如用户操作或理解偏差而引起的误会);另一方面,日志信息通常是程序记录的大量文本信息,并不直观,对其进行分析理解以发现、展示及解释异常情况的成因往往需要非常专业的知识和经验积累,这对接收用户投诉的普通客服人员来说要求非常高,基本不可能完成。因此现有技术中对于大多数的异常情况,都是由客服人员接收后再反馈到后台技术人员,由技术人员分析解决后再由客服人员转告用户,这严重影响了问题解决的效率,降低了用户体验。
发明内容
针对现有技术中的上述技术问题,本公开实施例提出了一种运行故障还原方法、装置、电子设备及计算机可读存储介质,以解决现有故障发现机制不够直观、效率低下的问题。
本公开实施例的第一方面提供了一种运行故障还原方法,包括:
接收用户提供的故障投诉信息;
根据所述故障投诉信息获取运行故障相关的埋点数据;
使用所述埋点数据生成所述运行故障的场景还原多媒体数据;
将所述场景还原多媒体数据输出给所述运行故障的相关人员。
在一些实施例中,所述使用所述埋点数据生成所述运行故障的场景还原多媒体数据包括:
使用所述埋点数据至少确定出运行故障发生的时间范围内的用户操作序列;
根据所述用户操作序列在仿真的用户环境中进行还原操作;
记录所述还原操作的过程以生成所述场景还原多媒体数据。
在一些实施例中,所述方法还包括:
根据所述故障投诉信息和/或所述埋点数据获取所述用户的用户终端信息;
按照所述用户终端信息构建所述仿真的用户环境。
在一些实施例中,所述根据所述故障投诉信息获取运行故障相关的埋点数据包括:
根据所述故障投诉信息确定所述运行故障发生的时间范围信息;
按照所述时间范围信息筛选数据以获取所述埋点数据。
在一些实施例中,所述方法还包括:
在网页和/或应用中部署埋点事件;
接收根据所述埋点事件产生的用户行为监测数据作为全部埋点数据。
在一些实施例中,所述方法还包括:
使用所述埋点数据进行故障分析;
将所述故障分析的结果加入所述场景还原多媒体数据中。
在一些实施例中,所述使用所述埋点数据进行故障分析包括:
将所述埋点数据输入预先经机器学习方式训练过的故障分析模型,获得所述模型对所述埋点数据的识别结果作为所述故障分析的结果。
本公开实施例的第二方面提供了一种运行故障还原装置,包括:
接收模块,用于接收用户提供的故障投诉信息;
埋点数据获取模块,用于根据所述故障投诉信息获取运行故障相关的埋点数据;
场景还原模块,用于使用所述埋点数据生成所述运行故障的场景还原多媒体数据;
输出模块,用于将所述场景还原多媒体数据输出给所述运行故障的相关人员。
在一些可选的实施例中,所述场景还原模块包括:
序列生成模块,用于使用所述埋点数据至少确定出运行故障发生的时间范围内的用户操作序列;
仿真模块,用于根据所述用户操作序列在仿真的用户环境中进行还原操作;
记录模块,用于记录所述还原操作的过程以生成所述场景还原多媒体数据。
在一些可选的实施例中,所述装置还包括:
终端信息获取模块,用于根据所述故障投诉信息和/或所述埋点数据获取所述用户的用户终端信息;
环境构建模块,用于按照所述用户终端信息构建所述仿真的用户环境。
在一些可选的实施例中,所述埋点数据获取模块包括:
时间范围确定模块,用于根据所述故障投诉信息确定所述运行故障发生的时间范围信息;
数据筛选模块,用于按照所述时间范围信息筛选数据以获取所述埋点数据。
在一些可选的实施例中,所述装置还包括:
部署模块,用于在网页和/或应用中部署埋点事件;
采集模块,用于接收根据所述埋点事件产生的用户行为监测数据作为全部埋点数据。
在一些可选的实施例中,所述装置还包括:
故障分析模块,用于使用所述埋点数据进行故障分析;
结果合成模块,用于将所述故障分析的结果加入所述场景还原多媒体数据中。
在一些可选的实施例中,所述故障分析模块包括:
人工智能处理模块,用于将所述埋点数据输入预先经机器学习方式训练过的故障分析模型,获得所述模型对所述埋点数据的识别结果作为所述故障分析的结果。
本公开实施例的第三方面提供了一种电子设备,包括:
存储器以及一个或多个处理器;
其中,所述存储器与所述一个或多个处理器通信连接,所述存储器中存储有可被所述一个或多个处理器执行的指令,所述指令被所述一个或多个处理器执行时,所述电子设备用于实现如前述各实施例所述的方法。
本公开实施例的第四方面提供了一种计算机可读存储介质,其上存储有计算机可执行指令,当所述计算机可执行指令被计算装置执行时,可用来实现如前述各实施例所述的方法。
本公开实施例的第五方面提供了一种计算机程序产品,所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,可用来实现如前述各实施例所述的方法。
本公开实施例,通过埋点方式采集用户行为数据,从而可以在接收到用户投诉后快速还原故障场景,以便快速帮助定位和发现异常的原因,提高问题解决效率。
附图说明
通过参考附图会更加清楚的理解本公开的特征和优点,附图是示意性的而不应理解为对本公开进行任何限制,在附图中:
图1是根据本申请的一些实施例所示的一种互联网服务系统示意图;
图2是根据本申请的一些实施例所示的一种运行故障还原方法的流程示意图;
图3是根据本申请的一些实施例所示的一种用户操作数据序列示意图;
图4A、4B是根据本申请的一些实施例所示的一种具体应用场景示意图;
图5是根据本申请的一些实施例所示的一种运行故障还原装置的模块结构框图;
图6是根据本申请的一些实施例所示的一种电子设备的结构示意图。
具体实施方式
在下面的详细描述中,通过示例阐述了本公开的许多具体细节,以便提供对相关披露的透彻理解。然而,对于本领域的普通技术人员来讲,本公开显而易见的可以在没有这些细节的情况下实施。应当理解的是,本公开中使用“系统”、“装置”、“单元”和/或“模块”术语,是用于区分在顺序排列中不同级别的不同部件、元件、部分或组件的一种方法。然而,如果其他表达式可以实现相同的目的,这些术语可以被其他表达式替换。
应当理解的是,当设备、单元或模块被称为“在……上”、“连接到”或“耦合到”另一设备、单元或模块时,其可以直接在另一设备、单元或模块上,连接或耦合到或与其他设备、单元或模块通信,或者可以存在中间设备、单元或模块,除非上下文明确提示例外情形。例如,本公开所使用的术语“和/或”包括一个或多个相关所列条目的任何一个和所有组合。
本公开所用术语仅为了描述特定实施例,而非限制本公开范围。如本公开说明书和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的特征、整体、步骤、操作、元素和/或组件,而该类表述并不构成一个排它性的罗列,其他特征、整体、步骤、操作、元素和/或组件也可以包含在内。
参看下面的说明以及附图,本公开的这些或其他特征和特点、操作方法、结构的相关元素的功能、部分的结合以及制造的经济性可以被更好地理解,其中说明和附图形成了说明书的一部分。然而,可以清楚地理解,附图仅用作说明和描述的目的,并不意在限定本公开的保护范围。可以理解的是,附图并非按比例绘制。
本公开中使用了多种结构图用来说明根据本公开的实施例的各种变形。应当理解的是,前面或下面的结构并不是用来限定本公开。本公开的保护范围以权利要求为准。
互联网服务的便利性往往是建立在对多种不同的终端、操作系统和应用程序的普遍支持上,这直接导致其技术实现极为复杂,一旦发生异常情况,现有技术中只能通过专业技术人员去分析数据、确定成因以解决问题。但对用户来说,异常发生时只希望能直观、快速地了解和解决问题,而并不想花费过多时间和精力去理解专业知识和等待专业答复。在本公开的实施例中,通过埋点方式采集用户行为数据,从而可以在接收到用户投诉后快速还原故障场景,以便快速帮助定位和发现异常的原因,提高问题解决效率。
在本公开的一个实施例中,通过如图1所示互联网服务系统100为用户提供互联网服务。其中,互联网服务系统100可以包括服务器110、用户终端120、客服终端130和数据设备140。用户通过用户终端120访问服务器110,获取相应的互联网服务;当然,在某些情况下,用户可在用户终端120中离线地使用本地应用获得相应服务,比如拍照、离线阅读、播放本地视频或是单机游戏等,此时服务器110也并非互联网服务系统100的必要组成,可适当简化甚至省略,故图1中的设备组成仅仅是一个优选的示例,不应视作对互联网服务系统100的具体限制。在用户认为获取的服务发生异常时,通过用户终端120向服务器110反馈投诉信息,客服人员通过客服终端130接收到投诉信息并与用户沟通处理;其中,典型地,用户使用的用户终端120和客服人员使用的客服终端130均是与服务器110建立连接,由服务器110接收双方的信息并向对方转达。在某些情况下,服务器110还按需访问数据设备140以存储或读取关键数据,从而实现对用户和/或客服人员的支持。
在一些实施例中,服务器110可以是单个服务器,也可以是一个服务器群组,或是分属于不同互联网服务提供商的多个服务器/服务器群组。一个服务器群组可以是集中式的,例如数据中心。一个服务器群组也可以是分布式的,例如一个分布式系统。服务器110可以是本地的,也可以是远程的。在一些实施例中,服务器110可以通过网络获取数据或信息。例如,服务器110可以通过网络获取用户终端120和/或客服终端130的数据或信息。又例如,服务器110可以直接读取或通过网络读取数据设备140中的数据或信息。在一些实施例中,服务器110可以通过网络发送数据或信息。例如,服务器110可以通过网络将处理的数据或需要展示的信息发送给用户终端120。又例如,服务器110可以直接将数据或信息存储在数据设备140中或通过网络将处理的数据发送给数据设备140进行存储。其中,一个典型的数据设备140可以是数据库设备或其他任意形式的大数据处理设备。
用户终端120是用户的设备。如图1所示,用户终端120可以有多个,从用户终端1直到用户终端N,其中N为自然数。在一些实施例中,所述用户终端120可以安装有不同的操作系统,比如Windows系统、Linux系统、MAC OS系统、Android系统、iOS系统等;在各个操作系统中进一步安装有相应的应用程序,比如浏览器应用、社交应用、电商应用、资讯应用、邮件应用、多媒体应用等各种专用应用。所述用户终端120通过上述专用应用与对应的服务器110交换数据或信息,并显示给用户。所述用户终端120可以通过网络连接服务器110。在一些实施例中,所述用户终端120可以是智能设备;所述智能设备可以是手机、平板电脑或笔记本电脑等中的一种或几种的组合。多个用户终端可以分别直接与服务器连接,或者汇聚到一个节点后再与服务器连接。
客服终端130是客服人员使用的设备。如图1所示,客服终端130也可以有多个,从客服终端1直到客服终端P,其中P为自然数。在一些实施例中,所述客服终端130也可以安装有相应的操作系统和客户服务支持应用。所述客服终端130通过相应的客户服务支持应用与服务器110交换数据或信息,并显示给客服人员。所述客服终端130可以通过网络连接服务器110。在一些实施例中,所述客服终端130可以是手机、平板电脑、台式电脑、笔记本电脑、服务器等中的一种或几种的组合。多个客服终端可以分别直接与服务器连接,或者汇聚到一个节点后再与服务器连接。
数据设备140可以泛指具有存储功能的设备。数据设备140可以是本地的,或远程的。如图1所示,数据设备可以有多个,从数据设备1直到数据设备Q,其中Q为自然数。数据设备140可以包括层次式数据设备、网络式数据设备和关系式数据设备等,或几种的组合。数据设备140可以将信息数字化后再以利用电、磁或光学等方式的存储设备加以存储。数据设备140可以用来存放各种信息,例如,程序、数据等。数据设备140可以是利用电能方式存储信息的设备,例如,各种存储器、随机存取存储器(Random Access Memory(RAM))、只读存储器(Read Only Memory(ROM))等。随机存储器可以包括十进计数管、选数管、延迟线存储器、威廉姆斯管、动态随机存储器(DRAM)、静态随机存储器(SRAM)、晶闸管随机存储器(T-RAM)、零电容随机存储器(Z-RAM)等,或几种的组合。只读存储器可以包括磁泡存储器、磁钮线存储器、薄膜存储器、磁镀线存储器、磁芯内存、磁鼓存储器、光盘驱动器、硬盘、磁带、早期非易失存储器(NVRAM)、相变化内存、磁阻式随机存储式内存、铁电随机存储内存、非易失SRAM、闪存、电子抹除式可复写只读存储器、可擦除可编程只读存储器、可编程只读存储器、屏蔽式堆读内存、浮动连接门随机存取存储器、纳米随机存储器、赛道内存、可变电阻式内存、可编程金属化单元等,或几种的组合。数据设备140可以是利用磁能方式存储信息的设备,例如,硬盘、软盘、磁带、磁芯存储器、磁泡存储器、U盘、闪存等。数据设备140可以是利用光学方式存储信息的设备,例如,CD或DVD等。数据设备140可以是利用磁光方式存储信息的设备,例如,磁光盘等。数据设备140的存取方式可以是随机存储、串行访问存储、只读存储等,或几种的组合。数据设备140可以包括非永久记忆存储器,永久记忆存储器,或二者的组合。
图2是根据本公开的一些实施例所示的运行故障还原方法示意图。在一些实施例中,所述运行故障还原方法由服务器110执行。如图2所示,所述运行故障还原方法包括以下步骤:
S201,接收用户提供的故障投诉信息。
具体地,用户通常通过用户终端中的应用程序来获取互联网服务,无论应用程序是B/S(Browser/Server,浏览器/服务器)模式、C/S(Client/Server,客户端/服务器)模式还是离线单机模式,在发生异常情况时,用户一般都会通过用户终端向相应的服务供应商反馈故障投诉信息。用户反馈可以通过网页填报、应用内填报、IM(Instant Messaging,即时通信)消息、短信或电话反馈等多种手段实现,无论用户通过何种手段反馈故障投诉信息,最终会被接收汇总并提供给服务供应商的服务器端。
在一些实施例中,用户提供的故障投诉信息至少包括运行故障发生的时间范围信息和/或故障事件信息。当用户仅提供故障事件信息时,可由故障事件信息来推算运行故障发生的时间范围信息。进一步地,用户提供的故障投诉信息还可包括用户身份信息、用户终端信息、故障详细描述信息和本机日志信息中的至少一项。用户具体提供信息的详细程度和准确程度取决于用户对互联网技术了解的专业程度,鉴于互联网技术中存在多种采集用户信息的手段,在此不对用户提供的信息的具体形式做出明确的限制,只要该信息可帮助大致确定运行故障发生的时间范围即可。在某些优选的实施例中,用户提供的信息甚至可以不由用户手动提供,而是用户终端在运行过程中自动监测和记录,当发现运行故障时(比如服务响应超时、接收到报警信息或接收到提示错误信息等)自动将记录提供给服务器端。
S202,根据所述故障投诉信息获取运行故障相关的埋点数据。
具体地,“埋点”是指在网页或应用中部署事件监测点进行用户行为数据采集的方式,现有技术中已有多种“埋点”实现技术,其均可适用于本公开的实施例中,在此不再一一展开描述。当然,在现有技术中,还存在一些所谓“全埋点”或“无埋点”的用户行为数据采集手段,无论名称如何,这些现有手段其实只是“埋点”方式的一些改进,实际上仍属于“埋点”方式(只是较为便捷高效),故在本公开的实施例中也将这些现有手段获得数据统称为“埋点数据”。本领域相关技术人员可以理解,“埋点”方式相对于传统的日志信息、历史信息等方式而言更为有效、详细和准确,可以更好地实现用户行为监测,但在本公开的实施例中,埋点如何实现并非方案的关注点,采用任何现有已知技术均可,本公开的实施例更多关注埋点数据的使用方式。
在一些实施例中,运行故障相关的埋点数据至少包括运行故障发生的时间范围内的用户行为数据。运行故障发生的时间范围信息由用户提供的故障投诉信息确定;用户身份信息和用户终端信息等可采用多种方式获取和/或确认,比如由用户提供、用户提供信息时终端自动添加或是由用户终端自动采集上报等,在此不做具体的限定。在另一些实施例中,还可由埋点数据来确认用户身份信息和用户终端信息等关键信息。
S203,使用所述埋点数据生成所述运行故障的场景还原多媒体数据。
具体地,由所述埋点数据可以直接或间接地确定运行故障场景中的多项关键信息,再利用这些关键信息对场景进行还原。但如前所述,当使用大量的文本信息来分析定位异常情况时,对操作人员的专业能力要求非常高,普通客服人员并不能胜任,现有技术中只能由客服人员转达给后台技术人员处理,再将处理结果由客服人员转达给用户。由于进行了多次转达,不但严重影响了问题处理效率,还极有可能因转达出现信息缺失或理解错误,实际效果并不理想,用户体验差。
在本公开的实施例中,为避免多次转达降低效率,进一步还通过多媒体形式直接展示还原的故障场景,从而帮助客服和用户直观了解异常的发生原因和解决方案,大幅提升了问题解决的效率和用户体验。
在一些实施例中,使用埋点数据至少确定出运行故障发生的时间范围内的用户操作序列,根据用户操作序列在仿真的用户环境中进行还原操作,记录还原操作的过程以生成场景还原多媒体数据。其中,仿真的用户环境按照用户终端信息构建,与故障发生时用户实际使用的用户终端环境基本一致;用户终端信息包括但不限于用户终端型号、操作系统版本、应用程序版本及运行资源信息等。可选地,场景还原多媒体数据可以是视频、动态图或多张连续的静态图;具体的记录用户环境中的操作过程以生成视频、动态图或多张静态图的手段属于现有技术,比如录屏工具、截屏工具等,现有技术已非常成熟,在此不再赘述。
S204,将所述场景还原多媒体数据输出给所述运行故障的相关人员。
具体地,运行故障的相关人员至少包括用户和/或客服人员,故至少将场景还原多媒体数据输出给用户终端和/或客服终端。可选地,服务器端也可保留场景还原多媒体数据备查,或是将其输出给后台技术人员,以帮助完成技术问题的修复。
本公开实施例通过埋点方式采集用户行为数据,从而可以在接收到用户投诉后快速还原故障场景,以便快速帮助定位和发现异常的原因,提高问题解决效率。此外,在本公开的实施例中,为避免多次转达降低效率,进一步还通过多媒体形式直接展示还原的故障场景,从而帮助客服和用户直观了解异常的发生原因和解决方案,大幅提升了问题解决的效率和用户体验。
以下通过具体的实施例对本公开进行进一步地说明。以下实施例以用户使用App的过程中发现异常情况为例进行了说明,其中,本公开的实施例中的运行故障优选指用户通过用户终端使用特定应用程序时发生的异常情况,比如拉卡拉平台应用。但本领域相关技术人员可以理解,埋点方式获取用户行为监测数据可以在应用程序中实现,也可以在网页中实现,甚至还可以在操作系统底层实现;故本公开实施例的技术方案显然也可适用于其他形式的互联网服务异常,甚至可以现实对用户终端异常的支持,在此运行故障的具体形式不应视作对本公开实施例的限制。
具体地,用户在使用应用程序的过程中,预置在App内的数据埋点将根据事件被触发的情况进行数据采集,记录用户不同的行为数据。采集的数据被转换成固定的格式,并发送至服务器端。当客服人员需要进行故障排查和解决时,将会调用服务器中对应的功能。在本申请的实施例中,进行运行故障的场景还原时,首先使用埋点数据至少确定出运行故障发生的时间范围内的用户操作序列。典型地,按照时间顺序将用户的行为数据以及相关的其他数据组装成一个序列;图3为一个生成的数据序列的示例,其中在时间点起始位置,包含一个起始状态数据集,该数据用于仿真用户操作起始时间点的状态数据,由于该起始状态时由此前多个操作的结果,因此起始状态数据描述了起始时间点的应用程序的状态。进一步,按照数据埋点记录的时间,插入了一个用户操作数据:操作1。该操作带来了不同的数据请求响应,例如该操作为一个查询请求,而查询的数据并没有存储在本地或被数据埋点捕获,因此插入的数据为从外部获得。在图3示例中,数据1、数据2被插入至数据序列中。按照相同的方法,将生成一个完整的数据序列,用于描述一个时间段内用户通过用户终端发生的操作和对应的数据。为了能够进行完整的故障复现,将按照固定的单位时间生成序列,如果在对应的时间间隔内没有任何操作或数据交互,仍然生成一个空的时间序列。这是由于该序列可能对应于用户在客户端浏览的行为,而对该端浏览的复现能够有助于客服人员分析潜在的故障原因。
进一步地,使用操作数据序列进行仿真,比如通过仿真器根据操作数据序列对用户环境进行仿真。在现有技术中,问题再现或故障分析均是单纯的文本分析,由于文本(比如单纯的数据序列)无法表达所有的用户操作,尤其是无法获得用户真实操作时人机界面显示的内容,因此现有技术的方式对用户和/或普通客服人员来说非常不直观,只有专业技术人员才能完成,大大限制了问题解决的效率和便利性。而本公开的实施例中,通过对用户环境进行仿真,可以将操作数据序列产生的效果由应用程序内部的代码和对应的界面来展现,从而以非常直观的形式再现异常发生时的场景,使得用户和/或普通客服人员都能明确且客观地了解全过程,而无需安排技术人员处理,也不必将信息多次转达,提升了效率和用户体验。
在一种实施方式中,本公开实施例的技术方案中还可包括一个故障分析模块,将操作数据序列同时输入至故障分析模块,可帮助自动分析潜在的故障原因。对于一些已知的故障逻辑,应用程序在开发时已经进行了预先的设置,在发现问题的同时还可自动给出解决方案。此外,对于某些实际上并非故障的异常情况,比如由于用户缺少经验或误操作,使得服务结果与其预想存在偏差而被用户视为故障的情况,通过故障分析也可自动发现是事实故障还是用户主观上不认可,从而可帮助客服人员提出更有针对性的问题解释和解决建议。
在本公开的实施例中,在完成用户环境的仿真后,进一步还根据用户操作序列在仿真的用户环境中进行还原操作,同时将还原操作的过程以多媒体数据的形式记录下来。优选地,还可同步将故障分析模块分析出的故障发生位置、故障原因、故障类型和解决建议等一同输入至记录的多媒体数据中。多媒体数据可以是视频、动态图或多张连续的静态图等,进一步地,还可在多媒体数据中将关键点以特殊标记的方式着重展示,比如添加文字说明、高亮标记、箭头、指示框、动态效果、异色显示等,从而帮助用户和/或客户人员快速发现和定位问题。
将场景还原多媒体数据展示给用户和/或客服人员,可以直观地帮助相关人员快速了解故障出现时的真实情景,从而实现高效的问题发现、定位和解决。进一步地,对于确认是开发人员失误导致的系统问题,比如程序bug,还可将场景还原多媒体数据展示给对应的开发人员,以方便其快速了解情况、尽快提供解决方案、更新代码优化应用。
在以下通过更具体的实例描述实施细节:
客户端app为一个自助式的签证申请应用,由签证代理服务机构提供服务,用于从过往人工的方式向全自动化业务方式转型。然而,为了提供等同于人工服务水平的机器服务,机构提供了大量的客服人员以便及时响应用户操作app过程中出现的问题。在程序入口处,用户需要选择自己户口所在地是否为当地,因为该选项决定了后续的资料上传逻辑;app在醒目位置处设置了选择窗口的提示信息,然而用户因未注意而选择了错误的路径,比如用户不属于本地户口,但是选择了本地户口的路径。在后续文件上传过程中,用户将无法提供对应的文档,从而导致用户向客户服务人员发起支援请求。此时,将根据用户提供的信息设置一个用户操作时间段,生成用户的操作过程以及对应用户上传的个人资料。在场景还原多媒体数据的展示过程中,用户和/或客服人员发现用户的身份为非本地户口,并在展示片段中观察到用户选择了本地户口的路径,从而快速帮助用户锁定问题。此时,该问题的一个操作数据序列可以如图4A所示。故障分析模块在收到该操作数据序列之后,通过预定的规则或者基于机器学习的故障分类器,推测出该用户可能的原因在于选择了错误的路径。比如,根据用户在发起请求的时刻,操作数据序列停留在数据3的上传步骤进行推断:数据3为社保信息的上传,当用户选择错误的户口路径时,常见的故障类型为无法上传本地社保数据。因此故障分析器自动推荐出了故障类型,在生成的场景还原多媒体数据中,将出现如图4B所示的推荐故障分析。
对于故障分析,在另一个真实案例中,用户终端的翼支付客户端无法登陆,用户界面显示网络访问故障;但除了该应用之外,其他应用又都可以正常联网。
单纯依靠用户表述和界面截图,客服无法判断故障原因。
而依靠本公开实施例的技术方案,通过采集用户终端在运行翼支付应用时的后台程序数据,可以有效地帮助客服判断故障原因。最后根据数据分析,判断出故障的原因是,用户终端后台运行了Adguard这个去广告程序,该程序路由了翼支付App的流量,从而导致翼支付App无法登陆。在发现问题原因后,可有针对性地提出解决方案,比如关闭后台的该去广告程序,或是在该程序中开启对翼支付App的支持等。
以上是本公开提供的运行故障还原方法的具体实施方式。与上述方法相对应地,本公开的一些实施例还公开了一种运行故障还原装置。如图5所示,运行故障还原装置500包括接收模块510、埋点数据获取模块520、场景还原模块530和输出模块540。所述运行故障还原装置的功能可以由图1的互联网服务系统100中的服务器110执行。其中:
所述接收模块510,用于接收用户提供的故障投诉信息;
所述埋点数据获取模块520,用于根据所述故障投诉信息获取运行故障相关的埋点数据;
所述场景还原模块530,用于使用所述埋点数据生成所述运行故障的场景还原多媒体数据;
所述输出模块540,用于将所述场景还原多媒体数据输出给所述运行故障的相关人员。
在一些可选的实施例中,所述场景还原模块包括:
序列生成模块,用于使用所述埋点数据至少确定出运行故障发生的时间范围内的用户操作序列;
仿真模块,用于根据所述用户操作序列在仿真的用户环境中进行还原操作;
记录模块,用于记录所述还原操作的过程以生成所述场景还原多媒体数据。
在一些可选的实施例中,所述装置还包括:
终端信息获取模块,用于根据所述故障投诉信息和/或所述埋点数据获取所述用户的用户终端信息;
环境构建模块,用于按照所述用户终端信息构建所述仿真的用户环境。
在一些可选的实施例中,所述埋点数据获取模块包括:
时间范围确定模块,用于根据所述故障投诉信息确定所述运行故障发生的时间范围信息;
数据筛选模块,用于按照所述时间范围信息筛选数据以获取所述埋点数据。
在一些可选的实施例中,所述装置还包括:
部署模块,用于在网页和/或应用中部署埋点事件;
采集模块,用于接收根据所述埋点事件产生的用户行为监测数据作为全部埋点数据。
在一些可选的实施例中,所述装置还包括:
故障分析模块,用于使用所述埋点数据进行故障分析;
结果合成模块,用于将所述故障分析的结果加入所述场景还原多媒体数据中。
在一些可选的实施例中,所述故障分析模块包括:
人工智能处理模块,用于将所述埋点数据输入预先经机器学习方式训练过的故障分析模型,获得所述模型对所述埋点数据的识别结果作为所述故障分析的结果。
亦即,在本公开的实施例中,可以采用人工智能的方式自动进行故障分析,比如自动识别故障类型、原因和解决方案等。其中,用于自动识别的故障分析模型是一个经过机器学习训练后的人工智能模型,典型地比如是神经网络模型。具体对模型的训练过程属于机器学习领域的现有技术,采用监督学习方式、无监督学习方式等任何已知的方式进行训练均可,典型地比如使用大量的故障样本数据和标注信息进行训练,获得较为理想的故障分析模型(包括但不限于具备知识库和/或优选识别参数等);更优选地还可采用相关人员每次解决故障的结果来对模型进行反馈训练,从而进一步优化该故障分析模型。鉴于人工智能、机器学习及神经网络模型等手段在现有技术中已有充分的研究,本公开实施例中不再逐一展开描述。
参考附图6,为本公开一个实施例提供的电子设备示意图。如图6所示,该电子设备600包括:
存储器630以及一个或多个处理器610;
其中,所述存储器630与所述一个或多个处理器610通信连接,所述存储器630中存储有可被所述一个或多个处理器执行的指令632,所述指令632被所述一个或多个处理器610执行,以使所述一个或多个处理器610执行本公开前述实施例中的方法。
具体地,处理器610和存储器630可以通过总线或者其他方式连接,图6中以通过总线640连接为例。处理器610可以为中央处理器(Central Processing Unit,CPU)。处理器610还可以为其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片,或者上述各类芯片的组合。
存储器630作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块,如本公开实施例中的埋点数据、多媒体数据、应用程序、还原模块、仿真模块、环境构建模块、故障分析模型等。处理器610通过运行存储在存储器630中的非暂态软件程序、指令以及模块632,从而执行处理器的各种功能应用以及数据处理,即实现上述方法实施例中的运行故障还原方法。
存储器630可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储处理器610所创建的数据等。此外,存储器630可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中,存储器630可选包括相对于处理器610远程设置的存储器,这些远程存储器可以通过网络(比如通过通信接口620)连接至处理器610。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
当然,本领域相关技术人员可以理解,本公开上述实施例中的装置和电子设备并不仅限于一个执行主体。在一种可选的实施方式中,比如图1应用场景中的服务器110可以是多个服务器节点,某个/某些节点可只实现方案中的部分功能,比如仅接收投诉信息、仅进行场景还原等,也可有某个/某些节点可实现方案中的全部功能;各个服务器节点可各自独立工作,也可通过已知的技术手段建立连接以进行交互。
本公开的一个实施例还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机可执行指令,所述计算机可执行指令被执行后执行本公开前述实施例中的方法。
前述的计算机可读取存储介质包括以存储如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方式或技术来实现的物理易失性和非易失性、可移动和不可移动介质。计算机可读取存储介质具体包括,但不限于,U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、可擦除可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM)、闪存或其他固态存储器技术、CD-ROM、数字多功能盘(DVD)、HD-DVD、蓝光(Blue-Ray)或其他光存储设备、磁带、磁盘存储或其他磁性存储设备、或能用于存储所需信息且可以由计算机访问的任何其他介质。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的设备和模块的具体工作过程,可以参考前述装置实施例中的对应描述,在此不再赘述。
尽管此处所述的主题是在结合操作系统和应用程序在计算机系统上的执行而执行的一般上下文中提供的,但本领域技术人员可以认识到,还可结合其他类型的程序模块来执行其他实现。一般而言,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、组件、数据结构和其他类型的结构。本领域技术人员可以理解,此处所述的本主题可以使用其他计算机系统配置来实践,包括手持式设备、多处理器系统、基于微处理器或可编程消费电子产品、小型计算机、大型计算机等,也可使用在其中任务由通过通信网络连接的远程处理设备执行的分布式计算环境中。在分布式计算环境中,程序模块可位于本地和远程存储器存储设备的两者中。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及方法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本公开的范围。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对原有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。
综上所述,本公开各实施例提供的运行故障还原方法、装置、电子设备、存储介质或计算机程序产品等,通过埋点方式采集用户行为数据,从而可以在接收到用户投诉后快速还原故障场景,以便快速帮助定位和发现异常的原因,提高问题解决效率。此外,在本公开的实施例中,为避免多次转达降低效率,进一步还通过多媒体形式直接展示还原的故障场景,从而帮助客服和用户直观了解异常的发生原因和解决方案,大幅提升了问题解决的效率和用户体验。进一步地,本公开地实施例还可通过人工智能方式对故障进行自动分析识别,可自动确定故障的类型和原因,从而帮助客服人员提出更有针对性的问题解释和解决建议,进一步提升效率和用户体验。
应当理解的是,本公开的上述具体实施方式仅仅用于示例性说明或解释本公开的原理,而不构成对本公开的限制。因此,在不偏离本公开的精神和范围的情况下所做的任何修改、等同替换、改进等,均应包含在本公开的保护范围之内。此外,本公开所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (16)

1.一种运行故障还原方法,其特征在于,包括:
接收用户提供的故障投诉信息;
根据所述故障投诉信息获取运行故障相关的埋点数据;
使用所述埋点数据生成所述运行故障的场景还原多媒体数据;
将所述场景还原多媒体数据输出给所述运行故障的相关人员。
2.根据权利要求1所述的方法,其特征在于,所述使用所述埋点数据生成所述运行故障的场景还原多媒体数据包括:
使用所述埋点数据至少确定出运行故障发生的时间范围内的用户操作序列;
根据所述用户操作序列在仿真的用户环境中进行还原操作;
记录所述还原操作的过程以生成所述场景还原多媒体数据。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
根据所述故障投诉信息和/或所述埋点数据获取所述用户的用户终端信息;
按照所述用户终端信息构建所述仿真的用户环境。
4.根据权利要求1所述的方法,其特征在于,所述根据所述故障投诉信息获取运行故障相关的埋点数据包括:
根据所述故障投诉信息确定所述运行故障发生的时间范围信息;
按照所述时间范围信息筛选数据以获取所述埋点数据。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在网页和/或应用中部署埋点事件;
接收根据所述埋点事件产生的用户行为监测数据作为全部埋点数据。
6.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
使用所述埋点数据进行故障分析;
将所述故障分析的结果加入所述场景还原多媒体数据中。
7.根据权利要求6所述的方法,其特征在于,所述使用所述埋点数据进行故障分析包括:
将所述埋点数据输入预先经机器学习方式训练过的故障分析模型,获得所述模型对所述埋点数据的识别结果作为所述故障分析的结果。
8.一种运行故障还原装置,其特征在于,包括:
接收模块,用于接收用户提供的故障投诉信息;
埋点数据获取模块,用于根据所述故障投诉信息获取运行故障相关的埋点数据;
场景还原模块,用于使用所述埋点数据生成所述运行故障的场景还原多媒体数据;
输出模块,用于将所述场景还原多媒体数据输出给所述运行故障的相关人员。
9.根据权利要求8所述的装置,其特征在于,所述场景还原模块包括:
序列生成模块,用于使用所述埋点数据至少确定出运行故障发生的时间范围内的用户操作序列;
仿真模块,用于根据所述用户操作序列在仿真的用户环境中进行还原操作;
记录模块,用于记录所述还原操作的过程以生成所述场景还原多媒体数据。
10.根据权利要求9所述的装置,其特征在于,所述装置还包括:
终端信息获取模块,用于根据所述故障投诉信息和/或所述埋点数据获取所述用户的用户终端信息;
环境构建模块,用于按照所述用户终端信息构建所述仿真的用户环境。
11.根据权利要求8所述的装置,其特征在于,所述埋点数据获取模块包括:
时间范围确定模块,用于根据所述故障投诉信息确定所述运行故障发生的时间范围信息;
数据筛选模块,用于按照所述时间范围信息筛选数据以获取所述埋点数据。
12.根据权利要求8所述的装置,其特征在于,所述装置还包括:
部署模块,用于在网页和/或应用中部署埋点事件;
采集模块,用于接收根据所述埋点事件产生的用户行为监测数据作为全部埋点数据。
13.根据权利要求8或9所述的装置,其特征在于,所述装置还包括:
故障分析模块,用于使用所述埋点数据进行故障分析;
结果合成模块,用于将所述故障分析的结果加入所述场景还原多媒体数据中。
14.根据权利要求13所述的装置,其特征在于,所述故障分析模块包括:
人工智能处理模块,用于将所述埋点数据输入预先经机器学习方式训练过的故障分析模型,获得所述模型对所述埋点数据的识别结果作为所述故障分析的结果。
15.一种电子设备,其特征在于,包括:
存储器以及一个或多个处理器;
其中,所述存储器与所述一个或多个处理器通信连接,所述存储器中存储有可被所述一个或多个处理器执行的指令,所述指令被所述一个或多个处理器执行时,所述电子设备用于实现如权利要求1-7任一项所述的方法。
16.一种计算机可读存储介质,其上存储有计算机可执行指令,当所述计算机可执行指令被计算装置执行时,可用来实现如权利要求1-7任一项所述的方法。
CN201910014963.XA 2019-01-08 2019-01-08 运行故障还原方法、装置、电子设备及存储介质 Pending CN109871963A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910014963.XA CN109871963A (zh) 2019-01-08 2019-01-08 运行故障还原方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910014963.XA CN109871963A (zh) 2019-01-08 2019-01-08 运行故障还原方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN109871963A true CN109871963A (zh) 2019-06-11

Family

ID=66917536

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910014963.XA Pending CN109871963A (zh) 2019-01-08 2019-01-08 运行故障还原方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN109871963A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111130888A (zh) * 2019-12-26 2020-05-08 珠海格力电器股份有限公司 故障信息收集与提示方法、装置、存储介质和移动终端
CN111381995A (zh) * 2020-03-13 2020-07-07 青岛海尔科技有限公司 用于还原用户操作的方法及装置、计算机
CN111413952A (zh) * 2020-04-07 2020-07-14 北京金山安全软件有限公司 机器人故障检测方法、装置、电子设备及可读存储介质
CN111597637A (zh) * 2020-05-19 2020-08-28 北京铁道工程机电技术研究所股份有限公司 一种动车现场部件的故障检测方法、装置、服务器及系统
CN112188013A (zh) * 2020-09-22 2021-01-05 康佳集团股份有限公司 一种基于实时信息的客服方法、存储介质及服务器
CN112883280A (zh) * 2021-03-25 2021-06-01 贵阳货车帮科技有限公司 用户推荐内容的处理系统以及方法
CN113051095A (zh) * 2021-03-25 2021-06-29 北京高途云集教育科技有限公司 客户端运行错误的复现方法、装置、电子设备及存储介质
CN113613063A (zh) * 2021-07-16 2021-11-05 深圳市明源云科技有限公司 应用异常还原方法、设备、计算机程序产品及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106941423A (zh) * 2017-04-13 2017-07-11 腾讯科技(深圳)有限公司 故障原因定位方法及装置
CN107040816A (zh) * 2017-03-17 2017-08-11 北京潘达互娱科技有限公司 一种客户端应用运行异常分析方法与装置
CN107239389A (zh) * 2017-06-07 2017-10-10 网易(杭州)网络有限公司 一种在混合app中确定用户操作记录的方法及装置
CN107872353A (zh) * 2017-12-27 2018-04-03 北京奇艺世纪科技有限公司 一种故障定位方法及装置
CN108459952A (zh) * 2017-02-21 2018-08-28 网易(杭州)网络有限公司 程序异常的处理方法及系统
CN109005382A (zh) * 2018-06-27 2018-12-14 深圳市轱辘汽车维修技术有限公司 一种视频采集管理方法及服务器

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108459952A (zh) * 2017-02-21 2018-08-28 网易(杭州)网络有限公司 程序异常的处理方法及系统
CN107040816A (zh) * 2017-03-17 2017-08-11 北京潘达互娱科技有限公司 一种客户端应用运行异常分析方法与装置
CN106941423A (zh) * 2017-04-13 2017-07-11 腾讯科技(深圳)有限公司 故障原因定位方法及装置
CN107239389A (zh) * 2017-06-07 2017-10-10 网易(杭州)网络有限公司 一种在混合app中确定用户操作记录的方法及装置
CN107872353A (zh) * 2017-12-27 2018-04-03 北京奇艺世纪科技有限公司 一种故障定位方法及装置
CN109005382A (zh) * 2018-06-27 2018-12-14 深圳市轱辘汽车维修技术有限公司 一种视频采集管理方法及服务器

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111130888A (zh) * 2019-12-26 2020-05-08 珠海格力电器股份有限公司 故障信息收集与提示方法、装置、存储介质和移动终端
CN111381995A (zh) * 2020-03-13 2020-07-07 青岛海尔科技有限公司 用于还原用户操作的方法及装置、计算机
CN111413952A (zh) * 2020-04-07 2020-07-14 北京金山安全软件有限公司 机器人故障检测方法、装置、电子设备及可读存储介质
CN111413952B (zh) * 2020-04-07 2021-05-07 北京金山安全软件有限公司 机器人故障检测方法、装置、电子设备及可读存储介质
CN111597637A (zh) * 2020-05-19 2020-08-28 北京铁道工程机电技术研究所股份有限公司 一种动车现场部件的故障检测方法、装置、服务器及系统
CN112188013A (zh) * 2020-09-22 2021-01-05 康佳集团股份有限公司 一种基于实时信息的客服方法、存储介质及服务器
CN112188013B (zh) * 2020-09-22 2022-05-31 康佳集团股份有限公司 一种基于实时信息的客服方法、存储介质及服务器
CN112883280A (zh) * 2021-03-25 2021-06-01 贵阳货车帮科技有限公司 用户推荐内容的处理系统以及方法
CN113051095A (zh) * 2021-03-25 2021-06-29 北京高途云集教育科技有限公司 客户端运行错误的复现方法、装置、电子设备及存储介质
CN113051095B (zh) * 2021-03-25 2024-02-13 北京高途云集教育科技有限公司 客户端运行错误的复现方法、装置、电子设备及存储介质
CN113613063A (zh) * 2021-07-16 2021-11-05 深圳市明源云科技有限公司 应用异常还原方法、设备、计算机程序产品及存储介质

Similar Documents

Publication Publication Date Title
CN109871963A (zh) 运行故障还原方法、装置、电子设备及存储介质
CN110321371B (zh) 日志数据异常检测方法、装置、终端及介质
US10007512B2 (en) Bug clearing house
US11301136B2 (en) Capacity forecasting based on capacity policies and transactions
US8161325B2 (en) Recommendation of relevant information to support problem diagnosis
CN110928772A (zh) 一种测试方法及装置
CN108108297A (zh) 自动化测试的方法和装置
CN108628741A (zh) 网页页面测试方法、装置、电子设备和介质
CN109726105A (zh) 测试数据构造方法、装置、设备及存储介质
US10642870B2 (en) Data processing systems and methods for automatically detecting and documenting privacy-related aspects of computer software
CN104899016B (zh) 调用堆栈关系获取方法及装置
CN106104495A (zh) 信息处理装置和监视方法
CN102571403A (zh) 通用数据质量管控适配器的实现方法和装置
CN112819597A (zh) 一种发票自动抓取和凭证录入方法、系统及存储介质
CN106534291A (zh) 基于大数据处理的电压监测方法
CN109828750B (zh) 自动配置数据埋点的方法、装置、电子设备及存储介质
US9405531B2 (en) Methods for building application intelligence into event driven applications through usage learning, and systems supporting such applications
US10956914B2 (en) System and method for mapping a customer journey to a category
US11294939B2 (en) Data processing systems and methods for automatically detecting and documenting privacy-related aspects of computer software
CN113779261A (zh) 知识图谱的质量评价方法、装置、计算机设备及存储介质
CN113536149A (zh) 基于联盟链和文本分类的社交平台舆论优化系统及方法
CN108897633A (zh) 一种基于机器数据的故障诊断方法与装置
CN110471730A (zh) 基于Echarts的展示方法、系统、大屏系统和介质
CN111950985B (zh) 成本控制方法、装置、计算机设备及存储介质
CN111694752B (zh) 应用测试方法、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190611

RJ01 Rejection of invention patent application after publication