CN107077341A - 用于基于软件执行跟踪自动加标签的方法和系统 - Google Patents

用于基于软件执行跟踪自动加标签的方法和系统 Download PDF

Info

Publication number
CN107077341A
CN107077341A CN201480082848.1A CN201480082848A CN107077341A CN 107077341 A CN107077341 A CN 107077341A CN 201480082848 A CN201480082848 A CN 201480082848A CN 107077341 A CN107077341 A CN 107077341A
Authority
CN
China
Prior art keywords
application
call stack
stack information
received
call
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480082848.1A
Other languages
English (en)
Other versions
CN107077341B (zh
Inventor
孙辛若
金天鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Priority to CN202010620871.9A priority Critical patent/CN111913875B/zh
Publication of CN107077341A publication Critical patent/CN107077341A/zh
Application granted granted Critical
Publication of CN107077341B publication Critical patent/CN107077341B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/362—Software debugging
    • G06F11/3636—Software debugging by tracing the execution of the program
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3688—Test management for test execution, e.g. scheduling of test suites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/70—Software maintenance or management
    • G06F8/75—Structural analysis for program understanding

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Debugging And Monitoring (AREA)
  • Stored Programmes (AREA)
  • Telephonic Communication Services (AREA)
  • Computer And Data Communications (AREA)

Abstract

用于分析在远程设备(120)上执行的应用的执行模式的系统和方法。在一些系统实施方式中，知识库存储来自应用的多个实例(124)的成功跟踪，并且系统中的一个或多个计算处理器(950)经由网络接口(922)从在远程设备(120)上执行的应用的实例(124)接收调用栈信息，调用栈信息包括对所述应用的所述实例(124)的执行状态的周期性捕捉，以及确定在从所述应用的所述实例(124)接收到的调用栈信息和所存储的多个成功跟踪之间是否存在相似性。响应于确定相似性，所述计算处理器(950)将远程设备(120)添加到可能执行目标的设备群中并且促进特定于设备群的进一步动作。

Description

用于基于软件执行跟踪自动加标签的方法和系统
背景技术
价格便宜的软件应用可用于各种计算平台。通常，某些类型的软件应用在主机设备上执行时与远离主机设备的后端服务器交互。后端服务器在一些情况下可以经由网络与应用实例交换信息。
发明内容
在一些方面，本公开涉及一种系统，其包括知识库，存储从在多个远程设备上执行的多个应用实例中收集到的多个成功跟踪。系统包括网络接口和计算机处理器，所述计算机处理器被配置为经由所述网络接口从在第一远程设备上执行的第一应用示例接收调用栈信息的一个或多个单元，所述调用栈信息包括对所述应用的所述第一实例的执行状态的周期性捕捉；以及从所述应用的所述第一实例接收所述应用的所述第一实例已经执行目标的指示符。所述计算机处理器被配置为响应于接收到所述指示符，聚集所接收到的导致所执行的目标的调用栈信息的单元作为成功跟踪并且在所述知识库中存储所述成功跟踪。所述计算机处理器还被配置为从在第二远程设备上执行的所述应用的第二实例接收调用栈信息的一个或多个单元，所述调用栈信息包括对所述应用的所述第二实例的执行状态的周期性捕捉；确定从所述应用的所述第二实例接收到的所述调用栈信息与多个成功跟踪之间的相似性；以及响应于确定所述相似性，将所述第二远程设备添加到可能执行所述目标的设备群中。
在一些方面，本公开涉及一种方法，包括从在第一远程设备上执行的应用的第一实例接收调用栈信息的一个或多个单元，所述调用栈信息包括对所述应用的所述第一实例的执行状态的周期性捕捉；以及从所述应用的所述第一实例接收所述应用的所述第一实例已经执行目标的指示符。该方法包括聚集所接收到的导致所执行的目标的调用栈信息的单元作为成功跟踪以及从在多个远程设备上执行的所述应用的多个实例中收集多个成功跟踪。该方法还包括从在第二远程设备上执行的所述应用的第二实例接收调用栈信息的一个或多个单元，所述调用栈信息包括对所述应用的所述第二实例的执行状态的周期性捕捉；确定从所述应用的所述第二实例接收到的所述调用栈信息与多个成功跟踪之间的相似性；以及将所述第二远程设备添加到可能执行所述目标的设备群中。
在一些方面，本公开涉及一种存储指令的计算机可读介质，所述指令当被包括一个或多个计算处理器的计算设备执行时，使得所述计算设备：从在第一远程设备上执行的应用的第一实例接收调用栈信息的一个或多个单元，所述调用栈信息包括对所述应用的所述第一实例的执行状态的周期性捕捉，以及从所述应用的所述第一实例接收所述应用的所述第一实例已经执行目标的指示符。所述指令还进一步使得计算设备聚集所接收到的导致所执行的目标的调用栈信息的单元作为成功跟踪并且在存储从在多个远程设备上执行的应用的多个实例中收集到的多个成功跟踪的知识库中存储所述成功跟踪。所述指令还使得计算设备从在第二远程设备上执行的所述应用的第二实例接收调用栈信息的一个或多个单元，所述调用栈信息包括对所述应用的所述第二实例的执行状态的周期性捕捉；确定从所述应用的所述第二实例接收到的所述调用栈信息与多个成功跟踪之间的相似性；以及响应于肯定的确定，将所述第二远程设备添加到可能执行所述目标的设备群中。
附图说明
通过参考下面的具体实施方式，当参考附图时，将更加全面地理解本公开的上述和相关目的、特征和优点，其中：
图1是根据示例实施方式的网络环境的示意图；
图2是调用栈视觉化；
图3是描绘用于周期性捕捉和传送调用栈信息的方法的实施方式的流程图；
图4是描绘用于收集和比较多个远程设备的调用栈信息的方法的实施方式的流程图；
图5是描绘用于响应对于接收到的调用栈信息的分段(segment)关联的识别的方法的实施方式的流程图；以及
图6是适用于在所述的各种实施方式中使用的计算系统的框图。
清楚起见，不是任何元件可以在任何图中被标注。附图不旨在按比例绘制。各个附图中相似附图标记和指示表示相似的元素。
具体实施方式
价格便宜的软件应用可用于各种计算平台。应用用户可以支付少量的钱，或者在一些情况下根本不用付钱，而在用户设备上安装应用且运行应用。用户可以支付很少的金额来解锁应用的附加特征，或者升级到应用的高级版本。在一些情形中，应用呈现由应用创建者或第三方所供应的内容。在一些情形中，应用关联于另一产品而分发，例如，作为对事件或场所的市场营销搭配。通常，一些应用，有时被称为“apps”，与一个或多个后端服务器通信以获得更新、多方交互和附加内容。后端服务器可以基于各种参数来选择要递送到每个应用实例的内容。在一些实施方式中，应用的特定实例的具体执行模式被用于帮助选择内容。一些执行模式可以指示执行一个或多个特定事件的增加的可能性。如果执行模式启示特定应用实例可能执行目标事件，则可以选择内容来帮助引导应用的用户朝向目标。目标包括但不限于，用户与所选内容的交互、应用内购买、以及与应用的持续用户参与。在一个场景中，如果娱乐应用(即游戏)重复执行来自游戏中困难级别的函数调用，则应用的用户可能对怎样通过困难级别的提示感兴趣。
参看图1的概览，图示说明了网络环境的示意图。网络110使得在各个用户设备120和后端服务器130之间能够通信。每个用户设备120(a)–120(n)执行应用的相应实例124(a)–124(n)。应用实例124(a)–124(n)(通常被称为实例124)每个经由网络110传送调用栈信息到栈聚集服务器140。栈聚集服务器140在存储器134中存储接收到的信息。服务器140识别调用栈信息中的执行模式并且指定应用实例124的分段以基于所识别的模式接收特殊内容。内容服务器160将内容提供给应用实例124。应用实例124在指定的分段中从内容服务器160接收为该分段所选的特殊内容。
更具体地，网络110在用户设备120和后端服务器130之间传送信息。网络110由链接在一起以形成参与设备之间的一个或多个通信路径的各种网络设备组成。每个联网设备包括至少一个网络接口，用于传送和接收数据，通常作为一个或多个分组。网络接口将联网设备链接到网络110，由此通过网络110链接彼此。图示的网络110是互联网；但是，其他网络也可被使用。网络110可以由多个相连的子网络组成。网络110可以是诸如公司内联网的局域网(LAN)、城域网(MAN)、广域网(WAN)、诸如互联网的互联网络，或者例如ad hoc WiFi对等网络的对等网络。网络110中设备之间的数据链路可以是有线链路(例如光纤、电缆、cat-5等等)和/或无线链路(例如基于无线电、卫星或微波)的任意组合。网络110可以是公共的、私有的、或者公共和私有网络的组合。网络110可以是任意类型和/或形式的数据网络和/或通信网络。
用户设备120能够经由网络110交换信息。用户设备120可以是被配置用于用户交互的任意种类的计算设备。用户设备120可以是，但不限于，膝上型计算机、桌面型计算机、平板计算机、电子平板、个人数字助理、智能电话、视频游戏设备、电视、电视附属盒子(也被称为“机顶盒”)、电话亭或便携计算机。通常，且无限制，用户设备120能够呈现内容给用户或者便利于内容向用户的呈现。用户设备120通常运行管理用户设备120上的软件应用的执行的操作系统。在一些实施方式中，向用户提供操作系统。参考图6所述的计算设备在一些配置中是适于用作用户设备120的计算设备。
后端服务器130包括栈聚集服务器140和内容服务器160，下面更详细描述。后端服务器130在一些实施方式中还可以包括其他促进系统，诸如作用为路由器或交换机、数据处理和过滤服务器、数据存储系统134、应用服务器等等的网络设备。后端服务器130可以位于单个位置或者跨多个位置分布，所述多个位置被网络110和/或第二主体网络连接。一些后端服务器130可以被虚拟化，即，后端服务器130可以作为虚拟机被托管在另一计算设备上。在一些情形中，一个或多个虚拟服务器可以由第三方云服务提供商托管。一些后端服务器130可以以定制硬件来实现。一些后端服务器130可以是通用计算设备，配置有特定、非通用的功能。参考图6描述的计算设备在一些配置中是适于用作后端服务器130的计算设备。
后端130包括数据存储134，其可以是任何设备或者设备集合，适于存储计算机可读数据。数据存储134设备可以是易失性或非易失性存储、附接于网络的存储、或者存储区域网络。数据存储134设备可以合并一个或多个大容量存储设备，其可以是共同定位或分布的。适于存储数据的设备包括所有形式的非易失性存储器、媒体和存储器设备，例如，半导体存储器设备，诸如EPROM、EEPROM、SDRAM和闪存存储器设备，磁盘，例如内部硬盘或可移动盘，磁光盘，以及CD ROM、DVD-ROM以及盘驱动器。数据存储设备可以被虚拟化。数据存储设备可以经由中间服务器和/或经由网络来访问。数据存储设备可以将数据结构化为文件、数据块或大块的集合。一些数据存储设备可以提供用于使用冗余存储和/或错误恢复数据(例如校验位)来进行错误恢复。数据存储134可以托管数据库，例如关系数据库。数据存储134可以托管文件存储系统。存储在数据存储134中的数据可以被结构化为知识库。数据可以以加密形式存储。对数据存储134的访问可以通过一个或多个认证系统来限制。
用户可以操作用户设备120与各个后端服务器130经由网络110远程交互。在一些场景中，用户可以使用客户端设备120从后端服务器130，例如内容服务器160，请求一个或多个内容项。响应于由后端服务器130接收到的请求，所请求内容从一个或多个内容服务器160经由网络110传递到客户端设备120。客户端设备120随后渲染接收到的内容以便向用户呈现。用户可以这样与后端服务器130交互，使得请求、响应和后续请求的集合可以形成会话。用户的会话持续，直到用户停止请求内容项。在一些实施方式中，在传递最后的内容项之后的固定时间段内会话保持活动，给用户提供时间来占用内容和进行后续请求。在一些实施方式中，传递到客户端设备120的内容被配置为周期性对后端服务器130进行请求以保持会话是活动的。在一些实施方式中，会话是对一段时间内来自客户端设备120的请求的逻辑分组。
在一些实施方式中，每个用户设备120具有标识符，可用来区分各种用户设备实例。标识符可以是唯一的。在一些实施方式中，IP地址用作标识符。在一些实施方式中，制造商或供应商向用户设备120指派永久系统标识符，诸如DUID、INID、IMSI或MIN，在例如SIM卡中记录，以便用作标识符。在一些实施方式中，用户提供用来识别用户设备120的信息。在一些实施方式中，标识符被提供给用户设备120且存储在用户设备中，例如，作为cookie。当用户设备120与后端服务器130交互时，用户设备120可以向服务器130提供存储的标识符。在一些实施方式中，所提供的用于在用户设备120上存储的标识符是任意或随机选择的数字或字符串。在一些实施方式中，后端服务器130维护序号；对于每个与用户设备120的首次交互，服务器130发送该序号给新遇到的用户设备120作为标识符，然后将该序号增加某个固定或动态量。在一些实施方式中，所提供的用于在用户设备120处存储的标识符是用户设备120和后端服务器130之间的首次交互的日期和时间的函数。在一些实施方式中，每个应用实例124接收其自己的标识符，其并不附属于由相同主机用户设备120上的其他应用所使用的标识符。在一些实施方式中，所提供的用于在用户设备120上存储的标识符不具有其他含义，除了它是唯一分派给用户设备120(或者在用户设备120上执行的应用124)的特定实例使得在线上或线下，该标识都无法识别用户个人身份，或与之相关联。
用户设备120执行各种软件应用。在一些实施方式中，一个或多个软件应用用于周期性生成状态信息以及周期性传送该状态信息到后端服务器130。在一些实施方式中，状态信息是用于特定应用实例124的调用栈信息。在一些实施方式中，调用栈信息表示应用当前执行状态的快照。参考图2更详细描述调用栈信息，图2是调用栈信息的表示。特定应用实例124可以通过捕捉调用栈信息而周期性生成状态信息并将该状态信息传送到后端服务器130。所传送的信息可以与该应用实例124的标识符相关联，但不需要包括有关用户的任何个人身份信息。参考图3来详细描述调用栈信息的传输，图3是描绘用于周期性捕捉和传送调用栈信息的方法的实施方式的流程图。下面更详细描述图2和3。在一些实施方式中，用户可以选择选项来禁用状态信息到后端服务器130的传输。
栈聚集服务器140是后端服务器130，后端服务器130被配置为经由网络110从各种用户设备120接收调用栈信息。在一些实施方式中，栈聚集服务器140处理调用栈信息，例如基于规则集合过滤掉一些信息和/或从调用栈信息中识别发送应用实例124是否已经执行了特定函数或事件。在一些实施方式中，栈聚集服务器140在数据存储134中记录所有或一些接收到的调用栈信息。在一些实施方式中，栈聚集服务器140与一个或多个附加栈聚集服务器140相结合工作。在一些实施方式中，多个栈聚集服务器140访问共享信息存储，例如数据存储134。在一些实施方式中，栈聚集服务器140比较接收到的调用栈信息与存储的调用栈信息并识别任何相似性。下面描述的图4是描述用于收集和比较多个远程设备的调用栈信息的方法的实施方式的流程图。
通常，栈聚集服务器140被配置为从用户设备120(例如用户设备120(a))接收调用栈信息并且比较接收到的调用栈信息与之前从其它用户设备120(例如用户设备120(b)–120(n))接收到的聚集的调用栈信息。更具体地，聚集的调用栈信息可以被划分为源用户设备120的两个或更多子组(称为“分段”)。在一些实施方式中，组是基于从比较结果中识别的相似性而划分的，使得用户设备120可以被认为是一个分类或另一分类的一部分，取决于栈聚集服务器140从各个用户设备120所接收到的调用栈信息的相似性。在一些实施方式中，组是基于附加因素而被划分的。在一些这样的实施方式中，附加因素包括应用实例是否完成其它目标，诸如达到特定游戏等级或完成应用内购买。在一些实施方式中，分段是通过将聚类算法施加于接收到的调用栈信息而生成的，例如层级聚类算法。
在一些实施方式中，调用栈信息专用于应用，使得只有执行应用的实例124的用户设备120将提交调用栈信息以用于比较。如果特定分段中存在为用户设备120保留的特殊动作，栈聚集服务器140或另一后端服务器130，诸如内容服务器160，可以响应于确定用户设备120属于特定分段而执行特殊动作。在一些实施方式中，特殊内容可以被传递到落入特定分段内的用户设备。在一些实施方式中，多等级游戏应用可以确定在特定难度重复调用特定函数的用户可能从怎样前进到下一等级的提示中受益；响应于该确定，用户的应用实例可以接收包含提示的特殊消息，或者邀请接受者购买该提示。下面描述的图5是描绘用于接收调用栈信息、识别接收到的调用栈信息的任何分段关联、以及如果源被识别为特定分段的一部分，则指定接收到的调用栈信息的源以便接收特殊内容的方法的实施方式的流程图。
参看图2的概览，图示说明的是调用栈视觉化200。调用栈可以被结构化为包含子例程状态信息的数据。调用栈快照由用于应用的每个线程在给定时刻的栈帧组成。调用栈中的每个栈帧对应于对还没有用返回终止的子例程的调用。在一些实施方式中，应用的作者在工具库(instrumentation library)中进行链接，所述工具库以规则间隔捕捉应用的调用栈的跟踪。在一些实施方式中，操作系统自身捕捉应用的周期性调用栈信息。在一些实施方式中，调用栈信息表示应用当前操作状态的快照，例如哪些线程已经调用了哪些函数并且在进行快照时正在等待所述函数完成执行。表示中的信息可以被归一化。在一些实施方式中，调用栈信息是线程标识符、对象标识符、和方法名称的集合。在一些实施方式中，调用栈信息被表示或存储作为对象名称以及方法名称的数组或链表。
参看图3的概览，图示说明的是描绘用于周期性捕捉和传送调用栈信息的方法的实施方式的流程图。在方法300中，用户设备120处的栈信息收集模块在阶段310捕捉正在执行的应用的调用栈信息，且在阶段320，生成和存储所捕捉的调用栈信息的本地表示。模块以周期间隔重复阶段310捕捉和阶段320存储，如箭头330所指示。在生成至少一个调用栈的表示之后，模块在阶段340一起分批处理捕捉到的调用栈信息的一个或多个表示的集合，且在阶段350经由网络110传送分批的调用栈信息的集合到后端服务器130。栈信息收集模块可以是在用户设备120中实现的例如ASIC的硬件电路，或者可以是由用户设备120的操作系统或由链接到应用实例124中的软件库来提供的软件模块。在一些实施方式中，向软件应用的作者提供软件库以包括在应用中，并且应用实例124使用一个或多个库指令来调用栈信息聚集模块。
详细参看图3，方法300包括调用栈信息的周期性捕捉(阶段310)和捕捉到的调用栈信息的本地表示的生成(阶段320)。
在阶段310，用户设备120处的栈信息收集模块捕捉调用栈信息。如参考图2所述，调用栈指示应用的每个线程的状态。在一些实施方式中，用户设备120处的栈信息收集模块在阶段310通过调用调试函数而捕捉正在执行的应用的调用栈信息。该函数的结果是调用栈信息，例如跟踪或跟踪转储(tracedump)输出。在一些实施方式中，调用栈信息是通过对输出应用执行的状态的操作系统指令的调用而捕捉的。在一些实施方式中，调用栈信息是通过对程序执行环境(例如调试程序或Perl解释程序)或输出应用的执行的状态的虚拟机(例如Java虚拟机)指令的调用而捕捉的。调用栈生成指令包括，但不限于：Java中的“jstack”；Perl中的“caller”；PHP中的“debug_backtrace”；Linux中的“backtrace”；安卓(Android)中的“android::CallStack”；.NET中的“Environment.StackTrace”和“TraceEventCache.Callstack”；以及由mscorlib.dll库来提供的C++中的“StackTrace”。
在阶段320，栈信息收集模块处理调用栈信息并生成捕捉到的调用栈信息的表示，其随后存储在用户设备120本地的存储器中。调用栈信息的本地表示可以在一些实施方式中被结构化为对象名称和方法名称的数组或链表。在一些实施方式中，表示的结构包括层级数据。在一些实施方式中，在阶段320，调用栈收集模块过滤掉没有信息量的函数调用。在一些实施方式中，当足以知道高等级函数被调用时，高等级函数所调用的低等级函数被过滤器移除。也就是，如果调用是在屏幕上绘制按钮，并且足以知道该按钮已经被绘制，则没有必要确切知道按钮是怎样被绘制的，且过滤器可以省略绘制按钮时涉及的低等级调用。在一些实施方式中，本地表示被压缩。
重复调用栈信息捕捉和存储阶段310和320，如箭头330所指示。在一些实施方式中，在每十分之一秒(或更小)一个迭代到每六十秒(或更多)一个迭代的范围中，以规则周期间隔重复这两个阶段。在一些实施方式中，周期间隔是固定的。在一些实施方式中，周期间隔是由应用的作者来设定的。在一些实施方式中，周期间隔是变化的，例如以随机间隔长度或者以例行调整以避免性能影响的间隔长度。
在阶段320的调用栈信息的一个或多个表示生成并存储之后，栈信息收集模块一起分批处理信息(阶段340)并且传送分批的调用栈信息的集合到后端服务器130(阶段350)。在一些实施方式中，在阶段340一起分批处理的迭代调用栈表示的数目基于预先确定的迭代数目，例如每五个迭代。在一些实施方式中，在阶段340一起分批处理的迭代调用栈表示的数目基于预先确定的时间长度，例如，每五分钟收集所有信息。在一些实施方式中，迭代330继续，直到处理器需要下降到低于阈值利用百分比。在一些实施方式中，迭代330继续，直到网络带宽利用率下降到低于阈值水平。在一些实施方式中，迭代330继续，直到网络质量高于阈值。在一些实施方式中，信息不通过诸如3G或4G网络连接的移动网络连接传送，而是保持直到Wi-Fi网络连接可用。
调用栈信息可以在阶段350使用任何合适网络协议，例如传输控制协议(TCP)、流控制传输协议(SCTP)或用户数据报协议(UDP)来传送。在一些实施方式中，调用栈信息使用文件传输协议(FTP)来传送。在一些实施方式中，调用栈信息使用在TCP、SCTP或UDP中的一个上分层的定制协议来传送。
参看图4的概览，图示说明的是描绘用于收集和比较用于多个远程设备的调用栈信息的方法400的实施方式的流程图。栈聚集服务器140从应用的多个“第一”实例124收集多个成功跟踪，每个实例在多个远程设备中的相应远程设备120上执行(阶段410)。在阶段410收集至少一些成功跟踪之后，栈聚集服务器140从在远程设备120上执行的应用的“第二”实例124接收调用栈信息(阶段430)。栈聚集服务器140确定从应用的第二实例124接收到的调用栈信息与从第一应用实例中接收到的多个成功跟踪中的调用栈信息之间的相似性(阶段450)。栈聚集服务器140随后响应于阶段450处从应用的第二实例124接收到的调用栈信息与阶段410中收集的成功跟踪相似的肯定确定，将远程用户设备120添加到被预测为可能执行特定目标的设备群中(阶段470)。
更详细参看图4，方法400开始于栈聚集服务器140从应用的多个实例124收集多个成功跟踪，每个实例在多个远程设备中的相应远程设备120处执行(阶段410)。在阶段410的收集包括由栈聚集服务器140在阶段422从在第一远程设备120上执行的应用的第一实例124(例如参看图1，在用户设备120(a)上执行的应用示例124(a))接收调用栈信息以及在阶段424接收应用的第一实例124(a)已经执行了目标的指示符。栈聚集服务器140响应于该指示符，随后在阶段426聚集接收到的导致执行目标的调用栈信息并且将聚集的信息看作成功跟踪。在阶段410的成功跟踪的收集在进行中，并且可以与栈信息的接收同时、或者在其之后继续，以便与成功跟踪相比较。
在阶段422，栈聚集服务器140从在第一远程设备120(a)上执行的应用的第一实例124(a)接收调用栈信息。远程用户设备120提交信息以由服务器140接收，例如，如参考图3中所述。在一些实施方式中，当栈聚集服务器140接收到调用栈信息时，服务器140存储接收到的信息，例如在存储134中。在一些实施方式中，栈聚集服务器140识别接收到的调用栈信息的源，例如与第一应用实例124(a)和/或第一远程设备120(a)相关联的标识符。在一些实施方式中，栈聚集服务器140聚集所接收到的信息和之前从相同应用实例124(a)和/或相同远程设备120(a)接收的信息。在一些实施方式中，栈聚集服务器140过滤接收到的信息，例如过滤掉没有信息量的函数调用。在一些实施方式中，当足以知道高级函数被调用，高级函数所调用的低级函数就会被过滤器移除。在一些实施方式中，过滤器动态识别在从所有应用实例接收的所有调用栈信息上一致的函数调用，并且移除所识别的函数调用信息。在一些实施方式中，对于在执行模式之间进行区分没有用的任何调用栈信息可以被过滤并且移除。在一些实施方式中，当栈聚集服务器140在阶段430从应用实例接收调用栈信息时，服务器140也将接收到的信息看作在阶段422的信息接收。
在阶段424，栈聚集服务器140接收应用的第一实例124(a)已经执行了目标的指示符。在一些实施方式中，指示符是来自应用实例124的明确指示符。在一些实施方式中，指示符是通过分析在阶段422接收到的调用栈信息而识别的。在一些实施方式中，目标是特定函数调用的执行(或函数调用的组)；在一些这样的实施方式中，特定目标已被执行的指示符是特定函数调用(或函数调用的组)已被执行，其通过在接收到的调用栈信息中的函数的存在而被识别。在一些实施方式中，指示符是从后端服务器130接收的。在一些实施方式中，目标通过用户设备120和后端服务器130之间的交互而达成，其中服务器130(向栈聚集服务器140)报告成功完成目标的指示符。在一些实施方式中，指示符是接收到的调用栈信息是用于与成功完成该目标相一致的执行模式的。在一些这样的实施方式中，栈聚集服务器140使用聚类算法来确定接收到的调用栈信息是否类似于已经完成目标的应用实例的调用栈信息，如果是的话，指示该应用实例也已经完成了目标。在一些这样的实施方式中，聚类算法生成置信度分数且栈聚集服务器140使用高于预先确定的阈值的置信度分数作为应用实例已经执行了目标的指示。在阶段424，栈聚集服务器140确定应用的第一实例124(a)已经执行了目标，使得在阶段422接收的调用栈信息是与可能包括目标的执行的执行模式相一致的调用栈信息。
在阶段426，栈聚集服务器140响应于指示符，聚集所接收到的导致执行目标的调用栈信息，并且将聚集的信息看作成功跟踪。在一些实施方式中，聚集的调用栈信息和/或指示符被存储例如在存储134中。在阶段410收集的多个成功跟踪包括来自阶段426的用于多个应用实例124中每个应用实例的所聚集的调用栈信息。
在阶段430，在阶段410收集至少一些成功跟踪之后，栈聚集服务器140从在远程设备120上执行的应用的实例124(例如在用户设备120(b)上执行的应用实例124(b)，如图1中所示)接收调用栈信息。与在阶段410处在多个实例中使用的应用的各个“第一实例”相比较，阶段430、450和470中的应用实例被描述为应用的“第二实例”。在一些实施方式中，应用的“第二实例”可能已经作为“第一实例”参与，而在其他实施方式中，“第二实例”可能被特定地从已经作为“第一实例”参与的实例中排除。栈聚集服务器140经由网络110从远程用户设备120接收调用栈信息。远程用户设备120提交信息以便由服务器140接收，例如如参考图3所述。在一些实施方式中，栈聚集服务器140过滤接收到的信息，例如过滤掉没有信息量的函数调用。在一些实施方式中，过滤器移除在从应用的所有实例接收的所有调用栈信息中一致的函数调用。在一些实施方式中，对于在执行模式之间进行区分没有用处的任何调用栈信息可以被过滤并移除。
在阶段450，栈聚集服务器140确定在阶段430从应用的第二实例124(b)接收的调用栈信息与在阶段410收集的多个成功跟踪中的调用栈信息之间的相似性。在一些实施方式中，相似性是通过向接收到的调用栈信息施加聚类算法来识别的。诸如层级聚类算法的聚类算法识别具有高相似程度的接收到的调用栈信息的聚类。一个或多个这样的聚类与成功跟踪相关联，且如果在阶段430从应用的第二实例124(b)接收的调用栈信息是与成功跟踪相关联的一个聚类分组的，则在阶段430接收的调用栈信息是用于可能是成功跟踪一部分的应用实例的。在一些实施方式中，相似的程度是在阶段450通过相似性分数来测量的，相似性分数必须高于阈值值以便在阶段430接收的调用栈信息被充分认为类似于调用栈信息的特定聚类。在一些实施方式中，栈聚集服务器140确定调用栈信息将该用户设备从可能执行目标的用户设备的分段中排除。也就是，在一些情形中，在接收到的调用栈信息和在阶段410中收集的多个成功跟踪中的调用栈信息之间不存在相似性。在一些实施方式中，该不相似性被记录作为替选的分段。
在阶段470，响应于在阶段450从应用的第二实例124接收到的调用栈信息与在阶段410收集的成功跟踪相似的肯定确定，栈聚集服务器140将远程用户设备120添加到预测为可能执行特定目标的设备群中(阶段470)。在一些实施方式中，例如在存储134中与用户设备的标识符相关联的记录被利用标签或标识符更新，所述标签或标识符指示用户设备托管处于可能执行特定目标的特定分段中的应用实例。
参考图5的概览，图示说明的是描绘用于对所接收到的调用栈信息的分段关联的识别作出响应的方法500的实施方式的流程图。栈聚集服务器140从在远程用户设备120上执行的应用的实例124接收调用栈信息，如参考图4所述。栈聚集服务器140在方法500的阶段530处基于从在远程设备上执行的应用接收的调用栈信息来识别远程设备120的分段关联。栈聚集服务器140在阶段540确定是否存在所识别的分段的特殊内容，并且如果是的话，在阶段550指定远程设备以便特殊内容的接收。栈聚集服务器140在阶段560存储接收到的调用栈信息和所识别的分段关联到知识库中，例如存储在数据存储134中。
更详细参看图5，栈聚集服务器140在方法500的阶段530基于从在远程设备上执行的应用接收到的调用栈信息识别远程设备120的分段关联。调用栈信息是由栈聚集服务器140以之前描述的方式从远程用户设备120接收的。也就是，用户设备120捕捉调用栈信息并经由网络110传送信息到栈聚集服务器140，其接收信息。栈聚集服务器140基于接收到的调用栈信息识别用户设备120的分段从属关系(affiliation)，如参考图4所述。在一些实施方式中，栈聚集服务器140使用聚类算法来比较接收到的调用栈信息与之前接收到的信息，并且识别之前接收到的信息中最类似于新接收到的信息的子组。所识别的子组对应于群分段。栈聚集服务器140在阶段530基于这些比较识别用户设备的分段关联。
在阶段540，栈聚集服务器140随后确定是否存在所识别的分段的特殊内容。在一些实施方式中，如果所识别的特定分段可能执行特定目标，则可能存在指定用于该分段的内容，其中，该内容意味着帮助执行特定目标。在一些实施方式中，该内容是由特定软件应用的作者或供应商指定。在一些实施方式中，该内容由第三方(或者应第三方请求而)指定。在一些实施方式中，是否存在特殊内容的确定与调用栈信息的接收相分离。也就是，栈聚集服务器140可以在第一时间段接收调用栈信息，且随后在稍后的第二时间段确定存在用于所识别的分段的特殊内容。
在阶段550，如果栈聚集服务器140在阶段540确定存在特殊内容以便传递到在阶段530处识别的分段，则服务器140在阶段550指定远程设备以便特殊内容的接收。在一些实施方式中，栈聚集服务器140使得内容服务器160传送内容到用户设备120。在一些实施方式中，栈聚集服务器140设置标志或记录由内容服务器160所使用的指示，以用于识别特定内容的指定的接收者。在一些这样的实施方式中，栈聚集服务器140用与正在托管应用实例124的用户设备120相关联的记录来更新知识库。更新向内容服务器160指出，用户设备120应该接收该特殊内容。内容服务器160响应于该记录，随后经由网络110传送内容到用户设备。
在阶段560，栈聚集服务器140将接收到的调用栈信息和所识别的分段关联存储到知识库中，例如在数据存储134处。在一些实施方式中，该数据被以与参考图4描述的相同方式存储。
图6是适合于在实现这里所述的计算机化组件时使用的计算系统910的框图。概览来看，计算系统910包括至少一个处理器950以用于根据指令执行动作，还包括一个或多个存储设备970和/或975来存储指令和数据。图示说明的计算系统910包括经由总线915与存储器970和至少一个网络接口控制器920通信的一个或多个处理器950，至少一个网络接口控制器920具有用于连接到外部网络设备924，例如参与网络(诸如图1中所示的网络110、160和180)的网络接口922。一个或多个处理器950还经由总线915与一个或多个I/O接口930上的任何I/O设备以及任何其他设备980通信。所图示说明的处理器950合并，或直接连接到，高速缓存存储器975。通常，处理器将执行从存储器接收到的指令。
更详细地，处理器950可以是处理指令的任何逻辑电路，指令例如是从存储器970或高速缓存975中取出的指令。在许多实施例中，处理器950是微处理器单元或专用处理器。计算设备910可以基于能够按这里所述操作的任何处理器或者处理器的组。处理器950可以是单核或多核处理器。处理器950可以是多个处理器。
存储器970可以是适用于存储计算机可读数据的任何设备。存储器970可以是具有固定存储的设备或者用于读取可移动存储媒体的设备。存储器970可以包括任何形式的非易失存储器、媒体和存储器设备、半导体存储器设备(例如EPROM、EEPROM、SDRAM和闪存存储器设备)、磁盘、磁光盘、和/或光盘(例如CD ROM、DVD-ROM以及盘)。计算系统910可以具有任意数量的存储器设备970。
高速缓存存储器975通常是计算机存储器的形式，所述计算机存储器布置在靠近处理器950，例如用于快速读取时间。在一些实施方式中，高速缓存存储器975是处理器950的一部分，或者与处理器950在相同芯片上。在一些实施方式中，存在多个等级的高速缓存975，例如L2和L3高速缓存层。
网络接口控制器920经由网络接口922管理数据交换。网络接口控制器920控制网络通信的OSI模型的物理和数据链路层。在一些实施方式中，一些网络接口控制器的任务是由处理器950控制的。在一些实施方式中，网络接口控制器920是处理器950的一部分。在一些实施方式中，计算系统910具有多个网络接口控制器920。在一些实施方式中，网络接口922是物理网络链路的连接点，例如RJ 45连接器。在一些实施方式中，网络接口控制器920支持无线网络连接且接口端口922是无线接收机/发射机。通常，计算设备910经由到网络接口922的物理或无线链路来与其他计算设备924交换数据。在一些实施方式中，网络接口控制器920实现诸如以太网的网络协议。
其他计算设备924经由网络接口922(有时被称为“端口”或“物理端口”，以便区分协议级端口)连接到计算设备910。其他计算设备924可以是对等计算设备、网络设备、或者具有网络功能的任何其他计算设备。在一些实施方式中，其他计算设备924是诸如集线器、桥接器、交换机、或路由器的网络设备，使得其他计算设备924将计算设备910连接到诸如互联网的数据网络。
在一些使用中，I/O接口930支持输入设备和/或输出设备(未示出)。在一些使用中，输入设备和输出设备被集成到相同硬件中，例如在触摸屏中。在一些使用中，诸如在服务器场境下，没有I/O接口930或不使用I/O接口930。在一些使用中，附加的其他组件980与计算机系统910通信，例如经由通用串行总线(USB)连接的外部设备。
其他设备980可以包括I/O接口930、外部串行设备端口以及任何附加协处理器。在一些实施方式中，计算系统910包括接口(例如通用串行总线(USB)接口)，用于连接输入设备(例如键盘、麦克风、鼠标或其他指示设备)、输出设备(例如视频显示器、扬声器、可刷新盲文终端或打印机)、或附加存储器设备(例如便携闪存驱动器或外部媒体驱动器)。在一些实施方式中，I/O设备被合并到计算系统910中，例如平板设备上的触摸屏。在一些实施方式中，计算设备910包括附加设备980，诸如协同处理器，例如算术协同处理器，其可以利用高精确性或复杂计算来协助处理器950。
本主题的实施方式以及在本说明书中所述的操作可以用数字电子电路来实现，或者用在有形介质、固件、或硬件上体现的计算机软件来实现，包括本说明书中公开的结构及其结构等价物，或者它们一个或多个的组合。本说明书中所述的主题的实施方式可以实现为体现在有形介质上的一个或多个计算机程序，即计算机程序指令的一个或多个模块，在一个或多个计算机存储介质上编码，以便由数据处理装置执行或者控制数据处理装置的操作。计算机存储介质可以是计算机可读存储设备、计算机可读存储衬底、随机或串行存取存储阵列或设备、或者它们中一个或多个的组合，或者包括在其中。计算机存储介质还可以是一个或多个独立部件或介质(例如多个CD、盘、或者其他存储设备)，或者包括在其中。计算机存储介质可以是有形且非暂时的。
本说明书中所述的操作可以被实现为由数据处理装置对存储在一个或多个计算机可读存储设备上或从其他源接收的数据执行的操作。过程和逻辑流程还可以由专用逻辑电路来执行，且装置也可以被实现为专用逻辑电路，专用逻辑电路例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。
尽管本说明书包含许多特定实现细节，这些不应该被解释为对任何发明的范围或可以要求的范围的限制，而是作为对特定发明的特定实施方式的具体特征的描述。在分立的实施方式的场境中的本说明书中所述的某些特征还可以在单个实施方式中组合实现。反之，在单个实施方式的语境中所述的各种特征也可以在分别的多个实施方式中或者以任何合适的子组合的方式来实现。而且，尽管特征可以如上被描述为以某些组合来动作且甚至最初就是这样被要求保护的，但来自所要求保护的组合的一个或多个特征在一些情况下可以从组合中剥离，且所要求保护的组合可以被导向子组合或子组合的变型。
对“或”的引用可以被解释为包括，使得使用“或”描述的任何术语可以指示单个、多于一个、或所有所描述的术语中的任何术语。标签“第一”、“第二”、“第三”等等不必意味着指示次序且通常仅仅用来在相似或类似的项目或元素之间进行区分。
因此，已经描述了本主题的特定实施方式。其他实施方式也在所附权利要求的范围内。在一些情况下，权利要求中所述的动作可以以不同次序来执行且仍旧获得所需的结果。此外，附图中所描绘的过程不必要求所示的特定次序或顺序的次序来获取所需结果。在某些实施方式中，可以利用多任务或并行处理。

Claims (20)

1.一种系统，包括：
知识库，所述知识库存储从在多个远程设备上执行的应用的多个实例中收集到的多个成功跟踪；
网络接口；以及
计算机处理器，所述计算机处理器被配置为：
经由所述网络接口从在第一远程设备上执行的所述应用的第一实例接收调用栈信息的一个或多个单元，所述调用栈信息包括对所述应用的所述第一实例的执行状态的周期性捕捉；
从所述应用的所述第一实例接收所述应用的所述第一实例已经执行目标的指示符；
响应于接收到所述指示符，聚集导致所执行目标的调用栈信息的所接收单元作为成功跟踪并且在所述知识库中存储所述成功跟踪；
从在第二远程设备上执行的所述应用的第二实例接收调用栈信息的一个或多个单元，所述调用栈信息包括对所述应用的所述第二实例的执行状态的周期性捕捉；
确定从所述应用的所述第二实例接收到的所述调用栈信息与所述多个成功跟踪之间的相似性；以及
响应于确定所述相似性，将所述第二远程设备添加到可能执行所述目标的设备群中。
2.如权利要求1所述的系统，进一步包括过滤器，所述过滤器被配置为使用规则集合来从调用栈信息的每个所接收单元中排除对于所述应用的所有实例公共的信息。
3.如权利要求2所述的系统，其中，所述计算机处理器被配置为基于所收集到的多个成功跟踪而更新所述规则集合。
4.如权利要求2所述的系统，其中，所述计算机处理器被配置为基于所述目标还没有被执行的调用栈跟踪而更新所述规则集合。
5.如权利要求1所述的系统，其中，所述调用栈信息是从链接到所述应用的库中接收的。
6.如权利要求1所述的系统，其中，调用栈信息的单元包括被成批在一起的多个调用栈捕捉。
7.如权利要求1所述的系统，其中，所述调用栈捕捉的周期在每秒一个和每分钟一个之间。
8.如权利要求1所述的系统，其中，确定从所述应用的所述第二实例接收到的所述调用栈信息与所述多个成功跟踪之间的相似性包括：使用聚类算法来确定从所述应用的所述第二实例接收到的所述调用栈信息属于成功跟踪的聚类。
9.如权利要求1所述的系统，其中，所述目标是购买事件。
10.一种方法，包括：
从在第一远程设备上执行的应用的第一实例接收调用栈信息的一个或多个单元，所述调用栈信息包括对所述应用的所述第一实例的执行状态的周期性捕捉；
从所述应用的所述第一实例接收所述应用的所述第一实例已经执行目标的指示符；
聚集导致所执行目标的调用栈信息的所接收单元作为成功跟踪；
从在多个远程设备上执行的所述应用的多个实例中收集多个成功跟踪；
从在第二远程设备上执行的所述应用的第二实例接收调用栈信息的一个或多个单元，所述调用栈信息包括对所述应用的所述第二实例的执行状态的周期性捕捉；
确定从所述应用的所述第二实例接收到的所述调用栈信息与多个成功跟踪之间的相似性；
将所述第二远程设备添加到可能执行所述目标的设备群中。
11.如权利要求10所述的方法，包括：使用规则集合来过滤所述调用栈信息，以排除对于所述应用的所有实例公共的调用栈信息。
12.如权利要求11所述的方法，包括：基于所收集到的多个成功跟踪而更新所述规则集合。
13.如权利要求11所述的方法，包括：基于所述目标还没有被执行的调用栈跟踪而更新所述规则集合。
14.如权利要求10所述的方法，包括：从链接到所述应用的库中接收所述调用栈信息。
15.如权利要求10所述的方法，其中，调用栈信息的单元包括被成批在一起的多个调用栈捕捉。
16.如权利要求10所述的方法，其中，所述调用栈捕捉的周期在每秒一个和每分钟一个之间。
17.权利要求10所述的方法，其中，确定从所述应用的所述第二实例接收到的所述调用栈信息与所述多个成功跟踪之间的相似性包括：使用聚类算法来确定从所述应用的所述第二实例接收到的所述调用栈信息属于成功跟踪的聚类。
18.如权利要求10所述的方法，其中，所述目标是购买事件。
19.一种存储指令的非暂时性计算机可读介质，所述指令当被一个或多个计算处理器执行时，使得所述一个或多个计算处理器：
从在第一远程设备上执行的应用的第一实例接收调用栈信息的一个或多个单元，所述调用栈信息包括对所述应用的所述第一实例的执行状态的周期性捕捉；
从所述应用的所述第一实例接收所述应用的所述第一实例已经执行目标的指示符；
响应于接收到所述指示符，聚集导致所执行目标的调用栈信息的所接收单元作为成功跟踪，并且在知识库中存储所述成功跟踪，所述知识库存储从在多个远程设备上执行的应用的多个实例中收集到的多个成功跟踪；
从在第二远程设备上执行的所述应用的第二实例接收调用栈信息的一个或多个单元，所述调用栈信息包括对所述应用的所述第二实例的执行状态的周期性捕捉；
确定从所述应用的所述第二实例接收到的所述调用栈信息与所述多个成功跟踪之间的相似性；以及
响应于确定所述相似性，将所述第二远程设备添加到可能执行所述目标的设备群中。
20.如权利要求19所述的非暂时性计算机可读介质，所述非暂时性计算机可读介质存储指令，所述指令当被一个或多个计算处理器执行时，使得所述一个或多个计算处理器使用规则集合来过滤所述调用栈信息，以排除对于所述应用的所有实例公共的调用栈信息。
CN201480082848.1A 2014-10-24 2014-10-24 用于基于软件执行跟踪自动加标签的方法和系统 Active CN107077341B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010620871.9A CN111913875B (zh) 2014-10-24 2014-10-24 用于基于软件执行跟踪自动加标签的方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2014/089468 WO2016061820A1 (en) 2014-10-24 2014-10-24 Methods and systems for automated tagging based on software execution traces

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202010620871.9A Division CN111913875B (zh) 2014-10-24 2014-10-24 用于基于软件执行跟踪自动加标签的方法和系统

Publications (2)

Publication Number Publication Date
CN107077341A true CN107077341A (zh) 2017-08-18
CN107077341B CN107077341B (zh) 2020-07-14

Family

ID=55760101

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201480082848.1A Active CN107077341B (zh) 2014-10-24 2014-10-24 用于基于软件执行跟踪自动加标签的方法和系统
CN202010620871.9A Active CN111913875B (zh) 2014-10-24 2014-10-24 用于基于软件执行跟踪自动加标签的方法和系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202010620871.9A Active CN111913875B (zh) 2014-10-24 2014-10-24 用于基于软件执行跟踪自动加标签的方法和系统

Country Status (5)

Country Link
US (4) US9940579B2 (zh)
CN (2) CN107077341B (zh)
DE (1) DE112014007090T5 (zh)
GB (1) GB2546205B (zh)
WO (1) WO2016061820A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9330119B2 (en) 2013-04-11 2016-05-03 Oracle International Corporation Knowledge intensive data management system for business process and case management
KR102408649B1 (ko) * 2016-02-19 2022-06-15 삼성전자주식회사 환경 설정 방법 및 장치
US11074609B1 (en) * 2016-03-03 2021-07-27 Google Llc Systems and method for improving mediated sponsored content networks using a stack trace
US10417111B2 (en) 2016-05-09 2019-09-17 Oracle International Corporation Correlation of stack segment intensity in emergent relationships
US10268601B2 (en) * 2016-06-17 2019-04-23 Massachusetts Institute Of Technology Timely randomized memory protection
US10310991B2 (en) 2016-08-11 2019-06-04 Massachusetts Institute Of Technology Timely address space randomization
US11314623B2 (en) * 2019-01-23 2022-04-26 Red Hat, Inc. Software tracing in a multitenant environment
US11074155B2 (en) * 2019-04-04 2021-07-27 International Business Machines Corporation Generating representative microbenchmarks
US11080114B2 (en) 2019-11-26 2021-08-03 International Business Machines Corporation Controlling interaction with a scalable application
CN111611161B (zh) * 2020-05-20 2023-08-08 中电科航空电子有限公司 一种应用于航空电子软件的轻量级调试工具的实现方法
US20220116782A1 (en) * 2020-10-08 2022-04-14 Qatar Foundation For Education, Science And Community Development Compromised mobile device detection system and method
US11356524B1 (en) 2020-12-18 2022-06-07 International Business Machines Corporation Coordinating requests actioned at a scalable application
US11422880B1 (en) * 2021-04-30 2022-08-23 Intuit Inc. Methods and systems for determining crash similarity based on stack traces and user action sequence information
CN117749854A (zh) * 2022-09-13 2024-03-22 腾讯科技（深圳）有限公司 一种建立网络连接的方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7509632B2 (en) * 2005-03-24 2009-03-24 International Business Machines Corporation Method and apparatus for analyzing call history data derived from execution of a computer program
CN101582048A (zh) * 2008-05-16 2009-11-18 国际商业机器公司 一种用于缺陷管理的方法和系统
US20090328005A1 (en) * 2008-06-27 2009-12-31 Microsoft Corporation Debugger call stack caching
US20110154487A1 (en) * 2007-03-28 2011-06-23 Takehiro Nakayama Software behavior modeling device, software behavior modeling method, software behavior verification device, and software behavior verification method
CN102262527A (zh) * 2010-05-31 2011-11-30 国际商业机器公司 生成网络服务的方法和系统
US8719791B1 (en) * 2012-05-31 2014-05-06 Google Inc. Display of aggregated stack traces in a source code viewer

Family Cites Families (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5848396A (en) 1996-04-26 1998-12-08 Freedom Of Information, Inc. Method and apparatus for determining behavioral profile of a computer user
US5928369A (en) 1996-06-28 1999-07-27 Synopsys, Inc. Automatic support system and method based on user submitted stack trace
US6282701B1 (en) 1997-07-31 2001-08-28 Mutek Solutions, Ltd. System and method for monitoring and analyzing the execution of computer programs
US6112240A (en) 1997-09-03 2000-08-29 International Business Machines Corporation Web site client information tracker
US6651243B1 (en) 1997-12-12 2003-11-18 International Business Machines Corporation Method and system for periodic trace sampling for real-time generation of segments of call stack trees
US6751789B1 (en) 1997-12-12 2004-06-15 International Business Machines Corporation Method and system for periodic trace sampling for real-time generation of segments of call stack trees augmented with call stack position determination
US6002872A (en) 1998-03-31 1999-12-14 International Machines Corporation Method and apparatus for structured profiling of data processing systems and applications
US6857120B1 (en) 2000-11-01 2005-02-15 International Business Machines Corporation Method for characterizing program execution by periodic call stack inspection
US6944660B2 (en) 2001-05-04 2005-09-13 Hewlett-Packard Development Company, L.P. System and method for monitoring browser event activities
US7792844B2 (en) 2002-06-28 2010-09-07 Adobe Systems Incorporated Capturing and presenting site visitation path data
US7458078B2 (en) * 2003-11-06 2008-11-25 International Business Machines Corporation Apparatus and method for autonomic hardware assisted thread stack tracking
US7987453B2 (en) * 2004-03-18 2011-07-26 International Business Machines Corporation Method and apparatus for determining computer program flows autonomically using hardware assisted thread stack tracking and cataloged symbolic data
US7421684B2 (en) * 2004-03-22 2008-09-02 International Business Machines Corporation Method and apparatus for autonomic test case feedback using hardware assistance for data coverage
US7299319B2 (en) * 2004-03-22 2007-11-20 International Business Machines Corporation Method and apparatus for providing hardware assistance for code coverage
US7792954B2 (en) 2004-04-02 2010-09-07 Webtrends, Inc. Systems and methods for tracking web activity
US7730460B1 (en) * 2004-06-18 2010-06-01 Apple Inc. Code execution visualization using software fingerprinting
CN1606307A (zh) * 2004-11-15 2005-04-13 南京大学 基于安全操作系统的网络强制访问控制的方法
US20060130001A1 (en) * 2004-11-30 2006-06-15 International Business Machines Corporation Apparatus and method for call stack profiling for a software application
US7792919B2 (en) * 2005-04-15 2010-09-07 Microsoft Corporation Methods and apparatus for performing diagnostics of web applications and services
US7356590B2 (en) 2005-07-12 2008-04-08 Visible Measures Corp. Distributed capture and aggregation of dynamic application usage information
US7734768B2 (en) 2005-07-26 2010-06-08 International Business Machines Corporation System and method for adaptively collecting performance and event information
US20070038896A1 (en) * 2005-08-12 2007-02-15 International Business Machines Corporation Call-stack pattern matching for problem resolution within software
JP5090661B2 (ja) 2006-04-12 2012-12-05 株式会社エヌ・ティ・ティ・ドコモ ソフトウェア動作モデル化装置、ソフトウェア動作監視装置、ソフトウェア動作モデル化方法及びソフトウェア動作監視方法
US20080005281A1 (en) * 2006-06-29 2008-01-03 Microsoft Corporation Error capture and reporting in a distributed computing environment
US20080052678A1 (en) * 2006-08-07 2008-02-28 Bryan Christopher Chagoly Method for Providing Annotated Transaction Monitoring Data for Initially Hidden Software components
GB0623355D0 (en) * 2006-11-23 2007-01-03 Ibm Software tracing
GB0623354D0 (en) * 2006-11-23 2007-01-03 Ibm Software tracing
US7533130B2 (en) 2006-12-19 2009-05-12 Yahoo! Inc. User behavior reporting based on pre-aggregated activity data
US8214806B2 (en) * 2007-05-09 2012-07-03 International Business Machines Corporation Iterative, non-uniform profiling method for automatically refining performance bottleneck regions in scientific code
US8185880B2 (en) * 2007-10-04 2012-05-22 International Business Machines Corporation Optimizing heap memory usage
US10664889B2 (en) 2008-04-01 2020-05-26 Certona Corporation System and method for combining and optimizing business strategies
CN101615143B (zh) * 2008-06-27 2013-04-17 国际商业机器公司 用于内存泄漏诊断的方法和装置
CN101661425B (zh) 2008-08-26 2012-03-21 国际商业机器公司 测试覆盖分析方法和装置
US7877642B2 (en) * 2008-10-22 2011-01-25 International Business Machines Corporation Automatic software fault diagnosis by exploiting application signatures
US8578019B2 (en) 2008-11-02 2013-11-05 Observepoint, Llc Monitoring the health of web page analytics code
US8713157B2 (en) 2008-11-14 2014-04-29 Interpret, Llc System for collecting computer application usage data of targeted application programs executed on a plurality of client devices
US8359450B2 (en) * 2009-02-13 2013-01-22 Opnet Technologies, Inc. Memory utilization analysis
US8930818B2 (en) 2009-03-31 2015-01-06 International Business Machines Corporation Visualization of website analytics
CN101561775B (zh) * 2009-05-12 2010-09-15 华为技术有限公司 内存监控方法和装置
US20100333071A1 (en) * 2009-06-30 2010-12-30 International Business Machines Corporation Time Based Context Sampling of Trace Data with Support for Multiple Virtual Machines
US9020939B2 (en) * 2009-06-30 2015-04-28 International Business Machines Corporation Correlating queries issued by applications with their source lines and analyzing applications for problem determination and where used analysis
CN101937439B (zh) 2009-06-30 2013-02-20 国际商业机器公司 用于收集用户访问相关信息的方法和系统
US8453027B2 (en) * 2009-09-17 2013-05-28 Microsoft Corporation Similarity detection for error reports
EP2486482B1 (en) * 2009-10-08 2018-02-28 Irdeto B.V. A system and method for aggressive self-modification in dynamic function call systems
US9600347B2 (en) * 2009-11-26 2017-03-21 International Business Machines Corporation Verifying synchronization coverage in logic code
US8584098B2 (en) * 2009-12-04 2013-11-12 Sap Ag Component statistics for application profiling
US9081888B2 (en) 2010-03-31 2015-07-14 Cloudera, Inc. Collecting and aggregating log data with fault tolerance
US8959442B2 (en) * 2010-06-11 2015-02-17 Microsoft Corporation Memory allocation visualization for unmanaged languages
US8799872B2 (en) * 2010-06-27 2014-08-05 International Business Machines Corporation Sampling with sample pacing
US20120078708A1 (en) 2010-09-23 2012-03-29 Kate Taylor System and Method for Recording and Analyzing Internet Browser Traffic Independent of Individual or Specific Digital Platforms or Websites
US8949675B2 (en) * 2010-11-30 2015-02-03 Microsoft Corporation Error report processing using call stack similarity
US9274919B2 (en) * 2011-04-29 2016-03-01 Dynatrace Software Gmbh Transaction tracing mechanism of distributed heterogenous transactions having instrumented byte code with constant memory consumption and independent of instrumented method call depth
US8898290B2 (en) 2011-05-11 2014-11-25 Google Inc. Personally identifiable information independent utilization of analytics data
US9146909B2 (en) 2011-07-27 2015-09-29 Qualcomm Incorporated Web browsing enhanced by cloud computing
US8881107B2 (en) 2011-08-24 2014-11-04 Microsoft Corporation Automatic memory leak detection
WO2013042268A1 (ja) * 2011-09-22 2013-03-28 富士通株式会社 サーバ装置、ログ転送プログラム、ログ転送方法およびログ転送システム
US20130227352A1 (en) * 2012-02-24 2013-08-29 Commvault Systems, Inc. Log monitoring
US20130249917A1 (en) * 2012-03-26 2013-09-26 Microsoft Corporation Profile data visualization
US9183108B2 (en) * 2012-03-27 2015-11-10 Microsoft Technology Licensing, Llc Logical grouping of profile data
US10063645B2 (en) 2012-05-10 2018-08-28 Clicktale Ltd. Method and system for monitoring and tracking browsing activity on handled devices
US9317460B2 (en) * 2012-06-15 2016-04-19 International Business Machines Corporation Program event recording within a transactional environment
US20140040786A1 (en) 2012-08-01 2014-02-06 KeyMetric, Inc. Automatic tracking of user engagement with computing interfaces
US9658941B2 (en) * 2013-01-28 2017-05-23 Rackspace Us, Inc. Methods and systems of function-specific tracing
US9135145B2 (en) * 2013-01-28 2015-09-15 Rackspace Us, Inc. Methods and systems of distributed tracing
US9223681B2 (en) * 2013-02-15 2015-12-29 International Business Machines Corporation Automated debug trace specification
US9021448B1 (en) * 2013-02-28 2015-04-28 Ca, Inc. Automated pattern detection in software for optimal instrumentation
US9465717B2 (en) * 2013-03-14 2016-10-11 Riverbed Technology, Inc. Native code profiler framework
US10817312B2 (en) * 2013-03-14 2020-10-27 Microsoft Technology Licensing, Llc Programming model for performant computing in document-oriented storage services
US9256515B2 (en) * 2013-08-21 2016-02-09 Vmware, Inc. Stack trace compression
US9438491B1 (en) * 2014-03-11 2016-09-06 Apteligent, Inc. Service monitor for monitoring a network connection to track the performance of an application running on different mobile devices
US9183116B1 (en) * 2014-04-23 2015-11-10 Microsoft Technology Licensing, Llc Call chain interval resource impact aggregation differencing
US9588872B2 (en) * 2015-02-20 2017-03-07 Vmware, Inc. Discovery of code paths
US10949316B2 (en) 2018-06-03 2021-03-16 Apple Inc. Detection and analysis of energy consumption of software applications

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7509632B2 (en) * 2005-03-24 2009-03-24 International Business Machines Corporation Method and apparatus for analyzing call history data derived from execution of a computer program
US20110154487A1 (en) * 2007-03-28 2011-06-23 Takehiro Nakayama Software behavior modeling device, software behavior modeling method, software behavior verification device, and software behavior verification method
CN101582048A (zh) * 2008-05-16 2009-11-18 国际商业机器公司 一种用于缺陷管理的方法和系统
US20090328005A1 (en) * 2008-06-27 2009-12-31 Microsoft Corporation Debugger call stack caching
CN102262527A (zh) * 2010-05-31 2011-11-30 国际商业机器公司 生成网络服务的方法和系统
US8719791B1 (en) * 2012-05-31 2014-05-06 Google Inc. Display of aggregated stack traces in a source code viewer

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YINGNONG DANG ET AL: ""ReBucket: A Method for Clustering Duplicate Crash Reports Based on Call Stack"", 《PROCEEDINGS - INTERNATIONAL CONFERENCE ON SOFTWARE ENGINEERING》 *

Also Published As

Publication number Publication date
DE112014007090T5 (de) 2017-07-13
WO2016061820A1 (en) 2016-04-28
US9940579B2 (en) 2018-04-10
US20210081812A1 (en) 2021-03-18
US10977561B2 (en) 2021-04-13
GB2546205A (en) 2017-07-12
GB201705847D0 (en) 2017-05-24
US20180225575A1 (en) 2018-08-09
CN111913875A (zh) 2020-11-10
CN111913875B (zh) 2024-04-26
US20160140031A1 (en) 2016-05-19
US20210056439A1 (en) 2021-02-25
GB2546205B (en) 2021-07-21
CN107077341B (zh) 2020-07-14
US11379734B2 (en) 2022-07-05

Similar Documents

Publication Publication Date Title
CN107077341A (zh) 用于基于软件执行跟踪自动加标签的方法和系统
EP3563554B1 (en) System and method for detecting unknown iot device types by monitoring their behavior
CN110678239A (zh) 利用游戏元数据和量度的分布式基于样本的游戏剖析以及支持第三方内容的游戏api平台
CN106685990B (zh) 一种基于工业互联网操作系统的安全性检测方法及装置
CN107667505A (zh) 用于监控和管理数据中心的系统
US11570214B2 (en) Crowdsourced innovation laboratory and process implementation system
KR20110131094A (ko) 정보 네트워크 내의 커뮤니티를 식별하는 방법 및 시스템
CN105187392A (zh) 基于网络接入点的移动终端恶意软件检测方法及其系统
CN111708927B (zh) 信息推荐方法、装置及电子设备
CN108920948A (zh) 一种反欺诈流式计算装置及方法
CN110597395B (zh) 对象交互控制方法和装置、存储介质及电子装置
CN110413528A (zh) 测试环境智能配置方法及系统
CN107040405B (zh) 网络环境下被动式多维度主机指纹模型构建方法及其装置
CN115514720B (zh) 一种面向可编程数据平面的用户活动分类方法及应用
CN107070851A (zh) 基于网络流的连接指纹生成和垫脚石追溯的系统和方法
CN111918073B (zh) 直播间的管理方法和装置
CN108171185A (zh) 身份识别的方法、装置及系统
CN111510746B (zh) 媒体资源投放方法、装置、存储介质及电子装置
CN116032590A (zh) 一种ddos攻击的检测模型训练方法及相关装置
CN109040195B (zh) Dapp服务数据的处理方法、装置及电子设备
WO2017218216A1 (en) System and method for user traits recognition and prediction based on mobile application usage behavior
CN112307120A (zh) 信息管理服务器、信息管理方法以及信息管理系统
CN107113557A (zh) 一种信息处理方法及装置
CN104216690B (zh) 网页活动的处理方法及装置
CN116775232B (zh) 图像处理方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: American California

Applicant after: Google limited liability company

Address before: American California

Applicant before: Google Inc.

GR01 Patent grant
GR01 Patent grant