CN110069391B - 前端数据标注处理方法、基于埋点的标注计时方法及装置 - Google Patents

前端数据标注处理方法、基于埋点的标注计时方法及装置 Download PDF

Info

Publication number
CN110069391B
CN110069391B CN201910282252.0A CN201910282252A CN110069391B CN 110069391 B CN110069391 B CN 110069391B CN 201910282252 A CN201910282252 A CN 201910282252A CN 110069391 B CN110069391 B CN 110069391B
Authority
CN
China
Prior art keywords
event
data
marked
time point
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910282252.0A
Other languages
English (en)
Other versions
CN110069391A (zh
Inventor
江军
姜俊杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN201910282252.0A priority Critical patent/CN110069391B/zh
Publication of CN110069391A publication Critical patent/CN110069391A/zh
Application granted granted Critical
Publication of CN110069391B publication Critical patent/CN110069391B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G06F11/3419Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment by assessing time
    • G06F11/3423Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment by assessing time where the assessed time is active or idle time

Abstract

本发明实施例的方面涉及一种前端数据标注处理方法和一种基于埋点的标注计时方法,前端数据标注处理方法包括:基于对待标注数据进行标注的事件,进行埋点;接收对待标注数据的标注,当发生事件之际,触发与事件对应的埋点;将被触发的埋点对应的事件发送至服务器。基于埋点的标注计时方法,包括:收集前端发送的对待标注数据进行标注中的事件,对待标注数据进行标注中的事件是前端通过前端数据标注处理方法所得到;记录事件的时间点;根据事件及事件的时间点,统计标注的实际时长。通过本发明实施例,可精确的统计标注数据的实际时长。

Description

前端数据标注处理方法、基于埋点的标注计时方法及装置
技术领域
本发明实施例涉及人工智能领域,尤其涉及一种前端数据标注处理方法、基于埋点的标注计时方法及装置。
背景技术
目前人工智能在图像领域,如安防,手机摄像等领域有广阔的应用,这些应用都离不开具体的算法模型,而算法模型需要大量的标注数据来支撑。标注的数据一般是人工来完成的,人工对数据进行标注来让机器学习。
目前标注平台一般都支持多种标注工具的标注,不同的工具标注的难度是不同的,一般的标注平台对标注难度的定义都是比较笼统的,粗略的估计,没有进行精确的计时。这样会导致项目经理对整个项目的预算把控出现偏差,对公司的成本控制也会造成影响,对项目的排期也会造成影响。因此标注的计时非常重要。
目前市面上尚没有一个对数据标注比较精确的计时办法,现有的数据标注计时中,标注中途可能会超过一定时间的标注中断,或者有些标注任务非常耗时,比如视频的标注,一个任务需要几个小时,会出现关闭显示器暂停标注等情况,这些都会影响数据标注计时的准确性。
发明内容
本发明实施例提供的一种前端数据标注处理方法、基于埋点的标注计时方法及装置,可以精确的统计标注数据的实际时长。
第一方面,本发明实施例提供一种前端数据标注处理方法,包括:埋点步骤,基于对待标注数据进行标注的事件,进行埋点;触发步骤,接收对待标注数据的标注,当发生事件之际,触发与事件对应的埋点;发送步骤,将被触发的埋点对应的事件发送至服务器。
在一例中,事件包括:打开任务事件,开始对待标注数据进行标注之际触发;关闭任务事件,关闭待标注数据之际触发;提交任务事件,完成对待标注数据的标注之际触发。
在另一例中,事件还包括:中断事件,当停止标注时间间隔超过预设时间间隔之际触发;继续事件,在触发中断事件之后,重新开始对待标注数据进行标注之际触发。
在又一例中,事件还包括:打开任务事件,开始对待标注数据进行标注之际触发;中断事件,当停止标注时间间隔超过预设时间间隔之际触发;继续事件,在触发中断事件之后,重新开始对待标注数据进行标注之际触发;提交任务事件,完成对待标注数据的标注之际触发。
在一例中,方法还包括:将待标注数据的待标注数据信息发送至服务器。
第二方面,本发明实施例还提供一种基于埋点的标注计时方法,包括:收集步骤,收集前端发送的对待标注数据进行标注中的事件,对待标注数据进行标注中的事件是前端通过本发明第一方面及其各例中的前端数据标注处理方法所得到;记录时间步骤,记录事件的时间点;处理步骤,根据事件及事件的时间点,统计标注的实际时长。
在一例中,其中,收集步骤收集的事件包括:打开任务事件,开始对待标注数据进行标注之际触发;关闭任务事件,关闭待标注数据之际触发;提交任务事件,完成对待标注数据的标注之际触发;记录时间步骤,记录打开任务事件的打开时间点、关闭任务事件的关闭时间点、提交任务事件的提交时间点;处理步骤,根据打开任务事件、关闭任务事件、提交任务事件及打开任务事件的打开时间点、关闭任务事件的关闭时间点、提交任务事件的提交时间点,统计标注的实际时长。
在另一例中,收集步骤收集的事件还包括:中断事件,当停止标注时间间隔超过预设时间间隔之际触发;继续事件,在触发中断事件之后,重新开始对待标注数据进行标注之际触发;记录时间步骤还包括,记录中断事件的时间点和继续事件的时间点;处理步骤还包括,根据中断事件和继续事件,中断事件的时间点和继续事件的时间点,统计标注的实际时长。
在又一例中,收集步骤收集的事件包括:打开任务事件,开始对待标注数据进行标注之际触发;中断事件,当停止标注时间间隔超过预设时间间隔之际触发;继续事件,在触发中断事件之后,重新开始对待标注数据进行标注之际触发;提交任务事件,完成对待标注数据的标注之际触发;记录时间步骤,记录打开任务事件的打开时间点、中断事件的时间点、继续事件的时间点和提交任务事件的提交时间点;处理步骤,根据打开任务事件、中断事件、继续事件及打开任务事件的打开时间点、中断事件的时间点、继续事件的时间点和提交任务事件的提交时间点,统计标注的实际时长。
在一例中,方法还包括:分析步骤,根据待标注数据信息和标注的实际时长,多维度分析标注后的数据。
第三方面,本发明实施例还提供一种前端数据标注处理装置,包括:埋点单元,用于基于对待标注数据进行标注的事件,进行埋点;触发单元,用于接收对待标注数据的标注,当发生事件之际,触发与事件对应的埋点;发送单元,用于将被触发的埋点对应的事件发送至服务器。
第四方面,本发明实施例还提供一种基于埋点的标注计时装置,包括:收集单元,用于收集前端发送的对待标注数据进行标注中的事件,对待标注数据进行标注中的事件是前端通过本发明第一方面及其各例中的前端数据标注处理方法所得到;记录时间单元,用于记录事件的时间点;处理单元,用于根据事件及事件的时间点,统计标注的实际时长。
第五方面,本发明还提供一种电子设备,其中,电子设备包括:存储器,用于存储指令;以及处理器,用于调用所述存储器存储的指令执行本发明第一方面及其各例中的前端数据标注处理方法或第二方面及其各例中的基于埋点的标注计时方法。
第六方面,本发明还提供一种计算机可读存储介质,其中存储有指令,所述指令被处理器执行本发明第一方面及其各例中的前端数据标注处理方法或第二方面及其各例中的基于埋点的标注计时方法。
本发明实施例提供的前端数据标注处理方法、基于埋点的标注计时方法及装置,在前端基于对待标注数据进行标注的事件进行埋点,对待标注数据进行标注,当发生事件之际,触发与事件对应的埋点,并在服务器实时记录事件发生的时间点,根据发生的事件及发生事件的时间点,可以精确地统计出标注数据的实际时长。
附图说明
通过参考附图阅读下文的详细描述,本发明实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中,以示例性而非限制性的方式示出了本发明的若干实施方式,其中:
图1是本发明实施例提供的一种前端数据标注处理方法实施流程图;
图2是本发明实施例提供的一种基于埋点的标注计时方法实施流程图;
图3是本发明实施例提供的一种前端数据标注处理装置示意图;
图4是本发明实施例提供的一种基于埋点的标注计时装置示意图;
图5是本发明实施例提供的一种电子设备示意图。
具体实施方式
下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解,给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明,而并非以任何方式限制本发明的范围。
需要注意,虽然本文中使用“第一”、“第二”等表述来描述本发明的实施方式的不同模块、步骤和数据等,但是“第一”、“第二”等表述仅是为了在不同的模块、步骤和数据等之间进行区分,而并不表示特定的顺序或者重要程度。实际上,“第一”、“第二”等表述完全可以互换使用。
图1所示为本发明实施例提供的一种前端数据标注处理方法实施流程图。该方法包括:
S101:埋点步骤,基于对待标注数据进行标注的事件,进行埋点。
本发明实施例中涉及的待标注数据例如可以包括图像、文字、语音或者视频等。
本发明实施例中涉及的事件可以理解为根据对待标注数据的标注行为,进行定义的事件,例如可以根据对待标注数据的打开任务行为,而定义的打开任务事件,根据对待标注数据标注过程中的关闭行为,而定义的关闭任务事件,根据对待标注数据标注过程的中断行为,而定义的中断事件,根据对待标注数据中断标注后,又继续标注的行为,而定义的继续事件,根据对待标注数据标注完成后进行提交任务行为,而定义的提交任务事件。
本发明实施例中,可以对定义好的事件,进行埋点。
S102:触发步骤,接收对待标注数据的标注,当发生事件之际,触发与事件对应的埋点。
本发明实施例中,接收对待标注数据的标注,当发生定义的事件之际,触发与事件对应的埋点。
在一实施例中,接收对待标注数据的标注,如果待标注数据一直连续被标注,中间没有间断,直到待标注数据被标注完成后提交标注任务,在此期间会触发与打开任务事件对应的埋点,和触发与提交任务事件对应的埋点,即开始对待标注数据进行标注之际触发与打开任务事件对应的埋点,完成对待标注数据的标注之际触发与提交任务事件对应的埋点。
在另一实施例中,如果待标注数据被连续标注一段时间后,前端浏览器被关闭,等浏览器再次被打开时,待标注数据被接着上一个阶段继续标注,直到待标注数据被标注完成,并提交标注任务。例如针对视频任务的标注中,由于标注视频需要的时间一般都在一小时以上,有的甚至要隔天才会标注完。此时待标注数据常常被用户标注一段时间后,对标注的任务进行保存,并关闭电脑或者浏览器,当浏览器再次被打开,并再次打开标注任务,并接着上一阶段继续标注,直到完成对待标注数据的标注。
在此期间会基于打开任务事件触发与打开任务事件对应的埋点,即开始对待标注数据进行标注之际触发与打开任务事件对应的埋点,基于关闭任务事件触发与关闭任务事件对应的埋点,即关闭待标注数据之际触发与关闭任务事件对应的埋点,再次触发打开任务事件对应的埋点和提交任务事件对应的埋点,即完成对待标注数据的标注之际触发与提交任务事件对应的埋点。
在又一实施例中,如果待标注数据开始被标注后,待标注数据还在预设时间间隔内被中断标注,之后待标注数据又被重新开始标注,在此期间会基于中断事件触发与中断事件对应的埋点,基于继续事件触发与继续事件对应的埋点,即当停止标注时间超过预设时间间隔之际触发中断事件,在触发中断事件之后,重新开始对待标注数据进行标注之际触发继续事件。其中,预设时间间隔可以在实际应用中根据待标注数据的难易程度或者耗时程度进行设定,例如预设时间间隔可以是5分钟,10分钟或者其他时间间隔,本发明实施例在此不做限定。
在一实施例中,如果待标注数据被连续标注一段时间后,在预设时间间隔内待标注数据没有被连续标注,而是被中断标注,之后待标注数据又被重新开始标注,直到待标注数据被标注完成,并提交标注任务。例如待标注数据被连续标注一段时间后,标注数据的用户去开会或者去讨论问题或者去吃饭等,导致待标注数据超过预设时间间隔被中断标注,之后待标注数据又被接着上一阶段继续标注,直到完成对待标注数据的标注。
在此期间会基于打开任务事件触发与打开任务事件对应的埋点,即开始对待标注数据进行标注之际触发与打开任务事件对应的埋点,基于中断事件触发与中断事件对应的埋点,基于继续事件触发与继续事件对应的埋点,即当停止标注时间间隔超过预设时间间隔之际触发中断事件,在触发中断事件之后,重新开始对待标注数据进行标注之际触发继续事件,基于提交任务事件触发与提交任务事件对应的埋点,即完成对待标注数据的标注之际触发与提交任务事件对应的埋点。
S103:发送步骤,将被触发的埋点对应的事件发送至服务器。
将被触发的埋点对应的事件实时发送至服务器,以及将待标注数据的待标注数据信息发送至服务器,其中,待标注数据信息包括待标待标注数据的类型和待标注数据与用户的对应关系。
采用本发明实施例上述提供的前端数据标注处理方法,在服务器端数据处理过程中可采用相对应的基于埋点的标注计时方法。
如图2所示,本发明实施例还公开了一种基于埋点的标注计时方法,该方法包括:
S201:收集步骤,收集前端发送的对待标注数据进行标注中的事件。
本发明实施例中,可以实时接收前端发送的对待标注数据进行标注中的事件,接收前端发送的对待标注数据进行标注中的事件,例如可以通过数据收集器进行收集。
在一实施例中,如果对待标注数据进行标注的事件包括打开任务事件、关闭任务事件和提交任务事件时,收集前端发送的对待标注数据进行标注中的事件可以包括,打开任务事件,开始对待标注数据进行标注之际触发;关闭任务事件,关闭待标注数据之际触发;提交任务事件,完成对待标注数据的标注之际触发。
在另一实施例中,如果对待标注数据进行标注的事件既包括打开任务事件、关闭任务事件和提交任务事件,又包括中断事件和继续事件时,收集前端发送的对待标注数据进行标注中的事件,还可以包括,中断事件,当停止标注时间间隔超过预设时间间隔之际触发;继续事件,在触发中断事件之后,重新开始对待标注数据进行标注之际触发。
在又一实施例中,如果对待标注数据进行标注的事件包括打开任务事件、中断事件、继续事件和提交任务事件时,收集前端发送的对待标注数据进行标注中的事件,可以包括打开任务事件,开始对待标注数据进行标注之际触发;中断事件,当停止标注时间间隔超过预设时间间隔之际触发;继续事件,在触发中断事件之后,重新开始对待标注数据进行标注之际触发;提交任务事件,完成对待标注数据的标注之际触发。
S202:记录时间步骤,记录事件的时间点。
本发明实施例中,可先将收集的对待标注数据进行标注中的事件,与标注数据的用户对应起来,并针对同一个用户标注的数据,记录该用户标注数据中的事件时间点。
在一实施例中,如果收集的对待标注数据进行标注的事件包括打开任务事件、关闭任务事件和提交任务事件时,记录针对待标注数据的事件时间点可以包括:记录同一个用户打开任务事件的打开时间点、关闭任务事件的关闭时间点、提交任务事件的提交时间点。
在另一实施例中,如果收集的对待标注数据进行标注的事件还包括中断事件和继续事件时,记录针对待标注数据的事件时间点还可以包括:记录同一个用户中断事件的时间点和继续事件的时间点。
在又一实施例中,如果收集的对待标注数据进行标注的事件包括打开任务事件、中断事件、继续事件和提交任务事件时,记录用户标注数据中的事件时间点可以包括:记录打开任务事件的打开时间点、中断事件的时间点、继续事件的时间点和提交任务事件的提交时间点。
其中,记录事件的时间点例如可以通过数据处理器中的kafka开源流处理平台进行记录。具体地,kafka通过Kstream数据流获取收集的事件,并将获取的事件与标注数据的用户对应起来,并针对同一个用户标注的数据,实时记录该用户标注数据时的事件时间点,例如kafka可以实时将用户标注数据时的事件和事件时间点记录到Ktable存储状态的表中,并更新Ktable中记录的事件和事件时间点。
S203:处理步骤,根据事件及事件的时间点,统计标注的实际时长。
本发明实施例中,针对与用户对应的待标注数据,根据记录的待标注数据的事件时间点,统计该用户标注数据的实际时长。
其中,根据记录的事件以及事件的时间点,统计用户标注数据的实际时长可以通过数据处理器进行拼接并统计,统计每个用户标注的数据的实际时长时,可以利用Ktable中记录的事件的时间点进行统计。
在一实施例中,针对同一个用户,如果记录的时间点包括打开任务事件的打开时间点、关闭任务事件的关闭时间点、提交任务事件的提交时间点时,根据打开任务事件、关闭任务事件、提交任务事件及打开任务事件的打开时间点、关闭任务事件的关闭时间点、提交任务事件的提交时间点,统计标注的实际时长。
其中,根据记录的打开时间点、关闭时间点和提交时间点,统计标注的实际时长,可以采用如下方式进行统计:
将关闭任务事件的关闭时间点与打开任务事件的打开时间点进行差值运算,得到该用户第一阶段的标注时长,将提交任务事件的提交时间点与再次打开的打开任务事件的打开时间点进行差值运算,得到该用户第二阶段的标注时长,将第一阶段标注时长和第二阶段标注时长相加,得到标注的实际时长。
在另一实施例中,针对同一个用户,如果记录的时间点还包括中断事件的时间点和继续事件的时间点时,还根据中断事件和继续事件,中断事件的时间点和继续事件的时间点,统计标注的实际时长。
其中,根据记录的打开时间点、关闭时间点、中断事件的时间点、继续事件的时间点和提交时间点,统计标注的实际时长,可以采用如下方式进行统计:
将关闭任务事件的关闭时间点与打开任务事件的打开时间点进行差值运算,得到该用户第一阶段的标注时长,将中断任务事件的中断时间点与再次打开任务事件的打开时间点进行差值运算后,再减去预设时间间隔,得到该用户第二阶段的标注时长,将提交任务事件的提交时间点与继续任务事件的继续事件时间点进行差值运算,得到该用户第三阶段的标注时长,将第一阶段的标注时长、第二阶段的标注时长和第三阶段的标注时长相加,得到标注的实际时长。可以理解的是,本发明实施例中记录的事件时间点顺序也可以是其他的顺序,例如记录的事件时间点顺序也可以是打开时间点、中断事件的时间点、继续事件的时间点、关闭时间点和提交时间点的顺序。针对记录的该顺序的事件时间点,可以采用和上例类似的统计标注数据实际时长的方法进行统计,在此不再赘述。
在一实施例中,针对同一个用户,如果记录的时间点包括打开任务事件的打开时间点、中断事件的时间点、继续事件的时间点和提交时间点时,根据打开任务事件、中断事件、继续事件及打开任务事件的打开时间点、中断事件的时间点、继续事件的时间点和提交任务事件的提交时间点,统计标注的实际时长。
其中,根据记录的打开时间点、中断事件的时间点、继续事件的时间点和提交时间点,统计标注的实际时长,可以采用如下方式进行统计:
将中断任务事件的中断时间点与打开任务事件的打开时间点进行差值运算后,再减去预设时间间隔,得到该用户第一阶段的标注时长,将提交任务事件的提交时间点与继续任务事件的继续事件时间点进行差值运算,得到该用户第二阶段的标注时长,将第一阶段标注时长和第二阶段标注时长相加,得到标注的实际时长。
可以理解的是,本发明实施例中记录的事件时间点可以有多次的中断事件的时间点、多次的继续事件的时间点、或者多次的关闭时间点与多次的打开时间点,本发明实施例在此不做限定,针对记录的事件时间点有多次相同的情况,可以在统计标注数据实际时长的方法的基础上,增加相应的计算过程,在此不再赘述。
本发明实施例中,可以根据待标注数据信息和标注的实际时长,多维度分析标注后的数据。
在一实施例中,经过数据处理器进行拼接并统计得到标注数据的实际时长后,数据处理器会将得到的标注数据的实际时长通过kafka例如存储到hive数据仓库中,以便对标注数据的分析,或者通过kafka将标注数据的实际时长直接发送到数据分析器中,例如可以是elasticsearch中,利用elasticsearch全文搜索引擎多维度的分析标注后的数据,并可以将分析得到的数据发送到可视化平台进行可视化,例如可以利用elasticsearch将分析标注后的数据发送到kibana开源的分析和可视化平台将得到的数据可视化。
对标注数据进行不同维度的分析,例如可以包括:分析用户标注的数据的效率,或者分析不同类型的标注任务的难易程度,或者分析标注任务的耗时情况等,通过多维度地分析标注数据,可以直观地对各个维度的数据进行对比,为数据标注的项目提供可靠的数据支持。
本发明实施例提供的一种前端数据标注处理方法和基于埋点的标注计时方法,通过在前端基于对待标注数据进行标注的事件进行埋点,接收对待标注数据的标注,当发生事件之际,触发与事件对应的埋点,并在服务器端实时记录事件发生的时间点,根据发生的事件及发生事件的时间点,可以精确地统计出标注数据的实际时长,根据统计出的标注数据的实际时长,可以准确把握标注数据的难易程度,并根据统计结果,可以多维度地对标注数据进行分析,实现更好的把控标注项目的预算和完成标注项目所需的工期,以及更精确地对标注员进行考核。
基于相同的发明构思,本发明实施例还提供一种前端数据标注处理装置。
图3所示为前端数据标注处理装置结构示意图。如图3所示,该实施例前端数据标注处理装置300包括:埋点单元301、触发单元302和发送单元303。
其中,埋点单元301,用于基于对待标注数据进行标注的事件,进行埋点;触发单元302,用于接收对待标注数据的标注,当发生事件之际,触发与事件对应的埋点;发送单元303,用于将被触发的埋点对应的事件发送至服务器。
基于相同的发明构思,本发明实施例还提供一种基于埋点的标注计时装置。
图4所示为基于埋点的标注计时装置结构示意图。如图4所示,该实施例基于埋点的标注计时装置400包括:收集单元401、记录时间单元402和处理单元403。
其中,收集单元401,用于收集前端发送的对待标注数据进行标注中的事件,对待标注数据进行标注中的事件是前端通过本发明前述任一实施例的前端数据标注处理方法所得到;记录时间单元402,用于记录事件的时间点;处理单元403,用于根据事件及事件的时间点,统计标注的实际时长。
如图5所示,本发明的一个实施方式提供了一种电子设备500。其中,该电子设备500包括存储器510、处理器520、输入/输出(Input/Output,I/O)接口530。其中,存储器510,用于存储指令。处理器520,用于调用存储器510存储的指令执行本发明实施例的前端数据标注处理方法或执行本发明实施例的基于埋点的标注计时方法。其中,处理器520分别与存储器510、I/O接口530连接,例如可通过总线系统和/或其他形式的连接机构(未示出)进行连接。存储器510可用于存储程序和数据,包括本发明实施例中涉及的用于数据处理程序,处理器520通过运行存储在存储器510的程序从而执行电子设备500的各种功能应用以及数据处理。
本发明实施例中处理器520可以采用数字信号处理器(Digital SignalProcessing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable Logic Array,PLA)中的至少一种硬件形式来实现,处理器520可以是中央处理单元(Central Processing Unit,CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元中的一种或几种的组合。
本发明实施例中的存储器510可以包括一个或多个计算机程序产品,计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(Random Access Memory,RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(Read-Only Memory,ROM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive,HDD)或固态硬盘(Solid-State Drive,SSD)等。
本发明实施例中,I/O接口530可用于接收输入的指令(例如数字或字符信息,以及产生与电子设备500的用户设置以及功能控制有关的键信号输入等),也可向外部输出各种信息(例如,图像或声音等)。本发明实施例中I/O接口530可包括物理键盘、功能按键(比如音量控制按键、开关按键等)、鼠标、操作杆、轨迹球、麦克风、扬声器、和触控面板等中的一个或多个。
可以理解的是,本发明实施例中尽管在附图中以特定的顺序描述操作,但是不应将其理解为要求按照所示的特定顺序或是串行顺序来执行这些操作,或是要求执行全部所示的操作以得到期望的结果。在特定环境中,多任务和并行处理可能是有利的。
本发明实施例涉及的方法和装置能够利用标准编程技术来完成,利用基于规则的逻辑或者其他逻辑来实现各种方法步骤。还应当注意的是,此处以及权利要求书中使用的词语“装置”和“模块”意在包括使用一行或者多行软件代码的实现和/或硬件实现和/或用于接收输入的设备。
此处描述的任何步骤、操作或程序可以使用单独的或与其他设备组合的一个或多个硬件或软件模块来执行或实现。在一个实施方式中,软件模块使用包括包含计算机程序代码的计算机可读介质的计算机程序产品实现,其能够由计算机处理器执行用于执行任何或全部的所描述的步骤、操作或程序。
出于示例和描述的目的,已经给出了本发明实施的前述说明。前述说明并非是穷举性的也并非要将本发明限制到所公开的确切形式,根据上述教导还可能存在各种变形和修改,或者是可能从本发明的实践中得到各种变形和修改。选择和描述这些实施例是为了说明本发明的原理及其实际应用,以使得本领域的技术人员能够以适合于构思的特定用途来以各种实施方式和各种修改而利用本发明。

Claims (14)

1.一种前端数据标注处理方法,包括:
埋点步骤,基于对待标注数据进行标注的事件,进行埋点;
触发步骤,接收对所述待标注数据的标注,当发生所述事件之际,触发与所述事件对应的所述埋点;
发送步骤,将被触发的所述埋点对应的所述事件实时发送至服务器;
其中,所述服务器用于基于所述埋点对应的所述事件统计对所述待标注数据进行标注的标注时长。
2.根据权利要求1所述的方法,其中,所述事件包括:
打开任务事件,开始对所述待标注数据进行标注之际触发;
关闭任务事件,关闭所述待标注数据之际触发;
提交任务事件,完成对所述待标注数据的标注之际触发。
3.根据权利要求2所述的方法,其中,所述事件还包括:
中断事件,当停止标注时间间隔超过预设时间间隔之际触发;
继续事件,在触发所述中断事件之后,重新开始对所述待标注数据进行标注之际触发。
4.根据权利要求1所述的方法,其中,所述事件还包括:
打开任务事件,开始对所述待标注数据进行标注之际触发;
中断事件,当停止标注时间间隔超过预设时间间隔之际触发;
继续事件,在触发所述中断事件之后,重新开始对所述待标注数据进行标注之际触发;
提交任务事件,完成对所述待标注数据的标注之际触发。
5.根据权利要求1所述的方法,其中,所述方法还包括:
将所述待标注数据的待标注数据信息发送至所述服务器。
6.一种基于埋点的标注计时方法,包括:
收集步骤,收集前端发送的对待标注数据进行标注中的事件,所述对待标注数据进行标注中的事件是前端通过权利要求1-5中任一项所述的前端数据标注处理方法所得到;
记录时间步骤,记录所述事件的时间点;
处理步骤,根据所述事件及所述事件的所述时间点,统计标注的实际时长。
7.根据权利要求6所述的方法,其中,
所述收集步骤收集的所述事件包括:打开任务事件,开始对所述待标注数据进行标注之际触发;关闭任务事件,关闭所述待标注数据之际触发;提交任务事件,完成对所述待标注数据的标注之际触发;
所述记录时间步骤,记录所述打开任务事件的打开时间点、所述关闭任务事件的关闭时间点、所述提交任务事件的提交时间点;
所述处理步骤,根据所述打开任务事件、所述关闭任务事件、所述提交任务事件及所述打开任务事件的打开时间点、所述关闭任务事件的关闭时间点、所述提交任务事件的提交时间点,统计标注的实际时长。
8.根据权利要求7所述的方法,其中,
所述收集步骤收集的所述事件还包括:中断事件,当停止标注时间间隔超过预设时间间隔之际触发;继续事件,在触发所述中断事件之后,重新开始对所述待标注数据进行标注之际触发;
所述记录时间步骤还包括,记录所述中断事件的时间点和所述继续事件的时间点;
所述处理步骤还包括,根据所述中断事件和继续事件,所述中断事件的时间点和所述继续事件的时间点,统计标注的实际时长。
9.根据权利要求6所述的方法,其中,
所述收集步骤收集的所述事件包括:打开任务事件,开始对所述待标注数据进行标注之际触发;中断事件,当停止标注时间间隔超过预设时间间隔之际触发;继续事件,在触发所述中断事件之后,重新开始对所述待标注数据进行标注之际触发;提交任务事件,完成对所述待标注数据的标注之际触发;
所述记录时间步骤,记录所述打开任务事件的打开时间点、所述中断事件的时间点、所述继续事件的时间点和所述提交任务事件的提交时间点;
所述处理步骤,根据所述打开任务事件、所述中断事件、所述继续事件及所述打开任务事件的打开时间点、所述中断事件的时间点、所述继续事件的时间点和所述提交任务事件的提交时间点,统计标注的实际时长。
10.根据权利要求6所述的方法,其中,所述方法还包括:
分析步骤,根据所述待标注数据信息和所述标注的实际时长,多维度分析标注后的数据。
11.一种前端数据标注处理装置,包括:
埋点单元,用于基于对待标注数据进行标注的事件,进行埋点;
触发单元,用于接收对所述待标注数据的标注,当发生所述事件之际,触发与所述事件对应的所述埋点;
发送单元,用于将被触发的所述埋点对应的所述事件实时发送至服务器;
其中,所述服务器用于基于所述埋点对应的所述事件统计对所述待标注数据进行标注的标注时长。
12.一种基于埋点的标注计时装置,包括:
收集单元,用于收集前端发送的对待标注数据进行标注中的事件,所述待标注数据进行标注中的事件是前端通过权利要求1-5中任一项所述的前端数据标注处理方法所得到;
记录时间单元,用于记录所述事件的时间点;
处理单元,用于根据所述事件及所述事件的所述时间点,统计标注的实际时长。
13.一种电子设备,其中,所述电子设备包括:
存储器,用于存储指令;以及
处理器,用于调用所述存储器存储的指令执行如权利要求1至5中任一项所述的前端数据标注处理方法或如权利要求6至10中任一项所述的基于埋点的标注计时方法。
14.一种计算机可读存储介质,其中存储有指令,所述指令被处理器执行时,执行如权利要求1至5中任一项所述的前端数据标注处理方法或如权利要求6至10中任一项所述的基于埋点的标注计时方法。
CN201910282252.0A 2019-04-09 2019-04-09 前端数据标注处理方法、基于埋点的标注计时方法及装置 Active CN110069391B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910282252.0A CN110069391B (zh) 2019-04-09 2019-04-09 前端数据标注处理方法、基于埋点的标注计时方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910282252.0A CN110069391B (zh) 2019-04-09 2019-04-09 前端数据标注处理方法、基于埋点的标注计时方法及装置

Publications (2)

Publication Number Publication Date
CN110069391A CN110069391A (zh) 2019-07-30
CN110069391B true CN110069391B (zh) 2023-09-08

Family

ID=67367285

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910282252.0A Active CN110069391B (zh) 2019-04-09 2019-04-09 前端数据标注处理方法、基于埋点的标注计时方法及装置

Country Status (1)

Country Link
CN (1) CN110069391B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201557203U (zh) * 2009-12-29 2010-08-18 海南三基科技有限公司 运钞车移动视频监控及实时轨迹跟踪调度系统
CN106649063A (zh) * 2016-11-22 2017-05-10 腾讯科技(深圳)有限公司 用于监测程序运行时耗时数据的方法及系统
CN107277624A (zh) * 2017-07-12 2017-10-20 北京潘达互娱科技有限公司 时长计算方法及其装置
CN107896175A (zh) * 2017-11-30 2018-04-10 北京小度信息科技有限公司 数据采集方法和装置
WO2018121501A1 (zh) * 2016-12-29 2018-07-05 北京国双科技有限公司 网站访客行为监测方法及装置
CN108510287A (zh) * 2018-01-16 2018-09-07 平安科技(深圳)有限公司 客户回访的判断方法、电子装置及计算机可读存储介质
CN109582418A (zh) * 2018-11-21 2019-04-05 平安科技(深圳)有限公司 用户行为数据收集方法、装置、计算机装置、存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080004814A1 (en) * 2006-06-29 2008-01-03 Nelson Charles F Systems and methods for probe annotation
CN104348650B (zh) * 2013-08-05 2019-07-16 腾讯科技(深圳)有限公司 网站的监控方法、业务装置及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201557203U (zh) * 2009-12-29 2010-08-18 海南三基科技有限公司 运钞车移动视频监控及实时轨迹跟踪调度系统
CN106649063A (zh) * 2016-11-22 2017-05-10 腾讯科技(深圳)有限公司 用于监测程序运行时耗时数据的方法及系统
WO2018121501A1 (zh) * 2016-12-29 2018-07-05 北京国双科技有限公司 网站访客行为监测方法及装置
CN107277624A (zh) * 2017-07-12 2017-10-20 北京潘达互娱科技有限公司 时长计算方法及其装置
CN107896175A (zh) * 2017-11-30 2018-04-10 北京小度信息科技有限公司 数据采集方法和装置
CN108510287A (zh) * 2018-01-16 2018-09-07 平安科技(深圳)有限公司 客户回访的判断方法、电子装置及计算机可读存储介质
CN109582418A (zh) * 2018-11-21 2019-04-05 平安科技(深圳)有限公司 用户行为数据收集方法、装置、计算机装置、存储介质

Also Published As

Publication number Publication date
CN110069391A (zh) 2019-07-30

Similar Documents

Publication Publication Date Title
CN108632097B (zh) 异常行为对象的识别方法、终端设备及介质
WO2020233015A1 (zh) 一种链路跟踪方法及装置
US8756614B2 (en) Central registry for binding features using dynamic pointers
US9171072B2 (en) System and method for real-time dynamic measurement of best-estimate quality levels while reviewing classified or enriched data
CN109670837A (zh) 债券违约风险的识别方法、装置、计算机设备和存储介质
CN108140021A (zh) 涉及感兴趣的数据内容的优先化的分级索引
CN112579728B (zh) 基于海量数据全文检索的行为异常识别方法及装置
US20060179349A1 (en) System and method for tracking exceptional states
US20150006961A1 (en) Capturing trace information using annotated trace output
US10534700B2 (en) Separating test verifications from test executions
Yang et al. Duplication detection for software bug reports based on bm25 term weighting
CN113190401B (zh) 快游戏的异常监控方法、电子设备、移动终端以及存储介质
WO2020143301A1 (zh) 一种训练样本有效性检测方法、计算机设备及计算机非易失性存储介质
US9495275B2 (en) System and computer program product for deriving intelligence from activity logs
US10346450B2 (en) Automatic datacenter state summarization
CN113268427B (zh) 一种针对二进制程序的崩溃分析方法及系统
CN114253866A (zh) 恶意代码检测的方法、装置、计算机设备及可读存储介质
CN112416212B (zh) 程序访问方法、装置、电子设备和可读存储介质
US10223137B2 (en) Data processing
CN110069391B (zh) 前端数据标注处理方法、基于埋点的标注计时方法及装置
US9454455B2 (en) Method for deriving intelligence from activity logs
WO2016190869A1 (en) Determining potential test actions
US20150120682A1 (en) Automated recognition of patterns in a log file having unknown grammar
US20160371486A1 (en) Capturing correlations between activity and non-activity attributes using n-grams
US20210049008A1 (en) Identifying implicit dependencies between code artifacts

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant