CN112418665A - 基于众包的交通违法行为标注质量评估系统及评估方法 - Google Patents

基于众包的交通违法行为标注质量评估系统及评估方法 Download PDF

Info

Publication number
CN112418665A
CN112418665A CN202011317541.9A CN202011317541A CN112418665A CN 112418665 A CN112418665 A CN 112418665A CN 202011317541 A CN202011317541 A CN 202011317541A CN 112418665 A CN112418665 A CN 112418665A
Authority
CN
China
Prior art keywords
user
task
evidence
batch
crowdsourcing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011317541.9A
Other languages
English (en)
Other versions
CN112418665B (zh
Inventor
杨健
吴建博
乔玉琳
黄婷婷
欧阳志友
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongke Zhihai Information Technology Suzhou Co ltd
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202011317541.9A priority Critical patent/CN112418665B/zh
Publication of CN112418665A publication Critical patent/CN112418665A/zh
Application granted granted Critical
Publication of CN112418665B publication Critical patent/CN112418665B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/103—Workflow collaboration or project management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Game Theory and Decision Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Traffic Control Systems (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本发明公开了一种基于众包的交通违法行为标注质量评估系统及评估方法，包括违法证据材料处理模块，用于对证据进行数据预处理，形成证据单元；任务管理模块用于生成和管理众包任务；用户管理模板用于用户、角色和权限的管理和控制；证据标注模块用于给用户提供交互友好的可视化界面，供用户进行证据材料标注操作；质量控制模块是本发明的核心模块，包含用户信誉分评估、审核员贡献度计算、证据最终结果锚定等，是整个众包任务质量控制的关键。本发明设计的目的在于提供一种基于众包的交通违法行为标注质量评估体系，通过质量控制模块提供的算法提高证据标注众包的质量，提高违法行为判罚的处理效率和准确率。

Description

基于众包的交通违法行为标注质量评估系统及评估方法
技术领域
本发明公开了一种基于众包的交通违法行为标注质量评估系统及评估方法，涉及计算机视觉图像处理、知识众包算法，属于计算机视觉、众包和互联网应用领域。
背景技术
众包是一种特定的获取资源的模式。在该模式下，个人或组织可以利用大量的网络用户来获取需要的服务和想法。众包的对象可以是一群没有被特别定义的群体(而非被指派的，特定的群体)并且众包包括了混合的自底向上和自顶向下的过程。众包的优势包括：优化的价格，速度，质量，灵活性和多样性。众包开始在许多领域发挥了越来越大的作用，例如机器翻译，图片识别，语音识别等，如果采用纯手工去识别和评估需要付出较大的代价。而众包的核心在于群体智慧，通过分发任务使解决问题变得容易。
在理想情况下，使用众包可以大大加快解决问题的速度。但是，由于参与众包人员的质量参差不齐，用户提交的问题解答，可能并不一定准确，甚至可能出现恶意提交、重复提交的情况，可能大大降低了众包工作完成的质量。因此我们系统的核心模块是质量控制模块，加强过程管理提高众包的质量。
在众包平台(收集违法证据材料并打包作为任务分发的平台)数据库的搭建过程中，需要对大量用户上传的图片/视频证据材料进行数据预处理和机器学习。而计算机视觉模型的基础在于图像数据质量的好坏，通过众包的方式让大众参与图像数据的标注，提高违法行为识别的准确率。而众包的质量评估算法对众包任务的质量尤其重要，因此，本发明提出来一种基于众包的交通违法行为标注质量评估系统。
发明内容
本发明的目的在于引入了众包的思想，设计了一种基于众包的交通违法行为标注质量评估系统及评估方法，主要针对计算机视觉处理的图像及视频数据任务进行众包，将证据单元的标注工作分解出来，形成一个一个具体的任务批次，以自由自愿的形式交给审核团队共同完成，锚定证据最终违法结果。
本发明通过以下技术方案实现，主要包括违法证据材料处理模块、任务管理模块、用户管理模板、证据标注模块和质量控制模块，通过针对群众拍摄的交通违法行为图片或视频等证据材料进行众包，将违法标注的工作分解，并形成具体的任务，以自由自愿的形式交给经过资格认证的审核员完成；根据质量控制模块算法锚定结果；
所述违法证据材料处理模块，主要用于对不同来源的违法证据，进行一些初步的数据预处理，将数据转换成后续模块容易使用和处理的形式，提高了标注任务的准确性和效率；
所述任务管理模块的功能主要包括任务的生成、分发、状态变更，保障了过程化和规范化；任务管理模块与违法证据材料处理模块相连接，主要依据违法证据材料处理模块生成的证据单元，将证据单元包装成需要大众参与的众包任务，任务类别具体包括审核认证任务、众包发布任务；
所述用户管理模块，主要用于对使用用户进行身份验证和权限控制管理，包含用户的注册和登陆、审核员认证、用户任务领取；根据设置的权限，用户只能参与被授权的任务，防止恶意用户和非专业用户的操作导致众包任务的质量出现问题，确保系统的稳定性；
所述证据标注模块，主要用于为用户提供一种在线的证据违法行为标注操作界面，具有良好的交互性，用户可以进行主观的标注行为，并将各自的标注结果上传；
所述质量控制模块为核心模块，包含审核成员贡献度计算和证据最终结果锚定；质量控制模块与任务管理模块、用户管理模块、证据标注模块连接；质量控制模块通过对众包任务结果和用户贡献度的实时、高效、准确的评估，实现对整个系统的质量控制和保障。
所述的质量控制模块包括用户信誉分评估，用户贡献度计算和证据最终结果锚定，对整个众包任务的质量进行整体把关和控制，保障本系统的完整性和准确性；具体步骤如下：
步骤1，审核员认证，普通用户可以通过测试任务成为审核员；参与众包任务当用户完成测试任务时，需要对用户的标注准确率进行计算，来判断该用户是否有资格参加众包任务，具体计算公式(1)为
Figure BDA0002791750590000021
其中precison表示用户在当前测试中的准确率，Ncorrect为测试中用户正确标注的任务数量；Ntest为测试中含有的任务总数；当准确率超过设定的阈值之后则给予用户审核员身份和对应的权限；
步骤2，众包任务初始化，
众包平台通过违法证据材料处理模块之后，收集得到标注单元集，进行众包任务的配置工作如设定标注任务批次batch进行打包发布、批次大小batchSize、完成该批次中的一个任务之后用户得到的奖励值reward或惩罚值penalty、此批次需要分发到的审核员人数num；V代表用户完成此批次后获得的奖励值(惩罚值)；r是人数系数，与num成负相关，公式如(2)所示：
Figure BDA0002791750590000031
完成此批次标注任务后，得到总的奖励值Vbatch(3)；
Vbatch＝∑V (3)
步骤3，证据最终结果锚定，设有N(N＞＝3)个用户共同参与此batch的标注任务，每个违法种类都有预设的值(本系统中皆相等)，对于每个证据单元获取N个用户的标注结果，
Figure BDA0002791750590000032
按公式(4)依次计算每个违法种类的选择分。将最大选择分的违法行为作为该证据单元的最终结果，对该批次的所有证据单元依次进行该操作，得到该批次所有证据的标注结果；
步骤4，审核员评价，当用户完成一个批次batch后，需要更新当前贡献度和用户信誉分；
Ps代表该批次用户完成的正确率；correctSize代表该批次用户完成正确的任务数量；batchSize代表批次大小(5)；
Figure BDA0002791750590000033
用户的信誉分Credit代表了其是否可以继续拥有审核员的权限：对于拥有破坏标注正确性行为等行为进行一定信誉分的扣除，当信誉分低于一定阈值后失去审核员身份，需要重新经过认证；审核员的信誉分也会随着参与众包过程而不断增长，具体公式如(6)：
Figure BDA0002791750590000034
我们将审核员对于一个证据单元的标注定义为贡献度Contrib，贡献度取决于审核员的信誉分Credit、批次大小batchSize、本批次参与审核员人数num、人数系数r(同(2))，具体计算公式如(7)：
Figure BDA0002791750590000035
在每batch开始标注之前，每个审核员都会进行一次(7)计算来确定当前的贡献度Contrib。
所述的违法证据材料处理模块负责对输入的证据(图片或视频)材料进行数据预处理，主要包含证据材料采集、数据清洗、图像增强、证据单元生成打包四个步骤：
步骤1，证据材料采集：通过多终端设备对证据材料进行采集，作为整个系统的数据源；数据源大概分为两大类：一种是图像数据；另一种是视频数据；
步骤2，数据清洗：
(1)对上传的图片和视频进行大小、分辨率、编码格式等方面的检查，过滤掉不满足上传要求的数据；
(2)利用拉普拉斯算子对图像或视频的每帧进行是否模糊的判断(针对全局模糊的情况)，清理掉模糊的部分，保留不模糊的图片和视频；
步骤3，图像增强：针对一些群众上传的具有强语义的图像(含有交通标志、交通信号线等可直接确定用户是否违法的特征)局部模糊的情况，我们会采用图像超分辨率技术对图像或视频数据进行修复，得到更为清晰的图像，有利于提升众包系统的准确率；
步骤4，证据单元生成打包：系统将经过步骤1-3之后的数据按一定数量打包成多个批次，并发布到众包平台，从而完成证据材料的预处理过程。
所述的任务管理模块主要负责任务生成、任务分发和任务状态变更；
所述的任务分为审核认证任务、众包发布任务；
任务管理模块生成任务，将其存入相应的任务批次，供审核员进行拉取，用户完成一个批次中所有任务提交以后，更新该批次所有任务状态，具体步骤如下：
步骤1，生成审核认证任务，所有的普通用户需要进行相关的认证任务测试，测试达标后方可成为审核员，参与实际众包平台系统发布的任务标注。所以需要针对这部分用户生成相应的测试任务；审核认证任务会依据已存在正确结果的证据单元，挑选一定数量的证据单元组成审核认证任务批次分发给普通用户；普通用户需要完成该批次的测试任务，并且测试的专业准确度需要达到一定阈值(准确率的评估由质量管理模块完成),才可以进入到后面的步骤；如果测得用户专业准确度没有到达该阈值，则需要重新生成测试任务批次。此外用户在一定时间进行认证任务的次数被限制以防止刷分现象存在；
步骤2，生成众包任务，通过测试以后的用户(审核员)，开始实际的众包任务；任务管理模块会依据违法证据材料处理模块的输出数据(打包好的证据材料批次任务)，将该任务批次存入任务队列中进行管理；
步骤3，任务状态变更，同一个众包任务批次会有多个审核员领取，审核员提交标注结果以后，由质量控制模块完成最后的任务综合评估得出最终结果；任务评估完成以后，众包任务会从任务队列中取出。
所述的用户管理模块负责系统用户的注册、登陆以及权限管理等。主要用于保证本系统的安全性和众包任务的质量，具体步骤如下：
步骤1，注册登陆。用户需要填写个人资料进行注册，注册成功后进行登陆方可进入系统；
步骤2，标注测试。新注册的用户为普通用户，新用户默认会接收到审核认证任务，用户需要进行审核认证任务的答题，填写完成后，提交任务。由质量控制模块进行用户专业准确率评估，如果用户专业准确率达到规定的阈值，则通过认证成为审核员，可授予其众包任务权限；如果用户专业准确率低于规定的阈值，则用户需要继续进行审核认证任务(不超出尝试限制)，否则无权领取众包任务；
步骤3，开始众包，审核认证任务通过以后，用户可以获取到众包任务权限，并可以主动领取众包任务，用户对领取的众包任务进行标注，然后提交自己的标注结果。
本发明的评估方法包括以下步骤：
步骤1.收集用户上传的图片或视频证据材料，并对采集的数据材料进行数据清洗和预处理；
步骤2.对经过步骤1的数据集进行数据增强、数据单元生成打包，发布到众包平台；
步骤3.进入注册界面，用户输入手机号、验证码，并填写用户名、密码、性别、职业等信息进行注册。注册成功后，初始化用户的信誉分；进入登陆界面，用户输入手机号和密码进行登陆；
步骤4.从审核认证任务数据集中随机抽取n条证据单元组成一个任务批次，发送给用户进行认证；
步骤5.用户在证据标注模块进行违法行为的标注工作，完成该批次任务以后，提交自己的证据标注结果；
步骤6.质量控制模块判断用户提交的认证任务标注结果的正确率，根据公式(1)来判断用户的专业准确率；
步骤7.用户针对当前批次的标注结果准确率达到规定的阈值，则转步骤8，否则可在不超过尝试次数的情况下进行步骤4-6直到专业准确率达到规定阈值；
步骤8，审核员从任务队列中获取排在最前面的一个该用户未分配的任务批次，增加到该用户的任务列表中，最多允许有m个未完成的任务批次(m的大小正比于用户信誉分)；
步骤9，审核员在证据标注模块进行违法行为的标注工作，完成该批次任务之后，提交自己的标注结果；
步骤10，从任务管理模块的任务队列中移除该批次任务，针对此批次中的每一个证据单元，依据公式(7)计算得到用户在该批次的贡献度大小(适用于属于该批次的每个证据单元)，依据质量控制模块的“证据最终结果锚定”版块完成最终结果锚定；
步骤11，当用户完成一个批次batch后，需要依据公式(6)更新用户信誉分。
本发明的优点在于，提供一种基于众包的交通违法行为标注质量评估系统，通过质量控制模块提供的算法提高图像数据标注众包的质量，提高计算机视觉模型运行的准确率，提高交通处罚的效率。
附图说明
图1为本发明的结构图；
图2为本发明的流程图；
图3为标注任务示例。
具体实施方式
下面结合附图1和3及具体实施方式，对本方面做进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。主要包括违法证据材料处理模块、任务管理模块、用户管理模板、证据标注模块和质量控制模块，通过针对群众上传的交通违法行为图片或视频等证据材料进行众包，将违法标注的工作分解，并形成具体的任务，以自由自愿的形式交给经过资格认证的审核员完成；根据质量控制模块算法锚定结果；
所述违法证据材料处理模块，主要用于对不同来源的违法证据，进行一些初步的数据预处理，将数据转换成后续模块容易使用和处理的形式，提高了标注任务的准确性和效率；
所述任务管理模块的功能主要包括任务的生成、分发、状态变更，保障了过程化和规范化；任务管理模块与违法证据材料处理模块相连接，主要用于依据违法证据材料处理模块的生成的标准证据单元，将证据单元包装成需要大众参与的众包任务，任务类别具体包括审核认证任务、众包发布任务；
所述用户管理模块，主要用于对使用用户进行身份验证和权限控制管理，包含用户的注册和登陆、审核员认证、用户任务领取；根据设置的权限，用户只能参与被授权的任务，防止恶意用户和非专业用户的操作导致众包任务的质量出现问题，确保系统的稳定性；
所述证据标注模块，主要用于为用户提供一种在线的证据违法行为标注操作界面，具有良好的交互性，用户可以进行主观的标注行为，并将各自的标注结果上传；
所述质量控制模块为核心模块，包含审核成员贡献度计算和证据最终结果锚定；质量控制模块与任务管理模块、用户管理模块、证据标注模块连接；质量控制模块通过对众包任务结果和用户贡献度的实时、高效、准确的评估，实现对整个系统的质量控制和保障。
所述的质量控制模块包括用户信誉分评估，用户贡献度计算和证据最终结果锚定，对整个众包任务的质量进行整体把关和控制，保障本系统的完整性和准确性；具体步骤如下：
步骤1，审核员认证，普通用户可以通过测试任务成为审核员；参与众包任务当用户完成测试任务时，需要对用户的标注准确率进行计算，来判断该用户是否有资格参加众包任务，具体计算公式(1)为
Figure BDA0002791750590000071
其中precison表示用户在当前测试中的准确率，Ncorrect为测试中用户正确标注的任务数量；Ntest为测试中含有的任务总数；当准确率超过设定的阈值之后则给予用户审核员身份和对应的权限；
步骤2，众包任务初始化，
众包平台通过违法证据材料处理模块之后，收集得到标注单元集，进行众包任务的配置工作如设定标注任务批次batch进行打包发布、批次大小batchSize、完成该批次中的一个任务之后用户得到的奖励值reward或惩罚值penalty、此批次需要分发到的审核员人数num；V代表用户完成此批次后获得的奖励值(惩罚值)；r是人数系数，与num成负相关，公式如(2)所示：
Figure BDA0002791750590000072
完成此批次标注任务后，得到总的奖励值Vbatch；
Vbatch＝∑V (3)
步骤3，证据最终结果锚定，设有N(N＞＝3)个用户共同参与此batch的标注任务，每个违法种类都有预设的值(本系统中皆相等)，对于每个证据单元获取N个用户的标注结果，
Figure BDA0002791750590000081
按公式(4)依次计算每个违法种类的选择分。将最大选择分的违法行为作为该证据单元的最终结果，对该批次的所有证据单元依次进行该操作，得到该批次所有证据的标注结果；
步骤4，审核员评价，当用户完成一个批次batch后，需要更新当前贡献度和用户信誉分；
Ps代表该批次用户完成的正确率；correctSize代表该批次用户完成正确的任务数量；batchSize代表批次大小(5)；
Figure BDA0002791750590000082
用户的信誉分Credit代表了其是否可以继续拥有审核员的权限：对于拥有破坏标注正确性行为等行为进行一定信誉分的扣除，当信誉分低于一定阈值后失去审核员身份，需要重新经过认证；审核员的信誉分也会随着参与众包过程而不断增长，具体公式如(6)：
Figure BDA0002791750590000083
我们将审核员对于一个证据单元的标注定义为贡献度Contrib，贡献度取决于审核员的信誉分Credit、批次大小batchSize、本批次参与审核员人数num、人数系数r(同(2))，具体计算公式如(7)：
Figure BDA0002791750590000084
在每batch开始标注之前，每个审核员都会进行一次(7)计算来确定当前的贡献度Contrib；
图像标注众包发布任务质量评估算法如图3所示。
所述的违法证据材料处理模块负责对输入的证据(图片或视频)材料进行数据预处理，主要包含证据材料采集、数据清洗、图像增强、证据单元生成打包四个步骤：
步骤1，证据材料采集：通过多终端设备对证据材料进行采集，作为整个系统的数据源；数据源大概分为两大类：一种是图像数据；另一种是视频数据；
步骤2，数据清洗：
(1)对上传的图片和视频进行大小、分辨率、编码格式等方面的检查，过滤掉不满足上传要求的数据；
(2)利用拉普拉斯算子对图像或视频的每帧进行是否模糊的判断(针对全局模糊的情况)，清理掉模糊的部分，保留不模糊的图片和视频；
步骤3，图像增强：针对一些群众上传的具有强语义的图像(含有交通标志、交通信号线等可直接确定用户是否违法的特征)局部模糊的情况，我们会采用图像超分辨率技术对图像或视频数据进行修复，得到更为清晰的图像，有利于提升众包系统的准确率；
步骤4，证据单元生成打包：系统将经过步骤1-3之后的数据按一定数量打包成多个批次，并发布到众包平台，从而完成证据材料的预处理过程。
所述的任务管理模块主要负责任务生成、任务分发和任务状态变更；
所述的任务分为审核认证任务、众包发布任务；
任务管理模块生成任务，将其存入相应的任务批次，供审核员进行拉取，用户完成一个批次中所有任务提交以后，更新该批次所有任务状态，具体步骤如下：
步骤1，生成审核认证任务，所有的普通用户需要进行相关的认证任务测试，测试达标后方可成为审核员，参与实际众包平台系统发布的任务标注。所以需要针对这部分用户生成相应的测试任务；审核认证任务会依据已存在正确结果的证据单元，挑选一定数量的证据单元组成审核认证任务批次分发给普通用户；普通用户需要完成该批次的测试任务，并且测试的专业准确度需要达到一定阈值(准确率的评估由质量管理模块完成),才可以进入到后面的步骤；如果测得用户专业准确度没有到达该阈值，则需要重新生成测试任务批次。此外用户在一定时间进行认证任务的次数被限制以防止刷分现象存在；
步骤2，生成众包任务，通过测试以后的用户(审核员)，开始实际的众包任务；任务管理模块会依据违法证据材料处理模块的输出数据(打包好的证据材料批次任务)，将该任务批次存入任务队列中进行管理；
步骤3，任务状态变更，同一个众包任务批次会有多个审核员领取，审核员提交标注结果以后，由质量控制模块完成最后的任务综合评估得出最终结果；任务评估完成以后，众包任务会从任务队列中取出。
所述的用户管理模块负责系统用户的注册、登陆以及权限管理等。主要用于保证本系统的安全性和众包任务的质量，具体步骤如下：步骤1，注册登陆。用户需要填写个人资料进行注册，注册成功后进行登陆方可进入系统；
步骤2，标注测试。新注册的用户为普通用户，新用户默认会接收到审核认证任务，用户需要进行审核认证任务的答题，填写完成后，提交任务。由质量控制模块进行用户专业准确率评估，如果用户专业准确率达到规定的阈值，则通过认证成为审核员，可授予其众包任务权限；如果用户专业准确率低于规定的阈值，则用户需要继续进行审核认证任务(不超出尝试限制)，否则无权领取众包任务；
步骤3，开始众包，审核认证任务通过以后，用户可以获取到众包任务权限，并可以主动领取众包任务，用户对领取的众包任务进行标注，然后提交自己的标注结果。
证据标注模块，主要用于为用户提供一种在线的证据违法行为标注操作界面，具有良好的交互性，用户可以进行主观的标注行为，并将各自的标注结果上传；质量控制模块会根据用户提交的批注结果进行计算，锚定最终结果。
本发明的评估方法包括以下步骤：
S1.收集用户上传的图片或视频证据材料，并对采集的数据材料进行数据清洗和预处理；
S2.对经过S1的数据集进行数据增强、数据单元生成打包，发布到众包平台；
S3.进入注册界面，用户输入手机号、验证码，并填写用户名、密码、性别、职业等信息进行注册。注册成功后，初始化用户的信誉分；进入登陆界面，用户输入手机号和密码进行登陆；
S4.从审核认证任务数据集中随机抽取(如图3所示)n条证据单元组成一个任务批次，发送给用户进行认证；
S5.用户在证据标注模块进行违法行为的标注工作，完成该批次任务以后，提交自己的证据标注结果。如用户提交的标注结果为“行车违规：车辆在变线过程中压线。”；
S6.质量控制模块判断用户提交的认证任务标注结果的正确率，根据公式(1)来判断用户的专业准确率；
S7.用户针对当前批次的标注结果准确率达到规定的阈值，则转步骤8，否则可在不超过尝试次数的情况下进行步骤4-6直到专业准确率达到规定阈值；
S8，审核员从任务队列中获取排在最前面的一个该用户未分配的任务批次，增加到该用户的任务列表中，最多允许有m个未完成的任务批次(m的大小正比于用户信誉分)；
S9，审核员在证据标注模块进行违法行为的标注工作，完成该批次任务之后，提交自己的标注结果。如用户提交的标注结果为“行车违规：该车辆在行车过程中违法变线”。
S10，从任务管理模块的任务队列中移除该批次任务，针对此批次中的每一个证据单元，依据公式(6)计算得到用户在该批次的贡献度大小(适用于属于该批次的每个证据单元)。
S11，依据质量控制模块的“证据最终结果锚定”版块完成最终结果锚定,设有N(N＞＝3)个用户共同参与此batch的标注任务，每个违法种类都有预设的值(本系统中皆相等)，对于每个证据单元获取N个用户的标注结果，
Figure BDA0002791750590000101
按公式(4)依次计算每个违法种类的选择分。将最大选择分的违法行为作为该证据单元的最终结果，对该批次的所有证据单元依次进行该操作，得到该批次所有证据的标注结果，如图3所示，若有3人a,b,c对其进行标注，计算图3中每个选项的选择分，设a选择了行车违规，b选择了其他，c选择了停车违规。设a、b、c的贡献度分别为0.55、0.35、0.1,则四个选项的选择分分别为0、0.55k、0.1k、0.35k(k大于0，k代表选择该选项的初始值，皆相等)，我们选择选择分最大的违法行为即行车违规作为此证据单元图3的最终结果。
S12，当用户完成一个批次batch后，需要依据公式(6)更新用户信誉分。
本技术领域技术人员可以理解的是，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于众包的交通违法行为标注质量评估系统，其特征是：包括违法证据材料处理模块、任务管理模块、用户管理模板、证据标注模块和质量控制模块；
所述违法证据材料处理模块用于对不同来源的违法证据，进行初步的数据预处理，将数据转换成后续模块容易使用和处理的形式，并打包成证据单元发布到众包平台；
所述任务管理模块的功能包括任务的生成、分发及状态变更；任务管理模块与违法证据材料处理模块相连接，用于依据违法证据材料处理模块的生成的证据单元，将证据单元包装成需要大众参与的众包任务，众包任务类别包括审核认证任务、众包发布任务；
所述用户管理模块，包括系统用户的注册、登陆以及权限管理；
所述证据标注模块，用于为用户提供在线的证据违法行为标注操作界面，用户可进行主观的标注行为，并将各自的标注结果上传；
所述质量控制模块的任务包含用户信誉分评估，用户贡献度计算和证据最终结果锚定；质量控制模块与任务管理模块、用户管理模块、证据标注模块连接，将用户贡献度数据贯穿各个模块，并确保各模块之间数据传递的一致性即证据最终结果的准确性。
2.如权利要求1所述的一种基于众包的交通违法行为标注质量评估系统，其特征是：
所述的质量控制模块的任务包括用户信誉分评估，用户贡献度计算和证据最终结果锚定，对整个众包任务的质量进行整体把关和控制，具体步骤如下：
步骤1，审核员认证，普通用户可通过测试任务成为审核员；参与众包任务当用户完成测试任务时，需要对用户的标注准确率进行计算，来判断该用户是否有资格参加众包任务，具体计算公式(1)为
Figure FDA0002791750580000011
其中precison表示用户在当前测试中的准确率，Ncorrect为测试中用户正确标注的任务数量；Ntest为测试中含有的任务总数；当准确率超过设定的阈值之后则给予用户审核员身份和对应的权限；
步骤2，众包任务初始化，众包平台通过违法证据材料处理模块之后，收集得到证据单元集，进行众包任务的配置工作：设定标注任务批次batch进行打包发布、批次大小batchSize、完成该批次中的一个任务之后用户得到的奖励值reward或惩罚值penalty、此批次需要分发到的审核员人数num；V代表用户完成此批次后获得的奖励值或惩罚值；r是人数系数，与num成负相关，公式如(2)所示：
Figure FDA0002791750580000021
完成此批次标注任务后，得到总的奖励值Vbatch(3)；
Vbatch＝∑V (3)
步骤3，证据最终结果锚定，设有N个用户共同参与此batch的标注任务，每个违法种类都有预设的值，对于每个证据单元获取N个用户的标注结果，
Figure FDA0002791750580000022
按公式(4)依次计算每个违法种类的选择分，将最大选择分的违法行为作为该证据单元的最终结果，对该批次的所有证据单元依次进行该操作，得到该批次所有证据的标注结果；
步骤4，审核员评价，当用户完成一个批次batch后，需要更新当前贡献度和用户信誉分；
Ps代表该批次用户完成的正确率；correctSize代表该批次用户完成正确的任务数量；batchSize代表批次大小(5)；
Figure FDA0002791750580000023
用户的信誉分Credit代表了其是否可以继续拥有审核员的权限：对于拥有破坏标注正确性行为等行为进行一定信誉分的扣除，当信誉分低于一定阈值后失去审核员身份，需要重新经过认证；审核员的信誉分也会随着参与众包过程而不断增长，具体公式如(6)：
Figure FDA0002791750580000024
将审核员对于一个证据单元的标注定义为贡献度Contrib，贡献度取决于审核员的信誉分Credit、批次大小batchSize、本批次参与审核员人数num、人数系数r，具体计算公式如(7)：
Figure FDA0002791750580000025
在每batch开始标注之前，每个审核员都会进行一次(7)计算来确定当前的贡献度Contrib。
3.如权利要求1所述的一种基于众包的交通违法行为标注质量评估系统，其特征是：
所述的违法证据材料处理模块负责对输入的证据材料进行数据预处理，包含证据材料采集、数据清洗、图像增强、证据单元生成打包四个步骤：
步骤1，证据材料采集：通过多终端设备对证据材料进行采集，作为整个系统的数据源；数据源分为两大类：一种是图像数据；另一种是视频数据；
步骤2，数据清洗：
(1)对上传的图片和视频进行大小、分辨率、编码格式检查，过滤掉不满足要求的数据；
(2)利用拉普拉斯算子对图像或视频的每帧进行是否模糊的判断，清理掉模糊的部分，保留不模糊的图片和视频；
步骤3，图像增强：针对用户上传的具有强语义的图像局部模糊的情况，采用图像超分辨率技术对图像或视频数据进行修复；
步骤4，证据单元生成打包：系统将经过步骤1-3之后的数据按一定数量打包成多个批次，并发布到众包平台，从而完成证据材料的预处理过程。
4.如权利要求1所述的一种基于众包的交通违法行为标注质量评估系统，其特征是：
所述的任务管理模块负责任务生成、任务分发和任务状态变更；
所述的任务分为审核认证任务、众包发布任务；
任务管理模块生成任务，将其存入相应的任务批次，供审核员进行拉取，用户完成一个批次中所有任务提交以后，更新该批次所有任务状态，具体步骤如下：
步骤1，生成审核认证任务，所有的普通用户需要进行相关的认证任务测试，测试达标后方可成为审核员，参与实际众包平台系统发布的任务标注，所以需要针对这部分用户生成相应的测试任务；审核认证任务会依据已存在正确结果的证据单元，挑选一定数量的证据单元组成审核认证任务批次分发给普通用户；普通用户需要完成该批次的测试任务，并且测试的专业准确度需要达到一定阈值，才可以进入到后面的步骤；如果测得用户专业准确度没有到达该阈值，则需要重新生成测试任务批次；此外用户在一定时间进行认证任务的次数被限制以防止刷分现象存在；
步骤2，生成众包任务，通过测试以后的用户或审核员，开始实际的众包任务；任务管理模块会依据违法证据材料处理模块的输出数据，将该任务批次存入任务队列中进行管理；
步骤3，任务状态变更，同一个众包任务批次会有多个审核员领取，审核员提交标注结果以后，由质量控制模块完成最后的任务综合评估得出最终结果；任务评估完成以后，众包任务会从任务队列中取出。
5.如权利要求1所述的一种基于众包的交通违法行为标注质量评估系统，其特征是：
所述的用户管理模块包括系统用户的注册、登陆以及权限管理，用于保证本系统的安全性和众包任务的质量，具体步骤如下：
步骤1，注册登陆，用户需要填写个人资料进行注册，注册成功后进行登陆方可进入系统；
步骤2，标注测试，新注册的用户为普通用户，新用户默认会接收到审核认证任务，用户需要进行审核认证任务的答题，填写完成后，提交任务；由质量控制模块进行用户专业准确率评估，如果用户专业准确率达到规定的阈值，则通过认证成为审核员，可授予其众包任务权限；如果用户专业准确率低于规定的阈值，则用户需要继续进行审核认证任务，否则无权领取众包任务；
步骤3，开始众包，审核认证任务通过以后，用户可获取到众包任务权限，并可主动领取众包任务，用户对领取的众包任务进行标注，然后提交自己的标注结果。
6.如权利要求1所述的一种基于众包的交通违法行为标注质量评估系统，其特征是：
所述证据标注模块负责证据单元的标注工作，系统提供在线的交互友好的用户界面，用户可对单元进行违法行为种类标注，然后将完成的标注结果进行提交；质量管理模块会根据用户提交的标注结果进行计算，综合评估众包任务，锚定最终结果。
7.如权利要求1至6所述的评估系统的一种基于众包的交通违法行为标注质量评估方法，其特征包括以下步骤：
步骤1，收集用户上传的图片或视频证据材料，并对采集的数据材料进行数据清洗和预处理；
步骤2，对经过步骤1的数据集进行数据增强、数据单元生成打包，发布到众包平台；
步骤3，进入注册界面，用户输入手机号、验证码，并填写用户名、密码、性别、职业等信息进行注册；注册成功后，初始化用户的信誉分；进入登陆界面，用户输入手机号和密码进行登陆；
步骤4.从审核认证任务数据集中随机抽取n条证据单元组成一个任务批次，发送给用户进行认证；
步骤5.用户在证据标注模块进行违法行为的标注工作，完成该批次任务以后，提交自己的证据标注结果；
步骤6.质量控制模块判断用户提交的认证任务标注结果的正确率，根据公式(1)来判断用户的专业准确率；
步骤7.用户针对当前批次的标注结果准确率达到规定的阈值，则转步骤8，否则可在不超过尝试次数的情况下进行步骤4-6直到专业准确率达到规定阈值；
步骤8，审核员从任务队列中获取排在最前面的一个该用户未分配的任务批次，增加到该用户的任务列表中，最多允许有m个未完成的任务批次，m的大小正比于用户信誉分；
步骤9，审核员在证据标注模块进行违法行为的标注工作，完成该批次任务之后，提交自己的标注结果；
步骤10，从任务管理模块的任务队列中移除该批次任务，针对此批次中的每一个证据单元，依据公式(7)计算得到用户在该批次的贡献度大小，依据质量控制模块的证据最终结果锚定功能完成最终结果锚定；
步骤11，当用户完成一个批次batch后，需要依据公式(6)更新用户信誉分。
CN202011317541.9A 2020-11-23 2020-11-23 基于众包的交通违法行为标注质量评估系统及评估方法 Active CN112418665B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011317541.9A CN112418665B (zh) 2020-11-23 2020-11-23 基于众包的交通违法行为标注质量评估系统及评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011317541.9A CN112418665B (zh) 2020-11-23 2020-11-23 基于众包的交通违法行为标注质量评估系统及评估方法

Publications (2)

Publication Number Publication Date
CN112418665A true CN112418665A (zh) 2021-02-26
CN112418665B CN112418665B (zh) 2022-08-16

Family

ID=74777898

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011317541.9A Active CN112418665B (zh) 2020-11-23 2020-11-23 基于众包的交通违法行为标注质量评估系统及评估方法

Country Status (1)

Country Link
CN (1) CN112418665B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113192348A (zh) * 2021-04-21 2021-07-30 支付宝(杭州)信息技术有限公司 车辆异常告警方法、装置及计算机设备
CN113592305A (zh) * 2021-07-29 2021-11-02 北京百度网讯科技有限公司 测试方法、装置、电子设备以及存储介质
CN117762912A (zh) * 2023-12-07 2024-03-26 成都市汇众天智科技有限责任公司 一种数据标注质量评估与改进系统及方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110414680A (zh) * 2019-07-23 2019-11-05 国家计算机网络与信息安全管理中心 基于众包标注的知识加工系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110414680A (zh) * 2019-07-23 2019-11-05 国家计算机网络与信息安全管理中心 基于众包标注的知识加工系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113192348A (zh) * 2021-04-21 2021-07-30 支付宝(杭州)信息技术有限公司 车辆异常告警方法、装置及计算机设备
CN113592305A (zh) * 2021-07-29 2021-11-02 北京百度网讯科技有限公司 测试方法、装置、电子设备以及存储介质
CN117762912A (zh) * 2023-12-07 2024-03-26 成都市汇众天智科技有限责任公司 一种数据标注质量评估与改进系统及方法

Also Published As

Publication number Publication date
CN112418665B (zh) 2022-08-16

Similar Documents

Publication Publication Date Title
CN112418665B (zh) 基于众包的交通违法行为标注质量评估系统及评估方法
CN104935438B (zh) 用于身份验证的方法和装置
CN109716381A (zh) 基于视频的建筑施工及维护统合管理方法
US8838970B1 (en) Identity verification for online education
CN108520577A (zh) 基于人脸识别的访客预约管理方法
CN111144781A (zh) 一种基于云端数据的智能人才测评筛选方法
US20030154138A1 (en) Identification verification system and method
CN103208212A (zh) 一种防作弊的远程在线考试的方法与系统
CN111814240A (zh) 一种基于bim技术的公路工程农民工管理系统
CN113886712B (zh) 基于erp的人工智能汽车维修推荐方法、系统和存储介质
CN111862440A (zh) 基于区块链技术的投票系统
CN109015690B (zh) 主动交互对话机器人系统及方法
CN109801161A (zh) 智能信用和信息认证系统及方法
CN106127571A (zh) 一种轻型化运营处理方法及装置
CN111143813B (zh) 一种验证问题的生成方法、验证方法及装置
CN112862643A (zh) 一种多媒体远程教育平台系统
CN110852714A (zh) 应用于装修业务平台的薪酬提成数据管理系统
CN106570809A (zh) 一种基于多特征的水库移民电子问卷系统
CN115660627A (zh) 一种人员考勤的注册培训方法
CN110689443A (zh) 出险数据处理方法、装置及存储介质、服务器
CN113642992A (zh) 基于数据处理的云竞赛服务平台
CN112990702A (zh) 基于施工任务的施工队匹配方法、装置、设备及存储介质
KR102370043B1 (ko) 건설 현장 근로자 관리 방법 및 이를 실행하는 서버
Hernández et al. Biometrics in online assessments: A study case in high school students
CN113221529A (zh) 事件调查方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230410

Address after: Room 1815, 18th Floor, Suzhou Bay Smart Information Industrial Park, No. 100, Jiancun Road, East the Taihu Lake Lake Ecological Tourism Resort (the Taihu Lake New Town), Wujiang District, Suzhou City, Jiangsu Province, 215222

Patentee after: Zhongke Zhihai Information Technology (Suzhou) Co.,Ltd.

Address before: 210003, No. 66, new exemplary Road, Nanjing, Jiangsu

Patentee before: NANJING University OF POSTS AND TELECOMMUNICATIONS

TR01 Transfer of patent right