CN113032426A - 识别结果的智能校对方法、装置、设备及存储介质 - Google Patents
识别结果的智能校对方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113032426A CN113032426A CN202110379808.5A CN202110379808A CN113032426A CN 113032426 A CN113032426 A CN 113032426A CN 202110379808 A CN202110379808 A CN 202110379808A CN 113032426 A CN113032426 A CN 113032426A
- Authority
- CN
- China
- Prior art keywords
- result
- identification
- identification result
- proofreading
- client
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明属于人工智能识别技术领域，公开一种识别结果的智能校对方法、装置、设备及存储介质，所述方法包括：获取目标识别结果，校对系统将所述识别结果作为校对任务，发送给客户端，以供客户端对识别结果进行校对；所述目标识别结果包括第一识别结果和第二识别结果；校对系统接收来自所述客户端的对所述目标识别结果的校对结果，并判断；若所述校对结果属于第二识别结果的校对结果，则将该校对结果与预先存储的对应正确识别结果进行比对；若一致，则将该第二识别结果的校对结果作为最终的AI识别结果；若不一致，则向客户端发送警示信息和/或执行惩罚操作。本发明能够无感知地识别客户端的作弊行为，提升识别结果的校对准确率。
Description
技术领域
本发明属于人工智能识别技术领域，特别涉及一种识别结果的智能校对方法、装置、设备及存储介质。
背景技术
人工智能(Artificial Intelligence)，英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。
如今AI技术被广泛应用在各类场景的识别当中，如图片文字识别、智能翻译、意图识别等场景。AI识别出来的结果在准确性上仍有所不足，所以在一些对准确率要求高的场景下需要专门的校对人员及校对系统，对AI识别的内容进行人工核查与校对。
校对系统将AI识别的内容分发给用户进行人工核查，由人工进行判断AI识别的内容是否准确；如果人工核查判断AI识别的内容准确，则直接提交给校对系统；如果人工核查判断AI识别的内容不准确，则人工对识别结果进行修改后提交给校对系统。但是这样就会存在作弊漏洞，有些用户不对收到的AI识别的内容进行人工核对，都默认“正确”直接“无脑”进行提交；这种作弊行为，就会将大量原本需要进行修改的AI识别内容未修改直接提交给校对系统，而校对系统无法检测出这种作弊行为，最终导致校对系统整体的校对准确率不高。
发明内容
本发明的目的在于提供一种识别结果的智能校对方法、装置、设备及存储介质，能够发现作弊用户，有效的提升识别结果的智能校对准确率。
为了实现上述目的，本发明采用如下技术方案：
第一方面，本发明提供一种识别结果的智能校对方法，包括：
获取目标识别结果，校对系统将所述识别结果作为校对任务，发送给客户端，以供客户端对识别结果进行校对；所述目标识别结果包括第一识别结果和第二识别结果；其中，所述第二识别结果为预设的错误识别结果，且校对系统中存储有对应的正确识别结果；
校对系统接收来自所述客户端的对所述目标识别结果的校对结果，并判断所述校对结果属于第一识别结果的校对结果还是属于第二识别结果的校对结果；
若所述校对结果属于第二识别结果的校对结果，则将该校对结果与预先存储的对应正确识别结果进行比对，判断校对结果是否与所述正确识别结果一致；
若一致，则将该第二识别结果的校对结果作为最终的AI识别结果；
若不一致，则向客户端发送警示信息和/或执行惩罚操作。
本发明进一步的改进在于，目标识别结果为AI识别结果，包括识别对象的身份信息以及AI识别的结果信息。
本发明进一步的改进在于，识别对象为声音、图片、文字或翻译文本。
本发明进一步的改进在于，所述若所述校对结果属于第二识别结果的校对结果，则将该校对结果与预先存储的对应正确识别结果进行比对，判断校对结果是否与所述正确识别结果一致，还包括：
若不一致，所述校对系统调取下一个第二识别结果发送给所述客户端再次进行校对，直至所述校对系统判定接收到的所述客户端反馈的第二识别结果的校对结果与预先存储的正确识别结果一致，将正确的校对结果作为最终的识别结果，并依次执行下一个校对任务。
本发明进一步的改进在于，所述若不一致，所述校对系统调取下一个第二识别结果发送给所述客户端再次进行校对，直至所述校对系统判定接收到的所述客户端反馈的第二识别结果的校对结果与预先存储的正确识别结果一致，将正确的校对结果作为最终的识别结果，并依次执行下一个校对任务之后，还包括：
统计所述第二识别结果的校对结果与所述正确识别结果不一致的错误数量值，以及连续不一致的连续数量值，以此作为惩罚操作的条件。
本发明进一步的改进在于，所述统计所述第二识别结果的校对结果与所述正确识别结果不一致的错误数量值，以及连续不一致的连续数量值，以此作为惩罚操作的条件包括：
第一次识别出所述第二识别结果的校对结果与所述正确识别结果不一致时，所述错误数量值为1，所述连续数量值为0；
后续当所述第二识别结果的校对结果与所述正确识别结果不一致时，所述错误数量值依次加1，同时所述连续数量值加1；
直至当所述第二识别结果的校对结果与所述正确识别结果一致时，所述错误数量值保持不变，所述连续数量值为0。
本发明进一步的改进在于，所述统计所述第二识别结果的校对结果与所述正确识别结果不一致的错误数量值，以及连续不一致的连续数量值，以此作为惩罚操作的条件包括：
校对系统判断所有校对任务全部校对完成后，根据最终的错误数量值计算第一惩罚系数，根据连续数量值计算第二惩罚系数；
校对系统比较所述第一惩罚系数和第二惩罚系数的大小，将两者中较大者作为有效值计算惩罚倍数；
当第一惩罚系数和/或第二惩罚系数达到预设阈值时，按照预设的附加惩罚规则对用户进行惩罚操作。
本发明进一步的改进在于，所述根据最终错误数量值计算第一惩罚系数的方法包括：
根据所述错误数量值的大小设置对应的第一惩罚系数的大小；
所述根据连续数量值计算第二惩罚系数的方法包括：
根据所述连续数量值的大小设置对应的第二惩罚系数的大小。
本发明进一步的改进在于，所述第一识别结果包括表征其类型的第一标识信息，所述第二识别结果包括表征其类型的第二标识信息；所述第一识别结果的校对结果中包括所述第一标识信息，所述第二识别结果的校对结果中包括所述第二标识信息。
第二方面，本发明提供一种识别结果的智能校对装置，包括：
发送模块，用于获取目标识别结果，将所述识别结果作为校对任务，发送给客户端，以供客户端对识别结果进行校对；所述目标识别结果包括第一识别结果和第二识别结果；其中，所述第二识别结果为预设的错误识别结果，且发送模块中存储有对应的正确识别结果；
接收判断模块，用于接收来自所述客户端的对所述目标识别结果的校对结果，并判断所述校对结果属于第一识别结果的校对结果还是属于第二识别结果的校对结果；若所述校对结果属于第二识别结果的校对结果，则将该校对结果与预先存储的对应正确识别结果进行比对，判断校对结果是否与所述正确识别结果一致；若一致，则将该第二识别结果的校对结果作为最终的AI识别结果；若不一致，则向客户端发送警示信息和/或执行惩罚操作。
第三方面，本发明提供一种电子设备，所述电子设备包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序以实现所述的识别结果的智能校对方法。
第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储有至少一个指令，所述至少一个指令被处理器执行时实现所述的识别结果的智能校对方法。
相对于现有技术，本发明具有以下有益效果：
本发明提供一种识别结果的智能校对方法、装置、设备及存储介质，用于对人工智能识别的识别结果进行智能校对；本发明首先获取目标识别结果，将所述识别结果作为校对任务，发送给客户端，以供客户端对识别结果进行校对；所述目标识别结果包括第一识别结果和第二识别结果；其中，所述第二识别结果为预设的错误识别结果，且校对系统中存储有对应的正确识别结果；通过从客户端返回的第二识别结果的校对结果，就能够判断出客户端是否在“无脑”提交，客户端提交第二识别结果的校对结果比对不一致时，校对系统会向客户端发送警示信息和/或执行惩罚操作，提醒客户端并有相对的惩罚措施，提高客户端校对的准确性；本发明的第二识别结果与真实的第一识别结果一样，客户端不会感知在被监控，校对系统能够无感知地识别客户端的作弊行为，并通过此方法持续让客户端处于认真校对的状态之中，使校对系统能够最大程度地获取有价值的校对结果，有效的提提升了识别结果的智能校对准确率。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明一种识别结果的智能校对方法的流程图；
图2为本发明一种识别结果的智能校对装置的结构框图；
图3为本发明一种电子设备的结构框图。
具体实施方式
下面将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
以下详细说明均是示例性的说明，旨在对本发明提供进一步的详细说明。除非另有指明，本发明所采用的所有技术术语与本发明所属领域的一般技术人员的通常理解的含义相同。本发明所使用的术语仅是为了描述具体实施方式，而并非意图限制根据本发明的示例性实施方式。
实施例1
请参阅图1所示，本发明提供一种识别结果的智能校对方法，包括：
S1、获取目标识别结果，校对系统将所述识别结果作为校对任务，发送给客户端，以供客户端对识别结果进行校对；所述目标识别结果包括第一识别结果和第二识别结果；其中，所述第二识别结果为预设的错误识别结果，且校对系统中存储有对应的正确识别结果；
目标识别结果为AI识别结果，包括识别对象的身份信息以及AI识别的结果信息；其中，识别对象为声音、图片、文字、翻译文本等；校对任务包括第一识别结果和第二识别结果。
第一识别结果为正常的校对任务，校对系统对该识别结果的结果信息正确与否未知，需要客户端进行真正校对。
第二识别结果为是为了校验用户是否有真正参与校验而给用户派发的错误识别结果，用户校验出错误信息则表示用户有参与校对工作，若用户未校验出错误信息，则表示用户可能并未参与校对工作，而是直接跳过校验。
S2、校对系统接收来自所述客户端的对所述目标识别结果的校对结果，并判断所述校对结果属于第一识别结果的校对结果还是属于第二识别结果的校对结果；
第一识别结果包括表征其类型的第一标识信息，第二识别结果包括表征其类型的第二标识信息；第一识别结果的校对结果中包括第一标识信息，第二识别结果的校对结果中包括第二标识信息。第一标识信息和第二标识信息对客户端不可见，校对系统能够获知第一标识信息和第二标识信息，并以此来判断收到的校对结果是属于第一识别结果的校对结果还是属于第二识别结果的校对结果。
S3、若所述校对结果属于第二识别结果的校对结果，则将该校对结果与预先存储的对应正确识别结果进行比对，判断校对结果是否与所述正确识别结果一致；若一致，则将该第二识别结果的校对结果作为最终的AI识别结果；若不一致，则向客户端发送警示信息和/或执行惩罚操作。
其中，若不一致时，校对系统调取下一个第二识别结果发送给所述客户端再次进行校对，直至所述校对系统判定接收到的所述客户端反馈的第二识别结果的校对结果与预先存储的正确识别结果一致，将正确的校对结果作为最终的识别结果，并依次执行下一个校对任务。
校对系统一旦判断客户端提交的第二识别结果的校对结果与存储的正确识别结果比对不一致，将从第二识别结果库随机抽取另外一个第二识别结果派发给客户端进行持续校对，直至校对系统判定收到客户端反馈的第二识别结果的校对结果与存储的正确识别结果比对一致为止；如果客户端连续设定次数提交的第二识别结果的校对结果与存储的正确识别结果比对不一致，校对系统将暂停派发校对任务给该客户端。
第二识别结果的正确识别结果预存于校对系统中，所以从客户端返回的校对结果就能够判断出客户端是否在“无脑”提交，客户端提交第二识别结果的校对结果与存储的正确识别结果比对不一致时，校对系统会发出警报信息，提醒客户端并有相对的惩罚措施，提高客户端校对的准确性；本发明的第二识别结果与真实的第一识别结果一样，客户端不会感知在被监控，校对系统能够无感知地识别客户端的作弊行为，并通过此方法持续让客户端处于认真校对的状态之中，使校对系统能够最大程度地获取有价值的校对结果，有效的提提升了识别结果的智能校对准确率。
实施例2
请参阅图1所示，本发明提供一种识别结果的智能校对方法，包括：
1)、获取目标识别结果，校对系统将所述识别结果作为校对任务，发送给客户端，以供客户端对识别结果进行校对；所述目标识别结果包括第一识别结果和第二识别结果；其中，所述第二识别结果为预设的错误识别结果，且校对系统中存储有对应的正确识别结果；目标识别结果为AI识别结果，包括识别对象的身份信息以及AI识别的结果信息；其中，识别对象为声音、图片、文字、翻译文本等；校对任务包括第一识别结果和第二识别结果。
第一识别结果为正常的校对任务，校对系统对该识别结果的结果信息正确与否未知，需要客户端进行真正校对。
第二识别结果为是为了校验用户是否有真正参与校验而给用户派发的错误识别结果，用户校验出错误信息则表示用户有参与校对工作，若用户未校验出错误信息，则表示用户可能并未参与校对工作，而是直接跳过校验。
以AI图片识别情景为例，通过第二识别结果(“钓鱼”题目)来进行智能校对。设计第二识别结果(“钓鱼”题目)：挑选清晰可辨的图片，并对图片进行算法识别结果和正确识别结果的填写，其中，算法识别结果是客户端能够看到的识别结果，故意设置为错误的识别结果，正确识别结果则与图片信息保持一致，存储于校对系统中。例如，第二识别结果中识别对象为红灯图片，正确的AI识别的结果信息为“红灯”存储于校对系统中，在第二识别结果中故意设置为错误的AI识别结果信息为“绿灯”，发送给客户端，强制客户对AI识别结果信息进行校对修改。对于这些第二识别结果(“钓鱼”题目)，校对系统是已知正确识别结果，所以客户端提交的结果不会进行交叉校验程序。如果校对系统判断客户端提交的第二识别结果的校对结果与存储的正确识别结果比对不一致(最常见的方式是直接提交)，校对系统会向客户端发送警示信息和/或执行惩罚操作，同时认为该用户存在作弊的嫌疑。反之，只要校对系统判断客户端提交的第二识别结果的校对结果与存储的正确识别结果比对一致，会获得相应的积分奖励。
2)、客户端中第一区域显示识别对象的身份信息，第二区域显示AI识别的结果信息；并根据第一区域中显示的识别对象的身份信息调整第二区域中显示的结果信息，获得校对结果；并将校对结果发送给校对系统；校对系统接收来自所述客户端的对所述目标识别结果的校对结果，并判断所述校对结果属于第一识别结果的校对结果还是属于第二识别结果的校对结果。
其中，如果客户端判断第二区域中显示的结果信息正确，则直接提交，无需调整；此时，校对结果与校对任务内容一致；
如果客户端判断第二区域中显示的结果信息有误，则在第二显示区域中调整结果信息，并保存获得校对结果；此时校对结果与原始校对任务内容有区别，包括识别对象的身份信息以及调整后的结果信息。
3)、如果校对系统判断收到的校对结果属于第一识别结果的校对结果，将校对结果作为最终的AI识别结果，并记录积分，然后下发下一个校对任务给客户端；如果校对系统判断收到的校对结果属于第二识别结果的校对结果，则将该校对结果与预先存储的对应正确识别结果进行比对，判断校对结果是否与所述正确识别结果一致；若一致，则将该第二识别结果的校对结果作为最终的AI识别结果记录积分，并下发下一个校对任务给客户端；若不一致，向客户端发送警示信息并下发下一个第二校对任务给客户端，直至校对系统判定收到客户端反馈的第二识别结果的校对结果与正确识别结果一致时，将校对结果作为最终的AI识别结果，记录积分，并下发下一个校对任务给客户端。
实施例3
本发明提供一种识别结果的智能校对方法，在实施例1或2的基础上，还包括第二识别结果库的建立步骤。
本发明中校对系统在待校对的目标识别结果中选择部分目标识别结果，对其识别结果进行修改，使其识别结果明显错误，形成第二识别结果；所有第二识别结果存储于第二识别结果库中，供校对系统调用。
本发明中，校对系统可以根据总目标识别结果数设计其中分布的第二识别结果数量，形成第二识别结果库；具体参见表1所示：
表1总目标识别结果中第二识别结果的数量
校对系统一旦判断客户端提交的第二识别结果的校对结果与存储的正确识别结果比对不一致，将从第二识别结果库随机抽取另外一个第二识别结果派发给客户端进行持续校对，直至校对系统判定收到客户端反馈的第二识别结果的校对结果与存储的正确识别结果比对一致为止；如果客户端连续设定次数提交的第二识别结果的校对结果与存储的正确识别结果比对不一致，校对系统将暂停派发校对任务给该客户端。
第二识别结果的正确识别结果预存于校对系统中，所以从客户端返回的校对结果就能够判断出客户端是否在“无脑”提交，客户端提交第二识别结果的校对结果与存储的正确识别结果比对不一致时，校对系统会发出警报信息，提醒客户端并有相对的惩罚措施，提高客户端校对的准确性；本发明的第二识别结果与真实的第一识别结果一样，客户端不会感知在被监控，校对系统能够无感知地识别客户端的作弊行为，并通过此方法持续让客户端处于认真校对的状态之中，使校对系统能够最大程度地获取有价值的校对结果，有效的提提升了识别结果的智能校对准确率。
实施例4
本发明提供一种识别结果的智能校对方法，在实施例1或2的基础上，还包括进行第二识别结果的判定与惩罚的步骤。
1、作弊计数
校对系统统计第二识别结果的校对结果与所述正确识别结果不一致的错误数量值，以及连续不一致的连续数量值，以此作为惩罚操作的条件；第一次识别出所述第二识别结果的校对结果与所述正确识别结果不一致时，所述错误数量值为1，所述连续数量值为0；后续当所述第二识别结果的校对结果与所述正确识别结果不一致时，所述错误数量值依次加1，同时所述连续数量值加1；直至当所述第二识别结果的校对结果与所述正确识别结果一致时，所述错误数量值保持不变，所述连续数量值为0。
具体的，校对系统判断客户端提交的第二识别结果的校对结果与存储的正确识别结果比对不一致时，计算有两个维度：错误数量值K以及连续数量值Q，其中错误数量值K＝{0，1，2，3，4，5}，连续数量值Q＝＝{0，1，2，3，4}。规则是：校对系统每次对第二识别结果的校对结果与存储的正确识别结果比对完成后，计算客户端的错误数量值K以及连续数量值Q；校对系统判断比对不一致时，错误数量值K加1，连续数量值Q加1；校对系统判断比对一致时，错误数量值K不变，连续数量值Q清零。
两个维度构成了客户端的刷分行为记录，用以区别机器刷分行为与人为刷分，实现在最短的时间内将不良客户端摒除在校对系统之外并对应给出不同力度的惩罚措施。
校对系统比对客户端第一个第二识别结果的校对结果不一致时，标记错误数量值K＝1，连续数量值Q＝1(错误数量值K、连续数量值Q的初始值均为0)；
校对系统比对客户端任意一个第二识别结果的校对结果与存储的正确识别结果不一致时，校对系统下发的下一个校对任务也会是第二识别结果，此时：
若校对系统比对客户端第二个第二识别结果的校对结果与存储的正确识别结果一致时(即校对结果未连续比对不一致)，错误数量值K的计数不变，连续数量值Q重置为0，即此时错误数量值K＝1，连续数量值Q＝0；
若校对系统比对客户端第二个第二识别结果的校对结果与存储的正确识别结果继续不一致时(即连续两次比对不一致)，同时标记错误数量值K＝K+1，连续数量值Q＝Q+1，即此时错误数量值K＝2，连续数量值Q＝2；
按照以上方法，校对系统每次对比对客户端第二识别结果的校对结果与存储的正确识别结果后，计算客户端的错误数量值K以及连续数量值Q。
2、惩罚系数
校对系统判断所有校对任务全部校对完成后，根据最终的错误数量值的大小设置对应的第一惩罚系数的大小，根据连续数量值的大小设置对应的第二惩罚系数的大小；校对系统比较所述第一惩罚系数和第二惩罚系数的大小，将两者中较大者作为有效值计算惩罚倍数；当第一惩罚系数和/或第二惩罚系数达到预设阈值时，按照预设的附加惩罚规则对用户进行惩罚操作。
错误数量值K的不同计数分别对应不同的第一惩罚系数DK值，具体对应关系如下：
表2错误数量值K与第一惩罚系数DK值对应表
| K | 0 | 1 | 2 | 3 | 4 | 5 |
| DK | 0 | 0 | 0 | 0.4 | 0.8 | 1 |
连续数量值Q的不同计数分别对应不同的第二惩罚系数DQ值，具体对应关系如下：
表3连续数量值Q与第二惩罚系数DQ值对应表
| Q | 0 | 1 | 2 | 3 | 4 |
| DQ | 0 | 0 | 0.2 | 0.8 | 1 |
第一惩罚系数DK，第二惩罚系数DQ的分值代表校对系统将扣除客户端当天的任务积分的比例，取两者的最大值作为惩罚系数的当前有效值。例如：当第一惩罚系数DK＝0.4，第二惩罚系数DQ＝0.8，校对系统将取0.8为有效值，扣除客户端当天80％的任务积分作为惩罚。此外，当第一惩罚系数DK＝1时，校对系统除了扣除客户端当天所做的所有任务积分之外，还会将客户端今天的任务完成单数清零，重新计数；当第二惩罚系数DQ＝1时，校对系统除了清零任务单数与任务积分之外，会在一个小时之内暂停对该刷分客户端的任务派发。
实施例5
请参阅图2所示，本发明提供一种识别结果的智能校对装置，包括：
发送模块，用于获取目标识别结果，校对系统将所述识别结果作为校对任务，发送给客户端，以供客户端对识别结果进行校对；所述目标识别结果包括第一识别结果和第二识别结果；其中，所述第二识别结果为预设的错误识别结果，且校对系统中存储有对应的正确识别结果；
接收判断模块，用于接收来自所述客户端的对所述目标识别结果的校对结果，并判断所述校对结果属于第一识别结果的校对结果还是属于第二识别结果的校对结果；若所述校对结果属于第二识别结果的校对结果，则将该校对结果与预先存储的对应正确识别结果进行比对，判断校对结果是否与所述正确识别结果一致；若一致，则将该第二识别结果的校对结果作为最终的AI识别结果；若不一致，则向客户端发送警示信息和/或执行惩罚操作。
接收判断模块，还用于：每次比对客户端第二个第二识别结果的校对结果与存储的正确识别结果后，计算客户端的错误数量值K以及连续数量值Q；比对客户端第二识别结果的校对结果与存储的正确识别结果不一致时，错误数量值K加1，连续数量值Q加1；比对客户端第二识别结果的校对结果与存储的正确识别结果一致时，连续数量值Q清零；接收判断模块判断客户端校对的校对任务总数达到设定的总校对任务数N时，根据错误数量值K计算第一惩罚系数DK，根据连续数量值Q计算第二惩罚系数DQ；比较第一惩罚系数DK和第二惩罚系数DQ的大小，两者中较大者作为有效值X；扣除客户端当天X倍的任务积分；当第一惩罚系数DK＝1时，除了扣除客户端当天所做的所有任务积分之外，还将客户端今天的任务完成单数清零，重新计数；当第二惩罚系数DQ＝1时，除了清零任务单数与任务积分之外，在预设时间之内暂停对该客户端的任务派发。
实施例6
请参阅图3所示，本发明还提供一种识别结果的智能校对方法的电子设备100；所述电子设备100包括存储器101、至少一个处理器102、存储在所述存储器101中并可在所述至少一个处理器102上运行的计算机程序103及至少一条通讯总线104。
存储器101可用于存储所述计算机程序103，所述处理器102通过运行或执行存储在所述存储器101内的计算机程序，以及调用存储在存储器101内的数据，实现实施例1至4中任一个所述的识别结果的智能校对方法的方法步骤。所述存储器101可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备100的使用所创建的数据(比如音频数据)等。此外，存储器101可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。
所述至少一个处理器102可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器102可以是微处理器或者该处理器102也可以是任何常规的处理器等，所述处理器102是所述电子设备100的控制中心，利用各种接口和线路连接整个电子设备100的各个部分。
所述电子设备100中的所述存储器101存储多个指令以实现一种耦合的多任务特征提取方法，所述处理器102可执行所述多个指令从而实现：
获取目标识别结果，校对系统将所述识别结果作为校对任务，发送给客户端，以供客户端对识别结果进行校对；所述目标识别结果包括第一识别结果和第二识别结果；其中，所述第二识别结果为预设的错误识别结果，且校对系统中存储有对应的正确识别结果；
校对系统接收来自所述客户端的对所述目标识别结果的校对结果，并判断所述校对结果属于第一识别结果的校对结果还是属于第二识别结果的校对结果；
若所述校对结果属于第二识别结果的校对结果，则将该校对结果与预先存储的对应正确识别结果进行比对，判断校对结果是否与所述正确识别结果一致；
若一致，则将该第二识别结果的校对结果作为最终的AI识别结果；
若不一致，则向客户端发送警示信息和/或执行惩罚操作。
具体地，所述处理器102对上述指令的具体实现方法可参考实施例1中相关步骤的描述，在此不赘述。
实施例7
所述电子设备100集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器及只读存储器(ROM，Read-Only Memory)。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。
Claims (10)
1.识别结果的智能校对方法，其特征在于，包括：
获取目标识别结果，校对系统将所述识别结果作为校对任务，发送给客户端，以供客户端对识别结果进行校对；所述目标识别结果包括第一识别结果和第二识别结果；其中，所述第二识别结果为预设的错误识别结果，且校对系统中存储有对应的正确识别结果；
校对系统接收来自所述客户端的对所述目标识别结果的校对结果，并判断所述校对结果属于第一识别结果的校对结果还是属于第二识别结果的校对结果；
若所述校对结果属于第二识别结果的校对结果，则将该校对结果与预先存储的对应正确识别结果进行比对，判断校对结果是否与所述正确识别结果一致；
若一致，则将该第二识别结果的校对结果作为最终的AI识别结果；
若不一致，则向客户端发送警示信息和/或执行惩罚操作。
2.根据权利要求1所述的识别结果的智能校对方法，其特征在于，所述若所述校对结果属于第二识别结果的校对结果，则将该校对结果与预先存储的对应正确识别结果进行比对，判断校对结果是否与所述正确识别结果一致，还包括：
若不一致，所述校对系统调取下一个第二识别结果发送给所述客户端再次进行校对，直至所述校对系统判定接收到的所述客户端反馈的第二识别结果的校对结果与预先存储的正确识别结果一致，将正确的校对结果作为最终的识别结果，并依次执行下一个校对任务。
3.根据权利要求2所述的识别结果的智能校对方法，其特征在于，所述若不一致，所述校对系统调取下一个第二识别结果发送给所述客户端再次进行校对，直至所述校对系统判定接收到的所述客户端反馈的第二识别结果的校对结果与预先存储的正确识别结果一致，将正确的校对结果作为最终的识别结果，并依次执行下一个校对任务之后，还包括：
统计所述第二识别结果的校对结果与所述正确识别结果不一致的错误数量值，以及连续不一致的连续数量值，以此作为惩罚操作的条件。
4.根据权利要求3所述的识别结果的智能校对方法，其特征在于，所述统计所述第二识别结果的校对结果与所述正确识别结果不一致的错误数量值，以及连续不一致的连续数量值，以此作为惩罚操作的条件包括：
第一次识别出所述第二识别结果的校对结果与所述正确识别结果不一致时，所述错误数量值为1，所述连续数量值为0；
后续当所述第二识别结果的校对结果与所述正确识别结果不一致时，所述错误数量值依次加1，同时所述连续数量值加1；
直至当所述第二识别结果的校对结果与所述正确识别结果一致时，所述错误数量值保持不变，所述连续数量值为0。
5.根据权利要求4所述的识别结果的智能校对方法，其特征在于，所述统计所述第二识别结果的校对结果与所述正确识别结果不一致的错误数量值，以及连续不一致的连续数量值，以此作为惩罚操作的条件包括：
校对系统判断所有校对任务全部校对完成后，根据最终的错误数量值计算第一惩罚系数，根据连续数量值计算第二惩罚系数；
校对系统比较所述第一惩罚系数和第二惩罚系数的大小，将两者中较大者作为有效值计算惩罚倍数；
当第一惩罚系数和/或第二惩罚系数达到预设阈值时，按照预设的附加惩罚规则对用户进行惩罚操作。
6.根据权利要求5述的识别结果的智能校对方法，其特征在于，所述根据最终错误数量值计算第一惩罚系数的方法包括：
根据所述错误数量值的大小设置对应的第一惩罚系数的大小；
所述根据连续数量值计算第二惩罚系数的方法包括：
根据所述连续数量值的大小设置对应的第二惩罚系数的大小。
7.根据权利要求1述的识别结果的智能校对方法，其特征在于，所述第一识别结果包括表征其类型的第一标识信息，所述第二识别结果包括表征其类型的第二标识信息；所述第一识别结果的校对结果中包括所述第一标识信息，所述第二识别结果的校对结果中包括所述第二标识信息。
8.识别结果的智能校对装置，其特征在于，包括：
发送模块，用于获取目标识别结果，将所述识别结果作为校对任务，发送给客户端，以供客户端对识别结果进行校对；所述目标识别结果包括第一识别结果和第二识别结果；其中，所述第二识别结果为预设的错误识别结果，且发送模块中存储有对应的正确识别结果；
接收判断模块，用于接收来自所述客户端的对所述目标识别结果的校对结果，并判断所述校对结果属于第一识别结果的校对结果还是属于第二识别结果的校对结果；若所述校对结果属于第二识别结果的校对结果，则将该校对结果与预先存储的对应正确识别结果进行比对，判断校对结果是否与所述正确识别结果一致；若一致，则将该第二识别结果的校对结果作为最终的AI识别结果；若不一致，则向客户端发送警示信息和/或执行惩罚操作。
9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序以实现如权利要求1至7中任意一项所述的识别结果的智能校对方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有至少一个指令，所述至少一个指令被处理器执行时实现如权利要求1至7中任意一项所述的识别结果的智能校对方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110379808.5A CN113032426A (zh) | 2021-04-08 | 2021-04-08 | 识别结果的智能校对方法、装置、设备及存储介质 |
| PCT/CN2021/097162 WO2022213466A1 (zh) | 2021-04-08 | 2021-05-31 | 识别结果的智能校对方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110379808.5A CN113032426A (zh) | 2021-04-08 | 2021-04-08 | 识别结果的智能校对方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113032426A true CN113032426A (zh) | 2021-06-25 |
Family
ID=76456035
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110379808.5A Pending CN113032426A (zh) | 2021-04-08 | 2021-04-08 | 识别结果的智能校对方法、装置、设备及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN113032426A (zh) |
| WO (1) | WO2022213466A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116129731B (zh) * | 2022-12-29 | 2023-09-15 | 北京布局未来教育科技有限公司 | 人工智能模拟教学系统与方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7159123B1 (en) * | 1999-12-17 | 2007-01-02 | Cisco Technology, Inc. | Use of cyclic redundancy checking for segregating control traffic |
| CN105184653A (zh) * | 2015-09-08 | 2015-12-23 | 苏州大学 | 一种面向社交网络的基于信任的众包工人筛选方法 |
| CN105808197A (zh) * | 2014-12-30 | 2016-07-27 | 联想(北京)有限公司 | 一种信息处理方法和电子设备 |
| CN108734196A (zh) * | 2018-04-17 | 2018-11-02 | 平安科技（深圳）有限公司 | 众包平台的作业方法、装置、计算机设备和存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6596373B6 (ja) * | 2016-03-24 | 2019-12-11 | 株式会社アドバンスト・メディア | 表示処理装置及び表示処理プログラム |
| CN112559369A (zh) * | 2020-12-23 | 2021-03-26 | 上海眼控科技股份有限公司 | 一种自动化测试方法、设备和存储介质 |
-
2021
- 2021-04-08 CN CN202110379808.5A patent/CN113032426A/zh active Pending
- 2021-05-31 WO PCT/CN2021/097162 patent/WO2022213466A1/zh active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7159123B1 (en) * | 1999-12-17 | 2007-01-02 | Cisco Technology, Inc. | Use of cyclic redundancy checking for segregating control traffic |
| CN105808197A (zh) * | 2014-12-30 | 2016-07-27 | 联想(北京)有限公司 | 一种信息处理方法和电子设备 |
| CN105184653A (zh) * | 2015-09-08 | 2015-12-23 | 苏州大学 | 一种面向社交网络的基于信任的众包工人筛选方法 |
| CN108734196A (zh) * | 2018-04-17 | 2018-11-02 | 平安科技（深圳）有限公司 | 众包平台的作业方法、装置、计算机设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022213466A1 (zh) | 2022-10-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109410675B (zh) | 一种基于学生画像的练习题推荐方法及家教设备 | |
| CN107122786B (zh) | 一种众包学习方法及装置 | |
| CN110135245B (zh) | 到店确认方法、装置、电子设备及可读存储介质 | |
| CN112668453B (zh) | 视频识别方法及相关设备 | |
| CN111860377A (zh) | 基于人工智能的直播方法、装置、电子设备及存储介质 | |
| CN110310247A (zh) | 图像处理方法、装置、终端及计算机可读存储介质 | |
| CN110135850A (zh) | 一种信息处理方法和相关装置 | |
| CN113064994A (zh) | 会议质量评估方法、装置、设备及存储介质 | |
| CN113032426A (zh) | 识别结果的智能校对方法、装置、设备及存储介质 | |
| CN111582405A (zh) | 一种数据标注方法及装置 | |
| CN114639152A (zh) | 基于人脸识别的多模态语音交互方法、装置、设备及介质 | |
| CN112286780B (zh) | 识别算法的测试方法、装置、设备及存储介质 | |
| CN111651500A (zh) | 用户身份识别方法、电子设备及存储介质 | |
| CN110942066A (zh) | 票据核对方法及装置 | |
| CN111275540A (zh) | 一种消费信贷审批方法、装置及终端设备 | |
| CN114898155B (zh) | 车辆定损方法、装置、设备及存储介质 | |
| CN114218288B (zh) | 一种行车路线推荐方法、装置、存储介质及终端 | |
| CN114757729A (zh) | 交易请求的处理方法、装置、终端设备和存储介质 | |
| CN113177543B (zh) | 证件识别方法、装置、设备及存储介质 | |
| CN105224957A (zh) | 一种基于单样本的图像识别的方法及系统 | |
| CN114529269A (zh) | 无效经营范围的处理方法、装置、电子设备及存储介质 | |
| CN113035240A (zh) | 语音播报方法、装置、设备及存储介质 | |
| CN112637148A (zh) | 验证用户的方法、装置、电子设备及介质 | |
| CN111831981A (zh) | 基于区块链的表决签字方法、装置、设备及存储介质 | |
| CN114972093B (zh) | 图像增强方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |