CN110458441A - 质量检验的审核方法、装置、系统及存储介质 - Google Patents

质量检验的审核方法、装置、系统及存储介质 Download PDF

Info

Publication number
CN110458441A
CN110458441A CN201910722272.5A CN201910722272A CN110458441A CN 110458441 A CN110458441 A CN 110458441A CN 201910722272 A CN201910722272 A CN 201910722272A CN 110458441 A CN110458441 A CN 110458441A
Authority
CN
China
Prior art keywords
quality inspection
eye movement
examined
movement information
standard
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910722272.5A
Other languages
English (en)
Inventor
张朕
秦林婵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qixin Yiwei (Shenzhen) Technology Co., Ltd.
Beijing Qixin Yiwei Information Technology Co Ltd
Original Assignee
Beijing Qixin Yiwei Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qixin Yiwei Information Technology Co Ltd filed Critical Beijing Qixin Yiwei Information Technology Co Ltd
Priority to CN201910722272.5A priority Critical patent/CN110458441A/zh
Publication of CN110458441A publication Critical patent/CN110458441A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Databases & Information Systems (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Economics (AREA)
  • Quality & Reliability (AREA)
  • General Business, Economics & Management (AREA)
  • Mathematical Physics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Library & Information Science (AREA)
  • Tourism & Hospitality (AREA)
  • Game Theory and Decision Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明实施例公开了一种质量检验的审核方法、装置、系统及存储介质。包括：获取第一用户质检目标产品时生成的待考核图像集，所述待考核图像包括标注有第一眼动信息的目标产品；将所述待考核图像集与标准质检模型进行比对，获得比对结果；所述标准质检模型包含所述目标产品的标准图像信息，且目标产品的标准图像信息中包含第二眼动信息；根据所述比对结果确定所述第一用户的质检是否合格。本发明实施例提供的质量检验的审核方法，将用户质检目标产品时生成的待考核图像集与标准质检模型比对，确定用户的质检过程是否合格，不仅可以降低对质量检验审核的误差，且可以提高审核的效率。

Description

质量检验的审核方法、装置、系统及存储介质
技术领域
本发明实施例涉及质量检验技术领域，尤其涉及一种质量检验的审核方法、装置、系统及存储介质。
背景技术
传统的质量检验的审核过程中，需要质检员边对产品进行质检边口头讲出质检的流程及质检的位置点等，然后抽检完成质检的产品，最后根据抽检结果来评价质检员的质检过程。这种方式，由于无法对质检员质检后的所有产品进行抽检，使得审核结果存在较大的误差，且无法确定质检员质检过程中存在的问题，而且需要人工来进行抽检，效率低下。
发明内容
本发明实施例提供一种质量检验的审核方法、装置、系统及存储介质，以实现对质检员的质检过程的审核，不仅可以降低对质量检验审核的误差，且可以提高审核的效率。
第一方面，本发明实施例提供了一种质量检验的审核方法，该方法包括：
获取第一用户质检目标产品时生成的待考核图像集，所述待考核图像包括标注有第一眼动信息的目标产品；
将所述待考核图像集与标准质检模型进行比对，获得比对结果；所述标准质检模型包含所述目标产品的标准图像信息，且所述目标产品的标准图像信息中包括第二眼动信息；
根据所述比对结果确定所述第一用户的质检是否合格。
进一步地，所述第一眼动信息包括注视点位置及注视时长；第二眼动信息包括至少一个注视点位置、各注视点位置的注视时长、平均注视时长及注视次数；所述第二眼动信息由至少一个第一眼动信息统计获得。
进一步地，将所述待考核图像集与标准质检模型进行比对，获得比对结果，包括：
将各待考核图像进行图像识别及数据处理，获得各待考核图像的第一眼动信息；
分别判断各待考核图像中的注视点位置是否与标准质检模型的其中一个注视点位置匹配，若匹配，则确定为有效图像；
对所述有效图像的第一眼动信息进行统计，获得待考核图像集的第二眼动信息；
将所述待考核图像集的第二眼动信息与标准质检模型的第二眼动信息进行比对，获得比对结果。
进一步地，若第二眼动信息中的注视点位置包括至少两个，则根据所述比对结果确定所述第一用户的质检是否合格，包括：
若所述待考核图像集的第二眼动信息中各注视点位置、注视点位置的平均注视时长及注视次数与标准质检模型的第二眼动信息中各注视点位置、注视点位置的平均注视时长及注视次数均匹配，则所述第一用户的质检合格，否则，不合格。
进一步地，在获取第一用户质检目标产品时生成的待考核图像集之前，还包括：
获取第二用户质检所述目标产品时生成的标准图像集；所述标准图像包括标注有第一眼动信息的目标产品；
对所述标准图像集进行图像识别及数据处理，获得标准质检模型。
进一步地，获取第二用户质检所述目标产品时生成的标准图像集，包括：
获取至少两个第二用户质检所述目标产品时生成的标准样本集，其中一个样本集对应一个标准图像集；
将所述标准样本集输入深度学习网络进行图像识别及数据处理，获得标准质检模型。
进一步地，当所述标准质检模型为3D标准模型时，获得标准质检模型，包括：
创建目标产品的3D图像；
获取第二眼动信息中各注视点位置在2D图像与3D图像间的映射关系；
根据所述映射关系将第二眼动信息中的至少一个注视点位置、各注视点位置的平均注视时长及注视次数标注于所述3D图像中，获得3D标准模型。
第二方面，本发明实施例还提供了一种质量检验的审核装置，该装置包括：
待考核图像集获取模块，用于获取第一用户质检目标产品时生成的待考核图像集，所述待考核图像包括标注有第一眼动信息的目标产品；
比对结果获取模块，用于将所述待考核图像集与标准质检模型进行比对，获得比对结果；所述标准质检模型包含所述目标产品的标准图像信息，且目标产品的标准图像信息中包括第二眼动信息；
质检合格确定模块，用于根据所述比对结果确定所述第一用户的质检是否合格。
第三方面，本发明实施例还提供了一种质量检验的审核系统，包括：眼球追踪单元和质检审核单元；
所述眼球追踪单元用于采集第一用户质检产品时的待考核图像集，并将所述待考核图像集发送至质检审核单元；
所述质检审核单元用于将待考核图像集与标准质检模型进行比对，获得审核结果。
第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例所述的质量检验的审核方法。
本发明实施例，首先获取第一用户质检目标产品时生成的待考核图像集，待考核图像包括标注有第一眼动信息的目标产品，然后将待考核图像集与标准质检模型进行比对，获得比对结果；标准质检模型包含目标产品的标准图像信息，且目标产品的标准图像信息中包含第二眼动信息；最后根据比对结果确定第一用户的质检是否合格。本发明实施例提供的质量检验的审核方法，将用户质检目标产品时生成的待考核图像集与标准质检模型比对，确定用户的质检过程是否合格，不仅可以降低对质量检验审核的误差，且可以提高审核的效率。
附图说明
图1是本发明实施例一中的一种质量检验的审核方法的流程图；
图2a是本发明实施例一中的待考核图像的示例图；
图2b是本发明实施例一中的一种标准质检模型的示例图；
图3是本发明实施例一中的一种待考核图像集的第二眼动信息与标准质检模型的第二眼动信息比对的流程图；
图4是本发明实施例二中的一种质量检验的审核装置的结构示意图；
图5是本发明实施例三中的一种质量检验的审核系统的结构示意图；
图6是本发明实施例四中的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
本发明实施例的方案基于眼球追踪技术。眼球追踪也可以称为视线追踪，是通过测量眼睛运动情况来估计眼睛的视线和/或注视点的技术。其中，视线可以理解为一个三维矢量，注视点可以理解为三维矢量投影在某个平面上的二维坐标。
眼球追踪传感器包括红外相机和近红外光源。对眼球进行追踪可以采用光学记录法实现。光学记录法的原理是，利用红外相机记录被测试者的眼睛运动情况，即获取能够反映眼睛运动的眼部图像，从获取到的眼部图像中提取眼部特征用于建立视线/注视点的估计模型。其中，眼部特征可以包括：瞳孔位置、瞳孔形状、虹膜位置、虹膜形状、眼皮位置、眼角位置、光斑位置(或者普尔钦斑)等。
光学记录法包括瞳孔-角膜反射法。瞳孔-角膜反射法的原理是，近红外光源照向眼睛，由红外相机对眼部进行拍摄，同时拍摄到光源在角膜上的反射点即光斑，由此获取到带有光斑的眼部图像。
随着眼球的转动，瞳孔中心与光斑的相对位置关系发生变化。采集到多张带有光斑的眼部图像都可以反映位置变化关系，根据位置变化关系进行视线/注视点的估计。
实施例一
图1为本发明实施例一提供的一种质量检验的审核方法的流程图，本实施例可适用于对质检员的质检过程进行审核的情况，该方法可以由质量检验的审核装置来执行，该装置可由硬件和/或软件组成，并一般可集成在具有质量检验的审核功能的设备中，该设备可以是服务器、移动终端或服务器集群等电子设备。如图1所示，该方法具体包括如下步骤：
步骤110，获取第一用户质检目标产品时生成的待考核图像集。
其中，待考核图像包括标注有第一眼动信息的目标产品。第一眼动信息可以包括注视点位置及注视时长等信息。第一用户可以是无质检经验的新学员或者是需要考核的质检员。
本实施例中，第一用户佩戴眼动仪对目标产品进行质检的过程中，眼动仪可以实时的获取到第一用户的视野画面，当第一用户的视野内每形成一个注视点，根据采集到的视野画面生成一张待考核图像，该待考核图像中标注有用户的注视点位置以及注视的时长。示例性的，图2a为本实施例中的待考核图像的示例图。如图2a所示，该图像中包含有标注有注视点位置及注视时长的目标产品，注视点位置用黑色的圆标注，注视时长为5秒。
在本应用场景下，目标产品的多个位置需要第一用户质检，这样就会形成多个注视点，从而生成多张待考核图像，多张待考核图像组成待考核图像集。
步骤120，将待考核图像集与标准质检模型进行比对，获得比对结果。
其中，标准质检模型包含目标产品的标准图像信息，且目标产品的标准图像信息中包括第二眼动信息。第二眼动信息包括至少一个注视点位置、各注视点位置的注视时长、平均注视时长及注视次数等参数。若注视点位置的注视次数为1次，标注的为注视时长，若注视点位置的注视次数为多次，则标注的为平均注视时长。第二眼动信息由至少一个第一眼动信息统计获得，本实施例中，通过对至少一个第一眼动信息进行统计获得第二眼动信息。示例性的，图2b是本实施例中的一种标准质检模型的示例图，如图2b所示，该标准质检模型为标注了第二眼动信息的目标产品的图像，标注了5个注视点位置、以及各注视点位置的平均注视时长和注视次数。
具体的，将待考核图像集与标准质检模型进行比对，获得比对结果的方式可以是：将各待考核图像进行图像识别及数据处理，获得各待考核图像的第一眼动信息；分别判断各待考核图像中的注视点位置是否与标准质检模型的其中一个注视点位置匹配，若匹配，则确定为有效图像；对有效图像的第一眼动信息进行统计，获得待考核图像集的第二眼动信息；将待考核图像集的第二眼动信息与标准质检模型的第二眼动信息进行比对，获得比对结果。
本实施例中,待考核图像包括标注有第一眼动信息的目标产品，对各待考核图像进行图像识别及数据处理，可获得各待考核图像的第一眼动信息。其中，分别判断各待考核图像中的注视点位置是否与标准质检模型的其中一个注视点位置匹配，具体可以是：对于每张待考核图像，首先判断待考核图像中标注的注视点位置是否落入标准质检模型中的其中一个注视点位置对应的区域中，若落入，则该待考核图像为有效图像，若未落入，则该考核图像为无效图像，可以删去。以图2b为例，标准质检模型中包含有A、B、C、D和E这5个注视点位置，若待考核图像中的注视点位置落入这5个注视点位置中的任意一个对应的区域中，则为有效图像。获得有效图像后，对有效图像中的注视点位置及注视时长进行统计，获得待考核图像集的一个注视点位置、各注视点位置的平均注视时长及注视次数，即待考核图像集的第二眼动信息。然后将待考核图像集的第二眼动信息与标准质检模型的第二眼动信息进行比对，获得比对结果。
步骤130，根据比对结果确定第一用户的质检是否合格。
若第二眼动信息中的注视点位置包括至少两个，则根据比对结果确定第一用户的质检是否合格的方式可以是：若待考核图像集的第二眼动信息中各注视点位置、注视点位置的平均注视时长及注视次数与标准质检模型的第二眼动信息中各注视点位置、注视点位置的平均注视时长及注视次数均匹配，则第一用户的质检合格，否则，不合格。
本实施例中，将每个注视点位置的注视时长及注视次数进行比对，若每个注视点位置都落入标准质检模型中包含的注视点位置、注视时长大于或者等于标准质检模型的注视时长且注视次数也大于或者等于标准质检模型的注视次数，则第一用户的质检合格。若有一项不匹配，则第一用户的质检不合格。示例性的，图3是本实施例中的一种待考核图像集的第二眼动信息与标准质检模型的第二眼动信息比对的流程图。如图3所示，对于注视点A、B……E，分别比对注视次数和平均注视时长，当5个注视点都合格，则第一用户的质检才合格。
可选的，在获取第一用户质检目标产品时生成的待考核图像集之前，还包括如下步骤：获取第二用户质检目标产品时生成的标准图像集；标准图像包括标注有第一眼动信息的目标产品；对标准图像集进行图像识别及数据处理，获得标准质检模型。
本应用场景下，第二用户可以是经验丰富的质检员。每个标准图像中包含标注了注视点位置及注视时长的目标产品。对标准图像包含的目标产品进行图像识别，获得目标产品的形状特性，对标准图像集的注视点位置和注视时长进行统计，获得各注视点位置的平均注视时长及注视次数，将形状特性、注视点位置、各注视点位置的平均注视时长及注视次数关联后，获得标准质检模型。
可选的，获取第二用户质检目标产品时生成的标准图像集的过程可以是：获取至少两个第二用户质检目标产品时生成的标准样本集，其中一个样本集对应一个标准图像集；将标准样本集输入深度学习网络进行图像识别及数据处理，获得标准质检模型。
将多个第二用户分别对应的标准图像集输入深度学习网络进行图像识别及数据处理，获得标准模型，可以提高标准模型的准确性。本实施例中，深度学习网络可以对不同形状的产品进行图像识别和数据处理，从而获得不同形状的产品分别对应的标准质检模型。如将待考核图像集输入深度学习网络，首先根据图像集中产品的形状特性确定对应的标准质检模型，然后再进行比对。
可选的，当标准质检模型为3D标准模型时，获得标准质检模型的过程可以是：创建目标产品的3D图像；获取第二眼动信息中各注视点位置在2D图像与3D图像间的映射关系；根据映射关系将第二眼动信息中的至少一个注视点位置、各注视点位置的平均注视时长及注视次数标注于3D图像中，获得3D标准模型。
其中，2D图像可以包括目标产品在各个视角下的图像。2D图像中的每个点与3D图像具有映射关系。具体的，在获取到了目标产品在各个视角下的2D图像中第二眼动信息后，根据2D图像和3D图像的对应关系将第二眼动信息标注于3D图像中，获得3D标准模型。
本实施例的技术方案，首先获取第一用户质检目标产品时生成的待考核图像集，待考核图像包括标注有第一眼动信息的目标产品，然后将待考核图像集与标准质检模型进行比对，获得比对结果；标准质检模型包含目标产品的标准图像信息，且目标产品的标准图像信息中包括第二眼动信息；最后根据比对结果确定第一用户的质检是否合格。本发明实施例提供的质量检验的审核方法，将用户质检目标产品时生成的待考核图像集与标准质检模型比对，确定用户的质检过程是否合格，不仅可以降低对质量检验审核的误差，且可以提高审核的效率。
实施例二
图4为本发明实施例二提供的一种质量检验的审核装置的结构示意图。如图4所示，该装置包括：待考核图像集获取模块410，比对结果获取模块420和质检合格确定模块430。
待考核图像集获取模块410，用于获取第一用户质检目标产品时生成的待考核图像集，待考核图像包括标注有第一眼动信息的目标产品；
比对结果获取模块420，用于将待考核图像集与标准质检模型进行比对，获得比对结果；标准质检模型包含目标产品的标准图像信息，且目标产品的标准图像信息中包括第二眼动信息；
质检合格确定模块430，用于根据比对结果确定第一用户的质检是否合格。
可选的，第一眼动信息包括注视点位置及注视时长；第二眼动信息包括至少一个注视点位置、各注视点位置的注视时长、平均注视时长及注视次数；第二眼动信息由至少一个第一眼动信息统计获得。
可选的，比对结果获取模块420，还用于：
将各待考核图像进行图像识别及数据处理，获得各待考核图像的第一眼动信息；
分别判断各待考核图像中的注视点位置是否与标准质检模型的其中一个注视点位置匹配，若匹配，则确定为有效图像；
对有效图像的第一眼动信息进行统计，获得待考核图像集的第二眼动信息；
将待考核图像集的第二眼动信息与标准质检模型的第二眼动信息进行比对，获得比对结果。
可选的，质检合格确定模块430，还用于：
若待考核图像集的第二眼动信息中各注视点位置、注视点位置的平均注视时长及注视次数与标准质检模型的第二眼动信息中各注视点位置、注视点位置的平均注视时长及注视次数均匹配，则第一用户的质检合格，否则，不合格。
可选的，还包括：标准质检模型获取模块，用于：
获取第二用户质检目标产品时生成的标准图像集；标准图像包括标注有第一眼动信息的目标产品；
对标准图像集进行图像识别及数据处理，获得标准质检模型。
可选的，标准质检模型获取模块，还用于：：
获取至少两个第二用户质检目标产品时生成的标准样本集，其中一个样本对应一个标准图像集；
将标准样本集输入深度学习网络进行图像识别及数据处理，获得标准质检模型。
可选的，当标准质检模型为3D标准模型时，标准质检模型获取模块，还用于：
创建目标产品的3D图像；
获取第二眼动信息中各注视点位置在2D图像与3D图像间的映射关系；
根据映射关系将第二眼动信息中的至少一个注视点位置、各注视点位置的平均注视时长及注视次数标注于3D图像中，获得3D标准模型。
上述装置可执行本发明前述所有实施例所提供的方法，具备执行上述方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明前述所有实施例所提供的方法。
实施例三
图5为本发明实施例三提供的一种质量检验的审核系统的结构示意图。如图5所示，该系统包括：眼球追踪单元和质检审核单元。
眼球追踪单元用于采集第一用户质检产品时的待考核图像集，并将待考核图像集发送至质检审核单元；质检审核单元用于将待考核图像集与标准质检模型进行比对，获得审核结果。
具体的，当第一用户的视野内每形成一个注视点，眼球追踪单元生成一张待考核图像，第一用户质检完成后，获得待考核图像集。质检审核单元首先对待考核图像集进行图像识别及数据处理确定对应的标准质检模型，然后将待考核图像集与标准质检模型进行比对，根据比对结果确定第一用户的质检过程是否合格。具体的比对过程参见上述实施例，此处不再赘述。
实施例四
图6为本发明实施例四提供的一种计算机设备的结构示意图。图6示出了适于用来实现本发明实施方式的计算机设备312的框图。图6显示的计算机设备312仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。设备312是典型的质量检验的审核方法功能的计算设备。
如图6所示，计算机设备312以通用计算设备的形式表现。计算机设备312的组件可以包括但不限于：一个或者多个处理器316，存储装置328，连接不同系统组件(包括存储装置328和处理器316)的总线318。
总线318表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture，ISA)总线，微通道体系结构(Micro Channel Architecture，MCA)总线，增强型ISA总线、视频电子标准协会(Video Electronics Standards Association，VESA)局域总线以及外围组件互连(Peripheral Component Interconnect，PCI)总线。
计算机设备312典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备312访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储装置328可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory，RAM)330和/或高速缓存存储器332。计算机设备312可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统334可以用于读写不可移动的、非易失性磁介质(图6未显示，通常称为“硬盘驱动器”)。尽管图6中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如只读光盘(Compact Disc-Read Only Memory，CD-ROM)、数字视盘(Digital Video Disc-Read Only Memory，DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线318相连。存储装置328可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块326的程序336，可以存储在例如存储装置328中，这样的程序模块326包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块326通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备312也可以与一个或多个外部设备314(例如键盘、指向设备、摄像头、显示器324等)通信，还可与一个或多个使得用户能与该计算机设备312交互的设备通信，和/或与使得该计算机设备312能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口322进行。并且，计算机设备312还可以通过网络适配器320与一个或者多个网络(例如局域网(Local AreaNetwork，LAN)，广域网Wide Area Network，WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器320通过总线318与计算机设备312的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备312使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of IndependentDisks，RAID)系统、磁带驱动器以及数据备份存储系统等。
处理器316通过运行存储在存储装置328中的程序，从而执行各种功能应用以及数据处理，例如实现本发明上述实施例所提供的质量检验的审核方法方法。
实施例五
本发明实施例五还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例所提供的质量检验的审核方法。
当然，本发明实施例所提供的一种计算机可读存储介质，其上存储的计算机程序不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的质量检验的审核方法中的相关操作。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言——诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种质量检验的审核方法，其特征在于，包括：
获取第一用户质检目标产品时生成的待考核图像集，所述待考核图像包括标注有第一眼动信息的目标产品；
将所述待考核图像集与标准质检模型进行比对，获得比对结果；所述标准质检模型包含所述目标产品的标准图像信息，且所述目标产品的标准图像信息中包括第二眼动信息；
根据所述比对结果确定所述第一用户的质检是否合格。
2.根据权利要求1所述的方法，其特征在于，所述第一眼动信息包括注视点位置及注视时长；第二眼动信息包括至少一个注视点位置、各注视点位置的注视时长、平均注视时长及注视次数；所述第二眼动信息由至少一个第一眼动信息统计获得。
3.根据权利要求2所述的方法，其特征在于，将所述待考核图像集与标准质检模型进行比对，获得比对结果，包括：
将各待考核图像进行图像识别及数据处理，获得各待考核图像的第一眼动信息；
分别判断各待考核图像中的注视点位置是否与标准质检模型的其中一个注视点位置匹配，若匹配，则确定为有效图像；
对所述有效图像的第一眼动信息进行统计，获得待考核图像集的第二眼动信息；
将所述待考核图像集的第二眼动信息与标准质检模型的第二眼动信息进行比对，获得比对结果。
4.根据权利要求3所述的方法，其特征在于，若第二眼动信息中的注视点位置包括至少两个，则根据所述比对结果确定所述第一用户的质检是否合格，包括：
若所述待考核图像集的第二眼动信息中各注视点位置、注视点位置的平均注视时长及注视次数与标准质检模型的第二眼动信息中各注视点位置、注视点位置的平均注视时长及注视次数均匹配，则所述第一用户的质检合格，否则，不合格。
5.根据权利要求2所述的方法，其特征在于，在获取第一用户质检目标产品时生成的待考核图像集之前，还包括：
获取第二用户质检所述目标产品时生成的标准图像集；所述标准图像包括标注有第一眼动信息的目标产品；
对所述标准图像集进行图像识别及数据处理，获得标准质检模型。
6.根据权利要求5所述的方法，其特征在于，获取第二用户质检所述目标产品时生成的标准图像集，包括：
获取至少两个第二用户质检所述目标产品时生成的标准样本集，其中一个样本集对应一个标准图像集；
将所述标准样本集输入深度学习网络进行图像识别及数据处理，获得标准质检模型。
7.根据权利要求5或6所述的方法，其特征在于，当所述标准质检模型为3D标准模型时，获得标准质检模型，包括：
创建目标产品的3D图像；
获取第二眼动信息中各注视点位置在2D图像与3D图像间的映射关系；
根据所述映射关系将第二眼动信息中的至少一个注视点位置、各注视点位置的平均注视时长及注视次数标注于所述3D图像中，获得3D标准模型。
8.一种质量检验的审核装置，其特征在于，包括：
待考核图像集获取模块，用于获取第一用户质检目标产品时生成的待考核图像集，所述待考核图像包括标注有第一眼动信息的目标产品；
比对结果获取模块，用于将所述待考核图像集与标准质检模型进行比对，获得比对结果；所述标准质检模型包含所述目标产品的标准图像信息，且目标产品的标准图像信息中包括第二眼动信息；
质检合格确定模块，用于根据所述比对结果确定所述第一用户的质检是否合格。
9.一种质量检验的审核系统，其特征在于，包括：
眼球追踪单元和质检审核单元；
所述眼球追踪单元用于采集第一用户质检产品时的待考核图像集，并将所述待考核图像集发送至质检审核单元；
所述质检审核单元用于将待考核图像集与标准质检模型进行比对，获得审核结果。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的质量检验的审核方法。
CN201910722272.5A 2019-08-06 2019-08-06 质量检验的审核方法、装置、系统及存储介质 Pending CN110458441A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910722272.5A CN110458441A (zh) 2019-08-06 2019-08-06 质量检验的审核方法、装置、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910722272.5A CN110458441A (zh) 2019-08-06 2019-08-06 质量检验的审核方法、装置、系统及存储介质

Publications (1)

Publication Number Publication Date
CN110458441A true CN110458441A (zh) 2019-11-15

Family

ID=68485156

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910722272.5A Pending CN110458441A (zh) 2019-08-06 2019-08-06 质量检验的审核方法、装置、系统及存储介质

Country Status (1)

Country Link
CN (1) CN110458441A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111427873A (zh) * 2020-03-12 2020-07-17 无码科技（杭州）有限公司 数据清洗方法及系统
CN112132456A (zh) * 2020-09-22 2020-12-25 珠海大横琴科技发展有限公司 一种质量检测方法、装置及电子设备
CN113011125A (zh) * 2019-12-18 2021-06-22 海信视像科技股份有限公司 印制电路板核查方法、装置、设备及计算机存储介质
CN113762907A (zh) * 2020-10-13 2021-12-07 北京沃东天骏信息技术有限公司 一种审核对象的方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105117116A (zh) * 2015-05-06 2015-12-02 湖南工学院 获取执行操控任务的行为数据的系统和方法
CN105414390A (zh) * 2015-12-16 2016-03-23 长安大学 防止冲压设备操作人员工作时分心的设备及其工作方法
CN106814849A (zh) * 2016-12-03 2017-06-09 西安科锐盛创新科技有限公司 基于眼球追踪的模拟飞行操作测试辅助系统及方法
CN107562202A (zh) * 2017-09-14 2018-01-09 中国石油大学(北京) 基于视线追踪的工艺操作人员人为失误识别方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105117116A (zh) * 2015-05-06 2015-12-02 湖南工学院 获取执行操控任务的行为数据的系统和方法
CN105414390A (zh) * 2015-12-16 2016-03-23 长安大学 防止冲压设备操作人员工作时分心的设备及其工作方法
CN106814849A (zh) * 2016-12-03 2017-06-09 西安科锐盛创新科技有限公司 基于眼球追踪的模拟飞行操作测试辅助系统及方法
CN107562202A (zh) * 2017-09-14 2018-01-09 中国石油大学(北京) 基于视线追踪的工艺操作人员人为失误识别方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
胡瑾秋 等: "基于视线追踪技术的工艺操作人员人为失误识别研究", 《中国安全生产科学技术》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113011125A (zh) * 2019-12-18 2021-06-22 海信视像科技股份有限公司 印制电路板核查方法、装置、设备及计算机存储介质
CN113011125B (zh) * 2019-12-18 2023-01-10 海信视像科技股份有限公司 印制电路板核查方法、装置、设备及计算机存储介质
CN111427873A (zh) * 2020-03-12 2020-07-17 无码科技（杭州）有限公司 数据清洗方法及系统
CN111427873B (zh) * 2020-03-12 2023-03-14 无码科技（杭州）有限公司 数据清洗方法及系统
CN112132456A (zh) * 2020-09-22 2020-12-25 珠海大横琴科技发展有限公司 一种质量检测方法、装置及电子设备
CN113762907A (zh) * 2020-10-13 2021-12-07 北京沃东天骏信息技术有限公司 一种审核对象的方法和装置

Similar Documents

Publication Publication Date Title
CN110458441A (zh) 质量检验的审核方法、装置、系统及存储介质
Pfeiffer et al. EyeSee3D: a low-cost approach for analyzing mobile 3D eye tracking data using computer vision and augmented reality technology
US10936059B2 (en) Systems and methods for gaze tracking
EP4383193A1 (en) Line-of-sight direction tracking method and apparatus
CN112149615B (zh) 人脸活体检测方法、装置、介质及电子设备
CN107609463B (zh) 活体检测方法、装置、设备及存储介质
JP2014509535A (ja) 注視点マッピング方法および装置
CN108388889B (zh) 用于分析人脸图像的方法和装置
CN110059624B (zh) 用于检测活体的方法和装置
CN108229375B (zh) 用于检测人脸图像的方法和装置
KR20190087681A (ko) 자궁경부암에 대한 피검체의 발병 여부를 판정하는 방법
CN110051319A (zh) 眼球追踪传感器的调节方法、装置、设备及存储介质
CN109214350A (zh) 一种光照参数的确定方法、装置、设备及存储介质
Wang et al. Measuring the visual salience of 3d printed objects
Pepe et al. Pattern recognition and mixed reality for computer-aided maxillofacial surgery and oncological assessment
CN109034023A (zh) 一种眼动数据确定方法、装置、设备及存储介质
CN109685048A (zh) 人体测量方法、装置、终端及存储介质
Amprimo et al. Hand tracking for clinical applications: validation of the Google MediaPipe Hand (GMH) and the depth-enhanced GMH-D frameworks
Deligianni et al. Patient-specific bronchoscope simulation with pq-space-based 2D/3D registration
Chen et al. Hand–eye calibration using a target registration error model
Wu et al. Marker-removal networks to collect precise 3D hand data for RGB-based estimation and its application in piano
CN114428547B (zh) 视线追踪方法、装置、设备及存储介质
Du Plessis Graphical processing unit assisted image processing for accelerated eye tracking
Jensen et al. Wearable gaze trackers: Mapping visual attention in 3D
Pourazar et al. A comprehensive framework for evaluation of stereo correspondence solutions in immersive augmented and virtual realities

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20191217

Address after: 100102 Beijing Chaoyang District Wangjing east garden four District 6 building 18 floor 1801-1803 units.

Applicant after: Bejing 7Invensun Technology Co., Ltd.

Applicant after: Qixin Yiwei (Shenzhen) Technology Co., Ltd.

Address before: 100102 Beijing Chaoyang District Wangjing east garden four District 6 building 18 floor 1801-1803 units.

Applicant before: Bejing 7Invensun Technology Co., Ltd.

TA01 Transfer of patent application right