CN100361136C - 一种人脸检测系统的评测方法及评测系统 - Google Patents
一种人脸检测系统的评测方法及评测系统 Download PDFInfo
- Publication number
- CN100361136C CN100361136C CNB2005100017874A CN200510001787A CN100361136C CN 100361136 C CN100361136 C CN 100361136C CN B2005100017874 A CNB2005100017874 A CN B2005100017874A CN 200510001787 A CN200510001787 A CN 200510001787A CN 100361136 C CN100361136 C CN 100361136C
- Authority
- CN
- China
- Prior art keywords
- face
- people
- detection system
- face detection
- nucleus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 76
- 238000011156 evaluation Methods 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 claims abstract description 45
- 238000004364 calculation method Methods 0.000 claims abstract description 4
- 238000012360 testing method Methods 0.000 claims description 36
- 238000002372 labelling Methods 0.000 claims description 5
- 238000013461 design Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 5
- 239000004744 fabric Substances 0.000 description 4
- 238000005286 illumination Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种人脸检测系统的评测方法，包括：选择步骤，在图像样本中选择出人脸核心区域；检测步骤，使用人脸检测系统对含人脸的图像样本进行人脸检测；判断步骤，根据预先设定的判断标准对人脸检测区域和人脸核心区域进行比较，判断人脸检测系统是否正确检测出含人脸的图像样本中的人脸；评测指标计算步骤，根据判断步骤的判断结果形成评价人脸检测系统的评测指标。本发明方法的优点：对人脸检测的效果提出了一套完整地评测方法，给出了一个统一的评价标准，降低了对人脸检测方法做性能评测时的误差；使不同的人脸检测系统间具有可比性；通过设计合理的评测数据，考核系统在不同条件下的检测性能，帮助系统发现人脸检测核心算法上存在的问题。
Description
技术领域
本发明涉及一种对人脸检测系统的性能进行评测的方法和系统。
背景技术
人脸检测是指对图像进行检测，判断图像中是否有人脸，若有人脸则定位人脸，并输出人脸的位置、大小等信息。目前，研究者们提出的人脸检测方法，其性能都会受到图像中光照、人脸姿态、肤色、饰物、复杂的背景等变化的影响。
目前国际上还没有一种统一的人脸检测评测方法，也没用组织过正规的人脸检测评测工作。大部分的研究人员都是在自己的数据库上进行测试，测试的结果往往通过人工评判，以各自设定的评测标准来判断人脸检测的性能，这样做使得人脸检测方法的性能评价容易受到人的主观因素的制约，影响人脸检测的性能评价的准确性，而且导致了不同的人脸检测系统间无法进行统一的评估。设计一套对现有的人脸检测方法进行评测的方案，以检验各种人脸检测方法的检测效果，并对不同的人脸检测方法进行比较是非常有意义的工作。
发明内容
本发明的目的是提供一种人脸检测系统的评测方法及评测系统，该评测方法和评测系统采用统一的评测标准对不同的人脸检测系统进行性能评测，以降低对人脸检测系统做性能评测时的误差。
为了实现上述目的，提供一种人脸检测系统的评测方法，包括.
选择步骤，在含人脸的图像样本中选择出人脸核心区域，该人脸核心区域包含多个人脸特征点；
检测步骤，用于使用人脸检测系统对含人脸的图像样本进行人脸检测，得到人脸检测区域，
判断步骤，用于根据预先设定的判断标准对所述人脸检测区域和所述人脸核心区域进行比较，从而判断所述人脸检测系统是否正确检测出所述含人脸的图像样本中的人脸，其中，所述判断步骤的判断结果形成评价所述人脸检测系统的评测指标。
上述技术方案中，在所述判断步骤中所述预先设定的判断标准包括·
标准一所述人脸检测区域至少包括所述多个人脸特征点中的至少一部分人脸特征点，
标准二：所述人脸检测区
域与所述人脸核心区域的交集与所述人脸核心区域的比值大于或等于一预定的第一域值；
标准三：所述人脸检测区域与所述人脸核心区域的面积比小于或等于一预定的第二域值；
当同时符合所述三个标准时，判断为正确检测出所述合人脸的图像样本中的人脸；
评测指标计算步骤，用于根据所述判断步骤的判断结果形成评价所述人脸检测系统的评测指标。
所述多个特征点包括同一人脸上两个眼睛中心点和一个嘴部中心点。
所述至少一部分人脸特征点包括至少一只眼睛的中心点和一个嘴部中心点。
所述的人脸核心区域为由所述多个特征点限定的最小外接矩形区域。
所述的第一域值是08。
所述的第二域值是6。
一种应用于本发明的人脸检测评测方法的人脸检测评测系统，该评测系统实现对人脸检测系统检测性能的评测，该系统包括一计算机，其特征在于，该计算机包括.
第一存储模块，用于存储含人脸的图像样本数据，
第二存储模块，用于存储待测的人脸检测系统对含人脸的图像样本进行人脸检测后输出的人脸检测区域数据；
显示模块，用于将第一存储模块中存储的含人脸的图像样本数据显示在计算机屏幕上；
标注模块，用于使用者在计算机屏幕上标注所述含人脸的图像样本的多个人脸特征点，并将使用者所标注人脸特征点转换为所述人脸特征点在所述含人脸的图像样本中的坐标数据，
选择模块，用于根据使用者标注的人脸特征点在所述含人脸的图像样本中选择出人脸核心区域，所述人脸核心区域包含所述的多个人脸特征点，
判断模块，用于根据预先设定的判断标准对所述人脸检测区域和所述人脸核心区域进行比较，从而判断所述人脸检测系统是否正确检测出所述含人脸的图像样本中的人脸，并记录判断结果；其中，所述判断模块包括三个判断单元，为：
第一判断单元，用于判断所述人脸检测区域是否至少包括所述多个人脸特征点中的至少一部分人脸特征点；
第二判断单元，用于判断所述人脸检测区域与所述人脸核心区域的交集与所述人脸核心区域的比值是否大于或等于一预定的第一域值；
第三判断单元，用于判断所述人脸检测区域与所述人脸核心区域的面积比是否小于或等于一预定的第二域值；
当所述三个判断单元同时作出肯定的判断时，所述判断模块判定所述人脸检测系统正确检测出所述含人脸的图像样本中的人脸；
评测模块，用于根据所述判断模块的判断结果形成评价所述人脸检测系统的评测指标。
本发明为人脸检测系统提供了一套完整的评测方法和评测系统，采用统一的评测标准对不同的人脸检测系统性能进行评测，使得不同的人脸检测系统间具有可比性，克服了现有技术中采用不同的评测方法和系统对人脸检测系统进行评测时可能产生的评测误差。通过本发明提供的评测方法和评测系统，可以考核人脸检测系统在不同条件下的检测性能，帮助系统发现人脸检测核心算法上存在的问题，有利于推动人脸检测技术的发展，同时帮助算法研究单位发现新的问题，寻找新的研究方向。
附图说明
图1是本发明的人脸检测评测系统的组成示意图，
图2是本发明的人脸检测系统评测方法的流程图；
图3为人脸面部特征点的标注示意图，
图4为人脸核心区域ROI的示意图。
具体实施方式
下面结合附图和具体实施方式对本发明方法及系统进行详细描述。
如图1中的虚框所示，本发明的人脸检测评测系统包括第一存储模块、第二存储模块、显示模块、标注模块、选择模块、判断模块和评测模块。该人脸检测评测系统可用一计算机来实现，并用计算机中存储的专用软件来实现人脸检测评测系统中的各个组成模块。
图2示出了本发明的人脸检测系统评测方法的流程图，下面结合图1对本发明的方法和系统进行详细说明。
如图2所示，在步骤10中选择人脸检测评测样本。对某一人脸检测系统进行评测之前需要选择多个评测样本。评测样本是指用来评测人脸检测性能高低的静态图像。为了全面评判一个人脸检测系统，评测样本应该具有多样性，如：所选择的图像要有多种不同的尺寸；图像中要有多种不同的人脸个数；图像中要有多种不同的人脸大小尺寸；人脸可以有光照、姿态、肤色、饰物、复杂的背景等变化。
在一个实施例中，用2000幅图像作为人脸检测评测样本，图像的文件格式为24bit彩色的BMP图像。为了使得这些图像具有多样性，因此这些图像大小在100*100像素到1000*1000像素范围内变化，每幅图像含有单人脸、多人脸和无人脸等情况，人脸大小在20*20像素到300*300像素范围内变化，人脸姿态在平面内旋转和深度旋转45度以内，并且部分人脸有轻微的光照变化。在实际应用中，根据具体的评测重点，评测数据的选择可以有所不同，比如可以加大图像数目，或增加人脸的旋转角度以测试更加全面的人脸检测系统等。
此外，评测样本的选取应该和在评测时所选取的评测标准相适应。在后面的描述中可知，在本发明的一个实施例中，将人脸的两个眼睛的中心点以及嘴部的中心点作为人脸特征点，相应地，那些人脸可能由于遮挡或旋转角度过大，使得人脸在图像中可能只有一个眼睛可见的图像最好不要作为样本而被选取，而将人脸的两个眼睛的中心点以及嘴部的中心点均可见的图像作为优选的评测样本。应当理解，在预先确定好评测标准后，依据所确定的评测标准进行人脸样本的选取是本领域的技术人员很容易做到的。
人脸检测评测样本的选择可通过人工实现，然后将选定的评测样本数据存放在计算机的第一存储模块中。
在步骤20中，在各评测样本图像上标注出人脸特征点，并根据这些人脸特征点得到人脸核心区域。第一存储模块中存储的人脸检测评测样本数据通过计算机的显示模块将含人脸的图像显示在计算机屏幕上，操作人员可通过计算机的输入装置(如鼠标)在计算机屏幕上标注出多个人脸特征点，然后计算机中的标注模块将操作人员所标注的人脸特征点转换为这些人脸特征点在含人脸的图像样本中的坐标数据。在这里，人脸特征点通常位于选择为人脸中的显著部位，如眼睛、鼻子或者嘴部等。在一个实施例中，人脸特征点可选择为人脸中两个眼睛的中心点和嘴部的中心点，如图3中用“+”所示出的人脸特征点。
标注出人脸特征点之后，计算机中的选择模块根据这些人脸特征点限定出人脸核心区域，该人脸核心区域要包含所选择的人脸特征点。在一个实施例中，当将人脸特征点选择为人脸中两个眼睛的中心点和嘴部的中心点时，人脸核心区域优选为一个这些特征点所确定的最小外接矩形区域，图4中的人脸部分的矩形框则示出了依据前述方法限定的人脸核心区域。
对所有的评测样本中和样本中所包含的所有人脸做前述类似的操作，得到各评测样本的人脸特征点及人脸核心区域。从下面的描述可知，这些人脸特征点和人脸核心区域将作为人脸检测的正确参考答案而用于对人脸检测系统的检测结果的后期评判。
在步骤30中，用待测的人脸检测系统对评测样本做人脸检测。如图1所示，在步骤10中所选择的人脸样本不仅要输入到计算机的第一存储模块中，还要将其输入到待测人脸检测系统中进行人脸检测。人脸检测系统进行人脸检测后，输出其检测结果，即人脸检测区域。人脸检测区域的相关数据记录在文件中并输入到人脸检测评测系统的第二存储模块中。
不同人脸检测系统的输出的人脸检测区域可能具有不同的输出格式，如有的人脸检测系统输出的人脸检测区域为圆形，有的为椭圆形，有的为带一定角度的长方形。以矩形的人脸检测区域为例，该人脸检测区域可以用纯文本格式来表示，如：
FD0001 2
100 120 40 50
150 250 50 60
FD0002 1
200 200 80 80。
上述输出结果的第1～3行表示在图像FD0001中检测到两个人脸图像，这两个人脸图像包含在两个矩形框内，第一个人脸的矩形框左上角的横竖坐标点分别为100和120，该人脸的宽度为40，高度为50。第二个人脸的矩形框左上角的横竖坐标点分别为150和250，该人脸的宽度为50，高度为60。同样的，上述输出结果的第4～5行表示在图像FD0002中检测到一个人脸图像，该人脸的矩形框左上角的横竖坐标点分别为200和200，该人脸的宽度为80，高度为80。这些数据均作为人脸检测系统的检测结果存储在第二存储模块中。
在步骤40中，对人脸检测系统的检测结果进行评测。人脸检测评测系统中的判断模块从第二存储模块中得到人脸检测区域数据，从选择模块中得到人脸核心区域的数据，然后根据预先设定的判断标准对两个数据进行比较，从而判断人脸检测系统是否正确检测出含人脸的图像样本中的人脸。在一个实施例中，预先设定出如下三个判断标准：
标准一：人脸检测区域至少包括多个人脸特征点中的至少一部分人脸特征点。人脸检测区域中是否包含一个人脸特征点，可用计算机中的标注模块得到的人脸特征点坐标数据与人脸检测区域的数据进行比较得到。标准一是为了保证人脸检测区域确实包含了人脸，而不是与人脸无关的其他部分。例如，在一个实施例中，当将人脸特征点选择为人脸中两个眼睛的中心点和嘴部的中心点时，可用该标准要求人脸检测区域中至少包含一只眼睛的中心点和嘴部中心点。
标准二：人脸检测区域与人脸核心区域的交集与人脸核心区域的比值大于或等于一预定的第一域值。该标准可用来保证人脸检测区域包含了大部分的人脸核心区域，而不仅是人脸核心区域的一小部分。在一个实施例中，该第一域值可设定为80％，即要求人脸核心区域80％的部分要在人脸检测区域中出现。
标准三：人脸检测区域与人脸核心区域的面积比小于或等于一预定的第二域值。该标准是为了保证人脸检测区域的面积不要过大，如果人脸检测区域过大甚至就是人脸所在的整个图像，则该人脸检测区域符合前两个标准，但实际上毫无意义。在一个实施例中，当将人脸特征点选择为人脸中两个眼睛的中心点和嘴部的中心点时，该第二域值可设定为6，即要求人脸检测区域的面积不超过人脸核心区域面积的六倍。
根据前述的三个判断标准，判断模块又可以相应地分为三个判断单元，分别为第一判断单元、第二判断单元和第三判断单元(图1未示出)。第一判断单元用于实现对判断标准一的判断，第二判断单元用于实现对判断标准二的判断，第三判断单元用于实现对判断标准三的判断。只有当同时符合所述三个标准时，才能判断为待测的人脸检测系统正确检测出含人脸的图像样本中的人脸，并由判断模块作出是或者否的判断至计算机中的评测模块。
在步骤50中，计算评测指标。评测模块根据判断模块的判断结果形成对人脸检测系统的评测指标。在一个实施例中，根据判断模块的判断结果可形成两个评测指标：正确检测率和误报指数，其计算公式如下：
正确检测率(Correct Detection Rate)
误报指数(False Alarm)
FA＝错误检测到的人脸数目
其中，在正确检测率的计算公式中，正确检测到的人脸数目是在步骤40)评测人脸检测系统的检测结果后得到的检测正确的人脸数目，总的人脸数目是图像中所包含的所有的人脸数目，即对人脸检测样本进行标注后所得到的人脸数目；误报指数中的错误检测到的人脸数目也可从步骤40)的结果中直接得到。
在实际应用中，也可以增加其它的评测指标，例如每幅图像的平均处理时间，其计算公式为：
每幅图像的平均处理时间(单位：毫秒/张)
利用上述这些评测指标即可对人脸检测系统的性能作出评估。在本发明中，不同的人脸检测系统均可按照本发明的方法和系统进行评测，以便在同一平台上对不同的人脸检测系统作出评价。
Claims (7)
1、一种人脸检测系统的评测方法，包括
选择步骤，在含人脸的图像样本中选择出人脸核心区域，该人脸核心区域包含多个人脸特征点；
检测步骤，用于使用人脸检测系统对含人脸的图像样本进行人脸检测，得到人脸检测区域；
判断步骤，用于根据预先设定的判断标准对所述人脸检测区域和所述人脸核心区域进行比较，从而判断所述人脸检测系统是否正确检测出所述含人脸的图像样本中的人脸，其中，所述的判断标准包括
标准一：所述人脸检测区域至少包括所述多个人脸特征点中的至少一部分人脸特征点，
标准二：所述人脸检测区域与所述人脸核心区域的交集与所述人脸核心区域的比值大于或等于一预定的第一域值，
标准三：所述人脸检测区域与所述人脸核心区域的面积比小于或等于一预定的第二域值，
当同时符合所述三个标准时，判断为正确检测出所述含人脸的图像样本中的人脸；
评测指标计算步骤，用于根据所述判断步骤的判断结果形成评价所述人脸检测系统的评测指标。
2、根据权利要求1所述的人脸检测系统的评测方法，其特征在于，所述多个特征点包括同一人脸上两个眼睛中心点和一个嘴部中心点。
3、根据权利要求2所述的人脸检测系统的评测方法，其特征在于，所述至少一部分人脸特征点包括至少一只眼睛的中心点和一个嘴部中心点。
4、根据权利要求2所述的人脸检测系统的评测方法，其特征在于，所述的人脸核心区域为由所述多个特征点限定的最小外接矩形区域。
5、根据权利要求4所述的人脸检测系统的评测方法，其特征在于，所述的第一域值是08。
6、根据权利要求4所述的人脸检测系统的评测方法，其特征在于，所述的第二域值是6。
7、一种应用于权利要求1所述方法的人脸检测评测系统，该评测系统实现对人脸检测系统检测性能的评测，该系统包括一计算机，其特征在于，该计算机包括：
第一存储模块，用于存储含人脸的图像样本数据，
第二存储模块，用于存储待测的人脸检测系统对含人脸的图像样本进行人脸检测后输出的人脸检测区域数据；
显示模块，用于将第一存储模块中存储的含人脸的图像样本数据显示在计算机屏幕上；
标注模块，用于使用者在计算机屏幕上标注所述含人脸的图像样本的多个人脸特征点，并将使用者所标注的人脸特征点转换为所述人脸特征点在所述含人脸的图像样本中的坐标数据，
选择模块，用于根据使用者标注的人脸特征点在所述含人脸的图像样本中选择出人脸核心区域，所述人脸核心区域包含所述的多个人脸特征点，
判断模块，用于根据预先设定的判断标准对所述人脸检测区域和所述人脸核心区域进行比较，从而判断所述人脸检测系统是否正确检测出所述含人脸的图像样本中的人脸，并记录判断结果；其中，所述判断模块包括三个判断单元，为：
第一判断单元，用于判断所述人脸检测区域是否至少包括所述多个人脸特征点中的至少一部分人脸特征点；
第二判断单元，用于判断所述人脸检测区域与所述人脸核心区域的交集与所述人脸核心区域的比值是否大于或等于一预定的第一域值，
第三判断单元，用于判断所述人脸检测区域与所述人脸核心区域的面积比是否小于或等于一预定的第二域值，
当所述三个判断单元同时作出肯定的判断时，所述判断模块判定所述人脸检测系统正确检测出所述含人脸的图像样本中的人脸；
评测模块，用于根据所述判断模块的判断结果形成评价所述人脸检测系统的评测指标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNB2005100017874A CN100361136C (zh) | 2005-01-21 | 2005-01-21 | 一种人脸检测系统的评测方法及评测系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNB2005100017874A CN100361136C (zh) | 2005-01-21 | 2005-01-21 | 一种人脸检测系统的评测方法及评测系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN1808465A CN1808465A (zh) | 2006-07-26 |
| CN100361136C true CN100361136C (zh) | 2008-01-09 |
Family
ID=36840358
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNB2005100017874A Expired - Fee Related CN100361136C (zh) | 2005-01-21 | 2005-01-21 | 一种人脸检测系统的评测方法及评测系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN100361136C (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101887514B (zh) * | 2009-05-13 | 2013-10-30 | 联咏科技股份有限公司 | 人脸检测装置及其人脸检测方法 |
| CN101751562B (zh) * | 2009-12-28 | 2011-09-21 | 镇江奇点软件有限公司 | 基于人脸识别的银行交易取证图像的获取方法 |
| CN102136024B (zh) * | 2010-01-27 | 2013-01-02 | 中国科学院自动化研究所 | 生物特征识别性能测评和诊断优化系统 |
| CN102194134B (zh) * | 2010-03-01 | 2013-06-05 | 中国科学院自动化研究所 | 基于统计学习对生物特征识别系统的性能指标进行预测的方法 |
| CN106934328A (zh) * | 2015-12-30 | 2017-07-07 | 厦门中控生物识别信息技术有限公司 | 一种人脸检测算法的评估方法及装置 |
| CN105701464A (zh) * | 2016-01-13 | 2016-06-22 | 杭州奇客科技有限公司 | 一种判断人脸检测误检及关键点定位准确度的方法 |
| CN107103265A (zh) * | 2016-02-19 | 2017-08-29 | 合肥君正科技有限公司 | 一种评估人脸检测算法的方法及装置 |
| CN109740457B (zh) * | 2018-12-20 | 2021-07-13 | 杭州当虹科技股份有限公司 | 一种人脸识别算法评测方法 |
| CN111913871A (zh) * | 2019-05-10 | 2020-11-10 | 中国信息通信研究院 | 一种基于深度学习的肺结节检出软件测试方法 |
| CN110287356A (zh) * | 2019-05-16 | 2019-09-27 | 罗普特科技集团股份有限公司 | 一种用于人脸识别算法引擎的评测、调用方法和系统 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1471053A (zh) * | 2002-07-26 | 2004-01-28 | 佳能株式会社 | 图象处理方法和设备、图象处理系统以及存储介质 |
-
2005
- 2005-01-21 CN CNB2005100017874A patent/CN100361136C/zh not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1471053A (zh) * | 2002-07-26 | 2004-01-28 | 佳能株式会社 | 图象处理方法和设备、图象处理系统以及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| Automatic performance evaluation for video text detection. Xian-Sheng Hua, Liu Wenyin, Hong-Jiang Zhang.Proceedings. Sixth International Conference on Document Analysis and Recognition, 2001. 2001 * |
| Performance evaluation of object detection algorithms. Mariano V.Y. et al.Proceedings.16th International Conference on Pattern Recognition,2002,Vol.Vol.3 . 2002 * |
| Tools and techniques for video performance evaluation. Doermann D., Mihalcik D.Proceedings. 15th International Conference on Pattern Recognition, 2000,Vol.vol.4 . 2000 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN1808465A (zh) | 2006-07-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN100361136C (zh) | 一种人脸检测系统的评测方法及评测系统 | |
| CN110032992B (zh) | 一种基于姿态的考试作弊检测方法 | |
| Guo et al. | Image-and-skeleton-based parameterized approach to real-time identification of construction workers’ unsafe behaviors | |
| CA2782071C (en) | Liveness detection | |
| US20160117944A1 (en) | System and Method for Evaluating Experiment Teaching Achievement | |
| WO2021111670A1 (ja) | アノテーション装置および方法 | |
| CN107133117B (zh) | 序列号自动测试系统及方法 | |
| CN110309768A (zh) | 车检工位的工作人员检测方法及设备 | |
| CN106708729B (zh) | 代码缺陷的预测方法及装置 | |
| CN205875022U (zh) | 一种带静电检测通道的闸机系统 | |
| CN106327546A (zh) | 人脸检测算法的测试方法和装置 | |
| CN110070533A (zh) | 一种目标检测结果的评测方法、装置、设备及存储介质 | |
| CN107506162A (zh) | 坐标映射方法、计算机可读存储介质和投影仪 | |
| JP2002344946A (ja) | 監視装置 | |
| CN109740632A (zh) | 基于多传感器多被测对象的相似度模型训练方法和装置 | |
| CN103946887A (zh) | 注视位置估计系统、注视位置估计系统的控制方法、注视位置估计装置、注视位置估计装置的控制方法、程序以及信息存储介质 | |
| CN109978868A (zh) | 玩具外表质量检测方法及其相关设备 | |
| CN112651315A (zh) | 折线图的信息提取方法、装置、计算机设备和存储介质 | |
| KR102674315B1 (ko) | Mof 및 고압계량기의 결선상태 진단장치 및 그의 제어방법 | |
| CN108280388A (zh) | 训练面部检测模型的方法和装置以及面部检测方法和装置 | |
| CN107545590A (zh) | 一种识别人像身高的方法及系统 | |
| CN112016334A (zh) | 判分方法及装置 | |
| JP6027717B2 (ja) | 視線位置特定手段を備えた目視検査装置 | |
| CN113010868B (zh) | 一种在线测试认证考试管理系统 | |
| Sniezek et al. | Feature cues in probability learning: Data base information and judgment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| ASS | Succession or assignment of patent right |
Owner name: HANGZHOU ADTIME TECHNOLOGY CO., LTD. Free format text: FORMER OWNER: INSTITUTE OF COMPUTING TECHNOLOGY, CHINESE ACADEMY OF SCIENCES Effective date: 20131231 |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| COR | Change of bibliographic data |
Free format text: CORRECT: ADDRESS; FROM: 100080 HAIDIAN, BEIJING TO: 310052 HANGZHOU, ZHEJIANG PROVINCE |
|
| TR01 | Transfer of patent right |
Effective date of registration: 20131231 Address after: 310052 B2175 room 2, six and 368 Road, Binjiang District, Zhejiang, Hangzhou, China Patentee after: HANGZHOU ADTIME TECHNOLOGY Co.,Ltd. Address before: 100080 Haidian District, Zhongguancun Academy of Sciences, South Road, No. 6, No. Patentee before: Institute of Computing Technology, Chinese Academy of Sciences |
|
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20080109 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |