CN109636786A - 一种图像识别模块的验证方法和装置 - Google Patents
一种图像识别模块的验证方法和装置 Download PDFInfo
- Publication number
- CN109636786A CN109636786A CN201811508579.7A CN201811508579A CN109636786A CN 109636786 A CN109636786 A CN 109636786A CN 201811508579 A CN201811508579 A CN 201811508579A CN 109636786 A CN109636786 A CN 109636786A
- Authority
- CN
- China
- Prior art keywords
- verifying
- affairs
- mentioned
- module
- calculation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012795 verification Methods 0.000 title claims abstract description 63
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000012360 testing method Methods 0.000 claims abstract description 117
- 238000004364 calculation method Methods 0.000 claims abstract description 55
- 238000012544 monitoring process Methods 0.000 claims description 22
- 238000013527 convolutional neural network Methods 0.000 claims description 20
- 238000005516 engineering process Methods 0.000 claims description 18
- 230000000712 assembly Effects 0.000 claims description 7
- 238000000429 assembly Methods 0.000 claims description 7
- 241000208340 Araliaceae Species 0.000 claims description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 2
- 235000008434 ginseng Nutrition 0.000 claims description 2
- 235000013399 edible fruits Nutrition 0.000 claims 1
- 239000010410 layer Substances 0.000 description 45
- 230000008569 process Effects 0.000 description 11
- 238000013528 artificial neural network Methods 0.000 description 9
- 238000013461 design Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000002035 prolonged effect Effects 0.000 description 8
- 238000010200 validation analysis Methods 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 3
- 230000005284 excitation Effects 0.000 description 3
- 239000000047 product Substances 0.000 description 3
- 238000010998 test method Methods 0.000 description 3
- 241001269238 Data Species 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 2
- 239000002346 layers by function Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000005086 pumping Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004886 process control Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30141—Printed circuit board [PCB]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请公开了一种图像识别模块的验证方法及装置。该方法至少包括：基于验证需求以及多种用例生成模式获取测试用例，根据测试用例生成验证事务；将验证事务输入图像识别模块以获取实际计算结果，将验证事务输入预设参考模型以获取期望计算结果；通过判断期望计算结果与实际计算结果是否一致，对图像识别模块进行验证。本申请利用多种用例生成模式获取测试用例，提高了验证覆盖率，提升了验证效率。
Description
技术领域
本申请涉及验证领域，尤其涉及一种图像识别模块的验证方法和装置。
背景技术
验证是芯片设计中必不可少的部分，现有的验证方法通常采用基于VMM(Verification Methodology Manual，验证方法学)的分层验证平台，如图1所示，该验证平台通常包括测试层(Test layer)，场景层(Generation layer)，功能层(Function layer)，命令层(Command layer)和信号层(Signal layer)，其中，每层中的每个方块代表了一个验证组件，测试层包含测试用例，用于获取测试用例并控制场景层生成符合要求的数据流；场景层包括发生器(generator)，用于生成随机数据流，数据流的基本单元是事务(transaction)；功能层包括：代理(agent)、计分板(scoreboard)以及检查器(checker)，代理(agent)用于根据接收场景层送过来的事务(transaction)进行变换，使生成符合被测试设计(Design Under Test，简称：DUT)的要求的抽象数据，从而向下层的驱动器(Driver)提供，计分板(scoreboard)用于将参考模型产生的参考数据和DUT产生的实际数据进行比较，实现自动对比的功能，检查器(checker)通过将监视器传来的数据与记分板中存储的预测响应进行比较来判断待测功能是否正确；命令层包括驱动器和监控器(Monitor)两种验证组件，驱动器将来自上层的事务转化为信号级激励输入给DUT，监控器用来监视接口信号的变化并转化为事务传递给上层的检查器；信号层用来将DUT与驱动器以及监控器连接起来。
现有技术中通常使用随机化激励测试方法对被测设计(Device Under Test，简称DUT)进行验证。也即由验证环境基于随机种子以及预设约束生成随机激励。然而，每一个随机生成的验证数据只能以极小的概率命中特定的验证需求点。因此在验证时需要发送大量的随机激励，并进行长时间的回归测试，因此使用传统的验证方法所需的测试时间较多、效率低。
发明内容
本申请实施例提供一种图像识别模块的验证方法及装置，用以解决现有技术中的如下技术问题：传统的验证方法所需的测试时间较多、覆盖率不高、进而导致验证效率低。
本申请实施例采用下述技术方案：
一种图像识别模块的验证方法，其特征在于，包括：
基于验证需求以及多种用例生成模式获取测试用例，根据所述测试用例生成验证事务；
将所述验证事务输入图像识别模块以获取实际计算结果，将所述验证事务输入预设参考模型以获取期望计算结果；
通过判断所述期望计算结果与所述实际计算结果是否一致，对所述图像识别模块进行验证。
可选地，其中，所述图像识别模块基于卷积神经网络所形成，
所述将所述验证事务输入所述图像识别模块以获取实际计算结果还包括：将所述验证事务输入所述图像识别模块以获取所述卷积神经网络的每一层输出结果；
所述通过判断所述期望计算结果与所述实际计算结果是否一致，对所述图像识别模块进行验证还包括：将所述卷积神经网络的每一层输出结果与所述期望计算结果进行比对，并通过判断对比结果是否全部一致，对所述图像识别模块进行验证。
可选地，其中，所述基于验证需求以及多种用例生成模式获取测试用例包括：
对预设覆盖组中需要采集的功能点信息进行分析，获取所述验证需求；
根据所述验证需求，从所述多种用例生成模式中获取一种用例生成模式/或多种用例生成模式的组合，并根据所述一种用例生成模式/或多种用例生成模式的组合获取至少一个测试用例。
可选地，其中，所述多种用例生成模式至少包括随机模式、算法定向模式和全定向模式；以及，所述根据所述测试用例生成验证事务包括：
根据所述随机模式生成的验证事务包含：根据随机种子与预设约束随机生成的图像数据、计算参数以及配置信息；
根据所述算法定向模式生成的验证事务包含：根据预设图片定向生成的图像数据与计算参数，以及由验证环境随机生成的配置信息；
根据所述全定向模式生成的验证事务包含：定向预设的图像数据、计算参数以及配置信息。
可选地，其中，若采用所述算法定向模式获取测试用例，所述方法还包括：
在获取所述实际计算结果之后，根据所述实际计算结果执行预设的图像识别操作，并通过判断图像识别结果是否与所述预设图片相吻合，对所述图像识别模块再次进行验证。
可选地，其中，所述多种用例生成模式还包括自定义模式，其中，对应于所述自定义模式的所述测试用例还包含组件调用程序，所述方法还包括：
利用所述组件调用程序调用多个验证组件执行相应的功能，其中，所述验证组件至少包括用于驱动所述验证事务的驱动组件，以及用于监视所述验证事务的监视组件。
可选地，其中，若采用所述自定义模式，则根据所述自定义模式生成的验证事务包含随机/或定向生成的图像数据、随机/或定向生成的计算参数以及随机/或定向生成的配置信息。
可选地，其中，若采用所述自定义模式获取所述测试用例，所述测试用例包含多帧图像的验证数据，所述方法还包括：
根据所述测试用例生成对应于多帧图像的多个所述验证事务；
利用所述调用程序控制所述驱动组件连续驱动所述多个验证事务；
利用所述调用程序控制所述监视组件对所述多个验证事务进行监视，以获取对应于每一帧图像的所述实际计算结果以及相邻帧间的上下文信息；
通过判断对应于所述每一帧图像的实际计算结果与期望计算结果是否对应一致，对所述图像识别模块进行验证；以及
通过判断所述相邻帧间的上下文信息与根据所述预设参考模型所获取的期望上下文信息是否一致，对所述图像识别模块进行验证。
一种图像识别模块的验证装置，其特征在于，包括：
事务生成模块，用于基于验证需求以及多种用例生成模式获取测试用例，根据所述测试用例生成验证事务；
执行模块，用于将所述验证事务输入图像识别模块以获取实际计算结果，将所述验证事务输入预设参考模型以获取期望计算结果；
判断模块，用于通过判断所述期望计算结果与所述实际计算结果是否一致，对所述图像识别模块进行验证。
可选地，其中，所述图像识别模块基于卷积神经网络所形成，
所述执行模块进一步用于：将所述验证事务输入所述图像识别模块以获取所述卷积神经网络的每一层输出结果；
所述判断模块进一步用于将所述卷积神经网络的每一层输出结果与所述期望计算结果进行比对，并通过判断对比结果是否全部一致，对所述图像识别模块进行验证。
可选地，其中，所述事务生成模块进一步用于：
对预设覆盖组中需要采集的功能点信息进行分析，获取所述验证需求；
根据所述验证需求，从所述多种用例生成模式中获取一种用例生成模式/或多种用例生成模式的组合，并根据所述一种用例生成模式/或多种用例生成模式的组合获取至少一个测试用例。
可选地，其中，所述多种用例生成模式至少包括随机模式，全定向模式和算法定向模式；以及，
所述事务生成模块还用于：
根据所述随机模式生成的验证事务包含：根据随机种子与预设约束随机生成的图像数据、计算参数以及配置信息；
根据所述算法定向模式生成的验证事务包含：根据预设图片定向生成的图像数据与计算参数，以及由验证环境随机生成的配置信息；
根据所述全定向模式生成的验证事务包含：定向预设的图像数据、计算参数以及配置信息。
可选地，其中，若采用所述算法定向模式获取测试用例，所述装置还包括：
验证模块，在获取所述实际计算结果之后，根据所述实际计算结果执行预设的图像识别操作，并通过判断图像识别结果是否与所述预设图片相吻合，对所述图像识别模块再次进行验证。
可选地，其中，所述多种用例生成模式还包括自定义模式，对应于所述自定义模式的所述测试用例包含组件调用程序，所述装置还用于：
利用所述组件调用程序调用多个验证组件执行相应的功能，其中，所述验证组件至少包括用于驱动所述验证事务的驱动组件以及用于监视所述验证事务的监视组件。
可选地，其中，若采用所述自定义模式，则根据所述自定义模式生成的验证事务包含随机/或定向生成的图像数据、随机/或定向生成的计算参数以及随机/或定向生成的配置信息。
可选地，其中，若采用所述自定义模式获取所述测试用例，所述测试用例包含多帧图像的验证数据，所述装置进一步用于：
根据所述测试用例生成对应于多帧图像的多个所述验证事务；
利用所述调用程序控制所述驱动组件连续驱动所述多个验证事务；
利用所述调用程序控制所述监视组件对所述多个验证事务进行监视，以获取对应于每一帧图像的所述实际计算结果以及相邻帧间的上下文信息；
通过判断对应于所述每一帧图像的实际计算结果与期望计算结果是否对应一致，对所述图像识别模块进行验证；以及
通过判断所述相邻帧间的上下文信息与根据所述预设参考模型所获取的期望上下文信息是否一致，对所述图像识别模块进行验证。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：由于测试用例是基于上述多种用例生成模式，而非基于单一的用例生成模式而产生的，因此本实施例可以根据验证情况自适应地调整验证模式，进而可以提高图像识别模块的验证效率，以及避免传统方法中需要长时间的回归测试的缺点。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为基于VMM(Verification Methodology Manual，验证方法学)的验证平台示意图
图2为本申请实施例提供的一种图像识别模块的验证方法的流程示意图；
图3为本申请实施例提供的另一种图像识别模块的验证方法的流程示意图；
图4为本申请实施例提供的又一种图像识别模块的验证方法的流程示意图；
图5为对应于图2的一种图像识别模块的验证装置的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
下面对本申请的方案进行详细说明。
图2示出了本申请实施例提供的一种图像识别模块的验证方法的流程示意图。图2中的流程可以包括以下步骤：
S201：基于验证需求以及多种用例生成模式获取测试用例，根据上述测试用例生成验证事务；
S202：将上述验证事务输入上述图像识别模块以获取实际计算结果，将上述验证事务输入预设参考模型以获取期望计算结果；
S203：通过判断上述期望计算结果与上述实际计算结果是否一致，对上述图像识别模块进行验证。
具体地，在上述S201中，验证需求具体为功能需求，目的在于观察设计实际实现的功能与设计意图是否一致。可选地，本实施例还包括预先定义的覆盖组，也即若干个需要采集的功能点信息，本实施例通过上述若干个需要采集的功能点信息生成验证需求，进而根据验证需求从多种用例生成模式中获取目标用例生成模式。
例如，若当前的覆盖组中的需要采集的功能点信息只包含几个特定的功能点信息，则可以选取第一用例生成模式获取定向生成的测试用例；以及若当前的覆盖组中需要采集的功能点信息包含大量功能点信息，则可以采用第二用例生成模式获取随机生成的多个测试用例，以及当上述大量需要采集的功能点信息经验证后还剩余若干特定的功能点信息需要采集时，则可以转换为第一用例生成模式以获取定向生成的测试用例。
在一实施例中，上述S201中所提及的基于验证需求以及多种用例生成模式获取测试用例具体可以包括：
对预设覆盖组中需要采集的功能点信息进行分析以获取上述验证需求，并根据上述验证需求从上述多种用例生成模式中获取一种用例生成模式/或获取多种用例生成模式的组合，并根据上述一种用例生成模式/或获取多种用例生成模式的组合获取至少一个测试用例。
进一步地，在上述S201中，基于测试用例产生验证事务具体包括：位于场景层的生成器基于测试用例产生验证事务。上述验证事务具体可以包括：图像数据、计算参数以及配置信息等内容。
其中，图像数据可以包括：所有输入行宽、列高、通道的数据集。计算参数可以包括：行宽、列高、通道数、池化类型、内核类型、输出通道数、卷积参数、批量归一化参数、激活参数等等。配置信息可以包括：输入、输出图像的存放地址；批量归一化参数地址、激活参数地址、DMA突发场地等。
具体地，在上述S202中，一方面，位于命令层的驱动器将上述生成的验证事务转化为激励信号并传输给信号层的图像识别模块，图像识别模块的输出信号通过位于命令层的监视器输出实际计算结果。另一方面，驱动器将输入信号传送给预设参考模型进行运算，在上述S203中，通过将来自上述预设参考模型的预期计算结果和来自监控器的实际计算结果自动比对，通过比对结果来验证图像识别模块的功能正确性。
可选地，对应于上述预设的覆盖组中定义的若干个需要采集的功能点信息，本实施例还可以包括功能覆盖率统计模块，用于接收上述监视器监控的输出信号，并按照预设的覆盖组中定义的功能点信息来从输出信号中采集相应的功能点，然后确定采集到的功能点占全部功能点数量的比例，得到功能覆盖率参数。可选地，当上述功能覆盖率达到100％时，上述图像识别模块的验证完成。
现有技术中，通常采用随机模式生成测试用例进行验证，虽然随机模式对功能覆盖率贡献较大，但由于其随机性较大，常出现难以覆盖某一个或几个特定的功能验证需求点的情况，在此情况下，可能需要长时间的回归测试。因此单独采用随机模式是不可取的。
本实施例采用根据验证需求以及多种用例生成模式获取测试用例的技术方案，其中，由于测试用例是基于上述多种用例生成模式，而非基于单一的用例生成模式而产生的，因此本实施例可以根据验证情况自适应地调整验证模式，进而可以提高图像识别模块的验证效率，以及避免传统方法中需要长时间的回归测试的缺点。例如，根据验证情况自适应地调整验证模式时，若当前待验证的图像识别模块的功能验证需求点较少，则可以采用定向模式获取多个测试用例进行验证，避免随机用例生成方式需要长时间的回归测试的缺点；若功能验证需求点较多，则可以采用定向模式与随机模式相结合的方式获取多个测试用例进行验证，从而可以极大提高图像识别模块的验证效率。
图3示出了本发明提供的另一个测试方法的流程示意图，结合图2，本申请的一些实施例还提供了该测试方法的一些具体实施方案，以及扩展方案，下面进行说明。
在一些实施例中，上述图像识别模块基于卷积神经网络所形成。
具体地，本实施例中的图像识别模块可以是基于卷积神经网络所形成的、用于图像识别的模块。其中，上述卷积神经网络包括多层级的神经网络，其中每一层神经网络都输出一个计算结果，并且每一层神经网络的输出结果都被当作下一层神经网络的输入数据。
基于此，本实施例通过将上述基于卷积神经网络的每一层输出结果均作为上述实际计算结果进行输出，进一步地，本实施例在判断上述实际计算结果与根据验证事务与预设参考模型获取的期望计算结果是否一致时，需要判断上述基于卷积的人工神经网络的每一层输出结果与上述期望计算结果的比对结果是否全部一致来对上述图像识别模块进行验证。具体地，只有当对比结果为全部一致的情况下，该验证事务的在计分板上的标注结果才为“是”，也即通过该功能点的验证。
如图3所示，本实施例中的步骤具体包括：
S301：基于验证需求从多种用例生成模式选取目标用例生成模式以配置测试用例，根据上述测试用例生成验证事务；
S302：将上述验证事务输入上述图像识别模块以获取上述卷积神经网络的每一层输出结果，将上述验证事务输入预设参考模型以获取期望计算结果；
S303：将上述卷积神经网络的每一层输出结果与上述期望计算结果进行比对，并通过判断对比结果是否全部一致，对上述图像识别模块进行验证。
利用以上将卷积神经网络中的每一层输出与预期计算结果进行单独比对的技术方案，本实施例进一步提升了对基于卷积神经网络的图像识别模块的验证准确度，同时，卷积神经网络中的每一层输出与预期计算结果部分不一致的情况下，可以对基于神经网络的图像识别模块中的错误位置进行更精确的定位。
结合图2或图3，本实施例进一步对如何基于验证需求以及多种用例生成模式获取测试用例，根据上述测试用例生成验证事务进行示例性说明。
在本申请的一实施例中，上述多种用例生成模式至少包括随机模式、算法定向模式和全定向模式。
其中，上述根据上述测试用例生成验证事务包括：
根据上述随机模式生成的验证事务包含：根据随机种子与预设约束随机生成的图像数据、计算参数以及配置信息；
根据上述算法定向模式生成的验证事务包含：根据预设图片定向生成的图像数据与计算参数，以及由验证环境随机生成的配置信息；
根据上述全定向模式生成的验证事务包含：定向预设的图像数据、计算参数以及配置信息。
具体地，对上述三种模式的具体描述如下：
(1)若选取算法定向模式获取上述测试用例，则根据测试用例生成的验证事务包含根据预设图片定向生成的图像数据与计算参数、以及由验证环境随机生成的配置信息。
具体地，上述预设图片具体为具有物理意义的真实图片。
例如，若需要采集的功能点中包含对动物A的识别，可以获取一个或多个包含有动物A的图片，并利用该图片获取图像数据与计算参数输入至被测的图像识别模块中进行验证。
具体地，上述基于算法定向模式的图像数据以及计算参数是具有实际物理意义的算法数据，其一方面并非是由验证环境所随机生成的验证数据，另一方面也非由验证人员基于经验所获取的定向的验证数据(实际上这两种验证数据都是没有实际物理意义的)。而通过具有物理意义的算法数据进行验证可以获取直观的验证结果。
例如，当对图像识别模块识别预设图片中特定动物的位置的进行验证时，可以通过验证人员是直观观察判断识别是否正确。
此外，本实施例所提供的算法定向模式结合了定向模式与随机模式的优点，由于配置信息是由验证环境随机生成的，因此对覆盖率具有一定的贡献。
(2)若选取随机模式获取测试用例，则根据测试用例获取的验证事务包含由验证环境基于随机种子与预设约束所随机生成的图像数据、计算参数以及配置信息。
具体地，上述随机模式的测试用例包括随机种子与预设约束。进一步地，位于命令层的生成器根据随机种子与预设约束生成一个验证事务。该验证事务包含随机生成的图像数据、计算参数以及配置信息。
在本实施例中，通过设置不同的随机种子或调整预设约束，可以获取多个随机生成的验证事务，进而得到具有一般性的验证数据，以供待测的图像识别模块进行识别验证，通过采用随机模式生成的验证事务可以进一步扩大验证覆盖率。
(3)若选取全定向模式获取测试用例，则根据测试用例获取的验证事务包含定向预设的图像数据、计算参数以及配置信息。
具体地，上述全定向模式的测试用例完全无随机性，预期计算结果也是定值，有利于初期调试，也可以用于后期覆盖率的补充。具体地，上述定向预设的图像数据、计算参数以及配置信息不具有实际物理意义，可以由验证人员基于经验提供。例如，当预设覆盖组中需要采集的功能点信息的数量较少时，可以根据上述功能点信息直接获取测试用例。
通过采用预先设置包括算法定向模式、随机模式以及全定向模式在内的多种用例生成模式，并根据不同的验证需求在不同的验证阶段选取不同的用例生成模式进而获取对应的测试用例这一技术方案，本实施例进而具有更强的自适应性，以及更高的验证效率。此外，由于通过采用算法定向模式可以获取具有物理意义的验证数据，本实施例进一步可以实现基于具有物理意义的验证数据与不具有物理意义的验证数据的共同验证，进一步保证了验证的准确度。
在一实施例中，进一步地，若上述目标用例生成模式为算法定向模式，上述方法还包括：
在获取上述实际计算结果之后，根据上述实际计算结果执行后续的图像识别，并通过判断最终的图像识别结果是否与上述预设图片相吻合进行验证。
具体地，上述图像识别模块可以应用于人脸识别芯片中，而经上述图像识别模块处理后所输出的实际计算结果实际上可以是芯片处理数据的过程中的一个中间结果，而非最终结果。基于此，本实施例可以在验证过程中通过将具有物理意义的验证数据(也即实际的照片数据)输入该图像识别模块，并将其所输出的实际计算结果作为中间结果输入至人脸识别芯片的后续的运算模块中，并基于后续的计算来生成最终人脸识别的结果，判断该人脸识别结果是否符合图片的实际情况。
例如，若测试需求点为：人脸个数识别，输入的图像数据与计算参数是基于实际图片(图片上已知包含三个人脸)所产生的，把上述图像数据以及计算参数输入图像识别模块以获取实际计算结果，基于该实际计算结果进行后续的人脸识别操作，获取最终的人脸识别结果，若该最终的人脸识别结果为3，且期望计算结果与实际计算结果一致的情况下，才可以判定双重验证通过。
本实施例通过对图像识别模块进行双重验证，进一步保证了验证准确性。
值得注意的是，仅在采用算法定向模式时，也即采用具有物理意义的算法数据时，本实施例上述技术方案才具有实际应用意义，而根据不具有物理意义的验证数据所获取的实际计算结果即使进入后续的人脸识别运算也无法获取最终的人脸识别结果，也就无法进行双重验证。
基于上述图2或图3的方法，在一些实施方式中，当对视频图像进行图像验证时需要对多帧图像数据进行连续验证。
例如：此处以两帧连续的图像为例进行描述，在验证时，需要覆盖的功能点可以包括(1)第一帧图像单独验证通过(2)第二帧图像单独验证通过(3)第一帧图像与第二帧图像的切换信息验证通过。此时，由于无论是采用随机的还是定向的用例生成模式都只能对单帧图像进行单独验证，均无法对覆盖上述(3)所对应的功能点。也即现有技术以及上述实施例中公开的方法无法对某些特殊场景下的需求点进行验证。比如，多帧图像的连续验证。
基于上述技术问题，本实施例中提供的上述多种用例生成模式还包括自定义模式，对应于上述自定义模式的上述测试用例包含组件调用程序。
若选取上述自定义模式获取测试用例，上述验证方法还可以包括：利用上述组件调用程序调用多个验证组件执行相应的功能，其中，上述验证组件至少包括用于驱动上述验证事务的驱动组件，以及用于监视上述验证事务的监视组件。
具体地，上述用于驱动上述验证事务的驱动组件以及用于监视上述验证事务的监视组件可以包括位于验证平台命令层的驱动器与监视器。
具体地，若采用上述自定义模式获取测试用例，则生成器根据该测试用例所生成的验证事务则不限于一个，也即可以包括多个验证事务。进一步地，通过利用上述组件调用程序调用多个验证组件执行相应的功能，验证环境不再自动运行验证平台中的各个组件，而是由测试用例中所包含的组件调用程序控制这些组件的运行。
例如：生成器根据自定义模式下的测试用例生成第一验证事务、第二验证事务、第三验证事务以及第四验证事务，并根据该测试用例中的组件调用程序依次驱动该第一验证事务、第二验证事务、第三验证事务以及第四验证事务。以及根据该测试用例中的组件调用程序对该第一验证事务、第二验证事务、第三验证事务以及第四验证事务的响应信号进行监视，获取对应于该验证事务集合的验证结果集合。
利用以上技术方案，本实施例可以通过设计测试用例中的组件调用程序自由控制验证流程，同时为验证人员提供了一个可主动控制验证过程的接口，从而可以实现对图像识别模块进行多种特殊场景(如多帧图像的连续验证)的验证，进一步更高维度地提高了功能覆盖率。
进一步地，若选取上述自定义模式配置上述测试用例，则上述验证事务还包含随机/或定向生成的图像数据、随机/或定向生成的计算参数以及随机/或定向生成的配置信息。
例如，可以根据实际的视频数据获取多帧图像，进而获取多帧具有物理意义的图像数据以及计算参数；可以根据验证需求定向获取预设的图像数据、计算参数；可以由验证环境由多个种子和约束获取随机生成的图像数据与计算参数；可以由验证环境随机生成配置信息；可以根据验证需求定向获取配置信息。
图4示出了本申请实施例提供的另一种图像识别模块的验证方法的流程示意图，基于上述对自定义模式的描述，本实施例对某些特殊场景的验证过程进行详细描述，上述特殊场景的验证过程例为多帧图像的验证过程。
具体地，若上述目标用例生成模式为上述自定义模式，上述测试用例包含多帧图像的验证数据，上述方法还包括：
S401：根据上述测试用例生成对应于多帧图像的多个上述验证事务；
S402：利用上述调用程序控制上述驱动组件连续驱动上述多个验证事务；
S403：利用上述调用程序控制上述监视组件对上述多个验证事务进行监视，以获取对应于每一帧图像的上述实际计算结果以及相邻帧间的上下文信息；
S404：通过判断对应于上述每一帧图像的实际计算结果与期望计算结果是否对应一致，对上述图像识别模块进行验证；
S405：通过判断上述相邻帧间的上下文信息与根据上述预设参考模型所获取的期望上下文信息是否一致，对上述图像识别模块进行验证。
具体地，上述S404与上述S405可以按照任意组合顺序执行，例如，先执行S404后执行S405、先执行S405后执行S404，或同时执行S404与S405，本实施例对此不做限制，仅以上述排列顺序为例进行描述。
具体地，由于在实际的图像识别过程中，单帧图像中的识别目标不可能单独的存在，相邻帧图像中的识别目标有或多或少的关系。被测的图像识别模块在实际工作中对多帧图像数据进行识别时，不仅会对单帧图像的进行特征的提取、分析与识别，同时还会根据相邻帧间的上下文信息进行图像识别。
具体地，上述S403中的上下文信息指的是相邻帧图像之间的上下文关系。上述上下文信息并不是直接从单帧图像直接得到，而是从邻域内的数据统计信息中得到。
例如，根据图像识别模块进行表情识别或姿势识别时，通过单帧图像无法准确获知识别目标的正确识别结果，此时就需要基于上下文信息进行识别。通过捕捉相邻帧图片之间的相互作用信息来对识别目标进行识别、处理。
利用以上技术方案，本实施例可以对图像识别模块中的多帧图像连续识别功能进行多帧图像的连续验证，进一步扩展了验证功能需求点、提高了功能覆盖率。
图5为本申请的一些实施例提供的一种图像识别模块的验证装置的示意图。图5中的验证装置可以包括事务生成模块501、执行模块502以及判断模块503，具体地：
事务生成模块501用于基于验证需求以及多种用例生成模式获取测试用例，根据上述测试用例生成验证事务；
执行模块502用于将上述验证事务输入上述图像识别模块以获取实际计算结果，将上述验证事务输入预设参考模型以获取期望计算结果；
判断模块503用于通过判断上述期望计算结果与上述实际计算结果是否一致，对上述图像识别模块进行验证。
具体地，上述验证需求具体为功能需求，目的在于观察设计实际实现的功能与设计意图是否一致。
可选地，本实施例还包括预先定义的覆盖组，也即若干个需要采集的功能点信息，本实施例通过上述若干个需要采集的功能点信息生成验证需求，进而根据验证需求从多种用例生成模式中获取目标用例生成模式。
例如，若当前的覆盖组中的需要采集的功能点信息只包含几个特定的功能点信息，则可以选取第一用例生成模式获取定向生成的测试用例；以及若当前的覆盖组中需要采集的功能点信息包含大量功能点信息，则可以采用第二用例生成模式获取随机生成的多个测试用例，以及当上述大量需要采集的功能点信息经验证后还剩余若干特定的功能点信息需要采集时，则可以转换为第一用例生成模式以获取定向生成的测试用例。
在一实施例中，上述事务生成模块501还可以用于：
对预设覆盖组中需要采集的功能点信息进行分析以获取上述验证需求，并根据上述验证需求从上述多种用例生成模式中获取一种用例生成模式/或获取多种用例生成模式的组合，并根据上述一种用例生成模式/或获取多种用例生成模式的组合获取至少一个测试用例。
进一步地，上述基于测试用例产生验证事务具体包括：位于场景层的生成器基于测试用例产生验证事务。上述验证事务具体可以包括：图像数据、计算参数以及配置信息等内容。
其中，图像数据可以包括：所有输入行宽、列高、通道的数据集。计算参数可以包括：行宽、列高、通道数、池化类型、内核类型、输出通道数、卷积参数、批量归一化参数、激活参数等等。配置信息可以包括：输入、输出图像的存放地址；批量归一化参数地址、激活参数地址、DMA突发场地等。
具体地，在上述对执行模块502的描述中，一方面，位于命令层的驱动器将上述生成的验证事务转化为激励信号并传输给信号层的图像识别模块，图像识别模块的输出信号通过位于命令层的监视器输出实际计算结果。另一方面，驱动器将输入信号传送给预设参考模型进行运算，在上述对判断模块503的描述中，通过将来自上述预设参考模型的预期计算结果和来自监控器的实际计算结果自动比对，通过比对结果来验证图像识别模块的功能正确性。
可选地，对应于上述预设的覆盖组中定义的若干个需要采集的功能点信息，本实施例还可以包括功能覆盖率统计模块，用于接收上述监视器监控的输出信号，并按照预设的覆盖组中定义的功能点信息来从输出信号中采集相应的功能点，然后确定采集到的功能点占全部功能点数量的比例，得到功能覆盖率参数。可选地，当上述功能覆盖率达到100％时，上述图像识别模块的验证完成。
现有技术中，通常采用随机模式生成测试用例进行验证，虽然随机模式对功能覆盖率贡献较大，但由于其随机性较大，常出现难以覆盖某一个或几个特定的功能验证需求点的情况，在此情况下，可能需要长时间的回归测试。因此单独采用随机模式是不可取的。
本实施例采用根据验证需求以及多种用例生成模式获取测试用例的技术方案，其中，由于测试用例是基于上述多种用例生成模式，而非基于单一的用例生成模式而产生的，因此本实施例可以根据验证情况自适应地调整验证模式，进而可以提高图像识别模块的验证效率，以及避免传统方法中需要长时间的回归测试的缺点。例如，根据验证情况自适应地调整验证模式时，若当前待验证的图像识别模块的功能验证需求点较少，则可以采用定向模式获取多个测试用例进行验证，避免随机用例生成方式需要长时间的回归测试的缺点；若功能验证需求点较多，则可以采用定向模式与随机模式相结合的方式获取多个测试用例进行验证，从而可以极大提高图像识别模块的验证效率。
可选地，其中，上述图像识别模块基于卷积神经网络所形成，
上述执行模块进一步用于：将上述验证事务输入上述图像识别模块以获取上述卷积神经网络的每一层输出结果；
上述判断模块进一步用于将上述卷积神经网络的每一层输出结果与上述期望计算结果进行比对，并通过判断对比结果是否全部一致，对上述图像识别模块进行验证。
可选地，其中，上述事务生成模块进一步用于：
对预设覆盖组中需要采集的功能点信息进行分析，获取上述验证需求；
根据上述验证需求，从上述多种用例生成模式中获取一种用例生成模式/或多种用例生成模式的组合，并根据上述一种用例生成模式/或多种用例生成模式的组合获取至少一个测试用例。
可选地，其中，上述多种用例生成模式至少包括随机模式，全定向模式和算法定向模式；以及，
上述事务生成模块501还用于：
根据上述随机模式生成的验证事务包含：根据随机种子与预设约束随机生成的图像数据、计算参数以及配置信息；
根据上述算法定向模式生成的验证事务包含：根据预设图片定向生成的图像数据与计算参数，以及由验证环境随机生成的配置信息；
根据上述全定向模式生成的验证事务包含：定向预设的图像数据、计算参数以及配置信息。
可选地，其中，若采用上述算法定向模式获取测试用例，上述装置还包括：
验证模块，在获取上述实际计算结果之后，根据上述实际计算结果执行预设的图像识别操作，并通过判断图像识别结果是否与上述预设图片相吻合，对上述图像识别模块再次进行验证。
可选地，其中，上述多种用例生成模式还包括自定义模式，对应于上述自定义模式的上述测试用例包含组件调用程序，上述装置还用于：
利用上述组件调用程序调用多个验证组件执行相应的功能，其中，上述验证组件至少包括用于驱动上述验证事务的驱动组件以及用于监视上述验证事务的监视组件。
可选地，其中，若采用上述自定义模式，则根据上述自定义模式生成的验证事务还包含随机/或定向生成的图像数据、随机/或定向生成的计算参数以及随机/或定向生成的配置信息。
可选地，其中，若采用上述自定义模式获取上述测试用例，上述测试用例包含多帧图像的验证数据，上述装置进一步用于：
根据上述测试用例生成对应于多帧图像的多个上述验证事务；
利用上述调用程序控制上述驱动组件连续驱动上述多个验证事务；
利用上述调用程序控制上述监视组件对上述多个验证事务进行监视，以获取对应于每一帧图像的上述实际计算结果以及相邻帧间的上下文信息；
通过判断对应于上述每一帧图像的实际计算结果与期望计算结果是否对应一致，对上述图像识别模块进行验证；以及
通过判断上述相邻帧间的上下文信息与根据上述预设参考模型所获取的期望上下文信息是否一致，对上述图像识别模块进行验证。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (16)
1.一种图像识别模块的验证方法，其特征在于，包括：
基于验证需求以及多种用例生成模式获取测试用例，根据所述测试用例生成验证事务；
将所述验证事务输入图像识别模块以获取实际计算结果，将所述验证事务输入预设参考模型以获取期望计算结果；
通过判断所述期望计算结果与所述实际计算结果是否一致，对所述图像识别模块进行验证。
2.如权利要求1所述的方法，其特征在于，所述图像识别模块基于卷积神经网络所形成，
所述将所述验证事务输入图像识别模块以获取实际计算结果还包括：将所述验证事务输入所述图像识别模块以获取所述卷积神经网络的每一层输出结果；
所述通过判断所述期望计算结果与所述实际计算结果是否一致，对所述图像识别模块进行验证还包括：将所述卷积神经网络的每一层输出结果与所述期望计算结果进行比对，并通过判断对比结果是否全部一致，对所述图像识别模块进行验证。
3.如权利要求1所述的方法，其特征在于，所述基于验证需求以及多种用例生成模式获取测试用例包括：
对预设覆盖组中需要采集的功能点信息进行分析，获取所述验证需求；
根据所述验证需求，从所述多种用例生成模式中获取一种用例生成模式/或多种用例生成模式的组合，并根据所述一种用例生成模式/或多种用例生成模式的组合获取至少一个测试用例。
4.如权利要求1或2所述的方法，其特征在于，所述多种用例生成模式至少包括随机模式、算法定向模式和全定向模式；以及，所述根据所述测试用例生成验证事务包括：
根据所述随机模式生成的验证事务包含：根据随机种子与预设约束随机生成的图像数据、计算参数以及配置信息；
根据所述算法定向模式生成的验证事务包含：根据预设图片定向生成的图像数据与计算参数，以及由验证环境随机生成的配置信息；
根据所述全定向模式生成的验证事务包含：定向预设的图像数据、计算参数以及配置信息。
5.如权利要求4所述的方法，其特征在于，若采用所述算法定向模式获取测试用例，所述方法还包括：
在获取所述实际计算结果之后，根据所述实际计算结果执行预设的图像识别操作，并通过判断图像识别结果是否与所述预设图片相吻合，对所述图像识别模块再次进行验证。
6.如权利要求1或2所述的方法，其特征在于，所述多种用例生成模式还包括自定义模式，其中，对应于所述自定义模式的所述测试用例还包含组件调用程序，所述方法还包括：
利用所述组件调用程序调用多个验证组件执行相应的功能，其中，所述验证组件至少包括用于驱动所述验证事务的驱动组件，以及用于监视所述验证事务的监视组件。
7.如权利要求6所述的方法，其特征在于，若采用所述自定义模式，则根据所述自定义模式生成的验证事务包含随机/或定向生成的图像数据、随机/或定向生成的计算参数以及随机/或定向生成的配置信息。
8.如权利要求6所述的方法，其特征在于，若采用所述自定义模式获取所述测试用例，所述测试用例包含多帧图像的验证数据，所述方法还包括：
根据所述测试用例生成对应于多帧图像的多个所述验证事务；
利用所述调用程序控制所述驱动组件连续驱动所述多个验证事务；
利用所述调用程序控制所述监视组件对所述多个验证事务进行监视，以获取对应于每一帧图像的所述实际计算结果以及相邻帧间的上下文信息；
通过判断对应于所述每一帧图像的实际计算结果与期望计算结果是否对应一致，对所述图像识别模块进行验证；以及
通过判断所述相邻帧间的上下文信息与根据所述预设参考模型所获取的期望上下文信息是否一致，对所述图像识别模块进行验证。
9.一种图像识别模块的验证装置，其特征在于，包括：
事务生成模块，用于基于验证需求以及多种用例生成模式获取测试用例，根据所述测试用例生成验证事务；
执行模块，用于将所述验证事务输入图像识别模块以获取实际计算结果，将所述验证事务输入预设参考模型以获取期望计算结果；
判断模块，用于通过判断所述期望计算结果与所述实际计算结果是否一致，对所述图像识别模块进行验证。
10.如权利要求9所述的装置，其特征在于，所述图像识别模块基于卷积神经网络所形成，
所述执行模块进一步用于：将所述验证事务输入所述图像识别模块以获取所述卷积神经网络的每一层输出结果；
所述判断模块进一步用于将所述卷积神经网络的每一层输出结果与所述期望计算结果进行比对，并通过判断对比结果是否全部一致，对所述图像识别模块进行验证。
11.如权利要求9所述的装置，其特征在于，所述事务生成模块进一步用于：
对预设覆盖组中需要采集的功能点信息进行分析，获取所述验证需求；
根据所述验证需求，从所述多种用例生成模式中获取一种用例生成模式/或多种用例生成模式的组合，并根据所述一种用例生成模式/或多种用例生成模式的组合获取至少一个测试用例。
12.如权利要求9或10所述的装置，其特征在于，所述多种用例生成模式至少包括随机模式、算法定向模式和全定向模式；以及，
所述事务生成模块还用于：
根据所述随机模式生成的验证事务包含：根据随机种子与预设约束随机生成的图像数据、计算参数以及配置信息；
根据所述算法定向模式生成的验证事务包含：根据预设图片定向生成的图像数据与计算参数，以及由验证环境随机生成的配置信息；
根据所述全定向模式生成的验证事务包含：定向预设的图像数据、计算参数以及配置信息。
13.如权利要求12所述的装置，其特征在于，若采用所述算法定向模式获取测试用例，所述装置还包括：
验证模块，在获取所述实际计算结果之后，根据所述实际计算结果执行预设的图像识别操作，并通过判断图像识别结果是否与所述预设图片相吻合，对所述图像识别模块再次进行验证。
14.如权利要求9或10所述的装置，其特征在于，所述多种用例生成模式还包括自定义模式，对应于所述自定义模式的所述测试用例包含组件调用程序，所述装置还用于：
利用所述组件调用程序调用多个验证组件执行相应的功能，其中，所述验证组件至少包括用于驱动所述验证事务的驱动组件以及用于监视所述验证事务的监视组件。
15.如权利要求14所述的装置，其特征在于，若采用所述自定义模式，则根据所述自定义模式生成的验证事务包含随机/或定向生成的图像数据、随机/或定向生成的计算参数以及随机/或定向生成的配置信息。
16.如权利要求14所述的装置，其特征在于，若采用所述自定义模式获取所述测试用例，所述测试用例包含多帧图像的验证数据，所述装置进一步用于：
根据所述测试用例生成对应于多帧图像的多个所述验证事务；
利用所述调用程序控制所述驱动组件连续驱动所述多个验证事务；
利用所述调用程序控制所述监视组件对所述多个验证事务进行监视，以获取对应于每一帧图像的所述实际计算结果以及相邻帧间的上下文信息；
通过判断对应于所述每一帧图像的实际计算结果与期望计算结果是否对应一致，对所述图像识别模块进行验证；以及
通过判断所述相邻帧间的上下文信息与根据所述预设参考模型所获取的期望上下文信息是否一致，对所述图像识别模块进行验证。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811508579.7A CN109636786B (zh) | 2018-12-11 | 2018-12-11 | 一种图像识别模块的验证方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811508579.7A CN109636786B (zh) | 2018-12-11 | 2018-12-11 | 一种图像识别模块的验证方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109636786A true CN109636786A (zh) | 2019-04-16 |
| CN109636786B CN109636786B (zh) | 2022-11-22 |
Family
ID=66072482
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811508579.7A Active CN109636786B (zh) | 2018-12-11 | 2018-12-11 | 一种图像识别模块的验证方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109636786B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110751272A (zh) * | 2019-10-30 | 2020-02-04 | 珠海格力电器股份有限公司 | 卷积神经网络模型中数据定位的方法、装置及存储介质 |
| CN110941562A (zh) * | 2019-12-16 | 2020-03-31 | 卡斯柯信号(北京)有限公司 | 测试用例的验证方法、装置及电子设备 |
| CN112711533A (zh) * | 2020-12-30 | 2021-04-27 | 北京华捷艾米科技有限公司 | 基于图像处理的验证系统及方法 |
| CN113407408A (zh) * | 2021-06-11 | 2021-09-17 | 海光信息技术股份有限公司 | 数据传输规则验证方法、装置、设备和存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7966591B2 (en) * | 2008-10-09 | 2011-06-21 | Cray, Inc. | System and method for verifying race-driven registers |
| CN104079920A (zh) * | 2013-03-25 | 2014-10-01 | 安凯(广州)微电子技术有限公司 | 验证图像采集处理的方法及装置 |
| CN104615537A (zh) * | 2015-02-02 | 2015-05-13 | 福州瑞芯微电子有限公司 | 一种图像处理类ip的可约束随机验证方法和装置 |
| CN105844066A (zh) * | 2016-06-07 | 2016-08-10 | 无锡键桥电子科技有限公司 | 一种用于无源标签芯片的设计验证方法 |
| CN105843743A (zh) * | 2016-04-11 | 2016-08-10 | 南京邮电大学 | 一种特殊自动化测试用例实际输出结果正确性的验证方法 |
| CN106096123A (zh) * | 2016-06-07 | 2016-11-09 | 无锡键桥电子科技有限公司 | 一种用于无源标签芯片的vmm验证系统及方法 |
| CN107273502A (zh) * | 2017-06-19 | 2017-10-20 | 重庆邮电大学 | 一种基于空间认知学习的图像地理标注方法 |
| CN108464827A (zh) * | 2018-03-08 | 2018-08-31 | 四川大学 | 一种弱监督下的心电图像识别方法 |
| CN108470000A (zh) * | 2018-03-06 | 2018-08-31 | 睿云联(厦门)网络通讯技术有限公司 | 通讯终端软件自动测试方法、系统及介质 |
-
2018
- 2018-12-11 CN CN201811508579.7A patent/CN109636786B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7966591B2 (en) * | 2008-10-09 | 2011-06-21 | Cray, Inc. | System and method for verifying race-driven registers |
| CN104079920A (zh) * | 2013-03-25 | 2014-10-01 | 安凯(广州)微电子技术有限公司 | 验证图像采集处理的方法及装置 |
| CN104615537A (zh) * | 2015-02-02 | 2015-05-13 | 福州瑞芯微电子有限公司 | 一种图像处理类ip的可约束随机验证方法和装置 |
| CN105843743A (zh) * | 2016-04-11 | 2016-08-10 | 南京邮电大学 | 一种特殊自动化测试用例实际输出结果正确性的验证方法 |
| CN105844066A (zh) * | 2016-06-07 | 2016-08-10 | 无锡键桥电子科技有限公司 | 一种用于无源标签芯片的设计验证方法 |
| CN106096123A (zh) * | 2016-06-07 | 2016-11-09 | 无锡键桥电子科技有限公司 | 一种用于无源标签芯片的vmm验证系统及方法 |
| CN107273502A (zh) * | 2017-06-19 | 2017-10-20 | 重庆邮电大学 | 一种基于空间认知学习的图像地理标注方法 |
| CN108470000A (zh) * | 2018-03-06 | 2018-08-31 | 睿云联(厦门)网络通讯技术有限公司 | 通讯终端软件自动测试方法、系统及介质 |
| CN108464827A (zh) * | 2018-03-08 | 2018-08-31 | 四川大学 | 一种弱监督下的心电图像识别方法 |
Non-Patent Citations (4)
| Title |
|---|
| KHALED SALAH ET AL.: "A UVM-Based Smart Functional Verification Platform: Concepts, Pros, Cons, and Opportunities", 《2014 9TH INTERNATIONAL DESIGN AND TEST SYMPOSIUM》 * |
| 刘皓: "基于深度学习的行人再识别问题研究", 《中国博士学位论文全文数据库 信息科技辑》 * |
| 姜伟: "人工神经网络在自动化测试软件中的应用", 《中国战略新兴产业》 * |
| 安慧中: "基于UVM验证方法学的图像缩放模块的验证", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110751272A (zh) * | 2019-10-30 | 2020-02-04 | 珠海格力电器股份有限公司 | 卷积神经网络模型中数据定位的方法、装置及存储介质 |
| CN110751272B (zh) * | 2019-10-30 | 2021-02-23 | 珠海格力电器股份有限公司 | 卷积神经网络模型中数据定位的方法、装置及存储介质 |
| CN110941562A (zh) * | 2019-12-16 | 2020-03-31 | 卡斯柯信号(北京)有限公司 | 测试用例的验证方法、装置及电子设备 |
| CN110941562B (zh) * | 2019-12-16 | 2023-10-31 | 卡斯柯信号(北京)有限公司 | 测试用例的验证方法、装置及电子设备 |
| CN112711533A (zh) * | 2020-12-30 | 2021-04-27 | 北京华捷艾米科技有限公司 | 基于图像处理的验证系统及方法 |
| CN113407408A (zh) * | 2021-06-11 | 2021-09-17 | 海光信息技术股份有限公司 | 数据传输规则验证方法、装置、设备和存储介质 |
| CN113407408B (zh) * | 2021-06-11 | 2024-01-26 | 海光信息技术股份有限公司 | 数据传输规则验证方法、装置、设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109636786B (zh) | 2022-11-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109636786A (zh) | 一种图像识别模块的验证方法和装置 | |
| CN108351967A (zh) | 一种多人脸检测方法、装置、服务器、系统及存储介质 | |
| WO2019214309A1 (zh) | 模型测试的方法及装置 | |
| KR20200085490A (ko) | 신경망 모델을 이용한 센서 이상 감지를 위한 서비스 제공 시스템 및 방법, 그리고 컴퓨터 프로그램이 기록된 비휘발성 기록매체 | |
| CN107391379A (zh) | 接口自动测试方法及装置 | |
| CN107832802A (zh) | 基于人脸比对的人脸图像质量评价方法及装置 | |
| CN104536888A (zh) | 移动设备的游戏测试方法与系统 | |
| CN109253888A (zh) | 用于车辆车况的检测方法及系统 | |
| CN109587008A (zh) | 检测异常流量数据的方法、装置及存储介质 | |
| CN109389599A (zh) | 一种基于深度学习的缺陷检测方法及装置 | |
| CN114049565B (zh) | 基于遥感影像和dem数据的地质灾害判识方法和装置 | |
| CN108809948A (zh) | 一种基于深度学习的异常网络连接检测方法 | |
| CN109284735B (zh) | 鼠情监控方法、装置及存储介质 | |
| CN111174370A (zh) | 故障检测方法及装置、存储介质、电子装置 | |
| CN109784487A (zh) | 用于事件检测的深度学习网络、该网络的训练装置及方法 | |
| CN108121961A (zh) | 巡检行为识别方法、装置、计算机设备和存储介质 | |
| CN109783260A (zh) | 智能it全流程运维方法、装置、设备及可读存储介质 | |
| CN109919064A (zh) | 一种轨道交通车厢内实时人数统计方法和装置 | |
| CN109426655A (zh) | 数据分析方法、装置、电子设备及计算机可读存储介质 | |
| CN106874306B (zh) | 人口信息人像比对系统关键性能指标评测方法 | |
| CN109555977A (zh) | 漏水噪声检测的设备和识别方法 | |
| CN110427998A (zh) | 模型训练、目标检测方法及装置、电子设备、存储介质 | |
| CN107811606A (zh) | 基于无线传感器网络的智能视力检测仪 | |
| CN110290203A (zh) | 人工智能云计算对制成品进行非侵入性生产缺陷识别与信息连通 | |
| CN104615537B (zh) | 一种图像处理类ip的可约束随机验证方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20211129 Address after: Room 2102, 21 / F, building 1, yard 1, No. 81, Beiqing Road, Haidian District, Beijing 100094 Applicant after: Canaan Bright Sight Co.,Ltd. Address before: 310000 Room 1203, 12/F, Building 4, No. 9, Jiuhuan Road, Jianggan District, Hangzhou City, Zhejiang Province Applicant before: Hangzhou Canaan Creative Information Technology Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |