CN111488551B - 验证卷积运算的完整性的方法及装置 - Google Patents

验证卷积运算的完整性的方法及装置 Download PDF

Info

Publication number
CN111488551B
CN111488551B CN202010010297.5A CN202010010297A CN111488551B CN 111488551 B CN111488551 B CN 111488551B CN 202010010297 A CN202010010297 A CN 202010010297A CN 111488551 B CN111488551 B CN 111488551B
Authority
CN
China
Prior art keywords
specific
test pattern
pattern
result
convolution operation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010010297.5A
Other languages
English (en)
Other versions
CN111488551A (zh
Inventor
金桂贤
金镕重
金寅洙
金鹤京
南云铉
夫硕焄
成明哲
吕东勋
柳宇宙
张泰雄
郑景中
诸泓模
赵浩辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of CN111488551A publication Critical patent/CN111488551A/zh
Application granted granted Critical
Publication of CN111488551B publication Critical patent/CN111488551B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
    • G06F11/26—Functional testing
    • G06F11/263—Generation of test inputs, e.g. test vectors, patterns or sequences ; with adaptation of the tested hardware for testability with external testers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
    • G06F11/26—Functional testing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations
    • G06F17/153—Multidimensional correlation or convolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/58—Random or pseudo-random number generators
    • G06F7/588—Random number generators, i.e. based on natural stochastic processes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Computer Hardware Design (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Test And Diagnosis Of Digital Computers (AREA)
  • Complex Calculations (AREA)
  • Tests Of Electronic Circuits (AREA)

Abstract

本发明涉及一种生成测试图案并从所述测试图案中选择最佳测试图案以验证卷积运算的完整性的方法及装置。更详细而言，涉及一种用于生成一个以上测试图案并从测试图案中选择一个以上最佳测试图案以验证一个以上卷积运算的完整性的方法，包括：步骤a：计算装置使至少一个图案生成单元利用预定函数生成测试图案，使得在至少一个原始CNN向输入到至少一个原始CNN的测试图案应用卷积运算的过程中不产生饱和；步骤b：计算装置使至少一个图案评估单元以各个测试图案及原始CNN中的一个以上参数为参考，分别生成各个测试图案的评估分数；以及步骤c：计算装置使至少一个图案选择单元以评估分数为参考，从测试图案中选择最佳测试图案。

Description

验证卷积运算的完整性的方法及装置
技术领域
本发明涉及一种生成测试图案并从所述测试图案中选择最佳测试图案以验证卷积运算的完整性的方法及装置。更详细而言，涉及一种用于生成一个以上测试图案并从所述测试图案中选择一个以上最佳测试图案以验证一个以上卷积运算的完整性的方法，包括：步骤a：计算装置使至少一个图案生成单元利用预定函数来生成所述测试图案，使得在至少一个原始CNN向输入到所述至少一个原始CNN的所述测试图案应用所述卷积运算的过程中不产生饱和；步骤b：所述计算装置使至少一个图案评估单元以各个所述测试图案及所述原始CNN中的一个以上参数为参考，分别生成各个所述测试图案的评估分数；以及步骤c：所述计算装置使至少一个图案选择单元以所述评估分数为参考，从所述测试图案中选择所述最佳测试图案。
背景技术
深度卷积神经网络(Deep Convolutional Neural Network or Deep CNN)是在深度学习领域中发生的辉煌发展的核心。虽然为了解决文字识别问题而在90年代也使用CNN，但直到最近在机械学习(Machine Learning)领域中才广泛使用CNN。例如，CNN在2012年图像识别挑战赛(ImageNet Large Scale Visual Recognition Challenge)中击败其他竞争对手获得冠军。之后，CNN已成为在机械学习领域中非常有用的工具。
CNN有时在汽车自动驾驶领域中被使用，主要通过分析经由附着于汽车的相机获取到的图像来检测障碍物，并且通过执行检测自由空间等的功能而实现车辆安全驾驶。
在将经过充分的学习过程学习到的自动驾驶用CNN实际上投入到自动驾驶中的情况下，非常重要的是自动驾驶用CNN的安全性。这是因为自动驾驶车辆高速行驶且具有较大的质量而错误驾驶时危险性较大。具体而言，这是因为如果有不良意图的黑客入侵自动驾驶用CNN而变更自动驾驶用CNN中包含的参数，则有可能会将自动驾驶用车辆故意用于恐吓或者攻击自动驾驶车辆中搭载的乘客。
因此，需要在测试过程中验证CNN参数是否维持与CNN完成初始学习时相同的参数的方法，但现实是迄今为止的研究主要集中在自动驾驶用CNN如何才能很好地移动车辆，而对如何维持这种安全性的方法的研究很少。
发明内容
技术问题
本发明的目的是解决上述问题。
本发明能够通过提供一种利用至少一个测试图案来生成用于验证卷积神经网络(CNN)的一个以上参数的完整性的一个以上测试图案的方法来使自动驾驶车辆免受黑客的威胁而实现安全驾驶。
本发明能够通过提供一种关于测试图案的评估方法来选择最佳的测试图案并很好地执行卷积参数的完整性验证方法。
技术方案
为了实现如上所述的本发明的目的并实现后述的本发明的特征效果，本发明的特征结构如下所述。
根据本发明的一方面，提供一种用于生成一个以上测试图案并从所述测试图案中选择一个以上最佳测试图案以验证一个以上卷积运算的完整性的方法，包括：步骤a：计算装置使至少一个图案生成单元利用预定函数来生成所述测试图案，使得在至少一个原始CNN向输入到所述至少一个原始CNN的所述测试图案应用所述卷积运算的过程中不产生饱和；步骤b：所述计算装置使至少一个图案评估单元以各个所述测试图案及所述原始CNN中的一个以上参数为参考，分别生成各个所述测试图案的评估分数；以及步骤c：所述计算装置使至少一个图案选择单元以所述评估分数为参考，从所述测试图案中选择所述最佳测试图案。
在一实施例中，所述方法还包括：步骤d：所述计算装置使至少一个完整性验证模块通过整合所述最佳测试图案中的至少一个特定最佳测试图案及至少一个原始输入而生成至少一个扩展输入，并且在所述原始CNN使用所述扩展输入来生成至少一个验证输出的情况下，所述计算装置使所述完整性验证模块以所述验证输出为参考验证所述原始CNN的完整性。
在一实施例中，在所述步骤a中，所述计算装置使所述图案生成单元执行如下操作：i)利用所述预定函数来生成一个以上预备测试图案；ii)将所述预备测试图案输入到所述原始CNN中并将各个所述预备测试图案分类为第一类型及第二类型，其中，所述第一类型是指在所述原始CNN应用所述卷积运算时所述预备测试图案中的饱和的第一部分，所述第二类型是指在所述原始CNN应用所述卷积运算时所述预备测试图案中的不饱和的第二部分；以及iii)生成包含所述预备测试图案的所述第二部分及一个以上经调整的预备测试图案的所述测试图案，其中，通过调整包含在所述预备测试图案的所述第一部分中的至少一部分值而生成所述经调整的预备测试图案使得在所述原始CNN将所述卷积运算应用到所述经调整的预备测试图案期间不发生所述饱和。
在一实施例中，在所述原始CNN对所述预备测试图案中的特定预备测试图案应用所述卷积运算期间，所述计算装置使所述图案生成单元在i)每当针对包含在所述特定预备测试图案中的特定值的一个以上加权值运算的至少一个结果值与针对所述特定值之前的一个以上值的所述加权值运算的一个以上先前结果值相加时的时刻以及ii)每当一个以上偏差运算应用到所述加权值运算的所有结果值的总和时的时刻中的至少一者，以关于是否发生所述饱和的信息为参考，确定所述特定预备测试图案属于所述第一类型还是所述第二类型。
在一实施例中，所述步骤b包括：步骤b1：所述计算装置使所述图案评估单元生成一个以上特定调制测试图案，所述一个以上特定调制测试图案为对包含在所述测试图案中的特定测试图案中的各个比特进行调制而形成的一个以上结果；以及步骤b2：在由所述原始CNN将所述卷积运算应用到所述特定调制测试图案及所述特定测试图案的情况下，所述计算装置使所述图案评估单元计算针对所述特定调制测试图案的所述卷积运算的各个结果与针对所述特定测试图案的所述卷积运算的至少一个结果相同的频度，从而生成所述特定测试图案的至少一个特定评估分数。
在一实施例中，在所述步骤b中，所述计算装置使所述图案评估单元执行如下操作：i)计算由原始CNN对所述测试图案中的特定测试图案应用的一个以上加权值运算的结果与针对调制所述特定测试图案的各个比特而生成的特定调制测试图案的所述加权值运算的结果之间的差值；ii)确定各个所述差值是否包含在针对所述特定调制测试图案的所述卷积运算的结果与针对所述特定测试图案的所述卷积运算的结果没有不同时分别对应的特定范围内；以及iii)计算各个所述差值包含在对应的特定范围内的频度，从而生成所述特定测试图案的特定评估分数。
在一实施例中，在所述步骤b中，当调制所述特定测试图案的比特中的特定比特的情况下，所述计算装置使所述图案评估单元以针对特定差值的子集的比率为参考，确定包含在所述特定评估分数中的与所述特定比特对应的至少一个特定详细评估分数，所述特定差值与从各个输出信道中输出的所述特定比特对应，并且在所述子集包含在对应的特定范围内的情况下，所述子集选自所述特定差值。
在一实施例中，所述步骤b包括：步骤b1：所述计算装置使所述图案评估单元生成一个以上调制CNN，所述一个以上调制CNN为对包含在所述原始CNN的所述参数中的各个比特进行调制而形成的一个以上结果；以及步骤b2：在所述调制CNN将一个以上调制卷积运算应用到所述测试图案中的特定测试图案并且所述原始CNN将所述卷积运算应用到所述特定测试图案的情况下，所述计算装置使所述图案评估单元计算由各个所述调制CNN对所述特定测试图案应用的所述调制卷积运算的各结果与针对所述特定测试图案的所述卷积运算的结果相同的频度，从而生成所述特定测试图案的特定评估分数。
在一实施例中，在所述步骤b中，所述计算装置使所述图案评估单元执行如下操作：i)计算由所述原始CNN应用到所述测试图案中的特定测试图案的一个以上加权值运算的结果与由通过调制包含在所述原始CNN的参数中的各个比特而生成的一个以上调制CNN应用到所述特定测试图案中的一个以上调制加权值运算的结果之间的差值，各个所述差值与包含在所述原始CNN的所述参数中的各个比特对应；ii)确定各个所述差值是否包含在所述调制加权值运算的结果不影响针对所述特定测试图案的所述卷积运算的结果时分别对应的特定范围内；iii)计算各个差值包含在与所述各个差值对应的特定范围内的频度而生成所述特定测试图案的特定评估分数。
在一实施例中，在所述步骤b中，当调制包含在所述原始CNN的所述参数中的特定卷积参数中的至少一个特定比特而生成调制CNN的情况下，所述计算装置使所述图案评估单元以针对由所述原始CNN应用到所述特定测试图案的所述加权值运算的结果与由所述调制CNN对所述特定测试图案进行的所述调制加权值运算的结果之间的特定差值的子集的比率为参考，确定包含在所述特定评估分数中的与所述特定比特对应的特定详细评估分数，其中，所述特定差值与所述特定比特对应，在所述子集包含在与所述子集对应的特定范围内的情况下，所述子集选自所述特定差值。
在一实施例中，在所述步骤a中，所述预定函数为至少一个随机数生成器的函数，所述计算装置使所述图案生成单元利用由所述随机数生成器的所述函数生成的一个以上随机数来生成所述测试图案。
在一实施例中，在所述步骤a中，所述饱和为包含在针对所述测试图案的所述卷积运算中的一个以上详细运算过程的一个以上详细结果值中至少一部分绝对值大于与其对应的阈值的情况，与所述详细结果值分别对应的各个所述阈值为能够以分配到各个所述详细结果值的比特数表示的最大绝对值。
在一实施例中，在所述步骤b中，所述计算装置使所述图案评估单元以针对调制的至少一个特定单一比特的所述卷积运算的结果为参考，生成所述测试图案中的特定测试图案的特定评估分数，其中，所述特定单一比特根据均匀概率分布而选自包含在所述特定测试图案中的比特和包含在所述原始CNN的所述参数中的比特。
根据本发明的又一方面，提供一种计算装置，所述计算装置用于生成一个以上测试图案并从所述测试图案中选择一个以上最佳测试图案以验证一个以上卷积运算的完整性，包括：至少一个存储器，其用于存储指令；以及至少一个处理器，其被配置成运行用于执行以下过程的指令：过程I：使至少一个图案生成单元利用预定函数来生成所述测试图案，使得在至少一个原始CNN向输入到所述至少一个原始CNN的所述测试图案应用所述卷积运算的过程中不产生饱和；过程II：使至少一个图案评估单元以各个所述测试图案及所述原始CNN中的一个以上参数为参考，分别生成各个所述测试图案的评估分数；以及过程III：使至少一个图案选择单元以所述评估分数为参考，从所述测试图案中选择所述最佳测试图案。
在一实施例中，所述处理器进一步执行以下过程：过程IV：使至少一个完整性验证模块通过整合所述最佳测试图案中的至少一个特定最佳测试图案及至少一个原始输入而生成至少一个扩展输入，并且在所述原始CNN使用所述扩展输入来生成至少一个验证输出的情况下，所述处理器使所述完整性验证模块以所述验证输出为参考验证所述原始CNN的完整性。
在一实施例中，在所述过程I中，所述处理器使所述图案生成单元执行如下操作：i)利用所述预定函数来生成一个以上预备测试图案；ii)将所述预备测试图案输入到所述原始CNN中并将各个所述预备测试图案分类为第一类型及第二类型，其中，所述第一类型是指在所述原始CNN应用所述卷积运算时所述预备测试图案中的饱和的第一部分，所述第二类型是指在所述原始CNN应用所述卷积运算时所述预备测试图案中的不饱和的第二部分；以及iii)生成包含所述预备测试图案的所述第二部分及一个以上经调整的预备测试图案的所述测试图案，其中，通过调整包含在所述预备测试图案的所述第一部分中的至少一部分值而生成所述经调整的预备测试图案使得在所述原始CNN将所述卷积运算应用到所述经调整的预备测试图案期间不发生所述饱和。
在一实施例中，在所述原始CNN对所述预备测试图案中的特定预备测试图案应用所述卷积运算期间，所述处理器使所述图案生成单元在i)每当针对包含在所述特定预备测试图案中的特定值的一个以上加权值运算的至少一个结果值与针对所述特定值之前的一个以上值的所述加权值运算的一个以上先前结果值相加时的时刻以及ii)每当一个以上偏差运算应用到所述加权值运算的所有结果值的总和时的时刻中的至少一者，以关于是否发生所述饱和的信息为参考，确定所述特定预备测试图案属于所述第一类型还是所述第二类型。
在一实施例中，所述过程II执行以下过程：过程II-1：所述处理器使所述图案评估单元生成一个以上特定调制测试图案，所述一个以上特定调制测试图案为对包含在所述测试图案中的特定测试图案中的各个比特进行调制而形成的一个以上结果；以及过程II-2：在由所述原始CNN将所述卷积运算应用到所述特定调制测试图案及所述特定测试图案的情况下，所述处理器使所述图案评估单元计算针对所述特定调制测试图案的所述卷积运算的各个结果与针对所述特定测试图案的所述卷积运算的至少一个结果相同的频度，从而生成所述特定测试图案的至少一个特定评估分数。
在一实施例中，在所述过程II中，所述处理器使所述图案评估单元执行如下操作：i)计算由原始CNN对所述测试图案中的特定测试图案应用的一个以上加权值运算的结果与针对调制所述特定测试图案的各个比特而生成的特定调制测试图案的所述加权值运算的结果之间的差值；ii)确定各个所述差值是否包含在针对所述特定调制测试图案的所述卷积运算的结果与针对所述特定测试图案的所述卷积运算的结果没有不同时分别对应的特定范围内；以及iii)计算各个所述差值包含在对应的特定范围内的频度，从而生成所述特定测试图案的特定评估分数。
在一实施例中，在所述过程II中，当调制所述特定测试图案的比特中的特定比特的情况下，所述处理器使所述图案评估单元以针对特定差值的子集的比率为参考，确定包含在所述特定评估分数中的与所述特定比特对应的至少一个特定详细评估分数，所述特定差值与从各个输出信道中输出的所述特定比特对应，并且在所述子集包含在对应的特定范围内的情况下，所述子集选自所述特定差值。
在一实施例中，所述过程II执行以下过程：过程II-1：所述处理器使所述图案评估单元生成一个以上调制CNN，所述一个以上调制CNN为对包含在所述原始CNN的所述参数中的各个比特进行调制而形成的一个以上结果；以及过程II-2：在所述调制CNN将一个以上调制卷积运算应用到所述测试图案中的特定测试图案并且所述原始CNN将所述卷积运算应用到所述特定测试图案的情况下，所述处理器使所述图案评估单元计算由各个所述调制CNN对所述特定测试图案应用的所述调制卷积运算的各结果与针对所述特定测试图案的所述卷积运算的结果相同的频度，从而生成所述特定测试图案的特定评估分数。
在一实施例中，在所述过程II中，所述处理器使所述图案评估单元执行如下操作：i)计算由所述原始CNN应用到所述测试图案中的特定测试图案的一个以上加权值运算的结果与由通过调制包含在所述原始CNN的参数中的各个比特而生成的一个以上调制CNN应用到所述特定测试图案中的一个以上调制加权值运算的结果之间的差值，各个所述差值与包含在所述原始CNN的所述参数中的各个比特对应；ii)确定各个所述差值是否包含在所述调制加权值运算的结果不影响针对所述特定测试图案的所述卷积运算的结果时分别对应的特定范围内；iii)计算各个差值包含在与所述各个差值对应的特定范围内的频度而生成所述特定测试图案的特定评估分数。
在一实施例中，在所述过程II中，当调制包含在所述原始CNN的所述参数中的特定卷积参数中的至少一个特定比特而生成调制CNN的情况下，所述处理器使所述图案评估单元以针对由所述原始CNN应用到所述特定测试图案的所述加权值运算的结果与由所述调制CNN对所述特定测试图案进行的所述调制加权值运算的结果之间的特定差值的子集的比率为参考，确定包含在所述特定评估分数中的与所述特定比特对应的特定详细评估分数，其中，所述特定差值与所述特定比特对应，在所述子集包含在与所述子集对应的特定范围内的情况下，所述子集选自所述特定差值。
在一实施例中，在所述过程I中，所述预定函数为至少一个随机数生成器的函数，所述处理器使所述图案生成单元利用由所述随机数生成器的所述函数生成的一个以上随机数来生成所述测试图案。
在一实施例中，在所述过程I中，所述饱和为包含在针对所述测试图案的所述卷积运算中的一个以上详细运算过程的一个以上详细结果值中至少一部分绝对值大于与其对应的阈值的情况，与所述详细结果值分别对应的各个所述阈值为能够以分配到各个所述详细结果值的比特数表示的最大绝对值。
在一实施例中，在所述过程II中，所述处理器使所述图案评估单元以针对调制的至少一个特定单一比特的所述卷积运算的结果为参考，生成所述测试图案中的特定测试图案的特定评估分数，其中，所述特定单一比特根据均匀概率分布而选自包含在所述特定测试图案中的比特和包含在所述原始CNN的所述参数中的比特。
有益效果
本发明提供一种用于利用测试图案来验证卷积参数的完整性的测试图案生成方法，具有能够使自动驾驶车辆免受黑客的威胁而安全驾驶的效果。
本发明提供一种关于测试图案的评估方法，具有能够选择最佳测试图案而能够很好地执行卷积参数的完整性验证方法的效果。
此外，可以为了在卷积运算中提高容错性、在极端情况下的波动鲁棒性及功能安全性而使用本发明，在缩减注释费用时可以使用本发明。
附图说明
为了说明本发明的实施例而所附的以下图只是本发明的实施例中的一部分，本发明所属技术领域的具有普通知识的人员(以下，称为“普通技术人员”)在没有进行发明工作的情况下可以以该图为基础得到其他图。
图1是表示根据本发明的一实施例的用于执行生成一个以上测试图案并从它们中选择一个以上最佳测试图案以验证一个以上卷积运算的完整性的方法的计算装置的结构的图。
图2a、2b及2c是用于说明根据本发明的一实施例的用于执行生成测试图案并从它们中选择一个以上最佳测试图案以验证卷积运算的完整性的方法而使用的变化值及特定范围的图。
图3是表示根据本发明的一实施例的利用通过生成测试图案并从它们中选择一个以上最佳测试图案以验证卷积运算的完整性的方法选择出的最佳测试图案来验证卷积运算的完整性的方式的图。
具体实施方式
后述的对本发明的详细说明参照作为示例图示能够实施本发明的具体实施例的附图。详细说明这些实施例，使得本领域技术人员能够实施本发明。应理解为本发明的多种实施例虽然彼此不同但没必要相互排斥。例如，在此记载的特定形状、结构及特性与一实施例相关联，在不脱离本发明的精神及范围的情况下可以以其他实施例实现。此外，应理解为在不脱离本发明的精神及范围的情况下能够变更各个公开实施例内的个别结构要素的位置或布置。因此，后述的详细说明不应视为限定性含义，在适当说明的情况下，本发明的范围仅由所附的权利要求和与该权利要求所主张的内容均等的所有范围来限定。在附图中，相似的附图标记在各个方面上指代相同或相似的功能
此外，在本发明的详细说明及权利要求中，“包括”这一词语及其变形并非用来去除其他技术特征、附加物、结构要素或步骤。对于本领域普通技术人员而言，能够部分地从本发明的说明书以及部分地本发明的实施中显然得知本发明的其他目的、优点及特性。以下示例及附图作为实例提供，并不是用来限定本发明。
本发明中提到的各种图像可包括与铺装或未铺装的道路相关的图像，在该情况下能够假定出现在道路环境中的物体(例如，车辆、人类、动物、植物、物体、建筑物、如飞机或无人机等的飞行器以及其他障碍物)，但本发明并不一定限定于此，本发明中提到的各种图像还可以是与道路无关的图像(例如，与非铺装道路、小巷、空地、海洋、湖泊、河流、山脉、森林、沙漠、天空、室内相关联的图像)，在该情况下能够假定有可能出现在非铺装道路、小巷、空地、海洋、湖泊、河流、山脉、森林、沙漠、天空、室内环境中的物体(例如，车辆、人类、动物、植物、物体、建筑物、如飞机和无人机等的飞行器以及其他障碍物)，但并不一定限定于此。
下面，参照附图对本发明的优选实施例进行详细说明，使得本发明所属技术领域的普通技术人员能够容易实施本发明。
图1是表示根据本发明的一实施例的用于执行生成一个以上测试图案并从它们中选择一个以上最佳测试图案以验证一个以上卷积运算的完整性的方法的计算装置的结构的图。
参照图1，计算装置100可包括至少一个图案生成单元200、至少一个图案评估单元300、至少一个图案选择单元400、至少一个原始CNN 500及至少一个完整性验证模块600。图案生成单元200、图案评估单元300、图案选择单元400、原始CNN 500及完整性验证模块600的输入输出及运算过程可分别由通信部110及处理器120来实现。但是，在图1中省略通信部110及处理器120的具体连接关系。此时，至少一个存储器115可以是预先存储有后述的各种指令的状态，处理器120被设定为执行存储在存储器115中的指令，处理器120能够通过执行后面说明的过程而执行本发明。在如此描述计算装置100的情况下，并不排除计算装置100包括作为集成用于实施本发明的介质、处理器及存储器而成的形式的集成处理器的情况。
以上，对计算装置100的整体结构进行说明，并且对计算装置100所执行的本发明的实施例所涉及的生成测试图案并从它们中选择一个以上最佳测试图案以验证卷积运算的完整性的方法进行说明。
首先，计算装置100能够使图案生成单元200利用预定函数来生成各个测试图案。作为一示例，预定函数可以是如下的函数：即，能够使随机数生成器生成一个以上数字，并且作为具有自身逻辑的函数利用随时间产生的种子值来生成随机数。在通过这种预定函数来生成数字的情况下，图案生成单元200能够利用该数字来生成各个测试图案。但是，这种测试图案应处于在输入到原始CNN 500之后进行卷积运算的过程中不会发生饱和的状态。
此时，饱和是指如下的情况：即，对于在测试图案输入到原始CNN 500之后进行卷积运算的过程中所包含的一个以上详细运算过程中生成的一个以上详细结果值，其中至少一部分的绝对值为各个阈值以上的情况。各个阈值可以与各个详细结果值对应，具体而言，各个阈值可指为了存储各个详细结果值而能够用计算装置100所分配的各个存储器比特数表示的各个最大绝对值。在该情况下，因比特数不足而各个详细结果值被表示为比实际更小，有可能会影响针对测试图案的卷积运算的最终结果，应防止在测试图案输入到原始CNN500并应用卷积运算的期间产生饱和。
以上查看了测试图案所要满足的条件，以下查看用于使测试图案满足上述条件的方法。
即，计算装置100能够使图案生成单元200利用由预定函数生成的数字来生成一个以上预备测试图案。并且，将各个预备测试图案输入到原始CNN 500，原始CNN 500能够分析对输入的各个预备测试图案进行卷积运算的过程以将各个预备测试图案分类为第一类型及第二类型。所述第一类型是指在所述卷积运算过程中所述预备测试图案中的饱和的第一部分，所述第二类型是指在所述卷积运算过程中所述预备测试图案中的没有饱和的的第二部分。然后，由于能够调整包含有预备测试图案的第一部分的的值的至少一部分，并且能够生成一个以上经调整的预备测试图案，从而在对经调整的预备测试图案应用卷积运算的期间不会发生饱和。因此，测试图案可被生成为包含预备测试图案的第二部分及经调整的预备测试图案。
无需在每当运算时确认是否发生饱和，能够在卷积运算过程中途频繁发生饱和的时刻进行确认。例如，当假设卷积运算包含输入值乘以加权值的加权值运算以及对加权值与输入相乘的值加上偏差的偏差运算时，在原始CNN 500运算作为预备测试图案中的一者的特定预备测试图案的情况下，判断是否发生饱和的时刻可以是(i)每当针对包含在所述特定预备测试图案中的特定值的一个以上加权值运算的至少一个结果值与针对所述特定值之前的一个以上值的所述加权值运算的一个以上先前结果值相加时的时刻以及ii)每当一个以上偏差运算应用到所述加权值运算的所有结果值的总和时的时刻。
为了对此进行更详细说明，以一般的卷积运算的伪代码(pseudo-code)为例进行说明。
在伴随这种伪代码的卷积运算中，在执行下端的Out(i)＝Out(i)+(Interm>>shift(i))及Out(i)＝Out(i)+bias(i)运算时发生饱和的风险高。前述的(i)每当针对特定值的加权值运算的结果值与针对所述特定值之前的一个以上值的所述加权值运算的一个以上先前结果值相加时的时刻以及ii)每当偏差运算应用到所述加权值运算的所有结果值的总和时的时刻是指上述提到的执行伪代码(pseudo-code)的下端运算的时刻。
在作为在上述时刻发生饱和的情况的预备测试图案的第一部分的情况下，根据发生饱和的时刻以及根据沿哪一方向发生饱和，能够调整包含在预备测试图案的第一部分中的值的至少一部分。具体而言，在针对特定值的特定加权值运算的至少一个结果值与针对特定值之前的一个以上值的加权值运算的一个以上先前结果值相加时，该相加值为正数，但如果因其绝对值大于阈值而发生饱和，则能够将这种特定值调整为加权值运算结果值更小。相反，相加值为负数，如果其绝对值大于阈值而发生饱和，则能够将特定值调整为加权值运算结果值更大。在对加权值运算的所有结果值的总和应用偏差运算的期间发生饱和的情况下，也能够与此类似地调整包含在预备测试图案的第一部分中的值的至少一部分。
图案生成单元220生成包含所述预备测试图案的所述第二部分及经调整的一个以上预备测试图案的所述测试图案，通过调整包含在所述预备测试图案的所述第一部分中的至少一部分值而生成所述经调整的预备测试图案使得在所述原始CNN将所述卷积运算应用到所述经调整的预备测试图案期间不发生所述饱和。
在如此生成测试图案的情况下，计算装置100能够使图案评估单元300以各个所述测试图案及所述原始CNN的一个以上参数为参考，分别生成各个所述测试图案的评估分数。
即，计算装置100使图案评估单元300以针对调制的至少一个特定单一比特的所述卷积运算的结果为参考，生成所述测试图案中的特定测试图案的特定评估分数，所述特定单一比特能够根据均匀概率分布选自包含在所述特定测试图案中的比特和包含在所述原始CNN的所述参数中的比特。以下对这种情况分为从包含在特定测试图案中的比特中选择特定单一比特的情况和从包含在原始CNN的参数中的比特中选择特定单一比特的情况来进行说明。
首先，对特定单一比特选自包含在特定测试图案中的值的情况进行说明。计算装置100能够使图案评估单元300生成一个以上特定调制测试图案，所述一个以上特定调制测试图案为对包含在所述测试图案中的特定测试图案中的各个比特进行调制而形成的一个以上结果。按包含在特定测试图案中的比特的个数生成这种特定调制测试图案。然后，在由所述CNN将所述卷积运算经应用到所述特定调制测试图案及所述特定测试图案中的情况下，计算装置100使图案评估单元300计算针对所述特定调制测试图案的所述卷积运算的各个结果与针对所述特定测试图案的所述卷积运算的至少一个结果相同的频度，从而生成所述特定测试图案的至少一个特定评估分数。此时，在没有卷积运算的结果和调制的特定测试图案与特定测试图案不同的结果的情况下，特定测试图案为不适合检测特定单一比特的测试图案，这是因为在这种情况下能够通过计算频度来使之数值化。
从包含在原始CNN的参数中的比特中选择特定单一比特的情况也与此类似。计算装置100能够使图案评估单元300生成一个以上调制CNN(未图示)，该一个以上调制CNN为对包含在所述原始CNN的所述参数中的各个比特进行调制而形成的一个以上结果。按包含在原始CNN 500的参数中的比特数生成这种调制CNN。然后，在所述调制CNN将一个以上调制卷积运算应用到所述测试图案中的特定测试图案并且所述原始CNN将所述卷积运算应用到所述特定测试图案的情况下，计算装置100能够使所述图案评估单元300计算由各个所述调制CNN对所述特定测试图案应用的所述调制卷积运算的各结果与针对所述特定测试图案的所述卷积运算的结果相同的频度，从而生成所述特定测试图案的特定评估分数。
虽然分为调制特定测试图案的情况和调制CNN的情况进行描述，但也可以只利用调制的特定测试图案及调制的CNN中的至少一部分来生成评估分数，还可以使用这两种情况来生成评估分数，在各个情况下也可以应用加权值。例如，在使用这两种情况时，判断为调制包含在原始CNN的参数中的比特的情况为更危险的情况，从而还有可能生成由此导致的更高的评估分数。
如此能够生成评估分数，前述的方法具有如下的缺点：即，由于在通过原始CNN500对调制的特定测试图案完成卷积运算，通过原始CNN 500对特定测试图案完成卷积运算，并且通过调制CNN对特定测试图案完成调制卷积运算之后进行比较，从而运算量较大。由此，查找能够密弥补缺点的最佳测试图案评估方法。
对于这种最佳方法来说，生成变化值是很重要的要素，因此对此进行说明。首先，计算装置100能够使图案评估单元300计算针对特定测试图案的卷积运算的结果与针对通过调制特定测试图案的各比特而生成的特定调制测试图案的卷积运算的结果之间的各个第一差值。此外，能够计算由原始CNN 500应用到特定测试图案的一个以上中间运算的至少一个结果与由调制包含在原始CNN500的参数中的各比特而生成的调制CNN应用到特定测试图案中的一个以上调制中间运算的一个以上结果之间的各个第二差值。
此时，计算装置100能够使图案评估单元300确定第一差值及第二差值是否分别包含在针对所述特定调制测试图案的所述卷积运算的结果与针对所述特定测试图案的所述卷积运算的结果没有不同时分别对应的特定范围内。此外，计算装置100能够使图案评估单元300计算包含在与此对应的特定范围内的第一差值及第二差值各自的频度而生成特定测试图案的特定评估分数。
能够通过各个特定范围来确定与第一差值及第二差值对应的卷积运算的各个结果是否与由原始CNN 500应用到特定测试图案中的卷积运算的结果不同。
与第一差值及第二差值分别对应的各个特定范围能够通过与此对应的运算的结果来确定。在说明特定范围、第一差值及第二差值时参照图2a、2b及2c。
图2a、2b及2c是用于说明根据本发明的一实施例的执行生成测试图案并从它们中选择一个以上最佳测试图案以验证卷积运算的完整性的方法而使用的第一差值、第二差值及特定范围的图。
首先，如图2a所示，包含在特定测试图案中的原始值及与此对应的原始CNN的参数处于未调制状态。在这种情况下，针对原始值的加权值运算的结果被计算为5×10+(-4)×(-11)+(-3)×12+2×(-13)＝32。之后，可以使计算出的结果移位，例如可以向右侧移位三个比特。在此，针对原始值的加权值运算的详细结果值为4。
图2b是表示作为包含在特定测试图案中的原始值的一个的2调制为3的情况的图。在该情况下，针对其的加权值运算第一特定结果被计算为19。此时，第一特定差值为-13。在该情况下，如果将19向右侧移位3个比特，则第一特定详细结果值被导出为2。由于第一特定详细结果与针对原始值的加权值运算的详细结果值不同，因此影响针对调制的特定测试图案的卷积运算的结果。
在没有计算第一特定加权值运算结果及第一详细结果的情况下也可以预测这种结果。首先，利用与调制的比特对应的大小和与调制的比特对应的加权值来计算第一特定差值，而不是通过分别针对原始值的加权值运算的结果及第一特定加权值运算结果来计算它们之间的差值。在图2b的情况下，2更换为3，与再次计算与此对应的-13的加权值的情况相同，因此在未计算各个加权值运算的结果的情况下也能够知道第一特定差值为-13。然后，对于判断调制的特定测试图案的卷积运算的结果来说，能够通过判断第一特定差值是否包含在与此对应的特定范围内而预测结果。
此时，能够使用针对原始值的加权值运算的结果来计算与包含在原始值中的各个比特对应的各个特定范围。
在图2a及图2b中，假设将针对原始值的加权值运算的结果设为中间(interm)。此时，在将因比特的移位而能够无视的值设为g情况下，g＝interm&((1＜＜shift(i))-1)成立。这是因为因移位而无视第i个比特以下的比特。在该情况下，当第一特定差值属于[-g，(1＜＜shift(i))-1-g]范围时，与第一特定差值对应的比特的调制不会影响针对调制的特定测试图案的卷积运算的结果。能够以这种方式确定所述原始值的特定范围。
在图2b的情况下，相当于中间(interm)为32、i为3的情况，因此g＝1000002＆(10002-1)＝0，只有第一特定差值存在于0到7之间的范围，该比特的调制才不会影响由原始CNN 500应用到调制的特定测试图案中的卷积运算的结果。在图2b的情况下，由于所述第一特定差值不存在于0到7之间的范围，因此能够被预测为与第一特定差值对应的比特的调制会影响由原始CNN 500应用到调制的特定测试图案中的卷积运算的结果，实际上也能够确认与此相同。
图2c的情况为调制包含在原始CNN的参数中的比特的情况，能够确认-13调制为-12。在该情况下，由于第二特定差值增加了1，因此与在增加一次与此对应的特定测试图案值2的情况相同，从而第二特定差值为2。2包含在前述的特定范围内。因此，被预测为针对特定测试图案的调制卷积运算的结果与针对由原始CNN应用到特定测试图案的卷积运算的结果没有不同，如在图2c中能够确认那样，可知该预测正确。通过这种过程，能够预测调制分别包含的比特的情况是否对卷积运算的结果带来影响。
举例而言，在测试图案包含与比特对应的差值位于与它们对应的特定范围内的比特的至少一部分，并且比特的一部分的数大于阈值的情况下，测试图案可具有比较低的评估分数。如果在大幅调制比特的情况下也不会改变结果值，则该测试图案不适合检测比特调制。
在此，在调制所述特定测试图案的比特中特定比特的情况下，所述计算装置100使所述图案评估单元300以针对第一特定差值的子集的比率为参考，确定包含在所述特定评估分数中的与所述特定比特对应的至少一个特定详细评估分数，所述第一特定差值与由各个输出信道输出的所述特定比特对应，在所述子集包含在对应的特定范围内的情况下，所述子集选自所述第一特定差值。这是用于在所述子集过大时分别区分所述第一差值。
类似地，在调制包含在所述原始CNN的所述参数中的特定卷积参数中的至少一个特定比特而生成调制CNN的情况下，所述计算装置100能够使所述图案评估单元300以针对由所述原始CNN应用到所述特定测试图案的所述加权值运算的结果与由所述调制CNN对所述特定测试图案进行的所述调制加权值运算的结果之间的特定差值的子集的比率为参考，确定包含在所述特定评估分数中的与所述特定比特对应的特定详细评估分数。这也是用于区分所述第二差值中的所述子集。其中，所述特定差值与所述特定比特对应，在所述子集包含在与其对应的特定范围内的情况下，所述子集选自所述特定差值。
在如此生成评估分数的情况下，计算装置100能够使图案选择单元400以评估分数为参考，从测试图案中选择最佳测试图案。即，能够通过选取评估分数高的测试图案而作为最佳测试图案进行选择。
在如此选择最佳测试图案的情况下，计算装置100使完整性验证模块600通过整合所述最佳测试图案中的至少一个特定最佳测试图案及至少一个原始输入而生成至少一个扩展输入，并且在所述原始CNN使用所述扩展输入来生成至少一个验证输出的情况下，所述计算装置100使所述完整性验证模块600以所述验证输出为参考验证所述原始CNN的完整性。为了对这种过程进行说明而参照图3。
图3是表示根据本发明的一实施例的利用通过生成测试图案并从它们中选择一个以上最佳测试图案以验证卷积运算的完整性的方法选择出的最佳测试图案来验证卷积运算的完整性的方式的图。
参照图3，可知对原始CNN 500为了执行原本功能而被输入的原始输入附加特定最佳测试图案。如图3所示，在特定最佳测试图案与原始输入之间可设置有一个零图案，从而特定最佳测试图案不会影响针对原始输入的卷积运算的结果。这种扩展输入可被输入到原始CNN 500中，并且能够通过卷积运算变换为验证用输出。此外，完整性验证模块600能够以与验证用输出的特定最佳测试图案对应的至少一部分及参考图案为参考来验证原始CNN500的完整性。在因原始CNN 500的安全级别高于阈值级别而保证原始CNN 500的参数及输入到其的值的完整性的状态下，能够通过将该特定最佳测试图案输入到原始CNN500而生成参考图案。因此，在参考图案和包含在验证用输出中的与特定最佳测试图案对应的部分彼此不同的情况下，能够推断为调制原始CNN 500的参数的至少一部分或者在输入过程中调制原始CNN 500的扩展输入。
以上说明的内容主要对单一比特的调制进行说明，但在调制许多比特的情况下，也能够以与此类似的方式导出最佳测试图案。此外，上述说明的卷积运算的过程与整数(integer)卷积运算的过程类似，本发明并不限定于此。
经过这种过程，具有能够安全地保护原始CNN 500免受黑客的威胁的效果。
此外，以上说明的本发明所涉及的实施例可以以能够通过各种计算机结构要素执行的程序命令的形态实现，并且存储在计算机可读记录介质中。所述计算机可读记录介质可以单独或组合包含程序命令、数据文件、数据结构等。存储在所述计算机可读记录介质中的程序命令是为本发明而特别设计并构成的，但也可以是计算机软件领域的技术人员公知而能够使用的程序命令。计算机可读记录介质的例子包含如硬盘、软盘及磁带的磁介质、如CD-ROM、DVD的光记录介质、如软式光盘(floptical disk)的磁光介质(magneto-opticalmedia)、以及如ROM、RAM、快闪存储器等的为了存储及执行程序命令而特别构成的硬件装置。作为程序命令的例子不仅包含如由编译器生成的机器代码，还包含使用解释器等能够由计算机运行的高级语言代码。为了执行本发明所涉及的处理，所述硬件装置可被构成为以一个以上软件模块实现操作，反之也同样。
以上，通过如具体结构要素等的特定事项和限定的实施例及附图对本发明进行了说明，但这只是为了有助于本发明的更全面的理解而提供的，本发明并不限定于上述实施例，本发明所属技术领域的普通技术人员基于这种记载可进行各种修改及变形。
因此，本发明的思想并非由上述说明的实施例限定，权利要求书及与该权利要求书均等或等价变形的所有内容属于本发明的思想范畴。

Claims (24)

1.一种通过计算装置实现的方法，所述方法用于生成一个以上测试图案并从所述测试图案中选择一个以上最佳测试图案以验证一个以上卷积运算的完整性，所述方法包括：
步骤a：通过图案生成单元，利用预定函数来生成所述测试图案，使得在至少一个原始CNN向输入到所述至少一个原始CNN的所述测试图案应用所述卷积运算的过程中不产生饱和；
步骤b：通过图案评估单元，以各个所述测试图案及所述原始CNN中的一个以上参数为参考，分别生成各个所述测试图案的评估分数；
步骤c：通过图案选择单元，以所述评估分数为参考，从所述测试图案中选择所述最佳测试图案；以及
步骤d：通过完整性验证模块，通过整合所述最佳测试图案中的至少一个特定最佳测试图案及至少一个原始输入而生成至少一个扩展输入，并且在所述原始CNN使用所述扩展输入来生成至少一个验证输出的情况下，所述计算装置使所述完整性验证模块以所述验证输出为参考验证所述原始CNN的完整性。
2.根据权利要求1所述的方法，其中，
在所述步骤a中，所述计算装置使所述图案生成单元执行如下操作：i）利用所述预定函数来生成一个以上预备测试图案；ii）将所述预备测试图案输入到所述原始CNN中并将各个所述预备测试图案分类为第一类型及第二类型，其中，所述第一类型是指在所述原始CNN应用所述卷积运算时所述预备测试图案中的饱和的第一部分，所述第二类型是指在所述原始CNN应用所述卷积运算时所述预备测试图案中的不饱和的第二部分；以及iii）生成包含所述预备测试图案的所述第二部分及一个以上经调整的预备测试图案的所述测试图案，其中，通过调整包含在所述预备测试图案的所述第一部分中的至少一部分值而生成所述经调整的预备测试图案使得在所述原始CNN将所述卷积运算应用到所述经调整的预备测试图案期间不发生所述饱和。
3.根据权利要求2所述的方法，其中，
在所述原始CNN对所述预备测试图案中的特定预备测试图案应用所述卷积运算期间，所述计算装置使所述图案生成单元在i）每当针对包含在所述特定预备测试图案中的特定值的一个以上加权值运算的至少一个结果值与针对所述特定值之前的一个以上值的所述加权值运算的一个以上先前结果值相加时的时刻以及ii）每当一个以上偏差运算应用到所述加权值运算的所有结果值的总和时的时刻中的至少一者，以关于是否发生所述饱和的信息为参考，确定所述特定预备测试图案属于所述第一类型还是所述第二类型。
4.根据权利要求1所述的方法，其中，
所述步骤b包括：
步骤b1：所述计算装置使所述图案评估单元生成一个以上特定调制测试图案，所述一个以上特定调制测试图案为对包含在所述测试图案中的特定测试图案中的各个比特进行调制而形成的一个以上结果；以及
步骤b2：在由所述原始CNN将所述卷积运算应用到所述特定调制测试图案及所述特定测试图案的情况下，所述计算装置使所述图案评估单元计算针对所述特定调制测试图案的所述卷积运算的各个结果与针对所述特定测试图案的所述卷积运算的至少一个结果相同的频度，从而生成所述特定测试图案的至少一个特定评估分数。
5.根据权利要求1所述的方法，其中，
在所述步骤b中，所述计算装置使所述图案评估单元执行如下操作：i）计算由原始CNN对所述测试图案中的特定测试图案应用的一个以上加权值运算的结果与针对调制所述特定测试图案的各个比特而生成的特定调制测试图案的所述加权值运算的结果之间的差值；ii）确定各个所述差值是否包含在针对所述特定调制测试图案的所述卷积运算的结果与针对所述特定测试图案的所述卷积运算的结果没有不同时分别对应的特定范围内；以及iii）计算各个所述差值包含在对应的特定范围内的频度，从而生成所述特定测试图案的特定评估分数。
6.根据权利要求5所述的方法，其中，
在所述步骤b中，当调制所述特定测试图案的比特中的特定比特的情况下，所述计算装置使所述图案评估单元以针对特定差值的子集的比率为参考，确定包含在所述特定评估分数中的与所述特定比特对应的至少一个特定详细评估分数，所述特定差值与从各个输出信道中输出的所述特定比特对应，并且在所述子集包含在对应的特定范围内的情况下，所述子集选自所述特定差值。
7.根据权利要求1所述的方法，其中，
所述步骤b包括：
步骤b1：所述计算装置使所述图案评估单元生成一个以上调制CNN，所述一个以上调制CNN为对包含在所述原始CNN的所述参数中的各个比特进行调制而形成的一个以上结果；以及
步骤b2：在所述调制CNN将一个以上调制卷积运算应用到所述测试图案中的特定测试图案并且所述原始CNN将所述卷积运算应用到所述特定测试图案的情况下，所述计算装置使所述图案评估单元计算由各个所述调制CNN对所述特定测试图案应用的所述调制卷积运算的各结果与针对所述特定测试图案的所述卷积运算的结果相同的频度，从而生成所述特定测试图案的特定评估分数。
8.根据权利要求1所述的方法，其中，
在所述步骤b中，所述计算装置使所述图案评估单元执行如下操作：i）计算由所述原始CNN应用到所述测试图案中的特定测试图案的一个以上加权值运算的结果与由通过调制包含在所述原始CNN的参数中的各个比特而生成的一个以上调制CNN应用到所述特定测试图案中的一个以上调制加权值运算的结果之间的差值，各个所述差值与包含在所述原始CNN的所述参数中的各个比特对应；ii）确定各个所述差值是否包含在所述调制加权值运算的结果不影响针对所述特定测试图案的所述卷积运算的结果时分别对应的特定范围内；iii）计算各个差值包含在与所述各个差值对应的特定范围内的频度而生成所述特定测试图案的特定评估分数。
9.根据权利要求8所述的方法，其中，
在所述步骤b中，在调制包含在所述原始CNN的所述参数中的特定卷积参数中的至少一个特定比特而生成调制CNN的情况下，所述计算装置使所述图案评估单元以针对由所述原始CNN应用到所述特定测试图案的所述加权值运算的结果与由所述调制CNN对所述特定测试图案进行的所述调制加权值运算的结果之间的特定差值的子集的比率为参考，确定包含在所述特定评估分数中的与所述特定比特对应的特定详细评估分数，其中，所述特定差值与所述特定比特对应，在所述子集包含在与所述子集对应的特定范围内的情况下，所述子集选自所述特定差值。
10.根据权利要求1所述的方法，其中，
在所述步骤a中，所述预定函数为至少一个随机数生成器的函数，所述计算装置使所述图案生成单元利用由所述随机数生成器的所述函数生成的一个以上随机数来生成所述测试图案。
11.根据权利要求1所述的方法，其中，
在所述步骤a中，所述饱和为包含在针对所述测试图案的所述卷积运算中的一个以上详细运算过程的一个以上详细结果值中至少一部分绝对值大于与其对应的阈值的情况，与所述详细结果值分别对应的各个所述阈值为能够以分配到各个所述详细结果值的比特数表示的最大绝对值。
12.根据权利要求1所述的方法，其中，
在所述步骤b中，所述计算装置使所述图案评估单元以针对调制的至少一个特定单一比特的所述卷积运算的结果为参考，生成所述测试图案中的特定测试图案的特定评估分数，其中，所述特定单一比特根据均匀概率分布而选自包含在所述特定测试图案中的比特和包含在所述原始CNN的所述参数中的比特。
13.一种计算装置，所述计算装置用于生成一个以上测试图案并从所述测试图案中选择一个以上最佳测试图案以验证一个以上卷积运算的完整性，包括：
至少一个存储器，其用于存储指令；以及
至少一个处理器，其被配置成运行用于执行以下过程的指令：过程I：使至少一个图案生成单元利用预定函数来生成所述测试图案，使得在至少一个原始CNN向输入到所述至少一个原始CNN的所述测试图案应用所述卷积运算的过程中不产生饱和；过程II：使至少一个图案评估单元以各个所述测试图案及所述原始CNN中的一个以上参数为参考，分别生成各个所述测试图案的评估分数；过程III：使至少一个图案选择单元以所述评估分数为参考，从所述测试图案中选择所述最佳测试图案；以及过程IV：使至少一个完整性验证模块通过整合所述最佳测试图案中的至少一个特定最佳测试图案及至少一个原始输入而生成至少一个扩展输入，并且在所述原始CNN使用所述扩展输入来生成至少一个验证输出的情况下，所述处理器使所述完整性验证模块以所述验证输出为参考验证所述原始CNN的完整性。
14.根据权利要求13所述的计算装置，其中，
在所述过程I中，所述处理器使所述图案生成单元执行如下操作：i）利用所述预定函数来生成一个以上预备测试图案；ii）将所述预备测试图案输入到所述原始CNN中并将各个所述预备测试图案分类为第一类型及第二类型，其中，所述第一类型是指在所述原始CNN应用所述卷积运算时所述预备测试图案中的饱和的第一部分，所述第二类型是指在所述原始CNN应用所述卷积运算时所述预备测试图案中的不饱和的第二部分；以及iii）生成包含所述预备测试图案的所述第二部分及一个以上经调整的预备测试图案的所述测试图案，其中，通过调整包含在所述预备测试图案的所述第一部分中的至少一部分值而生成所述经调整的预备测试图案使得在所述原始CNN将所述卷积运算应用到所述经调整的预备测试图案期间不发生所述饱和。
15.根据权利要求14所述的计算装置，其中，
在所述原始CNN对所述预备测试图案中的特定预备测试图案应用所述卷积运算期间，所述处理器使所述图案生成单元在i）每当针对包含在所述特定预备测试图案中的特定值的一个以上加权值运算的至少一个结果值与针对所述特定值之前的一个以上值的所述加权值运算的一个以上先前结果值相加时的时刻以及ii）每当一个以上偏差运算应用到所述加权值运算的所有结果值的总和时的时刻中的至少一者，以关于是否发生所述饱和的信息为参考，确定所述特定预备测试图案属于所述第一类型还是所述第二类型。
16.根据权利要求13所述的计算装置，其中，
所述过程II执行以下过程：
过程II-1：所述处理器使所述图案评估单元生成一个以上特定调制测试图案，所述一个以上特定调制测试图案为对包含在所述测试图案中的特定测试图案中的各个比特进行调制而形成的一个以上结果；以及
过程II-2：在由所述原始CNN将所述卷积运算应用到所述特定调制测试图案及所述特定测试图案的情况下，所述处理器使所述图案评估单元计算针对所述特定调制测试图案的所述卷积运算的各个结果与针对所述特定测试图案的所述卷积运算的至少一个结果相同的频度，从而生成所述特定测试图案的至少一个特定评估分数。
17.根据权利要求13所述的计算装置，其中，
在所述过程II中，所述处理器使所述图案评估单元执行如下操作：i）计算由原始CNN对所述测试图案中的特定测试图案应用的一个以上加权值运算的结果与针对调制所述特定测试图案的各个比特而生成的特定调制测试图案的所述加权值运算的结果之间的差值；ii）确定各个所述差值是否包含在针对所述特定调制测试图案的所述卷积运算的结果与针对所述特定测试图案的所述卷积运算的结果没有不同时分别对应的特定范围内；以及iii）计算各个所述差值包含在对应的特定范围内的频度，从而生成所述特定测试图案的特定评估分数。
18.根据权利要求17所述的计算装置，其中，
在所述过程II中，当调制所述特定测试图案的比特中的特定比特的情况下，所述处理器使所述图案评估单元以针对特定差值的子集的比率为参考，确定包含在所述特定评估分数中的与所述特定比特对应的至少一个特定详细评估分数，所述特定差值与从各个输出信道中输出的所述特定比特对应，并且在所述子集包含在对应的特定范围内的情况下，所述子集选自所述特定差值。
19.根据权利要求13所述的计算装置，其中，
所述过程II执行以下过程：
过程II-1：所述处理器使所述图案评估单元生成一个以上调制CNN，所述一个以上调制CNN为对包含在所述原始CNN的所述参数中的各个比特进行调制而形成的一个以上结果；以及
过程II-2：在所述调制CNN将一个以上调制卷积运算应用到所述测试图案中的特定测试图案并且所述原始CNN将所述卷积运算应用到所述特定测试图案的情况下，所述处理器使所述图案评估单元计算由各个所述调制CNN对所述特定测试图案应用的所述调制卷积运算的各结果与针对所述特定测试图案的所述卷积运算的结果相同的频度，从而生成所述特定测试图案的特定评估分数。
20.根据权利要求13所述的计算装置，其中，
在所述过程II中，所述处理器使所述图案评估单元执行如下操作：i）计算由所述原始CNN应用到所述测试图案中的特定测试图案的一个以上加权值运算的结果与由通过调制包含在所述原始CNN的参数中的各个比特而生成的一个以上调制CNN应用到所述特定测试图案中的一个以上调制加权值运算的结果之间的差值，各个所述差值与包含在所述原始CNN的所述参数中的各个比特对应；ii）确定各个所述差值是否包含在所述调制加权值运算的结果不影响针对所述特定测试图案的所述卷积运算的结果时分别对应的特定范围内；iii）计算各个差值包含在与所述各个差值对应的特定范围内的频度而生成所述特定测试图案的特定评估分数。
21.根据权利要求20所述的计算装置，其中，
在所述过程II中，当调制包含在所述原始CNN的所述参数中的特定卷积参数中的至少一个特定比特而生成调制CNN的情况下，所述处理器使所述图案评估单元以针对由所述原始CNN应用到所述特定测试图案的所述加权值运算的结果与由所述调制CNN对所述特定测试图案进行的所述调制加权值运算的结果之间的特定差值的子集的比率为参考，确定包含在所述特定评估分数中的与所述特定比特对应的特定详细评估分数，其中，所述特定差值与所述特定比特对应，在所述子集包含在与所述子集对应的特定范围内的情况下，所述子集选自所述特定差值。
22.根据权利要求13所述的计算装置，其中，
在所述过程I中，所述预定函数为至少一个随机数生成器的函数，所述处理器使所述图案生成单元利用由所述随机数生成器的所述函数生成的一个以上随机数来生成所述测试图案。
23.根据权利要求13所述的计算装置，其中，
在所述过程I中，所述饱和为包含在针对所述测试图案的所述卷积运算中的一个以上详细运算过程的一个以上详细结果值中至少一部分绝对值大于与其对应的阈值的情况，与所述详细结果值分别对应的各个所述阈值为能够以分配到各个所述详细结果值的比特数表示的最大绝对值。
24.根据权利要求13所述的计算装置，其中，
在所述过程II中，所述处理器使所述图案评估单元以针对调制的至少一个特定单一比特的所述卷积运算的结果为参考，生成所述测试图案中的特定测试图案的特定评估分数，其中，所述特定单一比特根据均匀概率分布而选自包含在所述特定测试图案中的比特和包含在所述原始CNN的所述参数中的比特。
CN202010010297.5A 2019-01-28 2020-01-06 验证卷积运算的完整性的方法及装置 Active CN111488551B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/258,841 US10372573B1 (en) 2019-01-28 2019-01-28 Method and device for generating test patterns and selecting optimized test patterns among the test patterns in order to verify integrity of convolution operations to enhance fault tolerance and fluctuation robustness in extreme situations
US16/258,841 2019-01-28

Publications (2)

Publication Number Publication Date
CN111488551A CN111488551A (zh) 2020-08-04
CN111488551B true CN111488551B (zh) 2023-12-05

Family

ID=67477698

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010010297.5A Active CN111488551B (zh) 2019-01-28 2020-01-06 验证卷积运算的完整性的方法及装置

Country Status (5)

Country Link
US (1) US10372573B1 (zh)
EP (1) EP3686802A1 (zh)
JP (1) JP6860943B2 (zh)
KR (1) KR102286761B1 (zh)
CN (1) CN111488551B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11782809B2 (en) * 2020-06-30 2023-10-10 Tektronix, Inc. Test and measurement system for analyzing devices under test
US11735283B2 (en) * 2021-12-13 2023-08-22 Nanya Technology Corporation System and method of testing memory device and non-transitory computer readable medium

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103415869A (zh) * 2010-12-13 2013-11-27 巴黎狄德罗大学(巴黎七大) 检测和量化数字图像中的模糊的方法
CN107273429A (zh) * 2017-05-19 2017-10-20 哈工大大数据产业有限公司 一种基于深度学习的缺失值填充方法及系统
CN107808167A (zh) * 2017-10-27 2018-03-16 深圳市唯特视科技有限公司 一种基于可变形部分的完全卷积网络进行目标检测的方法
US9946960B1 (en) * 2017-10-13 2018-04-17 StradVision, Inc. Method for acquiring bounding box corresponding to an object in an image by using convolutional neural network including tracking network and computing device using the same
US10083375B1 (en) * 2017-10-13 2018-09-25 StradVision, Inc. Method and device for performing activation and convolution operation at the same time and learning method and learning device for the same
CN108694386A (zh) * 2018-05-15 2018-10-23 华南理工大学 一种基于并联卷积神经网络的车道线检测方法
JP2018531648A (ja) * 2015-08-15 2018-11-01 セールスフォース ドット コム インコーポレイティッド ３ｄバッチ正規化を伴う三次元（３ｄ）畳み込み

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3600681A (en) * 1969-12-04 1971-08-17 Computer Modern Corp Nonlinear equilization system including self- and cross-multiplication of sampled signals
US20040073858A1 (en) * 2002-10-09 2004-04-15 Cheung Tyvis C. Method and apparatus for isolating faulty semiconductor devices in a graphics system
JP3891124B2 (ja) * 2003-02-19 2007-03-14 Ｋｄｄｉ株式会社 正誤答判定機能を有する並列ニューラルネットワーク手段
CN1894703B (zh) * 2003-12-16 2011-04-20 佳能株式会社 模式识别方法和设备
US7248982B1 (en) * 2006-06-29 2007-07-24 Agilent Technologies, Inc. Finding data dependent jitter with a DDJ calculator configured by regression
EP3129896B1 (en) * 2014-04-09 2024-02-14 Entrupy Inc. Authenticating physical objects using machine learning from microscopic variations
JP2017058838A (ja) * 2015-09-15 2017-03-23 株式会社東芝 情報処理装置、試験システム、情報処理方法およびプログラム
US10586153B2 (en) * 2016-06-16 2020-03-10 Qatar University Method and apparatus for performing motor-fault detection via convolutional neural networks
AU2017272141A1 (en) * 2016-12-19 2018-07-05 Accenture Global Solutions Limited Duplicate and similar bug report detection and retrieval using neural networks
US20180174062A1 (en) * 2016-12-21 2018-06-21 Ca, Inc. Root cause analysis for sequences of datacenter states
US10546237B2 (en) * 2017-03-30 2020-01-28 Atomwise Inc. Systems and methods for correcting error in a first classifier by evaluating classifier output in parallel
US10146914B1 (en) * 2018-03-01 2018-12-04 Recursion Pharmaceuticals, Inc. Systems and methods for evaluating whether perturbations discriminate an on target effect

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103415869A (zh) * 2010-12-13 2013-11-27 巴黎狄德罗大学(巴黎七大) 检测和量化数字图像中的模糊的方法
JP2018531648A (ja) * 2015-08-15 2018-11-01 セールスフォース ドット コム インコーポレイティッド ３ｄバッチ正規化を伴う三次元（３ｄ）畳み込み
CN107273429A (zh) * 2017-05-19 2017-10-20 哈工大大数据产业有限公司 一种基于深度学习的缺失值填充方法及系统
US9946960B1 (en) * 2017-10-13 2018-04-17 StradVision, Inc. Method for acquiring bounding box corresponding to an object in an image by using convolutional neural network including tracking network and computing device using the same
US10083375B1 (en) * 2017-10-13 2018-09-25 StradVision, Inc. Method and device for performing activation and convolution operation at the same time and learning method and learning device for the same
CN107808167A (zh) * 2017-10-27 2018-03-16 深圳市唯特视科技有限公司 一种基于可变形部分的完全卷积网络进行目标检测的方法
CN108694386A (zh) * 2018-05-15 2018-10-23 华南理工大学 一种基于并联卷积神经网络的车道线检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Zecheng He et.al.Verideep：通过敏感样本指纹验证深度神经网络的完整性.《arXiv》.2018,第1-15页. *

Also Published As

Publication number Publication date
JP2020119557A (ja) 2020-08-06
US10372573B1 (en) 2019-08-06
EP3686802A1 (en) 2020-07-29
JP6860943B2 (ja) 2021-04-21
KR20200093419A (ko) 2020-08-05
CN111488551A (zh) 2020-08-04
KR102286761B1 (ko) 2021-08-09

Similar Documents

Publication Publication Date Title
CN111462130B (zh) 使用车道掩码检测包含于输入图像的车道线的方法及装置
JP6916552B2 (ja) 走行途中に発生する走行シナリオを検出して、運転者の走行習慣を評価するための情報の提供する方法及び装置
CN111506980B (zh) 对虚拟驾驶环境生成交通场景的方法及装置
CN111009153B (zh) 一种轨迹预测模型的训练方法、装置和设备
KR102313119B1 (ko) 자율주행 자동차의 레벨 4를 충족시키기 위해 요구되는 hd 맵 업데이트에 이용될 적어도 하나의 어댑티브 로스 가중치 맵을 이용한 어텐션 드리븐 이미지 세그먼테이션 학습 방법 및 학습 장치, 그리고 이를 이용한 테스팅 방법 및 테스팅 장치
CN111488551B (zh) 验证卷积运算的完整性的方法及装置
JP6856853B2 (ja) 極限状況においてフォールトトレランス及びフラクチュエーションロバスト性を向上させるために、ジッタリングが起きたイメージを安定化させるプロセスで生成されたワーピングされたイメージに発生した歪曲を、ｇａｎを利用して減らすための学習方法及び学習装置、そしてそれを利用したテスト方法及びテスト装置
WO2020123779A1 (en) Self-modification of an autonomous driving system
KR102338768B1 (ko) 기능적 안전성을 위해 극한 상황에서 폴트 톨러런스 및 플럭츄에이션 로버스트를 향상시키도록 테스트 패턴을 이용해 cnn의 파라미터의 무결성을 검증하기 위한 방법 및 장치
US10728461B1 (en) Method for correcting misalignment of camera by selectively using information generated by itself and information generated by other entities and device using the same
US10325185B1 (en) Method and device for online batch normalization, on-device learning, and continual learning applicable to mobile devices or IOT devices additionally referring to one or more previous batches to be used for military purpose, drone or robot, and testing method and testing device using the same
Medrano-Berumen et al. Abstract simulation scenario generation for autonomous vehicle verification
Dong et al. Towards repairing neural networks correctly
CN111488787B (zh) 在极端状况下提高故障容许度及波动鲁棒性的方法及装置
Goebel et al. A method to calculate classifier correlation for decision fusion
CN114692295A (zh) 车辆性能边界的确定方法、装置、终端设备及存储介质
Usman et al. Rule-Based Runtime Mitigation Against Poison Attacks on Neural Networks
CN111460878B (zh) 利用网格生成器的神经网络运算方法及使用该方法的装置
US20240142253A1 (en) Methods and systems for generating trajectory information of a plurality of road users
KR20230082169A (ko) 인공지능모델의 원격 검증 방법 및 장치
Molina-Markham et al. Evaluating Automated Driving Planner Robustness against Adversarial Influence

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant