CN115017021A - 一种视觉功能块执行时间预测方法及系统 - Google Patents

一种视觉功能块执行时间预测方法及系统 Download PDF

Info

Publication number
CN115017021A
CN115017021A CN202210579162.XA CN202210579162A CN115017021A CN 115017021 A CN115017021 A CN 115017021A CN 202210579162 A CN202210579162 A CN 202210579162A CN 115017021 A CN115017021 A CN 115017021A
Authority
CN
China
Prior art keywords
convolution
function block
layer
visual function
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210579162.XA
Other languages
English (en)
Inventor
邬惠峰
席艳龙
孙丹枫
陈佰平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202210579162.XA priority Critical patent/CN115017021A/zh
Publication of CN115017021A publication Critical patent/CN115017021A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G06F11/3419—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment by assessing time
    • G06F11/3423—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment by assessing time where the assessed time is active or idle time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3089—Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
    • G06F11/3093—Configuration details thereof, e.g. installation, enabling, spatial arrangement of the probes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/96—Management of image or video recognition tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/865—Monitoring of software
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Abstract

本发明公开了一种视觉功能块执行时间预测方法，包括如下步骤：S10、通过图像特征提取网络提取视觉功能块输入图像的图像特征；S11、通过功能块特征提取模块提取视觉功能块代码的运行时特征；S12、通过功能块运行时间预测网络结合提取的运行时特征和图像特征预测功能块执行时间，该方法能够实现对视觉功能块在不同复杂度输入图像下执行时间的精准预测，从而精准把握实际生产流程中视觉处理过程花费的时间，进而便于统筹安排生产流程各个环节，另外，该方法充分利用了视觉功能块的运行时特征和输入图像特征，提高了预测准确度。

Description

一种视觉功能块执行时间预测方法及系统
技术领域
本发明涉及可编程逻辑控制器技术领域，具体指一种视觉功能块执行时间预测方法及系统。
背景技术
PLC广泛应用于工业设备控制领域。随着智能制造时代的到来，机器视觉越来越多地应用到生产制造过程中，这就需要PLC在具备基础的逻辑和运动控制能力之外还要具备对图形图像的处理能力，由此需要大量的视觉功能块作为支撑。然而，不同复杂度的输入图像将会导致视觉功能块的运行时间产生较大不确定性，从而影响到整个生产流程中的节拍控制，因此需要预测视觉功能块在不同输入图像下的执行时间。现有的预测程序执行时间的方法中尚无针对于视觉功能块执行时间预测的有效方法。
发明内容
本发明针对上述技术问题，提出一种视觉功能块执行时间预测方法及系统，通过结合视觉功能块的运行时特征和输入图像特征，提高了预测准确度。
为了解决上述技术问题，本发明的技术方案为：
一种视觉功能块执行时间预测方法，包括如下步骤：
S10、通过图像特征提取网络提取视觉功能块输入图像的图像特征；
S11、通过功能块特征提取模块提取视觉功能块代码的运行时特征
S11-1、首先通过功能块特征提取模块对待预测的视觉功能块代码进行插桩，得到插桩代码；
S11-2、运行插桩代码，获得视觉功能块的初步运行时特征；
S11-3、对视觉功能块初步运行时特征进行筛选，得到视觉功能块的最终运行时特征；
S12、通过功能块运行时间预测网络结合提取的运行时特征和图像特征预测功能块执行时间。
作为优选，所述步骤S10中，所述图像特征提取网络包括从左到右依次相连接的3个第一卷积层、1个第一最大池化层、3个第二卷积层、P1第一子网络、1个第二最大池化层、P2第二子网络、1个第三最大池化层、P3第三子网络、1个全局平均池化层、1个全连接层。
作为优选，所述步骤S10中，图像特征的提取方法为：将视觉功能块输入图像首先输入至3个第一卷积层，其中，3个第一卷积层的卷积核大小为N1×N1，步长分别为2，1，1，卷积核数量分别为M1，M1，2M1；然后，经过窗口大小为N1×N1，步长为2的第一最大池化层之后，再输入到3个串联的第二卷积层，其中，第二卷积层的卷积核大小为N2×N2，步长分别为1，2，1，卷积核数量分别为M2，M2，2M2；随后输入到依次串联的第一子网络、第二最大池化层、第二子网络、第三最大池化层、第三子网络中；最后，全局平均池化层将数据降为1维，经由拥有Ni个单元的全连接层，得到Ni维的图像特征。
作为优选，所述第一子网络、第二子网络和第三子网络均包含四个分支，所述四个分支的输出在最后一维进行拼接得到该子网络的输出。
作为优选，所述步骤S11-1中，插桩的方法为：在视觉功能块代码中放置如下探针：语句覆盖探针、循环覆盖探针和分支覆盖探针，所述语句覆盖探针放置于视觉功能块代码中基本块的入口和出口处用于检测该基本块是否被执行；所述循环覆盖探针放置于视觉功能块代码中循环体用于记录循环体的循环次数；所述分支覆盖探针放置于视觉功能块代码中每个分支的开始部分用于判断该分支是否被执行。
作为优选，所述步骤S11-3中，初步运行时特征的筛选方法为：对获得的所有初步运行时特征按照时间戳排序，并根据设置的阈值Nt，取前T个特征作为最终的运行时特征。
作为优选，所述步骤S12中，执行时间的预测方法为：将长度为Ni的图像特征和长度为Nt的最终运行时特征进行拼接得到长度为Ni+Nt特征向量，然后将该特征向量输入到功能块执行时间预测网络，得到最终的预测结果。
本发明还提供了一种视觉功能块执行时间预测系统，包括图像特征提取网络、功能块特征提取模块和功能块运行时间预测网络，所述图像特征提取网络、功能块特征提取模块的输出端均与功能块运行时间预测网络的输入端相连接，所述图像特征提取网络从左到右依次相连接的3个第一卷积层、1个第一最大池化层、3个第二卷积层、P1第一子网络、1个第二最大池化层、P2第二子网络、1个第三最大池化层、P3第三子网络、1个全局平均池化层、1个全连接层；所述功能块特征提取模块包括语句覆盖探针、循环覆盖探针和分支覆盖探针；所述功能块运行时间预测网络包括5个依次串联的卷积块、神经元数量为L1的全连接层、两层神经元数量分别为2L1和1全连接层，每个所述卷积块中卷积核数量分别为Q1，Q2，Q3，Q4，Q5，除最后一个卷积块外，每个卷积块的输出有两个分支。
作为优选，所述第一子网络包含1×1卷积、N×N卷积和池化层；第二子网络包含1×1卷积、1×N卷积、N×1卷积和池化层；第三子网络包含1×1卷积、N×N卷积、1×N卷积、N×1卷积和池化层。
作为优选，所述功能块执行时间预测网络中的卷积块包含第一卷积单元、第二卷积单元和第三卷积单元，所述第一卷积单元包括卷积核大小为1×1，步长为1的卷积层1、卷积核大小为1×K1，步长为2的卷积层2；所述第二卷积单元包括卷积核大小为1×K2，步长为1的卷积层1、卷积核大小为1×K2，步长为1的卷积层2、卷积核大小为1×K2，步长为2的卷积层3；所述第三卷积单元包括卷积核大小为1×K3，步长为1的卷积层1、卷积核大小为1×K3，步长为1的卷积层2、卷积核大小为1×K3，步长为1的卷积层3、卷积核大小为1×K3，步长为2的卷积层4。
本发明具有以下的特点和有益效果：
上述技术方案中，能够实现对视觉功能块在不同复杂度输入图像下执行时间的精准预测，从而精准把握实际生产流程中视觉处理过程花费的时间，进而便于统筹安排整个生产流程各个环节，另外，该方法充分利用了视觉功能块的运行时特征和输入图像特征，提高了预测准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的方法流程图；
图2为本发明实施例的方法架构图；
图3为本发明实施例中图像特征提取网络架构图；
图4为本发明实施例中图像特征提取子网络架构图；
图5为本发明实施例中功能块特征提取模块架构图；
图6为本发明实施例中功能块时间预测网络架构图；
图7为本发明实施例中功能块时间预测网络卷积块架构图；
图8为本发明实施例中模型训练和预测结果。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。
本发明提供了一种视觉功能块执行时间预测方法，如图1所示，包括如下步骤：
S10、通过图像特征提取网络提取视觉功能块输入图像的图像特征；
S11、通过功能块特征提取模块提取视觉功能块代码的运行时特征
S11-1、首先通过功能块特征提取模块对待预测的视觉功能块代码进行插桩，得到插桩代码；
S11-2、运行插桩代码，获得视觉功能块的初步运行时特征；
S11-3、对视觉功能块初步运行时特征进行筛选，得到视觉功能块的最终运行时特征；
S12、通过功能块运行时间预测网络结合提取的运行时特征和图像特征预测功能块执行时间。
进一步的，如图3所示，所述步骤S10中，所述图像特征提取网络包括从左到右依次相连接的3个第一卷积层、1个第一最大池化层、3个第二卷积层、P1第一子网络、1个第二最大池化层、P2第二子网络、1个第三最大池化层、P3第三子网络、1个全局平均池化层、1个全连接层。
进一步的，如图4所示，所述第一子网络、第二子网络和第三子网络均包含四个分支，所述四个分支的输出在最后一维进行拼接得到该子网络的输出。
具体的，图像特征的提取方法为：将视觉功能块输入图像首先输入至3个第一卷积层，其中，3个第一卷积层的卷积核大小为N1×N1，步长分别为2，1，1，卷积核数量分别为M1，M1，2M1；然后，经过窗口大小为N1×N1，步长为2的第一最大池化层之后，再输入到3个串联的第二卷积层，其中，第二卷积层的卷积核大小为N2×N2，步长分别为1，2，1，卷积核数量分别为M2，M2，2M2；随后输入到依次串联的第一子网络、第二最大池化层、第二子网络、第三最大池化层、第三子网络中；最后，全局平均池化层将数据降为1维，经由拥有Ni个单元的全连接层，得到Ni维的图像特征。
具体的，所述步骤S11-1中，插桩的方法为：在视觉功能块代码中放置如下探针：语句覆盖探针、循环覆盖探针和分支覆盖探针，所述语句覆盖探针放置于视觉功能块代码中基本块的入口和出口处用于检测该基本块是否被执行；所述循环覆盖探针放置于视觉功能块代码中循环体用于记录循环体的循环次数；所述分支覆盖探针放置于视觉功能块代码中每个分支的开始部分用于判断该分支是否被执行。
进一步的，所述步骤S11-3中，初步运行时特征的筛选方法为：对获得的所有初步运行时特征按照时间戳排序，并根据设置的阈值Nt，取前T个特征作为最终的运行时特征。
进一步的，所述步骤S12中，执行时间的预测方法为：将长度为Ni的图像特征和长度为Nt的最终运行时特征进行拼接得到长度为Ni+Nt特征向量，然后将该特征向量输入到功能块执行时间预测网络，得到最终的预测结果。
具体的，如图6所示，输入Ni+Nt特征向量首先输入到5个依次串联的卷积块中，其中每个卷积块中卷积核数量分别为Q1，Q2，Q3，Q4，Q5。除最后一个卷积块外，每个卷积块的输出有两个分支，分支一作为下一级卷积块的输入，分支二输出首先被展平，再输入到神经元数量为L1的全连接层，其输出作为多尺度特征的一部分；然后将5组不同尺度特征进行拼接，得到长度为5L1的多尺度特征；最后，将该特征输入到两层神经元数量分别为2L1和1全连接层，得到最终的预测结果。
本发明还提供了一种视觉功能块执行时间预测系统，如图2所示，包括图像特征提取网络03、功能块特征提取模块04和功能块运行时间预测网络05，所述图像特征提取网络、功能块特征提取模块的输出端均与功能块运行时间预测网络的输入端相连接。
可以理解的，图像特征提取网络03，用于提取视觉功能块输入图像01的图像特征；
功能块特征提取模块04，用于提取视觉功能块代码的视觉功能块运行时特征；
功能块运行时间预测网络05，用于结合提取的运行时特征和图像特征预测功能块执行时间。
具体的，如图3所示，所述图像特征提取网络从左到右依次相连接的3个第一卷积层、1个第一最大池化层、3个第二卷积层、P1第一子网络、1个第二最大池化层、P2第二子网络、1个第三最大池化层、P3第三子网络、1个全局平均池化层、1个全连接层；
可以理解的，3个第一卷积层(即卷积层1，2，3)卷积核大小为N1×N1，步长分别为2，1，1，卷积核数量分别为M1，M1，2M1；第一池化层窗口大小为N1×N1，步长为2，3个第二卷积层(即卷积层4，5，6)卷积核大小为N2×N2，步长分别为1，2，1，卷积核数量分别为M2，M2，2M2；
进一步的，所述第一子网络包含1×1卷积、N×N卷积和池化层；第二子网络包含1×1卷积、1×N卷积、N×1卷积和池化层；第三子网络包含1×1卷积、N×N卷积、1×N卷积、N×1卷积和池化层。
具体的，如图4-a所示，第一子网络从左到右共包含4个分支。其中，分支1中的卷积层1卷积核大小为1×1，卷积核数量为M3，分支1中的卷积层2，卷积层3卷积核大小为N3×N3，卷积核数量为M3；分支2中的卷积层1卷积核大小为1×1，卷积核数量为M3，分支2中的卷积层2卷积核大小为N4×N4，卷积核数量为M3；分支3中的池化层窗口为N5×N5，分支3中的卷积层卷积核大小为N5×N5，卷积核数量为M3；分支4中的卷积层卷积核大小为1×1，卷积核数量为M3。
可以想到的，最后，四个分支的输出在最后一维拼接，得到共4M3个通道的输出。
如图4-b所示，第二子网络从左到右共包含4个分支。其中，分支1卷积层1卷积核大小为1×1，卷积核数量为M4，分支1卷积层2、卷积层3、卷积层4卷积核大小分别为1×N6，N6×1，1×N6，卷积核数量为M4，分支1卷积层5卷积核大小为N6×1，卷积核数量为M4；分支2卷积层1卷积核大小为1×1，卷积核数量为M4，分支2卷积层2卷积核大小为1×N7，卷积核数量为M4，分支2卷积层3卷积核大小为N7×1，卷积核数量为M4；分支3池化层窗口为N8×N8，分支3卷积层卷积核大小为1×1，卷积核数量为M4；分支4卷积层卷积核大小为1×1，卷积核数量为M4。
可以理解的，四个分支的输出在最后一维拼接，得到共4M4个通道的输出。
如图4-c所示，第三子网络从左到右共包含4个分支。其中，分支1卷积层1卷积核大小为1×1，卷积核数量为M5，分支1卷积层2卷积核大小为N9×N9，卷积核数量为M5，分支1卷积层3-1卷积核大小为1×N9，卷积核数量为M5，卷积层3-2卷积核大小为N9×1，卷积核数量为M5；分支2卷积层1卷积核大小为1×1，卷积核数量为M5，分支2卷积层2-1卷积核大小为1×N10，卷积核数量为M5，卷积层2-2卷积核大小为N10×1，卷积核数量为M5；分支3池化层窗口为N11×N11，分支3卷积层卷积核大小为1×1，卷积核数量为2M5；分支4卷积层卷积核大小为1×1，卷积核数量为2M5。
可以理解的，四个分支的输出在最后一维拼接，得到共8M5个通道的输出。
进一步的，如图5所示，所述功能块特征提取模块包括语句覆盖探针、循环覆盖探针和分支覆盖探针，
可以想到的，在插桩过程中将在视觉功能块代码中置入若干探针，用以记录视觉功能块的运行时特征。本实施例使用的探针包括语句覆盖探针、循环覆盖探针和分支覆盖探针。其中，语句覆盖探针将放置于程序基本块的入口和出口处用于检测该基本块是否被执行；循环覆盖探针将放置于程序循环体中用于记录循环体的循环次数；分支覆盖探针将放置于程序每个分支的开始部分用于判断该分支是否被执行。
进一步的，如图6所示，所述功能块运行时间预测网络包括5个依次串联的卷积块、神经元数量为L1的全连接层、两层神经元数量分别为2L1和1全连接层，每个所述卷积块中卷积核数量分别为Q1，Q2，Q3，Q4，Q5，除最后一个卷积块外，每个卷积块的输出有两个分支。
具体的，如图7所示，所述功能块执行时间预测网络中的卷积块包含第一卷积单元、第二卷积单元和第三卷积单元，所述第一卷积单元包括卷积核大小为1×1，步长为1的卷积层1、卷积核大小为1×K1，步长为2的卷积层2；所述第二卷积单元包括卷积核大小为1×K2，步长为1的卷积层1、卷积核大小为1×K2，步长为1的卷积层2、卷积核大小为1×K2，步长为2的卷积层3；所述第三卷积单元包括卷积核大小为1×K3，步长为1的卷积层1、卷积核大小为1×K3，步长为1的卷积层2、卷积核大小为1×K3，步长为1的卷积层3、卷积核大小为1×K3，步长为2的卷积层4。
为了能更好的对上述技术方案进行说明，在本实施例的图像特征提取网络中，子网络数量P1＝1，P2＝3，P3＝2；
卷积核大小N1～N11分别为：
N1＝N2＝3，N3＝N4＝N5＝3，N6＝N7＝N8＝7，N9＝N10＝N11＝3；
卷积核数量M1～M5分别为：
M1＝32,M2＝64,M3＝64,M4＝128,M5＝128；
图像特征向量长度Ni＝1000；
功能块运行时特征提取模块所保留的功能块运行时特征Nt为64个；
功能块执行时间预测网络中卷积核数量Q1～Q5分别为：
Q1＝8,Q2＝16,Q3＝32,Q4＝64,Q5＝128；
全连接层神经元数量L1＝128；
卷积块中卷积核大小K1～K3分别为：K1＝2,K2＝3,K3＝2。
本实施例在包含500张PCB图片的数据集上进行了实验，该数据集中每张PCB图片大小均为256×256×3，其中80％的图片作为训练集，20％的图片作为测试集。实验采用Canny边缘检测功能块为待预测的视觉功能块，在训练过程中设置batch size为8，训练周期数为100，学习率初始值为0.001，学习率最小值为0.00001，学习率衰减因子为10-1/2。
结合上述技术方案和具体实施例，训练和预测结果如图8所示，可以看出，相较于现有方法，该方法充分利用了视觉功能块的运行时特征和输入图像特征，提高了预测准确度。
以上结合附图对本发明的实施方式作了详细说明，但本发明不限于所描述的实施方式。对于本领域的技术人员而言，在不脱离本发明原理和精神的情况下，对这些实施方式包括部件进行多种变化、修改、替换和变型，仍落入本发明的保护范围内。

Claims (10)

1.一种视觉功能块执行时间预测方法，其特征在于，包括如下步骤：
S10、通过图像特征提取网络提取视觉功能块输入图像的图像特征；
S11、通过功能块特征提取模块提取视觉功能块代码的运行时特征
S11-1、首先通过功能块特征提取模块对待预测的视觉功能块代码进行插桩，得到插桩代码；
S11-2、运行插桩代码，获得视觉功能块的初步运行时特征；
S11-3、对视觉功能块初步运行时特征进行筛选，得到视觉功能块的最终运行时特征；
S12、通过功能块运行时间预测网络结合提取的运行时特征和图像特征预测功能块执行时间。
2.根据权利要求1所述的视觉功能块执行时间预测方法，其特征在于，所述步骤S10中，所述图像特征提取网络包括从左到右依次相连接的3个第一卷积层、1个第一最大池化层、3个第二卷积层、P1第一子网络、1个第二最大池化层、P2第二子网络、1个第三最大池化层、P3第三子网络、1个全局平均池化层、1个全连接层。
3.根据权利要求2所述的视觉功能块执行时间预测方法，其特征在于，所述步骤S10中，图像特征的提取方法为：将视觉功能块输入图像首先输入至3个第一卷积层，其中，3个第一卷积层的卷积核大小为N1×N1，步长分别为2，1，1，卷积核数量分别为M1，M1，2M1；然后，经过窗口大小为N1×N1，步长为2的第一最大池化层之后，再输入到3个串联的第二卷积层，其中，第二卷积层的卷积核大小为N2×N2，步长分别为1，2，1，卷积核数量分别为M2，M2，2M2；随后输入到依次串联的第一子网络、第二最大池化层、第二子网络、第三最大池化层、第三子网络中；最后，全局平均池化层将数据降为1维，经由拥有Ni个单元的全连接层，得到Ni维的图像特征。
4.根据权利要求2所述的视觉功能块执行时间预测方法，其特征在于，所述第一子网络、第二子网络和第三子网络均包含四个分支，所述四个分支的输出在最后一维进行拼接得到该子网络的输出。
5.根据权利要求1所述的视觉功能块执行时间预测方法，其特征在于，所述步骤S11-1中，插桩的方法为：在视觉功能块代码中放置如下探针：语句覆盖探针、循环覆盖探针和分支覆盖探针，所述语句覆盖探针放置于视觉功能块代码中基本块的入口和出口处用于检测该基本块是否被执行；所述循环覆盖探针放置于视觉功能块代码中循环体用于记录循环体的循环次数；所述分支覆盖探针放置于视觉功能块代码中每个分支的开始部分用于判断该分支是否被执行。
6.根据权利要求3所述的视觉功能块执行时间预测方法，其特征在于，所述步骤S11-3中，初步运行时特征的筛选方法为：对获得的所有初步运行时特征按照时间戳排序，并根据设置的阈值Nt，取前T个特征作为最终的运行时特征。
7.根据权利要求6所述的视觉功能块执行时间预测方法，其特征在于，所述步骤S12中，执行时间的预测方法为：将长度为Ni的图像特征和长度为Nt的最终运行时特征进行拼接得到长度为Ni+Nt特征向量，然后将该特征向量输入到功能块执行时间预测网络，得到最终的预测结果。
8.一种视觉功能块执行时间预测系统，其特征在于，包括图像特征提取网络、功能块特征提取模块和功能块运行时间预测网络，所述图像特征提取网络、功能块特征提取模块的输出端均与功能块运行时间预测网络的输入端相连接，所述图像特征提取网络从左到右依次相连接的3个第一卷积层、1个第一最大池化层、3个第二卷积层、P1第一子网络、1个第二最大池化层、P2第二子网络、1个第三最大池化层、P3第三子网络、1个全局平均池化层、1个全连接层；所述功能块特征提取模块包括语句覆盖探针、循环覆盖探针和分支覆盖探针；所述功能块运行时间预测网络包括5个依次串联的卷积块、神经元数量为L1的全连接层、两层神经元数量分别为2L1和1全连接层，每个所述卷积块中卷积核数量分别为Q1，Q2，Q3，Q4，Q5，除最后一个卷积块外，每个卷积块的输出有两个分支。
9.根据权利要求8所述的一种视觉功能块执行时间预测系统，其特征在于，所述第一子网络包含1×1卷积、N×N卷积和池化层；第二子网络包含1×1卷积、1×N卷积、N×1卷积和池化层；第三子网络包含1×1卷积、N×N卷积、1×N卷积、N×1卷积和池化层。
10.根据权利要求8所述的一种视觉功能块执行时间预测系统，其特征在于，所述功能块执行时间预测网络中的卷积块包含第一卷积单元、第二卷积单元和第三卷积单元，所述第一卷积单元包括卷积核大小为1×1，步长为1的卷积层1、卷积核大小为1×K1，步长为2的卷积层2；所述第二卷积单元包括卷积核大小为1×K2，步长为1的卷积层1、卷积核大小为1×K2，步长为1的卷积层2、卷积核大小为1×K2，步长为2的卷积层3；所述第三卷积单元包括卷积核大小为1×K3，步长为1的卷积层1、卷积核大小为1×K3，步长为1的卷积层2、卷积核大小为1×K3，步长为1的卷积层3、卷积核大小为1×K3，步长为2的卷积层4。
CN202210579162.XA 2022-05-26 2022-05-26 一种视觉功能块执行时间预测方法及系统 Pending CN115017021A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210579162.XA CN115017021A (zh) 2022-05-26 2022-05-26 一种视觉功能块执行时间预测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210579162.XA CN115017021A (zh) 2022-05-26 2022-05-26 一种视觉功能块执行时间预测方法及系统

Publications (1)

Publication Number Publication Date
CN115017021A true CN115017021A (zh) 2022-09-06

Family

ID=83069674

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210579162.XA Pending CN115017021A (zh) 2022-05-26 2022-05-26 一种视觉功能块执行时间预测方法及系统

Country Status (1)

Country Link
CN (1) CN115017021A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110414513A (zh) * 2019-07-31 2019-11-05 电子科技大学 基于语义增强卷积神经网络的视觉显著性检测方法
US20190377930A1 (en) * 2018-06-11 2019-12-12 Zkteco Usa, Llc Method and System for Face Recognition Via Deep Learning
CN111208818A (zh) * 2020-01-07 2020-05-29 电子科技大学 基于视觉时空特征的智能车预测控制方法
US20200242422A1 (en) * 2019-01-29 2020-07-30 Boe Technology Group Co., Ltd. Method and electronic device for retrieving an image and computer readable storage medium
CN111814534A (zh) * 2020-05-18 2020-10-23 北京迈格威科技有限公司 视觉任务的处理方法、装置和电子系统
CN112766305A (zh) * 2020-12-25 2021-05-07 电子科技大学 一种基于端到端度量网络的视觉slam闭环检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190377930A1 (en) * 2018-06-11 2019-12-12 Zkteco Usa, Llc Method and System for Face Recognition Via Deep Learning
US20200242422A1 (en) * 2019-01-29 2020-07-30 Boe Technology Group Co., Ltd. Method and electronic device for retrieving an image and computer readable storage medium
CN110414513A (zh) * 2019-07-31 2019-11-05 电子科技大学 基于语义增强卷积神经网络的视觉显著性检测方法
CN111208818A (zh) * 2020-01-07 2020-05-29 电子科技大学 基于视觉时空特征的智能车预测控制方法
CN111814534A (zh) * 2020-05-18 2020-10-23 北京迈格威科技有限公司 视觉任务的处理方法、装置和电子系统
CN112766305A (zh) * 2020-12-25 2021-05-07 电子科技大学 一种基于端到端度量网络的视觉slam闭环检测方法

Similar Documents

Publication Publication Date Title
CN109948733B (zh) 消化道内窥镜图像的多分类方法、分类装置及存储介质
CN111401406B (zh) 一种神经网络训练方法、视频帧处理方法以及相关设备
US20210407095A1 (en) Method for Determining Cardiac Cycle and Ultrasonic Equipment
CN111650453B (zh) 基于加窗特征希尔伯特图像化的电力设备诊断方法及系统
CN108198625B (zh) 一种分析高维医疗数据的深度学习方法和装置
CN111612790A (zh) 一种基于t型注意力结构的医学图像分割方法
CN109376663A (zh) 一种人体姿态识别方法及相关装置
CN112037171B (zh) 基于多模态特征融合的多任务mri脑瘤图像分割方法
WO2022127500A1 (zh) 基于多个神经网络的mri图像分割方法、装置及设备
CN112232407A (zh) 病理图像样本的神经网络模型训练方法、装置
CN110859642B (zh) 一种基于AlexNet网络模型实现医学影像辅助诊断的方法、装置、设备及存储介质
CN111540467B (zh) 精神分裂症分类识别方法、运行控制装置及医疗设备
CN117037215B (zh) 人体姿态估计模型训练方法、估计方法、装置及电子设备
CN114266894A (zh) 一种图像分割方法、装置、电子设备及存储介质
CN114863111A (zh) 交互融合Transformer的超声图像量化方法
CN116310425A (zh) 一种细粒度图像检索方法、系统、设备及存储介质
CN106056166B (zh) 一种胶囊内窥镜相似图像的自适应筛除方法
CN108198124B (zh) 医学图像处理方法、装置、计算机设备和存储介质
CN111210398A (zh) 基于多尺度池化的白细胞识别系统
CN115017021A (zh) 一种视觉功能块执行时间预测方法及系统
CN112863650A (zh) 一种基于卷积与长短期记忆神经网络的心肌病识别系统
CN112785479A (zh) 一种基于少样本学习的图像隐形水印通用检测方法
CN111862049A (zh) 基于深度学习的脑胶质瘤分割网络系统及分割方法
CN114387524B (zh) 基于多层级二阶表征的小样本学习的图像识别方法和系统
CN113516641A (zh) 基于深度学习的端对端脑影像数据处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination