模具监视系统及方法
技术领域
本发明属于注塑模具技术领域,涉及一种注塑模具装置,尤其涉及一种时间线序列多模板的模具监视系统及方法。
背景技术
注塑模具作为注塑制品加工最重要的成型设备,其质量优劣直接关系到制品质量优劣。而且,由于模具在注塑加工企业生产成本中占据较大的比例,其使用寿命直接左右注塑制品成本。因此,提高注塑模具质量,并通过光电技术维护和保养好,延长其使用周期,是注塑制品加工企业降本增效的重要课题。注塑制品加工企业由于产品品种多,模具更换较频繁,在一个生产周期中,对注塑模具的维护与实时监视非常重要,注塑机运行时,每个周期内昂贵的模具都可能因为残留或滑块错位而有损坏的危险,模具保护器可以防止这些情况发生!
在光电自动模具保护器中,对塑件和模腔目标有效可靠的识别,是触发保护装置进行保护性检查的基本要求。注塑机在连续工作当中,白天和黑夜交替,加上天气变化,加上工厂电源不稳定,厂房中的各种光源交叉干扰。而基于视觉的注塑保护装置,是一种基于模板图像比较的检测装置,当光源变化过大,采用单一模板的视频检测保护器经常误报警。特别是有些注塑机在空间较开阔、阳光窗户或透明顶棚可直射到注塑机上,强烈的光线变化,在模具上形成变化的影子,导致视频保护装置检测失败。现在流行的做法是,操作员在误报警产生时更新模板,每天由于天气和时间不同,需要更新好多次模板,加重了工作强度,误报警也影响了工作情绪。另一种做法是积累大量的基准模板,几十上百幅,每次都跟所有这些模板逐个比较,计算量极大,计算时间长,影响了工作效率,同时计算机工作量大导致温度过高,缩短了装置的工作寿命。
专利CN102156990A,是一种检测图像画面的模糊参数的方法,针对航空遥感图像的运动模糊参数检测,专利CN101568908A则是一种将图像产生模糊的方法。其他很多专利如CN101453556A、CN101454715A等都是检测运动模糊,其算法是检测运动,然后进行运动模糊修正,而不是通常意义上的模糊。
有鉴于此,如今迫切需要设计一种新的监测方式,以便克服现有监测方式存在的上述缺陷。
发明内容
本发明提供一种模具监视系统及方法,可提高检测准确度,降低误报警,同时不影响检测效率。
为解决上述技术问题,根据本发明的一个方面,采用如下技术方案:
一种模具监视系统,所述模具监视系统包括:
时间间隔存储模块,用以存储各个时间段的采集间隔数据;
模板存储模块,用以存储各个时间点的模板图像,或者/并且存储各个时间点的模板图像形成的动态模板视频文件;
模板采集模块,用以根据所述时间间隔存储模块存储的采集间隔数据采集模板图像;
模板读取模块,用以从所述模板存储模块中读出对应的模板图像,每个模板图像对应一个时间点;
模板差异比较模块,用以比对实时获取的模板图像与所述模板存储模块中对应时间点的模板图像,得到比较结果。
作为本发明的一种实施方式,所述模板差异比较模块用以比对实时获取的模板图像与所述模板存储模块中对应时间点的模板图像的差异,如果差异大于设定阈值,则认为有异常。
作为本发明的一种实施方式,所述模具监视系统还包括模板生成模块,用以将连续两幅模板图像进行线性插值来生成新的模板图像。
作为本发明的一种实施方式,所述模板生成模块通过新模板图像线性插值方法生成,新模板图像中的位置(x,y)对应的像素值f[mn′](x,y)从前后两幅模板图对应位置的像素值计算得出:
f[mn′](x,y)=f[m](x,y)*e+f[n](x,y)*(1-e),其中:
当t[mn′]=T[m]时,e=1,f[mn′](x,y)=f[m](x,y),即moldImage[mn′]=moldImage[m];反之,当t[mn′]=T[n]时,e=0,f[mn′](x,y)=f[n](x,y),即moldImage[mn′]=moldImage[n];
T[m]为实际时间,f[m](x,y)为对应T[m]时刻的模板图像在(x,y)位置的像素值,t[m]为在两个实际时间中的需要生成新模板图像的时间;
生成新模板图像前,比较moldImage[m]与moldImage[n]的差异,当出现局部差异过大时,使用运动估计减少误差。
作为本发明的一种实施方式,所述模板生成模块连接运动估计模块,运动估计模块用以对两幅模板间差异较大的部分进行运动估计,找到最小差异位置,用该位置局部图像作为差异较大部分的局部插值基准图。
作为本发明的一种实施方式,如果两个顺序相邻模板之间差异大于设定值,所述模板生成模块将前后相邻两幅模板图像进行线性插值来生成新的模板图像,线性系数通过累计时间T与实际时钟t差计算,新模板对应的时间点为实际时间t;如果生成新模板后仍然报警,报警被操作人员判断为误报警后,可将当前图像作为新模板插入到模板序列中,同时以t-T作为新的时间间隔值更新到动态模板视频文件Ft中;
如果两个顺序相邻模板之间差异大于设定阈值,且差异值只集中在部分区域,则启动运动估计模块提高生成新模板的精度;所述运动估计模块用于对两幅模板间差异较大的部分进行运动估计,找到最小差异位置,用该位置局部图像作为差异较大部分的局部插值基准图。
作为本发明的一种实施方式,所述模板读取模块每次最少按顺序读出两幅模板图像,所述模板差异比较模块用以比较所述模板读取模块按顺序读取出的两个模板图像的差异,如果差异低于设定阈值,则将读取出的两个模板图像用于检测;如果差异大于设定阈值,则激活模板生成模块。
作为本发明的一种实施方式,所述模具监视系统还包括:
时间间隔生成模块,用以设定各个时间段的采集间隔数据,并将采集间隔数据存储于时间间隔存储文件中;
时钟触发器,用以从时间间隔存储文件中读取当前时间对应的采集间隔数据。
一种模具监视保护方法,所述模具监视保护方法包括以下步骤:
时间间隔存储模块存储各个时间段的采集间隔数据;模板存储模块存储各个时间点的模板图像,或者/并且存储各个时间点的模板图像形成的动态模板视频文件;
模板采集模块根据所述时间间隔存储模块存储的采集间隔数据采集模板图像;
模板读取模块从所述模板存储模块中读出对应的模板图像,每个模板图像对应一个时间点;
模板差异比较模块比对实时获取的模板图像与所述模板存储模块中对应时间点的模板图像,得到比较结果。
作为本发明的一种实施方式,所述模具监视保护方法包括:
2)在实际监视检测阶段,时钟触发器需要从Ft中读出逐条读出时间间隔,同时从Fm中读出模板图像。
检测过程中,首先从预存储的文件Ft中读出基准时间,随后逐个读出下一个时间间隔tmInters[n]。在基准时间的基础上,计算出每个时间间隔对应的时间点T。
模板读出模块,按照对应的时间点,从动态模板视频文件中读出当前模板图像moldImage[n]。
随后,时间触发器开始工作。
时间触发器从存储器中读出基准时间后,接着按顺序读出时间间隔,在基准时间的基础上不断累加,生成准确的触发时间。
同时从模板视频文件Fm中读出对应的模板图像moldImage[n]。
在每个实际时刻,要读出下一个时间点的tmInters[n]和moldImage[n],因为每个模板图像只对应一个时间点,对两个时间点之间的情况,可通过前后模板插值的方式生成新模板。只有读出当前实际时间的前后两幅图像,才能进行根据需要生成新模板。
因此,时间触发器第一次除了要读出基准时间和对应的模板图像外,还需要读下一个时间间隔和模板图像。
以后在生成每个新模板生成前,从动态模板视频文件中按顺序读出一个模板后,同时提前读出下一个时间点对应的模板。
读出两个或多个模板后,比较实际时间前后两幅模板图像的差异。
必要时利用多个模板图像生成新模板。当相邻模板差异值较大时,激活模板生成模块,利用前后两幅模板生成更加精确的新模板。
有时候因为模板间的时间间隔过大,为提高精度也可随时生成新模板。
当两幅差异模板图像间仅在局部具有较大差异时,则需要激活运动估计模块,找到局部图像的最优相似位置。
运动估计模块能提高生成新模板的精度。对两幅模板间差异较大的部分进行运动估计,找到最小差异位置,用该位置局部图像作为差异较大部分的局部插值基准图。
作为本发明的一种实施方式,所述模具监视保护方法包括:
1)在模板学习阶段,首先生成时间线序列。
模板学习开始后,首先确定基准时间tmInters[0],在基准时间的基础上,时间线序列按累加的方式可计算出时间点T。
时间线的计算需要时间间隔tmInters[n](1,2,3….)。时间间隔生成模块可根据不同的生成规则,生成不同的时间间隔值。
在基准时间的基础上,根据当前时间点的要求,按照规则的定义生成当前时间间隔,按顺序排成队列后存储在文件Ft中。
生成基准时间后,立即抓拍一幅模板图像,随后,每一个时间间隔对应的时间点都抓拍一幅模板图像。
每生成一个时间间隔tmInters[n]后,时钟触发器根据基准时间,不断累加时间间隔值。这样就在基准时间的基础上不断生成准确的触发时间。
时钟触发器将触发时间和当前时间比较,触发时间大于等于当前时间时,立即向模板采集模块发送触发信号以抓拍新模板。
时钟触发器触发模板采集时,从监视相机抓取当前图像作为对应该时间点的模板图像。时间间隔tmInters[n]值存入文件Ft,当前模板图像moldImage[n]存入模板视频文件Fm中。
抓取的众多模板图像,按时间点对应的顺序,用视频方式存入文件,生成一个对应的动态模板视频,视频中的每一幅图像对应一个时间点;
在Ft文件中的每一个时间间隔tmInters[n],在Fm文件中都对应着一个moldImage[n],两个文件之间的数据形成一一对应的关系。
在模板学习阶段,也可同时进行检测。第一幅模板是对应基准时间的抓拍的图像,随后每个时间点为标准图,在下一次抓拍前,当前图像跟前一幅模板图像比较,发生报警时,由操作人员判断,如果确认为误报警,立即生成新的时间间隔tmInters[n],也就是在设定的规则外添加一个时间点,并将当前图像作为模板图像存储。
本发明的有益效果在于:本发明提出的模具监视系统及方法,可提高检测准确度,降低误报警,同时不影响检测效率。
本发明提出了一种基于多模板的解决方法,但是每次检测仍然只跟一个模板比较,不影响工作效率。同时,根据每天的时间点从存储的多模板文件中调出对应的模板,由于该模板为当前工况下的准确度最高的基准图像,也是跟实际工况最相似的图像,不会产生误报警。因此,本发明有效解决了上述两个问题。
本发明可用于检测图像模糊,是一种专门用来检测图像模糊是否发生,不论这种模糊是何种原因产生,如镜头虚焦、镜头灰尘、场景尘雾等导致的画面模糊,都能有效进行检测,且对噪声不是很敏感。
附图说明
图1为本发明一实施例中时间线多模板检测系统的组成示意图。
图2为本发明一实施例中时间间隔生成器与时钟触发器工作原理示意图。
图3为本发明一实施例中时间点与多模板的对应关系示意图。
图4为本发明一实施例中新时间间隔生成的示意图。
图5为本发明一实施例中基于局部运动估计的高精度图像恢复方法示意图。
图6为本发明一实施例中运动估计对影子变化的插值图像效果示意图。
图7为本发明一实施例中的一种模板抓图时间间隔方案示意图。
图8为本发明一实施例中的一种Ft数据文件的存储策略示意图。
图9为本发明一实施例中时间线多模板检测系统的组成示意图。
图10为本发明一实施例中新模板图像生成方法示意图。
具体实施方式
下面结合附图详细说明本发明的优选实施例。
为了进一步理解本发明,下面结合实施例对本发明优选实施方案进行描述,但是应当理解,这些描述只是为进一步说明本发明的特征和优点,而不是对本发明权利要求的限制。
该部分的描述只针对几个典型的实施例,本发明并不仅局限于实施例描述的范围。相同或相近的现有技术手段与实施例中的一些技术特征进行相互替换也在本发明描述和保护的范围内。
本发明揭示了一种模具监视系统,图9为本发明一实施例中时间线多模板检测系统的组成示意图;请参阅图9,在本发明的一实施例中,所述模具监视系统包括:时间间隔存储模块1、模板存储模块2、模板采集模块3、模板读取模块4、模板差异比较模块5。
时间间隔存储模块1用以存储各个时间段的采集间隔数据。模板存储模块2用以存储各个时间点的模板图像,或者/并且存储各个时间点的模板图像形成的动态模板视频文件。模板采集模块3用以根据所述时间间隔存储模块存储的采集间隔数据采集模板图像。模板读取模块4用以从所述模板存储模块中读出对应的模板图像,每个模板图像对应一个时间点。模板差异比较模块5用以比对实时获取的模板图像与所述模板存储模块中对应时间点的模板图像,得到比较结果。
在本发明的一实施例中,所述模板差异比较模块用以比对实时获取的模板图像与所述模板存储模块中对应时间点的模板图像的差异,如果差异大于设定阈值,则认为有异常。
在本发明的一实施例中,所述模具监视系统还包括模板生成模块,用以将连续两幅模板图像进行线性插值来生成新的模板图像。
图10为本发明一实施例中新模板图像生成方法示意图;请参阅图10,在本发明的一实施例中,所述模板生成模块通过新模板图像线性插值方法生成,新模板图像中的位置(x,y)对应的像素值f[mn′](x,y)从前后两幅模板图对应位置的像素值计算得出:
f[mn′](x,y)=f[m](x,y)*e+f[n](x,y)*(1-e),其中:
当t[mn′]=T[m]时,e=1,f[mn′](x,y)=f[m](x,y),即moldImage[mn′]=moldImage[m];反之,当t[mn′]=T[n]时,e=0,f[mn′](x,y)=f[n](x,y),即moldImage[mn′]=moldImage[n]。
T[m]为实际时间,f[m](x,y)为对应T[m]时刻的模板图像在(x,y)位置的像素值,t[m]为在两个实际时间中的需要生成新模板图像的时间。
生成新模板图像前,比较moldImage[m]与moldImage[n]的差异,当出现局部差异过大时,使用运动估计减少误差。
在本发明的一实施例中,所述模板生成模块连接运动估计模块,运动估计模块用以对两幅模板间差异较大的部分进行运动估计,找到最小差异位置,用该位置局部图像数据来插值形成该差异较大部分的局部图像数据。
在本发明的一实施例中,如果两个顺序相邻模板之间差异大于设定值,这两个相邻模板图像间利用线性插生成新的模板图像;所述模板生成模块将前后相邻两幅模板图像进行线性插值来生成新的模板图像,线性系数通过新模板图像对应的时间点与前后模板图像的时间差计算,前后模板图像对应的时间点是在基准时间的基础上累加时间间隔得出,新模板图像的时刻为实际时钟t;如果生成新模板后仍然报警,报警被操作人员判断为误报警后,可将当前图像作为新模板插入到模板序列中,同时以t-T作为新的时间间隔值更新到动态模板视频文件Ft中。
如果两个顺序相邻模板之间差异大于设定阈值,且差异值只集中在部分区域,则启动运动估计模块提高生成新模板的精度;所述运动估计模块用于对两幅模板间差异较大的部分进行运动估计,找到最小差异位置,用该位置局部图像作为差异较大部分的局部插值基准图。
在本发明的一实施例中,所述模板读取模块每次最少按顺序读出两幅模板图像,所述模板差异比较模块用以比较所述模板读取模块按顺序读取出的两个模板图像的差异,如果差异低于设定阈值,则将读取出的两个模板图像用于检测;如果差异大于设定阈值,则激活模板生成模块。
在本发明的一实施例中,所述模板读取模块每次也可以只读出一幅模板图像。读出两幅模板图像,是防止学习过程中出现错误。如果学习过程中和监视检测过程独立,即学习过程中不检测,不知道学习的模板图像是否符合要求,监视过程中需要读出两幅模板图像,当发现相邻模板差异过大时,即自动生成新模板,减低误报警。如果学习过程中同时进行检测,光线变化过大而报警时,人工干预添加一幅模板图。这样就能保证模板图像间的变化都不会太大,监视过程就不需要读两幅模板图了。
在本发明的一实施例中,所述模具监视系统还包括:时间间隔生成模块、时钟触发器。时间间隔生成模块用以设定各个时间段的采集间隔数据,并将采集间隔数据存储于时间间隔存储文件中。时钟触发器用以从时间间隔存储文件中读取当前时间对应的采集间隔数据。
图1为本发明一实施例中时间线多模板检测系统的组成示意图;请参阅图1,在本发明的一实施例中,时间线多模板检测系统包括:时间间隔生成模块S100、时钟触发器S200、模板采集模块S300、模板序列存储模块S400、模板读出模块S500、模板差异比较S600、模板生成模块S700、运动估计模块S800。
时间间隔生成模块S100根据当前时间和设定的调整参数自动生成采集间隔tmInters[n]。时间间隔生成机制有:按当前时间、按照固定的间隔、按线性变化规则增加或减少,按非线性函数变化规则变化。生成的时间间隔tmInters[n](n=0,1,2…)按照时间顺序排成队列后,存储到专用文件Ft,文件格式是:文件头写入基准时间,随后按顺序写入时间间隔。请参阅图8,图8为本发明一实施例中的一种Ft数据文件的存储策略示意图。根据基础时间,累加所有的时间间隔,每个时间间隔对应一个具体的时间点,该时间点就是采集模板的具体时刻。请参阅图7,图7为本发明一实施例中的一种模板抓图时间间隔方案示意图。
时钟触发器S200从时间间隔存储文件中读出部分当前时间对应的间隔数据tmInters[n]。由时间间隔在基准时间基础上不断累加生成对应的时间T后,跟当前实际时钟t比较,如果T>t,即生成的时间大于当前实际时间,说明已到或已过模板采集时刻,随即向模板采集模块发送触发信号。在时钟触发器触发模板采集时,模板采集模块S300提取当前图像为模板图。
模板序列存储模块S400用以存储模板图像;模板图像用视频方式存入文件。存储前,当前模板图与前一模板图进行比较。当发现当前模板图与前一幅图像变化较大时,由于时间间隔已设定,已经无法调整时间间隔并重新抓图。所以,对于这种变化较大的图像,采用强制成关键帧的模式存入视频图像,提高图像的清晰度,请参阅图4所示。
模板读出模块S500用以从动态模板视频文件中按顺序逐个读出模板,每次最少读出两幅模板图。模板差异比较S600模块用以比较两个相邻模板图像的差异,如果差异不大,则直接用于检测。
模板生成模块S700用以生成新模板。如果两个顺序相邻模板之间差异过大,必要时这两个相邻模板图间利用线性插生成新的模板图。前后两幅模板图像进行线性插值来生成新模板,线性系数可通过累计时间T与实际时钟t差计算,新模板对应的时间点为实际时间t。如果生成新模板后仍然报警,报警被操作人员判断为误报警后,可将当前图像作为新模板插入到模板序列中,同时以t-T作为新的时间间隔值更新到文件Ft中。
如果两个顺序相邻模板之间差异过大时,如果差异值只集中在部分区域,则启动运动估计模块S800提高生成新模板的精度。对两幅模板间差异较大的部分进行运动估计,找到最小差异位置,用该位置局部图像作为差异较大部分的局部插值基准图,请参阅图5所示。图6为本发明一实施例中运动估计对影子变化的插值图像效果示意图。
本发明揭示一种模具监视保护方法,所述模具监视保护方法包括以下步骤:
时间间隔存储模块存储各个时间段的采集间隔数据;模板存储模块存储各个时间点的模板图像,或者/并且存储各个时间点的模板图像形成的动态模板视频文件;
模板采集模块根据所述时间间隔存储模块存储的采集间隔数据采集模板图像;
模板读取模块从所述模板存储模块中读出对应的模板图像,每个模板图像对应一个时间点;
模板差异比较模块比对实时获取的模板图像与所述模板存储模块中对应时间点的模板图像,得到比较结果。
作为本发明的一种实施方式,所述模具监视保护方法包括:监视检测流程;
在实际监视检测阶段,时钟触发器需要从Ft中读出逐条读出时间间隔,同时从Fm中读出模板图像。
检测过程中,首先从预存储的文件Ft中读出基准时间,随后逐个读出下一个时间间隔tmInters[n];在基准时间的基础上,计算出每个时间间隔对应的时间点T。
模板读出模块按照对应的时间点,从动态模板视频文件中读出当前模板图像moldImage[n]。
随后,时间触发器开始工作。
时间触发器从存储器中读出基准时间后,接着按顺序读出时间间隔,在基准时间的基础上不断累加,生成准确的触发时间。
同时从模板视频文件Fm中读出对应的模板图像moldImage[n]。
在每个实际时刻,要读出下一个时间点的tmInters[n]和moldImage[n],因为每个模板图像只对应一个时间点,对读出两个时间点之间的情况,如果判断相邻两幅模板图像差异过大,或者出现误报警,需要生成新模板图像时,通过前后模板插值的方式生成新模板图像。只有读出当前实际时间的前后两幅图像,才能进行根据需要生成新模板。
因此,时间触发器第一次除了要读出基准时间和对应的模板图像外,还需要读下一个时间间隔和模板图像。
以后在生成每个新模板生成前,从动态模板视频文件中按顺序读出一个模板后,同时提前读出下一个时间点对应的模板。
读出两个或多个模板后,比较实际时间前后两幅模板图像的差异。
必要时利用多个模板图像生成新模板。当相邻模板差异值较大时,激活模板生成模块,利用前后两幅模板生成更加精确的新模板。
有时候因为模板间的时间间隔过大,为提高精度也可随时生成新模板。
当两幅差异模板图像间仅在局部具有较大差异时,则需要激活运动估计模块,找到局部图像的最优相似位置。
运动估计模块能提高生成新模板的精度。对两幅模板间差异较大的部分进行运动估计,找到最小差异位置,用该位置局部图像作为差异较大部分的局部插值基准图。
作为本发明的一种实施方式,所述模具监视保护方法包括:模板学习流程;
在模板学习阶段,首先生成时间线序列。
模板学习开始后,首先确定基准时间tmInters[0],在基准时间的基础上,时间线序列按累加的方式可计算出时间点T。
时间线的计算需要时间间隔tmInters[n](1,2,3….)。时间间隔生成模块可根据不同的生成规则,生成不同的时间间隔值。
请参阅图2,在基准时间的基础上,根据当前时间点的要求,按照规则的定义生成当前时间间隔,按顺序排成队列后存储在文件Ft中。
生成基准时间后,立即抓拍一幅模板图像,随后,每一个时间间隔对应的时间点都抓拍一幅模板图像。
每生成一个时间间隔tmInters[n]后,时钟触发器根据基准时间,不断累加时间间隔值。这样就在基准时间的基础上不断生成准确的触发时间。
时钟触发器将触发时间和当前时间比较,触发时间大于等于当前时间时,立即向模板采集模块发送触发信号以抓拍新模板。
时钟触发器触发模板采集时,从监视相机抓取当前图像作为对应该时间点的模板图像。时间间隔tmInters[n]值存入文件Ft,当前模板图像moldImage[n]存入模板视频文件Fm中。
抓取的众多模板图像,按时间点对应的顺序,用视频方式存入文件,生成一个对应的动态模板视频,视频中的每一幅图像对应一个时间点;
这样,在Ft文件中的每一个时间间隔tmInters[n],在Fm文件中都对应着一个moldImage[n],两个文件之间的数据形成一一对应的关系,请参阅图3所示。
在模板学习阶段,也可同时进行检测。第一幅模板是对应基准时间的抓拍的图像,随后每个时间点为标准图,在下一次抓拍前,当前图像跟前一幅模板图像比较,发生报警时,由操作人员判断,如果确认为误报警,立即生成新的时间间隔tmInters[n],也就是在设定的规则外添加一个时间点,并将当前图像作为模板图像存储,请参阅图4。
在本发明的一实施例中,某工厂注塑机在车间向南的窗户边上,每天上午9~11点,下午2~4点有阳光影响较大,有段时间太阳直射到注塑机上,根据现场情况,确定以下动态模板触发时间间隔方案:
1)早上6~8点,黑夜转白天,光线逐渐变强,每120秒触发一次,即tmInters[0]=120;
2)早上8~9,过渡阶段,每60秒触发一次,即tmInters[1]=60;
3)上午9~11点,上午太阳照射阶段,为了不断变化的消除阴影,每5秒触发一次,即tmInters[3]=5;
4)11~14点,白天强光阶段,光线变化不太大,每300秒触发一次,即tmInters[4]=300;
5)14~16点,下午阳光照射阶段,为了不断变化的消除阴影,每5秒触发一次,即tmInters[5]=5;
6)16~18点,阳光逐渐变弱阶段,每60秒触发一次,即tmInters[6]=60;
7)18~20点,白天变黑夜,每120秒触发一次,即tmInters[7]=120;
8)晚上20点到第二天黎明6点为黑夜,采用灯光照明,没有变化,可用单一模板,出发时间可设很长,tmInters[8]=1200。
上述触发方案的阶段时间图如图7所示。
优化策略1)
该方案中tmInters[n]只有8中数值,因此,Ft文件不需要每次抓取模板图像都记录一次tmInters[n]值,可以采用数据结构的方式:
StuInter[n]{
inticount;
inttmInter;
}
注意,上述数据结构体索引为tmInters索引,结构体每个tmIntes对应一个使用次数,如早上6~8点tmInters[0]=120,即每隔120秒触发一次模板抓图,2小时共60次触发,所以StuInter[0]中的icount=60,即:
StuInter[0].icount=60;
StuInter[0].tmInter=120;
同理,上午9~11点tmInters[3]=5,共触发了1440次,所以:
StuInter[3].icount=1440;
StuInter[3].tmInter=5;
这样,往Ft文件中记录的数据就大大减少了,但是,无论是模板学习和时间检测阶段,每隔模板仍然对应着一个具体的触发时刻,因此,时间间隔的实际数量和模板的数量也都并没有减少。以上数据存储方法适用本发明所有方案。
优化策略2)
上述该方案各阶段触发间隔时间为梯度变化,为了衔接各阶段变化数据,可用一个动态变化过渡,如早上6~8点tmInters[0]=120,早上8~9tmInters[1]=60,可采用以下过渡策略:7:40~8:00共20分钟1200秒tmInters从120秒减少到60秒,实际触发次数为1200/((120+60)/2)=15次,每次减低值(120-60)/15=4秒,所以从早上7:40开始,7:42的tmInters=116秒,下一次触发时刻7:43:56,tmInters=112秒,一直到8:00的tmInters=60秒。其他各阶段变化都可比照上述方法进行变化,这样即实现缓慢过渡,触发间隔时间更加自然。以上触发间隔的过渡方法适用本发明所有方案。
优化策略3)
以上共抓模板图像60+60+1440+36+1440+120+60+30=3246幅图像,如果按fps=25播放,也就129.84秒,即共存储了两分钟多一点的视频文件,采用高压缩比的H264压缩,磁盘空间很小,不到500M。对精度要求比较高的场合,用MJPEG压缩,1G多一点。说明多模板方案在储存空间上来说也是可行的。以上多模板图像的存储方法适用本发明所有方案。
在本发明的一实施例中,某工厂大门朝西,大门很大,注塑机在离门很近的位置,每天下午2点以后,阳光从地面反射进车间,由于进出大门和门外院落里活动频繁,导致室内光线变化频繁,影响较大。另外,门外院落中有堆场装卸工一直工作到晚上10点结束,6点以后开启氖气照明,强光光源对模具监视系统亦有一定影响,特别是天黑以后。根据现场情况,确定以下动态模板触发时间间隔方案:
1)早上6~8点,黑夜转白天,光线逐渐变强,每120秒触发一次,即tmInters[0]=120
2)早上8~9,过渡阶段,每60秒触发一次,即tmInters[1]=60
3)9~13点,由于车间大门朝西,太阳对车间影响不明显,每300秒触发一次,即tmInters[2]=300
4)13~14点,太阳对车间的影响逐渐明显,每30秒触发一次,即tmInters[3]=30
5)14~17点,下午阳光照射阶段,为了不断变化的消除阴影,每5秒触发一次,即tmInters[4]=5
6)17~18点,阳光逐渐变弱阶段,但受到太阳西晒的影响,每20秒触发一次,即tmInters[5]=20
7)18~22点,白天变黑夜,每60秒触发一次,即tmInters[6]=60
8)晚上22点到第二天黎明6点为黑夜,采用灯光照明,没有变化,可用单一模板,出发时间可设很长,tmInters[7]=1200。
本发明还揭示一种模具模板图像生成系统,所述模板图像生成系统包括:时间间隔存储模块、模板采集模块、模板存储模块。时间间隔存储模块用以存储各个时间段的模板图像采集间隔数据;模板采集模块用以根据所述时间间隔存储模块存储的采集间隔数据采集模板图像;模板存储模块用以存储所述模板采集模块在各个时间点采集的模板图像,或者/并且存储各个时间点的模板图像形成的动态模板视频文件。
在本发明的一实施例中,时间间隔存储模块、模板采集模块、模板存储模块的具体组成及工作过程可参见以上有关模具监视保护系统中的介绍。
在本发明的一实施例中,所述模板图像生成系统还包括模板读取模块、模板差异比较模块、模板生成模块。
所述模板读取模块每次最少按顺序读出两幅模板图像,所述模板差异比较模块用以比较所述模板读取模块按顺序读取出的两个模板图像的差异,如果差异低于设定阈值,则将读取出的两个模板图像用于检测;如果差异大于设定阈值,则激活模板生成模块。
所述模板差异比较模块用以比对实时获取的模板图像与所述模板存储模块中对应时间点的模板图像的差异,如果差异大于设定阈值,则认为有异常。
所述模板生成模块用以将连续两幅模板图像进行线性插值来生成新的模板图像。
所述模板生成模块通过新模板图像线性插值方法生成,新模板图像中的位置(x,y)对应的像素值f[mn′](x,y)从前后两幅模板图对应位置的像素值计算得出:
f[mn′](x,y)=f[m](x,y)*e+f[n](x,y)*(1-e),其中:
当t[mn′]=T[m]时,e=1,f[mn′](x,y)=f[m](x,y),即moldImage[mn′]=moldImage[m];反之,当t[mn′]=T[n]时,e=0,f[mn′](x,y)=f[n](x,y),即moldImage[mn′]=moldImage[n]。
T[m]为实际时间,f[m](x,y)为对应T[m]时刻的模板图像在(x,y)位置的像素值,t[m]为在两个实际时间中的需要生成新模板图像的时间。
生成新模板图像前,比较moldImage[m]与moldImage[n]的差异,当出现局部差异过大时,使用运动估计减少误差。
所述模板生成模块连接一运动估计模块,运动估计模块用以对两幅模板间差异较大的部分进行运动估计,找到最小差异位置,用该位置局部图像数据来插值形成该差异较大部分的局部图像数据。
如果两个顺序相邻模板之间差异大于设定值,这两个相邻模板图像间利用线性插生成新的模板图像;所述模板生成模块将前后相邻两幅模板图像进行线性插值来生成新的模板图像,线性系数通过新模板图像对应的时间点与前后模板图像的时间差计算,前后模板图像对应的时间点是在基准时间的基础上累加时间间隔得出,新模板图像的时刻为实际时钟t;如果生成新模板后仍然报警,报警被操作人员判断为误报警后,可将当前图像作为新模板插入到模板序列中,同时以t-T作为新的时间间隔值更新到动态模板视频文件Ft中。
如果两个顺序相邻模板之间差异大于设定阈值,且差异值只集中在部分区域,则启动运动估计模块提高生成新模板的精度;所述运动估计模块用于对两幅模板间差异较大的部分进行运动估计,找到最小差异位置,用该位置局部图像作为差异较大部分的局部插值基准图。
本发明揭示一种模具模板图像生成方法,所述模板图像生成方法包括:
时间间隔存储步骤,存储各个时间段的模板图像采集间隔数据;
模板采集步骤,根据所述时间间隔存储模块存储的采集间隔数据采集模板图像;
模板存储步骤,存储所述模板采集模块在各个时间点采集的模板图像,或者/并且存储各个时间点的模板图像形成的动态模板视频文件。
在本发明的一实施例中,上述各个步骤的具体过程可参见以上有关模具监视保护方法中的介绍。
在本发明的一实施例中,所述模具模板图像生成方法进一步包括:
模板读取步骤,每次最少按顺序读出两幅模板图像,所述模板差异比较模块用以比较所述模板读取模块按顺序读取出的两个模板图像的差异,如果差异低于设定阈值,则将读取出的两个模板图像用于检测;如果差异大于设定阈值,则激活模板生成模块。
模板差异比较步骤,比对实时获取的模板图像与所述模板存储模块中对应时间点的模板图像的差异,如果差异大于设定阈值,则认为有异常。
模板生成步骤,将连续两幅模板图像进行线性插值来生成新的模板图像;通过新模板图像线性插值方法生成,新模板图像中的位置(x,y)对应的像素值f[mn′](x,y)从前后两幅模板图对应位置的像素值计算得出:
f[mn′](x,y)=f[m](x,y)*e+f[n](x,y)*(1-e),其中:
当t[mn′]=T[m]时,e=1,f[mn′](x,y)=f[m](x,y),即moldImage[mn′]=moldImage[m];反之,当t[mn′]=T[n]时,e=0,f[mn′](x,y)=f[n](x,y),即moldImage[mn′]=moldImage[n];
生成新模板图像前,比较moldImage[m]与moldImage[n]的差异,当出现局部差异过大时,使用运动估计减少误差。
所述模板生成步骤包括运动估计步骤,对两幅模板间差异较大的部分进行运动估计,找到最小差异位置,用该位置局部图像数据来插值形成该差异较大部分的局部图像数据。
如果两个顺序相邻模板之间差异大于设定值,这两个相邻模板图像间利用线性插生成新的模板图像;所述模板生成步骤中,将前后相邻两幅模板图像进行线性插值来生成新的模板图像,线性系数通过新模板图像对应的时间点与前后模板图像的时间差计算,前后模板图像对应的时间点是在基准时间的基础上累加时间间隔得出,新模板图像的时刻为实际时钟t;如果生成新模板后仍然报警,报警被操作人员判断为误报警后,可将当前图像作为新模板插入到模板序列中,同时以t-T作为新的时间间隔值更新到动态模板视频文件Ft中。
如果两个顺序相邻模板之间差异大于设定阈值,且差异值只集中在部分区域,则启动运动估计模块提高生成新模板的精度;所述运动估计模块用于对两幅模板间差异较大的部分进行运动估计,找到最小差异位置,用该位置局部图像作为差异较大部分的局部插值基准图。
综上所述,本发明提出的模具监视系统及方法,可提高检测准确度,降低误报警,同时不影响检测效率。
本发明提出了一种基于多模板的解决方法,但是每次检测仍然只跟一个模板比较,不影响工作效率。同时,根据每天的时间点从存储的多模板文件中调出对应的模板,由于该模板为当前工况下的准确度最高的基准图像,也是跟实际工况最相似的图像,不会产生误报警。因此,本发明有效解决了上述两个问题。
本发明可以用于检测图像模糊,是一种专门用来检测图像模糊是否发生,不论这种模糊是何种原因产生,如镜头虚焦、镜头灰尘、场景尘雾等导致的画面模糊,都能有效进行检测,且对噪声不是很敏感。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
这里本发明的描述和应用是说明性的,并非想将本发明的范围限制在上述实施例中。这里所披露的实施例的变形和改变是可能的,对于那些本领域的普通技术人员来说实施例的替换和等效的各种部件是公知的。本领域技术人员应该清楚的是,在不脱离本发明的精神或本质特征的情况下,本发明可以以其它形式、结构、布置、比例,以及用其它组件、材料和部件来实现。在不脱离本发明范围和精神的情况下,可以对这里所披露的实施例进行其它变形和改变。