CN114581824A - 一种基于视频检测技术的分拣中心异常行为的识别方法 - Google Patents
一种基于视频检测技术的分拣中心异常行为的识别方法 Download PDFInfo
- Publication number
- CN114581824A CN114581824A CN202210176805.6A CN202210176805A CN114581824A CN 114581824 A CN114581824 A CN 114581824A CN 202210176805 A CN202210176805 A CN 202210176805A CN 114581824 A CN114581824 A CN 114581824A
- Authority
- CN
- China
- Prior art keywords
- image
- foreground
- matrix
- express
- refers
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于视频检测技术的分拣中心异常行为的自动识别方法。并针对分拣中心环境下的室内光源环境和前景类型的单调性,设计了更具有针对性的视频检测方法。同时,针对分拣中心的主体检测对象快件和分拣人员的活动进行了针对性检测,根据分拣中心异常行为的特征,提出了一系列用于检测异常情况的方法。
Description
技术领域
本发明涉及一种基于视频检测技术的分拣中心异常行为的识别方法,属于物流管理和视频检测技术领域。
背景技术
快件分拣中心的流通量极大,而其工作人员较少,往往难以在完成对快件的分拣转发之余完成对快件分拣异常的检查。大部分情况下,需要用户反馈或者数据普查才能够发现因为分拣异常而造成的滞留问题,这严重影响了用户的体验。
通过对摄像头采集到的连续图景进行检测,可以获取其中的关键物体的运动情况,结合摄像头所处的具体工作场景,可以设计出一套具有针对性的视频检测系统。
发明内容
本发明所要解决的技术问题是,针对现有技术中物流分拣中心在实际生产过程中存在的痛点,针对性地提出了多种基于分拣中心特定环境所适用的视频检测方法,对视频检测中所需要解决的滤波、去雾、背景提取和运动识别进行了专业性改进。
为实现上述目的,本发明采用的技术方案为:一种基于视频检测技术的分拣中心操作规范的自动识别方法,该方法包括场景环境参数自适应和视频实时检测两个部分。其中,场景环境参数自适应在视频实时检测正式开始前,需要预载入部分视频帧对场景环境进行分析,并对视频检测过程中的一些参数进行设置,包括基于点光源的环境大气光矩阵,自适应细节增强滤波的窗口大小σ和增强系数k,以及基于场景平滑度的全局背景阈值矩阵。
在摄像头所采集到的图像当中,存在着较多的噪点,这些噪点不会影响到人眼识别,但会对计算机智能处理图像造成较大的干扰,常用的去雾手段如基于先验性暗通道等手段,可以通过计算大气光常数代入公式处理图像以达到去雾降噪的效果。
而通常环境下的太阳光可以认作是一种平行光,因此在摄像头所覆盖区域内,其各区域内的大气光情况都是一致的,但在较为封闭的室内环境下,光照往往由灯具提供,由于灯具的质量和位置影响,分拣中心的室内光照可以看作是多个点光源的复合光环境。在这种情况下,单一的大气光常数已经不足以描述整个场景的光照环境,因此需要计算全局的光照矩阵以替代原有的大气光常数。
全局光照矩阵的计算原理是根据暗原色图的局部光亮强度特征对周围光环境的影响,调整整个画面内的光环境矩阵。
首先,系统对输入的大小为m×n图像进行类型转换,求其暗原色图,暗原色图Darki,j=min(JC(i,j)),0≤i<m,0≤j<nC∈{R,G,B},其中JC(i,j) 指图像J在坐标(i,j)处像素在C通道分量上的值。
其次,设定步长step为窗口大小为从图像的左上角开始,逐步向右按步长平移,获得15个图像块。并对列按同理平移,从图像里获得15×15个图像块,计算各个图像块的亮度特征Dividep,q= max(Darki,j),(i,j)∈Ω(p,q),0≤p<15,0≤q<15,其中,Ω(p,q)为所划分的第p 行第q列的图像块,(i,j)∈Ω(p,q)指属于该图像块的像素的坐标。
然后,对前一步获得的图像块进行组合,设新窗口为(3,3),对矩阵 Dividei,j做非覆盖平移分割,得到一组5×5的图像组,每个图像组包括9个图像块。并计算每一个图像组的特征值,得到图像组特征矩阵为 其中,Dividet,s指第t行,第s列的图像组所包含的图像块,指该图像组中,从左至右,从上至下第i个图像块。
通过这一系列数据清洗和过滤,得到了图像亮度的三级特征,紧接着,我们从图像组特征开始,逐级向下对亮度特征进行规约。
首先根据Var的情况对Divide做出修正,当该图像组的特征值大于平均特征值时,用该图像组内各图像块特征的最大值来代替组内的所有值。当该图像组的平均值小于平均特征值时,同该图像组内各图像块的平均特征值来代替组内的所有值。修正公式为:
在完成对图像块特征的修正后,由于大部分像素都有多个图像块覆盖其上,因此我们取覆盖像素的图像块特征的最大值作为该点的大气光常数,有 Ai,j=max(Divide)where(i,j)in Divide。A为最终的图像光照矩阵。
由于快递分拣中心的环境比较复杂,对于精细行为和物体的识别要求也随之提高,直接获取的图像由于边缘钝化的问题,在细节表现上往往存在一定问题,虽然更加符合肉眼视觉,但不利于机器处理。因此,我们需要对摄像头采集到的图像做进一步处理,以强化其细节特征。
在这里,我们采用了自适应的高增强滤波,在这个过程中,首先我们需要确定该场景滤波的窗口大小,我们首先给定一个较小的窗口,然后不断扩展这个窗口大小,同时计算一系列的特征参数。
首先,对输入的图像J,有其暗原色图Bx=0.59×JR(x)+0.3×JG(x)+ 0.11×JB(x)。其中,JC(x)指图像J的像素点x在C通道分量上的值。
其次,我们设初始窗口大小为3×3,并以此对整个图像做非覆盖平移分割,将整个图像划分为个窗口,并获得窗口集合U,有Featurek=Quantile0.99(Bx)-avg(Bx),x∈Ω(k),其中,Ω(k)为B的第k个划分窗口, Quantilep(U)指集合U的p分位数,avg(U)指集合U的平均数。
当75%以上的Featurek<Quantile0.75(Bx)-Quantile0.25(Bx)1.5,扩大窗口为1.3倍,并不断计算其特征值,直到寻找到满足条件的最大窗口大小σ×σ。
然后,根据所确定的最大窗口的特征值,求增强系数
在获取到图像之后,需要进一步获取捕捉到的物体信息。由于摄像头的位置固定,因此背景可以确定,通过背景减法可以很轻松的获取前景。当所获取的图像信息和背景有出入时,变化部分就是捕捉到的物体,为了减少噪声,提高信息有效性,当变化满足一定阈值时,才认定为存在物体。由于场景环境存在着一定的差异性,在不同的位置有着不同的阈值,基于此,本发明提出了一种基于场景平滑度的背景阈值计算方法。
在工作场所启用前,对环境进行背景采取,获得背景图,生成其对应的灰度图B,并生成零矩阵S=zeros(m,n)。
由于窗口之间存在重合,因此对于每一个像素点的平滑度而言,求其所属的所有窗口的场景平滑度之和,即S(x)=S(x)+smooth,x∈BΩ(k),其中,BΩ(k)指灰度图B所划分出的第k个窗口所在区域,mean()指中位数,avg()指平均值。
在获得各像素点的背景阈值之后,就需要对前景进行提取分类。由于在快件分拣中心,环境中的物体类型较为简单,只有车辆、人员和快件三类。由于车辆的体积较大,可以从前景面积上简单分类。因此本发明针对快件和人员的区别,提出了一种基于人体不规则性的快速前景分类法。
首先通过背景减法求得前景图,并求前景物体的外接矩阵。
然后对外接矩阵所涵盖的图像,做二值处理,其中背景为0,前景为1,得到m×n的二值图像P。
根据前景分布Dk,判断该前景类型,其具体判别公式如下:
至此,我们完成了对图像的处理和物体信息的捕捉,接下来,我们就要根据捕捉到的物体,获取其运动信息。
在获取运动信息时,由于人体在局部范围可能存在着晃动和转体,以及其他带动躯干的原地行为,如果仅以位移为标准判断其运动和静止状态,会存在很大的出入。因此,本发明对运动的判断给出了一定的冗余,提出了一种基于移动指标的运动静止判别方式。
其中,M为1时,代表该人员处于移动状态,为0时,代表该人员处于原地保持状态。指在给定的前景FP在第k帧图像中的像素横坐标,一般取所属区域的底部中间位置。H为摄像头的高度,D(x,y)指该坐标像素点在现场环境中与摄像头的水平距离,为预设值,SP为人员移动的步伐常数,一般取 0.5倍步长也就是0.7米。
同时,由于物体会不断的运动,如何在一组连续的帧中,标注出属于同一物体的前景,也是一个问题,由于分拣中心环境的单调性,以及目标前景轮廓的规则性和移动的低速性,本发明提出了一种基于内接矩阵和外接矩阵变化率的连续帧物体识别方法。
在摄像头捕捉到的连续帧中,当检测到前景物体时,系统对其进行标注,求其外界矩阵的大小mC×nC,mC≥nC,求其内接矩阵,并求得其内接矩阵的中点坐标C(x,y)。
在快件分拣中心中,本发明将快件的分拣周期分为待分拣-分拣中-传送中- 堆积中这四个阶段。
对已标注为同一前景的快件,获得其一段时间内的帧信息F= {F0,F1,F2,…,Fn}。其中,Ft指在连续时间内,t时刻该前景的在背景上的信息。在此基础上,获得该前景在这段时间内的运动信息
M={M0~1,M1~2,…,Mn-1~n},Mt-1~t=(Ft-1(Cx,Cy),Ft(Cx,Cy)),t∈{1,2,…,n}, 其中,Ft(Cx,Cy)指该前景在t时刻,内接矩阵的中点坐标。然后对该前景的当前状态进行判定,判定其是否处于当前状态,或者转入下一状态,或者出现异常。
对于处于分拣中状态的快件,根据多镜头画面拼接,判定其进入传送带后,转由传送带专用镜头进行视频检测,并判定其进入传送中状态。
由于场景过大,因此单一的摄像头无法满足需求,为了精确获得分拣中心内部的情况,需要大量的摄像头联合运作,而在不同摄像头捕捉到的图像中,如何确定某一连续运动的物体,本发明提出了一种基于边界隶属度的识别方法。
对摄像头进行层级划分和区域规定,高精度小区域摄像头的检测层级更高,大区域摄象头和小区域摄像头的边界重合。同时,对边界区域进行隶属度划分,其公式为:其中,u(x,y)指该坐标对于区域的隶属度,xu指该点的横坐标,xc指该取景区域的中心点横坐标。 len(long)指该取景区域的长度,len(width)指该取景区域的宽度。
对于快件F,当u(Fcx,Fcy)<1,时,表明其进入周边区域,Fcx指快件前景的内接矩阵的横坐标。
快件在传送带上的情况特别值得关注,在这个阶段,快件可能由于堆积而产生堵塞,也可能由于形态问题导致卡位,也可能由于惯性从非收集筐处掉落,针对这三种异常情况,本发明提出了一系列的识别方法。
对于在传送带上连续运动的一组前景,在一组连续帧内,满足F’t(S)> 0,Ft(Cx,Cy)=Ft+1(Cx,Cy),且不唯一时,则判断出现堵塞异常。
对于在传送带上连续运动的某个前景,在一组连续帧内,满足 Ft(Cx,Cy)=Ft+1(Cx,Cy),判定出现卡位异常。
在快件分拣的过程中,由于手工操作可能存在的失误,有些快件可能被遗漏在一些地方,这会带来很严重的贻误。为了解决这一问题,本发明提出了广角镜头下的异常遗漏件的检测方法。
对于广角镜头捕捉到的快件前景,在一组连续帧内,满足Ft=Ft+1,t∈ (0,n),则判定其处于静止状态。
对于静止状态的前景,求其外接矩阵,并以原外接矩阵为中心,扩展1.5 倍,得到轮廓矩阵Fo
与现有技术相比,本发明的有益效果是:
针对室内多光源情况,本发明的抗干扰能力和去噪能力更好。
本发明的视频检测能力更加具有针对性,只对快递分拣中心环境,本发明的视频检测精度更高,计算更快。
对起伏较大,环境复杂的场景,本发明的视频处理后,边缘细节更加丰富。
本发明对快递分拣中心的诸多情况进行了深入分析,可以对快件在全场景的诸多运动状况做出判断,这在现有技术中是不存在的。
附图说明
图1是本发明的流程框图。
图2是本发明中光照矩阵处理的流程框图。
图3是本发明中自适应高增强滤波的流程框图。
图4是本发明中背景阈值矩阵计算的流程框图。
具体实施方式
下面详细描述本发明的实施方式,所述实施方式的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。
本实施例提出的一种基于视频检测技术的分拣中心异常行为的识别方法,在具体实施过程中,包括场景调试和现场检测两个部分,其具体流程如图1所示。
在场景调试的过程中,又分为场景内容调试和日常参数调试两个部分。
在场景内容调试的过程中,首先需要安装好对应摄像头,并且根据摄像头捕捉范围的边际重叠,设定各个摄像头的边际隶属度。同时,针对传送带部分的专用摄像头,对其摄像头捕捉范围内的收集筐进入点进行范围标识。
日常参数调试部分则是在每日开始工作前,摄像头捕捉图像。
首先是光照矩阵的获取,详情可参考说明书附图图2。对m×n的输入彩色图像,求其暗原色图Darki,j=min(JC(i,j)),0≤i<m,0≤j<nC∈{R,G,B},其中JC(x)指图像J在坐标(i,j)处像素在C通道分量上的值。
设定步长step,经验上取step为窗口大小为将整个图像划分为225个图像块。有划分后的图像块 Dividep,q=max(Darki,j),(i,j)∈Ω(p,q),0≤p<15,0≤q<15,其中,Ω(p,q)为所划分的第p行第q列的图像块,(i,j)∈Ω(p,q)指属于该图像块的像素的坐标。
设新窗口为(3,3),对矩阵Divide做非覆盖平移分割,得到一组5×5的图像组,每个图像组包括9个图像块。并计算每一个图像组的特征值,得到图像组特征矩阵为其中,Dividet,s指第t行,第s列的图像组所包含的图像块,指该图像组中,从左至右,从上至下第i个图像块。
根据Var的情况对Divide做出修正,修正方法为:
取覆盖像素的图像块特征的最大值作为该点的大气光常数,有Ai,j= max(Divide)where(i,j)in Divide。得到最终的光照矩阵A。
然后是自适应高增强滤波的参数获取,详情可参考说明书附图图3,对输入的图像J,有Bx=0.59×JR(x)+0.3×JG(x)+0.11×JB(x)。其中,JC(x) 指图像J的像素点x在C通道分量上的值。
设窗口大小为3×3,非覆盖平移窗口,有Featurek=Quantile0.99(Bx)- avg(Bx),x∈Ω(k),其中,Ω(k)为B的第k个划分窗口, Quantilep(U)指集合U的p分位数,avg(U)指集合U的平均数。
当75%以上的Featurek<Quantile0.75(Bx)-Quantile0.25(Bx)1.5,扩大窗口为1.3倍,直到寻找到满足条件的最大窗口大小σ×σ。
最后是背景阈值矩阵的提取,详情可参考说明书附图图4,对环境进行背景采取,获得背景图,生成其对应的灰度图B,并生成零矩阵S=zeros(m,n)。
S(x)=S(x)+smooth,x∈BΩ(k),其中,BΩ(k)指灰度图B所划分出的第k个窗口所在区域,mean()指中位数,avg()指平均值。
在获得大气光矩阵,背景阈值矩阵,和滤波参数之后,完成日常参数的调试。
在现场检测过程中,对获取到的图像,首先根据背景减法获取其前景,然后将大气光矩阵带入到先验性暗通道公式中,对图像进行去雾处理。
然后根据公式
增强图像细节,最终得到图像有效前景。
在得到前景后,我们根据前景的特征判断所属类型。
求前景物体的外接矩阵,对外接矩阵所涵盖的图像,做二值处理,其中背景为0,前景为1,得到m×n的二值图像P。
根据前景分布Dk,判断该前景类型,其具体判别公式如下:
对于人员而言,我们需要根据其运动情况判断是否在正常工作中。
,其中,M为1时,代表该人员处于移动状态,为0时,代表该人员处于原地保持状态。指在给定的前景FP在第k帧图像中的像素横坐标,一般取所属区域的底部中间位置。H为摄像头的高度,D(x,y)指该坐标像素点在现场环境中与摄像头的水平距离,为预设值,StepP为人员移动的步伐常数,一般取0.5倍步长也就是0.7米。
而对于快件,本发明将其划分为四个部分。状态流程为:待分拣-分拣中- 传送中-堆积中。
对已标注为同一前景的快件,获得其一段时间内的帧信息F= {F0,F1,F2,…,Fn}其中,Ft指在连续时间内,t时刻该前景的在背景上的信息。在此基础上,获得该前景在这段时间内的运动信息
M={M0~1,M1~2,…,Mn-1~n},Mt-1~t=(Ft-1(Cx,Cy),Ft(Cx,Cy)),t∈{1,2,…,n}, 其中,Ft(Cx,Cy)指该前景在t时刻,内接矩阵的中点坐标。然后对该前景的当前状态进行判定,判定其是否处于当前状态,或者转入下一状态,或者出现异常。
对于处于分拣中状态的快件,通过多镜头画面拼接,判定其进入传送带后,转由传送带专用镜头进行视频检测,并判定其进入传送中状态。
对于在传送带上运动的快件,提出了一种检测其异常状态的方法,其异常类型如下:
对于在传送带上连续运动的一组前景,在一组连续帧内,满足F’t(S)> 0,Ft(Cx,Cy)=Ft+1(Cx,Cy),且不唯一时,则判断出现堵塞异常。
对于在传送带上连续运动的某个前景,在一组连续帧内,满足 Ft(Cx,Cy)=Ft+1(Cx,Cy),判定出现卡位异常。
对于广角镜头捕捉到的画面中的快件异常遗漏,本发明提出了一种识别方法,步骤如下;
对于广角镜头捕捉到的快件前景,在一组连续帧内,满足Ft=Ft+1,t∈ (0,n),则判定其处于静止状态。
对于静止状态的前景,求其外接矩阵,并以原外接矩阵为中心,扩展1.5 倍,得到轮廓矩阵Fo
为了完成这些目标,本发明还提出了一些中间步骤的处理方法。
为解决不同帧之间的物体标注问题,提出了一种基于帧间变化解决物体连续识别的方法,其具体步骤如下:
当检测到前景物体时,对其进行标注,求其外界矩阵的大小mC× nc,mC≥nC,求其内接矩阵,并求得其内接矩阵的中点坐标C(x,y)。
完成连续识别后,更新变化率v的值,公式为:
重复这个过程,对连续帧的物体进行标注。
针对场景过大,部分视频检测精度要求高的特征,提出了一种物体在不同摄像头中进行连续捕获,并进行隶属度判定和连续性判定的一种方法,其具体步骤为:
对摄像头进行层级划分和区域规定,高精度小区域摄像头的检测层级更高,大区域摄象头和小区域摄像头的边界重合。同时,对边界区域进行隶属度划分,其公式为:其中,u(x,y)指该坐标对于区域的隶属度,xu指该点的横坐标,xc指该取景区域的中心点横坐标。len(long)指该取景区域的长度,len(width)指该取景区域的宽度。
对于快件F,当u(Fcx,Fcy)<1,时,表明其进入周边区域,Fcx指快件前景的内接矩阵的横坐标。
应该注意的是,上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。
Claims (10)
1.一种基于视频检测技术的分拣中心异常行为的识别方法,其特征在于:包括如下步骤:
步骤1、固定摄像头采集到图像;在场景内容调试的过程中,首先安装对应摄像头,并且根据摄像头捕捉范围的边际重叠,设定各个摄像头的边际隶属度;同时,针对传送带部分的专用摄像头,对其摄像头捕捉范围内的收集筐进入点进行范围标识;日常参数调试部分则是在每日开始工作前,通过摄像头捕捉图像;
步骤2、根据区域的光照差异进行去雾处理;
步骤3、采用自适应高增强滤波提高图像的细节;
步骤4、根据工作场景的固定性和工作区域的差异性,基于场景平滑度的背景减法提取前景;
步骤5、对图像的前景进行分类,判断快件和人员;
步骤6、对快件的待分拣-分拣中-传送中-堆积中状态进行识别;
步骤7、对不同状态下的快件异常进行识别。
2.根据权利要求1所述的基于视频检测技术的分拣中心异常行为的识别方法,其特征在于:所述步骤2中,去雾处理是针对分拣中心的点光源情况,采用局部光照条件进行计算,其具体步骤如下:
步骤2.1、对m×n的输入彩色图像,求其暗原色图Darki,j=min(JC(i,j)),0≤i<m,0≤j<nC∈{R,G,B},其中JC(x)指图像J在坐标(i,j)处像素在C通道分量上的值;
步骤2.2、设定步长step,经验上取step为窗口大小为将整个图像划分为225个图像块,有划分后的图像块Dividep,q=max(Darki,j),(i,j)∈Ω(p,q),0≤p<15,0≤q<15;其中,Ω(p,q)为所划分的第p行第q列的图像块,(i,j)∈Ω(p,q)指属于该图像块的像素的坐标;
步骤2.3、设新窗口为(3,3),对矩阵Divide做非覆盖平移分割,得到一组5×5的图像组,每个图像组包括9个图像块;并计算每一个图像组的特征值,得到图像组特征矩阵为其中,Dividet,s指第t行,第s列的图像组所包含的图像块,指该图像组中,从左至右,从上至下第i个图像块;
步骤2.4、根据Var的情况对Divide做出修正,修正方法为:
步骤2.5、取覆盖像素的图像块特征的最大值作为该点的大气光常数,有Ai,j=max(Divide)where(i,j)inDivide。得到最终的光照矩阵A。
3.根据权利要求1所述的基于视频检测技术的分拣中心异常行为的识别方法,其特征在于:所述步骤3的具体方法为:
步骤3.1、对输入的图像J,有Bx=0.59×JR(x)+0.3×JG(x)+0.11×JB(x);其中,JC(x)指图像J的像素点x在C通道分量上的值;
步骤3.2、设窗口大小为3×3,非覆盖平移窗口,有Featurek=Quantile0.99(Bx)-avg(Bx),x∈Ω(k),其中,Ω(k)为B的第k个划分窗口,Quantilep(U)指集合U的p分位数,avg(U)指集合U的平均数;
步骤3.3、当75%以上的Featurek<Quantile0.75(Bx)-Quantile0.25(Bx)1.5,扩大窗口为1.3倍,直到寻找到满足条件的最大窗口大小σ×σ;
5.根据权利要求1所述的基于视频检测技术的分拣中心异常行为的识别方法,其特征在于:
在获得各像素点的背景阈值之后,就需要对前景进行提取分类;根据分拣中心前景的单调性,只存在车辆、人员和快件三类物体,且由于车辆的体积与其他两类差距大,可以从前景面积上进行简单分类,由此提出了一种基于人体轮廓不规则性的,应用于分拣中心场景的人员、快件前景区分的方法,其具体步骤如下:
步骤5.1、通过背景减法求得前景图,并求前景物体的外接矩阵。
步骤5.2、对外接矩阵所涵盖的图像,做二值处理,其中背景为0,前景为1,得到m×n的二值图像P;
步骤5.4、根据前景分布Dk,判断该前景类型,其具体判别公式如下:
6.根据权利要求5所述的基于视频检测技术的分拣中心异常行为的识别方法,其特征在于:所述步骤5中,需要对划分为人员的个体判断其状态是运动还是静止,其具体方法如下:
其中,M为1时,代表该人员处于移动状态,为0时,代表该人员处于原地保持状态;指在给定的前景FP在第k帧图像中的像素横坐标,一般取所属区域的底部中间位置;H为摄像头的高度,D(x,y)指该坐标像素点在现场环境中与摄像头的水平距离,为预设值,StepP为人员移动的步伐常数,一般取0.5倍步长也就是0.7米;
由于物体不断运动,需在一组连续的帧中标注出属于同一物体的前景,其具体内容为:
在摄像头捕捉的连续帧中,当检测到前景物体时,对其进行标注,求其外界矩阵的大小mC×nC,mC≥nC,求其内接矩阵,并求得其内接矩阵的中点坐标C(x,y);当画面转向下一帧时,当新标注物体内接矩阵的中点坐标C′(x,y)和外界矩阵大小mC×nC,mC′≥nC′满足且属于同一类物体时,则可以标注其为同一物体。其中v为变化率,初始值为0.25;完成连续识别后,更新变化率v的值,公式为:
7.根据权利要求1所述的基于视频检测技术的分拣中心异常行为的识别方法,其特征在于:所述步骤6中,
步骤6.1、对已标注为同一前景的快件,获得其一段时间内的帧信息F={F0,F1,F2,…,Fn}其中,Ft指在连续时间内,t时刻该前景的在背景上的信息;在此基础上,获得该前景在这段时间内的运动信息M={M0~1,M1~2,…,Mn-1~n},Mt-1~t=(Ft-1(Cx,Cy),Ft(Cx,Cy)),t∈{1,2,…,n},其中,Ft(Cx,Cy)指该前景在t时刻,内接矩阵的中点坐标;然后对该前景的当前状态进行判定,判定其是否处于当前状态,或者转入下一状态,或者出现异常;
步骤6.3、对于处于分拣中状态的快件,通过多镜头画面拼接,判定其进入传送带后,转由传送带专用镜头进行视频检测,并判定其进入传送中状态;
8.根据权利要求7所述的基于视频检测技术的分拣中心异常行为的识别方法,其特征在于:所述步骤6.3中,在多镜头画面拼接的应用中,由于场景过大,视频检测精度要求高,需对一种物体在不同摄像头中进行连续捕获,并进行隶属判定和连续判定,其具体步骤为:
步骤6.3.1、对摄像头进行层级划分和区域规定,高精度小区域摄像头的检测层级更高,大区域摄象头和小区域摄像头的边界重合;同时,对边界区域进行隶属度划分,其公式为:其中,u(x,y)指该坐标对于区域的隶属度,xu指该点的横坐标,xc指该取景区域的中心点横坐标,len(long)指该取景区域的长度,len(width)指该取景区域的宽度;
步骤6.3.2、对于快件F,当u(Fcx,Fcy)<1,时,表明其进入周边区域,Fcx指快件前景的内接矩阵的横坐标;
9.根据权利要求7所述的基于视频检测技术的分拣中心异常行为的识别方法,其特征在于:所述步骤6.4中,需针对在传送带上运动的快件出现的异常情况进行识别,具体步骤如下:
步骤6.4.1、对于在传送带上连续运动的一组前景,在一组连续帧内,满足F’t(S)>0,Ft(Cx,Cy)=Ft+1(Cx,Cy),且不唯一时,则判断出现堵塞异常;
步骤6.4.2、对于在传送带上连续运动的某个前景,在一组连续帧内,满足Ft(Cx,Cy)=Ft+1(Cx,Cy),判定出现卡位异常;
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210176805.6A CN114581824A (zh) | 2022-02-25 | 2022-02-25 | 一种基于视频检测技术的分拣中心异常行为的识别方法 |
PCT/CN2022/126958 WO2023159985A1 (zh) | 2022-02-25 | 2022-10-24 | 一种基于视频检测技术的分拣中心异常行为的识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210176805.6A CN114581824A (zh) | 2022-02-25 | 2022-02-25 | 一种基于视频检测技术的分拣中心异常行为的识别方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114581824A true CN114581824A (zh) | 2022-06-03 |
Family
ID=81773703
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210176805.6A Pending CN114581824A (zh) | 2022-02-25 | 2022-02-25 | 一种基于视频检测技术的分拣中心异常行为的识别方法 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN114581824A (zh) |
WO (1) | WO2023159985A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115171217A (zh) * | 2022-07-27 | 2022-10-11 | 北京拙河科技有限公司 | 一种动态背景下的动作识别方法及系统 |
WO2023159985A1 (zh) * | 2022-02-25 | 2023-08-31 | 南京邮电大学 | 一种基于视频检测技术的分拣中心异常行为的识别方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017224243A (ja) * | 2016-06-17 | 2017-12-21 | 株式会社日立ビルシステム | 荷物預入システムおよび異常検知方法 |
CN112749596A (zh) * | 2019-10-31 | 2021-05-04 | 顺丰科技有限公司 | 异常画面检测方法、装置、电子设备和存储介质 |
CN112791967B (zh) * | 2020-12-18 | 2022-07-05 | 科捷智能科技股份有限公司 | 异常件检测与调流分拣方法 |
CN114581824A (zh) * | 2022-02-25 | 2022-06-03 | 南京邮电大学 | 一种基于视频检测技术的分拣中心异常行为的识别方法 |
-
2022
- 2022-02-25 CN CN202210176805.6A patent/CN114581824A/zh active Pending
- 2022-10-24 WO PCT/CN2022/126958 patent/WO2023159985A1/zh unknown
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023159985A1 (zh) * | 2022-02-25 | 2023-08-31 | 南京邮电大学 | 一种基于视频检测技术的分拣中心异常行为的识别方法 |
CN115171217A (zh) * | 2022-07-27 | 2022-10-11 | 北京拙河科技有限公司 | 一种动态背景下的动作识别方法及系统 |
CN115171217B (zh) * | 2022-07-27 | 2023-03-03 | 北京拙河科技有限公司 | 一种动态背景下的动作识别方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
WO2023159985A1 (zh) | 2023-08-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2022099598A1 (zh) | 一种基于图像像素相对统计特征的视频动态目标检测的方法 | |
CN111126325B (zh) | 一种基于视频的智能人员安防识别统计方法 | |
CN114581824A (zh) | 一种基于视频检测技术的分拣中心异常行为的识别方法 | |
Zhou et al. | Moving vehicle detection for automatic traffic monitoring | |
CN103049787B (zh) | 一种基于头肩特征的人数统计方法和系统 | |
CN107133969B (zh) | 一种基于背景反投影的移动平台运动目标检测方法 | |
CN102609686B (zh) | 一种行人检测方法 | |
CN108416814B (zh) | 一种菠萝头部的快速定位与识别方法及系统 | |
CN104574389A (zh) | 基于彩色机器视觉的电池片色差分选控制方法 | |
CN111967498A (zh) | 基于毫米波雷达和视觉融合的夜间目标检测和跟踪方法 | |
CN109918971B (zh) | 监控视频中人数检测方法及装置 | |
CN108133216B (zh) | 基于机器视觉的可实现小数点读取的数码管读数识别方法 | |
CN111062938B (zh) | 基于机器学习的板材涨塞检测系统和检测方法 | |
CN1801930A (zh) | 基于视频内容分析的可疑静止物检测方法 | |
CN110047063B (zh) | 一种物料掉落的检测方法、装置、设备及存储介质 | |
CN106447701A (zh) | 用于图像相似性确定、对象检测和跟踪的方法和装置 | |
CN105069816B (zh) | 一种进出口人流量统计的方法及系统 | |
CN112001299B (zh) | 一种隧道车指器和照明灯故障识别方法 | |
CN113252614A (zh) | 一种基于机器视觉的透明度检测方法 | |
CN101315664A (zh) | 用于文字识别的文本图像预处理方法 | |
CN112419261A (zh) | 具有异常点去除功能的视觉采集方法及装置 | |
CN111754525A (zh) | 一种基于非精确切分的工业字符检测流程 | |
CN113591973B (zh) | 一种轨道板外观状态变化智能比对方法 | |
CN109583306B (zh) | 一种基于机器视觉的纱管残留纱线检测方法 | |
CN103578121B (zh) | 干扰运动环境下基于共享高斯模型的运动检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |