CN112200027B - 一种基于机器视觉的自身移动状态识别方法 - Google Patents
一种基于机器视觉的自身移动状态识别方法 Download PDFInfo
- Publication number
- CN112200027B CN112200027B CN202011031255.6A CN202011031255A CN112200027B CN 112200027 B CN112200027 B CN 112200027B CN 202011031255 A CN202011031255 A CN 202011031255A CN 112200027 B CN112200027 B CN 112200027B
- Authority
- CN
- China
- Prior art keywords
- score
- value
- sensitive area
- moving
- self
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于机器视觉的自身移动状态识别方法,包括:1、画面按实际现场场景特点划分为M*N个方格,根据不同的应用场景特点,标定需要重点判别的“敏感区域”;2、以敏感区域所在的方格的坐标为依据,分别获取这一方格坐标内的前后两帧图像中的这一局部;3、传入compare_ssim函数,计算其相似度,得到score值,暂存在一个数据列表中;4、完成全部敏感区域每一格局部图像的对比后,得到了一个相似值score组成的数据列表score_list,分别计算获取score_list的最小值score_min和平均值score_avr;5、当score_min和score_avr同时小于各自设定的阈值时,判别为车辆自身处于“移动”状态,否则为“静止”状态。与现有技术相比,本发明具有准确率高,系统成本低,实现简单,运算速度快等优点。
Description
技术领域
本发明涉及视频识别技术领域,尤其是涉及一种基于机器视觉的自身移动状态识别方法。
背景技术
在多种视频识别技术的应用系统中,往往需要知道自身是处于运动状态,还是静止状态,如果通过另外安装“轮速传感器”或“IMU惯性测量单元”等运动感知传感器,会使系统复杂化和成本上升。如何仅仅依靠摄像机捕获的视频图像信息,来对自身移动状态进行准确的识别,成为一个需要解决的工程问题。
在图像处理和机器视觉技术中,对图像的变化情况的判断有多种方法,但是,由于应用场景的多样化以及工程实践中出现的问题,简单使用图像像素对比之类的手段,会产生大量的误识别。
在实际的环境下,如果仅用普通的前后两帧图像对比方法来进行识别,会由于路边其它并行的车辆路过或路口前方横向穿越的车辆行人的移动,往往会把停车状态误识别为运动状态;而在地铁隧道内由于画面单一,无其它可参考景物,往往会把运动状态错认为静止状态。
另外,当摄像机载体车辆以极低的速度运动时,也容易误识别。
根据视频画面来识别自身是否运动,其主要的手段就是对比前后两帧图像的变化差异,一般应用较多的方法,就是采用OpenCV计算机视觉函数库中的compare_ssim函数,来对比两帧画面中所有的像素,基于样本X和Y之间的三个比较衡量:亮度(luminance)、对比度(contrast)和结构(structure)。最终获得的结果,是两个图像的结构相似度值Score。这一对比函数是OpenCV函数库的既有函数。
但是,在实际的工程实践中,需要判别的画片的画面细节较少,并且视频流中前后帧的差异在整个图像中的占比很小。直接用compare_ssim函数,往往把运动状态误判为静止状态。
而对于有轨电车应用场景的路面交通,又容易受到旁边并行的其它车辆移动的影响而把当前停车状态误判为移动状态。
因此,问题的关键就集中到了如何对画面上能正确反映“移动”和“静止”状态的区域做重点的识别。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于机器视觉的自身移动状态识别方法。
本发明的目的可以通过以下技术方案来实现:
一种基于机器视觉的自身移动状态识别方法,通过对比前后两帧图像的变化差异来识别自身是否运动,该方法包括以下步骤:
步骤1、画面按实际现场场景特点划分为M*N个方格,根据不同的应用场景特点,标定需要重点判别的“敏感区域”;
步骤2、以敏感区域所在的方格的坐标为依据,分别获取这一方格坐标内的前后两帧图像中的这一局部;
步骤3、传入compare_ssim函数,计算其相似度,得到score值,暂存在一个数据列表中;
步骤4、完成全部敏感区域每一格局部图像的对比后,得到了一个相似值score组成的数据列表score_list,分别计算获取score_list的最小值score_min和平均值score_avr;
步骤5、对score_min设定第一阈值,对score_avr设定第二阈值,当score_min和score_avr同时小于各自设定的阈值时,判别为车辆自身处于“移动”状态,否则为“静止”状态。
优选地,当识别结果不稳定,在“移动”和“静止”之间快速切换时,该方法还包括步骤:
步骤6、分别设置移动计数器Score_move_counter和静止计数器Score_stop_counter,每次判断得出“移动”或“静止”的结果后,并不立即作为最终的结论,而是对两个计数器进行累加;
步骤7、设定第三阈值,判断哪个结果计数器的值达到第三阈值,则该结果生效,更新最终判别结果为“移动”或“静止”。
步骤8、两个计数器都清零,继续进行后续的识别。
优选地,所述的步骤1中的“敏感区域”为画面中真正需要判断的区域,排除容易引入干扰的区域;
对于有轨电车应用场景,所述的“敏感区域”为车辆视野的中部的地面,排除左右两侧和列车正前方路口的区域;
对于地铁应用场景,主所述的“敏感区域”为车辆前方中部的地面以及高处的接触网和照明灯,排除左右两侧的区域。
优选地,所述的步骤1中的划分方格具体包括:把所需识别的画面划分为m*n格,按由0开始的“行,列”下标,来对每个方格进行标识。
优选地,所述的步骤1中根据所需识别的画面的特点,配置不同的M*N,对画面进行适合粒度的分割,所述的M=5,N=5。
优选地,所述的步骤2具体包括:根据敏感区域的划分,根据隶属于敏感区域的方格行列值以及图像的宽和高,分别计算出对应的坐标,并按此坐标,分别裁剪获取这一方格内的当前帧图像和前一帧图像的局部。
优选地,所述的步骤3具体包括:将前后两帧图像的同一坐标的局部图像传入compare_ssim函数,根据其亮度、对比度和结构对比获得相似度值score,放入score_list列表中。
优选地,所述的步骤5中的第一阈值设为0.91,第二阈值设为0.95。
优选地,所述的步骤7中的第三阈值为25。
优选地,所述的敏感区域的划分包括以下步骤:
步骤a、视频画面按实际现场场景特点划分为M*N个方格;
步骤b、计算出每一方格的score值;
步骤c、以score值为RGB值,叠加显示在视频画面上;
步骤d、通过视频画面上的RGB值,直观对比图像各区域的变化率,RGB值越小,这一方格对应的图像的变化率越高,即为敏感区域。
与现有技术相比,本发明具有以下优点:
1、仅依靠摄像机获取的视频数据,不依赖其它的传感器,具有系统独立性好,安装调试简便,系统成本低等优点。
2、通过对不同应用场景的分析,对画面进行敏感区域划分,加大敏感区域识别权重,排除易引入干扰的区域,使对比识别的准确率达到99.99%。
3、通过分别设置两个计数器,解决了由于光线的变化及摄像机自身的振动引起的识别结果不稳定的问题,提高了对比识别的准确率。
4、本发明运算速度快,无需占用太多运算资源,开发了配套的分析工具软件,可快速对画面敏感区域进行直观的查看,得出划分方案。
5、本发明可用来与多种视频识别应用相结合,形成更多的有实际意义的应用,是一种基础支撑方法。
附图说明
图1为本发明方法的流程图;
图2为本发明的画面分割示意图;
图3为本发明的有轨电车应用场景中敏感区域设定样例图;
图4为本发明的地铁应用场景中敏感区域设定样例图;
图5为本发明的快速确定敏感区域的划分方法的使用效果图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都应属于本发明保护的范围。
本发明的原理:通过加大敏感区域的权重,而减少其它区域的权重,把移动和静止的判断依据在整个画面的整体像素中突出出来,从而提高识别的准确度。
一种基于机器视觉的自身移动状态识别方法,通过对比前后两帧图像的变化差异来识别自身是否运动,该方法包括以下步骤:
步骤1、画面按实际现场场景特点划分为M*N个方格,根据不同的应用场景特点,标定需要重点判别的“敏感区域”;
步骤2、以敏感区域所在的方格的坐标为依据,分别获取这一方格坐标内的前后两帧图像中的这一局部;
步骤3、传入compare_ssim函数,计算其相似度,得到score值,暂存在一个数据列表中;
步骤4、完成全部敏感区域每一格局部图像的对比后,得到了一个相似值score组成的数据列表score_list,分别计算获取score_list的最小值score_min和平均值score_avr;
步骤5、对score_min设定第一阈值,对score_avr设定第二阈值,当score_min和score_avr同时小于各自设定的阈值时,判别为车辆自身处于“移动”状态,否则为“静止”状态。
当识别结果不稳定,在“移动”和“静止”之间快速切换时,该方法还包括步骤:
步骤6、分别设置Score_move_counter和Score_stop_counter两个计数器,每次判断得出“移动”或“静止”的结果后,并不立即作为最终的结论,而是对两个计数器进行累加;
步骤7、设定第三阈值,判断哪个结果计数器的值达到第三阈值,则该结果生效,更新最终判别结果为“移动”或“静止”。
步骤8、两个计数器都清零,继续进行后续的识别。
所述的步骤1中的“敏感区域”为画面中真正需要判断的区域,排除容易引入干扰的区域。
如图3和图4所示,深色格子为设定的敏感区域,其它为排除区域。
对于有轨电车应用场景,所述的“敏感区域”为车辆视野的中部的地面,排除左右两侧和列车正前方路口的区域。如图3所示,整个第2行方格图像数据被排除。
对于地铁应用场景,主所述的“敏感区域”为车辆前方中部的地面以及高处的接触网和照明灯,排除左右两侧的区域。如图4所示,第0行和第3行方格图像数据被排除。
如图2所示,所述的步骤1中的划分方格具体包括:把所需识别的画面划分为m*n格,按由0开始的“行,列”下标,来对每个方格进行标识。
所述的步骤1中根据所需识别的画面的特点,配置不同的M*N,对画面进行适合粒度的分割。
所述的M=5,N=5。
所述的步骤2具体包括:根据敏感区域的划分,根据隶属于敏感区域的方格行列值以及图像的宽和高,分别计算出对应的坐标,并按此坐标,分别裁剪获取这一方格内的当前帧图像和前一帧图像的局部。
所述的步骤3具体包括:将前后两帧图像的同一坐标的局部图像传入compare_ssim函数,根据其亮度、对比度和结构对比获得相似度值score,放入score_list列表中。
所述的步骤5中的第一阈值设为0.91,第二阈值设为0.95。
所述的步骤7中的第三阈值为25。
如图5所示,所述的敏感区域的划分包括以下步骤:
步骤a、视频画面按实际现场场景特点划分为M*N个方格;
步骤b、计算出每一方格的score值;
步骤c、以score值为RGB值,叠加显示在视频画面上;
步骤d、通过视频画面上的RGB值,直观对比图像各区域的变化率,RGB值越小,这一方格对应的图像的变化率越高,即为敏感区域。
本发明的实施例:如图1所示,一种基于机器视觉的自身移动状态识别方法,该方法包括以下步骤:
首先,初始化摄像机,从摄像机正常获取视频流。
并初始化一系列的变理,如:当前帧frame,前一帧frame_prev,识别结果计数器result_move_counter,result_stop_counter,最终判断结果result等。
从视频流中取一帧图像放入frame
如果frame_prev此时为空,则frame_prev=frame,并再取下一帧放入frame。
根据划分粒度的设定,把frame分为m*n格,样例中为5*5
把frame_prev也分为m*n格,样例中为5*5
根据敏感区域的划分,把隶属于敏感区域的方格行列值,与图像的宽和高分别计算出对应的坐标,并按此坐标,分别裁剪获取这一方格内的当前帧图像和前一帧图像的局部。
将前后两帧图像的同一坐标的局部图像传入compare_ssim函数,根据其亮度,对比度,结构对比获得相似度值score,放入score_list列表中。
所有的敏感区域方格完成运算后,共计得到K个score值。
分别取得score_list中的最小值和平均值。
如果最小值score_min<=0.91并且平均值score_avr<=0.95则本帧判识结果为“移动”,否则判别为“静止”。
根据判别结果,分别对移动结果计数器result_move_counter或静止结果计数器result_stop_counter进行累加。
哪个结果计数器的值达到阈值3(本例中,设为25),则该结果生效,更新最终判别结果为“移动”或“静止”。
两个计数器都清零,重复上述过程,持续完成识别判断。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (9)
1.一种基于机器视觉的自身移动状态识别方法,通过对比前后两帧图像的变化差异来识别自身是否运动,其特征在于,该方法包括以下步骤:
步骤1、画面按实际现场场景特点划分为M*N个方格,根据不同的应用场景特点,标定需要重点判别的“敏感区域”;
步骤2、以敏感区域所在的方格的坐标为依据,分别获取这一方格坐标内的前后两帧图像中的这一局部;
步骤3、传入compare_ssim函数,计算其相似度,得到score值,暂存在一个数据列表中;
步骤4、完成全部敏感区域每一格局部图像的对比后,得到了一个相似值score组成的数据列表score_list,分别计算获取score_list的最小值score_min和平均值score_avr;
步骤5、对score_min设定第一阈值,对score_avr设定第二阈值,当score_min和score_avr同时小于各自设定的阈值时,判别为车辆自身处于“移动”状态,否则为“静止”状态;
当识别结果不稳定,在“移动”和“静止”之间快速切换时,该方法还包括步骤:
步骤6、分别设置移动计数器Score_move_counter和静止计数器Score_stop_counter,每次判断得出“移动”或“静止”的结果后,并不立即作为最终的结论,而是对两个计数器进行累加;
步骤7、设定第三阈值,判断哪个结果计数器的值达到第三阈值,则该结果生效,更新最终判别结果为“移动”或“静止”;
步骤8、两个计数器都清零,继续进行后续的识别。
2.根据权利要求1所述的一种基于机器视觉的自身移动状态识别方法,其特征在于,所述的步骤1中的“敏感区域”为画面中真正需要判断的区域,排除容易引入干扰的区域;
对于有轨电车应用场景,所述的“敏感区域”为车辆视野的中部的地面,排除左右两侧和列车正前方路口的区域;
对于地铁应用场景,所述的“敏感区域”为车辆前方中部的地面以及高处的接触网和照明灯,排除左右两侧的区域。
3.根据权利要求1所述的一种基于机器视觉的自身移动状态识别方法,其特征在于,所述的步骤1中的划分方格具体包括:把所需识别的画面划分为m*n格,按由0开始的“行,列”下标,来对每个方格进行标识。
4.根据权利要求1所述的一种基于机器视觉的自身移动状态识别方法,其特征在于,所述的步骤1中根据所需识别的画面的特点,配置不同的M*N,对画面进行适合粒度的分割,所述的M=5,N=5。
5.根据权利要求1所述的一种基于机器视觉的自身移动状态识别方法,其特征在于,所述的步骤2具体包括:根据敏感区域的划分,根据隶属于敏感区域的方格行列值以及图像的宽和高,分别计算出对应的坐标,并按此坐标,分别裁剪获取这一方格内的当前帧图像和前一帧图像的局部。
6.根据权利要求1所述的一种基于机器视觉的自身移动状态识别方法,其特征在于,所述的步骤3具体包括:将前后两帧图像的同一坐标的局部图像传入compare_ssim函数,根据其亮度、对比度和结构对比获得相似度值score,放入score_list列表中。
7.根据权利要求1所述的一种基于机器视觉的自身移动状态识别方法,其特征在于,所述的步骤5中的第一阈值设为0.91,第二阈值设为0.95。
8.根据权利要求1所述的一种基于机器视觉的自身移动状态识别方法,其特征在于,所述的步骤7中的第三阈值为25。
9.根据权利要求1所述的一种基于机器视觉的自身移动状态识别方法,其特征在于,所述的敏感区域的划分包括以下步骤:
步骤a、视频画面按实际现场场景特点划分为M*N个方格;
步骤b、计算出每一方格的score值;
步骤c、以score值为RGB值,叠加显示在视频画面上;
步骤d、通过视频画面上的RGB值,直观对比图像各区域的变化率,RGB值越小,这一方格对应的图像的变化率越高,即为敏感区域。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011031255.6A CN112200027B (zh) | 2020-09-27 | 2020-09-27 | 一种基于机器视觉的自身移动状态识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011031255.6A CN112200027B (zh) | 2020-09-27 | 2020-09-27 | 一种基于机器视觉的自身移动状态识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112200027A CN112200027A (zh) | 2021-01-08 |
CN112200027B true CN112200027B (zh) | 2022-07-15 |
Family
ID=74007354
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011031255.6A Active CN112200027B (zh) | 2020-09-27 | 2020-09-27 | 一种基于机器视觉的自身移动状态识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112200027B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6856696B1 (en) * | 1998-09-10 | 2005-02-15 | Ecchandes Inc | Visual device |
CN105678730A (zh) * | 2014-11-17 | 2016-06-15 | 西安三茗科技有限责任公司 | 一种基于图像识别的相机移动自检测方法 |
CN110443196A (zh) * | 2019-08-05 | 2019-11-12 | 上海天诚比集科技有限公司 | 基于ssim算法的消防占道检测方法 |
-
2020
- 2020-09-27 CN CN202011031255.6A patent/CN112200027B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6856696B1 (en) * | 1998-09-10 | 2005-02-15 | Ecchandes Inc | Visual device |
CN105678730A (zh) * | 2014-11-17 | 2016-06-15 | 西安三茗科技有限责任公司 | 一种基于图像识别的相机移动自检测方法 |
CN110443196A (zh) * | 2019-08-05 | 2019-11-12 | 上海天诚比集科技有限公司 | 基于ssim算法的消防占道检测方法 |
Non-Patent Citations (2)
Title |
---|
Foveated Nonlocal Self-Similarity;Alessandro Foi et al.;《International Journal of Computer Vision》;20160309;第120卷;第78-110页 * |
基于深度学习的视频异常事件检测;刘萍;《中国优秀硕士学位论文全文数据库 信息科技辑》;20200115;第2020年卷(第1期);第I138-1240页 * |
Also Published As
Publication number | Publication date |
---|---|
CN112200027A (zh) | 2021-01-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110178167B (zh) | 基于摄像机协同接力的路口违章视频识别方法 | |
CN106228817B (zh) | 一种控制交通信号灯的方法和装置 | |
CN110298300B (zh) | 一种检测车辆违章压线的方法 | |
JP5815910B2 (ja) | マルチキュー・オブジェクトの検出および分析のための方法、システム、製品、およびコンピュータ・プログラム(マルチキュー・オブジェクトの検出および分析) | |
CN101510356B (zh) | 视频检测系统及其数据处理装置、视频检测方法 | |
Tae-Hyun et al. | Detection of traffic lights for vision-based car navigation system | |
CN110619279B (zh) | 一种基于跟踪的路面交通标志实例分割方法 | |
KR101935010B1 (ko) | 영상 기반 차량 번호판 인식 장치 및 방법 | |
CN105744232A (zh) | 一种基于行为分析技术的输电线路视频防外破的方法 | |
JP5164351B2 (ja) | 物体検出装置および物体検出方法 | |
CN107886055A (zh) | 一种用于车辆运动方向判定的逆行检测方法 | |
CN111932596B (zh) | 摄像头遮挡区域的检测方法、装置、设备和存储介质 | |
CN106297278A (zh) | 一种用于查询抛洒物车辆的方法和系统 | |
CN111753612B (zh) | 一种抛洒物检测方法、装置及存储介质 | |
CN112562406B (zh) | 一种越线行驶的识别方法及装置 | |
CN111523385B (zh) | 一种基于帧差法的静止车辆检测方法及系统 | |
CN107506753B (zh) | 一种面向动态视频监控的多车辆跟踪方法 | |
CN103793921B (zh) | 一种运动目标提取方法及装置 | |
CN111583659A (zh) | 一种车辆违章判定方法、装置、设备及介质 | |
CN113177509B (zh) | 一种倒车行为识别方法及装置 | |
CN112200027B (zh) | 一种基于机器视觉的自身移动状态识别方法 | |
Abdagic et al. | Counting traffic using optical flow algorithm on video footage of a complex crossroad | |
CN113095345A (zh) | 数据匹配方法、装置和数据处理设备 | |
CN114882709A (zh) | 车辆拥堵检测方法、装置及计算机存储介质 | |
CN114373155A (zh) | 交通行为识别方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |