CN117255179A - 基于图像标签识别导向的轨迹监测系统 - Google Patents
基于图像标签识别导向的轨迹监测系统 Download PDFInfo
- Publication number
- CN117255179A CN117255179A CN202311508355.7A CN202311508355A CN117255179A CN 117255179 A CN117255179 A CN 117255179A CN 202311508355 A CN202311508355 A CN 202311508355A CN 117255179 A CN117255179 A CN 117255179A
- Authority
- CN
- China
- Prior art keywords
- image
- distortion
- actual
- hidden danger
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 42
- 238000004458 analytical method Methods 0.000 claims abstract description 57
- 230000002159 abnormal effect Effects 0.000 claims abstract description 48
- 230000003287 optical effect Effects 0.000 claims abstract description 46
- 238000000034 method Methods 0.000 claims abstract description 20
- 238000012545 processing Methods 0.000 claims abstract description 16
- 230000005856 abnormality Effects 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000002360 preparation method Methods 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims 2
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000012897 Levenberg–Marquardt algorithm Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000013515 script Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B31/00—Predictive alarm systems characterised by extrapolation or other computation using updated historic data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Computing Systems (AREA)
- Emergency Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明公开了基于图像标签识别导向的轨迹监测系统,涉及轨迹监测技术领域,包括摄像信息采集模块、中央处理器、分析集合建立模块、综合分析模块以及警示模块;摄像信息采集模块,采集摄像机捕捉、录制图像或者视频流时的多项参数信息,包括光学畸变信息和图像采集信息。本发明通过对基于图像标签识别导向的轨迹监测系统中摄像机捕捉、录制图像或者视频流时的过程进行监测,当标签的位置存在被错误定位的异常隐患时,及时发出预警提示来警示相关使用人员,有效地防止系统在每个时间步骤中使用错误的位置信息来更新目标的轨迹导致轨迹的逐渐漂移,保障轨迹与实际目标运动路径相符,便于系统对标签高效地跟踪。
Description
技术领域
本发明涉及轨迹监测技术领域,具体涉及基于图像标签识别导向的轨迹监测系统。
背景技术
基于图像标签识别导向的轨迹监测是一种通过图像识别来跟踪标签的位置和运动轨迹的技术,通过在图像或视频帧中识别出特定的标签。标签可以是预定义的、已知的物体、符号、文字或其他特征,也可以通过机器学习和计算机视觉技术来训练模型进行自动识别。轨迹监测涉及追踪物体或人员在连续图像帧中的运动轨迹,这意味着在一段时间内记录目标的位置,并将这些位置数据连接起来,以形成轨迹,有助于了解目标的行为、运动模式和路径。
基于图像标签识别导向的轨迹监测通常用于各种应用场景,如智能监控、物流跟踪、自动驾驶、无人机导航等,以提供实时位置信息和轨迹数据,这可以用于改善安全性、优化物流运营、实现自动化控制等目的。
目前,现有技术通常采用摄像机捕捉、录制的图像或者视频流,摄像机可以是固定式的,也可以是移动的,视具体应用而定,标签通常会放置在被监测的物体、人员或区域上,并通过摄像机来捕捉标签的图像,然后,图像处理和计算机视觉算法会分析图像中的标签,并提取其位置信息,用于轨迹监测。
现有技术存在以下不足:在通过摄像机捕捉、录制图像或者视频流时的过程中,当标签的位置存在被错误定位的异常隐患时,基于图像标签识别导向的轨迹监测系统无法感知智能化感知,随着系统的继续使用,系统可能会在每个时间步骤中使用错误的位置信息来更新目标的轨迹,这可能导致轨迹的逐渐漂移,最终导致轨迹与实际目标运动路径不符,从而不便系统对标签高效地跟踪。
在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解,因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本发明的目的是提供基于图像标签识别导向的轨迹监测系统,本发明通过对基于图像标签识别导向的轨迹监测系统中摄像机捕捉、录制图像或者视频流时的过程进行监测,当标签的位置存在被错误定位的异常隐患时,及时发出预警提示来警示相关使用人员,有效地防止系统在每个时间步骤中使用错误的位置信息来更新目标的轨迹导致轨迹的逐渐漂移,保障轨迹与实际目标运动路径相符,便于系统对标签高效地跟踪,以解决上述背景技术中的问题。
为了实现上述目的,本发明提供如下技术方案:基于图像标签识别导向的轨迹监测系统,包括摄像信息采集模块、中央处理器、分析集合建立模块、综合分析模块以及警示模块;
摄像信息采集模块,采集摄像机捕捉、录制图像或者视频流时的多项参数信息,包括光学畸变信息和图像采集信息,采集后,将摄像机捕捉、录制图像或者视频流时的光学畸变信息和图像采集信息处理后传递至中央处理器;
中央处理器,将摄像机捕捉、录制图像或者视频流时经过处理后的光学畸变信息和图像采集信息进行综合分析,生成隐患指数,并将隐患指数传递至分析集合建立模块;
分析集合建立模块,将摄像机捕捉、录制图像或者视频流时生成的若干个隐患指数建立分析集合,并将分析集合传递至综合分析模块;
综合分析模块,对分析集合内的隐患指数进行综合分析,生成隐患风险信号,并将信号传递至警示模块,通过警示模块发出不同的预警提示。
优选的,摄像机捕捉、录制图像或者视频流时的光学畸变信息包括光学畸变系数,采集后,摄像信息采集模块将光学畸变系数标定为,摄像机捕捉、录制图像或者视频流时的图像采集信息包括帧率变异系数和图像曝光时间异常隐匿系数,采集后,摄像信息采集模块将帧率变异系数和图像曝光时间异常隐匿系数分别标定为/>和/>。
优选的,光学畸变系数获取的逻辑如下:
S1、对摄像机捕捉、录制图像或者视频流时的径向畸变和切向畸变设置径向畸变参考值和切向畸变参考值,将大于径向畸变参考值的径向畸变定义为异常径向畸变,将小于等于径向畸变参考值的径向畸变定义为正常径向畸变,将大于切向畸变参考值的切向畸变定义为异常切向畸变,将小于等于切向畸变参考值的切向畸变定义为正常切向畸变;
S2、获取摄像机捕捉、录制图像或者视频流时在T时间内不同时刻的实际径向畸变值和实际切向畸变值,并将获取的实际径向畸变值和实际切向畸变值分别标定为和/>,x表示摄像机捕捉、录制图像或者视频流时在T时间内不同时刻的实际径向畸变值的编号,x=1、2、3、4、……、N,N为正整数,y表示摄像机捕捉、录制图像或者视频流时在T时间内不同时刻的实际切向畸变值的编号,y=1、2、3、4、……、M,M为正整数;
S3、将摄像机捕捉、录制图像或者视频流时在T时间内获取的实际径向畸变值和实际切向畸变值分别与径向畸变参考值和切向畸变参考值进行比对,将判定为异常径向畸变的实际径向畸变值重新标定为,将判定为异常切向畸变的实际切向畸变值重新标定为/>,/>表示被判定为异常径向畸变的实际径向畸变值的编号,,/>为正整数,/>表示被判定为异常切向畸变的实际切向畸变值的编号,/>,/>为正整数;
S4、计算光学畸变系数,计算的表达式为:,式中,/>,/>表示摄像机捕捉、录制图像或者视频流时在T时间内获取的实际径向畸变值被判定为异常径向畸变的时段,/>,/>表示摄像机捕捉、录制图像或者视频流时在T时间内获取的实际切向畸变值被判定为异常切向畸变的时段。
优选的,帧率变异系数获取的逻辑如下:
S1、获取摄像机捕捉、录制图像或者视频流时在T时间内不同时段的实际帧率,并将实际帧率标定为,k表示摄像机捕捉、录制图像或者视频流时在T时间内不同时段的实际帧率的编号,k=1、2、3、4、……、p,p为正整数;
S2、通过摄像机捕捉、录制图像或者视频流时在T时间内获取的实际帧率计算实际帧率标准差和实际帧率平均值,并将实际帧率标准差和实际帧率平均值分别标定为R和H,则帧率标准差R的计算公式为:
,
其中,;
S3、计算帧率变异系数,计算的表达式为:。
优选的,图像曝光时间异常隐匿系数获取的逻辑如下:
S1、获取摄像机捕捉、录制图像或者视频流时的最佳曝光时间范围,并将最佳曝光时间范围标定为;
S2、获取摄像机捕捉、录制图像或者视频流时在T时间内生成的若干个实际曝光时间,并将实际曝光时间标定为,v表示摄像机捕捉、录制图像或者视频流时在T时间内生成的实际曝光时间的编号,v=1、2、3、4、……、q,q为正整数;
S3、将摄像机捕捉、录制图像或者视频流时在T时间内获取的不处于最佳曝光时间范围之间的实际曝光时间重新标定为/>,r表示摄像机捕捉、录制图像或者视频流时在T时间内获取的不处于最佳曝光时间范围/>之间的实际曝光时间的编号,r=1、2、3、4、……、h,h为正整数;
S4、计算图像曝光时间异常隐匿系数,计算的表达式为:
,式中,/>。
优选的,中央处理器获取到光学畸变系数、帧率变异系数/>以及图像曝光时间异常隐匿系数/>后,将光学畸变系数/>、帧率变异系数/>以及图像曝光时间异常隐匿系数/>进行公式化分析,生成隐患指数/>,依据的公式为:
,式中,/>分别为光学畸变系数/>、帧率变异系数/>以及图像曝光时间异常隐匿系数/>的预设比例系数,且/>均大于0。
优选的,分析集合建立模块将摄像机捕捉、录制图像或者视频流时生成的若干个隐患指数建立分析集合,并将分析集合标定为V,则,u表示分析集合内隐患指数的编号,u=1、2、3、4、……、s,s为正整数。
优选的,综合分析模块对分析集合内的隐患指数进行综合分析,分析的结果如下:
通过分析集合内的隐患指数计算隐患指数标准差和隐患指数平均值,并将隐患指数标准差和隐患指数平均值分别标定为和/>;
将隐患指数标准差和隐患指数平均值/>分别与预先设定的标准差参考阈值/>和预先设定的隐患指数参考阈值/>进行比对分析,比对分析的结果如下:
若,则生成高隐患风险信号,并将信号传递至警示模块,通过警示模块发出高隐患预警提示;
若,则生成不稳定隐患风险信号,并将信号传递至警示模块,通过警示模块发出不稳定隐患预警提示;
若,则生成低隐患风险信号,并将信号传递至警示模块,不通过警示模块发出隐患预警提示。
在上述技术方案中,本发明提供的技术效果和优点:
本发明通过对基于图像标签识别导向的轨迹监测系统中摄像机捕捉、录制图像或者视频流时的过程进行监测,当标签的位置存在被错误定位的异常隐患时,及时发出预警提示来警示相关使用人员,有效地防止系统在每个时间步骤中使用错误的位置信息来更新目标的轨迹导致轨迹的逐渐漂移,保障轨迹与实际目标运动路径相符,便于系统对标签高效地跟踪;
本发明通过对摄像机捕捉、录制图像或者视频流时生成的隐患指数进行综合分析,当摄像机捕捉、录制图像或者视频流时运行状态较差或者稳定性较差时,发出不同的预警提示,提示摄像机需要及时进行维护,同时便于维护人员知晓摄像机运行状态的异常类型,便于维护人员提高维护效率,当摄像机捕捉、录制图像或者视频流时运行状态出现偶然的异常时,不发出预警提示,提高对摄像机捕捉、录制图像或者视频流时监测的准确性,进而保障摄像机高效地捕捉、录制图像或者视频流。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明中记载的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的附图。
图1为本发明基于图像标签识别导向的轨迹监测系统的模块示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些示例实施方式使得本公开的描述将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。
本发明提供了如图1所示的基于图像标签识别导向的轨迹监测系统,包括摄像信息采集模块、中央处理器、分析集合建立模块、综合分析模块以及警示模块;
摄像信息采集模块,采集摄像机捕捉、录制图像或者视频流时的多项参数信息,包括光学畸变信息和图像采集信息,采集后,将摄像机捕捉、录制图像或者视频流时的光学畸变信息和图像采集信息处理后传递至中央处理器;
摄像机捕捉、录制图像或者视频流时的光学畸变信息包括光学畸变系数,采集后,摄像信息采集模块将光学畸变系数标定为;
在基于图像标签识别导向的轨迹监测系统中,摄像机的光学畸变系数用于描述摄像机镜头引入的图像畸变,这些畸变是由于镜头光学性质以及图像采集过程中的物理原因而产生的,可能会导致摄像机观察到的图像与实际场景存在一定的失真;
光学畸变主要分为两种类型:
径向畸变:径向畸变是一种使图像中的物体在图像中心和图像边缘部分产生形变的畸变,这种畸变导致图像中的物体看起来比实际上要弯曲或拉伸,径向畸变通常由镜头玻璃折射不均匀或不对称造成,径向畸变系数描述了这种畸变的强度和方向;
切向畸变:切向畸变是一种使图像中的物体看起来倾斜或倾斜的畸变,这种畸变通常由于镜头不是完美地与图像平面平行而引入,切向畸变系数描述了这种畸变的程度;
摄像机的径向畸变和切向畸变较大时,会导致标签的位置存在被错误定位的异常隐患,这些畸变会影响标签位置的准确定位,原因如下:
径向畸变影响:
位置偏移:径向畸变会导致图像中的物体在图像中心和边缘部分产生形变,这意味着物体在图像中心和边缘之间的位置会有不一致的偏移,当标签或物体位于不同的部分时,其位置将被不正确地估计;
大小失真:径向畸变还会导致物体的大小在图像中有失真,靠近图像中心的部分会被压缩,而靠近边缘的部分会被拉伸,这将导致物体的尺寸估计错误,进而影响标签位置的定位精度;
切向畸变影响:
倾斜和旋转:切向畸变会使图像中的物体看起来倾斜或倾斜,即物体的角度在图像中产生误差,这将导致标签的方向估计不准确,从而影响其位置的准确性;
角度偏差:如果标签或物体的方向在图像中很重要(例如,用于导向轨迹监测),切向畸变可能导致重要的角度信息被错误地偏移或旋转;
因此,对摄像机捕捉、录制图像或者视频流时的径向畸变和切向畸变进行监测,可及时发现摄像机径向畸变和切向畸变较大可能导致标签的位置被错误定位的异常隐患问题;
光学畸变系数获取的逻辑如下:
S1、对摄像机捕捉、录制图像或者视频流时的径向畸变和切向畸变设置径向畸变参考值和切向畸变参考值,将大于径向畸变参考值的径向畸变定义为异常径向畸变,将小于等于径向畸变参考值的径向畸变定义为正常径向畸变,将大于切向畸变参考值的切向畸变定义为异常切向畸变,将小于等于切向畸变参考值的切向畸变定义为正常切向畸变;
需要说明的是,径向畸变参考值和切向畸变参考值的设置需要考虑轨迹监测系统的具体应用场景和需求,不同的应用可能对位置估计的准确性和实时性有不同的要求,因此,摄像机捕捉、录制图像或者视频流时的径向畸变参考值和切向畸变参考值在此不做具体的限定,可根据实际应用场景和需求进行调整;
S2、获取摄像机捕捉、录制图像或者视频流时在T时间内不同时刻的实际径向畸变值和实际切向畸变值,并将获取的实际径向畸变值和实际切向畸变值分别标定为和/>,x表示摄像机捕捉、录制图像或者视频流时在T时间内不同时刻的实际径向畸变值的编号,x=1、2、3、4、……、N,N为正整数,y表示摄像机捕捉、录制图像或者视频流时在T时间内不同时刻的实际切向畸变值的编号,y=1、2、3、4、……、M,M为正整数;
需要说明的是,在实时图像中,选择一个具有已知几何形状的特征,如棋盘格、圆形网格或其他具有规则结构的物体,这些特征应该被摄像机镜头拍摄,以便在图像中可以观察到形变,使用计算机视觉算法,例如角点检测算法(如Shi-Tomasi角点检测或Harris角点检测)来检测和跟踪实时图像中的特征点,这些算法可以自动检测特征点,并在连续图像帧之间进行跟踪,特征点跟踪应用程序将会持续记录特征点在图像中的位置变化,这个过程会捕捉到径向和切向畸变的影响,因为特征点的位置将受到畸变的影响,根据特征点的位置变化,可以使用实时数据来估计实际径向畸变和实际切向畸变,这通常需要使用非线性优化算法,例如Levenberg-Marquardt算法,来拟合畸变模型,以获取实际径向畸变和实际切向畸变的估计值;
S3、将摄像机捕捉、录制图像或者视频流时在T时间内获取的实际径向畸变值和实际切向畸变值分别与径向畸变参考值和切向畸变参考值进行比对,将判定为异常径向畸变的实际径向畸变值重新标定为,将判定为异常切向畸变的实际切向畸变值重新标定为/>,/>表示被判定为异常径向畸变的实际径向畸变值的编号,/>,/>为正整数,/>表示被判定为异常切向畸变的实际切向畸变值的编号,/>,/>为正整数;
S4、计算光学畸变系数,计算的表达式为:,式中,/>,/>表示摄像机捕捉、录制图像或者视频流时在T时间内获取的实际径向畸变值被判定为异常径向畸变的时段,/>,/>表示摄像机捕捉、录制图像或者视频流时在T时间内获取的实际切向畸变值被判定为异常切向畸变的时段;
由光学畸变系数的计算表达式可知,摄像机捕捉、录制图像或者视频流时在T时间内运行时生成的光学畸变系数的表现值越大,表明标签的位置被错误定位的隐患越大,反之则表明标签的位置被错误定位的隐患越小;
摄像机捕捉、录制图像或者视频流时的图像采集信息包括帧率变异系数和图像曝光时间异常隐匿系数,采集后,摄像信息采集模块将帧率变异系数和图像曝光时间异常隐匿系数分别标定为和/>;
帧率波动较大可能会导致基于图像标签识别导向的轨迹监测系统中标签的位置存在错误定位的异常隐患,这是因为帧率的波动会影响到图像的采集速度和连续性,进而影响到标签的检测、识别和位置估计,以下是可能的原因:
不连续的图像流:帧率波动较大可能导致不连续的图像流,在一个时间段内,某些图像帧可能会被跳过,而在另一个时间段内则可能连续捕获多帧图像,这种不连续性会导致在某些瞬间丢失了对标签位置的观测,而在其他时刻获得了多次观测,从而影响标签位置的连续性;
标签运动和模糊:帧率较低时,快速移动的标签可能会在相邻帧之间发生较大的位置变化,导致标签位置的不稳定估计,此外,低帧率可能导致图像模糊,使标签变得难以检测和识别;
跟踪器的响应问题:如果轨迹监测系统使用了目标跟踪算法,帧率波动可能会导致跟踪器的性能下降,跟踪器通常依赖于连续的图像帧来准确估计目标位置,而帧率波动可能导致跟踪器无法稳定跟踪目标;
目标丢失:帧率较低时,目标可能在一帧之间从图像中消失,然后在之后的帧中重新出现,这种目标丢失可能导致跟踪系统无法持续跟踪标签,进而影响标签位置的准确性;
时间不一致性:由于帧率波动,系统可能会出现时间不一致性,即不同时间点捕获的图像可能具有不同的时间间隔,这可能导致标签位置的时间戳不准确,从而使轨迹分析复杂化;
因此,对摄像机捕捉、录制图像或者视频流时的帧率进行监测,可及时发现摄像机帧率波动较大可能导致标签的位置被错误定位的异常隐患问题;
帧率变异系数获取的逻辑如下:
S1、获取摄像机捕捉、录制图像或者视频流时在T时间内不同时段(时段内的时间可以全部取相等,也可以全部取不相等,也可以是两者的交叉形式,在此不做具体的限定)的实际帧率(实际帧率即为摄像机捕捉、录制图像或者视频流时在T时间内不同时段的实际平均帧率),并将实际帧率标定为,k表示摄像机捕捉、录制图像或者视频流时在T时间内不同时段的实际帧率的编号,k=1、2、3、4、……、p,p为正整数;
需要说明的是,一些第三方监测工具和软件可以用于监测摄像机的性能,包括帧率,这些工具通常提供更详细的性能数据,可以用于分析和记录摄像机在不同时间段的帧率情况,例如,FFmpeg 是一个开源的多媒体处理工具,可以用于捕捉、分析和处理视频,可以使用 FFmpeg 来查看视频文件的帧率信息,还可以通过编写脚本来自动获取实际帧率,又如,MediaInfo 是一个用于查看多媒体文件信息的工具,可以提供关于视频文件的详细信息,包括帧率、分辨率等;
S2、通过摄像机捕捉、录制图像或者视频流时在T时间内获取的实际帧率计算实际帧率标准差和实际帧率平均值,并将实际帧率标准差和实际帧率平均值分别标定为R和H,则帧率标准差R的计算公式为:
,
其中,;
S3、计算帧率变异系数,计算的表达式为:;
需要说明的是,帧率变异系数的值越高,表明摄像机捕捉、录制图像或者视频流时在T时间内不同时段的实际帧率的波动越大、越不稳定,反之则表明摄像机捕捉、录制图像或者视频流时在T时间内不同时段的实际帧率的波动越小、越稳定;
由帧率变异系数的计算表达式可知,摄像机捕捉、录制图像或者视频流时在T时间内运行时生成的帧率变异系数的表现值越大,表明标签的位置被错误定位的隐患越大,反之则表明标签的位置被错误定位的隐患越小;
基于图像标签识别导向的轨迹监测系统中,摄像机的曝光时间是指摄像机在拍摄图像时开启感光元件(如CCD或CMOS传感器)来接收光线的时间长度,摄像机的曝光时间较短或较长都可能导致基于图像标签识别导向的轨迹监测系统中标签位置存在错误定位的异常隐患,原因如下:
曝光时间较短:
高速移动目标问题:如果曝光时间非常短,快速移动的标签可能只在图像中出现很短的时间,导致标签部分或完全丢失,这可能会导致轨迹监测系统无法准确追踪标签的位置,尤其是在高速运动或快速变化的场景中;
图像噪声问题:短曝光时间可能导致图像噪声增加,使标签的检测和识别变得更加困难,这会降低标签位置的准确性;
曝光时间较长:
运动模糊问题:较长的曝光时间意味着在图像上显示的物体可能在移动过程中产生模糊效果,这可能会导致标签的位置不清晰,尤其是在快速运动的情况下;
过曝光或欠曝光问题:较长的曝光时间可能导致过曝光或欠曝光问题,使图像的亮度不均匀,这会影响标签的可见性和准确性;
因此,对摄像机捕捉、录制图像或者视频流时的曝光时间进行监测,可及时发现摄像机曝光时间异常可能导致标签的位置被错误定位的异常隐患问题;
图像曝光时间异常隐匿系数获取的逻辑如下:
S1、获取摄像机捕捉、录制图像或者视频流时的最佳曝光时间范围,并将最佳曝光时间范围标定为;
需要说明的是,在实际使用场景中,通过不断调整曝光时间,拍摄一系列图像,然后评估这些图像的质量和识别性能,使用各种不同曝光时间的图像进行比较,以找到最佳曝光时间范围,这可以通过人工观察、图像质量指标和识别性能来完成,摄像机捕捉、录制图像或者视频流时的最佳曝光时间范围在此不作具体的限定,可根据实际场景和需求进行调整;
S2、获取摄像机捕捉、录制图像或者视频流时在T时间内生成的若干个实际曝光时间,并将实际曝光时间标定为,v表示摄像机捕捉、录制图像或者视频流时在T时间内生成的实际曝光时间的编号,v=1、2、3、4、……、q,q为正整数;
需要说明的是,许多视频监控系统(如Milestone XProtect、Genetec SecurityCenter等)提供了实时监控和管理摄像机的功能,这些系统通常提供了摄像机参数的详细信息,包括曝光时间,可以使用这些软件来查看和记录摄像机的实际曝光时间;
S3、将摄像机捕捉、录制图像或者视频流时在T时间内获取的不处于最佳曝光时间范围之间的实际曝光时间重新标定为/>,r表示摄像机捕捉、录制图像或者视频流时在T时间内获取的不处于最佳曝光时间范围/>之间的实际曝光时间的编号,r=1、2、3、4、……、h,h为正整数;
S4、计算图像曝光时间异常隐匿系数,计算的表达式为:
,式中,/>;
由图像曝光时间异常隐匿系数的计算表达式可知,摄像机捕捉、录制图像或者视频流时在T时间内运行时生成的图像曝光时间异常隐匿系数的表现值越大,表明标签的位置被错误定位的隐患越大,反之则表明标签的位置被错误定位的隐患越小;
中央处理器,将摄像机捕捉、录制图像或者视频流时经过处理后的光学畸变信息和图像采集信息进行综合分析,生成隐患指数,并将隐患指数传递至分析集合建立模块;
中央处理器获取到光学畸变系数、帧率变异系数/>以及图像曝光时间异常隐匿系数/>后,将光学畸变系数/>、帧率变异系数/>以及图像曝光时间异常隐匿系数/>进行公式化分析,生成隐患指数/>,依据的公式为:
,
式中,分别为光学畸变系数/>、帧率变异系数/>以及图像曝光时间异常隐匿系数/>的预设比例系数,且/>均大于0;
由计算公式可知,摄像机捕捉、录制图像或者视频流时在T时间内运行时生成的光学畸变系数越大、帧率变异系数越大、图像曝光时间异常隐匿系数越大,即摄像机捕捉、录制图像或者视频流时在T时间内运行时生成的隐患指数的表现值越大,表明标签的位置被错误定位的隐患越大,摄像机捕捉、录制图像或者视频流时在T时间内运行时生成的光学畸变系数越小、帧率变异系数越小、图像曝光时间异常隐匿系数越小,即摄像机捕捉、录制图像或者视频流时在T时间内运行时生成的隐患指数/>的表现值越小,表明标签的位置被错误定位的隐患越小;
需要说明的是,上述T时间的选取为一个时间较为短暂的时间段,时间段内的时间在此不做具体的限定,可根据实际情况进行设定,其目的是监测摄像机捕捉、录制图像或者视频流时在T时间内的情况,从而通过此方式对摄像机捕捉、录制图像或者视频流时在不同时段(T时间内)内的运行状态进行监测;
分析集合建立模块,将摄像机捕捉、录制图像或者视频流时生成的若干个隐患指数建立分析集合,并将分析集合传递至综合分析模块;
分析集合建立模块将摄像机捕捉、录制图像或者视频流时生成的若干个隐患指数建立分析集合,并将分析集合标定为V,则,u表示分析集合内隐患指数的编号,u=1、2、3、4、……、s,s为正整数;
综合分析模块,对分析集合内的隐患指数进行综合分析,生成隐患风险信号,并将信号传递至警示模块,通过警示模块发出不同的预警提示;
综合分析模块对分析集合内的隐患指数进行综合分析,分析的结果如下:
通过分析集合内的隐患指数计算隐患指数标准差和隐患指数平均值,并将隐患指数标准差和隐患指数平均值分别标定为和/>;
将隐患指数标准差和隐患指数平均值/>分别与预先设定的标准差参考阈值/>和预先设定的隐患指数参考阈值/>进行比对分析,比对分析的结果如下:
若,则生成高隐患风险信号,并将信号传递至警示模块,通过警示模块发出高隐患预警提示,当摄像机捕捉、录制图像或者视频流时出现高隐患预警提示时,表明摄像机捕捉、录制图像或者视频流时的运行状态较差,此时标签的位置被错误定位的隐患较大,需要及时对摄像机进行维护;/>
若,则生成不稳定隐患风险信号,并将信号传递至警示模块,通过警示模块发出不稳定隐患预警提示,当摄像机捕捉、录制图像或者视频流时出现不稳定隐患预警提示时,表明摄像机捕捉、录制图像或者视频流时运行状态稳定性较差,此时标签的位置被错误定位的隐患同样较大,需要及时对摄像机进行维护;
若,则生成低隐患风险信号,并将信号传递至警示模块,不通过警示模块发出隐患预警提示,当摄像机捕捉、录制图像或者视频流时出现低隐患风险信号时,表明摄像机捕捉、录制图像或者视频流时运行状态较好,可能出现了偶然的运行状态异常的情况,此时标签的位置被错误定位的隐患较小,不需要对摄像机进行维护;
需要说明是,当隐患指数大于等于隐患指数参考阈值时,表明标签的位置被错误定位的隐患较大,当隐患指数小于隐患指数参考阈值时,表明标签的位置被错误定位的隐患较小;
本发明通过对基于图像标签识别导向的轨迹监测系统中摄像机捕捉、录制图像或者视频流时的过程进行监测,当标签的位置存在被错误定位的异常隐患时,及时发出预警提示来警示相关使用人员,有效地防止系统在每个时间步骤中使用错误的位置信息来更新目标的轨迹导致轨迹的逐渐漂移,保障轨迹与实际目标运动路径相符,便于系统对标签高效地跟踪;
本发明通过对摄像机捕捉、录制图像或者视频流时生成的隐患指数进行综合分析,当摄像机捕捉、录制图像或者视频流时运行状态较差或者稳定性较差时,发出不同的预警提示,提示摄像机需要及时进行维护,同时便于维护人员知晓摄像机运行状态的异常类型,便于维护人员提高维护效率,当摄像机捕捉、录制图像或者视频流时运行状态出现偶然的异常时,不发出预警提示,提高对摄像机捕捉、录制图像或者视频流时监测的准确性,进而保障摄像机高效地捕捉、录制图像或者视频流。
上述公式均是去量纲取其数值计算,公式是由采集大量数据进行软件模拟得到最近真实情况的一个公式,公式中的预设参数由本领域的技术人员根据实际情况进行设置。
上述实施例,可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时,上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质。半导体介质可以是固态硬盘。
应理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (8)
1.基于图像标签识别导向的轨迹监测系统,其特征在于,包括摄像信息采集模块、中央处理器、分析集合建立模块、综合分析模块以及警示模块;
摄像信息采集模块,采集摄像机捕捉、录制图像或者视频流时的多项参数信息,包括光学畸变信息和图像采集信息,采集后,将摄像机捕捉、录制图像或者视频流时的光学畸变信息和图像采集信息处理后传递至中央处理器;
中央处理器,将摄像机捕捉、录制图像或者视频流时经过处理后的光学畸变信息和图像采集信息进行综合分析,生成隐患指数,并将隐患指数传递至分析集合建立模块;
分析集合建立模块,将摄像机捕捉、录制图像或者视频流时生成的若干个隐患指数建立分析集合,并将分析集合传递至综合分析模块;
综合分析模块,对分析集合内的隐患指数进行综合分析,生成隐患风险信号,并将信号传递至警示模块,通过警示模块发出不同的预警提示。
2.根据权利要求1所述的基于图像标签识别导向的轨迹监测系统,其特征在于,摄像机捕捉、录制图像或者视频流时的光学畸变信息包括光学畸变系数,采集后,摄像信息采集模块将光学畸变系数标定为,摄像机捕捉、录制图像或者视频流时的图像采集信息包括帧率变异系数和图像曝光时间异常隐匿系数,采集后,摄像信息采集模块将帧率变异系数和图像曝光时间异常隐匿系数分别标定为/>和/>。
3.根据权利要求2所述的基于图像标签识别导向的轨迹监测系统,其特征在于,光学畸变系数获取的逻辑如下:
S1、对摄像机捕捉、录制图像或者视频流时的径向畸变和切向畸变设置径向畸变参考值和切向畸变参考值,将大于径向畸变参考值的径向畸变定义为异常径向畸变,将小于等于径向畸变参考值的径向畸变定义为正常径向畸变,将大于切向畸变参考值的切向畸变定义为异常切向畸变,将小于等于切向畸变参考值的切向畸变定义为正常切向畸变;
S2、获取摄像机捕捉、录制图像或者视频流时在T时间内不同时刻的实际径向畸变值和实际切向畸变值,并将获取的实际径向畸变值和实际切向畸变值分别标定为和,x表示摄像机捕捉、录制图像或者视频流时在T时间内不同时刻的实际径向畸变值的编号,x=1、2、3、4、……、N,N为正整数,y表示摄像机捕捉、录制图像或者视频流时在T时间内不同时刻的实际切向畸变值的编号,y=1、2、3、4、……、M,M为正整数;
S3、将摄像机捕捉、录制图像或者视频流时在T时间内获取的实际径向畸变值和实际切向畸变值分别与径向畸变参考值和切向畸变参考值进行比对,将判定为异常径向畸变的实际径向畸变值重新标定为,将判定为异常切向畸变的实际切向畸变值重新标定为,/>表示被判定为异常径向畸变的实际径向畸变值的编号,,/>为正整数,/>表示被判定为异常切向畸变的实际切向畸变值的编号,/>,/>为正整数;
S4、计算光学畸变系数,计算的表达式为:,式中,/>,/>表示摄像机捕捉、录制图像或者视频流时在T时间内获取的实际径向畸变值被判定为异常径向畸变的时段,/>,/>表示摄像机捕捉、录制图像或者视频流时在T时间内获取的实际切向畸变值被判定为异常切向畸变的时段。
4.根据权利要求3所述的基于图像标签识别导向的轨迹监测系统,其特征在于,帧率变异系数获取的逻辑如下:
S1、获取摄像机捕捉、录制图像或者视频流时在T时间内不同时段的实际帧率,并将实际帧率标定为,k表示摄像机捕捉、录制图像或者视频流时在T时间内不同时段的实际帧率的编号,k=1、2、3、4、……、p,p为正整数;
S2、通过摄像机捕捉、录制图像或者视频流时在T时间内获取的实际帧率计算实际帧率标准差和实际帧率平均值,并将实际帧率标准差和实际帧率平均值分别标定为R和H,则帧率标准差R的计算公式为:
,
其中,;
S3、计算帧率变异系数,计算的表达式为:。
5.根据权利要求4所述的基于图像标签识别导向的轨迹监测系统,其特征在于,图像曝光时间异常隐匿系数获取的逻辑如下:
S1、获取摄像机捕捉、录制图像或者视频流时的最佳曝光时间范围,并将最佳曝光时间范围标定为;
S2、获取摄像机捕捉、录制图像或者视频流时在T时间内生成的若干个实际曝光时间,并将实际曝光时间标定为,v表示摄像机捕捉、录制图像或者视频流时在T时间内生成的实际曝光时间的编号,v=1、2、3、4、……、q,q为正整数;
S3、将摄像机捕捉、录制图像或者视频流时在T时间内获取的不处于最佳曝光时间范围之间的实际曝光时间重新标定为/>,/>表示摄像机捕捉、录制图像或者视频流时在T时间内获取的不处于最佳曝光时间范围/>之间的实际曝光时间的编号,r=1、2、3、4、……、h,h为正整数;
S4、计算图像曝光时间异常隐匿系数,计算的表达式为:
,式中,/>。
6.根据权利要求5所述的基于图像标签识别导向的轨迹监测系统,其特征在于,中央处理器获取到光学畸变系数、帧率变异系数/>以及图像曝光时间异常隐匿系数/>后,将光学畸变系数/>、帧率变异系数/>以及图像曝光时间异常隐匿系数/>进行公式化分析,生成隐患指数/>,依据的公式为:
,
式中,分别为光学畸变系数/>、帧率变异系数/>以及图像曝光时间异常隐匿系数/>的预设比例系数,且、/>均大于0。
7.根据权利要求6所述的基于图像标签识别导向的轨迹监测系统,其特征在于,分析集合建立模块将摄像机捕捉、录制图像或者视频流时生成的若干个隐患指数建立分析集合,并将分析集合标定为V,则,u表示分析集合内隐患指数的编号,u=1、2、3、4、……、s,s为正整数。
8.根据权利要求7所述的基于图像标签识别导向的轨迹监测系统,其特征在于,综合分析模块对分析集合内的隐患指数进行综合分析,分析的结果如下:
通过分析集合内的隐患指数计算隐患指数标准差和隐患指数平均值,并将隐患指数标准差和隐患指数平均值分别标定为和/>;
将隐患指数标准差和隐患指数平均值/>分别与预先设定的标准差参考阈值/>和预先设定的隐患指数参考阈值/>进行比对分析,比对分析的结果如下:
若,则生成高隐患风险信号,并将信号传递至警示模块,通过警示模块发出高隐患预警提示;
若,则生成不稳定隐患风险信号,并将信号传递至警示模块,通过警示模块发出不稳定隐患预警提示;
若,则生成低隐患风险信号,并将信号传递至警示模块,不通过警示模块发出隐患预警提示。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311508355.7A CN117255179B (zh) | 2023-11-14 | 2023-11-14 | 基于图像标签识别导向的轨迹监测系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311508355.7A CN117255179B (zh) | 2023-11-14 | 2023-11-14 | 基于图像标签识别导向的轨迹监测系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117255179A true CN117255179A (zh) | 2023-12-19 |
CN117255179B CN117255179B (zh) | 2024-02-02 |
Family
ID=89137115
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311508355.7A Active CN117255179B (zh) | 2023-11-14 | 2023-11-14 | 基于图像标签识别导向的轨迹监测系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117255179B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104679649A (zh) * | 2013-11-29 | 2015-06-03 | 腾讯科技(深圳)有限公司 | 一种软件流畅度测试方法和测试装置 |
US20160379373A1 (en) * | 2015-06-26 | 2016-12-29 | Biogait Ltd. | Methods Circuits Devices Systems and Associated Computer Executable Code for Multi Factor Image Feature Registration and Tracking |
CN108885264A (zh) * | 2015-12-18 | 2018-11-23 | 杰拉德·迪尔克·施密茨 | 对象的实时位置感测 |
CN113194306A (zh) * | 2021-04-27 | 2021-07-30 | 广州虎牙科技有限公司 | 帧率波动评估方法、装置、移动终端、系统和存储介质 |
CN113674318A (zh) * | 2021-08-16 | 2021-11-19 | 支付宝(杭州)信息技术有限公司 | 一种目标跟踪方法、装置及设备 |
-
2023
- 2023-11-14 CN CN202311508355.7A patent/CN117255179B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104679649A (zh) * | 2013-11-29 | 2015-06-03 | 腾讯科技(深圳)有限公司 | 一种软件流畅度测试方法和测试装置 |
US20160379373A1 (en) * | 2015-06-26 | 2016-12-29 | Biogait Ltd. | Methods Circuits Devices Systems and Associated Computer Executable Code for Multi Factor Image Feature Registration and Tracking |
CN108885264A (zh) * | 2015-12-18 | 2018-11-23 | 杰拉德·迪尔克·施密茨 | 对象的实时位置感测 |
CN113194306A (zh) * | 2021-04-27 | 2021-07-30 | 广州虎牙科技有限公司 | 帧率波动评估方法、装置、移动终端、系统和存储介质 |
CN113674318A (zh) * | 2021-08-16 | 2021-11-19 | 支付宝(杭州)信息技术有限公司 | 一种目标跟踪方法、装置及设备 |
Also Published As
Publication number | Publication date |
---|---|
CN117255179B (zh) | 2024-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2549738B1 (en) | Method and camera for determining an image adjustment parameter | |
EP3073440B1 (en) | Method and device for correcting recovery and analyzing alarm of distorted image | |
CN109167997B (zh) | 一种视频质量诊断系统及方法 | |
CN106327474B (zh) | 一种自动在线盲元检测方法 | |
CN105745687A (zh) | 情景感知移动目标检测 | |
WO2014010174A1 (ja) | 画角変動検知装置、画角変動検知方法および画角変動検知プログラム | |
US20140037212A1 (en) | Image processing method and device | |
CN111163285A (zh) | 高空抛坠物监测方法及其系统、计算机可读存储介质 | |
CN109544870B (zh) | 用于智能监控系统的报警判断方法与智能监控系统 | |
KR102008503B1 (ko) | 지능형 협업 서버, 시스템 및 이의 협업 기반 분석 방법 | |
WO2017057780A1 (ja) | 表示盤や操作盤のデータ収集装置、方法およびプログラム | |
CN104363414A (zh) | 一种智能视频的分析方法 | |
CN108364306B (zh) | 一种高速周期运动的视觉实时检测方法 | |
CN117255179B (zh) | 基于图像标签识别导向的轨迹监测系统 | |
CN117591385A (zh) | 一种用于vr投影的控制系统 | |
CN103400395A (zh) | 一种基于haar特征检测的光流跟踪方法 | |
Cramariuc et al. | Learning camera miscalibration detection | |
El Shair et al. | High-temporal-resolution event-based vehicle detection and tracking | |
US10032079B2 (en) | Evaluation of models generated from objects in video | |
CN112291478B (zh) | 一种高空抛坠物的监测方法、装置、设备及存储介质 | |
JP2011055133A (ja) | 画像処理システム、画像処理方法およびプログラム | |
CN114004891A (zh) | 一种基于目标追踪的配网线路巡检方法及相关装置 | |
CN111968158A (zh) | 一种基于核相关滤波和结构相似性的视频抖动检测方法 | |
CN110561498A (zh) | 机器人重复定位精度的确定方法及装置、机器人 | |
JP2023029227A (ja) | スマート・フィールド・パトロールのための自動メータ読取り用システム、方法及びデバイス |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |