CN106803937B - 一种具有文本日志的双摄像头视频监控方法、系统和监控装置 - Google Patents
一种具有文本日志的双摄像头视频监控方法、系统和监控装置 Download PDFInfo
- Publication number
- CN106803937B CN106803937B CN201710109945.0A CN201710109945A CN106803937B CN 106803937 B CN106803937 B CN 106803937B CN 201710109945 A CN201710109945 A CN 201710109945A CN 106803937 B CN106803937 B CN 106803937B
- Authority
- CN
- China
- Prior art keywords
- video
- camera
- distance
- text log
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 86
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000012806 monitoring device Methods 0.000 title description 3
- 238000013135 deep learning Methods 0.000 claims abstract description 24
- 238000011161 development Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 13
- 230000003287 optical effect Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000000926 separation method Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 description 10
- 230000006399 behavior Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012950 reanalysis Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/93—Regeneration of the television signal or of selected parts thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Alarm Systems (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种具有文本日志的双摄像头视频监控方法及系统，该方法包括：构建深度学习框架；利用所述深度学习框架识别第一物体的类别信息；根据所述类别信息在视频监控区内的时间以及第一物体的视点距离形成文本日志；所述第一物体的视点距离表示所述第一物体到左摄像头和右摄像头中心点的距离；将所述文本日志保存在所述控制器内。采用本发明的方法及系统能够根据在所生成的文本日志内搜索关键词跳转到相应的视频图像位置。
Description
技术领域
本发明涉及监控领域，特别是涉及一种具有文本日志的双摄像头视频监控方法及系统。
背景技术
传统视频监控系统利用单摄像头仅记录视频信息，不能立即识别监控画面中出现的物体和物体所在位置，只能靠人工实时监测或者事后调阅监控录像的手段进行监控现场实时预警或者事后分析，并且传统的视频监控系统每天都会产生大量的视频信息，需要大量的人员坐在视频前认真仔细地盯着视频，需要投入大量人力；随着监控摄像头数量的急剧增加，这种人工实时监测与事后调阅监控录像方式所需的人工工作同步增加；同时面对成千上万的摄像头所采集的视频，现行的监控技术智能化程度低，缺乏对监控区域内危险信息的智能预警。另外，由于监控录像占用大量的存储空间，为减少录像存储所带来的开销，一般仅保存指定期限内的监控录像，其余录像将被最新录像所覆盖，使得曾经记录的大量监控信息丢失。
发明内容
本发明的目的是提供一种具有文本日志的双摄像头视频监控方法及系统，能够在监测区域内快速识别物体，并生成有关物体信息存储空间小的文本日志，能够根据输入的关键字调出相应的视频图像，并且有效解决了不能实时报警以及大量数据丢失的问题。
为实现上述目的，本发明提供了如下方案：
一种具有文本日志的双摄像头视频监控方法，具体包括：
构建深度学习框架；
利用所述深度学习框架识别第一物体的类别信息；
根据所述类别信息在视频监控区内的时间以及第一物体的视点距离形成文本日志；所述第一物体的视点距离表示所述第一物体到左摄像头和右摄像头中心点的距离；
将所述文本日志保存在所述控制器内。
可选的，所述构建深度学习框架之前，还包括：
获取摄像头采集的视频图像；所述摄像头分为左摄像头和右摄像头，获取其中一个摄像头所采集的视频图像即可；
建立动态背景图库；
利用所述视频图像与所述动态背景图库做差分处理，得到差分结果；
判断所述差分结果是否超过预设阈值，得到第一判断结果；
若所述第一判断结果为所述差分结果超过所述预设阈值，则将超出所述预设阈值的部分作为第一前景图像，其余部分作为第一背景图像更新到所述动态背景图库中。
可选的，所述利用所述视频图像与所述动态背景图库做差分处理，得到差分结果之前，还包括：
获取左摄像头采集的第一视频图像；
获取右摄像头采集的第二视频图像；所述左摄像头和所述右摄像头的光轴平行；
将所述第一视频图像分离成第一前景图像和第一背景图像；
将所述第二视频图像分离成第二前景图像和第二背景图像；
利用所述第一前景图像和所述第二前景图像共同视点之间的视差建立三维点云模型；
根据所述三维点云模型计算出所述共同视点到所述左摄像头和所述右摄像头中心点之间的第一物体的视点距离；
判断所述第一物体的视点距离是否在预设范围内，得到第二判断结果；
若所述第二判断结果表示为所述视点距离在预设范围内，则向报警器发送一个报警信息，使得所述报警器报警。
可选的，所述根据所述三维点云模型计算出所述共同视点到所述左摄像头和所述右摄像头中心点之间的第一物体的视点距离之后，还包括：
获取第二物体的视点距离；
根据所述第一物体的视点距离和所述第二物体的视点距离利用三角测量法计算出所述第一物体和所述第二物体之间的物体距离；
判断所述物体距离是否在预设距离内，得到第三判断结果；
若所述第三判断结果表示为所述物体距离在所述预设距离内，则向控制器报警。
一种具有文本日志的双摄像头视频监控系统，包括：
深度学习框架构建模块，用于构建深度学习框架；
识别模块，用于利用所述深度学习框架识别第一物体的类别信息。
文本日志生成模块，用于根据所述类别信息在视频监控区内的时间以及第一物体的视点距离形成文本日志；所述第一物体的视点距离表示所述第一物体到左摄像头和右摄像头中心点的距离；
文本日志保存模块，用于将所述文本日志保存在所述控制器内。
可选的，还包括：所述视频图像获取模块，用于在所述构建深度学习框架之前，获取摄像头采集的视频图像；所述摄像头分为左摄像头和右摄像头，获取其中一个摄像头所采集的视频图像即可；
动态背景图库建立模块，用于建立动态背景图库；
差分处理模块，用于利用所述视频图像与所述动态背景图库做差分处理，得到差分结果；
第一判断模块，用于判断所述差分结果是否超过预设阈值，得到第一判断结果；
动态背景图库更新模块，用于若所述第一判断结果为所述差分结果超过所述预设阈值，则将超出所述预设阈值的部分作为第一前景图像，其余部分作为第一背景图像更新到所述动态背景图库中。
可选的，还包括：第一视频获取模块，用于利用所述视频图像与所述动态背景图库做差分处理，得到差分结果之前获取左摄像头采集的第一视频图像；
第二视频获取模块，用于获取右摄像头采集的第二视频图像；所述左摄像头和所述右摄像头的光轴平行；
第一分离模块，用于将所述第一视频图像分离成第一前景图像和第一背景图像；
第二分离模块，用于将所述第二视频图像分离成第二前景图像和第二背景图像；
三维点云模型建立模块，用于利用所述第一前景图像和所述第二前景图像共同视点之间的视差建立三维点云模型；
第一物体的视点距离计算模块，用于根据所述三维点云模型计算出所述共同视点到所述左摄像头和所述右摄像头中心点之间的第一物体的视点距离；
第二判断模块，用于判断所述第一物体的视点距离是否在预设范围内，得到第二判断结果；
第一报警模块，用于若所述第二判断结果表示为所述视点距离在预设范围内，则向报警器发送一个报警信息，使得所述报警器报警。
可选的，还包括：第二物体的视点距离获取模块，用于所述第一物体的视点距离计算模块根据所述三维点云模型计算出所述共同视点到所述左摄像头和所述右摄像头中心点之间的第一物体的视点距离之后，获取第二物体的视点距离；
物体距离模块，用于根据所述第一物体的视点距离和所述第二物体的视点距离利用三角测量法计算出所述第一物体和所述第二物体之间的物体距离；
第三判断模块，用于判断所述物体距离是否在预设距离内，得到第二判断结果；
第三报警模块，用于若所述第二判断结果表示为所述物体距离在所述预设距离内，则向控制器报警。
一种具有文本日志的双摄像头视频监控装置，其特征在于，包括：左摄像头、右摄像头、开发板、单片机、后台服务器、报警器；
所述左摄像头和所述右摄像头的光轴平行于同一水平面上；
所述开发板与所述左摄像头有线连接；
所述开发板与所述右摄像头有线连接；所述开发板用于对所述左摄像头和所述右摄像头采集的图像进行预处理；
所述开发板与所述单片机有线连接；
所述开发板与所述后台服务器通过无线网络连接；
所述单片机与所述报警器电连接。
根据本发明提供的具体实施例，本发明公开了以下技术效果：能够根据生成的文本日志进行视频图像的跳转与监控，不需要大量人员坐在视频前分析视频，也能够对监控区域进行实时监测，大大减少了人力资源的浪费，同时提高了检索效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图计算出其他的附图。
图1为本发明实施例具有文本日志的双摄像头视频监控方法流程图；
图2为本发明实施例具有文本日志的双摄像头视频监控方法装置的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所计算出的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种具有文本日志的双摄像头视频监控方法及系统，无需大量人员在屏幕前进行监测就能够实时报警，并生成日志文本，占用空间小，不会出现存储视频占存储空间过大，导致覆盖原来视频的问题，方便实时调用查看。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明实施例具有文本日志的双摄像头视频监控方法流程图，如图 1所示，一种具有文本日志的双摄像头视频监控方法，包括：
步骤101：构建深度学习框架；
步骤102：利用所述深度学习框架识别第一物体的类别信息；
步骤103：根据所述类别信息在视频监控区内的时间以及第一物体的视点距离形成文本日志；所述第一物体的视点距离表示所述第一物体到左摄像头和右摄像头中心点的距离；其中，所生成的文本日志包含有摄像头编号、精确到秒的录像时间、物体名称、与摄像头的距离等文本日志信息，作为监控录像的标注信息；
步骤104：将所述文本日志保存在所述控制器内。
本发明利用文本格式的日志，在对监控录像进行检索时跳过无关部分，重点查看相关部分，提高检索效率，能够辅助实现特定物体跟踪；例如：输入小汽车，经过对文本日志的搜索即可在短时间内定位到出现有小汽车的相关视频图像。并且利用文本格式日志占用存储空间少的特点，通过对文本格式日志的长期保存，实现对监控区域所发生事件的回朔。
在实际应用中，所述将所述第一视频图像分离成第一前景图像和第一背景图像，具体包括：
建立动态背景图库；
利用所述第一视频图像与所述动态背景图库做差分处理，得到差分结果；
判断所述差分结果是否超过所述预设阈值，若是，则将超出所述预设阈值的部分作为第一前景图像，其余部分作为第一背景图像更新到所述动态背景图库中。
本发明利用左右摄像头中任意一个所采集视频的帧间图像差异，分离出图像中前景与背景，提高画面中物体的识别率。
在实际应用中，所述利用所述视频图像与所述动态背景图库做差分处理，得到差分结果之前，还包括：
获取左摄像头采集的第一视频图像；
获取右摄像头采集的第二视频图像；所述左摄像头和所述右摄像头的光轴平行；
将所述第一视频图像分离成第一前景图像和第一背景图像；
将所述第二视频图像分离成第二前景图像和第二背景图像；
利用所述第一前景图像和所述第二前景图像共同视点之间的视差建立三维点云模型；
根据所述三维点云模型计算出所述共同视点到所述左摄像头和所述右摄像头中心点之间的第一物体的视点距离；
判断所述第一物体的视点距离是否在预设范围内，得到第二判断结果；
若所述第二判断结果表示为所述视点距离在预设范围内，则向报警器发送一个报警信息，使得所述报警器报警。
采用本发明的具有文本日志的双摄像头视频监控方法能够对监控区域进行实时监控，从而节省了大量的人力资源。
在实际应用中，所述根据所述三维点云模型计算出所述共同视点到所述左摄像头和所述右摄像头中心点之间的第一物体的视点距离之后，还包括：
获取第二物体的视点距离；
根据所述第一物体的视点距离和所述第二物体的视点距离利用三角测量法计算出所述第一物体和所述第二物体之间的物体距离；
判断所述物体距离是否在预设距离内，若是，则向控制器报警。
当监控画面中的物体(例如：车与车、车与人等)之间发生碰撞时，进行实时报警。
本发明将视觉测距、目标跟踪、深度学习、物体识别、文本日志标注和快速检索等技术在视频监控领域综合应用，通过目标动态跟踪，确定目标所在图像的像素坐标，结合视觉测距生成的三维点云，锁定目标物体，并确定其三维坐标，并和深度学习相结合识别出画面中的物体类型和特征，并生成文本日志。当目标物体进入警戒区域，超出预先设定的阈值时，系统便可发出警报，达到实时预警的目的；捕捉到的目标物体的位置信息为后台工作人员的实际操控提供依据；同时监控系统会自动地根据视频中出现的物体进行识别，并将识别后的信息记录到文本日志中，为以后的信息检索提供便利，并能根据物体间的距离识别出画面中物体间的碰撞等情况。
图2为本发明实施例具有文本日志的双摄像头视频监控方法装置的结构图，如图2所示，一种具有文本日志的双摄像头视频监控方法装置，包括：左摄像头201、右摄像头202、开发板203、单片机204、后台服务器205、报警器206；所述左摄像头201和所述右摄像头202的光轴平行于同一水平面上；所述开发板203与所述左摄像头201有线连接；所述开发板203与所述右摄像头202有线连接；所述开发板203用于对所述左摄像头201和所述右摄像头202采集的图像进行预处理；所述开发板203与所述单片机204有线连接；所述开发板203与所述后台服务器205通过无线网络连接；所述单片机204与所述报警器206电连接。本发明通过数据线接口的左右摄像头采集双目视频信息，经视频处理开发板203对视频图像进行处理，计算目标物体位置和几何大小信息，并将初次处理后的图片信息传输给后台服务器205，后台服务器205 根据接收到的图片信息进行再次分析，提取图片中的信息，进行目标物体识别，并将识别后的物体信息保存为文本日志文件。本系统能为自动预警以及后台工作人员采取相应措施提供依据。
通过左右摄像头采集双目图像信息，动态设置相似度阈值以便准确提取目标物体，获取目标物体像素坐标，结合已生成的三维点云，计算出目标物体位置和几何大小信息，为人机交互和智能预警提供依据；并且能快捷智能的识别视频中的物体，生成视频文本日志文件。具体包括如下几个过程：
目标物体提取。动态建立背景图库并实时更新，对不同的动态背景赋予不同的阈值，建立背景模型；将当前图像和背景图库中图像作差分，当差分结果超过设定的阈值时，即可确定当前图像和背景图像的差分结果超过阈值部分为前景，其余部分则为背景。图像的背景部分需要更新到背景图库中。
双目测距。双目测距主要包含：消除图像畸变与摄像头矫正、图像匹配、重投影等三个步骤。其中，消除图像畸变与摄像头矫正就是获取并校准摄像头的内参数，为重投影做好准备；图像匹配就是寻找左右摄像头在同一时刻不同视场所获取的图像的相同特征；重投影就是将左右图像差分结果通过三角测量法转化成距离，输出视角图像的三维点云。
物体识别。构建深度学习框架，利用ImageNet开源图像库，训练物体识别模型。利用训练好的模型识别前景图像中的物体，给出图像中物体的类别信息。所述类别信息表示人、小轿车、公交车、摩托车、自行车、狗、花、树等 1000种生活中常见的物体。
生成文本日志文件。根据物体识别出的物体类别，物体出现在视频监控区内的时间，摄像头的编号，根据步骤2双目测距得到的距离信息，形成文本日志，并保存在文件中。
检索文本日志文件、回看监控录像。根据生成的文本日志文件，可检索指定的场景，回看对应的监控录像信息。
将上述内容通过具体的应用场景进一步说明本发明的效果：
场景1：视频监控安防领域实时预警。传统的监控方式需要工作人员长时间查看监控视频以达到实时监控的目的，需要大量的人力资源，智能化水平较低。本发明动态建立背景模型并实时更新，通过图像差分运算提取前景图像，利用双目测距与物体识别技术，动态跟踪并定位目标物体，实现实时预警。本发明将传统视频监控中的大量人力资源从实际工作中解脱出来，提高监控系统的智能化水平。
场景2：视觉测距。常见的测距方法有激光测距、红外测距、超声波测距、雷达测距等，本发明所采用的视觉测距与这几种测距方法相比，测量时不需向被测物体发出任何信号，原理简单、成本低，可在复杂环境下测得目标物体位置。同时，若通过鼠标选定空间中的特征点，利用勾股定理、正余弦定理等便可计算出特征点间距离及相对位置关系，进一步计算出目标物体的几何大小信息。
场景3：物体边缘检测。常见的图像边缘检测算法，往往通过分析图像灰度变化的一阶或二阶导数获取物体的轮廓信息，该类型边缘检测算法，不能对复杂场景中目标物体轮廓信息进行有效提取。本发明依据视觉测量生成三维点云的深度信息，通过绘图函数，可绘出不同深度物体的轮廓，实现在多个前景物体中准确提取指定目标物体轮廓。该方法可用于机器人的自主智能操作及视觉导航等领域。
场景4：物体识别。传统的视频监控系统只是简单地采集视频信息，并未对视频信息的内容进行分析。为了能更好的分析视频中的信息，本发明采用了深度学习的方法，将采集到的视频按照每秒1-5帧的频率提取视频中的帧，然后将采集到的图片输入深度学习模型进行识别，得出画面中物体类别，提高监控系统智能性。
场景5：行为与状态识别。在场景4的基础上，能够实现物体在该场景的行为与状态检测，例如，物体与物体间发生碰撞、短时间内大量的物体聚集等行为与状态。
场景6：生成文本日志文件。目前大多数视频监控系统只是起到对监控场景的视频采集与记录作用。如果需要查找视频中的某些线索，不得不对大量的视频录像进行人工识别，费时费力。另外，由于监控录像占用大量的存储空间，为减少录像存储所带来的开销，一般仅保存指定期限内的监控录像，其余录像被最新录像所覆盖，使得曾经所记录的大量监控信息丢失，而文本日志文件占用存储空间少，可长期保存。本发明所提出的给视频录像生成文本日志的方法既有助于根据需求进行查找、搜索和定位，又能通过文本日志文件对监控区域曾经发生的事件进行长期保存。
综上，本发明模拟人眼处理景物的方式，部分代替人脑对自然界的事物进行理解和认识，基于双目测距原理生成视角区域的三维点云；基于动态更新的背景图库模型，通过图像差分运算，获取目标物体图像像素坐标；结合视角区域的三维点云信息和目标物体图像像素坐标，实现目标物体的定位；通过深度学习识别视频图像中的物体等其他信息，并将识别后的物体和其他信息以文本日志方式进行记录，方便快速检索视频内容，提升监控系统的智能化。
本发明提供一种具有文本日志的双摄像头视频监控方法及系统，还公开了一种具有文本日志的双摄像头视频监控方法装置，能够弥补传统视频监控不能自动识别画面中物体、不能提供目标物体精确位置、不能对出现在视频中的危险情况进行自动判断和报警、不能快速查询与定位特定场景、不能长期保存监控信息等缺陷，改善其依赖大量人力资源的现状，提高视频监控系统的智能化水平，因此，本发明与现有的视频监控相比，具有以下优点：(1)通过建立的动态背景库模型，经图像处理，可动态锁定进入监控区域的目标物体，为安防领域的实时预警提供支持。(2)采用双目测距原理，结合目标物体的前景提取，可准确获取目标物体的位置信息，弥补传统视频监控不能提供目标物体精确位置的不足，提高视频监控的智能性。(3)利用深度学习进行物体识别，以文本日志方式自动记录视频中出现的物体信息，并能够识别画面中发生的情况，例如物体间发生碰撞等。(4)以日志文件的形式提供简单高效的存储方式，既加快视频识别和检索的速度，又能通过日志文件的长期保存保留监控场景曾经发生过的事件线索，提高系统的自动化和智能化水平。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (9)
1.一种具有文本日志的双摄像头视频监控方法，其特征在于，具体包括：
构建深度学习框架；
利用所述深度学习框架识别第一物体的类别信息；
根据所述类别信息在视频监控区内的时间以及第一物体的视点距离形成文本日志；所述第一物体的视点距离表示所述第一物体到左摄像头和右摄像头中心点的距离；
将所述文本日志保存在控制器内；
检索文本日志文件、回看监控录像；根据生成的文本日志文件，可检索指定的场景，回看对应的监控录像信息；根据需求进行查找、搜索和定位，又能通过文本日志文件对监控区域曾经发生的事件进行长期保存；所生成的文本日志包含有摄像头编号、精确到秒的录像时间、物体名称、与摄像头的距离的文本日志信息，作为监控录像的标注信息。
2.根据权利要求1所述的视频监控方法，其特征在于，所述构建深度学习框架之前，还包括：
获取摄像头采集的视频图像；所述摄像头分为左摄像头和右摄像头，获取其中一个摄像头所采集的视频图像即可；
建立动态背景图库；
利用所述视频图像与所述动态背景图库做差分处理，得到差分结果；
判断所述差分结果是否超过预设阈值，得到第一判断结果；
若所述第一判断结果为所述差分结果超过所述预设阈值，则将超出所述预设阈值的部分作为第一前景图像，其余部分作为第一背景图像更新到所述动态背景图库中。
3.根据权利要求2所述的视频监控方法，其特征在于，所述利用所述视频图像与所述动态背景图库做差分处理，得到差分结果之前，还包括：
获取左摄像头采集的第一视频图像；
获取右摄像头采集的第二视频图像；所述左摄像头和所述右摄像头的光轴平行；
将所述第一视频图像分离成第一前景图像和第一背景图像；
将所述第二视频图像分离成第二前景图像和第二背景图像；
利用所述第一前景图像和所述第二前景图像共同视点之间的视差建立三维点云模型；
根据所述三维点云模型计算出所述共同视点到所述左摄像头和所述右摄像头中心点之间的第一物体的视点距离；
判断所述第一物体的视点距离是否在预设范围内，得到第二判断结果；
若所述第二判断结果表示为所述视点距离在预设范围内，则向报警器发送一个报警信息，使得所述报警器报警。
4.根据权利要求3所述的视频监控方法，其特征在于，所述根据所述三维点云模型计算出所述共同视点到所述左摄像头和所述右摄像头中心点之间的第一物体的视点距离之后，还包括：
获取第二物体的视点距离；
根据所述第一物体的视点距离和所述第二物体的视点距离利用三角测量法计算出所述第一物体和所述第二物体之间的物体距离；
判断所述物体距离是否在预设距离内，得到第三判断结果；
若所述第三判断结果表示为所述物体距离在所述预设距离内，则向控制器报警。
5.一种具有文本日志的双摄像头视频监控系统，其特征在于，包括：
深度学习框架构建模块，用于构建深度学习框架；
识别模块，用于利用所述深度学习框架识别第一物体的类别信息。文本日志生成模块，用于根据所述类别信息在视频监控区内的时间以及第一物体的视点距离形成文本日志；所述第一物体的视点距离表示所述第一物体到左摄像头和右摄像头中心点的距离；
文本日志保存模块，用于将所述文本日志保存在控制器内；
检索文本日志文件、回看监控录像；根据生成的文本日志文件，可检索指定的场景，回看对应的监控录像信息；根据需求进行查找、搜索和定位，又能通过文本日志文件对监控区域曾经发生的事件进行长期保存；所生成的文本日志包含有摄像头编号、精确到秒的录像时间、物体名称、与摄像头的距离的文本日志信息，作为监控录像的标注信息。
6.根据权利要求5所述的视频监控系统，其特征在于，还包括：所述视频图像获取模块，用于在所述构建深度学习框架之前，获取摄像头采集的视频图像；所述摄像头分为左摄像头和右摄像头，获取其中一个摄像头所采集的视频图像即可；
动态背景图库建立模块，用于建立动态背景图库；
差分处理模块，用于利用所述视频图像与所述动态背景图库做差分处理，得到差分结果；
第一判断模块，用于判断所述差分结果是否超过预设阈值，得到第一判断结果；
动态背景图库更新模块，用于若所述第一判断结果为所述差分结果超过所述预设阈值，则将超出所述预设阈值的部分作为第一前景图像，其余部分作为第一背景图像更新到所述动态背景图库中。
7.根据权利要求6所述的视频监控系统，其特征在于，还包括：第一视频获取模块，用于利用所述视频图像与所述动态背景图库做差分处理，得到差分结果之前获取左摄像头采集的第一视频图像；
第二视频获取模块，用于获取右摄像头采集的第二视频图像；所述左摄像头和所述右摄像头的光轴平行；
第一分离模块，用于将所述第一视频图像分离成第一前景图像和第一背景图像；
第二分离模块，用于将所述第二视频图像分离成第二前景图像和第二背景图像；
三维点云模型建立模块，用于利用所述第一前景图像和所述第二前景图像共同视点之间的视差建立三维点云模型；
第一物体的视点距离计算模块，用于根据所述三维点云模型计算出所述共同视点到所述左摄像头和所述右摄像头中心点之间的第一物体的视点距离；
第二判断模块，用于判断所述第一物体的视点距离是否在预设范围内，得到第二判断结果；
第一报警模块，用于若所述第二判断结果表示为所述视点距离在预设范围内，则向报警器发送一个报警信息，使得所述报警器报警。
8.根据权利要求7所述的视频监控系统，其特征在于，还包括：第二物体的视点距离获取模块，用于所述第一物体的视点距离计算模块根据所述三维点云模型计算出所述共同视点到所述左摄像头和所述右摄像头中心点之间的第一物体的视点距离之后，获取第二物体的视点距离；
物体距离模块，用于根据所述第一物体的视点距离和所述第二物体的视点距离利用三角测量法计算出所述第一物体和所述第二物体之间的物体距离；
第三判断模块，用于判断所述物体距离是否在预设距离内，得到第二判断结果；
第三报警模块，用于若所述第二判断结果表示为所述物体距离在所述预设距离内，则向控制器报警。
9.一种具有文本日志的双摄像头视频监控装置，其特征在于，包括：左摄像头、右摄像头、开发板、单片机、后台服务器、报警器；
所述左摄像头和所述右摄像头的光轴平行于同一水平面上；
所述开发板与所述左摄像头有线连接；
所述开发板与所述右摄像头有线连接；所述开发板用于对所述左摄像头和所述右摄像头采集的图像进行预处理；
所述开发板与所述单片机有线连接；
所述开发板与所述后台服务器通过无线网络连接；后台服务器根据接收到的图片信息进行再次分析，提取图片中的信息，进行目标物体识别，并将识别后的物体信息保存为文本日志文件；检索文本日志文件、回看监控录像；根据生成的文本日志文件，可检索指定的场景，回看对应的监控录像信息；根据需求进行查找、搜索和定位，又能通过文本日志文件对监控区域曾经发生的事件进行长期保存；所生成的文本日志包含有摄像头编号、精确到秒的录像时间、物体名称、与摄像头的距离的文本日志信息，作为监控录像的标注信息。
所述单片机与所述报警器电连接。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710109945.0A CN106803937B (zh) | 2017-02-28 | 2017-02-28 | 一种具有文本日志的双摄像头视频监控方法、系统和监控装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710109945.0A CN106803937B (zh) | 2017-02-28 | 2017-02-28 | 一种具有文本日志的双摄像头视频监控方法、系统和监控装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106803937A CN106803937A (zh) | 2017-06-06 |
| CN106803937B true CN106803937B (zh) | 2020-03-17 |
Family
ID=58987983
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710109945.0A Expired - Fee Related CN106803937B (zh) | 2017-02-28 | 2017-02-28 | 一种具有文本日志的双摄像头视频监控方法、系统和监控装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106803937B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108052941B (zh) * | 2017-12-19 | 2021-06-01 | 北京奇艺世纪科技有限公司 | 一种新闻字幕跟踪方法及装置 |
| CN112702388B (zh) * | 2020-12-03 | 2023-08-22 | 广州启盟信息科技有限公司 | 位置感应数据快速接收处理方法、装置及系统 |
| CN114845097A (zh) * | 2022-05-06 | 2022-08-02 | 广东申立信息工程股份有限公司 | 一种ipc安全监测系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101383910A (zh) * | 2007-09-05 | 2009-03-11 | 索尼株式会社 | 图像处理装置及方法 |
| CN102069770A (zh) * | 2010-12-16 | 2011-05-25 | 福州名品电子科技有限公司 | 基于双目立体视觉的汽车主动安全控制系统及其控制方法 |
| CN104899261A (zh) * | 2015-05-20 | 2015-09-09 | 杜晓通 | 一种构建结构化视频图像信息的设备和方法 |
| CN105374215A (zh) * | 2015-11-29 | 2016-03-02 | 吉林大学 | 一种高速公路路侧预警装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103617234B (zh) * | 2013-11-26 | 2017-10-24 | 公安部第三研究所 | 主动式视频浓缩装置及方法 |
-
2017
- 2017-02-28 CN CN201710109945.0A patent/CN106803937B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101383910A (zh) * | 2007-09-05 | 2009-03-11 | 索尼株式会社 | 图像处理装置及方法 |
| CN102069770A (zh) * | 2010-12-16 | 2011-05-25 | 福州名品电子科技有限公司 | 基于双目立体视觉的汽车主动安全控制系统及其控制方法 |
| CN104899261A (zh) * | 2015-05-20 | 2015-09-09 | 杜晓通 | 一种构建结构化视频图像信息的设备和方法 |
| CN105374215A (zh) * | 2015-11-29 | 2016-03-02 | 吉林大学 | 一种高速公路路侧预警装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106803937A (zh) | 2017-06-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106341661B (zh) | 巡逻机器人 | |
| CN112235537B (zh) | 一种变电站现场作业安全预警方法 | |
| WO2021139049A1 (zh) | 检测方法、检测装置、监控设备和计算机可读存储介质 | |
| CN111163285A (zh) | 高空抛坠物监测方法及其系统、计算机可读存储介质 | |
| CN106803937B (zh) | 一种具有文本日志的双摄像头视频监控方法、系统和监控装置 | |
| CN105760846A (zh) | 基于深度数据的目标检测与定位方法及系统 | |
| CN110458126B (zh) | 一种受电弓状态监测方法及装置 | |
| CN111931567B (zh) | 人体识别的方法及装置、电子设备、存储介质 | |
| CN112329691A (zh) | 一种监控视频的分析方法及装置、电子设备、存储介质 | |
| CN113284144B (zh) | 一种基于无人机的隧道检测方法及装置 | |
| CN114972490B (zh) | 一种数据自动标注方法、装置、设备及存储介质 | |
| CN112232211A (zh) | 一种基于深度学习的智能视频监控系统 | |
| CN112383756B (zh) | 一种视频监控报警处理方法和装置 | |
| CN111881322B (zh) | 一种目标搜索方法、装置、电子设备及存储介质 | |
| CN103810696A (zh) | 一种目标对象图像检测方法及装置 | |
| CN114708555A (zh) | 基于数据处理的森林防火监控方法及电子设备 | |
| CN111723656B (zh) | 一种基于YOLO v3与自优化的烟雾检测方法及装置 | |
| CN112633096A (zh) | 客流的监测方法、装置、电子设备及存储介质 | |
| CN116259002A (zh) | 一种基于视频的人体危险行为分析方法 | |
| CN110580708B (zh) | 一种快速移动检测方法、装置及电子设备 | |
| CN112417978A (zh) | 基于视觉的列车与屏蔽门之间异物检测方法及装置 | |
| CN112422895A (zh) | 基于无人机的图像分析跟踪、定位系统及方法 | |
| CN109460077B (zh) | 一种自动跟踪方法、自动跟踪设备及自动跟踪系统 | |
| KR20200123324A (ko) | 연결 요소 분석 기법과 yolo 알고리즘을 이용한 돼지 겹침 객체 분리 방법 | |
| CN111753587A (zh) | 一种倒地检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200317 |