CN108259840A - 一种适用于标注平台的多路视频采集方法及装置 - Google Patents

一种适用于标注平台的多路视频采集方法及装置 Download PDF

Info

Publication number
CN108259840A
CN108259840A CN201810242191.0A CN201810242191A CN108259840A CN 108259840 A CN108259840 A CN 108259840A CN 201810242191 A CN201810242191 A CN 201810242191A CN 108259840 A CN108259840 A CN 108259840A
Authority
CN
China
Prior art keywords
video
frame
image
video image
channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810242191.0A
Other languages
English (en)
Inventor
郑雅羽
胡伟
王济浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201810242191.0A priority Critical patent/CN108259840A/zh
Publication of CN108259840A publication Critical patent/CN108259840A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种适用于标注平台的多路视频采集方法及装置,通过在采集平台周围设置至少1组包括2个摄像头的视频采集设备,2个摄像头同时获取视频,使得视频图像具备多样性强和细节充足的特征,提高采集效率,增加图像的利用率;通过获取多样化图像的同时剔除相邻帧重复的冗余视频图像,并在同一时间节点对视频图像进行裁剪,再进行上传,大幅提高标注训练的效率。本发明的方法可以在较为普通廉价的视频采集设备上快速的获取多样化图像数据集用于标注训练平台,整个多路视频采集系统的实时性大大提升。本发明同等时间可获取图像的更多细节,提高视频图像采集效率,提高训练标注的工作效率,提高实时性,降低数据量。

Description

一种适用于标注平台的多路视频采集方法及装置
技术领域
本发明涉及图像分析,例如从位像到非位像的技术领域,特别涉及一种将采集的视频大幅压缩、减少无用数据量的适用于标注平台的多路视频采集方法及装置。
背景技术
近年来,随着图像数量的剧增以及智能识别的发展,人们迫切地需要高效标注和识别图像中的内容。图像标注是指在图像预览或回放过程中,直接在图像上进行突出标记,是更具有针对性的图像处理方式,在诸多领域应用广泛,例如,图像标注可用于定位和重点关注目标对象,锁定重要的图像线索信息。
随着深度学习的逐年发展,提供了一个基于深度学习训练标注的契机,标注的目的是构建训练数据集,形成训练模型,从而能够通过训练模型识别图像中的物体类别,而进行标注训练图像的首要任务就是数据集的获取,怎样采集到更快、更高效、更多样化的视频图像数据集用于深度学习进行标注、训练,是我们当下迫切需要解决的问题。
现有技术中,一般采用单镜头进行单路采集视频图像的方式,采集到的图像效率低、缺乏多样性。随着视频图像采集技术方法的发展,目前出现了一大批基于多路视频采集的系统,如公开号为CN101014136的专利提出了一种基于多视点视频采集系统,但是该采集系统只能存储全部的视频图像,并不能先剔除冗余的图像再存储,数据量较大,效率较低。
事实上,采用两个镜头组成的双摄方案通过多个角度互补成圆形进行采集视频图像的方式,使得视频图像具有多样性,提高拍摄图像的效果。由于摄像头的帧率很高,相邻帧存在大量重复图像,标注重复图像对于标注训练来说毫无意义,对于用于标注系统的数据集怎样解决图像冗余问题、提高采集的视频图像上传效率、降低数据量以及减少标注工作量是我们当下亟待解决的问题。
发明内容
为了解决现有技术中存在的问题,本发明提供一种优化的适用于标注平台的多路视频采集方法及装置,以多路视频采集装置进行视频图像的采集,以相邻帧图像的差异性为标准剔除重复的图片,减少数据量,从而实现采集效率的提升。
本发明所采用的技术方案是,一种适用于标注平台的多路视频采集方法,所述方法包括以下步骤:
步骤1:启动多路视频采集设备进行视频采集,以每一视频采集设备的两个摄像头同时获取视频;视频包括n帧视频图像,n>0;设定帧数计数值i,i的初始值为1,设定阈值T;
步骤2:对视频图像以帧间差分法进行预处理,计算第i帧和第i+1帧视频图像的图像差的绝对值Di
步骤3:若Di>T,将第i帧视频图像进行裁剪,存入存储单元,i=i+1;若Di≤T,剔除第i+1帧视频图像,n=n-1;若i<n,返回步骤2,否则,进行下一步;
步骤4:将第i帧视频图像按照步骤3的相同尺寸进行裁剪,存入存储单元;
步骤5:将存储单元中的视频图像上传至标注平台进行训练;
步骤6:结束。
优选地,所述步骤1包括以下步骤:
步骤1.1:摄像头同时获取若干帧视频,对获得的视频进行分帧处理,获得视频帧;
步骤1.2:采用中值背景模型方法对视频帧进行处理,得到视频帧的背景和视频图像;
步骤1.3:对视频图像去噪处理,得到n帧视频图像;
步骤1.4:将n帧视频图像去色,得到n帧视频图像的灰度图。
优选地,所述步骤2包括以下步骤:
步骤2.1:将第i帧和第i+1帧视频图像的灰度值记为fi(x,y)和fi+1(x,y);
步骤2.2:将第i帧和第i+1帧视频图像的灰度值相减并取绝对值,得到绝对值Di,Di(x,y)=|fi(x,y)-fi+1(x,y)|。
优选地,所述裁剪,是将原始视频图像以中心点作为中心位置、以额定的长度及宽度进行裁切。
一种采用所述的适用于标注平台的多路视频采集方法的多路视频采集装置,所述采集装置包括用于作为采集区域的采集平台,所述采集平台的周围设有至少1组视频采集设备,任一所述视频采集设备包括2个摄像头;任一所述视频采集设备连接至控制器。
优选地,所述2个摄像头包括1个广角摄像头和1个长焦摄像头。
优选地,所述控制器包括:
一通信模块,用于与视频采集设备进行通信、传输采集的视频图像、将处理完毕的视频图像发送至标注平台;
一存储模块,用于缓存处理、压缩后的视频图像;
一图像处理模块,用于对视频采集设备采集的图像进行去噪、剔除冗余视频图像并对视频图像进行裁剪;
一主控模块,用于控制视频采集设备采集视频,通过通信模块获取视频中的视频图像,控制图像处理模块进行处理后存入存储模块;
所述主控模块分别与通信模块、存储模块和图像处理模块连接。
优选地,所述存储模块包括本地存储单元和云端存储单元。
本发明提供了一种优化的适用于标注平台的多路视频采集方法及装置,通过每一视频采集设备的两个摄像头同时获取视频,使得视频图像具备多样性强和细节充足的特征,提高采集效率,增加图像的利用率;通过获取多样化图像的同时剔除相邻帧重复的冗余视频图像,并在同一时间节点对视频图像进行裁剪,再进行上传,大幅提高标注训练的效率。本发明的方法可以在较为普通廉价的视频采集设备上快速的获取多样化图像数据集用于标注训练平台,整个多路视频采集系统的实时性大大提升。
本发明的有益效果在于:
1、在同等时间的情况下,获取图像的更多细节,更有利于训练平台和标注平台的应用,提高用于这一用途的视频图像的采集效率;
2、在不降低分辨率的情况下减少数据量,因而有利于提高训练标注的工作效率,巨幅缩短上传的数据量和标注时间,提高实时性;
3、可以在相对廉价、性能较差的硬件设备上快速实现视频图像的采集,降低数据量;在同等硬件平台上使用本发明,由于实时性提高,可以获取采集视频的多样性,提高实时性。
附图说明
图1为本发明的多路视频采集方法的流程图;
图2为本发明的多路视频采集装置的结构示意图,其中,1为采集平台,采集平台中的虚线区域用于放置被采集物件,2为视频采集设备,A为广角摄像头,B为长焦摄像头。
具体实施方式
下面结合实施例对本发明做进一步的详细描述,但本发明的保护范围并不限于此。
本发明涉及一种适用于标注平台的多路视频采集方法,所述方法包括以下步骤。
步骤1:启动多路视频采集设备进行视频采集,以每一视频采集设备的两个摄像头同时获取视频;视频包括n帧视频图像,n>0;设定帧数计数值i,i的初始值为1,设定阈值T。
所述步骤1包括以下步骤:
步骤1.1:摄像头同时获取若干帧视频,对获得的视频进行分帧处理,获得视频帧;
步骤1.2:采用中值背景模型方法对视频帧进行处理,得到视频帧的背景和视频图像;
步骤1.3:对视频图像去噪处理,得到n帧视频图像;
步骤1.4:将n帧视频图像去色,得到n帧视频图像的灰度图。
本发明中,首先使用摄像头获取若干视频帧,对获得的视频进行分帧处理,将视频分成若干帧后,利用中值背景模型方法处理得到得到视频帧的背景和视频图像,随后对从视频中获取的视频图像进行去噪处理,得到待处理的n帧视频图像。
本发明中,阈值T根据相应的场景进行选取,没有固定值。
步骤2:对视频图像以帧间差分法进行预处理,计算第i帧和第i+1帧视频图像的图像差的绝对值Di
所述步骤2包括以下步骤:
步骤2.1:将第i帧和第i+1帧视频图像的灰度值记为fi(x,y)和fi+1(x,y);
步骤2.2:将第i帧和第i+1帧视频图像的灰度值相减并取绝对值,得到绝对值Di,Di(x,y)=|fi(x,y)-fi+1(x,y)|。
本发明中,以i进行帧数计数,将第i帧和第i+1帧视频图像去色后,得到灰度值,做差后取绝对值,用于下一步与阈值T的比较。
步骤3:若Di>T,将第i帧视频图像进行裁剪,存入存储单元,i=i+1;若Di≤T,剔除第i+1帧视频图像,n=n-1;若i<n,返回步骤2,否则,进行下一步。
所述裁剪,是将原始视频图像以中心点作为中心位置、以额定的长度及宽度进行裁切。
本发明中,当Di>T时,表示第i帧和第i+1帧视频图像具有区别性,故将第i帧视频图像进行裁剪后,存入存储单元,i=i+1后返回步骤2,即是比对后两帧视频图像。
本发明中,当Di≤T时,表示第i帧和第i+1帧视频图像相似程度高,是冗余图像,故剔除第i+1帧视频图像,此时,原第i+1帧视频图像的后一帧视频图像会成为新的第i+1帧视频图像,返回步骤2后继续比对原第i帧视频图像和新的第i+1帧视频图像,同时,由于剔除了一张视频图像,故n=n-1。
本发明中,当上述两种情况完成i=i+1或n=n-1的操作后,若i<n,表示比对还需继续,否则表示所有的比对作业已经完成,需要将还在比对且未进行裁剪的视频图像进行下一步操作。
本发明中,裁剪指将视频图像以中心点作为中心位置、以额定的长度及宽度进行裁切,此为本领域技术人员容易理解的内容,可以借助各种工具完成。
步骤4:将第i帧视频图像按照步骤3的相同尺寸进行裁剪,存入存储单元。
步骤5:将存储单元中的视频图像上传至标注平台进行训练。
步骤6:结束。
本发明还涉及一种采用所述的适用于标注平台的多路视频采集方法的多路视频采集装置,所述采集装置包括用于作为采集区域的采集平台,所述采集平台的周围设有至少1组视频采集设备,任一所述视频采集设备包括2个摄像头;任一所述视频采集设备连接至控制器。
本发明中,提出一种双摄方案,即为两个并行设置的摄像头,在拍摄图像时,根据各自的性能拍摄不同的图像,然后合成,形成拍摄效果高于其中单个摄像头拍摄的效果,从而提高图像的多样性。
本发明中,在实际的操作中,多路视频采集装置根据应用场景的需要,被安装在同一场景内呈互补角度圆形放置,这样就可以采集到物体的各个角度,其中每个方向有两个规格一致的摄像头,如,作为采集区域的采集平台为矩形,在采集平台周围设置4组视频采集设备,相邻2组视频采集设备间呈90°设置。
所述2个摄像头包括1个广角摄像头和1个长焦摄像头。
本发明中,当2个摄像头设置为1个广角摄像头和1个长焦摄像头时,广角摄像头的取景更宽更广,但是取不到远处物体,而长焦摄像头虽然取景比较窄,但是能拍摄到更远处的物体,由两个摄像头组合搭配,可以在拍照时通过镜头切换和算法来实现比较平滑的变焦,由每个单个摄像头摄取单个视频流,可以根据需求选择选择所需镜头采集,无需调整其他参数或光圈大小,系统通过光学变焦自动实现平滑变焦,镜头能自动检测场景中环境光线因素,在光线良好时优先选择长焦镜头,光线不佳时优先选择广角镜头,此为本领域技术人员容易了解的内容。
本发明中,同理,灰度图能够获取更多的图像特征,彩色图的色彩更丰富,也有利于标注平台的应用。
所述控制器包括:
一通信模块,用于与视频采集设备进行通信、传输采集的视频图像、将处理完毕的视频图像发送至标注平台;
一存储模块,用于缓存处理、压缩后的视频图像;
一图像处理模块,用于对视频采集设备采集的图像进行去噪、剔除冗余视频图像并对视频图像进行裁剪;
一主控模块,用于控制视频采集设备采集视频,通过通信模块获取视频中的视频图像,控制图像处理模块进行处理后存入存储模块;
所述主控模块分别与通信模块、存储模块和图像处理模块连接。
本发明中,模块与模块间的连接关系为本领域技术人员容易理解的内容,本领域技术人员可以依据需求自行设置。
所述存储模块包括本地存储单元和云端存储单元。
本发明中,存储模块中的本地存储单元将图像数据存储在本地,云端存储单元通过通信模块将图像数据存储至云端服务器。
本发明通过每一视频采集设备的两个摄像头同时获取视频,使得视频图像具备多样性强和细节充足的特征,提高采集效率,增加图像的利用率;通过获取多样化图像的同时剔除相邻帧重复的冗余视频图像,并在同一时间节点对视频图像进行裁剪,再进行上传,大幅提高标注训练的效率。本发明的方法可以在较为普通廉价的视频采集设备上快速的获取多样化图像数据集用于标注训练平台,整个多路视频采集系统的实时性大大提升。

Claims (8)

1.一种适用于标注平台的多路视频采集方法,其特征在于:所述方法包括以下步骤:
步骤1:启动多路视频采集设备进行视频采集,以每一视频采集设备的两个摄像头同时获取视频;视频包括n帧视频图像,n>0;设定帧数计数值i,i的初始值为1,设定阈值T;
步骤2:对视频图像以帧间差分法进行预处理,计算第i帧和第i+1帧视频图像的图像差的绝对值Di
步骤3:若Di>T,将第i帧视频图像进行裁剪,存入存储单元,i=i+1;若Di≤T,剔除第i+1帧视频图像,n=n-1;若i<n,返回步骤2,否则,进行下一步;
步骤4:将第i帧视频图像按照步骤3的相同尺寸进行裁剪,存入存储单元;
步骤5:将存储单元中的视频图像上传至标注平台进行训练;
步骤6:结束。
2.根据权利要求1所述的一种适用于标注平台的多路视频采集方法,其特征在于:所述步骤1包括以下步骤:
步骤1.1:摄像头同时获取若干帧视频,对获得的视频进行分帧处理,获得视频帧;
步骤1.2:采用中值背景模型方法对视频帧进行处理,得到视频帧的背景和视频图像;
步骤1.3:对视频图像去噪处理,得到n帧视频图像;
步骤1.4:将n帧视频图像去色,得到n帧视频图像的灰度图。
3.根据权利要求1所述的一种适用于标注平台的多路视频采集方法,其特征在于:所述步骤2包括以下步骤:
步骤2.1:将第i帧和第i+1帧视频图像的灰度值记为fi(x,y)和fi+1(x,y);
步骤2.2:将第i帧和第i+1帧视频图像的灰度值相减并取绝对值,得到绝对值Di,Di(x,y)=|fi(x,y)-fi+1(x,y)|。
4.根据权利要求1所述的一种适用于标注平台的多路视频采集方法,其特征在于:所述裁剪,是将原始视频图像以中心点作为中心位置、以额定的长度及宽度进行裁切。
5.一种采用权利要求1~4之一所述的适用于标注平台的多路视频采集方法的多路视频采集装置,其特征在于:所述采集装置包括用于作为采集区域的采集平台,所述采集平台的周围设有至少1组视频采集设备,任一所述视频采集设备包括2个摄像头;任一所述视频采集设备连接至控制器。
6.根据权利要求5所述的一种适用于标注平台的多路视频采集方法的多路视频采集装置,其特征在于:所述2个摄像头包括1个广角摄像头和1个长焦摄像头。
7.根据权利要求5所述的一种适用于标注平台的多路视频采集方法的多路视频采集装置,其特征在于:所述控制器包括:
一通信模块,用于与视频采集设备进行通信、传输采集的视频图像、将处理完毕的视频图像发送至标注平台;
一存储模块,用于缓存处理、压缩后的视频图像;
一图像处理模块,用于对视频采集设备采集的图像进行去噪、剔除冗余视频图像并对视频图像进行裁剪;
一主控模块,用于控制视频采集设备采集视频,通过通信模块获取视频中的视频图像,控制图像处理模块进行处理后存入存储模块;
所述主控模块分别与通信模块、存储模块和图像处理模块连接。
8.根据权利要求7所述的一种适用于标注平台的多路视频采集方法的多路视频采集装置,其特征在于:所述存储模块包括本地存储单元和云端存储单元。
CN201810242191.0A 2018-03-22 2018-03-22 一种适用于标注平台的多路视频采集方法及装置 Pending CN108259840A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810242191.0A CN108259840A (zh) 2018-03-22 2018-03-22 一种适用于标注平台的多路视频采集方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810242191.0A CN108259840A (zh) 2018-03-22 2018-03-22 一种适用于标注平台的多路视频采集方法及装置

Publications (1)

Publication Number Publication Date
CN108259840A true CN108259840A (zh) 2018-07-06

Family

ID=62746187

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810242191.0A Pending CN108259840A (zh) 2018-03-22 2018-03-22 一种适用于标注平台的多路视频采集方法及装置

Country Status (1)

Country Link
CN (1) CN108259840A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112287911A (zh) * 2020-12-25 2021-01-29 长沙海信智能系统研究院有限公司 数据标注方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9292743B1 (en) * 2013-03-14 2016-03-22 Puretech Systems, Inc. Background modeling for fixed, mobile, and step- and-stare video camera surveillance
CN105430480A (zh) * 2015-11-13 2016-03-23 Tcl集团股份有限公司 一种视频数据存储的方法及系统
CN107371026A (zh) * 2017-07-25 2017-11-21 西安科技大学 一种视频数据多重压缩及重构方法
CN107784844A (zh) * 2016-08-31 2018-03-09 百度在线网络技术(北京)有限公司 智能交通信号灯系统及其道路环境检测方法
CN107798720A (zh) * 2016-08-30 2018-03-13 中兴通讯股份有限公司 一种地图绘制方法及其装置、移动终端

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9292743B1 (en) * 2013-03-14 2016-03-22 Puretech Systems, Inc. Background modeling for fixed, mobile, and step- and-stare video camera surveillance
CN105430480A (zh) * 2015-11-13 2016-03-23 Tcl集团股份有限公司 一种视频数据存储的方法及系统
CN107798720A (zh) * 2016-08-30 2018-03-13 中兴通讯股份有限公司 一种地图绘制方法及其装置、移动终端
CN107784844A (zh) * 2016-08-31 2018-03-09 百度在线网络技术(北京)有限公司 智能交通信号灯系统及其道路环境检测方法
CN107371026A (zh) * 2017-07-25 2017-11-21 西安科技大学 一种视频数据多重压缩及重构方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112287911A (zh) * 2020-12-25 2021-01-29 长沙海信智能系统研究院有限公司 数据标注方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN108109385B (zh) 一种输电线防外破的车辆识别与危险行为判别系统与方法
CN109714519B (zh) 一种自动调整图像画面的方法和系统
US11568637B2 (en) UAV video aesthetic quality evaluation method based on multi-modal deep learning
CN109446982B (zh) 一种基于ar眼镜的电力屏柜压板状态识别方法及系统
CN109801265B (zh) 一种基于卷积神经网络的实时输电设备异物检测系统
CN111325051A (zh) 一种基于人脸图像roi选取的人脸识别方法及装置
CN109326125B (zh) 基于嵌入式系统的图片质量诊断系统及诊断方法
CN110349163A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN110532959B (zh) 基于双通道三维卷积神经网络的实时暴力行为检测系统
CN110414558A (zh) 基于事件相机的特征点匹配方法
CN112085031A (zh) 目标检测方法及系统
CN101202845A (zh) 红外图像转换为可见光图像的方法及其装置
CN116614705B (zh) 基于多模态视频特征分析的采煤工作面相机调控系统
CN110290287A (zh) 多摄像头帧同步方法
CN114241386A (zh) 一种基于实时视频流的输电线路隐患检测与识别的方法
CN114332942A (zh) 基于改进YOLOv3的夜间红外行人检测方法及系统
CN115984698A (zh) 一种基于改进YOLOv5的荔枝果实生长期识别方法
CN108259840A (zh) 一种适用于标注平台的多路视频采集方法及装置
CN112183431A (zh) 实时行人数量统计方法、装置、相机和服务器
CN110837771A (zh) 一种基于卷积神经网络的鸟类识别方法和装置
Ghosal et al. A geometry-sensitive approach for photographic style classification
WO2023019699A1 (zh) 一种基于3d人脸模型的俯角人脸识别方法及系统
CN114782860A (zh) 一种监控视频中暴力行为检测系统及方法
CN105227831A (zh) 一种自适应变焦的方法及系统
CN108449577A (zh) 大容量连续图像的搜集方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180706

RJ01 Rejection of invention patent application after publication