CN109919007B - 一种生成红外图像标注信息的方法 - Google Patents
一种生成红外图像标注信息的方法 Download PDFInfo
- Publication number
- CN109919007B CN109919007B CN201910064821.4A CN201910064821A CN109919007B CN 109919007 B CN109919007 B CN 109919007B CN 201910064821 A CN201910064821 A CN 201910064821A CN 109919007 B CN109919007 B CN 109919007B
- Authority
- CN
- China
- Prior art keywords
- video
- infrared
- visible light
- frame
- video frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种生成红外图像标注信息的方法,包括如下步骤:a、采用两台具有相近视场的同光轴或者平行光轴的视频拍摄装置进行视频拍摄,其中一台为可见光相机,另一台为红外相机;进行视场匹配标定,得到视场匹配标定参数;b、将两个视频文件的每一帧单独抽离出来,从而形成了两组视频帧序列,可见光视频帧序列中的每一帧图像,与红外视频帧序列中的每一帧图像有一一对应的关系;c、使用基于可见光的目标检测算法和已训练好的检测模型,对可见光视频帧执行目标检测程序;d、将参与标定的两个相机中,其中一个相机生成的图像中的一个物体在帧中的位置,配合标定参数代入计算,得到参与标定的另一个相机中,该物体的成像结果在照片中的位置。
Description
技术领域
本发明涉及图像标注技术领域,特别是一种生成红外图像标注信息的方法。
背景技术
在机器视觉,图像处理研究领域,有几个重要研究方向:目标检测、目标识别以及目标跟踪。近年来,在这三个研究方向中,人们通过使用机器学习技术,取得了许多巨大成果。
使用机器学习进行模型训练时,有一个重要环节,就是准备训练样本。此外,在对一个已经训练好的模型进行性能评估时,也往往需要许多样本作为测试样本。机器学习训练过程中,所需的训练样本和测试样本的数量往往是非常巨大的。而这样的样本,往往是通过人工制作的方式产生的。例如,要制作一个用于目标检测的样本,首先需要准备一张包含了待检测目标的图片,然后需要人工利用专门的标记软件,在图片中框选出目标的位置,大小以及目标的名称。这个过程,本身也是非常枯燥的。因此,往往在一个机器学习的模型训练的过程中,样本制作就会耗费大量的人力和时间成本。
针对于可见光视频和图像,已经有许多训练好的目标检测以及目标跟踪模型。其识别和跟踪效果,都能够达到比较满意的精度。对于基于红外成像得到的红外图像,在进行目标检测,目标识别以及目标跟踪等方向的研究时,同样需要大量的已标记样本,用于模型的训练以及测试。
目前,尚缺少针对红外成像得到的红外图像进行快速标注的方法,且进行目标检测,目标识别以及目标跟踪等方向的研究时,机器学习的样本制作环节,往往需要人工进行样本标定,再加上机器学习训练过程中所需的样本数量巨大,因此样本制作环节会消耗很大的人力成本。基于红外视频的目标识别,目标检测以及目标跟踪等研究领域,同样存在这样的问题。
通常,一个用于机器视觉领域的机器学习训练的标记样本数据,需要满足以下的要求:
1、提供一张图片,图片中包含感兴趣的目标;
2、提供一系列向量数据,每个向量代表一个目标的标记信息;其中的目标标记信息,需要包含:目标的名称或类型(例如车辆,狗,楼房等),目标在图片中的位置坐标(可以使用目标的图形中心点在图片中的坐标表示),目标的像素大小信息(长度和宽度)。
以上数据,需要专门的交互软件,通过标记员,操作交互软件,在图片上用鼠标框出包含了目标的矩形框,同时为该目标输入相关类型信息。目前,业内有很多这样的标记工具,例如:LabelMe,LabelImg,YoloMark,VoTT,ImgAnn等。但是无论使用哪一种标记工具,这一过程效率极低,且工作枯燥,容易出错,成本较高。
发明内容
为解决现有技术中存在的问题,本发明提供了一种生成红外图像标注信息的方法,可以利用可见光已有的训练成果,快速自动生成针对红外图像的样本标注信息,该方法大大地降低了样本标注信息的制作成本。
本发明采用的技术方案是:
一种生成红外图像标注信息的方法,包括如下步骤:
a、采用两台具有相近视场的同光轴或者平行光轴的视频拍摄装置进行视频拍摄,其中一台为可见光相机,另一台为红外相机;且可见光相机的视场,需要不小于红外相机的视场;双光拍摄装置在拍摄视频时,可见光和红外相机同时工作,因此可以得到信息同步的两个视频文件;在使用双光视频拍摄装置进行拍摄时,先对两个相机进行视场匹配标定,得到一组视场匹配标定参数;
b、将两个视频文件的每一帧单独抽离出来,从而形成了两组视频帧序列,即可见光视频帧序列和红外视频帧序列;其中,可见光视频帧序列中的每一帧图像,与红外视频帧序列中的每一帧图像有按照录制顺序一一对应的关系;
c、使用现有的基于可见光的目标检测算法和已训练好的检测模型,对可见光视频帧执行目标检测程序,从而得到一组检测结果;
d、通过该标定参数,将参与标定的两个相机中,其中一个相机生成的图像中的一个物体在帧中的位置,配合标定参数代入计算,得到参与标定的另外一个相机中,对该物体的成像结果在照片中的位置。
优选地,所述步骤d具体包括如下步骤:
d1、将步骤c中得到的检测结果,配合步骤a中得到的标定参数,配合计算,可以得到可见光视频帧中检测到的目标,在对应红外视频帧中的位置信息,即得到了针对于该红外视频帧的目标检测结果;
d2、对于在红外视频帧中不存在的标注信息,做删除处理,对于只有部分存在的标注信息,则根据红外视频帧的视场,对标记框进行视场外部分切除处理。
优选地,还包括如下步骤:
通过将步骤d2得到的标记数据,经过格式转换,从而得到最终需要的红外视频帧标注信息。
优选地,在步骤a中:
所采用的双光视频拍摄装置,可以有多重实现方案;对于景深较小的拍摄场景,可以采用常见的平行光轴的双光设备;对于景深较大的场景,可以采用视场相近的平行光轴或者同光轴的双光设备,从而可以使步骤d中的位置映射计算误差较小。
优选地,在步骤b中:
在两个视频中每个视频帧的逐一匹配时,由于选取的视频录制设备不同,如出现可见光视频的帧率与红外视频的帧率不一致的现象,则在可见光视频中,找到一个拍摄时间最为接近的可见光视频帧,作为红外视频帧的对应帧。
优选地,在步骤c中:
涉及到的目标检测算法,可以有多种选择,目标检测算法能够输出目标类型,位置和大小信息即可。
优选地,在步骤d中:
涉及到的视场匹配标定算法,可以有很多种实现和选择,视场匹配标定算法能够找到两个相机成像结果中,像素与像素之间的映射关系即可。
本发明的有益效果是:
1、提供了一种生成红外图像标注信息的方法,通过利用目前在可见光图像上目标识别,目标跟踪以及目标检测方面的已经比较成熟的技术,配合在图像采集阶段上的特定方法,可以实现红外样本自动化的快速标记与生成,且大大的降低了图像标记与样本制作的成本,大大降低了针对于红外视频标记工作的时间成本和人力成本。
2、由于该标记方法自动化程度较高,也大大的提高了标记质量,降低了错误率。
附图说明
图1为本发明实施例的流程示意图;
图2为本发明实施例中第三步的检测结果示意图;
图3为本发明实施例中第四步的标定过程示意图。
具体实施方式
下面结合附图对本发明的实施例进行详细说明。
实施例
如图1所示,一种生成红外图像标注信息的方法,包括如下步骤:
第一步:采用具有相近视场的同光轴或者平行光轴的视频拍摄装置进行视频拍摄,而不是只用一台红外相机进行拍摄,其中可见光相机的视场,需要不小于红外相机的视场,且尽量与红外相差不大;双光拍摄装置在拍摄视频时,可见光和红外相机同时工作,因此可以得到信息同步的两个视频文件;
第二步:拿到两个视频文件后,将视频文件的每一帧单独抽离出来,从而形成了两组视频帧序列:可见光视频帧序列和红外视频帧序列;这里,可见光视频帧序列中的每一帧图像,与红外视频帧序列中的每一帧图像有按照录制顺序一一对应的关系;
第三步:使用现有的基于可见光的目标检测算法和已训练好的检测模型,对可见光视频帧执行目标检测程序,从而得到一组检测结果;例如图2的可见光帧,检测出了三个目标,从而我们得到了针对于该帧的检测结果;其中,目标检测算法可以是模板检测算法,或者用神经网络、特征点等;
第四步:在使用双光视频拍摄装置进行拍摄时,先对两个相机进行视场匹配标定,得到一组视场匹配标定参数;如图3所示,通过该标定参数,可以用来将参与标定的两个相机中,其中一个相机生成的图像中的一个物体在帧中的位置,配合标定参数代入计算,得到参与标定的另外一个相机中,对该物体的成像结果在照片中的位置;
第五步:将第三步中得到的检测结果,配合第四步中得到的标定参数,配合计算,可以得到可见光视频帧中检测到的目标,在对应红外视频帧中的位置信息,即得到了针对于该红外视频帧的目标检测结果;在这个过程中,由于可见光相机的视场可能要比红外光视场要大,所以可能会产生某些目标在红外视频帧中不存在,或者只有部分存在;对于在红外视频帧中不存在的标注信息,做删除处理,对于只有部分存在的标注信息,则根据红外视频帧的视场,对标记框进行视场外部分切除处理;
第六步:由于不同的训练模型,要求的标记数据输入格式可能不同,因此,通过将第五步得到的标记数据,经过格式转换,从而得到最终需要的红外视频帧标注信息。
在其中一个实施例中,具体地:第一步中所采用的双光视频拍摄装置,可以有多重实现方案。对于景深较小的拍摄场景,可以采用常见的平行光轴的双光设备;对于景深较大的场景,可以采用视场相近的平行光轴或者同光轴的双光设备,从而可以使上述第五步中的位置映射计算误差较小。
在另外一个实施例中,具体地:第二步中,在进行两个视频中每个视频帧的逐一匹配时,由于选取的视频录制设备不同,可能会出现可见光视频的帧率与红外视频的帧率不一致的现象;根据目前的实际情况,由于本身红外成像探测器的成像积分时间要大于可见光成像探测器的积分时间,所以往往都能很容易找到与红外相机相比,帧率更高的可见光相机,因此,可以只考虑可见光视频帧率大于等于红外视频帧率的情况;在此情况下,在为每一个红外视频帧寻找对应的可见光视频帧时,基于两视频是同步拍摄的事实作为前提,总可以为每个红外视频帧,在可见光视频中,找到一个拍摄时间最为接近的可见光视频帧,作为红外视频帧的对应帧。
在另外一个实施例中,具体地:第三步中,涉及到的目标检测算法,可以有多种选择,当前流行的SSD,Yolo等算法,只要是能够输出目标类型,位置和大小信息的检测算法,都可以使用。
在另外一个实施例中,具体地:第四步中涉及到的视场匹配标定算法,可以有很多种实现和选择,只要能够找到两个相机成像结果中,像素与像素之间的映射关系即可。例如,可以通过分别在两张图片中选择一组对应特征点,进而利用仿射变换,来得到两个图片像素之间的线性映射。对于畸变较大的相机,还可以在做线性映射之前,先对相机进行标定,来校正相机的畸变,从而提升第五步中涉及运算的运算精度。
以上所述实施例仅表达了本发明的具体实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。
Claims (6)
1.一种生成红外图像标注信息的方法,其特征在于,包括如下步骤:
a、采用两台具有相近视场的同光轴或者平行光轴的视频拍摄装置进行视频拍摄,其中一台为可见光相机,另一台为红外相机;且可见光相机的视场,需要不小于红外相机的视场;双光拍摄装置在拍摄视频时,可见光和红外相机同时工作,因此可以得到信息同步的两个视频文件;在使用双光视频拍摄装置进行拍摄时,先对两个相机进行视场匹配标定,得到一组视场匹配标定参数;
b、将两个视频文件的每一帧单独抽离出来,从而形成了两组视频帧序列,即可见光视频帧序列和红外视频帧序列;其中,可见光视频帧序列中的每一帧图像,与红外视频帧序列中的每一帧图像有按照录制顺序一一对应的关系;
c、使用现有的基于可见光的目标检测算法和已训练好的检测模型,对可见光视频帧执行目标检测程序,从而得到一组检测结果;
d、通过该标定参数,将参与标定的两个相机中,其中一个相机生成的图像中的一个物体在帧中的位置,配合标定参数代入计算,得到参与标定的另外一个相机中,对该物体的成像结果在照片中的位置;步骤d中具体的是,将步骤c中得到的检测结果,配合步骤a中得到的标定参数,配合计算,可以得到可见光视频帧中检测到的目标,在对应红外视频帧中的位置信息,即得到了针对于该红外视频帧的目标检测结果;在这个过程中,由于可见光相机的视场可能要比红外光视场要大,所以可能会产生某些目标在红外视频帧中不存在,或者只有部分存在;对于在红外视频帧中不存在的标注信息,做删除处理,对于只有部分存在的标注信息,则根据红外视频帧的视场,对标记框进行视场外部分切除处理。
2.根据权利要求1所述的生成红外图像标注信息的方法,其特征在于,还包括如下步骤:
通过将步骤d2得到的标记数据,经过格式转换,从而得到最终需要的红外视频帧标注信息。
3.根据权利要求1所述的生成红外图像标注信息的方法,其特征在于,在步骤a中:
所采用的双光视频拍摄装置,有多重实现方案;对于景深较小的拍摄场景,采用常见的平行光轴的双光设备;对于景深较大的场景,采用视场相近的平行光轴或者同光轴的双光设备,从而使步骤d中的位置映射计算误差较小。
4.根据权利要求1所述的生成红外图像标注信息的方法,其特征在于,在步骤b中:
在两个视频中每个视频帧的逐一匹配时,由于选取的视频录制设备不同,如出现可见光视频的帧率与红外视频的帧率不一致的现象,则在可见光视频中,找到一个拍摄时间最为接近的可见光视频帧,作为红外视频帧的对应帧。
5.根据权利要求1所述的生成红外图像标注信息的方法,其特征在于,在步骤c中:
涉及到的目标检测算法,有多种选择,目标检测算法能够输出目标类型,位置和大小信息即可。
6.根据权利要求1所述的生成红外图像标注信息的方法,其特征在于,在步骤d中:
涉及到的视场匹配标定算法,有很多种实现和选择,视场匹配标定算法能够找到两个相机成像结果中,像素与像素之间的映射关系即可。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910064821.4A CN109919007B (zh) | 2019-01-23 | 2019-01-23 | 一种生成红外图像标注信息的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910064821.4A CN109919007B (zh) | 2019-01-23 | 2019-01-23 | 一种生成红外图像标注信息的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109919007A CN109919007A (zh) | 2019-06-21 |
CN109919007B true CN109919007B (zh) | 2023-04-18 |
Family
ID=66960660
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910064821.4A Active CN109919007B (zh) | 2019-01-23 | 2019-01-23 | 一种生成红外图像标注信息的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109919007B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111327788B (zh) * | 2020-02-28 | 2022-05-17 | 北京迈格威科技有限公司 | 相机组的同步方法、测温方法、装置及电子系统 |
CN111426388A (zh) * | 2020-03-31 | 2020-07-17 | 高新兴科技集团股份有限公司 | 人员体温测量方法、系统、计算机存储介质及电子设备 |
CN111623881A (zh) * | 2020-05-21 | 2020-09-04 | 平安国际智慧城市科技股份有限公司 | 基于图像处理的双光摄像机测温方法及相关设备 |
CN111914635B (zh) * | 2020-06-23 | 2023-12-26 | 北京迈格威科技有限公司 | 人体测温方法、装置、系统和电子设备 |
CN111738180B (zh) * | 2020-06-28 | 2023-03-24 | 浙江大华技术股份有限公司 | 关键点的标注方法、装置、存储介质及电子装置 |
CN113197666A (zh) * | 2020-10-29 | 2021-08-03 | 上海舍成医疗器械有限公司 | 用于手术导航的装置及系统 |
CN114419146B (zh) * | 2022-03-30 | 2022-07-12 | 北京航天晨信科技有限责任公司 | 一种多源光学样本生成方法和系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101067710A (zh) * | 2006-01-20 | 2007-11-07 | 红外线解决方案公司 | 具有可见光与红外图像混合的相机 |
CN105701827A (zh) * | 2016-01-15 | 2016-06-22 | 中林信达(北京)科技信息有限责任公司 | 可见光相机与红外相机的参数联合标定方法及装置 |
CN108694882A (zh) * | 2017-04-11 | 2018-10-23 | 百度在线网络技术(北京)有限公司 | 用于标注地图的方法、装置和设备 |
CN108875669A (zh) * | 2018-06-28 | 2018-11-23 | 武汉市哈哈便利科技有限公司 | 一种基于可见光与红外图像融合的商品识别技术 |
CN109212545A (zh) * | 2018-09-19 | 2019-01-15 | 长沙超创电子科技有限公司 | 基于主动视觉的多信源目标跟踪测量系统及跟踪方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8749635B2 (en) * | 2009-06-03 | 2014-06-10 | Flir Systems, Inc. | Infrared camera systems and methods for dual sensor applications |
-
2019
- 2019-01-23 CN CN201910064821.4A patent/CN109919007B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101067710A (zh) * | 2006-01-20 | 2007-11-07 | 红外线解决方案公司 | 具有可见光与红外图像混合的相机 |
CN105701827A (zh) * | 2016-01-15 | 2016-06-22 | 中林信达(北京)科技信息有限责任公司 | 可见光相机与红外相机的参数联合标定方法及装置 |
CN108694882A (zh) * | 2017-04-11 | 2018-10-23 | 百度在线网络技术(北京)有限公司 | 用于标注地图的方法、装置和设备 |
CN108875669A (zh) * | 2018-06-28 | 2018-11-23 | 武汉市哈哈便利科技有限公司 | 一种基于可见光与红外图像融合的商品识别技术 |
CN109212545A (zh) * | 2018-09-19 | 2019-01-15 | 长沙超创电子科技有限公司 | 基于主动视觉的多信源目标跟踪测量系统及跟踪方法 |
Non-Patent Citations (1)
Title |
---|
基于红外与可见光双波段图像的立体视觉关键技术研究;佟颖;《中国博士学位论文全文数据库信息科技辑》;20170616;I138-12 * |
Also Published As
Publication number | Publication date |
---|---|
CN109919007A (zh) | 2019-06-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109919007B (zh) | 一种生成红外图像标注信息的方法 | |
CN109816725B (zh) | 一种基于深度学习的单目相机物体位姿估计方法及装置 | |
CN109583483B (zh) | 一种基于卷积神经网络的目标检测方法和系统 | |
CN109685078B (zh) | 基于自动标注的红外图像识别方法 | |
CN109472828B (zh) | 一种定位方法、装置、电子设备及计算机可读存储介质 | |
CN110580723A (zh) | 一种利用深度学习和计算机视觉进行精准定位的方法 | |
CN106875437B (zh) | 一种面向rgbd三维重建的关键帧提取方法 | |
CN110826549A (zh) | 基于计算机视觉的巡检机器人仪表图像识别方法及系统 | |
US20180357819A1 (en) | Method for generating a set of annotated images | |
CN110827312B (zh) | 一种基于协同视觉注意力神经网络的学习方法 | |
CN109525786B (zh) | 视频处理方法、装置、终端设备及存储介质 | |
WO2018053952A1 (zh) | 一种基于场景样本库的影视图像深度提取方法 | |
CN115376034A (zh) | 一种基于人体三维姿态时空关联动作识别的运动视频采集剪辑方法及装置 | |
WO2020259416A1 (zh) | 图像采集控制方法、装置、电子设备及存储介质 | |
CN110942511B (zh) | 室内场景模型重建方法及装置 | |
CN111402289A (zh) | 基于深度学习的人群表演误差检测方法 | |
CN111399634A (zh) | 一种手势引导物体识别的方法及装置 | |
CN111681271A (zh) | 一种多通道多光谱相机配准方法、系统及介质 | |
CN117422858A (zh) | 一种双光图像目标检测方法、系统、设备和介质 | |
CN114693782A (zh) | 用于确定三维场景模型坐标系和物理坐标系的转换关系的方法及装置 | |
CN109255805B (zh) | 机器学习的工业智能数据收集系统和方法 | |
CN116205973A (zh) | 激光点云连续帧数据标注方法及系统 | |
Yan et al. | Focal length estimation guided with object distribution on FocaLens dataset | |
CN114782860A (zh) | 一种监控视频中暴力行为检测系统及方法 | |
CN110706357A (zh) | 导航系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |