CN114067000A - 基于全景相机和振镜相机的多目标监测方法和系统 - Google Patents

基于全景相机和振镜相机的多目标监测方法和系统 Download PDF

Info

Publication number
CN114067000A
CN114067000A CN202210005864.7A CN202210005864A CN114067000A CN 114067000 A CN114067000 A CN 114067000A CN 202210005864 A CN202210005864 A CN 202210005864A CN 114067000 A CN114067000 A CN 114067000A
Authority
CN
China
Prior art keywords
galvanometer
camera
target
panoramic
calibration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210005864.7A
Other languages
English (en)
Other versions
CN114067000B (zh
Inventor
顾庆毅
李志凯
陈梦娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202210005864.7A priority Critical patent/CN114067000B/zh
Publication of CN114067000A publication Critical patent/CN114067000A/zh
Application granted granted Critical
Publication of CN114067000B publication Critical patent/CN114067000B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明属于安全监控技术领域，具体涉及了一种基于全景相机和振镜相机的多目标监测方法和系统，旨在解决现有的成像技术无法实现在远距离区域观测中短时间内捕捉所有的目标对象的问题。本发明包括：将全景相机、振镜单元和高速相机进行坐标校准和参数标定，通过所述全景相机采用流模式对检测区域进行实时录制，通过特征提取和分类器获得全景图像目标中心位置和目标类别，基于所述全景图像目标中心位置计算振镜控制电压，使高速相机遍历所有全景图像目标中心位置，将全景图像数据与高速相机图像组合，获得多通道多目标高清监测图像。本发明实现同时对多个目标进行监控，进行多路虚拟相机的显示，可以进行实时的远距离区域观测和多目标对象高清拍摄。

Description

基于全景相机和振镜相机的多目标监测方法和系统
技术领域
本发明属于安全监控技术领域，具体涉及了一种基于全景相机和振镜相机的多目标监测方法和系统。
背景技术
在拍摄远距离物体的过程中，全景相机由于较短的焦距，可以获得更大范围的视野，通常视角范围在60度以上，甚至可以达到360度全景。将全景相机进行固定，可以获得待观测区域的整体图像，但是对待观测区域中的感兴趣对象，无法获得细节信息。
长焦相机在拍摄远距离物体时更为清晰，保留更多的细节，但是视野较窄，通常视角范围在15度以内，只能进行小范围场景观测。扫描振镜是一种由驱动控制板和高速伺服电机组成的高精度、高速度伺服控制系统，主要用于激光打标，激光内雕等行业，具有体积小、精度高等特点。长焦相机通过扫描振镜的反射光路，可以实现对目标对象的高清晰度拍摄，该方法成本低，计算简单，成像速度快，但是无法在短时间内捕捉所有的目标对象。
发明内容
为了解决现有技术中的上述问题，即现有的成像技术无法实现在远距离区域观测中短时间内捕捉所有的目标对象的问题，本发明提供了一种基于全景相机和振镜相机的多目标监测方法，所述方法包括：
步骤S100，将全景相机、振镜单元和高速相机进行参数标定和坐标校准；
步骤S200，通过所述全景相机采用流模式对检测区域进行实时录制，获得全景图像数据，并通过HOG特征提取和SVM分类器获得全景图像目标中心位置和目标类别；
步骤S300，基于所述全景图像目标中心位置转换为振镜控制电压序列；
步骤S400，基于所述振镜控制电压序列，计算每个控制周期振镜控制电压；
步骤S500，基于所述振镜控制电压控制振镜单元，并使高速相机跟随振镜光路遍历所有全景图像目标中心位置，拍摄高速相机图像；
步骤S600，重复步骤S300-步骤S500的方法，对检测区域进行实时拍摄和目标检测，获取全景图像数据和高速相机图像；
步骤S700，将所述全景图像数据与高速相机图像组合，获得多通道多目标高清监测图像。
在一些优选的实施方式中，所述将全景相机、振镜单元和高速相机进行坐标校准具体包括：
初始化振镜的x轴电压和y轴电压，使振镜处于初始位置；
调整高速相机位置，使高速相机中心通过振镜单元的光路中心，并使高速相机画面在振镜系统的正前方；
调整全景相机位置，使高速相机画面处于全景相机画面中心。
在一些优选的实施方式中，所述参数标定，为建立振镜单元画面中心与全景相机的映射关系。
在一些优选的实施方式中，所述参数标定，具体为：
选定全景相机图像中的像素点
Figure 286495DEST_PATH_IMAGE001
和振镜的控制电压
Figure 797111DEST_PATH_IMAGE002
； 设定全景相机图像与控制电压的映射关系方程为：
Figure DEST_PATH_IMAGE003
其中，
Figure 45690DEST_PATH_IMAGE004
、
Figure 175320DEST_PATH_IMAGE005
、
Figure 989692DEST_PATH_IMAGE006
、
Figure 671209DEST_PATH_IMAGE007
、
Figure 938242DEST_PATH_IMAGE008
和
Figure 871563DEST_PATH_IMAGE009
表示待求解的映射系数；
求解所述映射系数，完成参数标定。
在一些优选的实施方式中，所述求解所述映射系数，具体为：
在全景相机图像中随机选取n个像素点，作为第一标定点集
Figure 274863DEST_PATH_IMAGE010
，
Figure 268227DEST_PATH_IMAGE011
；
控制振镜控制电压，使所述第一标定点集正好在振镜相机的画面中心成像，记录 此时的标定电压集合
Figure 756977DEST_PATH_IMAGE012
；
将所述第一标定点集和标定电压集合代入所述映射关系方程求解映射系数，获得标定好的映射关系方程。
在一些优选的实施方式中，所述将所述第一标定点集和标定电压集合代入所述映射关系方程求解映射系数，通过最小二乘法的方式求解。
在一些优选的实施方式中，所述目标类别为可由分类器分类的对象，可根据需要，只对特定类别的目标进行观测。
在一些优选的实施方式中，所述步骤S400，设相机的帧率为
Figure 493989DEST_PATH_IMAGE013
FPS，将振镜单元的 控制周期设置为
Figure 876429DEST_PATH_IMAGE014
秒，在每个控制周期内，通过计算机调整振镜的控制电压，使高速相机在 每个目标位置曝光
Figure 306273DEST_PATH_IMAGE015
的时长，获取多个目标的高速相机图像，其中
Figure 282319DEST_PATH_IMAGE016
表示目标中心位 置的数量。
在一些优选的实施方式中，所述特征提取可采用SSD卷积神经网络实时提取目标的位置信息。
本发明的另一方面，提出了一种基于全景相机和振镜相机的多目标监测系统，所述系统包括：校准标定模块、目标提取模块、振镜电压序列转换模块、振镜电压计算模块、高速相机拍摄模块、多区域监测模块和图像组合模块；
所述校准标定模块，配置为将全景相机、振镜单元和高速相机进行坐标校准和参数标定；
所述目标提取模块，配置为通过所述全景相机采用流模式对检测区域进行实时录制，获得全景图像数据，并通过HOG特征提取和SVM分类器获得全景图像目标中心位置和目标类别；其中目标定义为所有可通过分类器分类的对象；
所述振镜电压序列转换模块，配置为基于所述全景图像目标中心位置转换为振镜控制电压序列；
所述振镜电压计算模块，配置为基于所述振镜控制电压序列，计算振镜控制电压；
所述高速相机拍摄模块，配置为基于所述振镜控制电压控制振镜单元，并使高速相机跟随振镜光路遍历所有全景图像目标中心位置，拍摄高速相机图像；
所述多区域监测模块，配置为重复振镜电压序列转换模块、振镜电压计算模块和高速相机拍摄模块的功能，对检测区域进行实时拍摄和目标检测，获取全景图像数据和高速相机图像；
所述图像组合模块，配置为将所述全景图像数据与高速相机图像组合，获得多通道多目标高清监测图像。
本发明的有益效果：
（1）本发明通过结合固定全景相机和振镜相机的特性实现同时对多个目标进行监控，进行多路虚拟相机的显示，可以进行实时的远距离区域观测和多目标对象高清拍摄。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明实施例中基于全景相机和振镜相机的多目标监测方法的流程示意图；
图2是本发明实施例中构建的多通道虚拟相机系统和设备原理示意图；
图3是本发明振镜相机原理示意图；
图4是本发明实施例中全景相机视野图；
图5是本发明实施例中振镜高速相机出示位置视野图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本发明提供一种基于全景相机和振镜相机的多目标监测方法，本方法可以进行实时的远距离区域观测和多目标对象高清拍摄。
本发明的一种基于全景相机和振镜相机的多目标监测方法，所述方法包括：
步骤S100，将全景相机、振镜单元和高速相机进行参数标定和坐标校准；
步骤S200，通过所述全景相机采用流模式对检测区域进行实时录制，获得全景图像数据，并通过HOG特征提取和SVM分类器获得全景图像目标中心位置和目标类别；
在本实施例中，所述目标类别为可由分类器分类的对象，可根据需要，只对特定类别的目标进行观测。
步骤S300，基于所述全景图像目标中心位置转换为振镜控制电压序列；
步骤S400，基于所述振镜控制电压序列，计算振镜控制电压；
步骤S500，基于所述振镜控制电压控制振镜单元，并使高速相机跟随振镜光路遍历所有全景图像目标中心位置，拍摄高速相机图像；
步骤S600，重复步骤S300-步骤S500的方法，对检测区域进行实时拍摄和目标检测，获取全景图像数据和高速相机图像；
步骤S700，将所述全景图像数据与高速相机图像组合，获得多通道多目标高清监测图像。
为了更清晰地对本发明基于全景相机和振镜相机的多目标监测方法进行说明，下面结合图1对本发明实施例中各步骤展开详述。
本发明第一实施例的基于全景相机和振镜相机的多目标监测方法，包括步骤S100-步骤S700，各步骤详细描述如下：
本实施例目的是构建一种能够进行实时远距离区域观测和多目标对象高清拍摄的多路虚拟相机系统和设备，对多处运动目标进行拍摄。所述虚拟相机设备如图2所示包括高性能计算机1、D/A信号转换器2、振镜控制卡3、振镜单元4、高速相机5和全景相机8。其中，振镜相机的示意如图3所示，图3中，9为y轴伺服电机与旋转镜片，10为x轴伺服电机与旋转镜片，11为高速相机，12为全景相机。
本实施例采用帧率30FPS的全景相机，分辨率选取为1680*1200，镜头焦距为8mm；选用120FPS的高速相机，分辨率为720*540，镜头焦距为35mm，将标定平面设置为针对墙面，距离多路虚拟相机系统的垂直距离为7.25米，由于景深原因，目标可在墙面距离墙面2米的范围内进行运动。全景相机以流模式获取图像，高速相机采用触发模式获取图像。
步骤S100，将全景相机、振镜单元和高速相机进行参数标定和坐标校准；
在本实施例中，所述将全景相机、振镜单元和高速相机进行坐标校准具体包括：
假设标定平面近似垂直于全景相机光路和初始电压的振镜光路。设置以像素中心为圆心，x轴水平向右，y轴竖直向下，建立图像坐标系xoy。
初始化振镜的x轴电压和y轴电压，使振镜单元处于初始位置；本实施例选去控制电压均为0V时设置振镜单元处于初始位置；
调整高速相机位置，使高速相机中心通过振镜单元的光路中心，并使高速相机画面在振镜系统的正前方；
调整全景相机位置，使高速相机画面处于全景相机画面中心。
在本实施例中，所述参数标定，为建立振镜单元画面中心与全景相机的映射关系。具体为：
忽略全景相机的镜头产生的畸变以及振镜单元的非线性控制误差；
选定全景相机图像中的像素点
Figure 291863DEST_PATH_IMAGE001
和振镜的控制电压
Figure 935334DEST_PATH_IMAGE017
； 设定全景相机图像与控制电压的映射关系方程为：
Figure 4922DEST_PATH_IMAGE018
其中，
Figure 592898DEST_PATH_IMAGE004
、
Figure 671712DEST_PATH_IMAGE005
、
Figure 904110DEST_PATH_IMAGE006
、
Figure 675757DEST_PATH_IMAGE007
、
Figure 360817DEST_PATH_IMAGE008
和
Figure 243322DEST_PATH_IMAGE009
表示待求解的映射系数；
求解所述映射系数，完成参数标定。
在本实施例中，所述求解所述映射系数，具体为：
在全景相机图像中随机选取n个像素点，作为第一标定点集
Figure 330227DEST_PATH_IMAGE010
，
Figure 272775DEST_PATH_IMAGE011
；本实施例中随机选取了
Figure 581483DEST_PATH_IMAGE019
作为第一标定点集；
控制振镜控制电压，使所述第一标定点集正好在振镜相机的画面中心成像，记录 此时的标定电压集合
Figure 736521DEST_PATH_IMAGE012
；对应的标定电压为
Figure 209090DEST_PATH_IMAGE020
；
解得：
Figure 56960DEST_PATH_IMAGE021
将所述第一标定点集和标定电压集合代入所述映射关系方程求解映射系数，通过最小二乘法的方式求解，获得标定好的映射关系方程。
在校准过程中，全景相机的视野如图4所示，而最初的振镜相机初始位置视野如图5所示。
步骤S200，通过所述全景相机采用流模式对检测区域进行实时录制，获得全景图像数据，并通过HOG特征提取和SVM分类器获得全景图像目标中心位置和目标类别；所述目标类别为可由分类器分类的对象，可根据需要，只对特定类别的目标进行观测。
在本实施例中，所述特征提取可采用SSD卷积神经网络实时提取目标的位置信息。设定人脸为识别目标，则可获得人脸的位置信息P。
步骤S300，基于所述全景图像目标中心位置转换为振镜控制电压序列；将P点的坐标转换为振镜控制电压序列U。
步骤S400，基于所述振镜控制电压序列，计算振镜控制电压；
在本实施例中，所述步骤S400，全景相机的帧率为
Figure 982191DEST_PATH_IMAGE022
FPS，将振镜单元的控制周期 设置为
Figure 940920DEST_PATH_IMAGE023
秒，在每个控制周期内，通过计算机调整振镜的控制电压，使高速相机在每个目标 位置曝光
Figure 2417DEST_PATH_IMAGE024
的时长，获取多个目标的高速相机图像，其中k表示全景相机中检测到的 目标数量。本实施例中由于全景相机的帧率为30FPS,所以振镜的控制周期是
Figure 145822DEST_PATH_IMAGE025
秒，在每个 控制周期内，计算机需调整振镜的控制电压，是高速相机遍历所有的目标位置，高速相机在 每个位置的曝光时间
Figure 558349DEST_PATH_IMAGE026
，其中k为图像中检测到的人脸数量。
步骤S500，基于所述振镜控制电压控制振镜单元，并使高速相机跟随振镜光路遍历所有全景图像目标中心位置，拍摄高速相机图像；
步骤S600，重复步骤S300-步骤S500的方法，对检测区域进行实时拍摄和目标检测，获取全景图像数据和高速相机图像；
步骤S700，将所述全景图像数据与高速相机图像组合，获得多通道多目标高清监测图像。持续通过本发明的方法可实现对检测区域的多个运动目标进行高清拍摄，通过将反传回计算机的图像有序排列，即可同时高清监测多个位置，实现多路虚拟相机的功能。
本发明第二实施例的基于全景相机和振镜相机的多目标监测系统，所述系统包括：校准标定模块、目标提取模块、振镜电压序列转换模块、振镜电压计算模块、高速相机拍摄模块、多区域监测模块和图像组合模块；
所述校准标定模块，配置为将全景相机、振镜单元和高速相机进行坐标校准和参数标定；
所述目标提取模块，配置为通过所述全景相机采用流模式对检测区域进行实时录制，获得全景图像数据，并通过HOG特征提取和SVM分类器获得全景图像目标中心位置和目标类别；其中目标定义为所有可通过分类器分类的对象；
所述振镜电压序列转换模块，配置为基于所述全景图像目标中心位置转换为振镜控制电压序列；
所述振镜电压计算模块，配置为基于所述振镜控制电压序列，计算振镜控制电压；
所述高速相机拍摄模块，配置为基于所述振镜控制电压控制振镜单元，并使高速相机跟随振镜光路遍历所有全景图像目标中心位置，拍摄高速相机图像；
所述多区域监测模块，配置为重复振镜电压序列转换模块、振镜电压计算模块和高速相机拍摄模块的功能，对检测区域进行实时拍摄和目标检测，获取全景图像数据和高速相机图像；
所述图像组合模块，配置为将所述全景图像数据与高速相机图像组合，获得多通道多目标高清监测图像。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的基于全景相机和振镜相机的多目标监测系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
术语“第一”、 “第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种基于全景相机和振镜相机的多目标监测方法，其特征在于，所述方法包括：
步骤S100，将全景相机、振镜单元和高速相机进行参数标定和坐标校准；
步骤S200，通过所述全景相机采用流模式对检测区域进行实时录制，获得全景图像数据，并通过HOG特征提取和SVM分类器获得全景图像目标中心位置和目标类别；
步骤S300，基于所述全景图像目标中心位置转换为振镜控制电压序列；
步骤S400，基于所述振镜控制电压序列，计算每个控制周期振镜控制电压；
步骤S500，基于所述振镜控制电压控制振镜单元，并使高速相机跟随振镜光路遍历所有全景图像目标中心位置，拍摄高速相机图像；
步骤S600，重复步骤S300-步骤S500的方法，对检测区域进行实时拍摄和目标检测，获取全景图像数据和高速相机图像；
步骤S700，将所述全景图像数据与高速相机图像组合，获得多通道多目标高清监测图像。
2.根据权利要求1所述的基于全景相机和振镜相机的多目标监测方法，其特征在于，所述将全景相机、振镜单元和高速相机进行坐标校准具体包括：
初始化振镜的x轴电压和y轴电压，使振镜处于初始位置；
调整高速相机位置，使高速相机中心通过振镜单元的光路中心，并使高速相机画面在振镜系统的正前方；
调整全景相机位置，使高速相机画面处于全景相机画面中心。
3.根据权利要求1所述的基于全景相机和振镜相机的多目标监测方法，其特征在于，所述参数标定，为建立振镜单元画面中心与全景相机的映射关系。
4.根据权利要求3所述的基于全景相机和振镜相机的多目标监测方法，其特征在于，所述参数标定，具体为：
选定全景相机图像中的像素点
Figure 578869DEST_PATH_IMAGE001
和振镜的控制电压
Figure 964851DEST_PATH_IMAGE002
；设定全 景相机图像与控制电压的映射关系方程为：
Figure 213430DEST_PATH_IMAGE003
其中，
Figure 874218DEST_PATH_IMAGE004
、
Figure 157432DEST_PATH_IMAGE005
、
Figure 448736DEST_PATH_IMAGE006
、
Figure 919032DEST_PATH_IMAGE007
、
Figure 586773DEST_PATH_IMAGE008
和
Figure 521231DEST_PATH_IMAGE009
表示待求解的映射系数；
求解所述映射系数，完成参数标定。
5.根据权利要求4所述的基于全景相机和振镜相机的多目标监测方法，其特征在于，所述求解所述映射系数，具体为：
在全景相机图像中随机选取n个像素点，作为第一标定点集
Figure 983437DEST_PATH_IMAGE010
，
Figure 941028DEST_PATH_IMAGE011
；
控制振镜控制电压，使所述第一标定点集正好在振镜相机的画面中心成像，记录此时 的标定电压集合
Figure 146882DEST_PATH_IMAGE012
；
将所述第一标定点集和标定电压集合代入所述映射关系方程求解映射系数，获得标定好的映射关系方程。
6.根据权利要求5所述的基于全景相机和振镜相机的多目标监测方法，其特征在于，所述将所述第一标定点集和标定电压集合代入所述映射关系方程求解映射系数，通过最小二乘法的方式求解。
7.根据权利要求1所述的基于全景相机和振镜相机的多目标监测方法，其特征在于，所述目标类别为可由分类器分类的对象，可根据需要，只对特定类别的目标进行观测。
8.根据权利要求1所述的基于全景相机和振镜相机的多目标监测方法，其特征在于，所 述步骤S400，相机的帧率为
Figure 139109DEST_PATH_IMAGE013
FPS，将振镜单元的控制周期设置为
Figure 834532DEST_PATH_IMAGE014
秒，在每个控制周期内， 通过计算机调整振镜的控制电压，使高速相机在每个目标位置曝光
Figure 544999DEST_PATH_IMAGE015
的时长，获取多 个目标的高速相机图像，其中k表示全景相机中检测到的目标数量。
9.根据权利要求1所述的基于全景相机和振镜相机的多目标监测方法，其特征在于，所述特征提取可采用SSD卷积神经网络实时提取目标的位置信息。
10.一种基于全景相机和振镜相机的多目标监测系统，其特征在于，所述系统包括：校准标定模块、目标提取模块、振镜电压序列转换模块、振镜电压计算模块、高速相机拍摄模块、多区域监测模块和图像组合模块；
所述校准标定模块，配置为将全景相机、振镜单元和高速相机进行坐标校准和参数标定；
所述目标提取模块，配置为通过所述全景相机采用流模式对检测区域进行实时录制，获得全景图像数据，并通过HOG特征提取和SVM分类器获得全景图像目标中心位置和目标类别；其中目标定义为所有可通过分类器分类的对象；
所述振镜电压序列转换模块，配置为基于所述全景图像目标中心位置转换为振镜控制电压序列；
所述振镜电压计算模块，配置为基于所述振镜控制电压序列，计算振镜控制电压；
所述高速相机拍摄模块，配置为基于所述振镜控制电压控制振镜单元，并使高速相机跟随振镜光路遍历所有全景图像目标中心位置，拍摄高速相机图像；
所述多区域监测模块，配置为重复振镜电压序列转换模块、振镜电压计算模块和高速相机拍摄模块的功能，对检测区域进行实时拍摄和目标检测，获取全景图像数据和高速相机图像；
所述图像组合模块，配置为将所述全景图像数据与高速相机图像组合，获得多通道多目标高清监测图像。
CN202210005864.7A 2022-01-05 2022-01-05 基于全景相机和振镜相机的多目标监测方法和系统 Active CN114067000B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210005864.7A CN114067000B (zh) 2022-01-05 2022-01-05 基于全景相机和振镜相机的多目标监测方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210005864.7A CN114067000B (zh) 2022-01-05 2022-01-05 基于全景相机和振镜相机的多目标监测方法和系统

Publications (2)

Publication Number Publication Date
CN114067000A true CN114067000A (zh) 2022-02-18
CN114067000B CN114067000B (zh) 2022-03-25

Family

ID=80230772

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210005864.7A Active CN114067000B (zh) 2022-01-05 2022-01-05 基于全景相机和振镜相机的多目标监测方法和系统

Country Status (1)

Country Link
CN (1) CN114067000B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117173256A (zh) * 2023-10-30 2023-12-05 中国科学院自动化研究所 一种双振镜的线动态激光系统的标定方法、设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108098762A (zh) * 2016-11-24 2018-06-01 广州映博智能科技有限公司 一种基于新型视觉引导的机器人定位装置及方法
CN108124127A (zh) * 2016-11-30 2018-06-05 北京弘益鼎视科技发展有限公司 全景扫描监控系统
CN111614876A (zh) * 2020-05-19 2020-09-01 北京海月水母科技有限公司 一种基于振镜相机阵列的实时远距离高速智能跟拍方法
CN113055566A (zh) * 2021-02-23 2021-06-29 中国科学院合肥物质科学研究院 一种基于分时法的快速偏振成像装置及方法
US20210235015A1 (en) * 2020-01-24 2021-07-29 Tahmoures Hormozdyaran Convex integrated vehicle inspection and security system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108098762A (zh) * 2016-11-24 2018-06-01 广州映博智能科技有限公司 一种基于新型视觉引导的机器人定位装置及方法
CN108124127A (zh) * 2016-11-30 2018-06-05 北京弘益鼎视科技发展有限公司 全景扫描监控系统
US20210235015A1 (en) * 2020-01-24 2021-07-29 Tahmoures Hormozdyaran Convex integrated vehicle inspection and security system
CN111614876A (zh) * 2020-05-19 2020-09-01 北京海月水母科技有限公司 一种基于振镜相机阵列的实时远距离高速智能跟拍方法
CN113055566A (zh) * 2021-02-23 2021-06-29 中国科学院合肥物质科学研究院 一种基于分时法的快速偏振成像装置及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117173256A (zh) * 2023-10-30 2023-12-05 中国科学院自动化研究所 一种双振镜的线动态激光系统的标定方法、设备
CN117173256B (zh) * 2023-10-30 2024-01-16 中国科学院自动化研究所 一种双振镜的线动态激光系统的标定方法、设备

Also Published As

Publication number Publication date
CN114067000B (zh) 2022-03-25

Similar Documents

Publication Publication Date Title
US10863164B2 (en) Stereo camera and method of controlling stereo camera
CN102148965B (zh) 多目标跟踪特写拍摄视频监控系统
US5497188A (en) Method for virtualizing an environment
CN105744163B (zh) 一种基于深度信息跟踪对焦的摄像机及摄像方法
CN105960796B (zh) 自动跟踪摄像装置
US20170287166A1 (en) Camera calibration method using a calibration target
US8310663B2 (en) Methods and systems for calibrating an adjustable lens
EP3089449B1 (en) Method for obtaining light-field data using a non-light-field imaging device, corresponding device, computer program product and non-transitory computer-readable carrier medium
CN107024339B (zh) 一种头戴显示设备的测试装置及方法
SG191452A1 (en) Automatic calibration method and apparatus
CN107113376A (zh) 一种图像处理方法、装置及摄像机
JP2008538474A (ja) 自動化監視システム
CN105717511B (zh) 基于线束激光器和普通摄像头芯片的多点测距方法
WO2020020021A1 (zh) 测温处理方法、装置及热成像设备
CN114067000B (zh) 基于全景相机和振镜相机的多目标监测方法和系统
CN114979956A (zh) 一种无人机航拍地面目标定位方法及系统
CN111699412B (zh) 利用激光跟踪测距仪的驱动测量、来计算三维数值驱动控制仪器的三维驱动数值的方法
JP7021036B2 (ja) 電子機器及び通知方法
Lu et al. Image-based system for measuring objects on an oblique plane and its applications in 2-D localization
JP5925109B2 (ja) 画像処理装置、その制御方法、および制御プログラム
US8928750B2 (en) Method for reducing the number of scanning steps in an airborne reconnaissance system, and a reconnaissance system operating according to said method
JP2006203504A (ja) 撮像装置
CN112884847B (zh) 一种双相机标定方法及系统
JP2010249965A (ja) 光学素子を用いた異焦点画像の撮影方法、及びその装置
WO2021138856A1 (zh) 相机控制方法、设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant