CN111614876A - 一种基于振镜相机阵列的实时远距离高速智能跟拍方法 - Google Patents
一种基于振镜相机阵列的实时远距离高速智能跟拍方法 Download PDFInfo
- Publication number
- CN111614876A CN111614876A CN202010426309.2A CN202010426309A CN111614876A CN 111614876 A CN111614876 A CN 111614876A CN 202010426309 A CN202010426309 A CN 202010426309A CN 111614876 A CN111614876 A CN 111614876A
- Authority
- CN
- China
- Prior art keywords
- galvanometer
- digital
- speed
- analog
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
- G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
- G02B26/10—Scanning systems
- G02B26/105—Scanning systems with one or more pivoting mirrors or galvano-mirrors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种基于振镜相机阵列的实时远距离高速智能跟拍方法，由伺服振镜系统、振镜D/A数模控制器子端、D/A数模控制板构成，所述伺服振镜系统中经过算法标定的高速运动目标，运动至振镜镜片视场角内，高速振镜电机驱动振镜镜片转动获取入射角视野范围内高速运动目标的光学信号，反射到多路分光镜；所述多路分光镜通过透射和反射目标光学信号至多路分焦镜头。该发明通过高速旋转振镜镜片与同轴相机阵列，通过多棱镜透视和折射成像，以多焦段镜头矩阵的方式，分别对高帧率图像和高分辨率影像进行处理和优化，解决了“运动模糊”和高帧率兼顾高分辨率的问题。
Description
技术领域
本发明属于高速摄影、精密设备制造和人工智能视觉技术领域，具体涉及一种基于振镜相机阵列的实时远距离高速智能跟拍方法。
背景技术
高速摄影是一种通过光学的装置和非接触的传感器自动地接收和处理一个目标物体的图像，再通过图像反馈的信息，让机器系统对机器做进一步控制或相应的自适应调整行为的系统。高速摄影涉及到光学、精密机械、无线电电子学、计算机、传感器以及工艺学、材料学等学科。实时高速远距离机器视觉是高速摄影的一种，主要由硬件和软件构成，核心是算法软件。硬件主要包括工业相机、光源、镜头、图像采集系统等，软件是视觉系统中的核心部件视觉分析软件，底层软件核心算法是机器视觉行业的壁垒。实时高速远距离高速机器视觉行业属于技术密集型产业，研发费用在整体收入中所占的比重很高，核心技术的积累和持续的技术创新是企业取得竞争优势的关键因素之一，较高的技术门槛对潜在的市场进入者构成了障碍。因此掌握了算法软件等关键技术的企业将引领整个产业的发展。
当前用于体育赛事和影视特效制作的远距离跟拍高速移动物体，大都采用移动跟拍车、直升机航拍跟拍、伸缩臂/摇臂摄像机、轨道摄像机、索道摄像机等多种特种设备组合和摄影师实现视频采集，对特定对象特写镜头的录制和画面转播。这样使得在大场地、远距离、高速度的物体和人物视频跟拍上难度较大，耗费的人员、器材及安装成本很高。这种基于高速摄影技术产品和应用大多是离线式的，该方式通过将采集回来的视频存放在相机内的DDR上，慢慢传输导出到电脑端，然后慢速回放。当前这种高速摄影方式主要缺点有：一是相机自身扩展容量限制，无法满足高速摄影场景下大数据存储；二是受网络带宽限制，只能靠HD-SDI专线传输，综合成本高且不益于市场化规模应用；三是高速跟拍距离受限，在实际目标跟拍中会产生“运动模糊”，无法对目标进行精细特征运动分析；四是当前高速CCD/COMS传感器因高拍摄帧率与高分辨率两者之间存在的矛盾关系,无法兼顾高帧率情况下高分辨率画质；五是当前高速跟拍相机在特定场景下，只能一人一机单目标跟拍，对摄影师专业技能要求高；针对以上问题。综上所述，所以我设计了一种基于振镜相机阵列的实时远距离高速智能跟拍方法。
发明内容
为了解决上述存在的问题，本发明提供一种基于振镜相机阵列的实时远距离高速智能跟拍方法。
本发明是通过以下技术方案实现：
一种基于振镜相机阵列的实时远距离高速智能跟拍方法，由伺服振镜系统、振镜D/A数模控制器子端、D/A数模控制板构成，所述伺服振镜系统中经过算法标定的高速运动目标，运动至振镜镜片视场角内，高速振镜电机驱动振镜镜片转动获取入射角视野范围内高速运动目标的光学信号，反射到多路分光镜；所述多路分光镜通过透射和反射目标光学信号至多路分焦镜头；同时，将模拟信号通过振镜驱动器传给振镜D/A数模控制器子端，然后通过振镜D/A数模控制器子端端再将模拟信号，传给边缘计算端的D/A数模控制板，解调成数字信号；系统接收到数字信号，通过AI算法调度，通知对应焦段范围内的高速CCD传感器，将镜头聚焦到CCD传感器上的目标光学信号，经过处理成数字信号，然后交给FPGA/TPU单元，对数据压缩和编码，生成图片流保存在SSD。
作为本发明的进一步优化方案，所述边缘计算单元中的D/A数模控制板处理完前一帧数据后，会发送一个数字信号给D/A数模控制板，所述D/A数模控制板会将数字信号调制成模拟信号，传给振镜D/A数模控制器子端。
作为本发明的进一步优化方案，所述振镜D/A数模控制器子端接收到模拟信号，传给振镜控制器，然后振镜控制器控制振镜电机相位偏移，振镜镜片获取入射角视野范围内下一帧高速运动目标的光学信号，反射到多路分光镜。
作为本发明的进一步优化方案，所述伺服振镜系统、振镜D/A数模控制器子端、D/A数模控制板组成的系统循环上面信号控制和数据传输，实现对高速运动目标的实时高速拍摄。
与现有的技术相比，本发明的有益效果是：该发明通过高速旋转振镜镜片与同轴相机阵列，通过多棱镜透视和折射成像，以多焦段镜头矩阵的方式，分别对高帧率图像和高分辨率影像进行处理和优化，解决了“运动模糊”和高帧率兼顾高分辨率的问题；通过在边缘计算端与振镜相机高速通讯和精确控制，并通过算法处理，以5G方式实时上传云端，解决了相机自身容量限制和综合成本控制，为远距离高速智能跟拍市场化应用提供了有效解决方案。通过高速旋转振镜时间差分算法、多焦段镜头矩阵空间投影算法以及FasterR-CNN快速检测和跟踪算法，实现大视角、长远距离、多目标高速实时跟拍，解决了单人单摄单跟拍的问题，有效降低了综合成本。
附图说明
图1是本发明的结构原理图。
图中：1、伺服振镜系统；2、振镜D/A数模控制器子端；3、D/A数模控制板。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细描述：
如图1所示，一种基于振镜相机阵列的实时远距离高速智能跟拍方法，由伺服振镜系统(1)、振镜D/A数模控制器子端(2)、D/A数模控制板(3)构成，所述伺服振镜系统(1)中经过算法标定的高速运动目标，运动至振镜镜片视场角内，高速振镜电机驱动振镜镜片转动获取入射角视野范围内高速运动目标的光学信号，反射到多路分光镜；所述多路分光镜通过透射和反射目标光学信号至多路分焦镜头；同时，将模拟信号通过振镜驱动器传给振镜D/A数模控制器子端(2)，然后通过振镜D/A数模控制器子端(2)端再将模拟信号，传给边缘计算端的D/A数模控制板(3)，解调成数字信号；系统接收到数字信号，通过AI算法调度，通知对应焦段范围内的高速CCD传感器，将镜头聚焦到CCD传感器上的目标光学信号，经过处理成数字信号，然后交给FPGA/TPU单元，对数据压缩和编码，生成图片流保存在SSD；所述边缘计算单元中的D/A数模控制板(3)处理完前一帧数据后，会发送一个数字信号给D/A数模控制板(3)，所述D/A数模控制板(3)会将数字信号调制成模拟信号，传给振镜D/A数模控制器子端(2)；所述振镜D/A数模控制器子端(2)接收到模拟信号，传给振镜控制器，然后振镜控制器控制振镜电机相位偏移，振镜镜片获取入射角视野范围内下一帧高速运动目标的光学信号，反射到多路分光镜；所述伺服振镜系统(1)、振镜D/A数模控制器子端(2)、D/A数模控制板(3)组成的系统循环上面信号控制和数据传输，实现对高速运动目标的实时高速拍摄。
所述本发明装置在这个实施例中，该发明通过高速旋转振镜镜片与同轴相机阵列，通过多棱镜透视和折射成像，以多焦段镜头矩阵的方式，分别对高帧率图像和高分辨率影像进行处理和优化，解决了“运动模糊”和高帧率兼顾高分辨率的问题；通过在边缘计算端与振镜相机高速通讯和精确控制，并通过算法处理，以5G方式实时上传云端，解决了相机自身容量限制和综合成本控制，为远距离高速智能跟拍市场化应用提供了有效解决方案。通过高速旋转振镜时间差分算法、多焦段镜头矩阵空间投影算法以及FasterR-CNN快速检测和跟踪算法，实现大视角、长远距离、多目标高速实时跟拍，解决了单人单摄单跟拍的问题，有效降低了综合成本。
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (4)
1.一种基于振镜相机阵列的实时远距离高速智能跟拍方法，由伺服振镜系统、振镜D/A数模控制器子端、D/A数模控制板构成，其特征在于：所述伺服振镜系统中经过算法标定的高速运动目标，运动至振镜镜片视场角内，高速振镜电机驱动振镜镜片转动获取入射角视野范围内高速运动目标的光学信号，反射到多路分光镜；所述多路分光镜通过透射和反射目标光学信号至多路分焦镜头；同时，将模拟信号通过振镜驱动器传给振镜D/A数模控制器子端，然后通过振镜D/A数模控制器子端端再将模拟信号，传给边缘计算端的D/A数模控制板，解调成数字信号；系统接收到数字信号，通过AI算法调度，通知对应焦段范围内的高速CCD传感器，将镜头聚焦到CCD传感器上的目标光学信号，经过处理成数字信号，然后交给FPGA/TPU单元，对数据压缩和编码，生成图片流保存在SSD。
2.根据权利要求1所述的一种基于振镜相机阵列的实时远距离高速智能跟拍方法，其特征在于：所述边缘计算单元中的D/A数模控制板处理完前一帧数据后，会发送一个数字信号给D/A数模控制板，所述D/A数模控制板会将数字信号调制成模拟信号，传给振镜D/A数模控制器子端。
3.根据权利要求1所述的一种基于振镜相机阵列的实时远距离高速智能跟拍方法，其特征在于：所述振镜D/A数模控制器子端接收到模拟信号，传给振镜控制器，然后振镜控制器控制振镜电机相位偏移，振镜镜片获取入射角视野范围内下一帧高速运动目标的光学信号，反射到多路分光镜。
4.根据权利要求1所述的一种基于振镜相机阵列的实时远距离高速智能跟拍方法，其特征在于：所述伺服振镜系统、振镜D/A数模控制器子端、D/A数模控制板组成的系统循环上面信号控制和数据传输，实现对高速运动目标的实时高速拍摄。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010426309.2A CN111614876A (zh) | 2020-05-19 | 2020-05-19 | 一种基于振镜相机阵列的实时远距离高速智能跟拍方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010426309.2A CN111614876A (zh) | 2020-05-19 | 2020-05-19 | 一种基于振镜相机阵列的实时远距离高速智能跟拍方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111614876A true CN111614876A (zh) | 2020-09-01 |
Family
ID=72204928
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010426309.2A Pending CN111614876A (zh) | 2020-05-19 | 2020-05-19 | 一种基于振镜相机阵列的实时远距离高速智能跟拍方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111614876A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114051088A (zh) * | 2022-01-12 | 2022-02-15 | 四川大学 | 一种基于视场分解的高速摄像模组方法 |
| CN114051102A (zh) * | 2022-01-11 | 2022-02-15 | 杭州灵西机器人智能科技有限公司 | 一种获取振镜参数的方法和装置 |
| CN114067000A (zh) * | 2022-01-05 | 2022-02-18 | 中国科学院自动化研究所 | 基于全景相机和振镜相机的多目标监测方法和系统 |
| CN117348237A (zh) * | 2023-12-04 | 2024-01-05 | 北京天翔睿翼科技有限公司 | 基于工业振镜系统的远距离高速视觉实时跟踪系统及方法 |
-
2020
- 2020-05-19 CN CN202010426309.2A patent/CN111614876A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114067000A (zh) * | 2022-01-05 | 2022-02-18 | 中国科学院自动化研究所 | 基于全景相机和振镜相机的多目标监测方法和系统 |
| CN114067000B (zh) * | 2022-01-05 | 2022-03-25 | 中国科学院自动化研究所 | 基于全景相机和振镜相机的多目标监测方法和系统 |
| CN114051102A (zh) * | 2022-01-11 | 2022-02-15 | 杭州灵西机器人智能科技有限公司 | 一种获取振镜参数的方法和装置 |
| CN114051088A (zh) * | 2022-01-12 | 2022-02-15 | 四川大学 | 一种基于视场分解的高速摄像模组方法 |
| CN117348237A (zh) * | 2023-12-04 | 2024-01-05 | 北京天翔睿翼科技有限公司 | 基于工业振镜系统的远距离高速视觉实时跟踪系统及方法 |
| CN117348237B (zh) * | 2023-12-04 | 2024-02-06 | 北京天翔睿翼科技有限公司 | 基于工业振镜系统的远距离高速视觉实时跟踪系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111614876A (zh) | 一种基于振镜相机阵列的实时远距离高速智能跟拍方法 | |
| US10200624B2 (en) | Three-dimensional, 360-degree virtual reality exposure control | |
| JP6090786B2 (ja) | 背景差分抽出装置及び背景差分抽出方法 | |
| CN105959575B (zh) | 一种可变焦全景摄像机 | |
| CN113838098B (zh) | 一种针对远距离高速运动目标的智能跟踪拍摄系统 | |
| CN110177200B (zh) | 摄像头模组、电子设备以及影像拍摄方法 | |
| CN101078622A (zh) | 航空全帧转移型面阵ccd相机像移补偿方法 | |
| US20130016181A1 (en) | System and method for capturing and displaying cinema quality panoramic images | |
| CN1893646A (zh) | 记录和重放图像的系统和方法 | |
| CN210526874U (zh) | 一种机载三光光电吊舱系统 | |
| CN102801963A (zh) | 基于高清数字摄像头监控的电子ptz方法及装置 | |
| CN101662667A (zh) | 用电话机终端控制摄像装置的控制系统和方法 | |
| US20210183138A1 (en) | Rendering back plates | |
| Hu et al. | Omnidirectional panoramic video system with frame-by-frame ultrafast viewpoint control | |
| AU2019271924A1 (en) | System and method for adjusting an image for a vehicle mounted camera | |
| CN103002249A (zh) | 基于图像拼接的sdi全景摄像系统 | |
| CN110647173B (zh) | 一种视频跟踪系统及方法 | |
| CN110493516A (zh) | 一种异速像移补偿装置及系统 | |
| CN115150547A (zh) | 一种飞行监视装置及其监视方法 | |
| US7643158B2 (en) | Method for synchronizing the operation of multiple devices for generating three dimensional surface models of moving objects | |
| US4851916A (en) | Electronic shutter devices | |
| CN114245006B (zh) | 一种处理方法、装置及系统 | |
| CN115529450A (zh) | 基于光场的密集摄像机实时采集设备及数据预处理方法 | |
| CN210536770U (zh) | 一种亿级像素阵列摄像装置 | |
| CN113660456A (zh) | 可变焦阵列摄像机协同获取不同分辨率多目标视频方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200901 |