CN114022571A - 基于振镜的高速虚拟相机系统、观测方法及设备 - Google Patents

基于振镜的高速虚拟相机系统、观测方法及设备 Download PDF

Info

Publication number
CN114022571A
CN114022571A CN202210005827.6A CN202210005827A CN114022571A CN 114022571 A CN114022571 A CN 114022571A CN 202210005827 A CN202210005827 A CN 202210005827A CN 114022571 A CN114022571 A CN 114022571A
Authority
CN
China
Prior art keywords
galvanometer
observed
scanning galvanometer
speed
scanning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210005827.6A
Other languages
English (en)
Other versions
CN114022571B (zh
Inventor
顾庆毅
陈梦娟
李志凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202210005827.6A priority Critical patent/CN114022571B/zh
Publication of CN114022571A publication Critical patent/CN114022571A/zh
Application granted granted Critical
Publication of CN114022571B publication Critical patent/CN114022571B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明属于摄像领域，具体涉及一种基于振镜的高速虚拟相机系统、观测方法及设备，旨在解决现有技术无法在远距离实时地高清晰度观察多个物体的问题。本发明系统包括：计算机，用于获取设定观测平面上的待观测位置；D\A信号转换器，用于将接收到的数字信号转换为模拟信号；振镜控制板，用于将接收到的模拟信号进行解析为控制指令；振镜单元，用于根据控制指令控制扫描电镜的镜片进行转动，获取待观测位置的光学信号，并进行反射；高速相机，用于对扫描电镜反射的光学信号进行拍摄，获取设定观测平面上待观测位置的高清图像，并发送至计算机。本发明能够实现对远距离的多处目标实时，高清晰度的拍摄。

Description

基于振镜的高速虚拟相机系统、观测方法及设备
技术领域
本发明属于摄像领域，具体涉及一种基于振镜的高速虚拟相机系统、观测方法及装置。
背景技术
在拍摄远距离物体的过程中，普通相机由于焦距的限制，短焦相机可以获得更大的视野，通常视角在60度以上，但是无法描绘细节信息，拍摄远距离图像时较为模糊；长焦相机在拍摄远距离物体时更为清晰，保留更多的细节，但是视野较窄，通常视角在15度以内，只能进行小范围场景观测。
为了高清晰度拍摄较大范围的远距离物体，目前主要采用两种方法。一是通过大量的长焦相机有序排列组成相机阵列，后期通过去重和拼接产生超分辨率，高信噪比的图片，但是成本高，结构复杂，计算复杂，成像速度较慢。二是通过云台等机械运动结构，控制长焦相机的运动，在一段时间内完成对目标区域的拍摄，该方法成本低，成像速度快，但是由于机械结构的原因，相机在运动过程中会发生抖动，影响成像质量，并且拍摄速度慢。
扫描振镜是一种由驱动控制板和高速伺服电机组成的高精度、高速度伺服控制系统，主要用于激光打标，激光内雕等行业，具有体积小、精度高等特点。长焦相机通过扫描振镜的反射光路，可以实现大范围的场景拍摄，该方法与相机阵列相比，成本低，计算简单，成像速度快；与云台方法比，抖动较小，精度高，拍摄速度快。
基于上述对长焦相机远距离大范围拍摄方法的分析，本发明提出了一种基于振镜的高速虚拟相机方法，将扫描振镜与高速相机结合，实现对大范围内多个远距离目标的高清晰度拍摄。
发明内容
为了解决现有技术中的上述问题，即为了解决现有技术无法在远距离实时地高清晰度观察多个物体的问题，本发明提出了一种基于振镜的高速虚拟相机系统，该系统包括：计算机、D\A信号转换器，振镜控制板、振镜单元、高速相机；所述计算机、所述D\A信号转换器、所述振镜控制板、所述振镜单元、所述高速相机依次通过通讯链路连接；
所述计算机，用于获取设定观测平面上的待观测位置，并将待观测位置对应的数字信号发送至所述D\A信号转换器；还用于接收高速相机回传的高清图像，并进行排列；
所述D\A信号转换器，用于将接收到的数字信号转换为模拟信号，并发送至所述振镜控制板；
所述振镜控制板，用于将接收到的模拟信号进行解析为控制指令，并发送至所述振镜单元；
所述振镜单元，包括两个扫描振镜，用于根据控制指令控制扫描电镜的镜片进行转动，获取待观测位置的光学信号，并进行反射；
所述高速相机，用于对扫描电镜反射的光学信号进行拍摄，获取设定观测平面上待观测位置的高清图像，并发送至所述计算机。
在一些优选的实施方式中，所述高速相机与所述扫描振镜在系统初始化时的校准过程为：
初始化扫描振镜
Figure 591536DEST_PATH_IMAGE001
，
Figure 629899DEST_PATH_IMAGE002
轴电压为0伏特，使扫描振镜处于初始位置，调整高速相机的 位置，使得高速相机的光学中心通过扫描振镜的反射光路中心；所述初始位置为扫描振镜
Figure 639443DEST_PATH_IMAGE001
，
Figure 282914DEST_PATH_IMAGE002
轴电压为0伏特时，反射镜的位置；
微调高速相机位置，使得高速相机的成像画面在扫描振镜的正前方。
在一些优选的实施方式中，扫描振镜的控制参数的标定方法为：
测量扫描振镜到设定观测平面的距离
Figure 414818DEST_PATH_IMAGE003
；所述设定观测平面为待拍摄的平面，垂 直于扫描振镜的光路中心；
以高速相机的光学中心在观测平面上的投影为原点，在设定观测平面建立二维坐 标系
Figure 878161DEST_PATH_IMAGE004
，并取一组观测点
Figure 753713DEST_PATH_IMAGE005
，测量其坐标；其中
Figure 986111DEST_PATH_IMAGE006
，
Figure 554496DEST_PATH_IMAGE007
、
Figure 239555DEST_PATH_IMAGE008
表示观测点的坐标；
基于距离
Figure 653219DEST_PATH_IMAGE003
、观测点
Figure 802440DEST_PATH_IMAGE009
的坐标，计算该组观测点与扫描振镜的光路中心组成的偏转 角度
Figure 744989DEST_PATH_IMAGE010
，其中
Figure 917344DEST_PATH_IMAGE011
，由
Figure 134699DEST_PATH_IMAGE012
轴偏转角度与
Figure 341689DEST_PATH_IMAGE013
轴偏转角度组 成；
Figure 455139DEST_PATH_IMAGE014
、
Figure 177107DEST_PATH_IMAGE015
表示
Figure 135836DEST_PATH_IMAGE012
轴偏转角度与
Figure 994070DEST_PATH_IMAGE013
轴偏转角度；
扫描振镜的偏转角度与控制电压成正比，由于反射的关系，光路的偏转角度是扫 描振镜的偏转角度的两倍，进而得到扫描振镜的控制电压
Figure 12842DEST_PATH_IMAGE016
与观测点之间的 对应关系；其中，
Figure 425369DEST_PATH_IMAGE017
表示观察第i个点时扫描振镜x轴与y轴的控制电压；
基于扫描振镜的控制电压与对应的偏转角度，计算多组观测点的控制电压增益系数并求平均，将求平均后的控制电压增益系数作为最终确定的控制电压增益系数，完成扫描振镜控制参数的标定。
在一些优选的实施方式中，计算观测点与光路中心组成的偏转角度，其方法为：
Figure 250105DEST_PATH_IMAGE018
Figure 166109DEST_PATH_IMAGE019
其中，
Figure 152519DEST_PATH_IMAGE007
、
Figure 786763DEST_PATH_IMAGE008
表示观测点的坐标，
Figure 149611DEST_PATH_IMAGE014
、
Figure 451279DEST_PATH_IMAGE015
表示
Figure 546274DEST_PATH_IMAGE012
轴偏转角度与
Figure 730131DEST_PATH_IMAGE013
轴偏转角度。
在一些优选的实施方式中，基于扫描振镜控制电压与对应的偏转角度，计算多组观测点的控制电压增益系数，其方法为：
Figure 834353DEST_PATH_IMAGE020
Figure 724949DEST_PATH_IMAGE021
其中，
Figure 318741DEST_PATH_IMAGE022
、
Figure 661998DEST_PATH_IMAGE023
表示控制电压增益系数。
在一些优选的实施方式中，基于校准后的高速相机与扫描振镜，获取待观测位置的高清图像，其方法为：
在每个控制周期内，获取设定观测平面上的多个待观测位置在
Figure 632228DEST_PATH_IMAGE024
坐标系下的坐 标，并通过上述的扫描振镜的控制参数的标定方法获取标定结果；根据所述标定结果、扫描 振镜的控制电压与观测平面的映射关系，得到高速相机拍摄时扫描振镜的控制电压序列
Figure 377330DEST_PATH_IMAGE025
；所述控制周期为高速相机拍摄多个待观测位置各一次的时间周期；
通过所述控制电压序列控制扫描振镜的镜片进行转动，使得高速相机遍历所有待 观测位置，高速相机在每个观测位置的曝光时间
Figure 142024DEST_PATH_IMAGE026
，其中，
Figure 238156DEST_PATH_IMAGE027
为高速相 机的帧率，
Figure 684180DEST_PATH_IMAGE028
为所有待观测位置的数量，
Figure 346106DEST_PATH_IMAGE029
为监测
Figure 219384DEST_PATH_IMAGE028
个待观测位置的
Figure 599550DEST_PATH_IMAGE028
路虚拟相机的帧率；
持续拍摄设定观测平面上的待观测位置的高清图像，并将高清图像反传回计算机。
本发明的第二方面，提出了一种基于振镜的高速虚拟相机观测方法，基于上述所述的基于振镜的高速虚拟相机系统，该方法包括：
步骤S100，对高速相机与扫描振镜进行校准后，获取设定观测平面上的多个待观测位置；
步骤S200，在每个控制周期内，获取设定观测平面上的多个待观测位置在
Figure 583686DEST_PATH_IMAGE004
坐 标系下的坐标，并通过扫描振镜的控制参数的标定方法获取控制参数的标定结果；所述控 制周期为高速相机拍摄多个待观测位置各一次的时间周期；所述
Figure 365698DEST_PATH_IMAGE004
坐标系为以高速相机 的视野中心在观测平面的投影为原点，在设定观测平面建立的二维坐标系；
步骤S300，根据所述控制参数的标定结果、扫描振镜的控制电压与观测平面映射关系，得到高速相机拍摄时扫描振镜的控制电压序列；
步骤S400，通过所述控制电压序列控制扫描振镜的镜片进行转动，使得高速相机遍历所有待观测位置，持续拍摄设定观测平面上的待观测位置的高清图像。
本发明的第三方面，提出了一种电子设备，包括：至少一个处理器；以及与至少一个所述处理器通信连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的基于振镜的高速虚拟相机观测方法。
本发明的第四方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的基于振镜的高速虚拟相机观测方法。
本发明的有益效果：
本发明能够实现对大范围内、远距离的多处目标实时、高清晰度的拍摄。
本发明将扫描振镜与高速相机结合，根据观测位置与扫描电镜的光路中心组成的偏转角度，计算高速相机拍摄扫描振镜的控制电压序列，进而计算机控制扫描振镜使得高速相机遍历所有观测位置集合，持续拍摄观测平面上的观测位置的高清图像，实现对远距离的多处目标高清晰度，实时的拍摄，具有体积小、速度快，成本低，精度高等优点。
附图说明
通过阅读参照以下附图所做的对非限制性实施例所做的详细描述，本申请的其他特征、目的和优点将会变得更明显。
图1 是本发明一种实施例的基于振镜的高速虚拟相机系统的结构示意图；
图2为本发明一种实施例的扫描振镜与高速相机的光路示意图；
图3是本发明一种实施例的设定观测平面中待观测位置与光路变化关系示意图；
图4是本发明一种实施例的扫描振镜的偏转与光路变化的关系示意图；
图5是本发明一种实施例的液晶显示屏的示意图；
图6为本发明一种实施例的观测平面图像帧的示意图；
图7为本发明一种实施例的虚拟多路相机成像的示意图；
图8为本发明一种实施例的基于振镜的高速虚拟相机观测方法的流程示意图；
图9是本发明一种实施例的适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
本发明第一实施例的一种基于振镜的高速虚拟相机系统，如图1所示，该系统包括：计算机、D\A信号转换器，振镜控制板、振镜单元、高速相机；所述计算机、所述D\A信号转换器、所述振镜控制板、所述振镜单元、所述高速相机依次通过通讯链路连接；
所述计算机，用于获取设定观测平面上的待观测位置，并将待观测位置对应的数字信号发送至所述D\A信号转换器；还用于接收高速相机回传的高清图像，并进行排列；
所述D\A信号转换器，用于将接收到的数字信号转换为模拟信号，并发送至所述振镜控制板；
所述振镜控制板，用于将接收到的模拟信号进行解析为控制指令，并发送至所述振镜单元；
所述振镜单元，包括两个扫描振镜，用于根据控制指令控制扫描电镜的镜片进行转动，获取待观测位置的光学信号，并进行反射；
所述高速相机，用于对扫描电镜反射的光学信号进行拍摄，获取设定观测平面上待观测位置的高清图像，并发送至所述计算机。
为了更清晰地对本发明基于振镜的高速虚拟相机系统进行说明，下面结合附图，对本发明系统一种实施例中各模块进行展开详述。
在本发明中，如图1所示，计算机1、D\A信号转换器（即图1中的DA转换卡2），振镜控制板（即图1中的振镜控制卡3）、振镜单元（即图1中的扫描振镜4）、高速相机5依次通过通讯链路连接；高速相机优选采用120fps的高速相机，观测平面，如图5所示，本发明优选设置为一台竖直放置的65英寸液晶显示器，距离扫描振镜垂直距离为5米，测试区域为四等分的屏幕区域，区域中心显示各区域代号，右上角显示图像帧，所有显示区域以30fps的帧率循环播放图像帧。另外，图1中的6表示扫描振镜的扫描范围，7表示高速相机视野范围，V1、V2、V3代表扫描振镜不同偏转角度时，高速相机的视野。
所述振镜单元，包括两个扫描振镜，两个扫描振镜的旋转轴相互正交；其中，系统初始化，高速相机与扫描振镜位置的校准过程为：
如图2所示，其中，图2中8表示
Figure 409877DEST_PATH_IMAGE013
轴伺服电机和反射镜，9表示
Figure 277339DEST_PATH_IMAGE012
轴伺服电机和反射 镜，10表示高速相机，初始化扫描振镜
Figure 330745DEST_PATH_IMAGE012
，
Figure 904946DEST_PATH_IMAGE013
轴电压为0伏特，使扫描振镜处于初始位置（初始 位置为扫描振镜
Figure 182344DEST_PATH_IMAGE001
，
Figure 209206DEST_PATH_IMAGE002
轴电压为0伏特时，反射镜的位置），调整高速相机的位置，使得高速相 机的光学中心通过扫描振镜的反射光路中心；微调高速相机位置，使得高速相机的成像画 面在扫描振镜的正前方。
校准后，如图8所示，对扫描电镜的控制参数进行标定，具体如下：
测量扫描振镜到设定观测平面的距离
Figure 863041DEST_PATH_IMAGE003
；所述设定观测平面为待拍摄的平面，垂 直于扫描振镜的光路中心；
以高速相机的光学中心在观测平面上的投影为原点，在设定观测平面建立二维坐 标系
Figure 557327DEST_PATH_IMAGE004
，并取一组观测点
Figure 943309DEST_PATH_IMAGE005
，其中
Figure 785363DEST_PATH_IMAGE006
，测量其坐标；
计算该组观测点与扫描振镜的光路中心组成的偏转角度
Figure 914994DEST_PATH_IMAGE010
，其中
Figure 260524DEST_PATH_IMAGE011
，由
Figure 348566DEST_PATH_IMAGE012
轴偏转角度与
Figure 350020DEST_PATH_IMAGE013
轴偏转角度组成，其 中，偏转角度的计算方法为：
Figure 357377DEST_PATH_IMAGE030
（1）
Figure 495097DEST_PATH_IMAGE031
（2）
其中，
Figure 550778DEST_PATH_IMAGE007
、
Figure 305107DEST_PATH_IMAGE008
表示观测点的坐标，
Figure 776540DEST_PATH_IMAGE014
、
Figure 96662DEST_PATH_IMAGE015
表示
Figure 260928DEST_PATH_IMAGE012
轴偏转角度与
Figure 33711DEST_PATH_IMAGE013
轴偏转角度。
扫描振镜的偏转角度与控制电压成正比，由于反射的关系，光路的偏转角度是扫 描振镜偏转角度的两倍，所以可以得到扫描振镜的控制电压
Figure 574414DEST_PATH_IMAGE016
与观测点
Figure 952306DEST_PATH_IMAGE032
之 间的对应关系，如式（3）（4）所示：
Figure 84210DEST_PATH_IMAGE033
（3）
Figure 547552DEST_PATH_IMAGE034
（4）
其中，
Figure 626367DEST_PATH_IMAGE017
表示观察第i个点时扫描振镜x轴与y轴的控制电压。
将该组观测点的测量数据代入上述公式，测量多组观测点对应的控制电压增益系 数
Figure DEST_PATH_IMAGE035
，对多组控制电压增益系数求平均，将求平均后的控制电压增益系数作为最终确定 的控制电压增益系数，完成振镜控制参数的标定。
例如，在本实施例中，以高速相机的视野中心在观测平面的投影为原点，测量扫描 振镜中心到液晶显示器平面的垂直距离为5m，以扫描振镜中心在显示器平面的投影点O为 原点，在显示器平面建立二维坐标系
Figure 655503DEST_PATH_IMAGE004
，单位为米。如图3所示，假设液晶显示平面一点存 在一点
Figure 958308DEST_PATH_IMAGE006
，点
Figure 908947DEST_PATH_IMAGE009
与初始光路的角度变化值
Figure 791452DEST_PATH_IMAGE036
，由
Figure 940674DEST_PATH_IMAGE012
轴偏转角度与
Figure 617643DEST_PATH_IMAGE013
轴偏转角度组成。根据三角关系，可以得出偏转角度：
Figure DEST_PATH_IMAGE037
；
Figure 586736DEST_PATH_IMAGE038
。
如图4所示，光路通过扫描振镜反射以后，光路角度的变化是振镜角度变化的两 倍，所以可以得到扫描振镜的控制电压
Figure 7353DEST_PATH_IMAGE016
与观测点
Figure 276660DEST_PATH_IMAGE032
之间的对应关系：
Figure 858951DEST_PATH_IMAGE039
；
Figure 580919DEST_PATH_IMAGE040
。
在液晶显示器平面取4个点（0.5,0.5），（-0.5,0），（-0.5,0.5），（0.5,0），控制扫描 振镜使4个点分别在高速相机的中心，分别记录
Figure 805227DEST_PATH_IMAGE041
的偏转电压为（1.425,1.428），（- 1.424,0），（-1.426，1.427），（1.423,0），单位为伏特。代入上式，求取
Figure 866724DEST_PATH_IMAGE042
和
Figure 947813DEST_PATH_IMAGE043
的平均值，其中
Figure 94760DEST_PATH_IMAGE044
。
另外，校准后，获取待观测位置的高清图像，其方法为：
基于振镜的高速虚拟相机系统在运行时，在每个控制周期内，获取设定观测平面 上的待观测位置
Figure 653918DEST_PATH_IMAGE045
在
Figure 835500DEST_PATH_IMAGE004
坐标系下的坐标，其中
Figure 25173DEST_PATH_IMAGE046
。根据所述 标定结果、扫描振镜的控制电压与控制平面映射关系，得到高速相机拍摄时扫描振镜的控 制电压序列
Figure 721734DEST_PATH_IMAGE047
；所述控制周期为高速相机拍摄多个待观测位置各一次 的时间周期，假设帧率为
Figure 22265DEST_PATH_IMAGE048
FPS，则控制周期为
Figure 58354DEST_PATH_IMAGE049
秒；对于现实器平面的4个显示区域，其中心 点位置在
Figure 481245DEST_PATH_IMAGE004
坐标系下的坐标为（0.285,0.175），（0.285，0.535），（-0.285,0.175），（- 0.285,0.535），根据步骤2的振镜参数的标定结果，得到高速相机拍摄时振镜的控制电压序 列
Figure 602785DEST_PATH_IMAGE050
。其中
Figure 503745DEST_PATH_IMAGE051
，
Figure 659920DEST_PATH_IMAGE052
，
Figure 191395DEST_PATH_IMAGE053
，
Figure 596969DEST_PATH_IMAGE054
，单位为伏特。
通过所述控制电压序列控制扫描振镜的镜片进行转动，使得高速相机遍历所有待 观测位置
Figure 504882DEST_PATH_IMAGE055
，高速相机在每个观测位置的曝光时间
Figure 312301DEST_PATH_IMAGE056
，其中
Figure 280257DEST_PATH_IMAGE057
为高速相机的帧率，
Figure 110810DEST_PATH_IMAGE058
为所有待观测位置的数量，
Figure 353572DEST_PATH_IMAGE048
为监测
Figure 218760DEST_PATH_IMAGE058
个待观测位置的
Figure 154355DEST_PATH_IMAGE058
路虚拟相机的帧率；如图5所示， 显示器以每秒30帧的帧率循环播放图片帧，右上角为当前图片帧的帧数序号。相邻帧的切 换时间为33毫秒，在33毫秒的控制周期内，计算机先给振镜发送电压
Figure 737783DEST_PATH_IMAGE059
，等待3毫秒，然后 触发相机拍照，曝光时间设定为5ms。重复该操作，完成对4处待观测区域的拍摄。
持续拍摄设定观测平面上的待观测位置的高清图像，并将高清图像反传回计算机；其中，待观测位置即图8中的检测位置；
如图6、图7所示，计算机对获取的高清图像有序排列，进而组成可以同时高清晰监 测
Figure 721920DEST_PATH_IMAGE058
个位置的
Figure 503931DEST_PATH_IMAGE058
路虚拟相机系统。例如，本发明中可以组成同时高清晰监测4个位置的4路虚 拟相机系统。
本发明第二实施例的一种基于振镜的高速虚拟相机系统，基于上述所述的基于振镜的高速虚拟相机系统，该方法包括：
步骤S100，对高速相机与扫描振镜进行校准后，获取设定观测平面上的多个待观测位置；
步骤S200，在每个控制周期内，获取设定观测平面上的多个待观测位置在
Figure 548110DEST_PATH_IMAGE004
坐 标系下的坐标，并通过扫描振镜的控制参数的标定方法获取控制参数的标定结果；所述控 制周期为高速相机拍摄多个待观测位置各一次的时间周期；所述
Figure 415572DEST_PATH_IMAGE004
坐标系为以高速相机 的视野中心在观测平面的投影为原点，在设定观测平面建立的二维坐标系；
步骤S300，根据所述控制参数的标定结果、扫描振镜的控制电压与观测平面映射关系，得到高速相机拍摄时扫描振镜的控制电压序列；
步骤S400，通过所述控制电压序列控制扫描振镜的镜片进行转动，使得高速相机遍历所有待观测位置，持续拍摄设定观测平面上的待观测位置的高清图像。
所述技术领域的技术人员可以清楚的了解到，为描述的方便和简洁，上述描述的系统的具体的工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的基于振镜的高速虚拟相机系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的一种电子设备，至少一个处理器；以及与至少一个所述处理器通信连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的基于振镜的高速虚拟相机观测方法。
本发明第四实施例的一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的基于振镜的高速虚拟相机观测方法。
所述技术领域的技术人员可以清楚的了解到，为描述的方便和简洁，上述描述的电子设备的具体工作过程及有关说明，可以参考前述方法实例中的对应过程，在此不再赘述。
下面参考图9，其示出了适于用来实现本申请方法、系统、装置实施例的服务器的计算机系统的结构示意图。图9示出的服务器仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图9所示，计算机系统包括中央处理单元(CPU，Central Processing Unit)901，其可以根据存储在只读存储器(ROM，Read Only Memory)902中的程序或者从存储部分908加载到随机访问存储器(RAM，Random Access Memory)903中的程序而执行各种适当的动作和处理。在RAM903中，还存储有系统操作所需的各种程序和数据。CPU 901、ROM 902以及RAM903通过总线904彼此相连。输入/输出(I/O，Input/Output)接口905也连接至总线904。
以下部件连接至I/O接口905：包括键盘、鼠标等的输入部分906；包括诸如阴极射线管(CRT，Cathode Ray Tube)、液晶显示器(LCD，Liquid Crystal Display)等以及扬声器等的输出部分907；包括硬盘等的存储部分908；以及包括诸如LAN(局域网，Local AreaNetwork)卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至I/O接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需要被安装入存储部分908。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分909从网络上被下载和安装，和/或从可拆卸介质911被安装。在该计算机程序被中央处理单元(CPU)901执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
术语“第一”、 “第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (9)

1.一种基于振镜的高速虚拟相机系统，其特征在于，该系统包括：计算机、D\A信号转换器，振镜控制板、振镜单元、高速相机；所述计算机、所述D\A信号转换器、所述振镜控制板、所述振镜单元、所述高速相机依次通过通讯链路连接；
所述计算机，用于获取设定观测平面上的待观测位置，并将待观测位置对应的数字信号发送至所述D\A信号转换器；还用于接收高速相机回传的高清图像，并进行排列；
所述D\A信号转换器，用于将接收到的数字信号转换为模拟信号，并发送至所述振镜控制板；
所述振镜控制板，用于将接收到的模拟信号进行解析为控制指令，并发送至所述振镜单元；
所述振镜单元，包括两个扫描振镜，用于根据控制指令控制扫描电镜的镜片进行转动，获取待观测位置的光学信号，并进行反射；
所述高速相机，用于对扫描电镜反射的光学信号进行拍摄，获取设定观测平面上待观测位置的高清图像，并发送至所述计算机。
2.根据权利要求1所述的基于振镜的高速虚拟相机系统，其特征在于，所述高速相机与所述扫描振镜在系统初始化时的校准过程为：
初始化扫描振镜
Figure 489547DEST_PATH_IMAGE001
，
Figure 697675DEST_PATH_IMAGE002
轴电压为0伏特，使扫描振镜处于初始位置，调整高速相机的位 置，使得高速相机的光学中心通过扫描振镜的反射光路中心；所述初始位置为扫描振镜
Figure 401189DEST_PATH_IMAGE001
，
Figure 87385DEST_PATH_IMAGE002
轴电压为0伏特时，反射镜的位置；
微调高速相机位置，使得高速相机的成像画面在扫描振镜的正前方。
3.根据权利要求2所述的基于振镜的高速虚拟相机系统，其特征在于，扫描振镜的控制参数的标定方法为：
测量扫描振镜到设定观测平面的距离
Figure 825534DEST_PATH_IMAGE003
；所述设定观测平面为待拍摄的平面，垂直于扫 描振镜的光路中心；
以高速相机的光学中心在观测平面上的投影为原点，在设定观测平面建立二维坐标系
Figure 938983DEST_PATH_IMAGE004
，并取一组观测点
Figure 129793DEST_PATH_IMAGE005
，，测量其坐标；其中
Figure 619680DEST_PATH_IMAGE006
，
Figure 212336DEST_PATH_IMAGE007
、
Figure 762266DEST_PATH_IMAGE008
表示观测点的坐标；
基于距离
Figure 440372DEST_PATH_IMAGE003
、观测点
Figure 202791DEST_PATH_IMAGE009
的坐标，计算该组观测点与扫描振镜的光路中心组成的偏转角度
Figure 649953DEST_PATH_IMAGE010
，其中
Figure 370785DEST_PATH_IMAGE011
，由
Figure 536187DEST_PATH_IMAGE012
轴偏转角度与
Figure 367877DEST_PATH_IMAGE013
轴偏转角度组成；
Figure 403966DEST_PATH_IMAGE014
、
Figure 295698DEST_PATH_IMAGE015
表示
Figure 948397DEST_PATH_IMAGE012
轴偏转角度与
Figure 318198DEST_PATH_IMAGE013
轴偏转角度；
扫描振镜的偏转角度与控制电压成正比，由于反射的关系，光路的偏转角度是扫描振 镜的偏转角度的两倍，进而得到扫描振镜的控制电压
Figure 739952DEST_PATH_IMAGE016
与观测点之间的对应 关系；其中，
Figure 537007DEST_PATH_IMAGE017
表示观察第i个点时扫描振镜x轴与y轴的控制电压；
基于扫描振镜的控制电压与对应的偏转角度，计算多组观测点的控制电压增益系数并求平均，将求平均后的控制电压增益系数作为最终确定的控制电压增益系数，完成扫描振镜控制参数的标定。
4.根据权利要求3所述的基于振镜的高速虚拟相机系统，其特征在于，计算观测点与光路中心组成的偏转角度，其方法为：
Figure 411422DEST_PATH_IMAGE018
Figure 850493DEST_PATH_IMAGE019
其中，
Figure 126754DEST_PATH_IMAGE007
、
Figure 360289DEST_PATH_IMAGE008
表示观测点的坐标，
Figure 456421DEST_PATH_IMAGE014
、
Figure 168025DEST_PATH_IMAGE015
表示
Figure 564372DEST_PATH_IMAGE012
轴偏转角度与
Figure 968808DEST_PATH_IMAGE013
轴偏转角度。
5.根据权利要求4所述的基于振镜的高速虚拟相机系统，其特征在于，基于扫描振镜控制电压与对应的偏转角度，计算多组观测点的控制电压增益系数，其方法为：
Figure 817815DEST_PATH_IMAGE020
Figure 67531DEST_PATH_IMAGE021
其中，
Figure 318384DEST_PATH_IMAGE022
、
Figure 893722DEST_PATH_IMAGE023
表示控制电压增益系数。
6.根据权利要求3所述的基于振镜的高速虚拟相机系统，其特征在于，基于校准后的高速相机与扫描振镜，获取待观测位置的高清图像，其方法为：
在每个控制周期内，获取设定观测平面上的多个待观测位置在
Figure 230025DEST_PATH_IMAGE004
坐标系下的坐标，并 通过权利要求3的扫描振镜的控制参数的标定方法获取标定结果；根据所述标定结果、扫描 振镜的控制电压与观测平面的映射关系，得到高速相机拍摄时扫描振镜的控制电压序列
Figure 549011DEST_PATH_IMAGE024
；所述控制周期为高速相机拍摄多个待观测位置各一次的时间周期；
通过所述控制电压序列控制扫描振镜的镜片进行转动，使得高速相机遍历所有待观测 位置，高速相机在每个观测位置的曝光时间
Figure 654370DEST_PATH_IMAGE025
，其中，
Figure 135030DEST_PATH_IMAGE026
为高速相机的帧率，
Figure 693050DEST_PATH_IMAGE027
为 所有待观测位置的数量，
Figure 815727DEST_PATH_IMAGE028
为监测
Figure 775593DEST_PATH_IMAGE027
个待观测位置的
Figure 692733DEST_PATH_IMAGE027
路虚拟相机的帧率；
持续拍摄设定观测平面上的待观测位置的高清图像，并将高清图像反传回计算机。
7.一种基于振镜的高速虚拟相机观测方法，基于权利要求1-6任一项所述的基于振镜的高速虚拟相机系统，其特征在于，该方法包括：
步骤S100，对高速相机与扫描振镜进行校准后，获取设定观测平面上的多个待观测位置；
步骤S200，在每个控制周期内，获取设定观测平面上的多个待观测位置在
Figure 738050DEST_PATH_IMAGE004
坐标系下 的坐标，并通过扫描振镜的控制参数的标定方法获取控制参数的标定结果；所述控制周期 为高速相机拍摄多个待观测位置各一次的时间周期；所述
Figure 664418DEST_PATH_IMAGE004
坐标系为以高速相机的视野 中心在观测平面的投影为原点，在设定观测平面建立的二维坐标系；
步骤S300，根据所述控制参数的标定结果、扫描振镜的控制电压与观测平面映射关系，得到高速相机拍摄时扫描振镜的控制电压序列；
步骤S400，通过所述控制电压序列控制扫描振镜的镜片进行转动，使得高速相机遍历所有待观测位置，持续拍摄设定观测平面上的待观测位置的高清图像。
8.一种电子设备，其特征在于，包括：
至少一个处理器；以及与至少一个所述处理器通信连接的存储器；
其中，所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现权利要求7所述的基于振镜的高速虚拟相机观测方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现权利要求7所述的基于振镜的高速虚拟相机观测方法。
CN202210005827.6A 2022-01-05 2022-01-05 基于振镜的高速虚拟相机系统、观测方法及设备 Active CN114022571B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210005827.6A CN114022571B (zh) 2022-01-05 2022-01-05 基于振镜的高速虚拟相机系统、观测方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210005827.6A CN114022571B (zh) 2022-01-05 2022-01-05 基于振镜的高速虚拟相机系统、观测方法及设备

Publications (2)

Publication Number Publication Date
CN114022571A true CN114022571A (zh) 2022-02-08
CN114022571B CN114022571B (zh) 2022-05-17

Family

ID=80069506

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210005827.6A Active CN114022571B (zh) 2022-01-05 2022-01-05 基于振镜的高速虚拟相机系统、观测方法及设备

Country Status (1)

Country Link
CN (1) CN114022571B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117348237A (zh) * 2023-12-04 2024-01-05 北京天翔睿翼科技有限公司 基于工业振镜系统的远距离高速视觉实时跟踪系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108253937A (zh) * 2017-12-05 2018-07-06 汪奕辰 视觉雷达系统
CN210166031U (zh) * 2019-08-29 2020-03-20 海南大学 基于扫描振镜的高速成像光谱仪
CN111650744A (zh) * 2020-08-04 2020-09-11 成都极米科技股份有限公司 振镜的参数调节方法、装置、设备及可读存储介质
CN113175899A (zh) * 2021-04-28 2021-07-27 南京航空航天大学 相机与振镜结合的变视线系统三维成像模型及其标定方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108253937A (zh) * 2017-12-05 2018-07-06 汪奕辰 视觉雷达系统
CN210166031U (zh) * 2019-08-29 2020-03-20 海南大学 基于扫描振镜的高速成像光谱仪
CN111650744A (zh) * 2020-08-04 2020-09-11 成都极米科技股份有限公司 振镜的参数调节方法、装置、设备及可读存储介质
CN113175899A (zh) * 2021-04-28 2021-07-27 南京航空航天大学 相机与振镜结合的变视线系统三维成像模型及其标定方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TADAYOSHI AOYAMA 等: "Multithread Active Vision-based Modal Analysis Using Multiple Vibration Distribution Synthesis Method", 《PROCEEDINGS OF THE 2018 IEEE/ASME INTERNATIONAL CONFERENCE ON ADVANCED INTELLIGENT MECHATRONICS (AIM)》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117348237A (zh) * 2023-12-04 2024-01-05 北京天翔睿翼科技有限公司 基于工业振镜系统的远距离高速视觉实时跟踪系统及方法
CN117348237B (zh) * 2023-12-04 2024-02-06 北京天翔睿翼科技有限公司 基于工业振镜系统的远距离高速视觉实时跟踪系统及方法

Also Published As

Publication number Publication date
CN114022571B (zh) 2022-05-17

Similar Documents

Publication Publication Date Title
US4673988A (en) Electronic mosaic imaging process
US5594845A (en) Method and device for processing an image in order to construct a target image from a plurality of contiguous source images
US4760385A (en) Electronic mosaic imaging process
CA2201680C (en) Processing image data
KR102478989B1 (ko) 명시야 데이터와 연관된 보케를 표현하는 데이터를 생성하기 위한 방법 및 장치
CN113175899B (zh) 相机与振镜结合的变视线系统三维成像模型及其标定方法
CN114022571B (zh) 基于振镜的高速虚拟相机系统、观测方法及设备
CN111856478B (zh) 一种免成像的运动物体探测与三维追踪装置及方法
CN116952357A (zh) 基于线-面相机结合的分光成像视觉振动测量系统及方法
EP3385663B1 (en) Height measuring and estimation method of uneven surface of microscope slide, and microscope
RU2729698C2 (ru) Устройство и способ для кодирования изображения, захваченного оптической системой получения данных
US10613308B2 (en) Method and microscope for measuring and calculating heights on curved surface of microscope slide
JP2688925B2 (ja) 立体画像表示用装置
US6297881B1 (en) Three-dimensional measurement method and three-dimensional measurement device
CN114693807A (zh) 一种输电线路图像与点云的映射数据重构方法及系统
CN110503690A (zh) 一种高光谱视频采集系统的双路相机对齐方法
Buckner et al. Schlieren unwrapped: distortion correction in digital focusing schlieren
Shafer Automation and calibration for robot vision systems
Moru et al. Improving optical pipeline through better alignment and calibration process
JP4891977B2 (ja) 電子顕微鏡
US20240310626A1 (en) Measurement method and device of near-eye display
CN117455919B (zh) 基于虚拟刀口的背景纹影方法、装置、设备及介质
CN117146710B (zh) 基于主动视觉的动态投影三维重建系统及方法
CN117146711B (zh) 基于双振镜系统的大范围动态激光重建方法、系统及设备
Hensel et al. Experimental setup for neural networks and camera-based navigation of mobile systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant