CN118214816A - 一种数字变倍方法、装置、电子设备以及存储介质 - Google Patents
一种数字变倍方法、装置、电子设备以及存储介质 Download PDFInfo
- Publication number
- CN118214816A CN118214816A CN202211613146.4A CN202211613146A CN118214816A CN 118214816 A CN118214816 A CN 118214816A CN 202211613146 A CN202211613146 A CN 202211613146A CN 118214816 A CN118214816 A CN 118214816A
- Authority
- CN
- China
- Prior art keywords
- image
- frame
- matched
- parameters
- digital zoom
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 102
- 238000012937 correction Methods 0.000 claims abstract description 275
- 230000008569 process Effects 0.000 claims abstract description 52
- 238000013519 translation Methods 0.000 claims abstract description 29
- 239000003550 marker Substances 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 16
- 230000009466 transformation Effects 0.000 claims description 15
- 230000003287 optical effect Effects 0.000 claims description 14
- 238000013507 mapping Methods 0.000 claims description 13
- 230000007704 transition Effects 0.000 abstract description 10
- 238000004422 calculation algorithm Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003702 image correction Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000035772 mutation Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000002187 spin decoupling employing ultra-broadband-inversion sequences generated via simulated annealing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/20—Circuitry for controlling amplitude response
- H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
- H04N5/208—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
本申请实施例公开了一种数字变倍方法、装置、电子设备以及存储介质。其中，该方法包括：获取预先标定得到的畸变校正参数和旋转参数，并确定中心偏差参数；根据数字变倍阈值以及变倍时间，确定与各帧图像匹配的数字变倍倍率；根据预设的参数确定规则以及畸变校正参数，确定与各帧图像匹配的畸变校正参数，以及，根据预设的参数确定规则以及旋转参数，确定与各帧图像匹配的旋转参数；对各帧图像依次根据匹配的畸变校正参数进行畸变校正、根据中心偏差参数进行平移，以及根据匹配的旋转参数进行旋转，并根据匹配的数字变倍倍率进行裁剪和重建，以实现数字变倍。使用本发明的技术方案，可以实现数字变倍过程中的图像平滑过渡，减少了视场角的损失。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种数字变倍方法、装置、电子设备以及存储介质。
背景技术
随着视频监控技术的发展，变焦摄像机得到了越来越多的应用，变焦摄像机通常采用多颗镜头分别成像，各镜头分别负责不同的焦段范围，多个镜头通过焦距拼接，组成变焦范围更大的摄像机。
但是，在对镜头执行数字变倍的过程中，不同焦距的镜头切换时，会发生图像画面跳变。主要是因为不同镜头安装时光轴无法重合，存在光轴间距和旋转偏差，导致镜头切换时，会发生图像中心跳变。同时，不同镜头的图像传感器面内旋转角度不一致，执行镜头切换时，会发生图像旋转跳变。另外，由于短焦镜头的畸变程度较为严重，而中长焦镜头畸变程度会逐渐减小，执行镜头切换时，会发生图像畸变跳变。为解决上述问题，往往需要对一个或多个镜头的图像画面进行中心校正、旋转校正和畸变校正。但是，在进行图像校正的过程中，会损失部分视场角，并且，在数字变倍过程中，切换图像校正参数也会带来图像突变的问题。
发明内容
本发明提供了一种数字变倍方法、装置、电子设备以及存储介质，以实现数字变倍过程中的图像平滑过渡，减少了视场角的损失。
根据本发明的一方面，提供了一种数字变倍方法，所述方法包括：
获取预先标定得到的畸变校正参数和旋转参数，并确定中心偏差参数；
根据数字变倍阈值以及变倍时间，确定与各帧图像匹配的数字变倍倍率；
根据预设的参数确定规则以及畸变校正参数，确定与各帧图像匹配的畸变校正参数，以及，根据预设的参数确定规则以及旋转参数，确定与各帧图像匹配的旋转参数；
对各帧图像依次根据匹配的畸变校正参数进行畸变校正、根据中心偏差参数进行平移，以及根据匹配的旋转参数进行旋转，并根据匹配的数字变倍倍率进行裁剪和重建，以实现数字变倍。
根据本发明的另一方面，提供了一种数字变倍装置，包括：
参数获取模块，用于获取预先标定得到的畸变校正参数和旋转参数，并确定中心偏差参数；
数字变倍倍率确定模块，用于根据数字变倍阈值以及变倍时间，确定与各帧图像匹配的数字变倍倍率；
参数确定模块，用于根据预设的参数确定规则以及畸变校正参数，确定与各帧图像匹配的畸变校正参数，以及，根据预设的参数确定规则以及旋转参数，确定与各帧图像匹配的旋转参数；
数字变倍模块，用于对各帧图像依次根据匹配的畸变校正参数进行畸变校正、根据中心偏差参数进行平移，以及根据匹配的旋转参数进行旋转，并根据匹配的数字变倍倍率进行裁剪和重建，以实现数字变倍。
根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的数字变倍方法。
根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的数字变倍方法。
本申请实施例的技术方案，包括：获取预先标定得到的畸变校正参数和旋转参数，并确定中心偏差参数；根据数字变倍阈值以及变倍时间，确定与各帧图像匹配的数字变倍倍率；根据预设的参数确定规则以及畸变校正参数，确定与各帧图像匹配的畸变校正参数，以及，根据预设的参数确定规则以及旋转参数，确定与各帧图像匹配的旋转参数；对各帧图像依次根据匹配的畸变校正参数进行畸变校正、根据中心偏差参数进行平移，以及根据匹配的旋转参数进行旋转，并根据匹配的数字变倍倍率进行裁剪和重建，以实现数字变倍。本技术方案在数字变倍过程中，对各帧图像逐步进行畸变校正、中心平移校正和旋转校正，使得相邻图像帧的突变程度较小，实现了数字变倍过程中的图像平滑过渡，减少了视场角的损失。
应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本申请实施例一提供的一种数字变倍方法的流程图；
图2(a)是根据本申请实施例一提供的一种数字变倍方法的第一镜头和第二镜头拍摄范围示意图；
图2(b)是根据本申请实施例一提供的一种数字变倍方法的平移后的拍摄范围示意图；
图2(c)是根据本申请实施例一提供的一种数字变倍方法的又一种平移后的拍摄范围示意图；
图3是根据本申请实施例一提供的一种数字变倍方法的第一畸变率曲线和第二畸变率曲线的示意图；
图4是根据本申请实施例二提供的一种数字变倍方法的一种聚焦位置与物距的关系曲线的示意图；
图5是根据本申请实施例二提供的一种数字变倍方法的一种镜头中心偏移示意图；
图6是根据本申请实施例二提供的一种数字变倍方法的流程图；
图7是根据本申请实施例三提供的一种数字变倍装置的结构示意图；
图8是实现本申请实施例的一种数字变倍方法的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”“目标”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
图1为本申请实施例一提供了一种数字变倍方法的流程图，本申请实施例可适用于数字变倍过程中对各帧图像进行调整的情况，该方法可以由数字变倍装置来执行，该数字变倍装置可以采用硬件和/或软件的形式实现，该数字变倍装置可配置于具有数据处理能力的电子设备中。如图1所示，该方法包括：
S110，获取预先标定得到的畸变校正参数和旋转参数，并确定中心偏差参数。
其中，畸变校正参数用于校正图像的镜头畸变，镜头畸变表示镜头的成像在不同视场角处的失真程度。镜头畸变通常包括径向畸变和切向畸变，径向畸变一般由镜头本身的曲率变化缺陷导致，对畸变程度的影响较大，而切向畸变一般由镜头和成像面不平行导致，由于图像传感器在安装时能够保证与镜头的平行度，切向畸变可以忽略不计，因此，本实施例中的镜头畸变指径向畸变。
进一步的，旋转参数用于表示不同镜头之间图像传感器面内旋转角度的差异。进一步的，中心偏差参数用于修正不同镜头之间成像中心之间的偏差，中心偏差与物距相关，不同物距下的中心偏差不同，因此，可以预先标定得到不同物距与中心偏差之间的映射关系，在本发明实施例中获得当前物距之后，得到中心偏差参数。
本申请实施例中，以变焦拍摄装置包括两个镜头，即第一镜头和第二镜头为例，其中，第一镜头为定焦短焦镜头，焦距为f1，第二镜头为变焦长焦镜头，焦距为f2-f3，并且f1<f2<f3。在焦距从小变大过程中，焦距在f1和f2之间变化时，对第一镜头成像执行数字变倍，在数字变倍的过程中，对各帧图像进行逐步的畸变校正、旋转校正和中心偏移校正，以实现数字变倍过程中的图像平滑过渡，减少视场角的损失。在本发明实施例中，焦距由f2变倍至f3的过程，通过第二镜头实现，第二镜头的变焦过程本实施例在此不再赘述。需要说明的是，本实施例对镜头的数量不进行限制，当镜头的数量为三个及以上时，在任意镜头的数字变倍过程中，均可以采用本实施例相同的方式进行数字变倍。
本申请实施例中，畸变校正参数可用于对数字变倍过程中的各帧图像进行畸变校正，以解决镜头畸变对图像画面跳变的影响。中心偏差参数可用于对数字变倍过程中的各帧图像进行平移校正，以解决镜头成像中心不一致对图像画面跳变的影响。旋转参数可用于对数字变倍过程中的各帧图像进行旋转校正，以解决不同镜头之间图像传感器面内旋转角度的差异对图像画面跳变的影响。
S120，根据数字变倍阈值以及变倍时间，确定与各帧图像匹配的数字变倍倍率。
其中，数字变倍阈值可以为根据缩放系数、中心校正缩放率以及旋转校正缩放率确定得到。具体的，数字变倍阈值可以是缩放系数、中心校正缩放率以及旋转校正缩放率的乘积。
进一步的，变倍时间为完成数字变倍过程所需的时间，变倍时间可以反映用户所需求的变倍速度，例如，变倍速度越快，则变倍时间越短，变倍速度越慢，则变倍时间越长。在一个可行的实施例中，根据用户设置的变倍速度信息，以及预先确定的变倍速度与变倍时间的对应关系，确定出变倍时间。在另一个可行的实施例中，获取用户设置的变倍时间信息，进而确定出变倍时间。
具体的，在数字变倍过程中，各帧图像匹配的数字变倍倍率不同。进一步的，在一个可行的实施例中，各帧图像匹配的数字变倍倍率确定过程可以是：根据变倍时间内可显示的图像的总帧数，平均拆分数字变倍阈值，得到第一数量个且数值逐渐增大的数字变倍倍率(第一数量等于变倍时间内各帧图像的总帧数)，逐一确定与各帧图像匹配的数字变倍倍率。显而易见的是，上述仅仅是确定与各帧图像匹配的数字变倍倍率的具体举例，本申请实施例对各帧图像的数字变倍倍率具体确定过程不做限定。
S130，根据预设的参数确定规则以及畸变校正参数，确定与各帧图像匹配的畸变校正参数，以及，根据预设的参数确定规则以及旋转参数，确定与各帧图像匹配的旋转参数。
本申请实施例中，在数字变倍过程中，需要对各帧图像逐步进行畸变校正和旋转校正，以实现数字变倍过程中的图像平滑过渡，减少视场角的损失。具体的，可以根据实际情况确定预设的参数确定规则，例如，预设的参数确定规则可以是：将畸变校正参数平均拆分为第一数量个(第一数量等于变倍时间内各帧图像的总帧数)，拆分后的畸变校正参数根据从小到大顺序依次确定为与各帧图像匹配的畸变校正参数，使得各帧图像匹配的畸变校正参数单调增加，且最后一帧图像匹配的畸变校正参数为畸变校正参数。
同理，与各帧图像匹配的旋转参数可以通过预设的参数确定规则确定，使得各帧图像匹配的旋转参数单调增加，且最后一帧图像匹配的旋转参数为旋转参数。上述预设的参数确定规则仅仅是一种具体举例，本申请实施例对预设的参数确定规则不做限定。
S140，对各帧图像依次根据匹配的畸变校正参数进行畸变校正、根据中心偏差参数进行平移，以及根据匹配的旋转参数进行旋转，并根据匹配的数字变倍倍率进行裁剪和重建，以实现数字变倍。
在一个可行的实施例中，对各帧图像进行数字变倍的过程如下：在焦距为f1时，第一镜头拍摄的图像范围如图2(a)中外边框所示，第二镜头在焦距为f2时拍摄的图像范围如图2(a)中内边框所示。需要说明的是，边框范围仅表示拍摄视场大小，不表示图像分辨率大小，外边框和内边框具备相同的分辨率。对各帧图像进行逐步数字变倍，例如图2(b)的第一边框和图2(c)的第二边框为各帧图像中某两帧图像的数字变倍后的结果，直至最后一帧图像与第二镜头在焦距为f2时拍摄的图像范围重合，完成数字变倍。
在一个可行的实施例中，对各帧图像根据中心偏差参数进行平移时，可以对各帧图像逐步进行平移，以实现数字变倍过程中的图像平滑过渡，减少视场角的损失。具体的，可以根据实际情况确定预设的参数确定规则，例如，预设的参数确定规则可以是：将中心偏差参数平均拆分为第一数量个(第一数量等于变倍时间内各帧图像的总帧数)，拆分后的中心偏差参数根据从小到大顺序依次确定为与各帧图像匹配的中心偏差参数，使得各帧图像匹配的中心偏差参数单调增加，且最后一帧图像匹配的中心偏差参数为中心偏差参数。
在另一个可行的实施例中，对各帧图像根据中心偏差参数进行平移时，可以将各帧图像均根据中心偏差参数进行平移，得到中心平移校正后的各帧图像，本申请实施例对中心平移校正的具体方式不做限定。
进一步的，对各帧图像进行畸变校正、平移校正和旋转校正后，对校正后的各帧图像根据匹配的数字变倍倍率进行裁剪，具体的，以各帧图像中的一帧图像为例，裁剪后的图像的长是裁剪前的图像的长与该图像匹配的数字变倍倍率的乘积，裁剪后的图像的宽是裁剪前的图像的宽与该图像匹配的数字变倍倍率的乘积。
对裁剪后的各帧图像进行超分辨率重建，以将下一帧图像放大到前一帧图像的分辨率，超分辨率重建是指在一些低分辨率图像的序列上，使用一定的图像处理算法得到高分辨率的图像，本实施例对采用的超分辨率重建算法不进行限制。
本申请实施例的技术方案，包括：获取预先标定得到的畸变校正参数和旋转参数，并确定中心偏差参数；根据数字变倍阈值以及变倍时间，确定与各帧图像匹配的数字变倍倍率；根据预设的参数确定规则以及畸变校正参数，确定与各帧图像匹配的畸变校正参数，以及，根据预设的参数确定规则以及旋转参数，确定与各帧图像匹配的旋转参数；对各帧图像依次根据匹配的畸变校正参数进行畸变校正、根据中心偏差参数进行平移，以及根据匹配的旋转参数进行旋转，并根据匹配的数字变倍倍率进行裁剪和重建，以实现数字变倍。本技术方案在数字变倍过程中，对各帧图像逐步进行畸变校正、中心平移校正和旋转校正，使得相邻图像帧的突变程度较小，实现了数字变倍过程中的图像平滑过渡，减少了视场角的损失。
可选的，所述畸变校正参数的标定过程包括以下A1-A5：
A1、分别获取第一镜头在物距为无穷远时的第一棋盘格标定图像和第二镜头在物距为无穷远时的第二棋盘格标定图像，并分别对第一棋盘格标定图像和第二棋盘格标定图像进行角点识别；
具体的，可以通过调整增距镜，模拟物距为无穷远时的成像效果。在本发明实施例中，第一镜头在棋盘格图像垂直镜头距离物距为无穷远时进行拍摄，得到第一棋盘格标定图像，第二镜头在棋盘格图像垂直镜头距离物距为无穷远时进行拍摄，得到第二棋盘格标定图像。
角点识别用于识别得到第一棋盘格标定图像和第二棋盘格标定图像中的角点位置，角点也即极值点，可以是两条线的交叉处。角点识别可以采用Kitchen-Rosenfeld角点检测算法、Harris角点检测算法或者SUSAN角点检测算法等，本实施例对角点识别采用的具体算法不进行限制。
A2、确定第二棋盘格标定图像中各角点的畸变率，得到第二畸变率曲线；
对于第二棋盘格标定图像中识别得到的各角点，分别计算其到第二棋盘格标定图像的图像中心的实际距离，以及到第二棋盘格标定图像的图像中心的理想距离。
其中，实际距离可以通过以下公式进行表示：其中，rd为角点到图像中心的实际距离，(x，y)表示以图像中心为原点时角点的像素坐标。
理想距离可以通过以下公式进行表示：其中，ri表示角点到图像中心的理想距离，a为与图像中心匹配的棋盘格的像素尺寸，n为角点在第二棋盘格标定图像的宽度方向上距离图像中心的棋盘格个数，m为角点在第二棋盘格标定图像的高度方向上距离图像中心的棋盘格个数。
对于各角点分别得到实际距离和理想距离之后，计算得到各角点的畸变率，畸变率可以是实际距离与理想距离的差值除以理想距离得到的数值。
由于每个角点距离图像中心的距离不同，因此其所在位置的视场角不同，各角点的视场角可以通过以下公式进行表示：其中，α为角点对应的视场角，f为第二镜头的焦距。
因此，对于各角点，分别得到其视场角和畸变率，从而得到不同视场角下的畸变率曲线。图3提供了一种第一畸变率曲线和第二畸变率曲线的示意图，如图3所示，短焦也即第一镜头，长焦也即第二镜头，对第一棋盘格标定图像和第二棋盘格标定图像分别得到第一畸变率曲线和第二畸变率曲线，根据图3可知，第一镜头的畸变程度高于第二镜头。
A3、根据第一棋盘格标定图像中各角点的角点实际距离和角点理想距离，拟合得到第一畸变系数；
对于第一棋盘格标定图像中的各角点，同样分别得到实际距离和理想距离，由于镜头畸变可以通过以下公式进行表示：rd＝ri(1+kri 2)，其中，k为畸变参数，根据各角点的角点实际距离和角点理想距离，对上述公式进行拟合，可以得到与第一镜头匹配的第一畸变系数。
A4、根据目标畸变系数对第一棋盘格标定图像进行畸变校正，并根据畸变校正后的第一棋盘格标定图像中各角点的畸变率，得到目标畸变率曲线；
其中，所述目标畸变系数的取值为0到第一畸变系数；
其中，第一畸变系数用于表示理想图像达到第一镜头的实际成像效果时的畸变系数，畸变校正参数用于表示第一棋盘格标定图像要达到第二镜头的实际成像效果时的畸变系数。根据图3可知，畸变校正参数的取值应在0到第一畸变系数之间。因此，对0到第一畸变系数，根据预设搜索步长进行遍历，得到畸变校正参数。
在本发明实施例中，目标畸变系数为根据预设搜索步长在0到第一畸变系数进行遍历时的某一畸变系数取值。根据目标畸变系数对第一棋盘格标定图像进行畸变校正，对畸变校正后的第一棋盘格标定图像，采用上述相同的方式进行角点识别，对各角点分别计算得到视场角和畸变率，得到根据目标畸变系数对第一棋盘格标定图像畸变校正后的目标畸变率曲线。
具体的，可以通过以下公式，实现目标畸变系数对第一棋盘格标定图像的畸变校正：xd＝x(1+kir2)；yd＝y(1+kir2)，r2＝x2+y2，其中，(x，y)表示第一棋盘格标定图像中的像素点坐标，(xd，yd)表示目标畸变系数对第一棋盘格标定图像畸变校正的像素点坐标，ki表示目标畸变系数。可选的，若计算得到的xd、yd为浮点数，可以采用双线性插值的方式，得到与xd、yd匹配的整数取值，双线性插值方式为现有技术中的插值方式，本实施例对双线性插值的具体过程不再赘述。
A5、将目标畸变率曲线与第二畸变率曲线的误差满足预设误差条件时对应的目标畸变系数，作为畸变校正参数。
在0到第一畸变系数进行遍历时，对各目标畸变系数的取值，均计算得到对应的目标畸变率曲线。
可选的，预设误差条件可以是目标畸变率曲线与第二畸变率曲线之间的最小平方误差最小，也可以计算各畸变率曲线与第二畸变率曲线的欧氏距离，预设误差条件是指目标畸变率曲线与第二畸变率曲线的欧氏距离最小，但本实施例对预设误差条件不进行限制。
具体的，可以根据以下公式，对各帧图像进行畸变校正，以各帧图像中的目标帧图像为例：xd＝x(1+kxr2)；yd＝y(1+kxr2)；r2＝x2+y2；其中，(x，y)为目标帧图像中的像素坐标，(xd，yd)为畸变校正后的目标帧图像中的像素坐标，kx为目标帧图像匹配的畸变校正参数。
本申请实施例中，可选的，所述中心偏差参数的标定过程包括B1-B2：
B1、根据拍摄装置的第二镜头的当前变倍位置、聚焦位置，以及第二镜头的聚焦位置与物距的关系曲线，确定当前物距；
具体的，对于固定场景的拍摄装置，只需要在场景固定之后，根据B1确定当前物距，从而计算得到中心偏差参数。
图4提供了一种聚焦位置与物距的关系曲线的示意图，如图4所示，不同物距下变倍位置与聚焦位置的对应关系不同。聚焦位置与物距的关系曲线可以预先通过标定得到，或者通过变焦拍摄装置的光学参数计算得到，本实施例对此不进行限制。
在本发明实施例中，获取第二镜头的变倍位置、聚焦位置，以及聚焦位置与物距的关系曲线，即可计算得到当前物距。若变倍位置和聚焦位置的取值不在预设的关系曲线上，则可以对预设的关系曲线进行线性插值，得到当前物距。示例性的，若某点(ZPos，FPos)处于物距为5m的曲线和物距为10m的曲线之间，ZPos表示变倍位置，FPos表示聚焦位置，则在ZPos下，物距为5m的曲线对应的聚焦位置为FPos5m，物距为10m的曲线对应的聚焦位置为FPos10m，则通过以下公式计算当前物距D：
可选的，在非固定场景下，可以获取当前云台位置，并确定与所述当前云台位置匹配的当前物距。
其中，所述当前物距为根据拍摄装置在当前云台位置下的第二镜头的变倍位置、聚焦位置，以及第二镜头的聚焦位置与物距的关系曲线确定得到。
当前为非固定场景时，示例性的，变焦拍摄设备可以为球型摄像装置或者云台一体机。此时，对于各云台位置，分别预先根据第二镜头的变倍位置、聚焦位置以及聚焦位置与物距的关系曲线，确定各云台位置对应的物距。物距的确定过程上述步骤已进行说明，本步骤在此不再赘述。在非固定场景下，根据当前云台位置，确定当前云台位置对应的物距。
B2、根据当前物距以及预先标定得到的物距与中心偏差之间的映射关系，得到中心偏差参数。
本申请实施例中，可选的，所述物距与中心偏差之间的映射关系的标定过程包括C1-C6：
C1、分别获取第一镜头和第二镜头在标定物距下的第一标志物标定图像和第二标志物标定图像；
具体的，在标定物距下，通过第一镜头对标定图像拍摄得到第一标志物标定图像，通过第二镜头对标定图像拍摄得到第二标志物标定图像。
其中，标定图像中设置两个间距为L的标志物，同时，为了便于后续进行特征点匹配，可以尽可能多的在标定图像中设置细节。
C2、对第一标志物标定图像和第二标志物标定图像进行特征点匹配，得到第一特征点集合和第二特征点集合；
在进行特征点匹配之前，通过预先标定得到的畸变校正参数对第一标志物标定图像进行畸变校正，并将畸变校正后的第一标志物标定图像以及第二标志物标定图像均转换为灰度图。
对转换为灰度图后的两幅图像进行特征点匹配，匹配的特征点集合分别记为与畸变校正后的第一标志物标定图像对应的第一特征点集合，以及与第二标志物标定图像对应的第二特征点集合。
对示例性的，可以采用SIFT(Scale Invariant Feature Transform，尺度不变特征变换匹配)算法，或者SURF(Speeded-Up Robust Features，加速稳健特征)算法等进行特征点匹配，本实施例对特征点匹配采用的具体算法不进行限制。
C3、根据第一特征点集合、第二特征点集合以及相似变换公式，得到缩放系数、旋转参数、中心偏差横坐标值以及中心偏差纵坐标值；
其中，相似变换公式为Q＝SRP+T；其中，P表示畸变校正后的第一标志物标定图像对应的灰度图中的特征点，Q表示与P匹配的、第二标志物标定图像对应的灰度图中的特征点，R为旋转矩阵，θ表示图像传感器面内旋转角度，也即旋转参数，T为平移矩阵，Tx为中心偏差横坐标值，Ty为中心偏差纵坐标值，则P和Q在齐次坐标系下的关系可以通过以下公式进行表示：
其中，(xQ，yQ)表示Q的像素坐标，(xP，yP)表示P的像素坐标。
将上述公式转换为以图像中心为参考点进行平移和旋转时的公式：
其中，W表示图像宽度，H表示图像高度。
将第一特征点集合和第二特征点集合中的特征点对代入上述公式中，得到缩放系数、旋转参数、中心偏差横坐标值以及中心偏差纵坐标值四个参数的取值。
进一步的，为了减少特征点匹配的误差对参数计算结果的影响，可以通过以下步骤D1-D6，计算缩放系数、旋转参数、中心偏差横坐标值以及中心偏差纵坐标值：
D1、在第一特征点集合中，确定至少两对第一特征点对，其中，第一特征点对中包括两个第一特征点，并且两个第一特征点之间的距离大于或等于预设距离阈值。
在第一特征点集合中任选距离大于等于预设距离阈值的两个第一特征点，用于计算缩放系数、旋转参数、中心偏差横坐标值以及中心偏差纵坐标值，这样设置可以减少第一特征点之间距离太近对参数计算造成的误差。
D2、根据第一特征点对中的各第一特征点，以及与各第一特征点匹配的第二特征点，计算候选变换参数。
变换参数也即缩放系数、旋转参数、中心偏差横坐标值以及中心偏差纵坐标值。
D3、对第一特征点集合中除第一特征点对之外的其余第一特征点，根据候选变换参数计算与其余第一特征点匹配的模拟第二特征点。
D4、计算模拟第二特征点以及与其余第一特征点匹配的第二特征点集合中的第二特征点的误差。
D5、根据误差小于预设误差阈值的模拟第二特征点的数量从大到小，对各候选变换参数进行排序。
D6、根据排序后的各候选变换参数，确定目标变换参数。
具体的，可以选取排序在前N组的候选变换参数，计算N组候选变换参数的平均值作为目标变换参数，也可以将排序第一位的候选变换参数作为目标变换参数，本实施例对此不进行限制。
C4、根据第一镜头和第二镜头之间的光轴间距、图像像素数量以及标志物间距，确定像素偏差；
C5、根据中心偏差横坐标值和中心偏差纵坐标值确定平移向量；
C6、根据像素偏差、平移向量以及标定物距，确定物距与中心偏差之间的映射关系。
具体的，物距与中心偏差之间的映射关系可以通过以下公式进行表示：C2＝(Tx，Ty)；其中，OffsetD表示第一镜头相对于第二镜头在物距D下的中心偏差，Dc表示标定物距，C1表示像素偏差，C2表示平移向量，B表示第一镜头和第二镜头之间的光轴间距，n表示图像像素数量，L表示标志物间距，Tx表示中心偏差横坐标值，Ty表示中心偏差纵坐标值。
物距与中心偏差的映射关系公式的推导过程为：
以两颗镜头垂直方向并排安装为例，镜头光轴水平间距为零。图5提供了一种镜头中心偏移示意图，如图5所示，当镜头模组一也即第一镜头，与镜头模组二也即第二镜头的光轴平行时，垂直方向光轴间距为B，物距为D，焦距为f，两个镜头分别成像的图像中心偏差为b，则当第一镜头和第二镜头的光轴存在夹角β时，由于夹角导致的偏差为C，C＝D*tanβ，C导致的偏差为c，则/>
图像中心偏差由B导致的偏差b和由C导致的偏差c组成，总偏差为Offset，则在标定物距Dc下，/>因此，对于任意物距，其中心偏差可以表示为/>
由于OffsetDc为物距为Dc时的中心偏差，也即(Tx，Ty)，B、Dc均可以在标定过程中得到，f可以通过以下公式得到：因此，/>将f代入中，并将OffsetD换算为像素尺寸，可以得到进而可得到物距与中心偏差的映射关系公式。
进一步的，对各帧图像根据中心偏差参数进行平移的过程中，可以设置中心校正缩放率。中心校正缩放率的含义表明，在根据中心偏差参数对畸变校正后的各帧图像进行平移时，根据中心校正缩放率确定各帧图像中的平移区域。示例性的，中心校正缩放率可以设置为96％，也即，在各帧图像中裁剪出96％的区域进行中心平移校正。中心校正缩放率可以根据变焦拍摄装置的硬件误差进行设置，但是，本实施例对中心校正缩放率的具体数值不进行限制。
进一步的，对各帧图像根据匹配的旋转参数进行旋转过程中，可以设置旋转校正缩放率。旋转校正缩放率的含义表明，在根据旋转参数对平移后的图像进行旋转时，根据旋转校正缩放率确定平移区域中的旋转区域。示例性的，旋转校正缩放率可以设置为94％，也即，在中心平移校正后的区域中再裁剪出94％的区域进行旋转校正。旋转校正缩放率可以根据变焦拍摄装置的硬件误差进行设置，但是，本实施例对旋转校正缩放率选取的具体数值不进行限制。
实施例二
图6为本申请实施例二提供的一种数字变倍方法的流程图，本申请实施例以上述实施例为基础对各帧图像匹配的数字变倍倍率的确定过程进行具体化。
如图6所示，本申请实施例的方法具体包括如下步骤：
S210，获取预先标定得到的畸变校正参数和旋转参数，并确定中心偏差参数。
S220，根据变倍时间以及拍摄装置的帧率，确定完成数字变倍所需的图像帧数。
其中，变倍时间的获取过程上述实施例中已进行具体说明，本实施例在此不再赘述。拍摄装置至少包括两个镜头，即上述实施例中的第一镜头和第二镜头。拍摄装置的帧率可以反映每秒钟拍摄的图像数量。
具体的，将变倍时间的单位换算成秒，再将变倍时间乘以拍摄装置的帧率，得到完成数字变倍所需的图像帧数。在数字变倍过程中，需要在各帧图像中逐步进行畸变校正、中心平移校正和旋转校正，并对校正后的各帧图像进行数字变倍，以实现数字变倍过程中的图像平滑过渡，减少视场角的损失。
S230，根据所述图像帧数以及数字变倍阈值，确定数字变倍步长。
具体的，在数字变倍过程中，需要在各帧图像中逐步完成数字变倍，即经过各帧图像的数字变倍后，最后一帧图像的数字变倍倍率达到数字变倍阈值，因此，可以根据所述图像帧数以及数字变倍阈值，确定数字变倍步长。
示例性的，理论数字变倍步长可表示为：
其中，step为理论数字变倍步长，fn为图像帧数，Zthd为数字变倍阈值。在上述公式中，对数字变倍阈值开根号下fn-1次方，得到连续两帧图像之间的理论数字变倍步长，即按照理论数字变倍步长逐步增大数字变倍倍率后，最后一帧图像匹配的数字变倍倍率正好达到数字变倍阈值。
进一步的，得到理论数字变倍步长后，为使各帧图像匹配的数字变倍倍率为整数，可以对理论数字变倍步长向下取整，得到数字变倍步长Zstep。
S240，根据所述数字变倍步长，确定与各帧图像匹配的数字变倍倍率，并将最后一帧图像匹配的数字变倍倍率调整为所述数字变倍阈值。
其中，各帧图像除最后一帧图像之外的其余图像中，当前帧图像的数字变倍倍率与前一帧图像的数字变倍倍率之间的比值，为数字变倍步长。
具体的，由于即按照数字变倍步长放大各帧图像匹配的数字变倍倍率后，最后一帧图像匹配的数字变倍倍率小于数字变倍阈值，所以，需要将最后一帧图像匹配的数字变倍倍率调整为所述数字变倍阈值。
本申请实施例中，设置最后一帧图像匹配的数字变倍倍率为数字变倍阈值，可以解决因精度损失导致的视场角大小不一致问题。示例性的，数字变倍共分fn帧完成，各帧图像匹配的数字变倍倍率可表示为：Zstep 1、Zstep 2、…Zthd，Zstep 0为第一镜头在焦距为f1时的数字变倍倍率，此时数字变倍倍率为1。
S250，根据预设的参数确定规则以及畸变校正参数，确定与各帧图像匹配的畸变校正参数，以及，根据预设的参数确定规则以及旋转参数，确定与各帧图像匹配的旋转参数。
本申请实施例中，可选的，所述预设的参数确定规则包括E1-E2：
E1、若确定预先标定得到的目标校正参数小于图像帧数与目标校正参数有效步长的乘积，则从第一帧图像开始，根据目标校正参数有效步长，确定与各帧图像匹配的目标校正参数；
其中，各帧图像中，与当前帧图像匹配的目标校正参数和与前一帧图像匹配的目标校正参数之间的差值，为目标校正参数有效步长；所述目标校正参数为畸变校正参数或者旋转参数。
在一个可行的实施例中，目标校正参数有效步长可根据实际情况确定，本申请实施例对目标校正参数有效步长的具体数值不做限定。示例性的，目标校正参数有效步长可以是最小有效步长，最小有效步长可以反映连续两帧图像在切换过程中，具备一定校正效果的步长。
具体的，在确定各帧图像匹配的目标校正参数过程中，若预先标定得到的目标校正参数小于图像帧数与目标校正参数有效步长的乘积，说明在各帧图像中，在最后一帧图像或最后一帧图像之前，各帧图像匹配的目标校正参数已达到目标校正参数，进而可按照目标校正参数有效步长，确定与各帧图像匹配的目标校正参数。
E2、若确定当前帧图像以及当前帧图像之前的各图像的图像数量，与目标校正参数有效步长的乘积大于或者等于预先标定得到的目标校正参数，则将预先标定得到的目标校正参数，作为与当前帧图像以及当前帧图像之后的各图像匹配的目标校正参数。
本申请实施例中，由于预先标定得到的目标校正参数小于图像帧数与目标校正参数有效步长的乘积，则根据目标校正参数有效步长，确定与各帧图像匹配的目标校正参数后，从当前帧图像开始，当前帧图像以及当前帧图像之后的各帧图像匹配的目标校正参数大于或等于目标校正参数，需要将预先标定得到的目标校正参数，作为与当前帧图像以及当前帧图像之后的各图像匹配的目标校正参数。
示例性的，预先标定得到的目标校正参数表示为kx，目标校正参数有效步长可表示为Dstep，则各帧图像匹配的目标校正参数可表示为：Dstep*1、Dstep*2、…Dstep*(i-1)、kx、…kx。
本方案中，将当前帧图像之前的各帧图像匹配的目标校正参数根据目标校正参数有效步长逐步增加，将当前帧图像以及当前帧图像之后的各帧图像匹配的目标校正参数设置为预先标定得到的目标校正参数，使得在数字变倍过程中，接近第一镜头和第二镜头切换点的图像的旋转校正和畸变校正程度的变化较低，确保了切换镜头过程中图像的平滑过渡。
本申请实施例中，可选的，所述预设的参数确定规则还包括F1-F2：
F1、若确定预先标定得到的目标校正参数大于或者等于图像帧数与目标校正参数有效步长的乘积，则从第一帧图像开始，根据目标校正参数有效步长，确定与各帧图像匹配的目标校正参数，并计算预先标定得到的目标校正参数和与最后一帧图像匹配的目标校正参数的差值；
具体的，若确定预先标定得到的目标校正参数大于或者等于图像帧数与目标校正参数有效步长的乘积，说明按照目标校正参数有效步长逐步增加各帧图像匹配的目标校正参数，最后一帧图像匹配的目标校正参数会小于预先标定得到的目标校正参数，需要根据预先标定得到的目标校正参数和与最后一帧图像匹配的目标校正参数的差值进行后续的调整，以使最后一帧图像匹配的目标校正参数达到预先标定得到的目标校正参数。
示例性的，预先标定得到的目标校正参数和与最后一帧图像匹配的目标校正参数的差值kremain可表示为：
kremain＝kx-Dstep*fn。
F2、重复执行从第一帧图像开始，根据目标校正参数有效步长，确定与各帧图像匹配的目标校正参数的操作，直至与目标帧图像匹配的目标校正参数大于或者等于预先标定得到的目标校正参数，将预先标定得到的目标校正参数作为与目标帧图像以及目标帧图像之后的各图像匹配的目标校正参数。
其中，目标帧图像之前的相邻两帧图像的目标校正参数差值，大于或者等于目标帧图像以及目标帧图像之后的相邻两帧图像的目标校正参数差值。
示例性的，若图像帧数为5，预先标定得到的目标校正参数为20，目标校正参数有效步长为3，则根据目标校正参数有效步长，确定与各帧图像匹配的目标校正参数为：3、6、9、12、15，由于最后一帧图像匹配的目标校正参数小于预先标定得到的目标校正参数，需要根据目标校正参数有效步长和kremain，调整与各帧图像匹配的目标校正参数。在一个可行的实施例中，初步调整与各帧图像匹配的目标校正参数后，得到：6、9、12、15、18，由于最后一帧图像匹配的目标校正参数仍小于预先标定得到的目标校正参数，则再次调整与各帧图像匹配的目标校正参数为：9、12、15、18、20。显而易见的是，上述仅仅是本申请实施例一个具体的各帧图像匹配的目标校正参数的确定方式，本申请实施例对各帧图像匹配的目标校正参数确定过程不做限定。
本方案通过这样设置，使得各帧图像匹配的目标校正参数中，靠近镜头切换点(靠近最后一帧图像)的各帧图像匹配的目标校正参数的差值较小，使得在数字变倍过程中，靠近镜头切换点的图像的旋转校正和畸变校正程度的变化量较低，确保了切换镜头过程中图像的平滑过渡。
S260，对各帧图像依次根据匹配的畸变校正参数进行畸变校正、根据中心偏差参数进行平移，以及根据匹配的旋转参数进行旋转，并根据匹配的数字变倍倍率进行裁剪和重建，以实现数字变倍。
本申请实施例的技术方案，包括：获取预先标定得到的畸变校正参数和旋转参数，并确定中心偏差参数；根据变倍时间以及拍摄装置的帧率，确定完成数字变倍所需的图像帧数；根据所述图像帧数以及数字变倍阈值，确定数字变倍步长；根据所述数字变倍步长，确定与各帧图像匹配的数字变倍倍率，并将最后一帧图像匹配的数字变倍倍率调整为所述数字变倍阈值；根据预设的参数确定规则以及畸变校正参数，确定与各帧图像匹配的畸变校正参数，以及，根据预设的参数确定规则以及旋转参数，确定与各帧图像匹配的旋转参数；对各帧图像依次根据匹配的畸变校正参数进行畸变校正、根据中心偏差参数进行平移，以及根据匹配的旋转参数进行旋转，并根据匹配的数字变倍倍率进行裁剪和重建，以实现数字变倍。本技术方案根据所述数字变倍步长，确定与各帧图像匹配的数字变倍倍率，并将最后一帧图像匹配的数字变倍倍率调整为所述数字变倍阈值，解决了因精度损失导致的视场角大小不一致问题，提高了数字变倍过程中，图像切换的平滑性。
实施例三
图7为本申请实施例三提供的一种数字变倍装置的结构示意图，该装置可执行本发明任意实施例所提供的数字变倍方法，具备执行方法相应的功能模块和有益效果。如图7所示，该装置包括：
参数获取模块310，用于获取预先标定得到的畸变校正参数和旋转参数，并确定中心偏差参数；
数字变倍倍率确定模块320，用于根据数字变倍阈值以及变倍时间，确定与各帧图像匹配的数字变倍倍率；
参数确定模块330，用于根据预设的参数确定规则以及畸变校正参数，确定与各帧图像匹配的畸变校正参数，以及，根据预设的参数确定规则以及旋转参数，确定与各帧图像匹配的旋转参数；
数字变倍模块340，用于对各帧图像依次根据匹配的畸变校正参数进行畸变校正、根据中心偏差参数进行平移，以及根据匹配的旋转参数进行旋转，并根据匹配的数字变倍倍率进行裁剪和重建，以实现数字变倍。
可选的，数字变倍倍率确定模块320，包括：
图像帧数确定单元，用于根据变倍时间以及拍摄装置的帧率，确定完成数字变倍所需的图像帧数；
数字变倍步长确定单元，用于根据所述图像帧数以及数字变倍阈值，确定数字变倍步长；
数字变倍倍率确定单元，用于根据所述数字变倍步长，确定与各帧图像匹配的数字变倍倍率，并将最后一帧图像匹配的数字变倍倍率调整为所述数字变倍阈值。
可选的，所述装置还包括规则确定模块，用于确定预设的参数确定规则，所述规则确定模块包括：
第一目标校正参数确定单元，用于若确定预先标定得到的目标校正参数小于图像帧数与目标校正参数有效步长的乘积，则从第一帧图像开始，根据目标校正参数有效步长，确定与各帧图像匹配的目标校正参数；
其中，各帧图像中，与当前帧图像匹配的目标校正参数和与前一帧图像匹配的目标校正参数之间的差值，为目标校正参数有效步长；
第二目标校正参数确定单元，用于若确定当前帧图像以及当前帧图像之前的各图像的图像数量，与目标校正参数有效步长的乘积大于或者等于预先标定得到的目标校正参数，则将预先标定得到的目标校正参数，作为与当前帧图像以及当前帧图像之后的各图像匹配的目标校正参数；
其中，所述目标校正参数为畸变校正参数或者旋转参数。
可选的，所述规则确定模块还包括：
第三目标校正参数确定单元，用于若确定预先标定得到的目标校正参数大于或者等于图像帧数与目标校正参数有效步长的乘积，则从第一帧图像开始，根据目标校正参数有效步长，确定与各帧图像匹配的目标校正参数，并计算预先标定得到的目标校正参数和与最后一帧图像匹配的目标校正参数的差值；
第四目标校正参数确定单元，用于重复执行从第一帧图像开始，根据目标校正参数有效步长，确定与各帧图像匹配的目标校正参数的操作，
直至与目标帧图像匹配的目标校正参数大于或者等于预先标定得到的目标校正参数，将预先标定得到的目标校正参数作为与目标帧图像以及目标帧图像之后的各图像匹配的目标校正参数。
可选的，所述装置还包括畸变校正参数标定模块，具体用于：
分别获取第一镜头在物距为无穷远时的第一棋盘格标定图像和第二镜头在物距为无穷远时的第二棋盘格标定图像，并分别对第一棋盘格标定图像和第二棋盘格标定图像进行角点识别；
确定第二棋盘格标定图像中各角点的畸变率，得到第二畸变率曲线；
根据第一棋盘格标定图像中各角点的角点实际距离和角点理想距离，拟合得到第一畸变系数；
根据目标畸变系数对第一棋盘格标定图像进行畸变校正，并根据畸变校正后的第一棋盘格标定图像中各角点的畸变率，得到目标畸变率曲线；
其中，所述目标畸变系数的取值为0到第一畸变系数；
将目标畸变率曲线与第二畸变率曲线的误差满足预设误差条件时对应的目标畸变系数，作为畸变校正参数。
可选的，所述装置还包括中心偏差参数标定模块，具体用于：
根据拍摄装置的第二镜头的当前变倍位置、聚焦位置，以及第二镜头的聚焦位置与物距的关系曲线，确定当前物距；
根据当前物距以及预先标定得到的物距与中心偏差之间的映射关系，得到中心偏差参数。
可选的，所述装置还包括物距与中心偏差之间的映射关系标定模块，具体用于：
分别获取第一镜头和第二镜头在标定物距下的第一标志物标定图像和第二标志物标定图像；
对第一标志物标定图像和第二标志物标定图像进行特征点匹配，得到第一特征点集合和第二特征点集合；
根据第一特征点集合、第二特征点集合以及相似变换公式，得到缩放系数、旋转参数、中心偏差横坐标值以及中心偏差纵坐标值；
根据第一镜头和第二镜头之间的光轴间距、图像像素数量以及标志物间距，确定像素偏差；
根据中心偏差横坐标值和中心偏差纵坐标值确定平移向量；
根据像素偏差、平移向量以及标定物距，确定物距与中心偏差之间的映射关系。
本申请实施例所提供的一种数字变倍装置可执行本发明任意实施例所提供的一种数字变倍方法，具备执行方法相应的功能模块和有益效果。
实施例四
图8示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图8所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。
电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如数字变倍方法。
在一些实施例中，数字变倍方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的数字变倍方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行数字变倍方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (10)
1.一种数字变倍方法，其特征在于，包括：
获取预先标定得到的畸变校正参数和旋转参数，并确定中心偏差参数；
根据数字变倍阈值以及变倍时间，确定与各帧图像匹配的数字变倍倍率；
根据预设的参数确定规则以及畸变校正参数，确定与各帧图像匹配的畸变校正参数，以及，根据预设的参数确定规则以及旋转参数，确定与各帧图像匹配的旋转参数；
对各帧图像依次根据匹配的畸变校正参数进行畸变校正、根据中心偏差参数进行平移，以及根据匹配的旋转参数进行旋转，并根据匹配的数字变倍倍率进行裁剪和重建，以实现数字变倍。
2.根据权利要求1所述的方法，其特征在于，根据数字变倍阈值以及变倍时间，确定与各帧图像匹配的数字变倍倍率，包括：
根据变倍时间以及拍摄装置的帧率，确定完成数字变倍所需的图像帧数；
根据所述图像帧数以及数字变倍阈值，确定数字变倍步长；
根据所述数字变倍步长，确定与各帧图像匹配的数字变倍倍率，并将最后一帧图像匹配的数字变倍倍率调整为所述数字变倍阈值。
3.根据权利要求2所述的方法，其特征在于，所述预设的参数确定规则包括：
若确定预先标定得到的目标校正参数小于图像帧数与目标校正参数有效步长的乘积，则从第一帧图像开始，根据目标校正参数有效步长，确定与各帧图像匹配的目标校正参数；
其中，各帧图像中，与当前帧图像匹配的目标校正参数和与前一帧图像匹配的目标校正参数之间的差值，为目标校正参数有效步长；
若确定当前帧图像以及当前帧图像之前的各图像的图像数量，与目标校正参数有效步长的乘积大于或者等于预先标定得到的目标校正参数，则将预先标定得到的目标校正参数，作为与当前帧图像以及当前帧图像之后的各图像匹配的目标校正参数；
其中，所述目标校正参数为畸变校正参数或者旋转参数。
4.根据权利要求3所述的方法，其特征在于，所述预设的参数确定规则还包括：
若确定预先标定得到的目标校正参数大于或者等于图像帧数与目标校正参数有效步长的乘积，则从第一帧图像开始，根据目标校正参数有效步长，确定与各帧图像匹配的目标校正参数，并计算预先标定得到的目标校正参数和与最后一帧图像匹配的目标校正参数的差值；
重复执行从第一帧图像开始，根据目标校正参数有效步长，确定与各帧图像匹配的目标校正参数的操作，直至与目标帧图像匹配的目标校正参数大于或者等于预先标定得到的目标校正参数，将预先标定得到的目标校正参数作为与目标帧图像以及目标帧图像之后的各图像匹配的目标校正参数；
其中，目标帧图像之前的相邻两帧图像的目标校正参数差值，大于或者等于目标帧图像以及目标帧图像之后的相邻两帧图像的目标校正参数差值。
5.根据权利要求1所述的方法，其特征在于，所述畸变校正参数的标定过程包括：
分别获取第一镜头在物距为无穷远时的第一棋盘格标定图像和第二镜头在物距为无穷远时的第二棋盘格标定图像，并分别对第一棋盘格标定图像和第二棋盘格标定图像进行角点识别；
确定第二棋盘格标定图像中各角点的畸变率，得到第二畸变率曲线；
根据第一棋盘格标定图像中各角点的角点实际距离和角点理想距离，拟合得到第一畸变系数；
根据目标畸变系数对第一棋盘格标定图像进行畸变校正，并根据畸变校正后的第一棋盘格标定图像中各角点的畸变率，得到目标畸变率曲线；
其中，所述目标畸变系数的取值为0到第一畸变系数；
将目标畸变率曲线与第二畸变率曲线的误差满足预设误差条件时对应的目标畸变系数，作为畸变校正参数。
6.根据权利要求1所述的方法，其特征在于，所述中心偏差参数的标定过程包括：
根据拍摄装置的第二镜头的当前变倍位置、聚焦位置，以及第二镜头的聚焦位置与物距的关系曲线，确定当前物距；
根据当前物距以及预先标定得到的物距与中心偏差之间的映射关系，得到中心偏差参数。
7.根据权利要求6所述的方法，其特征在于，所述物距与中心偏差之间的映射关系的标定过程包括：
分别获取第一镜头和第二镜头在标定物距下的第一标志物标定图像和第二标志物标定图像；
对第一标志物标定图像和第二标志物标定图像进行特征点匹配，得到第一特征点集合和第二特征点集合；
根据第一特征点集合、第二特征点集合以及相似变换公式，得到缩放系数、旋转参数、中心偏差横坐标值以及中心偏差纵坐标值；
根据第一镜头和第二镜头之间的光轴间距、图像像素数量以及标志物间距，确定像素偏差；
根据中心偏差横坐标值和中心偏差纵坐标值确定平移向量；
根据像素偏差、平移向量以及标定物距，确定物距与中心偏差之间的映射关系。
8.一种数字变倍装置，其特征在于，包括：
参数获取模块，用于获取预先标定得到的畸变校正参数和旋转参数，并确定中心偏差参数；
数字变倍倍率确定模块，用于根据数字变倍阈值以及变倍时间，确定与各帧图像匹配的数字变倍倍率；
参数确定模块，用于根据预设的参数确定规则以及畸变校正参数，确定与各帧图像匹配的畸变校正参数，以及，根据预设的参数确定规则以及旋转参数，确定与各帧图像匹配的旋转参数；
数字变倍模块，用于对各帧图像依次根据匹配的畸变校正参数进行畸变校正、根据中心偏差参数进行平移，以及根据匹配的旋转参数进行旋转，并根据匹配的数字变倍倍率进行裁剪和重建，以实现数字变倍。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的数字变倍方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的数字变倍方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211613146.4A CN118214816A (zh) | 2022-12-15 | 2022-12-15 | 一种数字变倍方法、装置、电子设备以及存储介质 |
| PCT/CN2023/097002 WO2024124816A1 (zh) | 2022-12-15 | 2023-05-30 | 一种数字变倍方法、装置、电子设备以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211613146.4A CN118214816A (zh) | 2022-12-15 | 2022-12-15 | 一种数字变倍方法、装置、电子设备以及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118214816A true CN118214816A (zh) | 2024-06-18 |
Family
ID=91451016
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211613146.4A Pending CN118214816A (zh) | 2022-12-15 | 2022-12-15 | 一种数字变倍方法、装置、电子设备以及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN118214816A (zh) |
| WO (1) | WO2024124816A1 (zh) |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104268863B (zh) * | 2014-09-18 | 2017-05-17 | 浙江宇视科技有限公司 | 一种变倍校正方法和设备 |
| CN111447359B (zh) * | 2020-03-19 | 2021-07-02 | 展讯通信（上海）有限公司 | 数字变焦方法、系统、电子设备、介质及数字成像设备 |
| CN113630549B (zh) * | 2021-06-18 | 2023-07-14 | 北京旷视科技有限公司 | 变焦控制方法、装置、电子设备和计算机可读存储介质 |
| CN113691777B (zh) * | 2021-08-18 | 2023-02-28 | 浙江大华技术股份有限公司 | 球机的变倍跟踪方法及装置、存储介质及电子装置 |
-
2022
- 2022-12-15 CN CN202211613146.4A patent/CN118214816A/zh active Pending
-
2023
- 2023-05-30 WO PCT/CN2023/097002 patent/WO2024124816A1/zh unknown
Also Published As
| Publication number | Publication date |
|---|---|
| WO2024124816A1 (zh) | 2024-06-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020259271A1 (zh) | 图像畸变校正方法和装置 | |
| CN107705333B (zh) | 基于双目相机的空间定位方法及装置 | |
| CN110493525B (zh) | 变焦图像确定方法及装置、存储介质、终端 | |
| WO2021017532A1 (zh) | 图像融合方法及装置、存储介质、终端 | |
| CN110533618B (zh) | 一种镜头畸变矫正的方法和照相装置 | |
| CN111325798A (zh) | 相机模型纠正方法、装置、ar实现设备及可读存储介质 | |
| CN111340737A (zh) | 图像矫正方法、装置和电子系统 | |
| CN114494388A (zh) | 一种大视场环境下图像三维重建方法、装置、设备及介质 | |
| US8472756B2 (en) | Method for producing high resolution image | |
| CN111818260B (zh) | 一种自动聚焦方法和装置及电子设备 | |
| JP2009301181A (ja) | 画像処理装置、画像処理プログラム、画像処理方法、および電子機器 | |
| CN118214816A (zh) | 一种数字变倍方法、装置、电子设备以及存储介质 | |
| CN105654474A (zh) | 基于视觉引导的机械臂定位方法及装置 | |
| CN115311624B (zh) | 一种边坡位移监测方法、装置、电子设备及存储介质 | |
| CN106709942B (zh) | 一种基于特征方位角的全景图像误匹配消除方法 | |
| KR101255742B1 (ko) | 렌즈 왜곡 보정 파라미터 결정 기법 | |
| Wang et al. | A Capture to Registration Framework for Realistic Image Super-Resolution in the Industry Environment | |
| CN117994174A (zh) | 一种焦距拼接方法、装置、电子设备以及存储介质 | |
| CN112927304A (zh) | 一种基于卷积神经网络的鱼眼镜头标定方法 | |
| TWI770992B (zh) | 避免過度配適之配適法 | |
| CN106408499A (zh) | 用于图像处理的逆向映射表的获取方法及装置 | |
| CN116485916A (zh) | 全景相机标定方法、装置、电子设备以及存储介质 | |
| CN116542987B (zh) | 一种图像裁剪方法、装置、电子设备及存储介质 | |
| CN112991179B (zh) | 用于输出信息的方法、装置、设备以及存储介质 | |
| CN114374783B (zh) | 校准方法、装置、监控设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |