CN111935397A - 图像的处理方法、装置、电子设备和计算机可读介质 - Google Patents
图像的处理方法、装置、电子设备和计算机可读介质 Download PDFInfo
- Publication number
- CN111935397A CN111935397A CN202010649504.1A CN202010649504A CN111935397A CN 111935397 A CN111935397 A CN 111935397A CN 202010649504 A CN202010649504 A CN 202010649504A CN 111935397 A CN111935397 A CN 111935397A
- Authority
- CN
- China
- Prior art keywords
- image
- magnification
- determining
- switching
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 13
- 238000012937 correction Methods 0.000 claims abstract description 111
- 238000003384 imaging method Methods 0.000 claims abstract description 55
- 238000000034 method Methods 0.000 claims abstract description 52
- 238000012545 processing Methods 0.000 claims abstract description 22
- 239000011159 matrix material Substances 0.000 claims description 121
- 230000003287 optical effect Effects 0.000 claims description 105
- 230000009466 transformation Effects 0.000 claims description 53
- 238000004364 calculation method Methods 0.000 claims description 33
- 238000005520 cutting process Methods 0.000 claims description 33
- 230000003321 amplification Effects 0.000 claims description 20
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 20
- 230000001131 transforming effect Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 230000008901 benefit Effects 0.000 abstract description 6
- 230000008569 process Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000003860 storage Methods 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000003702 image correction Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
- H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明提供了一种图像的处理方法、装置、电子设备和计算机可读介质，涉及图像处理的技术领域，包括：获取第一摄像装置采集到的预览图像，得到第一图像；获取第一图像的当前放大倍率，并在当前放大倍率小于切换放大倍率的情况下，根据当前放大倍率和切换放大倍率确定当前时刻的数字变焦参数；根据数字变焦参数对第一图像进行图像立体校正，得到校正之后的第一图像；反复执行上述步骤，直至当前放大倍率等于切换放大倍率时，切换至利用第二摄像装置拍摄图像。本申请缓解了采用现有技术中在进行摄像装置成像切换时旋转感明显的技术问题。
Description
技术领域
本发明涉及图像处理的技术领域，尤其是涉及一种图像的处理方法、装置、电子设备和计算机可读介质。
背景技术
对于移动终端而言，其摄像装置通常都是定焦镜头，只能实现数字变焦。而随着用户对拍摄、摄像等功能的要求越来越高，为了解决数字变焦在高变焦倍率下的缺陷，业界则越来越多的在移动终端上搭载两个或多颗焦距不同的摄像装置进行搭配，如一颗镜头FOV(field angle，视场角)＝80°，一颗镜头FOV＝40°。此时可以将数字变焦与光学变焦相结合，来满足用户。数字变焦与光学变焦相结合是指通过一个摄像装置进行图像的放大，再切换至另外一个摄像装置进行成像，上述方法又称为光学数字联合变焦。但事实上，对于焦距而言，每颗摄像装置在组装时都有一定误差，其真实焦距与镜头厂商给的理论参考值也是有差异的；而对光轴而言，两个摄像装置组装在一起时，其光轴也会产生误差，而不是绝对的平行，导致两个摄像装置所观测的方向不完全一致，进而在切换摄像装置时导致不好的用户体验。例如，在实现镜头切换时，产生旋转感。
发明内容
有鉴于此，本发明的目的在于提供一种图像的处理方法、装置、电子设备和计算机可读介质，以缓解了采用现有技术中在进行摄像装置成像切换时旋转感明显的技术问题。
第一方面，本发明实施例提供了一种图像的处理方法，应用于移动终端，所述移动终端包括：第一摄像装置和第二摄像装置，所述第一摄像装置和所述第二摄像装置的视场角不同，所述方法包括：获取所述第一摄像装置采集到的预览图像，得到第一图像；获取所述第一图像的当前放大倍率，并在所述当前放大倍率小于切换放大倍率的情况下，根据所述当前放大倍率和切换放大倍率确定当前时刻的数字变焦参数，所述数字变焦参数包括：图像旋转参数和图像放大参数；根据所述数字变焦参数对所述第一图像进行图像立体校正，得到校正之后的所述第一图像；反复执行上述步骤，直至所述当前放大倍率等于所述切换放大倍率时，切换至利用所述第二摄像装置拍摄图像；当切换至利用所述第二摄像装置拍摄图像时，校正之后的第一图像的图像尺度和所述第二摄像装置在全视场角下拍摄的图像尺度相同，且校正之后的第一图像的图像内容角度和所述第二摄像装置所拍摄图像的图像内容角度相同。
进一步地，获取所述第一摄像装置采集到的预览图像，得到第一图像包括：判断所述预览图像是否满足裁剪条件；其中，所述裁剪条件为基于所述第一摄像装置和所述第二摄像装置之间的光轴误差确定的条件；若所述预览图像满足裁剪条件，则对所述预览图像进行裁剪，裁剪之后得到所述第一图像。
进一步地，判断所述预览图像是否满足所述裁剪条件包括：确定将所述预览图像按照第一变换矩阵进行变换之后得到的目标变换图像的最大内接矩形的尺寸信息；所述第一变换矩阵为基于光轴角度确定的变换矩阵，所述光轴角度用于表征所述第一摄像装置和所述第二摄像装置之间的光轴误差，且所述第一变换矩阵为所述移动终端由所述第一摄像装置切换至所述第二摄像装置进行成像时，对所述第一图像进行图像立体校正变换的变换矩阵；如果所述最大内接矩形的尺寸信息小于数字变焦裁切尺度，则确定所述预览图像满足所述裁剪条件。
进一步地，对所述预览图像进行裁剪，裁剪之后得到所述第一图像包括：按照所述目标变换图像的最大内接矩形的尺寸对所述预览图像进行裁剪，裁剪之后得到所述第一图像。
进一步地，确定将所述预览图像按照第一变换矩阵进行变换之后得到的目标变换图像的最大内接矩形的尺寸信息包括：按照所述第一变换矩阵对所述预览图像进行变换，得到所述目标变换图像；确定所述预览图像的对角线和所述目标变换图像之间的交点，得到多个第二交点；确定所述预览图像的对角线交点和每个所述第二交点之间的长度，得到多个长度值；基于所述多个长度值中的最小的长度值确定所述目标变换图像的最大内接矩形，并根据所确定出的最大内接矩形确定所述最大内接矩形的尺寸信息。
进一步地，所述第一变换矩阵为：H'zoom＝Hzoom×Hwide，其中，Hzoom为放大矩阵，Hwide为图像旋转矩阵，所述图像旋转矩阵中包含所述第一摄像装置的内参数和所述光轴角度，所述放大矩阵中包含所述预览图像的中心点和切换放大倍率。
进一步地，根据所述当前放大倍率和切换放大倍率确定当前时刻的数字变焦参数包括：根据所述当前放大倍率和所述切换放大倍率确定所述图像旋转参数；根据所述当前放大倍率确定所述图像放大参数。
进一步地，所述图像旋转参数为立体校正矩阵，所述图像放大参数为图像放大矩阵；根据所述当前放大倍率和所述切换放大倍率确定所述图像旋转参数包括：根据所述当前放大倍率和所述切换放大倍率确定当前时刻的旋转分量；根据所述当前时刻的旋转分量和所述第一摄像装置的内参数确定所述立体校正矩阵；根据所述当前放大倍率确定所述图像放大参数包括：获取所述第一图像的图像中心点坐标，根据所述当前放大倍率和所述第一图像的图像中心点坐标确定所述图像放大矩阵。
进一步地，所述当前时刻的旋转分量包括：第一方向的光轴夹角的叠加旋转分量、第二方向的光轴夹角的叠加旋转分量、第三方向的光轴夹角的叠加旋转分量；根据所述当前时刻的旋转分量和所述第一摄像装置的内参数确定所述立体校正矩阵包括：基于所述第一方向的光轴夹角的叠加旋转分量、第二方向的光轴夹角的叠加旋转分量、第三方向的光轴夹角的叠加旋转分量确定所述当前时刻的旋转矩阵；基于所述当前时刻的旋转矩阵和所述第一摄像装置的内参数确定所述立体校正矩阵。
进一步地，根据所述当前放大倍率和所述切换放大倍率确定当前时刻的旋转分量包括：第一方向的光轴夹角的叠加旋转分量的计算公式为：
第二方向的光轴夹角的叠加旋转分量的计算公式为：
第三方向的光轴夹角的叠加旋转分量的计算公式为：
其中，sl为所述切换放大倍率，表示将所述第一摄像装置切为所述第二摄像装置时所述第一摄像装置对图像执行图像立体校正操作的放大倍率，ulcur表示所述当前放大倍率。
进一步地，基于所述当前时刻的旋转矩阵和所述第一摄像装置的内参数确定所述立体校正矩阵包括：基于公式
计算所述立体校正矩阵，其中，Rcur表示所述当前时刻的旋转矩阵，Kwide表示所述第一摄像装置的内参数。
进一步地，根据所述数字变焦参数对所述第一图像进行图像立体校正包括：计算所述立体校正矩阵和所述图像放大矩阵的乘积，得到乘积计算结果；计算所述乘积计算结果和所述第一图像的齐次坐标之间的乘积，并根据乘积计算结果确定进行图像立体校正之后的所述第一图像。
第二方面，本发明实施例提供了一种图像的处理装置，设置于移动终端，所述移动终端包括：第一摄像装置和第二摄像装置，所述第一摄像装置和所述第二摄像装置的视场角不同，所述装置包括：第一获取单元，用于获取所述第一摄像装置采集到的预览图像，得到第一图像；第二获取单元，用于获取所述第一图像的当前放大倍率；确定单元，用于在所述当前放大倍率小于切换放大倍率的情况下，根据所述当前放大倍率和切换放大倍率确定当前时刻的数字变焦参数，所述数字变焦参数包括：图像旋转参数和图像放大参数；校正操作单元，根据所述数字变焦参数对所述第一图像进行图像立体校正，得到校正之后的所述第一图像；反复执行上述步骤，直至所述当前放大倍率等于所述切换放大倍率时，通过切换单元切换至利用所述第二摄像装置拍摄图像；当切换至利用所述第二摄像装置拍摄图像时，校正之后的第一图像的图像尺度和所述第二摄像装置在全视场角下拍摄的图像尺度相同，且校正之后的第一图像的图像内容角度和所述第二摄像装置所拍摄图像的图像内容角度相同。
第三方面，本发明实施例提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面中任一项所述的方法的步骤。
第四方面，本发明实施例提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行上述第一方面任一项所述的方法的步骤。
在本发明实施例中，首先，获取第一摄像装置采集到的预览图像，得到第一图像；然后，获取第一图像的当前放大倍率，并在当前放大倍率小于切换放大倍率的情况下，根据当前放大倍率和切换放大倍率确定当前时刻的数字变焦参数，数字变焦参数包括：图像旋转参数和图像放大参数；接下来，根据数字变焦参数对第一图像进行图像立体校正，得到校正之后的第一图像；反复执行上述步骤，直至当前放大倍率等于切换放大倍率时，切换至利用第二摄像装置拍摄图像；当切换至利用第二摄像装置拍摄图像时，校正之后的第一图像的图像尺度和第二摄像装置在全视场角下拍摄的图像尺度相同，且校正之后的第一图像的图像内容角度和第二摄像装置所拍摄图像的图像内容角度相同。
通过上述描述可知，在本申请中，通过比较第一图像的当前放大倍率和切换放大倍率之间的大小关系来确定当前时刻对第一图像执行数字变焦操作的数据变焦参数，以及根据该数字变焦参数对第一图像执行图像立体校正的方式，能够实现逐步的将第一图像的图像内容角度调整至与第一摄像装置所拍摄图像的图像内容角度相同，且调整至第一图像的图像尺度和第二摄像装置在全视场角下拍摄的图像尺度相同，从而在将第一摄像装置切换至第二摄像装置进行成像时，就可以实现无旋转感切换，以缓解采现有技术中在进行摄像装置成像切换时旋转感明显的技术问题。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的一种电子设备的示意图；
图2是根据本发明实施例的一种双摄装置图像校正的原理示意图；
图3是根据本发明实施例的一种数字变焦操作的流程示意图；
图4是根据本发明实施例的一种光学数字联合变焦的处理过程的流程示意图；
图5是根据本发明实施例的另一种光学数字联合变焦的处理过程的流程示意图；
图6是根据本发明实施例的一种图像的处理方法的流程图；
图7是根据本发明实施例的一种确定预览图像的最大内接矩形的流程示意图；
图8是根据本发明实施例的另一种图像的处理方法的流程图示意图；
图9是根据本发明实施例的一种图像的处理装置的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
首先，参照图1来描述用于实现本发明实施例的电子设备100，该电子设备可以用于运行本发明各实施例的图像处理方法。
如图1所示，电子设备100包括一个或多个处理设备102、一个或多个存储装置104、输入装置106、输出装置108以及图像采集装置110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。
所述处理设备102可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制所述电子设备100中的其它组件以执行期望的功能。
所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理设备102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。
所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
所述输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。
所述图像采集装置110可以拍摄用户期望的图像(例如照片、视频等)，并且将所拍摄的图像存储在所述存储装置104中以供其它组件使用。
示例性地，用于实现根据本发明实施例的图像处理方法的示例电子设备可以被实现为诸如智能手机、平板电脑等移动终端上。
在介绍本申请的图像处理方法之前，首先介绍光学数字联合变焦的处理过程，描述如下：
用户在使用手机进行预览或摄像的过程中，随着用户开始对大FOV摄像装置屏幕进行放大，此时执行数字变焦操作。当放大后的图像内容的尺度与小FOV摄像装置全FOV的图像内容尺度相同时，切换为另一个摄像装置进行成像，此时用户继续放大屏幕，便继续执行数字变焦操作。在切换摄像装置这一瞬间，为光学变焦操作。因此，该操作相比于单颗摄像装置纯数字变焦的优势，在于当放大倍率较大时，该操作会使用一颗焦距更大的摄像装置进行成像，例如，对于中远景，其成像质量一定会高于单摄数字变焦的成像质量。
该操作除了要求两个摄像装置切换前后，屏幕内容的尺度相同以外，为了尽可能的逼近真实的光学变焦的体验感，通常还会要求满足以下几点：
(1)、数字变焦保证放大过程平滑自然，接近真实光学变焦在放大图像内容过程中的体验。
(2)、当切换摄像装置时，保证图像内容尺度相同的同时，前后两帧无旋转感。
(3)、当切换摄像装置时，保证图像内容尺度相同的同时，前后两帧尽可能少的跳变(图像内容平移)。
因此，为了满足以上要求，需要满足以下设置要求：
(1)、减少切换摄像装置时的跳变，则要求两个摄像装置的Baseline(即距离)尽可能小。
(2)、使切换摄像装置前后图像预览无旋转感，则要求光轴平行，即两个摄像装置拍摄的光轴方向是相同的：这里的光轴平行，主要指在三维空间中，两个摄像装置的三个光轴夹角为0，这三个光轴夹角，分别为pitch:上下俯仰角；yaw:左右偏转角；roll:以光轴为轴心的旋转角，在计算机视觉领域，三个光轴夹角共同组成R(rotation)矩阵。
(3)、保证数字变焦放大过程平滑，以及切换摄像装置时图像内容的尺度相同，则要求准确的知道摄像装置的焦距信息，以便计算出两个不同FOV的摄像装置准确的尺度比例。
但事实上，对于焦距而言，每颗摄像装置在组装时都有一定误差，其真实焦距与镜头厂商给的理论参考值也是有差异的；而对光轴而言，两个摄像装置组装在一起时，其光轴也会产生误差，而不是绝对的平行，导致两个摄像装置所观测的方向不完全一致，进而在切换摄像装置时导致不好的用户体验。因此，“光学数字联合变焦”算法通常会要求工厂在手机生产中，对两个摄像装置进行标定，计算出摄像装置准确的内外参数，其中内参数包括了镜头的真实焦距；外参数包括了摄像装置之间的光轴夹角，然后将标定得到的数据保存在手机芯片中，手机在用户手上使用时，读取标定数据，获取相关信息，并对图像进行立体旋转和尺度变换，称之为图像立体校正，得到光轴平行的图像。
立体校正的示意图2所示，其中菱形状的平面是真实拍摄的不平行的两个摄像装置拍摄的图片，两个矩形形状的平面是利用标定数据，经算法校正后的绝对平行的平面。其中，一旦光轴平行，摄像装置切换前后，预览或者摄像的内容便不会产生旋转感和因Baseline以外多余的平移。
因此，要实现光学数字联合变焦，主要需要实现三个功能：
功能一：数字变焦。基于任一放大倍率(user level，(取值范围为：1.0～))，实现对图像的数字变焦。如图3所示，数字变焦的基本思想为：首先在长为W高为H的图像中，沿中心裁切出长为w高为h的图像，再将该图像上采样至W*H的尺寸。
具体计算公式如下式所示，通过构建Hzoom为3*3的图像放大矩阵来实现crop和resize。其中s为放大倍率，(cx,cy)为图像中心；Iinput为数字变焦前的图，Ioutput为数字变焦后的图，(u,v,1)为输入图像的齐次坐标，(u',v',1)为输出图像的齐次坐标。
该计算公式为：
和
功能二：切换逻辑。如图4所示，摄像装置Wide为FOV较大的摄像装置，摄像装置Tele为FOV较小的摄像装置，当摄像装置Wide放大到FOV等于摄像装置Tele的FOV时，切换为摄像装置Tele。在实现时，通常不会去比较FOV是否相同，而是计算切换时对应的放大倍率switch level(即，切换放大倍率)，如图4中，switch level＝2。其计算公式如下：
其中，Tele指FOV小的摄像装置，Wide指FOV大的摄像装置，f为焦距，width为摄像装置的sensor的宽度，若这些数据为标定计算出来的，而不是厂商的理论值的话，switchlevel的准确性会更高。当user level<switch level时，由FOV大的摄像装置做数字变焦；否则由FOV小的摄像装置做数字变焦。
功能三：消除旋转。为了在切换摄像装置时，预览或者视频画面尽可能的平滑过度，需要基于标定数据，对图像进行图像立体校正，消除光轴误差带来的旋转感和跳变感。理论上可对一张图像进行图像立体校正，也可对两张图都做图像立体校正，变换公式如下，其中，H为3*3的变换矩阵，K为标定获取的摄像装置内参数，R为标定获取的旋转角度。如果对一张图像做立体校正，那么R1＝R,R2＝0，或R2＝R,R1＝0；如果对两张图像做图像立体校正，那么R1+R2＝R。但通常，会对Wide图像进行旋转，即将所有的旋转角度R施加在Wide图像上，而Tele图像则不做立体校正，仅做单摄的数字变焦。
为了消除旋转，通常会将数字变焦矩阵Hzoom与旋转矩阵HWide/Tele相乘到一起，得到一个总的变换矩阵Hzoom’，然后，通过总的变换矩阵来对Wide图像一并实现旋转和放大。具体公式如下描述：
以上三个部分，是基于两个FOV差异较大的摄像装置实现“光学数字联合平滑变焦”的核心部分。主要功能除了满足光学数字平滑变焦外，还要求消除两个摄像装置之间的光轴夹角。
由于图像/预览/视频等通常都以矩形的形式呈现，因此以上流程为了消除光轴误差，就一定需要对图像进行旋转，而旋转后就意味着需要再进一步裁切出更小的矩形，以在屏幕上显示，导致减小了图像/预览/视频的FOV。
如图5所示，其中图中的多个矩形框代表图像FOV的大小，矩形框越大，代表FOV越大，矩形框中的箭头代表拍摄图像内容的方向，由于两个摄像装置的光轴存在夹角，因此输入帧的图像内容方向肯定是不同的，此处示意了以光轴为轴心产生Roll方向旋转的表现。可见，为了光学变焦时两个摄像装置的切换没有旋转感，需要对输入的Wide图像做旋转，进而只能裁切出最大内矩形后，导致FOV被裁切掉了一部分。因此在放大倍率为1.0x时，就无法将Wide图像的原始FOV显示在屏幕上，摄像装置所拍摄的信息没有被有效的保留下来。基于此，在本申请中，提出了一种图像的处理方法，该方法通过图像旋转参数和图像放大参数对第一图像执行多次立体校正操作的方式，能够实现逐步的将第一图像的图像内容角度调整至与第二摄像装置所拍摄图像的图像内容角度相同，从而在将第一摄像装置切换至第二摄像装置进行成像时，就可以实现无旋转感切换，以缓解采现有技术中在进行摄像装置成像切换时旋转感明显的技术问题。
实施例2：
根据本发明实施例，提供了一种图像的处理方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图6是根据本发明实施例的一种图像的处理方法的流程图，如图6所示，该方法包括如下步骤：
步骤S602，获取所述第一摄像装置采集到的预览图像，得到第一图像；
在本申请中，此处的第一摄像装置和下述步骤中描述的第二摄像装置为移动终端(例如，手机)中的摄像装置，其中，第一摄像装置和第二摄像装置的视场角不相同，例如，第一摄像装置的视场角大于第二摄像装置的视场角。具体地，第一摄像装置和第二摄像装置可以为双摄手机中的双摄装置。
步骤S604，获取所述第一图像的当前放大倍率，并在所述当前放大倍率小于切换放大倍率的情况下，根据所述当前放大倍率和切换放大倍率确定当前时刻的数字变焦参数，所述数字变焦参数包括：图像旋转参数和图像放大参数。
在本申请中，当前放大倍率是指在对第一图像进行数字变焦操作的过程中，当前时刻对第一图像进行放大的倍率。切换放大倍率是指上述内容中所描述的切换倍率switchlevel，表示将移动终端由第一摄像装置切换至第二摄像装置时，第一图像所对应的放大倍率。
步骤S606，根据数字变焦参数对所述第一图像进行图像立体校正，得到校正之后的所述第一图像。
在本申请中，对第一图像进行图像立体校正是指对第一图像执行立体旋转操作和尺度变换操作。其中，可以通过数字变焦参数中的图像旋转参数对第一图像执行立体旋转操作，并通过数字变焦参数中的图像放大参数对第一图像执行尺度变换操作。
反复执行上述步骤S602至步骤S606，直至所述当前放大倍率等于所述切换放大倍率时，执行步骤S608，切换至利用所述第二摄像装置拍摄图像；当切换至利用所述第二摄像装置拍摄图像时，校正之后的第一图像的图像尺度和所述第二摄像装置在全视场角下拍摄的图像尺度相同，且校正之后的第一图像的图像内容角度和所述第二摄像装置所拍摄图像的图像内容角度相同。
在本申请中，若对第一图像进行图像校正之后，如果校正之后的所述第一图像的图像尺度和所述第二摄像装置在全视场角下拍摄的图像尺度相同，且校正之后的所述第一图像的图像内容角度和所述第二摄像装置所拍摄图像的图像内容角度相同，则切换至利用所述第二摄像装置拍摄图像，其中，第一图像的图像内容角度和所述第二摄像装置所拍摄图像的图像内容角度相同是指第一摄像装置和第二摄像装置之间的光轴平行。
通过上述描述可知，在本申请中，通过比较第一图像的当前放大倍率和切换放大倍率之间的大小关系来确定当前时刻对第一图像执行数字变焦操作的数据变焦参数，以及根据该数字变焦参数对第一图像执行图像立体校正的方式，能够实现逐步的将第一图像的图像内容角度调整至与第一摄像装置所拍摄图像的图像内容角度相同，且调整至第一图像的图像尺度和第二摄像装置在全视场角下拍摄的图像尺度相同，从而在将第一摄像装置切换至第二摄像装置进行成像时，就可以实现无旋转感切换，以缓解采现有技术中在进行摄像装置成像切换时旋转感明显的技术问题。
在本实施例中，步骤S602，获取所述第一摄像装置采集到的预览图像，得到第一图像包括如下过程：
首先，判断预览图像是否满足裁剪条件；其中，所述裁剪条件为基于所述第一摄像装置和所述第二摄像装置的光轴误差确定的条件。
需要说明的是，在本申请中，裁剪条件具体可以描述为：基于第一摄像装置和第二摄像装置的光轴误差带来的最大内切矩形的尺度超出数字变焦裁切尺度，其中，该最大内切矩形为将第一摄像装置拍摄到的预览图像经过放大矩阵进行放大之后的图像的最大内切矩形。
其中，若所述预览图像满足裁剪条件，则对所述预览图像进行裁剪，裁剪之后得到所述第一图像。
若预览图像不满足裁剪条件，则不对预览图像之间裁剪操作，直接将预览图像确定为第一图像。
在本申请中，可以通过以下方式判断预览图像是否满足所述裁剪条件，具体包括：
首先，确定将所述预览图像按照第一变换矩阵进行变换之后得到的目标变换图像的最大内接矩形的尺寸信息；第一变换矩阵为基于光轴角度确定的变换矩阵，所述光轴角度用于表征第一摄像装置和第二摄像装置之间的光轴误差，且第一变换矩阵为移动终端由所述第一摄像装置切换至第二摄像装置进行成像时，对第一图像进行图像立体校正变换的变换矩阵；其中，第一变换矩阵为：H'zoom＝Hzoom×Hwide，其中，Hzoom为放大矩阵，Hwide为图像旋转矩阵，所述图像旋转矩阵中包含所述第一摄像装置的内参数和光轴角度，所述放大矩阵中包含所述预览图像的中心点和切换放大倍率。
在本申请中，在对预览图像进行多次图像立体校正之前，首先需要判断是否需要对预览图像是否满足裁剪条件，如果满足，则执行裁剪操作。
具体地，首先，基于第一摄像装置的标定数据中的光轴角度R和Wide内参数KWide构建立体校正矩阵HWide(即，上述步骤中的图像旋转矩阵Hwide)同时整合切换放大倍率switchlevel(简写为sl)处的放大矩阵Hzoom，得到当由第一摄像装置切换至第二摄像装置进行成像时，对第一摄像装置所获取到的预览图像(也即，Wide图像)做旋转和放大的总变换矩阵H'zoom(即，上述第一变换矩阵)公式如下所示，其中Hzoom中的(cx,cy)为图像中心点。其中，switch level是指在由第一摄像装置切换至第二摄像装置进行成像时，第一摄像装置对图像进行放大处理的放大倍率，H'zoom是指第一摄像装置和第二摄像装置进行切换时，对第一摄像装置所拍摄的图像执行数字变焦操作的矩阵，具体公式表示为：
也就是说，在本申请中，可以通过H'zoom＝Hzoom×Hwide计算得到的第一变换矩阵对第一摄像装置采集到的预览图像进行变换，得到目标变换图像。接下来，确定目标变换图像的最大内接矩形的尺寸信息。
如果所述最大内接矩形的尺寸信息小于数字变焦裁切尺度，则确定所述第一摄像装置和所述第二摄像装置的光轴误差未超出预设范围，并确定所述预览图像满足所述裁剪条件。
在本申请中，可以通过以下方式确定将所述预览图像按照第一变换矩阵进行变换之后得到的目标变换图像的最大内接矩形的尺寸信息，具体包括：
(1)、按照所述第一变换矩阵对所述预览图像进行变换，得到所述目标变换图像；
(2)、确定所述预览图像的对角线和所述目标变换图像之间的交点，得到多个第二交点；
(3)、确定所述预览图像的对角线交点和每个所述第二交点之间的长度，得到多个长度值；
(4)、基于所述多个长度值中的最小的长度值确定所述目标变换图像的最大内接矩形，并根据所确定出的最大内接矩形确定所述最大内接矩形的尺寸信息。
具体地，在本申请中，在按照上述所描述的方式得到双摄切换时第一变换矩阵H'zoom后，则需要计算预览图像经过该变换后的最大内接矩形，其计算方式如图7所示。需要说明的是，由于裁切前后的图像宽高比要保持一致，因此，此处的最大内接矩形指宽高比保持一致基础上的最大内接矩形。
如图7所示，假设，输入的预览图像的尺寸为(W，H)，如图7所示，四个顶点分别为A，B，C，D。经过H'zoom转换后，如图右所示，其中，图右所示的即为目标变换图像的形状。
在图右中，设最外围的点线构成的矩形框即为原输入图的矩形框，A，B，C，D四个顶点经转换后分布在原矩形框周围，形成了一个任意四边形。
基于原输入图(即预览图像)的矩形框画两条对角线，对角线的交点为o，与A，B，C，D的任意四边形交点为a，b，c，d(即，预览图像的对象和目标变换图像之间的交点)。由于此时的A，B，C，D为任意四边形，因此，以o为起点的四个线段|oa|，|ob|，|oc|，|od|(即，多个目标线段)的长度值应不同，此时需在四个线段中找到最短的目标线段(即，上述最小长度值所对应的线段)(示意图中|oa|最短)。
将该最短线段(即，最短的目标线段)的另一端点(如点a)作为最大内接矩形的一个角点，以该角点为起点，沿与原输入图(即预览图像)的矩形框边平行的方向画延长线，与其对角线相交的交点为最大内接矩形的其他角点，最终构建出一个新的矩形框，如图右中的虚线框，该矩形框便为任意四边形ABCD(即预览图像)的最大内接矩形框，设该虚线框的尺寸为(w,h)。
若该最大内接矩形的尺寸(w,h)大于等于预览图像的尺寸(W,H)，即w>＝W，那么由第一摄像装置和所述第二摄像装置之间的光轴误差带来的最大内接矩形的裁切尺度在数字变焦的裁切尺度范围内，此时无需做额外裁切；否则判定最大内接矩形超过了数字变焦的裁切尺度，需要对预览图像进行中心裁切至(w,h)的尺寸后再进行“光学数字联合变焦”算法的后续操作。
在本申请，在对所述预览图像进行裁剪时，可以按照所述目标变换图像的最大内接矩形的尺寸对所述预览图像进行裁剪，裁剪之后得到所述第一图像。
通过上述描述可知，在本申请中，若第一摄像装置和所述第二摄像装置之间的光轴误差在一定范围内时，本发明都不需要增加额外的裁切。如果光轴误差超出了该范围，即尽管第一摄像装置的放大倍率user level很小，但对图像叠加的旋转量按照最大内接矩形计算的裁切尺度scale1也已经超出了当前user level下数字变焦对图像边缘的裁切尺度scale2。此时则不得不对预览图像进行一定的裁切，但此时只需要裁切掉scale1相比scale2多出的尺度，将损失的FOV最小化。
在本申请中，在按照上述所描述的方式得到第一图像之后，就可以获取第一图像的当前放大倍率，并在当前放大倍率小于切换放大倍率的情况下，根据当前放大倍率和切换放大倍率确定当前时刻的数字变焦参数。
在一个可选的实施方式中，那么步骤S604，根据当前放大倍率和切换放大倍率确定当前时刻的数字变焦参数包括如下过程：
步骤S6041，根据所述当前放大倍率和所述切换放大倍率确定所述图像旋转参数；
步骤S6042，根据所述当前放大倍率确定所述图像放大参数。
具体地，在本申请中，首先，根据当前放大倍率和切换放大倍率确定图像旋转参数，其中，图像旋转参数为用于对第一图像进行旋转操作的参数。然后，根据当前放大倍率确定图像放大参数，其中，当前放大倍率是指当前时刻对第一图像进行图像放大的参数。
在本申请中，图像旋转参数可以为立体校正矩阵，图像放大参数可以为图像放大矩阵。此时，可以根据当前放大倍率和切换放大倍率确定当前时刻的旋转分量；从而根据当前时刻的旋转分量和第一摄像装置的内参数确定立体校正矩阵。以及，可以获取第一图像的图像中心点坐标，从而根据当前放大倍率和所述第一图像的图像中心点坐标确定图像放大矩阵。
在确定出立体校正矩阵和图像放大矩阵之后，就可以根据立体校正矩阵和图像放大矩阵对第一图像执行一次图像立体校正操作。
在一个可选的实施方式中，在本申请中，根据当前时刻的旋转分量和第一摄像装置的内参数确定立体校正矩阵，具体包括：
(1)、基于第一方向的光轴夹角的叠加旋转分量、第二方向的光轴夹角的叠加旋转分量、第三方向的光轴夹角的叠加旋转分量确定当前时刻的旋转矩阵。
(2)、基于所述当前时刻的旋转矩阵和所述第一摄像装置的内参数确定所述立体校正矩阵。
具体地，在本申请中，当前时刻的旋转分量包括：第一方向的光轴夹角pitch的叠加旋转分量、第二方向的光轴夹角yaw的叠加旋转分量、第三方向的光轴夹角roll的叠加旋转分量。
具体地，每个方向的叠加旋转分量的计算公式描述如下：
第一方向的光轴夹角的叠加旋转分量的计算公式为：
第二方向的光轴夹角的叠加旋转分量的计算公式为：
第三方向的光轴夹角的叠加旋转分量的计算公式为：
其中，sl为切换放大倍率，表示将所述第一摄像装置切为所述第二摄像装置时所述第一摄像装置对图像执行图像立体校正操作的放大倍率，ulcur表示所述当前图像立体校正操作的放大倍率。pitch0，yaw0，roll0假设为第一摄像装置和第二摄像装置之间的光轴误差。
在本申请中，在按照上述所描述的方式确定出当前时刻的旋转分量之后，就可以根据当前时刻的旋转分量和第一摄像装置的内参数确定立体校正矩阵。
例如，如图8所示，在得到第一图像之后，假设当前放大倍率为1.0x，接下来，对第一图像执行首次图像立体校正操作，此时，当前时刻进行图像立体校正的旋转分量为通过上述公式计算出的叠加旋转分量。接下来，执行第二次图像立体校正操作，其中，第二次图像立体校正操作的旋转分量同样为通过上述公式计算出的叠加旋转分量，第二次图像立体校正操作的放大倍率为uli。然后，按照上述的操作反复对第一图像执行图像立体校正操作，直至校正之后的所述第一图像的图像尺度和所述第二摄像装置在全视场角下拍摄的图像尺度相同，且校正之后的所述第一图像的图像内容角度和所述第二摄像装置所拍摄图像的图像内容角度相同。
通过上述描述可知，在本申请中，按照数字变焦参数对第一图像反复执行图像立体校正的过程中，立体校正过程中的旋转分量进行切片，并随着放大倍率user level的增大而叠加旋转量的方法。例如，当放大倍率user level为1.0x时，当前图像立体校正操作的旋转分量为0，随着放大倍率user level的变大，逐渐均匀的叠加预览图像的旋转尺度(即，叠加旋转分量)，直至第一摄像装置切换为第二摄像装置的时候，能够叠加完总的旋转分量。
(2)、基于所述当前时刻的旋转矩阵和所述第一摄像装置的内参数确定所述立体校正矩阵。
在本申请中，在按照上述所描述的方式得到当前时刻的旋转矩阵之后，就可以基于当前时刻的旋转矩阵和所述第一摄像装置的内参数确定所述当前图像立体校正操作的立体校正矩阵。
首先，基于第一方向的光轴夹角的叠加旋转分量、第二方向的光轴夹角的叠加旋转分量、第三方向的光轴夹角的叠加旋转分量确定旋转矩阵。其中，在本申请中，可以将上述三个光轴夹角转换为旋转矩阵Rcur。然后，基于所述旋转矩阵和所述第一摄像装置的内参数确定所述当前图像立体校正操作的立体校正矩阵。
具体地，可以基于公式
计算所述当前图像立体校正操作的立体校正矩阵，其中，Rcur表示所述旋转矩阵，Kwide表示所述第一摄像装置的内参数。
在本申请中，在按照上述所描述的过程得到当前图像立体校正操作的立体校正矩阵和图像放大矩阵之后，就可以基于所述当前图像立体校正操作的立体校正矩阵和图像放大矩阵对所述第一图像进行图像立体校正，具体包括：
首先，计算所述立体校正矩阵和所述图像放大矩阵的乘积，得到乘积计算结果。
例如，可以通过公式
计算当前图像立体校正操作的立体校正矩阵和图像放大矩阵的乘积，得到乘积计算结果，其中，H'zoom即为乘积计算结果。Hzoom即为图像放大矩阵，其中，
然后，计算所述乘积计算结果和所述第一图像的齐次坐标之间的乘积，并根据乘积计算结果确定进行图像立体校正之后的所述第一图像。
例如，可以通过公式
计算所述乘积计算结果和所述第一图像的齐次坐标之间的乘积，并根据乘积计算结果确定执行立体校正操作之后的所述第一图像。其中，
即为第一图像的齐次坐标。
上述所描述的过程即为本申请中的图像的处理方法，在该方法中最大化的保留摄像装置FOV。为了便于理解，本发明提供了随user level的改变，每一帧图像FOV的变化示意图。如图8所示，矩形框代表的是图像的FOV，矩形框越大，代表FOV越大。矩形框中的箭头代表图像内容的方向，由于旋转角度被切片叠加，因此可见在Wide摄像装置(第一摄像装置)随着user level不断变大的时候，Wide图(即，第一图像)中的内容也是在逐渐的发射旋转，直至到达切换放大倍率sl处时，Wide图像方执行完整个图像的旋转，使得当前图像内容的角度与Tele图中的内容相同。在保证FOV最大化的同时，仍确保了数字变焦过程的平滑性以及在切换时内容尺度和角度的一致性。
通过上述描述可知，在本申请中，对第一摄像装置Wide输入图像做旋转的目的，是为了在第一摄像装置Wide放大(即FOV缩小)的过程中，当第一摄像装置Wide切换至第二摄像装置Tele时成像时，图像/预览/视频内容无旋转感，因此其核心需求是要求在摄像装置切换前，第一摄像装置Wide的图像需要按照光轴夹角进行旋转补偿。因此，为了同时保证变焦过程的平滑放大，本发明提出一种将双摄光轴夹角进行切片叠加的方法，当第一摄像装置执行数字变焦操作的放大倍率user level为1.0x时，当前帧的旋转量为0，可显示其完整的FOV，随着放大倍率user level的变大，逐渐均匀的叠加Wide图像的旋转尺度，直至第一摄像装置Wide切换为第二摄像装置Tele的时候，刚好叠加完总的旋转量。
本发明在双摄光轴误差不是特别大的情况下，通常都能在1.0x时，保留第一摄像装置Wide原始的FOV，在放大过程中，除了数字变焦应有的裁切尺度外，不会增加额外的裁切。仅当双摄光轴误差过大时，仍需要裁切一部分Wide图像的FOV，以保证输出给屏幕的矩形图像边角没有无效像素引入。但此时的裁切相比于主流传统方案，也算是很大程度上减小了对图像的裁切尺度。
具体说明如下：
当user level>1.0x后图像开始叠加旋转量，虽然此时应计算最大内接矩形，并对图像进行裁切，但此时图像也同时按照user level在进行数字变焦，该过程中，原始图像的四周边缘本会被裁切掉一部分。因此当user level较小时，数字变焦对原始图像四周的裁切尺度虽然不大，但由于双摄的旋转量被切片，此时的旋转量也很小；同样的，当随着userlevel变大，旋转量叠加越来越多后，数字变焦对原始图像的裁切尺度也越来越大。
因此，当双摄光轴误差在一定范围内时，本发明都不需要增加额外的裁切。如果光轴误差超出了该范围，即尽管user level很小，但对图像叠加的旋转量按照最大内接矩形计算的裁切尺度scale1也已经超出了当前user level下数字变焦对图像边缘的裁切尺度scale2。此时则不得不对输入原图进行一定的裁切，但此时只需要裁切掉scale1相比scale2多出的尺度，将损失的FOV最小化。
因此本发明在保证数字变焦的平滑性及切换摄像装置时无旋转感的同时，最大化的保留了摄像装置的FOV。
实施例3：
本发明实施例还提供了一种图像的处理装置，该图像的处理装置主要用于执行本发明实施例上述内容所提供的图像的处理方法，以下对本发明实施例提供的图像的处理装置做具体介绍。
图9是根据本发明实施例的一种图像的处理装置的示意图，如图9所示，该图像的处理装置主要包括：第一获取单元10，第二获取单元20，确定单元30，校正操作单元40和切换单元50，其中：
第一获取单元，用于获取所述第一摄像装置采集到的预览图像，得到第一图像；
第二获取单元，用于获取所述第一图像的当前放大倍率；
确定单元，用于在所述当前放大倍率小于切换放大倍率的情况下，根据所述当前放大倍率和切换放大倍率确定当前时刻的数字变焦参数，所述数字变焦参数包括：图像旋转参数和图像放大参数；
校正操作单元，根据所述数字变焦参数对所述第一图像进行图像立体校正，得到校正之后的所述第一图像；
反复执行上述步骤，直至所述当前放大倍率等于所述切换放大倍率时，通过切换单元切换至利用所述第二摄像装置拍摄图像；当切换至利用所述第二摄像装置拍摄图像时，校正之后的第一图像的图像尺度和所述第二摄像装置在全视场角下拍摄的图像尺度相同，且校正之后的第一图像的图像内容角度和所述第二摄像装置所拍摄图像的图像内容角度相同。
通过上述描述可知，在本申请中，通过比较第一图像的当前放大倍率和切换放大倍率之间的大小关系来确定当前时刻对第一图像执行数字变焦操作的数据变焦参数，以及根据该数字变焦参数对第一图像执行图像立体校正的方式，能够实现逐步的将第一图像的图像内容角度调整至与第一摄像装置所拍摄图像的图像内容角度相同，且调整至第一图像的图像尺度和第二摄像装置在全视场角下拍摄的图像尺度相同，从而在将第一摄像装置切换至第二摄像装置进行成像时，就可以实现无旋转感切换，以缓解采现有技术中在进行摄像装置成像切换时旋转感明显的技术问题。
可选地，获取单元，用于：判断所述预览图像是否满足裁剪条件；其中，所述裁剪条件为基于所述第一摄像装置和所述第二摄像装置之间的光轴误差确定的条件；若所述预览图像满足裁剪条件，则对所述预览图像进行裁剪，裁剪之后得到所述第一图像。
可选地，该装置还用于通过以下方式判断所述预览图像是否满足所述裁剪条件：确定将所述预览图像按照第一变换矩阵进行变换之后得到的目标变换图像的最大内接矩形的尺寸信息；所述第一变换矩阵为基于光轴角度确定的变换矩阵，所述光轴角度用于表征所述第一摄像装置和所述第二摄像装置之间的光轴误差，且所述第一变换矩阵为所述移动终端由所述第一摄像装置切换至所述第二摄像装置进行成像时，对所述第一图像进行图像立体校正变换的变换矩阵；如果所述最大内接矩形的尺寸信息小于数字变焦裁切尺度，则确定所述预览图像满足所述裁剪条件。
可选地，该装置还用于：按照所述目标变换图像的最大内接矩形的尺寸对所述预览图像进行裁剪，裁剪之后得到所述第一图像。
可选地，该装置还用于：按照所述第一变换矩阵对所述预览图像进行变换，得到所述目标变换图像；确定所述预览图像的对角线和所述目标变换图像之间的交点，得到多个第二交点；确定所述预览图像的对角线交点和每个所述第二交点之间的长度，得到多个长度值；基于所述多个长度值中的最小的长度值确定所述目标变换图像的最大内接矩形，并根据所确定出的最大内接矩形确定所述最大内接矩形的尺寸信息。
可选地，所述第一变换矩阵为：H'zoom＝Hzoom×Hwide，其中，Hzoom为放大矩阵，Hwide为图像旋转矩阵，所述图像旋转矩阵中包含所述第一摄像装置的内参数和光轴角度，所述放大矩阵中包含所述预览图像的中心点和切换放大倍率。
可选地，确定单元，用于：根据所述当前放大倍率和所述切换放大倍率确定所述图像旋转参数；根据所述当前放大倍率确定所述图像放大参数。
可选地，确定单元，还用于：根据所述当前放大倍率和所述切换放大倍率确定当前时刻的旋转分量；根据所述当前时刻的旋转分量和所述第一摄像装置的内参数确定所述立体校正矩阵；获取所述第一图像的图像中心点坐标，根据所述当前放大倍率和所述第一图像的图像中心点坐标确定所述图像放大矩阵。
可选地，所述当前时刻的旋转分量包括：第一方向的光轴夹角的叠加旋转分量、第二方向的光轴夹角的叠加旋转分量、第三方向的光轴夹角的叠加旋转分量；确定单元，还用于：基于所述第一方向的光轴夹角的叠加旋转分量、第二方向的光轴夹角的叠加旋转分量、第三方向的光轴夹角的叠加旋转分量确定所述当前时刻的旋转矩阵；基于所述当前时刻的旋转矩阵和所述第一摄像装置的内参数确定所述立体校正矩阵。
可选地，确定单元，还用于：第一方向的光轴夹角的叠加旋转分量的计算公式为：
第二方向的光轴夹角的叠加旋转分量的计算公式为：
第三方向的光轴夹角的叠加旋转分量的计算公式为：
其中，sl为所述切换放大倍率，表示将所述第一摄像装置切为所述第二摄像装置时所述第一摄像装置对图像执行图像立体校正操作的放大倍率，ulcur表示所述当前放大倍率。
可选地，确定单元，还用于：基于公式
计算所述立体校正矩阵，其中，Rcur表示所述当前时刻的旋转矩阵，Kwide表示所述第一摄像装置的内参数。
可选地，校正操作单元，用于：计算所述立体校正矩阵和所述图像放大矩阵的乘积，得到乘积计算结果；计算所述乘积计算结果和所述第一图像的齐次坐标之间的乘积，并根据乘积计算结果确定进行图像立体校正之后的所述第一图像。
本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (15)
1.一种图像的处理方法，应用于移动终端，所述移动终端包括：第一摄像装置和第二摄像装置，所述第一摄像装置和所述第二摄像装置的视场角不同，其特征在于，所述方法包括：
获取所述第一摄像装置采集到的预览图像，得到第一图像；
获取所述第一图像的当前放大倍率，并在所述当前放大倍率小于切换放大倍率的情况下，根据所述当前放大倍率和切换放大倍率确定当前时刻的数字变焦参数，所述数字变焦参数包括：图像旋转参数和图像放大参数；
根据所述数字变焦参数对所述第一图像进行图像立体校正，得到校正之后的所述第一图像；
反复执行上述步骤，直至所述当前放大倍率等于所述切换放大倍率时，切换至利用所述第二摄像装置拍摄图像；当切换至利用所述第二摄像装置拍摄图像时，校正之后的第一图像的图像尺度和所述第二摄像装置在全视场角下拍摄的图像尺度相同，且校正之后的第一图像的图像内容角度和所述第二摄像装置所拍摄图像的图像内容角度相同。
2.根据权利要求1所述的方法，其特征在于，获取所述第一摄像装置采集到的预览图像，得到第一图像包括：
判断所述预览图像是否满足裁剪条件；其中，所述裁剪条件为基于所述第一摄像装置和所述第二摄像装置之间的光轴误差确定的条件；
若所述预览图像满足裁剪条件，则对所述预览图像进行裁剪，裁剪之后得到所述第一图像。
3.根据权利要求2所述的方法，其特征在于，判断所述预览图像是否满足所述裁剪条件包括：
确定将所述预览图像按照第一变换矩阵进行变换之后得到的目标变换图像的最大内接矩形的尺寸信息；所述第一变换矩阵为基于光轴角度确定的变换矩阵，所述光轴角度用于表征所述第一摄像装置和所述第二摄像装置之间的光轴误差，且所述第一变换矩阵为所述移动终端由所述第一摄像装置切换至所述第二摄像装置进行成像时，对所述第一图像进行图像立体校正变换的变换矩阵；
如果所述最大内接矩形的尺寸信息小于数字变焦裁切尺度，则确定所述预览图像满足所述裁剪条件。
4.根据权利要求3所述的方法，其特征在于，对所述预览图像进行裁剪，裁剪之后得到所述第一图像包括：
按照所述目标变换图像的最大内接矩形的尺寸对所述预览图像进行裁剪，裁剪之后得到所述第一图像。
5.根据权利要求3所述的方法，其特征在于，确定将所述预览图像按照第一变换矩阵进行变换之后得到的目标变换图像的最大内接矩形的尺寸信息包括：
按照所述第一变换矩阵对所述预览图像进行变换，得到所述目标变换图像；
确定所述预览图像的对角线和所述目标变换图像之间的交点，得到多个第二交点；
确定所述预览图像的对角线交点和每个所述第二交点之间的长度，得到多个长度值；
基于所述多个长度值中的最小的长度值确定所述目标变换图像的最大内接矩形，并根据所确定出的最大内接矩形确定所述最大内接矩形的尺寸信息。
6.根据权利要求3所述的方法，其特征在于，所述第一变换矩阵为：H'zoom＝Hzoom×Hwide，其中，Hzoom为放大矩阵，Hwide为图像旋转矩阵，所述图像旋转矩阵中包含所述第一摄像装置的内参数和所述光轴角度，所述放大矩阵中包含所述预览图像的中心点和切换放大倍率。
7.根据权利要求1所述的方法，其特征在于，根据所述当前放大倍率和切换放大倍率确定当前时刻的数字变焦参数包括：
根据所述当前放大倍率和所述切换放大倍率确定所述图像旋转参数；
根据所述当前放大倍率确定所述图像放大参数。
8.根据权利要求7所述的方法，其特征在于，所述图像旋转参数为立体校正矩阵，所述图像放大参数为图像放大矩阵；
根据所述当前放大倍率和所述切换放大倍率确定所述图像旋转参数包括：根据所述当前放大倍率和所述切换放大倍率确定当前时刻的旋转分量；根据所述当前时刻的旋转分量和所述第一摄像装置的内参数确定所述立体校正矩阵；
根据所述当前放大倍率确定所述图像放大参数包括：获取所述第一图像的图像中心点坐标，根据所述当前放大倍率和所述第一图像的图像中心点坐标确定所述图像放大矩阵。
9.根据权利要求8所述的方法，其特征在于，所述当前时刻的旋转分量包括：第一方向的光轴夹角的叠加旋转分量、第二方向的光轴夹角的叠加旋转分量、第三方向的光轴夹角的叠加旋转分量；
根据所述当前时刻的旋转分量和所述第一摄像装置的内参数确定所述立体校正矩阵包括：
基于所述第一方向的光轴夹角的叠加旋转分量、第二方向的光轴夹角的叠加旋转分量、第三方向的光轴夹角的叠加旋转分量确定所述当前时刻的旋转矩阵；
基于所述当前时刻的旋转矩阵和所述第一摄像装置的内参数确定所述立体校正矩阵。
10.根据权利要求9所述的方法，其特征在于，根据所述当前放大倍率和所述切换放大倍率确定当前时刻的旋转分量包括：
第一方向的光轴夹角的叠加旋转分量的计算公式为：
第二方向的光轴夹角的叠加旋转分量的计算公式为：
第三方向的光轴夹角的叠加旋转分量的计算公式为：
其中，sl为所述切换放大倍率，表示将所述第一摄像装置切为所述第二摄像装置时所述第一摄像装置对图像执行图像立体校正操作的放大倍率，ulcur表示所述当前放大倍率。
11.根据权利要求9所述的方法，其特征在于，基于所述当前时刻的旋转矩阵和所述第一摄像装置的内参数确定所述立体校正矩阵包括：
基于公式
计算所述立体校正矩阵，其中，Rcur表示所述当前时刻的旋转矩阵，Kwide表示所述第一摄像装置的内参数。
12.根据权利要求8所述的方法，其特征在于，根据所述数字变焦参数对所述第一图像进行图像立体校正包括：
计算所述立体校正矩阵和所述图像放大矩阵的乘积，得到乘积计算结果；
计算所述乘积计算结果和所述第一图像的齐次坐标之间的乘积，并根据乘积计算结果确定进行图像立体校正之后的所述第一图像。
13.一种图像的处理装置，设置于移动终端，所述移动终端包括：第一摄像装置和第二摄像装置，所述第一摄像装置和所述第二摄像装置的视场角不同，其特征在于，所述装置包括：
第一获取单元，用于获取所述第一摄像装置采集到的预览图像，得到第一图像；
第二获取单元，用于获取所述第一图像的当前放大倍率；
确定单元，用于在所述当前放大倍率小于切换放大倍率的情况下，根据所述当前放大倍率和切换放大倍率确定当前时刻的数字变焦参数，所述数字变焦参数包括：图像旋转参数和图像放大参数；
校正操作单元，根据所述数字变焦参数对所述第一图像进行图像立体校正，得到校正之后的所述第一图像；
反复执行上述步骤，直至所述当前放大倍率等于所述切换放大倍率时，通过切换单元切换至利用所述第二摄像装置拍摄图像；当切换至利用所述第二摄像装置拍摄图像时，校正之后的第一图像的图像尺度和所述第二摄像装置在全视场角下拍摄的图像尺度相同，且校正之后的第一图像的图像内容角度和所述第二摄像装置所拍摄图像的图像内容角度相同。
14.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至12任一项所述的方法的步骤。
15.一种具有处理器可执行的非易失的程序代码的计算机可读介质，其特征在于，所述程序代码使所述处理器执行上述权利要求1至12任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010649504.1A CN111935397B (zh) | 2020-07-07 | 2020-07-07 | 图像的处理方法、装置、电子设备和计算机可读介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010649504.1A CN111935397B (zh) | 2020-07-07 | 2020-07-07 | 图像的处理方法、装置、电子设备和计算机可读介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111935397A true CN111935397A (zh) | 2020-11-13 |
| CN111935397B CN111935397B (zh) | 2022-04-22 |
Family
ID=73313394
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010649504.1A Active CN111935397B (zh) | 2020-07-07 | 2020-07-07 | 图像的处理方法、装置、电子设备和计算机可读介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111935397B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113709368A (zh) * | 2021-08-26 | 2021-11-26 | 维沃移动通信有限公司 | 图像显示方法、装置及设备 |
| CN114531539A (zh) * | 2020-11-23 | 2022-05-24 | 华为技术有限公司 | 拍摄方法及电子设备 |
| WO2022262474A1 (zh) * | 2021-06-18 | 2022-12-22 | 北京旷视科技有限公司 | 变焦控制方法、装置、电子设备和计算机可读存储介质 |
| CN112634124B (zh) * | 2020-12-10 | 2024-04-12 | 深兰工业智能创新研究院(宁波)有限公司 | 图像变形方法、图像变形装置、电子设备和存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140092503A (ko) * | 2013-01-02 | 2014-07-24 | 삼성테크윈 주식회사 | 영상 위치 보정 시스템 및 방법 |
| CN104601892A (zh) * | 2015-01-30 | 2015-05-06 | 深圳酷派技术有限公司 | 一种终端、图像拍摄方法及装置 |
| CN105959553A (zh) * | 2016-05-30 | 2016-09-21 | 维沃移动通信有限公司 | 一种摄像头的切换方法及终端 |
| CN108243299A (zh) * | 2016-12-23 | 2018-07-03 | 联发科技股份有限公司 | 一种双摄像头设备 |
| EP3435669A1 (en) * | 2017-07-25 | 2019-01-30 | Guangdong OPPO Mobile Telecommunications Corp., Ltd. | Method and device for adjusting white balance and storage medium |
| US20190297275A1 (en) * | 2018-03-26 | 2019-09-26 | Mediatek Inc. | Method of image fusion on camera device equipped with multiple cameras |
| CN110351487A (zh) * | 2019-08-26 | 2019-10-18 | Oppo广东移动通信有限公司 | 控制方法、控制装置、电子设备和存储介质 |
| CN111147755A (zh) * | 2020-01-02 | 2020-05-12 | 普联技术有限公司 | 双摄像头的变焦处理方法、装置及终端设备 |
-
2020
- 2020-07-07 CN CN202010649504.1A patent/CN111935397B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140092503A (ko) * | 2013-01-02 | 2014-07-24 | 삼성테크윈 주식회사 | 영상 위치 보정 시스템 및 방법 |
| CN104601892A (zh) * | 2015-01-30 | 2015-05-06 | 深圳酷派技术有限公司 | 一种终端、图像拍摄方法及装置 |
| CN105959553A (zh) * | 2016-05-30 | 2016-09-21 | 维沃移动通信有限公司 | 一种摄像头的切换方法及终端 |
| CN108243299A (zh) * | 2016-12-23 | 2018-07-03 | 联发科技股份有限公司 | 一种双摄像头设备 |
| EP3435669A1 (en) * | 2017-07-25 | 2019-01-30 | Guangdong OPPO Mobile Telecommunications Corp., Ltd. | Method and device for adjusting white balance and storage medium |
| US20190297275A1 (en) * | 2018-03-26 | 2019-09-26 | Mediatek Inc. | Method of image fusion on camera device equipped with multiple cameras |
| CN110351487A (zh) * | 2019-08-26 | 2019-10-18 | Oppo广东移动通信有限公司 | 控制方法、控制装置、电子设备和存储介质 |
| CN111147755A (zh) * | 2020-01-02 | 2020-05-12 | 普联技术有限公司 | 双摄像头的变焦处理方法、装置及终端设备 |
Non-Patent Citations (1)
| Title |
|---|
| 何平征: "改进的异构双摄标定和立体匹配方法", 《福建电脑》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114531539A (zh) * | 2020-11-23 | 2022-05-24 | 华为技术有限公司 | 拍摄方法及电子设备 |
| CN114531539B (zh) * | 2020-11-23 | 2024-03-19 | 华为技术有限公司 | 拍摄方法及电子设备 |
| CN112634124B (zh) * | 2020-12-10 | 2024-04-12 | 深兰工业智能创新研究院(宁波)有限公司 | 图像变形方法、图像变形装置、电子设备和存储介质 |
| WO2022262474A1 (zh) * | 2021-06-18 | 2022-12-22 | 北京旷视科技有限公司 | 变焦控制方法、装置、电子设备和计算机可读存储介质 |
| CN113709368A (zh) * | 2021-08-26 | 2021-11-26 | 维沃移动通信有限公司 | 图像显示方法、装置及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111935397B (zh) | 2022-04-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111935397B (zh) | 图像的处理方法、装置、电子设备和计算机可读介质 | |
| CN110557557B (zh) | 非线性延展裁切图像的方法及系统 | |
| WO2021208371A1 (zh) | 多摄变焦控制方法、装置、电子系统及存储介质 | |
| US8441541B2 (en) | Control apparatus and control method therefor | |
| JP6022577B2 (ja) | 立体画像ペアの改善された切り取りのための方法および装置 | |
| CN110456967B (zh) | 信息处理方法、信息处理设备以及程序 | |
| CN111935398B (zh) | 图像的处理方法、装置、电子设备和计算机可读介质 | |
| WO2017016050A1 (zh) | 一种图像的预览方法、装置及终端 | |
| JP4010754B2 (ja) | 画像処理装置と画像処理方法及びコンピュータ読み取り可能な記録媒体 | |
| JPWO2014208230A1 (ja) | 座標算出装置及び方法、並びに画像処理装置及び方法 | |
| JP2011250125A (ja) | 画像処理装置およびその方法 | |
| JP6529533B2 (ja) | 撮像装置、撮像装置の制御方法、及び、プログラム | |
| JP6606530B2 (ja) | 画像処理装置およびその制御方法、撮像装置、監視システム | |
| JP6752360B2 (ja) | 画像処理装置、撮像装置、端末装置、画像補正方法および画像処理プログラム | |
| CN112215906A (zh) | 图像处理方法、装置和电子设备 | |
| JP7169773B2 (ja) | 撮像装置およびその制御方法ならびにプログラム | |
| JP2007184720A (ja) | 画像撮影装置 | |
| JP6732440B2 (ja) | 画像処理装置、画像処理方法、及びそのプログラム | |
| US10701286B2 (en) | Image processing device, image processing system, and non-transitory storage medium | |
| WO2017159014A1 (ja) | 画像処理装置、画像処理方法及び画像処理システム | |
| JP2015220662A (ja) | 画像処理装置及びその制御方法、並びにプログラム | |
| CN112053403B (zh) | 双摄像头的光轴夹角确定方法及装置 | |
| JP2018022519A (ja) | 画像処理装置 | |
| JP2017204666A (ja) | 撮像装置 | |
| JP6566765B2 (ja) | 撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |