CN111147755B - 双摄像头的变焦处理方法、装置及终端设备 - Google Patents
双摄像头的变焦处理方法、装置及终端设备 Download PDFInfo
- Publication number
- CN111147755B CN111147755B CN202010001090.1A CN202010001090A CN111147755B CN 111147755 B CN111147755 B CN 111147755B CN 202010001090 A CN202010001090 A CN 202010001090A CN 111147755 B CN111147755 B CN 111147755B
- Authority
- CN
- China
- Prior art keywords
- image
- zoom
- camera
- resolution
- reference image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 63
- 238000000034 method Methods 0.000 claims abstract description 48
- 230000008569 process Effects 0.000 claims abstract description 25
- 230000004927 fusion Effects 0.000 claims abstract description 11
- 238000005070 sampling Methods 0.000 claims abstract description 10
- 230000003287 optical effect Effects 0.000 claims description 27
- 238000005457 optimization Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 230000009977 dual effect Effects 0.000 claims description 4
- 230000001960 triggered effect Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 5
- 230000003321 amplification Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 238000003199 nucleic acid amplification method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000035772 mutation Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000036632 reaction speed Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种双摄像头的变焦处理方法、装置及终端设备，所述变焦处理方法包括：根据变焦放大倍数，确定在变焦处理过程中的基准图像；其中，所述基准图像为广角摄像头拍摄的第一图像或长焦摄像头拍摄的第二图像；当所述基准图像为所述第一图像时，根据所述第一图像的分辨率，采用下采样，或像素插补加图像局部替换的方式，进行变焦处理；当所述基准图像为所述第二图像时，采用下采样或像素插补的方式，进行变焦处理；采用图像配准和图像融合的方式，对变焦处理后的图像进行优化，得到最终变焦图像。本发明能够实现高清晰度的变焦效果。
Description
技术领域
本发明涉及拍摄处理技术领域，特别是涉及一种双摄像头的变焦处理方法、装置及终端设备。
背景技术
实现变焦的装置和方法根据实现原理可划分为光学变焦和电子变焦。光学变焦，是通过改变镜头内的透镜与成像平面的距离来放大或缩小需要拍摄的画面。电子变焦，是利用处理器将图像局部像素通过插补方式铺满整个画面来实现变焦。
光学变焦依靠光学镜头结构以及利用马达作为焦距调整的动力，马达的存在和物理焦距的必要调整导致装有光学变焦镜头的摄影设备体积庞大，不便于携带和安装。光学镜头和可移动的镜片决定了变焦镜头相比于定焦镜头更易损且昂贵。光学变焦引入机械部件实现变焦技术，同时也引入了频繁变焦导致变焦镜头寿命有限的问题。针对光学变焦镜头昂贵的问题，可采用较多塑料非球面镜片降低成本，但该方法并没有解决光学镜头体积大，使用寿命有限，反应速度慢等问题。此外，光学变焦镜头在放大的画面的过程中只保留小范围视野，丢失了全局信息，放大倍数越大，丢失的全景信息越多。对于安防监控摄像机而言，设备的可靠性大大降低。
现有技术下，电子变焦通过画面裁切和像素插补的方式对画面进行电子放大，由于在像素插补过程中不能完全还原为真实的图像，当电子变焦放大的图像在放大倍率较大时图像清晰度极低。例如：
采用单镜头单码流的形式，变焦过程大致为：先裁切原始图像至放大的视野范围，再将图像通过像素插补的方式放大到显示画面的分辨率大小。这种方式实际上是通过插补的“假像素”来替换裁切掉的真实像素，放大倍数越大，丢失的图像原始信息越多。放大后图像失真，拍摄场景中小物体或远处人物的外观和特征由于图像不清晰而无法判断其面貌和身份，从而失去拍摄和监控的真正意义。
发明内容
本发明的目的是提供一种双摄像头的变焦处理方法、装置及终端设备，所述方法能够实现高清晰度的变焦效果。
第一方面，为了解决上述技术问题，本发明一实施例提供一种双摄像头的变焦处理方法，包括：
根据变焦放大倍数，确定在变焦处理过程中的基准图像；其中，所述基准图像为广角摄像头拍摄的第一图像或长焦摄像头拍摄的第二图像；
当所述基准图像为所述第一图像时，根据所述第一图像的分辨率，采用下采样，或像素插补加图像局部替换的方式，进行变焦处理；当所述基准图像为所述第二图像时，采用下采样或像素插补的方式，进行变焦处理；
采用图像配准和图像融合的方式，对变焦处理后的图像进行优化，得到最终变焦图像。
优选地，所述当所述基准图像为所述第一图像时，根据所述第一图像的分辨率，采用下采样，或像素插补加图像局部替换的方式，进行变焦处理，包括：
当所述基准图像为所述第一图像且分辨率大于或等于第一预设分辨率时，将所述第一图像裁切至所述变焦放大倍数大小，并通过下采样适配到目标分辨率大小；
当所述基准图像为所述第一图像且分辨率小于第二预设分辨率时，将所述第一图像裁切至所述变焦放大倍数大小，并通过像素插补适配到目标分辨率大小，以及，将所述第二图像适配到所述目标分辨率大小，并将适配所述目标分辨率大小后的第二图像替换适配所述目标分辨率大小后的第一图像中心部分。
优选地，所述将适配所述目标分辨率大小后的第二图像替换适配所述目标分辨率大小后的第一图像中心部分，包括：
根据广角摄像头和长焦摄像头的光心距离，确定裁切中心位置；
根据裁切中心位置，将适配所述目标分辨率大小后的第二图像替换适配所述目标分辨率大小后的第一图像中心部分。
优选地，所述当所述基准图像为所述第二图像时，采用下采样或像素插补的方式，进行变焦处理，包括：
当所述基准图像为所述第二图像时，将所述第二图像裁切至所述变焦放大倍数大小，并通过下采样或像素插补适配到目标分辨率大小。
优选地，所述根据变焦放大倍数，确定在变焦处理过程中的基准图像，包括：
当1.0≤变焦放大倍数＜n时，选取广角摄像头拍摄的第一图像作为基准图像；当n≤变焦放大倍数＜预设最大值时，切换为长焦摄像头拍摄的第二图像作为基准图像；其中，
给定长焦摄像头的画面视场角为广角摄像头的画面视场角的n倍。
优选地，在所述根据变焦放大倍数，确定在变焦处理过程中的基准图像之前，还包括：
对广角摄像头拍摄的第一图像和长焦摄像头拍摄的第二图像进行预处理；具体的，
根据给定的配置参数，对广角摄像头拍摄的第一图像和长焦摄像头拍摄的第二图像的亮度、对比度、色彩饱和度、色调、锐度进行调整。
优选地，在所述根据变焦放大倍数，确定在变焦处理过程中的基准图像之前，还包括：
响应用户触发的拍摄操作，启动广角摄像头和长焦摄像头独立拍摄同一场景画面，分别得到第一图像和第二图像。
第二方面，为了解决上述技术问题，本发明一实施例提供一种双摄像头的变焦处理装置，包括：
选取模块，用于根据变焦放大倍数，确定在变焦处理过程中的基准图像；其中，所述基准图像为广角摄像头拍摄的第一图像或长焦摄像头拍摄的第二图像；
变焦处理模块，用于当所述基准图像为所述第一图像时，根据所述第一图像的分辨率，采用下采样，或像素插补加图像局部替换的方式，进行变焦处理；当所述基准图像为所述第二图像时，采用下采样或像素插补的方式，进行变焦处理；
图像优化模块，用于采用图像配准和图像融合的方式，对变焦处理后的图像进行优化，得到最终变焦图像。
第三方面，本发明一实施例提供一种终端设备，包括如上述的双摄像头的变焦处理装置。
第四方面，本发明一实施例提供一种终端设备，包括：
一个或多个处理器；
存储器，与所述处理器耦接，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述的双摄像头的变焦处理方法。
相对于现有技术，本发明提供的一种双摄像头的变焦处理方法、装置及终端设备，通过广角摄像头和长焦摄像头，采集第一图像和第二图像，即双码流模式，并根据变焦放大倍数，确定在变焦处理过程中的基准图像，进行裁切至所述变焦放大倍数大小，并通过下采样或像素插补适配到目标分辨率大小，再将适配所述目标分辨率大小后的第二图像替换适配所述目标分辨率大小后的第一图像中心部分，得到变焦图像。双码流模式下进行的上述变焦处理，使得两路图像信号能够同时保留了大视野和小细节两路原始数据，画面的全局信息和局部信息都被完整保留下来，能够实现高清晰度的变焦效果。
附图说明
图1是本发明一个实施例提供的双摄像头的变焦处理方法的流程图；
图2是本发明一个实施例提供的双摄像头的变焦处理方法的示意图；
图3是本发明一个实施例提供的长焦画面替换广角画面的示意图；
图4是本发明一个实施例提供的广角镜头裁切中心计算方式的示意图；
图5是本发明一个实施例提供的双摄像头的变焦处理方法的流程示意图；
图6是本发明一个实施例提供的双摄像头的变焦处理方法的流程示意图；
图7是本发明一个实施例提供的双摄像头的变焦处理装置的结构示意图；
图8是本发明一个实施例提供的终端设备的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，文中所使用的步骤编号仅是为了方便描述，不作为对步骤执行先后顺序的限定。
应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
在本发明一个实施例中，双摄像头的设计主要是由一个广角的摄像头和一个长焦的摄像头组成。其实现变焦的原理为：打开摄像头后，同时进入广角摄像头和长焦摄像头，将两个摄像头的画面进行合成后供用户预览。当用户要使用变焦功能时，可通过触屏或物理按键等放大框进行放大操作，此时，主摄像头的图像占比会慢慢降低，副摄像头的图像占比会慢慢增加，进行合成显示，从而达到变焦的功能。
可以理解的是，本发明实施例采用的具备双摄像头的拍摄设备或终端设备，包括但不限于智能手机、平板电脑、智能穿戴设备、相机、监控设备等。拍摄设备或终端设备的拍摄部分，由两组不同焦距的定焦镜头和图像传感器构成，一组采用长焦摄像头和高分辨率的图像传感器，另一组采用广角摄像头和高分辨率的图像传感器。两组组件共面、近距离左右摆放，独立拍摄同一场景的画面，输出两路图像信号。放大倍数设置部分，用于给用户设置电子变焦的放大倍率。变焦处理部分，根据配置参数对原始的两路图像信号进行亮度、对比度、色彩饱和度、色调、锐度进行调整，并根据放大倍率设置装置设置的电子放大倍率，对视频拍摄装置传入的两个图像信号执行电子变焦处理，输出电子变焦后的图像信号。
第一方面：
请参阅图1-2，本发明一个实施例提供的一种双摄像头的变焦处理方法，包括：
S11、根据变焦放大倍数，确定在变焦处理过程中的基准图像；其中，所述基准图像为广角摄像头拍摄的第一图像或长焦摄像头拍摄的第二图像。
在本发明一个实施例中，所述根据变焦放大倍数，确定在变焦处理过程中的基准图像，包括：
当1.0≤变焦放大倍数＜n时，选取广角摄像头拍摄的第一图像作为基准图像；当n≤变焦放大倍数＜预设最大值时，切换为长焦摄像头拍摄的第二图像作为基准图像；其中，
给定长焦摄像头的画面视场角为广角摄像头的画面视场角的n倍。
S12、当所述基准图像为所述第一图像时，根据所述第一图像的分辨率，采用下采样，或像素插补加图像局部替换的方式，进行变焦处理；当所述基准图像为所述第二图像时，采用下采样或像素插补的方式，进行变焦处理。
在一优选的实施例当中，所述当所述基准图像为所述第一图像时，根据所述第一图像的分辨率，采用下采样，或像素插补加图像局部替换的方式，进行变焦处理，包括：
当所述基准图像为所述第一图像且分辨率大于或等于第一预设分辨率时，将所述第一图像裁切至所述变焦放大倍数大小，并通过下采样适配到目标分辨率大小；
当所述基准图像为所述第一图像且分辨率小于第二预设分辨率时，将所述第一图像裁切至所述变焦放大倍数大小，并通过像素插补适配到目标分辨率大小，以及，将所述第二图像适配到所述目标分辨率大小，并将适配所述目标分辨率大小后的第二图像替换适配所述目标分辨率大小后的第一图像中心部分。
需要说明的是，第一预设分辨率和第二分辨率均可为自定定义设置或默认出厂设置的分辨率阈值。第一预设分辨率等于第二分辨率时，即为用于判断对所述基准图像为所述第一图像进行相应处理的分辨率阈值。第一预设分辨率不等于第二分辨率时，默认第一预设分辨率大于第二分辨率，分辨率大于或等于第一预设分辨率确定为分辨率过高，分辨率小于或等于第二预设分辨率确定为分辨率过低。
在具体的实施例当中，所述将适配所述目标分辨率大小后的第二图像替换适配所述目标分辨率大小后的第一图像中心部分，包括：
根据广角摄像头和长焦摄像头的光心距离，确定裁切中心位置；
根据裁切中心位置，将适配所述目标分辨率大小后的第二图像替换适配所述目标分辨率大小后的第一图像中心部分。
举例来说，裁切中心的位置不仅取决于光心距离，还取决于拍摄视野的宽度，拍摄的距离不同，裁切中心的位置也会变化。但是由于在一般变焦场景下，两个镜头的距离(光心距离)相对于拍摄视野的宽度可以忽略不记，因此，裁切中心位置可以设定为图像画面的中心位置。
两组镜头的光心距离和镜头的组合决定了两个画面的中心位置的总偏移量，为了避免在图像信号切换时产生位置的突变，在广角镜头画面的放大过程中根据中心偏移量确定裁切中心位置，裁切中心的计算方式，如图4所示。在长焦镜头画面的放大过程中无需偏移。假设n＝2.0，两组镜头的摆放位置决定了光心距离，即画面的中心位置的总偏移量为D＝20pixels，当放大倍率x＝1.5时，裁切中心位于广角镜头画面中心点的水平线上距离为(x-1.0)*D/(n-1.0)＝10pixels的位置。
在一优选的实施例当中，所述当所述基准图像为所述第二图像时，采用下采样或像素插补的方式，进行变焦处理，包括：
当所述基准图像为所述第二图像时，将所述第二图像裁切至所述变焦放大倍数大小，并通过下采样或像素插补适配到目标分辨率大小。
在具体的实施例当中，当1.0≤变焦放大倍数＜n时，将广角摄像头拍摄的第一图像裁切至所述变焦放大倍数大小，并通过下采样或像素插补适配到目标分辨率大小；
当n≤变焦放大倍数＜预设最大值时，将长焦摄像头拍摄的第二图像裁切至所述变焦放大倍数大小，并通过下采样或像素插补适配到目标分辨率大小。
举例来说，变焦放大倍数可以是1.0至最大预设值之间的任意自然数。
当1.0≤变焦放大倍数＜n时，将广角摄像头拍摄的第一图像作为基准图像，裁切至所述变焦放大倍数大小，并通过下采样或像素插补适配到目标分辨率大小。
具体的，若裁切后的画面≥2MP分辨率，则通过下采样适配到2MP的分辨率大小；若裁切后的画面＜2MP分辨率，通过像素插补适配到2MP的分辨率大小，并用长焦摄像头拍摄的第二图像适配到2MP分辨率后的整个画幅来替换其中心区域。其中，替换的位置由第一图像和第二图像的光心相对位置决定，如图3所示。
当n≤变焦放大倍数＜预设最大值时，将长焦摄像头拍摄的第二图像作为基准图像，裁切至所述变焦放大倍数大小，并通过下采样或像素插补适配到目标分辨率大小。
S13、采用图像配准和图像融合的方式，对变焦处理后的图像进行优化，得到最终变焦图像。
具体的，对所述变焦图像进行优化，包括两路码流图像的配准和画面衔接处图像融合。图像配准用于找出两个画面中各个像素的对应位置关系；图像融合用于解决由于图像画质不一致产生的拼接缝明显的问题，使得变焦后合成的图像在衔接处自然过渡。
在本发发明一个实施例中，对变焦图像进行优化，解决图像在画面衔接部分的拼接缝问题。最后输出三路码流，其中一路是经过变焦处理和画质优化的2MP变焦码流，另外两路是原始的广角镜头码流和原始的长焦镜头码流。
相对于现有技术，本发明一个实施例提供的一种双摄像头的变焦处理方法，通过广角摄像头和长焦摄像头，采集第一图像和第二图像，即双码流模式，并根据变焦放大倍数，确定在变焦处理过程中的基准图像，进行裁切至所述变焦放大倍数大小，并通过下采样或像素插补适配到目标分辨率大小，再将适配所述目标分辨率大小后的第二图像替换适配所述目标分辨率大小后的第一图像中心部分，得到变焦图像。双码流模式下进行的上述变焦处理，使得两路图像信号能够同时保留了大视野和小细节两路原始数据，画面的全局信息和局部信息都被完整保留下来，能够实现高清晰度的变焦效果。
请参阅图5，本发明一个实施例提供的一种双摄像头的变焦处理方法，在所述根据变焦放大倍数，确定在变焦处理过程中的基准图像之前，还包括：
S31、对广角摄像头拍摄的第一图像和长焦摄像头拍摄的第二图像进行预处理；具体的，
根据给定的配置参数，对广角摄像头拍摄的第一图像和长焦摄像头拍摄的第二图像的亮度、对比度、色彩饱和度、色调、锐度进行调整。
请参阅图6，本发明一个实施例提供的一种双摄像头的变焦处理方法，在所述根据变焦放大倍数，确定在变焦处理过程中的基准图像之前，还包括：
S41、响应用户触发的拍摄操作，启动广角摄像头和长焦摄像头独立拍摄同一场景画面，分别得到第一图像和第二图像。
相对于现有技术，本发明一个实施例采用的电子变焦能够解决的一个关键问题是如何在画面放大的过程中尽可能不失真且保持清晰。采用电子变焦的方式替代机械变焦的方式满足体积和寿命要求，同时能够很大程度降低设备的成本，提高设备的稳定性。本发明一个实施例采用采用的双码流方式能够增加原始图像的数据来源，相当于用真实的画面细节数据弥补放大时丢失的画面细节，此外长短焦的配合兼顾了大视野的画面和拍摄中心的细节，有利于避免监控设备在其投入应用后由于画质不清晰带来的安全问题。
第二方面：
请参阅图7，为了解决上述技术问题，本发明一实施例提供一种双摄像头的变焦处理装置，包括：
选取模块10，用于根据变焦放大倍数，确定在变焦处理过程中的基准图像。其中，所述基准图像为广角摄像头拍摄的第一图像或长焦摄像头拍摄的第二图像。
当1.0≤变焦放大倍数＜n时，选取广角摄像头拍摄的第一图像作为基准图像；当n≤变焦放大倍数＜预设最大值时，切换为长焦摄像头拍摄的第二图像作为基准图像；其中，给定长焦摄像头的画面视场角为广角摄像头的画面视场角的n倍。
变焦处理模块20，用于当所述基准图像为所述第一图像时，根据所述第一图像的分辨率，采用下采样，或像素插补加图像局部替换的方式，进行变焦处理。当所述基准图像为所述第二图像时，采用下采样或像素插补的方式，进行变焦处理。
在一优选的实施例当中，变焦处理模块20，用于当所述基准图像为所述第一图像时，根据所述第一图像的分辨率，采用下采样，或像素插补加图像局部替换的方式，进行变焦处理，具体的：
当所述基准图像为所述第一图像且分辨率大于或等于第一预设分辨率时，将所述第一图像裁切至所述变焦放大倍数大小，并通过下采样适配到目标分辨率大小；
当所述基准图像为所述第一图像且分辨率小于第二预设分辨率时，将所述第一图像裁切至所述变焦放大倍数大小，并通过像素插补适配到目标分辨率大小，以及，将所述第二图像适配到所述目标分辨率大小，并将适配所述目标分辨率大小后的第二图像替换适配所述目标分辨率大小后的第一图像中心部分。
需要说明的是，第一预设分辨率和第二分辨率均可为自定定义设置或默认出厂设置的分辨率阈值。第一预设分辨率等于第二分辨率时，即为用于判断对所述基准图像为所述第一图像进行相应处理的分辨率阈值。第一预设分辨率不等于第二分辨率时，默认第一预设分辨率大于第二分辨率，分辨率大于或等于第一预设分辨率确定为分辨率过高，分辨率小于或等于第二预设分辨率确定为分辨率过低。
在具体的实施例当中，所述将适配所述目标分辨率大小后的第二图像替换适配所述目标分辨率大小后的第一图像中心部分，包括：
根据广角摄像头和长焦摄像头的光心距离，确定裁切中心位置；
根据裁切中心位置，将适配所述目标分辨率大小后的第二图像替换适配所述目标分辨率大小后的第一图像中心部分。
举例来说，裁切中心的位置不仅取决于光心距离，还取决于拍摄视野的宽度，拍摄的距离不同，裁切中心的位置也会变化。但是由于在一般变焦场景下，两个镜头的距离(光心距离)相对于拍摄视野的宽度可以忽略不记，因此，裁切中心位置可以设定为图像画面的中心位置。
两组镜头的光心距离和镜头的组合决定了两个画面的中心位置的总偏移量，为了避免在图像信号切换时产生位置的突变，在广角镜头画面的放大过程中根据中心偏移量确定裁切中心位置，裁切中心的计算方式，如图4所示。在长焦镜头画面的放大过程中无需偏移。假设n＝2.0，两组镜头的摆放位置决定了光心距离，即画面的中心位置的总偏移量为D＝20pixels，当放大倍率x＝1.5时，裁切中心位于广角镜头画面中心点的水平线上距离为(x-1.0)*D/(n-1.0)＝10pixels的位置。
在一优选的实施例当中，变焦处理模块20，用于当所述基准图像为所述第二图像时，采用下采样或像素插补的方式，进行变焦处理，具体的：
当所述基准图像为所述第二图像时，将所述第二图像裁切至所述变焦放大倍数大小，并通过下采样或像素插补适配到目标分辨率大小。
在具体的实施例当中，当1.0≤变焦放大倍数＜n时，将广角摄像头拍摄的第一图像裁切至所述变焦放大倍数大小，并通过下采样或像素插补适配到目标分辨率大小；
当n≤变焦放大倍数＜预设最大值时，将长焦摄像头拍摄的第二图像裁切至所述变焦放大倍数大小，并通过下采样或像素插补适配到目标分辨率大小。
举例来说，变焦放大倍数可以是1.0至最大预设值之间的任意自然数。
当1.0≤变焦放大倍数＜n时，将广角摄像头拍摄的第一图像作为基准图像，裁切至所述变焦放大倍数大小，并通过下采样或像素插补适配到目标分辨率大小。
具体的，若裁切后的画面≥2MP分辨率，则通过下采样适配到2MP的分辨率大小；若裁切后的画面＜2MP分辨率，通过像素插补适配到2MP的分辨率大小，并用长焦摄像头拍摄的第二图像适配到2MP分辨率后的整个画幅来替换其中心区域。其中，替换的位置由第一图像和第二图像的光心相对位置决定，如图3所示。
当n≤变焦放大倍数＜预设最大值时，将长焦摄像头拍摄的第二图像作为基准图像，裁切至所述变焦放大倍数大小，并通过下采样或像素插补适配到目标分辨率大小。
图像优化模块30，用于采用图像配准和图像融合的方式，对变焦处理后的图像进行优化，得到最终变焦图像。
具体的，对所述变焦图像进行优化，包括两路码流图像的配准和画面衔接处图像融合。图像配准用于找出两个画面中各个像素的对应位置关系；图像融合用于解决由于图像画质不一致产生的拼接缝明显的问题，使得变焦后合成的图像在衔接处自然过渡。
在本发发明一个实施例中，对变焦图像进行优化，解决图像在画面衔接部分的拼接缝问题。最后输出三路码流，其中一路是经过变焦处理和画质优化的2MP变焦码流，另外两路是原始的广角镜头码流和原始的长焦镜头码流。
相对于现有技术，本发明一个实施例提供的一种双摄像头的变焦处理装置，通过广角摄像头和长焦摄像头，采集第一图像和第二图像，即双码流模式，并根据变焦放大倍数，确定在变焦处理过程中的基准图像，进行裁切至所述变焦放大倍数大小，并通过下采样或像素插补适配到目标分辨率大小，再将适配所述目标分辨率大小后的第二图像替换适配所述目标分辨率大小后的第一图像中心部分，得到变焦图像。双码流模式下进行的上述变焦处理，使得两路图像信号能够同时保留了大视野和小细节两路原始数据，画面的全局信息和局部信息都被完整保留下来，能够实现高清晰度的变焦效果。
本发明一个实施例提供的一种双摄像头的变焦处理装置，还包括：
预处理模块，用于对广角摄像头拍摄的第一图像和长焦摄像头拍摄的第二图像进行预处理；具体的，
根据给定的配置参数，对广角摄像头拍摄的第一图像和长焦摄像头拍摄的第二图像的亮度、对比度、色彩饱和度、色调、锐度进行调整。
本发明一个实施例提供的一种双摄像头的变焦处理装置，还包括：
拍摄模块，用于响应用户触发的拍摄操作，启动广角摄像头和长焦摄像头独立拍摄同一场景画面，分别得到第一图像和第二图像。
相对于现有技术，本发明一个实施例采用的电子变焦能够解决的一个关键问题是如何在画面放大的过程中尽可能不失真且保持清晰。采用电子变焦的方式替代机械变焦的方式满足体积和寿命要求，同时能够很大程度降低设备的成本，提高设备的稳定性。本发明一个实施例采用采用的双码流方式能够增加原始图像的数据来源，相当于用真实的画面细节数据弥补放大时丢失的画面细节，此外长短焦的配合兼顾了大视野的画面和拍摄中心的细节，有利于避免监控设备在其投入应用后由于画质不清晰带来的安全问题。
第三方面：
本发明一实施例提供一种终端设备，包括如上述的双摄像头的变焦处理装置。
第四方面：
本发明一实施例提供一种终端设备，包括：
一个或多个处理器；
存储器，与所述处理器耦接，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述的双摄像头的变焦处理方法。
如图8所示，本发明一个实施例提供的终端设备的结构框图。例如，终端设备可以包括：处理器，存储器。该电子设备还可以包括多媒体组件，输入/输出(I/O)接口，以及通信组件中的一者或多者。
其中，处理器用于控制该终端设备的整体操作，以完成上述的双摄像头的变焦处理方法的全部或部分步骤。存储器用于存储各种类型的数据以支持在该终端设备的操作，这些数据例如可以包括用于在该终端设备上操作的任何应用程序或方法的指令，以及应用程序相关的数据。该存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器或通过通信组件发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口为处理器和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件用于该终端设备与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(NearFieldCommunication，简称NFC)，2G、3G或4G，或它们中的一种或几种的组合，因此相应的该通信组件可以包括:Wi-Fi模块，蓝牙模块，NFC模块。
在一示例性实施例中，终端设备可以被一个或多个应用专用集成电路(Application Specific 1ntegrated Circuit，简称AS1C)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device,简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的双摄像头的变焦处理方法。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的双摄像头的变焦处理方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器，上述程序指令可由电子设备的处理器执行以完成上述的双摄像头的变焦处理方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (8)
1.一种双摄像头的变焦处理方法，其特征在于，包括：
根据变焦放大倍数，确定在变焦处理过程中的基准图像；其中，所述基准图像为广角摄像头拍摄的第一图像或长焦摄像头拍摄的第二图像；
当所述基准图像为所述第一图像时，根据所述第一图像的分辨率，采用下采样，或像素插补加图像局部替换的方式，进行变焦处理；当所述基准图像为所述第二图像时，采用下采样或像素插补的方式，进行变焦处理；
采用图像配准和图像融合的方式，对变焦处理后的图像进行优化，得到最终变焦图像；
其中，所述当所述基准图像为所述第一图像时，根据所述第一图像的分辨率，采用下采样，或像素插补加图像局部替换的方式，进行变焦处理，包括：
当所述基准图像为所述第一图像且分辨率大于或等于第一预设分辨率时，将所述第一图像裁切至所述变焦放大倍数大小，并通过下采样适配到目标分辨率大小；
当所述基准图像为所述第一图像且分辨率小于第二预设分辨率时，将所述第一图像裁切至所述变焦放大倍数大小，并通过像素插补适配到目标分辨率大小，以及，将所述第二图像适配到所述目标分辨率大小，并将适配所述目标分辨率大小后的第二图像替换适配所述目标分辨率大小后的第一图像中心部分；
所述将适配所述目标分辨率大小后的第二图像替换适配所述目标分辨率大小后的第一图像中心部分，包括：
根据广角摄像头和长焦摄像头的光心距离，确定裁切中心位置；其中，裁切中心位于广角镜头画面中心点的水平线上距离为(x-1.0)*D/(n-1.0)的位置，x为放大倍率，D为两个画面的中心位置的总偏移量；长焦摄像头的画面视场角为广角摄像头的画面视场角的n倍；
根据裁切中心位置，将适配所述目标分辨率大小后的第二图像替换适配所述目标分辨率大小后的第一图像中心部分。
2.根据权利要求1所述的双摄像头的变焦处理方法，其特征在于，所述当所述基准图像为所述第二图像时，采用下采样或像素插补的方式，进行变焦处理，包括：
当所述基准图像为所述第二图像时，将所述第二图像裁切至所述变焦放大倍数大小，并通过下采样或像素插补适配到目标分辨率大小。
3.根据权利要求1所述的双摄像头的变焦处理方法，其特征在于，所述根据变焦放大倍数，确定在变焦处理过程中的基准图像，包括：
当1.0≤变焦放大倍数＜n时，选取广角摄像头拍摄的第一图像作为基准图像；当n≤变焦放大倍数＜预设最大值时，切换为长焦摄像头拍摄的第二图像作为基准图像。
4.根据权利要求1所述的双摄像头的变焦处理方法，其特征在于，在所述根据变焦放大倍数，确定在变焦处理过程中的基准图像之前，还包括：
对广角摄像头拍摄的第一图像和长焦摄像头拍摄的第二图像进行预处理；具体的，
根据给定的配置参数，对广角摄像头拍摄的第一图像和长焦摄像头拍摄的第二图像的亮度、对比度、色彩饱和度、色调、锐度进行调整。
5.根据权利要求4所述的双摄像头的变焦处理方法，其特征在于，在所述根据变焦放大倍数，确定在变焦处理过程中的基准图像之前，还包括：
响应用户触发的拍摄操作，启动广角摄像头和长焦摄像头独立拍摄同一场景画面，分别得到第一图像和第二图像。
6.一种双摄像头的变焦处理装置，其特征在于，包括：
选取模块，用于根据变焦放大倍数，确定在变焦处理过程中的基准图像；其中，所述基准图像为广角摄像头拍摄的第一图像或长焦摄像头拍摄的第二图像；
变焦处理模块，用于当所述基准图像为所述第一图像时，根据所述第一图像的分辨率，采用下采样，或像素插补加图像局部替换的方式，进行变焦处理；当所述基准图像为所述第二图像时，采用下采样或像素插补的方式，进行变焦处理；
图像优化模块，用于采用图像配准和图像融合的方式，对变焦处理后的图像进行优化，得到最终变焦图像；
其中，变焦处理模块，用于当所述基准图像为所述第一图像时，根据所述第一图像的分辨率，采用下采样，或像素插补加图像局部替换的方式，进行变焦处理，具体的：
当所述基准图像为所述第一图像且分辨率大于或等于第一预设分辨率时，将所述第一图像裁切至所述变焦放大倍数大小，并通过下采样适配到目标分辨率大小；
当所述基准图像为所述第一图像且分辨率小于第二预设分辨率时，将所述第一图像裁切至所述变焦放大倍数大小，并通过像素插补适配到目标分辨率大小，以及，将所述第二图像适配到所述目标分辨率大小，并将适配所述目标分辨率大小后的第二图像替换适配所述目标分辨率大小后的第一图像中心部分；
所述将适配所述目标分辨率大小后的第二图像替换适配所述目标分辨率大小后的第一图像中心部分，包括：
根据广角摄像头和长焦摄像头的光心距离，确定裁切中心位置；其中，裁切中心位于广角镜头画面中心点的水平线上距离为(x-1.0)*D/(n-1.0)的位置，x为放大倍率，D为两个画面的中心位置的总偏移量；长焦摄像头的画面视场角为广角摄像头的画面视场角的n倍；
根据裁切中心位置，将适配所述目标分辨率大小后的第二图像替换适配所述目标分辨率大小后的第一图像中心部分。
7.一种终端设备，其特征在于，包括如权利要求6所述的双摄像头的变焦处理装置。
8.一种终端设备，其特征在于，包括：
一个或多个处理器；
存储器，与所述处理器耦接，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至5任一项所述的双摄像头的变焦处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010001090.1A CN111147755B (zh) | 2020-01-02 | 2020-01-02 | 双摄像头的变焦处理方法、装置及终端设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010001090.1A CN111147755B (zh) | 2020-01-02 | 2020-01-02 | 双摄像头的变焦处理方法、装置及终端设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111147755A CN111147755A (zh) | 2020-05-12 |
| CN111147755B true CN111147755B (zh) | 2021-12-31 |
Family
ID=70523268
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010001090.1A Active CN111147755B (zh) | 2020-01-02 | 2020-01-02 | 双摄像头的变焦处理方法、装置及终端设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111147755B (zh) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113037988B (zh) * | 2019-12-09 | 2022-10-25 | Oppo广东移动通信有限公司 | 变焦方法、电子装置和计算机可读存储介质 |
| CN111654631B (zh) * | 2020-06-19 | 2021-11-12 | 厦门紫光展锐科技有限公司 | 变焦控制方法、系统、设备及介质 |
| CN112840374A (zh) * | 2020-06-30 | 2021-05-25 | 深圳市大疆创新科技有限公司 | 图像处理方法、图像获取装置、无人机、无人机系统和存储介质 |
| CN111986129B (zh) * | 2020-06-30 | 2024-03-19 | 普联技术有限公司 | 基于多摄图像融合的hdr图像生成方法、设备及存储介质 |
| CN111935397B (zh) * | 2020-07-07 | 2022-04-22 | 北京迈格威科技有限公司 | 图像的处理方法、装置、电子设备和计算机可读介质 |
| CN112019738B (zh) * | 2020-07-31 | 2022-03-01 | 广东小天才科技有限公司 | 一种拍照方法及终端设备 |
| CN112532839B (zh) * | 2020-11-25 | 2022-05-27 | 深圳市锐尔觅移动通信有限公司 | 一种摄像头模组、成像方法、成像装置及移动设备 |
| CN112837254B (zh) * | 2021-02-25 | 2024-06-11 | 普联技术有限公司 | 一种图像融合方法、装置、终端设备及存储介质 |
| CN113570617B (zh) * | 2021-06-24 | 2022-08-23 | 荣耀终端有限公司 | 图像处理方法、装置和电子设备 |
| CN113473113B (zh) * | 2021-06-30 | 2023-07-28 | 展讯通信(天津)有限公司 | 一种相机测试方法、系统及设备 |
| CN113473018B (zh) * | 2021-07-01 | 2023-10-31 | 百果园技术(新加坡)有限公司 | 一种视频拍摄方法、装置、拍摄终端和存储介质 |
| CN113935934A (zh) * | 2021-10-08 | 2022-01-14 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
| CN113793259B (zh) * | 2021-11-15 | 2022-02-15 | 深圳思谋信息科技有限公司 | 图像变焦方法、计算机设备和存储介质 |
| CN114286003A (zh) * | 2021-12-28 | 2022-04-05 | 维沃移动通信有限公司 | 拍摄方法、拍摄装置和电子设备 |
| CN114915728A (zh) * | 2022-05-23 | 2022-08-16 | 普联技术有限公司 | 一种多目摄像设备变焦的方法及多目摄像设备 |
| CN114845059B (zh) * | 2022-07-06 | 2022-11-18 | 荣耀终端有限公司 | 一种拍摄方法及相关设备 |
| CN115314636B (zh) * | 2022-08-03 | 2024-06-07 | 天津华来科技股份有限公司 | 基于摄像头的多路视频流处理方法和系统 |
| CN117714863A (zh) * | 2023-08-18 | 2024-03-15 | 荣耀终端有限公司 | 拍摄方法及其相关设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103109524A (zh) * | 2010-09-24 | 2013-05-15 | 英特尔公司 | 变焦拍摄装置图像融合技术 |
| CN110248081A (zh) * | 2018-10-12 | 2019-09-17 | 华为技术有限公司 | 图像捕捉方法及电子设备 |
| CN110493525A (zh) * | 2019-09-04 | 2019-11-22 | 展讯通信（上海）有限公司 | 变焦图像确定方法及装置、存储介质、终端 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10432869B2 (en) * | 2016-09-07 | 2019-10-01 | Multimedia Image Solution Limited | Method of utilizing wide-angle image capturing element and long-focus image capturing element for achieving clear and precise optical zooming mechanism |
-
2020
- 2020-01-02 CN CN202010001090.1A patent/CN111147755B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103109524A (zh) * | 2010-09-24 | 2013-05-15 | 英特尔公司 | 变焦拍摄装置图像融合技术 |
| CN110248081A (zh) * | 2018-10-12 | 2019-09-17 | 华为技术有限公司 | 图像捕捉方法及电子设备 |
| CN110493525A (zh) * | 2019-09-04 | 2019-11-22 | 展讯通信（上海）有限公司 | 变焦图像确定方法及装置、存储介质、终端 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111147755A (zh) | 2020-05-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111147755B (zh) | 双摄像头的变焦处理方法、装置及终端设备 | |
| US11277553B2 (en) | Switchover control techniques for dual-sensor camera system | |
| CN111294517B (zh) | 一种图像处理的方法及移动终端 | |
| CN110493526B (zh) | 基于多摄像模块的图像处理方法、装置、设备及介质 | |
| US8059185B2 (en) | Photographing apparatus, image display method, computer program and storage medium for acquiring a photographed image in a wide range | |
| US20240284045A1 (en) | Lossless photographing method and apparatus for mobile terminal, terminal device and storage medium | |
| TWI539226B (zh) | 物件追蹤影像處理方法及其系統 | |
| CN110827219B (zh) | 图像处理模型的训练方法、装置及介质 | |
| CN107800953B (zh) | 图像获取装置及其缩放图像的方法 | |
| CN109286750B (zh) | 一种基于智能终端的变焦方法及一种智能终端 | |
| JP2012065173A (ja) | 撮影機器 | |
| KR20070041552A (ko) | 이미지 정보를 형성하는 전자 장치 및 전자 장치에 의한방법과 대응 프로그램 생성물 | |
| CN111818304A (zh) | 图像融合方法及装置 | |
| WO2019006762A1 (zh) | 一种图像捕捉装置及方法 | |
| JP2018157479A (ja) | 撮像装置、撮像装置の制御方法、及び、プログラム | |
| JP2007096588A (ja) | 画像撮影装置および画像表示方法 | |
| CN115134505B (zh) | 预览画面生成方法及装置、电子设备、存储介质 | |
| CN114449174A (zh) | 拍摄方法、装置和电子设备 | |
| CN110602392A (zh) | 控制方法、成像模组、电子设备及计算机可读存储介质 | |
| CN112235509B (zh) | 一种焦距调整方法、装置、移动终端及存储介质 | |
| CN110876000B (zh) | 摄像头模组及图像修正方法、装置、电子设备、存储介质 | |
| CN114866680B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| JP5992561B2 (ja) | 撮影機器及び撮影方法 | |
| WO2022201819A1 (ja) | 撮像装置、および撮像装置制御方法、並びにプログラム | |
| JP6257715B2 (ja) | 表示装置および表示装置の作動方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |