CN110809101A - 图像变焦处理方法及装置、电子设备、存储介质 - Google Patents

图像变焦处理方法及装置、电子设备、存储介质 Download PDF

Info

Publication number
CN110809101A
CN110809101A CN201911067876.7A CN201911067876A CN110809101A CN 110809101 A CN110809101 A CN 110809101A CN 201911067876 A CN201911067876 A CN 201911067876A CN 110809101 A CN110809101 A CN 110809101A
Authority
CN
China
Prior art keywords
data
image
definition
auxiliary
main
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911067876.7A
Other languages
English (en)
Other versions
CN110809101B (zh
Inventor
姚坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Realme Chongqing Mobile Communications Co Ltd
Original Assignee
Realme Chongqing Mobile Communications Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Realme Chongqing Mobile Communications Co Ltd filed Critical Realme Chongqing Mobile Communications Co Ltd
Priority to CN201911067876.7A priority Critical patent/CN110809101B/zh
Publication of CN110809101A publication Critical patent/CN110809101A/zh
Application granted granted Critical
Publication of CN110809101B publication Critical patent/CN110809101B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/04Synchronising
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2622Signal amplitude transition in the zone between image portions, e.g. soft edges

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本公开实施例是关于一种图像变焦处理方法及装置、电子设备、存储介质,涉及图像处理技术领域,该方法包括:响应于变焦操作,对多个待变焦摄像头进行同步对焦,以得到由所述多个待变焦摄像头输出的多路图像数据;对所述多路图像数据进行清晰度处理,并根据处理后的清晰度在所述多路图像数据中确定主数据和辅助数据;将所述主数据和所述辅助数据进行图像融合,以得到预览图像。本公开的技术方案能够平滑地实现摄像头切换以及变焦操作,提高变焦效果和图像质量。

Description

图像变焦处理方法及装置、电子设备、存储介质
技术领域
本公开涉及图像处理技术领域,具体而言,涉及一种图像变焦处理方法、图像变焦处理装置、电子设备以及计算机可读存储介质。
背景技术
在多个摄像头的使用过程中,如何切换摄像头实现变焦功能是提高由多个摄像头拍摄的图像质量的关键所在。
相关技术中的多个摄像头方案,默认广角摄像头作为主摄预览镜头,长焦摄像头作为第二预览镜头。当用户通过交互界面发出变焦动作时,第二预览镜头由原先的挂起状态变为就绪状态,并通过主摄预览镜头传来的焦距位置使得第二预览镜头变焦到对应起始点,再互换预览位置得到预览图像。
上述方式中,只是对第二预览镜头进行了预对焦操作,无法实现平滑地变焦过渡,使得变焦效果较差,从而也使得变焦得到的图像的质量较差。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种图像变焦处理方法及装置、电子设备、存储介质,进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的变焦效果较差的问题。
本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。
根据本公开的一个方面,提供一种图像变焦处理方法,包括:响应于变焦操作,对多个待变焦摄像头进行同步对焦,以得到由所述多个待变焦摄像头输出的多路图像数据;对所述多路图像数据进行清晰度处理,并根据处理后的清晰度在所述多路图像数据中确定主数据和辅助数据;将所述主数据和所述辅助数据进行图像融合,以得到预览图像。
根据本公开的一个方面,提供一种图像变焦处理装置,包括:图像数据获取模块,用于响应于变焦操作,对多个待变焦摄像头进行同步对焦,以得到由所述多个待变焦摄像头输出的多路图像数据;图像数据拆分模块,用于对所述多路图像数据进行清晰度处理,并根据处理后的清晰度在所述多路图像数据中确定主数据和辅助数据;预览图像确定模块,用于将所述主数据和所述辅助数据进行图像融合,以得到预览图像。
根据本公开的一个方面,提供一种电子设备,包括:处理器;以及存储器,用于存储所述处理器的可执行指令;其中,所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的图像变焦处理方法。
根据本公开的一个方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任意一项所述的图像变焦处理方法。
本公开实施例中提供的图像变焦处理方法、图像变焦处理装置、电子设备以及计算机可读存储介质中,通过对多个待变焦摄像头进行同步变焦,进而对得到的图像数据进行清晰度处理,并根据提升后的清晰度来确定图像数据中的主数据和辅助数据,以根据主数据和辅助数据的图像融合结果得到预览图像。一方面,由于对同步对焦后的多个待变焦摄像头输出的多路图像数据均进行了清晰度处理,使得根据清晰度筛选的主数据和辅助数据可以局部融合,避免了输出的图像数据在前景和后景的清晰度差异较大的问题,由于清晰度差异较小,从而实现了变焦操作的平滑过渡处理,提高了变焦操作的准确性,增加了变焦流畅性并且提高了变焦操作的效果。另一方面,由于通过对图像数据进行清晰度处理,并根据清晰度确定主数据和辅助数据,进而根据二者的融合结果得到预览图像,缓解了输出的图像数据中前景和后景清晰度差异较大的问题,在实现平滑流畅变焦的基础上,提高了变焦得到的图像的清晰度,并且提升了图像质量。再一方面,由于进行了硬件同步对焦以及通过对图像数据进行清晰度处理和融合处理,能够根据多个维度来实现平滑地变焦操作,避免了变焦操作中图像属性发生跳变,增加了全面性,提高了变焦操作得到的图像的清晰度以及图像变焦的稳定性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示意性示出本公开实施例中一种图像变焦处理方法的示意图。
图2示意性示出本公开实施例中图像变焦的整体流程示意图。
图3示意性示出本公开实施例中确定预览图像的流程示意图。
图4示意性示出本公开实施例中图像融合的流程示意图。
图5示意性示出本公开实施例中图像变焦处理装置的框图。
图6示意性示出本公开实施例中一种电子设备的框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中,提供许多具体细节从而给出对本公开的实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而省略所述特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外,附图仅为本公开的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
本公开实施例中首先提供了一种图像变焦处理方法,可以应用于任何需要镜头变焦的拍摄场景,例如可以为对包括多摄像头的终端设备进行变焦的应用场景。参考图1中所示,该图像变焦处理方法可以包括以下步骤:
在步骤S110中,响应于变焦操作,对多个待变焦摄像头进行同步对焦,以得到由所述多个待变焦摄像头输出的多路图像数据;
在步骤S120中,对所述多路图像数据进行清晰度处理,并根据处理后的清晰度在所述多路图像数据中确定主数据和辅助数据;
在步骤S130中,将所述主数据和所述辅助数据进行图像融合,以得到预览图像。
本公开实施例中提供的图像变焦处理方法中,一方面,由于对输出的图像数据进行了清晰度处理,使得主数据和辅助数据可以局部融合,避免了输出的两路图像数据在前景和后景的清晰度差异较大的问题,实现了变焦操作的平滑过渡处理,提高了变焦操作的准确性,增加了变焦流畅性并且提高了变焦操作的效果。另一方面,由于通过对图像数据进行清晰度处理,并根据清晰度确定主数据和辅助数据,进而根据二者的融合结果得到预览图像,缓解了输出的图像数据中前景和后景清晰度差异较大的问题,在实现平滑流畅变焦的基础上,提高了变焦得到的图像的清晰度,并且提升了图像质量。再一方面,由于进行了硬件同步对焦以及通过对图像数据进行清晰度处理和融合处理,能够根据多个维度来实现平滑地变焦操作,避免了图像属性发生跳变,增加了全面性,提高了变焦之后的图像的清晰度以及图像变焦的稳定性。
接下来,参考附图对本公开实施例中的图像变焦处理方法进行详细说明。
在步骤S110中,响应于变焦操作,对多个待变焦摄像头进行同步对焦,以得到由所述多个待变焦摄像头输出的多路图像数据。
本公开实施例中,变焦操作指的是用户对原始预览图像执行的变焦操作。变焦操作可以应用于具有摄像功能的终端设备中,终端设备例如可以为具有摄像功能的手机或者是平板电脑等等,此处以手机为例进行说明。具有摄像功能的手机可以为配置有多个摄像头的手机,摄像头的数量可以为两个、三个、四个或者是五个等等,当然也可以为符合实际应用需求的任何数量,此处以两个摄像头为例进行说明。
变焦操作用于调整焦距以生成图像,且变焦操作可以为光学变焦,即通过镜头、物体以及焦点三方的位置发生变化而产生。变焦操作可以为在拍摄过程中,用户对拍摄界面中原始预览图像的界面分别向外的滑动操作;也可以为用户对预设的变焦控制按键的触控操作,例如,可以在终端设备中设置变焦控制按键,当变焦控制按键被按压时,即可确定不同的变焦倍数和放大区域;或者是当按键被旋转或者是被点击时,可以确定接收到了变焦操作,且确定了变焦倍数和放大区域,此处不作限定。
待变焦摄像头指的是待响应变焦操作的摄像头,多个待变焦摄像头可以为终端设备中包含的任意两个功能和焦距不同的摄像头,例如可以为广角摄像头和长焦摄像头。在摄像头用作相机工作时,广角摄像头和长焦摄像头同时上电,并且可以完成硬件同步。在检测到用户执行的变焦操作后,自动控制模块可以响应于该变焦操作,将对焦行程指令下发至待变焦的摄像头对应的传感器,例如下发至其中的CMOS(Complementary Metal OxideSemiconductor,互补金属氧化物半导体)感光芯片。由于待变焦摄像头的数量可以为两个,因此可以将对焦行程指令下发至待变焦的摄像头对应的传感器以输出两路同步对焦后的图像数据。其中,每一个摄像头对应输出的一路图像数据,例如广角摄像头对应第一路数据,长焦摄像头对应第二路数据。自动控制模块可以为3A模块,3A模块(Auto Focus,AutoWhite Balance,Auto Exposure),用于执行自动对焦、自动白平衡以及自动曝光等操作。
在步骤S120中,对所述多路图像数据进行清晰度处理,并根据处理后的清晰度在所述多路图像数据中确定主数据和辅助数据。
本公开实施例中,多路图像数据指的是通过待变焦摄像头拍摄的所有的图像数据,且输出的多路图像数据可以为第一格式。此处的第一格式可以为RAW(RAW ImageFormat)格式,可以理解为:RAW图像就是CMOS或者CCD(charge coupled device,电荷藕合器件)图像感应器将捕捉到的光源信号转化为数字信号的原始数据。RAW文件是一种记录了数码相机传感器的原始信息,同时记录了由相机拍摄所产生的一些元数据(例如ISO的设置、快门速度、光圈值、白平衡等)的文件。RAW是未经处理、也未经压缩的格式,可以把RAW概念化为原始图像编码数据。
进一步地,可以将第一格式首先转换为第二格式,第二格式指的是YUV格式,属于颜色编码方法。YUV中的Y表示明亮度,也就是灰度值;而UV表示的则是色度,作用是描述影像色彩及饱和度,用于指定像素的颜色。YUV是指亮度参量和色度参量分开表示的像素格式,而这样将亮度信息与色彩信息分离,不但可以避免相互干扰,还可以降低色度的采样率而不会对图像质量影响太大。具体地,可以通过ISP(Image signal processor,图像信号处理器)将第一格式转换为第二格式。需要说明的是,每路输出数据均可通过各自对应的图像信号处理器,以分别实现格式转换,提高格式转换效率以及避免多路输出数据之间的相互干扰。
参考图2中所示,广角摄像头2011输出的图像数据RAW1经过表示图像信号处理器1的2012进行转换,得到图像数据YUV1。长焦摄像头2021输出的图像数据RAW2经过表示图像信号处理器2的2022进行格式转换,得到图像数据YUV2。需要补充的是,对该RAW图像进行格式转换处理的目的在于,将RAW图像转换到YUV颜色空间,得到适于人眼查看的YUV图像,以便于人眼从YUV图像中可以直观的感受到其中所包含的自然特征。
在对每路图像数据均进行格式转换之后,可以对转换后的每路图像数据进行清晰度处理。此处的清晰度处理指的是清晰度提升,具体可以为对清晰度的增高操作。在执行清晰度提升时,具体方法可以包括:通过自动控制模块对所述第二格式的所述多路图像数据进行预设处理,以进行清晰度提升;其中,所述预设处理包括自动曝光处理、自动白平衡处理以及自动曝光处理。进而可以基于预设处理对第二格式的多路图像数据进行锐化处理,以便于对每路图像数据进行清晰度提升。
进一步地在得到清晰度之后,可以根据清晰度对多路图像数据进行重新分流,以便于从多路图像数据中确定主数据和辅助数据。此处的主数据指的是主预览数据,辅助数据指的是辅助预览数据,具体可以根据清晰度的大小来具体确定。清晰度指的是影像上各细部影纹及其边界的清晰程度。基于此,可以对比不同路的图像数据的清晰度的大小。如果清晰度的数值大,则可以认为清晰度越高,图像质量越高;清晰度的数值小,则可以认为清晰度越低,图像质量越低。在本公开实施例中,可以将清晰度大的一个图像数据作为主数据,并且将清晰度小的一个图像数据作为辅助数据,从而实现重新分流。继续参考图2中所示,将YUV1和YUV2输入至自动控制模块203,可以得到主数据和辅助数据。其中,主数据可以为广角摄像头输出的图像数据,也可以为长焦摄像头输出的图像数据,具体根据提升后的清晰度而确定。
在步骤S130中,将所述主数据和所述辅助数据进行图像融合,以得到预览图像。
本公开实施例中,在确定主数据和辅助数据之后,可以对主数据和辅助数据进行融合,以根据两个摄像头的融合图像共同确定预览图像。参考图2中所示,将主数据和辅助数据输入至中央处理器204,以进行图像融合,进而将图像融合的结果输入至数字信号处理器205中,以得到预览图像。
对于不同待变焦摄像头产生的不同路的图像数据,焦距不同,前后景图像中景深不同,因此切换待变焦摄像头的过程不顺滑。为了解决这个问题,可以对每路图像数据进行分割,得到多个不同区域的局部数据,进而根据局部数据顺滑地实现摄像头切换。也就是说,基于清晰度对主数据和辅助数据的筛选结果,对筛选结果中的主数据和辅助数据进行局部融合,以得到当前拍摄场景的预览图像。
图3中示意性示出了确定预览图像的具体流程图,参考图3中所示,主要包括步骤S310至步骤S330,且步骤S310至步骤S330是步骤S130的具体实现过程,其中:
在步骤S310中,对所述主数据进行分割得到多个区域的第一局部数据。
本公开实施例中,可以将主数据分割为前景区域和后景区域,前景区域可以包括多个区域,后景区域可以包括多个区域,且前景区域和后景区域对应的不同区域的局部数据的清晰度不同。前景区域指的是离摄像头较近的部分,对前景进行拍摄,可以将把前景作为画面的主体突出出来的区域。后景区域指的是镜头中位于主体后面或者是靠近后边的人或物。前后景识别可以采用神经网络模型或者是其它算法进行自动识别。通过神经网络模型可以对主数据进行分割,以得到第一识别结果,其中第一识别结果用于表示识别出的属于前景区域或者是属于后景区域。进一步地,可以将前景区域划分为多个区域,也可以将后景区域划分为多个区域,每个区域都存在自身对应的第一局部数据,且不同区域对应的第一局部数据不同。
在步骤S320中,对所述辅助数据进行分割得到多个区域的第二局部数据。
本公开实施例中,与步骤S310中类似地,通过神经网络模型可以对辅助数据进行分割,以得到第二识别结果,其中第二识别结果用于表示识别出的是辅助数据中的前景区域或后景区域。进一步地,可以将前景区域划分为多个区域,也可以将后景区域划分为多个区域,每个区域都存在自身对应的第二局部数据,且不同区域对应的第二局部数据不同。
在步骤S330中,基于所述第一局部数据和所述第二局部数据进行图像融合,以确定所述预览图像。
本公开实施例中,预览图像指的是当用户需要使用终端设备拍摄照片时,可以打开终端设备的拍摄功能,终端设备便可以显示拍摄界面,该拍摄界面中包括预览区域,用于显示预览图像,因此预览图像指的是拍照操作之前显示在预览区域的图像。具体可以为采用某个拍照模式对当前拍摄场景进行处理得到的图像。
为了避免相关技术中的问题,本公开实施例中可以将主数据和辅助数据进行融合处理,以得到合成的图像作为预览图像。图4中示意性示出了进行图像融合的流程图,参考图4中所示,主要包括以下步骤S410至步骤S430,且S410至步骤S430是步骤S330的具体实现过程,其中:
在步骤S410中,从所述第一局部数据中根据清晰度确定多个主候选区域的第一局部数据;
在步骤S420中,从所述第二局部数据中根据清晰度确定多个辅助候选区域的第二局部数据;
在步骤S430中,对所述多个主候选区域的第一局部数据以及所述多个辅助候选区域的第二局部数据进行图像融合,并将融合后的局部数据作为所述预览图像。
本公开实施例中,第一局部数据指的是主数据的所有区域的数据,第二局部数据指的是辅助数据的所有区域的数据。但是,对于主数据和辅助数据而言,每个区域的清晰度相差较大,导致不能平滑地切换摄像头。基于此,可以对主数据和辅助数据中的多个区域分别进行筛选,以根据针对主数据和辅助数据的筛选结果对主数据和辅助数据进行融合,进而得到预览图像。在对多个区域进行筛选时,可以采用清晰度进行筛选,以避免清晰度之间的较大差异。为了保证图像质量,可以根据清晰度阈值将主数据中清晰度大的区域作为主候选区域,根据清晰度阈值将辅助数据中清晰度大的区域作为辅助候选区域。其中,主数据和辅助数据对应的用于筛选的清晰度阈值可以相同,例如可以为一个较大的数值。基于此,可以将主数据中清晰度大于清晰度阈值的区域的第一局部数据,和辅助数据中清晰度大于清晰度阈值的区域的第二局部数据,作为用于生成预览图像的数据。并且通过筛选区域,能避免清晰度低的区域的干扰,提高稳定性,而且减少了图像融合时的数据量。也就是说,可以基于清晰度对主数据和辅助数据进行融合,具体可以根据清晰度从主数据和辅助数据中确定候选区域,并根据候选区域的图像数据进行图像融合。
图像融合是用特定的算法将两幅或多幅图像综合成一幅新的图像。融合结果由于能利用两幅或多幅图像在时空上的相关性及信息上的互补性,并使得融合后得到的图像对场景有更全面、清晰的描述,从而更有利于人眼的识别和机器的自动探测。在进行图像融合时,融合过程可以在不同的层次上进行,可分为:信号级、像素级、特征级以及决策级。本公开实施例中以采用像素级的融合方式为例进行说明。
像素级融合是通过多个像素点而进行的,经过像素级图像融合以后得到的图像具有更多的细节信息,如边缘、纹理的提取,有利于图像的进一步分析、处理与理解,还能够把潜在的目标暴露出来,利于判断识别潜在的目标像素点的操作,尽可能多的保存源图像中的信息,使得融合后的图片不论是内容还是细节都有所增加。像素级的图像融合方法大致可分为三大类:简单的图像融合方法、基于塔形分解(如Laplace塔形分解、比率塔等)的图像融合方法、基于小波变换的图像融合方法,此处对融合算法不作限定。
举例而言,经清晰度筛选得到的主数据的区域为区域1以及区域5,经清晰度筛选得到的辅助数据的区域为区域10以及区域11,则可以将区域1、区域5、区域10以及区域11的局部数据组合,以得到当前拍摄场景的预览图像。
本公开实施例中,由于用于融合的第一局部数据和第二局部数据均是通过清晰度来筛选的,因此主候选区域的第一局部数据和辅助候选区域的第二局部数据的清晰度之间的差异不大,因此不会存在清晰度的跳变,基于第一局部数据和第二局部数据合成的预览图像,由于其中的清晰度相差也不大,避免了摄像头切换过程中导致的切换不平滑的问题,提高了摄像头切换的效果。通过第一局部数据和第二局部数据的图像融合,使得图像增强,提高图像分辨率和清晰度,且增强图像的相关特征;主数据和辅助数据相互补充相关信息,去除噪声和冗余。除此之外,辅助数据可以为主数据提供补充和优化,因此可以使得预览图像更完整以及更准确,得到的预览图像的质量更高。
本公开实施例中提供了一种图像变焦处理装置,参考图5中所示,该图像变焦处理装置500可以包括:
图像数据获取模块501,用于响应于变焦操作,对多个待变焦摄像头进行同步对焦,以得到由所述多个待变焦摄像头输出的多路图像数据;
图像数据拆分模块502,用于对所述多路图像数据进行清晰度处理,并根据处理后的清晰度在所述多路图像数据中确定主数据和辅助数据;
预览图像确定模块503,用于将所述主数据和所述辅助数据进行图像融合,以得到预览图像。
在本公开的一种示例性实施例中,图像数据拆分模块包括:清晰度提升模块,用于将所述多路图像数据分别由第一格式转换为第二格式,并分别对第二格式的多路图像数据的清晰度进行提升。
在本公开的一种示例性实施例中,清晰度提升模块被配置为:通过自动控制模块分别对所述第二格式的所述多路图像数据进行预设处理,以进行清晰度提升;其中,所述预设处理包括自动曝光处理、自动白平衡处理以及自动曝光处理。
在本公开的一种示例性实施例中,图像数据拆分模块包括:拆分控制模块,用于将所述多路图像数据中提升后的清晰度大的图像数据作为所述主数据,并将所述提升后的清晰度小的图像数据作为所述辅助数据。
在本公开的一种示例性实施例中,预览图像确定模块包括:数据分割模块,用于对所述主数据进行分割得到多个区域的第一局部数据,并对所述辅助数据进行分割得到多个区域的第二局部数据;数据融合模块,用于基于所述第一局部数据和所述第二局部数据进行图像融合,以确定所述预览图像。
在本公开的一种示例性实施例中,数据分割模块包括:第一分割模块,用于对所述主数据进行前后景识别,并根据第一识别结果将所述主数据拆分为多个区域对应的第一局部数据;第二分割模块,用于对所述辅助数据进行前后景识别,并根据第二识别结果将所述辅助数据拆分为多个区域的第二局部数据。
在本公开的一种示例性实施例中,数据融合模块包括:第一筛选模块,用于从所述第一局部数据中根据清晰度确定多个主候选区域的第一局部数据;第二筛选模块,用于从所述第二局部数据中根据清晰度确定多个辅助候选区域的第二局部数据;图像融合模块,用于对所述多个主候选区域的第一局部数据以及所述多个辅助候选区域的第二局部数据进行图像融合,并根据融合后的局部数据确定所述预览图像。
需要说明的是,上述图像变焦处理装置中各模块的具体细节已经在对应的图像变焦处理方法中进行了详细描述,因此此处不再赘述。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外,尽管在附图中以特定顺序描述了本公开中方法的各个步骤,但是,这并非要求或者暗示必须按照该特定顺序来执行这些步骤,或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的,可以省略某些步骤,将多个步骤合并为一个步骤执行,以及/或者将一个步骤分解为多个步骤执行等。
在本公开的实施例中,还提供了一种能够实现上述方法的电子设备。
所属技术领域的技术人员能够理解,本公开的各个方面可以实现为系统、方法或程序产品。因此,本公开的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。
下面参照图6来描述根据本公开的这种实施方式的电子设备600。图6显示的电子设备600仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图6所示,电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于:上述至少一个处理单元610、上述至少一个存储单元620、连接不同系统组件(包括存储单元620和处理单元610)的总线650。
其中,所述存储单元存储有程序代码,所述程序代码可以被所述处理单元610执行,使得所述处理单元610执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。例如,所述处理单元610可以执行如图1中所示的步骤。
存储单元620可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202,还可以进一步包括只读存储单元(ROM)6203。
存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204,这样的程序模块6205包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图形加速接口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该电子设备600交互的设备通信,和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且,电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器660通过总线630与电子设备600的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备600使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
在本公开的实施例中,还提供了一种计算机可读存储介质,其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中,本公开的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当所述程序产品在终端设备上运行时,所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。
根据本公开的实施方式的用于实现上述方法的程序产品,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本公开的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
此外,上述附图仅是根据本公开实施例的方法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由权利要求指出。

Claims (10)

1.一种图像变焦处理方法,其特征在于,包括:
响应于变焦操作,对多个待变焦摄像头进行同步对焦,以得到由所述多个待变焦摄像头输出的多路图像数据;
对所述多路图像数据进行清晰度处理,并根据处理后的清晰度在所述多路图像数据中确定主数据和辅助数据;
将所述主数据和所述辅助数据进行图像融合,以得到预览图像。
2.根据权利要求1所述的图像变焦处理方法,其特征在于,对所述多路图像数据进行清晰度处理包括:
将所述多路图像数据分别由第一格式转换为第二格式,并分别对第二格式的多路图像数据的清晰度进行提升。
3.根据权利要求2所述的图像变焦处理方法,其特征在于,分别对第二格式的多路图像数据的清晰度进行提升包括:
通过自动控制模块分别对所述第二格式的所述多路图像数据进行预设处理,以进行清晰度提升;其中,所述预设处理包括自动曝光处理、自动白平衡处理以及自动曝光处理。
4.根据权利要求1所述的图像变焦处理方法,其特征在于,根据处理后的清晰度在所述多路图像数据中确定主数据和辅助数据包括:
将所述多路图像数据中提升后的清晰度大的图像数据作为所述主数据,并将所述提升后的清晰度小的图像数据作为所述辅助数据。
5.根据权利要求1所述的图像变焦处理方法,其特征在于,将所述主数据和所述辅助数据进行图像融合,以得到预览图像包括:
对所述主数据进行分割得到多个区域的第一局部数据,并对所述辅助数据进行分割得到多个区域的第二局部数据;
基于所述第一局部数据和所述第二局部数据进行图像融合,以确定所述预览图像。
6.根据权利要求5所述的图像变焦处理方法,其特征在于,对所述主数据进行分割得到多个区域的第一局部数据,并对所述辅助数据进行分割得到多个区域的第二局部数据包括:
对所述主数据进行前后景识别,并根据第一识别结果将所述主数据拆分为多个区域对应的第一局部数据;
对所述辅助数据进行前后景识别,并根据第二识别结果将所述辅助数据拆分为多个区域的第二局部数据。
7.根据权利要求5所述的图像变焦处理方法,其特征在于,基于所述第一局部数据和所述第二局部数据进行图像融合,以确定所述预览图像包括:
从所述第一局部数据中根据清晰度确定多个主候选区域的第一局部数据;
从所述第二局部数据中根据清晰度确定多个辅助候选区域的第二局部数据;
对所述多个主候选区域的第一局部数据以及所述多个辅助候选区域的第二局部数据进行图像融合,并根据融合后的局部数据确定所述预览图像。
8.一种图像变焦处理装置,其特征在于,包括:
图像数据获取模块,用于响应于变焦操作,对多个待变焦摄像头进行同步对焦,以得到由所述多个待变焦摄像头输出的多路图像数据;
图像数据拆分模块,用于对所述多路图像数据进行清晰度处理,并根据处理后的清晰度在所述多路图像数据中确定主数据和辅助数据;
预览图像确定模块,用于将所述主数据和所述辅助数据进行图像融合,以得到预览图像。
9.一种电子设备,其特征在于,包括:
处理器;以及
存储器,用于存储所述处理器的可执行指令;
其中,所述处理器配置为经由执行所述可执行指令来执行权利要求1-7任意一项所述的图像变焦处理方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-7任意一项所述的图像变焦处理方法。
CN201911067876.7A 2019-11-04 2019-11-04 图像变焦处理方法及装置、电子设备、存储介质 Active CN110809101B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911067876.7A CN110809101B (zh) 2019-11-04 2019-11-04 图像变焦处理方法及装置、电子设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911067876.7A CN110809101B (zh) 2019-11-04 2019-11-04 图像变焦处理方法及装置、电子设备、存储介质

Publications (2)

Publication Number Publication Date
CN110809101A true CN110809101A (zh) 2020-02-18
CN110809101B CN110809101B (zh) 2022-05-17

Family

ID=69501177

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911067876.7A Active CN110809101B (zh) 2019-11-04 2019-11-04 图像变焦处理方法及装置、电子设备、存储介质

Country Status (1)

Country Link
CN (1) CN110809101B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111654629A (zh) * 2020-06-11 2020-09-11 展讯通信(上海)有限公司 摄像头切换方法、装置、电子设备及可读存储介质
CN111696039A (zh) * 2020-05-28 2020-09-22 Oppo广东移动通信有限公司 图像处理方法及装置、存储介质和电子设备
CN112073642A (zh) * 2020-09-18 2020-12-11 展讯通信(上海)有限公司 多摄像头设备的视频录制方法及装置、存储介质、终端
CN113837937A (zh) * 2020-06-24 2021-12-24 Oppo广东移动通信有限公司 多媒体处理芯片、电子设备图像融合方法和图像裁剪方法
WO2021258865A1 (zh) * 2020-06-24 2021-12-30 Oppo广东移动通信有限公司 电子设备和基于电子设备的图像融合方法
CN114866680A (zh) * 2021-02-03 2022-08-05 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN116095476A (zh) * 2021-11-05 2023-05-09 荣耀终端有限公司 摄像头的切换方法、装置、电子设备及存储介质

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08265628A (ja) * 1995-03-22 1996-10-11 Olympus Optical Co Ltd 撮像装置
JPH10191135A (ja) * 1996-12-27 1998-07-21 Canon Inc 撮像装置及び画像合成装置
US20040008773A1 (en) * 2002-06-14 2004-01-15 Canon Kabushiki Kaisha Multiple image processing and synthesis using background image extraction
JP2008211674A (ja) * 2007-02-27 2008-09-11 Kyocera Corp 画像信号処理方法及び装置
CN105827964A (zh) * 2016-03-24 2016-08-03 维沃移动通信有限公司 一种图像处理方法及移动终端
CN106060386A (zh) * 2016-06-08 2016-10-26 维沃移动通信有限公司 一种预览图像生成方法及移动终端
US9485432B1 (en) * 2015-04-29 2016-11-01 Uurmi Systems Private Limited Methods, systems and apparatuses for dual-camera based zooming
CN106998459A (zh) * 2017-03-15 2017-08-01 河南师范大学 一种连续变焦技术的单摄像头立体图像生成方法
CN107277360A (zh) * 2017-07-17 2017-10-20 惠州Tcl移动通信有限公司 一种双摄像头切换进行变焦的方法、移动终端及存储装置
CN107343155A (zh) * 2017-07-10 2017-11-10 广东欧珀移动通信有限公司 抑制aec跳变的方法及装置、终端设备
CN107770433A (zh) * 2016-08-15 2018-03-06 光宝电子(广州)有限公司 影像获取装置及其影像平顺缩放方法
CN108513057A (zh) * 2017-02-28 2018-09-07 深圳市掌网科技股份有限公司 图像处理方法及装置
CN108604373A (zh) * 2016-02-08 2018-09-28 高通股份有限公司 用于使用多个相机实施无缝缩放功能的系统和方法
CN108717691A (zh) * 2018-06-06 2018-10-30 成都西纬科技有限公司 一种图像融合方法、装置、电子设备及介质
CN110248081A (zh) * 2018-10-12 2019-09-17 华为技术有限公司 图像捕捉方法及电子设备
CN110290324A (zh) * 2019-06-28 2019-09-27 Oppo广东移动通信有限公司 设备成像方法、装置、存储介质及电子设备
CN110365894A (zh) * 2018-03-26 2019-10-22 联发科技股份有限公司 摄像机装置中图像融合的方法及相关装置

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08265628A (ja) * 1995-03-22 1996-10-11 Olympus Optical Co Ltd 撮像装置
JPH10191135A (ja) * 1996-12-27 1998-07-21 Canon Inc 撮像装置及び画像合成装置
US20040008773A1 (en) * 2002-06-14 2004-01-15 Canon Kabushiki Kaisha Multiple image processing and synthesis using background image extraction
JP2008211674A (ja) * 2007-02-27 2008-09-11 Kyocera Corp 画像信号処理方法及び装置
US9485432B1 (en) * 2015-04-29 2016-11-01 Uurmi Systems Private Limited Methods, systems and apparatuses for dual-camera based zooming
CN108604373A (zh) * 2016-02-08 2018-09-28 高通股份有限公司 用于使用多个相机实施无缝缩放功能的系统和方法
CN105827964A (zh) * 2016-03-24 2016-08-03 维沃移动通信有限公司 一种图像处理方法及移动终端
CN106060386A (zh) * 2016-06-08 2016-10-26 维沃移动通信有限公司 一种预览图像生成方法及移动终端
CN107770433A (zh) * 2016-08-15 2018-03-06 光宝电子(广州)有限公司 影像获取装置及其影像平顺缩放方法
CN108513057A (zh) * 2017-02-28 2018-09-07 深圳市掌网科技股份有限公司 图像处理方法及装置
CN106998459A (zh) * 2017-03-15 2017-08-01 河南师范大学 一种连续变焦技术的单摄像头立体图像生成方法
CN107343155A (zh) * 2017-07-10 2017-11-10 广东欧珀移动通信有限公司 抑制aec跳变的方法及装置、终端设备
CN107277360A (zh) * 2017-07-17 2017-10-20 惠州Tcl移动通信有限公司 一种双摄像头切换进行变焦的方法、移动终端及存储装置
CN110365894A (zh) * 2018-03-26 2019-10-22 联发科技股份有限公司 摄像机装置中图像融合的方法及相关装置
CN108717691A (zh) * 2018-06-06 2018-10-30 成都西纬科技有限公司 一种图像融合方法、装置、电子设备及介质
CN110248081A (zh) * 2018-10-12 2019-09-17 华为技术有限公司 图像捕捉方法及电子设备
CN110290324A (zh) * 2019-06-28 2019-09-27 Oppo广东移动通信有限公司 设备成像方法、装置、存储介质及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
无: "OmniVision豪威科技和Corephotonics推出针对移动设备的双摄像头变焦参考设计", 《世界电子元器件》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111696039A (zh) * 2020-05-28 2020-09-22 Oppo广东移动通信有限公司 图像处理方法及装置、存储介质和电子设备
CN111696039B (zh) * 2020-05-28 2023-07-28 Oppo广东移动通信有限公司 图像处理方法及装置、存储介质和电子设备
CN111654629A (zh) * 2020-06-11 2020-09-11 展讯通信(上海)有限公司 摄像头切换方法、装置、电子设备及可读存储介质
CN111654629B (zh) * 2020-06-11 2022-06-24 展讯通信(上海)有限公司 摄像头切换方法、装置、电子设备及可读存储介质
CN113837937A (zh) * 2020-06-24 2021-12-24 Oppo广东移动通信有限公司 多媒体处理芯片、电子设备图像融合方法和图像裁剪方法
WO2021258865A1 (zh) * 2020-06-24 2021-12-30 Oppo广东移动通信有限公司 电子设备和基于电子设备的图像融合方法
CN112073642A (zh) * 2020-09-18 2020-12-11 展讯通信(上海)有限公司 多摄像头设备的视频录制方法及装置、存储介质、终端
CN114866680A (zh) * 2021-02-03 2022-08-05 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN114866680B (zh) * 2021-02-03 2024-02-02 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN116095476A (zh) * 2021-11-05 2023-05-09 荣耀终端有限公司 摄像头的切换方法、装置、电子设备及存储介质
WO2023077939A1 (zh) * 2021-11-05 2023-05-11 荣耀终端有限公司 摄像头的切换方法、装置、电子设备及存储介质
CN116095476B (zh) * 2021-11-05 2024-04-12 荣耀终端有限公司 摄像头的切换方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN110809101B (zh) 2022-05-17

Similar Documents

Publication Publication Date Title
CN110809101B (zh) 图像变焦处理方法及装置、电子设备、存储介质
WO2020051776A1 (en) Method and system of deep supervision object detection for reducing resource usage
US10291854B2 (en) Image capture apparatus and method of controlling the same
US9036072B2 (en) Image processing apparatus and image processing method
WO2021115179A1 (zh) 图像处理方法、图像处理装置、存储介质与终端设备
CN111601040B (zh) 摄像头控制方法、装置及电子设备
EP4053784A1 (en) Image processing method and apparatus, electronic device, and storage medium
CN110855958B (zh) 图像调节方法及装置、电子设备、存储介质
CN110855957B (zh) 图像处理方法及装置、存储介质和电子设备
CN111107265B (zh) 图像处理方法及装置、计算机可读介质、电子设备
US10616502B2 (en) Camera preview
KR20130046174A (ko) 비전 인식 장치 및 방법
KR20190075654A (ko) 복수 개의 카메라를 포함하는 전자 장치 및 그 동작 방법
CN110868547A (zh) 拍照控制方法、拍照控制装置、电子设备及存储介质
US8237802B2 (en) Method and apparatus for determining shaken image by using auto focusing
JP2024504270A (ja) 複数の深度のオブジェクトがあるシーンの画像融合
CN110929615B (zh) 图像处理方法、图像处理装置、存储介质与终端设备
CN113852757B (zh) 视频处理方法、装置、设备和存储介质
JP2009124644A (ja) 画像処理装置、撮像装置及び画像再生装置
JP2013080266A (ja) 入力装置
CN108495038B (zh) 图像处理方法、装置、存储介质及电子设备
CN112911186B (zh) 图像存储方法及装置、电子设备、存储介质
CN114866680B (zh) 图像处理方法、装置、存储介质及电子设备
CN115118871B (zh) 一种拍照像素模式切换方法、系统、终端设备及存储介质
CN115134633B (zh) 一种远程视频方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant