CN110035206B - 图像处理方法和装置、电子设备、计算机可读存储介质 - Google Patents

图像处理方法和装置、电子设备、计算机可读存储介质 Download PDF

Info

Publication number
CN110035206B
CN110035206B CN201910232520.8A CN201910232520A CN110035206B CN 110035206 B CN110035206 B CN 110035206B CN 201910232520 A CN201910232520 A CN 201910232520A CN 110035206 B CN110035206 B CN 110035206B
Authority
CN
China
Prior art keywords
target
image
camera
offset
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910232520.8A
Other languages
English (en)
Other versions
CN110035206A (zh
Inventor
周彦汝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201910232520.8A priority Critical patent/CN110035206B/zh
Publication of CN110035206A publication Critical patent/CN110035206A/zh
Application granted granted Critical
Publication of CN110035206B publication Critical patent/CN110035206B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Abstract

本申请涉及一种图像处理方法、装置、电子设备、计算机可读存储介质，所述方法包括：获取摄像头模组中至少一个摄像头对应的镜头偏移量，其中，所述摄像头模组中包括至少两个摄像头；根据所述镜头偏移量控制所述摄像头模组中的摄像头产生偏移，并控制所述摄像头模组中每一个摄像头拍摄对应的原始图像；根据各个所述原始图像中相互重叠的区域生成对应的中间图像；根据获取的所述中间图像生成目标图像，其中，所述目标图像的分辨率大于任意一张所述中间图像的分辨率。上述图像处理方法、装置、电子设备、计算机可读存储介质，可以提高图像的分辨率。

Description

图像处理方法和装置、电子设备、计算机可读存储介质
技术领域
本申请涉及计算机技术领域，特别是涉及一种图像处理方法、装置、电子设备、计算机可读存储介质。
背景技术
摄像头的应用非常广泛，例如摄影、监控、视频通话等都可以通过摄像头来实现。摄像头在采集图像时，可以通过镜头来收集拍摄场景中的光线，通过图像传感器将收集的光线转换成电信号，从而生成图像。一般来说，图像传感器中转换电信号的像素单元是固定的，因此图像传感器生成的图像的分辨率也是固定的。
发明内容
本申请实施例提供一种图像处理方法、装置、电子设备、计算机可读存储介质，可以提高图像的分辨率。
一种图像处理方法，包括：
获取摄像头模组中至少一个摄像头对应的镜头偏移量，其中，所述摄像头模组中包括至少两个摄像头；
根据所述镜头偏移量控制所述摄像头模组中的摄像头产生偏移，并控制所述摄像头模组中每一个摄像头拍摄对应的原始图像；
根据各个所述原始图像中相互重叠的区域生成对应的中间图像；
根据获取的所述中间图像生成目标图像，其中，所述目标图像的分辨率大于任意一张所述中间图像的分辨率。
一种图像处理装置，包括：
偏移量获取模块，用于获取摄像头模组中至少一个摄像头对应的镜头偏移量，其中，所述摄像头模组中包括至少两个摄像头；
摄像头偏移模块，用于根据所述镜头偏移量控制所述摄像头模组中的摄像头产生偏移，并控制所述摄像头模组中每一个摄像头拍摄对应的原始图像；
中间图像生成模块，用于根据各个所述原始图像中相互重叠的区域生成对应的中间图像；
目标图像生成模块，用于根据获取的所述中间图像生成目标图像，其中，所述目标图像的分辨率大于任意一张所述中间图像的分辨率。
一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
获取摄像头模组中至少一个摄像头对应的镜头偏移量，其中，所述摄像头模组中包括至少两个摄像头；
根据所述镜头偏移量控制所述摄像头模组中的摄像头产生偏移，并控制所述摄像头模组中每一个摄像头拍摄对应的原始图像；
根据各个所述原始图像中相互重叠的区域生成对应的中间图像；
根据获取的所述中间图像生成目标图像，其中，所述目标图像的分辨率大于任意一张所述中间图像的分辨率。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：
获取摄像头模组中至少一个摄像头对应的镜头偏移量，其中，所述摄像头模组中包括至少两个摄像头；
根据所述镜头偏移量控制所述摄像头模组中的摄像头产生偏移，并控制所述摄像头模组中每一个摄像头拍摄对应的原始图像；
根据各个所述原始图像中相互重叠的区域生成对应的中间图像；
根据获取的所述中间图像生成目标图像，其中，所述目标图像的分辨率大于任意一张所述中间图像的分辨率。
上述实施例提供的图像处理方法、装置、电子设备、计算机可读存储介质，可以控制摄像头模组中至少一个摄像头产生偏移，并在控制摄像头产生偏移之后控制摄像头模组中的各个摄像头拍摄一张原始图像。然后根据各个原始图像中相互重叠的区域生成对应的中间图像，并根据得到的中间图像生成一张高分辨率的目标图像。这样根据摄像头拍摄的多张原始图像融合成一张高分辨率图像，从而提高了得到的图像的分辨率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中图像处理方法的应用场景图；
图2为一个实施例中图像处理方法的流程图；
图3为一个实施例中原始图像中相互重叠区域的示意图；
图4为另一个实施例中图像处理方法的流程图；
图5为又一个实施例中图像处理方法的流程图；
图6为又一个实施例中图像处理方法的流程图；
图7为一个实施例中两张中间图像对齐到坐标系中的示意图；
图8为又一个实施例中图像处理方法的流程图；
图9为一个实施例的图像处理装置的结构框图；
图10为一个实施例中图像处理电路的示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一镜头偏移量称为第二镜头偏移量，且类似地，可将第二镜头偏移量称为第一镜头偏移量。第一镜头偏移量和第二镜头偏移量两者都是镜头偏移量，但其不是同一镜头偏移量。
图1为一个实施例中图像处理方法的应用场景图。如图1所示，该应用场景中包括电子设备10，电子设备10上可以安装摄像头模组102，该摄像头模组102中可以包括至少两个摄像头。具体的，可以获取摄像头模组102中至少一个摄像头对应的镜头偏移量；根据镜头偏移量控制摄像头模组中的摄像头产生偏移，并控制摄像头模组中每一个摄像头拍摄对应的原始图像104；根据各个原始图像104中相互重叠的区域生成对应的中间图像；根据获取的中间图像生成目标图像。其中，电子设备10可以但不限于是手机、电脑、可穿戴设备、个人数字助理等。
图2为一个实施例中图像处理方法的流程图。如图2所示，该图像处理方法包括步骤202至步骤208。其中：
步骤202，获取摄像头模组中至少一个摄像头对应的镜头偏移量，其中，摄像头模组中包括至少两个摄像头。
在一个实施例中，摄像头模组中可以包括至少两个摄像头，通过至少两个摄像头拍摄图像。例如，摄像头模组中可以包括2个、3个、5个摄像头，在此不做限定。具体的，摄像头的类型可以是激光摄像头、红外摄像头、可见光摄像头等，不限于此。
具体的，摄像头模组中的摄像头可以包括镜头、图像传感器等器件，镜头可以收集拍摄场景中的光线，图像传感器可以将镜头收集的光线转换成电信号，从而生成图像。可以理解的是，镜头在不同位置时收集到的光线不同，生成的图像也是不同的，也即镜头在偏移的过程中，偏移到不同的位置所采集的图像是不同的。
镜头偏移量用于表示摄像头中的镜头的偏移程度。镜头的偏移可以是在平面上平行移动，也可以是绕一点或一条线转动，在此不做限定。镜头偏移量可以但不限于包括平行移动的偏移量、转动的偏移量等。
步骤204，根据镜头偏移量控制摄像头模组中的摄像头产生偏移，并控制摄像头模组中每一个摄像头拍摄对应的原始图像。
获取到镜头偏移量之后，可以根据镜头偏移量控制摄像头产生偏移，具体是指根据镜头偏移量控制摄像头的镜头产生偏移。例如，可以对镜头建立空间直角坐标系xoy，则镜头偏移量可以为(LxA,LyA,RxA,RyA)，其中“LxA”用于表示镜头沿x轴平行移动的量，“LyA”用于表示镜头沿y轴平行移动的量，“RxA”用于表示镜头绕x轴转动的量，“RyA”用于表示镜头沿y轴转动的量。
在本申请提供的实施例中，获取摄像头模组中至少一个摄像头对应的镜头偏移量，并根据镜头偏移量控制摄像头产生偏移。具体的，可以根据镜头偏移量控制马达上电，通过马达带动摄像头产生偏移。
摄像头产生偏移之后，控制摄像头模组中的每一个摄像头拍摄一张原始图像。可以理解的是，摄像头模组中的至少两个摄像头需要同时进行拍摄，以保证多个摄像头拍摄的图像的同步性。例如，摄像头模组中包括三个摄像头，可以获取其中一个摄像头的镜头偏移量，然后根据镜头偏移量控制这个摄像头产生偏移，该摄像头产生偏移之后，同时控制摄像头的每一个摄像头拍摄一张对应的原始图像。
在一个实施例中，摄像头产生抖动的情况下，还可以根据摄像头的抖动情况来控制摄像头产生偏移。具体的，步骤202具体可以包括：获取摄像头模组的抖动数据，并根据抖动数据获取摄像头模组中的各个摄像头对应的第一镜头偏移量；获取摄像头模组中至少一个摄像头对应的第二镜头偏移量。步骤204具体可以包括：根据第一镜头偏移量和第二镜头偏移量控制摄像头模组中的摄像头产生偏移。
其中，抖动数据为表示摄像头抖动程度的数据，可以是陀螺仪采集的角速度数据、加速度传感器采集的加速度数据等，不限于此。
第一镜头偏移量是摄像头在产生抖动的情况下对镜头补偿的偏移量，通过控制摄像头的偏移来补偿摄像头抖动产生的图像误差，第二镜头偏移量是为了获取超分辨率图像控制摄像头产生偏移的量。将第一镜头偏移量和第二镜头偏移量进行叠加，可以得到每一个摄像头的总的偏移量，并根据得到的总的偏移量来控制摄像头产生偏移。
步骤206，根据各个原始图像中相互重叠的区域生成对应的中间图像。
摄像头模组中的各个摄像头安装的位置不一样，且摄像头会产生偏移，导致各个摄像头拍摄的图像具有一定的视差。在获取到各个摄像头拍摄的原始图像之后，可以将各个原始图像进行匹配，查找各个原始图像中相互重叠的区域，并根据每一张原始图像中重叠的区域生成一张对应的中间图像。相互重叠的区域是指在各个原始图像中表示相同物体的区域。
例如，将各个原始图像进行特征点匹配，查找各个原始图像中相匹配的特征点，并根据查找到的特征点将各个原始图像对齐，然后根据对齐之后的原始图像确定相互重叠的区域，从而根据各个原始图像中相互重叠的区域生成对应的中间图像。
图3为一个实施例中原始图像中相互重叠区域的示意图。如图3所示，原始图像302、原始图像304和原始图像306对齐之后，可以确定原始图像302、原始图像304和原始图像306中相互重叠区域308，然后可以根据重叠区域308在原始图像302、原始图像304和原始图像306中的对应的区域分别生成一张中间图像。
步骤208，根据获取的中间图像生成目标图像，其中，目标图像的分辨率大于任意一张中间图像的分辨率。
得到中间图像之后，可以根据得到的中间图像合成一张目标图像，这样得到的一张目标图像的分辨率就会高于任意一张中间图像的分辨率，从而提高得到一张高分辨率图像。
具体的，生成目标图像的方法在此不做限定。例如可以通过插值算法将对齐之后中间图像融合成一张高分辨率的目标图像，即根据对齐之后的中间图像确定需要插入的像素点，并根据中间图像中与插入的像素点相邻的像素点的像素值来确定插入的像素点的像素值，以增大生成的图像的分辨率。
上述实施例提供的图像处理方法，可以控制摄像头模组中至少一个摄像头产生偏移，并在控制摄像头产生偏移之后控制摄像头模组中的各个摄像头拍摄一张原始图像。然后根据各个原始图像中相互重叠的区域生成对应的中间图像，并根据得到的中间图像生成一张高分辨率的目标图像。这样根据摄像头拍摄的多张原始图像融合成一张高分辨率图像，从而提高了得到的图像的分辨率。
图4为另一个实施例中图像处理方法的流程图。如图4所示，该图像处理方法具体包括步骤402至步骤412。其中：
步骤402，获取摄像头模组中至少一个摄像头对应的镜头偏移范围，从镜头偏移范围中随机获取镜头偏移量，其中，不同摄像头对应的镜头偏移量所产生的图像偏移量之间的差值为非整数个像素点。
在一个实施例中，当摄像头的偏移超过一定的范围之后，各个摄像头采集的原始图像可能就没有重叠的区域，或者说重叠的区域就会非常小，这样的话就无法得到一张高分辨率的图像。因此可以预先划定摄像头偏移的镜头偏移范围，用来限制摄像头的偏移不能超过该镜头偏移范围。
具体的，摄像头模组中的各个摄像头对应的镜头偏移范围可以相同也可以不同，在此不做限定。在获取摄像头的镜头偏移量时，可以首先获取摄像头的镜头偏移范围，然后从该镜头偏移范围中随机取一个值作为镜头偏移量。例如，镜头偏移的单位为code，镜头偏移范围可以为1code到10code，随机获取镜头偏移量为7.2code。
可以理解的是，图像传感器生成图像的像素单元之间具有一定的间隔距离，这就导致生成的图像中像素点之间也会有一定的距离，这样像素点之间的位置就会产生空白，这些比像素点更小的单位称为亚像素点。为了保证在合成图像的时候，能够插入更加准确的像素值，可以控制不同摄像头采集不同点的像素值。例如，以其中一个摄像头采集的一幅图像为基准，另一幅图像可以采集到该这幅图像中的像素点与像素点之间的位置，即亚像素点上的像素值，这样插入的像素点的像素值就会更加准确。
具体的，镜头产生的偏移量与图像产生的偏移量具有一定的对应关系，如果两张图像的偏移刚好相差整数个像素点的话，对齐之后的相应像素点就是采集的同一个位置的像素值，这样根据两张图像插入的像素点准确性比较低。因此为了保证不同摄像头采集的图像之间能够对齐到亚像素点，可以控制控制不同摄像头采集的图像的偏移量之间的差值为非整数个像素点。例如，一个摄像头在x轴上的偏移量可以为2.5个像素点，在y轴上的偏移量可以为-10.6个像素点。
获取镜头偏移范围的步骤具体还可以包括：获取摄像头模组中至少一个摄像头对应的图像偏移范围，根据图像偏移范围确定镜头偏移范围，其中，镜头偏移范围用于表示摄像头的偏移范围，图像偏移范围用于表示摄像头采集的图像的偏移范围。
可以理解的是，摄像头的偏移会导致采集的图像的偏移，为了保证多个摄像头采集的图像之间有足够多的重叠区域，可以先定义摄像头采集的图像的偏移范围，然后根据图像的偏移范围来确定摄像头的偏移范围，即根据图像偏移范围来确定镜头偏移范围。
步骤404，根据镜头偏移量控制摄像头模组中的摄像头产生偏移，并控制摄像头模组中每一个摄像头拍摄对应的原始图像。
具体的，可以摄像头的偏移可以通过马达来实现，根据镜头偏移量向马达输出电流信号，并根据电流信号控制马达上电，从而控制摄像头产生偏移。摄像头产生偏移之后，不同的摄像头之间会有视差，然后控制每一个摄像头拍摄一张对应的原始图像。
在一个实施例中，摄像头产生偏移之后，控制各个摄像头拍摄原始图像的时间间隔需要小于一定值，这样才能保证各个摄像头采集的原始图像的一致性。
步骤406，根据各个原始图像中相互重叠的区域生成对应的中间图像。
具体的，可以将获取的原始图像进行对齐处理之后，再获取各个原始图像中相互重叠的区域生成对应的中间图像。在对原始图像做对齐处理的时候，可以根据摄像头的镜头偏移量，对原始图像做平移从而使得两张原始图像对齐，还可以根据在两张原始图像中进行特征点匹配，并根据相应的特征点进行对齐处理，不限于此。
步骤408，从中间图像中选取一张基准图像。
生成中间图像之后可以从中选取一张作为基准图像，用以做插值处理。具体的，可以随机选取一张中间图像作为基准图像，也可以预先选定某一个摄像头采集的原始图像所生成的中间图像作为基准图像，不限于此。
步骤410，根据基准图像中包含的像素点确定插值像素点，并根据所有中间图像中包含的中间像素点的像素值确定各个插值像素点的像素值。
基准图像是由若干个像素点构成的二维像素点矩阵，选定基准图像之后，首先根据基准图像中包含的像素点确定插值像素点，将插值像素点插入到基准图像之后可以生成高分辨率的图像。例如，可以在每两个像素点之间插入若干个插值像素点，也可以在横向分布的两个像素点之间插入若干个插值像素点，不限于此。
确定要插入的插值像素点之后，可以根据所有中间图像中包含的中间像素点的像素值确定各个插值像素点的像素值。可以获取与插值像素点相邻的中间像素点，根据获取的相邻的中间像素点的像素值来确定插值像素点的像素值。
步骤412，将确定像素值后的插值像素点插入到基准图像得到目标图像。
确定插值像素点的像素值后，将确定像素值的插值像素点插入到基准图像中，得到目标图像。可以理解的是，将插值像素点插入到基准图像之后，还可以将各个原始图像中除重叠区域之外的区域与插入插值像素点的基准图像进行融合，得到目标图像，在此不做限定。
上述实施例提供的图像处理方法，可以控制摄像头模组中至少一个摄像头产生偏移，并在控制摄像头产生偏移之后控制摄像头模组中的各个摄像头拍摄一张原始图像。然后根据各个原始图像中相互重叠的区域生成对应的中间图像，并从中间图像中选取一张基准图像，然后根据中间图像向基准图像中插入插值像素点，生成一张高分辨率的目标图像。这样根据摄像头拍摄的多张原始图像融合成一张高分辨率图像，从而提高了得到的图像的分辨率。
在一个实施例中，如图5所示，确定插值像素点的像素值的方法具体包括：
步骤502，逐一读取插值像素点作为目标插值像素点，并从各个中间图像中的中间像素点中获取目标插值像素点对应的目标中间像素点。
根据基准图像确定插值像素点之后，可以逐一读取插值像素点，并逐一计算插值像素点的像素值。具体的，逐一读取所确定的插值像素点作为目标插值像素点，然后从各个中间图像中确定目标插值像素点对应的目标中间像素点，根据中间像素点的像素值来确定目标插值像素点的像素值，这样就可以综合各个中间图像中的中间像素点的像素值来得到插值像素点的像素值。
步骤504，根据目标中间像素点的像素值确定目标插值像素点的像素值。
确定目标中间像素点之后，可以根据目标中间像素点的像素值来确定目标插值像素点的像素值。例如，可以将目标中间像素点的像素值的均值作为目标插值像素点的像素值，或者将目标中间像素点中的最小或最大像素值作为目标插值像素点的像素值，还可以从目标中间像素点的像素值中随机获取一个值作为目标插值像素点的像素值，不限于此。
在一个实施例中，如图6所示，确定目标中间像素点的方法具体可以包括：
步骤602，将所有中间图像进行对齐处理，并根据对齐后的中间图像建立坐标系。
具体的，可以将中间图像对齐，并基于对齐后的中间图像建立坐标系。可以理解的是，由于镜头偏移的时候，采集的图像并不是产生的整数个像素点的偏移，因此在对中间图像对齐的时候，可以将不同的中间图像对齐到像素点到像素点的位置。
在本申请提供的实施例中，多个摄像头的安装位置是不同的，由于安装位置不同也会导致采集的图像的视差，加上摄像头偏移时产生的视差，是的摄像头采集的图像的位置不同。但是根据摄像头的安装位置和摄像头的偏移可以确定两张图像的位置关系，从而将中间图像对齐到像素点与像素点之间的位置。
步骤604，获取中间图像中包含的中间像素点在坐标系中的中间坐标，以及目标插值像素点在坐标系中的目标插值坐标。
可以知道的是，中间图像是由若干个像素点构成的二维像素矩阵，因此中间图像中的像素点也是整齐排列的。在建立坐标系之后，可以定义x、y轴上两个相邻像素点之间的距离，为x、y轴上的单位距离，然后就可以确定中间图像中每个中间像素点的中间坐标，以及目标插值像素点在坐标系中的目标插值坐标。
步骤606，根据中间坐标和目标插值坐标，获取目标插值像素点对应的预设范围内的中间像素点作为目标中间像素点。
确定中间坐标和目标插值坐标之后，可以判断各个中间像素点和目标插值像素点之间的位置关系，然后根据确定的位置关系从中间像素点中获取目标中间像素点。例如，计算每一个中间像素点到目标插值像素点的距离，将到目标插值像素点的距离小于阈值的中间像素点作为目标像素点，还可以根据中间像素点和目标插值像素点的分布来确定目标中间像素点，不限于此。
图7为一个实施例中两张中间图像对齐到坐标系中的示意图。如图7所示，中间图像702和中间图像704对齐之后可以建立坐标系xoy，将中间图像704作为基础图像。中间图像702中包含的中间像素点为A11、A12……Ann，中间图像704中包含的中间像素点为B11、B12……Bnn，确定的插值像素点分别为B'11、B'12……B'nn。依次读取插值像素点作为目标插值像素点，并确定目标插值像素点对应的目标中间像素点。以目标插值像素点B'11为例，可以将中间像素点B11、B12、A11作为B'11对应的目标中间像素点。以此类推，可以将Bx,y、Bx,y+1、Ax,y作为目标插值像素点B'x,y的中间像素点。
在一个实施例中，如图8所示，确定目标插值像素点的像素值的方法具体可以包括：
步骤802，根据各个目标中间像素点获取各个目标中间像素点到目标插值像素点的目标距离，并根据目标距离确定各个目标中间像素点对应的权值。
在本申请实施例中，可以根据目标中间像素点的中间坐标和目标插值像素点，计算各个目标中间像素点到目标插值像素点的距离。目标中间像素点离目标插值像素点的目标距离越近，说明目标中间像素点的像素值与目标插值像素点的像素值越接近；相反，说明目标中间像素点的像素值与目标插值像素点的像素值差别越大。
因此可以根据目标中间像素点到目标插值像素点的距离，对目标中间像素点的像素值赋予相应的权值，根据权值确定目标中间像素点的像素值在融合得到目标插值像素点的像素值时的影响程度。
步骤804，根据权值将目标中间像素点的像素值进行融合，得到目标插值像素点的像素值。
得到各个目标中间像素点的权值后，可以根据权值将目标中间像素点的像素值进行融合，得到目标插值像素点的像素值。例如，目标插值像素点为A，目标中间像素点分别为B1、B2、B3，对应的权值分别为0.2、0.5、0.3，则目标插值像素点A的像素值就为：P(A)＝0.2*P(B1)+0.5*P(B2)+0.3*P(B3)。
应该理解的是，虽然上述流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图9为一个实施例的图像处理装置的结构框图。如图9所示，该图像处理装置900包括偏移量获取模块902、摄像头偏移模块904、中间图像生成模块906、目标图像生成模块908。其中：
偏移量获取模块902，用于获取摄像头模组中至少一个摄像头对应的镜头偏移量，其中，所述摄像头模组中包括至少两个摄像头。
摄像头偏移模块904，用于根据所述镜头偏移量控制所述摄像头模组中的摄像头产生偏移，并控制所述摄像头模组中每一个摄像头拍摄对应的原始图像。
中间图像生成模块906，用于根据各个所述原始图像中相互重叠的区域生成对应的中间图像。
目标图像生成模块908，用于根据获取的所述中间图像生成目标图像，其中，所述目标图像的分辨率大于任意一张所述中间图像的分辨率。
上述实施例提供的图像处理装置，可以控制摄像头模组中至少一个摄像头产生偏移，并在控制摄像头产生偏移之后控制摄像头模组中的各个摄像头拍摄一张原始图像。然后根据各个原始图像中相互重叠的区域生成对应的中间图像，并根据得到的中间图像生成一张高分辨率的目标图像。这样根据摄像头拍摄的多张原始图像融合成一张高分辨率图像，从而提高了得到的图像的分辨率。
在一个实施例中，偏移量获取模块902还用于获取所述摄像头模组中至少一个摄像头对应的镜头偏移范围，从所述镜头偏移范围中随机获取镜头偏移量，其中，不同摄像头对应的镜头偏移量所产生的图像偏移量之间的差值为非整数个像素点。
在一个实施例中，偏移量获取模块902还用于获取所述摄像头模组的抖动数据，并根据所述抖动数据获取所述摄像头模组中的各个摄像头对应的第一镜头偏移量；获取所述摄像头模组中至少一个摄像头对应的第二镜头偏移量。
在一个实施例中，摄像头偏移模块902还用于根据所述第一镜头偏移量和第二镜头偏移量控制所述摄像头模组中的摄像头产生偏移。
在一个实施例中，目标图像生成模块902还用于从所述中间图像中选取一张基准图像；根据所述基准图像中包含的像素点确定插值像素点，并根据所述所有中间图像中包含的中间像素点的像素值确定各个插值像素点的像素值；将确定像素值后的插值像素点插入到所述基准图像得到目标图像。
在一个实施例中，目标图像生成模块902还用于逐一读取所述插值像素点作为目标插值像素点，并从各个中间图像中的中间像素点中获取所述目标插值像素点对应的目标中间像素点；根据所述目标中间像素点的像素值确定所述目标插值像素点的像素值。
在一个实施例中，目标图像生成模块902还用于将所有中间图像进行对齐处理，并根据对齐后的中间图像建立坐标系；获取所述中间图像中包含的中间像素点在所述坐标系中的中间坐标，以及所述目标插值像素点在所述坐标系中的目标插值坐标；根据所述中间坐标和目标插值坐标，获取所述目标插值像素点对应的预设范围内的中间像素点作为目标中间像素点。
在一个实施例中，目标图像生成模块902还用于根据各个所述目标中间像素点获取各个所述目标中间像素点到所述目标插值像素点的目标距离，并根据所述目标距离确定各个所述目标中间像素点对应的权值；根据所述权值将所述目标中间像素点的像素值进行融合，得到所述目标插值像素点的像素值。
上述图像处理装置中各个模块的划分仅用于举例说明，在其他实施例中，可将图像处理装置按照需要划分为不同的模块，以完成上述图像处理装置的全部或部分功能。
本申请实施例中提供的图像处理装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。
本申请实施例还提供一种电子设备。上述电子设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图10为一个实施例中图像处理电路的示意图。如图10所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。
如图10所示，图像处理电路包括ISP处理器1040和控制逻辑器1050。成像设备1010捕捉的图像数据首先由ISP处理器1040处理，ISP处理器1040对图像数据进行分析以捕捉可用于确定和/或成像设备1010的一个或多个控制参数的图像统计信息。成像设备1010可包括具有一个或多个镜头1012和图像传感器1014的照相机。图像传感器1014可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器1014可获取用图像传感器1014的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器1040处理的一组原始图像数据。传感器1020(如陀螺仪)可基于传感器1020接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器1040。传感器1020接口可以利用SMIA(Standard Mobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。
此外，图像传感器1014也可将原始图像数据发送给传感器1020，传感器1020可基于传感器1020接口类型把原始图像数据提供给ISP处理器1040，或者传感器1020将原始图像数据存储到图像存储器1030中。
ISP处理器1040按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器1040可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。
ISP处理器1040还可从图像存储器1030接收图像数据。例如，传感器1020接口将原始图像数据发送给图像存储器1030，图像存储器1030中的原始图像数据再提供给ISP处理器1040以供处理。图像存储器1030可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。
当接收到来自图像传感器1014接口或来自传感器1020接口或来自图像存储器1030的原始图像数据时，ISP处理器1040可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器1030，以便在被显示之前进行另外的处理。ISP处理器1040从图像存储器1030接收处理数据，并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器1040处理后的图像数据可输出给显示器1070，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器1040的输出还可发送给图像存储器1030，且显示器1070可从图像存储器1030读取图像数据。在一个实施例中，图像存储器1030可被配置为实现一个或多个帧缓冲器。此外，ISP处理器1040的输出可发送给编码器/解码器1060，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器1070设备上之前解压缩。编码器/解码器1060可由CPU或GPU或协处理器实现。
ISP处理器1040确定的统计数据可发送给控制逻辑器1050单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、镜头1012阴影校正等图像传感器1014统计信息。控制逻辑器1050可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备1010的控制参数及ISP处理器1040的控制参数。例如，成像设备1010的控制参数可包括传感器1020控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、镜头1012控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及镜头1012阴影校正参数。
以下为运用图10中图像处理技术实现上述实施例提供的图像处理方法。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行上述实施例提供的图像处理方法的步骤。
一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例提供的图像处理方法。
本申请实施例所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (14)

1.一种图像处理方法，其特征在于，包括：
获取摄像头模组中至少一个摄像头对应的镜头偏移量，其中，所述摄像头模组中包括至少两个摄像头；
根据所述镜头偏移量控制所述摄像头模组中的摄像头产生偏移，并控制所述摄像头模组中每一个摄像头拍摄对应的原始图像；
根据各个所述原始图像中相互重叠的区域生成对应的中间图像；
从所述中间图像中选取一张基准图像；
根据所述基准图像中包含的像素点确定插值像素点，并根据所有所述中间图像中包含的中间像素点的像素值确定各个插值像素点的像素值；
将确定像素值后的插值像素点插入到所述基准图像得到目标图像，其中，所述目标图像的分辨率大于任意一张所述中间图像的分辨率。
2.根据权利要求1所述的方法，其特征在于，所述获取摄像头模组中至少一个摄像头对应的镜头偏移量，包括：
获取所述摄像头模组中至少一个摄像头对应的镜头偏移范围，从所述镜头偏移范围中随机获取镜头偏移量，其中，不同摄像头对应的镜头偏移量所产生的图像偏移量之间的差值为非整数个像素点。
3.根据权利要求1所述的方法，其特征在于，所述获取摄像头模组中至少一个摄像头对应的镜头偏移量，包括：
获取所述摄像头模组的抖动数据，并根据所述抖动数据获取所述摄像头模组中的各个摄像头对应的第一镜头偏移量；
获取所述摄像头模组中至少一个摄像头对应的第二镜头偏移量；第二镜头偏移量是为了获取超分辨率图像控制摄像头产生偏移的量；
所述根据所述镜头偏移量控制所述摄像头模组中的摄像头产生偏移，包括：
根据所述第一镜头偏移量和第二镜头偏移量叠加得到的总偏移量控制所述摄像头模组中的摄像头产生偏移。
4.根据权利要求1-3中任一项所述的方法，其特征在于，所述根据所有所述中间图像中包含的中间像素点的像素值确定各个插值像素点的像素值，包括：
逐一读取所述插值像素点作为目标插值像素点，并从各个中间图像中的中间像素点中获取所述目标插值像素点对应的目标中间像素点；
根据所述目标中间像素点的像素值确定所述目标插值像素点的像素值。
5.根据权利要求4所述的方法，其特征在于，所述从各个中间图像中的中间像素点中获取所述目标插值像素点对应的目标中间像素点，包括：
将所有中间图像进行对齐处理，并根据对齐后的中间图像建立坐标系；
获取所述中间图像中包含的中间像素点在所述坐标系中的中间坐标，以及所述目标插值像素点在所述坐标系中的目标插值坐标；
根据所述中间坐标和目标插值坐标，获取所述目标插值像素点对应的预设范围内的中间像素点作为目标中间像素点。
6.根据权利要求5所述的方法，其特征在于，所述根据所述目标中间像素点的像素值确定所述目标插值像素点的像素值，包括：
根据各个所述目标中间像素点获取各个所述目标中间像素点到所述目标插值像素点的目标距离，并根据所述目标距离确定各个所述目标中间像素点对应的权值；
根据所述权值将所述目标中间像素点的像素值进行融合，得到所述目标插值像素点的像素值。
7.一种图像处理装置，其特征在于，包括：
偏移量获取模块，用于获取摄像头模组中至少一个摄像头对应的镜头偏移量，其中，所述摄像头模组中包括至少两个摄像头；
摄像头偏移模块，用于根据所述镜头偏移量控制所述摄像头模组中的摄像头产生偏移，并控制所述摄像头模组中每一个摄像头拍摄对应的原始图像；
中间图像生成模块，用于根据各个所述原始图像中相互重叠的区域生成对应的中间图像；
目标图像生成模块，用于从所述中间图像中选取一张基准图像；根据所述基准图像中包含的像素点确定插值像素点，并根据所有所述中间图像中包含的中间像素点的像素值确定各个插值像素点的像素值；将确定像素值后的插值像素点插入到所述基准图像得到目标图像，其中，所述目标图像的分辨率大于任意一张所述中间图像的分辨率。
8.根据权利要求7所述的装置，其特征在于，
所述偏移量获取模块，还用于获取所述摄像头模组中至少一个摄像头对应的镜头偏移范围，从所述镜头偏移范围中随机获取镜头偏移量，其中，不同摄像头对应的镜头偏移量所产生的图像偏移量之间的差值为非整数个像素点。
9.根据权利要求7所述的装置，其特征在于，
所述偏移量获取模块，还用于获取所述摄像头模组的抖动数据，并根据所述抖动数据获取所述摄像头模组中的各个摄像头对应的第一镜头偏移量；获取所述摄像头模组中至少一个摄像头对应的第二镜头偏移量；第二镜头偏移量是为了获取超分辨率图像控制摄像头产生偏移的量；
所述摄像头偏移模块，还用于根据所述第一镜头偏移量和第二镜头偏移量叠加得到的总偏移量控制所述摄像头模组中的摄像头产生偏移。
10.根据权利要求7-9任一项所述的装置，其特征在于，
所述目标图像生成模块，还用于逐一读取所述插值像素点作为目标插值像素点，并从各个中间图像中的中间像素点中获取所述目标插值像素点对应的目标中间像素点；根据所述目标中间像素点的像素值确定所述目标插值像素点的像素值。
11.根据权利要求10所述的装置，其特征在于，
所述目标图像生成模块，还用于将所有中间图像进行对齐处理，并根据对齐后的中间图像建立坐标系；获取所述中间图像中包含的中间像素点在所述坐标系中的中间坐标，以及所述目标插值像素点在所述坐标系中的目标插值坐标；根据所述中间坐标和目标插值坐标，获取所述目标插值像素点对应的预设范围内的中间像素点作为目标中间像素点。
12.根据权利要求11所述的装置，其特征在于，
所述目标图像生成模块，还用于根据各个所述目标中间像素点获取各个所述目标中间像素点到所述目标插值像素点的目标距离，并根据所述目标距离确定各个所述目标中间像素点对应的权值；根据所述权值将所述目标中间像素点的像素值进行融合，得到所述目标插值像素点的像素值。
13.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至6中任一项所述的方法的步骤。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的方法的步骤。
CN201910232520.8A 2019-03-26 2019-03-26 图像处理方法和装置、电子设备、计算机可读存储介质 Active CN110035206B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910232520.8A CN110035206B (zh) 2019-03-26 2019-03-26 图像处理方法和装置、电子设备、计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910232520.8A CN110035206B (zh) 2019-03-26 2019-03-26 图像处理方法和装置、电子设备、计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN110035206A CN110035206A (zh) 2019-07-19
CN110035206B true CN110035206B (zh) 2020-12-11

Family

ID=67236579

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910232520.8A Active CN110035206B (zh) 2019-03-26 2019-03-26 图像处理方法和装置、电子设备、计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110035206B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110956589A (zh) * 2019-10-17 2020-04-03 国网山东省电力公司电力科学研究院 一种图像模糊处理方法、装置、设备及存储介质
WO2022000176A1 (zh) * 2020-06-29 2022-01-06 深圳市大疆创新科技有限公司 红外图像处理方法、电子设备及计算机可读存储介质
CN113132626B (zh) * 2021-03-26 2022-05-31 联想(北京)有限公司 一种图像处理方法以及电子设备
CN113315906B (zh) * 2021-04-20 2023-04-28 维沃移动通信（杭州）有限公司 图像处理方法、装置及电子设备
CN115396596B (zh) * 2022-08-15 2023-06-30 上海交通大学 一种超分辨率图像成像方法、装置及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101018276A (zh) * 2007-03-05 2007-08-15 深圳矽感科技有限公司 一种图像扫描方法及系统
CN101771893A (zh) * 2010-01-05 2010-07-07 浙江大学 一种基于视频序列背景建模的虚拟视点绘制方法
CN102572245A (zh) * 2011-12-22 2012-07-11 深圳市赛格导航科技股份有限公司 一种扩展图像动态范围的方法及装置
CN103064565A (zh) * 2013-01-11 2013-04-24 海信集团有限公司 一种定位方法及电子设备
CN103685951A (zh) * 2013-12-06 2014-03-26 华为终端有限公司 一种图像处理方法、装置及终端
CN103885648A (zh) * 2014-03-25 2014-06-25 锐达互动科技股份有限公司 侧投双镜头触摸屏的真两点触摸检测方法
CN104320596A (zh) * 2014-09-30 2015-01-28 北京智谷技术服务有限公司 超分辨率图像的获取方法和获取装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108259877B (zh) * 2018-03-07 2019-09-17 浙江大华技术股份有限公司 一种白平衡处理方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101018276A (zh) * 2007-03-05 2007-08-15 深圳矽感科技有限公司 一种图像扫描方法及系统
CN101771893A (zh) * 2010-01-05 2010-07-07 浙江大学 一种基于视频序列背景建模的虚拟视点绘制方法
CN102572245A (zh) * 2011-12-22 2012-07-11 深圳市赛格导航科技股份有限公司 一种扩展图像动态范围的方法及装置
CN103064565A (zh) * 2013-01-11 2013-04-24 海信集团有限公司 一种定位方法及电子设备
CN103685951A (zh) * 2013-12-06 2014-03-26 华为终端有限公司 一种图像处理方法、装置及终端
CN103885648A (zh) * 2014-03-25 2014-06-25 锐达互动科技股份有限公司 侧投双镜头触摸屏的真两点触摸检测方法
CN104320596A (zh) * 2014-09-30 2015-01-28 北京智谷技术服务有限公司 超分辨率图像的获取方法和获取装置

Also Published As

Publication number Publication date
CN110035206A (zh) 2019-07-19

Similar Documents

Publication Publication Date Title
CN110035206B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN109194876B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN110536057B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN110166695B (zh) 摄像头防抖方法、装置、电子设备和计算机可读存储介质
CN110473159B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN109600548B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN109714536B (zh) 图像校正方法、装置、电子设备及计算机可读存储介质
CN110475067B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN110290323B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN109963080B (zh) 图像采集方法、装置、电子设备和计算机存储介质
CN109951641B (zh) 图像拍摄方法和装置、电子设备、计算机可读存储介质
CN112866549B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN111246089A (zh) 抖动补偿方法和装置、电子设备、计算机可读存储介质
CN109660718B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN109598764B (zh) 摄像头标定方法和装置、电子设备、计算机可读存储介质
CN109685853B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN107959841B (zh) 图像处理方法、装置、存储介质和电子设备
CN109559352B (zh) 摄像头标定方法、装置、电子设备和计算机可读存储介质
CN111246100B (zh) 防抖参数的标定方法、装置和电子设备
CN113875219B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
JP2015088833A (ja) 画像処理装置、撮像装置及び画像処理方法
CN112087571A (zh) 图像采集方法和装置、电子设备、计算机可读存储介质
CN109598763B (zh) 摄像头标定方法、装置、电子设备和计算机可读存储介质
CN112866553B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
CN109671028B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant