CN116012222A - 图像处理方法、装置、电子设备及存储介质 - Google Patents
图像处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116012222A CN116012222A CN202111223450.3A CN202111223450A CN116012222A CN 116012222 A CN116012222 A CN 116012222A CN 202111223450 A CN202111223450 A CN 202111223450A CN 116012222 A CN116012222 A CN 116012222A
- Authority
- CN
- China
- Prior art keywords
- image
- sensor
- resolution
- processing
- acquiring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
Abstract
本公开涉及一种图像处理方法、装置、电子设备及存储介质,该方法包括:获取第一图像,第一图像是根据图像传感器获取的第一分辨率的图像生成的预览图像;当检测到所述第一图像中存在摩尔纹,且在接收到用于采集图像的指令时,获取第二图像,所述第二图像是基于所述图像传感器获取的第二分辨率的图像;基于所述第二图像,生成目标图像。本公开的方法在去除低通滤镜的情况下也能够有效去除摩尔纹,降低了硬件成本。
Description
技术领域
本公开涉及图像成像技术领域,尤其涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
当使用相机拍摄数字图像时,被摄场景以离散的空间位置被采样,两个频率接近的等幅正弦波叠加,合成信号的幅度将按照两个频率之差发生变化。如果在感光系统的像素空间频率与影像中条纹的空间频率接近,就很容易会产生摩尔纹。
相关技术中,摩尔纹去除方法主要是在镜头前添加低通滤镜的方式,通过添加低通滤镜以消除影像中的高频部分,使得感光系统的空间频率高于被摄场景,从而在一定程度减缓摩尔纹的产生。由于需要加入低通滤镜,对硬件要求较高,增加了硬件成本。
发明内容
为克服相关技术中存在的问题,本公开提供一种图像处理方法、装置、电子设备及存储介质。
根据本公开实施例的第一方面,提供一种图像处理方法,该方法包括:
获取第一图像,所述第一图像是根据图像传感器捕捉的第一分辨率的图像生成的预览图像;
当检测到所述第一图像中存在摩尔纹,且在接收到用于采集图像的指令时,获取第二图像,所述第二图像是基于所述图像传感器获取的第二分辨率的图像,所述第二分辨率大于所述第一分辨率;
基于所述第二图像,生成目标图像。
在一些实施方式中,所述获取第二图像,包括:
根据所述图像传感器捕捉的第一光信息以及预设阵列转换算法,得到所述第二图像。
在一些实施方式中,所述获取第二图像,包括:
调用所述图像传感器对所述图像传感器捕捉第二光信息进行阵列转换处理,获取所述图像传感器输出的所述第二图像。
在一些实施方式中,所述获取第二图像之后,所述方法还包括:
对所述第二图像进行缩小处理,得到缩小图像;
对所述缩小图像进行图像处理,得到目标图像。
在一些实施方式中,所述图像处理包括降噪处理,所述第二图像包括多帧图像,对所述第二图像进行缩小处理,得到缩小图像,包括:
对多帧所述第二图像进行缩小处理,得到多帧缩小图像,一帧缩小图像与一帧第二图像对应;
所述对所述缩小图像进行图像处理,得到目标图像,包括:
对所述多帧缩小图像进行多帧降噪处理,得到一帧降噪图像。
在一些实施方式中,所述获取第二图像之后,所述方法还包括:
保存所述第二图像。
在一些实施方式中,所述图像传感器为Quad Bayer传感器。
根据本公开实施例的第二方面,提供一种图像处理装置,该装置包括:
第一图像获取模块,被配置为获取第一图像,所述第一图像是根据图像传感器捕捉的第一分辨率的图像生成的预览图像;
第二图像获取模块,被配置为当检测到所述第一图像中存在摩尔纹,且在接收到用于采集图像的指令时,获取第二图像,所述第二图像是基于所述图像传感器获取的第二分辨率的图像,所述第二分辨率大于所述第一分辨率;
目标图像生成模块,被配置为基于所述第二图像,生成目标图像。
根据本公开实施例的第三方面,提供一种计算机可读存储介质,其上存储有计算机程序指令,该程序指令被处理器执行时实现本公开第一方面所提供的图像处理方法的步骤。
根据本公开实施例的第四方面,提供一种电子设备,包括:存储器,其上存储有计算机程序;处理器,用于执行存储器中的计算机程序,以实现本公开第一方面所提到的图像处理方法的步骤。
本公开的实施例提供的技术方案可以包括以下有益效果:通过获取第一图像,若检测到所述第一图像中存在摩尔纹,且在接收到用于采集图像的指令时,则获取第二分辨率的第二图像。由于第二图像是基于所述图像传感器获取的第二分辨率的图像,且第二图像的第二分辨率大于第一分辨率,因此,可以提高成像系统的采样率,使得成像系统的采样率大于被摄场景的频率,从而可以避免成像图像中摩尔纹的产生,此外,本公开实施例的方法,由于不用增加低通滤镜来消除摩尔纹,因此,可以降低硬件要求,从而降低硬件成本,并且,也不会消除影像中的高频信息,在一定程度上可以提高成像画质,此外,由于是在检测到第一图像中存在摩尔纹以及接收到用于采集图像的指令时,自动获取的第二图像,整个过程不需要用户进行感知操作,降低了用户操作难度,提升了用户拍照体验。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1是根据本公开一示例性实施例示出的一种图像处理方法的流程图。
图2是根据本公开一示例性实施例示出的另一种图像处理方法的流程图。
图3是根据本公开实施例提出的一种Quad Bayer传感器中一种图像像素变化示意图。
图4是根据本公开实施例提出的一种生成图像中存在摩尔纹效果示意图。
图5是根据本公开实施例提出的一种生成图像中去除摩尔纹效果示意图。
图6是根据本公开一示例性实施例示出的一种阵列转换前后图像像素示意图。
图7是根据本公开一示例性实施例示出的一种图像处理装置的结构框图。
图8是根据本公开一示例性实施例示出的一种电子设备的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
摩尔纹是一种在数码照相机或者扫描仪等电子设备上,感光元件出现的高频干扰的条纹,是一种会使图片出现彩色的高频率不规则的条纹。摩尔纹因为是不规则的,没有明显的形状规律。
如何在有效去除摩尔纹的同时,降低硬件配置要求是图像处理领域长期以来一直在研究和探索的问题。
因此,本公开提供一种图像处理方法,通过获取第一图像,若检测到所述第一图像中存在摩尔纹,且在接收到用于采集图像的指令时,则获取第二分辨率的第二图像,由于第二图像是基于所述图像传感器获取的第二分辨率的图像,且第二图像的第二分辨率大于第一分辨率,因此,可以提高成像系统的采样率,使得成像系统的采样率大于被摄场景的频率,从而可以避免成像图像中摩尔纹的产生,此外,本公开实施例的方法,由于不用增加低通滤镜来消除摩尔纹,因此,可以降低硬件要求,从而降低硬件成本。
图1是根据一示例性实施例示出的一种图像处理方法的流程图,该方法可以应用于电子设备,电子设备包括终端设备或者服务器,其中,终端设备可以包括手机、相机、笔记本、平板电脑、具有拍照功能的可穿戴设备等。该方法包括:
S110,获取第一图像,第一图像是根据图像传感器获取的第一分辨率的图像生成的预览图像。
可以理解的是,终端设备的图像传感器可以支持多种不同大小的分辨率。在拍照过程中,打开终端设备中的拍照程序之后,图像传感器可以以硬件支持的像素对当前场景进行捕捉,将捕捉到的光信息转变为电子信息,然后再进行模数转换等,从而生成当前场景对应的第一分辨率的RAW(RAW Image Format)图像,接着终端设备可以对该RAW图像进行图像处理,从而得到预览图像,例如得到JPEG格式的预览图像,该预览图像可以在终端设备的屏幕上进行显示,以供进行预览。可选地,预览图像的格式还可以是JPG格式等,本公开实施例中对预览图像的格式不作限定。
其中,该第一分辨率可以是默认的分辨率,也可以是用户选择的分辨率。
在一些实施方式中,默认的分辨率可以是电子设备的拍照程序在设计时由工程师设置的,从而每次打开拍照程序之后,在用户未进行分辨率选择的情况下,均是以该分辨率进行图像捕捉。
在另一些实施方式中,默认的分辨率可以沿用上一次拍照时选择的分辨率,从而每次打开拍照程序之后,在用户未进行分辨率选择的情况下,以上一次拍照时选择的分辨率进行图像捕捉。
那么在一种可能的场景下,用户刚打开拍照程序时,图像传感器可以生成当前场景对应的第一分辨率的RAW图像。在另一种可能的场景下,用户在打开拍照程序之后,对图像传感器的分辨率进行了选择,从而图像传感器可以在用户对图像传感器的分辨率进行了选择之后,以生成用户选择的分辨率的RAW图像。
不管是哪种场景,在这个拍照过程中,电子设备均可以获得第一图像。
S120,当检测到第一图像中存在摩尔纹,且在接收到用于采集图像的指令时,获取第二图像,所述第二图像是基于所述图像传感器获取的第二分辨率的图像,第二分辨率大于第一分辨率。
需要说明的是,第二分辨率受到传感器硬件分辨率的影响,也就是说,第二分辨率最大可以为传感器的最大硬件允许分辨率。
在一些实施方式中,终端设备在获取到第一图像之后,可以对第一图像进行摩尔纹检测。
可选地,可以利用摩尔纹提取算法对第一图像进行摩尔纹提取检测。可选地,可以利用神经网络模型对第一图像进行摩尔纹检测,该神经网络模型可以利用摩尔纹携带与否标签的图像样本进行训练。
终端设备在对第一图像进行摩尔纹检测之后,可以得到两类检测结果,即第一图像中存在摩尔纹,以及第一图像中不存在摩尔纹。
在一些实施方式中,第一图像中存在摩尔纹可以理解为第一图像中摩尔纹的存在范围或者数量大于预设范围或者预设数量。而第一图像中不存在摩尔纹可以是第一图像中摩尔纹的存在范围或者数量小于或者等于预设范围或者预设数量。其中,预设范围或者预设数量可以根据用户需求由用户自行进行设置,例如,对于一些质量要求不高的场景,用户可以设置一个相对较大的预设范围或者预设数量,而对于一些质量要求较高的场景,用户可以设置一个相对较小的预设范围或者预设数量,甚至可以设置为0,即只要存在摩尔纹,电子设备的检测结果便认为是第一图像中存在摩尔纹,并执行后续操作。
可以理解的是,用户在打开电子设备中的拍照程序,且查看到预览图像之后,可以发出用于采集图像的指令,例如,用户触发快门或者拍照控件,而若第一图像中存在摩尔纹,则可能对用户正常拍照期望产生影响,降低用户的拍照体验,因此,为了降低摩尔纹对用户正常拍照期望的影响,可以在用户发出用于采集图像的指令时,获取第二分辨率的第二图像。由于获取的第二图像的第二分辨率大于第一图像的第一分辨率,因此相当于提高了成像系统的采样率,使得成像系统的采样率大于被摄场景的频率,从而可以避免摩尔纹的产生。
需要说明的是,第二图像可以是与第一图像对应相同场景的图像,也即用户在拍照过程中未移动镜头。第二图像还可以是与第一图像对应不同场景的图像时,也即用户在拍照过程中可以移动镜头。
示例地,第二图像为RAW图像。
在一些实施方式中,若第一图像中不存在摩尔纹,则可以直接获取第一分辨率的图像,则不需要再获取第二分辨率的图像。
S130,基于所述第二图像,生成目标图像。
本公开实施例中,在获取到第二图像之后,便可以基于所述第二图像,生成目标图像。
其中,目标图像可以理解为用户需要的图像,用户的需要不同,则目标图像的类型不同,示例性地,目标图像的类型可以是RAW图像,也可以是JPG或者JPEG等格式的图像。
采用上述方法,通过获取第一图像,若检测到所述第一图像中存在摩尔纹,且在接收到用于采集图像的指令时,则获取第二分辨率的第二图像。由于第二图像是基于所述图像传感器获取的第二分辨率的图像,且第二图像的第二分辨率大于第一分辨率,因此,可以提高成像系统的采样率,使得成像系统的采样率大于被摄场景的频率,从而可以避免成像图像中摩尔纹的产生,此外,本公开实施例的方法,由于不用增加低通滤镜来消除摩尔纹,因此,可以降低硬件要求,从而降低硬件成本,并且,也不会消除影像中的高频信息,在一定程度上可以提高成像画质,此外,由于是在检测到第一图像中存在摩尔纹以及接收到用于采集图像的指令时,自动获取的第二图像,整个过程不需要用户进行感知操作,降低了用户操作难度,提升了用户拍照体验。
示例地,在生成目标图像之后,可以将目标图像执行以下至少一种处理:将目标图像输出至显示设备(如电子设备的显示屏)进行显示;对目标图像进行存储。
此外,基于所述第二图像,生成目标图像,可以有多种方式。
在一些实施方式中,可以直接将所述第二图像作为所述目标图像。
可以理解的是,对于一些专业用户而言,其想要通过拍照程序获取的是RAW图像,以便于后续自己可以对RAW图像进行专业化处理,那么这种情况下,终端设备可以根据用户的设置,直接将第二图像作为目标图像,从而保存第二图像到内存中,即直接保存RAW图像到内存中。
在另一些实施方式中,可以对所述第二图像进行图像处理,生成所述目标图像。
而对于另一些用户而言,其想要通过拍照程序获取的是具有视觉美感以及对被摄场景有较大还原性的图像,例如JPG图像或者JPEG等格式的图像,这种情况下,可以根据用户的设置,终端设备可以继续对第二图像进行图像处理,从而得到具有视觉美感以及对被摄场景有较大还原性的图像,并将具有视觉美感以及对被摄场景有较大还原性的图像作为目标图像,从而便于后续可以将目标图像显示到电子设备的显示屏上或者保存在电子设备的内存中。例如希望得到JPEG格式或者JPG格式的图像显示在电子设备的显示屏上或者保存在电子设备的内存中。
其中,对第二图像进行图像处理可以是调用电子设备或者图像传感器中的ISP(Image Signal Process,图像信号处理)模块对第二图像进行图像处理,其中,对第二图像进行图像处理可以包括降噪、白平衡、校正、增强等处理。
此外,在一些实施方式中,还可以既将第二图像作为目标图像,也对第二图像进行图像处理,生成目标图像。也即,可以将第二图像直接作为目标图像,以及对第二图像进行图像处理后,生成目标图像,以便后续可以根据用户实际需要从两种目标图像中进行自由选择。
请参阅图2,图2是根据一示例性实施例示出的一种图像处理方法的流程图,该方法可以应用于电子设备,电子设备包括终端设备或者服务器,其中,终端设备可以包括手机、相机、笔记本、平板电脑、具有拍照功能的可穿戴设备等。该方法包括:
S210,获取第一图像,第一图像是根据图像传感器获取的第一分辨率的图像生成的预览图像。
其中,步骤S210的具体实现方式可以参照S110的具体描述,这里不再赘述。
S220,当检测到所述第一图像中存在摩尔纹,且在接收到用于采集图像的指令时,获取第二图像,所述第二图像是基于所述图像传感器获取的第二分辨率的图像。
可以理解的是,由于根据图像传感器捕捉的光信息生成了不同分辨率的图像,因此,在一些实施方式中,图像传感器可以为Quad Bayer传感器。Quad Bayer传感器在技术上是一种高分辨率的传感器,在每个颜色方块后面放置四个像素。示例地,Quad Bayer传感器可以发挥两种不同的作用。
一种是集合读取模式(binning),如图3所示,使用4个颜色相同的像素合成一个像素,整体上仍满足拜耳结构,此时传感器的分辨率仅为传感器硬件分辨率的1/4。低分辨率情况下,传感器分辨率的空间频率与影像中条纹的空间频率容易接近,导致彩色摩尔纹出现,如图4所示,示出了一种生成图像中存在摩尔纹效果示意图。
另一种是高分辨率模式(Demosaic),此时,在拍摄含有照片高频信息的场景时,Quad Bayer传感器通过片上马赛克重排(Remosaic)转换成普通的RGGB排列的拜耳结构,实现高像素的拍摄,此时,传感器是基于自身携带的阵列转换电路,将这些颜色分成四组。此时,传感器的硬件分辨率被完全利用,提高了感光系统整体的空间采样频率,使其高于影像中高频信息频率,因此,不会产生干涉,即不会产生摩尔纹现象,如图5所示,示出了一种生成图像中去除摩尔纹效果示意图。
其中,获取第二图像可以有多种方式。
在一些可能的实施方式中,如图6所示,步骤S220中获取第二图像的步骤,可以包括以下步骤:调用图像传感器对图像传感器捕捉的第一光信息进行阵列转换处理,获取图像传感器输出的第二图像。
本公开实施例中,电子设备在通过图像传感器捕捉得到第一光信息之后,还可以调用图像传感器对第一光信息进行阵列转换处理,从而电子设备便可以得到图像传感器输出的第二图像。
其中,阵列转换处理是指对图像传感器捕捉的光信息进行处理的过程,阵列转换处理可以对捕捉的光信息中的每个像素进行进一步分类,使得每个像素获得更多的光信息,从而得到更高分辨率的第二图像。
需要说明的是,本公开实施例中,可以基于图像传感器内部设置的硬件电路来提供的阵列转换处理的功能,该电路可以称为阵列转换电路,从而,将第二光信息通过阵列转换电路,可以得到第二图像。
结合前述内容可知,图像传感器可以为Quad Bayer传感器,那么当图像传感器为Quad Bayer传感器时,可以先调用Quad Bayer传感器的感光元器件获取第一光信息,此时,Quad Bayer传感器使用4个颜色相同的像素合成一个像素组,整体上仍满足拜耳结构,此时Quad Bayer传感器的分辨率仅为传感器硬件分辨率的1/4。接着,再调用Quad Bayer传感器的阵列转换电路对第一光信息进行阵列转换处理,此时,Quad Bayer传感器可以对合成的一个像素组中的4个颜色相同的像素进行插值处理,得到4个像素单位,进而得到高分辨率的第二图像,最后终端设备便可以获取到Quad Bayer传感器输出的第二图像。
在另一些可能的实施方式中,如图7所示,步骤S220中获取第二图像的步骤,可以包括以下步骤:根据图像传感器捕捉的第一光信息以及预设阵列转换算法,得到第二图像。
本公开实施例中,电子设备首先通过图像传感器捕捉得到第一光信息,在图像传感器捕捉到第一光信息之后,终端设备可以获取图像传感器输出的第一光信息,然后电子设备再利用预设的阵列转换算法对第一光信息进行阵列转换处理,得到第二图像。示例地,本公开实施例中,可以基于终端设备提供的软件算法来完成对第二光信息进行阵列转换处理的功能,从而得到第二图像。
同样地,图像传感器可以为Quad Bayer传感器,那么当图像传感器为Quad Bayer传感器时,可以先通过Quad Bayer传感器获取第一光信息,此时,Quad Bayer传感器使用4个颜色相同的像素合成一个像素,整体上仍满足拜耳结构,此时Quad Bayer传感器的分辨率仅为传感器硬件分辨率的1/4。在调用Quad Bayer传感器获取第二光信息之后,终端设备便可以调用预设阵列转换算法对Quad Bayer传感器输出的第二光信息进行处理,得到第二图像。
在一些实施方式中,第一光信息与第二光信息可以是同一个光信息。
其中,阵列转换算法可以是以边缘方向为基础的插值算法、结合亮度相似性和色度相似性判断插值方向的算法或者以权值为基础的插值算法等。
需要说明的是,本公开实施例中,由于是基于电子设备内部设置的软件算法来提供的阵列转换的功能,考虑到软件算法易于更新的特点,因此,可以通过改变软件算法的方式来使用不同的阵列转换算法,以便于得到不同的阵列转换结果,从而得到不同效果的第二图像,提高了对各类需求的适应能力。此外,由于是基于电子设备内部设置的软件算法来提供的阵列转换的功能,对于一些不存在阵列转换功能的硬件电路的图像传感器也能够适用,提高了本公开实施例的图像处理方法的适用范围。
请参阅图8,图8示出了对Quad Bayer传感器捕捉的光信息经过阵列转换处理前后像素颜色示意图,如图8所示,在对光信息进行阵列转换之前,Quad Bayer传感器使用4个颜色相同的像素合成一个像素,例如图5中左图中的由4个R像素组成的一个R像素,4个G像素组成的一个G像素,以及4个B像素组成的一个B像素,而在对光信息经过阵列转换处理之后,该合成的一个像素中的4个颜色相同的像素变成了4个像素单位,例如图8中右图中单个像素格子的RGGB4个像素单位,从而可以得到4倍于第一分辨率的第二图像。其中,R表示三原色中的红色,G表示绿色,B表示三原色中的蓝色。
在另一些可能的实施方式中,还可以在保持图像传感器的滤光片的数量不变的情况下,对4个颜色相同的像素对应的滤光片的颜色进行改变,从而得到改变后的滤光片,在改变后,1个像素单位中4个颜色相同滤光片变成了4个像素单位的滤光片,此时,便可以直接调用改变后的滤光片的图像传感器获取得到第二图像。
S230,对所述第二图像进行缩小处理,得到缩小图像。
结合前述内容可知,在一些情况下,终端设备可以继续对第二图像进行图像处理,从而得到具有视觉美感以及对被摄场景有较大还原性的图像,然而,考虑到获取的第二图像的第二分辨率大于第一图像的第一分辨率,使得第二图像占用的内存大于第一图像占用的内存,进而导致终端设备在继续对第二图像进行图像处理的时候,消耗更多的处理资源,存在处理速度慢的问题,因此,为了提高终端设备在继续对第二图像进行图像处理的时候的处理速度,本公开实施方式中,在获取第二图像之后,可以对所述第二图像进行缩小处理,得到缩小图像。
其中,对第二图像进行缩小处理可以理解为缩小第二图像的尺寸。
S240,对所述缩小图像进行图像处理,得到目标图像。
本公开实施例中,在对所述第二图像进行缩小处理,得到第二图像对应的缩小图像之后,便可以对第二图像对应的缩小图像继续进行图像处理,从而得到目标图像。
结合前述内容可知,图像处理可以包括多个处理过程,那么目标图像可以是每一个处理过程之后对应的图像,示例性地,假设依次执行的图像处理过程为降噪、白平衡以及校正,那么在执行降噪过程之后,目标图像即为第二图像对应的降噪图像,继续执行白平衡之后,目标图像则为降噪图像对应的白平衡图像,同理,在校正之后,目标图像则为白平衡图像对应的校正图像。
采用上述方法,在对第二图像进行图像处理之前,先对第二图像进行缩小处理,可以降低处理资源消耗,提高成像速度。
结合前述内容可知,对第二图像进行图像处理可以包括降噪处理,这种情况下,为了进一步提高去摩尔纹效果,可以调用图像传感器捕捉多帧光信息,从而对多帧光信息进行阵列转换处理可以得到多帧第二图像,进而前述步骤S230,对所述缩小图像进行图像处理,得到目标图像,可以包括步骤:对多帧第二图像进行缩小处理,得到多帧缩小图像,一帧缩小图像与一帧第二图像对应。相应地,前述步骤S240,对所述缩小图像进行图像处理,得到目标图像,可以包括:对所述多帧缩小图像进行多帧降噪处理,得到一帧降噪图像。
本公开实施例中,在调用图像传感器捕捉光信息时可以捕捉多帧光信息,例如可以捕捉5-8帧等,如此,在对多帧光信息进行阵列转换处理之后,可以得到每帧光信息分别对应的第二图像,考虑到每帧第二图像均是更高分辨率的图像,因此,可以先对每帧第二图像分别进行缩小处理,得到多帧缩小图像,接着再对多帧缩小图像进行多帧降噪处理,合成得到一帧降噪图像。
由于对每帧第二图像均进行了图像缩小处理,便于后续对多帧缩小图像进行多帧降噪处理,从而得到降噪图像,该过程降低了处理资源消耗,提高了成像速度。此外,由于是对多帧第二图像经过缩小处理得到的多帧缩小图像进行多帧降噪处理,从而得到一张合成的降噪图像,因此,可以进一步根据不同帧之间细节的差异对各帧第二图像中的摩尔纹进行进一步消除,从而得到去摩尔纹效果更好的图像。
需要说明的是,上述过程描述的是在终端设备上执行的S110-S120的步骤,而结合前述内容可知,电子设备还可以是服务器,在这种情况下,服务器可以接收移动终端的图像传感器捕捉的光信息,从而服务器在接收移动终端的图像传感器捕捉的光信息之后,可以由服务器根据图像传感器捕捉的光信息获取第一分辨率的图像,再由服务器对该第一分辨率的图像进行图像处理,得到第一图像,然后,服务器在对第一图像进行摩尔纹检测以及检测是否接收到图像采集指令,若接收到图像采集指令,表明移动终端的用户存在拍照需求,这种情况下,服务器可以从移动终端再次接收图像传感器捕捉的光信息,并且由于存在摩尔纹,则表明服务器需要对再次接收到的光信息进行摩尔纹去除,此时,服务器可以根据图像传感器在采集图像的指令之后捕捉的光信息获取第二分辨率的图像。也即阵列转换算法也可以由服务器提供,从而由服务器对图像传感器在采集图像的指令之后捕捉的光信息进行阵列转换处理,得到第二分辨率的第二图像。
此外,在一些实施方式中,服务器在获取到第二图像之后,还可以继续由服务器执行上述S230-S240的步骤。
此外,在一些实施方式中,服务器根据图像传感器捕捉的光信息获取第一分辨率的图像之后,可以将第一图像发送到终端设备,已在终端设备的的屏幕上进行显示,供用户进行预览。
图7是根据一示例性实施例示出的一种图像处理装置300的结构框图。参照图7,该装置包括:第一图像获取模块310、第二图像获取模块320以及目标图像生成模块330。其中:
第一图像获取模块310,被配置为获取第一图像,第一图像是根据图像传感器获取的第一分辨率的图像生成的预览图像。
第二图像获取模块320,被配置为当检测到所述第一图像中存在摩尔纹,且在接收到用于采集图像的指令时,获取第二图像,所述第二图像是基于所述图像传感器获取的第二分辨率的图像。
目标图像生成模块330,被配置为基于所述第二图像,生成目标图像。
在一些实施方式中,该第二图像获取模块320包括:
算法处理子模块,被配置为根据所述图像传感器捕捉的第一光信息以及预设阵列转换算法,得到所述第二图像。
在一些实施方式中,该第二图像获取模块320还包括:
调用子模块,被配置为调用所述图像传感器对所述图像传感器捕捉的第二光信息进行阵列转换处理,获取所述图像传感器输出的所述第二图像。
在一些实施方式中,目标图像生成模块330包括:
后处理子模块,被配置为将所述第二图像作为所述目标图像和/或对所述第二图像进行图像处理,生成所述目标图像。
在一些实施方式中,该装置还包括缩小处理模块,被配置为对所述第二图像进行缩小处理,得到缩小图像。这种情况下,后处理模块,还被配置为对所述缩小图像进行图像处理,得到目标图像。
在一些实施方式中,图像处理包括降噪处理,所述第二图像包括多帧图像,这种情况下,缩小处理模块,还被配置为对多帧所述第二图像进行缩小处理,得到多帧缩小图像,一帧缩小图像与一帧第二图像对应,后处理模块,还被配置为对所述多帧缩小图像进行多帧降噪处理,得到一帧降噪图像。
在一些实施例中,图像传感器为Quad Bayer传感器。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
采用本公开实施例的装置,由于第二图像是图像传感器捕捉的第一分辨率的第三图像经过阵列转换后得到的第二分辨率的图像,且第二图像的第二分辨率大于第一分辨率,因此,可以提高成像系统的采样率,使得成像系统的采样率大于被摄场景的频率,从而可以避免成像图像中摩尔纹的产生,此外,由于不会消除影像中的高频信息,因此,也不会影响成像画质,因此,实现了有效去除摩尔纹的同时,保证成像的画质效果。
本公开还提供一种计算机可读存储介质,其上存储有计算机程序指令,该程序指令被处理器执行时实现本公开提供的图像处理方法的步骤。
图8是根据一示例性实施例示出的一种电子设备400的框图。例如,电子设备400可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等终端设备,还可以是服务器。
参照图8,电子设备400可以包括以下一个或多个组件:处理组件402,存储器404,电力组件406,多媒体组件408,音频组件410,输入/输出(I/O)的接口412,传感器组件414,以及通信组件416。
处理组件402通常控制电子设备400的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件402可以包括一个或多个处理器420来执行指令,以完成上述的图像处理方法的全部或部分步骤。此外,处理组件402可以包括一个或多个模块,便于处理组件402和其他组件之间的交互。例如,处理组件402可以包括多媒体模块,以方便多媒体组件408和处理组件402之间的交互。
存储器404被配置为存储各种类型的数据以支持在电子设备400的操作。这些数据的示例包括用于在电子设备400上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器404可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电力组件406为电子设备400的各种组件提供电力。电力组件406可以包括电源管理系统,一个或多个电源,及其他与为电子设备400生成、管理和分配电力相关联的组件。
多媒体组件408包括在电子设备400和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件408包括一个前置摄像头和/或后置摄像头。当电子设备400处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件410被配置为输出和/或输入音频信号。例如,音频组件410包括一个麦克风(MIC),当电子设备400处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器404或经由通信组件416发送。在一些实施例中,音频组件410还包括一个扬声器,用于输出音频信号。
I/O接口412为处理组件402和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件414包括一个或多个传感器,用于为电子设备400提供各个方面的状态评估。例如,传感器组件414可以检测到电子设备400的打开/关闭状态,组件的相对定位,例如组件为电子设备400的显示器和小键盘,传感器组件414还可以检测电子设备400或电子设备400一个组件的位置改变,用户与电子设备400接触的存在或不存在,电子设备400方位或加速/减速和电子设备400的温度变化。传感器组件414可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件414还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件414还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件416被配置为便于电子设备400和其他设备之间有线或无线方式的通信。电子设备400可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件416经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,通信组件416还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,电子设备400可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述图像处理方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器404,上述指令可由电子设备400的处理器420执行以完成上述图像处理方法。例如,非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在另一示例性实施例中,还提供一种计算机程序产品,该计算机程序产品包含能够由可编程的装置执行的计算机程序,该计算机程序具有当由该可编程的装置执行时用于执行上述的图像处理方法的代码部分。
本领域技术人员在考虑说明书及实践本公开后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (10)
1.一种图像处理方法,其特征在于,所述方法包括:
获取第一图像,所述第一图像是根据图像传感器获取的第一分辨率的图像生成的预览图像;
当检测到所述第一图像中存在摩尔纹,且在接收到用于采集图像的指令时,获取第二图像,所述第二图像是基于所述图像传感器获取的第二分辨率的图像,所述第二分辨率大于所述第一分辨率;
基于所述第二图像,生成目标图像。
2.根据权利要求1所述的方法,其特征在于,所述获取第二图像,包括:
根据所述图像传感器捕捉的第一光信息以及预设阵列转换算法,得到所述第二图像。
3.根据权利要求1所述的方法,其特征在于,所述获取第二图像,包括:
调用所述图像传感器对所述图像传感器捕捉的第二光信息进行阵列转换处理,获取所述图像传感器输出的所述第二图像。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述基于所述第二图像,生成目标图像,包括:
将所述第二图像作为所述目标图像;和/或
对所述第二图像进行图像处理,生成所述目标图像。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
对所述第二图像进行缩小处理,得到缩小图像;
所述对所述第二图像进行图像处理,包括:
对所述缩小图像进行图像处理,得到目标图像。
6.根据权利要求5所述的方法,其特征在于,所述图像处理包括降噪处理,所述第二图像包括多帧图像,对所述第二图像进行缩小处理,得到缩小图像,包括:
对多帧所述第二图像进行缩小处理,得到多帧缩小图像,一帧缩小图像与一帧第二图像对应;
所述对所述缩小图像进行图像处理,得到目标图像,包括:
对所述多帧缩小图像进行多帧降噪处理,得到一帧降噪图像。
7.根据权利要求1-3任一项所述的方法,其特征在于,所述图像传感器为Quad Bayer传感器。
8.一种图像处理装置,其特征在于,所述装置包括:
第一图像获取模块,被配置为获取第一图像,所述第一图像是根据图像传感器获取的第一分辨率的图像生成的预览图像;
第二图像获取模块,被配置为当检测到所述第一图像中存在摩尔纹,且在接收到用于采集图像的指令时,获取第二图像,所述第二图像是基于所述图像传感器获取的第二分辨率的图像,所述第二分辨率大于所述第一分辨率;
目标图像生成模块,被配置为基于所述第二图像,生成目标图像。
9.一种电子设备,其特征在于,包括:
存储器,其上存储有计算机程序;
处理器,用于执行所述存储器中的所述计算机程序,以实现权利要求1-7中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1-7中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111223450.3A CN116012222A (zh) | 2021-10-20 | 2021-10-20 | 图像处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111223450.3A CN116012222A (zh) | 2021-10-20 | 2021-10-20 | 图像处理方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116012222A true CN116012222A (zh) | 2023-04-25 |
Family
ID=86027136
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111223450.3A Pending CN116012222A (zh) | 2021-10-20 | 2021-10-20 | 图像处理方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116012222A (zh) |
-
2021
- 2021-10-20 CN CN202111223450.3A patent/CN116012222A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2533520B1 (en) | Image sensor having HDR capture capability | |
CN109345485B (zh) | 一种图像增强方法、装置、电子设备及存储介质 | |
CN110958401B (zh) | 一种超级夜景图像颜色校正方法、装置和电子设备 | |
US12003850B2 (en) | Method for selecting image based on burst shooting and electronic device | |
JP6328275B2 (ja) | 画像タイプ識別方法、装置、プログラム及び記録媒体 | |
CN108391060B (zh) | 一种图像处理方法、图像处理装置和终端 | |
US10516860B2 (en) | Image processing method, storage medium, and terminal | |
CN110944230B (zh) | 视频特效的添加方法、装置、电子设备及存储介质 | |
US11222235B2 (en) | Method and apparatus for training image processing model, and storage medium | |
CN114500821B (zh) | 拍照方法及装置、终端及存储介质 | |
CN113014803A (zh) | 滤镜添加方法、装置及电子设备 | |
CN105574834B (zh) | 图像处理方法及装置 | |
CN111953903A (zh) | 拍摄方法、装置、电子设备及存储介质 | |
US11348365B2 (en) | Skin color identification method, skin color identification apparatus and storage medium | |
WO2015128897A1 (en) | Digital cameras having reduced startup time, and related devices, methods, and computer program products | |
CN116668862B (zh) | 图像处理方法与电子设备 | |
EP4106321A1 (en) | Image processing method and apparatus, model training method and apparatus, and storage medium | |
CN118018835A (zh) | 图像拍摄方法、装置、摄像设备及存储介质 | |
CN112188095B (zh) | 拍照方法、拍照装置及存储介质 | |
CN116012222A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN113364964B (zh) | 图像处理方法、图像处理装置、存储介质与终端设备 | |
CN113676674A (zh) | 图像处理方法、装置、电子设备及可读存储介质 | |
CN111835977B (zh) | 图像传感器、图像生成方法及装置、电子设备、存储介质 | |
CN116051368B (zh) | 图像处理方法及其相关设备 | |
WO2023077938A1 (zh) | 生成视频帧的方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |