CN113674153A - 图像处理芯片、电子设备、图像处理方法和存储介质 - Google Patents

图像处理芯片、电子设备、图像处理方法和存储介质 Download PDF

Info

Publication number
CN113674153A
CN113674153A CN202110912356.2A CN202110912356A CN113674153A CN 113674153 A CN113674153 A CN 113674153A CN 202110912356 A CN202110912356 A CN 202110912356A CN 113674153 A CN113674153 A CN 113674153A
Authority
CN
China
Prior art keywords
image data
image
data
module
hyper
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110912356.2A
Other languages
English (en)
Inventor
郑超
范泽华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202110912356.2A priority Critical patent/CN113674153A/zh
Publication of CN113674153A publication Critical patent/CN113674153A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4053Super resolution, i.e. output image resolution higher than sensor resolution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4092Image resolution transcoding, e.g. client/server architecture

Abstract

本申请涉及一种图像处理芯片、电子设备、图像处理方法和计算机可读存储介质,该图像处理芯片包括第一数据接收模块、超分模块和数据发送模块;其中,第一数据接收模块,用于接收第一图像数据;超分模块,与所述第一数据接收模块相连接,所述超分模块包括多组卷积电路和多组像素重组电路,所述多组卷积电路用于对所述第一图像数据进行像素卷积计算,得到中间数据;所述多组像素重组电路用于对所述中间数据进行像素的比对和重组,得到超分图像数据;数据发送模块,与所述超分模块相连接,所述数据发送模块用于发送所述超分图像数据,可以提高超分处理的效率。

Description

图像处理芯片、电子设备、图像处理方法和存储介质
技术领域
本申请涉及计算机技术,特别是涉及一种图像处理芯片、电子设备、图像处理方法和计算机可读存储介质。
背景技术
移动互联时代的到来,智能电子设备的流行已经成为一大趋势。这类智能电子设备的出现改变了很多人的生活方式及对传统通讯工具的需求,人们不再满足于智能电子设备的外观和基本功能的使用,而开始追求智能电子设备能够给人们带来更多、更强、更具个性化的功能服务。智能电子设备也几乎成了这个时代不可或缺的代表配置。如今,越来越多的消费者将购机目标定位在智能电子设备的娱乐、上网、时讯及服务等应用功能上,能更好的满足消费者对功能的极致体验也成了手机厂商的目标,而智能电子设备所显示的图像分辨率是其中非常重要的一部分。
传统的电子设备对图像进行超分处理,通常是基于GPU(graphics processingunit,图像处理器)/CPU(central processing unit,中央处理器)等通用芯片实现的。然而,传统的通用芯片在进行超分处理时,还需要对其他功能进行处理,存在超分处理效率低的问题。
发明内容
本申请实施例提供了一种图像处理芯片、电子设备、图像处理方法和计算机可读存储介质,可以提高超分处理效率。
一种图像处理芯片,包括:
第一数据接收模块,用于接收第一图像数据;
超分模块,与所述第一数据接收模块相连接,所述超分模块包括多组卷积电路和多组像素重组电路,所述多组卷积电路用于对所述第一图像数据进行像素卷积计算,得到中间数据;所述多组像素重组电路用于对所述中间数据进行像素的比对和重组,得到超分图像数据;
数据发送模块,与所述超分模块相连接,所述数据发送模块用于发送所述超分图像数据。
在其中一个实施例中,所述第一图像数据包括图像尺寸;所述多组卷积电路还用于在判定所述图像尺寸与预设输入图像尺寸相匹配的情况下,对所述第一图像数据进行像素卷积计算,得到中间数据。
在其中一个实施例中,所述多组卷积电路还用于在判定所述图像尺寸与所述预设输入图像尺寸不匹配的情况下,将所述图像尺寸调整至所述预设输入图像尺寸,得到第二图像数据,并对所述第二图像数据进行像素卷积计算,得到中间数据。
在其中一个实施例中,所述图像处理芯片还包括:
模型存储模块,与所述超分模块相连接,所述模型存储模块用于存储超分模型,以及对所述超分模型进行训练,并在所述超分模型训练完成后发送至所述超分模块;所述超分模块还用于采用训练完成的超分模型对图像数据进行超分处理。
在其中一个实施例中,所述训练完成的超分模型包括多算子集合,所述多算子集合中每个算子表征一个处理算法,所述多算子集合的算子至少包括多物体侦测算子、子像素填充算子、画质增强算子、高动态范围图像还原算子、多帧降噪算子、快效应去除算子、画面去雾算子和通透性提升算子。
在其中一个实施例中,所述图像处理芯片还包括:
第二数据接收模块,与所述超分模块相连接,所述第二数据接收模块用于接收第一图像数据,并对所述第一图像数据进行屏幕菜单式调节方式的控制和处理。
在其中一个实施例中,所述图像处理芯片还包括:
显示效果处理模块,与所述超分模块相连接,所述显示效果处理模块用于接收所述超分模块传输的超分图像数据,并对所述超分图像数据进行显示效果处理,得到第三图像数据,将所述第三图像数据返回至所述超分模块;
所述超分模块还用于将所述第三图像数据发送至所述数据发送模块。
在其中一个实施例中,所述数据发送模块还用于将所述超分图像数据传输至显示链路,以将所述超分图像数据显示在显示屏中。
在其中一个实施例中,所述第一数据接收模块还用于对第一图像数据依次进行解码、帧缓存、二维放大处理和高动态范围图像合成处理,得到第四图像数据,并将所述第四图像数据发送至所述超分模块;
所述超分模块中的多组卷积电路还用于对所述第四图像数据进行像素卷积计算,得到中间数据。
一种电子设备,包括上述的图像处理芯片。
一种图像处理方法,包括:
接收第一图像数据;
通过多组卷积电路对所述第一图像数据进行像素卷积计算,得到中间数据,通过多组像素重组电路对所述中间数据进行像素的比对和重组,得到超分图像数据;
发送所述超分图像数据。
在其中一个实施例中,所述第一图像数据包括图像尺寸;所述通过多组卷积电路对所述第一图像数据进行像素卷积计算,得到中间数据,包括:
在判定所述图像尺寸与预设输入图像尺寸相匹配的情况下,通过多组卷积电路对所述第一图像数据进行像素卷积计算,得到中间数据;
在判定所述图像尺寸与所述预设输入图像尺寸不匹配的情况下,通过多组卷积电路将所述图像尺寸调整至所述预设输入图像尺寸,得到第二图像数据,并对所述第二图像数据进行像素卷积计算,得到中间数据。
在其中一个实施例中,所述方法还包括:
对超分模型进行训练,得到训练完成的超分模型,并采用训练完成的超分模型执行所述通过多组卷积电路对所述第一图像数据进行像素卷积计算,得到中间数据,通过多组像素重组电路对所述中间数据进行像素的比对和重组,得到超分图像数据的步骤;
其中,训练完成的超分模型包括多算子集合,所述多算子集合中每个算子表征一个处理算法,所述多算子集合的算子至少包括多物体侦测算子、子像素填充算子、画质增强算子、高动态范围图像还原算子、多帧降噪算子、快效应去除算子、画面去雾算子和通透性提升算子。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上述的方法的步骤。
上述图像处理芯片、电子设备、图像处理方法和计算机可读存储介质,该图像处理芯片包括第一数据接收模块、超分模块和数据发送模块,其中,该第一数据接收模块用于接收第一图像数据;超分模块超分模块包括多组卷积电路和多组像素重组电路,多组卷积电路用于对第一图像数据进行像素卷积计算,得到中间数据,再由多组像素重组电路对中间数据进行像素的比对和重组,则可以快速得到超分图像数据,并通过数据发送模块发送超分图像数据。上述的图像处理芯片,可以专用于对图像数据进行超分处理,避免使用其他与超分处理无关的功能,可以提高数据存储、通道传输的效率,从而提高超分处理的效率。并且,上述的图像处理芯片中的超分模块,设计了多组卷积电路和多组像素重组电路,对第一图像数据进行卷积计算后再进行像素的比对和重组,可以准确地实现超分处理。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中电子设备的结构示意图;
图2为一个实施例中图像处理芯片的结构示意图;
图3为一个实施例中超分模块的结构示意图;
图4为另一个实施例中图像处理芯片的结构示意图;
图5为一个实施例中超分处理的流程示意图;
图6为另一个实施例中图像处理芯片的结构示意图;
图7为另一个实施例中图像处理芯片的结构示意图;
图8为另一个实施例中图像处理芯片的结构示意图;
图9为另一个实施例中图像处理芯片的结构示意图;
图10为另一个实施例中超分处理的流程示意图;
图11为一个实施例中图像处理方法的流程图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件,但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说,在不脱离本申请的范围的情况下,可以将第一图像数据称为第二图像数据,且类似地,可将第二图像数据称为第一图像数据。第一图像数据和第二图像数据两者都是图像数据,但其不是同一图像数据。
参考图1,电子设备10包括摄像头100和显示屏200,摄像头100设置于壳体,摄像头100可用于执行拍摄功能,从而获取图像数据。例如,在一些实施方式中,摄像头100能够执行前置摄像头的功能,用户可以通过摄像头100进行自拍、视频通话等操作。在另一些实施方式中,摄像头100能够执行后置摄像头的功能,用户可以通过摄像头100进行微距拍摄、视频录制等操作。摄像头100将获取的图像数据发送至图像处理芯片,图像处理芯片可以对图像数据进行超分处理得到超分图像数据,再将超分图像数据发送至显示屏200中进行显示。在一些实施方式中,电子设备10可以为智能手机。在另一些实施方式中,电子设备10还可以是平板电脑、笔记本电脑、穿戴式设备等。穿戴式设备可为智能手表、VR(Virtual Reality,虚拟现实)设备、AR(Augmented Reality,增强现实)设备等。
结合图2,图像处理芯片20包括第一数据接收模块202、超分模块206和数据发送模块204;其中,第一数据接收模块202,用于接收第一图像数据;超分模块206,与第一数据接收模块202相连接,超分模块206包括多组卷积电路和多组像素重组电路,多组卷积电路用于对第一图像数据进行像素卷积计算,得到中间数据;多组像素重组电路用于对中间数据进行像素的比对和重组,得到超分图像数据;数据发送模块204,与超分模块206相连接,数据发送模块204用于发送超分图像数据。
第一数据接收模块202是第一路用于接收数据的模块。超分模块206是用于对图像进行超分辨率(Super-Resolution,SR)处理的模块。数据发送模块204是用于发送数据的模块。第一数据接收模块202中用于接收第一图像数据的接口可以移动产业处理器接口(Mobile Industry Processor Interface,MIPI),也可以是其他接口,在此不做限定。数据发送模块204中用于发送超分图像数据的接口可以移动产业处理器接口(Mobile IndustryProcessor Interface,MIPI),也可以是其他接口,在此不做限定。
第一图像数据是第一数据接收模块202接收到的图像数据。第一图像数据可以至少包括图像本身的RGB数据、图像拍摄时刻、曝光参数等数据。
超分模块206包括多组卷积电路和多组像素重组电路。其中,卷积电路和像素重组电路的数量均可以根据需要进行设置。例如,超分模块206包括4组卷积电路和5组像素重组电路;超分模块206包括6组卷积电路和6组像素重组电路。
卷积电路是对图像数据进行卷积处理的电路。像素重组电路是对数据进行比对和重组的电路。
超分图像数据是超分辨率处理完成后得到的图像数据。超分辨率是通过硬件或软件的方法提高原有图像的分辨率,通过一系列低分辨率的图像来得到一幅高分辨率的图像过程就是超分辨率重建。可以理解的是,经过超分处理后得到的超分图像数据的分辨率高于超分处理前的第一图像数据的分辨率,则超分图像数据中包含更多的图像信息,图像也更加清晰。
在一种实施方式中,数据发送模块204获取到超分图像数据后,可以将超分图像数据发送模块204传输至显示链路,以将超分图像数据显示在显示屏中。其中,显示链路可以对超分图像数据进行编解码处理。
需要说明的是,超分模块可以设置于显示链路前端,也可以设置于显示链路后端,对于整个显示链路来说,可以更加灵活进行应用。
在另一种实施方式中,数据发送模块204获取到超分图像数据后,可以将超分图像数据发送至处理器,以将超分图像数据进行相应处理。其中,处理器可以是中央处理器(central processing unit,CPU),也可以是图像处理器(graphics processing unit,GPU)等,不限于此。
在另一种实施方式中,数据发送模块204获取到超分图像数据后,可以将超分图像数据发送至存储器,以将超分图像数据进行存储。
在一个实施例中,第一数据接收模块还可以用于实时接收第一图像数据;多组卷积电路还用于实时对第一图像数据进行像素卷积计算,得到中间数据;多组像素重组电路还用于实时对中间数据进行像素的比对和重组,得到超分图像数据;数据发送模块还用于实时发送超分图像数据。图像处理芯片可以实时对接收的第一图像数据进行超分处理,提高了图像处理的效率。
在本实施例中,该图像处理芯片20包括第一数据接收模块202、超分模块206和数据发送模块204,其中,该第一数据接收模块202用于接收第一图像数据;超分模块206超分模块206包括多组卷积电路和多组像素重组电路,多组卷积电路用于对第一图像数据进行像素卷积计算,得到中间数据,再由多组像素重组电路对中间数据进行像素的比对和重组,则可以快速得到超分图像数据,并通过数据发送模块204发送超分图像数据。上述的图像处理芯片20,可以专用于对图像数据进行超分处理,避免使用其他与超分处理无关的功能,可以提高数据存储、通道传输的效率,从而提高超分处理的效率。并且,上述的图像处理芯片20中的超分模块206,设计了多组卷积电路和多组像素重组电路,对第一图像数据进行卷积计算后再进行像素的比对和重组,可以准确地实现超分处理。
另外,通过对上述图像处理芯片中各个模块进行逻辑上的排序,可以将系统算力的利用率提升至90%以上,极大地节约了系统算力和计算机资源。
在一个实施例中,第一数据接收模块202还用于对第一图像数据依次进行解码、帧缓存、二维放大处理和高动态范围图像合成处理,得到第四图像数据,并将第四图像数据发送至超分模块206;超分模块206中的多组卷积电路还用于对第四图像数据进行像素卷积计算,得到中间数据。
第四图像数据是第一数据接收模块202对第一图像数据依次进行解码(DSCDecoder0)、帧缓存(帧缓存)、二维放大处理(H/V Scalar)和高动态范围图像合成处理(SDR2HDR)后得到的图像数据。其中,高动态范围图像合成处理还可以将标准动态范围图像(Standard Dynamic Range,SDR)转化为高动态范围图像(High Dynamic Range,HDR)。
在另一个实施例中,在第一数据接收模块202中还可以设计画质增强子模块,由于画质增强子模块与高动态范围图像合成处理子模块存在相同的网络结构,可以共用,不需要额外的硬件消耗,可以提高硬件的复用率和利用率。例如,高动态范围图像合成处理子模块和画质增强子模块共需要10层的硬件架构,如果采用共用的方式,可以省去画质增强子模块需求的三层网络架构,可以提高硬件的复用率和利用率。
在一个实施例中,如图3所示,第一图像数据发送至超分模块206,超分模块206包括多组卷积电路和多组像素重组电路,在本实施例中,超分模块206包括6组卷积电路和5组像素重组电路。通过6组卷积电路对第一图像数据进行像素卷积计算,得到中间数据;再通过5组像素重组电路对中间数据进行像素的比对和重组,得到超分图像数据。
在一个实施例中,第一图像数据包括图像尺寸;多组卷积电路还用于在判定图像尺寸与预设输入图像尺寸相匹配的情况下,对第一图像数据进行像素卷积计算,得到中间数据。
预设输入图像尺寸是预先设置的输入超分模块206进行超分处理的图像尺寸。例如,预设输入图像尺寸可以是500*800像素、400*400像素或600*200像素等。
在一种实施方式中,若图像尺寸与预设输入图像尺寸不一致,则图像尺寸与预设输入图像尺寸不匹配;若图像尺寸与预设输入图像尺寸一致,则图像尺寸与预设输入图像尺寸相匹配。
在另一种实施方式中,若图像尺寸与预设输入图像尺寸之间的面积差值超过预设范围,则图像尺寸与预设输入图像尺寸不匹配;若图像尺寸与预设输入图像尺寸之间的面积差值在预设范围内,则图像尺寸与预设输入图像尺寸相匹配。
多组卷积电路接收到第一图像数据后,判断该第一图像数据中的图像尺寸与预设输入图像尺寸是否匹配,可以保证输入超分模块206的第一图像数据的图像尺寸与预设输入图像尺寸相匹配,可以准确地对第一图像数据进行像素卷积计算,从而准确地对图像进行超分处理。
在一个实施例中,多组卷积电路还用于在判定图像尺寸与预设输入图像尺寸不匹配的情况下,将图像尺寸调整至预设输入图像尺寸,得到第二图像数据,并对第二图像数据进行像素卷积计算,得到中间数据。
第二图像数据是将第一图像数据的图像尺寸调整至预设输入图像尺寸后得到的图像数据。
多组卷积电路对图像尺寸进行调整的方式,可以包括拉伸、缩放、像素插值、像素删除等方式,在此不做限定。
在判定图像尺寸与预设输入图像尺寸不匹配的情况下,则多组卷积电路将该第一图像数据的图像尺寸调整至预设输入图像尺寸。具体地,若第一图像数据的图像尺寸小于预设输入图像尺寸,则多组卷积电路对第一图像数据进行上采样,将第一图像数据的图像尺寸调整至预设输入图像尺寸;若第一图像数据的图像大于预设输入图像尺寸,则多组卷积电路对第一图像数据进行上采样,将第一图像数据的图像尺寸调整至预设输入图像尺寸。
其中,下采样指的是对信号的抽取。而上采样是下采样的逆过程,也称增取样(Upsampling)或内插(Interpolating)。
在本实施例中,在判定图像尺寸与预设输入图像尺寸不匹配的情况下,将图像尺寸调整至预设输入图像尺寸,可以保证输入超分模块206的第二图像数据的图像尺寸与预设输入图像尺寸相匹配,可以准确地对第二图像数据进行像素卷积计算,从而准确地对图像进行超分处理。
在一个实施例中,如图4所示,图像处理芯片20还包括:模型存储模块208,与超分模块206相连接,模型存储模块208用于存储超分模块206,以及对超分模型进行训练,并在超分模型训练完成后发送至超分模块206;超分模块206还用于采用训练完成的超分模型对图像数据进行超分处理。
可选地,模型存储模块208可以是静态随机存取存储器(Static Random-AccessMemory,SRAM),也可以是动态随机存取存储器(Dynamic Random Access Memory,DRAM),还可以是其他存储器,不限于此。
模型存储模块208中存储超分模型,还可以存储其他的数据,如第一图像数据、超分图像数据等。
模型存储模块208还用于对超分模型进行训练,并在超分模型训练完成后发送至超分模块206,超分模块206采用训练完成的超分模型对图像数据进行超分处理,即多组卷积电路用于对第一图像数据进行像素卷积计算,得到中间数据;多组像素重组电路用于对中间数据进行像素的比对和重组,得到超分图像数据。
在本实施例中,图像处理芯片20中还包括模型存储模块208,可以对超分模型进行训练,得到训练完成的超分模型,则该训练完成的超分模型可以更准确地对图像数据进行超分处理。
在一个实施例中,训练完成的超分模型包括多算子集合,多算子集合中每个算子表征一个处理算法,多算子集合的算子至少包括多物体侦测算子、子像素填充算子、画质增强(PQ enhancement)算子、高动态范围图像(High-Dynamic Range,HDR)还原算子、多帧降噪算子、快效应去除算子、画面去雾算子和通透性提升算子。
广义的讲,任何函数进行某一项操作都可以认为是一个算子。多算子集合中每个算子表征一个处理算法,超分模型可以针对每一个算子进行训练,则训练完成的该算子可以准确地进行相应的处理。
需要说明的是,训练完成的超分模型包括多算子集合,还可以继续对该多算子集合中各个算子进行训练,将训练完成的算子替换原算子进行更新。
在本实施例中,训练完成的超分模型包括多算子集合,可以采用多个算子即多种处理算法对图像进行处理,从而实现对图像的超分处理。
在一个实施例中,如图5所示,超分模块获取到第一图像数据后,判断第一图像数据的图像尺寸是否与预设输入图像尺寸匹配,若判断为否,则对第一图像数据的图像尺寸进行调整,再通过多组卷积电路依次进行特征提取、子像素分区和多层子像素卷积计算,得到中间数据,再通过多组子像素重组电路对中间数据进行比对和重组,可以输出超分图像数据;若判断为是,则直接通过多组卷积电路依次进行特征提取、子像素分区和多层子像素卷积计算,得到中间数据,再通过多组子像素重组电路对中间数据进行比对和重组,可以输出超分图像数据。
图像处理芯片还包括模型存储模块,模块存储模块中包括超分模型训练系统,可以对超分模型进行训练,得到训练完成的超分模型。那么,超分模块可以采用训练完成的超分模型更准确地对第一图像数据进行特征提取、子像素分区、多层子像素卷积计算、子像素比对和子像素重组处理。其中,超分模型训练系统可以采用人工智能(ArtificialIntelligence,AI)算法对对超分模型进行训练。人工智能算法至少包括全局/局部残差学习算法、递归学习算法、多路径学习算法等。
训练完成的超分模型可以通过多层子像素卷积计算,得到多算子集合。多算子集合的算子至少包括多物体侦测算子、子像素填充算子、画质增强算子、高动态范围图像还原算子、多帧降噪算子、快效应去除算子、画面去雾算子和通透性提升算子。
在一个实施例中,如图6所示,图像处理芯片20还包括:第二数据接收模块210,与超分模块206相连接,第二数据接收模块210用于接收第一图像数据,并对第一图像数据进行屏幕菜单式调节方式的控制和处理。
第二数据接收模块210是第二路用于接收数据的模块。第一数据接收模块210中用于接收第一图像数据的接口可以移动产业处理器接口(Mobile Industry ProcessorInterface,MIPI),也可以是其他接口,在此不做限定。
屏幕菜单式调节方式(on-screen display,OSD)是在显示器的荧幕中产生一些特殊的字形或图形,让使用者得到一些信息的方式。例如,屏幕菜单式调节方式可以是在第一图像数据播放过程中插入弹幕、插入特定图案等。
在本实施例中,图像处理芯片20还包括第二数据接收模块210,可以对第一图像数据进行屏幕菜单式调节方式的控制和处理,实现对第一图像数据的分层处理和对一些固定显示的内容进行单独的区分处理,将处理后的图像数据发送至超分模块206,超分模块206可以将第一数据接收模块202发送的图像数据和第二数据接收模块210发送的图像数据进行叠加,再发送至数据发送模块204,数据发送模块204可以将处理后的图像数据发送至显示屏中进行显示,例如,将弹幕等内容发送至显示屏中进行显示,可以提高对第一图像数据进行屏幕菜单式调节方式的控制和处理的效率和准确度。
在另一个实施例中,第二数据接收模块210还可以作为第一数据接收模块202的辅助模块,增大传输效率。
在一个实施例中,如图7所示,图像处理芯片20还包括:显示效果处理模块212,与超分模块206相连接,显示效果处理模块212用于接收超分模块206传输的超分图像数据,并对超分图像数据进行显示效果处理,得到第三图像数据,将第三图像数据返回至超分模块206;超分模块206还用于将第三图像数据发送至数据发送模块204。
第三图像数据是对超分图像数据进行显示效果处理后得到的图像数据。
显示效果处理模块212对超分图像数据进行显示效果处理,可以至少包括颜色管理(Color Management)、抖动显示处理(Dithering)、锐化处理(sharpness)、色域图处理(color Gamut Map)、对比度提升(Local Contrast)、颜色校准(color calibration)等功能。
在本实施例中,图像处理芯片20还包括显示效果处理模块212,可以对超分图像数据进行显示效果处理,可以得到更准确的、效果更好的第三图像数据。
在一个实施例中,如图8所示,提供了另一种图像处理芯片,包括第一数据接收模块202、超分模块206、数据发送模块204、模型存储模块208、第二数据接收模块210和显示效果处理模块212;其中,第一数据接收模块202、数据发送模块204、模型存储模块208、第二数据接收模块210和显示效果处理模块212均与超分模块206相连接。
其中,第一数据接收模块202,用于接收第一图像数据。
第二数据接收模块210,用于接收第一图像数据,并对第一图像数据进行屏幕菜单式调节方式的控制和处理。
模型存储模块208,用于存储超分模型,以及对超分模型进行训练,并在超分模型训练完成后发送至超分模块。
超分模块206用于采用训练完成的超分模型对图像数据进行超分处理。具体地,超分模块206包括多组卷积电路和多组像素重组电路,多组卷积电路用于对第一图像数据进行像素卷积计算,得到中间数据;多组像素重组电路用于对中间数据进行像素的比对和重组,得到超分图像数据。
显示效果处理模块212,用于接收超分模块206传输的超分图像数据,并对超分图像数据进行显示效果处理,得到第三图像数据,将第三图像数据返回至超分模块206。
超分模块206还用于将第三图像数据发送至数据发送模块204。
数据发送模块204,用于发送第三图像数据。
在一个实施例中,如图9所示,提供了另一种图像处理芯片,包括第一数据接收模块202、超分模块206、数据发送模块204、模型存储模块208、第二数据接收模块210和显示效果处理模块212;其中,第一数据接收模块202、数据发送模块204、模型存储模块208、第二数据接收模块210和显示效果处理模块212均与超分模块206相连接。
图像处理芯片还包括低压差线性稳压器(low dropout regulator,LDO)、微控制单元(Microcontroller,MCU)、电源服务模块(Power Manag)、CLK(Clock,时钟电路)&RST(Reset,复位电路)、SPI(Serial Peripheral Interface,串行外设接口)、blc PWM(backlight control,背光控制;Pulse width modulation,脉冲宽度调制)、I2C(InterIntegrated Circuit)和I3C(Improved Inter Integrated Circuit)等模块或接口。
其中,第一数据接收模块202具有DSC Decoder0(解码)、放大器(H/VScalar)、FB2(帧缓存)和HDR功能。数据发送模块204具有DSC Decoder0(解码器)、放大器(H/V Scalar)和FB1(帧缓存)。第二数据接收模块210具有DSC Decoder1(解码器)、压缩(OSDCompressions)、解压(OSD Decompressions)、解码(OSD Decoding)、控制器(OSDController)和内存控制(OSD Memory Ctrl)功能。超分模块206具有降噪(NoiseReduction)、视频插帧(MEMC)和超分(SR)功能。显示效果处理模块212具有颜色管理(ColorManagement)、抖动显示处理(Dithering)、锐化处理(sharpness)、色域图处理(colorGamut Map)、对比度提升(Local Contrast)、颜色校准(color calibration)等功能。
在一个实施例中,如图10所示,电子设备中的处理器(AP平台)上电点亮屏幕,通过摄像头采集图像数据,将图像数据分别传输至图像处理芯片中的第一数据接收模块和第二数据接收模块。第一数据接收模块采用放大器对图像数据进行放大,然后进行帧缓存,再进行HDR(高动态范围图像)处理,再将处理后的图像数据发送至超分模块。第二数据接收模块采用放大器对图像数据进行放大,再将放大后的图像数据发送至超分模块。
超分模块对获取到的图像数据依次进行降噪、视频插帧和超分处理,得到超分图像数据,再将超分图像数据发送至显示效果处理模块进行颜色调整,并将颜色调整后的图像数据发送至数据发送模块。数据发送模块将图像数据发送至显示屏进行显示。
在一个实施例中,提供了一种图像处理方法,应用于包括图像处理芯片的电子设备,如图11所示,该图像处理方法包括:
步骤1102,接收第一图像数据。
步骤1104,通过多组卷积电路对第一图像数据进行像素卷积计算,得到中间数据,通过多组像素重组电路对中间数据进行像素的比对和重组,得到超分图像数据。
步骤1106,发送超分图像数据。
在本实施例中,电子设备接收第一图像数据;通过多组卷积电路对第一图像数据进行像素卷积计算,得到中间数据,通过多组像素重组电路对中间数据进行像素的比对和重组,可以快速得到超分图像数据,并发送超分图像数据。上述的图像处理方法,在图像处理过程中,避免使用其他与超分处理无关的功能,可以提高数据存储、通道传输的效率,从而提高超分处理的效率。并且,上述的图像处理方法,设计了多组卷积电路和多组像素重组电路,对第一图像数据进行卷积计算后再进行像素的比对和重组,可以准确地实现超分处理。
在一个实施例中,第一图像数据包括图像尺寸;通过多组卷积电路对第一图像数据进行像素卷积计算,得到中间数据,包括:在判定图像尺寸与预设输入图像尺寸相匹配的情况下,通过多组卷积电路对第一图像数据进行像素卷积计算,得到中间数据;在判定图像尺寸与预设输入图像尺寸不匹配的情况下,通过多组卷积电路将图像尺寸调整至预设输入图像尺寸,得到第二图像数据,并对第二图像数据进行像素卷积计算,得到中间数据。
在本实施例中,在判定图像尺寸与预设输入图像尺寸相匹配的情况下,则通过多组卷积电路对第一图像数据进行像素卷积计算,得到中间数据,也即在判定图像尺寸与预设输入图像尺寸相匹配的情况下对第一图像数据进行超分处理。在判定图像尺寸与预设输入图像尺寸不匹配的情况下,将图像尺寸调整至预设输入图像尺寸,可以保证第二图像数据的图像尺寸与预设输入图像尺寸相匹配,准确地对第二图像数据进行像素卷积计算,从而准确地对图像进行超分处理。
在一个实施例中,上述方法还包括:对超分模型进行训练,得到训练完成的超分模型,并采用训练完成的超分模型执行通过多组卷积电路对第一图像数据进行像素卷积计算,得到中间数据,通过多组像素重组电路对中间数据进行像素的比对和重组,得到超分图像数据的步骤;其中,训练完成的超分模型包括多算子集合,多算子集合中每个算子表征一个处理算法,多算子集合的算子至少包括多物体侦测算子、子像素填充算子、画质增强算子、高动态范围图像还原算子、多帧降噪算子、快效应去除算子、画面去雾算子和通透性提升算子。
在本实施例中,对超分模型进行训练,得到训练完成的超分模型,则该训练完成的超分模型可以更准确地对图像数据进行超分处理。
在一个实施例中,通过第一接收模块接收第一图像数据;上述方法还包括:通过第二接收模块接收第一图像数据,对第一图像数据进行屏幕菜单式调节方式的控制和处理,得到处理后的图像数据;将处理后的图像数据和第一接收数据进行叠加,得到叠加图像数据;通过多组卷积电路对叠加图像数据进行像素卷积计算,得到中间数据,通过多组像素重组电路对中间数据进行像素的比对和重组,得到超分图像数据;发送超分图像数据。其中,叠加图像数据是第一接收模块得到的第一接收数据和第二接收模块得到的处理后的图像数据,进行叠加之后得到的数据。
在一个实施例中,得到超分图像数据之后,还包括:对超分图像数据进行显示效果处理,得到第三图像数据;发送所述超分图像数据,包括:发送该第三图像数据。
在一个实施例中,发送所述超分图像数据,包括:将超分图像数据传输至显示链路,以将超分图像数据显示在显示屏中。
在一个实施例中,接收第一图像数据之后,还包括:对第一图像数据依次进行解码、帧缓存、二维放大处理和高动态范围图像合成处理,得到第四图像数据;通过多组卷积电路对所述第一图像数据进行像素卷积计算,得到中间数据,包括:通过多组卷积电路对第四图像数据进行像素卷积计算,得到中间数据。
应该理解的是,虽然图5、图10和图11的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图5、图10和图11中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行图像处理方法的步骤。
本申请实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行图像处理方法。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括ROM(Read-Only Memory,只读存储器)、PROM(Programmable Read-only Memory,可编程只读存储器)、EPROM(Erasable ProgrammableRead-Only Memory,可擦除可编程只读存储器)、EEPROM(Electrically ErasableProgrammable Read-only Memory,电可擦除可编程只读存储器)或闪存。易失性存储器可包括RAM(Random Access Memory,随机存取存储器),它用作外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如SRAM(Static Random Access Memory,静态随机存取存储器)、DRAM(Dynamic Random Access Memory,动态随机存取存储器)、SDRAM(Synchronous Dynamic Random Access Memory,同步动态随机存取存储器)、双数据率DDRSDRAM(Double Data Rate Synchronous Dynamic Random Access memory,双数据率同步动态随机存取存储器)、ESDRAM(Enhanced Synchronous Dynamic Random Access memory,增强型同步动态随机存取存储器)、SLDRAM(Sync Link Dynamic Random Access Memory,同步链路动态随机存取存储器)、RDRAM(Rambus Dynamic Random Access Memory,总线式动态随机存储器)、DRDRAM(Direct Rambus Dynamic Random Access Memory,接口动态随机存储器)。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (14)

1.一种图像处理芯片,其特征在于,包括:
第一数据接收模块,用于接收第一图像数据;
超分模块,与所述第一数据接收模块相连接,所述超分模块包括多组卷积电路和多组像素重组电路,所述多组卷积电路用于对所述第一图像数据进行像素卷积计算,得到中间数据;所述多组像素重组电路用于对所述中间数据进行像素的比对和重组,得到超分图像数据;
数据发送模块,与所述超分模块相连接,所述数据发送模块用于发送所述超分图像数据。
2.根据权利要求1所述的图像处理芯片,其特征在于,所述第一图像数据包括图像尺寸;所述多组卷积电路还用于在判定所述图像尺寸与预设输入图像尺寸相匹配的情况下,对所述第一图像数据进行像素卷积计算,得到中间数据。
3.根据权利要求2所述的图像处理芯片,其特征在于,所述多组卷积电路还用于在判定所述图像尺寸与所述预设输入图像尺寸不匹配的情况下,将所述图像尺寸调整至所述预设输入图像尺寸,得到第二图像数据,并对所述第二图像数据进行像素卷积计算,得到中间数据。
4.根据权利要求1所述的图像处理芯片,其特征在于,所述图像处理芯片还包括:
模型存储模块,与所述超分模块相连接,所述模型存储模块用于存储超分模型,以及对所述超分模型进行训练,并在所述超分模型训练完成后发送至所述超分模块;所述超分模块还用于采用训练完成的超分模型对图像数据进行超分处理。
5.根据权利要求4所述的图像处理芯片,其特征在于,所述训练完成的超分模型包括多算子集合,所述多算子集合中每个算子表征一个处理算法,所述多算子集合的算子至少包括多物体侦测算子、子像素填充算子、画质增强算子、高动态范围图像还原算子、多帧降噪算子、快效应去除算子、画面去雾算子和通透性提升算子。
6.根据权利要求1所述的图像处理芯片,其特征在于,所述图像处理芯片还包括:
第二数据接收模块,与所述超分模块相连接,所述第二数据接收模块用于接收第一图像数据,并对所述第一图像数据进行屏幕菜单式调节方式的控制和处理。
7.根据权利要求1所述的图像处理芯片,其特征在于,所述图像处理芯片还包括:
显示效果处理模块,与所述超分模块相连接,所述显示效果处理模块用于接收所述超分模块传输的超分图像数据,并对所述超分图像数据进行显示效果处理,得到第三图像数据,将所述第三图像数据返回至所述超分模块;
所述超分模块还用于将所述第三图像数据发送至所述数据发送模块。
8.根据权利要求1至7中任一项所述的图像处理芯片,其特征在于,所述数据发送模块还用于将所述超分图像数据传输至显示链路,以将所述超分图像数据显示在显示屏中。
9.根据权利要求1至7中任一项所述的图像处理芯片,其特征在于,所述第一数据接收模块还用于对第一图像数据依次进行解码、帧缓存、二维放大处理和高动态范围图像合成处理,得到第四图像数据,并将所述第四图像数据发送至所述超分模块;
所述超分模块中的多组卷积电路还用于对所述第四图像数据进行像素卷积计算,得到中间数据。
10.一种电子设备,其特征在于,包括权利要求1至9中任一项所述的图像处理芯片。
11.一种图像处理方法,其特征在于,包括:
接收第一图像数据;
通过多组卷积电路对所述第一图像数据进行像素卷积计算,得到中间数据,通过多组像素重组电路对所述中间数据进行像素的比对和重组,得到超分图像数据;
发送所述超分图像数据。
12.根据权利要求11所述的图像处理方法,其特征在于,所述第一图像数据包括图像尺寸;所述通过多组卷积电路对所述第一图像数据进行像素卷积计算,得到中间数据,包括:
在判定所述图像尺寸与预设输入图像尺寸相匹配的情况下,通过多组卷积电路对所述第一图像数据进行像素卷积计算,得到中间数据;
在判定所述图像尺寸与所述预设输入图像尺寸不匹配的情况下,通过多组卷积电路将所述图像尺寸调整至所述预设输入图像尺寸,得到第二图像数据,并对所述第二图像数据进行像素卷积计算,得到中间数据。
13.根据权利要求11所述的图像处理方法,其特征在于,所述方法还包括:
对超分模型进行训练,得到训练完成的超分模型,并采用训练完成的超分模型执行所述通过多组卷积电路对所述第一图像数据进行像素卷积计算,得到中间数据,通过多组像素重组电路对所述中间数据进行像素的比对和重组,得到超分图像数据的步骤;
其中,训练完成的超分模型包括多算子集合,所述多算子集合中每个算子表征一个处理算法,所述多算子集合的算子至少包括多物体侦测算子、子像素填充算子、画质增强算子、高动态范围图像还原算子、多帧降噪算子、快效应去除算子、画面去雾算子和通透性提升算子。
14.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求11至13中任一项所述的方法的步骤。
CN202110912356.2A 2021-08-10 2021-08-10 图像处理芯片、电子设备、图像处理方法和存储介质 Pending CN113674153A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110912356.2A CN113674153A (zh) 2021-08-10 2021-08-10 图像处理芯片、电子设备、图像处理方法和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110912356.2A CN113674153A (zh) 2021-08-10 2021-08-10 图像处理芯片、电子设备、图像处理方法和存储介质

Publications (1)

Publication Number Publication Date
CN113674153A true CN113674153A (zh) 2021-11-19

Family

ID=78541989

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110912356.2A Pending CN113674153A (zh) 2021-08-10 2021-08-10 图像处理芯片、电子设备、图像处理方法和存储介质

Country Status (1)

Country Link
CN (1) CN113674153A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023125657A1 (zh) * 2021-12-28 2023-07-06 维沃移动通信有限公司 图像处理方法、装置和电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111429347A (zh) * 2020-03-20 2020-07-17 长沙理工大学 图像超分辨率重建方法、装置及计算机可读存储介质
CN111553861A (zh) * 2020-04-29 2020-08-18 苏州大学 一种图像超分辨率重构方法、装置、设备及可读存储介质
CN111696038A (zh) * 2020-05-26 2020-09-22 新华三大数据技术有限公司 图像超分辨率方法、装置、设备及计算机可读存储介质
CN111951167A (zh) * 2020-08-25 2020-11-17 深圳思谋信息科技有限公司 超分辨率图像重建方法、装置、计算机设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111429347A (zh) * 2020-03-20 2020-07-17 长沙理工大学 图像超分辨率重建方法、装置及计算机可读存储介质
CN111553861A (zh) * 2020-04-29 2020-08-18 苏州大学 一种图像超分辨率重构方法、装置、设备及可读存储介质
CN111696038A (zh) * 2020-05-26 2020-09-22 新华三大数据技术有限公司 图像超分辨率方法、装置、设备及计算机可读存储介质
CN111951167A (zh) * 2020-08-25 2020-11-17 深圳思谋信息科技有限公司 超分辨率图像重建方法、装置、计算机设备和存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023125657A1 (zh) * 2021-12-28 2023-07-06 维沃移动通信有限公司 图像处理方法、装置和电子设备

Similar Documents

Publication Publication Date Title
US10855966B2 (en) View interpolation of multi-camera array images with flow estimation and image super resolution using deep learning
US11354785B2 (en) Image processing method and device, storage medium and electronic device
US10885384B2 (en) Local tone mapping to reduce bit depth of input images to high-level computer vision tasks
US11574385B2 (en) Electronic apparatus and control method for updating parameters of neural networks while generating high-resolution images
CN112602088B (zh) 提高弱光图像的质量的方法、系统和计算机可读介质
CN107948733B (zh) 视频图像处理方法及装置、电子设备
US20170244916A1 (en) Method for generating high-dynamic range image, camera device, terminal and imaging method
CN112889069B (zh) 用于提高低照度图像质量的方法、系统和计算机可读介质
US11538136B2 (en) System and method to process images of a video stream
CN113096021A (zh) 一种图像处理方法、装置、设备及存储介质
US20200134793A1 (en) Video image processing method and apparatus thereof, display device, computer readable storage medium and computer program product
CN113674153A (zh) 图像处理芯片、电子设备、图像处理方法和存储介质
CN113287147A (zh) 一种图像处理方法及装置
CN113487524B (zh) 图像格式转换方法、装置、设备、存储介质及程序产品
CN115471417A (zh) 图像降噪处理方法、装置、设备、存储介质和程序产品
CN115147304A (zh) 图像融合方法、装置、电子设备和存储介质、产品
CN110874816B (zh) 一种图像处理方法、装置、移动终端及存储介质
CN114902237A (zh) 图像处理方法、装置和电子设备
CN111462008B (zh) 低照度图像增强方法、低照度图像增强装置和电子设备
US20230045334A1 (en) Electronic device and operation method thereof
WO2023185706A1 (zh) 影像处理方法、影像处理装置、存储介质
CN117151975A (zh) 图像处理方法、场景更新方法、装置、设备及存储介质
CN117768774A (zh) 图像处理器、图像处理方法、拍摄装置和电子设备
CN117876943A (zh) 一种图像处理方法、图像增强模型的训练方法及电子设备
CN113744138A (zh) 图像处理方法、图像处理装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination