CN113873143A - 多媒体处理芯片和电子设备 - Google Patents

多媒体处理芯片和电子设备 Download PDF

Info

Publication number
CN113873143A
CN113873143A CN202010623664.9A CN202010623664A CN113873143A CN 113873143 A CN113873143 A CN 113873143A CN 202010623664 A CN202010623664 A CN 202010623664A CN 113873143 A CN113873143 A CN 113873143A
Authority
CN
China
Prior art keywords
processing chip
image data
signal processor
interface
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010623664.9A
Other languages
English (en)
Other versions
CN113873143B (zh
Inventor
曾玉宝
方攀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202010623664.9A priority Critical patent/CN113873143B/zh
Publication of CN113873143A publication Critical patent/CN113873143A/zh
Application granted granted Critical
Publication of CN113873143B publication Critical patent/CN113873143B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/665Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本申请实施例一种多媒体处理芯片和电子设备,包括图像信号处理器、数字信号处理器和接口;其中,所述图像信号处理器用于从图像数据中获取相位对焦状态信息;其中,所述数字信号处理器用于对所述自动对焦状态信息进行计算,以计算出相位对焦参数,且所述数字信号处理器直接将所述相位对焦参数传输到所述接口;其中,所述接口用于向应用处理芯片发送所述相位对焦参数。本申请实施例可以减少数据传输的节点。

Description

多媒体处理芯片和电子设备
技术领域
本申请涉及电子技术领域,具体涉及一种多媒体处理芯片、电子设备和动态图像处理方法。
背景技术
各种可以进行视频拍摄和拍照功能的多媒体设备(如数码相机、智能手机、平板电脑等)中,一般都具有获取图像的图像传感器,可以进行图像处理的多媒体处理芯片、以及应用处理器(AP,Application Processor)。图像传感器可以通过MIPI(Mobile IndustryProcessor Interface,移动产业处理器接口)线连接到多媒体处理芯片,多媒体处理芯片可以通过MIPI线或/和其他接口线连接到AP。
多媒体处理芯片一般采用图像信号处理器(Image Signal Processor,ISP)对图像传感器获取的图像进行处理,多媒体处理芯片对图像处理完成后,将其处理数据存储到存储器中,并将存储于存储器的数据再通过MIPI线或/和其他接口线传输到AP。
发明内容
本申请实施例提供了一种多媒体处理芯片和电子设备,可以减少数据传输的节点。
第一方面,本申请实施例提供了一种多媒体处理芯片,包括图像信号处理器、数字信号处理器和接口;
其中,所述图像信号处理器用于从图像数据中获取相位对焦状态信息;
其中,所述数字信号处理器用于对所述相位对焦状态信息进行计算,以计算出相位对焦参数,且所述数字信号处理器还用于直接将所述相位对焦参数传输到所述接口;
其中,所述接口用于向应用处理芯片发送所述相位对焦参数。
第二方面,本申请实施例提供一种电子设备,包括:
摄像头,所述摄像头用于采集图像数据;
多媒体处理芯片,所述多媒体处理芯片为如上所述的多媒体处理芯片;
应用处理芯片,所述应用处理芯片用于:
接收所述多媒体处理芯片发送的相位对焦参数;
将所述相位对焦参数配置给所述摄像头。
本申请实施例数字信号处理器可以对相位对焦状态信息进行计算,并可以直接将计算出的相位对焦参数向应用处理芯片发送,无需经过存储到多媒体处理芯片的存储器的过程,可以减少数据传输的节点。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍。
图1是本申请实施例提供的电子设备的第一结构示意图。
图2是本申请实施例提供的电子设备的第二结构示意图。
图3是本申请实施例提供的多媒体处理芯片的结构示意图。
图4是本申请实施例提供的电子设备的第三结构示意图。
图5是本申请实施例提供的电子设备的第四结构示意图。
图6是本申请实施例提供的电子设备的第五结构示意图。
具体实施方式
本申请实施例提供一种多媒体处理芯片和电子设备。下面请参阅附图,从本申请实施例所提供的电子设备处理图像数据的角度进行描述。其中附图中相同的组件符号代表相同的组件,本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例,其不应被视为限制本申请未在此详述的其它具体实施例。
请参阅图1,图1为本申请实施例提供的电子设备的第一结构示意图。电子设备20可包括摄像头600、多媒体处理芯片200和应用处理芯片400。摄像头600与多媒体处理芯片200通信连接,多媒体处理芯片200和应用处理芯片400通信连接。其中通信连接可以理解为两个部件之间的通信连接关系,诸如采用无线连接的方式实现通信,再比如采用有线连接的方式实现通信。其中有线连接可以理解为信号线诸如导线连接,或者两个元器件直接焊接在一起。需要说明的是,两个部件之间的有线连接还可以理解为两个部件之间连接有其他部件。
其中,摄像头600可以采集图像数据,也可以将图像数据理解为图像信息。摄像头600可以为一个或多个,诸如摄像头600可以包括主摄像头、广角摄像头和长焦摄像头中的至少一个,摄像头600还可以包括微距摄像头、普通黑白摄像头中的至少一个。摄像头600可以是电子设备20的前置摄像头,也可以是电子设备20的后置摄像头。
摄像头600可以包括图像传感器和镜头,图像传感器可以为互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor,CMOS)图像传感器、电荷藕合器件(Charge Coupled Device,CCD)图像传感器等。摄像头600可以采集原始图像数据诸如RAW域数据,并可以将其采集到的图像数据传输到多媒体处理芯片200,以供多媒体处理芯片200内部的图像处理器进行处理。
摄像头600所采集到的图像数据可以称为原始图像数据,也可以称为初始图像数据。可以理解的是,图像数据对应有图像,诸如用户在拍照过程中,摄像头600所采集到的图像数据可以从电子设备20的预览窗口进行预览。具体来说,摄像头600所采集到的图像数据先后由多媒体处理芯片200和应用处理芯片400进行处理,处理完成后显示到电子设备20的显示屏。从而用户可以通过电子设备20的预览窗口预览到图像,可以将其定义为预览图像。
其中,图像数据可以为静态图像数据,也可以为动态图像数据。其中静态图像数据诸如为存储于存储器中的图片的数据、摄像头600所采集到的静态图像数据。其中动态图像数据可以为预览图像的数据、视频录制的数据、视频播放的数据。
多媒体处理芯片200可以对图像数据进行处理,多媒体处理芯片200可以处理来自摄像头600所采集的图像数据诸如动态图像数据。多媒体处理芯片200也可以处理不来自摄像头600所采集的图像数据诸如存储于一存储器内的动态图像数据。多媒体处理芯片200可将其处理结果通过其接口传输到应用处理芯片400,以便于应用处理芯片400再在多媒体处理芯片200的处理结果的基础上进行处理。从而可以提高图像的显示质量。
其中,多媒体处理芯片200对图像数据进行处理可以称为前处理、预处理等,应用处理芯片400对图像数据进行处理可以称为后处理。
请参阅图2,图2为本你申请实施例提供的电子设备的第二种结构示意图。电子设备20还包括显示屏800,显示屏800可显示画面。多媒体处理芯片200和应用处理芯片400对图像数据处理完后可以由显示屏800显示画面。当然,多媒体处理芯片200和应用处理芯片400对图像数据处理完后还可以将图像存储于电子设备20的存储器。
需要说明的是,本申请实施例多媒体处理芯片200所处理的图像数据可以为RAW图像数据,应用处理芯片200可以先对RAW图像数据进行处理,然后将RAW图像数据的格式转换为YUV图像数据格式,最后再将YUV图像数据进行存储和显示。RAW图像数据相比其他图像数据诸如YUV图像数据,RAW图像数据保留的更多细节。本申请实施例对RAW图像数据进行处理可以在更多细节上提升图像质量。
多媒体处理芯片200可被配置为:获取图像数据诸如动态图像数据,从其获取的图像数据中获取相位对焦状态信息,基于相位对焦状态信息计算出相位对焦参数,将相位对焦参数直接传输到多媒体处理芯片200的接口,并通过接口向应用处理芯片400传输相位对焦参数。在传输相位对焦参数时,无需先将相位对焦参数先存储到多媒体处理芯片200存储器诸如DDR中,就可以节省多媒体处理芯片200的带宽,减少延时。
请参阅图3,图3为本申请实施例提供的多媒体处理芯片的结构示意图。多媒体处理芯片200可以包括图像信号处理器(Image Signal Processing,ISP)210、数字信号处理器(Digital Signal Processor,DSP)230、第二接口202和第三接口203。图像信号处理器210和数字信号处理器230通信连接,诸如通过系统总线连接,图像信号处理器210和第二接口202连接,数字信号处理器230和第三接口203连接。
多媒体处理芯片200至少基于图像信号处理器210和/或数字信号处理器230对图像数据进行预处理,以得到预处理结果。诸如多媒体处理芯片200基于图像信号处理器210对图像数据进行统计处理,数字信号处理器230对图像信号处理器210所统计到的相位对焦状态信息进行计算。再比如多媒体处理芯片200基于图像信号处理器210对图像数据进行统计和优化处理,数字信号处理器230对图像信号处理器210所统计到的相位对焦状态信息进行计算,以及数字信号处理器230对优化处理后的图像数据进行处理,诸如多帧图像融合、多帧图像挑选一帧作为拍照输入图像等。
需要说明的是,本申请实施例多媒体处理芯片200对图像数据进行预处理的方式并不限于此,以上仅为本申请实施例对图像数据进行预处理的一种具体举例说明,并不构成本申请实施例对图像数据进行预处理的限缩。
其中,多媒体处理芯片200所处理过的数据可以经过第二接口202向应用处理芯片传输,多媒体处理芯片200所处理过的数据也可以经过第三接口203向应用处理芯片传输。第二接口202可以为移动产业处理模块接口模块(Mobile Industry ProcessorInterface,MIPI),第二接口202可以具有多个通路诸如3个、4个等。第三接口203可以为高速互联总线接口(PeripheralComponent Interconnect Express,PCIE),第三接口203可以具有多个通路,诸如2个、3个等。
在一些实施例中,图像信号处理器210可以从图像数据中获取相位对焦状态信息。数字信号处理器230可以获取该相位对焦状态信息,并执行相关算法对该相位对焦状态信息进行计算,以计算出相位对焦参数。数字信号处理器230将相位对焦参数存储到多媒体处理芯片200的存储器如DDR SDRAM(Double Data Rate Synchronous Dynamic RandomAccess Memory,双倍数据率同步动态随机存取存储器),多媒体处理芯片200将该相位对焦参数从多媒体处理芯片200的存储器传输到第三接口203,然后由第三接口203向应用处理芯片发送。
其中,多媒体处理芯片200的存储器如DDRSDRAM可以外置。
在整个相位对焦参数的传输过程中,可以采用邮箱(mailbox)和共享存储空间的方式来实现数据的传输。
其中,邮箱可以通过中断传输数据。然而,邮箱因一个中断一般传输8个字节,其传输数据较慢,并不能够实施大批量的数据传输。而且容易频繁产生中断,影响内核(诸如中央处理器)的运行速度。而且中断和共享存储空间两种方式,频繁的操作核间的内存,会增加内存的读写负担。数据通路过长,增加延时。
在其他一些实施例中,图像信号处理器210可以从图像数据中获取相位对焦状态信息。数字信号处理器230可以获取该相位对焦状态信息,并执行相关算法对该相位对焦状态信息进行计算,以计算出相位对焦参数。数字信号处理器230可直接将该相位对焦参数传输到第三接口203,并通过第三接口203向应用处理芯片发送。
传输相位对焦参数过程中,可以不将相位对焦参数存储到多媒体处理芯片200的存储器如DDRSDRAM中,而是直接传输到第三接口203。从而本申请实施例相比先将相位对焦参数存储到多媒体处理芯片200的存储器如DDR SDRAM后再传输到第三接口203,本申请实施例可以减少数据传输的通路节点,采用更短的数据通路传输数据可以减少延时,降低带宽,降低功耗,提高运算效率。
其中,多媒体处理芯片200所处理的图像数据可以来自摄像头600所采集的图像数据。
请参阅图4,图4为本申请实施例提供的电子设备的第三种结构示意图。多媒体处理芯片200还可以包括第一接口201,第一接口201与摄像头600通信连接,摄像头600所采集到的图像数据诸如动态图像数据可以传输到第一接口201。第一接口201还与图像信号处理器210通信连接,第一接口201可将其从所述摄像头600所接收到的图像数据传输到图像信号处理器210。第一接口201可以为移动产业处理模块接口模块,第一接口201可以具有多个通路。在一些实施例中,第一接口201通路个数与所述第二接口202通路个数相同。
需要说明的是,多媒体处理芯片200还可以处理其他图像数据,诸如多媒体处理芯片200的图像数据由电子设备20的存储器传输到多媒体处理芯片200。诸如采用通过第三接口203或其他接口传输。
图像信号处理器210可以对图像数据进行优化处理,图像信号处理器210可以对图像数据进行优化处理包括线性化处理、坏点补偿和黑电平校正等优化处理中的至少一种。图像信号处理器210可以将其优化处理后的结果存储到多媒体处理芯片200的存储器诸如DDR SDRAM。图像信号处理器210也可以将其优化处理的结果直接传输到数字信号处理器230或其他处理图像数据的处理器。
需要说明的是,图像信号处理器210对图像数据进行处理并不限于此,诸如对图像数据裁剪处理、缩小处理等。
数字信号处理器230对图像数据进行处理诸如采用一些通用算法对图像数据进行处理。诸如对图像数据进行降噪处理、多帧图像融合处理、多帧图像挑选一帧图像作为拍照输入图像等。数字信号处理器230对图像数据处理的结果可以不存储到外部存储器如多媒体处理芯片200的存储器诸如DDR SDRAM,而直接从数字信号处理器230中传输到第三接口203。
第三接口203可以将相位对焦参数传输到第五接口404。由应用处理芯片400将该相位对焦参数配置给摄像头600,摄像头600可以基于该相位对焦参数进行对焦。其中,第五接口404和第三接口203的类型相同。
其中,第二接口202和第四接口402连接,第四接口402和第二接口202的类型相同。第二接口202可以将多媒体处理芯片200所处理的一些数据传输到第四接口402。
由此本申请实施例就可以减少延时、节省带宽,进而本申请实施例因减少延时和节省带宽可以降低图像预览卡顿的可能性。从而就可以提高图像预览的流畅度。
请参阅图5,图5为本申请实施例提供的电子设备的第四结构示意图。数字信号处理器230可以包括直接存储访问控制器(Direct Memory Access Controller,DMAC)232和存储器234,第三接口203可以包括寄存器2032,第五接口404可以包括寄存器4042。图像信号处理器210和系统总线250连接,数字信号处理器230和系统总线240连接。
其中,存储器234可以存储相位对焦状态信息以及相位对焦参数。比如数字信号处理器230获取到相位对焦状态信息后将相位对焦状态信息先存储到其存储器234中,然后对其进行处理,并将处理结果再存储到该存储器234中。需要说明的是,存储器234还可以存储图像数据诸如优化处理后的图像数据。当然存储器234还可以存储数字信号处理器230对图像数据进行处理后的结果。
其中,直接存储访问控制器232可以将存储器234的数据直接搬移到第三接口203。诸如直接存储访问控制器232将存储于存储器234的相位对焦参数直接搬移到第三接口203的寄存器2032。
在一些实施例中,图像信号处理器210可以从图像数据中获取相位对焦状态信息,图像信号处理器210可以直接将相位对焦状态信息传输到数字信号处理器230。也可以先存储到多媒体处理芯片200的存储器如DDR SDRAM,再由数字信号处理器230从多媒体处理芯片200的存储器如DDR SDRAM获取。数字信号处理器230可以获取该相位对焦状态信息,并执行相关算法对该相位对焦状态信息进行计算,以计算出相位对焦参数。然后将计算出的相位对焦参数存储到该存储器234内,并直接存储访问控制器232直接将该相位对焦参数搬移到第三接口203的寄存器2032。并通过第三接口203向应用处理芯片发送,以发送到第五接口404的寄存器4042。
需要说明的是,数字信号处理器230对图像数据进行处理的结果也可以直接通过第三接口203传输到第五接口404。诸如数字信号处理器230对图像数据进行降噪处理,并将降噪处理后的图像数据直接传输到第三接口203,第三接口203将降噪处理后的图像数据传输到第五接口404。
其中,第三接口203还与系统总线240连接,第三接口203还可以传输其他数据。
其中,图像信号处理器210还可以从图像数据中获取其他状态信息诸如自动白平衡状态信息和自动曝光状态信息,数字信号处理器230可以执行相关算法对自动白平衡状态信息进行计算,以计算出自动白平衡参数。数字信号处理器230可以执行相关算法对自动曝光状态信息进行计算,以计算出自动曝光参数。可以通过直接存储访问控制器232直接将自动曝光参数和自动白平衡参数发送到第三接口203的寄存器2032。并通过第三接口203将自动曝光参数和自动白平衡参数发送到第五接口404的寄存器4042。
应用处理芯片400可以基于该自动白平衡参数对多媒体处理芯片200的处理结果进行白平衡处理,以提升图像质量。应用处理芯片400可以将该自动曝光参数配置给摄像头600。摄像头600可以基于该自动曝光参数进行一次曝光。
图像信号处理器210还可以从图像数据中获取其他状态信息诸如镜头阴影校正状态信息。数字信号处理器230可以执行相关算法对该镜头阴影校正状态信息,以计算出镜头阴影校正参数。可以通过直接存储访问控制器232直接将镜头阴影校正参数发送到第三接口203的寄存器2032。并通过第三接口203将镜头阴影校正参数发送到第五接口404的寄存器4042。
应用处理芯片400可以基于该镜头阴影校正参数对多媒体处理芯片200的处理结果进行镜头阴影校正,以提升图像质量。
需要说明的是,应用处理芯片400还可以基于相位对焦参数对多媒体处理芯片200的处理结果进行虚化处理、景深处理等,以提升图像质量。
还需要说明的是,图像信号处理器210可以从图像数据中直接统计出一些状态信息诸如自动白平衡状态信息、自动曝光状态信息,其可以直接通过第二接口202传输到第四接口204,而由应用处理芯片400执行相关算法分别对自动白平衡状态信息、自动曝光状态信息进行计算,以得到自动白平衡参数和自动曝光参数。
其中,应用处理芯片400可以先对RAW图像数据进行处理诸如白平衡处理、镜头阴影校正等处理。然后对处理后的RAW图像数据进行格式转换,诸如将RAW图像数据转换为YUV图像数据的格式。进而可以通过显示屏800显示,也可以存储到电子设备20的存储器。可以理解的是,应用处理芯片400还可与对YUV图像数据进行图像处理。
请参阅图6,图6为本申请实施例提供的电子设备的第五种结构示意图。多媒体处理芯片200还可以包括神经网络处理器(Neural-network Processing Unit,NPU)220。神经网络处理器220和系统总线240连接。本申请实施例多媒体处理芯片200对图像数据进行处理可以是由图像信号处理器210和数字信号处理器230共同对图像数据进行处理,也可以是由图像信号处理器210、神经网络处理器220及数字信号处理器230三者共同对图像数据进行处理,还可以是由图像信号处理器210和神经网络处理器220共同对图像数据进行处理。
举例来说,图像信号处理器210对图像数据进行统计和优化处理,数字信号处理器230对图像信号处理器210所统计到的相位对焦状态信息进行计算,以得到相位对焦参数,并直接将相位对焦参数向应用处理芯片400发送。神经网络处理器220对优化处理后的图像数据进行神经网络算法处理,数字信号处理器230对神经网络算法处理后的图像数据进行处理诸如多帧图像融合等处理,数字信号处理器230对图像信号处理器210。
需要说明的是,若神经网络处理器220对图像数据的处理改变了图像数据的位宽,则需要对其进行位宽调整处理。
当多媒体处理芯片200所处理多路图像数据的位宽与应用处理芯片400所处理图像数据的位宽不同时,本申请实施例图像信号处理模块210对神经网络算法处理后的路图像数据进行位宽调整处理。
诸如本申请实施例神经网络处理器220对图像数据进行处理的位宽可以为第一位宽,诸如14比特(bit)、16比特。本申请实施例应用处理芯片400对图像数据进行处理的位宽可以为第二位宽,诸如为12比特。在神经网络处理器220所处理图像数据的位宽与应用处理芯片400所处理图像数据的不同时,可以由图像信号处理模块210对神经网络算法处理后的图像数据进行位宽调整处理,以将图像数据的位宽调整与应用处理芯片400所需处理图像数据的位宽相同。
再举例来说,图像信号处理器210对图像数据进行统计和优化处理,数字信号处理器230对图像信号处理器210所统计到的相位对焦状态信息进行计算,以得到相位对焦参数,并直接将相位对焦参数向应用处理芯片400发送。神经网络处理器220对优化处理后的图像数据进行神经网络算法处理,图像信号处理器210对神经网络算法处理后的图像数据进行位宽调整处理,数字信号处理器230对位宽调整处理后的图像数据进行处理诸如多帧图像融合等处理。
可以理解的是,本申请一些实施例中,多媒体处理芯片200对图像数据的处理可以由神经网络处理器220、图像信号处理器210及数字信号处理器230相互协作处理,当然,也可以仅由神经网络处理器220和图像信号处理器210相互协作处理。
其中,神经网络处理器220对图像进行处理诸如采用神经网络算法对图像进行处理。神经网络算法诸如语义分割算法、高动态范围图像(High-Dynamic Range,HDR)算法、降噪算法、超分辨率算法、夜景算法、模糊算法等。神经网络处理器220对图像处理的结果可以存储到多媒体处理芯片200的存储器中如DDR SDRAM中。
本申请一些实施例神经网络处理器220可以采用图像超分辨率算法,基于深度学习,对低分辨率图像进行数级提升,将其转化为高分辨率图像。同时可以通过添加噪声来生成新的细节,兼顾从宏观到微观的效果,使生成的图像更加逼真、自然。
需要说明的是,神经网络处理器220处理图像数据的效率高,对图像质量的提升明显。神经网络处理器220在处理图像数据过程中,可以按照预设时间处理完成。预设时间诸如为30fps=33ms(毫秒)。或者说神经网络处理器220处理图像神经所预设的时间为33ms,从而可以保证神经网络处理器220在快速处理图像数据的基础上,可以实现数据的实时传输。
需要说明的是,本申请实施例先由图像信号处理模块210对图像数据进行优化处理,诸如坏点补偿、线性化处理等不仅可以优化图像,提升图像质量,而且可以加快神经网络处理器220的收敛速度。从而可以降低神经网络处理器220处理多路图像数据所需的时间,实现快速、实时处理多路图像数据的目的。
可以理解的是,神经网络处理器220对图像数据诸如RAW图像数据进行处理往往会改变RAW图像数据的状态信息。在多媒体处理芯片200对图像数据处理完成后,由于状态信息的损坏,应用处理芯片400可能无法对多媒体处理芯片的处理结果进行后处理诸如白平衡处理等。
基于此,本申请实施例在神经网络处理器220对图像数据处理之前,先由图像信号处理器210对图像数据进行处理,以获得图像数据的状态信息。诸如自动对焦状态信息、自动曝光状态信息、自动白平衡状态信息、镜头阴影校正状态信息等。图像信号处理器210可以从图像数据中统计出各种状态信息,诸如直接从图像中抽取出相位对焦状态信息,采用预设算法从图像数据中统计出自动曝光状态信息、自动白平衡状态信息、镜头阴影校正状态信息等。需要说明的是,图像信号处理器210还可以采用预设算法从图像数据中统计出其他自动对焦状态信息诸如反差对焦状态信息。
由此本申请实施例在神经网络处理器220对图像数据进行处理之前,先由图像信号处理器210对图像数据统计和/或提取,以得到图像数据的各种状态信息。神经网络处理器220再对图像数据处理时,仍然保留有各种状态信息,即使神经网络处理器220处理后会改变图像的状态信息。应用处理芯片400仍然可以基于图像信号处理器210所获得的各种状态信息进行各种处理。
其中,经由神经网络处理器220所处理过的数据、且未经由数字信号处理器230所处理过的数据可以通过第二接口202传输到第四接口402。诸如预览图像数据由第二接口202传输到第四接口402。
需要说明的是,各种状态信息尤其是相位对焦状态信息的数据占比非常大。且全像素对焦的应用越来越多。即多媒体处理芯片200的存储器如DDR SDRAM用来存储相位对焦状态信息空间(buffer)与用来存储图像数据的空间(buffer)一样大。而如果将所有的数据都先存储到多媒体处理芯片200的存储器如DDR SDRAM中,则会导致多媒体处理芯片200的存储器如DDR SDRAM的带宽消耗比较大,如果带宽无法满足需求,可能导致延时增加,而出现卡顿现象。基于此,本申请实施例在图像信号处理器210获取到各种状态信息尤其是相位对焦状态信息时,不将该相位对焦状态信息存储到多媒体处理芯片200的存储器如DDRSDRAM中,而是由图像信号处理器210直接将其所提取到的相位对焦状态信息传输到数字信号处理器230。并由数字信号处理器230计算该相位对焦状态信息,以计算出相位对焦参数,并将该相位对焦参数直接通过直接存储访问控制器232搬移到第三接口203的寄存器2032。并通过第三接口203将该相位对焦参数发送到第五接口404的寄存器4042,并由应用处理芯片400将该相位对焦参数配置给摄像头600。从而摄像头600可以基于该相位对焦参数进行对焦。
由此本申请实施例就可以节省带宽,减少延时,进而本申请实施例因减少延时和节省带宽可以降低图像预览卡顿的可能性。从而就可以提高图像预览的流畅度。
其中,应用处理芯片400可以先对RAW图像数据进行处理诸如白平衡处理、镜头阴影校正等处理。然后对处理后的RAW图像数据进行格式转换,诸如将RAW图像数据转换为YUV图像数据的格式。进而可以通过显示屏800显示,也可以存储到电子设备20的存储器。可以理解的是,应用处理芯片400还可与对YUV图像数据进行图像处理。
其中,应用处理芯片400和多媒体处理芯片200对图像数据可以进行差异化处理,诸如多媒体处理芯片200对图像数据进行降噪处理,而应用处理芯片400不再对图像数据进行降噪处理。再比如多媒体处理芯片200对图像数据进行语义分割处理,而应用处理芯片400不再对图像数据进行语义分割处理,而进行其他处理诸如对焦处理。从而本申请实施例就可以大大节省应用处理芯片400对图像数据进行处理的功耗。可以通过多媒体处理芯片200对图像数据进行专门化处理,以在节省应用处理芯片400功耗的情况下,以提升图像数据的质量。
当然,应用处理芯片400和多媒体处理芯片200对图像数据也可以不进行差异化处理,诸如应用处理芯片400和多媒体处理芯片200均对图像数据进行降噪处理。
需要说明的是,虽然图1-2以及图4-6未示出,本申请实施例所限定的电子设备20还可以包括其他器件,诸如电池、扬声器、受话器等器件。
以上对本申请实施例所提供的一种多媒体处理芯片和电子设备进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (11)

1.一种多媒体处理芯片,其特征在于,包括图像信号处理器、数字信号处理器和接口;
其中,所述图像信号处理器用于从图像数据中获取相位对焦状态信息;
其中,所述数字信号处理器用于对所述相位对焦状态信息进行计算,以计算出相位对焦参数,且所述数字信号处理器还用于直接将所述相位对焦参数传输到所述接口;
其中,所述接口用于向应用处理芯片发送所述相位对焦参数。
2.根据权利要求1所述的多媒体处理芯片,其特征在于,所述数字信号处理器包括直接存储访问控制器,所述直接访问控制器用于将所述相位对焦参数搬移到所述接口。
3.根据权利要求2所述的多媒体处理芯片,其特征在于,所述数字信号处理器包括存储器,所述存储器用于相位对焦状态信息和相位对焦参数,所述直接访问控制器用于将存储于所述存储器的所述相位对焦参数搬移到所述接口的寄存器。
4.根据权利要求2所述的多媒体处理芯片,其特征在于,所述数字信号处理器用于处理RAW图像数据。
5.根据权利要求1至4任一项所述的多媒体处理芯片,其特征在于,所述图像信号处理器还用于从图像数据中获取自动曝光状态信息。
6.根据权利要求1至4任一项所述的多媒体处理芯片,其特征在于,所述图像信号处理器还用于对图像数据进行优化处理,所述图像信号处理器对图像数据进行优化处理包括对图像数据进行坏点补偿、线性化处理、黑电平校正中至少一者。
7.根据权利要求6所述的多媒体处理芯片,其特征在于,所述多媒体处理芯片还包括神经网络处理器,所述神经网络处理器用于对优化处理后的图像数据进行神经网络算法处理。
8.根据权利要求6所述的多媒体处理芯片,所述数字信号处理器还用于对所述优化处理后的图像数据进行处理。
9.根据权利要求6所述的多媒体处理芯片,其特征在于,所述图像信号处理器还用于从图像数据中获取自动白平衡状态信息和/或镜头阴影校正状态信息。
10.一种电子设备,其特征在于,包括:
摄像头,所述摄像头用于采集图像数据;
多媒体处理芯片,所述多媒体处理芯片为如权利要求1至9任一项所述的多媒体处理芯片;
应用处理芯片,所述应用处理芯片用于:
接收所述多媒体处理芯片发送的相位对焦参数;
将所述相位对焦参数配置给所述摄像头。
11.根据权利要求10所述的电子设备,其特征在于,所述应用处理芯片还用于:
基于所述相位对焦参数对经所述多媒体处理芯片所处理过的图像数据进行虚化处理和/或景深处理。
CN202010623664.9A 2020-06-30 2020-06-30 多媒体处理芯片和电子设备 Active CN113873143B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010623664.9A CN113873143B (zh) 2020-06-30 2020-06-30 多媒体处理芯片和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010623664.9A CN113873143B (zh) 2020-06-30 2020-06-30 多媒体处理芯片和电子设备

Publications (2)

Publication Number Publication Date
CN113873143A true CN113873143A (zh) 2021-12-31
CN113873143B CN113873143B (zh) 2023-07-25

Family

ID=78981998

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010623664.9A Active CN113873143B (zh) 2020-06-30 2020-06-30 多媒体处理芯片和电子设备

Country Status (1)

Country Link
CN (1) CN113873143B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060188243A1 (en) * 2005-02-24 2006-08-24 Magnachip Semiconductor, Ltd. Image sensor and camera system having the same
US20150244929A1 (en) * 2014-02-21 2015-08-27 Samsung Electronics Co., Ltd. Method of displaying focus and electronic device applying the same
WO2017047010A1 (en) * 2015-09-16 2017-03-23 Canon Kabushiki Kaisha Image sensor and image capturing apparatus
CN107147837A (zh) * 2017-06-30 2017-09-08 维沃移动通信有限公司 一种拍摄参数的设置方法和移动终端
CN107360345A (zh) * 2017-06-30 2017-11-17 维沃移动通信有限公司 一种图像数据的处理方法和移动终端
CN109286753A (zh) * 2018-09-29 2019-01-29 南昌黑鲨科技有限公司 图像处理方法、系统及计算机可读存储介质
US20190215440A1 (en) * 2018-01-10 2019-07-11 Duelight Llc Systems and methods for tracking a region using an image sensor
CN110445986A (zh) * 2019-07-30 2019-11-12 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060188243A1 (en) * 2005-02-24 2006-08-24 Magnachip Semiconductor, Ltd. Image sensor and camera system having the same
US20150244929A1 (en) * 2014-02-21 2015-08-27 Samsung Electronics Co., Ltd. Method of displaying focus and electronic device applying the same
WO2017047010A1 (en) * 2015-09-16 2017-03-23 Canon Kabushiki Kaisha Image sensor and image capturing apparatus
CN107147837A (zh) * 2017-06-30 2017-09-08 维沃移动通信有限公司 一种拍摄参数的设置方法和移动终端
CN107360345A (zh) * 2017-06-30 2017-11-17 维沃移动通信有限公司 一种图像数据的处理方法和移动终端
US20190215440A1 (en) * 2018-01-10 2019-07-11 Duelight Llc Systems and methods for tracking a region using an image sensor
CN109286753A (zh) * 2018-09-29 2019-01-29 南昌黑鲨科技有限公司 图像处理方法、系统及计算机可读存储介质
CN110445986A (zh) * 2019-07-30 2019-11-12 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN113873143B (zh) 2023-07-25

Similar Documents

Publication Publication Date Title
CN110198418B (zh) 图像处理方法、装置、存储介质及电子设备
CN104869381B (zh) 一种图像处理系统、方法及装置
JP2008544673A (ja) デジタル画像処理
WO2021238522A1 (zh) 多媒体处理芯片、电子设备和图像处理方法
CN105611177A (zh) 实现全景相机的多个摄像头同时拍摄的方法及全景相机
CN113840076B (zh) 一种拍摄变焦方法、电子设备及存储介质
US9131158B2 (en) Moving-image capturing apparatus and electronic zoom method for moving image
US20230086519A1 (en) Multimedia processing chip, electronic device, and method for dynamic-image processing
CN113810593B (zh) 图像处理方法、装置、存储介质及电子设备
JP6493454B2 (ja) 電子カメラ
CN110278375B (zh) 图像处理方法、装置、存储介质及电子设备
CN104811601B (zh) 一种显示预览图像的方法及设备
CN113873142B (zh) 多媒体处理芯片、电子设备和动态图像处理方法
JP2013175824A (ja) 電子カメラ
CN113744119A (zh) 多媒体处理芯片和电子设备
CN113744139A (zh) 图像处理方法、装置、电子设备及存储介质
CN113873143B (zh) 多媒体处理芯片和电子设备
CN113873178B (zh) 多媒体处理芯片、电子设备和图像处理方法
CN113837937A (zh) 多媒体处理芯片、电子设备图像融合方法和图像裁剪方法
CN113923341A (zh) 电子设备
JP5906846B2 (ja) 電子カメラ
CN113781288A (zh) 电子设备和图像处理方法
CN113747145B (zh) 图像处理电路、电子设备和图像处理方法
CN113873141B (zh) 电子设备
CN113840075B (zh) 电子设备和基于电子设备的图像融合方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant