CN109242757A - 智能终端、图像处理方法及计算机可读存储介质 - Google Patents

Abstract

本发明提供了一种智能终端、图像处理方法及计算机可读存储介质。智能终端，包括显示模块、图像传感器及中央处理芯片，还包括独立于中央处理芯片的图像处理芯片；图像处理芯片与显示模块、图像传感器及中央处理芯片连接；图像传感器采集拍摄对象的图像数据并发送至图像处理芯片；数字信号处理模块对图像数据进行处理，形成优化图像数据；数字信号处理模块将优化图像数据发送至图像传感处理模块对优化图像数据进行处理，形成增强图像数据；图像处理芯片将优化图像数据和/或增强图像数据回传至中央处理芯片，并记录优化图像数据和/或增强图像数据至存储设备，由此使得对于图像的智能处理和优化，独立于智能终端的CPU处理，降低CPU负载。

Description

智能终端、图像处理方法及计算机可读存储介质

技术领域

本发明涉及智能控制领域，尤其涉及一种智能终端、图像处理方法及计算机可读存储介质。

背景技术

例如手机、平板电脑等移动终端设备已越来越走入人们的生活。因此在此类移动终端上，也集成有如拍摄、摄像、定位、照明等多功能，以方便人们持有一件移动终端后可完成多件需求。在使用移动终端进行拍摄及摄像时，摄像模组的分辨率及像素越来越高，使得移动终端在该功能上所能实现的成像形态越发接近于专业的相机设备。具体地，移动终端设备的成像形式，主要有两种：

1.CPU内置有图像感应处理模块：

如图1所示，在移动终端的中央处理单元CPU内，内置有一图像感应处理模块ISP，摄像组将将数据通过mipi接口送到ISP，ISP会根据不同的应用把数据处理之后送给不同的模块。如通过数据路径1送给数据处理单元DPU，DPU处理之后送给显示屏LCD显示，用于摄像模块的摄像预览；如通过数据路径2送给视频处理单元VPU，VPU进行编码之后把数据存储到存储设备中，用于摄像模块的录像功能；又如通过数据路径3送给图片压缩器jpegencoder，jpeg encoder把数据压缩成jpeg文件之后，把数据存储到存储设备中，用于摄像模块的拍照功能；。

2.CPU外置有图像感应处理模块

如图2所示，在CPU外连接有一图像感应处理模块，并采用内部ISPbypass的方式，数据流程除了内置ISPbypass外，其他与方式一等同。

由于现有的方案中，均采用CPU的内部图像感应与处理功能，受到CPU的内部某功能的限制，对于图像数据的处理受限，无法对拍摄图像进行更加专业和细致的调整，同时，加重了CPU的数据处理负载，使得移动终端的运行速度变慢。

因此，需要一种新型的智能终端、图像处理方法及计算机可读存储介质，可将图像处理流程独立出CPU，充分利用外置硬件，改进成像质量和移动终端的显示效果。

发明内容

为了克服上述技术缺陷，本发明的目的在于提供一智能终端、图像处理方法及计算机可读存储介质，使得对于图像的智能处理和优化，独立于智能终端的CPU处理，降低CPU负载。

本发明公开了一种智能终端，包括包括显示模块、图像传感器及中央处理芯片，

所述智能终端还包括独立于所述中央处理芯片的图像处理芯片；

所述图像处理芯片分别与所述显示模块、图像传感器及中央处理芯片连接；

所述图像传感器采集拍摄对象的图像数据并发送至图像处理芯片；

所述图像处理芯片的数字信号处理模块对所述图像数据的原始数据进行处理，形成优化图像数据；

所述数字信号处理模块将所述优化图像数据发送至所述图像处理芯片的图像传感处理模块对所述优化图像数据进行处理，形成增强图像数据；

所述图像处理芯片将所述优化图像数据和/或增强图像数据回传至一智能终端内的中央处理芯片，由所述中央处理芯片记录所述优化图像数据和/或增强图像数据至一存储设备，且所述图像处理芯片将所述优化图像数据和/或增强图像数据发送至一显示模块，由所述显示模块显示对应所述所述优化图像数据和/或增强图像数据的优化图像和/或增强图像。

优选地，所述图像传感模块将提取所述原始数据中的画面帧；

所述数字信号处理模块合成所述画面帧或插接补帧至所述画面帧，形成多帧合成图像数据。

优选地，所述图像传感模块判断所述原始数据的画面环境；

所述数字信号处理模块针对所述画面环境对所述原始数据渲染处理，形成优化图像数据。

优选地，所述数字信号处理模块转发所述原始数据至中央处理芯片；

所述中央处理芯片的智能模块对所述原始数据渲染处理，形成优化图像数据；

所述智能模块发送所述优化图像数据至处理模块。

优选地，图像传感器将所述图像数据的帧率数据发送至图像处理芯片；

所述图像处理芯片对所述帧率数据作插帧补偿，形成插帧数据，所述插帧数据与所述智能终端的显示模块的刷新率匹配；

所述中央处理芯片压缩所述插帧数据，并存储至存储设备；

所述图像处理芯片将所述插帧数据发送至显示模块，由所述显示模块显示对应插帧数据的插帧图像

优选地，所述图像处理芯片包括：

图像处理单元、第一数据处理单元及数字信号处理模块；

所述数字信号处理模块分别与所述图像传感器、图像处理单元连接；

所述图像传感处理模块分别与所述图像传感器及所述图像处理单元连接，所述图像处理单元与所述第一数据处理单元连接，所述第一数据处理单元与所述显示模块连接；

所述中央处理芯片包括：

图像感应处理模块、第二数据处理单元、处理模块；

所述图像感应处理模块与所述图像处理单元连接，接收增强图像数据；

所述第二数据处理单元与所述图像处理单元连接，发送交互界面数据；

所述数字信号处理模块还与所述处理模块连接。

优选地，所述中央处理芯片还包括：

图片压缩器，与所述图像感应处理模块连接，接收图像增强数据并压缩；

所述图片压缩器还与所述存储设备连接，发送压缩图像至存储设备。

本发明还公开了一种图像处理方法，包括以下步骤：

S100：图像传感器采集拍摄对象的图像数据；

S200：图像传感器将所述图像数据的原始数据发送至图像处理芯片，由所述图像处理芯片的数字信号处理模块对所述原始数据处理，形成优化图像数据；

S300：所述数字信号处理模块将所述优化图像数据发送至所述图像处理芯片的图像传感处理模块对所述优化图像数据进行处理，形成增强图像数据；

S400：所述图像处理芯片将所述优化图像数据和/或增强图像数据回传至一智能终端内的中央处理芯片，由所述中央处理芯片记录所述优化图像数据和/或增强图像数据至一存储设备；

S500：所述图像处理芯片将所述优化图像数据和/或增强图像数据发送至一显示模块，由所述显示模块显示对应所述优化图像数据和/或增强图像数据的优化图像和/或增强图像。

优选地，所述步骤S220包括：

S221：所述图像传感模块将提取所述原始数据中的画面帧；

S222：合成所述画面帧或插接补帧至所述画面帧，形成多帧合成图像数据。

优选地，所述步骤S220包括：

S221’：所述图像传感模块判断所述原始数据的画面环境；

S222’：针对所述画面环境对所述原始数据渲染处理，形成优化图像数据。

本发明又公开了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的图像处理方法的步骤。

采用了上述技术方案后，与现有技术相比，具有以下有益效果：

1.对于图像数据的处理将分割出CPU，不由CPU处理，转由独立的图像处理芯片完成，降低CPU负载，加快处理速度；

2.充分利用外置硬件，改进成像质量和移动终端的显示效果。

附图说明

图1为现有技术中实现拍摄图像处理的系统结构示意图；

图2为现有技术中实现拍摄图像处理的系统结构示意图；

图3为符合本发明一优选实施例中智能终端的结构示意图；

图4为符合本发明一优选实施例中智能终端的模块结构示意图；

图5为符合本发明一实施例中图像处理方法的流程示意图；

图6为符合本发明第一优选实施例中图像处理方法的流程示意图；

图7为符合本发明第二优选实施例中图像处理方法的流程示意图；

图8为符合本发明第三优选实施例中图像处理方法的流程示意图；

图9为符合本发明又一优选实施例中图像处理方法的流程示意图。

具体实施方式

以下结合附图与具体实施例进一步阐述本发明的优点。

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”

在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，“模块”与“部件”可以混合地使用。

参阅图3，为符合本发明一优选实施例中智能终端的结构示意图。智能终端包括：图像传感器、中央处理芯片及显示模块。图像传感器，如摄影摄像模组、镜头模组、棱镜模组等对一拍摄对象进行如拍摄、录像、记录运动帧等图像采集，从而形成原始的图像数据。可以理解的是，由于不同图像传感器的硬件结构不同，所采集的图像数据，可能是未作任何修饰的未修片型的图像数据，也可能是已进行如美颜、裁剪、优化、渲染等初期处理的图像数据。不论在该步骤内的图像数据是否已作处理，均将在后续步骤内作进一步的优化。

图像处理芯片为独立于中央处理芯片的元件，且图像处理芯片分别与显示模块、图像传感器及中央处理芯片连接；图像传感器采集拍摄对象的图像数据并发送至图像处理芯片；图像处理芯片的数字信号处理模块对图像数据的原始数据进行处理，形成优化图像数据；数字信号处理模块将优化图像数据发送至图像处理芯片的图像传感处理模块对优化图像数据进行处理，形成增强图像数据；图像处理芯片将优化图像数据和/或增强图像数据回传至一智能终端内的中央处理芯片，由中央处理芯片记录优化图像数据和/或增强图像数据至一存储设备，且图像处理芯片将优化图像数据和/或增强图像数据发送至一显示模块，由显示模块显示对应优化图像数据和/或增强图像数据的优化图像和/或增强图像。

具体地，图像传感器与图像处理芯片的电连接方式，可以是集成在同一印刷电路板上的两个独立的图像传感模块及图像处理模块，也可以是以导线连接的两个独立的器件，也可以是设置在同一局域网内或互相无线连接的两个独立的器件。图像处理芯片IPIC在接收到图像数据后，将对其进行如插帧、智能优化(AI处理)等精处理，从而形成一优化图像数据。优化图像数据基于图像处理芯片IPIC的处理能力的不同，可进行不同程度的图像优化，在本实施例中，图像处理芯片作为单独于其他任何模块、模组、单元、设备的器件，以独立运行的方式对图像数据进行优化处理，一方面可减少图像处理功能对其他设备的负载压力，另一方面可专能专用，不由阉割部分功能的集成设备对图像处理，增加图像处理的效率和效果。

处理完毕后形成的优化图像数据和/或增强图像数据将由图像处理芯片回传至一中央处理芯片(CPU或AP端)。该中央处理芯片设置在一智能终端内，而图像处理芯片外挂于中央处理芯片，也可设置在同一智能终端内，但与中央处理芯片独立设置，两者分布式设计。图像处理芯片可与中央处理芯片设计在同一印刷电路板上(但不集成)，或图像处理芯片与中央处理芯片通过导线连接，或是通过互相支持的无线协议无线连接。将中央处理芯片与图像处理芯片独立，中央处理芯片可集中处理智能终端内的对各部件的指令转达及下发，而图像处理的功能，则分割出中央处理芯片，单独由外挂的图像处理芯片完成，减少中央处理芯片负载的同时，也可简化中央处理芯片的制式要求，其内部的原图像处理能力可压缩或简化，对于外部采集的图像数据的优化处理工作，交由更为专业化、优化度更高的图像处理芯片完成，可加快图像处理速度。同时，由于图像数据不再经过中央处理芯片，对于处理完毕后的图像数据的显示和加载也将更快。

中央处理芯片接收到优化图像数据和/或增强图像数据后，将记录优化图像数据和/或增强图像数据至一存储设备，如智能终端的内存，智能终端的外接存储装置(U盘、移动硬盘，OTG连接的其他设备等)。在该步骤中，为存储已处理完毕的增强图像数据，中央处理芯片执行一转发记录的动作，对于增强图像数据本身不作任何变化，减少中央处理芯片的运行负载。

在中央处理芯片记录增强图像数据至存储设备的同时、之前或之后等任意时刻，图像处理芯片将优化图像数据和/或增强图像数据发送至一显示模块，具体地如智能终端上安装的显示屏、触摸屏等显示模块，由显示模块接收并显示对应优化图像数据和/或增强图像数据的优化图像和/或增强图像，即在初始的图像数据的基础上进行智能优化、渲染、调色温、补光、AR增强、信息识别、美颜、裁剪等各项图像处理后形成的优化图像和/或增强图像。

通过上述单独的图像处理芯片对图像作优化和增强两步处理，并直接将处理后的增强图像一路发送至显示模块显示，一路发送至存储设备存储，以提高处理后图像的传输速度，及在用户侧的加载和显示速度。此外还可提升摄像模块在AI处理时的效果，及提升快速运动画面的录像效果。

图像传感器Image sensor通过摄像接口CAMIF，将图像数据的原始数据发送至图像处理芯片。CAMIF是video front-end(VFE)硬件的的第一部分，主要任务是同步sensor发送数据过程中涉及到的行、场同步信号。另外它还具有图像提取和图像镜像能力。为了和外部camera sensor精确的同步，CAMIF硬件必须提供两根可编程的中断线，一根用来控制快门的打开，另一根用来控制闪光。CAMIF硬件输入设备包括PCLK、HSYNC、VSYNC、一个像素使能闸门、和12bit数据线。输入接口类型是由adsp控制的。在上电时，CAMIF模块是关闭的，也不会抓取数据，直到adsp设置使能为enable，开启数据捕获。当设置使能数据位后，CAMIF会等到下一个帧开始时才开始收集数据。类似的，当adps设置为disable时，CAMIF会等到下一帧数据发送完成时停止工作，确保所有的事情都处理完。CAMIF硬件提供了对camerasensor数据重采样的功能，在CAMIF输出数据之前，adsp可以独立的控制是完整的输出图像还是做二次采样。

且不同于现有技术中图像传感器将拍摄对象的压缩数据，即YUV格式的数据发送至CPU作处理，本实施例中图像传感器直接发送数据量较大、分辨率较高的原始数据RawData，即如bayer等格式的原始数据格式至图像处理芯片。现有技术中，由于由CPU对图像数据处理，而CPU对Raw Data不具有处理能力，因此，即便将原始数据格式发送至CPU，也无法处理。而利用了本发明的图像处理芯片后，可直接对原始数据格式处理，在数据源处便提高了图像质量。

在不同实施例中，图像处理芯片对于图像数据或形成优化图像数据的处理方式不同，具体地，将通过以下不同实施例的介绍详细说明。

实施例一

在该实施例中，图像传感模块在对拍摄对象拍摄中，将对同一时刻下、或非常接近的时刻下获取到许多张对应每一时刻的画面帧，由于拍摄的限制，每一画面帧的清晰像素各不相同。因此，在该实施例中，图像传感模块将提取原始数据中的画面帧，并将画面帧发送至图像处理芯片的图像处理单元IPU进行筛选，图像处理单元根据每一画面帧的清晰情况，作多帧合成，即使用其他画面帧中清晰的像素替换一画面帧中模糊的像素，从而通过合成或插接补帧的方式完善原始数据的缺陷，形成多帧合成图像数据。

多帧合成图像数据可被回传至中央处理芯片，由中央处理芯片使用图像压缩模块对多帧合成图像数据进行图像压缩，并写入存储设备。

实施例二

对于原始数据的AI智能处理，将帮助不常使用拍摄功能或不会使用拍摄功能的用户拍摄出同样专业、取景正确的图像。具体地，图像传感器将判断原始数据的画面环境，如拍摄对象处于某景点、室内环境的亮暗程度、拍摄对象的类型、拍摄对象与周围环境的违和度等，将通过经验和算法进行判断。判断完成后，将对原始数据渲染处理，如根据周围环境对原始数据自动添加滤镜、对原始数据自动裁剪，以将拍摄对象放置在最为适合的位置、自动虚化背景、自动调整画面参数(如色温、亮度、对比度等)，从而形成优化原始图像。

上述AI智能处理的结果将会被发送到IPIC内部的图像感应处理模块ISP继续处理，进一步增强。

实施例三

数字信号处理模块转发原始数据至中央处理芯片，中央处理芯片的智能模块对原始数据渲染处理，形成优化图像数据，智能模块发送优化图像数据至处理模块。

针对配置较差、或不再适合增加图像处理芯片的智能终端而言，在图像传感器处，对原始数据格式进行压缩，形成如RGB、YUV格式，并直接转发至中央处理芯片，由中央处理芯片进行如上文所述的AI处理，并执行图像压缩。

为配合形成有高质量、高效果的图像数据，将使用具有高刷新率(图像显示的帧率数据的帧率大于等于60fps)的显示模块，因此，针对此类显示模块，图像传感器将图像数据的帧率数据发送至图像处理芯片，如通过CamIF接口发送至IPIC；图像处理芯片对帧率数据作插帧补偿，形成插帧数据，插帧数据与智能终端的显示模块的刷新率匹配；中央处理芯片收到插帧数据后，压缩插帧数据，并存储至存储设备，该存储设备可与上文的存储设备相同或不同，存储前，可先由IPIC的视频处理单元VPU压缩，以加快存储速度；最后，图像处理芯片将插帧数据发送至显示模块，由显示模块显示对应插帧数据的插帧图像。

通过上述高刷新率的图像数据，即便是在不同厂家、不同配置的显示模块上，都可显示不晃眼、不具有眩晕效果的图像，用户侧的感受和体验将提升到最佳，如以240帧、120帧、60帧等显示的画质提高。

为实现上述任一实施例中智能终端的各部件功能，对于智能终端内模块的设计及连接，参阅图4，实施方案如下：

图像处理芯片包括：

图像传感处理模块ISP、图像处理单元IPU、第一数据处理单元DPU、数字信号处理模块DSP。数字信号处理模块DSP分别于图像传感器Image sensor和图像处理单元IPU连接(通过图像传感处理模块ISP)，图像传感处理模块ISP分别与图像传感器Image sensor及图像处理单元IPU连接，图像处理单元IPU与第一数据处理单元DPU连接，第一数据处理单元DPU与显示模块LCD连接。

中央处理芯片(CPU或集成有CPU的AP端)包括：

图像感应处理模块ISP(bypass)、第二数据处理单元DPU、图片压缩器JpegEncoder、处理模块CPU。图像感应处理模块ISP(bypass)与图像处理单元IPU连接，接收增强图像数据；第二数据处理单元DPU与图像处理单元IPU连接，发送交互界面数据；图片压缩器图片压缩器Jpeg Encoder与图像感应处理模块ISP(bypass)连接，接收图像增强数据并压缩；图片压缩器还与存储设备连接，发送压缩图像至存储设备；处理模块CPU还与数字信号处理模块DSP连接。

当需要进行多帧合成流程时，image sensor通过CamIF接口把raw data(bayer等格式)送至IPIC，IPIC通过内部的DSP对raw data进行多帧合成，多帧合成后的数据送给IPU做图像增强，IPU增强之后的数据通过CamIF回传给AP端，，AP端收到数据后使用jpegencoder模块进行图像压缩，写入存储设备；

当需要对图像作AI智能处理时，image sensor通过CamIF把raw data(bayer等格式)送至IPIC，IPIC通过内部的DSP对raw data进行AI处理，AI处理结果一路给到IPIC内部的ISP模块继续处理，AI处理结果另一路通过I3C，mipi CSI等接口回传给AP端；或者是image sensor通过CamIF把raw data(bayer等格式)送至AP端，AP端内置的AI模块对IPIC送来的数据(bayer，RGB，yuv等格式)进行AI处理，AI处理结果送至CPU，VPU或者Jpegencoder。

当需要进行高帧率显示时，显示模块LCD切换至高刷新率(>60hz)模式，imagesensor把高帧率(>60fps)数据通过CamIF送至IPIC，IPIC的ISP对image sensor的数据进行处理，isp处理后的数据送给IPU做插帧补偿和图像增强，插帧帧率与LCD刷新率匹配，一路IPU处理后的数据通过IPIC的VPU压缩后写入存储设备，另外一路IPU处理后的数据通过DPU送给LCD显示。

参阅图5，为符合本发明一优选实施例中图像处理方法的流程示意图。在该实施例中，图像处理方法包括以下步骤：

S100：图像传感器采集拍摄对象的图像数据；

S200：图像传感器将图像数据的原始数据发送至图像处理芯片，由图像处理芯片的数字信号处理模块对原始数据处理，形成优化图像数据；

S300：数字信号处理模块将所述优化图像数据发送至所述图像处理芯片的图像传感处理模块对所述优化图像数据进行处理，形成增强图像数据；

S400：图像处理芯片将优化图像数据和/或增强图像数据回传至一智能终端内的中央处理芯片，由中央处理芯片记录优化图像数据和/或增强图像数据至一存储设备；

S500：图像处理芯片将优化图像数据和/或增强图像数据发送至一显示模块，由显示模块显示对应优化图像数据和/或增强图像数据的优化图像和/或增强图像。

步骤S400与步骤S500可同步或异步执行，即在中央处理芯片记录优化图像数据和/或增强图像数据至存储设备的同时、之前或之后等任意时刻，图像处理芯片将优化图像数据和/或增强图像数据发送至一显示模块，具体地如智能终端上安装的显示屏、触摸屏等显示模块，由显示模块接收并显示对应优化图像数据和/或增强图像数据的优化图像和/或增强图像，即在初始的图像数据的基础上进行智能优化、渲染、调色温、补光、AR增强、信息识别、美颜、裁剪等各项图像处理后形成的增强图像或场景渲染、对象识别、帧率补偿、红眼去除等的优化图像。

通过上述单独的图像处理芯片对图像作优化和增强两步处理，并直接将处理后的增强图像一路发送至显示模块显示，一路发送至存储设备存储，以提高处理后图像的传输速度，及在用户侧的加载和显示速度。此外还可提升摄像模块在AI处理时的效果，及提升快速运动画面的录像效果。

一优选实施例中，步骤S200包括：

S210：图像传感器通过摄像接口以原始数据格式将图像数据发送至图像处理芯片

不同于现有技术中图像传感器将拍摄对象的压缩数据，即YUV格式的数据发送至CPU作处理，本实施例中图像传感器直接发送数据量较大、分辨率较高的原始数据RawData，即如bayer等格式的原始数据格式至图像处理芯片。现有技术中，由于由CPU对图像数据处理，而CPU对Raw Data不具有处理能力，因此，即便将原始数据格式发送至CPU，也无法处理。而利用了本发明的图像处理芯片后，可直接对原始数据格式处理，在数据源处便提高了图像质量。

S220：图像处理芯片的图像传感模块对原始数据处理，形成优化图像数据。

在不同实施例中，图像处理芯片对于图像数据或形成优化图像数据的处理方式不同，具体地，将通过以下不同实施例的介绍详细说明。

参阅图6，在该实施例中，S220包括：

S221：图像传感模块将提取原始数据中的画面帧；

S222：合成画面帧或插接补帧至所述画面帧，形成多帧合成图像数据。

图像传感模块在对拍摄对象拍摄中，将对同一时刻下、或非常接近的时刻下获取到许多张对应每一时刻的画面帧，由于拍摄的限制，每一画面帧的清晰像素各不相同。因此，在该实施例中，图像传感模块将提取原始数据中的画面帧，并将画面帧发送至图像处理芯片的图像处理单元IPU进行筛选，图像处理单元根据每一画面帧的清晰情况，作多帧合成，即使用其他画面帧中清晰的像素替换一画面帧中模糊的像素，从而通过合成或插接补帧的方式完善原始数据的缺陷，形成多帧合成图像数据。

多帧合成图像数据可被回传至中央处理芯片，由中央处理芯片使用图像压缩模块对多帧合成图像数据进行图像压缩，并写入存储设备。

参阅图7，在该实施例中，S220包括：

S221’：图像传感模块判断原始数据的画面环境；

S222’：针对画面环境对原始数据渲染处理，形成优化图像数据。

对于原始数据的AI智能处理，将帮助不常使用拍摄功能或不会使用拍摄功能的用户拍摄出同样专业、取景正确的图像。具体地，图像传感器将判断原始数据的画面环境，如拍摄对象处于某景点、室内环境的亮暗程度、拍摄对象的类型、拍摄对象与周围环境的违和度等，将通过经验和算法进行判断。判断完成后，将对原始数据渲染处理，如根据周围环境对原始数据自动添加滤镜、对原始数据自动裁剪，以将拍摄对象放置在最为适合的位置、自动虚化背景、自动调整画面参数(如色温、亮度、对比度等)，从而形成优化原始图像。

上述AI智能处理的结果将会被发送到IPIC内部的图像感应处理模块ISP继续处理，进一步增强。

参阅图8，另一优选实施例中，步骤S300包括：

S310：数字信号处理模块转发原始数据至中央处理芯片；

S320：中央处理芯片的智能模块对原始数据渲染处理，形成优化图像数据；

S330：智能模块发送优化图像数据至处理模块。

针对配置较差、或不再适合增加图像处理芯片的智能终端而言，在图像传感器处，对原始数据格式进行压缩，形成如RGB、YUV格式，并直接转发至中央处理芯片，由中央处理芯片进行如上文所述的AI处理，并执行图像压缩。

另一优选实施例中，参阅图9，为配合形成有高质量、高效果的图像数据，将使用具有高刷新率(图像显示的帧率数据的帧率大于等于60fps)的显示模块，因此，针对此类显示模块，图像处理方法还包括：

S600：图像传感器将图像数据的帧率数据发送至图像处理芯片，如通过CamIF接口发送至IPIC；

S700：图像处理芯片对帧率数据作插帧补偿，形成插帧数据，插帧数据与智能终端的显示模块的刷新率匹配；

S800：压缩插帧数据，并存储至存储设备，该存储设备可与上文的存储设备相同或不同，存储前，可先由IPIC的视频处理单元VPU压缩，以加快存储速度；

S900：图像处理芯片将插帧数据发送至显示模块，由显示模块显示对应插帧数据的插帧图像。

通过上述高刷新率的图像数据，即便是在不同厂家、不同配置的显示模块上，都可显示不晃眼、不具有眩晕效果的图像，用户侧的感受和体验将提升到最佳，如以240帧、120帧、60帧等显示的画质提高。

此外，形成增强图像数据时，可根据以下方法执行：

对视频图像增强

首先，图像处理芯片IPIC的图像传感处理模块ISP将对图像进行如上文所述的预处理，预处理完毕后，再发送预处理后的图像数据至图像处理芯片IPIC的图像处理单元IPU作图像增强，图像增强处理完毕后形成的增强图像数据将回传至中央处理芯片。

中央处理芯片收到增强图像数据后进行视频编码，编码协议可以是国际电联的H.261、H.263，运动静止图像专家组的M-JPEG和国际标准化组织运动图像专家组的MPEG系列标准等，编码后形成有视频数据。由于该视频数据基于图像处理芯片处理后形成的增强图像数据，因此所形成的视频数据的每一帧均为已执行过优化处理的画面帧，各个帧合成后的视频数据在画面上更有色彩感。

最终形成的视频数据由中央处理芯片记录至存储设备内存储，共后续调用查看。

IPU另一路与显示模块连接，具体地，将增强图像发送至数据处理单元DPU，由DPU增加透明度交互界面，并发送至显示模块加载显示。

该实施例为基于本发明技术方案的利用摄像组件或摄像模块进行视频拍摄的应用，通过图像处理芯片增加外部存储接口(USB，TF等)，录像时可直接存储在图像处理芯片外部的存储设备上。

对图片图像增强

图像处理芯片IPIC的图像传感处理模块ISP将对图像进行如上文所述的预处理，预处理完毕后，再发送预处理后的图像数据至图像处理芯片IPIC的图像处理单元IPU作图像增强，图像增强处理完毕后形成的增强图像数据将回传至中央处理芯片。

中央处理芯片将对增强图像数据进行压缩，如jpeg编码器jpeg encoder，形成压缩图像。JPEG编码过程，首先需将增强图像数据内的RGB格式转换为YUV格式，在记录计算机图像时，最常见的是采用RGB(红、绿，蓝)颜色分量来保存颜色信息，例如非压缩的24位的BMP图像就采用RGB空间来保存图像。一个像素24位，每8位保存一种颜色强度(0-255)，例如红色保存为0xFF0000。YUV是被欧洲电视系统所采用的一种颜色编码方法，我国广播电视也普遍采用这类方法。其中“Y”表示明亮度(Luminance或Luma)，也就是灰阶值；而“U”和“V”表示的则是色度(Chrominance或Chroma)。彩色电视采用YUV空间正是为了用亮度信号Y解决彩色电视机与黑白电视机的兼容问题，使黑白电视机也能接收彩色电视信号。在将RGB转化为YUV时，通常采取如Y＝0.299R+0.587G+0.114B、U＝-0.147R-0.289G+0.436B、V＝0.615R-0.515G-0.100B、R＝Y+1.14V、G＝Y-0.39U-0.58V、B＝Y+2.03U的方式进行。后将图像8*8分块，在原始图像转换为YUV格式后，对图像按一定的采样格式进行采样，常见的格式有4：4：4，4：2：2和4：2：0。取样完成后，将图像按8*8(pixel)划分成MCU。随后便进行离散余弦变换(DCT)，离散余弦变换DCT(Discrete Cosine Transform)是数码率压缩需要常用的一个变换编码方法。任何连续的实对称函数的付立叶变换中只含余弦项，因此余弦变换与付立叶变换一样有明确的物理意义。DCT是先将整体图像分成N*N像素块，然后对N*N像素块逐一进行DCT变换。由于大多数图像的高频分量较小，相应于图像高频分量的系数经常为零，加上人眼对高频成分的失真不太敏感，所以可用更粗的量化。因此，传送变换系数的数码率要大大小于传送图像像素所用的数码率。到达接收端后通过反离散余弦变换回到样值，虽然会有一定的失真，但人眼是可以接受的。图像信号被分解成为直流成分；以及从低频到高频的各种余弦成分；而DCT系数只是表示了该种成分所占原图像信号的份额大小；显然，恢复图像信息可以表示为这样一个矩阵形式：F(n)＝C(n)*E(n)，式中E(n)是一个基底，C(n)是DCT系数，F(n)则是图像信号。如果再考虑垂直方向上的变化，那么，就需要一个二维的基底，即该基底不仅要反映水平方向频率的变化；而且要反映垂直空间频率的变化；对应于8*8的像素块；空间基底是由64个像素值所组成的图像，通常也称之为基本图像。把它们称为基本图像是因为在离散余弦变换的反变换式中，任何像块都可以表示成64个系数的不同大小的组合。既然基本图像相当于变换域中的单一的系数，那么任何像元也可以看成由64个不同幅度的基本图像的组合。这与任何信号可以分解成基波和不同幅度的谐波的组合具有相同的物理意义。量化过程是一个将信号的幅度离散化的过程，离散信号经过量化后变为数字信号。由于HVS对低频信号更为敏感，所以对信号的低频部分采用相对短的量化步长，对信号的高频部分采用相对长的量化步长。这样可以在一定程度上，得到相对清晰的图像和更高的压缩率。之后执行Z字形编码(zigzag scan)，按Z字形把量化后的数据读出。最后，使用行程长度编码(RLE)对交流系数(AC)进行编码，所谓游程长度编码是指一个码可以同时表示码的值和前面有几个零。这样就发挥了Z字型读出的优点，因为Z字型读出，出现连零的机会比较多，特别到最后，如果都是零，在读到最后一个数后，只要给出“块结束”(EOB)码，就可以结束输出，因此节省了很多码率。

最终形成的压缩图像由中央处理芯片记录至存储设备内存储，共后续调用查看。

该实施例为基于本发明技术方案的利用摄像组件或摄像模块进行图像拍摄、拍照的应用，通过图像处理芯片增加外部存储接口(USB，TF等)，拍照后可直接存储在图像处理芯片外部的存储设备上。

对预览图像增强

中央处理芯片与图像处理芯片连接后，中央处理芯片将预先配置的对于图像预览的预览界面的交互界面GUI数据通过DSI接口发送至图像处理芯片。DSI定义了一个位于处理器和显示模组之间的高速串行接口，其分四层，PHY层、Lane Management层、Low LevelProtocol层、Application层，分别对应D-PHY、DSI、DCS规范，其中PHY定义了传输媒介，输入/输出电路和和时钟和信号机制，Lane Management层发送和收集数据流到每条lane，LowLevel Protocol层定义了如何组帧和解析以及错误检测等，Application层描述高层编码和解析数据流，且该交互界面数据包括交互界面的透明度信息，即Alpha信息。

图像处理芯片通过Alpha blending将交互界面数据与增强图像数据整合，使得增强图像以交互界面为显示界面显示，即显示一整合图像。该整合图像将通过DPU发送至显示模块以显示。

该实施例为基于本发明技术方案的利用摄像组件或摄像模块进行图像拍摄时提供预览功能至用户的应用，通过与交互界面的配合，向用户提供更易接受和习惯的视觉观感。

此外，基于上述图像处理方法，可在智能终端内安装计算机可读存储介质，其上存储有计算机程序，当该计算机程序被处理器执行时，实现如上文所述的图像处理方法的步骤。

智能终端可以以各种形式来实施。例如，本发明中描述的终端可以包括诸如移动电话、智能电话、笔记本电脑、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、导航装置等等的智能终端以及诸如数字TV、台式计算机等等的固定终端。下面，假设终端是智能终端。然而，本领域技术人员将理解的是，除了特别用于移动目的的元件之外，根据本发明的实施方式的构造也能够应用于固定类型的终端。

应当注意的是，本发明的实施例有较佳的实施性，且并非对本发明作任何形式的限制，任何熟悉该领域的技术人员可能利用上述揭示的技术内容变更或修饰为等同的有效实施例，但凡未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何修改或等同变化及修饰，均仍属于本发明技术方案的范围内。

Claims (10)

1.一种智能终端，包括显示模块、图像传感器及中央处理芯片，其特征在于，

所述智能终端还包括独立于所述中央处理芯片的图像处理芯片；

所述图像处理芯片分别与所述显示模块、图像传感器及中央处理芯片连接；

所述图像传感器采集拍摄对象的图像数据并发送至图像处理芯片；

所述图像处理芯片的数字信号处理模块对所述图像数据的原始数据进行处理，形成优化图像数据；

所述数字信号处理模块将所述优化图像数据发送至所述图像处理芯片的图像传感处理模块对所述优化图像数据进行处理，形成增强图像数据；

所述图像处理芯片将所述优化图像数据和/或增强图像数据回传至一智能终端内的中央处理芯片，由所述中央处理芯片记录所述优化图像数据和/或增强图像数据至一存储设备，且所述图像处理芯片将所述优化图像数据和/或增强图像数据发送至一显示模块，由所述显示模块显示对应所述所述优化图像数据和/或增强图像数据的优化图像和/或增强图像。

2.如权利要求1所述的智能终端，其特征在于，

所述图像传感模块将提取所述原始数据中的画面帧；

所述数字信号处理模块合成所述画面帧或插接补帧至所述画面帧，形成多帧合成图像数据。

3.如权利要求1所述的智能终端，其特征在于，

所述图像传感模块判断所述原始数据的画面环境；

所述数字信号处理模块针对所述画面环境对所述原始数据渲染处理，形成优化图像数据。

4.如权利要求1所述的智能终端，其特征在于，

图像传感器将所述图像数据的帧率数据发送至图像处理芯片；

所述图像处理芯片对所述帧率数据作插帧补偿，形成插帧数据，所述插帧数据与所述智能终端的显示模块的刷新率匹配；

所述中央处理芯片压缩所述插帧数据，并存储至存储设备；

所述图像处理芯片将所述插帧数据发送至显示模块，由所述显示模块显示对应插帧数据的插帧图像。

5.如权利要求2-4任一项所述的智能终端，其特征在于，

所述图像处理芯片包括：

图像处理单元、第一数据处理单元及数字信号处理模块；

所述数字信号处理模块分别与所述图像传感器、图像处理单元连接；

所述图像传感处理模块分别与所述图像传感器及所述图像处理单元连接，所述图像处理单元与所述第一数据处理单元连接，所述第一数据处理单元与所述显示模块连接；

所述中央处理芯片包括：

图像感应处理模块、第二数据处理单元、处理模块；

所述图像感应处理模块与所述图像处理单元连接，接收增强图像数据；

所述第二数据处理单元与所述图像处理单元连接，发送交互界面数据；

所述数字信号处理模块还与所述处理模块连接。

6.如权利要求5所述的智能终端，其特征在于，

所述中央处理芯片还包括：

图片压缩器，与所述图像感应处理模块连接，接收图像增强数据并压缩；

所述图片压缩器还与所述存储设备连接，发送压缩图像至存储设备。

7.一种图像处理方法，其特征在于，包括以下步骤：

S100：图像传感器采集拍摄对象的图像数据；

S200：图像传感器将所述图像数据的原始数据发送至图像处理芯片，由所述图像处理芯片的数字信号处理模块对所述原始数据处理，形成优化图像数据；

S300：所述数字信号处理模块将所述优化图像数据发送至所述图像处理芯片的图像传感处理模块对所述优化图像数据进行处理，形成增强图像数据；

S400：所述图像处理芯片将所述优化图像数据和/或增强图像数据回传至一智能终端内的中央处理芯片，由所述中央处理芯片记录所述优化图像数据和/或增强图像数据至一存储设备；

S500：所述图像处理芯片将所述优化图像数据和/或增强图像数据发送至一显示模块，由所述显示模块显示对应所述优化图像数据和/或增强图像数据的优化图像和/或增强图像。

8.如权利要求7所述的图像处理方法，其特征在于，

所述步骤S220包括：

S221：所述图像传感模块将提取所述原始数据中的画面帧；

S222：合成所述画面帧或插接补帧至所述画面帧，形成多帧合成图像数据。

9.如权利要求7所述的图像处理方法，其特征在于，

所述步骤S220包括：

S221’：所述图像传感模块判断所述原始数据的画面环境；

S222’：针对所述画面环境对所述原始数据渲染处理，形成优化图像数据。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求7-9任一项所述的图像处理方法的步骤。