CN107347137B - 一种图像数据的处理方法和移动终端 - Google Patents

一种图像数据的处理方法和移动终端 Download PDF

Info

Publication number
CN107347137B
CN107347137B CN201710527226.0A CN201710527226A CN107347137B CN 107347137 B CN107347137 B CN 107347137B CN 201710527226 A CN201710527226 A CN 201710527226A CN 107347137 B CN107347137 B CN 107347137B
Authority
CN
China
Prior art keywords
control module
dsp
data
image data
isp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710527226.0A
Other languages
English (en)
Other versions
CN107347137A (zh
Inventor
王康康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Priority to CN201710527226.0A priority Critical patent/CN107347137B/zh
Publication of CN107347137A publication Critical patent/CN107347137A/zh
Application granted granted Critical
Publication of CN107347137B publication Critical patent/CN107347137B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices

Abstract

本发明实施例提供了一种图像数据的处理方法和移动终端,所述移动终端包括摄像头和数字信号处理器DSP,所述方法包括:获取摄像头输出的图像数据;确定需要在DSP进行图像处理的图像数据格式;根据所述数据格式选择相应的数据通路,所述图像数据以所述数据格式通过所述相应的数据通路进行处理。应用本发明实施例,根据不同功能的需求,使得图像数据以不同的数据格式进入DSP进行处理,解决了由于DSP在相机架构中位置固定而导致无法处理某些数据格式的图像数据的问题,实现DSP的复用。

Description

一种图像数据的处理方法和移动终端
技术领域
本发明涉及通信技术领域,特别是涉及一种图像数据的处理方法和一种移动终端。
背景技术
现今手机等智能移动终端应用越来越广泛,相机感光芯片性能不断提升,加上移动终端的便携性,移动终端上的摄像头常常取代了传统相机、甚至是单反相机的角色,使得移动终端的相机应用越来越广。
移动终端上的摄像头越来越受到消费者重视,因此一般移动终端的应用处理器内部会集成ISP(Image Signal Processing,图像信号处理器)来对摄像头sensor(传感器)输出的数据进行处理。由于ISP的功能固定且比较封闭,不能够实现客制化,已经无法满足消费者的需求。
发明内容
本发明实施例提供一种图像数据的处理方法和移动终端,以解决在相机架构中具有DSP时,由于DSP在相机架构中位置固定而导致无法处理某些数据格式的图像数据的问题。
第一方面,提供了一种图像数据的处理的方法,所述方法应用于移动终端,所述移动终端包括摄像头和数字信号处理器DSP,所述方法包括:
获取摄像头输出的图像数据;
确定需要在DSP进行图像处理的图像数据格式;
根据所述数据格式选择相应的数据通路,所述图像数据以所述数据格式通过所述相应的数据通路进行处理。
第二方面,提供了一种移动终端,所述移动终端包括摄像头和数字信号处理器DSP,所述移动终端包括:
图像数据获取模块,用于获取摄像头输出的图像数据;
数据格式确定模块,用于确定需要在DSP进行图像处理的图像数据格式;
数据通路选择模块,用于根据所述数据格式选择相应的数据通路,所述图像数据以所述数据格式通过所述相应的数据通路进行处理。
这样,本发明实施例中,在获取到摄像头输出的图像数据时,确定需要在DSP处理的图像数据格式,以此选择相应的数据通路,使得在图像数据能够以该数据格式通过相应的数据通路进行处理,应用本发明实施例,根据不同功能的需要,使得图像数据以不同的数据格式进入DSP进行处理,解决了由于DSP在相机架构中位置固定而导致无法处理某些数据格式的图像数据的问题,实现DSP的复用。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例一的一种图像数据的处理方法实施例的步骤流程图;
图2是本发明实施例二的一种图像数据的处理方法实施例的步骤流程图;
图3是本发明实施例的一种在DSP前后加入通路控制模块的示意图;
图4是本发明实施例三的一种移动终端实施例的结构框图;
图5是本发明另一个实施例的移动终端的框图;
图6是本发明又一个实施例的移动终端的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一
参照图1,示出了本发明的一种图像数据的处理方法实施例的步骤流程图,该图像数据的处理方法应用于移动终端,所述移动终端包括摄像头和数字信号处理器DSP;
在移动终端的相机系统中,设置有与摄像头的传感器sensor连接的DSP(DigitalSignal Processing,数字信号处理器),可以对于摄像头传输的图像数据进行图像处理。在实际应用中,DSP芯片的内部采用程序和数据分开的哈佛结构,具有专门的硬件乘法器,广泛采用流水线操作,提供特殊的DSP指令,可以用来快速的实现各种数字信号处理算法。其中,DSP可以以内置或外置的方式设置于移动终端,根据实际需求设置即可,本发明实施例对此不加以限制。
需要说明的是,本发明实施例在原有的移动终端的硬件框架基础上,添加DSP,使得图像数据在进入ISP之前,能够实现更多的图像处理功能,提升图像数据的图像质量。其中,ISP是可以集成于AP(Application Processor,应用处理器)中,也可以是独立的芯片,本发明实施例对此无需加以限制。
相机系统中涉及的图像处理算法多种多样,有的适合在RAW域进行处理,有的适合在YUV域进行处理。而DSP一旦连接在相机系统后,其位置就已经固定,只能去处理某种数据格式的图像数据;例如,如果DSP连接在摄像头模块之后、图像处理器ISP之前,则其只能处理RAW格式的数据;如果DSP连接在ISP之后,则其只能处理YUV格式的数据。本发明实施例正是针对这种情况提出如下图像数据处理方法,具体地,本发明实施例的方法可以包括如下步骤:
步骤101,获取摄像头输出的图像数据;
在本发明实施例的具体实现中,相机系统中摄像头的sensor输出其所采集的图像数据,该图像数据可以直接发送至DSP进行图像处理,也可以经过移动终端的其他模块后再发送至DSP进行图像处理。
步骤102,确定需要在DSP进行图像处理的图像数据格式;
在本发明实施例中,在相机系统中获取到图像数据之后,可以根据不同功能的需求来选择图像数据的处理方式。在一种实施例方式中,可以根据需要在DSP进行图像处理的图像数据格式,来选择相应的数据通路以传输至DSP。
步骤103,根据所述数据格式选择相应的数据通路,所述图像数据以所述数据格式通过所述相应的数据通路进行处理。
在本发明实施例中,具体地,可以根据需要在DSP进行图像处理的图像数据的数据格式来选择相应的数据通路;即,在到达DSP进行图像处理时,图像数据是哪种数据格式,选择与之相应的数据通路,所述图像数据以所述数据格式通过所述相应的数据通路进行处理。
这样,本发明实施例中,在获取到摄像头输出的图像数据时,确定需要在DSP处理的图像数据格式,以此选择相应的数据通路,使得在图像数据能够以该数据格式通过相应的数据通路进行处理,应用本发明实施例,根据不同功能的需要,使得图像数据以不同的数据格式进入DSP进行处理,解决了由于DSP在相机架构中位置固定而导致无法处理某些数据格式的图像数据的问题,实现DSP的复用。
实施例二
参照图2,示出了本发明的一种图像数据的处理方法实施例的步骤流程图,所述移动终端包括摄像头、图像处理器ISP和数字信号处理器DSP,所述DSP连接于所述摄像头和所述ISP之间,所述数据格式包括RAW格式和YUV格式。
在本发明实施例中,移动终端的相机系统中具有与摄像头和ISP相连的数字信号处理器DSP,DSP连接于摄像头和ISP之间,具体可以参照图3所示。通常,ISP在移动终端中作为摄像头的sensor输出信号处理的单元,以匹配不同厂商的sensor。
在实际应用中,摄像头输出的图像数据的数据格式是RAW格式,一般在经过ISP处理之后会转换成YUV格式。当然,在本发明实施例中RAW格式和YUV格式也仅仅是作为示例,在实际应用中,也可以根据实际需求来调整数据格式,例如JPEG,RGB等数据格式;以及根据所述数据格式来选择与其对应的数据通路,本发明实施例对此并不加以限制。
所述方法具体可以包括如下步骤:
步骤201,获取摄像头输出的图像数据;
在本发明实施例的具体实现中,摄像头的sensor输出其所采集的图像数据,相机系统可以在摄像头输出后获取该图像数据。
步骤202,确定需要在DSP进行图像处理的图像数据格式;
本发明实施例可以根据不同功能的需求(即,在DSP进行图像处理的图像数据是何种数据格式),来选择与该图像数据格式相应的数据通路来传输至DSP。
在本发明的一种优选实施例中,所述移动终端还可以包括通路控制模块,通路控制模块可以设置于DSP的两端。
具体可以参照图3所示,通路控制模块可以包括第一通路控制模块和第二通路控制模块。其中,所述第一通路控制模块和第二通路控制模块分别连接于所述DSP的两端,所述第一通路控制模块的两端分别与摄像头和DSP相连,所述第二通路控制模块的两端分别与DSP和ISP相连;另外,所述第一通路控制模块和所述第二通路控制模块相连。
也即是说,本发明实施例通过将两个通路控制模块分别设置于摄像头与DSP之间以及DSP与ISP之间,来控制摄像头输出的图像数据在DSP与ISP之间的流向。
步骤203,当所述图像数据为RAW格式时,选择先经过DSP后经过ISP的第一数据通路,所述图像数据以RAW格式通过所述第一数据通路进行处理;
在本发明的一种优选实施例中,所述摄像头输出的图像数据格式为RAW格式,所述步骤203可以包括如下子步骤:
控制所述第一通路控制模块接通摄像头和DSP,以及,控制所述第二通路控制模块接通所述DSP和ISP;所述摄像头输出的图像数据以RAW格式经过所述第一通路控制模块传输至DSP,并且,在所述DSP进行图像处理后,通过所述第二通路控制模块传输至所述ISP;
控制所述第一通路控制模块接通所述ISP,以及,控制所述第一通路控制模块接通所述第二通路控制模块,使得所述图像数据在所述ISP进行图像处理后返回至所述第一通路控制模块,并从所述第一通路控制模块传输至第二通路控制模块,从所述第二通路控制模块输出。
如果需要在DSP中进行RAW域的图像处理,也即是说需要在DSP进行图像处理的格式为RAW格式,则基于第一通路控制模块,将摄像头输出的为RAW格式的图像数据直接传输至DSP,在DSP处理完毕后,通过第二通路控制模块将在DSP处理后的图像数据传输至ISP。在本示例中,在第二通路控制模块中设置了数据的输出接口,在ISP处理完毕后,可以将图像数据再次传输回第一通路控制模块,并通过第一通路控制模块传输至第二通路控制模块后,通过所述第二通路控制模块的输出接口输出。
参照图3所示,如果需要在DSP中进行RAW域的图像处理,则控制图像数据的数据通路为1->2->3->4->5->6->7,即摄像头输出的数据先经DSP处理后再送到ISP进行处理,最终再返回至第一通路控制模块,以通过第一通路控制模块达到第二通路控制模块,最后从第二通路控制模块的输出接口输出。
步骤204,当所述图像数据为YUV格式时,选择先经过ISP后经过DSP的第二数据通路,所述图像数据以YUV格式通过所述第二数据通路进行处理。
在本发明的一种优选实施例中,在经过所述ISP处理后的图像数据的数据格式为YUV格式,所述步骤204可以包括如下子步骤:
控制所述第一通路控制模块接通摄像头和所述第二通路控制模块,以及,控制所述第二通路控制模块接通所述ISP,使得所述摄像头输出的图像数据经过所述第一通路控制模块和第二通路控制模块后传输至所述ISP;
控制所述第一通路控制模块接通ISP和DSP,以及,控制所述第二通路控制模块接通DSP,所述图像数据在所述ISP进行图像处理后以YUV格式返回至所述第一通路控制模块,并经过所述第一通路控制模块传输至所述DSP,在DSP进行图像处理后的图像数据传输至第二通路控制模块,从所述第二通路控制模块输出。
如果需要在DSP中进行YUV域的图像处理,也即是说需要在DSP进行图像处理的格式为YUV格式,则经过第一通路控制模块和第二通路控制模块,将摄像头输出的RAW格式的图像数据直接传输至ISP,ISP对RAW格式的图像数据进行处理后,得到YUV格式的图像数据。随后将ISP处理后的图像数据,传输回第一通路控制模块,并通过第一通路控制模块传输至DSP,此时,DSP中进行图像处理的格式为YUV格式。最后,在DSP处理完毕后,就可以将图像数据传输至第二通路控制模块,通过所述第二通路控制模块的输出接口输出。
参照图3所示,如果需要在DSP中进行YUV域的图像处理,则控制图像数据的数据通路为1->6->4->5->2->3->7,即摄像头输出的数据先经ISP模块处理后,再让DSP模块进行图像处理,最终,将DSP处理后的图像数据传输至第二通路控制模块,以从第二通路控制模块的输出接口输出。
应用本发明实施例,通过在移动终端的相机系统中添加硬件的通路控制模块,使得可以根据功能需求,切换到不同的数据通路使得到达DSP的图像数据的数据格式来进行不同的图像处理,实现DSP的复用。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
实施例三
参照图4,示出了本发明的一种移动终端实施例的结构框图,所述移动终端包括摄像头和数字信号处理器DSP,所述移动终端具体可以包括如下模块:
图像数据获取模块301,用于获取摄像头输出的图像数据;
数据格式确定模块302,用于确定需要在DSP进行图像处理的图像数据格式;
数据通路选择模块303,用于根据所述数据格式选择相应的数据通路,所述图像数据以所述数据格式通过所述相应的数据通路进行处理。
在本发明的一种优选实施例中,所述移动终端还包括图像处理器ISP,所述DSP连接于所述摄像头和所述ISP之间,所述图像数据格式包括RAW格式和YUV格式,所述数据通路选择模块303包括:
第一数据通路选择子模块,用于当所述图像数据为RAW格式时,选择先经过DSP后经过ISP的第一数据通路,所述图像数据以RAW格式通过所述第一数据通路进行处理;
第二数据通路选择子模块,用于当所述图像数据为YUV格式时,选择先经过ISP后经过DSP的第二数据通路,所述图像数据以YUV格式通过所述第二数据通路进行处理。
在本发明的一种优选实施例中,所述移动终端还包括通路控制模块,所述通路控制模块包括第一通路控制模块和第二通路控制模块,所述第一通路控制模块和第二通路控制模块分别连接于所述DSP的两端;所述第一通路控制模块的两端分别与摄像头和DSP相连,所述第二通路控制模块的两端分别与DSP和ISP相连,所述第一通路控制模块和所述第二通路控制模块相连。
在本发明的一种优选实施例中,所述图像数据格式为RAW格式,所述第一数据通路选择子模块包括:
第一数据通路控制单元,用于控制所述第一通路控制模块接通摄像头和DSP,以及,控制所述第二通路控制模块接通所述DSP和ISP;所述摄像头输出的图像数据以RAW格式经过所述第一通路控制模块传输至DSP,并且,在所述DSP进行图像处理后,通过所述第二通路控制模块传输至所述ISP;
第二数据通路控制单元,用于控制所述第一通路控制模块接通所述ISP,以及,控制所述第一通路控制模块接通所述第二通路控制模块,使得所述图像数据在所述ISP进行图像处理后返回至所述第一通路控制模块,并从所述第一通路控制模块传输至第二通路控制模块,从所述第二通路控制模块输出。
在本发明的一种优选实施例中,在经过所述ISP处理后的所述图像数据的数据格式为YUV格式,所述第二数据通路选择子模块包括:
第三数据通路控制单元,用于控制所述第一通路控制模块接通摄像头和所述第二通路控制模块,以及,控制所述第二通路控制模块接通所述ISP,使得所述摄像头输出的图像数据经过所述第一通路控制模块和第二通路控制模块后传输至所述ISP;
第四数据通路控制单元,用于控制所述第一通路控制模块接通ISP和DSP,以及,控制所述第二通路控制模块接通DSP,所述图像数据在所述ISP进行图像处理后以YUV格式返回至所述第一通路控制模块,并经过所述第一通路控制模块传输至所述DSP,在DSP进行图像处理后的图像数据传输至第二通路控制模块,从所述第二通路控制模块输出。
对于移动终端实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
这样,本发明实施例中,在获取到摄像头输出的图像数据时,确定需要在DSP处理的图像数据格式,以此选择相应的数据通路,使得在图像数据能够以该数据格式通过相应的数据通路进行处理,应用本发明实施例,根据不同功能的需要,使得图像数据以不同的数据格式进入DSP进行处理,解决了由于DSP在相机架构中位置固定而导致无法处理某些数据格式的图像数据的问题,实现DSP的复用。
实施例四
图5是本发明另一个实施例的移动终端的框图。图5所示的移动终端700包括:至少一个处理器701、存储器702、至少一个网络接口704和其他用户接口703。移动终端700中的各个组件通过总线系统705耦合在一起。可理解,总线系统705用于实现这些组件之间的连接通信。总线系统705除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图5中将各种总线都标为总线系统705。
其中,用户接口703可以包括显示器、键盘或者点击设备(例如,鼠标,轨迹球(trackball)、触感板或者触摸屏等。
可以理解,本发明实施例中的存储器702可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-OnlyMemory,ROM)、可编程只读存储器(ProgrammableROM,PROM)、可擦除可编程只读存储器(ErasablePROM,EPROM)、电可擦除可编程只读存储器(ElectricallyEPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(RandomAccessMemory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(StaticRAM,SRAM)、动态随机存取存储器(DynamicRAM,DRAM)、同步动态随机存取存储器(SynchronousDRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(DoubleDataRateSDRAM,DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(SynchlinkDRAM,SLDRAM)和直接内存总线随机存取存储器(DirectRambusRAM,DRRAM)。本发明实施例描述的系统和方法的存储器702旨在包括但不限于这些和任意其它适合类型的存储器。
在一些实施方式中,存储器702存储了如下的元素,可执行模块或者数据结构,或者他们的子集,或者他们的扩展集:操作系统7021和应用程序7022。
其中,操作系统7021,包含各种系统程序,例如框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务。应用程序7022,包含各种应用程序,例如媒体播放器(MediaPlayer)、浏览器(Browser)等,用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序7022中。
在本发明实施例中,通过调用存储器702存储的程序或指令,具体的,可以是应用程序7022中存储的程序或指令,处理器701用于获取摄像头输出的图像数据;确定需要在DSP进行图像处理的图像数据格式;根据所述数据格式选择相应的数据通路,所述图像数据以所述数据格式通过所述相应的数据通路进行处理。
上述本发明实施例揭示的方法可以应用于处理器701中,或者由处理器701实现。处理器701可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器701中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器701可以是通用处理器、数字信号处理器(DigitalSignalProcessor,DSP)、专用集成电路(ApplicationSpecific IntegratedCircuit,ASIC)、现成可编程门阵列(FieldProgrammableGateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器702,处理器701读取存储器702中的信息,结合其硬件完成上述方法的步骤。
可以理解的是,本发明实施例描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现,处理单元可以实现在一个或多个专用集成电路(ApplicationSpecificIntegratedCircuits,ASIC)、数字信号处理器(DigitalSignalProcessing,DSP)、数字信号处理设备(DSPDevice,DSPD)、可编程逻辑设备(ProgrammableLogicDevice,PLD)、现场可编程门阵列(Field-ProgrammableGateArray,FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。
对于软件实现,可通过执行本发明实施例所述功能的模块(例如过程、函数等)来实现本发明实施例所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
可选地,处理器701还用于:当所述图像数据为RAW格式时,选择先经过DSP后经过ISP的第一数据通路,所述图像数据以RAW格式通过所述第一数据通路进行处理;当所述图像数据为YUV格式时,选择先经过ISP后经过DSP的第二数据通路,所述图像数据以YUV格式通过所述第二数据通路进行处理。
可选地,处理器701还用于:控制所述第一通路控制模块接通摄像头和DSP,以及,控制所述第二通路控制模块接通所述DSP和ISP;所述摄像头输出的图像数据以RAW格式经过所述第一通路控制模块传输至DSP,并且,在所述DSP进行图像处理后,通过所述第二通路控制模块传输至所述ISP;控制所述第一通路控制模块接通所述ISP,以及,控制所述第一通路控制模块接通所述第二通路控制模块,使得所述图像数据在所述ISP进行图像处理后返回至所述第一通路控制模块,并从所述第一通路控制模块传输至第二通路控制模块,从所述第二通路控制模块输出。
可选地,处理器701还用于:控制所述第一通路控制模块接通摄像头和所述第二通路控制模块,以及,控制所述第二通路控制模块接通所述ISP,使得所述摄像头输出的图像数据经过所述第一通路控制模块和第二通路控制模块后传输至所述ISP;控制所述第一通路控制模块接通ISP和DSP,以及,控制所述第二通路控制模块接通DSP,所述图像数据在所述ISP进行图像处理后以YUV格式返回至所述第一通路控制模块,并经过所述第一通路控制模块传输至所述DSP,在DSP进行图像处理后的图像数据传输至第二通路控制模块,从所述第二通路控制模块输出。
移动终端700能够实现前述实施例中移动终端实现的各个过程,为避免重复,这里不再赘述。
这样,本发明实施例中,在获取到摄像头输出的图像数据时,确定需要在DSP处理的图像数据格式,以此选择相应的数据通路,使得在图像数据能够以该数据格式通过相应的数据通路进行处理,应用本发明实施例,根据不同功能的需要,使得图像数据以不同的数据格式进入DSP进行处理,解决了由于DSP在相机架构中位置固定而导致无法处理某些数据格式的图像数据的问题,实现DSP的复用。
实施例五
图6是本发明另一个实施例的移动终端的结构示意图。具体地,图6中的移动终端800可以为手机、平板电脑、个人数字助理(PersonalDigital Assistant,PDA)、或车载电脑等。
图6中的移动终端800包括射频(RadioFrequency,RF)电路810、存储器820、输入单元830、显示单元840、处理器860、音频电路870、WiFi(WirelessFidelity)模块880和电源890。
其中,输入单元830可用于接收用户输入的数字或字符信息,以及产生与移动终端800的用户设置以及功能控制有关的信号输入。具体地,本发明实施例中,该输入单元830可以包括触控面板831。触控面板831,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板831上的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触控面板831可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给该处理器860,并能接收处理器860发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板831。除了触控面板831,输入单元830还可以包括其他输入设备832,其他输入设备832可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
其中,显示单元840可用于显示由用户输入的信息或提供给用户的信息以及移动终端800的各种菜单界面。显示单元840可包括显示面板841,可选的,可以采用LCD或有机发光二极管(OrganicLight-EmittingDiode,OLED)等形式来配置显示面板841。
应注意,触控面板831可以覆盖显示面板841,形成触摸显示屏,当该触摸显示屏检测到在其上或附近的触摸操作后,传送给处理器860以确定触摸事件的类型,随后处理器860根据触摸事件的类型在触摸显示屏上提供相应的视觉输出。
触摸显示屏包括应用程序界面显示区及常用控件显示区。该应用程序界面显示区及该常用控件显示区的排列方式并不限定,可以为上下排列、左右排列等可以区分两个显示区的排列方式。该应用程序界面显示区可以用于显示应用程序的界面。每一个界面可以包含至少一个应用程序的图标和/或widget桌面控件等界面元素。该应用程序界面显示区也可以为不包含任何内容的空界面。该常用控件显示区用于显示使用率较高的控件,例如,设置按钮、界面编号、滚动条、电话本图标等应用程序图标等。
其中处理器860是移动终端800的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在第一存储器821内的软件程序和/或模块,以及调用存储在第二存储器822内的数据,执行移动终端800的各种功能和处理数据,从而对移动终端800进行整体监控。可选的,处理器860可包括一个或多个处理单元。
在本发明实施例中,通过调用存储该第一存储器821内的软件程序和/或模块和/或该第二存储器822内的数据,处理器860用于获取摄像头输出的图像数据;确定需要在DSP进行图像处理的图像数据格式;根据所述数据格式选择相应的数据通路,所述图像数据以所述数据格式通过所述相应的数据通路进行处理。
可选地,所述处理器860还用于,当所述图像数据为RAW格式时,选择先经过DSP后经过ISP的第一数据通路,所述图像数据以RAW格式通过所述第一数据通路进行处理;当所述图像数据为YUV格式时,选择先经过ISP后经过DSP的第二数据通路,所述图像数据以YUV格式通过所述第二数据通路进行处理。
可选地,所述处理器860还用于,控制所述第一通路控制模块接通摄像头和DSP,以及,控制所述第二通路控制模块接通所述DSP和ISP;所述摄像头输出的图像数据以RAW格式经过所述第一通路控制模块传输至DSP,并且,在所述DSP进行图像处理后,通过所述第二通路控制模块传输至所述ISP;控制所述第一通路控制模块接通所述ISP,以及,控制所述第一通路控制模块接通所述第二通路控制模块,使得所述图像数据在所述ISP进行图像处理后返回至所述第一通路控制模块,并从所述第一通路控制模块传输至第二通路控制模块,从所述第二通路控制模块输出。
可选地,所述处理器860还用于,控制所述第一通路控制模块接通摄像头和所述第二通路控制模块,以及,控制所述第二通路控制模块接通所述ISP,使得所述摄像头输出的图像数据经过所述第一通路控制模块和第二通路控制模块后传输至所述ISP;控制所述第一通路控制模块接通ISP和DSP,以及,控制所述第二通路控制模块接通DSP,所述图像数据在所述ISP进行图像处理后以YUV格式返回至所述第一通路控制模块,并经过所述第一通路控制模块传输至所述DSP,在DSP进行图像处理后的图像数据传输至第二通路控制模块,从所述第二通路控制模块输出。
对于移动终端800实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
这样,本发明实施例中,在获取到摄像头输出的图像数据时,确定需要在DSP处理的图像数据格式,以此选择相应的数据通路,使得在图像数据能够以该数据格式通过相应的数据通路进行处理,应用本发明实施例,根据不同功能的需要,使得图像数据以不同的数据格式进入DSP进行处理,解决了由于DSP在相机架构中位置固定而导致无法处理某些数据格式的图像数据的问题,实现DSP的复用。
本领域普通技术人员可以意识到,结合本发明实施例中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (8)

1.一种图像数据的处理方法,应用于移动终端,其特征在于,所述移动终端包括摄像头和数字信号处理器DSP,所述方法包括:
获取摄像头输出的图像数据;
确定需要在DSP进行图像处理的图像数据格式;
根据所述数据格式选择相应的数据通路,所述图像数据以所述数据格式通过所述相应的数据通路进行处理;
其中,所述移动终端还包括图像处理器ISP,所述DSP连接于所述摄像头和所述ISP之间,所述图像数据格式包括RAW格式和YUV格式,所述根据所述数据格式选择相应的数据通路,所述图像数据以所述数据格式通过所述相应的数据通路进行处理的步骤包括:
当所述图像数据为RAW格式时,选择先经过DSP后经过ISP的第一数据通路,所述图像数据以RAW格式通过所述第一数据通路进行处理;
当所述图像数据为YUV格式时,选择先经过ISP后经过DSP的第二数据通路,所述图像数据以YUV格式通过所述第二数据通路进行处理。
2.根据权利要求1所述的方法,其特征在于,所述移动终端还包括通路控制模块,所述通路控制模块包括第一通路控制模块和第二通路控制模块,所述第一通路控制模块和第二通路控制模块分别连接于所述DSP的两端;所述第一通路控制模块的两端分别与摄像头和DSP相连,所述第二通路控制模块的两端分别与DSP和ISP相连,所述第一通路控制模块和所述第二通路控制模块相连。
3.根据权利要求2所述的方法,其特征在于,所述图像数据格式为RAW格式,所述选择先经过DSP后经过ISP的第一数据通路,所述图像数据以RAW格式通过所述第一数据通路进行处理的步骤包括:
控制所述第一通路控制模块接通摄像头和DSP,以及,控制所述第二通路控制模块接通所述DSP和ISP;所述摄像头输出的图像数据以RAW格式经过所述第一通路控制模块传输至DSP,并且,在所述DSP进行图像处理后,通过所述第二通路控制模块传输至所述ISP;
控制所述第一通路控制模块接通所述ISP,以及,控制所述第一通路控制模块接通所述第二通路控制模块,使得所述图像数据在所述ISP进行图像处理后返回至所述第一通路控制模块,并从所述第一通路控制模块传输至第二通路控制模块,从所述第二通路控制模块输出。
4.根据权利要求1或2所述的方法,其特征在于,在经过所述ISP处理后的所述图像数据的数据格式为YUV格式,所述选择需要先经过ISP后再经过DSP的第二数据通路,所述图像数据以YUV格式通过所述第二数据通路进行处理的步骤包括:
控制所述第一通路控制模块接通摄像头和所述第二通路控制模块,以及,控制所述第二通路控制模块接通所述ISP,使得所述摄像头输出的图像数据经过所述第一通路控制模块和第二通路控制模块后传输至所述ISP;
控制所述第一通路控制模块接通ISP和DSP,以及,控制所述第二通路控制模块接通DSP,所述图像数据在所述ISP进行图像处理后以YUV格式返回至所述第一通路控制模块,并经过所述第一通路控制模块传输至所述DSP,在DSP进行图像处理后的图像数据传输至第二通路控制模块,从所述第二通路控制模块输出。
5.一种移动终端,其特征在于,所述移动终端包括摄像头和数字信号处理器DSP,所述移动终端包括:
图像数据获取模块,用于获取摄像头输出的图像数据;
数据格式确定模块,用于确定需要在DSP进行图像处理的图像数据格式;
数据通路选择模块,用于根据所述数据格式选择相应的数据通路,所述图像数据以所述数据格式通过所述相应的数据通路进行处理;
其中,所述移动终端还包括图像处理器ISP,所述DSP连接于所述摄像头和所述ISP之间,所述图像数据格式包括RAW格式和YUV格式,所述数据通路选择模块包括:
第一数据通路选择子模块,用于当所述图像数据为RAW格式时,选择先经过DSP后经过ISP的第一数据通路,所述图像数据以RAW格式通过所述第一数据通路进行处理;
第二数据通路选择子模块,用于当所述图像数据为YUV格式时,选择先经过ISP后经过DSP的第二数据通路,所述图像数据以YUV格式通过所述第二数据通路进行处理。
6.根据权利要求5所述的移动终端,其特征在于,所述移动终端还包括通路控制模块,所述通路控制模块包括第一通路控制模块和第二通路控制模块,所述第一通路控制模块和第二通路控制模块分别连接于所述DSP的两端;所述第一通路控制模块的两端分别与摄像头和DSP相连,所述第二通路控制模块的两端分别与DSP和ISP相连,所述第一通路控制模块和所述第二通路控制模块相连。
7.根据权利要求6所述的移动终端,其特征在于,所述图像数据格式为RAW格式,所述选择先经过DSP后经过ISP的第一数据通路,所述第一数据通路选择子模块包括:
第一数据通路控制单元,用于控制所述第一通路控制模块接通摄像头和DSP,以及,控制所述第二通路控制模块接通所述DSP和ISP;所述摄像头输出的图像数据以RAW格式经过所述第一通路控制模块传输至DSP,并且,在所述DSP进行图像处理后,通过所述第二通路控制模块传输至所述ISP;
第二数据通路控制单元,用于控制所述第一通路控制模块接通所述ISP,以及,控制所述第一通路控制模块接通所述第二通路控制模块,使得所述图像数据在所述ISP进行图像处理后返回至所述第一通路控制模块,并从所述第一通路控制模块传输至第二通路控制模块,从所述第二通路控制模块输出。
8.根据权利要求5或6所述的移动终端,其特征在于,在经过所述ISP处理后的图像数据的数据格式为YUV格式,所述第二数据通路选择子模块包括:
第三数据通路控制单元,用于控制所述第一通路控制模块接通摄像头和所述第二通路控制模块,以及,控制所述第二通路控制模块接通所述ISP,使得所述摄像头输出的图像数据经过所述第一通路控制模块和第二通路控制模块后传输至所述ISP;
第四数据通路控制单元,用于控制所述第一通路控制模块接通ISP和DSP,以及,控制所述第二通路控制模块接通DSP,所述图像数据在所述ISP进行图像处理后以YUV格式返回至所述第一通路控制模块,并经过所述第一通路控制模块传输至所述DSP,在DSP进行图像处理后的图像数据传输至第二通路控制模块,从所述第二通路控制模块输出。
CN201710527226.0A 2017-06-30 2017-06-30 一种图像数据的处理方法和移动终端 Active CN107347137B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710527226.0A CN107347137B (zh) 2017-06-30 2017-06-30 一种图像数据的处理方法和移动终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710527226.0A CN107347137B (zh) 2017-06-30 2017-06-30 一种图像数据的处理方法和移动终端

Publications (2)

Publication Number Publication Date
CN107347137A CN107347137A (zh) 2017-11-14
CN107347137B true CN107347137B (zh) 2019-01-04

Family

ID=60256594

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710527226.0A Active CN107347137B (zh) 2017-06-30 2017-06-30 一种图像数据的处理方法和移动终端

Country Status (1)

Country Link
CN (1) CN107347137B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109819139B (zh) * 2017-11-22 2022-01-07 瑞芯微电子股份有限公司 一种智能电子设备和图像处理单元、装置、方法
CN109981969B (zh) * 2017-12-28 2020-05-15 福州瑞芯微电子股份有限公司 一种智能电子设备和图像处理单元、图像处理方法
CN115705614A (zh) * 2021-08-05 2023-02-17 北京小米移动软件有限公司 图像处理方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101771889A (zh) * 2008-12-26 2010-07-07 深圳富泰宏精密工业有限公司 电子装置及调整该电子装置的白平衡参数的方法
CN102301692A (zh) * 2009-01-29 2011-12-28 株式会社理光 成像装置和其控制方法
CN206042072U (zh) * 2016-07-26 2017-03-22 深圳众思科技有限公司 一种双摄像头装置及终端

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060007321A1 (en) * 2005-03-26 2006-01-12 David Huai A Distributed Image and Signal Processing Apparatus For Camera Phone Applications

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101771889A (zh) * 2008-12-26 2010-07-07 深圳富泰宏精密工业有限公司 电子装置及调整该电子装置的白平衡参数的方法
CN102301692A (zh) * 2009-01-29 2011-12-28 株式会社理光 成像装置和其控制方法
CN206042072U (zh) * 2016-07-26 2017-03-22 深圳众思科技有限公司 一种双摄像头装置及终端

Also Published As

Publication number Publication date
CN107347137A (zh) 2017-11-14

Similar Documents

Publication Publication Date Title
CN106844067B (zh) 一种内容的处理方法及移动终端
CN105959553B (zh) 一种摄像头的切换方法及终端
CN105959544B (zh) 一种移动终端的图像处理方法及移动终端
CN106998428B (zh) 一种移动终端的拍摄方法及移动终端
CN107329656B (zh) 一种应用图标的位置调整方法及移动终端
CN106101553B (zh) 一种拍照方法及移动终端
CN106648382B (zh) 一种图片浏览方法和移动终端
CN107172361B (zh) 一种全景拍摄的方法及移动终端
CN106126108B (zh) 一种缩略图的生成方法及移动终端
CN106101544B (zh) 一种图像处理方法及移动终端
CN106951141B (zh) 一种图标的处理方法及移动终端
CN106354303B (zh) 一种移动终端的拍照方法及移动终端
CN106528160B (zh) 一种应用程序图标的添加方法及终端
CN106681711A (zh) 一种分屏模式下的内容分享方法及移动终端
CN106227488B (zh) 一种提醒消息的显示方法及移动终端
CN106210512B (zh) 一种摄像头切换方法及移动终端
CN107277351A (zh) 一种图像数据的处理方法和移动终端
CN107347137B (zh) 一种图像数据的处理方法和移动终端
CN107222669B (zh) 一种拍摄的方法和移动终端
CN106055232B (zh) 一种消息的处理方法及移动终端
CN107172346A (zh) 一种虚化方法及移动终端
CN106339436A (zh) 一种基于图片的购物方法及移动终端
CN106126035A (zh) 一种应用程序显示的方法和移动终端
CN107026982B (zh) 一种移动终端的拍照方法及移动终端
CN106372252B (zh) 一种图片显示方法及移动终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant