CN108495043A - 图像数据处理方法及相关装置 - Google Patents

图像数据处理方法及相关装置 Download PDF

Info

Publication number
CN108495043A
CN108495043A CN201810402129.3A CN201810402129A CN108495043A CN 108495043 A CN108495043 A CN 108495043A CN 201810402129 A CN201810402129 A CN 201810402129A CN 108495043 A CN108495043 A CN 108495043A
Authority
CN
China
Prior art keywords
image data
dsp
image
mobile terminal
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810402129.3A
Other languages
English (en)
Other versions
CN108495043B (zh
Inventor
林进全
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201810402129.3A priority Critical patent/CN108495043B/zh
Publication of CN108495043A publication Critical patent/CN108495043A/zh
Application granted granted Critical
Publication of CN108495043B publication Critical patent/CN108495043B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72439—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for image or video messaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72484—User interfaces specially adapted for cordless or mobile telephones wherein functions are triggered by incoming communication events

Abstract

本申请公开了一种图像数据处理方法及相关装置，应用于移动终端，包括：移动终端通过AP获取被拍摄目标的原始图像数据，以及确定针对被拍摄目标的图像优化功能；通过AP和第一DSP根据图像优化功能联合处理原始图像数据以得到目标图像数据；通过AP根据目标图像数据生成被拍摄目标的照片。本申请有利于提高移动终端处理图像数据的效果和速度。

Description

图像数据处理方法及相关装置
技术领域
本申请涉及电子技术领域，尤其涉及一种图像数据处理方法及相关装置。
背景技术
随着智能终端(如智能手机等)技术的迅速发展，以及越来越普及，现已成为用户日常生活中不可缺少的电子产品。随着用户对手机拍照功能的需求越来越强烈，传统拍照图像数据处理方法在性能上都很难满足要求。
发明内容
本申请实施例提供一种图像数据处理方法及相关装置，有利于提高移动终端处理图像数据的效果和速度。
第一方面，本申请实施例提供一种图像数据处理方法，应用于移动终端，所述移动终端包括应用处理器AP和设置于所述AP之外的第一数字信号处理器DSP，所述AP连接所述第一DSP；所述方法包括：
通过所述AP获取被拍摄目标的原始图像数据，以及确定针对所述被拍摄目标的图像优化功能；
通过所述AP和所述第一DSP根据所述图像优化功能联合处理所述原始图像数据以得到目标图像数据；
通过所述AP根据所述目标图像数据生成所述被拍摄目标的照片。
第二方面，本申请实施例提供一种图像数据处理装置，应用于移动终端，所述移动终端包括应用处理器AP和设置于所述AP之外的第一数字信号处理器DSP，所述AP连接所述第一DSP；所述图像数据处理装置包括获取单元、处理单元和生成单元，其中，
所述获取单元，用于通过所述AP获取被拍摄目标的原始图像数据，以及确定针对所述被拍摄目标的图像优化功能；
所述处理单元，用于通过所述AP和所述第一DSP根据所述图像优化功能联合处理所述原始图像数据以得到目标图像数据；
所述生成单元，用于通过所述AP根据所述目标图像数据生成所述被拍摄目标的照片。
第三方面，本申请实施例提供一种移动终端，包括处理器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行本申请实施例第一方面任一方法中的步骤的指令。
第四方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面或第二方面任一方法中所描述的部分或全部步骤。
可以看出，在本申请实施例中，移动终端包括应用处理器AP和设置于AP之外的第一数字信号处理器DSP，AP连接第一DSP；移动终端首先通过AP获取被拍摄目标的原始图像数据，以及确定针对被拍摄目标的图像优化功能，其次，通过AP和第一DSP根据图像优化功能联合处理原始图像数据以得到目标图像数据，最后，通过AP根据目标图像数据生成被拍摄目标的照片。可见，相对于传统通过AP内置DSP的图像数据处理方案，移动终端能够通过AP和外置DSP联合处理原始图像数据，即可以将原本AP的数据处理操作中的部分专属数据处理操作专门划分到该外置的第一DSP来完成，从而AP侧针对单张图像的数据处理操作减少，第一DSP可以在AP处理数据时同步处理AP侧已经处理好的数据，从而提高移动终端处理图像数据的效率和流畅度。
附图说明
为了更清楚地说明本申请实施例或背景技术中的技术方案，下面将对本申请实施例或背景技术中所需要使用的附图进行说明。
图1A是一种智能手机的程序运行空间的示意图；
图1B是一种安卓系统的系统架构图；
图2A是本申请实施例提供的一种图像数据处理方法的流程示意图；
图2B是本申请实施例提供的一种外置DSP的移动终端的结构示意图；
图3是本申请实施例公开的另一种图像数据处理方法的流程示意图；
图4是本申请实施例公开的另一种图像数据处理方法的流程示意图；
图5是本申请实施例公开的一种移动终端的结构示意图；
图6是本申请实施例公开的一种移动终端的功能单元组成框图；
图7是本申请实施例公开的一种智能手机的结构示意图。
具体实现方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
以下分别进行详细说明。
本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
如图1A所示，目前智能手机等移动终端一般设置有程序运行空间，该程序运行空间包括用户空间和操作系统空间，其中，用户空间运行有一个或多个应用程序，该一个或多个应用程序为移动终端安装的第三方应用程序，跌落检测算法就运行在用户空间，操作系统空间运行有移动终端的操作系统。
该移动终端具体可以运行安卓Android系统、苹果公司开发的移动操作系统iOS等，此处不做唯一限定。如图1B所示，以所述移动终端运行有Android系统为例，对应的用户空间包括该Android系统中的应用层(Applications)，操作系统空间可以包括该Android系统中的应用程序框架层(Application Framework)、系统运行库层(包括系统运行库层Libraries和Android运行时Android Runtime)、Linux内核层(Linux Kernel)。其中，应用层上包括各类与用户直接交互的应用程序，或由Java语言编写的运行于后台的服务程序。例如，智能手机上实现的常见基本功能的程序，诸如短消息业务(Short MessagingService，SMS)短信，电话拨号，图片浏览器，日历，游戏，地图，万维网(World Wide Web，Web)浏览器等程序，以及开发人员开发的其他应用程序。应用程序框架层提供开发Android应用程序所需的一系列类库，能够用于重用组件，也可以通过继承实现个性化的扩展。系统运行库层是应用程序框架的支撑，为Android系统中的各个组件提供服务。系统运行库层由系统类库和Android运行时构成。Android运行时包含核心库和Dalvik虚拟机两部分。Linux内核层用于实现硬件设备驱动，进程和内存管理，网络协议栈，电源管理，无线通信等核心功能。
移动终端可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备(例如智能手表、智能手环、计步器等)、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(User Equipment，UE)，移动台(Mobile Station，MS)，终端设备(terminal device)等等。为方便描述，上面提到的设备统称为移动终端。
下面对本申请实施例进行详细介绍。
请参阅图2A，图2A是本申请实施例提供了一种图像数据处理方法的流程示意图，应用于移动终端，所述移动终端包括应用处理器AP和设置于所述AP之外的第一数字信号处理器DSP，所述AP连接所述第一DSP；本图像数据处理方法包括：
S201，移动终端通过所述AP获取被拍摄目标的原始图像数据，以及确定针对所述被拍摄目标的图像优化功能；
其中，所述被拍摄目标包括人物和物体，具体不做唯一限定。所述图像优化功能是指场景内置的或者用户侧选取的用于进一步优化图像效果的功能，包括但不限于美颜、磨皮、滤镜等功能。
S202，所述移动终端通过所述AP和所述第一DSP根据所述图像优化功能联合处理所述原始图像数据以得到目标图像数据；
S203，所述移动终端通过所述AP根据所述目标图像数据生成所述被拍摄目标的照片。
可以看出，本申请实施例中，移动终端包括应用处理器AP和设置于AP之外的第一数字信号处理器DSP，AP连接第一DSP；移动终端首先通过AP获取被拍摄目标的原始图像数据，以及确定针对被拍摄目标的图像优化功能，其次，通过AP和第一DSP根据图像优化功能联合处理原始图像数据以得到目标图像数据，最后，通过AP根据目标图像数据生成被拍摄目标的照片。可见，相对于传统通过AP内置DSP的图像数据处理方案，移动终端能够通过AP和外置DSP联合处理原始图像数据，即可以将原本AP的数据处理操作中的部分专属数据处理操作专门划分到该外置的第一DSP来完成，从而AP侧针对单张图像的数据处理操作减少，第一DSP可以在AP处理数据时同步处理AP侧已经处理好的数据，从而提高移动终端处理图像数据的效率和流畅度。
在一个可能的示例中，所述移动终端通过所述AP和所述第一DSP根据所述图像优化功能联合处理所述原始图像数据以得到目标图像数据，包括：所述移动终端通过所述AP处理所述原始图像数据以获取参考图像数据；通过所述第一DSP获取所述参考图像数据，并按照所述图像优化功能处理所述参考图像数据以获取目标图像数据；通过所述AP获取所述第一DSP处理后的所述目标图像数据，并根据所述目标图像数据生成所述被拍摄目标的照片。
具体实现中，针对单张照片的原始图像数据处理场景(即单拍场景)，可以基于分区和并行涉及思路来提高AP和第一DSP进行联合处理时的数据处理效率，具体的，可以将原始图像数据按照像素区域分成至少2组数据，假设为第一组原始图像数据和第二组原始图像数据，则AP在处理完第一组原始图像数据得到对应的第一组参考图像数据后，继续处理第二组原始图像数据，同时，将第一组参考图像数据同步传给第一DSP，第一DSP可以在AP处理第二组原始图像数据的过程中，对第一组参考图像数据根据图像优化功能进行处理，从而降低整体数据处理时长，提高单张图片的数据处理效率。
具体实现中，针对多张照片的原始图像数据处理场景(即连拍场景)，可以基于分区和并行涉及思路来提高AP和第一DSP进行联合处理时的数据处理效率，具体的，AP在处理完第一张照片的原始图像数据后，将该第一张照片的参考图像数据传给第一DSP进行优化处理，同步的，AP可以处理第二张照片的原始图像数据，从而AP无需等待前一张照片的原始图像数据完全优化好才串行处理后一张照片的原始图像数据，减少了多张照片的原始图像数据的处理时长，提高图像数据处理效率和流畅度。
可见，本示例中，移动终端能够将图像优化功能对应的数据优化处理操作专门分配由第一DSP来完成，如此AP仅需要执行除该数据优化处理操作之外的常规操作，从而AP和第一DSP通过联合处理可以有效降低原始图像数据的整体处理时长，提高移动终端处理图像数据的效率和流畅度。
在一个可能的示例中，所述AP内置图形信号处理器ISP；所述移动终端通过所述AP处理所述原始图像数据以获取参考图像数据，包括：所述移动终端通过所述ISP调用预设的图像处理算法；通过所述ISP按照所述图像处理算法处理所述原始图像数据以获取参考图像数据。
其中，ISP是指集成在系统级芯片SoC如AP中的一颗处理器，专门负责处理移动终端的相机应用的拍照、录像等数据。
具体实现中，所述预设的图像处理算法主要应用对摄像头采集的信号即原始图像数据进行运算处理，经过线性纠正、噪点去除、坏点修补、颜色插值、白平衡校正、曝光校正等处理后，得到参考图像数据。ISP在很大程度上决定手机相机最终的成像质量，通常对图像质量的改善空间可达10％-15％。
可见，本示例中，由于AP侧对原始图像数据的处理操作相对固化，如此AP每次仅需要调用相同的图像处理算法对原始图像数据进行统一处理即可，无需从多类图像处理算法中筛选，提高数据处理效率。
在一个可能的示例中，所述移动终端通过所述第一DSP按照所述图像优化功能处理所述参考图像数据以获取目标图像数据，包括：所述移动终端通过所述第一DSP调用预存的所述图像优化功能适配的图像优化算法；通过所述第一DSP按照所述图像优化算法处理所述参考图像数据以获取目标图像数据。
其中，移动终端可以预存图像优化算法库，AP传输参考图像数据过来时，可以在数据包中携带本次做图像优化功能的标识信息，从而第一DSP在接收该对应的数据包后，仅需要通过该标识信息查询上述图像优化算法库，获取本次图像优化功能适配的图像优化算法，进而调用该图像优化算法对当前参考图像数据进行处理。
可见，本示例中，由于第一DSP根据图像优化功能专用于对照片进行图像优化处理，如此设置使得图像数据的处理效率得以提高，且图像处理效果直接由该第一DSP的处理性能决定，使得拍照效果仅需要调整第一DSP的性能参数即可便捷的首先调整，提高便捷性和智能性。
在一个可能的示例中，所述AP内置第二DSP，所述第一DSP的性能高于所述第二DSP；
所述移动终端还包括摄像头、显示屏；所述摄像头通过第一相机串行接口CSI连接所述AP中的图形信号处理器ISP，所述ISP通过第一显示串行接口DSI连接所述第一DSP，所述第一DSP通过第二CSI连接所述ISP，所述AP通过所述第二DSI连接显示屏；
所述图像优化功能至少包括以下任意一种：滤镜、磨皮、美颜。
具体实现中，如图2B所述，所述摄像头可以通过第一相机串行接口CSI连接所述AP中的所述ISP，所述ISP可以通过第一显示串行接口DSI连接所述第二DSP，所述第二DSP可以通过第二CSI连接所述AP，所述AP可以通过第二DSI连接所述显示屏，移动终端通过摄像头拍照，获取原始图像数据经第一CSI传入AP，经AP中的ISP处理得到参考图像数据，该参考图像数据经第一DSI传入第二DSP，经第二DSP根据图像优化功能进一步处理得到目标图像数据，该目标图像数据通过第二CSI再回传给AP，最后AP根据目标图像数据生成照片，或者经第二DSI传给显示屏进行显示。
可见，本示例中，移动终端通过使用性能更好的、相对AP外置的第一DSP来辅助AP进行图像数据的处理，有利于提高拍照数据处理效率和成像效果。
与所述图2A所示的实施例一致的，请参阅图3，图3是本申请实施例提供的一种图像数据处理方法的流程示意图，应用于移动终端，所述移动终端包括应用处理器AP和设置于所述AP之外的第一数字信号处理器DSP，所述AP连接所述第一DSP。如图所示，本图像数据处理方法包括：
S301，所述移动终端通过所述AP获取被拍摄目标的原始图像数据，以及确定针对所述被拍摄目标的图像优化功能；
S302，所述移动终端通过所述AP处理所述原始图像数据以获取参考图像数据；
S303，所述移动终端通过所述第一DSP获取所述参考图像数据，并按照所述图像优化功能处理所述参考图像数据以获取目标图像数据；
S304，所述移动终端通过所述AP根据所述目标图像数据生成所述被拍摄目标的照片。
可以看出，本申请实施例中，移动终端包括应用处理器AP和设置于AP之外的第一数字信号处理器DSP，AP连接第一DSP；移动终端首先通过AP获取被拍摄目标的原始图像数据，以及确定针对被拍摄目标的图像优化功能，其次，通过AP和第一DSP根据图像优化功能联合处理原始图像数据以得到目标图像数据，最后，通过AP根据目标图像数据生成被拍摄目标的照片。可见，相对于传统通过AP内置DSP的图像数据处理方案，移动终端能够通过AP和外置DSP联合处理原始图像数据，即可以将原本AP的数据处理操作中的部分专属数据处理操作专门划分到该外置的第一DSP来完成，从而AP侧针对单张图像的数据处理操作减少，第一DSP可以在AP处理数据时同步处理AP侧已经处理好的数据，从而提高移动终端处理图像数据的效率和流畅度。
此外，移动终端能够将图像优化功能对应的数据优化处理操作专门分配由第一DSP来完成，如此AP仅需要执行除该数据优化处理操作之外的常规操作，从而AP和第一DSP通过联合处理可以有效降低原始图像数据的整体处理时长，提高移动终端处理图像数据的效率和流畅度。
与所述图2A所示的实施例一致的，请参阅图4，图4是本申请实施例提供的一种图像数据处理方法的流程示意图，应用于移动终端，所述移动终端包括应用处理器AP和设置于所述AP之外的第一数字信号处理器DSP，所述AP连接所述第一DSP。如图所示，本图像数据处理方法包括：
S401，所述移动终端通过所述AP获取被拍摄目标的原始图像数据，以及确定针对所述被拍摄目标的图像优化功能；所述AP内置图形信号处理器ISP；
S402，所述移动终端通过所述ISP调用预设的图像处理算法；
S403，所述移动终端通过所述ISP按照所述图像处理算法处理所述原始图像数据以获取参考图像数据。
S404，所述移动终端通过所述第一DSP获取所述参考图像数据，通过所述第一DSP调用预存的所述图像优化功能适配的图像优化算法；
S405，所述移动终端通过所述第一DSP按照所述图像优化算法处理所述参考图像数据以获取目标图像数据。
S406，所述移动终端通过所述AP根据所述目标图像数据生成所述被拍摄目标的照片。
可以看出，本申请实施例，移动终端包括应用处理器AP和设置于AP之外的第一数字信号处理器DSP，AP连接第一DSP；移动终端首先通过AP获取被拍摄目标的原始图像数据，以及确定针对被拍摄目标的图像优化功能，其次，通过AP和第一DSP根据图像优化功能联合处理原始图像数据以得到目标图像数据，最后，通过AP根据目标图像数据生成被拍摄目标的照片。可见，相对于传统通过AP内置DSP的图像数据处理方案，移动终端能够通过AP和外置DSP联合处理原始图像数据，即可以将原本AP的数据处理操作中的部分专属数据处理操作专门划分到该外置的第一DSP来完成，从而AP侧针对单张图像的数据处理操作减少，第一DSP可以在AP处理数据时同步处理AP侧已经处理好的数据，从而提高移动终端处理图像数据的效率和流畅度。
此外，移动终端能够将图像优化功能对应的数据优化处理操作专门分配由第一DSP来完成，如此AP仅需要执行除该数据优化处理操作之外的常规操作，从而AP和第一DSP通过联合处理可以有效降低原始图像数据的整体处理时长，提高移动终端处理图像数据的效率和流畅度。
此外，由于AP侧对原始图像数据的处理操作相对固化，如此AP每次仅需要调用相同的图像处理算法对原始图像数据进行统一处理即可，无需从多类图像处理算法中筛选，提高数据处理效率。
此外，由于第一DSP根据图像优化功能专用于对照片进行图像优化处理，如此设置使得图像数据的处理效率得以提高，且图像处理效果直接由该第一DSP的处理性能决定，使得拍照效果仅需要调整第一DSP的性能参数即可便捷的首先调整，提高便捷性和智能性。
与所述图2A、图3、图4所示的实施例一致的，请参阅图5，图5是本申请实施例提供的一种移动终端的结构示意图，该移动终端运行有一个或多个应用程序和操作系统，所述移动终端包括应用处理器AP和设置于所述AP之外的第一数字信号处理器DSP，所述AP连接所述第一DSP；如图所示，该移动终端还包括存储器、通信接口以及一个或多个程序，其中，所述一个或多个程序不同于所述一个或多个应用程序，且所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行以下步骤的指令；
通过所述AP获取被拍摄目标的原始图像数据，以及确定针对所述被拍摄目标的图像优化功能；
通过所述AP和所述第一DSP根据所述图像优化功能联合处理所述原始图像数据以得到目标图像数据；
通过所述AP根据所述目标图像数据生成所述被拍摄目标的照片。
可以看出，本申请实施例中，移动终端包括应用处理器AP和设置于AP之外的第一数字信号处理器DSP，AP连接第一DSP；移动终端首先通过AP获取被拍摄目标的原始图像数据，以及确定针对被拍摄目标的图像优化功能，其次，通过AP和第一DSP根据图像优化功能联合处理原始图像数据以得到目标图像数据，最后，通过AP根据目标图像数据生成被拍摄目标的照片。可见，相对于传统通过AP内置DSP的图像数据处理方案，移动终端能够通过AP和外置DSP联合处理原始图像数据，即可以将原本AP的数据处理操作中的部分专属数据处理操作专门划分到该外置的第一DSP来完成，从而AP侧针对单张图像的数据处理操作减少，第一DSP可以在AP处理数据时同步处理AP侧已经处理好的数据，从而提高移动终端处理图像数据的效率和流畅度。
在一个可能的示例中，在所述通过所述AP和所述第一DSP根据所述图像优化功能联合处理所述原始图像数据以得到目标图像数据方面，所述程序中的指令具体用于执行以下操作：通过所述AP处理所述原始图像数据以获取参考图像数据；以及用于通过所述第一DSP获取所述参考图像数据，并按照所述图像优化功能处理所述参考图像数据以获取目标图像数据。
在一个可能的示例中，所述AP内置图形信号处理器ISP；在所述通过所述AP处理所述原始图像数据以获取参考图像数据方面，所述程序中的指令具体用于执行以下操作：通过所述ISP调用预设的图像处理算法；以及用于通过所述ISP按照所述图像处理算法处理所述原始图像数据以获取参考图像数据。
在一个可能的示例中，在所述通过所述第一DSP按照所述图像优化功能处理所述参考图像数据以获取目标图像数据方面，所述程序中的指令具体用于执行以下操作：通过所述第一DSP调用预存的所述图像优化功能适配的图像优化算法；以及用于通过所述第一DSP按照所述图像优化算法处理所述参考图像数据以获取目标图像数据。
在一个可能的示例中，所述AP内置第二DSP，所述第一DSP的性能高于所述第二DSP；
所述移动终端还包括摄像头、显示屏；所述摄像头通过第一相机串行接口CSI连接所述AP中的图形信号处理器ISP，所述ISP通过第一显示串行接口DSI连接所述第一DSP，所述第一DSP通过第二CSI连接所述ISP，所述AP通过所述第二DSI连接显示屏；
所述图像优化功能至少包括以下任意一种：滤镜、磨皮、美颜。
上述实施例主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，移动终端为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据所述方法示例对移动终端进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。所述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
下面为本发明装置实施例，本发明装置实施例用于执行本发明方法实施例所实现的方法。如图6所示，本申请实施例提供了一种图像数据处理装置，应用于移动终端，所述移动终端包括应用处理器AP和设置于所述AP之外的第一数字信号处理器DSP，所述AP连接所述第一DSP；所述图像数据处理装置包括获取单元601、处理单元602和生成单元603，其中，
所述获取单元601，用于通过所述AP获取被拍摄目标的原始图像数据，以及确定针对所述被拍摄目标的图像优化功能；
所述处理单元602，用于通过所述AP和所述第一DSP根据所述图像优化功能联合处理所述原始图像数据以得到目标图像数据；
所述生成单元603，用于通过所述AP根据所述目标图像数据生成所述被拍摄目标的照片。
可以看出，本申请实施例中，移动终端包括应用处理器AP和设置于AP之外的第一数字信号处理器DSP，AP连接第一DSP；移动终端首先通过AP获取被拍摄目标的原始图像数据，以及确定针对被拍摄目标的图像优化功能，其次，通过AP和第一DSP根据图像优化功能联合处理原始图像数据以得到目标图像数据，最后，通过AP根据目标图像数据生成被拍摄目标的照片。可见，相对于传统通过AP内置DSP的图像数据处理方案，移动终端能够通过AP和外置DSP联合处理原始图像数据，即可以将原本AP的数据处理操作中的部分专属数据处理操作专门划分到该外置的第一DSP来完成，从而AP侧针对单张图像的数据处理操作减少，第一DSP可以在AP处理数据时同步处理AP侧已经处理好的数据，从而提高移动终端处理图像数据的效率和流畅度。
在一个可能的示例中，在所述通过所述AP和所述第一DSP根据所述图像优化功能联合处理所述原始图像数据以得到目标图像数据方面，所述处理单元602具体用于：通过所述AP处理所述原始图像数据以获取参考图像数据；以及用于通过所述第一DSP获取所述参考图像数据，并按照所述图像优化功能处理所述参考图像数据以获取目标图像数据；以及用于通过所述AP获取所述第一DSP处理后的所述目标图像数据，并根据所述目标图像数据生成所述被拍摄目标的照片。
在一个可能的示例中，所述AP内置图形信号处理器ISP；在所述通过所述AP处理所述原始图像数据以获取参考图像数据方面，所述获取单元601具体用于：通过所述ISP调用预设的图像处理算法；以及用于通过所述ISP按照所述图像处理算法处理所述原始图像数据以获取参考图像数据。
在一个可能的示例中，在所述通过所述第一DSP按照所述图像优化功能处理所述参考图像数据以获取目标图像数据方面，所述处理单元602具体用于：通过所述第一DSP调用预存的所述图像优化功能适配的图像优化算法；以及用于通过所述第一DSP按照所述图像优化算法处理所述参考图像数据以获取目标图像数据。
在一个可能的示例中，所述AP内置第二DSP，所述第一DSP的性能高于所述第二DSP；
所述移动终端还包括摄像头、显示屏；所述摄像头通过第一相机串行接口CSI连接所述AP中的图形信号处理器ISP，所述ISP通过第一显示串行接口DSI连接所述第一DSP，所述第一DSP通过第二CSI连接所述ISP，所述AP通过所述第二DSI连接显示屏；
所述图像优化功能至少包括以下任意一种：滤镜、磨皮、美颜。
请参阅图7，图7是本申请提供的一种移动终端的结构示意图，移动终端700包括：壳体710、电路板720、电池730、盖板740、跌落传感器750、收发器760、显示屏770、以及控制跌落传感器750、收发器760和显示屏770的控制器780；盖板740设置在壳体710上，跌落传感器750、收发器760和控制器780设置在电路板720上，显示屏770与控制器780连接，其中，跌落传感器750包括加速度传感器、陀螺仪、计时器等等。
其中，移动终端首先移动终端通过AP获取被拍摄目标的原始图像数据，以及确定针对被拍摄目标的图像优化功能；通过AP和第一DSP根据图像优化功能联合处理原始图像数据以得到目标图像数据；通过AP根据目标图像数据生成被拍摄目标的照片。
其中，显示屏770包括触控屏和显示屏，显示屏包括有机发光二极管显示屏OLED。
其中，控制器780可以包括处理器和存储器，该处理器是移动终端的控制中心，利用各种接口和线路连接整个移动终端的各个部分，通过运行或执行存储在存储器内的软件程序和/或模块，以及调用存储在存储器内的数据，执行移动终端的各种功能和处理数据，从而对移动终端进行整体监测。可选的，处理器可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，所述调制解调处理器也可以不集成到处理器中。
其中，存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行移动终端的各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据移动终端的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤，上述计算机包括移动终端。
本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，上述计算机包括移动终端。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (12)

1.一种图像数据处理方法，其特征在于，应用于移动终端，所述移动终端包括应用处理器AP和设置于所述AP之外的第一数字信号处理器DSP，所述AP连接所述第一DSP；所述方法包括：
通过所述AP获取被拍摄目标的原始图像数据，以及确定针对所述被拍摄目标的图像优化功能；
通过所述AP和所述第一DSP根据所述图像优化功能联合处理所述原始图像数据以得到目标图像数据；
通过所述AP根据所述目标图像数据生成所述被拍摄目标的照片。
2.根据权利要求1所述的方法，其特征在于，所述通过所述AP和所述第一DSP根据所述图像优化功能联合处理所述原始图像数据以得到目标图像数据，包括：
通过所述AP处理所述原始图像数据以获取参考图像数据；
通过所述第一DSP获取所述参考图像数据，并按照所述图像优化功能处理所述参考图像数据以获取目标图像数据。
3.根据权利要求2所述的方法，其特征在于，所述AP内置图形信号处理器ISP；所述通过所述AP处理所述原始图像数据以获取参考图像数据，包括：
通过所述ISP调用预设的图像处理算法；
通过所述ISP按照所述图像处理算法处理所述原始图像数据以获取参考图像数据。
4.根据权利要求2或3所述的方法，其特征在于，所述通过所述第一DSP按照所述图像优化功能处理所述参考图像数据以获取目标图像数据，包括：
通过所述第一DSP调用预存的所述图像优化功能适配的图像优化算法；
通过所述第一DSP按照所述图像优化算法处理所述参考图像数据以获取目标图像数据。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述AP内置第二DSP，所述第一DSP的性能高于所述第二DSP；
所述移动终端还包括摄像头、显示屏；所述摄像头通过第一相机串行接口CSI连接所述AP中的图形信号处理器ISP，所述ISP通过第一显示串行接口DSI连接所述第一DSP，所述第一DSP通过第二CSI连接所述ISP，所述AP通过所述第二DSI连接显示屏；
所述图像优化功能至少包括以下任意一种：滤镜、磨皮、美颜。
6.一种图像数据处理装置，其特征在于，应用于移动终端，所述移动终端包括应用处理器AP和设置于所述AP之外的第一数字信号处理器DSP，所述AP连接所述第一DSP；所述图像数据处理装置包括获取单元、处理单元和生成单元，其中，
所述获取单元，用于通过所述AP获取被拍摄目标的原始图像数据，以及确定针对所述被拍摄目标的图像优化功能；
所述处理单元，用于通过所述AP和所述第一DSP根据所述图像优化功能联合处理所述原始图像数据以得到目标图像数据；
所述生成单元，用于通过所述AP根据所述目标图像数据生成所述被拍摄目标的照片。
7.根据权利要求6所述的装置，其特征在于，在所述通过所述AP和所述第一DSP根据所述图像优化功能联合处理所述原始图像数据以得到目标图像数据方面，所述处理单元具体用于：通过所述AP处理所述原始图像数据以获取参考图像数据；以及用于通过所述第一DSP获取所述参考图像数据，并按照所述图像优化功能处理所述参考图像数据以获取目标图像数据；以及用于通过所述AP获取所述第一DSP处理后的所述目标图像数据，并根据所述目标图像数据生成所述被拍摄目标的照片。
8.根据权利要求7所述的装置，其特征在于，所述AP内置图形信号处理器ISP；在所述通过所述AP处理所述原始图像数据以获取参考图像数据方面，所述获取单元具体用于：通过所述ISP调用预设的图像处理算法；以及用于通过所述ISP按照所述图像处理算法处理所述原始图像数据以获取参考图像数据。
9.根据权利要求7或8所述的装置，其特征在于，在所述通过所述第一DSP按照所述图像优化功能处理所述参考图像数据以获取目标图像数据方面，所述处理单元具体用于：通过所述第一DSP调用预存的所述图像优化功能适配的图像优化算法；以及用于通过所述第一DSP按照所述图像优化算法处理所述参考图像数据以获取目标图像数据。
10.根据权利要求6-9任一项所述的装置，其特征在于，所述AP内置第二DSP，所述第一DSP的性能高于所述第二DSP；
所述移动终端还包括摄像头、显示屏；所述摄像头通过第一相机串行接口CSI连接所述AP中的图形信号处理器ISP，所述ISP通过第一显示串行接口DSI连接所述第一DSP，所述第一DSP通过第二CSI连接所述ISP，所述AP通过所述第二DSI连接显示屏；
所述图像优化功能至少包括以下任意一种：滤镜、磨皮、美颜。
11.一种移动终端，其特征在于，包括处理器、存储器、通信接口，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1-5任一项所述的方法中的步骤的指令。
12.一种计算机可读存储介质，其特征在于，存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-5任一项所述的方法。
CN201810402129.3A 2018-04-28 2018-04-28 图像数据处理方法及相关装置 Active CN108495043B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810402129.3A CN108495043B (zh) 2018-04-28 2018-04-28 图像数据处理方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810402129.3A CN108495043B (zh) 2018-04-28 2018-04-28 图像数据处理方法及相关装置

Publications (2)

Publication Number Publication Date
CN108495043A true CN108495043A (zh) 2018-09-04
CN108495043B CN108495043B (zh) 2020-08-07

Family

ID=63314434

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810402129.3A Active CN108495043B (zh) 2018-04-28 2018-04-28 图像数据处理方法及相关装置

Country Status (1)

Country Link
CN (1) CN108495043B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111698414A (zh) * 2019-03-14 2020-09-22 北京小米移动软件有限公司 图像信号处理方法及装置、电子设备、可读存储介质
WO2020207192A1 (zh) * 2019-04-10 2020-10-15 Oppo广东移动通信有限公司 图像处理器、图像处理方法、拍摄装置和电子设备
CN113873141A (zh) * 2020-06-30 2021-12-31 Oppo广东移动通信有限公司 电子设备
CN114071007A (zh) * 2020-08-07 2022-02-18 Oppo广东移动通信有限公司 图像处理方法、多媒体处理芯片以及电子设备
WO2023272622A1 (en) * 2021-06-30 2023-01-05 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method of generating an image, electronic device, apparatus, and computer readable storage medium

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090138841A1 (en) * 2005-02-09 2009-05-28 Checksum, Llc System and apparatus for in-system programming
CN102883167A (zh) * 2012-09-19 2013-01-16 旗瀚科技有限公司 一种视频图像数据处理方法及系统
CN105872447A (zh) * 2016-05-26 2016-08-17 努比亚技术有限公司 一种视频图像处理装置和方法
US20170006208A1 (en) * 2013-12-06 2017-01-05 Huawei Device Co., Ltd Photographing Method of Dual-Lens Device, and Dual-Lens Device
CN106688016A (zh) * 2016-11-30 2017-05-17 深圳市大疆创新科技有限公司 处理视频流的方法和终端
CN106993177A (zh) * 2016-10-12 2017-07-28 深圳市圆周率软件科技有限责任公司 一种双目720度全景采集系统
CN107222686A (zh) * 2017-06-30 2017-09-29 维沃移动通信有限公司 一种图像数据的处理方法和装置
CN107277351A (zh) * 2017-06-30 2017-10-20 维沃移动通信有限公司 一种图像数据的处理方法和移动终端
CN107623804A (zh) * 2016-07-14 2018-01-23 幸福在线（北京）网络技术有限公司 一种终端设备及拍摄全景图像的方法
CN107872558A (zh) * 2016-09-26 2018-04-03 福州瑞芯微电子股份有限公司 一种智能电子设备、图像处理单元、图像采集装置和图像采集方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090138841A1 (en) * 2005-02-09 2009-05-28 Checksum, Llc System and apparatus for in-system programming
CN102883167A (zh) * 2012-09-19 2013-01-16 旗瀚科技有限公司 一种视频图像数据处理方法及系统
US20170006208A1 (en) * 2013-12-06 2017-01-05 Huawei Device Co., Ltd Photographing Method of Dual-Lens Device, and Dual-Lens Device
CN105872447A (zh) * 2016-05-26 2016-08-17 努比亚技术有限公司 一种视频图像处理装置和方法
CN107623804A (zh) * 2016-07-14 2018-01-23 幸福在线（北京）网络技术有限公司 一种终端设备及拍摄全景图像的方法
CN107872558A (zh) * 2016-09-26 2018-04-03 福州瑞芯微电子股份有限公司 一种智能电子设备、图像处理单元、图像采集装置和图像采集方法
CN106993177A (zh) * 2016-10-12 2017-07-28 深圳市圆周率软件科技有限责任公司 一种双目720度全景采集系统
CN106688016A (zh) * 2016-11-30 2017-05-17 深圳市大疆创新科技有限公司 处理视频流的方法和终端
CN107222686A (zh) * 2017-06-30 2017-09-29 维沃移动通信有限公司 一种图像数据的处理方法和装置
CN107277351A (zh) * 2017-06-30 2017-10-20 维沃移动通信有限公司 一种图像数据的处理方法和移动终端

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111698414A (zh) * 2019-03-14 2020-09-22 北京小米移动软件有限公司 图像信号处理方法及装置、电子设备、可读存储介质
CN111698414B (zh) * 2019-03-14 2021-11-16 北京小米移动软件有限公司 图像信号处理方法及装置、电子设备、可读存储介质
WO2020207192A1 (zh) * 2019-04-10 2020-10-15 Oppo广东移动通信有限公司 图像处理器、图像处理方法、拍摄装置和电子设备
CN113873141A (zh) * 2020-06-30 2021-12-31 Oppo广东移动通信有限公司 电子设备
CN114071007A (zh) * 2020-08-07 2022-02-18 Oppo广东移动通信有限公司 图像处理方法、多媒体处理芯片以及电子设备
WO2023272622A1 (en) * 2021-06-30 2023-01-05 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method of generating an image, electronic device, apparatus, and computer readable storage medium

Also Published As

Publication number Publication date
CN108495043B (zh) 2020-08-07

Similar Documents

Publication Publication Date Title
CN108495043A (zh) 图像数据处理方法及相关装置
CN110377250A (zh) 一种投屏场景下的触控方法及电子设备
CN102171665B (zh) 使用中央dma机制进行数据过滤
CN104134230A (zh) 一种图像处理方法、装置及计算机设备
CN111190681A (zh) 显示界面适配方法、显示界面适配设计方法和电子设备
CN117063461A (zh) 一种图像处理方法和电子设备
CN106031157A (zh) 用于处理图像的电子设备和方法
WO2020192209A1 (zh) 一种基于Dual Camera+TOF的大光圈虚化方法
US11016769B1 (en) Method and apparatus for processing information
CN110413420B (zh) 数据传输方法、装置、终端及存储介质
CN108880700A (zh) 时钟信号的频率跳变方法、频率跳变装置及移动终端
CN108536480A (zh) 输入法配置方法及相关产品
CN110673944A (zh) 执行任务的方法和装置
CN108459882A (zh) 电子设备及其控制方法
CN111045732A (zh) 数据处理方法、芯片、设备及存储介质
CN107670276B (zh) 游戏应用控制方法及设备
CN108762983A (zh) 多媒体数据恢复方法及装置
CN108876782A (zh) 回忆视频创建方法及相关装置
CN110490798A (zh) 点云拼接方法及系统
WO2022095906A1 (zh) 一种按键映射方法、电子设备及系统
CN109377460A (zh) 一种图像处理方法、图像处理装置及终端设备
CN109640572A (zh) 设备安装方法、装置、终端设备及计算机可读存储介质
CN111371998B (zh) 相机启动控制方法及相关装置
JP2007006125A (ja) 画像処理支援装置、電子カメラ、画像処理装置、現像処理システム、並びにこれらの画像処理支援装置および画像処理装置を実現するプログラム
CN109151557A (zh) 视频创建方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant