CN115883948A - 一种图像处理架构、图像处理方法、设备及存储介质 - Google Patents

一种图像处理架构、图像处理方法、设备及存储介质 Download PDF

Info

Publication number
CN115883948A
CN115883948A CN202111143927.7A CN202111143927A CN115883948A CN 115883948 A CN115883948 A CN 115883948A CN 202111143927 A CN202111143927 A CN 202111143927A CN 115883948 A CN115883948 A CN 115883948A
Authority
CN
China
Prior art keywords
image processing
image
module
processing chip
abstraction layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111143927.7A
Other languages
English (en)
Inventor
王文东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202111143927.7A priority Critical patent/CN115883948A/zh
Priority to PCT/CN2022/120155 priority patent/WO2023051339A1/zh
Publication of CN115883948A publication Critical patent/CN115883948A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Stored Programmes (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请实施例公开了一种图像处理架构、图像处理方法、设备及存储介质，应用于应用处理芯片，且该图像处理架构包括多媒体服务模块、第一硬件抽象层模块和第一驱动模块；其中，多媒体服务模块，用于获取图像参数，并将图像参数发送给第一硬件抽象层模块；第一硬件抽象层模块，用于将图像参数发送给第一驱动模块；第一驱动模块，用于接收图像参数，将图像参数发送给图像处理芯片，以使得图像处理芯片与应用处理芯片配合进行图像处理。这样，既能够充分发挥图像处理芯片的功能，又具有足够的可扩展性和灵活性，从而可以更好地实现图像处理能力，提升图像质量，同时还可以更好地解决图像处理芯片和应用处理芯片之间的协同工作和时序问题。

Description

一种图像处理架构、图像处理方法、设备及存储介质
技术领域
本申请涉及图像处理技术领域，尤其涉及一种图像处理架构、图像处理方法、设备及存储介质。
背景技术
随着计算机技术的不断发展，电子设备(如智能手机、掌上电脑、相机等)的使用越来越普及，绝大多数用户通过电子设备拍摄的图像来记录学习、工作与生活等，而用户对拍摄的图像质量的要求也越来越高。
近年来，为了提高拍摄的图像质量，虽然目前已经存在一些图像处理方案，但是已有的图像处理方案并不能够满足某些需求，导致图像处理能力受限，使得图像质量较差。
发明内容
本申请提出一种图像处理架构、图像处理方法、设备及存储介质，不仅能够充分发挥图像处理芯片的功能，又具有足够的可扩展性和灵活性，从而能够更好地实现图像处理能力，提升图像质量。
为达到上述目的，本申请的技术方案是这样实现的：
第一方面，本申请实施例提供了一种图像处理架构，应用于应用处理芯片，且该图像处理架构包括多媒体服务模块、第一硬件抽象层模块和第一驱动模块；其中，
多媒体服务模块，用于获取图像参数，并将图像参数发送给第一硬件抽象层模块；
第一硬件抽象层模块，用于将图像参数发送给第一驱动模块；
第一驱动模块，用于接收图像参数，将图像参数发送给图像处理芯片，以使得图像处理芯片与应用处理芯片配合进行图像处理。
第二方面，本申请实施例提供了一种图像处理方法，应用于包括多媒体服务模块、第一硬件抽象层模块和第一驱动模块的图像处理架构，且该图像处理架构应用于应用处理芯片，所述方法包括：
通过多媒体服务模块获取图像参数，并将图像参数发送给第一硬件抽象层模块；
通过第一硬件抽象层模块将图像参数发送给第一驱动模块；
通过第一驱动模块接收图像参数，将图像参数发送给图像处理芯片，以使得图像处理芯片与应用处理芯片配合进行图像处理。
第三方面，本申请实施例提供了一种终端设备，该终端设备包括存储器和处理器；其中，
存储器，用于存储能够在处理器上运行的计算机程序；
处理器，用于在运行计算机程序时，执行如第二方面所述的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，所述计算机程序被至少一个处理器执行时实现如第二方面所述的方法。
本申请实施例所提供的一种图像处理架构、图像处理方法、设备及存储介质，应用于应用处理芯片，且该图像处理架构包括多媒体服务模块、第一硬件抽象层模块和第一驱动模块；其中，多媒体服务模块，用于获取图像参数，并将图像参数发送给第一硬件抽象层模块；第一硬件抽象层模块，用于将图像参数发送给第一驱动模块；第一驱动模块，用于接收图像参数，将图像参数发送给图像处理芯片，以使得图像处理芯片与应用处理芯片配合进行图像处理。这样，既能够充分发挥图像处理芯片的功能，又具有足够的可扩展性和灵活性，从而可以更好地实现图像处理能力，提升图像质量，同时还可以更好地解决图像处理芯片和应用处理芯片之间的协同工作和时序问题。
附图说明
图1为本申请实施例提供的一种图像处理架构的组成结构示意图；
图2为本申请实施例提供的另一种图像处理架构的组成结构示意图；
图3为本申请实施例提供的一种图像处理架构的总体框图示意图；
图4为本申请实施例提供的一种图像处理方法的流程示意图；
图5为本申请实施例提供的一种图像处理方法的详细流程示意图；
图6为本申请实施例提供的一种终端设备的组成结构示意图。
具体实施方式
为了能够更加详尽地了解本申请实施例的特点与技术内容，下面结合附图对本申请实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本申请实施例。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。还需要指出，本申请实施例所涉及的术语“第一\第二\第三”仅是用于区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
随着计算机技术的不断发展，图像处理技术日渐多样化。目前，不同类别的系统级芯片(System on Chip，SoC)都包含了自身的图像信号处理器(Image Signal Processor，ISP)用于处理图像数据，应用处理芯片内的ISP主要是用于一些传统的算法实现，如坏点校正、时域降噪、三维(Three Dimensions，3D)降噪、自动白平衡、自动对焦、自动曝光等算法。然而，近年来这些应用处理芯片虽然在图像处理方面有很大的提升，但是在图像处理中应用还不够充分，导致图像处理质量仍然较差。
为了进一步提高图像质量，目前可以引入图像处理芯片，然后利用该芯片定制化的特点，能够进行很多个性化的图像数据处理以提高图像处理质量，固化的算法也可以提高图像数据处理的速度。
相应地，为了适应应用处理芯片与图像处理芯片的双芯片处理过程，本申请实施例提供了一种与之相配合的图像处理架构。该图像处理架构应用于应用处理芯片，且该图像处理架构包括多媒体服务模块、第一硬件抽象层模块和第一驱动模块；其中，多媒体服务模块，用于获取图像参数，并将图像参数发送给第一硬件抽象层模块；第一硬件抽象层模块，用于将图像参数发送给第一驱动模块；第一驱动模块，用于接收图像参数，将图像参数发送给图像处理芯片，以使得图像处理芯片与应用处理芯片配合进行图像处理。这样，既能够充分发挥图像处理芯片的功能，又具有足够的可扩展性和灵活性，从而可以更好地实现图像处理能力，提升图像质量，同时还可以更好地解决图像处理芯片和应用处理芯片之间的协同工作和时序问题。
下面将结合附图对本申请各实施例的技术方案进行详细说明。
本申请的一实施例中，参见图1，其示出了本申请实施例提供的一种图像处理架构的组成结构示意图。如图1所示，该图像处理架构10可以包括多媒体服务(MultimediaService，MMS)模块101、第一硬件抽象层模块102和第一驱动模块103；其中，
多媒体服务模块101，用于获取图像参数，并将图像参数发送给第一硬件抽象层模块102；
第一硬件抽象层模块102，用于将图像参数发送给第一驱动模块103；
第一驱动模块103，用于接收图像参数，将图像参数发送给图像处理芯片200，以使得图像处理芯片200与应用处理芯片100配合进行图像处理。
需要说明的是，本申请实施例的图像处理架构10应用于应用处理芯片100，可以使得图像处理芯片200与应用处理芯片100相互配合，从而更好地实现图像处理能力。
还需要说明的是，在本申请实施例中，应用处理芯片可以是指应用处理器(Application Processor，AP)，也可以称为“主芯片”，其通常具有处理任务多、处理能力强等特点；图像处理芯片可以是指在应用处理芯片之前增加的用于进行图像处理的芯片，其通常用于处理一些个性化需求，例如定制化效果需求、常开(Always on，AON)需求等等。
在一些实施例中，在图1所示图像处理架构10的基础上，参见图2，图像处理架构10还可以包括第二硬件抽象层模块104；其中，
第二硬件抽象层模块104，用于获取应用处理芯片100自身的配置参数，将配置参数发送给多媒体服务模块101。
需要说明的是，在本申请实施例中，配置参数可以包括场景参数、陀螺仪参数、帧率、分辨率、调试二进制(Bin)文件等等。这样，多媒体服务模块101在接收到应用处理芯片自身的配置参数后，也可以依次通过多媒体服务模块101、第一硬件抽象层模块102和第一驱动模块103将其发送给图像处理芯片，以使得图像处理芯片200能够根据这些配置参数进行图像处理。
另外，在本申请实施例中，图像参数可以包括下述至少之一：第二硬件抽象层模块发送的配置参数、多媒体服务模块内部自定义的第一图像参数和图像处理的过程中需调整的第二图像参数。
在一种具体的实施例中，以图像处理芯片的上电初始化为例，这时候的图像参数为启动参数，其中，启动参数可以包括第二硬件抽象层模块发送的配置参数和多媒体服务模块内部自定义的第一图像参数。具体如下，
多媒体服务模块101，还用于在打开相机应用程序时，获取启动参数；
第一硬件抽象层模块102，还用于接收多媒体服务模块101发送的启动参数，并将启动参数发送给第一驱动模块103；
第一驱动模块103，还用于接收启动参数，并将启动参数发送给图像处理芯片，以使得图像处理芯片200完成上电初始化。
在另一种具体的实施例中，以图像处理的过程中的参数调整为例，这时候的图像参数可以为图像处理的过程中需调整的第二图像参数。具体如下，
多媒体服务模块101，还用于获取第二图像参数；
第一硬件抽象层模块102，还用于接收多媒体服务模块101发送的第二图像参数，并将第二图像参数发送给第一驱动模块103；
第一驱动模块103，还用于接收第二图像参数，并将第二图像参数发送给图像处理芯片，以使得图像处理芯片200根据第二图像参数进行图像处理。
需要说明的是，多媒体服务模块101所获取的第二图像参数，既可以是多媒体服务模块内部的自定义图像参数，也可以是来自第二硬件抽象层模块发送的配置参数，本申请实施例不作任何限定。在这里，第二图像参数具体是指图像处理的过程中需要调整的参数，例如，第二图像参数可以是曝光参数、分辨率、帧率等等。
进一步地，在一些实施例中，应用处理芯片100和图像处理芯片200之间还可能存在一些异常监控参数，例如工作状态是否异常、温度是否过高等。对于异常监控参数来说，具体如下，
第一驱动模块103，还用于获取图像处理芯片的异常监控参数，并将异常监控参数发送给第一硬件抽象层模块102；
第一硬件抽象层模块102，还用于将异常监控参数发送给多媒体服务模块；
多媒体服务模块101，还用于接收异常监控参数，将异常监控参数发送给第二硬件抽象层模块104，以使得应用处理芯片100根据异常监控参数进行相应处理。
需要说明的是，对于多媒体服务模块101获取到的图像参数，诸如第二硬件抽象层模块104发送的配置参数、多媒体服务模块101内部自定义的第一图像参数、以及图像处理的过程中需调整的第二图像参数等等，其发送顺序是依次通过多媒体服务模块101、第一硬件抽象层模块102和第一驱动模块103，然后将其发送给图像处理芯片。而对于一些异常监控参数而言，其发送顺序则是相反的，即依次通过第一驱动模块103、第一硬件抽象层模块102和多媒体服务模块101，然后由多媒体服务模块101发送给第二硬件抽象层模块104，使得应用处理芯片能够根据异常监控参数进行相应处理。
进一步地，在一些实施例中，在图1所示图像处理架构10的基础上，参见图2，图像处理架构10还可以包括高速处理接口；其中，
图像处理芯片200，用于通过高速处理接口接收第一图像数据，并根据第二硬件抽象层模块104发送的配置参数对第一图像数据进行图像处理，得到第二图像数据；
应用处理芯片100，用于通过高速处理接口接收图像处理芯片200发送的第二图像数据和自定义图像参数，并根据自定义图像参数对第二图像数据进行图像处理，得到目标图像数据；其中，自定义图像参数至少包括3A统计信息。
需要说明的是，在本申请实施例中，3A统计信息具体是指3A参数的统计信息；其中，3A参数可以包括自动对焦(Auto Focus，AF)、自动曝光(Auto Exposure，AE)和自动白平衡(Auto White Balance，AWB)等参数。
还需要说明的是，在本申请实施例中，高速处理接口用于实现图像处理芯片和应用处理芯片之间的交互通信，可以减少图像处理芯片与应用处理芯片之间的耦合度。具体来讲，高速处理接口可以为移动产业处理器接口(Mobile Industry ProcessorInterface，MIPI)接口(如图2所示)。另外，对于MIPI接口来说，其可以包括发送接口(MIPITX)和接收接口(MIPI RX)，其中，MIPI TX可以用于发送数据，MIPI RX可以用于接收数据。
进一步地，这里的自定义图像参数除了3A统计信息之外，还可以包括元数据(Metadata)等等。针对3A统计信息来说，由于第二硬件抽象层模块104无法识别，因此，本申请实施例还需要通过多媒体服务模块101将其发送到第一硬件抽象层模块102进行解析。
在一些实施例中，多媒体服务模块101，还用于接收应用处理芯片通过第二硬件抽象层模块104发送的3A统计信息，并将3A统计信息发送给第一硬件抽象层模块102；
第一硬件抽象层模块102，还用于接收3A统计信息并进行解析，将解析后的3A统计信息发送给多媒体服务模块101；
多媒体服务模块101，还用于将解析后的3A统计信息转发给第二硬件抽象层模块104，以使得应用处理芯片根据解析后的3A统计信息对第二图像数据进行图像处理。
也就是说，在图像处理芯片侧，3A统计信息可以通过MIPI接口直接发送给应用处理芯片侧的第二硬件抽象层模块104。然后可以由第二硬件抽象层模块104将3A统计信息发送给多媒体服务模块101，再由多媒体服务模块101发送给第一硬件抽象层模块102，通过第一硬件抽象层模块102对3A统计信息进行解析，然后将解析后的3A统计信息返回给多媒体服务模块101，由多媒体服务模块101将解析后的3A统计信息转发给第二硬件抽象层模块104，从而使得应用处理芯片根据解析后的3A统计信息对第二图像数据进行图像处理。
除此之外，针对多媒体服务模块101、第一硬件抽象层模块102和第一驱动模块103等三个模块而言，其具体功能描述如下：
在一些实施例中，对于多媒体服务模块101而言，多媒体服务模块101，具体用于为图像处理芯片提供用户空间(UserSpace)的应用程序接口，通过应用程序接口可以在应用处理芯片和图像处理芯片之间传输数据。
在这里，应用程序接口至少可以包括应用(Application)层、框架(Framework)层和硬件抽象(Hardware Abstraction Layer，HAL)层的调用接口。也就是说，多媒体服务模块101可以是为实现图像处理芯片能够为UserSpace开放控制通路而设计的，具有Application层、Framework层和HAL层等供用户调用的接口。
在一些实施例中，对于第一硬件抽象层模块102而言，第一硬件抽象层模块102，具体用于为图像处理芯片实现参数配置和控制的硬件抽象层。
在这里，第一硬件抽象层模块至少可以包括：战略管控模块、场景管控模块、调试管控模块、电源管控模块、消息管控模块、参数模块、工程模式、配置模块和数据解析模块。也就是说，第一硬件抽象层模块102主要用于初始化图像处理芯片、拍照或视频处理过程中场景参数配置、场景切换控制、Power控制等功能。
在一些实施例中，对于第一驱动模块103而言，第一驱动模块103，具体用于为能够实现应用处理芯片端和图像处理芯片之间的核间通信功能。
在这里，第一驱动模块103还具有定制化的进程间通信(Inter-ProcessCommunication，IPC)驱动，可包含安全数字输入输出(Secure Digital Input andOutput，SDIO)接口、串行外设接口(Serial Peripheral Interface，SPI)等，另外其还能够实现图像处理芯片的启动(boot)功能。
示例性地，参见图3，其示出了本申请实施例提供的一种图像处理架构的总体框图示意图。对于图3而言，从专用图像芯片设计、算子定制化以及合理数据通路来确定的软件架构，主要考虑芯片和软件综合性能、功耗和效果的平衡性，从而能够实现图像处理，达到更好的拍摄效果。
具体如图3所示，该总体框图主要可以分为硬件(Hardware)部分、内核(Kernel)部分和用户(User)部分。其中，硬件部分，可以包括有相机(Camera)、图像信号处理器(ISP)、图像处理芯片、中央处理器(Central Processing Unit，CPU)、传感器(Sensor)；内核部分，可以包括用于第一驱动模块和第二驱动模块；用户部分，可以包括相机应用程序(CameraAPP)/常开(Always on，AON)模块、相机服务模块(Camera Service)、相机设备(CameraDevice)、多媒体服务模块(Multimedia Service，MMS)和第一硬件抽象层模块和第二硬件抽象层模块。在这里，MMS模块分别与Camera APP/AON模块、第二硬件抽象层模块进行交互通信，MMS模块还与第一硬件抽象层模块进行交互通信，且第一硬件抽象层模块还与第一驱动模块之间进行交互通信。另外，还需要说明的是，第一硬件抽象层模块和第一驱动模块是为图像处理芯片设计的，第二硬件抽象层模块和第二驱动模块是为相机设计的；因此，第二硬件抽象层模块可以用Camera HAL表示，第二驱动模块可以用Camera Driver表示。
在本申请实施例中，对于图像处理芯片来说，其可以当做类似应用处理器侧的CPU独立模块。对于MMS模块来说，其为实现图像处理芯片能够为UserSpace开放控制通路而设计的软件框架，具有Application层、Framework层和HAL层等供用户调用的接口。对于第一硬件抽象层模块来说，其为实现图像处理芯片硬件配置和控制的硬件抽象层，主要用于初始化图像处理芯片、拍照或视频处理过程中场景参数配置、场景切换控制以及电源(Power)控制等功能。对于第一驱动模块来说，其为能够实现应用处理芯片和图像处理芯片的核间通信功能，定制化的IPC驱动，可包含SDIO、SPI等接口，另外还能够实现图像处理芯片的boot功能。
这样，基于图3所示的总体框架，在本申请实施例中，图像处理芯片的硬件可以包含控制器CPU、高速MIPI接口、ISP和网络处理单元(Neural-network Processing Unit，NPU)等，图像处理芯片在接收到互补金属氧化物半导体(Complementary Metal OxideSemiconductor，CMOS)传感器所获得的第一图像数据后，首先通过图像处理芯片内部的ISP进行预先处理，而后提供给NPU做定制化效果处理；然后由图像处理芯片通过MIPI接口将处理后得到的第二图像数据传输到应用处理芯片中。
在上述图像处理的过程中，本申请实施例还可能存在临时生成的中间态数据，这些中间态数据将存储在动态随机存取存储器(Dynamic Random Access Memory，DRAM)中。需要注意的是，中间态数据可以在后续的图像处理过程中使用。示例性地，中间态数据可以为通过NPU降噪的过程中临时生成的数据。
还需要说明的是，AP端主要运行安卓(Android)或其他平台软件。AP端在接收到图像处理芯片通过MIPI接口传输的第一图像数据后，具体是在经过MIPI RX接口接收后发送到应用处理芯片的ISP中，再结合当前的场景参数进行相应的处理。而应用处理芯片的ISP进行图像处理后，可以将其直接发送给显示、编码等模块，从而实现相机的预览、或者录制等。
除此之外，在本申请实施例中，这里提出的图像处理架构中包含如MMS模块、第一硬件抽象层模块、第一驱动模块等诸多模块，其中MMS模块可以提供UserSpace全套的API接口，即Application层、Framework层和HAL层都可以访问，从而能够通过MMS模块和第一硬件抽象层模块将图像处理芯片的图像处理能力更好的应用于三方影像能力，改善了三方软件的影像效果。
本实施例提供了一种图像处理架构，应用于应用处理芯片，且该图像处理架构包括多媒体服务模块、第一硬件抽象层模块和第一驱动模块；其中，多媒体服务模块，用于获取图像参数，并将图像参数发送给第一硬件抽象层模块；第一硬件抽象层模块，用于将图像参数发送给第一驱动模块；第一驱动模块，用于接收图像参数，将图像参数发送给图像处理芯片，以使得图像处理芯片与应用处理芯片配合进行图像处理。这样，既能够充分发挥图像处理芯片的功能，又具有足够的可扩展性和灵活性，从而可以更好地实现图像处理能力，提升图像质量，同时还可以更好地解决图像处理芯片和应用处理芯片之间的协同工作和时序问题。
本申请的另一实施例中，参见图4，其示出了本申请实施例提供的一种图像处理方法的流程示意图。如图4所示，该方法可以包括：
S401：通过多媒体服务模块获取图像参数，并将图像参数发送给第一硬件抽象层模块。
S402：通过第一硬件抽象层模块将图像参数发送给第一驱动模块。
S403：通过第一驱动模块接收图像参数，将图像参数发送给图像处理芯片，以使得图像处理芯片与应用处理芯片配合进行图像处理。
需要说明的是，本申请实施例所述的图像处理方法应用于包括多媒体服务模块、第一硬件抽象层模块和第一驱动模块的图像处理架构，且该图像处理架构应用于应用处理芯片；这样，可以使得图像处理芯片与应用处理芯片相互配合，从而更好地实现图像处理能力。
还需要说明的是，对于图像处理架构而言，其还可以包括第二硬件抽象层模块。具体地，在一些实施例中，该方法还可以包括：
通过第二硬件抽象层模块获取应用处理芯片自身的配置参数，并将配置参数发送给多媒体服务模块。
需要说明的是，在本申请实施例中，配置参数可以包括场景参数、陀螺仪参数、帧率、分辨率、调试二进制(Bin)文件等等。
这样，在通过第二硬件抽象层模块将配置参数发送给多媒体服务模块之后，多媒体服务模块可以接收到应用处理芯片自身的配置参数，然后也可以依次通过多媒体服务模块、第一硬件抽象层模块和第一驱动模块将其发送给图像处理芯片，使得图像处理芯片能够根据这些配置参数进行图像处理。
还需要说明的是，在本申请实施例中，这里的图像参数可以包括下述至少之一：第二硬件抽象层模块发送的配置参数、多媒体服务模块内部自定义的第一图像参数和图像处理的过程中需调整的第二图像参数。
在一种具体的实施例中，以图像处理芯片的上电初始化为例，这时候的图像参数为启动参数，其中，启动参数可以包括第二硬件抽象层模块发送的配置参数和多媒体服务模块内部自定义的第一图像参数。如此，在一些实施例中，该方法还可以包括：
在打开相机应用程序时，通过多媒体服务模块获取启动参数，其中，启动参数包括配置参数和第一图像参数；
通过多媒体服务模块将启动参数发送给第一硬件抽象层模块，并由第一硬件抽象层模块将启动参数发送给第一驱动模块；
通过第一驱动模块接收启动参数，并将启动参数发送给图像处理芯片，以使得图像处理芯片完成上电初始化。
在另一种具体的实施例中，以图像处理的过程中的参数调整为例，这时候的图像参数可以为图像处理的过程中需调整的第二图像参数。如此，在一些实施例中，该方法还可以包括：
通过多媒体服务模块获取第二图像参数；
通过多媒体服务模块将第二图像参数发送给第一硬件抽象层模块，并由第一硬件抽象层模块将第二图像参数发送给第一驱动模块；
通过第一驱动模块接收第二图像参数，并将第二图像参数发送给图像处理芯片，以使得图像处理芯片根据第二图像参数进行图像处理。
需要说明的是，在本申请实施例中，对于第二图像参数来说，既可以是多媒体服务模块内部的自定义图像参数，也可以是来自第二硬件抽象层模块发送的配置参数，这里不作任何限定。另外，在这里，第二图像参数具体是指图像处理的过程中需要调整的参数，示例性地，第二图像参数可以是曝光参数、分辨率、帧率等等。
进一步地，应用处理芯片和图像处理芯片之间还可能存在一些异常监控参数，例如工作状态是否异常、温度是否过高等。如此，在一些实施例中，该方法还可以包括：
通过第一驱动模块获取图像处理芯片的异常监控参数，并将异常监控参数发送给第一硬件抽象层模块；
通过第一硬件抽象层模块将异常监控参数发送给多媒体服务模块；
通过多媒体服务模块接收异常监控参数，并将异常监控参数发送给第二硬件抽象层模块，以使得应用处理芯片根据异常监控参数进行图像处理。
需要说明的是，对于多媒体服务模块获取到的图像参数，诸如第二硬件抽象层模块发送的配置参数、多媒体服务模块内部自定义的第一图像参数、以及图像处理的过程中需调整的第二图像参数等等，其发送顺序是依次通过多媒体服务模块、第一硬件抽象层模块和第一驱动模块，然后将其发送给图像处理芯片。而对于一些异常监控参数而言，其发送顺序则是相反的，即依次通过第一驱动模块、第一硬件抽象层模块和多媒体服务模块，然后由多媒体服务模块发送给第二硬件抽象层模块，使得应用处理芯片能够根据异常监控参数进行相应处理。
进一步地，图像处理架构还可以包括高速处理接口，即某些参数可以通过高速处理接口直接由图像处理芯片发送给应用处理芯片。在一些实施例中，该方法还可以包括：
图像处理芯片通过高速处理接口接收第一图像数据，并根据第二硬件抽象层模块发送的配置参数对第一图像数据进行图像处理，得到第二图像数据；
图像处理芯片通过高速处理接口将第二图像数据和自定义图像参数发送给应用处理芯片；
应用处理芯片根据自定义图像参数对第二图像数据进行图像处理，得到目标图像数据；其中，自定义图像参数至少包括3A统计信息。
需要说明的是，在本申请实施例中，高速处理接口可以用于实现图像处理芯片和应用处理芯片之间的交互通信，从而减少图像处理芯片与应用处理芯片之间的耦合度。具体来讲，高速处理接口可以为MIPI接口。另外，对于MIPI接口来说，其可以包括发送接口(MIPI TX)和接收接口(MIPI RX)，其中，MIPI TX用于发送数据，MIPI RX用于接收数据。
还需要说明的是，在本申请实施例中，对于图像处理芯片而言，图像处理芯片的硬件中可以包括有NPU。因此，在一些实施例中，所述根据第二硬件抽象层模块发送的配置参数对第一图像数据进行图像处理，得到第二图像数据，可以包括：
根据第二硬件抽象层模块发送的配置参数进行参数配置，确定预置效果；
通过NPU对第一图像数据进行预置效果的图像处理，得到第二图像数据。
在这里，图像处理芯片的硬件中还可以包括有ISP。这样，在进行效果处理之前，还可以先通过ISP对第一图像数据进行预处理，得到处理后的第一图像数据；然后通过NPU对处理后的第一图像数据进行预置效果的图像处理，得到第二图像数据。
也就是说，图像处理芯片在接收到CMOS传感器所获得的第一图像数据后，首先通过图像处理芯片内部的ISP进行预先处理，而后提供给NPU做定制化效果处理；然后由图像处理芯片通过MIPI接口将处理后得到的第二图像数据传输到应用处理芯片中。
还需要说明的是，在本申请实施例中，这里的自定义图像参数除了3A统计信息之外，还可以包括元数据(Metadata)等等。
对于3A统计信息而言，由于第二硬件抽象层模块无法识别，因此，本申请实施例还需要通过多媒体服务模块将其发送到第一硬件抽象层模块进行解析。具体地，在一些实施例中，该方法还可以包括：
应用处理芯片通过第二硬件抽象层模块将3A统计信息发送给多媒体服务模块，由多媒体服务模块将3A统计信息发送给第一硬件抽象层模块；
通过第一硬件抽象层模块对3A统计信息进行解析，并将解析后的3A统计信息发送给多媒体服务模块，
通过多媒体服务模块将解析后的3A统计信息转发给第二硬件抽象层模块，以使得应用处理芯片根据解析后的3A统计信息对第二图像数据进行图像处理。
也就是说，在图像处理芯片侧，3A统计信息可以通过MIPI接口直接发送给应用处理芯片侧的第二硬件抽象层模块。然后可以通过第二硬件抽象层模块将3A统计信息发送给多媒体服务模块，由多媒体服务模块转发给第一硬件抽象层模块；再通过第一硬件抽象层模块对3A统计信息进行解析，然后将解析后的3A统计信息返回给多媒体服务模块，最后由多媒体服务模块将解析后的3A统计信息转发给第二硬件抽象层模块，从而使得应用处理芯片根据解析后的3A统计信息对第二图像数据进行图像处理。
还需要说明的是，在本申请实施例中，对于应用处理芯片而言，应用处理芯片的硬件中也可以包括有ISP。因此，在一些实施例中，该方法还可以包括：
确定当前的场景信息；
根据场景信息对第二图像数据进行图像处理，得到目标图像数据。
也就是说，应用处理芯片在经过MIPI RX接收到第二图像数据后，可以发送到应用处理芯片的ISP中，然后结合当前的场景信息对其进行相应处理。进而在得到目标图像数据之后，还可以直接发送给显示、编码等模块，从而实现相机的预览、或录制等。
示例性地，参见图5，其示出了本申请实施例提供的一种图像处理方法的详细流程示意图。如图5所示，该详细流程可以包括：
S501：用户点击相机图标，打开相机应用程序。
S502：相机服务通过多媒体服务模块、第一硬件抽象层模块和第一驱动模块启动图像处理芯片，并通过电源管理模块给图像处理芯片上电。
在本申请实施例中，图5提供了一种基于图像处理芯片的工作流程。首先，用户点击终端设备的相机图标，打开相机应用程序，以进入相机模式。然后，相机服务通过多媒体服务模块、第一硬件抽象层模块和第一驱动模块启动图像处理芯片，并通过电源管理模块给图像处理芯片上电，具体可以是通过电源管理集成电路(Power Management IC，PMIC)给图像处理芯片上电、启动。
S503：在图像处理芯片的操作系统启动后，配置服务程序根据应用处理芯片设置的配置参数设置工作环境。
在本申请实施例中，配置参数可以包括分辨率、帧率和陀螺仪参数等，图像处理芯片的操作系统可以为RT-thread系统。这样，在图像处理芯片的操作系统启动后，配置服务程序根据应用处理芯片设置的配置参数来设置工作环境(即场景信息)，以便后续可以根据所设置的场景信息进行图像处理。
S504：初始化图像处理芯片后，相机请求图像数据。
S505：相机服务配置每一帧需要调整的图像参数提供给图像处理芯片。
S506：判断是否结束请求数据(停止录制)。
在本申请实施例中，图像处理芯片经过通过多媒体服务模块、第一硬件抽象层模块和第一驱动模块进行上电初始化之后，相机可以请求图像数据，同时相机服务还会配置每一帧需要调整的图像参数提供给图像处理芯片。
另外，针对S506来说，判断是否结束请求数据(停止录制)，如果判断结果为否，那么可以执行S507～S510；如果判断结果为是，那么可以执行S511～S515。
S507：图像处理芯片接收到应用处理芯片的配置参数，根据配置参数进行参数更新，并确定定制化效果。
S508：图像处理芯片接收到MIPI RX接口提供的第一图像数据，对其进行定制化效果的处理，并通过MIPI TX接口发送给应用处理芯片。
S509：应用处理芯片的ISP接收经由图像处理芯片处理后的第二图像数据和自定义图像参数。
S510：应用处理芯片根据设置的场景信息判断应用处理芯片需进行的软硬件算法处理，并将处理后的目标图像数据回传给相机应用程序。
在本申请实施例中，自定义图像参数可以包括3A统计信息、metadata等。
在本申请实施例中，当没有结束请求数据(停止录制)时，这时候图像处理芯片接收到应用处理芯片发送的配置参数，进行参数更新，并做应对应的效果设置；然后图像处理芯片对接收到MIPI RX接口的第一图像数据进行设置的效果处理，并通过MIPI TX接口发送给应用处理芯片。应用处理芯片内的ISP接收到经由图像处理芯片处理后的第二图像数据和自定义参数(如3A统计信息、metadata)等，结合用户设置的场景信息来判断应用处理芯片需要做的软硬件算法处理，并将处理后的目标图像数据回传给Application。
S511：关闭图像处理芯片的ISP、NPU等。
S512：应用处理芯片关闭摄像头。
S513：应用处理芯片的电源管理模块控制掉电。
S514：应用处理芯片的第二硬件抽象层模块和图像处理芯片的第一硬件抽象层模块释放资源。
S515：退出相机模式。
在本申请实施例中，当结束请求数据(停止录制)时，这时候需要关闭图像处理芯片的ISP、NPU等，应用处理芯片关闭摄像头，应用处理芯片的电源管理模块控制掉电，以及应用处理芯片的第二硬件抽象层模块模块、图像处理芯片的第一硬件抽象层模块模块释放资源，从而终端设备退出相机模式。
综上可知，在本申请实施例中，一方面，通过芯片设计、算法定义和软件一体化思路来解决影像方案，实现RAW域的多种功能拍摄，本方案主要基于图像处理芯片而设计的差异化框架，即能够充分发挥图像处理芯片的功能，又有足够的可扩展性和灵活性；这里，差异化主要是设计图像处理芯片在应用处理芯片的Usespace实现接口，使得图像处理芯片只需要通过软件框架中的几个接口来实现控制，从而减少了和应用处理芯片的耦合度；另一方面，在相机拍摄照片的过程中，预览仍能够保持不停顿、有算法处理效果，可以实现更好的零延时拍摄方案；又一方面，本方案的硬件基于设计一种AI+的图像处理芯片，由于图像在RAW域有更多的细节，例如噪声和细节、亮度等，基于RAW域能够更好的发挥图像处理能力，从而可以差异化提升影像能力；再一方面，针对模块功能的差异化处理和设计，例如ISP功能前置，灵活使用RAW域的图像进行图像质量的提升以及在不改变应用处理芯片已有设计的基础上实现后续处理能力的动态扩展等。
也就是说，在本申请实施例中，这里设计了一种图像处理芯片，主要结合芯片架构、算法和软件等多维度考虑，可以实现在RAW域的图像处理功能，具有超级夜景、高动态范围图像(High-Dynamic Range，HDR)、实现实时虚化等功能，由于在RAW域的图像有丰富的细节，可以实现更好的降噪等效果，从而提升图像质量；另外基于图像处理芯片实现视频HDR，还能够更好的解决功耗问题。同时本方案基于图像处理芯片而设计的软件框架，既能够更好的解决图像处理芯片和应用处理芯片之间的协同工作和时序问题，又能够兼顾方便、高效的控制图像处理芯片和扩展功能等方面。
本实施例提供了一种图像处理方法，通过多媒体服务模块获取图像参数，并将图像参数发送给第一硬件抽象层模块；通过第一硬件抽象层模块将图像参数发送给第一驱动模块；通过第一驱动模块接收图像参数，将图像参数发送给图像处理芯片，以使得图像处理芯片与应用处理芯片配合进行图像处理。这样，既能够充分发挥图像处理芯片的功能，又具有足够的可扩展性和灵活性，从而可以更好地实现图像处理能力，提升图像质量，同时还可以更好地解决图像处理芯片和应用处理芯片之间的协同工作和时序问题。
本申请的又一实施例中，本实施例提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，所述计算机程序被至少一个处理器执行时实现前述实施例中任一项所述的方法的步骤。
需要说明的是，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或processor(处理器)执行本实施例所述方法的全部或部分步骤。
还需要说明的是，这里的存储介质可以包括：U盘、移动硬盘、只读存储器(ReadOnly Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
基于上述计算机可读存储介质，参见图6，其示出了本申请实施例提供的一种终端设备60的组成结构示意图。如图6所示，终端设备60可以包括：通信接口601、存储器602和处理器603；各个组件通过总线系统604耦合在一起。可理解，总线系统604用于实现这些组件之间的连接通信。总线系统604除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图6中将各种总线都标为总线系统604。其中，通信接口601，用于在与其他外部网元之间进行收发信息过程中，信号的接收和发送；
存储器602，用于存储能够在处理器603上运行的计算机程序；
处理器603，用于在运行所述计算机程序时，执行：
通过多媒体服务模块获取图像参数，并将图像参数发送给第一硬件抽象层模块；
通过第一硬件抽象层模块将图像参数发送给第一驱动模块；
通过第一驱动模块接收图像参数，将图像参数发送给图像处理芯片，以使得图像处理芯片与应用处理芯片配合进行图像处理。
可以理解，本申请实施例中的存储器602可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步链动态随机存取存储器(Synchronous link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本文描述的系统和方法的存储器602旨在包括但不限于这些和任意其它适合类型的存储器。
而处理器603可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器603中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器603可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器602，处理器603读取存储器602中的信息，结合其硬件完成上述方法的步骤。
可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(ApplicationSpecific Integrated Circuits，ASIC)、数字信号处理器(Digital Signal Processing，DSP)、数字信号处理设备(DSP Device，DSPD)、可编程逻辑设备(Programmable LogicDevice，PLD)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。
对于软件实现，可通过执行本文所述功能的模块(例如过程、函数等)来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
可选地，作为另一个实施例，处理器603还配置为在运行所述计算机程序时，执行前述实施例中任一项所述的方法的步骤。
需要说明的是，在本申请实施例中，对于终端设备60而言，其可以以各种形式来实施。例如，本申请实施例中描述的终端设备可以是诸如智能手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(Personal Digital Assistant，PDA)、导航装置、数码相机、摄像机等等，本申请实施例不作具体限定。
在本申请实施例中，对于上述的终端设备而言，该终端设备中包括有应用处理芯片和图像处理芯片，还具有本申请实施例所述的图像处理架构，这样，既能够充分发挥图像处理芯片的功能，又具有足够的可扩展性和灵活性，从而可以更好地实现图像处理能力，提升图像质量，同时还可以更好地解决图像处理芯片和应用处理芯片之间的协同工作和时序问题。
需要说明的是，在本申请中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种图像处理架构，其特征在于，应用于应用处理芯片，且所述图像处理架构包括多媒体服务模块、第一硬件抽象层模块和第一驱动模块；其中，
所述多媒体服务模块，用于获取图像参数，并将所述图像参数发送给所述第一硬件抽象层模块；
所述第一硬件抽象层模块，用于将所述图像参数发送给所述第一驱动模块；
所述第一驱动模块，用于接收所述图像参数，将所述图像参数发送给图像处理芯片，以使得所述图像处理芯片与所述应用处理芯片配合进行图像处理。
2.根据权利要求1所述的图像处理架构，其特征在于，所述图像处理架构还包括第二硬件抽象层模块；其中，
所述第二硬件抽象层模块，用于获取所述应用处理芯片自身的配置参数，将所述配置参数发送给所述多媒体服务模块。
3.根据权利要求2所述的图像处理架构，其特征在于，
所述图像参数包括下述至少之一：所述第二硬件抽象层模块发送的所述配置参数、所述多媒体服务模块内部自定义的第一图像参数和所述图像处理的过程中需调整的第二图像参数。
4.根据权利要求3所述的图像处理架构，其特征在于，
所述多媒体服务模块，还用于在打开相机应用程序时，获取启动参数，其中，所述启动参数包括所述配置参数和所述第一图像参数；
所述第一硬件抽象层模块，还用于接收所述多媒体服务模块发送的所述启动参数，并将所述启动参数发送给所述第一驱动模块；
所述第一驱动模块，还用于接收所述启动参数，并将所述启动参数发送给所述图像处理芯片，以使得所述图像处理芯片完成上电初始化。
5.根据权利要求2所述的图像处理架构，其特征在于，
所述第一驱动模块，还用于获取所述图像处理芯片的异常监控参数，并将所述异常监控参数发送给所述第一硬件抽象层模块；
所述第一硬件抽象层模块，还用于将所述异常监控参数发送给所述多媒体服务模块；
所述多媒体服务模块，还用于接收所述异常监控参数，将所述异常监控参数发送给所述第二硬件抽象层模块，以使得所述应用处理芯片根据所述异常监控参数进行相应处理。
6.根据权利要求2所述的图像处理架构，其特征在于，所述图像处理架构还包括高速处理接口，所述高速处理接口用于实现所述图像处理芯片和所述应用处理芯片之间的交互通信；其中，
所述图像处理芯片，用于通过所述高速处理接口接收第一图像数据，并根据所述第二硬件抽象层模块发送的配置参数对所述第一图像数据进行图像处理，得到第二图像数据；
所述应用处理芯片，用于通过所述高速处理接口接收所述图像处理芯片发送的所述第二图像数据和自定义图像参数，并根据所述自定义图像参数对所述第二图像数据进行图像处理，得到目标图像数据；其中，所述自定义图像参数至少包括3A统计信息。
7.根据权利要求6所述的图像处理架构，其特征在于，
所述多媒体服务模块，还用于接收所述应用处理芯片通过所述第二硬件抽象层模块发送的所述3A统计信息，并将所述3A统计信息发送给所述第一硬件抽象层模块；
所述第一硬件抽象层模块，还用于接收所述3A统计信息并进行解析，将解析后的3A统计信息发送给所述多媒体服务模块；
所述多媒体服务模块，还用于将所述解析后的3A统计信息转发给所述第二硬件抽象层模块，以使得所述应用处理芯片根据所述解析后的3A统计信息对所述第二图像数据进行图像处理。
8.一种图像处理方法，其特征在于，应用于包括多媒体服务模块、第一硬件抽象层模块和第一驱动模块的图像处理架构，且所述图像处理架构应用于应用处理芯片，所述方法包括：
通过所述多媒体服务模块获取图像参数，并将所述图像参数发送给第一硬件抽象层模块；
通过所述第一硬件抽象层模块将所述图像参数发送给第一驱动模块；
通过所述第一驱动模块接收所述图像参数，将所述图像参数发送给图像处理芯片，以使得所述图像处理芯片与所述应用处理芯片配合进行图像处理。
9.一种终端设备，其特征在于，所述终端设备包括存储器和处理器；其中，
所述存储器，用于存储能够在所述处理器上运行的计算机程序；
所述处理器，用于在运行所述计算机程序时，执行如权利要求8所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被至少一个处理器执行时实现如权利要求8所述的方法。
CN202111143927.7A 2021-09-28 2021-09-28 一种图像处理架构、图像处理方法、设备及存储介质 Pending CN115883948A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111143927.7A CN115883948A (zh) 2021-09-28 2021-09-28 一种图像处理架构、图像处理方法、设备及存储介质
PCT/CN2022/120155 WO2023051339A1 (zh) 2021-09-28 2022-09-21 一种图像处理架构、图像处理方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111143927.7A CN115883948A (zh) 2021-09-28 2021-09-28 一种图像处理架构、图像处理方法、设备及存储介质

Publications (1)

Publication Number Publication Date
CN115883948A true CN115883948A (zh) 2023-03-31

Family

ID=85763552

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111143927.7A Pending CN115883948A (zh) 2021-09-28 2021-09-28 一种图像处理架构、图像处理方法、设备及存储介质

Country Status (2)

Country Link
CN (1) CN115883948A (zh)
WO (1) WO2023051339A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116260920A (zh) * 2023-05-09 2023-06-13 深圳市谨讯科技有限公司 多数据混合控制方法、装置、设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI640957B (zh) * 2017-07-26 2018-11-11 聚晶半導體股份有限公司 影像處理晶片與影像處理系統
CN108012084A (zh) * 2017-12-14 2018-05-08 维沃移动通信有限公司 一种图像生成方法、应用处理器ap及第三方图像处理芯片
CN110955541B (zh) * 2019-12-09 2022-04-15 Oppo广东移动通信有限公司 数据处理方法、装置、芯片、电子设备及可读存储介质
CN112822371B (zh) * 2021-01-13 2022-11-15 Oppo广东移动通信有限公司 图像处理芯片、应用处理芯片、数据统计系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116260920A (zh) * 2023-05-09 2023-06-13 深圳市谨讯科技有限公司 多数据混合控制方法、装置、设备及存储介质
CN116260920B (zh) * 2023-05-09 2023-07-25 深圳市谨讯科技有限公司 多数据混合控制方法、装置、设备及存储介质

Also Published As

Publication number Publication date
WO2023051339A1 (zh) 2023-04-06

Similar Documents

Publication Publication Date Title
CN111491102B (zh) 拍照场景的检测方法、系统、移动终端及存储介质
CN106686305B (zh) 电子设备的图像处理方法及电子设备
JP4313311B2 (ja) カメラモジュール用チップセット
CN113556479B (zh) 一种多应用共享摄像头的方法与电子设备
US11323614B2 (en) Image-processing microprocessor with plug-in from an application processor
JP2010147717A (ja) カメラ機能付き携帯電話端末及びその制御方法
WO2020207192A1 (zh) 图像处理器、图像处理方法、拍摄装置和电子设备
CN113727035A (zh) 图像处理方法、系统、电子设备及存储介质
CN114726950A (zh) 一种摄像头模组的开启方法和装置
WO2023051339A1 (zh) 一种图像处理架构、图像处理方法、设备及存储介质
TWI623910B (zh) 具有相機至相機通信鏈路之多相機計算系統
CN107872558B (zh) 一种智能电子设备、图像处理单元、图像采集装置和图像采集方法
CN111510629A (zh) 数据显示方法、图像处理器、拍摄装置和电子设备
CN115665562A (zh) 图像处理方法、电路、设备及介质
CN115065767A (zh) 一种天线功率调节方法及其电子设备
CN114286004A (zh) 对焦方法、拍摄装置、电子设备及介质
CN110602359B (zh) 图像处理方法、图像处理器、拍摄装置和电子设备
CN115485659A (zh) 用于操作伴随处理单元的方法和装置
CN115225753A (zh) 拍摄方法、相关装置及系统
WO2024041006A1 (zh) 一种控制摄像头帧率的方法及电子设备
EP3033874B1 (en) Electronic apparatus and method of controlling the same
WO2023160223A1 (zh) 多摄策略调度方法及其相关设备
CN117560552B (zh) 拍摄控制方法、电子设备及可读存储介质
WO2023160220A1 (zh) 一种图像处理方法和电子设备
CN117479008A (zh) 一种视频处理方法、电子设备及芯片系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination