CN117274028A - 数据处理方法、数据处理电路、电子设备和存储介质 - Google Patents

数据处理方法、数据处理电路、电子设备和存储介质 Download PDF

Info

Publication number
CN117274028A
CN117274028A CN202311273966.8A CN202311273966A CN117274028A CN 117274028 A CN117274028 A CN 117274028A CN 202311273966 A CN202311273966 A CN 202311273966A CN 117274028 A CN117274028 A CN 117274028A
Authority
CN
China
Prior art keywords
image processing
chip
address
target
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311273966.8A
Other languages
English (en)
Inventor
刘海林
王海波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Priority to CN202311273966.8A priority Critical patent/CN117274028A/zh
Publication of CN117274028A publication Critical patent/CN117274028A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G06F1/3275—Power saving in memory, e.g. RAM, cache
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种数据处理方法、数据处理电路、电子设备和存储介质，属于数据处理技术领域。所述数据处理方法，包括：基于图像处理芯片通过所述图像处理芯片中的第一地址，从主控芯片的目标内存片段中获取目标信息，其中，所述第一地址为第二地址的映射地址，所述第二地址为所述主控芯片中用于读写所述目标内存片段的地址，所述目标信息包括初始图像数据；基于所述图像处理芯片对所述初始图像数据进行处理，得到目标图像数据。

Description

数据处理方法、数据处理电路、电子设备和存储介质
技术领域
本申请涉及数据处理技术领域，具体涉及一种数据处理方法、数据处理电路、电子设备和存储介质。
背景技术
随着图像处理技术的发展，人们对电子设备所显示的图像的要求越来越高。为确保电子设备能够输出满足用户需要的高质量图像，一些电子设备推出了外挂芯片的解决方案，即在电子设备的应用芯片(Application Processor，AP)平台上外挂一个专用的图像处理芯片。随着图像处理芯片的图像处理能力的不断提高，通常需要在图像处理芯片中配置较大的静态随机存取存储器(Static Random-Access Memory，SRAM)才能满足图像处理芯片在对图像进行处理的过程中对内存的需求。然而，SRAM在芯片制造过程中需要占用较大的晶圆面积，大量使用SRAM会大大增加图像处理芯片的面积，从而增加芯片的制作成本。因此，相关技术中因需要在图像处理芯片中配置较大的SRAM而导致图像处理芯片的面积过大的问题。而使用动态存储器(Double Data Rate RAM，DDR)对图像处理芯片进行图像处理过程中的数据进行存储时，由于图像处理芯片在运行过程中需要频繁访问DDR器件，因此，访问DDR器件的过程会产生较大的功耗，在功耗敏感的终端设备中应用受限。
发明内容
本申请提供了一种数据处理方法、数据处理电路、电子设备和存储介质，可以减小图像处理芯片的面积。
第一方面，本申请实施例提供了一种数据处理方法，包括：
基于图像处理芯片通过所述图像处理芯片中的第一地址，从主控芯片的目标内存片段中获取目标信息，其中，所述第一地址为第二地址的映射地址，所述第二地址为所述主控芯片中用于读写所述目标内存片段的地址，所述目标信息包括初始图像数据；
基于所述图像处理芯片对所述初始图像数据进行处理，得到目标图像数据。
第二方面，本申请实施例提供了一种数据处理电路，包括主控芯片和图像处理芯片，所述主控芯片与所述图像处理芯片连接；
所述图像处理芯片用于通过所述图像处理芯片中的第一地址，从所述主控芯片的目标内存片段中获取目标信息，其中，所述第一地址为第二地址的映射地址，所述第二地址为所述主控芯片中用于读写所述目标内存片段的地址，所述目标信息包括初始图像数据；
所述图像处理芯片还用于对所述初始图像数据进行处理，得到目标图像数据。
第三方面，本申请实施例提供了一种电子设备，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的数据处理方法的步骤。
第四方面，本申请实施例提供了一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的数据处理方法的步骤。
第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的数据处理方法的步骤。
第六方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的数据处理方法的步骤。
本申请实施例中，由于所述第一地址为第二地址的映射地址，因此，图像处理芯片可以通过所述第一地址对主控芯片中的目标内存片段进行读写，这样，可以将图像处理芯片对图像进行处理的过程中的目标信息存储于主控芯片的目标内存片段，在图像处理芯片对图像进行处理的过程中可以从所述目标内存片段中获取所述目标信息进行图像处理。由于图像处理芯片进行图像处理的过程中的数据可以存储于主控芯片的目标内存片段，因此，可以取消图像处理芯片中的SRAM，进行有利于减小所述图像处理芯片的面积。此外，相对于采用DDR的方式对图像处理芯片进行图像处理过程中的数据进行存储而言，由于无需频繁访问DDR器件，因此，可以降低图像处理芯片对图像处理过程中的功耗，且可以适用于各种终端设备。
附图说明
图1是本申请实施例提供的数据处理方法的流程示意图；
图2是本申请实施例提供的一种数据处理电路的结构示意图之一；
图3是本申请实施例提供的一种数据处理电路的结构示意图之二；
图4是本申请实施例提供的另一种电子设备的结构示意图；
图5是本申请实施例提供的电子设备的硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的一种数据处理方法、数据处理电路、电子设备和存储介质进行详细地说明。
请参见图1，图1为本申请实施例提供的一种数据处理方法的流程示意图，所述数据处理方法包括以下步骤：
步骤101、基于图像处理芯片通过所述图像处理芯片中的第一地址，从主控芯片的目标内存片段中获取目标信息，其中，所述第一地址为第二地址的映射地址，所述第二地址为所述主控芯片中用于读写所述目标内存片段的地址，，所述目标信息包括初始图像数据；
步骤102、基于所述图像处理芯片对所述初始图像数据进行处理，得到目标图像数据。
上述数据处理方法可以应用于各种具有拍摄功能的电子设备，也可以应用于各种监控系统，例如，可以应用于门禁监控系统。
上述主控芯片可以为应用芯片(Application Processor，AP)或系统级芯片(System on Chip，SOC)，上述图像处理芯片可以是各种类型的图像处理芯片，例如，所述图像处理芯片可以是图像信号处理(Image Signal Processing，ISP)芯片、视频处理器(Video Processing Unit，VPU)、图形处理器(Graphics Processing Unit，GPU)、神经网络处理器(Neural-network processing units，NPU)等。
在本申请一个实施例中，上述主控芯片可以同时与多个图像处理芯片通过PCIE连接，且各个图像处理芯片均可以包括一个第一地址，且每个图像处理芯片中的第一地址均为主控芯片中的第二地址的映射地址，如此，各个图像处理芯片均可以通过自身的第一地址对主控芯片中的目标内存片段进行读写，从而起到了多个图像处理芯片共享主控芯片中的目标内存片段的作用。其中，所述多个图像处理芯片可以为不同的多个图像处理芯片，例如，所述多个图像处理芯片可以包括VPU、GPU、NPU和ISP等芯片。
在本申请一个实施例中，可以预先建立所述第一地址与第二地址之间的映射关系，如此，所述第一地址和第二地址均可以对所述目标内存片段进行读写。可以理解的是，所述第一地址和第二地址的具体地址内容可以相同也可以不同。在建立所述第一地址与第二地址之间的映射关系时，可以将所述第一地址映射至第二地址，也可以将所述第二地址映射至所述第一地址。
上述第一地址作为映射地址，在所述图像处理芯片中不存在真实的内存空间，但是由于所述第一地址为第二地址的映射地址，因此，所述图像处理芯片通过所述第一地址直接读写目标内存片段中的数据，该过程中，图像处理芯片相当于读写本地内存。请参见图2，所述目标内存片段相当于在所述图像处理芯片中形成一个虚拟的映射内存，该映射内存与所述图像处理芯片的本地内存无异，但无需占用所述图像处理芯片的真实面积。
可以理解的是，上述目标内存片段为所述主控芯片中的真实内存空间。上述第二地址作为所述主控芯片所述目标内存片段的真实读写地址，所述主控芯片也可以通过所述第二地址直接读写所述目标内存片段中的数据。
该实施方式中，由于所述第一地址为第二地址的映射地址，因此，图像处理芯片可以通过所述第一地址对主控芯片中的目标内存片段进行读写，这样，可以将图像处理芯片对图像进行处理的过程中的目标信息存储于主控芯片的目标内存片段，在图像处理芯片对图像进行处理的过程中可以从所述目标内存片段中获取所述目标信息进行图像处理。由于图像处理芯片进行图像处理的过程中的数据可以存储于主控芯片的目标内存片段，因此，可以取消图像处理芯片中的SRAM，进行有利于减小所述图像处理芯片的面积。此外，相对于采用DDR的方式对图像处理芯片进行图像处理过程中的数据进行存储而言，由于无需频繁访问DDR器件，因此，可以降低图像处理芯片对图像处理过程中的功耗，且可以适用于各种终端设备。
可选地，所述目标信息还包括处理参数，所述初始图像数据为初始张量数据，所述基于所述图像处理芯片对所述图像数据进行处理，得到目标图像数据，包括：
基于所述图像处理芯片利用所述处理参数对所述初始张量数据进行处理，得到目标张量数据，其中，所述目标图像数据包括所述目标张量数据。
上述初始张量数据可以是各种场景下的图像数据，例如，所述初始张量数据可以是拍摄场景中的图片数据或录像数据、以及视频观看场景中的视频数据等。相应地，上述基于所述图像处理芯片利用所述处理参数对所述初始张量数据进行处理可以是指：基于所述图像处理芯片利用所述处理参数对所述初始张量数据进行图像增强处理，其中，所述图像增强的方式可以是各种类型的图像增强方式，例如，可以包括：去噪处理、白平衡处理、对比度增强处理等。可以理解的是，处理之后得到的目标张量数据是指：处理之后得到的图像数据。
由于针对不同场景下的图像数据，所述图像处理芯片的处理参数通常不同，因此，可以预先将各个场景下的处理参数存储于主控芯片的目标内存片段中。这样，所述图像处理芯片在获取所述目标信息时，可以先获取所述初始张量数据，然后，根据所述初始张量数据所属场景，获取与所述初始张量数据对应的处理参数。
该实施方式中，由于图像处理芯片对图像处理过程中的处理参数也可以存储于主控芯片的目标内存片段，因此，所述图像处理芯片也无需设置用于存储处理参数的SRAM，有利于进一步减小所述图像处理芯片的面积。此外，相对于将处理参数存储于DDR而言，采用本申请实施例的存储方式，由于无需频繁访问DDR器件，因此，可以降低图像处理芯片对图像处理过程中的功耗。
可选地，所述基于图像处理芯片通过所述图像处理芯片中的第一地址，从主控芯片的目标内存片段中获取目标信息之前，所述方法还包括：
所述图像处理芯片基于所述主控芯片与所述图像处理芯片之间的高速串行计算机扩展总线(Peripheral Component Interconnect Express，PCIE)连接，通过基地址寄存器(Base Address Register，BAR)将所述第一地址映射至所述第二地址，其中，所述目标内存片段为所述主控芯片的动态存储器(Double Data Rate RAM，DDR)中的内存片段。
请参见图2，在本申请一个实施例中，所述主控芯片包括PCIE根组件(RootComplex，RC)接口，所述图像处理芯片包括PCIE端点(Endpoint，EP)接口，所述主控芯片的PCIE RC接口与所述图像处理芯片的PCIE EP接口通过PCIE连接。其中，上述BAR为所述图像处理芯片中的PCIE BAR。所述图像处理芯片在对所述第一地址进行映射时，可以先将第一地址写入所述图像处理芯片的BAR，例如，可以将所述第一地址写入BAR1或BAR2，然后，将位于BAR中的第一地址通过所述PCIE连接映射至所述主控芯片的第二地址，从而建立所述第一地址与第二地址之间的映射关系。
具体地，上述主控芯片作为RC端，图像处理芯片作为EP端，上述第一地址具体为所述图像处理芯片中的PCIE内存(PCIE Memory)地址，上述第二地址为所述主控芯片中的PCIE内存(PCIE Memory)地址，所述EP端包括多个BAR，且每个BAR可以分配一个PCIEMemory地址。其中，RC端的PCIE Memory地址与EP端的PCIE Memory地址可以相互映射，在映射完成之后，同一个BAR中包括两个PCIE Memory地址，从而建立所述第一地址与第二地址之间的映射关系。
该实施方式中，通过所述图像处理芯片基于PCIE连接，利用BAR将所述第一地址映射至所述第二地址，从而实现所述第一地址与第二地址的映射关系的建立过程。
可选地，所述图像处理芯片中包括神经网络处理模块，且所述神经网络处理模块中预先配置有图像处理模型，所述处理参数包括所述图像处理模型的目标权重参数，所述基于所述图像处理芯片利用所述处理参数对所述初始张量数据进行处理，得到目标张量数据，包括：
基于所述图像处理芯片利用所述目标权重参数对所述神经网络处理模块中的所述神经网络模型的权重参数进行更新；
基于所述神经网络处理模块对所述初始张量数据进行图像增强处理，得到所述目标张量数据。
请参见图2，上述神经网络处理模块可以为所述图像处理芯片中的神经网络处理器(Neural-network processing units，NPU)。其中，所述NPU针对不同的应用场景(usecase)，例如，夜景降噪，视频插帧视频超分等场景，需要切换不同的神经网络权重(Neural Network weight，NN weight)来实现不同的图像处理效果。因此，上述处理参数可以包括所述NN weight，所述目标权重参数即为所述NN weight。请进一步参见图2，所述图像处理芯片还包括PCIE控制器(PCIE contoller)，所述PCIE contoller作为PCIE EP端的组件用于配置及控制PCIE接口。
请参见图3，在本申请一个具体实施例中，NPU作为上述图像处理芯片，上述目标内存片段为所述主控芯片AP的整个DDR(Whole DDR)中的内存片段Mapped DDR section，所述NPU中可以包括大量算子，例如，可以包括乘法器阵列(Multiply Matrix)算子、累加(Accumulator，ACC)算子、激活函数(activation)算子等，且所述NPU中的上述算子均可以直接读写上述虚拟的映射内存Mapped Memory，以确保所述NPU能够基于所述Mapped DDRsection中存储的目标信息实现图像处理过程。此外，请参见图3，所述NPU还可以包括直接存储器访问引擎(Direct Memory Access Engine，DMA Engine)，其中，所述DMAEngine为PCIE集成的硬件DMA引擎，通常配置用于搬运数据到内存。
可以理解的是，上述神经网络模型可以是预先训练好的神经网络模型，且所述神经网络处理模块可以基于所述神经网络模型对所接收到的图像数据进行各种类型的图像增强处理，例如，降噪处理、插帧处理、对比度增强处理等。
上述基于所述神经网络处理模块对所述初始张量数据进行图像增强处理，得到所述目标张量数据具体是指：基于参数更新之后的神经网络处理模块对所述初始张量数据进行图像增强处理，得到所述目标张量数据。
该实施方式中，通过基于所述图像处理芯片利用所述目标权重参数对所述神经网络处理模块中的所述神经网络模型的权重参数进行更新；并基于所述神经网络处理模块对所述初始张量数据进行图像增强处理，得到所述目标张量数据，从而实现利用神经网络模型基于目标权重参数对初始张量数据的处理过程。
可选地，所述基于所述图像处理芯片利用所述处理参数对所述初始张量数据进行处理，得到目标张量数据之后，所述方法还包括：
基于所述图像处理芯片通过所述第一地址，将所述目标张量数据写入所述目标内存片段。
具体地，由于所述图像处理芯片基于所述第一地址可以直接读写所述目标内存片段，因此，在对所述初始张量数据进行处理得到目标张量数据之后，可以基于所述第一地址将所述目标张量数据写入所述目标内存片段。
该实施方式中，通过基于所述第一地址，将所述目标张量数据写入所述目标内存片段，从而实现将处理之后得到的目标张量数据回传至主控芯片的过程，后续主控芯片可以基于上述第二地址读取所述目标张量数据，以便于主控芯片对目标张量数据进行后续处理。
可选地，所述基于图像处理芯片通过所述图像处理芯片中的第一地址，从主控芯片的目标内存片段中获取目标信息，包括：
在所述图像处理芯片接收到所述主控芯片发送的第一中断通知的情况下，基于图像处理芯片通过所述图像处理芯片中的第一地址，从主控芯片的目标内存片段中获取目标信息，其中，所述第一中断通知用于通知所述图像处理芯片对所述初始张量数据进行处理；
所述基于所述图像处理芯片通过所述第一地址，将所述目标张量数据写入所述目标内存片段之后，所述方法还包括：
基于所述图像处理芯片向所述主控芯片发送第二中断通知，其中，所述第二中断通知用于通知所述主控芯片已完成对所述初始张量数据的处理。
上述第一中断通知和第二中断通知可以采用各种常见的中断机制产生的中断通知，例如，请参见图2，可以是采用扩展消息告知中断(Extended message-signalledinterrupt，MSI-X)机制产生的中断通知。
上述主控芯片在获取到待所述图像处理芯片处理的初始张量数据时，可以通过第二地址将所述初始张量数据写入所述目标内存片段，然后，向所述图像处理芯片发送第一中断通知，以通知所述图像处理芯片从所述目标内存片段中获取所述初始张量数据和对应的处理参数进行处理。相应地，在所述图像处理芯片完成对所述初始张量数据的处理，并将处理之后得到的目标张量数据写入所述目标内存片段之后，可以向所述主控芯片发送第二中断通知，主控芯片在接收到所述第二中断通知之后，可以通过所述第二地址从所述目标内存片段中读取所述目标张量数据，并对目标张量数据进行后续处理。
该实施方式中，通过采用第一中断通知和第二中断通知的形式触发主控芯片和图像处理芯片的数据读写动作，以确保图像处理芯片能够及时对待处理的初始张量数据进行处理，同时，可以确保在图像处理芯片完成对初始张量数据的处理之后，主控芯片能够及时对目标张量数据进行后续处理，从而有利于提高图像处理的效率。
请参见图2和图3为本申请实施例提供的一种数据处理电路的结构示意图，所述数据处理电路包括主控芯片和图像处理芯片，所述主控芯片与所述图像处理芯片连接；
所述图像处理芯片用于通过所述图像处理芯片中的第一地址，从所述主控芯片的目标内存片段中获取目标信息，其中，所述第一地址为第二地址的映射地址，所述第二地址为所述主控芯片中用于读写所述目标内存片段的地址，所述目标信息包括初始图像数据；
所述图像处理芯片还用于对所述初始图像数据进行处理，得到目标图像数据。
可选地，所述目标信息还包括处理参数，所述初始图像数据为初始张量数据；
所述图像处理芯片具体用于利用所述处理参数对所述初始张量数据进行处理，得到目标张量数据，其中，所述目标图像数据包括所述目标张量数据。
可选地，所述主控芯片与所述图像增强芯片通过PCIE连接；
所述图像处理芯片用于基于所述PCIE连接，通过BAR将所述第一地址映射至所述第二地址，其中，所述目标内存片段为所述主控芯片的DDR中的内存片段。
可选地，所述图像处理芯片中包括神经网络处理模块，且所述神经网络处理模块中预先配置有图像处理模型，所述处理参数包括所述图像处理模型的目标权重参数；
所述图像处理芯片用于利用所述目标权重参数对所述神经网络处理模块中的所述神经网络模型的权重参数进行更新；
所述图像处理芯片还用于基于所述神经网络处理模块对所述初始张量数据进行图像增强处理，得到所述目标张量数据。
可选地，所述图像处理芯片还用于通过所述第一地址，将所述目标张量数据写入所述目标内存片段。
可选地，所述图像处理芯片具体用于在接收到所述主控芯片发送的第一中断通知的情况下，基于图像处理芯片通过所述图像处理芯片中的第一地址，从主控芯片的目标内存片段中获取目标信息，其中，所述第一中断通知用于通知所述图像处理芯片对所述初始张量数据进行处理；
所述图像处理芯片还用于向所述主控芯片发送第二中断通知，其中，所述第二中断通知用于通知所述主控芯片已完成对所述初始张量数据的处理。
可以理解的是，本申请实施例提供的数据处理电路能够实现上述实施例所述的数据处理方法的各个过程，且具有相同的有益效果，为避免重复，在此不再予以赘述。
该实施方式中，由于所述第一地址为第二地址的映射地址，因此，图像处理芯片可以通过所述第一地址对主控芯片中的目标内存片段进行读写，这样，可以将图像处理芯片对图像进行处理的过程中的目标信息存储于主控芯片的目标内存片段，在图像处理芯片对图像进行处理的过程中可以从所述目标内存片段中获取所述目标信息进行图像处理。由于图像处理芯片进行图像处理的过程中的数据可以存储于主控芯片的目标内存片段，因此，可以取消图像处理芯片中的SRAM，进行有利于减小所述图像处理芯片的面积。
可选地，如图4所示，本申请实施例还提供了另一种电子设备400，包括处理器401，存储器402，存储在存储器402上并可在所述处理器401上运行的程序或指令，该程序或指令被处理器401执行时实现上述数据处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图5为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备500包括但不限于：射频单元501、网络模块502、音频输出单元503、输入单元504、传感器505、显示单元506、用户输入单元507、接口单元508、存储器509、以及处理器510等部件。
其中，所述处理器510用于基于图像处理芯片通过所述图像处理芯片中的第一地址，从主控芯片的目标内存片段中获取目标信息，其中，所述第一地址为第二地址的映射地址，所述第二地址为所述主控芯片中用于读写所述目标内存片段的地址，，所述目标信息包括初始图像数据；
所述处理器510还用于基于所述图像处理芯片对所述初始图像数据进行处理，得到目标图像数据。
可选地，所述目标信息还包括处理参数，所述初始图像数据为初始张量数据，所述处理器510还用于基于所述图像处理芯片利用所述处理参数对所述初始张量数据进行处理，得到目标张量数据，其中，所述目标图像数据包括所述目标张量数据。
可选地，所述处理器510用于所述图像处理芯片基于所述主控芯片与所述图像处理芯片之间的高速串行计算机扩展总线PCIE连接，通过基地址寄存器BAR将所述第一地址映射至所述第二地址，其中，所述目标内存片段为所述主控芯片的动态存储器DDR中的内存片段。
可选地，所述处理器510用于基于所述图像处理芯片利用所述目标权重参数对所述神经网络处理模块中的所述神经网络模型的权重参数进行更新；
所述处理器510用于基于所述神经网络处理模块对所述初始张量数据进行图像增强处理，得到所述目标张量数据。
可选地，所述处理器510用于基于所述图像处理芯片通过所述第一地址，将所述目标张量数据写入所述目标内存片段。
可选地，所述处理器510用于在所述图像处理芯片接收到所述主控芯片发送的第一中断通知的情况下，基于图像处理芯片通过所述图像处理芯片中的第一地址，从主控芯片的目标内存片段中获取目标信息，其中，所述第一中断通知用于通知所述图像处理芯片对所述初始张量数据进行处理；
所述处理器510用于基于所述图像处理芯片向所述主控芯片发送第二中断通知，其中，所述第二中断通知用于通知所述主控芯片已完成对所述初始张量数据的处理。
本领域技术人员可以理解，电子设备500还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器510逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图5中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
应理解的是，本申请实施例中，输入单元504可以包括图形处理器(GraphicsProcessing Unit，GPU)5041和麦克风5042，图形处理器5041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元506可包括显示面板5061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板5061。用户输入单元507包括触控面板5071以及其他输入设备5072。触控面板5071，也称为触摸屏。触控面板5071可包括触摸检测装置和触摸控制器两个部分。其他输入设备5072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。存储器509可用于存储软件程序以及各种数据，包括但不限于应用程序和操作系统。处理器510可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器510中。
本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述数据处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述数据处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (14)

1.一种数据处理方法，其特征在于，包括：
基于图像处理芯片通过所述图像处理芯片中的第一地址，从主控芯片的目标内存片段中获取目标信息，其中，所述第一地址为第二地址的映射地址，所述第二地址为所述主控芯片中用于读写所述目标内存片段的地址，所述目标信息包括初始图像数据；
基于所述图像处理芯片对所述初始图像数据进行处理，得到目标图像数据。
2.根据权利要求1所述的方法，其特征在于，所述目标信息还包括处理参数，所述初始图像数据为初始张量数据，所述基于所述图像处理芯片对所述初始图像数据进行处理，得到目标图像数据，包括：
基于所述图像处理芯片利用所述处理参数对所述初始张量数据进行处理，得到目标张量数据，其中，所述目标图像数据包括所述目标张量数据。
3.根据权利要求1所述的方法，其特征在于，所述基于图像处理芯片通过所述图像处理芯片中的第一地址，从主控芯片的目标内存片段中获取目标信息之前，所述方法还包括：
所述图像处理芯片基于所述主控芯片与所述图像处理芯片之间的高速串行计算机扩展总线PCIE连接，通过基地址寄存器BAR将所述第一地址映射至所述第二地址，其中，所述目标内存片段为所述主控芯片的动态存储器DDR中的内存片段。
4.根据权利要求2所述的方法，其特征在于，所述图像处理芯片中包括神经网络处理模块，且所述神经网络处理模块中预先配置有图像处理模型，所述处理参数包括所述图像处理模型的目标权重参数，所述基于所述图像处理芯片利用所述处理参数对所述初始张量数据进行处理，得到目标张量数据，包括：
基于所述图像处理芯片利用所述目标权重参数对所述神经网络处理模块中的所述神经网络模型的权重参数进行更新；
基于所述神经网络处理模块对所述初始张量数据进行图像增强处理，得到所述目标张量数据。
5.根据权利要求2所述的方法，其特征在于，所述基于所述图像处理芯片利用所述处理参数对所述初始张量数据进行处理，得到目标张量数据之后，所述方法还包括：
基于所述图像处理芯片通过所述第一地址，将所述目标张量数据写入所述目标内存片段。
6.根据权利要求5所述的方法，其特征在于，所述基于图像处理芯片通过所述图像处理芯片中的第一地址，从主控芯片的目标内存片段中获取目标信息，包括：
在所述图像处理芯片接收到所述主控芯片发送的第一中断通知的情况下，基于图像处理芯片通过所述图像处理芯片中的第一地址，从主控芯片的目标内存片段中获取目标信息，其中，所述第一中断通知用于通知所述图像处理芯片对所述初始张量数据进行处理；
所述基于所述图像处理芯片通过所述第一地址，将所述目标张量数据写入所述目标内存片段之后，所述方法还包括：
基于所述图像处理芯片向所述主控芯片发送第二中断通知，其中，所述第二中断通知用于通知所述主控芯片已完成对所述初始张量数据的处理。
7.一种数据处理电路，其特征在于，包括主控芯片和图像处理芯片，所述主控芯片与所述图像处理芯片连接；
所述图像处理芯片用于通过所述图像处理芯片中的第一地址，从所述主控芯片的目标内存片段中获取目标信息，其中，所述第一地址为第二地址的映射地址，所述第二地址为所述主控芯片中用于读写所述目标内存片段的地址，所述目标信息包括初始图像数据；
所述图像处理芯片还用于对所述初始图像数据进行处理，得到目标图像数据。
8.根据权利要求7所述的数据处理电路，其特征在于，所述目标信息还包括处理参数，所述初始图像数据为初始张量数据；
所述图像处理芯片具体用于利用所述处理参数对所述初始张量数据进行处理，得到目标张量数据，其中，所述目标图像数据包括所述目标张量数据。
9.根据权利要求7所述的数据处理电路，其特征在于，所述主控芯片与所述图像增强芯片通过PCIE连接；
所述图像处理芯片用于基于所述PCIE连接，通过BAR将所述第一地址映射至所述第二地址，其中，所述目标内存片段为所述主控芯片的DDR中的内存片段。
10.根据权利要求8所述的数据处理电路，其特征在于，所述图像处理芯片中包括神经网络处理模块，且所述神经网络处理模块中预先配置有图像处理模型，所述处理参数包括所述图像处理模型的目标权重参数；
所述图像处理芯片用于利用所述目标权重参数对所述神经网络处理模块中的所述神经网络模型的权重参数进行更新；
所述图像处理芯片还用于基于所述神经网络处理模块对所述初始张量数据进行图像增强处理，得到所述目标张量数据。
11.根据权利要求8所述的数据处理电路，其特征在于，所述图像处理芯片还用于通过所述第一地址，将所述目标张量数据写入所述目标内存片段。
12.根据权利要求11所述的数据处理电路，其特征在于，
所述图像处理芯片具体用于在接收到所述主控芯片发送的第一中断通知的情况下，基于图像处理芯片通过所述图像处理芯片中的第一地址，从主控芯片的目标内存片段中获取目标信息，其中，所述第一中断通知用于通知所述图像处理芯片对所述初始张量数据进行处理；
所述图像处理芯片还用于向所述主控芯片发送第二中断通知，其中，所述第二中断通知用于通知所述主控芯片已完成对所述初始张量数据的处理。
13.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1至6中任一项所述的数据处理方法的步骤。
14.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1至6中任一项所述的数据处理方法的步骤。
CN202311273966.8A 2023-09-27 2023-09-27 数据处理方法、数据处理电路、电子设备和存储介质 Pending CN117274028A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311273966.8A CN117274028A (zh) 2023-09-27 2023-09-27 数据处理方法、数据处理电路、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311273966.8A CN117274028A (zh) 2023-09-27 2023-09-27 数据处理方法、数据处理电路、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN117274028A true CN117274028A (zh) 2023-12-22

Family

ID=89220960

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311273966.8A Pending CN117274028A (zh) 2023-09-27 2023-09-27 数据处理方法、数据处理电路、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN117274028A (zh)

Similar Documents

Publication Publication Date Title
US20060279578A1 (en) Systems and methods for updating a frame buffer based on arbitrary graphics calls
CN110928695A (zh) 一种关于显存的管理方法、装置及计算机存储介质
CN108846791B (zh) 物理模型的渲染方法、装置及电子设备
US9972065B2 (en) Resource layout randomization for GPU execution
CN110020300B (zh) 一种浏览器页面合成方法及终端
US20190122421A1 (en) Batch rendering method, device, and apparatus
US10474574B2 (en) Method and apparatus for system resource management
CN112604289B (zh) 游戏地图生成方法、装置、设备和存储介质
US20080082803A1 (en) Saving/Restoring Task State Data From/To Device Controller Host Interface Upon Command From Host Processor To Handle Task Interruptions
CN112187530A (zh) 一种日志解析方法、装置、电子设备及可读存储介质
US9324299B2 (en) Atlasing and virtual surfaces
US8941660B2 (en) Image generating apparatus, image generating method, and image generating integrated circuit
CN112463598A (zh) 一种压测方法、装置、电子设备和可读存储介质
CN115640138B (zh) 用于光线追踪调度的方法和装置
TW201020968A (en) System, method, and computer program product for preventing display of unwanted content stored in a frame buffer
CN117274028A (zh) 数据处理方法、数据处理电路、电子设备和存储介质
CN113784075B (zh) 一种屏幕录像读取方法、系统及计算设备
CN115269077A (zh) 一种图片显示方法、模块、移动终端及存储介质
US20060232593A1 (en) System and method for effectively utilizing a memory device in a compressed domain
CN115714839A (zh) 图像处理电路、装置、方法、芯片及电子设备
CN114625997A (zh) 页面渲染方法及装置、电子设备、计算机可读介质
CN107329654A (zh) 绘制元素浮层的方法、装置以及计算机可读存储介质
CN112307383A (zh) 一种页面加载方法及装置
CN115826898B (zh) 一种跨屏显示方法、系统、装置、设备及存储介质
CN115658351B (zh) 2d拷贝方法、装置、电子设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination