CN114025106A - 智能处理器、图像智能处理系统、方法及存储介质 - Google Patents

智能处理器、图像智能处理系统、方法及存储介质 Download PDF

Info

Publication number
CN114025106A
CN114025106A CN202111547276.8A CN202111547276A CN114025106A CN 114025106 A CN114025106 A CN 114025106A CN 202111547276 A CN202111547276 A CN 202111547276A CN 114025106 A CN114025106 A CN 114025106A
Authority
CN
China
Prior art keywords
image
unit
source
intelligent
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111547276.8A
Other languages
English (en)
Inventor
曾晶徽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Eswin Computing Technology Co Ltd
Haining Eswin IC Design Co Ltd
Original Assignee
Beijing Eswin Computing Technology Co Ltd
Haining Eswin IC Design Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Eswin Computing Technology Co Ltd, Haining Eswin IC Design Co Ltd filed Critical Beijing Eswin Computing Technology Co Ltd
Priority to CN202111547276.8A priority Critical patent/CN114025106A/zh
Publication of CN114025106A publication Critical patent/CN114025106A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4084—Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例提供了一种智能处理器、图像智能处理系统、方法及存储介质。该智能处理器包括电连接的图像缩放单元、存储单元和处理单元，能够根据中央处理器发送的源图像在第一内存单元中的存储地址，从第一内存单元处获取源图像，并通过图像缩放单元对源图像进行缩放，得到第一图像，第一图像满足人工智能模型所需的图像分辨率，把第一图像存储在存储单元，根据人工智能模型对第一图像进行处理，并向中央处理器反馈处理结果；可以解决中央处理器负责图像缩放导致中央处理器负载过高、需要增加额外的专门进行图像分辨率转换的硬件，或者缩放后的图像需要占用系统内存的技术问题。

Description

智能处理器、图像智能处理系统、方法及存储介质
技术领域
本申请涉及图像处理技术领域，具体而言，本申请涉及一种智能处理器、图像智能处理系统、方法及存储介质。
背景技术
利用人工智能模型对视频或图像进行处理分析是现在的常规操作，为了提高处理速度，经常采用专业的智能处理器，通过人工智能模型来对图像进行处理。当前不管是视频还是图像，其分辨率的发展都十分迅速，图像的分辨率越来越大，但是智能处理器中的人工智能模型在训练时，会将图像分辨率固定在某个值，所以在利用人工智能模型对图像做处理时，需要先将图像的源分辨率转化成人工智能模型所需的图像分辨率。
在现有的图像处理技术中，为将图像的源分辨率转化成人工智能模型所需的图像分辨率，在中央处理器中设置缩放算法，对系统内存中的源图像进行缩放处理，经缩放算法后，分辨率由源分辨率转换成人工智能模型所需的图像分辨率，缩放后的图像存储在系统内存中，再送至智能处理器中存储，并做处理，这种方法会大量消耗中央处理器的资源，造成中央处理器负载过高，影响中央处理器的速度且基本无法满足及时性要求，同时缩放后的图像要存储在系统内存中以供智能处理器获取，在系统内存需要存储源图像和缩放后的图像，容易造成存储空间不足，影响图像处理。
为解决在中央处理器中设置“缩放算法”造成的中央处理器负载过高的问题，在一种现有技术中，在系统级芯片中额外增加一个专门进行图像分辨率转换的硬件，代替中央处理器对源图像进行处理，转换源分辨率为人工智能模型所需的图像分辨率，这种方法虽然减轻了中央处理器的负载负担，但是仍存在缩放后的图像需要占用系统内存的技术问题，而且需要额外的缩放模块集成在系统级芯片中，增加了工艺难度和成本。
发明内容
本申请针对现有方式的缺点，提出一种智能处理器、图像智能处理系统、方法及存储介质，用以解决现有技术存在的中央处理器负责图像缩放导致中央处理器负载过高、需要增加额外的专门进行图像分辨率转换的硬件，或者缩放后的图像需要占用系统内存的技术问题。
第一个方面，本申请实施例提供了一种智能处理器，包括电连接的图像缩放单元、存储单元和处理单元；
所述处理单元，被配置与中央处理器和第一内存单元电连接，用于接收所述中央处理器发送的源图像在所述第一内存单元中的存储地址并发送给所述图像缩放单元；
所述图像缩放单元用于根据所述存储地址从所述第一内存单元处获取所述源图像，以及根据人工智能模型所需的图像分辨率，对所述源图像进行缩放，得到第一图像，将所述第一图像存储至所述存储单元；
所述处理单元用于根据所述人工智能模型对所述第一图像进行处理，并将得到的处理结果向所述中央处理器反馈。
可选地，所述处理单元还用于接收所述中央处理器发送的源图像的源分辨率，并将所述源分辨率发送给所述图像缩放单元。
可选地，所述处理单元还用于在接收到所述中央处理器发送的源图像在所述第一内存单元中的存储地址之前，解析每种所述人工智能模型得到所述种类的人工智能模型所需的图像分辨率，并将所述图像分辨率发送给所述图像缩放单元。
第二个方面，本申请实施例提供了一种图像智能处理系统，包括：中央处理器、第一内存单元和本申请第一方面提供的智能处理器；
所述中央处理器与所述智能处理器电连接，所述智能处理器与所述第一内存单元电连接；
所述中央处理器用于将源图像在所述第一内存单元中的存储地址发送给所述智能处理器，以及接收所述智能处理器对所述源图像的处理结果；
所述第一内存单元用于存储所述源图像；
所述智能处理器用于接收所述中央处理器发送的所述源图像在所述第一内存单元中的存储地址，并根据所述存储地址从所述第一内存单元处获取所述源图像；根据人工智能模型所需的图像分辨率，对所述源图像进行缩放，得到第一图像，将所述第一图像存储至存储单元，对所述第一图像进行处理，并将得到的处理结果向所述中央处理器反馈。
可选地，图像智能处理系统还包括：
所述中央处理器，被配置为与图形处理器电连接，用于向所述图形处理器发送所述源图像在所述第一内存单元中的存储地址；
所述第一内存单元，被配置为与所述图形处理器电连接，用于供所述图形处理器根据所述存储地址获取所述源图像。
第三个方面，本申请实施例提供了一种系统级芯片，包括电连接的图形处理器和本申请第二方面提供的图像智能处理系统。
第四个方面，本申请实施例提供了一种移动智能终端，包括电连接的显示面板和本申请第三方面提供的系统级芯片。
第五个方面，本申请实施例提供了一种图像处理方法，应用于本申请第一方面提供的智能处理器，所述图像处理方法的特征在于，包括：
接收到中央处理器发送的源图像在所述第一内存单元中的存储地址时，根据所述存储地址从所述第一内存单元处获取所述源图像；
根据人工智能模型所需的图像分辨率，对所述源图像进行缩放，得到第一图像，将所述第一图像存储至所述存储单元；
根据所述人工智能模型对所述第一图像进行处理，并将得到的处理结果向所述中央处理器反馈。
可选地，图像处理方法还包括：接收所述中央处理器发送的所述源图像的源分辨率，以将数字形式的所述源图像转换为满足所述源分辨率的第一二维数值矩阵。
可选地，图像处理方法还包括：
在接收到所述中央处理器发送的源图像在所述第一内存单元中的存储地址之前，解析每种所述人工智能模型得到所述种类的人工智能模型所需的图像分辨率，以使所述第一二维数值矩阵经缩放后得到的第二二维数值矩阵满足所述图像分辨率，所述第一图像由所述第二二维数值矩阵表征。
第六个方面，本申请实施例提供了一种图像处理方法，应用于本申请第二方面提供的图像智能处理系统，所述图像处理方法的特征在于，包括：
所述中央处理器将源图像在第一内存单元中的存储地址向智能处理器发送；
所述智能处理器接收到中央处理器发送的源图像在所述第一内存单元中的存储地址时，根据所述存储地址从所述第一内存单元处获取所述源图像；根据人工智能模型所需的图像分辨率，对所述源图像进行缩放，得到第一图像，将所述第一图像存储至存储单元；根据所述人工智能模型对所述第一图像进行处理，并将得到的处理结果反馈至所述中央处理器。
可选地，图像处理方法还包括；
所述中央处理器将所述源图像在第一内存单元中的存储地址向图形处理器发送，使得所述图形处理器根据所述存储地址获取所述源图像，并对所述源图像进行显示准备。
第七个方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被智能处理器执行时实现本申请第五方面提供的图像处理方法，或者该计算机程序被图像智能处理系统执行时实现本申请第六方面提供的图像处理方法。
本申请实施例提供的技术方案带来的有益技术效果包括：
本申请实施例提供的智能处理器，包括图像缩放单元，能够对源图像进行缩放处理，将源图像的源分辨率转换成人工智能模型所需的图像分辨率。解决了中央处理器负责图像缩放导致中央处理器负载过高、需要增加额外的专门进行图像分辨率转换的硬件的问题。
而且，智能处理器对源图像进行缩放后，缩放后的图像，即第一图像仅存储在智能处理器中，不用占用系统内存。具体地：
本申请实施例提供的智能处理器中的图像缩放单元，能够接收源图像，并根据人工智能模型所需的图像分辨率，对源图像进行缩放得到第一图像，第一图像的分辨率满足人工智能模型所需的图像分辨率，智能处理器的处理单元能够根据人工智能模型对第一图像正常进行图像处理。所以无需在中央处理器中设置缩放算法造成中央处理器负载过高，影响图像缩放的及时性，也不用在系统级芯片中额外增加一个专门进行图像分辨率转换的硬件，增大工艺难度和成本。
而且，源图像在智能处理器中完成缩放后，得到的第一图像仅存储在智能处理器中的存储单元中准备进行处理，因为源图像的缩放过程都是在智能处理器中完成的，所以第一图像无需占用智能处理器之外的第一内存单元，第一内存单元包括系统内存，避免了在智能处理器之外进行缩放处理情况下，缩放后得到的第一图像不仅要存储在智能处理器中进行处理，还要重复存储在第一内存单元中以供智能处理器获取，占用第一内存单元空间的问题，大大减轻了第一内存单元的存储负担。
本申请附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为现有技术的一种图像处理系统级芯片的结构示意图；
图2为现有技术的另一种图像处理系统级芯片的结构示意图；
图3为本申请实施例提供的一种图像智能处理系统的结构示意图；
图4为本申请实施例提供的一种图像智能处理系统级芯片的结构示意图；
图5为本申请实施例提供的一种智能处理器的图像处理方法的流程示意图；
图6为本申请实施例提供的一种图像智能处理系统的图像处理方法的流程示意图。
附图的附图标记解释如下：
1-系统级芯片；
100-图像智能处理系统；101-智能处理器；102-中央处理器：103-第一内存单元；1011-图像缩放单元；1012-存储单元；1013-处理单元；
104-图形处理器。
具体实施方式
下面详细描述本申请，本申请的实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的部件或具有相同或类似功能的部件。此外，如果已知技术的详细描述对于示出的本申请的特征是不必要的，则将其省略。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
首先对本申请涉及的几个名词进行介绍和解释：
CPU，为CentralProcessingUnit，指中央处理器。
AI，为ArtificialIntelligence，指人工智能，AI模型指人工智能模型。
本申请的发明人考虑到，对图像一般进行显示和处理两个方向，显示方向一般通过图形处理器进行，处理方向一般通过智能处理器中的人工智能模型进行。人工智能模型对图像进行处理时，要求被处理图像的分辨率满足人工智能模型在训练时固定的图像分辨率，这就要求在利用人工智能模型对视频或图像进行处理分析前，先要将图像的源分辨率转化成人工智能模型所需的图像分辨率。
本申请的发明人还考虑到，现有技术一般采用如下两种方式解决上述问题。第一种方式为在中央处理器中设置“缩放算法”，如图1所示，通过中央处理器对系统内存中的源图像进行缩放处理，将源图像的源分辨率转化成人工智能模型所需的图像分辨率，缩放后的图像存储在系统内存中，智能处理器再获取系统内存中的缩放后的图像存储并进行图像处理。
这种方式在实现将源分辨率转化成人工智能模型所需的图像分辨率时，会因为造成中央处理器，例如移动终端中的中央处理器，负载过高，影响中央处理器的速度而基本无法满足及时性要求，同时还因为源图像在智能处理器之外完成缩放，智能处理器接收的是缩放后的图像，所以除了智能处理器存储缩放后的图像进行处理外，缩放后的图像还需要重复存储在系统内存中以供智能处理器获取，系统内存空间容易不足，影响图像处理。
移动终端主要包括智能手机、平板电脑、笔记本电脑、二合一电脑等，其中央处理器的速度直接影响其性能和售价。
第二种方式为在系统级芯片中额外增加一个专门进行图像分辨率转换的硬件，代替中央处理器对源图像进行处理，如图2所示，这种方法减轻了中央处理器的负载负担，但是仍存在缩放后的图像重复存储，占用系统内存的问题，而且需要额外的缩放模块集成在系统级芯片中，增加了工艺难度和成本。
本申请提供的智能处理器、图像智能处理系统、方法及存储介质，旨在解决现有技术的如上技术问题。
下面以具体的实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
本申请实施例提供了一种智能处理器101，如图3所示，包括电连接的图像缩放单元1011、存储单元1012和处理单元1013。
处理单元1013，被配置与中央处理器102和第一内存单元103电连接，用于接收中央处理器102发送的源图像在第一内存单元103中的存储地址并发送给图像缩放单元1011。
图像缩放单元1011用于根据存储地址从第一内存单元103处获取源图像，以及根据人工智能模型所需的图像分辨率，对源图像进行缩放，得到第一图像，将第一图像存储至存储单元1012。
处理单元1013用于根据人工智能模型对第一图像进行处理，并将得到的处理结果向中央处理器102反馈。
本申请实施例提供的智能处理器，包括图像缩放单元，能够对源图像进行缩放处理，将源图像的源分辨率转换成人工智能模型所需的图像分辨率。解决了中央处理器负责图像缩放导致中央处理器负载过高、需要增加额外的专门进行图像分辨率转换的硬件的问题。
而且，智能处理器对源图像进行缩放后，缩放后的图像，即第一图像仅存储在智能处理器中，不用占用系统内存。具体地：
本申请实施例提供的智能处理器中的图像缩放单元，能够接收源图像，并根据人工智能模型所需的图像分辨率，对源图像进行缩放得到第一图像，第一图像的分辨率满足人工智能模型所需的图像分辨率，智能处理器的处理单元能够根据人工智能模型对第一图像正常进行图像处理。所以无需在中央处理器中设置缩放算法造成中央处理器负载过高，影响图像缩放的及时性，也不用在系统级芯片中额外增加一个专门进行图像分辨率转换的硬件，增大工艺难度和成本。
而且，源图像在智能处理器中完成缩放后，得到的第一图像仅存储在智能处理器中的存储单元中准备进行处理，因为源图像的缩放过程都是在智能处理器中完成的，所以第一图像无需占用智能处理器之外的第一内存单元，第一内存单元包括系统内存，避免了在智能处理器之外进行缩放处理情况下，缩放后得到的第一图像不仅要存储在智能处理器中进行处理，还要重复存储在第一内存单元中以供智能处理器获取，占用第一内存单元空间的问题，大大减轻了第一内存单元的存储负担。
可选地，中央处理器包括移动终端中的中央处理器，移动终端主要包括智能手机、平板电脑、笔记本电脑、二合一电脑等，其中央处理器的速度直接影响其性能和售价。
可选地，智能处理器101包括AIPU(ArtificialIntelligenceProcessUnit，人工智能处理器)。
可选地，智能处理器101还包括NPU(Neural-network Process Unit,嵌入式神经网络处理器)。
可选地，智能处理器101还包括TPU(Tensor Processing Unit，张量处理器)。
可选地，智能处理器101包括图像缩放单元1011，能够获取第一内存单元103中的源图像进行缩放，不用为使智能处理器直接获取缩放后的图像处理而需要先将缩放后的图像存储在第一内存单元103中，额外占用第一内存单元103的内存。
可选地，源图像存储在第一内存单元103中，不同源图像在第一内存单元103中的内存地址不同，智能处理器101通过对应的内存地址，能够从第一内存单元103中获取需要进行处理的源图像，
可选地，图像缩放单元1011接收到处理单元1013发送的、从中央处理器102传来的存储地址，直接获取源图像进行缩放处理，源图像不会在智能处理器中重复存储，占用存储空间。
可选地，存储单元1012用于存储缩放后的图像，即第一图像，在下一个图像进行处理时，下一个图像缩放后得到的另一第一图像会覆盖上一个第一图像，即处理的图像数量不会影响存储单元1012内存。
可选地，人工智能模型对第一图像进行处理，包括对图像进行分类或图像标注。
在一些实施例中，处理单元1013还用于接收中央处理器102发送的源图像的源分辨率，并将源分辨率发送给图像缩放单元1011。
可选地，图像缩放单元1011根据源分辨率将数字信号形式的源图像二维化，得到第一数值阵列；根据人工智能模型所需的图像分辨率对第一二维数值矩阵进行缩放处理，得到表征第一图像的第二二维数值矩阵，第二二维数值矩阵满足人工智能模型所需的图像分辨率。
可选地，不同的源图像，源分辨率可能不同，图像缩放单元1011接收到处理单元1013发送的、从中央处理器102传来源分辨率，可以对不同源分辨率的源图像进行缩放处理，不用根据源分辨率的不同进行重新配置。
可选地，图像缩放单元1011对第一二维数值矩阵进行缩放处理，得到表征第一图像的第二二维数值矩阵，通过图像缩放单元1011中配置的实现缩放的软件算法实现，软件算法包括最近邻插值算法、双线性插值算法。
可选地，第一二维数值矩阵的全部数字信号即为数字信号形式的源图像。
可选地，第二二维数值矩阵的全部数字信号即为数字信号形式的第一图像。
在一些实施例中，处理单元1013还用于在接收到中央处理器102发送的源图像在第一内存单元103中的存储地址之前，解析每种人工智能模型得到该类的人工智能模型所需的图像分辨率，并将图像分辨率发送给图像缩放单元1011。
可选地，人工智能模型的种类包括至少一种。
可选地，不同种类的人工智能模型所需的图像分辨率可能不同，同种类的人工智能模型包括对不同图像进行同种类的处理，不同种类的人工智能模型包括对同一个图像进行不同种类的处理。
可选地，智能处理器101能够先通过处理单元1013解析人工智能模型得到该种类人工智能模型对于图像分辨率的要求，能够在后续接收到源图像后立即进行缩放处理，同时，智能处理器101对人工智能模型进行解析，无需人工获取人工智能模型所需的图像分辨率信息，简化了人工操作。
可选地，不同的人工智能模型，所需的图像分辨率可能不同，图像缩放单元1011接收到处理单元1013发送的、该种人工智能模型所需的分辨率，可以根据不同人工智能模型来对源图像进行合适的缩放处理，不用根据人工智能模型所需图像分辨率的不同进行重新配置。
基于同一发明构思，本申请实施例提供了一种图像智能处理系统100，包括：中央处理器102、第一内存单元103和本申请提供的智能处理器101。
中央处理器102与智能处理器101电连接，智能处理器101与第一内存单元103电连接。
中央处理器102用于将源图像在第一内存单元103中的存储地址发送给智能处理器101，以及接收智能处理器101对源图像的处理结果。
第一内存单元103用于存储源图像。
智能处理器101用于接收中央处理器102发送的源图像在第一内存单元103中的存储地址，并根据存储地址从第一内存单元103处获取源图像；根据人工智能模型所需的图像分辨率，对源图像进行缩放，得到第一图像，将第一图像存储至存储单元1012，对第一图像进行处理，并将得到的处理结果向中央处理器102反馈。
可选地，中央处理器无需对源图像进行缩放处理，也不用在系统级芯片中额外设置用于转换图像分辨率的硬件，而是将源图像在第一内存单元103中的存储地址发送给智能处理器101，智能处理器直接获取源图像进行缩放处理。
可选地，第一内存单元103仅用于存储源图像，供智能处理器根据存储地址获取源图像。
在一些实施例中，如图4所示，图像智能处理系统100还包括：
中央处理器102，被配置为与图形处理器104电连接，用于向图形处理器104发送源图像在第一内存单元103中的存储地址。
第一内存单元103，被配置为与图形处理器104电连接，用于供图形处理器104根据存储地址获取源图像。
可选地，源图像还能通过图形处理器104做显示准备后在显示屏上进行显示。
基于同一发明构思，本申请实施例提供了一种系统级芯片1，包括电连接的图形处理器104和本申请提供的图像智能处理系统100。
可选地，系统级芯片1为SOC(SystemonChip，系统级芯片)。
可选地，在系统级芯片1中可实现图像的显示准备和图像处理两个功能。
可选地，第一内存单元103包括系统级芯片1的系统内存。
基于同一发明构思，本申请实施例提供了一种移动智能终端，包括电连接的显示面板和本申请提供的系统级芯片1。
可选地，显示面板用于接收系统级芯片1中图形处理器104发送的源图像信息并进行系统显示。
基于同一发明构思，与本申请上述提供的智能处理器101相匹配，本申请实施例提供了一种图像处理方法，该方法的流程示意图如图5所示，该方法包括如下步骤S501-S503：
S501：接收到中央处理器102发送的源图像在第一内存单元103中的存储地址时，根据存储地址从第一内存单元103处获取源图像。
可选地，智能处理器101接收到中央处理器102发送的源图像在第一内存单元103中的存储地址时，根据存储地址从第一内存单元103处获取源图像。
可选地，不同源图像在第一内存单元103中的存储地址不同，根据存储地址，智能处理器101能够从第一内存单元103获得对应的源图像。
S502：根据人工智能模型所需的图像分辨率，对源图像进行缩放，得到第一图像，将第一图像存储至存储单元1012。
可选地，智能处理器101根据人工智能模型所需的图像分辨率，对源图像进行缩放，得到第一图像，将第一图像存储至存储单元1012。
可选地，图像处理方法还包括，智能处理器101接收中央处理器102发送的源图像的源分辨率，以将数字形式的源图像转换为满足源分辨率的第一二维数值矩阵。
可选地，智能处理器101所根据源分辨率将数字信号形式的源图像二维化，得到第一二维数值矩阵。
智能处理器101根据人工智能模型所需的图像分辨率对第一二维数值矩阵进行缩放处理，得到表征第一图像的第二二维数值矩阵，第二二维数值矩阵满足人工智能模型所需的图像分辨率。
可选地，不同源图像的源分辨率可能不同。
可选地，第一二维数值矩阵通过缩放处理，得到第二二维数值矩阵，通过实现缩放的软件算法实现。
可选地，图像处理方法还包括，智能处理器101在接收到中央处理器102发送的源图像在第一内存单元103中的存储地址之前，解析每种人工智能模型得到种类的人工智能模型所需的图像分辨率，以使第一二维数值矩阵经缩放后得到的第二二维数值矩阵满足图像分辨率，第一图像由第二二维数值矩阵表征。
可选地，人工智能模型的种类包括至少一种。
可选地，不同人工智能模型所需的图像分辨率可能不同。
S503：根据人工智能模型对第一图像进行处理，并将得到的处理结果向中央处理器102反馈。
可选地，智能处理器101根据人工智能模型对第一图像进行处理，并将得到的处理结果向中央处理器102反馈。
可选地，缩放后得到的第一图像的图像分辨率满足人工智能模型所需的图像分辨率，人工智能模型能够对第一图像进行处理。
可选地，选用第一人工智能模型对第一源图像进行处理。
智能处理器101的处理单元1013对第一人工智能模型解析，得到第一人工智能模型所需的图像分辨率为256*256，并发送给图像缩放单元1011。256*256表示256行256列像素，或者一共256行且每行256个像素。
智能处理器101的处理单元1013接收到中央处理器发送的第一源图像在第一内存单元103中的存储地址，发送给图像缩放单元1011，图像缩放单元1011从第一内存单元103中获取第一源图像。
智能处理器101的处理单元1013接收到中央处理器发送的第一源图像的分辨率为1025*1025，并发送给图像缩放单元1011，图像缩放模块将接收的数字信号形式的第一源图像，根据源分辨率二维化得到1025*1025的第一二维数值矩阵。
图像缩放模块对1025*1025的第一二维数值矩阵通过软件算法进行缩放处理，缩放成256*256的第二二维数值矩阵，第二二维数值矩阵的全部数字信号即为数字信号形式的第一图像，并将第一图像存储至存储单元1012。
处理模块根据第一人工智能模型对存储单元1012中分辨率为256*256的第一图像进行处理，并将处理结果反馈至中央处理器。
基于同一发明构思，与本申请上述提供的图像智能处理系统100相匹配，本申请实施例提供了一种图像处理方法，该方法的流程示意图如图6所示，该方法包括如下步骤S601-S602：
S601：中央处理器102将源图像在第一内存单元103中的存储地址向智能处理器101发送。
可选地，中央处理器102还将源图像在第一内存单元103中的存储地址向图形处理器104发送，使得图形处理器104根据存储地址获取源图像，并对源图像进行显示准备。
可选地，源图像在图形处理器104中经过显示准备后能够在移动智能终端的显示面板上进行显示。
S602：智能处理器101接收到中央处理器102发送的源图像在第一内存单元103中的存储地址时，根据存储地址从第一内存单元103处获取源图像；根据人工智能模型所需的图像分辨率，对源图像进行缩放，得到第一图像，将第一图像存储至存储单元1012；根据人工智能模型对第一图像进行处理，并将得到的处理结果反馈至中央处理器102。
可选地，智能处理器101能对不同源分辨率的源图像，根据需求不同图像分辨率的人工智能模型完成缩放处理，并根据人工智能模型完成图像处理。
基于同一发明构思，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被智能处理器101执行时实现本申请实施例提供的图像处理方法，或者该计算机程序被图像智能处理系统100执行时实现本申请实施例提供的图像处理方法。
应用本申请实施例，至少能够实现如下有益效果：
本申请实施例提供的智能处理器，包括图像缩放单元，能够对源图像进行缩放处理，将源图像的源分辨率转换成人工智能模型所需的图像分辨率。解决了中央处理器负责图像缩放导致中央处理器负载过高、需要增加额外的专门进行图像分辨率转换的硬件的问题。
而且，智能处理器对源图像进行缩放后，缩放后的图像，即第一图像仅存储在智能处理器中，不用占用系统内存。具体地：
本申请实施例提供的智能处理器中的图像缩放单元，能够接收源图像，并根据人工智能模型所需的图像分辨率，对源图像进行缩放得到第一图像，第一图像的分辨率满足人工智能模型所需的图像分辨率，智能处理器的处理单元能够根据人工智能模型对第一图像正常进行图像处理。所以无需在中央处理器中设置缩放算法造成中央处理器负载过高，影响图像缩放的及时性，也不用在系统级芯片中额外增加一个专门进行图像分辨率转换的硬件，增大工艺难度和成本。
而且，源图像在智能处理器中完成缩放后，得到的第一图像仅存储在智能处理器中的存储单元中准备进行处理，因为源图像的缩放过程都是在智能处理器中完成的，所以第一图像无需占用智能处理器之外的第一内存单元，第一内存单元包括系统内存，避免了在智能处理器之外进行缩放处理情况下，缩放后得到的第一图像不仅要存储在智能处理器中进行处理，还要重复存储在第一内存单元中以供智能处理器获取，占用第一内存单元空间的问题，大大减轻了第一内存单元的存储负担。
同时，智能处理器对人工智能模型进行解析，无需人工获取人工智能模型所需的图像分辨率信息，简化了人工操作。
以及，智能处理器能够通过处理单元1013解析人工智能模型得到不同种类人工智能模型对于图像分辨率的要求，以及中央处理器直接将源图像的分辨率发送给智能处理器，图像缩放模块可以根据不同种类的人工智能模型对不同分辨率的源图像进行缩放处理，不用重新配置图像缩放单元1011，其通用性和灵活性更好。
本技术领域技术人员可以理解，本申请中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本申请中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本申请中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。
术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (13)

1.一种智能处理器，其特征在于，包括电连接的图像缩放单元、存储单元和处理单元；
所述处理单元，被配置与中央处理器和第一内存单元电连接，用于接收所述中央处理器发送的源图像在所述第一内存单元中的存储地址并发送给所述图像缩放单元；
所述图像缩放单元用于根据所述存储地址从所述第一内存单元处获取所述源图像，以及根据人工智能模型所需的图像分辨率，对所述源图像进行缩放，得到第一图像，将所述第一图像存储至所述存储单元；
所述处理单元用于根据所述人工智能模型对所述第一图像进行处理，并将得到的处理结果向所述中央处理器反馈。
2.根据权利要求1所述的智能处理器，其特征在于，所述处理单元还用于接收所述中央处理器发送的源图像的源分辨率，并将所述源分辨率发送给所述图像缩放单元。
3.根据权利要求2所述的智能处理器，其特征在于；
所述处理单元还用于在接收到所述中央处理器发送的源图像在所述第一内存单元中的存储地址之前，解析每种所述人工智能模型得到每种所述人工智能模型所需的图像分辨率，并将所述图像分辨率发送给所述图像缩放单元。
4.一种图像智能处理系统，其特征在于，包括：中央处理器、第一内存单元和如权利要求1-3中任一所述的智能处理器；
所述中央处理器与所述智能处理器电连接，所述智能处理器与所述第一内存单元电连接；
所述中央处理器用于将源图像在所述第一内存单元中的存储地址发送给所述智能处理器，以及接收所述智能处理器对所述源图像的处理结果；
所述第一内存单元用于存储所述源图像；
所述智能处理器用于接收所述中央处理器发送的所述源图像在所述第一内存单元中的存储地址，并根据所述存储地址从所述第一内存单元处获取所述源图像；根据人工智能模型所需的图像分辨率，对所述源图像进行缩放，得到第一图像，将所述第一图像存储至存储单元，对所述第一图像进行处理，并将得到的处理结果向所述中央处理器反馈。
5.根据权利要求4所述的图像智能处理系统，其特征在于，还包括：
所述中央处理器，被配置为与图形处理器电连接，用于向所述图形处理器发送所述源图像在所述第一内存单元中的存储地址；
所述第一内存单元，被配置为与所述图形处理器电连接，用于供所述图形处理器根据所述存储地址获取所述源图像。
6.一种系统级芯片，其特征在于，包括电连接的图形处理器和如权利要求4-5中任一所述的图像智能处理系统。
7.一种移动智能终端，其特征在于，包括电连接的显示面板和如权利要求6所述的系统级芯片。
8.一种图像处理方法，应用于如权利要求1-3中任一所述的智能处理器，所述图像处理方法的特征在于，包括：
接收到中央处理器发送的源图像在所述第一内存单元中的存储地址时，根据所述存储地址从所述第一内存单元处获取所述源图像；
根据人工智能模型所需的图像分辨率，对所述源图像进行缩放，得到第一图像，将所述第一图像存储至所述存储单元；
根据所述人工智能模型对所述第一图像进行处理，并将得到的处理结果向所述中央处理器反馈。
9.根据权利要求8所述的图像处理方法，其特征在于，还包括：接收所述中央处理器发送的所述源图像的源分辨率，以将数字形式的所述源图像转换为满足所述源分辨率的第一二维数值矩阵。
10.根据权利要求9所述的图像处理方法，其特征在于，还包括；
在接收到所述中央处理器发送的源图像在所述第一内存单元中的存储地址之前，解析每种所述人工智能模型得到所述种类的人工智能模型所需的图像分辨率，以使所述第一二维数值矩阵经缩放后得到的第二二维数值矩阵满足所述图像分辨率，所述第一图像由所述第二二维数值矩阵表征。
11.一种图像处理方法，应用于如权利要求4-5中任一所述的图像智能处理系统，所述图像处理方法的特征在于，包括：
所述中央处理器将源图像在第一内存单元中的存储地址向智能处理器发送；
所述智能处理器接收到中央处理器发送的源图像在所述第一内存单元中的存储地址时，根据所述存储地址从所述第一内存单元处获取所述源图像；根据人工智能模型所需的图像分辨率，对所述源图像进行缩放，得到第一图像，将所述第一图像存储至存储单元；根据所述人工智能模型对所述第一图像进行处理，并将得到的处理结果反馈至所述中央处理器。
12.根据权利要求11所述的图像处理方法，其特征在于，还包括；
所述中央处理器将所述源图像在第一内存单元中的存储地址向图形处理器发送，使得所述图形处理器根据所述存储地址获取所述源图像，并对所述源图像进行显示准备。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被智能处理器执行时实现如权利要求8-10中任一所述的图像处理方法，或者该计算机程序被图像智能处理系统执行时实现如权利要求11-12中任一所述的图像处理方法。
CN202111547276.8A 2021-12-16 2021-12-16 智能处理器、图像智能处理系统、方法及存储介质 Pending CN114025106A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111547276.8A CN114025106A (zh) 2021-12-16 2021-12-16 智能处理器、图像智能处理系统、方法及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111547276.8A CN114025106A (zh) 2021-12-16 2021-12-16 智能处理器、图像智能处理系统、方法及存储介质

Publications (1)

Publication Number Publication Date
CN114025106A true CN114025106A (zh) 2022-02-08

Family

ID=80068787

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111547276.8A Pending CN114025106A (zh) 2021-12-16 2021-12-16 智能处理器、图像智能处理系统、方法及存储介质

Country Status (1)

Country Link
CN (1) CN114025106A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663445A (zh) * 2012-03-29 2012-09-12 中国科学院上海光学精密机械研究所 基于层次时间记忆算法的图像理解系统及其图像理解方法
US20160037086A1 (en) * 2014-07-31 2016-02-04 Canon Kabushiki Kaisha Image pickup apparatus and control method for same
CN108259997A (zh) * 2018-04-02 2018-07-06 腾讯科技（深圳）有限公司 图像相关处理方法及装置、智能终端、服务器、存储介质
CN110430444A (zh) * 2019-08-12 2019-11-08 北京中科寒武纪科技有限公司 一种视频流处理方法及系统
CN110633759A (zh) * 2019-09-24 2019-12-31 北京华力兴科技发展有限责任公司 图像融合方法、装置及电子设备
CN111598968A (zh) * 2020-06-28 2020-08-28 腾讯科技（深圳）有限公司 一种图像处理方法、装置、存储介质和电子设备
WO2020220346A1 (zh) * 2019-04-30 2020-11-05 华为技术有限公司 一种图像处理方法及装置
CN111930641A (zh) * 2020-07-28 2020-11-13 展讯通信(天津)有限公司 一种图像数据处理方法及智能设备
CN112515630A (zh) * 2020-10-09 2021-03-19 中国科学院深圳先进技术研究院 一种光声信号处理装置及处理方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663445A (zh) * 2012-03-29 2012-09-12 中国科学院上海光学精密机械研究所 基于层次时间记忆算法的图像理解系统及其图像理解方法
US20160037086A1 (en) * 2014-07-31 2016-02-04 Canon Kabushiki Kaisha Image pickup apparatus and control method for same
CN108259997A (zh) * 2018-04-02 2018-07-06 腾讯科技（深圳）有限公司 图像相关处理方法及装置、智能终端、服务器、存储介质
WO2020220346A1 (zh) * 2019-04-30 2020-11-05 华为技术有限公司 一种图像处理方法及装置
CN110430444A (zh) * 2019-08-12 2019-11-08 北京中科寒武纪科技有限公司 一种视频流处理方法及系统
CN110633759A (zh) * 2019-09-24 2019-12-31 北京华力兴科技发展有限责任公司 图像融合方法、装置及电子设备
CN111598968A (zh) * 2020-06-28 2020-08-28 腾讯科技（深圳）有限公司 一种图像处理方法、装置、存储介质和电子设备
CN111930641A (zh) * 2020-07-28 2020-11-13 展讯通信(天津)有限公司 一种图像数据处理方法及智能设备
CN112515630A (zh) * 2020-10-09 2021-03-19 中国科学院深圳先进技术研究院 一种光声信号处理装置及处理方法

Similar Documents

Publication Publication Date Title
US6441811B1 (en) Display control device and reproduction display device for electronic books
EP0146227A2 (en) System and method for raster-scan display
WO2004045200A1 (en) Method and system for conducting image processing from a mobile client device
CN100420263C (zh) 显示打印进度状态的方法和设备
CN110414520A (zh) 通用字符识别方法、装置、计算机设备和存储介质
CN1261696A (zh) 能够将图象旋转180度的显示设备和方法
CN104011581A (zh) 图像处理装置、图像处理系统、图像处理方法和图像处理程序
CN107943363B (zh) 背景图像的配置方法及装置、交互智能平板及存储介质
US20090207310A1 (en) Video-processing apparatus, method and system
CN107728892B (zh) 图片展示方法、装置、终端和存储介质
US10628919B2 (en) Image segmentation method and apparatus
CN112233125A (zh) 图像分割方法、装置、电子设备及计算机可读存储介质
CN101448120A (zh) 一种图表视频的动态生成系统
EP4150556A1 (en) Image super-resolution
US4644409A (en) Document resolution-adaption method and apparatus
Kim et al. 2X super-resolution hardware using edge-orientation-based linear mapping for real-time 4K UHD 60 fps video applications
CN100465994C (zh) 按比例缩小数字矩阵图像的方法及装置
US8305383B2 (en) Data access apparatus and method
US20060055626A1 (en) Dual screen display using one digital data output
CN114025106A (zh) 智能处理器、图像智能处理系统、方法及存储介质
CN114036323A (zh) 数据压缩方法及装置、存储介质
CN113077389A (zh) 一种基于信息蒸馏结构的红外热成像方法
CN102387293A (zh) 运动图片处理装置、运动图片处理方法和程序
CN102340638B (zh) 一种视频处理装置中并行处理数据的方法和装置
CN112150345A (zh) 图像处理方法及装置、视频处理方法和发送卡

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Room 263, block B, science and technology innovation center, 128 Shuanglian Road, Haining Economic Development Zone, Haining City, Jiaxing City, Zhejiang Province, 314400

Applicant after: Haining yisiwei IC Design Co.,Ltd.

Applicant after: Beijing yisiwei Computing Technology Co.,Ltd.

Address before: Room 263, block B, science and technology innovation center, 128 Shuanglian Road, Haining Economic Development Zone, Haining City, Jiaxing City, Zhejiang Province, 314400

Applicant before: Haining yisiwei IC Design Co.,Ltd.

Applicant before: Beijing yisiwei Computing Technology Co.,Ltd.

CB02 Change of applicant information