CN115147861A - 进行人物特征识别的人工智能系统及方法 - Google Patents
进行人物特征识别的人工智能系统及方法 Download PDFInfo
- Publication number
- CN115147861A CN115147861A CN202110352151.3A CN202110352151A CN115147861A CN 115147861 A CN115147861 A CN 115147861A CN 202110352151 A CN202110352151 A CN 202110352151A CN 115147861 A CN115147861 A CN 115147861A
- Authority
- CN
- China
- Prior art keywords
- operators
- image
- model
- operator
- artificial intelligence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 144
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000012545 processing Methods 0.000 claims abstract description 42
- 230000008569 process Effects 0.000 claims description 14
- 238000011176 pooling Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 3
- 230000003139 buffering effect Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000000969 carrier Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/14—Handling requests for interconnection or transfer
- G06F13/16—Handling requests for interconnection or transfer for access to memory bus
- G06F13/1668—Details of memory controller
- G06F13/1673—Details of memory controller using buffers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/38—Information transfer, e.g. on bus
- G06F13/40—Bus structure
- G06F13/4063—Device-to-bus coupling
- G06F13/4068—Electrical coupling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/38—Information transfer, e.g. on bus
- G06F13/42—Bus transfer protocol, e.g. handshake; Synchronisation
- G06F13/4204—Bus transfer protocol, e.g. handshake; Synchronisation on a parallel bus
- G06F13/4221—Bus transfer protocol, e.g. handshake; Synchronisation on a parallel bus being an input/output bus, e.g. ISA bus, EISA bus, PCI bus, SCSI bus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F15/00—Digital computers in general; Data processing equipment in general
- G06F15/76—Architectures of general purpose stored program computers
- G06F15/78—Architectures of general purpose stored program computers comprising a single central processing unit
- G06F15/7807—System on chip, i.e. computer system on a single chip; System in package, i.e. computer system on one or more chips in a single package
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种进行人物特征识别的人工智能系统及方法；所述人工智能系统包括：处理芯片，用于解析用于进行人物特征识别的人工智能AI模型，确定所要运行的第一部分运算算子、第二部分运算算子及其运行顺序，并根据所述运行顺序调度相应的运算算子对图像数据进行运算得到人物特征识别结果；可编程逻辑器件，用于获取所采集的原始图像并处理成所述图像数据，以及输出所述人物特征识别结果。本申请实施例具有低功耗、低延时、低成本和易扩展等优点，适合在边缘端嵌入式系统中使用。
Description
技术领域
本申请实施例涉及人工智能领域，尤其涉及一种进行人物特征识别的人工智能系统及方法。
背景技术
随着AI(Artificial Intelligence，人工智能)技术的发展与广泛应用，对不同场景下的AI计算提出了越来越大的挑战。AI计算的应用从一开始的云端逐渐扩展到边缘端嵌入式系统。
目前人物特征识别方法，一般有以下三种：
第一种是使用复杂图像处理算法，分析处理人物图像采样数据，识别图像中的人物特征。
第二、第三种都是AI方法，第二种是桌面/云端的AI方法，基于AI服务器、AI处理器或GPU(Graphics Processing Unit，图形处理器)等专用硬件，通过强大的硬件AI计算能力来推断图像中的人物特征。
第三种是移动设备端AI方法，基于高端芯片，内嵌AI算法来识别图像中的人物特征。
前两种方法不利于在边缘端嵌入式系统中应用，第三种往往是使用价格较昂贵的高端芯片，由于成本较高也不利于在追求小而价廉的边缘端嵌入式系统中应用。
发明内容
本申请提供了一种进行人物特征识别的人工智能系统及方法，可以低成本、高性能的实现人物特征识别。
本申请实施例提供了一种进行人物特征识别的人工智能系统，包括：
处理芯片，用于解析用于进行人物特征识别的AI模型，确定所要运行的第一部分运算算子、第二部分运算算子及其运行顺序，并根据所述运行顺序调度相应的运算算子对图像数据进行运算得到人物特征识别结果；可编程逻辑器件，用于获取所采集的原始图像并处理成所述图像数据，以及输出所述人物特征识别结果。
本申请实施例还提供了一种进行人物特征识别的方法，应用于上述的进行人物特征识别的人工智能系统中，所述方法包括：
处理芯片解析用于进行人物特征识别的AI模型，确定所要运行的第一部分运算算子、第二部分运算算子及其运行顺序；
可编程逻辑器件获取所采集的图像并处理成图像数据；
所述处理芯片根据所述运行顺序调度所述第一部分运算算子和第二部分运算算子对所述图像数据进行运算得到人物特征识别结果；
所述可编程逻辑器件输出所述人物特征识别结果。
本申请实施例的人工智能系统通过处理芯片和可编程逻辑器件的相互配合，共同完成使用AI模型进行人物特征识别这一功能，这样可以充分利用处理芯片和可编程逻辑器件各自的优势，仅需较少逻辑资源和有限数据计算能力，就可以实现对于所采集的图像中人物特征的识别以及显示，具有低功耗、低延时、低成本、高性能和易扩展等优点，适合在边缘端嵌入式系统中使用。
在阅读并理解了附图和详细描述后，可以明白其他方面。
附图说明
附图用来提供对本申请技术方案的理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。
图1为本申请实施例的进行人物特征识别的人工智能系统的示意图；
图2为一种实施方式中采用片上系统实现AI系统的示意图；
图3为本申请实施例的进行人物特征识别的方法的流程示意图；
图4为示例中进行人物特征识别的流程示意图；
图5为示例中进行人物特征识别的AI系统的结构示意图；
图6为示例中图像采集模块的示意图；
图7为示例中图像预处理模块的示意图；
图8为示例中人物特征识别AI模型推断模块的示意图。
具体实施方式
本申请描述了多个实施例，但是该描述是示例性的，而不是限制性的，并且对于本领域的普通技术人员来说显而易见的是，在本申请所描述的实施例包含的范围内可以有更多的实施例和实现方案。尽管在附图中示出了许多可能的特征组合，并在具体实施方式中进行了讨论，但是所公开的特征的许多其它组合方式也是可能的。除非特意加以限制的情况以外，任何实施例的任何特征或元件可以与任何其它实施例中的任何其他特征或元件结合使用，或可以替代任何其它实施例中的任何其他特征或元件。
本申请包括并设想了与本领域普通技术人员已知的特征和元件的组合。本申请已经公开的实施例、特征和元件也可以与任何常规特征或元件组合，以形成由所附权利要求限定的独特的发明方案。任何实施例的任何特征或元件也可以与来自其它发明方案的特征或元件组合，以形成另一个由所附权利要求限定的独特的发明方案。因此，应当理解，在本申请中示出和/或讨论的任何特征可以单独地或以任何适当的组合来实现。因此，除了根据所附权利要求及其等同替换所做的限制以外，实施例不受其它限制。此外，可以在所附权利要求的保护范围内进行各种修改和改变。
此外，在描述具有代表性的实施例时，说明书可能已经将方法和/或过程呈现为特定的步骤序列。然而，在该方法或过程不依赖于本文所述步骤的特定顺序的程度上，该方法或过程不应限于所述的特定顺序的步骤。如本领域普通技术人员将理解的，其它的步骤顺序也是可能的。因此，说明书中阐述的步骤的特定顺序不应被解释为对所附权利要求的限制。此外，针对该方法和/或过程的权利要求不应限于按照所写顺序执行它们的步骤，本领域技术人员可以容易地理解，这些顺序可以变化，并且仍然保持在本申请实施例的精神和范围内。
本申请实施例提供了一种进行人物特征识别的人工智能系统，如图1所示，包括：
处理芯片11，用于解析用于进行人物特征识别的AI模型，确定所要运行的第一部分运算算子、第二部分运算算子及其运行顺序，并根据所述运行顺序调度相应的运算算子对图像数据进行运算得到人物特征识别结果；
可编程逻辑器件12，用于获取所采集的原始图像并处理成所述图像数据，以及输出所述人物特征识别结果。
本实施例的AI系统能够采用轻量级和低功耗的器件实现人物特征识别，降低了AI模型推断以及人物特征识别的复杂性，解决了边缘端嵌入式系统中应用AI方法识别图像中人物特征时的高复杂、高功耗、高成本的问题，可以通过使用中低端的低功耗轻量化系统装载用于进行人物特征识别的AI模型，降低了全系统功耗，降低了成本，提高了边缘端嵌入式系统应用AI方法识别人物特征的性价比和效率。
本实施例中，所述人物特征识别可以但不限于是指确定人物特征是什么、或检测出人物特征等操作，人物特征包括但不限于人物年龄、人物性别等；人物特征识别结果可以但不限于包括以下一项或多项：所检测出的人物特征、识别出的包含人物特征的图像区域、根据人物特征得到的分类结果等。
本实施例中，所述用于进行人物特征识别的AI模型可以是任一个可以从原始图像中识别、检测出人物特征(或可以得到根据人物特征进行分类的结果、或可以检测出包含人物特征的图像区域、或可以得到其它和人物特征相关的结果)的AI模型，通常可以通过机器学习的方法得到。人物特征识别结果可以看成是将图像数据输入所述用于进行人物特征识别的AI模型时，该AI模型的输出结果(或者称为该AI模型的推断结论)。
本实施例中，输出人物特征识别结果时还可以一并输出原始图像。
本实施例中，每个运算算子可以看成是所述AI模型中的一层，或者是AI模型所进行的运算中的一个步骤。运算算子可以但不限于通过函数或任务等形式进行保存，在根据运行顺序调度运算算子时可以但不限于是通过函数名或任务名等调用相应的运算算子。
本实施例中，可以预先在处理芯片和可编程逻辑器件中各自装载多个运算算子，其中，装载运算算子可以但不限于是指将实现该运算算子所对应的运算步骤的软件代码保存到处理芯片中，或是根据实现该运算算子的硬件描述语言对可编程逻辑器件进行配置。
本实施例中的用于进行人物特征识别的AI模型可以是任一个人物特征识别领域所采用的AI模型，本申请对此不作限制。该AI模型可以是预先训练好的模型；可以在识别过程中更新该AI模型。
一些示例性的实施例中，所述第一部分运算算子是指通过所述处理芯片实现的多个运算算子；所述第二部分运算算子是指通过所述可编程逻辑器件实现的多个运算算子。
一些示例性的实施例中，所述处理芯片可以但不限于为MCU(Micro ControlUnit，微控制单元)，所述可编程逻辑器件可以但不限于为FPGA(Field Programmable GateArray，现场可编程门阵列)。
本实施例中，所述进行人物特征识别的AI系统可以是一个片上系统。
本实施例中，前文所描述的处理芯片、可编程逻辑器件进行的操作可以但不限于分别在MCU内核、FPGA内核完成。第一、第二部分运算算子可以分别由MCU内核、FPGA内核实现。
本实施例可以通过一个MCU与FPGA片上系统实现AI系统；MCU与FPGA片上系统是指将FPGA、MCU、存储器、外部设备等与FPGA内核连接起来，构成一个MCU控制器加FPGA内核的片上系统。基于FPGA可编程的特点，该架构具有良好的扩展性。
本实施例的一种实施方式中，AI系统以如图2所示的轻量级MCU和低功耗FPGA的SoC(System On Chip，片上系统)为载体，MCU和FPGA之间通过共享存储器进行数据交互，实现人物特征识别。该片上系统可以外接摄像头和/或HDMI(High Definition MultimediaInterface，高清多媒体接口)设备以获得所采集到的原始图像，还可以外接图像显示设备以输出人物特征识别结果。
本实施例的一种实施方式中，所述第一部分运算算子可以为适于使用MCU软件实现的运算算子，所述第二部分运算算子可以为适于使用FPGA内核硬件加速并行处理的运算算子。
其它实施例中，可以按照其它原则来划分第一、第二运算算子。
本实施例的一种实施方式中，所述第一部分运算算子可以包括以下一种或多种类型的运算算子：全连接运算算子、矩阵变换运算算子、柔性最大值传输运算算子、切片运算算子、Pack运算算子(有时也称为Stack运算算子)；
所述第二部分运算算子可以包括以下一种或多种类型的运算算子：普通卷积运算算子、深度卷积运算算子、最大池化运算算子、平均池化运算算子。
当一个AI模型中还包含有上述未列举到的运算算子时，可以根据需要将该运算算子划分为第一部分运算算子或第二部分运算算子；或者，可以考虑该运算算子是否适于使用硬件加速，如果适于使用硬件加速则作为第二部分运算算子，如果不适于进行硬件加速或更适于使用软件实现则作为第一部分运算算子；或者，可以自行决定将该运算算子放在处理芯片上或可编程逻辑器件上实现。
本实施例的一种实施方式中，所述MCU还可以用于读取所述图像数据并输入给相应的第一部分运算算子和/或第二部分运算算子，以及输出所述人物特征识别结果。
本实施方式中，可以看成AI模型除了运算算子外，还包括输入层和输出层，分别用于将图像数据(直接或通过输入输出缓冲器)输入给AI模型中的相应运算算子，以及直接向共享存储器输出或通过输入输出缓冲器向共享存储器输出人物特征识别结果；该输入层和输出层可以由MCU内核实现。
一些示例性的实施例中，所述的人工智能系统还可以包括：
共享存储器，用于保存所述图像数据、所述人物特征识别结果，以及所述多个运算算子的运算结果；
所述处理芯片通过系统总线连接所述共享存储器，所述可编程逻辑器件通过并行总线连接所述共享存储器。
本实施例中，各运算算子的运算结果可以保存在共享存储器中，供下一个运行的运算算子读取使用。最后一个运行的运算算子的运算结果可以由所述处理芯片读取，并根据该运算结果得到所述人物特征识别结果。
其它实施例中，可以采用其它形式的存储器，或可以将共享存储器包含在可编程逻辑器件中。
本实施例的一种实施方式中，所述可编程逻辑器件可以包括：
开关控制器，用于选择摄像头输入的图像或HDMI(High Definition MultimediaInterface，高清多媒体接口)设备输入的原始图像；
摄像头控制器，用于控制所述摄像头进行图像采集，控制所采集的原始图像的读、写时序以及缓存；
HDMI接口设备控制器，用于控制HDMI设备进行图像采集，以及控制所采集的原始图像的读、写时序以及缓存；
第一输入输出缓冲器，用于缓存摄像头或HDMI设备采集的原始图像，并通过并行总线发送给所述共享存储器。
本实施方式中，所述可编程逻辑器件还可以包括：
第二输入输出缓冲器，用于保存从所述共享存储器读取的所述原始图像；
图像灰度算法模块，用于对所述原始图像进行灰度二值化处理，转为灰度图像；
图像裁剪算法模块，用于将所述灰度图像裁剪成预定大小的图像；
图像增强算法模块，用于对所述预定大小的图像进行傅里叶变换得到所述图像数据，并缓存到所述第二输入输出缓冲器；
所述第二输入输出缓冲器还用于通过并行总线将所述图像数据存储到所述共享存储器。
本实施方式中，上述控制器和模块可以但不限于通过硬件描述语言配置在FPGA内核中。
本实施例的一种实施方式中，所述第一部分运算算子可以为第一模型层；所述第二部分运算算子可以为第二模型层；
所述处理芯片可以包括：
第三输入输出缓冲器，用于保存从所述共享存储器读取的所述图像数据；
AI模型解释器，用于解析所述用于进行人物特征识别的AI模型，计算该AI模型的全部运算算子，根据计算结果统计所述第一模型层需要运行的第一部分运算算子、所述第二模型层需要运行的第二运算算子，以及每个运算算子的运行顺序；读取所述第三输入输出缓冲器中的所述图像数据输入到所述第一模型层或第二模型层，根据上述运行顺序运行所述AI模型的全部运算算子，得到人物特征识别结果，保存到所述第三输入输出缓冲器；
所述第三输入输出缓冲器还用于通过系统总线将所述人物特征识别结果保存到所述共享存储器。
本实施方式中，AI模型解释器可以但不限于通过保存在MCU内核中的软件代码实现。
本实施方式中，AI模型解释器中可以预先保存有AI模型的不同层和不同类型运算算子之间的对应关系，比如深度卷积层对应深度卷积运算算子；当解析AI模型后，可以确定AI模型中包含哪些层以及层之间的连接关系，根据所述对应关系就可以确定要运行哪些运算算子以及运算顺序。AI模型解释器还可以预先保存有第一、第二部分运算算子各自所包含的运算算子的类型，从而得知要运行的每个运算算子分别属于第一或第二部分运算算子，这样在根据运行顺序调度时可以相应在处理芯片或可编程逻辑器件中进行调度。
本实施例中，AI模型解释器可以通过第三输入输出缓冲器从共享存储器读取图像数据，输入给需要使用图像数据的运算算子，以及读取最后一个运行的运算算子的运算结果，根据该运算结果得到所述人物特征识别结果，通过第三输入输出缓冲器保存到共享存储器中。
一些示例性的实施例中，所述用于进行人物特征识别的AI模型是在云端通过样本数据训练得到的人物特征识别模型；其中，所述样本数据为标注有人物特征的图像数据。
其它实施例中，所述AI模型不限于来自于云端，比如可以是其它设备训练好或下载好后输入给AI系统，或保存在指定位置供AI系统自行读取。
本申请实施例还提供了一种进行人物特征识别的方法，应用于上述任一实施例所述的进行人物特征识别的人工智能系统中，所述方法如图3所示，包括步骤S310-S340：
S310、处理芯片解析用于进行人物特征识别的AI模型，确定所要运行的第一部分运算算子、第二部分运算算子及其运行顺序；其中，所述第一部分运算算子是指通过所述处理芯片实现的多个运算算子，所述第二部分运算算子是指通过所述可编程逻辑器件实现的多个运算算子；
S320、可编程逻辑器件获取所采集的图像并处理成图像数据；
S330、所述处理芯片根据所述运行顺序调度所述第一部分运算算子和第二部分运算算子对所述图像数据进行运算，得到人物特征识别结果；
S340、所述可编程逻辑器件输出所述人物特征识别结果。
上述步骤中，S310可以初始执行一次后，多次执行S320-S340，即针对一个AI模型进行一次解析和确定后，可以对多个原始图像进行人物特征识别，或者说可以进行多次人物特征识别的操作。步骤S320可以和其它步骤并行执行，比如MCU解析AI模型时，FPGA可以并行的对一个或多个原始图像进行处理，将得到的图像数据保存在共享存储器中，待模型解析完毕，确定了所要运行的运算算子和运行顺序后，可以读取已处理好的图像数据进行人物特征识别，在进行识别和输出人物特征识别结果过程中，都可以继续并行的将原始图像处理成图像数据。另外，进行识别时可以并行的输出已得到的人物特征识别结果。当然，也可以采用全部串行或部分串行的处理方式，比如在模型解析完毕，确定所要运行的运算算子和运行顺序后才开始获取原始图像并处理成图像数据，根据该图像数据得到人物特征识别结果后再获取下一个原始图像。本实施例中，是否采用并行方式以及具体并行哪些步骤，可以自行根据需求、器件性能等决定，本实施例对此不进行限制。
其它实施细节可参见上述实施例。
下面用一个示例说明上述实施例。
本示例是一种边缘端嵌入式系统中的人物特征识别AI系统，该AI系统基于轻量化MCU与中低端低功耗FPGA SoC实现，可以识别人物图像中的人物年龄与性别等人物特征。该AI系统包括图像采集模块、图像预处理模块、人物特征识别AI模型推断模块和图像显示模块。
本示例中，所述AI系统进行人物特征识别的流程如图4所示，在云端根据人物特征数据源进行人物特征识别AI模型的训练，得到用于进行人物特征识别的AI模型(后文简称为人物特征识别AI模型)。AI系统中的图像采集模块从外接的摄像头或HDMI接口设备等获取所采集的原始图像，图像预处理模块将该原始图像处理成图像数据。人物特征识别AI模型推断模块根据图像数据和人物特征识别AI模型，得到人物特征识别结果，通过图像显示模块输出。AI系统中各模块的工作过程如图4中的实线箭头所示，各模块输入、输出的数据的流通路径如图4中的虚线箭头所示，图像采集模块获取的原始图像保存到共享存储器中，供图像预处理模块读取使用；图像预处理模块处理得到的图像数据保存到共享存储器，供人物特征识别AI模型推断模块读取使用；人物特征识别AI模型推断模块所得到的人物特征识别结果(本示例中称为AI模型推断结论)保存到共享存储器，供图像显示模块读取以输出给外接的图像显示设备显示。
本示例中，所述AI系统的结构如图5所示，SoC中包含MCU内核、FPGA内核以及共享存储器，通过图像采集模块外接摄像头、HDMI接口设备，通过图像显示模块外接图像显示设备。MCU内核通过系统总线连接共享存储器，FPGA内核通过并行总线连接共享存储器。MCU内核中包含AI模型解释器和MCU模型层，MCU模型层中包含了Reshape、FullyConnected、SoftMax等运算算子，MCU模型层中的运算算子即上文所述的第一部分运算算子。FPGA内核中包含了所述图像采集模块、图像预处理模块、所述图像显示模块以及FPGA模型层；FPGA模型层包含Conv2D、DepthwiseCon2D、MaxPool2D等运算算子，FPGA模型层中的运算算子即上文所述的第二部分运算算子。FPGA模型层、MCU模型层以及AI模型解释器都是人物特征识别AI模型推断模块的组成部分。
下面分别介绍本示例中的四个模块：
(1)图像采集模块
图像采集模块外接摄像头和HDMI接口设备输入，因此可以支持摄像头和HDMI接口设备两路图像输入。一路摄像头输入适用于AI系统现场设备端的人物特征识别，AI系统位于现场，现场图像采集并进行人物特征识别。一路HDMI接口设备输入适用于AI系统远程设备端的人物特征识别，AI系统位于远程某个地方，现场放置摄像头，现场图像采集后远程传输到某HDMI接口设备，HDMI接口设备作为AI系统的图像输入。图像采集模块可以根据不同应用场景，通过开关控制器来控制图像输入方式。
图像采集模块位于FPGA内核，使用FPGA逻辑资源实现，摄像头或HDMI接口设备采集输入的图像数据，通过SoC端口输入图像采集模块。图像采集模块如图6所示，包括：
根据输入控制相应选择摄像头或HDMI接口设备图像采集方式的开关控制器，分别与摄像头和HDMI接口设备连接，用于选择AI系统使用摄像头现场图像采集方式或HDMI接口设备远程图像采集方式；
摄像头控制器，用于控制摄像头设备的图像采集，原始图像的读、写时序以及缓存；
HDMI接口设备控制器，用于控制HDMI接口设备的图像采集，原始图像的读、写时序以及缓存。
第一输入输出缓冲器，用于缓存摄像头或HDMI接口设备采集的图像数据。
图像采集模块采集的图像数据，通过并行总线存储到片内的共享存储器。该共享存储器可以同时被FPGA内核和MCU内核直接访问，实时读写数据。
(2)图像预处理模块
图像采集模块获取的原始图像都是基于摄像头设备的像素分辨率，一般分辨率比较高，而在边缘端嵌入式系统中，限于嵌入式系统的硬件资源限制，使用的AI模型能够识别与检测的图像分辨率一般较低，所以需要使用图像预处理模块对采集的原始图像数据进行预处理，产生适用于AI模型的图像数据。
图像预处理模块位于FPGA内核，使用FPGA逻辑资源实现，如图7所示，内置图像灰度算法模块、图像裁剪算法模块、图像增强算法模块和第二输入输出缓冲器，分别用于图像灰度化、裁剪、变换增强和输入输出缓存。
图像预处理模块，通过并行总线访问片内共享存储器，读取图像采集模块保存到共享存储器的原始图像，缓存到第二输入输出缓冲器。
图像灰度算法模块，内置Scalar算法，对原始图像进行灰度二值化，转为灰度图像。图像裁剪算法模块，内置隔行裁剪算法，隔行裁剪图像，降低图像像素，裁剪缩小到AI模型所需的图像像素。图像增强算法模块，内置FFT(傅里叶变换)算法，补偿隔行裁掉的图像像素，增强图像。
图像预处理产生的图像数据，缓存到第二输入输出缓冲器，通过并行总线存储到共享存储器。
(3)人物特征识别AI模型推断模块
图像预处理模块预处理产生的图像数据，作为人物特征识别AI模型推断模块所用的AI模型的数据输入。
AI模型推断模块位于FPGA内核和MCU内核，适用于MCU内核数据处理的AI模型运算算子，使用MCU内核软件实现该类型的AI模型运算算子，作为MCU模型层，比如全连接运算(FullyConnected)、矩阵变换运算(Reshape)、柔性最大值传输运算(SoftMax)、切片运算、Pack等；适用于FPGA内核硬件加速并行处理的AI模型运算算子，使用FPGA逻辑资源实现该类型的AI模型运算算子，作为FPGA模型层，比如普通卷积运算(Conv2D)、深度卷积运算(DepthwiseConv2D)、最大池化运算(MaxPool2D)、平均池化运算(AveragePool2D)等。
如图8所示，人物特征识别AI模型推断模块，包括AI模型解释器、MCU模型层、FPGA模型层和第三输入输出缓冲器。
AI模型推断模块中，MCU内核部分(包括AI模型解释器和MCU模型层)通过系统总线连接，访问共享存储器，读取图像预处理模块产生的图像数据，保存到第三输入输出缓冲器。AI模型解释器，解析人物特征识别AI模型，计算AI模型的所有运算算子，统计需要运行的MCU模型层模型运算算子和FPGA模型层模型运算算子以及运行顺序。读取输入输出缓冲器的图像数据，输入到MCU模型层或FPGA模型层，按照上述运行顺序运行AI模型运算算子和图像数据，推断人物特征分类。MCU模型层和FPGA模型层完成AI模型运算算子计算后，产生AI模型推断结论，保存到第三输入输出缓冲器，再通过系统总线连接存储到共享存储器。
(4)图像显示模块
AI系统后端连接一个图像显示设备，用于显示人物特征图像以及人物特征识别推断结论。图像显示模块，位于FPGA内核，使用FPGA逻辑资源实现，内置图像显示设备控制器，通过并行总线从共享存储器读取AI模型推断结论，以及图像采集模块采集的原始图像，控制图像显示设备，显示原始图像以及AI模型推断结论。
本示例中所使用的人物特征识别AI模型，可以包括Conv2D、DepthwiseConv2D、FullyConnected、AveragePooling2D、Reshape、切片运算(Strided_Slice)、SoftMax、Pack等共49层运算算子，以及由MCU实现的一个图像输入数据层(即上文的输入层)和一个推断结论输出数据层(即上文的输出层)，其中，图像输入数据层和推断结论输出数据层可以设置在所述AI模型推断模块之中或之外。在云端，通过机器学习，该模型学习大量人物特征数据源，比如人物年龄、人物性别，训练出可以准确用于人物特征识别的AI模型，本示例的AI系统基于该训练好的AI模型来推断原始图像中的人物特征。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
Claims (12)
1.一种进行人物特征识别的人工智能系统，其特征在于，包括：
处理芯片，用于解析用于进行人物特征识别的人工智能AI模型，确定所要运行的第一部分运算算子、第二部分运算算子及其运行顺序，并根据所述运行顺序调度相应的运算算子对图像数据进行运算得到人物特征识别结果；
可编程逻辑器件，用于获取所采集的原始图像并处理成所述图像数据，以及输出所述人物特征识别结果。
2.如权利要求1所述的人工智能系统，其特征在于：
所述第一部分运算算子是指通过所述处理芯片实现的多个运算算子；所述第二部分运算算子是指通过所述可编程逻辑器件实现的多个运算算子。
3.如权利要求1所述的人工智能系统，其特征在于，还包括：
共享存储器，用于保存所述图像数据、所述人物特征识别结果，以及所述第一部分运算算子和所述第二部分运算算子的运算结果；
所述处理芯片通过系统总线连接所述共享存储器，所述可编程逻辑器件通过并行总线连接所述共享存储器。
4.如权利要求1所述的人工智能系统，其特征在于：
所述处理芯片为微控制单元MCU，所述可编程逻辑器件为现场可编程门阵列FPGA；所述人工智能系统为片上系统；
所述第一部分运算算子由MCU内核实现，所述第二部分运算算子由FPGA内核实现。
5.如权利要求4所述的人工智能系统，其特征在于：
所述第一部分运算算子为适于使用MCU软件实现的运算算子，所述第二部分运算算子为适于使用FPGA内核硬件加速并行处理的运算算子。
6.如权利要求4所述的人工智能系统，其特征在于：
所述第一部分运算算子包括以下一种或多种类型的运算算子：全连接运算算子、矩阵变换运算算子、柔性最大值传输运算算子、切片运算算子、Pack运算算子；
所述第二部分运算算子包括以下一种或多种类型的运算算子：普通卷积运算算子、深度卷积运算算子、最大池化运算算子、平均池化运算算子。
7.如权利要求6所述的人工智能系统，其特征在于：
所述MCU还用于读取所述图像数据并输入给相应的第一部分运算算子和/或第二部分运算算子，以及输出所述人物特征识别结果。
8.如权利要求3所述的人工智能系统，其特征在于，所述可编程逻辑器件包括：
开关控制器，用于选择摄像头输入的图像或高清多媒体接口HDMI设备输入的原始图像；
摄像头控制器，用于控制所述摄像头进行图像采集，控制所采集的原始图像的读、写时序以及缓存；
HDMI接口设备控制器，用于控制HDMI设备进行图像采集，以及控制所采集的原始图像的读、写时序以及缓存；
第一输入输出缓冲器，用于缓存摄像头或HDMI设备采集的原始图像，并通过并行总线发送给所述共享存储器。
9.如权利要求8所述的人工智能系统，其特征在于，所述可编程逻辑器件还包括：
第二输入输出缓冲器，用于保存从所述共享存储器读取的所述原始图像；
图像灰度算法模块，用于对所述原始图像进行灰度二值化处理，转为灰度图像；
图像裁剪算法模块，用于将所述灰度图像裁剪成预定大小的图像；
图像增强算法模块，用于对所述预定大小的图像进行傅里叶变换得到所述图像数据，并缓存到所述第二输入输出缓冲器；
所述第二输入输出缓冲器还用于通过并行总线将所述图像数据存储到所述共享存储器。
10.如权利要求3所述的人工智能系统，其特征在于：
所述第一部分运算算子为第一模型层；所述第二部分运算算子为第二模型层；
所述处理芯片包括：
第三输入输出缓冲器，用于保存从所述共享存储器读取的所述图像数据；
AI模型解释器，用于解析所述用于进行人物特征识别的AI模型，计算该AI模型的全部运算算子，根据计算结果统计所述第一模型层需要运行的第一部分运算算子、所述第二模型层需要运行的第二运算算子，以及每个运算算子的运行顺序；读取所述第三输入输出缓冲器中的所述图像数据输入到所述第一模型层或第二模型层，根据上述运行顺序运行所述AI模型的全部运算算子，得到人物特征识别结果，保存到所述第三输入输出缓冲器；
所述第三输入输出缓冲器还用于通过系统总线将所述人物特征识别结果保存到所述共享存储器。
11.如权利要求1-10中任一项所述的人工智能系统，其特征在于：
所述用于进行人物特征识别的AI模型是在云端通过样本数据训练得到的人物特征识别模型；其中，所述样本数据为标注有人物特征的图像数据。
12.一种进行人物特征识别的方法，应用于所述权利要求1-11中任一项所述的进行人物特征识别的人工智能系统中，所述方法包括：
处理芯片解析用于进行人物特征识别的人工智能AI模型，确定所要运行的第一部分运算算子、第二部分运算算子及其运行顺序；
可编程逻辑器件获取所采集的图像并处理成图像数据；
所述处理芯片根据所述运行顺序调度所述第一部分运算算子和第二部分运算算子对所述图像数据进行运算得到人物特征识别结果；
所述可编程逻辑器件输出所述人物特征识别结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110352151.3A CN115147861A (zh) | 2021-03-31 | 2021-03-31 | 进行人物特征识别的人工智能系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110352151.3A CN115147861A (zh) | 2021-03-31 | 2021-03-31 | 进行人物特征识别的人工智能系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115147861A true CN115147861A (zh) | 2022-10-04 |
Family
ID=83405212
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110352151.3A Pending CN115147861A (zh) | 2021-03-31 | 2021-03-31 | 进行人物特征识别的人工智能系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115147861A (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1932726A (zh) * | 2006-10-13 | 2007-03-21 | 广东威创日新电子有限公司 | 一种基于cmos数字图像传感器定位装置及定位方法 |
| CN101546381A (zh) * | 2009-05-08 | 2009-09-30 | 北京科技大学 | 一种基于dsp和fpga的实时运动目标识别系统 |
| CN102625056A (zh) * | 2012-03-30 | 2012-08-01 | 广东正业科技股份有限公司 | 一种基于fpga的cis图像采集系统及其采集方法 |
| CN107885214A (zh) * | 2017-11-22 | 2018-04-06 | 济南浪潮高新科技投资发展有限公司 | 一种基于fpga的加速自动驾驶视觉感知的方法及装置 |
| CN109785220A (zh) * | 2018-12-30 | 2019-05-21 | 武汉极目智能技术有限公司 | 基于fpga的单目摄像头图像多通道采集装置和方法 |
| US20190286974A1 (en) * | 2018-03-19 | 2019-09-19 | Shanghai Zhaoxin Semiconductor Co., Ltd. | Processing circuit and neural network computation method thereof |
| CN110718008A (zh) * | 2019-11-15 | 2020-01-21 | 杭州艾芯智能科技有限公司 | 3d人脸识别模组、门锁及门 |
| CN111433758A (zh) * | 2018-11-21 | 2020-07-17 | 吴国盛 | 可编程运算与控制芯片、设计方法及其装置 |
| US20200349433A1 (en) * | 2018-01-15 | 2020-11-05 | Shenzhen Corerain Technologies Co., Ltd. | Streaming-based artificial intelligence convolution processing method and apparatus, readable storage medium and terminal |
-
2021
- 2021-03-31 CN CN202110352151.3A patent/CN115147861A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1932726A (zh) * | 2006-10-13 | 2007-03-21 | 广东威创日新电子有限公司 | 一种基于cmos数字图像传感器定位装置及定位方法 |
| CN101546381A (zh) * | 2009-05-08 | 2009-09-30 | 北京科技大学 | 一种基于dsp和fpga的实时运动目标识别系统 |
| CN102625056A (zh) * | 2012-03-30 | 2012-08-01 | 广东正业科技股份有限公司 | 一种基于fpga的cis图像采集系统及其采集方法 |
| CN107885214A (zh) * | 2017-11-22 | 2018-04-06 | 济南浪潮高新科技投资发展有限公司 | 一种基于fpga的加速自动驾驶视觉感知的方法及装置 |
| US20200349433A1 (en) * | 2018-01-15 | 2020-11-05 | Shenzhen Corerain Technologies Co., Ltd. | Streaming-based artificial intelligence convolution processing method and apparatus, readable storage medium and terminal |
| US20190286974A1 (en) * | 2018-03-19 | 2019-09-19 | Shanghai Zhaoxin Semiconductor Co., Ltd. | Processing circuit and neural network computation method thereof |
| CN111433758A (zh) * | 2018-11-21 | 2020-07-17 | 吴国盛 | 可编程运算与控制芯片、设计方法及其装置 |
| CN109785220A (zh) * | 2018-12-30 | 2019-05-21 | 武汉极目智能技术有限公司 | 基于fpga的单目摄像头图像多通道采集装置和方法 |
| CN110718008A (zh) * | 2019-11-15 | 2020-01-21 | 杭州艾芯智能科技有限公司 | 3d人脸识别模组、门锁及门 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10977530B2 (en) | ThunderNet: a turbo unified network for real-time semantic segmentation | |
| CN106960219B (zh) | 图片识别方法及装置、计算机设备及计算机可读介质 | |
| CN108229341B (zh) | 分类方法和装置、电子设备、计算机存储介质 | |
| US11392792B2 (en) | Method and apparatus for generating vehicle damage information | |
| CN110929780A (zh) | 视频分类模型构建、视频分类的方法、装置、设备及介质 | |
| US20200005074A1 (en) | Semantic image segmentation using gated dense pyramid blocks | |
| US11967150B2 (en) | Parallel video processing systems | |
| US11636712B2 (en) | Dynamic gesture recognition method, device and computer-readable storage medium | |
| CA3193958A1 (en) | Processing images using self-attention based neural networks | |
| CN113743607A (zh) | 异常检测模型的训练方法、异常检测方法及装置 | |
| CN113505848A (zh) | 模型训练方法和装置 | |
| US11410016B2 (en) | Selective performance of deterministic computations for neural networks | |
| CN115147861A (zh) | 进行人物特征识别的人工智能系统及方法 | |
| CN115147672A (zh) | 一种进行物体类别识别的人工智能系统及方法 | |
| CN112616043A (zh) | 基于pynq的神经网络的识别视频监控报警系统及方法 | |
| CN113033397A (zh) | 目标跟踪方法、装置、设备、介质及程序产品 | |
| CN113807354A (zh) | 图像语义分割方法、装置、设备和存储介质 | |
| CN112801960A (zh) | 图像处理方法及装置、存储介质、电子设备 | |
| CN115147840B (zh) | 进行字符识别的人工智能系统及方法 | |
| CN111860070A (zh) | 识别发生改变的对象的方法和装置 | |
| CN115147840A (zh) | 进行字符识别的人工智能系统及方法 | |
| CN113542866B (zh) | 视频处理方法、装置、设备及计算机可读存储介质 | |
| WO2023220891A1 (en) | Resolution-switchable segmentation networks | |
| CN116206313A (zh) | 文字检测及其模型训练方法、装置、系统及可读存储介质 | |
| CN116758554A (zh) | 一种试题信息的提取方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |