CN111783642B - 一种图像识别方法、装置、电子设备及存储介质 - Google Patents

一种图像识别方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111783642B
CN111783642B CN202010614298.0A CN202010614298A CN111783642B CN 111783642 B CN111783642 B CN 111783642B CN 202010614298 A CN202010614298 A CN 202010614298A CN 111783642 B CN111783642 B CN 111783642B
Authority
CN
China
Prior art keywords
image recognition
model
image
recognition model
nnie
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010614298.0A
Other languages
English (en)
Other versions
CN111783642A (zh
Inventor
吕想想
施恩
谢永康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202010614298.0A priority Critical patent/CN111783642B/zh
Publication of CN111783642A publication Critical patent/CN111783642A/zh
Priority to US17/205,773 priority patent/US20210216805A1/en
Priority to EP21163614.7A priority patent/EP3825911A3/en
Priority to KR1020210037803A priority patent/KR20210040304A/ko
Priority to JP2021065839A priority patent/JP2021108186A/ja
Application granted granted Critical
Publication of CN111783642B publication Critical patent/CN111783642B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了图像识别方法、装置、电子设备及存储介质，涉及神经网络及深度学习领域。具体实现方案为：加载第一图像识别模型；将待识别图像输入第一图像识别模型；利用第一图像识别模型对待识别图像进行预测，得到第一图像识别模型的网络层的输出结果；针对第一图像识别模型的网络层的输出结果进行后处理，得到图像识别结果。本申请实施例能够排除部分人工智能芯片的使用障碍，降低人工智能芯片的应用难度。

Description

一种图像识别方法、装置、电子设备及存储介质
技术领域
本申请涉及人工智能领域，尤其涉及神经网络及深度学习领域。
背景技术
近年来，人工智能(AI，Artificial Intelligence)正在成为全场景智慧化转型的关键技术，比如智慧社区、辅助驾驶、人脸识别等。在辅助驾驶场景下，车辆搭配各种传感器和摄像头，并基于深度学习技术感知周围环境，可以帮助车辆选择安全的驾驶策略，提升道路交通安全。在工业质检场景下，利用机器识别瑕疵产品，打通全自动化流程，可以大幅度提升效率和减少人力成本。
虽然AI可以驱动各行各业发展，但传统行业对于深度学习技术的开发和使用经验不足、成本较高。芯片中的神经网络推理引擎(NNIE，Neural Network Inference Engine)是芯片中专门针对神经网络特别是深度学习卷积神经网络进行加速处理的硬件单元，具备NNIE的芯片和神经网络加速引擎的运算能够可以达到2TOPS。1TOPS(Tera Operations PerSecond)代表每秒钟可进行一万亿次计算。
例如，芯片开发板在各行各业应用较为广泛，虽然其配有NNIE AI芯片，但使用其AI能力需要一定的技术水平。一些神经网络模型中含有NNIE不支持的网络层，对于这类神经网络模型，则无法直接使用NNIE芯片进行部署，或者即使采用NNIE芯片部署了这类神经网络模型，也无法得到可用的图像识别结果。
发明内容
本申请提供了一种图像识别方法、装置、电子设备及存储介质。
根据本申请的一方面，提供了一种图像识别方法，包括：
加载第一图像识别模型；
将待识别图像输入所述第一图像识别模型；
利用所述第一图像识别模型对所述待识别图像进行预测，得到所述第一图像识别模型的网络层的输出结果；
针对所述第一图像识别模型的网络层的输出结果进行后处理，得到图像识别结果。
根据本申请的另一方面，提供了一种图像识别装置，包括：
加载模块，用于加载第一图像识别模型；
输入模块，用于将待识别图像输入所述第一图像识别模型；
预测模块，用于利用所述第一图像识别模型对所述待识别图像进行预测，得到所述第一图像识别模型的网络层的输出结果；
后处理模块，用于针对所述第一图像识别模型的网络层的输出结果进行后处理，得到图像识别结果。
根据本申请的另一方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请实施例中任一项所述的方法。
根据本申请的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本申请实施例中任一项所述的方法。
本申请实施例通过对第一图像识别模型的网络层的输出结果进行后处理，得到最终可用的图像识别结果。这样，即使某类AI芯片(例如海思NNIE芯片)不支持第一图像识别模型的网络层，也可以应用该类AI芯片对该第一图像识别模型进行部署，从而排除了部分AI芯片的使用障碍，降低AI芯片的应用难度。
应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1为本申请实施例的一种图像识别方法实现流程图；
图2为本申请实施例的一种图像识别方法中，步骤S104的实现流程图；
图3为本申请实施例的另一种图像识别方法实现流程图；
图4为本申请实施例的图像识别效果示意图；
图5为本申请实施例的整体流程示意图；
图6为本申请实施例的一种图像识别装置结构示意图；
图7为本申请实施例的另一种图像识别装置结构示意图；
图8为用来实现本申请实施例的图像识别方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
现有技术中，由于使用NNIE芯片需要一定的技术水平，需要使用NNIE能力的用户，可能不了解深度学习技术，导致无从下手。或者，深度学习模型不是NNIE芯片支持的快速特征嵌入的卷积结构(Caffe，Convolutional Architecture for Fast FeatureEmbedding)，无法转换成NNIE支持的格式。或者，神经网络模型的结构中含有NNIE芯片不支持的网络层，导致NNIE输出的结果不能作为图像识别的最终结果。或者，能集成NNIE接口较为复杂，缺乏相应的工程能力，集成成本高。上述情况是造成目前NNIE芯片无法被广泛应用于图像识别领域的主要原因。
为了解决上述技术问题，本申请实施例提出一种图像识别方法，图1为本申请实施例的一种图像识别方法实现流程图，包括：
步骤S101：加载第一图像识别模型；
步骤S102：将待识别图像输入第一图像识别模型；
步骤S103：利用第一图像识别模型对待识别图像进行预测，得到第一图像识别模型的网络层的输出结果；
步骤S104：针对第一图像识别模型的网络层的输出结果进行后处理，得到图像识别结果。
可选地，本申请实施例应用于第一芯片的NNIE。相应地，上述步骤S101包括：在第一芯片的NNIE上加载第一图像识别模型。可选地，上述第一芯片可以为海思NNIE芯片。
上述步骤S101至步骤S104构成在芯片的NNIE上部署第一图像识别模型的过程。有些神经网络，比如单点多边界框探测器(SSD，Single Shot MultiBox Detector)模型、YoloV3(You Only Live Once V3)模型，包含NNIE不支持的网络层(如PriorBox、Yolo box等)，针对这类网络可以采用上述步骤S104对该第一图像识别模型的网络层的输出结果进行后处理，从而得到可用的图像识别结果。可选地，该后处理过程可以由人工编写相关代码实现，并在CPU中执行。
图2为本申请实施例的一种图像识别方法中，步骤S104的实现流程图，包括：
步骤S201：对第一图像识别模型的网络层输出的检测框进行过滤，获取置信度高于预设阈值的检测框(boxes)；
步骤S202：对置信度高于预设阈值的检测框执行检测框(box decode)解码和/或非极大抑制(NMS，Non-Maximum Suppression)处理，得到图像识别结果。
通过预先过滤检测框可以将后处理时间减少50％左右。
图2所示的方式可以适用于第一图像识别模型为YoLoV3模型、并且上述第一芯片为NNIE芯片的情况。芯片的NNIE不支持YoLoV3模型的网络层，并且YoLoV3模型的输出结果包含检测框。
在一些实施方式中，可以直接采用第一芯片的NNIE应用程序接口(API，Application Programming Interface)执行所述加载、所述输入及所述预测过程，以简化模型部署流程。
图3为本申请实施例的另一种图像识别方法实现流程图，如图3所示，在一些实施方式中，上述步骤S101之前还包括：
步骤S301：对初始图像识别模型的模型框架进行转换，得到第一图像识别模型；
其中，第一图像识别模型的模型框架为第一芯片的NNIE支持的模型框架。
上述步骤S301能够解决NNIE芯片不支持图像识别模型的模型框架的情况。目前常见的深度学习模型的模型框架有Caffe、TensorFlow、飞浆(PaddlePaddle)、Pytorch等，但NNIE仅支持Caffe框架的模型。如果初始图像识别模型的模型框架为TensorFlow、PaddlePaddle或Pytorch等模型，则可以采用上述步骤S301将初始图像识别模型的模型框架转换为芯片的NNIE支持的模型框架，即Caffe模型框架。可选地，上述模型框架的转换涉及不同框架间的计算图解析、算子对齐及张量修改中的至少一项。
如图3所示，在一些实施方式中，上述方法还包括：
步骤S302：对第一图像识别模型进行量化操作，减少第一图像识别模型的参数的位数。
一般情况下，图像识别模型的参数使用浮点数。由于浮点数的位数较多。会造成存储占用较大的空间，并且消耗的计算资源也比较多。鉴于此，本申请实施例可以采用上述步骤S202减少初始图像识别模型的参数的位数，例如将参数位数量化为8位，从而减少每个参数所需的比特数，实现对神经网络的压缩，从而可以显著减少内存占用以及减少推理时间。可选地，本申请实施例采用芯片的NNIE_mapper实现量化操作。量化之后的模型体积减少了3/4左右，且模型精确度只有略微下降。
如图3所示，在一些实施方式中，上述方法还包括：
步骤S303：对第一图像识别模型进行图像输入格式转换，使第一图像识别模型支持至少两种图像输入格式。
如果采用远红外摄像头摄取的图像作为图像(静态图像或视频图像)输入，由于远红外摄像头摄取的图像为YUV格式，因此需要将YUV格式作为第一图像识别模型的图像输入格式。如果采用普通摄像头摄取的图像作为图像(静态图像或视频图像)输入，由于普通摄像头摄取的图像为RGB格式，因此需要将RGB格式作为第一图像识别模型的图像输入格式。针对这种情况，可以采用上述步骤S303进行图像输入格式转换(或称为YUV模型转换)。可选地，采用NNIE_mapper实现图像输入格式转换，通过配置NNIE_mapper的模型转换的输入项，得到可以在NNIE上加载和推理的第一图像识别模型，并能够根据场景自由切换图像输入格式。
通过前述步骤，得到了第一芯片的NNIE支持的第一图像识别模型(如wk模型)，之后即可以采用图1所示的过程对第一图像识别模型进行部署。
如图4为本申请实施例的图像识别效果示意图，图4中显示识别出车辆行人等目标。
另外，本申请实施例输入的待识别图像的格式可以包括至少一种图像格式，改至少一种图像格式为上述第一图像识别模型支持的图像输入格式。例如，YUV格式、RGB格式等。
图5为本申请实施例的整体流程示意图。如图5所示，本申请实施例首先采用模型框架转换，将非Caffe框架的图像识别模型转换为Caffe框架。之后对转换后的图像识别模型进行模型量化及YUV模型转换，得到芯片NNIE支持的wk模型。之后采用芯片的NNIE接口部署该wk模型，部署过程包括模型加载、图像输入、模型推理(即采用第一图像识别模型对待识别图像进行预测)和后处理过程，最终输出图像识别模型的识别结果。其中，输入的图像可以为远红外摄像头摄取的YUV图像和/或普通摄像头摄取的RGB图像。
综上可见，本申请实施例相比现有技术的优势是提供深度学习领域常见的大部分神经网络的支持，提供除了Caffe以外其他网络框架(如TensorFlow、PaddlePaddle等)的支持，提供一些NNIE不支持的网络层的处理，提供YUV图像数据和RGB图像数据的支持。并且，本申请实施例可以将这个处理方法打包为软件开发工具包(SDK，SoftwareDevelopmentKit)，并提供内部封装的接口，以便集成和使用。用户无需关心如何转换模型、如何调用NNIE接口，只需使用芯片开发板和摄像头，即可获得图像识别结果。
本申请实施例还提出一种图像识别装置，图6为本申请实施例的一种图像识别装置结构示意图，包括：
加载模块610，用于加载第一图像识别模型；
输入模块620，用于将待识别图像输入所述第一图像识别模型；
预测模块630，用于利用所述第一图像识别模型对所述待识别图像进行预测，得到所述第一图像识别模型的网络层的输出结果；
后处理模块640，用于针对所述第一图像识别模型的网络层的输出结果进行后处理，得到图像识别结果。
在一些实施方式中，加载模块610，用于在第一芯片的神经网络推理引擎NNIE上加载所述第一图像识别模型。
如图7所示，在一些实施方式中，上述后处理模块640包括：
过滤子模块641，用于对所述第一图像识别模型的网络层输出的检测框进行过滤，获取置信度高于预设阈值的检测框；
处理子模块642，用于对所述置信度高于预设阈值的检测框执行检测框解码和/或非极大抑制处理，得到所述图像识别结果。
在一些实施方式中，采用第一芯片的NNIE应用程序接口API执行所述加载、所述输入及所述预测过程。
如图7所示，在一些实施方式中，上述装置还包括：
模型框架转换模块750，用于对初始图像识别模型的模型框架进行转换，得到所述第一图像识别模型；
第一图像识别模型的模型框架为所述第一芯片的NNIE支持的模型框架。
在一些实施方式中，第一芯片的NNIE支持的模型框架包括：快速特征嵌入的卷积结构Caffe框架。
如图7所示，在一些实施方式中，上述装置还包括：
模型量化模块760，用于对所述第一图像识别模型进行量化操作，减少所述第一图像识别模型的参数的位数。
如图7所示，在一些实施方式中，上述装置还包括：
图像格式转换模块770，用于对所述第一图像识别模型进行图像输入格式转换，使所述第一图像识别模型支持至少两种图像输入格式。
本申请实施例各装置中的各模块的功能可以参见上述方法中的对应描述，在此不再赘述。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图8所示，是根据本申请实施例的图像识别的方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图8所示，该电子设备包括：一个或多个处理器801、存储器802，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图8中以一个处理器801为例。
存储器802即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的图像识别的方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的图像识别的方法。
存储器802作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的图像识别的方法对应的程序指令/模块(例如，附图6所示的加载模块610、输入模块620、预测模块630和后处理模块640)。处理器801通过运行存储在存储器802中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的图像识别的方法。
存储器802可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据图像识别的电子设备的使用所创建的数据等。此外，存储器802可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器802可选包括相对于处理器801远程设置的存储器，这些远程存储器可以通过网络连接至图像识别的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
图像识别的方法的电子设备还可以包括：输入装置803和输出装置804。处理器801、存储器802、输入装置803和输出装置804可以通过总线或者其他方式连接，图8中以通过总线连接为例。
输入装置803可接收输入的数字或字符信息，以及产生与图像识别的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置804可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (4)

1.一种图像识别方法，包括：
对初始图像识别模型的模型框架进行转换，得到第一图像识别模型，其中，所述第一图像识别模型的模型框架为第一芯片的NNIE支持的模型框架，所述第一芯片的NNIE支持的模型框架包括：快速特征嵌入的卷积结构Caffe框架；
对所述第一图像识别模型进行量化操作，减少所述第一图像识别模型的参数的位数；
对所述第一图像识别模型进行图像输入格式转换，使所述第一图像识别模型支持至少两种图像输入格式；
加载所述第一图像识别模型，包括：在第一芯片的神经网络推理引擎NNIE上加载所述第一图像识别模型；
将待识别图像输入所述第一图像识别模型；
利用所述第一图像识别模型对所述待识别图像进行预测，得到所述第一图像识别模型的网络层的输出结果；
针对所述第一图像识别模型的网络层的输出结果进行后处理，得到图像识别结果，包括：对所述第一图像识别模型的网络层输出的检测框进行过滤，获取置信度高于预设阈值的检测框，对所述置信度高于预设阈值的检测框执行检测框解码和/或非极大抑制处理，得到所述图像识别结果；
其中，采用第一芯片的NNIE应用程序接口API执行所述加载、所述输入及所述预测过程。
2.一种图像识别装置，包括：
模型框架转换模块，用于对初始图像识别模型的模型框架进行转换，得到第一图像识别模型，所述第一图像识别模型的模型框架为第一芯片的NNIE支持的模型框架，所述第一芯片的NNIE支持的模型框架包括：快速特征嵌入的卷积结构Caffe框架；
模型量化模块，用于对所述第一图像识别模型进行量化操作，减少所述第一图像识别模型的参数的位数；
图像格式转换模块，用于对所述第一图像识别模型进行图像输入格式转换，使所述第一图像识别模型支持至少两种图像输入格式；
加载模块，用于加载所述第一图像识别模型，包括：在第一芯片的神经网络推理引擎NNIE上加载所述第一图像识别模型；
输入模块，用于将待识别图像输入所述第一图像识别模型；
预测模块，用于利用所述第一图像识别模型对所述待识别图像进行预测，得到所述第一图像识别模型的网络层的输出结果；
后处理模块，用于针对所述第一图像识别模型的网络层的输出结果进行后处理，得到图像识别结果，包括：
过滤子模块，用于对所述第一图像识别模型的网络层输出的检测框进行过滤，获取置信度高于预设阈值的检测框；
处理子模块，用于对所述置信度高于预设阈值的检测框执行检测框解码和/或非极大抑制处理，得到所述图像识别结果；
其中，采用第一芯片的NNIE应用程序接口API执行所述加载、所述输入及所述预测过程。
3. 一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1中述的方法。
4.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1中所述的方法。
CN202010614298.0A 2020-06-30 2020-06-30 一种图像识别方法、装置、电子设备及存储介质 Active CN111783642B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202010614298.0A CN111783642B (zh) 2020-06-30 2020-06-30 一种图像识别方法、装置、电子设备及存储介质
US17/205,773 US20210216805A1 (en) 2020-06-30 2021-03-18 Image recognizing method, apparatus, electronic device and storage medium
EP21163614.7A EP3825911A3 (en) 2020-06-30 2021-03-19 Image recognizing method, apparatus, electronic device and storage medium
KR1020210037803A KR20210040304A (ko) 2020-06-30 2021-03-24 영상 인식 방법, 장치, 전자기기, 저장매체 및 프로그램
JP2021065839A JP2021108186A (ja) 2020-06-30 2021-04-08 画像認識方法、装置、電子デバイス、記憶媒体、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010614298.0A CN111783642B (zh) 2020-06-30 2020-06-30 一种图像识别方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111783642A CN111783642A (zh) 2020-10-16
CN111783642B true CN111783642B (zh) 2023-10-13

Family

ID=72760917

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010614298.0A Active CN111783642B (zh) 2020-06-30 2020-06-30 一种图像识别方法、装置、电子设备及存储介质

Country Status (5)

Country Link
US (1) US20210216805A1 (zh)
EP (1) EP3825911A3 (zh)
JP (1) JP2021108186A (zh)
KR (1) KR20210040304A (zh)
CN (1) CN111783642B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112437275B (zh) * 2020-11-20 2023-03-24 品茗科技股份有限公司 一种基于智能摄像头的视频分析方法
CN112863100B (zh) * 2020-12-31 2022-09-06 山东奥邦交通设施工程有限公司 一种智能施工安全监测系统及方法
CN113807410B (zh) * 2021-08-27 2023-09-05 北京百度网讯科技有限公司 图像识别方法、装置以及电子设备
CN114581879A (zh) * 2022-02-08 2022-06-03 广州小鹏自动驾驶科技有限公司 图像识别方法、装置、电子设备以及存储介质
CN116660317B (zh) * 2023-07-25 2023-12-22 北京智芯微电子科技有限公司 光伏阵列的热斑检测方法、系统、处理器及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110569737A (zh) * 2019-08-15 2019-12-13 深圳华北工控软件技术有限公司 一种人脸识别深度学习方法及加速人脸识别摄像机
WO2020083298A1 (zh) * 2018-10-22 2020-04-30 深圳前海达闼云端智能科技有限公司 医学影像的识别方法、装置、存储介质和电子设备
CN111144408A (zh) * 2019-12-24 2020-05-12 Oppo广东移动通信有限公司 一种图像识别方法、图像识别装置、电子设备和存储介质
CN111178258A (zh) * 2019-12-29 2020-05-19 浪潮(北京)电子信息产业有限公司 一种图像识别的方法、系统、设备及可读存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019195304A (ja) * 2018-05-10 2019-11-14 学校法人順天堂 画像解析方法、装置、コンピュータプログラム、及び深層学習アルゴリズムの生成方法
CN108764487B (zh) * 2018-05-29 2022-07-08 北京百度网讯科技有限公司 用于生成模型的方法和装置、用于识别信息的方法和装置
CN109492241B (zh) * 2018-08-10 2020-03-10 中科寒武纪科技股份有限公司 转换方法、装置、计算机设备和存储介质
CN109697460B (zh) * 2018-12-05 2021-06-29 华中科技大学 对象检测模型训练方法、目标对象检测方法
CN113495986A (zh) * 2020-03-20 2021-10-12 华为技术有限公司 数据处理的方法与装置
WO2021249439A1 (en) * 2020-06-09 2021-12-16 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for image processing

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020083298A1 (zh) * 2018-10-22 2020-04-30 深圳前海达闼云端智能科技有限公司 医学影像的识别方法、装置、存储介质和电子设备
CN110569737A (zh) * 2019-08-15 2019-12-13 深圳华北工控软件技术有限公司 一种人脸识别深度学习方法及加速人脸识别摄像机
CN111144408A (zh) * 2019-12-24 2020-05-12 Oppo广东移动通信有限公司 一种图像识别方法、图像识别装置、电子设备和存储介质
CN111178258A (zh) * 2019-12-29 2020-05-19 浪潮(北京)电子信息产业有限公司 一种图像识别的方法、系统、设备及可读存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Bodla等.Improving Object Detection With One Line of Code.2017,全文. *
High Performance Neural Network Inference, Streaming, and Visualization of Medical Images Using FAST;ERIK SMISTAD等;《IEEE Access》;全文 *
Microsoft.MMdnn README.md.2019,全文. *
应用深度学习神经网络的图像识别系统;彭欣仪;李磊;;福建电脑(01);全文 *

Also Published As

Publication number Publication date
EP3825911A3 (en) 2022-01-12
CN111783642A (zh) 2020-10-16
JP2021108186A (ja) 2021-07-29
KR20210040304A (ko) 2021-04-13
EP3825911A2 (en) 2021-05-26
US20210216805A1 (en) 2021-07-15

Similar Documents

Publication Publication Date Title
CN111783642B (zh) 一种图像识别方法、装置、电子设备及存储介质
KR102484617B1 (ko) 이종 그래프 노드를 표현하는 모델 생성 방법, 장치, 전자 기기, 저장 매체 및 프로그램
CN111275190B (zh) 神经网络模型的压缩方法及装置、图像处理方法及处理器
EP3869403A2 (en) Image recognition method, apparatus, electronic device, storage medium and program product
CN111291650B (zh) 自动泊车辅助的方法及装置
CN110705460B (zh) 图像类别识别方法及装置
CN112541482A (zh) 深度信息补全模型训练方法、装置、设备以及存储介质
CN112149636A (zh) 用于检测目标物体的方法、装置、电子设备及存储介质
EP4120183A1 (en) Image enhancement method and electronic device
CN111242874B (zh) 图像修复的方法、装置、电子设备和存储介质
CN111598131B (zh) 图像处理方法、装置、电子设备及存储介质
CN111967297A (zh) 图像的语义分割方法、装置、电子设备及介质
CN112560875A (zh) 深度信息补全模型训练方法、装置、设备以及存储介质
CN110569972A (zh) 超网络的搜索空间构建方法、装置以及电子设备
CN113901909A (zh) 基于视频的目标检测方法、装置、电子设备和存储介质
CN114201156B (zh) 接入方法、装置、电子设备及计算机存储介质
CN112016523B (zh) 跨模态人脸识别的方法、装置、设备和存储介质
CN112016524B (zh) 模型训练方法、人脸识别方法、装置、设备和介质
KR20210136140A (ko) 얼굴 인식 모델의 훈련 방법, 장치, 전자설비 및 저장 매체
CN110598629B (zh) 超网络的搜索空间构建方法、装置以及电子设备
CN112749701A (zh) 车牌污损分类模型的生成方法和车牌污损分类方法
CN116030235A (zh) 目标检测模型训练方法、目标检测方法、装置和电子设备
CN112068898B (zh) 一种可配置插件式服务集成系统及方法
CN110046658B (zh) 远程操作设备的方法和相关装置
CN114358198A (zh) 实例分割方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant