CN112861934A - 一种嵌入式终端的图像分类方法、装置及嵌入式终端 - Google Patents
一种嵌入式终端的图像分类方法、装置及嵌入式终端 Download PDFInfo
- Publication number
- CN112861934A CN112861934A CN202110098908.0A CN202110098908A CN112861934A CN 112861934 A CN112861934 A CN 112861934A CN 202110098908 A CN202110098908 A CN 202110098908A CN 112861934 A CN112861934 A CN 112861934A
- Authority
- CN
- China
- Prior art keywords
- terminal
- feature
- image
- embedded terminal
- category
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000000605 extraction Methods 0.000 claims abstract description 59
- 238000012545 processing Methods 0.000 claims abstract description 25
- 238000004590 computer program Methods 0.000 claims description 20
- 238000010606 normalization Methods 0.000 claims description 5
- 238000013135 deep learning Methods 0.000 abstract description 18
- 230000008569 process Effects 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 238000012549 training Methods 0.000 description 8
- 239000013598 vector Substances 0.000 description 8
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 244000141359 Malus pumila Species 0.000 description 1
- 240000008790 Musa x paradisiaca Species 0.000 description 1
- 235000021016 apples Nutrition 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 235000021015 bananas Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请适用于图像处理技术领域，提供了一种嵌入式终端的图像分类方法、装置及嵌入式终端，应用于第一终端，所述第一终端为嵌入式终端，所述方法包括：获取通过第二终端训练后的特征提取模型，其中，所述第二终端为非嵌入式终端；根据所述特征提取模型提取待处理图像的第一特征信息；将所述第一特征信息与预设特征库中的第二特征信息进行比对，获得比对结果；根据所述比对结果确定所述待处理图像的类别。通过上述方法，有效解决了低功耗的嵌入式终端无法执行深度学习的数据处理任务的问题。
Description
技术领域
本申请属于图像处理技术领域，尤其涉及一种嵌入式终端的图像分类方法、装置及嵌入式终端。
背景技术
深度学习技术被广泛的应用于图像分类、图像分割等领域。随着STEM(Science-Technology-Engineering-Mathematics，科学技术工程数学)教育的发展，深度学习技术逐渐融入了教育的课堂。学生通过教育端机器人平台了解深度学习技术的原理，并在教育端机器人平台上完成深度学习程序的编辑等学习任务。
通常教育端机器人平台搭载的是低功耗的嵌入式终端，如单片机等。由于深度学习技术的数据处理量较大，而低功耗的嵌入式终端运算能力较低、内存空间较小，无法满足深度学习技术的数据处理需求，进而导致无法在教育端机器人平台上完成深度学习技术的教育任务。
发明内容
本申请实施例提供了一种嵌入式终端的图像分类方法、装置及嵌入式终端，可以解决低功耗的嵌入式终端无法执行深度学习的数据处理任务的问题。
第一方面，本申请实施例提供了一种嵌入式终端的图像分类方法，应用于第一终端，所述第一终端为嵌入式终端，所述方法包括：
获取通过第二终端训练后的特征提取模型，其中，所述第二终端为非嵌入式终端；
根据所述特征提取模型提取待分类图像的第一特征信息；
将所述第一特征信息与预设特征库中的第二特征信息进行比对，获得比对结果；
根据所述比对结果确定所述待分类图像的类别。
在本申请实施例中，通过第二终端(即非嵌入式终端)训练特征提取模型，而第一终端(即嵌入式终端)获取训练后的特征提取模型，并利用训练后的特征提取模型进行图像分类。模型训练过程的数据处理量较大，通过上述方法，由非嵌入式终端代替嵌入式终端执行模型训练任务，而嵌入式终端执行数据处理量较小的识别任务，大大减少了嵌入式终端的数据处理任务量，有效解决了低功耗的嵌入式终端无法执行深度学习的数据处理任务的问题，进而实现了在嵌入式终端上的深度学习技术的教育任务。
在第一方面的一种可能的实现方式中，所述获取通过第二终端训练后的特征提取模型，包括：
获取第一模型参数，其中，所述第一模型参数为符合所述第二终端的数据格式的所述特征提取模型的参数；
将所述第一模型参数转换为目标格式的第二模型参数，其中，所述目标格式为所述第一终端的数据格式；
根据所述第二模型参数生成所述特征提取模型。
在第一方面的一种可能的实现方式中，在获取通过第二终端训练后的特征提取模型之后，所述方法还包括：
获取多张样本图像，所述样本图像携带有类别标记；
根据所述特征提取模型分别提取每张所述样本图像的所述第二特征信息；
根据所述多张样本图像各自的所述类别标记和所述第二特征信息构建所述预设特征库。
在第一方面的一种可能的实现方式中，所述根据所述特征提取模型分别提取每张所述样本图像的所述第二特征信息，包括：
根据所述特征提取模型分别提取每张所述样本图像的第三特征信息；
分别对每张所述样本图像的所述第三特征信息进行归一化处理，得到每张所述样本图像的所述第二特征信息。
在第一方面的一种可能的实现方式中，所述将所述第一特征信息与预设特征库中的第二特征信息进行比对，获得比对结果，包括：
计算所述第一特征信息与所述预设特征库中的每个所述第二特征信息的特征差异值；
根据所述特征差异值从小到大的顺序对所述第二特征信息进行排序，获得特征序列；
将所述特征序列的前k个所述第二特征信息确定为所述比对结果，所述k为正整数。
在第一方面的一种可能的实现方式中，所述根据所述比对结果确定所述待分类图像的类别，包括：
获取所述比对结果中每个所述第二特征信息对应的所述类别标记，得到标记集合；
统计所述标记集合中每种所述类别标记的标记个数；
将所述标记个数最多的类别标记对应的类别确定为所述待分类图像的类别。
第二方面，本申请实施例提供了一种嵌入式终端的图像分类装置，应用于第一终端，所述第一终端为嵌入式终端，所述装置包括：
模型获取单元，用于获取通过第二终端训练后的特征提取模型，其中，所述第二终端为非嵌入式终端；
特征提取单元，用于根据所述特征提取模型提取待分类图像的第一特征信息；
特征比对单元，用于将所述第一特征信息与预设特征库中的第二特征信息进行比对，获得比对结果；
图像分类单元，用于根据所述比对结果确定所述待分类图像的类别。
第三方面，本申请实施例提供了一种嵌入式终端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上述第一方面中任一项所述的嵌入式终端的图像分类方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上述第一方面中任一项所述的嵌入式终端的图像分类方法。
第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中任一项所述的嵌入式终端的图像分类方法。
可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的嵌入式终端的图像分类方法的流程示意图；
图2是本申请实施例提供的图像分类的流程示意图；
图3是本申请实施例提供的嵌入式终端的图像分类装置的结构框图；
图4是本申请实施例提供的嵌入式终端的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。
近年来，随着人工智能技术的快速发展，深度学习算法被广泛的应用于图像分类、图像分割等领域，并且逐步在自动驾驶、机器人、物流分拣、STEM教育等领域落地，特别是机器人与STEM教育的融合，将深度学习技术带进了K12教育(kindergarten through twelfthgrade，学前教育至高中教育)的课堂。深度学习算法包括模型训练和模型应用(如图像分类等)两部分。由于深度学习算法的模型参数数量较大，不论是在模型训练阶段还是在部署阶段都需要硬件平台具备较高的算力和较大的内存才能获得实时运行的体验效果，比如需要GPU、NPU等硬件加速。而对于STEM教育端机器人平台，一般搭载的都是低功耗的嵌入式芯片，比如MCU或者ARM等，是没有GPU或者硬件加速模块的。那么对于图像分类任务来说，如果按照正常的模型训练和部署流程，是无法在低功耗的嵌入式芯片上运行的。
一种解决方法是，在非嵌入式终端上完成模型训练和图像分类的任务，然后将识别结果通过通信的方式发送给嵌入式终端。这种方法虽然可以避免由嵌入式终端执行模型训练任务、以减少嵌入式终端的数据处理量，但是该方法无法应用于STEM教育端机器人平台。因为STEM教育端机器人平台的主要教学目标是令学生通过平台了解深度学习技术的原理，并在教育端机器人平台上完成深度学习程序的编辑等学习任务。上述解决方法只能向学生展示深度学习算法的处理结果，而无法向学生提供程序编辑的功能。
为了解决上述问题，本申请实施例提供了一种嵌入式终端的图像分类方法。本申请实施例中提供的方法应用于第一终端，第一终端为嵌入式终端。参见图1，是本申请实施例提供的嵌入式终端的图像分类方法的流程示意图。作为示例而非限定，所述方法可以包括以下步骤：
S101，获取通过第二终端训练后的特征提取模型，其中，第二终端为非嵌入式终端。
第二终端可以是具有数据处理功能的终端设备，能够用于处理较大的数据量，如台式电脑、笔记本电脑、云处理器等。
参见图2，是本申请实施例提供的图像分类的流程示意图。如图2所示，第二终端为PC。在PC上设计一个轻量型的分类网络，利用数据集(可以采用公开的imagenet数据集)对该分类网络进行训练；当训练完成后，将分类网络最后的分类层裁剪掉，保留分类网络中的特征提取层，这个特征提取层即为本申请实施例中的特征提取模型。只需将该训练好的特征提取模型部署在嵌入式终端即可。
但由于PC上的数据格式与嵌入式终端的数据格式不同，因此，在部署特征提取模型时，还需要进行数据格式的转换。在一个实施例中，获取特征提取模型的步骤可以包括：
获取第一模型参数，其中，第一模型参数为符合第二终端的数据格式的特征提取模型的参数；将第一模型参数转换为目标格式的第二模型参数，其中，目标格式为第一终端的数据格式；根据第二模型参数生成特征提取模型。
以K210嵌入式终端为例，其支持的数据格式为kmodel。将PC端训练好的特征提取模型的拓扑结构和权重等模型参数转换为kmodel格式，得到第二模型参数；然后根据第二模型参数生成可供K210嵌入式终端识别的特征提取模型。
S102，根据特征提取模型提取待分类图像的第一特征信息。
为了消除特征向量间量级差异的影响，可选的，S102的一种实现方式为：将待分类图像输入到特征提取模型中，输出第四特征信息；然后对第四特征信息进行归一化处理，得到第一特征信息。
S103，将第一特征信息与预设特征库中的第二特征信息进行比对，获得比对结果。
其中，预设特征库是预先建立的。具体的，预设特征库的建立方法可以包括：
获取多张样本图像，样本图像携带有类别标记；根据特征提取模型分别提取每张样本图像的第二特征信息；根据多张样本图像各自的类别标记和第二特征信息构建预设特征库。
如图2所示，搜集n种类别的样本图像，每种类别的样本图像可以有多张，每张样本图像上带有类别标记。然后将每张样本图像分别输入到特征提取模型中，输出每张样本图像的第二特征信息；将样本图像的第二特征信息以及样本图像的类别标记构建成预设特征库，并存储。可以存储在嵌入式终端自身的存储介质中，也可以存储于与嵌入式终端通信连接的外部存储介质中。
为了消除特征向量间量级差异的影响，可选的，根据特征提取模型分别提取每张样本图像的第二特征信息可以包括：
根据特征提取模型分别提取每张样本图像的第三特征信息；分别对每张样本图像的第三特征信息进行归一化处理，得到每张样本图像的第二特征信息。
若在构建预设特征库时，对特征向量进行了归一化处理，那么相应的，在获取待分类图像的第一特征信息时，也需要对特征向量进行归一化处理。若在构建预设特征库时，未对特征向量进行归一化处理，那么在获取待分类图像的第一特征信息时，也无需对特征向量进行归一化处理。即对样本图像的处理过程和对待分类图像的处理过程相同，这样才能保证分类结果的准确性。
可选的，根据多张样本图像各自的类别标记和第二特征信息构建预设特征库的一种实现方式可以为：对于每张样本图像，将该样本图像的类别标记与该样本图像的第二特征信息生成一个数据组；在获得每张样本图像的数据组之后，将各个数据组构建为预设特征库。
可选的，根据多张样本图像各自的类别标记和第二特征信息构建预设特征库的另一种实现方式可以为：对于每张样本图像，将该样本图像的第二特征信息的维度加1；将新增维度下的元素值确定为该样本图像的类别标记，得到增维后的第二特征信息；在获得每张样本图像的增维后的第二特征信息之后，将各个增维后的第二特征信息构建为预设特征库。
在一个实施例中，将第一特征信息与预设特征库中的第二特征信息进行比对的过程可以包括：
计算第一特征信息与预设特征库中的每个第二特征信息的特征差异值；根据特征差异值从小到大的顺序对第二特征信息进行排序，获得特征序列；将特征序列的前k个第二特征信息确定为比对结果，k为正整数。
通常，第一特征信息和第二特征信息均为特征向量，因此，计算第一特征信息和第二特征信息之间的特征差异值可以通过计算两个特征向量之间的欧式距离或余弦距离来确定。例如，第一特征信息a与第二特征信息b的特征差异值为：
特征差异值越小，表示两个特征信息之间的差异程度越小、相似程度越高。因此，可以选择与第一特征信息差异程度较小的k个第二特征信息作为比对结果。
上述S103中的方案，实际是从预设特征库中找到与待分类图像较相似的样本图像的过程，而该过程是通过比对特征信息来实现的。该过程实现的功能与PC端分类网络最后的分类层功能类似，因此，相当于在嵌入式端实现了分类功能。
S104，根据比对结果确定待分类图像的类别。
基于S103中信息比对的过程，在一个实施例中，S104的一种实现方式为：
获取比对结果中每个第二特征信息对应的类别标记，得到标记集合；统计标记集合中每种类别标记的标记个数；将标记个数最多的类别标记对应的类别确定为待分类图像的类别。
示例性的，假设k＝5，标记集合中有3个类别标记I(对应类别为苹果、1个类别标记II(对应类别为香蕉)和1个类别标记III(对应类别为橘子)。在标记集合中标记个数最多的类别标记为I，那么将I对应的类别苹果确定为待分类图像的类别。
在本申请实施例中，通过第二终端(即非嵌入式终端)训练特征提取模型，而第一终端(即嵌入式终端)获取训练后的特征提取模型，并利用训练后的特征提取模型进行图像分类。模型训练过程的数据处理量较大，通过上述方法，由非嵌入式终端代替嵌入式终端执行模型训练任务，而嵌入式终端执行数据处理量较小的识别任务，大大减少了嵌入式终端的数据处理任务量，有效解决了低功耗的嵌入式终端无法执行深度学习的数据处理任务的问题，进而实现了在嵌入式终端上的深度学习技术的教育任务。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例所述的嵌入式终端的图像分类方法，图3是本申请实施例提供的嵌入式终端的图像分类装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。
参照图3，该装置包括：
模型获取单元31，用于获取通过第二终端训练后的特征提取模型，其中，所述第二终端为非嵌入式终端。
特征提取单元32，用于根据所述特征提取模型提取待处理图像的第一特征信息。
特征比对单元33，用于将所述第一特征信息与预设特征库中的第二特征信息进行比对，获得比对结果。
图像分类单元34，用于根据所述比对结果确定所述待分类图像的类别。
可选的，模型获取单元31还用于：
获取第一模型参数，其中，所述第一模型参数为符合所述第二终端的数据格式的所述特征提取模型的参数；将所述第一模型参数转换为目标格式的第二模型参数，其中，所述目标格式为所述第一终端的数据格式；根据所述第二模型参数生成所述特征提取模型。
可选的，装置3包括：
预设特征库构建单元，用于在获取通过第二终端训练后的特征提取模型之后，获取多张样本图像，所述样本图像携带有类别标记；根据所述特征提取模型分别提取每张所述样本图像的所述第二特征信息；根据所述多张样本图像各自的所述类别标记和所述第二特征信息构建所述预设特征库。
可选的，预设特征库构建单元还用于：
根据所述特征提取模型分别提取每张所述样本图像的第三特征信息；分别对每张所述样本图像的所述第三特征信息进行归一化处理，得到每张所述样本图像的所述第二特征信息。
可选的，特征比对单元33还用于：
计算所述第一特征信息与所述预设特征库中的每个所述第二特征信息的特征差异值；根据所述特征差异值从小到大的顺序对所述第二特征信息进行排序，获得特征序列；将所述特征序列的前k个所述第二特征信息确定为所述比对结果，所述k为正整数。
可选的，图像分类单元34还用于：
获取所述比对结果中每个所述第二特征信息对应的所述类别标记，得到标记集合；统计所述标记集合中每种所述类别标记的标记个数；将所述标记个数最多的类别标记对应的类别确定为所述待处理图像的类别。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
另外，图3所示的嵌入式终端的图像分类装置可以是内置于现有的终端设备内的软件单元、硬件单元、或软硬结合的单元，也可以作为独立的挂件集成到所述终端设备中，还可以作为独立的终端设备存在。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
图4是本申请实施例提供的嵌入式终端的结构示意图。如图4所示，该实施例的嵌入式终端4包括：至少一个处理器40(图4中仅示出一个)处理器、存储器41以及存储在所述存储器41中并可在所述至少一个处理器40上运行的计算机程序42，所述处理器40执行所述计算机程序42时实现上述任意各个嵌入式终端的图像分类方法实施例中的步骤。
所述嵌入式终端可以是MCU、ARM或单片机等。该嵌入式终端可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，图4仅仅是嵌入式终端4的举例，并不构成对嵌入式终端4的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。
所称处理器40可以是中央处理单元(Central Processing Unit，CPU)，该处理器40还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器41在一些实施例中可以是所述嵌入式终端4的内部存储单元，例如嵌入式终端4的硬盘或内存。所述存储器41在另一些实施例中也可以是所述嵌入式终端4的外部存储设备，例如所述嵌入式终端4上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器41还可以既包括所述嵌入式终端4的内部存储单元也包括外部存储设备。所述存储器41用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器41还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行时实现可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
Claims (10)
1.一种嵌入式终端的图像分类方法，其特征在于，应用于第一终端，所述第一终端为嵌入式终端，所述方法包括：
获取通过第二终端训练后的特征提取模型，其中，所述第二终端为非嵌入式终端；
根据所述特征提取模型提取待分类图像的第一特征信息；
将所述第一特征信息与预设特征库中的第二特征信息进行比对，获得比对结果；
根据所述比对结果确定所述待分类图像的类别。
2.如权利要求1所述的嵌入式终端的图像分类方法，其特征在于，所述获取通过第二终端训练后的特征提取模型，包括：
获取第一模型参数，其中，所述第一模型参数为符合所述第二终端的数据格式的所述特征提取模型的参数；
将所述第一模型参数转换为目标格式的第二模型参数，其中，所述目标格式为所述第一终端的数据格式；
根据所述第二模型参数生成所述特征提取模型。
3.如权利要求1所述的嵌入式终端的图像分类方法，其特征在于，在获取通过第二终端训练后的特征提取模型之后，所述方法还包括：
获取多张样本图像，所述样本图像携带有类别标记；
根据所述特征提取模型分别提取每张所述样本图像的所述第二特征信息；
根据所述多张样本图像各自的所述类别标记和所述第二特征信息构建所述预设特征库。
4.如权利要求3所述的嵌入式终端的图像分类方法，其特征在于，所述根据所述特征提取模型分别提取每张所述样本图像的所述第二特征信息，包括：
根据所述特征提取模型分别提取每张所述样本图像的第三特征信息；
分别对每张所述样本图像的所述第三特征信息进行归一化处理，得到每张所述样本图像的所述第二特征信息。
5.如权利要求3所述的嵌入式终端的图像分类方法，其特征在于，所述将所述第一特征信息与预设特征库中的第二特征信息进行比对，获得比对结果，包括：
计算所述第一特征信息与所述预设特征库中的每个所述第二特征信息的特征差异值；
根据所述特征差异值从小到大的顺序对所述第二特征信息进行排序，获得特征序列；
将所述特征序列的前k个所述第二特征信息确定为所述比对结果，所述k为正整数。
6.如权利要求4所述的嵌入式终端的图像分类方法，其特征在于，所述根据所述比对结果确定所述待分类图像的类别，包括：
获取所述比对结果中每个所述第二特征信息对应的所述类别标记，得到标记集合；
统计所述标记集合中每种所述类别标记的标记个数；
将所述标记个数最多的类别标记对应的类别确定为所述待分类图像的类别。
7.一种嵌入式终端的物体识别装置，其特征在于，应用于第一终端，所述第一终端为嵌入式终端，所述装置包括：
模型获取单元，用于获取通过第二终端训练后的特征提取模型，其中，所述第二终端为非嵌入式终端；
特征提取单元，用于根据所述特征提取模型提取待分类图像的第一特征信息；
特征比对单元，用于将所述第一特征信息与预设特征库中的第二特征信息进行比对，获得比对结果；
图像分类单元，用于根据所述比对结果确定所述待分类图像的类别。
8.如权利要求7所述的嵌入式终端的图像分类装置，其特征在于，所述模型获取单元还用于：
获取第一模型参数，其中，所述第一模型参数为符合所述第二终端的数据格式的所述特征提取模型的参数；
将所述第一模型参数转换为目标格式的第二模型参数，其中，所述目标格式为所述第一终端的数据格式；
根据所述第二模型参数生成所述特征提取模型。
9.一种嵌入式终端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110098908.0A CN112861934A (zh) | 2021-01-25 | 2021-01-25 | 一种嵌入式终端的图像分类方法、装置及嵌入式终端 |
| PCT/CN2021/124608 WO2022156280A1 (zh) | 2021-01-25 | 2021-10-19 | 一种嵌入式终端的图像分类方法、装置及嵌入式终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110098908.0A CN112861934A (zh) | 2021-01-25 | 2021-01-25 | 一种嵌入式终端的图像分类方法、装置及嵌入式终端 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112861934A true CN112861934A (zh) | 2021-05-28 |
Family
ID=76008802
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110098908.0A Pending CN112861934A (zh) | 2021-01-25 | 2021-01-25 | 一种嵌入式终端的图像分类方法、装置及嵌入式终端 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN112861934A (zh) |
| WO (1) | WO2022156280A1 (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113535951A (zh) * | 2021-06-21 | 2021-10-22 | 深圳大学 | 用于进行信息分类的方法、装置、终端设备及存储介质 |
| WO2022156280A1 (zh) * | 2021-01-25 | 2022-07-28 | 深圳市优必选科技股份有限公司 | 一种嵌入式终端的图像分类方法、装置及嵌入式终端 |
| CN117409207A (zh) * | 2023-12-14 | 2024-01-16 | 江西求是高等研究院 | 一种用于嵌入式设备的图像分割方法、系统及计算机 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116229240A (zh) * | 2023-01-05 | 2023-06-06 | 苏州大学 | 一种基于图像识别的嵌入式物体认知系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106485277A (zh) * | 2016-10-11 | 2017-03-08 | 哈尔滨工业大学 | 一种基于多连接决策流形对准的高分辨率多时相遥感图像分类方法 |
| CN107292223A (zh) * | 2016-04-13 | 2017-10-24 | 芋头科技（杭州）有限公司 | 一种实时手势检测的在线验证方法及系统 |
| CN107391703A (zh) * | 2017-07-28 | 2017-11-24 | 北京理工大学 | 图像库的建立方法及系统、图像库和图像分类方法 |
| CN110163121A (zh) * | 2019-04-30 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机设备及存储介质 |
| CN110415301A (zh) * | 2019-08-08 | 2019-11-05 | 太原理工大学 | 一种基于嵌入式设备的天文暂现源实时预警方法 |
| CN111507399A (zh) * | 2020-04-16 | 2020-08-07 | 上海眼控科技股份有限公司 | 基于深度学习的云状识别和模型训练方法、装置、终端及介质 |
| CN112163496A (zh) * | 2020-09-22 | 2021-01-01 | 广东华南水电高新技术开发有限公司 | 一种基于语义分割的嵌入式终端水库水位预警方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7668351B1 (en) * | 2003-01-17 | 2010-02-23 | Kestrel Corporation | System and method for automation of morphological segmentation of bio-images |
| CN106022483B (zh) * | 2016-05-11 | 2019-06-14 | 星环信息科技（上海）有限公司 | 机器学习模型之间进行转换的方法与设备 |
| CN111709936B (zh) * | 2020-06-17 | 2023-10-24 | 广州麦仑智能科技有限公司 | 一种基于多级特征比对的令纸缺陷检测方法 |
| CN111985495B (zh) * | 2020-07-09 | 2024-02-02 | 珠海亿智电子科技有限公司 | 模型部署方法、装置、系统及存储介质 |
| CN112241689A (zh) * | 2020-09-24 | 2021-01-19 | 北京澎思科技有限公司 | 人脸识别方法、装置、电子设备及计算机可读存储介质 |
| CN112861934A (zh) * | 2021-01-25 | 2021-05-28 | 深圳市优必选科技股份有限公司 | 一种嵌入式终端的图像分类方法、装置及嵌入式终端 |
-
2021
- 2021-01-25 CN CN202110098908.0A patent/CN112861934A/zh active Pending
- 2021-10-19 WO PCT/CN2021/124608 patent/WO2022156280A1/zh active Application Filing
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107292223A (zh) * | 2016-04-13 | 2017-10-24 | 芋头科技（杭州）有限公司 | 一种实时手势检测的在线验证方法及系统 |
| CN106485277A (zh) * | 2016-10-11 | 2017-03-08 | 哈尔滨工业大学 | 一种基于多连接决策流形对准的高分辨率多时相遥感图像分类方法 |
| CN107391703A (zh) * | 2017-07-28 | 2017-11-24 | 北京理工大学 | 图像库的建立方法及系统、图像库和图像分类方法 |
| CN110163121A (zh) * | 2019-04-30 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机设备及存储介质 |
| CN110415301A (zh) * | 2019-08-08 | 2019-11-05 | 太原理工大学 | 一种基于嵌入式设备的天文暂现源实时预警方法 |
| CN111507399A (zh) * | 2020-04-16 | 2020-08-07 | 上海眼控科技股份有限公司 | 基于深度学习的云状识别和模型训练方法、装置、终端及介质 |
| CN112163496A (zh) * | 2020-09-22 | 2021-01-01 | 广东华南水电高新技术开发有限公司 | 一种基于语义分割的嵌入式终端水库水位预警方法 |
Non-Patent Citations (2)
| Title |
|---|
| 朱勇 等: "《客户关系管理》", 30 June 2019, 武汉理工大学出版社, pages: 230 * |
| 隋栋 等: "《显微图像处理与分析》", 30 November 2020, 中国海洋大学出版社, pages: 111 - 112 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022156280A1 (zh) * | 2021-01-25 | 2022-07-28 | 深圳市优必选科技股份有限公司 | 一种嵌入式终端的图像分类方法、装置及嵌入式终端 |
| CN113535951A (zh) * | 2021-06-21 | 2021-10-22 | 深圳大学 | 用于进行信息分类的方法、装置、终端设备及存储介质 |
| CN113535951B (zh) * | 2021-06-21 | 2023-02-17 | 深圳大学 | 用于进行信息分类的方法、装置、终端设备及存储介质 |
| CN117409207A (zh) * | 2023-12-14 | 2024-01-16 | 江西求是高等研究院 | 一种用于嵌入式设备的图像分割方法、系统及计算机 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022156280A1 (zh) | 2022-07-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112861934A (zh) | 一种嵌入式终端的图像分类方法、装置及嵌入式终端 | |
| CN111275107A (zh) | 一种基于迁移学习的多标签场景图像分类方法及装置 | |
| CN111680678B (zh) | 目标区域识别方法、装置、设备及可读存储介质 | |
| CN115937655B (zh) | 多阶特征交互的目标检测模型及其构建方法、装置及应用 | |
| CN113298152B (zh) | 模型训练方法、装置、终端设备及计算机可读存储介质 | |
| CN113705733A (zh) | 医疗票据图像处理方法及装置、电子设备、存储介质 | |
| CN112328655B (zh) | 文本标签挖掘方法、装置、设备及存储介质 | |
| CN113435499B (zh) | 标签分类方法、装置、电子设备和存储介质 | |
| CN113015022A (zh) | 行为识别方法、装置、终端设备及计算机可读存储介质 | |
| CN114581710A (zh) | 图像识别方法、装置、设备、可读存储介质及程序产品 | |
| CN115223166A (zh) | 图片预标注方法、图片标注方法及装置、电子设备 | |
| CN114168768A (zh) | 图像检索方法及相关设备 | |
| CN114494823A (zh) | 零售场景下的商品识别检测计数方法及系统 | |
| CN111931557B (zh) | 瓶装饮品的规格识别方法、装置、终端设备及可读存介质 | |
| CN117853967A (zh) | 行为识别方法、装置、电子设备及存储介质 | |
| CN112632260A (zh) | 智能问答方法、装置、电子设备及计算机可读存储介质 | |
| CN115618019A (zh) | 知识图谱构建方法、装置及终端设备 | |
| CN112464753B (zh) | 图像中关键点的检测方法、检测装置及终端设备 | |
| CN115359296A (zh) | 图像识别方法、装置、电子设备及存储介质 | |
| CN111091198B (zh) | 一种数据处理方法及装置 | |
| Liu et al. | IDPNet: a light-weight network and its variants for human pose estimation | |
| CN113239226A (zh) | 一种图像检索方法、装置、设备及存储介质 | |
| CN113887724A (zh) | 一种基于深度学习的文本训练增强方法与系统 | |
| CN111767710A (zh) | 印尼语的情感分类方法、装置、设备及介质 | |
| CN113361511A (zh) | 修正模型的建立方法、装置、设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |