CN112712097B - 一种基于开放平台的图像识别方法、装置及用户端 - Google Patents
一种基于开放平台的图像识别方法、装置及用户端 Download PDFInfo
- Publication number
- CN112712097B CN112712097B CN201911023837.7A CN201911023837A CN112712097B CN 112712097 B CN112712097 B CN 112712097B CN 201911023837 A CN201911023837 A CN 201911023837A CN 112712097 B CN112712097 B CN 112712097B
- Authority
- CN
- China
- Prior art keywords
- target
- model
- deep learning
- classification
- learning models
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000013136 deep learning model Methods 0.000 claims abstract description 184
- 238000013145 classification model Methods 0.000 claims description 141
- 238000001514 detection method Methods 0.000 claims description 39
- 230000001419 dependent effect Effects 0.000 abstract description 3
- 238000004590 computer program Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 241000283070 Equus zebra Species 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011143 downstream manufacturing Methods 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
Abstract
本申请实施例提供了一种基于开放平台的图像识别方法、装置及用户端。其中，方法包括：获取开放平台的多个深度学习模型，以及所述多个深度学习模型各自针对的目标类型；根据所述多个深度学习模型各自针对的目标类型，确定所述多个深度学习模型间的关联关系；按照所述关联关系，利用所述多个深度学习模型对待处理图像或待处理图像序列进行识别，得到识别结果。可以根据各个模型各自针对的目标类型，推理出各个模型间的关联关系，不再依赖于用户手动上传的描述文件，因此识别结果的准确性不会受到人工疏忽的影响，即准确性相对较高。
Description
技术领域
本申请申请涉及机器学习技术领域，特别是涉及一种基于开放平台的图像识别方法、装置及用户端。
背景技术
相关技术中，用户可以将经过标定的图像或图像序列上传至开放平台。开放平台根据经过标定的图像或图像序列，推理得到由多个深度学习模型按照该关联关系组合形成的组合模型，组合模型中多个深度学习网络按照预设关联关系排列组合。用户上传用于描述该关联关系的描述文件，如jason注解文件，开放平台将该多个深度学习模型以及描述文件打包后下发至指定设备。该设备按照描述文件所描述的关联关系，利用多个深度学习模型进行图像识别。
但是该方案需要用户手动上传描述文件，可能因人工疏忽，导致描述文件中所描述的多个深度学习模型间的关联关系，与多个深度学习模型在组合模型中的关联关系不同，而设备按照错误的关联关系，无法利用多个深度学习模型准确地进行图像识别。
发明内容
本申请实施例的目的在于提供一种基于开放平台的图像识别方法、装置及用户端，以实现提高图像推理系统的稳定性。具体技术方案如下：
在本申请实施例的第一方面，提供了一种基于开放平台的图像识别方法，所述方法包括：
获取开放平台的多个深度学习模型，以及所述多个深度学习模型各自针对的目标类型；
根据所述多个深度学习模型各自针对的目标类型，确定所述多个深度学习模型间的关联关系；
按照所述关联关系，利用所述多个深度学习模型对待处理图像或待处理图像序列进行识别，得到识别结果。
在一种可能的实施例中，所述获取开放平台的多个深度学习模型，以及所述多个深度学习模型各自针对的目标类型，包括：
获取开放平台的多模型封装数据，所述多模型封装数据中包括文件信息、多个模型信息以及多个模型数据，所述文件信息用于表示所述多模型封装数据所包括的模型信息和模型数据的数量以及每个模型信息和模型数据在所述多模型封装数据中的位置，并且所述文件信息存储于所述多模型封装数据的预设位置，所述多个模型信息中每个模型信息用于表示多个深度学习模型中的一个深度学习模型对应的目标类型，所述多个模型数据中的每个模型数据用于表示所述多个深度学习模型中的一个深度学习模型；
从所述多模型封装数据中的所述预设位置读取所述文件信息；
根据所述文件信息，从所述多模型封装数据中读取所述多个模型信息和所述多个模型数据，得到所述开放平台的多个深度学习模型，以及所述多个深度学习模型各自所针对的目标类型。
在一种可能的实施例中，所述获取开放平台的多个深度学习模型，以及所述多个深度学习模型各自针对的目标类型，包括：
获取所述开放平台根据多个样本图像或样本图像序列推理得到的包括多个深度学习模型的组合模型，以及所述多个深度学习模型各自针对的目标类型，所述组合模型由所述多个深度学习模型按照预设关联关系组合形成。
在一种可能的实施例中，所述多个深度学习模型中包括一个目标检测模型和多个目标分类模型；
所述按照所述关联关系，利用所述多个深度学习模型对待处理图像或待处理图像序列进行识别，得到识别结果，包括：
利用所述目标检测模型对待处理图像或待处理图像序列进行目标检测，得到所述待处理图像或所述待处理图像序列中存在的至少一个目标；
针对所述至少一个目标中的每个目标，按照所述关联关系，调用所述多个目标分类模型中与该目标的目标类型对应的模型，对该目标进行识别，得到识别结果。
在一种可能的实施例中，所述方法还包括：
获取所述多个目标分类模型中每个目标分类模型的网络类型；
所述针对所述至少一个目标中的每个目标，按照所述关联关系，调用所述多个目标分类模型中与该目标的目标类型对应的模型，对该目标进行识别，得到识别结果，包括：
利用预设的多个分类模块加载所述多个目标分类模型，其中，每个分类模块加载该分类模块对应的网络类型的目标分类模块；
针对所述至少一个目标中的每个目标，将该目标输入至所述多个分类模块中的一个分类模块；
根据所述关联关系，确定所输入的分类模块是否加载有与该目标的目标类型对应的目标分类模型；
如果所输入的分类模块加载有与该目标的目标类型对应的目标分类模型，控制所输入的分类模块，利用与该目标的目标类型对应的目标分类模型对该目标进行识别，得到识别结果；
如果所输入的分类模块没有加载与该目标的目标类型对应的目标分类模型，根据所述关联关系，将该目标重新输入至加载有与该目标的目标类型对应的目标分类模型的分类模块；
控制重新输入至的分类模块，利用与该目标的目标类型对应的目标分类模型对该目标进行识别，得到识别结果。
在本申请的第二方面，提供了一种基于开放平台的图像识别方法，所述方法包括：
根据样本图像或样本图像序列，推理得到组合模型，所述组合模型由多个深度学习模型按照预设关联关系组合形成；
向指定设备发送所述多个深度学习模型，以及所述多个深度学习模型各自针对的目标类型，以使得所述指定设备根据所述多个深度学习模型，以及所述多个深度学习模型各自针对的目标类型进行图像识别。
在一种可能的实施例中，所述向指定设备发送所述多个深度学习模型，以及所述多个深度学习模型各自针对的目标类型，包括：
向所述用户端发送多模型封装数据，所述多模型封装数据中包括文件信息、多个模型信息以及多个模型数据，所述文件信息用于表示所述多模型封装数据所包括的模型信息和模型数据的数量以及每个模型信息和模型数据在所述多模型封装数据中的位置，并且所述文件信息存储于所述多模型封装数据的预设位置，所述多个模型信息中每个模型信息用于表示所述多个经过训练的模型中的一个模型对应的目标类型，所述多个模型数据中的每个模型数据用于表示所述多个经过训练的模型中的一个模型。
在本申请的第三方面，提供了一种基于开放平台的图像识别装置，所述装置包括：
数据获取模块，用于获取开放平台的多个深度学习模型，以及所述多个深度学习模型各自针对的目标类型；
关系推理模块，用于根据所述多个深度学习模型各自针对的目标类型，确定所述多个深度学习模型间的关联关系；
图像识别模块，用于按照所述关联关系，利用所述多个深度学习模型对待处理图像或待处理图像序列进行识别，得到识别结果。
在一种可能的实施例中，所述数据获取模块，具体用于获取开放平台的多模型封装数据，所述多模型封装数据中包括文件信息、多个模型信息以及多个模型数据，所述文件信息用于表示所述多模型封装数据所包括的模型信息和模型数据的数量以及每个模型信息和模型数据在所述多模型封装数据中的位置，并且所述文件信息存储于所述多模型封装数据的预设位置，所述多个模型信息中每个模型信息用于表示多个深度学习模型中的一个深度学习模型对应的目标类型，所述多个模型数据中的每个模型数据用于表示所述多个深度学习模型中的一个深度学习模型；
从所述多模型封装数据中的所述预设位置读取所述文件信息；
根据所述文件信息，从所述多模型封装数据中读取所述多个模型信息和所述多个模型数据，得到所述开放平台的多个深度学习模型，以及所述多个深度学习模型各自所针对的目标类型。
在一种可能的实施例中，所述数据获取模块，具体用于获取所述开放平台根据多个样本图像或样本图像序列推理得到的包括多个深度学习模型的组合模型，以及所述多个深度学习模型各自针对的目标类型，所述组合模型由所述多个深度学习模型按照预设关联关系组合形成。
在一种可能的实施例中，所述多个深度学习模型中包括一个目标检测模型和多个目标分类模型；
所述图像识别模块，具体用于利用所述目标检测模型对待处理图像或待处理图像序列进行目标检测，得到所述待处理图像或所述待处理图像序列中存在的至少一个目标；
针对所述至少一个目标中的每个目标，按照所述关联关系，调用所述多个目标分类模型中与该目标的目标类型对应的模型，对该目标进行识别，得到识别结果。
在一种可能的实施例中，所述图像识别模块，还用于获取所述多个目标分类模型中每个目标分类模型的网络类型；
所述图像识别模块，具体用于利用预设的多个分类模块加载所述多个目标分类模型，其中，每个分类模块加载该分类模块对应的网络类型的目标分类模块；
针对所述至少一个目标中的每个目标，将该目标输入至所述多个分类模块中的一个分类模块；
根据所述关联关系，确定所输入的分类模块是否加载有与该目标的目标类型对应的目标分类模型；
如果所输入的分类模块加载有与该目标的目标类型对应的目标分类模型，控制所输入的分类模块，利用与该目标的目标类型对应的目标分类模型对该目标进行识别，得到识别结果；
如果所输入的分类模块没有加载与该目标的目标类型对应的目标分类模型，根据所述关联关系，将该目标重新输入至加载有与该目标的目标类型对应的目标分类模型的分类模块；
控制重新输入至的分类模块，利用与该目标的目标类型对应的目标分类模型对该目标进行识别，得到识别结果。
在本申请的第四方面，提供了一种基于开放平台的图像识别装置，所述装置包括：
所述装置包括：
模型推理模块，用于根据用户端的样本图像或样本图像序列，推理得到组合模型，所述组合模型由多个深度学习模型按照预设关联关系组合形成；
数据发送模块，用于向所述用户端发送所述多个深度学习模型，以及所述多个深度学习模型各自针对的目标类型。
在一种可能的实施例中，所述数据发送模块，具体用于向所述用户端发送多模型封装数据，所述多模型封装数据中包括文件信息、多个模型信息以及多个模型数据，所述文件信息用于表示所述多模型封装数据所包括的模型信息和模型数据的数量以及每个模型信息和模型数据在所述多模型封装数据中的位置，并且所述文件信息存储于所述多模型封装数据的预设位置，所述多个模型信息中每个模型信息用于表示所述多个深度学习模型中的一个深度学习模型对应的目标类型，所述多个模型数据中的每个模型数据用于表示所述多个深度学习模型中的一个深度学习模型。
在本申请实施例的第五方面，提供了一种用户端，应用于图像推理系统，所述图像推理系统还包括开放平台，所述用户端包括：
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述第一方面任一所述的方法步骤。
在本申请实施例的第六方面，提供了一种开放平台，应用于图像推理系统，所述图像推理系统还包括用户端，所述开放平台包括：
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述第二方面任一所述的方法步骤。
在本申请实施例的第七方面，提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面任一所述的方法步骤。
在本申请实施例的第八方面，提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第二方面任一所述的方法步骤。
本申请实施例提供的基于开放平台的图像识别方法、装置及用户端，可以根据各个模型各自针对的目标类型，推理出各个模型间的关联关系，不再依赖于用户手动上传的描述文件，因此识别结果的准确性不会受到人工疏忽的影响，即准确性相对较高。当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的基于开放平台的图像识别方法的一种流程示意图；
图2为本申请实施例提供的基于开放平台的图像识别方法的另一种流程示意图；
图3为本申请实施例提供的基于开放平台的图像识别方法的一种原理示意图；
图4为本申请实施例提供的基于开放平台的图像识别装置的一种结构示意图；
图5为本申请实施例提供的基于开放平台的图像识别装置的另一种结构示意图；
图6为本申请实施例提供的电子设备的一种结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
参见图1，图1所示为本申请实施例提供的一种基于开放平台的图像识别方法的一种流程示意图，该方法可以应用于具有图像识别功能的设备，方法可以包括：
S101，获取开放平台的多个深度学习模型，以及多个深度学习模型各自针对的目标类型。
其中，根据应用场景的不同，多个深度学习模型中所包括的模型类型可以不同。示例性的，在一种可能的实施例中，多个深度学习模型中可以包括一个目标检测模型和多个目标分类模型。目标检测模型用于检测出图像中所存在的目标，目标分类模型用于对目标检测模型检测出的目标进行分类，可以理解的是，目标检测模型和目标分类模型具体所实现的功能取决于具体的应用场景。
示例性的，可以是一共获取到一个目标检测模型和四个目标分类模型，该目标检测模型可以用于检测出图像中存在的信号灯、地面标识、非机动车以及公交车。四个目标分类模型中，一个用于对信号灯进行分类，一个用于对地面标识进行分类，一个用于对非机动车进行分类，一个用于对公交车进行分类。至于信号灯、地面标识、非机动车以及公交车中每个类型的目标如何进行分类，根据应用场景的不同而不同，本实施例对此不做限制。示例性的，在一种可能的实施例中，可以将地面标识划分为减速带、斑马线、其他类型共三类，在另一种可能的实施例中，也可以将地面标识划分为清晰完整、破损模糊两类，在又一种可能的实施例中，还可以将地面标识划分为清晰完整的减速带、清晰完整的斑马线、清晰完整的其他类型、破损模糊的减速带、破损模糊的斑马线、破损模糊的其他类型共计六类。
在一种可能的实施例中，可以是获取开放平台的多模型封装数据，多模型封装数据中包括文件信息、多个模型信息以及多个模型数据，其中，文件信息用于表示多个模型封装数据所包括的模型信息和模型数据的数量，模型信息和模型数据的数量相同，即假如有n个模型信息，则对应有n个模型数据。并且文件信息存储于多模型封装数据的预设位置，例如可以是存储于多模型封装数据的前预设数目位。
多个模型信息中的每个模型信息用于表示多个深度学习模型中的一个深度学习模型对应的目标类型，一个深度学习模型对应的目标类型可以是指该模型用于处理的目标的目标类型。例如，对于目标检测模型，并不特定针对某种类型的目标，因此不存在对应的目标类型，对于用于对地面标识进行分类的目标分类模型，对应的目标类型为地面标识，对于用于对信号灯进行分类的目标分类模型，对应的目标类型为信号灯。多个模型数据中的每个模型数据用于表示多个深度学习模型中的一个深度学习模型，即可以根据一个模型数据，得到该模型数据所表示的深度学习模型。
设备可以是从多模型封装数据中的预设位置读取文件信息，并根据文件信息所表示的多个模型信息以及多个模型数据的位置，对应读取多个模型信息以及多个模型数据，得到多个深度学习模型，以及多个深度学习模型各自针对的目标类型。例如，对应读取到一个用于表示目标分类模型的模型数据，以及表示该目标分类模型对应的目标类型的模型信息，根据该模型数据可以得到该目标分类模型，根据该模型信息可以确定该目标分类模型所针对的目标类型。
S102，根据多个深度学习模型各自针对的目标类型，确定多个深度学习模型间的关联关系。
以多个深度学习模型包括一个目标检测模型以及多个目标分类模型为例，假设多个目标分类模型中的一个目标分类模型针对的目标类型为目标类型A，则可以确定目标检测模型检测到的目标类型为目标类型A的目标，将要输入至该目标分类模型中进行后续处理。
S103，按照关联关系，利用多个深度学习型对待处理图像或待处理图像序列进行识别，得到识别结果。
为描述方便，以待处理图像为例进行说明。对于待处理图像序列，原理是相同的，可以类推得到的，因此不再赘述。假设多个深度学习模型中包括一个目标检测模型和多个目标分类模型，则可以利用该目标检测模型对待处理图像进行目标检测，假设检测结果表示待处理图像中一共存在3个目标，分别记目标1-3。其中，目标1为信号灯，则利用用于对信号灯进行分类的目标分类模型对目标1进行处理。目标2为地面标识，则利用用于对地面标识进行分类的目标分类模型对目标2进行处理。目标3为公交车，则利用用于对公交车进行分类的目标分类模型对目标3进行处理。整合目标1-3经过处理得到的识别结果，得到待处理图像的识别结果。根据应用场景的不同，对该识别结果的处理可以不同，在一些应用场景中可以对该识别结果进行存储记录，在另一些应用场景中，也可以将该识别结果发送至下游处理设备，以进行后续的分析处理，本实施例对此不做限制。
选用该实施例，可以根据各个模型各自针对的目标类型，推理出各个模型间的关联关系，不再依赖于用户手动上传的描述文件，因此识别结果的准确性不会受到人工疏忽的影响，即准确性相对较高。
在一种可能的实施例中，在S103之前还可以包括获取多个目标分类模型中每个目标分类模型的网络类型，其中网络类型的划分可以根据应用场景的不同而不同，示例性的，在一种可能的实施例中可以将网络类型划分为NNIE(Neural Network Inference Engine)和DSP(Digital Signal Processor，数字信号处理器)，其中，NNIE为一类针对深度学习卷积神经网络进行加速处理的单元，DSP为一类用于实时的数字信号处理的微处理器。
在该实施例中，S103可以是利用预设的多个分类模块加载多个目标分类模型，其中每个分类模块加载与该分类模块对应的网络类型的目标分类模块。例如一共有两个分类模块，其中一个分类模块加载所有网络类型为NNIE的目标分类模型，另一个分类模块加载所有网络类型为DSP的目标分类模型。
针对每个目标，将该目标输入至多个分类模块中的一个分类模块，可以是将待分析目标输入至多个分类模块中的任一分类模块，例如，可以是随机将待分析目标输入至多个分类模块中的任一分类模块。
根据关联关系，确定所输入的分类模型是否加载有与该目标的目标类型对应的目标分类模型。例如，一个目标被输入至分类模块1，分类模块1加载有目标分类模型1、目标分类模型2，其中目标分类模型1对应目标类型1、目标分类模型2对应目标类型2，如果该目标的目标类型为目标类型1，则可以确定所输入的分类模型加载有与该目标的目标类型对应的目标分类模型。如果该目标的目标类型为目标类型3，则可以确定所输入的分类模型没有加载与该目标的目标类型对应的目标分类模型。
如果所输入的分类模型加载有与该目标的目标类型对应的目标分类模型，控制所输入的分类模块，利用与该目标的目标类型对应的目标分类模型对该目标进行识别，得到识别结果。如果所输入的分类模型没有加载与该目标的目标类型对应的目标分类模型，根据关联关系，将该目标重新输入至加载有与该目标的目标类型对应的目标分类模型的分类模块，并控制重新输入至的分类模块，利用与该目标的目标类型对应的目标分类模型对该目标进行识别，得到识别结果。
选用该实施例，对于目标检测模型的输出，可以输入至任一分类模块，即消除了目标检测模型与分类模块之间的关联关系，便于独立的对目标检测模型与分类模块进行运维。
参见图2，图2所示为本申请实施例提供的基于开放平台的图像识别方法的另一种流程示意图，该方法可以应用于开放平台，方法可以包括：
S201，根据样本图像或样本图像序列，推理得到组合模型。
组合模型由多个深度学习模型按照预设关联关系组合形成。以执行主体为开放平台为例，样本图像或样本图像序列可以是用户上传的已经标定的样本图像或样本图像序列，也可以是由开放平台或其他具有标定功能的电子设备标定得到的。
开放平台可以是一个设备，也可以是多个设备，并且可以是虚拟设备，也可以是实体设备。例如，在一种可能的实施例中，开放平台可以是由训练服务器和用于向用户端提供平台服务的平台服务器构成，其中训练服务器用于训练模型，平台服务器用于与用户端进行数据交互。在该实施例中，可以是平台服务器根据接收到的多个样本图像，向训练服务器下发训练任务，训练服务器执行训练任务，以得到组合模型。
S202，向指定设备发送多个深度学习模型，以及多个深度学习模型各自针对的目标类型。
开放平台可以是以多模型封装数据的形式，将多个深度学习模型，以及这多个深度学习模型各自针对的目标类型发送至指定设备的。关于多模型封装数据，可以参见前述S101的相关描述，在此不再赘述。
在本申请的可选实施例中，指定设备为具有图像识别功能的设备，该指定设备可以根据接收到的多个深度学习模型，以及多个深度学习模型各自针对的目标类型进行图像识别。关于该指定设备进行图像识别的业务逻辑，可以参见前述相关实施例的描述，在此不再赘述。
例如，该指定设备为摄像机，将针对中文车牌图像的深度学习模型发送给安装在卡口的摄像机上，那么该摄像机就能通过该深度学习模型识别来往车辆的中文车牌。
该指定设备也为带有摄像头的无人机、平板电脑、车载系统等等。
又例如，该指定设备为具有图像识别功能的网络服务器，通过网络获取某个类型的图像，然后利用加载的针对该类型的深度学习模型，进行图像识别。
选用该实施例，由于无需获取用户上传的描述文件，在推理得到组合模型后，即可以向指定设备下发深度学习模型，可以有效简化交互过程，提高图像识别的效率。
参见图3，图3所示为本申请实施例提供的基于开放平台的图像识别原理示意图，可以包括：
S301，用户端设备上传预先经过标定的多个样本图像至开放平台。
根据应用场景的不同，标定的方式可以不同。示例性的，在一种可能的方式中可以是以矩形框的形式在样本图像中标定出样本图像中存在预设类型的目标的区域，并标注该矩形区域所存在的目标的目标类型。例如，在一种可能可能的实施例中，
可以是以矩形框的形式在样本图像中标定出存在车辆、地面标识的图像区域，并且对于每个标定出的存在车辆图像区域，标注该图像区域存在的车辆是公交车还是非公交车，对于每个标定出的存在地面标识的图像区域，标注该图像区域存在的地面标识是减速带、斑马线还是其他类型地面标识。
以标注地面标识的类型为例，可以是预先为各个地面标识设置对应的标签，例如设置标签0表示其他类型地面标识，标签1表示减速带，标签2表示斑马线。则可以当图像区域存在减速带时，将该图像区域的标签设置为标签1，当图像区域存在斑马线时，将该图像区域的标签设置为标签2，当该图像区域存在其他类型的地面标识时，将该图像区域的标签设置为标签0。在其他可能的实施例中，标签的设置方式可以不同，例如可以是以字母，也可以是数字和字母以外其他方式设置的，本实施例对此不做限制。
在其他可能的实施例中，可以是发送多个样本图像序列，由于样本图像序列与样本图像的原理相同，因此在此不再赘述。
S302，开放平台利用多个样本图像数据推理得到包括多个深度学习模型的组合模型。
可以参见前述S201中的相关描述，在此不再赘述。
S303，开放平台对多个深度学习模型，以及多个深度学习模型各自针对的目标类型进行封装，得到多模型封装数据。
关于多模型封装数据，可以参见前述S101中的相关描述，在此不再赘述。
S304，开放平台下发多模型封装数据至指定设备。
该指定设备根据应用场景的不同，可以是用户端设备，也可以是用户端设备以外的其他具有图像识别功能的设备。
S305，指定设备解析多模型封装数据，得到多个深度学习模型以及多个深度学习模型各自针对的目标类型。
解析过程可以参见前述S101的相关描述，在此不再赘述。
S306，指定设备根据多个深度学习模型各自针对的目标类型，确定多个深度学习模型间的关联关系。
该步骤与S102相同，可以参见前述S102的相关描述，在此不再赘述。
S307，指定设备按照关联关系，利用多个深度学习模型对待处理图像或待处理图像序列进行推理，得到识别结果。
该步骤与S103相同，可以参见前述S103的相关描述，在此不再赘述。
参见图4，图4所示为本申请实施例提供的基于开放平台的图像识别装置的一种结构示意图，可以包括：
数据获取模块401，用于获取开放平台的多个深度学习模型，以及多个深度学习模型各自针对的目标类型；
关系推理模块402，用于根据多个深度学习模型各自针对的目标类型，确定多个深度学习模型间的关联关系；
图像识别模块403，用于按照关联关系，利用多个深度学习模型对待处理图像或待处理图像序列进行识别，得到识别结果。
在一种可能的实施例中，数据获取模块401，具体用于获取开放平台的多模型封装数据，多模型封装数据中包括文件信息、多个模型信息以及多个模型数据，文件信息用于表示多模型封装数据所包括的模型信息和模型数据的数量以及每个模型信息和模型数据在多模型封装数据中的位置，并且文件信息存储于多模型封装数据的预设位置，多个模型信息中每个模型信息用于表示多个深度学习模型中的一个深度学习模型对应的目标类型，多个模型数据中的每个模型数据用于表示多个深度学习模型中的一个深度学习模型；
从多模型封装数据中的预设位置读取文件信息；
根据文件信息，从多模型封装数据中读取多个模型信息和多个模型数据，得到开放平台的多个深度学习模型，以及多个深度学习模型各自所针对的目标类型。
在一种可能的实施例中，数据获取模块401，具体用于获取开放平台根据多个样本图像或样本图像序列推理得到的包括多个深度学习模型的组合模型，以及多个深度学习模型各自针对的目标类型，组合模型由多个深度学习模型按照预设关联关系组合形成。
在一种可能的实施例中，多个深度学习模型中包括一个目标检测模型和多个目标分类模型；
图像识别模块403，具体用于利用目标检测模型对待处理图像或待处理图像序列进行目标检测，得到待处理图像或待处理图像序列中存在的至少一个目标；
针对至少一个目标中的每个目标，按照关联关系，调用多个目标分类模型中与该目标的目标类型对应的模型，对该目标进行识别，得到识别结果。
在一种可能的实施例中，图像识别模块403，还用于获取多个目标分类模型中每个目标分类模型的网络类型；
图像识别模块403，具体用于利用预设的多个分类模块加载多个目标分类模型，其中，每个分类模块加载该分类模块对应的网络类型的目标分类模块；
针对至少一个目标中的每个目标，将该目标输入至多个分类模块中的一个分类模块；
根据关联关系，确定所输入的分类模块是否加载有与该目标的目标类型对应的目标分类模型；
如果所输入的分类模块加载有与该目标的目标类型对应的目标分类模型，控制所输入的分类模块，利用与该目标的目标类型对应的目标分类模型对该目标进行识别，得到识别结果；
如果所输入的分类模块没有加载与该目标的目标类型对应的目标分类模型，根据关联关系，将该目标重新输入至加载有与该目标的目标类型对应的目标分类模型的分类模块；
控制重新输入至的分类模块，利用与该目标的目标类型对应的目标分类模型对该目标进行识别，得到识别结果。
参见图5，图5所示为本申请实施例提供的基于开放平台的图像识别装置的另一种结构示意图，可以包括：
模型推理模块501，用于根据用户端的样本图像或样本图像序列，推理得到组合模型，组合模型由多个深度学习模型按照预设关联关系组合形成；
数据发送模块502，用于向用户端发送多个深度学习模型，以及多个深度学习模型各自针对的目标类型。
在一种可能的实施例中，数据发送模块502，具体用于向用户端发送多模型封装数据，多模型封装数据中包括文件信息、多个模型信息以及多个模型数据，文件信息用于表示多模型封装数据所包括的模型信息和模型数据的数量以及每个模型信息和模型数据在多模型封装数据中的位置，并且文件信息存储于多模型封装数据的预设位置，多个模型信息中每个模型信息用于表示多个深度学习模型中的一个深度学习模型对应的目标类型，多个模型数据中的每个模型数据用于表示多个深度学习模型中的一个深度学习模型。
本申请实施例还提供了一种电子设备，如图6所示，包括：
存储器601，用于存放计算机程序；
处理器602，用于执行存储器601上所存放的程序，当该电子设备为用户端时，实现如下步骤：
获取开放平台的多个深度学习模型，以及多个深度学习模型各自针对的目标类型；
根据多个深度学习模型各自针对的目标类型，确定多个深度学习模型间的关联关系；
按照关联关系，利用多个深度学习模型对待处理图像或待处理图像序列进行识别，得到识别结果。
在一种可能的实施例中，获取开放平台的多个深度学习模型，以及多个深度学习模型各自针对的目标类型，包括：
获取开放平台的多模型封装数据，多模型封装数据中包括文件信息、多个模型信息以及多个模型数据，文件信息用于表示多模型封装数据所包括的模型信息和模型数据的数量以及每个模型信息和模型数据在多模型封装数据中的位置，并且文件信息存储于多模型封装数据的预设位置，多个模型信息中每个模型信息用于表示多个深度学习模型中的一个深度学习模型对应的目标类型，多个模型数据中的每个模型数据用于表示多个深度学习模型中的一个深度学习模型；
从多模型封装数据中的预设位置读取文件信息；
根据文件信息，从多模型封装数据中读取多个模型信息和多个模型数据，得到开放平台的多个深度学习模型，以及多个深度学习模型各自所针对的目标类型。
在一种可能的实施例中，获取开放平台的多个深度学习模型，以及多个深度学习模型各自针对的目标类型，包括：
获取开放平台根据多个样本图像或样本图像序列推理得到的包括多个深度学习模型的组合模型，以及多个深度学习模型各自针对的目标类型，组合模型由多个深度学习模型按照预设关联关系组合形成。
在一种可能的实施例中，多个深度学习模型中包括一个目标检测模型和多个目标分类模型；
按照关联关系，利用多个深度学习模型对待处理图像或待处理图像序列进行识别，得到识别结果，包括：
利用目标检测模型对待处理图像或待处理图像序列进行目标检测，得到待处理图像或待处理图像序列中存在的至少一个目标；
针对至少一个目标中的每个目标，按照关联关系，调用多个目标分类模型中与该目标的目标类型对应的模型，对该目标进行识别，得到识别结果。
在一种可能的实施例中，方法还包括：
获取多个目标分类模型中每个目标分类模型的网络类型；
针对至少一个目标中的每个目标，按照关联关系，调用多个目标分类模型中与该目标的目标类型对应的模型，对该目标进行识别，得到识别结果，包括：
利用预设的多个分类模块加载多个目标分类模型，其中，每个分类模块加载该分类模块对应的网络类型的目标分类模块；
针对至少一个目标中的每个目标，将该目标输入至多个分类模块中的一个分类模块；
根据关联关系，确定所输入的分类模块是否加载有与该目标的目标类型对应的目标分类模型；
如果所输入的分类模块加载有与该目标的目标类型对应的目标分类模型，控制所输入的分类模块，利用与该目标的目标类型对应的目标分类模型对该目标进行识别，得到识别结果；
如果所输入的分类模块没有加载与该目标的目标类型对应的目标分类模型，根据关联关系，将该目标重新输入至加载有与该目标的目标类型对应的目标分类模型的分类模块；
控制重新输入至的分类模块，利用与该目标的目标类型对应的目标分类模型对该目标进行识别，得到识别结果。
上述电子设备提到的存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一基于开放平台的图像识别方法。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一基于开放平台的图像识别方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、用户端、开放平台、计算机可读存储介质以及计算机程序产品的实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。
Claims (10)
1.一种基于开放平台的图像识别方法，其特征在于，所述方法包括：
获取开放平台的多个深度学习模型，以及所述多个深度学习模型各自针对的目标类型；
根据所述多个深度学习模型各自针对的目标类型，确定所述多个深度学习模型间的关联关系；
按照所述关联关系，利用所述多个深度学习模型对待处理图像或待处理图像序列进行识别，得到识别结果；
所述多个深度学习模型中包括一个目标检测模型和多个目标分类模型；
所述按照所述关联关系，利用所述多个深度学习模型对待处理图像或待处理图像序列进行识别，得到识别结果，包括：
利用所述目标检测模型对待处理图像或待处理图像序列进行目标检测，得到所述待处理图像或所述待处理图像序列中存在的至少一个目标；
针对所述至少一个目标中的每个目标，按照所述关联关系，调用所述多个目标分类模型中与该目标的目标类型对应的模型，对该目标进行识别，得到识别结果；
所述方法还包括：
获取所述多个目标分类模型中每个目标分类模型的网络类型，所述网络类型为NNIE或DSP；
所述针对所述至少一个目标中的每个目标，按照所述关联关系，调用所述多个目标分类模型中与该目标的目标类型对应的模型，对该目标进行识别，得到识别结果，包括：
利用预设的多个分类模块加载所述多个目标分类模型，其中，每个分类模块加载该分类模块对应的网络类型的目标分类模型；
针对所述至少一个目标中的每个目标，将该目标输入至所述多个分类模块中的一个分类模块；
根据所述关联关系，确定所输入的分类模块是否加载有与该目标的目标类型对应的目标分类模型；
如果所输入的分类模块加载有与该目标的目标类型对应的目标分类模型，控制所输入的分类模块，利用与该目标的目标类型对应的目标分类模型对该目标进行识别，得到识别结果；
如果所输入的分类模块没有加载与该目标的目标类型对应的目标分类模型，根据所述关联关系，将该目标重新输入至加载有与该目标的目标类型对应的目标分类模型的分类模块；
控制重新输入至的分类模块，利用与该目标的目标类型对应的目标分类模型对该目标进行识别，得到识别结果。
2.根据权利要求1所述的方法，其特征在于，所述获取开放平台的多个深度学习模型，以及所述多个深度学习模型各自针对的目标类型，包括：
获取开放平台的多模型封装数据，所述多模型封装数据中包括文件信息、多个模型信息以及多个模型数据，所述文件信息用于表示所述多模型封装数据所包括的模型信息和模型数据的数量以及每个模型信息和模型数据在所述多模型封装数据中的位置，并且所述文件信息存储于所述多模型封装数据的预设位置，所述多个模型信息中每个模型信息用于表示多个深度学习模型中的一个深度学习模型对应的目标类型，所述多个模型数据中的每个模型数据用于表示所述多个深度学习模型中的一个深度学习模型；
从所述多模型封装数据中的所述预设位置读取所述文件信息；
根据所述文件信息，从所述多模型封装数据中读取所述多个模型信息和所述多个模型数据，得到所述开放平台的多个深度学习模型，以及所述多个深度学习模型各自所针对的目标类型。
3.根据权利要求1所述的方法，其特征在于，所述获取开放平台的多个深度学习模型，以及所述多个深度学习模型各自针对的目标类型，包括：
获取所述开放平台根据多个样本图像或样本图像序列推理得到的包括多个深度学习模型的组合模型，以及所述多个深度学习模型各自针对的目标类型，所述组合模型由所述多个深度学习模型按照预设关联关系组合形成。
4.一种基于开放平台的图像识别方法，其特征在于，所述方法包括：
根据用户端的样本图像或样本图像序列，推理得到组合模型，所述组合模型由多个深度学习模型按照预设关联关系组合形成；
向指定设备发送所述多个深度学习模型，以及所述多个深度学习模型各自针对的目标类型，以使得所述指定设备根据所述多个深度学习模型，以及所述多个深度学习模型各自针对的目标类型进行图像识别；
所述向指定设备发送所述多个深度学习模型，以及所述多个深度学习模型各自针对的目标类型，以使得所述指定设备根据所述多个深度学习模型，以及所述多个深度学习模型各自针对的目标类型进行图像识别，包括：
向指定设备发送所述多个深度学习模型，以及所述多个深度学习模型各自针对的目标类型，以使得所述指定设备根据所述多个深度学习模型各自针对的目标类型，确定所述多个深度学习模型间的关联关系；按照所述关联关系，利用所述多个深度学习模型对待处理图像或待处理图像序列进行识别，得到识别结果；
所述多个深度学习模型中包括一个目标检测模型和多个目标分类模型；
所述按照所述关联关系，利用所述多个深度学习模型对待处理图像或待处理图像序列进行识别，得到识别结果，包括：
利用所述目标检测模型对待处理图像或待处理图像序列进行目标检测，得到所述待处理图像或所述待处理图像序列中存在的至少一个目标；针对所述至少一个目标中的每个目标，按照所述关联关系，调用所述多个目标分类模型中与该目标的目标类型对应的模型，对该目标进行识别，得到识别结果；
获取所述多个目标分类模型中每个目标分类模型的网络类型，所述网络类型为NNIE或DSP；
所述针对所述至少一个目标中的每个目标，按照所述关联关系，调用所述多个目标分类模型中与该目标的目标类型对应的模型，对该目标进行识别，得到识别结果，包括：
利用预设的多个分类模块加载所述多个目标分类模型，其中，每个分类模块加载该分类模块对应的网络类型的目标分类模型；针对所述至少一个目标中的每个目标，将该目标输入至所述多个分类模块中的一个分类模块；根据所述关联关系，确定所输入的分类模块是否加载有与该目标的目标类型对应的目标分类模型；如果所输入的分类模块加载有与该目标的目标类型对应的目标分类模型，控制所输入的分类模块，利用与该目标的目标类型对应的目标分类模型对该目标进行识别，得到识别结果；如果所输入的分类模块没有加载与该目标的目标类型对应的目标分类模型，根据所述关联关系，将该目标重新输入至加载有与该目标的目标类型对应的目标分类模型的分类模块；控制重新输入至的分类模块，利用与该目标的目标类型对应的目标分类模型对该目标进行识别，得到识别结果。
5.根据权利要求4所述的方法，其特征在于，所述向指定设备发送所述多个深度学习模型，以及所述多个深度学习模型各自针对的目标类型，包括：
向所述用户端发送多模型封装数据，所述多模型封装数据中包括文件信息、多个模型信息以及多个模型数据，所述文件信息用于表示所述多模型封装数据所包括的模型信息和模型数据的数量以及每个模型信息和模型数据在所述多模型封装数据中的位置，并且所述文件信息存储于所述多模型封装数据的预设位置，所述多个模型信息中每个模型信息用于表示所述多个经过训练的模型中的一个模型对应的目标类型，所述多个模型数据中的每个模型数据用于表示所述多个经过训练的模型中的一个模型。
6.一种基于开放平台的图像识别装置，其特征在于，所述装置包括：
数据获取模块，用于获取开放平台的多个深度学习模型，以及所述多个深度学习模型各自针对的目标类型；
关系推理模块，用于根据所述多个深度学习模型各自针对的目标类型，确定所述多个深度学习模型间的关联关系；
图像识别模块，用于按照所述关联关系，利用所述多个深度学习模型对待处理图像或待处理图像序列进行识别，得到识别结果；
所述多个深度学习模型中包括一个目标检测模型和多个目标分类模型；
所述图像识别模块，具体用于利用所述目标检测模型对待处理图像或待处理图像序列进行目标检测，得到所述待处理图像或所述待处理图像序列中存在的至少一个目标；
针对所述至少一个目标中的每个目标，按照所述关联关系，调用所述多个目标分类模型中与该目标的目标类型对应的模型，对该目标进行识别，得到识别结果；
所述图像识别模块，还用于获取所述多个目标分类模型中每个目标分类模型的网络类型，所述网络类型为NNIE或DSP；
所述图像识别模块，具体用于利用预设的多个分类模块加载所述多个目标分类模型，其中，每个分类模块加载该分类模块对应的网络类型的目标分类模型；
针对所述至少一个目标中的每个目标，将该目标输入至所述多个分类模块中的一个分类模块；
根据所述关联关系，确定所输入的分类模块是否加载有与该目标的目标类型对应的目标分类模型；
如果所输入的分类模块加载有与该目标的目标类型对应的目标分类模型，控制所输入的分类模块，利用与该目标的目标类型对应的目标分类模型对该目标进行识别，得到识别结果；
如果所输入的分类模块没有加载与该目标的目标类型对应的目标分类模型，根据所述关联关系，将该目标重新输入至加载有与该目标的目标类型对应的目标分类模型的分类模块；
控制重新输入至的分类模块，利用与该目标的目标类型对应的目标分类模型对该目标进行识别，得到识别结果。
7.根据权利要求6所述的装置，其特征在于，所述数据获取模块，具体用于获取开放平台的多模型封装数据，所述多模型封装数据中包括文件信息、多个模型信息以及多个模型数据，所述文件信息用于表示所述多模型封装数据所包括的模型信息和模型数据的数量以及每个模型信息和模型数据在所述多模型封装数据中的位置，并且所述文件信息存储于所述多模型封装数据的预设位置，所述多个模型信息中每个模型信息用于表示多个深度学习模型中的一个深度学习模型对应的目标类型，所述多个模型数据中的每个模型数据用于表示所述多个深度学习模型中的一个深度学习模型；
从所述多模型封装数据中的所述预设位置读取所述文件信息；
根据所述文件信息，从所述多模型封装数据中读取所述多个模型信息和所述多个模型数据，得到所述开放平台的多个深度学习模型，以及所述多个深度学习模型各自所针对的目标类型。
8.根据权利要求6所述的装置，其特征在于，所述数据获取模块，具体用于获取所述开放平台根据多个样本图像或样本图像序列推理得到的包括多个深度学习模型的组合模型，以及所述多个深度学习模型各自针对的目标类型，所述组合模型由所述多个深度学习模型按照预设关联关系组合形成。
9.一种基于开放平台的图像识别装置，其特征在于，所述装置包括：
模型推理模块，用于根据用户端的样本图像或样本图像序列，推理得到组合模型，所述组合模型由多个深度学习模型按照预设关联关系组合形成；
数据发送模块，用于向所述用户端发送所述多个深度学习模型，以及所述多个深度学习模型各自针对的目标类型；
所述数据发送模块，具体用于向指定设备发送所述多个深度学习模型，以及所述多个深度学习模型各自针对的目标类型，以使得所述指定设备根据所述多个深度学习模型各自针对的目标类型，确定所述多个深度学习模型间的关联关系；按照所述关联关系，利用所述多个深度学习模型对待处理图像或待处理图像序列进行识别，得到识别结果；
所述多个深度学习模型中包括一个目标检测模型和多个目标分类模型；
所述按照所述关联关系，利用所述多个深度学习模型对待处理图像或待处理图像序列进行识别，得到识别结果，包括：
利用所述目标检测模型对待处理图像或待处理图像序列进行目标检测，得到所述待处理图像或所述待处理图像序列中存在的至少一个目标；针对所述至少一个目标中的每个目标，按照所述关联关系，调用所述多个目标分类模型中与该目标的目标类型对应的模型，对该目标进行识别，得到识别结果；
获取所述多个目标分类模型中每个目标分类模型的网络类型，所述网络类型为NNIE或DSP；
所述针对所述至少一个目标中的每个目标，按照所述关联关系，调用所述多个目标分类模型中与该目标的目标类型对应的模型，对该目标进行识别，得到识别结果，包括：
利用预设的多个分类模块加载所述多个目标分类模型，其中，每个分类模块加载该分类模块对应的网络类型的目标分类模型；针对所述至少一个目标中的每个目标，将该目标输入至所述多个分类模块中的一个分类模块；根据所述关联关系，确定所输入的分类模块是否加载有与该目标的目标类型对应的目标分类模型；如果所输入的分类模块加载有与该目标的目标类型对应的目标分类模型，控制所输入的分类模块，利用与该目标的目标类型对应的目标分类模型对该目标进行识别，得到识别结果；如果所输入的分类模块没有加载与该目标的目标类型对应的目标分类模型，根据所述关联关系，将该目标重新输入至加载有与该目标的目标类型对应的目标分类模型的分类模块；控制重新输入至的分类模块，利用与该目标的目标类型对应的目标分类模型对该目标进行识别，得到识别结果。
10.根据权利要求9所述的装置，其特征在于，所述数据发送模块，具体用于向所述用户端发送多模型封装数据，所述多模型封装数据中包括文件信息、多个模型信息以及多个模型数据，所述文件信息用于表示所述多模型封装数据所包括的模型信息和模型数据的数量以及每个模型信息和模型数据在所述多模型封装数据中的位置，并且所述文件信息存储于所述多模型封装数据的预设位置，所述多个模型信息中每个模型信息用于表示所述多个深度学习模型中的一个深度学习模型对应的目标类型，所述多个模型数据中的每个模型数据用于表示所述多个深度学习模型中的一个深度学习模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911023837.7A CN112712097B (zh) | 2019-10-25 | 2019-10-25 | 一种基于开放平台的图像识别方法、装置及用户端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911023837.7A CN112712097B (zh) | 2019-10-25 | 2019-10-25 | 一种基于开放平台的图像识别方法、装置及用户端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112712097A CN112712097A (zh) | 2021-04-27 |
| CN112712097B true CN112712097B (zh) | 2024-01-05 |
Family
ID=75540734
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911023837.7A Active CN112712097B (zh) | 2019-10-25 | 2019-10-25 | 一种基于开放平台的图像识别方法、装置及用户端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112712097B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108564097A (zh) * | 2017-12-05 | 2018-09-21 | 华南理工大学 | 一种基于深度卷积神经网络的多尺度目标检测方法 |
| CN108776819A (zh) * | 2018-06-05 | 2018-11-09 | Oppo广东移动通信有限公司 | 一种目标识别方法、移动终端及计算机可读存储介质 |
| CN109635918A (zh) * | 2018-10-30 | 2019-04-16 | 银河水滴科技（北京）有限公司 | 基于云平台和预设模型的神经网络自动训练方法和装置 |
| CN109871730A (zh) * | 2017-12-05 | 2019-06-11 | 杭州海康威视数字技术股份有限公司 | 一种目标识别方法、装置及监控设备 |
| WO2019119396A1 (zh) * | 2017-12-22 | 2019-06-27 | 中国科学院深圳先进技术研究院 | 人脸表情识别方法及装置 |
| CN110032540A (zh) * | 2019-04-11 | 2019-07-19 | 北京宙心科技有限公司 | 一种人工智能边缘计算设备 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150170053A1 (en) * | 2013-12-13 | 2015-06-18 | Microsoft Corporation | Personalized machine learning models |
| US11250335B2 (en) * | 2015-10-26 | 2022-02-15 | NetraDyne, Inc. | Joint processing for embedded data inference |
| WO2018013982A1 (en) * | 2016-07-14 | 2018-01-18 | Google Llc | Classifying images using machine learning models |
| US10187252B2 (en) * | 2016-12-27 | 2019-01-22 | Cisco Technology, Inc. | Configuring heterogeneous computing environments using machine learning |
| US11625584B2 (en) * | 2019-06-17 | 2023-04-11 | Intel Corporation | Reconfigurable memory compression techniques for deep neural networks |
| US20220156639A1 (en) * | 2019-08-07 | 2022-05-19 | Hewlett-Packard Development Company, L.P. | Predicting processing workloads |
-
2019
- 2019-10-25 CN CN201911023837.7A patent/CN112712097B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108564097A (zh) * | 2017-12-05 | 2018-09-21 | 华南理工大学 | 一种基于深度卷积神经网络的多尺度目标检测方法 |
| CN109871730A (zh) * | 2017-12-05 | 2019-06-11 | 杭州海康威视数字技术股份有限公司 | 一种目标识别方法、装置及监控设备 |
| WO2019119396A1 (zh) * | 2017-12-22 | 2019-06-27 | 中国科学院深圳先进技术研究院 | 人脸表情识别方法及装置 |
| CN108776819A (zh) * | 2018-06-05 | 2018-11-09 | Oppo广东移动通信有限公司 | 一种目标识别方法、移动终端及计算机可读存储介质 |
| CN109635918A (zh) * | 2018-10-30 | 2019-04-16 | 银河水滴科技（北京）有限公司 | 基于云平台和预设模型的神经网络自动训练方法和装置 |
| CN110032540A (zh) * | 2019-04-11 | 2019-07-19 | 北京宙心科技有限公司 | 一种人工智能边缘计算设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112712097A (zh) | 2021-04-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113642633B (zh) | 用于对驾驶场景数据进行分类的方法、装置、设备和介质 | |
| Pizzati et al. | Lane detection and classification using cascaded CNNs | |
| CN106707293B (zh) | 用于车辆的障碍物识别方法和装置 | |
| CN109087510B (zh) | 交通监测方法及装置 | |
| CN109754594B (zh) | 一种路况信息获取方法及其设备、存储介质、终端 | |
| CN109829395B (zh) | 基于无人车的数据处理方法、装置、设备以及存储介质 | |
| Balakrishnan et al. | PerceMon: online monitoring for perception systems | |
| CN110598764A (zh) | 目标检测模型的训练方法、装置及电子设备 | |
| CN113907663A (zh) | 障碍物地图构建方法、清洁机器人及存储介质 | |
| Snegireva et al. | Traffic sign recognition application using yolov5 architecture | |
| Nieto et al. | On creating vision‐based advanced driver assistance systems | |
| CN111539268A (zh) | 车辆行驶中的路况预警方法、装置和电子设备 | |
| US20240013592A1 (en) | Critical scenario identification for verification and validation of vehicles | |
| CN112712097B (zh) | 一种基于开放平台的图像识别方法、装置及用户端 | |
| CN115830399A (zh) | 分类模型训练方法、装置、设备、存储介质和程序产品 | |
| CN114730492A (zh) | 断言交通工具检测模型生成和实现 | |
| CN111143423B (zh) | 动态场景标注数据挖掘方法、装置以及终端 | |
| CN112698578B (zh) | 一种自动驾驶模型的训练方法及相关设备 | |
| CN112614156A (zh) | 一种多目标跟踪网络模型的训练方法、装置及相关设备 | |
| Ponn et al. | Performance Analysis of Camera-based Object Detection for Automated Vehicles. | |
| CN113111872A (zh) | 图像识别模型的训练方法、装置及电子设备、存储介质 | |
| CN111143424A (zh) | 特征场景数据挖掘方法、装置和终端 | |
| CN112612284B (zh) | 一种数据存储方法及装置 | |
| CN116381698B (zh) | 道路遗撒物的检测方法、装置及电子设备 | |
| CN116939159B (zh) | 一种农田灾害预警方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |