CN109002562B - 一种仪器识别模型训练方法和装置及仪器识别方法和装置 - Google Patents

一种仪器识别模型训练方法和装置及仪器识别方法和装置 Download PDF

Info

Publication number
CN109002562B
CN109002562B CN201811001676.7A CN201811001676A CN109002562B CN 109002562 B CN109002562 B CN 109002562B CN 201811001676 A CN201811001676 A CN 201811001676A CN 109002562 B CN109002562 B CN 109002562B
Authority
CN
China
Prior art keywords
instrument
feature
sample image
feature vector
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811001676.7A
Other languages
English (en)
Other versions
CN109002562A (zh
Inventor
周垒生
李亚辉
聂梓晨
佟华
冯乐斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xin Li Fang Technologies Inc
Original Assignee
Beijing Xin Li Fang Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xin Li Fang Technologies Inc filed Critical Beijing Xin Li Fang Technologies Inc
Priority to CN201811001676.7A priority Critical patent/CN109002562B/zh
Publication of CN109002562A publication Critical patent/CN109002562A/zh
Application granted granted Critical
Publication of CN109002562B publication Critical patent/CN109002562B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供的仪器识别模型训练方法和装置及仪器识别方法和装置,其中,仪器识别模型训练方法包括:获取多张带有类别标签和名称标签的仪器样本图像;基于多张仪器样本图像和类别标签,对深度卷积神经网络模型进行训练,得到训练好的深度卷积神经网络模型;基于训练好的深度卷积神经网络模型,获取仪器样本图像的特征向量;针对每个类别标签,构成与该类别标签对应的特征数据库;将训练好的深度卷积神经网络模型和各个类别标签分别对应的特征数据库作为仪器识别模型。在仪器识别过程中,能够通过结合分类和检索,避免由于划分类别多导致的识别精度不高或通过直接遍历特征数据库进行检索导致的识别效率低的问题,提高了识别精度和识别效率。

Description

一种仪器识别模型训练方法和装置及仪器识别方法和装置
技术领域
本申请涉及图像识别技术领域,具体而言,涉及一种仪器识别模型训练方法和装置及仪器识别方法和装置。
背景技术
目前,对仪器图像进行分类时,原始的分类标准是按照仪器功能划分的,即相同功能的仪器被归为一类,这种分类方法与计算机视觉的分类是相冲突的,因为功能相同的仪器在视觉因素(形状、颜色、外观等)上可能没有丝毫相似性,所以原始的分类标准不能在图像识别算法中使用;
如果抛弃原始的分类标准,将每台仪器作为一类来建立分类模型,会导致类别数目太多、且每类图像数量太少,从而使得分类模型提取特征不充分,分类效果极差的问题;而如果直接遍历特征数据库中的所有图像特征数量,对待识别图像进行检索,又会因为特征数据库中图像特征数量太多而导致检索时间过长、效率低的问题。
发明内容
有鉴于此,本申请实施例的目的在于提供一种仪器识别模型训练方法和装置及仪器识别方法和装置,能够提高对仪器的识别精度和识别效率。
第一方面,本申请实施例提供了一种仪器识别模型训练方法,包括:
获取多张带有类别标签和名称标签的仪器样本图像;所述类别标签是对多种仪器按照视觉相似性属性划分成多个类别后,根据划分成的多个类别为每种仪器的仪器样本图像所添加的标签;
基于多张所述仪器样本图像,以及与每张所述仪器样本图像对应的类别标签,对深度卷积神经网络模型进行多轮训练,得到训练好的深度卷积神经网络模型;
基于训练好的所述深度卷积神经网络模型,获取所述仪器样本图像的特征向量;
针对每个类别标签,基于具有该类别标签的仪器样本图像的特征向量,构成与该类别标签对应的特征数据库;每个特征向量均对应有名称标签;
将训练好的所述深度卷积神经网络模型和各个所述类别标签分别对应的所述特征数据库作为仪器识别模型。
结合第一方面,本申请实施例提供了第一方面的第一种可能的实施方式,其中,所述深度卷积神经网络模型包括特征提取网络和分类器;
基于多张所述仪器样本图像,以及与每张所述仪器样本图像对应的类别标签,对深度卷积神经网络模型进行多轮训练,具体包括:
针对每张仪器样本图像,将所述仪器样本图像输入所述特征提取网络,获取所述仪器样本图像的中间特征向量;
将所述中间特征向量输入至分类器,获得所述仪器样本图像的分类结果;
根据所述仪器样本图像的分类结果以及所述仪器样本图像的类别标签,对所述特征提取网络以及所述分类器进行本轮训练;
使用多张所述仪器样本图像,对所述特征提取网络以及所述分类器进行多轮训练。
结合第一方面的第一种可能的实施方式,本申请实施例提供了第一方面的第二种可能的实施方式,其中,所述基于所述训练好的深度卷积神经网络模型,获取所述仪器样本图像的特征向量,具体包括:
将所述仪器样本图像输入至所述训练好的深度卷积神经网络模型中的特征提取网络,获取所述仪器样本图像的特征向量。
结合第一方面的第二种可能的实施方式,本申请实施例提供了第一方面的第三种可能的实施方式,其中,所述将所述仪器样本图像输入至所述训练好的深度卷积神经网络模型中的特征提取网络,获取所述仪器样本图像的特征向量,具体包括:
将所述仪器样本图像输入至所述训练好的深度卷积神经网络模型中的特征提取网络中;
从所述特征提取网络中的最后一个卷积层中获取多个特征矩阵;
对每个所述特征矩阵进行池化处理,得到每个所述特征矩阵的一个特征值;
使用所有所述特征值构成所述仪器样本图像的特征向量。
第二方面,本申请实施例提供了一种仪器识别方法,包括:
获取待识别仪器的目标图像;
将所述目标图像输入如第一方面和第一方面的第一种可能的实施方式至第三种可能的实施方式的任意一项所述的仪器识别模型训练方法所得到的仪器识别模型中,获取所述待识别仪器的识别结果。
结合第二方面,本申请实施例提供了第二方面的第一种可能的实施方式,其中,所述仪器识别模型包括深度卷积神经网络模型和各个类别标签分别对应的所述特征数据库;
所述获取所述待识别仪器的识别结果,具体包括:
使用所述深度卷积神经网络模型获取所述目标图像的目标特征向量和分类结果;
根据所述分类结果,以及各个类别标签分别对应的所述特征数据库,确定与所述目标图像对应的特征数据库;
基于所述目标图像的目标特征向量,从确定的与所述目标图像对应的特征数据库中,确定与所述目标特征向量对应的特征向量;
基于确定的与所述目标特征向量对应的特征向量的名称标签,确定所述目标图像的名称,作为所述待识别仪器的识别结果。
结合第二方面的第一种可能的实施方式,本申请实施例提供了第二方面的第二种可能的实施方式,其中,所述基于所述目标图像的目标特征向量,从确定的与所述目标图像对应的特征数据库中,确定与所述目标特征向量对应的特征向量,具体包括:
获取所述目标图像对应的特征数据库中的各个特征向量与所述目标特征向量的余弦距离;
将余弦距离最小的特征向量,确定为所述目标特征向量对应的特征向量。
结合第二方面的第二种可能的实施方式,本申请实施例提供了第二方面的第三种可能的实施方式,其中,所述获取所述目标图像对应的特征数据库中的各个特征向量与所述目标特征向量的余弦距离之后,还包括:
将所述余弦距离按照从小到大的顺序排序;
将小于预设余弦距离阈值,且除了最小的所述余弦距离以外的其他余弦距离对应的特征向量的名称标签,确定为所述待识别仪器的相似仪器的名称,或
将除了最小的所述余弦距离以外的前预设数量个余弦距离对应的特征向量的名称标签,确定为所述待识别仪器的相似仪器的名称。
第三方面,本申请实施例提供了一种仪器识别模型训练装置,包括:
样本图像获取模块,用于获取多张带有类别标签和名称标签的仪器样本图像;
深度卷积神经网络模型训练模块,用于基于多张所述仪器样本图像,以及与每张所述仪器样本图像对应的类别标签,对深度卷积神经网络模型进行多轮训练,得到训练好的深度卷积神经网络模型;
特征向量获取模块,用于基于训练好的所述深度卷积神经网络模型,获取所述仪器样本图像的特征向量;
特征数据库构成模块,用于针对每个类别标签,基于具有该类别标签的仪器样本图像的特征向量,构成与该类别标签对应的特征数据库;每个特征向量均对应有名称标签;
仪器识别模型获取模块,用于将训练好的所述深度卷积神经网络模型和各个所述类别标签分别对应的所述特征数据库作为仪器识别模型。
第四方面,本申请实施例提供了一种仪器识别装置,包括:
目标图像获取模块,用于获取待识别仪器的目标图像;
识别结果获取模块,用于将所述目标图像输入如第一方面和第一方面的第一种可能的实施方式至第三种可能的实施方式的任意一项所述的仪器识别模型训练方法所得到的仪器识别模型中,获取所述待识别仪器的名称。
本申请实施例提供的仪器识别模型训练方法和装置及仪器识别方法和装置,在仪器识别模型训练的时候,通过获取多张带有类别标签和名称标签的仪器样本图像;基于多张所述仪器样本图像,以及与每张所述仪器样本图像对应的类别标签,对深度卷积神经网络模型进行多轮训练,得到训练好的深度卷积神经网络模型;基于训练好的所述深度卷积神经网络模型,获取所述仪器样本图像的特征向量;针对每个类别标签,基于具有该类别标签的仪器样本图像的特征向量,构成与该类别标签对应的特征数据库;每个特征向量均对应有名称标签;将训练好的所述深度卷积神经网络模型和各个所述类别标签分别对应的所述特征数据库作为仪器识别模型。在该仪器识别模型训练的过程中,首先将多种仪器按照视觉相似性属性划分为多个类别,对神经网络模型进行训练,符合了图像识别算法根据图像视觉相似性进行分类识别的原理,能够得到较好的分类效果;将神经网络模型和特征数据库相结合作为仪器识别模型,使得在仪器识别过程中,能够首先通过神经网络模型得到待识别仪器的目标特征向量和一个比较粗的分类结果,然后根据分类结果从所有特征数据库中得到与分类结果相对应的特征数据库中的特征向量,通过计算目标特征向量和各个特征向量的距离,得到最终的识别结果,这种粗分类和精检索相结合的识别方法,避免由于将每台仪器作为一类导致划分类别太多,从而导致的识别精度不高或通过直接遍历所有特征数据库进行检索导致的识别效率低的问题,从而提高识别精度和识别效率。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例所提供的一种仪器识别模型训练方法的流程图;
图2示出了本申请实施例所提供的仪器识别模型训练方法中,获取多张带有类别标签和名称标签的仪器样本图像的流程图;
图3示出了本申请实施例所提供的仪器识别模型训练方法中,对深度卷积神经网络模型进行多轮训练的流程图;
图4示出了本申请实施例所提供的仪器识别模型训练方法中,比对操作的流程图;
图5示出了本申请实施例所提供的一种仪器识别方法的流程图;
图6示出了本申请实施例所提供的仪器识别方法中,获取待识别仪器的识别结果的流程图;
图7示出了本申请实施例所提供的一种仪器识别模型训练装置的结构示意图;
图8示出了本申请实施例所提供的一种仪器识别装置的结构示意图;
图9示出了本申请实施例所提供的一种计算机设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
与现有技术不同,本申请实施例提供的一种仪器识别模型训练方法和装置及仪器识别方法和装置,在仪器识别模型训练的过程中,首先将多种仪器按照视觉相似性属性划分为多个类别,对神经网络模型进行训练,符合了图像识别算法根据图像视觉相似性进行分类识别的原理,能够得到较好的分类效果;将神经网络模型和特征数据库相结合作为仪器识别模型,使得在仪器识别过程中,能够首先通过神经网络模型得到待识别仪器的目标特征向量和一个比较粗的分类结果,然后根据分类结果从所有特征数据库中得到与分类结果相对应的特征数据库中的特征向量,通过计算目标特征向量和各个特征向量的距离,得到最终的识别结果,这种粗分类和精检索相结合的识别方法,避免由于将每台仪器作为一类导致划分类别太多,从而导致的识别精度不高或通过直接遍历所有特征数据库进行检索导致的识别效率低的问题,从而提高识别精度和识别效率。
为便于对本实施例进行理解,首先对本申请实施例所公开的一种仪器识别模型训练方法进行详细介绍。在本申请中,所得到的仪器识别模型包括两部分:深度卷积神经网络模型以及各个类别标签分别对应的特征数据库。深度卷积神经网络模型用于得到待识别仪器图像的分类结果,各个类别标签分别对应的特征数据库用于根据待识别仪器图像的分类结果,得到待识别仪器图像归属哪种仪器的识别结果。
参见图1所示,本申请实施例所提供的仪器识别模型训练方法包括:
S101:获取多张带有类别标签和名称标签的仪器样本图像。
此处,类别标签是对多种仪器按照视觉相似性属性划分成多个类别后,根据划分成的多个类别为每种仪器的仪器样本图像所添加的标签;添加类别标签是为了根据添加的类别标签,使用深度卷积神经网络模型对仪器样本图像进行粗分类。
目前对仪器图像进行分类时,原始的分类标准是按照仪器功能划分的,即相同功能的仪器被归为一类,这种分类方法与计算机视觉的分类是相冲突的,因为功能相同的仪器在视觉因素(形状、颜色、外观等)上可能没有丝毫相似性,所以原始的按照仪器功能对仪器进行分类的标准,使得当前对仪器的识别不能采用深度学习算法。本申请将多种仪器按照视觉相似性属性划分为多个类别,对神经网络模型进行训练,符合了图像识别算法根据图像视觉相似性进行分类识别的原理,能够得到较好的分类效果。
名称标签是每个仪器样本图像对应的仪器的名称。添加名称标签是为了在后续仪器识别的时候,从特征数据库中得到与待识别仪器相对于的特征向量后,将该特征向量的名称标签作为待识别仪器的识别结果。
此处,在划分的时候,针对同一功能的多种仪器,按照视觉因素相似性划分为多个类别。
例如,具有功能1的仪器有仪器1、仪器2、仪器3和仪器4,具有功能2的仪器有仪器5、仪器6、仪器7和仪器8。如果仪器1和仪器2在视觉因素,也即外形上的相似性较高,则将仪器1和仪器2划分为第一类,如果仪器3和仪器4在视觉因素的相似性较高,则将仪器3和仪器4划分为第二类;如果仪器5、仪器6和仪器7在视觉因素上的相似性较高,则将仪器5、仪器6和仪器7为第三类,将仪器8划分为第四类。
这种划分方法,既不令每台仪器作为一类,也不完全按照原始的分类标准进行划分,而是在原始类别的基础上,尽可能的将同一功能的仪器按照视觉因素的相似性拆分为数类,使得每类中包含多台仪器。这样划分,既不至于使得划分的类别过多(每台仪器作为一类),也大幅减少了每个原始类别中的仪器个数(原先的一类被拆为几十甚至几百类),且使得每一类中的仪器在视觉因素上较为接近。采用这种划分方法得到的仪器样本图像训练得到的深度卷积网络模型,在使用的时候,会得到较好的仪器分类结果。
在具体实现的时候,参见图2所示,本申请实施例通过下述步骤获取多张带有类别标签和名称标签的仪器样本图像:
S201:获取多种仪器在不同角度的多张图像。
S202:根据仪器的名称,为每张图像添加名称标签;以及根据仪器所属的类别,为每张图像添加类别标签。
例如,分别有仪器1、仪器2、仪器3以及仪器4的多张图像,其中,仪器1、仪器2属于第一类,仪器3、仪器4属于第二类,则仪器1的多张图像的名称标签为仪器1,类别标签为1,仪器2的多张图像的名称标签为仪器2,类别标签为1,仪器3的多张图像的名称标签为仪器3,类别标签为2,仪器4的多张图像的名称标签为仪器4,类别标签为2。
S203:将添加了类别标签和名称标签的图像作为仪器样本图像。
将添加了类别标签和名称标签的图像作为仪器样本图像,能够根据添加的类别标签,使用深度卷积神经网络模型对仪器样本图像进行粗分类;然后从特征数据库中得到与待识别仪器相对于的特征向量后,将该特征向量的名称标签作为待识别仪器的识别结果。
在获取了样本图像后,本申请实施例提供的仪器识别模型训练方法还包括下述S102:
S102:基于多张仪器样本图像,以及与每张仪器样本图像对应的类别标签,对深度卷积神经网络模型进行多轮训练,得到训练好的深度卷积神经网络模型。
在具体实现的时候,深度卷积神经网络模型包括特征提取网络和分类器。特征提取网络用于为仪器样本图像提取特征向量,分类器用于基于特征向量,对仪器样本图像进行分类。
例如,深度卷积神经网络模型可以选用经典的ResNet-50模型,ResNet-50模型是一种深度卷积神经网络模型,具有强大的特征泛化能力和特征提取能力,能够得到仪器图像准确的特征向量和较好分类结果。
在具体实现的时候,参见图3所示,本申请实施例通过下述步骤对深度卷积神经网络模型进行多轮训练:
S301:针对每张仪器样本图像,将仪器样本图像输入特征提取网络,获取仪器样本图像的中间特征向量。
S302:将中间特征向量输入至分类器,获得仪器样本图像的分类结果。
S303:根据仪器样本图像的分类结果以及仪器样本图像的类别标签,对特征提取网络以及分类器进行本轮训练。
具体地,参见图4所示,可以通过执行如下比对操作步骤,直至仪器样本图像的分类结果与仪器样本图像的类别标签一致,结束对特征提取网络以及分类器的本轮训练:
S401:将仪器样本图像的分类结果与仪器样本图像的类别标签进行比对。
S402:针对仪器样本图像的分类结果与仪器样本图像的类别标签不一致的情况,调整特征提取网络以及分类器的参数。
S403:使用调整参数后的特征提取网络重新提取仪器样本图像的新的中间特征向量,并将新的中间特征向量输入至调整参数后的分类器,获得仪器样本图像的新的分类结果;并再次执行比对操作。
结束了对特征提取网络以及分类器的本轮训练后,需要对特征提取网络以及分类器进行多轮训练,直到训练结果满足预设的训练误差标准。
S304:使用多张仪器样本图像,对特征提取网络以及分类器进行多轮训练。
对深度卷积神经网络模型进行多轮训练后,就得到了训练好的深度卷积神经网络模型。
本申请实施例提供的仪器识别模型训练方法还包括下述S103、S104和S105。
S103:基于训练好的深度卷积神经网络模型,获取仪器样本图像的特征向量。
在其中一种实施方式中,可以从训练好的深度卷积神经网络模型中的全连接层获取仪器样本图像的特征向量,但深度卷积神经网络模型在训练的时候,全连接层会产生大量参数,因此会导致模型的训练速度慢。
因此,在本申请另一种实施方式中,为了减小深度卷积神经网络模型训练时的参数的个数,去掉了模型中的全连接层。
具体实现的时候,将仪器样本图像输入至训练好的深度卷积神经网络模型中的特征提取网络中,从特征提取网络中的最后一个卷积层中获取多个特征矩阵,对每个特征矩阵进行池化处理,得到每个特征矩阵的一个特征值,使用所有特征值构成仪器样本图像的特征向量。
例如,提取特征提取网络中最后一个卷积层输出的1024个7*7维的特征矩阵,对每个7*7维的特征矩阵进行池化(max pooling)处理,得到每个特征矩阵的一个特征值,使用所有特征值构成仪器样本图像的特征向量,即得到1024*1维特征向量。
可选地,池化处理方法可以采用最大池化方法,也可以采用平均池化方法或其他池化方法。当采用最大池化方法时,取每个7*7维的特征矩阵中的最大值作为每个特征矩阵的一个特征值,当采用平均池化方法时,取每个7*7维的特征矩阵中的所有值的平均值作为每个特征矩阵的一个特征值。
S104:针对每个类别标签,基于具有该类别标签的仪器样本图像的特征向量,构成与该类别标签对应的特征数据库;每个特征向量均对应有名称标签。
例如,仪器1、仪器2属于第一类,类别标签为1,仪器3、仪器4属于第二类,类别标签为2。针对类别标签1,将仪器1的样本图像的特征向量和仪器2的样本图像的特征向量构成与类别标签为1对应的特征数据库1,仪器1的样本图像的特征向量对应名称标签:仪器1,仪器2的样本图像的特征向量对应名称标签:仪器2;针对类别标签2,将仪器3的样本图像的特征向量和仪器4的样本图像的特征向量构成与类别标签为2对应的特征数据库2,仪器3的样本图像的特征向量对应名称标签:仪器3,仪器4的样本图像的特征向量对应名称标签:仪器4。
例如:特征数据库1的包括:(1,仪器1,仪器1的样本图像的特征向量),(1,仪器2,仪器2的样本图像的特征向量);特征数据库2包括:(2,仪器3,仪器3的样本图像的特征向量),(2,仪器4,仪器4的样本图像的特征向量)。
具体实现的时候,可选地,可以使用Excel表格来储存特征数据库,但这种储存方式,在后续提取特征数据库的时候计算速度太慢。因此,当采用计算机程序设计语言Python编写本申请提供的仪器识别模型训练方法和装置及仪器识别方法和装置的计算机程序时,可以使用Python数据库中的字典容器,将特征数据库以字典的形式储存起来,这种储存方式,在后续提取特征数据库的时候计算速度较快,而且还可以将特征数据库以PKL文件的形式存储在本地,方便从本地读取特征数据库。
S105:将训练好的深度卷积神经网络模型和各个类别标签分别对应的特征数据库作为仪器识别模型。
此处,仪器识别模型包括两部分:深度卷积神经网络模型以及各个类别标签分别对应的特征数据库。深度卷积神经网络模型用于得到待识别仪器图像的分类结果,各个类别标签分别对应的特征数据库用于根据待识别仪器图像的分类结果,得到待识别仪器图像最后的识别结果。
本申请实施例提供的仪器识别模型训练方法,在仪器识别模型训练的时候,通过获取多张带有类别标签和名称标签的仪器样本图像;基于多张仪器样本图像,以及与每张仪器样本图像对应的类别标签,对深度卷积神经网络模型进行多轮训练,得到训练好的深度卷积神经网络模型;基于训练好的深度卷积神经网络模型,获取仪器样本图像的特征向量;针对每个类别标签,基于具有该类别标签的仪器样本图像的特征向量,构成与该类别标签对应的特征数据库;每个特征向量均对应有名称标签;将训练好的深度卷积神经网络模型和各个类别标签分别对应的特征数据库作为仪器识别模型。在该仪器识别模型训练的过程中,首先将多种仪器按照视觉相似性属性划分为多个类别,对神经网络模型进行训练,符合了图像识别算法根据图像视觉相似性进行分类识别的原理,能够得到较好的分类效果;将神经网络模型和特征数据库相结合作为仪器识别模型,使得在仪器识别过程中,能够首先通过神经网络模型得到待识别仪器的目标特征向量和一个比较粗的分类结果,然后根据分类结果从所有特征数据库中得到与分类结果相对应的特征数据库中的特征向量,通过计算目标特征向量和各个特征向量的距离,得到最终的识别结果,这种粗分类和精检索相结合的识别方法,避免由于将每台仪器作为一类导致划分类别太多,从而导致的识别精度不高或通过直接遍历所有特征数据库进行检索导致的识别效率低的问题,从而提高识别精度和识别效率。
参见图5所示,本申请实施例还提供一种仪器识别方法包括:
S501:获取待识别仪器的目标图像。
此处,在一个仪器识别软件平台上,用户将待识别仪器的实拍图片上传到该软件平台后,实拍图片可能由于拍摄角度或距离的原因,导致实拍图片没办法直接用于识别,因此,该软件平台需要对待识别仪器的实拍图片进行预处理,得到可以通过本申请提供的仪器识别模型进行识别的待识别仪器的目标图像。
此处,对待识别仪器的实拍图片进行预处理的过程至少包括对实拍图片进行目标检测和区域分割,将图片中的仪器图像部分检测并分割出来,得到待识别仪器的目标图像,这样有助于将无用的背景图像信息去除掉,减小背景图像对仪器图像的干扰,同时减小了识别过程的计算量。
S502:将目标图像输入至通过本申请实施例提供的仪器识别模型训练方法所得到的仪器识别模型中,获取待识别仪器的识别结果。
此处,仪器识别模型包括深度卷积神经网络模型和各个类别标签分别对应的特征数据库,深度卷积神经网络模型包括特征提取网络和分类器。深度卷积神经网络模型的特征提取网络用于提取目标图像的目标特征向量,分类器用于根据目标特征向量对待识别仪器进行分类,得到分类结果;各个类别标签分别对应的特征数据库用于根据分类结果从所有特征数据库中得到与分类结果相对应的特征数据库中的特征向量,通过计算目标特征向量和各个特征向量的距离,得到最终的识别结果。
具体实现的时候,参见图6所示,通过下述步骤获取待识别仪器的识别结果:
S601:使用深度卷积神经网络模型获取目标图像的目标特征向量和分类结果。
具体实现的时候,采用和步骤S103中获取仪器样本图像的特征向量的方法一样的方法获取目标图像的目标特征向量。
具体地,将目标图像输入至深度卷积神经网络模型中的特征提取网络中,从特征提取网络中的最后一个卷积层中获取多个特征矩阵,对每个特征矩阵进行池化处理,得到每个特征矩阵的特征值,使用所有特征值构成仪器样本图像的特征向量。
可选地,池化处理可以采用最大池化方法,也可以采用平均池化方法或其他池化方法。当采用最大池化方法时,取每个特征矩阵中的最大值作为每个特征矩阵的一个特征值,当采用平均池化方法时,取每个特征矩阵中的所有值的平均值作为每个特征矩阵的一个特征值。
具体实现的时候,从深度卷积神经网络模型中的特征提取网络中得到仪器样本图像的特征向量后,将仪器样本图像的特征向量输入至分类器,获取目标图像的分类结果。
S602:根据分类结果,以及各个类别标签分别对应的特征数据库,确定与目标图像对应的特征数据库。
例如,假如分类结果为1,则与目标图像对应的特征数据库为:具有类别标签1的特征数据库,如步骤S104中的特征数据库1:(1,仪器1,仪器1的样本图像的特征向量)和(1,仪器2,仪器2的样本图像的特征向量);假如分类结果为2,则与目标图像对应的特征数据库为:具有类别标签2的特征数据库,如步骤S104中的特征数据库2:(2,仪器3,仪器3的样本图像的特征向量)和(2,仪器4,仪器4的样本图像的特征向量)。
S603:基于目标图像的目标特征向量,从确定的与目标图像对应的特征数据库中,确定与目标特征向量对应的特征向量。
具体实现的时候,通过获取目标图像对应的特征数据库中的各个特征向量与目标特征向量的余弦距离;将余弦距离最小的特征向量,确定为目标特征向量对应的特征向量。
例如,假如与目标图像对应的特征数据库为特征数据库1:(1,仪器1,仪器1的样本图像的特征向量)和(1,仪器2,仪器2的样本图像的特征向量),分别计算目标特征向量与仪器1的样本图像的特征向量和仪器2的样本图像的特征向量之间的余弦距离,将余弦距离最小的特征向量,确定为目标特征向量对应的特征向量,假如目标特征向量与仪器1的样本图像的特征向量的余弦距离最小,则与目标特征向量对应的特征向量就为仪器1的样本图像的特征向量。
此处,确定与目标特征向量对应的特征向量的过程,即为检索过程,在检索过程中,本申请采用余弦距离来表示两个特征向量的相似度,而非常用的欧氏距离。欧氏距离衡量的是空间各点的绝对距离,跟各个点所在的位置坐标直接相关,欧氏距离能够体现个体数值特征的绝对差异,所以更多的用于需要从维度的数值大小中体现差异的分析;而余弦距离衡量的是空间向量的夹角,更加体现在方向上的差异,而不是位置,对绝对的数值不敏感。本申请通过实验发现,用来衡量仪器图像的相似度,余弦距离效果更佳。
S604:基于确定的与目标特征向量对应的特征向量的名称标签,确定目标图像的名称,作为待识别仪器的识别结果。
例如,假如与目标特征向量对应的特征向量为仪器1的样本图像的特征向量,仪器1的样本图像的特征向量的名称标签为仪器1,则将仪器1确定为目标图像的名称,待识别仪器的识别结果,即为仪器1。
可选地,在一个仪器识别软件平台上,为了使用户体验感更好,当用户通过该仪器识别平台得到待识别仪器的识别结果后,还需要给用户推荐待识别仪器的相似仪器。因此,在本申请的另一实施例中,提供了获取待识别仪器的相似仪器的方法。
具体实现的时候,通过步骤S603获取目标图像对应的特征数据库中的各个特征向量与目标特征向量的余弦距离之后,将余弦距离按照从小到大的顺序排序;
可选地,通过下述两种方式获得与待识别仪器相似的仪器:
其一:将小于预设余弦距离阈值,且除了最小的余弦距离以外的其他余弦距离对应的特征向量的名称标签,确定为待识别仪器的相似仪器的名称。
具体实现的时候,首先设置一个预设余弦距离阈值,例如预设余弦距离阈值设置为15%,则将余弦距离小于预设余弦距离阈值15%,且除了最小的余弦距离以外的其他余弦距离对应的特征向量的名称标签,确定为待识别仪器的相似仪器的名称。
其二:将除了最小的余弦距离以外的前预设数量个余弦距离对应的特征向量的名称标签,确定为待识别仪器的相似仪器的名称。
具体实现的时候,首先设置一个预设数量,例如预设数量设置为3,则将除了最小的余弦距离以外的前3个余弦距离对应的特征向量的名称标签,确定为待识别仪器的相似仪器的名称。
本申请实施例提供的仪器识别方法,在仪器识别模型训练的时候,通过获取多张带有类别标签和名称标签的仪器样本图像;基于多张仪器样本图像,以及与每张仪器样本图像对应的类别标签,对深度卷积神经网络模型进行多轮训练,得到训练好的深度卷积神经网络模型;基于训练好的深度卷积神经网络模型,获取仪器样本图像的特征向量;针对每个类别标签,基于具有该类别标签的仪器样本图像的特征向量,构成与该类别标签对应的特征数据库;每个特征向量均对应有名称标签;将训练好的深度卷积神经网络模型和各个类别标签分别对应的特征数据库作为仪器识别模型。在该仪器识别模型训练的过程中,首先将多种仪器按照视觉相似性属性划分为多个类别,对神经网络模型进行训练,符合了图像识别算法根据图像视觉相似性进行分类识别的原理,能够得到较好的分类效果;将神经网络模型和特征数据库相结合作为仪器识别模型,使得在仪器识别过程中,能够首先通过神经网络模型得到待识别仪器的目标特征向量和一个比较粗的分类结果,然后根据分类结果从所有特征数据库中得到与分类结果相对应的特征数据库中的特征向量,通过计算目标特征向量和各个特征向量的距离,得到最终的识别结果,这种粗分类和精检索相结合的识别方法,避免由于将每台仪器作为一类导致划分类别太多,从而导致的识别精度不高或通过直接遍历所有特征数据库进行检索导致的识别效率低的问题,从而提高识别精度和识别效率。
基于同一发明构思,本申请实施例中还提供了与仪器识别模型训练方法对应的仪器识别模型训练装置,由于本申请实施例中的装置解决问题的原理与本申请实施例上述仪器识别模型训练方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
参见图7所示,本申请实施例所提供的仪器识别模型训练装置,包括:
样本图像获取模块71,用于获取多张带有类别标签和名称标签的仪器样本图像;所述类别标签是对多种仪器按照视觉相似性属性划分成多个类别后,根据划分成的多个类别为每种仪器的仪器样本图像所添加的标签;
深度卷积神经网络模型训练模块72,用于基于多张仪器样本图像,以及与每张仪器样本图像对应的类别标签,对深度卷积神经网络模型进行多轮训练,得到训练好的深度卷积神经网络模型;
特征向量获取模块73,用于基于训练好的深度卷积神经网络模型,获取仪器样本图像的特征向量;
特征数据库构成模块74,用于针对每个类别标签,基于具有该类别标签的仪器样本图像的特征向量,构成与该类别标签对应的特征数据库;每个特征向量均对应有名称标签;
仪器识别模型获取模块75,用于将训练好的深度卷积神经网络模型和各个类别标签分别对应的特征数据库作为仪器识别模型。
可选地,样本图像获取模块71,具体用于:获取多种仪器在不同角度的多张图像;
根据仪器的名称,为每张图像添加名称标签;以及根据仪器所属的类别,为每张图像添加类别标签;
将添加了类别标签和名称标签的图像作为仪器样本图像。
可选地,深度卷积神经网络模型训练模块72,采用下述步骤对深度卷积神经网络模型进行多轮训练:
深度卷积神经网络模型包括特征提取网络和分类器;
针对每张仪器样本图像,将仪器样本图像输入特征提取网络,获取仪器样本图像的中间特征向量;
将中间特征向量输入至分类器,获得仪器样本图像的分类结果;
根据仪器样本图像的分类结果以及仪器样本图像的类别标签,对特征提取网络以及分类器进行本轮训练;
使用多张仪器样本图像,对特征提取网络以及分类器进行多轮训练。
具体地,深度卷积神经网络模型训练模块72,采用下述步骤对特征提取网络以及分类器进行本轮训练:
进行下述比对操作,直至仪器样本图像的分类结果与仪器样本图像的类别标签一致,结束对特征提取网络以及分类器的本轮训练;
比对操作,具体包括:
将仪器样本图像的分类结果与仪器样本图像的类别标签进行比对;
针对仪器样本图像的分类结果与仪器样本图像的类别标签不一致的情况,调整特征提取网络以及分类器的参数;
使用调整参数后的特征提取网络重新提取仪器样本图像的新的中间特征向量,并将新的中间特征向量输入至调整参数后的分类器,获得仪器样本图像的新的分类结果;并再次执行比对操作。
可选地,特征向量获取模块73,具体用于:将仪器样本图像输入至训练好的深度卷积神经网络模型中的特征提取网络,获取仪器样本图像的特征向量。
具体地,特征向量获取模块73,采用下述步骤获取仪器样本图像的特征向量:
将仪器样本图像输入至训练好的深度卷积神经网络模型中的特征提取网络中;
从特征提取网络中的最后一个卷积层中获取多个特征矩阵;
对每个特征矩阵进行池化处理,得到每个特征矩阵的一个特征值;
使用所有特征值构成仪器样本图像的特征向量。
本申请实施例提供的仪器识别模型训练装置,在仪器识别模型训练的时候,通过获取多张带有类别标签和名称标签的仪器样本图像;基于多张仪器样本图像,以及与每张仪器样本图像对应的类别标签,对深度卷积神经网络模型进行多轮训练,得到训练好的深度卷积神经网络模型;基于训练好的深度卷积神经网络模型,获取仪器样本图像的特征向量;针对每个类别标签,基于具有该类别标签的仪器样本图像的特征向量,构成与该类别标签对应的特征数据库;每个特征向量均对应有名称标签;将训练好的深度卷积神经网络模型和各个类别标签分别对应的特征数据库作为仪器识别模型。在该仪器识别模型训练的过程中,首先将多种仪器按照视觉相似性属性划分为多个类别,对神经网络模型进行训练,符合了图像识别算法根据图像视觉相似性进行分类识别的原理,能够得到较好的分类效果;将神经网络模型和特征数据库相结合作为仪器识别模型,使得在仪器识别过程中,能够首先通过神经网络模型得到待识别仪器的目标特征向量和一个比较粗的分类结果,然后根据分类结果从所有特征数据库中得到与分类结果相对应的特征数据库中的特征向量,通过计算目标特征向量和各个特征向量的距离,得到最终的识别结果,这种粗分类和精检索相结合的识别方法,避免由于将每台仪器作为一类导致划分类别太多,从而导致的识别精度不高或通过直接遍历所有特征数据库进行检索导致的识别效率低的问题,从而提高识别精度和识别效率。
基于同一发明构思,本申请实施例中还提供了与仪器识别方法对应的仪器识别装置,由于本申请实施例中的装置解决问题的原理与本申请实施例上述仪器识别方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
参见图8所示,本申请实施例所提供的仪器识别装置,包括:
目标图像获取模块81,用于获取待识别仪器的目标图像;
识别结果获取模块82,用于将目标图像输入本申请提供的仪器识别模型训练方法所得到的仪器识别模型中,获取待识别仪器的识别结果。
此处,仪器识别模型包括深度卷积神经网络模型和各个类别标签分别对应的特征数据库。
可选地,识别结果获取模块82,采用下述步骤获取待识别仪器的识别结果:
使用深度卷积神经网络模型获取目标图像的目标特征向量和分类结果;
根据分类结果,以及各个类别标签分别对应的特征数据库,确定与目标图像对应的特征数据库;
基于目标图像的目标特征向量,从确定的与目标图像对应的特征数据库中,确定与目标特征向量对应的特征向量;
基于确定的与目标特征向量对应的特征向量的名称标签,确定目标图像的名称,作为待识别仪器的识别结果。
具体地,识别结果获取模块82,采用下述步骤确定与目标特征向量对应的特征向量:
获取目标图像对应的特征数据库中的各个特征向量与目标特征向量的余弦距离;
将余弦距离最小的特征向量,确定为目标特征向量对应的特征向量。
可选地,识别结果获取模块82,还用于:获取目标图像对应的特征数据库中的各个特征向量与目标特征向量的余弦距离之后,
将余弦距离按照从小到大的顺序排序;
将小于预设余弦距离阈值,且除了最小的余弦距离以外的其他余弦距离对应的特征向量的名称标签,确定为待识别仪器的相似仪器的名称,或
将除了最小的余弦距离以外的前预设数量个余弦距离对应的特征向量的名称标签,确定为待识别仪器的相似仪器的名称。
本申请实施例提供的仪器识别装置,在仪器识别模型训练的时候,通过获取多张带有类别标签和名称标签的仪器样本图像;基于多张仪器样本图像,以及与每张仪器样本图像对应的类别标签,对深度卷积神经网络模型进行多轮训练,得到训练好的深度卷积神经网络模型;基于训练好的深度卷积神经网络模型,获取仪器样本图像的特征向量;针对每个类别标签,基于具有该类别标签的仪器样本图像的特征向量,构成与该类别标签对应的特征数据库;每个特征向量均对应有名称标签;将训练好的深度卷积神经网络模型和各个类别标签分别对应的特征数据库作为仪器识别模型。在该仪器识别模型训练的过程中,首先将多种仪器按照视觉相似性属性划分为多个类别,对神经网络模型进行训练,符合了图像识别算法根据图像视觉相似性进行分类识别的原理,能够得到较好的分类效果;将神经网络模型和特征数据库相结合作为仪器识别模型,使得在仪器识别过程中,能够首先通过神经网络模型得到待识别仪器的目标特征向量和一个比较粗的分类结果,然后根据分类结果从所有特征数据库中得到与分类结果相对应的特征数据库中的特征向量,通过计算目标特征向量和各个特征向量的距离,得到最终的识别结果,这种粗分类和精检索相结合的识别方法,避免由于将每台仪器作为一类导致划分类别太多,从而导致的识别精度不高或通过直接遍历所有特征数据库进行检索导致的识别效率低的问题,从而提高识别精度和识别效率。
本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述仪器识别模型训练方法和仪器识别方法的步骤。
具体地,该存储介质能够为通用的存储介质,如移动磁盘、硬盘等,该存储介质上的计算机程序被运行时,能够执行上述仪器识别模型训练方法和仪器识别方法,从而能够通过结合进行粗分类和精检索,避免由于划分类别多导致的识别精度不高或通过直接遍历特征数据库进行检索导致的识别效率低的问题,从而提高识别精度和识别效率。
对应于图1中的仪器识别模型训练方法和图5中的仪器识别方法,本申请实施例还提供了一种计算机设备,如图9所示,该设备包括存储器1000、处理器2000及存储在该存储器1000上并可在该处理器2000上运行的计算机程序,其中,上述处理器2000执行上述计算机程序时实现上述仪器识别模型训练方法和仪器识别方法的步骤。
具体地,上述存储器1000和处理器2000能够为通用的存储器和处理器,这里不做具体限定,当处理器2000运行存储器1000存储的计算机程序时,能够执行上述仪器识别模型训练方法和仪器识别方法,从而能够通过结合进行粗分类和精检索,避免由于划分类别多导致的识别精度不高或通过直接遍历特征数据库进行检索导致的识别效率低的问题,从而提高识别精度和识别效率。
本申请实施例所提供的仪器识别模型训练方法和装置及仪器识别方法和装置的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见方法实施例,在此不再赘述。
在这里示出和描述的所有示例中,任何具体值应被解释为仅仅是示例性的,而不是作为限制,因此,示例性实施例的其他示例可以具有不同的值。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的方法和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本申请所提供的几个实施例中,应该理解到,所揭露的方法和装置,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本申请的具体实施方式,用以说明本申请的技术方案,而非对其限制,本申请的保护范围并不局限于此,尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应所述以权利要求的保护范围为准。

Claims (8)

1.一种仪器识别模型训练方法,其特征在于,包括:
获取多张带有类别标签和名称标签的仪器样本图像;所述类别标签是对多种仪器按照视觉相似性属性划分成多个类别后,根据划分成的多个类别为每种仪器的仪器样本图像所添加的标签;
基于多张所述仪器样本图像,以及与每张所述仪器样本图像对应的类别标签,对深度卷积神经网络模型进行多轮训练,得到训练好的深度卷积神经网络模型;
基于训练好的所述深度卷积神经网络模型,获取所述仪器样本图像的特征向量;
针对每个类别标签,基于具有该类别标签的仪器样本图像的特征向量,构成与该类别标签对应的特征数据库;每个特征向量均对应有名称标签;
将训练好的所述深度卷积神经网络模型和各个所述类别标签分别对应的所述特征数据库作为仪器识别模型;
所述深度卷积神经网络模型包括特征提取网络和分类器;
基于多张所述仪器样本图像,以及与每张所述仪器样本图像对应的类别标签,对深度卷积神经网络模型进行多轮训练,具体包括:
针对每张仪器样本图像,将所述仪器样本图像输入所述特征提取网络,获取所述仪器样本图像的中间特征向量;
将所述中间特征向量输入至分类器,获得所述仪器样本图像的分类结果;
根据所述仪器样本图像的分类结果以及所述仪器样本图像的类别标签,对所述特征提取网络以及所述分类器进行本轮训练;
使用多张所述仪器样本图像,对所述特征提取网络以及所述分类器进行多轮训练;
所述根据所述仪器样本图像的分类结果以及所述仪器样本图像的类别标签,对所述特征提取网络以及所述分类器进行本轮训练,包括:
将所述仪器样本图像的分类结果与所述仪器样本图像的类别标签进行比对;
针对所述仪器样本图像的分类结果与所述仪器样本图像的类别标签不一致的情况,调整所述特征提取网络以及所述分类器的参数;
使用调整参数后的特征提取网络重新提取仪器样本图像的新的中间特征向量,并将新的中间特征向量输入至调整参数后的分类器,获得仪器样本图像的新的分类结果;并再次执行比对操作,直至所述仪器样本图像的分类结果与所述仪器样本图像的类别标签一致,结束对所述特征提取网络以及分类器的本轮训练。
2.根据权利要求1所述的方法,其特征在于,所述基于所述训练好的深度卷积神经网络模型,获取所述仪器样本图像的特征向量,具体包括:
将所述仪器样本图像输入至所述训练好的深度卷积神经网络模型中的特征提取网络,获取所述仪器样本图像的特征向量。
3.根据权利要求2所述的方法,其特征在于,所述将所述仪器样本图像输入至所述训练好的深度卷积神经网络模型中的特征提取网络,获取所述仪器样本图像的特征向量,具体包括:
将所述仪器样本图像输入至所述训练好的深度卷积神经网络模型中的特征提取网络中;
从所述特征提取网络中的最后一个卷积层中获取多个特征矩阵;
对每个所述特征矩阵进行池化处理,得到每个所述特征矩阵的一个特征值;
使用所有所述特征值构成所述仪器样本图像的特征向量。
4.一种仪器识别方法,其特征在于,包括:
获取待识别仪器的目标图像;
将所述目标图像输入如权利要求1-3任意一项所述的仪器识别模型训练方法所得到的仪器识别模型中,获取所述待识别仪器的识别结果;
所述仪器识别模型包括深度卷积神经网络模型和各个类别标签分别对应的所述特征数据库;
所述获取所述待识别仪器的识别结果,具体包括:
使用所述深度卷积神经网络模型获取所述目标图像的目标特征向量和分类结果;
根据所述分类结果,以及各个类别标签分别对应的所述特征数据库,确定与所述目标图像对应的特征数据库;
基于所述目标图像的目标特征向量,从确定的与所述目标图像对应的特征数据库中,确定与所述目标特征向量对应的特征向量;
基于确定的与所述目标特征向量对应的特征向量的名称标签,确定所述目标图像的名称,作为所述待识别仪器的识别结果。
5.根据权利要求4所述的方法,其特征在于,所述基于所述目标图像的目标特征向量,从确定的与所述目标图像对应的特征数据库中,确定与所述目标特征向量对应的特征向量,具体包括:
获取所述目标图像对应的特征数据库中的各个特征向量与所述目标特征向量的余弦距离;
将余弦距离最小的特征向量,确定为所述目标特征向量对应的特征向量。
6.根据权利要求5所述的方法,其特征在于,所述获取所述目标图像对应的特征数据库中的各个特征向量与所述目标特征向量的余弦距离之后,还包括:
将所述余弦距离按照从小到大的顺序排序;
将小于预设余弦距离阈值,且除了最小的所述余弦距离以外的其他余弦距离对应的特征向量的名称标签,确定为所述待识别仪器的相似仪器的名称,或
将除了最小的所述余弦距离以外的前预设数量个余弦距离对应的特征向量的名称标签,确定为所述待识别仪器的相似仪器的名称。
7.一种仪器识别模型训练装置,其特征在于,包括:
样本图像获取模块,用于获取多张带有类别标签和名称标签的仪器样本图像;
深度卷积神经网络模型训练模块,用于基于多张所述仪器样本图像,以及与每张所述仪器样本图像对应的类别标签,对深度卷积神经网络模型进行多轮训练,得到训练好的深度卷积神经网络模型;
特征向量获取模块,用于基于训练好的所述深度卷积神经网络模型,获取所述仪器样本图像的特征向量;
特征数据库构成模块,用于针对每个类别标签,基于具有该类别标签的仪器样本图像的特征向量,构成与该类别标签对应的特征数据库;每个特征向量均对应有名称标签;
仪器识别模型获取模块,用于将训练好的所述深度卷积神经网络模型和各个所述类别标签分别对应的所述特征数据库作为仪器识别模型;
所述深度卷积神经网络模型训练模块,采用下述步骤对深度卷积神经网络模型进行多轮训练:
所述深度卷积神经网络模型包括特征提取网络和分类器;
针对每张仪器样本图像,将所述仪器样本图像输入所述特征提取网络,获取所述仪器样本图像的中间特征向量;
将所述中间特征向量输入至分类器,获得所述仪器样本图像的分类结果;
根据所述仪器样本图像的分类结果以及所述仪器样本图像的类别标签,对所述特征提取网络以及所述分类器进行本轮训练;
使用多张所述仪器样本图像,对所述特征提取网络以及所述分类器进行多轮训练;
所述深度卷积神经网络模型训练模块,采用下述步骤对所述特征提取网络以及所述分类器进行本轮训练:
进行下述比对操作,直至仪器样本图像的分类结果与仪器样本图像的类别标签一致,结束对特征提取网络以及分类器的本轮训练;
比对操作,具体包括:
将所述仪器样本图像的分类结果与所述仪器样本图像的类别标签进行比对;
针对所述仪器样本图像的分类结果与所述仪器样本图像的类别标签不一致的情况,调整所述特征提取网络以及所述分类器的参数;
使用调整参数后的特征提取网络重新提取仪器样本图像的新的中间特征向量,并将新的中间特征向量输入至调整参数后的分类器,获得仪器样本图像的新的分类结果;并再次执行比对操作。
8.一种仪器识别装置,其特征在于,包括:
目标图像获取模块,用于获取待识别仪器的目标图像;
识别结果获取模块,用于将所述目标图像输入如权利要求1-3任意一项所述的仪器识别模型训练方法所得到的仪器识别模型中,获取所述待识别仪器的名称;
所述仪器识别模型包括深度卷积神经网络模型和各个类别标签分别对应的所述特征数据库;
识别结果获取模块,采用下述步骤获取所述待识别仪器的识别结果:
使用所述深度卷积神经网络模型获取所述目标图像的目标特征向量和分类结果;
根据所述分类结果,以及各个类别标签分别对应的所述特征数据库,确定与所述目标图像对应的特征数据库;
基于所述目标图像的目标特征向量,从确定的与所述目标图像对应的特征数据库中,确定与所述目标特征向量对应的特征向量;
基于确定的与所述目标特征向量对应的特征向量的名称标签,确定所述目标图像的名称,作为所述待识别仪器的识别结果。
CN201811001676.7A 2018-08-30 2018-08-30 一种仪器识别模型训练方法和装置及仪器识别方法和装置 Active CN109002562B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811001676.7A CN109002562B (zh) 2018-08-30 2018-08-30 一种仪器识别模型训练方法和装置及仪器识别方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811001676.7A CN109002562B (zh) 2018-08-30 2018-08-30 一种仪器识别模型训练方法和装置及仪器识别方法和装置

Publications (2)

Publication Number Publication Date
CN109002562A CN109002562A (zh) 2018-12-14
CN109002562B true CN109002562B (zh) 2021-04-13

Family

ID=64594076

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811001676.7A Active CN109002562B (zh) 2018-08-30 2018-08-30 一种仪器识别模型训练方法和装置及仪器识别方法和装置

Country Status (1)

Country Link
CN (1) CN109002562B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109766920A (zh) * 2018-12-18 2019-05-17 任飞翔 基于深度学习的物品特征模型计算方法及装置
CN111383362B (zh) * 2018-12-29 2022-07-29 北京骑胜科技有限公司 一种安全监测方法及装置
CN111488893B (zh) * 2019-01-25 2023-05-30 银河水滴科技(北京)有限公司 一种图像分类方法及装置
CN110363224B (zh) * 2019-06-19 2021-07-06 创新奇智(北京)科技有限公司 一种基于图像的物体分类方法、系统及电子设备
CN112446392A (zh) * 2019-08-28 2021-03-05 银河水滴科技(北京)有限公司 密封圈分类模型的训练、密封圈的分类方法及装置
CN112906726B (zh) * 2019-11-20 2024-01-16 北京沃东天骏信息技术有限公司 模型训练方法、图像处理方法、装置、计算设备、介质
CN112948631A (zh) * 2019-12-11 2021-06-11 北京金山云网络技术有限公司 视频标签生成方法、装置及电子终端
CN111256757A (zh) * 2020-02-25 2020-06-09 深圳哈维生物医疗科技有限公司 基于云计算的医疗设备监控系统及方法
CN111414921B (zh) * 2020-03-25 2024-03-15 抖音视界有限公司 样本图像处理方法、装置、电子设备及计算机存储介质
CN112288012A (zh) * 2020-10-30 2021-01-29 杭州海康威视数字技术股份有限公司 图像识别方法、装置及存储介质
CN112215366B (zh) * 2020-12-07 2021-03-02 成都数联铭品科技有限公司 基于结果画像的模型解释方法、系统、计算及存储设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107886064A (zh) * 2017-11-06 2018-04-06 安徽大学 一种基于卷积神经网络的人脸识别场景适应的方法
CN108229298A (zh) * 2017-09-30 2018-06-29 北京市商汤科技开发有限公司 神经网络的训练和人脸识别方法及装置、设备、存储介质
CN108304882A (zh) * 2018-02-07 2018-07-20 腾讯科技(深圳)有限公司 一种图像分类方法、装置及服务器、用户终端、存储介质
CN108416270A (zh) * 2018-02-06 2018-08-17 南京信息工程大学 一种基于多属性联合特征的交通标志识别方法
CN108460427A (zh) * 2018-03-29 2018-08-28 国信优易数据有限公司 一种分类模型训练方法、装置以及分类方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10169872B2 (en) * 2016-11-02 2019-01-01 International Business Machines Corporation Classification of severity of pathological condition using hybrid image representation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229298A (zh) * 2017-09-30 2018-06-29 北京市商汤科技开发有限公司 神经网络的训练和人脸识别方法及装置、设备、存储介质
CN107886064A (zh) * 2017-11-06 2018-04-06 安徽大学 一种基于卷积神经网络的人脸识别场景适应的方法
CN108416270A (zh) * 2018-02-06 2018-08-17 南京信息工程大学 一种基于多属性联合特征的交通标志识别方法
CN108304882A (zh) * 2018-02-07 2018-07-20 腾讯科技(深圳)有限公司 一种图像分类方法、装置及服务器、用户终端、存储介质
CN108460427A (zh) * 2018-03-29 2018-08-28 国信优易数据有限公司 一种分类模型训练方法、装置以及分类方法及装置

Also Published As

Publication number Publication date
CN109002562A (zh) 2018-12-14

Similar Documents

Publication Publication Date Title
CN109002562B (zh) 一种仪器识别模型训练方法和装置及仪器识别方法和装置
JP4618098B2 (ja) 画像処理システム
US20160196467A1 (en) Three-Dimensional Face Recognition Device Based on Three Dimensional Point Cloud and Three-Dimensional Face Recognition Method Based on Three-Dimensional Point Cloud
CN110287873B (zh) 基于深度神经网络的非合作目标位姿测量方法、系统及终端设备
CN107784288B (zh) 一种基于深度神经网络的迭代定位式人脸检测方法
CN105320945A (zh) 图像分类的方法及装置
CN110503143B (zh) 基于意图识别的阈值选取方法、设备、存储介质及装置
CN105069457B (zh) 图像识别方法和装置
US9842279B2 (en) Data processing method for learning discriminator, and data processing apparatus therefor
US10007678B2 (en) Image processing apparatus, image processing method, and recording medium
CN109359534B (zh) 一种三维物体几何特征提取方法及系统
CN111401521B (zh) 神经网络模型训练方法及装置、图像识别方法及装置
CN107291825A (zh) 一种视频中同款商品的检索方法和系统
US20210117648A1 (en) 3-dimensional model identification
CN113298146A (zh) 一种基于特征检测的图像匹配方法、装置、设备及介质
CN111325237A (zh) 一种基于注意力交互机制的图像识别方法
KR102166117B1 (ko) 시멘틱 매칭 장치 및 방법
CN108319954A (zh) 一种无接触测重方法
CN109271544B (zh) 自动挑选画家代表作的方法及装置
JP4570995B2 (ja) マッチング方法およびマッチング装置ならびにプログラム
CN114168768A (zh) 图像检索方法及相关设备
CN113343920A (zh) 人脸识别照片的分类方法、装置、电子设备和存储介质
CN109255377A (zh) 仪器识别方法、装置、电子设备及存储介质
JP6623126B2 (ja) 物体検索装置、三次元物体モデル化装置、方法、及びプログラム
WO2015068417A1 (ja) 画像照合システム、画像照合方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Zhou Leisheng

Inventor after: Li Yahui

Inventor after: Nie Zichen

Inventor after: Tong Hua

Inventor after: Feng Lebin

Inventor before: Zhou Leisheng

Inventor before: Tong Hua

Inventor before: Nie Zichen

Inventor before: Feng Lebin

Inventor before: Li Yahui

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant