CN109558883A - 叶片特征提取方法及装置 - Google Patents

叶片特征提取方法及装置 Download PDF

Info

Publication number
CN109558883A
CN109558883A CN201811466561.5A CN201811466561A CN109558883A CN 109558883 A CN109558883 A CN 109558883A CN 201811466561 A CN201811466561 A CN 201811466561A CN 109558883 A CN109558883 A CN 109558883A
Authority
CN
China
Prior art keywords
blade
profile
feature
submodel
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811466561.5A
Other languages
English (en)
Other versions
CN109558883B (zh
Inventor
张长水
李易阳
潘伟燊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningxia Zhi Kai Lianshan Science And Technology Co Ltd
Original Assignee
Ningxia Zhi Kai Lianshan Science And Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningxia Zhi Kai Lianshan Science And Technology Co Ltd filed Critical Ningxia Zhi Kai Lianshan Science And Technology Co Ltd
Priority to CN201811466561.5A priority Critical patent/CN109558883B/zh
Publication of CN109558883A publication Critical patent/CN109558883A/zh
Application granted granted Critical
Publication of CN109558883B publication Critical patent/CN109558883B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种叶片特征提取方法及装置，涉及计算机图像处理技术领域。该方法通过把目标叶片分解成M个具有标识码的且包括轮廓点子图像，然后将各子图像输入到特征提取模型，并基于各子图像提取出目标叶片的颜色纹理特征和轮廓特征。本方案采用基于深度学习的特征提取模型，可自动对叶片特征进行提取，简化了人工操作从而有利于提高提取叶片特征的效率。另外，将颜色纹理特征和轮廓特征相结合，有助于利用提取的叶片特征提高对植物种类的识别的准确率。

Description

叶片特征提取方法及装置
技术领域
本发明涉及计算机图像处理技术领域，具体而言，涉及一种叶片特征提取方法及装置。
背景技术
植物叶片轮廓作为标定植物生长发育、长势、遗传特性等生理生化反应过程的主要参数，作为植物鉴别的重要依据，广泛应用于农业科研服务和生产中。地球上的植物种类繁多，植物鉴别在植物学、农业和园艺等方面都有重要的意义。传统的采用植物叶片轮廓进行植物种类识别的方法是靠人工完成的，需要依靠专门技术人员而且效率低下。
随着人工智能技术的快速发展，在植物界也可通过人工智能对植物叶片进行识别分类。然而在现有技术中，通常需要对待识别的图像进行预处理(比如去除目标叶片的背景，仅保留目标叶片作为待识别图像)。而自然环境中的叶片和背景区别度较低，识别效果较差，且预处理的工作量大。
发明内容
为了克服上述现有技术中的不足，本发明提供一种叶片特征提取方法及装置，自动对叶片特征进行提取，有助于通过叶片特征识别植物种类，进而解决上述问题。
为了实现上述目的，本发明实施例所提供的技术方案如下所示：
第一方面，本发明实施例提供一种叶片特征提取方法，其特征在于，应用于图像处理设备，所述图像处理设备包括基于深度学习的特征提取模型，所述方法包括：
获取包括有叶片的图像并作为待识别图像；
通过训练后的特征提取模型，在所述待识别图像上进行搜索，以确定目标叶片，并基于所述目标叶片得到M个包括轮廓点及相应标识码的子图像，M为大于0的整数；
基于M个包括轮廓点及相应标识码的所述子图像确定所述目标叶片的颜色纹理特征及N个候选边缘轮廓，N为大于0的整数；
将所述N个候选边缘轮廓中的每个候选边缘轮廓与所述特征提取模型中的预存轮廓特征集中的轮廓特征进行匹配，并计算每个所述候选边缘轮廓与所述预存轮廓特征集中的单个轮廓特征的相似度；
从所述N个候选边缘轮廓得到的所述相似度中选取相似度最大的轮廓特征作为所述目标叶片的目标轮廓特征；
将M个所述子图像的颜色纹理特征与所述目标轮廓特征相关联以作为所述目标叶片的叶片特征。
可选地，上述特征提取模型包括：叶片边缘识别子模型、叶片边缘方向子模型以及叶片植物分类子模型；所述获取包括有叶片的图像并作为待识别图像之前，所述方法还包括：
获取训练图像集，包括多个训练图像，所述训练图像为包括有叶片的图像，且所述训练图像预先标注有待训练特征及叶片对应的植物种类，所述待训练特征包括基于子图像的叶片轮廓、基于所述子图像的叶片边缘方向、基于所述训练图像的叶片形状方向，且所述待训练特征与所述植物种类相关联；
将每个所述训练图像分解为具有标识码的M个轮廓点及轮廓点对应子图像；
使用标注有所述叶片轮廓及所述叶片边缘方向的多个所述子图像，采用深度学习算法对所述叶片边缘识别子模型、所述叶片边缘方向子模型及所述叶片植物分类子模型进行训练，以得到训练后的特征提取模型及轮廓特征集。
可选地，上述基于M个包括轮廓点及相应标识码的所述子图像确定所述目标叶片的颜色纹理特征及N个候选边缘轮廓，包括：
使用所述叶片边缘识别子模型及所述叶片边缘方向子模型对每个所述子图像进行特征提取，以得到与M个所述子图像对应的颜色纹理特征及多个轮廓及多个边缘方向；
根据M个所述子图像对应的颜色纹理特征、所述多个轮廓及所述多个边缘方向，确定目标叶片的颜色纹理特征及N个候选边缘轮廓。
可选地，上述特征提取模型还包括叶片形状方向子模型；在所述待识别图像中的叶片为不完整的叶片时，所述方法还包括：
所述叶片形状方向子模型基于所述叶片边缘识别子模型得到的所述叶片轮廓，及所述叶片边缘方向子模型得到的叶片边缘方向，对不完整部分进行复原，以得到完整叶片的叶片轮廓及叶片边缘方向。
可选地，上述采用深度学习算法对所述叶片植物分类子模型进行训练，包括：
获取测试图像集，所述测试图像集包括多个测试图像，所述测试图像为包括有实际植物种类标签的叶片图像；
将所述测试图像输入所述特征提取模型进行分类，得到测试标签；
根据所述测试标签与所述实际植物种类标签调整所述叶片植物分类子模型。
可选地，上述使用标注有所述叶片轮廓及所述叶片边缘方向的多个所述子图像，采用深度学习算法对所述叶片边缘识别子模型、所述叶片边缘方向子模型及所述叶片植物分类子模型进行训练，包括：
构建多层卷积层及与多层池化层，输入多个所述子图像；
多个所述子图像经所述多层卷积层以及所述多层池化层运算处理，得到相应的轮廓特征。
可选地，上述图像处理设备预先建立并存储有叶片特征与植物种类的关联关系，所述方法还包括：
基于所述关联关系并根据所述叶片特征确定所述目标叶片的植物种类。
第二方面，本发明实施例一种叶片特征提取装置，应用于图像处理设备，所述图像处理设备包括基于深度学习的特征提取模型，所述叶片特征提取装置包括：
第一获取单元，用于获取包括有叶片的图像并作为待识别图像；
搜索单元，通过训练后的特征提取模型，在所述待识别图像上进行搜索，以确定目标叶片，并基于所述目标叶片得到M个包括轮廓点及相应标识码的子图像，M为大于0的整数；
确定单元，基于M个包括轮廓点及相应标识码的所述子图像确定所述目标叶片的颜色纹理特征及N个候选边缘轮廓，N为大于0的整数；
匹配单元，用于将所述N个候选边缘轮廓中的每个候选边缘轮廓与所述特征提取模型中的预存轮廓特征集中的轮廓特征进行匹配，并计算每个所述候选边缘轮廓与所述预存轮廓特征集中的单个轮廓特征的相似度；
选取单元，用于从所述N个候选边缘轮廓得到的所述相似度中选取相似度最大的轮廓特征作为所述目标叶片的目标轮廓特征；
关联单元，用于将M个所述子图像的颜色纹理特征与所述目标轮廓特征相关联以作为所述目标叶片的叶片特征。
可选地，上述特征提取模型包括：叶片边缘识别子模型、叶片边缘方向子模型以及叶片植物分类子模型；所述叶片特征提取装置还包括第二获取单元、分割单元以及模型训练单元，在所述第一获取单元获取包括有叶片的图像并作为待识别图像之前：
所述第二获取单元，用于获取训练图像集，包括多个训练图像，所述训练图像为包括有叶片的图像，且所述训练图像预先标注有待训练特征及叶片对应的植物种类，所述待训练特征包括基于子图像的叶片轮廓、基于所述子图像的叶片边缘方向、基于所述训练图像的叶片形状方向，且所述待训练特征与所述植物种类相关联；
所述分割单元，用于将每个所述训练图像分解为具有标识码的M个轮廓点及轮廓点对应子图像；
所述模型训练单元，用于使用标注有所述叶片轮廓及所述叶片边缘方向的多个所述子图像，采用深度学习算法对所述叶片边缘识别子模型、所述叶片边缘方向子模型及所述叶片植物分类子模型进行训练，以得到训练后的特征提取模型及轮廓特征集。
可选地，上述确定单元还用于：
使用所述叶片边缘识别子模型及所述叶片边缘方向子模型对每个所述子图像进行特征提取，以得到与M个所述子图像对应的颜色纹理特征及多个轮廓及多个边缘方向；
根据M个所述子图像对应的颜色纹理特征、所述多个轮廓及所述多个边缘方向，确定目标叶片的颜色纹理特征及N个候选边缘轮廓。
相对于现有技术而言，本发明提供的叶片特征提取方法及装置至少具有以下有益效果：该方法通过获取包括有叶片的图像并作为待识别图像；通过训练后的特征提取模型，在待识别图像上进行搜索，得到M个包括轮廓点及相应标识码的子图像，M为大于0的整数；基于M个子图像确定目标叶片的颜色纹理特征及N个候选边缘轮廓，N为大于0的整数；将N个候选边缘轮廓中的每个候选边缘轮廓与特征提取模型中的预存轮廓特征集中的轮廓特征进行匹配，并计算每个候选边缘轮廓与预存轮廓特征集中的单个轮廓特征的相似度；从N个候选边缘轮廓得到的相似度中选取相似度最大的轮廓特征作为目标叶片的目标轮廓特征；将M个子图像的颜色纹理特征与目标轮廓特征相关联以作为目标叶片的叶片特征。本方案采用基于深度学习的特征提取模型，可自动对叶片特征进行提取，从而提高提取叶片特征的效率，有助于加速利用叶片特征识别植物种类的速度。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举本发明实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的图像处理设备的方框示意图。
图2为本发明实施例提供的叶片特征提取方法的流程示意图之一。
图3为本发明实施例提供的叶片特征提取方法的流程示意图之二。
图4a为本发明实施例提供的待识别图像的叶片轮廓建模前的示意图。
图4b为本发明实施例提供的待识别图像的叶片轮廓建模后的示意图。
图5为本发明实施例提供的叶片特征提取装置的方框示意图之一。
图6为本发明实施例提供的叶片特征提取装置的方框示意图之二。
图标：10-图像处理设备；11-处理单元；12-存储单元；100-叶片特征提取装置；110-第一获取单元；120-搜索单元；130-确定单元；140-匹配单元；150-选取单元；160-关联单元；170-第二获取单元；180-分割单元；190-模型训练单元。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
请参照图1，为本发明实施例提供的图像处理设备10的方框示意图。本发明提供的图像处理设备10用于执行叶片特征提取方法的各步骤。该图像处理设备10通过对预先获取的图像进行识别判断，以提取图片中叶片的特征。另外，该图像处理设备10还可以基于提取的特征对叶片对应的植物种类进行判断。
其中，上述图像可由图像采集设备(比如智能手机、摄像机等)获取得到，并将得到的图像作为待识别图像。图像处理设备10可从图像采集设备获取待识别图像。其获得待识别图像的方式可以是直接获得或者间接获得。
例如，图像处理设备10与图像采集设备可通过网络建立通信连接，以进行数据交互，图像处理设备10通过网络可从图像采集设备获得图片。或者，可将图像采集设备拍摄得到的图片存储在可移动存储介质(比如U盘、硬盘等)中，图像处理设备10从可移动存储介质获得图片。
进一步地，所述图像处理设备10可以是，但不限于，智能手机、个人电脑(personalcomputer，PC)、平板电脑、个人数字助理(personal digital assistant，PDA)、移动上网设备(mobile Internet device，MID)等。其中，图像采集设备与图像处理设备10可以为同一个设备，例如为智能手机。
在本实施例中，所述图像处理设备10可以包括处理单元11、存储单元12以及叶片特征提取装置100，所述处理单元11、存储单元12以及叶片特征提取装置100各个元件之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
所述处理单元11可以是处理器。例如，该处理器可以是中央处理器(CentralProcessing Unit，CPU)、图形处理器(Graphics Processing Unit，GPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。
所述存储单元12可以是，但不限于，随机存取存储器，只读存储器，可编程只读存储器，可擦除可编程只读存储器，电可擦除可编程只读存储器等。在本实施例中，所述存储单元12可以用于存储特征提取模型、待识别图像等。当然，所述存储单元12还可以用于存储程序，所述处理单元11在接收到执行指令后，执行该程序。
进一步地，所述叶片特征提取装置100包括至少一个可以软件或固件(firmware)的形式存储于所述存储单元12中或固化在所述图像处理设备10操作系统(operatingsystem，OS)中的软件功能模块。所述处理单元11用于执行所述存储单元12中存储的可执行模块，例如叶片特征提取装置100所包括的软件功能模块及计算机程序等。
可以理解的是，图1所示的结构仅为图像处理设备10的一种结构示意图，所述图像处理设备10还可以包括比图1所示更多组件。图1中所示的各组件可以采用硬件、软件或其组合实现。
请参照图2，为本发明实施例提供的叶片特征提取方法的流程示意图之一。本发明提供的叶片特征提取方法可以应用于上述的图像处理设备10，由图像处理设备10执行叶片特征提取方法的各步骤，能够自动对待识别图像中的叶片的特征进行提取，从而减少人为操作，有助于提高对叶片特征提取的工作效率。
下面将对图2中所示的各步骤进行详细阐述，在本实施例中，叶片特征提取方法可以包括以下步骤：
步骤S210，获取包括有叶片的图像并作为待识别图像；
步骤S220，通过训练后的特征提取模型，在所述待识别图像上进行搜索，以确定目标叶片，并基于所述目标叶片得到M个包括轮廓点及相应标识码的子图像，M为大于0的整数；其中，标识码可以为有序序列，例如，标识码可以是，但不限于数字、字母、或其组合，可以根据实际情况进行设置；
步骤S230，基于M个包括轮廓点及相应标识码的所述子图像确定所述目标叶片的颜色纹理特征及N个候选边缘轮廓，N为大于0的整数；
可选地，步骤S230可以为：使用所述叶片边缘识别子模型及所述叶片边缘方向子模型对每个所述子图像进行特征提取，以得到与M个所述子图像对应的颜色纹理特征及多个轮廓及多个边缘方向；根据M个所述子图像对应的颜色纹理特征、所述多个轮廓及所述多个边缘方向，确定目标叶片的颜色纹理特征及N个候选边缘轮廓。
可理解地，步骤S220、S230可以为：通过集束搜索方式在待识别的图像上进行搜索，搜索的方式可以是从某个候选的起点(轮廓点)开始，通过前面训练得到的模型，生成在模型中评分最高的轮廓边缘，并对颜色纹理特征进行采集，最后得到目标叶片的颜色纹理特征及N个候选边缘轮廓。
步骤S240，将所述N个候选边缘轮廓中的每个候选边缘轮廓与所述特征提取模型中的预存轮廓特征集中的轮廓特征进行匹配，并计算每个所述候选边缘轮廓与所述预存轮廓特征集中的单个轮廓特征的相似度。
可理解地，用训练得到的模型对将所述N个候选边缘轮廓中的每个候选边缘轮廓进行评价，计算出每个候选边缘轮廓的评分。其中，相似度越高的，评分越高。
步骤S250，从所述N个候选边缘轮廓得到的所述相似度中选取相似度最大的轮廓特征作为所述目标叶片的目标轮廓特征。
可理解地，步骤S250可以从所述N个候选边缘轮廓得到的评分中选取评分最高的轮廓特征作为所述目标叶片的目标轮廓特征。
步骤S260，将M个所述子图像的颜色纹理特征与所述目标轮廓特征相关联以作为所述目标叶片的叶片特征。
在本实施例中，特征提取模型还可以包括叶片形状方向子模型；在所述待识别图像中的叶片为不完整的叶片时，所述方法还可以包括：所述叶片形状方向子模型基于所述叶片边缘识别子模型得到的所述叶片轮廓，及所述叶片边缘方向子模型得到的叶片边缘方向，对不完整部分进行复原，以得到完整叶片的叶片轮廓及叶片边缘方向。
在本实施例中，图像处理设备10可从上述的图像采集设备获取待识别图像。
请参照图3，为本发明实施例提供的叶片特征提取方法的流程示意图之二。作为一种可选的实施方式，特征提取模型可以包括叶片边缘识别子模型、叶片边缘方向子模型以及叶片植物分类子模型。步骤S210之前，叶片特征提取方法还可以包括步骤S270、步骤S280及步骤S290。
步骤S270，获取训练图像集，包括多个训练图像，所述训练图像为包括有叶片的图像，且所述训练图像预先标注有待训练特征及叶片对应的植物种类，所述待训练特征包括基于子图像的叶片轮廓、基于所述子图像的叶片边缘方向、基于所述训练图像的叶片形状方向，且所述待训练特征与所述植物种类相关联；
步骤S280，将每个所述训练图像分解为具有标识码的M个轮廓点及轮廓点对应子图像；
步骤S290，使用标注有所述叶片轮廓及所述叶片边缘方向的多个所述子图像，采用深度学习算法对所述叶片边缘识别子模型、所述叶片边缘方向子模型及所述叶片植物分类子模型进行训练，以得到训练后的特征提取模型及轮廓特征集。
步骤S290可以包括：构建多层卷积层及与多层池化层，输入多个所述子图像；多个所述子图像经所述多层卷积层以及所述多层池化层运算处理，得到相应的轮廓特征。
在本实施例中，采用深度学习算法对所述叶片边缘识别子模型、所述叶片边缘方向子模型及所述叶片植物分类子模型进行训练的步骤可以为：获取测试图像集，所述测试图像集包括多个测试图像，所述测试图像为包括有实际植物种类标签的叶片图像；将所述测试图像输入所述特征提取模型进行分类，得到测试标签；根据所述测试标签与所述实际植物种类标签调整所述叶片植物分类子模型。
可选地，所述图像处理设备10预先建立并存储有叶片特征与植物种类的关联关系。叶片特征提取方法还可以包括：基于所述关联关系并根据所述叶片特征确定所述目标叶片的植物种类。
可理解地，在对特征提取模型进行训练时，可通过人为将提取的叶片特征与实际的植物种类进行关联，多个叶片特征便可以作为特征库。当在对待识别图像中的叶片进行特征提取时，可将提取到的叶片特征与特征库中的叶片特征进行比对，选取与相似度最大的叶片特征相关联植物种类作为目标叶片的植物种类。
在对叶片轮廓特征提取的过程中，可结合参照图4a和图4b，其中，图4a为本发明实施例提供的待识别图像的叶片轮廓建模前的示意图，图4b为本发明实施例提供的待识别图像的叶片轮廓建模后的示意图。
例如，在本实施例中，可通过卷积神经网络(CNN)和递归神经网络(RNN)构建叶片边缘识别子模型、叶片边缘方向子模型、叶片形状方向子模型、叶片植物分类子模型。这四种子模型可以用于描述植物叶片局部的图像特征和整体的形状特征，综合起来可以实现对叶片的轮廓特征提取和所属植物分类。
为了提取目标叶片的轮廓特征，可对目标叶片的轮廓进行建模。可在目标叶片边缘设置有向点列，以表示目标叶片的轮廓。提取出以点列中心点的局部图像块(图中u1,..,u8)和从上一个点到下一个点的方向(d1,…,d7)。这样得到的具有对应关系的图像序列(u1,..,u8)和方向序列(d1,…,d7)可以用来描述叶片的局部颜色纹理特征和形状特征。其中颜色纹理特征包括目标叶片的RGB值、纹理特征等。
在对特征提取模型进行训练时，叶片边缘识别子模型、叶片边缘方向子模型输入是叶片的局部的图像块(如图4b中u1,..,u12)。叶片形状方向子模型的输入是前半段叶片方向序列(如图4a中d1,…,d7)，输出是到下一个轮廓点的方向，叶片植物分类子模型的输入是完整的叶片方向序列，输出是该叶片所属植物的类别。
为了提高本方法各模型的泛化能力，叶片边缘识别子模型、叶片边缘方向子模型可以共用图像特征器，图像特征器可把固定尺寸的输入图像转化成固定长度的特征向量。叶片形状方向子模型、叶片植物分类子模型可以共用方向序列编码器，方向序列编码器可把输入的方向序列转化成固定长度的向量。
在本实施例中，叶片形状方向子模型、叶片植物分类子模型共用方向序列编码器，具体采用的结构可以是长短期记忆网络(Long-Short Term Memory，LSTM)，其中隐层的维数可以为32。上述的叶片边缘识别子模型、叶片边缘方向子模型、叶片形状方向子模型、叶片植物分类子模型，采用多层神经网络(MLP)作为分类器模型，具体参数可以为单隐层，隐层神经元个数可以为32。
对于具体的叶片样本(或训练图像)，通过最小化以下损失函数，通过后向传播算法来训练上述的模型：
该损失函数的四个部分对应上文中的四个方面，其中U＝{u1,..,un},D＝{d1,…,dn}分别对应上文中用来表示叶片的图像和方向序列，c为具体的植物种类。
式中，pb(ui)表示通过边缘识别子模型计算得到图像ui在植物叶片上的概率；
pr(di|ui)表示通过叶片边缘方向子模型计算得到叶片轮廓在图像ui局部方向为di的概率；
Ps(di|d1:i-1)表示通过叶片形状方向子模型计算得到叶片轮廓从1到i-1段局部方向d1:i-1后第i段局部方向为di的概率；
Pc(c|d1:n)表示通过叶片植物分类子模型计算得到叶片轮廓方向序列为d1:n下叶片种类为c的概率。
在对待识别图像进行特征提取时，因为还没涉及具体植物种类，所以可以按照最小化以下目标函数的原则，逐点决定提取的方向d，进而把轮廓提取出来：
值得说明的是，和训练时有所不同，表示的前面预测的轮廓方向，是根据和可能的方向d推算出来下一步的图像。
在图片上提取轮廓时，因为候选轮廓的数目非常巨大，把所有候选轮廓都代入上面的公式进行评价的计算量较大。为了解决这个问题，可采取集束搜索(Beam Search)的方式来一步一步生成最符合模型要求的叶片轮廓。
例如：
--输入待识别图像、训练好的叶片边缘识别子模型mb、叶片边缘方向子模型md和叶片形状方向子模型ms，集束搜索的规模K；
--在待识别图像上根据mb挑选出K个轮廓可能的起始点，每个起始点都对应一个候选的轮廓:[c11],[c12],…所有的候选轮廓组成初始轮廓候选集C＝{[c11],[c12],…}，迭代直到当前候选集的所有轮廓均已结束；
--将新候选集C’置为空集；
--对每个当前候选轮集中的轮廓Ci＝[c1 i’…,cNi i]；
--如果Ci已经终止，将Ci加入C’；
--如果该轮廓还没有终止，将Ci代入mb、md、ms，得到cNi 1到下一个点的方向(包括轮廓终止)；
--计算出轮廓下一个点，得到延伸后的轮廓[c1i,…,cNi i,cNi+1 i]；
--将延伸后的轮廓加入C’；
--将C’中最符合mb、md、ms的前K个轮廓选出，组成新的候选集C
--输出：C中最符合mb、md、ms的叶片轮廓(其中，N与i表示大于0的整数)。
基于上述设计，可自动对待识别图像中的叶片提取叶片特征，减少人为预处理的工作；通过将颜色纹理特征与轮廓特征作为目标叶片的叶片特征，也就是从待识别图像中提取更多有效信息以作为叶片特征，使得叶片特征所包含信息更为完整，有助于提高利用叶片特征对植物种类进行识别的准确度。另外，该方案可对部分残缺的叶片图像进行复原，从而有利于通过残缺叶片图像识别植物种类。
请参照图5，为本发明实施例提供的叶片特征提取装置100的方框示意图之一。本发明提供的特征提取装置可以应用于上述的图像处理设备10，以执行上述的叶片特征提取方法。
第一获取单元110，用于获取包括有叶片的图像并作为待识别图像。
搜索单元120，通过训练后的特征提取模型，在所述待识别图像上进行搜索，以确定目标叶片，并基于所述目标叶片得到M个包括轮廓点及相应标识码的子图像，M为大于0的整数。
确定单元130，用于基于M个包括轮廓点及相应标识码的所述子图像确定所述目标叶片的颜色纹理特征及N个候选边缘轮廓，N为大于0的整数。
确定单元130还可以用于：使用所述叶片边缘识别子模型及所述叶片边缘方向子模型对每个所述子图像进行特征提取，以得到与M个所述子图像对应的多个轮廓及多个边缘方向；根据所述多个轮廓及所述多个边缘方向，确定目标叶片的N个候选边缘轮廓。
匹配单元140，用于将所述N个候选边缘轮廓中的每个候选边缘轮廓与所述特征提取模型中的预存轮廓特征集中的轮廓特征进行匹配，并计算每个所述候选边缘轮廓与所述预存轮廓特征集中的单个轮廓特征的相似度。
选取单元150，用于从所述N个候选边缘轮廓得到的所述相似度中选取相似度最大的轮廓特征作为所述目标叶片的目标轮廓特征。
关联单元160，将M个所述子图像的颜色纹理特征与所述目标轮廓特征相关联以作为所述目标叶片的叶片特征。
请参照图6，为本发明实施例提供的叶片特征提取装置100的方框示意图之二。所述特征提取模型可以包括：叶片边缘识别子模型、叶片边缘方向子模型以及叶片植物分类子模型。所述叶片特征提取装置100还可以包括第二获取单元170、分割单元180以及模型训练单元190，在所述第一获取单元110获取包括有叶片的图像并作为待识别图像的步骤之前：
第二获取单元170，用于获取训练图像集，包括多个训练图像，所述训练图像为包括有叶片的图像，且所述训练图像预先标注有待训练特征及叶片对应的植物种类，所述待训练特征包括基于子图像的叶片轮廓、基于所述子图像的叶片边缘方向、基于所述训练图像的叶片形状方向，且所述待训练特征与所述植物种类相关联。
分割单元180，将每个所述训练图像分解为具有标识码的M个轮廓点及轮廓点对应子图像。
模型训练单元190，使用标注有所述叶片轮廓及所述叶片边缘方向的多个所述子图像，采用深度学习算法对所述叶片边缘识别子模型、所述叶片边缘方向子模型及所述叶片植物分类子模型进行训练，以得到训练后的特征提取模型及轮廓特征集。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的叶片特征提取装置100的具体工作过程，可以参考前述方法中的对应过程，在此不再过多赘述。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现，基于这样的理解，本发明的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施场景所述的方法。
综上所述，本发明提供一种叶片特征提取方法及装置。该方法通过获取包括有叶片的图像并作为待识别图像；通过训练后的特征提取模型，在待识别图像上进行搜索，得到M个包括轮廓点及相应标识码的子图像，M为大于0的整数；基于M个子图像确定目标叶片的颜色纹理特征及N个候选边缘轮廓，N为大于0的整数；将N个候选边缘轮廓中的每个候选边缘轮廓与特征提取模型中的预存轮廓特征集中的轮廓特征进行匹配，并计算每个候选边缘轮廓与预存轮廓特征集中的单个轮廓特征的相似度；从N个候选边缘轮廓得到的相似度中选取相似度最大的轮廓特征作为目标叶片的目标轮廓特征；将M个子图像的颜色纹理特征与目标轮廓特征相关联以作为目标叶片的叶片特征。本方案采用基于深度学习的特征提取模型，可自动对叶片特征进行提取，从而提高提取叶片特征的效率，有助于加速利用叶片特征识别植物种类的速度。另外，轮廓特征与颜色纹理特征相结合，有利于利用提取的叶片特征提高对植物种类识别的准确率。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种叶片特征提取方法，其特征在于，应用于图像处理设备，所述图像处理设备包括基于深度学习的特征提取模型，所述方法包括：
获取包括有叶片的图像并作为待识别图像；
通过训练后的特征提取模型，在所述待识别图像上进行搜索，以确定目标叶片，并基于所述目标叶片得到M个包括轮廓点及相应标识码的子图像，M为大于0的整数；
基于M个包括轮廓点及相应标识码的所述子图像确定所述目标叶片的颜色纹理特征及N个候选边缘轮廓，N为大于0的整数；
将所述N个候选边缘轮廓中的每个候选边缘轮廓与所述特征提取模型中的预存轮廓特征集中的轮廓特征进行匹配，并计算每个所述候选边缘轮廓与所述预存轮廓特征集中的单个轮廓特征的相似度；
从所述N个候选边缘轮廓得到的所述相似度中选取相似度最大的轮廓特征作为所述目标叶片的目标轮廓特征；
将M个所述子图像的颜色纹理特征与所述目标轮廓特征相关联以作为所述目标叶片的叶片特征。
2.根据权利要求1所述的方法，其特征在于，所述特征提取模型包括：叶片边缘识别子模型、叶片边缘方向子模型以及叶片植物分类子模型；所述获取包括有叶片的图像并作为待识别图像之前，所述方法还包括：
获取训练图像集，包括多个训练图像，所述训练图像为包括有叶片的图像，且所述训练图像预先标注有待训练特征及叶片对应的植物种类，所述待训练特征包括基于子图像的叶片轮廓、基于所述子图像的叶片边缘方向、基于所述训练图像的叶片形状方向，且所述待训练特征与所述植物种类相关联；
将每个所述训练图像分解为具有标识码的M个轮廓点及轮廓点对应子图像；
使用标注有所述叶片轮廓及所述叶片边缘方向的多个所述子图像，采用深度学习算法对所述叶片边缘识别子模型、所述叶片边缘方向子模型及所述叶片植物分类子模型进行训练，以得到训练后的特征提取模型及轮廓特征集。
3.根据权利要求2所述的方法，其特征在于，所述基于M个包括轮廓点及相应标识码的所述子图像确定所述目标叶片的颜色纹理特征及N个候选边缘轮廓，包括：
使用所述叶片边缘识别子模型及所述叶片边缘方向子模型对每个所述子图像进行特征提取，以得到与M个所述子图像对应的颜色纹理特征及多个轮廓及多个边缘方向；
根据M个所述子图像对应的颜色纹理特征、所述多个轮廓及所述多个边缘方向，确定目标叶片的颜色纹理特征及N个候选边缘轮廓。
4.根据权利要求2所述的方法，其特征在于，所述特征提取模型还包括叶片形状方向子模型；在所述待识别图像中的叶片为不完整的叶片时，所述方法还包括：
所述叶片形状方向子模型基于所述叶片边缘识别子模型得到的所述叶片轮廓，及所述叶片边缘方向子模型得到的叶片边缘方向，对不完整部分进行复原，以得到完整叶片的叶片轮廓及叶片边缘方向。
5.根据权利要求2所述的方法，其特征在于，所述采用深度学习算法对所述叶片植物分类子模型进行训练，包括：
获取测试图像集，所述测试图像集包括多个测试图像，所述测试图像为包括有实际植物种类标签的叶片图像；
将所述测试图像输入所述特征提取模型进行分类，得到测试标签；
根据所述测试标签与所述实际植物种类标签调整所述叶片植物分类子模型。
6.根据权利要求2所述的方法，其特征在于，所述使用标注有所述叶片轮廓及所述叶片边缘方向的多个所述子图像，采用深度学习算法对所述叶片边缘识别子模型、所述叶片边缘方向子模型及所述叶片植物分类子模型进行训练，包括：
构建多层卷积层及与多层池化层，输入多个所述子图像；
多个所述子图像经所述多层卷积层以及所述多层池化层运算处理，得到相应的轮廓特征。
7.根据权利要求1所述的方法，其特征在于，所述图像处理设备预先建立并存储有叶片特征与植物种类的关联关系，所述方法还包括：
基于所述关联关系并根据所述叶片特征确定所述目标叶片的植物种类。
8.一种叶片特征提取装置，特征在于，应用于图像处理设备，所述图像处理设备包括基于深度学习的特征提取模型，所述叶片特征提取装置包括：
第一获取单元，用于获取包括有叶片的图像并作为待识别图像；
搜索单元，通过训练后的特征提取模型，在所述待识别图像上进行搜索，以确定目标叶片，并基于所述目标叶片得到M个包括轮廓点及相应标识码的子图像，M为大于0的整数；
确定单元，基于M个包括轮廓点及相应标识码的所述子图像确定所述目标叶片的颜色纹理特征及N个候选边缘轮廓，N为大于0的整数；
匹配单元，用于将所述N个候选边缘轮廓中的每个候选边缘轮廓与所述特征提取模型中的预存轮廓特征集中的轮廓特征进行匹配，并计算每个所述候选边缘轮廓与所述预存轮廓特征集中的单个轮廓特征的相似度；
选取单元，用于从所述N个候选边缘轮廓得到的所述相似度中选取相似度最大的轮廓特征作为所述目标叶片的目标轮廓特征；
关联单元，用于将M个所述子图像的颜色纹理特征与所述目标轮廓特征相关联以作为所述目标叶片的叶片特征。
9.根据权利要求8所述的叶片特征提取装置，其特征在于，所述特征提取模型包括：叶片边缘识别子模型、叶片边缘方向子模型以及叶片植物分类子模型；所述叶片特征提取装置还包括第二获取单元、分割单元以及模型训练单元，在所述第一获取单元获取包括有叶片的图像并作为待识别图像之前：
所述第二获取单元，用于获取训练图像集，包括多个训练图像，所述训练图像为包括有叶片的图像，且所述训练图像预先标注有待训练特征及叶片对应的植物种类，所述待训练特征包括基于子图像的叶片轮廓、基于所述子图像的叶片边缘方向、基于所述训练图像的叶片形状方向，且所述待训练特征与所述植物种类相关联；
所述分割单元，用于将每个所述训练图像分解为具有标识码的M个轮廓点及轮廓点对应子图像；
所述模型训练单元，用于使用标注有所述叶片轮廓及所述叶片边缘方向的多个所述子图像，采用深度学习算法对所述叶片边缘识别子模型、所述叶片边缘方向子模型及所述叶片植物分类子模型进行训练，以得到训练后的特征提取模型及轮廓特征集。
10.根据权利要求9所述的叶片特征提取装置，其特征在于，所述确定单元还用于：
使用所述叶片边缘识别子模型及所述叶片边缘方向子模型对每个所述子图像进行特征提取，以得到与M个所述子图像对应的颜色纹理特征及多个轮廓及多个边缘方向；
根据M个所述子图像对应的颜色纹理特征、所述多个轮廓及所述多个边缘方向，确定目标叶片的颜色纹理特征及N个候选边缘轮廓。
CN201811466561.5A 2018-12-03 2018-12-03 叶片特征提取方法及装置 Active CN109558883B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811466561.5A CN109558883B (zh) 2018-12-03 2018-12-03 叶片特征提取方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811466561.5A CN109558883B (zh) 2018-12-03 2018-12-03 叶片特征提取方法及装置

Publications (2)

Publication Number Publication Date
CN109558883A true CN109558883A (zh) 2019-04-02
CN109558883B CN109558883B (zh) 2023-04-18

Family

ID=65868711

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811466561.5A Active CN109558883B (zh) 2018-12-03 2018-12-03 叶片特征提取方法及装置

Country Status (1)

Country Link
CN (1) CN109558883B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860533A (zh) * 2019-04-30 2020-10-30 深圳数字生命研究院 图像的识别方法及装置、存储介质和电子装置
CN114299299A (zh) * 2021-11-29 2022-04-08 苏州浪潮智能科技有限公司 一种树叶特征提取方法、装置、计算机设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778897A (zh) * 2016-12-29 2017-05-31 西京学院 基于余弦距离和中心轮廓距离的两次植物物种识别方法
WO2017215206A1 (zh) * 2016-06-17 2017-12-21 深圳市易特科信息技术有限公司 植物自动识别系统和方法
CN107742290A (zh) * 2017-10-18 2018-02-27 成都东谷利农农业科技有限公司 植物病害识别预警方法及装置
CN107886114A (zh) * 2017-10-27 2018-04-06 小草数语（北京）科技有限公司 植物叶片的特征提取方法、识别方法、装置和计算机设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017215206A1 (zh) * 2016-06-17 2017-12-21 深圳市易特科信息技术有限公司 植物自动识别系统和方法
CN106778897A (zh) * 2016-12-29 2017-05-31 西京学院 基于余弦距离和中心轮廓距离的两次植物物种识别方法
CN107742290A (zh) * 2017-10-18 2018-02-27 成都东谷利农农业科技有限公司 植物病害识别预警方法及装置
CN107886114A (zh) * 2017-10-27 2018-04-06 小草数语（北京）科技有限公司 植物叶片的特征提取方法、识别方法、装置和计算机设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
南楠: "基于图像识别的植物叶片分类研究", 《三门峡职业技术学院学报》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860533A (zh) * 2019-04-30 2020-10-30 深圳数字生命研究院 图像的识别方法及装置、存储介质和电子装置
CN111860533B (zh) * 2019-04-30 2023-12-12 深圳数字生命研究院 图像的识别方法及装置、存储介质和电子装置
CN114299299A (zh) * 2021-11-29 2022-04-08 苏州浪潮智能科技有限公司 一种树叶特征提取方法、装置、计算机设备和存储介质
CN114299299B (zh) * 2021-11-29 2024-01-23 苏州浪潮智能科技有限公司 一种树叶特征提取方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN109558883B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
JP6926335B2 (ja) 深層学習における回転可変物体検出
CN111161311A (zh) 一种基于深度学习的视觉多目标跟踪方法及装置
CN108805070A (zh) 一种基于嵌入式终端的深度学习行人检测方法
CN110619059B (zh) 一种基于迁移学习的建筑物标定方法
CN111696101A (zh) 一种基于SE-Inception的轻量级茄科病害识别方法
CN108537115B (zh) 图像识别方法、装置及电子设备
CN109993164A (zh) 一种基于rcrnn神经网络的自然场景文字识别方法
CN107463954B (zh) 一种模糊异谱图像的模板匹配识别方法
CN104680178B (zh) 基于迁移学习多吸引子细胞自动机的图像分类方法
Alimboyong et al. An improved deep neural network for classification of plant seedling images
CN108537168A (zh) 基于迁移学习技术的面部表情识别方法
CN110222215A (zh) 一种基于f-ssd-iv3的作物害虫检测方法
CN102136024A (zh) 生物特征识别性能测评和诊断优化系统
CN113223027A (zh) 基于PolarMask的未成熟柿子分割方法及系统
CN109508746A (zh) 基于卷积神经网络的脉冲星候选体识别方法
WO2020114135A1 (zh) 特征识别的方法及装置
CN113361645A (zh) 基于元学习及知识记忆的目标检测模型构建方法及系统
CN109558883A (zh) 叶片特征提取方法及装置
Yu et al. Exemplar-based recursive instance segmentation with application to plant image analysis
CN113435254A (zh) 一种基于哨兵二号影像的耕地深度学习提取方法
CN115018039A (zh) 一种神经网络蒸馏方法、目标检测方法以及装置
CN115409870A (zh) 基于脉冲编码可学习snn的目标跟踪方法及电子设备
CN110839242B (zh) 异常号码识别方法及装置
CN110796268A (zh) 确定业务处理模型超参数的方法和装置
CN110309774A (zh) 虹膜图像分割方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant