CN206236111U - 一种基于语音交互的叶片图像植物自动识别装置 - Google Patents

Abstract

本实用新型涉及一种基于语音交互的叶片图像植物自动识别装置，根据植物的叶片特征进行植物物种识别并与用户进行语音交互，所述装置包括通过无线网络互相连接的IOS客户端和服务器端，所述IOS客户端包括图像采集模块、图像处理识别模块、人机交互界面、客户端数据存储器和客户端网络通信器，所述图像处理识别模块分别与图像采集模块、人机交互界面、客户端数据存储器和客户端网络通信器连接，所述人机交互界面与图像采集模块连接，所述客户端网络通信器与服务器端连接，IOS客户端还包括语音交互模块，语音交互模块分别与图像采集模块和图像处理识别模块连接。与现有技术相比，本实用新型具有自动识别、语音交互、易于操作以及识别精度高等优点。

Description

一种基于语音交互的叶片图像植物自动识别装置

技术领域

本实用新型涉及数字图像处理和模式识别技术领域，尤其是涉及一种基于语音交互的叶片图像植物自动识别装置。

背景技术

地球上大约有400000种植物，我国是世界第二大植物物种资源库。植物物种的分类和识别是植物学研究和农业生产的重要基础工作，是人类认识植物，掌握植物的进化规律，了解植物的基本特性并且加以利用的基础。

传统的植物分类学研究一般对采集的标本人工测量、获得数据，综合植物的外部特征，通过人们的经验常识进行分类，这种方法工作量巨大，主观性强，导致识别的正确率不高。随着计算机图像处理技术和人工智能技术的发展，物体识别的技术也逐渐渗透到了植物物种识别领域，由于农业发展的需要，植物物种的机器识别应运而生，特别是农作物的生长发育、质量产量检测和病虫害检测等方面，植物物种识别都发挥着重要作用。植物物种机器识别技术最早可以追溯到1986年，Ingrouille等人采用27种叶形特征，使用了主成分分析方法(PCA)对橡树进行了分类识别。同年，Guyer DE等人也发表了其研究成果，Guyer等人通过光谱分析和数学推导等方法论证了通过图像识别技术进行物种识别的两个重要的基础理论，光谱对叶片和泥土的反射的的区别足以分割叶片和背景以及不同植物物种叶片的形状差异足以区分植物物种。1993年，Guyer再次发表了新的研究成果，通过精确定位叶片图像轮廓上的点得到了植物叶片的形状特征，并提取了17中叶形特征作为分类器的输入数据实现了40种植物物种的可视化识别；1996年，Yonekawa等人研究发现，简单的叶片形状因子对于植物叶片识别是有效的，运用判别式分析、匹配和机器学习等方法进行植物叶片分类识别可以取得良好的效果。1997年，Abbasi等利用多尺度曲率空间(CSS)方法来描述叶片形状，并用来对菊花进行分类。Mokhtarian等在2004年又发展了这种方法，用于自遮掩的叶片识别。Belhumeur P.N等在2008年实现一种植物物种鉴别的可视化系统软件，该软件依托美国国家植物标本库，收集了上千种黑色背景的植物叶片图像，并在植物学家的帮助下分类标签了，软件读取待得到植物叶片图像后进行特征提取和分类，经过数秒的时间可返回匹配度最高的植物物种，包括该植物的文字和图片介绍。然而这些方法都是针对于传统的台式机所进行设计的识别方法。由于植物的生长环境基本都在室外，传统的台式机，笔记本不适合随身携带来采集识别植物叶片，而手持设备体积小，方便携带，并且摄像系统的普及以及4G时代的到来，将十分有利于利用手机采集叶片，通过单机或者联网的形式对植物叶片进行处理识别。

专利CN204926123U提供了一种基于手持终端叶片图像的植物物种识别装置，可以通过手持设备等对室外植物进行物种识别，然而该装置需要全程手动操作来实现植物叶片的识别，在野外或恶劣天气时，用户可能不便于手动操控识别装置进行拍照，继而无法完成植物的物种识别。

实用新型内容

本实用新型的目的是针对上述问题提供一种基于语音交互的叶片图像植物自动识别装置。

本实用新型的目的可以通过以下技术方案来实现：

一种基于语音交互的叶片图像植物自动识别装置，用以根据植物的叶片特征进行植物物种识别并与用户进行语音交互，所述装置包括通过无线网络互相连接的IOS客户端和服务器端，所述IOS客户端包括图像采集模块、图像处理识别模块、人机交互界面、客户端数据存储器和客户端网络通信器，所述图像处理识别模块分别与图像采集模块、人机交互界面、客户端数据存储器和客户端网络通信器连接，所述人机交互界面与图像采集模块连接，所述客户端网络通信器与服务器端连接，所述IOS客户端还包括语音交互模块，所述语音交互模块分别与图像采集模块和图像处理识别模块连接。

所述语音交互模块包括麦克风、扬声器和MCU控制器，所述麦克风和扬声器均与MCU控制器连接，所述MCU控制器分别与图像采集模块和图像处理识别模块连接。

所述图像采集模块包括摄像头组件、外接闪光灯、图像传感器、曝光控制器和拍摄控制器，所述拍摄控制器分别与摄像头组件、外接闪光灯、曝光控制器和语音交互模块连接，所述图像传感器分别与摄像头组件和图像处理识别模块连接。

所述摄像头组件包括长焦摄像头和广角摄像头，所述长焦摄像头和广角摄像头的像素均为1200万。

所述图像识别处理模块包括图像处理器、图像降噪器、单机图像分类器和本地叶片数据存储器，所述图像处理器分别与图像采集器和客户端数据存储器连接，所述图像降噪器分别与图像处理器、单机图像分类器和客户端网络通信器连接，所述单机图像分类器分别与本地叶片数据存储器、人机交互界面和语音交互模块连接，所述客户端网络通信器分别与人机交互界面和语音交互模块连接。

所述图像处理器包括A10Fusion四核处理器。

所述图像降噪器包括ISP图像处理器。

所述服务器端包括植物物种数据库、网络图像分类器和服务器端接收发送器，所述网络图像分类器分别与植物物种数据库和服务器端接收发送器连接，所述服务器端接收发送器与客户端网络通信器连接。

与现有技术相比，本实用新型具有以下有益效果：

(1)本装置设有语音交互模块，可以与用户进行语音交互，控制拍照并播放识别结果，便于用户操作的同时适用于各种恶劣环境，适用范围广，方便程度高。

(2)图像采集模块采用的摄像头组件为双摄像头，包括长焦摄像头和广角摄像头，且两个摄像头的像素达到1200万，拍摄结果好，便于后续进行识别，提高识别精度。

(3)图像识别处理模块设有单机图像分类器，可以对叶片进行本地识别，在网络通信不良好的地方也可以进行叶片识别，同时由于避免了联网提高了识别的速度，进一步增强了叶片识别的方便程度。

(4)图像识别处理模块除了可以对图像采集模块采集到的叶片图像进行识别以外，也可以对客户端数据存储器内存储的图像进行识别，可以根据用户的需求自行进行选择，使用灵活方便。

(5)图像处理器采用A10Fusion四核处理器，处理速度快，同时利用ISP图像处理器对图像进行降噪，进一步提高了叶片图像的精度，便于后续通过单机图像分类器对图像进行识别。

(6)设置有本地叶片数据存储器，可以自行进行扩充，在用户识别到本地叶片数据存储器中未识别过的叶片后，可以将信息存储至本地叶片数据存储器中，使用方便且灵活性强。

附图说明

图1为本实用新型的结构示意图；

其中，1为IOS客户端，2为服务器端，11为图像采集模块，12为图像处理识别模块，13为人机交互界面，14为客户端数据存储器，15为客户端网络通信器，16为语音交互模块，21为植物物种数据库，22为网络图像分类器，23为服务器端接收发送器。

具体实施方式

下面结合附图和具体实施例对本实用新型进行详细说明。本实施例以本实用新型技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本实用新型的保护范围不限于下述的实施例。

如图1所示为一种基于语音交互的叶片图像植物自动识别装置，用以根据植物的叶片特征进行植物物种识别并与用户进行语音交互，该装置包括通过无线网络互相连接的IOS客户端1和服务器端2，IOS客户端1包括图像采集模块11、图像处理识别模块12、人机交互界面13、客户端数据存储器14和客户端网络通信器15，图像处理识别模块12分别与图像采集模块11、人机交互界面13、客户端数据存储器14和客户端网络通信器15连接，人机交互界面13与图像采集模块11连接，客户端网络通信器15与服务器端2连接，客户端还包括语音交互模块16，语音交互模块16分别与图像采集模块11和图像处理识别模块12连接。

其中，语音交互模块16包括麦克风、扬声器和MCU控制器，麦克风和扬声器均与MCU控制器连接，MCU控制器分别与图像采集模块11和图像处理识别模块12连接。图像采集模块11包括摄像头组件、外接闪光灯、图像传感器、曝光控制器和拍摄控制器，拍摄控制器分别与摄像头组件、外接闪光灯、曝光控制器和语音交互模块16连接，图像传感器分别与摄像头组件和图像处理识别模块12连接。摄像头组件包括长焦摄像头和广角摄像头，长焦摄像头和广角摄像头的像素均为1200万。图像识别处理模块包括图像处理器、图像降噪器、单机图像分类器和本地叶片数据存储器，图像处理器分别与图像采集器和客户端数据存储器14连接，图像降噪器分别与图像处理器、单机图像分类器和客户端网络通信器15连接，单机图像分类器分别与本地叶片数据存储器、人机交互界面13和语音交互模块16连接，客户端网络通信器15分别与人机交互界面13和语音交互模块16连接。服务器端2包括植物物种数据库21、网络图像分类器22和服务器端接收发送器23，网络图像分类器22分别与植物物种数据库21和服务器端接收发送器23连接，服务器端接收发送器23与客户端网络通信器15连接。上述图像处理器采用的是A10Fusion四核处理器。图像降噪器采用的是ISP图像处理器。

利用上述装置进行叶片图像植物的自动识别过程如下：用户通过人机交互界面13或语音交互模块16控制图像采集模块11采集叶片图像传输给图像处理器(通过语音交互模块16控制时，首先通过麦克风下达采集命令，MCU控制器对采集命令进行识别并在识别到采集命令时产生控制信号至图像采集模块11)，或图像处理器直接选取客户端数据存储器14中的叶片图像，图像处理器对图像进行简单的灰度化、调整大小和边缘补充等处理并传输给图像降噪器，图像降噪器通过张量总变分完成叶片图像的降噪处理，然后判断有无联网，在无网络连接时将叶片图像传输至图像单机图像分类器，通过图像单机分类器得到叶片图像分类结果，并从手机叶片数据库中获取植物信息传送给人机交互界面13，同时通过语音交互模块16的扬声器对识别分类结果进行播放；有网络连接时则通过客户端网络通信器15将叶片图像传输至服务器端2，服务器端2的网络图像分类器22对客户端传来的叶片分类，并调用植物物种数据库21中植物的图像数据对图像进行对比识别，并将识别结果通过服务器端接收发送器23回传给客户端网络通信器15，并将最终结果显示在人机交互界面13上并通过语音交互界面的麦克风进行播放。

Claims (8)

1.一种基于语音交互的叶片图像植物自动识别装置，用以根据植物的叶片特征进行植物物种识别并与用户进行语音交互，所述装置包括通过无线网络互相连接的IOS客户端和服务器端，所述IOS客户端包括图像采集模块、图像处理识别模块、人机交互界面、客户端数据存储器和客户端网络通信器，所述图像处理识别模块分别与图像采集模块、人机交互界面、客户端数据存储器和客户端网络通信器连接，所述人机交互界面与图像采集模块连接，所述客户端网络通信器与服务器端连接，其特征在于，所述IOS客户端还包括语音交互模块，所述语音交互模块分别与图像采集模块和图像处理识别模块连接。

2.根据权利要求1所述的基于语音交互的叶片图像植物自动识别装置，其特征在于，所述语音交互模块包括麦克风、扬声器和MCU控制器，所述麦克风和扬声器均与MCU控制器连接，所述MCU控制器分别与图像采集模块和图像处理识别模块连接。

3.根据权利要求1所述的基于语音交互的叶片图像植物自动识别装置，其特征在于，所述图像采集模块包括摄像头组件、外接闪光灯、图像传感器、曝光控制器和拍摄控制器，所述拍摄控制器分别与摄像头组件、外接闪光灯、曝光控制器和语音交互模块连接，所述图像传感器分别与摄像头组件和图像处理识别模块连接。

4.根据权利要求3所述的基于语音交互的叶片图像植物自动识别装置，其特征在于，所述摄像头组件包括长焦摄像头和广角摄像头，所述长焦摄像头和广角摄像头的像素均为1200万。

5.根据权利要求1所述的基于语音交互的叶片图像植物自动识别装置，其特征在于，所述图像识别处理模块包括图像处理器、图像降噪器、单机图像分类器和本地叶片数据存储器，所述图像处理器分别与图像采集器和客户端数据存储器连接，所述图像降噪器分别与图像处理器、单机图像分类器和客户端网络通信器连接，所述单机图像分类器分别与本地叶片数据存储器、人机交互界面和语音交互模块连接，所述客户端网络通信器分别与人机交互界面和语音交互模块连接。

6.根据权利要求5所述的基于语音交互的叶片图像植物自动识别装置，其特征在于，所述图像处理器包括A10Fusion四核处理器。

7.根据权利要求5所述的基于语音交互的叶片图像植物自动识别装置，其特征在于，所述图像降噪器包括ISP图像处理器。

8.根据权利要求1所述的基于语音交互的叶片图像植物自动识别装置，其特征在于，所述服务器端包括植物物种数据库、网络图像分类器和服务器端接收发送器，所述网络图像分类器分别与植物物种数据库和服务器端接收发送器连接，所述服务器端接收发送器与客户端网络通信器连接。