CN112419323A - 基于可穿戴式麦穗采集装置的麦穗计数方法 - Google Patents

基于可穿戴式麦穗采集装置的麦穗计数方法 Download PDF

Info

Publication number
CN112419323A
CN112419323A CN202011321459.3A CN202011321459A CN112419323A CN 112419323 A CN112419323 A CN 112419323A CN 202011321459 A CN202011321459 A CN 202011321459A CN 112419323 A CN112419323 A CN 112419323A
Authority
CN
China
Prior art keywords
image
ear
wearable
images
wheat
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011321459.3A
Other languages
English (en)
Other versions
CN112419323B (zh
Inventor
张东彦
李威风
杨琦
张文豪
罗瀚森
汪志存
梁栋
谷春艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Nongdao Intelligent Technology Co ltd
Anhui University
Original Assignee
Anhui Nongdao Intelligent Technology Co ltd
Anhui University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Nongdao Intelligent Technology Co ltd, Anhui University filed Critical Anhui Nongdao Intelligent Technology Co ltd
Priority to CN202011321459.3A priority Critical patent/CN112419323B/zh
Publication of CN112419323A publication Critical patent/CN112419323A/zh
Application granted granted Critical
Publication of CN112419323B publication Critical patent/CN112419323B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image

Abstract

本发明特别涉及一种基于可穿戴式麦穗采集装置的麦穗计数方法,包括如下步骤:S100、通过可穿戴式采集装置采集田间麦穗图像并将麦穗图像发送到服务器中;S200、服务器对采集到的图像进行预处理后输入至训练好的分割模型中进行分割后得到麦穗分割图;S300、将麦穗分割图输入至训练好的计数模型中统计麦穗数量并发送至采集装置上显示。采集装置可以方便的对田间麦穗进行图像采集,再将采集到的图像发送至服务器上进行麦穗的计数处理,这样采集装置无需进行数据处理,可以减少其体积便于携带;服务器上设置的分割模型可以方便的进行麦穗分割和计数,最后将统计的麦穗数量发送回采集装置上进行显示,这样对现场的工作人员来说,操作非常简便。

Description

基于可穿戴式麦穗采集装置的麦穗计数方法
技术领域
本发明涉及数字农业监控技术领域,特别涉及一种基于可穿戴式麦穗采集装置的麦穗计数方法。
背景技术
小麦作为全球主要的粮食作物之一,可为人们提供人体一些必须的营养元素,它的充足供应对保障全球的粮食安全至关重要。麦穗计数是预测小麦产量的一种重要手段,对小麦新品种培育、病损灾害评估和优质生产具有重要的意义。小麦赤霉病是一种常见的小麦病害,主要由禾谷镰刀菌引起的,发病后可以引起整株麦穗籽粒变质,是造成小麦减产的一个重要因素之一,且该病害在全球分布广泛。更为重要的是,禾谷镰刀菌产生的毒素脱氧雪腐烯醇(DON)对人畜危害极大,甚至会引起中毒。因此,对小麦赤霉病的无损监测研究意义重大。
在小麦生长期内,工作人员常需要去现场检查田间麦穗的生长情况,有时还需要统计局部区域麦穗数量,现在的统计方法有两种:其一,是通过人工计数的方式,直接现场数麦穗的数量;其二,现场通过数码相机拍摄麦穗图像,然后带回去导入电脑中,使用图像识别算法进行麦穗个数识别。第一种方案耗时耗力,第二种方案即时性不够。
发明内容
本发明的目的在于提供一种基于可穿戴式麦穗采集装置的麦穗计数方法,可以方便、准确的进行田间麦穗计数。
为实现以上目的,本发明采用的技术方案为:一种基于可穿戴式麦穗采集装置的麦穗计数方法,包括如下步骤:S100、通过可穿戴式采集装置采集田间麦穗图像并将其发送到服务器中;S200、服务器对采集到的图像进行预处理后输入至训练好的分割模型中进行分割后得到麦穗分割图;S300、将麦穗分割图输入至训练好的计数模型中统计麦穗数量并发送至可穿戴式采集装置上显示。
与现有技术相比,本发明存在以下技术效果:通过设置可穿戴式的采集装置,可以方便的对田间麦穗进行图像采集,再将采集到的图像发送至服务器上进行麦穗的计数处理,这样采集装置无需进行数据处理,可以减少其体积便于携带;同时,在服务器上设置分割模型可以方便的对麦穗区域和非麦穗区域进行分割,再通过计数模型可以方便的统计分割后图像中的麦穗数量,最后将统计的麦穗数量发送回可穿戴式采集装置上进行显示,这样对现场的工作人员来说,操作非常简便。
附图说明
图1是分割模型结构图;
图2是计数模型结构图;
图3是本发明的结构示意图;
图4是帽子的结构示意图;
图5是帽子另一个角度结构示意图;
图6是眼镜的结构示意图;
图7是眼镜另一个角度结构示意图。
具体实施方式
下面结合图1至图7,对本发明做进一步详细叙述。
本发明公开了一种基于可穿戴式麦穗采集装置的麦穗计数方法,包括如下步骤:S100、通过可穿戴式采集装置采集田间麦穗图像并将其发送到控制端300中;S200、控制端300对采集到的图像进行预处理后输入至训练好的分割模型中进行分割后得到麦穗分割图;S300、将麦穗分割图输入至训练好的计数模型中统计麦穗数量并发送至可穿戴式采集装置上显示。通过设置可穿戴式的采集装置,可以方便的对田间麦穗进行图像采集,再将采集到的图像发送至控制端300上进行麦穗的计数处理,这样采集装置无需进行数据处理,可以减少其体积便于携带;同时,在控制端300上设置分割模型可以方便的对麦穗区域和非麦穗区域进行分割,再通过计数模型可以方便的统计分割后图像中的麦穗数量,最后将统计的麦穗数量发送回可穿戴式采集装置上进行显示,这样对现场的工作人员来说,操作非常简便。
进一步地,所述的步骤S200中的分割模型是通过Unet++网络模型按如下步骤训练得到:S210、按照步骤S100采集田间麦穗图像得到原始图像,人工标注原始图像中的麦穗和非麦穗区域;S220、对采集的原始图像依次进行裁剪、滑窗以及灰度化处理后得到滑窗子图像;S230、对滑窗子图像进行数据增广获得第一样本图像;S240、将第一样本图像按一定比例随机分为第一训练集和第一验证集;S250、将第一训练集图像和其对应的人工标注的二值化掩膜图像作为Unet++网络模型的输入对Unet++网络模型进行训练;S260、模型训练过程中,第一验证集图像及其人工标注的二值化掩膜图像会被反复代入Unet++网络模型中计算损失值,若损失值满足设定阈值,则将该模型作为最终的分割模型输出,否则返回步骤S230重新获得第一样本图像。通过对Unet++网络模型进行训练,可以得到用于麦穗分割的模型,该训练方法简单、可靠,在正常的麦穗计数流程中,无需每次都进行分割模型的训练,只需要在前期将模型训练好以后保存在控制端300中即可,后续使用时,只需要导入待检测的田间麦穗图像,即可直接输出对应的分割图,非常方便。
参阅图1,进一步地,所述的步骤S250中,Unet++网络模型包括五层特征提取模块;图1中圆圈部分即代表一个特征提取模块,每个特征提取模块由两个3×3卷积层组成,每个卷积层后面都有一个整流线性单元激活函数;每一层特征提取的途中利用跳跃式传递即Skip-connection把每一个特征提取模块的输出和下一层相邻特征提取模块的输出合并后再经过一次特征提取,从而达到上层特征和下层特征融合的目的;上一层提取的特征图像经过下采样模块即Down-sampling将提取的特征送往下一层,比如第一层是64*64,下采样之后是32*32(这是在2×2最大池化的情况下),从而获得更深层和高维的图像特征;经过特征提取后,每一个下层都经过上采样即Up-sampling将该层的特征图返回到上一层,总共也是5层上采样。上采样就是下采样相反的操作,把之前的图像特种图填充扩大然后向上一层返回,比如32*32上采样后变为64*64(在2×2解卷积层的情况下)。步骤S260中,分割模型输出的灰度图通过Otsu自动阈值分割方法进行处理获得的二值化图像作为麦穗分割图输出。
进一步地,所述的步骤S300中的计数模型是通过CNN网络模型按如下步骤训练得到:S310、人工统计步骤S260中输出的二值化的麦穗分割图中麦穗数量,并为每张图贴上分类标签;S320、对步骤S260中输出的二值化的麦穗分割图进行数据增广获得第二样本图像;S330、将第二样本图像按一定比例随机分为第二训练集和第二验证集;S340、将第二训练集图像和其对应的分类标签作为CNN网络模型的输入对CNN网络模型进行训练;S350、模型训练过程中,第二验证集图像及其分类标签会被反复代入CNN网络模型中计算损失值,若损失值满足设定阈值,则将该模型作为最终的计数模型输出,否则返回步骤S320重新获得第二样本图像。CNN网络非常适合从分割后的图像中进行麦穗数量的统计,故这里通过对CNN网络模型进行训练,可以得到用于麦穗计数的模型,该训练方法简单、可靠,在正常的麦穗计数流程中,无需每次都进行麦穗计数模型的训练,只需要在前期将模型训练好以后保存在控制端300中即可,后续使用时,只需要将麦穗分割后的图像导入该计数模型中,即可直接输出对应的麦穗数量,非常方便。
参阅图2,进一步地,所述的步骤S340中,CNN网络模型由三个卷积层、三个最大池化层、一个Flatten层和三个全连接层组建的多分类卷积神经网络,卷积层的卷积核大小是3×3,每个卷积层后面都有一个整流线性单元激活函数,最大池化层的卷积核大小是2×2,Flatten层用于将上一层的输出特征图展开变成一维向量,全连接层用于将上一层的一维向量进行特征整合。采用该种结构的CNN网络模型,可以训练出更为准确的麦穗计数模型,提高麦穗计数的精确度。
进一步地,所述的步骤S220中,滑窗大小为768*768像素大小,这里滑窗大小选择768*768,是为了保证一张图像中有足够多的麦穗可见,一般一张图中10-30个麦穗效果最佳,实际应用时,根据采集装置所拍摄图像大小的不同,可能会选择不同的滑窗大小,本实施例中,采集的原始图像是6016*4000像素大小的RGB格式图像。滑窗后进行resize操作使得图像变成256*256像素大小,灰度化处理的公式为Gray=0.114B+0.587G+0.299R。
由于分割模型和计数模型都是针对768*768像素大小的图像进行的,故这里进一步地,步骤S200中,控制端300对采集到的图像按如下步骤进行预处理:S201、根据滑窗大小的整数倍对采集到的图像进行扩大,扩大的区域以相邻区域背景色进行填充(双线性插值法)。S202、依据滑窗大小对扩大后的图像进行切分得到多张子图像,需要注意的是,这里的切分与之前获得训练集图像的滑窗方法有所不同,切分操作是将扩大后的6144*4608像素大小的图像按照768*768像素大小等分为8*6=48张子图像,任意两张子图像之间没有重合区域;滑窗操作是在6144*4608像素大小的原图上截取多张768*768像素大小的滑窗子图像,相邻滑窗子图像之间会存在50%重合区域;步骤S200中,对每张子图像进行Unet网络模型分割,步骤S300中,统计每张子图像中的麦穗数量后进行求和并将求和的结果作为采集到的图像中麦穗数量发送至采集装置上。
进一步地,步骤S230中,数据增广操作包括图像水平翻转、图像垂直翻转两种操作,第一样本图像的数量为3000~7000张,比如本实施例中第一样本数量为3553张;步骤S240中,第一训练集和第一验证集的比例为7:3~8:2,本实施例中选择的第一训练集图像为2841张,第一验证集图像为711张;步骤S250中,Unet++网络模型训练时的参数设置如下:学习率为0.001,训练轮数为80,每轮迭代次数为500,每次迭代器训练图像数为10。同样地,所述的步骤S320中,数据增广操作包括图像水平翻转、图像垂直翻转两种操作,第二样本图像的数量为5000~10000张,本实施例中准备了7104张图像作为第二样本图像;步骤S330中,第二训练集和第二验证集的比例为7:3~8:2;步骤S340中,CNN网络模型训练时的参数设置如下:学习率为0.001,训练轮数为80,每次迭代器训练图像数为10。以上两个模型训练的时间都会比较长,并且随着训练集图像数量的增加而延长,具体训练时间会受电脑配置的影响;但是分割和计数过程时间很短,一般只需要几十毫秒,所以实际应用中控制端300上对麦穗图像进行分割和麦穗计数的处理速度非常快,能够快速的响应并返回麦穗数量。
进一步地,所述的步骤S310中,麦穗数量即为分类标签,这样计数模型输出的分类标签就是麦穗的数量。但是,由于具体麦穗数目是随机浮动的,不一定0-n之间所有的数值都会出现,而CNN模型内部需要标签值是0-n的连续值,这样就无法训练模型,所以本发明中提供了另一种较为优选的实施方式:所述的步骤S310中,所有麦穗分割图中的麦穗数量为0~M个,麦穗数量为[kb+k,(k+1)b+k]时对应的分类标签为k,其中k为{0,1,2,…,N}中任一值,b为常数,N和b的取值要满足如下公式:Nb+N≤M≤(N+1)b+N,步骤S350中输出的分类标签为b时其对应的麦穗数量为
Figure BDA0002793043790000062
我们根据一张图像中具体麦穗数目的不同来给每张图贴上不同的分类标签,并使得分类标签在0-N之间的数目都可以取的到,下面以M=30,b=2,N=10为例,分类标签和麦穗数目的映射关系如下表所示:
Figure BDA0002793043790000061
这个表中的第一行,表示的是在步骤S310中,若分割后图像中有0-2个麦穗,那么将其分类标签标记为1,若分割后图像中有3-5个麦穗,那么将其分类标签标记为2,以此类推。表的第三行,表示的在步骤S350中,若计数模型识别的分类标签是6,那么我们直接认为该图像中有19个麦穗,这样就可以直接根据分类标签得到该图像中的麦穗数量。
参阅图3,所述可穿戴式采集装置通过无线方式连接控制端300,可穿戴式采集装置用于采集田间作物的视频并传输至控制端300并进行显示,控制端300输出控制指令或发出语音至可穿戴式采集装置,可穿戴式采集装置根据控制指令自动拍摄田间图像或根据语音提示手动拍摄田间作物图像。通过设置可穿戴式采集装置和控制端300,将采集和控制分开,这样,在进行田间作物图像采集时,无需专业人士,只需要操作人员穿戴可穿戴式采集装置到达田间,然后由专业的人员在控制端300进行指导,这样就能更为方便的、更快速的拍摄出所需要的图像。
参阅图4和图5,进一步地,所述的可穿戴式采集装置包括可穿戴在采集人员头顶上的帽子100,帽子100包括帽体110、第一相机120、第一话筒130、第一耳机140以及第一无线模块150,第一相机120、第一话筒130、第一耳机140以及第一无线模块150均固定在帽体110上,帽体110可穿戴在采集人员头顶,第一相机120用于拍摄田间作物的视频或图像,第一耳机140用于播放控制端300发出的语音提示,帽子100通过第一无线模块150与控制端300进行无线通讯。将帽子100作为可穿戴式采集装置,可以方便的穿戴在采集人员的头上,并且通过帽子100上设置的第一相机120,可以方便的进行田间作物的拍摄。第一话筒130和第一耳机140的设置,方便与采集人员进行语音交互,从而方便的实现专业人士在控制端300对采集人员进行指导。第一无线模块150可以是wifi模块,也可以是3G/4G/5G网络,根据需要进行设置即可。
进一步地,所述的帽体110包括C型本体111、绑带112、帽檐113以及遮光片114,绑带112设置在C型本体111的开口处,远离绑带112一侧的C型本体111外侧设置有帽檐113,C型本体111上铰接有遮光片114且C型本体111上位于帽檐113处设置有卡槽用于收纳遮光片114。C型本体111具有一定的弹性,可以卡在采集人员的头顶上,并且顶部是敞开的,容易散热;绑带112的作用可以让C型本体111更紧的卡在采集人员头部,让帽体110能够适应不同的头部大小;帽檐113可以方便的遮挡采集人员脸部的阳光;遮光片114相当于墨镜的作用,也可以方便的收纳到C型本体111的卡槽中。
参阅图6和图7,所述的可穿戴式采集装置包括穿戴在采集人员眼睛上的眼镜200,眼镜200包括镜体210、拍照单元220以及电池250,镜体210包括镜框211以及镜框211两侧设置镜腿212,拍照单元220包括设置在镜框211中部的第二相机221以及闪光灯222,第二相机221用于拍摄田间作物的视频或图像,电池250设置在镜腿212中;镜腿212上还设置有第二耳机280和/或喇叭270用于播放控制端300发出的语音提示,眼镜200通过第二无线模块241与控制端300进行通讯。通过设置便于穿戴的眼镜200,并且在眼镜200的镜框211中部设置第二相机221,通过第二相机221来拍摄相片,操作起来十分方便,对操作人员的体力要求大幅降低。
所述的镜框211内侧设置有防尘垫,操作人员戴上眼镜200时防尘垫抵靠在眼睛的周边用于保护眼睛;田间作业环境比较复杂,常有蚊虫以及植物的茎叶,为了进一步提高本装置的使用舒适度,这里设置了防尘垫111,可以避免蚊虫以及植物茎叶进入眼睛中;同时,防尘垫111还可以起到支撑固定眼镜的作用,提高所拍摄图像的清晰度。镜框211用于安放镜片的框体上方设置有换镜板,换镜板上固定设置有磁珠,镜片上方对应位置处设置磁珠,镜片通过磁珠和镜框211构成可拆卸式配合。操作人员在拍摄时,常常需要根据现场环境的不同更换不同的镜片,为了方便镜片的更换,这里将镜片和镜框110设置为可拆卸式配合,并通过磁珠的吸附力固定在一起,装配起来非常的方便。
所述的镜腿212有两个,分别设置在镜框211左右两侧,两个镜腿212的尾部均设置有第二话筒260和喇叭270;电池250设置在其中一个镜腿212中,另一个镜腿212中设置有微处理器240、第二无线模块241、语音模块242以及电源控制模块243,微处理器240与第二无线模块241、语音模块242、电源控制模块243以及第二相机221相连,语音模块242与镜腿212尾部设置的第二话筒260相连,电源控制模块243与电池250相连,喇叭270与微处理器240相连用于播放控制端300发出的语音;操作人员通过语音或按键控制拍照单元220动作并拍摄眼前所看到的图像。设置第二无线模块241以后,眼镜200可以与其他装置进行无线通讯,将拍摄到的图像和视频通过无线网络传输至控制端300。语音模块242的设置,可以对第二话筒260接收到的声音指令进行识别从而实现第二相机221的语音控制;电源控制模块243用于将电池250的输出电压转换成合适的电压为眼镜200中的其他模块供电。
所述的按键设置在容纳有微处理器240的镜腿212上,按键与微处理器240相连,将按键设置在镜腿212上,按压的时候非常的方便。设置有电池250的镜腿212上设置有充电及数据接口,充电及数据接口与电池250以及微处理器240相连,设置充电及数据接口,可以方便对本装置进行充电,也可以方便导出图像。
所述的镜腿212中设置有投影单元230,投影单元230包括OLED显示屏231、透镜232以及反射镜233,OLED显示屏231与微处理器240相连用于显示相机拍摄到的图像,OLED显示屏231显示的图像依次通过透镜232、反射镜233后显示在镜片上。设置投影单元230以后,操作人员通过第二相机221拍摄图像后,可以立刻在OLED显示屏231上显示,从而显示在镜片上,这样可以让操作人员对自己拍摄的图像有个大致的筛选,进而可以拍摄出合适的图像,在控制端300不能及时传达指令时,也能独立完成图像的采集。
所述的镜腿212由厚度相异的两段构成,操作人员戴上眼镜200时位于镜框211和耳朵之间的镜腿212较厚且位于耳朵和耳朵后方的镜腿212较薄,由于镜腿212中需要安装电池250、投影单元230以及各种电路模块,因此需要一定的空间,但同时又要考虑到能够方便的穿戴在操作人员的耳朵上,故这里将镜腿212的厚度设置成相异的两段,靠近镜框211的一段厚度较厚,方便放置其他部件,同时,较薄的一段也能方便的卡在操作人员的耳朵上。第二耳机280位于镜腿212厚度相异的两段的交界处,第二耳机280与微处理器240相连用于播放声音。第二耳机280的作用与喇叭270作用一样,都是为了播放声音,但是第二耳机280更能听清楚,在周围环境比较吵闹的时候,可以使用第二耳机280;长时间戴第二耳机280不舒服的情况下,可以使用喇叭270。
进一步地,所述的控制端300为计算机,计算机包括显示屏310、第三话筒320、第三耳机330、第三无线模块340,计算机通过第三无线模块340与可穿戴式采集装置进行无线通讯,显示屏310用于显示可穿戴式采集装置拍摄的视频和图像,第三话筒320用于采集控制人员发出的语音,第三耳机330用于播放可穿戴式采集装置采集到的语音。通过第三无线模块340,计算机可以与采集人员穿戴的帽子100和/或眼镜200进行数据交互,接收他们拍摄到的图像和视频;同时,也能通过第三话筒320和第三耳机330与采集人员进行及时的沟通,实现远程拍摄指导。在实际应用时,可以将控制端300设置在车辆内部,专业人员将车开到田间的道路上,然后启动WiFi热点;采集人员根据需要穿戴好帽子100或眼镜200,并将帽子100和眼镜200连接WiFi网络,采集人员去田间进行拍照,专业人员在车内进行指挥,方便实现田间作物有效、快速的采集。

Claims (10)

1.一种基于可穿戴式麦穗采集装置的麦穗计数方法,其特征在于:包括如下步骤:
S100、通过可穿戴式采集装置采集田间麦穗图像并将其发送到控制端(300)中;
S200、控制端(300)对采集到的图像进行预处理后输入至训练好的分割模型中进行分割后得到麦穗分割图;
S300、将麦穗分割图输入至训练好的计数模型中统计麦穗数量并发送至可穿戴式采集装置上显示。
2.如权利要求1所述的基于可穿戴式麦穗采集装置的麦穗计数方法,其特征在于:所述的步骤S200中的分割模型是通过Unet++网络模型按如下步骤训练得到:
S210、按照步骤S100采集田间麦穗图像得到原始图像,人工标注原始图像中的麦穗和非麦穗区域;
S220、对采集的原始图像依次进行裁剪、滑窗以及灰度化处理后得到滑窗子图像;
S230、对滑窗子图像进行数据增广获得第一样本图像;
S240、将第一样本图像按一定比例随机分为第一训练集和第一验证集;
S250、将第一训练集图像和其对应的人工标注的二值化掩膜图像作为Unet++网络模型的输入对Unet++网络模型进行训练;
S260、模型训练过程中,第一验证集图像及其人工标注的二值化掩膜图像会被反复代入Unet++网络模型中计算损失值,若损失值满足设定阈值,则将该模型作为最终的分割模型输出,否则返回步骤S230重新获得第一样本图像。
3.如权利要求2所述的基于可穿戴式麦穗采集装置的麦穗计数方法,其特征在于:所述的步骤S250中,Unet++网络模型包括五层特征提取模块;每个特征提取模块由两个3×3卷积层组成,每个卷积层后面都有一个整流线性单元激活函数;每一层特征提取的途中利用跳跃式传递把每一个特征提取模块的输出和下一层相邻特征提取模块的输出合并后再经过一次特征提取;上一层提取的特征图像经过下采样模块将提取的特征送往下一层;每一个下层都经过上采样将该层的特征图返回到上一层进行特征融合;步骤S260中,分割模型输出的灰度图通过Otsu自动阈值分割方法进行处理获得的二值化图像作为麦穗分割图输出。
4.如权利要求3所述的基于可穿戴式麦穗采集装置的麦穗计数方法,其特征在于:所述的步骤S300中的计数模型是通过CNN网络模型按如下步骤训练得到:
S310、人工统计步骤S260中输出的二值化的麦穗分割图中麦穗数量,并为每张图贴上分类标签;
S320、对步骤S260中输出的二值化的麦穗分割图进行数据增广获得第二样本图像;
S330、将第二样本图像按一定比例随机分为第二训练集和第二验证集;
S340、将第二训练集图像和其对应的分类标签作为CNN网络模型的输入对CNN网络模型进行训练;
S350、模型训练过程中,第二验证集图像及其分类标签会被反复代入CNN网络模型中计算损失值,若损失值满足设定阈值,则将该模型作为最终的计数模型输出,否则返回步骤S320重新获得第二样本图像。
5.如权利要求4所述的基于可穿戴式麦穗采集装置的麦穗计数方法,其特征在于:所述的步骤S340中,CNN网络模型由三个卷积层、三个最大池化层、一个Flatten层和三个全连接层组建的多分类卷积神经网络,卷积层的卷积核大小是3×3,每个卷积层后面都有一个整流线性单元激活函数,最大池化层的卷积核大小是2×2,Flatten层用于将上一层的输出特征图展开变成一维向量,全连接层用于将上一层的一维向量进行特征整合。
6.如权利要求5所述的基于可穿戴式麦穗采集装置的麦穗计数方法,其特征在于:所述的步骤S220中,滑窗大小为768*768像素大小,滑窗后进行resize操作使得图像变成256*256像素大小,灰度化处理的公式为Gray=0.114B+0.587G+0.299R;步骤S200中,控制端(300)对采集到的图像按如下步骤进行预处理:
S201、根据滑窗大小的整数倍对采集到的图像进行扩大,扩大的区域以相邻区域背景色进行填充;
S202、依据滑窗大小对扩大后的图像进行切分得到多张子图像;
步骤S200中,对每张子图像进行Unet网络模型分割,步骤S300中,统计每张子图像中的麦穗数量后进行求和并将求和的结果作为采集到的图像中麦穗数量发送至可穿戴式采集装置上。
7.如权利要求6所述的基于可穿戴式麦穗采集装置的麦穗计数方法,其特征在于:步骤S230中,数据增广操作包括图像水平翻转、图像垂直翻转两种操作,第一样本图像的数量为3000~7000张;步骤S240中,第一训练集和第一验证集的比例为7:3~8:2;步骤S250中,Unet++网络模型训练时的参数设置如下:学习率为0.001,训练轮数为80,每轮迭代次数为500,每次迭代器训练图像数为10;
所述的步骤S320中,数据增广操作包括图像水平翻转、图像垂直翻转两种操作,第二样本图像的数量为5000~10000张;步骤S330中,第二训练集和第二验证集的比例为7:3~8:2;步骤S340中,CNN网络模型训练时的参数设置如下:学习率为0.001,训练轮数为80,每次迭代器训练图像数为10;
所述的步骤S310中,麦穗数量即为分类标签,所有麦穗分割图中的麦穗数量为0~M个,麦穗数量为[kb+k,(k+1)b+k]时对应的分类标签为k,其中k为{0,1,2,…,N}中任一值,b为常数,N和b的取值要满足如下公式:Nb+N≤M≤(N+1)b+N,步骤S350中输出的分类标签为b时其对应的麦穗数量为
Figure FDA0002793043780000031
8.如权利要求7所述的基于可穿戴式麦穗采集装置的麦穗计数方法,其特征在于:所述可穿戴式采集装置通过无线方式连接控制端(300),可穿戴式采集装置用于采集田间作物的视频并传输至控制端(300)并进行显示,控制端(300)输出控制指令或发出语音至可穿戴式采集装置,可穿戴式采集装置根据控制指令自动拍摄田间图像或根据语音提示手动拍摄田间作物图像;所述的控制端(300)为计算机,计算机包括显示屏(310)、第三话筒(320)、第三耳机(330)、第三无线模块(340),计算机通过第三无线模块(340)与可穿戴式采集装置进行无线通讯,显示屏(310)用于显示可穿戴式采集装置拍摄的视频和图像,第三话筒(320)用于采集控制人员发出的语音,第三耳机(330)用于播放可穿戴式采集装置采集到的语音。
9.如权利要求8所述的基于可穿戴式麦穗采集装置的麦穗计数方法,其特征在于:所述的可穿戴式采集装置包括可穿戴在采集人员头顶上的帽子(100),帽子(100)包括帽体(110)、第一相机(120)、第一话筒(130)、第一耳机(140)以及第一无线模块(150),第一相机(120)、第一话筒(130)、第一耳机(140)以及第一无线模块(150)均固定在帽体(110)上,帽体(110)可穿戴在采集人员头顶,第一相机(120)用于拍摄田间作物的视频或图像,第一耳机(140)用于播放控制端(300)发出的语音提示,帽子(100)通过第一无线模块(150)与控制端(300)进行无线通讯;
所述的帽体(110)包括C型本体(111)、绑带(112)、帽檐(113)以及遮光片(114),绑带(112)设置在C型本体(111)的开口处,远离绑带(112)一侧的C型本体(111)外侧设置有帽檐(113),C型本体(111)上铰接有遮光片(114)且C型本体(111)上位于帽檐(113)处设置有卡槽用于收纳遮光片(114)。
10.如权利要求8所述的基于可穿戴式麦穗采集装置的麦穗计数方法,其特征在于:所述的可穿戴式采集装置包括穿戴在采集人员眼睛上的眼镜(200),眼镜(200)包括镜体(210)、拍照单元(220)以及电池(250),镜体(210)包括镜框(211)以及镜框(211)两侧设置镜腿(212),拍照单元(220)包括设置在镜框(211)中部的第二相机(221)以及闪光灯(222),第二相机(221)用于拍摄田间作物的视频或图像,电池(250)设置在镜腿(212)中;镜腿(212)上还设置有第二耳机(280)和/或喇叭(270)用于播放控制端(300)发出的语音提示,眼镜(200)通过第二无线模块(241)与控制端(300)进行通讯;
所述的镜框(211)内侧设置有防尘垫,操作人员戴上眼镜(200)时防尘垫抵靠在眼睛的周边用于保护眼睛;镜框(211)用于安放镜片的框体上方设置有换镜板,换镜板上固定设置有磁珠,镜片上方对应位置处设置磁珠,镜片通过磁珠和镜框(211)构成可拆卸式配合;
所述的镜腿(212)有两个,分别设置在镜框(211)左右两侧,两个镜腿(212)的尾部均设置有第二话筒(260)和喇叭(270);电池(250)设置在其中一个镜腿(212)中,另一个镜腿(212)中设置有微处理器(240)、第二无线模块(241)、语音模块(242)以及电源控制模块(243),微处理器(240)与第二无线模块(241)、语音模块(242)、电源控制模块(243)以及第二相机(221)相连,语音模块(242)与镜腿(212)尾部设置的第二话筒(260)相连,电源控制模块(243)与电池(250)相连,喇叭(270)与微处理器(240)相连用于播放控制端(300)发出的语音;操作人员通过语音或按键控制拍照单元(220)动作并拍摄眼前所看到的图像;
所述的按键设置在容纳有微处理器(240)的镜腿(212)上,按键与微处理器(240)相连;设置有电池(250)的镜腿(212)上设置有充电及数据接口,充电及数据接口与电池(250)以及微处理器(240)相连;
所述的镜腿(212)中设置有投影单元(230),投影单元(230)包括OLED显示屏(231)、透镜(232)以及反射镜(233),OLED显示屏(231)与微处理器(240)相连用于显示相机拍摄到的图像,OLED显示屏(231)显示的图像依次通过透镜(232)、反射镜(233)后显示在镜片上;
所述的镜腿(212)由厚度相异的两段构成,操作人员戴上眼镜(200)时位于镜框(211)和耳朵之间的镜腿(212)较厚且位于耳朵和耳朵后方的镜腿(212)较薄;第二耳机(280)位于镜腿(212)厚度相异的两段的交界处,第二耳机(280)与微处理器(240)相连用于播放声音。
CN202011321459.3A 2020-11-23 2020-11-23 基于可穿戴式麦穗采集装置的麦穗计数方法 Active CN112419323B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011321459.3A CN112419323B (zh) 2020-11-23 2020-11-23 基于可穿戴式麦穗采集装置的麦穗计数方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011321459.3A CN112419323B (zh) 2020-11-23 2020-11-23 基于可穿戴式麦穗采集装置的麦穗计数方法

Publications (2)

Publication Number Publication Date
CN112419323A true CN112419323A (zh) 2021-02-26
CN112419323B CN112419323B (zh) 2023-05-02

Family

ID=74777358

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011321459.3A Active CN112419323B (zh) 2020-11-23 2020-11-23 基于可穿戴式麦穗采集装置的麦穗计数方法

Country Status (1)

Country Link
CN (1) CN112419323B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104992223A (zh) * 2015-06-12 2015-10-21 安徽大学 基于深度学习的密集人数估计方法
CN108566536A (zh) * 2018-05-15 2018-09-21 新疆习美人工智能科技有限公司 基于可穿戴设备的特征采集分析系统
CN209359757U (zh) * 2018-07-30 2019-09-10 重庆电子工程职业学院 一种可穿戴的图形图像采集装置
WO2020047738A1 (zh) * 2018-09-04 2020-03-12 安徽中科智能感知大数据产业技术研究院有限责任公司 多尺度特征融合网络结合定位模型的害虫自动计数方法
CN111259925A (zh) * 2020-01-08 2020-06-09 安徽大学 基于k均值聚类和宽度突变算法的田间麦穗计数方法
CN111397709A (zh) * 2020-05-18 2020-07-10 扬州大学 一种小麦千粒重快速测量方法
CN111784777A (zh) * 2020-07-09 2020-10-16 千顺智能(珠海)有限公司 基于卷积神经网络的smt物料数量统计方法及统计系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104992223A (zh) * 2015-06-12 2015-10-21 安徽大学 基于深度学习的密集人数估计方法
CN108566536A (zh) * 2018-05-15 2018-09-21 新疆习美人工智能科技有限公司 基于可穿戴设备的特征采集分析系统
CN209359757U (zh) * 2018-07-30 2019-09-10 重庆电子工程职业学院 一种可穿戴的图形图像采集装置
WO2020047738A1 (zh) * 2018-09-04 2020-03-12 安徽中科智能感知大数据产业技术研究院有限责任公司 多尺度特征融合网络结合定位模型的害虫自动计数方法
CN111259925A (zh) * 2020-01-08 2020-06-09 安徽大学 基于k均值聚类和宽度突变算法的田间麦穗计数方法
CN111397709A (zh) * 2020-05-18 2020-07-10 扬州大学 一种小麦千粒重快速测量方法
CN111784777A (zh) * 2020-07-09 2020-10-16 千顺智能(珠海)有限公司 基于卷积神经网络的smt物料数量统计方法及统计系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
WANG D 等: "Combined use of FCN and Harris corner detection for counting wheat ears in field conditions", 《IEEE ACCESS》 *
XU X 等: "Wheat ear counting using K-means clustering segmentation and convolutional neural network", 《PLANT METHODS》 *
ZHOU Z 等: "UNet++: A Nested U-Net Architecture for Medical Image Segmentation", 《4TH DEEP LEARNING IN MEDICAL IMAGE ANALYSIS (DLMIA) WORKSHOP》 *
范梦扬;马钦;刘峻明;王庆;王越;段熊春;: "基于机器视觉的大田环境小麦麦穗计数方法" *

Also Published As

Publication number Publication date
CN112419323B (zh) 2023-05-02

Similar Documents

Publication Publication Date Title
US11678050B2 (en) Method and system for providing recommendation information related to photography
JP4853320B2 (ja) 画像処理装置、画像処理方法
CN103869468A (zh) 信息处理设备和记录介质
US8311364B2 (en) Estimating aesthetic quality of digital images
US8238615B2 (en) Method for comparing photographer aesthetic quality
US8330826B2 (en) Method for measuring photographer's aesthetic quality progress
JP4826485B2 (ja) 画像保存装置、画像保存方法
US20140240336A1 (en) Signal processing apparatus and storage medium
US10602064B2 (en) Photographing method and photographing device of unmanned aerial vehicle, unmanned aerial vehicle, and ground control device
CN109871833B (zh) 一种基于深度学习卷积神经网络的农作物成熟度监控方法
EP4020371A1 (en) Photographing method, terminal, and storage medium
CN110581954A (zh) 一种拍摄对焦方法、装置、存储介质及终端
CN113850726A (zh) 图像变换方法和装置
CN112419323B (zh) 基于可穿戴式麦穗采集装置的麦穗计数方法
CN114298942A (zh) 图像去模糊方法及装置、计算机可读介质和电子设备
CN110279406B (zh) 一种基于摄像头的无接触式的脉率测量方法及装置
CN213517784U (zh) 面向数字农业多场景、多源信息采集的智能眼镜
CN215867352U (zh) 一种智能杨梅病虫害及缺素诊断眼镜
CN115713696A (zh) 一种基于无人机采集图像的反光膜识别方法
CN108429878A (zh) 深空天体拍摄智能光学成像方法、装置及系统
CN213244209U (zh) 面向农业多种应用场景的分体式信息采集系统
CN115908886A (zh) 图像分类方法、图像处理设备及存储装置
CN111767855A (zh) 一种卷积神经网络模型的训练方法及装置
CN114283107A (zh) 口腔检测方法、口腔检测装置以及计算机可读存储介质
Karacs et al. Bionic eyeglass: The first prototype A personal navigation device for visually impaired-A review

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant