CN115379150B - 可远程自动化生成水稻生长过程动态视频的系统和方法 - Google Patents

可远程自动化生成水稻生长过程动态视频的系统和方法 Download PDF

Info

Publication number
CN115379150B
CN115379150B CN202211310924.2A CN202211310924A CN115379150B CN 115379150 B CN115379150 B CN 115379150B CN 202211310924 A CN202211310924 A CN 202211310924A CN 115379150 B CN115379150 B CN 115379150B
Authority
CN
China
Prior art keywords
data
meta
video
image data
rice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211310924.2A
Other languages
English (en)
Other versions
CN115379150A (zh
Inventor
唐飞
陈富华
陈文勇
江会欣
黄东杰
黄庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Amy Ecological Artificial Intelligence Agriculture Co ltd
Original Assignee
Guangzhou Amy Ecological Artificial Intelligence Agriculture Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Amy Ecological Artificial Intelligence Agriculture Co ltd filed Critical Guangzhou Amy Ecological Artificial Intelligence Agriculture Co ltd
Priority to CN202211310924.2A priority Critical patent/CN115379150B/zh
Publication of CN115379150A publication Critical patent/CN115379150A/zh
Application granted granted Critical
Publication of CN115379150B publication Critical patent/CN115379150B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/94Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/96Management of image or video recognition tasks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16YINFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y10/00Economic sectors
    • G16Y10/05Agriculture
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16YINFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y20/00Information sensed or collected by the things
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16YINFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00IoT characterised by the purpose of the information processing
    • G16Y40/10Detection; Monitoring
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16YINFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00IoT characterised by the purpose of the information processing
    • G16Y40/20Analytics; Diagnosis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/06Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Library & Information Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Agronomy & Crop Science (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Biomedical Technology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请涉及一种可远程自动化生成水稻生长过程动态视频的系统和方法,通过数据采集设备采集现场的图像数据,图像数据被存储至远程数据中心的文件存储中心,对应的图像元信息数据存储至远程数据中心的元信息数据库;任务调度模块将文件存储中心中的图像数据传至人工智能处理模块识别,然后将人工智能处理模块的识别结果传至元信息数据库保存;视频数据生成模块根据客户端的请求基于元信息数据库的数据生成指定的水稻视频数据供客户端获取,本申请通过人工智能处理模块实现了水稻生长周期、病害、虫害和草害情况多重影响因素的识别,通过视频数据生成模块实现了水稻视频数据的获取,提高了水稻监测的自动化水平。

Description

可远程自动化生成水稻生长过程动态视频的系统和方法
技术领域
本申请涉及水稻远程监测领域,具体涉及一种可远程自动化生成水稻生长过程视频的系统和方法。
背景技术
水稻是我国主要的粮食作物之一,水稻的生长与最终形成的产量及品质受到自身品种特性、土壤养分水分、气候条件、病虫害及管理措施等多重因素的影响,掌握好水稻生长条件,实时监测水稻苗情和病虫害发生情况,是保障水稻产量和品质的重要手段。一直以来,对于水稻各个发育期的观测主要是通过人工观测,受观测员主观因素的影响较大;同时由于水稻种植地域广、生长周期长,长期依赖专业的观测员导致作物病虫害识别诊断的主观性强、工作量大、成本高、误差大、时效差、对专业知识要求较高,利用人工观测显然已远不能满足我国现阶段对现代农业快速发展的需求。现有技术中解决该问题通常采用的是水稻图像的自动识别,例如专利申请CN103177263A,然而该方案只能获取单张水稻图像,无法获取水稻视频,信息量小,且只能获取田间飞虱情况,数据类型少,难以满足水稻多重影响因素的实时监测。
发明内容
本发明的目的在于,针对现有技术的不足,提出了一种可远程自动化生成水稻生长过程动态视频的方法。
为了克服现有技术的不足,本发明采用如下技术方案:
可远程自动化生成水稻生长过程动态视频的系统,其特征在于:系统包括设于水稻现场的数据采集设备、与数据采集设备远程连接的远程数据中心、与远程数据中心连接的任务调度模块及视频数据生成模块、与任务调度模块连接的人工智能处理模块、与视频数据生成模块连接的客户端;所述数据采集设备用于根据配置采集现场的图像数据,并将图像数据及对应的图像元信息数据实时存储至远程数据中心;所述任务调度模块用于定时获取远程数据中心中未识别的图像数据,并将获取的图像数据传至人工智能处理模块进行生长周期、病害、虫害和草害情况的识别,然后将人工智能处理模块的识别结果传至远程数据中心保存;所述视频数据生成模块用于根据客户端的请求基于远程数据中心的数据生成指定的水稻视频数据供客户端获取。
进一步的,所述远程数据中心包括文件存储中心和元信息数据库,所述文件存储中心用于存储数据采集设备采集的图像数据;所述元信息数据库用于存储图像数据对应的图像元信息数据以及任务调度模块传输的识别结果。
进一步的,所述图像元信息数据存至元信息数据库的过程为:所述图像元信息数据先上传至云物联网平台,云物联网平台再将图像元信息数据和对应图像数据的URL一起存储至元信息数据库。
一种可远程自动化生成水稻生长过程动态视频的方法,其特征在于:数据采集设备根据配置采集现场的图像数据,并将图像数据及对应的图像元信息数据实时上传,其中图像数据存储至远程数据中心的文件存储中心,图像元信息数据存储至远程数据中心的元信息数据库;任务调度模块定时获取文件存储中心中未识别的图像数据,并将获取的图像数据传至人工智能处理模块进行生长周期、病害、虫害和草害情况的识别,然后将人工智能处理模块的识别结果传至元信息数据库保存;视频数据生成模块根据客户端的请求基于元信息数据库的数据生成指定的水稻视频数据供客户端获取。
进一步的,所述图像元信息数据存储至元信息数据库具体为:所述图像元信息数据上传至云物联网平台,云物联网平台将图像元信息数据和对应图像数据的URL一起存储至元信息数据库。
进一步的,所述人工智能处理模块包括生长周期分类模型、病害分类模型、虫害分类模型和草害分类模型,所述模型均为MobileNetV3卷积神经网络模型,建模过程如下:
步骤1:收集历史现场的图像数据作为训练样本,标注每个图像数据的水稻生长状况及病虫害信息,将标注后的图像数据按比例分为训练集、验证集和测试集;
步骤2:在PyTorch框架下进行生长周期分类模型、病害分类模型、虫害分类模型和草害分类模型的训练;使用Softmax函数将各个分类模型的输出转为输出出现的概率;
步骤3:计算输出的交叉熵误差作为本次训练的损失值,判断所述损失值的下降情况是否符合预设条件,是则结束训练并保存此时的权重,否则返回步骤2继续迭代训练。
进一步的,所述预设条件为连续N次训练的损失之间差值小于预设阈值,N≥3。
进一步的,所述任务调度模块定时获取文件存储中心中未识别的图像数据,并将获取的图像数据传至人工智能处理模块识别,然后将人工智能处理模块的识别结果传至元信息数据库保存,具体包括:定时任务启动时,任务调度模块从元信息数据库查询出未识别的图像数据,将该图像数据传至人工智能处理模块的各模型进行识别,从而获得每个图像数据在各模型的识别结果,任务调度模块将识别结果传至元信息数据库保存。
进一步的,所述视频数据生成模块根据客户端的请求基于元信息数据库的数据生成指定的水稻视频数据供客户端获取,具体包括:根据客户端的请求,视频数据生成模块通过SQL查询元信息数据库,筛选得到待生成视频的图像数据,再配合视频帧率参数,实时合成水稻生长过程的动态视频。
进一步的,所述元信息数据库包括元信息表,所述元信息表包括与图像数据相关的若干字段,所述字段是SQL查询得到图像数据的基础。
与现有技术相比,本申请具有以下至少之一的有益效果:
本申请通过远程数据中心存储现场采集的水稻图像数据,任务调度模块定时获取远程数据中心中未识别的图像数据并传至人工智能处理模块进行生长周期、病害、虫害和草害情况的识别,识别结果存至远程数据中心,视频数据生成模块基于远程数据中心的数据生成指定的水稻视频数据供客户端获取,实现了用户可通过客户端远程视频数据监测水稻生长周期、病害、虫害和草害的情况,人工智能处理模块的识别结果也让水稻的生长情况得到快速精准鉴定,提高了监测水稻的自动化和智能化程度。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请系统结构示意图;
图2是本申请系统各模块的数据流向示意图;
图3是本申请实施例二的步骤流程示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
应当理解,当在本申请说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外,在本申请说明书和所附权利要求书的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
实施例一,可远程自动化生成水稻生长过程动态视频的系统,其特征在于:系统包括设于水稻现场的数据采集设备、与数据采集设备远程连接的远程数据中心、与远程数据中心连接的任务调度模块及视频数据生成模块、与任务调度模块连接的人工智能处理模块、与视频数据生成模块连接的客户端;其中各模块的连接关系参见图1。所述数据采集设备用于根据配置采集现场的图像数据,并将图像数据及对应的图像元信息数据实时存储至远程数据中心;所述任务调度模块用于定时获取远程数据中心中未识别的图像数据,并将获取的图像数据传至人工智能处理模块进行生长周期、病害、虫害和草害情况的识别,然后将人工智能处理模块的识别结果传至远程数据中心保存;所述视频数据生成模块用于根据客户端的请求基于远程数据中心的数据生成指定的水稻视频数据供客户端获取。其中数据采集设备可用智能摄像头设备实现,能被定时自主唤醒,根据远程配置的多预置位点,自动变焦并采集水稻作物的图像数据,例如RGB图片数据,所述图像数据对应的图像元信息数据包括图片的分辨率、图片尺寸、拍摄设备信息、拍摄时间、拍摄的预置位点、拍摄设备的GPS位置等。本实施例中各模块的连接均可采用无线连接方式实现,具体可选用4G、5G通讯方式,其中所述智能摄像头设备与远程数据中心可通过4G通讯模块使用HTTP协议进行通信。
进一步的,所述远程数据中心包括文件存储中心和元信息数据库,所述文件存储中心用于存储数据采集设备采集的图像数据;所述元信息数据库用于存储图像数据对应的图像元信息数据以及任务调度模块传输的识别结果。所述文件存储中心、元信息数据库与任务调度模块的连接关系参见图1。其中图像元信息数据与图像数据具有一一映射关系。所述文件存储中心可由阿里云OSS实现。
进一步的,所述图像元信息数据存至元信息数据库的过程为:所述图像元信息数据先上传至云物联网平台,云物联网平台再将图像元信息数据和对应图像数据的URL一起存储至元信息数据库。所述云物联网平台可由阿里云物联网平台实现。
进一步的,所述视频数据生成模块用于根据客户端的请求基于远程数据中心的数据生成指定的水稻视频数据供客户端获取,具体为:视频数据生成模块解析客户端的请求,从远程数据中心中筛选出与请求对应的图像数据合成水稻视频,然后返回客户端包含水稻视频的URL,客户端根据需求从该URL下载视频进行监测。由于远程数据中心会不断地保存最新的水稻图片,因此客户端每一次请求得到的都是最新的实时的水稻视频。由于水稻视频的图像数据为根据客户端请求筛选的图像数据合成的,因此客户端可获取到其指定内容的水稻视频。
本实施例通过远程数据中心存储现场采集的水稻图像数据,任务调度模块定时获取远程数据中心中未识别的图像数据并传至人工智能处理模块进行生长周期、病害、虫害和草害情况的识别,识别结果存至远程数据中心,视频数据生成模块基于远程数据中心的数据生成指定的水稻视频数据供客户端获取,实现了用户可通过客户端远程视频数据监测水稻生长周期、病害、虫害和草害的情况,人工智能处理模块的识别结果也让水稻的生长情况得到快速精准鉴定,本实施例解决了现有技术中水稻无法实现视频监测、自动化程度低、监测数据类型少、监测面窄的问题,提高了监测水稻的自动化和智能化程度。
实施例二,本实施例为上述实施例的进一步描述应当理解本实施例包括前述全部技术特征并作进一步具体描述:
一种可远程自动化生成水稻生长过程动态视频的方法,其特征在于:数据采集设备根据配置采集现场的图像数据,并将图像数据及对应的图像元信息数据实时上传,其中图像数据存储至远程数据中心的文件存储中心,图像元信息数据存储至远程数据中心的元信息数据库;任务调度模块定时获取文件存储中心中未识别的图像数据,并将获取的图像数据传至人工智能处理模块进行生长周期、病害、虫害和草害情况的识别,然后将人工智能处理模块的识别结果传至元信息数据库保存;视频数据生成模块根据客户端的请求基于元信息数据库的数据生成指定的水稻视频数据供客户端获取。方法中各模块的数据流向可参见图2。其中生长周期类别包括返青期、分蘖期、拔节孕穗期、抽穗期和结实期,病害种类包括正常、稻曲病、水稻烟煤病、稻瘟病、水稻纹枯病、水稻麻叶斑病和水稻细菌性条斑病,草害种类包括正常、圆叶节节菜、水龙、稗草、空心莲子草、竹节菜、笄石菖、莎草和鸭舌草。
进一步的,所述图像元信息数据存储至元信息数据库具体为:所述图像元信息数据上传至云物联网平台,云物联网平台将图像元信息数据和对应图像数据的URL一起存储至元信息数据库。
进一步的,所述人工智能处理模块包括生长周期分类模型、病害分类模型、虫害分类模型和草害分类模型,所述模型均为MobileNetV3卷积神经网络模型,该模型的建模过程如下:
步骤1:收集历史现场的图像数据作为训练样本,标注每个图像数据的水稻生长状况及病虫害信息,将标注后的图像数据按比例分为训练集、验证集和测试集;例如按6:2:2比例进行划分。
步骤2:在PyTorch框架下进行生长周期分类模型、病害分类模型、虫害分类模型和草害分类模型的训练;使用Softmax函数将各个分类模型的输出转为输出出现的概率,其中Softmax函数如下式;
Figure 171078DEST_PATH_IMAGE001
,其中
Figure 963585DEST_PATH_IMAGE002
表示第t个输出值
Figure 149846DEST_PATH_IMAGE003
出现的概率,N为每次训练的 样本数,C为输出层神经元总数,
Figure 951580DEST_PATH_IMAGE004
为输出层第j个神经元的权值,
Figure 375740DEST_PATH_IMAGE006
输出层第j个神经元的 阈值,
Figure 339147DEST_PATH_IMAGE007
为输出层第k个神经元的权值,
Figure 481547DEST_PATH_IMAGE008
为输出层第k个神经元的阈值。
步骤3:计算输出的交叉熵误差作为本次训练的损失值,判断所述损失值的下降情况是否符合预设条件,是则结束训练并保存此时的权重,否则返回步骤2继续迭代训练。
进一步的,所述预设条件为连续N次训练的损失之间差值小于预设阈值,N≥3。例 如连续3次训练的损失值之间相差不超过
Figure 555813DEST_PATH_IMAGE009
进一步的,所述任务调度模块定时获取文件存储中心中未识别的图像数据,并将获取的图像数据传至人工智能处理模块识别,然后将人工智能处理模块的识别结果传至元信息数据库保存,具体包括:定时任务被启动时,任务调度模块从元信息数据库查询出未识别的图像数据,将该图像数据传至人工智能处理模块的各模型进行识别,从而获得每个图像数据在各模型的识别结果,任务调度模块将识别结果传至元信息数据库保存。
进一步的,所述视频数据生成模块根据客户端的请求基于元信息数据库的数据生成指定的水稻视频数据供客户端获取,具体包括:根据客户端的请求,视频数据生成模块通过SQL查询元信息数据库,筛选得到待生成视频的图像数据,再配合视频帧率参数,实时合成水稻生长过程的动态视频。视频数据生成模块对外提供HTTP服务,客户端可以随时发起HTTP请求,在请求中可以指定生成水稻视频的各种具体参数,具体包括这些参数:设备编号、拍摄的时间范围、预置位点、生长周期类别、病虫草害的类别以及视频帧率。其中设备编号用于指定是哪个设备所拍摄的图片,每一个智能摄像头设备都对应一个田块,拍摄的时间范围例如可以获取2022.06.01-2022.07.01之间所拍摄的水稻图片,默认情况是从水稻种植一直到现在;预置位点指定了智能摄像头设备拍摄时的角度;病虫草的类别只需提供一个或者都不提供,指定生长周期的类别可以获取不同生长过程的水稻视频,例如:可以只获取分蘖期这一个周期的生长过程动态视频,也可以获取分蘖期且带有稻曲病的水稻视频。通常情况下,为了使得水稻视频定位准确,设备编号、预置位点必须提供。
进一步的,视频数据生成模块收到客户端的HTTP请求,解析请求中的参数,例如指定“xxx”田块编号以及生长周期为返青期,执行SQL语句查询元信息数据库,获取所有田块编号为“xxx”并且生长周期类别为返青期的图片URL,然后批量下载这些图片,至此获取到了请求有关的所有图片。视频数据生成模块使用FFmpeg工具将获取到的所有水稻图片按照拍摄时间的先后顺序合成为水稻视频,将视频暂存至阿里云OSS,然后返回HTTP响应,响应内容中包含水稻视频的URL,客户端从这个URL中自行下载视频。
进一步的,对每一次的HTTP请求,视频数据生成模块都是重新筛选图像数据并合成视频,故每一次都是实时合成水稻视频;客户端可为PC或手机上的浏览器,也可以是微信客户端,所述请求可通过特定网址或者二维码发起,通过输入该特定网址或者扫描二维码可进入水稻视频的参数选择页面,选择好参数后自动获取参数对应的水稻视频的URL,进入水稻视频的播放界面,在播放界面可以点击下载按钮下载水稻视频。通过API调用方式获取视频,可配置不同的参数,从而获取指定生长周期、病害、虫害或草害的动态视频,解决了现有技术获取数据类型少、无法指定获取数据类型、无法获取水稻动态视频的技术问题,提高了监测界面的人机交互体验。
进一步的,所述元信息数据库包括元信息表,所述元信息表包括与图像数据相关的若干字段,所述字段是SQL查询得到图像数据的基础。所述字段可为水稻图片的URL、拍摄设备的设备编号、生长周期类别、病害类别、虫害类别、草害类别、拍摄时间、拍摄的预置位点,可根据这些字段进行SQL查询,得到所需的图像数据。
本实施例在前实施例基础上进一步给出了实现的具体方法,远程数据中心由于不断保存最新的水稻图片,使得客户端的每一次请求得到的都是最新的实时水稻视频,提高了监测的效率。
实施例三,本实施例为上述实施例的进一步描述应当理解本实施例包括前述全部技术特征并作进一步具体描述:
一种计算机设备,所述计算机设备包括:处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行,以实现如前所述的一种可远程自动化生成水稻生长过程动态视频的方法中的步骤。
实施例四,本实施例为上述实施例的进一步描述应当理解本实施例包括前述全部技术特征并作进一步具体描述:
本申请实施例提供了一种计算机可读存储介质,所述所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行,以实现如前所述的一种可远程自动化生成水稻生长过程动态视频的方法中的步骤。
所称处理器可以是中央处理单元(CentralProcessingUnit,CPU),该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignalProcessor,DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit,ASIC)、现成可编程门阵列(Field-ProgrammableGateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器可以既包括内部存储单元也包括外部存储设备。所述存储器用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等,例如所述计算机程序的程序代码等。所述存储器还可以用于暂时地存储已经输出或者将要输出的数据。
实施例五,本实施例为上述实施例的进一步描述应当理解本实施例包括前述全部技术特征并作进一步具体描述:
一种计算机程序产品,当计算机程序产品在电子设备上运行时,使得电子设备执行时可实现上述方法实施例中的步骤。
本申请实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括:能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,RandomAccessMemory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区,根据立法和专利实践,计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所公开的实施例中,应该理解到,所揭露的装置/终端设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/终端设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。

Claims (8)

1.一种可远程自动化生成水稻生长过程动态视频的系统,其特征在于:系统包括设于水稻现场的数据采集设备、与数据采集设备远程连接的远程数据中心、与远程数据中心连接的任务调度模块及视频数据生成模块、与任务调度模块连接的人工智能处理模块、与视频数据生成模块连接的客户端;所述数据采集设备用于根据配置采集现场的图像数据,并将图像数据及对应的图像元信息数据实时存储至远程数据中心;所述任务调度模块用于定时获取远程数据中心中未识别的图像数据,并将获取的图像数据传至人工智能处理模块进行生长周期、病害、虫害和草害情况的识别,然后将人工智能处理模块的识别结果传至远程数据中心保存;所述视频数据生成模块用于根据客户端的请求基于远程数据中心的数据生成指定的水稻视频数据供客户端获取;
其中,所述远程数据中心包括文件存储中心和元信息数据库,所述文件存储中心用于存储数据采集设备采集的图像数据;所述元信息数据库用于存储图像数据对应的图像元信息数据以及任务调度模块传输的识别结果;所述图像数据对应的图像元信息数据包括图片的分辨率、图片尺寸、拍摄设备信息、拍摄时间、拍摄的预置位点和拍摄设备的GPS位置;图像元信息数据与图像数据具有一一映射关系;
所述图像元信息数据存至元信息数据库的过程为:所述图像元信息数据先上传至云物联网平台,云物联网平台再将图像元信息数据和对应图像数据的URL一起存储至元信息数据库;
所述视频数据生成模块用于根据客户端的请求基于远程数据中心的数据生成指定的水稻视频数据供客户端获取,具体为:视频数据生成模块解析客户端的请求,从远程数据中心中筛选出与请求对应的图像数据合成水稻视频,然后返回客户端包含水稻视频的URL,客户端根据需求从该URL下载视频进行监测。
2.一种可远程自动化生成水稻生长过程动态视频的方法,其特征在于:数据采集设备根据配置采集现场的图像数据,并将图像数据及对应的图像元信息数据实时上传,其中图像数据存储至远程数据中心的文件存储中心,图像元信息数据存储至远程数据中心的元信息数据库;任务调度模块定时获取文件存储中心中未识别的图像数据,并将获取的图像数据传至人工智能处理模块进行生长周期、病害、虫害和草害情况的识别,然后将人工智能处理模块的识别结果传至元信息数据库保存;视频数据生成模块根据客户端的请求基于元信息数据库的数据生成指定的水稻视频数据供客户端获取;
其中,所述图像元信息数据存储至元信息数据库具体为:所述图像元信息数据上传至云物联网平台,云物联网平台将图像元信息数据和对应图像数据的URL一起存储至元信息数据库;
所述视频数据生成模块根据客户端的请求基于元信息数据库的数据生成指定的水稻视频数据供客户端获取,具体包括:根据客户端的请求,视频数据生成模块通过SQL查询元信息数据库,筛选得到待生成视频的图像数据,再配合视频帧率参数,实时合成水稻生长过程的动态视频;
所述视频数据生成模块收到客户端的HTTP请求,解析请求中的参数,执行SQL语句查询元信息数据库,获取待生成视频的图像数据的URL,根据所述图像数据的URL下载图片,将所有下载的图片按照拍摄时间的先后顺序合成水稻生长过程的动态视频,将所述动态视频暂存在远程数据中心,返回HTTP响应,响应内容包括所述动态视频的URL;
客户端根据所述动态视频的URL下载所述动态视频。
3.根据权利要求2所述的一种可远程自动化生成水稻生长过程动态视频的方法,其特征在于:所述人工智能处理模块包括生长周期分类模型、病害分类模型、虫害分类模型和草害分类模型,所述模型均为MobileNetV3卷积神经网络模型,建模过程如下:
步骤1:收集历史现场的图像数据作为训练样本,标注每个图像数据的水稻生长状况及病虫害信息,将标注后的图像数据按比例分为训练集、验证集和测试集;
步骤2:在PyTorch框架下进行生长周期分类模型、病害分类模型、虫害分类模型和草害分类模型的训练;使用Softmax函数将各个分类模型的输出转为输出出现的概率;
步骤3:计算输出的交叉熵误差作为本次训练的损失值,判断所述损失值的下降情况是否符合预设条件,是则结束训练并保存此时的权重,否则返回步骤2继续迭代训练。
4.根据权利要求3所述的一种可远程自动化生成水稻生长过程动态视频的方法,其特征在于:所述预设条件为连续N次训练的损失之间差值小于预设阈值,N≥3。
5.根据权利要求2所述的一种可远程自动化生成水稻生长过程动态视频的方法,其特征在于:所述任务调度模块定时获取文件存储中心中未识别的图像数据,并将获取的图像数据传至人工智能处理模块识别,然后将人工智能处理模块的识别结果传至元信息数据库保存,具体包括:定时任务启动时,任务调度模块从元信息数据库查询出未识别的图像数据,将该图像数据传至人工智能处理模块的各模型进行识别,从而获得每个图像数据在各模型的识别结果,任务调度模块将识别结果传至元信息数据库保存。
6.根据权利要求2所述的一种可远程自动化生成水稻生长过程动态视频的方法,其特征在于:所述元信息数据库包括元信息表,所述元信息表包括与图像数据相关的若干字段,所述字段是SQL查询得到图像数据的基础。
7.一种计算机设备,所述计算机设备包括:处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行,以实现如权利要求2-6任一项所述的一种可远程自动化生成水稻生长过程动态视频的方法。
8.一种计算机可读存储介质,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行,以实现如权利要求2-6任一项所述的一种可远程自动化生成水稻生长过程动态视频的方法。
CN202211310924.2A 2022-10-25 2022-10-25 可远程自动化生成水稻生长过程动态视频的系统和方法 Active CN115379150B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211310924.2A CN115379150B (zh) 2022-10-25 2022-10-25 可远程自动化生成水稻生长过程动态视频的系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211310924.2A CN115379150B (zh) 2022-10-25 2022-10-25 可远程自动化生成水稻生长过程动态视频的系统和方法

Publications (2)

Publication Number Publication Date
CN115379150A CN115379150A (zh) 2022-11-22
CN115379150B true CN115379150B (zh) 2023-03-14

Family

ID=84073496

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211310924.2A Active CN115379150B (zh) 2022-10-25 2022-10-25 可远程自动化生成水稻生长过程动态视频的系统和方法

Country Status (1)

Country Link
CN (1) CN115379150B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116260842B (zh) * 2023-02-21 2024-01-23 华智生物技术有限公司 温室大棚的物联网数据采集方法、系统、装置及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109120670A (zh) * 2018-07-12 2019-01-01 黑龙江省农垦科学院 一种水稻田智能化种植管理系统及其应用方法
CN111479128A (zh) * 2020-04-01 2020-07-31 黑龙江省农业科学院农业遥感与信息研究所 一种利用互联网进行农业种植技术推广的系统及方法
CN114460080A (zh) * 2022-02-09 2022-05-10 安徽大学 一种水稻病虫智能监控系统
CN115131670A (zh) * 2022-09-02 2022-09-30 广州艾米生态人工智能农业有限公司 一种水稻图片智能审核方法、系统、装置及设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230419410A1 (en) * 2020-12-15 2023-12-28 Sri International Remote farm damage assessment system and method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109120670A (zh) * 2018-07-12 2019-01-01 黑龙江省农垦科学院 一种水稻田智能化种植管理系统及其应用方法
CN111479128A (zh) * 2020-04-01 2020-07-31 黑龙江省农业科学院农业遥感与信息研究所 一种利用互联网进行农业种植技术推广的系统及方法
CN114460080A (zh) * 2022-02-09 2022-05-10 安徽大学 一种水稻病虫智能监控系统
CN115131670A (zh) * 2022-09-02 2022-09-30 广州艾米生态人工智能农业有限公司 一种水稻图片智能审核方法、系统、装置及设备

Also Published As

Publication number Publication date
CN115379150A (zh) 2022-11-22

Similar Documents

Publication Publication Date Title
KR101830056B1 (ko) 딥러닝 기반의 병해 진단 시스템 및 그 이용방법
CN111008733B (zh) 一种作物生长管控方法和系统
CN110148120A (zh) 一种基于cnn与迁移学习的病害智能识别方法及系统
CA3061912A1 (en) Systems and methods for electronically identifying plant species
CN107463958A (zh) 昆虫识别预警方法及系统
KR102200314B1 (ko) 드론을 이용한 농작물 모니터링 시스템
CN109284771B (zh) 一种番茄生长模型判定方法及装置
CN115379150B (zh) 可远程自动化生成水稻生长过程动态视频的系统和方法
US20220067930A1 (en) Systems and methods for predicting growth of a population of organisms
CN115620151B (zh) 物候期识别方法、装置、电子设备和存储介质
CN111563759B (zh) 基于ai技术的农产品溯源过程的识别与分析系统
CN115187943A (zh) 一种空地一体化植物生长状态智能感知系统及方法
KR102309568B1 (ko) 이미지 기반 작물 생육정보 자동계측 시스템
CN111818146A (zh) Soa云雾计算智慧农业数据处理方法及系统
Guo et al. Panicle Ratio Network: streamlining rice panicle measurement by deep learning with ultra-high-definition aerial images in the field
CN115147835B (zh) 一种基于改进RetinaNet的自然果园场景下的凤梨成熟度检测方法
WO2020218157A1 (ja) 予測システム、予測方法、および予測プログラム
CN110161970B (zh) 一种农业物联网综合服务管理系统
Dainelli et al. Recognition of weeds in cereals using AI architecture
Amemiya et al. Appropriate grape color estimation based on metric learning for judging harvest timing
CN117237800B (zh) 基于人工智能的作物生长监控方法及计算机设备
CN213126263U (zh) 一种农业监测装置
CN116681544B (zh) 农作物环境信息处理方法、电子设备和计算机可读介质
CN117079126A (zh) 用于确定作物生育期的方法、存储介质及处理器
Yu et al. Research on precise phenotype identification and growth prediction of lettuce based on deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant