CN115619823A - 一种物体投放方法、装置、终端及计算机可读存储介质 - Google Patents
一种物体投放方法、装置、终端及计算机可读存储介质 Download PDFInfo
- Publication number
- CN115619823A CN115619823A CN202211132214.5A CN202211132214A CN115619823A CN 115619823 A CN115619823 A CN 115619823A CN 202211132214 A CN202211132214 A CN 202211132214A CN 115619823 A CN115619823 A CN 115619823A
- Authority
- CN
- China
- Prior art keywords
- target
- video stream
- moving pixel
- pixel point
- strategy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000003860 storage Methods 0.000 title claims abstract description 14
- 230000008859 change Effects 0.000 claims abstract description 183
- 230000033001 locomotion Effects 0.000 claims description 50
- 238000012549 training Methods 0.000 claims description 38
- 238000013528 artificial neural network Methods 0.000 claims description 29
- 230000000306 recurrent effect Effects 0.000 claims description 27
- 238000002716 delivery method Methods 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 20
- 238000007781 pre-processing Methods 0.000 claims description 13
- 230000004044 response Effects 0.000 claims description 11
- 230000011218 segmentation Effects 0.000 claims description 10
- 230000015654 memory Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 241000251468 Actinopterygii Species 0.000 abstract description 87
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 12
- 235000013305 food Nutrition 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 8
- 238000009360 aquaculture Methods 0.000 description 6
- 244000144974 aquaculture Species 0.000 description 6
- 238000001514 detection method Methods 0.000 description 4
- 230000010365 information processing Effects 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 241000283690 Bos taurus Species 0.000 description 2
- 241001494479 Pecora Species 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000009395 breeding Methods 0.000 description 2
- 230000001488 breeding effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 241000238557 Decapoda Species 0.000 description 1
- IOVCWXUNBOPUCH-UHFFFAOYSA-M Nitrite anion Chemical compound [O-]N=O IOVCWXUNBOPUCH-UHFFFAOYSA-M 0.000 description 1
- XKMRRTOUMJRJIA-UHFFFAOYSA-N ammonia nh3 Chemical compound N.N XKMRRTOUMJRJIA-UHFFFAOYSA-N 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 235000021050 feed intake Nutrition 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000291 postprandial effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000000746 purification Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000009182 swimming Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/02—Agriculture; Fishing; Forestry; Mining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/88—Image or video recognition using optical means, e.g. reference filters, holographic masks, frequency domain filters or spatial domain filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/80—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
- Y02A40/81—Aquaculture, e.g. of fish
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Business, Economics & Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Mining & Mineral Resources (AREA)
- Medical Informatics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Agronomy & Crop Science (AREA)
- Animal Husbandry (AREA)
- Marine Sciences & Fisheries (AREA)
- Biomedical Technology (AREA)
- Databases & Information Systems (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种物体投放方法、装置、终端及计算机可读存储介质,物体投放方法包括:对目标视频流包含的多张连续的视频帧分别进行分割处理,得到各视频帧对应的掩码图像;统计各视频帧的掩码图像中目标对象对应的运动像素点信息;根据各视频帧对应的运动像素点信息,确定目标视频流的运动像素点变化特征;基于目标视频流的运动像素点变化特征,确定向目标区域投放目标物的物体投放策略。本申请根据目标视频流中各视频帧的运动像素点信息确定视频流对应的运动像素点的变化趋势,根据运动像素点的变化趋势可以确定鱼吃食的状态参数,再根据鱼吃食的状态参数确定向目标区域投放目标物的物体投放策略,进而实现精确投喂。
Description
技术领域
本发明涉及图像处理技术领域,特别是涉及一种物体投放方法、装置、终端及计算机可读存储介质。
背景技术
我国作为水产养殖大国,水产品养殖总量位居世界第一。饲料是水产养殖中最主要的可变成本,一般占养殖总成本的60%以上,确定每餐投喂饲料的数量,减少饲料浪费,提高饲料利用率对增加养殖效益有着重要的作用。在确保水产养殖生物快速生长的基础上,进行饲料管理,直接决定生物的生长环境和生长速率。投喂量不足,会导致养殖对象生长放缓甚至停滞,影响产量,降低经济效益。投喂量过多,养殖对象无法将饲料全部摄食,饲料残留在水中被氧化分解,造成水中氨氮、亚硝酸盐等明显上升,鱼类摄食量减少,从而导致生长速度减缓,严重时甚至导致死亡,造成巨大的经济损失。
发明内容
本发明主要解决的技术问题是提供一种物体投放方法、装置、终端及计算机可读存储介质,解决现有技术中无法实现精准投喂的问题。
为解决上述技术问题,本发明采用的第一个技术方案是:提供一种物体投放方法,物体投放方法包括:对目标视频流包含的多张连续的视频帧分别进行分割处理,得到各视频帧对应的掩码图像;目标视频流是针对目标区域采集的;统计各视频帧的掩码图像中目标对象对应的运动像素点信息;根据各视频帧对应的运动像素点信息,确定目标视频流的运动像素点变化特征;基于目标视频流的运动像素点变化特征,确定向目标区域投放目标物的物体投放策略。
其中,基于目标视频流的运动像素点变化特征,确定向目标区域投放目标物的物体投放策略的步骤之后,还包括:通过目标区域关联的物体投放设备以物体投放策略向目标区域投放目标物。
其中,基于目标视频流的运动像素点变化特征,确定向目标区域投放目标物的物体投放策略,包括:基于目标视频流的运动像素点变化特征,确定目标视频流中包含的目标对象的状态参数;状态参数表征目标对象使用目标物的活跃程度;根据状态参数,确定向目标区域投放目标物的物体投放策略。
其中,对目标视频流包含的多张连续的视频帧分别进行分割处理,得到各视频帧对应的掩码图像,之前还包括:预先构建使用目标物前后整个过程中目标对象对应的运动像素点信息变化曲线;运动像素点信息变化曲线包括多个预设变化特征;对运动像素点信息变化曲线中各预设变化特征匹配对应的预设状态参数;对各预设状态参数匹配对应的物体投放策略。
其中,预设状态参数包括第一状态参数、第二状态参数、第三状态参数和第四状态参数中的至少一种;对各预设状态参数匹配对应的物体投放策略,包括如下至少一种:响应于预设变化特征对应第一状态参数,则对第一状态参数匹配第一投放策略;响应于预设变化特征对应第二状态参数,则对第二状态参数匹配第二投放策略;响应于预设变化特征对应第三状态参数,则对第三状态参数匹配第三投放策略;响应于预设变化特征对应第四状态参数,则对第四状态参数匹配第四投放策略。
其中,运动像素点信息变化曲线包括第一状态参数对应的预设变化特征;对目标视频流包含的多张连续的视频帧分别进行分割处理,得到各视频帧对应的掩码图像,之前还包括:采集使用目标物前的目标区域的视频作为参考视频流;基于参考视频流中各视频帧对应的运动像素点信息,确定参考视频流的运动像素点变化特征;基于参考视频流的运动像素点变化特征和第一状态参数对应的预设变化特征,对运行像素点信息变化曲线进行校正。
其中,运动像素点信息包括运动像素点数量;根据各视频帧对应的运动像素点信息,确定目标视频流的运动像素点变化特征,包括:根据各视频帧对应的运动像素点数量,生成目标视频流对应的运动像素点数量变化趋势。
其中,预设变化特征包括预设变化趋势;基于目标视频流的运动像素点变化特征,确定向目标区域投放目标物的物体投放策略,包括:将目标视频流的运动像素点数量变化趋势与运动像素点信息变化曲线中各预设变化趋势分别进行比对;响应于运动像素点数量变化趋势与一预设变化趋势一致,则确定以预设变化趋势对应的物体投放策略向目标区域投放目标物。
其中,物体投放策略包括投喂量规格、投食速率规格、投食时长规格、投食地点规格、各投食地点对应的投喂量规格中的至少一种。
为解决上述技术问题,本发明采用的第二个技术方案是:提供一种物体投放方法,其特征在于,物体投放方法包括:对获取的目标视频流包含的多张连续的视频帧分别进行分割处理,得到各视频帧对应的掩码图像;目标视频流是针对目标区域采集的;采用循环神经网络基于目标视频流中各视频帧的掩码图像,确定向目标区域投放目标物的物体投放策略。
其中,循环神经网络的训练方法包括:获取多个训练视频流,训练视频流包括多张连续的样本图像,各样本图像关联有对应的掩码图像,各训练视频流关联有对应的标注物体投放策略;将训练视频流包含的所有样本图像的掩码图像输入到循环神经网络,得到训练视频流对应的预测物体投放策略;基于同一训练视频流对应的标注物体投放策略和预测物体投放策略之间的误差值迭代训练循环神经网络。
为解决上述技术问题,本发明采用的第三个技术方案是:提供一种物体投放装置,物体投放装置包括:预处理模块,用于对目标视频流包含的多张连续的视频帧分别进行分割处理,得到各视频帧对应的掩码图像;目标视频流是针对目标区域采集的;统计模块,用于统计各视频帧的掩码图像中目标对象对应的运动像素点信息;分析模块,用于根据各视频帧对应的运动像素点信息,确定目标视频流的运动像素点变化特征;确定模块,用于基于目标视频流的运动像素点变化特征,确定向目标区域投放目标物的物体投放策略。
为解决上述技术问题,本发明采用的第四个技术方案是:提供一种物体投放装置,物体物体投放装置包括:预处理模块,用于对获取的目标视频流包含的多张连续的视频帧分别进行分割处理,得到各视频帧对应的掩码图像;目标视频流是针对目标区域采集的;处理模块,用于采用循环神经网络基于目标视频流中各视频帧的掩码图像,确定向目标区域投放目标物的物体投放策略。
为解决上述技术问题,本发明采用的第五个技术方案是:提供一种终端,终端包括存储器、处理器以及存储于存储器中并在处理器上运行的计算机程序,处理器用于执行程序数据以实现上述的物体投放方法中的步骤。
为解决上述技术问题,本发明采用的第六个技术方案是:提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现如上述的物体投放方法中的步骤。
本发明的有益效果是:区别于现有技术的情况,提供的一种物体投放方法、装置、终端及计算机可读存储介质,物体投放方法包括:对目标视频流包含的多张连续的视频帧分别进行分割处理,得到各视频帧对应的掩码图像;目标视频流是针对目标区域采集的;统计各视频帧的掩码图像中目标对象对应的运动像素点信息;根据各视频帧对应的运动像素点信息,确定目标视频流的运动像素点变化特征;基于目标视频流的运动像素点变化特征,确定向目标区域投放目标物的物体投放策略。本申请根据目标视频流中各视频帧的运动像素点信息确定视频流对应的运动像素点的变化趋势,根据运动像素点的变化趋势可以确定鱼吃食的状态参数,再根据鱼吃食的状态参数确定向目标区域投放目标物的物体投放策略,进而实现精确投喂。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1是本发明提供的物体投放方法的流程示意图;
图2是本发明提供的物体投放方法一具体实施例的流程示意图;
图3是本发明提供的物体投放方法中一具体实施例中运动像素点信息变化曲线;
图4是图2提供的物体投放方法中步骤S204一具体实施例的流程示意图;
图5是本发明提供的物体投放装置一实施例的框架示意图;
图6是本发明提供的物体投放装置另一实施例的框架示意图;
图7是本申请提供的终端一实施例的框架示意图;
图8为本申请提供的计算机可读存储介质一实施例的框架示意图。
具体实施方式
下面结合说明书附图,对本申请实施例的方案进行详细说明。
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、接口、技术之类的具体细节,以便透彻理解本申请。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。此外,本文中的“多”表示两个或者多于两个。
为使本领域的技术人员更好地理解本发明的技术方案,下面结合附图和具体实施方式对本发明所提供的一种物体投放方法做进一步详细描述。
精准投喂方法的研究和应用旨在利用科学合理的投喂量,实现养殖最大生长速率,最大程度上减少饲料的浪费。
国内关于投喂方法的研究已经进行多年,大多还处于严重依赖人工参与的状态,即人工投喂或半自动化投喂,该模式的显著特点为固定的时间在固定的地点投喂固定的量。其中人工投喂在较小的生产系统内适用,全程需要人工参与,半自动化投喂在大中型生产系统内适用,需定期管理投饲系统,一般可以定时或定量,不用在现场操作,解放部分人力,但两者都需要经验丰富的管理人员通过观察养殖对象是否饱食,从而对投喂量快速纠正。由于人工和半自动化投喂方法,是一种没有量化概念,单凭养殖经验,不可控的投喂方法,具有显著的局限性,极易造成投喂的不合理,最终不仅不能促进生长,反而还有可能减弱其对病害的抵抗力,增加水体的净化负担,难以保证生物健康、快速的生长。所以需要一种自动的可量化的方法来控制投食。
请参阅图1,图1是本发明提供的物体投放方法的流程示意图。本实施例中提供一种物体投放方法,该方法适用于向室内和室外的鱼塘投喂,也可以适用于牧场向牛、羊等动物进行投食等,该物体投放方法包括如下步骤。
S11:对目标视频流包含的多张连续的视频帧分别进行分割处理,得到各视频帧对应的掩码图像。
具体地,预先构建使用目标物前后整个过程中目标对象对应的运动像素点信息变化曲线;运动像素点信息变化曲线包括多个预设变化特征;对运动像素点信息变化曲线中各预设变化特征匹配对应的预设状态参数;对各预设状态参数匹配对应的物体投放策略。其中,预设状态参数包括第一状态参数、第二状态参数、第三状态参数和第四状态参数中的至少一种。
在一实施例中,响应于预设变化特征对应第一状态参数,则对第一状态参数匹配第一投放策略;响应于预设变化特征对应第二状态参数,则对第二状态参数匹配第二投放策略;响应于预设变化特征对应第三状态参数,则对第三状态参数匹配第三投放策略;响应于预设变化特征对应第四状态参数,则对第四状态参数匹配第四投放策略。
在一实施例中,采集使用目标物前的目标区域的视频作为参考视频流;基于参考视频流中各视频帧对应的运动像素点信息,确定参考视频流的运动像素点变化特征;基于参考视频流的运动像素点变化特征和第一状态参数对应的预设变化特征,对运行像素点信息变化曲线进行校正。
在一实施例中,获取实时采集的视频流;采用帧差法对视频流中的各视频帧进行运动检测,确定各视频帧的对应的掩码图像。
S12:统计各视频帧的掩码图像中目标对象对应的运动像素点信息。
具体地,运动像素点信息包括运动像素点数量。
S13:根据各视频帧对应的运动像素点信息,确定目标视频流的运动像素点变化特征。
具体地,运动像素点信息包括运动像素点数量。根据各视频帧对应的运动像素点数量,生成目标视频流对应的运动像素点数量变化趋势。
在一实施例中,预设变化特征包括预设变化趋势。将目标视频流的运动像素点数量变化趋势与运动像素点信息变化曲线中各预设变化趋势分别进行比对;响应于运动像素点数量变化趋势与一预设变化趋势一致,则确定以预设变化趋势对应的物体投放策略向目标区域投放目标物。
在一实施例中,物体投放策略包括投喂量规格、投食速率规格、投食时长规格、投食地点规格、各投食地点对应的投喂量规格中的至少一种。
S14:基于目标视频流的运动像素点变化特征,确定向目标区域投放目标物的物体投放策略。
具体地,基于目标视频流的运动像素点变化特征,确定目标视频流中包含的目标对象的状态参数;状态参数表征目标对象使用目标物的活跃程度;根据状态参数,确定向目标区域投放目标物的物体投放策略。
在一实施例中,也可以直接采用循环神经网络基于目标视频流中各视频帧的掩码图像,确定向目标区域投放目标物的物体投放策略。
在一实施例中,通过目标区域关联的物体投放设备以物体投放策略向目标区域投放目标物。
本实施例提供的物体投放方法包括:对目标视频流包含的多张连续的视频帧分别进行分割处理,得到各视频帧对应的掩码图像;目标视频流是针对目标区域采集的;统计各视频帧的掩码图像中目标对象对应的运动像素点信息;根据各视频帧对应的运动像素点信息,确定目标视频流的运动像素点变化特征;基于目标视频流的运动像素点变化特征,确定向目标区域投放目标物的物体投放策略。本申请根据目标视频流中各视频帧的运动像素点信息确定视频流对应的运动像素点的变化趋势,根据运动像素点的变化趋势可以确定鱼吃食的状态参数,再根据鱼吃食的状态参数确定向目标区域投放目标物的物体投放策略,进而实现精确投喂。
请参阅图2,图2是本发明提供的物体投放方法一具体实施例的流程示意图。本实施例中提供一种物体投放方法,该方法适用于向室内和室外的鱼塘投喂,也可以适用于向牧场向牛、羊等动物进行投食等场景,该物体投放方法包括如下步骤。本实施例中,以向鱼塘投喂为例进行阐述。
S201:预先构建进食前后整个过程对应的运动像素点信息变化曲线。
具体地,在鱼塘的预设位置安装图像采集设备,以使图像采集设备可以获取鱼塘水面的图像。
请参阅图3,图3是本发明提供的物体投放方法中一具体实施例中运动像素点信息变化曲线。
根据鱼塘的鱼在进食前后采集的鱼塘图像依次形成第一状态视频流、第二状态视频流、第三状态视频流和第四状态视频流,根据第一状态视频流、第二状态视频流、第三状态视频流和第四状态视频流分别对应的变化曲线,生成运动像素点信息变化曲线。
第一状态视频流对应第一状态参数,第一状态参数为鱼在未喂食状态的参数。由于鱼塘的鱼在未喂食状态时,鱼塘的鱼处于自由活动状态。也就是说,鱼塘水面在鱼未喂食状态是处于相对平静的。在对该状态下采集的第一状态视频流中各鱼塘图像进行运动像素点检测,得到各鱼塘图像对应的运动像素点数量。根据第一状态视频流中各鱼塘图像的运动像素点数量,确定鱼未喂食状态对应的运动像素点变化曲线。其中,鱼未喂食状态下,第一状态视频流中各鱼塘图像对应的运动像素点数量基本处于一个恒定范围。也就是说,鱼在未喂食状态时的活跃程度不会发生大的变化,鱼未喂食状态对应的运动像素点变化曲线近似为直线。
第二状态视频流对应第二状态参数,第二状态参数为鱼在初次喂食状态的参数。向鱼塘的鱼进行初次喂食,鱼群会出现群聚、抢食、跳跃等情况,在对该状态下采集的第二状态视频流中各鱼塘图像进行运动像素点检测,得到各鱼塘图像对应的运动像素点数量。根据第二状态视频流中各鱼塘图像的运动像素点数量,确定鱼初次喂食状态对应的运动像素点变化曲线。其中,鱼在初次喂食状态下,第二状态视频流中按时间排列的各鱼塘图像对应的运动像素点数量会迅速增加。也就是说,鱼在初次喂食状态时的活跃程度明显提升,鱼在初次喂食状态对应的运动像素点变化曲线为增长趋势。
第三状态视频流对应第三状态参数,第三状态参数为鱼在再次喂食状态的参数。鱼在持续抢食时,部分鱼还未进食,需要继续向鱼塘的鱼再次进行喂食,鱼群会出现活跃等情况,由于部分鱼已经进食完毕,只有部分鱼还在活跃进食。在对该状态下采集的第三状态视频流中各鱼塘图像进行运动像素点检测,得到各鱼塘图像对应的运动像素点数量。根据第三状态视频流中各鱼塘图像的运动像素点数量,确定鱼再次喂食状态对应的运动像素点变化曲线。其中,鱼在再次喂食状态下,鱼塘的鱼逐渐吃饱,第三状态视频流中按时间排列的各鱼塘图像对应的运动像素点数量会逐渐减少。也就是说,鱼在再次喂食状态时的活跃程度有所降低,在对鱼再次喂食状态对应的运动像素点变化曲线为递减趋势。
第四状态视频流对应第四状态参数,第四状态参数为鱼在进食结束状态的参数。鱼在进食完毕后,鱼塘的鱼的活跃度逐渐降低直至恢复至自由活动状态。也就是说,鱼塘水面在鱼进食完毕状态后,鱼群逐渐变的不在激烈,只是鱼群的活跃度逐渐降低直至平稳。在对该状态下采集的第四状态视频流中各鱼塘图像进行运动像素点检测,得到各鱼塘图像对应的运动像素点数量。根据第四状态视频流中各鱼塘图像的运动像素点数量,确定鱼在喂食结束状态对应的运动像素点变化曲线。其中,鱼在喂食结束状态下,第四状态视频流中各鱼塘图像对应的运动像素点数量逐渐减少直至处于平稳。也就是说,鱼在进食结束状态时的活跃程度基本维持不变,鱼在喂食结束状态对应的运动像素点变化曲线为逐渐下降直至为直线。由于鱼群在进食完毕后的活跃度是高于鱼群在未进食状态的活跃度,因此,鱼在喂食结束状态对应的变化曲线中的直线是高于鱼在未进食状态对应的变化曲线。
S202:对运动像素点信息变化曲线中各预设变化特征匹配对应的预设状态参数。
具体地,预设状态参数为预设进食阶段。基于运动像素点信息变化曲线的变化趋势,将运动像素点信息变化曲线划分为预设数量的预设变化特征,进而为预设变化特征匹配对应的预设进食阶段。预设变化特征包括预设变化趋势。
在本实施例中,根据运动像素点信息变化曲线的变化趋势,将运动像素点信息变化曲线划分为四个预设变化特征。其中,四个预设变化特征分别为恒定不变趋势、上升趋势、下降趋势和逐渐下降至恒定不变趋势。其中,运动像素点信息变化曲线中预设变化特征为恒定不变趋势对应的是进食前阶段。运动像素点信息变化曲线中预设变化特征为上升趋势对应的是初始喂食阶段。运动像素点信息变化曲线中预设变化特征为下降趋势对应的是再次喂食阶段。运动像素点信息变化曲线中预设变化特征为下降至恒定不变趋势对应的是进食后阶段。且进食前阶段的恒定不变趋势对应的直线低于进食后阶段中的恒定不变趋势对应的直线。
S203:对各预设状态参数匹配对应的物体投放策略。
具体地,物体投放策略包括投喂量规格、投食速率规格、投食时长规格、投食地点规格、各投食地点对应的投喂量规格中的至少一种。
在本实施例中,响应于预设变化特征对应第一状态参数,则对第一状态参数匹配第一投放策略;响应于预设变化特征对应第二状态参数,则对第二状态参数匹配第二投放策略;响应于预设变化特征对应第三状态参数,则对第三状态参数匹配第三投放策略;响应于预设变化特征对应第四状态参数,则对第四状态参数匹配第四投放策略。其中,第一物体投放策略、第二物体投放策略、第三物体投放策略和第四物体投放策略分别对应至少一种鱼投食方案。
S204:训练循环神经网络。
在本实施例中,循环神经网络可以为RNN(Recurrent Neural Networks)和改进版的LSTM(Long Short Term Mermory network)。其中,循环神经网络也可以为深度学习训练的其他网络模型。
具体地,循环神经网络的训练方法包括如下步骤。
请参阅图4,图4是图2提供的物体投放方法中步骤S204一具体实施例的流程示意图。
S2041:获取多个训练视频流。
具体地,训练视频流包括多张连续的样本图像,各样本图像关联有对应的掩码图像,各训练视频流关联有对应的标注物体投放策略。各训练视频流对应的标注物体投放策略根据经验、鱼塘中鱼的种类、大小等确定。
S2042:将训练视频流包含的所有样本图像的掩码图像输入到循环神经网络,得到训练视频流对应的预测物体投放策略。
具体地,将训练视频流中各样本图像的掩码图像根据时间组成掩码图像序列,将训练视频流对应的掩码图像序列输入到循环神经网络中,循环神经网络根据掩码图像序列确定训练视频流对应的预测物体投放策略。
S2043:基于同一训练视频流对应的标注物体投放策略和预测物体投放策略之间的误差值迭代训练循环神经网络。
具体地,计算得到同一训练视频流对应的标注物体投放策略和预测物体投放策略之间的误差值,基于误差值对循环神经网络进行迭代训练。
在一可选实施例中,循环神经网络的结果反向传播,根据同一训练视频流的标注物体投放策略和预测物体投放策略之间的误差值对循环神经网络的权重进行修正,实现对循环神经网络的训练。
将训练视频流对应的掩码图像序列输入到循环神经网络中,循环神经网络对训练视频流对应的物体投放策略进行检测。当训练视频流对应的标注物体投放策略和预测物体投放策略之间的误差值小于预设阈值,预设阈值可以自行设置,例如1%、5%等,则停止对循环神经网络的训练。
在一实施例中,为了避免雨天、强风等特殊天气影响投喂精确度,则需要在未投食前校正运动像素点信息变化曲线,使运动像素点信息变化曲线更能适用于本轮的投喂。
S205:采集使用目标物前的目标区域的视频作为参考视频流。
具体地,通过对还未喂食的鱼塘水面进行图像采集,得到预设时间长度的视频作为参考视频流。
在一实施例中,投食机需要在上午六点进行第一次投食,则选取上午五点到六点的视频数据作为参考视频流。
S206:基于参考视频流中各视频帧对应的运动像素点信息,确定参考视频流的运动像素点变化特征。
具体地,可以采用帧差法对参考视频流中各视频帧进行分割检测,得到各视频帧对应的掩码图像。其中,掩码图像中将前景图像和背景图像区分开。在一实施例中,可以将参考视频流的第一帧图像作为背景图像,将第二帧图像和第二帧图像之后的视频帧分别与第一帧图像进行作差,以确定第二帧图像和第二帧图像之后的视频帧相对于第一帧图像的运动区域,各视频帧相对于第一帧图像的运动区域作为各视频帧的前景图像。统计各视频帧的前景图像对应的像素点的个数作为各视频帧对应的运动像素点数量。根据各视频帧对应的运动像素点数量生成视频流对应的运动像素点变化曲线。其中,运动像素点变化曲线作为运动像素点变化特征。
在另一实施例中,也可以将计算后一帧视频帧与前一帧视频帧的运动像素点的数量差值,遍历参考视频流中所有相邻的视频帧,计算得到相邻视频帧之间对应的运动像素点的数量差值。根据基于相邻视频帧之间对应的运动像素点的差值数量确定参考视频流的运动像素点变化曲线。
其中,运动像素点变化曲线以时间为横轴,以运动像素点数量为纵轴。
S207:基于参考视频流的运动像素点变化特征和第一状态参数对应的预设变化特征,对运行像素点信息变化曲线进行校正。
具体地,由于在大风、暴雨等特殊环境下,鱼塘的水面会发生波动,不进行喂食,鱼塘水面的图像中也会出现大量的运动像素点,造成鱼喂食前后整个过程中运动像素点数量偏大,为了提高投喂精确度,则需要根据当前采集的进食前视频对应的运动像素点变化曲线校正运动像素点信息变化曲线。
在一实施例中,计算进食前视频对应的运动像素点变化曲线与运动像素点信息变化曲线中进食前阶段对应的预设变化曲线之间的差值。也就是说,计算参考视频流对应的平均运动像素点数量与进食前阶段对应的预设变化曲线对应的预设平均运动像素点数量之间的差值。
响应于差值为正值,则将运行像素点变化曲线在纵轴上向上平移差值的绝对值个单位,得到校正后的运行像素点变化曲线。响应于差值为负值,则将运动像素点变化曲线在纵轴上向下平移差值的绝对值个单位,得到校正后的运行像素点变化曲线。
在进行每轮投喂之前均需要对运行像素点变化曲线进行校正,以提高投喂精确度。
S208:获取实时采集的目标视频流。
具体地,通过图像采集设备采集预设时间长度的目标视频流。也可以通过图像采集设备采集预设数量帧的目标视频流。目标视频流是针对目标区域采集的。视频流中各视频帧包含目标对象,目标对象可以为水中的游动的动物,例如鱼、虾、蟹等。
S209:对目标视频流中的各视频帧进行运动检测,确定各视频帧的对应的掩码图像。
具体地,采用帧差法对视频流中的各视频帧进行分割处理,得到各视频帧相对于视频流中第一帧图像的掩码图像,确定各视频帧相对于第一帧图像的前景区域,以区分各视频帧中的前景区域和背景区域。
也可以将后一帧图像与前一视频帧进行比对,确定后一帧图像相对于前一帧图像的运动区域,并将运动区域作为前景图像。遍历视频流中的所有相邻视频帧,确定各视频帧的掩码图像。
S210:统计各视频帧的掩码图像中目标对象对应的运动像素点信息。
具体地,运动像素点信息包括运动像素点数量。统计各视频帧的掩码图像中前景区域对应的运动像素点数量。在一具体实施例中,统计各视频帧中作为前景图像的目标对象的位置对应的运动像素点的数量。
S211:根据各视频帧对应的运动像素点数量,生成目标视频流对应的运动像素点数量变化趋势。
具体地,根据各视频帧对应的运动像素点数量生成目标视频流对应的运动像素点变化曲线。根据运动像素点变化曲线可以确定运动像素点变化趋势。
在另一实施例中,根据各视频帧对应的运动像素点数量确定目标视频流中的最大运动像素点数量、最小运动像素点数量、运动像素点平均数量等。
S212:基于目标视频流的运动像素点变化趋势,确定目标视频流中包含的目标对象的状态参数。
状态参数表征目标对象使用目标物的活跃程度。将目标视频流的运动像素点数量变化趋势与运动像素点信息变化曲线中各预设变化趋势分别进行比对。
具体地,将目标视频流对应的运动像素点数量变化趋势与运动像素点信息变化曲线中各预设变化趋势分别进行比对,确定与目标视频流的运动像素点数量变化趋势一致的预设变化趋势,将预设变化趋势对应的目标对象的状态参数确定为目标视频流的运动像素点数量变化趋势的状态参数。
将目标视频流对应的最大运动像素点数量与运动像素点信息变化曲线中各预设变化趋势对应的最大运动像素点数量进行比对;将视频流对应的最小运动像素点数量与运动像素点信息变化曲线中各预设变化趋势对应的最小运动像素点数量进行比对;将视频流对应的运动像素点平均数量与运动像素点信息变化曲线中各预设变化趋势对应的运动像素点平均数量进行比对,确定目标视频流中包含的目标对象的状态参数。
S213:根据状态参数,确定向目标区域投放目标物的物体投放策略。
具体地,响应于运动像素点数量变化趋势与一预设变化趋势一致,则根据预设变化趋势的状态参数对应的物体投放策略进行投食。
具体地,响应于运动像素点数量变化趋势与校正后的运动像素点信息变化曲线中的一预设变化趋势一致,则可以根据预设变化趋势的状态参数对应的物体投放策略向鱼塘中的鱼进行投食。
在一具体实施例中,响应于运动像素点数量变化趋势与一预设变化趋势一致,且视频流对应的最大运动像素点数量与趋势一致的预设变化趋势对应的最大运动像素点数量之间的差值小于第一阈值,视频流对应的最小运动像素点数量与趋势一致的预设变化趋势对应的最小运动像素点数量之间的差值小于第二阈值,视频流对应的运动像素点平均数量与趋势一致的预设变化趋势对应的运动像素点平均数量之间的差值小于第三阈值,则可以根据趋势一致的预设变化趋势的状态参数对应的物体投放策略向鱼塘中的鱼进行投食。
在另一实施例中,采用循环神经网络基于视频流的各视频帧分别对应的掩码图像,确定视频流对应的物体投放策略并以物体投放策略进行投食。
在一实施例中,在确定了运动像素点数量变化趋势对应的物体投放策略后,将物体投放策略传输至工作人员的操作终端,以告知工作人员当前的鱼吃食状态或让工作人员从推荐的多个鱼投食方案中选取一种,进而由设置在鱼塘周边的自动鱼食投喂器按照工作人员选取的鱼投食方案向鱼塘中投喂鱼食等。在一具体实施例中,通过目标区域关联的物体投放设备以物体投放策略向目标区域投放目标物。目标物可以为目标区域中喂食目标对象的食物。
在本次投喂之后继续采集视频数据,并对视频数据进行上述步骤S208至步骤S213的处理,根据视频数据对应的运动像素点数量变化趋势以及相邻前一视频流对应的运动像素点数量变化趋势,确定这一视频数据对应的投喂规格,以提高投喂精确度。
重复上述步骤S208至步骤S213,直至不需要再进行投食为止,已完成本轮的鱼食投喂。
本实施例中提供的物体投放方法在图像中鱼的信息不是很清晰的状态下,可以根据鱼的运动引起水的运动来代替对鱼的直接识别,进而确定鱼的进食阶段,进而根据鱼的进食阶段确定对应的物体投放策略,以提高投食精确度。
且本实施例中,通过在投食前对运动像素点信息变化曲线进行微调,以解决外界出现下雨、强风等特殊天气干扰鱼塘水面图像中的运动像素点数量的问题,进一步可以提高确定进食阶段的准确性,进而提高投食精确度。
本实施例提供的物体投放方法包括:对目标视频流包含的多张连续的视频帧分别进行分割处理,得到各视频帧对应的掩码图像;目标视频流是针对目标区域采集的;统计各视频帧的掩码图像中目标对象对应的运动像素点信息;根据各视频帧对应的运动像素点信息,确定目标视频流的运动像素点变化特征;基于目标视频流的运动像素点变化特征,确定向目标区域投放目标物的物体投放策略。本申请根据目标视频流中各视频帧的运动像素点信息确定视频流对应的运动像素点的变化趋势,根据运动像素点的变化趋势可以确定鱼吃食的状态参数,再根据鱼吃食的状态参数确定向目标区域投放目标物的物体投放策略,进而实现精确投喂。
参阅图5,图5是本发明提供的物体投放装置一实施例的框架示意图。本实施例提供一种物体投放装置60,物体投放装置60包括预处理模块61、统计模块62、分析模块63和确定模块64。
预处理模块61用于对目标视频流包含的多张连续的视频帧分别进行分割处理,得到各视频帧对应的掩码图像;目标视频流是针对目标区域采集的。
预处理模块61还用于预先构建使用目标物前后整个过程中目标对象对应的运动像素点信息变化曲线;运动像素点信息变化曲线包括多个预设变化特征;对运动像素点信息变化曲线中各预设变化特征匹配对应的预设状态参数;对各预设状态参数匹配对应的物体投放策略。预设状态参数包括第一状态参数、第二状态参数、第三状态参数和第四状态参数中的至少一种。
预处理模块61还用于响应于预设变化特征对应进食前阶段,预设变化特征匹配第一物体投放策略;预处理模块61还用于响应于预设变化特征对应第一状态参数,则对第一状态参数匹配第一投放策略;响应于预设变化特征对应第二状态参数,则对第二状态参数匹配第二投放策略;响应于预设变化特征对应第三状态参数,则对第三状态参数匹配第三投放策略;响应于预设变化特征对应第四状态参数,则对第四状态参数匹配第四投放策略。
预处理模块61还用于采集使用目标物前的目标区域的视频作为参考视频流;基于参考视频流中各视频帧对应的运动像素点信息,确定参考视频流的运动像素点变化特征;基于参考视频流的运动像素点变化特征和第一状态参数对应的预设变化特征,对运行像素点信息变化曲线进行校正。运动像素点信息变化曲线至少包括第一状态参数对应的预设变化特征。
统计模块62用于统计各视频帧的掩码图像中目标区域对应的运动像素点信息。运动像素点信息包括运动像素点数量。
分析模块63用于根据各视频帧对应的运动像素点信息,确定视频流的运动像素点变化特征。分析模块63用于根据各视频帧对应的运动像素点数量,生成视频流对应的运动像素点数量变化趋势。
确定模块64用于基于视频流的运动像素点变化特征,确定以运动像素点变化特征对应的物体投放策略进行投食。物体投放策略包括投喂量规格、投食速率规格、投食时长规格、投食地点规格、各投食地点对应的投喂量规格中的至少一种。
确定模块64用于基于目标视频流的运动像素点变化特征,确定目标视频流中包含的目标对象的状态参数;状态参数表征目标对象使用目标物的活跃程度;根据状态参数,确定向目标区域投放目标物的物体投放策略。
确定模块64还用于通过目标区域关联的物体投放设备以物体投放策略向目标区域投放目标物。
确定模块64用于将目标视频流的运动像素点数量变化趋势与运动像素点信息变化曲线中各预设变化趋势分别进行比对;响应于运动像素点数量变化趋势与一预设变化趋势一致,则确定以预设变化趋势对应的物体投放策略向目标区域投放目标物。
本申请根据视频流中各视频帧的运动像素点信息确定视频流对应的运动像素点的变化趋势,根据运动像素点的变化趋势可以确定鱼吃食的阶段,再根据鱼吃食的阶段确定向鱼塘投喂的鱼食的量,进而实现精确投喂。
参阅图6,图6是本发明提供的物体投放装置另一实施例的框架示意图。本实施例提供一种物体投放装置70,物体投放装置70包括预处理模块71和处理模块72。
预处理模块71用于对获取的目标视频流包含的多张连续的视频帧分别进行分割处理,得到各视频帧对应的掩码图像;目标视频流是针对目标区域采集的。
处理模块72用于采用循环神经网络基于目标视频流中各视频帧的掩码图像,确定向目标区域投放目标物的物体投放策略。
本申请根据视频流中各视频帧对应的掩码图像确定向鱼塘投喂的鱼食的量,进而实现精确投喂。
请参阅图7,图7是本申请提供的终端一实施例的框架示意图。终端80包括相互耦接的存储器81和处理器82,处理器82用于执行存储器81中存储的程序指令,以实现上述任一物体投放方法实施例的步骤。在一个具体的实施场景中,终端80可以包括但不限于:微型计算机、服务器,此外,终端80还可以包括笔记本电脑、平板电脑等移动设备,在此不做限定。
具体而言,处理器82用于控制其自身以及存储器81以实现上述任一物体投放方法实施例的步骤。处理器82还可以称为CPU(Central Processing Unit,中央处理单元)。处理器82可能是一种集成电路芯片,具有信号的处理能力。处理器82还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外,处理器82可以由集成电路芯片共同实现。
请参阅图8,图8为本申请提供的计算机可读存储介质一实施例的框架示意图。计算机可读存储介质90存储有能够被处理器运行的程序指令901,程序指令901用于实现上述任一物体投放方法实施例的步骤。
在一些实施例中,本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处,其相同或相似之处可以互相参考,为了简洁,本文不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的方法和装置,可以通过其它的方式实现。例如,以上所描述的装置实施方式仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性、机械或其它的形式。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
若本申请技术方案涉及个人信息,应用本申请技术方案的产品在处理个人信息前,已明确告知个人信息处理规则,并取得个人自主同意。若本申请技术方案涉及敏感个人信息,应用本申请技术方案的产品在处理敏感个人信息前,已取得个人单独同意,并且同时满足“明示同意”的要求。例如,在摄像头等个人信息采集装置处,设置明确显著的标识告知已进入个人信息采集范围,将会对个人信息进行采集,若个人自愿进入采集范围即视为同意对其个人信息进行采集;或者在个人信息处理的装置上,利用明显的标识/信息告知个人信息处理规则的情况下,通过弹窗信息或请个人自行上传其个人信息等方式获得个人授权;其中,个人信息处理规则可包括个人信息处理者、个人信息处理目的、处理方式以及处理的个人信息种类等信息。
以上仅为本发明的实施方式,并非因此限制本发明的专利保护范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (15)
1.一种物体投放方法,其特征在于,所述物体投放方法包括:
对目标视频流包含的多张连续的视频帧分别进行分割处理,得到各所述视频帧对应的掩码图像;所述目标视频流是针对目标区域采集的;
统计各所述视频帧的掩码图像中目标对象对应的运动像素点信息;
根据各所述视频帧对应的所述运动像素点信息,确定所述目标视频流的运动像素点变化特征;
基于所述目标视频流的运动像素点变化特征,确定向所述目标区域投放目标物的物体投放策略。
2.根据权利要求1所述的物体投放方法,其特征在于,
所述基于所述目标视频流的运动像素点变化特征,确定向所述目标区域投放目标物的物体投放策略的步骤之后,还包括:
通过所述目标区域关联的物体投放设备以所述物体投放策略向所述目标区域投放所述目标物。
3.根据权利要求1或2所述的物体投放方法,其特征在于,
所述基于所述目标视频流的运动像素点变化特征,确定向所述目标区域投放目标物的物体投放策略,包括:
基于所述目标视频流的运动像素点变化特征,确定所述目标视频流中包含的目标对象的状态参数;所述状态参数表征所述目标对象使用所述目标物的活跃程度;
根据所述状态参数,确定向所述目标区域投放所述目标物的物体投放策略。
4.根据权利要求3所述的物体投放方法,其特征在于,
所述对目标视频流包含的多张连续的视频帧分别进行分割处理,得到各所述视频帧对应的掩码图像,之前还包括:
预先构建使用所述目标物前后整个过程中所述目标对象对应的运动像素点信息变化曲线;所述运动像素点信息变化曲线包括多个预设变化特征;
对所述运动像素点信息变化曲线中各所述预设变化特征匹配对应的预设状态参数;
对各所述预设状态参数匹配对应的物体投放策略。
5.根据权利要求4所述的物体投放方法,其特征在于,所述预设状态参数包括第一状态参数、第二状态参数、第三状态参数和第四状态参数中的至少一种;
所述对各所述预设状态参数匹配对应的物体投放策略,包括如下至少一种:
响应于所述预设变化特征对应所述第一状态参数,则对所述第一状态参数匹配第一投放策略;
响应于所述预设变化特征对应所述第二状态参数,则对所述第二状态参数匹配第二投放策略;
响应于所述预设变化特征对应所述第三状态参数,则对所述第三状态参数匹配第三投放策略;
响应于所述预设变化特征对应所述第四状态参数,则对所述第四状态参数匹配第四投放策略。
6.根据权利要求4所述的物体投放方法,其特征在于,所述运动像素点信息变化曲线至少包括第一状态参数对应的所述预设变化特征;
所述对目标视频流包含的多张连续的视频帧分别进行分割处理,得到各所述视频帧对应的掩码图像,之前还包括:
采集使用所述目标物前的所述目标区域的视频作为参考视频流;
基于所述参考视频流中各所述视频帧对应的运动像素点信息,确定所述参考视频流的运动像素点变化特征;
基于所述参考视频流的运动像素点变化特征和所述第一状态参数对应的所述预设变化特征,对所述运行像素点信息变化曲线进行校正。
7.根据权利要求3所述的物体投放方法,其特征在于,所述运动像素点信息包括运动像素点数量;
所述根据各所述视频帧对应的所述运动像素点信息,确定所述目标视频流的运动像素点变化特征,包括:
根据各所述视频帧对应的所述运动像素点数量,生成所述目标视频流对应的运动像素点数量变化趋势。
8.根据权利要求7所述的物体投放方法,其特征在于,所述预设变化特征包括预设变化趋势;
所述基于所述目标视频流的运动像素点变化特征,确定向所述目标区域投放目标物的物体投放策略,包括:
将所述目标视频流的运动像素点数量变化趋势与所述运动像素点信息变化曲线中各所述预设变化趋势分别进行比对;
响应于所述运动像素点数量变化趋势与一所述预设变化趋势一致,则确定以所述预设变化趋势对应的物体投放策略向所述目标区域投放目标物。
9.根据权利要求1所述的物体投放方法,其特征在于,所述物体投放策略包括投喂量规格、投食速率规格、投食时长规格、投食地点规格、各所述投食地点对应的投喂量规格中的至少一种。
10.一种物体投放方法,其特征在于,所述物体投放方法包括:
对获取的目标视频流包含的多张连续的视频帧分别进行分割处理,得到各所述视频帧对应的掩码图像;所述目标视频流是针对目标区域采集的;
采用循环神经网络基于所述目标视频流中各所述视频帧的掩码图像,确定向所述目标区域投放目标物的物体投放策略。
11.根据权利要求10所述的物体投放方法,其特征在于,所述循环神经网络的训练方法包括:
获取多个训练视频流,所述训练视频流包括多张连续的样本图像,各所述样本图像关联有对应的掩码图像,各所述训练视频流关联有对应的标注物体投放策略;
将所述训练视频流包含的所有样本图像的掩码图像输入到所述循环神经网络,得到所述训练视频流对应的预测物体投放策略;
基于同一所述训练视频流对应的所述标注物体投放策略和所述预测物体投放策略之间的误差值迭代训练所述循环神经网络。
12.一种物体投放装置,其特征在于,所述物体投放装置包括:
预处理模块,用于对目标视频流包含的多张连续的视频帧分别进行分割处理,得到各所述视频帧对应的掩码图像;所述目标视频流是针对目标区域采集的;
统计模块,用于统计各所述视频帧的掩码图像中目标对象对应的运动像素点信息;
分析模块,用于根据各所述视频帧对应的所述运动像素点信息,确定所述目标视频流的运动像素点变化特征;
确定模块,用于基于所述目标视频流的运动像素点变化特征,确定向所述目标区域投放目标物的物体投放策略。
13.一种物体投放装置,其特征在于,所述物体投放装置包括:
预处理模块,用于对获取的目标视频流包含的多张连续的视频帧分别进行分割处理,得到各所述视频帧对应的掩码图像;所述目标视频流是针对目标区域采集的;
处理模块,用于采用循环神经网络基于所述目标视频流中各所述视频帧的掩码图像,确定向所述目标区域投放目标物的物体投放策略。
14.一种终端,其特征在于,所述终端包括存储器、处理器以及存储于所述存储器中并在所述处理器上运行的计算机程序,所述处理器用于执行程序数据以实现如权利要求1~11任一项所述的物体投放方法中的步骤。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1~11任一项所述的物体投放方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211132214.5A CN115619823A (zh) | 2022-09-16 | 2022-09-16 | 一种物体投放方法、装置、终端及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211132214.5A CN115619823A (zh) | 2022-09-16 | 2022-09-16 | 一种物体投放方法、装置、终端及计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115619823A true CN115619823A (zh) | 2023-01-17 |
Family
ID=84858835
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211132214.5A Pending CN115619823A (zh) | 2022-09-16 | 2022-09-16 | 一种物体投放方法、装置、终端及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115619823A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116548345A (zh) * | 2023-04-25 | 2023-08-08 | 广东环境保护工程职业学院 | 鱼虾投喂方法、装置、系统和存储介质 |
-
2022
- 2022-09-16 CN CN202211132214.5A patent/CN115619823A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116548345A (zh) * | 2023-04-25 | 2023-08-08 | 广东环境保护工程职业学院 | 鱼虾投喂方法、装置、系统和存储介质 |
CN116548345B (zh) * | 2023-04-25 | 2024-01-09 | 广东环境保护工程职业学院 | 鱼虾投喂方法、装置、系统和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109618961B (zh) | 一种家畜的智能投喂系统和方法 | |
Zhuang et al. | Detection of sick broilers by digital image processing and deep learning | |
Viazzi et al. | Automatic mass estimation of Jade perch Scortum barcoo by computer vision | |
Chen et al. | Recognition of feeding behaviour of pigs and determination of feeding time of each pig by a video-based deep learning method | |
CN110583550B (zh) | 基于目标检测与跟踪的鱼虾参养殖精准投喂系统及装置 | |
CN108229351B (zh) | 一种动物养殖方法、动物养殖装置及电子设备 | |
CN108416269B (zh) | 牲畜信息采集系统、数据库建立及识别方法、介质、设备 | |
Lee et al. | Research Article The Use of Vision in a Sustainable Aquaculture Feeding System | |
CN112257564B (zh) | 水产品数量统计方法、终端设备及存储介质 | |
CN107148920A (zh) | 一种猪只健康智能监测方法及其系统 | |
CN115619823A (zh) | 一种物体投放方法、装置、终端及计算机可读存储介质 | |
Lu et al. | An automatic splitting method for the adhesive piglets’ gray scale image based on the ellipse shape feature | |
CN111274975A (zh) | 猪只采食行为预测方法及装置 | |
KR102141582B1 (ko) | 영상분석을 활용한 어미돼지의 분만시점 예측 방법 및 장치 | |
Tscharke et al. | Review of methods to determine weight and size of livestock from images | |
CN112800994A (zh) | 鱼群摄食行为识别方法、装置、电子设备和存储介质 | |
CN112861734A (zh) | 一种料槽余食监测方法及系统 | |
Yang et al. | A defencing algorithm based on deep learning improves the detection accuracy of caged chickens | |
CN111914792A (zh) | 视频监控与处理的方法、装置、电子设备与存储介质 | |
CN111160422B (zh) | 一种采用卷积神经网络和长短期记忆检测群养猪攻击行为的分析方法 | |
CN115830078B (zh) | 生猪多目标跟踪及行为识别方法、计算机设备与存储介质 | |
CN114511926B (zh) | 一种基于改进支持向量机和光流法相结合的猪的采食行为识别方法 | |
CN115439789A (zh) | 一种家蚕生命状态智能识别方法和识别系统 | |
Ding et al. | Social density detection for suckling piglets based on convolutional neural network combined with local outlier factor algorithm | |
CN113973775B (zh) | 一种饲料自动分摊方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |