CN113313042B - 一种图像处理方法、摄食状态检测方法及存储介质 - Google Patents
一种图像处理方法、摄食状态检测方法及存储介质 Download PDFInfo
- Publication number
- CN113313042B CN113313042B CN202110638610.4A CN202110638610A CN113313042B CN 113313042 B CN113313042 B CN 113313042B CN 202110638610 A CN202110638610 A CN 202110638610A CN 113313042 B CN113313042 B CN 113313042B
- Authority
- CN
- China
- Prior art keywords
- image
- foreground
- template
- point
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000037406 food intake Effects 0.000 title claims abstract description 38
- 238000003672 processing method Methods 0.000 title claims abstract description 29
- 238000003860 storage Methods 0.000 title claims abstract description 14
- 238000001514 detection method Methods 0.000 title abstract description 9
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 116
- 239000007921 spray Substances 0.000 claims abstract description 74
- 238000001914 filtration Methods 0.000 claims abstract description 38
- KLPWJLBORRMFGK-UHFFFAOYSA-N Molindone Chemical compound O=C1C=2C(CC)=C(C)NC=2CCC1CN1CCOCC1 KLPWJLBORRMFGK-UHFFFAOYSA-N 0.000 claims abstract description 7
- 229940028394 moban Drugs 0.000 claims abstract description 7
- 238000000034 method Methods 0.000 claims description 34
- 241000192710 Microcystis aeruginosa Species 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 23
- 239000003086 colorant Substances 0.000 claims description 5
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 230000002093 peripheral effect Effects 0.000 claims description 3
- 241000251468 Actinopterygii Species 0.000 description 22
- 230000000875 corresponding effect Effects 0.000 description 21
- 238000000605 extraction Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 6
- 238000009360 aquaculture Methods 0.000 description 4
- 244000144974 aquaculture Species 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 101100134058 Caenorhabditis elegans nth-1 gene Proteins 0.000 description 2
- 208000034699 Vitreous floaters Diseases 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000003031 feeding effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000005266 casting Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009372 pisciculture Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000036186 satiety Effects 0.000 description 1
- 235000019627 satiety Nutrition 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
- 238000003911 water pollution Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/80—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
- Y02A40/81—Aquaculture, e.g. of fish
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种图像处理方法、摄食状态检测方法及存储介质，包括获取针对目标水面的初始图像；创建基础模板，基础模板包括多个用于分割变化点的背景模板和一个连续前景模板；根据初始图像对每个背景模板进行初始化，并对连续前景模板进行初始化置零，以得到初始化后的基础模板；获取针对目标水面的多帧待处理目标图像；利用初始化后的基础模板分别对多帧待处理目标图像进行前景提取，得到每帧待处理目标图像的前景图像；对前景图像进行滤波处理，得到多帧待处理目标图像对应的水花图像。本发明可以在复杂的水面环境下，准确地提取目标水面的水花图像。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种图像处理方法、摄食状态检测方法及存储介质。
背景技术
目前，与水花图像的提取相关的技术方案较少，并且现有的也只是比较粗糙的进行提取，更没有对水花图像的进一步的分割及分析。对于此，主要是由于对水花图像的应用较少，对准确的水花图像的需求不强。一般波动的水面包含多种干扰因素，除水花外，还包括如波纹、倒影、光线、漂浮物、运动物等多种干扰因素。
随着对准确的水花图像的需求应用越来越多，例如，在水产养殖过程中，由于水产，例如鱼类，其摄食量受到如气温、季节等多种因素影响，无法保证每天摄食量固定，特别部分鱼种摄食差异量巨大，为了保证鱼类体重生长，投入饲料需基本符合鱼当天摄食情况，且投入过多饲料不但增加养殖成本，也会导致水体污染。因此传统的养殖过程中需一直人工观察摄食情况以调整喂食数量，消耗过多人力，且人工判断不客观、观测效率低。因此近年兴起的智慧养殖，通过各种智能化的手段对鱼群的摄食状态进行检测，进而进行相应的投食，例如高频声呐观测鱼群、视觉相机观测鱼群，而现有这些技术存在各种不足，设备成本高昂，无法普及使用，且对使用人员要求高，并且场地要求高，抗干扰能力弱。
本申请的发明人通过研究，发现通过水花图像对鱼群摄食状态进行判断可以很好的解决上述技术存在的问题，然而通过水花图像对鱼群摄食状态进行判断时，需要准确的水花图像。
发明内容
有鉴于此，本发明的目的在于提供一种图像处理方法、摄食状态检测方法及存储介质，以至少可以在复杂的水面环境下，准确地提取目标水面的水花图像。
为实现上述目的，本发明实施例一方面提供一种图像处理方法，作为其中一种实施方式，该图像处理方法包括：
获取针对目标水面的初始图像；
创建基础模板，所述基础模板包括多个用于分割变化点的背景模板和一个连续前景模板；
根据所述初始图像对每个所述背景模板进行初始化，并对所述连续前景模板进行初始化置零，以得到初始化后的基础模板；
获取针对所述目标水面的多帧待处理目标图像；
利用所述初始化后的基础模板分别对所述多帧待处理目标图像进行前景提取，得到每帧所述待处理目标图像的前景图像；
对所述前景图像进行滤波处理，得到所述多帧待处理目标图像对应的多张水花图像。
作为其中一种实施方式，所述根据所述初始图像对每个所述背景模板进行初始化，包括：
根据所述初始图像填充每个所述背景模板，其中每个所述背景模板中各个像素点的数值由所述初始图像中对应像素点的周边领域内的随机一个像素点的像素值填充。
作为其中一种实施方式，所述初始图像为所述多帧待处理目标图像中的第一帧图像。
作为其中一种实施方式，所述多帧待处理目标图像为预设时间段内连续的多帧图像。
作为其中一种实施方式，所述利用所述初始化后的基础模板分别对所述多帧待处理目标图像进行前景提取，得到每帧所述待处理目标图像的前景图像，包括：
计算第一帧待处理目标图像中的第一像素点的像素值与每个初始化后的所述背景模板中与所述第一像素点同坐标点的像素值的欧式距离；
判断所述欧式距离大于预设距离的所述背景模板的个数是否大于阈值；
在所述个数不大于所述阈值时，则判定所述第一像素点为背景点，并将所述连续前景模板中同坐标点的值置零，同时对所述背景模板进行更新；
在所述个数大于所述阈值时，则将所述连续前景模板中同坐标点的值加一，然后判断所述连续前景模板同坐标点的值是否大于预设值；
在所述连续前景模板同坐标点的值小于所述预设值时，判定所述像素点为前景点；
在所述连续前景模板同坐标点的值大于所述预设值时，进行随机概率判断，以判定所述第一像素点为背景点还是前景点，并在判定所述第一像素点为背景点时，将所述连续前景模板中同坐标点的值置零；
基于对所述第一像素点进行判定完后得到的所述基础模板，对所述第一帧待处理目标图像中的第二像素点进行判定。
作为其中一种实施方式，所述对所述背景模板进行更新，包括：
根据所述第一像素点的像素值概率更新随机一个所述背景模板中同坐标点的数值，及概率更新随机一个所述背景模板中同坐标点的邻域点的数值。
作为其中一种实施方式，所述基础模板还包括闪烁强度模板；其中，
所述滤波处理包括闪烁滤波、其余运动物体滤波以及时间连续性滤波中的至少一种；其中，
所述闪烁滤波包括：将当前前景图像与上一帧前景图像逐像素对比，若是差异点，则按预先设定的闪烁阈值增加所述闪烁强度模板上对应点的数值，若是相同点，则按预先设定的闪烁阈值减少所述闪烁强度模板上对应点的数值，在逐像素对比完后，将所述闪烁强度模板上超出预设值的点，从当前前景图像中剔除；
所述其余运动物体滤波包括：根据水花本身的颜色特性，设定色彩空间符合图像色度的阈值范围，过滤所述前景图像中非范围内的颜色的前景点；
所述时间连续性滤波包括：对比多帧相邻的前景图像，剔除当前前景图像中异常出现的区域。
本发明实施例另一方面提供一种摄食状态检测方法，作为其中一种实施方式，该摄食状态检测方法包括：
根据上述任一项实施方式所述的图像处理方法得到多张水花图像；
根据所述多张水花图像得到目标对象的摄食状态。
作为其中一种实施方式，所述根据所述多张水花图像得到目标对象的摄食状态，包括：
根据所述多张水花图像得到水花参数，其中所述水花参数包括单位时间内最大水花覆盖率、单位时间内水花个数以及单位时间内水花频率中的至少一种；
根据所述目标对象的特定信息对所述水花参数设定对应的权重，其中所述特定信息包括所述目标对象的种类和/或目标对象的生长阶段；
根据所述水花参数和所述权重得到所述目标对象的摄食状态。
本发明实施例又一方面提供一种计算机可读的存储介质，作为其中一种实施方式，所述存储介质包括存储的程序，其中，所述程序运行时执行上述任一项实施方式中所述的方法。
在本发明实施例中，通过先获取针对目标水面的初始图像，创建基础模板，基础模板包括多个用于分割变化点的背景模板和一个连续前景模板，根据初始图像对每个背景模板进行初始化，并对连续前景模板进行初始化置零，以得到初始化后的基础模板，然后获取针对目标水面的多帧待处理目标图像，并利用初始化后的基础模板分别对多帧待处理目标图像进行前景提取，得到每帧待处理目标图像的前景图像，最后对前景图像进行滤波处理，得到多帧待处理目标图像对应的水花图像。本发明可以在复杂的水面环境下，准确地提取目标水面的水花图像，例如可以在水产养殖过程中，提供准确的水花图像，以用于准确判断水产生物的摄食状态，进行自动化喂养。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种可选的图像处理方法的网络环境的示意图；
图2是根据本发明实施例的一种可选的图像处理方法的流程图；
图3是根据本发明图2所示的实施例中步骤S105的一种可选的方法流程图；
图4是根据本发明实施例的一种可选的摄食状态检测方法的流程图。
图5是根据本发明图4所示实施例中步骤S302的一种可选的方法流程图。
具体实施方式
为了使本领域的技术人员更好地理解本发明的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。本领域普通技术人员基于本发明的实施例，在没有创造性劳动前提下获得的所有其它实施例，都应当属于本发明的保护范围。
需要说明的是，本发明的说明书、权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，但不必用于描述特定的顺序或先后次序。应当理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包括了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可以包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其他步骤或单元。
根据本发明实施例的一个方面，提供一种图像处理方法，在一实施方式中，请参考图1，图1是根据本发明实施例的一种可选的图像处理方法的网络环境的示意图。上述图像处理方法可以但不限于应用于如图1所示的网络环境中的图像处理系统中，该图像处理系统包括用户设备10、网络11及服务器12。其中，用户设备10包括处理器101和存储器102。处理器101用于获取图像，包括针对目标水面的初始图像和针对目标水面的多帧待处理目标图像，并对图像进行处理得到水花图像，例如前景提取和滤波处理。存储器102用于存储处理后得到的水花图像。可选的，图像处理的过程，包括前景提取和滤波处理，可以在服务器12上进行。具体地，服务器12包括处理引擎121和数据库120，处理引擎121用于执行图像处理的过程，数据库120用于存储图像处理过程中的数据。换言之，图像处理的过程既可以在用户设备10的处理器101中执行，也可以在服务器12的处理引擎121中执行，在服务器12的处理引擎121中执行时，用户设备10将待处理的图像通过网络11发送给服务器12，在服务器12的处理引擎121中执行完毕后，再将得到的水花图像发送至用户设备10。
需要说明的是，本实施例的图像处理方法是提取准确的水花图像，其中，水花图像是指水面溅起的水花，在物体落入水中、鱼群进食时等情况都会产生水花。
上述只是对本发明实施例的一种可选的图像处理方法的网络环境进行简要说明，对于具体的图像处理方法，请参考图2，图2是根据本发明实施例的一种可选的图像处理方法的流程图。如图2所示，该方法包括：
S101，获取针对目标水面的初始图像。
具体地，获取针对目标水面的初始图像，可以是实时拍摄并获取，也可以是已经拍摄完毕，再进行图像处理，即在水花提取时进行调取，在此不作限制。例如，若是在进行目标水域中鱼群的摄食状态检测时，则需要实时的进行拍摄并获取，以进行实时的摄食状态检测。若是只需要提取特定场景下的水花图像，则只用在图像处理时调取保存的之前特定场景下拍摄的图像。
S102，创建基础模板，基础模板包括多个用于分割变化点的背景模板和一个连续前景模板。
具体地，根据图像分辨率(m*n，m行，n列)，创建多个m*n的矩阵作为背景模板，即多个背景模板，每个背景模板的尺寸与图像分辨率相同，该背景模板用于分割图像中的变化点。创建一个判定前景点的连续前景模板，该连续前景模板的大小同样为m*n，即m行，n列。其中，背景模板的个数按照实际处理需求进行选择，此处不作限定。
S103，根据初始图像对每个背景模板进行初始化，并对连续前景模板进行初始化置零，以得到初始化后的基础模板。
具体地，获取针对目标水面的初始图像后，根据该初始图像对每个背景模板进行初始化，并将连续前景模板置为零矩阵，也就是进行初始化置零，当然连续前景模板创建时即默认为零矩阵时，对连续前景模板进行初始化置零的步骤则是在创建基础模板时进行。
在一实施方式中，根据初始图像对每个背景模板进行初始化，包括：
根据初始图像填充每个背景模板，其中每个背景模板中各个像素点的数值由初始图像中对应像素点的周边领域(也就是像素的邻域)内的随机一个像素点的像素值填充。
具体地，对应像素点的邻域可以是4邻域、D邻域以及8邻域等，例如，像素p(x，y)的4邻域是：(x+1，y)、(x-1，y)、(x，y+1)以及(x，y-1)(上下左右)。图像中的各个像素都是相关的，每个像素和邻域具有相同或者相似的一些特性。在进行填充时，依次填充每个背景模板，每个背景模板的每个像素点进行填充时，都随机选取初始图像中对应像素点的邻域的一个像素点的像素值进行填充。
S104，获取针对目标水面的多帧待处理目标图像。
具体地，该多帧待处理目标图像可以是目标水面特定区域内的图像，例如在鱼类养殖时投饵的区域，并且在实时拍摄获取图像的过程中还可以屏蔽干扰区域图像。通过获取多帧待处理目标图像可以很好的获得具有时间连续性的多张水花图像，以得到水花从出现到消失的全过程，而单帧图像则无法获取一个完整的水花。
在一实施方式中，多帧待处理目标图像为预设时间段内连续的多帧图像。
具体地，由于水花的连续特性，获取的多帧待处理目标图像为预设的时间段内连续的多帧图像，例如该多帧待处理目标图像是8秒时间内，通过每秒多帧获取的连续的多帧图像，而不是长间隔(例如5秒)的获取一帧，获取的多帧图像，也就是说多帧待处理目标图像具有时间上的连续性，以便准确的得到水花图像。
值得一提的是，获取针对目标水面的多帧待处理目标图像时，获取与处理可以交替进行，例如获取第一帧待处理目标图像后，对该帧待处理目标图像进行水花图像的提取，然后获取第二帧待处理目标图像，对第二帧待处理图像进行水花图像的提取，即获取一帧处理一帧。当然也可以等多帧图像完全获取完后，
在一实施方式中，初始图像为多帧待处理目标图像中的第一帧图像。
具体地，初始图像中可以为多帧待处理目标图像中的第一帧图像，即按时间顺序获取的多帧待处理目标图像中的第一帧。例如，在对鱼群进行投饵时，通过架设的摄像头获取投饵时目标水面的图像，以进行处理得到鱼群进食时的水花图像时，多帧待处理目标图像即为投饵后一段时间内获取的多帧图像，而用于初始化基础模板的初始图像可以是投饵之前获取的目标水面的图像，也可以是多帧待处理目标图像中的第一帧待处理目标图像。
需要说明的是，本实施例的技术方案为图像处理方法，用于提取水花图像，而不是限定于在鱼群养殖的投饵场景下获取水花图像，因此图像的本身内容不作限定。
S105，利用初始化后的基础模板分别对多帧待处理目标图像进行前景提取，得到每帧待处理目标图像的前景图像。
具体地，前景图像的内容即为可能发生内容变动的图像位置，包括水花变化及其他干扰变化，例如波纹、倒影、光线、以及漂浮物等干扰因素。
请参考图3，图3是根据本发明图2所示的实施例中步骤S105的一种可选的方法流程图。如图3所示，在一实施方式中，步骤S105，利用初始化后的基础模板分别对多帧待处理目标图像进行前景提取，得到每帧待处理目标图像的前景图像，包括：
S201，计算第一帧待处理目标图像中的第一像素点的像素值与每个初始化后的背景模板中与第一像素点同坐标点的像素值的欧式距离。
具体地，在前景提取时，通过依次处理每一帧待处理目标图像，在处理每一帧待处理目标图像时，遍历图像中所有的像素点，判定为前景点还是背景点。此处，例如，计算待处理目标图像中坐标为(x，y)的像素点的像素值与所有背景模板中同坐标点(x，y)像素值的欧氏距离，其中像素值位于色彩空间中，可计算各像素值之间的欧式距离。
S202，判断欧式距离大于预设距离的背景模板的个数是否大于阈值。
具体地，判断计算出的各个欧式距离中有几个是大于设定的阈值，其中阈值根据实际情况进行设定。
在欧式距离大于预设距离的背景模板的个数不大于阈值时，进入步骤S203，判定第一像素点为背景点，并将连续前景模板中同坐标点的值置零，同时对背景模板进行更新。
其中，在一实施方式中，对背景模板进行更新，包括：
根据第一像素点的像素值概率更新随机一个背景模板中同坐标点的数值，及概率更新随机一个背景模板中同坐标点的邻域点的数值。
具体地，概率更新随机一个背景模板是指首先进行概率判断是否更新，若判断为更新，则再随机选取一个背景模板，对该背景模板中与第一像素点同坐标的点的数值进行更新。同样的，再次进行概率判断是否更新，若判断为更新，则随机选取一个背景模板，对该背景模板中与第一像素点同坐标的点的邻域中随机一个点的数值进行更新。其中邻域的类型可以按实际情况选择。
在欧式距离大于预设距离的背景模板的个数大于阈值时，进入步骤S204，将连续前景模板中同坐标点的值加一。
S205，判断连续前景模板同坐标点的值是否大于预设值。
在连续前景模板同坐标点的值小于或等于预设值时，进入步骤S206，判定像素点为前景点。(为了简要描述，图3中的S206仅表示判定为前景点分支，其是S205和S207判断为前景点的共同分支)
在连续前景模板同坐标点的值大于预设值时，进入步骤S207，进行随机概率判断，以判定第一像素点为背景点还是前景点。
在判定第一像素点为背景点时，进入步骤S208，判定第一像素点为背景点，将连续前景模板中同坐标点的值置零。
在判定第一像素点为前景点时，进入步骤S206，判定第一像素点为前景点。
具体地，此处随机概率判断指通过预先设定一个概率，根据设定的概率随机判断是前景点还是背景点，以进行后续的处理。此处概率判断的设定值与前述概率判断的设定值相互独立设置。
S209，基于对第一像素点进行判定完后得到的基础模板，对第一帧待处理目标图像中的第二像素点进行判定。
具体地，此处第一像素点和第二像素点并不是对像素点位置的限制，只是方便进行描述，即对第一帧待处理目标图像中的每个像素点都进行前景点和背景点的判断，而对于第二像素点的判断是基于对第一像素点进行判定完后得到的基础模板，也就是说在像素点的判定过程中，基础模板的内容(数值)是更新变化的。通过遍历第一帧待处理目标图像的所有像素点后，就可以得到第一帧待处理目标图像的前景图像，即所有前景点组成的图像。同样在第一帧待处理目标图像判定完后，第二帧待处理目标图像的判定是基于对第一帧待处理目标图像判定完后得到的基础模板。
S106，对前景图像进行滤波处理，得到多帧待处理目标图像对应的水花图像。
具体地，一般波动水面提取的前景图像包含多种干扰因素，除水花外，还含有如波纹、倒影、光线、漂浮物等多种干扰因素，无法直接使用。因此需进行滤波过滤，以滤除水波、河岸倒影、阳光反光、河岸运动物体等多种干扰。
在一实施方式中，基础模板还包括闪烁强度模板；其中，
滤波处理包括闪烁滤波、其余运动物体滤波以及时间连续性滤波中的至少一种；其中，
闪烁滤波包括：将当前前景图像与上一帧前景图像逐像素对比，若是差异点，则按预先设定的闪烁阈值增加闪烁强度模板上对应点的数值，若是相同点，则按预先设定的闪烁阈值减少闪烁强度模板上对应点的数值，在逐像素对比完后，将闪烁强度模板上超出预设值的点，从当前前景图像中剔除；
其余运动物体滤波包括：根据水花本身的颜色特性，设定色彩空间符合图像色度的阈值范围，过滤前景图像中非范围内的颜色的前景点；
时间连续性滤波包括：对比多帧相邻的前景图像，剔除当前前景图像中异常出现的区域。
具体地，在进行滤波之前，创建一个与图像分辨率相同尺寸(m*n)的零矩阵闪烁强度模板，在将当前前景图像与上一帧前景图像逐像素对比，以进行闪烁率波时使用。由于水花被激起时其色彩由于光线折射具有一致性，因此通过其余运动物体滤波，设定色彩空间符合图像色度的阈值范围，过滤前景图像中非范围内的颜色的前景点。本实施例中，闪烁滤波、其余运动物体滤波和时间连续性滤波可以一起使用，并且没有使用顺序的限制，最终取多种滤波的交集，得到最终的前景，也即准确的水花图像。
需要说明的是，根据本发明实施例，提供了一种图像处理方法的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
根据本发明实施例的另一方面，提供一种摄食状态检测方法，请参考图4，图4是根据本发明实施例的一种可选的摄食状态检测方法的流程图。如图4所示，可选地，该摄食状态检测方法包括：
S301，获取多帧待处理目标图像对应的多张水花图像。
具体地，获取多帧待处理目标图像对应的多张水花图像，可以使用上述图像处理方法，具体方法请参考上述实施例，此处不再进行赘述。
需要说明的是，摄食状态是指在水产养殖时，在养殖水域进行投放饵料时，水产生物的摄食意向，以用于判断是否再进行投喂，或者是投喂多少饵料等。
S302，根据多张水花图像得到目标对象的摄食状态。
具体地，基于获取的具有时间连续性的多张水花图像，通过提取获得可评估目标对象的摄食状态的参数。
在一实施方式中，根据多张水花图像得到目标对象的摄食状态，包括：
S401，根据多张水花图像得到水花参数，其中水花参数包括单位时间内最大水花覆盖率、单位时间内水花个数以及单位时间内水花频率中的至少一种。
具体地，在计算单位时间(小于或等于多张水花图像的时间范围)内最大水花覆盖率时，在设定的单位时间内，统计所有出现水花的像素点占总有效像素点的比值，得到单位时间最大水花覆盖率。通过此覆盖率，可用于评估目标对象摄食的整体活性，覆盖率越大，说明水面摄食的目标对象分布越大，摄食的目标对象数量更多。
在计算单位时间内水花个数时，由于多张水花图像按时间序列存储，且水花的出现及消失具有空间连续性，即可根据连续水花图像，分割出单个水花的数量，并且统计水花持续时间，即近似于目标对象单次摄食的数量。单位时间内，单个水花的出现次数越高，目标对象摄食活跃度越高。并且，当目标对象较为活跃时，存在前后水花在时间与空间上发生重合的情况，因此可以额外根据实际水花存在物理时间，将持续时长超时的水花按实际持续时间除以单个水花最大时间来进行数量分割，以得到单位时间内准确的水花个数。对于相互接近而导致相连的水花，通过统计水花像素面积均值众数，对超大面积水花按实际面积除以单水花面积均值众数进行数量分割。
在计算单位时间内水花频率时，对于相同单位时间，单位水花个数除以单位时间，即为水花频率。水花频率的变化代表目标对象随着摄食情况的变化。当频率上升，说明目标对象活跃度上升，频率下降说明目标对象饱食度提高，摄食活性下降。
值得一提的是，单个水花的判定可以是，对第N帧水花图像，聚类分割出各个像素块，各个像素块即为一个水花团，对第N-1帧水花图像，校验第N帧水花图像中的各水花团是否存在，存在则此区间为同一水花，不存在则为第N帧时出现的新水花，对于新水花记录出现的帧编号，对第N帧水花图像，校验第N-1帧各水花团是否存在，不存在则表示原水花团消失，记录水花团结束的帧编号，则水花团持续时间为(结束帧编号-出现帧编号)*帧时间间隔，从而可以进行单个水花的判定。
S402，根据目标对象的特定信息对水花参数设定对应的权重，其中特定信息包括目标对象的种类和/或目标对象的生长阶段。
具体地，根据目标对象的特定信息对水花参数设定对应的权重，例如根据不同的鱼类、在不同的生长阶段对水花参数中的各参数设置对应的权重，即不同的鱼类，在不同的生长阶段，上述水花参数中的各参数对其摄食状态的判断的影响程度不同。
S403，根据水花参数和权重得到目标对象的摄食状态。
具体地，根据水花参数和权重得到目标对象的摄食状态，即根据水花参数和权重综合得出一个评估值，该值的大小反应目标对象的摄食状态，通过综合评估可以更准确的反应目标对象的摄食状态，例如，值越大则认为该区域鱼摄食活跃，需要投食。
值得一提的是，在根据水花参数和权重得到目标对象的摄食状态后，可以根据目标对象的摄食状态，确定是否继续投喂饵料。例如，在养殖鱼类的过程中，先进行第一次饵料的投喂，然后获取投喂饵料后鱼类的进食图像，也就是多帧待处理目标图像，然后根据前述的图像处理方法得到多帧待处理目标图像对应的水花图像，然后根据多张水花图像得到鱼类的摄食状态，具体过程请参考前述说明，最后根据摄食状态确定是否继续进行投喂饵料，进而可以解决饵料的浪费，以及过多的饵料对鱼塘的污染的问题，实现精准的自动化喂养。
综上，在本发明实施例中，通过先获取针对目标水面的初始图像，创建基础模板，基础模板包括多个用于分割变化点的背景模板和一个连续前景模板，根据初始图像对每个背景模板进行初始化，并对连续前景模板进行初始化置零，以得到初始化后的基础模板，然后获取针对目标水面的多帧待处理目标图像，并利用初始化后的基础模板分别对多帧待处理目标图像进行前景提取，得到每帧待处理目标图像的前景图像，最后对前景图像进行滤波处理，得到多帧待处理目标图像对应的水花图像。本发明可以在复杂的水面环境下，准确地提取目标水面的水花图像，例如可以在水产养殖过程中，提供准确的水花图像，以用于准确判断水产生物的摄食状态，进行自动化喂养。
根据本发明实施的又一方面，还提供一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一方法实施例中的步骤。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，获取针对目标水面的初始图像；
S2，创建基础模板，基础模板包括多个用于分割变化点的背景模板和一个连续前景模板；
S3，根据初始图像对每个背景模板进行初始化，并对连续前景模板进行初始化置零，以得到初始化后的基础模板；
S4，获取针对目标水面的多帧待处理目标图像；
S5，利用初始化后的基础模板分别对多帧待处理目标图像进行前景提取，得到每帧待处理目标图像的前景图像；
S6，对前景图像进行滤波处理，得到多帧待处理目标图像对应的多张水花图像。
根据本发明实施的又一方面，还提供一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一方法实施例中的步骤。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S11，根据上述图像处理方法得到多张水花图像；
S12，根据多张水花图像得到目标对象的摄食状态。
可选地，在本实施例中，本领域普通计算人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储在一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储盘(Read-Only Memory，ROM)、随机存取器(Random Access Memory，RAM)、磁盘或光盘等。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
Claims (9)
1.一种图像处理方法，其特征在于，包括：
获取针对目标水面的初始图像；
创建基础模板，所述基础模板包括多个用于分割变化点的背景模板和一个连续前景模板；
根据所述初始图像对每个所述背景模板进行初始化，并对所述连续前景模板进行初始化置零，以得到初始化后的基础模板；
获取针对所述目标水面的多帧待处理目标图像；
利用所述初始化后的基础模板分别对所述多帧待处理目标图像进行前景提取，得到每帧所述待处理目标图像的前景图像；
对所述前景图像进行滤波处理，得到所述多帧待处理目标图像对应的多张水花图像；
其中，所述利用所述初始化后的基础模板分别对所述多帧待处理目标图像进行前景提取，得到每帧所述待处理目标图像的前景图像，具体包括：
计算第一帧待处理目标图像中的第一像素点的像素值与每个初始化后的所述背景模板中与所述第一像素点同坐标点的像素值的欧式距离；
判断所述欧式距离大于预设距离的所述背景模板的个数是否大于阈值；
在所述个数不大于所述阈值时，则判定所述第一像素点为背景点，并将所述连续前景模板中同坐标点的值置零，同时对所述背景模板进行更新；
在所述个数大于所述阈值时，则将所述连续前景模板中同坐标点的值加一，然后判断所述连续前景模板同坐标点的值是否大于预设值；
在所述连续前景模板同坐标点的值小于所述预设值时，判定所述像素点为前景点；
在所述连续前景模板同坐标点的值大于所述预设值时，进行随机概率判断，以判定所述第一像素点为背景点还是前景点，并在判定所述第一像素点为背景点时，将所述连续前景模板中同坐标点的值置零；
基于对所述第一像素点进行判定完后得到的所述基础模板，对所述第一帧待处理目标图像中的第二像素点进行判定。
2.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述初始图像对每个所述背景模板进行初始化，包括：
根据所述初始图像填充每个所述背景模板，其中每个所述背景模板中各个像素点的数值由所述初始图像中对应像素点的周边领域内的随机一个像素点的像素值填充。
3.根据权利要求1所述的图像处理方法，其特征在于，所述初始图像为所述多帧待处理目标图像中的第一帧图像。
4.根据权利要求1所述的图像处理方法，其特征在于，所述多帧待处理目标图像为预设时间段内连续的多帧图像。
5.根据权利要求1所述的图像处理方法，其特征在于，所述对所述背景模板进行更新，包括：
根据所述第一像素点的像素值概率更新随机一个所述背景模板中同坐标点的数值，及概率更新随机一个所述背景模板中同坐标点的邻域点的数值。
6.根据权利要求1所述的图像处理方法，其特征在于，所述基础模板还包括闪烁强度模板；其中，
所述滤波处理包括闪烁滤波、其余运动物体滤波以及时间连续性滤波中的至少一种；其中，
所述闪烁滤波包括：将当前前景图像与上一帧前景图像逐像素对比，若是差异点，则按预先设定的闪烁阈值增加所述闪烁强度模板上对应点的数值，若是相同点，则按预先设定的闪烁阈值减少所述闪烁强度模板上对应点的数值，在逐像素对比完后，将所述闪烁强度模板上超出预设值的点，从当前前景图像中剔除；
所述其余运动物体滤波包括：根据水花本身的颜色特性，设定色彩空间符合图像色度的阈值范围，过滤所述前景图像中非范围内的颜色的前景点；
所述时间连续性滤波包括：对比多帧相邻的前景图像，剔除当前前景图像中异常出现的区域。
7.一种摄食状态检测方法，其特征在于，包括：
根据权利要求1-6中任一项所述的图像处理方法得到多张水花图像；
根据所述多张水花图像得到目标对象的摄食状态。
8.根据权利要求7所述的图像处理方法，其特征在于，所述根据所述多张水花图像得到目标对象的摄食状态，包括：
根据所述多张水花图像得到水花参数，其中所述水花参数包括单位时间内最大水花覆盖率、单位时间内水花个数以及单位时间内水花频率中的至少一种；
根据所述目标对象的特定信息对所述水花参数设定对应的权重，其中所述特定信息包括所述目标对象的种类和/或目标对象的生长阶段；
根据所述水花参数和所述权重得到所述目标对象的摄食状态。
9.一种计算机可读的存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序运行时执行上述权利要求1至6或上述权利要求7-8任一项中所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110638610.4A CN113313042B (zh) | 2021-06-08 | 2021-06-08 | 一种图像处理方法、摄食状态检测方法及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110638610.4A CN113313042B (zh) | 2021-06-08 | 2021-06-08 | 一种图像处理方法、摄食状态检测方法及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113313042A CN113313042A (zh) | 2021-08-27 |
| CN113313042B true CN113313042B (zh) | 2024-01-05 |
Family
ID=77377802
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110638610.4A Active CN113313042B (zh) | 2021-06-08 | 2021-06-08 | 一种图像处理方法、摄食状态检测方法及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113313042B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114323117B (zh) * | 2021-11-17 | 2024-02-09 | 玉林师范学院 | 一种鱼类摄食强度评估方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013091369A1 (zh) * | 2011-12-22 | 2013-06-27 | 中国科学院自动化研究所 | 一种基于深度图像的多目标分割和跟踪方法 |
| CN104537687A (zh) * | 2014-12-22 | 2015-04-22 | 中国民航大学 | 一种具有速度信息的时序模板动作表示方法 |
| CN104599502A (zh) * | 2015-02-13 | 2015-05-06 | 重庆邮电大学 | 一种基于视频监控的车流量统计方法 |
| CN109187534A (zh) * | 2018-08-01 | 2019-01-11 | 江苏凯纳水处理技术有限公司 | 水质检测方法及其水样图像识别装置 |
| CN109785356A (zh) * | 2018-12-18 | 2019-05-21 | 北京中科晶上超媒体信息技术有限公司 | 一种视频图像的背景建模方法 |
| CN111260684A (zh) * | 2020-03-02 | 2020-06-09 | 成都信息工程大学 | 基于帧差法和背景差分法结合的前景像素提取方法及系统 |
| CN111372060A (zh) * | 2020-04-07 | 2020-07-03 | 北京海益同展信息科技有限公司 | 智能投饵方法、系统及巡检视觉装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6023058B2 (ja) * | 2011-08-29 | 2016-11-09 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 画像処理装置、画像処理方法、プログラム、集積回路 |
| EP3300022B1 (en) * | 2016-09-26 | 2019-11-06 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and program |
-
2021
- 2021-06-08 CN CN202110638610.4A patent/CN113313042B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013091369A1 (zh) * | 2011-12-22 | 2013-06-27 | 中国科学院自动化研究所 | 一种基于深度图像的多目标分割和跟踪方法 |
| CN104537687A (zh) * | 2014-12-22 | 2015-04-22 | 中国民航大学 | 一种具有速度信息的时序模板动作表示方法 |
| CN104599502A (zh) * | 2015-02-13 | 2015-05-06 | 重庆邮电大学 | 一种基于视频监控的车流量统计方法 |
| CN109187534A (zh) * | 2018-08-01 | 2019-01-11 | 江苏凯纳水处理技术有限公司 | 水质检测方法及其水样图像识别装置 |
| CN109785356A (zh) * | 2018-12-18 | 2019-05-21 | 北京中科晶上超媒体信息技术有限公司 | 一种视频图像的背景建模方法 |
| CN111260684A (zh) * | 2020-03-02 | 2020-06-09 | 成都信息工程大学 | 基于帧差法和背景差分法结合的前景像素提取方法及系统 |
| CN111372060A (zh) * | 2020-04-07 | 2020-07-03 | 北京海益同展信息科技有限公司 | 智能投饵方法、系统及巡检视觉装置 |
Non-Patent Citations (5)
| Title |
|---|
| 一种改进的基于平均背景模型的运动目标检测算法;叶锋;范曼曼;郑子华;尹鹏;;福建师范大学学报(自然科学版)(第04期);全文 * |
| 基于PSO算法的运动目标跟踪研究;庞国瑞;葛广英;田存伟;;单片机与嵌入式系统应用(第06期);全文 * |
| 基于Vibe的改进运动目标检测算法;罗鸿斌;;自动化与仪器仪表(第03期);全文 * |
| 基于双背景模型的改进Vibe运动目标检测算法;周超康;战荫伟;冯开平;;电视技术(第04期);全文 * |
| 复杂背景下光学目标检测技术研究;莫邵文;中国优秀硕士学位论文全文数据库信息辑;第1-4节 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113313042A (zh) | 2021-08-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10713768B2 (en) | Methods of yield assessment with crop photometry | |
| CN109447945B (zh) | 基于机器视觉和图形处理的小麦基本苗快速计数方法 | |
| Nielsen et al. | Vision-based 3D peach tree reconstruction for automated blossom thinning | |
| CN105989601B (zh) | 基于机器视觉的农业agv玉米行间导航基准线提取方法 | |
| CN108990862B (zh) | 一种基于机器视觉的科学确定河蟹投饵量的方法 | |
| CN111127411B (zh) | 一种渔业养殖的监测控制方法 | |
| CN113313042B (zh) | 一种图像处理方法、摄食状态检测方法及存储介质 | |
| CN113313737B (zh) | 一种基于计算机视觉的诱虫瓶昆虫计数方法以及计数装置 | |
| CN113313692B (zh) | 一种基于航拍可见光图像的香蕉幼株自动识别与计数方法 | |
| CN109522899A (zh) | 咖啡成熟果实的检测方法、装置及电子设备 | |
| WO2014116120A1 (en) | System and method for counting zooplankton | |
| CN107844771A (zh) | 农作物生产管理的方法、系统、计算机装置及存储介质 | |
| CN110428374B (zh) | 一种小体积害虫自动检测方法及系统 | |
| CN109840496A (zh) | 海水养殖区分层分类提取方法、装置、存储介质及电子设备 | |
| CN115797844A (zh) | 一种基于神经网络的鱼体鱼病检测方法及系统 | |
| CN115661081A (zh) | 基于图像处理的水产养殖自动控制换水方法 | |
| Cao et al. | Research on counting algorithm of residual feeds in aquaculture based on machine vision | |
| CN103226709A (zh) | 一种美国白蛾幼虫网幕图像识别方法 | |
| CN103177244A (zh) | 水下显微图像中快速检测目标生物的方法 | |
| CN211048177U (zh) | 智能养殖系统 | |
| CN109118540B (zh) | 基于脊线提取的鲟鱼快速统计方法 | |
| CN104820818B (zh) | 一种移动物体的快速识别方法 | |
| CN109993087A (zh) | 一种利用遥感夜间灯光数据识别秋刀鱼渔船的方法 | |
| CN115861784A (zh) | 一种鱼饲料投喂方法和鱼饲料投喂量分析系统 | |
| CN115372933A (zh) | 一种杂光过滤方法、装置及激光雷达 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |