CN112330677A - 基于图像的高精度称重方法、系统、电子设备及存储介质 - Google Patents
基于图像的高精度称重方法、系统、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112330677A CN112330677A CN202110006543.4A CN202110006543A CN112330677A CN 112330677 A CN112330677 A CN 112330677A CN 202110006543 A CN202110006543 A CN 202110006543A CN 112330677 A CN112330677 A CN 112330677A
- Authority
- CN
- China
- Prior art keywords
- weighed
- image
- reference object
- pig
- weight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005303 weighing Methods 0.000 title claims abstract description 63
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000003860 storage Methods 0.000 title claims description 13
- 238000012549 training Methods 0.000 claims abstract description 19
- 241000282898 Sus scrofa Species 0.000 claims description 97
- 239000011159 matrix material Substances 0.000 claims description 32
- 238000013528 artificial neural network Methods 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 21
- 241000283690 Bos taurus Species 0.000 claims description 20
- 241001494479 Pecora Species 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 16
- 241000282887 Suidae Species 0.000 claims description 11
- 238000004140 cleaning Methods 0.000 claims description 8
- 210000001364 upper extremity Anatomy 0.000 claims description 7
- 210000001503 joint Anatomy 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 210000000003 hoof Anatomy 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 244000309466 calf Species 0.000 claims description 2
- 230000008569 process Effects 0.000 claims description 2
- 239000002131 composite material Substances 0.000 abstract description 2
- 238000003062 neural network model Methods 0.000 abstract 1
- 210000002414 leg Anatomy 0.000 description 16
- 241001465754 Metazoa Species 0.000 description 12
- 210000002569 neuron Anatomy 0.000 description 8
- 238000005259 measurement Methods 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 4
- 238000009395 breeding Methods 0.000 description 2
- 230000001488 breeding effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000012417 linear regression Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 210000000689 upper leg Anatomy 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 150000001875 compounds Chemical group 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 244000144972 livestock Species 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000053 physical method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01G—WEIGHING
- G01G17/00—Apparatus for or methods of weighing material of special form or property
- G01G17/08—Apparatus for or methods of weighing material of special form or property for weighing livestock
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30128—Food products
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Geometry (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明提供基于图像的高精度称重方法，包括如下步骤，采集具有待称重物与参照物的图像；标记采集的图像，提取标记的图像，所述标记包括标记图像中待称重物的部分图像和参照物图像；获取待称重物的部分图像和参照物图像的面积比率，将面积比率输入至称重模型中，获得待称重物的重量；其中称重模型采用的神经网络模型为六层链式复合函数通过训练获取，本方法中采用的分割后的待称重物与参照物的图像像素面积之比，较之使用整个待称重物的图像像素面积，使称重更具精确度；另本发明还提出使用该方法的系统；通过本发明的方法及系统使得基于图像对待称重物进行称重时获得的重量数据更准确，也避免人工对待称重物进行称重时操作麻烦且不卫生的问题。
Description
技术领域
本发明涉及称重技术领域，具体而言，涉及基于图像的高精度称重方法、系统、电子设备及存储介质。
背景技术
保险公司承保的养殖保险，在养殖的猪、牛或羊死亡后需要向养殖户赔付。传统模式下，查勘人员到现场后，需要测量死去的猪、牛或羊的重量，并根据重量核定赔付金额。称重采用两种方式，一是将死去的猪、牛或羊搬运上称确定重量，二是根据个人经验估算重量。将死去的猪、牛或羊搬运上称的方式费时费力又不卫生，而估算的方式主观性强，重量误差较大。于是为了得到一个符合保险公司规范又让养殖户认可的称重数据，有人提出使用基于图像的称重方式。
如申请号为202010710800.8的中国发明专利公开了基于图像检测的动物重量测量方法、装置、设备及介质，其中方法具体包括：选取设定规格的棋盘格作为标定物；将标定物放置于待测动物的正下方中间位置，并获取待测动物与所述标定物作为一个整体的图像；检测图像中的待测动物，并根据所述棋盘格对待测动物的尺度进行修正，得到仅包括待测动物的图像；将仅包括待测动物的图像输入重量估计模型，通过所述重量估计模型按照重量类别对待测动物进行分类，获取待测动物归为各个重量类别的概率，并根据待测动物归为各个重量类别的概率计算得出待测动物的重量。该方法并未考虑到猪、牛或羊的尾巴以及猪、牛或羊的小腿在基于图像预测时所带来的影响，并且该方法所使用的模型在实际操作中发现，仍然具有提高重量测量精度的空间。
基于此，本发明提出一种新的方法，增加对图像的处理并使用一种新的测量模型以提高对待称重物重量测量的准确度。
发明内容
本发明的目的在于提供基于图像的高精度称重方法、系统、电子设备及存储介质，其采用新的测量模型以及图像分割方法，全面提高了基于图像称重的称重准确度。
本发明的实施例通过以下技术方案实现：
第一方面，提供基于图像的高精度称重方法，包括如下步骤：
S1、采集具有待称重物与参照物的图像，并对采集得到的图像进行标记与提取标记图像处理，处理得到的图像与原图像组成带标签的图像数据，并建立带标签的图像数据库；
S2、使用带标签的图像数据库中的数据训练用于识别提取待称重物与参照物的识别模型；并通过识别模型提取出的待称重物与参照物的图像，获取待称重物与参照物的面积比率；
S3、使用预训练数据构建并训练称重模型，将S2中获取的待称重物与参照物的面积比率输入至称重模型中，获得待称重物的重量。
进一步的，所述S1中采集具有待称重物与参照物的图像具体包括，采用拍摄设备采集待称重物与参照物的完整图像，采集时待称重物与参照物需位于拍摄设备的正下方；所述待称重物为猪、牛或羊。
进一步的，所述标记与提取标记图像处理具体包括，标记待称重猪、牛或羊时，待称重猪、牛或羊的两只前腿中只标记靠近拍摄设备的一只以及两只后腿中也只标记靠近拍摄设备的一只，并且在标记时除去待称重的猪、牛或羊的尾巴以及被标记前后腿的小腿部分，所述小腿部分为待称重的猪、牛或羊的腿关节到蹄的部分；分别提取标记好的待称重猪、牛或羊图像与参照物图像。
进一步的，所述S2中的待称重物与参照物的面积比率具体为待称重物与参照物的图像像素面积比率。
进一步的，所述S3中的称重模型采用神经网络通过预训练数据训练获得，所述预训练数据包括预先被标注的待称重物与参照物的面积比率和对应待称重物的重量，所述神经网络采用六层链式复合函数，得到公式（1）如下，
f(x)=y 6(y 5(y 4(y 3(y 2(y 1(x)))))) （1）
其中，x为参照物与待称重物的面积比率；
每一层函数表示如式（2），
y i =g(W T y i-1+b)（2）
其中，0<i<7，i∈N*，当i=1时，y i-1=x，g表示激活函数，W为参数矩阵，T表示转置矩阵，b为偏置项，x为参照物与待称重物的面积比率；
为保证预测值的准确性，通过计算预测重量与实际重量的均方误差值来修正式（2）中的参数矩阵以及偏置项，直至均方误差值最小为止。
进一步的，所述标记采集的图像之前还包括，筛选待称重物与参照物的图像，仅保留参照物以及待称重物完整的图像，所述提取标记的图像包括使用连通域算法去掉所提取图像中将背景作为前景的部分，以及使用开运算填充前景中的孔洞部分，所述前景为图像中被标记的部分即待称重物以及参照物，所述背景为图像中未被标记的部分。
进一步的，还包括结果验证，具体为对识别模型所提取的图像做最小外接矩阵处理，得到待称重物的最小外接矩阵和参照物的最小外接矩阵，通过最小外接矩阵信息获取参照物和待称重物的图像长度，结合利用参照物的图像长度与实际长度关系，获取待称重物的实际长度；再通过最小外接矩阵获取参照物的矩阵面积，对比参照物的矩阵面积与像素面积，若面积差值较大，则提醒检测参照物的完整性。
第二方面，提供基于图像的高精度称重系统，包括数据采集模块、数据清洗模块与称重模块，所述数据采集模块为相机或手机等拍摄设备，所述数据清洗模块为图像处理设备；
所述拍摄设备用于拍摄待称重物与参照物的图像，并将拍摄采集的图像输入至图像处理设备；
所述图像处理设备用于使用识别模型标记并提取待称重物与参照物的图像，并将待称重物与参照物的图像的像素面积比率输入至称重模块；
所述称重模块用于使用称重模型输出待称重物的预测重量值。
第三方面，提供一种电子设备，包括至少一个处理器以及与所述处理器通信连接的至少一个存储器；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行上述的高精度称重方法。
第四方面，提供一种存储介质，所述存储介质中存储有高精度称重程序，所述高精度称重程序被处理器执行时实现上述的高精度称重方法。
本发明实施例的技术方案至少具有如下优点和有益效果：
1.本发明采用6层深度神经网络来表示面积比率与重量的映射关系，同时在待称重物的图像处理时进行图像分割，使用待称重物的部分图像与参照物图像的像素面积比率，从而取得了更准确的称重准确率；
2.本发明采用高精度的图像称重模型，避免了人工对待称重物进行称重时操作麻烦且不卫生的问题。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明方法流程示意图；
图2是本发明平均预测准确率示意图；
图3是去掉第二层深度神经网络时的平均预测准确率示意图；
图4是去掉第三层深度神经网络时的平均预测准确率示意图；
图5是去掉第四层深度神经网络时的平均预测准确率示意图；
图6是在第四层和第五层之间多加一层深度神经网络时的平均预测准确率示意图；
图7是将第三层的128个神经元改为256个神经元时的平均预测准确率示意图；
图8是采用LinearRegression函数时平均预测准确率示意图；
图9是采用回归树函数时平均预测准确率示意图；
图10是采用SVR函数时平均预测准确率示意图；
图11是采用GBDT函数时平均预测准确率示意图；
图12是取猪的全部部位时平均预测准确率示意图；
图13为本发明标记后提取的猪与参照物A4纸的图像。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中，需要说明的是，若出现术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该申请产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，若出现术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
第一方面，提供基于图像的高精度称重方法，可以理解的是，在该方法中，待称重物可以是猪、牛或羊等畜牧养殖动物，为方便理解与说明，在本发明的实施中，以待称重物为猪进行举例说明；如图1所示，具体包括如下步骤：
首先，我们需要使用采集设备按照规范的方法来采集具有待称重猪与参照物的图像。
其中，用拍摄设备采集待称重猪与参照物的完整图像，采集时待称重猪与参照物需位于拍摄设备的正下方。当拍摄角度较为倾向时，参照物与待称重猪的像素面积比率将会受到较为严重的影响，因此在获取待称重猪与参照物的图像时，需要使的待称重猪与参照物位于拍摄设备的正下方；同时还需要保障待称重猪与参照物的图像没有重合，以及拍摄获取的图像中包含完整的待称重猪与参照物。
需要说明的是，参照物的实际面积、重量、长度以及宽度数据是已知的，为了方便实际应用，本发明所选用的参照物为标准A4纸，这是因为标准A4纸具有足够大的面积且便于获取与携带；可以理解的是，采用本发明所提供的方法，可使用的参照物并不局限于标准A4纸。
采集好所需的图像之后，对采集得到的图像进行标记与提取标记图像处理，首先标记所采集的图像，进而提取标记的图像，并将处理得到的图像与原图像组成带标签的图像数据，并建立带标签的图像数据库；其中，标记包括标记图像中待称重猪的部分图像和参照物图像。
具体的，在标记待称重猪时，待称重猪的两只前腿中只标记靠近拍摄设备的一只以及两只后腿中也只标记靠近拍摄设备的一只，并且在标记时除去待称重的猪的尾巴以及被标记前后腿的小腿部分，所述小腿部分为待称重的猪的腿关节到猪蹄的部分；再分别提取标记好的待称重猪图像与参照物图像；需要说明的是，待称重猪在称重时处于侧躺位，所以两只前腿上下重叠且两只后腿也上下重叠，在标记时靠近拍摄设备的前后腿均为在上面位置的前后腿；如图13所示，进一步的还将待称重猪与参照物的图像分别处理成单独文件进行存储。
其中，标记可使用Labelme等软件实现。
可以知晓的是，在拍摄时，距离镜头越远的物体具有越小的像素面积，因此为使的最终的重量预测结果更为准确，我们在处理待称重猪的图像时，祛除了尾巴以及前后腿中远离镜头的一只腿；同时通过多次的试验数据发现，将保留的前后腿的腿关节以下的小腿部分祛除，最终获取的预测结果具有更高的准确度；这是由于，猪身具有一定的厚度，然后猪腿尤其是小腿部分其厚度大大小于猪身的厚度，因此去掉小腿部分，能够获取更准确的称重结果。可以理解的是，祛除的小腿部分可以近似于叠加在大腿部分上，从而增加大腿部分的厚度，使的大腿部分近似于猪身的厚度，从而使标记图像的部分的厚度大致相似，进而能够获取更为精确的称重结果。参考图2与图12可以明确知晓，本方法取猪的部分图像相比取猪的全部图像获取的称重结果更为准确。
基于上述方法处理获得的带标签的图像数据库训练用于识别提取待称重猪与参照物的识别模型；在实际使用时，仅需将拍摄的图像输入至识别模型中，便可由识别模型输出图像中的被分割的待称重猪的图像以及参照物的图像，进而可以获得待称重猪的图像与参照物的图像的像素面积比率。
虽然制定了规范的拍摄方法，但是由于在实际操作中，难免会出现疏忽，因此为了保证结果的准确性，在标记采集的图像之前，我们还需要筛选待称重猪与参照物的图像，仅保留参照物以及待称重猪完整的图像用于输入至识别模型中，即进一步的筛选掉未包含完整参照物以及待称重猪的图像，可以理解的是，即使具有参照物以及待称重猪的完整图像，若参照物和待称重猪因拍摄角度问题或摆放问题导致有重合部分的图像也需要舍去。
另外在提取标记的图像时，由于采用机器处理并提取图像，那么容易因为颜色等因素的近似，导致所提取的图像出现将背景作为前景或前景中出现孔洞的情况；因而还需要使用连通域算法去掉所提取图像中将背景作为前景的部分，以及使用开运算填充前景中的孔洞部分；需要说明的是，此处前景为图像中被标记的部分即待称重猪以及参照物，背景为图像中未被标记的部分。
然而，即使通过机器作进一步的图像筛选，还是可能会存在提取的图像不准确的情况；由于本方法是基于图像信息来预测待称重猪的重量，那么图像的准确性，就显得尤为重要，因此该方法还包括对提取图像进行验证。
上述验证具体为对识别模型所提取的图像做最小外接矩阵处理，得到参照物的最小外接矩阵，通过最小外接矩阵信息获取参照物的图像长度和宽度，再通过参照物的图像长度和宽度获取参照物的矩阵面积，对比参照物的矩阵面积与像素面积，若面积差值较大，会导致最终的称重数据与实际数据具有难以接受的偏差，因而进一步提醒检测参照物的完整性。
另外，还可得到待称重猪的最小外接矩阵，通过最小外接矩阵信息获取待称重猪的图像长度，结合利用参照物的图像长度与其实际长度的关系，获取并输出待称重猪的实际长度；猪的体长输出，进一步的可以用来辅助提高称重结果的准确性，以及在最终输出结果时，通过输出猪的体长和重量数据可以使结果更具有说服性。
通过前面的步骤，我们获取了用于识别待称重猪的部分图像和参照物图像的识别模型，且该通过该识别模型输出的待称重猪的部分图像和参照物图像可以获取待称重猪的部分图像和参照物图像的像素面积比率；接下来，我们就需要构建一个称重模型，该称重模型可以在输入待称重猪的部分图像和参照物图像的像素面积比率时，输出待称重猪的重量。那么我们需要使用已知的待称重猪的部分图像和参照物图像的像素面积比率以及待称重猪的实际重量的数据来训练称重模型，才能使称重模型输出的结果更准确。
在本发明中，称重模型采用神经网络通过预训练数据训练获得，预训练数据包括预先被标注的待称重猪与参照物的面积比率和对应待称重猪的重量，其中待称重猪与参照物的面积均为提取图像的像素面积；需要说明的是，这里使用的预训练数据优选的是由人工标注的数据，当然在识别模型的精度足够高的情况下，也可以使用识别模型来获取待称重猪与参照物的面积比率；待称重猪的重量为通过物理方法实测的准确重量；神经网络采用六层链式复合函数，具体如公式（1）所示，
f(x)=y 6(y 5(y 4(y 3(y 2(y 1(x)))))) （1）
其中，x为参照物与待称重猪图像的像素面积比率；式（1）最终输出的是待称重猪的预测重量。
在式（1）中的每一层函数表示如式（2），
y i =g(W T y i-1+b)（2）
其中，0<i<7，i∈N*，当i=1时，y i-1=x，g表示激活函数，W为参数矩阵，T表示转置矩阵，b为偏置项，x为参照物与待称重物的面积比率；激活函数g采用PRelu激活函数，其具体可表达为g(x)=max(ax,x)，在模型训练中，可以通过调整参数矩阵W以及偏置项b来使输出的重量更为准确。
在本发明一实施例中，从第一层到第六层深度神经网络的神经元个数分别为1、64、128、256、128、1，可以理解的是，为获取更精准的重量数据，每一层神经网络的神经元个数是可根据实际情况进行调整。
通过调整参数矩阵W以及偏置项b来使输出的重量更为准确具体为，通过计算式（1）输出的待称重猪的预测重量与其实际重量的均方误差值来修正式（2）中的参数矩阵以及偏置项，直至均方误差值最小为止；当均方误差达到最小时，即表明预测的结果最为准确。
为体现该方法的准确性以及使用六层链式复合函数的神经网络的原由，对本发明的深度神经网络、去掉第二层时的深度神经网络、去掉第三层时的深度神经网络、去掉第四层时的深度神经网络、在第四层和第五层之间多加一层、将第三层的128个神经元改为256个神经元时的深度神经网络进行试验，试验结果如表1所示，各种形式的面积比率与待称重猪重量的函数关系如图2-7所示，其中横坐标为照片中参照物和待称重猪的面积比率，纵坐标为重量，单位kg。
表1 不同深度神经网络形式下重量测量准确度对照表
| 神经网络形式 | 重量输出准确率 |
| 不变 | 98% |
| 去掉第二层 | 66% |
| 去掉第三层 | 64% |
| 去掉第四层 | 85% |
| 在第四层和第五层之间多加一层 | 73% |
| 将第三层的128个神经元改为256个神经元 | 64% |
采用待称重猪与参照物的面积比率与重量的函数关系还包括多种方法，与本方法相比，准确率的对比结果如表2所示，各方法所表示的面积比率与待称重猪重量的函数关系如图8-11所示，其中横坐标为照片中参照物和待称重猪的面积比率，纵坐标为重量，单位kg。
表2 多种面积比到重量的函数关系的重量测量准确率对照表
| 模型 | 准确率 |
| 线性回归 | 0.65 |
| 回归树 | 0.88 |
| SVR | 0.79 |
| GBDT | 0.95 |
| 本方法 | 0.98 |
从对比数据可见，本发明所采用的方法具有更高的准确性，更易给出令人信服的待称重猪的重量数据。
第二方面，提供基于图像的高精度称重系统，包括数据采集模块、数据清洗模块与称重模块，数据采集模块相机或手机等拍摄设备，数据清洗模块为图像处理设备。
拍摄设备用于拍摄待称重猪与参照物的图像，并将拍摄采集的图像输入至图像处理设备；其中，所拍摄的图像需要完整呈现待称重猪与参照物。
图像处理设备用于使用识别模型标记并提取待称重猪与参照物的图像，并将待称重猪与参照物的图像的像素面积比率输入至称重模块；
其中，具体的图像处理方法包括标记并提取已去除以关节为基准的猪小腿和尾巴的剩余部分以及参照物，并且待称重猪的前后腿仅保留靠近拍摄设备的一只。
称重模块采用上述方法中的称重模型，将提取出来的待称重猪与参照物图像的像素面积比率，输入至称重模块获取待称重猪的预测重量值。
第三方面，提供一种电子设备，包括至少一个处理器以及与处理器通信连接的至少一个存储器；存储器存储有可被处理器执行的程序指令，处理器调用程序指令能够执行上述的高精度称重方法。
电子设备包括处理器(processor)、存储器(memory)和总线；其中，处理器和存储器通过总线完成相互间的通信。处理器用于调用存储器中的程序指令，以执行上述各方法实施例所提供的方法。例如包括：标记图像中参照物的轮廓和待称重猪的轮廓，并加工或清理不符合标准的图像；根据标注图像中参照物与待称重猪的图像像素面积比率和参照物的实际面积，确定待称重猪的实际正投影面积；机器学习阶段时，将图像中的待称重猪的实际正投影面积和对待称重猪称量确定的重量作对照，根据深度神经网络算法得到待称重猪重量计算值；机器学习完成后，直接根据图像中的待称重猪的实际正投影面积，由深度神经网络算法得到计算待称重猪重量计算值。
此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
第四方面，提供一种存储介质，存储介质中存储有高精度称重程序，高精度称重程序被处理器执行时实现上述的高精度称重方法；通过使用该存储介质可以使具有处理能力的设备执行本发明的方法，从而更为简便的获取待称重猪的重量。具体如：标记图像中参照物的轮廓和待称重猪的轮廓，并加工或清理不符合标准的图像；根据标注图像中参照物与待称重猪的图像像素面积比率和参照物的实际面积，确定待称重猪的实际正投影面积；机器学习阶段时，将图像中的待称重猪的实际正投影面积和对待称重猪称量确定的重量作对照，根据深度神经网络算法得到待称重猪重量计算值；机器学习完成后，直接根据图像中的待称重猪的实际正投影面积，由深度神经网络算法得到计算待称重猪重量计算值。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.基于图像的高精度称重方法，其特征在于，包括如下步骤：
S1、采集具有待称重物与参照物的图像，并对采集得到的图像进行标记与提取标记图像处理，处理得到的图像与原图像组成带标签的图像数据，并建立带标签的图像数据库；
S2、使用带标签的图像数据库中的数据训练用于识别提取待称重物与参照物的识别模型；并通过识别模型提取出的待称重物与参照物的图像，获取待称重物与参照物的面积比率；
S3、使用预训练数据构建并训练称重模型，将S2中获取的待称重物与参照物的面积比率输入至称重模型中，获得待称重物的重量。
2.如权利要求1所述的高精度称重方法，其特征在于，所述S1中采集具有待称重物与参照物的图像具体包括，采用拍摄设备采集待称重物与参照物的完整图像，采集时待称重物与参照物需位于拍摄设备的正下方；所述待称重物为猪、牛或羊。
3.如权利要求2所述的高精度称重方法，其特征在于，所述标记与提取标记图像处理具体包括，标记待称重猪、牛或羊时，待称重猪、牛或羊的两只前腿中只标记靠近拍摄设备的一只以及两只后腿中也只标记靠近拍摄设备的一只，并且在标记时除去待称重的猪、牛或羊的尾巴以及被标记前后腿的小腿部分，所述小腿部分为待称重的猪、牛或羊的腿关节到蹄的部分；分别提取标记好的待称重猪、牛或羊图像与参照物图像。
4.如权利要求1所述的高精度称重方法，其特征在于，所述S2中的待称重物与参照物的面积比率具体为待称重物与参照物的图像像素面积比率。
5.如权利要求1所述的高精度称重方法，其特征在于，所述S3中的称重模型采用神经网络通过预训练数据训练获得，所述预训练数据包括预先被标注的待称重物与参照物的面积比率和对应待称重物的重量，所述神经网络采用六层链式复合函数，得到公式（1）如下，
f(x)=y 6(y 5(y 4(y 3(y 2(y 1(x)))))) （1）
其中，x为参照物与待称重物的面积比率；
每一层函数表示如式（2），
y i =g(W T y i-1+b)（2）
其中，0<i<7，i∈N*，当i=1时，y i-1=x，g表示激活函数，W为参数矩阵，T表示转置矩阵，b为偏置项，x为参照物与待称重物的面积比率；为保证预测值的准确性，通过计算预测重量与实际重量的均方误差值来修正式（2）中的参数矩阵以及偏置项，直至均方误差值最小为止。
6.如权利要求1所述的高精度称重方法，其特征在于，所述标记采集的图像之前还包括，筛选待称重物与参照物的图像，仅保留参照物以及待称重物完整的图像，所述提取标记的图像包括使用连通域算法去掉所提取图像中将背景作为前景的部分，以及使用开运算填充前景中的孔洞部分，所述前景为图像中被标记的部分即待称重物以及参照物，所述背景为图像中未被标记的部分。
7.如权利要求6所述的高精度称重方法，其特征在于，还包括结果验证，具体为对识别模型所提取的图像做最小外接矩阵处理，得到待称重物的最小外接矩阵和参照物的最小外接矩阵，通过最小外接矩阵信息获取参照物和待称重物的图像长度，结合利用参照物的图像长度与实际长度关系，获取待称重物的实际长度；再通过最小外接矩阵获取参照物的矩阵面积，对比参照物的矩阵面积与像素面积，若面积差值较大，则提醒检测参照物的完整性。
8.基于图像的高精度称重系统，其特征在于，应用权利要求1-7中任一项所述的高精度称重方法，包括数据采集模块、数据清洗模块与称重模块，所述数据采集模块为相机或手机等拍摄设备，所述数据清洗模块为图像处理设备；
所述拍摄设备用于拍摄待称重物与参照物的图像，并将拍摄采集的图像输入至图像处理设备；
所述图像处理设备用于使用识别模型标记并提取待称重物与参照物的图像，并将待称重物与参照物的图像的像素面积比率输入至称重模块；
所述称重模块用于使用称重模型输出待称重物的预测重量值。
9.一种电子设备，其特征在于，包括至少一个处理器以及与所述处理器通信连接的至少一个存储器；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1～7任一项所述的高精度称重方法。
10.一种存储介质，其特征在于，所述存储介质中存储有高精度称重程序，所述高精度称重程序被处理器执行时实现如权利要求1-7中任一项所述的高精度称重方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110006543.4A CN112330677A (zh) | 2021-01-05 | 2021-01-05 | 基于图像的高精度称重方法、系统、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110006543.4A CN112330677A (zh) | 2021-01-05 | 2021-01-05 | 基于图像的高精度称重方法、系统、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112330677A true CN112330677A (zh) | 2021-02-05 |
Family
ID=74302217
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110006543.4A Pending CN112330677A (zh) | 2021-01-05 | 2021-01-05 | 基于图像的高精度称重方法、系统、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112330677A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116416260A (zh) * | 2023-05-19 | 2023-07-11 | 四川智迅车联科技有限公司 | 一种基于图像处理的称重精度优化方法及系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106662437A (zh) * | 2014-06-17 | 2017-05-10 | 玛精能手股份有限公司 | 用于物体的自动参数计算的方法和装置 |
| CN109459119A (zh) * | 2018-10-17 | 2019-03-12 | 北京京东金融科技控股有限公司 | 一种体重测量方法、设备和计算机可读存储介质 |
| CN109636826A (zh) * | 2018-11-13 | 2019-04-16 | 平安科技（深圳）有限公司 | 生猪重量量测方法、服务器及计算机可读存储介质 |
| KR102062609B1 (ko) * | 2019-07-29 | 2020-01-06 | 전북대학교 산학협력단 | 3d 영상을 이용한 휴대형 가축 무게 측정시스템 |
| CN110672189A (zh) * | 2019-09-27 | 2020-01-10 | 北京海益同展信息科技有限公司 | 体重估计方法、装置、系统和存储介质 |
| CN111507432A (zh) * | 2020-07-01 | 2020-08-07 | 四川智迅车联科技有限公司 | 农险理赔智能称重方法、系统、电子设备和存储介质 |
| CN111639629A (zh) * | 2020-06-15 | 2020-09-08 | 安徽工大信息技术有限公司 | 一种基于图像处理的猪只体重测量方法、装置及存储介质 |
| CN112116647A (zh) * | 2019-06-19 | 2020-12-22 | 虹软科技股份有限公司 | 估重方法和估重装置 |
-
2021
- 2021-01-05 CN CN202110006543.4A patent/CN112330677A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106662437A (zh) * | 2014-06-17 | 2017-05-10 | 玛精能手股份有限公司 | 用于物体的自动参数计算的方法和装置 |
| CN109459119A (zh) * | 2018-10-17 | 2019-03-12 | 北京京东金融科技控股有限公司 | 一种体重测量方法、设备和计算机可读存储介质 |
| CN109636826A (zh) * | 2018-11-13 | 2019-04-16 | 平安科技（深圳）有限公司 | 生猪重量量测方法、服务器及计算机可读存储介质 |
| CN112116647A (zh) * | 2019-06-19 | 2020-12-22 | 虹软科技股份有限公司 | 估重方法和估重装置 |
| KR102062609B1 (ko) * | 2019-07-29 | 2020-01-06 | 전북대학교 산학협력단 | 3d 영상을 이용한 휴대형 가축 무게 측정시스템 |
| CN110672189A (zh) * | 2019-09-27 | 2020-01-10 | 北京海益同展信息科技有限公司 | 体重估计方法、装置、系统和存储介质 |
| CN111639629A (zh) * | 2020-06-15 | 2020-09-08 | 安徽工大信息技术有限公司 | 一种基于图像处理的猪只体重测量方法、装置及存储介质 |
| CN111507432A (zh) * | 2020-07-01 | 2020-08-07 | 四川智迅车联科技有限公司 | 农险理赔智能称重方法、系统、电子设备和存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 七月在线 七仔: "如何评价「神经网络本质不过是初中生都会的复合函数」", 《HTTPS://WWW.ZHIHU.COM/QUESTION/359965663/ANSWER/928138372》 * |
| 杨艳等: "基于计算机视觉技术估算种猪体重的应用研究", 《农业工程学报》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116416260A (zh) * | 2023-05-19 | 2023-07-11 | 四川智迅车联科技有限公司 | 一种基于图像处理的称重精度优化方法及系统 |
| CN116416260B (zh) * | 2023-05-19 | 2024-01-26 | 四川智迅车联科技有限公司 | 一种基于图像处理的称重精度优化方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109141248B (zh) | 基于图像的猪体重测算方法及系统 | |
| Bercovich et al. | Development of an automatic cow body condition scoring using body shape signature and Fourier descriptors | |
| CN108921057B (zh) | 基于卷积神经网络的对虾形态测量方法、介质、终端设备及装置 | |
| CN108961330B (zh) | 基于图像的猪体长测算方法及系统 | |
| CN111368766B (zh) | 一种基于深度学习的牛脸检测与识别方法 | |
| CN113850749B (zh) | 训练缺陷侦测器的方法 | |
| CN109272546B (zh) | 一种鱼苗长度测量方法及系统 | |
| CN110569735A (zh) | 一种基于奶牛背部体况的分析方法及装置 | |
| CN110569856A (zh) | 样本标注方法及装置、损伤类别的识别方法及装置 | |
| Renet et al. | Monitoring amphibian species with complex chromatophore patterns: a non-invasive approach with an evaluation of software effectiveness and reliability | |
| Jia et al. | Segmentation of body parts of cows in RGB-depth images based on template matching | |
| CN111753873A (zh) | 一种图像检测方法和装置 | |
| CN114581709A (zh) | 识别医学图像中的目标的模型训练、方法、设备及介质 | |
| CN113989353A (zh) | 一种猪只背膘厚度测定方法及系统 | |
| CN113435355A (zh) | 多目标奶牛身份识别方法及系统 | |
| CN109559342B (zh) | 动物体长的测量方法和装置 | |
| CN115752683A (zh) | 一种基于深度相机的体重预估方法、系统及终端 | |
| CN112330677A (zh) | 基于图像的高精度称重方法、系统、电子设备及存储介质 | |
| KR20220123235A (ko) | 결합된 예측 모델링을 통한 이미지의 효율적인 인공 지능 분석 | |
| CN114882213A (zh) | 一种基于图片识别的动物体重预测估算系统 | |
| CN115512215A (zh) | 水下生物监测方法、装置及存储介质 | |
| WO2023035538A1 (zh) | 车辆损伤的检测方法、装置、设备及存储介质 | |
| CN115082659A (zh) | 一种图像标注方法、装置、电子设备及存储介质 | |
| CN116778587A (zh) | 一种基于深度学习的活体年龄推断方法、设备、存储介质 | |
| KR102622655B1 (ko) | 한우의 성장검사 자료 수집 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210205 |