CN111862189B - 体尺信息确定方法、装置、电子设备和计算机可读介质 - Google Patents

体尺信息确定方法、装置、电子设备和计算机可读介质 Download PDF

Info

Publication number
CN111862189B
CN111862189B CN202010645353.2A CN202010645353A CN111862189B CN 111862189 B CN111862189 B CN 111862189B CN 202010645353 A CN202010645353 A CN 202010645353A CN 111862189 B CN111862189 B CN 111862189B
Authority
CN
China
Prior art keywords
target
key point
point information
condition
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010645353.2A
Other languages
English (en)
Other versions
CN111862189A (zh
Inventor
张为明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jingdong Technology Information Technology Co Ltd
Original Assignee
Jingdong Technology Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jingdong Technology Information Technology Co Ltd filed Critical Jingdong Technology Information Technology Co Ltd
Priority to CN202010645353.2A priority Critical patent/CN111862189B/zh
Publication of CN111862189A publication Critical patent/CN111862189A/zh
Application granted granted Critical
Publication of CN111862189B publication Critical patent/CN111862189B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Abstract

本申请提供了一种体尺信息确定方法,所述方法包括:获取目标图像,其中,所述目标图像是对目标生物进行采集得到的;将所述目标图像输入训练好的识别模型,并获取所述识别模型输出的所述目标图像的目标关键点信息,其中,所述识别模型是通过标记有样本关键点信息的样本图像进行训练得到的;在利用所述目标关键点信息确定所述目标生物满足预设姿态条件的情况下,通过所述目标关键点信息确定所述目标生物的体尺信息。本申请使体尺信息更准确。

Description

体尺信息确定方法、装置、电子设备和计算机可读介质
技术领域
本申请涉及生物监测技术领域,尤其涉及一种体尺信息确定方法、装置、电子设备和计算机可读介质。
背景技术
我国水产养殖产业大力发展,随着国家经济的发展,人们可支配收入的增加,同时人们的消费观念也正在发生改变,绿色、健康、营养的水产品正日益受到人们的青睐,集装箱养殖就因其养殖密度高、生态环保被大规模运用。
集装箱养殖密度高,不利于观察水产动物的生长情况,目前监测水产动物成长情况的方法为:采用分割算法判断水产动物的姿态是否合理,如果姿态合理则计算水产动物的体尺。
但分割算法判断姿态会出现分割框中水产动物叠层或粘连的情况,导致分割框内会出现非需要的水产动物,导致判断是准确,从而采用姿态不合理的水产动物去计算体尺,导致体尺结果不准确。
发明内容
本申请实施例的目的在于提供一种体尺信息确定方法、装置、电子设备和计算机可读介质,以解决体尺结果不准确的问题。具体技术方案如下:
第一方面,本申请实施例提供了一种体尺信息确定方法,所述方法包括:
获取目标图像,其中,所述目标图像是对目标生物进行采集得到的;
将所述目标图像输入训练好的识别模型,并获取所述识别模型输出的所述目标图像的目标关键点信息,其中,所述识别模型是通过标记有样本关键点信息的样本图像进行训练得到的;
在利用所述目标关键点信息确定所述目标生物满足预设姿态条件的情况下,通过所述目标关键点信息确定所述目标生物的体尺信息。
可选的,所述识别模型还输出所述目标图像的目标姿态识别结果,
其中,所述利用所述目标关键点信息确定所述目标生物满足预设姿态条件包括:
利用所述目标姿态识别结果判断所述目标生物的姿态是否符合第一预设姿态条件,其中,所述预设姿态条件包括所述第一预设姿态条件,所述第一预设姿态条件为所述目标生物的姿态平整度;
若判定所述目标生物的姿态符合第一预设姿态条件,则判断所述目标关键点信息是否满足第二预设姿态条件,其中,所述预设姿态条件包括所述第二预设姿态条件,所述第二预设姿态条件包括所述目标关键点信息之间的位置排布;
若判定所述目标关键点信息满足第二预设姿态条件,则确定所述目标生物满足预设姿态条件。
可选的,所述将所述目标图像输入训练好的识别模型之前,所述方法还包括:
获取标记有多个样本关键点信息的样本图像;
在初始识别模型中,将训练图像进行下采样,并对下采样的结果进行上采样;
获取多个训练关键点信息,其中,所述多个训练关键点信息中的一部分训练关键点信息是通过对所述训练图像进行下采样得到的,所述多个训练关键点信息中的另外一部分训练关键点信息是对下采样的结果进行上采样得到的;
通过所述多个样本关键点信息、多个训练关键点信息以及损失函数,对所述损失函数进行迭代,直至所述样本关键点信息与所述训练关键点信息的损失值不小于预设阈值,得到训练后的识别模型。
可选的,所述通过所述多个样本关键点信息、多个训练关键点信息以及损失函数,对所述损失函数进行迭代,直至所述样本关键点信息与所述训练关键点信息的损失值不小于预设阈值,得到训练后的识别模型包括:
分别计算对应的所述样本关键点信息和训练关键点信息的差值;
通过各所述差值得到损失值;
通过所述损失值对损失函数进行迭代,更新所述损失函数的参数值,从而更新所述训练关键点信息,直至利用更新后的所述训练关键点信息确定的损失值不小于预设阈值,得到训练后的识别模型。
可选的,所述在初始识别模型中,将训练图像进行下采样,并对下采样的结果进行上采样包括:在初始识别模型中,将训练图像输入下采样网络,并获取所述下采样网络输出的多层下采样特征信息;将各层所述下采样特征信息输入上采样网络,并获取所述上采样网络输出的目标采样特征信息,其中,所述多层下采样特征信息包括最后一层下采样特征信息;
所述获取多个训练关键点信息包括:获取具有所述最后一层下采样特征信息的多个训练关键点信息;获取具有所述目标采样特性信息的多个训练关键点信息。
可选的,所述目标关键点信息包括关键点数量和关键点坐标;
其中,所述判断所述目标关键点信息是否满足第二预设姿态条件包括:
根据所述关键点坐标连接各关键点,得到多个关键点线段;
判断所述关键点数量是否满足预设数量条件,以及所述关键点线段之间的角度是否满足预设角度条件,以及所述关键点线段之间的长度是否满足预设长度条件;
若所述关键点数量是否满足预设数量条件,以及所述关键点线段之间的角度是否满足预设角度条件,以及所述关键点线段之间的长度是否满足预设长度条件,则所述目标关键点信息满足第二预设姿态条件。
可选的,所述通过所述目标关键点信息确定所述目标生物的体尺信息包括:
通过所述目标关键点信息,确定所述目标生物的外接图形;
计算所述外接图形的面积值;
通过所述面积值,确定所述目标生物的体尺信息。
第二方面,本申请实施例提供了一种体尺信息确定装置,所述装置包括:
获取模块,用于获取目标图像,其中,所述目标图像是对目标生物进行采集得到的;
输入模块,用于将所述目标图像输入训练好的识别模型,并获取所述识别模型输出的所述目标图像的目标关键点信息,其中,所述识别模型是通过标记有样本关键点信息的样本图像进行训练得到的;
确定模块,用于在利用所述目标关键点信息确定所述目标生物满足预设姿态条件的情况下,通过所述目标关键点信息确定所述目标生物的体尺信息。
第三方面,本申请实施例提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现任一所述的方法步骤。
第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现任一所述的方法步骤。
本申请实施例有益效果:
本申请实施例提供了一种体尺信息确定方法,获取目标图像,将目标图像输入训练好的识别模型,并获取识别模型输出的目标图像的目标关键点信息,并在利用目标关键点信息确定目标生物满足预设姿态条件的情况下,通过目标关键点信息确定目标生物的体尺信息。本申请通过目标关键点信息判定目标动物的姿态符合预设姿态条件,目标关键点可以准确的标记出目标动物的轮廓,即使动物粘连在一起也不会影响目标关键点的获取,使体尺信息更准确。
当然,实施本申请的任一产品或方法并不一定需要同时达到以上的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种体尺信息确定的方法流程图;
图2为本申请实施例提供的鱼的标注示意图;
图3为本申请实施例提供的确定目标生物满足预设姿态条件的方法流程图;
图4为本申请实施例提供的训练图像进行下采样和上采样的方法流程图;
图5为本申请实施例提供的上采样和下采样示意图;
图6为本申请实施例提供的得到训练后的识别模型的方法流程图;
图7为本申请实施例提供的一种体尺信息确定装置的结构示意图;
图8为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本申请实施例提供了一种体尺信息确定方法,可以应用于服务器,用于确定目标动物的体尺信息。
下面将结合具体实施方式,对本申请实施例提供的一种体尺信息确定方法进行详细的说明,如图1所示,具体步骤如下:
步骤101:获取目标图像。
其中,目标图像是对目标生物进行采集得到的。
在本发明实施例中,服务器获取目标图像,其中,目标图像是对目标生物进行采集得到的。目标图像中的目标生物为单层,且与其他生物保持一定间距,便于对目标生物单独进行标记框,避免框内包含其他生物,对信息采集点的采集造成影响。
举例来说,目标生物为鱼,在水下平行放置背景板和透明挡板,背景板设于透明挡板上方,背景板和透明挡板之间的间距仅容一层鱼通过,拍摄装置平行设于透明挡板下方。这样拍摄装置拍摄到的图像中只会出现单层鱼,便于对图像进行图像标注。
步骤102:将目标图像输入训练好的识别模型,并获取识别模型输出的目标图像的目标关键点信息。
其中,识别模型是通过标记有样本关键点信息和样本姿态识别结果的样本图像进行训练得到的。
在本发明实施例中,服务器将目标图像输入训练好的识别模型,并获取识别模型输出的目标图像的目标关键点信息。识别模型还输出了目标生物的标记框,该标记框用于标记目标生物,便于与其他生物区分开,获取标记框内的目标生物的关键点信息。在本发明实施例中,目标关键点信息可以为目标生物的标记框中的点的信息,具体可以为目标生物上的点的信息以及标注框中心点的信息。
如图2所示,图2为鱼的标注示意图,可以看到,鱼身上有1-13这13个点,该13个点为鱼的目标关键点信息。矩形X为标注框。
可选的,如图3所示,识别模型还输出目标图像的目标姿态识别结果。利用目标关键点信息和目标姿态识别结果确定目标生物满足预设姿态条件包括:
步骤301:判断目标生物的姿态是否符合第一预设姿态条件。
其中,预设姿态条件包括第一预设姿态条件,第一预设姿态条件为目标生物的姿态平整度。第一预设姿态条件是用目标姿态识别结果识别得到的,目标姿态识别结果用于判断目标生物的姿态是否符合平整度要求,具体为“是”或“否”。
举例来说,若目标生物为鱼,姿态平整为鱼的身体要平行于背景板。
若服务器利用目标姿态识别结果判定目标生物的姿态不符合第一预设姿态条件,则执行步骤302;若服务器利用目标姿态识别结果判定目标生物的姿态符合第一预设姿态条件,则执行步骤303。
步骤302:重新获取目标对象。
若服务器判定目标生物的姿态不符合第一预设姿态条件,说明目标生物的姿态并不平整,则用该目标生物的姿态获取目标生物的目标关键点会产生误差,导致体尺信息不精确,因此要重新获取目标对象。
若服务器判定目标关键点信息不满足第二预设姿态条件,表明目标生物的各目标关键点信息之间的位置分布不符合条件,则目标生物的姿态不符合预设姿态条件,体尺信息的获取不准确,需要重新获取目标图像。
步骤303:判断目标关键点信息是否满足第二预设姿态条件。
若服务器判定目标生物的姿态符合第一预设姿态条件,即目标生物的姿态符合姿态平整度,则表明目标生物的姿态初步合理,是平整的,需要进一步判断目标生物的姿态是否合理,即判断目标关键点信息是否满足第二预设姿态条件。若服务器判定目标关键点信息满足第二预设姿态条件,则执行步骤304;若服务器判定目标关键点信息不满足第二预设姿态条件,则执行步骤302。
步骤304:确定目标生物满足预设姿态条件。
其中,第二预设姿态条件包括目标关键点信息之间的位置排布。
若服务器判定目标关键点信息满足第二预设姿态条件,表明目标生物的姿态符合平整度且各目标关键点信息之间的位置排布符合预设位置排布,则确定目标生物满足预设姿态条件。
步骤103:在利用目标关键点信息和目标姿态识别结果确定目标生物满足预设姿态条件的情况下,通过目标关键点信息确定目标生物的体尺信息。
若服务器在利用目标关键点信息和目标姿态识别结果确定目标生物满足预设姿态条件的情况下,通过目标关键点信息确定目标生物的体尺信息。
可选的,目标关键点信息确定目标生物的体尺信息包括:通过目标关键点信息,确定目标生物的外接图形;计算外接图形的面积值;通过面积值,确定目标生物的体尺信息。
服务器根据目标生物的目标关键点信息,确定目标生物的外接图形,该外接图形可以是根据部分目标关键点信息,确定的目标生物的最小外接规则图形,示例性的,如最小外接矩形、最小外接圆形,也可以是根据目标生物轮廓上的所有目标关键点信息确定的图形,该图形的形状即为目标生物的形状。服务器计算外接图形的面积值,并将该面积值作为目标生物的体尺信息,也可以根据最小外接规则图形的长度值、宽度值或直径值确定目标生物的体尺信息。
图2中,鱼的外部矩形Y即为外接图形,可以将该外接矩形Y的面积作为鱼的体尺信息,也可以将该外接矩形Y的长度值作为鱼的长度,将外接矩形Y的宽度值作为鱼的最大宽度。
可选的,如图4所示,将目标图像输入训练好的识别模型之前,方法还包括如下步骤:
步骤401:获取标记有多个样本关键点信息的样本图像。
服务器获取样本图像,其中,样本图像标记有多个样本关键点信息。具体的,可以采用Labelme(数据标注软件)对样本图像进行标记,标记样本图像中生物身上的关键点信息,还可以对样本图像中的生物进行框标记,得到样本框的中心点信息,样本关键点信息包括样本框中的点的信息,具体包括生物身上的关键点信息和样本框的中心点信息。
步骤402:在初始识别模型中,将训练图像进行下采样,并对下采样的结果进行上采样。
在初始识别模型中,将训练图像进行下采样,并对下采样的结果进行上采样包括:在初始识别模型中,将训练图像输入下采样网络,并获取下采样网络输出的多层下采样特征信息;将各层下采样特征信息输入上采样网络,并获取上采样网络输出的目标采样特征信息,其中,多层下采样特征信息包括最后一层下采样特征信息;获取多个训练关键点信息包括:获取具有最后一层下采样特征信息的多个训练关键点信息;获取具有目标采样特性信息的多个训练关键点信息。
在初始识别模型中,服务器将训练图像输入下采样网络,并获取下采样网络输出的多层下采样特征信息,提高底层分辨率,然后服务器将各层下采样特征信息输入上采样网络,并获取上采样网络输出的目标采样特征信息,上采样操作是包括可变型卷积和转置卷积,这样会使得网络的感受野变得更加精确,提高目标采样特征信息的特征分辨率,将各层下采样特征信息输入上采样网络,这样可以融合高层语义特征和底层内容特征,实现了在各个层次上对分辨率进行标准化和语义均衡。其中,下采样网络可以为DLA(Deep LayerAggregation Network,深层融合网络)。
多个训练关键点信息包括两类,一类为具有最后一层下采样特征信息的多个训练关键点信息,另外一类为具有目标采样特性信息的多个训练关键点信息。
如图5所示,图5为上采样和下采样示意图。具体来说,服务器将训练图像输入DLA神经网络,并分别得到下采样4、8、16、32倍的特征信息,然后分别将各层的下采样特征信息输入上采样网络,具体为,将32倍的下采样特征信息依次进行上采样,并分别得到16、8、4倍上采样特征信息,将16倍的下采样特征信息依次进行上采样,并分别得到8、4倍上采样特征信息,将8倍的下采样特征信息进行上采样,并得到4倍上采样特征信息,另外,各相同层次的特征信息还进行特征融合。32倍特征信息为最后一层下采样特征信息,最右侧4倍特征信息为目标特征信息。
步骤403:获取多个训练关键点信息。
其中,多个训练关键点信息中的一部分训练关键点信息是通过对训练图像进行下采样得到的,多个训练关键点信息中的另外一部分训练关键点信息是对下采样的结果进行上采样得到的。
服务器将训练图像进行下采样,并对下采样的结果进行上采样后,服务器会获取多个训练关键点信息,其中,训练关键点信息包括训练标注框中的点的信息。多个训练关键点信息中的一部分训练关键点信息是通过对训练图像进行下采样得到的,多个训练关键点信息中的另外一部分训练关键点信息是对下采样的结果进行上采样得到的。
步骤404:通过多个样本关键点信息、多个训练关键点信息以及损失函数,对损失函数进行迭代,直至样本关键点信息与训练关键点信息的损失值不小于预设阈值,得到训练后的识别模型。
服务器分别计算对应的样本关键点信息和训练关键点信息的差值,并通过各差值得到损失值,服务器对损失函数进行迭代,更新损失函数的参数值,从而更新训练关键点信息,直至利用更新后的训练关键点信息确定的损失值不小于预设阈值,得到训练后的识别模型。
可选的,如图6所示,通过多个样本关键点信息、多个训练关键点信息以及损失函数,对损失函数进行迭代,直至样本关键点信息与训练关键点信息的损失值不小于预设阈值,得到训练后的识别模型包括:
步骤601:分别计算对应的样本关键点信息和训练关键点信息的差值。
服务器获取位置相同的样本关键点信息和训练关键点信息,将其作为对应的样本关键点信息和训练关键点信息,服务器分别计算对应的样本关键点信息和训练关键点信息的差值。
步骤602:通过各差值得到损失值。
服务器得到多个对应的样本关键点信息和训练关键点信息的差值后,通过各差值得到损失值,具体的,可以通过各差值进行加权求和得到损失值。
差值可以包括六种,下面分别进行描述:
一、标记框中心点概率差值。每个像素都有所属类别,其中类别包括目标生物图和背景图。对训练图像进行4倍下采样后,得到训练标记框中心点,并对该训练标记框中心点进行高斯模糊平滑操作,得到该训练标记框中心点属于目标像素类别的概率,即得到该训练标记框中心点属于目标生物图中的点的概率。服务器采用CenterNet网络得到样本标记框中心点的概率,服务器通过损失函数计算概率差值。
二、标记框中心点位置偏移差值。训练图像进行下采样又上采样后,得到训练标记框中心点,该中心点的位置会产生偏移,服务器计算训练标记框中心点和样本标记框中心点的位置偏移差值,具体可以采用L1范数损失函数计算该位置偏移差值。
三、标记框差值。服务器获取训练标记框的长度值和宽度值,以及样本标记框的长度值和宽度值,并采用L1范数损失函数计算标记框差值。
四、目标生物的关键点概率差值。对训练图像进行4倍下采样后,得到训练关键点,该训练关键点为目标生物身上的关键点。对该训练关键点进行高斯模糊平滑操作,得到该训练关键点属于生物身上的样本关键点的概率。示例性的,服务器得到训练关键点属于鱼身上13个关键点的概率。服务器采用CenterNet网络得到样本关键点的概率,服务器通过损失函数计算概率差值。
五、训练图像进行下采样又上采样后,得到训练关键点,该训练关键点的位置会产生偏移,服务器计算训练关键点和样本关键点的位置偏移差值,具体可以采用L1范数损失函数计算该位置偏移差值。
六、目标生物的中心关键点差值。训练图像进行下采样又上采样后,得到目标生物的中心关键点,目标生物的中心关键点是生物身上的多个训练关键点的中心点。服务器获取该目标生物的中心关键点与样本中心关键点的位置偏移差值,具体可以采用L1范数损失函数计算该位置偏移差值。
步骤603:通过损失值对损失函数进行迭代,更新损失函数的参数值,从而更新训练关键点信息,直至利用更新后的训练关键点信息确定的损失值不小于预设阈值,得到训练后的识别模型。
服务器计算出损失值后,沿梯度最小方向对损失函数进行回传,并对损失值进行求导,回传过程中更新损失函数的参数值,从而更新训练关键点信息,并更新由训练关键点信息和样本关键点信息得到的损失值,通过该损失值对损失函数进行迭代,直至确定出来的损失值不小于预设阈值,则识别模型训练完成,得到训练后的识别模型。
可选的,目标关键点信息包括关键点数量和关键点坐标;判断目标关键点信息是否满足第二预设姿态条件包括:根据关键点坐标连接各关键点,得到多个关键点线段;判断关键点数量是否满足预设数量条件,以及关键点线段之间的角度是否满足预设角度条件,以及关键点线段之间的长度是否满足预设长度条件;若关键点数量是否满足预设数量条件,以及关键点线段之间的角度是否满足预设角度条件,以及关键点线段之间的长度是否满足预设长度条件,则目标关键点信息满足第二预设姿态条件。
目标关键点信息包括关键点数量和关键点坐标,服务器根据关键点坐标连接各关键点,得到多个关键点线段。服务器判断关键点数量是否满足预设数量条件,具体是判断关键点数量是否与预设数量相同;服务器判断关键点线段之间的角度是否满足预设角度条件,具体是判断两关键点线段之间的角度是否大于预设角度阈值;服务器判断关键点线段之间的长度是否满足预设长度条件,具体是判断两个关键线段之间的长度比值是否在预设范围内。
若服务器判定关键点数量与预设数量相同,且两关键点线段之间的角度大于预设角度阈值,且两个关键线段之间的长度比值在预设范围内,说明目标关键点信息满足第二预设姿态条件,目标生物的姿态合理。
举例来说,目标生物为鱼,预设关键点信息数量为13个,那么若服务器判定:当前目标关键点数量等于13;关键点线段8-9和关键点线段1-12之间的夹角大于第一阈值;关键点线段6-7和关键点线段1-12之间的夹角大于第二阈值;关键点线段6-8和关键点线段7-9的长度比值处于第一预设范围内;关键点4点、5点的中点到10点的距离与关键点线段1-10的距离比值处于第二范围内;关键点线段8-9与关键点线段1-12的交点分别到关键点8点和关键点9点的距离之比处于某一范围内,则表明鱼的关键点信息满足第二预设姿态条件。
基于相同的技术构思,本申请实施例还提供了一种体尺信息确定装置,如图7所示,该装置包括:
第一获取模块701,用于获取目标图像,其中,目标图像是对目标生物进行采集得到的;
输入模块702,用于将目标图像输入训练好的识别模型,并获取识别模型输出的目标图像的目标关键点信息,其中,识别模型是通过标记有样本关键点信息和样本姿态识别结果的样本图像进行训练得到的;
确定模块703,用于在利用目标关键点信息确定目标生物满足预设姿态条件的情况下,通过目标关键点信息确定目标生物的体尺信息。
可选的,识别模型还输出目标图像的目标姿态识别结果,
确定模块703具体用于:
利用目标姿态识别结果判断目标生物的姿态是否符合第一预设姿态条件,其中,预设姿态条件包括第一预设姿态条件,第一预设姿态条件为目标生物的姿态平整度;
若判定目标生物的姿态符合第一预设姿态条件,则判断目标关键点信息是否满足第二预设姿态条件,其中,预设姿态条件包括第二预设姿态条件,第二预设姿态条件包括目标关键点信息之间的位置排布;
若判定目标关键点信息满足第二预设姿态条件,则确定目标生物满足预设姿态条件。
可选的,装置还包括:
第二获取模块,用于获取标记有多个样本关键点信息的样本图像;
采样模块,用于在初始识别模型中,将训练图像进行下采样,并对下采样的结果进行上采样;
第三获取模块,用于获取多个训练关键点信息,其中,多个训练关键点信息中的一部分训练关键点信息是通过对训练图像进行下采样得到的,多个训练关键点信息中的另外一部分训练关键点信息是对下采样的结果进行上采样得到的;
训练模块,用于通过多个样本关键点信息、多个训练关键点信息以及损失函数,对损失函数进行迭代,直至样本关键点信息与训练关键点信息的损失值不小于预设阈值,得到训练后的识别模型。
可选的,训练模块具体用于:
分别计算对应的样本关键点信息和训练关键点信息的差值;
通过各差值得到损失值;
通过损失值对损失函数进行迭代,更新损失函数的参数值,从而更新训练关键点信息,直至利用更新后的训练关键点信息确定的损失值不小于预设阈值,得到训练后的识别模型。
可选的,采样模块具体用于:在初始识别模型中,将训练图像输入下采样网络,并获取下采样网络输出的多层下采样特征信息;将各层下采样特征信息输入上采样网络,并获取上采样网络输出的目标采样特征信息,其中,多层下采样特征信息包括最后一层下采样特征信息;
第三获取模块具体用于:获取具有最后一层下采样特征信息的多个训练关键点信息;获取具有目标采样特性信息的多个训练关键点信息。
可选的,目标关键点信息包括关键点数量和关键点坐标;
确定模块703具体用于:
根据关键点坐标连接各关键点,得到多个关键点线段;
判断关键点数量是否满足预设数量条件,以及关键点线段之间的角度是否满足预设角度条件,以及关键点线段之间的长度是否满足预设长度条件;
若关键点数量是否满足预设数量条件,以及关键点线段之间的角度是否满足预设角度条件,以及关键点线段之间的长度是否满足预设长度条件,则目标关键点信息满足第二预设姿态条件。
可选的,确定模块703具体用于:
通过目标关键点信息,确定目标生物的外接图形;
计算外接图形的面积值;
通过面积值,确定目标生物的体尺信息。
本申请实施例提供了一种体尺信息确定方法,获取目标图像,将目标图像输入训练好的识别模型,并获取识别模型输出的目标图像的目标关键点信息,并在利用目标关键点信息确定目标生物满足预设姿态条件的情况下,通过目标关键点信息确定目标生物的体尺信息。本申请先通过姿态测试结果初步判定目标动物的姿态符合第一预设姿态条件,再进一步通过目标关键点信息判定目标动物的姿态符合预设姿态条件,目标关键点可以准确的标记出目标动物的轮廓,即使动物粘连在一起也不会影响目标关键点的获取,使体尺信息更准确。
基于相同的技术构思,本发明实施例还提供了一种电子设备,如图8所示,包括处理器801、通信接口802、存储器803和通信总线804,其中,处理器801,通信接口802,存储器803通过通信总线804完成相互间的通信,
存储器803,用于存放计算机程序;
处理器801,用于执行存储器803上所存放的程序时,实现上述步骤。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一方法的步骤。
在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本申请的具体实施方式,使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种体尺信息确定方法,其特征在于,所述方法包括:
获取目标图像,其中,所述目标图像是对目标生物进行采集得到的;
将所述目标图像输入训练好的识别模型,并获取所述识别模型输出的所述目标图像的目标关键点信息,其中,所述识别模型是通过标记有样本关键点信息的样本图像进行训练得到的;
在利用所述目标关键点信息确定所述目标生物满足预设姿态条件的情况下,通过所述目标关键点信息确定所述目标生物的体尺信息;
其中,所述识别模型还输出所述目标图像的目标姿态识别结果,其中,所述利用所述目标关键点信息确定所述目标生物满足预设姿态条件包括:
利用所述目标姿态识别结果判断所述目标生物的姿态是否符合第一预设姿态条件,其中,所述预设姿态条件包括所述第一预设姿态条件,所述第一预设姿态条件为所述目标生物的姿态平整度;
若判定所述目标生物的姿态符合第一预设姿态条件,则判断所述目标关键点信息是否满足第二预设姿态条件,其中,所述预设姿态条件包括所述第二预设姿态条件,所述第二预设姿态条件包括所述目标关键点信息之间的位置排布;
若判定所述目标关键点信息满足第二预设姿态条件,则确定所述目标生物满足预设姿态条件。
2.根据权利要求1所述的方法,其特征在于,所述将所述目标图像输入训练好的识别模型之前,所述方法还包括:
获取标记有多个样本关键点信息的样本图像;
在初始识别模型中,将训练图像进行下采样,并对下采样的结果进行上采样;
获取多个训练关键点信息,其中,所述多个训练关键点信息中的一部分训练关键点信息是通过对所述训练图像进行下采样得到的,所述多个训练关键点信息中的另外一部分训练关键点信息是对下采样的结果进行上采样得到的;
通过所述多个样本关键点信息、多个训练关键点信息以及损失函数,对所述损失函数进行迭代,直至所述样本关键点信息与所述训练关键点信息的损失值不小于预设阈值,得到训练后的识别模型。
3.根据权利要求2所述的方法,其特征在于,所述通过所述多个样本关键点信息、多个训练关键点信息以及损失函数,对所述损失函数进行迭代,直至所述样本关键点信息与所述训练关键点信息的损失值不小于预设阈值,得到训练后的识别模型包括:
分别计算对应的所述样本关键点信息和训练关键点信息的差值;
通过各所述差值得到损失值;
通过所述损失值对损失函数进行迭代,更新所述损失函数的参数值,从而更新所述训练关键点信息,直至利用更新后的所述训练关键点信息确定的损失值不小于预设阈值,得到训练后的识别模型。
4.根据权利要求2所述的方法,其特征在于,
所述在初始识别模型中,将训练图像进行下采样,并对下采样的结果进行上采样包括:在初始识别模型中,将训练图像输入下采样网络,并获取所述下采样网络输出的多层下采样特征信息;将各层所述下采样特征信息输入上采样网络,并获取所述上采样网络输出的目标采样特征信息,其中,所述多层下采样特征信息包括最后一层下采样特征信息;
所述获取多个训练关键点信息包括:获取具有所述最后一层下采样特征信息的多个训练关键点信息;获取具有所述目标采样特性信息的多个训练关键点信息。
5.根据权利要求1所述的方法,其特征在于,所述目标关键点信息包括关键点数量和关键点坐标,其中,所述判断所述目标关键点信息是否满足第二预设姿态条件包括:
根据所述关键点坐标连接各关键点,得到多个关键点线段;
判断所述关键点数量是否满足预设数量条件,以及所述关键点线段之间的角度是否满足预设角度条件,以及所述关键点线段之间的长度是否满足预设长度条件;
若所述关键点数量是否满足预设数量条件,以及所述关键点线段之间的角度是否满足预设角度条件,以及所述关键点线段之间的长度是否满足预设长度条件,则所述目标关键点信息满足第二预设姿态条件。
6.根据权利要求1所述的方法,其特征在于,所述通过所述目标关键点信息确定所述目标生物的体尺信息包括:
通过所述目标关键点信息,确定所述目标生物的外接图形;
计算所述外接图形的面积值;
通过所述面积值,确定所述目标生物的体尺信息。
7.一种体尺信息确定装置,其特征在于,所述装置包括:
获取模块,用于获取目标图像,其中,所述目标图像是对目标生物进行采集得到的;
输入模块,用于将所述目标图像输入训练好的识别模型,并获取所述识别模型输出的所述目标图像的目标关键点信息,其中,所述识别模型是通过标记有样本关键点信息的样本图像进行训练得到的;
确定模块,用于在利用所述目标关键点信息确定所述目标生物满足预设姿态条件的情况下,通过所述目标关键点信息确定所述目标生物的体尺信息;
其中,所述识别模型还输出所述目标图像的目标姿态识别结果,所述确定模块包括:
利用所述目标姿态识别结果判断所述目标生物的姿态是否符合第一预设姿态条件,其中,所述预设姿态条件包括所述第一预设姿态条件,所述第一预设姿态条件为所述目标生物的姿态平整度;
若判定所述目标生物的姿态符合第一预设姿态条件,则判断所述目标关键点信息是否满足第二预设姿态条件,其中,所述预设姿态条件包括所述第二预设姿态条件,所述第二预设姿态条件包括所述目标关键点信息之间的位置排布;
若判定所述目标关键点信息满足第二预设姿态条件,则确定所述目标生物满足预设姿态条件。
8.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-6任一所述的方法步骤。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-6任一所述的方法步骤。
CN202010645353.2A 2020-07-07 2020-07-07 体尺信息确定方法、装置、电子设备和计算机可读介质 Active CN111862189B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010645353.2A CN111862189B (zh) 2020-07-07 2020-07-07 体尺信息确定方法、装置、电子设备和计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010645353.2A CN111862189B (zh) 2020-07-07 2020-07-07 体尺信息确定方法、装置、电子设备和计算机可读介质

Publications (2)

Publication Number Publication Date
CN111862189A CN111862189A (zh) 2020-10-30
CN111862189B true CN111862189B (zh) 2023-12-05

Family

ID=73152383

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010645353.2A Active CN111862189B (zh) 2020-07-07 2020-07-07 体尺信息确定方法、装置、电子设备和计算机可读介质

Country Status (1)

Country Link
CN (1) CN111862189B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112464895B (zh) * 2020-12-14 2023-09-01 深圳市优必选科技股份有限公司 姿态识别模型训练方法、装置、姿态识别方法和终端设备
CN113758426A (zh) * 2021-08-17 2021-12-07 深圳新视智科技术有限公司 布匹幅宽的确定方法及装置、电子设备和可读存储介质
CN113723260A (zh) * 2021-08-24 2021-11-30 北京小龙潜行科技有限公司 基于机器视觉的生猪体尺测定方法及装置

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000131022A (ja) * 1998-10-29 2000-05-12 Keisuke Ueno 活魚計測装置
JP2004333261A (ja) * 2003-05-07 2004-11-25 Fisheries Research Agency 水中観測記録装置及びその装置を用いて魚群情報をモニタリングする方法
GB201509514D0 (en) * 2015-06-02 2015-07-15 Fishfigure Ltd A software application (app) on a computer or mobile device developed for measuring the size of a fish from a photograph. This process is called fishfigure.
CN106295657A (zh) * 2016-08-04 2017-01-04 天津汉光祥云信息科技有限公司 一种视频数据结构化过程中提取人体高度特征的方法
WO2018121737A1 (zh) * 2016-12-30 2018-07-05 北京市商汤科技开发有限公司 关键点预测、网络训练及图像处理方法和装置、电子设备
CN109459119A (zh) * 2018-10-17 2019-03-12 北京京东金融科技控股有限公司 一种体重测量方法、设备和计算机可读存储介质
JPWO2018061925A1 (ja) * 2016-09-30 2019-06-24 日本電気株式会社 情報処理装置、長さ測定システム、長さ測定方法およびプログラム記憶媒体
CN110136192A (zh) * 2019-04-30 2019-08-16 内蒙古科技大学 一种基于深度学习和特征部位检测的牛体尺算法
CN110296660A (zh) * 2019-06-26 2019-10-01 北京海益同展信息科技有限公司 牲畜体尺检测方法与装置
CN110569784A (zh) * 2019-09-05 2019-12-13 武汉纺织大学 一种人体尺寸测量方法、系统、存储介质及电子设备
CN110782467A (zh) * 2019-10-24 2020-02-11 新疆农业大学 基于深度学习和图像处理的马体尺测量方法
CN110991443A (zh) * 2019-10-29 2020-04-10 北京海益同展信息科技有限公司 关键点检测、图像处理方法、装置、电子设备及存储介质
CN111353416A (zh) * 2020-02-26 2020-06-30 广东温氏种猪科技有限公司 基于牲畜三维测量的姿态检测方法、系统及存储介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000131022A (ja) * 1998-10-29 2000-05-12 Keisuke Ueno 活魚計測装置
JP2004333261A (ja) * 2003-05-07 2004-11-25 Fisheries Research Agency 水中観測記録装置及びその装置を用いて魚群情報をモニタリングする方法
GB201509514D0 (en) * 2015-06-02 2015-07-15 Fishfigure Ltd A software application (app) on a computer or mobile device developed for measuring the size of a fish from a photograph. This process is called fishfigure.
CN106295657A (zh) * 2016-08-04 2017-01-04 天津汉光祥云信息科技有限公司 一种视频数据结构化过程中提取人体高度特征的方法
JPWO2018061925A1 (ja) * 2016-09-30 2019-06-24 日本電気株式会社 情報処理装置、長さ測定システム、長さ測定方法およびプログラム記憶媒体
WO2018121737A1 (zh) * 2016-12-30 2018-07-05 北京市商汤科技开发有限公司 关键点预测、网络训练及图像处理方法和装置、电子设备
CN109459119A (zh) * 2018-10-17 2019-03-12 北京京东金融科技控股有限公司 一种体重测量方法、设备和计算机可读存储介质
CN110136192A (zh) * 2019-04-30 2019-08-16 内蒙古科技大学 一种基于深度学习和特征部位检测的牛体尺算法
CN110296660A (zh) * 2019-06-26 2019-10-01 北京海益同展信息科技有限公司 牲畜体尺检测方法与装置
CN110569784A (zh) * 2019-09-05 2019-12-13 武汉纺织大学 一种人体尺寸测量方法、系统、存储介质及电子设备
CN110782467A (zh) * 2019-10-24 2020-02-11 新疆农业大学 基于深度学习和图像处理的马体尺测量方法
CN110991443A (zh) * 2019-10-29 2020-04-10 北京海益同展信息科技有限公司 关键点检测、图像处理方法、装置、电子设备及存储介质
CN111353416A (zh) * 2020-02-26 2020-06-30 广东温氏种猪科技有限公司 基于牲畜三维测量的姿态检测方法、系统及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
结合深度学习与生物特征识别在冷链拣选中的算法研究;陈妮亚;阮佳阳;黄金苗;杨伟;;智能科学与技术学报(第01期);全文 *

Also Published As

Publication number Publication date
CN111862189A (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
CN111862189B (zh) 体尺信息确定方法、装置、电子设备和计算机可读介质
Li et al. SAR image change detection using PCANet guided by saliency detection
CN112257692B (zh) 一种行人目标的检测方法、电子设备及存储介质
CN112001406B (zh) 一种文本区域检测方法及装置
CN110163207B (zh) 一种基于Mask-RCNN船舶目标定位方法及存储设备
WO2023201924A1 (zh) 对象缺陷检测方法、装置、计算机设备和存储介质
CN113283419B (zh) 基于注意力的卷积神经网络指针式仪表图像读数识别方法
CN110096979B (zh) 模型的构建方法、人群密度估计方法、装置、设备和介质
CN110310305B (zh) 一种基于bssd检测与卡尔曼滤波的目标跟踪方法与装置
CN115953665A (zh) 一种目标检测方法、装置、设备及存储介质
JP2010157118A (ja) パターン識別装置及びパターン識別装置の学習方法ならびにコンピュータプログラム
CN111563439B (zh) 一种水产生物病害检测方法、装置及设备
CN111144425B (zh) 检测拍屏图片的方法、装置、电子设备及存储介质
CN114139564B (zh) 二维码检测方法、装置、终端设备及检测网络的训练方法
CN115375917A (zh) 一种目标边缘特征提取方法、装置、终端及存储介质
Rosales et al. Faster r-cnn based fish detector for smart aquaculture system
CN112699711A (zh) 车道线检测方法、装置、存储介质及电子设备
CN111597937B (zh) 鱼姿势识别方法、装置、设备及存储介质
Oga et al. River state classification combining patch-based processing and CNN
CN112581483A (zh) 基于自学习的植物叶片叶脉分割方法和装置
CN115935015A (zh) 模型训练方法及装置、图分类方法及装置
CN114663760A (zh) 模型训练的方法、目标检测方法、存储介质及计算设备
CN111353349B (zh) 人体关键点检测方法、装置、电子设备及存储介质
CN112465821A (zh) 一种基于边界关键点感知的多尺度害虫图像检测方法
CN114067105B (zh) 谷物密度估计方法、存储介质及谷物密度估计设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 601, 6 / F, building 2, No. 18, Kechuang 11th Street, Daxing District, Beijing, 100176

Applicant after: Jingdong Technology Information Technology Co.,Ltd.

Address before: 601, 6 / F, building 2, No. 18, Kechuang 11th Street, Daxing District, Beijing, 100176

Applicant before: Jingdong Shuke Haiyi Information Technology Co.,Ltd.

Address after: 601, 6 / F, building 2, No. 18, Kechuang 11th Street, Daxing District, Beijing, 100176

Applicant after: Jingdong Shuke Haiyi Information Technology Co.,Ltd.

Address before: 601, 6 / F, building 2, No. 18, Kechuang 11th Street, Beijing Economic and Technological Development Zone, Beijing 100176

Applicant before: BEIJING HAIYI TONGZHAN INFORMATION TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant