CN116403004B - 一种基于牛脸矫正的牛脸融合特征提取方法 - Google Patents

一种基于牛脸矫正的牛脸融合特征提取方法 Download PDF

Info

Publication number
CN116403004B
CN116403004B CN202310664063.6A CN202310664063A CN116403004B CN 116403004 B CN116403004 B CN 116403004B CN 202310664063 A CN202310664063 A CN 202310664063A CN 116403004 B CN116403004 B CN 116403004B
Authority
CN
China
Prior art keywords
face
cattle
cow
picture
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310664063.6A
Other languages
English (en)
Other versions
CN116403004A (zh
Inventor
肖治国
赵楠
戴文新
杨哲
丁天娇
王春湘
梁文惠
张冬
陈显庆
张天浩
李念峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun University
Original Assignee
Changchun University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun University filed Critical Changchun University
Priority to CN202310664063.6A priority Critical patent/CN116403004B/zh
Publication of CN116403004A publication Critical patent/CN116403004A/zh
Application granted granted Critical
Publication of CN116403004B publication Critical patent/CN116403004B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/70—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in livestock or poultry

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Ophthalmology & Optometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种基于牛脸矫正的牛脸融合特征提取方法，属于生物识别领域，首先提出了一种牛脸矫正方法，基于深度学习目标检测技术定位牛眼的位置，计算牛脸倾斜角度，通过旋转的方法将牛的双眼矫正到水平线上，此过程规范化了牛脸生物信息的标准。然后采用CowFilter滤波器图片纹理增强模块对牛脸纹理增强，并将纹理增强后的牛左眼纹理增强图片、牛右眼纹理增强图片和牛脸区域纹理增强图片分别输入特征提取模块，得到牛左右眼的特征向量和牛脸特征向量，接着将特征向量输入到一个特征融合模块，得到牛脸特征融合数据。本发明提出的基于牛脸矫正的牛脸融合特征提取方法在一定程度上能够提高牛脸特征提取的精确度，从而提高牛脸识别的准确率。

Description

一种基于牛脸矫正的牛脸融合特征提取方法
技术领域
本发明涉及生物识别领域，尤其涉及一种基于牛脸矫正的牛脸融合特征提取方法。
背景技术
近年来，为了满足市场需求，国内养殖牛的市场规模不断扩大，养殖方式也逐渐从传统的散养、放养，转变为集中化饲养。想要实现牛场的精细化管理，就需要引入智能化养殖技术。牛脸识别是牛场智能化养殖的基本要求，是指通过人工智能技术，使用特殊的物理设备，实现牛脸的准确识别。牛脸识别在牛的保险、担保和牛的信息溯源方面都有很现实的应用价值。
牛脸识别技术已有小规模推广应用，但是因为牛脸上多毛且存在时变性，容易出现杂草，牛鼻及牛嘴上多发草料、脏物和口水等现象。导致牛脸特征提取面临极大的困难，也使牛脸的识别在实验阶段和真正使用的时候会出现较大差异。在实际生产应用中普遍存在牛脸识别准确率低等情况。因此，如何对牛脸图片收集过程标准化和实现更高性能的牛脸特征提取是当前解决问题的关键。
发明内容
本发明的目的是提供一种基于牛脸矫正的牛脸融合特征提取方法，首先将牛的双眼调整到同一水平线上对牛脸进行矫正，使得牛脸生物信息收集更加标准；然后采用CowFilter滤波器图片纹理增强模块对牛脸毛发等不易不变化的纹理信息和牛眼纹理信息进行增强，接着使用特征提取模块提取牛左眼区域、牛右眼区域和牛脸区域的特征，最后将这三个区域的特征进行融合，以提高牛脸识别的准确率。
为实现上述目的，本发明提供的技术方案如下：
第一方面，提供一种牛脸矫正方法，包括以下步骤：
S1：获取样本对象对应的牛脸图片；
S2：将所述样本对象对应的牛脸图片输入牛眼检测模型，得到所述样本对象对应的牛左眼区域图片和牛右眼区域图片；
所述牛眼检测模型采用深度学习目标检测技术的单阶段检测方法架构，对牛脸图片中的牛眼进行检测，返回的参数为，其中/>和/>表示牛眼的中心坐标，/>和/>表示牛眼区域的宽和高；所述牛左眼区域图片和牛右眼区域图片根据上述返回参数对步骤S1中所述的牛脸图片裁剪得到；
S3：根据所述样本对象对应的牛左眼区域图片和牛右眼区域图片计算得到牛脸倾斜角度，并对牛脸图片实施牛脸矫正操作，得到牛脸矫正图片；
具体地，所述牛眼检测模型包含三个模块，分别是输入层、骨干网络模块和目标检测预测模块；同理的，本发明中还涉及一个牛脸检测模型，牛脸检测模型的网络结构和牛眼检测模型的网络结构相同，故不再赘述。
输入层：输入一张牛脸图片。
骨干网络模块：该骨干网络模块的主要作用是特征提取，由两个CBL模块和三个CSP模块顺次拼接组成，并在每个CSP模块后添加了一个池化层，有助于避免模型过拟合现象。CBL模块由一个卷积层Conv、一个批量规范化层(Batch Normalization layer, BN)和一个激活函数LeakyRelu顺次拼接组成；CSP模块则由四个CBP模块顺次拼接组成，CBP模块由一个卷积层Conv、一个批量规范化层(Batch Normalization layer, BN)和一个激活函数PReLU顺次拼接组成。数据处理过程中，将第二个CBP模块的输出和第三个CBP模块的输出进行concat操作，并将得到的结果作为第四个CBP模块的输入；同时，将CSP模块的输入和第四个CBP模块的输入进行concat操作，得到的结果为CSP模块的输出；骨干网络模块的优点是能够更好的提取牛脸图片的深层次特征，特别是CSP模块的两个concat操作，为保留牛脸特征提供了重要的支撑和保障。
目标检测预测模块：由三个CBL子模块和一个卷积层Conv顺次拼接组成。
优选地，所述牛眼检测模型的损失函数为：
其中，、/>和/>依次表示边界框回归损失、置信度损失和分类损失；/>、/>和/>分别表示边界框回归损失、置信度损失和分类损失的权重系数。
具体地，所述牛脸倾斜角度的计算过程如下：首先，定义牛脸图片水平方向为横坐标/>，垂直方向为纵坐标/>，牛脸图片左上角为原点，牛脸左眼中心点的坐标为/>，牛脸右眼中心点的坐标为/>，可得，牛脸的倾斜角度计算公式为：
所述牛脸矫正实施方法具体为：根据牛脸倾斜角度，顺时针或逆时针旋转牛脸图片；判别方法为：当牛脸左眼中心点的纵坐标/>小于牛脸右眼中心点的纵坐标/>时，表示左眼比右眼高，逆时针旋转牛脸图片，反之，顺时针旋转牛脸图片；所述牛脸矫正图片是指牛的双眼在同一水平方向上的牛脸图片；
第二方面，提供一种牛脸融合特征提取方法，包括以下步骤：
S1：获取样本对象对应的牛左眼区域图片、牛右眼区域图片和牛脸区域图片；
具体地，牛左眼区域图片、牛右眼区域图片和牛脸区域图片分别由牛眼检测模型和牛脸检测模型检测得到；牛眼检测模型的检测对象是牛脸图片，牛脸检测模型的检测对象是牛脸矫正图片；
S2：将所述样本对象对应的牛左眼区域图片、牛右眼区域图片和牛脸区域图片分别输入CowFilter滤波器图片纹理增强模块，得到纹理增强的牛左眼纹理增强图片、牛右眼纹理增强图片和牛脸区域纹理增强图片；
具体地，所述CowFilter滤波器图片纹理增强模块的数学表达式为：
实部表示：
虚部表示：
其中，和/>表示空间坐标，与牛脸倾斜角度/>的计算过程中定义的/>轴、/>轴类似，即给定一张牛脸图片，定义牛脸图片的水平方向为横坐标/>，垂直方向为纵坐标/>，牛脸图片的左上角为原点，/>和/>表示在以/>为方向的坐标下的空间坐标，/>表示正弦函数波长；/>表示CowFilter核函数方向；/>表示在/>轴方向的相位偏移，/>表示在/>轴方向的相位偏移；/>表示高斯函数标准差；/>和/>表示空间宽高比，且/>；
S3：将所述样本对象对应的牛左眼纹理增强图片、牛右眼纹理增强图片和牛脸区域纹理增强图片输入特征提取模块，得到所述样本对应的牛左眼纹理增强图片特征向量、牛右眼纹理增强图片特征向量和牛脸区域纹理增强图片特征向量；
具体地，所述特征提取模块按照金字塔结构进行设计，并在特征提取模块结构中将牛左右眼特征数据逐层融入牛脸特征数据，最后输出牛左眼纹理增强图片特征向量、牛右眼纹理增强图片特征向量和牛脸区域纹理增强图片特征向量；
具体地，所述特征提取模块分为两部分，分别是输入端和特征提取网络，具体描述如下：
输入端：输入三张图片，分别是牛左眼纹理增强图片、牛右眼纹理增强图片和牛脸区域纹理增强图片；
特征提取网络：分为三个分支，三个分支分别对应牛脸区域特征提取部分、牛左眼特征提取部分和牛右眼特征提取部分。牛脸区域特征提取部分有5层卷积层，牛左眼特征提取部分和牛右眼特征提取部分分别有3层卷积层。牛脸区域特征提取部分的第1~3层卷积层和牛左、右眼特征提取部分的第1~3层卷积层分别进行局部融合，该过程有效的保留和增强了牛脸和牛眼的特征。各分支的细节如下：
1）牛左眼特征提取部分第1~3层卷积层，特征图逐步进行2倍的尺度缩放，从128维变为64维，再变为32维；
2）牛右眼特征提取部分第1~3层卷积层，特征图逐步进行2倍的尺度缩放，从128维变为64维，再变为32维；
3）牛脸区域特征提取部分第1层卷积层，特征图进行2倍的尺度缩放，并和牛左、右眼特征提取部分第1层卷积层得到的结果进行顺次拼接融合，拼接的顺序为：牛脸区域特征提取部分第1层卷积层结果-->牛左眼特征提取部分的第1层卷积层结果-->牛右眼特征提取部分的第1层卷积层结果，该操作能够对牛脸和牛眼的特征进行一次局部融合；
4）同理，牛脸区域特征提取部分第2、3层卷积层，特征图进行2倍的尺度缩放，并和牛左、右眼特征提取部分第2、3层卷积层得到的结果进行顺次拼接融合，拼接顺序和全局融合拼接顺序相同，该操作可以分别对牛脸和牛眼的特征进行二、三次局部融合；
S4：将所述样本对象对应的牛左眼纹理增强图片特征向量、牛右眼纹理增强图片特征向量和牛脸区域纹理增强图片特征向量作为特征融合模块的输入，得到所述待识别样本对象对应的牛脸融合特征数据。
具体地，所述特征融合模块采取串行方式，将牛左眼纹理增强图片特征向量、牛右眼纹理增强图片特征向量和牛脸区域纹理增强图片特征向量进行拼接，对上述特征向量进行全局融合，从而得到牛脸融合特征向量，拼接的顺序为牛左眼纹理增强图片特征向量、牛右眼纹理增强图片特征向量和牛脸区域纹理增强图片特征向量，最后输入到一个全连接层，将特征向量数据压缩。
综上所述，本发明针对牛脸识别准确率低的问题，首先提出了一种牛脸矫正方法，基于深度学习目标检测技术定位牛眼的位置，计算牛脸倾斜角度，通过旋转的方法将牛的双眼矫正到水平线上，此过程规范化了牛脸生物信息的标准。然后采用CowFilter滤波器图片纹理增强模块对牛脸纹理增强，并将纹理增强后的牛左眼区域图片、牛右眼区域图片和牛脸区域图片分别输入特征提取模块，得到牛左眼纹理增强图片特征向量、牛右眼纹理增强图片特征向量和牛脸区域纹理增强图片特征向量，并且在网络结构中添加了特征向量局部融合方法，更好的保留了牛脸和牛眼的特征，接着将特征向量输入到一个特征融合模块，对牛左眼纹理增强图片特征向量、牛右眼纹理增强图片特征向量和牛脸区域纹理增强图片特征向量进行全局融合操作，从而得到牛脸特征融合数据。本发明提出的基于牛脸矫正的牛脸融合特征提取方法在一定程度上能够提高牛脸特征提取的精确度，从而提高牛脸识别的准确率。
附图说明
图1是本发明实施例中牛眼检测模型的训练方法的流程示意图；
图2是牛眼检测网络结构图；
图3是CBL模块的结构图；
图4是CBP模块的结构图；
图5是CSP模块的结构图；
图6是CowFilter滤波器图片纹理增强模块应用实例；
图7是牛脸特征融合网络结构图；
图8是本发明提出的一种基于牛脸矫正的牛脸融合特征提取方法流程示意图。
具体实施方式
为使得本发明的目的、特征、优点能够更加的明显和易懂，下面结合本发明的实施例中的附图，对本发明中的技术方案进行清楚完整地描述。显然，本发明不受下述实施例的限制，可根据本发明的技术方案与实际情况来确定具体的实施方式。为了避免混淆本发明的实质，公知的方法、过程、流程并没有详细叙述。
实施例1
图1提供了本发明实施例的牛眼检测模型的训练方法的流程示意图，具体包含以下步骤：
S102：采集牛脸图片
为保证牛脸图片的真实有效性，采取实地拍摄的方式，使用手机或相机进行牛脸图片采集工作，采集的数量需要达到一万张以上。可通过拍摄视频的方式进行采集，对拍摄的视频采用抽帧的方式获取图片，保证每张图片的差异性。图片的格式采用JPG格式，分辨率为512×896 Pixels。
S104：牛眼数据集标注
使用目标检测数据集标注工具LabelImg对牛眼区域进行标注。数据集标注完成后将自动生成XML文件，记录牛眼的区域坐标信息。
S106：设计牛眼检测网络
在深度学习目标检测领域，存在两种设计思想方向，分别是双阶段和单阶段。双阶段的目标检测过程分为两步：第一，找出目标物体出现的位置，得到建议框，并保证足够的准确率和召回率；第二，对建议框进行分类，寻找更精确的位置。单阶段的检测过程只需要一步，不需要得到建议框阶段，直接产生物体的类别概率和位置坐标值，经过单次检测即可直接得到最终的检测结果。因此，基于双阶段的网络的检测速度比较慢，所以本发明实例基于单阶段设计思想设计牛眼检测网络。
S108：利用牛眼检测网络对采集的牛脸图片进行训练，得到牛眼检测模型。
参照图2，牛眼检测模型的输入为JPG格式的牛脸图片，包括输入层、骨干网络模块和目标检测预测模块。牛眼检测模型的输出参数为，其中/>和/>表示牛眼的中心坐标，/>和/>表示牛眼区域的宽和高；
1）输入层输入分辨率为512×896 Pixels大小的JPG格式牛脸图片。
2）骨干网络模块：该骨干网络模块由两个CBL模块和三个CSP模块组成，并按照顺序进行拼接，并在每个CSP模块后添加了一个池化层。
CBL模块由一个卷积层Conv、一个批量规范化层(Batch Normalization layer,BN)和一个激活函数LeakyRelu组成。卷积层的卷积核的大小为3×3，步长为2。BN表示进行归一化操作。激活函数LeakyRelu的公式为：
其中，的值为0.01。
CSP模块的基本单元为CBP模块，CBP模块由一个卷积层Conv、一个批量规范化层(Batch Normalization layer, BN)和一个激活函数PReLU顺次拼接组成。卷积层的卷积核的大小为3×3，步长为2。激活函数PReLU的公式为：
其中，参数的取值通常为0到1，并且通常相对较小，在本实施例中该值为0.03。
CBL、CBP和CSP模块模型结构参阅图3、图4和图5。
3）目标检测预测模块。该目标检测预测模块由三个CBL子模块和一个卷积层Conv组成。卷积核的大小为1×1，步长为1。
在深度学习领域，损失函数的构建同样很重要。在本实施例中，牛眼检测网络的损失函数为：
其中，、/>和/>依次表示边界框回归损失、置信度损失和分类损失。/>、/>和/>表示边界框回归损失、置信度损失和分类损失的权重系数，加起来等于1，该权重系数可经过学习得到。
4）利用牛眼检测网络对采集的牛脸图片进行训练，得到牛眼检测模型。
本实施例系统的描述了牛眼检测模型从数据收集到训练的详细过程。牛脸检测模型，该牛脸检测模型的作用是从牛脸矫正图片中对牛脸进行检测，得到牛脸区域图片。由于该模型的训练流程和牛眼检测模型过程类似，故不再赘述。需强调的是，牛脸检测网络和牛眼检测网络相同。
实施例2
提供了本发明实例的牛脸矫正方法，具体包含以下步骤：
1、获取牛脸图片。
2、将牛脸图片输入实施例1训练得到的牛眼检测模型，得到牛左右眼坐标参数和/>。
3、根据牛左右眼坐标参数对牛脸图片进行牛脸矫正操作。
具体的，牛脸矫正操作分为两个步骤，最终得到牛的双眼在同一水平线上的牛脸图片。
1）计算牛脸倾斜角度。首先，定义牛脸图片水平方向为横坐标，垂直方向为纵坐标/>，牛脸图片左上角为原点，牛左眼中心点的坐标为/>，牛右眼中心点的坐标为。牛脸倾斜角度/>计算公式为：
2）对牛脸图片进行旋转操作。根据牛脸倾斜角度，顺时针或逆时针旋转牛脸图片。判别方法为：当牛脸左眼中心的纵坐标有/>小于牛脸右眼中心的纵坐标/>时，表示牛脸左眼比牛脸右眼高，逆时针旋转牛脸图片，反之，顺时针旋转牛脸图片。旋转方法采用python版本opencv的getRotationMatrix2D方法。getRotationMatrix2D的调用方法为：cv2.getRotationMatrix2D(参数1，参数2，参数3)，其中参数1代表旋转中心，参数2代表旋转角度，参数3代表缩放比例。
实施例3
提供了本发明实例的牛脸融合特征提取方法的网络结构图，参照图6、图7和图8，具体包含以下部分：
1、Cowfilter滤波器图片纹理增强模块
该模块的输入分为三个部分，分别是牛左眼区域图片、牛右眼区域图片和牛脸区域图片，输出得到牛左眼纹理增强图片、牛右眼纹理增强图片和牛脸区域纹理增强图片。牛左右眼区域图片由牛眼检测模型检测得到，牛脸区域图片由牛脸检测模型对牛脸矫正图片进行检测得到。参阅图6，为Cowfilter滤波器图片纹理增强模块对一张牛脸区域图片的纹理增强实例。具体的，CowFilter的计算公式如下：
实部表示：
虚部表示：
其中，和/>表示空间坐标，与实施例1中的牛脸倾斜角度/>的计算过程中定义的轴、/>轴类似，即给定一张图片，定义图片的水平方向为横坐标/>，垂直方向为纵坐标/>，图片的左上角为原点，/>和/>表示在以/>为方向的坐标下的空间坐标，/>表示正弦函数波长；/>表示CowFilter核函数方向；/>表示在/>轴方向的相位偏移，/>表示在/>轴方向的相位偏移；/>表示高斯函数标准差；/>和/>表示空间宽高比，且/>。
2、特征提取模块
如何提取图片特征是生物识别领域的研究重点。参阅图7，在本发明实例中，提供了一种牛脸特征提取网络，该网络基于卷积神经网络和金字塔网络结构进行设计，其形状类似于埃及金字塔结构，能够很好的提取牛脸图片的纹理特征，并且该网络在特征提供过程中融入了三次特征向量局部融合操作，可以有效的提高牛脸识别准确率。
1）输入端为三张图片，分别是牛左眼纹理增强图片、牛右眼纹理增强图片和牛脸区域纹理增强图片。
2）主干网络。参照图7，可分为三部分：牛脸区域特征提取部分、牛左眼特征提取部分和牛右眼特征提取部分。牛脸区域特征提取部分有5层卷积层，牛左眼特征提取部分和牛右眼特征提取部分共有3层卷积层，并且牛脸区域特征提取部分的第1~3层卷积层和牛左、右眼特征提取部分的第1~3层卷积层分别进行局部融合操作，该过程有效的保留和增强了牛脸的特征。在本实施例中，最终输出得到牛左眼纹理增强图片特征向量、牛右眼纹理增强图片特征向量和牛脸区域纹理增强图片特征向量，特征向量的大小分别为32维、32维和448维。
牛左眼特征提取部分第1~3卷积层，特征图逐步进行2倍的尺度缩放，从128维变为64维，再变为32维。
同理，牛右眼特征提取部分第1~3层卷积层，特征图逐步进行2倍的尺度缩放，从128维变为64维，再变为32维。
牛脸区域特征提取部分第1层卷积层，特征图进行2倍的尺度缩放，并和牛左、右眼部分第1层卷积层得到的结果进行拼接融合，拼接的顺序为：牛脸区域特征提取部分第1层卷积层结果-->牛左眼特征提取部分的第1层卷积层结果-->牛右眼特征提取部分的第1层卷积层结果，该操作可以对牛脸和牛眼的特征进行一次局部融合；
牛脸区域特征提取部分卷积层2、卷积层3，特征图进行2倍的尺度缩放，并和牛左、右眼特征提取部分卷积层2、卷积层3得到的结果进行顺次拼接融合，拼接顺序和全局融合拼接顺序相同，该操作可以对牛脸和牛眼的特征进行二、三次局部融合；
3、特征融合模块
该模块分为两个部分，分别为特征向量拼接层和全连接数据压缩层。
1）特征向量拼接层将牛左眼纹理增强图片特征向量、牛右眼纹理增强图片特征向量和牛脸区域纹理增强图片特征向量顺次拼接，即全局融合，得到512维的牛脸初次融合特征数据。
2）将牛脸初次融合特征数据输入全连接层，对数据进行压缩，得到112维的牛脸融合特征数据。
实施例4：
图8提供了一种基于牛脸矫正的牛脸融合特征提取方法流程示意图，具体包含以下步骤：
1、准备牛脸图片，输入牛眼检测模型，得到牛左右眼区域中心坐标和牛左右眼区域图片；
2、进行牛脸矫正操作，得到牛脸矫正图片；
3、将牛脸矫正图片输入牛脸检测模型，得到牛脸区域图片；
4、将牛左眼区域图片、牛右眼区域图片和牛脸区域图片输入牛脸融合特征提取模块，输出得到牛脸融合特征数据。牛脸融合特征提取模块包含Cowfilter滤波器图片纹理增强模块、特征提取模块和特征融合模块，这三个模块顺次拼接。

Claims (4)

1.一种基于牛脸矫正的牛脸融合特征提取方法，其特征在于，该方法包括如下步骤：
步骤一、获取样本对象对应的牛左眼区域图片、牛右眼区域图片和牛脸区域图片；
其中，所述牛左眼区域图片和牛右眼区域图片是由牛眼检测模型检测得到的；牛脸区域图片是由牛脸检测模型检测得到的；牛眼检测模型的检测对象是牛脸图片，牛脸检测模型的检测对象是牛脸矫正图片，且牛脸矫正图片的获得过程如下：
①获取样本对象对应的牛脸图片；
②将所述样本对象对应的牛脸图片输入牛眼检测模型，得到所述样本对象对应的牛左眼区域图片和牛右眼区域图片；
③根据所述样本对象对应的牛左眼区域图片和牛右眼区域图片计算得到牛脸倾斜角度α，并对牛脸图片实施牛脸矫正操作，得到牛脸矫正图片；
所述牛脸倾斜角度α的计算过程如下：首先，定义牛脸图片的水平方向为横坐标x，垂直方向为纵坐标y，牛脸图片左上角为原点，牛脸左眼中心点的坐标为(x1,y1)，牛脸右眼中心点的坐标为(x2,y2)，可得，牛脸的倾斜角度计算公式为：
所述对牛脸图片实施牛脸矫正操作，得到牛脸矫正图片的过程为：根据牛脸倾斜角度α，顺时针或逆时针旋转牛脸图片；判别方法为：当牛脸左眼中心点的纵坐标y1小于牛脸右眼中心点的纵坐标y2时，表示牛的左眼比右眼高，逆时针旋转牛脸图片，反之，顺时针旋转牛脸图片；所述牛脸矫正图片是指牛的双眼在同一水平方向上的牛脸图片；
步骤二、将所述样本对象对应的牛左眼区域图片、牛右眼区域图片和牛脸区域图片分别输入CowFilter滤波器图片纹理增强模块，得到牛左眼纹理增强图片、牛右眼纹理增强图片和牛脸区域纹理增强图片；
步骤三、将所述样本对象对应的牛左眼纹理增强图片、牛右眼纹理增强图片和牛脸区域纹理增强图片输入特征提取模块，得到所述样本对应的牛左眼特征数据、牛右眼特征数据和牛脸特征数据；
步骤四、将所述样本对象对应的牛左眼特征数据、牛右眼特征数据和牛脸特征数据作为特征融合模块的输入，输入特征融合模块得到待识别样本对象对应的牛脸融合特征数据；
所述CowFilter滤波器图片纹理增强模块的数学表达式为：
实部表示：
虚部表示：
其中，x和y表示空间坐标，x′和y′表示在以θ为方向的坐标下的空间坐标，λ表示正弦函数波长；θ表示CowFilter核函数方向；ψ1表示在x轴方向的相位偏移，ψ2表示在y轴方向的相位偏移；σ表示高斯函数标准差；γ1和γ2表示空间宽高比，且
特征提取模块中，将牛左眼特征数据、牛右眼特征数据逐层融入牛脸特征数据，最后输出牛左眼纹理增强图片特征向量、牛右眼纹理增强图片特征向量和牛脸区域纹理增强图片特征向量；
所述特征提取模块分为两部分，分别是输入端和特征提取网络；
输入端：用于输入牛左眼纹理增强图片、牛右眼纹理增强图片和牛脸区域纹理增强图片；
特征提取网络：分为三个分支，三个分支分别对应牛脸区域特征提取部分、牛左眼特征提取部分和牛右眼特征提取部分；牛脸区域特征提取部分共有5层卷积层，牛左眼特征提取部分和牛右眼特征提取部分分别具有3层卷积层；牛脸区域特征提取部分的第1～3层卷积层和牛左、右眼特征提取部分的第1～3层卷积层分别进行局部融合操作，从而增强牛脸的特征；
其中，牛左眼特征提取部分从第1层卷积层至第3层卷积层，特征图逐步进行2倍的尺度缩放，从128维变为64维，再变为32维；
其中，牛右眼特征提取部分从第1层卷积层至第3层卷积层，特征图逐步进行2倍的尺度缩放，从128维变为64维，再变为32维；
牛脸区域特征提取部分的第1层卷积层，特征图进行2倍的尺度缩放，得到的结果和牛左、右眼特征提取部分的第1层卷积层得到的结果进行顺次拼接融合，拼接的顺序为：牛脸区域特征提取部分第1层卷积层结果、牛左眼特征提取部分的第1层卷积层结果和牛右眼特征提取部分的第1层卷积层结果，该操作能够对牛脸和牛眼的特征进行一次局部融合；
牛脸区域特征提取部分的第2、3层卷积层，特征图进行2倍的尺度缩放，并和牛左、右眼特征提取部分的第2、3层卷积层得到的结果进行顺次拼接融合，拼接顺序和全局融合拼接顺序相同，该操作能够对牛脸和牛眼的特征进行二、三次局部融合；
特征融合模块采取串行方式，将牛左眼纹理增强图片特征向量、牛右眼纹理增强图片特征向量和牛脸区域纹理增强图片特征向量进行拼接，得到牛脸融合特征向量，拼接的顺序为牛左眼纹理增强图片特征向量、牛右眼纹理增强图片特征向量和牛脸区域纹理增强图片特征向量，最后输入到一个全连接层，将特征向量数据压缩。
2.根据权利要求1所述的基于牛脸矫正的牛脸融合特征提取方法，其特征在于：步骤一的①中通过拍摄视频的方式进行牛脸图片采集，对拍摄的视频采用抽帧的方式获取图片，保证每张牛脸图片的差异性。
3.根据权利要求1所述的基于牛脸矫正的牛脸融合特征提取方法，其特征在于：牛脸检测模型的网络结构和牛眼检测模型的网络结构相同，所述牛脸检测模型和牛眼检测模型均包含三个模块，分别是输入层、骨干网络模块和目标检测预测模块；
其中，骨干网络模块由两个CBL模块和三个CSP模块顺次拼接组成，并在每个CSP模块后添加了一个池化层，CBL模块由一个卷积层Conv、一个批量规范化层BN和一个激活函数LeakyRelu组成；CSP模块由四个CBP模块顺次拼接组成，数据处理过程中，将第二个CBP模块的输出和第三个CBP模块的输出进行concat操作，并将得到的结果作为第四个CBP模块的输入，同时，将CSP模块的输入和第四个CBP模块的输入进行concat操作，得到的结果为CSP模块的输出，其中CSP模块中的四个CBP模块结构一致，CBP模块由一个卷积层Conv、一个批量规范化层BN和一个激活函数PRelu组成；目标检测预测模块由三个CBL子模块和一个卷积层Conv顺次拼接组成。
4.根据权利要求3所述的基于牛脸矫正的牛脸融合特征提取方法，其特征在于：所述牛脸检测模型和牛眼检测模型的损失函数均为：
Loss＝υLossciou+ωLossconf+ξLosscls
其中，Lossciou、Lossconf和Losscls依次表示边界框回归损失、置信度损失和分类损失；υ、ω和ξ分别表示边界框回归损失、置信度损失和分类损失的权重系数。
CN202310664063.6A 2023-06-07 2023-06-07 一种基于牛脸矫正的牛脸融合特征提取方法 Active CN116403004B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310664063.6A CN116403004B (zh) 2023-06-07 2023-06-07 一种基于牛脸矫正的牛脸融合特征提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310664063.6A CN116403004B (zh) 2023-06-07 2023-06-07 一种基于牛脸矫正的牛脸融合特征提取方法

Publications (2)

Publication Number Publication Date
CN116403004A CN116403004A (zh) 2023-07-07
CN116403004B true CN116403004B (zh) 2024-01-26

Family

ID=87012630

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310664063.6A Active CN116403004B (zh) 2023-06-07 2023-06-07 一种基于牛脸矫正的牛脸融合特征提取方法

Country Status (1)

Country Link
CN (1) CN116403004B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116758589B (zh) * 2023-08-17 2023-11-03 吉林大学 一种处理姿态和视角矫正的牛脸识别方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740429A (zh) * 2017-11-30 2019-05-10 沈阳工业大学 基于嘴角坐标平均值变化的笑脸识别方法
CN114332956A (zh) * 2022-03-15 2022-04-12 华中农业大学 一种基于卷积神经网络的牛脸检测和牛脸关键点定位方法
CN114743215A (zh) * 2022-03-24 2022-07-12 华南农业大学 基于图卷积网络模型的牛脸识别方法、系统、设备及介质
CN115546845A (zh) * 2022-11-24 2022-12-30 中国平安财产保险股份有限公司 一种多视角牛脸识别方法、装置、计算机设备及存储介质
CN115601792A (zh) * 2022-12-14 2023-01-13 长春大学（Cn） 一种牛脸图像增强方法
CN115862091A (zh) * 2022-11-09 2023-03-28 暨南大学 基于Emo-ResNet的面部表情识别方法、装置、设备和介质
CN116052222A (zh) * 2023-03-06 2023-05-02 吉林大学 自然采集牛脸图像的牛脸识别方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740429A (zh) * 2017-11-30 2019-05-10 沈阳工业大学 基于嘴角坐标平均值变化的笑脸识别方法
CN114332956A (zh) * 2022-03-15 2022-04-12 华中农业大学 一种基于卷积神经网络的牛脸检测和牛脸关键点定位方法
CN114743215A (zh) * 2022-03-24 2022-07-12 华南农业大学 基于图卷积网络模型的牛脸识别方法、系统、设备及介质
CN115862091A (zh) * 2022-11-09 2023-03-28 暨南大学 基于Emo-ResNet的面部表情识别方法、装置、设备和介质
CN115546845A (zh) * 2022-11-24 2022-12-30 中国平安财产保险股份有限公司 一种多视角牛脸识别方法、装置、计算机设备及存储介质
CN115601792A (zh) * 2022-12-14 2023-01-13 长春大学（Cn） 一种牛脸图像增强方法
CN116052222A (zh) * 2023-03-06 2023-05-02 吉林大学 自然采集牛脸图像的牛脸识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"基于ROI的车道特征提取研究";王志能;《CNKI硕士学位论文》;第1-66页 *
"牛个体面部识别算法研究与设计";王斌;《CNKI硕士学位论文》;第1-51页 *

Also Published As

Publication number Publication date
CN116403004A (zh) 2023-07-07

Similar Documents

Publication Publication Date Title
CN110298291B (zh) 基于Mask-RCNN的牛脸及牛脸关键点检测方法
CN112949565B (zh) 基于注意力机制的单样本部分遮挡人脸识别方法及系统
CN109145745B (zh) 一种遮挡情况下的人脸识别方法
WO2022000862A1 (zh) 鱼眼图像中的对象检测方法、装置及存储介质
CN110263768A (zh) 一种基于深度残差网络的人脸识别方法
CN115082815B (zh) 基于机器视觉的茶芽采摘点定位方法、装置及采摘系统
CN116403004B (zh) 一种基于牛脸矫正的牛脸融合特征提取方法
CN112232204B (zh) 基于红外图像的活体检测方法
CN111368637B (zh) 一种基于多掩模卷积神经网络的搬运机器人识别目标方法
CN112836625A (zh) 人脸活体检测方法、装置、电子设备
CN112329662B (zh) 基于无监督学习的多视角显著性估计方法
CN112163995A (zh) 一种超大航拍条带图像的拼接生成方法及装置
US20240161461A1 (en) Object detection method, object detection apparatus, and object detection system
Shuai et al. An improved YOLOv5-based method for multi-species tea shoot detection and picking point location in complex backgrounds
CN118154603B (zh) 基于级联多层特征融合网络的显示屏缺陷检测方法及系统
CN117557774A (zh) 一种基于改进YOLOv8的无人机图像小目标检测方法
Zhang et al. A tea bud segmentation, detection and picking point localization based on the MDY7-3PTB model
CN111881841B (zh) 一种基于双目视觉的人脸检测识别方法
CN117315473B (zh) 一种基于改进YOLOv8的草莓成熟度检测方法及系统
CN111881803B (zh) 一种基于改进YOLOv3的畜脸识别方法
CN117541574A (zh) 一种基于ai语义分割和图像识别的舌诊检测方法
CN117558036A (zh) 一种基于图像增强和残差网络的多品种牛面部识别方法
CN113191352A (zh) 一种基于目标检测和二值图像检测的水表指针读数识别方法
CN110889418A (zh) 一种气体轮廓识别方法
CN115482405A (zh) 基于深度学习的单模板匹配的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant