CN112381830B - 基于YCbCr超像素和图割的鸟类关键部位提取方法和装置 - Google Patents

基于YCbCr超像素和图割的鸟类关键部位提取方法和装置 Download PDF

Info

Publication number
CN112381830B
CN112381830B CN202011300818.7A CN202011300818A CN112381830B CN 112381830 B CN112381830 B CN 112381830B CN 202011300818 A CN202011300818 A CN 202011300818A CN 112381830 B CN112381830 B CN 112381830B
Authority
CN
China
Prior art keywords
node
superpixels
bird
superpixel
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011300818.7A
Other languages
English (en)
Other versions
CN112381830A (zh
Inventor
王安东
刘畅
邱钧
陈华祯
赵亚杰
吕卷章
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Yellow River Delta National Nature Reserve Management Committee
Beijing Information Science and Technology University
Original Assignee
Shandong Yellow River Delta National Nature Reserve Management Committee
Beijing Information Science and Technology University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Yellow River Delta National Nature Reserve Management Committee, Beijing Information Science and Technology University filed Critical Shandong Yellow River Delta National Nature Reserve Management Committee
Publication of CN112381830A publication Critical patent/CN112381830A/zh
Application granted granted Critical
Publication of CN112381830B publication Critical patent/CN112381830B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于YCbCr超像素和图割的鸟类关键部位提取方法和装置,该方法包括:步骤1,在YCbCr颜色空间下,对鸟类图像进行超像素分割,形成图割模型的node顶点;步骤2,对鸟类图像中的背景和鸟身体的各关键部位进行多边形标记,并制作背景和关键部位的标签类型,形成图割模型中的Terminal节点;步骤3,利用超像素的颜色直方图和纹理直方图比较两个超像素的相似程度,计算两Node节点之间的边以及Node节点与Terminal节点之间的边;步骤4,构建图割模型中目标函数,并进行优化求解,得到鸟类关键部位分割结果。本发明能够获得鸟类具有区分性的精确关键部位特征,有助于避免拍摄角度、光照及姿态的影响,提高鸟类图像细粒度分类与识别的准确率。

Description

基于YCbCr超像素和图割的鸟类关键部位提取方法和装置
技术领域
本发明涉及光学与数字图像处理技术领域,特别是关于一种基于YCbCr超像素和图割的鸟类关键部位提取方法和装置。
背景技术
我国进入生态文明建设新阶段,生态环境保护成为重中之重。鸟类是诸多自然保护区生态环境评估的重要指示物种。生态环境监测中的鸟类监控图像和视频数量剧增,鸟类识别和分析的需求也剧增。鸟类识别可以帮助自然保护区和生物学家对鸟类种群分布、迁徙等进行有效监测。
目前,鸟类细粒度识别问题具有如下特点:
1.不同种类的鸟之间高度的相似性,在一些部位可能具有相同的特征信息。
2.鸟类图像中具有区分性特征信息往往存在于一些细微部位。由于鸟类姿态多变,可能使得图像中区分性特征信息丢失。
3.鸟类图像的光照、背景都会干扰识别结果。
这些特点使得鸟类细粒度的自动化识别成为一个具有挑战性的问题。获得鸟类具有区分性的精确关键部位特征,可以避免拍摄角度、光照及姿态的影响,对鸟类分析、鸟类图像细粒度分类与识别的准确率提高有着决定性的作用。因此,鸟类关键部位的检测和定位对鸟类细粒度识别至关重要。
发明内容
本发明的目的在于提供一种基于YCbCr超像素和图割的鸟类关键部位提取方法,其能够为鸟类分析、鸟类图像细粒度分类与识别等提供基础数据。
为实现上述目的,本发明提供一种基于YCbCr超像素和图割的鸟类关键部位提取方法,该方法包括:
步骤1,在YCbCr颜色空间下,对鸟类图像进行超像素分割,分割后的超像素形成图割模型的node顶点;
步骤2,对鸟类图像中的背景和鸟身体的各关键部位进行多边形标记,并制作背景和关键部位的标签类型,各标签类型形成图割模型中的Terminal节点;其中,鸟身体关键部位的类型包括头部、颈部、躯干和翅膀;
步骤3,在YCbCr颜色空间下,利用超像素的颜色直方图和纹理直方图来比较两个超像素的相似程度,计算两Node节点之间的边以及Node节点与Terminal节点之间的边,以实现标签类型从标记向超像素进行扩散;
步骤4,构建图割模型中目标函数,并进行优化求解,得到鸟类关键部位分割结果。
进一步地,利用公式(1)计算两Node节点之间的边:
Figure BDA0002786844260000021
式中,[yi≠yj]表示若yi≠yj,[yi≠yj]为1,否则为0;X表示步骤1获取的超像素集合{x1,x2,…,xi,…,xN},xi表示超像素分割后的图像中的第i个超像素,xj表示超像素分割后的图像中的第j个超像素,yi为超像素xi所属标签类型所对应的值,yj为超像素xj所属标签类型所对应的值,Rij(yi,yj|X)表示yi与yj之间的边的取值;
Figure BDA0002786844260000022
表示超像素xi的颜色直方图;
Figure BDA0002786844260000023
表示超像素xj的颜色直方图;ht(xi)表示超像素xi的纹理直方图;ht(xj)表示超像素xj的纹理直方图,
Figure BDA0002786844260000024
表示表示l2范数。
进一步地,利用公式(2)计算Node节点与Terminal节点之间的边:
Figure BDA0002786844260000025
式中,Ri表示超像素xi对应的Node节点与其连接的Terminal节点之间边的取值,|C|表示C的标签类型的数量,S表示超像素的标记集合:
Figure BDA0002786844260000026
sk为被标记为ck的超像素集合。
进一步地,步骤4,构建的图割模型中目标函数表示为式(3):
iRi(yi|X,S)+∑i,jRij(yi,yj|X) (3)
通过优化求解目标函数,得到对整个鸟类图像的所有超像素的分类标签,即实现了鸟类关键部位的提取。
进一步地,步骤2具体包括:
以手工方式沿鸟类关键部位做点标记,点标记结束后完成对标记区域填充,预先约定用不同颜色代表不同的关键部位。
进一步地,头部约定为红色,颈部约定为橙色,躯干约定为黄色,翅膀约定为绿色,背景约定为黑色。
本发明还提供一种基于YCbCr超像素和图割的鸟类关键部位提取装置,该装置包括:
图割模型node顶点生成单元,其用于在YCbCr颜色空间下,对鸟类图像进行超像素分割,分割后的超像素形成图割模型的node顶点;
图割模型Terminal节点生成单元,其用于对鸟类图像中的背景和鸟身体的各关键部位进行多边形标记,并制作背景和关键部位的标签类型,各标签类型形成图割模型中的Terminal节点;其中,鸟身体关键部位的类型包括头部、颈部、躯干和翅膀;
计算单元,其用于在YCbCr颜色空间下,利用超像素的颜色直方图和纹理直方图来比较两个超像素的相似程度,计算两Node节点之间的边以及Node节点与Terminal节点之间的边,以实现标签类型从标记向超像素进行扩散;
优化求解单元,其用于构建图割模型中目标函数,并进行优化求解,得到鸟类关键部位分割结果。
进一步地,所述计算单元利用公式(1)计算两Node节点之间的边:
Figure BDA0002786844260000031
式中,[yi≠yj]表示若yi≠yj,[yi≠yj]为1,否则为0;X表示步骤1获取的超像素集合{x1,x2,…,xi,…,xN},xi表示超像素分割后的图像中的第i个超像素,xj表示超像素分割后的图像中的第j个超像素,C表示步骤2得到的标签类型集合{c1,c2,…,ck,…,ck},ck表示第k种标签类型,yi为超像素xi所属标签类型所对应的值,yj为超像素xj所属标签类型所对应的值,Rij(yi,yj|X)表示yi与yj之间的边的取值;
Figure BDA0002786844260000032
表示超像素xi的颜色直方图;
Figure BDA0002786844260000033
表示超像素xj的颜色直方图;ht(xi)表示超像素xi的纹理直方图;ht(xj)表示超像素xj的纹理直方图。
进一步地,所述计算单元利用公式(2)计算Node节点与Terminal节点之间的边:
Figure BDA0002786844260000041
式中,Ri表示超像素xi对应的Node节点与其连接的Terminal节点之间边的取值,|C|表示C的标签类型的数量,S表示超像素的标记集合:
Figure BDA0002786844260000042
sk为被标记为ck的超像素集合。
进一步地,所述优化求解单元构建的图割模型中目标函数表示为式(3):
iRi(yi|X,S)+∑i,jRij(yi,yj|X) (3)
通过优化求解目标函数,得到对整个鸟类图像的所有超像素的分类标签,即实现了鸟类关键部位的提取。
本发明由于采取以上技术方案,其具有以下优点:本发明方法能够为给每一个超像素都赋予了一个标签类型,对其做可视化处理即可得到分割图。
附图说明
图1为“大杜鹃”的原图。
图2为图1中的“大杜鹃”的超像素分割图。
图3为图1中的“大杜鹃”标记图。
图4为图割示意图。
图5a为“大杜鹃”原图.
图5b为图5a中的“大杜鹃”分割图。
图6a为“大鹰鹃”原图。
图6b为图6a中的“大鹰鹃”分割图。
具体实施方式
下面结合附图和实施例对本发明进行详细的描述。
本发明实施例提供的基于YCbCr超像素和图割的鸟类关键部位提取方法包括:
步骤1,在YCbCr颜色空间下,对鸟类图像进行超像素分割,分割后的超像素形成图割模型的node顶点,如图4中的q、p、r等Node顶点。
图割模型是基于图(Graph)这一数据结构,对鸟类图像作超像素分割,并以超像素作为顶点(Node)。通过指定初始的超像素数量,使用SLIC(英文全称为:simple lineariterative clustering;中文全称为:线性迭代聚类法)算法或者SEEDS、LSC算法等超像素分割方法,对原始图像进行超像素分割,获得图像的超像素信息,得到超像素集合X={x1,x2,…,xi,…,xN}。如图1和2所示,图1为一幅“大杜鹃”的原图,其经由超像素分割后,呈现为图2。图2中每个格子内对应为一个超像素,超像素是像素的集合,以块状进行呈现。
步骤2,对鸟类图像中的背景和鸟身体的各关键部位进行多边形标记,并制作背景和关键部位的标签类型C={c1,c2,…,ck,…,cK},其中,ck表示第k种标签类型,表征为自然数,0≤ck≤K-1。各标签类型形成图割模型中的Terminal节点,如图4中的label1、label2、label3。其中,鸟身体关键部位的类型包括头部、颈部、躯干和翅膀。使用标签类型时,例如:c1表示头部,c2表示颈部,c3表示躯干,c4表示翅膀,c5表示背景。
其中,如图3所示,“对鸟类图像中的背景和鸟身体的各关键部位进行多边形标记”的方法具体包括:
对鸟类关键部位做点标记,相同关键部位的点标记的集合形成平面标记区域以及平面标记区域的边缘轮廓形成的多边形,得到超像素的标记集合
Figure BDA0002786844260000051
sk为被标记为ck的超像素集合,sk={xi|超像素xi被标记为ck}。
上述实施例中,对鸟类关键部位做点标记可以采用手工进行,当然也不排除使用计算自动标记。相比之下,手工标记具有能够提供准确标记信息的优势,因此,以手工标记最佳。
点标记之前,可以预先约定用不同颜色代表不同的关键部位,比如头部约定为红色,颈部约定为橙色,躯干约定为黄色,翅膀约定为绿色,背景约定为黑色,这样点标记的集合形成平面标记区域对应为不同的颜色,以区分鸟类的各个关键部位以及其所在的背景区域。
步骤3,在YCbCr颜色空间下,利用超像素的颜色直方图和纹理直方图来比较两个超像素的相似程度,计算两Node节点之间的边以及Node节点与Terminal节点之间的边,以实现标签类型从标记向超像素进行扩散。
其中,计算两Node节点之间的边的方法如式(1)所示:
Figure BDA0002786844260000052
式中,[yi≠yj]表示若yi≠yj,[yi≠yj]为1,否则为0;X表示步骤1获取的超像素集合{x1,x2,…,xi,…,xN},xi表示经由步骤1超像素分割后的鸟类图像中的第i个超像素,xj表示经由步骤1超像素分割后的鸟类图像中的第j个超像素,yi为超像素xi所属标签类型所对应的值,yj为超像素xj所属标签类型所对应的值,比如:对于标签类型为背景的c5=0,若xj为背景中的超像素时,那么yj=0;Rij(yi,yj|X)表示yi与yj之间的边的取值;
Figure BDA0002786844260000061
表示超像素xi的颜色直方图;
Figure BDA0002786844260000062
表示超像素xj的颜色直方图;ht(xi)表示超像素xi的纹理直方图;ht(xj)表示超像素xj的纹理直方图。
这一部分利用超像素在YCbCr颜色空间下的颜色直方图(color histograms)和纹理直方图(texture histograms)来比较两个超像素的相似程度。其中,利用Y通道图像统计纹理直方图,利用Cb和Cr通道图像统计颜色直方图。超像素的纹理直方图和颜色直方图分布可以构成两个特征向量,利用特征向量之间的欧氏距离来衡量超像素之间的相似程度。
对于Rij而言,两个超像素如果颜色和纹理相近,但标签类型不同,取值差异会很大,因此在优化过程中,相似的相邻超像素会倾向于保留相同的标签,由此实现了标签类型从超像素向相邻超像素扩散。
在另一个实施例中,还可以利用灰度值表示的式(4)计算两Node节点之间的边:
Figure BDA0002786844260000063
式中,f(xi)表示超像素xi的像素值分布,f(xj)表示超像素xj的像素值分布。超像素的像素值分布的获取为现有技术,在此不再展开说明。
需要说明的是,两Node节点之间的边Rij(yi,yj|X)除了使用式(1)和(4)的计算方法外,还可以采用现有公知其它的方法实现。
在一个实施例中,利用公式(2)计算Node节点与Terminal节点之间的边:
Figure BDA0002786844260000064
式中,C表示步骤2得到的标签类型集合{c1,c2,…,ck,…,cK},ck表示第k种标签类型,|C|表示C的标签类型的数量,即K,Ri表示超像素xi对应的Node节点与其连接的Terminal节点之间边的取值,S表示超像素的标记集合:
Figure BDA0002786844260000071
sk为被标记为ck的超像素集合。
这里涵盖了三种情况:第一种是超像素xi的像素集合与某个标记的像素集合存在重叠,且超像素的标签类型yi和标记的标签类型ck相同,此时Ri(yi)=0。第二种是xi不和任何一个标记存在重叠,此时
Figure BDA0002786844260000072
第三种是xi和某个标记存在重叠,但yi≠ck,此时Ri为无穷大。
对于Ri而言,与标记存在重叠的超像素如果类别和标记不同,则取值会很大,因此在优化过程中,超像素会倾向于保留和重叠标记相同的标签类型,由此实现了标签类型从标记向超像素的扩散。
上述实施例中,还可以采用公式(5)计算Node节点与Terminal节点之间的边:
Figure BDA0002786844260000073
需要说明的是,Node节点与Terminal节点之间的边Ri除了使用式(2)和(5)的计算方法外,还可以采用现有公知其它的方法实现。
步骤4,构建图割模型中目标函数,并进行优化求解,得到鸟类关键部位分割结果。其中,构建的图割模型中目标函数表示为式(3):
iRi(yi|X,S)+∑i,jRij(yi,yj|X) (3)
Ri是表达了超像素的标签类型和多边形标记的标签类型之间的关系,优化过程的效果是将类别信息从标记扩散到超像素。Rij表达了相邻超像素之间的关系,优化过程的效果是将类别信息从当前超像素扩散到相邻超像素。
目标函数的优化问题就是一个基于图的多标签优化问题。使用多标签图的最小割算法或置信度传播方法,求解此优化问题,得到对整个鸟类图像的所有超像素的分类标签,即实现了鸟类关键部位的提取。
目标函数的求解结果为给每一个超像素都赋予了一个标签类型,对其做可视化处理即可得到分割图。如图5a示出的是一幅“大杜鹃”的原图,而图5b示出的是利用本发明方法获得的赋予标签类型的“大杜鹃”的分割图;同样地,如图6a示出的是一幅“大鹰鹃”的原图,而图6b示出的是利用本发明方法获得的赋予标签类型的“大鹰鹃”的分割图。
本发明还提供一种基于YCbCr超像素和图割的鸟类关键部位提取装置,该装置包括:图割模型node顶点生成单元、图割模型Terminal节点生成单元、计算单元和优化求解单元,其中:
图割模型node顶点生成单元用于在YCbCr颜色空间下,对鸟类图像进行超像素分割,分割后的超像素形成图割模型的node顶点。
图割模型Terminal节点生成单元用于对鸟类图像中的背景和鸟身体的各关键部位进行多边形标记,并制作背景和关键部位的标签类型,各标签类型形成图割模型中的Terminal节点;其中,鸟身体关键部位的类型包括头部、颈部、躯干和翅膀。
计算单元用于在YCbCr颜色空间下,利用超像素的颜色直方图和纹理直方图来比较两个超像素的相似程度,计算两Node节点之间的边以及Node节点与Terminal节点之间的边,以实现标签类型从标记向超像素进行扩散。
优化求解单元用于构建图割模型中目标函数,并进行优化求解,得到鸟类关键部位分割结果。
在一个实施例中,所述计算单元利用公式(1)计算两Node节点之间的边:
Figure BDA0002786844260000081
式中,[yi≠yj]表示若yi≠yj,[yi≠yj]为1,否则为0;X表示步骤1获取的超像素集合{x1,x2,…,xi,…,xN},xi表示经由图割模型node顶点生成单元超像素分割后的鸟类图像中的第i个超像素,xj表示经由图割模型node顶点生成单元超像素分割后的鸟类图像中的第j个超像素,yi为超像素xi所属标签类型所对应的值,yj为超像素xj所属标签类型所对应的值,比如:对于标签类型为背景的c5=0,若xj为背景中的超像素时,那么yj=0;Rij(yi,yj|X)表示yi与yj之间的边的取值;
Figure BDA0002786844260000082
表示超像素xi的颜色直方图;
Figure BDA0002786844260000083
表示超像素xj的颜色直方图;ht(xi)表示超像素xi的纹理直方图;ht(xj)表示超像素xj的纹理直方图。
在另一个实施例中,还可以利用灰度值表示的式(4)计算两Node节点之间的边:
Figure BDA0002786844260000084
式中,f(xi)表示超像素xi的像素值分布,f(xj)表示超像素xj的像素值分布。超像素的像素值分布的获取为现有技术,在此不再展开说明。
需要说明的是,两Node节点之间的边Rij(yi,yj|X)除了使用式(1)和(4)的计算方法外,还可以采用现有公知其它的方法实现。
在一个实施例中,所述计算单元利用公式(2)计算Node节点与Terminal节点之间的边:
Figure BDA0002786844260000091
式中,C表示步骤2得到的标签类型集合{c1,c2,…,ck,…,cK},ck表示第k种标签类型,Ri表示超像素xi对应的Node节点与其连接的Terminal节点之间边的取值,S表示超像素的标记集合:
Figure BDA0002786844260000092
sk为被标记为ck的超像素集合。
这里涵盖了三种情况:第一种是超像素xi的像素集合与某个标记的像素集合存在重叠,且超像素的标签类型yi和标记的标签类型ck相同,此时Ri(yi)=0。第二种是xi不和任何一个标记存在重叠,此时
Figure BDA0002786844260000093
第三种是xi和某个标记存在重叠,但yi≠ck,此时Ri为无穷大。
对于Ri而言,与标记存在重叠的超像素如果类别和标记不同,则取值会很大,因此在优化过程中,超像素会倾向于保留和重叠标记相同的标签类型,由此实现了标签类型从标记向超像素的扩散。
上述实施例中,还可以采用公式(5)计算Node节点与Terminal节点之间的边:
Figure BDA0002786844260000094
需要说明的是,Node节点与Terminal节点之间的边Ri除了使用式(2)和(5)的计算方法外,还可以采用现有公知其它的方法实现。
在一个实施例中,所述优化求解单元构建的图割模型中目标函数表示为式(3):
iRi(yi|X,S)+∑i,jRij(yi,yj|X) (3)
Ri是表达了超像素的标签类型和多边形标记的标签类型之间的关系,优化过程的效果是将类别信息从标记扩散到超像素。Rij表达了相邻超像素之间的关系,优化过程的效果是将类别信息从当前超像素扩散到相邻超像素。
目标函数的优化问题就是一个基于图的多标签优化问题。使用多标签图的最小割算法或置信度传播方法,求解此优化问题,得到对整个鸟类图像的所有超像素的分类标签,即实现了鸟类关键部位的提取。
目标函数的求解结果为给每一个超像素都赋予了一个标签类型,对其做可视化处理即可得到分割图。如图5a示出的是一幅“大杜鹃”的原图,而图5b示出的是利用本发明方法获得的赋予标签类型的“大杜鹃”的分割图;同样地,如图6a示出的是一幅“大鹰鹃”的原图,而图6b示出的是利用本发明方法获得的赋予标签类型的“大鹰鹃”的分割图。
最后需要指出的是:以上实施例仅用以说明本发明的技术方案,而非对其限制。本领域的普通技术人员应当理解:可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (4)

1.一种基于YCbCr超像素和图割的鸟类关键部位提取方法,其特征在于,包括:
步骤1,在YCbCr颜色空间下,对鸟类图像进行超像素分割,分割后的超像素形成图割模型的node顶点;
步骤2,对鸟类图像中的背景和鸟身体的各关键部位进行多边形标记,并制作背景和关键部位的标签类型,各标签类型形成图割模型中的Terminal节点;其中,鸟身体关键部位的类型包括头部、颈部、躯干和翅膀;
步骤3,在YCbCr颜色空间下,利用超像素的颜色直方图和纹理直方图来比较两个超像素的相似程度,利用公式(1)计算两Node节点之间的边以及利用公式(2)计算Node节点与Terminal节点之间的边,以实现标签类型从标记向超像素进行扩散;
Figure FDA0003715163400000011
式中,Rij(yi,yj|X)表示yi与yj之间的边的取值,yi为超像素xi所属标签类型所对应的值,yj为超像素xj所属标签类型所对应的值,[yi≠yj]表示若yi≠yj,[yi≠yj]为1,否则为0;X表示步骤1获取的超像素集合{x1,x2,…,xi,…,xN},xi表示超像素分割后的图像中的第i个超像素,xj表示超像素分割后的图像中的第j个超像素,
Figure FDA0003715163400000012
表示超像素xi的颜色直方图,
Figure FDA0003715163400000013
表示超像素xj的颜色直方图,ht(xi)表示超像素xi的纹理直方图,ht(xj)表示超像素xj的纹理直方图,
Figure FDA0003715163400000014
表示l2范数;
Figure FDA0003715163400000015
式中,Ri表示超像素xi对应的Node节点与其连接的Terminal节点之间边的取值,|C|表示步骤2得到的标签类型集合C={c1,c2,…,ck,…,cK}的标签类型的数量,ck表示第k种标签类型,S表示超像素的标记集合:
Figure FDA0003715163400000016
sk为被标记为ck的超像素集合;
步骤4,构建公式(3)表示的图割模型中目标函数,并进行优化求解,得到鸟类关键部位分割结果;
iRi(yi|X,S)+∑i,jRij(yi,yj|X) (3)
通过优化求解目标函数,得到对整个鸟类图像的所有超像素的分类标签,实现鸟类关键部位的提取。
2.如权利要求1所述的基于YCbCr超像素和图割的鸟类关键部位提取方法,其特征在于,步骤2具体包括:
以手工方式沿鸟类关键部位做点标记,点标记结束后完成对标记区域填充,预先约定用不同颜色代表不同的关键部位。
3.如权利要求2所述的基于YCbCr超像素和图割的鸟类关键部位提取方法,其特征在于,头部约定为红色,颈部约定为橙色,躯干约定为黄色,翅膀约定为绿色,背景约定为黑色。
4.一种基于YCbCr超像素和图割的鸟类关键部位提取装置,其特征在于,包括:
图割模型node顶点生成单元,其用于在YCbCr颜色空间下,对鸟类图像进行超像素分割,分割后的超像素形成图割模型的node顶点;
图割模型Terminal节点生成单元,其用于对鸟类图像中的背景和鸟身体的各关键部位进行多边形标记,并制作背景和关键部位的标签类型,各标签类型形成图割模型中的Terminal节点;其中,鸟身体关键部位的类型包括头部、颈部、躯干和翅膀;
计算单元,其用于在YCbCr颜色空间下,利用超像素的颜色直方图和纹理直方图来比较两个超像素的相似程度,利用公式(1)计算两Node节点之间的边以及利用公式(2)计算Node节点与Terminal节点之间的边,以实现标签类型从标记向超像素进行扩散;
Figure FDA0003715163400000021
式中,Rij(yi,yj|X)表示yi与yj之间的边的取值,yi为超像素xi所属标签类型所对应的值,yj为超像素xj所属标签类型所对应的值,[yi≠yj]表示若yi≠yj,[yi≠yj]为1,否则为0;X表示步骤1获取的超像素集合{x1,x2,…,xi,…,xN},xi表示超像素分割后的图像中的第i个超像素,xj表示超像素分割后的图像中的第j个超像素,
Figure FDA0003715163400000031
表示超像素xi的颜色直方图,
Figure FDA0003715163400000032
表示超像素xj的颜色直方图,ht(xi)表示超像素xi的纹理直方图,ht(xj)表示超像素xj的纹理直方图,
Figure FDA0003715163400000033
表示l2范数;
Figure FDA0003715163400000034
式中,Ri表示超像素xi对应的Node节点与其连接的Terminal节点之间边的取值,|C|表示步骤2得到的标签类型集合C={c1,c2,…,ck…,cK}的标签类型的数量,ck表示第k种标签类型,S表示超像素的标记集合:
Figure FDA0003715163400000035
sk为被标记为ck的超像素集合;
优化求解单元,其用于公式(3)表示的构建图割模型中目标函数,并进行优化求解,得到鸟类关键部位分割结果:
iRi(yi|X,S)+∑i,jRij(yi,yj|X) (3)
通过优化求解目标函数,得到对整个鸟类图像的所有超像素的分类标签,即实现了鸟类关键部位的提取。
CN202011300818.7A 2020-10-23 2020-11-19 基于YCbCr超像素和图割的鸟类关键部位提取方法和装置 Active CN112381830B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011147317 2020-10-23
CN202011147317X 2020-10-23

Publications (2)

Publication Number Publication Date
CN112381830A CN112381830A (zh) 2021-02-19
CN112381830B true CN112381830B (zh) 2022-08-09

Family

ID=74584572

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011300818.7A Active CN112381830B (zh) 2020-10-23 2020-11-19 基于YCbCr超像素和图割的鸟类关键部位提取方法和装置

Country Status (1)

Country Link
CN (1) CN112381830B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113657523A (zh) * 2021-08-23 2021-11-16 科大讯飞股份有限公司 一种图像目标分类方法、装置、设备及存储介质
CN117169939B (zh) * 2023-11-03 2024-02-13 中国林业科学研究院森林生态环境与自然保护研究所(国家林业和草原局世界自然遗产保护研究中心) 一种基于gps数据的东方白鹳巢址定位方法
CN117809099A (zh) * 2023-12-29 2024-04-02 百鸟数据科技(北京)有限责任公司 一种借助关键部位预测网络预测鸟类类别的方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101348904B1 (ko) * 2012-01-20 2014-01-09 한국과학기술원 고차 상관 클러스터링을 이용한 이미지 분할 방법, 이를 처리하는 시스템 및 기록매체
EP3271894B1 (en) * 2015-03-20 2019-02-13 Ventana Medical Systems, Inc. System and method for image segmentation
CN110163239B (zh) * 2019-01-25 2022-08-09 太原理工大学 一种基于超像素和条件随机场的弱监督图像语义分割方法
CN110443809A (zh) * 2019-07-12 2019-11-12 太原科技大学 带边界约束的结构敏感性彩色图像分割超像素化方法

Also Published As

Publication number Publication date
CN112381830A (zh) 2021-02-19

Similar Documents

Publication Publication Date Title
CN112381830B (zh) 基于YCbCr超像素和图割的鸟类关键部位提取方法和装置
CN108648233B (zh) 一种基于深度学习的目标识别与抓取定位方法
CN108537239B (zh) 一种图像显著性目标检测的方法
CN105069466B (zh) 基于数字图像处理的行人服饰颜色识别方法
CN108921120B (zh) 一种适应广泛零售场景下的香烟识别方法
CN106909902A (zh) 一种基于改进的层次化显著模型的遥感目标检测方法
CN110610505A (zh) 一种融合深度和色彩信息的图像分割方法
CN109948625A (zh) 文本图像清晰度评估方法及系统、计算机可读存储介质
CN107992850B (zh) 一种室外场景三维彩色点云分类方法
CN115170805A (zh) 一种结合超像素和多尺度分层特征识别的图像分割方法
CN110634131B (zh) 一种裂缝图像识别与建模方法
CN105931241B (zh) 一种自然场景图像的自动标注方法
CN107527054B (zh) 基于多视角融合的前景自动提取方法
CN114492619B (zh) 一种基于统计和凹凸性的点云数据集构建方法及装置
CN103886619A (zh) 一种融合多尺度超像素的目标跟踪方法
CN111402224A (zh) 一种用于电力设备的目标识别方法
Li et al. An improved binocular localization method for apple based on fruit detection using deep learning
CN113343976B (zh) 基于颜色-边缘融合特征生长的抗高光干扰工程测量标志提取方法
CN108090485A (zh) 基于多视角融合的图像前景自动提取方法
CN103093470A (zh) 一种具有尺度无关特性的快速多模态图像协同分割方法
CN112541491A (zh) 基于图像字符区域感知的端到端文本检测及识别方法
Wang et al. An maize leaf segmentation algorithm based on image repairing technology
Lodh et al. Flower recognition system based on color and GIST features
CN104573701B (zh) 一种玉米雄穗性状的自动检测方法
CN115035089A (zh) 适用于二维脑图像数据的脑解剖结构定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant