CN107038712B - 一种基于运动图像序列的啄木鸟关节点定位方法 - Google Patents
一种基于运动图像序列的啄木鸟关节点定位方法 Download PDFInfo
- Publication number
- CN107038712B CN107038712B CN201611150761.0A CN201611150761A CN107038712B CN 107038712 B CN107038712 B CN 107038712B CN 201611150761 A CN201611150761 A CN 201611150761A CN 107038712 B CN107038712 B CN 107038712B
- Authority
- CN
- China
- Prior art keywords
- joint
- points
- marked
- joint point
- woodpecker
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 241000287509 Piciformes Species 0.000 title claims abstract description 56
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000033001 locomotion Effects 0.000 title abstract description 21
- 238000005457 optimization Methods 0.000 claims abstract description 20
- 230000009471 action Effects 0.000 claims abstract description 14
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 210000003323 beak Anatomy 0.000 claims description 11
- 210000000988 bone and bone Anatomy 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 7
- 239000003086 colorant Substances 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims 2
- 230000004807 localization Effects 0.000 abstract description 5
- 238000011160 research Methods 0.000 description 10
- 210000000038 chest Anatomy 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 241001465754 Metazoa Species 0.000 description 5
- 239000003550 marker Substances 0.000 description 5
- 210000003739 neck Anatomy 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 210000003746 feather Anatomy 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 210000001217 buttock Anatomy 0.000 description 3
- 210000001624 hip Anatomy 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000008261 resistance mechanism Effects 0.000 description 2
- 241000271566 Aves Species 0.000 description 1
- 241000975356 Dendrocopos major Species 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- -1 electronics Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于运动图像序列的啄木鸟关节点定位方法，包括以下步骤：首先在啄木鸟关节点近似位置做标记点，采集啄木鸟啄击行为的视频图像序列；对各有效帧图像进行预处理，得到各标记关节点的位置坐标；利用优化算法，对关节点位置进行优化，设与标记关节点编号对应的假设关节点，相邻编号的两个假设关节点的间距等于所有有效帧中相邻编号的两个标记关节点的间距的平均值，建立同一帧中同编号假设关节点和标记关节点的间距求和函数作为优化目标函数，并进行最优化求解；根据所有有效帧的最优关节点的位置坐标，获取运动数据。本发明能够在啄木鸟啄击动作的图像序列中较为精确地定位啄木鸟的关节点，同时该方法具有运算简单、精度较高和易推广等特点。
Description
技术领域
本发明涉及啄木鸟关节点定位领域，特别是涉及一种基于运动图像序列的啄木鸟关节点定位方法。
背景技术
啄木鸟是一种常见的鸟类，它靠又尖又硬的喙啄开树皮并凿出树洞进行捕食或筑巢。有研究表明，啄木鸟体积虽小，但啄击最大加速度可达2000g以上，而且又能快速传递啄击所产生的非常大的冲击力，进行连续精确啄击。因此，对啄木鸟的啄木行为的研究对医学、电子学、材料学、力学和机械学科有着重要的理论研究和工程应用价值。
早期的对啄木鸟的研究主要集中在对啄木鸟头部抗冲击机制的研究，但在研究中逐步发现，啄木鸟的抗冲击机制和高频高速啄击动作的产生机制需依赖于对啄木鸟整体的运动学和动力学研究。现有的对啄木鸟整体的研究主要包括啄木鸟全身结构的应力波传播和能量流动的研究和啄木鸟啄击动作运动学和动力学研究，但由于缺乏对啄木鸟生物本源的研究，导致理论模型与实际生物结构差别较大，进而影响研究结果的准确性与应用性。所以，仍需基于啄木鸟的整体结构和运动特性对啄木鸟的运动学和动力学进行深入研究。
随着计算机技术的发展，图像处理技术逐步应用到了动物与人体的运动捕获中。图像处理方法不受动物或人体动作部位大小的限制，通过对特征点的捕获，实现对动作数据的测定，包括位置、速度、加速度、运动轨迹等。因为动物或人体的运动姿态主要由骨骼和关节构成，所以在动物或人体的运动捕捉技术的研究中，通常需要先捕获运动对象的主要关节点，目前主要采用人工标记法和无标记法。人工标记法是指人工对动物或人体的关节点进行特殊标记，在图像处理中便于识别，但此方法要求关节点标记尽可能精确，否则会导致结果不准确；无标记法指的是利用图像处理的方法进行关节点识别，此方法需精确提取运动对象的轮廓，相比人工标记法图像处理过程非常复杂，并且对研究对象有一定的局限性。
啄木鸟体积小、身体羽毛图案复杂，在啄木动作中运动行程小、身体和尾部动作较小，很难利用无标记点法在啄木动作图像序列中精确识别啄木鸟的关节点，并且误差很大。所以采用人工标记法，但是由于啄木鸟体积小、结构简单，其关节点基本均由羽毛和肌肉包覆很难找到关节点所在，并且在啄木鸟运动过程中羽毛和肌肉运动幅度较大，影响标记关节点的正确性。所以，现有的关节点定位方法达不到对啄木鸟啄击运动研究的要求。
发明内容
本发明的主要目的在于提供一种基于运动图像序列的啄木鸟关节点定位方法，能够在啄木鸟啄击动作的图像序列中较为精确地定位啄木鸟的关节点，同时该方法具有运算简单、精度较高和易推广等特点。
为了实现上述目的，本发明所采用的技术方案是：
一种基于运动图像序列的啄木鸟关节点定位方法，包括如下步骤：
步骤1：在啄木鸟关节点近似位置设置标记关节点；
步骤2：采集并筛选啄木鸟啄击动作的图像序列；
步骤3：对各帧图像进行预处理，得到标记关节点的位置坐标；
步骤4：建立假设关节点，并对假设关节点进行位置优化，得到最优关节点位置坐标。
述标记关节点为用不同颜色的圆形标记点对活体啄木鸟的喙、颈、胸、臀、尾部位进行标记。
所述对各帧图像进行预处理包括以下过程：
步骤1：根据各帧图像中标记关节点颜色的灰度值筛选出标记关节点，并将图像中除标记关节点以外的部分设置为黑色背景；
步骤2：设置喙、颈、胸、臀、尾部位标记点的灰度值范围，将图像中标记关节点的灰度值与喙、颈、胸、臀、尾部位标记点的灰度值范围进行匹配，并按照喙、颈、胸、臀、尾的顺序将标记关节点进行编号；
步骤3：对图像中的标记关节点进行腐蚀处理，得到标记关节点对应的单像素点；
步骤4：以图像左上角为原点，水平上边界为X轴，竖直左边界为Y轴建立图像的直角坐标系，得到单像素点的位置坐标，作为标记关节点的位置坐标。
建立假设关节点的过程为：
求所有帧图像上相邻编号的标记关节点间距的平均值，并将该平均值作为近似骨骼长度；
与标记关节点对应设置假设关节点，使相邻编号的假设关节点间距等于对应的近似骨骼长度。
所述对假设关节点进行位置优化过程为：
步骤1：建立同编号假设关节点和标记关节点位置间的距离求和函数，作为优化目标函数；
步骤2：当优化目标函数取最小值时，得到的假设关节点位置坐标为最优关节点位置坐标。
所述优化目标函数为：
其中，Xi为优化变量，Xi＝(xi1,yi1,xi2,yi2,xi3,yi3,xi4,yi4,xi5,yi5)；xij,yij分别为标记关节点的位置的横坐标和纵坐标，i为有效帧的编号，i＝1,2,3,···,n；j为标记关节点编号，j＝1,2,3,4,5；aij,bij分别为假设关节点的位置的横坐标和纵坐标。
本发明的有益效果及优点：
本发明能够在啄木鸟啄击动作的图像序列中较为精确地定位啄木鸟的关节点，同时该方法具有运算简单、精度较高和易推广等特点。
附图说明
图1是本发明的方法流程图；
图2是本发明啄木鸟的标记关节点位置示意图；其中1为喙、2为颈、3为胸、4为臀、5为尾；
图3是本发明假设关节点与标记关节点对应示意图。
具体实施方式
下面结合实施例及其附图进一步叙述本发明：
包括以下步骤：首先在啄木鸟关节点近似位置做标记点，采集啄木鸟啄击行为的视频图像序列；对各有效帧图像进行预处理，得到各标记关节点的位置坐标；利用优化算法，对关节点位置进行优化，设与标记关节点编号对应的假设关节点，建立同一帧中同编号假设关节点和标记关节点的间距求和函数作为优化目标函数，并进行最优化求解。将所有有效帧的最优关节点的位置坐标表示在同一坐标系中，获取运动数据。
首先在啄木鸟身体上标记近似关节点，并进行运动数据采集。经过对啄木鸟的观察和对骨骼结构的研究，初步确定啄木鸟啄取动作中的五个关键关节点，分别为：喙、颈、胸、臀、尾。分别用不同颜色的圆形标记点对活体啄木鸟的上述五个关键关节点进行标记，为了便于在图像处理中识别标记点，五种颜色应尽量避开啄木鸟羽毛颜色和背景颜色，所以五个标记点对应的颜色依次是：绿色、黄色、蓝色、紫色、橙色。然后布置好高速摄像机录制啄木鸟啄木的视频，录制好后筛选出包含一次完整啄击动作有效帧，以此作为研究样本。
然后对有效帧的图像进行预处理，并建立坐标系获得标记关节点坐标。在数字图像的处理中，是将图像用一个数组或矩阵表示，每一个元素即为对应像素点的灰度值。在本发明中，利用图片中颜色的灰度值，筛选出五个标记关节点，其余均为黑色背景。然后根据颜色不同进行编号。由于标记点较大，且在运动过程中形状发生改变不是圆形，所以对图像进行腐蚀处理，使标记关节点尽可能缩小至单像素。最后以图像左下角为原点建立坐标系，得到各标记关节点的位置坐标。
最后设置与标记关节点对应的假设标记点，通过优化算法对关节点位置进行优化。因为人工标记的关节点存在误差，导致两相邻关节点的间距在运动图像中发生改变，然而在实际中两关节间应为骨骼，在运动过程中骨骼的长度是不发生变化的，所以通过计算机计算所有有效帧中相邻编号标记关节点的间距的平均值，作为近似骨骼长度。在图像范围内假设与标记关节点一一对应的假设关节点位置坐标，用上述的近似骨骼长度约束相邻编号假设关节点的间距，建立同编号假设关节点和标记关节点间距求和函数作为优化目标函数，最终求取假设关节点位置坐标的最优解，定义其为最优关节点。
如图1是本发明的方法流程图。
一种基于运动图像序列的啄木鸟关节点定位方法包括如下步骤：
S1：在啄木鸟关节点近似位置做标记点：
如图2所示为啄木鸟的标记关节点位置示意图，在啄木鸟啄取动作的主要关节处做近似标记点，标记点均为直径6mm的圆形标记点，因为大斑啄木鸟羽毛颜色主要是黑、白、红，所以用绿色标记点标记喙，黄色标记点标记颈，蓝色标记点标记胸，紫色标记点标记臀，橙色标记点标记尾。标记点标记好后使用高速摄像机对啄木鸟啄木行为进行录制，录制后对视频进行剪辑，保留啄木鸟完整一次啄击动作的视频片段，并进行解帧处理，将有效帧由1至n重新按顺序编号，n为有效帧总数。
S2：对各有效帧图像进行预处理，得到各标记关节点的位置坐标。
因为各关节点颜色与背景不同，所以可依据标记点的灰度值进行筛选，仅保留五个标志点的灰度值不变，其余均变为黑色。然后根据五个标志点的灰度值，判断关节点颜色，对其进行编号：绿色为1，黄色为2，蓝色为3，紫色为4，橙色为5。对图像进行腐蚀处理，将标记关节点缩小为单像素点。以图像左上角为坐标原点建立坐标系，得到各记关节点的位置坐标，记为Aij(aij,bij)，其中i为有效帧的编号，i＝1,2,3,···,n；j为标记关节点编号，j＝1,2,3,4,5。
S3：利用优化算法，对关节点位置进行优化。
设两个相邻编号标志关节点间距为lij＝[(aij+1-aij)2+(bij+1-bij)2]0.5，进而得到在有效帧中两个相邻编号的标志关节点平均间距
所以求得关节1和关节2的间距为l1，关节2和关节3间距为l2，关节3和关节4间距为l3，关节4和关节5间距为l4。
S4：设与标记关节点编号对应的假设关节点。
如图3所示为本发明假设关节点与标记关节点对应示意图；
设与标记关节点编号对应的假设关节点位置坐标为Bij(xij,yij),约束同一帧中两个相邻编号的假设关节点间距为标志关节点平均间距，即Lij＝[(xij+1-xij)2+(yij+1-yij)2]0.5＝lj。
S5：建立同一帧中同编号假设关节点和标记关节点的间距求和函数作为优化目标函数，并进行最优化求解。
建立优化目标函数为
Xi＝(xi1,yi1,xi2,yi2,xi3,yi3,xi4,yi4,xi5,yi5)，求MinD(Xi)。等价于求解
最终求得每一张有效帧上的最优关节点的位置坐标。
S6：根据所有帧中的最优关节点的位置坐标，采集运动数据。
因为所有有效帧的坐标系原点和方向相同，所以将各帧最优关节点的位置坐标在同一坐标系中表示。可以得到啄木鸟啄击时整体的运动状态和各个关节的运动数据。可将最优关节点按编号进行分类筛选，拟合关节点的运动曲线，并且根据各个关节的运动数据可对关节点的位移、速度、加速度进行计算。
以上所述实施例仅表达了本发明的一种实施方式，其描述较为具体和详细，但并不能因此而理解为本发明专利范围的限制。上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨的情况下，还可以做出若干变形和改进，这些均属于本发明的保护范围内。
Claims (2)
1.一种基于运动图像序列的啄木鸟关节点定位方法，其特征在于，包括如下步骤：
步骤1：在啄木鸟关节点近似位置设置标记关节点；
步骤2：采集并筛选啄木鸟啄击动作的图像序列；
步骤3：对各帧图像进行预处理，得到标记关节点的位置坐标；
步骤4：建立假设关节点，并对假设关节点进行位置优化，得到最优关节点位置坐标；
所述建立假设关节点的过程为：
求所有帧图像上相邻编号的标记关节点间距的平均值，并将该平均值作为近似骨骼长度；
与标记关节点对应设置假设关节点，使相邻编号的假设关节点间距等于对应的近似骨骼长度；
所述对假设关节点进行位置优化过程为：
步骤1：建立同编号假设关节点和标记关节点位置间的距离求和函数，作为优化目标函数；
步骤2：当优化目标函数取最小值时，得到的假设关节点位置坐标为最优关节点位置坐标；
标记关节点为用不同颜色的圆形标记点对活体啄木鸟的喙、颈、胸、臀、尾部位进行标记；对各帧图像进行预处理包括以下过程：
步骤1：根据各帧图像中标记关节点颜色的灰度值筛选出标记关节点，并将图像中除标记关节点以外的部分设置为黑色背景；
步骤2：设置喙、颈、胸、臀、尾部位标记点的灰度值范围，将图像中标记关节点的灰度值与喙、颈、胸、臀、尾部位标记点的灰度值范围进行匹配，并按照喙、颈、胸、臀、尾的顺序将标记关节点进行编号；
步骤3：对图像中的标记关节点进行腐蚀处理，得到标记关节点对应的单像素点；
步骤4：以图像左上角为原点，水平上边界为X轴，竖直左边界为Y轴建立图像的直角坐标系，得到单像素点的位置坐标，作为标记关节点的位置坐标。
2.根据权利要求1所述的基于运动图像序列的啄木鸟关节点定位方法，其特征在于，所述优化目标函数为：
其中，Xi为优化变量，Xi＝(xi1,yi1,xi2,yi2,xi3,yi3,xi4,yi4,xi5,yi5)；xij,yij分别为标记关节点的位置的横坐标和纵坐标，i为有效帧的编号，i＝1,2,3,…,n；j为标记关节点编号，j＝1,2,3,4,5；aij,bij分别为假设关节点的位置的横坐标和纵坐标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611150761.0A CN107038712B (zh) | 2016-12-14 | 2016-12-14 | 一种基于运动图像序列的啄木鸟关节点定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611150761.0A CN107038712B (zh) | 2016-12-14 | 2016-12-14 | 一种基于运动图像序列的啄木鸟关节点定位方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107038712A CN107038712A (zh) | 2017-08-11 |
| CN107038712B true CN107038712B (zh) | 2020-09-08 |
Family
ID=59530434
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611150761.0A Active CN107038712B (zh) | 2016-12-14 | 2016-12-14 | 一种基于运动图像序列的啄木鸟关节点定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107038712B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109635779B (zh) * | 2018-12-26 | 2022-09-13 | 中国科学院沈阳自动化研究所 | 一种基于体段模型的鸟类啄击运动研究方法 |
| CN116894894B (zh) * | 2023-06-19 | 2024-08-27 | 北京百度网讯科技有限公司 | 虚拟形象的动作确定方法、装置、设备和存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101241600A (zh) * | 2008-02-19 | 2008-08-13 | 深圳先进技术研究院 | 一种运动捕捉技术中的链状骨骼匹配方法 |
| CN102184541A (zh) * | 2011-05-04 | 2011-09-14 | 西安电子科技大学 | 多目标优化人体运动跟踪方法 |
| CN102622766A (zh) * | 2012-03-01 | 2012-08-01 | 西安电子科技大学 | 多目标优化的多镜头人体运动跟踪方法 |
| CN103198492A (zh) * | 2013-03-28 | 2013-07-10 | 沈阳航空航天大学 | 一种人体运动捕获方法 |
-
2016
- 2016-12-14 CN CN201611150761.0A patent/CN107038712B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101241600A (zh) * | 2008-02-19 | 2008-08-13 | 深圳先进技术研究院 | 一种运动捕捉技术中的链状骨骼匹配方法 |
| CN102184541A (zh) * | 2011-05-04 | 2011-09-14 | 西安电子科技大学 | 多目标优化人体运动跟踪方法 |
| CN102622766A (zh) * | 2012-03-01 | 2012-08-01 | 西安电子科技大学 | 多目标优化的多镜头人体运动跟踪方法 |
| CN103198492A (zh) * | 2013-03-28 | 2013-07-10 | 沈阳航空航天大学 | 一种人体运动捕获方法 |
Non-Patent Citations (1)
| Title |
|---|
| 《有标记点的人体三维运动数据获取方法的研究》;赵宇;《中国优秀硕士学位论文全文数据库 信息科技辑》;20120715(第7期);第20页第3.1小节，第34页第3.5.2小节 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107038712A (zh) | 2017-08-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110298291B (zh) | 基于Mask-RCNN的牛脸及牛脸关键点检测方法 | |
| US20230281265A1 (en) | Method for estimating body size and weight of pig based on deep learning | |
| Wu et al. | Real-time object pose estimation with pose interpreter networks | |
| CN113537175B (zh) | 一种基于计算机视觉的同栏猪群平均体重估算方法 | |
| Li et al. | Developing a low-cost 3D plant morphological traits characterization system | |
| CN114332956B (zh) | 一种基于卷积神经网络的牛脸检测和牛脸关键点定位方法 | |
| CN103413145B (zh) | 基于深度图像的关节点定位方法 | |
| CN107844797A (zh) | 一种基于深度图像的哺乳母猪姿态自动识别的方法 | |
| CN110084304A (zh) | 一种基于合成数据集的目标检测方法 | |
| CN109508741A (zh) | 基于深度学习筛选训练集的方法 | |
| CN112883915B (zh) | 一种基于迁移学习的麦穗自动识别方法和系统 | |
| CN109886965A (zh) | 一种水平集和深度学习相结合的视网膜层分割方法及系统 | |
| CN109785359B (zh) | 一种基于深度特征金字塔与跟踪损失的视频目标检测方法 | |
| CN107038712B (zh) | 一种基于运动图像序列的啄木鸟关节点定位方法 | |
| CN112418171A (zh) | 一种基于深度学习的斑马鱼空间姿态与心脏位置估计方法 | |
| CN111833439A (zh) | 基于人工智能的弹药投掷分析及移动仿真训练方法 | |
| CN114708519B (zh) | 一种基于无人机遥感的麋鹿识别与形态轮廓参数提取方法 | |
| CN109271868A (zh) | 基于密集连接卷积网络超球体嵌入的目标重识别方法 | |
| CN115049842B (zh) | 一种飞机蒙皮图像损伤检测与2d-3d定位方法 | |
| CN112417378A (zh) | 一种基于无人机图像处理的中华绒螯蟹质量估算方法 | |
| CN114240866B (zh) | 基于二维图像与三维生长信息的组培苗分级方法及装置 | |
| CN115713786A (zh) | 一种猪只重识别方法及系统 | |
| CN115761218A (zh) | 一种基于因果注意力的轻量化宫颈癌图像细胞检测系统 | |
| CN107330472A (zh) | 一种无标记模式动物个体的自动识别方法 | |
| CN113793385A (zh) | 鱼头鱼尾定位方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |