CN112183159A - 利用关键点构建非人类目标在图像中的骨架模型 - Google Patents

利用关键点构建非人类目标在图像中的骨架模型 Download PDF

Info

Publication number
CN112183159A
CN112183159A CN201910595170.1A CN201910595170A CN112183159A CN 112183159 A CN112183159 A CN 112183159A CN 201910595170 A CN201910595170 A CN 201910595170A CN 112183159 A CN112183159 A CN 112183159A
Authority
CN
China
Prior art keywords
key points
human target
points
principle
key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910595170.1A
Other languages
English (en)
Inventor
李炜
付道勇
韩松臣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN201910595170.1A priority Critical patent/CN112183159A/zh
Publication of CN112183159A publication Critical patent/CN112183159A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Aerodynamic Tests, Hydrodynamic Tests, Wind Tunnels, And Water Tanks (AREA)

Abstract

本发明公开一种利用关键点构建非人类目标在图像中的骨架模型的方法，该方法主要用于在二维图像中构建基于关键点的非人类目标的骨架模型。步骤包括：制定选取原则和精炼原则；按照选取原则，选取非人类目标的角点；按照精炼原则，对候选关键点进行筛选；利用关键点，建立关键点之间特定连接准则；按照特定的连接准则将关键点进行连接，最后得到非人类目标在二维图像中的骨架模型。本方法能用于描述非人类目标在二维图像中的位置、动作以及所占空间大小等信息。

Description

利用关键点构建非人类目标在图像中的骨架模型
技术领域
本发明属于图像处理和计算结视觉领域，涉及非人类目标的骨架模型的构建。
背景技术
随着计算机视觉的快速发展，视频监控技术广泛用于公共安防。视频监控的主要目的就是对视频中的目标进行监控以及行为判断。现阶段的视频监控技术主要是对人、车、动物以及其它兴趣目标进行自主分类和跟踪，再通过监控人员对跟踪目标的行为进行人工分析。因此现阶段的视频监控技术仅仅接替了监控人员在目标分类跟踪方面的工作，没有减少行为分析的任务。而实现自主分类跟踪，自主行为分析，自主决策是未来视频监控技术智能化的发展方向。所以利用图像处理技术对图像中的目标进行行为分析就显得十分重要。目标的行为分析的一种方法是利用关键点构建目标骨架模型，确定目标在各个时刻的动作或者位置，进而分析目标的行为以及运动趋势。这种方法通常应用于人体的姿态估计。利用关键点建立人体骨架模型，确定人每个时刻在图像中的动作。针对于非人类目标，如：车辆、飞机和动物也可以利用关键点建立目标的骨架模型来判断它们的行为。如：通过关键点建立飞机的骨架模型来判断滑行或者停靠状态下的飞机的姿态朝向和位置，协助塔台管理员监控机场上的飞机。从中可以看出利用关键点对非人类目标的行为进行判断的前提是建立非人类目标的骨架模型。针对现阶段非人类目标在图像中的骨架模型建立方法的缺失，本发明提出了一种利用关键点构建非人类目标在图像中的骨架模型的通用方法。
发明内容
本发明的目的是针对现阶段非人类目标在图像中的骨架模型建立方法的缺失，提出了一种利用关键点构建非人类目标在图像中的骨架模型的方法。
本发明提出了利用关键点构建非人类目标的骨架模型，包括以下步骤。
(1) 提取非人类目标的关键点。
1a) 制定关键点选取原则和精炼原则。
1a1) 选取原则是：选取非人类目标的角点，如：端点、连接点和拐点等作为候选关键点。
1a2) 精炼原则是：应选取人眼敏感的候选关键点，并易于确定关键点在非人类目标身上的位置。同时，非人类目标的某一小块区域内不能集中存在大量的关键点。
1b) 按照关键点选取准则，选取大量候选关键点。
1c) 按照关键点精炼准则，对候选关键点进行筛选，从而获得非人类目标的关键点。
1c1) 根据第一条精炼原则，应选取人眼敏感的候选关键点，并易于确定关键点在非人类目标身上的位置。
1c2) 根据第二条精炼原则，非人类目标的某一小块区域内不能集中大量的关键点，删除该类关键点。
(2) 根据关键点的分布情况和非人类目标的结构构成，确定关键点连接准则：关键点之间的连接必须在非人类目标身上，且每个关键点至少被连接一次。
(3) 按照连接准则将关键点进行连接，得到非人类目标在二维图像中的骨架模型。
附图说明
图1为发明总流程。
图2为根据选取原则选取的关键点。
图3为根据精炼原则第一条筛选的关键点。
图4为根据精炼原则第二条筛选的关键点。
图5为非人类目标的模型。
具体实施方式
为了更好的理解本发明的技术方案，以飞机为例，结合附图对本发明的具体实施方式作进一步详细的描述。
步骤1.提取飞机机体上的关键点。
1a) 对飞机机体上关键点选取制定了两个原则，分别是选取原则和精炼原则。
1a1) 选取原则是：选取飞机机体上的角点，如：端点、连接点和拐点等作为候选关键点。
1a2) 精炼原则是：选取人眼敏感的候选关键点，并易于确定关键点在飞机机体上的位置，以此同时，飞机机体上某一小块区域内不能集中存在大量的关键点。
1b) 按照关键点选取原则，选取飞机机体上的候选关键点，包括：机头端点、右机翼尖端点、左机翼尖端点、机身与两机翼连接点、水平右尾翼尖端点、水平左尾翼尖端点、机身与两水平尾翼连接点、机尾端点和垂直尾翼尖端点，如图2所示。
1c) 按照精炼原则，对飞机机体候选关键点进行筛选。
根据第一条精炼原则，应选取人眼敏感的候选关键点，并易于确定关键点在飞机机体上的位置。
由于飞机机身整体没有特别明显的形状与颜色差异性，不易确定机身与两机翼的连接点在机身上的位置，因此，需要在机身与左右两个机翼的连接处的中间分别选取一个连接点来帮助确定该点在机身的位置，如图3所示。
根据第二条精炼原则，某一小块区域内不能集中大量的关键点。
水平右尾翼尖端点、水平左尾翼尖端点、机身与两水平尾翼连接点、机尾端点和垂直尾翼尖端点这五个关键点都集中在飞机的尾部，因此删除垂直尾翼尖端点，机尾端点。
经过精炼原则对候选关键点进行精炼，选取飞机机体关键点包括：机头端点、机身与两机翼连接点、右机翼尖端点、机身与右机翼连接点、左机翼尖端点、左机翼与机身连接点、水平右尾翼尖端点、水平左尾翼尖端点、机身与两水平尾翼连接点等九个关键点，如图4所示。
步骤2. 根据关键点的分布情况和飞机机体结构构成，确定关键点连接准则。
飞机机体关键点主要为端点和连接点，飞机机体结构为对称型，因此制定关键点连接准则为：关键点之间的连接必须在飞机机体上，并且所有的关键点至少被连接一次。
最终确立了连接准则：
Figure 343945DEST_PATH_IMAGE001
，其中N表示关键点的个数，
Figure 464347DEST_PATH_IMAGE002
和
Figure 319784DEST_PATH_IMAGE003
分别表示两个关键点，并且
Figure 918255DEST_PATH_IMAGE004
。
当
Figure 670310DEST_PATH_IMAGE005
时，表示
Figure 696035DEST_PATH_IMAGE002
和
Figure 900752DEST_PATH_IMAGE003
这两个关键点能连接，并且方向是由
Figure 37335DEST_PATH_IMAGE002
指向
Figure 909476DEST_PATH_IMAGE003
，当
Figure 996117DEST_PATH_IMAGE006
时，表示
Figure 953708DEST_PATH_IMAGE002
和
Figure 893983DEST_PATH_IMAGE003
不能连接，或者方向是由
Figure 355051DEST_PATH_IMAGE003
指向
Figure 988158DEST_PATH_IMAGE002
。
步骤3.按照连接准则将关键点进行连接，得到飞机机体在二维图像中的骨架模型，如图5所示。

Claims (1)

1.利用关键点构建非人类目标在图像中的骨架模型，其特征在于，具体步骤如下：
(1) 提取非人类目标的关键点：
1a) 制定关键点选取原则和精炼原则；
1a1) 选取原则是：选取非人类目标的角点，如：端点、连接点和拐点等作为候选关键点；
1a2) 精炼原则是：应选取人眼敏感的候选关键点，并易于确定关键点在非人类目标身上的位置；同时，非人类目标的某一小块区域内不能集中存在大量的关键点；
1b) 按照关键点选取准则，选取大量候选关键点；
1c) 按照关键点精炼准则，对候选关键点进行筛选，从而获得非人类目标的关键点；
1c1) 根据第一条精炼原则，应选取人眼敏感的候选关键点，并易于确定关键点在非人类目标身上的位置；
1c2) 根据第二条精炼原则，非人类目标的某一小块区域内不能集中大量的关键点，删除该类关键点；
(2) 根据关键点的分布情况和非人类目标的结构构成，确定关键点连接准则：关键点之间的连接必须在非人类目标身上，且每个关键点至少被连接一次；
(3) 按照连接准则将关键点进行连接，得到非人类目标在二维图像中的骨架模型。
CN201910595170.1A 2019-07-03 2019-07-03 利用关键点构建非人类目标在图像中的骨架模型 Pending CN112183159A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910595170.1A CN112183159A (zh) 2019-07-03 2019-07-03 利用关键点构建非人类目标在图像中的骨架模型

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910595170.1A CN112183159A (zh) 2019-07-03 2019-07-03 利用关键点构建非人类目标在图像中的骨架模型

Publications (1)

Publication Number Publication Date
CN112183159A true CN112183159A (zh) 2021-01-05

Family

ID=73915528

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910595170.1A Pending CN112183159A (zh) 2019-07-03 2019-07-03 利用关键点构建非人类目标在图像中的骨架模型

Country Status (1)

Country Link
CN (1) CN112183159A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1916801A (zh) * 2005-10-28 2007-02-21 南京航空航天大学 无人机自主着陆的合作目标识别方法
CN101751698A (zh) * 2010-01-22 2010-06-23 清华大学 一种三维模型的骨架提取方法及装置
CN103942552A (zh) * 2014-02-11 2014-07-23 北京大学 一种基于骨架指导的文字图像矢量化方法及系统
CN106780458A (zh) * 2016-12-09 2017-05-31 重庆邮电大学 一种点云骨架提取方法及装置
US20180047175A1 (en) * 2016-08-12 2018-02-15 Nanjing Huajie Imi Technology Co., Ltd Method for implementing human skeleton tracking system based on depth data
CN108446707A (zh) * 2018-03-06 2018-08-24 北方工业大学 基于关键点筛选及dpm确认的遥感图像飞机检测方法
CN109064471A (zh) * 2018-07-18 2018-12-21 中北大学 一种基于骨架的三维点云模型分割方法
CN109887072A (zh) * 2019-01-16 2019-06-14 中德（珠海）人工智能研究院有限公司 一种三维模型的提取系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1916801A (zh) * 2005-10-28 2007-02-21 南京航空航天大学 无人机自主着陆的合作目标识别方法
CN101751698A (zh) * 2010-01-22 2010-06-23 清华大学 一种三维模型的骨架提取方法及装置
CN103942552A (zh) * 2014-02-11 2014-07-23 北京大学 一种基于骨架指导的文字图像矢量化方法及系统
US20180047175A1 (en) * 2016-08-12 2018-02-15 Nanjing Huajie Imi Technology Co., Ltd Method for implementing human skeleton tracking system based on depth data
CN106780458A (zh) * 2016-12-09 2017-05-31 重庆邮电大学 一种点云骨架提取方法及装置
CN108446707A (zh) * 2018-03-06 2018-08-24 北方工业大学 基于关键点筛选及dpm确认的遥感图像飞机检测方法
CN109064471A (zh) * 2018-07-18 2018-12-21 中北大学 一种基于骨架的三维点云模型分割方法
CN109887072A (zh) * 2019-01-16 2019-06-14 中德（珠海）人工智能研究院有限公司 一种三维模型的提取系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
侯显玲: "基于点云模型的低质汉字骨架提取算法", 《哈尔滨商业大学学报（自然科学版）》 *

Similar Documents

Publication Publication Date Title
Hui et al. Vision-based autonomous navigation approach for unmanned aerial vehicle transmission-line inspection
Xu et al. Power line-guided automatic electric transmission line inspection system
Lee et al. Real-time, cloud-based object detection for unmanned aerial vehicles
Yang et al. Concrete defects inspection and 3D mapping using CityFlyer quadrotor robot
CN106570820B (zh) 一种基于四旋翼无人机的单目视觉三维特征提取方法
Patruno et al. A vision-based approach for unmanned aerial vehicle landing
CN108759826B (zh) 一种基于手机和无人机多传感参数融合的无人机运动跟踪方法
CN111598164B (zh) 识别目标对象的属性的方法、装置、电子设备和存储介质
Yang et al. Real-time 3D scene layout from a single image using convolutional neural networks
Hwangbo et al. Visual-inertial UAV attitude estimation using urban scene regularities
Wang et al. 3D pose estimation for fine-grained object categories
CN109341703A (zh) 一种全周期采用CNNs特征检测的视觉SLAM算法
Jiang et al. Vision-guided unmanned aerial system for rapid multiple-type damage detection and localization
CN112037252A (zh) 基于鹰眼视觉的目标跟踪方法及系统
Shah et al. Design and develop an autonomous UAV airship for indoor surveillance and monitoring applications
Yuan et al. Thermal infrared target tracking: A comprehensive review
Liu et al. A new approach for the estimation of non-cooperative satellites based on circular feature extraction
Islam et al. Elevator button and floor number recognition through hybrid image classification approach for navigation of service robot in buildings
Xu et al. A vision-only relative distance calculation method for multi-UAV systems
Zheng et al. Dual LIDAR online calibration and mapping and perception system
CN112183159A (zh) 利用关键点构建非人类目标在图像中的骨架模型
CN117115414A (zh) 基于深度学习的无gps无人机定位方法及装置
Fu et al. The aircraft pose estimation based on a convolutional neural network
Delleji et al. An Improved YOLOv5 for Real-time Mini-UAV Detection in No Fly Zones.
Xin et al. A monocular visual measurement system for UAV probe-and-drogue autonomous aerial refueling

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210105