CN110207603B - 极薄翅翼多方位动态变形测量方法 - Google Patents

极薄翅翼多方位动态变形测量方法 Download PDF

Info

Publication number
CN110207603B
CN110207603B CN201910327418.6A CN201910327418A CN110207603B CN 110207603 B CN110207603 B CN 110207603B CN 201910327418 A CN201910327418 A CN 201910327418A CN 110207603 B CN110207603 B CN 110207603B
Authority
CN
China
Prior art keywords
wing
point set
dragonfly
digital image
deformation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910327418.6A
Other languages
English (en)
Other versions
CN110207603A (zh
Inventor
陈振宁
孙伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN201910327418.6A priority Critical patent/CN110207603B/zh
Publication of CN110207603A publication Critical patent/CN110207603A/zh
Application granted granted Critical
Publication of CN110207603B publication Critical patent/CN110207603B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/16—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种极薄翅翼多方位动态变形测量方法，采用无附加散斑的多相机数字图像相关方法，测量极薄翅翼的动态构形，对系留飞行蜻蜓翅膀的动力学规律进行实验研究。本发明通过利用极薄翅翼本身纵横交错的翅脉及丰富的皱褶结构作为数字图像相关匹配的特征，解决了在极薄翅翼上附加制作散斑、特征点等造成翅翼质量和飞行行为改变的问题；通过搭建三组高分辨率工业相机及红光光源构成的非接触、多方位动态三维变形全场测量系统，解决了由于翅膀拍动幅度较大导致单组数字图像相关系统无法实现全局观测的问题，从而保证了蜻蜓极薄翅翼多方位动态变形测量结果的可靠性。

Description

极薄翅翼多方位动态变形测量方法
技术领域
本发明属于光测力学和仿生微型飞行器技术领域，具体涉及一种适用于蜻蜓活体极薄翅翼变形测量的无附加散斑多相机数字图像相关方法。
背景技术
数字图像相关方法(Digital Image Correlation,DIC)是一种新型的非接触式光学测量方法，现被应用于多个学科领域。其以附着在被测物体表面随机分布的散斑为载体，通过追踪散斑、分析其变形前后的概率相关性，来确定物体的运动和变形信息。通常情况下，需要在被测物体表面制作人工散斑，使其具有丰富的散斑特征。但是，蜻蜓翅膀极薄，厚度大约在1.58-4.08μm。在类似蜻蜓翅膀这种极薄的生物薄膜测量上，传统的制作人工散斑作为变形信息载体这一方法是很难被接受的，因为附加的散斑质量可能极大的影响结构本身的力学性能。另外，蜻蜓飞行时前后四只翅翼的拍动幅度较大，任意一组三维数字图像相关测量系统都难以实时监测其完整的飞行周期。
因此，有必要提供一种测量方法，其能够从多个不同方位同时观测翅翼的运动和变形。
发明内容
针对于上述现有技术的不足，本发明的目的在于提供一种极薄翅翼多方位动态变形测量方法，以解决现有技术中极薄翅翼多方位、大幅度动态变形监测的问题。本发明的方法实现了对系留飞行蜻蜓前后翅翼真实运动和变形的实时跟踪。
为达到上述目的，本发明采用的技术方案如下：
本发明的一种极薄翅翼多方位动态变形测量方法，包括步骤如下：
1)搭建非接触、多方位的红光照明多相机测量装置；
蜻蜓飞行中的翅膀拍动幅度较大，单一方位观测难以实现其整个拍动周期的全表面测量，必须在蜻蜓的多个方位架设多组三维数字图像相关测量装置。
其中，本发明中的非接触、多方位的红光照明多相机测量装置包括：三组亚高速相机及镜头，所述镜头前装有红光滤光膜，每组亚高速相机均设有为其照明的红光光源；其中，三组亚高速相机分别从飞行试验箱的三个相邻面照射其内的系留飞行的蜻蜓，保证蜻蜓翅膀的任意拍动幅度皆能被至少一组相机完整捕捉。
2)采用无附加散斑数字图像相关方法追踪蜻蜓翅翼的翅脉及皱褶结构，实现翅翼的三维动态变形测量。
进一步地，所述步骤2)具体包括：
21)对翅膀图像上各翅脉进行边缘检测，采用多边形估计获得参考图像和目标图像的各特征点集合M和N；
22)利用概率密度估计的方法对非刚性变换的各特征点集合M和N进行配准，给出各特征点的位移向量；
23)将形状上下文方法提取的点集局部空间结构信息作为点集配准的先验条件，从而提高算法的配准性能。
本发明利用翅脉的自身特征，研究形状上下文点集配准技术，实现蜻蜓翅膀无附加散斑的高精度数字图像相关测量。需要说明的是，蜻蜓翅膜本身是透明的、无特征，因此本发明中的点集配准并未包含翅膜本身，而是利用皱褶翅脉上密集的特征点来近似表征翅膀的全表面；基于形状上下文点集配准技术的无附加散斑数字图像相关方法。
本发明的有益效果：
1、本发明采用三组三维数字图像相关测量装置，分别从三个相邻面实时监测翅翼的变形。蜻蜓飞行时各只翅膀会出现平展、翻转、上扑、下扑等姿势，任一组三维数字图像相关测量装置都不能很好的监测一个完整的拍动周期，本发明布置的三组三维数字图像相关测量装置很好的解决了监测不完整的问题，使得任意飞行时刻任意翅翼都能被至少一组三维数字图像相关测量装置观测到。
2、本发明采用蜻蜓翅翼纵横交错的翅脉作为相关匹配的基础，未在翅翼表面制作任何的散斑或标记点，因此没有任何影响蜻蜓真实飞行行为的附加质量，从而能够观测到翅翼结构本身真实的变形信息和飞行规律。
3、本发明采用的无附加散斑数字图像相关测量方法，不仅对蜻蜓极薄翅翼的非接触、全表面运动和变形测量有益，对其它昆虫极薄翅翼的类似测量也有帮助。另外，针对一些柔性电子等极薄材料的变形监测也有借鉴意义。
附图说明
图1为本发明中多相机测量装置的示意图。
图2为无附加散斑数字图像相关测量方法流程图。
具体实施方式
为了便于本领域技术人员的理解，下面结合实施例与附图对本发明作进一步的说明，实施方式提及的内容并非对本发明的限定。
(1)图1为本发明的多相机测量装置图，主要由相机、镜头和红光光源组成：
蜻蜓飞行时各只翅膀会出现平展、翻转、上扑、下扑等姿势，任一组三维数字图像相关测量装置都不能很好的监测一个完整的拍动周期，必须在蜻蜓的多个方位架设多组三维数字图像相关测量装置。因此，本发明搭建非接触、多方位的红光照明多相机测量装置，由三组三维数字图像相关测量系统分别从飞行试验箱的三个相邻面观测蜻蜓的四只翅翼，保证系留飞行中翅膀的任一种飞行姿势至少能在一组相机中被观测到。普通的可见光照明会刺激和影响蜻蜓的正常飞行，红光波长则超过了蜻蜓的可见光波长，从而能够避免照明对飞行和测量的负面影响。因此，多相机测量装置的照明采用红光照明。本发明拟在亚高速相机镜头前加上红色带通滤光片(633nm)，结合红光照明，以实现高质量的图像采集。
进一步的，图1中的101、102、103分别为本发明中的三组独立的三维数字图像相关测量系统，分别从飞行试验箱104的三个相邻面观测被测蜻蜓105，且三维数字图像相关测量系统不限制为图示的双相机系统；图1中的106-111为红光光源，其中106、107照明位置与系统103观测位置相同、且系统103与对应光源106、107放置在104的同一侧箱面，108、109照明位置与系统101观测位置相同、且系统101与对应光源108、109放置在104的同一侧箱面，110、111照明位置与系统102观测位置相同、且系统102与对应光源110、111放置在104的同一侧箱面。
(2)图2为本发明的无附加散斑数字图像相关测量方法流程图，主要包括边缘检测、特征点提取、基于形状上下文的参考图与目标图点集配准、全表面位移计算等步骤：
蜻蜓等昆虫的翅膀上具有显著的特征，皱褶起伏的翅脉纵横交错，将翅膜划分成类似三角形、四边形、五边形等多边形结构，呈网络状分布。本发明利用图像处理中的形状上下文点集配准技术对变形前后的参考图与目标图点集进行配准。首先对翅膀图像上各个翅脉进行边缘检测，利用多边形估计获得参考图像和目标图像的各个特征点集合M和N，接着利用概率密度估计的方法对非刚性变换的各个特征点集合M和N进行配准。配准时为了更好的利用点集中各点的空间结构信息，将形状上下文(Shape Context，SC)方法提取的点集局部空间结构信息作为点集配准的先验条件，从而提高算法的配准性能。具体的，将点集配准视为概率密度估计问题并采用混合模型求解已经成为点集配准问题的标准算法，在翅膀形变程度很极端时亦能给出较好的匹配结果。定义参考点集M和目标点集N的矩阵表达式为X＝[x1,x2,...,xm]T和Y＝[y1,y2,...,yn]T，其中xi和yj为2维列向量；X到Y的空间变换为一般函数f:R2→R2。X经过f映射后的变换点集U和目标点集Y之间的形状上下文相似性矩阵T，ti,j∈[0,1]且
Figure BDA0002036652120000031
将Y各点是否能从混合模型中观测到记作二值变量Z。后验概率密度的似然函数记作lp＝-ln(p(Z,Y))，目标点集Y的负对数似然条件期望为：
Figure BDA0002036652120000041
式中：
Figure BDA0002036652120000042
Figure BDA0002036652120000043
上式，p(yj|i)为观测点yj的条件概率，P(i)是关于形状上下文相似性ti,j和离群点权重ω的函数。由于p(zi,j|yj)未知，拟采用高效而标准的参数估计期望最大化算法(Expectation maximization,EM)求解目标函数Ez[lp]，得到参考点集M到目标点集N的最佳空间变换函数和最佳对应关系。比较配准的参考点集M到目标点集N，给出各个配准点的变形前后的位移向量。
本发明提出的一种极薄翅翼多方位动态变形测量方法，可以解决因蜻蜓翅翼极薄、拍动幅度大等因素导致的测量附加质量影响飞行行为、测量周期不完全等问题。传统的蜻蜓翅翼变形测量方法相比，本发明给出的多方位动态变形测量方法采用的无附加散斑数字图像相关方法具有更加真实、完整的飞行测量数据，能够使数字图像相关方法更好的获得学术界和工业界认可，同时也能够为蜻蜓等昆虫的极薄翅翼测量提供有效地解决方法。
本发明具体应用途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进，这些改进也应视为本发明的保护范围。

Claims (1)

1.一种极薄翅翼多方位动态变形测量方法，其特征在于，包括步骤如下：
1)搭建非接触、多方位的红光照明多相机测量装置；
所述非接触、多方位的红光照明多相机测量装置包括：三组亚高速相机及镜头，所述镜头前装有红光滤光膜，每组亚高速相机均设有为其照明的红光光源；其中，三组亚高速相机分别从飞行试验箱的三个相邻面照射其内的系留飞行的蜻蜓，保证蜻蜓翅膀的任意拍动幅度均能被至少一组相机完整捕捉；
2)采用无附加散斑数字图像相关方法追踪蜻蜓翅翼的翅脉及皱褶结构，实现翅翼的三维动态变形测量；
所述步骤2)具体包括：
21)对翅膀图像上各翅脉进行边缘检测，采用多边形估计获得参考图像和目标图像的各特征点集合M和N；
22)利用概率密度估计的方法对非刚性变换的各特征点集合M和N进行配准，给出各特征点的位移向量；
23)将形状上下文方法提取的点集局部空间结构信息作为点集配准的先验条件，从而提高算法的配准性能；
定义参考点集M和目标点集N的矩阵表达式为X＝[x1,x2,...,xm]T和Y＝[y1,y2,...,yn]T，其中xi和yj为2维列向量；X到Y的空间变换为一般函数f:R2→R2；X经过f映射后的变换点集U和目标点集Y之间的形状上下文相似性矩阵T，ti,j∈[0,1]且
Figure FDA0002986322080000011
将Y各点是否能从混合模型中观测到记作二值变量Z，后验概率密度的似然函数记作lp＝-ln(p(Z,Y))，目标点集Y的负对数似然条件期望为：
Figure FDA0002986322080000012
式中：
Figure FDA0002986322080000013
Figure FDA0002986322080000014
上式，p(yj|i)为观测点yj的条件概率，P(i)是关于形状上下文相似性ti,j和离群点权重ω的函数；由于p(zi,j|yj)未知，拟采用高效而标准的参数估计期望最大化算法求解目标函数Ez[lp]，得到参考点集M到目标点集N的最佳空间变换函数和最佳对应关系；比较配准的参考点集M到目标点集N，给出各个配准点的变形前后的位移向量。
CN201910327418.6A 2019-04-23 2019-04-23 极薄翅翼多方位动态变形测量方法 Active CN110207603B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910327418.6A CN110207603B (zh) 2019-04-23 2019-04-23 极薄翅翼多方位动态变形测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910327418.6A CN110207603B (zh) 2019-04-23 2019-04-23 极薄翅翼多方位动态变形测量方法

Publications (2)

Publication Number Publication Date
CN110207603A CN110207603A (zh) 2019-09-06
CN110207603B true CN110207603B (zh) 2021-10-22

Family

ID=67786090

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910327418.6A Active CN110207603B (zh) 2019-04-23 2019-04-23 极薄翅翼多方位动态变形测量方法

Country Status (1)

Country Link
CN (1) CN110207603B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111369627B (zh) * 2020-03-05 2023-04-07 电子科技大学 一种非侵入式散斑定向成像方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1601549A (zh) * 2003-09-26 2005-03-30 中国科学院自动化研究所 基于多特征融合的人脸定位与头部姿势识别方法
CN1765700A (zh) * 2004-10-26 2006-05-03 北京航空航天大学 一种高扇翅频昆虫运动参数测量装置
CN1765701A (zh) * 2004-10-26 2006-05-03 北京航空航天大学 一种高扇翅频昆虫飞行运动观测装置
KR20090049930A (ko) * 2007-11-14 2009-05-19 부산대학교 산학협력단 곤충의 분류/인지 시스템 및 분류 방법
CN108765484A (zh) * 2018-05-18 2018-11-06 北京航空航天大学 基于两台高速摄像机的活体昆虫运动采集及数据重构方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7773797B2 (en) * 2006-02-06 2010-08-10 Beijing University Of Aeronautics And Astronautics Methods and apparatus for measuring the flapping deformation of insect wings
US20110278391A1 (en) * 2010-05-17 2011-11-17 Kotler Andrey Dragonfly unmanned aerial vehicle
CN103940368A (zh) * 2014-04-16 2014-07-23 南京航空航天大学 一种蜻蜓翅膀褶皱结构三维模型生成方法
CN105928448B (zh) * 2016-04-18 2018-06-22 北京理工大学 一种基于瑞利区解析散射建模的昆虫尺寸测量方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1601549A (zh) * 2003-09-26 2005-03-30 中国科学院自动化研究所 基于多特征融合的人脸定位与头部姿势识别方法
CN1765700A (zh) * 2004-10-26 2006-05-03 北京航空航天大学 一种高扇翅频昆虫运动参数测量装置
CN1765701A (zh) * 2004-10-26 2006-05-03 北京航空航天大学 一种高扇翅频昆虫飞行运动观测装置
KR20090049930A (ko) * 2007-11-14 2009-05-19 부산대학교 산학협력단 곤충의 분류/인지 시스템 및 분류 방법
CN108765484A (zh) * 2018-05-18 2018-11-06 北京航空航天大学 基于两台高速摄像机的活体昆虫运动采集及数据重构方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Deformation measurements of dragonfly"s wings in free flight by using Windowed Fourier Transform;Peng Cheng;《Optics and Lasers in Engineering》;20080229;第46卷(第2期);第157-161页 *
The Aerodynamics of Free-Flight Maneuvers in Drosophila;Steven N. Fry等;《SCIENCE》;20030418;第300卷;第495-498页 *
二维点集配准方法及其在贴片机中的应用研究;白立飞;《中国博士学位论文全文数据库（信息科技辑）》;20190115(第1期);正文第19-24页 *
昆虫飞行特性的视觉测量方法;何真等;《南京理工大学学报》;20051031;第29卷;第160-163页 *

Also Published As

Publication number Publication date
CN110207603A (zh) 2019-09-06

Similar Documents

Publication Publication Date Title
Ristroph et al. Automated hull reconstruction motion tracking (HRMT) applied to sideways maneuvers of free-flying insects
CN109949361A (zh) 一种基于单目视觉定位的旋翼无人机姿态估计方法
CN108898065B (zh) 候选区快速筛选与尺度自适应的深度网络舰船目标检测方法
CN106570820A (zh) 一种基于四旋翼无人机的单目视觉三维特征提取方法
CN104794737B (zh) 一种深度信息辅助粒子滤波跟踪方法
CN107111598A (zh) 使用超声深度感测的光流成像系统以及方法
CN110207603B (zh) 极薄翅翼多方位动态变形测量方法
CN108171715A (zh) 一种图像分割方法及装置
CN116071424A (zh) 基于单目视觉的果实空间坐标定位方法
CN110532865B (zh) 基于可见光与激光融合的航天器结构识别方法
Mei 3D image analysis of sports technical features and sports training methods based on artificial intelligence
CN104077611B (zh) 类地重力场环境下室内场景单目视觉空间识别方法
Nasir et al. An automated visual tracking measurement for quantifying wing and body motion of free-flying houseflies
CN109100112A (zh) 一种基于计算机视觉的气弹模型风洞试验平面风振响应测试方法
Ma et al. SC-PROSAC: An improved progressive sample consensus algorithm based on spectral clustering
Qiwei et al. SAR image ship detection based on improved YOLOv4
CN112347915B (zh) 一种高空抛掷物判别系统
CN113313741B (zh) 一种基于标定球的点云自配准方法
CN109740405A (zh) 一种非对齐相似车辆前窗差异信息检测方法
Martínez et al. Automatic analysis and characterization of the hummingbird wings motion using dense optical flow features
Deng et al. Biological Eagle-eye Inspired Target Detection for Unmanned Aerial Vehicles Equipped with a Manipulator
Huang et al. Geological segmentation on UAV aerial image using shape-based LSM with dominant color
Monaci et al. Deep Learning Techniques for Dragonfly Action Recognition.
Symeonidis et al. A UAV Video Data Generation Framework for Improved Robustness of UAV Detection Methods
Chen et al. Insulator Fault Detection in Aerial Images based on the Mixed-grouped Fire Single-shot Multibox Detector.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant