CN105187723B - 一种无人飞行器的摄像处理方法 - Google Patents
一种无人飞行器的摄像处理方法 Download PDFInfo
- Publication number
- CN105187723B CN105187723B CN201510593283.XA CN201510593283A CN105187723B CN 105187723 B CN105187723 B CN 105187723B CN 201510593283 A CN201510593283 A CN 201510593283A CN 105187723 B CN105187723 B CN 105187723B
- Authority
- CN
- China
- Prior art keywords
- unmanned vehicle
- subject matter
- image
- data frame
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 15
- 230000033001 locomotion Effects 0.000 claims abstract description 25
- 238000005259 measurement Methods 0.000 claims abstract description 23
- 230000003068 static effect Effects 0.000 claims description 7
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 238000009432 framing Methods 0.000 claims description 3
- 230000000717 retained effect Effects 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000000034 method Methods 0.000 abstract description 7
- 230000005540 biological transmission Effects 0.000 description 4
- 230000001427 coherent effect Effects 0.000 description 3
- 238000000205 computational method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 230000035939 shock Effects 0.000 description 3
- 239000002245 particle Substances 0.000 description 2
- 230000008054 signal transmission Effects 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Signal Processing (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种无人飞行器的摄像处理方法。该方法包括步骤：将无人飞行器的摄像头对准标的物；记录第一参考图样；记录第二参考图样；合成标的物的立体参考图样；当无人飞行器检测到控制信号中断时，对焦框自动遍历整个取景框内的图像，分别与立体参考图样比较，如果未发现标的物，自动调整无人飞行器的位置，直至标的物重新显示在摄像头的取景框内；预设一摄像头与标的物之间的参考直线，控制无人飞行器沿参考直线移动；计算摄像头与标的物之间的测量距离；如果测量距离大于预设的参考距离，控制无人飞行器继续面向标的物移动直至测量距离小于或等于参考距离。本发明可以在无人飞行器飞丢状态提高拍摄质量。
Description
技术领域
本发明涉及航拍领域，更具体的说，涉及一种无人飞行器的摄像处理方法。
背景技术
无人飞行器在航拍、侦测、搜救等领域都有广泛的应用。
对于这些运动体的操纵通常由用户通过遥控装置来实现，操控者在操作运动体，如无人飞行器的过程中，由于无人飞行器一般体型较小，在飞远的情况下用肉眼很难看清楚，在这种情况下，操控者很难观察出无人飞行器实际飞行距离，如果没有飞行的辅助手段，无人飞行器就很容易飞丢。另外，如果使用第一人称视角模式来飞的话，过分专注于显示屏，最后也可能导致弄不清楚无人飞行器当前的位置，导致迷失方向甚至飞丢，飞丢后拍摄图像不可控制，严重影响拍摄质量。
发明内容
本发明所要解决的技术问题是提供一种在飞丢状态提高拍摄质量的无人飞行器的摄像处理方法。
本发明的目的是通过以下技术方案来实现的：
一种无人飞行器的摄像处理方法，包括步骤：
将无人飞行器的摄像头对准标的物；
对标的物进行第一次对焦，记录对焦框的图像信息作为第一参考图样；
无人飞行器自动移动预设的间距，对标的物进行第二次对焦，记录对焦框的图像信息作为第二参考图样；
根据第一参考图样和第二参考图样合成标的物的立体参考图样；
当无人飞行器检测到控制信号中断时，对焦框自动遍历整个取景框内的图像，分别与立体参考图样比较，如果未发现标的物，自动调整无人飞行器的位置，直至标的物重新显示在摄像头的取景框内；
预设一摄像头与标的物之间的参考直线；控制无人飞行器沿参考直线移动；通过三轴陀螺仪对无人飞行器的移动姿态进行监测，如果无人飞行器在运动过程中偏离参考直线；重新设定新的参考直线，并控制无人飞行器沿新的参考直线移动；
通过三轴陀螺仪获取无人飞行器沿参考直线移动的距离；记录摄像头移动前、后标的物的显示宽度之比；
计算摄像头与标的物之间的测量距离；如果测量距离大于预设的参考距离，控制无人飞行器继续面向标的物移动直至测量距离小于或等于参考距离。
进一步的，当无人飞行器检测到控制信号中断时，
将摄像头采集的模拟视频信号转换成数字视频信号；
对数字视频信号进行分帧；将帧图像分为基准帧图像和数据帧图像，
按预定的间隔抽离两个基准帧之间的数据帧，抽离的数据帧用相邻的数据帧替代，计算存留的数据帧图像与其对应的基准帧图像之间的内容差异；
发送编码后的基准帧和各数据帧的内容差异。
当无人飞行器检测到控制信号中断时，此时，无人飞行器距离较远，数据传输的信号也相应减弱，为了避免信号传输中断或卡顿，保障图像可以流畅传输，本发明还对传输的视频信号进行了处理。本技术方案除了对基准帧进行完整编码以外，数据帧仅对内容差异进行编码，可以有效缩减数据包的大小，减少对带宽的占用。一般来说，基于同一基准帧的数据帧，图像之间的差异是很小的，因此，本发明对两个基准帧之间的数据帧进行缩减，抽离的数据帧用相邻的数据帧代替，以确保跟播放的制式相同；这样就进一步缩小了数据包，确保视频图像流畅传输。
进一步的，对基准帧和数据帧图像进行去灰度处理；
将基准帧图像表示为灰度值构成的参考灰阶图；
利用三轴陀螺仪获得基准帧与数据帧之间的无人飞行器三维角度的改变；
根据三维角度的改变对参考灰阶图进行变换；
将数据帧图像表示为灰度值构成的当前灰阶图；
比较当前灰阶图与经过变换的参考灰阶图，并将比较结果作为内容差异。由于基准帧和数据帧都采用了去灰度处理，每一帧图像的像素就可以仅采用灰度值表示，这样，一帧图像的所有像素就可以表示成由灰度值构成的一个图片，可以降低计算难度，有利于提高运算速度。
进一步的，计算数据帧图像与基准帧图像的平均亮度差值，以及相比于基准帧图像，数据帧图像中产生亮度变化的像素点占数据帧图像中所有像素点的比例，
若所述平均亮度差值和比例超出抖动阀值，将编码比特率上调；
若所述平均亮度差值和比例小于静止阀值，将编码比特率下调。
进一步的，所述无人飞行器为四轴航拍飞行器。
进一步的，所述无人飞行器拍摄的图像信息同步发送到手机端。
无人飞行器在空中作业，难免会在气流冲击下产生晃动，从而造成拍摄的视频图像抖动；另外，在拍摄相对静止的画面时，如主持人站在舞台讲解时，观众更在意现场的声音，对图像本身并不敏感。发明人研究发现，在正常情况下，基准帧及其对应的数据帧之间的亮度差异是基本一致的。而在摄像头产生明显晃动的时候，其像素的亮度会有明显的变化，且亮度变化的像素数量占所有像素的比例也会偏高。因此，只要根据有限次的试验，以及对视频质量的具体要求，完全可以设定一个抖动阈值，该抖动阈值包括了平均亮度差值的阀值，以及数据帧图像中产生亮度变化的像素点占数据帧图像中所有像素点的比例的阀值。而提高编码比特率，就可以有效补偿每个像素的亮度变化，从而提高图像质量。静止阀值可以参照上述内容差异的计算方法，内容差异越小，代表画面静止的程度越高。此时将编码比特率下调，使得输出视频内容质量稍微降低，在不影响观看的情况下降低带宽资源的使用。
本发明可以在指定的拍摄区域选定标的物，通过锁定标的物，在无人飞行器飞丢的情况下自动捕捉标的物，强制将无人飞行器的摄像头对准拍摄区域，从而最大限度确保拍摄图像的连贯、完整，特别适用于直播、搜救等实时性要求高的场合。另外，本发明采用单摄像头在不同位置抓取标的物的图片，合成标的物的立体图作为最终的参考图样(即立体参考图样)，这样不管无人飞行器在哪个方位取景，都可以准确识别出标的物，提高了识别的准确率。再者，本发明不仅可以锁定拍摄图像，还可以锁定无人飞行器跟标的物的间距，且测量过程只需要一个摄像头，完全现有的图像处理及运动感知功能来完成，可以在不增配光学器件的情况下实现单摄像头距离测量，准确性度高，使得无人飞行器只能围绕标的物所在的拍摄区域飞行，即便在飞丢的状态下，其状态也相对可控，不会完全失控。
附图说明
图1是本发明实施例的四轴航拍飞行器的摄像处理方法的示意图。
图2是本发明实施例的四轴航拍飞行器相对标的物移动的示意图。
图3是本发明实施例的四轴航拍飞行器摄像头内标的物的大小变化示意图。
具体实施方式
本发明公开的无人飞行器的摄像处理方法，包括步骤：
将无人飞行器的摄像头对准标的物；
对标的物进行第一次对焦，记录对焦框的图像信息作为第一参考图样；
无人飞行器自动移动预设的间距，对标的物进行第二次对焦，记录对焦框的图像信息作为第二参考图样；
根据第一参考图样和第二参考图样合成标的物的立体参考图样；
当无人飞行器检测到控制信号中断时，对焦框自动遍历整个取景框内的图像，分别与立体参考图样比较，如果未发现标的物，自动调整无人飞行器的位置，直至标的物重新显示在摄像头的取景框内；
预设一摄像头与标的物之间的参考直线；控制无人飞行器沿参考直线移动；通过三轴陀螺仪对无人飞行器的移动姿态进行监测，如果无人飞行器在运动过程中偏离参考直线；重新设定新的参考直线，并控制无人飞行器沿新的参考直线移动；
通过三轴陀螺仪获取无人飞行器沿参考直线移动的距离；记录摄像头移动前、后标的物的显示宽度之比；
利用公式计算摄像头与标的物之间的测量距离；如果测量距离大于预设的参考距离，控制无人飞行器继续面向标的物移动直至测量距离小于或等于参考距离；
其中，D1为摄像头与标的物之间的测量距离，D0为移动距离量；
P1为移动前标的物的宽度所占屏幕在标的物处的取景宽度的比例；
P2为移动后标的物的宽度所占屏幕在标的物处的取景宽度的比例。
无人飞行器在空中作业，难免会在气流冲击下产生晃动，从而造成拍摄的视频图像抖动；另外，在拍摄相对静止的画面时，如主持人站在舞台讲解时，观众更在意现场的声音，对图像本身并不敏感。发明人研究发现，在正常情况下，基准帧及其对应的数据帧之间的亮度差异是基本一致的。而在摄像头产生明显晃动的时候，其像素的亮度会有明显的变化，且亮度变化的像素数量占所有像素的比例也会偏高。因此，只要根据有限次的试验，以及对视频质量的具体要求，完全可以设定一个抖动阈值，该抖动阈值包括了平均亮度差值的阀值，以及数据帧图像中产生亮度变化的像素点占数据帧图像中所有像素点的比例的阀值。而提高编码比特率，就可以有效补偿每个像素的亮度变化，从而提高图像质量。静止阀值可以参照上述内容差异的计算方法，内容差异越小，代表画面静止的程度越高。此时将编码比特率下调，使得输出视频内容质量稍微降低，在不影响观看的情况下降低带宽资源的使用。
本发明可以在指定的拍摄区域选定标的物，通过锁定标的物，在无人飞行器飞丢的情况下自动捕捉标的物，强制将无人飞行器的摄像头对准拍摄区域，从而最大限度确保拍摄图像的连贯、完整，特别适用于直播、搜救等实时性要求高的场合。另外，本发明采用单摄像头在不同位置抓取标的物的图片，合成标的物的立体图作为最终的参考图样(即立体参考图样)，这样不管无人飞行器在哪个方位取景，都可以准确识别出标的物，提高了识别的准确率。再者，本发明不仅可以锁定拍摄图像，还可以锁定无人飞行器跟标的物的间距，且测量过程只需要一个摄像头，完全现有的图像处理及运动感知功能来完成，可以在不增配光学器件的情况下实现单摄像头距离测量，准确性度高，使得无人飞行器只能围绕标的物所在的拍摄区域飞行，即便在飞丢的状态下，其状态也相对可控，不会完全失控。
下面以四轴航拍飞行器为例，结合附图和较佳的实施例对本发明作进一步说明。
如图1所示，本实施方式的四轴航拍飞行器的摄像处理方法，包括步骤：
S1、将四轴航拍飞行器的摄像头对准标的物。
S2、对标的物进行第一次对焦，记录对焦框的图像信息作为第一参考图样。
S3、四轴航拍飞行器自动移动预设的间距，对标的物进行第二次对焦，记录对焦框的图像信息作为第二参考图样。
S4、根据第一参考图样和第二参考图样合成标的物的立体参考图样。
S5、当四轴航拍飞行器检测到控制信号中断时，对焦框自动遍历整个取景框内的图像，分别与立体参考图样比较，如果未发现标的物，自动调整四轴航拍飞行器的位置，直至标的物重新显示在摄像头的取景框内。
S6、预设一摄像头与标的物之间的参考直线；控制四轴航拍飞行器沿参考直线移动；通过三轴陀螺仪对四轴航拍飞行器的移动姿态进行监测，如果四轴航拍飞行器在运动过程中偏离参考直线；重新设定新的参考直线，并控制四轴航拍飞行器沿新的参考直线移动。
S7、通过三轴陀螺仪获取四轴航拍飞行器沿参考直线移动的距离；记录摄像头移动前、后标的物的显示宽度之比。
S8、计算摄像头与标的物之间的测量距离；如果测量距离大于预设的参考距离，控制四轴航拍飞行器继续面向标的物移动直至测量距离小于或等于参考距离。
本发明可以在指定的拍摄区域选定标的物，通过锁定标的物，在四轴航拍飞行器飞丢的情况下自动捕捉标的物，强制将四轴航拍飞行器的摄像头对准拍摄区域，从而最大限度确保拍摄图像的连贯、完整，特别适用于直播、搜救等实时性要求高的场合。另外，本发明在不同位置抓取标的物的图片，合成标的物的立体图作为最终的参考图样(即立体参考图样)，这样不管四轴航拍飞行器在哪个方位取景，都可以准确识别出标的物，提高了识别的准确率。再者，本发明不仅可以锁定拍摄图像，还可以锁定四轴航拍飞行器跟标的物的间距，且测量过程只需要一个摄像头，完全现有的图像处理及运动感知功能来完成，可以在不增配光学器件的情况下实现距离测量，准确性度高，使得四轴航拍飞行器只能围绕标的物所在的拍摄区域飞行，即便在飞丢的状态下，其状态也相对可控，不会完全失控。
本发明的测距方法可以参考图2、3。四轴航拍飞行器从初始位置B1水平移动到位置B2，四轴航拍飞行器到标的物的距离由D1变为D2，移动距离量D0＝D1-D2，而标的物的宽度W保持不变，标的物的宽度所占屏幕在标的物处的取景宽度的比例，在摄像头移动前后将会发生变化，即P1＝W/L1；P2＝W/L2；利用公式而D0＝D1-D2。因此只要知道P1和P2就可以得到四轴航拍飞行器到标的物的距离D1。
标的物的跟踪锁定可以根据现有的图像处理中的相关算法比如：利用标的物与背景的亮度或者颜色差异较大时，可以采用图像边缘提取算法，具体的，如：基于B样条小波的自适应阈值多尺度边缘提取算法、结合嵌入可信度的多尺度离散边缘提取算法、新的边缘轮廓提取模型――量子统计可变形模型图像边缘跟踪算法，还可以采用基于粒子滤波的图像跟踪算法、融合结构信息和尺度不变特征变换算法的多信息融合粒子滤波跟踪算法等算法对标的物进行识别和跟踪。
当四轴航拍飞行器检测到控制信号中断时，此时，四轴航拍飞行器距离较远，数据传输的信号也相应减弱，为了避免信号传输中断或卡顿，保障图像可以流畅传输，本发明还对传输的视频信号进行了处理。具体来说，包括以下步骤：
将摄像头采集的模拟视频信号转换成数字视频信号；
对数字视频信号进行分帧；将帧图像分为基准帧图像和数据帧图像，
按预定的间隔抽离两个基准帧之间的数据帧，抽离的数据帧用相邻的数据帧替代，计算存留的数据帧图像与其对应的基准帧图像之间的内容差异；
发送编码后的基准帧和各数据帧的内容差异。
本实施方式除了对基准帧进行完整编码以外，数据帧仅对内容差异进行编码，可以有效缩减数据包的大小，减少对带宽的占用。一般来说，基于同一基准帧的数据帧，图像之间的差异是很小的，因此，本发明对两个基准帧之间的数据帧进行缩减，抽离的数据帧用相邻的数据帧代替，以确保跟播放的制式相同；这样就进一步缩小了数据包，确保视频图像流畅传输。
内容差异的计算可以基于灰度来处理。具体包括以下步骤：
将基准帧图像表示为灰度值构成的参考灰阶图；
利用三轴陀螺仪获得基准帧与数据帧之间的四轴航拍飞行器三维角度的改变；
根据三维角度的改变对参考灰阶图进行变换；
将数据帧图像表示为灰度值构成的当前灰阶图；
比较当前灰阶图与经过变换的参考灰阶图，并将比较结果作为内容差异。
由于基准帧和数据帧都采用了去灰度处理，每一帧图像的像素就可以仅采用灰度值表示，这样，一帧图像的所有像素就可以表示成由灰度值构成的一个图片，可以降低计算难度，有利于提高运算速度。按照这种方式，将待处理的基准帧图片表示为灰度值构成的参考灰阶图：将第N帧的像素变为灰度值的方式为利用如下算法，计算各个像素的灰度值：Yi,j＝0.279*Ri,j+0.595*Gi,j+0.126*Bi,j。其中(Ri,j；Gi,j；Bi,j)为图像帧在第i行第j列上的RGB颜色值，Yi,j是转换得到的该像素上的灰度值。
四轴航拍飞行器在空中作业，难免会在气流冲击下产生晃动，从而造成拍摄的视频图像抖动；另外，在拍摄相对静止的画面时，如主持人站在舞台讲解时，观众更在意现场的声音，对图像本身并不敏感。因此，为了在四轴航拍飞行器晃动时提高视频质量，并确保视频流畅播放，本发明还可以对拍摄的视频进一步处理，具体包括以下步骤：
计算数据帧图像与基准帧图像的平均亮度差值，以及相比于基准帧图像，数据帧图像中产生亮度变化的像素点占数据帧图像中所有像素点的比例，
若所述平均亮度差值和比例超出抖动阀值，将编码比特率上调；
若所述平均亮度差值和比例小于静止阀值，将编码比特率下调。
发明人研究发现，在正常情况下，基准帧及其对应的数据帧之间的亮度差异是基本一致的。而在摄像头产生明显晃动的时候，其像素的亮度会有明显的变化，且亮度变化的像素数量占所有像素的比例也会偏高。因此，只要根据有限次的试验，以及对视频质量的具体要求，完全可以设定一个抖动阈值，该抖动阈值包括了平均亮度差值的阀值，以及数据帧图像中产生亮度变化的像素点占数据帧图像中所有像素点的比例的阀值。而提高编码比特率，就可以有效补偿每个像素的亮度变化，从而提高图像质量。
在计算当前帧图像的平均亮度差值时，具体为计算当前帧图像中各个像素点的亮度值的均值。
静止阀值可以参照上述内容差异的计算方法，内容差异越小，代表画面静止的程度越高。此时将编码比特率下调，使得输出视频内容质量稍微降低，在不影响观看的情况下降低带宽资源的使用。
四轴航拍飞行器拍摄的图像信息可以同步发送到手机端，方面操控人员监控。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
Claims (6)
1.一种无人飞行器的摄像处理方法，包括步骤：
将无人飞行器的摄像头对准标的物；
对标的物进行第一次对焦，记录对焦框的图像信息作为第一参考图样；
无人飞行器自动移动预设的间距，对标的物进行第二次对焦，记录对焦框的图像信息作为第二参考图样；
根据第一参考图样和第二参考图样合成标的物的立体参考图样；
当无人飞行器检测到控制信号中断时，对焦框自动遍历整个取景框内的图像，分别与立体参考图样比较，如果未发现标的物，自动调整无人飞行器的位置，直至标的物重新显示在摄像头的取景框内；
预设一摄像头与标的物之间的参考直线，控制无人飞行器沿参考直线移动；通过三轴陀螺仪对无人飞行器的移动姿态进行监测，如果无人飞行器在运动过程中偏离参考直线；重新设定新的参考直线，并控制无人飞行器沿新的参考直线移动；
通过三轴陀螺仪获取无人飞行器沿参考直线移动的距离；记录摄像头移动前、后标的物的显示宽度之比；
利用公式计算摄像头与标的物之间的测量距离；如果测量距离大于预设的参考距离，控制无人飞行器继续面向标的物移动直至测量距离小于或等于参考距离；
其中，D1为摄像头与标的物之间的测量距离，D0为移动距离量；
P1为移动前标的物的宽度所占屏幕在标的物处的取景宽度的比例；
P2为移动后标的物的宽度所占屏幕在标的物处的取景宽度的比例。
2.根据权利要求1所述的无人飞行器的摄像处理方法，其特征在于，当无人飞行器检测到控制信号中断时，
将摄像头采集的模拟视频信号转换成数字视频信号；
对数字视频信号进行分帧；将帧图像分为基准帧图像和数据帧图像，按预定的间隔抽离两个基准帧之间的数据帧，抽离的数据帧用相邻的数据帧替代，计算存留的数据帧图像与其对应的基准帧图像之间的内容差异；
发送编码后的基准帧和各数据帧的内容差异。
3.根据权利要求2所述的无人飞行器的摄像处理方法，其特征在于，对基准帧和数据帧图像进行去灰度处理；
将基准帧图像表示为灰度值构成的参考灰阶图；
利用三轴陀螺仪获得基准帧与数据帧之间的无人飞行器三维角度的改变；
根据三维角度的改变对参考灰阶图进行变换；
将数据帧图像表示为灰度值构成的当前灰阶图；
比较当前灰阶图与经过变换的参考灰阶图，并将比较结果作为内容差异。
4.根据权利要求3所述的无人飞行器的摄像处理方法，其特征在于，计算数据帧图像与基准帧图像的平均亮度差值，以及相比于基准帧图像，数据帧图像中产生亮度变化的像素点占数据帧图像中所有像素点的比例，
若所述平均亮度差值和比例超出抖动阀值，将编码比特率上调；
若所述平均亮度差值和比例小于静止阀值，将编码比特率下调。
5.根据权利要求1所述的无人飞行器的摄像处理方法，其特征在于，所述无人飞行器为四轴航拍飞行器。
6.根据权利要求1所述的无人飞行器的摄像处理方法，其特征在于，所述无人飞行器拍摄的图像信息同步发送到手机端。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510593283.XA CN105187723B (zh) | 2015-09-17 | 2015-09-17 | 一种无人飞行器的摄像处理方法 |
| PCT/CN2016/071488 WO2017045326A1 (zh) | 2015-09-17 | 2016-01-20 | 一种无人飞行器的摄像处理方法 |
| US14/907,570 US20170084032A1 (en) | 2015-09-17 | 2016-01-20 | Image processing method for unmanned aerial vehicle |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510593283.XA CN105187723B (zh) | 2015-09-17 | 2015-09-17 | 一种无人飞行器的摄像处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105187723A CN105187723A (zh) | 2015-12-23 |
| CN105187723B true CN105187723B (zh) | 2018-07-10 |
Family
ID=54909549
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510593283.XA Expired - Fee Related CN105187723B (zh) | 2015-09-17 | 2015-09-17 | 一种无人飞行器的摄像处理方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN105187723B (zh) |
| WO (1) | WO2017045326A1 (zh) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105187723B (zh) * | 2015-09-17 | 2018-07-10 | 深圳市十方联智科技有限公司 | 一种无人飞行器的摄像处理方法 |
| CN105955067A (zh) * | 2016-06-03 | 2016-09-21 | 哈尔滨工业大学 | 基于四旋翼无人机的多星智能集群控制仿真系统及采用该系统实现的仿真方法 |
| JP6500849B2 (ja) * | 2016-06-23 | 2019-04-17 | カシオ計算機株式会社 | 撮像装置、撮像方法及びプログラム |
| CN106586011A (zh) * | 2016-12-12 | 2017-04-26 | 高域（北京）智能科技研究院有限公司 | 航拍无人飞行器的对准方法及其航拍无人飞行器 |
| CN107345810B (zh) * | 2017-07-13 | 2024-03-19 | 国家电网公司 | 一种快速、低成本的输电线路测距装置及方法 |
| FR3070785B1 (fr) * | 2017-09-06 | 2019-09-06 | Safran Electronics & Defense | Systeme de surveillance d'un aeronef |
| WO2019191940A1 (en) * | 2018-04-04 | 2019-10-10 | SZ DJI Technology Co., Ltd. | Methods and system for composing and capturing images |
| CN109248378B (zh) * | 2018-09-09 | 2020-10-16 | 深圳硅基仿生科技有限公司 | 视网膜刺激器的视频处理装置、方法及视网膜刺激器 |
| CN113645501A (zh) * | 2018-09-20 | 2021-11-12 | 深圳市道通智能航空技术股份有限公司 | 图像传输方法、装置、图像发送端及飞行器图传系统 |
| WO2020062279A1 (en) * | 2018-09-30 | 2020-04-02 | Zte Corporation | Method of imaging object |
| CN111142560B (zh) * | 2019-12-25 | 2023-07-04 | 浙江海洋大学 | 基于无人艇的无人机回收系统及方法 |
| CN111457895B (zh) * | 2020-03-31 | 2022-04-22 | 彩虹无人机科技有限公司 | 一种无人机光电载荷的目标尺寸计算与显示方法 |
| CN112327889B (zh) * | 2020-09-27 | 2023-08-22 | 浙江大丰实业股份有限公司 | 一种可自主运行的舞台用无人机及控制系统 |
| CN113095141A (zh) * | 2021-03-15 | 2021-07-09 | 南通大学 | 一种基于人工智能的无人机视觉学习系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1808498A (zh) * | 2006-02-23 | 2006-07-26 | 上海交通大学 | 结合时域差分和空域分级的运动人像实时自动跟踪方法 |
| WO2012161630A1 (en) * | 2011-05-26 | 2012-11-29 | Saab Ab | Method and system for steering an unmanned aerial vehicle |
| CN103135550A (zh) * | 2013-01-31 | 2013-06-05 | 南京航空航天大学 | 用于电力巡线的无人机多重避障控制方法 |
| CN104683773A (zh) * | 2015-03-25 | 2015-06-03 | 成都好飞机器人科技有限公司 | 无人机视频高速传输方法 |
| CN104811667A (zh) * | 2015-04-29 | 2015-07-29 | 深圳市保千里电子有限公司 | 一种无人机跟踪目标的方法及系统 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW201248347A (en) * | 2011-05-18 | 2012-12-01 | Hon Hai Prec Ind Co Ltd | System and method for controlling unmanned aerial vehicle |
| CN104197901A (zh) * | 2014-09-19 | 2014-12-10 | 成都翼比特科技有限责任公司 | 基于标识物的图像测距方法 |
| CN104808686A (zh) * | 2015-04-28 | 2015-07-29 | 零度智控（北京）智能科技有限公司 | 一种飞行器跟随终端飞行的系统及方法 |
| CN104820998B (zh) * | 2015-05-27 | 2019-11-26 | 成都通甲优博科技有限责任公司 | 一种基于无人机动平台的人体检测与跟踪方法及装置 |
| CN104853104B (zh) * | 2015-06-01 | 2018-08-28 | 深圳市微队信息技术有限公司 | 一种自动跟踪拍摄运动目标的方法以及系统 |
| CN105187723B (zh) * | 2015-09-17 | 2018-07-10 | 深圳市十方联智科技有限公司 | 一种无人飞行器的摄像处理方法 |
-
2015
- 2015-09-17 CN CN201510593283.XA patent/CN105187723B/zh not_active Expired - Fee Related
-
2016
- 2016-01-20 WO PCT/CN2016/071488 patent/WO2017045326A1/zh active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1808498A (zh) * | 2006-02-23 | 2006-07-26 | 上海交通大学 | 结合时域差分和空域分级的运动人像实时自动跟踪方法 |
| WO2012161630A1 (en) * | 2011-05-26 | 2012-11-29 | Saab Ab | Method and system for steering an unmanned aerial vehicle |
| CN103135550A (zh) * | 2013-01-31 | 2013-06-05 | 南京航空航天大学 | 用于电力巡线的无人机多重避障控制方法 |
| CN104683773A (zh) * | 2015-03-25 | 2015-06-03 | 成都好飞机器人科技有限公司 | 无人机视频高速传输方法 |
| CN104811667A (zh) * | 2015-04-29 | 2015-07-29 | 深圳市保千里电子有限公司 | 一种无人机跟踪目标的方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105187723A (zh) | 2015-12-23 |
| WO2017045326A1 (zh) | 2017-03-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105187723B (zh) | 一种无人飞行器的摄像处理方法 | |
| US10339386B2 (en) | Unusual event detection in wide-angle video (based on moving object trajectories) | |
| US10535115B2 (en) | Virtual lens simulation for video and photo cropping | |
| CN109643373B (zh) | 估计3d空间中的姿态 | |
| US9927948B2 (en) | Image display apparatus and image display method | |
| CN106534616B (zh) | 一种基于特征匹配与运动补偿的视频稳像方法及系统 | |
| CN108564554A (zh) | 一种基于运动轨迹优化的视频稳定方法 | |
| CN107071389A (zh) | 航拍方法、装置和无人机 | |
| CN112207821B (zh) | 视觉机器人的目标搜寻方法及机器人 | |
| CN106973221B (zh) | 基于美学评价的无人机摄像方法和系统 | |
| CN113313661A (zh) | 图像融合方法、装置、电子设备及计算机可读存储介质 | |
| CN110555377B (zh) | 一种基于鱼眼相机俯视拍摄的行人检测与跟踪方法 | |
| CN114022560A (zh) | 标定方法及相关装置、设备 | |
| CN110225226A (zh) | 一种视觉跟踪系统及方法 | |
| CN113610865B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN113391644B (zh) | 一种基于图像信息熵的无人机拍摄距离半自动寻优方法 | |
| CN107038714A (zh) | 多型视觉传感协同目标跟踪方法 | |
| CN108564654B (zh) | 三维大场景的画面进入方式 | |
| CN111161399B (zh) | 基于二维影像生成三维模型的数据处理方法及组件 | |
| CN107404601A (zh) | 一种在虚拟现实中增加体验者自我元素的装置和方法 | |
| CN111684784B (zh) | 图像处理方法和装置 | |
| CN111629194B (zh) | 一种基于神经网络的全景视频转6dof视频的方法及系统 | |
| WO2021131573A1 (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
| US12125165B2 (en) | Virtual lens simulation for video and photo cropping | |
| CN108671453A (zh) | 一种水炮自动控制系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20190416 Address after: 102600 3 floor, 2 building, No. 4 Daxing District Garden Road, Beijing, 1 unit 317 Patentee after: BEIJING ZHITOUJIA INTELLECTUAL PROPERTY OPERATION CO.,LTD. Address before: Room 1006, Pioneer Park, Lishan Road University Town, Taoyuan Street, Nanshan District, Shenzhen City, Guangdong Province Patentee before: SHENZHEN WISDOW FORMING SCIENCE AND TECHNOLOGY Co.,Ltd. |
|
| TR01 | Transfer of patent right |
Effective date of registration: 20190814 Address after: 546100 No. 68 Binjiang North Road West, Laibin City, Guangxi Zhuang Autonomous Region, 22 Blocks B1-383, Binjiang Garden District 4 Patentee after: Guangxi Xinhui Forestry Survey Planning and Design Co.,Ltd. Address before: 102600 Unit 317, Unit 1, Building 3, No. 2, Yueyuan Road, Daxing District, Beijing Patentee before: BEIJING ZHITOUJIA INTELLECTUAL PROPERTY OPERATION CO.,LTD. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20190906 Address after: 545000 7-7, 2 Hualong Tianhe City, 2 East Plaza Road, Changan Town, Liuzhou, the Guangxi Zhuang Autonomous Region. Patentee after: Guangxi Rong Lin Forestry Development Co.,Ltd. Address before: 546100 No. 68 Binjiang North Road West, Laibin City, Guangxi Zhuang Autonomous Region, 22 Blocks B1-383, Binjiang Garden District 4 Patentee before: Guangxi Xinhui Forestry Survey Planning and Design Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180710 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |