CN106488139A - 一种无人机拍摄的图像补偿方法、装置及无人机 - Google Patents

一种无人机拍摄的图像补偿方法、装置及无人机 Download PDF

Info

Publication number
CN106488139A
CN106488139A CN201611223741.1A CN201611223741A CN106488139A CN 106488139 A CN106488139 A CN 106488139A CN 201611223741 A CN201611223741 A CN 201611223741A CN 106488139 A CN106488139 A CN 106488139A
Authority
CN
China
Prior art keywords
occlusion area
image
parameter
compensated
unmanned plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611223741.1A
Other languages
English (en)
Inventor
李佐广
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Autel Intelligent Aviation Technology Co Ltd
Original Assignee
Shenzhen Autel Intelligent Aviation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Autel Intelligent Aviation Technology Co Ltd filed Critical Shenzhen Autel Intelligent Aviation Technology Co Ltd
Priority to CN201611223741.1A priority Critical patent/CN106488139A/zh
Publication of CN106488139A publication Critical patent/CN106488139A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及无人机技术领域，尤其涉及一种无人机拍摄的图像补偿方法、装置及无人机。所述方法，获取无人机的摄像装置拍摄的待补偿图像，获取无人机的当前拍摄参数；根据当前拍摄参数，在待补偿图像上进行标定得到遮挡区域，其中，遮挡区域为摄像装置拍摄待补偿图像时被无人机的透明机身或半透明机身遮挡的部分；采集遮挡区域的临近区域的图像参数；根据临近区域的图像参数，校准遮挡区域的图像参数，得到补偿图像。通过标定得到遮挡区域，根据临近区域的图像参数校准遮挡区域的图像参数，使摄像装置拍摄的待补偿图像中被无人机的透明机身或半透明机身遮挡的部分得以补偿，提高了图像质量。

Description

一种无人机拍摄的图像补偿方法、装置及无人机
【技术领域】
本发明涉及无人机技术领域，尤其涉及一种无人机拍摄的图像补偿方法、装置及无人机。
【背景技术】
目前，无人机上一般是通过搭配摄像头拍摄获得航拍图像。在实际应用中发现，摄像头一般设置于无人机的机身下方，在拍摄时无人机的机身(如起落架)会有部分进入摄像头的视野，导致摄像头拍摄的场景被无人机的机身遮挡了部分，从而使得无人机拍摄到的图像的质量不佳。
【发明内容】
本发明针对现有技术摄像机拍摄的场景被无人机的机身部分遮挡导致图像质量不佳的技术问题，提供一种无人机拍摄的图像补偿方法、装置及无人机，技术方案如下：
本发明实施例提供一种无人机拍摄的图像补偿方法，包括：
获取所述无人机的摄像装置拍摄的待补偿图像；
获取所述无人机的当前拍摄参数；
根据所述当前拍摄参数，在所述待补偿图像上进行标定得到遮挡区域，其中，所述遮挡区域为所述摄像装置拍摄待补偿图像时被所述无人机的透明机身或半透明机身遮挡的部分；
采集所述遮挡区域的临近区域的图像参数；
根据所述临近区域的图像参数，校准所述遮挡区域的图像参数，得到补偿图像。
可选地，所述待补偿图像的数量为至少两幅，所述方法还包括：
拼接至少两副所述补偿图像，得到全景图像。
可选地，所述当前拍摄参数包括所述无人机的当前云台角度，所述根据所述当前拍摄参数，在所述待补偿图像上进行标定得到遮挡区域包括：
根据预先建立的云台角度与遮挡区域参数的对应关系，查找与所述当前云台角度对应的遮挡区域参数，其中，不同云台角度对应的遮挡区域参数不同；
根据所述与当前云台角度对应的遮挡区域参数获得所述待补偿图像的遮挡区域。
可选地，所述图像参数包括颜色和亮度，所述根据所述临近区域的图像参数，校准所述遮挡区域的图像参数，得到补偿图像包括：
获取所述遮挡区域附近M个像素范围的非遮挡区域为所述临近区域，其中，M为正整数；
根据M个像素范围内的像素点的颜色和亮度，校准所述遮挡区域的颜色和亮度，得到补偿图像。
可选地，所述采集所述遮挡区域的临近区域的图像参数之前，所述方法还包括：
对所述遮挡区域进行修正，得到修正后遮挡区域；
其中，所述采集所述遮挡区域的临近区域的图像参数包括：
采集所述修正后遮挡区域的临近区域的图像参数；
所述根据所述临近区域的图像参数，校准所述遮挡区域的图像参数，得到补偿图像包括：
根据所述临近区域的图像参数，校准所述修正后遮挡区域的图像参数，得到补偿图像。
可选地，所述对所述遮挡区域进行修正，得到修正后遮挡区域包括：
获取遮挡区域附近T个像素范围内的像素亮度值；
判断T个像素范围内的像素亮度值相互之间的差值的绝对值是否大于阈值；
若T个像素范围内的像素亮度值相互之间的差值的绝对值不大于阈值，扩大像素范围后继续判断T+1、T+2、……、T+N、T+N+1个像素范围内的像素亮度值之间的差值是否不大于阈值；
若T+N个像素范围内的像素亮度值相互之间的差值的绝对值不大于阈值，T+N+1个像素范围内的像素亮度值相互之间的差值的绝对值大于阈值，则将所述遮挡区域附近T+N个像素范围与所述遮挡区域的并集标记为修正后遮挡区域。
本发明实施例还提供一种无人机拍摄的图像补偿装置，包括：
第一获取模块，用于获取所述无人机的摄像装置拍摄的待补偿图像；
第二获取模块，用于获取所述无人机的当前拍摄参数；
标定模块，用于根据所述当前拍摄参数，在所述待补偿图像上进行标定得到遮挡区域，其中，所述遮挡区域为所述摄像装置拍摄待补偿图像时被所述无人机的透明机身或半透明机身遮挡的部分；
采集模块，用于采集所述遮挡区域的临近区域的图像参数；
校准模块，用于根据所述临近区域的图像参数，校准所述遮挡区域的图像参数，得到补偿图像。
可选地，所述待补偿图像的数量为至少两幅，所述装置还包括：
拼接模块，用于拼接至少两副所述补偿图像，得到全景图像。
可选地，所述当前拍摄参数包括所述无人机的当前云台角度，所述标定模块包括：
查找单元，用于根据预先建立的云台角度与遮挡区域参数的对应关系，查找与所述当前云台角度对应的遮挡区域参数，其中，不同云台角度对应的遮挡区域参数不同；
获得单元，用于根据所述与当前云台角度对应的遮挡区域参数获得所述待补偿图像的遮挡区域。
可选地，所述图像参数包括颜色和亮度，所述校准模块包括：
获取单元，用于获取所述遮挡区域附近M个像素范围的非遮挡区域为所述临近区域，其中，M为正整数；
校准单元，用于根据M个像素范围内的像素点的颜色和亮度，校准所述遮挡区域的颜色和亮度，得到补偿图像。
可选地，所述装置还包括：
修正模块，用于在所述采集模块采集所述遮挡区域的临近区域的图像参数之前，对所述遮挡区域进行修正，得到修正后遮挡区域；
所述采集模块具体用于采集所述修正后遮挡区域的临近区域的图像参数；
所述校准模块具体用于根据所述临近区域的图像参数，校准所述修正后遮挡区域的图像参数，得到补偿图像。
可选地，所述修正模块包括：
第一获取单元，用于获取遮挡区域附近T个像素范围内的像素亮度值；
第一判断单元，用于判断T个像素范围内的像素亮度值相互之间的差值的绝对值是否大于阈值；
第二判断单元，用于当所述第一判断单元判断出T个像素范围内的像素亮度值相互之间的差值的绝对值不大于阈值时，扩大像素范围后继续判断T+1、T+2、……、T+N、T+N+1个像素范围内的像素亮度值之间的差值是否不大于阈值；
标记单元，用于当所述第二判断单元判断出T+N个像素范围内的像素亮度值相互之间的差值的绝对值不大于阈值，T+N+1个像素范围内的像素亮度值相互之间的差值的绝对值大于阈值时，则将所述遮挡区域附近T+N个像素范围与所述遮挡区域的并集标记为修正后遮挡区域。
本发明实施例还提供一种无人机，包括：
云台；
摄像装置，所述摄像装置固定在所述云台上；
机身，所述云台与机身可转动地连接，所述机身被所述摄像装置拍摄待补偿图像时摄入的部分为透明机身或半透明机身；
处理器，所述处理器位于机身内部；以及，
与所述处理器通信连接的存储器；其中，
所述存储器存储有可被所述处理器执行的指令，所述指令被所述处理器执行，以使所述处理器能够执行上述的方法。
本发明实施例的有益效果在于，本发明实施例提供的无人机拍摄的图像补偿方法，获取无人机的摄像装置拍摄的待补偿图像，获取无人机的当前拍摄参数；根据当前拍摄参数，在待补偿图像上进行标定得到遮挡区域，其中，遮挡区域为摄像装置拍摄待补偿图像时被无人机的透明机身或半透明机身遮挡的部分；采集遮挡区域的临近区域的图像参数；根据临近区域的图像参数，校准遮挡区域的图像参数，得到补偿图像。本发明实施例通过标定得到遮挡区域，根据临近区域的图像参数校准遮挡区域的图像参数，使摄像装置拍摄的待补偿图像中被无人机的透明机身或半透明机身遮挡的部分得以补偿，提高了图像质量。
【附图说明】
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1为本发明实施例提供的无人机拍摄的图像补偿方法的流程图；
图2为本发明另一实施例提供的无人机拍摄的图像补偿方法的流程图；
图3为本发明实施例提供的无人机拍摄的图像补偿方法的部分流程图；
图4为本发明另一实施例提供的无人机拍摄的图像补偿方法的部分流程图；
图5为本发明又一实施例提供的无人机拍摄的图像补偿方法的流程图；
图6为本发明又一实施例提供的无人机拍摄的图像补偿方法的部分流程图；
图7为本发明实施例提供的无人机拍摄的图像补偿装置的结构框图；
图8为本发明另一实施例提供的无人机拍摄的图像补偿装置的结构框图；
图9为本发明实施例提供的无人机拍摄的图像补偿装置的部分结构框图；
图10为本发明另一实施例提供的无人机拍摄的图像补偿装置的部分结构框图；
图11为本发明又一实施例提供的无人机拍摄的图像补偿装置的结构框图；
图12为本发明又一实施例提供的无人机拍摄的图像补偿装置的部分结构框图；
图13为本发明实施例提供的无人机的结构框图。
【具体实施方式】
为了便于理解本发明，下面结合附图和具体实施方式，对本发明进行更详细的说明。需要说明的是，当元件被表述“固定于”另一个元件，它可以直接在另一个元件上、或者其间可以存在一个或多个居中的元件。当一个元件被表述“连接”另一个元件，它可以是直接连接到另一个元件、或者其间可以存在一个或多个居中的元件。本说明书所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。
除非另有定义，本说明书所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本说明书中在本发明的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是用于限制本发明。本说明书所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
实施例1
如图1所示，本发明实施例提供无人机拍摄的图像补偿方法，包括：
步骤10：获取所述无人机的摄像装置拍摄的待补偿图像。
摄像装置可以是由一个或多个摄像头或摄像机组成，可以拍摄图像或视频，可设置各种拍摄模式，如日间拍摄、夜间拍摄、全景拍摄和动态拍摄等模式。
步骤20：获取所述无人机的当前拍摄参数。
无人机的当前拍摄参数具体可以为无人机的摄像装置的拍摄角度，摄像装置的拍摄角度与无人机的航向、摄像装置的俯仰及横滚均有关系。
步骤30：根据所述当前拍摄参数，在所述待补偿图像上进行标定得到遮挡区域，其中，所述遮挡区域为所述摄像装置拍摄待补偿图像时被所述无人机的透明机身或半透明机身遮挡的部分。
由于无人机机身有透明机身或半透明机身，摄像装置拍摄待补偿图像时将该部分摄入图像，造成了待补偿图像上出现被遮挡的部分。遮挡区域通过在待补偿图像上进行标定得到。本实施例将忽略透明机身或半透明机身产生的折射效应，即认为折射率趋近为0。此外，透明或半透明的机身可以根据透光的程度(即透明度)来表示，可以通过百分比来定义透明度，如0％表示完全不透明，50％表示半透明，100％表示完全透明。
步骤40：采集所述遮挡区域的临近区域的图像参数。
图像参数可以包括但不限于颜色、亮度、分辨率、对比度和灰度值等。遮挡区域的临近区域为遮挡区域附近的区域，一般认为，遮挡区域附近的区域的图像参数与遮挡区域的图像参数大致相同，或者相差较小。
步骤50：根据所述临近区域的图像参数，校准所述遮挡区域的图像参数，得到补偿图像。
根据所述临近区域的图像参数，校准所述遮挡区域的图像参数，由于遮挡区域为所述摄像装置拍摄待补偿图像时被所述无人机的透明机身或半透明机身遮挡的部分，透明物体或半透明物体遮挡导致遮挡区域和非遮挡区域图像间色调与明暗存在明显差异，可采用色彩校正算法，或者图像复原技术对遮挡区域的图像进行补偿。
本发明实施例的有益效果在于，本发明实施例提供的无人机拍摄的图像补偿方法，获取无人机的摄像装置拍摄的待补偿图像，获取无人机的当前拍摄参数；根据当前拍摄参数，在待补偿图像上进行标定得到遮挡区域，其中，遮挡区域为摄像装置拍摄待补偿图像时被无人机的透明机身或半透明机身遮挡的部分；采集遮挡区域的临近区域的图像参数；根据临近区域的图像参数，校准遮挡区域的图像参数，得到补偿图像。实施本发明实施例，通过标定得到遮挡区域，根据临近区域的图像参数校准遮挡区域的图像参数，使摄像装置拍摄的待补偿图像中被无人机的透明机身或半透明机身遮挡的部分得以补偿，提高了图像质量。
步骤50中校准所述遮挡区域的颜色和亮度可使用色彩校正算法，当遮挡区域为所述摄像装置拍摄待补偿图像时被所述无人机的透明机身遮挡的部分时，色彩校正算法的公式为：
new＝Coeff[0]*old+Coeff[1]
式中，new是校正后的图像RGB某个通道像素值，old是该通道未校正的图像RGB像素值，Coeff[0]和Coeff[1]是校正系数。
校正系数计算方法如下：
对对应值进行统计
xi+＝xav；
yi+＝yav；
xi2+＝xav*xav；
xy+＝xav*yav；
xav是遮挡区域某个通道的像素值。yav是非遮挡区域某个通道的像素值。
Coeff[0]＝(numPts*xy-xi*yi)/(numPts*xi2-xi*xi)；
Coeff[1]＝(xi2*yi-xy*xi)/(numPts*xi2-xi*xi)；
其中numPts是统计的像素点的个数。
当然，除了上述公式提供的色彩校正算法，也可采用其他对色彩校正算法，或采用图像复原技术对遮挡区域校准补偿，本发明实施例对此不做限制。
在另一实施例中，如图2所示，所述待补偿图像的数量为至少两幅，所述方法还包括：
步骤60：拼接至少两副所述补偿图像，得到全景图像。
全景摄像机与VR(Virtual Reality，虚拟现实)结合是无人机发展的方向之一。用户借助全景技术和VR，将自身代入全景摄像机拍摄的图像场景中，以获得更好的用户体验。目前，无人机上一般通过搭配多个摄像头来实现全景360度摄像方案。本发明实施例将无人机全景摄像机拍摄的至少两副待补偿图像，采用上述步骤10-50，得到至少两副补偿图像，再进行拼接得到全景图像，提高了无人机全景摄像机拍摄的图像的质量。
在又一实施例中，如图3所示，所述当前拍摄参数包括所述无人机的当前云台角度，所述根据所述当前拍摄参数，在所述待补偿图像上进行标定得到遮挡区域包括：
步骤31：根据预先建立的云台角度与遮挡区域参数的对应关系，查找与所述当前云台角度对应的遮挡区域参数，其中，不同云台角度对应的遮挡区域参数不同。
可预先遍历不同的云台角度，在不同的云台角度下拍摄不同的待补偿图像，将待补偿图像从无人机导出到电脑软件上，通过辨别获得不同的待补偿图像的遮挡区域，并获取遮挡区域的边界或者遮挡区域边界点的坐标，作为遮挡区域参数。根据预定角度间隔调整无人机的云台角度；获取预定云台角度的摄像头拍摄的预定角度图像及其对应的云台角度，根据所述预定角度图像得到遮挡区域参数。预定角度间隔可根据无人机上摄像装置的安装位置或广角的不同来设定。云台角度具体为云台陀螺仪对应的角度。遮挡区域参数可预先保存到无人机，例如保存到无人机的存储器。
当前云台角度有其对应的遮挡区域参数，通过查找与所述当前云台角度对应的遮挡区域参数，为后面获取遮挡区域提供依据。
步骤32：根据所述与当前云台角度对应的遮挡区域参数获得所述待补偿图像的遮挡区域。
所述与当前云台角度对应的遮挡区域参数，可以为当前云台角度下的遮挡区域的边界或者遮挡区域边界点的坐标，将当前云台角度下的遮挡区域的边界或者遮挡区域边界点的坐标套入待补偿图像，可获得待补偿图像的遮挡区域。
本发明实施例中，预先建立云台角度与遮挡区域参数的对应关系，将该对应关系存储到无人机，当无人机的摄像装置在不同云台角度下拍摄到待补偿图像，通过在该对应关系中查找对应的遮挡区域参数获得遮挡区域，遮挡区域的标记过程较快捷且准确，为后面的图像校准做好准备，整体上提升了图像补偿的速度和准确性。
在再一实施例中，如图4所示，所述图像参数包括颜色和亮度，所述根据所述临近区域的图像参数，校准所述遮挡区域的图像参数，得到补偿图像包括：
步骤51：获取所述遮挡区域附近M个像素范围的非遮挡区域为所述临近区域，其中，M为正整数。
M个像素范围的具体范围，可根据不同无人机型号、云台转动角度或摄像装置类型等实际情况设置。
步骤52：根据M个像素范围内的像素点的颜色和亮度，校准所述遮挡区域的颜色和亮度，得到补偿图像。
在本发明实施例中，根据标定得到的遮挡区域，取遮挡区域附近M个像素的非遮挡区域为临近区域，临近区域的图像参数，如临近区域的颜色和亮度值，可作为遮挡区域的颜色和亮度校正的参考数据。
在另一实施例中，如图5所示，所述采集所述遮挡区域的临近区域的图像参数之前，所述方法还包括：
步骤70：对所述遮挡区域进行修正，得到修正后遮挡区域。
根据预先建立云台角度与遮挡区域参数的对应关系，查找对应的遮挡区域参数获得遮挡区域，由于预设间隔的云台角度之间存在间隔，对云台角度的未完全遍历，又或者摄像装置拍摄待补偿图像时，存在一些抖动因素，得到的遮挡区域与实际遮挡区域可能存在不一致，则需要对遮挡区域进行修正。
对所述遮挡区域进行修正得到修正后遮挡区域之后，所述采集所述遮挡区域的临近区域的图像参数包括：
步骤41：采集所述修正后遮挡区域的临近区域的图像参数。
所述根据所述临近区域的图像参数，校准所述遮挡区域的图像参数，得到补偿图像包括：
步骤51：根据所述临近区域的图像参数，校准所述修正后遮挡区域的图像参数，得到补偿图像。
由于修正后遮挡区域更接近于实际遮挡区域，采集修正后遮挡区域的临近区域的图像参数及对其校准，可进一步提升图像质量。
具体地，如图6所示，对所述遮挡区域进行修正，得到修正后遮挡区域包括：
步骤71：获取遮挡区域附近T个像素范围内的像素亮度值；
T个像素范围可根据不同无人机型号、云台转动角度或摄像装置类型等实际情况设置。为减少运算量，结合T个像素范围的取值得到的修正后遮挡区域应尽量接近于实际遮挡区域的边界，具体为稍微小于实际遮挡区域的边界范围。
步骤72：判断T个像素范围内的像素亮度值相互之间的差值的绝对值是否大于阈值；
在通过辨别获得不同的待补偿图像的遮挡区域时，结合实际遮挡区域与非遮挡区域的亮度值的不同来设置阈值。
步骤73：若T个像素范围内的像素亮度值相互之间的差值的绝对值不大于阈值，扩大像素范围后继续判断T+1、T+2、……、T+N、T+N+1个像素范围内的像素亮度值之间的差值是否不大于阈值；
由于结合T个像素范围的取值得到的修正后遮挡区域稍微小于实际遮挡区域的边界，所以可以通过扩大像素范围后继续判断T+1、T+2、……、T+N、T+N+1个像素范围内的像素亮度值之间的差值是否不大于阈值。其中，T、N均为正整数。
步骤74：若T+N个像素范围内的像素亮度值相互之间的差值的绝对值不大于阈值，T+N+1个像素范围内的像素亮度值相互之间的差值的绝对值大于阈值，则将所述遮挡区域附近T+N个像素范围与所述遮挡区域的并集标记为修正后遮挡区域。
出现不大于阈值和大于阈值的情况时，就认为是实际遮挡区域的边界，则将所述遮挡区域附近T+N个像素范围与所述遮挡区域的并集标记为修正后遮挡区域。
本发明实施例中，由于遮挡区域为所述摄像装置拍摄待补偿图像时被所述无人机的透明机身或半透明机身遮挡的部分，实际遮挡区域与非遮挡区域在亮度上会不一致，在遮挡区域附近(T个像素范围内)进行遮挡识别，缩小或者扩大遮挡区域，通过对像素的亮度值进行比较，亮度值差的绝对值在阈值内，就认为是遮挡区域的，否则认为不是遮挡区域。
当然，在一些实施例中，也可将结合T个像素范围的取值得到的修正后遮挡区域设为稍微大于实际遮挡区域的边界，则在后续的判断比较中，通过不断缩小像素范围继续判断像素亮度值之间的差值是否大于阈值，一直到出现像素亮度值之间的差值是否不大于阈值，才能得到需要修正的像素范围。例如，若T-N个像素范围内的像素亮度值相互之间的差值的绝对值大于阈值，T-N-1个像素范围内的像素亮度值相互之间的差值的绝对值不大于阈值，判断T与N的大小，若T大于N，则认为实际遮挡区域大于所述遮挡区域，将所述遮挡区域附近T-N个像素范围与所述遮挡区域的并集标记为修正后遮挡区域。若T不大于N，则将所述遮挡区域附近T-N个像素范围与所述遮挡区域的交集，以及所述遮挡区域去掉上述交集后的区域一起标记为修正后遮挡区域。
进一步地，在另一些实施例中，取T个像素范围时，如未能较好地获知实际遮挡区域的边界，可将缩小和扩大遮挡区域同时应用，如果缩小遮挡区域的系列步骤找不到实际遮挡区域的边界时，可继续进行扩大遮挡区域的系列步骤；或者扩大遮挡区域的系列步骤找不到实际遮挡区域的边界时，可继续进行缩小遮挡区域的系列步骤。
实施例2
如图7所示，本发明实施例还提供一种无人机拍摄的图像补偿装置200，包括第一获取模块210、第二获取模块220、标定模块230、采集模块240和校准模块250。
第一获取模块210，用于获取所述无人机的摄像装置拍摄的待补偿图像；
第二获取模块220，用于获取所述无人机的当前拍摄参数；
标定模块230，用于根据所述当前拍摄参数，在所述待补偿图像上进行标定得到遮挡区域，其中，所述遮挡区域为所述摄像装置拍摄待补偿图像时被所述无人机的透明机身或半透明机身遮挡的部分；
采集模块240，用于采集所述遮挡区域的临近区域的图像参数；
校准模块250，用于根据所述临近区域的图像参数，校准所述遮挡区域的图像参数，得到补偿图像。
需要说明的是，本申请实施例提出的无人机拍摄的图像补偿装置200与本申请方法实施例提出的无人机拍摄的图像补偿方法基于相同的发明构思，方法实施例与装置实施例中的相应技术内容可相互适用，此处不再详述。
本发明实施例的有益效果在于，本发明实施例提供的无人机拍摄的图像补偿装置200，通过标定得到遮挡区域，根据临近区域的图像参数校准遮挡区域的图像参数，使摄像装置拍摄的待补偿图像中被无人机的透明机身或半透明机身遮挡的部分得以补偿，提高了图像质量。
在另一实施例中，如图8所示，所述待补偿图像的数量为至少两幅，所述装置还包括拼接模块260，用于拼接至少两副所述补偿图像，得到全景图像。
本发明实施例将无人机全景摄像机拍摄的至少两副待补偿图像，经校准得到至少两副补偿图像，再进行拼接得到全景图像，提高了无人机全景摄像机拍摄的图像的质量。
在又一实施例中，如图9所示，所述当前拍摄参数包括所述无人机的当前云台角度，所述标定模块230包括查找单元231和获得单元232。
查找单元231，用于根据预先建立的云台角度与遮挡区域参数的对应关系，查找与所述当前云台角度对应的遮挡区域参数，其中，不同云台角度对应的遮挡区域参数不同；
获得单元232，用于根据所述与当前云台角度对应的遮挡区域参数获得所述待补偿图像的遮挡区域。
本发明实施例中，预先建立云台角度与遮挡区域参数的对应关系，将遮挡区域参数存储到无人机，当无人机的摄像装置在不同云台角度下拍摄到待补偿图像，通过查找对应的遮挡区域参数获得遮挡区域，遮挡区域的标记过程较快捷且准确，为后面的图像校准做好准备，整体上提升了图像补偿的速度和准确性。
在再一实施例中，如图10所示，所述图像参数包括颜色和亮度，所述校准模块250包括获取单元251和校准单元252。
获取单元251，用于获取所述遮挡区域附近M个像素范围的非遮挡区域为所述临近区域，其中，M为正整数；
校准单元252，用于根据M个像素范围内的像素点的颜色和亮度，校准所述遮挡区域的颜色和亮度，得到补偿图像。
在本发明实施例中，根据标定得到的遮挡区域，取遮挡区域附近M个像素的非遮挡区域为临近区域，临近区域的图像参数，如临近区域的颜色和亮度值，可作为遮挡区域的颜色和亮度校正的参考数据。
在另一实施例中，如图11所示，所述装置还包括修正模块270，用于在采集模块240采集所述遮挡区域的临近区域的图像参数之前，对所述遮挡区域进行修正，得到修正后遮挡区域。
根据预先建立云台角度与遮挡区域参数的对应关系，查找对应的遮挡区域参数获得遮挡区域，由于预设间隔的云台角度之间存在间隔，对云台角度的未完全遍历，又或者摄像装置拍摄待补偿图像时，存在一些抖动因素，得到的遮挡区域与实际遮挡区域可能存在不一致，则需要对遮挡区域进行修正。
相应地，采集模块240具体用于采集所述修正后遮挡区域的临近区域的图像参数；
校准模块250具体用于根据所述临近区域的图像参数，校准所述修正后遮挡区域的图像参数，得到补偿图像。
由于修正后遮挡区域更接近于实际遮挡区域，采集修正后遮挡区域的临近区域的图像参数及对其校准，可进一步提升图像质量。
具体地，如图12所示，所述修正模块270包括第一获取单元271、第一判断单元272、第二判断单元273和标记单元274。
第一获取单元271，用于获取遮挡区域附近T个像素范围内的像素亮度值；
第一判断单元272，用于判断T个像素范围内的像素亮度值相互之间的差值的绝对值是否大于阈值；
第二判断单元273，用于当第一判断单元272判断出T个像素范围内的像素亮度值相互之间的差值的绝对值不大于阈值时，扩大像素范围后继续判断T+1、T+2、……、T+N、T+N+1个像素范围内的像素亮度值之间的差值是否不大于阈值；
标记单元274，用于当第二判断单元273判断出T+N个像素范围内的像素亮度值相互之间的差值的绝对值不大于阈值，T+N+1个像素范围内的像素亮度值相互之间的差值的绝对值大于阈值时，则将所述遮挡区域附近T+N个像素范围与所述遮挡区域的并集标记为修正后遮挡区域。
本发明实施例中，由于遮挡区域为所述摄像装置拍摄待补偿图像时被所述无人机的透明机身或半透明机身遮挡的部分，实际遮挡区域与非遮挡区域在亮度上会不一致，在遮挡区域附近(T个像素范围内)进行遮挡识别，缩小或者扩大遮挡区域，通过对像素的亮度值进行比较，亮度值差的绝对值在阈值内，就认为是遮挡区域的，否则认为不是遮挡区域。
实施例3
本发明实施例还提供无人机600，如图13所示，在本实施例中，无人机600可以为四旋翼无人机。无人机600，包括机身610、云台620、摄像装置630、处理器640和存储器650。摄像装置630固定在所述云台620上，云台620与机身610可转动地连接，所述机身610被所述摄像装置630拍摄待补偿图像时摄入的部分为透明机身或半透明机身。透明机身采用透明材料制作，半透明机身采用半透明材料制作。处理器640位于机身610内部，存储器650与所述处理器640通信连接，其中，存储器650存储有可被所述处理器640执行的指令，所述指令被所述处理器执640行，以使所述处理器640能够执行上述无人机拍摄的图像补偿方法。
需要说明的是，本申请实体装置实施例提出的无人机600与本申请方法实施例提出的无人机拍摄的图像补偿方法基于相同的发明构思、与本申请虚拟装置实施例提出的无人机拍摄的图像补偿装置200基于相同的发明构思，实体装置实施例与方法实施例、装置实施例中的相应技术内容可相互适用，此处不再详述。
本发明实施例的有益效果在于，本发明实施例提供的无人机600，通过标定得到遮挡区域，根据临近区域的图像参数校准遮挡区域的图像参数，使摄像装置拍摄的待补偿图像中被无人机的透明机身或半透明机身遮挡的部分得以补偿，提高了图像质量。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (13)

1.一种无人机拍摄的图像补偿方法，其特征在于，包括：
获取所述无人机的摄像装置拍摄的待补偿图像；
获取所述无人机的当前拍摄参数；
根据所述当前拍摄参数，在所述待补偿图像上进行标定得到遮挡区域，其中，所述遮挡区域为所述摄像装置拍摄待补偿图像时被所述无人机的透明机身或半透明机身遮挡的部分；
采集所述遮挡区域的临近区域的图像参数；
根据所述临近区域的图像参数，校准所述遮挡区域的图像参数，得到补偿图像。
2.如权利要求1所述的方法，其特征在于，所述待补偿图像的数量为至少两幅，所述方法还包括：
拼接至少两副所述补偿图像，得到全景图像。
3.如权利要求1所述的方法，其特征在于，所述当前拍摄参数包括所述无人机的当前云台角度，所述根据所述当前拍摄参数，在所述待补偿图像上进行标定得到遮挡区域包括：
根据预先建立的云台角度与遮挡区域参数的对应关系，查找与所述当前云台角度对应的遮挡区域参数，其中，不同云台角度对应的遮挡区域参数不同；
根据所述与当前云台角度对应的遮挡区域参数获得所述待补偿图像的遮挡区域。
4.如权利要求1至3任一项所述的方法，其特征在于，所述图像参数包括颜色和亮度，所述根据所述临近区域的图像参数，校准所述遮挡区域的图像参数，得到补偿图像包括：
获取所述遮挡区域附近M个像素范围的非遮挡区域为所述临近区域，其中，M为正整数；
根据M个像素范围内的像素点的颜色和亮度，校准所述遮挡区域的颜色和亮度，得到补偿图像。
5.如权利要求1至3任一项所述的方法，其特征在于，所述采集所述遮挡区域的临近区域的图像参数之前，所述方法还包括：
对所述遮挡区域进行修正，得到修正后遮挡区域；
其中，所述采集所述遮挡区域的临近区域的图像参数包括：
采集所述修正后遮挡区域的临近区域的图像参数；
所述根据所述临近区域的图像参数，校准所述遮挡区域的图像参数，得到补偿图像包括：
根据所述临近区域的图像参数，校准所述修正后遮挡区域的图像参数，得到补偿图像。
6.如权利要求5所述的方法，其特征在于，所述对所述遮挡区域进行修正，得到修正后遮挡区域包括：
获取遮挡区域附近T个像素范围内的像素亮度值；
判断T个像素范围内的像素亮度值相互之间的差值的绝对值是否大于阈值；
若T个像素范围内的像素亮度值相互之间的差值的绝对值不大于阈值，扩大像素范围后继续判断T+1、T+2、……、T+N、T+N+1个像素范围内的像素亮度值之间的差值是否不大于阈值；
若T+N个像素范围内的像素亮度值相互之间的差值的绝对值不大于阈值，T+N+1个像素范围内的像素亮度值相互之间的差值的绝对值大于阈值，则将所述遮挡区域附近T+N个像素范围与所述遮挡区域的并集标记为修正后遮挡区域。
7.一种无人机拍摄的图像补偿装置，其特征在于，包括：
第一获取模块，用于获取所述无人机的摄像装置拍摄的待补偿图像；
第二获取模块，用于获取所述无人机的当前拍摄参数；
标定模块，用于根据所述当前拍摄参数，在所述待补偿图像上进行标定得到遮挡区域，其中，所述遮挡区域为所述摄像装置拍摄待补偿图像时被所述无人机的透明机身或半透明机身遮挡的部分；
采集模块，用于采集所述遮挡区域的临近区域的图像参数；
校准模块，用于根据所述临近区域的图像参数，校准所述遮挡区域的图像参数，得到补偿图像。
8.如权利要求7所述的装置，其特征在于，所述待补偿图像的数量为至少两幅，所述装置还包括：
拼接模块，用于拼接至少两副所述补偿图像，得到全景图像。
9.如权利要求7所述的装置，其特征在于，所述当前拍摄参数包括所述无人机的当前云台角度，所述标定模块包括：
查找单元，用于根据预先建立的云台角度与遮挡区域参数的对应关系，查找与所述当前云台角度对应的遮挡区域参数，其中，不同云台角度对应的遮挡区域参数不同；
获得单元，用于根据所述与当前云台角度对应的遮挡区域参数获得所述待补偿图像的遮挡区域。
10.如权利要求7至9任一项所述的装置，其特征在于，所述图像参数包括颜色和亮度，所述校准模块包括：
获取单元，用于获取所述遮挡区域附近M个像素范围的非遮挡区域为所述临近区域，其中，M为正整数；
校准单元，用于根据M个像素范围内的像素点的颜色和亮度，校准所述遮挡区域的颜色和亮度，得到补偿图像。
11.如权利要求7至9任一项所述的装置，其特征在于，所述装置还包括：
修正模块，用于在所述采集模块采集所述遮挡区域的临近区域的图像参数之前，对所述遮挡区域进行修正，得到修正后遮挡区域；
所述采集模块具体用于采集所述修正后遮挡区域的临近区域的图像参数；
所述校准模块具体用于根据所述临近区域的图像参数，校准所述修正后遮挡区域的图像参数，得到补偿图像。
12.如权利要求11所述的装置，其特征在于，所述修正模块包括：
第一获取单元，用于获取遮挡区域附近T个像素范围内的像素亮度值；
第一判断单元，用于判断T个像素范围内的像素亮度值相互之间的差值的绝对值是否大于阈值；
第二判断单元，用于当所述第一判断单元判断出T个像素范围内的像素亮度值相互之间的差值的绝对值不大于阈值时，扩大像素范围后继续判断T+1、T+2、……、T+N、T+N+1个像素范围内的像素亮度值之间的差值是否不大于阈值；
标记单元，用于当所述第二判断单元判断出T+N个像素范围内的像素亮度值相互之间的差值的绝对值不大于阈值，T+N+1个像素范围内的像素亮度值相互之间的差值的绝对值大于阈值时，则将所述遮挡区域附近T+N个像素范围与所述遮挡区域的并集标记为修正后遮挡区域。
13.一种无人机，其特征在于，包括：
云台；
摄像装置，所述摄像装置固定在所述云台上；
机身，所述云台与机身可转动地连接，所述机身被所述摄像装置拍摄待补偿图像时摄入的部分为透明机身或半透明机身；
处理器，所述处理器位于机身内部；以及，
与所述处理器通信连接的存储器；其中，
所述存储器存储有可被所述处理器执行的指令，所述指令被所述处理器执行，以使所述处理器能够执行如权利要求1-6任一项所述的方法。
CN201611223741.1A 2016-12-27 2016-12-27 一种无人机拍摄的图像补偿方法、装置及无人机 Pending CN106488139A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611223741.1A CN106488139A (zh) 2016-12-27 2016-12-27 一种无人机拍摄的图像补偿方法、装置及无人机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611223741.1A CN106488139A (zh) 2016-12-27 2016-12-27 一种无人机拍摄的图像补偿方法、装置及无人机

Publications (1)

Publication Number Publication Date
CN106488139A true CN106488139A (zh) 2017-03-08

Family

ID=58285692

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611223741.1A Pending CN106488139A (zh) 2016-12-27 2016-12-27 一种无人机拍摄的图像补偿方法、装置及无人机

Country Status (1)

Country Link
CN (1) CN106488139A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108447105A (zh) * 2018-02-02 2018-08-24 微幻科技(北京)有限公司 一种全景图像的处理方法及装置
CN108513567A (zh) * 2017-03-23 2018-09-07 深圳市大疆创新科技有限公司 图像融合的方法和无人飞行器
CN109064958A (zh) * 2018-08-24 2018-12-21 上海易密值半导体技术有限公司 基于GPU的color demura系统
CN110291529A (zh) * 2018-05-31 2019-09-27 深圳市大疆创新科技有限公司 一种图像处理方法、设备、飞行器、系统及存储介质
CN111583338A (zh) * 2020-04-26 2020-08-25 北京三快在线科技有限公司 用于无人设备的定位方法、装置、介质及无人设备
CN112414373A (zh) * 2020-11-24 2021-02-26 中国电建集团昆明勘测设计研究院有限公司 一种基于无人机、vr技术的自动解译方法
CN113329182A (zh) * 2017-08-31 2021-08-31 深圳市大疆创新科技有限公司 一种图像处理方法、无人机及系统
WO2021196014A1 (zh) * 2020-03-31 2021-10-07 深圳市大疆创新科技有限公司 一种图像处理的方法、装置、拍摄系统、拍摄装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103093426A (zh) * 2012-12-14 2013-05-08 西安电子科技大学 恢复定标板遮挡区域的纹理和光照的方法
CN103455981A (zh) * 2013-08-28 2013-12-18 天津大学 一种公交车车载视频中乘客被手扶杆遮挡图像的修复方法
CN103473746A (zh) * 2013-09-16 2013-12-25 浙江工业大学 增强现实中定标板的实时移除方法
WO2014162324A1 (en) * 2013-04-04 2014-10-09 Virtualmind Di Davide Angelelli Spherical omnidirectional video-shooting system
CN105678685A (zh) * 2015-12-29 2016-06-15 小米科技有限责任公司 图片处理方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103093426A (zh) * 2012-12-14 2013-05-08 西安电子科技大学 恢复定标板遮挡区域的纹理和光照的方法
WO2014162324A1 (en) * 2013-04-04 2014-10-09 Virtualmind Di Davide Angelelli Spherical omnidirectional video-shooting system
CN103455981A (zh) * 2013-08-28 2013-12-18 天津大学 一种公交车车载视频中乘客被手扶杆遮挡图像的修复方法
CN103473746A (zh) * 2013-09-16 2013-12-25 浙江工业大学 增强现实中定标板的实时移除方法
CN105678685A (zh) * 2015-12-29 2016-06-15 小米科技有限责任公司 图片处理方法及装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108513567A (zh) * 2017-03-23 2018-09-07 深圳市大疆创新科技有限公司 图像融合的方法和无人飞行器
WO2018170857A1 (zh) * 2017-03-23 2018-09-27 深圳市大疆创新科技有限公司 图像融合的方法和无人飞行器
CN113329182A (zh) * 2017-08-31 2021-08-31 深圳市大疆创新科技有限公司 一种图像处理方法、无人机及系统
CN108447105A (zh) * 2018-02-02 2018-08-24 微幻科技(北京)有限公司 一种全景图像的处理方法及装置
CN110291529A (zh) * 2018-05-31 2019-09-27 深圳市大疆创新科技有限公司 一种图像处理方法、设备、飞行器、系统及存储介质
WO2019227438A1 (zh) * 2018-05-31 2019-12-05 深圳市大疆创新科技有限公司 一种图像处理方法、设备、飞行器、系统及存储介质
CN109064958A (zh) * 2018-08-24 2018-12-21 上海易密值半导体技术有限公司 基于GPU的color demura系统
WO2021196014A1 (zh) * 2020-03-31 2021-10-07 深圳市大疆创新科技有限公司 一种图像处理的方法、装置、拍摄系统、拍摄装置
CN111583338A (zh) * 2020-04-26 2020-08-25 北京三快在线科技有限公司 用于无人设备的定位方法、装置、介质及无人设备
CN111583338B (zh) * 2020-04-26 2023-04-07 北京三快在线科技有限公司 用于无人设备的定位方法、装置、介质及无人设备
CN112414373A (zh) * 2020-11-24 2021-02-26 中国电建集团昆明勘测设计研究院有限公司 一种基于无人机、vr技术的自动解译方法

Similar Documents

Publication Publication Date Title
CN106488139A (zh) 一种无人机拍摄的图像补偿方法、装置及无人机
CN106875339B (zh) 一种基于长条形标定板的鱼眼图像拼接方法
CN109685913B (zh) 基于计算机视觉定位的增强现实实现方法
CN110842940A (zh) 一种建筑测量机器人多传感器融合三维建模方法及系统
CN106600644B (zh) 全景摄像机的参数矫正方法及装置
CN110956661B (zh) 基于双向单应矩阵的可见光与红外相机动态位姿计算方法
CN110335211A (zh) 深度图像的校正方法、终端设备以及计算机存储介质
CN104423913B (zh) 光线参数测量方法、装置及屏幕调节方法、电子设备
CN106851092B (zh) 一种红外视频拼接方法和装置
CN102368137B (zh) 嵌入式标定立体视觉系统
CN109961485A (zh) 一种基于单目视觉进行目标定位的方法
CN100481966C (zh) 基于平面单应矩阵特征线的摄像机标定方法
CN107993263A (zh) 环视系统自动标定方法、汽车、标定装置及存储介质
CN109919911A (zh) 基于多视角光度立体的移动三维重建方法
CN106447602A (zh) 一种图像拼接方法及装置
CN110288527A (zh) 一种车载环视相机全景鸟瞰图生成方法
CN105931261A (zh) 一种双目立体相机外参数修正方法及装置
CN111080709A (zh) 基于轨迹特征配准的多光谱立体相机自标定算法
CN110910456B (zh) 基于Harris角点互信息匹配的立体相机动态标定方法
CN110335307A (zh) 标定方法、装置、计算机存储介质和终端设备
CN106023073A (zh) 一种图像拼接系统
KR20040090711A (ko) 화상합성 방법, 장치, 및 프로그램, 및 입체모델의 렌더링방법, 장치, 및 프로그램
CN106991706A (zh) 一种拍摄校准方法及系统
CN104574278A (zh) 基于局部反馈机制与稀疏全局调整的航拍图像拼接方法
CN106067937A (zh) 镜头模块阵列、图像感测装置与数字缩放图像融合方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170308