CN106506941A - 图像处理的方法及装置、飞行器 - Google Patents

图像处理的方法及装置、飞行器 Download PDF

Info

Publication number
CN106506941A
CN106506941A CN201610914681.1A CN201610914681A CN106506941A CN 106506941 A CN106506941 A CN 106506941A CN 201610914681 A CN201610914681 A CN 201610914681A CN 106506941 A CN106506941 A CN 106506941A
Authority
CN
China
Prior art keywords
image
lens module
module
target object
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610914681.1A
Other languages
English (en)
Inventor
刘洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Autel Intelligent Aviation Technology Co Ltd
Original Assignee
Shenzhen Autel Intelligent Aviation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Autel Intelligent Aviation Technology Co Ltd filed Critical Shenzhen Autel Intelligent Aviation Technology Co Ltd
Priority to CN201610914681.1A priority Critical patent/CN106506941A/zh
Publication of CN106506941A publication Critical patent/CN106506941A/zh
Priority to PCT/CN2017/106143 priority patent/WO2018072657A1/zh
Priority to US16/388,292 priority patent/US10904430B2/en
Priority to US17/122,672 priority patent/US20210105403A1/en
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00—Constructional aspects of UAVs
    • B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Mechanical Engineering (AREA)
  • Remote Sensing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

本发明实施方式公开了一种图像处理的方法及装置、飞行器，通过获取所述第一镜头模组拍摄的第一图像，所述第一图像中包含目标对象，进而根据所述目标对象位于所述第一图像中的位置，调整所述第二镜头模组的光轴，使得所述第二镜头模组的光轴朝向所述目标对象，再通过获取所述第二镜头模组拍摄的第二图像，根据所述第一图像和所述第二图像，确定输出图像，能够同时兼顾大视角场景和小视角场景中目标对象的状况。

Description

图像处理的方法及装置、飞行器
技术领域
本发明实施方式涉及图像处理技术领域，特别是涉及一种图像处理的方法及装置、飞行器。
背景技术
目前，在有些飞行器中配备标准镜头进行航拍，焦点定义在无穷远处，再加上图像传感器的分辨率非常有限，因此，对于地面场景中的一些小目标无法拍摄清楚。同时，一般用作航拍的镜头视角比较狭小，拍摄到的场景范围比较有限。在有些飞行器中配备变焦镜头进行航拍，视角在10°～90°之间进行调整，为了清楚地拍摄地面场景中的小目标，需要将镜头往长焦方向进行变焦，为了拍摄较广的场景，需要将镜头往广角方向切换。
发明人在实现本发明实施例的过程中发现：现有技术中，通过镜头的伸缩来调整场景视角的大小，无法同时兼顾大视角场景和小视角场景中的状况。
发明内容
本发明实施方式主要解决的技术问题是提供一种图像处理的方法及装置、飞行器，能够同时兼顾大视角场景和小视角场景中的状况。
第一方面，本发明实施例提供了一种图像处理的方法，所述图像由多目摄像装置拍摄，所述多目摄像装置包括第一镜头模组和第二镜头模组，所述方法包括：
获取所述第一镜头模组拍摄的第一图像，所述第一图像中包含目标对象；
根据所述目标对象位于所述第一图像中的位置，调整所述第二镜头模组的光轴，使得所述第二镜头模组的光轴朝向所述目标对象；
获取所述第二镜头模组拍摄的第二图像；
根据所述第一图像和所述第二图像，确定输出图像。
第二方面，本发明实施例提供了一种图像处理的装置，所述图像由多目摄像装置拍摄，所述多目摄像装置包括第一镜头模组和第二镜头模组，所述装置包括：
第一获取模块，用于获取所述第一镜头模组拍摄的第一图像，所述第一图像中包含目标对象；
调整模块，用于根据所述目标对象位于所述第一图像中的位置，调整所述第二镜头模组的光轴，使得所述第二镜头模组的光轴朝向所述目标对象；
第二获取模块，用于获取所述第二镜头模组拍摄的第二图像；
图像确定模块，用于根据所述第一图像和所述第二图像，确定输出图像。
第三方面，本发明实施例提供了一种飞行器，包括：本体、设于所述本体的云台、设于所述云台的多目摄像装置，所述多目摄像装置包括第一镜头模组和第二镜头模组，所述飞行器还包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述图像处理的方法。
本发明实施例提供的一种图像处理的方法及装置、飞行器，通过获取所述第一镜头模组拍摄的第一图像，所述第一图像中包含目标对象，进而根据所述目标对象位于所述第一图像中的位置，调整所述第二镜头模组的光轴，使得所述第二镜头模组的光轴朝向所述目标对象，再通过获取所述第二镜头模组拍摄的第二图像，根据所述第一图像和所述第二图像，确定输出图像，能够同时兼顾大视角场景和小视角场景中目标对象的状况。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种图像处理的方法的流程图；
图2a是第一图像和第二图像的示意图；
图2b是本发明实施例提供的图像合成得到的输出图像的示意图；
图2c是本发明实施例提供的图像叠加得到的输出图像的示意图；
图3是本发明又一实施例提供的一种图像处理的方法的流程图；
图4是本发明实施例提供的一种图像处理的装置的功能框图；
图5是本发明又一实施例提供的一种图像处理的装置的功能框图；
图6是本发明实施例提供的执行图像处理的方法的飞行器的硬件结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
下面结合具体附图对本发明实施例作具体阐述。
如图1所示，本发明实施例提供了一种图像处理的方法，所述图像由多目摄像装置拍摄，所述多目摄像装置包括第一镜头模组和第二镜头模组，所述方法可以包括：
步骤S11、获取所述第一镜头模组拍摄的第一图像，所述第一图像中包含目标对象。
在本发明实施例中，目标对象可以包括但不限于人、动物、植物、汽车、建筑等物体。第一图像可以是第一镜头模组捕捉到的单帧图像。在步骤S11之前，所述方法还包括：获取目标对象的特征参数，其中，所述特征参数用于跟踪所述目标对象，可以用来表征目标对象的整体轮廓。例如，所述多目摄像装置安装于飞行器，通过获取汽车的车牌和/或车身轮廓和/或车身颜色等特征参数，飞行器能够锁定所述汽车，进而跟踪所述汽车。又如，通过获取人的脸部和/或躯干轮廓和/或衣着颜色等特征参数，能够实现对人物的跟踪。可以通过第一镜头模组拍摄目标对象，进而获得目标对象的特征参数；也可以通过服务器或其他智能终端等设备将目标对象的特征参数通过无线传输的方式发送过来而获得的，本发明实施例不作限定。
步骤S13、根据所述目标对象位于所述第一图像中的位置，调整所述第二镜头模组的光轴，使得所述第二镜头模组的光轴朝向所述目标对象。
在本发明实施例中，所述方法可以应用于携带有多目摄像装置的飞行器，第一镜头模组和第二镜头模组设置于飞行器的云台上，可以利用飞行器的云台来调整第二镜头模组的光轴的方向，使得第二镜头模组的光轴朝向目标对象。
步骤S15、获取所述第二镜头模组拍摄的第二图像。
在本发明实施例中，第二镜头模组的光轴朝向目标对象后，第二镜头模组拍摄第二图像，该第二图像中包含目标对象。
作为一种可选的实施方式，所述第一镜头模组的焦距和所述第二镜头模组的焦距均为固定焦距。由于变焦镜头所配置的图像传感器是单一的，且不能变化，而采用定焦的第一镜头模组和第二镜头模组可以灵活配置相应分辨率的图像传感器。此外，变焦镜头普遍要比定焦镜头重，第一镜头模组和第二镜头模组均为定焦镜头，在设计中可以采用更轻的材料而且少了变焦镜头的机械装置，从而可以减轻飞行器的负担。
在本发明实施例中，第一镜头模组的焦距与第二镜头模组的焦距不同。较佳的，第一镜头模组的焦距小于第二镜头模组的焦距。所述第一镜头模组可以包括标准镜头模组和/或广角镜头模组，所述第二镜头模组可以包括长焦镜头模组。第一镜头模组拍摄的第一图像属于大视角场景，第二镜头模组拍摄的第二图像属于小视角场景。
在所述第一镜头模组包括标准镜头模组和广角镜头模组的情况下，标准镜头模组、广角镜头模组以及长焦镜头模组可以呈三角形排列，也可以呈直线排列。可选的，标准镜头模组的等效焦距可以为35mm，广角镜头模组的等效焦距可以为18mm至24mm，长焦镜头模组的等效焦距可以为广角镜头模组的等效焦距的3倍至20倍。
步骤S17、根据所述第一图像和所述第二图像，确定输出图像。
作为一种可选的实施方式，第一图像和第二图像的结合方式可以是图像合成。具体的，如图2a所示，将第一图像210中包含所述第二图像的区域211替换为第二图像220，如图2b所示，确定包含第二图像220的第一图像210为输出图像。即，利用拍摄到的小视角清晰图像取代大视角中对应区域的图像，从而可以在大视角图像中看到目标对象的清晰图像。
作为一种可选的实施方式，第一图像和第二图像的结合方式也可以是图像叠加。具体的，如图2c所示，将第二图像230叠加于第一图像240，确定叠加后的第一图像240和所述第二图像230为输出图像。可以将第二图像230叠加于第一图像240右上角、左上角、右下角、左下角等位置，可以根据用户操作，放大或者缩小第二图像230，例如，通过双击操作放大第二图像230，使第二图像230全屏显示，并缩小第一图像240，可以使第一图像240位于原先第二图像230所处位置。
本发明实施例提供了一种图像处理的方法，通过获取所述第一镜头模组拍摄的第一图像，所述第一图像中包含目标对象，进而根据所述目标对象位于所述第一图像中的位置，调整所述第二镜头模组的光轴，使得所述第二镜头模组的光轴朝向所述目标对象，再通过获取所述第二镜头模组拍摄的第二图像，根据所述第一图像和所述第二图像，确定输出图像，能够同时兼顾大视角场景和小视角场景中目标对象的状况。
如图3所示，本发明又一实施例提供了一种图像处理的方法，所述图像由多目摄像装置拍摄，所述多目摄像装置包括第一镜头模组和第二镜头模组，所述方法包括：
步骤S31、获取所述第一镜头模组拍摄的第一图像，所述第一图像中包含目标对象。
步骤S33、根据所述目标对象位于所述第一图像中的位置，调整所述第二镜头模组的光轴，使得所述第二镜头模组的光轴朝向所述目标对象。
步骤S35、获取所述第二镜头模组拍摄的第二图像。
在本发明实施例中，对步骤S31、步骤S33以及步骤S35的解释说明请参考对上述步骤S11、步骤S13以及步骤S15的解释说明，在此不再赘述。
步骤S36、根据所述多目摄像装置的光轴偏移量，校正所述第一图像和所述第二图像。
在本发明实施例中，可以根据多目摄像装置的光轴偏移量，矫正所述第一图像和所述第二图像。例如，对所述第一图像和所述第二图像的畸变进行矫正。多目摄像装置的光轴偏移量为已知的。由于不同镜头之间存在差异，需要对其光轴进行矫正配准，从而可以得到光轴偏移量。
步骤S37、将矫正后的第一图像中包含所述第二图像的区域替换为矫正后的第二图像，确定包含矫正后的第二图像的第一图像为输出图像。
在本发明实施例中，对步骤S37的解释说明可以参考对上述步骤S17中第一图像和第二图像的结合方式是图像合成的解释说明。
本发明实施例提供了一种图像处理的方法，通过获取所述第一镜头模组拍摄的第一图像，所述第一图像中包含目标对象，进而根据所述目标对象位于所述第一图像中的位置，调整所述第二镜头模组的光轴，使得所述第二镜头模组的光轴朝向所述目标对象，再通过获取所述第二镜头模组拍摄的第二图像，根据所述多目摄像装置的光轴偏移量，校正所述第一图像和所述第二图像，将矫正后的第一图像中包含所述第二图像的区域替换为校正后的第二图像，确定包含矫正后的第二图像的第一图像为输出图像，能够同时兼顾大视角场景和小视角场景中目标对象的状况，得到结合效果较好的输出图像。
如图4所示，本发明实施例提供了一种图像处理的装置40，可以用于执行本发明实施例公开的图像处理的方法。所述图像由多目摄像装置拍摄，所述多目摄像装置包括第一镜头模组和第二镜头模组。其中，多目摄像装置可以安装于图像处理的装置40中，也可以安装于其他设备中，并通过该设备将拍摄到的图像传输至图像处理的装置40。所述装置40可以包括：第一获取模块41、调整模块43、第二获取模块45以及图像确定模块47。
第一获取模块41用于获取所述第一镜头模组拍摄的第一图像，所述第一图像中包含目标对象。
在本发明实施例中，目标对象可以包括但不限于人、动物、植物、汽车、建筑等物体。第一图像可以是第一镜头模组捕捉到的单帧图像。所述装置还可以包括：特征参数获取模块，用于在所述第一获取模块41获取所述第一镜头模组拍摄的第一图像之前，获取目标对象的特征参数，其中，所述特征参数用于跟踪所述目标对象，可以用来表征目标对象的整体轮廓。例如，所述多目摄像装置安装于飞行器，通过获取汽车的车牌和/或车身轮廓和/或车身颜色等特征参数，飞行器能够锁定所述汽车，进而跟踪所述汽车。
调整模块43用于根据所述目标对象位于所述第一图像中的位置，调整所述第二镜头模组的光轴，使得所述第二镜头模组的光轴朝向所述目标对象。
在本发明实施例中，图像处理的装置40可以包括但不限于携带有多目摄像装置的飞行器、相机、手机等设备。例如，假设图像处理的装置40为飞行器，第一镜头模组和第二镜头模组可以设置于飞行器的云台上，调整模块43可以通过控制飞行器的云台来调整第二镜头模组的光轴的方向，使得第二镜头模组的光轴朝向目标对象。
第二获取模块45用于获取所述第二镜头模组拍摄的第二图像。
在本发明实施例中，第二镜头模组的光轴朝向目标对象后，第二镜头模组拍摄第二图像，该第二图像中包含目标对象。
作为一种可选的实施方式，所述第一镜头模组的焦距和所述第二镜头模组的焦距均为固定焦距。较佳的，第一镜头模组的焦距小于第二镜头模组的焦距。所述第一镜头模组可以包括标准镜头模组和/或广角镜头模组，所述第二镜头模组可以包括长焦镜头模组。第一镜头模组拍摄的第一图像属于大视角场景，第二镜头模组拍摄的第二图像属于小视角场景。
在所述第一镜头模组包括标准镜头模组和广角镜头模组的情况下，标准镜头模组、广角镜头模组以及长焦镜头模组可以呈三角形排列，也可以呈直线排列。可选的，标准镜头模组的等效焦距可以为35mm，广角镜头模组的等效焦距可以为18mm至24mm，长焦镜头模组的等效焦距可以为广角镜头模组的等效焦距的3倍至20倍。
图像确定模块47用于根据所述第一图像和所述第二图像，确定输出图像。
作为一种可选的实施方式，第一图像和第二图像的结合方式可以是图像合成。具体的，如图2a所示，将第一图像210中包含所述第二图像的区域211替换为第二图像220，如图2b所示，确定包含第二图像220的第一图像210为输出图像。
作为一种可选的实施方式，第一图像和第二图像的结合方式也可以是图像叠加。具体的，如图2c所示，将第二图像230叠加于第一图像240，确定叠加后的第一图像240和所述第二图像230为输出图像，可以将第二图像230叠加于第一图像240右上角、左上角、右下角、左下角等位置，可以根据用户操作，放大或者缩小第二图像230，例如，通过双击操作放大第二图像230，以便覆盖第一图像240。
本发明实施例提供了一种图像处理的装置，通过第一获取模块获取所述第一镜头模组拍摄的第一图像，所述第一图像中包含目标对象，进而调整模块根据所述目标对象位于所述第一图像中的位置，调整所述第二镜头模组的光轴，使得所述第二镜头模组的光轴朝向所述目标对象，再通过第二获取模块获取所述第二镜头模组拍摄的第二图像，图像确定模块根据所述第一图像和所述第二图像，确定输出图像，能够同时兼顾大视角场景和小视角场景中目标对象的状况。
如图5所示，本发明实施例提供了一种图像处理的装置50，可以用于执行本发明实施例公开的图像处理的方法。所述图像由多目摄像装置拍摄，所述多目摄像装置包括第一镜头模组和第二镜头模组。其中，多目摄像装置可以安装于图像处理的装置50中，也可以安装于其他设备中，并通过该设备将拍摄到的图像传输至图像处理的装置50。所述装置50可以包括：第一获取模块51、调整模块53、第二获取模块55、校正模块56以及图像确定模块57。
第一获取模块51用于获取所述第一镜头模组拍摄的第一图像，所述第一图像中包含目标对象。
调整模块53用于根据所述目标对象位于所述第一图像中的位置，调整所述第二镜头模组的光轴，使得所述第二镜头模组的光轴朝向所述目标对象。
第二获取模块55用于获取所述第二镜头模组拍摄的第二图像。
在本发明实施例中，对第一获取模块51、调整模块53、第二获取模块55的解释说明请参考对上述第一获取模块41、调整模块43、第二获取模块45的解释说明，在此不再赘述。
校正模块56用于根据所述多目摄像装置的光轴偏移量，校正所述第一图像和所述第二图像。
在本发明实施例中，可以根据多目摄像装置的光轴偏移量，矫正所述第一图像和所述第二图像。例如，对所述第一图像和所述第二图像的畸变进行矫正。
图像确定模块57用于将校正后的第一图像中包含所述第二图像的区域替换为校正后的第二图像，确定包含校正后的第二图像的第一图像为所述输出图像。
在本发明实施例中，对图像确定模块57的解释说明可以参考对上述图像确定模块47中第一图像和第二图像的结合方式是图像合成的解释说明。
在本发明的其他实施例中，图像确定模块57还可以用于将所述第二图像叠加于所述第一图像，确定叠加后的所述第一图像和所述第二图像为所述输出图像。
本发明实施例提供了一种图像处理的装置，通过第一获取模块获取所述第一镜头模组拍摄的第一图像，所述第一图像中包含目标对象，进而调整模块根据所述目标对象位于所述第一图像中的位置，调整所述第二镜头模组的光轴，使得所述第二镜头模组的光轴朝向所述目标对象，再通过第二获取模块获取所述第二镜头模组拍摄的第二图像，校正模块根据所述多目摄像装置的光轴偏移量，校正所述第一图像和所述第二图像，图像确定模块将校正后的第一图像中包含所述第二图像的区域替换为校正后的第二图像，确定包含校正后的第二图像的第一图像为所述输出图像，能够同时兼顾大视角场景和小视角场景中目标对象的状况，得到结合效果较好的输出图像。
图6是本发明实施例提供的执行图像处理的方法的飞行器60的硬件结构示意图，该飞行器60可以包括：本体61、设于所述本体61的云台62、设于所述云台62的多目摄像装置63，所述多目摄像装置63包括第一镜头模组631和第二镜头模组632，所述飞行器60还可以包括：至少一个处理器64；以及与所述至少一个处理器64通信连接的存储器65；其中，所述存储器存储65有可被所述至少一个处理器64执行的指令，所述指令被所述至少一个处理器64执行，以使所述至少一个处理器64能够执行上述图像处理的方法，图6中以一个处理器64为例。处理器64和存储器65可以通过总线或其他方式连接，图6中以通过总线连接为例。
存储器65作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的用于执行图像处理的方法对应的程序指令/模块(例如，附图4所示的第一获取模块41、调整模块43、第二获取模块45以及图像确定模块47，附图5中的第一获取模块51、调整模块53、第二获取模块55、校正模块56以及图像确定模块57)。处理器64通过运行存储在存储器65中的非易失性软件程序、指令以及模块，从而执行飞行器60的各种功能应用以及数据处理，即实现上述方法实施例的图像处理的方法。
存储器65可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据飞行器60的使用所创建的数据等。此外，存储器65可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器65可选包括相对于处理器64远程设置的存储器，这些远程存储器可以通过网络连接至飞行器60。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器65中，当被所述一个或者多个处理器64执行时，执行上述任意方法实施例中的图像处理的方法，例如，执行以上描述的图1中的方法步骤S11、步骤S13、步骤S15、步骤S17，图3中的方法步骤S31、步骤S33、步骤S35、步骤S36、步骤S37，实现附图4所示的第一获取模块41、调整模块43、第二获取模块45以及图像确定模块47，附图5中的第一获取模块51、调整模块53、第二获取模块55、校正模块56以及图像确定模块57的功能。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；在本申请的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本申请的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (17)

1.一种图像处理的方法，其特征在于，所述图像由多目摄像装置拍摄，所述多目摄像装置包括第一镜头模组和第二镜头模组，所述方法包括：
获取所述第一镜头模组拍摄的第一图像，所述第一图像中包含目标对象；
根据所述目标对象位于所述第一图像中的位置，调整所述第二镜头模组的光轴，使得所述第二镜头模组的光轴朝向所述目标对象；
获取所述第二镜头模组拍摄的第二图像；
根据所述第一图像和所述第二图像，确定输出图像。
2.根据权利要求1所述的方法，其特征在于，根据所述第一图像和所述第二图像，确定输出图像，包括：
将所述第一图像中包含所述第二图像的区域替换为所述第二图像，确定包含所述第二图像的所述第一图像为所述输出图像。
3.根据权利要求2所述的方法，其特征在于，在将所述第一图像中包含所述第二图像的区域替换为所述第二图像，确定包含所述第二图像的所述第一图像为所述输出图像的步骤之前，所述方法还包括：
根据所述多目摄像装置的光轴偏移量，校正所述第一图像和所述第二图像；
其中，所述将所述第一图像中包含所述第二图像的区域替换为所述第二图像，确定包含所述第二图像的所述第一图像为所述输出图像，包括：
将矫正后的第一图像中包含所述第二图像的区域替换为矫正后的第二图像，确定包含矫正后的第二图像的第一图像为所述输出图像。
4.根据权利要求1所述的方法，其特征在于，根据所述第一图像和所述第二图像，确定输出图像，包括：
将所述第二图像叠加于所述第一图像，确定叠加后的所述第一图像和所述第二图像为所述输出图像。
5.根据权利要求1-4中任一所述的方法，其特征在于，所述第一镜头模组的焦距和所述第二镜头模组的焦距均为固定焦距。
6.根据权利要求1-5中任一所述的方法，其特征在于，所述第一镜头模组包括标准镜头模组和/或广角镜头模组，所述第二镜头模组包括长焦镜头模组。
7.根据权利要求6所述的方法，其特征在于，所述标准镜头模组的等效焦距为35mm，所述广角镜头模组的等效焦距为18mm至24mm，所述长焦镜头模组的等效焦距为所述广角镜头模组的等效焦距的3倍至20倍。
8.根据权利要求1-7中任一所述的方法，其特征在于，在获取所述第一镜头模组拍摄的第一图像的步骤之前，所述方法还包括：
获取目标对象的特征参数，其中，所述特征参数用于跟踪所述目标对象。
9.一种图像处理的装置，其特征在于，所述图像由多目摄像装置拍摄，所述多目摄像装置包括第一镜头模组和第二镜头模组，所述装置包括：
第一获取模块，用于获取所述第一镜头模组拍摄的第一图像，所述第一图像中包含目标对象；
调整模块，用于根据所述目标对象位于所述第一图像中的位置，调整所述第二镜头模组的光轴，使得所述第二镜头模组的光轴朝向所述目标对象；
第二获取模块，用于获取所述第二镜头模组拍摄的第二图像；
图像确定模块，用于根据所述第一图像和所述第二图像，确定输出图像。
10.根据权利要求9所述的装置，其特征在于，所述图像确定模块用于将所述第一图像中包含所述第二图像的区域替换为所述第二图像，确定包含所述第二图像的所述第一图像为所述输出图像。
11.根据权利要求10所述的装置，其特征在于，所述装置还包括：
校正模块，用于根据所述多目摄像装置的光轴偏移量，校正所述第一图像和所述第二图像；
所述图像确定模块用于将矫正后的第一图像中包含所述第二图像的区域替换为矫正后的第二图像，确定包含矫正后的第二图像的第一图像为所述输出图像。
12.根据权利要求9所述的装置，其特征在于，所述图像确定模块用于将所述第二图像叠加于所述第一图像，确定叠加后的所述第一图像和所述第二图像为所述输出图像。
13.根据权利要求9-12中任一所述的装置，其特征在于，所述第一镜头模组的焦距和所述第二镜头模组的焦距均为固定焦距。
14.根据权利要求9-13中任一所述的装置，其特征在于，所述第一镜头模组包括标准镜头模组和/或广角镜头模组，所述第二镜头模组包括长焦镜头模组。
15.根据权利要求14所述的装置，其特征在于，所述标准镜头模组的等效焦距为35mm，所述广角镜头模组的等效焦距为18mm至24mm，所述长焦镜头模组的等效焦距为所述广角镜头模组的等效焦距的3倍至20倍。
16.根据权利要求9-15中任一所述的装置，其特征在于，所述装置还包括：
特征参数获取模块，用于在所述第一获取模块获取所述第一镜头模组拍摄的第一图像之前，获取目标对象的特征参数，其中，所述特征参数用于跟踪所述目标对象。
17.一种飞行器，其特征在于，包括：本体、设于所述本体的云台、设于所述云台的多目摄像装置，所述多目摄像装置包括第一镜头模组和第二镜头模组，所述飞行器还包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-8任一项所述的方法。
CN201610914681.1A 2016-10-20 2016-10-20 图像处理的方法及装置、飞行器 Pending CN106506941A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201610914681.1A CN106506941A (zh) 2016-10-20 2016-10-20 图像处理的方法及装置、飞行器
PCT/CN2017/106143 WO2018072657A1 (zh) 2016-10-20 2017-10-13 图像处理的方法、处理图像的装置、多目摄像装置以及飞行器
US16/388,292 US10904430B2 (en) 2016-10-20 2019-04-18 Method for processing image, image processing apparatus, multi-camera photographing apparatus, and aerial vehicle
US17/122,672 US20210105403A1 (en) 2016-10-20 2020-12-15 Method for processing image, image processing apparatus, multi-camera photographing apparatus, and aerial vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610914681.1A CN106506941A (zh) 2016-10-20 2016-10-20 图像处理的方法及装置、飞行器

Publications (1)

Publication Number Publication Date
CN106506941A true CN106506941A (zh) 2017-03-15

Family

ID=58319274

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610914681.1A Pending CN106506941A (zh) 2016-10-20 2016-10-20 图像处理的方法及装置、飞行器

Country Status (3)

Country Link
US (2) US10904430B2 (zh)
CN (1) CN106506941A (zh)
WO (1) WO2018072657A1 (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107577246A (zh) * 2017-09-29 2018-01-12 深圳市富斯科技有限公司 一种图像拍摄方法、系统以及电子云台和飞行器
WO2018072657A1 (zh) * 2016-10-20 2018-04-26 深圳市道通智能航空技术有限公司 图像处理的方法、处理图像的装置、多目摄像装置以及飞行器
WO2018099037A1 (en) * 2016-11-29 2018-06-07 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Control method, control device and electronic device
CN108377342A (zh) * 2018-05-22 2018-08-07 Oppo广东移动通信有限公司 双摄像头拍照方法、装置、存储介质及终端
CN108622428A (zh) * 2018-05-08 2018-10-09 重庆邮电大学 多摄像机无人机
CN108900763A (zh) * 2018-05-30 2018-11-27 Oppo（重庆）智能科技有限公司 拍摄装置、电子设备及图像获取方法
WO2019001505A1 (zh) * 2017-06-30 2019-01-03 杭州海康威视数字技术股份有限公司 一种目标特征提取方法、装置及应用系统
CN109218572A (zh) * 2017-07-05 2019-01-15 北京臻迪科技股份有限公司 一种图像采集方法、系统和无人机
CN109905604A (zh) * 2019-03-29 2019-06-18 深圳市道通智能航空技术有限公司 对焦方法、装置、拍摄设备及飞行器
CN110493514A (zh) * 2019-08-07 2019-11-22 Oppo广东移动通信有限公司 图像处理方法、存储介质及电子设备
CN110519540A (zh) * 2019-08-29 2019-11-29 深圳市道通智能航空技术有限公司 一种图像处理方法、装置、设备及存储介质
CN111614951A (zh) * 2019-02-25 2020-09-01 浙江宇视科技有限公司 一种一体化云台摄像机的光轴校准设备及方法
CN111917941A (zh) * 2019-05-08 2020-11-10 杭州海康威视数字技术股份有限公司 摄像机画面处理方法及摄像机
WO2020237565A1 (zh) * 2019-05-30 2020-12-03 深圳市大疆创新科技有限公司 一种目标追踪方法、装置、可移动平台及存储介质
CN112173149A (zh) * 2020-10-30 2021-01-05 南方电网数字电网研究院有限公司 一种具有边缘计算能力的增稳云台、无人机及目标识别方法
WO2021043329A1 (zh) * 2019-09-02 2021-03-11 深圳市道通智能航空技术有限公司 图像曝光方法、装置、拍摄设备及无人机
CN112702564A (zh) * 2019-10-23 2021-04-23 成都鼎桥通信技术有限公司 图像监控方法及设备
WO2021083049A1 (zh) * 2019-11-01 2021-05-06 深圳市大疆创新科技有限公司 图像处理装置、图像处理方法以及程序
US11425307B2 (en) 2018-07-19 2022-08-23 Hangzhou Hikvision Digital Technology Co., Ltd. Image capture device in which the focal length of the image capture device can be expanded without increasing the size of lenses

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111818304B (zh) * 2020-07-08 2023-04-07 杭州萤石软件有限公司 图像融合方法及装置
JP2022172978A (ja) * 2021-05-07 2022-11-17 シャープ株式会社 撮像装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104301669A (zh) * 2014-09-12 2015-01-21 重庆大学 基于双摄像头协同的可疑目标检测跟踪与识别方法
US20150215516A1 (en) * 2014-01-27 2015-07-30 Ratheon Company Imaging system and methods with variable lateral magnification
CN104867155A (zh) * 2015-06-02 2015-08-26 阔地教育科技有限公司 一种基于联合标定的目标跟踪方法及装置
CN105407283A (zh) * 2015-11-20 2016-03-16 成都因纳伟盛科技股份有限公司 一种多目标主动识别跟踪监控方法
CN105409212A (zh) * 2013-02-28 2016-03-16 谷歌技术控股有限责任公司 具有多视图图像捕捉和深度感测的电子设备
CN105893510A (zh) * 2016-03-30 2016-08-24 北京格灵深瞳信息技术有限公司 一种视频结构化系统及其目标搜索方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6738073B2 (en) * 1999-05-12 2004-05-18 Imove, Inc. Camera system with both a wide angle view and a high resolution view
CN1587910A (zh) * 2004-09-21 2005-03-02 中国科学院上海技术物理研究所 无人机载用于监测的轻小型多光谱成像仪
US9952485B1 (en) * 2015-06-10 2018-04-24 Innotech Security, Inc. Video surveillance camera having a separable and removable gimbal
CN105890590A (zh) * 2016-04-12 2016-08-24 西北工业大学 基于红外激光灯与多相机阵列无人机远距离光学导引着陆系统
US10074183B1 (en) * 2016-06-03 2018-09-11 Amazon Technologies, Inc. Image alignment correction for imaging processing during operation of an unmanned aerial vehicle
CN107770433B (zh) * 2016-08-15 2020-08-04 广州立景创新科技有限公司 影像获取装置及其影像平顺缩放方法
CN106506941A (zh) * 2016-10-20 2017-03-15 深圳市道通智能航空技术有限公司 图像处理的方法及装置、飞行器

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105409212A (zh) * 2013-02-28 2016-03-16 谷歌技术控股有限责任公司 具有多视图图像捕捉和深度感测的电子设备
US20150215516A1 (en) * 2014-01-27 2015-07-30 Ratheon Company Imaging system and methods with variable lateral magnification
CN104301669A (zh) * 2014-09-12 2015-01-21 重庆大学 基于双摄像头协同的可疑目标检测跟踪与识别方法
CN104867155A (zh) * 2015-06-02 2015-08-26 阔地教育科技有限公司 一种基于联合标定的目标跟踪方法及装置
CN105407283A (zh) * 2015-11-20 2016-03-16 成都因纳伟盛科技股份有限公司 一种多目标主动识别跟踪监控方法
CN105893510A (zh) * 2016-03-30 2016-08-24 北京格灵深瞳信息技术有限公司 一种视频结构化系统及其目标搜索方法

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018072657A1 (zh) * 2016-10-20 2018-04-26 深圳市道通智能航空技术有限公司 图像处理的方法、处理图像的装置、多目摄像装置以及飞行器
US10904430B2 (en) 2016-10-20 2021-01-26 Autel Robotics Co., Ltd. Method for processing image, image processing apparatus, multi-camera photographing apparatus, and aerial vehicle
US10412298B2 (en) 2016-11-29 2019-09-10 Guangdong Oppo Mobile Telecommunications Corp, Ltd. Control method, control device and electronic device
WO2018099037A1 (en) * 2016-11-29 2018-06-07 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Control method, control device and electronic device
WO2019001505A1 (zh) * 2017-06-30 2019-01-03 杭州海康威视数字技术股份有限公司 一种目标特征提取方法、装置及应用系统
US11398084B2 (en) 2017-06-30 2022-07-26 Hangzhou Hikvision Digital Technology Co., Ltd. Method, apparatus and application system for extracting a target feature
CN109218572A (zh) * 2017-07-05 2019-01-15 北京臻迪科技股份有限公司 一种图像采集方法、系统和无人机
CN107577246A (zh) * 2017-09-29 2018-01-12 深圳市富斯科技有限公司 一种图像拍摄方法、系统以及电子云台和飞行器
CN107577246B (zh) * 2017-09-29 2020-08-07 深圳市富斯科技有限公司 一种图像拍摄方法、系统以及电子云台和飞行器
CN108622428A (zh) * 2018-05-08 2018-10-09 重庆邮电大学 多摄像机无人机
CN108622428B (zh) * 2018-05-08 2021-08-03 重庆邮电大学 多摄像机无人机
CN108377342A (zh) * 2018-05-22 2018-08-07 Oppo广东移动通信有限公司 双摄像头拍照方法、装置、存储介质及终端
CN108900763A (zh) * 2018-05-30 2018-11-27 Oppo（重庆）智能科技有限公司 拍摄装置、电子设备及图像获取方法
CN108900763B (zh) * 2018-05-30 2022-03-22 Oppo（重庆）智能科技有限公司 拍摄装置、电子设备及图像获取方法
US11425307B2 (en) 2018-07-19 2022-08-23 Hangzhou Hikvision Digital Technology Co., Ltd. Image capture device in which the focal length of the image capture device can be expanded without increasing the size of lenses
CN111614951A (zh) * 2019-02-25 2020-09-01 浙江宇视科技有限公司 一种一体化云台摄像机的光轴校准设备及方法
CN111614951B (zh) * 2019-02-25 2022-05-13 浙江宇视科技有限公司 一种一体化云台摄像机的光轴校准设备及方法
CN109905604A (zh) * 2019-03-29 2019-06-18 深圳市道通智能航空技术有限公司 对焦方法、装置、拍摄设备及飞行器
CN109905604B (zh) * 2019-03-29 2021-09-21 深圳市道通智能航空技术股份有限公司 对焦方法、装置、拍摄设备及飞行器
CN111917941A (zh) * 2019-05-08 2020-11-10 杭州海康威视数字技术股份有限公司 摄像机画面处理方法及摄像机
CN111917941B (zh) * 2019-05-08 2021-10-01 杭州海康威视数字技术股份有限公司 摄像机画面处理方法及摄像机
US10999519B2 (en) 2019-05-30 2021-05-04 SZ DJI Technology Co., Ltd. Target tracking method and device, movable platform, and storage medium
WO2020237565A1 (zh) * 2019-05-30 2020-12-03 深圳市大疆创新科技有限公司 一种目标追踪方法、装置、可移动平台及存储介质
CN110493514B (zh) * 2019-08-07 2021-07-16 Oppo广东移动通信有限公司 图像处理方法、存储介质及电子设备
CN110493514A (zh) * 2019-08-07 2019-11-22 Oppo广东移动通信有限公司 图像处理方法、存储介质及电子设备
CN110519540A (zh) * 2019-08-29 2019-11-29 深圳市道通智能航空技术有限公司 一种图像处理方法、装置、设备及存储介质
WO2021043329A1 (zh) * 2019-09-02 2021-03-11 深圳市道通智能航空技术有限公司 图像曝光方法、装置、拍摄设备及无人机
CN112702564A (zh) * 2019-10-23 2021-04-23 成都鼎桥通信技术有限公司 图像监控方法及设备
WO2021083049A1 (zh) * 2019-11-01 2021-05-06 深圳市大疆创新科技有限公司 图像处理装置、图像处理方法以及程序
CN112173149A (zh) * 2020-10-30 2021-01-05 南方电网数字电网研究院有限公司 一种具有边缘计算能力的增稳云台、无人机及目标识别方法

Also Published As

Publication number Publication date
US10904430B2 (en) 2021-01-26
US20210105403A1 (en) 2021-04-08
WO2018072657A1 (zh) 2018-04-26
US20190253620A1 (en) 2019-08-15

Similar Documents

Publication Publication Date Title
CN106506941A (zh) 图像处理的方法及装置、飞行器
CN109089047B (zh) 控制对焦的方法和装置、存储介质、电子设备
JP6263623B2 (ja) 画像生成方法及びデュアルレンズ装置
CN104065859B (zh) 一种全景深图像的获取方法及摄像装置
CN106454090B (zh) 基于深度相机的自动对焦方法及系统
CN103763477B (zh) 一种双摄像头拍后调焦成像装置和方法
CN110493525B (zh) 变焦图像确定方法及装置、存储介质、终端
CN107690673B (zh) 图像处理方法、装置及服务器
CN105282421B (zh) 一种去雾图像获取方法、装置及终端
JP2019510234A (ja) 奥行き情報取得方法および装置、ならびに画像取得デバイス
CN103986867A (zh) 一种图像拍摄终端和图像拍摄方法
CN113875220B (zh) 拍摄防抖方法、装置、终端及存储介质
US10096115B2 (en) Building a depth map using movement of one camera
CN113875219B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN107613190B (zh) 一种拍照方法及终端
CN105162961A (zh) 一种全景照相手机及全景照相方法
CN113079325A (zh) 暗光条件下的十亿级像素成像方法、装置、介质及设备
CN106327478A (zh) 一种鱼眼全景图像合成处理方法及装置
WO2021022989A1 (zh) 标定参数的获取方法、装置、处理器及电子设备
CN105472263A (zh) 影像撷取方法及使用此方法的影像撷取设备
JP2013026744A (ja) 電子カメラ
WO2016101505A1 (zh) 一种前摄像头拍摄修正方法、装置及终端
CN110784642B (zh) 图像处理装置及其控制方法以及存储介质、摄像装置
CN104796615B (zh) 一种ois防抖马达的大像素拍摄方法、系统及移动终端
KR20120122398A (ko) 어레이형 카메라 장치 및 어레이 영상획득방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170315

RJ01 Rejection of invention patent application after publication