CN113518168A - 一种连续变焦方法、装置、电子设备及存储介质 - Google Patents

一种连续变焦方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113518168A
CN113518168A CN202110767688.6A CN202110767688A CN113518168A CN 113518168 A CN113518168 A CN 113518168A CN 202110767688 A CN202110767688 A CN 202110767688A CN 113518168 A CN113518168 A CN 113518168A
Authority
CN
China
Prior art keywords
lens
field angle
real
target object
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110767688.6A
Other languages
English (en)
Inventor
兰强
周俊琨
吉翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Ruiyanxinchuang Technology Co ltd
Original Assignee
Chengdu Ruiyanxinchuang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Ruiyanxinchuang Technology Co ltd filed Critical Chengdu Ruiyanxinchuang Technology Co ltd
Priority to CN202110767688.6A priority Critical patent/CN113518168A/zh
Publication of CN113518168A publication Critical patent/CN113518168A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

本申请提供一种连续变焦方法、装置、电子设备及存储介质，用于改善单目摄像头无法兼顾广角拍摄和远距离拍摄的问题。该方法包括：获取目标对象的实时视场角、第一镜头的视频图像和第二镜头的视频图像，第一镜头的视场角范围和第二镜头的视场角范围均是经过预先标定获得的可连续变化的视场角范围；判断目标对象的实时视场角是否在第一镜头的视场角范围内；若是，则根据实时视场角对第一镜头的视频图像进行变焦处理，获得目标对象的实时图像；若否，则根据实时视场角对第二镜头的视频图像进行变焦处理，获得目标对象的实时图像。

Description

一种连续变焦方法、装置、电子设备及存储介质
技术领域
本申请涉及视频图像处理和连续变焦的技术领域，具体而言，涉及一种连续变焦方法、装置、电子设备及存储介质。
背景技术
目前行业内，通常是在无人机上安装单个固定焦距摄像头，在无人机执行普通的任务能够较好的完成，例如：巡视农田作物生长情况，对高压线绝缘子的维修情况进行巡查等等。在实际的过程中发现，在一些跟踪监控哺乳动物或者鸟类迁徙活动等等特殊任务中，单个固定焦距摄像头的无人机很难拍摄到连续高质量的视频实时图像，即单目摄像头无法兼顾广角拍摄和远距离拍摄的问题。
发明内容
本申请实施例的目的在于提供一种连续变焦方法、装置、电子设备及存储介质，用于改善单目摄像头无法兼顾广角拍摄和远距离拍摄的问题。
本申请实施例提供了一种连续变焦方法，包括：获取目标对象的实时视场角、第一镜头的视频图像和第二镜头的视频图像，第一镜头的视场角范围和第二镜头的视场角范围均是经过预先标定获得的可连续变化的视场角范围；判断目标对象的实时视场角是否在第一镜头的视场角范围内；若是，则根据实时视场角对第一镜头的视频图像进行变焦处理，获得目标对象的实时图像；若否，则根据实时视场角对第二镜头的视频图像进行变焦处理，获得目标对象的实时图像。在上述的实现过程中，通过预先标定出第一镜头和第二镜头的可连续变化的视场角范围，由于视场角范围是可连续变化的，且视场角与焦距是单映射关系，那么就相当于视场角对应的焦距范围内也是可连续变化的，可以从连续变化的焦距范围内选择任意焦距镜头来拍摄目标对象的图像，完成了连续变焦的功能，达到了兼顾选择视场角范围且连续变焦的需求(例如：在无人机吊舱领域兼顾广角拍摄和远距离拍摄的需求，既能够增加目标识别距离，并且又能够获取到广角拍摄的图像)，从而使得无人机能够拍摄到连续高质量的视频实时图像。
可选地，在本申请实施例中，第一镜头的视场角范围包括：第一最小视场角和第一最大视场角，第二镜头的视场角范围包括：第二最小视场角和第二最大视场角；在获取目标对象的实时视场角、第一镜头的视频图像和第二镜头的视频图像之前，还包括：获取第一镜头的预设输出图像尺寸和第一镜头的焦距，并根据第一镜头的焦距确定第一最大视场角；根据第一镜头的预设输出图像尺寸和第一最大视场角对第一镜头进行初始标定，获得第一最小视场角；将第一最小视场角确定为第二最大视场角；获取第二镜头的预设输出图像尺寸，并根据第二镜头的预设输出图像尺寸和第二最大视场角进行初始标定，获得第二最小视场角。在上述的实现过程中，通过对第一镜头和第二镜头进行初始标定，从而使得第一镜头和第二镜头的视场角可以连续变化，由于视场角范围是可连续变化的，且视场角与焦距是单映射关系，那么就相当于视场角对应的焦距范围内也是可连续变化的，可以从连续变化的焦距范围内选择任意焦距镜头来拍摄目标对象的图像，完成了连续变焦的功能，达到了实时输出任意所需视场角的效果，并且可以兼顾短焦端(即第一镜头和第二镜头中焦距较短的镜头)输出广角视频，长焦端(即第一镜头和第二镜头中焦距较长的镜头)输出远距离视频，以供后续算法进行目标检测，达到增加有效目标检测距离的效果。
可选地，在本申请实施例中，根据第一镜头的预设输出图像尺寸和第一最大视场角对第一镜头进行初始标定，获得第一最小视场角，包括：对第一镜头的预设输出图像尺寸和第一最大视场角进行计算，获得第一镜头中的成像传感器与目标对象之间的距离；对第一镜头中的成像传感器与目标对象之间的距离进行计算，获得第一最小视场角。
可选地，在本申请实施例中，获取目标对象的实时视场角，包括：判断应用层是否下发目标对象的实时视场角；若应用层是否下发目标对象的实时视场角，则获取应用层下发的目标对象的实时视场角，否则，将第一最小视场角或者第二最小视场角确定为目标对象的实时视场角。
可选地，在本申请实施例中，根据实时视场角对第一镜头的视频图像进行变焦处理，包括：将第一镜头的视频图像的尺寸缩放至第一镜头的预设输出图像尺寸，获得缩放后的视频图像；若上一帧的实时图像是对第二镜头的视频图像进行变焦处理获得的，则使用尺度不变特征转换算法对缩放后的视频图像和上一帧的实时图像进行图像对准。在上述的实现过程中，通过将第一镜头的视频图像的尺寸缩放至第一镜头的预设输出图像尺寸，并使用尺度不变特征转换算法对缩放后的视频图像和上一帧的实时图像进行图像对准，从而有效地保证了视频图像在两个镜头的视频源切换时更加平滑且自然流畅。
可选地，在本申请实施例中，在获得目标对象的实时图像之后，还包括：向计算设备发送实时图像，以使计算设备对实时图像中的目标对象进行分析计算并返回控制命令；接收计算设备发送的控制命令，并根据控制命令控制第一镜头和/或第二镜头向目标对象的方向移动，以便于实时跟踪目标对象。在上述的实现过程中，通过向计算设备发送实时图像，以使计算设备对实时图像中的目标对象进行分析计算，并根据控制命令控制第一镜头和/或第二镜头向目标对象的方向移动，从而使得无人机能够实时跟踪拍摄到目标对象的连续高质量的视频。
本申请实施例还提供了一种连续变焦装置，包括：视场图像获取模块，用于获取目标对象的实时视场角、第一镜头的视频图像和第二镜头的视频图像，第一镜头的视场角范围和第二镜头的视场角范围均是经过预先标定获得的可连续变化的视场角范围；视场角度判断模块，用于判断目标对象的实时视场角是否在第一镜头的视场角范围内；第一图像变焦模块，用于若目标对象的实时视场角在第一镜头的视场角范围内，则根据实时视场角对第一镜头的视频图像进行变焦处理，获得目标对象的实时图像；第二图像变焦模块，用于若目标对象的实时视场角不在第一镜头的视场角范围内，则根据实时视场角对第二镜头的视频图像进行变焦处理，获得目标对象的实时图像。
可选地，在本申请实施例中，第一镜头的视场角范围包括：第一最小视场角和第一最大视场角，第二镜头的视场角范围包括：第二最小视场角和第二最大视场角；连续变焦装置，还包括：第一视场确定模块，用于获取第一镜头的预设输出图像尺寸和第一镜头的焦距，并根据第一镜头的焦距确定第一最大视场角；第一视场获得模块，用于根据第一镜头的预设输出图像尺寸和第一最大视场角对第一镜头进行初始标定，获得第一最小视场角；第二视场确定模块，用于将第一最小视场角确定为第二最大视场角；第二视场获得模块，用于获取第二镜头的预设输出图像尺寸，并根据第二镜头的预设输出图像尺寸和第二最大视场角进行初始标定，获得第二最小视场角。
可选地，在本申请实施例中，第一视场获得模块，包括：成像距离计算模块，用于对第一镜头的预设输出图像尺寸和第一最大视场角进行计算，获得第一镜头中的成像传感器与目标对象之间的距离；成像视场计算模块，用于对第一镜头中的成像传感器与目标对象之间的距离进行计算，获得第一最小视场角。
可选地，在本申请实施例中，第一图像变焦模块，包括：视频图像缩放模块，用于将第一镜头的视频图像的尺寸缩放至第一镜头的预设输出图像尺寸，获得缩放后的视频图像；实时图像对准模块，用于若上一帧的实时图像是对第二镜头的视频图像进行变焦处理获得的，则使用尺度不变特征转换算法对缩放后的视频图像和上一帧的实时图像进行图像对准。
可选地，在本申请实施例中，连续变焦装置，还包括：实时图像发送模块，用于向计算设备发送实时图像，以使计算设备对实时图像中的目标对象进行分析计算并返回控制命令；控制方向移动模块，用于接收计算设备发送的控制命令，并根据控制命令控制第一镜头和/或第二镜头向目标对象的方向移动，以便于实时跟踪目标对象。
本申请实施例还提供了一种电子设备，包括：处理器和存储器，存储器存储有处理器可执行的机器可读指令，机器可读指令被处理器执行时执行如上面描述的方法。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上面描述的方法。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出的本申请实施例提供的无人机光学吊舱的各部件之间的连接示意图；
图2示出的本申请实施例提供的连续变焦方法的流程示意图；
图3示出的本申请实施例提供的视场角与焦距的关系示意图；
图4示出的本申请实施例提供的镜头初始标定的示意图；
图5示出的本申请实施例提供的实时跟踪目标对象的流程示意图；
图6示出的本申请实施例提供的连续变焦装置的结构示意图；
图7示出的本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述。
在介绍本申请实施例提供的连续变焦方法之前，先介绍本申请实施例中所涉及的一些概念：
连续变焦，又被称为拟合变焦或者无极变焦，是指在焦距连续变化的过程，例如：焦距从4毫米(mm)连续变化变到5毫米(mm)的过程中，有无数(无理数)个焦距可供连续变化，例如4.1、4.11、4.111和4.1111等等无数(无理数)的焦距。
单片系统(System On a Chip，SOC)，又被称为片上系统，是一个将电脑或其他电子系统集成到单一芯片的集成电路；单片系统可以处理数字信号、模拟信号、混合信号甚至更高频率的信号，单片系统常常应用在嵌入式系统中。
需要说明的是，本申请实施例提供的连续变焦方法可以被电子设备执行，这里的电子设备是指具有执行计算机程序功能的设备终端，设备终端例如：无人机光学吊舱(又被称为光学云台吊舱、云台吊舱或者云台)、智能手机、个人电脑(personal computer，PC)、平板电脑、个人数字助理(personal digital assistant，PDA)或者移动上网设备(mobileInternet device，MID)等。
请参见图1示出的本申请实施例提供的无人机光学吊舱的各部件之间的连接示意图；下面以无人机光学吊舱为例进行说明，该无人机光学吊舱包括：第一镜头、第二镜头、第一图像传感器(Sensor1)、第二图像传感器(Sensor2)和嵌入式单片系统(SOC)；其中，第一镜头与第一图像传感器电连接，第二镜头与第二图像传感器电连接，第一图像传感器和第二图像传感器通过嵌入式单片系统(SOC)连接。当然在具体的实践过程中，第一图像传感器和第二图像传感器之间的连接还可以增加柔软的微同轴线缆，上述的传感器和SOC可以使用MIPI接口，使用MIPI接口可以保证电信号的品质和视频的实时性；其中，此处的MIPI是指移动产业处理器接口(Mobile Industry Processor Interface)。第一图像传感器(Sensor1)用于通过第一焦距镜头获取第一镜头的视频图像，第二图像传感器用于通过第二焦距镜头获取第二镜头的视频图像。
嵌入式单片系统(SOC)用于对第一镜头的视频图像和第二镜头的视频图像进行后续处理，嵌入式单片系统(SOC)可以采用RV1126芯片，RV1126是一款视频编解码，集成神经网络算法处理器的专用嵌入式片上芯(SOC)芯片，该芯片拥有两个用于连接专用图像传感器(Sensor)的MIPI接口。
需要强调的是，在具体的实践过程中，还可以使用很多个镜头(例如第三镜头、第四镜头和第五镜头等等)和图像传感器来实现上述连续变焦方法，假设嵌入式单片系统(SOC)设置在一块印制电路板(Printed Circuit Board，PCB)中，在跟踪目标对象的场景中，此处的多个镜头需要平行地设置在PCB的同一个面上，多个镜头之间可以设置一定的间隔距离，比如间隔距离设置为1厘米。为了便于理解，本申请实施例仅展示了两个镜头的说明。这些多个镜头的共同点是视场角范围是连续的，以两个镜头为例，假设第一镜头的视场角范围为从12.7°到36.9°，且第二镜头的视场角范围是从36.9°到90°，那么第一镜头的视场角范围和第二镜头的视场角范围是从12.7°到90°连续的，且两个视场角范围均是可连续变化的视场角范围。同理，当有多个镜头时，只要多个镜头的视场角范围均是可连续变化的视场角范围，也可以适用于本申请实施例提供的连续变焦方法，因此，镜头的个数不应理解为本申请实施例的限制。
下面介绍该连续变焦方法适用的应用场景，这里的应用场景包括但不限于：将该连续变焦方法使用在无人机、无人车或者智能机器人对目标对象进行实时跟踪，从而有效提高拍摄目标对象的实时连续视频的图像质量等。或者，使用执行该连续变焦方法的电子设备替换现有无人机上安装的单个固定焦距摄像头或者单个变焦摄像头，该电子设备包括第一镜头和第二镜头。
请参见图2示出的本申请实施例提供的连续变焦方法的流程示意图；该连续变焦方法的主要思路是，通过预先标定出第一镜头和第二镜头的可连续变化的视场角范围，由于视场角范围是可连续变化的，且视场角与焦距是单映射关系，那么就相当于视场角对应的焦距范围内也是可连续变化的，可以从连续变化的焦距范围内选择任意焦距镜头来拍摄目标对象的图像，完成了连续变焦的功能，达到了兼顾选择视场角范围且连续变焦的需求(例如：在无人机吊舱领域兼顾广角拍摄和远距离拍摄的需求，既能够增加目标识别距离，并且又能够获取到广角拍摄的图像)，从而使得无人机能够拍摄到连续高质量的视频实时图像；上述连续变焦方法可以包括：
步骤S110：获取目标对象的实时视场角、第一镜头的视频图像和第二镜头的视频图像，第一镜头的视场角范围和第二镜头的视场角范围均是经过预先标定获得的可连续变化的视场角范围。
其中，第一镜头的视场角范围包括：第一最小视场角和第一最大视场角，第二镜头的视场角范围包括：第二最小视场角和第二最大视场角。
请参见图3示出的本申请实施例提供的视场角与焦距的关系示意图；假设第一镜头的视场角范围是从36.9°到90°，且第二镜头的视场角范围为从12.7°到36.9°，那么第二最小视场角为12.7°，且第二最大视场角为36.9°，第一最小视场角为36.9°，且第一最大视场角为90°，由于第二最大视场角和第一最小视场角均是36.9°，能够让第二镜头的视场角范围和第一镜头的视场角范围连续，因此，第二镜头的视场角范围和第一镜头的视场角范围是从12.7°到90°均可连续变化的。视场角与焦距的关系可以使用一条图中的曲线来拟合表示，镜头的视场角与焦距的关系可以表示为一条反相关的曲线。由于第一镜头的视场角范围和第二镜头的视场角范围是从12.7°到90°均可连续变化的，因此，理论上的镜头焦距从4毫米到25毫米也是可连续变化的。
请参见图4示出的本申请实施例提供的镜头初始标定的示意图；可以理解的是，在使用第一镜头和第二镜头之前，还需要预先对第一镜头和第二镜头进行初始标定，对这两个镜头进行初始标定的实施方式可以包括：
步骤S111：获取第一镜头的预设输出图像尺寸和第一镜头的焦距，并根据第一镜头的焦距确定第一最大视场角。
上述步骤S111的实施方式例如：假设采用M12接口的短焦端作为第一镜头，那么第一镜头的焦距为4毫米(mm)，且第一镜头的预设输出图像尺寸为1920*1080图像像素。通过镜头规格书可以得知，2.8英寸的图像传感器在4毫米焦距时的视场角为90°，那么此处的90°就可以理解为第一最大视场角。
步骤S112：根据第一镜头的预设输出图像尺寸和第一最大视场角对第一镜头进行初始标定，获得第一最小视场角。
上述步骤S112的实施方式例如：假设预设输出图像尺寸中的成像宽度为1920毫米，第一最大视场角为90°，第一镜头中的成像传感器与目标对象之间的距离表示为L，那么根据图4容易得出公式
Figure BDA0003152501560000091
使用该公式
Figure BDA0003152501560000092
对第一镜头的预设输出图像尺寸和第一最大视场角进行计算，获得第一镜头中的成像传感器与目标对象之间的距离为960。相应地，应用层允许输出最小图像尺寸为640*360，那么应用层允许输出最小图像尺寸中的成像宽度为640。对第一镜头中的成像传感器与目标对象之间的距离进行计算，获得的第一最小视场角为
Figure BDA0003152501560000093
其中，第一最小视场角为θ，640为应用层允许输出最小图像尺寸中的成像宽度，960为第一镜头中的成像传感器与目标对象之间的距离。根据图3中视场角与焦距的关系可以推算出，视场角为36.9°的镜头的等效焦距约为10毫米。由上可知，第一镜头可以实现的等效焦距范围是4毫米到10毫米，且视场角范围是36.9°到90°的范围。
步骤S113：将第一最小视场角确定为第二最大视场角。
上述步骤S113的实施方式例如：由于第一镜头和第二镜头的视场角范围是可连续变化的，那么第二镜头的最大视场角选择第一镜头的最小视场角，即采用第一最小视场角36.9°来作为第二最大视场角，对应地，采用第一镜头的最大等效焦距10毫米来作为第二镜头的最小等效焦距。
步骤S114：获取第二镜头的预设输出图像尺寸，并根据第二镜头的预设输出图像尺寸和第二最大视场角进行初始标定，获得第二最小视场角。
其中，该步骤S114的实施原理和实施方式与步骤S112的实施原理和实施方式是类似的，因此，这里不再说明其实施原理和实施方式，如有不清楚的地方，可以参考对步骤S112的描述。容易计算得出，第二镜头可以实现的等效焦距范围是10毫米到25毫米，且视场角范围是12.7o到36.9o。
上述步骤S110的实施方式包括：判断应用层是否下发目标对象的实时视场角；若应用层已经下发目标对象的实时视场角，则直接获取该应用层已经下发的目标对象的实时视场角；若应用层没有下发目标对象的实时视场角，则获取目标对象与镜头之间的目标距离(在无人机的应用场景中，根据无人机的飞行高度、无人机上的云台角度和无人机的飞行姿态测算出该目标距离)，并根据该目标距离确定目标对象的实时视场角是第一最小视场角或者第二最小视场角。也就是说，假设第一最小视场角是4毫米，第二最小视场角是12毫米，应用层没有下发任何需要视场角时，需要根据目标距离将4毫米或者12毫米确定为实时视场角。
在具体的实践过程中，直接使用相机拍摄获得视频图像，然后根据视频图像进行计算，从而获得目标对象的实时视场角，具体例如：使用上述无人机光学吊舱中的第一镜头对目标对象进行拍摄，获得第一镜头的视频图像，与此同时，使用上述无人机光学吊舱中的第二镜头对目标对象进行拍摄，获得第二镜头的视频图像。也就是说，在对目标对象进行追踪时，需要同时使用第一镜头和第二镜头对目标对象进行拍摄，同时获得第一镜头的视频图像和第二镜头的视频图像，以便于从第一镜头的视频图像和第二镜头的视频图像选择合适的视场角范围和焦距的视频图像进行处理，从而提高获取到目标对象的实时连续视频的图像质量。
在步骤S110之后，执行步骤S120：判断目标对象的实时视场角是否在第一镜头的视场角范围内。
上述步骤S120的实施方式有以下两种情况：
第一种情况，第一镜头的视场角范围小于第二视场角，该实施方式例如：假设第一镜头的视场角范围为从12.7°到36.9°，且第二镜头的视场角范围是从36.9°到90°。若目标对象的实时视场角为20°，那么目标对象的实时视场角是在第一镜头的视场角范围内的，若目标对象的实时视场角为50°，那么目标对象的实时视场角不在第一镜头的视场角范围内。
第二种情况，第一镜头的视场角范围小于第二视场角，该实施方式例如：假设第一镜头的视场角范围为从36.9°到90°，且第二镜头的视场角范围是从12.7°到36.9°。若目标对象的实时视场角为50°，那么目标对象的实时视场角是在第一镜头的视场角范围内的，若目标对象的实时视场角为20°，那么目标对象的实时视场角不在第一镜头的视场角范围内。
在步骤S120之后，执行步骤S130：若目标对象的实时视场角在第一镜头的视场角范围内，则根据实时视场角对第一镜头的视频图像进行变焦处理，获得目标对象的实时图像。
上述步骤S130的实施方式例如：若目标对象的实时视场角在第一镜头的视场角范围内，则将第一镜头的视频图像的尺寸缩放至第一镜头的预设输出图像尺寸，获得缩放后的视频图像。具体例如：假设第一镜头的视频图像的尺寸为640×360像素，且第一镜头的预设输出图像尺寸为1920×1080像素，那么可以使用插值算法对第一镜头的视频图像进行插值运算(即软件变焦)，获得缩放后的视频图像；其中，可以使用的插值算法包括：最近邻插值算法、双线性插值算法和双三次插值算法。若上一帧的实时图像是对第二镜头的视频图像进行变焦处理获得的，则使用尺度不变特征转换算法对缩放后的视频图像和上一帧的实时图像进行图像对准，获得目标对象的实时图像，从而保证视频图像在两个镜头的视频源切换时更加平滑且自然流畅。
在步骤S130之后，执行步骤S140：若目标对象的实时视场角不在第一镜头的视场角范围内，则根据实时视场角对第二镜头的视频图像进行变焦处理，获得目标对象的实时图像。
上述步骤S140的实施方式例如：若目标对象的实时视场角不在第一镜头的视场角范围内，则将第二镜头的视频图像的尺寸缩放至第二镜头的预设输出图像尺寸，获得缩放后的视频图像。具体例如：假设第二镜头的视频图像的尺寸为640×360像素，且第二镜头的预设输出图像尺寸为1920×1080像素，那么可以使用插值算法对第二镜头的视频图像进行插值运算(即软件变焦)，获得缩放后的视频图像。若上一帧的实时图像是对第一镜头的视频图像进行变焦处理获得的，则使用尺度不变特征转换算法对缩放后的视频图像和上一帧的实时图像进行图像对准，获得目标对象的实时图像，从而保证视频图像在两个镜头的视频源切换时更加平滑且自然流畅。
在上述的实现过程中，通过预先标定出第一镜头和第二镜头的可连续变化的视场角范围，使得无人机可以根据实际情况从第一镜头和第二镜头中选择出视场角范围较大的镜头或者视场角范围较小的镜头进行拍摄，获得视频图像，并将视频图像变焦处理后的图像作为目标对象的实时图像，满足了选择视场角范围的需求。由于视场角范围是可连续变化的，且视场角与焦距是单映射关系，那么就相当于视场角对应的焦距范围内也是可连续变化的，可以从连续变化的焦距范围内选择任意焦距镜头来拍摄目标对象的图像，完成了连续变焦的功能，达到了实时输出任意所需视场角的效果，并且可以兼顾短焦端(即第一镜头和第二镜头中焦距较短的镜头)输出广角视频，长焦端(即第一镜头和第二镜头中焦距较长的镜头)输出远距离视频，以供后续算法进行目标检测，达到增加有效目标检测距离的效果，同时兼顾选择视场角范围且连续变焦的需求，从而使得无人机能够拍摄到连续高质量的视频实时图像。
请参见图5示出的本申请实施例提供的实时跟踪目标对象的流程示意图；可选地，在本申请实施例中，在获得目标对象的实时图像之后，还可以使用上述连续变焦方法对目标对象进行实时跟踪，实时跟踪目标对象的实施方式可以包括：
步骤S210：电子设备向计算设备发送实时图像，以使计算设备对实时图像中的目标对象进行分析计算并返回控制命令。
上述步骤S210的实施方式例如：假设电子设备是无人机，上述的计算设备是无人机上的计算芯片或者服务器，那么无人机可以向无人机上的计算芯片或者服务器发送实时图像，无人机上的计算芯片或者服务器使用目标检测网络模型对实时图像中的目标对象进行目标检测，从而获得目标对象所在的方向角度，并根据目标对象所在的方向角度生成控制命令；最后，无人机上的计算芯片或者服务器向无人机发送该控制命令。
步骤S220：电子设备接收计算设备发送的控制命令，并根据控制命令控制第一镜头和/或第二镜头向目标对象的方向移动，以便于实时跟踪目标对象。
上述步骤S220的实施方式例如：假设电子设备是无人机，上述的计算设备是无人机上的计算芯片或者服务器，那么无人机接收计算芯片或者服务器发送的控制命令，并根据该控制命令控制第一镜头和/或第二镜头向目标对象的方向移动，以便于实时跟踪目标对象。
在上述的实现过程中，通过向计算设备发送实时图像，以使计算设备对实时图像中的目标对象进行分析计算，并根据控制命令控制第一镜头和/或第二镜头向目标对象的方向移动，从而使得无人机能够实时跟踪拍摄到目标对象的连续高质量的视频。
请参见图6示出的本申请实施例提供的连续变焦装置的结构示意图；本申请实施例提供了一种连续变焦装置300，包括：
视场图像获取模块310，用于获取目标对象的实时视场角、第一镜头的视频图像和第二镜头的视频图像，第一镜头的视场角范围和第二镜头的视场角范围均是经过预先标定获得的可连续变化的视场角范围。
视场角度判断模块320，用于判断目标对象的实时视场角是否在第一镜头的视场角范围内。
第一图像变焦模块330，用于若目标对象的实时视场角在第一镜头的视场角范围内，则根据实时视场角对第一镜头的视频图像进行变焦处理，获得目标对象的实时图像。
第二图像变焦模块340，用于若目标对象的实时视场角不在第一镜头的视场角范围内，则根据实时视场角对第二镜头的视频图像进行变焦处理，获得目标对象的实时图像。
可选地，在本申请实施例中，第一镜头的视场角范围包括：第一最小视场角和第一最大视场角，第二镜头的视场角范围包括：第二最小视场角和第二最大视场角；连续变焦装置，还包括：
第一视场确定模块，用于获取第一镜头的预设输出图像尺寸和第一镜头的焦距，并根据第一镜头的焦距确定第一最大视场角。
第一视场获得模块，用于根据第一镜头的预设输出图像尺寸和第一最大视场角对第一镜头进行初始标定，获得第一最小视场角。
第二视场确定模块，用于将第一最小视场角确定为第二最大视场角。
第二视场获得模块，用于获取第二镜头的预设输出图像尺寸，并根据第二镜头的预设输出图像尺寸和第二最大视场角进行初始标定，获得第二最小视场角。
可选地，在本申请实施例中，第一视场获得模块，包括：
成像距离计算模块，用于对第一镜头的预设输出图像尺寸和第一最大视场角进行计算，获得第一镜头中的成像传感器与目标对象之间的距离。
成像视场计算模块，用于对第一镜头中的成像传感器与目标对象之间的距离进行计算，获得第一最小视场角。
可选地，在本申请实施例中，第一图像变焦模块，包括：
视频图像缩放模块，用于将第一镜头的视频图像的尺寸缩放至第一镜头的预设输出图像尺寸，获得缩放后的视频图像。
实时图像对准模块，用于若上一帧的实时图像是对第二镜头的视频图像进行变焦处理获得的，则使用尺度不变特征转换算法对缩放后的视频图像和上一帧的实时图像进行图像对准。
可选地，在本申请实施例中，连续变焦装置，还包括：
实时图像发送模块，用于向计算设备发送实时图像，以使计算设备对实时图像中的目标对象进行分析计算并返回控制命令。
控制方向移动模块，用于接收计算设备发送的控制命令，并根据控制命令控制第一镜头和/或第二镜头向目标对象的方向移动，以便于实时跟踪目标对象。
应理解的是，该装置与上述的连续变焦方法实施例对应，能够执行上述方法实施例涉及的各个步骤，该装置具体的功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。该装置包括至少一个能以软件或固件(firmware)的形式存储于存储器中或固化在装置的操作系统(operating system，OS)中的软件功能模块。
请参见图7示出的本申请实施例提供的电子设备的结构示意图。本申请实施例提供的一种电子设备400，包括：处理器410和存储器420，存储器420存储有处理器410可执行的机器可读指令，机器可读指令被处理器410执行时执行如上的方法。
本申请实施例还提供了一种计算机可读存储介质430，该计算机可读存储介质430上存储有计算机程序，该计算机程序被处理器410运行时执行如上的方法。
其中，计算机可读存储介质430可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(Static Random Access Memory,简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read Only Memory,简称EPROM)，可编程只读存储器(Programmable Read-Only Memory,简称PROM)，只读存储器(Read-Only Memory,简称ROM)，磁存储器，快闪存储器，磁盘或光盘。
本申请实施例提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其他的方式实现。以上所描述的装置实施例仅是示意性的，例如，附图中的流程图和框图显示了根据本申请实施例的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以和附图中所标注的发生顺序不同。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这主要根据所涉及的功能而定。
另外，在本申请实施例中的各个实施例的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上的描述，仅为本申请实施例的可选实施方式，但本申请实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请实施例揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请实施例的保护范围之内。

Claims (10)

1.一种连续变焦方法，其特征在于，包括：
获取目标对象的实时视场角、第一镜头的视频图像和第二镜头的视频图像，所述第一镜头的视场角范围和所述第二镜头的视场角范围均是经过预先标定获得的可连续变化的视场角范围；
判断所述目标对象的实时视场角是否在所述第一镜头的视场角范围内；
若是，则根据所述实时视场角对所述第一镜头的视频图像进行变焦处理，获得所述目标对象的实时图像；
若否，则根据所述实时视场角对所述第二镜头的视频图像进行变焦处理，获得所述目标对象的实时图像。
2.根据权利要求1所述的方法，其特征在于，所述第一镜头的视场角范围包括：第一最小视场角和第一最大视场角，所述第二镜头的视场角范围包括：第二最小视场角和第二最大视场角；在所述获取目标对象的实时视场角、第一镜头的视频图像和第二镜头的视频图像之前，还包括：
获取所述第一镜头的预设输出图像尺寸和所述第一镜头的焦距，并根据所述第一镜头的焦距确定所述第一最大视场角；
根据所述第一镜头的预设输出图像尺寸和所述第一最大视场角对所述第一镜头进行初始标定，获得所述第一最小视场角；
将所述第一最小视场角确定为所述第二最大视场角；
获取所述第二镜头的预设输出图像尺寸，并根据所述第二镜头的预设输出图像尺寸和所述第二最大视场角进行初始标定，获得所述第二最小视场角。
3.根据权利要求2所述的方法，其特征在于，所述根据所述第一镜头的预设输出图像尺寸和所述第一最大视场角对所述第一镜头进行初始标定，获得所述第一最小视场角，包括：
对所述第一镜头的预设输出图像尺寸和所述第一最大视场角进行计算，获得所述第一镜头中的成像传感器与所述目标对象之间的距离；
对所述第一镜头中的成像传感器与所述目标对象之间的距离进行计算，获得所述第一最小视场角。
4.根据权利要求3所述的方法，其特征在于，所述获取目标对象的实时视场角，包括：
判断应用层是否下发所述目标对象的实时视场角；
若是，则获取所述应用层下发的所述目标对象的实时视场角，否则，将所述第一最小视场角或者第二最小视场角确定为所述目标对象的实时视场角。
5.根据权利要求1所述的方法，其特征在于，所述根据所述实时视场角对所述第一镜头的视频图像进行变焦处理，包括：
将所述第一镜头的视频图像的尺寸缩放至所述第一镜头的预设输出图像尺寸，获得缩放后的视频图像；
若上一帧的实时图像是对所述第二镜头的视频图像进行变焦处理获得的，则使用尺度不变特征转换算法对所述缩放后的视频图像和所述上一帧的实时图像进行图像对准。
6.根据权利要求1-5任一所述的方法，其特征在于，在所述获得所述目标对象的实时图像之后，还包括：
向计算设备发送所述实时图像，以使所述计算设备对所述实时图像中的目标对象进行分析计算并返回控制命令；
接收所述计算设备发送的控制命令，并根据所述控制命令控制所述第一镜头和/或所述第二镜头向所述目标对象的方向移动，以便于实时跟踪所述目标对象。
7.一种连续变焦装置，其特征在于，包括：
视场图像获取模块，用于获取目标对象的实时视场角、第一镜头的视频图像和第二镜头的视频图像，所述第一镜头的视场角范围和所述第二镜头的视场角范围均是经过预先标定获得的可连续变化的视场角范围；
视场角度判断模块，用于判断所述目标对象的实时视场角是否在所述第一镜头的视场角范围内；
第一图像变焦模块，用于若所述目标对象的实时视场角在所述第一镜头的视场角范围内，则根据所述实时视场角对所述第一镜头的视频图像进行变焦处理，获得所述目标对象的实时图像；
第二图像变焦模块，用于若所述目标对象的实时视场角不在所述第一镜头的视场角范围内，则根据所述实时视场角对所述第二镜头的视频图像进行变焦处理，获得所述目标对象的实时图像。
8.根据权利要求7所述的装置，其特征在于，所述第一镜头的视场角范围包括：第一最小视场角和第一最大视场角，所述第二镜头的视场角范围包括：第二最小视场角和第二最大视场角；所述连续变焦装置，还包括：
第一视场确定模块，用于获取所述第一镜头的预设输出图像尺寸和所述第一镜头的焦距，并根据所述第一镜头的焦距确定所述第一最大视场角；
第一视场获得模块，用于根据所述第一镜头的预设输出图像尺寸和所述第一最大视场角对所述第一镜头进行初始标定，获得所述第一最小视场角；
第二视场确定模块，用于将所述第一最小视场角确定为所述第二最大视场角；
第二视场获得模块，用于获取所述第二镜头的预设输出图像尺寸，并根据所述第二镜头的预设输出图像尺寸和所述第二最大视场角进行初始标定，获得所述第二最小视场角。
9.一种电子设备，其特征在于，包括：处理器和存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述机器可读指令被所述处理器执行时执行如权利要求1至6任一所述的方法。
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至6任一所述的方法。
CN202110767688.6A 2021-07-07 2021-07-07 一种连续变焦方法、装置、电子设备及存储介质 Pending CN113518168A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110767688.6A CN113518168A (zh) 2021-07-07 2021-07-07 一种连续变焦方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110767688.6A CN113518168A (zh) 2021-07-07 2021-07-07 一种连续变焦方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN113518168A true CN113518168A (zh) 2021-10-19

Family

ID=78066948

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110767688.6A Pending CN113518168A (zh) 2021-07-07 2021-07-07 一种连续变焦方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113518168A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115002342A (zh) * 2022-05-05 2022-09-02 深圳市睿联技术股份有限公司 目标对象跟踪方法、装置、摄像机及存储介质
CN115499565A (zh) * 2022-08-23 2022-12-20 盯盯拍（深圳）技术股份有限公司 基于双镜头的图像采集方法、装置、介质及行车记录仪

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104461288A (zh) * 2014-11-28 2015-03-25 广东欧珀移动通信有限公司 使用不同视场角摄像头拍照的方法和终端
CN207283679U (zh) * 2017-11-05 2018-04-27 信利光电股份有限公司 一种多视场角多摄像头模组和移动终端
EP3477355A1 (en) * 2017-10-31 2019-05-01 Canon Kabushiki Kaisha Lens control apparatus, imaging apparatus including lens control apparatus, and lens control method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104461288A (zh) * 2014-11-28 2015-03-25 广东欧珀移动通信有限公司 使用不同视场角摄像头拍照的方法和终端
EP3477355A1 (en) * 2017-10-31 2019-05-01 Canon Kabushiki Kaisha Lens control apparatus, imaging apparatus including lens control apparatus, and lens control method
CN207283679U (zh) * 2017-11-05 2018-04-27 信利光电股份有限公司 一种多视场角多摄像头模组和移动终端

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115002342A (zh) * 2022-05-05 2022-09-02 深圳市睿联技术股份有限公司 目标对象跟踪方法、装置、摄像机及存储介质
WO2023213161A1 (zh) * 2022-05-05 2023-11-09 深圳市睿联技术股份有限公司 目标对象跟踪方法、摄像机及存储介质
CN115002342B (zh) * 2022-05-05 2024-05-31 深圳市睿联技术股份有限公司 目标对象跟踪方法、装置、摄像机及存储介质
CN115499565A (zh) * 2022-08-23 2022-12-20 盯盯拍（深圳）技术股份有限公司 基于双镜头的图像采集方法、装置、介质及行车记录仪
CN115499565B (zh) * 2022-08-23 2024-02-20 盯盯拍（深圳）技术股份有限公司 基于双镜头的图像采集方法、装置、介质及行车记录仪

Similar Documents

Publication Publication Date Title
CN107659774B (zh) 一种基于多尺度相机阵列的视频成像系统及视频处理方法
CN110866480B (zh) 对象的跟踪方法及装置、存储介质、电子装置
US9253411B2 (en) Image processing apparatus, image processing method and image communication system
CN110969097B (zh) 监控目标联动跟踪控制方法、设备及存储装置
CN109040575B (zh) 全景视频的处理方法、装置、设备、计算机可读存储介质
CN110493525B (zh) 变焦图像确定方法及装置、存储介质、终端
CN110800282B (zh) 云台调整方法、云台调整设备、移动平台及介质
CN112261387B (zh) 用于多摄像头模组的图像融合方法及装置、存储介质、移动终端
WO2019238113A1 (zh) 成像方法、装置、终端和存储介质
CN110163885A (zh) 一种目标跟踪方法及装置
TWI530180B (zh) 連動式攝影系統及其多攝影機的控制方法
CN113518168A (zh) 一种连续变焦方法、装置、电子设备及存储介质
CN111292278B (zh) 图像融合方法及装置、存储介质、终端
CN104243796A (zh) 摄影装置、摄影方法、模板创建装置和模板创建方法
CN113473010B (zh) 抓拍方法、装置、存储介质及电子装置
KR20130122967A (ko) 영상 처리 장치, 영상 처리 시스템, 및 영상 처리 방법
CN111246100A (zh) 防抖参数的标定方法、装置和电子设备
CN113391644B (zh) 一种基于图像信息熵的无人机拍摄距离半自动寻优方法
US10447969B2 (en) Image processing device, image processing method, and picture transmission and reception system
CN111684784B (zh) 图像处理方法和装置
CN111131697B (zh) 一种多摄像机智能跟踪拍摄方法、系统、设备及存储介质
JP6579934B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、記憶媒体
US20230345128A1 (en) Imaging apparatus, control method of imaging apparatus, and computer program
CN114245016B (zh) 视频拍摄的控制方法和系统、计算机设备及存储介质
JP2022175854A (ja) 情報処理装置およびその制御方法ならびにプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20211019