CN111656763B - 图像采集控制方法，图像采集控制设备和可移动平台 - Google Patents

图像采集控制方法，图像采集控制设备和可移动平台 Download PDF

Info

Publication number
CN111656763B
CN111656763B CN201980008880.8A CN201980008880A CN111656763B CN 111656763 B CN111656763 B CN 111656763B CN 201980008880 A CN201980008880 A CN 201980008880A CN 111656763 B CN111656763 B CN 111656763B
Authority
CN
China
Prior art keywords
image
image acquisition
reference image
salient region
acquisition equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980008880.8A
Other languages
English (en)
Other versions
CN111656763A (zh
Inventor
邹文
胡攀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN111656763A publication Critical patent/CN111656763A/zh
Application granted granted Critical
Publication of CN111656763B publication Critical patent/CN111656763B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/17—Image acquisition using hand-held instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)

Abstract

本公开提出一种图像采集控制方法，包括：在改变所述图像采集设备的姿态的过程中，获取所述图像采集设备采集到的多张参考图像；对每张所述参考图像分别进行显著性检测，以确定每张所述参考图像中的显著区域；根据每张所述参考图像中的显著区域和预设构图法则，确定每张所述参考图像的评价参数；根据所述评价参数在所述多张参考图像中确定目标图像；根据所述图像采集设备采集所述目标图像时的姿态，设置所述图像采集设备采集图像时的姿态。本发明实施例在实现图像采集设备自动拍摄的同时，还可以保证自动拍摄得到的图像满足用户的审美需求。

Description

图像采集控制方法，图像采集控制设备和可移动平台
技术领域
本公开涉及图像采集领域，尤其涉及图像采集控制方法，图像采集控制设备和可移动平台。
背景技术
目前大多数的相机的拍摄过程，需要用户人工完成。一些相机能够为用户提供辅助，但是提供的辅助仅限于显示水平线，显示人脸位置框等非常基础的信息，最终还是需要用户人工操作根据自己的审美来确定合适的取景来完成拍摄。
虽然有的相机能够进行自动拍摄，但是并不会考虑取景的美学效果，最终拍摄得到的照片往往无法满足用户对于审美的需求。
发明内容
本公开提供图像采集控制方法，图像采集控制设备和可移动平台，可在实现图像采集设备自动拍摄的同时，保证自动拍摄得到的图像满足用户的审美需求。
根据本公开实施例的第一方面，提出一种图像采集控制方法，所述方法包括：
在改变所述图像采集设备的姿态的过程中，获取所述图像采集设备采集到的多张参考图像；
对每张所述参考图像分别进行显著性检测，以确定每张所述参考图像中的显著区域；
根据每张所述参考图像中的显著区域和预设构图法则，确定每张所述参考图像的评价参数；
根据所述评价参数在所述多张参考图像中确定目标图像；
根据所述图像采集设备采集所述目标图像时的姿态，设置所述图像采集设备采集图像时的姿态。
根据本公开实施例的第二方面，提出一种图像采集控制设备，包括存储器、处理器；
所述存储器用于存储程序代码；
所述处理器，调用所述程序代码，当程序代码被执行时，用于执行以下操作：
在改变所述图像采集设备的姿态的过程中，获取所述图像采集设备采集到的多张参考图像；
对每张所述参考图像分别进行显著性检测，以确定每张所述参考图像中的显著区域；
根据每张所述参考图像中的显著区域和预设构图法则，确定每张所述参考图像的评价参数；
根据所述评价参数在所述多张参考图像中确定目标图像；
根据所述图像采集设备采集所述目标图像时的姿态，设置所述图像采集设备采集图像时的姿态。
根据本公开实施例的第三方面，提出一种可移动平台，包括：
机身；
图像采集设备，用于采集图像；
以及上述实施例所述的图像采集控制设备。
由以上本公开实施例提供的技术方案可见，图像采集控制设备能够自动从多张参考图像中挑选出目标图像，进而可以根据采集目标图像时的姿态自动调整姿态，以便采集到满足用户对于审美需求的图像。在实现图像采集设备自动拍摄的同时，还可以保证自动拍摄得到的图像满足用户对于审美需求，其中无需用户进行手动调整姿态，有利于实现更高程度的自动化拍摄。
附图说明
为了更清楚地说明本公开实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是根据本公开的实施例示出的一种图像采集控制方法的示意流程图。
图2是根据本公开的实施例示出的一种对每张所述参考图像分别进行显著性检测，以确定每张所述参考图像中的显著区域的示意流程图。
图3是根据本公开的实施例示出的一种确定每张所述参考图像的评价参数的示意流程图。
图4是根据本公开的实施例示出的一种确定显著区域相对于每种所述构图法则的评价参数的示意流程图。
图5是根据本公开的实施例示出的另一种确定显著区域相对于每种所述构图法则的评价参数的示意流程图。
图6是根据本公开的实施例示出的另一种图像采集控制方法的示意流程图。
图7是根据本公开的实施例示出的一种针对所述参考图像消除所述图像采集设备的镜头畸变和果冻效应引发的误差的示意流程图。
图8是根据本公开的实施例示出的又一种图像采集控制方法的示意流程图。
图9是根据本公开的实施例示出的一种图像采集控制设备的示意图。
图10是根据本公开的实施例示出的一种可移动平台的示意结构图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。另外，在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
本发明实施例提供了一种可移动平台，所述可移动平台包括：机身、图像采集设备和图像采集控制设备。其中，图像采集设备可用于采集图像。图像采集控制设备可在改变所述图像采集设备的姿态的过程中，获取所述图像采集设备采集到的多张参考图像；对每张所述参考图像分别进行显著性检测，以确定每张所述参考图像中的显著区域；根据每张所述参考图像中的显著区域和预设构图法则，确定每张所述参考图像的评价参数；根据所述评价参数在所述多张参考图像中确定目标图像；根据所述图像采集设备采集所述目标图像时的姿态，设置所述图像采集设备采集图像时的姿态。
由此，图像采集控制设备能够自动从多张参考图像中挑选出目标图像，进而可以根据采集目标图像时的姿态自动调整图像采集设备的姿态，以便采集到满足用户对于审美需求的图像。在实现图像采集设备自动拍摄的同时，还可以保证自动拍摄得到的图像满足用户对于审美需求，其中无需用户进行手动调整姿态，有利于实现更高程度的自动化拍摄。
可选的，可移动平台还包括通信装置，所述通信装置可用于提供可移动平台与外部设备的通信连接，该通信连接可为有线通信连接或无线通信连接，该外部设备可为遥控器或手机，平板电脑，可穿戴设备等终端。
可选的，可移动平台为无人飞行器，无人车，手持设备，移动机器人中的一种。
图1是根据本公开的实施例示出的一种图像采集控制方法的示意流程图。如图1所示，所述图像采集控制方法可以包括以下步骤：
步骤S0，在改变所述图像采集设备的姿态的过程中，获取所述图像采集设备采集到的多张参考图像；
步骤S1，对每张所述参考图像分别进行显著性检测，以确定每张所述参考图像中的显著区域；
步骤S2，根据每张所述参考图像中的显著区域和预设构图法则，确定每张所述参考图像的评价参数；
步骤S3，根据所述评价参数在所述多张参考图像中确定目标图像。
步骤S4，根据所述图像采集设备采集所述目标图像时的姿态，设置所述图像采集设备采集图像时的姿态。
在一个实施例中，可以先将图像采集设备朝着目标区域，所述目标区域可以为用户设定的区域，或是图像采集控制设备自动生成的区域。然后可以调节图像采集设备的姿态，例如可以在预设角度范围内调节图像采集设备的一个或多个姿态角(可以包括横滚角，平移角和俯仰角)，还可以在预设距离范围内调节图像采集设备在一个或多个方向上的位置，从而使得图像采集设备改变姿态。
并且在改变姿态的过程中，可以获取参考图像，例如每改变一次姿态，获取一次参考图像，从而图像采集设备可以获取多张参考图像，然后针对参考图像进行显著性检测来确定参考图像中的显著区域。
其中，改变图像采集设备的姿态的操作可以是用户人工执行的，也可以是图像采集设备自动执行的。
在一个实施例中，可以获取参考图像，其中，参考图像是指在按下快门之前，图像采集设备所采集到的图像，参考图像与按下快门后图像采集设备采集到的图像在多方面存在区别，例如图像采集设备对于两者的处理精细程度不同，例如两者的分辨率不同等。可选的，参考图像可提供给用户进行预览。
显著性检测具体是指视觉显著性检测(Visual Saliency Detection)，显著性检测可以通过智能算法模拟人的视觉特点，提取参考图像中人类感兴趣的区域作为显著区域。在一张参考图像中可以确定出一块显著区域，也可以确定出多块显示区域，具体根据实际情况而定。
由于显著区域是人眼感兴趣的区域，而预设构图法则满足一定的美学标准，所以确定参考图像中显著区域相对于预设构图法则的评价参数，基于该评价参数就可以确定参考图像对于人类来说是否满足人类的审美需求。其中，所述评价参数可以是数值，所述数值可以与参考图像关联显示，例如显示在参考图像中供用户参考，具体可以作为评分显示在参考图像中。
进而根据所述评价参数，可以设置图像采集设备采集图像时的姿态。
在一个实施例中，所述评价参数可以表征人类的审美需求，那么根据所述评价参数可以在多张参考图像中确定满足人类审美需求的图像作为目标图像，进而可以根据图像采集设备获取目标图像时的姿态，设置图像采集设备采集图像时的姿态，例如将图像采集设备采集图像时的姿态设置为采集目标图像时的姿态，从而确保采集到的图像能够满足人类的审美需求。
需要说明的是，目标图像可以是一张参考图像，也可以是多张参考图像。以所述评价参数是数值为例，可以选取数值最大的参考图像作为目标图像，也可以选取数值大于第一预设值的参考图像作为目标图像。
在本实施例中，也可以根据需要将图像采集设备采集图像时的姿态调整到为与图像采集设备获取目标图像时的姿态存在特定关系(例如对称，旋转)的姿态，以使采集到的图像满足特定需要。
根据上述实施例，图像采集设备能够根据每张参考图像中显著区域相对于预设构图法则的评价参数自动调整图像采集设备采集图像时的姿态，以便采集到满足用户对于审美需求的图像。在实现图像采集设备自动拍摄的同时，还可以保证自动拍摄得到的图像满足用户对于审美需求，其中无需户进行手动调整姿态，有利于实现更高程度的自动化拍摄。
图2是根据本公开的实施例示出的一种对每张所述参考图像分别进行显著性检测，以确定每张所述参考图像中的显著区域的示意流程图。如图2所示，所述对每张所述参考图像分别进行显著性检测，以确定每张所述参考图像中的显著区域包括：
步骤S11，针对所述参考图像进行傅里叶变换；
步骤S12，根据傅里叶变换的第一结果获取所述参考图像的相位谱；
步骤S13，对所述相位谱的反傅里叶变换的第二结果进行高斯滤波，以确定所述参考图像中的显著区域。
在一个实施例中，针对参考图像中位于坐标(x,y)的像素可以确定其图像评价参数，例如像素值，记做I(x,y)，然后针对参考图像中每个像素进行傅里叶变换，计算式如下所示：
f(x,y)＝F(I(x,y))；
进而针对傅里叶变换的第一结果f(x,y)，可以获取参考图像的相位谱p(x,y)，计算式如下所示：
p(x,y)＝P(f(x,y))；
然后对对所述相位谱的反傅里叶变换的第二结果进行高斯滤波，其中，可以先以p(x,y)作为幂来构建e的指数表达式ei·p(x,y)，对于该指数表达式的反傅里叶变换结果进行高斯滤波，得到参考图像中每个像素的显著性评价参数sM(x,y)，计算式如下所示：
sM(x,y)＝g(x,y)*||F-1[ei·p(x,y)]||2；
基于像素的显著性评价参数，可以确定像素是否属于显著区域，例如显著性评价参数为显著性数值，那么可以比较显著性数值与第二预设值，将显著性数值大于第二预设值的像素归入显著区域，从而确定显著区域。
需要说明的是，图2所示实施例中的步骤，只是确定显著区域的一种实现方式，本公开用于确定显示区域的方式包括但不限于图2所示实施例中的步骤，例如还可以根据LC算法确定显著区域，或者根据HC算法确定显著区域，或者AC算法确定显著区域，或者根据FT算法确定显著区域。显著性检测可以包括对人脸的检测，或者对物体的检测，具体方式根据需要进行选择。
图3是根据本公开的实施例示出的一种针对每张所述参考图像确定显著区域相对于预设构图法则的评价参数的示意流程图。如图3所示，所述预设构图法则包括至少一种构图法则，所述针对每张所述参考图像确定所述显著区域相对于预设构图法则的评价参数包括：
步骤S21，确定每张所述参考图像中的显著区域相对于每种所述构图法则的评价参数；
步骤S22，针对每种所述构图法则对应的评价参数进行加权求和，以确定所述显著区域相对于预设构图法则的评价参数。
在一个实施例中，每种构图法则所符合的审美角度有所不同，本实施例针对每种构图法则对应的评价参数进行加权求和，以确定显著区域相对于预设构图法则的评价参数，可以综合考虑每种构图法则所符合的审美角度得到显著区域相对于预设构图法则的评价参数，进而根据得到的评价参数确定目标图像，使得所确定目标图像能够在多个审美角度上都能够满足要求，即使不同用户的审美角度不尽相同，目标图像也能够满足不同用户的审美需求。
可选地，所述构图法则包括以下至少之一：
三分法、主体视觉平衡法、黄金分割法、中心对称法。
以下以三分法和主体视觉平衡法为例，对本公开的实施例进行示例性说明。
图4是根据本公开的实施例示出的一种确定显著区域相对于每种所述构图法则的评价参数的示意流程图。如图4所示，所述构图法则包括三分法，所述确定所述显著区域相对于每种所述构图法则的评价参数包括：
步骤S211，计算所述显著区域的中心的坐标到所述参考图像中4个等分线的交点的距离中最短的距离；
步骤S212，根据所述显著区域的质心的坐标和所述最短的距离计算所述显著区域相对于所述三分法的评价参数。
在一个实施例中，三分法通过沿着参考图像长度方向的两条三等分线，和沿着参考图像宽度方向的两条三等分线将参考图像划分为9块，其中4条三等分线相交形成4个交点。
若参考图像中的显著区域位于某个交点附近，或者沿着某条等分线分布，那么可以判定显著区域在参考图像中的构图符合三分法，而显著区域在参考图像越符合三分法，例如显著区域距离交点越近，那么显著区域相对三分法的评价参数就越大。
在一个实施例中，显著区域相对于三分法的评价参数SRT可以通过下式计算：
Figure GDA0003290215660000091
其中，
Figure GDA0003290215660000092
Gj表示第j个交点，C(Si)表示参考图像中第i个显著区域Si的中心的坐标，dM(C(Si),Gj)表示第i个参考图像中显著区域的中心的坐标与第j个交点的距离，D(Si)是dM(C(Si),Gj)中最短的距离，M(Si)表示参考图像中第i个显著区域Si的质心的坐标，σ1为方差控制因子，可以根据需要进行设置，参考图像中可以包括n个显著区域，i≤n，加和可以从i＝1加到i＝n。
根据本实施例的计算方式，依据显示区域的中心到等分线的交点的最短距离和显著区域的质心之间的关系，来考量参考图像中所有显示区域整体上与等分线的交点的关系，进而确定出显著区域相对于所述三分法的评价参数SRT，参考图像中所有显示区域整体上与等分线的交点越近，那么SRT越大，相应地，参考图像中所有显示区域整体上与等分线的交点越远，那么SRT越小。
图5是根据本公开的实施例示出的另一种确定显著区域相对于每种所述构图法则的评价参数的示意流程图。如图5所示，所述构图法则包括主体视觉平衡法，所述确定所述显著区域相对于每种所述构图法则的评价参数包括：
步骤S213，基于所述参考图像中心的坐标以及所述显著区域的中心的坐标和质心的坐标，计算归一化曼哈顿距离；
步骤S214，根据所述归一化曼哈顿距离计算所述显著区域相对于所述主体视觉平衡法的评价参数。
在一个实施例中，若参考图像中显著区域中内容均匀分布在参考图像的中心点周围，那么可以判定显著区域在参考图像中的构图符合主体视觉平衡法，而显著区域在参考图像越符合主体视觉平衡法，例如显著区域中内容在参考图像的中心点周围分布越均匀，那么显著区域相对主体视觉平衡法的评价参数就越大。
在一个实施例中，显著区域相对于主体视觉平衡法的评价参数SVB可以通过下式计算：
Figure GDA0003290215660000101
其中，
Figure GDA0003290215660000102
C表示参考图像中心的坐标，C(Si)表示参考图像中第i个显著区域Si的中心的坐标，M(Si)表示参考图像中第i个显著区域Si的质心的坐标，dM表示计算归一化曼哈顿距离，σ2为方差控制因子，可以根据需要进行设置，参考图像中可以包括n个显著区域，i≤n，加和可以从i＝1加到i＝n。
根据本实施例的计算方式，基于全部显著区域的中心的坐标和质心的坐标之间的关系，可以在全部显著区域整体上中心在参考图像中的坐标，进而根据全部显著区域整体上中心与参考图像中心的关系，可以确定全部显著区域相对参考图像中心的分布情况，进而确定出显著区域相对于主体视觉平衡法的评价参数SVB。
在一个实施例中，例如预设构图法则包括三分法和主体视觉平衡法这两种构图法则，那么在确定出显著区域相对于所述三分法的评价参数SRT，以及确定显著区域相对于主体视觉平衡法的评价参数SVB之后，可以对SRT和SVB进行加权求和，得到显著区域相对于预设构图法则的评价参数SA；
Figure GDA0003290215660000103
其中，ωRT为SRT的权重，ωVB为SVB的权重。
在一种实施方式中，用户可以预先设置三分法的评价参数SRT对应的权重，以及主体视觉平衡法的评价参数SVB对应的权重，以满足用户的审美需求。
图6是根据本公开的实施例示出的另一种图像采集控制方法的示意流程图。如图6所示，在对每张所述参考图像分别进行显著性检测之前，所述方法还包括：
步骤S5，针对所述参考图像消除所述图像采集设备的镜头畸变和果冻效应引发的误差。
由于图像采集设备的镜头(例如鱼眼镜头)在获取参考图像时，可能会在参考图像的边缘存在非线性畸变效果，导致参考图像中的部分物体与实际场景中物体存在差异(例如形状存在差异)，而显著区域主要是包含物体的区域，在物体与实际场景中物体不同时，不利于准确地确定显著区域。
另外，若图像采集设备的快门为卷帘快门(Rolling shutter)，当图像采集设备在获取参考图像时，参考图像中的物体相对图像采集设备高速运动或者快速振动时，拍摄得到的参考图像中的内容可能会出现倾斜，部分曝光，有残影等问题，这种问题即果冻效应，这也会导致参考图像中的部分物体与实际场景中物体存在差异(例如形状存在差异)，不利于准确地确定显著区域。
本实施例对每张所述参考图像分别进行显著性检测之前，先针对所述参考图像消除所述图像采集设备的镜头畸变和果冻效应引发的误差，以便后续能够准确地确定显著区域。
图7是根据本公开的实施例示出的一种针对所述参考图像消除所述图像采集设备的镜头畸变和果冻效应引发的误差的示意流程图。如图7所示，所述针对所述参考图像消除所述图像采集设备的镜头畸变和果冻效应引发的误差包括：
步骤S51，将所述参考图像的垂直同步信号计数值和所述参考图像的数据进行行间同步，以确定所述参考图像中每一行数据在曝光过程中的运动信息；
步骤S52，通过后向映射或前向映射在所述参考图像上生成网格；
步骤S53，通过迭代法对所述运动信息进行计算，以确定所述网格的交点处的坐标在曝光过程中的偏移量；
步骤S54，根据所述偏移量对所述参考图像进行去畸变(dewarp)，以消除所述误差。
在一个实施例中，非线性畸变引发的参考图像中的物体与实际场景中物体之间的差异，主要是在镜头径向和镜头切向存在的，果冻效应引发的参考图像中的物体与实际场景中物体之间的差异，主要是在图像采集设备中光电传感器阵列行方向上存在的(光电传感器阵列采用逐行扫描的方式进行曝光)。
而无论哪种差异，本质上都是参考图像中的物体相对于实际场景中物体的偏移，而这种偏移可以等效为物体在曝光过程中的运动，从而可以通过参考图像中的数据在曝光过程中的运动信息得出。
本实施例通过将所述参考图像的垂直同步信号计数值和所述参考图像的数据进行行间同步，以确定参考图像中每一行数据在曝光过程中的运动评价参数，进而通过后向映射或前向映射在所述参考图像上生成网格，通过迭代法对所述运动信息进行计算，可以确定网格的交点处的坐标在曝光过程中的偏移量，据此就得到了以网格表示的参考图像中，网格的交点处的坐标在曝光过程中的偏移量，这个偏移量可以表示对应位置的物体相对实际场景中的物体在曝光过程中的偏移量，从而根据该偏移量可以去畸变，来消除镜头畸变和果冻效应引发的误差。
图8是根据本公开的实施例示出的又一种图像采集控制方法的示意流程图。如图8所示，所述根据所述图像采集设备获取所述目标图像时的姿态，设置所述图像采集设备采集图像时的姿态包括：
步骤S41，根据所述图像采集设备获取所述目标图像时的姿态，通过云台设置所述图像采集设备采集图像时的姿态。
在一个实施例中，可以通过云台设置所述图像采集设备采集图像时的姿态。
在一个实施例中，可以根据所述评价参数在所述多张参考图像中确定目标图像；根据所述图像采集设备获取所述目标图像时的目标姿态，通过云台设置所述图像采集设备采集图像时的姿态。
可选地，所述云台包括以下至少之一：
单轴云台、双轴云台、三轴云台。
可选地，所述云台的增稳方式包括以下至少之一：
机械增稳、电子增稳、机械电子混合式增稳。
与上述图像采集控制方法的实施例相对应地，本公开还提出了图像采集控制设备的实施例。
如图9所示，本公开实施例提出的图像采集控制设备包括存储器901、处理器902；
所述存储器901用于存储程序代码；
所述处理器902，调用所述程序代码，当程序代码被执行时，用于执行以下操作：
在改变所述图像采集设备的姿态的过程中，获取所述图像采集设备采集到的多张参考图像；
对每张所述参考图像分别进行显著性检测，以确定每张所述参考图像中的显著区域；
根据每张所述参考图像中的显著区域和预设构图法则，确定每张所述参考图像的评价参数；
根据所述评价参数在所述多张参考图像中确定目标图像；
根据所述图像采集设备采集所述目标图像时的姿态，设置所述图像采集设备采集图像时的姿态。
在一个实施例中，所述处理器902用于：
针对所述参考图像进行傅里叶变换；
根据傅里叶变换的第一结果获取所述参考图像的相位谱；
对所述相位谱的反傅里叶变换的第二结果进行高斯滤波，以确定所述参考图像中的显著区域。
在一个实施例中，所述预设构图法则包括至少一种构图法则，所述处理器902用于：
确定每张所述参考图像中的显著区域相对于每种所述构图法则的评价参数；
针对每种所述构图法则对应的评价参数进行加权求和，以确定所述显著区域相对于预设构图法则的评价参数。
在一个实施例中，所述构图法则包括以下至少之一：
三分法、主体视觉平衡法、黄金分割法、中心对称法。
在一个实施例中，所述构图法则包括三分法，所述处理器902用于：
计算所述显著区域的中心的坐标到所述参考图像中4个等分线的交点的距离中最短的距离；
根据所述显著区域的质心的坐标和所述最短的距离计算所述显著区域相对于所述三分法的评价参数。
在一个实施例中，所述构图法则包括主体视觉平衡法，所述处理器902用于：
基于所述参考图像中心的坐标以及所述显著区域的中心的坐标和质心的坐标，计算归一化曼哈顿距离；
根据所述归一化曼哈顿距离计算所述显著区域相对于所述主体视觉平衡法的评价参数。
在一个实施例中，所述处理器902用于：
在对每张所述参考图像分别进行显著性检测之前，针对所述参考图像消除所述图像采集设备的镜头畸变和果冻效应引发的误差。
在一个实施例中，所述处理器902用于：
将所述参考图像的垂直同步信号计数值和所述参考图像的数据进行行间同步，以确定所述参考图像中每一行数据在曝光过程中的运动信息；
通过后向映射或前向映射在所述参考图像上生成网格；
通过迭代法对所述运动信息进行计算，以确定所述网格的交点处的坐标在曝光过程中的偏移量；
根据所述偏移量对所述参考图像进行去畸变，以消除所述误差。
在一个实施例中，还包括云台，所述处理器902用于：
通过云台设置所述图像采集设备采集图像时的姿态。
在一个实施例中，所述云台包括以下至少之一：
单轴云台、双轴云台、三轴云台。
在一个实施例中，所述云台的增稳方式包括以下至少之一：
机械增稳、电子增稳、机械电子混合式增稳。
本公开的实施例还提出一种可移动平台，其特征在于，包括：
机身；
图像采集设备，用于采集图像；
以及上述任一实施例所述的图像采集控制设备。
图10是根据本公开的实施例示出的一种可移动平台的示意结构图。如图10所示，该可移动平台为手持式拍摄装置，手持式拍摄装置包括镜头101、三轴云台和惯性测量单元(Inertial measurement unit，IMU)102，其中三个轴分别为俯仰轴103，横滚轴104和偏航轴105，三轴云台连接于镜头101，其中俯仰轴用于调整镜头的俯仰角，横滚轴用于调整镜头的横滚角，偏航轴用于调整镜头的偏航角。
惯性测量单元102设置在镜头101下后方，惯性测量单元102的引脚可以与光电传感器的垂直同步引脚连接，从而对光电传感器的姿态进行采样，采样的频率可以根据需要进行设置，例如可以设置为8KHz，从而采样可以记录镜头101获取参考图像时的姿态以及运动信息，还可以根据垂直同步信号反推出参考图像中每一行像素的运动信息，例如按照图7所示实施例中的步骤S51来确定运动信息，从而对参考图像进行去畸变。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (24)

1.一种图像采集控制方法，其特征在于，所述方法包括：
在预设角度范围内调节图像采集设备的一个或多个姿态角，或者在预设距离范围内调节图像采集设备在一个或多个方向上的位置，以使所述图像采集设备改变姿态；
在改变所述图像采集设备的姿态的过程中，获取所述图像采集设备采集到的多张参考图像；
对每张所述参考图像分别进行显著性检测，以确定每张所述参考图像中的显著区域；
根据每张所述参考图像中的显著区域和预设构图法则，确定每张所述参考图像的评价参数；
根据所述评价参数在所述多张参考图像中确定目标图像；
设置所述图像采集设备采集图像时的姿态为所述图像采集设备采集所述目标图像时的姿态。
2.根据权利要求1所述的方法，其特征在于，所述对每张所述参考图像分别进行显著性检测，以确定每张所述参考图像中的显著区域，包括：
针对所述参考图像进行傅里叶变换；
根据傅里叶变换的第一结果获取所述参考图像的相位谱；
对所述相位谱的反傅里叶变换的第二结果进行高斯滤波，以确定所述参考图像中的显著区域。
3.根据权利要求1所述的方法，其特征在于，所述预设构图法则包括至少一种构图法则，所述根据每张所述参考图像中的显著区域和预设构图法则，确定每张所述参考图像的评价参数，包括：
确定每张所述参考图像中的显著区域相对于每种所述构图法则的评价参数；
针对每种所述构图法则对应的评价参数进行加权求和，以确定每张所述参考图像的评价参数。
4.根据权利要求3所述的方法，其特征在于，所述构图法则包括以下至少之一：
三分法、主体视觉平衡法、黄金分割法、中心对称法。
5.根据权利要求4所述的方法，其特征在于，所述构图法则包括三分法，所述确定每张所述参考图像中的显著区域相对于每种所述构图法则的评价参数包括：
计算所述显著区域的中心的坐标到所述参考图像中4个等分线的交点的距离中最短的距离；
根据所述显著区域的质心的坐标和所述最短的距离计算所述显著区域相对于所述三分法的评价参数。
6.根据权利要求4所述的方法，其特征在于，所述构图法则包括主体视觉平衡法，所述确定每张所述参考图像中的显著区域相对于每种所述构图法则的评价参数包括：
基于所述参考图像中心的坐标以及所述显著区域的中心的坐标和质心的坐标，计算归一化曼哈顿距离；
根据所述归一化曼哈顿距离计算所述显著区域相对于所述主体视觉平衡法的评价参数。
7.根据权利要求1至6中任一项所述的方法，其特征在于，在对每张所述参考图像分别进行显著性检测之前，所述方法还包括：
针对所述参考图像消除所述图像采集设备的镜头畸变和果冻效应引发的误差。
8.根据权利要求7所述的方法，其特征在于，所述针对所述参考图像消除所述图像采集设备的镜头畸变和果冻效应引发的误差包括：
将所述参考图像的垂直同步信号计数值和所述参考图像的数据进行行间同步，以确定所述参考图像中每一行数据在曝光过程中的运动信息；
通过后向映射或前向映射在所述参考图像上生成网格；
通过迭代法对所述运动信息进行计算，以确定所述网格的交点处的坐标在曝光过程中的偏移量；
根据所述偏移量对所述参考图像进行去畸变，以消除所述误差。
9.根据权利要求1至6中任一项所述的方法，其特征在于，所述设置所述图像采集设备采集图像时的姿态包括：
通过云台设置所述图像采集设备采集图像时的姿态。
10.根据权利要求9所述的方法，其特征在于，所述云台包括以下至少之一：
单轴云台、双轴云台、三轴云台。
11.根据权利要求9所述的方法，其特征在于，所述云台的增稳方式包括以下至少之一：
机械增稳、电子增稳、机械电子混合式增稳。
12.一种图像采集控制设备，其特征在于，包括存储器、处理器；
所述存储器用于存储程序代码；
所述处理器，调用所述程序代码，当程序代码被执行时，用于执行以下操作：
在预设角度范围内调节图像采集设备的一个或多个姿态角，或者在预设距离范围内调节图像采集设备在一个或多个方向上的位置，以使所述图像采集设备改变姿态；
在改变所述图像采集设备的姿态的过程中，获取所述图像采集设备采集到的多张参考图像；
对每张所述参考图像分别进行显著性检测，以确定每张所述参考图像中的显著区域；
根据每张所述参考图像中的显著区域和预设构图法则，确定每张所述参考图像的评价参数；
根据所述评价参数在所述多张参考图像中确定目标图像；
设置所述图像采集设备采集图像时的姿态为所述图像采集设备采集所述目标图像时的姿态。
13.根据权利要求12所述的图像采集控制设备，其特征在于，所述处理器用于：
针对所述参考图像进行傅里叶变换；
根据傅里叶变换的第一结果获取所述参考图像的相位谱；
对所述相位谱的反傅里叶变换的第二结果进行高斯滤波，以确定所述参考图像中的显著区域。
14.根据权利要求12所述的图像采集控制设备，其特征在于，所述预设构图法则包括至少一种构图法则，所述处理器用于：
确定每张所述参考图像中的显著区域相对于每种所述构图法则的评价参数；
针对每种所述构图法则对应的评价参数进行加权求和，以确定所述显著区域相对于预设构图法则的评价参数。
15.根据权利要求14所述的图像采集控制设备，其特征在于，所述构图法则包括以下至少之一：
三分法、主体视觉平衡法、黄金分割法、中心对称法。
16.根据权利要求15所述的图像采集控制设备，其特征在于，所述构图法则包括三分法，所述处理器用于：
计算所述显著区域的中心的坐标到所述参考图像中4个等分线的交点的距离中最短的距离；
根据所述显著区域的质心的坐标和所述最短的距离计算所述显著区域相对于所述三分法的评价参数。
17.根据权利要求15所述的图像采集控制设备，其特征在于，所述构图法则包括主体视觉平衡法，所述处理器用于：
基于所述参考图像中心的坐标以及所述显著区域的中心的坐标和质心的坐标，计算归一化曼哈顿距离；
根据所述归一化曼哈顿距离计算所述显著区域相对于所述主体视觉平衡法的评价参数。
18.根据权利要求12至17中任一项所述的图像采集控制设备，其特征在于，所述处理器用于：
在对每张所述参考图像分别进行显著性检测之前，针对所述参考图像消除所述图像采集设备的镜头畸变和果冻效应引发的误差。
19.根据权利要求18所述的图像采集控制设备，其特征在于，所述处理器用于：
将所述参考图像的垂直同步信号计数值和所述参考图像的数据进行行间同步，以确定所述参考图像中每一行数据在曝光过程中的运动信息；
通过后向映射或前向映射在所述参考图像上生成网格；
通过迭代法对所述运动信息进行计算，以确定所述网格的交点处的坐标在曝光过程中的偏移量；
根据所述偏移量对所述参考图像进行去畸变，以消除所述误差。
20.根据权利要求12至17中任一项所述的图像采集控制设备，其特征在于，还包括云台，所述处理器用于：
通过云台设置所述图像采集设备采集图像时的姿态。
21.根据权利要求20所述的图像采集控制设备，其特征在于，所述云台包括以下至少之一：
单轴云台、双轴云台、三轴云台。
22.根据权利要求20所述的图像采集控制设备，其特征在于，所述云台的增稳方式包括以下至少之一：
机械增稳、电子增稳、机械电子混合式增稳。
23.一种可移动平台，其特征在于，包括：
机身；
图像采集设备，用于采集图像；
以及权利要求12至22中任一项所述的图像采集控制设备。
24.根据权利要求23所述的可移动平台，其特征在于，所述可移动平台为无人飞行器，无人车，手持设备，移动机器人中的一种。
CN201980008880.8A 2019-04-04 2019-04-04 图像采集控制方法，图像采集控制设备和可移动平台 Active CN111656763B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/081518 WO2020199198A1 (zh) 2019-04-04 2019-04-04 图像采集控制方法，图像采集控制设备和可移动平台

Publications (2)

Publication Number Publication Date
CN111656763A CN111656763A (zh) 2020-09-11
CN111656763B true CN111656763B (zh) 2022-02-25

Family

ID=72350338

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980008880.8A Active CN111656763B (zh) 2019-04-04 2019-04-04 图像采集控制方法，图像采集控制设备和可移动平台

Country Status (3)

Country Link
US (1) US20210266456A1 (zh)
CN (1) CN111656763B (zh)
WO (1) WO2020199198A1 (zh)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8138564B2 (en) * 2006-07-20 2012-03-20 Konica Minolta Opto, Inc. Image sensor unit and image sensor apparatus
JP2010011441A (ja) * 2008-05-26 2010-01-14 Sanyo Electric Co Ltd 撮像装置及び画像再生装置
JP5565640B2 (ja) * 2012-02-09 2014-08-06 フリュー株式会社 写真シール作成装置および方法、並びにプログラム
CN105120144A (zh) * 2015-07-31 2015-12-02 小米科技有限责任公司 图像拍摄方法和装置
CN106973221B (zh) * 2017-02-24 2020-06-16 北京大学 基于美学评价的无人机摄像方法和系统
US20190096041A1 (en) * 2017-09-25 2019-03-28 Texas Instruments Incorporated Methods and system for efficient processing of generic geometric correction engine
CN108322666B (zh) * 2018-02-12 2020-06-26 广州视源电子科技股份有限公司 摄像头快门的调控方法、装置、计算机设备及存储介质
CN108921130B (zh) * 2018-07-26 2022-03-01 聊城大学 基于显著性区域的视频关键帧提取方法
CN109547689A (zh) * 2018-08-27 2019-03-29 幻想动力(上海)文化传播有限公司 自动拍摄控制方法、装置及计算机可读存储介质

Also Published As

Publication number Publication date
WO2020199198A1 (zh) 2020-10-08
CN111656763A (zh) 2020-09-11
US20210266456A1 (en) 2021-08-26

Similar Documents

Publication Publication Date Title
CN107466385B (zh) 一种云台控制方法及系统
CN107223330B (zh) 一种深度信息获取方法、装置及图像采集设备
CN106973228B (zh) 一种拍摄方法及电子设备
CN107710283B (zh) 一种拍摄控制方法、装置以及控制设备
JP2022051761A (ja) ３次元空間内の姿勢推定
CN107113376B (zh) 一种图像处理方法、装置及摄像机
CN111355884B (zh) 监控方法、装置、系统、电子设备及存储介质
CN108717704B (zh) 基于鱼眼图像的目标跟踪方法、计算机装置及计算机可读存储介质
JP2017017689A (ja) 全天球動画の撮影システム、及びプログラム
CN111445537B (zh) 一种摄像机的标定方法及系统
CN113409391A (zh) 视觉定位方法及相关装置、设备和存储介质
CN114943773A (zh) 相机标定方法、装置、设备和存储介质
WO2023236508A1 (zh) 一种基于亿像素阵列式相机的图像拼接方法及系统
CN114640833A (zh) 投影画面调整方法、装置、电子设备和存储介质
CN113875219A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN115457176A (zh) 一种图像生成方法、装置、电子设备及存储介质
CN110650284B (zh) 图像拍摄控制方法、装置、设备及存储介质
CN114390186A (zh) 视频拍摄方法及电子设备
CN111656763B (zh) 图像采集控制方法，图像采集控制设备和可移动平台
JP6677980B2 (ja) パノラマビデオデータの処理装置、処理方法及び処理プログラム
CN115546043B (zh) 视频处理方法及其相关设备
CN109785439A (zh) 人脸素描图像生成方法及相关产品
CN112154652A (zh) 手持云台的控制方法、控制装置、手持云台及存储介质
CN104796595B (zh) 图像处理方法和电子设备
CN220189007U (zh) 一种视频成像建模系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant