CN112985359A - 影像获取方法及影像获取设备 - Google Patents

影像获取方法及影像获取设备 Download PDF

Info

Publication number
CN112985359A
CN112985359A CN202010101554.6A CN202010101554A CN112985359A CN 112985359 A CN112985359 A CN 112985359A CN 202010101554 A CN202010101554 A CN 202010101554A CN 112985359 A CN112985359 A CN 112985359A
Authority
CN
China
Prior art keywords
image
time point
local area
image capturing
capturing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010101554.6A
Other languages
English (en)
Other versions
CN112985359B (zh
Inventor
郭慧冰
陈国睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial Technology Research Institute ITRI
Original Assignee
Industrial Technology Research Institute ITRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial Technology Research Institute ITRI filed Critical Industrial Technology Research Institute ITRI
Publication of CN112985359A publication Critical patent/CN112985359A/zh
Application granted granted Critical
Publication of CN112985359B publication Critical patent/CN112985359B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G01C11/025—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures by scanning the object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00—Constructional aspects of UAVs
    • B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Mechanical Engineering (AREA)
  • Manufacturing & Machinery (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Measurement Of Optical Distance (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供一种影像获取方法及影像获取设备，其影像获取方法，于一第一时间点，提供一第一影像获取装置获取一待观测区域的一待观测区域影像；于第一时间点之后的一第二时间点，接收一控制信号；计算出第一时间点的第一影像获取装置与第二时间点的一第二影像获取装置的一相对位移关系和/或一相对转动关系；计算出局部区域相对于第一影像获取装置的一第一立体坐标值并依据相对位移关系和/或相对转动关系将第一立体坐标值转换为相对于第二影像获取装置的一第二立体坐标值；依据第二立体坐标驱动第二影像获取装置转动；获取局部区域的一局部区域影像。

Description

影像获取方法及影像获取设备
技术领域
本发明是有关于一种影像处理方法及影像处理设备，且特别是有关于一种影像获取方法及影像获取设备。
背景技术
目前，利用飞行载具装载影像获取装置对目标进行影像获取已成为受到广泛关注的技术与应用。无人飞行载具(Unmanned Aerial Vehicle，UAV)其可于空中停滞的特性而能够以更符合需求的视角对目标进行影像获取。基于所述影像获取方式，可搭配影像传输技术而以远距拍摄的方式发展出远距检测(如对桥梁、水库等大型结构物进行检测)的应用。然而，控制端与远距的飞行载具端之间的信号传输存在时间延迟，且飞行载具在此时间延迟中易受风力等环境因素及机械震动等自身因素而造成画面偏移，使拍摄位置产生误差。
发明内容
本发明提供一种影像获取方法及影像获取设备，可对目标进行影像获取。
本发明的影像获取方法包括以下步骤。于第一时间点，通过一第一影像获取装置获取一待观测区域的一待观测区域影像。于第一时间点之后的一第二时间点，接收一控制信号，控制信号对应于待观测区域影像中的一局部区域。通过一处理单元计算出第一时间点的第一影像获取装置与第二时间点的第二影像获取装置的一相对位移关系及一相对转动关系的至少其中之一。通过处理单元依据控制信号计算出局部区域相对于第一影像获取装置的一第一立体坐标值，并依据相对位移关系及相对转动关系的至少其中之一将第一立体坐标值转换为相对于第二影像获取装置的一第二立体坐标值。通过一驱动单元依据第二立体坐标值驱动第二影像获取装置以一转动量转动。通过第二影像获取装置获取局部区域的一局部区域影像。
在本发明的一实施例中，上述的第一影像获取装置及第二影像获取装置装载于一飞行载具上，计算出相对位移关系及相对转动关系的至少其中之一的步骤包括：依据第一影像获取装置与第二影像获取装置在飞行载具上的相对位置与相对角度的至少其中之一以及飞行载具从第一时间点至第二时间点产生的移动量与转动量的至少其中之一而计算出相对位移关系及相对转动关系的至少其中之一。
在本发明的一实施例中，上述的第一影像获取装置装载于飞行载具的一主体上，第二影像获取装置装载于飞行载具的一稳态装置上，稳态装置用于依据主体的部分转动量而产生一补偿转动量，其中计算出相对位移关系及相对转动关系的至少其中之一的步骤还包括：依据补偿转动量而计算出相对位移关系及相对转动关系。
在本发明的一实施例中，上述的计算出第一立体坐标值的步骤包括：预估在第一时间点的第一影像获取装置与局部区域中的点在垂直于待观测区域影像所在的平面坐标系的轴线上的距离为预估距离值。依据预估距离值及局部区域中的点在平面坐标系中的平面坐标值计算出局部区域中的点相对于第一影像获取装置的第一立体坐标值。
在本发明的一实施例中，上述的影像获取方法还包括一影像比对步骤，影像比对步骤包括：通过一第一影像暂存单元储存第一时间点的待观测区域影像，并通过一第二影像暂存单元储存第二时间点的局部区域影像。通过处理单元判断第一影像暂存单元中的待观测区域影像与第二影像暂存单元中的第二时间点的局部区域影像的影像关联性是否大于一阈值。
在本发明的一实施例中，上述的影像获取方法还包括一修正步骤，其中修正步骤包括：当第一影像暂存单元中的待观测区域影像与第二影像暂存单元中的第二时间点的局部区域影像的影像关联性小于阈值时，通过处理单元依据预估距离值。依据修正后的预估距离值及平面坐标值修正第一立体坐标值。依据修正后的第一立体坐标值修正第二立体坐标值。通过处理单元依据修正后的第二立体坐标判断一修正转动量，并指示驱动单元依据修正转动量转动第二影像获取装置。
在本发明的一实施例中，上述的影像获取方法还包括：于第三时间点，通过第二影像获取装置获取局部区域的另一局部区域影像。通过第一影像暂存单元储存局部区域影像，通过第二影像暂存单元储存另一局部区域影像。通过处理单元计算出第二时间点的第二影像获取装置与第二时间点之后的第三时间点的第二影像获取装置的另一影像关联性以计算另一相对位移关系及另一相对转动关系的至少其中之一。通过处理单元判断第一影像暂存单元中的局部区域影像与第二影像暂存单元中的另一局部区域影像的影像关联性是否大于阈值。通过处理单元依据第二影像获取装置的另一相对位移关系及另一相对转动关系的至少其中之一，以及依据第一影像暂存单元中的局部区域影像与第二影像暂存单元中的另一局部区域影像的影像关联性是否大于阈值，判断另一修正转动量，指示驱动单元依据另一修正转动量转动第二影像获取装置。
在本发明的一实施例中，上述的影像获取方法还包括一修正步骤，其中修正步骤包括：当第一影像暂存单元中的待观测区域影像与第二影像暂存单元中的第二时间点的局部区域影像的影像关联性大于或等于阈值时，通过处理单元计算待观测影像及局部区域影像的一中心偏移以判断修正转动量，并指示驱动单元依据修正转动量转动第二影像获取装置。
在本发明的一实施例中，上述的计算出第一立体坐标值的步骤包括：通过处理单元依据局部区域在一平面坐标系中的一平面坐标值计算出局部区域相对于第一影像获取装置的第一立体坐标值。
在本发明的一实施例中，上述的控制信号包括对应于第一时间点的时间戳及局部区域的影像特征。
本发明的影像获取设备包括一第一影像获取装置、一第二影像获取装置、一处理单元及一驱动单元。第一影像获取装置用于于一第一时间点获取一待观测区域的一待观测区域影像。处理单元用于计算出第一时间点的第一影像获取装置与第二时间点的第二影像获取装置的一相对位移关系及一相对转动关系的至少其中之一，处理单元用于于第一时间点之后的一第二时间点接收一控制信号，控制信号对应于待观测区域影像中的一局部区域，处理单元用于依据控制信号计算出局部区域相对于第一影像获取装置的一第一立体坐标值并依据相对位移关系及相对转动关系的至少其中之一将第一立体坐标值转换为相对于在第二时间点的第二影像获取装置的一第二立体坐标值。驱动单元用于依据第二立体坐标值驱动第二影像获取装置以一转动量转动，其中，于驱动单元驱动第二影像获取装置以转动量转动后，第二影像获取装置用于获取局部区域的一局部区域影像。
在本发明的一实施例中，上述的影像获取设备包括一飞行载具，其中第一影像获取装置及第二影像获取装置装载于一飞行载具上，处理单元用于依据第一影像获取装置与第二影像获取装置在飞行载具上的相对位置与相对角度的至少其中之一以及飞行载具从第一时间点至第二时间点产生的移动量与转动量的至少其中之一而计算出相对位移关系及相对转动关系的至少其中之一。
在本发明的一实施例中，上述的飞行载具包括一主体及一稳态装置，第一影像获取装置装载于主体上，第二影像获取装置装载于稳态装置上，稳态装置用于依据主体的部分转动量而产生一补偿转动量，其中处理单元用于依据补偿转动量而计算出相对位移关系及相对转动关系的至少其中之一。
在本发明的一实施例中，上述的处理单元用于预估在第一时间点的第一影像获取装置与局部区域中的点在垂直于待观测区域影像所在的平面坐标系的轴线上的距离为预估距离值，且用于依据预估距离值及局部区域中的点在平面坐标系中的平面坐标值计算出局部区域中的点相对于第一影像获取装置的第一立体坐标值。
在本发明的一实施例中，上述的影像获取设备还包括一第一影像暂存单元及一第二影像暂存单元，其中第一影像暂存单元用于储存第一时间点的待观测区域影像，第二影像暂存单元用于储存第二时间点的局部区域影像，处理单元用于判断第一影像暂存单元中的待观测区域影像与第二影像暂存单元中的第二时间点的局部区域影像的影像关联性是否大于一阈值。
在本发明的一实施例中，当第一影像暂存单元中的待观测区域影像与第二影像暂存单元中的第二时间点的局部区域影像的影像关联性小于阈值时，上述的处理单元用于依据比对结果修正预估距离值，用于依据修正后的预估距离值及平面坐标值修正第一立体坐标值，且用于依据修正后的第一立体坐标值修正第二立体坐标值，且处理单元用于依据修正后的第二立体坐标判断修正转动量，且驱动单元用于依据修正转动量转动第二影像获取装置。
在本发明的一实施例中，于第三时间点，上述的第二影像获取装置用于获取局部区域的另一局部区域影像，第一影像暂存单元用于储存局部区域影像，第二影像暂存单元用于储存另一局部区域影像，处理单元用于计算出第二时间点的第二影像获取装置与第二时间点之后的第三时间点的第二影像获取装置的另一相对位移关系及另一相对转动关系的至少其中之一，处理单元用于判断第一影像暂存单元中的局部区域影像与第二影像暂存单元中的另一局部区域影像的影像关联性是否大于阈值，处理单元用于依据第二影像获取装置的另一相对位移关系及另一相对转动关系的至少其中之一，以及依据该第一影像暂存单元中的该局部区域影像与该第二影像暂存单元中的该另一局部区域影像的影像关联性是否大于该阈值，判断另一修正转动量，进而指示驱动单元依据另一修正转动量转动第二影像获取装置。
在本发明的一实施例中，当第一影像暂存单元中的待观测区域影像与第二影像暂存单元中的第二时间点的局部区域影像的影像关联性大于或等于阈值时，上述的处理单元用于计算待观测影像及局部区域影像的一中心偏移以判断修正转动量，且驱动单元用于依据修正转动量转动第二影像获取装置。
在本发明的一实施例中，上述的处理单元用于依据局部区域在一平面坐标系中的一平面坐标值计算出局部区域相对于第一影像获取装置的第一立体坐标值。
在本发明的一实施例中，上述的控制信号包括对应于第一时间点的时间戳及局部区域的影像特征。
基于上述，本发明将第二时间点的第二影像获取装置相对于第一时间点的第一影像获取装置所产生的位移量和/或转动量作为参数，利用此参数来推算欲观测目标(即所述局部区域)在空间中的立体坐标值，以补偿从第一时间点至第二时间点的时间长度(例如为传输控制信号的时间延迟)产生的所述位移量和/或转动量所导致的立体坐标值的误差。因此，不论是风力等环境因素或机械震动等影像获取设备的自身因素导致的非预期的位移量和/或转动量，皆可获得修正而不致影响影像获取位置的正确性。
附图说明
图1是本发明一实施例的影像获取系统的方块示意图。
图2是图1的影像获取设备的侧视示意图。
图3A是本发明一实施例的一影像获取方法的流程图。
图3B是本发明一实施例的另一影像获取方法的流程图。
图4是示出图2的影像获取设备从第一时间点至第二时间点产生位移和/或转动。
图5是示出图1的操作装置的屏幕所显示的画面。
图6是示出图5的待观测区域影像中的平面坐标与立体空间的关系。
图7是本发明一实施例的影像获取方法的流程图。
图8是图1的影像获取设备的部分构件方块示意图。
【符号说明】
100：影像获取系统
110：操作装置
120：影像获取设备
121：主体
122：第一影像获取装置
123：第二影像获取装置
124：处理单元
125：驱动单元
126：惯性感测装置
127：第一影像暂存单元
128：第二影像暂存单元
A：局部区域
cx、cx、u、v：坐标
D：距离值
I1：待观测区域影像
I2：局部区域影像
IS、CS：信号
OA：光轴
P1、P2、P3：位置
S1～S13、S101～S103：步骤
TC：平面坐标系
X、Y：轴线
具体实施方式
图1是本发明一实施例的影像获取系统的方块示意图。图2是图1的影像获取设备的侧视示意图。请参考图1及图2，本实施例的影像获取系统100包括一操作装置110及一影像获取设备120。在一实施例中，影像获取设备120是一无人载具，例如无人飞行载具(Unmanned Aerial Vehicle，UAV)、无人车、机器人或一机械设备，在另一实施例中，影像获取设备120是一可移动或不可移动的设备。在一实施例中，操作装置110例如由远端装置所实施，远端装置例如为电脑、伺服器或遥控装置，可以包括一屏幕，可显示影像获取设备120所获取的影像和/或影像中的局部区域；在一实施例中，远端设备也可用以远端操控影像获取设备120。在一实施例中，影像获取设备120与远端设备位于不同位置或地点，但本发明并不对此做限制。在另一实施例中，影像获取设备120与远端设备也可位于相同位置或地点。影像获取设备120包括一主体121、一第一影像获取装置122、一第二影像获取装置123、一处理单元124、一驱动单元125及一惯性感测装置126。
第一影像获取装置122例如是一广角摄影机且装载于主体121上，用以获取待观测区域的广角影像。此广角影像通过配置于主体121上的处理单元124而以影像信号IS传递至操作装置110。在一实施例中，主体121为刚体的主体，不易或不会发生形变。在一实施例中，影像信号IS是以无线通信的方式传递至操作装置110。在一实施例中，使用者可在操作装置110所显示的广角影像中选取欲观测目标(或是由操作装置110依设定或影像比对选取欲观测目标)，操作装置110随之产生相关于欲观测目标的指令，此指令以控制信号CS的形式传递至处理单元124，在一实施例中，控制信号CS是以无线通信的方式传递至处理单元124。处理单元124依据所述指令执行相关于第一影像获取装置122及第二影像获取装置123的位移量和/或转动量的运算后，据以控制第二影像获取装置123转向以正确地朝向欲观测目标，所述指令包含对应于广角影像的时间点的时间戳、欲观测目标(即后述的局部区域A)的影像特征、坐标和/或范围。处理单元124可包含具有信号收发、运算、信息储存等功能的电路及电性元件，在一实施例中，处理单元124包括一处理器、一无线收发器和/或一控制电路，本发明不对处理单元124的组成及形式加以限制。
第二影像获取装置123例如是一望远摄影机且装载于驱动单元125上，用以依据处理单元124基于控制信号CS的指令所进行的运算结果转向对应于待观测区域，并对待观测区域中的欲观测目标获取聚焦影像。在一实施例中，惯性感测装置126用以感测主体121的移动量和/或转动量，例如用以感测无人机的主体121在滞空过程中因风力或机械震动等因素所产生的移动量及/转动量。驱动单元125例如是连接于主体121的一稳态装置，且用于依据主体121的所述移动量和/或所述转动量而产生一补偿移动量和/或一补偿转动量，使第二影像获取装置123能够持续朝向欲观测目标；在一实施例中，惯性感测装置126和/或驱动单元125可以整合为一装置，在一实施例中，惯性感测装置126和/或驱动单元125例如是一稳态云台。在一实施例中，惯性感测装置126可设置于主体121上，且通过线路耦接于处理单元124。
以下以图1的影像获取系统100中的影像获取设备120为例，对本发明一实施例的影像获取方法进行说明。图3A是本发明一实施例的一影像获取方法的流程图，此影像获取方法可通过图1中所示出的影像获取设备120来执行。请参考图3A，首先，于一第一时间点，影像获取设备120通过第一影像获取装置122获取待观测区域的一待观测区域影像I1(步骤S1)。于第一时间点之后的一第二时间点，通过处理单元124接收控制信号CS(步骤S2)。通过处理单元124计算出第一时间点的第一影像获取装置122与第二时间点的第二影像获取装置123的一相对位移关系和/或一相对转动关系(步骤S3)。通过处理单元124依据局部区域A在待观测区域影像I1中的一平面坐标系TC中的一平面坐标值(u,v)计算出局部区域A相对于第一影像获取装置122的一第一立体坐标值(步骤S4)。通过处理单元124依据所述相对位移关系和/或所述相对转动关系将所述第一立体坐标值转换为相对于第二影像获取装置123的一第二立体坐标值(步骤S5)。通过驱动单元125依据所述第二立体坐标驱动第二影像获取装置123以一转动量转动，以使局部区域A进入第二影像获取装置123的视野中(步骤S6)。通过第二影像获取装置123获取局部区域A的一局部区域影像I2(步骤S7)。
详细而言，在步骤S1中，处理单元124将第一影像获取装置122所拍摄的待观测区域影像I1及对应于待观测区域影像I1的第一时间点的时间戳通过影像信号IS传递至操作装置110。在一实施例中，影像获取设备120获取待观测区域影像(或是每获取一待观测区域影像，或是每隔一特定时间)后，将对应的时间戳、惯性感测装置126感测到的移动量和/或转动量、驱动单元125的补偿移动量和/或补偿转动量，以和/或是影像获取设备120的位置和/或方向储存于影像获取设备120的储存装置(未示出)，储存装置例如是非挥发性存储器(例如硬盘或固态硬盘)或是挥发性存储器(例如随机存取存储器或暂存器)。
在步骤S2中，操作装置110回传对应于影像信号IS的控制信号CS，影像获取设备120的处理单元124接收控制信号CS。控制信号CS对应于待观测区域影像I1中欲观测的局部区域A的信号，在一实施例中，控制信号CS是使用者通过操作装置110针对待观测区域影像I1中欲观测的局部区域A进行选取所产生的相对应信号，控制信号CS包含局部区域A的影像特征、坐标和/或范围，以及对应第一时间点的时间戳。处理单元124可依据控制信号CS的信息获得局部区域A的影像特征、坐标和/或范围，以及对应第一时间点的待观测区域影像I1的拍摄时间点。在一实施例中，于第一时间点获取到待观测区域影像I1，经过传送至操作装置110的时间延迟、选取局部区域的所花费的时间、再传送控制信号CS给影像获取设备120，影像获取设备120于第二时间点接收到控制信号CS。
在步骤S3中，处理单元124依据控制信号CS中的对应第一时间点的时间戳判断出第一时间点，进而判断第一时间点的第一影像获取装置122到第二时间点的第二影像获取装置123的位移量和/或转动量。请参考图4，图4示出图2的影像获取设备120从第一时间点至第二时间点产生位移和/或转动，其中虚线部分对应于第一时间点，实线部分对应于第二时间点，第二时间点晚于第一时间点。从第一时间点至第二时间点，影像获取设备120可能因风力或机械震动等因素而产生位移量和/或转动量，驱动单元125可如图4所示出相应地驱动第二影像获取装置123移动和/或转动，以补偿所述位移量和/或转动量。在另一实施例中，影像获取设备120也可能因飞行而产生位移量和/或转动量。因此，第二时间点的第二影像获取装置123相对于第一时间点的第一影像获取装置122具有位移量和/或转动量，而处理单元124可用以依据惯性感测装置126的感测而计算出此位移量和/或转动量。
请参考图5，图5示出图1的操作装置110的屏幕所显示的画面。在此实施例中，操作装置110的屏幕显示有待观测区域影像I1、局部区域A及局部区域影像I2。使用者依据第一影像获取装置122在第一时间点的所拍摄的待观测区域影像I1选取欲观察的局部区域A以产生相对应的控制信号CS。影像获取设备120在第二时间点接收到控制信号CS，再通过第二影像获取装置123在第二时间点获取包含欲观察的局部区域A的影像特征的影像。在一实施例中，从第一时间点到第二时间点，影像获取设备120上述段落产生位移量和/或转动量，另外，由于使用者是基于据第一影像获取装置122拍摄的影像来通过第二影像获取装置123进行拍摄，第一时间点的第一影像获取装置122及第二时间点的第二影像获取装置123两者之间会具有相对位移关系T及相对转动关系R。在一实施例中，相对位移关系T包含有相对位置Ts及动态位移Td，相对转动关系R包含有相对角度Rs及动态相对角度Rd。相对位置Ts及相对角度Rs可为第一影像获取装置122与第二影像获取装置123两者的静态相对关系。其例如是在主体121为水平状态且第二影像获取装置123为置中状态时，使第一影像获取装置122与第二影像获取装置123拍摄同一校正图样并计算比对而获得。换言之，相对位置Ts及相对角度Rs可为第一影像获取装置122与第二影像获取装置123在没有进行转动时，两者在设置位置上的静态位置差以及拍摄角度差。动态位移Td与动态相对角度Rd可为影像获取设备120的动态位移量及动态转动量，其例如是根据影像获取设备120对应于所述第一时间点的时间戳、位置及角度与影像获取设备120对应于所述第二时间点的时间戳、位置及角度的相对关系而获得。在一实施例中，动态位移Td与动态相对角度Rd可为第一影像获取装置122在第一时间点至第二时间点之间，主体121的动态位置差以及拍摄角度差。例如影像获取设备120的位置偏移，或是由于风力所造成影像获取设备120的倾斜。在一实施例中，处理单元124除了可判断主体121的动态相对角度Rd之外，也可判断在第一时间点至第二时间点由驱动单元125补偿主体121的部分转动量所产生的补偿转动量Rc。例如，稳态云台为了稳定拍摄画面而自动依据感测到的位移量和/或转动量所产生的转动。
在一实施例中，根据第一时间点的时间戳，处理单元124可取得第一影像获取装置122在第一时间点拍摄的影像。在一实施例中，根据第一时间点的时间戳，影像获取设备120通过处理单元124从储存装置读取对应自第一时间点的惯性感测装置126感测到的移动量和/或转动量，以和/或是影像获取设备120的位置和/或方向，并根据第二时间点的时间戳从储存装置读取对应第二时间点的惯性感测装置126感测到的移动量和/或转动量，以和/或是影像获取设备120的位置和/或方向，以计算累计出第一时间点的第一影像获取装置122与第二时间点的第二影像获取装置123的一相对位移关系和/或一相对转动关系。举例而言，处理单元124可通过积分计算的方式来计算出第一时间点的第一影像获取装置122与第二时间点的第二影像获取装置123的一相对位移关系和/或一相对转动关系。在一实施例中，第二时间点为影像获取设备120的目前时间，则可使用目前的惯性感测装置126感测到的移动量和/或转动量，以和/或是影像获取设备120的位置和/或方向。在一实施例中，第一时间点的第一影像获取装置122及第二时间点的第二影像获取装置123两者之间的相对位移关系T及相对转动关系R可通过下列式(1)及式(2)计算而产生。
T＝Ts+Td……..式(1)
R＝Rd Rs Rc........式(2)
在步骤S4中，处理单元124依据控制信号CS计算使用者欲观察的局部区域A相对于第一影像获取装置122的距离。在一实施例中，控制信号CS包含使用者所选取欲观察的局部区域A在待观测区域影像I1的坐标和/或范围，处理单元124可依据控制信号CS判断局部区域A在第二时间点相对于第二影像获取装置123的空间坐标。
图6示出图5的待观测区域影像I1中的平面坐标与立体空间的关系。图6中的位置P1表示第一影像获取装置122的一点(例如中心或几何中心)于第一时间点在空间中的位置，位置P2表示局部区域A的一点(例如中心或几何中心)在空间中的位置，位置P3表示第二影像获取装置123的一点(例如中心或几何中心)于第二时间点在空间中的位置。对应于位置P2的局部区域A的一点在平面坐标系TC的坐标为位置(u,v)，在一实施例中，控制信号CS包含位置(u,v)。在一实施例中，处理单元124预估第一影像获取装置122的位置P1与局部区域A的位置P2在垂直于平面坐标系TC(即图6中的由轴线X及轴线Y定义的平面坐标系)的一轴线(例如光轴OA)上的距离为一预估距离值D，并依据预估距离值D及位置(u,v)以下列式(3)计算出局部区域A的一点(例如位置P2)相对于在第一时间点的第一影像获取装置122的一第一立体坐标值P”。在式(3)中，x、y、z表示第一立体坐标值P”的值。图6的空间坐标以P1为原点，光轴为坐标轴中心，在此实施例中，影像坐标以影像左上角为原点，cx、cy为第一影像获取装置122的内部参数，其分别表示第一影像获取装置122的水平方向中心点坐标及垂直方向中心点坐标，也就是光轴OA在平面坐标系TC中的坐标值，fx、fy为第一影像获取装置122的内部参数，其表示第一影像获取装置122的分别在X轴与Y轴的焦距，z表示垂直于平面坐标系TC的方向，而预估距离值D为位置P2与位置P1间在z方向上的距离。简言之，在步骤S4中，处理单元124依据位置(u,v)计算局部区域A的一点(例如位置P2)相对于在第一时间点的第一影像获取装置122的一第一立体坐标值P”。
Figure BDA0002387016630000121
在步骤S5中，例如是以下列式(4)将相对于在第一时间点的第一影像获取装置122的第一立体坐标值P”转换为相对于在第二时间点的第二影像获取装置123的第二立体坐标值P’。从而可依据此第二立体坐标值P’驱动驱动单元125使第二影像获取装置123转动而使局部区域A进入第二影像获取装置123的视野中，进而利用第二影像获取装置123获取局部区域A的局部区域影像I2。其中，在式(4)中的相对位移关系T及相对转动关系R可为在步骤S3中通过式(1)及式(2)所计算的第一时间点的第一影像获取装置122与第二时间点的第二影像获取装置123之间的位移量和/或转动量，处理单元124通过式(4)的转换，可将局部区域A的一点(例如位置P2)相对于在第一时间点的第一影像获取装置122的第一立体坐标值P”进行换算以取得局部区域A的一点(例如位置P2)相对于在第二时间点的第二影像获取装置123的第二立体坐标值P’。
P'＝RP”+T……..式(4)
在步骤S6中，通过处理单元124指示驱动单元125，使驱动单元125依据步骤S1～S5的计算结果进行转动，局部区域A可因此进入第二影像获取装置123的视野中。
在步骤S7中，通过第二影像获取装置123来获取包含部分或全部局部区域A的局部区域影像I2。在一实施例中，局部区域影像I2可以包括一部分的局部区域A的影像(例如局部区域A的左半部或下半部影像，或是局部区域A的中间区域影像)，也可以包括局部区域A的全部影像(例如与局部区域A的影像一致，或是包括局部区域A及局部区域A外部的影像)。根据本发明的一实施例，可准确获取欲观测目标的影像。在一实施例中，在如上述般使局部区域A进入第二影像获取装置123的视野中之后，还可在不使局部区域A从第二影像获取装置123的视野移出的前提下，缩小第二影像获取装置123的视野，以尽可能地聚焦于局部区域A。此外，还可将其他可能影响影像获取的准确性的因素纳入考量而对所述第二立体坐标值P”进行进一步的修正，本发明不对此加以限制。举例来说，所述影响影像获取的准确性的因素例如是因使用鱼眼镜头而导致的镜头径向失真及切向失真。
请参考图3B，图3B是本发明一实施例的另一影像获取方法的流程图，此影像获取方法可通过图1中所示出的影像获取系统100执行。图3B相似于图3A，相同步骤及元件延用相同的符号进行标示。图3B中所示出的影像获取方法除了包含有通过影像获取设备120所执行的步骤S1～S7之外，在步骤S1及步骤S2之间并包含通过操作装置110执行的步骤S101～S103。
在步骤S101中，操作装置110接收到由影像获取设备120所传递的影像信号IS，其中影像信号IS包含在第一时间点由第一影像获取装置122所拍摄的待观测区域影像I1及相对应第一时间点的时间戳。在步骤S102中，通过操作装置110或操作装置110的屏幕在待观测区域影像I1中选取待观测区域的一局部区域A，并产生相应的控制信号CS。控制信号CS包含所选取的局部区域A的影像特征、坐标和/或范围以及相对应第一时间点的时间戳。在步骤S103中，操作装置110传递控制信号CS至第二影像获取装置123。因此，在后续的步骤S2～S7中，影像获取设备120可接收到由操作装置110所传递的控制信号CS并进行相对应的后续操作。
在一实施例中，上述步骤S4中的预估距离值D可能因预估误差而导致据以计算出的第二立体坐标值P’不准确。在一实施例中，还可通过影像比对步骤判断预估距离值D和/或第二立体坐标值P’是否正确，并通过修正步骤修正预估距离值D和/或第二立体坐标值P’。
图7是本发明一实施例的影像获取方法的流程图，在一实施例中，图7可接续于图3A和/或图3B的步骤S7之后。图8是图1的影像获取设备的部分构件方块示意图。在一实施例中，第一影像暂存单元和/或第二影像暂存单元128可以在储存装置中，也可以独立于储存装置之外。请参考图7及图8，通过影像获取设备120的一第一影像暂存单元127储存待观测区域影像I1，并通过影像获取设备120的一第二影像暂存单元128储存第二时间点的局部区域影像I2(步骤S8)；在一实施例中，第一影像暂存单元127储存待观测区域影像I1及观测区域影像中局部区域A的坐标和/或范围；在一实施例中，第一影像暂存单元127储存局部区域A的内容。通过处理单元124判断第一影像暂存单元127储存的影像与第二影像暂存单元128储存的影像的影像关联性是否大于一阈值(步骤S9)。在一实施例中，若处理单元124判断第一影像暂存单元127储存的影像与第二影像暂存单元128储存的影像的影像关联性大于或等于阈值，则判断预估距离值D和/或第二立体坐标值P’接近实际距离值，则通过处理单元124计算第一影像暂存单元127储存的影像与第二影像暂存单元128储存的影像的中心偏移来判断第二影像获取装置123的修正转动量(步骤S10)，若第一影像暂存单元127储存的影像与第二影像暂存单元128储存的影像的影像关联性低于阈值，则判断预估距离值D和/或第二立体坐标值P’偏离实际距离值，则通过处理单元124修正预估距离值D来判断第二影像获取装置123的修正转动量(步骤S11)。
通过处理单元124依据第二影像获取装置123的修正转动量，控制第二影像获取装置123进行转向和/或进行变焦(步骤S12)。通过处理单元124更新第一影像暂存单元和/或第二影像暂存单元128(步骤S13)。
在一实施例中，在步骤S9中，处理单元124可针对第一影像暂存单元127储存的影像与第二影像暂存单元128储存的影像进行影像比对步骤，判断两者的影像关联性是高或低。在一实施例中，处理单元124可判断两者的影像关联性是否大于或等于阈值，或者小于阈值。举例而言，当第一影像暂存单元127储存待观测区域影像I1且第二影像暂存单元128储存局部区域影像I2时，处理单元124可判断待观测区域影像I1的局部区域A及局部区域影像I2的影像关联性是否大于或等于阈值。
在一实施例中，处理单元124判断第一影像暂存单元127中的待观测区域影像I1与第二影像暂存单元128中的局部区域影像I2的影像关联性的做法是，于第二影像暂存单元128中的局部区域影像I2以一搜寻窗格寻找与待观测区域影像I1的局部区域A影像关联性大于阀值的区域及其坐标(例如中心坐标)，并通过判断搜寻到的坐标于局部区域影像I2中心的偏移判断预估距离值D与实际值的偏差。
在步骤S10中，处理单元124可依据第一影像暂存单元127储存的影像与第二影像暂存单元128储存的影像的影像关联性的比对结果进行修正步骤。举例而言，当第一影像暂存单元127储存待观测区域影像I1且第二影像暂存单元128储存局部区域影像I2，且处理单元124判断待观测区域影像I1与局部区域影像I2的影像关联性大于或等于阈值时，通过判断于局部区域影像I2搜寻到的对应局部区域A’(例如在局部区域影像I2中与待观测区域影像I1的局部区域A的影像关联性大于阀值的区域)的中心坐标与局部区域影像I2的画面中心坐标之间的距离来判断修正转动量。在一实施例中，于判断出由局部区域影像I2中搜寻到的局部区域A’的中心座标至局部区域影像I2的中心座标的距离之后，可利用第二影像获取装置123中預先设定或校正的内部参数来判断修正转动量。
或者，在另一实施例中，处理单元124通过判断在待观测区域影像I1影像特征的位置与局部区域影像I2中影像面积的比例大小来判断修正转动量。
在步骤S11中，处理单元124可依据影像关联性的比对结果进行修正步骤。举例而言，当第一影像暂存单元127储存待观测区域影像I1且第二影像暂存单元128储存局部区域影像I2时，且处理单元124判断待观测区域影像I1与局部区域影像I2的影像关联性低于阈值时，则通过处理单元124修正预估距离值D，依据修正后的预估距离值及平面坐标值修正第一立体坐标值P”，并依据修正后的第一立体坐标值P”修正第二立体坐标值P’，通过处理单元124依据修正后的第二立体坐标P’判断修正转动量，并指示驱动单元126依据修正转动量转动。关于处理单元124修正预估距离值的细节，其可通过多种不同的方式来进行修正，本发明不以此为限。在一实施例中，在修正转动量之后重新取得局部区域影像I2并重复步骤S9中计算第一影像暂存单元127所储存的影像与第二影像暂存单元128，两者的影像关联性计算，直到能够在局部区域影像I2的搜寻窗格中寻找到关联性大于阀值的区域。处理单元124可依据最后使用的转动量、于I2中找到的关联区域的中心坐标偏移，修正估算的距离与前述第一影像获取装置122与第二时间点的第二影像获取装置123之间的位移量和/或转动量。在一实施例中，处理单元124是利用三维重建(3D Reconstruction)领域中的相关技术来修正预估距离值D。举例而言，处理单元124可通过修正立体影像(stereo image)估算技术、影像测程(video odometry)技术、运动求取结构(structure from motion、SfM)技术、延伸型卡曼滤波(extended Kalman filtering)技术、视觉式同步定位与建构地图(visual slam)技术的多个或任一个来修正预估距离值D与预估位移量和/或转动量。在一实施例中，处理单元124可依据多个不同的预估距离值代入如图3A中所示出的步骤S4中修正第一立体坐标值P”，再将修正后的第一立体坐标值P”代入如图3A中所绘示的步骤S5修正第二立体坐标值P’，以判断相对应多个预估距离值的多个第二立体坐标值P’。进一步，处理单元124可依据待观测区域影像I1与局部区域影像I2的影像关联性判断比对结果接近哪一组第二立体坐标值P’的坐标范围，并以逼近的方式判断出经修正的第二立体坐标值P’，据此判断出第二影像获取装置123的修正转动量。在一实施例中，也可能是待观测区域影像I1与局部区域影像I2两个影像的拍摄角度差距过大，造成影像关联性低。因此，处理单元124也可通过依据多个不同的预设转动量控制驱动单元125进行转动，并在每个预设转动量拍摄相对应的局部区域影像I2，直到影像关联性大于或等于阈值。在一实施例中，也可能是第二影像获取装置123的焦距倍率差距过大，造成影像关联性低。因此，处理单元124也可通过依据多个不同的预设焦距控制第二影像获取装置123进行对焦，并在每个预设焦距调整后拍摄相对应的局部区域影像I2，直到影像关联性大于或等于阈值。在一实施例中，处理单元124可通过视觉惯性测程(visual inertial odometry)技术，代入如图3A中所示出的步骤S3～S5来修正动态位移Td、动态相对角度Rd和/或补偿转动量Rc后，进而判断出经修正的第二立体坐标值，并据此修正预估距离值。因此，处理单元124可在步骤S11中修正预估距离值，再据此判断出第二影像获取装置123的修正转动量。
在另一实施例中，步骤S10及步骤S11不仅限于择一进行的方式。处理单元124可同时或先后进行步骤S10及步骤S11，以通过不同方式同时计算第二影像获取装置123的修正转动量。
接着，通过处理单元124依据修正转动量指示驱动单元125进行转动以和/或是调整第二影像获取装置123的焦距(步骤S12)。详细而言，处理单元124会依据在步骤S10和/或S1中所判断的第二影像获取装置123的修正转动量，指示驱动单元125进行转动并拍摄经修正影像I3(未示出于本案图示中)，进而判断第二影像获取装置123的焦距。关于处理单元124判断第二影像获取装置123的焦距的细节，其可通过多种不同的方式来进行修正，本发明不以此为限。在一实施例中，处理单元124可判断局部区域A在待观测区域影像I1中的面积与局部区域A在经修正影像I3中的面积，依据两者的比例判断第二影像获取装置123的焦距。在一实施例中，处理单元124可依据经修正的预估距离值及经修正的第二立体坐标值来判断第二影像获取装置123的焦距。
最后，在步骤S13中，处理单元124可更新第一影像暂存单元127和/或第二影像暂存单元128中所储存的资料，来进行下次的影像获取操作。在一实施例中，处理单元124可针对局部区域A进行变焦操作。为了取得局部区域A的变焦影像，处理单元124会更新第一影像暂存单元127和/或第二影像暂存单元128。详细而言，处理单元124可将原本储存在第二影像暂存单元128的局部区域影像I2储存到第一影像暂存单元127，且将当前(例如第二时间点之后的第三时间点)第二影像获取装置123所获取到的影像储存在第二影像暂存单元128。举例而言，第二影像获取装置123在第三时间点针对局部区域A可为倍率更高的影像，通过递回进行步骤S9～S13，可优选地针对欲观察的局部区域A取得不同倍率及不同拍摄角度的影像。在一实施例中，处理单元124可依据时间变化以及惯性感测装置126感测到主体121的移动量和/或转动量，并依据如图3A中所示出的步骤S3～S5来判断出相对应的第二立体坐标值。在处理器124更新第一影像暂存单元127和/或第二影像暂存单元128后，影像获取设备120可执行步骤S9～13，以依据第一影像暂存单元127储存的影像与第二影像暂存单元128储存的影像，判断第二影像获取装置123在第二时间点所获取到的影像以及第二影像获取装置123在第三时间点所获取到的影像，两者的影像关联性是否大于阈值。据此，影像获取设备120可通过步骤S10和/或步骤S11判断第二影像获取装置123的修正转动量，并通过步骤S12针对欲观察的相同或不同区域进行拍摄。在一实施例中，处理单元124可在判断经过一预设间隔时间时，更新第一影像暂存单元127和/或第二影像暂存单元128。在一实施例中，处理单元124可在惯性感测装置126感测到主体121的移动量和/或转动量大于预设移动量和/或预设转动量时，更新第一影像暂存单元127和/或第二影像暂存单元128。简言之，通过上述更新第一影像暂存单元127及第二影像暂存单元128的操作，可使影像获取设备120连续地针对使用者所选择的待观测区域影像I1的局部区域A进行拍摄，使用者可持续地针对局部区域A进行观测。或者，影像获取设备120可依据使用者指示对局部区域A进行聚焦，让使用者以更清晰的局部区域A影像进行观测。用来聚焦至局部区域A的多個聚焦步骤所对应的多个内部参数，可预先设定或校正。
在一实施例中，第一影像暂存单元127及第二影像暂存单元128可被处理单元124所包含，其可为存储器或其他适当形式。此外，处理单元124还可包含分别对应于第一影像获取装置122的暂存空间及对应于第二影像获取装置123的暂存空间，分别用以储存第一影像获取装置122及第二影像获取装置123于一时间区段内所获取的影像。
举例而言，处理单元124可例如包括中央处理单元(central processing unit，CPU)，或是其他可程序化的一般用途或特殊用途的微控制单元(micro control unit，MCU)、微处理器(microprocessor)、数字信号处理器(digital signal processor，DSP)、可程序化控制器、特殊应用集成电路(application specific integrated circuit，ASIC)、图形处理器(graphics processing unit，GPU)、算数逻辑单元(arithmetic logic unit，ALU)、复杂可程序逻辑装置(complex programmable logic device，CPLD)、现场可程序化逻辑门阵列(fieldprogrammable gate array，FPGA)或其他类似元件或上述元件的组合。
第一影像暂存单元127及第二影像暂存单元128可以是分离设置的两存储装置，或者，第一影像暂存单元127及第二影像暂存单元128可以是整合设置的单一存储装置。举例而言，第一影像暂存单元127及第二影像暂存单元128可为例如是任何形式的固定式或可移动式的随机存取存储器(random access memory，RAM)、只读存储器(read-only memory，ROM)、快闪存储器(flash memory)、硬盘(hard disk drive，HDD)、固态硬盘(solid statedrive，SSD)或类似元件或上述元件的组合，而用于储存可由处理单元124执行的多个模组或各种应用程序。
举例而言，惯性感测装置126可为例如是加速度感测器、角速度感测器、磁感应感测器、加速计、三轴陀螺仪、六轴陀螺仪、磁力计或类似元件或上述元件的组合，用来感测位置与角度的变化。

Claims (20)

1.一种影像获取方法，适用于影像获取设备，包括：
于第一时间点，通过第一影像获取装置获取待观测区域的待观测区域影像；
于所述第一时间点之后的第二时间点，接收控制信号，所述控制信号对应于所述待观测区域影像中的局部区域；
通过处理单元计算出所述第一时间点的所述第一影像获取装置与所述第二时间点的第二影像获取装置的相对位移关系及相对转动关系的至少其中之一；
通过所述处理单元依据所述控制信号计算出所述局部区域相对于在所述第一时间点的所述第一影像获取装置的第一立体坐标值，并依据所述相对位移关系及所述相对转动关系的至少其中之一将所述第一立体坐标值转换为相对于在所述第二时间点的所述第二影像获取装置的第二立体坐标值；
通过驱动单元依据所述第二立体坐标值驱动所述第二影像获取装置以转动量转动；以及
通过所述第二影像获取装置获取所述局部区域的局部区域影像。
2.根据权利要求1所述的影像获取方法，其中所述第一影像获取装置及所述第二影像获取装置装载于飞行载具上，计算出所述相对位移关系及所述相对转动关系的至少其中之一的步骤包括：
依据所述第一影像获取装置与所述第二影像获取装置在所述飞行载具上的相对位置与相对角度的至少其中之一以及所述飞行载具从所述第一时间点至所述第二时间点产生的移动量与转动量的至少其中之一而计算出所述相对位移关系及所述相对转动关系的至少其中之一。
3.根据权利要求2所述的影像获取方法，其中所述第一影像获取装置装载于所述飞行载具的主体上，所述第二影像获取装置装载于所述飞行载具的稳态装置上，所述稳态装置用于依据所述主体的部分转动量而产生补偿转动量，其中计算出所述相对位移关系及所述相对转动关系的至少其中之一的步骤还包括：
依据所述补偿转动量而计算出所述相对位移关系及所述相对转动关系的至少其中之一。
4.根据权利要求1所述的影像获取方法，其中计算出所述第一立体坐标值的步骤包括：
预估在所述第一时间点的所述第一影像获取装置与所述局部区域中的点在垂直于所述待观测区域影像所在的平面坐标系的轴线上的距离为预估距离值；以及
依据所述预估距离值及所述局部区域中的所述点在所述平面坐标系中的平面坐标值计算出所述局部区域中的所述点相对于所述第一影像获取装置的所述第一立体坐标值。
5.根据权利要求4所述的影像获取方法，还包括影像比对步骤，所述影像比对步骤包括：
通过第一影像暂存单元储存所述第一时间点的所述待观测区域影像，并通过第二影像暂存单元储存所述第二时间点的所述局部区域影像；以及
通过所述处理单元判断所述第一影像暂存单元中的所述待观测区域影像与所述第二影像暂存单元中的所述第二时间点的所述局部区域影像的影像关联性是否大于阈值。
6.根据权利要求5所述的影像获取方法，还包括修正步骤，其中所述修正步骤包括：
当所述第一影像暂存单元中的所述待观测区域影像与所述第二影像暂存单元中的所述第二时间点的所述局部区域影像的影像关联性小于所述阈值时，通过所述处理单元修正所述预估距离值；
依据修正后的所述预估距离值及所述平面坐标值修正所述第一立体坐标值；
依据修正后的所述第一立体坐标值修正所述第二立体坐标值；以及
通过所述处理单元依据修正后的所述第二立体坐标判断一修正转动量，并指示所述驱动单元依据所述修正转动量转动所述第二影像获取装置。
7.根据权利要求6所述的影像获取方法，还包括：
于第三时间点，通过所述第二影像获取装置获取所述局部区域的另一局部区域影像；
通过所述第一影像暂存单元储存所述局部区域影像，通过所述第二影像暂存单元储存所述另一局部区域影像；
通过所述处理单元计算出所述第二时间点的所述第二影像获取装置与所述第二时间点之后的所述第三时间点的所述第二影像获取装置的另一相对位移关系及另一相对转动关系的至少其中之一；
通过所述处理单元判断所述第一影像暂存单元中的所述局部区域影像与所述第二影像暂存单元中的所述另一局部区域影像的另一影像关联性是否大于所述阈值；以及
通过所述处理单元依据所述第二影像获取装置的所述另一相对位移关系及所述另一相对转动关系的至少其中之一，以及依据所述第一影像暂存单元中的所述局部区域影像与所述第二影像暂存单元中的所述另一局部区域影像的所述另一影像关联性是否大于所述阈值，判断另一修正转动量，指示所述驱动单元依据所述另一修正转动量转动所述第二影像获取装置。
8.根据权利要求5所述的影像获取方法，还包括修正步骤，其中所述修正步骤包括：
当所述第一影像暂存单元中的所述待观测区域影像与所述第二影像暂存单元中的所述第二时间点的所述局部区域影像的所述影像关联性大于或等于所述阈值时，通过所述处理单元计算所述局部区域影像中的对应局部区域的中心至所述局部区域影像的中心的距离以判断修正转动量，并指示所述驱动单元依据所述修正转动量转动所述第二影像获取装置，其中所述局部区域影像中的所述对应局部区域为所述局部区域影像中所述影像关联性大于或等于所述阈值的一区域。
9.根据权利要求1所述的影像获取方法，其中计算出所述第一立体坐标值的步骤包括：
通过所述处理单元依据所述局部区域在平面坐标系中的平面坐标值计算出所述局部区域相对于所述第一影像获取装置的所述第一立体坐标值。
10.根据权利要求1所述的影像获取方法，其中所述控制信号包括对应于所述第一时间点的时间戳及所述局部区域的影像特征。
11.一种影像获取设备，包括：
第一影像获取装置，用于于第一时间点获取待观测区域的待观测区域影像；
第二影像获取装置；
处理单元，用于计算出所述第一时间点的所述第一影像获取装置与所述第二时间点的所述第二影像获取装置的相对位移关系及相对转动关系的至少其中之一，所述处理单元用于于所述第一时间点之后的第二时间点接收控制信号，所述控制信号对应于所述待观测区域影像中的局部区域，所述处理单元用于依据所述控制信号计算出所述局部区域相对于在所述第一时间点的所述第一影像获取装置的第一立体坐标值并依据所述相对位移关系及所述相对转动关系的至少其中之一将所述第一立体坐标值转换为相对于在所述第二时间点的所述第二影像获取装置的第二立体坐标值；以及
驱动单元，用于依据所述第二立体坐标值驱动所述第二影像获取装置以转动量转动，
其中，于所述驱动单元驱动所述第二影像获取装置以所述转动量转动后，所述第二影像获取装置用于获取所述局部区域的局部区域影像。
12.根据权利要求11所述的影像获取设备，包括飞行载具，其中所述第一影像获取装置及所述第二影像获取装置装载于飞行载具上，所述处理单元用于依据所述第一影像获取装置与所述第二影像获取装置在所述飞行载具上的相对位置与相对角度的至少其中之一以及所述飞行载具从所述第一时间点至所述第二时间点产生的移动量与转动量的至少其中之一而计算出所述相对位移关系及所述相对转动关系的至少其中之一。
13.根据权利要求12所述的影像获取设备，其中所述飞行载具包括主体及稳态装置，所述第一影像获取装置装载于所述主体上，所述第二影像获取装置装载于所述稳态装置上，所述稳态装置用于依据所述主体的部分转动量而产生一补偿转动量，其中所述处理单元用于依据所述补偿转动量而计算出所述相对位移关系及所述相对转动关系的至少其中之一。
14.根据权利要求11所述的影像获取设备，其中所述处理单元用于预估在所述第一时间点的所述第一影像获取装置与所述局部区域中的点在垂直于所述待观测区域影像所在的平面坐标系的轴线上的距离为预估距离值，且用于依据所述预估距离值及所述局部区域中的所述点在所述平面坐标系中的平面坐标值计算出所述局部区域中的点相对于所述第一影像获取装置的所述第一立体坐标值。
15.根据权利要求14所述的影像获取设备，还包括第一影像暂存单元及第二影像暂存单元，其中所述第一影像暂存单元用于储存所述第一时间点的所述待观测区域影像，所述第二影像暂存单元用于储存所述第二时间点的所述局部区域影像，所述处理单元用于判断所述第一影像暂存单元中的所述待观测区域影像与所述第二影像暂存单元中的所述第二时间点的所述局部区域影像的影像关联性是否大于阈值。
16.根据权利要求15所述的影像获取设备，其中当所述第一影像暂存单元中的所述待观测区域影像与所述第二影像暂存单元中的所述第二时间点的所述局部区域影像的影像关联性小于所述阈值时，所述处理单元用于依据所述比对结果修正所述预估距离值，用于依据修正后的所述预估距离值及所述平面坐标值修正所述第一立体坐标值，且用于依据修正后的所述第一立体坐标值修正所述第二立体坐标值，且所述处理单元用于依据修正后的所述第二立体坐标判断修正转动量，且所述驱动单元用于依据所述修正转动量转动所述第二影像获取装置。
17.根据权利要求16所述的影像获取设备，其中于第三时间点，所述第二影像获取装置用于获取所述局部区域的另一局部区域影像，所述第一影像暂存单元用于储存所述局部区域影像，所述第二影像暂存单元用于储存所述另一局部区域影像，所述处理单元用于计算出所述第二时间点的所述第二影像获取装置与所述第二时间点之后的所述第三时间点的所述第二影像获取装置的另一相对位移关系及另一相对转动关系的至少其中之一，所述处理单元用于判断所述第一影像暂存单元中的所述局部区域影像与所述第二影像暂存单元中的所述另一局部区域影像的另一影像关联性是否大于所述阈值，所述处理单元用于依据所述第二影像获取装置的所述另一相对位移关系及所述另一相对转动关系的至少其中之一，以及依据所述第一影像暂存单元中的所述局部区域影像与所述第二影像暂存单元中的所述另一局部区域影像的所述另一影像关联性是否大于所述阈值，判断另一修正转动量，进而指示所述驱动单元依据所述另一修正转动量转动所述第二影像获取装置。
18.根据权利要求15所述的影像获取设备，其中当所述第一影像暂存单元中的所述待观测区域影像与所述第二影像暂存单元中的所述第二时间点的所述局部区域影像的所述影像关联性大于或等于所述阈值时，所述处理单元用于计算所述局部区域影像中的对应局部区域的中心至所述局部区域影像的中心的距离以判断修正转动量，且所述驱动单元用于依据所述修正转动量转动所述第二影像获取装置，其中所述局部区域影像中的所述对应局部区域为所述局部区域影像中所述影像关联性大于或等于所述阈值的一区域。
19.根据权利要求11所述的影像获取设备，其中所述处理单元用于依据所述局部区域在平面坐标系中的平面坐标值计算出所述局部区域相对于所述第一影像获取装置的所述第一立体坐标值。
20.根据权利要求11所述的影像获取设备，其中所述控制信号包括对应于所述第一时间点的时间戳及所述局部区域的影像特征。
CN202010101554.6A 2019-12-16 2020-02-19 影像获取方法及影像获取设备 Active CN112985359B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
TW108145972A TWI726536B (zh) 2019-12-16 2019-12-16 影像擷取方法及影像擷取設備
TW108145972 2019-12-16
US16/729,507 2019-12-30
US16/729,507 US11310423B2 (en) 2019-12-16 2019-12-30 Image capturing method and image capturing apparatus

Publications (2)

Publication Number Publication Date
CN112985359A true CN112985359A (zh) 2021-06-18
CN112985359B CN112985359B (zh) 2023-02-28

Family

ID=76318384

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010101554.6A Active CN112985359B (zh) 2019-12-16 2020-02-19 影像获取方法及影像获取设备

Country Status (4)

Country Link
US (1) US11310423B2 (zh)
JP (1) JP7008736B2 (zh)
CN (1) CN112985359B (zh)
TW (1) TWI726536B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021168437A (ja) * 2020-04-09 2021-10-21 キヤノン株式会社 撮像装置、撮像装置の制御方法
US11611700B2 (en) * 2020-07-12 2023-03-21 Skydio, Inc. Unmanned aerial vehicle with virtual un-zoomed imaging

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010124399A (ja) * 2008-11-21 2010-06-03 Mitsubishi Electric Corp 空中移動体からの自動追尾撮影装置
CN102891959A (zh) * 2011-07-21 2013-01-23 宝硕财务科技股份有限公司 图像式摄影控制系统及其控制方法
CN106131454A (zh) * 2016-07-27 2016-11-16 苏州佳世达电通有限公司 一种影像撷取系统及影像撷取方法
JP2017055325A (ja) * 2015-09-11 2017-03-16 沖電気工業株式会社 カメラ制御装置、カメラ制御方法、プログラムおよび監視システム
US20180046187A1 (en) * 2016-08-12 2018-02-15 Skydio, Inc. Unmanned aerial image capture platform
JP2018040992A (ja) * 2016-09-08 2018-03-15 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 撮像装置、撮像システム、移動体、撮像方法、及びプログラム

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1994017636A1 (en) 1993-01-29 1994-08-04 Bell Communications Research, Inc. Automatic tracking camera control system
US6437819B1 (en) 1999-06-25 2002-08-20 Rohan Christopher Loveland Automated video person tracking system
US7522186B2 (en) 2000-03-07 2009-04-21 L-3 Communications Corporation Method and apparatus for providing immersive surveillance
US7450735B1 (en) 2003-10-16 2008-11-11 University Of Central Florida Research Foundation, Inc. Tracking across multiple cameras with disjoint views
US7768571B2 (en) 2004-03-22 2010-08-03 Angstrom, Inc. Optical tracking system using variable focal length lens
US20060203090A1 (en) 2004-12-04 2006-09-14 Proximex, Corporation Video surveillance using stationary-dynamic camera assemblies for wide-area video surveillance and allow for selective focus-of-attention
AU2006222458B2 (en) * 2005-03-11 2011-06-02 Creaform Inc. Auto-referenced system and apparatus for three-dimensional scanning
US7801330B2 (en) 2005-06-24 2010-09-21 Objectvideo, Inc. Target detection and tracking from video streams
CN1968405A (zh) 2005-11-14 2007-05-23 耿征 广角或超广角全方位视觉监控方法和系统
CN101427153B (zh) 2006-04-20 2013-02-27 法罗技术股份有限公司 坐标测量方法和坐标测量系统
US7907750B2 (en) 2006-06-12 2011-03-15 Honeywell International Inc. System and method for autonomous object tracking
TWI369135B (en) 2007-12-31 2012-07-21 Nat Applied Res Lab Nat Ct For High Performance Computing Camera control system capable of positioning and tracking object in space and method thereof
US8180107B2 (en) 2009-02-13 2012-05-15 Sri International Active coordinated tracking for multi-camera systems
CN101572804B (zh) 2009-03-30 2012-03-21 浙江大学 多摄像机智能控制方法及装置
SG176244A1 (en) 2009-05-29 2012-01-30 Youngkook Electronics Co Ltd Intelligent monitoring camera apparatus and image monitoring system implementing same
CN101860732B (zh) 2010-06-04 2014-08-27 天津市亚安科技股份有限公司 一种控制云台摄像机自动跟踪目标的方法
KR101302803B1 (ko) 2011-05-26 2013-09-02 주식회사 엘지씨엔에스 네트워크 카메라를 이용한 지능형 감시 방법 및 시스템
WO2014140356A1 (en) * 2013-03-15 2014-09-18 Freefly Systems Inc. Method for enabling manual adjustment of a pointing direction of an actively stabilized camera
FR3020169A1 (fr) 2014-04-16 2015-10-23 Parrot Drone a voilure tournante muni d'une camera video delivrant des sequences d'images stabilisees
US10366511B2 (en) * 2014-05-28 2019-07-30 Elbit Systems Land And C4I Ltd. Method and system for image georegistration
CN107577247B (zh) 2014-07-30 2021-06-25 深圳市大疆创新科技有限公司 目标追踪系统及方法
CN104197928B (zh) 2014-08-29 2017-01-18 西北工业大学 多摄像机协同的无人机检测、定位及跟踪方法
CN105981379B (zh) * 2014-09-17 2018-09-25 深圳市大疆创新科技有限公司 自动白平衡系统及方法
CN106029501B (zh) * 2014-12-23 2019-05-14 深圳市大疆灵眸科技有限公司 Uav全景成像
NO339419B1 (en) * 2015-03-25 2016-12-12 FLIR Unmanned Aerial Systems AS Path-Based Flight Maneuvering System
CN204697158U (zh) 2015-06-16 2015-10-07 成都西可科技有限公司 一种具有保持实时拍摄图像竖直功能的航拍器
CN107850902B (zh) * 2015-07-08 2022-04-08 深圳市大疆创新科技有限公司 可移动物体上的相机配置
EP3328731B1 (en) * 2015-07-28 2020-05-06 Margolin, Joshua Multi-rotor uav flight control method
EP3207301A4 (en) * 2015-08-14 2018-05-09 SZ DJI Osmo Technology Co., Ltd. Gimbal having parallel stability mechanism
US9989357B2 (en) * 2015-09-09 2018-06-05 Faro Technologies, Inc. Aerial device that cooperates with an external projector to measure three-dimensional coordinates
KR20170065235A (ko) * 2015-12-03 2017-06-13 삼성전자주식회사 소형 카메라 짐벌
WO2017128050A1 (zh) * 2016-01-26 2017-08-03 深圳市大疆创新科技有限公司 无人飞行器及多目成像系统
EP4016228A1 (en) 2016-02-26 2022-06-22 SZ DJI Technology Co., Ltd. Systems and methods for visual target tracking
WO2017187220A1 (en) * 2016-04-24 2017-11-02 Hangzhou Zero Zero Technology Co., Ltd. System and method for aerial system control
WO2017201697A1 (en) * 2016-05-25 2017-11-30 SZ DJI Technology Co., Ltd. Techniques for image recognition-based aerial vehicle navigation
US10796425B1 (en) * 2016-09-06 2020-10-06 Amazon Technologies, Inc. Imagery-based member deformation gauge
WO2018095278A1 (zh) * 2016-11-24 2018-05-31 腾讯科技（深圳）有限公司 飞行器的信息获取方法、装置及设备
EP3376213A1 (de) * 2017-03-15 2018-09-19 Siemens Aktiengesellschaft Verfahren und anordnung für eine zustandsüberwachung einer anlage mit betriebsmitteln
CN108780321B (zh) * 2017-05-26 2022-04-29 深圳市大疆创新科技有限公司 用于设备姿态调整的方法、设备、系统和计算机可读存储介质
US20190068829A1 (en) * 2017-08-24 2019-02-28 Qualcomm Incorporated Systems and Methods for Improving Performance of a Robotic Vehicle by Managing On-board Camera Obstructions
US10788428B2 (en) * 2017-09-25 2020-09-29 The Boeing Company Positioning system for aerial non-destructive inspection
TW201915582A (zh) * 2017-10-12 2019-04-16 圓展科技股份有限公司 影像擷取系統及其馬達定位方法
TWI649721B (zh) * 2017-12-06 2019-02-01 凌通科技股份有限公司 無人飛行機之全景拍照方法與使用其之無人飛行機
US10690525B2 (en) * 2018-01-03 2020-06-23 General Electric Company Systems and methods associated with unmanned aerial vehicle targeting accuracy
US11048277B1 (en) * 2018-01-24 2021-06-29 Skydio, Inc. Objective-based control of an autonomous unmanned aerial vehicle
JP7092538B2 (ja) * 2018-03-30 2022-06-28 三菱電機株式会社 構造物の形状測定用の画像撮影システム、機上制御装置
US10721404B1 (en) * 2018-08-29 2020-07-21 Amazon Technologies, Inc. Configuring imaging devices based on control signals
AU2020366385A1 (en) * 2019-10-15 2022-05-12 Alarm.Com Incorporated Navigation using selected visual landmarks
US11880212B2 (en) * 2020-07-10 2024-01-23 Alarm.Com Incorporated Robot localization

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010124399A (ja) * 2008-11-21 2010-06-03 Mitsubishi Electric Corp 空中移動体からの自動追尾撮影装置
CN102891959A (zh) * 2011-07-21 2013-01-23 宝硕财务科技股份有限公司 图像式摄影控制系统及其控制方法
JP2017055325A (ja) * 2015-09-11 2017-03-16 沖電気工業株式会社 カメラ制御装置、カメラ制御方法、プログラムおよび監視システム
CN106131454A (zh) * 2016-07-27 2016-11-16 苏州佳世达电通有限公司 一种影像撷取系统及影像撷取方法
US20180046187A1 (en) * 2016-08-12 2018-02-15 Skydio, Inc. Unmanned aerial image capture platform
JP2018040992A (ja) * 2016-09-08 2018-03-15 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 撮像装置、撮像システム、移動体、撮像方法、及びプログラム

Also Published As

Publication number Publication date
JP7008736B2 (ja) 2022-01-25
US20210185230A1 (en) 2021-06-17
CN112985359B (zh) 2023-02-28
JP2021096805A (ja) 2021-06-24
TWI726536B (zh) 2021-05-01
TW202126023A (zh) 2021-07-01
US11310423B2 (en) 2022-04-19

Similar Documents

Publication Publication Date Title
US9409656B2 (en) Aerial photographing system
US11009893B2 (en) Flying vehicle tracking method, flying vehicle image acquiring method, flying vehicle displaying method and flying vehicle guiding system
US9609282B2 (en) Camera for photogrammetry and aerial photographic device
US10509983B2 (en) Operating device, operating system, operating method, and program therefor
US10356301B2 (en) Imaging system, angle-of-view adjustment method, and angle-of-view adjustment program
CN108235815B (zh) 摄像控制装置、摄像装置、摄像系统、移动体、摄像控制方法及介质
WO2018143263A1 (ja) 撮影制御装置、撮影制御方法及びプログラム
TW201832185A (zh) 利用陀螺儀的相機自動校準
WO2020172800A1 (zh) 可移动平台的巡检控制方法和可移动平台
CN112985359B (zh) 影像获取方法及影像获取设备
US20210208214A1 (en) Magnetic sensor calibration method and mobile platform
JP2018084528A (ja) 航空写真測量装置及び航空写真測量方法
WO2021081707A1 (zh) 数据处理方法、装置、可移动平台及计算机可读存储介质
WO2019205087A1 (zh) 图像增稳方法和装置
CN112136137A (zh) 一种参数优化方法、装置及控制设备、飞行器
WO2021217371A1 (zh) 可移动平台的控制方法和装置
US20210229810A1 (en) Information processing device, flight control method, and flight control system
WO2020019175A1 (zh) 图像处理方法和设备、摄像装置以及无人机
US20220174217A1 (en) Image processing method and device, electronic device, and computer-readable storage medium
JP2019219874A (ja) 自律移動撮影制御システムおよび自律移動体
US20220222851A1 (en) Moving body, position estimation method, and program
WO2020150974A1 (zh) 拍摄控制方法、可移动平台与存储介质
WO2021217372A1 (zh) 可移动平台的控制方法和设备
WO2023127313A1 (ja) 撮像支援装置、撮像支援方法、及びプログラム
WO2022006782A1 (zh) 云台控制方法、云台组件、装置、可移动平台和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant