CN116887048A - 控制器和控制方法 - Google Patents

控制器和控制方法 Download PDF

Info

Publication number
CN116887048A
CN116887048A CN202310673549.6A CN202310673549A CN116887048A CN 116887048 A CN116887048 A CN 116887048A CN 202310673549 A CN202310673549 A CN 202310673549A CN 116887048 A CN116887048 A CN 116887048A
Authority
CN
China
Prior art keywords
imaging device
image data
imaging
ranging
feature point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310673549.6A
Other languages
English (en)
Inventor
元山琢人
半田正树
阿部真一郎
豊吉政彦
李骏
多井坚一郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN116887048A publication Critical patent/CN116887048A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices

Abstract

控制装置(100)包括：获取单元(121)，其获取由位于移动体上的摄像图像捕获装置(10)摄像的图像数据；以及计算单元(127)，其基于图像数据中包括的被摄体来计算在移动体上设置的多个测距图像捕获装置(20‑1、20‑2、20‑3、20‑4)之间所检测的被摄体的位置的相对位置。

Description

控制器和控制方法
本申请是申请号为201980079871.8、申请日为2019年12月3日、名称为“控制装置、控制方法和控制程序”的中国发明专利申请的分案申请。
技术领域
本公开内容涉及控制器、控制方法和控制程序。
背景技术
已知通过将成像装置安装在诸如无人机的无人移动体上来对风景进行成像等的技术。
例如，专利文献1公开了能够通过使用由移动体捕获的图像来直观地指示移动体移动的控制器。
引文列表
专利文献
专利文献1：JP 2016-82441A
发明内容
技术问题
如专利文献1所描述的，用于检测障碍物的测距摄像机与成像摄像机分开地附接至移动体。当在移动体中设置多个测距摄像机时，计算由多个测距摄像机成像的被摄体的相对位置，并且可以通过校正相对位置的偏差来精确地指定障碍物的位置。
因此，本公开内容提出了能够计算由多个测距摄像机成像的被摄体的相对位置的控制器、控制方法和控制程序。
问题的解决方案
为了解决上述问题，控制器包括：获取单元，其获取由设置在移动体中的用于摄像的成像装置捕获的图像数据；以及计算单元，其基于图像数据中包括的被摄体来计算在移动体中设置的多个测距用成像装置之间所检测的被摄体的位置的相对位置。
附图说明
图1A是示出根据本实施方式的移动体的配置的示例的示意图。
图1B是示出根据本实施方式的移动体的测距范围的视图。
图2是示出根据本实施方式的控制器的配置的示例的框图。
图3是示出从成像数据提取的特征量的示意图。
图4是示出用于校准每个测距摄像机的成像方法的示意图。
图5是示出用于检测最佳特征点对的方法的示意图。
图6是示出成像摄像机与每个测距摄像机的相对位置之间的关系的示意图。
图7是示出用于执行校准的方法的第一示例的示意图。
图8是示出第一示例的捕获图像数据和测距图像数据的示例的示意图。
图9是示出第一示例的捕获图像数据和测距图像数据的示例的示意图。
图10是用于执行第一示例的校准的指令的示例的示意图。
图11是示出用于执行校准的方法的第二示例的示意图。
图12是示出第二示例的捕获图像数据和测距图像数据的示例的示意图。
图13是示出第二示例的捕获图像数据和测距图像数据的示例的示意图。
图14是用于执行第二示例的校准的指令的示例的示意图。
图15是示出第三示例的捕获图像数据和测距图像数据的示例的示意图。
图16是示出第三示例的捕获图像数据和测距图像数据的示例的示意图。
图17是示出用于执行校准的方法的第四示例的示意图。
图18是示出控制器的处理流程的示例的流程图。
图19是示出无人飞行装置的处理流程的示例的流程图。
图20是示出实现控制器的功能的计算机的示例的硬件配置图。
具体实施方式
下面将参照附图详细地描述本公开内容的实施方式。在以下实施方式中的每个实施方式中，相同的部分由相同的附图标记表示，并且将省略重复描述。
将根据以下描述的项的顺序来描述本公开内容。
1.概述
1-1.移动体的示例
2.实施方式
2-1.控制器的配置
2-2.校准方法
2-2-1.第一示例
2-2-2.第二示例
2-2-3.第三示例
2-2-4.第四示例
2-3.控制器的操作
3.硬件配置
(1.概述)
[1-1.移动体的示例]
将参照图1A和图1B来描述根据本实施方式的移动体的示例。图1A是示出根据本实施方式的移动体的示例的示意图。图1B是示出根据本实施方式的移动体的示例的示意图。
如图1A和图1B所示，根据本实施方式的移动体例如是诸如无人机的无人飞行装置1。无人飞行装置1例如包括成像摄像机10、第一测距摄像机20-1、第二测距摄像机20-2、第三测距摄像机20-3和第四测距摄像机20-4。在下文中，根据本实施方式的移动体将被描述为无人飞行装置1，但是这是示例，并且不限制本公开内容。根据本公开内容的移动体可以是在工厂等中使用的自主移动机器人等。
成像摄像机10通过使用例如支撑件11设置在无人飞行装置1的主体2的下方。该成像摄像机10对例如无人飞行装置1的周围环境进行成像。该成像摄像机10在无人飞行装置1飞行的同时对例如风景等进行成像。稍后将描述其细节，但是在本公开内容中，成像摄像机10用于成像以校正由第一测距摄像机20-1至第四测距摄像机20-4检测到的被摄体的相对值的偏差。
支撑件11将成像摄像机10支撑在主体2的下方。支撑件11通过使用例如万向架机构12支撑成像摄像机10。因此，成像摄像机10可旋转地附接至主体2。换言之，成像摄像机10附接至主体2，以便旋转来对无人飞行装置1的周围环境进行成像。
如图1B所示，第一测距摄像机20-1至第四测距摄像机20-4沿主体2的外周设置。第一测距摄像机20-1检测存在于第一测距范围30-1中的障碍物等。第二测距摄像机20-2检测存在于第二测距范围30-2中的障碍物等。第三测距摄像机20-3检测存在于第三测距范围30-3中的障碍物等。第四测距摄像机20-4检测存在于第四测距范围30-4中的障碍物等。也就是说，第一测距摄像机20-1至第四测距摄像机20-4检测存在于无人飞行装置1周围的障碍物。结果，无人飞行装置1能够通过使用第一测距摄像机20-1至第四测距摄像机20-4来检测障碍物，并且在避开检测到的障碍物的同时飞行。第一测距摄像机20-1至第四测距摄像机20-4可以由例如普通成像摄像机、立体摄像机和飞行时间(ToF)摄像机来实现。
通常，在制造无人飞行装置1时，对第一测距摄像机20-1至第四测距摄像机20-4执行校准，以匹配由每个测距摄像机检测到的障碍物的相对位置。
然而，在无人飞行装置1出厂之后，假设将存在与制造时的校准结果的偏差。例如，存在由于暴露于第一测距摄像机20-1至第四测距摄像机20-4的热量和温度以及第一测距摄像机20-1至第四测距摄像机20-4的材料随时间的变化而使每个测距摄像机的相对值之间的关系改变的可能性。例如，存在由于当无人飞行装置1飞行时的振动而使每个测距摄像机的相对位置关系改变的可能性。例如，当无人飞行装置1碰撞时，存在由于冲击直接施加至每个测距摄像机而使每个测距摄像机的相对位置关系改变的可能性。
当每个测距摄像机的相对位置关系改变时，优选的是，即使在每个测距摄像机出厂之后也对其相对位置关系执行校准。然而，如图1B所示，每个测距摄像机通常指向不同的方向。因此，由于每个测距摄像机的测距范围不相互交叠，因此难以检测相对位置的变化，并且难以执行适当的校准。
在本公开内容中，通过使用成像摄像机10和第一测距摄像机20-1至第四测距摄像机20-4来执行每个测距摄像机的相对位置的校准。
(2.实施方式)
[2-1.控制器的配置]
将参照图2描述根据本实施方式的控制器的配置。图2是示出根据本实施方式的控制器的配置的示例的框图。
如图2所示，根据本实施方式的控制器100包括存储单元110、控制单元120和通信单元130。例如，控制器100是安装在无人飞行装置1上的装置，控制器100能够计算每个测距装置的相对位置关系，并且能够执行计算的相对位置关系的校准。例如，控制器100可以被安装在工厂等中使用的自主移动机器人上。
存储单元110保存各种信息。例如，存储单元110存储用于实现控制器100的每个单元的程序。在这种情况下，控制单元120通过部署和执行存储在存储单元110中的程序来实现每个单元的功能。例如，存储单元110由诸如随机存取存储器(RAM)、只读存储器(ROM)和闪速存储器的半导体存储元件，或者诸如硬盘、固态驱动器和光盘的存储装置来实现。存储单元110可以配置有多个不同的存储器等。
例如，控制单元120通过执行存储在存储单元110中的程序来实现各种功能。例如，控制单元120可以由包括中央处理单元(CPU)的电子电路来实现。控制单元120包括获取单元121、成像控制单元122、处理单元123、提取单元124、匹配单元125、估计单元126和计算单元127。
获取单元121获取各种信息。例如，获取单元121经由通信单元130获取由成像摄像机10捕获的图像数据。例如，获取单元121经由通信单元130获取由第一测距摄像机20-1至第四测距摄像机20-4捕获的测距图像数据。例如，获取单元121将所获取的捕获图像数据和测距图像数据输出至处理单元123。
成像控制单元122控制各种成像装置。例如，成像控制单元122控制成像摄像机10成像的定时。例如，成像控制单元122控制第一测距摄像机20-1至第四测距摄像机20-4测量距离的定时。例如，在成像控制单元122中，当执行对第一测距摄像机20-1至第四测距摄像机20-4的校准时，成像摄像机10的成像定时和要被校准的测距摄像机的测距定时彼此同步。在这种情况下，例如，成像控制单元122通过向要校准的测距摄像机和成像摄像机10输出同步信号来使成像定时和测距定时同步。
处理单元123对捕获图像数据和测距图像数据执行各种处理。例如，处理单元123针对捕获图像数据和测距图像数据校正透镜畸变。例如，当捕获图像数据和测距图像数据的格式彼此不同时，处理单元123将捕获图像数据或测距图像数据的格式转换成具有较小信息量的格式。具体地，当一个是RGB图像数据并且另一个是亮度(灰度)图像数据时，处理单元123将RGB图像数据转换成亮度图像数据。例如，当捕获图像数据和测距图像数据的图像尺寸相差预定值或更大时，处理单元123执行缩放处理以使这两个图像尺寸彼此更接近。例如，处理单元123对捕获图像数据和测距图像数据的每个像素执行伽玛校正。处理单元123对捕获图像数据和测距图像数据执行的处理不限于此。
提取单元124从捕获图像数据和测距图像数据中提取各种信息。例如，提取单元124从捕获图像数据和测距图像数据中提取诸如角和边的局部特征量。例如，提取单元124从包括在捕获图像数据和测距图像数据中的树木和房屋的图像中检测局部特征量。
例如，提取单元124可以通过模板匹配来检测包括特征量作为块的区域。例如，当使用校准板进行校准时，提取单元124可以检测圆形网格的圆或者可以检测棋盘的角。
提取单元124可以检测用于通过执行诸如深度学习的机器学习进行的人类识别或对象识别的对象化或匹配的卷积神经网络(convolutional neural network，CNN)特征量。
例如，提取单元124不必从捕获图像数据和测距图像数据的一帧的图像数据中提取特征量。例如，提取单元124可以基于在过去的多个帧上包括在捕获图像数据和测距图像数据中的诸如人的被摄体来提取特征量。在这种情况下，例如，提取单元124可以检测在过去的多个帧上包括在捕获图像数据和测距图像数据中的每个图像数据中人的位置的变化作为特征量。
将参照图3描述从捕获图像数据提取的特征量。图3是示出从成像数据提取的特征量的示意图。
图3是由成像摄像机10捕获的图像数据S。该图像数据S是房屋H的图像数据。在此情况下，提取单元124从房屋H中提取特征点。
在图3中，例如，提取单元124基于例如房屋H的角和边的亮度梯度信息来检测特征点P1、特征点P2、特征点P3、特征点P4、特征点P5、特征点P6、特征点P7、特征点P8和特征点P9。
提取单元124不仅从由成像摄像机10捕获的图像数据中提取特征点，而且从由每个测距摄像机获得的测距图像数据中提取特征点。具体地，例如，提取单元124从获得的测距图像数据中提取特征点，以用于执行测距摄像机的每个测距摄像机之间的相对位置的校准。
由提取单元124提取的特征点的数量不受特别限制，但是从校准精度的角度来看，优选地提取至少八个特征点，并且优选地提取尽可能多的特征点。
将参照图4描述用于校准每个测距摄像机的成像方法。图4是示出用于校准每个测距摄像机的成像方法的示意图。
图4示出了用于校准第一测距摄像机20-1和第二测距摄像机20-2的相对位置的方法。在图4中，示出了作为第一测距摄像机20-1的测距范围的第一测距范围30-1、作为第二测距摄像机20-2的测距范围的第二测距范围30-2以及作为成像摄像机10的成像范围的成像范围40。
第一测距坐标系31-1是由第一测距摄像机20-1成像的被摄体的坐标系。第二测距坐标系31-22是由第二测距摄像机20-2成像的被摄体的坐标系。成像坐标系41是由成像摄像机10成像的被摄体的坐标系。
成像摄像机10的成像范围40与第一测距范围30-1至少一部分彼此交叠，并且成像摄像机10的方向被改变成使得成像摄像机10的成像范围40的至少一部分与第二测距范围30-2的一部分彼此交叠。
成像摄像机10和第一测距摄像机20-1对存在于第一交叠区域50-1的被摄体进行成像，第一交叠区域50-1是成像范围40与第一测距范围30-1的交叠区域。成像摄像机10和第二测距摄像机20-2对存在于第二交叠区域50-2的被摄体进行成像，第二交叠区域50-2是成像范围40与第二测距范围30-2的交叠区域。在这种情况下，优选地调整成像摄像机10的方向，使得第一交叠区域50-1和第二交叠区域50-2同时存在。
提取单元124从通过利用成像摄像机10和第一测距摄像机20-1中的每一个对存在于第一交叠区域50-1中的被摄体进行成像而获得的图像数据中提取特征点。提取单元124从通过利用成像摄像机10和第二测距摄像机20-2中的每一个对存在于第二交叠区域50-2中的被摄体进行成像而获得的图像数据中提取特征点。
提取单元124从由第一测距摄像机20-1和第二测距摄像机20-2捕获的测距图像数据中提取特征点的方法与用于从捕获图像数据中提取特征点的方法相同。因此，将省略其描述。
再次参照图2。匹配单元125检测来自捕获图像数据和测距图像数据的各种信息的匹配。例如，匹配单元125从捕获图像数据和测距图像数据提取的特征点的列表中检测最佳特征点的对应点(对应关系对)。例如，匹配单元125检测特征量之间的距离最短的组合作为最佳特征点对。在这种情况下，例如，匹配单元125检测特征点之间具有最小亮度差的特征点作为特征点对。
将参照图5描述用于检测最佳特征点对的方法。图5是示出用于检测最佳特征点对的方法的示意图。
捕获图像数据S1例如是由成像摄像机10在图4中的第二交叠区域50-2中成像的房屋H的捕获图像数据。测距图像数据D1是由第二测距摄像机20-2在图4中的第二交叠区域50-2中成像的房屋H的测距图像数据。
在图5所示的示例的情况下，例如，提取单元124从捕获图像数据S1中提取特征点P1、特征点P2、特征点P3、特征点P4、特征点P5、特征点P6、特征点P7、特征点P8和特征点P9。例如，提取单元124从测距图像数据D1中提取特征点P11、特征点P12、特征点P13、特征点P14、特征点P15、特征点P16、特征点P17、特征点P18和特征点P19。
然后，匹配单元125检测从捕获图像数据S1检测到的特征点P1至P9和从测距图像数据D1检测到的特征点P11至P19的最佳对。
具体地，例如，匹配单元125将特征点P1和特征点P11检测为一对特征点。例如，匹配单元125将特征点P2和特征点P12检测为一对特征点。例如，匹配单元125将特征点P3和特征点P13检测为一对特征点。例如，匹配单元125将特征点P4和特征点P14检测为一对特征点。例如，匹配单元125将特征点P5和特征点P15检测为一对特征点。例如，匹配单元125将特征点P6和特征点P16检测为一对特征点。例如，匹配单元125将特征点P7和特征点P17检测为一对特征点。例如，匹配单元125将特征点P8和特征点P18检测为一对特征点。例如，匹配单元125将特征点P9和特征点P19检测为一对特征点。
当通过使用校准板来执行对每个测距摄像机的校准时，由于一对特征点彼此对应，因此可以省略匹配单元125的处理。
再次参照图2。估计单元126根据捕获图像数据和测距图像数据来估计各种信息。例如，估计单元126基于捕获图像数据和测距图像数据来估计成像摄像机10和每个测距摄像机的相对位置和姿态。
将参照图6描述用于估计成像摄像机10与每个测距摄像机之间的相对位置关系的方法。图6是示出了成像摄像机10与每个测距摄像机的相对位置关系的示意图。
在图6中，描述了用于估计成像摄像机10与第二测距摄像机20-2之间的相对位置的方法。
在图6中，光轴O1是成像摄像机10的光轴的中心。光轴O2是第二测距摄像机20-2的光轴的中心。三维点X是光轴O1与光轴O2相交的点。
例如，捕获图像数据S1包括特征点PGi。例如，测距图像数据D1包括特征点PAi。此处，特征点PGi和特征点PAi是对应特征点。
在这种情况下，特征点PGi可以由[ugi，vgi，1]T表示为具有第i对应关系的捕获图像数据S1中的一点的像素位置的矢量。特征点PAi可以由[uai，vai，1]T表示为具有第i对应关系的捕获图像数据S1中的一点的像素位置的矢量。
然后，估计单元126估计基本矩阵F，基本矩阵F是3×3矩阵，并且满足“PGi TFPAi＝0”。基本矩阵F包括摄像机的内部参数和摄像机的外部参数。在这种情况下，估计单元126可以通过使用公知的方法来估计基本矩阵F。具体地，估计单元126可以通过使用最小二乘法、随机采样一致性(RANSAC)等来估计基本矩阵F。在这种情况下，优选的是，存在彼此对应的八对或更多对特征点。当计算基本矩阵F时，可以计算旋转矩阵R和平移矢量T以用于从特征点PGi到特征点PAi的坐标转换。
再次参照图2。计算单元127根据捕获图像数据和测距图像数据来计算各种信息。例如，计算单元127基于位于交叠区域中的被摄体来计算成像摄像机10与每个测距摄像机之间的相对位置，在该交叠区域中，成像摄像机10的成像范围40和多个测距摄像机的测距区域至少一部分彼此交叠。具体地，计算单元127基于位于第一交叠区域50-1的第一被摄体和位于第二交叠区域50-2的第二被摄体来计算第一测距摄像机20-1与第二测距摄像机20-2之间的相对位置；在第一交叠区域50-1中，成像范围40与第一测距范围30-1至少一部分彼此交叠；在第二交叠区域50-2中，成像范围40与第二测距范围30-2至少一部分彼此交叠。在这种情况下，例如，计算单元127计算从第一被摄体的捕获图像数据检测到的特征点与从由第一测距摄像机20-1成像的第一被摄体的测距图像数据检测的特征点之间的对应关系。例如，计算单元127计算从第二被摄体的捕获图像数据检测到的特征点与从由第二测距摄像机20-2成像的第二被摄体的测距图像数据检测的特征点之间的对应关系。然后，计算单元127基于计算的两个特征点之间的对应关系来计算第一测距摄像机20-1与第二测距摄像机20-2之间的相对位置。例如，计算单元127通过使用由估计单元126估计的基本矩阵F来计算成像摄像机10与第二测距摄像机20-2之间的相对位置。
计算单元127通过使用估计的基础矩阵F计算基本矩阵E。基本矩阵E可以由“E＝KG TFKA”表示。KG是成像摄像机10的内部参数。成像摄像机10的内部参数包括关于成像摄像机10的视角和光轴中心等的信息。KA是第二测距摄像机20-2的内部参数。第二测距摄像机20-2的内部参数包括关于第二测距摄像机20-2的视角和光轴中心等的信息。此处，KG和KA是已知的。因此，计算单元127可以通过执行如由基本矩阵E的等式表示的奇异值分解来计算旋转矩阵R和平移矢量T。
例如，如图4所示，计算单元127计算用于从第一测距坐标系31-1转换到成像坐标系41的旋转矩阵RGA和平移矢量TGA。例如，计算单元127计算用于从成像坐标系41转换到第二测距坐标系31-2的旋转矩阵RBG和平移矢量TBG。此处，第一测距坐标系31-1的坐标由XA表示，第二测距坐标系31-2的坐标由XB表示，并且成像坐标系42的坐标系由XG表示。
在这种情况下，XG可以由“XG＝RGAXA+TGA”表示。XB可以由“XB＝RGBXG+TBG”表示。因此，当XG被代入XB的等式时，获得“XB＝RGB(RGAXA+TGA)+TBG”。当将其展开时，XB可以由“XB＝RBAXA+TBA”表示。因此，可以执行从XA到XB的转换。换言之，计算单元127能够计算第一测距摄像机20-1与第二测距摄像机20-2的相对位置关系。因此，能够校准第一测距摄像机20-1与第二测距摄像机20-2之间的相对位置关系的偏差。在本公开内容中，可以计算测距摄像机中的每一个之间的相对位置，并且可以通过相同的方法执行校准。
在本公开内容中，在无人飞行装置1出厂之后执行校准的定时不受特别限制。例如，控制器100可以在无人飞行装置1被操作的定时处执行校准。例如，控制器100可以通过使用成像摄像机10未对风景等进行成像的时间来定期地执行校准。例如，控制器100可以在诸如内部测量单元(internal measurement unit，IMU)的传感器检测到由于无人飞行装置1的碰撞而引起的大振动时执行校准。通过在这些定时处执行校准，可以防止无人飞行装置1在测距摄像机中的每一个之间的相对位置偏离的状态下操作。控制器100可以基于来自用户的指令执行校准。
[2-2.校准方法]
<2-2-1.第一示例>
将参照图7、图8、图9和图10描述用于执行校准的方法的第一示例。图7是示出用于执行校准的方法的第一示例的示意图。图8是示出第一示例的捕获图像数据和测距图像数据的示例的示意图。图9是示出第一示例的捕获图像数据和测距图像数据的示例的示意图。图10是示出用于执行第一示例的校准的指令的示例的示意图。下面将描述用于校准第一测距摄像机20-1与第二测距摄像机20-2之间的相对位置的方法。
如图7所示，在第一示例中，通过使用校准板B来校准第一测距摄像机20-1与第二测距摄像机20-2之间的相对位置。校准板B例如是棋盘。
在这种情况下，首先，调整成像摄像机10的方向，使得存在第一交叠区域50-1和第二交叠区域50-2。然后，将校准板B设置在第一交叠区域50-1中，并且由成像摄像机10和第一测距摄像机20-1对校准板B进行成像。接着，将校准板B设置在第二交叠区域50-2中，并且由成像摄像机10和第二测距摄像机20-2对校准板B进行成像。
图8示出了在第一交叠区域50-1中成像的校准板B的捕获图像数据S2和测距图像数据D2。捕获图像数据S2是由成像摄像机10捕获的图像数据。测距图像数据D2是由第一测距摄像机20-1捕获的测距图像数据。
例如，控制器100从捕获图像数据S2中检测特征点P21、特征点P22、特征点P23、特征点P24、特征点P25、特征点P26、特征点P27和特征点P28。例如，控制器100从测距图像数据D2中检测特征点P31、特征点P32、特征点P33、特征点P34、特征点P35、特征点P36、特征点P37和特征点P38。特征点P21至P28是分别与特征点P31至P38相对应的特征点。
图9示出了在第二交叠区域50-2中成像的校准板B的捕获图像数据S3和测距图像数据D3。捕获图像数据S3是由成像摄像机10捕获的图像数据。测距图像数据D3是由第二测距摄像机20-2捕获的测距图像数据。
例如，控制器100从捕获图像数据S3中检测特征点P41、特征点P42、特征点P43、特征点P44、特征点P45、特征点P46、特征点P47和特征点P48。例如，控制器100从测距图像数据D3中检测特征点P51、特征点P52、特征点P53、特征点P54、特征点P55、特征点P56、特征点P57和特征点P58。特征点P51至P58是分别与特征点P51至P58相对应的特征点。
控制器100可以基于从设置在第一交叠区域50-1和第二交叠区域50-2中的校准板B提取的每个特征点来计算第一测距摄像机20-1与第二测距摄像机20-2之间的相对位置。然后，控制器100可以执行第一测距摄像机20-1与第二测距摄像机20-2之间的相对位置的校准。由于用于估计相对位置的方法如上所述，因此将省略其描述。
图10是示出当对第一测距摄像机20-1和第二测距摄像机20-2进行校准时对用户的指令的显示屏幕的示例。显示屏幕200例如是显示在无人飞行装置1的无线电式控制器、智能电话、平板终端等上的显示屏幕。
显示屏幕200包括无人飞行装置图标210、进度条220、第一测距范围图标230-1、第二测距范围图标230-2、第三测距范围图标230-3、第四测距范围图标230-4、成像范围图标240和指示区域250。
无人飞行装置图标210指示无人飞行装置1。进度条220示出校准的进度状态。通过检查进度条220，可以适当地掌握校准的进度。
第一测距范围图标230-1至第四测距范围图标230-4分别指示第一测距范围30-1至第四测距范围30-4。成像范围图标240指示成像范围40。指示区域250指示使用户移动到的区域。
例如，在显示屏幕200上，通过在指示区域250中显示“请移动到此处”，促使用户U持握校准板B并移动到指示区域250。结果，用户U能够计算第一测距摄像机20-1与第二测距摄像机20-2之间的相对位置，并且例如通过与校准板B一起移动到指示区域来执行校准。也就是说，通过显示显示屏幕200，可以容易地计算每个摄像机之间的相对位置并执行校准。
<2-2-2.第二示例>
将参照图11、图12、图13和图14来描述用于执行校准的方法的第二示例。图11是示出用于执行校准的方法的第二示例的示意图。图12是示出第二示例的捕获图像数据和测距图像数据的示例的示意图。图13是示出第二示例的捕获图像数据和测距图像数据的示例的示意图。图14是示出用于执行第二示例的校准的指令的示例的示意图。下面将描述用于校准第一测距摄像机20-1与第二测距摄像机20-2之间的相对位置的方法。
如图11所示，在第二示例中，通过对用户U他或她自身进行成像来校准第一测距摄像机20-1与第二测距摄像机20-2之间的相对位置。
在这种情况下，首先，用户U移动到第一交叠区域50-1，并且通过使用成像摄像机10和第一测距摄像机20-1来对他或她自身进行成像。接着，用户U移动到第二交叠区域50-2，并且通过使用成像摄像机10和第二测距摄像机20-2来对他或她自身进行成像。
图12示出了在第一交叠区域50-1中成像的用户U的捕获图像数据S4和测距图像数据D4。捕获图像数据S4是由成像摄像机10捕获的图像数据。测距图像数据D4由第一测距摄像机20-1捕获的测距图像数据。
例如，控制器100从捕获图像数据S4中检测特征点P61、特征点P62、特征点P63、特征点P64、特征点P65、特征点P66和特征点P67。例如，控制器100从测距图像数据D4中检测特征点P71、特征点P72、特征点P73、特征点P74、特征点P75、特征点P76和特征点P77。特征点P61至P67是分别与特征点P71至P77相对应的特征点。
图13示出了在第二交叠区域50-2中成像的用户U的捕获图像数据S5和测距图像数据D5。捕获图像数据S5是由成像摄像机10捕获的图像数据。测距图像数据D5是由第二测距摄像机20-2捕获的测距图像数据。
例如，控制器100从捕获图像数据S5中检测特征点P81、特征点P82、特征点P83、特征点P84、特征点P85、特征点P86和特征点P87。例如，控制器100从测距图像数据D5中检测特征点P91、特征点P92、特征点P93、特征点P94、特征点P95、特征点P96和特征点P97。特征点P81至P87是分别与特征点P91至P97相对应的特征点。
控制器100可以基于从位于第一交叠区域50-1和第二交叠区域50-2中的用户U提取的每个特征点来计算第一测距摄像机20-1与第二测距摄像机20-2之间的相对位置。然后，控制器100可以执行第一测距摄像机20-1与第二测距摄像机20-2之间的相对位置的校准。由于用于估计相对位置的方法如上所述，因此将省略其描述。
图14是示出当校准第一测距摄像机20-1和第二测距摄像机20-2时对用户的指令的显示屏幕的示例。
显示屏幕200A包括无人飞行装置图标210、进度条220、第一测距范围图标230-1、第二测距范围图标230-2、第三测距范围图标230-3、第四测距范围图标230-4、成像范围图标240和指示区域250。
例如，在显示屏幕200A上，通过在指令区域250中显示“请移动到此处”，促使用户U移动到指令区域250。结果，例如，控制器100可以计算第一测距摄像机20-1与第二测距摄像机20-2之间的相对位置，并且基于从移动到指示区域的用户U检测到的特征点来执行校准。也就是说，通过显示显示屏幕200A，可以容易地计算每个摄像机之间的相对位置，并且可以容易地执行校准。
<2-2-3.第三示例>
将参照图15和图16描述用于执行校准的方法的第三示例。图15是示出第三示例的捕获图像数据和测距图像数据的示例的示意图。图16是示出第三示例的捕获图像数据和测距图像数据的示例的示意图。
在上述第一示例和第二示例中，计算每个测距摄像机的相对值，并且通过对同一被摄体进行成像并检测第一交叠区域50-1和第二交叠区域50-2中的特征点来执行校准。然而，在第一交叠区域50-1和第二交叠区域50-2中成像的被摄体可以彼此不同。
图15示出了在第一交叠区域50-1中成像的树木T的捕获图像数据S6和测距图像数据D6。捕获图像数据S6由成像摄像机10捕获的图像数据。测距图像数据D6是由第一测距摄像机20-1捕获的测距图像数据。
例如，控制器100从捕获图像数据S6中检测特征点P101、特征点P102、特征点P103、特征点P104、特征点P105、特征点P106和特征点P107。例如，控制器100从测距图像数据D6中检测特征点P111、特征点P112、特征点P113、特征点P114、特征点P115、特征点P116和特征点P117。特征点P101至P107是分别与特征点P111至P117相对应的特征点。
图16示出了在第二交叠区域50-2中成像的房屋H的捕获图像数据S7和测距图像数据D7。捕获图像数据S7是由成像摄像机10捕获的图像数据。测距图像数据D7是由第二测距摄像机20-2捕获的测距图像数据。
例如，控制器100从捕获图像数据S7中检测特征点P121、特征点P122、特征点P123、特征点P124、特征点P125、特征点P126、特征点P127、特征点P128和特征点P129。例如，控制器100从测距图像数据D7中检测特征点P131、特征点P132、特征点P133、特征点P134、特征点P135、特征点P136、特征点P137、特征点P138和特征点P139。特征点P121至P129是分别与特征点P131至P139相对应的特征点。
控制器100可以基于从位于第一交叠区域50-1中的树木T提取的每个特征点和从位于第二交叠区域50-2中的房屋H提取的每个特征点来计算第一测距摄像机20-1与第二测距摄像机20-2之间的相对位置。在这种情况下，例如，控制器100可以计算每个测距摄像机之间的相对位置，并且基于在无人飞行装置1飞行时位于第一交叠区域50-1和第二交叠区域50-2中的任何被摄体来执行校准。
<2-2-4.第四示例>
将参照图17描述用于执行校准的方法的第四示例。图17是示出用于执行校准的方法的第四示例的示意图。
在第一示例至第三示例中，通过使用成像摄像机10和在无人飞行装置1出厂时附接的每个测距摄像机来计算测距摄像机中的每一个之间的相对位置，并且执行校准。然而，假设在无人飞行装置1出厂之后由用户更换成像摄像机10。在这种情况下，通常，在更换前的成像摄像机10和更换后的成像摄像机10A中，内部参数彼此不同。因此，优选的是，在成像摄像机10A和每个测距摄像机中执行包括成像摄像机的内部参数估计的校准。下面将描述用于在成像摄像机10A和第一测距摄像机20-1中执行校准的方法。
在这种情况下，如图17所示，首先，成像摄像机10A和第一测距摄像机20-1指向相同的方向。然后，生成其中成像摄像机10A的成像范围40A与第一测距摄像机的第一测距范围30-1至少一部分彼此交叠的交叠区域50A。
在这种情况下，由成像摄像机10A和第一测距摄像机20-1对位于交叠区域50A中的任意被摄体O进行成像。然后，从由成像摄像机10A捕获的捕获图像数据和由第一测距摄像机20-1捕获的测距图像数据中提取特征点和到特征点的距离的数据。结果，由第一测距摄像机20-1成像的被摄体O的尺寸是已知的，并且可以估计成像摄像机10A的内部参数。对于随后的校准步骤，计算成像摄像机10A与第一测距摄像机20-1之间的相对位置，并且通过使用上述第一示例至第三示例的方法来执行校准。也就是说，在本公开内容中，可以计算成像摄像机10A与每个测距摄像机之间的相对位置，并且可以执行校准。
[2-3.控制器的操作]
接下来，将参照图18描述控制器的处理流程。图18是示出控制器的处理流程的示例的流程图。
首先，控制器100检测用于开始校准的触发(步骤S101)。控制器100通过检测触发来开始校准。然后，控制器100使处理进行到步骤S102。
接下来，控制器100将成像摄像机10的方向调整到用于校准的方向(步骤S102)。具体地，控制器100利用万向节机构12控制成像摄像机10，并且根据要被校准的测距摄像机来调整方向。然后，控制器100使处理进行到步骤S103。
接下来，控制器100使成像摄像机10与要被校准的测距摄像机同步，并且对被摄体进行成像(步骤S103)。然后，控制器100使处理进行到步骤S104。
接着，控制器100基于被摄体的成像结果来估计要被校准的测距摄像机相对于成像摄像机10的相对位置(步骤S104)。此处，控制器100可以估计测距摄像机相对于成像摄像机10的姿态。然后，控制器100使得处理进行到步骤S105。
在步骤S105中，控制器100确定相对位置的估计结果是否适当。
当估计结果不适当时(步骤S105中的否)，控制器100将处理返回到步骤S103并执行上述处理。另一方面，当估计结果适当时(步骤S105中的是)，控制器100使处理进行到步骤S106。
接着，控制器100执行校准，并且将校准结果存储在存储单元110中(步骤S106)。然后，控制器100使处理进行到步骤S107。
接着，在步骤S107中，控制器100确定是否存在需要被校准的其他测距摄像机。
当存在需要被校准的测距摄像机时(步骤S107中的是)，控制器100使处理返回到步骤S102，并且执行上述处理。另一方面，当不存在需要被校准的测距摄像机时(步骤S107中的否)，控制器100结束图18的处理。
下面将参照图19描述其中无人飞行装置检测障碍物并避开障碍物的操作流程。图19是示出其中无人飞行装置1通过使用校准结果来避开障碍物的处理的流程的示例的流程图。
首先，无人飞行装置1获取通过利用成像摄像机10和每个测距摄像机对无人飞行装置1的周围环境进行成像而获得的成像数据(步骤S201)。然后，无人飞行装置1使处理进行到步骤S202。
接着，无人飞行装置1基于成像数据来估计到无人飞行装置1周围的对象的三维距离(步骤S202)。然后，无人飞行装置1使处理进行到步骤S203。
接着，无人飞行装置1基于到周围对象的三维距离来检测必须避开的障碍物(步骤S203)。具体地，例如，无人飞行装置1在第一测距摄像机20-1的坐标系和第二测距摄像机20-2的坐标系中检测必须避开的障碍物。然后，无人飞行装置1使处理进行到步骤S204。
接着，无人飞行装置1将在第一测距摄像机20-1的坐标系和第二测距摄像机20-2的坐标系中检测到的障碍物的坐标系转换成成像摄像机10的统一坐标系(步骤S204)。然后，无人飞行装置1使处理进行到步骤S205。
接着，无人飞行装置1构建障碍物地图，该障碍物地图包括关于在统一坐标系中存在于无人飞行装置1周围的障碍物的信息(步骤S205)。然后，无人飞行装置1使处理进行到步骤S206。
接着，无人飞行装置1基于障碍物地图来执行障碍物避开操作(步骤S206)。然后，无人飞行装置1结束图19的处理。
(3.硬件配置)
例如，由具有如图20所示的配置的计算机1000来实现根据上述每个实施方式的控制器100。图20是示出实现控制器100的功能的计算机1000的示例的硬件配置图。计算机1000包括CPU 1100、RAM 1200、只读存储器(read only memory，ROM)1300、硬盘驱动器(hard disk drive，HDD)1400、通信接口1500以及输入和输出接口1600。计算机1000的每个部分通过总线1050彼此连接。
CPU 1100基于存储在ROM 1300或HDD 1400中的程序进行操作，并控制每个部分。例如，CPU 1100将ROM 1300或HDD 1400中存储的程序部署到RAM 1200上，并执行与各种程序相对应的处理。
ROM 1300存储当计算机1000启动时由CPU 1100执行的诸如基本输入输出系统(basic input output system，BIOS)的引导程序，以及取决于计算机1000的硬件的程序等。
HDD 1400是非临时地记录由CPU 1100执行的程序和该程序使用的数据的计算机可读记录介质。具体地，HDD 1400是记录根据本公开内容的程序(作为程序数据1450的示例)的记录介质。
通信接口1500是用于将计算机1000连接到外部网络1550(例如，互联网)的接口。例如，CPU 1100经由通信接口1500从其他装置接收数据或者将由CPU 1100生成的数据发送到其他装置。
输入和输出接口1600是用于将输入和输出装置1650连接到计算机1000的接口。例如，CPU 1100经由输入和输出接口1600从诸如键盘或鼠标的输入装置接收数据。CPU 1100经由输入和输出接口1600将数据发送到诸如显示器、扬声器和打印机的输出装置。输入和输出接口1600可以用作用于读取记录在预定记录介质(介质)中的程序等的介质接口。例如，该介质是诸如数字多功能盘(digital versatile disc，DVD)或相变可重写盘(phasechange rewritable disk，PD)的光学记录介质、诸如磁光盘(magneto-optical disk，MO)的磁光记录介质、磁带介质、磁记录介质或半导体存储器。
例如，当计算机1000用作控制器100时，计算机1000的CPU 1100通过执行加载在RAM 1200上的程序来实现每个部分的功能。根据本公开内容的程序存储在HDD 1400中。CPU1100从HDD 1400读取程序数据1450并执行程序，但是作为另一示例，可以经由外部网络1550从其他装置获取这些程序。
本说明书中描述的效果仅是示例而不受限制，并且可以获得其他效果。
本技术还可以具有以下配置。
(1)
一种控制器，包括：
获取单元，其获取由设置在移动体中的摄像用成像装置捕获的图像数据；以及
计算单元，其基于图像数据中包括的被摄体来计算在移动体中设置的多个测距用成像装置之间所检测的被摄体的位置的相对位置。
(2)
根据(1)的控制器，其中，
计算单元基于位于交叠区域中的被摄体来计算相对位置，在交叠区域中，摄像用成像装置的成像区域与多个测距用成像装置的测距区域的至少一部分彼此交叠。
(3)
根据(1)或(2)的控制器，其中，
摄像用成像装置可旋转地设置在移动体中。
(4)
根据(3)的控制器，其中，
计算单元基于位于第一交叠区域中的第一被摄体和位于第二交叠区域中的第二被摄体来计算第一测距用成像装置与第二测距用成像装置之间的相对位置；在第一交叠区域中，成像区域与多个测距用成像装置中的第一测距用成像装置的第一测距区域的至少一部分彼此交叠；在第二交叠区域中，成像区域与多个测距用成像装置中的第二测距用成像装置的第二测距区域的至少一部分彼此交叠。
(5)
根据(4)的控制器，其中，
第一交叠区域和第二交叠区域中的至少一个是通过旋转摄像用成像装置而生成的。
(6)
根据(4)或(5)的控制器，其中，
第一交叠区域和第二交叠区域是通过旋转摄像用成像装置而同时生成的。
(7)
根据(4)至(6)中任一项的控制器，其中，
计算单元基于从第一被摄体检测的特征点和从第二被摄体检测的特征点来计算第一测距用成像装置与第二测距用成像装置之间的相对位置。
(8)
根据(4)至(7)中任一项的控制器，其中，
计算单元基于以下对应关系来计算第一测距用成像装置与第二测距用成像装置之间的相对位置：从由摄像用成像装置成像的第一被摄体的图像数据检测的特征点与从由第一测距用成像装置成像的第一被摄体的图像数据检测的特征点之间的对应关系、以及从由摄像用成像装置成像的第二被摄体的图像数据检测的特征点与从由第二测距用成像装置成像的第二被摄体的图像数据检测的特征点之间的对应关系。
(9)
根据(4)至(8)中任一项的控制器，其中，
计算单元在移动体启动时计算第一测距用成像装置与第二测距用成像装置之间的相对位置。
(10)
根据(4)至(9)中任一项的控制器，其中，
计算单元在未利用摄像用成像装置对风景进行成像的情况下计算第一测距用成像装置与第二测距用成像装置之间的相对位置。
(11)
根据(4)至(10)中任一项的控制器，其中，
第一被摄体和第二被摄体分别是校准板。
(12)
根据(4)至(11)中任一项的控制器，其中，
第一被摄体和第二被摄体是人。
(13)
根据(4)至(12)中任一项的控制器，其中，
第二被摄体和第二被摄体是自然对象或人造对象。
(14)
根据(4)至(13)中任一项的控制器，其中，
计算单元基于第一被摄体中包括的像素位置的矢量和第二被摄体中包括的像素位置的矢量，计算第一测距用成像装置与第二测距用成像装置之间的相对位置。
(15)
一种控制方法，包括：
获取由设置在移动体中的摄像用成像装置捕获的图像数据；以及
基于图像数据中包括的被摄体来计算在移动体中设置的多个测距用成像装置之间所检测的被摄体的位置的相对位置。
(16)
一种控制程序，其使计算机用作：
获取单元，其获取由设置在移动体中的摄像用成像装置捕获的图像数据；以及
计算单元，其基于图像数据中包括的被摄体来计算在移动体中设置的多个测距用成像装置之间所检测的被摄体的位置的相对位置。
附图标记列表
1 无人飞行装置
10 成像摄像机
20-1 第一测距摄像机
20-2 第二测距摄像机
20-3 第三测距摄像机
20-4 第四测距摄像机
100 控制器
110 存储单元
120 控制单元
121 获取单元
122 成像控制单元
123 处理单元
124 提取单元
125 匹配单元
126 估计单元
127 计算单元
130 通信单元

Claims (16)

1.一种控制器，包括：
获取单元，所述获取单元获取由设置在移动体中的摄像用成像装置所捕获的图像数据；以及
计算单元，所述计算单元基于所述图像数据中包括的被摄体来计算由设置在所述移动体中的多个测距用成像装置检测到的对象的位置的相对位置；
其中，所示控制器被配置成：
在所述多个测距用成像装置中的当前测距用成像装置的当前坐标系中检测要避开的障碍物；
基于所述相对位置生成包括关于存在于所述移动体周围的所述障碍物的信息的地图；以及
基于所述地图执行避开所述障碍物的障碍物避开操作。
2.根据权利要求1所述的控制器，其中，
所述计算单元基于位于交叠区域中的被摄体来计算所述相对位置，在所述交叠区域中，所述摄像用成像装置的成像区域与多个所述测距用成像装置的测距区域的至少一部分彼此交叠。
3.根据权利要求2所述的控制器，其中，
所述摄像用成像装置可旋转地设置在所述移动体中。
4.根据权利要求3所述的控制器，其中，
所述计算单元基于位于第一交叠区域中的第一被摄体和位于第二交叠区域中的第二被摄体来计算第一测距用成像装置与第二测距用成像装置之间的所述相对位置；在所述第一交叠区域中，所述成像区域与多个所述测距用成像装置中的所述第一测距用成像装置的第一测距区域的至少一部分彼此交叠；在所述第二交叠区域中，所述成像区域与多个所述测距用成像装置中的所述第二测距用成像装置的第二测距区域的至少一部分彼此交叠。
5.根据权利要求4所述的控制器，其中，
所述第一交叠区域和所述第二交叠区域中的至少一个是通过旋转所述摄像用成像装置而生成的。
6.根据权利要求5所述的控制器，其中，
所述第一交叠区域和所述第二交叠区域是通过旋转所述摄像用成像装置而同时生成的。
7.根据权利要求4所述的控制器，其中，
所述计算单元基于从所述第一被摄体检测的特征点和从所述第二被摄体检测的特征点来计算所述第一测距用成像装置与所述第二测距用成像装置之间的所述相对位置。
8.根据权利要求7所述的控制器，其中，
所述计算单元基于以下对应关系来计算所述第一测距用成像装置与所述第二测距用成像装置之间的所述相对位置：从由所述摄像用成像装置成像的所述第一被摄体的图像数据检测的特征点与从由所述第一测距用成像装置成像的所述第一被摄体的图像数据检测的特征点之间的对应关系、以及从由所述摄像用成像装置成像的所述第二被摄体的图像数据检测的特征点与从由所述第二测距用成像装置成像的所述第二被摄体的图像数据检测的特征点之间的对应关系。
9.根据权利要求4所述的控制器，其中，
所述计算单元在所述移动体启动时计算所述第一测距用成像装置与所述第二测距用成像装置之间的所述相对位置。
10.根据权利要求4所述的控制器，其中，
所述计算单元在未利用所述摄像用成像装置对风景进行成像的情况下计算所述第一测距用成像装置与所述第二测距用成像装置之间的所述相对位置。
11.根据权利要求4所述的控制器，其中，
所述第一被摄体和所述第二被摄体分别是校准板。
12.根据权利要求4所述的控制器，其中，
所述第一被摄体和所述第二被摄体是人。
13.根据权利要求4所述的控制器，其中，
所述第二被摄体和所述第二被摄体是自然对象或人造对象。
14.根据权利要求4所述的控制器，其中，
所述计算单元基于所述第一被摄体中包括的像素位置的矢量和所述第二被摄体中包括的像素位置的矢量，计算所述第一测距用成像装置与所述第二测距用成像装置之间的所述相对位置。
15.根据权利要求1所述的控制器，其中，
基于所述相对位置生成包括关于存在于所述移动体周围的所述障碍物的信息的地图包括：
基于所述相对位置将在所述当前测距用成像装置的当前坐标系转换成所述摄像用成像装置的统一坐标系。
16.一种控制方法，包括：
获取由设置在移动体中的摄像用成像装置所捕获的图像数据；
基于所述图像数据中包括的被摄体来计算由设置在所述移动体中的多个测距用成像装置检测到的对象的位置的相对位置；
在所述多个测距用成像装置中的当前测距用成像装置的当前坐标系中检测要避开的障碍物；
基于所述相对位置生成包括关于存在于所述移动体周围的所述障碍物的信息的地图；以及
基于所述地图执行避开所述障碍物的障碍物避开操作。
CN202310673549.6A 2018-12-13 2019-12-03 控制器和控制方法 Pending CN116887048A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2018233562 2018-12-13
JP2018-233562 2018-12-13
CN201980079871.8A CN113170047B (zh) 2018-12-13 2019-12-03 控制装置、控制方法和控制程序
PCT/JP2019/047138 WO2020121882A1 (ja) 2018-12-13 2019-12-03 制御装置、制御方法、および制御プログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201980079871.8A Division CN113170047B (zh) 2018-12-13 2019-12-03 控制装置、控制方法和控制程序

Publications (1)

Publication Number Publication Date
CN116887048A true CN116887048A (zh) 2023-10-13

Family

ID=71076938

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201980079871.8A Active CN113170047B (zh) 2018-12-13 2019-12-03 控制装置、控制方法和控制程序
CN202310673549.6A Pending CN116887048A (zh) 2018-12-13 2019-12-03 控制器和控制方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201980079871.8A Active CN113170047B (zh) 2018-12-13 2019-12-03 控制装置、控制方法和控制程序

Country Status (4)

Country Link
US (1) US20220049946A1 (zh)
JP (1) JP7472796B2 (zh)
CN (2) CN113170047B (zh)
WO (1) WO2020121882A1 (zh)

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4773794B2 (ja) * 2005-10-19 2011-09-14 株式会社岩根研究所 新旧映像座標統合装置
JP2007181129A (ja) * 2005-12-28 2007-07-12 Hitachi Ltd 車載用移動体検出装置
CN103424959B (zh) * 2008-05-19 2016-12-28 佳能株式会社 图像拾取系统和透镜装置
WO2010119496A1 (ja) * 2009-04-13 2010-10-21 富士通株式会社 画像処理装置、画像処理プログラム、画像処理方法
JP5369873B2 (ja) * 2009-04-27 2013-12-18 富士通株式会社 判定プログラムおよびキャリブレーション装置
JP5588812B2 (ja) * 2010-09-30 2014-09-10 日立オートモティブシステムズ株式会社 画像処理装置及びそれを用いた撮像装置
JP6035620B2 (ja) * 2013-07-29 2016-11-30 株式会社日立製作所 車載ステレオカメラシステム及びそのキャリブレーション方法
US9986173B2 (en) * 2014-05-16 2018-05-29 GM Global Technology Operations LLC Surround-view camera system (VPM) online calibration
CN106030431B (zh) * 2014-08-15 2017-11-03 深圳市大疆创新科技有限公司 传感器的自动标定系统及方法
JP6320542B2 (ja) * 2015-05-23 2018-05-09 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 初期構成を有する複数のセンサを有する可動物体に対する１または複数の外部パラメータを推定する方法、システム、及びプログラム
US10523865B2 (en) * 2016-01-06 2019-12-31 Texas Instruments Incorporated Three dimensional rendering for surround view using predetermined viewpoint lookup tables
US10705184B2 (en) * 2016-02-29 2020-07-07 Hitachi, Ltd. Sensor calibration system
JP2018004420A (ja) * 2016-06-30 2018-01-11 株式会社リコー 装置、移動体装置、位置ずれ検出方法及び測距方法
JP6335237B2 (ja) * 2016-09-15 2018-05-30 株式会社Ｓｕｂａｒｕ ステレオ測距装置、ステレオ測距方法及びステレオ測距プログラム
US20180108150A1 (en) * 2016-10-17 2018-04-19 Dsi Assignments, Llc Systems and methods for in-field stereocamera calibration
JP7038346B2 (ja) * 2017-05-01 2022-03-18 パナソニックＩｐマネジメント株式会社 カメラパラメータ算出方法、カメラパラメータ算出プログラム、及びカメラパラメータ算出装置
US11453513B2 (en) * 2018-04-26 2022-09-27 Skydio, Inc. Autonomous aerial vehicle hardware configuration
US11740630B2 (en) * 2018-06-12 2023-08-29 Skydio, Inc. Fitness and sports applications for an autonomous unmanned aerial vehicle

Also Published As

Publication number Publication date
US20220049946A1 (en) 2022-02-17
CN113170047A (zh) 2021-07-23
WO2020121882A1 (ja) 2020-06-18
JP7472796B2 (ja) 2024-04-23
CN113170047B (zh) 2023-06-30
JPWO2020121882A1 (ja) 2021-11-04

Similar Documents

Publication Publication Date Title
CN110154017B (zh) 输送机跟踪系统以及校准方法
US10356301B2 (en) Imaging system, angle-of-view adjustment method, and angle-of-view adjustment program
KR20200107789A (ko) 로봇 광 센서에 대한 자동 보정
US20160165140A1 (en) Method for camera motion estimation and correction
WO2016153100A1 (ko) 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법
JP4775474B2 (ja) 撮像装置、撮像制御方法、及びプログラム
US9082017B2 (en) Robot apparatus and position and orientation detecting method
JP7182020B2 (ja) 情報処理方法、装置、電子機器、記憶媒体およびプログラム
JP5387668B2 (ja) 情報処理端末、情報処理方法、およびプログラム
WO2019142997A1 (ko) 광학식 이미지 안정화 움직임에 의한 이미지의 변화를 보상하기 위한 장치 및 방법
CN113587934A (zh) 一种机器人、室内定位方法、装置和可读存储介质
CN115205128A (zh) 基于结构光的深度相机温漂校正方法、系统、设备及介质
CN113170047B (zh) 控制装置、控制方法和控制程序
WO2019245320A1 (ko) 이미지 센서와 복수의 지자기 센서를 융합하여 위치 보정하는 이동 로봇 장치 및 제어 방법
JP2018009918A (ja) 自己位置検出装置、移動体装置及び自己位置検出方法
US10792817B2 (en) System, method, and program for adjusting altitude of omnidirectional camera robot
WO2023063661A1 (ko) 학습 세트 생성 방법, 학습 세트 생성 장치, 및 학습 세트 생성 시스템
WO2016021830A1 (ko) Nui 장치에 의해 수집된 동작정보의 보정 방법 및 장치
WO2021162263A1 (ko) 이미지의 생성 방법 및 그 전자 장치
JP2011188258A (ja) カメラシステム
CN109547671A (zh) 图像传感器、相机模块以及成像设备
JP2013009202A (ja) カメラ方向調整装置及びカメラ方向調整方法
JP2022051312A (ja) 撮影制御装置、撮影制御方法、及びプログラム
CN113627117A (zh) 固晶路径规划方法、装置、终端设备及可读存储介质
US9083871B2 (en) Plant image capture device and image capture method thereof

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination