CN117716205A - 信息处理装置、信息处理方法、成像装置和信息处理系统 - Google Patents

Abstract

一种信息处理装置包括控制单元。控制单元获取预定空间中的深度信息和生成深度信息的成像装置的失真信息。控制单元基于失真信息来校正深度信息，以生成校正后的深度信息。

Description

信息处理装置、信息处理方法、成像装置和信息处理系统

相关申请的交叉引用

本申请要求于2021年7月26日在日本提交的日本专利申请No.2021-121955的优先权，其全部公开内容通过引用并入本文。

技术领域

本公开涉及信息处理装置、信息处理方法、成像装置和信息处理系统。

背景技术

传统上，用于校正深度信息的系统是已知的(例如，参见专利文献1)。

引用列表

专利文献

专利文献1：日本未审查专利申请公开(PCT申请的翻译)No.2018-534699

发明内容

根据本公开的一个实施例的信息处理装置包括控制单元。控制单元获取预定空间中的深度信息和生成深度信息的成像装置的失真信息，并且基于失真信息来校正深度信息，以生成校正后的深度信息。

根据本公开的一个实施例的信息处理方法包括获得预定空间中的深度信息和生成深度信息的成像装置的失真信息。信息处理方法还包括基于失真信息来校正深度信息，以生成校正后的深度信息。

根据本公开的一个实施例的成像装置包括：至少两个成像元件，拍摄预定空间的图像；光学系统，在成像元件上形成预定空间的图像；存储单元；以及控制单元。存储单元存储关于由以下各项中的至少一项导致的由每个成像元件拍摄的图像的放大、减小或扭曲的信息作为失真信息：光学系统的特性和成像元件的布置的误差。控制单元基于通过用每个成像元件拍摄预定空间而获得的图像来生成预定空间的深度信息，并且输出深度信息和失真信息。

根据本公开的一个实施例的信息处理系统包括信息处理装置和成像装置。成像装置包括：至少两个成像元件，拍摄预定空间的图像；光学系统，在成像元件上形成预定空间的图像；存储单元；以及控制单元。存储单元存储关于由以下各项中的至少一项导致的由每个成像元件拍摄的图像的放大、减小或扭曲的信息作为失真信息：光学系统的特性和成像元件的布置的误差。控制单元基于通过用每个成像元件拍摄预定空间而获得的图像来生成预定空间的深度信息，并且向信息处理装置输出深度信息和失真信息。信息处理装置从成像装置获取深度信息和失真信息，并且基于失真信息来校正深度信息，以生成校正后的深度信息。

附图说明

图1是示出了根据一个实施例的机器人控制系统的配置的示例的框图。

图2是示出了根据实施例的机器人控制系统的配置的示例的示意图。

图3是示出了由成像装置拍摄深度的测量点的配置的示例的示意图。

图4是示出了成像装置和测量点之间的位置关系的示例的图。

图5是将失真图像和非失真图像进行比较的图。

图6是示出了深度的计算结果的示例和真实深度值的示例的曲线图。

图7是示出了深度的校正值的示例的曲线图。

图8是示出了根据一个实施例的用于信息处理方法的过程的示例的流程图。

具体实施方式

深度信息需要以方便的方式进行校正。可以利用本公开的信息处理装置、信息处理方法、成像装置和信息处理系统来容易地校正深度信息。

(机器人控制系统1的概述)

如图1和图2所示，根据一个实施例的机器人控制系统1包括机器人40、机器人控制器10和成像装置20。机器人40在预定工作空间中操作。成像装置20生成机器人40在其中操作的工作空间的深度信息。成像装置20基于(X，Y，Z)坐标系来生成工作空间的深度信息。机器人控制器10基于由成像装置20生成的深度信息来操作机器人40。机器人控制器10基于(X_RB，Y_RB，Z_RB)坐标系来操作机器人40。

(X_RB，Y_RB，Z_RB)坐标系可以设置为与(X，Y，Z)坐标系相同的坐标系，或者设置为与(X，Y，Z)坐标系不同的坐标系。当(X_RB，Y_RB，Z_RB)坐标系设置为与(X，Y，Z)坐标系不同的坐标系时，机器人控制器10将由成像装置20在(X，Y，Z)坐标系中生成的深度信息转换为(X_RB，Y_RB，Z_RB)坐标系中的深度信息，并使用转换后的深度信息。

机器人40和机器人控制器10的数量不限于一个，而是可以是两个或更多个。成像装置20的数量可以是每个工作空间一个、两个或更多个。下面详细地描述每个部件。

<机器人控制器10>

机器人控制器10包括控制单元11和存储单元12。机器人控制器10也被称为信息处理装置。注意，在本发明中，信息处理装置不限于机器人控制器10，而是可以是机器人控制系统1的其他部件。信息处理装置可以是例如成像装置20。

控制单元11可以包括用于执行机器人控制器10的各种功能的至少一个处理器。处理器可以执行实现机器人控制器10的各种功能的程序。处理器可以实现为单个集成电路。集成电路也被称为IC(集成电路)。处理器还可以实现为多个通信连接的集成电路和分立电路。处理器可以包括CPU(中央处理单元)。处理器可以包括DSP(数字信号处理器)或GPU(图形处理单元)。处理器可以基于各种其他已知技术来实现。

机器人控制器10还包括存储单元12。存储单元12可以包括诸如磁盘之类的电磁存储介质，或者可以包括诸如半导体存储器或磁存储器之类的存储器。存储单元12可以被配置为HDD(硬盘驱动器)或SSD(固态驱动器)。存储单元12存储由控制单元11执行的各种信息和程序。存储单元12可以用作控制单元11的工作存储器。控制单元11可以包括存储单元12的至少一部分。

机器人控制器10还可以包括通信装置，该通信装置被配置为能够执行与成像装置20和机器人40的有线或无线通信。通信装置可以被配置为能够使用基于各种通信标准的通信方法进行通信。通信装置可以配置有已知的通信技术。省略对通信装置的硬件等的详细描述。通信装置的功能可以通过单个接口或通过针对每个连接目的地的单独接口来实现。控制单元11可以被配置为与成像装置20和机器人40通信。控制单元11可以包括通信装置。

<机器人40>

如图2所示，机器人40包括臂42和附接到臂42的末端执行器44。臂42可以被配置为例如6轴或7轴竖直关节式机器人。臂42还可以被配置为3轴或4轴水平关节式机器人或SCARA机器人。臂42还可以被配置为2轴或3轴笛卡尔机器人。臂42还可以被配置为平行连杆机器人等。构成臂42的轴的数量不限于上述示例中描述的那些。

末端执行器44可以包括例如能够抓取工作目标的抓握手。抓握手可以具有多个手指。抓握手的手指的数量可以是两个或更多个。抓握手的手指可以具有一个或多个关节。末端执行器44可以包括能够抽吸工作目标的抽吸手。末端执行器44可以包括能够铲起工作目标的铲手。末端执行器44可以包括能够执行各种机器操作(例如，在工作目标中钻孔)的钻头或其他工具。末端执行器44可以被配置为执行各种其他操作，而不是限于上述示例中描述的那些。

机器人40可以通过移动臂42来控制末端执行器44的位置。末端执行器44可以具有用作相对于工作目标的动作方向的参考的轴。如果末端执行器44具有这样的轴，则机器人40可以通过移动臂42来控制末端执行器44的轴的方向。机器人40控制末端执行器44的作用在工作目标上的操作的开始和结束。机器人40可以通过在控制末端执行器44的位置或末端执行器44的轴的方向的同时控制末端执行器44的操作来移动或处理工作目标。

机器人40还可以包括检测机器人40的每个部件的状态的传感器。传感器可以检测关于机器人40的每个部件的实际位置或姿态、或机器人40的每个部件的速度或加速度的信息。传感器还可以检测作用在机器人40的每个部件上的力。传感器还可以检测在驱动机器人40的每个部件的电机中流动的电流或电机的扭矩。传感器可以检测作为机器人40的实际操作的结果而获得的信息。通过获取传感器的检测结果，机器人控制器10可以掌握机器人40的实际操作的结果。

机器人40还(然而不是必须的)包括附接到末端执行器44的标记46。机器人控制器10基于通过用成像装置20拍摄标记46而获得的图像来识别末端执行器44的位置。机器人控制器10可以使用基于传感器的检测结果和通过标记46识别末端执行器44的位置的结果掌握的末端执行器44的位置来执行机器人40的校准。

<成像装置20>

如图1所示，成像装置20包括成像元件21、控制单元22和存储单元23。如下所述，控制单元22基于通过用成像元件21拍摄包括测量点52(参见图3)的工作空间而获得的图像，计算从成像元件21到测量点52的距离。到测量点52的距离也被称为深度。控制单元22生成包括到工作空间中的每个测量点52的距离(深度)的计算结果在内的深度信息，并向机器人控制器10输出生成的深度信息。成像装置20可以被配置为3D立体相机。距离(深度)信息可以是例如沿Z轴方向距成像元件21的距离，或者可以是考虑xyz坐标系的每个分量的距成像元件21的距离。

控制单元22可以包括至少一个处理器。处理器可以执行实现成像装置20的各种功能的程序。存储单元23可以包括诸如磁盘之类的电磁存储介质，或者可以包括诸如半导体存储器或磁存储器之类的存储器。存储单元23可以被配置为HDD或SSD。存储单元23存储各种信息和由控制单元22执行的程序。存储单元23可以用作控制单元22的工作存储器。控制单元22可以包括存储单元23的至少一部分。

如图3和图4所示，成像元件21包括左成像元件21L和右成像元件21R，以及左光学系统24L和右光学系统24R。在图3和图4中，(X，Y，Z)坐标系设置为以成像装置20作为参考的坐标系。左成像元件21L和右成像元件21R在X轴方向上并排设置。左光学系统24L具有光学中心26L和穿过光学中心26L并在Z轴方向上延伸的光轴25L。右光学系统24R具有光学中心26R和穿过光学中心26L并在Z轴方向上延伸的光轴25R。左成像元件21L和右成像元件21R分别拍摄由左光学系统24L和右光学系统24R形成的位于Z轴负侧上的对象50的图像。左成像元件21L拍摄由左光学系统24L形成的对象50和对象50中包括的测量点52的图像。由左成像元件21L拍摄的图像在图4中示出为左拍摄图像51L。右成像元件21R拍摄由右光学系统24R形成的对象50和对象50中包括的测量点52的图像。由右成像元件21R拍摄的图像在图4中示出为右拍摄图像51R。

左拍摄图像51L包括通过拍摄测量点52而获得的测量点52的左图像52L。右拍摄图像51R包括通过拍摄测量点52而获得的测量点52的右图像52R。在左拍摄图像51L和右拍摄图像51R中，描述了虚拟测量点图像52V。虚拟测量点图像52V表示通过用成像元件21拍摄位于距成像装置20无限远距离处的虚拟测量点52而获得的图像中的虚拟测量点52。

虚拟测量点图像52V位于左光学系统24L的光轴25L和右光学系统24R的光轴25R上。虚拟测量点图像52V位于左拍摄图像51L的中心和右拍摄图像51R的中心处。在图4中，假设虚拟测量点图像52V表示在通过以下方式而获得的图像中的虚拟测量点52：用两个成像元件21拍摄位于沿从两个成像元件21的中点延伸到Z轴的负方向的线的无限远距离处的虚拟测量点52。在这种情况下，虚拟测量点图像52V位于拍摄图像的在X轴方向上的中心处。如果测量点52在X轴的正或负方向上从两个成像元件21的中点移位，则虚拟测量点图像52V在X轴方向上从拍摄图像的中心移位。

换言之，位于距成像装置20有限距离处的真实测量点52的图像形成在从虚拟测量点图像52V移位的位置(例如，左拍摄图像51L中的测量点52的左图像52L和右拍摄图像51R中的测量点52的右图像52R)处。测量点52的左图像52L和测量点52的右图像52R的位置如下确定。首先，假设入射点27L在将左光学系统24L的光学中心26L和右光学系统24R的光学中心26R连接的虚线与将测量点52和左拍摄图像51L的虚拟测量点图像52V连接的虚线的相交点处。此外，假设入射点27R在将左光学系统24L的光学中心26L和右光学系统24R的光学中心26R连接的虚线与将测量点52和右拍摄图像51R中的虚拟测量点图像52V连接的虚线的相交点处。左拍摄图像51L的测量点52的左图像52L位于从入射点27L沿Z轴的正方向延伸的虚线与将左拍摄图像51L和右拍摄图像51R的虚拟测量点图像52V连接的虚线的相交点处。右拍摄图像51R的测量点52的右图像52R位于从入射点27R沿Z轴的正方向延伸的虚线与将左拍摄图像51L和右拍摄图像51R的虚拟测量点图像52V连接的虚线的相交点处。

成像装置20的控制单元22可以基于以下来计算从成像装置20到测量点52的距离：左拍摄图像51L中的测量点52的左图像52L和右拍摄图像51R中的测量点52的右图像52R的X坐标与虚拟测量点图像52V的X坐标之间的差。控制单元22可以进一步基于两个成像元件21的中心之间的距离和在每个成像元件21上形成图像的光学系统的焦距来计算从成像装置20到测量点52的距离。在图4中，从成像装置20到测量点52的距离(深度)由D表示。下面描述计算深度的示例。

下面描述用于计算深度的参数。左拍摄图像51L的中心与右拍摄图像51R的中心之间的距离由T表示。左拍摄图像51L的虚拟测量点图像52V的X坐标与测量点52的左图像52L的X坐标之间的差由XL表示。当测量点52的左图像52L在X轴上位于比左拍摄图像51L的虚拟测量点图像52V更靠正方向时，XL的符号为正。右成像元件21R的虚拟测量点图像52V的X坐标与测量点52的右图像52R的X坐标之间的差由XR表示。当测量点52的右图像52R在X轴上位于比右拍摄图像51R的虚拟测量点图像52V更靠负方向时，XR的符号为正。换言之，当测量点52的左图像52L和右图像52R在彼此更靠近的方向上从虚拟测量点图像52V移位时，XL和XR的符号为正。

左光学系统24L和右光学系统24R的焦距由F表示。左成像元件21L和右成像元件21R被定位为使得左光学系统24L和右光学系统24R的焦点位于它们的成像表面上。左光学系统24L和右光学系统24R的焦距(F)对应于从左光学系统24L和右光学系统24R到左成像元件21L和右成像元件21R的成像表面的距离。

具体地，控制单元22可以通过如下操作来计算深度。

控制单元22检测左拍摄图像51L中的测量点52的左图像52L的X坐标。控制单元22将测量点52的左图像52L的X坐标与虚拟测量点图像52V的X坐标之间的差计算为XL。控制单元22检测右拍摄图像51R中的测量点52的右图像52R的X坐标。控制单元22将测量点52的右图像52R的X坐标与虚拟测量点图像52V的X坐标之间的差计算为XR。

这里，在XZ平面中，认为存在第一三角形，其中测量点52、左拍摄图像51L的虚拟测量点图像52V和右拍摄图像51R的虚拟测量点图像52V作为顶点。在XZ平面中，认为存在第二三角形，其中测量点52、左光学系统24L中的假设入射点27L和右光学系统24R中的假设入射点27R作为顶点。左光学系统24L的光学中心26L的Z坐标与右光学系统24R的光学中心26R的Z坐标相同。左拍摄图像51L的虚拟测量点图像52V的Z坐标与右拍摄图像51R的虚拟测量点图像52V的Z坐标相同。因此，第一三角形和第二三角形彼此相似。

第一三角形的两个虚拟测量点图像52V之间的距离为T。第二三角形的入射点27L和27R之间的距离为T-(XL+XR)。由于第一三角形和第二三角形是相似的，因此满足以下公式(1)。

T/{T-(XL+XR)}＝D/(D-F) (1)

基于公式(1)，用于计算D的公式(2)如下导出。

D＝T×F/(XL+XR) (2)

在公式(2)中，XL+XR越大，计算出越小的D。另一方面，如果XL+XR＝0，则D是无限大的。例如，如果左拍摄图像51L的左图像52L与虚拟测量点图像52V一致且右拍摄图像51R的右图像52R与虚拟测量点图像52V一致，则D被计算为无限大。实际上，由于左图像52L和右图像52R被定义为当测量点52位于无限远处时与虚拟测量点图像52V一致，因此可以说可以通过公式(2)正确地计算D。

如上所述，控制单元22可以基于通过用两个成像元件21拍摄测量点52而获得的两个拍摄图像来计算深度。控制单元22计算到机器人40的工作空间的拍摄图像中包括的多个测量点52的距离，生成表示到每个测量点52的距离(深度)的深度信息，并向机器人控制器10输出生成的深度信息。深度信息可以由在成像装置20的(X，Y，Z)坐标系中分别取X坐标和Y坐标作为自变量的函数来表示。深度信息还可以表示为通过在成像装置20的XY平面上绘制深度值而获得的二维图。

(拍摄图像的失真对深度信息的影响)

如上所述，成像装置20基于通过用左成像元件21L和右成像元件21R拍摄工作空间而获得的两个拍摄图像中的测量点52的图像的位置来生成深度信息。这里，拍摄图像可能被拍摄为相对于实际工作空间的放大、减小或扭曲的图像。拍摄图像相对于实际工作空间的放大、减小或扭曲也被称为拍摄图像的失真。如果在拍摄图像中发生失真，则拍摄图像中的测量点52的图像的位置可能移位。结果是，拍摄图像的失真导致深度的计算结果中的误差。拍摄图像的失真还导致表示深度的计算结果的深度信息中的误差。

例如，如图5所示，假设失真图像51Q是具有失真的拍摄图像。另一方面，假设非失真图像51P是没有失真的拍摄图像。假设失真图像51Q在尺寸上相对于非失真图像51P减小。假设失真图像51Q在X轴方向和Y轴方向上的减小率小于在其他方向上的减小率。

失真图像51Q中的测量点图像52Q比非失真图像51P中的测量点图像52P更接近虚拟测量点图像52V。换言之，表示从非失真图像51Q中的测量点图像52Q到虚拟测量点图像52V的距离的X_DIST短于表示从失真图像51P中的测量点图像52P到虚拟测量点图像52V的距离的XL或XR。因此，在用于计算深度(D)的上述公式(2)中，XL+XR的值更小。结果是，由成像装置20的控制单元22基于失真图像51Q计算出的深度(D)的结果大于基于非失真图像51P的计算结果。换言之，拍摄图像的失真可能导致深度(D)的计算结果中的误差。

(深度信息的校正)

机器人控制器10的控制单元11从成像装置20获取深度信息。控制单元11还获取关于成像装置20的失真的信息。关于成像装置20的失真的信息也被称为失真信息。失真信息可以是例如在成像装置20的制造检查期间获得的光学和几何参数。失真信息表示左拍摄图像51L和右拍摄图像51R的失真。如上所述，深度(D)的计算结果中的误差由失真信息确定。因此，控制单元11可以基于失真信息来校正由从成像装置20获取的深度信息表示的深度(D)中的误差。下面描述校正方法的具体示例。

控制单元11获取成像装置20的失真信息。作为失真信息，控制单元11可以获取左成像元件21L和右成像元件21R中的每一个的失真信息。控制单元11还可以从诸如云存储器之类的外部装置获取成像装置20的失真信息。控制单元11还可以从成像装置20获取失真信息。在这种情况下，成像装置20可以将失真信息存储在存储单元23中。控制单元11可以从成像装置20的存储单元23获取失真信息。成像装置20可以将地址信息存储在存储单元23中，其中地址信息指定存储成像装置20的失真信息的位置。地址信息可以包括例如用于访问外部装置(例如，云存储器)的IP地址或URL(统一资源定位符)。控制单元11可以通过从成像装置20获取地址信息并访问由地址信息指定的外部装置等来获取失真信息。

失真信息可以包括左光学系统24L和右光学系统24R的失真。每个光学系统的失真可以包括由每个光学系统的特性在拍摄图像中导致的失真。失真信息可以包括左成像元件21L和右成像元件21R的成像表面的失真。失真信息可以包括由左光学系统24L或右光学系统24R的布置的误差或者左成像元件21L或右成像元件21R的布置的误差导致的拍摄图像中的失真。

每个光学系统的特性可以是例如弯曲透镜的弯曲程度或尺寸。成像元件21等的布置的误差可以是例如在安装时成像元件21等的平面位置的误差、或者诸如光轴的倾斜之类的制造误差。

例如，如图6所示，深度信息表示为当在拍摄图像中Y坐标被固定在预定值时在每个X坐标处计算出的深度值的曲线图。Y坐标的固定值可以是拍摄图像的中心的Y坐标或拍摄图像中的任何Y坐标。在图6中，水平轴表示X坐标，并且竖直轴表示在每个X坐标处的深度值(D)。实线表示由成像装置20计算出的深度值组成的深度信息。另一方面，虚线表示由真实深度的值组成的深度信息。由成像装置20计算出的深度与真实深度之间的差是由成像装置20的失真导致的。

这里，控制单元11可以基于失真信息来估计在每个X坐标处的深度值的误差。具体地，对于位于(X1，Y1)处的测量点52，控制单元11基于失真信息来估计由失真导致的拍摄图像中的测量点52的左图像52L和右图像52R的位置的误差。控制单元11可以基于测量点52的左图像52L和右图像52R的位置的估计误差来计算位于(X1，Y1)处的测量点52的深度值的校正值。深度值的校正值由D_corr表示。例如，当XL和XR由于成像元件21的安装误差而分别变小ΔXerr/2时，在(X1，Y1)处的测量点52的深度值的校正值(D_corr)例如由以下公式(3)表示。

D_corr＝{D²/(F·T)}×Δxerr (3)

在公式(3)中，D是校正前的深度值。F和T是成像装置20的焦距和两个成像元件21的中心之间的距离，并且这些参数被定义为成像装置20的规格。例如，可以获取ΔXerr作为基于失真信息估计出的值。ΔXerr也可以例如作为失真信息自身来获取。

控制单元11可以通过将每个测量点52的拍摄图像中的左图像52L和右图像52R的位置的误差的估计结果代入公式(3)中来计算深度值的校正值(D_corr)。由控制单元11计算出的深度值的校正值(D_corr)可以表示为例如图7所示的曲线图。在图7中，水平轴表示X坐标。竖直轴表示在每个X坐标处的深度值的校正值(D_corr)。用于计算深度值的校正值(D_corr)的公式不限于上述公式(3)，而是可以以各种其他公式来表示。

如上所述，控制单元11可以基于失真信息来估计深度值的校正值(D_corr)。控制单元11可以估计每个测量点52的校正值，校正每个测量点52的深度值，并使深度值更接近每个测量点52的真实值。通过校正深度信息的每个测量点52的深度值，控制单元11可以生成表示校正后的深度值的校正后的深度信息。控制单元11可以基于校正后的深度信息来控制机器人40。例如，通过校正深度值，可以增强机器人40相对于位于工作空间中的对象50的定位精度。

(信息处理方法的过程的示例)

机器人控制器10的控制单元11可以执行包括图8所示的流程图过程在内的信息处理方法。信息处理方法可以实现为要由构成控制单元11的处理器执行的信息处理程序。信息处理程序可以存储在非暂时性计算机可读介质上。

控制单元11从成像装置20获取深度信息(步骤S1)。控制单元11获取生成深度信息的成像装置20的失真信息(步骤S2)。控制单元11基于失真信息来校正深度信息并生成校正后的深度信息(步骤S3)。在执行步骤S3的过程之后，控制单元11终止执行图8的流程图的过程。控制单元11可以基于校正后的深度信息来控制机器人40。

控制单元11还可以从成像装置20获取颜色信息。控制单元11可以获取颜色信息作为通过用成像装置20拍摄工作空间而获得的拍摄图像。换言之，拍摄图像包含颜色信息。控制单元11可以基于校正后的深度信息和颜色信息来检测位于工作空间中的对象50等的存在位置等。结果是，与基于深度信息检测对象50等的存在位置的情况相比，可以提高检测精度。在这种情况下，例如，控制单元11可以生成整合了校正后的深度信息和颜色信息的整合信息。可以基于如下所述的校正后的深度信息来执行校正。

当控制机器人40时，控制单元11还可以将在(X，Y，Z)坐标系中表示的工作空间变换为机器人的配置坐标系。机器人的配置坐标系是指例如由指示机器人的移动的每个参数构成的坐标系。

(概要)

如上所述，根据本实施例的机器人控制器10可以基于成像装置20的失真信息来校正从成像装置20获取的深度信息。如果机器人控制器10从成像装置20获取拍摄图像并校正拍摄图像自身的失真，则机器人控制器10与成像装置20之间的通信量以及机器人控制器10的计算负荷将增加。根据本实施例的机器人控制器10可以通过从成像装置20获取具有比初始拍摄图像小的数据量的深度信息来减少机器人控制器10与成像装置20之间的通信量。通过基于失真信息来估计深度的校正值，与执行对拍摄图像自身的失真的校正和基于校正后的拍摄图像来计算深度相比，机器人控制器10可以减小计算负荷。因此，根据本实施例的机器人控制器10可以容易地校正深度信息。此外，在不改变成像装置20自身的精度的情况下，仅可以容易地校正深度信息。

通过能够校正深度信息，根据本实施例的机器人控制器10可以提高机器人40相对于位于机器人40的工作空间中的对象50的定位精度。

(其他实施例)

下面描述其他实施例。

<应用于除机器人40的工作空间之外的空间>

可以在各种空间中获取深度信息，不限于机器人40的工作空间。机器人控制系统1和机器人控制器10可以分别由处理各种空间中的深度信息的信息处理系统和信息处理装置代替。获取其深度信息的各种空间也被称为预定空间。

获取其深度信息的空间的示例包括配备有3D立体相机的AGV(自动引导车辆)在其中行进以执行按压门打开/关闭开关的操作的空间。在这样的空间中获取的深度信息用于提高需要从当前位置行进的距离的测量精度。

获取其深度信息的空间的示例包括操作配备有3D立体相机的VR(虚拟现实)或3D游戏装置的空间。在这样的空间中，获取到由VR或3D游戏装置的玩家持有的控制器、标记等的距离的测量结果作为深度信息。在这样的空间中获取的深度信息用于提高到控制器、标记等的距离的精度。通过提高距离的精度，提高了将玩家所在的空间中的真实对象(例如，打击的球)的位置与虚拟空间中玩家的手的位置对准的精度。

<点群数据的生成>

机器人控制器10的控制单元11可以以点群数据的形式获取从成像装置20获取的深度信息，该点群数据包括测量空间中的测量点的坐标信息。换言之，深度信息可以具有点群数据的形式。又换言之，点群数据可以包含深度信息。点群数据是表示点群(也称为测量点群)的数据，该点群是测量空间中的多个测量点的集合。可以说，点群数据是表示具有多个点的测量空间中的对象的数据。点群数据还表示测量空间中的对象的表面形状。点群数据包含表示测量空间中的对象的表面上的点的位置的坐标信息。点群中的两个测量点之间的距离是例如测量空间中的真实距离。由于深度信息具有点群数据的形式，因此数据密度可以小于基于由成像元件21初始获取的初始数据的拍摄图像的深度信息，并且数据量可以小于基于由成像元件21初始获取的初始数据的拍摄图像的深度信息。结果是，可以进一步减小校正深度信息时的计算处理的负荷。可以由成像装置20的控制单元22来执行对深度信息从初始形式到点群数据形式的转换或包含深度信息的点群数据的生成。

当生成包含深度信息的点群数据时，可以在将颜色信息整合到点群数据中之后校正深度信息和颜色信息。即使在这种情况下，由于点群数据具有比初始拍摄图像小的数据量，因此在校正深度信息等时可以减小计算负荷，并且可以减小机器人控制器10与成像装置20之间的通信量。在这种情况下，可以在成像装置20的控制单元22中实现对深度信息和颜色信息的整合。

<拍摄图像的周边照度的校正>

在上述实施例中，成像装置20向信息处理装置输出预定空间的深度信息。成像装置20可以向信息处理装置输出通过照原样拍摄预定空间而获得的图像(例如，RGB(红色、绿色、蓝色)图像或单色图像)。信息处理装置可以基于校正后的深度信息来校正通过拍摄预定空间而获得的图像。例如，信息处理装置可以基于校正后的深度信息来校正通过拍摄预定空间而获得的图像的颜色信息。颜色信息是指例如色相、饱和度、亮度或明度。

信息处理装置可以例如基于校正后的深度信息来校正图像的辉度或明度。信息处理装置可以例如基于校正后的深度信息来校正图像的周边照度。周边照度是指在成像装置20的透镜的周边处的光的辉度。由于在透镜的周边处的光的辉度被反映在拍摄图像的周边或角部的辉度中，因此可以说周边照度是指例如图像中的周边或角部的辉度。当成像装置20具有透镜时，由于例如由成像装置20的透镜失真导致的透镜的中心与透镜的周边之间的光通量密度的差异，拍摄图像在图像中的周边处可能比在图像中的中心处更暗。然而，即使周边照度较小并且图像中的周边或角部较暗，信息处理装置也可以基于校正后的深度信息来校正图像中的周边照度或周边的颜色信息，使得图像数据可以免于机器人控制中的任何问题。

信息处理装置可以基于与图像的每个像素相对应的深度的校正值的大小来校正图像的周边照度或颜色信息。例如，深度的校正值越大，与该校正值相对应的周边照度或颜色信息可以被校正得越多。

信息处理装置可以校正图像的周边照度或颜色信息。信息处理装置还可以在将深度信息与RGB图像等的颜色信息进行整合时执行校正。

信息处理装置还可以生成通过基于成像装置20的失真信息校正预定空间的深度信息而获得的校正后的深度信息，并且基于所生成的校正后的深度信息来校正图像的周边照度或颜色信息。

尽管已经基于附图和示例描述了根据本公开的实施例，但是应当注意，本领域普通技术人员可以基于本公开进行各种变化和改变。因此，应注意，这些变化和改变包括在本公开的范围内。例如，在没有逻辑不一致的情况下，可以重新布置每个部件等中包括的功能等，并且可以将多个部件等组合到一个中或对多个部件等进行划分。

本公开中描述的所有部件和/或所有公开的方法或所有处理步骤可以基于除了这些特征彼此排斥的组合之外的任何组合来组合。此外，除非明确否认，否则本公开中描述的每个特征可以用用于实现相同目的、等同目的或相似目的的备选特征来替换。因此，除非明确否认，否则所公开的特征中的每一个仅仅是一系列全面的相同或等同特征的示例。

根据本公开的实施例不限于上述实施例中的任何特定配置。根据本公开的实施例可以扩展到本公开中描述的所有新颖特征或其组合，或者扩展到本公开中描述的所有新颖方法、处理步骤或其组合。

附图标记

1机器人控制系统

10机器人控制器(11：控制单元，12：存储单元)

20成像装置(21：成像元件，21L：左成像元件，21R：右成像元件，22：存储单元，24L：左光学系统，24R：右光学系统，25L、25R：光轴，26L、26R：光学中心，27L、27R：入射点)

40机器人(42：臂，44：手，46：标记)

50对象

51L、51R左拍摄图像、右拍摄图像

51P非失真图像

51 Q失真图像

52测量点

52L、52R、52P、52Q测量点图像

52V虚拟测量点图像。

Claims (9)

1.一种信息处理装置，包括：

控制单元；

其中，所述控制单元：

获取预定空间中的深度信息和生成所述深度信息的成像装置的失真信息，以及

基于所述失真信息来校正所述深度信息，以生成校正后的深度信息。

2.根据权利要求1所述的信息处理装置，其中，所述控制单元获取基于以下各项中的至少一项的信息作为所述失真信息：所述成像装置的光学系统的特性和所述成像装置的布置的误差。

3.根据权利要求1或2所述的信息处理装置，其中，所述控制单元从所述成像装置所拥有的存储单元获取所述失真信息。

4.根据权利要求1或2所述的信息处理装置，其中，所述控制单元从所述成像装置获取指定存储所述失真信息的位置的地址信息，并且基于所述地址信息来获取所述失真信息。

5.根据权利要求1至4中任一项所述的信息处理装置，其中，所述控制单元从所述成像装置获取所述预定空间的图像，并且基于所述校正后的深度信息来校正所述预定空间的所述图像的周边照度。

6.根据权利要求1至5中任一项所述的信息处理装置，其中，

所述预定空间是机器人的工作空间，并且

所述控制单元基于所述校正后的深度信息来控制所述机器人。

7.一种信息处理方法，包括：

获取预定空间中的深度信息和生成所述深度信息的成像装置的失真信息，以及

基于所述失真信息来校正所述深度信息，以生成校正后的深度信息。

8.一种成像装置，包括：

至少两个成像元件，拍摄预定空间的图像；

光学系统，在所述成像元件上形成所述预定空间的图像；

存储单元；以及

控制单元，

其中，

所述存储单元存储基于以下各项中的至少一项的失真信息：所述光学系统的特性和所述成像元件的布置的误差，并且

所述控制单元基于通过用每个成像元件拍摄所述预定空间而获得的图像来生成所述预定空间的深度信息，并且输出所述深度信息和所述失真信息。

9.一种信息处理系统，包括：

信息处理装置；以及

成像装置，

其中，

所述成像装置包括：至少两个成像元件，拍摄预定空间的图像；光学系统，在所述成像元件上形成所述预定空间的图像；存储单元；以及控制单元，

所述存储单元存储基于以下各项中的至少一项的失真信息：所述光学系统的特性和所述成像元件的布置的误差，

所述控制单元基于通过用每个成像元件拍摄所述预定空间而获得的图像来生成所述预定空间的深度信息，并且向所述信息处理装置输出所述深度信息和所述失真信息，并且

所述信息处理装置从所述成像装置获取所述深度信息和所述失真信息，并且基于所述失真信息来校正所述深度信息，以生成校正后的深度信息。