CN113396311A - 复合入射射出装置 - Google Patents

Abstract

具备入射或射出能量的多个第1种设备、种类与第1种设备不同的多个第2种设备、以及基体，第1种设备以及第2种设备测量全立体角，以使多个第1种设备各自在方位空间中最接近的设备是第2种设备中的至少一个、且多个第2种设备各自在方位空间中最接近的设备是第1种设备中的至少一个的方式，将第1种设备以及第2种设备搭载到基体。

Description

复合入射射出装置

技术领域

本发明涉及复合入射射出装置，特别是涉及用于将多个种类的设备配置到一个基体的技术。

背景技术

近年来，在便携电话、智能手机等便携信息终端等装置中小型化得到发展的同时搭载有各种附加功能，由此实现差异化。特别是，照相机功能得到充实，能够搭载广角镜头来拍摄宽范围的图像、影像。例如，在专利文献1中公开了“周围照相机是在正十二面体那样的多面体的各构成面上各搭载1台照相机而成，通过各个照相机而得到整个周围的摄像图像。通过将相邻的照相机的摄像图像彼此依次连接，得到1张整个周围的图像。但是，无法以使各照相机的投影中心完全一致的方式装配周围照相机。因此，在将摄像图像彼此连接时，根据被摄体的远近，动态地调整邻接的摄像图像彼此的连接位置，从而消除图像间的边界附近处的中断、接缝，生成平滑的周围风景。(摘要摘录)”的结构。

现有技术文献

专利文献1：日本特开2001-204015号公报

发明内容

利用专利文献1的方法的测距方法是假设直至被摄体为止的距离来动态地调整摄像图像彼此的连接位置、并将平滑地连接的情况的距离作为直至该被摄体为止的推测距离这样的间接的方法，所以得到的距离的准确度不够。因此，优选为除了摄像功能以外，还另外具备直接地测定直至被摄体为止的距离的测距功能。关于在专利文献1的周围照相机中使用的框架，由于被有线连接而被固定地使用，因此能够采用比较大型的框架，在这样的情况下，还能够增大摄像设备的视场角而使摄像范围重复，安装基于立体方法的测距功能。但是，在向便携信息终端那样的小型化得到发展的装置搭载全立体角的测距功能和摄像功能的情况下，关于通过使用摄像设备的立体方法来实现测距功能的做法，由于基线长度变短，所以存在测距精度不会提高这样的课题。因此，将专利文献1记载的周围照相机技术原样地转用到小型装置时遗留有课题。

本发明是为了解决上述课题而完成的，其目的在于提供一种将多个种类的设备效率良好地配置到一个基体的复合入射射出装置。

为了解决上述课题，本发明具备权利要求书记载的结构。在举出其一个例子时，本发明具备：多个第1种设备，入射或者射出能量；多个第2种设备，入射或者射出能量，种类与所述第1种设备不同；以及基体，配置所述多个第1种设备及所述多个第2种设备，在组合所述多个第1种设备量的各第1种设备的能量的入射方向或者能量的射出方向时，从全立体角的区域入射能量或者朝向全立体角的区域射出能量，在组合所述多个第2种设备量的各第2种设备的能量的入射方向或者能量的射出方向时，从全立体角的区域入射能量或者朝向全立体角的区域射出能量，所述多个第1种设备以及所述多个第2种设备以满足下述两个约束条件双方的方式配置于所述基体，

约束条件1：所述多个第1种设备各自在方位空间中最接近的设备是所述第2种设备中的至少一个；

约束条件2：所述多个第2种设备各自在方位空间中最接近的设备是所述第1种设备中的至少一个。

根据本发明，能够提供将多个种类的设备效率良好地配置到一个基体的复合入射射出装置。上述以外的目的、结构、效果在以下的实施方式中会变得明确。

附图说明

图1是第1实施方式所涉及的复合入射射出装置1的外观图。

图2是第1实施方式所涉及的复合入射射出装置1的整体框图。

图3A是示出第1实施方式中的第1种设备以及第2种设备的配置例的图。

图3B是示出第1实施方式中的第1种设备以及第2种设备的配置例的图。

图4A是使用从立方体中心观察的面中心(重心)方向的方位群组来配置设备的图。

图4B是使用顶点方向的方位群组来配置设备的图。

图4C是使用边中心方位的方位群组来配置设备的图。

图5A是在立方八面体的正方形的面配置第1种设备、并在正三角形的面配置第2种设备的图。

图5B是用极坐标来示出所有设备所朝向的方位的图。

图6是示出与立方体、正八面体、立方八面体有关的各方位群组中的方位数和所需入射射出角度范围的图。

图7A是对长方体(六面体)的便携信息终端安装复合入射射出装置的图。

图7B是向正八面体的各顶点方位群组的方向配置测距传感器的图。

图8是示出图5A所示的4个测距传感器各自测量的测距数据的图。

图9是示出全立体角测距数据的图。

图10A是示出摄像数据的例子的图。

图10B是示出测距传感器的合成方法例的图。

图10C是示出将区域之间进行连接并整形的例子的图。

图11A是第2实施方式所涉及的复合入射射出装置的外观图。

图11B是示出第2实施方式所涉及的复合入射射出装置的显示例的图。

图12是第2实施方式所涉及的复合入射射出装置的整体框图。

图13是示出图像处理处理器执行的全立体角拍摄以及测距算法的图。

图14是示出对全立体角图像附加距离信息而显示的例子的图。

图15是示出全立体角图像以及全立体角测距数据的制作处理的流程的流程图。

图16是示出全立体角图像以及全立体角测距数据的再生处理的流程的流程图。

图17A是示出应用复合入射射出装置1的HMD的例子的图。

图17B是示出HMD中的设备配置例的图。

图18A是示出配置于HMD的设备的所需入射射出角度范围的图。

图18B是用极坐标来示出所有设备所朝向的方位的图。

(符号说明)

1、1a：复合入射射出装置；2：基体；3：控制器；4：便携信息终端；5：方位定义多面体；11：第1种设备群；12：第2种设备群；13：ROM；14：RAM；15：外部存储器；16：CPU；17：系统总线；18：陀螺仪传感器；19：加速度传感器；20：显示器；21：LAN通信器；22：电话网通信器；23：GPS；50：HMD；50-1：侧头部佩戴体；50-2：头顶部佩戴体；50-3：显示器；51-1：第1照相机；51-2：第2照相机；52-1：第1测距传感器；52-2：第2测距传感器；52-3：第3测距传感器；52-4：第4测距传感器；110：照相机；111：内侧照相机；112：图像处理处理器；114：失真校正部；114-1：校正部；114-2：校正部；115：修整部；116：被摄体辨识部；117：图像合成部；118：距离信息附加部；211：第1种设备处理器；212：第2种设备处理器；800：全立体角测距数据。

具体实施方式

以下，参照附图，说明本发明的实施方式。在所有附图中对同一结构附加同一符号，省略重复说明。在以下的说明中，作为异种设备的组合，例示摄像设备(与第1种设备相当)和测距传感器(与第2种设备相当)，但不限定于此。

(第1实施方式)

在第1实施方式中，除了搭载设备的基体2(参照图1)以外，还考虑对第1种设备以及第2种设备的中心方位(朝向入射射出范围的中心方向的方位)进行定义的方位定义多面体5(参照图3A)。在此，“方位”是指应朝向入射射出范围的中心方向的、实际空间中的朝向。另外，“方位空间”是指作为实际空间中的方位的集合而被定义的空间。例如，用极坐标系(r、θ、φ)的偏角(θ、φ)表示现实空间的方位。并且，设为按照现实空间的矢量进行平行移动而重叠的矢量具有同一方位。“基体2”是指在实际空间内实际地存在、且搭载第1种设备以及第2种设备的物体。与此相对，“方位定义多面体5”是为了决定搭载于基体2的第1种设备以及第2种设备的中心方位而导入的概念性的形状，并非是实际存在的物体。关于“方位定义多面体5”，根据其几何学上的对称性，在“方位空间”中定义由对称性良好的多个方位构成的方位群组。

方位群组是例如从“方位定义多面体5”的中心位置朝向同一形状的面的面中心的方位的群组(详情后述)。“方位定义多面体5”是具有第1对称性和第2对称性这样的至少两个以上的方位的对称性的形状。将与具有方位定义多面体5包含的第1对称性的多个方位的各个方位对应的第1种设备，以对应的方位为设备的中心方位而配置到基体2。另外，将与具有方位定义多面体5包含的第2对称性的多个方位的各个方位对应的第2种的设备，以对应的方位为设备的中心方位而配置到基体2。此外，关于第1种设备和第2种设备，以使基体2不会进入到各个设备的入射射出范围的方式设定配置位置。但是，即使基体2妨碍入射射出范围，只要各个设备的入射射出范围足够宽广，在将各个种类的设备的入射射出范围合起来时会覆盖全立体角，则妨碍也没有关系。

而且，在受到妨碍的方位是不需要入射射出的方位的情况下，对与该方位有关的一部分设备的入射射出范围有妨碍也没有关系。由基体2引起的妨碍变少的设备的配置是指如下情况：如果基体2的形状与方位定义多面体5相同或者相近，则从基体2的中心观察的设备的配置方位与设备的中心方位相近。这是因为，在这样的配置的情况下，设备的中心方位方向平均地接近基体2的表面的垂直方向。另外，在成为这样的配置的情况下，使第1种设备和第2种设备的中心方位在方位空间中成为嵌套状(套匣状)，所以关于基体2上的配置位置也成为嵌套状，设备的配置效率变得良好。在基体2的形状与方位定义多面体5的形状不同的情况下，将从基体2的中心观察的设备的配置方位成为设备的中心方位的位置作为基本配置，考虑基体2的形状和安装上的制约，在保持设备的中心位置的同时，使该基体2上的配置位置从基本配置进行移动来调整。由于在该情况下也是从基本配置起进行的调整，所以设备的配置效率良好。

图1是第1实施方式所涉及的复合入射射出装置1的外观图。在复合入射射出装置1中，将便携信息终端、例如智能手机的主体作为基体2，将满足方位定义多面体5包含的第1对称性的方位作为中心方位，配置多个第1种设备1、2、……、M(11-1、11-2、……、11-M)。而且，将满足方位定义多面体5包含的第2对称性的方位作为中心方位，配置多个第2种设备1、2、……、N(11-1、11-2、……、11-N)。考虑基体2的安装上的制约，决定各设备的基体2上的配置位置。关于方位定义多面体5、第1对称性以及第2对称性，在后面叙述。

在基体2的内部具备控制器3。控制器3连接于多个第1种设备1、2、……、M(11-1、11-2、……、11-M)的各设备以及多个第2种设备1、2、……、N(11-1、11-2、……、11-N)的各设备。控制器3由包括处理器、电路的计算机构成。表示第1种设备的个数的M以及表示第2种设备的个数的N是2以上的整数。M和N既可以是相同的数，也可以是不同的数。另外，将多个第1种设备1、2、……、M(11-1、11-2、……、11-M)总称为第1种设备群11，将第2种设备1、2、……、N(11-1、11-2、……、11-N)总称为第2种设备群12。

第1种设备1、2、……、M(11-1、11-2、……、11-M)各自是由广角镜头、CCD(Charge-Coupled Device，电荷耦合器件)传感器或者CMOS(Complementary metal-oxide-semiconductor，互补金属氧化物半导体)传感器等构成的摄像设备。第1种设备1、2、……、M(11-1、11-2、……、11-M)各自通过在基体2的适合的位置处朝向适合的方位配置，从而能够进行全立体角的摄像。

第2种设备1、2、……、N(11-1、11-2、……、11-N)各自例如是测定直至人物、物体为止的距离的TOF传感器。第2种设备1、2、……、N(11-1、11-2、……、11-N)各自通过在基体2的适合的位置处朝向适合的方位配置，从而能够测定全立体角的物体的距离。

图2是第1实施方式所涉及的复合入射射出装置1的整体框图。复合入射射出装置1的控制器3包括：第1种设备处理器211，控制第1种设备群11；第2种设备处理器212，控制第2种设备群12；CPU(Central Processing Unit，中央处理单元)16；ROM(Read Only Memory，只读存储器)13，用于保持用于进行CPU16的处理、第1种设备群11的控制、第2种设备群12的控制等的程序、各种设定值；RAM14，临时保存从第1种设备群11输出的摄像数据及从第2种设备群12输出的测距数据(以下，将摄像数据以及测距数据总称为“测量数据”)，提供所执行的程序的工作区；外部存储器15，保存测量数据、摄像数据、预先制作或摄像的影像数据、图像数据；以及系统总线17。

图3A示出基于第1实施方式所涉及的第1种设备1、2、……、M(11-1、11-2、……、11-M)的各设备以及第2种设备1、2、……、N(11-1、11-2、……、11-N)的各设备的方位定义多面体5的配置例。

作为方位定义多面体5，使用正多面体、半正多面体或者卡塔兰(catalan，也称为“加泰”)的立体(半正多面体的对偶多面体)。在图3A中，方位定义多面体5的形状是立方八面体。

第1种设备群11、第2种设备群12各自使用方位定义多面体5包含的对称性来配置。具体而言，以方位定义多面体5的中心为基准点，将由从中心观察面中心(也可以是重心)的方位构成的方位群组定义为第1对称性，将由从中心观察边中心的方位构成的方位群组定义为第2对称性，将由从中心观察顶点的方位构成的方位群组定义为第3对称性。如果将对称性良好的同一方位定义多面体5包含的方位群组的方位作为中心方位，配置第1种设备1、2、……、M(11-1、11-2、……、11-M)、第2种设备1、2、……、N(11-1、11-2、……、11-N)的各设备，则相互不会干扰，能够在方位空间中嵌套状地效率良好地覆盖全立体角。例如，将面中心方位(第1对称性)作为中心方位而配置第1种设备1、2、……、M(11-1、11-2、……、11-M)，将顶点中心方位(第3对称性)作为中心方位而配置第2种设备1、2、……、N(11-1、11-2、……、11-N)。此外，能够将异种设备配置与方位群组的数量相应的数量，所以设备的种类也可以是3种以上。

另外，关于使用例如鱼眼镜头等超广角镜头的摄像设备，在仅1个摄像设备就具有180度以上的视场角的情况下等，未必需要使用方位群组内的所有的方位来配置设备。但是，即使在该情况下，在与异种设备组合时，也在与配置异种设备的方位群组成为嵌套状的方位群组的一部分中配置摄像设备。由此，能够设为整体上对称性良好的高效的设备配置，并且也能够减少干扰。在该情况下，仅关于数量少的设备附近，在方位空间中成为嵌套状的配置。在该状况下，关于没有偏差的嵌套状的配置，将安装误差也考虑在内，能够表现为数量少的一方的设备的第1接近设备和第2接近设备成为异种设备。

图3A还是基体2与方位定义多面体5相等的情况的设备配置的例子。在图3A中，将从立方八面体中心朝向四边形的面中心的方位作为中心方位，在6个部位配置6个第1种设备11-1、11-2、11-3(在图中省略剩余3个)的各设备。关于省略图示的剩余的3个，配置于相反侧的看不到的位置的正方形的面。

而且，将从立方八面体中心朝向三角形的面中心的方位作为中心方位，在8个部位配置8个第2种设备12-1、12-2、12-3、12-4(在图中省略剩余4个)的各设备。关于省略图示的剩余的4个，配置于相反侧的看不到的位置的正三角形的面。

关于第1种设备11-1、11-2、11-3的摄像范围、第2种设备12-1、12-2、12-3、12-4的测距范围，分别合成各个设备的入射射出角度范围，覆盖全立体角。在从一个第1种设备观察时，方位空间中的最接近设备是第2种设备，在从一个第2种设备观察时，方位空间中的最接近设备是第1种设备。

在各个设备的入射射出角度范围大于所需最低限的值的情况下，无需严格地与方位定义多面体5所包含的对称方位一致，在覆盖全立体角的范围中在设备的安装方位中有容许度。

例如，作为第1种设备，能够配置多个与带广角镜头的CCD、CMOS组合的摄像设备来拍摄全立体角。作为当作第2种设备的测距传感器，例如配置多个TOF(Time of Flight，飞行时间)传感器，对全立体角进行测距。使用TOF传感器，针对每个像素测量从摄像元件侧照射光并被对象物反射而返回的时间上的偏移来测定距离，从而在与二维排列的传感器(CMOS、CCD)一起使用时，能够二维地掌握与被摄体之间的距离。

但是，虽然能够二维地掌握，但为此需要将TOF传感器二维地配置到基体2。哪怕搭载广角镜头，即便是广视角也只是120～140度程度。但是，由于像素的大小是10μm程度，所以能够将传感器自身的大小抑制为几平方毫米。因此，也能够在基体2上搭载多个。因此，如果切当地设计TOF传感器的数量和配置位置、角度，则全立体角的测距变得容易。

关于设备的配置，只要设备朝向的方位相同，则也可以并非是基体2(此时与方位定义多面体5相同)的特定的位置(面中心位置、边中心位置、顶点位置)。

而且，基体2的形状也可以与方位定义多面体5的形状不同。在该情况下，设备所朝向的方向是方位定义多面体5所包含的方位群组的方位。例如，在图3A中，也可以不改变设备所朝向的方位，以长方体为基体2，将立方八面体的摄像设备和测距传感器配置到长方体的面中心位置和顶点位置。图3B示出这个例子。

在图3B中，关于长方体，将作为第1种设备的摄像设备配置到各长方体的面，将作为第2种设备的测距传感器配置到各长方体的顶点。在该情况下，摄像设备所朝向的方位与从长方体中心朝向面中心的方位相同，但测距传感器所朝向的方位与从长方体中心朝向顶点的方位不同。始终成为图3A的立方八面体的正三角形的面所朝向的方位。在该图3B中，基体2的形状与智能手机、平板终端的形状(长方体)相同，所以实际上还能够用作可便携的复合入射射出装置1。此外，上述“摄像设备所朝向的方位”是摄像设备的视场角中心线的方位，“测距传感器所朝向的方位”是测距传感器的扫描范围的中心线的方位。

图4A、图4B、图4C是示出使用分别包含于正多面体、半正多面体和卡塔兰的立体的对称性来配置上述各设备的例子的图。此处例示的是基体2的形状和方位定义多面体5的形状相同的情况。图4A示出使用从立方体中心观察的面中心(重心)方向的方位群组来配置设备的图。图4B示出使用顶点方向的方位群组来配置设备的图。图4C是使用边中心方位的方位群组来配置设备的图。

即使是相同的立方体，根据各方位群组，所搭载的设备数也不同。只要能够根据所搭载的设备的入射射出角度来决定采用哪个方位群组即可。关于这个内容，在下面进行叙述。

使用图5、图6来说明用于由所搭载的各设备的组合实际上能够进行全立体角的测距、拍摄的各设备的所需入射射出角度。

在图5A中，在立方八面体的正方形的面配置有第1种设备(11-1)、(11-2)、(11-3)(背侧省略图示)，在正三角形的面配置有第2种设备(12-1)、(12-2)、(12-3)、(12-4)(背侧省略图示)。此处例示的也是基体2和方位定义多面体5相同的情况。为了使搭载于正方形的面的第1种设备覆盖全立体角(为了测量全立体角)，入射射出角度范围能够覆盖由第1种设备的群组内的最接近的子群组的方位矢量构成的角锥内的方位范围即可。即，需要使图5A的由X轴、Y轴、Z轴构成的三角锥内的方位范围(这成为第1种设备的测量范围的一个单位)包含余量(与邻接的第1种设备的入射射出角度范围的重复区域)地被第1种设备的入射射出角度范围所覆盖。

在图5B中，用极坐标的偏角来示出所有的设备所朝向的方位。第1种设备(11-1)的方位是θ＝0度的方位，所以在图5B中，图5A的圆被记为带。在图5B中示出所需入射射出角度范围时，第1种设备的1个设备(例如第1种设备11-2)的入射射出角度范围覆盖至角锥顶角的中心轴方向即可。在该情况下，“中心轴方向”成为图5A的第2种设备(12-1)的方向。即，成为图5A的V方向。这成为图5B所示的部位的α的值。即，所需入射射出角度范围成为第1种设备的方向和角锥顶角的中心轴方向所成的角α的2倍。

在图5B中，是在第1种设备11-2的周围用虚线表示的区域的范围。在该情况下，α成为54.7°，所以所需入射射出角度成为2倍的109.5°。依据这个例子，图6示出与正四面体、立方体、正八面体、立方八面体有关的各方位群组中的方位数(也可以设为搭载设备数)和所需入射射出角度范围。在此，还有如下情况：如立方八面体的面中心方位群组那样，根据面、边、顶点的种类，将方位群组进一步细分。这只不过是一个例子，在其它多面体的情况下也能够利用同样的思想来求出所需入射射出角度范围。以上是关于第1种设备的记述，但关于第2种设备显然也能够利用同样的思想来决定所需入射射出角度范围。

如果是上述所需入射射出角度，则在使用TOF传感器作为测距传感器的情况下，在与邻接的TOF传感器之间测定范围会重叠，但关于这个情况，通过相互进行数据的补充而能够实现精度高的测量。

即，在TOF传感器中，相比于视场角的周边部分，靠近中心的数据的测定精度更高，所以相比于邻接的TOF传感器的数据，通过使用靠近视场角的中心部分的测距数据，能够实现精度更高的全立体角距离测定。图6所示的所需入射射出角度表示在对多面体的各方位群组配置TOF传感器时该TOF传感器所要求的所需视场角。例如，在正六面体中在对各顶点配置TOF传感器时所需设备数为8个，如果各TOF传感器的视场角是109.5度，则能够用8个来实现全立体角的测距。同样地，在立方八面体中如果配置到各顶点则需要12个TOF传感器，但所需视场角成为90度，即便是少的视场角的TOF传感器也能够测定全立体角的距离。在最邻接的同种设备彼此中有视场角的重叠的情况下，如上所述通过补充邻接的设备的测量数据而能够得到更高精度的测定、图像。以上是作为测距传感器的TOF传感器的描述，但同样地例如在关于摄像设备也有邻接的重叠的情况下，由于靠近视场角的中心的图像的失真少，所以选择靠近视场角的中心的图像为宜。这样，设备的入射射出角度范围是决定搭载设备数的重要的要素。

图6是将各种多面体的方位群组和其方位数、所需入射射出角度范围进行汇总的表。在图6中，以多面体的数量为主要的参数而记载了正四面体、立方体、正八面体、立方八面体的情况，但不限于此，在其它正多面体、半正多面体和卡塔兰的立体等各种多面体中也能够利用同样的思想来求出所需入射射出角度范围，还能决定设备的搭载数。

即，本实施方式涉及利用测定范围为小立体角的测距传感器进行的全立体角测距和利用照相机进行的全立体角摄像的组合，特征在于，为了效率良好地覆盖全立体角，测距系统、摄像系统都选择对称性良好的方向的组合。鉴于这点，使用作为方位定义多面体5的正多面体、半正多面体和卡塔兰的立体所包含的对称性。具体而言，如果使用从各种正多面体、半正多面体和卡塔兰的立体的中心观察的每个种类的面中心(重心)方位、边中心方位、顶点方位的方位群组，针对相同的各种正多面体(或者半正多面体、卡塔兰多面体)所包含的方位群组的方位配置测距传感器、摄像设备，则不会相互干扰，而能够嵌套状地效率良好地覆盖全立体角。

此外，如果是具有180度以上的视场角的广角镜头的摄像设备，则如果在相对的2个方向上配置设备，则能够实现全立体角的摄像。在该情况下，也可以不用针对方位群组的所有方位配置设备。但是，即使在该情况下，在与异种设备组合时，通过对与配置异种设备的方位群组成为嵌套状的方位群组的一部分配置摄像设备，能够成为整体上对称性良好的高效的设备配置，并且也能够减少异种设备之间的干扰。

而且，如后述那样，作为变形例，如果经过各设备的中心的轴线不改变方向，则没有必要集中到1点。由此，配置的自由度增加。另外，作为其它变形例，在由设备的纵横来覆盖的入射射出角度不同的情况下，即使使用菱形多面体的面中心方位，配置效率也优良。

接下来，关于上述各摄像设备、测距传感器的搭载位置，使用图7A、图7B来说明具体地搭载的配置方法的一个例子。但是，下述说明只是一个例子，所以配置例不限定于下述情况。

图7A是在大致长方体(六面体)的便携信息终端安装复合入射射出装置1的例子。大致长方体是基体2。并且，例如将正八面体作为方位定义多面体5，使用其方位群组，配置测距传感器和摄像设备。在作为测距传感器的中心方位而采用面中心方位的方位群组的情况下，需要配置8个测距传感器。然而，便携信息终端是六面体，所以无法将8个测距传感器搭载到各面。为了解决这个问题，将8个测距传感器如图7A所示，例如朝向正八面体的面中心方位群组的方位，在上表面的边部分配置4个，在底面的边部分配置4个。

另外，在便携信息终端的边配置测距传感器的情况下，也可以在各边形成槽(或者形成倒角)并搭载到那里。此时的测距传感器的视场角是图6的正八面体方位群组的面中心方位的值109.5度以上即可。以上是关于在便携信息终端的各边形成槽来配置测距传感器的方法的描述，但不限于此，只要测距传感器的中心方位能够配置到上述方位，则可以是任何方法。

另一方面，摄像设备110、111配置于正八面体的边中心方位群组方向。在此，使摄像设备的视场角成为180度以上，从边中心方位群组中选择对置的两个方位，搭载到处于便携信息终端的六面体的对称位置的2个面，从而能够拍摄全立体角。

图7B示出将作为方位定义多面体5的正八面体的各顶点方位群组的方位作为中心方位而配置测距传感器的例子。在该情况下，在上表面配置3个，在底面配置3个。具体而言，也可以将便携信息终端的顶点斜斜地切掉，以朝向上述方位群组的方位的方式搭载。即使在该情况下，测距传感器的视场角是109.5度以上即可。

另一方面，以正八面体的面中心方位群组方位为中心方位，配置摄像设备110、111。在此，使摄像设备的视场角成为180度以上，从面中心方位群组中选择对置的两个方位，并搭载到处于便携信息终端的六面体的对称位置的2个面，从而能够拍摄全立体角。在该例子中，未在面中心方位群组的所有的方位配置摄像设备，但所有的测距传感器的方位空间中的最接近设备成为摄像设备。

这样，能够以作为方位定义多面体5的同一正多面体、半正多面体和卡塔兰的立体所包含的方位群组的方位为中心方位，向基体2效率良好地配置摄像设备和测距传感器，进行全立体角的测距和拍摄。

另外，虽然也有时考虑夜间、暗处的拍摄，搭载全立体角用的照明，但关于这个情形，也将照明作为射出设备而利用同样的思想搭载多个即可。在该情况下，在方位空间中嵌套状地配置摄像设备的中心方位和照明设备的中心方位，从而具有从照明设备向摄像设备的直接的干扰减少这样的效果。

图8示出使用例如图5A所示的4个测距传感器12-1、12-2、12-3、12-4各自测量的测距数据而合成为一个测距数据的例子。

各测距传感器12-1、12-2、12-3、12-4分别包括测定范围。关于各测定范围，在周边部分，针对测距的误差变大。这是由于例如在TOF传感器那样的情况下在测定系统中使用光学系统的透镜，所以如照相机传感器中的视场角那样，越是周边部则失真变得越大。因此，如图8所示，相比于中心部，周边部的测定精度变差。

因此，优选尽可能不使用周边部。因此，通过在多个测距传感器12-1、12-2、12-3、12-4各自的测定范围与在方位空间中邻接的测距传感器的测定范围重叠那样的位置处配置，优先地使用测定精度更良好的部分，从而即使进行全立体角测距，也能够实现精度良好的测定。关于该选择，由于例如在设计时预先知晓邻接的测距传感器的位置关系，所以决定各个测距传感器的距离测量担当范围即可。关于图7A所示的剩余的测距传感器12-5～12-8的测距传感器也同样地进行，能够高精度地完成全立体角的测距。

图9示出将多个测距数据合成为一个测距数据的例子。在图9中，用3种图案表现距离信息，但不限于此，实际上也可以用更细致的浓淡来准确地计算距离，进行分类。

CPU16也可以从各测距传感器12-1～12-4分别读入测距数据，将它们进行合成以及修整，生成全立体角测距数据800。关于测距数据的合成处理，既可以仅使用各测距传感器的测距数据进行，也可以使用来自多个摄像设备的摄像数据来补充测距数据，进行测距数据的合成处理。在后面叙述其详情。

在合成测距数据时，在测定范围的连接部中有时测距数据产生偏差。这是因为，入射到各测距传感器的光的几何学上的聚光点未必一致，所以根据测定对象的距离，各个测距传感器覆盖的方位范围的区域出现偏移。使用图10，说明这样的情况的数据的校正方法。

图10A所示的摄像数据是以例如图2的摄像设备11-1为例子的数据。图10B是记载了对上述摄像数据的范围进行测距的测距传感器12-1和12-2的2个数据的合成方法的图。实际上，摄像设备11-1的接近设备配置有4个测距传感器，所以成为4个数据的合成，但为了简化说明，说明接近的2个测距传感器。另外，2个测距传感器12-1、12-2的测定范围虽然还存在摄像设备11-1的摄像范围以外的部分，但在其说明中是关于摄像设备11-1的摄像范围内的测定的说明。如果假设测距传感器12-1、12-2在几何学上配置于正确的位置、角度、方向，则仅校正周边部的失真。在该情况下，关于测距数据的合成，如图8所示，根据测定范围和其位置关系，使用精度高的一方的数据来合成即可。

然而，在实际的产品中，以从几何学上的位置偏移的状态来配置测距传感器。即，由于各设备的“聚光点”(入射信号在几何学上收敛的点)未对齐到一点的情况、或者失真和测距传感器自身的安装位置、精度的问题，即便假设视场角重叠，也存在数据彼此无法完美地连接的可能性。因此，需要根据被摄体的距离，动态地调整数据的连接。为此使用的是摄像数据。例如，在对某个目标物进行摄像的情况下，用测距传感器12-1、12-2测量该目标物时的测距数据范围如图10B所示由于聚光点的偏移、安装精度而成为稍微偏移的状态。因此，以使该偏移与上述摄像数据匹配的方式修正测距数据，进行区域间的连接的整形(参照图10C)。关于该修正，虽然也能够根据对象物的距离和设备的特性、配置来进行计算，但通过以摄像数据为参考进一步进行整形，能够提高边界区域的数据的准确性。

根据第1实施方式，对一个基体2配置多个种类的设备时，使用方位定义多面体5所包含的不同的对称性方位群组在方位空间中嵌套状地配置设备，所以不论是异种的设备还是同种的设备，基体2中的中心方位都不会模糊，并且能够以能够实现全立体角的测量的方式效率良好地配置多个种类的设备。

(第2实施方式)

第2实施方式是对便携信息终端4应用复合入射射出装置1a的实施方式。图11A是第2实施方式所涉及的复合入射射出装置1a的外观图。图11B是示出复合入射射出装置1a的显示例的图。

复合入射射出装置1a在作为基体2的便携信息终端4中具备用于对由摄像设备、测距传感器测量的物体、人物等的距离、图像进行确认的显示器20。摄像设备以及测距传感器的结构与图5B所示的结构相同。在图11A中未示出隐藏的部分。

如图11B所示，复合入射射出装置1a也可以进行表示是测量中的文字显示等。另外，也可以在测量和拍摄后，显示全立体角的拍摄图像、距离信息。此时，通过使便携信息终端4在左右上下等方向上旋转，在显示器20中显示全立体角的图像。此时，与便携信息终端的陀螺仪传感器(参照图12)连动地确认便携信息终端4的方位，显示与其对应的图像。

图12示出复合入射射出装置1a的整体模块。

便携信息终端4具备：作为第1种设备的包括广角镜头及摄像元件(例如CCD或者CMOS传感器)的照相机110、同样地包括广角镜头和摄像元件且将显示器20侧作为摄像范围的内侧照相机111、根据来自照相机110及内侧照相机111各自的摄像数据进行图像处理的图像处理处理器112、作为第2种设备的N个TOF传感器1、2、……、N(12-1)、(12-2)、……、(12-N)、ROM13、RAM14、外部存储器15、CPU16、系统总线17、陀螺仪传感器18、加速度传感器19、显示器20、LAN通信器21、电话网通信器22、以及GPS(Global Positioning System，全球定位系统)23。

图像处理处理器112包括：失真校正部114，从拍摄图像中将由于其角度校正、旋转校正或者广角镜头的原因而失真的图像校正为看起来像本来的状态；被摄体辨识部116，对人物的面部或物体进行辨识；修整部115，基于被摄体辨识部116从图像数据切出面部、物体部分；图像合成部117，合成上述多个照相机的图像。

在本实施方式中，至少搭载有2个以上的照相机。例如，以上将2个照相机设为内侧照相机和普通照相机，搭载至少180度以上的视场角的广角镜头，关于搭载位置，分别搭载到不同的面，从而能够拍摄全立体角的图像。照相机的搭载个数只要是2个以上，则可以搭载任意个。

在图像处理处理器112中，针对从照相机110或者内侧照相机111中的任意照相机取得的摄像数据，最初由失真校正部114进行失真校正，并由被摄体辨识部116辨识人物、物体之后，由修整部115修整人物、物体，但不限于此，也可以在简单地校正由于超广角镜头而发生的失真之后进行辨识并修整，之后进行精度更高的失真校正，还可以如后所述与从测距传感器群12得到的直至人物、物体为止的详细的距离对应地显示于显示器20。

图13示出图像处理处理器112执行的全立体角拍摄以及测距算法。

图像处理处理器112具备：第1失真校正部114-1，被输入来自照相机110的摄像数据，校正广角镜头的失真；以及第2失真校正部114-2，被输入来自内侧照相机111的摄像数据，校正广角镜头的失真。第1失真校正部114-1包括第1像差校正部以及第1正像变换部。同样地，第2失真校正部114-2包括第2像差校正部以及第2正像变换部。以上针对一个照相机，各有一个失真处理部，但不限于此，如果在高速处理中没有时间上的制约，则也可以一边切换一个处理功能一边进行处理。

第1失真校正部114-1以及第2失真校正部114-2分别将进行失真校正处理后的图像输出给图像合成部117。图像合成部117合成从第1失真校正部114-1以及第2失真校正部114-2分别取得的失真校正后的图像，制作全立体角的图像(以下称为“全立体角图像”)，并输出给被摄体辨识部116。

被摄体辨识部116根据全立体角图像进行被摄体辨识处理，将其结果输出给修整部115。

修整部115针对摄像区域，修整在全立体角图像中通过被摄体辨识处理辨识的被摄体。既可以完整地修整被摄体区域而仅取出被摄体区域，也可以是附加包含被摄体区域框的框的处理。关于修整后的图像，既可以实施进一步的失真校正，也可以将该修整后的部分进行放大、强调，如后所述显示直至其为止的距离。

另一方面，CPU16取得TOF传感器12-1、12-2、……、12-n的各测距数据，并合成为全立体角测距数据。CPU16一边相互补充以测距传感器的视场角来测定的测距数据，一边制作全立体角测距数据800(参照图8、图9)。

CPU16从图像合成部117取得全立体角图像(图13的L-A)，并与全立体角测距数据800关联起来。这个方法有各种方法，例如预先在复合入射射出装置1a的周围的既知的位置设置被摄体，制作全立体角图像。另外，使用测距传感器群12来测定从复合入射射出装置1a至同一被摄体为止的距离，制作全立体角测距数据800。然后，将同一被摄体被摄像的全立体角图像内的被摄体区域与从全立体角测距数据800读出的直至同一被摄体为止的距离信息关联起来，从而制作并储存将全立体角图像内的摄像区域与直至在该摄像区域内拍到的被摄体为止的距离信息关联起来的校准数据。

在用户使用复合入射射出装置1a时，CPU16制作全立体角图像，并参照校准数据，读出与全立体角图像的摄像区域对应的距离信息。CPU16将读出的距离信息以及与其对应的摄像区域的全立体角图像内的位置(例如全立体角图像内的坐标)输出给距离信息附加部118。

距离信息附加部118根据从修整部115取得的被摄体区域的信息，将从CPU16取得的距离信息附加到全立体角图像中的被摄体区域。

图14示出对全立体角图像附加距离信息而显示的例子。在图14中，显示器20的显示范围是全立体角的一部分，但在显示全立体角时，既可以通过根据陀螺仪传感器18的数据使显示器20的位置上下、左右地旋转而进行显示，也可以使显示器20前后左右地滚动来显示。另外，关于距离信息，也可以针对特定的对象物，如图那样显示直至其为止的距离。

图15是示出复合入射射出装置1a中的全立体角图像以及全立体角测距数据800的制作处理的流程的流程图。下述处理的流程还适用于在第1实施方式中说明的复合入射射出装置1。

在复合入射射出装置1a的用户希望进行全立体角拍摄以及全立体角测距的情况下，用户将复合入射射出装置1a的动作模式切换为全立体角拍摄以及全立体角测距模式(S100)。复合入射射出装置1a使显示器20显示模式选择画面，从用户受理模式选择操作。在复合入射射出装置1a中，也可以在切换到全立体角拍摄以及全立体角测距模式时，使显示器20进行“当前全立体角拍摄和测距系统工作中”等的显示，进行催促用户尽可能注意不要晃动等的显示。

照相机110以及内侧照相机111各自开始启动以及拍摄。另外，各测距传感器12-1、12-2、……、12-N启动并开始测距(S101)。

照相机110以及内侧照相机111各自生成的摄像数据被输出到图像处理处理器112。图像处理处理器112进行由广角镜头引起的失真校正(S102)，制作全立体角图像(S103)。

CPU16(在第1实施方式中是第2种设备处理器212)合成由测距传感器12-1、12-2、……、12-N测定的测距数据，制作全立体角测距数据800(S104)。步骤S103和步骤S104既可以同时执行，也可以先执行步骤S104。

图像处理处理器112从全立体角图像检测被摄体区域(S105)，针对被摄体区域进行修整处理而进行切出。然后，使用在S104中制作出的全立体角测距数据800，附加从复合入射射出装置1a至被摄体为止的距离信息(S106)。

图像处理处理器112将附加距离信息后的全立体角图像、以及全立体角测距数据记录到RAM14、外部存储器15中的至少一方(S107)并结束。

图16是示出复合入射射出装置1a中的全立体角图像以及全立体角测距数据800的再生处理的流程的流程图。下述处理的流程还适用于在第1实施方式中说明的复合入射射出装置1。

复合入射射出装置1a进行用于转移到全立体角图像以及全立体角测距数据的再生模式的操作(S110)。复合入射射出装置1a使显示器20显示模式选择画面，从用户受理模式选择操作。而且，复合入射射出装置1a从用户受理选择记录于RAM14或者外部存储器15的数据中的再生对象的文件的操作，再生该文件(S111)。

再生的文件包括比显示器20宽的范围、即全立体角的图像信息和距离信息(参照图14)。因此，复合入射射出装置1a根据陀螺仪传感器18、加速度传感器19和从GPS23得到的位置信息，运算水平面内的方位信息和仰角信息，显示全立体角图像的特定的方位的图像(全立体角图像的部分图像)以及距离信息。

之后，复合入射射出装置1a向用户请求进行显示器20的滚动处理或者移动复合入射射出装置1a的处理(S112)。

复合入射射出装置1a在检测到用户的活动(例如滚动操作、移动复合入射射出装置1a的操作)时(S113/“是”)，依照该指示，显示其方向的图像、距离信息(S114)。

在没有用户的活动的情况(S113/“否”)、或者在步骤S114之后是结束条件、例如在一定时间内没有用户的指示、活动的情况或受理了再生结束操作的情况(S115/“是”)下，结束再生处理。在不满足结束条件的情况下(S115/“否”)，返回到步骤S112。

图17A示出将复合入射射出装置1应用于HMD(Head Mounted Display，头戴式显示器)50的例子。

在使用HMD进行AR(Augmented Reality，增强现实)显示的情况下，也可以对HMD用户的现实的周围环境进行摄像以及测距，将其摄像数据以及测距数据用于AR显示。由此，在现实空间中重叠显示虚拟对象时的控制变得更精密。

如图17A所示，HMD50具备侧头部佩戴体50-1及头顶部佩戴体50-2、以及透射性或者非透射性的显示器50-3。在显示器50-3的上边中心具备具有广角镜头的第1照相机51-1，在侧头部佩戴体50-1的后头部中央具备具有广角镜头的第2照相机51-2。另外，在显示器50-3的左右顶点的各顶点具备第1测距传感器52-1、第2测距传感器52-2。而且，在头顶部佩戴体50-2中的头顶部具备第3测距传感器52-3，在侧头部佩戴体50-1的后头部中央具备第4测距传感器52-4。即，如图17B所示，在该例子中，在HMD50中作为方位定义多面体5而使用正四面体。关于照相机，使用视场角为180度以上的照相机，在边中心方位群组内配置于对置的2个方位(51-1、51-2)，测距传感器配置于顶点中心方位。

在HMD50中制作全立体角图像以及全立体角测距数据的情况下，全立体角图像的接合部优选为位于HMD50的正下方、即HMD50的佩戴者侧。这是因为，对于HMD50的佩戴者而言，往往不需要自己自身的图像。关于测距数据也是同样的，认为几乎没有希望得知与自己自身的距离这样的期望，所以测距数据的接合部也优选为位于HMD50的佩戴者侧。因此，作为传感器配置的变形例，如图18A、图18B所示，在确保与邻接的传感器之间的所需入射角范围的同时，使照相机的方位从边中心方位偏离。由此，以使摄像数据以及测距数据的接合部位于HMD50的正下方的方式调整各传感器的方向。图18B示出方位空间中的各设备所朝向的方位。图18B是51-1、51-2配置于边中心方位的情况下51-1、51-2调整了方位的变形例。在变形例中，如果将Z轴的正方向选为垂正上侧方向，则用户的身体成为Z轴的负方向，照相机的光轴成为水平方向，所以与摄像数据、测距数据一起，接合部位于HMD50的佩戴者侧。此外，在该变形例中，各个设备的方位空间中的最接近设备也为异种设备。

根据本实施方式，在如智能手机这样的小型的便携信息终端中，也能够以使异种以及同种的设备的配置位置不会重叠的方式并且以使全立体角包含于测量范围的方式配置多个种类的设备。

上述实施方式只不过是本发明的实施方式的一个例子，本发明不限定于上述。例如，作为其它实施方式，还能够用作电视会议系统。通过利用全立体角的距离信息和物体辨识，例如在电视会议系统中能够根据出席者全员的面部辨识图像和距离信息来掌握出席会议的人员的位置，通过与指向性麦克风的组合来确定发言的人员，将该人员放大显示。或者，能够在确定会话内容和出席者之后清晰地记录会话。

另外，作为其它入射设备、射出设备的例子，有电波的发送天线以及接收天线。由于在便携电话中使用的频率变高，指向性变强，所以需要效率良好地配置天线，将全立体角作为电波的入射射出范围来覆盖。在该情况下本发明也是有效的。

另外，进一步作为入射设备、射出设备的其它例子，有指向性强的麦克风、指向性强的扬声器。在智能扬声器那样的声音输入输出设备中，从存在于周边的使用者中，在以特定的使用者为对象进行声音的交互时本发明也是有效的。

另外，复合入射射出装置1、1a的硬件结构也只是一个例子，也可以由1个CPU16执行第1种设备处理器211、第2种设备处理器212、图像处理处理器112的各功能。

Claims (11)

1.一种复合入射射出装置，其特征在于，具备：

多个第1种设备，入射或者射出能量；

多个第2种设备，入射或者射出能量，种类与所述第1种设备不同；以及

基体，配置所述多个第1种设备及所述多个第2种设备，

在组合所述多个第1种设备量的各第1种设备的能量的入射方向或者能量的射出方向时，从全立体角的区域入射能量或者朝向全立体角的区域射出能量，

在组合所述多个第2种设备量的各第2种设备的能量的入射方向或者能量的射出方向时，从全立体角的区域入射能量或者朝向全立体角的区域射出能量，

所述多个第1种设备以及所述多个第2种设备以满足下述两个约束条件双方的方式配置于所述基体，

约束条件1：所述多个第1种设备各自在方位空间中最接近的设备是所述第2种设备中的至少一个；

约束条件2：所述多个第2种设备各自在方位空间中最接近的设备是所述第1种设备中的至少一个。

2.一种复合入射射出装置，其特征在于，具备：

至少3个以上的第1种设备，入射或者射出能量；

至少2个以上并且比所述第1种设备少的数量的第2种设备，入射或者射出能量，种类与所述第1种设备不同；以及

基体，配置多个所述第1种设备及多个所述第2种设备，

在组合向各个所述第1种设备入射的所有的能量时从全立体角的区域入射能量，或者在组合从各个所述第1种设备射出的所有的能量时朝向全立体角的区域射出能量，

在组合向各个所述第2种设备入射的所有的能量时从全立体角的区域入射能量，或者在组合从各个所述第2种设备射出的所有的能量时朝向全立体角的区域射出能量。

3.根据权利要求1所述的复合入射射出装置，其特征在于，

定义方位定义多面体，

所述方位定义多面体是包含将所述方位定义多面体内的1点作为基准点的第1对称性以及与该第1对称性不同的第2对称性的形状，

所述多个第1种设备各自配置于所述方位定义多面体中的满足所述第1对称性的方位，

所述多个第2种设备各自配置于所述方位定义多面体中的满足所述第2对称性的方位。

4.根据权利要求3所述的复合入射射出装置，其特征在于，

所述方位定义多面体是正多面体、半正多面体或者卡塔兰的立体。

5.根据权利要求3所述的复合入射射出装置，其特征在于，

所述第1对称性以及所述第2对称性各自是从所述基准点朝向所述方位定义多面体的面中心或重心的方位群组、从所述基准点朝向所述基体的边中心方位的方位群组、或者从所述基准点朝向所述基体的顶点方位的方位群组中的任意方位群组。

6.根据权利要求1所述的复合入射射出装置，其特征在于，

所述多个第1种设备各自是入射设备并且所述多个第2种设备各自是射出设备，或者所述多个第1种设备各自是射出设备并且所述多个第2种设备各自是入射设备，

按照从所述射出设备射出的能量不会直接入射到所述入射设备的朝向以及位置，将所述多个第1种设备以及所述多个第2种设备配置到所述基体。

7.根据权利要求1所述的复合入射射出装置，其特征在于，

所述基体是便携信息终端。

8.根据权利要求1所述的复合入射射出装置，其特征在于，

所述复合入射射出装置还具备处理器，该处理器根据由所述多个第1种设备测量的信息来合成全立体角的信息，根据由所述多个第2种设备测量的信息来合成全立体角的信息。

9.根据权利要求1所述的复合入射射出装置，其特征在于，

所述第1种设备以及所述第2种设备中的一方是摄像设备，另一方是测距传感器。

10.根据权利要求9所述的复合入射射出装置，其特征在于，

所述复合入射射出装置还具备处理器，该处理器使用所述摄像设备测量的摄像数据以及所述测距传感器测量的测距数据，将全立体角的图像信息进行合成来显示。

11.根据权利要求10所述的复合入射射出装置，其特征在于，

所述处理器在将所述测距数据合成为全立体角的测距信息时，在所述测距传感器各自的测定范围中抽出从更高精度地测定的方位角得到的测距数据来合成。

Images