CN110268701B - 成像设备 - Google Patents

成像设备 Download PDF

Info

Publication number
CN110268701B
CN110268701B CN201880009062.5A CN201880009062A CN110268701B CN 110268701 B CN110268701 B CN 110268701B CN 201880009062 A CN201880009062 A CN 201880009062A CN 110268701 B CN110268701 B CN 110268701B
Authority
CN
China
Prior art keywords
imaging
image
subjects
image forming
housing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201880009062.5A
Other languages
English (en)
Other versions
CN110268701A (zh
Inventor
横田聪一郎
竹中博一
贞末多闻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority claimed from PCT/JP2018/003312 external-priority patent/WO2018143311A1/en
Publication of CN110268701A publication Critical patent/CN110268701A/zh
Application granted granted Critical
Publication of CN110268701B publication Critical patent/CN110268701B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/06—Panoramic objectives; So-called "sky lenses" including panoramic objectives having reflecting surfaces
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/34—Stereoscopes providing a stereoscopic pair of separated images corresponding to parallactically displaced views of the same object, e.g. 3D slide viewers
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Lens Barrels (AREA)
  • Cameras In General (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种成像设备，包含多个成像主体以及成像控制单元。每个成像主体包含第一光学元件以及第二光学元件，该第一光学元件能够对包含以光轴为中心并在光轴的第一方向上取向的半球的范围进行成像，该第二光学元件能够对包含以光轴为中心并在与第一方向相反的第二方向上取向的半球的范围进行成像。成像主体在垂直于光轴的方向上排列。成像控制单元使多个成像主体以同步方式进行成像，并从每个成像主体获取捕获图像。

Description

成像设备
技术领域
本发明涉及成像设备。
背景技术
已知一种用于三维重建模型的技术，其中使用相机或激光束辐射的成像来测量真实对象或建筑物或包含该真实对象或建筑物的整个空间，并且基于测量结果来将三维信息重建为电子数据。近年来，已经对在诸如桥梁检验或建筑工地之类的各种情况下使用三维重建模型进行了研究。例如，当要建造诸如建筑物之类的大规模设施时，可以将使用计算机辅助设计(CAD)设计的计划与基于在建筑工地的测量生成的三维重建模型进行比较。另外，可以生成并应用三维重建模型以在建造后的检验期间检查状况。
例如，日本专利第5011528号公开了一种三维距离测量传感器，其可以应用于获取三维重建数据。根据日本专利第5011528号，在三个视点位置处布置了三个各自具有鱼眼镜头特性的相机，并且基于由该三个相机捕获的图像来计算三维距离。
另外，日本未经审查专利申请公开第2013-218278号公开了一种成像系统，其能够通过制定镜头配置方法将整个周围区域成像为全球面(full-spherical)图像。通过使用日本未经审查专利申请公开第2013-218278号中公开的成像系统在不同视点处获取多个捕获图像，可以生成相对宽范围的三维重建模型。
发明内容
技术问题
通常，使用通过从不同视点对目标对象或空间进行成像而获得的多个图像来生成三维重建模型。因此，为了生成大规模对象或空间的三维重建模型，需要准备大规模的设备并且需要很长时间来获取数据。
例如，传统上，当要生成用于大规模设施的三维重建模型时，组合使用大规模激光设备和相机设备，并且需要几小时到几天来获取数据。因此，当使用传统技术时，生成三维重建模型的成本很高，并且难以针对相同目标重复生成三维重建模型。
鉴于上述情况做出了本发明，并且本发明的目的是容易地获取用于生成三维重建模型的图像。
解决问题的方法
根据本发明的一个方面，一种成像设备包含多个成像主体以及成像控制单元。每个成像主体包含第一光学元件以及第二光学元件，该第一光学元件能够对包含以光轴为中心并在光轴的第一方向上取向的半球的范围进行成像，该第二光学元件能够对包含以光轴为中心并在与第一方向相反的第二方向上取向的半球的范围进行成像。成像主体在垂直于光轴的方向上排列。成像控制单元使多个成像主体以同步方式进行成像，并从每个成像主体获取捕获图像。
发明的有益效果
根据本发明的一个方面，可以容易地获取用于生成三维重建模型的图像。
附图说明
图1是示意性地图示根据实施例的成像设备的视图。
图2是图示适用于实施例的成像主体的配置的示例的视图。
图3是示意性地图示根据实施例的成像设备的外观的三平面视图。
图4是图示可以由适用于实施例的每个成像主体成像的成像范围的示例的视图。
图5是图示图像处理设备与适用于实施例的成像设备之间的连接的视图。
图6是图示在五个不同视点处捕获并针对适用于实施例的相应成像主体合成的图像的示例的视图。
图7是图示适用于实施例的三维重建模型生成处理的示例的流程图。
图8是用于解释适用于实施例的三角测量的视图。
图9是用于解释适用于实施例的极线平面图像(EPI)的原理的视图。
图10是用于解释适用于实施例的EPI的原理的视图。
图11是用于解释斜率m是基于当整个圆周图像用于构建适用于实施例的EPI时的曲线的值的视图。
图12是用于解释斜率m是基于当整个圆周图像用于构建适用于实施例的EPI时的曲线的值的视图。
图13是图示根据实施例的基于由成像设备捕获的图像优先计算视差的平面的示例的视图。
图14是图示在实施例中作为要生成三维重建模型的目标的包含大型建筑物等的大空间的示例的视图。
图15-1是图示根据实施例的成像设备的配置的示例的框图。
图15-2是图示根据实施例的成像设备中的电源路径的一部分的示例的框图。
图16是图示根据实施例的成像设备中的控制单元和存储器的配置的示例的框图。
图17是图示根据实施例的成像设备中的电池和电路单元的布置的示例的视图。
图18是示意性地图示根据实施例的第一修改的成像设备的外观的视图。
图19是示意性地图示根据实施例的第二修改的成像设备的外观的视图。
图20是示意性地图示根据实施例的第三修改的成像设备的外观的视图。
图21是图示根据实施例的第四修改的成像设备的配置的示例的框图。
图22是示意性地图示根据实施例的第五修改的成像设备的外观与根据该实施例的成像设备的外观的比较的视图。
图23是示意性地图示根据实施例的第六修改的成像设备的外观的视图。
图24是图示根据实施例的第六修改的成像设备的电路配置的示例的视图。
图25是示意性地图示根据实施例的第七修改的成像设备的外观的视图。
图26是示意性地图示根据实施例的第七修改的成像设备的外观的视图。
图27是图示根据实施例的第七修改的成像设备的电路配置的示例的视图。
图28是示意性地图示根据实施例的第八修改的成像设备的外观的视图。
图29是示意性地图示根据实施例的第九修改的成像设备的外观的视图。
图30是图示根据实施例的第九修改的成像设备的电路配置的示例的视图。
具体实施方式
下面将参考附图详细描述成像设备和成像设备控制方法的实施例。
实施例
根据实施例的成像设备
图1示意性地图示了根据实施例的成像设备。在图1中，成像设备1a包含在外壳10a的第一表面上的多个(在本示例中，为五个)成像镜头20a1、20a2、20a3、20a4和20a5以及快门按钮30，该外壳10a以大致长方体形状形成。在外壳10a中，安装有对应于每个成像镜头20a1、20a2、……、20a5的成像元件。
入射到每个成像镜头20a1、20a2、……、20a5的光经由图像形成光学系统发射到对应的成像元件，该图像形成光学系统被安装在外壳10a中并包含成像镜头20a1、20a2、……、20a5中的每一个。成像元件例如是电荷耦合器件(CCD)，并且充当将照射光转换为电荷的光接收元件。成像元件不限于此，而可以是互补金属氧化物(CMOS)图像传感器。
另外，多个成像镜头20b1、20b2、20b3、20b4和20b5被安装在外壳10a的第一表面的背面侧的第二表面上。类似于上述成像镜头20a1、20a2、……、20a5，对应于每个成像镜头20b1、20b2、……、20b5的成像元件安装在外壳10a中。
入射到每个成像镜头20b1、20b2、……、20b5的光经由图像形成光学系统发射到对应的成像元件，该图像形成光学系统包含成像镜头20b1、20b2、……、20b5中的每一个。每个成像元件将照射光转换为电荷。
驱动每个成像元件的每个驱动单元根据触发信号对每个成像元件进行快门控制，并且读取从来自每个成像元件的光转换的电荷，这将在后面详细描述。每个驱动单元将从每个成像元件读取的电荷转换为电信号，将该电信号转换为作为数字数据的捕获图像，并输出该捕获图像。从每个驱动单元输出的每个捕获图像储存在例如存储器中。例如根据触发信号基于入射到成像镜头20a1上的光来输出捕获图像的操作被描述为成像镜头20a1的成像以便于解释。
假设外壳10a是长方体，则沿着成像镜头20a1、20a2、……、20a5对齐的方向与侧面(长侧)接触的表面被称为侧表面；与第一表面、第二表面和两个侧表面的上边缘接触的表面称为顶表面；并且与第一表面、第二表面和两个侧表面的下边缘接触的表面称为底表面。在图1的示例中，与布置有成像镜头20a1和20b1的侧面上的上边缘接触的表面充当顶表面；并且，与布置有快门按钮30的侧面上的下边缘接触的表面充当底表面。
在本实施例中，成像镜头20a1、20a2、……、20a5以距离d等间隔布置，该距离d是相邻的成像镜头之间的距离。另外，成像镜头20a1和20b1、成像镜头20a2和20b2、成像镜头20a3和20b3、成像镜头20a4和20b4以及成像镜头20a5和20b5例如在距离外壳10a底表面的相同高度处布置在外壳10a中。
成像镜头20a1、20a2、……、20a5和成像镜头20b1、20b2、……、20b5之中的距离外壳10a底表面相同高度的成像镜头的组合、以及图像形成光学系统和对应于成像镜头的组合的成像元件统称为成像主体(全球面成像单元)。在图1的示例中，成像镜头20a1和20b1的组合，以及图像形成光学系统和对应于该组合的成像元件统称为成像主体211。类似地，成像镜头20a2、20a3、……、20a5和成像镜头20b2、20b3、……、20b5的组合，以及图像形成光学系统和对应于这些组合的成像元件分别统称为成像主体212、213、214和215。
快门按钮30是用于根据操作给出使用每个成像镜头20a1、20a2、……、20a5和每个成像镜头20b1、20b2、……、20b5进行成像的指令的按钮。当操作快门按钮30时，每个成像镜头20a1、20a2、……、20a5和每个成像镜头20b1、20b2、……、20b5以同步方式进行成像。
如图1所示，成像设备1a的外壳10a包含其中布置有成像主体211至215的成像区域2a，以及其中布置有快门按钮30的操作区域3a。操作区域3a包含夹持单元31(握持单元)以供用户握持成像设备1a。
使夹持单元31的表面难以滑动，以使得用户可以容易地握持或操作成像设备1a。例如，可以使夹持单元31比成像区域2a更不光滑。例如，至少夹持单元31的表面由难以滑动的材料制成。难以滑动的材料的示例可能可以包含合成/天然树脂、合成/天然皮革、木材、布、和纸、或其表面状况模仿上述材料的材料。另外，可以处理夹持单元31的表面以防止滑动。防止滑动的处理的示例可能可以包含在平坦表面上提供某一不规则的图案。
此外，在外壳10a中，优选地，至少成像区域2a由带有高抗冲击性和由于温度变化引起的变形较小的材料制成，以便防止成像镜头20a1至20a5和20b1至20b5的位置和取向的变化。这种材料的示例可能可以包含带有高弹性模量(高刚性)的材料，诸如铝合金、镁合金、钛合金、不锈钢、纤维增强树脂和纤维增强金属。
成像主体211、212、……、215的配置将在下面详细描述。成像主体211、212、……、215可以使用相同的配置来实现；因此，成像主体211、212、……、215在下面的描述中将由成像主体21表示。
图2图示了适用于实施例的成像主体21的配置的示例。在图2中，成像主体21包含：分别包含成像镜头20a和20b的图像形成光学系统201a和201b；以及各自由CCD或CMOS传感器配置的成像元件200a和200b。例如，每个图像形成光学系统201a和201b被配置为鱼眼镜头，该鱼眼镜头带有在六组中的七个镜头元件。鱼眼镜头具有等于或大于180度(即，360度/n，其中n是光学系统的数量，即2)的全视角，或者优选地具有大于180度的全视角。优选地，鱼眼镜头具有185度或更大的视角，并且更优选地，鱼眼镜头具有190度或更大的视角。
图像形成光学系统201a和201b包含棱镜202a和202b，其分别将光路改变90度。每个图像形成光学系统201a和201b的鱼眼镜头的在六组中的七个镜头元件可以通过棱镜202a和202b中的每一个被分类为入射侧组和发射侧组(成像元件200a侧和200b侧)。例如，入射到图像形成光学系统201a中的成像镜头20a上的光经由通过棱镜202a被分类为入射侧组的镜头元件中的每一个而进入棱镜202a。入射到棱镜202a上的光的光路改变90度，并且该光经由通过棱镜202a被分类为发射组侧的镜头元件中的每一个、以及经由孔径光阑(aperture stop)和滤波器，被发射到成像元件200a。
两个图像形成光学系统201a和201b的光学元件(镜头、棱镜202a和202b、滤波器和孔径光阑)的位置是相对于成像元件200a和200b确定的。更具体地，这些位置被确定为使得图像形成光学系统201a和201b的光学元件的光轴垂直于成像元件200a和200b的相应光接收区域的中心部分而定位，并且光接收区域可以充当相应鱼眼镜头的成像平面。另外，在成像主体21中，图像形成光学系统201a和201b具有相同的规格，并且以相反的取向装配，使得彼此的光轴一致。
图3是示意性地图示根据实施例的成像设备1a的外观的三平面视图。例如，图3的部分(a)、图3的部分(b)和图3的部分(c)是成像设备1a的顶视图、前视图和侧视图。在图3的部分(b)中，成像镜头20a5被布置为使得该镜头的中心被定位在距离外壳10a的底表面的高度h处。参考成像镜头20a5充当原点，以距离d的间隔从外壳10a的底表面侧到顶表面侧布置成像镜头20a4、20a3、20a2和20a1，使得镜头的中心在长侧方向上与外壳10a的中心线C对齐。
如图3的部分(c)所示，成像镜头20b1至20b5在成像镜头20a1至20a5的背表面侧上分别布置在对应于成像镜头20a1至20a5的位置处。换言之，成像镜头20b1至20b5也被布置为使得镜头的中心与如上所述的中心线C对齐。如上所述，在成像镜头20a1至20a5和成像镜头20b1至20b5之中，相同高度的两个成像镜头(例如，成像镜头20a1和20b1)包含在单个成像主体(例如，成像主体211)中。
在图3的部分(a)和图3的部分(c)中，图示了角度α指示成像镜头20a1和20b1的视角(成像范围)的示例。如上所述，包含在成像主体211至215中的成像镜头20a1至20a5和20b1至20b5各自以大于180度的角度α充当视角来进行成像。因此，为了防止外壳10a包含在由成像主体211至215捕获的捕获图像中，根据成像镜头20a1至20a5和20b1至20b5的视角，外壳10a的第一表面和第二表面在其相对于成像镜头20a1至20a5和20b1至20b5的中心线C的两侧被倒角。倒角的表面在图3的部分(a)、图3的部分(b)和图3的部分(c)中被指示为表面231、232、233和234。
虽然示例已经描述了成像设备1a包含五个成像主体211至215，但是实施例不限于此。换言之，成像设备1a可以包含六个或更多个成像主体21或二至四个成像主体21，只要成像设备1a包含了多个成像主体21。
图4图示了可以由适用于实施例的每个成像主体211、212、……、215成像的成像范围的示例。每个成像主体211、212、……、215具有类似的成像范围。在图4中，成像主体211、212、……、215的成像范围由成像主体211的成像范围来表示。
在下文中，如图4所示，例如，成像镜头20a1、20a2、……、20a5对齐的方向定义为Z轴，并且成像镜头20a1和20b1的光轴的方向定义为X轴。另外，包含在垂直于Z轴的平面中并且与X轴成直角相交的方向定义为Y轴。
成像镜头20a1和20b1的组合，使得成像主体211能够具有以成像主体211的中心部分为中心的全球面的成像范围。具体地，如上所述，每个成像镜头20a1和20b1的视角设定为180度或更大，或者优选地设定为大于180度，或者更优选地设定为185度或更大。因此，成像镜头20a1和20b1的组合使得XY平面上的成像范围A和XZ平面上的成像范围B中的每一个能够是360度，并且这些成像范围的组合使得全球面的成像范围成为可能。
换言之，成像主体211能够对包含以成像镜头20a1的光轴为中心并在光轴的第一方向上取向的半球的范围进行成像，以及能够对包含以与成像镜头20a1的光轴相同的成像镜头20b1的光轴为中心并在与第一方向相反的第二方向上取向的半球的范围进行成像。
另外，成像主体211、212、……、215在Z轴方向上以距离d的间隔布置。因此，通过由成像主体211、212、……、215对相应的全球面的成像范围进行成像而获得的捕获图像是在Z轴方向上彼此偏离距离d的不同视点处的图像。
在这种情况下，在实施例中，每个成像镜头20a1至20a5和每个成像镜头20b1至20b5根据快门按钮30的操作以同步方式进行成像。因此，通过使用根据实施例的成像设备1a，在外壳10a的第一表面和第二表面中的每一个上获得在Z轴方向上彼此偏离距离d的不同视点处在相同定时捕获的五个捕获图像。
在Z轴方向上彼此偏离距离d的不同视点处在相同定时捕获的五个捕获图像是在Z轴方向上延伸的相同极线上对齐的图像。
适用于实施例的三维重建模型生成处理
接下来，下面将描述适用于实施例的使用不同视点处的多个图像的三维重建模型生成处理的概要。在实施例中，例如，如图5所示，连接到成像设备1a的图像处理设备100进行三维重建模型生成处理。例如，可以通过在个人计算机(PC)上执行图像处理程序来配置图像处理设备100；但是，其并不限于此。图像处理设备100可以被配置为用于执行三维重建模型生成处理的专用硬件。
例如，图像处理设备100从成像设备1a的存储器读取在不同视点处同步捕获且由成像设备1a储存在存储器中的多个捕获图像(在该示例中，在第一表面和第二表面上总共十个捕获图像)。图像处理设备100对于成像主体211、212、……、215中的每一个，在从成像设备1a的存储器读取的十个图像之中合成由每个成像主体211、212、……、215捕获的两个捕获图像，并生成在Z轴方向上彼此偏离距离d的不同视点处的五个全球面图像。
全球面图像是带有4π球面度的立体角度的图像，并且通过对可以从成像位置观察的所有方向进行成像来获得。图像处理设备100通过使用五个全球面图像中的任何一个作为参考来获得每个全球面图像中的视差，并基于所获得的视差来生成三维重建模型。
图6图示了适用于实施例的在五个不同视点处捕获并针对在成像设备1a中的相应成像主体211、212、……、215合成的图像的示例。图6的部分(a)图示了对象60的示例。图6的部分(b)、图6的部分(c)、图6的部分(d)、图6的(e)部分和图6的部分(f)图示了全球面图像3001、3002、3003、3004和3005，该全球面图像3001、3002、3003、3004和3005通过合成在五个不同视点处成像的相同对象60的捕获图像而获得。如图6的部分(b)至图6的部分(f)所示，每个全球面图像3001至3005包含根据成像主体211至215之间的距离d而稍稍偏离的对象60的图像。
在图6中，为了便于解释，图示了成像设备1a对呈现在成像设备1a的第一表面(前表面)侧的对象60成像的情况。然而，实际上，成像设备1a能够对围绕成像设备1a的对象60进行成像。在这种情况下，全球面图像3001至3005是例如在等距柱状投影中的图像，在每个图像中，左侧和右侧表示相同的位置，并且顶侧和底侧中的每一个表示单个点。换言之，为了便于解释，图示了从等距柱状投影中的图像转换和提取的一些部分作为图6中的全球面图像3001至3005。
全球面图像3001至3005的投影方法不限于等距柱状投影。例如，当不需要在Z轴方向上设定大视角时，全球面图像3001至3005可以是使用圆柱投影的图像。
图7是图示适用于实施例的三维重建模型生成处理的示例的流程图。例如，流程图中的每个处理由图像处理设备100执行。假设由成像主体211至215捕获的十个捕获图像已经储存在成像设备1a的内置存储器中。
在步骤S10，图像处理设备100从成像设备1a获取由每个成像主体211至215捕获的每个捕获图像。图像处理设备100通过对于每个成像主体211至215合成获取的捕获图像来生成如图6所示的在多个视点处捕获的五个全球面图像3001至3005。
在随后的步骤S11，图像处理设备100选择在步骤S10生成的全球面图像3001至3005中的一个作为参考全球面图像(全球面图像3001)。图像处理设备100相对于所选择的参考全球面图像来计算其它全球面图像3002至3005中的所有像素的视差。
下面描述适用于第一实施例的计算视差的方法的原理。使用由诸如成像元件200a之类的图像传感器捕获的捕获图像来计算视差的基本原理是使用三角测量的方法。以下参考图8描述三角测量。在图8中，相机400a包含镜头401a和成像元件402a，并且相机400b包含镜头401b和成像元件402b。三角测量用于基于关于由成像元件402a和402b捕获的捕获图像中的成像位置的信息，计算从连接相机400a和400b的线到目标403的距离D。
在图8中，值f指示每个镜头401a和401b的焦距。基线长度B是连接镜头401a和401b的光轴中心的线的长度。在图1和图3的示例中，成像主体211至215之间的间隔的距离d对应于基线长度B。视差q是目标403分别在成像元件402a和402b上的成像位置i1与i2之间的差。基于三角形之间的相似性，D:f＝B:q成立，并且因此距离D可以通过表达式(1)来计算。
Figure BDA0002147658630000101
在表达式(1)中，焦距f和基线长度B是已知的。因此，该处理中的问题是计算视差q。视差q是成像位置i1与i2之间的差。因此，计算视差的基本问题是识别由成像元件402a和402b捕获的捕获图像的成像位置之间的对应关系。通常，通过基于极线约束在极线上搜索视差来进行在多个图像之间找到对应位置的匹配处理。
可以使用各种计算方法来实现对视差的搜索处理。例如，可以使用由下面的表达式(2)表示的归一化互相关(NCC)系数来应用块匹配处理，或者使用由下面的表达式(3)和表达式(4)表示的半全局匹配(SGM)来应用高密度视差计算处理。可以取决于最终要生成的三维重建模型的使用来适当地选择要使用何种方法来计算视差。在表达式(2)至表达式(4)中，值p指示像素位置，并且值q指示视差。
Figure BDA0002147658630000102
Figure BDA0002147658630000103
Figure BDA0002147658630000104
基于这些成本函数，计算极线上像素的对应关系，并选择指示最高相似性的计算结果。在NCC中，即表达式(2)，带有数值C(p,q)NCC的最大成本的像素位置可以被视为对应点。在SGM中，即表达式(3)和表达式(4)，带有最小成本的像素位置被视为对应点。
作为一个示例，下面将描述使用表达式(2)中的NCC计算视差的概要。在块匹配方法中，获得以下像素值：提取为M像素×N像素的块的区域的像素值，其中可选的参考像素充当参考图像中的块的中心；以及提取为M像素×N像素的块的区域的像素值，其中可选的目标像素充当目标图像中的块的中心。基于所获得的像素值，计算含有参考像素的区域与含有目标像素的区域之间的相似性。在搜索目标的图像中移动M像素×N像素的块，并比较相似性。在提供最高相似性的位置处的块中的目标像素被选择为参考像素的对应像素。
在表达式(2)中，值I(i,j)指示参考图像中的像素块的像素的像素值，并且值T(i,j)指示目标图像中的像素块的像素的像素值。当目标图像中的像素块(其对应于参考图像中的M像素×N像素的像素块)逐像素移动时，计算表达式(2)以搜索数值C(p,q)NCC取最大值的像素位置。
在使用根据第一实施例的成像设备1a的情况下，上述三角测量原理基本上用于计算视差。成像设备1a包含五个成像主体211至215，并能够一次捕获五个全球面图像3001至3005。换言之，根据第一实施例的成像设备1a能够同时捕获三个或更多个捕获图像。因此，上述三角测量原理被扩展并应用于第一实施例。
例如，如在作为NCC的示例的表达式(5)或作为SGM的示例的表达式(6)中所示，可以通过使用作为成本总和的成本来检测由每个相机捕获的捕获图像中的对应点，其中每个成本是彼此相距基线长度B的相机之间的视差q。
Figure BDA0002147658630000111
Figure BDA0002147658630000112
作为一个示例，第一、第二和第三相机按照第一相机、第二相机和第三相机的顺序布置在极线上。在这种情况下，在一对第一相机和第二相机、一对第一相机和第三相机、以及一对第二相机和第三相机中的每一对上，使用如上所述的诸如NCC或SGM之类的方法来计算成本。通过计算从各对相机计算的成本的总和，并且基于该总和来获得成本的最小值，可以计算到目标的最终距离D。
实施例中的计算视差的方法不限于上述方法，并且可以应用使用极线平面图(EPI)的立体图像测量方法。例如，可以通过将基于由成像设备1a中的成像主体211至215捕获的捕获图像的全球面图像3001至3005视为由以均匀速度移动的相机捕获的相同图像来生成EPI。通过使用EPI，例如，与如上所述使用三角测量的方法相比，可以容易地搜索全球面图像3001至3005之中的对应点。
作为一个示例，例如，参考成像主体211，在成像设备1a中计算成像主体211与每个成像主体212至215之间的每个距离d1-2、d1-3、d1-4和d1-5。基于计算结果生成在侧面、垂直轴(x,y)和全球面图像3001至3005的距离D(＝0，距离d1-2、……、d1-5)的三个维度上的空间图像。生成yD平面上的特殊图像的横截面图像作为EPI。
在如上所述生成的EPI中，存在于每个原始全球面图像3001至3005中的对象上的点被表示为单个直线。直线的斜率取决于从成像设备1a到对象上的点的距离而改变。因此，可以通过检测包含在EPI中的直线，来确定全球面图像3001至3005之中的对应点。另外，可以根据直线的斜率计算从成像设备1a到对应于直线的对象的距离。
下面参考图9和图10描述EPI的原理。图9的部分(a)图示了一组多个图像4201、4202、……，每个图像都是圆柱形图像。图9的部分(b)示意性地图示了从该组图像4201、4202、……在平面421处提取的EPI 422。在图9的部分(a)的示例中，图像4201、4202、……的捕获位置的轴沿深度方向布置。该组图像4201、4202、……被叠加以构建三维数据，如图9的部分(a)所示。从该组图像4201、4202、……在平行于深度方向的平面421处提取的三维数据的一部分在图9的部分(b)中图示为EPI 422。
换言之，该EPI 422是通过以下方式而构建的图像：从图像4201、4202、……提取具有相同X坐标的线，并通过按照X坐标取含有相应线的图像4201、4202、……来布置所提取的线。
图10是用于解释适用于第一实施例的EPI的原理的视图。图10的部分(a)示意性地图示了上述图9的部分(b)。在图10的部分(a)中，横轴u表示指示视差的、图像4201、4202、……被叠加的深度方向。垂直轴V对应于图像4201、4202、……的垂直轴。EPI 422表示通过在基线长度B的方向上叠加捕获图像而创建的图像。
基线长度B的变化由图10的部分(b)中所示的距离ΔX表示。在图10的部分(b)中，位置C1和C2分别对应于例如图8中所示的镜头401a和401b的光学中心。位置u1和u2分别是相对于位置C1和C2的位置，并且分别对应于图8中所示的成像位置i1和i2。
通过如上所述在基线长度B的方向上布置图像4201、4202、……，图像4201、4202、……的对应点的位置表示为在EPI 422上的带有斜率m的直线或曲线。该斜率m是要用于计算距离D的视差q。斜率m随着距离D减小而变小，并且随着距离D增大而变大。带有根据距离D可变的斜率m的直线或曲线被称为特征点轨迹。
斜率m由以下表达式(7)表示。在表达式(7)中，值Δu指示在图10的部分(b)中作为成像点的位置u1与位置u2之间的差，并且可以通过表达式(8)来计算。通过表达式(9)根据斜率m计算距离D。在表达式(7)至表达式(9)中，值v指示相机的移动速度，并且值f指示相机的帧率。即，表达式(7)至表达式(9)是当以均匀速度v移动相机时以帧率f捕获整个圆周图像时使用的表达式。
Figure BDA0002147658630000131
Figure BDA0002147658630000132
Figure BDA0002147658630000133
当整个圆周图像用作构建EPI的图像时，斜率m是基于曲线的值。下面参考图11和图12解释这种情况。在图11中，球4111、4112和4113分别指示由相机#0、相机#ref和相机#(n-1)捕获的全球面图像。相机各自具有与成像主体21相同的结构，并且在直线上对齐。相机#0和相机#ref之间的间隔(基线长度)指示为距离d2，并且相机#ref和相机#(n-1)之间的间隔指示为距离d1。在下文中，球4111、4112和4113分别被称为全球面图像4111、4112和4113。
目标点P在全球面图像4111上的成像位置是相对于相机#0、#REF和#(n-1)对齐的直线带有角度
Figure BDA0002147658630000141
的位置。同样，目标点P在全球面图像4112和4113上的成像位置分别是相对于该直线带有角度
Figure BDA0002147658630000142
和
Figure BDA0002147658630000143
的位置。
在图12中，这些角度
Figure BDA0002147658630000144
和
Figure BDA0002147658630000145
绘制在垂直轴上，并且相机#0、#ref和#(n-1)的位置绘制在水平轴上。如图12所示，由全球面图像4111、4112和4113的成像位置以及相机#0、#ref和#(n-1)的位置表示的特征点轨迹不是直线而是曲线413，该曲线413近似于连接点的直线4121和4122。
当使用全球面图像3001至3005来计算整个圆周的视差q时，可以使用直接从全球面图像3001至3005在曲线413上搜索对应点的方法，如上所述。替代地，可以使用将全球面图像3001至3005转换为诸如针孔投影系统之类的投影系统，并基于转换后的图像来搜索对应点的方法。
在图11的示例中，在全球面图像4111、4112和4113之中，全球面图像4112被用作参考图像(ref)，全球面图像4111被用作第(n-1)个目标图像，并且全球面图像4113被用作第0个目标图像。基于充当参考图像的全球面图像4112，全球面图像4111和4113的对应点分别由视差qn-1和q0表示。例如，可以使用包含上述表达式(2)至表达式(4)的各种已知方法来获得视差qn-1和q0。
通过使用EPI来生成三维重建模型，可以以统一的方式处理大量的整个圆周图像。另外，通过使用斜率m，计算涵盖的不仅仅是点的对应关系，从而使得该处理稳健。
现在描述返回到图7中的流程图。在步骤S11的视差计算之后，图像处理设备100的处理继续进行到步骤S12。在步骤S12，图像处理设备100对在步骤S11计算的指示视差的视差信息进行校正处理。作为对视差信息的校正处理，可以应用基于曼哈顿世界(Manhattan-world)假设的校正、片段校正等。在随后的步骤S13，图像处理设备100将经过步骤S12的校正处理的视差信息转换为三维点群信息。在随后的步骤S14，如果需要，图像处理设备100对在步骤S13从视差信息转换的三维点群信息进行平滑处理、网格处理等。通过步骤S14的处理，生成基于全球面图像3001至3005的三维重建模型。
可以使用以开源分发的运动结构(SfM)软件、多视图立体声(MVS)软件等来执行上述从步骤S11到步骤S14的处理。由图像处理设备100进行的图像处理包含，例如，SFM软件、MVS软件等。
虽然已经描述了由图像处理设备100进行步骤S11的视差计算处理的情况，但是不限于此。换言之，可以在成像设备1a中进行步骤S11的视差计算处理。例如，可能可以在以下情况下在成像设备1a中进行视差计算处理：例如，当成像主体211、212、……的数量少时、当包含在每个成像主体211、212、……中的每个成像元件200a和200b的分辨率低时、当优先考虑处理速度而不是重建精度时、或者当高能力的运算元件安装在成像设备1a上时。
此外，如上面参考图3和图4所述，在根据实施例的成像设备1a中，每个成像主体211至215布置在Z轴上。因此，优选地在图13所示的平面40上在径向上计算从成像设备1a到每个对象的距离，其中平面40垂直于成像镜头20a1至20a5对齐的方向。在本文中描述的“优选”指示相对于视角生成三维重建模型的能力。
换言之，对于平面40上的每个方向(图13中的径向方向)，相应成像主体211至215的视角覆盖360度的整个圆周，以使得可以相对于整个圆周计算距离。相反，对于Z轴方向，成像主体211至215的视角(成像范围)在很大程度上彼此重叠。因此，在Z轴方向上，在基于由成像主体211至215捕获的捕获图像的全球面图像3001至3005中，在180度视角周围的视差减小。因此，难以在包含Z轴的平面上的方向上计算360度的整个圆周的距离。
如图14所示，假设包含大型建筑物50、50、……等的大空间被视为要生成三维重建模型的目标。图14中所示的X轴、Y轴和Z轴分别与图4中所示的X轴、Y轴和Z轴一致。在这种情况下，在由XY轴表示的平面40上的方向上进行全视角(360度)的建模。因此，优选地将多个成像主体211至215布置为在垂直于平面40的Z轴方向上对齐。
根据实施例的与成像设备进行的信号处理有关的配置
接下来，将描述根据实施例的与成像设备1a进行的信号处理有关的配置。图15-1图示了根据实施例的成像设备1a的配置的示例的框图。在图15-1中，与上述图1和图2中所示的组件相对应的组件由相同的附图标记表示，并且将省略其详细解释。
在图15-1中，成像设备1a包含成像元件200a1、200a2、……、200a5，成像元件200b1、200b2、……、200b5，驱动单元210a1、210a2、……、210a5，驱动单元210b1、210b2、……、210b5，缓冲存储器211a1、211a2、……、211a5，和缓冲存储器211b1、211b2、……、211b5。
在上述组件之中，成像元件200a1、200a2、……、200a5，驱动单元210a1、210a2、……、210a5，和缓冲存储器211a1、211a2、……、211a5是分别对应于成像镜头20a1、20a2、……、20a5并包含在成像主体211、212、……、215中的组件。在图15中，为了简化起见，仅图示了在成像主体211至215之中的成像主体211。
类似地，成像元件200b1、200b2、……、200b5，驱动单元210b1、210b2、……、210b5，和缓冲存储器211b1、211b2、……、211b5是分别对应于成像镜头20b1、20b2、……、20b5并包含在成像主体211、212、……、215中的组件。
成像设备1a进一步包含控制单元220、存储器221和开关(SW)222。开关222对应于图1中所示的快门按钮30。例如，开关222的闭合状态对应于操作快门按钮30的状态。
成像设备1a可以进一步包含显示单元223和声音输入/输出单元224。显示单元223包含，例如，诸如发光二极管(LED)之类的显示装置，以及用于该显示装置的驱动电路。显示单元223在控制单元220的控制下显示例如成像设备1a的状态。声音输入/输出单元224包含，例如，麦克风、扬声器和声音处理电路。例如，声音输入/输出单元224将在成像设备1a外部生成的声音捕获到成像设备1a中，并且将在成像设备1a内部生成的声音输出到外部。
将在下面描述成像主体211。成像主体211包含成像元件200a1、驱动单元210a1、缓冲存储器211a1、成像元件200b1、驱动单元210b1和缓冲存储器211b1。
驱动单元210a1根据从控制单元220提供的触发信号来驱动成像元件200a1并从成像元件200a1读取电荷。驱动单元210a1将从成像元件200a1读取的电荷转换为电信号，进一步将该电信号转换为作为数字数据的捕获图像，并输出该捕获图像。驱动单元210a1基于响应于单个触发信号而从成像元件200a1读取的电荷，输出一帧的捕获图像。
缓冲存储器211a1是能够至少储存一帧的捕获图像的存储器。从驱动单元210a1输出的捕获图像被临时储存在缓冲存储器211a1中。
在成像主体211、成像元件200b1、驱动单元210b1和缓冲存储器211b1分别具有与如上所述的成像元件200a1、驱动单元210a1和缓冲存储器211a1相同的功能，并且因此，将省略其说明。另外，其它成像主体212至215具有与成像主体211相同的功能，因此，将省略其解释。
控制单元220控制成像设备1a的整个操作。在检测到从开关222的打开状态到闭合状态的转换时，控制单元220输出触发信号。该触发信号被同时提供给每个驱动单元210a1、210a2、……、210a5和驱动单元210b1、210b2、……、210b5。
根据触发信号的输出，存储器221在控制单元220的控制下，从每个缓冲存储器211a1、211a2、……、211a5和每个缓冲存储器211b1、211b2、……、211b5读取捕获图像，并储存每个所读取的捕获图像。储存在存储器221中的每个捕获图像可以由连接到成像设备1a的图像处理设备100读取，例如如上面参考图5所述。
以这种方式，控制单元220用作成像控制单元，其控制由每个成像主体211至215进行的成像并获取捕获图像。
电池2020例如是二次电池，诸如锂离子二次电池，并且充当向成像设备1a中需要供电的单元供电的供电单元。电池2020包含控制二次电池的充电和放电的充电/放电控制电路。
图15-2图示了从电池2020到成像设备1a中的组件的供电路径的示例。在图15-2中，为简单起见，省略了图15-1中所示的组件之间的信号路径。如图15-2所示，电池2020向成像主体211、212、……、215中的驱动单元211a1至211a5、驱动单元211b1至211b5、缓冲存储器211a1至211a5和缓冲存储器211b1至211b5供电。成像元件200a1至200a5和成像元件200b1至200b5分别由驱动单元211a1至211a5和驱动单元211b1至211b5供应的电力驱动。电池2020还向控制单元220、存储器221、显示单元223和声音输入/输出单元224供电。例如，电力经由相应的独立导线或包含多个导线的柔性基板从电池2020供应到组件。
图16图示了根据实施例的成像设备1a中的控制单元220和存储器221的配置的示例。在图16中，控制单元220包含中央处理单元(CPU)2000、只读存储器(ROM)2001、触发器接口(I/F)2004、开关(SW)电路2005、数据I/F 2006、通信I/F 2007、显示装置I/F 2008a、音频I/F 2008b和实时时钟(RTC)2050，所有这些都可通信地连接到总线2010。存储器221包含随机存取存储器(RAM)2003和存储器控制器2002。存储器控制器2002电连接到总线2010。电池2020向CPU 2000、ROM 2001、存储器控制器2002、RAM 2003、触发器I/F 2004、开关电路2005、数据I/F 2006、通信I/F 2007、显示装置I/F 2008a、音频I/F 2008b、总线2010和RTC2050供电。
CPU 2000根据例如预先储存在ROM 2001中的程序，使用RAM 2003的储存区域的一部分作为工作存储器进行操作，并控制成像设备1a的整个操作。存储器控制器2002根据来自CPU 2000的指令控制储存数据到RAM 2003中和从RAM 2003读取数据。存储器控制器2002还根据来自CPU 2000的指令控制从每个缓冲存储器211a1、211a2、……、211a5和每个缓冲存储器211b1、211b2、……、211b5读取捕获图像。
开关电路2005检测开关222的闭合状态和打开状态之间的转换，并将检测结果发送到CPU 2000。在从开关电路2005接收到指示开关222从打开状态转换到闭合状态的检测结果时，CPU 2000输出触发信号。触发信号是经由触发器I/F 2004输出的，并被划分和供应到每个驱动单元210a1、210a2、……、210a5和每个驱动单元210b1、210b2、……、210b5。
数据I/F 2006是用于与外部设备进行数据通信的接口。例如，作为数据I/F 2006，可以应用通用串行总线(USB)。通信I/F 2007连接到网络，并控制通过网络的通信。连接到通信I/F 2007的网络可以是有线网络或无线网络，或者通信I/F 2007可以连接到有线网络和无线网络两者。上述图像处理设备100经由数据I/F 2006和通信I/F 2007中的至少一个连接到成像设备1a。
虽然已经描述了CPU 2000根据从开关电路2005发送的检测结果输出触发信号的示例，但是本发明不限于该示例。例如，CPU 2000可以根据经由数据I/F 2006或通信I/F2007供应的信号输出触发信号。此外，触发I/F 2004可以根据从开关电路2005发送的检测结果生成触发信号，并将该触发信号供应到每个驱动单元210a1、210a2、……、210a5和每个驱动单元210b1、210b2、……、210b5。
显示装置I/F 2008a是显示单元223的接口。显示装置I/F 2008a将由CPU 2000生成的显示控制信号转换为可以由包含在显示单元223中的显示装置显示的信号。音频I/F2008b是声音输入/输出单元224的接口。音频I/F 2008b包含用于将模拟音频信号转换为数字音频信号的模拟/数字(A/D)转换器，以及用于将数字音频信号转换为模拟音频信号的数字/模拟(D/A)转换器。RTC 2050通过计算时钟来测量时间。
使用这种配置，在检测到开关222从打开状态转换到闭合状态时，控制单元220生成并输出触发信号。该触发信号在相同定时被供应到每个驱动单元210a1、210a2、……、210a5和每个驱动单元210b1、210b2、……、210b5。每个驱动单元210a1、210a2、……、210a5和每个驱动单元210b1、210b2、……、210b5使用所供应的触发信号同步地从每个成像单元200a1、200a2、……、200a5和每个成像单元200b1、200b2、……、200b5读取电荷。
每个驱动单元210a1、210a2、……、210a5和每个驱动单元210b1、210b2、……、210b5将从每个成像单元200a1、200a2、……、200a5和每个成像单元200b1、200b2、……、200b5读取的电荷转换为捕获图像，并将通过该转换获得的捕获图像储存在每个缓冲存储器211a1、211a2、……、211a5和每个缓冲存储器211b1、211b2、……、211b5中。
在输出触发信号之后的预定定时，控制单元220指示存储器221从每个缓冲存储器211a1、211a2、……、211a5和每个缓冲存储器211b1、211b2、……、211b5读取捕获图像。在存储器221中，存储器控制器2002根据指令从每个缓冲存储器211a1、211a2、……、211a5和每个缓冲存储器211b1、211b2、……、211b5读取捕获图像，并且将每个所读取的捕获图像储存在RAM2003的预定区域中。
例如，当图像处理设备100经由数据I/F 2006连接到成像设备1a时，图像处理设备100经由数据I/F 2006发出读取储存在RAM 2003中的每个捕获图像的请求。CPU 2000指示存储器控制器2002响应于该请求从RAM 2003读取每个捕获图像。存储器控制器2002根据指令从RAM 2003读取每个捕获图像，并且经由数据I/F 2006将每个所读取的捕获图像发送到图像处理设备100。图像处理设备100基于从成像设备1a发送的每个捕获图像来进行图7的流程图中所示的处理。
图17图示了根据实施例的成像设备1a中的电池2020和电路单元2030(控制单元)的布置示例。如图所示，电池2020和电路单元2030设置在外壳10a内。在电池2020和电路单元2030中，使用诸如粘合剂或螺钉之类的固定构件至少将电池2020固定到外壳10a的内部。图17对应于上述图3的部分(b)，并且图示了从前表面观察的成像设备1a的示例。电路单元2030至少包含如上所述的控制单元220和存储器221中的每个元件。例如，控制单元220和存储器221配置在一个或多个电路板上。如图17所示，在成像设备1a中，电池2020和电路单元2030布置在成像镜头20a1、20a2、……、20a5对齐的线的延长线上。
虽然已经描述了电池2020和电路单元2030布置在这些位置的示例，但是本发明不限于该示例。例如，如果电路单元2030的尺寸足够小，则至少电池2020布置在该位置是充足的。
通过如上所述布置电池2020和电路单元2030，可以减小成像设备1a的表面(前表面和后表面)的水平宽度(图4中在Y轴上的宽度)，其中在该成像设备1a上布置有每个成像镜头20a1、20a2、……、20a5(以及每个成像镜头20b1、20b2、……、20b5)。使用这种配置，可以防止成像设备1a的外壳10a的一部分被包含在由每个成像主体211、212、……、215捕获的每个捕获图像中。因此，可以以更高的精度计算视差。
此外，出于相同的原因，优选地尽可能地减小成像设备1a的外壳10a的水平宽度。
如上所述，根据实施例的成像设备1a包含多个成像主体211、212、……、215，每个成像主体能够在不同的视点成像全球面。成像主体211、212、……、215响应于快门按钮30的单个操作以同步的方式进行成像。因此，可以在不同视点处同步地获取多个全球面图像3001至3005，并且防止成像环境中的时间变化的影响。
此外，成像主体211、212、……、215的相对位置固定在根据实施例的成像设备1a中。因此，例如与移动包含单个成像主体21的成像设备以在不同的视点捕获图像的情况相比，通过使用根据实施例的成像设备1a，不需要进行用于估计视点的移动量的高精度处理。
此外，根据实施例的成像设备1a能够使用多个全球面图像3001至3005来计算视差，该多个全球面图像3001至3005是基于由已知其相对位置的成像主体211、212、……、215捕获的多个捕获图像。因此，可以增加用于视差计算的每个全球面图像3001至3005的可靠性。因此，可以减少视差计算中的噪声。
此外，根据实施例的成像设备1a能够通过划分成像主体211、212、……、215之间的距离范围来同时进行处理。因此，可以减少处理时间。
例如，取决于季节、一年中的时间、一天中的时间等获取关于旅游目的地、不动产、检验等的数据并且分析和记录该数据的变化的需求日益增加。然而，传统上，需要准备大规模的设备，并且需要花费很长时间来获取数据以生成三维重建模型；因此，难以满足上述需求。同时，当要生成用于小规模对象的三维重建模型时，通常使用捕获图像和SfM技术。
然而，在如上所述的与旅游目的地、不动产、检验等相对应的大空间或宽距离范围内，鉴于视角和SfM精度的限制需要大量的捕获图像。如果对大量捕获图像进行三维重建模型生成处理，则可能需要长处理时间或者在获取大量捕获图像期间环境可能是变化的，并且在一些情况下，该处理可能无法正常进行。
在根据实施例的成像设备1a中，可以由多个成像主体211至215在不同的视点以同步方式进行成像。因此，可以减少成像所花费的时间，并且即使当需要大量捕获图像时，也可以防止由于环境变化引起的成像条件的变化。此外，由于成像主体211至215的相对位置是固定的，因此可以容易地基于捕获图像来计算视差。
另外，可能可以生成来自全球面图像3001至3005的多个全球面图像的组合(该全球面图像3001至3005是基于由包含在根据实施例的成像设备1a中多个成像主体211、212、……、215捕获的捕获图像)，并且对包含在所生成的组合中的多个全球面图像中的相同点进行视差计算处理。
例如，从全球面图像3001至3005生成包含全球面图像3001和3002的组合、包含全球面图像3002和3003的组合、包含全球面图像3003和3004的组合以及包含全球面图像3004和3005的组合。在每个生成的组合中，计算在该组合的多个全球面图像中的相同点处的视差。与使用基于由单个成像主体捕获的捕获图像的全球面图像来计算视差的情况相比，通过对每个组合的多个计算的视差进行滤波处理，可以改善距离计算的稳定性。作为滤波处理，可以应用各种方法，诸如中值滤波处理或移动平均滤波处理。
在根据实施例的成像设备1a中，优选地，包含在成像主体21中的图像形成光学系统201a和201b被配置为使得，周边视角和中心视角之间的分辨率(模糊)的差异很小。作为用于减小周边视角和中心视角之间的分辨率差异的技术，可以应用日本专利第5783314号和日本专利第5839135号中公开的技术。
另外，优选地，校准用于生成全球面图像的每个捕获图像，使得捕获图像彼此相关，以便实现作为整个圆周的连接，并且根据设计值排列捕获图像。进行对全球面图像的校准，使得将成像主体211至215之中的某一成像主体(例如，布置在最底部位置的成像主体215)作为参考，并且校正由每个成像主体211至214捕获的每个捕获图像，以便将其相对于由参考成像主体215捕获的捕获图像排列在直线上。重要的是进行校正使得所有成像主体211至215排列在直线上，而不是仅对相邻成像主体进行校正，以便使视差计算容易。
实施例的第一修改
接下来，将描述实施例的第一修改。图18示意性地图示了根据实施例的第一修改的成像设备的外观的视图。在图18中，类似于图1中所示的成像设备1a，成像设备1b包含在外壳10b的第一表面(前表面)上的多个(在本示例中为六个)成像镜头20a10、20a11、20a12、20a13、20a14和20a15以及快门按钮30，该外壳10b以大致长方体形状形成。
此外，例如，类似于上述成像设备1a，成像设备1b包含成像镜头20b10、20b11、20b12、20b13、20b14和20b15，每个成像镜头20b10、20b11、20b12、20b13、20b14和20b15在与每个成像镜头20a10、20a11、20a12、20a13、20a14和20a15距离底表面的相同高度处被安装在外壳10b的第二表面(后表面)上。
每个成像主体2110、2111、2112、2113、2114和2115由以下构建：在成像镜头20a10、20a11、20a13、20a14和20a15和成像镜头20b10、20b11、20b12、20b13、20b14和20b15之中的距离外壳10b底表面相同高度处的成像镜头的组合，以及图像形成光学系统和对应于该成像镜头的组合的成像元件。成像区域2b包含六个成像主体2110、2111、2112、2113、2114和2115。
每个成像主体2110至2115的结构和配置与如上面参考图2描述的成像主体21的配置和如上面参考图15描述的成像主体211的配置相同，并且因此，将省略其解释。此外，对于每个成像主体2110至2115的布置，成像主体2110至2115从外壳10b的底面侧到上表面侧布置，使得镜头的中心在长侧方向上与外壳10b的中心线对齐，如上面参考图1和图3所述。此外，关于成像设备1b的配置，可应用与上面参考图15和图16描述的配置基本相同的配置，并且因此，将省略其解释。
在实施例的第一修改中，成像主体2110至2115(每个成像镜头20a10至20a15和每个成像镜头20b10至20b15)之间的布置间隔不同于上述实施例的布置间隔。具体地，在根据实施例的第一修改的成像设备1b中，成像镜头20a10至20a15包含例如在一侧上相邻成像镜头的间隔与在另一侧上相邻成像镜头的间隔不同的成像镜头。
在图18所示的示例中，成像镜头20a10至20a15之间的间隔由距离d1、d2、d3、d4和d5表示。在该示例中，距离d1至d5之间的关系由下面的表达式(10)表示。
d1>d2>d3>d4＝d5 (10)
类似于上述实施例，图像处理设备100根据图7的流程图中的处理，获取由来自图像设备1b的每个成像主体2110至2115捕获的捕获图像。图像处理设备100基于从成像设备1b获取的每个捕获图像，在对应于相应成像主体2110至2115的不同视点处生成多个全球面图像。图像处理设备100基于该多个全球面图像来计算视差，并基于该计算的视差来生成三维重建模型。
随着成像镜头之间的距离的增加，基于捕获图像计算视差变得更容易，使得可以获得与远距离处的对象的距离。相反，当成像镜头之间的距离短时，可以在防止噪声的同时高精度地获得与近距离处的对象的距离。因此，通过使用基于由根据实施例的第一修改的成像设备1b捕获的捕获图像的全球面图像，可以均匀地计算从远距离到近距离的距离。因此，即使当大空间作为目标时，也可以高精度地生成三维重建模型。
在上述示例中，图像处理设备100使用由成像主体2110至2115捕获并从成像设备1b获得的所有捕获图像来生成三维重建模型；然而，本发明不限于该示例。例如，图像处理设备100可以使用由任意地从成像主体2110至2115中选择的成像主体捕获的捕获图像来生成三维重建模型。
例如，通过选择成像主体2110、2111和2112，可以以较高速度生成与远距离处的对象有关的三维重建模型。例如，通过选择成像主体2113、2114和2115，可以以较高速度生成与近距离处的对象有关的三维重建模型。此外，可能可以选择成像主体2110和2112以及成像主体2114和2115。在这种情况下，与基于由所有成像主体2110至2115捕获的捕获图像来生成三维重建模型的情况相比，精度可能降低，但是可以以较高速度生成用于从近距离到远距离的距离处的对象的三维重建模型。
作为从成像主体211至215中选择用于捕获用于生成三维重建模型的图像的成像主体的方法，可以在每个信号路径(从控制单元220输出的触发信号的分支目的地)上为每个成像主体211至215提供可由控制单元220控制的开关电路，以用于向例如每个驱动单元210a1至210a5和每个驱动单元210b1至210b5供应触发信号。
在这种情况下，根据经由数据I/F 2006或通信I/F 2007发出的指令，控制单元220将用于向成像主体供应触发信号的开关电路的状态改变到闭合状态，该成像主体是从成像主体211至215中选择的以便使用其捕获图像，并且控制单元220还将用于向其它成像主体供应触发信号的开关电路的状态改变到打开状态。
又例如，可以通过控制由存储器控制器2002从缓冲存储器211a1至211a5和缓冲存储器211b1至211b5中的每一个进行的读取来选择捕获图像。在这种情况下，按照根据经由数据I/F 2006或通信I/F 2007发出的指令而从控制单元220发出的指令，存储器控制器2002从包含在成像主体2110至2115中的缓冲存储器211a1至211a5和缓冲存储器211b1至211b5之中的、包含在所选择的成像主体中的缓冲存储器读取捕获图像，并将该捕获图像储存在RAM2003中。
此外，可以使图像处理设备100进行从成像主体2110至2115中选择要使用其捕获图像的成像主体的处理。在这种情况下，成像设备1b通常进行成像，并且图像处理设备100从来自成像设备1b获取的捕获图像中选择期望的捕获图像。
实施例的第二修改
接下来，将描述实施例的第二修改。图19示意性地图示了根据实施例的第二修改的成像设备的外观的视图。在图19中，类似于图1中所示的成像设备1a，成像设备1c包含在外壳10c的第一表面(前表面)上的多个(在本示例中为三个)成像镜头20a20、20a21和20a22以及快门按钮30，该外壳10c以大致长方体形状形成。在成像设备1c中，成像主体2120、2121和2122(每个成像主体包含在成像镜头20a20、20a21和20a22和安装在外壳10c的第二表面(后表面)上的成像镜头20b20、20b21和20b22之中的距离底表面相同高度处的成像镜头的组合)与上面参考图1描述的实施例的成像主体相同，并且因此，将省略其解释。成像区域2c包含三个成像主体2120、2121和2122。
在根据实施例的第二修改的成像设备1c中，成像主体2120、2121和2122之间的间隔设定为距离d6，该距离d6比根据上述实施例的成像设备1a中的距离d短。使用这种配置，与根据实施例的成像设备1a相比，成像设备1c适合于生成与近距离处的对象有关的三维重建模型。此外，在图19的示例中，成像设备1c包含三个成像主体2120、2121和2122，其中成像主体的数量比图1中所示的成像设备1a小。因此，与根据实施例的成像设备1a相比，根据实施例的第二修改的成像设备1c可以降低成本。
实施例的第三修改
接下来，将描述实施例的第三修改。图20示意性地图示了根据实施例的第三修改的成像设备的外观的视图。在图20中，成像设备1d由多个外壳10d和10e的组合构成。除了设置在外壳10d的顶表面上用于将外壳10d的内部电路连接到外部的连接器11之外，成像设备1d与根据上面参照图1描述的实施例的成像设备1a相同。
在图20中，类似于图1中所示的成像设备1a，在外壳10e中，在外壳10e的第一表面(前表面)上安装有多个(在本示例中为五个)成像镜头20a30、20a31、20a32、20a33和20a34，但是不安装快门按钮30，该外壳10e以大致长方体形状形成。类似于成像设备1a，在外壳10e中，每个成像镜头20b30、20b31、20b32、20b33和20b34在与每个成像镜头20a30、20a31、20a32、20a33和20a34距离底表面的相同高度处被安装在第二表面(后表面)上。
在外壳10e中，配置成像主体2130、2131、2132、2133和2134，每个成像主体包含成像镜头20a30至20a34和成像镜头20b30至20b34之中的距离底表面相同高度处的成像镜头的组合。每个成像主体2130至2134的结构和配置与图2中所示的结构和配置相同，因此，将省略其解释。此外，类似于上面参考图15描述的配置，每个成像主体2130至2134在每个前表面和后表面上都包含成像元件、驱动单元以及缓冲存储器。如图所示，外壳10e具有包含成像主体2130至2134的成像区域2d，并且没有操作区域。
参考图15和图16，例如，连接器11至少包含：各个端子，其用于将由控制单元220(触发器I/F 2004)使用来输出触发信号的连接线连接到每个成像主体2130至2134；多个连接线，其用于连接存储器221(存储器控制器2002)和包含在成像主体2130至2134中的缓冲存储器；以及电力线，其用于从外壳10d向外壳10e供电。
外壳10e包含在底表面上的连接器，该连接器包含对应于连接器11的各个端子。例如，外壳10e包含图15中所示的除了控制单元220、存储器221和开关222之外的组件。设置在外壳10e上的连接器包含：各个端子，其用于将供应作为单个信号的触发信号的连接线连接到包含在成像主体2130至2134中的每个驱动单元；来自包含在成像主体2130至2134中的缓冲存储器的多个连接线；以及电力线，其用于向外壳10e中的每个单元供电。
通过将设置在外壳10d的顶表面上的连接器11连接到设置在外壳10e的底表面上的连接器，外壳10d和外壳10e彼此电连接。优选地，外壳10e相对于外壳10d的位置通过连接器之间的连接而固定。
在外壳10d和外壳10e彼此电连接的状态下，当在外壳10d中操作快门按钮30时，控制单元220输出触发信号。该触发信号被供应到包含在外壳10d中的每个成像主体211至215，并还经由连接器11输入到外壳10e，从而被供应到包含在外壳10e中的每个成像主体2130至2134。使用这种配置，根据对安装在外壳10d上的快门按钮30的操作，可以将由包含在外壳10e中的每个成像主体2130至2134进行的成像与由包含在外壳10d中的每个成像主体211至215进行的成像同步。
在外壳10e中，由每个成像主体2130至2134捕获的捕获图像储存在包含在每个成像主体2130至2134中的缓冲存储器中。储存在每个缓冲存储器中的每个捕获图像在预定定时从每个缓冲存储器读取，经由连接器11输入到外壳10d，并且被供应到外壳10d中的存储器221。
如上所述，在实施例的第三修改中，多个外壳10d和10e被组合并用作单个成像设备1d。因此，例如，可以增强成像设备并生成具有更高精度的三维重建模型。此外，根据实施例的第三修改例，通过准备例如要连接到外壳10d的外壳10e的多个配置，可以取决于使用情况将成像设备1d的配置改变为外壳10d和10e的组合。
实施例的第四修改
接下来，将描述实施例的第四修改。例如，配置实施例的第四修改使得图1所示的成像设备1a中的成像主体211至215中的一个用于输出用于检查成像范围的取景器(finder)图像。图21图示了根据实施例的第四修改的成像设备的配置的示例的框图。在图21中，与上述图15中所示的组件相同的组件由相同的附图标记表示，并且将省略其详细解释。根据实施例的第四修改的成像设备1e的外观与图1中所示的成像设备1a相同，因此，将省略其解释。
在图21中，成像设备1e通过在图15所示的成像设备1a的成像主体211至215之中的成像主体211中添加图像处理单元230来配置。将图像处理单元230添加到成像主体211(或成像主体211至215中的任何一个)中的配置称为成像主体22。可能可以将图像处理单元230添加到控制单元220中。
成像设备1a的其它成像主体212至215可以原样应用在成像设备1e中。在成像设备1e中，除了根据对快门按钮30的操作输出的触发信号之外，控制单元220还输出帧信号，该帧信号是帧周期(例如，60Hz)中的信号。该帧信号被供应到包含在成像主体22中的每个驱动单元210a1和210b1，以及被供应到图像处理单元230。
在成像主体22中，驱动单元210a1根据从控制单元220供应的帧信号在帧周期中从成像元件200a1读取电荷，并基于读取的电荷输出捕获图像。在帧周期中从驱动单元210a1输出的成像信号被供应到图像处理单元230。
在成像主体22中，驱动单元210b1类似地根据从控制单元220供应的帧信号在帧周期中从成像元件200b1读取电荷，并基于读取的电荷输出捕获图像。在帧周期中从驱动单元210b1输出的捕获图像被供应到图像处理单元230。
例如，图像处理单元230包含：两个缓冲存储器，其对应于相应的驱动单元210a1和210b1并且可以储存单个帧的捕获图像；视频存储器，其可以储存至少单个帧的取景器图像；以及合成单元，其合成两个捕获图像以生成全球面图像。在帧周期中从驱动单元210a1和210b1供应的每个捕获图像储存在两个相应的缓冲存储器中。当单个帧的捕获图像分别储存在两个缓冲存储器中时，合成单元从两个缓冲存储器中读取捕获图像，并合成捕获图像以生成单个全球面图像。生成的全球面图像储存在视频存储器中。
图像处理单元230根据帧信号在帧周期中从视频存储器读取全球面图像，并输出该全球面图像作为取景器图像。例如，从图像处理单元230输出的取景器图像从数据I/F2006(参见图16)输出到外部。通过将包含显示装置的显示设备连接到数据I/F 2006，可以在显示设备的显示装置上显示取景器图像；但是，并不限于此。从图像处理单元230输出的取景器图像可以经由通信I/F2007输出到外部。
另外，类似于其它驱动单元210a2、……、210a5和驱动单元210b2、……、210b5，在成像主体22中，按照根据对快门按钮30的操作而从控制单元220输出的触发信号，每个驱动单元210a1和210b1从每个成像元件200a1和200b1读取电荷并输出该电荷作为捕获图像。
如上所述，根据实施例的第四修改，包含在成像设备1e中的成像主体中的一个被用作用于输出取景器图像的成像主体22。因此，通过使用成像设备1e，可以在检查成像范围的同时进行成像，从而可以减少成像所花费的时间。此外，不需要分开提供用于获取取景器图像的成像主体，从而可以降低成本。优选地，用于输出取景器图像的成像主体在包含在成像设备1e中的多个成像主体之中被布置在成像设备1e的外壳的最末端位置，例如，如图1中的成像主体211。这是因为布置在这样的位置处的成像主体可以对全球面图像的顶点部分上的外部区域成像，并且与布置在其它位置处的成像主体相比，可以在取景器图像上显示更大的外部区域。
实施例的第五修改
接下来，将描述实施例的第五修改。图22示意性地图示了根据实施例的第五修改的成像设备1f的外观与根据上述实施例的成像设备1a的外观的比较。在图22中，与上述图1中所示的组件相同的组件由相同的附图标记表示，并且将省略其详细解释。在成像设备1f中，成像主体211至215的布置和电路配置与上述成像设备1a相同，并且因此，将省略其解释。
根据该实施例的成像设备1a的外壳10a被配置为使得操作区域3a的长度L2短于成像区域2a的长度L1，如图22的右侧所示。本文描述的长度是外壳10a的长侧方向上的长度。在实施例的第五修改中，成像设备1f的外壳10f被配置为使得包含快门按钮30和夹持单元31'的操作区域3b的长度L3长于成像区域2a的长度L1。
如上所述，通过将外壳10f配置为使得操作区域3b的长度L3设定得更长，成像设备1f比成像设备1a更容易地捕获更高位置处的图像。另外，通过将操作区域3f的长度L3配置得更长，可以确保用于储存电路单元2030和电池2020(参见图17)的更大空间。该配置可以增加设计的自由度并且增加电池2020的尺寸。
当成像区域2a的长度L1设定得更长时，可以将成像主体211至215之间的每个距离d(基线长度B)增加到更大的值，并且可以获取在更远距离处的对象的距离信息。
图22图示了成像设备1a，该成像设备1a包含带有短于成像区域2a的长度L1的长度L2的操作区域，并且图示了成像设备1f，该成像设备1f包含带有长于成像区域2a的长度L1的长度L3的操作区域3b；然而，本发明不限于这些示例。即，例如，在成像设备1a中，成像区域2a的长度L1和操作区域3a的长度L2可以是大致相同的。
实施例的第六修改
接下来，将描述实施例的第六修改。图23示意性地图示了根据实施例的第六修改的成像设备的外观的视图。在图23中，与上述图1中所示的组件相同的组件由相同的附图标记表示，并且将省略其详细解释。在成像设备1g中，成像主体211至215的布置和电路配置与上述成像设备1a相同，并且因此，将省略其解释。
在图23中，类似于图1中所示的成像设备1a，成像设备1g的外壳10g包含在成像区域2a的下端侧上的操作区域3c，该操作区域3c包含快门按钮30a和夹持单元31a。成像设备1g进一步包含在成像区域2a的上端侧上的操作区域3d，该操作区域3d包含快门按钮30b和夹持单元31b。以与参考图1描述的夹持单元31相同的方式使夹持单元31a和31b难以滑动。
在成像设备1g中，可以通过操作快门按钮30a或快门按钮30b中任一个使成像主体211至215以同步方式进行成像。图24图示了根据实施例的第六修改的成像设备的电路配置的示例的视图。示意性地示出了成像设备1g的电路配置。在图24中，与上述图17中所示的组件相同的组件由相同的附图标记表示，并且将省略其详细解释。
如图24所示，来自快门按钮30a和30b的输出被供应到相同的电路单元2030。在上述图20所示的配置中，该状态对应于这样的状态，其中对应于相应快门按钮30a和30b的两个开关222并联布置并被连接到控制单元220。当操作快门按钮30a或快门按钮30b中任一个时，控制单元220同时向每个成像主体211至215供应触发信号。响应于该触发信号，成像主体211至215以同步方式进行成像。
如上所述，通过配置成像设备1g的外壳10g使得包含快门按钮30a和30b的操作区域3c和3d分别布置在外壳10g的相应端侧上，用户可以在长侧方向上握持成像设备1g的外壳10g的任一端侧(即，操作区域3c或操作区域3d)同时进行成像。
如图24所示，成像设备1g可以进一步包含方向传感器2040。方向传感器2040是用于至少检测在沿成像设备1g的长侧方向上的上侧和下侧的传感器。可以使用加速度传感器来配置方向传感器2040。
方向传感器2040的输出被供应到电路单元2030，作为指示在握持成像设备1g的同时操作区域3c和3d中的哪个位于向上(或向下)的方向信息。然后将方向信息传递给控制单元220。控制单元220将从方向传感器2040供应的方向信息添加到由成像主体211至215捕获的捕获图像，并且将带有方向信息的捕获图像储存在存储器221中。
以这种方式，当由图像处理设备100处理储存在存储器221中的捕获图像时，用户可以容易地理解捕获图像的上下方向和位置关系。
作为方向传感器2040，可以使用九轴传感器，该九轴传感器集成有三轴加速度传感器、三轴陀螺仪传感器和三轴磁场传感器。在这种情况下，除了成像设备1g的上下方向之外，还可以获得成像设备1g相对于垂直方向的角度，以及成像设备1g在水平面上的取向。使用该配置，用户可以基于储存在存储器221中的捕获图像以高精度生成三维重建模型。
实施例的第七修改
接下来，将描述实施例的第七修改。实施例的第七修改是根据上述实施例的第六修改的成像设备1g的外壳10g被划分为两部分的示例配置。图25和图26示意性地图示了根据实施例的第七修改的成像设备1h的外观。如图25、图26的部分(a)和图26的部分(b)所示，成像设备1h配置有两个彼此组合的外壳，即外壳10h1和外壳10h2。
在图25中，外壳10h1包含成像区域2e，该成像区域2e包含成像主体2142、2143和2144；以及操作区域3e，该操作区域3e包含快门按钮30a'和夹持单元31a'。类似地，外壳10h2包含成像区域2f，该成像区域2f包含成像主体2140和2141；以及操作区域3f，该操作区域3f包含快门按钮30b'和夹持单元31b'。
以与参考图1描述的夹持单元31相同的方式，分别使包含在操作区域3e和3f中的夹持单元31a'和31b'难以滑动。
在外壳10h1中，在图中，在布置有快门按钮30a'的一侧上与下边缘相接触的表面充当底表面；并且在图中，在布置有成像主体2142的一侧上与上边缘相接触的表面充当顶表面。类似地，在外壳10h2中，在图中，在布置有快门按钮30b'的一侧上与上边缘相接触的表面充当底表面；并且在图中，在布置有成像主体2141的一侧上与下边缘相接触的表面充当顶表面。
在外壳10h1中，成像主体2142包含一对成像镜头20a42和20b42，成像主体2143包含一对成像镜头20a43和20b43，并且成像主体2144包含一对成像镜头20a44和20b44。成像镜头20a42至20a44安装在外壳10h1的第一表面(前表面)上，并且成像镜头20b42至20b44安装在外壳10h1的第二表面(后表面)上。在外壳10h2中，成像主体2140包含一对成像镜头20a40和20b40，并且成像主体2141包含一对成像镜头20a41和20b41。成像镜头20a40和20a41安装在第一表面上，并且成像镜头20b40和20b41安装在第二表面上。
成像主体2140和2141布置在外壳10h2中，并且成像主体2142至2144布置在外壳10h1中，以这样的方式使得当外壳10h1和外壳10h2的顶表面连结在一起时，相邻成像主体之间的距离设定为距离d。
图26的部分(a)和图26的部分(b)指示外壳10h1和10h2彼此分开的状态。外壳10h1和10h2的顶表面分别包含连接器32a和32b，连接器32a和32b用于将外壳10h1与外壳10h2电连接。连接器32a和32b还具有以下功能：当连接时固定外壳10h1和10h2，使得外壳10h1和10h2可以彼此维持特定位置关系。
在成像设备1h中，可以通过操作快门按钮30a'或快门按钮30b'中任一个使成像主体2140至2144以同步方式进行成像。此外，成像设备1h可以输出来自外壳10h1或外壳10h2中任一个的由成像主体2140至2144捕获的捕获图像。
图27的部分(a)图示了根据实施例的第七修改的外壳10h1的电路配置的示例。图27的部分(b)图示了根据实施例的第七修改的外壳10h2的电路配置的示例。
如图27的部分(a)所示，外壳10h1包含电池2020、电路单元2030以及方向传感器2040。如图27的部分(b)所示，外壳10h2包含电池2020'、电路单元2030'以及方向传感器2040'，分别等同于包含在外壳10h1中的电池2020、电路单元2030以及方向传感器2040。快门按钮30a'的输出被供应到电路单元2030，并被传递到电路单元2030中的控制单元220。类似地，快门按钮30b'的输出被供应到电路单元2030'，并被传递到电路单元2030'中的控制单元220。
另外，外壳10h1和10h2可以经由连接器32a和32b发送和/或接收触发信号以及由成像主体2140至2144捕获的捕获图像，该触发信号用于控制由成像主体2140至2144进行的成像。
例如，当操作快门按钮30a'而外壳10h1和10h2经由连接器32a和32b彼此连接时，响应于对快门按钮30a'的操作从外壳10h1中的电路单元2030中的控制单元220输出触发信号。该触发信号被供应到外壳10h1中的每个成像主体2142至2144，并且经由连接器32a和32b还被供应到外壳10h2中的每个成像主体2140和2141。在响应于该触发信号，包含在成像设备1h中的成像主体2140至2144以同步方式进行成像。
在外壳10h1中，在接收到触发信号而由成像主体2142至2144捕获的捕获图像被供应到电路单元2030，该触发信号响应于对快门按钮30a'的操作而被供应。电路单元2030中的控制单元220将从包含在外壳10h1中的方向传感器2040供应的方向信息添加到由成像主体2142至2144捕获的捕获图像，并且将带有该方向信息的捕获图像储存在电路单元2030的存储器221中。
在外壳10h2中，在接收到触发信号而由成像主体2140和2141捕获的捕获图像经由连接器32b和32a被供应到外壳10h1中的电路单元2030。电路单元2030中的控制单元220将从包含在外壳10h1中的方向传感器2040供应的方向信息添加到由成像主体2140和2141捕获的捕获图像，并且将带有该方向信息的捕获图像储存在电路单元2030的存储器221中。
例如，用户使图像处理设备100读取储存在存储器221中的捕获图像，即，由外壳10h1中的成像主体2142至2144捕获的捕获图像和由外壳10h2中的成像主体2140和2141捕获的捕获图像。使用这种配置，基于由包含在外壳10h1中的三个成像主体2142至2144捕获的捕获图像和由包含在外壳10h2中的两个成像主体2140和2141捕获的捕获图像(捕获图像是以同步方式获得的)，可以生成三维重建模型。
当操作安装在外壳10h2上的快门按钮30b'时，进行上述相同的处理。换言之，响应于对快门按钮30b'的操作，从外壳10h2中的电路单元2030'中的控制单元220输出触发信号。该触发信号被供应到外壳10h2中的每个成像主体2140和2141，并且还经由连接器32b和32a被供应到外壳10h1中的每个成像主体2142至2144，从而使成像主体2140至2144以同步方式进行成像。
由成像主体2140和2141捕获的捕获图像被供应到电路单元2030'，该捕获图像由电路单元2030'中的控制单元220添加从方向传感器2040’供应的方向信息，并且然后被储存在电路单元2030'的存储器221中。在外壳10h1中，由成像主体2142至2144与成像主体2140和2141同步地捕获的捕获图像经由连接器32a和32b被供应到外壳10h2中的电路单元2030'。该捕获图像由电路单元2030'中的控制单元220添加从方向传感器2040’供应的方向信息，并且然后被储存在电路单元2030'中的存储器22中。
使用这种配置，同样地，在对安装在外壳10h2上的快门按钮30b'进行操作的情况下，可以获得由分开包含在外壳10h1和10h2中的五个成像主体2140至2144以同步方式捕获的捕获图像。
根据实施例的第七修改的成像设备1h具有如下配置，其中包含三个成像主体2142至2144的外壳10h1和包含两个成像主体2140和2141的外壳10h2如上所述彼此分开。因此，在外壳10h1中，例如，可以使连接成像主体2142至2144与电路单元2030的导线短于例如包含在如图1所示的相同外壳10a中的五个成像主体211至215的导线。使用这种配置，可以增加设计基板布置的自由度并增加电池的尺寸。
在上述描述中，当操作快门按钮30a’时，由成像主体2140至2144捕获的捕获图像被储存在外壳10h1中包含的存储器221中，并且当操作快门按钮30b’时被储存在外壳10h2中包含的存储器221中；然而，本发明不限于该示例。例如，响应于对快门按钮30a'的操作而捕获的捕获图像可以被储存在外壳10h1中包含的存储器221中，并且响应于对快门按钮30b'的操作而捕获的捕获图像可以被储存在外壳10h2中包含的存储器221中。替代地，响应于对快门按钮30a'的操作而捕获的捕获图像可以被储存在外壳10h2中包含的存储器221中，并且响应于对快门按钮30b'的操作而捕获的捕获图像可以被储存在外壳10h1中包含的存储器221中。
实施例的第八修改
接下来，将描述实施例的第八修改。在上述实施例中，已经进行了描述，其中在成像设备1a中，快门按钮30布置在成像镜头20a1至20a5对齐的中心线C上，如图1和图3的部分(b)所示。替代地，在实施例的第八修改中，快门按钮30布置在远离中心线C特定距离或更远的位置处。
图28示意性地图示了根据实施例的第八修改的成像设备的外观的视图。图28图示了在成像设备1i的外壳10i上，包含快门按钮30和夹持单元31a的操作区域3g相对于包含成像主体211至215的成像区域2a以大致90度布置。快门按钮30布置在远离成像主体211至215(成像镜头20a1至20a5)对齐的中心线C特定距离或更远的位置处。优选地，例如，快门按钮30定位成使得快门按钮30的边缘不与外壳10i的成像区域2a中的中心线C的延长线重叠。换言之，如图28所示，在根据第八实施例的成像设备1i中，快门按钮30没有布置在成像主体211至215的延长线上，并且快门按钮30布置在远离延长线特定距离或更远的位置处。
在成像设备1i中，成像主体211至215的布置和电路配置与上述成像设备1a相同，并且因此，将省略其解释。
如上所述，通过将快门按钮30定位在远离中心线C特定距离或更远的位置处，可以防止用户操作快门按钮30的手指、手或其它装置被包含在由成像主体211至215捕获的捕获图像中。
图28图示了操作区域3g和成像区域2a之间形成大致90度的角度；然而，操作区域3g和成像区域2a之间的角度关系不限于大致90度。换言之，快门按钮30可以简单地布置在远离成像主体211至215对齐的中心线C特定距离或更远的位置处。
实施例的第九修改
接下来，将描述实施例的第九修改。在上述实施例中，用于指示成像主体211至215进行成像的快门按钮30布置在成像设备1a的外壳10a上。在上述实施例的修改中使用相同的配置。替代地，实施例的第九修改允许从成像设备1a的外壳10a的外部给出成像主体211至215进行成像的指令。
图29图示了根据实施例的第九修改的成像设备的外观，并且图30图示了相同成像设备的控制单元220'和存储器221的配置的示例。在图29和图30中，与上述图1和图16中所示的组件共同的组件由相同的附图标记表示，并且将省略其详细解释。
如图30所示，根据实施例的第九修改的成像设备1j包含无线通信I/F 2009，无线通信I/F 2009用于与控制单元220'进行无线通信。来自上述电池2020的电力也被供应到无线通信I/F 2009。成像设备1j通过无线通信I/F 2009接收用于给出进行成像的指令的信号34。响应于对安装在无线发射器33上的快门按钮30’的操作，从无线发射器33发射该信号34。在成像设备1j中，响应于接收到的信号34，控制单元220'指示成像主体211至215进行成像。在图29所示的示例中，包含在成像设备1j的外壳10j中的夹持单元30c不具有快门按钮。
在无线发射器33和无线通信I/F 2009之间进行通信的方法没有特别限制。在无线发射器33和无线通信I/F 2009之间进行通信的示例方法可能可以包含蓝牙(注册商标)和无线LAN。可以使用特定于成像设备1j的通信方法来进行该通信。另外，该通信不限于使用无线电波的通信，并且可以使用诸如光和声音的其它媒体来进行。此外，该通信不限于无线，并且可以是有线的。
方面1
根据实施例和上述修改中的任一个的成像设备，包含第一全球面成像单元和第二全球面成像单元。第一全球面成像单元和第二全球面成像单元一体地设置在相同的外壳上。
方面2
成像设备包含至少两个全球面成像单元和握持单元，该至少两个全球面成像单元和该握持单元一体地设置在相同的外壳上。
方面3
成像设备包含至少两个全球面成像单元和包含电路板的控制单元，该至少两个全球面成像单元和该包含电路板的控制单元一体地设置在相同的外壳上。
方面4
成像设备包含至少两个全球面成像单元和供电单元，该供电单元向该至少两个全球面成像单元供电。供电单元和至少两个全球面成像单元一体地设置在相同的外壳上。
方面5
成像设备包含至少两个全球面成像单元和快门按钮，该至少两个全球面成像单元和该快门按钮一体地设置在相同的外壳上。
方面6
提供了一种控制包含多个成像主体的成像设备的方法。每个成像主体包含第一光学元件以及第二光学元件，该第一光学元件能够对包含以光轴为中心并在光轴的第一方向上取向的半球的范围进行成像，该第二光学元件能够对包含以光轴为中心并在与第一方向相反的第二方向上取向的半球的范围进行成像。成像主体在垂直于光轴的方向上排列。该方法包含：使多个成像主体以同步方式进行成像，并从每个成像主体获取捕获图像。
方面7
成像设备包含两个或更多个成像主体。每个成像主体包含第一光学元件和第二光学元件。第一光学元件能够对包含以光轴为中心并在光轴的第一方向上取向的半球的范围进行成像。第二光学元件能够对包含以光轴为中心并在与第一方向相反的第二方向上取向的半球的范围进行成像。
虽然以上描述了实施例作为本发明的优选实施例，但是本发明不限于此。在不脱离本发明的主旨的情况下，可以进行各种修改。
附图标记列表
1a、1b、1c、1d、1e、1f、1g、1h、1i、1j 成像设备
2a、2b、2c、2d、2e、2f 成像区域
3a、3a'、3b、3c、3d、3e、3f、3g 操作区域
10a、10b、10c、10d、10e、10f、10g、10h1、10h2、10i、10j 外壳
11、32a、32b 连接器
21、211、212、213、214、215、2110、2111、2112、2113、2114、2115、2120、2121、2122、2130、2131、2132、2133、2134、2140、2141、2142、2143、2144 成像主体
30、30'、30a、30a'、30b、30b' 快门按钮
31、31a、31a'、31b、31b'、31c 夹持单元
100 图像处理设备
200a、200b、200a1、200a2、200a5、200b1、200b2、200b5 成像元件
210a1、210a2、210a5、210b1、210b2、210b5 驱动单元
211a1、211a2、211a5、211b1、211b2、211b5 缓冲存储器
220 控制单元
221 存储器
222 开关
230 图像处理单元
3001、3002、3003、3004、3005 全球面图像
2000 CPU
2002 存储器控制器
2003 RAM
2004 触发I/F
2005 开关电路
2006 数据I/F
2007 通信I/F
2020、2020' 电池
2030、2030' 电路单元
2040、2040' 方向传感器
引用列表
专利文献
[PTL 1]日本专利第5011528号
[PTL 2]日本未经审查专利申请公开第2013-218278号
[PTL 3]日本专利第5783314号
[PTL 4]日本专利第5839135号

Claims (14)

1.一种成像设备，包括：
多个成像主体，每个所述成像主体包括：
第一光学元件，其能够对包含以光轴为中心并在所述光轴的第一方向上取向的半球的范围进行成像；和
第二光学元件，其能够对包含以所述光轴为中心并在与所述第一方向相反的第二方向上取向的半球的范围进行成像，并且
所述成像主体在垂直于所述光轴的方向上排列；以及
成像控制单元，其被配置为使所述多个成像主体以同步方式进行成像，并从每个所述成像主体获取捕获图像，其中
所述成像主体中相邻的成像主体的间隔在垂直于所述光轴的方向上递增，或者所述成像主体等间距地布置。
2.根据权利要求1所述的成像设备，其中所述成像控制单元从所述成像主体之中选择多个成像主体，以便使用由所选择的多个成像主体捕获的捕获图像。
3.根据权利要求1或2所述的成像设备，还包括供电单元，所述供电单元至少向所述多个成像主体供电，所述供电单元布置在所述多个成像主体对齐的线的延长线上。
4.根据权利要求1或2所述的成像设备，其中所述成像控制单元进一步使所述成像主体中的一个以预定周期进行成像，并输出在所述预定周期中捕获的每个捕获图像。
5.根据权利要求1或2所述的成像设备，其中每个所述成像主体包含：
光入射的镜头，使得所述光轴的方向充当中心；
光接收元件，其接收从所述多个成像主体对齐的线的方向入射的光；以及
光路转换器，其使所述光接收元件接收从所述镜头发射的光。
6.根据权利要求1或2所述的成像设备，其中操作区域设置在所述多个成像主体对齐的线的两端，所述操作区域包含快门按钮，所述快门按钮被配置为接收用户的操作以指示所述成像控制单元使所述多个成像主体进行成像。
7.根据权利要求1或2所述的成像设备，其中所述成像控制单元使所述多个成像主体和包含在第二外壳中的多个成像主体以同步方式进行成像，所述第二外壳布置在所述多个成像主体排列的线的方向上，并且所述第二外壳与包含所述成像设备的第一外壳不同。
8.根据权利要求1或2所述的成像设备，其中所述成像控制单元使所述多个成像主体和包含在另一成像设备中的多个成像主体以同步方式进行成像，所述另一成像设备布置在所述多个成像主体排列的线的方向上。
9.根据权利要求8所述的成像设备，还包括连接单元，所述连接单元设置在所述多个成像主体对齐的线的端部上，所述端部与设置有操作区域的端部相对，所述操作区域包含快门按钮，所述快门按钮被配置为接收用户的操作以指示所述成像控制单元使所述多个成像主体进行成像，所述连接单元被配置为进行与另一成像设备的通信并固定与另一成像设备的位置关系。
10.根据权利要求1或2所述的成像设备，其中操作区域的长度长于包含所述多个成像主体的成像区域的长度，所述操作区域包含快门按钮，所述快门按钮被配置为接收用户的操作以指示所述成像控制单元使所述多个成像主体进行成像。
11.根据权利要求1或2所述的成像设备，其中操作区域的长度短于包含所述多个成像主体的成像区域的长度，所述操作区域包含快门按钮，所述快门按钮被配置为接收用户的操作以指示所述成像控制单元使所述多个成像主体进行成像。
12.根据权利要求1或2所述的成像设备，其中快门按钮布置在远离所述多个成像主体对齐的线的延长线特定距离或更远，所述快门按钮被配置为接收用户的操作以指示所述成像控制单元使所述多个成像主体进行成像。
13.根据权利要求1或2所述的成像设备，其中每个所述成像主体包含带有180度或更大的视角的光学镜头。
14.根据权利要求1或2所述的成像设备，其中布置在所述多个成像主体之中的最末端位置处的成像主体输出取景器图像。
CN201880009062.5A 2017-01-31 2018-01-31 成像设备 Expired - Fee Related CN110268701B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JP2017016318 2017-01-31
JP2017-016318 2017-01-31
JP2018-004161 2018-01-15
JP2018004161 2018-01-15
JP2018-010007 2018-01-24
JP2018010007A JP7180074B2 (ja) 2017-01-31 2018-01-24 撮像装置
PCT/JP2018/003312 WO2018143311A1 (en) 2017-01-31 2018-01-31 Imaging apparatus

Publications (2)

Publication Number Publication Date
CN110268701A CN110268701A (zh) 2019-09-20
CN110268701B true CN110268701B (zh) 2021-05-28

Family

ID=67305427

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880009062.5A Expired - Fee Related CN110268701B (zh) 2017-01-31 2018-01-31 成像设备

Country Status (4)

Country Link
US (1) US11039120B2 (zh)
EP (1) EP3577893A1 (zh)
JP (1) JP7180074B2 (zh)
CN (1) CN110268701B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3719529A1 (en) 2019-03-20 2020-10-07 Ricoh Company, Ltd. Range finding device and range finding method
JP7286147B2 (ja) * 2019-06-26 2023-06-05 京楽産業．株式会社 遊技機
CN111025137A (zh) * 2019-12-13 2020-04-17 苏州华电电气股份有限公司 敞开式隔离开关状态感知装置
CA3166988A1 (en) 2020-03-23 2021-09-30 Ricoh Company, Ltd. Information processing apparatus and method of processing information

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102113089A (zh) * 2008-03-05 2011-06-29 伊利诺伊大学评议会 可拉伸和可折叠的电子器件

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5011528B1 (zh) 1968-02-13 1975-05-02
JPS5839135B2 (ja) 1978-07-03 1983-08-27 ダイキン工業株式会社 ポリフルオロアルコ−ル類の製法
JP2005063012A (ja) 2003-08-08 2005-03-10 Nippon Telegr & Teleph Corp <Ntt> 全方位カメラ運動と３次元情報の復元方法とその装置及びプログラム並びにこれを記録した記録媒体
JP2005063013A (ja) 2003-08-08 2005-03-10 Nippon Telegr & Teleph Corp <Ntt> 全方位カメラの視点運動と３次元情報の復元方法とその装置及びプログラム並びにこれを記録した記録媒体
US20070147827A1 (en) * 2005-12-28 2007-06-28 Arnold Sheynman Methods and apparatus for wireless stereo video streaming
JP5011528B2 (ja) 2006-10-06 2012-08-29 国立大学法人岩手大学 ３次元距離計測センサおよび３次元距離計測方法
JP2010245691A (ja) * 2009-04-02 2010-10-28 Fujifilm Corp 複眼撮像装置
JP5725979B2 (ja) * 2011-06-03 2015-05-27 キヤノン株式会社 撮影装置およびその制御方法
JP6123274B2 (ja) * 2012-03-08 2017-05-10 株式会社リコー 撮像装置
JP5910485B2 (ja) * 2012-03-16 2016-04-27 株式会社リコー 撮像システム
JP6003578B2 (ja) * 2012-11-26 2016-10-05 株式会社ニコン 画像生成方法及び装置
JP6417886B2 (ja) 2013-12-12 2018-11-07 株式会社リコー 視差値導出装置、移動体、ロボット、視差値生産方法、及びプログラム
JP6547292B2 (ja) 2014-02-05 2019-07-24 株式会社リコー 画像処理装置、機器制御システム、および画像処理プログラム
WO2015122108A1 (ja) * 2014-02-17 2015-08-20 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP5843033B1 (ja) 2014-05-15 2016-01-13 株式会社リコー 撮像システム、撮像装置、プログラムおよびシステム
JP5843034B1 (ja) 2014-05-15 2016-01-13 株式会社リコー 動画表示装置およびプログラム
JP6648411B2 (ja) 2014-05-19 2020-02-14 株式会社リコー 処理装置、処理システム、処理プログラム及び処理方法
US9843789B2 (en) 2014-09-08 2017-12-12 Panasonic Intellectual Property Management Co., Ltd. Still-image extracting method and image processing device for implementing the same
JP5783314B2 (ja) 2014-09-30 2015-09-24 株式会社リコー 全天球型光学系および撮像システム
US9521321B1 (en) * 2015-02-11 2016-12-13 360 Lab Llc. Enabling manually triggered multiple field of view image capture within a surround image mode for multi-lens mobile devices
JP5839135B2 (ja) 2015-03-31 2016-01-06 株式会社リコー 全天球型光学系及び撮像装置
US20170078653A1 (en) * 2015-09-15 2017-03-16 Qualcomm Incorporated Systems and methods for producing a surround view
US10523923B2 (en) * 2015-12-28 2019-12-31 Microsoft Technology Licensing, Llc Synchronizing active illumination cameras
KR101675567B1 (ko) * 2016-03-29 2016-11-22 주식회사 투아이즈테크 파노라마 촬영장치, 파노라마 촬영 시스템, 이를 이용한 파노라마 영상 생성 방법, 컴퓨터 판독가능 기록매체 및 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램
US10430994B1 (en) * 2016-11-07 2019-10-01 Henry Harlyn Baker Techniques for determining a three-dimensional textured representation of a surface of an object from a set of images with varying formats

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102113089A (zh) * 2008-03-05 2011-06-29 伊利诺伊大学评议会 可拉伸和可折叠的电子器件

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Generation of multi-view video plus depth content using mixed narrow and wide baseline setup;Frederik Zilly et al.;《: 2012 3DTV-Conference: The True Vision - Capture, Transmission and Display of 3D Video (3DTV-CON)》;20121017;摘要、1-5 *

Also Published As

Publication number Publication date
JP2019118090A (ja) 2019-07-18
CN110268701A (zh) 2019-09-20
JP7180074B2 (ja) 2022-11-30
US20190394447A1 (en) 2019-12-26
US11039120B2 (en) 2021-06-15
EP3577893A1 (en) 2019-12-11

Similar Documents

Publication Publication Date Title
CN110462686B (zh) 用于从场景获得深度信息的设备和方法
CN110268701B (zh) 成像设备
CN106871878B (zh) 手持测距装置及利用其创建空间模型的方法、存储介质
US20110249117A1 (en) Imaging device, distance measuring method, and non-transitory computer-readable recording medium storing a program
CN108765498A (zh) 单目视觉跟踪方法、装置及存储介质
JP7073850B2 (ja) 入力装置および入力装置の入力方法
US10992879B2 (en) Imaging system with multiple wide-angle optical elements arranged on a straight line and movable along the straight line
CN111429523B (zh) 一种在3d建模中远距离标定方法
WO2014100950A1 (en) Three-dimensional imaging system and handheld scanning device for three-dimensional imaging
CN108413917B (zh) 非接触式三维测量系统、非接触式三维测量方法及测量装置
CN108351201A (zh) 物体测定装置及物体测定方法
WO2019080046A1 (zh) 惯性测量单元的漂移标定方法、设备及无人飞行器
CN111445529B (zh) 一种基于多激光测距的标定设备及方法
CN111445528B (zh) 一种在3d建模中多相机共同标定方法
WO2019125427A1 (en) System and method for hybrid depth estimation
JP7414090B2 (ja) 撮像装置および撮像装置の制御方法
JPH1023465A (ja) 撮像方法及び装置
WO2018143311A1 (en) Imaging apparatus
JP2021150882A (ja) 撮像装置および撮像処理方法
JP2021150943A (ja) 撮像装置および撮像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210528