CN111868475A - 成像装置，图像处理装置，以及图像处理方法 - Google Patents

成像装置，图像处理装置，以及图像处理方法 Download PDF

Info

Publication number
CN111868475A
CN111868475A CN201980019432.8A CN201980019432A CN111868475A CN 111868475 A CN111868475 A CN 111868475A CN 201980019432 A CN201980019432 A CN 201980019432A CN 111868475 A CN111868475 A CN 111868475A
Authority
CN
China
Prior art keywords
image
imagers
imager
housing
cam0
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980019432.8A
Other languages
English (en)
Inventor
竹中博一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of CN111868475A publication Critical patent/CN111868475A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Cameras In General (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Lenses (AREA)
  • Image Processing (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

成像装置(1a，1b，1c，1d，1e，1f)包括：至少一个成像器(Cam0，Cam1，Cam2，Cam3，Cam4，Cam5，Cam6，Cam7)，其包括配置为接收通过透镜(240)入射的光的成像元件(210,212)；以及壳体(10a，10b，10c，10d，10e，10f)，在该壳体配置至少四个所述成像器，所述壳体配置为使得每个成像器和另一个成像器的光轴基本上互相平行，所述光轴上的光具有相反的入射方向，所述每个成像器位于其他成像器的可成像范围之外。

Description

成像装置，图像处理装置，以及图像处理方法
技术领域
本发明涉及成像装置，图像处理装置，以及图像处理方法。
背景技术
作为用于检测三维物体或场景的技术，存在使用立体图像的距离检测技术(立体测距技术)。该立体测距技术将照相机配置在多个不同的视点，进行摄像，使摄像范围重叠，在摄像图像间检测对应点。基于与对应点对应的视差，检测从照相机到对应点的距离。
在使用具有通常视角的多台照相机构成的系统中，使用立体测距技术时，当然，仅仅摄像范围是可检测距离的范围。为了能检测更宽广范围，例如，在JP-3827912-B中描述了以下技术：将12个立体照相机单元分别安装在十二面体的各个面上，可以实时获取各方向的彩色图像和距离信息。另外，还已知以下结构：例如，在JP-5483027-B或JP-5011528-B中，使用多台由配置为入射面互相相反的两个鱼眼透镜构成的全天球照相机，使用少数量的照相机实现所有方向的距离检测。
引文列表
专利文献
【专利文献1】JP-3827912-B
【专利文献2】JP-5483027-B
【专利文献3】JP-5011528-B
发明内容
技术问题
然而，在使用现有技术的全天球照相机的立体照相机系统中，为了在所有方向上进行距离检测，需要三台或更多台全天球照相机。即，在使用二台全天球照相机的立体照相机系统中，在各全天球照相机的捕获图像中，另一方的全天球照相机反射进入，难以检测该方向上的距离。为了解决距离检测中的困难，在以往技术中，存在必须使用至少三台全天球照相机的问题。
鉴于上述情况做出本发明，本发明的目的在于，以较小配置能实行所有方向的距离检测。
解决问题的方案
根据本发明的一方面的成像装置，包括：至少一个成像器，其包括配置为接收通过透镜入射的光的成像元件；以及壳体，在该壳体配置至少四个所述成像器，所述壳体配置为使得每个成像器和另一个成像器的光轴基本上互相平行，所述光轴上的光具有相反的入射方向，所述每个成像器位于其他成像器的可成像范围之外。
根据本发明的另一方面的图像处理装置，包括：获取器，配置为获取由至少四个成像器中的每一个捕获的捕获图像，所述各成像器包括配置为接收通过透镜入射的光的成像元件，所述成像器配置在壳体，使得每个成像器和另一个成像器的光轴基本上互相平行，所述光轴上的光具有相反的入射方向，所述每个成像器位于其他成像器的可成像范围之外；以及
图像处理器，配置为基于从配置在所述壳体的所有成像器获取的捕获图像生成由三维点组信息表示的全天球距离图像。
根据本发明的又一方面的图像处理方法包括：捕获由至少四个成像器中的每一个捕获的捕获图像，各成像器包括总视角为180°或更大的透镜以及配置为接收通过该透镜入射的光的成像元件，所述成像器配置在壳体，使得每个成像器和另一个成像器的光轴基本上互相平行，所述光轴上的光具有相反的入射方向，所述每个成像器位于其他成像器的可成像范围之外；以及基于从配置在所述壳体的所有成像器获取的捕获图像，生成由三维点组信息表示的全天球距离图像。
本发明的效果
通过本发明的各方面，获得了能以较小配置执行所有方向的距离检测的有益效果。
附图说明
附图旨在描绘本发明的示例实施例，并且不应被解释为限制其范围。除非明确指出，否则附图不应视为按比例绘制。同样，在几个视图中，相同或相似的附图标记表示相同或相似的组件。
图1A是用于说明根据实施例的成像装置的概要的示图。
图1B是用于说明根据实施例的成像装置的概要的示图。
图2是表示根据实施例的成像装置的硬件配置的示例的框图。
图3是用于说明根据实施例的成像装置的功能的示例的功能框图。
图4是表示根据实施例的成像装置的整体处理的示例的流程图。
图5A，图5B，以及图5C是用于说明根据实施例的生成全天球图像组的处理的示图。
图6A是用于说明可应用于实施例的鱼眼透镜如何将三维入射光投射为二维形式的示图。
图6B是用于说明可应用于实施例的鱼眼透镜如何将三维入射光投射为二维形式的示图。
图7A表示可应用于实施例的球面与等距柱形图像之间的对应关系。
图7B表示可应用于实施例的球面与等距柱形图像之间的对应关系。
图8是表示可应用于实施例的距离图像的生成处理的示例的流程图。
图9是用于说明根据实施例的测距区域的示图。
图10表示根据实施例的由成像器捕获的鱼眼图像与测距区域之间的关系。
图11A是用于说明根据实施例的测距区域和测距图像的示图。
图11B是用于说明根据实施例的测距区域和测距图像的示图。
图11C是用于说明根据实施例的测距区域和测距图像的示图。
图12是用于说明根据实施例的特征点的坐标变换的示图。
图13是用于说明可使用于计算特征点的距离的测距式的示图，所述测距式可应用于实施例。
图14表示当从壳体的上面侧看根据实施例的第一变形例的成像装置时的示例。
图15A是用于说明根据实施例的第二变形例的成像装置的概要的示图。
图15B是用于说明根据实施例的第二变形例的成像装置的概要的示图。
图16A是用于说明根据实施例的第三变形例的成像装置的概要的示图。
图16B是用于说明根据实施例的第三变形例的成像装置的概要的示图。
图17表示当从壳体的上面侧看根据实施例的第四变形例的成像装置时的示例。
图18表示当从壳体的上面侧看根据实施例的第五变形例的成像装置时的示例。
具体实施方式
本文所使用的术语仅出于描述特定实施例的目的，并不旨在限制本发明。如本文所使用的，单数形式“一”，“一个”和“该”也旨在包括复数形式，除非上下文另外明确指出。
在描述附图中表示的实施例时，为了清楚起见采用特定术语。然而，该专利说明书的公开内容不旨在限于如此选择的特定术语，并且应当理解，每个特定元件包括以相似方式操作并获得相似结果的所有技术等同物。
尽管参照附图以技术限制描述了实施例，但是这种描述并不旨在限制本公开的范围，并且在本公开的实施例中描述的所有组件或元件不一定是必不可少的。
现在参照附图，描述本公开的实施例。在用于解释以下实施例的附图中，相同的附图标记分配给具有相同功能或形状的元件(构件或组件)，并且在下文中省略其重复描述。
下面参照附图详细描述成像装置，图像处理装置和图像处理方法的实施例。
根据实施例的成像装置的概述
图1A和图1B是用于说明根据实施例的成像装置的概述的示图。图1A是概略表示根据实施例的成像装置1a的外观示例的斜视图。在图1A中，根据实施例的成像装置1a包括立方体的壳体10a以及用于用手等保持成像装置1a的把手11。除两个相对的表面(在这种情况下，是上表面和下表面)之外，在壳体10a的六个表面中的四个表面(在这种情况下为侧面)，配置将180°或更大的总视角设为可成像范围的成像器Cam0，Cam1，Cam2，以及Cam3。成像器Cam0和Cam1配置在图1A中的壳体10a的背面侧，因此，图1A仅表示附图标记。
各成像器Cam0，Cam1，Cam2和Cam3包括使用鱼眼透镜的光学系统，由例如电荷耦合器件(CCD)构成的成像元件，以及用于驱动成像元件的驱动电路。
把手11设有用于指示图像拍摄的成像按钮12。把手11也可以设有进行诸如对成像装置1a的设定的操作的操作单元，以及显示状态等的显示单元。
图1B表示当从壳体10a的上面侧(与设有把手11侧相反的一侧)看成像装置1a时的示例。在图1B中，各成像器Cam0、Cam1、Cam2、以及Cam3的可成像范围的示例表示为成像范围200、201、202、以及203。这样，在根据实施例的成像装置1a中，各成像器Cam0、Cam1、Cam2、以及Cam3配置为不包含在其他成像器的可成像范围内。
各成像器Cam0、Cam1、Cam2、以及Cam3将包含向着各自光轴的第一方向的半球的范围设为能摄像，通过与包含向着光轴的第一方向的逆方向的第二方向的半球的另一成像器的组合，将全天球范围设为能摄像。在图1B的示例中，一组成像器Cam0和Cam2以及一组成像器Cam1和Cam3，各组可以将全天球范围设为能摄像。
即，在根据本实施例的成像装置1a中，成像器Cam0、Cam1、Cam2、以及Cam3配置成使得在成像器Cam0、Cam1、Cam2、以及Cam3中，在捕获图像的总视角180°以内，不会映入其他成像器。另外，成像器Cam0、Cam1、Cam2、以及Cam3配置成使得成像器Cam0、Cam1、Cam2、以及Cam3中的每个以及其他成像器中的另一个具有基本上互相平行的光轴，光轴上的光的入射方向成为相反。
换句话说，壳体10a构造成使得成像器Cam0、Cam1、Cam2、以及Cam3中的每一个以及成像器Cam0、Cam1、Cam2、以及Cam3中的另一其他成像器具有基本上互相平行的光轴，光轴上的光的入射方向成为相反，成像器Cam0、Cam1、Cam2、以及Cam3中的每一个配置在成像器Cam0、Cam1、Cam2、以及Cam3中的其他成像器的可成像范围之外。
对于根据实施例的成像装置1a，由于如上所述配置成像器Cam0、Cam1、Cam2、以及Cam3，因此，期望的方向被包含在至少两个成像器的可成像范围，因此，在无死角状态下，能执行全方位立体测距。由此，能以较小的配置执行所有方向上的距离检测。
图2是表示根据实施例的成像装置1a的硬件配置的示例的框图。在图2中，成像装置1a包括中央处理单元(CPU)1000，只读存储器(ROM)1001，随机存取存储器(RAM)1002，用户接口(UI)装置1003，图像处理电路1004，数据接口(I/F)1005，以及照相机接口(I/F)1006。
CPU1000根据预先存储在ROM1001中的程序，通过使用RAM1002作为工作存储器控制成像装置1a的整体动作。UI装置1003包括例如成像按钮12或用于对成像装置1a进行各种设定的输入装置，以及表示成像装置1a的状态等的显示装置。图像处理电路1004例如是数字信号处理器(DSP)，根据CPU1000的指令，通过使用RAM1002作为工作存储器执行图像处理。数据I/F 1005发送和接收外部装置和成像装置1a之间的数据，例如通用串行总线(USB)可以适用于数据I/F1005。
照相机I/F1006是与成像器Cam0、Cam1、Cam2、以及Cam3的接口。CPU 1000响应于在成像按钮12上进行的操作生成例如触发信号。该触发信号经由照相机I/F1006提供给成像器Cam0、Cam1、Cam2、以及Cam3。各成像器Cam0、Cam1、Cam2、以及Cam3分别响应触发信号捕获图像，输出捕获的图像。从成像器Cam0、Cam1、Cam2、以及Cam3中的每一个输出的捕获图像是由鱼眼透镜捕获的鱼眼图像。
从各成像器Cam0、Cam1、Cam2、以及Cam3中的每一个输出的鱼眼图像经由照相机I/F1006发送到例如CPU1000，存储在RAM1002中。图像处理电路1004根据CPU1000的指令，对存储在RAM1002中的各鱼眼图像执行图像处理(稍后描述)，生成全天球图像(sphericalimage)，并生成作为三维点组信息的全天球距离图像。
图3是用于说明根据实施例的成像装置1a的功能的示例的功能框图。在图3中，成像装置1a包括图像获取器100，全体控制器101，半球图像处理器102，全天球图像处理器103，输出器104，以及用户接口(UI)105。
所述图像获取器100、全体控制器101、半球图像处理器102、全天球图像处理器103、以及输出器104之中，半球图像处理器102和全天球图像处理器103具有包含在上述图像处理电路1004中的功能。另外，图像获取器100、全体控制器101、以及输出器104由在CPU1000中动作的程序实现。不限于此，半球图像处理器102和全天球图像处理器103既可以由在CPU1000中动作的程序实现，也可以使得图像获取器100、全体控制器101、以及输出器104中的一部分或全部由互相协同的硬件电路构成。再有，也可以使得半球图像处理器102和全天球图像处理器103由不同的硬件电路构成。
图像获取器100获取从成像器Cam0～Cam3输出的鱼眼图像。图像获取器100将获取的鱼眼图像存储在例如RAM1002中。全体控制器101整体控制图像获取器100、半球图像处理器102、全天球图像处理器103、以及输出器104。半球图像处理器102执行与从成像器Cam0～Cam3获取的鱼眼图像有关的处理，生成半球图像和半球距离图像。全天球图像处理器103基于由半球图像处理器102生成的半球图像和半球距离图像生成全天球图像和全天球距离图像。因此，根据实施例的成像装置1a包括作为图像处理装置的功能(例如，半球图像处理器102和全天球图像处理器103的功能)。
输出器104执行用于将由全天球图像处理器103生成的全天球图像和全天球距离图像输出到外部的输出处理。UI105控制对于用户在UI装置1003包含的输入装置(包括成像按钮12)上的操作的处理，以及在显示装置上显示的处理。
用于实现成像装置1a中的作为图像处理装置功能的图像处理程序，以可安装格式或可执行格式的文件记录在例如光盘(CD)、软盘(FD)、数字多功能盘(DVD)等的计算机可读的记录介质中提供。不限于此，也可以将该图像处理程序存储在连接到诸如因特网的网络的计算机中，通过该网络下载提供图像处理程序。替代地或附加地，也可以通过诸如因特网的网络提供或分发该图像处理程序。
所述图像处理程序构成为包含图像获取器100、全体控制器101、以及输出器104的模块(当通过在CPU1000动作的程序实现半球图像处理器102和全天球图像处理器103场合，也包含这些处理器)。作为实际硬件，CPU1000从诸如ROM1001的记录介质读取并执行该图像处理程序，因此，上述各部分下载在诸如RAM1002的主存储器，在主存储器中生成图像获取器100、全体控制器101、以及输出器104。
在以上描述中，图3所示的配置内藏在成像装置1a中，但是不限于此。例如，也可以使得经由数据I/F1005可与成像装置1a连接的外部的信息处理装置具有图3所示的配置。
图4表示根据实施例的成像装置1a中的整体处理的示例的流程图。在根据实施例的成像装置1a中，操作成像按钮12，经由照相机I/F1006获取各成像器Cam0～Cam3的半球捕获图像，将其输入图像处理电路1004，由图像处理电路1004输出全天球图像和与其对应的全天球距离图像。
在图4中，在步骤S10中，图像获取器100获取各成像器Cam0～Cam3捕获的鱼眼图像。在这种情况下，各成像器Cam0～Cam3将鱼眼图像作为彩色图像输出。不限于此，当最终仅需要全天球距离图像时或当最终需要全天球距离图像和单色全天球图像时，成像器Cam0～Cam3可以输出单色鱼眼图像。
在下一步骤S11中，半球图像处理器102生成由两张鱼眼图像构成的全天球图像组。在这种情况下，半球图像处理器102从在步骤S10中获取的成像器Cam0～Cam3的鱼眼图像之中，指定光轴基本互相平行且具有相反的成像方向的两个成像器的组(例如，成像器Cam0和Cam2的组)，变换从该组成像器获取的鱼眼图像，生成半球图像(hemisphericalimages)。在此，半球图像是各像素具有亮度信息的图像。当各像素还具有颜色信息时，半球图像是彩色图像。
可以通过将鱼眼图像转换为等距柱形投影的形式生成半球图像。所谓等距柱形投影是这样的投影：使用两个变量(例如地球仪的纬度和经度)表示三维方向，显示纬度和经度互相正交的平面。在这种情况下，从在步骤S11中生成的全天球图像组中包含的两张鱼眼图像生成两张半球图像。
在接下来的步骤S12中，半球图像处理器102分别生成相对各半球图像的距离图像(称为半球距离图像)。所谓距离图像是各像素的数值表示距离的图像。稍后将描述生成距离图像的方法。在这种情况下，生成与在步骤S11中生成的全天球图像组包含的两张鱼眼图像分别对应的两张半球距离图像。
在接下来的步骤S13中，全天球图像处理器103将在步骤S12中生成的两张半球图像合并，生成一张全天球图像。在这种情况下，可以使用已知技术来结合多个图像，该方法不受特别限制。
在接下来的步骤S14中，全天球图像处理器103遵循步骤S13中的上述处理，将在步骤S12中生成的两张半球距离图像合并，生成一张全天球距离图像。在这种情况下，通过与步骤S13同样的处理生成全天球距离图像，以使得全天球距离图像的像素位置与全天球图像的像素位置对准。
根据实施例的处理的细节
将更详细地描述图4的上述流程图中的步骤S11中的处理。图5是用于说明根据实施例的生成全天球图像组的处理的示图。
在图4的流程图的步骤S11中，生成可以覆盖所有三维方向的两张半球图像。在图5A所示的成像器Cam0、Cam1、Cam2和Cam3中，通过成像器Cam0和Cam2的组的成像范围200和202，以及通过成像器Cam1和Cam3的组的成像范围201和203分别可覆盖所有三维方向。这里描述使用一组成像器Cam0和Cam2的情况。
由于根据本实施例，以等距柱形图像的形式提供两个半球图像，所以需要从鱼眼图像进行变换处理。总视角为180度或更大的鱼眼图像称为圆周鱼眼图像。圆状图像形成在成像元件上，圆状图像外部的区域是无效区域，通常是黑色区域。
图5B表示成像器Cam0和Cam2的成像元件210和212上的鱼眼图像220和222的示例。图5C表示与图5B中的鱼眼图像220和222相对应的作为等距柱形图像的半球图像230和232的示例。在图5B和图5C中，无效区域用黑色填充。白色区域是包括有效像素的有效区域。
图6A和图6B是用于说明可应用于该实施例的鱼眼透镜如何将三维入射光投射为二维形式的示图。图6A例示成像器Cam0。成像器Cam0包括鱼眼透镜240和成像元件210。将垂直于成像元件210的光接收面的轴设为光轴。另外，在图6A的示例中，当将光轴与鱼眼透镜240的边缘相接的平面之间的交点设为顶点时，入射角φ表示为相对于光轴的光的角度。
由具有大于180°的视角的鱼眼透镜240捕获的鱼眼图像成为从成像位置起的半球份的场景的图像。在这种情况下，如图6A和图6B所示，以由投影函数f(φ)确定关系、与入射角φ相对应的图像高度h，生成鱼眼图像220。投影函数f(φ)根据鱼眼透镜240的性质而不同。例如，鱼眼透镜240具有以下式(1)表示的被称为等距投影方式的投影方式，其中h表示像高，fL表示焦距，φ表示入射方向与光轴之间的角度(入射角)。在这种情况下，使用鱼眼透镜240。
h＝fL×φ (1)
等距柱形图像是通过使用等距柱形投影生成的图像，用具有两个轴的坐标表示球面坐标系的两个角度变量。图7A和图7B表示可应用于该实施例的球面和等距柱形图像之间的对应关系。图7A表示等距柱形图像的坐标的示例。图7B表示球面的坐标的示例。等距柱形图像是水平角为-180°至180°范围、垂直角为-90°至90°范围的、具有与角度坐标相对应的像素值的图像。角度坐标与球面上的各点对应关联，成为地球仪的经纬度坐标。
鱼眼图像的坐标和等距柱形图像的坐标的关系可以使用图6A和图6B说明的那样的投影函数f(φ)对应关联。因此，可以使用对应关系变换图像。
接下来将更详细地描述图4的流程图中的步骤S12中的距离图像的生成处理。图8是表示可应用于实施例的距离图像的生成处理的示例的流程图。在这种情况下，将由成像器Cam0捕获的鱼眼图像220变换为等距柱形图像而获得半球图像230，生成与该半球图像230相对应的距离图像(称为半球距离图像)。类似的处理也应用于与由成像器Cam2捕获的各鱼眼图像相对应的半球图像。来自成像器Cam0和Cam2的两个半球距离图像可以覆盖全天球范围。由成像器Cam1和Cam3捕获的图像作为用于距离图像生成时的比较图像(稍后描述)。
在步骤S20中，半球图像处理器102从半球图像230提取特征点。用于提取特征点的技术不受特别限制，只要该技术提取具有例如边缘或角部的特征的点。例如，可以使用边缘检测滤波器进行检测，也可以使用Harris的角部检测算法进行检测。
在接下来的步骤S21中，半球图像处理器102在各测距区域生成计算距离用的基准图像和比较图像。立体测距使用从不同地点捕获同一场景的两个图像。因此，对于成像器Cam0，测距区域划分为与成像器Cam1一起执行立体测距的区域和与成像器Cam3一起执行立体测距的区域。
图9是用于说明根据实施例的测距区域的示图。在具有四个成像器Cam0、Cam1、Cam2和Cam3的成像装置1a中，壳体10a的水平面的所有方向划分成四个测距区域：Area0-1，Area1-2，Area2-3，以及Area3-0。
在这种情况下，测距区域Area0-1，Area1-2，Area2-3和Area3-0分别由一组两个不同的成像器捕获。例如，测距区域Area0-1由成像器Cam0和Cam1捕获，测距区域Area1-2由成像器Cam1和Cam2捕获，测距区域Area2-3由成像器Cam2和Cam3捕获，测距区域Area3-0由成像器Cam3和Cam0捕获。因此，在各测距区域Area0-1，Area1-2，Area2-3和Area3-0中，用于立体测距的图像组合发生变化。
图10表示由成像器Cam0、Cam1、Cam2、和Cam3捕获的鱼眼图像220、221、222、和223与测距区域Area0-1、Area1-2、Area2-3、和Area3之间的关系。如图10所示，鱼眼图像220、221、222和223分别跨越两个测距区域。例如，鱼眼图像220跨越测距区域Area3-0和测距区域Area0-1。因此，鱼眼图像220、221、222和223在测距区域Area0-1、Area1-2、Area2-3和Area3-0中各自使用大致一半。
描述基准图像和比较图像。用于立体测距的两个图像之一称为基准图像，另一幅称为比较图像。与基准图像的像素位置相对应，计算距离。在典型的方法中，为了容易计算距离，大多预先进行基准图像和比较图像的平行化处理。在这种情况下，生成平行化的基准图像和比较图像。当通过使用等距柱形图像执行立体测距时，需要对图像进行变换，以使连接图7A中的φ＝-90°和φ＝90°的极点的轴的方向，与从基准图像的成像位置向比较图像的成像位置的矢量成为平行。因此，可以通过仅向φ轴方向进行搜索找到与基准图像中的特征点相对应的比较图像中的点。
在该实施例中，基于由具有基本上互相平行的光轴、且具有相反的成像方向的两个成像器(例如，成像器Cam0和Cam2)捕获的鱼眼图像220和222生成半球图像。在这种情况下，最终需要基于鱼眼图像220和222生成与各半球图像相对应的距离图像。因此，对于基准图像，选择基于由成像器Cam0及Cam2之中任一方捕获的鱼眼图像的半球图像。表1表示每个测距区域Area0-1、Area1-2、Area2-3和Area3-0的基准图像和比较图像的选择示例。
表1
测距区域 基准图像 比较图像
Area0-1 Cam0图像 Cam1图像
Area1-2 Cam2图像 Cam1图像
Area2-3 Cam2图像 Cam3图像
Area3-0 Cam0图像 Cam3图像
图11A至图11C是用于说明根据实施例的测距区域和测距图像的示图。在这种情况下，以测距区域Area0-1为例，参照图11A说明测距用图像。图11B所示的由成像器Cam0和Cam1捕获的鱼眼图像220和221成为一对用于立体测距的鱼眼图像。因此，基线长度如图11A所示，是连接成像器Cam0和Cam1的透镜的视点的线的长度。
图11C所示的测距用图像250和251是平行化的图像示例，使得基线长度方向成为连接等距柱形图像中的φ(参照图7A)的两端的直线的方向。在这种情况下，测距用图像250用作基准图像，测距用图像251用作比较图像。在图11C中，测距用图像250和251中的白色部分表示视角内的有效区域，黑色部分表示视角外的无效区域。等距柱形图像为了表现所有三维方向，因此，在视角大于180°的鱼眼透镜中不能覆盖全部，存在无效区域。在基准图像和比较图像中都成为有效区域的区域260和261表示在测距区域Area0-1中可测距的区域。
在接下来的步骤S22中，半球图像处理器102将在步骤S20中计算出的特征点转换为在步骤S21中生成的基准图像中的点。此时，根据特征点所属的测距区域切换基准图像(参照表1)。在基准图像上已变换的特征点将坐标值舍入为整数值。这是因为在最终对每个特征点进行距离计算之后，为了距离图像化，需要具有距离，作为每个像素的值。
图12是用于说明根据实施例的特征点的坐标变换的图。这里以成像器Cam0捕获的鱼眼图像220为例进行描述。从通过从鱼眼图像220变换而获得的半球图像230中检测到的特征点根据该点位置所属的测距区域，变换为其测距区域的基准图像中的特征点。
更具体地说，在左半部分(半球图像230中的区域230L)的情况下(例如，点A和B)，点A和B属于测距区域Area3-0，因此，点A和B转换成测距区域Area3-0的测距用基准图像240L中的点(在该示例中，点A’和B’)。在右半部分(半球图像230中的区域230R)的情况下(例如，点C)，点C属于测距区域Area0-1，因此，点C变换为测距区域Area0-1中的测距用基准图像240R中的点(在该示例中为点C’)。
在下一步骤S23中，半球图像处理器102对于测距区域Area0-1、Area1-2、Area2-3和Area3-0中的每一个计算特征点坐标的距离。立体测距的方法没有特别的限制，但是，由于视角为180°或更大，因此，优选使用等距柱形图像的立体测距。
在计算特征点的距离时，在通常的方法中，为了易于计算距离，大多预先执行两个图像的平行化处理。当通过使用等距柱形图像执行立体测距时，需要对图像进行变换，以使连接图7A中的φ＝-90°和φ＝90°的极点的轴的方向，与从基准图像的成像位置向比较图像的成像位置的矢量成为平行。因此，可以仅通过向φ轴方向进行搜索找到与基准图像中的特征点相对应的比较图像中的点。有效的搜索方法可以是例如模板匹配。稍后将描述根据φ方向上的移动量即视差计算距离的方法。
在步骤S24中，半球图像处理器102将在步骤S23中计算出的特征点坐标的距离保存作为与半球图像有关的距离图像(半球距离图像)。半球图像处理器102例如在RAM 1002的预定区域中或在图像处理电路1004中准备具有与半球图像相同的垂直和水平尺寸的距离图像缓冲器。将作为特征点的像素的距离存储在距离图像缓冲器中作为值。对于不用作特征点的像素，预先输入距离“0”或可设定的最大距离作为数据，因此，可以区分。
图13是用于说明可用于计算特征点的距离的测距式的示图，该式可应用于实施例。参照图13描述在步骤S23中可用于计算特征点P的距离的测距式。当将沿φ方向的移动量、即视差设为d[pix]时，通过式(2)至(5)获得等距柱形图像中的距离r[mm]。单位[pix]代表像素单位。
式(2)至(4)和图13中使用的变量、值和系数意义如下:
(u，v)[pix]：基准图像的坐标值
(xc，yc)[pix]：基准图像的图像中心
(φ,θ)[rad]：将基准图像的坐标值更改为角度获得的值
fs[pix/rad]：用于将角度转换为像素的比例系数
B[mm]：基线长度(基准图像和比较图像的成像位置之间的距离)
d[pix]：视差
r[mm]：距离(球面坐标系的半径)
φ＝(u-xc)/fs (2)
θ＝(v-yc)/fs (3)
q＝B/{tan(φ+d/fs)-tan(φ)} (4)
r＝q/cos(φ) (5)
实施例的第一变形例
接下来描述实施例的第一变形例。图14表示当从壳体10b的上面侧看根据实施例的第一变形例的成像装置1b时的示例。在图14中，对与图1B相同的部分标注相同的附图标记，并省略其详细说明。
在根据上述实施例的成像装置1a中，成像器Cam0至Cam3配置在立方体壳体10a的四个侧面上。与此相反，根据实施例的第一变形例的成像装置1b的壳体10b，参照图14，对图1A和1B的立方体的壳体10a的各侧面的边界的边进行倒角，形成面130、131、132和133。由此，即使当壳体10b的尺寸相对于成像器Cam0至Cam3的透镜尺寸增大时，也能防止壳体10b映入透镜的视角内。通过增加壳体10b的尺寸，可以将成像器Cam0至Cam3配置为在透镜之间增加距离。因此，可以执行高精度的立体测距。
通过对立方体进行倒角而获得的立体，可以通过将没有倒角的状态的各面作为构成该立体的假想面，将该立体视为立方体。
实施例的第二变形例
接下来描述实施例的第二变形例。图15A和图15B是用于说明根据实施例的第二变形例的成像装置的概述的示图。图15A是概略表示根据实施例的第二变形例的成像装置1c的外观示例的斜视图。图15B表示当从壳体10c的上面侧看根据实施例的第二变形例的成像装置1c的图。
在图15A和15B中，与上述图1A和1B相同的部分标以相同的符号，省略对它们的详细说明。在图15A中，成像器Cam0和Cam1在图中配置在壳体10c的背面侧，因此，图15A仅表示附图标记。
在根据上述实施例的成像装置1a中，壳体10a形成为立方体形状，在该立方体壳体10a的四个侧面上配置成像器Cam0至Cam3。与此相反，在实施例的第二变形例中，壳体10c的上面不是四边相等的正方形，而构造为具有矩形上表面的长方体，其中，相对侧两边的长度互相相等，在顶点互相邻接的两边的长度互相不同。只要矩形的短边与长边之间的比率等于或小于预定值，即，在各成像器Cam0至Cam3中，只要呈一边相接而邻接的面的成像器(鱼眼透镜)不映入的形状，即使长方体壳体10c也能实施上述实施例涉及的立体测距。
不限于此，配置各成像器的壳体也可以具有任何形状，只要该形状是由六个四边形表面围成，相对两面为平行的立体，在六面之中四面以上的各面，配置成像器的形状即可。例如，可以是六面全部由平行四边形构成的称为平行六面体的形状。
实施例的第三变形例
接下来描述实施例的第三变形例。图16A和图16B是用于说明根据实施例的第三变形例的成像装置的概要的示图。图16A是概略表示根据实施例的第三变形例的成像装置1d的外观示例的斜视图。图16B表示从壳体10d的上面侧看根据实施例的第三变形例的成像装置1d。
在根据上述实施例的成像装置1a中，成像器Cam0至Cam3配置在立方体壳体10a的四个侧面上。与此相反，在根据本实施例的第三变形例的成像装置1d中，如图16A和图16B所示，除了立方体壳体10d的四个侧面之外，成像器Cam4和Cam5进一步配置在壳体10d的上面和底面。由此，可以使用三个成像器在所有三维方向上捕获图像。在立体测距技术中，已知通过使用三眼或更多的透镜从不同位置捕获图像，进一步提高精度。通过将该技术应用于根据实施例的第三变形例的成像装置1d，可以执行更高精度的全天球距离检测。
实施例的第四变形例
接下来描述实施例的第四变形例。图17表示从壳体10e的上面侧看根据实施例的第四变形例的成像装置1e的示例。如图17所示，在本实施例的第四变形例中，壳体10e由六边形柱体构成，在壳体10e的六边形柱体的六个面上配置有成像器Cam0，Cam1，Cam2，Cam3，Cam4，Cam5，于是，第四变形例使用六个成像器。
同样，在这种情况下，对于成像器Cam0至Cam5中的每一个，配置另一成像器，使得该成像器的光轴基本平行于一个成像器的光轴，并且具有与一个成像器的成像方向相反的成像方向(例如，对成像器Cam0配置成像器Cam3)。因此，两个成像器可以捕获所有三维方向的图像。因此，可以使用三个成像器在所有三维方向上捕获图像。
另外，与实施例的第三变形例相比，在下面不设置透镜，所以，可以容易地确保用于配置把手或成像按钮的空间。
实施例的第五变形例
接下来描述实施例的第五变形例。图18表示从壳体10f的上面侧看根据实施例的第五变形例的成像装置1f的示例。如图18所示，本实施例的第五变形例是在由第四变形例所述的六边形柱体构成的壳体10e的六边形柱体的上面和下面分别追加成像器Cam6和Cam7的例子。因此，第五变形例使用八个成像器Cam0至Cam7。成像器Cam7在图18中配置在壳体10f的背面侧(底面)上，因此，图18仅表示附图标记。
同样，在这种情况下，对于成像器Cam0至Cam7中的每一个，配置另一成像器，使得该成像器的光轴基本平行于一个成像器的光轴，并且具有与一个成像器的成像方向相反的成像方向。因此，两个成像器可以捕获所有三维方向的图像。利用具有八个成像器的配置，可以利用四个成像器(例如，成像器Cam0，Cam1，Cam2和Cam6)在所有三维方向上从不同位置捕获图像。
此外，配置在单个壳体上的成像器的数量如果是偶数，例如10个、12个、……，只要成像装置的结构允许，可以使其增加。例如，可以将具有总视角为180°或更大的鱼眼透镜的成像器配置在正二十面体的各面上。
实施例的第六变形例
在第一实施例中，描述成像器Cam0至Cam3每个都可以捕获具有180°或更大的总视角的图像，但是，每个成像器的视角不限于该示例。例如，四个成像器Cam0至Cam3中的两个可以各自具有200°的总视角，而另外两个成像器可以各自具有160°的总视角。利用这些组合，通过在互相相对的表面配置具有相同视角的成像器，能使得配置在具有共有边的两面上的成像器的成像范围互相重叠，与第一实施例同样，能进行全方位的距离检测。
在本公开中，全天球图像不必是在水平方向上完整360度的全视图全天球图像。例如，全天球图像可以是在水平方向上具有从180度到小于360度的任何角度的广角视图图像。
根据上述教导，许多附加的修改和变化是可能的。因此，应当理解，在以上教导的范围内，可以不同于本文具体描述的方式实践本公开。在已经描述一些实施例的情况下，显而易见的是，可以以许多方式改变它们。这样的变化不应认为是背离本公开和所附权利要求的范围，并且所有这样的修改旨在包括在本公开和所附权利要求的范围内。
本专利申请基于并根据35U.S.C.§119(a)要求于2018年3月16日向日本专利局提交的日本专利申请第2018-050207的优先权，在此其全部公开内容通过引用并入。
附图标记列表
1a，1b，1c，1d，1e，1f 成像装置
10a，10b，10c，10d，10e，10f 外壳
200,201,202,203 成像范围
210,212 成像元件
220,222 鱼眼图像
230,232 半球图像
240 鱼眼透镜
250 测距用图像
100 图像获取器
102 半球图像处理器
103 全天球图像处理器
240L，240R 测距用基准图像
Area0-1，Area1-2，Area2-3，Area3-0 测距区域
Cam0，Cam1，Cam2，Cam3，Cam4，Cam5，Cam6，Cam7 成像器

Claims (11)

1.一种成像装置(1a，1b，1c，1d，1e，1f)，包括：
至少一个成像器(Cam0，Cam1，Cam2，Cam3，Cam4，Cam5，Cam6，Cam7)，其包括配置为接收通过透镜(240)入射的光的成像元件
(210,212)；以及
壳体(10a，10b，10c，10d，10e，10f)，在该壳体设置至少四个所述成像器，所述壳体配置为使得每个所述成像器和另一个所述成像器的光轴基本上互相平行，在所述光轴上具有相反的入射方向的光，所述每个成像器位于所述其他成像器的可成像范围之外。
2.根据权利要求1所述的成像装置，其中，六个或更多个成像器配置在所述壳体。
3.根据权利要求1或2所述的成像装置，其中，所述壳体是由六个四边形面限定的立体，所述成像器配置在所述六个面中的四个或更多个面的各面。
4.根据权利要求3所述的成像装置，其中，所述立体是长方体。
5.根据权利要求3或4所述的成像装置，其中，所述立体是立方体。
6.根据权利要求1至5中任一项所述的成像装置，其中，所述透镜具有180°或更大的视角。
7.一种图像处理装置，包括：
获取器(100)，配置为获取由至少四个成像器(Cam0，Cam1，Cam2，Cam3，Cam4，Cam5，Cam6，Cam7)中的每一个捕获的捕获图像，所述各成像器包括配置为接收通过透镜(240)入射的光的成像元件(210,212)，所述成像器配置在壳体(10a，10b，10c，10d，10e，10f)，使得每个成像器和另一个成像器的光轴基本上互相平行，在所述光轴上具有相反的入射方向的光，所述每个成像器位于其他成像器的可成像范围之外；以及
图像处理器(103)，配置为基于从配置在所述壳体的所有成像器获取的捕获图像生成由三维点组信息表示的全天球距离图像。
8.根据权利要求7所述的图像处理装置，其中，所述图像处理器基于从配置在所述壳体的所有成像器获取的所述捕获图像，生成各像素至少由亮度信息表示的全天球图像。
9.根据权利要求8所述的图像处理装置，其中，所述图像处理器将从分别配置在所述壳体的共有边的两个面的两个成像器获取的所述捕获图像的组和从配置在所述壳体的、光轴基本互相平行且光轴上的光的入射方向相反的两个成像器获取的捕获图像的组进行组合，在所有三维方向上生成所述全天球距离图像和所述全天球图像。
10.根据权利要求7至9中任一项所述的图像处理装置，其中，所述成像元件接收通过具有180°或更大的视角的所述透镜入射的光，所述图像处理装置从包含所述成像元件的所述各成像器获取所述捕获图像。
11.一种图像处理方法，包括：
获取(S10)由至少四个成像器(Cam0，Cam1，Cam2，Cam3，Cam4，Cam5，Cam6，Cam7)中的每一个捕获的捕获图像，各成像器包括总视角为180°或更大的透镜(240)以及配置为接收通过该透镜入射的光的成像元件(210,212)，所述成像器配置在壳体(10a，10b，10c，10d，10e，10f)，使得每个成像器和另一个成像器的光轴基本上互相平行，在所述光轴上具有相反的入射方向的光，所述每个成像器位于其他成像器的可成像范围之外；以及
基于从配置在所述壳体的所有成像器获取的捕获图像，生成(S14)由三维点组信息表示的全天球距离图像。
CN201980019432.8A 2018-03-16 2019-03-06 成像装置，图像处理装置，以及图像处理方法 Pending CN111868475A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-050207 2018-03-16
JP2018050207A JP7098980B2 (ja) 2018-03-16 2018-03-16 撮像装置、画像処理装置および画像処理方法
PCT/JP2019/008892 WO2019176690A2 (en) 2018-03-16 2019-03-06 Imaging device, image processing apparatus, and image processing method

Publications (1)

Publication Number Publication Date
CN111868475A true CN111868475A (zh) 2020-10-30

Family

ID=65952022

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980019432.8A Pending CN111868475A (zh) 2018-03-16 2019-03-06 成像装置，图像处理装置，以及图像处理方法

Country Status (7)

Country Link
US (1) US11281087B2 (zh)
EP (1) EP3765815B1 (zh)
JP (1) JP7098980B2 (zh)
KR (1) KR20200124271A (zh)
CN (1) CN111868475A (zh)
CA (1) CA3093642A1 (zh)
WO (1) WO2019176690A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115508846A (zh) * 2021-06-23 2022-12-23 株式会社理光 测距装置、测距系统

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101408661B1 (ko) * 2012-08-29 2014-06-19 충남대학교산학협력단 진공증류법을 이용한 고순도 텔루륨 분말 제조 장치 및 상기 고순도 텔루륨 분말의 입도 제어 방법
CN112204941A (zh) * 2018-05-30 2021-01-08 麦克赛尔株式会社 摄像机装置
EP3719529A1 (en) 2019-03-20 2020-10-07 Ricoh Company, Ltd. Range finding device and range finding method
US11668861B2 (en) * 2019-07-04 2023-06-06 Aspeed Technology Inc. Polyhedron lens architecture and lens scanning method suitable for the polyhedron lens architecture

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202872936U (zh) * 2012-10-08 2013-04-10 长沙尼采网络科技有限公司 基于正多面体的360度无盲区全景视频拍摄设备
US20140267596A1 (en) * 2013-03-14 2014-09-18 Joergen Geerds Camera system
KR20170017700A (ko) * 2015-08-07 2017-02-15 삼성전자주식회사 360도 3d 입체 영상을 생성하는 전자 장치 및 이의 방법
CN106872959A (zh) * 2017-01-03 2017-06-20 黄旭华 正多面体激光雷达结构及其安装方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5011528B1 (zh) 1968-02-13 1975-05-02
JP3827912B2 (ja) 2000-03-31 2006-09-27 山本 和彦 全方向ステレオ画像撮影装置及びステレオ画像撮影装置
JP5011528B2 (ja) 2006-10-06 2012-08-29 国立大学法人岩手大学 ３次元距離計測センサおよび３次元距離計測方法
KR100944389B1 (ko) * 2008-05-14 2010-03-03 (주)파노시스 원샷 파노라마 ｖｒ 촬영장치
CN102227668A (zh) * 2008-10-02 2011-10-26 Yepp澳大利亚有限公司 摄像系统
CN101588478B (zh) * 2009-04-21 2011-02-02 南京视威电子科技股份有限公司 一体化的360度视场角全景视频监控装置
JP5483027B2 (ja) 2011-02-04 2014-05-07 国際航業株式会社 ３次元画像計測方法、及び３次元画像計測装置
JP5787577B2 (ja) * 2011-04-04 2015-09-30 株式会社トプコン 全周カメラ及びレンズフード
JP5724755B2 (ja) 2011-08-26 2015-05-27 株式会社リコー 撮像システム
US9129414B2 (en) * 2011-10-14 2015-09-08 Morpho, Inc. Image compositing apparatus, image compositing method, image compositing program, and recording medium
US9692966B2 (en) * 2012-06-11 2017-06-27 Sony Corporation Image capturing device and image capturing method
JP6019970B2 (ja) 2012-09-11 2016-11-02 株式会社リコー 全天球型の撮像システムおよび撮像光学系
JP6065474B2 (ja) 2012-09-11 2017-01-25 株式会社リコー 撮像制御装置、撮像制御方法およびプログラム
JP6434209B2 (ja) * 2013-12-20 2018-12-05 株式会社リコー 画像生成装置、画像生成方法、およびプログラム
US9903950B2 (en) 2014-08-27 2018-02-27 Leica Geosystems Ag Multi-camera laser scanner
US20170363949A1 (en) * 2015-05-27 2017-12-21 Google Inc Multi-tier camera rig for stereoscopic image capture
JP6151809B2 (ja) * 2016-02-02 2017-06-21 株式会社ソニー・インタラクティブエンタテインメント 画像撮像装置および画像撮像方法
US10313686B2 (en) * 2016-09-20 2019-06-04 Gopro, Inc. Apparatus and methods for compressing video content using adaptive projection selection
JP6461061B2 (ja) 2016-09-22 2019-01-30 株式会社ヨコオ アンテナ装置
US9826152B1 (en) * 2016-10-07 2017-11-21 Sphericam Inc. Single-unit 360-degree camera with a multifunctional lumen

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202872936U (zh) * 2012-10-08 2013-04-10 长沙尼采网络科技有限公司 基于正多面体的360度无盲区全景视频拍摄设备
US20140267596A1 (en) * 2013-03-14 2014-09-18 Joergen Geerds Camera system
KR20170017700A (ko) * 2015-08-07 2017-02-15 삼성전자주식회사 360도 3d 입체 영상을 생성하는 전자 장치 및 이의 방법
CN106872959A (zh) * 2017-01-03 2017-06-20 黄旭华 正多面体激光雷达结构及其安装方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115508846A (zh) * 2021-06-23 2022-12-23 株式会社理光 测距装置、测距系统

Also Published As

Publication number Publication date
US11281087B2 (en) 2022-03-22
US20210041780A1 (en) 2021-02-11
EP3765815B1 (en) 2023-05-03
CA3093642A1 (en) 2019-09-19
JP7098980B2 (ja) 2022-07-12
WO2019176690A3 (en) 2019-10-31
EP3765815A2 (en) 2021-01-20
KR20200124271A (ko) 2020-11-02
JP2019159284A (ja) 2019-09-19
WO2019176690A2 (en) 2019-09-19

Similar Documents

Publication Publication Date Title
EP3765815B1 (en) Imaging device, image processing apparatus, and image processing method
JP4825980B2 (ja) 魚眼カメラの校正方法。
JP4825971B2 (ja) 距離算出装置、距離算出方法、構造解析装置及び構造解析方法。
Sturm et al. Camera models and fundamental concepts used in geometric computer vision
JP6468307B2 (ja) 撮像装置、画像処理装置および方法
TWI679875B (zh) 用於產生360度深度圖的影像裝置
CN106846409B (zh) 鱼眼相机的标定方法及装置
KR101888470B1 (ko) 촬상 시스템, 촬상 장치, 컴퓨터 프로그램 및 시스템
JP2017208619A (ja) 画像処理装置、画像処理方法、プログラム及び撮像システム
KR102710216B1 (ko) 멀티 센서를 사용하여 옴니 스테레오 비디오를 캡처하는 시스템 및 방법
US20130058589A1 (en) Method and apparatus for transforming a non-linear lens-distorted image
US20160078590A1 (en) Coordinate computation device and method, and an image processing device and method
JP2010276433A (ja) 撮像装置、画像処理装置及び距離計測装置
JP6724659B2 (ja) 撮影装置、方法およびプログラム
US10089726B2 (en) Image processing apparatus, image processing method, and storage medium, relating to generating an image corresponding to a predetermined three-dimensional shape by transforming a captured image
CN109565539B (zh) 拍摄装置以及拍摄方法
JP2011007798A (ja) 立体結像レンズモジュール
KR102031485B1 (ko) 360도 카메라와 평면 거울을 이용한 다시점 영상 획득 장치 및 방법
JP2005275789A (ja) 三次元構造抽出方法
WO2018139250A1 (ja) 全天球撮像装置
JP2001258050A (ja) 立体映像撮像装置
WO2016067470A1 (ja) 画像処理装置及び画像処理方法
KR101902999B1 (ko) 360도 이미지를 형성할 수 있는 카메라
JP2024011370A (ja) 撮像装置
RU142002U1 (ru) Панорамная оптико-электронная система

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination