CN104160693B - 图像捕获装置、图像捕获系统、图像处理方法、信息处理装置和计算机可读存储介质 - Google Patents
图像捕获装置、图像捕获系统、图像处理方法、信息处理装置和计算机可读存储介质 Download PDFInfo
- Publication number
- CN104160693B CN104160693B CN201380012472.2A CN201380012472A CN104160693B CN 104160693 B CN104160693 B CN 104160693B CN 201380012472 A CN201380012472 A CN 201380012472A CN 104160693 B CN104160693 B CN 104160693B
- Authority
- CN
- China
- Prior art keywords
- tilt
- image
- conversion data
- image capturing
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 13
- 238000003672 processing method Methods 0.000 title claims description 3
- 238000012937 correction Methods 0.000 claims abstract description 64
- 238000006243 chemical reaction Methods 0.000 claims description 128
- 230000001133 acceleration Effects 0.000 claims description 25
- 230000009466 transformation Effects 0.000 abstract description 7
- 238000001514 detection method Methods 0.000 abstract description 2
- 238000012545 processing Methods 0.000 description 42
- 238000000034 method Methods 0.000 description 32
- 238000010586 diagram Methods 0.000 description 23
- 230000008569 process Effects 0.000 description 14
- 238000004364 calculation method Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 7
- 238000004590 computer program Methods 0.000 description 4
- 238000013519 translation Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/72—Combination of two or more compensation controls
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/12—Panospheric to cylindrical image transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
- G06T3/047—Fisheye or wide-angle transformations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Abstract
一种图像捕获装置,包括:倾斜检测单元,用于检测在垂直方向上的倾斜;转换数据,用于将平面坐标转换为球面坐标;校正单元,用于根据所述倾斜校正所述转换数据;多个图像捕获单元;坐标转换单元,用于根据由所述校正单元校正的转换数据,将由图像捕获单元捕获的图像中包括的多个像素的平面坐标转换为球面坐标;以及组合单元,用于组合包括由所述坐标转换单元转换为球面坐标的像素的图像。
Description
技术领域
本发明涉及一种图像捕获装置、图像捕获系统、信息处理装置以及计算机可读存储介质。
背景技术
全方向或者球面地捕获图像的传统图像捕获装置采用例如双曲面反射镜或鱼眼镜头。这些图像捕获装置是特定光学系统,该特定光学系统需要诸如失真校正或投影变换的非线性图像处理,以便使通过装置所捕获的图像可以对用户可视化。
一个已知的技术是通过采用鱼眼镜头的广角捕获来获取半球形图像,并将其记录为失真圆形图像。切除失真圆形图像的一部分,并且通过计算机在图像上执行图像处理,由此失真图像被转换成平面规则图像。
另一种已知的技术是,在执行上述图像处理的同时,当失真圆形图像的中心位置未正确地对应于垂直点的方向时,用户指定倾斜角度参数。因此降低了对图像执行失真校正时的负荷。
如上所述,当在图像捕获装置处于倾斜的状态下捕获图像时,可能会生成错误垂直方向的全向球形图像。解决这个问题的一些发明已经是公知的。
日本专利申请特开No.2003-223633和日本专利申请特开No.2006-059202公开了一种生成具有正确垂直方向的全向球形图像的技术。这是通过根据照相机的倾斜向非线性图像处理过程增加旋转转换来实现的。
日本专利申请特开No.H11-309137和日本专利No.4175832公开了一种高速生成具有正确垂直方向的全向球形图像的技术,用于减少生成具有正确垂直方向的全向球形图像所需的时间或者降低算术运算的成本。这种技术是通过在捕获图像时,除了失真校正或射影转换外,根据照相机的倾斜增加旋转转换,预先制备用于非线性转换的转换表,并且通过转换表来执行批次转换而实现的。
然而,对于前述球形图像捕获装置的结构,当把从多个图像捕获方向同时捕获的多个图像进行组合时,当将结合的图像转换为平面规则图像时,以及当显示所产生的图像时,需要用户在捕获期间指定装置的倾斜角度。也就是说,存在对于自动校正图像在捕获期间不能获取用于校正的必要参数的问题。
此外,对于前述执行的用于根据倾斜通过转换表在所有方向上或球形地捕获图像的方法,如果倾斜的量或定向改变,则需要从一开始重新制作转换表。在这种情况下,处理需要相对长的时间,以根据图像捕获装置的任何倾斜生成具有正确垂直方向的全向球形图像。
日本专利申请特开No.H11-309137和日本专利No.4175832具体公开了一种根据相机的倾斜使用包括旋转转换的转换表来生成图像的技术。制作该转换表以便对应于预先确定的倾斜量。因此,如果倾斜的量或定向改变从而不同于预定的量或定向,则需要从一开始重新制作转换表。还是在这种情况下,处理仍然需要相对长的时间,以根据图像捕获装置的任何倾斜生成具有正确垂直方向的全向球形图像,因此尚未解决该问题。
因此,有必要提供一种能够根据图像捕获装置的任何倾斜生成具有正确垂直方向的全向球形图像的图像捕获装置。
发明内容
本发明的目的是至少部分地解决现有技术中的问题。
根据实施例,提供了一种图像捕获装置,包括:倾斜检测单元,用于检测在垂直方向上的倾斜;转换数据,用于将平面坐标转换为球面坐标;校正单元,用于根据所述倾斜校正所述转换数据;多个图像捕获单元;坐标转换单元,用于根据由所述校正单元校正的转换数据,将由图像捕获单元捕获的图像中包括的多个像素的平面坐标转换为球面坐标;以及组合单元,用于组合包括由所述坐标转换单元转换为球面坐标的像素的图像。
当联系附图考虑时,通过阅读本发明当前优选实施例的下面的详细描述,将可以更好地理解本发明的上述和其他目的、特征、优点以及技术和工业意义。
附图说明
图1是用于说明根据本发明实施例的图像捕获装置的总体结构的示意性框图。
图2是根据实施例的全向球形图像捕获装置的外部侧视图。
图3是用于说明根据实施例的图像捕获装置的操作的流程图。
图4示出了根据实施例的图像捕获装置中所采用的鱼眼镜头的投影关系。
图5示出了根据实施例由图像捕获装置捕获的全向球形图像的形式。
图6示出了根据实施例由图像捕获装置捕获的全向球形图像的生成处理的概略图。
图7示出了根据本实施例的用于由图像捕获装置捕获的全向球形图像的转换表。
图8是用于说明根据实施例通过转换表校正处理的操作的流程图,该转换表用于由图像捕获装置捕获的全向球形图像。
图9是用于说明根据实施例的图像捕获装置的倾斜的示意图。
图10示出了根据实施例对由图像捕获装置捕获的全向球形图像计算垂直校正的示例。
图11示出了根据实施例对由图像捕获装置捕获的全向球形图像计算垂直校正的另一个示例。
图12是用于说明根据实施例通过转换表校正处理的操作的另一个流程图,该转换表用于由图像捕获装置捕获的全向球形图像。
图13是用于说明根据本发明的另一个实施例的图像捕获系统的总体结构的示意图。
图14是用于说明根据另一个实施例的作为图像捕获系统的目标设备的电路的总体结构的示意性框图。
图15是用于说明根据另一个实施例的图像捕获系统的操作的流程图。
图16是用于说明同时在所有方向球形地捕获图像的多眼图像捕获装置的结构的图示。
图17是用于说明通过在图16所示的多眼图像捕获装置中的镜头获得的图像的图示。
图18是用于说明通过在图17所示的图像上执行失真校正然后彼此组合图像来获得的图像的图示。
图19是用于说明图16所示的多眼图像捕获装置处于倾斜状态时通过该图像捕获装置捕获的图像的图示。
图20是用于说明在图19所示的图像上执行失真校正和图像组合且不考虑倾斜而获得的图像的图示。
图21是用于说明测量倾斜角的加速度传感器的示意图。
具体实施方式
下面参照附图对根据本发明的示例性实施例进行描述。在下文的附图和说明中,相同的附图标记表示相同或等效的部件,并且将适当简化或省略其重复的说明。在实施例中,当生成全向球形图像时,全向球形图像捕获装置检测垂直方向,并且根据垂直方向校正用于图像处理的转换表。在实施例中,通过校正的转换表生成全向球形图像。因此,不需要从一开始重新制作转换表,从而减少了处理时间。图像捕获装置是指单独的装置,诸如数码相机;图像捕获系统是指单独地使用如数码相机的多个装置以及信息处理装置的系统。在实施例中,除非另有说明,图像捕获装置概念性地包括图像捕获系统。
现在将对同时在所有方向上球形地捕获图像的多眼图像捕获装置进行描述。图16是用于说明同时在所有方向上球形地捕获图像的多眼图像捕获装置的结构的图示。制备了一种图像捕获系统,该图像捕获系统采用如图16所示的多个广角镜头,以便同时在所有方向球形地捕获图像。
例如,图16左侧所示的多眼图像捕获装置采用了具有等于或大于180度视角的鱼眼镜头(超广角镜头)。该多眼图像捕获装置需要至少两眼结构(具有两个不同的图像捕获方向的图像捕获镜头),以便同时在所有方向球形地捕获图像。如果需要尽可能地减少图像失真,则可以通过采用例如如图16右侧所示的用于多眼图像捕获装置的四眼结构来增加图像捕获镜头的数量。利用这种结构,仅有选择地使用具有高图像质量的中心部分,以减少图像失真。在具有四眼结构的该图像捕获装置中,建议各镜头具有等于或大于90度、优选为约100度的视角。
为了描述的方便,下面将对具有两眼结构的图像捕获装置进行描述。但是本发明的基本思想可以被应用到图16右侧所示的具有四眼结构的图像捕获装置。
在图像捕获装置中,假定在垂直方向的图像捕获装置的中心轴对应于球体的纵轴。具体地,通过两个鱼眼镜头的每一个所获得的图像呈现如图17所示。图17是用于说明通过在图16左侧所示的两眼图像捕获装置中的镜头获得的图像的图示。如上所述,优选的是捕获图像使得由图像捕获装置的用户识别的垂直点和水平线对应于图像捕获装置的垂直点和水平线。
下面将对图17所示的180度的边界线进行说明。在包括两个镜头(两个图像捕获方向)的图像捕获系统中,捕获两个图像使得图像具有彼此重叠的区域。利用重叠区域组合图像。180度的边界线的外侧部分是重叠的区域。因此,当图像捕获装置采用两个镜头时,镜头具有等于或大于180度以及优选为约190度的视角,以提供重叠区域。当图像捕获装置采用四个镜头时,镜头具有约100度的视角,以提供适当的重叠区域。
通过图16右侧所示的采用四个镜头的结构,并且当通过正确地直立的图像捕获装置捕获图像时,仅以与上述相同的方式水平地捕获水平线。通过使用该装置的图像捕获人员识别的垂直点的位置对应于图像捕获装置的垂直点的位置。用于组合捕获的图像以在组合的图像上执行失真校正的上述技术是众所周知的。
例如,当在多个图像上执行失真校正,并且以与墨卡托(Mercator)投影相同的方式彼此组合图像时,获得了图18所示的图像。图18是用于说明通过在图17所示的图像上执行失真校正然后彼此组合图像来获得的图像的图示。
当图像捕获装置被放置为正确地直立并且不用倾斜的装置捕获图像时,当在捕获的图像上简单地执行失真校正和组合后,可以获得具有如图18所示的直的水平线的正确图像。具体地,例如当将图像捕获装置固定至某保持架,并且使用水平仪来调整装置的水平线和垂直线时,可以在正确的垂直方向上捕获图像。
图19是用于说明图16右侧所示的多眼(两眼)图像捕获装置处于倾斜状态时通过该图像捕获装置捕获的图像的图示。当人在其手中持有该图像捕获装置时,通常难以水平和垂直地捕获图像。图19例示了处于该状态下所捕获的图像。如图19所示,图像的垂直点彼此并不对应,并且图像的水平线是失真的。如上所述,如果在图像捕获装置处于倾斜状态而捕获的图像上执行失真校正和组合且不考虑倾斜,则获得如图20中所示的图像,在其中直接反映出了图19中例示的失真。
如果在图像捕获装置处于倾斜状态而捕获的图像上执行失真校正和组合且不考虑倾斜,水平线被弯曲为类似如图20所示的三角函数的曲线图。另外,图像的正交性被破坏。为了避免这些问题,应该考虑在垂直方向上的倾斜角度来执行校正。
参考图21,现在将对倾斜角的测量原理进行描述。图21是用于说明测量倾斜角的加速度传感器的示意图。
在图像捕获装置中嵌入如图21所示的加速度传感器,以便使用重力加速度传感器来测量图像捕获装置在垂直方向上如何倾斜。
图21示出了使用单轴加速度传感器获得角度的概略图。它被用来简化描述。在图21中,传感器仅获得在包括两眼结构中镜头表面的中心轴的平面内的图像捕获装置的倾斜。然而,当用户实际捕获图像时,假定可从偏离如上所述平面的偏离角度中捕获图像。为解决该问题,采用三轴加速度传感器,以便测量偏离于包括镜头表面的中央面的平面的偏离角度。
现在,将对根据实施例的图像捕获装置进行详细地描述。图1是用于说明根据本发明实施例的图像捕获装置的电路的总体结构的示意性框图。如图1所示,在该图像捕获装置(在下文中,也被称为数码相机)100中,图像捕获元件1(附图标记:109)、图像捕获元件2(附图标记:110)、同步动态随机存取存储器(SDRAM)111、外部存储设备112以及加速度传感器113被耦接至控制器10。
在实施例中,采用两个捕获元件(即,两眼结构)以获得全向图像,然而,也可以采用三个或更多捕获元件。当采用三个捕获元件时,对应于将参照图2进行描述的图像捕获元件的镜头不需要等于或大于180度的视角。可以合适地采用另一镜头视角。对于该镜头,典型地采用包括鱼眼镜头的广角镜头。图像捕获装置并不限于全向图像捕获装置。可以使用能够在水平方向上覆盖360度捕获图像的另一图像捕获装置。
控制器10包括中央处理单元(CPU)101、静态RAM(SRAM)102、只读存储器(ROM)103、图像处理模块104、SDRAM接口(I/F)105、外部存储设备I/F 106以及外部传感器I/F 107。
在实施例的描述中,图像处理模块104执行诸如失真校正和像素缺陷校正的典型图像处理,并且CPU读取预定表或计算机程序,从而根据数码相机100的倾斜执行在垂直方向上的校正处理。然而,应当理解的是,图像处理模块104也可以执行在垂直方向上的校正处理。
在捕获期间,通过图像捕获元件1(附图标记:109)和图像捕获元件2(附图标记:110)向控制器10的图像处理模块104输入数字化的图像数据块。输入的图像数据块是使用例如图像处理模块104、CPU 101、SRAM 102以及SDRAM 111处理的图像,并且最后被存储在外部存储设备112。外部存储设备的示例包括闪存(CompactFlash)(注册商标)或安全数字(SD)存储器。
在控制器10中,也可以设置用于连接到外部设备的通用串行总线(USB)连接接口或者用于连接到网络的有线或无线网络I/F。在SRAM 102或SDRAM111中存储后面将描述的转换表、用于该转换表的校正处理程序以及用于计算垂直校正的处理程序。
加速度传感器113用于在捕获过程中检测数码相机100的倾斜。这使得能够即刻且容易地检测数码相机的倾斜方向。
加速度传感器113是在互相垂直的三个方向,即,上下方向、左右方向以及前后方向上检测数码相机100的加速度的三轴加速度传感器。当用户在其手中持有数码相机100以使数码相机100保持静止时,加速度传感器113仅检测重力加速度。
当在上下方向上仅检测到向下方向的加速度时,可以发现数码相机100的上下方向对应于相对于地面的顶部和底部方向。换句话说,可知以与通常操作数码相机相同的方式水平地持有数码相机。
当图像捕获装置在顶部和底部方向倾斜时,加速度传感器113根据实际的倾斜方向检测到在左右方向和前后方向上的加速度。可以根据在上下方向、左右方向以及前后方向上的加速度大小来获得数码相机100的倾斜角度。
现在将对全向球形图像捕获装置进行说明。图2是根据实施例的全向球形图像捕获装置的外部侧视图。
本实施例的目的是使用能够从捕获点在所有方向上捕获图像的全向球形图像捕获装置来生成全向球形图像。也就是说,全向球形图像捕获装置(数码相机)可以从捕获点所观察的所有方向捕获图像。
数码相机100(图1所示),其作为全向球形图像捕获装置,通过两个捕获元件1(附图标记109)和图像捕获元件2(附图标记110)捕获图像。每个捕获元件具有作为有超过180度视角的广角镜头的例子的鱼眼镜头。通过这两个鱼眼镜头捕获的图像具有彼此重叠的区域。在图像上执行诸如失真校正的预定图像处理,并将产生的图像进行转换,然后彼此组合,从而生成全向球形图像。
现在将对根据实施例的全向球形图像捕获装置的操作进行描述。图3是用于说明根据实施例的图像捕获装置的操作的流程图。将参照图3给出从输入捕获的图像时至在外部存储设备112(图1)中存储图像时的全向球形图像捕获装置的操作的说明。
在步骤(下文中表示为“S”)301中,加速度传感器113检测数码相机100的倾斜角度。在S302中,控制器10根据在S301中检测出的数码相机100的倾斜角度,读取在例如SDRAM111中存储的转换表。然后,控制器10以预定的校正方法校正转换表。后面将对用于转换表的校正方法进行描述。
在S303中,向图像处理模块104输入通过图像捕获元件1(附图标记:
109)和图像捕获元件2(附图标记:110)捕获的两个数字化鱼眼图像。图像处理模块104执行诸如失真校正的典型图像处理。在S304中,控制器10使用在S302中校正的转换表来转换两个捕获的鱼眼图像(类似于图17所示的图像)。后面将对转换方法进行描述。
在S305中,控制器10利用在S304中转换的两个图像之间的重叠区域生成组合的全向球形图像。在S306中,控制器10通过外部存储设备I/F 106在外部存储设备112中存储在S305中生成的全向球形图像。
现在将对作为根据实施例的数码相机中所采用的广角镜头的示例的鱼眼镜头的投影关系进行描述。图4示出了根据实施例的数码相机中所采用的鱼眼镜头的投影关系。图4(a)是鱼眼镜头的外部侧视图;图(b)示出了捕获图像的平面视图中的投影函数f。
图17示出了通过具有超过180度视角的鱼眼镜头所捕获的图像,该图像是从捕获位置观看几乎半球形场景的捕获图像。如图4(a)和(b)中所示,生成具有根据入射角θ的图像高度h的图像。入射角θ和图像高度h的关系由投影函数f(h=f(θ))所限定。投影函数根据鱼眼透镜的特性而变化。
投影转换技术(函数)的例子包括:中心投影、立体投影、等距投影、等立体角投影以及正投影。当使用包括典型视角的数码相机来捕获图像时,采用中心投影。在包括具有诸如鱼眼镜头的超广视角的广角镜头的数码相机中,采用以上其他四种方法。
现在将描述由根据实施例的数码相机捕获的全向球形图像的形式(方程的形式)。图5示出了根据实施例由数码相机捕获的全向球形图像的形式。图5(a)示出了平面形式;图5(b)示出了球形形式。
图5(a)示出了用于将全向球形图像展开为平面坐标的形式。如图5(a)中所示,平面形式是包括像素值的图像,这些像素值对应于具有从0到360度的水平角度和从0到180度的垂直角度的角坐标。这些角坐标与如图5(b)所示球面坐标中的点相关联,这些球面坐标类似于球面上的经度和纬度坐标。
通过鱼眼镜头捕获的图像的平面坐标和全向球形图像的球面坐标可以使用图4所示的投影函数f(h=f(θ))彼此相关联。这使得能够转换通过鱼眼镜头捕获的两个图像,并且将所得到的图像组合(合成),从而生成如图5(a)和(b)中所示的全向球形图像。
现在将参照通过鱼眼透镜捕获的实际图像,对生成全向球形图像的过程进行描述。图6示出了根据实施例由数码相机捕获的全向球形图像的生成处理的概略图。图6的(a1)和(a2)是经由两个鱼眼镜头通过捕获元件捕获的图像;图6的(b1)和(b2)是通过转换表转换的图像(对应于图5(a));图6(c)是通过组合(合成)两个转换后的图像来生成的图像(对应于图5(b))。
经由两个鱼眼镜头通过捕获元件捕获的如图6的(a1)和(a2)所示的、在图17中也示意性地示出的各个图像被转换成图6的(b1)和(b2)所示的图像。通过在图3中所示的在S304中的处理,即在其中使用校正的转换表的图像转换处理,来执行该转换。在这一点,以对应于全向球形图像形式的方式,即对应于图5(a)所示的图像的方式,呈现图6的(b1)和(b2)所示的图像。
接着,执行图3所示的S305中的处理。具体地,组合两个转换后的图像,从而生成全向球形图像。更具体地,使用图6的(b1)和(b2)所示的图像的重叠区域作为关键,使两个转换后的图像重叠并且组合,由此生成图6(c)所示的图像,即全向球形图像。
现在将对用于图3所示的S304中的转换表的校正方法进行描述。图7示出了根据实施例的用于由数码相机捕获的全向球形图像的转换表。
图7(a)是用于说明表示转换前的图像和转换后的图像的坐标矩阵的转换表的图示。图7(b)和(c)是用于说明转换前的图像的坐标(图7(b))以及转换后的图像的坐标(图7(c))的对应关系的图示。
图7(a)示出了用于图3中所示的S304中图像处理的转换表。该转换表包括对于转换后图像的每个坐标的,转换后的图像的像素值的坐标以及对应的转换前的图像的像素值的坐标(x,y)的数据集。这里的转换表呈现表格数据结构,然而也可以使用另一种结构,只要它是转换数据。
根据图7(a)所示的转换表从捕获的图像(转换前的图像)生成转换后的图像。具体地,如图7的(b)和(c)所示,基于在转换表(图7(a))中的转换前的图像和转换后的图像之间的对应关系,通过参照转变前的图像的坐标中的对应的像素值,来生成转换后的图像中的像素。
现在将给出根据数码相机的倾斜来校正转换表的处理的说明,该转换表用于由根据实施例的数码相机捕获的全向球形图像。图8是用于说明对转换表校正处理的操作的流程图,该转换表用于由根据实施例的图像捕获装置捕获的全向球形图像。
在S801中,控制器10根据由加速度传感器113(图1)检测出的数码相机100的倾斜值来获得相机倾斜参数(α,β)。相机倾斜参数(α,β)中的a和β代表旋转角度,其将在后面进行描述。
在S802中,设置转换表的输入值在图8中,相机坐标系统中的值表示为而全球坐标系统中的值表示为以便区别于取决于坐标系统的参数值因此,在S802中设置在全球坐标系统中的值
在S803中,通过由控制器10计算垂直校正,将在全球坐标系统中的输入值转换成在相机坐标系统中的值该垂直校正的计算将在后面进行描述。
在S804中,通过尚未校正的转换表(图7(a)),将相机坐标系统中的转换后的值转换为转换前的图像的坐标(x,y)。应当指出的是,需要预先提供用于生成正确的全向球形图像的转换表。正确的全向球形图像是在相机在捕获期间没有倾斜的条件下生成的。需要在诸如SRAM或SDRAM的预定存储单元中存储用于生成正确的全向球形图像的转换表。
在S805中,控制器10存储全球坐标系统中的输入值以及上述最后所计算出的未校正的坐标(x,y),作为已经校正后的转换表中的彼此对应的一组坐标。
在S806中,控制器10确定是否仍有任何未解决的输入值换句话说,控制器10确定是否仍有任何未解决的全球坐标系统中的输入值 其中未计算相对应的尚未校正坐标(x,y)。如果控制器10确定仍有未解决的输入值(在S806,是),则处理返回到S802,以便全球坐标系统中的输入值被设置为后续的值。
如果控制器10确定没有未解决的输入值(在S806,否),则处理结束。在这种情况下,控制器10完成尚未校正的坐标(x,y)的计算,该坐标(x,y)对应于以全向球形图像的形式的像素,该全向球形图像具有作为坐标的全球坐标系统中的输入值
现在将对根据实施例的数码相机100的倾斜进行描述。图9是用于说明根据实施例的图像捕获装置的倾斜的示意图。
在图9中,垂直方向对应于全球坐标系统中的三维(x,y,z)笛卡儿坐标中的z-轴。当此方向对应于图9所示的数码相机的垂直方向时,相机处于没有倾斜的状态。当此方向不对应于数码相机的垂直方向时,数码相机处于倾斜的状态。
利用加速度传感器的输出,从下方的方程获得重力矢量的倾斜角度α以及在xy平面内的梯度角度β。在公式中,Ax是指加速度传感器在相机坐标系统中在x0-轴方向上的分量值;Ay是指加速度传感器在相机坐标系统中在y0-轴方向上的分量值;Az是指加速度传感器在相机坐标系统中在z0-轴方向上的分量值。
α=Arctan(Ax/Ay)
现在将对垂直校正的计算进行描述。图10(a)和图10(b)是用于说明根据实施例对由数码相机捕获的全向球形图像计算垂直校正的示例的图示。图10(a)示出了相机坐标系统;图10(b)示出了全球坐标系统。
在图10中,全球坐标系统中的三维笛卡尔坐标被表示为(x1,y1,z1),并且在全球坐标系统中的球面坐标被表示为此外,相机坐标系统中的三维笛卡尔坐标被表示为(x0,y0,z0),并且相机坐标系统中的球面坐标被表示为
通过图10所示的方程,将球面坐标转换为球面坐标为校正倾斜,首先三维笛卡尔坐标被用于执行旋转转换,因而通过图10所示的方程(1)至(3)将球形坐标转换为三维笛卡尔坐标(x1,y1,z1)。
随后,相机倾斜参数(α,β)被用来通过图10(方程(4))所示的旋转坐标转换,将全球坐标系统中的坐标(x1,y1,z1)转换为相机坐标系统中的坐标(x0,y0,z0)。换句话说,该方程(图10所示的方程(4))是相机倾斜参数(α,β)的定义。
这意味着通过由α绕z轴旋转全球坐标系统,然后由β绕x轴旋转全球坐标系统获得了相机坐标系统。最后,通过图10所示的公式(5)和(6),将相机坐标系统中的三维笛卡尔坐标(x0,y0,z0)转换回相机坐标系统中的球面坐标
现在将对垂直校正的计算的另一例子进行说明。图11示出了根据实施例对由数码相机捕获的全向球形图像计算垂直校正的另一个例子。图11(a)示出了相机坐标系统;图11(b)示出了全球坐标系统。
在本实施例中,加快了垂直校正的计算。根据实施例,上述的和图10所示的方程(1)至(6)可以被呈现为图11所示的方程(7)至(14)。
具体地,绕z轴的旋转α和旋转γ就是球面坐标中的旋转θ本身。可以用简单的加法或减法运算来执行旋转转换的计算,而不用转换为笛卡尔坐标系统,从而加速了计算。因此,仅对于绕x轴的旋转β的旋转转换需要通过笛卡尔坐标系统的转换。这加快了计算。
现在将给出根据数码相机的倾斜来校正转换表的另一个处理的说明,该转换表用于由根据实施例的数码相机捕获的全向球形图像。图12是用于说明根据实施例通过转换表进行校正处理的操作的另一个流程图,该转换表用于由图像捕获装置捕获的全向球形图像。
在本实施例中,可以加快对转换表的校正处理。在图11所示的实施例中,在加速计算垂直校正的同时,执行对转换表的校正处理。相比之下,在本实施例中省略了垂直校正的计算以加速计算。
参照图12,对转换表的校正处理将被描述。在S1201中,获得了相机倾斜参数(α,β)。此处理与在图8所示的S801中的处理相同。
在S1202中,获得了对应于相机倾斜参数(α,β)的值的转换表,然后处理结束。具体地,通过存储多个转换表省略了垂直校正的计算,使得转换表根据相机倾斜参数(α,β)来提供不同的值。
原则上,相机倾斜参数(α,β)是三维实向量。如果只对特定的相机倾斜参数(α,β)提供转换表,并且使用最接近检测到的相机倾斜参数(α,β)的转换表,则由提供的表覆盖所有参数。可选地,提取接近检测到的相机倾斜参数(α,β)的多个表并且进行诸如加权或获得差异的插值操作也是有效的。这使得能够仅用相对简单的插值操作来校正转换表,从而抑制了在操作中的处理。
现在将对根据另一个实施例的图像捕获系统的总体结构进行描述。图13是用于说明根据本发明实施例的图像捕获系统的总体结构的示意性框图。在上面描述的实施例中,倾斜校正是在球形图像捕获装置(数码相机)中执行的,然而,倾斜校正不限于在球形图像捕获装置中执行。
如图13所示,在球形图像捕获装置上增加了有线或无线的通信功能,以获得能够执行图像处理的信息处理装置,譬如计算机或便携式信息终端(如智能手机平板个人计算机)。校正前的图像被发送到信息处理装置,并且可以在目标信息处理装置(目标设备)处执行校正倾斜的处理。
但是,倾斜校正处理需要球形图像捕获装置的倾斜信息。仅可以在图像捕获装置本身检测球形图像捕获装置的倾斜信息,因而需要将倾斜信息随校正前的图像一起发送。转换表可以存储在球形图像捕获装置中,并且随图像一起发送。可选地,转换表可被预先发送到目标设备,作为捕获的准备(例如,当目标设备识别出图像捕获装置时,或者当图像捕获装置识别出目标设备时)。
并不需要每次都与图像一起发送转换表。可以当目标设备请求转换表或者检查转换表是否是最新的一个时发送转换表。此外,可以不必从图像捕获装置发送转换表。例如,转换表可被上传到销售图像捕获装置的制造商的网站上,以便被下载并存储在目标设备上。从图像捕获装置发送的转换表可以被定制,以适应该图像捕获装置。
现在将给出根据另一个实施例的图像捕获系统中的目标设备200的描述。图14是用于说明根据另一个实施例的图像捕获系统的目标设备200的电路的总体结构的示意性框图。在图14中,SDRAM 1411和外部存储设备1412被耦接至控制器140。
控制器140包括CPU 1401、SRAM 1402、ROM 1403、图像处理模块1404、SDRAM I/F1405以及外部存储设备I/F 1406。控制器140还包括用于连接到外部设备的USB连接接口1407以及用于连接到网络的有线或无线网络I/F1408。
在上述实施例的描述中,图像处理模块1404执行诸如失真校正和像素缺陷校正的典型图像处理,并且CPU 1401读取预定表或计算机程序,从而根据数码相机100的倾斜执行在垂直方向的校正处理。然而,应当理解的是,图像处理模块1404也可以执行在垂直方向上的校正处理。
现在将对根据另一个实施例的图像捕获系统的操作进行描述。图15是用于说明根据另一个实施例的图像捕获系统的操作的流程图。图15示出了在输入捕获的图像后,图像被存储在目标设备的存储单元中。
首先在数码相机100中执行处理。在S1501中,由加速度传感器113(图1)检测数码相机100的倾斜角度。在S1502中,由控制器10将两个鱼眼图像(如图17所示)发送到诸如便携式信息终端或计算机的目标设备200。鱼眼图像已经通过图像捕获元件1(附图标记:109)和图像捕获元件2(附图标记:110)捕获,并且已经被数字化。通过如图13所示的USB连接接口1407或网络I/F 1408执行上述的发送。此外,通过USB连接接口1407或网络I/F 1408向目标设备200发送数码相机的倾斜信息和转换表。
如上所述,当数码相机100和目标设备200彼此识别时,可以预先发送转换表。可以向目标设备200仅发送转换表一次,即不需要每次都发送转换表。
转换表被存储在例如耦接至数码相机100的SDRAM 1411中,并被从中读取,然后被发送。这是在数码相机100中执行的处理的结束。在目标设备200中执行后续步骤。
在S1503中,根据倾斜信息通过预定的校正方法在控制器140中校正转换表,其中倾斜信息是发送来的数码相机的角度信息。用于转换表的校正方法与上面描述的实施例是相同的。在S1504中,向目标设备200的图像处理模块1404输入发送来的通过两个捕获元件捕获的鱼眼图像。
在图像处理模块1404中执行诸如失真校正的典型图像处理。在S1505中,通过在S1503中校正的转换表由控制器140转换两个鱼眼图像。转换方法与上述实施例中的相同。
在S1506中,利用在S1505中转换的两个图像的重叠区域由控制器140生成所合成的全向球形图像。在S1507中,通过外部存储设备I/F 1406,由控制器140将S1506中生成的全向球形图像存储在外部存储设备1412中。
可以由计算机程序执行与图3、图8、图12和图15所示的根据实施例的流程图有关的操作。具体地,控制图像捕获装置的操作的CPU(控制电路)101(图1)或者控制目标设备200的操作的CPU(控制电路)1401(图14)加载在诸如ROM 103和1403、SRAM 102和1402的记录介质中存储的各种计算机程序,并顺序地执行这些程序。
如上所述,在全向球形图像捕获装置中,或者在图像捕获系统中,检测垂直方向,并且对用于图像处理的转换表执行校正,并且通过校正后的转换表生成全向球形图像。这消除了从开始重做转换表的必要性,从而减少了处理时间。
虽然为了完整和清楚的公开,本发明已经针对具体实施例进行了描述,但是所附权利要求并不因此受到限制,而是被解释为包含本领域技术人员可以想到的并且完全地落入本文所阐述的基本教示之内的所有修改和替换结构。
Claims (9)
1.一种图像捕获装置,包括:
倾斜传感器,用于检测在垂直方向上的倾斜;
转换数据,用于将平面坐标转换为球面坐标;
具有不同图像捕捉方向的两个广角镜头;以及
电路,用于:
根据所述倾斜校正所述转换数据;
根据校正的转换数据,将经由所述两个广角镜头捕获的图像中包括的多个像素的平面坐标转换为球面坐标,以及
组合包括转换为球面坐标的像素的图像;
其中,
所述倾斜是垂直方向上的三个维度的梯度矢量,
预先提供对应于所述梯度矢量的转换数据,并且
从预先提供的所述转换数据中提取出与最接近检测到的倾斜的梯度矢量相对应的转换数据。
2.根据权利要求1所述的图像捕获装置,其中,
对所提取的转换数据和与检测到的倾斜的相对应的转换数据之间的差进行内插。
3.根据权利要求1或2所述的图像捕获装置,其中所述倾斜传感器是加速度传感器。
4.一种图像捕获系统,包括:
图像捕获装置;以及
通过网络耦接到所述图像捕获装置的信息处理装置,其中所述图像捕获系统包括:
倾斜传感器,用于检测在垂直方向上的倾斜;
转换数据,用于将平面坐标转换为球面坐标;
具有不同图像捕捉方向的两个广角镜头;以及
电路,用于:
根据所述倾斜校正所述转换数据;
根据校正的转换数据,将经由所述两个广角镜头捕获的图像中包括的多个像素的平面坐标转换为球面坐标;以及
组合包括转换为球面坐标的像素的图像;
其中,
所述倾斜是垂直方向上的三个维度的梯度矢量,
预先提供对应于所述梯度矢量的转换数据,并且
从预先提供的所述转换数据中提取出与最接近检测到的倾斜的梯度矢量相对应的转换数据。
5.根据权利要求4所述的图像捕获系统,其中,
所述图像捕获装置向所述信息处理装置发送所述倾斜、所述转换数据以及由所述两个广角镜头捕获的多个图像,并且
所述信息处理装置根据所发送的所述倾斜校正所述转换数据,根据校正的转换数据在发送的图像上执行坐标转换,并组合通过坐标转换而获得的图像。
6.一种图像处理方法,包括:
检测在垂直方向上的倾斜;
使用转换数据将平面坐标转换为球面坐标;
根据所述倾斜校正所述转换数据;
根据校正的转换数据,将由具有不同图像捕捉方向的两个广角镜头捕获的图像中包括的多个像素的平面坐标转换为球面坐标;以及
组合包括在所述转换中转换为球面坐标的像素的图像;
其中,
所述倾斜是垂直方向上的三个维度的梯度矢量,
预先提供对应于所述梯度矢量的转换数据,并且
从预先提供的所述转换数据中提取出与最接近检测到的倾斜的梯度矢量相对应的转换数据。
7.一种计算机可读存储介质,具有在其上存储的可执行程序,其中所述程序指令作为图像捕获装置的计算机执行:
检测在垂直方向上的倾斜;
使用转换数据将平面坐标转换为球面坐标;
根据所述倾斜校正所述转换数据;
根据在所述校正中校正的转换数据,将由具有不同图像捕捉方向的两个广角镜头捕获的图像中包括的多个像素的平面坐标转换为球面坐标;以及
组合包括在所述转换中转换为球面坐标的像素的图像;
其中,
所述倾斜是垂直方向上的三个维度的梯度矢量,
预先提供对应于所述梯度矢量的转换数据,并且
从预先提供的所述转换数据中提取出与最接近检测到的倾斜的梯度矢量相对应的转换数据。
8.一种信息处理装置,通过网络被耦接到图像捕获装置,所述信息处理装置包括:
存储器,用于在其中存储转换数据,所述转换数据用于将平面坐标转换为球面坐标;以及
电路,用于:
接收在垂直方向上的倾斜和从所述图像捕获装置的具有不同图像捕捉方向的两个广角镜头捕获的多个图像;
根据所述倾斜校正所述转换数据;
根据校正的转换数据,将捕获的图像中包括的多个像素的平面坐标转换为球面坐标;以及
组合包括转换为球面坐标的像素的图像;
其中,
所述倾斜是垂直方向上的三个维度的梯度矢量,
预先提供对应于所述梯度矢量的转换数据,并且
从预先提供的所述转换数据中提取出与最接近检测到的倾斜的梯度矢量相对应的转换数据。
9.一种计算机可读存储介质,具有在其上存储的可执行程序,其中所述程序指令作为通过网络耦接到图像捕获装置的信息处理装置的计算机执行:
存储转换数据,所述转换数据用于将平面坐标转换为球面坐标;
接收在垂直方向上的倾斜和从所述图像捕获装置的具有不同图像捕捉方向的两个广角镜头捕获的多个图像;
使用转换数据,将平面坐标转换为球面坐标;
根据所述倾斜校正所述转换数据;
根据在所述校正中校正的转换数据,将经由所述两个广角镜头捕获的图像中包括的多个像素的平面坐标转换为球面坐标;以及
组合包括在所述转换中转换为球面坐标的像素的图像;
其中,
所述倾斜是垂直方向上的三个维度的梯度矢量,
预先提供对应于所述梯度矢量的转换数据,并且
从预先提供的所述转换数据中提取出与最接近检测到的倾斜的梯度矢量相对应的转换数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810707970.3A CN108876714B (zh) | 2012-03-09 | 2013-03-11 | 图像捕获装置、信息处理装置和图像处理方法 |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012053190 | 2012-03-09 | ||
JP2012-053190 | 2012-03-09 | ||
JP2012-263542 | 2012-11-30 | ||
JP2012263542A JP2013214947A (ja) | 2012-03-09 | 2012-11-30 | 撮像装置、撮像システム、画像処理方法、情報処理装置、及びプログラム |
PCT/JP2013/057338 WO2013133456A1 (en) | 2012-03-09 | 2013-03-11 | Image capturing apparatus, image capture system, image processing method, information processing apparatus, and computer-readable storage medium |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810707970.3A Division CN108876714B (zh) | 2012-03-09 | 2013-03-11 | 图像捕获装置、信息处理装置和图像处理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104160693A CN104160693A (zh) | 2014-11-19 |
CN104160693B true CN104160693B (zh) | 2018-07-27 |
Family
ID=49116920
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810707970.3A Active CN108876714B (zh) | 2012-03-09 | 2013-03-11 | 图像捕获装置、信息处理装置和图像处理方法 |
CN201380012472.2A Active CN104160693B (zh) | 2012-03-09 | 2013-03-11 | 图像捕获装置、图像捕获系统、图像处理方法、信息处理装置和计算机可读存储介质 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810707970.3A Active CN108876714B (zh) | 2012-03-09 | 2013-03-11 | 图像捕获装置、信息处理装置和图像处理方法 |
Country Status (7)
Country | Link |
---|---|
US (2) | US9607358B2 (zh) |
EP (2) | EP2823637B1 (zh) |
JP (1) | JP2013214947A (zh) |
KR (6) | KR101961364B1 (zh) |
CN (2) | CN108876714B (zh) |
CA (1) | CA2866621C (zh) |
WO (1) | WO2013133456A1 (zh) |
Families Citing this family (65)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013214947A (ja) * | 2012-03-09 | 2013-10-17 | Ricoh Co Ltd | 撮像装置、撮像システム、画像処理方法、情報処理装置、及びプログラム |
JP5910485B2 (ja) * | 2012-03-16 | 2016-04-27 | 株式会社リコー | 撮像システム |
WO2015030221A1 (en) | 2013-08-28 | 2015-03-05 | Ricoh Company, Ltd. | Image processing apparatus, image processing method, and imaging system |
JP2015125002A (ja) * | 2013-12-25 | 2015-07-06 | 株式会社ズームスケープ | 計測用画像撮影方法及び画像計測プログラム |
JP2015149600A (ja) * | 2014-02-06 | 2015-08-20 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
CN103871038B (zh) * | 2014-03-06 | 2014-11-05 | 中国人民解放军国防科学技术大学 | 一种基于非均匀测量矩阵的超分辨率全向图像重建方法 |
JP5843034B1 (ja) * | 2014-05-15 | 2016-01-13 | 株式会社リコー | 動画表示装置およびプログラム |
JP5843033B1 (ja) * | 2014-05-15 | 2016-01-13 | 株式会社リコー | 撮像システム、撮像装置、プログラムおよびシステム |
JP5846268B1 (ja) | 2014-08-12 | 2016-01-20 | 株式会社リコー | 画像処理システム、画像処理装置、プログラムおよび撮像システム |
JP6398457B2 (ja) * | 2014-08-14 | 2018-10-03 | 株式会社リコー | 撮影装置、撮影方法、およびプログラム |
JP6398472B2 (ja) * | 2014-08-27 | 2018-10-03 | 株式会社リコー | 画像表示システム、画像表示装置、画像表示方法、およびプログラム |
JP2016058886A (ja) * | 2014-09-09 | 2016-04-21 | パナソニックIpマネジメント株式会社 | 撮像装置、撮像システム、画像処理方法、およびプログラム |
JP6600936B2 (ja) * | 2014-11-06 | 2019-11-06 | 株式会社リコー | 画像処理装置、画像処理方法、画像処理システム、プログラム、及び記録媒体 |
JP5920507B1 (ja) * | 2015-03-10 | 2016-05-18 | 株式会社リコー | 画像処理システム、画像処理方法およびプログラム |
JP6568374B2 (ja) * | 2015-03-27 | 2019-08-28 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
CN104835118A (zh) * | 2015-06-04 | 2015-08-12 | 浙江得图网络有限公司 | 通过两路鱼眼摄像头采集全景图像的方法 |
WO2017002360A1 (en) * | 2015-07-01 | 2017-01-05 | Ricoh Company, Ltd. | Full-spherical video imaging system and computer-readable recording medium |
JP6677098B2 (ja) * | 2015-07-01 | 2020-04-08 | 株式会社リコー | 全天球動画の撮影システム、及びプログラム |
TWI558208B (zh) * | 2015-07-14 | 2016-11-11 | 旺玖科技股份有限公司 | 影像處理方法、影像處理裝置及顯示系統 |
JP2017040687A (ja) | 2015-08-17 | 2017-02-23 | 株式会社リコー | 画像表示システム、情報処理装置、画像表示方法及びプログラム |
US20180203659A1 (en) | 2015-08-17 | 2018-07-19 | Osamu OGAWARA | Image display system, information processing apparatus, and image display method |
JP6627352B2 (ja) * | 2015-09-15 | 2020-01-08 | カシオ計算機株式会社 | 画像表示装置、画像表示方法及びプログラム |
WO2017104395A1 (ja) | 2015-12-15 | 2017-06-22 | 株式会社リコー | 画像処理装置及び画像処理方法 |
JP6645245B2 (ja) * | 2016-02-19 | 2020-02-14 | 株式会社ザクティ | 全天球撮影システム |
JP6942940B2 (ja) * | 2016-03-14 | 2021-09-29 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
WO2017163527A1 (ja) | 2016-03-22 | 2017-09-28 | 株式会社リコー | 画像処理システム、画像処理方法及びプログラム |
US10792817B2 (en) * | 2016-04-12 | 2020-10-06 | Optim Corporation | System, method, and program for adjusting altitude of omnidirectional camera robot |
US20170302714A1 (en) * | 2016-04-15 | 2017-10-19 | Diplloid Inc. | Methods and systems for conversion, playback and tagging and streaming of spherical images and video |
US10694102B2 (en) | 2016-07-22 | 2020-06-23 | Immervision, Inc. | Method to capture, store, distribute, share, stream and display panoramic image or video |
JP6724659B2 (ja) * | 2016-08-30 | 2020-07-15 | 株式会社リコー | 撮影装置、方法およびプログラム |
KR20180051288A (ko) * | 2016-11-08 | 2018-05-16 | 삼성전자주식회사 | 디스플레이 장치 및 그 제어 방법 |
CN110612720B (zh) * | 2017-05-18 | 2022-04-12 | 索尼公司 | 信息处理装置、信息处理方法以及可读存储介质 |
JP6919334B2 (ja) * | 2017-05-26 | 2021-08-18 | 株式会社リコー | 画像処理装置、画像処理方法、プログラム |
JP6981106B2 (ja) | 2017-08-29 | 2021-12-15 | 株式会社リコー | 撮像装置、画像表示システム、操作方法、プログラム |
CN111183334B (zh) * | 2017-08-31 | 2022-03-15 | 株式会社OPTiM | 图像解析距离信息提供系统、方法以及记录介质 |
JP6935970B2 (ja) * | 2017-10-04 | 2021-09-15 | 株式会社ザクティ | 自動二輪車用カメラ装置 |
KR20190057995A (ko) | 2017-11-21 | 2019-05-29 | 한국자동기술산업 주식회사 | 개인용 흡연부스의 조립구조 |
CN108040242A (zh) * | 2017-12-18 | 2018-05-15 | 横琴峰云视觉技术有限公司 | 一种双摄像头装置的倾斜角度的校正方法及装置 |
JP7031280B2 (ja) | 2017-12-18 | 2022-03-08 | 株式会社リコー | 画像処理装置、画像処理システムおよびプログラム |
JP6688277B2 (ja) * | 2017-12-27 | 2020-04-28 | 本田技研工業株式会社 | プログラム、学習処理方法、学習モデル、データ構造、学習装置、および物体認識装置 |
JP2019121857A (ja) | 2017-12-28 | 2019-07-22 | キヤノン株式会社 | 電子機器及びその制御方法 |
JP7043255B2 (ja) * | 2017-12-28 | 2022-03-29 | キヤノン株式会社 | 電子機器及びその制御方法 |
JP7081473B2 (ja) | 2018-03-02 | 2022-06-07 | 株式会社リコー | 撮像光学系、撮像システム及び撮像装置 |
CN110231694A (zh) | 2018-03-05 | 2019-09-13 | 株式会社理光 | 摄像光学系、摄像系统以及摄像装置 |
US10855916B2 (en) | 2018-03-15 | 2020-12-01 | Ricoh Company, Ltd. | Image processing apparatus, image capturing system, image processing method, and recording medium |
CN108462838B (zh) * | 2018-03-16 | 2020-10-02 | 影石创新科技股份有限公司 | 一种全景视频防抖方法、装置及便携式终端 |
JP7124366B2 (ja) | 2018-03-20 | 2022-08-24 | 株式会社リコー | 撮像素子固定構造及び撮像装置 |
JP2019164303A (ja) | 2018-03-20 | 2019-09-26 | 株式会社リコー | 光学システム及び撮像装置 |
US10852503B2 (en) | 2018-03-20 | 2020-12-01 | Ricoh Company, Ltd. | Joint structure |
JP6610740B2 (ja) * | 2018-09-06 | 2019-11-27 | 株式会社リコー | 撮影装置、撮影方法、およびプログラム |
JP6610741B2 (ja) * | 2018-09-06 | 2019-11-27 | 株式会社リコー | 画像表示システム、画像表示装置、画像表示方法、およびプログラム |
EP3644600B1 (en) | 2018-10-22 | 2022-06-15 | Ricoh Company, Ltd. | Imaging device, information processing method, system, and carrier means |
US11128814B2 (en) * | 2018-11-30 | 2021-09-21 | Vecnos Inc. | Image processing apparatus, image capturing apparatus, video reproducing system, method and program |
JP2020153796A (ja) | 2019-03-19 | 2020-09-24 | 株式会社リコー | 測距装置、及び測距方法 |
EP3719529A1 (en) | 2019-03-20 | 2020-10-07 | Ricoh Company, Ltd. | Range finding device and range finding method |
JP7350510B2 (ja) * | 2019-05-14 | 2023-09-26 | キヤノン株式会社 | 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体 |
JP7383911B2 (ja) * | 2019-06-27 | 2023-11-21 | 株式会社リコー | 撮像システム、画像処理装置、撮像装置およびプログラム |
JP7379884B2 (ja) | 2019-06-27 | 2023-11-15 | 株式会社リコー | 撮像装置、画像処理システム、方法およびプログラム |
JP7388084B2 (ja) * | 2019-09-20 | 2023-11-29 | 株式会社リコー | 情報処理装置、方法および記録媒体 |
JP6879350B2 (ja) * | 2019-10-31 | 2021-06-02 | 株式会社リコー | 画像表示システム、画像表示装置、画像表示方法、およびプログラム |
JP7025042B2 (ja) * | 2019-12-26 | 2022-02-24 | 株式会社ザクティ | 全天球画像生成方法、全天球画像生成表示方法、全天球画像生成システムのプログラム及び全天球画像生成表示システムのプログラム |
US11470250B2 (en) * | 2019-12-31 | 2022-10-11 | Gopro, Inc. | Methods and apparatus for shear correction in image projections |
US11825230B2 (en) * | 2020-02-14 | 2023-11-21 | Canon Kabushiki Kaisha | Imaging apparatus and storage medium |
JP2020174363A (ja) * | 2020-06-23 | 2020-10-22 | 株式会社リコー | 撮影システム、方法およびプログラム |
CN112419172B (zh) * | 2020-09-02 | 2022-10-21 | 中国人民解放军93114部队 | 倾斜图像校正去模糊的遥感图像处理方法 |
Family Cites Families (52)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04175832A (ja) | 1990-11-07 | 1992-06-23 | Nec Eng Ltd | 障害処理方式 |
US7382399B1 (en) * | 1991-05-13 | 2008-06-03 | Sony Coporation | Omniview motionless camera orientation system |
JPH1184482A (ja) | 1997-09-12 | 1999-03-26 | Nec Corp | デジタル電子スチルカメラ |
US6304284B1 (en) | 1998-03-31 | 2001-10-16 | Intel Corporation | Method of and apparatus for creating panoramic or surround images using a motion sensor equipped camera |
JPH11309137A (ja) | 1998-04-27 | 1999-11-09 | Toshiba Corp | 断層像画像化装置 |
US20010015751A1 (en) | 1998-06-16 | 2001-08-23 | Genex Technologies, Inc. | Method and apparatus for omnidirectional imaging |
AU4336300A (en) * | 1999-04-08 | 2000-10-23 | Internet Pictures Corporation | Virtual theater |
JP4469471B2 (ja) * | 2000-07-13 | 2010-05-26 | 亮介 柴崎 | 移動体用広視野角多方向画像取得装置及び移動体用広視野角多方向画像取得システム |
US7312810B2 (en) | 2001-05-25 | 2007-12-25 | Matsushita Electric Industrial Co., Ltd. | Wide-angle image generating device |
JP4175832B2 (ja) | 2001-05-25 | 2008-11-05 | 松下電器産業株式会社 | 広角画像生成装置 |
JP3705162B2 (ja) * | 2001-06-20 | 2005-10-12 | ソニー株式会社 | 撮像装置 |
JP2003223633A (ja) | 2002-01-29 | 2003-08-08 | Sharp Corp | 全方位視覚システム |
JP4378994B2 (ja) * | 2003-04-30 | 2009-12-09 | ソニー株式会社 | 画像処理装置、画像処理方法ならびに撮像装置 |
JP4355535B2 (ja) * | 2003-08-07 | 2009-11-04 | 株式会社岩根研究所 | 360度画像変換処理装置 |
JP2005063141A (ja) | 2003-08-12 | 2005-03-10 | D Link Corp | 画像変換システム及び画像変換方法 |
JP2005175952A (ja) | 2003-12-11 | 2005-06-30 | Canon Inc | カメラ |
JP2005210651A (ja) * | 2004-01-26 | 2005-08-04 | Kazuo Iwane | 全周囲撮影装置及びレンズ複合体 |
JP2005244861A (ja) * | 2004-02-27 | 2005-09-08 | Japan Science & Technology Agency | 撮像装置及び撮像系パラメータ校正方法 |
JP2005252626A (ja) * | 2004-03-03 | 2005-09-15 | Canon Inc | 撮像装置および画像処理方法 |
JP2005275789A (ja) * | 2004-03-24 | 2005-10-06 | Japan Science & Technology Agency | 三次元構造抽出方法 |
JP2006033570A (ja) | 2004-07-20 | 2006-02-02 | Olympus Corp | 画像生成装置 |
WO2006022630A1 (en) * | 2004-07-26 | 2006-03-02 | Silicon Optix, Inc. | Panoramic vision system and method |
JP2006054504A (ja) * | 2004-08-09 | 2006-02-23 | Olympus Corp | 画像生成方法および装置 |
JP2006059202A (ja) * | 2004-08-20 | 2006-03-02 | Iwate Univ | 撮像装置及び画像補正方法 |
JP4631048B2 (ja) * | 2005-02-14 | 2011-02-16 | 国立大学法人岩手大学 | 撮像装置及び撮像系パラメータの校正方法 |
CN101305595B (zh) * | 2005-11-11 | 2011-06-15 | 索尼株式会社 | 图像处理设备以及图像处理方法 |
JP2007311904A (ja) | 2006-05-16 | 2007-11-29 | Victor Co Of Japan Ltd | ドライブレコーダの映像修正方法、ドライブレコーダ及び、ドライブレコーダシステム |
JP2008141649A (ja) | 2006-12-05 | 2008-06-19 | Alpine Electronics Inc | 車両周辺監視装置 |
JP4857143B2 (ja) * | 2007-02-20 | 2012-01-18 | アルパイン株式会社 | カメラ姿勢算出用ターゲット装置およびこれを用いたカメラ姿勢算出方法ならびに画像表示方法 |
KR100882011B1 (ko) | 2007-07-29 | 2009-02-04 | 주식회사 나노포토닉스 | 회전 대칭형의 광각 렌즈를 이용하여 전방위 영상을 얻는 방법 및 장치 |
JP2009064225A (ja) * | 2007-09-06 | 2009-03-26 | Canon Inc | 画像処理装置及び画像処理方法 |
KR101404527B1 (ko) | 2007-12-26 | 2014-06-09 | 다이니폰 인사츠 가부시키가이샤 | 화상 변환 장치 및 화상 변환 방법 |
JP5067336B2 (ja) | 2007-12-26 | 2012-11-07 | 大日本印刷株式会社 | 画像変換装置および画像変換方法 |
JP2009267792A (ja) * | 2008-04-25 | 2009-11-12 | Panasonic Corp | 撮像装置 |
US20100097444A1 (en) * | 2008-10-16 | 2010-04-22 | Peter Lablans | Camera System for Creating an Image From a Plurality of Images |
JP5268743B2 (ja) * | 2009-03-30 | 2013-08-21 | パナソニック株式会社 | 画像通信システム |
WO2010123011A1 (ja) * | 2009-04-20 | 2010-10-28 | 京セラ株式会社 | 撮像装置および撮像方法 |
JP2011040898A (ja) * | 2009-08-07 | 2011-02-24 | Casio Computer Co Ltd | 撮像再生装置及びプログラム |
JP5233926B2 (ja) | 2009-09-10 | 2013-07-10 | 大日本印刷株式会社 | 魚眼監視システム |
JP2011114496A (ja) * | 2009-11-25 | 2011-06-09 | Olympus Imaging Corp | 撮像装置 |
US9110365B2 (en) | 2009-11-19 | 2015-08-18 | Olympus Corporation | Imaging apparatus |
JP5506499B2 (ja) | 2010-03-30 | 2014-05-28 | キヤノン株式会社 | 撮像装置、その制御方法、プログラム及び記録媒体 |
EP2582127B1 (en) * | 2010-06-11 | 2018-04-18 | Panasonic Intellectual Property Corporation of America | Image processing apparatus and image processing method |
JP6123274B2 (ja) * | 2012-03-08 | 2017-05-10 | 株式会社リコー | 撮像装置 |
JP2013214947A (ja) | 2012-03-09 | 2013-10-17 | Ricoh Co Ltd | 撮像装置、撮像システム、画像処理方法、情報処理装置、及びプログラム |
JP5910485B2 (ja) * | 2012-03-16 | 2016-04-27 | 株式会社リコー | 撮像システム |
US10666860B2 (en) * | 2012-09-11 | 2020-05-26 | Ricoh Company, Ltd. | Image processor, image processing method and program, and imaging system |
JP6044328B2 (ja) * | 2012-12-26 | 2016-12-14 | 株式会社リコー | 画像処理システム、画像処理方法およびプログラム |
EP2860699A1 (en) * | 2013-10-11 | 2015-04-15 | Telefonaktiebolaget L M Ericsson (Publ) | Technique for view synthesis |
JP2015149600A (ja) * | 2014-02-06 | 2015-08-20 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
US9754159B2 (en) * | 2014-03-04 | 2017-09-05 | Gopro, Inc. | Automatic generation of video from spherical content using location-based metadata |
JP5843033B1 (ja) * | 2014-05-15 | 2016-01-13 | 株式会社リコー | 撮像システム、撮像装置、プログラムおよびシステム |
-
2012
- 2012-11-30 JP JP2012263542A patent/JP2013214947A/ja active Pending
-
2013
- 2013-03-11 KR KR1020187031508A patent/KR101961364B1/ko active IP Right Grant
- 2013-03-11 EP EP13757254.1A patent/EP2823637B1/en not_active Not-in-force
- 2013-03-11 US US14/384,027 patent/US9607358B2/en active Active
- 2013-03-11 KR KR1020167008975A patent/KR101692194B1/ko active IP Right Grant
- 2013-03-11 CA CA2866621A patent/CA2866621C/en not_active Expired - Fee Related
- 2013-03-11 KR KR1020197007730A patent/KR102046032B1/ko active IP Right Grant
- 2013-03-11 KR KR1020147025261A patent/KR101613387B1/ko active IP Right Grant
- 2013-03-11 WO PCT/JP2013/057338 patent/WO2013133456A1/en active Application Filing
- 2013-03-11 KR KR1020177022160A patent/KR101916616B1/ko active IP Right Grant
- 2013-03-11 EP EP17155235.9A patent/EP3182696B1/en active Active
- 2013-03-11 KR KR1020167036128A patent/KR101770088B1/ko active IP Right Grant
- 2013-03-11 CN CN201810707970.3A patent/CN108876714B/zh active Active
- 2013-03-11 CN CN201380012472.2A patent/CN104160693B/zh active Active
-
2017
- 2017-01-06 US US15/400,610 patent/US11049215B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
CN108876714A (zh) | 2018-11-23 |
US11049215B2 (en) | 2021-06-29 |
CN104160693A (zh) | 2014-11-19 |
CA2866621A1 (en) | 2013-09-12 |
JP2013214947A (ja) | 2013-10-17 |
EP2823637A1 (en) | 2015-01-14 |
KR101613387B1 (ko) | 2016-04-18 |
KR20170002679A (ko) | 2017-01-06 |
KR20160043138A (ko) | 2016-04-20 |
KR20170095396A (ko) | 2017-08-22 |
KR20190031343A (ko) | 2019-03-25 |
KR101692194B1 (ko) | 2017-01-02 |
EP2823637B1 (en) | 2017-05-03 |
KR101961364B1 (ko) | 2019-03-25 |
KR102046032B1 (ko) | 2019-11-19 |
KR101916616B1 (ko) | 2018-11-07 |
US20170116704A1 (en) | 2017-04-27 |
WO2013133456A1 (en) | 2013-09-12 |
EP2823637A4 (en) | 2015-07-29 |
KR20180121691A (ko) | 2018-11-07 |
EP3182696A1 (en) | 2017-06-21 |
EP3182696B1 (en) | 2019-07-17 |
CN108876714B (zh) | 2022-08-26 |
US20150062363A1 (en) | 2015-03-05 |
KR101770088B1 (ko) | 2017-08-21 |
KR20140129144A (ko) | 2014-11-06 |
US9607358B2 (en) | 2017-03-28 |
CA2866621C (en) | 2018-05-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104160693B (zh) | 图像捕获装置、图像捕获系统、图像处理方法、信息处理装置和计算机可读存储介质 | |
US10594941B2 (en) | Method and device of image processing and camera | |
US10863083B2 (en) | Image processing system and image processing method | |
JP6677098B2 (ja) | 全天球動画の撮影システム、及びプログラム | |
JP6398472B2 (ja) | 画像表示システム、画像表示装置、画像表示方法、およびプログラム | |
JP7024817B2 (ja) | 撮像装置、撮像システム、画像処理方法、情報処理装置、及びプログラム | |
US11196929B2 (en) | Signal processing device, imaging device, and signal processing method | |
US10218920B2 (en) | Image processing apparatus and control method for generating an image by viewpoint information | |
JP6879350B2 (ja) | 画像表示システム、画像表示装置、画像表示方法、およびプログラム | |
JP2013109643A (ja) | 球面勾配検出方法、エッジ点検出方法、球面勾配検出装置、エッジ点検出装置、球面勾配検出プログラム及びエッジ点検出プログラム | |
WO2017002360A1 (en) | Full-spherical video imaging system and computer-readable recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |