CN106464817A - 图像捕获设备 - Google Patents

图像捕获设备 Download PDF

Info

Publication number
CN106464817A
CN106464817A CN201580032745.9A CN201580032745A CN106464817A CN 106464817 A CN106464817 A CN 106464817A CN 201580032745 A CN201580032745 A CN 201580032745A CN 106464817 A CN106464817 A CN 106464817A
Authority
CN
China
Prior art keywords
camera
image capture
angle
video camera
capture apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580032745.9A
Other languages
English (en)
Other versions
CN106464817B (zh
Inventor
长谷川雄
长谷川雄一
山下纪之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN106464817A publication Critical patent/CN106464817A/zh
Application granted granted Critical
Publication of CN106464817B publication Critical patent/CN106464817B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Studio Circuits (AREA)

Abstract

提供了被配置为使用多个照相机的优良的图像捕获设备，并且图像捕获设备能够捕获具有较小视差的广角图像。摄像机(101‑106)的视点位置(照相机位置)在水平同心圆上以预定角度间隔以放射状设置，水平同心圆的中心在穿过预定参考点的垂直参考轴上。摄像机以这种方式固定，即其照相机主轴方向从水平面以预定仰角(Tvu)各自向外取向并进一步向上取向，使得垂直视角的上端部彼此重叠。因此，即使没有向正上方取向的照相机，甚至在头顶方向上能够进行图像捕获而没有任何中断。

Description

图像捕获设备
技术领域
本发明涉及用于使用多个照相机拍摄广角图像的摄影装置。
背景技术
已知用于使用多个照相机拍摄周围图像的照相机系统。该类型的照相机系统也称为周围照相机、全方位照相机、全天体照相机或半天体照相机。
通过布置为彼此相邻的照相机捕获的图像可以在图像的边界处无缝接合，以生成比单独的照相机的视野宽得多的图像，仿佛该图像由单个广角照相机所拍摄。在一个实例中，可以通过接合多个照相机捕获的图像获得类似于根据等距圆柱投影法捕获的图像的全方位图像，其中多个照相机放射状设置，照相机的照相机主轴方向向外定向。
发明内容
技术问题
本说明书中公开的技术的目的是提供能够使用多个照相机拍摄广角图像的优良的摄影装置。
问题的解决方案
考虑到该问题而设计了本说明书中公开的技术。根据该技术的第一方面的技术是图像捕获装置，包括：放射状设置的多个照相机，每个照相机的照相机主轴方向从水平面以预定仰角向上定向。
根据本说明书中公开的技术的第二方面的技术，根据第一方面的图像捕获装置的多个照相机在以预定参考点为中心的水平同心圆上以预定角度间隔设置。
根据本说明书中公开的技术的第三方面的技术，根据第一方面或第二方面的图像捕获装置的多个照相机以这种方式安装，即各个所述照相机的垂直视角的上端部彼此重叠。
根据本说明书中公开的技术的第四方面的技术，根据第三方面的图像捕获装置被配置为，基于多个照相机中的每一个的垂直视角Tv、照相机主轴方向的仰角Tvu以及照相机安装位置控制在相应照相机的垂直视角的上重叠部之下的盲点的大小。
根据本说明书中公开的技术的第五方面的技术，根据第一方面至第四方面中任一项的图像捕获装置的多个照相机以这种方式安装，即在水平方向上彼此相邻布置的照相机的图像捕获视角的右端部和左端部彼此重叠。
根据本说明书中公开的技术的第六方面的技术，根据第五方面的图像捕获装置被配置为，基于多个照相机中的每一个的水平视角Th、照相机主轴方向的倾角Thu以及照相机安装位置控制相邻照相机的水平视角之间的盲点的大小。
根据本说明书中公开的技术的第七方面的技术，根据第一方面至第六方面中任一项的图像捕获装置进一步包括：外部设备，安装在多个照相机的各自的图像捕获视角的上重叠端部之下的盲点区域中。
根据本说明书中公开的技术的第八方面的技术，根据第七方面的图像捕获装置的外部设备是麦克风阵列、照明器具、电池、通信装置以及记录装置中的至少一个。
根据本说明书中公开的技术的第九方面的技术，根据第一方面至第八方面中任一项的图像捕获装置进一步包括：盲点呈现单元，呈现在多个照相机中的至少一个的垂直视角的下限之下的盲点。
根据本说明书中公开的技术的第十方面的技术，根据第一方面至第九方面中任一项的图像捕获装置进一步包括：盲点呈现单元，呈现在多个照相机当中的至少两个相邻照相机的水平视角的前方界限之前的盲点。
根据本说明书中公开的技术的第十一方面的技术，在根据第一方面至第十方面中任一项的图像捕获装置中，多个照相机以这种方式设置，即在相邻照相机的图像捕获设备中，具有相同(或相近)曝光读出时间的像素设置为彼此相邻。
根据本说明书中公开的技术的第十二方面的技术，根据第一方面至第十方面中任一项的图像捕获装置的多个照相机使用线曝光连续读出系统的图像捕获设备。多个照相机以这种方式设置，即相邻照相机的图像捕获设备的读出方向彼此相反并且彼此面对。
根据本说明书中公开的技术的第十三方面的技术，根据第一方面至第十方面中任一项的图像捕获装置的多个照相机使用线曝光连续读出系统的图像捕获设备。交替地设置顺时针旋转90度的照相机和逆时针旋转90度的照相机。
本发明的有益效果
根据本说明书中公开的技术，可以提供具有较小视差的包括多个照相机并且能够拍摄广角图像的优良的摄影装置。
应当注意，本说明书中描述的有益效果仅用于实例的目的，并且本发明的有益效果不限于此。此外，在一些情况下，本发明还可以表现出除以上给出的有益效果以外的额外有益效果。
进一步，通过基于下文中讨论的示例性实施方式和附图的更加详细的描述，本说明书中公开的技术的目标、特征以及优点将变得清晰。
附图说明
[图1]图1是示出使用本说明书中公开的技术的示例多照相机系统100的示意图。
[图2]图2是示出六个摄像机101、102、...、106的示例设置的示意图(顶视图)。
[图3]图3是示出六个摄像机101、102、...、106的示例设置的示意图(立体图)。
[图4]图4示出其中的照相机主轴方向彼此相反定向的一对摄像机101和104的姿势。
[图5]图5示出在经纬平面内分解的单独的摄像机101、102、...、106的图像捕获视角。
[图6]图6示出当从侧面看多照相机系统100时，其中的照相机主轴方向彼此相反定向的一对摄像机101和104在向上和向下方向(垂直方向)中的图像捕获视角。
[图7]图7是用于说明如何控制位于摄像机101、摄像机104上方的盲点区域630的大小的示图。
[图8]图8示出当从上方看多照相机系统100时，彼此相邻设置的摄像机101和摄像机102的水平视角。
[图9]图9是用于说明如何控制在相邻摄像机101、摄像机102的图像捕获视角之间的盲点区域830的大小的示图。
[图10]图10是用于说明在线曝光连续读出系统的屏幕上生成的曝光的读出时间的时间延迟的示图。
[图11]图11示出当通过将所有的摄像机顺时针或逆时针旋转90度设置多个摄像机时，相邻图像捕获设备之间的曝光读出时间的时间延迟。
[图12]图12示出通过将线曝光连续读出系统的图像捕获设备顺时针旋转90度拍摄的图像。
[图13]图13示出在图11中示出的摄像机设置中，相邻的捕获的图像之间生成的视差。
[图14]图14示出当交替地设置顺时针旋转90度的摄像机和逆时针旋转90度的摄像机时，相邻图像捕获设备之间的曝光读出时间的时间延迟。
[图15]图15示出通过将线曝光连续读出系统的图像捕获设备逆时针旋转90度拍摄的图像。
[图16]图16示出在图14中示出的摄像机设置中，相邻的拍摄的图像之间生成的视差。
[图17]图17示出用作盲点呈现部的激光指示器1701的实例设置。
[图18]图18示出具有向着摄像机101的垂直视角602的下限602b定向的光轴的激光指示器1701。
[图19]图19示出具有布置在其顶板上的外部设备1900的多照相机系统100。
具体实施方式
以下将参考附图详细描述本说明书中公开的技术的实施方式。
图1示意性地示出使用本说明书中公开的技术的实例多照相机系统100。
六个摄像机101、102、...、106固定在相应的预定位置并且与图像处理器110同步输出捕获图像。摄像机101、102、...、106基本上包括相同类型的产品的组合。例如，互补金属氧化物半导体(CMOS)图像传感器用作图像捕获设备。
图像处理器110根据摄像机的位置关系接合摄像机101、102、...、106的捕获图像以生成广角图像的帧。例如，所生成的广角图像显示在显示器单元120上。例如，显示单元120是戴在图像的观察者的头部或面部上的头戴式显示器，以提供其中视点根据观察者的头部位置(眼方向)移动的自由视点图像。然而，捕获图像可以不显示在屏幕上。可替换地，捕获图像可以存储在诸如存储卡、硬盘驱动(HDD)或蓝光(注册商标)的记录介质(未示出)中，或可以经由诸如高清晰度多媒体接口(HDMI，注册商标)或移动高清晰度链路(MHL)的接口输出到外部。
图2和图3示意性地示出六个摄像机101、102、...、106的实例设置。图2是从上方看到的顶视图，并且图3是从侧面看到的立体图。如附图所示，六个摄像机101、102、...、106放射状设置，其中摄像机的照相机主轴方向向外定向。
摄像机101、102、...、106更优选地以这种方式设置，即摄像机的视点位置(照相机位置)在关于垂直参考轴201的水平同心圆上以预定角度间隔放射状设置，所述垂直参考轴201穿过预定参考点(其以后描述)(参见图2和图3)。当使用六个摄像机101至106时，摄像机101至摄像机106以彼此60度的角度间隔设置在同心圆上。诸如摄像机101和摄像机102的相邻摄像机以这种方式布置，即摄像机的图像捕获视角的右端部和左端部彼此重叠，以允许沿水平方向拍摄整个周围而没有中断。
图4是沿图2的线A-A切割的截面图，示出摄像机的主轴方向彼此相反定向的一对摄像机101和104的位置。摄像机101和摄像机104以这种方式固定，即摄像机的照相机主轴方向从水平面以预定仰角Tvu向外并向上定向。尽管未示出，其它对摄像机102、105以及103、106以每对摄像机的主轴方向以相反方向布置而类似地设置。
六个摄像机101、102、...、106包括相同类型的产品(如上所述)的组合。例如，摄像机101、102、...、106各自具有90度乘140度。换言之，摄像机101、102、...、106各自具有在水平方向上的90度的视角(在下文中称为“水平视角”)以及在垂直方向上的140度的视角(在下文中称为“垂直视角”)。图5以分解的方式示出在经纬平面内的摄像机101、102、...、106的图像捕获视角。
如本文中使用的经度是在摄像机101的主轴方向上相对于0度的旋转角θ，如图2所示。其他摄像机102至106以这种方式布置，即每个摄像机的图像捕获视角的中心(主轴方向)位于60度、120度、180度、240度以及300度的经度。在经度方向或水平方向上，相邻摄像机创建水平视角的端部彼此重叠的右端部和左端部重叠区域820。因此，多照相机系统100能够在水平方向上拍摄整个周围而没有中断。
同时，当摄像机101、102、...、106以摄像机的照相机主轴方向从水平面以仰角Tvu＝25度向上定向时(参见图4)，每个摄像机的垂直视角的中心具有从水平面向上25度的偏移，即0度的纬度，使得在纬度方向上的拍摄视角是140度，从-45度的纬度至95度的纬度，如图5所示。因此，通过使用放射状设置的六个摄像机101至106，多照相机系统100可以获得360度乘140度的图像捕获视角。
由于摄像机101、102、...、106在纬度方向上的拍摄视角超过90度，图像捕获视角可以从正上方向后延长至5度。摄像机的照相机主轴方向以反方向布置的该对摄像机101、摄像机104创建上端部重叠区域620，在重叠区域620中垂直视角的上端部彼此重叠。因此，在不提供向正上方定向的照相机的情况下，多照相机系统100可以沿头顶方向拍摄图像而没有中断。
摄像机的照相机主轴方向以反方向布置的该对摄像机101、摄像机104的垂直视角的下端部彼此偏离，并且在-45度的纬度之下创建盲点区域。因此，多照相机系统100可以视为半天体照相机。
通过将具有长水平图像捕获视角的常规摄像机产品关于照相机主轴顺时针或逆时针旋转90度，实现90度乘140度的经度图像捕获视角。
更加详细地描述多照相机系统100的图像捕获视角。
图6示出当从侧面看多照相机系统100时，摄像机的照相机主轴方向以反方向布置的一对摄像机101和104的垂直视角。尽管未示出，其他对摄像机102、105以及103、106通过每对摄像机的主轴方向以反方向布置的方式而类似地设置。
摄像机101的照相机位置(视点位置)相对于参考点(0，0)位于点(xc，zc)处，并且摄像机101的照相机主轴方向固定在从水平面向上的仰角Tvu＝25度处，如由参考标号601所表示。摄像机101具有140度的垂直视角，如由参考标号602所表示。
摄像机104的照相机位置(视点位置)相对于参考点(0，0)位于点(-xc，zc)处，如由参考标号611所表示，并且摄像机104的照相机主轴方向固定在从水平面向上的仰角Tvu＝25度处。摄像机104具有140度的垂直视角，如由参考标号612所表示。
摄像机101的垂直视角602和摄像机104的垂直视角612可以分别从正上方向后延伸5度，致使视角的上限602u和612u在点Pd(0，zd)处彼此相交。因此，创建垂直视角602和垂直视角612的上端部彼此重叠的上端部重叠区域620，使得即使当摄像机101和摄像机104两者都不是向上定向时，也能在头顶方向上拍摄而不间断。
同时，在点Pd之下形成不包括在摄像机101的垂直视角602或摄像机104的垂直视角612中的盲点区域630。点Pd是视野区域630的上限点。在盲点区域630中不允许通过摄像机101或摄像机104拍摄，但是在外部设备1900不中断摄像机101、摄像机104的视野的条件下，诸如配件部分的该外部设备1900可以安装在点Pd(参见图3)之下的多照相机系统100的顶板301上的盲点区域630中(参见图19)。这种外部设备1900的实例包括麦克风阵列、照明器具、电池、通信设备或记录设备(例如硬盘驱动)。例如，麦克风阵列可以安装在顶板301上以允许在摄像机101至摄像机106的视点附近收集声音，这对于促进声音图像的定位是有益的。
摄像机101的垂直视角602的下限602b与摄像机104的垂直视角612的下限612b背离并且互不相交。因此，如以上参考图5所述，在摄像机101的垂直视角602的下限602b与摄像机104的垂直角度612的下限612b之间形成不允许通过摄像机101或摄像机104拍摄的盲点区域640。
当摄影者使用多照相机系统100拍摄低于摄像机101至摄像机106的安装平面而设置的对象(例如放置在地板上的对象)的图像时，摄影者应当充分地注意将对象放入图像捕获视角中(或从盲点640排除对象的任何部分)。多照相机系统100可以进一步包括盲点呈现单元，例如，盲点呈现单元通过激光指示器(其稍后描述)视觉地呈现垂直视角的下限。
多照相机系统100的顶板301上的盲点区域630的大小(从参考点至点Pd的距离zd)根据垂直角度Tv、照相机主轴方向的仰角Tvu以及相对于摄像机101至摄像机106的参考点(0，0)的安装位置(xc，zc)而可控。以下参考图7描述在摄像机101、摄像机104上方的盲点区域630的大小的控制方法。
图7示出摄像机101、摄像机104的垂直视角Tv，摄像机101、摄像机104的照相机主轴方向的仰角Tvu，在摄像机101、摄像机104的水平线下方的垂直视角的下部Tv1，在摄像机101、摄像机104的水平线上方的垂直视角的上部Tv2，从参考点(0，0)至摄像机101、摄像机104的安装位置的高度zc，以及从参考轴至摄像机101、摄像机104的安装位置的距离xc。根据公式(1)，从参考点(0，0)到点Pd的距离(即盲点的上限距离zd)基于照相机主轴方向的仰角Tvu和相对于参考点的照相机安装位置(xc，zc)而可控：
[公式1]
zd＝xc×|tan(180°-Tv2)+zc| (1)
其中，Tv2＝Tv/2+Tvu
假设摄像机101、摄像机104的垂直视角是Tv＝139度，摄像机101、摄像机104的照相机主轴方向的仰角是Tvu＝25度，并且摄像机101的安装位置是(xc，zc)＝(40mm，83mm)(摄像机104的安装位置相对于参考轴对称地定位在(xc，zc))，盲点的上限距离zd根据公式(2)确定：
[公式2]
为了减小盲点630，仰角增至Tvu＝35度，同时摄像机101、摄像机104的垂直角度Tv和摄像机101的安装位置(xc，zc)如以上固定，使得盲点的上限距离zd根据公式(3)接近参考点(顶板301)：
[公式3]
图8示出当从上方看多照相机系统100时，彼此横向相邻设置的摄像机101和摄像机102的水平视角，尽管未示出这种组合，但是可以类似地布置任何彼此横向相邻设置的两个摄像机的组合。
摄像机101的照相机位置(视点位置)相对于参考点(0，0)位于点(xc，yc)处。摄像机101具有水平视角Th，如由参考标号802所表示，并且如由参考标号801所表示的照相机主轴方向从x轴以倾角Thu倾斜。
摄像机102的照相机位置(视点位置)相对于参考点(0，0)位于点(-xc，yc)处。摄像机102具有水平视角Th，如由参考标号812所表示，并且如由参考标号811所表示的照相机主轴方向从x轴以倾角Thu倾斜。
摄像机101的水平视角802是视角的右限802a与视角的左限802b之间的区域。摄像机102的水平视角812是视角的右限812a与视角的左限812b之间的区域。摄像机101的水平视角802的右限802a与摄像机102的水平视角812的左限812b在点Qd(0，yd)处相交，该点是定位在参考点(0，0)之前yd处的点。因此，在点Qd之前形成水平视角802的右部分与水平视角812的左部彼此重叠的重叠区域820，允许拍摄分别在摄像机101的主轴方向801与摄像机102的主轴方向811之间的场景而没有中断。因此，整个多照相机系统100可以拍摄关于参考点(0，0)的整个周围的图像而没有中断。
同时，在点Qd之前创建既不包括在摄像机101的水平视角802内也不包括在摄像机102的水平视角812内的盲点区域830。因此，点Qd可以视为水平视角802与水平视角812之间的视角的前方界限。当摄影者使用多照相机系统100拍摄近似设置在摄像机101的照相机主轴方向与摄像机102的照相机主轴方向之间的中央的对象(例如放置在地板上的对象)的图像时，摄影者应当充分地注意将对象放入图像捕获视角内(或从盲点830排除对象的任何部分)。多照相机系统100可以进一步包括盲点呈现单元，例如，盲点呈现单元通过激光指示器(其稍后描述)视觉地呈现在水平视角802与水平视角812之间的垂直视角的前方界限。
多照相机系统100的前方盲点区域830的大小(从参考点至点Qd的距离yd)可以基于水平角度Th、照相机主轴方向的倾角Thu以及相对于摄像机101至摄像机106的参考点(0，0)的安装位置(xc，yc)控制。以下参考图9描述摄像机101的水平视角802与摄像机102的水平视角812之间的盲点区域830的大小(在点Qd处的视角的前方界限的位置)的控制方法。
图9示出摄像机101、摄像机102的水平视角Th，摄像机101、摄像机102的照相机主轴方向的仰角Thu，在摄像机101、摄像机102的x轴之后的水平视角的后部Th1，在摄像机101、摄像机102的x轴之前的水平视角的前部Th2，从参考点(0，0)至摄像机101、摄像机102的安装位置的距离yc，以及从参考点至摄像机101、摄像机102的安装位置的距离xc。根据公式(4)，从参考点(0，0)到视角的前方界限qd的距离(即盲点的前方界限距离yd)可基于照相机主轴方向的倾角Thu和相对于参考点的照相机安装位置(xc，yc)而控制：
[公式4]
yd＝xc×|tan(180°-Th2)|+yc
其中，Th2＝Th/2+Thu (4)
当多照相机系统100使用具有水平视角Th＝75度的摄像机时，整个周围(即360度)可由至少五个摄像机覆盖，如75度x5摄像机＝375度。为了充分增加右端部和左端部重叠区域820，可以以倾角Thu＝60度使用六个摄像机。当摄像机各自安装在照相机安装位置(xc，yc)＝(20mm，35mm)处时，盲点的前方界限距离yd根据公式(5)确定：
[公式5]
为了减小盲点的前方界限距离yd，减小参考点与照相机安装位置之间的距离，即距离xc或距离yc。
可以固定摄像机101至摄像机106的照相机安装位置(xc，yc，zc)、摄像机101至摄像机106的仰角Tvu以及摄像机101至摄像机106的倾角Thu，或这些参数可以通过在驱动表(未示出)上安装摄像机101至摄像机106而可替换地改变。
应当全面理解，根据本实施方式的多照相机系统100，可以利用少量的摄像机进行整个周围(半天体)的拍摄。
接下来，描述在接合通过摄像机101至摄像机106捕获的捕获图像中生成的视差。
安装在多照相机系统100上的摄像机101至摄像机106通常包括相同类型的产品的组合。例如，这种产品可以使用CMOS图像传感器作为图像捕获设备。
还已知电荷耦合器件(CCD)图像传感器作为除CMOS图像传感器以外的图像捕获设备。CMOS图像传感器具有简单的电路结构和低功耗。
CCD传感器使用所谓的全局快门系统，其中所有的像素同时曝光并且集中读出，使能够同时曝光整个屏幕。相反，CMOS传感器通常使用所谓的滚动快门系统，其中每条线曝光并连续读出(例如，参见专利文献3)，不能同时曝光整个屏幕。在滚动快门系统中，通常针对从屏幕的顶部至底部的每条线进行曝光，导致在顶部线的曝光和读出开始的开始时间ts与底部线的曝光和读出结束的结束时间tl之间生成时间延迟Δt(参见图10)，并且引起视差。
根据本实施方式的多照相机系统100包括放射状设置的六个摄像机101至106，每个摄像机具有水平的长图像捕获视角并且90度旋转(如上所述)。当所有的六个摄像机101至106顺时针或逆时针旋转90度时，如图11所示，相邻图像捕获设备提供像素数据，像素数据中各自的曝光和读出时间以时间延迟Δt不同，在图像捕获设备的边界处引起视差。为了简化本文中的描述，不考虑相邻摄像机之间的右端部和左端部重叠区域。
图12示出通过顺时针旋转图像捕获设备90度，由线曝光连续读出系统中的图像捕获设备拍摄的图像。拍摄以恒定速度下降的对象，并且因为由于每条线的曝光读出时间的差异导致图像在更低的位置处捕获，得到的对象图像向右下方倾斜，如由参考标号1201所表示。由于在相邻摄像机之间形成水平视角的端部彼此重叠的右端部和左端部重叠区域(例如参见图2)，周围图像通过如图13所示的放射状设置的摄像机拍摄。由摄像机101、摄像机102以及摄像机103拍摄的对象图像分别由参考标号1311、1312以及1313表示。在由相邻摄像机101、摄像机102以及摄像机103捕获的捕获图像的(由参考标号1301和参考标号1302表示)的右端部和左端部重叠区域处，产生视差使得对象反射两次，成为对象1311和1312以及对象1312和1313。随着对象越快速移动，视差变得越明显。
为了解决视差问题，设置摄像机101至摄像机106使得具有相同(或相近)曝光读出时间的像素可以在相邻摄像机的图像捕获设备中设置为彼此相邻。
具体地，如图14所示，交替地设置顺时针旋转90度的摄像机和逆时针旋转90度的摄像机。由于顺时针旋转90度的摄像机和逆时针旋转90度的摄像机并排设置，相邻摄像机的图像捕获设备的读出方向彼此相反以及彼此面对。作为该设置的结果，在读出时间ts的曝光读出开始线或在读出时间tl(＝ts+Δt)的曝光读出结束线总是并排放置，从而基本上消除在图像捕获设备的边界处生成的所有视差。为了简化描述，不考虑相邻摄像机的右端部和左端部重叠区域。
图15示出通过将图像捕获设备从图12的位置逆时针旋转90度，由线曝光连续读出系统中的图像捕获设备拍摄的示例图像。在对象以固定速度下降的同时拍摄对象，并且根据每条线的读出时间中的差异，在较低像素处捕获对象的图像。与图12中示出的实例相反，所得到的对象的图像向右上倾斜，如由参考标号1501所表示。
形成相邻摄像机的水平视角的端部彼此重叠的右端部和左端部重叠区域(例如，参见图2)，并且通过放射状设置且交替地顺时针旋转90度和逆时针旋转90度的摄像机拍摄周围图像，如图16所示。通过摄像机101、摄像机102以及摄像机103捕获的对象图像分别由参考标号1611、1612以及1613表示。在通过相邻摄像机101、摄像机102以及摄像机103捕获的捕获图像的右端部和左端部重叠区域处，对象1611和对象1612以及对象1612和对象1613基本上彼此重叠，如由参考标号1601和参考标号1602所表示。因此，防止了视差。
接下来，描述多照相机系统100的视野呈现功能。
如上参考图2和图6所述，根据本实施方式的多照相机系统100能够在头顶方向上不间断地拍摄图像而无需提供向上定向的摄像机。在同一时间，由于摄像机101...的垂直视角的下限，在摄像机的脚底形成盲点区域。
当摄影者使用多照相机系统100拍摄低于摄像机101至摄像机106的安装平面设置的对象(例如放置在地板上的对象)的图像时，摄影者应当充分地注意将对象放入图像捕获视角中(或从盲点排除对象的任何部分)。多照相机系统100可以进一步包括盲点呈现单元，例如，盲点呈现单元通过激光指示器(其稍后描述)视觉地呈现在地板上的位置作为垂直视角的下限。
图17示出作为盲点呈现单元的激光指示器1701的实例设置。如示出的，激光指示器1701基本上布置在相邻摄像机101和102的中间。如图18所示，激光指示器1701的光轴指向摄像机101的垂直视角602的下限602b。然后激光指示器照射盲点的边界1702，在边界处垂直视角的下限与地板相交。
尽管图17中为了简便仅示出摄像机101与摄像机102之间的激光指示器1701，但是激光指示器可以布置在所有的相邻摄像机之间。
在安装了多照相机系统100时激光指示器1701可以恒定打开，或激光指示器1701可替换地可以仅在拍摄期间或在准备用于拍摄期间打开以便不中断捕获图像。摄影者当然可以手动打开并关闭激光指示器1701。
如上参考图8所述，已在相邻摄像机101、摄像机102的水平视角802和水平视角812之间的视角的前方界限点Qd之前形成盲点区域830。
当摄影者拍摄位于基本上在摄像机101的主轴方向801、摄像机102的主轴方向811的中间的位置处的对象(例如，放置在地板上的对象)的图像时，摄影者应当充分地注意将对象放入图像捕获视角中(或从盲点830排除对象的任何部分)。根据本实施方式的多照相机系统100可以包括根据需要照射点Qd以视觉地呈现视角的前方界限的激光指示器1701。
如上所述，根据本实施方式的多照相机系统100能够通过使用较小数量的广角摄像机拍摄整个周围(半天体)的图像。
根据本实施方式的多照相机系统100能够减小在接合通过摄像机捕获的捕获图像中相邻图像之间的视差。
根据本实施方式的多照相机系统100能够拍摄在头顶方向上的图像而无需使用向正上方定向的摄像机。由于此，在主体的顶板上形成空的空间并且空的空间可以用于安装外部设备。安装的外部设备可以是麦克风阵列、光器具、电池、通信设备或记录设备。例如，麦克风阵列可以安装在顶板上以允许在摄像机101至摄像机106的视点的附近收集声音。这对于促进声音图像的定位是有益的。
引用列表
专利文献
专利文献2：JP 2010-258669A
专利文献3：JP 2012-204983A
专利文献4：JP 2013-31060A
工业适用性
上述因此详细并参考具体实施方式描述了本说明书中公开的技术。然而，显而易见的是，本领域中的技术人员可以对这些实施方式作出修改和替代而不偏离本说明书中公开的技术的精神。
尽管本说明书中已主要描述包括六个摄像机的多照相机系统，但是本说明书中公开的技术不限于具体数量的照相机。如果照相机的数量不大于五个或不小于七个，照相机安装位置将会根据以上对应于照相机的垂直视角和水平视角的公式(1)和公式(4)确定。
本说明书中公开的技术可以类似地在包括多个静态照相机而不是摄像机的多照相机系统中使用。
本质上，本说明书中公开的技术已通过举例的方式描述，并且本说明书所陈述的内容不应当解释为限制性的。本说明书中公开的技术的精神应当考虑权利要求来确定。
另外，本技术还可以如下配置。
(1)
图像捕获装置，包括：
放射状设置的多个照相机，每个照相机的照相机主轴方向从水平面以预定仰角向上定向。
(1-2)
根据(1)的图像捕获装置，进一步包括：
图像处理器，根据各自的安装位置接合所述多个照相机的捕获图像。
(2)
根据(1)的图像捕获装置，
其中，所述多个照相机在以预定参考点为中心的水平同心圆上以预定角度间隔设置。
(3)
根据(1)1或(2)的图像捕获装置，
其中，所述多个照相机以这种方式安装，即各个所述照相机的垂直视角的上端部彼此重叠。
(4)
根据(3)的图像捕获装置，
其中，基于所述多个照相机中的每一个的垂直视角Tv、所述照相机主轴方向的仰角Tvu以及照相机安装位置控制在各个所述照相机的所述垂直视角的上重叠部之下的盲点的大小。
(5)
根据(1)至(4)中任一项的图像捕获装置，
其中，所述多个照相机以这种方式安装，即在水平方向上彼此相邻布置的照相机的图像捕获视角的右端部和左端部彼此重叠。
(6)
根据(5)的图像捕获装置，
其中，基于所述多个照相机中的每一个的水平视角Th、所述照相机主轴方向的倾角Thu以及的照相机安装位置控制相邻照相机的水平视角之间的盲点的大小。
(7)
根据(1)至(6)中任一项的图像捕获装置，进一步包括：
外部设备，安装在所述多个照相机的各自的所述图像捕获视角的上重叠端部之下的盲点区域中。
(8)
根据(7)的图像捕获装置，
其中，所述外部设备是麦克风阵列、照明器具、电池、通信装置以及记录装置中的至少一个。
(9)
根据(1)至(8)中任一项的图像捕获装置，进一步包括：
盲点呈现单元，呈现在所述多个照相机中的至少一个的垂直视角的下限之下的盲点。
(10)
根据(1)至(9)中任一项的图像捕获装置，进一步包括：
盲点呈现单元，呈现在所述多个照相机当中的至少两个相邻照相机的水平视角的前方界限之前的盲点。
(11)
根据(1)至(10)中任一项的图像捕获装置，
其中，所述多个照相机以这种方式设置，即在相邻照相机的图像捕获设备中，具有相同(或相近)曝光读出时间的像素设置为彼此相邻。
(12)
根据(1)至(10)中任一项的图像捕获装置，
其中，所述多个照相机使用线曝光连续读出系统的图像捕获设备，并且
所述多个照相机以这种方式设置，即相邻照相机的图像捕获设备的读出方向彼此相反且彼此面对。
(13)
根据(1)至(10)中任一项的图像捕获装置，
其中，多个照相机使用线曝光连续读出系统的图像捕获设备，并且
交替地设置顺时针旋转90度的照相机和逆时针旋转90度的照相机。
参考符号列表
100 多照相机系统
101至106 摄像机
110 图像处理器
120 显示单元
301 顶板
1900 外部设备

Claims (13)

1.一种图像捕获装置，包括：
放射状设置的多个照相机，每个照相机的照相机主轴方向从水平面以预定仰角向上定向。
2.根据权利要求1所述的图像捕获装置，
其中，所述多个照相机在以预定参考点为中心的水平同心圆上以预定角度间隔设置。
3.根据权利要求1或2所述的图像捕获装置，
其中，所述多个照相机以这种方式安装，即各个所述照相机的垂直视角的上端部彼此重叠。
4.根据权利要求3所述的图像捕获装置，
其中，基于所述多个照相机中的每一个的垂直视角Tv、所述照相机主轴方向的仰角Tvu以及照相机安装位置控制在各个所述照相机的所述垂直视角的上重叠部之下的盲点的大小。
5.根据权利要求1到4中任一项所述的图像捕获装置，
其中，所述多个照相机以这种方式安装，即在水平方向上彼此相邻布置的照相机的图像捕获视角的右端部和左端部彼此重叠。
6.根据权利要求5所述的图像捕获装置，
其中，基于所述多个照相机中的每一个的水平视角Th、所述照相机主轴方向的倾角Thu以及的照相机安装位置控制相邻照相机的水平视角之间的盲点的大小。
7.根据权利要求1至6中任一项所述的图像捕获装置，进一步包括：
外部设备，安装在所述多个照相机的各自的所述图像捕获视角的上重叠端部之下的盲点区域中。
8.根据权利要求7所述的图像捕获装置，
其中，所述外部设备是麦克风阵列、照明器具、电池、通信装置以及记录装置中的至少一个。
9.根据权利要求1至8中任一项所述的图像捕获装置，进一步包括：
盲点呈现单元，呈现在所述多个照相机中的至少一个的垂直视角的下限之下的盲点。
10.根据权利要求1至9中任一项所述的图像捕获装置，进一步包括：
盲点呈现单元，呈现在所述多个照相机当中的至少两个相邻照相机的水平视角的前方界限之前的盲点。
11.根据权利要求1至10中任一项所述的图像捕获装置，
其中，所述多个照相机以这种方式设置，即在相邻照相机的图像捕获设备中，具有相同(或相近)曝光读出时间的像素设置为彼此相邻。
12.根据权利要求1至10中任一项所述的图像捕获装置，
其中，所述多个照相机使用线曝光连续读出系统的图像捕获设备，并且
所述多个照相机以这种方式设置，即相邻照相机的图像捕获设备的读出方向彼此相反且彼此面对。
13.根据权利要求1至10中任一项所述的图像捕获装置，
其中，所述多个照相机使用线曝光连续读出系统的图像捕获设备，并且
交替地设置顺时针旋转90度的照相机和逆时针旋转90度的照相机。
CN201580032745.9A 2014-06-23 2015-04-01 图像捕获设备 Active CN106464817B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014128020 2014-06-23
JP2014-128020 2014-06-23
PCT/JP2015/060394 WO2015198675A1 (ja) 2014-06-23 2015-04-01 撮影装置

Publications (2)

Publication Number Publication Date
CN106464817A true CN106464817A (zh) 2017-02-22
CN106464817B CN106464817B (zh) 2020-06-09

Family

ID=54937776

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580032745.9A Active CN106464817B (zh) 2014-06-23 2015-04-01 图像捕获设备

Country Status (5)

Country Link
US (1) US10594950B2 (zh)
EP (1) EP3160131A4 (zh)
JP (1) JP6528771B2 (zh)
CN (1) CN106464817B (zh)
WO (1) WO2015198675A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108322671A (zh) * 2018-03-16 2018-07-24 沈阳泰科易科技有限公司 摄像头组件和相机
CN109001956A (zh) * 2017-06-06 2018-12-14 宝山钢铁股份有限公司 全视角内窥式高温摄像装置
TWI645242B (zh) * 2018-03-29 2018-12-21 鴻海精密工業股份有限公司 拍攝裝置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10219026B2 (en) * 2015-08-26 2019-02-26 Lg Electronics Inc. Mobile terminal and method for playback of a multi-view video
JP6333914B2 (ja) * 2016-10-14 2018-05-30 株式会社コロプラ 表示制御方法及び当該表示制御方法をコンピュータに実行させるためのプログラム
JP2019080223A (ja) * 2017-10-26 2019-05-23 株式会社ソニー・インタラクティブエンタテインメント カメラシステム
JP7116471B2 (ja) * 2018-03-30 2022-08-10 株式会社エジェ 撮影装置
CN112839222A (zh) * 2021-03-09 2021-05-25 三亚学院 一种多相机智能摄影测量系统

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3740126A (en) * 1970-03-12 1973-06-19 Goto Optical Mfg Co Ltd Panoramic motion picture camera
US6141034A (en) * 1995-12-15 2000-10-31 Immersive Media Co. Immersive imaging method and apparatus
CN1965578A (zh) * 2003-06-03 2007-05-16 伦纳德·P·斯图尔特第三 数码3d/360度照相机系统
US20080309764A1 (en) * 2007-06-13 2008-12-18 Aisin Aw Co., Ltd. Driving assist apparatuses and methods
US20090066813A1 (en) * 2007-09-11 2009-03-12 Samsung Electronics Co., Ltd Photographing apparatus of which image pickup area is divided, and image pickup device thereof
CN101702939A (zh) * 2007-03-16 2010-05-05 科尔摩根公司 用于全景图像处理的系统
CN201523430U (zh) * 2009-06-23 2010-07-07 长峰科技工业集团公司 一种全景视频监控系统
US20100283879A1 (en) * 2006-06-30 2010-11-11 Fujitsu Microelectronics Limited Solid-State Image Pickup Apparatus Including A Global Shutter Function and Control Method Therefor
CN102004386A (zh) * 2009-08-28 2011-04-06 鸿富锦精密工业（深圳）有限公司 摄影装置及其影像摄取方法
US20120120069A1 (en) * 2009-05-18 2012-05-17 Kodaira Associates Inc. Image information output method
CN202634545U (zh) * 2012-02-29 2012-12-26 深圳市爱国者嵌入式系统科技有限公司 全景视频图像摄录系统
CN202979152U (zh) * 2012-11-08 2013-06-05 深圳天行健电子有限公司 网络摄像监控终端
CN103297668A (zh) * 2012-02-29 2013-09-11 深圳市振华微电子有限公司 全景视频图像摄录系统及方法
CN103297686A (zh) * 2012-03-02 2013-09-11 卡西欧计算机株式会社 摄像装置及摄像方法
CN103310448A (zh) * 2013-06-13 2013-09-18 电子科技大学 用于das的摄像装置姿态角估计及实时生成合成图的方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4979893B2 (ja) * 2005-03-23 2012-07-18 ソニー株式会社 物理量分布検知装置並びに物理情報取得方法および物理情報取得装置
JP2010258669A (ja) 2009-04-23 2010-11-11 Fujifilm Corp 全方位撮像装置
CA2772210C (en) 2011-03-24 2015-11-24 Kabushiki Kaisha Topcon Omnidirectional camera and lens hood
JP5717494B2 (ja) * 2011-03-24 2015-05-13 株式会社トプコン 全周カメラ
JP2013031060A (ja) 2011-07-29 2013-02-07 Sony Corp 画像処理装置、画像処理方法、およびプログラム
JP2013065964A (ja) * 2011-09-15 2013-04-11 Hitachi Building Systems Co Ltd 遠隔対話システム
JP6343870B2 (ja) * 2013-03-15 2018-06-20 株式会社ニコン 撮像素子および撮像装置
JP5711351B2 (ja) * 2013-12-27 2015-04-30 オリンパスイメージング株式会社 撮像装置および画像処理方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3740126A (en) * 1970-03-12 1973-06-19 Goto Optical Mfg Co Ltd Panoramic motion picture camera
US6141034A (en) * 1995-12-15 2000-10-31 Immersive Media Co. Immersive imaging method and apparatus
CN1965578A (zh) * 2003-06-03 2007-05-16 伦纳德·P·斯图尔特第三 数码3d/360度照相机系统
US20100283879A1 (en) * 2006-06-30 2010-11-11 Fujitsu Microelectronics Limited Solid-State Image Pickup Apparatus Including A Global Shutter Function and Control Method Therefor
CN101702939A (zh) * 2007-03-16 2010-05-05 科尔摩根公司 用于全景图像处理的系统
US20080309764A1 (en) * 2007-06-13 2008-12-18 Aisin Aw Co., Ltd. Driving assist apparatuses and methods
US20090066813A1 (en) * 2007-09-11 2009-03-12 Samsung Electronics Co., Ltd Photographing apparatus of which image pickup area is divided, and image pickup device thereof
US20120120069A1 (en) * 2009-05-18 2012-05-17 Kodaira Associates Inc. Image information output method
CN201523430U (zh) * 2009-06-23 2010-07-07 长峰科技工业集团公司 一种全景视频监控系统
CN102004386A (zh) * 2009-08-28 2011-04-06 鸿富锦精密工业（深圳）有限公司 摄影装置及其影像摄取方法
CN202634545U (zh) * 2012-02-29 2012-12-26 深圳市爱国者嵌入式系统科技有限公司 全景视频图像摄录系统
CN103297668A (zh) * 2012-02-29 2013-09-11 深圳市振华微电子有限公司 全景视频图像摄录系统及方法
CN103297686A (zh) * 2012-03-02 2013-09-11 卡西欧计算机株式会社 摄像装置及摄像方法
CN202979152U (zh) * 2012-11-08 2013-06-05 深圳天行健电子有限公司 网络摄像监控终端
CN103310448A (zh) * 2013-06-13 2013-09-18 电子科技大学 用于das的摄像装置姿态角估计及实时生成合成图的方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109001956A (zh) * 2017-06-06 2018-12-14 宝山钢铁股份有限公司 全视角内窥式高温摄像装置
CN108322671A (zh) * 2018-03-16 2018-07-24 沈阳泰科易科技有限公司 摄像头组件和相机
TWI645242B (zh) * 2018-03-29 2018-12-21 鴻海精密工業股份有限公司 拍攝裝置

Also Published As

Publication number Publication date
CN106464817B (zh) 2020-06-09
EP3160131A1 (en) 2017-04-26
JPWO2015198675A1 (ja) 2017-04-20
US10594950B2 (en) 2020-03-17
JP6528771B2 (ja) 2019-06-12
EP3160131A4 (en) 2018-03-28
US20170201694A1 (en) 2017-07-13
WO2015198675A1 (ja) 2015-12-30

Similar Documents

Publication Publication Date Title
CN106464817A (zh) 图像捕获设备
WO2021012855A1 (zh) 一种全景图像生成系统及全景图像生成方法
US20190149732A1 (en) Digital 3d/360 degree camera system
CN106797460B (zh) 三维视频的重建
US9413930B2 (en) Camera system
US7429997B2 (en) System and method for spherical stereoscopic photographing
JP5620036B1 (ja) パノラマ撮影用デジタルカメラ及び、パノラマ撮影システム
EP2242252A2 (en) In-camera generation of high quality composite panoramic images
CN106973228B (zh) 一种拍摄方法及电子设备
US20130050401A1 (en) Portable wide-angle video recording system
EP2685707A1 (en) System for spherical video shooting
JP2019117330A (ja) 撮影装置、及び撮影システム
EP2851748B1 (en) Optoelectronic photodetector (variants)
JP2006084486A (ja) 表示装置及びその撮像装置
Jacobs et al. Comparing photo technology and techniques
JP2016116131A (ja) 画像処理装置、撮像装置、画像処理方法、および画像処理プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant