CN104350734A - 图像生成设备以及图像生成方法 - Google Patents

图像生成设备以及图像生成方法 Download PDF

Info

Publication number
CN104350734A
CN104350734A CN201280073716.3A CN201280073716A CN104350734A CN 104350734 A CN104350734 A CN 104350734A CN 201280073716 A CN201280073716 A CN 201280073716A CN 104350734 A CN104350734 A CN 104350734A
Authority
CN
China
Prior art keywords
image
generating unit
frame memory
camera
forming apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280073716.3A
Other languages
English (en)
Other versions
CN104350734B (zh
Inventor
平田真一
大泽洋
古村京子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Publication of CN104350734A publication Critical patent/CN104350734A/zh
Application granted granted Critical
Publication of CN104350734B publication Critical patent/CN104350734B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21—Intermediate information storage
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/87—Regeneration of colour television signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/10537—Audio or video recording
    • G11B2020/10592—Audio or video recording specifically adapted for recording or reproducing multichannel signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Image Processing (AREA)

Abstract

帧存储器(220A-220F)分别存储来自多个成像单元(20A-20F)的捕获图像。运动检测单元(232)检测至少一个成像单元的捕获图像中的运动。格式确定单元(234)依照运动检测单元(232)检测的运动量和/或图像生成设备的电功耗限制确定使多个成像单元同时工作的模式或使多个成像单元断续工作的模式。控制信号生成单元(236)将依照格式确定单元(234)设置的模式控制从多个帧存储器中读取捕获图像的控制信号输送给多个帧存储器。

Description

图像生成设备以及图像生成方法
技术领域
本发明涉及图像生成设备以及图像生成方法，尤其涉及捕获复合图像的设备和方法。
背景技术
随着数字相机和数字摄像机普及起来，有更多的机会将捕获的静止图像和电影存储在计算机中以便观看和编辑或显示在游戏控制台和电视(TV)机的屏幕上。进一步，将捕获的电影上载到互联网上的张贴网站上与其他用户共享也流行起来。
一些数字相机能够捕获全景图像，使得可以以便捷方式捕获具有宽视角的全景图像。通过将用数字相机沿着不同拍摄方向拍摄的多个图像拼接在一起生成全景图像的软件工具是常用的。
进一步，全景拍摄模式或全景图像合成应用可用在像装有相机的移动电话那样的一些移动设备中，使得将通过将移动设备倾斜成不同角度拍摄的图像自动合成为全景图像。
引用列表
专利文献
PTL1：JP 2011-76249A
发明内容
技术问题
可用在相机和装有相机的移动设备上的全景拍摄模式会因为一边改变相机或移动设备的拍摄方向一边拍摄图像而造成由位置偏差引起的大的误差。进一步，为了合成为全景图像，在不同拍摄方向上一个接着一个地拍摄静止图像，因此导致在不同拍摄方向上拍摄的多个静止图像之间的时滞。因此，尽管可以合成全景静止图像，但理论上难以拍摄全景电影。由于这个原因，采取使用包含多台相机的多视图相机同时拍摄全向图像，然后将这些图像合成为全景照片的方法。
这样的全向多视图照相机消耗许多电力来驱动多个照相机。进一步，将大的功率供应给存储器以便处理数量与照相机的数量一样多的图像数据。更进一步，存在存储器的容量大以便为若干照相机存储图像数据的问题。
本发明就是鉴于上述情况而作出的，本发明的目的是提供即使使用多视图照相机，也不会使电影图像质量显著变差地有助于动态降低功耗的的技术。
问题的解决方案
为了解决上述问题，按照本发明的一种方式的图像生成设备包括多个帧存储器和多路复用部分。该多个帧存储器存储来自多个成像单元的捕获图像。该多路复用部分从该帧存储器中读取成像单元的捕获图像，并多路复用该捕获图像以生成图像流。该多路复用部分包括运动检测部分、模式确定部分、和控制信号生成部分。该运动检测部分检测至少一个成像单元的捕获图像的运动。该模式确定部分至少依照该运动检测部分检测的运动量或该图像生成设备的功耗极限设置两种模式之一，一种模式使多个成像单元同时工作，另一种模式使多个成像单元断续工作。该控制信号生成部分将适用于依照该模式确定部分设置的模式控制从多个帧存储器中读取捕获图像的控制信号供应给该多个帧存储器。
本发明的另一种方式是图像生成方法。该图像生成方法包括将来自多个成像单元的捕获图像存储在多个帧存储器中的步骤。该图像生成方法进一步包括从该帧存储器中读取成像单元的捕获图像，并多路复用该捕获图像以生成图像流的多路复用步骤。该多路复用步骤包括运动检测步骤、模式确定步骤、和控制信号生成步骤。该运动检测步骤检测至少一个成像单元的捕获图像的运动。该模式确定步骤至少依照该运动检测步骤检测的运动量或功耗极限设置两种模式之一，一种模式使多个成像单元同时工作，另一种模式使多个成像单元断续工作。该控制信号生成步骤将适用于依照该模式确定步骤设置的模式控制从多个帧存储器中读取捕获图像的控制信号供应给该多个帧存储器。
应当注意到，上述组件的任何组合和本发明的表达在“方法”、“设备”、“系统”、“计算机程序”、“数据结构”、“记录介质”等之间的任何转换也可有效地作为本发明的方式。
本发明的有利效果
本发明为易于使用多视图相机生成合成图像创造了条件。
附图说明
图1是按照一个实施例的全景成像设备的透视图；
图2是描述显示在图1中的全景成像设备的多视图成像部分的侧面成像单元的视角和操作/显示单元的安装位置的图形；
图3是描述显示在图1中的多视图成像部分的内部结构的图形；
图4(a)到4(c)是描述显示在图3中的安装在紧固件上的六个成像单元之间的位置关系的图形；
图5是例示六个成像单元紧固在上面的紧固件和主体部分的中心轴的图形；
图6(a)和6(b)是描述可相互拆开多视图成像部分和主体部分的配置的图形；
图7是例示在多视图成像部分的底面上也配备了成像单元的配置的图形；
图8(a)到8(d)是描述配备在紧固件的侧面之一上的成像单元的视角与配备在紧固件的顶面上的成像单元的视角之间的关系的图形；
图9是以从上面看过去的全景成像设备的多视图成像部分的顶视图的形式例示配备在紧固件的侧面上的五个侧面成像单元的视场之间的重叠的图形；
图10(a)和10(b)是描述显示在操作/显示单元上的操作屏幕的图形；
图11是在主体部分的主电路中实现的全景电影流生成器的功能配置图；
图12例示了与全景电影流生成器管理的电影流切换和记录控制有关的配置；
图13是描述全景电影流生成器管理的电影流切换和记录控制的步骤的流程图；
图14(a)和14(b)是描述通过电影流切换和记录控制生成的全景电影流的数据结构的图形；
图15是适用于有选择地控制多视图相机的控制系统的配置图；
图16是描述显示在图15中的多视图相机控制系统的功能配置的图形；
图17(a)是描述显示在图16中的多视图相机控制系统进行的写入处理的流程图，以及图17(b)是描述显示在图16中的多视图相机控制系统进行的读取处理的流程图；
图18是描述实现显示在图16中的多视图相机控制系统的例子的图形；
图19是描述实现显示在图16中的多视图相机控制系统的另一个例子的图形；
图20(a)和20(b)是描述显示在操作/显示单元上的操作屏幕的图形；
图21是描述通过指定参考相机集体设置成像单元的情况的图形；
图22是描述通过指定参考相机集体设置成像单元时操作屏幕的例子的图形；
图23是描述通过窗口从室内拍摄室外图像的情况的图形；
图24是描述通过窗口从室内拍摄室外图像时操作屏幕的例子的图形；
图25是描述通过窗口从室内拍摄室外图像时操作屏幕的例子的图形；
图26是描述冻结一些相机的情况的图形；
图27是例示冻结一些相机时操作屏幕的例子的图形；
图28是适用于进行多步曝光拍摄的全景电影流生成器和功能配置图；
图29(a)和29(b)是描述为了比较在多个成像单元中设置相同参考曝光值拍摄的捕获图像的图形；
图30(a)到30(c)是描述通过显示在图28中的曝光设置部分设置在成像单元中的参考曝光值、和以使可变曝光值以参考曝光值为中心的方式以多个步长改变参考曝光值获得的可变曝光值的图形；
图31是描述通过显示在图28中的HDR合成部分合成的全景图像的图形；
图32是描述进行多步曝光拍摄的步骤的流程图；
图33(a)到33(c)是描述显示在图28中的HDR合成部分用于继续进行伪HDR合成的方法的图形；
图34是能够调整方位的全景电影流生成器的功能配置图；
图35(a)和35(b)是描述将在前向的成像单元的拍摄方向设置成磁北的用户界面的图形；
图36(a)和36(b)是描述将在前向的成像单元的拍摄方向设置成磁北的用户界面的图形；
图37(a)和37(b)是描述将特定成像单元的拍摄方向设置成磁北的用户界面的图形；以及
图38(a)和38(b)是描述将特定成像单元的拍摄方向设置成磁北的用户界面的图形。
具体实施方式
[全景成像设备的配置]
图1是按照一个实施例的全景成像设备100的透视图。全景成像设备100包括多视图成像部分10和主体部分30。在本实施例中，多视图成像部分10和主体部分30两者都是圆柱形状，使它们的中心轴相互对准地连接在一起。
多视图成像部分10被圆柱形相机外壳12盖住。多个成像单元20A到20F(当统指时，下文称为成像单元20)包含在相机外壳12中。成像单元20A到20F的每一个包括像透镜和成像元件那样拍摄所需的组件。在本实施例中，等角地将五个成像单元20A到20E(下文也称为“侧面成像单元”)安排成使它们的透镜位于圆柱形相机外壳12的周围上。将单个成像单元20F(下文也称为“顶部成像单元”)安排成使它的透镜位于相机外壳12的顶面上。
主体部分30包括操作/显示单元40、电池、主电路、和外部接口。操作/显示单元40配备在从圆柱形主体部分30的外围向内凹进的位置上。多视图成像部分10的成像单元20A到20F捕获的电影数据经由串行接口或USB(通用串行总线)接口发送给主体部分30的主电路。主电路实现通过多路复用成像单元20A到20F捕获的电影帧生成全景电影流的功能。主电路包括用于连接像USB存储器那样的外部记录设备的外部接口。经由外部接口将生成的全景电影流记录到外部记录设备中。
操作/显示单元40是带有触摸面板的显示器。操作/显示单元40将多视图成像部分10的成像单元20A到20F之一捕获的每个图像显示在它的显示器上。进一步，操作/显示单元40可以将合成多个成像单元20A到20F捕获的多个图像获得的全景图像显示在它的显示器上。更进一步，操作/显示单元40可以将操作菜单显示在它的显示器上，以便用户可以一边观看显示屏一边直接触摸触摸面板对显示屏作出操作输入。
图2是描述全景成像设备100的多视图成像部分10的侧面成像单元20A的视角和操作/显示单元40的安装位置的图形。侧面成像单元20A拍摄的视场的扩展通过如图2所例示的侧面成像单元20A的视角θ指示。拍摄者坐在三脚架80的前面，从侧面成像单元20A的下面伸出他或她的手，因此操作出现在操作/显示单元40上的操作菜单。操作/显示单元40配备在圆柱形主体部分30的凹进区中。因此，即使通过触摸触摸屏操作屏幕操作菜单，拍摄者也可以触摸侧面成像单元20A的视场之外的触摸屏。这样就防止了拍摄者的手指不经意出现在图像中。
进一步，因为操作/显示单元40配备在圆柱形主体部分30的凹进区中，所以可以防止从操作/显示单元40发出的照射光出现在任何成像单元20A到20F中。为了将出现在图像中的来自操作单元40的照射光的影响降低到给定水平或更低，要设计配备操作/显示单元40的凹处的深度和凹进区中的操作/显示单元40的倾角。
图3是描述多视图成像部分10的内部结构的图形。多个成像单元20A到20F被紧固在多视图成像部分10的相机外壳12内部的紧固件14上。如果多个成像单元20A到20F被紧固在不同紧固件上，则由于，例如，热膨胀引起的紧固件的变形，位置位移将从多个成像单元20A到20F的一个成像单元到另一个成像单元而不同。如果多个成像单元20A到20F像本实施例那样被紧固在单个紧固件14上，则紧固件14由于，例如，热膨胀的特性变化对成像单元20A到20F造成的影响是恒定的，因此有助于提高多个成像单元20A到20F之间的位置精度。
在本实施例中，紧固件14具有正五棱柱的形状，五个侧面成像单元20A，20B，20C，20D和20E的每一个配备在五棱柱的侧面之一上，顶部成像单元20F配备在五棱柱的顶面上。尽管在本实施例中具有五棱柱的形状，但紧固件14可以具有其它多棱柱的形状，在多棱柱的每个侧面上配备一个成像单元。
一般说来，被摄物水平360°地处在全景图像中，往往头上是天空，脚下是大地。由于这个原因，如果像本实施例那样将成像单元配备在多棱柱的外周面上，以及如果将一个成像单元配备在多棱柱的顶面上，则通过沿着拍摄者的水平方向等角地改变视线的方向，可以拍摄多个图像。进一步，等距地安排多个成像单元。这使得易于进行通过将从成像单元获得的图像数据拼接在一起生成全景图像所需的图像合成。更进一步，与在正十二面体的每个面上都有一个成像单元(总共12个成像单元)的传统多视图相机不同，本实施例优于传统多视图相机之处在于可以使用较少成像单元捕获与合成全景图像所需一样多的图像。
图4(a)到4(c)是描述显示在图3中的安装在紧固件14上的六个成像单元20A到20F之间的位置关系的图形。图4(a)是从紧固件14的中心轴的方向看过去(从显示在图3中的z轴方向看过去)的顶视图。图4(b)是从与成像单元20A附在上面的紧固件14的棱柱的侧面之一垂直的方向看过去(从显示在图3中的x轴方向看过去)的侧视图。图4(c)是从与显示在图3中的x和z轴方向垂直的显示在图3中的y轴方向看过去的侧视图。
如图4(a)的顶视图所例示，五个侧面成像单元20A到20E以在水平面上等圆周角(72°)地形成半径为L的圆形的方式排列在形状为五棱柱的紧固件14的周围。侧面成像单元20A到20E每一个的拍摄方向是圆形的径向。如侧视图4(b)和4(c)所例示，配备在紧固件14的顶面上的顶部成像单元20F和配备在紧固件14的侧面上的侧面成像单元20B以在垂直面上具有90°的圆周角地形成半径为L的圆形的方式排列。顶部成像单元20F和配备在紧固件14的其它侧面之一上的侧面成像单元20A，20C，20D和30E的每一个类似地以具有90°的圆周角地形成半径为L的圆形的方式排列。换句话说，六个成像单元20A到20F以形成半径为L的球形的方式排列。
图5是例示六个成像单元20A到20F紧固在上面的紧固件14和主体部分30的中心轴的图形。多视图成像部分10以紧固件14和主体部分30的中心轴相互对准的方式与主体部分30连接。进一步，将主体部分30的三脚架基座紧固孔30设置在主体部分30的中心轴上。其结果是，与三脚架基座紧固孔30连接的三脚架的位置与紧固件14的中心轴对准。这使得即使安装在三脚架上的主体部分30发生倾斜或旋转，也易于调整拍摄位置和视线的方向。
图6(a)和6(b)是描述可相互拆开多视图成像部分10和主体部分30的配置的图形。多视图成像部分10和主体部分30可相互拆开，使得可以依照用于与外围设备连接的像USB(通用串行总线)那样的接口标准转换图像数据，以及使得可以使用，例如，可延伸电缆将多视图成像部分10与物理上遥远的主体部分30连接。可替代地，多视图成像部分10和主体部分30可以经由适用于延伸相机的信号线的可拆式中继电缆连接在一起。还可替代地，多视图成像部分10和主体部分30每一个可以具有无线通信功能以及无线地连接在一起。这为甚至不能携带主体部分30而只能携带多视图成像部分10的有限区域中的全景拍摄创造条件。例如，通过将多视图成像部分10插入孔中可以全景拍摄那个孔的内部。
另一方面，主体部分30可以是像平板PC或移动电话那样的移动终端，使得可以相互拆开多视图成像部分10和主体部分30，以便通过无线通信交换数据。这使拍摄者可以携带主体部分30和从遥远地方操作多视图成像部分10，使得更易于防止拍摄者偶然出现在图像中。
图6(b)例示了将三脚架基座紧固孔52设置在多视图成像部分10的底面上的配置。这种配置使三脚架可以直接与多视图成像部分10连接。如果多视图成像部分10具有无线通信功能，则可以将多视图成像部分10捕获的数据发送给主体部分30或其它移动终端。
图7是例示在多视图成像部分10的底面上也配备了成像单元20G的配置的图形。如上所述除了将成像单元20F配备在顶面上之外还将成像单元26G配备在底面上为全向拍摄创造了条件。在这种情况下，不能将三脚架与底面连接。因此，例如，通过利用细线将多视图成像部分10悬挂在天花板上进行拍摄。可替代地，可以将多视图成像部分10抛向空中进行全向拍摄。如果多视图成像部分10具有无线通信功能，则可以将多视图成像部分10捕获的数据发送给主体部分30或其它移动终端。
图8(a)到8(d)是描述配备在紧固件14的侧面之一上的成像单元20A的视角与配备在紧固件14的顶面上的成像单元20F的视角之间的关系的图形。
图8(a)例示了配备在紧固件14的侧面之一上的侧面成像单元20A的视角60A与配备在紧固件14的顶面上的顶部成像单元20F的视角60B之间的关系。图8(b)是从上面看过去的全景成像设备100的多视图成像部分10的顶视图(从图3中的z轴方向看过去的视图)，例示了配备在紧固件14的侧面之一上的侧面成像单元20A的视角60A的水平视角θAH。图8(c)和8(d)是从侧面看过去的全景成像设备100的侧视图(从图3中的x和y轴方向看过去的视图)。图8(c)例示了配备在紧固件14的顶面上的顶部成像单元20F的水平视角θFH。图8(d)例示了配备在紧固件14的侧面之一上的侧面成像单元20A的垂直视角θAV和配备在紧固件14的顶面上的顶部成像单元20F的垂直视角θFV。
作为一个例子，侧面成像单元20A的水平视角θAH是θAH＝121°。由于五个侧面成像单元20A到20F配备在紧固件14的侧面上，这使得可以水平360°地全景拍摄。另一方面，侧面成像单元20A的垂直视角θAV是θAV＝134°。将此与顶部成像单元20F的水平视角θFH(＝134°)或垂直视角θFV(＝121°)结合，可以垂直180°地全景拍摄。
应当注意到，在本例中侧面成像单元20A的垂直视角θAV和水平视角θAH之间的关系是θAV>θAH。普通透镜的水平视角大于其垂直视角。这里应当牢记的是，以相对于正常取向旋转了90°的方式将成像单元20A到20E配备在紧固件14的侧面上，以便增大成像单元20A到20E在垂直方向的视角。
图9是以从上面看过去的全景成像设备100的多视图成像部分10的顶视图的形式例示配备在紧固件14的侧面上的五个侧面成像单元20A到20E的视场之间的重叠的图形。侧面成像单元20A到20E每一个的水平视角是，例如，121°。组合五个侧面成像单元20A到20E拍摄的图像使得可以水平360°地全景拍摄。
图10(a)和10(b)是描述显示在操作/显示单元40上的操作屏幕的图形。将显示在图10(a)中的全景成像设备100的六个成像单元20A到20F拍摄的图像分别显示在显示在图10(b)中的操作屏幕的区域A到F中。
在触摸面板上选择显示在图10(b)中的区域A到F的某一个使成像单元20A到20F之一被选为参考相机。这里，选择区域B。其结果是，使区域B得到强调，例如，通过用不同颜色显示区域B的框架。将区域B与成像单元20B相联系。成像单元20B被用作设置像曝光和白平衡那样的拍摄条件的参考。
当拍摄者按下自动曝光(AE)锁定按钮74时，通过自动曝光将成像单元20B，即，参考相机设置成最佳曝光值。使这个最佳曝光值反映在其它成像单元20A，20C，20D，20E和20F中。AF锁定按钮74是切换按钮。当拍摄者再次按下AE锁定按钮74时，解锁AE，因此使成像单元20A到20F每一个的曝光分别得到自动调整。
当拍摄者接着按下自动白平衡(AWB)锁定按钮76时，通过自动白平衡调整成像单元20B，即，参考相机的白平衡。使其校正值反映在其它成像单元20A，20C，20D，20E和20F中。AWB锁定按钮76也是切换按钮。当拍摄者再次按下AWB锁定按钮76时，解锁AWB，因此使成像单元20A到20F每一个的白平衡分别得到自动调整。
当按下扩展控制按钮78时，出现各种设置菜单，因此允许进一步设置拍摄参数。
当拍摄者按下电影记录开始/停止按钮70时，成像单元20A到20F拍摄电影。当拍摄者再次按下电影记录开始/停止按钮70时，停止拍摄电影。当拍摄者按下静止图像拍摄按钮72时，成像单元20A到20F拍摄静止图像。将记录的电影或静止图像存储在，例如，与主体部分30的主电路的外部接口连接的USB存储器中。
图11是在主体部分30的主电路中实现的全景电影流生成器200的功能配置图。
拍摄控制部分210在多视图成像部分10的所有成像单元20A到20F中集体地或在这些单元的每一个中分别地设置像曝光值、白平衡值、和帧速率那样的拍摄参数。进一步，拍摄控制部分210控制成像单元20A到20F的变焦和拍摄的开始和停止。
将成像单元20A到20F拍摄的电影帧分别存储在帧存储器220A到220F中。
电影流多路复用部分230多路复用存储在帧存储器220A到220F中和成像单元20A到20F拍摄的电影帧，生成多视图电影流并将电影流供应给全景拼接部分242。全景拼接部分242通过拼接处理将成像单元20A到20F拍摄的电影帧拼接在一起，合并全景电影并生成全景电影流。如果功耗受到限制，则全景拼接部分242可以不进行拼接处理地按原样输出多视图电影流。可替代地，如有必要，全景拼接部分242可以输出多视图电影流和全景电影流两者。全景拼接部分242至少将多视图电影流或全景电影流记录到全景电影存储部分240中。
显示控制部分260从帧存储器220A到220F中读取成像单元20A到20F拍摄的电影帧，将电影帧显示在操作/显示单元40的屏幕上。
用户接口部分250将成像单元20A到20F的操作菜单信息供应给显示控制部分260，使显示控制部分260可以将操作菜单显示在操作/显示单元40的屏幕上。
触摸面板控制部分270检测用户的手指在触摸面板上的触摸操作，将触摸位置和其它信息供应给用户接口部分250。用户接口部分250从触摸面板控制部分270供应的触摸位置信息中识别用户在操作菜单上选择的操作的性质，以便将操作命令发送给拍摄控制部分210。拍摄控制部分210根据用户接口部分250供应的操作命令控制成像单元20A到20F。
[电影流切换和记录控制]
接着将给出全景成像设备100的全景电影流生成器200管理的电影流切换和记录控制的描述。
图12例示了与全景电影流生成器200管理的电影流切换和记录控制有关的配置。这里将给出显示在图11中的拍摄控制部分210和电影流多路复用部分230的不同配置和操作的描述。在图12中省略了全景电影存储部分240、显示控制部分260、用户接口部分250、和触摸面板控制部分270，即，显示在图11中的组件。
在图12中，虚线代表控制信号线，粗线代表图像数据传送信道。如图11已经所述，将成像单元20A到20F拍摄的电影帧分别存储在帧存储器220A到220F中。电影流多路复用部分230读取存储在帧存储器220A到220F中和成像单元20A到20F拍摄的电影帧，多路复用电影帧并生成多视图电流。
除了多路复用成像单元20A到20F拍摄的电影帧的功能之外，电影流多路复用部分230还具有运动检测部分232、模式确定部分234、和控制信号生成部分236的功能。
运动检测部分232检测成像单元20A到20F拍摄的电影帧A到F的运动矢量，求出电影帧A到F的运动矢量的幅度之一。可替代地，运动检测部分232可以检测感兴趣的特定一个或多个成像单元拍摄的电影帧的一个或多个运动矢量，以便求出感兴趣的一种或多种电影帧的运动矢量的幅度之和。
如果运动检测部分232计算的运动矢量的幅度之和小于给定阈值，则模式确定部分234将成像单元20A到20F设置成“成像单元断续工作模式”。在这种模式下，使成像单元20A到20F相隔一个帧地以断续方式一个接一个地工作，因此每个帧切换到成像单元20A到20F之一。然后，从相关帧存储器中读取从切换的成像单元输出的捕获图像，此后将捕获的图像多路复用成电影流。
如果运动检测部分232计算的运动矢量的幅度之和大于等于给定阈值，则模式确定部分234将成像单元20A到20F设置成“成像单元同时工作模式”。在这种模式下，使所有成像单元20A到20F同时工作，然后，从帧存储器220A到220F中读取从成像单元20A到20F输出的捕获图像，此后将捕获的图像多路复用成电影流。
模式确定部分234将有关已经设置的成像单元的工作模式的信息供应给拍摄控制部分210和控制信号生成部分236。
拍摄控制部分210将与模式确定部分234设置的工作模式相适应的控制信号供应给成像单元20A到20F。
在“成像单元断续工作模式”下，拍摄控制部分210将适合使成像单元20A到20F相隔一个帧地以断续方式一个接一个地工作的控制信号供应给成像单元20A到20F。这省却了将电力供应给未激活成像单元的需要，因此有助于降低功耗。
在“成像单元同时工作模式”下，拍摄控制部分210将适合使所有成像单元20A到20F同时工作的控制信号供应给成像单元20A到20F。在这种情况下，所有成像单元20A到20F都是激活的，因此导致更高的功耗。但是，即使被摄物作剧烈运动，或在场景变化期间，合成的全景图像也不会质量下降。
控制信号生成部分236将与模式确定部分234设置的工作模式相适应的控制信号供应经帧存储器220A到220F。在“成像单元断续工作模式”下，控制信号生成部分236将适合每个帧切换到帧存储器220A到220F之一的控制信号供应给帧存储器220A到220F，允许从切换的帧存储器中读取而禁止从所有其它帧存储器中读取。在“成像单元同时工作模式”下，控制信号生成部分236将适合允许从所有帧存储器220A到220F中读取的控制信号供应给帧存储器220A到220F。
这里，甚至在“成像单元同时工作模式”下，如果适合图像数据的接口的带宽大于(成像单元的数量)×(每帧数据量)×(帧速率)，则当允许从所有帧存储器220A到220F中读取以及同时从帧存储器220A到220F中读取图像数据时，不会引起什么问题。但是，如果只允许一个成像单元的数据量，则可以将图像数据暂时记录到帧存储器220A到220F中，此后从一个到另一个地切换帧存储器220A到220F，以便依次发送图像数据。
进一步，如果因为成像单元20A到20F启动慢，所以使成像单元20A到20F断续工作会选成问题。则可以在相隔一个帧地以断续方式一个接一个地激活帧存储器220A到220F的同时，使成像单元20A到20F连续工作，因此每个帧切换到帧存储器220A到220F之一，从切换的帧存储器中读取捕获的图像，并将这些图像多路复用成电影流。这也有助于降低供应给帧存储器的功率。
进一步，模式确定部分234不仅可以依照捕获图像的运动量，而且可以依照全景成像设备100的电池剩余电荷或允许功耗在“成像单元断续工作模式”与“成像单元同时工作模式”之间切换。例如，为了使全景成像设备100多工作几小时，必须使单位时间的功耗最小。因此，将工作模式切换到“成像单元断续工作模式”。另一方面，如果电池剩余电荷足够，则可以让全景成像设备100工作在“成像单元同时工作模式”下，当电池剩余电荷变低时，再切换到“成像单元断续工作模式”。可替代地，如果全景成像设备100靠内置可充电电池运行，则可以选择“成像单元断续工作模式”。另一方面，如果全景成像设备100靠AC适配器供应的外部电力运行，则可以选择“成像单元同时工作模式”。
电影流多路复用部分230在任一种工作模式下都多路复用从帧存储器220A到220F输出的图像帧，因此生成多视图电影流并将电影流供应给主处理器280。
主处理器280对多视图电影流进行拼接处理，因此生成全景电影流并将该电影流记录到像闪速存储器那样的辅助存储设备290中。全景拼接部分242和切换部分246的功能通过主处理器280中的软件实现，以便进行全景拼接处理。这些功能可以通过硬件实现。
全景拼接部分242将包括在电影流多路复用部分230供应的多视图电影流中和由成像单元20A到20F拍摄的图像帧拼接在一起，因此合成为全景图像，生成含有全景图像帧的时序数据的全景电影流，并输出该电影流。如果依照电池剩余电荷或允许功耗限制功耗，全景拼接部分242不合成任何全景图像地按原样输出多视图电影流。
切换部分246依照功耗极限在从全景拼接部分242输出的全景电影流和多视图电影流之间切换，将电影流记录到辅助存储设备290中。例如，可以依照可用功率的幅度执行如下三个控制步骤。
(a)如果可用功率小，则全景拼接部分242不生成任何全景电影流地输出多视图电影流。在这种情况下，切换部分246断开全景电影流的数据传送信道243的开关247，接通多视图电影流的数据传送信道244的开关248，将多视图电影流记录到辅助存储设备290中。因为不进行全景拼接处理，所以使功耗保持最小。
(b)如果可用功率中等，则全景拼接部分242生成并输出全景电影流，但不输出任何多视图电影流。在这种情况下，切换部分246接通全景电影流的数据传送信道243的开关247，断开多视图电影流的数据传送信道244的开关248，将全景电影流记录到辅助存储设备290中。因为全景拼接部分242被激活，所以比情况(a)消耗更多功率。但是，这种选项的有利之处在于实时生成全景电影。
(c)如果可用功率大，则全景拼接部分242不仅生成并输出全景电影流，而且输出任何多视图电影流。在这种情况下，切换部分246接通全景电影流的数据传送信道243的开关247，并接通多视图电影流的数据传送信道244的开关248，将全景电影流和多视图电影流都记录到辅助存储设备290中。生成并记录多视图电影流和全景电影流两者。这导致高的处理量，记录更多的数据，以及最高的功耗。但是，这种选项的有利之处在于通过事先不仅记录全景电影流而且记录多视图电影流，可以找到更多应用。
应当注意到，尽管在上面的描述中成像单元20A到20F的帧速率相同，但如果在成像单元20A到20F捕获的图像之间运动量不同，则可以在成像单元20A到20F之间改变帧速率。在这种背景下，拍摄控制部分210和控制信号生成部分236根据帧速率之间的比值改变在成像单元20A到20F和帧存储器220A到220F之间切换的比率。进行根据帧速率之间的比值指定权重的循环控制。
图13是描述全景电影流生成器200管理的电影流切换和记录控制的步骤的流程图。
运动检测部分232从成像单元20A到20F捕获的图像中检测运动矢量(S10)。运动检测部分232求出所有成像单元20A到20F或感兴趣的一个或多个成像单元捕获的图像的运动矢量的幅度之和(S12)。
模式确定部分234确定捕获图像的运动矢量的幅度之和是否大于等于阈值(S14)。如果捕获图像的运动矢量的幅度之和小于阈值(S14中的N)，则模式确定部分234选择“成像单元断续工作模式”(S20)。在“成像单元断续工作模式”下，选择以低帧速率记录多视图电影流或全景电影流的“低帧速率记录模式”。
如果捕获图像的运动矢量的幅度之和大于等于阈值(S14中的Y)，则模式确定部分234确定全景成像设备100是否工作在功耗极限内(S16)。例如，模式确定部分234在在延长时段内拍摄的情况下，考虑到单位时间允许功耗和电池剩余电荷地确定全景成像设备100是否工作在功耗极限内。如果全景成像设备100未工作在功耗极限内(S16中的N)，则模式确定部分234将全景成像设备100设置成“成像单元断续工作模式”。如果全景成像设备100工作在功耗极限内(S16中的Y)，则模式确定部分234将全景成像设备100设置成“成像单元同时工作模式”(S18)。在“成像单元同时工作模式”下，选择以高帧速率记录多视图电影流或全景电影流的“高帧速率记录模式”。
拍摄控制部分210依照模式确定部分234设置的模式将成像单元20A到20F切换到同时或断续工作模式，控制信号生成部分236依照模式确定部分234设置的模式将帧存储器220A到220F切换到同时或断续输出模式(S22)。
全景电影流生成器200多路复用依照每种模式从帧存储器220A到220F输出的帧数据，生成多视图电影流或全景电影流(S24)。
如果用户停止拍摄(S26中的Y)，则终止电影流切换和记录控制。如果用户未停止拍摄(S26中的N)，则使控制返回到步骤S10，重复从步骤S10开始向前的处理。
图14(a)和14(b)是描述通过电影流切换和记录控制生成的多视图电影流的数据结构的图形。这里假设存在四个成像单元，以及每个成像单元的帧速率是30fps(帧每秒)。
图14(a)例示了在“成像单元断续工作模式”下生成的多视图电影流。成像单元20A到20D相隔一个帧地以断续方式一个接一个地工作，成像单元20A，20B，20C和20D分别捕获的帧A，B，C和D以每个帧为间隔按这个次序被多路复用。成像单元20A到20D的每一个每四次断续地工作一次。其结果是，成像单元20A到20D的每一个的有效帧速率是30fps/4＝7.5fps。多路复用之后的多视图电影流的传送速率等于30fps/4×4＝30fps。也就是说，生成低帧速率多视图电影流。四个成像单元20A到20D断续地工作。因此，在通过合成四个成像单元20A到20D捕获的四个图像获得的全景图像中，彼此相邻的捕获图像是在不同时间捕获的图像。但是，如果运动不强烈，则将在不同时间捕获的图像拼接在一起获得的全景图像在质量上不会下降太多。
图14(b)例示了在“成像单元同时工作模式”下生成的多视图电影流。使成像单元20A到20D同时工作，成像单元20A，20B，20C和20D捕获的帧A，B，C和D以每个帧为间隔被多路复用。其结果是，成像单元20A到20D的每一个的有效帧速率保持不变，仍然为30fps。多路复用之后的多视图电影流的传送速率等于30fps×4＝120fps。也就是说，生成高帧速率多视图电影流。四个成像单元20A到20D同时工作。因此，在通过合成四个成像单元20A到20D捕获的四个图像获得的全景图像中，彼此相邻的捕获图像是在相同时间捕获的图像。因此，即使被摄物作剧烈运动，通过将在相同时间捕获的图像拼接在一起获得的全景图像在质量上保持无损。
下面将给出上述的全景电影流生成器200管理的电影流切换和记录控制的操作优点的描述。
一般说来，如果被摄物缓慢或小幅运动，则即使降低相机的帧速率，图像的质量也不会下降太多。相反，如果被摄物作剧烈运动，则降低相机的帧速率(在CMOS图像传感器的情况下，等于较长的快门速率)将由于运动模糊而导致质量显著下降。在多视图相机的情况下，以最高帧速率记录所有相机数据在任何场景中都提供最高图像质量。但是，这会导致更高的功耗和扰乱像SSD(固态驱动器)或HDD(硬盘驱动器)那样的数据存储设备的存储容量。由于这个原因，优选的是能够依照场景适当控制相机的工作条件和记录数据。
在按照本实施例的电影流切换和记录控制中，可以依照场景的运动在成像单元20A到20F的工作模式之间和在帧存储器220A到220F的输出模式之间切换。如果场景大幅运动，则图像的质量会下降，除非保证每个成像单元的有关帧速率。因此，通过赋予图像质量以比功耗高的优先级选择“成像单元同时工作模式”。如果场景小幅运动，则降低每个成像单元的有效帧速率不会导致图像质量显著下降。因此，将工作模式切换到“成像单元断续工作模式”，以便使功耗保持最小。如上所述，依照场景的运动在工作模式之间切换使功耗保持最小，并且不用承受图像质量显著下降地降低存储容量。进一步，依照电池剩余电荷和允许功耗在工作模式之间切换为全景成像设备100的有效使用创造了条件。更进一步，在“成像单元断续工作模式”下生成低帧速率图像流，因此降低了存储容量。
[多视图相机控制系统]
图15是适用于有选择地控制多视图相机的控制系统的配置图。例示在图12中的拍摄控制部分210包括总线接口/相机控制接口300、通过屏蔽寄存器310、和控制数据通过逻辑320。拍摄控制部分210响应来自主处理器280的指令，集体地和有选择地控制多个成像单元20A到20F的任意个成像单元。例如，拍摄控制部分210可以集体地或有选择地控制自动曝光(AE)、自动白平衡(AWB)、和曝光值(EV)。
总线接口/相机控制接口300是适用于连接主处理器280和成像单元20的给定标准的总线接口和适用于控制成像单元20A到20F的专用接口。总线接口/相机控制接口300响应来自主处理器280的指令，将控制信号供应给控制数据通过逻辑320。
控制数据通过逻辑320是适用于将控制数据写入成像单元20A到20F中或从成像单元20A到20F中读取数据的电路。当写入数据时，控制数据通过逻辑320可以通过单播、多播或广播将写入数据发送给成像单元20A到20F。当读取数据时，控制数据通过逻辑320可以通过单播从成像单元20A到20F接收读取数据。
通过屏蔽寄存器310是适用于控制控制数据通过逻辑320的电路的输入和输出操作的寄存器。通过屏蔽寄存器310是与成像单元20A到20F的数量相对应的通过屏蔽寄存器。
图16是描述显示在图15中的多视图相机控制系统的功能配置的图形。相机控制接口302是显示在图15中的总线接口/相机控制接口300的例子，与主处理器280一起构成应用处理器140。应用处理器140通过，例如，片上系统(SoC)技术实现。
在显示在图16中的功能配置图中，显示在图15中的控制数据通过逻辑320是使用像I2C或SPI那样的总线接口连接相机控制接口302和成像单元20A到20F的电路。控制数据通过逻辑320包括开关130A到130F和多路复用器132。
相机控制接口302的数据发送器Tx经由开关130A到130F与成像单元20A到20F连接。将主处理器280指定的控制数据有选择地写入成像单元20A到20F中。控制数据写入通过寄存器110(下文简称为“写入通过寄存器”是与成像单元20A到20F的数量相对应的通过屏蔽寄存器。通过屏蔽寄存器110设置掩码以便在分别与成像单元20A到20F相联系的开关130A到130F的接通和断开状态之间切换。
例如，当写入通过寄存器110的值是‘110000’时，分别与两个成像单元20A和20B相联系的开关130A和130B接通，而分别与其余四个成像单元20C到20F相联系的开关130C到130F断开。这使控制数据被有选择地写入成像单元20A和20B中。
成像单元20A到20F经由具有多个输入端和单个输出端的多路复用器132与相机控制接口301的数据接收器Rx连接。依照来自主处理器280的读取指令，有选择地从成像单元20A到20F中读出数据。相机设置值读取通过寄存器120(下文简称为“读取通过寄存器”)是与成像单元20A到20F的数量相对应的通过选择寄存器。读取通过寄存器120设置掩码以便选择多路复用器132的多支输入流之一。
例如，当读取通过寄存器120的值是‘010000’时，从馈送到多路复用器132的来自六个成像单元20A到20F的输入流当中选择来自成像单元20B的输入流。其结果是，从多路复用器132输出来自成像单元20B的数据作为输出流，供应给相机控制接口302的接收器Rx。
在显示在图16中的配置中，只有一个接口可用于主处理器280从或向成像单元20A到20F读取或写入数据。通过简单地重写写入通过寄存器110和读取通过寄存器120的通过掩码，可以集体或有选择地从或向成像单元20A到20F读取或写入数据。为成像单元20A到20F的每一个配备独立接口导致较大的电路规模。但是，显示在图16中的配置只有一个接口，因此有助于减少电路的数量。进一步，通过简单重写写入通过寄存器110，可以选择要写入的所希望成像单元以及同时将数据写入所选成像单元中，因此加速写入操作。
图17(a)是描述显示在图16中的多视图相机控制系统进行的写入处理的流程图。
主处理器280准备要写入成像单元20A到20F中的控制数据(S30)。控制数据是，例如，与像曝光值那样的拍摄条件有关和用户通过用户接口部分250指定的数据。
主处理器280确定要写入的目标成像单元，并将指定要将控制数据写入的成像单元的值写入写入通过寄存器110中。如果写入通过寄存器110是与成像单元的数量相对应的通过掩码，则写入通过寄存器110将通过掩码设置成选择要写入的目标成像单元。通过写入通过寄存器110设置开关130A到130F的接通/断开状态。要求写入通过寄存器110将通过掩码设置成有选择地将控制数据发送给要写入的目标成像单元。
如果要求响应写入操作作出确认(ACK)，则主处理器280确定要读取的目标成像单元，并将指定要从中读取数据的成像单元的值写入读取通过寄存器120中(S34)。如果读取通过寄存器120是与成像单元的数量相对应的通过掩码，则读取通过寄存器120将通过掩码设置成选择要读取的目标成像单元。在具有多个输入端和单个输出端的多路复用器132的多支输入流当中，选择读取通过寄存器120指定的输入流并加以输出作为输出流。要求读取通过寄存器120将通过掩码设置成有选择地从要写入的目标成像单元接收ACK。
这里，当写入操作完成时，要写入的每个目标成像单元返回ACK。通常，应该从要写入的所有成像单元接收ACK，并且应该分别核实ACK的接收。这样的处理导致较大的电路规模，需要与总线标准不同的过程。但是，在正常环境下写入处理失败的情况极其罕见。因此，作为核实来自所有目标成像单元的ACK的接收的可替代方式，只传递来自目标成像单元之一的ACK来核实ACK的接收。这也有助于电路更简单。为了以更严格的方式核实是否已经将数据适当地写入所有成像单元的每一个中，唯一必须做的是分别为每个成像单元读取寄存器值来核实ACK的接收。
相机控制接口302经由开关130A到130F从发送终端Tx将适合写入控制数据的信号输出到成像单元20A到20F(S36)。此时，依照写入通过寄存器110设置的通过掩码改变开关130A到130F的接通/断开状态，因此使控制数据只写入选为目标成像单元的成像单元20中。
如果要求响应写入操作作出ACK，则相机控制接口302经由多路复用器132利用接收终端Rx从成像单元20A到20F接收ACK信号(S38)。此时，依照读取通过寄存器120设置的通过掩码核实来自选为要读取的目标成像单元的成像单元的ACK。
应该注意到，如果无需响应写入操作作出ACK，则可以省略步骤S34和S38。
图17(b)是描述显示在图16中的多视图相机控制系统进行的读取处理的流程图。
主处理器280确定要读取的成像单元20的寄存器(S40)。
主处理器280确定要读取的目标成像单元，并将指定要从中读取数据的成像单元的值写入写入通过寄存器110中(S42)。如果写入通过寄存器110是与成像单元的数量相对应的通过掩码，则通过寄存器110将通过掩码设置成选择要读取的目标成像单元。通过写入通过寄存器110设置开关130A到130F的接通/断开状态。要求写入通过寄存器110将通过掩码设置成有选择地将读取地址发送给要读取的目标成像单元。
接着，主处理器280确定要读取的目标成像单元，并将指定要从中读取数据的成像单元的值写入读取通过寄存器120中(S44)。如果读取通过寄存器120是与成像单元的数量相对应的通过掩码，则读取通过寄存器120将通过掩码设置成选择要读取的目标成像单元。在具有多个输入端和单个输出端的多路复用器132的多支输入流当中，选择读取通过寄存器120指定的输入流并加以输出作为输出流。要求读取通过寄存器120将通过掩码设置成有选择地从要读取的目标成像单元接收数据和ACK。
相机控制接口302经由开关130A到130F从发送终端Tx将成像单元读取地址输出到成像单元20A到20F(S46)。此时，依照写入通过寄存器110设置的通过掩码改变开关130A到130F的接通/断开状态，因此使读取地址只发送给选为要读取的目标成像单元的成像单元20。
相机控制接口302经由多路复用器132利用接收终端Rx从成像单元20A到20F接收有关指定地址的数据(S48)。此时，从选为要读取的目标成像单元的成像单元接收数据，并依照读取通过寄存器120设置的通过掩码核实来自选为目标成像单元的成像单元的ACK。
图18是描述实现显示在图16中的多视图相机控制系统的例子的图形。在显示在图18中的实现例子中，使用了与叫做I2C(内部集成电路)的外围设备通信的串行通信方案。这里将给出为了简单起见使用四个成像单元(成像单元20A到20D)的情况的描述。
I2C接口304配备在应用处理器140的一侧上，用作I2C通信主设备。成像单元20A到20D是I2C通信从设备。
I2C状态监视电路150是允许三态缓冲器170在接收状态下接收的电路。其结果是，允许从多路复用器176接收数据。在写入操作期间，阻止三态缓冲器170。
将从I2C接口304输出的SDATA供应给分别与成像单元20A到20D相联系的三态缓冲器172A到172D。依照写入通过寄存器110的通过掩码启用与要写入的目标成像单元相联系的三态缓冲器，因此使STATA只发送给要写入的目标成像单元。上拉电阻174是将三态缓冲器172A到172D的输出信号调整成适当逻辑电平的电阻。从I2C接口304输出的SCLK是适用于使成像单元20A到20F同步的时钟信号。
在具有多个输入端和单个输出端的多路复用器176的输入端当中，多路复用来自依照读取通过寄存器120的通过掩码指定的输入端的输入值，并经由三态缓冲器170供应给I2C接口304。
在图18中，写入通过寄存器110的通过掩码是‘1100’。因此，在写入操作期间将控制数据写入成像单元20A和20B中。读取通过寄存器120的通过掩码是‘1000’。因此，在读取操作期间从成像单元20A中读取ACK。
图19是描述实现显示在图16中的多视图相机控制系统的另一个例子的图形。在显示在图19中的实现例子中，使用连接包括计算机的设备的叫做SPI(串行外围接口)的总线接口。这里，也将给出为了简单起见使用四个成像单元(成像单元20A到20D)的情况的描述。
SPI接口306配备在应用处理器140的一侧上，用作SPI通信主设备。成像单元20A到20D是SPI通信从设备。
从SPI接口306输出的CS#信号是芯片选择信号，供应给NAND电路180A到180D。写入通过寄存器110是适用于选择要写入的目标成像单元20A到20D的通过掩码。将寄存器值供应给分别与成像单元20A到20D相联系的NAND电路180A到180D。在这个例子中，写入通过寄存器110的通过掩码是‘1100’。因此，将‘1’馈送到两个NAND电路180A和180B中，将‘0’馈送到其余两个NAND电路180C和180D中。将NAND电路180A到180D的输出值CAM1_CS#到CAM4_CS#反相，并馈送到成像单元20A到20D中。其结果是，选择了两个成像单元20A和20B，使控制数据TxData从SPI接口306的MOSI(主设备输出从设备输入端口)发送给成像单元20A和20B。
将来自SPI接口306的CLK的SCLK信号供应给成像单元20A到20F以便使这些成像单元同步。
来自多路复用器182的读取数据RxData被SPI接口306的MISO(主设备输入从设备输出端口)接收。读取通过寄存器120是适用于选择要读取的目标成像单元20A到20D的通过掩码。读取通过寄存器120用于选择具有多个输入端和单个输出端的多路复用器182的输入信号。在这个例子中，读取通过寄存器120的通过掩码是‘1000’。在具有多个输入端和单个输出端的多路复用器182的多支输入流当中，选择来自成像单元20A的输入流，并作为多路复用器182的输出流输出。
图20(a)和20(b)是描述显示在操作/显示单元40上的操作屏幕的例子的图形。将显示在图20(a)中的全景成像设备100的六个成像单元20A到20F拍摄的图像分别显示在显示在图20(b)中的操作屏幕的区域A到F中。
当被选成参考相机时，操作屏幕的区域A到F每一个的框架表现为，例如，蓝色。进一步，当将这些区域划分成几组时，每组的框架表现为不同颜色。参考相机的选择被切换成接通或断开。每次点击都在选择和去选之间切换。
电影记录开始/停止按钮70、静止图像拍摄按钮72、自动曝光锁定按钮74、自动白平衡锁定按钮76、和扩展控制按钮78与描述在图10(b)中的那些相同。
当按下相机冻结按钮75时，所选成像单元被冻结在当前捕获图像上。也就是说，成像单元仍然可操作以及在屏幕上保持与按下相机冻结按钮75时相同的图像。当再次按下相机冻结按钮75时，相机解冻，因此重新开始通过所选成像单元拍摄。
当按下分组按钮77时，分组从多个区域A到F任意选择的几个区域。换句话说，从成像单元20A到20F当中选择和分组特定成像单元。要分组的所希望区域可以通过点击那些区域或用操作屏幕上的手画曲线围住它们来选择。
图21是描述通过指定参考相机集体设置成像单元的情况的图形。图22例示了在那种情况下操作屏幕的例子。
如图21所例示，将成像单元20A指定成参考相机，以便在其它成像单元20B到20F中集体设置像参考相机的曝光值那样的拍摄参数。在拍摄室内的情况下，例如，将前方的成像单元20A指定成参考相机，其它成像单元20B到20F着手利用与参考相机相同的曝光设置进行拍摄。
如图22所例示，当与与选为参考相机的成像单元20A相联系的区域A一起按下自动曝光(AE)锁定按钮74或自动白平衡(AWB)锁定按钮76时，使相同参数反映在其它成像单元20B到20F中。
将读取通过寄存器120设置成将选为参考相机的成像单元20A指定成要读取的目标成像单元的值。其结果是，从成像单元20A，即，参考相机中读取像曝光值和白平衡值那样的拍摄参数。然后，将写入通过寄存器110设置成将除了选为参考相机的成像单元20A之外的其余成像单元20B到20F指定成要写入的目标成像单元的值。其结果是，将从成像单元20A，即，参考相机中读取的拍摄参数集体写入其余成像单元20B到20F中。
更具体操作过程如下：
(1)在操作屏幕上点击前相机的区域A。其结果是，区域A的框架转变为蓝色，以及成像单元20A用作参考相机。
(2)按下自动白平衡锁定按钮76以便将所有成像单元20A到20F的白平衡锁定成成像单元20A，即，参考相机的调整值。
(3)按下自动曝光锁定按钮74以便将所有成像单元20A到20F的曝光值锁定成成像单元20A，即，参考相机的调整值。
(4)利用电影记录开始/停止按钮70或静止图像拍摄按钮72拍摄。
图23是描述通过窗口从室内拍摄室外图像的情况的图形。图24和25例示了那种情况下操作屏幕的例子。
如图23所例示，当通过窗口190拍摄室外图像时，窗口侧的成像单元20A，20B，和20E因室外拍摄而减小曝光。但是，其余成像单元20C和20D因室内拍摄而有必要利用曝光设置拍摄。
如图24所例示，用手画曲线192将与窗口侧的成像单元20A，20B，和20E相联系的区域A，B和E围住以便加以选择。按下分组按钮77将所选区域A，B和E分组。
接着，在属于同组的区域A，B和E当中，如图25所例示选择区域B，以便将成像单元20B选为参考相机。其结果是，使与针对成像单元20B，即，参考相机相同的拍摄参数反映在属于同组的其它成像单元20A和20E中。
将读取通过寄存器120设置成将该组中选为参考相机的成像单元20B指定成要读取的目标成像单元的值。其结果是，从成像单元20B，即，参考相机中读取像曝光值和白平衡值那样的拍摄参数。然后，将写入通过寄存器110设置成将该组中除了选为参考相机的成像单元20B之外的其余成像单元20A和20E指定成要写入的目标成像单元的值。其结果是，将从成像单元20B，即，参考相机中读取的拍摄参数集体写入其余成像单元20A和20E中。
更具体操作过程如下：
(1)在操作屏幕上选择与窗口侧的成像单元20A，20B和20E相联系的区域A，B和E。
(2)按下分组按钮77以便将所选区域A，B和E分组。其结果是，区域A，B和E的框架转变为绿色，因此形成第一组。其余区域C，D和F形成第二组。
(3)点击区域B。其结果是，区域B的框架转变为蓝色。与区域B相联系的成像单元20B用作绿色第一组的参考相机。
(4)点击区域D。其结果是，区域D的框架转变为蓝色。与区域D相联系的成像单元20D用作第二组的参考相机。
(5)当按下自动白平衡锁定按钮76时，将属于第一组的成像单元20A，20B和20E的白平衡锁定成成像单元20B，即，参考相机的调整值。进一步，将属于第二组的成像单元20C，20D和20F的白平衡锁定成成像单元20D，即，参考相机的调整值。
(6)当按下自动曝光锁定按钮74时，将属于第一组的成像单元20A，20B和20E的曝光值锁定成成像单元20B，即，参考相机的调整值。进一步，将属于第二组的成像单元20C，20D和20F的曝光值锁定成成像单元20D，即，参考相机的调整值。
(7)利用电影记录开始/停止按钮70或静止图像拍摄按钮72拍摄。
图26是描述冻结一些相机的情况的图形。图27例示了在那种情况下操作屏幕的例子。
如果某人194如图26所例示在全景图像拍摄期间到来，则冻结相机图像，使某人194不出现在图像中，暂时中止相机拍摄。在这个例子中，暂时中止成像单元20A和20B的拍摄，以便某人194不出现在捕获的图像中，冻结未示出某人194的图像。
如图27所例示，选择要冻结的所希望区域A和B。接着，按下分组按钮77以便将所选区域A和B分组。然后，将区域A或B选作参考相机，并按下相机冻结按钮75。这使得可以暂时停止与属于同组的区域A和B相联系的成像单元20A和20B，以及冻结没有人出现在其中的图像。
更具体操作过程如下：
(1)在操作屏幕上选择要冻结的所希望区域A和B。
(2)按下分组按钮77以便将所选区域A和B分组。其结果是，区域A和B的框架转变成绿色。
(3)点击区域A或B。其结果是，与所选区域相联系的成像单元用作参考相机。但是，实际上，这具有与指定要冻结的一组相机相同的效果。
(4)当没有人出现在图像中时，按下相机冻结按钮75。其结果是，冻结了在步骤(3)中指定的该组相机，因此使区域A和B冻结在示出没有人在其中的图像上。
(5)从这里向前，利用未冻结的其余成像单元20C到20F拍摄。
如上所述，在按照本实施例的多视图相机控制系统中，将写入数据的屏蔽寄存器和读取数据的屏蔽寄存器插在两个接口之间，一个被主处理器用于访问相机，另一个是相机模块接口。这提供了集体的和快速的相机控制，因此有助于容易的和有效的相机控制。多视图相机控制系统可以简单地通过在现有接口之间插入寄存器来实现。这省却了改变相机模块或处理器接口的需要，因此使控制系统易于设计。
[多步曝光拍摄]
图28是适用于进行多步曝光拍摄的全景电影流生成器和功能配置图。这里，示出了与多步曝光拍摄有关的组件，而为了方便起见未示出所有其它组件。显示在图28中的曝光设置部分400可以在参考图11所述的拍摄控制部分210中实现。显示在图28中的HDR合成部分420可以在参考图11所述的电影流多路复用部分230中实现。
曝光设置部分400在多个成像单元20A到20F的每一个中设置曝光值。更具体地说，曝光设置部分400在成像单元20A到20F的每一个中设置单独参考曝光值，并进一步在其中设置相对曝光值。相对曝光值以参考曝光值为中心，通过增加或减小参考曝光值获得。通过成像单元20A到20F的每一个的自动曝光(AE)机构可以将成像单元20A到20F的每一个的单独参考曝光值设置成最佳值。
曝光设置部分400可以使用参考图15所述的多视图相机控制系统集体地或有选择地在成像单元20A到20F的每一个中设置曝光值。
将成像单元20A到20F利用可变曝光值拍摄的低动态范围(LDR)捕获图像存储在帧缓冲器430A到430F中。帧缓冲器430A到430F的每一个是具有存储利用设置在成像单元20A到20F中的多个曝光值拍摄的图像的存储区的帧存储器。
HDR合成部分420从帧缓冲器430A到430F中读取成像单元20A到20F利用可变曝光值拍摄的低动态范围捕获图像，通过拼接处理合成具有最佳曝光值的捕获区域，并生成高动态范围(HDR)全景图像。应当注意到，如果最终输出格式是LDR全景图像，则HDR合成部分420通过让HDR合成图像经受色调映射处理，可以生成动态范围受到压缩的LDR全景图像。
HDR合成部分420提取相邻捕获图像之间的特征点，通过根据特征点将相邻捕获图像拼接在一起合成全景图像。应用于图像匹配的已知技术可以用于特征点提取处理。将HDR合成部分420生成的全景图像存储在全景图像存储部分410中。
图29(a)和29(b)是描述为了比较在多个成像单元中设置相同参考曝光值拍摄的捕获图像的图形。
图29(a)例示了利用以可变曝光值以参考曝光值为中心的方式以多个步长改变参考曝光值(在这种情况下为0)的成像单元20A支架拍摄获得的图像440A到446A。图像442A是利用参考曝光值EV＝0拍摄的图像的例子。图像443A，444A，445A和446A是通过将1，4，5和7加入参考曝光值EV＝0中分别拍摄的图像的例子。另一方面，图像441A和440A是通过从参考曝光值EV＝0中减去4和7分别拍摄的图像的例子。将1加入曝光值EV中使光量加倍，而从曝光值EV中减去1则使光量减半。
在图29(a)中，曝光值EV为-7的图像440A具有“过浓阴影”，因此导致信息完全缺失。曝光值EV为7的图像446A部分具有“过度加亮”。
图29(b)例示了利用以可变曝光值以参考曝光值为中心的方式以多个步长改变与在图29(a)的情况下相同的参考曝光值EV的其它成像单元20B支架拍摄获得的图像440B到446B。图像442B是利用参考曝光值EV＝0拍摄的图像的例子。图像443B，444B，445B和446B是通过将1，4，5和7加入参考曝光值EV＝0中分别拍摄的图像的例子。另一方面，图像441B和440B是通过从参考曝光值EV＝0中减去4和7分别拍摄的图像的例子。
曝光值EV分别为-7和-4的图像440B和441B具有“过浓阴影”，因此导致信息完全缺失。曝光值EV为7的图像446B部分具有“过度加亮”。
如上所述，在所有成像单元20A到20F中设置相同参考曝光值以及针对支架拍摄增加或减小参考曝光值导致在拍摄的图像中存在“过浓阴影”或“过度加亮”，因此导致图像的浪费。
对于多视图相机，适当曝光值显著地随相机的视场而变。为了在所有方向都达到适当曝光范围，以多个步长为拍摄改变曝光值的支架拍摄是有效的。但是，多视图相机的的视场中的亮度的动态范围显著地随相机角度而变。其结果是，对于支架拍摄，有必要在从最暗视场跨越到最亮视场的宽曝光范围中以多个步长设置所有相机的曝光值，因此导致更多的图像数据和更长的拍摄时间。进一步，对所有相机增加或减小相对于相同参考曝光值的曝光值取决于相机角度，导致具有“过浓阴影”或“过度加亮”的大量图像，导致许多图像的浪费。
由于这个原因，在按照本实施例的多步曝光拍摄中，在成像单元20A到20F的每一个中设置单独参考曝光值，以及针对支架拍摄，通过增加或减小单独参考曝光值，以多个步长改变成像单元20A到20F的每一个的曝光值。
图30(a)到30(c)是描述通过曝光设置部分400设置在成像单元20A到20F的每一个中的参考曝光值、和以使相对曝光值以参考曝光值为中心的方式以预定个步长改变参考曝光值获得的相对曝光值的图形。图30(a)例示了设置在成像单元20A中的参考曝光值EVa和通过以三个步长增加参考曝光值EVa和以三个步长减小参考曝光值EVa获得的相对曝光值。图30(b)例示了设置在成像单元20B中的参考曝光值EVb和通过以三个步长增加参考曝光值EVb和以三个步长减小参考曝光值EVb获得的相对曝光值。图30(c)例示了设置在成像单元20C中的参考曝光值EVc和通过以三个步长增加参考曝光值EVc和以三个步长减小参考曝光值EVc获得的相对曝光值。
分别设置在成像单元20A，20B和20C中的参考曝光值EVa，EVb和EVc是一般不同的成像单元20A，20B和20C的视场中的最佳曝光值。这里，在分别设置在成像单元20A和20B中的参考曝光值EVa和EVb之间和在分别设置在成像单元20B和20C中的参考曝光值EVb和EVc之间存在两个步长的差异。通过将3，2和1加入每一个与其相邻值存在两个步长的差异的参考曝光值EVa，EVb和EVc中和从其中减去1，2和3进行多步曝光拍摄。其结果是，对于三个成像单元20A，20B和20C，总共使用11个不同曝光值进行拍摄。
应该优先确定每个成像单元20的支架拍摄的步长的数量，以便具有相邻拍摄方向的成像单元20的曝光范围部分重叠。设计成这样是为了在HDR合成期间在相邻捕获图像之间实现曝光方面的关联性。
成像单元20A，20B和20C的每一个利用最佳参考曝光值和另外六个曝光值进行多步曝光拍摄，三个通过以三个步长增加参考曝光值获得，其它三个通过以三个步长减小参考曝光值获得。这防止了参考图29(a)和29(b)所述的“过浓阴影”和“过度加亮”出面在通过成像单元20A，20B和20C拍摄的图像中，因此消除了多步曝光拍摄中图像的浪费。进一步，与如迄今所作所有成像单元20A，20B和20C进行的11-步多步曝光拍摄相比，成像单元20A，20B和20C只利用包括参考曝光值的从+3到-3的七个步长进行支架拍摄，因此有助于显著缩短支架拍摄的时间。如上所述，本实施例对于成像单元20A到20F进行的支架拍摄，尽管只有少数的步长，但在HDR合成期间提供了明显较大的动态范围，因此允许无浪费的和有效的HDR全景图像合成。
图31是描述通过HDR合成部分420合成的全景图像的图形。显示在图31中的全景图像通过将成像单元20A到20F为了合成利用多个曝光值拍摄的图像的具有适当曝光值的捕获区域拼接在一起获得。例如，区域450是从对于成像单元20A的视场具有适当曝光值的由成像单元20A拍摄的捕获图像中提取的窗口外的场景。区域451是从对于成像单元20B的视场具有适当曝光值的由成像单元20B拍摄的捕获图像中提取的室内场景。
图32是描述按照本实施例进行多步曝光拍摄的步骤的流程图。
为成像单元20A到20F选择自动曝光(AE)和自动白平衡(AWB)以便着手利用成像单元20A到20F的每一个的最佳参考曝光值进行拍摄(S50)。
曝光设置部分400在成像单元20A到20F的每一个中设置以参考曝光值为中心的N个正和N个负相对曝光值(S52)。
使用成像单元20A到20F利用N个正和N个负相对曝光值进行支架拍摄(S54)。
HDR合成部分420将使用成像单元20A到20F通过支架拍摄获得的捕获图像的适当曝光区域拼接在一起，因此合成为高动态范围全景图像(S56)。
在上面给出的描述中，通过以给定数量的步长增加和减小参考曝光值进行多步曝光拍摄。将成像单元20A到20F通过多步曝光拍摄拍摄的捕获图像的适当曝光区域拼接一起，因此合成为高动态范围全景图像。作为一个修改例，可以从利用设置在成像单元20A到20F的每一个中的单独参考曝光值捕获的图像中合成伪高动态范围全景图像。下面将给出如何着手进行这种伪HDR合成的描述。
图33(a)到33(c)是描述HDR合成部分420用于进行伪HDR合成的方法的图形。
在伪HDR合成中，通过自动曝光控制和自动白平衡控制分别控制成像单元20A到20F的每一个，以便利用最佳曝光值拍摄单个图像。HDR合成部分420通过匹配拍摄方向彼此相邻的两个捕获图像之间的相应点合成HDR全景图像。此时，我们可以假设匹配点的亮度和颜色是相同的。进一步，通过自动曝光设置在成像单元20A到20F中的曝光值是已知的。因此，不用将捕获图像的每个像素的亮度和颜色信息舍成八个位地进行HDR合成。
更具体地说，假设由于三个成像单元20A，20B和20C之间的最佳曝光值的差异，成像单元20A拍摄的图像的八位亮度信息在显示在图33(a)中的亮度范围之内，成像单元20B拍摄的图像的八位亮度信息在显示在图33(b)中的亮度范围之内，以及成像单元20C拍摄的图像的八位亮度信息在显示在图33(c)中的亮度范围之内。
也就是说，在32-位高动态范围中，成像单元20B拍摄的图像的亮度在比成像单元20A拍摄的图像的亮度高3个位的范围中。进一步，成像单元20C拍摄的图像的亮度在比成像单元20B拍摄的图像的亮度高6个位的范围中。在这种情况下，成像单元20B拍摄的图像的像素相对于成像单元20A拍摄的图像的像素移动了3个位。成像单元20C拍摄的图像的像素相对于成像单元20A拍摄的图像的像素移动了9个位(3+6个位)。然后，在32-位范围中相加像素值。其结果是，可以获得大致17(8+3+6)-位的高动态范围像素值。
也可以通过依照成像单元20A到20F的每一个的最佳曝光值位移动色差信息，然后在32-位空间中相加像素值获取高动态范围色差信息。
[方位设置]
在上面给出的描述中，成像单元的拍摄方向未设置成特定方向。但是，如果将在前向的成像单元20A的拍摄方向设置成，例如，磁北，则拼接全景图像的中心面朝北。下面将给出适用于设置全景图像的方位的配置和为此进行的处理的描述。
图34是能够设置方位的全景电影流生成器200的功能配置图。下面将给出与显示在图11中的全景电影流生成器200不同的配置和操作的描述。
全景成像设备100的多视图成像部分10或主体部分30包含三轴磁强计252和三轴加速度传感器254。进一步，还可以包含三轴陀螺仪传感器。三轴磁强计252沿着三个轴检测地面磁场矢量。三轴加速度传感器254沿着三个轴检测全景成像设备100的加速度矢量。
理论上，只要在全景成像设备100中包含三轴陀螺仪(角速度)传感器、三轴加速度传感器、和三轴磁强计的至少一种，就可以通过沿着三个轴检测全景成像设备100的倾斜获取姿势信息。进一步，可以通过由三轴磁强计沿着三个轴检测地面磁场矢量获取方位信息。
将三轴磁强计252获取的方位信息供应给用户接口部分250。将三轴磁强计252、三轴加速度传感器254、和三轴陀螺仪传感器(如果包含的话)的至少一种获取的姿势信息供应给用户接口部分250。
用户接口部分250将在屏幕上显示全景成像设备100的多视图成像部分10拍摄的方位和全景成像设备100的姿势的指令供应给显示控制部分260。显示控制部分260以图形形式将有关拍摄方位和姿势的信息显示在操作/显示单元40上。进一步，用户接口部分250使，例如，指令出现在屏幕上。该指令提示用户调整多视图成像部分10的方向，以便使成像单元之一的拍摄方向是磁北。
图35(a)和35(b)和图36(a)和36(b)是描述适用于将在前向的成像单元20A的拍摄方向设置成磁北的用户界面的图形。
图35(a)是从该方位看过去的全景成像设备100的多视图成像部分10的示意图。适用于前向拍摄的成像单元20A处在操作/显示单元40的对侧上。在操作/显示单元40上显示引导，以提示用户调整多视图成像部分10的方向，以便将用作前相机的成像单元20A的拍摄方向设置成磁北。在图35(a)中用箭头指示三轴磁强计252测量的磁北。在成像单元20A的拍摄方向与磁北之间存在差异。
图35(b)是描述出现在操作/显示单元40上的屏幕的图形。六个成像单元20A到20F拍摄的图像通常分别显示在如图10(b)所示的操作/显示单元40的区域A到F中。但是，当选择与成像单元20A，即，前相机相联系的区域A时，如图35(b)所例示，只有成像单元20A拍摄的图像大尺寸地显示在操作/显示单元40上。
在显示成像单元20A拍摄的图像的区域A(标号42)的下面，通过罗盘的图标(标号44)显示三轴磁强计252测量的磁北。进一步，消息“将前相机的取向调整到磁北”出现在其下面(标号46)。当用户通过旋转全景成像设备100的主体部分30改变多视图成像部分10的取向时，成像单元20A的拍摄方向发生变化，因此改变了罗盘的磁北的取向。
用户依照显示的消息旋转全景成像设备100的主体部分30，直到用标号44表示的罗盘的磁北指向正上方，因此改变了成像单元20A的取向。
图36(a)和36(b)例示了成像单元20A，即，前相机的取向与三轴磁强计252测量的磁北对准时的状态。如图36(a)所例示，成像单元20A的取向与磁北对准。此时，罗盘的磁北指向正上方(标号44)，以及如图36(b)所例示，出现消息“好极了！”(标号46)。
如上所述，可以让用户设置全景成像设备100的主体部分30的取向，以便将成像单元20A，即，前相机的拍摄方向设置成磁北。其结果是，使拼接全景图像的中心与真北对准。通过将处在操作/显示单元40后侧的成像单元20A设置成前相机，以及将前相机的取向设置成磁北，使前相机的拍摄方向与全景图像的中心的方向之间的对应关系变得显而易见。应当注意到，全景成像设备100还包含三轴加速度传感器254。这使得可以不使用水准仪地检测多视图成像部分10的倾斜，以便校正多视图成像部分10以便在拼接处理期间是水平的。
在上面给出的描述中，将成像单元20A，即，前相机的拍摄方向设置成磁北。但是，可以将成像单元20A的拍摄方向设置成应该希望与全景图像的中心对准的任意角度。可替代地，可以将除了前相机之外的其它成像单元的拍摄方向设置成磁北或任意角度。
图37(a)和37(b)和图38(a)和38(b)是描述适用于将特定成像单元的拍摄方向设置成磁北的用户界面的图形。
假设三轴磁强计252测量的磁北处在在图37(a)中用箭头指示的方向上。这里，在成像单元20A到20F当中，成像单元20C处在与磁北最接近的方向上。
图37(b)例示了出现在操作/显示单元40上的屏幕。成像单元20A到20F拍摄的图像分别显示在区域A到F中(标号42)。因为成像单元20C处在与磁北最接近的方向上，所以罗盘显示在出现成像单元20C捕获的图像的区域C中，因此指示磁北的方向(标号44)。消息“将相机的取向调整到磁北”出现在区域A到F下面(标号46)。
用户依照显示的消息旋转全景成像设备100的主体部分30，直到用标号44表示的罗盘的磁北指向正上方，因此改变了成像单元20C的取向。
图38(a)和38(b)例示了成像单元20C的取向与三轴磁强计252测量的磁北对准时的状态。如图38(a)所例示，成像单元20C的取向与磁北对准。此时，罗盘的磁北指向正上方(标号44)，以及如图38(b)所例示，出现消息“好极了！”(标号46)。
如上所述，可以让用户设置全景成像设备100的主体部分30的取向，以便将特定成像单元的拍摄方向设置成磁北。取决于拍摄者的位置，可能难以将处在操作/显示单元40的对侧的成像单元20A的拍摄方向设置成磁北来拍摄。在这样的情况下，唯一必要的是将除了前相机之外的任何一台其它相机的拍摄方向设置成磁北。
因此，上面描述了本发明的实施例。本领域的普通技术人员应该明白，上面的实施例是例示性的，可以以各种方式修改这些组件和处理的组合，这样的修改例也在本发明的范围之内。
上面给出了作为多视图成像设备的一个例子，包括多视图成像部分10和主体部分30的全景成像设备100的描述。多视图成像部分10包括处在不同拍摄方向上的多个成像单元20A到20F。主体部分30包括操作/显示单元40。但是，多视图成像部分10的多个成像单元的至少一些可以处在相同方向上。尤其，如果多视图成像部分10包括处在相同方向的至少两个成像单元，以及如果这两个成像单元的视点的位置不同，则可以拍摄具有视差的图像。使用视差图像可以求出深度。其结果是，可以生成三维图像。如果视差图像是全景图像，则可以生成三维全景图像。这样的立体成像设备可以构成多视图成像设备的另一个例子，本领域的普通技术人员应该明白，上面实施例的各种特征组件和处理也可应用于这样的立体成像设备。
上述将整个天球全景图像取作全景图像的一个例子给出了本实施例的描述。但是，全景图像无需是整个天球全景图像。的确，全景图像可以是合成拍摄方向不同的多个相机拍摄的多个图像获得的图像。
应该注意到，本说明书中的“全景图像”不局限于狭义上的“全景图像”，即，风景或肖像图像、360°全显图像等，而是可以简单地指跨越宽广区域的图像。进一步，已经给出了在本实施例中生成像合成图像那样的全景图像的例子的描述。但是，输出的合成图像无需是所谓的全景图像。即使合成图像是任意尺寸的普通图像，也可应用本发明。可替代地，输出的合成图像可以是由具有不同分辨率的分层图像构成的图像。这样的分层图像可以这样形成，当放大图像的一个区域时，用较高分辨率的图像取代放大区域。
标号列表
10  多视图成像部分
12  相机外壳
14  紧固件
20A到20F  成像单元
30  主体部分
40  操作/显示单元
50  三脚架基座紧固孔
70  电影记录开始/停止按钮
74  静止图像拍摄按钮
75  相机冻结按钮
76  自动白平衡按钮
77  分组按钮
78  扩展控制按钮
80  三脚架
100  全景成像设备
200  全景电影流生成器
210  拍摄控制部分
220A到220F  帧存储器
230  电影流多路复用部分
232  运动检测部分
234  模式确定部分
236  控制信号生成部分
240  全景电影存储部分
242  全景拼接部分
246  切换部分
250  用户接口部分
252  三轴磁强计
254  三轴加速度传感器
260  显示控制部分
270  触摸面板控制部分
280  主处理器
290  辅助存储设备
300  总线接口/相机控制接口
310  通过屏蔽寄存器
320  控制数据通过逻辑
400  曝光设置部分
410  全景图像存储部分
420  HDR合成部分
430A到430F  帧缓冲器
工业可应用性
本发明可应用于适合捕获合成图像的技术。

Claims (9)

1.一种图像生成设备，包含：
多个帧存储器，适用于存储来自多个成像单元的捕获图像；以及
多路复用部分，适用于从该帧存储器中读取成像单元的捕获图像，并多路复用该捕获图像以生成图像流，
其中该多路复用部分包括
运动检测部分，适用于检测至少一个成像单元的捕获图像的运动；
模式确定部分，适用于至少依照该运动检测部分检测的运动量或该图像生成设备的功耗极限设置两种模式之一，一种模式使多个成像单元同时工作，另一种模式使多个成像单元断续工作；以及
控制信号生成部分，适用于将适用于依照该模式确定部分设置的模式控制从多个帧存储器中读取捕获图像的控制信号供应给该多个帧存储器。
2.如权利要求1所述的图像生成设备，进一步包含
拍摄控制部分，适用于控制多个成像单元的操作，
其中该拍摄控制部分将适用于依照该模式确定部分设置的模式使多个成像单元同时或断续工作的控制信号供应给多个成像单元。
3.如权利要求2所述的图像生成设备，
其中，即使通过模式确定部分设置了使多个成像单元断续工作的模式，该控制信号生成部分也将适用于在使多个成像单元同时工作的同时使多个帧存储器断续工作的控制信号供应给多个帧存储器。
4.如权利要求1到3的任何一项所述的图像生成设备，
其中，如果该运动检测部分检测的运动量大于等于给定阈值，则该模式确定部分设置使多个成像单元同时工作的模式，以及
如果该运动检测部分检测的运动量小于给定阈值，则该模式确定部分设置使多个成像单元断续工作的模式。
5.如权利要求4所述的图像生成设备，
其中，即使该运动检测部分检测的运动量大于等于给定阈值，但如果该图像生成设备未工作在功耗极限内，则该模式确定部分设置使多个成像单元断续工作的模式，以及
如果该运动检测部分检测的运动量大于等于给定阈值，以及如果该图像生成设备工作在功耗极限内，则该模式确定部分设置使多个成像单元同时工作的模式。
6.如权利要求1到3的任何一项所述的图像生成设备，
其中，如果该图像生成设备工作在功耗极限内，则该模式确定部分设置使多个成像单元同时工作的模式，以及
如果该图像生成设备未工作在功耗极限内，则该模式确定部分设置使多个成像单元断续工作的模式。
7.如权利要求1到3的任何一项所述的图像生成设备，
其中，如果该图像生成设备靠来自外部电源的电力工作，则该模式确定部分设置使多个成像单元同时工作的模式，以及
如果该图像生成设备靠来自内置可充电电池的电力工作，则该模式确定部分设置使多个成像单元断续工作的模式。
8.一种图像生成方法，包含：
将来自多个成像单元的捕获图像存储在多个帧存储器中的步骤；以及
从该帧存储器中读取成像单元的捕获图像，并多路复用该捕获图像以生成图像流的多路复用步骤，
其中，该多路复用步骤包括
检测至少一个成像单元的捕获图像的运动的运动检测步骤；
至少依照该运动检测步骤检测的运动量或功耗极限设置两种模式之一的模式确定步骤，一种模式使多个成像单元同时工作，另一种模式使多个成像单元断续工作；以及
将适用于依照该模式确定步骤设置的模式控制从多个帧存储器中读取捕获图像的控制信号供应给该多个帧存储器的控制信号生成步骤。
9.一种存储程序的计算机可读记录介质，该程序使计算机执行：
将来自多个成像单元的捕获图像存储在多个帧存储器中的步骤；以及
从该帧存储器中读取成像单元的捕获图像，并多路复用该捕获图像以生成图像流的多路复用步骤，
其中，该多路复用步骤包括
检测至少一个成像单元的捕获图像的运动的运动检测步骤；
至少依照该运动检测步骤检测的运动量或功耗极限设置两种模式之一的模式确定步骤，一种模式使多个成像单元同时工作，另一种模式使多个成像单元断续工作；以及
将适用于依照该模式确定步骤设置的模式控制从多个帧存储器中读取捕获图像的控制信号供应给该多个帧存储器的控制信号生成步骤。
CN201280073716.3A 2012-06-11 2012-06-11 图像生成设备以及图像生成方法 Active CN104350734B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/003798 WO2013186804A1 (ja) 2012-06-11 2012-06-11 画像生成装置および画像生成方法

Publications (2)

Publication Number Publication Date
CN104350734A true CN104350734A (zh) 2015-02-11
CN104350734B CN104350734B (zh) 2017-12-12

Family

ID=49757678

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280073716.3A Active CN104350734B (zh) 2012-06-11 2012-06-11 图像生成设备以及图像生成方法

Country Status (5)

Country Link
US (1) US9583133B2 (zh)
EP (1) EP2860963B1 (zh)
JP (1) JP5828039B2 (zh)
CN (1) CN104350734B (zh)
WO (1) WO2013186804A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107925728A (zh) * 2016-06-19 2018-04-17 核心光电有限公司 双孔径摄影机系统中的帧同步
CN108476290A (zh) * 2016-03-11 2018-08-31 三星电子株式会社 用于提供全景图像的电子装置及其控制方法
CN110505375A (zh) * 2018-05-17 2019-11-26 佳能株式会社 摄像设备、摄像设备的控制方法和计算机可读介质
US10645282B2 (en) 2016-03-11 2020-05-05 Samsung Electronics Co., Ltd. Electronic apparatus for providing panorama image and control method thereof

Families Citing this family (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013031155A1 (ja) * 2011-08-30 2013-03-07 パナソニック株式会社 撮像装置
CN105556944B (zh) 2012-11-28 2019-03-08 核心光电有限公司 多孔径成像系统和方法
CN104184961A (zh) * 2013-05-22 2014-12-03 辉达公司 用于生成全景视频的移动设备和系统
CN109194849B (zh) 2013-06-13 2021-01-15 核心光电有限公司 双孔径变焦数字摄影机
CN107748432A (zh) 2013-07-04 2018-03-02 核心光电有限公司 小型长焦透镜套件
CN109246339B (zh) 2013-08-01 2020-10-23 核心光电有限公司 用于对对象或场景进行成像的双孔径数字摄影机
CN105814880A (zh) * 2014-07-28 2016-07-27 联发科技股份有限公司 具有自适应全景图像处理器的便携式设备
US9392188B2 (en) 2014-08-10 2016-07-12 Corephotonics Ltd. Zoom dual-aperture camera with folded lens
DK3183687T3 (da) 2014-08-21 2020-09-14 Identiflight Int Llc System og fremgangsmåde til fugledetektering
US9521830B2 (en) 2014-08-21 2016-12-20 Identiflight, Llc Bird or bat detection and identification for wind turbine risk mitigation
US9208668B1 (en) * 2014-09-16 2015-12-08 Geovision Inc. Camera system with a full view monitoring function
CN112327464A (zh) 2015-01-03 2021-02-05 核心光电有限公司 微型长焦镜头模块和使用该镜头模块的相机
JP6361931B2 (ja) * 2015-04-23 2018-07-25 パナソニックＩｐマネジメント株式会社 画像処理装置及びこれを備えた撮像システムならびに画像処理方法
EP3492958B1 (en) 2015-04-02 2022-03-30 Corephotonics Ltd. Dual voice coil motor structure in a dual-optical module camera
ES2908652T3 (es) 2015-04-16 2022-05-03 Corephotonics Ltd Enfoque automático y estabilización de imagen óptica en una cámara compacta de plegado
EP3722860B1 (en) 2015-05-28 2023-04-19 Corephotonics Ltd. Bi-directional stiffness for optical image stabilization and auto-focus in a digital camera
CN107533272B (zh) 2015-06-24 2020-09-11 核心光电有限公司 折叠式镜头相机的低剖面三轴致动器
KR102143309B1 (ko) 2015-08-13 2020-08-11 코어포토닉스 리미티드 비디오 지원 및 스위칭/비스위칭 동적 제어 기능이 있는 듀얼-애퍼처 줌 카메라
WO2017037688A1 (en) 2015-09-06 2017-03-09 Corephotonics Ltd. Auto focus and optical image stabilization with roll compensation in a compact folded camera
KR102433623B1 (ko) 2015-12-29 2022-08-18 코어포토닉스 리미티드 자동 조정가능 텔레 시야(fov)를 갖는 듀얼-애퍼처 줌 디지털 카메라
EP3398016A4 (en) * 2016-01-03 2019-08-28 HumanEyes Technologies Ltd ADAPTIVE IMAGE ASSEMBLY DURING THE PROCESS OF CREATING A PANORAMIC IMAGE
AU2017245132A1 (en) * 2016-03-29 2018-10-11 Bossa Nova Robotics Ip, Inc. System and method for locating, identifying and counting ltems
CA3018877A1 (en) 2016-04-06 2017-10-12 Marc Allan Harris Wearable personal security devices and systems
EP3758356B1 (en) 2016-05-30 2021-10-20 Corephotonics Ltd. Actuator
US10706518B2 (en) 2016-07-07 2020-07-07 Corephotonics Ltd. Dual camera system with improved video smooth transition by image blending
KR102657464B1 (ko) 2016-07-07 2024-04-12 코어포토닉스 리미티드 폴디드 옵틱용 선형 볼 가이드 보이스 코일 모터
JP6606480B2 (ja) * 2016-08-12 2019-11-13 日本電信電話株式会社 パノラマ映像情報生成装置、これに用いるパノラマ映像情報生成方法、およびパノラマ映像情報生成用プログラム
KR102600504B1 (ko) * 2016-09-07 2023-11-10 삼성전자주식회사 전자 장치 및 그 제어 방법
US10325391B2 (en) * 2016-11-21 2019-06-18 Qualcomm Incorporated Oriented image stitching for spherical image content
WO2018122650A1 (en) 2016-12-28 2018-07-05 Corephotonics Ltd. Folded camera structure with an extended light-folding-element scanning range
US11470249B1 (en) * 2017-01-02 2022-10-11 Gn Audio A/S Panoramic camera device
JP7057364B2 (ja) 2017-01-12 2022-04-19 コアフォトニクス リミテッド コンパクト屈曲式カメラ
JP6852411B2 (ja) * 2017-01-19 2021-03-31 ソニー株式会社 映像信号処理装置、映像信号処理方法およびプログラム
US10957047B2 (en) * 2017-02-15 2021-03-23 Panasonic Intellectual Property Management Co., Ltd. Image processing device and image processing method
JP6371989B1 (ja) * 2017-02-15 2018-08-15 パナソニックＩｐマネジメント株式会社 画像処理装置および画像処理方法
CN115857135A (zh) 2017-02-23 2023-03-28 核心光电有限公司 折叠式摄影机透镜设计
DE102017104777A1 (de) 2017-03-07 2018-09-13 Rheinmetall Defence Electronics Gmbh Kamerakranz zur Erstellung eines Panoramabildes
KR102530535B1 (ko) 2017-03-15 2023-05-08 코어포토닉스 리미티드 파노라마 스캐닝 범위를 갖는 카메라
JP7016722B2 (ja) * 2017-03-30 2022-02-07 キヤノン株式会社 撮像装置、および撮像制御プログラム
CN108696694B (zh) * 2017-03-31 2023-04-07 钰立微电子股份有限公司 有关深度信息/全景图像的图像装置及其相关图像系统
US10587800B2 (en) * 2017-04-10 2020-03-10 Intel Corporation Technology to encode 360 degree video content
JP6331178B1 (ja) * 2017-05-12 2018-05-30 パナソニックＩｐマネジメント株式会社 画像処理装置、及び、画像処理方法
US10904512B2 (en) 2017-09-06 2021-01-26 Corephotonics Ltd. Combined stereoscopic and phase detection depth mapping in a dual aperture camera
US10951834B2 (en) 2017-10-03 2021-03-16 Corephotonics Ltd. Synthetically enlarged camera aperture
WO2019102313A1 (en) 2017-11-23 2019-05-31 Corephotonics Ltd. Compact folded camera structure
WO2019150188A1 (en) 2018-02-05 2019-08-08 Corephotonics Ltd. Reduced height penalty for folded camera
CN113568251B (zh) 2018-02-12 2022-08-30 核心光电有限公司 数字摄像机及用于提供聚焦及补偿摄像机倾斜的方法
US10694168B2 (en) 2018-04-22 2020-06-23 Corephotonics Ltd. System and method for mitigating or preventing eye damage from structured light IR/NIR projector systems
KR20230098686A (ko) 2018-04-23 2023-07-04 코어포토닉스 리미티드 연장된 2 자유도 회전 범위를 갖는 광학 경로 폴딩 요소
JP7271296B2 (ja) * 2018-05-17 2023-05-11 キヤノン株式会社 撮像装置、撮像装置の制御方法およびプログラム
KR102289149B1 (ko) 2018-08-04 2021-08-12 코어포토닉스 리미티드 카메라 위의 전환 가능한 연속 디스플레이 정보 시스템
US11635596B2 (en) 2018-08-22 2023-04-25 Corephotonics Ltd. Two-state zoom folded camera
KR102242437B1 (ko) 2019-01-07 2021-04-20 코어포토닉스 리미티드 슬라이딩 조인트를 갖는 회전 메커니즘
CN113891059B (zh) 2019-03-09 2024-02-13 核心光电有限公司 对双摄像机进行立体校准的方法
CN111917904B (zh) * 2019-05-10 2022-05-06 深圳富泰宏精密工业有限公司 控制方法及电子装置
KR102515482B1 (ko) 2019-07-31 2023-03-29 코어포토닉스 리미티드 카메라 패닝 또는 모션에서 배경 블러링을 생성하는 시스템 및 방법
WO2021034681A1 (en) 2019-08-16 2021-02-25 Bossa Nova Robotics Ip, Inc. Systems and methods for image capture and shelf content detection
US11012601B1 (en) 2019-09-23 2021-05-18 Amazon Technologies, Inc. Dual camera module systems
US11659135B2 (en) 2019-10-30 2023-05-23 Corephotonics Ltd. Slow or fast motion video using depth information
US11949976B2 (en) 2019-12-09 2024-04-02 Corephotonics Ltd. Systems and methods for obtaining a smart panoramic image
US11770618B2 (en) 2019-12-09 2023-09-26 Corephotonics Ltd. Systems and methods for obtaining a smart panoramic image
EP4097773A4 (en) 2020-04-26 2023-11-01 Corephotonics Ltd. TEMPERATURE CONTROL FOR HALL BAR SENSOR CORRECTION
CN117372250A (zh) 2020-05-17 2024-01-09 核心光电有限公司 全视场参考图像的图像拼接
CN117518313A (zh) 2020-05-30 2024-02-06 核心光电有限公司 用于获得超微距图像的系统
US11910089B2 (en) 2020-07-15 2024-02-20 Corephotonics Lid. Point of view aberrations correction in a scanning folded camera
US11637977B2 (en) 2020-07-15 2023-04-25 Corephotonics Ltd. Image sensors and sensing methods to obtain time-of-flight and phase detection information
CN114270145B (zh) 2020-07-31 2024-05-17 核心光电有限公司 用于大行程线性位置感测的霍尔传感器-磁体几何结构
KR102598070B1 (ko) 2020-08-12 2023-11-02 코어포토닉스 리미티드 스캐닝 폴디드 카메라의 광학 이미지 안정화
US20220109822A1 (en) * 2020-10-02 2022-04-07 Facebook Technologies, Llc Multi-sensor camera systems, devices, and methods for providing image pan, tilt, and zoom functionality
KR20220128800A (ko) * 2021-03-15 2022-09-22 에스케이하이닉스 주식회사 파노라마 이미지 생성 장치 및 방법
US11635167B1 (en) 2021-09-09 2023-04-25 Amazon Technologies, Inc. Quick-connect camera mounts with multiple degrees of freedom

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006033061A2 (en) * 2004-09-24 2006-03-30 Koninklijke Philips Electronics N.V. System and method for the production of composite images comprising or using one or more cameras for providing overlapping images
GB2452352A (en) * 2007-08-30 2009-03-04 Samsung Techwin Co Ltd Motion triggered power saving mode for a camera display
WO2011010747A1 (en) * 2009-07-24 2011-01-27 Ricoh Company, Ltd. Imaging apparatus and imaging method
US20120057051A1 (en) * 2010-09-03 2012-03-08 Olympus Imaging Corp. Imaging apparatus, imaging method and computer-readable recording medium

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2515101B2 (ja) * 1986-06-27 1996-07-10 ヤマハ株式会社 映像および音響空間記録再生方法
US5396284A (en) * 1993-08-20 1995-03-07 Burle Technologies, Inc. Motion detection system
US6141034A (en) * 1995-12-15 2000-10-31 Immersive Media Co. Immersive imaging method and apparatus
US5963255A (en) * 1996-04-16 1999-10-05 Apple Computer, Inc. System and method for managing utilization of a battery
JPH11168754A (ja) * 1997-12-03 1999-06-22 Mr System Kenkyusho:Kk 画像の記録方法、画像データベースシステム、画像記録装置及びコンピュータプログラムの記憶媒体
CN1984300B (zh) 1998-05-05 2012-05-30 汤姆森特许公司 运动图像专家组编码信号的特技播放再现
US6323858B1 (en) * 1998-05-13 2001-11-27 Imove Inc. System for digitally capturing and recording panoramic movies
US20030025599A1 (en) * 2001-05-11 2003-02-06 Monroe David A. Method and apparatus for collecting, sending, archiving and retrieving motion video and still images and notification of detected events
US20040068583A1 (en) * 2002-10-08 2004-04-08 Monroe David A. Enhanced apparatus and method for collecting, distributing and archiving high resolution images
US20030133008A1 (en) * 1999-02-02 2003-07-17 Stanley W. Stephenson Wearable panoramic imager
US20040075738A1 (en) * 1999-05-12 2004-04-22 Sean Burke Spherical surveillance system architecture
US6573912B1 (en) * 2000-11-07 2003-06-03 Zaxel Systems, Inc. Internet system for virtual telepresence
JP2002258740A (ja) * 2001-03-02 2002-09-11 Mixed Reality Systems Laboratory Inc 画像記録装置及び画像再生装置とそれらの方法
JP3432212B2 (ja) * 2001-03-07 2003-08-04 キヤノン株式会社 画像処理装置及び方法
US6831699B2 (en) * 2001-07-11 2004-12-14 Chang Industry, Inc. Deployable monitoring device having self-righting housing and associated method
US7110021B2 (en) * 2002-05-31 2006-09-19 Matsushita Electric Industrial Co., Ltd. Vehicle surroundings monitoring device, and image production method/program
US7643055B2 (en) * 2003-04-25 2010-01-05 Aptina Imaging Corporation Motion detecting camera system
US6809887B1 (en) * 2003-06-13 2004-10-26 Vision Technologies, Inc Apparatus and method for acquiring uniform-resolution panoramic images
US7680192B2 (en) * 2003-07-14 2010-03-16 Arecont Vision, Llc. Multi-sensor panoramic network camera
JP4075748B2 (ja) * 2003-09-11 2008-04-16 松下電器産業株式会社 画像記録装置
WO2005027068A1 (en) * 2003-09-12 2005-03-24 Canon Kabushiki Kaisha Streaming non-continuous video data
JP2005157123A (ja) * 2003-11-27 2005-06-16 Dainippon Printing Co Ltd 有機ｅｌ表示装置
US20050275510A1 (en) * 2004-06-10 2005-12-15 Shih-Hsiung Li Vehicular anti-theft system capable of supplying images related to a vehicle status to an authorized driver
US20060072014A1 (en) * 2004-08-02 2006-04-06 Geng Z J Smart optical sensor (SOS) hardware and software platform
US7720353B1 (en) * 2005-06-21 2010-05-18 Hewlett-Packard Development Company, L.P. Parallel communication streams from a multimedia system
US7834910B2 (en) * 2006-03-01 2010-11-16 David M. DeLorme Method and apparatus for panoramic imaging
US7942314B1 (en) * 2006-07-07 2011-05-17 Diebold, Incoporated Automated banking machine system and monitoring method
US20090290848A1 (en) * 2007-01-11 2009-11-26 Michael James Brown Method and System for Generating a Replay Video
US20080204556A1 (en) * 2007-02-23 2008-08-28 De Miranda Federico Thoth Jorg Vehicle camera security system
JP5132249B2 (ja) * 2007-10-23 2013-01-30 アルパイン株式会社 車載用撮像装置
US8106924B2 (en) * 2008-07-31 2012-01-31 Stmicroelectronics S.R.L. Method and system for video rendering, computer program product therefor
JP2010232908A (ja) * 2009-03-26 2010-10-14 Fujifilm Corp 全方位撮像装置及びその駆動制御方法
JP5464955B2 (ja) 2009-09-29 2014-04-09 株式会社ソニー・コンピュータエンタテインメント パノラマ画像表示装置
US20150109446A1 (en) * 2011-07-12 2015-04-23 Nissan Motor Co., Ltd. Vehicle monitoring device, vehicle monitoring system, terminal device, and vehicle monitoring method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006033061A2 (en) * 2004-09-24 2006-03-30 Koninklijke Philips Electronics N.V. System and method for the production of composite images comprising or using one or more cameras for providing overlapping images
GB2452352A (en) * 2007-08-30 2009-03-04 Samsung Techwin Co Ltd Motion triggered power saving mode for a camera display
WO2011010747A1 (en) * 2009-07-24 2011-01-27 Ricoh Company, Ltd. Imaging apparatus and imaging method
US20120057051A1 (en) * 2010-09-03 2012-03-08 Olympus Imaging Corp. Imaging apparatus, imaging method and computer-readable recording medium

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108476290A (zh) * 2016-03-11 2018-08-31 三星电子株式会社 用于提供全景图像的电子装置及其控制方法
US10645282B2 (en) 2016-03-11 2020-05-05 Samsung Electronics Co., Ltd. Electronic apparatus for providing panorama image and control method thereof
CN107925728A (zh) * 2016-06-19 2018-04-17 核心光电有限公司 双孔径摄影机系统中的帧同步
CN112217977A (zh) * 2016-06-19 2021-01-12 核心光电有限公司 双孔径摄影机系统中的帧同步
CN110505375A (zh) * 2018-05-17 2019-11-26 佳能株式会社 摄像设备、摄像设备的控制方法和计算机可读介质
CN110505375B (zh) * 2018-05-17 2021-07-30 佳能株式会社 摄像设备、摄像设备的控制方法和计算机可读介质
US11128764B2 (en) 2018-05-17 2021-09-21 Canon Kabushiki Kaisha Imaging apparatus, control method, and non-transitory computer readable medium

Also Published As

Publication number Publication date
JP5828039B2 (ja) 2015-12-02
CN104350734B (zh) 2017-12-12
JPWO2013186804A1 (ja) 2016-02-01
EP2860963B1 (en) 2019-05-22
WO2013186804A1 (ja) 2013-12-19
EP2860963A1 (en) 2015-04-15
EP2860963A4 (en) 2016-01-27
US20150162048A1 (en) 2015-06-11
US9583133B2 (en) 2017-02-28

Similar Documents

Publication Publication Date Title
CN104365081B (zh) 图像生成设备以及图像生成方法
CN104350734B (zh) 图像生成设备以及图像生成方法
CN104335569B (zh) 图像生成设备以及图像生成方法
JP6151809B2 (ja) 画像撮像装置および画像撮像方法
CN102761702B (zh) 用于移动通信设备中的图像重叠的方法以及成像系统
CN202696756U (zh) 移动终端的拍摄装置以及移动终端
CN108476293B (zh) 多功能相机及其控制方法、穿戴设备、云台、飞行器
US20140204234A1 (en) Photographing unit, cooperative photographing method, and recording medium having recorded program
JP7135299B2 (ja) 画像処理装置、表示装置、画像処理方法、プログラム
CN106716985A (zh) 摄像控制装置、摄像控制方法、相机系统及程序
JP2013504239A (ja) 携帯型広角映像記録システム
JP2003324649A (ja) 通信機能付電子カメラおよびその電子カメラシステムにおける撮影方法
JP2022128489A (ja) 撮像装置
WO2013186805A1 (ja) 画像撮像装置および画像撮像方法
KR102477993B1 (ko) 표시 제어장치, 촬상 장치, 제어 방법 및 컴퓨터 판독 가능한 매체
US20220385882A1 (en) Information processing apparatus, control method, and non-transitory computer readable medium
US10051192B1 (en) System and apparatus for adjusting luminance levels of multiple channels of panoramic video signals
CN112887663A (zh) 图像显示方法、图像通信系统、摄影装置、以及存储介质
JP2024017224A (ja) 情報処理装置、入出力装置、情報処理システム、情報処理方法、入出力方法、およびプログラム
JP2022137136A (ja) 表示装置
JP2020016883A (ja) 撮像装置
JP2018011310A (ja) 撮影機器、連携撮影方法及び連携撮影プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant