CN104335569B - 图像生成设备以及图像生成方法 - Google Patents

图像生成设备以及图像生成方法 Download PDF

Info

Publication number
CN104335569B
CN104335569B CN201280073714.4A CN201280073714A CN104335569B CN 104335569 B CN104335569 B CN 104335569B CN 201280073714 A CN201280073714 A CN 201280073714A CN 104335569 B CN104335569 B CN 104335569B
Authority
CN
China
Prior art keywords
imaging unit
exposure
imaging
exposure value
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280073714.4A
Other languages
English (en)
Other versions
CN104335569A (zh
Inventor
平田真
平田真一
古村京子
大泽洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Publication of CN104335569A publication Critical patent/CN104335569A/zh
Application granted granted Critical
Publication of CN104335569B publication Critical patent/CN104335569B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/002—Special television systems not provided for by H04N7/007 - H04N7/18
    • H04N7/005—Special television systems not provided for by H04N7/007 - H04N7/18 using at least one opto-electrical conversion device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals

Abstract

多透镜成像单元(10)包括多个成像单元(20A‑20F)。曝光设置单元(400)分别为多个成像单元(20A‑20F)的每一个设置曝光值。曝光设置单元(400)为多个成像单元(20A‑20F)的每一个设置单独参考曝光值、和通过以参考曝光值为中心按规定数量的步长改变曝光值获得的相对曝光值。全景图像存储单元(410)存储具有不同曝光值的捕获图像，所述捕获图像由具有曝光设置单元(400)设置的曝光值的成像单元(20A‑20F)的每一个捕获。高动态范围(HDR)合成单元(420)合成具有不同曝光值的捕获图像，以生成具有调整后的动态范围的捕获图像。

Description

图像生成设备以及图像生成方法
技术领域
本发明涉及图像生成设备以及图像生成方法，尤其涉及捕获复合图像的设备和方法。
背景技术
随着数字相机和数字摄像机普及起来，有更多的机会将捕获的静止图像和电影存储在计算机中以便观看和编辑或显示在游戏控制台和电视(TV)机的屏幕上。进一步，将捕获的电影上载到互联网上的张贴网站上与其他用户共享也流行起来。
一些数字相机能够捕获全景图像，使得可以以便捷方式捕获具有宽视角的全景图像。通过将用数字相机沿着不同拍摄方向拍摄的多个图像拼接在一起生成全景图像的软件工具是常用的。
进一步，全景拍摄模式或全景图像合成应用可用在像装有相机的移动电话那样的一些移动设备中，使得将通过将移动设备倾斜成不同角度拍摄的图像自动合成为全景图像。
引用列表
专利文献
PTL1：JP 2011-76249A
发明内容
技术问题
可用在相机和装有相机的移动设备上的全景拍摄模式会因为一边改变相机或移动设备的拍摄方向一边拍摄图像而造成由位置偏差引起的大的误差。进一步，为了合成为全景图像，在不同拍摄方向上一个接着一个地拍摄静止图像，因此导致在不同拍摄方向上拍摄的多个静止图像之间的时滞。因此，尽管可以合成全景静止图像，但理论上难以拍摄全景电影。由于这个原因，采取使用包含多台相机的多视图相机同时拍摄全向图像，然后将这些图像合成为全景照片的方法。
全景图像是整个天球图像。因此，当在室外拍摄全景图像时，太阳或路灯会出现在图像中，导致明亮和黑暗区域之间的较大差异以及明显较大的动态范围。因此，当针对特定对象调整曝光地拍摄全景图像时，可能在明亮区域中出现“过度加亮”，而在黑暗区域中可能出现“过浓阴影”。“过度加亮”是暴露在高强度光中的区域变成全白的问题。“过浓阴影”是暴露在几乎无光中的区域变成全黑的问题。
在普通拍照中，以适当曝光拍摄被摄物，以防止过度加亮或过浓阴影，或加以调整以保证没有强光有机会进入视场中。在在所有方向进行拍摄的全景图像拍摄中，不能对特定被摄物确定适当曝光。由于这个原因，当生成全景图像时，需要，例如，利用不同曝光值拍摄多张低动态范围照片，即，多步曝光图像，并合成这些图像以生成没有过度加亮或过浓阴影的高动态范围图像的高动态范围合成技术。
为了通过使用全向多视图照相机拍摄多步曝光图像将多台照相机捕获的图像合成成高动态范围图像，在所有照相机的相同曝光设置下，以多个步长为拍摄改变曝光值已经十分常见。但是，在全向多视图照相机的情况下，视场的亮度的动态范围从一个照相机角度到另一个照相机角度显著不同。其结果是，通过根据曝光的步长的数量在所有照相机中设置曝光值进行多步曝光拍摄(分级(bracket)拍摄)。曝光的步长的数量从最黑暗和最明亮视场中确定。取决于照相机角度，这导致许多拍摄图像存在“过度加亮”或“过浓阴影”。存在“过度加亮”或“过浓阴影”是冗余图像，因此导致捕获图像数据的数量增加以及使分级拍摄所需的时间延长。
本发明就是鉴于上述情况而作出的，本发明的目的是提供允许高效地生成无过度加亮和过浓阴影的全景图像的技术。
问题的解决方案
为了解决上述问题，按照本发明的一种方式的图像捕获设备包括多视图成像部分、曝光设置部分、存储部分、和合成部分。该多视图成像部分包括多个成像单元。该曝光设置部分分别在多个成像单元的每一个中设置曝光值。该存储部分存储由该曝光设置部分已经设置了曝光值的成像单元捕获的具有不同曝光值的图像。该合成部分通过合成具有不同曝光值的捕获图像生成具有调整后的动态范围的捕获图像。
本发明的另一种方式是图像捕获方法。该图像捕获方法包括曝光设置步骤和合成步骤。该曝光设置步骤分别在多个成像单元的每一个中设置曝光值。该合成步骤通过从存储由该曝光设置步骤已经设置了曝光值的成像单元捕获的具有不同曝光值的捕获图像的存储器中读取具有不同曝光值的捕获图像，并合成图像，生成具有调整后的动态范围的捕获图像。
应当注意到，上述组件的任何组合和本发明的表达在“方法”、“设备”、“系统”、“计算机程序”、“数据结构”、“记录介质”等之间的任何转换也可有效地作为本发明的方式。
本发明的有利效果
本发明为易于使用多视图相机生成合成图像创造了条件。
附图说明
图1是按照一个实施例的全景成像设备的透视图；
图2是描述显示在图1中的全景成像设备的多视图成像部分的侧面成像单元的视角和操作/显示单元的安装位置的图形；
图3是描述显示在图1中的多视图成像部分的内部结构的图形；
图4(a)到4(c)是描述显示在图3中的安装在紧固件上的六个成像单元之间的位置关系的图形；
图5是例示六个成像单元紧固在上面的紧固件和主体部分的中心轴的图形；
图6(a)和6(b)是描述可相互拆开多视图成像部分和主体部分的配置的图形；
图7是例示在多视图成像部分的底面上也配备了成像单元的配置的图形；
图8(a)到8(d)是描述配备在紧固件的侧面之一上的成像单元的视角与配备在紧固件的顶面上的成像单元的视角之间的关系的图形；
图9是以从上面看过去的全景成像设备的多视图成像部分的顶视图的形式例示配备在紧固件的侧面上的五个侧面成像单元的视场之间的重叠的图形；
图10(a)和10(b)是描述显示在操作/显示单元上的操作屏幕的图形；
图11是在主体部分的主电路中实现的全景电影流生成器的功能配置图；
图12例示了与全景电影流生成器管理的电影流切换和记录控制有关的配置；
图13是描述全景电影流生成器管理的电影流切换和记录控制的步骤的流程图；
图14(a)和14(b)是描述通过电影流切换和记录控制生成的全景电影流的数据结构的图形；
图15是适用于有选择地控制多视图相机的控制系统的配置图；
图16是描述显示在图15中的多视图相机控制系统的功能配置的图形；
图17(a)是描述显示在图16中的多视图相机控制系统进行的写入处理的流程图，以及图17(b)是描述显示在图16中的多视图相机控制系统进行的读取处理的流程图；
图18是描述实现显示在图16中的多视图相机控制系统的例子的图形；
图19是描述实现显示在图16中的多视图相机控制系统的另一个例子的图形；
图20(a)和20(b)是描述显示在操作/显示单元上的操作屏幕的图形；
图21是描述通过指定参考相机集体设置成像单元的情况的图形；
图22是描述通过指定参考相机集体设置成像单元时操作屏幕的例子的图形；
图23是描述通过窗口从室内拍摄室外图像的情况的图形；
图24是描述通过窗口从室内拍摄室外图像时操作屏幕的例子的图形；
图25是描述通过窗口从室内拍摄室外图像时操作屏幕的例子的图形；
图26是描述冻结一些相机的情况的图形；
图27是例示冻结一些相机时操作屏幕的例子的图形；
图28是适用于进行多步曝光拍摄的全景电影流生成器和功能配置图；
图29(a)和29(b)是描述为了比较在多个成像单元中设置相同参考曝光值拍摄的捕获图像的图形；
图30(a)到30(c)是描述通过显示在图28中的曝光设置部分设置在成像单元中的参考曝光值、和以使可变曝光值以参考曝光值为中心的方式以多个步长改变参考曝光值获得的可变曝光值的图形；
图31是描述通过显示在图28中的HDR合成部分合成的全景图像的图形；
图32是描述进行多步曝光拍摄的步骤的流程图；
图33(a)到33(c)是描述显示在图28中的HDR合成部分用于继续进行伪HDR合成的方法的图形；
图34是能够调整方位的全景电影流生成器的功能配置图；
图35(a)和35(b)是描述将在前向的成像单元的拍摄方向设置成磁北的用户界面的图形；
图36(a)和36(b)是描述将在前向的成像单元的拍摄方向设置成磁北的用户界面的图形；
图37(a)和37(b)是描述将特定成像单元的拍摄方向设置成磁北的用户界面的图形；以及
图38(a)和38(b)是描述将特定成像单元的拍摄方向设置成磁北的用户界面的图形。
具体实施方式
[全景成像设备的配置]
图1是按照一个实施例的全景成像设备100的透视图。全景成像设备100包括多视图成像部分10和主体部分30。在本实施例中，多视图成像部分10和主体部分30两者都是圆柱形状，使它们的中心轴相互对准地连接在一起。
多视图成像部分10被圆柱形相机外壳12盖住。多个成像单元20A到20F(当统指时，下文称为成像单元20)包含在相机外壳12中。成像单元20A到20F的每一个包括像透镜和成像元件那样拍摄所需的组件。在本实施例中，等角地将五个成像单元20A到20E(下文也称为“侧面成像单元”)安排成使它们的透镜位于圆柱形相机外壳12的周围上。将单个成像单元20F(下文也称为“顶部成像单元”)安排成使它的透镜位于相机外壳12的顶面上。
主体部分30包括操作/显示单元40、电池、主电路、和外部接口。操作/显示单元40配备在从圆柱形主体部分30的外围向内凹进的位置上。多视图成像部分10的成像单元20A到20F捕获的电影数据经由串行接口或USB(通用串行总线)接口发送给主体部分30的主电路。主电路实现通过多路复用成像单元20A到20F捕获的电影帧生成全景电影流的功能。主电路包括用于连接像USB存储器那样的外部记录设备的外部接口。经由外部接口将生成的全景电影流记录到外部记录设备中。
操作/显示单元40是带有触摸面板的显示器。操作/显示单元40将多视图成像部分10的成像单元20A到20F之一捕获的每个图像显示在它的显示器上。进一步，操作/显示单元40可以将合成多个成像单元20A到20F捕获的多个图像获得的全景图像显示在它的显示器上。更进一步，操作/显示单元40可以将操作菜单显示在它的显示器上，以便用户可以一边观看显示屏一边直接触摸触摸面板对显示屏作出操作输入。
图2是描述全景成像设备100的多视图成像部分10的侧面成像单元20A的视角和操作/显示单元40的安装位置的图形。侧面成像单元20A拍摄的视场的扩展通过如图2所例示的侧面成像单元20A的视角θ指示。拍摄者坐在三脚架80的前面，从侧面成像单元20A的下面伸出他或她的手，因此操作出现在操作/显示单元40上的操作菜单。操作/显示单元40配备在圆柱形主体部分30的凹进区中。因此，即使通过触摸触摸屏操作屏幕操作菜单，拍摄者也可以触摸侧面成像单元20A的视场之外的触摸屏。这样就防止了拍摄者的手指不经意出现在图像中。
进一步，因为操作/显示单元40配备在圆柱形主体部分30的凹进区中，所以可以防止从操作/显示单元40发出的照射光出现在任何成像单元20A到20F中。为了将出现在图像中的来自操作单元40的照射光的影响降低到给定水平或更低，要设计配备操作/显示单元40的凹处的深度和凹进区中的操作/显示单元40的倾角。
图3是描述多视图成像部分10的内部结构的图形。多个成像单元20A到20F被紧固在多视图成像部分10的相机外壳12内部的紧固件14上。如果多个成像单元20A到20F被紧固在不同紧固件上，则由于，例如，热膨胀引起的紧固件的变形，位置位移将从多个成像单元20A到20F的一个成像单元到另一个成像单元而不同。如果多个成像单元20A到20F像本实施例那样被紧固在单个紧固件14上，则紧固件14由于，例如，热膨胀的特性变化对成像单元20A到20F造成的影响是恒定的，因此有助于提高多个成像单元20A到20F之间的位置精度。
在本实施例中，紧固件14具有正五棱柱的形状，五个侧面成像单元20A，20B，20C，20D和20E的每一个配备在五棱柱的侧面之一上，顶部成像单元20F配备在五棱柱的顶面上。尽管在本实施例中具有五棱柱的形状，但紧固件14可以具有其它多棱柱的形状，在多棱柱的每个侧面上配备一个成像单元。
一般说来，被摄物水平360°地处在全景图像中，往往头上是天空，脚下是大地。由于这个原因，如果像本实施例那样将成像单元配备在多棱柱的外周面上，以及如果将一个成像单元配备在多棱柱的顶面上，则通过沿着拍摄者的水平方向等角地改变视线的方向，可以拍摄多个图像。进一步，等距地安排多个成像单元。这使得易于进行通过将从成像单元获得的图像数据拼接在一起生成全景图像所需的图像合成。更进一步，与在正十二面体的每个面上都有一个成像单元(总共12个成像单元)的传统多视图相机不同，本实施例优于传统多视图相机之处在于可以使用较少成像单元捕获与合成全景图像所需一样多的图像。
图4(a)到4(c)是描述显示在图3中的安装在紧固件14上的六个成像单元20A到20F之间的位置关系的图形。图4(a)是从紧固件14的中心轴的方向看过去(从显示在图3中的z轴方向看过去)的顶视图。图4(b)是从与成像单元20A附在上面的紧固件14的棱柱的侧面之一垂直的方向看过去(从显示在图3中的x轴方向看过去)的侧视图。图4(c)是从与显示在图3中的x和z轴方向垂直的显示在图3中的y轴方向看过去的侧视图。
如图4(a)的顶视图所例示，五个侧面成像单元20A到20E以在水平面上等圆周角(72°)地形成半径为L的圆形的方式排列在形状为五棱柱的紧固件14的周围。侧面成像单元20A到20E每一个的拍摄方向是圆形的径向。如侧视图4(b)和4(c)所例示，配备在紧固件14的顶面上的顶部成像单元20F和配备在紧固件14的侧面上的侧面成像单元20B以在垂直面上具有90°的圆周角地形成半径为L的圆形的方式排列。顶部成像单元20F和配备在紧固件14的其它侧面之一上的侧面成像单元20A，20C，20D和30E的每一个类似地以具有90°的圆周角地形成半径为L的圆形的方式排列。换句话说，六个成像单元20A到20F以形成半径为L的球形的方式排列。
图5是例示六个成像单元20A到20F紧固在上面的紧固件14和主体部分30的中心轴的图形。多视图成像部分10以紧固件14和主体部分30的中心轴相互对准的方式与主体部分30连接。进一步，将主体部分30的三脚架基座紧固孔30设置在主体部分30的中心轴上。其结果是，与三脚架基座紧固孔30连接的三脚架的位置与紧固件14的中心轴对准。这使得即使安装在三脚架上的主体部分30发生倾斜或旋转，也易于调整拍摄位置和视线的方向。
图6(a)和6(b)是描述可相互拆开多视图成像部分10和主体部分30的配置的图形。多视图成像部分10和主体部分30可相互拆开，使得可以依照用于与外围设备连接的像USB(通用串行总线)那样的接口标准转换图像数据，以及使得可以使用，例如，可延伸电缆将多视图成像部分10与物理上遥远的主体部分30连接。可替代地，多视图成像部分10和主体部分30可以经由适用于延伸相机的信号线的可拆式中继电缆连接在一起。还可替代地，多视图成像部分10和主体部分30每一个可以具有无线通信功能以及无线地连接在一起。这为甚至不能携带主体部分30而只能携带多视图成像部分10的有限区域中的全景拍摄创造条件。例如，通过将多视图成像部分10插入孔中可以全景拍摄那个孔的内部。
另一方面，主体部分30可以是像平板PC或移动电话那样的移动终端，使得可以相互拆开多视图成像部分10和主体部分30，以便通过无线通信交换数据。这使拍摄者可以携带主体部分30和从遥远地方操作多视图成像部分10，使得更易于防止拍摄者偶然出现在图像中。
图6(b)例示了将三脚架基座紧固孔52设置在多视图成像部分10的底面上的配置。这种配置使三脚架可以直接与多视图成像部分10连接。如果多视图成像部分10具有无线通信功能，则可以将多视图成像部分10捕获的数据发送给主体部分30或其它移动终端。
图7是例示在多视图成像部分10的底面上也配备了成像单元20G的配置的图形。如上所述除了将成像单元20F配备在顶面上之外还将成像单元26G配备在底面上为全向拍摄创造了条件。在这种情况下，不能将三脚架与底面连接。因此，例如，通过利用细线将多视图成像部分10悬挂在天花板上进行拍摄。可替代地，可以将多视图成像部分10抛向空中进行全向拍摄。如果多视图成像部分10具有无线通信功能，则可以将多视图成像部分10捕获的数据发送给主体部分30或其它移动终端。
图8(a)到8(d)是描述配备在紧固件14的侧面之一上的成像单元20A的视角与配备在紧固件14的顶面上的成像单元20F的视角之间的关系的图形。
图8(a)例示了配备在紧固件14的侧面之一上的侧面成像单元20A的视角60A与配备在紧固件14的顶面上的顶部成像单元20F的视角60B之间的关系。图8(b)是从上面看过去的全景成像设备100的多视图成像部分10的顶视图(从图3中的z轴方向看过去的视图)，例示了配备在紧固件14的侧面之一上的侧面成像单元20A的视角60A的水平视角θAH。图8(c)和8(d)是从侧面看过去的全景成像设备100的侧视图(从图3中的x和y轴方向看过去的视图)。图8(c)例示了配备在紧固件14的顶面上的顶部成像单元20F的水平视角θFH。图8(d)例示了配备在紧固件14的侧面之一上的侧面成像单元20A的垂直视角θAV和配备在紧固件14的顶面上的顶部成像单元20F的垂直视角θFV。
作为一个例子，侧面成像单元20A的水平视角θAH是θAH＝121°。由于五个侧面成像单元20A到20F配备在紧固件14的侧面上，这使得可以水平360°地全景拍摄。另一方面，侧面成像单元20A的垂直视角θAV是θAV＝134°。将此与顶部成像单元20F的水平视角θFH(＝134°)或垂直视角θFV(＝121°)结合，可以垂直180°地全景拍摄。
应当注意到，在本例中侧面成像单元20A的垂直视角θAV和水平视角θAH之间的关系是θAV>θAH。普通透镜的水平视角大于其垂直视角。这里应当牢记的是，以相对于正常取向旋转了90°的方式将成像单元20A到20E配备在紧固件14的侧面上，以便增大成像单元20A到20E在垂直方向的视角。
图9是以从上面看过去的全景成像设备100的多视图成像部分10的顶视图的形式例示配备在紧固件14的侧面上的五个侧面成像单元20A到20E的视场之间的重叠的图形。侧面成像单元20A到20E每一个的水平视角是，例如，121°。组合五个侧面成像单元20A到20E拍摄的图像使得可以水平360°地全景拍摄。
图10(a)和10(b)是描述显示在操作/显示单元40上的操作屏幕的图形。将显示在图10(a)中的全景成像设备100的六个成像单元20A到20F拍摄的图像分别显示在显示在图10(b)中的操作屏幕的区域A到F中。
在触摸面板上选择显示在图10(b)中的区域A到F的某一个使成像单元20A到20F之一被选为参考相机。这里，选择区域B。其结果是，使区域B得到强调，例如，通过用不同颜色显示区域B的框架。将区域B与成像单元20B相联系。成像单元20B被用作设置像曝光和白平衡那样的拍摄条件的参考。
当拍摄者按下自动曝光(AE)锁定按钮74时，通过自动曝光将成像单元20B，即，参考相机设置成最佳曝光值。使这个最佳曝光值反映在其它成像单元20A，20C，20D，20E和20F中。AF锁定按钮74是切换按钮。当拍摄者再次按下AE锁定按钮74时，解锁AE，因此使成像单元20A到20F每一个的曝光分别得到自动调整。
当拍摄者接着按下自动白平衡(AWB)锁定按钮76时，通过自动白平衡调整成像单元20B，即，参考相机的白平衡。使其校正值反映在其它成像单元20A，20C，20D，20E和20F中。AWB锁定按钮76也是切换按钮。当拍摄者再次按下AWB锁定按钮76时，解锁AWB，因此使成像单元20A到20F每一个的白平衡分别得到自动调整。
当按下扩展控制按钮78时，出现各种设置菜单，因此允许进一步设置拍摄参数。
当拍摄者按下电影记录开始/停止按钮70时，成像单元20A到20F拍摄电影。当拍摄者再次按下电影记录开始/停止按钮70时，停止拍摄电影。当拍摄者按下静止图像拍摄按钮72时，成像单元20A到20F拍摄静止图像。将记录的电影或静止图像存储在，例如，与主体部分30的主电路的外部接口连接的USB存储器中。
图11是在主体部分30的主电路中实现的全景电影流生成器200的功能配置图。
拍摄控制部分210在多视图成像部分10的所有成像单元20A到20F中集体地或在这些单元的每一个中分别地设置像曝光值、白平衡值、和帧速率那样的拍摄参数。进一步，拍摄控制部分210控制成像单元20A到20F的变焦和拍摄的开始和停止。
将成像单元20A到20F拍摄的电影帧分别存储在帧存储器220A到220F中。
电影流多路复用部分230多路复用存储在帧存储器220A到220F中和成像单元20A到20F拍摄的电影帧，生成多视图电影流并将电影流供应给全景拼接部分242。全景拼接部分242通过拼接处理将成像单元20A到20F拍摄的电影帧拼接在一起，合并全景电影并生成全景电影流。如果功耗受到限制，则全景拼接部分242可以不进行拼接处理地按原样输出多视图电影流。可替代地，如有必要，全景拼接部分242可以输出多视图电影流和全景电影流两者。全景拼接部分242至少将多视图电影流或全景电影流记录到全景电影存储部分240中。
显示控制部分260从帧存储器220A到220F中读取成像单元20A到20F拍摄的电影帧，将电影帧显示在操作/显示单元40的屏幕上。
用户接口部分250将成像单元20A到20F的操作菜单信息供应给显示控制部分260，使显示控制部分260可以将操作菜单显示在操作/显示单元40的屏幕上。
触摸面板控制部分270检测用户的手指在触摸面板上的触摸操作，将触摸位置和其它信息供应给用户接口部分250。用户接口部分250从触摸面板控制部分270供应的触摸位置信息中识别用户在操作菜单上选择的操作的性质，以便将操作命令发送给拍摄控制部分210。拍摄控制部分210根据用户接口部分250供应的操作命令控制成像单元20A到20F。
[电影流切换和记录控制]
接着将给出全景成像设备100的全景电影流生成器200管理的电影流切换和记录控制的描述。
图12例示了与全景电影流生成器200管理的电影流切换和记录控制有关的配置。这里将给出显示在图11中的拍摄控制部分210和电影流多路复用部分230的不同配置和操作的描述。在图12中省略了全景电影存储部分240、显示控制部分260、用户接口部分250、和触摸面板控制部分270，即，显示在图11中的组件。
在图12中，虚线代表控制信号线，粗线代表图像数据传送信道。如图11已经所述，将成像单元20A到20F拍摄的电影帧分别存储在帧存储器220A到220F中。电影流多路复用部分230读取存储在帧存储器220A到220F中和成像单元20A到20F拍摄的电影帧，多路复用电影帧并生成多视图电流。
除了多路复用成像单元20A到20F拍摄的电影帧的功能之外，电影流多路复用部分230还具有运动检测部分232、模式确定部分234、和控制信号生成部分236的功能。
运动检测部分232检测成像单元20A到20F拍摄的电影帧A到F的运动矢量，求出电影帧A到F的运动矢量的幅度之一。可替代地，运动检测部分232可以检测感兴趣的特定一个或多个成像单元拍摄的电影帧的一个或多个运动矢量，以便求出感兴趣的一种或多种电影帧的运动矢量的幅度之和。
如果运动检测部分232计算的运动矢量的幅度之和小于给定阈值，则模式确定部分234将成像单元20A到20F设置成“成像单元断续工作模式”。在这种模式下，使成像单元20A到20F相隔一个帧地以断续方式一个接一个地工作，因此每个帧切换到成像单元20A到20F之一。然后，从相关帧存储器中读取从切换的成像单元输出的捕获图像，此后将捕获的图像多路复用成电影流。
如果运动检测部分232计算的运动矢量的幅度之和大于等于给定阈值，则模式确定部分234将成像单元20A到20F设置成“成像单元同时工作模式”。在这种模式下，使所有成像单元20A到20F同时工作，然后，从帧存储器220A到220F中读取从成像单元20A到20F输出的捕获图像，此后将捕获的图像多路复用成电影流。
模式确定部分234将有关已经设置的成像单元的工作模式的信息供应给拍摄控制部分210和控制信号生成部分236。
拍摄控制部分210将与模式确定部分234设置的工作模式相适应的控制信号供应给成像单元20A到20F。
在“成像单元断续工作模式”下，拍摄控制部分210将适合使成像单元20A到20F相隔一个帧地以断续方式一个接一个地工作的控制信号供应给成像单元20A到20F。这省却了将电力供应给未激活成像单元的需要，因此有助于降低功耗。
在“成像单元同时工作模式”下，拍摄控制部分210将适合使所有成像单元20A到20F同时工作的控制信号供应给成像单元20A到20F。在这种情况下，所有成像单元20A到20F都是激活的，因此导致更高的功耗。但是，即使被摄物作剧烈运动，或在场景变化期间，合成的全景图像也不会质量下降。
控制信号生成部分236将与模式确定部分234设置的工作模式相适应的控制信号供应经帧存储器220A到220F。在“成像单元断续工作模式”下，控制信号生成部分236将适合每个帧切换到帧存储器220A到220F之一的控制信号供应给帧存储器220A到220F，允许从切换的帧存储器中读取而禁止从所有其它帧存储器中读取。在“成像单元同时工作模式”下，控制信号生成部分236将适合允许从所有帧存储器220A到220F中读取的控制信号供应给帧存储器220A到220F。
这里，甚至在“成像单元同时工作模式”下，如果适合图像数据的接口的带宽大于(成像单元的数量)×(每帧数据量)×(帧速率)，则当允许从所有帧存储器220A到220F中读取以及同时从帧存储器220A到220F中读取图像数据时，不会引起什么问题。但是，如果只允许一个成像单元的数据量，则可以将图像数据暂时记录到帧存储器220A到220F中，此后从一个到另一个地切换帧存储器220A到220F，以便依次发送图像数据。
进一步，如果因为成像单元20A到20F启动慢，所以使成像单元20A到20F断续工作会选成问题。则可以在相隔一个帧地以断续方式一个接一个地激活帧存储器220A到220F的同时，使成像单元20A到20F连续工作，因此每个帧切换到帧存储器220A到220F之一，从切换的帧存储器中读取捕获的图像，并将这些图像多路复用成电影流。这也有助于降低供应给帧存储器的功率。
进一步，模式确定部分234不仅可以依照捕获图像的运动量，而且可以依照全景成像设备100的电池剩余电荷或允许功耗在“成像单元断续工作模式”与“成像单元同时工作模式”之间切换。例如，为了使全景成像设备100多工作几小时，必须使单位时间的功耗最小。因此，将工作模式切换到“成像单元断续工作模式”。另一方面，如果电池剩余电荷足够，则可以让全景成像设备100工作在“成像单元同时工作模式”下，当电池剩余电荷变低时，再切换到“成像单元断续工作模式”。可替代地，如果全景成像设备100靠内置可充电电池运行，则可以选择“成像单元断续工作模式”。另一方面，如果全景成像设备100靠AC适配器供应的外部电力运行，则可以选择“成像单元同时工作模式”。
电影流多路复用部分230在任一种工作模式下都多路复用从帧存储器220A到220F输出的图像帧，因此生成多视图电影流并将电影流供应给主处理器280。
主处理器280对多视图电影流进行拼接处理，因此生成全景电影流并将该电影流记录到像闪速存储器那样的辅助存储设备290中。全景拼接部分242和切换部分246的功能通过主处理器280中的软件实现，以便进行全景拼接处理。这些功能可以通过硬件实现。
全景拼接部分242将包括在电影流多路复用部分230供应的多视图电影流中和由成像单元20A到20F拍摄的图像帧拼接在一起，因此合成为全景图像，生成含有全景图像帧的时序数据的全景电影流，并输出该电影流。如果依照电池剩余电荷或允许功耗限制功耗，全景拼接部分242不合成任何全景图像地按原样输出多视图电影流。
切换部分246依照功耗极限在从全景拼接部分242输出的全景电影流和多视图电影流之间切换，将电影流记录到辅助存储设备290中。例如，可以依照可用功率的幅度执行如下三个控制步骤。
(a)如果可用功率小，则全景拼接部分242不生成任何全景电影流地输出多视图电影流。在这种情况下，切换部分246断开全景电影流的数据传送信道243的开关247，接通多视图电影流的数据传送信道244的开关248，将多视图电影流记录到辅助存储设备290中。因为不进行全景拼接处理，所以使功耗保持最小。
(b)如果可用功率中等，则全景拼接部分242生成并输出全景电影流，但不输出任何多视图电影流。在这种情况下，切换部分246接通全景电影流的数据传送信道243的开关247，断开多视图电影流的数据传送信道244的开关248，将全景电影流记录到辅助存储设备290中。因为全景拼接部分242被激活，所以比情况(a)消耗更多功率。但是，这种选项的有利之处在于实时生成全景电影。
(c)如果可用功率大，则全景拼接部分242不仅生成并输出全景电影流，而且输出任何多视图电影流。在这种情况下，切换部分246接通全景电影流的数据传送信道243的开关247，并接通多视图电影流的数据传送信道244的开关248，将全景电影流和多视图电影流都记录到辅助存储设备290中。生成并记录多视图电影流和全景电影流两者。这导致高的处理量，记录更多的数据，以及最高的功耗。但是，这种选项的有利之处在于通过事先不仅记录全景电影流而且记录多视图电影流，可以找到更多应用。
应当注意到，尽管在上面的描述中成像单元20A到20F的帧速率相同，但如果在成像单元20A到20F捕获的图像之间运动量不同，则可以在成像单元20A到20F之间改变帧速率。在这种背景下，拍摄控制部分210和控制信号生成部分236根据帧速率之间的比值改变在成像单元20A到20F和帧存储器220A到220F之间切换的比率。进行根据帧速率之间的比值指定权重的循环控制。
图13是描述全景电影流生成器200管理的电影流切换和记录控制的步骤的流程图。
运动检测部分232从成像单元20A到20F捕获的图像中检测运动矢量(S10)。运动检测部分232求出所有成像单元20A到20F或感兴趣的一个或多个成像单元捕获的图像的运动矢量的幅度之和(S12)。
模式确定部分234确定捕获图像的运动矢量的幅度之和是否大于等于阈值(S14)。如果捕获图像的运动矢量的幅度之和小于阈值(S14中的N)，则模式确定部分234选择“成像单元断续工作模式”(S20)。在“成像单元断续工作模式”下，选择以低帧速率记录多视图电影流或全景电影流的“低帧速率记录模式”。
如果捕获图像的运动矢量的幅度之和大于等于阈值(S14中的Y)，则模式确定部分234确定全景成像设备100是否工作在功耗极限内(S16)。例如，模式确定部分234在在延长时段内拍摄的情况下，考虑到单位时间允许功耗和电池剩余电荷地确定全景成像设备100是否工作在功耗极限内。如果全景成像设备100未工作在功耗极限内(S16中的N)，则模式确定部分234将全景成像设备100设置成“成像单元断续工作模式”。如果全景成像设备100工作在功耗极限内(S16中的Y)，则模式确定部分234将全景成像设备100设置成“成像单元同时工作模式”(S18)。在“成像单元同时工作模式”下，选择以高帧速率记录多视图电影流或全景电影流的“高帧速率记录模式”。
拍摄控制部分210依照模式确定部分234设置的模式将成像单元20A到20F切换到同时或断续工作模式，控制信号生成部分236依照模式确定部分234设置的模式将帧存储器220A到220F切换到同时或断续输出模式(S22)。
全景电影流生成器200多路复用依照每种模式从帧存储器220A到220F输出的帧数据，生成多视图电影流或全景电影流(S24)。
如果用户停止拍摄(S26中的Y)，则终止电影流切换和记录控制。如果用户未停止拍摄(S26中的N)，则使控制返回到步骤S10，重复从步骤S10开始向前的处理。
图14(a)和14(b)是描述通过电影流切换和记录控制生成的多视图电影流的数据结构的图形。这里假设存在四个成像单元，以及每个成像单元的帧速率是30fps(帧每秒)。
图14(a)例示了在“成像单元断续工作模式”下生成的多视图电影流。成像单元20A到20D相隔一个帧地以断续方式一个接一个地工作，成像单元20A，20B，20C和20D分别捕获的帧A，B，C和D以每个帧为间隔按这个次序被多路复用。成像单元20A到20D的每一个每四次断续地工作一次。其结果是，成像单元20A到20D的每一个的有效帧速率是30fps/4＝7.5fps。多路复用之后的多视图电影流的传送速率等于30fps/4×4＝30fps。也就是说，生成低帧速率多视图电影流。四个成像单元20A到20D断续地工作。因此，在通过合成四个成像单元20A到20D捕获的四个图像获得的全景图像中，彼此相邻的捕获图像是在不同时间捕获的图像。但是，如果运动不强烈，则将在不同时间捕获的图像拼接在一起获得的全景图像在质量上不会下降太多。
图14(b)例示了在“成像单元同时工作模式”下生成的多视图电影流。使成像单元20A到20D同时工作，成像单元20A，20B，20C和20D捕获的帧A，B，C和D以每个帧为间隔被多路复用。其结果是，成像单元20A到20D的每一个的有效帧速率保持不变，仍然为30fps。多路复用之后的多视图电影流的传送速率等于30fps×4＝120fps。也就是说，生成高帧速率多视图电影流。四个成像单元20A到20D同时工作。因此，在通过合成四个成像单元20A到20D捕获的四个图像获得的全景图像中，彼此相邻的捕获图像是在相同时间捕获的图像。因此，即使被摄物作剧烈运动，通过将在相同时间捕获的图像拼接在一起获得的全景图像在质量上保持无损。
下面将给出上述的全景电影流生成器200管理的电影流切换和记录控制的操作优点的描述。
一般说来，如果被摄物缓慢或小幅运动，则即使降低相机的帧速率，图像的质量也不会下降太多。相反，如果被摄物作剧烈运动，则降低相机的帧速率(在CMOS图像传感器的情况下，等于较长的快门速率)将由于运动模糊而导致质量显著下降。在多视图相机的情况下，以最高帧速率记录所有相机数据在任何场景中都提供最高图像质量。但是，这会导致更高的功耗和扰乱像SSD(固态驱动器)或HDD(硬盘驱动器)那样的数据存储设备的存储容量。由于这个原因，优选的是能够依照场景适当控制相机的工作条件和记录数据。
在按照本实施例的电影流切换和记录控制中，可以依照场景的运动在成像单元20A到20F的工作模式之间和在帧存储器220A到220F的输出模式之间切换。如果场景大幅运动，则图像的质量会下降，除非保证每个成像单元的有关帧速率。因此，通过赋予图像质量以比功耗高的优先级选择“成像单元同时工作模式”。如果场景小幅运动，则降低每个成像单元的有效帧速率不会导致图像质量显著下降。因此，将工作模式切换到“成像单元断续工作模式”，以便使功耗保持最小。如上所述，依照场景的运动在工作模式之间切换使功耗保持最小，并且不用承受图像质量显著下降地降低存储容量。进一步，依照电池剩余电荷和允许功耗在工作模式之间切换为全景成像设备100的有效使用创造了条件。更进一步，在“成像单元断续工作模式”下生成低帧速率图像流，因此降低了存储容量。
[多视图相机控制系统]
图15是适用于有选择地控制多视图相机的控制系统的配置图。例示在图12中的拍摄控制部分210包括总线接口/相机控制接口300、通过屏蔽(mask)寄存器310、和控制数据通过逻辑320。拍摄控制部分210响应来自主处理器280的指令，集体地和有选择地控制多个成像单元20A到20F的任意个成像单元。例如，拍摄控制部分210可以集体地或有选择地控制自动曝光(AE)、自动白平衡(AWB)、和曝光值(EV)。
总线接口/相机控制接口300是适用于连接主处理器280和成像单元20的给定标准的总线接口和适用于控制成像单元20A到20F的专用接口。总线接口/相机控制接口300响应来自主处理器280的指令，将控制信号供应给控制数据通过逻辑320。
控制数据通过逻辑320是适用于将控制数据写入成像单元20A到20F中或从成像单元20A到20F中读取数据的电路。当写入数据时，控制数据通过逻辑320可以通过单播、多播或广播将写入数据发送给成像单元20A到20F。当读取数据时，控制数据通过逻辑320可以通过单播从成像单元20A到20F接收读取数据。
通过屏蔽寄存器310是适用于控制控制数据通过逻辑320的电路的输入和输出操作的寄存器。通过屏蔽寄存器310是与成像单元20A到20F的数量相对应的通过屏蔽寄存器。
图16是描述显示在图15中的多视图相机控制系统的功能配置的图形。相机控制接口302是显示在图15中的总线接口/相机控制接口300的例子，与主处理器280一起构成应用处理器140。应用处理器140通过，例如，片上系统(SoC)技术实现。
在显示在图16中的功能配置图中，显示在图15中的控制数据通过逻辑320是使用像I2C或SPI那样的总线接口连接相机控制接口302和成像单元20A到20F的电路。控制数据通过逻辑320包括开关130A到130F和多路复用器132。
相机控制接口302的数据发送器Tx经由开关130A到130F与成像单元20A到20F连接。将主处理器280指定的控制数据有选择地写入成像单元20A到20F中。控制数据写入通过寄存器110(下文简称为“写入通过寄存器”是与成像单元20A到20F的数量相对应的通过屏蔽寄存器。通过屏蔽寄存器110设置掩码以便在分别与成像单元20A到20F相联系的开关130A到130F的接通和断开状态之间切换。
例如，当写入通过寄存器110的值是‘110000’时，分别与两个成像单元20A和20B相联系的开关130A和130B接通，而分别与其余四个成像单元20C到20F相联系的开关130C到130F断开。这使控制数据被有选择地写入成像单元20A和20B中。
成像单元20A到20F经由具有多个输入端和单个输出端的多路复用器132与相机控制接口301的数据接收器Rx连接。依照来自主处理器280的读取指令，有选择地从成像单元20A到20F中读出数据。相机设置值读取通过寄存器120(下文简称为“读取通过寄存器”)是与成像单元20A到20F的数量相对应的通过选择寄存器。读取通过寄存器120设置掩码以便选择多路复用器132的多支输入流之一。
例如，当读取通过寄存器120的值是‘010000’时，从馈送到多路复用器132的来自六个成像单元20A到20F的输入流当中选择来自成像单元20B的输入流。其结果是，从多路复用器132输出来自成像单元20B的数据作为输出流，供应给相机控制接口302的接收器Rx。
在显示在图16中的配置中，只有一个接口可用于主处理器280从或向成像单元20A到20F读取或写入数据。通过简单地重写写入通过寄存器110和读取通过寄存器120的通过掩码，可以集体或有选择地从或向成像单元20A到20F读取或写入数据。为成像单元20A到20F的每一个配备独立接口导致较大的电路规模。但是，显示在图16中的配置只有一个接口，因此有助于减少电路的数量。进一步，通过简单重写写入通过寄存器110，可以选择要写入的所希望成像单元以及同时将数据写入所选成像单元中，因此加速写入操作。
图17(a)是描述显示在图16中的多视图相机控制系统进行的写入处理的流程图。
主处理器280准备要写入成像单元20A到20F中的控制数据(S30)。控制数据是，例如，与像曝光值那样的拍摄条件有关和用户通过用户接口部分250指定的数据。
主处理器280确定要写入的目标成像单元，并将指定要将控制数据写入的成像单元的值写入写入通过寄存器110中。如果写入通过寄存器110是与成像单元的数量相对应的通过掩码，则写入通过寄存器110将通过掩码设置成选择要写入的目标成像单元。通过写入通过寄存器110设置开关130A到130F的接通/断开状态。要求写入通过寄存器110将通过掩码设置成有选择地将控制数据发送给要写入的目标成像单元。
如果要求响应写入操作作出确认(ACK)，则主处理器280确定要读取的目标成像单元，并将指定要从中读取数据的成像单元的值写入读取通过寄存器120中(S34)。如果读取通过寄存器120是与成像单元的数量相对应的通过掩码，则读取通过寄存器120将通过掩码设置成选择要读取的目标成像单元。在具有多个输入端和单个输出端的多路复用器132的多支输入流当中，选择读取通过寄存器120指定的输入流并加以输出作为输出流。要求读取通过寄存器120将通过掩码设置成有选择地从要写入的目标成像单元接收ACK。
这里，当写入操作完成时，要写入的每个目标成像单元返回ACK。通常，应该从要写入的所有成像单元接收ACK，并且应该分别核实ACK的接收。这样的处理导致较大的电路规模，需要与总线标准不同的过程。但是，在正常环境下写入处理失败的情况极其罕见。因此，作为核实来自所有目标成像单元的ACK的接收的可替代方式，只传递来自目标成像单元之一的ACK来核实ACK的接收。这也有助于电路更简单。为了以更严格的方式核实是否已经将数据适当地写入所有成像单元的每一个中，唯一必须做的是分别为每个成像单元读取寄存器值来核实ACK的接收。
相机控制接口302经由开关130A到130F从发送终端Tx将适合写入控制数据的信号输出到成像单元20A到20F(S36)。此时，依照写入通过寄存器110设置的通过掩码改变开关130A到130F的接通/断开状态，因此使控制数据只写入选为目标成像单元的成像单元20中。
如果要求响应写入操作作出ACK，则相机控制接口302经由多路复用器132利用接收终端Rx从成像单元20A到20F接收ACK信号(S38)。此时，依照读取通过寄存器120设置的通过掩码核实来自选为要读取的目标成像单元的成像单元的ACK。
应该注意到，如果无需响应写入操作作出ACK，则可以省略步骤S34和S38。
图17(b)是描述显示在图16中的多视图相机控制系统进行的读取处理的流程图。
主处理器280确定要读取的成像单元20的寄存器(S40)。
主处理器280确定要读取的目标成像单元，并将指定要从中读取数据的成像单元的值写入写入通过寄存器110中(S42)。如果写入通过寄存器110是与成像单元的数量相对应的通过掩码，则通过寄存器110将通过掩码设置成选择要读取的目标成像单元。通过写入通过寄存器110设置开关130A到130F的接通/断开状态。要求写入通过寄存器110将通过掩码设置成有选择地将读取地址发送给要读取的目标成像单元。
接着，主处理器280确定要读取的目标成像单元，并将指定要从中读取数据的成像单元的值写入读取通过寄存器120中(S44)。如果读取通过寄存器120是与成像单元的数量相对应的通过掩码，则读取通过寄存器120将通过掩码设置成选择要读取的目标成像单元。在具有多个输入端和单个输出端的多路复用器132的多支输入流当中，选择读取通过寄存器120指定的输入流并加以输出作为输出流。要求读取通过寄存器120将通过掩码设置成有选择地从要读取的目标成像单元接收数据和ACK。
相机控制接口302经由开关130A到130F从发送终端Tx将成像单元读取地址输出到成像单元20A到20F(S46)。此时，依照写入通过寄存器110设置的通过掩码改变开关130A到130F的接通/断开状态，因此使读取地址只发送给选为要读取的目标成像单元的成像单元20。
相机控制接口302经由多路复用器132利用接收终端Rx从成像单元20A到20F接收有关指定地址的数据(S48)。此时，从选为要读取的目标成像单元的成像单元接收数据，并依照读取通过寄存器120设置的通过掩码核实来自选为目标成像单元的成像单元的ACK。
图18是描述实现显示在图16中的多视图相机控制系统的例子的图形。在显示在图18中的实现例子中，使用了与叫做I2C(内部集成电路)的外围设备通信的串行通信方案。这里将给出为了简单起见使用四个成像单元(成像单元20A到20D)的情况的描述。
I2C接口304配备在应用处理器140的一侧上，用作I2C通信主设备。成像单元20A到20D是I2C通信从设备。
I2C状态监视电路150是允许三态缓冲器170在接收状态下接收的电路。其结果是，允许从多路复用器176接收数据。在写入操作期间，阻止三态缓冲器170。
将从I2C接口304输出的SDATA供应给分别与成像单元20A到20D相联系的三态缓冲器172A到172D。依照写入通过寄存器110的通过掩码启用与要写入的目标成像单元相联系的三态缓冲器，因此使STATA只发送给要写入的目标成像单元。上拉电阻174是将三态缓冲器172A到172D的输出信号调整成适当逻辑电平的电阻。从I2C接口304输出的SCLK是适用于使成像单元20A到20F同步的时钟信号。
在具有多个输入端和单个输出端的多路复用器176的输入端当中，多路复用来自依照读取通过寄存器120的通过掩码指定的输入端的输入值，并经由三态缓冲器170供应给I2C接口304。
在图18中，写入通过寄存器110的通过掩码是‘1100’。因此，在写入操作期间将控制数据写入成像单元20A和20B中。读取通过寄存器120的通过掩码是‘1000’。因此，在读取操作期间从成像单元20A中读取ACK。
图19是描述实现显示在图16中的多视图相机控制系统的另一个例子的图形。在显示在图19中的实现例子中，使用连接包括计算机的设备的叫做SPI(串行外围接口)的总线接口。这里，也将给出为了简单起见使用四个成像单元(成像单元20A到20D)的情况的描述。
SPI接口306配备在应用处理器140的一侧上，用作SPI通信主设备。成像单元20A到20D是SPI通信从设备。
从SPI接口306输出的CS#信号是芯片选择信号，供应给NAND电路180A到180D。写入通过寄存器110是适用于选择要写入的目标成像单元20A到20D的通过掩码。将寄存器值供应给分别与成像单元20A到20D相联系的NAND电路180A到180D。在这个例子中，写入通过寄存器110的通过掩码是‘1100’。因此，将‘1’馈送到两个NAND电路180A和180B中，将‘0’馈送到其余两个NAND电路180C和180D中。将NAND电路180A到180D的输出值CAM1_CS#到CAM4_CS#反相，并馈送到成像单元20A到20D中。其结果是，选择了两个成像单元20A和20B，使控制数据TxData从SPI接口306的MOSI(主设备输出从设备输入端口)发送给成像单元20A和20B。
将来自SPI接口306的CLK的SCLK信号供应给成像单元20A到20F以便使这些成像单元同步。
来自多路复用器182的读取数据RxData被SPI接口306的MISO(主设备输入从设备输出端口)接收。读取通过寄存器120是适用于选择要读取的目标成像单元20A到20D的通过掩码。读取通过寄存器120用于选择具有多个输入端和单个输出端的多路复用器182的输入信号。在这个例子中，读取通过寄存器120的通过掩码是‘1000’。在具有多个输入端和单个输出端的多路复用器182的多支输入流当中，选择来自成像单元20A的输入流，并作为多路复用器182的输出流输出。
图20(a)和20(b)是描述显示在操作/显示单元40上的操作屏幕的例子的图形。将显示在图20(a)中的全景成像设备100的六个成像单元20A到20F拍摄的图像分别显示在显示在图20(b)中的操作屏幕的区域A到F中。
当被选成参考相机时，操作屏幕的区域A到F每一个的框架表现为，例如，蓝色。进一步，当将这些区域划分成几组时，每组的框架表现为不同颜色。参考相机的选择被切换成接通或断开。每次点击都在选择和去选之间切换。
电影记录开始/停止按钮70、静止图像拍摄按钮72、自动曝光锁定按钮74、自动白平衡锁定按钮76、和扩展控制按钮78与描述在图10(b)中的那些相同。
当按下相机冻结按钮75时，所选成像单元被冻结在当前捕获图像上。也就是说，成像单元仍然可操作以及在屏幕上保持与按下相机冻结按钮75时相同的图像。当再次按下相机冻结按钮75时，相机解冻，因此重新开始通过所选成像单元拍摄。
当按下分组按钮77时，分组从多个区域A到F任意选择的几个区域。换句话说，从成像单元20A到20F当中选择和分组特定成像单元。要分组的所希望区域可以通过点击那些区域或用操作屏幕上的手画曲线围住它们来选择。
图21是描述通过指定参考相机集体设置成像单元的情况的图形。图22例示了在那种情况下操作屏幕的例子。
如图21所例示，将成像单元20A指定成参考相机，以便在其它成像单元20B到20F中集体设置像参考相机的曝光值那样的拍摄参数。在拍摄室内的情况下，例如，将前方的成像单元20A指定成参考相机，其它成像单元20B到20F着手利用与参考相机相同的曝光设置进行拍摄。
如图22所例示，当与与选为参考相机的成像单元20A相联系的区域A一起按下自动曝光(AE)锁定按钮74或自动白平衡(AWB)锁定按钮76时，使相同参数反映在其它成像单元20B到20F中。
将读取通过寄存器120设置成将选为参考相机的成像单元20A指定成要读取的目标成像单元的值。其结果是，从成像单元20A，即，参考相机中读取像曝光值和白平衡值那样的拍摄参数。然后，将写入通过寄存器110设置成将除了选为参考相机的成像单元20A之外的其余成像单元20B到20F指定成要写入的目标成像单元的值。其结果是，将从成像单元20A，即，参考相机中读取的拍摄参数集体写入其余成像单元20B到20F中。
更具体操作过程如下：
(1)在操作屏幕上点击前相机的区域A。其结果是，区域A的框架转变为蓝色，以及成像单元20A用作参考相机。
(2)按下自动白平衡锁定按钮76以便将所有成像单元20A到20F的白平衡锁定成成像单元20A，即，参考相机的调整值。
(3)按下自动曝光锁定按钮74以便将所有成像单元20A到20F的曝光值锁定成成像单元20A，即，参考相机的调整值。
(4)利用电影记录开始/停止按钮70或静止图像拍摄按钮72拍摄。
图23是描述通过窗口从室内拍摄室外图像的情况的图形。图24和25例示了那种情况下操作屏幕的例子。
如图23所例示，当通过窗口190拍摄室外图像时，窗口侧的成像单元20A，20B，和20E因室外拍摄而减小曝光。但是，其余成像单元20C和20D因室内拍摄而有必要利用曝光设置拍摄。
如图24所例示，用手画曲线192将与窗口侧的成像单元20A，20B，和20E相联系的区域A，B和E围住以便加以选择。按下分组按钮77将所选区域A，B和E分组。
接着，在属于同组的区域A，B和E当中，如图25所例示选择区域B，以便将成像单元20B选为参考相机。其结果是，使与针对成像单元20B，即，参考相机相同的拍摄参数反映在属于同组的其它成像单元20A和20E中。
将读取通过寄存器120设置成将该组中选为参考相机的成像单元20B指定成要读取的目标成像单元的值。其结果是，从成像单元20B，即，参考相机中读取像曝光值和白平衡值那样的拍摄参数。然后，将写入通过寄存器110设置成将该组中除了选为参考相机的成像单元20B之外的其余成像单元20A和20E指定成要写入的目标成像单元的值。其结果是，将从成像单元20B，即，参考相机中读取的拍摄参数集体写入其余成像单元20A和20E中。
更具体操作过程如下：
(1)在操作屏幕上选择与窗口侧的成像单元20A，20B和20E相联系的区域A，B和E。
(2)按下分组按钮77以便将所选区域A，B和E分组。其结果是，区域A，B和E的框架转变为绿色，因此形成第一组。其余区域C，D和F形成第二组。
(3)点击区域B。其结果是，区域B的框架转变为蓝色。与区域B相联系的成像单元20B用作绿色第一组的参考相机。
(4)点击区域D。其结果是，区域D的框架转变为蓝色。与区域D相联系的成像单元20D用作第二组的参考相机。
(5)当按下自动白平衡锁定按钮76时，将属于第一组的成像单元20A，20B和20E的白平衡锁定成成像单元20B，即，参考相机的调整值。进一步，将属于第二组的成像单元20C，20D和20F的白平衡锁定成成像单元20D，即，参考相机的调整值。
(6)当按下自动曝光锁定按钮74时，将属于第一组的成像单元20A，20B和20E的曝光值锁定成成像单元20B，即，参考相机的调整值。进一步，将属于第二组的成像单元20C，20D和20F的曝光值锁定成成像单元20D，即，参考相机的调整值。
(7)利用电影记录开始/停止按钮70或静止图像拍摄按钮72拍摄。
图26是描述冻结一些相机的情况的图形。图27例示了在那种情况下操作屏幕的例子。
如果某人194如图26所例示在全景图像拍摄期间到来，则冻结相机图像，使某人194不出现在图像中，暂时中止相机拍摄。在这个例子中，暂时中止成像单元20A和20B的拍摄，以便某人194不出现在捕获的图像中，冻结未示出某人194的图像。
如图27所例示，选择要冻结的所希望区域A和B。接着，按下分组按钮77以便将所选区域A和B分组。然后，将区域A或B选作参考相机，并按下相机冻结按钮75。这使得可以暂时停止与属于同组的区域A和B相联系的成像单元20A和20B，以及冻结没有人出现在其中的图像。
更具体操作过程如下：
(1)在操作屏幕上选择要冻结的所希望区域A和B。
(2)按下分组按钮77以便将所选区域A和B分组。其结果是，区域A和B的框架转变成绿色。
(3)点击区域A或B。其结果是，与所选区域相联系的成像单元用作参考相机。但是，实际上，这具有与指定要冻结的一组相机相同的效果。
(4)当没有人出现在图像中时，按下相机冻结按钮75。其结果是，冻结了在步骤(3)中指定的该组相机，因此使区域A和B冻结在示出没有人在其中的图像上。
(5)从这里向前，利用未冻结的其余成像单元20C到20F拍摄。
如上所述，在按照本实施例的多视图相机控制系统中，将写入数据的屏蔽寄存器和读取数据的屏蔽寄存器插在两个接口之间，一个被主处理器用于访问相机，另一个是相机模块接口。这提供了集体的和快速的相机控制，因此有助于容易的和有效的相机控制。多视图相机控制系统可以简单地通过在现有接口之间插入寄存器来实现。这省却了改变相机模块或处理器接口的需要，因此使控制系统易于设计。
[多步曝光拍摄]
图28是适用于进行多步曝光拍摄的全景电影流生成器和功能配置图。这里，示出了与多步曝光拍摄有关的组件，而为了方便起见未示出所有其它组件。显示在图28中的曝光设置部分400可以在参考图11所述的拍摄控制部分210中实现。显示在图28中的HDR合成部分420可以在参考图11所述的电影流多路复用部分230中实现。
曝光设置部分400在多个成像单元20A到20F的每一个中设置曝光值。更具体地说，曝光设置部分400在成像单元20A到20F的每一个中设置单独参考曝光值，并进一步在其中设置相对曝光值。相对曝光值以参考曝光值为中心，通过增加或减小参考曝光值获得。通过成像单元20A到20F的每一个的自动曝光(AE)机构可以将成像单元20A到20F的每一个的单独参考曝光值设置成最佳值。
曝光设置部分400可以使用参考图15所述的多视图相机控制系统集体地或有选择地在成像单元20A到20F的每一个中设置曝光值。
将成像单元20A到20F利用可变曝光值拍摄的低动态范围(LDR)捕获图像存储在帧缓冲器430A到430F中。帧缓冲器430A到430F的每一个是具有存储利用设置在成像单元20A到20F中的多个曝光值拍摄的图像的存储区的帧存储器。
HDR合成部分420从帧缓冲器430A到430F中读取成像单元20A到20F利用可变曝光值拍摄的低动态范围捕获图像，通过拼接处理合成具有最佳曝光值的捕获区域，并生成高动态范围(HDR)全景图像。应当注意到，如果最终输出格式是LDR全景图像，则HDR合成部分420通过让HDR合成图像经受色调映射处理，可以生成动态范围受到压缩的LDR全景图像。
HDR合成部分420提取相邻捕获图像之间的特征点，通过根据特征点将相邻捕获图像拼接在一起合成全景图像。应用于图像匹配的已知技术可以用于特征点提取处理。将HDR合成部分420生成的全景图像存储在全景图像存储部分410中。
图29(a)和29(b)是描述为了比较在多个成像单元中设置相同参考曝光值拍摄的捕获图像的图形。
图29(a)例示了利用以可变曝光值以参考曝光值为中心的方式以多个步长改变参考曝光值(在这种情况下为0)的成像单元20A支架拍摄获得的图像440A到446A。图像442A是利用参考曝光值EV＝0拍摄的图像的例子。图像443A，444A，445A和446A是通过将1，4，5和7加入参考曝光值EV＝0中分别拍摄的图像的例子。另一方面，图像441A和440A是通过从参考曝光值EV＝0中减去4和7分别拍摄的图像的例子。将1加入曝光值EV中使光量加倍，而从曝光值EV中减去1则使光量减半。
在图29(a)中，曝光值EV为-7的图像440A具有“过浓阴影”，因此导致信息完全缺失。曝光值EV为7的图像446A部分具有“过度加亮”。
图29(b)例示了利用以可变曝光值以参考曝光值为中心的方式以多个步长改变与在图29(a)的情况下相同的参考曝光值EV的其它成像单元20B支架拍摄获得的图像440B到446B。图像442B是利用参考曝光值EV＝0拍摄的图像的例子。图像443B，444B，445B和446B是通过将1，4，5和7加入参考曝光值EV＝0中分别拍摄的图像的例子。另一方面，图像441B和440B是通过从参考曝光值EV＝0中减去4和7分别拍摄的图像的例子。
曝光值EV分别为-7和-4的图像440B和441B具有“过浓阴影”，因此导致信息完全缺失。曝光值EV为7的图像446B部分具有“过度加亮”。
如上所述，在所有成像单元20A到20F中设置相同参考曝光值以及针对支架拍摄增加或减小参考曝光值导致在拍摄的图像中存在“过浓阴影”或“过度加亮”，因此导致图像的浪费。
对于多视图相机，适当曝光值显著地随相机的视场而变。为了在所有方向都达到适当曝光范围，以多个步长为拍摄改变曝光值的支架拍摄是有效的。但是，多视图相机的的视场中的亮度的动态范围显著地随相机角度而变。其结果是，对于支架拍摄，有必要在从最暗视场跨越到最亮视场的宽曝光范围中以多个步长设置所有相机的曝光值，因此导致更多的图像数据和更长的拍摄时间。进一步，对所有相机增加或减小相对于相同参考曝光值的曝光值取决于相机角度，导致具有“过浓阴影”或“过度加亮”的大量图像，导致许多图像的浪费。
由于这个原因，在按照本实施例的多步曝光拍摄中，在成像单元20A到20F的每一个中设置单独参考曝光值，以及针对支架拍摄，通过增加或减小单独参考曝光值，以多个步长改变成像单元20A到20F的每一个的曝光值。
图30(a)到30(c)是描述通过曝光设置部分400设置在成像单元20A到20F的每一个中的参考曝光值、和以使相对曝光值以参考曝光值为中心的方式以预定个步长改变参考曝光值获得的相对曝光值的图形。图30(a)例示了设置在成像单元20A中的参考曝光值EVa和通过以三个步长增加参考曝光值EVa和以三个步长减小参考曝光值EVa获得的相对曝光值。图30(b)例示了设置在成像单元20B中的参考曝光值EVb和通过以三个步长增加参考曝光值EVb和以三个步长减小参考曝光值EVb获得的相对曝光值。图30(c)例示了设置在成像单元20C中的参考曝光值EVc和通过以三个步长增加参考曝光值EVc和以三个步长减小参考曝光值EVc获得的相对曝光值。
分别设置在成像单元20A，20B和20C中的参考曝光值EVa，EVb和EVc是一般不同的成像单元20A，20B和20C的视场中的最佳曝光值。这里，在分别设置在成像单元20A和20B中的参考曝光值EVa和EVb之间和在分别设置在成像单元20B和20C中的参考曝光值EVb和EVc之间存在两个步长的差异。通过将3，2和1加入每一个与其相邻值存在两个步长的差异的参考曝光值EVa，EVb和EVc中和从其中减去1，2和3进行多步曝光拍摄。其结果是，对于三个成像单元20A，20B和20C，总共使用11个不同曝光值进行拍摄。
应该优先确定每个成像单元20的支架拍摄的步长的数量，以便具有相邻拍摄方向的成像单元20的曝光范围部分重叠。设计成这样是为了在HDR合成期间在相邻捕获图像之间实现曝光方面的关联性。
成像单元20A，20B和20C的每一个利用最佳参考曝光值和另外六个曝光值进行多步曝光拍摄，三个通过以三个步长增加参考曝光值获得，其它三个通过以三个步长减小参考曝光值获得。这防止了参考图29(a)和29(b)所述的“过浓阴影”和“过度加亮”出面在通过成像单元20A，20B和20C拍摄的图像中，因此消除了多步曝光拍摄中图像的浪费。进一步，与如迄今所作所有成像单元20A，20B和20C进行的11-步多步曝光拍摄相比，成像单元20A，20B和20C只利用包括参考曝光值的从+3到-3的七个步长进行支架拍摄，因此有助于显著缩短支架拍摄的时间。如上所述，本实施例对于成像单元20A到20F进行的支架拍摄，尽管只有少数的步长，但在HDR合成期间提供了明显较大的动态范围，因此允许无浪费的和有效的HDR全景图像合成。
图31是描述通过HDR合成部分420合成的全景图像的图形。显示在图31中的全景图像通过将成像单元20A到20F为了合成利用多个曝光值拍摄的图像的具有适当曝光值的捕获区域拼接在一起获得。例如，区域450是从对于成像单元20A的视场具有适当曝光值的由成像单元20A拍摄的捕获图像中提取的窗口外的场景。区域451是从对于成像单元20B的视场具有适当曝光值的由成像单元20B拍摄的捕获图像中提取的室内场景。
图32是描述按照本实施例进行多步曝光拍摄的步骤的流程图。
为成像单元20A到20F选择自动曝光(AE)和自动白平衡(AWB)以便着手利用成像单元20A到20F的每一个的最佳参考曝光值进行拍摄(S50)。
曝光设置部分400在成像单元20A到20F的每一个中设置以参考曝光值为中心的N个正和N个负相对曝光值(S52)。
使用成像单元20A到20F利用N个正和N个负相对曝光值进行支架拍摄(S54)。
HDR合成部分420将使用成像单元20A到20F通过支架拍摄获得的捕获图像的适当曝光区域拼接在一起，因此合成为高动态范围全景图像(S56)。
在上面给出的描述中，通过以给定数量的步长增加和减小参考曝光值进行多步曝光拍摄。将成像单元20A到20F通过多步曝光拍摄拍摄的捕获图像的适当曝光区域拼接一起，因此合成为高动态范围全景图像。作为一个修改例，可以从利用设置在成像单元20A到20F的每一个中的单独参考曝光值捕获的图像中合成伪高动态范围全景图像。下面将给出如何着手进行这种伪HDR合成的描述。
图33(a)到33(c)是描述HDR合成部分420用于进行伪HDR合成的方法的图形。
在伪HDR合成中，通过自动曝光控制和自动白平衡控制分别控制成像单元20A到20F的每一个，以便利用最佳曝光值拍摄单个图像。HDR合成部分420通过匹配拍摄方向彼此相邻的两个捕获图像之间的相应点合成HDR全景图像。此时，我们可以假设匹配点的亮度和颜色是相同的。进一步，通过自动曝光设置在成像单元20A到20F中的曝光值是已知的。因此，不用将捕获图像的每个像素的亮度和颜色信息舍成八个位地进行HDR合成。
更具体地说，假设由于三个成像单元20A，20B和20C之间的最佳曝光值的差异，成像单元20A拍摄的图像的八位亮度信息在显示在图33(a)中的亮度范围之内，成像单元20B拍摄的图像的八位亮度信息在显示在图33(b)中的亮度范围之内，以及成像单元20C拍摄的图像的八位亮度信息在显示在图33(c)中的亮度范围之内。
也就是说，在32-位高动态范围中，成像单元20B拍摄的图像的亮度在比成像单元20A拍摄的图像的亮度高3个位的范围中。进一步，成像单元20C拍摄的图像的亮度在比成像单元20B拍摄的图像的亮度高6个位的范围中。在这种情况下，成像单元20B拍摄的图像的像素相对于成像单元20A拍摄的图像的像素移动了3个位。成像单元20C拍摄的图像的像素相对于成像单元20A拍摄的图像的像素移动了9个位(3+6个位)。然后，在32-位范围中相加像素值。其结果是，可以获得大致17(8+3+6)-位的高动态范围像素值。
也可以通过依照成像单元20A到20F的每一个的最佳曝光值位移动色差信息，然后在32-位空间中相加像素值获取高动态范围色差信息。
[方位设置]
在上面给出的描述中，成像单元的拍摄方向未设置成特定方向。但是，如果将在前向的成像单元20A的拍摄方向设置成，例如，磁北，则拼接全景图像的中心面朝北。下面将给出适用于设置全景图像的方位的配置和为此进行的处理的描述。
图34是能够设置方位的全景电影流生成器200的功能配置图。下面将给出与显示在图11中的全景电影流生成器200不同的配置和操作的描述。
全景成像设备100的多视图成像部分10或主体部分30包含三轴磁强计252和三轴加速度传感器254。进一步，还可以包含三轴陀螺仪传感器。三轴磁强计252沿着三个轴检测地面磁场矢量。三轴加速度传感器254沿着三个轴检测全景成像设备100的加速度矢量。
理论上，只要在全景成像设备100中包含三轴陀螺仪(角速度)传感器、三轴加速度传感器、和三轴磁强计的至少一种，就可以通过沿着三个轴检测全景成像设备100的倾斜获取姿势信息。进一步，可以通过由三轴磁强计沿着三个轴检测地面磁场矢量获取方位信息。
将三轴磁强计252获取的方位信息供应给用户接口部分250。将三轴磁强计252、三轴加速度传感器254、和三轴陀螺仪传感器(如果包含的话)的至少一种获取的姿势信息供应给用户接口部分250。
用户接口部分250将在屏幕上显示全景成像设备100的多视图成像部分10拍摄的方位和全景成像设备100的姿势的指令供应给显示控制部分260。显示控制部分260以图形形式将有关拍摄方位和姿势的信息显示在操作/显示单元40上。进一步，用户接口部分250使，例如，指令出现在屏幕上。该指令提示用户调整多视图成像部分10的方向，以便使成像单元之一的拍摄方向是磁北。
图35(a)和35(b)和图36(a)和36(b)是描述适用于将在前向的成像单元20A的拍摄方向设置成磁北的用户界面的图形。
图35(a)是从该方位看过去的全景成像设备100的多视图成像部分10的示意图。适用于前向拍摄的成像单元20A处在操作/显示单元40的对侧上。在操作/显示单元40上显示引导，以提示用户调整多视图成像部分10的方向，以便将用作前相机的成像单元20A的拍摄方向设置成磁北。在图35(a)中用箭头指示三轴磁强计252测量的磁北。在成像单元20A的拍摄方向与磁北之间存在差异。
图35(b)是描述出现在操作/显示单元40上的屏幕的图形。六个成像单元20A到20F拍摄的图像通常分别显示在如图10(b)所示的操作/显示单元40的区域A到F中。但是，当选择与成像单元20A，即，前相机相联系的区域A时，如图35(b)所例示，只有成像单元20A拍摄的图像大尺寸地显示在操作/显示单元40上。
在显示成像单元20A拍摄的图像的区域A(标号42)的下面，通过罗盘的图标(标号44)显示三轴磁强计252测量的磁北。进一步，消息“将前相机的取向调整到磁北”出现在其下面(标号46)。当用户通过旋转全景成像设备100的主体部分30改变多视图成像部分10的取向时，成像单元20A的拍摄方向发生变化，因此改变了罗盘的磁北的取向。
用户依照显示的消息旋转全景成像设备100的主体部分30，直到用标号44表示的罗盘的磁北指向正上方，因此改变了成像单元20A的取向。
图36(a)和36(b)例示了成像单元20A，即，前相机的取向与三轴磁强计252测量的磁北对准时的状态。如图36(a)所例示，成像单元20A的取向与磁北对准。此时，罗盘的磁北指向正上方(标号44)，以及如图36(b)所例示，出现消息“好极了！”(标号46)。
如上所述，可以让用户设置全景成像设备100的主体部分30的取向，以便将成像单元20A，即，前相机的拍摄方向设置成磁北。其结果是，使拼接全景图像的中心与真北对准。通过将处在操作/显示单元40后侧的成像单元20A设置成前相机，以及将前相机的取向设置成磁北，使前相机的拍摄方向与全景图像的中心的方向之间的对应关系变得显而易见。应当注意到，全景成像设备100还包含三轴加速度传感器254。这使得可以不使用水准仪地检测多视图成像部分10的倾斜，以便校正多视图成像部分10以便在拼接处理期间是水平的。
在上面给出的描述中，将成像单元20A，即，前相机的拍摄方向设置成磁北。但是，可以将成像单元20A的拍摄方向设置成应该希望与全景图像的中心对准的任意角度。可替代地，可以将除了前相机之外的其它成像单元的拍摄方向设置成磁北或任意角度。
图37(a)和37(b)和图38(a)和38(b)是描述适用于将特定成像单元的拍摄方向设置成磁北的用户界面的图形。
假设三轴磁强计252测量的磁北处在在图37(a)中用箭头指示的方向上。这里，在成像单元20A到20F当中，成像单元20C处在与磁北最接近的方向上。
图37(b)例示了出现在操作/显示单元40上的屏幕。成像单元20A到20F拍摄的图像分别显示在区域A到F中(标号42)。因为成像单元20C处在与磁北最接近的方向上，所以罗盘显示在出现成像单元20C捕获的图像的区域C中，因此指示磁北的方向(标号44)。消息“将相机的取向调整到磁北”出现在区域A到F下面(标号46)。
用户依照显示的消息旋转全景成像设备100的主体部分30，直到用标号44表示的罗盘的磁北指向正上方，因此改变了成像单元20C的取向。
图38(a)和38(b)例示了成像单元20C的取向与三轴磁强计252测量的磁北对准时的状态。如图38(a)所例示，成像单元20C的取向与磁北对准。此时，罗盘的磁北指向正上方(标号44)，以及如图38(b)所例示，出现消息“好极了！”(标号46)。
如上所述，可以让用户设置全景成像设备100的主体部分30的取向，以便将特定成像单元的拍摄方向设置成磁北。取决于拍摄者的位置，可能难以将处在操作/显示单元40的对侧的成像单元20A的拍摄方向设置成磁北来拍摄。在这样的情况下，唯一必要的是将除了前相机之外的任何一台其它相机的拍摄方向设置成磁北。
因此，上面描述了本发明的实施例。本领域的普通技术人员应该明白，上面的实施例是例示性的，可以以各种方式修改这些组件和处理的组合，这样的修改例也在本发明的范围之内。
上面给出了作为多视图成像设备的一个例子，包括多视图成像部分10和主体部分30的全景成像设备100的描述。多视图成像部分10包括处在不同拍摄方向上的多个成像单元20A到20F。主体部分30包括操作/显示单元40。但是，多视图成像部分10的多个成像单元的至少一些可以处在相同方向上。尤其，如果多视图成像部分10包括处在相同方向的至少两个成像单元，以及如果这两个成像单元的视点的位置不同，则可以拍摄具有视差的图像。使用视差图像可以求出深度。其结果是，可以生成三维图像。如果视差图像是全景图像，则可以生成三维全景图像。这样的立体成像设备可以构成多视图成像设备的另一个例子，本领域的普通技术人员应该明白，上面实施例的各种特征组件和处理也可应用于这样的立体成像设备。
上述将整个天球全景图像取作全景图像的一个例子给出了本实施例的描述。但是，全景图像无需是整个天球全景图像。的确，全景图像可以是合成拍摄方向不同的多个相机拍摄的多个图像获得的图像。
应该注意到，本说明书中的“全景图像”不局限于狭义上的“全景图像”，即，风景或肖像图像、360°全显图像等，而是可以简单地指跨越宽广区域的图像。进一步，已经给出了在本实施例中生成像合成图像那样的全景图像的例子的描述。但是，输出的合成图像无需是所谓的全景图像。即使合成图像是任意尺寸的普通图像，也可应用本发明。可替代地，输出的合成图像可以是由具有不同分辨率的分层图像构成的图像。这样的分层图像可以这样形成，当放大图像的一个区域时，用较高分辨率的图像取代放大区域。
标号列表
10 多视图成像部分
12 相机外壳
14 紧固件
20A 到20F成像单元
30 主体部分
40 操作/显示单元
50 三脚架基座紧固孔
70 电影记录开始/停止按钮
74 静止图像拍摄按钮
75 相机冻结按钮
76 自动白平衡按钮
77 分组按钮
78 扩展控制按钮
80 三脚架
100 全景成像设备
200 全景电影流生成器
210 拍摄控制部分
220A 到220F帧存储器
230 电影流多路复用部分
232 运动检测部分
234 模式确定部分
236 控制信号生成部分
240 全景电影存储部分
242 全景拼接部分
246 切换部分
250 用户接口部分
252 三轴磁强计
254 三轴加速度传感器
260 显示控制部分
270 触摸面板控制部分
280 主处理器
290 辅助存储设备
300 总线接口/相机控制接口
310 通过屏蔽寄存器
320 控制数据通过逻辑
400 曝光设置部分
410 全景图像存储部分
420 HDR合成部分
430A 到430F 帧缓冲器
工业可应用性
本发明可应用于适合捕获合成图像的技术。

Claims (6)

1.一种图像捕获设备，包含：
多视图成像部分，包括多个成像单元；
曝光设置部分，适用于分别在多个成像单元的每一个中设置曝光值，其中该曝光设置部分在每个成像单元中设置单独参考曝光值；
存储部分，适用于存储由该曝光设置部分已经设置了曝光值的成像单元捕获的具有不同曝光值的捕获图像；以及
合成部分，适用于通过合成具有不同曝光值的捕获图像生成具有调整后的动态范围的捕获图像，其中
当合成利用参考曝光值捕获的具有不同曝光值的捕获图像时，该合成部分通过首先依照每个成像单元的参考曝光值移动每个像素的亮度值的位，然后合成亮度值，从而合成动态范围得到调整的捕获图像。
2.如权利要求1所述的图像捕获设备，
其中该曝光设置部分在每个成像单元中设置单独参考曝光值和相对曝光值，通过以相对曝光值以参考曝光值为中心的方式，以给定数量的步长改变参考曝光值获得该相对曝光值。
3.如权利要求2所述的图像捕获设备，
其中该曝光设置部分以为拍摄方向彼此相邻的成像单元设置的曝光值的范围部分重叠的方式为每个成像单元设置相对曝光值的给定数量的步长。
4.如权利要求2到3的任何一项所述的图像捕获设备，
其中该参考曝光值通过每个成像单元的自动曝光机构设置。
5.一种图像捕获方法，包含：
分别在多个成像单元的每一个中设置曝光值的曝光设置步骤，其中在每个成像单元中设置单独参考曝光值；
通过从存储由该曝光设置步骤已经设置了曝光值的成像单元捕获的具有不同曝光值的捕获图像的存储器中读取具有不同曝光值的捕获图像，并合成图像，生成具有调整后的动态范围的捕获图像的合成步骤，其中
当合成利用参考曝光值捕获的具有不同曝光值的捕获图像时，通过首先依照每个成像单元的参考曝光值移动每个像素的亮度值的位，然后合成亮度值，从而合成动态范围得到调整的捕获图像。
6.一种存储程序的计算机可读记录介质，该程序使计算机执行：
分别在多个成像单元的每一个中设置曝光值的曝光设置步骤，其中在每个成像单元中设置单独参考曝光值；
通过从存储由该曝光设置步骤已经设置了曝光值的成像单元捕获的具有不同曝光值的捕获图像的存储器中读取具有不同曝光值的捕获图像，并合成图像，生成具有调整后的动态范围的捕获图像的合成步骤，其中
当合成利用参考曝光值捕获的具有不同曝光值的捕获图像时，通过首先依照每个成像单元的参考曝光值移动每个像素的亮度值的位，然后合成亮度值，从而合成动态范围得到调整的捕获图像。
CN201280073714.4A 2012-06-11 2012-06-11 图像生成设备以及图像生成方法 Active CN104335569B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/003800 WO2013186806A1 (ja) 2012-06-11 2012-06-11 画像撮像装置および画像撮像方法

Publications (2)

Publication Number Publication Date
CN104335569A CN104335569A (zh) 2015-02-04
CN104335569B true CN104335569B (zh) 2017-08-25

Family

ID=49757680

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280073714.4A Active CN104335569B (zh) 2012-06-11 2012-06-11 图像生成设备以及图像生成方法

Country Status (5)

Country Link
US (1) US9979884B2 (zh)
EP (1) EP2860957B1 (zh)
JP (1) JP5881827B2 (zh)
CN (1) CN104335569B (zh)
WO (1) WO2013186806A1 (zh)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013031155A1 (ja) * 2011-08-30 2013-03-07 パナソニック株式会社 撮像装置
US9406028B2 (en) * 2012-08-31 2016-08-02 Christian Humann Expert system for prediction of changes to local environment
JP6782909B2 (ja) * 2014-09-10 2020-11-11 清水建設株式会社 撮影器具及びパノラマ撮影装置
US11205305B2 (en) 2014-09-22 2021-12-21 Samsung Electronics Company, Ltd. Presentation of three-dimensional video
US10257494B2 (en) * 2014-09-22 2019-04-09 Samsung Electronics Co., Ltd. Reconstruction of three-dimensional video
CN104486544B (zh) * 2014-12-08 2017-08-11 广东欧珀移动通信有限公司 一种全景照片的拍摄方法及装置
US10531071B2 (en) * 2015-01-21 2020-01-07 Nextvr Inc. Methods and apparatus for environmental measurements and/or stereoscopic image capture
US10536633B2 (en) 2015-02-06 2020-01-14 Panasonic Intellectual Property Management Co., Ltd. Image processing device, imaging system and imaging apparatus including the same, and image processing method
JP6361931B2 (ja) * 2015-04-23 2018-07-25 パナソニックＩｐマネジメント株式会社 画像処理装置及びこれを備えた撮像システムならびに画像処理方法
JP2016178435A (ja) * 2015-03-19 2016-10-06 カシオ計算機株式会社 撮像制御装置、撮像制御方法及びプログラム
KR102360453B1 (ko) * 2015-04-10 2022-02-09 삼성전자 주식회사 카메라 설정 방법 및 장치
JP6454414B2 (ja) * 2015-04-27 2019-01-16 株式会社日立ハイテクノロジーズ 荷電粒子線装置及び当該装置を用いた試料の観察方法
CN104869297A (zh) * 2015-06-15 2015-08-26 联想(北京)有限公司 图像处理方法和电子设备
JP6579706B2 (ja) * 2015-10-06 2019-09-25 株式会社トプコン 画像処理装置、画像処理方法および画像処理用プログラム
CN106817516A (zh) * 2015-11-30 2017-06-09 英业达科技有限公司 摄像整合系统及方法
CN105872393A (zh) * 2015-12-08 2016-08-17 乐视移动智能信息技术（北京）有限公司 高动态范围图像的生成方法和装置
KR20180111798A (ko) * 2016-01-03 2018-10-11 휴먼아이즈 테크놀로지즈 리미티드 파노라마 프레임 생성 프로세스에서 프레임의 적응적 스티칭
CN105530433A (zh) * 2016-01-28 2016-04-27 北京金久瑞科技有限公司 多相机系统的取像同步控制装置
JP6630176B2 (ja) * 2016-02-09 2020-01-15 キヤノン株式会社 画像処理装置およびその方法
EP3419497B1 (en) 2016-02-24 2022-06-01 Endochoice, Inc. Circuit board assembly for a multiple viewing element endoscope using cmos sensors
WO2017149875A1 (ja) 2016-02-29 2017-09-08 ソニー株式会社 撮像制御装置、撮像装置及び撮像制御方法
US10277824B2 (en) * 2016-03-10 2019-04-30 Visbit Inc. Time multiplexing programmable field of view imaging
WO2017155365A1 (en) * 2016-03-11 2017-09-14 Samsung Electronics Co., Ltd. Electronic apparatus for providing panorama image and control method thereof
KR101822169B1 (ko) * 2016-03-11 2018-01-25 삼성전자주식회사 파노라마 영상을 제공하는 전자 장치 및 그 제어 방법
EP3229070B1 (en) * 2016-04-06 2018-09-19 Facebook, Inc. Three-dimensional, 360-degree virtual reality camera exposure control
US10200624B2 (en) * 2016-04-06 2019-02-05 Facebook, Inc. Three-dimensional, 360-degree virtual reality exposure control
CN105721788B (zh) * 2016-04-07 2019-06-07 福州瑞芯微电子股份有限公司 一种多摄像头电子设备及其拍摄方法
CN106161967B (zh) * 2016-09-13 2020-03-17 维沃移动通信有限公司 一种逆光场景全景拍摄方法及移动终端
CN106570849A (zh) * 2016-10-12 2017-04-19 成都西纬科技有限公司 一种图像优化方法
KR101806840B1 (ko) 2016-12-15 2017-12-11 인천대학교 산학협력단 다수의 카메라를 이용한 고해상도 ３６０도 동영상 생성 시스템
US9921464B1 (en) * 2017-05-03 2018-03-20 Seung Kwon Choi Gimbal for 360-degree video and picture shooting
US11049218B2 (en) 2017-08-11 2021-06-29 Samsung Electronics Company, Ltd. Seamless image stitching
CN107566749B (zh) * 2017-09-25 2020-02-21 维沃移动通信有限公司 拍摄方法及移动终端
WO2019061020A1 (zh) * 2017-09-26 2019-04-04 深圳市大疆创新科技有限公司 图像生成方法、图像生成装置和机器可读存储介质
CN111373730B (zh) * 2017-09-28 2021-04-13 深圳传音制造有限公司 全景拍摄方法及终端
DE102017123261A1 (de) * 2017-10-06 2019-04-11 Soccerwatch.Tv Gmbh Panoramakamera zur Videoaufnahme von Spielfeldern sowie ein Verfahren zum Betrieb dieser Panoramakamera
CN107566739B (zh) * 2017-10-18 2019-12-06 维沃移动通信有限公司 一种拍照方法及移动终端
US11057573B2 (en) * 2017-12-20 2021-07-06 Texas Instruments Incorporated Multi camera image processing
US10764496B2 (en) * 2018-03-16 2020-09-01 Arcsoft Corporation Limited Fast scan-type panoramic image synthesis method and device
CN108377345B (zh) * 2018-04-11 2020-04-03 浙江大华技术股份有限公司 一种曝光参数值确定方法、装置、多目摄像机及存储介质
JP2018186514A (ja) * 2018-06-13 2018-11-22 パナソニックＩｐマネジメント株式会社 画像処理装置及びこれを備えた撮像システムならびに画像処理方法
FR3082690B1 (fr) * 2018-06-15 2021-05-21 Safran Electronics & Defense Dispositif de veille proximale
JP7378431B2 (ja) * 2018-06-18 2023-11-13 マジック リープ， インコーポレイテッド フレーム変調機能性を伴う拡張現実ディスプレイ
WO2019246044A1 (en) 2018-06-18 2019-12-26 Magic Leap, Inc. Head-mounted display systems with power saving functionality
CN109348124B (zh) * 2018-10-23 2021-06-11 Oppo广东移动通信有限公司 图像传输方法、装置、电子设备和存储介质
US11375104B2 (en) * 2019-08-15 2022-06-28 Apple Inc. System for producing a continuous image from separate image sources
CN110581956A (zh) * 2019-08-26 2019-12-17 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN114143472A (zh) * 2019-09-02 2022-03-04 深圳市道通智能航空技术股份有限公司 图像曝光方法、装置、拍摄设备及无人机
US20230031023A1 (en) * 2021-07-29 2023-02-02 Qualcomm Incorporated Multiple camera system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005197952A (ja) * 2004-01-06 2005-07-21 Sony Corp 撮像装置及び撮像方法
CN101582993A (zh) * 2008-05-14 2009-11-18 富士胶片株式会社 图像处理装置、方法以及包含程序的计算机可读记录介质
JP2010098616A (ja) * 2008-10-17 2010-04-30 Sanyo Electric Co Ltd 画像処理回路
CN101963751A (zh) * 2010-08-19 2011-02-02 西北工业大学 高分辨率实时全景高动态范围图像获取装置及方法
JP2012080432A (ja) * 2010-10-05 2012-04-19 Sony Computer Entertainment Inc パノラマ画像生成装置およびパノラマ画像生成方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6677992B1 (en) * 1997-10-23 2004-01-13 Olympus Corporation Imaging apparatus offering dynamic range that is expandable by weighting two image signals produced during different exposure times with two coefficients whose sum is 1 and adding them up
JPH11355624A (ja) * 1998-06-05 1999-12-24 Fuji Photo Film Co Ltd 撮影装置
JP4003151B2 (ja) * 1998-07-09 2007-11-07 富士フイルム株式会社 撮像装置
US6546197B2 (en) * 2000-03-15 2003-04-08 Fuji Photo Film Co., Ltd. Method and apparatus of correcting image data picked up from photographic film
JP2002251608A (ja) * 2001-02-23 2002-09-06 Mixed Reality Systems Laboratory Inc 撮像装置の制御装置及びその制御方法、画像処理装置及びその方法、並びにプログラムコード、記憶媒体
US20030043292A1 (en) * 2001-08-31 2003-03-06 Pyle Norman C. System and method for automatic capture of light producing scenes
JP2004048561A (ja) * 2002-07-15 2004-02-12 Fuji Photo Film Co Ltd 撮像装置及び測光装置
US7561731B2 (en) * 2004-12-27 2009-07-14 Trw Automotive U.S. Llc Method and apparatus for enhancing the dynamic range of a stereo vision system
JP4932660B2 (ja) * 2007-10-05 2012-05-16 富士フイルム株式会社 画像記録装置及び画像記録方法
JP2010074535A (ja) 2008-09-18 2010-04-02 Fujifilm Corp 撮影装置及び撮影方法
WO2010118177A1 (en) * 2009-04-08 2010-10-14 Zoran Corporation Exposure control for high dynamic range image capture
JP5464955B2 (ja) 2009-09-29 2014-04-09 株式会社ソニー・コンピュータエンタテインメント パノラマ画像表示装置
JP5701664B2 (ja) * 2011-04-07 2015-04-15 オリンパス株式会社 撮像装置
JP5693355B2 (ja) * 2011-04-27 2015-04-01 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005197952A (ja) * 2004-01-06 2005-07-21 Sony Corp 撮像装置及び撮像方法
CN101582993A (zh) * 2008-05-14 2009-11-18 富士胶片株式会社 图像处理装置、方法以及包含程序的计算机可读记录介质
JP2010098616A (ja) * 2008-10-17 2010-04-30 Sanyo Electric Co Ltd 画像処理回路
CN101963751A (zh) * 2010-08-19 2011-02-02 西北工业大学 高分辨率实时全景高动态范围图像获取装置及方法
JP2012080432A (ja) * 2010-10-05 2012-04-19 Sony Computer Entertainment Inc パノラマ画像生成装置およびパノラマ画像生成方法

Also Published As

Publication number Publication date
WO2013186806A1 (ja) 2013-12-19
EP2860957A1 (en) 2015-04-15
EP2860957B1 (en) 2020-11-18
US20150116453A1 (en) 2015-04-30
US9979884B2 (en) 2018-05-22
CN104335569A (zh) 2015-02-04
JP5881827B2 (ja) 2016-03-09
JPWO2013186806A1 (ja) 2016-02-01
EP2860957A4 (en) 2016-03-02

Similar Documents

Publication Publication Date Title
CN104335569B (zh) 图像生成设备以及图像生成方法
CN104350734B (zh) 图像生成设备以及图像生成方法
CN104365081B (zh) 图像生成设备以及图像生成方法
JP6151809B2 (ja) 画像撮像装置および画像撮像方法
US8988558B2 (en) Image overlay in a mobile device
WO2021012855A1 (zh) 一种全景图像生成系统及全景图像生成方法
CN107925753A (zh) 利用动态相机进行3d图像捕捉的方法和系统
CN108476293B (zh) 多功能相机及其控制方法、穿戴设备、云台、飞行器
CN106605404A (zh) 相机的初始位置设定方法、相机及相机系统
JP2022128489A (ja) 撮像装置
WO2013186805A1 (ja) 画像撮像装置および画像撮像方法
US10567627B2 (en) Point of view camera and imaging device
JP2020042064A (ja) 表示制御装置、撮像装置、制御方法、プログラム、及び、記憶媒体
US11849100B2 (en) Information processing apparatus, control method, and non-transitory computer readable medium
US10051192B1 (en) System and apparatus for adjusting luminance levels of multiple channels of panoramic video signals
JP6704301B2 (ja) 撮像装置、及び撮像表示システム
US20220385830A1 (en) Electronic apparatus, control method, and non-transitory computer readable medium
US20200412928A1 (en) Imaging device, imaging system, and imaging method
JP2022137136A (ja) 表示装置
JP2020016883A (ja) 撮像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant