CN114073069A - 成像系统、图像处理设备、成像装置和记录介质 - Google Patents

Abstract

一种成像系统包括面向不同方向的多个成像装置和被配置为输出基于捕获的图像生成的输出图像的输出单元。多个成像装置被配置为捕获图像。已经基于捕获的图像生成的输出图像在至少第一方向上覆盖360度范围。在输出图像中，捕获的图像中反映对象的区域被放置在预定位置以防止该区域在输出图像的边缘被切断。

Description

成像系统、图像处理设备、成像装置和记录介质

技术领域

本公开涉及成像系统，更具体而言，涉及成像系统、图像处理设备、成像装置和记录介质。

背景技术

传统上，已知一种成像系统，其使用多个鱼眼透镜捕获多个局部图像，对捕获的局部图像执行失真校正和投影变换，并将鱼眼透镜捕获的局部图像组合生成一个球面图像(spherical image)。在使用专用查看器或虚拟现实(VR)查看球面图像时，通过以规定视角投影球面图像而生成图像。然而，当使用通用图像查看器查看球面图像或使用专用查看器或VR查看器选择图像时，以球面图像格式显示矩形图像。在将球面图像显示为矩形图像的情况下，当图像中包含人物(例如，摄影者)作为对象时，该人物的整个面部可能会在捕获的图像的边缘被切断，从而导致图像看起来不自然。

JP-2019-09574公开了与自拍相关的技术。

在生成通过对自拍捕获的球面图像进行投影变换而获得的平面图像时，JP-2019-009574的技术显示使得摄影者本身定位于图像的中心的图像。该技术处理了由于每个显示图像的摄影者面部的位置和倾斜度不同而导致的摄影者面部可识别性差的问题。

JP-2019-009574的图像处理设备包括：图像显示装置，用于显示整个天球图像数据；摄影者检测装置，用于检测摄影者；以及控制装置，用于控制图像显示装置以在摄影者检测装置检测到摄影者时，在图像的中心显示摄影者。然而，这样的技术仍然无法形成在至少一个方向上覆盖360度范围的看起来自然的图像，例如球面图像。

引用列表

专利文献

[专利文献1]JP-2019-009574-A

发明内容

技术问题

鉴于上述情况，本公开的目的在于提供一种成像系统，其能够输出在至少一个方向上覆盖360度范围的输出图像，同时防止对象的一部分在这种输出图像中被切断。

问题的解决方案

鉴于上述目的，提供了一种成像系统，其包括面向不同方向的多个成像装置和被配置为输出基于捕获的图像生成的输出图像的输出单元。多个成像装置被配置为捕获图像。已经基于捕获的图像生成的输出图像在至少第一方向上覆盖360度范围。在输出图像中，捕获的图像中反映对象的区域被放置在预定位置，以防止该区域在输出图像的边缘被切断。

发明的有益效果

本公开的实施方式能够输出在至少一个方向上覆盖360度范围的图像，同时防止对象的一部分在图像的边缘被切断。

附图说明

附图旨在描绘本公开的示例实施方式，并且不应被解释为限制其范围。除非明确指出，否则不应认为附图是按比例绘制的。此外，在多个视图中，相同或相似的附图标记表示相同或相似的部件。

[图1]图1是根据本公开的实施方式的球面图像捕获设备的剖面图。

[图2]图2是根据本公开的实施方式的球面图像捕获设备的硬件配置的框图。

[图3]图3是用于描述根据本公开的实施方式的球面图像捕获设备的整个图像处理的流程的图。

[图4A]图4A是用于描述球面图像的生成的数据流图。

[图4B]图4B是球面图像的平面数据结构的图示。

[图4C]图4C是球面图像的球面数据结构的图示。

[图5]图5是根据本公开的实施方式的球面图像捕获设备的功能框图。

[图6]图6A和图6B(图6)是用于描述根据本公开的实施方式的球面图像捕获设备的取向的定义的图示。

[图7]图7A、图7B、图7C和图7D(图7)是用于描述根据本公开的实施方式的对球面图像执行的滚转和俯仰方向的旋转校正(天顶校正)和偏航方向的旋转校正的图示。

[图8]图8A、图8B和图8C(图8)是用于描述根据本公开的实施方式的主要对象相对于球面图像在水平角方向上的位置变化的图示。

[图9]图9A、图9B和图9C(图9)是用于描述根据本公开的实施方式的主要对象相对于球面图像在垂直角方向上的位置变化的图示。

[图10]图10是根据本公开的实施方式的由球面图像捕获设备执行的球面图像捕获过程的流程图。

[图11]图11是根据另一个实施方式的成像系统的整体配置的示意图。

[图12]图12是构成根据另一个实施方式的成像系统的信息处理设备的硬件框图。

具体实施方式

本文使用的术语仅出于描述特定实施方式的目的，并不旨在限制本公开。如本文所用，单数形式“一”和“该”也旨在包括复数形式，除非上下文另有明确指出。

在描述附图中所示的实施方式时，为了清楚起见采用了特定术语。然而，本说明书的公开内容并不旨在限于如此选择的特定术语，并且应当理解，每个特定元件包括具有相同功能、以相似方式操作并获得相似结果的所有技术等同物。

参照附图详细描述本公开的实施方式。在所有附图中，相同的附图标记用于相同或对应的部件，并且可以省略对其的冗余描述。

在描述附图中所示的优选实施方式时，为了清楚起见采用了特定术语。然而，本说明书的公开内容并不旨在限于如此选择的特定术语，并且应当理解，每个特定元件包括具有相同功能、以相似方式操作并获得相似结果的所有技术等同物。

在描述附图中所示的优选实施方式时，为了清楚起见采用了特定术语。然而，本说明书的公开内容并不旨在限于如此选择的特定术语，并且应当理解，每个特定元件包括具有相同功能、以相似方式操作并获得相似结果的所有技术等同物。在下面的实施方式中，描述了只有球面图像捕获设备10构成成像系统的情况。然而，成像系统的配置不特别限于根据本实施方式的配置。在一些实施方式中，球面图像捕获设备10和信息处理设备可以构成成像系统。

在下文中，参照图1至图10描述根据本实施方式的球面图像捕获设备的概略配置。图1是根据本实施方式的球面图像捕获设备10的剖面图。图1中的球面图像捕获设备10包括成像体12、保持成像体12和诸如控制板和电池的部件的壳体14以及设置在壳体14上的快门按钮18。

图1所示的成像体12包括两个透镜系统20A和20B(成像光学系统)和两个图像传感器22A和22B。每个图像传感器22A和22B例如可以是电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器。图像传感器22A和22B被布置为使得成像区域面向相反方向。在本实施方式中，描述了提供两个图像传感器22A和22B作为用于两个透镜系统20A和20B的多个成像装置的情况。然而，旨在不受此限制。在另一个实施方式中，可以将一个图像传感器的每个不同部分用作成像装置，并且可以通过多个透镜系统20A和20B在一个图像传感器的每个部分上形成图像。透镜系统20被配置为由例如六组七个元件或十组十四个元件组成的鱼眼透镜。在图1所示的实施方式中，上述鱼眼透镜的全视角大于180度(＝360度/n，其中n表示光学系统的数量，n为2)，优选为190度或更大。在本实施方式中，描述了使用分别具有大于180度的总视角的两个鱼眼透镜的情况。旨在不受此限制。可以使用三个或更多个透镜系统和图像传感器，只要作为整体获得预定视角即可。此外，球面图像捕获设备10不限于鱼眼透镜，可以包括其他类型的透镜，例如广角透镜或超广角透镜，只要作为整体获得预定视角即可。

参照图像传感器22A和22B确定两个透镜系统20A和20B的光学元件(透镜、棱镜、滤光器和孔径光阑)的相对位置。更具体而言，进行定位使得每个透镜系统20A和20B的光学元件的光轴与对应的一个图像传感器22的光接收区域正交地定位在该光接收区域的中心部分处，并且使得光接收区域用作对应的一个鱼眼透镜的成像平面。为了减小视差，可以采用折叠光学系统。折叠光学系统是其中由两个透镜系统20A和20B会聚的光可以被两个直角棱镜分给两个图像传感器的系统。然而，本申请不限于这种配置，可以使用三重折射结构以进一步减小视差，或者可以使用笔直光学系统以降低成本。

在图1所示的实现方式中，透镜系统20A和20B具有相同的规格并且沿彼此相反的方向定向，使得它们的光轴彼此重合。图像传感器22A和22B将接收到的光的光分布转换成图像信号，并将图像帧顺序地输出到控制器板的图像处理块。如稍后详细所述，由各图像传感器22A和22B捕获的图像组合生成在4π球面度的立体角上的图像(在下文中，这种图像被称为球面图像)。球面图像是通过拍摄多个图像(从拍摄位置可看到所有方向)并将拍摄的图像组合而获得的。虽然在下面描述的示例实现方式中假设要生成球面图像，但也可以生成全向图像，即，通过仅在水平面内拍摄360度获得的所谓全景图像，只要它在至少一个方向上覆盖360度范围即可。替代地，也可以生成作为通过在水平面内全向拍摄或拍摄360度获得的图像的一部分的图像。(例如，从地平线水平360度和垂直90度拍摄的全天空(穹顶)图像)。在本实施方式中，球面图像可以作为静止图像或作为运动图像获得。

图2是根据本实施方式的球面图像捕获设备10的硬件配置的框图。球面图像捕获设备10包括数码相机处理器(以下简称为处理器)100、镜筒单元102和与处理器100连接的各种元件。镜筒单元102包括两对透镜系统20A、20B和图像传感器22A、22B。图像传感器22由来自处理器100的中央处理单元(CPU)130的命令控制。稍后将详细描述CPU 130。此外，处理器100和CPU 130可以单独或一起被称为电路处理电路。

处理器100包括图像信号处理器(ISP)108(108A、108B)、直接存储器访问控制器(DMAC)110和用于仲裁存储器访问的仲裁器(ARBMEMC)112。另外，处理器100包括用于控制存储器访问的存储器控制器(MEMC)114、失真校正-合成操作块118和面部检测块119。ISP108A和108B分别对通过图像传感器22A和22B的信号处理输入的图像执行自动曝光(AE)控制、自动白平衡(AWB)设置和伽马设置。在图2中，对应于两个图像传感器22A和22B提供两个ISP 108A和108B。然而，这只是一个例子，并且可以为两个图像传感器22A和22B提供一个ISP。

MEMC 114连接至同步动态随机存取存储器(SDRAM)116，其临时存储在ISP 108A、108B和失真校正-合成操作块118的处理中使用的数据。失真校正-合成操作块118基于来自运动传感器120的信息对来自两对透镜系统20和图像传感器22的两个局部视图图像执行失真校正和垂直校正并合成它们。运动传感器120可以包括三轴加速度传感器、三轴角速度传感器、地磁传感器等。面部检测块119从图像执行面部检测并识别人物面部的位置。作为面部检测块119的补充或替代，可以提供用于识别诸如人物的全身图像、诸如猫或狗的动物的面部或全身、汽车或鲜花的其他对象的物体识别块。

处理器100还包括DMAC 122、图像处理块124、CPU 130、图像数据传送器126、SDRAMC 128、存储卡控制块140、USB块146、外围装置块150、音频单元152、串行块158、LCD(液晶显示器)驱动器162和桥168。

CPU 130控制球面图像捕获设备10的元件的操作。图像处理块124对图像数据执行各种图像处理。处理器100包括调整大小块(resize block)132。调整大小块132通过内插值放大或缩小图像数据的大小。处理器100包括静止图像压缩块134。静止图像压缩块134是用于压缩和扩展诸如JPEG或TIFF格式的静止图像的编解码器块。静止图像压缩块134用于生成所生成的球面图像的静止图像数据。处理器100包括运动图像压缩块136。运动图像压缩块136是用于压缩和扩展诸如MPEG-4AVC/H.264格式的运动图像的编解码器块。运动图像压缩块136用于生成所生成的球面图像的视频数据。另外，处理器100包括电源控制器137。

图像数据传送器126传送已经由图像处理块124执行过图像处理的图像。SDRAMC128控制与处理器100连接并在处理器100的图像处理期间临时存储图像数据的SDRAM 138。存储卡控制块140控制对插入到存储卡插槽142的存储卡和闪存ROM 144的数据读取和写入，存储卡可拆卸地插入存储卡插槽142中。USB块146控制与经由USB连接器148连接的外部装置(例如个人计算机)的USB通信。外围装置块150连接至电源开关166。

音频单元152与用于从用户接收音频信号的麦克风156和用于输出音频信号的扬声器154连接，以控制音频输入和输出。串行块158控制与外部装置的串行通信并连接至无线NIC(网络接口卡)160。在本实施方式中，经由诸如Wi-Fi(注册商标)的无线局域网(LAN)建立无线通信。然而，其中不旨在限制。替代地，Bluetooth(注册商标)或无线USB可用于无线通信。可以通过诸如第三代移动通信系统(3G)、第四代移动通信系统(4G)或第五代移动通信系统(5G)的移动通信系统建立通信。5G通信系统在高速、大容量、低延迟等方面优于4G，并且有利于将图像数据从球面图像捕获设备10传输到外部装置。液晶显示器(LCD)驱动器162是LCD 164的驱动电路，并将图像数据转换为用于在LCD 164上显示各种信息的信号。除了图2所示的内容，可以包括诸如HDMI(高清晰度多媒体接口)(注册商标)的视频接口。

闪存ROM 144存储写入可由CPU 130解码的代码中的控制程序和各种参数。当通过操作电源开关166接通电源时，控制程序被加载到主存储器上，并且CPU 130根据读入主存储器中的程序来控制装置的各个单元的操作。同时，SDRAM 138和本地SRAM(静态随机存取存储器)临时存储控制所需的数据。通过使用可重写闪存ROM 144，可以改变控制程序和控制参数，并且可以容易地更新功能的版本。

图3是用于描述根据本实施方式的球面图像捕获设备的整个图像处理的流程的图。

如图3所示，每个图像传感器22A和22B在规定的曝光条件参数下捕获图像。随后，图2所示的ISP 108A和108B分别对从图像传感器22A和22B输出的图像进行第一图像信号处理(第一处理)。在第一图像信号处理中，进行光学暗区(OB)校正处理、缺陷像素校正处理、线性校正处理、阴影校正处理和区域划分平均处理。处理后的数据存储在存储器300中。

在第一图像信号处理(ISP1)完成后，ISP 108A和108B随后执行第二图像信号处理(第二处理)。在第二图像信号处理中，执行白平衡(WB)增益处理176、Bayer内插值处理、颜色校正处理、伽马(γ)校正处理、YUV转换处理和边缘增强(YCFLT)处理。处理后的数据存储在存储器300中。

自动曝光控制单元170利用区域划分平均处理获得的区域积分值，将图像传感器22A、22B设置为合适的曝光值，以使双眼图像的图像边界区域的亮度彼此相似。作为曝光条件参数，可以使用快门速度、ISO敏感度和光圈值等，但是光圈值可以是固定值。通过将图像传感器22A和22B的快门速度设置为相同，可以令人满意地连接经过图像传感器22A和22B的运动物体。图像传感器22A和22B的曝光条件参数从自动曝光控制单元170设置到图像传感器22A和22B的AE寄存器172A和172B。基于通过区域划分平均处理计算的每个划分区域的RGB的积分值数据，白平衡计算单元174计算图像传感器22A和22B的白平衡处理的参数。自动曝光控制单元170和白平衡计算单元174基于面部检测块119的检测结果等来优化皮肤的亮度和颜色。

将第二图像信号处理后的图像数据发送到失真校正-合成操作块118，失真校正-合成操作块118执行失真校正合成操作，生成球面图像。然后，基于从运动传感器120接收到的信息，失真校正和合成操作执行代表倾斜度校正的天顶校正和旋转校正。例如，当图像是静止图像时，将图像在图2的静止图像压缩块134中适当地进行JPEG压缩，并将数据存储于存储器300中，并存储(标记)文件。

例如，当图像是运动图像时，将图像在图2中的运动图像压缩块136处适当地转换为诸如MPEG-4AVC/H.264的运动图像格式，并将数据存储于存储器300中，并存储(标记)文件。在本实施方式中，假设图像数据作为文件存储在内部存储区域中。然而，图像数据可以存储在诸如SD卡的介质中。使用无线LAN(Wi-Fi(注册商标))、Bluetooth(注册商标)等将数据传送到作为智能手机(移动终端等)的信息处理设备50。

在下文中，参照图4A、图4B和图4C提供与球面图像的生成和所生成的球面图像相关的描述。图4A是每个图像的数据结构和在生成球面图像的过程中的图像的数据流的图示。

首先，由每个图像传感器22A和22B直接捕获的图像大致覆盖整个球体的半球作为视场。穿过每个透镜系统20(20A/20B)的光聚焦在对应的图像传感器22(22A/22B)的光接收区域上，以根据预定的投影系统形成图像。图像传感器22(22A/22B)是限定光接收区域的平面区域的二维图像传感器。因此，由图像传感器22形成的图像是由平面坐标系表示的图像数据。

这样形成的图像是典型的鱼眼图像，其包含作为整体的图像圈，每个捕获区域投影到该图像圈中，如图4A中的局部图像A和局部图像B所示。

然后，由多个图像传感器22A和22B捕获的多个局部图像经过失真校正和合成处理以形成球面图像(等矩形格式的图像)。在合成处理中，从每个平面局部图像生成构成互补半球部分的球面图像。然后，通过匹配半球部分的重叠区域，通过拼接处理将包括各半球部分的图像接合在一起，并合成球面图像以生成包括整个球的全球面图像。各半球部分的图像包括重叠区域，但在合成过程中，重叠区域被混合以使两个图像之间的接合看起来自然。

图4B是本公开的实施方式中使用的球面图像的图像数据的平面数据结构的图示。

图4C是球面图像的图像数据的球面数据结构的图示。

如图4B所示，球面图像中的图像数据由具有与相对于预定轴的角度对应的垂直角

和与围绕该轴的旋转角对应的水平角θ的坐标的像素值阵列表示。水平角θ表示在0到360度(或-180度到+180度)的范围内，垂直角

表示在0到180度(或-90度到+90度)的范围内。

如图4C所示，球面图像格式的每对坐标值(θ，

)都与表示以成像点为中心的全方位的球面上的某个点相关联，该全方位被映射到整个天球图像上。可以使用预定的转换表使通过鱼眼透镜捕获的图像的平面坐标与整个天球图像中球面上的坐标之间的关系相互相关联。转换表是事先在制造商等处基于各透镜光学系统的设计数据等并按照预定的投影模型而生成的，并且数据用于将局部图像转换为球面图像。

在所描述的实施方式中，要输出的图像(输出图像)是由球面坐标系(具有半径矢量为1和两个偏离角θ和

的极坐标系)表示的球面图像。这种球面图像涉及水平角方向的360度，还涉及与水平角方向正交的垂直角方向的360度环行(通过组合各自涉及180度的两个半圆获得的整圆)。然而，并不旨在受此限制。

只要要输出的图像是在至少一个方向上覆盖360度范围的图像就是令人满意的。在另一个实施方式中，输出图像可以是在垂直角方向上具有预定视角并在水平角方向上覆盖360度范围的全向图像(360度全景图像)。替代地，图像可以是在垂直角方向上具有0到90度的视角并在水平角方向上覆盖360度范围的全天空图像(穹顶图像)。使用全向图像时，它用半径矢量为1、一个偏离角为θ且轴向位移为z的圆柱坐标系表示。使用全天空图像时，球面坐标系的垂直角

为0到90度，用于表示全天空图像。

在下文中，参照图5至图10描述由根据本实施方式的球面图像捕获设备10执行的球面图像捕获过程。图5是用于描述由根据本实施方式的球面图像捕获设备10执行的球面图像捕获过程的功能框图。

如图5所示，图像处理单元200包括选择接收单元210、局部图像获取单元220(图像获取单元)、对象识别单元230(识别单元)、图像合成单元240、倾斜度检测单元250以及数据输出处理单元260。

在本实施方式中，球面图像捕获设备10具有多种模式，其中一种模式为人物拍摄模式。人物拍摄模式是用户在拍摄作为主要对象的人物时使用的模式。选择这种模式时，选择适合将人物拍摄为主要对象的这种情况的图像拍摄处理和参数。尽管球面图像捕获设备10可以具有一些其他模式，但是以下描述是假设除人物拍摄模式以外的别的模式是常规模式来给出的。选择接收单元210接收对多种模式之一的选择。

在下面描述的示例实现方式中，假设人物拍摄模式是用于主要对象的模式的示例。然而，主要对象不限于人物。各种类型的物体识别技术是已知的，并且在其他实施方式中，球面图像捕获设备10可以具有用于拍摄诸如猫或狗的动物的模式，或拍摄诸如汽车和鲜花的其他物体的别的模式。

局部图像获取单元220获取通过面向不同方向的多个透镜系统20A和20B由图像传感器22A和22B捕获的局部图像作为输入图像。如上所述，获取的多个局部图像中的每一个具有不同的捕获范围。

在接收到人物拍摄模式的选择时，选择接收单元210设置对检测到的面部区域给予高优先级的拍摄模式以及分别用于图像传感器22(22A和22B)和ISP 108(108A和108B)的图像处理参数。这种设置能够以最佳方式再现人皮肤的亮度和颜色，从而对用户来说看起来自然。

对象识别单元230识别在捕获的局部图像中反映的预定对象，并生成包括对象区域的位置信息的对象识别结果。对象区域的位置信息是限定被识别为对象的区域的外形(例如矩形)的坐标值(当被识别的对象的区域为矩形时，四个角的坐标值)。替代地，位置信息为中心坐标值和大小(当被识别的对象的区域为矩形时，矩形的中心坐标值、垂直大小和水平大小)。此外，对象的数量不限于一个，并且可以检测不止一个对象。在这种情况下，检测每个对象的位置信息。

此外，对象识别单元230能够在多个局部图像上识别对象。在多个局部图像上识别的对象的区域的位置信息(平面坐标系)被适当地映射到球面图像的坐标系(球面坐标系)上。

然而，不旨在受此限制。在一些实施方式中，在获得的球面图像(合成图像)中识别对象之前，对多个局部图像执行失真校正和合成处理。

图2中的面部检测块119用于识别对象，但不旨在受此限制。在本实施方式中，当选择人物拍摄模式时，假设对象为人物的面部或全身。但是，当准备用于拍摄动物或其他物体的模式时，对象可以是动物的面部或全身、物体的一部分或全部。

倾斜度检测单元250通过控制图2中的运动传感器120来检测球面图像捕获设备10(成像体12)相对于规定的参考方向的倾斜度。通常，规定的参考方向是指施加重力加速度的垂直方向。倾斜度检测单元250测量运动传感器120的每个加速度分量并生成倾斜度检测结果。基于倾斜度检测结果，执行稍后将描述的天顶校正。

上面参照图5描述的图像合成单元240通过对捕获的多个局部图像执行失真校正和合成处理并合成处理后的局部图像来生成球面图像。图像合成单元240接收从选择接收单元210输出的选择模式，并根据在人物拍摄模式和常规模式之间选择的模式切换其自身的操作。图像合成单元240构成本实施方式中的生成单元。

更具体地，图像合成单元240包括旋转量确定单元242和图像旋转单元244。图像旋转单元244对由图像合成单元240生成的球面图像施加滚转、俯仰和偏航方向的旋转校正。旋转量确定单元242确定用于由图像旋转单元244执行的旋转校正的滚转、俯仰和偏航方向中的每一个方向的旋转量。

在常规模式下，基于倾斜度检测单元250的倾斜度检测结果，图像旋转单元244在滚转和俯仰方向上执行旋转校正(天顶校正)，如果需要，还在偏航方向上执行旋转校正。在本实施方式中，在人物拍摄模式下，除了倾斜度检测单元250的倾斜度检测结果之外，图像旋转单元244还基于对象识别单元230的识别结果在滚转、俯仰和偏航方向上执行旋转校正。

下面参照图6A、图6B、图7A、图7B、图7C和图7D描述在常规模式下基于倾斜度检测结果执行的滚转和俯仰方向的旋转校正(天顶校正)和偏航方向的旋转校正。

图6A和图6B是用于描述根据本实施方式的球面图像捕获设备10的取向的定义的图示。图6A表示从球面图像捕获设备10的侧面观察的取向的定义，图6B表示从球面图像捕获设备10的前面观察的取向的定义。

如图6A和图6B所示，球面图像捕获设备10的装置角度被定义为滚转、俯仰和偏航。由于通过球面图像捕获设备10的两个透镜中心的光轴方向为前后方向，因此旋转角(滚转)是围绕球面图像捕获设备10的轴和前后方向的角度，旋转角(俯仰)是围绕关于球面图像捕获设备10的左右方向的轴的角度，旋转角(偏航)是围绕关于球面图像捕获设备10的上下方向的轴的角度。使以一个透镜(例如，与快门按钮18所在的一侧相对的透镜)作为前表面的球面图像捕获设备10弯曲的旋转由俯仰表示。围绕球面图像捕获设备10的透镜光轴的侧向旋转由滚转表示，并且围绕球面图像捕获设备10的外壳的中心轴的旋转由偏航表示。

图7A、图7B、图7C和图7D是用于描述根据本实施方式的施加于球面图像的滚转和俯仰方向的旋转校正(天顶校正)和偏航方向的旋转校正的图示。

特别地，图7A和图7B是用于描述天顶校正前的球面图像和所生成的球面图像的定义的图示。图7C和图7D是用于描述天顶校正后的球面图像和所生成的球面图像的定义的图示。

如上所述，球面图像格式的图像数据被表示为像素值阵列，其中与相对于特定轴z0的角度对应的垂直角

和与围绕轴z0的旋转角度对应的水平角θ是坐标。

如果没有进行校正，则参照球面图像捕获设备10定义特定轴z0。例如，轴z0被定义为从底部到顶部穿过壳体14的中心的中心轴，其中顶部为成像体12侧，而底部是图1的球面图像捕获设备10的相对侧，所述中心轴定义水平角θ和垂直角

此外，例如，球面图像的水平角θ被定义为使得一个图像形成光学系统20A和20B的光学元件的光轴方向位于处于水平角θ处的对应的图像传感器22的中心。

天顶校正(滚转方向和俯仰方向的校正)是将在图7A所示的中心轴相对于重力方向实际倾斜的情况下捕获的球面图像(图7C)校正到在图7B所示的中心轴与重力方向对齐的情况下捕获的球面图像(图7D)的校正处理。

旋转校正是在已经对其进行了天顶校正以使中心轴与重力方向对齐的球面图像(图7D)中围绕重力方向旋转的校正(偏航方向的校正)。偏航方向的旋转校正可以不执行，而是根据基于用户操作的选择来施加，例如，当运动传感器120除了获取三轴加速度之外还获取三轴角速度和方向并希望球面图像固定在特定方向(例如，磁北)上时。

在常规模式下，旋转量确定单元242基于倾斜度检测单元250的倾斜度检测结果计算滚转和俯仰方向的旋转量，并且根据需要计算偏航方向的旋转量。然后，基于计算出的旋转量，图像旋转单元244将旋转施加于图像。

下面参照图8A、图8B、图8C、图9A、图9B和图9C描述根据本实施方式的在人物拍摄模式下基于对象识别结果和倾斜度检测结果的滚转、俯仰和偏航方向的旋转校正。在人物拍摄模式下，通过旋转校正来改变被识别的对象的位置。

图8A、图8B和图8C是用于描述根据本实施方式的主要对象相对于球面图像在水平角方向上的位置变化的图示。

图8A表示两个局部图像300和310，而图8B表示已经执行过天顶校正的球面图像320。

图8C表示已经基于对象识别结果通过天顶校正和偏航方向的旋转校正改变了对象位置的球面图像330。

在图8A中，主要对象(人物的面部)被识别为局部图像300上的区域F。在图8B中，在已经执行过天顶校正的球面图像320中指示在图8A中识别的主要对象的区域F'。

在已经执行过天顶校正的球面图像320中，如图8B所示，主要对象的区域F'在球面图像捕获设备10的左右方向上的球面图像320的边缘L和R处被切断。

查看图8所示的这种球面图像320的用户使用专用查看器或VR查看器不会感到奇怪，因为专用查看器或VR查看器显示的是通过将球面图像以预定视角投影而生成的图像。然而，当通过通用查看器显示球面图像格式的图像时，或者当使用VR查看器或通用查看器显示缩小图像(缩略图)时，球面图像被显示为类似于典型的二维图像的矩形图像。在这种情况下，如果人物的面部在矩形图像的边缘被切断，显示的图像可能看起来像一张奇怪的图片。

鉴于这种情况，本实施方式提供了一种人物拍摄模式，其中旋转量确定单元242确定偏航方向的旋转量(旋转角度)以将识别的对象的区域F'放置在水平方向上相对于原始的区域F'的位置的预定位置F”，以防止区域F'在球面图像330的边缘L和R处被切断，如图8C所示。旋转单元244将球面图像330旋转由旋转量确定单元242确定的偏航旋转量。数据输出处理单元260输出通过在图像旋转单元244处旋转图像而生成的球面图像330。

优选地，预定位置F”是更靠近球面图像的中心的位置，更优选地，基本上位于中心位置。数据输出处理单元260构成本实施方式中的输出单元。

球面图像是像素值的二维阵列，并且按原样具有矩形形状。此外，球面图像在水平方向上是整圆，并且构成球面图像的图像实际上在球面图像的0度和360度的边缘处相互连接。在这样的球面图像中，偏航方向的旋转校正使图像在水平方向上循环移位。随着图像的移位，从图像的右边缘R突出的部分移动到图像的左边缘L，反之亦然。这使得球面图像内的对象的位置能够改变，而球面图像整体没有任何不一致。

在没有偏航方向的旋转校正的情况下，球面图像的水平角θ被设置为使得两个透镜系统20A和20B中的一个透镜系统(例如，透镜系统20A)的光轴方向位于水平角θ的中心。因此，当执行偏航方向的旋转校正时，与球面图像中透镜系统的中心对应的像素在水平方向上移动偏航方向的旋转量。

另外，当多个对象被包括在捕获的图像中使得多个人被拍摄在一起时，优选地，确定旋转量以将多个对象放在一起的区域放置在更靠近球面图像在水平方向上的中心的位置，这防止多个对象放在一起的区域在球面图像的边缘被切断。例如，当在捕获的图像中两个人被拍摄在一起时，生成使得两个人位于球面图像的中心的球面图像。

类似地，当球面图像中包括多个对象使得对象在球面图像的水平方向上彼此分开时，确定旋转量以尽可能防止在球面图像内识别的每个对象在球面图像的边缘L和R处被切断。

这样做时，可以确定旋转量以将任何一个对象(例如，在球面图像内占据最大区域的对象)的重心放置在预定位置，例如球面图像的中心。在这种情况下，这种占据最大区域的对象是更靠近拍摄点的对象，其被识别为主要对象。这种布置适用于大量人围绕球面图像捕获设备10的情况。

基于定义对象区域的外形的坐标值之间的关系来确定球面图像中反映对象的区域(也被称为对象区域)在球面图像的边缘处是否被切断。在这种情况下，对象区域的外形为矩形，并且当对象区域为矩形时，坐标值对应于矩形的四个角。例如，如图8B所示，当对象区域的右上角的坐标值RT在对象区域的左上角的坐标值LT的左侧时，确定该对象区域在球面图像的边缘处被切断。

此外，基于球面图像中反映多个对象的区域的宽度来确定多个对象在球面图像的水平方向上是否彼此分开。例如，当球面图像中反映被识别的多个对象的区域的宽度占据球面图像的360度范围的大部分时，确定多个对象沿着球面图像的水平方向彼此分开。

在这样的配置中，适当地确定旋转量以在球面图像的边缘L和R处放置除球面图像中反映被识别的一个或多个对象的区域以外的其他区域。

在优选实施方式中，除了改变主要对象在水平角方向上的位置之外，还通过基于对象识别结果修改如上所述的天顶校正，改变主要对象在垂直方向上的位置。

图9A、图9B和图9C是用于描述根据本实施方式的主要对象相对于球面图像在垂直角方向上的位置变化的图示。

图9A表示两个局部图像350和360，而图9B表示已经执行过天顶校正的球面图像370。

图9C表示已经通过基于对象识别结果进一步修改已经执行过天顶校正的球面图像370而改变了对象的位置的球面图像380。

在图9A中，对象(人物的面部)被识别为局部图像350上的区域F。在图9B中，在已经执行过天顶校正的球面图像370中指示在图9A中识别的对象的区域F'。

在已经执行过天顶校正的球面图像370中，如图9B所示，对象的区域F'基本上定位在球面图像370在水平方向上的中心，同时定位得更靠近球面图像370的垂直方向上的最高纬度。在球面图像中，随着坐标变得更靠近最高纬度，失真会增加。为此，在将人作为对象拍摄的这种球面图像370中，定位得更靠近最高纬度的人物的面部可能会失真而看起来不自然。

鉴于上述内容，在根据本实施方式的人物拍摄模式中，旋转量确定单元242首先基于倾斜度检测单元250的倾斜度检测结果计算滚转和俯仰方向的旋转量，这与常规模式的相同。

同时，当确定在球面图像370内识别的对象的区域F'满足规定程度时，旋转量确定单元242计算俯仰方向的附加旋转量以将对象区域F”移动到定位得更靠近球面图像380内在垂直方向上的中心。基于计算出的附加旋转量，旋转量确定单元242修改为天顶校正计算的俯仰方向的旋转量，以获得作为最终结果的俯仰方向的旋转量。图像旋转单元244将球面图像380旋转由旋转量确定单元242最终确定的滚转和俯仰方向的旋转量。

当对象区域相对于图9B所示的参考线B在天顶校正后的球面图像的垂直方向上定位得更靠近极点(在最高纬度)时，满足上述规定程度。参考线B例如位于北纬30度或南纬30度。由旋转量确定单元242计算出的附加旋转量是用于将在垂直方向上位于比参考线B纬度高的对象区域至少移动到天顶校正后的球面图像内的参考线B上的旋转量。

在常规模式下，执行天顶校正以使中心轴与重力方向重合。然而，在根据本实施方式的人物拍摄模式中，基于对象识别单元230的对象识别结果，将修改添加到使中心轴与重力方向重合的天顶校正。

通过这样的附加修改，在人物拍摄模式下，中心轴可能与图9C所示的重力方向不重合。换言之，当满足上述规定程度时，部分地牺牲了天顶校正。鉴于此，在满足规定程度的情况下，当主要对象在垂直方向上的位置变化没有大的偏差时，优先进行天顶校正。

如上所述，其中主要对象的位置已经基于对象识别结果改变的球面图像被输出为最终生成的球面图像。这样的输出图像看起来像球面图像格式的图像一样自然。当用通用查看器显示这样的图像时，人物的面部被放置得更靠近显示的矩形图像的中心，这样防止人物的面部在矩形图像的边缘被切断，从而使图片看起来自然。另外，通常基于这种球面图像生成缩小图像(缩略图)。在这种情况下，也通过使用专用查看器、VR查看器或通用查看器将缩小图像(缩略图)显示为看起来自然的图片。

在上述示例实现方式中，将每个局部图像转换为包括半球部分的图像，并将获得的图像组合或合成以生成球面图像。然后，对生成的球面图像执行滚转、俯仰和偏航方向的旋转校正。然而，转换处理、合成处理和图像旋转的顺序并不特别限于上述实施方式。

在其他一些实施方式中，局部图像A和局部图像B(包括通过转换局部图像A和B获得的互补半球部分的两个球面图像)可以在合成之前进行图像旋转。替代地，除了对球面格式的图像执行旋转坐标变换外，还在用于将局部图像转换到球面图像的转换表中反映滚转、俯仰和偏航方向的图像旋转，然后可以基于已经反映图像旋转的转换表从局部图像A和B直接生成已执行过校正的球面图像。

下面参照图10更详细地描述根据本实施方式的改变对象位置的球面图像捕获过程。注意假设捕获球面静止图像来描述图10中的球面图像捕获过程。此外，假设球面图像捕获设备10执行每个处理操作来描述图10中的球面图像捕获过程。更具体而言，球面图像捕获设备10的CPU 130和诸如失真校正-合成操作块118、面部检测块119、ISP 108和静止图像压缩块134的其他硬件块执行图10中的处理操作。

例如，在检测到用户按下了快门按钮18时，开始图10的处理。在步骤S101中，球面图像捕获设备10参考为自身设置的设置值，并识别所选择的模式是常规模式还是人物拍摄模式。在步骤S102中，该处理根据所识别的旋转模式而分支。换言之，球面图像捕获设备10基于识别的选择模式确定执行以下处理的模式是人物拍摄模式还是常规模式。

当在步骤S102中确定所选择的模式是常规模式时，处理操作进行到步骤S103。

在步骤S103中，球面图像捕获设备10控制图2中的两个图像传感器22A与22B，以在常规模式下捕获两个局部图像。

在步骤S104中，球面图像捕获设备10控制图2中的运动传感器120，以检测球面图像捕获设备10相对于规定的参考方向的倾斜度并获得倾斜度检测结果。

在步骤S105中，球面图像捕获设备10基于倾斜度检测结果使用旋转量确定单元242确定滚转、俯仰和偏航方向(合适时)的旋转量。然后，处理操作进行到步骤S113的处理。

当在步骤S102中确定所选择的模式是人物拍摄模式时，处理操作进行到步骤S106。

在步骤S106中，球面图像捕获设备10控制图2中的两个图像传感器22A和22B以在例如人物拍摄模式下捕获两个局部图像。

在步骤S107中，球面图像捕获设备10控制图2中的运动传感器120，以检测球面图像捕获设备10相对于规定的参考方向的倾斜度并获得倾斜度检测结果。

在步骤S108中，球面图像捕获设备10基于倾斜检测结果使用旋转量确定单元242来确定滚转和俯仰方向的旋转量。在人物拍摄模式下，不基于倾斜度检测结果计算偏航方向的旋转量。

在步骤S109中，球面图像捕获设备10使用对象识别单元230获得对象识别结果。

在步骤S110中，球面图像捕获设备10基于倾斜度检测结果使用旋转量确定单元242来确定滚转和俯仰方向的旋转量。

在步骤S111中，球面图像捕获设备10确定对象的垂直位置是否满足规定条件(上述规定程度)。

当在步骤S111中确定满足规定条件时(步骤S111中为“是”)，处理操作进行到步骤S112。在步骤S112中，球面图像捕获设备10基于步骤S108中的倾斜度检测结果修改由旋转量确定单元242确定的俯仰方向的旋转量，并且使处理操作前进到步骤S113。

在常规模式和人物拍摄模式中的任何一种模式下，在步骤S113之前获取两个局部图像并获得滚转、俯仰和偏航方向的旋转量。

在步骤S113中，球面图像捕获设备10对要输出的球面图像应用旋转校正，其中滚转、俯仰和偏航方向的旋转量由图像旋转单元244确定。更具体而言，在图4C所示的转换表中反映在滚转、俯仰和偏航方向的旋转量方面的旋转坐标变换。

在步骤S114中，球面图像捕获设备10通过使用图像合成单元240使用其中反映步骤S113的旋转校正的转换表来校正每个局部图像的失真，以获得两个校正后的图像，每个校正后的图像包括一个互补的半球部分。然后，球面图像捕获设备10进一步合成两个校正后的图像，以生成球面图像。更具体而言，在步骤S114中，通过例如适当的模式匹配来检测两个校正后的图像之间的连接位置，并根据检测到的连接位置对获得的两个局部图像执行合成处理。在合成处理期间，在校正后的图像之间的重叠区域中适当地执行混合等。

在步骤S115中，球面图像捕获设备10通过使用数据输出处理单元260将通过合成处理生成的球面图像例如以JPEG格式输出到存储装置、记录介质、监视器、便携式信息终端等。然后，处理结束。

在上面的描述中，假设将球面图像生成为静止图像，参照图10描述了球面图像捕获过程的例子。在捕获球面运动图像的其他情况下，运动图像的特定帧有时被显示为缩略图。为了显示这样的缩略图，根据本实施方式的改变主要对象的位置的过程适用于要用于显示缩略图的帧。

此外，在上述实施方式中，执行天顶校正的模式被称为区别于人物拍摄模式的常规模式。在一些例子中，可以准备不执行天顶校正的别的模式，或者可以根据偏航方向的旋转校正的存在或不存在来对处理分段。

在上面参照图10的描述中，假设球面图像捕获设备10执行捕获图像的处理、改变主要对象的位置的处理以及合成图像以生成球面图像的处理的全部。然而，在另一个实施方式中，球面图像捕获设备10捕获图像，并基于图像数据，在球面图像捕获设备10和别的信息处理设备中的任一个上执行根据本实施方式的改变主要对象的位置的处理。

例如，在拍摄期间，球面图像捕获设备10捕获分别具有不同捕获范围的多个局部图像，并将包括多个局部图像的图像(例如，双鱼眼格式的RAW图像)的图像文件临时存储为元数据。这种元数据保存上述倾斜度检测结果、对象识别结果和人物拍摄模式的选择。随后，球面图像捕获设备10和信息处理设备中的任一者读取图像文件，并在假设选择人物拍摄模式的情况下将局部图像转换成球面图像的过程中，在改变主要对象的位置的同时将局部图像合成以生成球面图像。注意，在识别过程中可以事后获得对象识别结果，并且可以事后选择人物拍摄模式。

又例如，在拍摄期间，球面图像捕获设备10捕获分别具有不同捕获范围的多个局部图像，将多个局部图像合成以生成球面图像，并在天顶校正之前或之后生成的球面图像的图像文件以等矩形格式临时存储为元数据。适当时，这种元数据保存上述倾斜度检测结果、对象识别结果和人物拍摄模式的选择。随后，球面图像捕获设备10和信息处理设备中的任一者读取图像文件，并在选择人物拍摄模式时，使球面图像旋转以改变主要对象的位置，合成局部图像以生成要输出的球面图像。

当这些处理操作由信息处理设备执行时，CPU和包括信息处理设备的硬件加速器的其他硬件块执行这些处理操作。另外，球面图像捕获设备10和信息处理设备组合构成成像系统，在该成像系统中，球面图像捕获设备10和信息处理设备配合以捕获球面图像(多个局部图像)，并且还合成局部图像以生成球面图像。在这种情况下，这些处理操作根据需要由球面图像捕获设备10和信息处理设备共享。

图11是示出根据另一个实施方式的成像系统1的整体配置的示意图。如图11所示，通过组合球面图像捕获设备10和信息处理设备50来配置成像系统1。

图12是根据另一个实施方式的构成包括球面图像捕获设备10的成像系统1的信息处理设备50的硬件配置的框图。

在各种实现方式中，信息处理设备50可以是诸如智能手机和平板电脑的移动装置、个人计算机、工作站、服务器计算机、计算机系统等。

图12所示的信息处理设备50包括CPU 52、随机存取存储器(RAM)54和硬盘驱动器(HDD)56。

CPU 52控制信息处理设备50的部件的操作，或者控制信息处理设备50的整体操作。信息处理设备50可以包括电路或处理电路，例如CPU 52。

RAM 54为CPU 52提供工作区。

HDD 56在其中存储操作系统和控制程序(例如应用程序)，控制程序执行根据本实现方式的信息处理设备50中的处理，操作系统和控制程序中的每一个都被写入可被CPU 52解码的代码中。信息处理设备50可以包括固态驱动器(SSD)来代替HDD。

信息处理设备50可以包括输入装置58、外部存储装置60、显示器62、无线NIC 64和USB连接器66。

输入装置58是诸如鼠标、键盘、触摸板和触摸屏的输入装置，并提供用户界面。

外部存储装置60是安装在例如存储卡插槽中的可移除记录介质，并且记录各种类型的数据，例如视频格式的图像数据和静止图像数据。

显示器62执行操作画面的显示、由准备捕获或正在捕获图像或正在捕获图像的球面图像捕获设备10捕获的图像的监视器图像的显示以及用于再现或查看的存储的视频或静止图像的显示。

显示器62和输入装置58能够通过操作屏幕做出用于图像捕获或改变球面图像捕获设备10中的各种设置的指令。

无线NIC 64建立用于与诸如球面图像捕获设备10的外部装置的无线LAN通信的连接。USB连接器66提供与诸如球面图像捕获设备10的外部装置的USB连接。

举例来说，描述了无线NIC 64和USB连接器66。然而，并不旨在限于任何特定标准，可以通过诸如Bluetooth(注册商标)和无线USB的另一种无线连接或者通过诸如有线局域网(LAN)的有线连接来建立与外部装置的连接。无线通信可以是第三代(3G)或4G，也可以是5G，即第五代移动通信系统。

当向信息处理设备50供电并接通其电源时，从ROM或HDD 56读取程序，并将该程序加载到RAM 54中。

CPU 52按照读入RAM 54的程序控制装置的各部分的操作，并将控制所需的数据临时存储在存储器中。

该操作实现信息处理设备50的功能单元和处理，如稍后所述。该程序的例子包括用于向连接的球面图像捕获设备10给出各种指令并通过总线68请求图像的应用程序。

本公开的实施方式提供了成像系统、图像处理设备、成像装置和记录介质，其能够输出在至少一个方向上覆盖360度范围的图像(输出图像)，同时防止对象的一部分在图像边缘被切断。

JP-2019-009574公开了一种技术，该技术在生成通过对自拍捕获的球面图像进行投影变换而获得的平面图像时，显示摄影者本身定位在图像中心的每个图像。

JP-2019-009574的技术在通过连接和合成捕获的图像生成球面图像后，通过投影变换生成平面图像的过程中将确定的坐标设置在生成的球面图像的中心，由显示设备显示。

然而，球面图像数据本身仍然如捕获时一样。这种图像只能用实现JP-2019-009574的技术的查看器来显示，而当用通用图像查看器显示时，所捕获的球面图像数据的组成仍然保留在显示的图像中。

为了避免这样的情况，本公开的实施方式提供了一种成像系统，其被配置为将捕获的图像中反映诸如人物面部的对象的区域放置在预定位置，以防止该区域在捕获的图像的边缘被切断。捕获的图像是在至少第一方向(例如，水平方向)上覆盖360度范围的输出图像(例如，球面图像)。

通过这种配置，可以使用通用成像查看器将这种输出图像显示为看起来自然的图片，同时防止主要对象在显示图像的边缘被切断。因此，可以提高获得的图像的质量。

如上所述的功能单元由计算机可执行的程序实现，该计算机可执行程序由诸如汇编语言、C语言、C++语言、C#语言和Java(注册商标)之类的传统编程语言或面向对象的编程语言编写，并且程序可以通过电信线路进行分发，也可以在写入计算机可读的记录介质(例如ROM、电可擦可编程只读存储器(EEPROM)、可擦可编程只读存储器(EPROM)、闪存、软盘、光盘只读存储器(CD-ROM)、可重写光盘(CD-RW)、数字多功能盘(DVD)-ROM、DVD-RAM、DVD-RW、蓝光盘、安全数字(SD)卡和磁光盘(MO))时进行分发。上述所有或一些功能单元可以在诸如现场可编程门阵列(FPGA)的可编程装置(PD)上实现，或作为专用集成电路(ASIC)实现。为了在可编程装置上实现这样的功能单元，可以使用记录介质分发下载到可编程装置的电路配置数据(比特流数据)，记录介质存储由例如硬件描述语言(HDL)、非常高速集成电路硬件描述语言(VHDL)或Verilog-HDL写入的数据。

根据上述教导，许多附加的修改和变化是可能的。因此，应当理解，在所附权利要求的范围内，可通过不同于本文具体描述的方式来实践本专利说明书的公开内容。

根据上述教导，许多附加的修改和变化是可能的。因此，应当理解，在所附权利要求的范围内，可通过不同于本文具体描述的方式来实践本专利说明书的公开内容。所描述的实施方式的每个功能可以由一个或多个处理电路或电路实现。处理电路包括编程处理器，因为处理器包括电路。处理电路还包括诸如专用集成电路(ASIC)、DSP(数字信号处理器)、FPGA(现场可编程门阵列)的装置以及被布置为执行所述功能的传统电路部件。

本发明可以以任何方便的形式实现，例如使用专用硬件，或专用硬件和软件的混合。本发明可以实现为由一个或多个联网处理设备实现的计算机软件。处理设备可以包括任何适当编程的设备，例如通用计算机、个人数字助理、移动电话(例如WAP或3G兼容电话)等。由于本发明可以实现为软件，因此本发明的每个方面都包含可在可编程装置上实现的计算机软件。可以使用任何传统载体介质(载体装置)将计算机软件提供给可编程装置。载体介质可以是瞬态载体介质，例如携带计算机代码的电、光、微波、声学或射频信号。这种瞬态介质的例子是在IP网络(例如，因特网)上携带计算机代码的TCP/IP信号。载体介质还可以包括用于存储处理器可读代码的存储介质，例如软盘、硬盘、CD ROM、磁带装置或固态存储器装置。

本专利申请基于2019年6月27日向日本专利局提交的第2019-119694号的日本专利申请并要求其优先权，该日本专利申请的全部公开内容通过引用并入本文。

附图标记的说明

1 成像系统

10 球面图像捕获设备

12 成像体

14 壳体

18 快门按钮

20 透镜系统

22 图像传感器

50 信息处理设备

52 CPU

54 RAM

56 HDD

58 输入装置

60 外部存储装置

62 显示器

64 无线NIC

66 USB连接器

68 总线

100 处理器

102 镜筒单元

108 ISP

110、122 DMAC

112 仲裁器(ARBMEMC)

114 MEMC

116、138 SDRAM

118 失真校正-合成操作块

120 运动传感器

124 图像处理块

126 图像数据传送器

128 SDRAMC

130 CPU

132 调整大小块

134 静止图像压缩块

136 运动图像压缩块

140 存储卡控制块

142 存储卡插槽

144 闪存ROM

146 USB块

148 USB连接器

150 外围块

152 音频单元

154 扬声器

156 麦克风

158 串行块

160 无线NIC

162 LCD驱动器

164 LCD监视器

166 电源开关

168 桥

170 自动曝光控制单元

172 AE寄存器

174 白平衡值计算单元

176 白平衡处理

200 图像处理单元

210 选择接收单元

220 局部图像获取单元

230 对象识别单元

240 图像组合单元

242 旋转量确定单元

244 图像旋转单元

250 倾斜度检测单元

260 数据输出处理单元

300、310、350、360 局部图像

320、370 天顶校正后的球面图像

330、380 位置已经改变的球面图像

Claims (14)

1.一种成像系统，其包括：

面向不同方向的多个成像装置，该多个成像装置被配置为捕获图像；以及

被配置为输出与捕获的图像相关的输出图像的输出单元，所述输出图像已经基于捕获的图像生成并且在至少第一方向上覆盖360度范围，

其中，在所述输出图像中，捕获的图像中反映对象的区域被放置在预定位置，以防止所述区域在所述输出图像的边缘被切断。

2.根据权利要求1所述的成像系统，所述成像系统还包括图像旋转单元，该图像旋转单元被配置为对捕获的图像执行图像旋转，以将反映所述对象的所述区域的位置改变到所述第一方向上的所述预定位置，从而生成反映所述对象的所述区域被放置在所述预定位置的所述输出图像，并且

其中，所述预定位置基本上位于所述输出图像在所述第一方向上的中心处。

3.根据权利要求2所述的成像系统，

其中，所述输出图像在与所述第一方向正交的第二方向上覆盖360度范围，并且

其中，在反映所述对象的所述区域的位置满足规定程度时，所述图像旋转单元对已经进行过图像旋转的捕获的图像执行附加的图像旋转，以将反映所述对象的所述区域基本上放置在所述输出图像在所述第二方向上的中心处。

4.根据权利要求3所述的成像系统，所述成像系统还包括被配置为检测所述成像装置的倾斜度的倾斜度检测单元，

其中，基于所述倾斜度检测单元检测到的倾斜度，所述图像旋转单元通过图像旋转执行天顶校正，并且

其中，满足所述规定程度，使得反映所述对象的所述区域定位得更靠近所述输出图像的任一个所述边缘，并且当满足所述规定程度时，部分地牺牲所述天顶校正。

5.根据权利要求1至4中任一项所述的成像系统，

其中，所述对象包括多个对象，并且

其中，所述多个对象被包括在一起的区域的重心或者所述多个对象中的任何一个对象的重心被放置在所述预定位置。

6.根据权利要求1至5中任一项所述的成像系统，

其中，除反映所述对象的所述区域以外的区域定位在所述输出图像的所述边缘处。

7.根据权利要求1至6中任一项所述的成像系统，

其中，基于所述输出图像生成缩小图像，在所述缩小图像中，反映所述对象的所述区域在所述缩小图像的边缘处没有被切断。

8.根据权利要求1至7中任一项所述的成像系统，

其中，所述对象是人的面部、动物的面部、动物全身、物体的一部分和物体的整体中的至少一种。

9.根据权利要求1至8中任一项所述的成像系统，所述成像系统还包括被配置为识别在由所述成像装置捕获的图像中反映的对象的识别单元，

其中，由所述多个成像装置捕获的图像包括由多个成像光学系统捕获的多个局部图像，

其中，所述识别单元识别所述多个局部图像或所述多个局部图像的合成图像中的所述对象，并且

其中，所述输出图像为所述合成图像。

10.根据权利要求9所述的成像系统，

其中，所述多个成像光学系统包括多个鱼眼透镜或广角透镜，并且

其中，所述多个局部图像为多个鱼眼图像或广角图像，

其中，所述输出图像和所述合成图像中的每一个均为通过对所述多个局部图像执行失真校正和合成处理得到的球面坐标系中的球面图像。

11.一种图像处理设备，其包括：

图像获取单元，其被配置为获取分别具有不同捕获范围的多个局部图像或所述多个局部图像的合成图像作为输入图像；

识别单元，其被配置为识别在所述图像获取单元获取的所述输入图像中反映的对象；以及

生成单元，其被配置为基于获取的输入图像生成输出图像，该输出图像在至少第一方向上覆盖360度范围，

其中，在生成的输出图像中，被识别的对象的区域位于预定位置以防止所述对象的所述区域在所述输出图像的边缘被切断。

12.一种成像装置，其包括：

根据权利要求11所述的图像处理设备；以及

被配置为捕获所述多个局部图像的多个成像装置。

13.一种图像处理方法，其包括：

获取分别具有不同捕获范围的多个局部图像或所述多个局部图像的合成图像作为输入图像；

识别在所述输入图像中反映的对象；以及

基于获取的输入图像生成输出图像，该输出图像在至少第一方向上覆盖360度范围，

其中，在生成的输出图像中，被识别的对象的区域位于预定位置以防止所述对象的所述区域在所述输出图像的边缘被切断。

14.一种记录介质，其存储用于控制计算机系统执行根据权利要求13所述的方法的计算机可读代码。

Images