CN111480176B - 图像处理设备，图像处理系统，图像处理方法和记录介质 - Google Patents
图像处理设备，图像处理系统，图像处理方法和记录介质 Download PDFInfo
- Publication number
- CN111480176B CN111480176B CN201880081196.8A CN201880081196A CN111480176B CN 111480176 B CN111480176 B CN 111480176B CN 201880081196 A CN201880081196 A CN 201880081196A CN 111480176 B CN111480176 B CN 111480176B
- Authority
- CN
- China
- Prior art keywords
- image
- correction
- time
- omnidirectional
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 77
- 238000003672 processing method Methods 0.000 title claims description 4
- 238000012937 correction Methods 0.000 claims abstract description 173
- 238000000034 method Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 9
- 230000010365 information processing Effects 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 5
- 230000005484 gravity Effects 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 description 27
- 238000010586 diagram Methods 0.000 description 17
- 238000003384 imaging method Methods 0.000 description 17
- 238000003702 image correction Methods 0.000 description 12
- 230000001133 acceleration Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000003705 background correction Methods 0.000 description 1
- 239000012050 conventional carrier Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/60—Rotation of a whole image or part thereof
-
- G06T5/80—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
Abstract
一种图像处理设备包括存储单元，校正单元,以及输出单元。存储单元存储由与图像处理设备可通信的图像捕获装置捕获的包含多个帧的动态图像数据，图像捕获装置相对于基准方向的倾斜角度的时间序列数据，以及在图像捕获装置产生的角速度的时间序列数据。校正单元基于角速度的时间序列数据，旋转动态图像数据的多个帧中的每个帧的图像，以减少绕基准方向的在规定的频率范围内的旋转畸变。输出单元将多个帧的每个旋转图像的图像数据输出到与图像处理设备可通信的外部设备。
Description
技术领域
本公开的实施例涉及图像处理设备，图像处理系统，图像处理方法，以及记录介质。
背景技术
近年来，能够拍摄具有半球形或全天球视野的静止图像或动态图像的手持式照相机得到广泛使用。使用这种手持式照相机，在拍摄时难以精确地控制照相机的位置(角度)。考虑到这种情况，能够校正在照相机主体倾斜的状态下拍摄的图像的倾斜的照相机，为人们所公知。
作为用于校正图像倾斜的技术，已知例如在JP-2013-214947-A中公开。JP-2013-214947-A公开了一种具有两个鱼眼镜头的图像捕获设备，所述两个鱼眼镜头根据由配置在图像捕获设备内部、用于检测图像捕获设备相对垂直方向的倾斜角的加速度传感器检测到的倾斜角，计算用于将鱼眼图像变换为正则图像的变换参数。然而，在JP-2013-214947-A中公开的校正装置不能校正图像绕垂直方向的旋转失真，这是因为仅使用JP-2013-214947-A的设备中的加速度传感器进行倾斜校正的缘故。
此外，JP-2017-147682-A公开了一种全方位成像系统(omnidirection imagingsystem)，其包括图像捕获单元，作成全方位帧数据的图像合成单元，检测图像捕获单元的姿势信息的姿势检测单元，根据姿势信息生成用于变换全方位帧数据的坐标的校正量数据的校正量计算单元，以及将全方位帧数据与校正量数据相关联以获得全方位图像的关联单元。在JP-2017-147682-A的全方位成像系统中，校正量计算单元对于全方位帧数据生成用于校正相对于全局坐标中的垂直方向的倾斜度的校正量数据，以及从全局坐标中的水平面振动中去除小的振动分量的校正量数据，将所述校正量数据发送到关联单元。
然而，在JP-2017-147682-A公开的该技术，在摄影时检测图像捕获单元的姿势信息，计算所述校正量数据，因此，摄影时负荷变高，不充分。此外，由于仅将去除全局坐标系中的水平面内的小振动分量的校正量数据与全方位帧数据相关联地存储，因此，在JP-2017-147682-A的系统中不存在关于小振动分量的信息。
引文列表
专利文献
【专利文献1】JP-2013-214947-A
【专利文献2】JP-2017-147682-A
发明内容
技术问题
很难手持照相机以固定位置和姿势捕捉图像。如果在相机主体倾斜的情况下捕获图像，则除非执行天顶校正，否则图像的天顶将失准，并且水平线会失真。如果照相机主体由于例如照相机震动而旋转，则除非执行旋转校正，否则图像会沿水平线模糊。
解决问题的方案
鉴于上述情况，本发明提供一种图像处理设备，其包括：存储单元，校正单元，以及输出单元。有利地，所述存储单元存储包含由与图像处理设备可通信的图像捕获装置捕获的多个帧的动态图像数据，所述图像捕获装置相对于基准方向的倾斜角度的时间序列数据，以及在所述图像捕获装置产生的角速度的时间序列数据。所述校正单元基于所述角速度的时间序列数据，旋转所述动态图像数据的多个帧中的每个帧的图像，以减少围绕所述基准方向的在规定的频率范围内的旋转畸变。所述输出单元将多个帧的每个旋转图像的图像数据输出到与所述图像处理设备可通信的外部设备。
本发明的效果
因此，可以有效地校正围绕规定基准方向的图像的旋转模糊。
附图说明
当结合附图考虑时，通过参考以下详细描述，将更好地理解本公开的上述及其它方面、特征、以及优点。附图旨在描述本发明的示例实施例，而不应被解释为限制其范围。除非明确说明，否则附图不应视为按比例绘制。
图1是构成根据本公开的实施例的全方位动态图像系统的全方位照相机的截面图。
图2A以及2B是根据本公开的实施例的全方位动态图像系统的硬件构成图的框图。
图3是根据本公开的实施例的全方位动态图像系统上实现的全方位动态图像校正功能的功能配置的框图。
图4A是根据本公开的实施例的全方位动态图像系统的数据流图。
图4B是根据本公开的实施例的全方位动态图像系统生成的全方位图像的平面数据配置的图示。
图4C是根据本公开的实施例的全方位动态图像系统生成的全方位图像的球形数据配置的图示。
图5是根据本公开的实施例的全方位动态图像系统中的全方位图像的天顶校正和旋转校正的图示。
图6A以及6B是根据本公开的实施例的通过执行天顶校正和旋转校正而获得的全方位图像的图示。
图7是由图1中的全方位照相机执行的全方位动态图像校正处理的流程图。
图8A以及8B是根据本公开的实施例的计算用于旋转校正的前向量的方法的图示。
具体实施方式
在描述附图中所示的优选实施例时，为了清楚起见采用了特定的术语。然而，本说明书的公开内容并不旨在限于如此选择的特定术语，并且应当理解，每个特定元件包括具有类似功能、以类似方式操作并且实现类似结果的所有技术等同物。在以下实施例中，描述使用全方位照相机和全方位动态图像系统的图像处理设备和图像处理系统。在下文中，参照图1和图2，描述根据本公开的实施例的全方位动态图像系统1000的整体配置。
图1是构成根据本公开的实施例的全方位动态图像系统1000的全方位照相机(也称为“全天球照相机”)110的截面图。图1中的全方位照相机110包括摄像体12，保持摄像体12和诸如控制器(中央处理单元(CPU112))及电池之类的部件的壳体14，以及设置在所述壳体14的快门按钮18。图1所示摄像体12包括两个成像光学系统20A和20B以及两个图像传感器22A和22B。图像传感器22A和22B的示例包括电荷耦合器件(CCD)和互补金属氧化物半导体(CMOS)。所述成像光学系统20A和20B在下文中有时统称为成像光学系统20。图像传感器22A和22B在下文中有时统称为图像传感器22。成像光学系统20A和20B各自配置由例如六组七个透镜组成的鱼眼镜头。在图1所示的实施例中，上述鱼眼镜头具有大于180度(＝360度/n，其中，n表示光学系统的数量，n为2)的全视角。优选地，图1中的鱼眼镜头具有190度或更大的视角。这种广角成像光学系统20(20A和20B)之一与相应的图像传感器22(22A和22B)之一组合以构成广角成像光学系统(20和22)。
两个成像光学系统20A和20B的光学元件(透镜，棱镜，过滤器，以及孔径光阑)相对所述图像传感器22A和22B的位置关系被限定。更具体地说，将这些元件定位，使得每个图像形成光学系统20A和20B的光学元件的光轴以直角与对应的图像传感器22之一的受光区域的中心部相交，并且使得受光区域用作相应的鱼眼镜头之一的图像形成平面。
在图1所示的实施例中，图像形成光学系统20A和20B具有相同的规格，并且在彼此相反的方向上组合，使得其光轴彼此一致。图像传感器22A和22B将接收到的光的光分布转换成图像信号，并且将图像帧顺序地输出到控制器(CPU112)的图像处理单元(图像处理块116)。如将在后面详细描述的那样，通过相应的图像传感器22A及22B所捕获的图像组合，以生成超过立体角4π球面度的图像(以下，这样的图像称为“全天球图像(sphericalimage)”，也称为“全方位图像”)。该全方位图像是从拍摄地点可以看到的所有方向的图像。这样获得的全方位图像的连续帧形成全方位动态图像(moving image)。在以下的实施形态中，说明生成全方位图像和全方位动态图像。在一些实施例中，可以生成全圆周图像和全圆周动态图像，全景图像和全景动态图像。需要注意的是，这样的全景图像和全景动态图像通过仅在水平面拍摄360度获得。
图2A是构成根据本公开的实施例的全方位动态图像系统1000的全方位照相机110的硬件配置的图示。全方位照相机110对应于根据将要描述的实施例的图像处理设备或图像捕获装置。
全方位照相机110包括CPU112(第一CPU)，只读存储器(ROM)114，图像处理块116，动态图像压缩块118，通过DRAM接口120连接的动态随机存取存储器(DRAM)132，以及通过传感器接口124连接的传感器136。
CPU112控制全方位照相机110的各部分的动作。ROM114在其中存储以CPU112可读取的代码描述的控制程序和各种参数。图像处理块116连接到第一图像传感器130A和第二图像传感器130B(分别对应于图1中的图像传感器22A和22B)，并且接收由图像传感器130A和130B捕获的图像的图像信号。图像处理块116包括例如图像信号处理器(ISP)，并且对从图像传感器130A和130B接收的图像信号施加例如阴影校正，拜耳插值，白平衡校正，和伽马校正。
动态图像压缩块118是用于压缩和扩展诸如MPEG-4AVC/H.264格式的视频之类的视频的编解码器块。当应用各种类型的信号处理和图像处理时，DRAM132提供用于在其中临时存储数据的存储区域。
传感器136是用于检测三轴加速度分量和三轴角速度分量的传感器。所检测的加速度分量和角速度分量用于如后所述的在重力方向上对全方位图像进行天顶校正，以及绕重力方向的旋转校正。传感器136可以进一步包括用于获得例如方位角的传感器，例如地磁传感器。
全方位照相机110还包括存储器接口122，通用串行总线(USB)接口126，以及串行块128。所述存储器接口122连接到外部存储器134。存储器接口122对外部存储器134、例如插入存储卡插槽中的存储卡控制读取和写入。USB接口126连接至USB连接器138。USB接口126控制经由USB连接器138与诸如智能手机的外部设备的USB通信。串行块128控制与诸如智能手机的外部设备的串行通信，且连接到无线网络接口卡(NIC)140。
当通过电源开关的操作接通电源时，上述控制程序被加载到主存储器(DRAM132)中。CPU112根据读入到主存储器的程序控制装置各部分的动作，并将控制所需要的数据临时存储在存储器中。由此，实现全方位照相机110的如后所述的功能单元和处理。
图2B是根据本实施例的全方位动态图像系统1000的信息终端150的硬件配置的图示。信息终端150是根据本公开的实施例的信息处理设备的示例。
图2B中的信息终端150包括CPU152，RAM154，内部存储器156，输入装置158，存储器160，显示器162，无线NIC164，以及USB连接器166。
CPU152控制信息终端150的每个组件和整体的动作。RAM154提供CPU152的工作区域。内部存储器156存储例如由CPU152可解码的代码描述的操作系统，以及使得根据本实施例的信息终端150进行处理的应用的控制程序。
输入装置158是诸如触摸屏的输入装置，并提供用户界面。输入装置158接受来自操作者的各种指令，例如，校正全方位动态图像。存储器160是可装卸的记录介质，例如插入到信息终端150的存储卡插槽中，并且记录各种类型的数据，例如视频格式的图像数据和静止图像数据。显示器162响应于用户操作在屏幕上显示校正后的全方位动态图像。无线NIC164提供与诸如全方位照相机110之类的外部设备的无线通信连接。USB连接器166提供与诸如全方位照相机110之类的外部设备的USB连接。
当向信息终端150投入电源，成为电源接通状态时，从内部存储器156读取控制程序，加载到RAM154中。CPU152根据读入到RAM154中的控制程序控制设备的每个部分的动作，并将控制所需要的数据临时存储在存储器中。由此，实现信息终端150的如后所述的功能单元和处理。
在下文中，参照图3至图6，说明根据本实施例的全方位动态图像系统1000的全方位动态图像校正功能。
图3是涉及根据本公开的实施例的全方位动态图像系统1000上实现的全方位动态图像校正功能的功能块的图示。如图3所示，全方位照相机110的功能块210包括全方位动态图像捕获单元212，存储单元214，作为校正单元的全方位动态图像校正单元220，接收单元230，以及作为输出单元的图像输出单元232。此外，信息终端150的功能块250包括指令接收单元252和显示单元254。
首先，描述全方位照相机110的功能块210。全方位动态图像捕获单元212使用两个图像传感器130A和130B依次拍摄连续帧，将全方位动态图像数据(也称为“全方位动态图像数据”)240记录在存储单元214。另外，全方位动态图像捕获单元212在摄像中使用传感器136检测三轴方向的加速度分量和三轴方向的角速度分量，记录所测得的信息，作为全方位动态图像数据240的元数据。
存储单元214存储由全方位动态图像捕获单元212记录的一个或多个全方位动态图像数据240。存储单元214作为图2所示外部存储器134或其它存储器的存储区域的一部分。如图3所示，全方位动态图像数据240包括用全方位照相机110摄像的全方位帧数据(也称为“全天球帧数据”)242，作为相对摄影中的全方位照相机110的基准方向的倾斜角的时间序列数据的天顶校正数据244，以及作为摄影中在全方位照相机110产生的角速度的时间序列数据的角速度数据246。
全方位帧数据242包括构成从开始摄像到结束期间的各全方位动态图像的多个帧。也就是说，全方位帧数据242是构成全方位动态图像数据240的动态图像数据。
在下文中，参照图4A，4B和4C，说明如何生成全方位图像以及所生成的全方位图像。图4A是在生成全方位图像时各图像的数据结构和图像的数据流的图示。首先，由图像传感器130A和130B中的每一个直接捕获的图像是作为视野大致覆盖全天球的半球的图像。入射到图像形成光学系统20的光根据预定的投影方式成像在图像传感器130的受光区域。图像传感器130是受光区域形成平面区域的二维图像传感器。因此，由图像传感器130形成的图像是由平面坐标系表示的图像数据。这种形成的图像是典型的鱼眼图像，如图4A中的鱼眼图像A和鱼眼图像B所示，该鱼眼图像包含各摄像范围投影的像圈整体。
对由多个图像传感器130捕获的各帧的多个鱼眼图像，进行失真校正和合成处理，以形成各帧的全天球图像(球形图像)。在合成处理中，从作为平面图像构成的各鱼眼图像生成包含互补的各半球形部分的各全天球图像。然后，通过匹配半球形部分的重叠区域，将包含各半球形部分的两个全天球图像结合在一起，图像合成，生成包含全天球整体的全球形(全天球)图像。
图4B是用平面表示在根据本公开的实施例的全方位动态图像系统中使用的全方位图像的图像数据的数据结构的图示。图4C是用球面表示在根据本公开的实施例的全方位动态图像系统中使用的全方位图像的图像数据的数据结构的图示。如图4B所示，全方位图像的图像数据表示为像素值的配列，其中，将相对所设定轴的垂直角φ和与绕所设定轴的旋转角对应的水平角θ设为坐标。垂直角φ成为0°到180°(或者从-90°～+90°)的范围，水平角θ成为0°到360°(或者从-180°至+180°)的范围。
如图4C所示，全方位格式(图像数据的球面数据结构)的各坐标值(θ，φ)与表示将拍摄地点设为中心的全方位的球面上各点相关联。因此，所有方向都与全方位图像上的点相关联。鱼眼镜头拍摄到的鱼眼图像的平面坐标与全方位图像的球面上的坐标以所设定的变换表相关联。变换表是例如由制造商根据每个透镜光学系统的设计数据依据所设定的投影模型预先作成的数据。转换表的数据用于将鱼眼图像转换为全方位图像。
在上面的描述中，假设全方位帧数据242构成全方位动态图像。但是，本发明并不局限于此。不需要将每个帧记录都设为图4C所示那样的合成后的全方位图像的格式(合成的全方位图像格式)。在一些实施例中，全方位帧数据242可以是任何其他形式，只要可以构造全方位动态图像以进行再现即可。
例如，假设对每一帧的鱼眼图像进行失真校正和合成处理以生成要再现的全方位图像，则可以记录直接由图像传感器130A和130B捕获两个鱼眼图像的动态图像数据(与图4A所示的鱼眼图像A和鱼眼图像B分别对应的动态图像数据)，各动态图像数据记录为全向帧数据242。可替换地，通过将图像的鱼眼图像A和鱼眼图像B结合在一起而形成接合图像的动态图像数据。可以记录两个鱼眼图像A和B(即，通过将并排布置的鱼眼图像A和鱼眼图像B结合在一起而形成一个图像的动态图像数据)作为全方位帧数据242。在下面的描述中，为了便于描述，假定全方位帧数据242以失真校正和合成处理后的全方位图像格式保持各帧的图像。
此外，全方位帧数据242不限于动态图像数据，可以以任何形式记录，只要可以再现动态图像即可。例如，全方位帧数据242记录为动态图像数据，其中，以诸如H.264/MPEG-4高级视频编码(AVC)或H.265/高效视频编码(HEVC)的特定编解码器，压缩多个帧。此外，尽管联合摄影专家组(JPEG)是将动态图像表示为连续静止图像的格式，但是，也可以将动态图像数据记录为多个帧的一系列连续静止图像。
参照图3进行以下描述。天顶校正数据244是与全方位动态图像的各帧相关联地记录的、从开始摄像到结束的时间期间相对于全方位照相机110的基准方向的倾斜角的时间序列数据。在此，全方位照相机110的基准方向通常是重力加速度作用的重力方向。基于由传感器136中包括的加速度传感器测量的信号，生成相对于重力方向的倾斜角。倾斜角通常作为加速度的维度值的矢量构成。由于加速度传感器不能区分重力和惯性力，因此，优选地，可以基于由角速度传感器测量的信号来校正从传感器136的加速度传感器获得的倾斜角。
在本公开的实施例中，倾斜角与帧一一对应，并且倾斜角和帧同步地记录。但是，记录的倾斜角的速率可以与帧速率不同。当倾斜角的速率与帧速率不同时，通过以帧速率执行重采样，可以获得与帧一一对应的倾斜角。
角速度数据246是由传感器136的角速度传感器检测的、从开始摄像到结束的时间期间的全方位照相机110的角速度传感器绕三轴产生的角速度的时间序列数据。角速度可以不与帧一一对应记录。典型地说，可以比帧速率快的速率记录在角速度数据246中。在这种情况下，通过使用时间戳，可以在稍后的时间获得帧与倾斜角度之间的关系。可替代地，可以分别与全方位动态图像的帧相关联地记录角速度。
全方位动态图像校正单元220读出存储在存储单元214中的全方位动态图像数据240，并将天顶校正和旋转校正应用于全方位帧数据242的各帧(换句话说，全方位动态图像校正单元220旋转各帧的图像)，将校正后的全方位动态图像数据输出到另一单元。
下面参照图5和图6，描述天顶校正和旋转校正。图5是根据本公开实施例的应用于全方位图像的天顶校正和旋转校正的图示。图6A和图6B是根据本公开的实施例的通过执行天顶校正和旋转校正而获得的全方位图像的图示。图6A是进行天顶校正之前的动态图像的帧的图示，图6B是进行天顶校正之后的动态图像的帧的图示。
如上所述，全方位图像格式的图像数据表示为像素值的配列，其中，将相对所设定轴z0的垂直角φ和与绕所设定轴z0的旋转角对应的水平角θ设为坐标。如果不进行校正，则以全方位照相机110为基准定义所设定轴z0。例如，将图1所示的全方位照相机110的摄像体12侧作为头部，将其相反侧作为底部，中心轴从底部向头部通过壳体14中心，可以将该中心轴作为定义水平角θ和垂直角φ的所设定轴z0，定义全方位图像。此外，例如，定义全方位图像的水平角θ，使得成像光学系统20A和20B之一的光学元件的光轴方向以水平角θ位于相应的图像传感器22的中心。
天顶校正(沿滚动方向和俯仰方向的校正)是校正处理，该校正处理将全方位图像(图6A)校正为全方位图像(图6B)，所述全方位图像(图6A)是如图5左图那样实际相对于基准方向Z(重力方向)中心轴z0倾斜的状态捕获的全方位图像，所述全方位图像(图6B)是如图5右图那样在中心轴z0与基准方向Z一致的状态下捕获的全方位图像。旋转校正是指偏转方向(Yaw direction)的校正，其是对已进行天顶校正使中心轴z0与基准方向Z一致的全方位图像，减小绕基准方向Z(在图6A和6B中的水平角θ方向)的旋转失真。
以下参照图3详细描述全方位动态图像校正单元220的动作。更具体地说，全方位动态图像校正单元220包括照相机正面计算单元222(第一计算单元)，校正角计算单元224(第二计算单元)，校正角调节单元226(第三计算单元)和图像旋转单元228。
照相机正面计算单元222基于天顶校正数据244和角速度数据246，计算全方位照相机110的正面方向(图像形成光学系统20A和20B之一的光轴方向)的时间序列值。更具体地说，照相机正面计算单元222首先根据天顶校正数据244中包括的前导帧的倾斜角的值T(0)，计算在捕获前导帧(在第一时刻)的全方位照相机110的正面方向V(0)(第一正面方向)。在获得前导帧的正面方向V(0)之后，照相机正面计算单元222以该初始值V(0)开始作为起点，基于角速度数据246的角速度Gyro(n)，计算与各帧相对应的多个时刻的全方位照相机110的正面方向V(n)的时间序列值。正面方向V(n)可以将在前导帧时刻的正面方向V(0)作为起点，对与每个轴的角速度相对应的无限小的旋转积分而获得。计算出的正面方向V(n)的时间序列值发送到校正角计算单元224。
校正角计算单元224基于天顶校正数据244的倾斜角数据T(m)，从各帧时刻的全方位照相机110的正面方向V(n)计算各帧时刻的绕基准方向Z旋转的校正角Angle(n)。计算得到的校正角Angle(n)发送到校正角调节单元226。
校正角调整单元226对各帧计算得到的校正角Angle(n)施以调整，以实现成功的自然校正操作。所得到的(计算的)校正角Angle(n)通常作为在所设定的定义域(例如，从-180度至+180度)范围内的值求得。因此，校正角Angle(n)当作为时间序列值看时，有时从+180度附近向-180度附近(或朝相反方向，即从-180度附近向+180度附近)改变。考虑到这种情况，校正角调节单元226根据连续获得的校正角之间的校正角Angle(n)的变化量，检测校正角Angle(n)从上限附近到下限附近(从下限附近到上限附近)的变化。换句话说，校正角调节单元226检测校正角Angle(n)从校正角区域的一端到另一端的变化。基于这样的检测，校正角调整单元226对各帧向校正角Angle(n)增加调整值或从校正角Angle(n)减去调整值。通过这样的配置，校正角的范围扩大，并且维持时间序列校正角的连续性。此外，校正角调节单元226(滤波单元)对扩展的定义域内的校正角执行滤波处理，仅允许预定频率范围内的频率分量通过，优选高频分量通过。已执行滤波处理的校正角Angle Out(n)发送到图像旋转单元228。
图像旋转单元228基于天顶校正数据244对全方位帧数据242的多个帧中的每一个帧进行全方位图像的天顶校正。同时，根据本实施例的图像旋转单元228基于所计算的多个帧的校正角Angle Out(n)旋转图像，从而减少绕基准方向Z的在预定频率范围内的旋转失真。
当全方位帧数据242中的每个帧的图像是合成后的全方位图像格式的图像时，图像旋转单元228对每个帧变换全方位图像的旋转坐标。当全方位帧数据242中的每个帧在合成之前包括多个鱼眼图像时，图像旋转单元228对每个帧施以天顶校正和旋转校正，并将多个鱼眼图像变换为全方位图像。
接收单元230从与全方位照相机110可通信的信息终端150接收各种请求。在从信息终端150接收到校正全方位动态图像的请求时(例如，输出经校正的全方位动态图像以进行再现的请求)，接收单元230将该请求传送到全方位动态图像校正单元220。响应于对全方位动态图像进行校正的请求，全方位动态图像校正单元220开始对指定的全方位动态图像数据240进行天顶校正和旋转校正，输出校正后的图像数据。图像输出单元232基于已经由全方位动态图像校正单元220执行天顶校正和旋转校正的多个帧，将全方位动态图像的图像数据输出到请求的信息终端150。在这种情况下，可以基于各个多个帧的校正后的全方位图像，以预定的动态图像压缩格式对图像数据进行编码，最终以动态图像数据或一系列静止图像输出。
信息终端150是诸如智能手机、平板计算机、个人计算机之类的终端设备，其中安装了用于与全方位照相机110进行通信以阅览或再生全方位图像的应用程序。信息终端150通过应用程序从操作者接收各种指令，并且向全方位照相机110发出各种请求。信息终端150的指令接收单元252对于接受的来自操作者的指定的全方位动态图像的校正指令(例如，一边校正一边动态图像再现的指令)作出响应，向全方位照相机110发出请求输出所设定的全方位动态图像的校正后的动态图像数据。信息终端150的显示单元254基于从全方位照相机110输出的全方位动态图像的图像数据，在信息终端150设有的显示器162之类的显示装置上显示全方位动态图像。
在信息终端150侧，基于校正后的图像数据显示任何期望类型的图像。例如，可以将全方位图像按原状态显示在显示装置上。可替代地，也可以将全方位图像粘贴在球形物体上，当从预定位置使用具有预定视角的照相机观察球形物体时捕获的图像显示为帧，显示动态图像。
在本实施例中，实际上不使用信息终端150、而使用全方位照相机110侧的资源执行天顶校正和旋转校正的处理，校正结果输出到信息终端150以显示校正后的图像。利用该配置，不管信息终端150的处理性能如何，都可以在对图像进行天顶校正和旋转校正的同时稳定地再现动态图像。
在本公开的实施例中，描述全方位动态图像的图像数据发送到信息终端150的情况。但是，本发明并不局限于此。当全方位照相机110包括显示装置时，全方位照相机110的显示装置可以显示全方位动态图像。可替代地，全方位动态图像的图像数据也可以存储为另一文件。
下面参照图7和图8更详细地描述根据本公开的实施例的旋转校正。图7是由构成本实施例的全方位动态图像系统1000的全方位照相机110执行的全方位动态图像校正处理的流程图。图8A和图8B是用于说明根据本公开的实施例的计算用于旋转校正的正面矢量的方法的示图。
在图7所示的处理中，全方位照相机110响应从与该全方位照相机110通信的外部的信息终端150接收到的输出校正后的特定全方位动态图像数据的请求，开始处理。
在步骤S101中，全方位照相机110读取由接收到的请求指定的全方位动态图像数据240。在这种情况下，由全方位照相机110读取的全方位动态图像数据240包括构成全方位动态图像数据240的全方位帧数据242，以及作为元数据的天顶校正数据244和角速度数据246。
在步骤S102中，全方位照相机110基于天顶校正数据244的前导帧的倾斜角矢量T(0)，计算在捕获前导帧(第一帧)时刻的全方位照相机110的正面方向V(0)。首先，生成前导帧的倾斜角矢量T(0)和重力方向矢量G＝(0，0,1)的四元数Q(0)。倾斜角矢量T(0)表示在前导帧(第一帧)时刻的全局坐标系与全方位照相机110的局部坐标系之间的旋转位移。四元数Q(0)的旋转轴A(0)和旋转角θ(0)由下式(1)和(2)表示。并且，四元数Q(0)如图8A所示，表示绕旋转轴A(0)的旋转角θ(0)的旋转。
如图8A所示，以所获得的四元数Q(0)使得全局正面矢量(0，1，0)旋转，求取全方位照相机110的正面方向矢量的初始值V(0)。在这种情况下，假设全方位照相机110的中心轴z0与全局坐标系的Z轴(重力方向)一致，并且，全方位照相机110的正面方向(一个光学系统的光轴)与全局坐标系的Y轴一致，以该状态为基准，求取表示在倾斜状态下的全方位照相机110的正面的正面方向矢量的初始值V(0)。
在步骤S103中，全方位照相机110根据角速度数据246，计算分别与帧对应的涉及多个时刻的全方位照相机110的正面方向矢量V(n)的时间序列值。各时刻的正面方向矢量V(n)可以求取角速度数据246中的采样过程之间的时间差，通过对每个采样积分与绕三轴的角速度Gyro(n)相对应的无限小的旋转，进行计算。因施加到全方位照相机110负荷，存在采样间隔发生偏差的可能性，但是，可以从时间戳合适地求取采样之间的时间差。在步骤S103中，如图8B所示，将前导帧(第一时刻)的正面方向V(0)作为起点，计算正面方向矢量V(n)的时间序列值。
在步骤S104至S110的循环中，对每个帧计算用于旋转校正的校正角的同时，适用天顶校正和旋转校正。
在步骤S105中，全方位照相机110搜索与关注帧相对应的照相机正面方向矢量V(n)，基于天顶校正数据244计算用于旋转校正的校正角度。通常，角速度数据246具有与帧速率不同的采样速率，其中，搜索正面方向矢量V接近时间戳，以及对应于天顶校正数据244的关注帧。
在这种情况下，假设正面方向矢量V(n)对应于第m帧。首先，计算从第m帧的倾斜角矢量T(M)求取四元数Q(m)。该四元数Q(m)的旋转轴A(m)和旋转角θ(m)与上述式(1)和(2)相同，用以下式(3)和(4)表示。
并且，如图8B所示，与第m帧对应的正面方向矢量V(n)以四元数Q(m)旋转，获得正面方向矢量V'(n)。结果，获得在天顶校正之后照相机正面矢量V(n)面对的方向。然后，基于获得的矢量V′(n)，在全局坐标的XY平面内,使用下式获得校正角Angle(n)。
Angle(n)＝atan2(V.x(n)，V.y(n))...(5)
在这种情况下，上式(5)中的函数atan2(x坐标，y坐标)是在-180度～180度(-π～π)的范围使得反正切返回的函数。
在步骤S106中，作为高通滤波器的预处理，全方位照相机110调整在步骤S105中获得的校正角，以保持校正角的连续性，计算调整后的校正角AngleIn(n)。
在上述实施例中，校正角Angle(n)可以通过反正切求取，作为-180度～+180度的定义域范围内的值。因此，校正角Angle(n)当作为时间序列值看时，有时从+180度附近向-180度附近(或朝相反方向，即从-180度附近向+180度附近)改变。在步骤S106中，如下面的伪代码所示，全方位照相机110(加减单元)基于连续获得的校正角之间的校正角Angle(n)的变化量，检测校正角Angle(n)从域的上限附近到下限附近(从下限附近到上限附近)的变化。换句话说，检测校正角Angle(n)从域的一端到另一端的变化。基于这样的检测，由加减单元对各帧的校正角Angle(n)加上调整值，或从校正角Angle(n)减去调整值。在以下伪代码中，“阈值”是对于用于检测校正角从域的上限附近到下限附近(从下限附近到上限附近)的变化的校正角Angle(n)变化量的阈值。下式中的最后一个代码“Angle(0)”是通过上式(5)获得的校正角的初始值。基于校正角度Angle(0)，执行校正。在以下伪代码中，“(n-1)”对应于紧接“n”对应的帧之前的帧。
if(angle(n)-angle(n-1)＞threshold){
AdjustAngle(n)＝AdjustAngle(n-1)-360
}else if(angle(n)-angle(n-1)＜-threshold){
AdjustAngle(n)＝AdjustAngle(n-1)+360
}else{
AdjustAngle(n)＝AdjustAngle(n-1)
}
AngleIn(n)＝Angle(n)+AdjustAngle(n)-Angle(0)
在步骤S107中，全方位照相机110对调整后的关注帧时刻的校正角AngleIn(n)执行高通滤波处理，允许高频成分通过。因此，获得滤波处理之后的校正角AngleOut(n)。可以通过下式获得滤波后的校正角AngleOut(n)。下式中的符号“P”是采样周期，符号“Hc”是截止频率。在下式中，“(n+1)”对应于紧接“n”对应的帧之后的帧。
∑Angle(n+1)＝∑Angle(n)+AngleOut(n)
t＝P/(2π*Hc)
在步骤S108中，全方位照相机110对于全方位帧数据242中的关注帧，基于计算出的校正角度和天顶校正数据244内的对应的倾斜矢量T(m)，除天顶校正之外，执行旋转校正，减少绕基准方向的高频分量引起的旋转失真。在步骤S109中，全方位照相机110输出已进行旋转变换的全方位图像的帧。
当对全方位动态图像数据240中包含的所有帧执行步骤S105至S109的处理时，步骤S104至S110的循环结束，校正处理结束。
当全方位照相机110正确地沿垂直方向载置时(全方位照相机110未相对于基准方向(重力方向)倾斜)，可以拍摄全方位图像，如图6B所示那样，摄影者识别的天顶与水平线一致。但是，通常，用手握持照相机时，难以正确地固定位置和姿势拍摄图像。如果在照相机主体倾斜的情况下捕获图像，若不进行天顶校正，则如图6A所示，各自图像天顶偏离，水平线失真。如果照相机主体因例如手摇晃而旋转，若不执行旋转校正，则成为图像沿水平线模糊。
与此相反，在根据本公开的实施例中，对所有帧的图像进行变换处理(校正处理)，使得诸如重力方向的基准方向Z与全方位照相机110的中心轴z0一致，减小绕基准方向Z的图像的旋转失真。利用这种配置，观看者可以观看校正后的全方位动态图像而不会感到不适。
如上所述，根据上述实施例的配置，可以提供一种能够有效地校正绕预定基准方向的图像的旋转模糊的图像处理设备，包括该图像处理设备的图像处理系统以及记录介质。
尤其，使用在拍摄时作为元数据存储的角速度数据执行旋转校正，这可以减少拍摄期间的负荷。此外，可以决定在再现时不执行旋转校正或执行旋转校正，仅抑制非常小的分量。
在上述实施例中，说明使用全方位照相机110作为图像处理设备的示例。使用全方位照相机110的资源执行天顶校正和旋转校正的实质性处理的配置，无论再生侧装置具备的处理性能如何，都可以在对图像施以天顶校正和旋转校正的同时稳定地再现动态图像。然而，图像处理设备可以不是诸如全方位照相机110的图像捕获设备。在一些其他实施例中，与全方位照相机110不同的例如个人计算机之类的信息处理设备也可以用作图像处理设备。
在上述实施例中，描述重叠并合成由各自具有大于180度的视角的透镜光学系统捕获的两个部分图像的情况。但是，本发明并不局限于此。在一些其他实施例中，由一个或多个透镜光学系统捕获的三个或更多个部分图像可以彼此叠加并合成。此外，根据上述实施例的配置应用于配备鱼眼镜头的成像系统。可替代地，根据本公开的实施例的配置可应用于配备超广角镜头的全方位动态图像成像系统。
此外，在上述实施例中，说明在全方位动态图像系统1000中，全方位照相机110与信息终端150分离的情况。但是，本发明并不局限于此。在一些实施例中，全方位照相机110可以与全方位动态图像系统1000中的信息终端150构成为一体。
此外，在上述实施例中，当重力方向与全方位照相机110的中心轴一致时，设为全方位照相机110不倾斜。然而，本发明并不局限于此。也可以代替重力方向，例如，可以将水平方向或其它期望方向设置为基准方向，基于诸如全方位照相机110或图像传感器130A、130B相对该基准方向的倾斜度来校正图像的倾斜度。
如上所述的功能块可以通过由诸如汇编语言、C、C++、C#、Java(注册商标)之类的编程语言或对象指向编程语言所描述的计算机可执行程序实现。所述程序可以通过存储在诸如ROM、电可擦除可编程只读存储器(EEPROM)、电可编程只读存储器(EPROM)、闪存、软盘、只读光盘(CD-ROM)、可擦写光盘(CD-RW)、数字多功能盘(DVD)-ROM、DVD-RAM、DVD-RW、蓝光光盘、安全数字(SD)卡、磁光盘(MO)等计算机可读存储介质中经由通信线路分发。上述所有或局部功能单元可以例如在诸如场可编程门阵列(FPGA)之类的可编程设备上或作为专用集成电路(ASIC)实现。为了在可编程设备上实现这样的功能单元，可以作为由例如硬件描述语言(HDL)、高速集成电路硬件描述语言(VHDL)、Verilog-HDL描述的数据，通过记录介质向可编程设备配布电路配置数据(比特流数据)。
鉴于以上教导，许多附加的修改和变化是可能的。因此，应当理解，在所附权利要求的范围内，可以不同于本文具体描述的方式实施本专利说明书的公开。本发明可以以任何方便的形式实现，例如使用专用硬件，或专用硬件和软件的混合。本发明可以实现为由一个或多个联网处理设备实现的计算机软件。处理设备可以为任何适当编程的设备，例如通用计算机，个人数字助理，移动电话(例如WAP或3G兼容电话)等。由于本发明可以实现为软件，因此本发明的每个方面都包含可在可编程设备上实现的计算机软件。可以使用诸如记录介质的任何常规载体介质将计算机软件提供给可编程设备。载体介质可以是瞬态载体介质，例如携带计算机代码的电、光、微波、声学、或射频信号。这种瞬态介质的示例是在IP网络(例如因特网)上承载计算机代码的TCP/IP信号。载体介质还可以包括用于存储处理器可读代码的存储介质，例如软盘、硬盘、CDROM、磁带设备、或固态存储设备。尽管以上已经描述了本公开的实施例，但是本公开不限于上述实施例，可以在本公开的范围内进行各种修改。鉴于以上教导，许多附加的修改和变化是可能的。因此，应当理解，在所附权利要求的范围内，可以以不同于本文具体描述的方式实施。例如，在本公开和所附权利要求的范围内，不同的说明性实施例的元件和/或特征可以彼此组合和/或彼此替代。
所描述的实施例的每个功能可以由一个或多个处理电路或电路实现。处理电路包括编程处理器，作为包含电路的处理器。处理电路还包括诸如专用集成电路(ASIC)、DSP(数字信号处理器)、FPGA(场可编程门阵列)之类的设备以及用于执行所述功能的传统电路部件。
所示出的设备仅是用于实现本文公开的实施例的几种计算环境之一的图示。例如，在一些实施例中，图像捕获装置包括多个计算装置，例如服务器群，其配置为通过任何类型的通信链路彼此通信，包括网络、共享存储器等，共同执行本文公开的处理。类似地，图像处理设备可以包括配置为彼此通信的多个计算装置。
此外，图像捕获装置和图像处理设备能以不同的组合配置为共享公开的例如图7的处理步骤。例如，可以由图像处理设备执行由校正单元执行的处理。类似地，可以由图像处理设备执行校正单元的功能。此外，图像捕获装置和图像处理设备的图示元件可以组合成单个服务器设备，或者以上述任一图中所示以外的组合在多个机器之间划分。
相关申请的交叉引用
本专利申请基于并根据35U.S.C.§119(a)要求于2017年12月18日向日本专利局提交的日本专利申请Nos.2017-242107的优先权,其全部公开内容通过引用作为参考。
附图标记列表
12 摄像体
14壳体
18 快门按钮
20 成像光学系统
22、130 图像传感器
110、130 全方位照相机(omnidirectional camera)
112、152 CPU
114 ROM
116 图像处理块
118 动态图像压缩块
120、126 接口
122 存储器接口
124 传感器接口
126 USB接口
128 串行块
132 DRAM
134 外部存储器
136 传感器
138、166 USB连接器
150 信息终端
154 RAM
156 内部存储器
158 输入装置
160 存储器
162 显示器
164 无线NIC
210、250 功能块
212 全方位动态图像捕获单元
214 存储单元
220 全方位动态图像校正单元
222 照相机正面计算单元
224 校正角计算单元
226 校正角调节单元
228 图像旋转单元
230 接收单元
232 图像输出单元
240 全方位动态图像数据(omnidirectional moving-image data)
242 全方位帧数据(omnidirectional frame data)
244 天顶校正数据(zenith correction data)
246 角速度数据
252 指令接收单元
254 显示单元
Claims (10)
1.一种图像处理设备，包括：
存储单元，存储包含由与所述图像处理设备可通信的图像捕获装置捕获的多个帧的动态图像数据，所述图像捕获装置相对于基准方向的倾斜角度的时间序列数据，其中，所述基准方向是重力方向，以及在所述图像捕获装置中产生的角速度的时间序列数据；
校正单元，基于所述倾斜角度的时间序列数据，对所述动态图像数据的多个帧中的每个帧的全方位图像执行天顶校正，以及基于所述角速度的时间序列数据，执行旋转校正，以通过校正角度在垂直于所述基准方向的平面内旋转所述动态图像数据的多个帧中的每个帧的经天顶校正的全方位图像，以减少围绕所述基准方向的在规定的频率范围内的旋转畸变，所述校正角度是基于所述倾斜角度的时间序列数据和所述角速度的时间序列数据两者计算的；以及
输出单元，将所述多个帧中的每个帧的经旋转校正的全方位图像的图像数据输出到与所述图像处理设备可通信的信息处理设备。
2.根据权利要求1所述的图像处理设备，
其中，响应于来自所述信息处理设备的输出多个帧中的每个帧的经旋转校正的图像数据的请求，校正单元开始旋转动态图像数据的多个帧中的每个帧的图像，输出多个帧中的每个帧的经旋转校正的图像数据；
其中，所述天顶校正基于所述倾斜角度的时间序列数据，相对于所述重力方向沿滚动方向和俯仰方向对所述多个帧中的每个帧的全方位图像进行校正；以及
其中，所述旋转校正基于所计算的校正角度，相对于所述重力方向沿偏转方向对所述多个帧中的每个帧的全方位图像进行校正。
3.根据权利要求1所述的图像处理设备，所述校正单元进一步包括：
第一计算单元，基于在第一时刻的倾斜角度的时间序列数据的值，计算在第一时刻的图像捕获装置的第一正面方向，以及基于角速度的时间序列数据，计算遍及与所述多个帧相对应的多个时刻的所述图像捕获装置的正面方向的时间序列值；以及
第二计算单元，基于倾斜角度的时间序列数据，计算从所述多个时刻的各时刻的所述正面方向施以图像旋转时的所述多个时刻的各时刻的校正角度。
4.根据权利要求3所述的图像处理设备，所述校正单元进一步包括：
滤波单元，对于所计算的所述多个时刻的各时刻的校正角度，施以在所述规定的频率范围内使得高频分量通过的滤波处理。
5.根据权利要求3或4所述的图像处理设备，所述校正单元进一步包括：
加减单元，检测校正角度从校正角区域的一端到另一端的变化，并且向所述校正角度加上调整值，或从所述校正角度减去调整值。
6.根据权利要求3或4所述的图像处理设备，
其中，通过从在所述第一时刻的所述第一正面方向开始，对与所述角速度的时间序列数据的各轴的角速度相对应的无穷小旋转进行积分，获得在所述多个时刻的各时刻的所述正面方向。
7.一种图像处理系统，包括图像处理设备，所述图像处理设备包括：
存储单元，存储包含由与所述图像处理设备通信的图像捕获装置捕获的多个帧的动态图像数据，所述图像捕获装置相对于基准方向的倾斜角度的时间序列数据，其中，所述基准方向是重力方向，以及所述图像捕获装置中产生的角速度的时间序列数据；
校正单元，基于所述倾斜角度的时间序列数据，对所述动态图像数据的多个帧中的每个帧的全方位图像执行天顶校正，以及基于所述角速度的时间序列数据，执行旋转校正，以通过校正角度在垂直于所述基准方向的平面内旋转所述动态图像数据的所述多个帧中的每个帧的经天顶校正的全方位图像，以减少围绕所述基准方向的在规定的频率范围内的旋转畸变，所述校正角度是基于所述倾斜角度的时间序列数据和所述角速度的时间序列数据两者计算的；以及
输出单元，将所述多个帧中的每个帧的经旋转校正的全方位图像的图像数据输出到与所述图像处理设备可通信的信息处理设备；
所述图像处理系统还包括所述信息处理设备，所述信息处理设备包括：
接收单元，接收输出所述经旋转校正的全方位图像的图像数据的请求；以及
显示单元，显示所述经旋转校正的全方位图像的图像数据。
8.根据权利要求7中所述的图像处理系统，其中，响应于来自所述信息处理设备的输出多个帧的每个帧的经旋转校正的图像数据的请求，所述校正单元开始旋转所述动态图像数据的所述多个帧中的每个帧的经天顶校正的全方位图像，输出所述多个帧的每个帧的所述经旋转校正的图像数据。
9.一种图像处理方法，包括：
存储由与图像处理设备可通信的图像捕获装置捕获的包含多个帧的动态图像数据，所述图像捕获装置相对于基准方向的倾斜角度的时间序列数据，其中，所述基准方向是重力方向，以及在所述图像捕获装置中产生的角速度的时间序列数据；
基于所述倾斜角度的时间序列数据，对所述动态图像数据的多个帧中的每个帧的全方位图像执行天顶校正，以及基于所述角速度的时间序列数据，执行旋转校正，以通过校正角度在垂直于所述基准方向的平面内旋转所述动态图像数据的多个帧中的每个帧的经天顶校正的全方位图像，以减少围绕所述基准方向的在规定的频率范围内的旋转畸变，所述校正角度是基于所述倾斜角度的时间序列数据和所述角速度的时间序列数据两者计算的；以及
将所述多个帧中的每个帧的经旋转校正的全方位图像的图像数据输出到与所述图像处理设备可通信的信息处理设备。
10.一种记录介质，载有计算机可读取代码，用于控制计算机执行:
存储由与图像处理设备可通信的图像捕获装置捕获的包含多个帧的动态图像数据，所述图像捕获装置相对于基准方向的倾斜角度的时间序列数据，其中，所述基准方向是重力方向，以及在所述图像捕获装置中产生的角速度的时间序列数据；
基于所述倾斜角度的时间序列数据，对所述动态图像数据的多个帧中的每个帧的全方位图像执行天顶校正，以及基于所述角速度的时间序列数据，执行旋转校正，以通过校正角度在垂直于所述基准方向的平面内旋转所述动态图像数据的多个帧中的每个帧的经天顶校正的全方位图像，以减少围绕所述基准方向的在规定的频率范围内的旋转畸变，所述校正角度是基于所述倾斜角度的时间序列数据和所述角速度的时间序列数据两者计算的；以及
将所述多个帧中的每个帧的经旋转校正的全方位图像的图像数据输出到与所述图像处理设备可通信的信息处理设备。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017242107A JP7031280B2 (ja) | 2017-12-18 | 2017-12-18 | 画像処理装置、画像処理システムおよびプログラム |
| JP2017-242107 | 2017-12-18 | ||
| PCT/JP2018/041842 WO2019123890A1 (en) | 2017-12-18 | 2018-11-12 | Image processing apparatus, image processing system, image processing method, and recording medium |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111480176A CN111480176A (zh) | 2020-07-31 |
| CN111480176B true CN111480176B (zh) | 2023-08-18 |
Family
ID=64457061
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201880081196.8A Active CN111480176B (zh) | 2017-12-18 | 2018-11-12 | 图像处理设备，图像处理系统，图像处理方法和记录介质 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US11019262B2 (zh) |
| EP (1) | EP3729364A1 (zh) |
| JP (1) | JP7031280B2 (zh) |
| KR (1) | KR20200087816A (zh) |
| CN (1) | CN111480176B (zh) |
| WO (1) | WO2019123890A1 (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11128814B2 (en) * | 2018-11-30 | 2021-09-21 | Vecnos Inc. | Image processing apparatus, image capturing apparatus, video reproducing system, method and program |
| CN111565270B (zh) * | 2019-02-13 | 2024-05-03 | 株式会社理光 | 拍摄装置及拍摄光学系统 |
| JP7192592B2 (ja) | 2019-03-15 | 2022-12-20 | 株式会社リコー | 撮像装置、画像通信システム、画像処理方法、プログラム |
| JP7350511B2 (ja) * | 2019-05-14 | 2023-09-26 | キヤノン株式会社 | 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010233075A (ja) * | 2009-03-27 | 2010-10-14 | Sony Ericsson Mobile Communications Ab | 携帯端末及び画像方向補正方法 |
| CN104160693A (zh) * | 2012-03-09 | 2014-11-19 | 株式会社理光 | 图像捕获装置、图像捕获系统、图像处理方法、信息处理装置和计算机可读存储介质 |
| JP2016048856A (ja) * | 2014-08-27 | 2016-04-07 | 株式会社リコー | 画像表示システム、画像表示装置、画像表示方法、およびプログラム |
| CN105611169A (zh) * | 2015-12-31 | 2016-05-25 | 联想(北京)有限公司 | 图像获取方法和电子设备 |
| CN106464804A (zh) * | 2014-05-15 | 2017-02-22 | 株式会社理光 | 成像系统、成像装置、计算机程序和系统 |
| JP2017147682A (ja) * | 2016-02-19 | 2017-08-24 | 株式会社ザクティ | 全天球撮影システム |
| JP2017212510A (ja) * | 2016-05-24 | 2017-11-30 | 株式会社リコー | 画像管理装置、プログラム、画像管理システム及び情報端末 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090040308A1 (en) * | 2007-01-15 | 2009-02-12 | Igor Temovskiy | Image orientation correction method and system |
| JP6098873B2 (ja) * | 2012-09-04 | 2017-03-22 | パナソニックＩｐマネジメント株式会社 | 撮像装置および画像処理装置 |
| US10666860B2 (en) * | 2012-09-11 | 2020-05-26 | Ricoh Company, Ltd. | Image processor, image processing method and program, and imaging system |
| JP6056366B2 (ja) | 2012-10-17 | 2017-01-11 | リコーイメージング株式会社 | 手ブレ補正装置およびカメラ |
| JP6128389B2 (ja) | 2013-01-24 | 2017-05-17 | パナソニックＩｐマネジメント株式会社 | 撮像装置 |
| JP6398457B2 (ja) * | 2014-08-14 | 2018-10-03 | 株式会社リコー | 撮影装置、撮影方法、およびプログラム |
| JP2016105534A (ja) * | 2014-12-01 | 2016-06-09 | 株式会社ザクティ | 撮像装置、及び撮像装置システム |
| JP5920507B1 (ja) * | 2015-03-10 | 2016-05-18 | 株式会社リコー | 画像処理システム、画像処理方法およびプログラム |
-
2017
- 2017-12-18 JP JP2017242107A patent/JP7031280B2/ja active Active
-
2018
- 2018-11-12 KR KR1020207017126A patent/KR20200087816A/ko not_active Application Discontinuation
- 2018-11-12 WO PCT/JP2018/041842 patent/WO2019123890A1/en unknown
- 2018-11-12 CN CN201880081196.8A patent/CN111480176B/zh active Active
- 2018-11-12 US US16/753,910 patent/US11019262B2/en active Active
- 2018-11-12 EP EP18808126.9A patent/EP3729364A1/en active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010233075A (ja) * | 2009-03-27 | 2010-10-14 | Sony Ericsson Mobile Communications Ab | 携帯端末及び画像方向補正方法 |
| CN104160693A (zh) * | 2012-03-09 | 2014-11-19 | 株式会社理光 | 图像捕获装置、图像捕获系统、图像处理方法、信息处理装置和计算机可读存储介质 |
| CN106464804A (zh) * | 2014-05-15 | 2017-02-22 | 株式会社理光 | 成像系统、成像装置、计算机程序和系统 |
| JP2016048856A (ja) * | 2014-08-27 | 2016-04-07 | 株式会社リコー | 画像表示システム、画像表示装置、画像表示方法、およびプログラム |
| CN105611169A (zh) * | 2015-12-31 | 2016-05-25 | 联想(北京)有限公司 | 图像获取方法和电子设备 |
| JP2017147682A (ja) * | 2016-02-19 | 2017-08-24 | 株式会社ザクティ | 全天球撮影システム |
| JP2017212510A (ja) * | 2016-05-24 | 2017-11-30 | 株式会社リコー | 画像管理装置、プログラム、画像管理システム及び情報端末 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019110434A (ja) | 2019-07-04 |
| CN111480176A (zh) | 2020-07-31 |
| KR20200087816A (ko) | 2020-07-21 |
| US11019262B2 (en) | 2021-05-25 |
| EP3729364A1 (en) | 2020-10-28 |
| US20200366839A1 (en) | 2020-11-19 |
| JP7031280B2 (ja) | 2022-03-08 |
| WO2019123890A9 (en) | 2019-08-29 |
| WO2019123890A1 (en) | 2019-06-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6721065B2 (ja) | 撮像装置、画像処理装置および方法 | |
| CN111480176B (zh) | 图像处理设备，图像处理系统，图像处理方法和记录介质 | |
| JP7226484B2 (ja) | 撮像システム、撮像装置、動画表示装置、画像処理装置、方法およびプログラム。 | |
| CN105979123B (zh) | 图像处理系统、图像处理方法 | |
| KR101888470B1 (ko) | 촬상 시스템, 촬상 장치, 컴퓨터 프로그램 및 시스템 | |
| JP2017017689A (ja) | 全天球動画の撮影システム、及びプログラム | |
| CN111263037B (zh) | 图像处理装置、拍摄装置、视频播放系统、方法以及程序 | |
| EP3644600B1 (en) | Imaging device, information processing method, system, and carrier means | |
| JP5248951B2 (ja) | カメラ装置、画像撮影支援装置、画像撮影支援方法、及び画像撮影支援プログラム | |
| JP6256513B2 (ja) | 撮像システム、撮像装置、方法およびプログラム | |
| JP2020096349A (ja) | 画像処理装置、撮像装置、動画再生システム、方法およびプログラム | |
| JP2018037786A (ja) | 撮影装置、方法およびプログラム | |
| JP7206797B2 (ja) | 撮像装置、情報処理装置、補正値計算方法およびプログラム | |
| JP2020174363A (ja) | 撮影システム、方法およびプログラム | |
| CN104704804A (zh) | 摄像装置、检测装置 | |
| JP2020136850A (ja) | 撮像装置、撮像方法、プログラムおよび撮像システム | |
| JP2020078065A (ja) | 撮像装置、情報処理装置、補正量設定方法およびプログラム | |
| CN113261272A (zh) | 图像捕获装置，图像捕获方法和记录介质 | |
| CN113473027A (zh) | 图像处理方法、电子设备和存储介质 | |
| JP2014216744A (ja) | 撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |