CN107710728A - 全球面视频成像系统和计算机可读记录介质 - Google Patents
全球面视频成像系统和计算机可读记录介质 Download PDFInfo
- Publication number
- CN107710728A CN107710728A CN201680037512.2A CN201680037512A CN107710728A CN 107710728 A CN107710728 A CN 107710728A CN 201680037512 A CN201680037512 A CN 201680037512A CN 107710728 A CN107710728 A CN 107710728A
- Authority
- CN
- China
- Prior art keywords
- inclination angle
- vertical direction
- acquisition
- angle
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 36
- 238000012937 correction Methods 0.000 claims abstract description 37
- 230000001133 acceleration Effects 0.000 claims description 31
- 230000015654 memory Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 description 28
- 238000012545 processing Methods 0.000 description 27
- 241000251468 Actinopterygii Species 0.000 description 11
- 238000000034 method Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 230000005055 memory storage Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 5
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Exposure Control For Cameras (AREA)
- Details Of Cameras Including Film Mechanisms (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Image Processing (AREA)
Abstract
根据本发明的全球面视频成像系统包括获取单元，所述获取单元被配置为以“整数分之一”的第二周期时间从图像传感器获取相对于垂直方向的倾斜角，第二周期时间比获取单元从图像传感器获取原始图像数据的第一周期时间短；计算器，计算器被配置为由与原始图像数据的获取同时地被获取的图像传感器相对于垂直方向的倾斜角以及在原始图像数据的获取前后的期间内被获取的图像传感器相对于垂直方向的倾斜角来计算平均倾斜角；以及生成器，所述生成器被配置为通过在所述平均倾斜角的基础上来校正所述原始图像数据而生成校正的图像数据。
Description
技术领域
本发明涉及一种全球面视频成像系统和计算机可读记录介质。
背景技术
通常地，使用双曲面反射镜、使用鱼眼镜头等等捕获全方位(或者全球面)图像的装置被熟知。这些装置中的一些利用单次拍摄捕获半球面或者全球面静止图像。
将通过使用鱼眼镜头的广角图像捕获记录有半球面的失真圆形图像的一部分剪出并且通过执行计算机图像处理将失真的图像转换为平面的常规图像的技术是已知的。
另一个应用于这种图像处理的技术也是已知的，即当失真圆形图像的中心位置与天顶方向没有正确重合时，使用户指定用于倾斜角的参数，由此减少由图像失真校正施加的工作量。
因此，存在这样的问题，当利用处于倾斜方位的图像捕获装置捕获图像时，会生成在垂直方向上不正确的全方位(全球面)图像。用于解决该问题的发明已被熟知。
专利文献1公开了一种用于转换视频的每帧图像以记录全球面视频的方法和设备的配置，在该全球面视频中向上的垂直方向始终正确，即使利用倾斜的包括两个鱼眼镜头和加速度传感器的视频捕获装置的主体来捕获该视频。这通过记录两个鱼眼视频，并且在捕获视频之后通过使用从加速度传感器获取的关于主体的倾斜角的数据，与向球面投影的转换同时地执行天顶校正而实现。
在专利文献2中公开了一种从具有360度水平视角和180度垂直视角的半球形视野收集视频信息的技术，该视频信息通过使用特定的电磁波作为数据介质而被全球面地或者全向地传输。
在专利文献3中公开了一种如同专利文献2中从具有360度水平视角和180度垂直视角的半球形视野收集视频信息的技术，该视频信息通过使用特定的电磁波作为数据介质而被全球面地或者全向地传输。
发明内容
[技术问题]
人们期望上述问题能够被从专利文献1获知的在图像由主体倾斜的可手持全球面摄像机被捕获时，用于显示应用倾斜角校正之后的静止图像的技术所解决。然而，已经出现由噪声引起的在加速度传感器的输出值上的波动使得难以获取相对于垂直方向的角度的新问题。
在技术特征上不同于本发明的专利文献2和专利文献3同样不能解决由噪声引起的在加速度传感器的输出值上的波动使得难以获取相对于垂直方向的角度这个新的问题。
考虑到通常的问题，有必要提供一种成像系统，以短于图像数据获取周期时间的周期时间获取加速度传感器数据以由此正确地校正全球面摄像机的主体的倾斜。
[解决问题的方案]
本发明具有以下特征。
根据本发明的示范性实施例，提供一种全球面视频成像系统，包括：获取单元，所述获取单元被配置为以“整数分之一”的第二周期时间从图像传感器获取相对于垂直方向的倾斜角，所述第二周期时间比所述获取单元从所述图像传感器获取原始图像数据的第一周期时间短；计算器，所述计算器被配置为由与所述原始图像数据的获取同时地被获取的所述图像传感器的相对于所述垂直方向的倾斜角以及在跨立所述原始图像数据的所述获取的期间内被获取的所述图像传感器的相对于所述垂直方向的倾斜角来计算平均倾斜角；以及生成器，所述生成器被配置为通过在所述平均倾斜角的基础上来校正所述原始图像数据而生成校正图像数据。
[发明的有益效果]
根据本发明，通过将加速度传感器数据获取周期时间设置为短于图像数据获取周期时间，能够高度准确地获取主体的倾斜角。因此，可以生成高度准确的全方位(全球面)视频图像。
附图说明
图1是描述本发明的实施例的成像系统的功能框图。
图2是实施例的图像捕获装置的硬件结构图。
图3是实施例的信息处理装置的硬件结构图。
图4是示出实施例的倾斜角获取周期时间和图像数据获取周期时间的图。
图5A是在侧视图中由鱼眼镜头的外观来描述用于实施例的图像捕获装置的鱼眼镜头的投影关系的图。
图5B是在平面图中由捕获的图像的投影函数f来描述用于实施例的图像捕获装置的鱼眼镜头的投影关系的图。
图6A是描述以平面形式被呈现的通过实施例的图像捕获装置捕获的全方位(全球面)图像的格式的图。
图6B是描述以球面形式被呈现的通过实施例的图像捕获装置捕获的全方位(全球面)图像的格式的图。
图7是描述实施例的图像捕获装置的倾斜的示意图。
图8是描述使用(A)摄像机坐标系和(B)全球坐标系的用于通过实施例的图像捕获装置捕获的全方位(全球面)图像的垂直校正计算的图。
图9A是根据转换后图像和转换前图像的坐标值的矩阵的用于通过实施例的图像捕获装置捕获的全方位(全球面)图像的转换表。
图9B是描述转换后图像的坐标值和转换前图像的坐标值之间的关系的图。
图10是用于实施例的图像捕获装置的流程图。
图11是用于实施例的信息处理装置的流程图。
图12是通过接合利用两个鱼眼镜头捕获的图像而获取的并且已经经过实施例的倾斜角校正的一组图像。
图13是通过接合利用两个鱼眼镜头捕获的图像而获取的但是还未经过实施例的倾斜角校正的一组图像。
附图意在描述本发明的示范性实施例并且不应当被解释为限制其的范围。在所有不同的附图中相同的或者相似的参考数字指定相同的或者相似的部件。
具体实施方式
在此使用的术语只为描述特定的实施例，并不意在限制本发明。
如在此使用的单数形式“一个”，和“所述"，除非上下文清楚地表示，否则同样包括复数形式。
在描述附图中示出的优选实施例时，为了清楚可以采用特定术语。然而，本专利说明书的公开并不意在限于这样选择的特定术语，并且将被理解的是每个特定元素包括具有相同功能，以类似方式运转以及达到类似结果的所有技术等效物。
参考附图详细地描述用于实现本发明的实施例。在附图中，通过相同的参考符号表示相同的或者等效的元素，并且视情况简化或者省略它们的重复描述。在本实施例中，全方位(全球面)图像捕获装置检测垂直方向并且在全方位(全球面)图像生成时根据垂直方向校正在图像处理中使用的转换表。术语成像系统指的是多个装置，例如，被分别使用的数字摄像机和信息处理装置。在本实施例中，除非另有说明，术语图像捕获装置概念上包括成像系统。
在本发明的最优实施例的实例中，全球面摄像机被用作图像捕获装置，并且图像形成装置被用作信息处理装置。
以下描述本实施例的功能模块。图1说明了本实施例的成像系统的功能模块。本实施例中使用的图像捕获装置包括获取单元11；信息处理装置包括计算器21和生成器31。
获取单元11以短于图像数据获取周期时间的周期时间从加速度传感器获取相对于垂直方向的倾斜角。加速度传感器是在彼此正交的三个轴线方向上检测图像捕获装置的加速度的三轴加速度传感器，该三个轴线方向为上下、左右、以及远近方向。例如，当静止地手持图像捕获装置时，加速度传感器仅仅检测重力加速度。
在获取倾斜角之后，图像数据被压缩为视频数据。此时，关于倾斜角的信息被记录在逐帧的视频数据中。
由于相对于垂直方向的倾斜角以短于图像数据获取周期时间的周期时间被获取，不仅关于与图像数据的获取同步的倾斜角的信息而且关于与图像数据的获取不同步的倾斜角的信息也被记录。因此，关于多个倾斜角的信息被包含用于单个的图像数据块。稍后将详细地描述这一点。
基于在每帧基础上同步的多个倾斜角,计算器21为三个轴线方向中的每个计算相对于垂直方向的平均倾斜角。
平均值不限于算术平均值；可选择地，可以使用中值或者众数值。
生成器31使用计算的相对于垂直方向的平均倾斜角为图像数据的每一帧校正相对于垂直方向的倾斜，并且在已经正确地进行倾斜角校正之后，基于校正的数据生成校正的图像数据。
为了进行相对于垂直方向的倾斜角校正，倾斜角校正被应用于稍后将详细描述的预先确定的转换表。
通过临时将视频文件转换为静止图像文件而生成校正的图像数据是费时的。为此，该处理可以在存储器上进行而不用转换视频文件。
当已经在每一帧上进行倾斜角校正并且生成校正的图像数据时，图像数据的所有帧被接合，由此生成球面视频。
以下描述图像捕获装置的硬件结构。图2是示出本实施例的图像捕获装置的硬件结构的图。参考图2，图像捕获装置(在下文，有时也称为“全球面摄像机”)110包括第一图像传感器130A、第二图像传感器130B、DRAM(Dynamic Random Access Memory，动态随机存取存储器)132、外部存储器134、加速度传感器136、USB连接器138、无线NIC(NetworkInterface Controller，网络接口控制器)140、CPU(Central Processing Unit，中央处理单元)112、ROM(Read Only Memory，只读存储器)114、图像处理块116以及视频处理块118。DRAM 120、外部存储器134、加速度传感器136、USB连接器138以及无线NIC 140分别通过DRAM接口120、外部存储器接口122、外部传感器接口124、USB接口126以及串行块128分别生成它们所需的接口信号，并且通过总线119被分别连接到CPU 112、ROM 114、图像处理块116以及视频压缩处理块118。并且，DRAM 120、外部存储器134、加速度传感器136、USB连接器138以及无线NIC 140分别与CPU 112、ROM 114、图像处理块116以及视频压缩处理块118交换例如图像数据和倾斜角的数据。
在本实施例中，使用两个图像传感器(所谓的“双透镜系统”)获取全向图像的配置被采用。然而，可选择地，图像传感器的数量可以是三个以上。当图像传感器的数量是三个以上时，图像传感器中使用的透镜不一定具有180度或者更宽的视角。视角可以视情况而被调整。广角镜头，例如鱼眼镜头，被典型地用作透镜。图像捕获装置不限于全向的。可选择地，可以使用能够捕获具有360度的水平视角的图像的图像捕获装置。
加速度传感器136被用于在图像捕获时检测全球面摄像机110的倾斜。因此，全球面摄像机110的倾斜方向能够被即时地并且容易地检测到。
如果仅仅在上下方向的向下方向上检测加速度，表明全球面摄像机110的上下方向与相对于地面的垂直方向相重合。总之，表明数字摄像机以典型操作数字摄像机的方式被水平持握。
在图像捕获时，数字化的图像数据通过第一图像传感器130A和第二图像传感器130B被反馈至图像处理块116。这样被反馈的图像数据经历通过使用图像处理块116、CPU112、ROM 114等进行的图像处理，并且在经过视频压缩之后，被存储在DRAM 132中。通过加速度传感器136获取的关于倾斜角的信息也被存储在DRAM 132中，从而按照预定的程序指令将关于倾斜角的信息记录在存储的视频文件中。在已经过预定的处理之后，视频文件被最终存储在外部存储器134中。外部存储器的实例包括CompactFlash(注册商标)存储器和SD(Secure Digital，安全数码)存储器。
以下描述信息处理装置的硬件结构图。图3是本实施例的信息处理装置的硬件结构图。在本实施例中，图像形成装置被用作信息处理装置的实例。信息处理装置不限于这样的图像形成装置，并且可以是任意形式只要它提供本发明的成像系统所需要的功能。
参考图3，信息处理装置(在下文，有时称为“图像处理装置”)150包括外部存储器160由液晶或者有机电致发光面板等构成的显示器162、USB连接器166、无线NIC 164、CPU(Central Processing Unit，中央处理单元)152、RAM(Random Access Memory，随机存取存储器)154、是如闪速存储器的非易失性存储器的HDD 156以及例如键盘、鼠标和触摸面板的输入设备158。外部存储器160、显示器162、USB连接器166、无线NIC 164、CPU 152、RAM 154、HDD 156以及输入设备158通过总线168互相连接，并且互相交换不同类型的数据。
通过与全球面摄像机110的通信，视频文件被提供至图像处理装置150。被提供的视频文件被临时地存储在HDD 156中。通过CPU 152按照预定的程序指令，视频文件从HDD156中被读取出并且被解码为逐帧的图像数据。视频文件被临时地存储在RAM 154中。如上所述，图像数据的每一帧具有多个关于针对每个方向的倾斜角的信息块。单个帧的在每个方向上的倾斜角被计算为多个数据块的平均值。
在平均倾斜角的计算完成之后，依据倾斜角使用预定的校正手段校正转换表，该倾斜角为图像数据中的角度信息。稍后将描述用于校正转换表的方法。使用校正的转换表生成逐帧被校正的图像数据。该处理被重复直到所有的帧被转换。
由RAM 154中的视频文件生成校正的图像数据在存储器上被进行而不是通过临时地将存储在RAM 154中的视频文件转换为静止的图像文件。在存储器上不用将视频文件转换为静止图像地执行该处理增进了操作的加速。
当已经为每一帧生成校正的图像数据时，校正的图像数据被接合以将它编码为视频数据。编码的视频数据被存储在HDD 156中并且被输出以在显示器162等上显示视频，显示器162是显示设备。
以下描述本实施例的用于记录倾斜角和图像数据的方法。图4是示出在利用全球面摄像机的图像捕获中倾斜角获取周期时间和图像数据获取周期时间的图。
图4说明了倾斜角获取周期时间是图像数据获取周期时间的“1/4”的实例。倾斜角获取周期时间不限于此，并且可以是短于图像数据获取周期时间的任意周期时间，例如，图像数据获取周期时间的“1/5”或者“1/10”。
在本实施例中，关于依据全球面摄像机的倾斜而变化的倾斜角的信息被获取、用于在图像捕获期间被生成的视频文件并且，此外，关于倾斜角的信息被记录在视频文件中。
用于从加速度传感器获取倾斜角的周期时间是图像数据获取周期时间的“1/4”。相应地，在单个图像数据块被获取期间，加速度传感器获取四个倾斜角。这要求加速度传感器获取倾斜角的周期时间恒定。这是因为如果获取周期时间不是恒定的，计算的相对于垂直方向的倾斜角的可靠性降低。
参考图4，关于七个倾斜角的信息被记录以用于单个图像数据块。这是因为在与图像数据相同的周期中的倾斜角和在该周期之前的三个周期以及之后的三个周期中的倾斜角也作为倾斜角信息与图像数据相关联。
参考图4，不仅与图像数据的获取同时地被获取的倾斜角，而且在跨立图像数据的获取的第一周期时间的周期内获取的所有倾斜角是相关的。可选择地，仅仅两个倾斜角，即紧接图像数据获取前的倾斜角以及紧接相同的图像数据获取后的倾斜角，可以是相关的。进一步可选择地，仅仅关于在跨立图像数据的获取的第一周期时间的周期内在加速度数据上的噪声小的倾斜角的信息可以是相关的。在任何情况下，与图像数据相关的倾斜角信息需要的条件是倾斜角信息额外地包含关于在跨立图像数据的获取的周期内的、与图像数据获取周期时间失步的倾斜角的信息。
以下描述鱼眼镜头的投影关系，鱼眼镜头是用于本实施例的全球面摄像机的广角镜头的实例。图5A和5B是在侧视图中由用于实施例的数字摄像机的鱼眼镜头的外观(图5A)以及在平面图中由捕获的图像的投影函数f(图5B)来描述鱼眼镜头的投影关系的图。
通过具有宽于180度的视角的鱼眼镜头捕获的图像是基本上半个球体的场景的图像，该球体被通过其位于图像捕获位置的中心的平面所切割。如图5的(a)和(b)所示，图像被生成为具有图像高度h，图像高度h取决于入射角入射角和图像高度h之间的关系通过投影函数f定义该投影函数依据鱼眼镜头的特性而变化。
用于投影转换的方法(函数)的实例包括中心投影、球面投影、等距投影、等立体角投影以及正交投影。中心投影是用于利用具有常规视角的数字摄像机的图像捕获的方法。其他四种方法用于使用具有超广视角的例如鱼眼镜头的广角镜头的数字摄像机。
以下描述通过本实施例的数字摄像机捕获的全方位(全球面)图像的格式(表达的形式)。图6A和6B是描述通过本实施例的数字摄像机捕获的以平面形式(图6A)和球面形式(图6B)呈现的全方位(全球面)图像的格式的图。
参考图6A和6B，全方位(全球面)图像的格式是当被展开到如图6A所示的平面上时，该图像具有在从0至360度的水平角和从0至180度的垂直角的角坐标处的像素值。角坐标与图6B中示出的球面上的各个坐标点相关联并且基本上相当于球体上的纬度/经度坐标。
可以使用参考图5A和5B描述的投影函数f将利用鱼眼镜头捕获的图像的平面坐标值和全方位(全球面)图像的全球面坐标值关联起来。因此，像图6A和6B中示出的这样的全方位(全球面)图像能够通过转换两个利用鱼眼镜头捕获的图像并接合(联合)它们而生成。
以下描述本实施例的全球面摄像机的倾斜。图7是描述本实施例的全球面摄像机的倾斜的示意图。
在图7中，垂直方向与x1-y1-z1三维笛卡尔坐标系的z1轴一致，x1-y1-z1三维笛卡尔坐标系是全球坐标系。当该方向与图9A和9B中示出的数字摄像机的方位一致时，摄像机处于非倾斜状态。当它们不一致时，数字摄像机处于倾斜状态。
相对于重力矢量的倾斜角β以及在x1-y1平面的倾斜角α可以利用加速度传感器的输出从以下公式(1)获取。在公式(1)中，Ax是加速度传感器在摄像机坐标系中x0轴线方向分量的值，Ay是加速度传感器在摄像机坐标系中y0轴线方向分量的值，并且Az是加速度传感器在摄像机坐标系中z0轴线方向分量的值。
以下描述垂直校正计算。图8是描述使用(A)摄像机坐标系和(B)全球坐标系的用于通过本实施例的数字摄像机捕获的全方位(全球面)图像的垂直校正计算的图。
在图8中，通过(x1，y1，z1)表示全球坐标系中的三维笛卡尔坐标，并且通过(Θ1，)表示球面坐标。通过(x0，y0，z0)表示摄像机坐标系中的三维笛卡尔坐标并且通过(Θ0，)表示球面坐标。
使用图8中呈现的公式进行从球面坐标(Θ1，)向球面坐标(Θ0，)的转换。为校正倾斜需要进行使用三维笛卡尔坐标的旋转转换。因此，使用图8中呈现的公式进行从球面坐标(Θ1，)向三维笛卡尔坐标(x1，y1，z1)的转换。
此后，通过图8中呈现的旋转坐标转换，使用摄像机倾斜参数(α，β)进行从全球坐标系中的(x1,y1,z1)向摄像机坐标系中的(x0,y0,z0)的转换。换句话说，摄像机倾斜参数(α，β)被定义。
这意味着通过围绕z1轴旋转α并且进一步围绕x1轴旋转β来实现从全球坐标系向摄像机坐标系的转换。最后，使用呈现在图8中的公式，摄像机坐标系中的三维笛卡尔坐标(x0,y0,z0)被转换回摄像机坐标系中的球面坐标(Θ0，)。
以下描述使用转换表的倾斜校正的方法。图9A说明了通过本实施例的数字摄像机捕获的全方位(全球面)图像的转换表。
图9A是示出转换后图像和转换前图像的坐标值的矩阵以描述转换表(或者转换数据)的图。图9B是描述转换后图像的坐标值和转换前图像的坐标值之间的关系的图。
如图9A的(a)所示，用于图像转换的转换表包含转换后图像的坐标值(Θ，)(pix：像素)的数据集以及与每个转换后图像的坐标对应的转换前图像的坐标值(x，y)(pix)。虽然呈现的转换表具有列表数据结构，但是数据结构不限于列表形式。总之，仅仅要求转换表为转换数据。
按照图9A中示出的转换表，由捕获的图像(转换前图像)生成转换后图像。特别地，如图9B所示，基于图9A示出的转换表中转换前图像和转换后图像之间的对应，通过参考与坐标值(Θ，)(pix)关联的转换前图像的坐标值(x，y)(pix)处的像素值，生成转换后图像的像素。
以下描述本发明的实施例。图10是本实施例的流程图。参考图10的流程图进行以下描述。在本实施例中，通过将图像捕获装置配置为视频捕获模式，以视频捕获模式进行图像捕获。
当开始视频捕获时，按照预定的周期时间进行捕获的图像数据的获取(步骤S1)。
当图像数据的获取完成时，进行预定的图像处理(步骤S2)。在该阶段进行的图像处理意指常规的图像处理，例如失真校正和缺陷像素校正，并且不是倾斜角校正。此后，获取单元11按照预定的周期时间从加速度传感器获取相对于垂直方向的倾斜角(步骤S3至步骤S6)。在本实施例的实例中，以如上所述的图像数据获取周期时间的“1/4”的周期时间进行倾斜角获取。
当图像数据和倾斜角的获取完成时，图像数据被压缩为视频数据(步骤S7)。压缩的视频被记录在预定的记录介质中(步骤S8)。以上是对于一帧的处理。此后，在每一帧上类似地进行处理(从步骤1至步骤8)直到图像捕获结束(直到在步骤S9中判定“是”)。
当图像捕获结束时，关于倾斜角的信息被记录在存储于记录介质中的视频数据的扩展区(步骤S10)。如上所述，关于全部的六个倾斜角的信息作为与图像数据相关的倾斜角信息也被处理和记录，该六个倾斜角是与获取的图像数据同步并且在与获取的图像数据相同的周期中的倾斜角以及在跨立图像数据的获取的周期内获取的倾斜角。
至此描述的是在图像捕获装置的主体中进行的处理。
以下描述本实施例的信息处理装置。在本实施例中，图像处理装置被用作信息处理装置的实例。图11是用于本实施例的信息处理装置的流程图。参考图11的流程图进行以下描述。
信息处理装置获取通过图像捕获装置处理的视频数据(步骤S11)。通过用于数据发送和接收的任意方法可以进行视频数据的获取。该方法的实例包括有线或无线网络通信以及外部存储器的使用。
在每一帧的基础上，计算器21由记录在获取的视频文件中的关于倾斜角的信息来计算平均值(步骤S12)。
可以由从加速度传感器获取的数据通过计算摄像机倾斜参数来计算倾斜角，这在上文的关于摄像机坐标系和全球坐标系的段落[0040]至[0048]中描述过。加速度数据是在每个坐标系中在X方向、Y方向以及Z方向上的三轴坐标。
当已经计算出平均倾斜角时，生成器31在每一帧的基础上进行相对于垂直方向的倾斜角校正(步骤S13)。使用在段落[0049]至[0054]中描述的转换表进行倾斜角校正。转换表被存储在预定的记录单元中，例如RAM中。按照预定的程序指令进行倾斜角校正。
当完成倾斜角校正时，视频文件中的附加信息被读取出(步骤S14)。附加信息包括用于显示视频数据的时间信息和音频信息。
使用计算的平均倾斜角和视频文件中的附加信息生成已经过倾斜角校正的校正的图像数据。(步骤S15)
生成校正的图像数据在存储器上以存储在例如RAM的记录介质中的状态被进行，而不是通过将视频文件临时地转换为静止的图像文件。该机制允许快速完成处理。以上通过生成器31进行。此后，通过计算器21和生成器31的处理(从步骤S11至步骤S15)以类似的方式被进行直到每一帧被处理(直到在步骤S16中判定为“是”)。
当已经为所有帧生成校正的图像数据时，校正的图像数据被接合以将它编码为球面视频(步骤S17)。
图12是已经经过本实施例的倾斜角校正然后被编码的视频的一组静止图像。图13是还未经过本实施例的倾斜角校正而被编码的视频的一组静止图像。
在相对于向上的垂直方向的图像平面的失真和水平平面内的失真上，图12和图13之间的差异是明显的。在图13中，由于向上的垂直方向不固定，图像平面显示为球形表面。
参考图12，应用本发明的倾斜角校正使得清楚地重新生成向上的垂直方向，即使图像捕获装置是倾斜的，由此提供基本上相当于利用没有倾斜而被置于水平的图像捕获装置获取的视频图像的视频图像。
如上所述，本发明允许通过使用全方位(全球面)图像捕获装置和信息处理装置以图像数据获取周期时间的“1/4”的周期时间从加速度传感器获取倾斜角，由此实现高度准确的倾斜角校正。此外，通过在存储器上运行倾斜角被校正的图像数据，可以实现高速处理。
以上已经描述本实施例的优选实例。虽然已经通过特定的实例进行描述，但是在不背离所附权利要求的宗旨和范围时，可以在本特定实例上进行各种变型、改变等等。
由于将倾斜角校正应用于组成视频数据的图像数据、校正的图像数据的生成等等大概需要在功能方面具有高规格的设备，本发明的成像系统包括两件设备，即全球面摄像机和图像形成装置。
例如，如果能够实现本发明的成像系统的图像捕获装置是可获得的，就可以除去使用例如图像形成装置的信息处理装置的需求。
用于本发明的成像系统的装置的要素、装置的数量等等不限于本实施例的那些，只要成像系统能够被实现即可。
上述实施例是说明性的并且不限制本发明。因此，考虑到以上教导，许多附加的修改和变动是可能的。例如，此处不同的说明性的和典型的实施例的至少一个要素可以在本公开和所附权利要求的范围内相互结合或者相互替代。进一步地，实施例的组分的特征例如数量，位置和形状不受实施例的限制，因此可以被优选地设置。因此要理解的是在所附权利要求范围内，本发明的公开可以不同于此处具体描述地被实现。
进一步地，上述装置，设备或单元的任一种可以被实施为硬件装置，例如专用的电路或设备，或者被实施为硬件/软件结合，例如执行软件程序的处理器。
进一步地，如上所述，本发明的上述及其他方法中的任一种可以以存储在任意种类的存储介质中的计算机程序的形式而被具体化。存储介质的实例包括但不局限于软盘，硬盘，光盘，磁光盘，磁带，非易失性存储器，半导体存储器，只读存储器(Read Only Memory，ROM)等。
可选择地，通过使常规的组件电路的恰当网络互相连接或者通过其与一个或多个常规的通用目的被相应地编程的微处理机或者信号处理器的结合而作准备，本发明的上述及其他方法中的任意一种可以通过专用集成电路(Application Specific IntegratedCircuit，ASIC)、数字信号处理器(Digital Signal Processor，DSP)或者现场可编程门阵列(Field Programmable Gate Array，FPGA)而被实现。
[附图标记列表]
11捕获单元
21计算器
31生成器
110全球面摄像机
150图像处理装置
[引用列表]
[专利文献]
[专利文献1]
日本公开特许公报No.2013-214947
[专利文献2]
日本公开特许公报No.2010-271674
[专利文献3]
日本公开特许公报No.2010-271675
Claims (7)
1.一种全球面视频成像系统，其特征在于，包括：
获取单元，所述获取单元被配置为以“整数分之一”的第二周期时间从图像传感器获取相对于垂直方向的倾斜角，所述第二周期时间比所述获取单元从所述图像传感器获取原始图像数据的第一周期时间短；
计算器，所述计算器被配置为由与所述原始图像数据的获取同时地被获取的所述图像传感器相对于所述垂直方向的倾斜角和在所述原始图像数据的获取前后的期间内被获取的所述图像传感器相对于所述垂直方向的倾斜角来计算平均倾斜角；以及
生成器，所述生成器被配置为通过在所述平均倾斜角的基础上来校正所述原始图像数据而生成校正的图像数据。
2.根据权利要求1所述的全球面视频成像系统，其特征在于，所述获取单元由获取的在三维方向上的加速度来计算所述图像传感器相对于所述垂直方向的倾斜角。
3.根据权利要求1所述的全球面视频成像系统，其特征在于，所述计算器由三个倾斜角来计算所述平均倾斜角，所述三个倾斜角为与所述原始图像数据的获取同时地被获取的所述图像传感器相对于所述垂直方向的倾斜角，在所述原始图像数据的获取之前被紧接着获取的所述图像传感器相对于所述垂直方向的倾斜角，以及在所述原始图像数据的获取之后被紧接着获取的所述图像传感器相对于所述垂直方向的倾斜角。
4.根据权利要求1所述的全球面视频成像系统，其特征在于，所述计算器由与所述原始图像数据的获取同时地被获取的所述图像传感器相对于所述垂直方向的所述倾斜角以及在所述原始图像数据的获取前后的所述第一周期时间的周期内被获取的所有倾斜角来计算所述平均倾斜角。
5.根据权利要求1所述的全球面视频成像系统，其特征在于，所述第二周期时间是所述第一周期时间的“四分之一”。
6.根据权利要求1所述的全球面视频成像系统，其特征在于，所述生成器在存储器上生成所述校正的图像数据。
7.一种非暂时性计算机可读记录介质，其特征在于，包含计算机程序指令，所述计算机程序指令当被执行时用于使一个或多个计算机执行：
以“整数分之一”的第二周期时间从图像传感器获取相对于垂直方向的倾斜角，所述第二周期时间比原始图像数据从所述图像传感器被获取的第一周期时间短；
由与所述原始图像数据的获取同时地被获取的所述图像传感器相对于所述垂直方向的倾斜角以及在所述原始图像数据的获取前后的期间内被获取的所述图像传感器相对于所述垂直方向的倾斜角来计算平均倾斜角；以及
通过在所述平均倾斜角的基础上来校正所述原始图像数据而生成校正的图像数据。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015132564 | 2015-07-01 | ||
| JP2015-132564 | 2015-07-01 | ||
| JP2016-124881 | 2016-06-23 | ||
| JP2016124881A JP6677098B2 (ja) | 2015-07-01 | 2016-06-23 | 全天球動画の撮影システム、及びプログラム |
| PCT/JP2016/003104 WO2017002360A1 (en) | 2015-07-01 | 2016-06-28 | Full-spherical video imaging system and computer-readable recording medium |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107710728A true CN107710728A (zh) | 2018-02-16 |
Family
ID=57831261
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201680037512.2A Pending CN107710728A (zh) | 2015-07-01 | 2016-06-28 | 全球面视频成像系统和计算机可读记录介质 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20180146136A1 (zh) |
| EP (1) | EP3318053A4 (zh) |
| JP (1) | JP6677098B2 (zh) |
| CN (1) | CN107710728A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114073069A (zh) * | 2019-06-27 | 2022-02-18 | 株式会社理光 | 成像系统、图像处理设备、成像装置和记录介质 |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10999602B2 (en) | 2016-12-23 | 2021-05-04 | Apple Inc. | Sphere projected motion estimation/compensation and mode decision |
| US11259046B2 (en) | 2017-02-15 | 2022-02-22 | Apple Inc. | Processing of equirectangular object data to compensate for distortion by spherical projections |
| US10924747B2 (en) | 2017-02-27 | 2021-02-16 | Apple Inc. | Video coding techniques for multi-view video |
| KR102628508B1 (ko) * | 2017-05-04 | 2024-01-24 | 한국전자통신연구원 | 영상 처리 장치 및 방법 |
| US11093752B2 (en) | 2017-06-02 | 2021-08-17 | Apple Inc. | Object tracking in multi-view video |
| US10754242B2 (en) | 2017-06-30 | 2020-08-25 | Apple Inc. | Adaptive resolution and projection format in multi-direction video |
| US20190005709A1 (en) * | 2017-06-30 | 2019-01-03 | Apple Inc. | Techniques for Correction of Visual Artifacts in Multi-View Images |
| JP7206797B2 (ja) * | 2018-10-22 | 2023-01-18 | 株式会社リコー | 撮像装置、情報処理装置、補正値計算方法およびプログラム |
| JP2020078065A (ja) * | 2018-10-22 | 2020-05-21 | 株式会社リコー | 撮像装置、情報処理装置、補正量設定方法およびプログラム |
| WO2020250387A1 (ja) * | 2019-06-13 | 2020-12-17 | 日本電気株式会社 | 画像処理装置、画像処理方法及びプログラム |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102714696A (zh) * | 2010-11-11 | 2012-10-03 | 松下电器产业株式会社 | 图像处理装置、图像处理方法、程序及摄影装置 |
| CN104160693A (zh) * | 2012-03-09 | 2014-11-19 | 株式会社理光 | 图像捕获装置、图像捕获系统、图像处理方法、信息处理装置和计算机可读存储介质 |
| US20150103189A1 (en) * | 2013-10-11 | 2015-04-16 | Facebook, Inc. | Applying Video Stabilization to a Multimedia Clip |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5408321A (en) * | 1993-06-07 | 1995-04-18 | E. I. Du Pont De Nemours And Company | Apparatus for measurement of specific dichroism of sheet materials |
| JP3800709B2 (ja) * | 1997-03-18 | 2006-07-26 | 株式会社ニコン | ブレ補正装置、光学装置、及び、ブレ補正方法 |
| JP2003304434A (ja) * | 2002-04-10 | 2003-10-24 | Tateyama Machine Kk | 全方位撮像システム |
| KR100937572B1 (ko) * | 2004-04-30 | 2010-01-19 | 힐크레스트 래보래토리스, 인크. | 3ｄ 포인팅 장치 및 방법 |
| US20070113207A1 (en) * | 2005-11-16 | 2007-05-17 | Hillcrest Laboratories, Inc. | Methods and systems for gesture classification in 3D pointing devices |
| JP5111306B2 (ja) * | 2008-08-29 | 2013-01-09 | キヤノン株式会社 | 像ブレ補正機能を有する光学機器及びその制御方法 |
| US10631732B2 (en) * | 2009-03-24 | 2020-04-28 | Leaf Healthcare, Inc. | Systems and methods for displaying sensor-based user orientation information |
| US9423941B2 (en) * | 2013-09-05 | 2016-08-23 | Facebook, Inc. | Tilting to scroll |
| CN103674023B (zh) * | 2013-12-26 | 2014-10-15 | 中国人民解放军国防科学技术大学 | 一种基于陀螺精确角度关联的星敏感器动态测姿方法 |
| US10827268B2 (en) * | 2014-02-11 | 2020-11-03 | Apple Inc. | Detecting an installation position of a wearable electronic device |
| DE102014213326A1 (de) * | 2014-07-09 | 2016-01-14 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zur Verarbeitung von Daten eines Fahrstreckenprofils, Decodierverfahren, Codier- und Decodierverfahren, System, Computerprogramm und Computerprogrammprodukt |
| WO2017014071A1 (ja) * | 2015-07-22 | 2017-01-26 | ソニー株式会社 | カメラモジュール、固体撮像素子、電子機器、および撮像方法 |
-
2016
- 2016-06-23 JP JP2016124881A patent/JP6677098B2/ja active Active
- 2016-06-28 CN CN201680037512.2A patent/CN107710728A/zh active Pending
- 2016-06-28 US US15/578,282 patent/US20180146136A1/en not_active Abandoned
- 2016-06-28 EP EP16817470.4A patent/EP3318053A4/en not_active Withdrawn
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102714696A (zh) * | 2010-11-11 | 2012-10-03 | 松下电器产业株式会社 | 图像处理装置、图像处理方法、程序及摄影装置 |
| CN104160693A (zh) * | 2012-03-09 | 2014-11-19 | 株式会社理光 | 图像捕获装置、图像捕获系统、图像处理方法、信息处理装置和计算机可读存储介质 |
| US20150103189A1 (en) * | 2013-10-11 | 2015-04-16 | Facebook, Inc. | Applying Video Stabilization to a Multimedia Clip |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114073069A (zh) * | 2019-06-27 | 2022-02-18 | 株式会社理光 | 成像系统、图像处理设备、成像装置和记录介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20180146136A1 (en) | 2018-05-24 |
| EP3318053A4 (en) | 2018-07-11 |
| EP3318053A1 (en) | 2018-05-09 |
| JP2017017689A (ja) | 2017-01-19 |
| JP6677098B2 (ja) | 2020-04-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107710728A (zh) | 全球面视频成像系统和计算机可读记录介质 | |
| US8466970B2 (en) | Imaging apparatus, method, system integrated circuit, and program for correcting inclination of subjects in an image | |
| US10636121B2 (en) | Calibration method and apparatus for panoramic stereo video system | |
| KR101885778B1 (ko) | 3 차원 비디오를 위한 이미지 스티칭 | |
| US10084962B2 (en) | Spherical video stabilization based on accelerometer data | |
| US9596443B2 (en) | Methods and systems for providing sensor data and image data to an application processor in a digital image format | |
| CN103685917B (zh) | 图像处理器、图像处理方法和成像系统 | |
| CN105872354B (zh) | 图像处理系统和方法、摄像系统、图像生成装置和方法 | |
| CN108876714A (zh) | 图像捕获装置、信息处理装置和图像处理方法 | |
| CN108600576A (zh) | 图像处理装置、方法和系统以及计算机可读记录介质 | |
| US11272153B2 (en) | Information processing apparatus, method for controlling the same, and recording medium | |
| JPWO2010052772A1 (ja) | カメラ角度算出装置およびカメラ角度算出方法 | |
| CN103985103A (zh) | 一种生成全景图片的方法和装置 | |
| US20230326128A1 (en) | Techniques for processing multiplane images | |
| CN104320576B (zh) | 一种用于便携式终端的图像处理方法及图像处理装置 | |
| WO2017002360A1 (en) | Full-spherical video imaging system and computer-readable recording medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180216 |
|
| RJ01 | Rejection of invention patent application after publication |