CN106464804B - 成像系统、成像装置、计算机程序和系统 - Google Patents

成像系统、成像装置、计算机程序和系统 Download PDF

Info

Publication number
CN106464804B
CN106464804B CN201580025123.3A CN201580025123A CN106464804B CN 106464804 B CN106464804 B CN 106464804B CN 201580025123 A CN201580025123 A CN 201580025123A CN 106464804 B CN106464804 B CN 106464804B
Authority
CN
China
Prior art keywords
image
unit
imaging
video
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580025123.3A
Other languages
English (en)
Other versions
CN106464804A (zh
Inventor
山本英明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Liguang Co
Original Assignee
Liguang Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Liguang Co filed Critical Liguang Co
Priority to CN201910851220.8A priority Critical patent/CN110430355B/zh
Publication of CN106464804A publication Critical patent/CN106464804A/zh
Application granted granted Critical
Publication of CN106464804B publication Critical patent/CN106464804B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G06T3/073—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

成像系统包括成像单元、检测单元、记录单元、校正单元和视频产生单元。所述成像单元捕获多个帧的图像。所述检测单元检测所述成像单元相对于参考方向的倾斜。所述记录单元记录所述检测单元检测到的倾斜的时间序列数据。所述校正单元基于所述记录单元记录的倾斜的时间序列数据，将倾斜校正应用于所述成像单元捕获的每一帧的图像。所述视频产生单元基于所述校正单元校正的每一帧的图像产生视频数据。

Description

成像系统、成像装置、计算机程序和系统
技术领域
本发明涉及成像系统，更具体地，涉及用于产生图像的成像系统、成像装置、计算机程序和系统。
背景技术
近年来，可以利用一次拍摄来捕获半球或全球视野的静态图像的相机已经投入实际使用中。可以捕获全向静态图像的手持式尺寸的相机也是可用的。这种手持式尺寸的相机的机身易于倾斜，从而具有在响应于相机机身倾斜时的拍摄校正其倾斜后显示所捕获的静态图像的功能的相机是已知的。
日本专利申请特开No.2013-214947(专利文档1)作为校正静态图像的倾斜的技术是已知的。为了获得具有正确垂直方向的静态图像，专利文档1公开了具有两个鱼眼镜头的静态图像捕获设备的配置，其中根据在静态图像捕获设备中提供的用于获得相对于垂直方向的倾斜度的加速度传感器检测到的倾斜角度，计算将鱼眼图像转换为常规图像的参数。
除了用于静态图像的相机之外，使用超广角镜头可以在其中将宽范围存储为视频图像的相机也已经得到开发。
在根据传统技术捕获视频图像的相机之中，具有减小与手的运动相关联的模糊的功能的相机是已知的。然而，当在相机机身倾斜的同时捕获视频图像的时候，其垂直方向不同于视频图像捕获设备的天顶方向，从而产生问题。具体地，当观看者观看在相机机身倾斜的同时所捕获的视频图像时，如果在保持垂直方向与原始方向一致的同时视野发生改变，则出现复杂的旋转，因此可能带给观看者诸如3D眩晕之类的不舒适感觉。专利文档1的传统技术是用于应对静态图像的技术，而不是使得能够形成具有正确垂直方向的视频图像的技术。由于这种问题，期望开发这样的技术：通过该技术，无论相机的倾斜状态如何，均产生具有正确垂直方向的全向视频。
发明内容
鉴于上述传统技术中所要改善的上述要点，已经做出了本发明，本发明的目标是要提供使得能够检测图像捕获单元相对于参考方向的倾斜并且产生根据检测到的倾斜在倾斜方面得到校正的视频数据的成像系统、成像装置、计算机程序和系统。
根据一实施例，成像系统包括成像单元、检测单元、记录单元、校正单元和视频产生单元。所述成像单元捕获多个帧的图像。所述检测单元检测所述成像单元相对于参考方向的倾斜。所述记录单元记录所述检测单元检测到的倾斜的时间序列数据。所述校正单元基于所述记录单元记录的倾斜的时间序列数据，将倾斜校正应用于所述成像单元捕获的每一帧的图像。所述视频产生单元基于所述校正单元校正的每一帧的图像产生视频数据。
附图说明
图1是构成根据本发明一实施例的全向视频成像系统的全向相机的剖面视图。
图2A和2B是根据所述实施例的全向视频成像系统的硬件配置图。
图3是在根据所述实施例的全向视频成像系统中实现的全向视频成像和记录功能有关的主要功能框图。
图4是图示构成根据所述实施例的全向视频成像系统的全向相机执行的成像处理的流程图。
图5A和5B是所述实施例中使用鱼眼镜头说明全向相机中的投影关系的图。
图6是说明所述实施例中全向相机的倾斜的示意图。
图7是图示构成根据所述实施例的全向视频成像系统的图像处理装置执行的记录处理的流程图。
图8是说明本发明优选实施例中进行校正时仅在RAM中加载构成视频的一些帧的图像的配置的图。
图9是图示构成根据所述实施例的全向视频成像系统的图像处理装置执行的转换的流程图。
图10A是说明用平坦表面表示全向图像格式的情况的图。
图10B是说明用球体表面表示全向图像格式的情况的图。
图11是说明所述实施例中全向相机中的成像元件获得的图像和图像处理装置产生的图像的图。
图12A和12B是说明所述实施例中用于全向图像的转换表格的图。
图13是说明所述实施例中对于用于全向图像的转换表格的修正的操作流程的流程图。
图14A是使用相机坐标系说明用于全向图像的垂直方向校正计算的图。
图14B是使用全局坐标系说明用于全向图像的垂直方向校正计算的图。
图15是说明倾斜校正前视频的各帧的图。
图16是说明倾斜校正后视频的各帧的图。
具体实施方式
下面描述实施例。然而，本发明不限于下面描述的实施例。将使用全向相机和全向视频成像系统作为成像装置和成像系统的示例描述下面的实施例，其中所述全向相机包括含有光学系统中两个鱼眼镜头的成像机身，所述全向视频成像系统包括全向相机和与全向相机分离的图像处理装置。
总体配置
下面参照图1、图2A和图2B，描述全向视频成像系统的总体配置。图1是根据本实施例的构成全向视频成像系统100的全向相机110的剖面图。图1中图示的全向相机110包括：成像机身12；外壳14，其容纳成像机身12和诸如控制器和电池之类的组件；快门按钮18，其提供在外壳14上。
图1中图示的成像机身12包括两个成像光学系统20A和20B以及两个成像元件22A和22B(如，电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器)。成像光学系统20中的每一个均配置为例如由六组中的七个元件组成的鱼眼镜头。在图1图示的实施例中，上面提到的鱼眼镜头具有大于180度(＝360度/n，其中光学系统的数目为n＝2)的全视角，优选地具有185度或更大的视角，更优选地具有190度或更大的视角。成像光学系统20中的一个与成像元件22中的一个的这种广角组合称为广角成像光学系统。
两个成像光学系统20A和20B的光学元件(透镜、棱镜、滤镜和孔径光阑)设为具有与成像元件22A和22B的位置关系。更具体地，进行定位使得成像光学系统20A和20B中每一个的光学元件的光轴位于与光接收区域正交的对应一个成像元件22的光接收区域的中心部分，并且使得光接收区域用作对应一个鱼眼镜头的成像表面。
在图1图示的实施例中，成像光学系统20A和20B具有相同的规格，并且在彼此相反的方向上组合，使得其光轴彼此一致。成像元件22A和22B将接收到的光的分布转换为图像信号，并且依次将各图像帧输出到控制器上的图像处理单元。尽管将在稍后描述，但是将各个成像元件22A和22B所捕获的图像送往图像处理装置150并加以组合，使得在4π球面度的立体角上产生图像(下文称为“全向图像”)。通过对可从拍摄位置观看到的所有方向进行拍摄，获得所述全向图像。全向视频是从全向图像的连续帧获得的。尽管描述假设这里描述的实施例产生全向图像和全向视频，然而实施例也可以产生通过仅在水平面上360度拍摄而获得的所谓的全景图像和所谓的全景视频。
图2A图示根据本实施例的构成全向视频成像系统100的全向相机110的硬件配置。全向相机110包括中央处理单元(CPU)112、只读存储器(ROM)114、图像处理块116、视频压缩块118、经由DRAM接口120连接的动态随机存取存储器(DRAM)132、经由外部传感器接口124连接的加速度传感器136。
CPU 112控制全向相机110的各组件的操作和总体操作。ROM 114在其中存储用CPU112可解码的代码所描述的控制程序和各种参数。图像处理块116连接到两个成像元件130A和130B(对应于图1中的成像元件22A和22B)，并且接收相应成像元件130A和130B捕获的图像的图像信号。图像处理块116例如包括图像信号处理器(ISP)，并且将例如阴影校正、拜尔内插、白平衡校正和伽马校正应用于从成像元件130A和130B接收到的图像信号。
视频压缩块118是用于压缩和扩展视频(如MPEG-4AVC/H.264格式的视频)的编解码块。DRAM 132在应用各种类型的信号处理和图像处理时提供用于临时存储数据的存储区域。加速度传感器136检测沿着三个轴的加速度分量。检测到的加速度分量用于检测垂直方向，以将天顶校正(zenith correction)应用于全向图像。
全向相机110还包括外部存储单元接口122、通用串行总线(USB)接口126和串行块128。外部存储单元接口122连接到外部存储单元134。外部存储单元接口122控制对于外部存储单元134(如插入在存储卡槽中的存储卡)的读取和写入。USB接口126连接到USB连接器138。USB接口126控制与经由USB连接器138连接的外部设备(如个人计算机)的USB通信。串行块128控制与外部设备(如个人计算机)的串行通信，并且连接到无线网络接口卡(NIC)140。
当通过电源开关的操作打开电源时，上面提到的控制程序加载到主存储器中。CPU112跟踪读取到主存储器中的程序，以控制设备的各部分的操作，并将控制所需的数据临时存储到存储器中。该操作实现稍后描述的全向相机110的功能单元和处理。
图2B图示根据本实施例的构成全向视频成像系统100的图像处理装置150的硬件配置。图2B图示的图像处理装置150包括CPU 152、RAM 154、硬盘驱动器(HDD)156、输入设备158(如鼠标和键盘)、外部存储单元160、显示器162、无线NIC 164和USB连接器166。
CPU 152控制图像处理装置150的各组件的操作和总体操作。RAM 154提供CPU 152的工作区。HDD 156在其中存储操作系统和运行根据本实施例的图像处理装置150中的处理的控制程序(如应用程序)，操作系统和控制程序均写为CPU 152可解码的代码。
输入设备158是诸如鼠标、键盘、触摸板和触摸屏之类的输入设备，并且提供用户接口。外部存储单元160是例如安放在存储卡槽中的可拆卸记录介质，并且记录各种类型的数据(如视频格式的图像数据和静态图像数据)。显示器162在屏幕上显示响应于用户操作再现的全向视频。无线NIC 164建立用于与外部设备(如全向相机110)的无线通信的连接。USB连接器166提供与外部设备(如全向相机110)的USB连接。
当电源施加到图像处理装置150并且其电源打开时，控制程序从ROM或HDD 156读出，并且加载到RAM 154中。CPU 152跟踪读取到RAM 154中的控制程序，以控制装置的各部分的操作，并将控制所需要的数据临时存储到存储器中。该操作实现稍后描述的图像处理装置150的功能单元和处理。
全向视频成像和记录功能
下面参照图3到图16，描述根据本实施例的全向视频成像系统100提供的全向视频成像和记录功能。图3图示根据本实施例的与全向视频成像系统100中实现的全向视频成像和记录功能有关的主功能块200。
如图3所示，全向相机110的功能块210包括成像单元212、视频压缩单元214、倾斜检测单元216、倾斜记录单元218和输出单元220；以及图像处理装置150的功能块250包括读取单元252、图像恢复单元254、倾斜获取单元256、倾斜校正单元258和视频产生单元264。
首先描述全向相机110的功能块。成像单元212包括上面描述的两个广角成像光学系统，并且控制两个成像元件130A和130B依次捕获连续帧的图像。成像元件130A和130B中的每一个捕获的图像是实质上包括视野中全天球的半球的鱼眼图像，并且构成全向图像的局部图像。在下面，成像元件130A和130B中每一个捕获的图像可以称为局部图像。
视频压缩单元214包括视频压缩块118，并且将成像单元212成像的连续帧压缩为预定视频格式的图像数据。视频压缩格式的示例包括而不限于各种视频压缩格式，如H.264/MPEG-4AVC(Advanced Video Coding，高级视频编码)、H.265/HEVC(HighEfficiency Video Coding，高效率视频编码)、JPEG(Motion Joint PhotographicExperts Group，运动联合图像专家组)和Motion JPEG 2000。
基于Motion JPEG的格式是用于将视频表达为连续静态图像的格式。可以通过采用这些格式中的一个格式获得高质量的视频。H.264/MPEG-4AVC格式和H.265/HEVC格式允许沿着时间轴的压缩，从而提供高处理效率，因此使得减轻了写入到外部存储单元时对于延迟的要求。手持的全向相机110需要是紧凑的并且低成本的，因而几乎不能包括高性能硬件。因此，优选实施例可以优选地采用允许沿着时间轴压缩和比特率减小的H.264/MPEG-4AVC格式或H.265/HEVC格式。
在这里描述的实施例中，成像单元212独立地输出由两个成像元件130A和130B在同一时刻捕获的两个鱼眼图像，视频压缩单元214从独立的两个鱼眼图像的帧中独立地产生视频格式的两个相应的图像数据。图像数据的表示格式不具体受限。在另一实施例中，成像单元212可以是通过结合两个成像元件130A和130B捕获的两个鱼眼图像而形成的单个图像，视频压缩单元214将包括两个鱼眼图像的图像的帧压缩为视频格式的图像数据。
倾斜检测单元216包括加速度传感器136，并且检测全向相机110相对于预定参考方向的倾斜。预定参考方向典型地是作为重力加速度作用的方向的垂直方向。倾斜检测单元216将三轴加速度传感器136的加速度分量的信号输出到倾斜记录单元218。倾斜记录单元218与视频格式的图像数据的帧同步地对从倾斜检测单元216接收到的加速度分量的信号进行采样，并且获得相对于预定参考方向的倾斜角度。倾斜记录单元218接着以与视频格式的图像数据的帧速率相同的速率，将倾斜角度记录为时间序列数据。
在这里描述的实施例中，描述假设倾斜角度一一对应视频格式的图像数据中的各帧，并且各帧和倾斜角度彼此同步地存储。然而，存储倾斜角度的速率不需要与帧速率相同，如果不相同，则仅需以帧速进行重新采样，以获得与各帧一一对应的倾斜角度。
DRAM 132临时保存上面已描述的视频压缩单元214产生的视频格式的两个相应的图像数据和倾斜记录单元218记录的倾斜角度数据。当DRAM 132中保存的视频格式的两个相应的图像数据和倾斜角度数据中的每一个的尺寸达到适当的写入尺寸时，输出单元20将两个相应的图像数据和倾斜角度数据作为两个视频文件230和倾斜角度文件240分别写入至外部存储单元134。在完成拍摄后，两个视频文件230和倾斜角度文件240关闭，由此全向相机110执行的处理结束。
外部存储单元134从全向相机110卸下并安放到图像处理装置150上。随后描述图像处理装置150。读取单元252从安放在图像处理装置150上的外部存储单元160读取由全向相机110写入的两个视频文件230和倾斜角度文件240。将读取的两个视频文件230发送至图像恢复单元254。将读取的倾斜角度文件240发送至倾斜获取单元256。代替利用外部存储单元134加载和卸载，图像处理装置150可以经由全向相机110中包括的USB接口从安放在全向相机110上的外部存储单元134读取由全向相机110写入的两个视频文件230和倾斜角度文件240。
图像恢复单元254使用与每个读取的视频文件230对应的预定编解码器来对每一个读取的视频文件230进行解码，从而恢复构成视频的静态图像的各帧，以将各帧提供给倾斜校正单元258。倾斜获取单元256从读取的倾斜角度文件240获得与图像恢复单元254恢复的相应帧对应的倾斜角度，并且将倾斜角度提供给倾斜校正单元258。
倾斜校正单元258基于与从倾斜获取单元256接收到的相应帧对应的倾斜角度，校正图像恢复单元254恢复的静态图像的相应帧的倾斜，并且将鱼眼图像转换为全向图像。倾斜校正单元258更具体地包括转换表格修正单元260和全向图像产生单元262。
图像处理装置150提前准备转换表格，所述转换表格用于通过将两个成像元件130A和130B捕获的两个鱼眼图像(其作为视频文件的各帧传送到图像处理装置)转换为球面坐标系中的图像以生成全向图像。转换表格由制造商等例如基于相应透镜光学系统的设计数据，根据预定投影模型而提前创建，并且在全向相机110的直接向上方向与垂直线一致的假设条件下是准备用于将鱼眼图像转换为全向图像的数据。在这里描述的实施例中，如果全向相机110倾斜使得直接向上方向不与垂直线一致，则转换数据根据倾斜加以修正，使得反映天顶校正。
视频格式的相应图像数据中包括的局部图像由二维成像元件(光接收区域为其每一个提供一定量的区域)捕获，并且是用平面坐标系(x,y)表示的图像数据(参照图5B，图11所示的第一局部图像和第二局部图像)。相比于这些图像，使用转换表格进行天顶校正后的校正图像是用球面坐标系(其是具有半径为1和两个偏转角θ和φ的极坐标系)中表示的全向图像格式的图像数据(参照图10A和10B以及图11所示的全向图像)。
转换表格可以存储在视频文件中并在读取视频文件时获得，或者可以提前从全向相机110下载到图像处理装置150。可替代地，转换表格按照如下这样获得：在图像处理装置中提前准备用作所有单独全向相机的公共基础的转换表格；将用于获得对于单独全向相机110唯一的转换表格的差异数据写入视频文件；在读取视频文件时恢复唯一的转换表格。
根据获取的倾斜角度，转换表格修正单元260修正上面描述的转换表格，使得图像的天顶方向(指向观看者正上方点的方向)与检测到的垂直线(在重力作用的垂直方向上形成的直线)一致。结果，通过使用修正的转换表格将鱼眼图像转换为全向图像，产生全向图像使得反映将天顶方向与倾斜对应的垂直线对准的校正。全向图像产生单元262使用转换表格修正单元260修正的转换表格，以将每个恢复的帧对应的两个局部图像转换为反映天顶校正的全向图像，并且将全向图像的每个帧输出到视频产生单元264。转换表格修正单元260和全向图像产生单元262校正图像，使得校正后的每个帧的图像的天顶方向与垂直方向一致。
基于倾斜校正单元258校正的每一帧的全向图像，视频产生单元264将各帧编码为预定的视频压缩格式以产生最终的视频数据，并且将最终的视频数据写为视频文件270。视频文件270为全向图像的视频数据。预定的视频压缩格式可以是包括上述格式的任何格式。
当观看视频文件时，基于产生的视频数据，全天球指定的特定视野中的图像被再现并且通过显示应用加以显示。在产生的视频数据中，图像的天顶方向固定到垂直线。为此，当在观看视频数据的同时改变显示的视野时，仅出现跟随视野的改变的旋转。结果，减少了包括视野改变和倾斜的复杂旋转，从而减小诸如3D眩晕之类的不舒适感觉的可能性。
下面参照图4和图7单独描述根据本实施例的全向相机110执行的处理和图像处理装置150执行的处理的细节。图4是图示根据本实施例的构成全向视频成像系统100的全向相机110执行的成像处理的流程图。图4所示的处理响应于命令(如按下全向相机110的视频拍摄按钮)从步骤S100开始，以开始成像。在步骤S101，全向相机110的成像单元212从成像元件130A和130B读取一个帧的两个图像数据。
图5A和5B是使用一个鱼眼镜头说明全向相机110中的投影关系的图。在本实施例中，利用一个鱼眼镜头拍摄的图像是通过拍摄相对于拍摄地点基本上半球的方位范围所获得的图像。如图5A所示，鱼眼镜头产生具有与相对于光轴的入射角φ对应的图像高度h的图像。图像高度h和入射角φ之间的关系由根据预定的投影模型的投影函数来确定。投影函数依据鱼眼镜头的特性而改变。对于基于称作等距投影方案的投影模型的鱼眼镜头，投影函数用下面的表达式(1)表示，其中f是焦距。
h＝f×φ (1)
上述投影模型的其他示例包括中心投影方案(h＝f·tanφ)、立体投影方案(h＝2f·tan(φ/2))、等立体角投影方案(h＝2f·sin(φ/2))和正交投影方案(h＝f·sinφ)。在任一方案中，与相对于光轴的入射角φ和焦距f对应地确定所形成图像的图像高度h。本实施例采用称作圆形鱼眼镜头(其具有比图像的对角线更短的图像圆直径)的配置。如图5B所示，从该镜头获得的局部图像是通过投影基本上半球的拍摄范围所获得的包括整个图像圆的平面图像。
在这里描述的实施例中，一帧的两个图像数据是包括整个图像圆的、由两个成像元件130A和130B捕获并且通过投影基本上半球的拍摄范围所获得的两个平面图像(图11的第一局部图像和第二局部图像)。
再次参照图4，在步骤S102，全向相机110将图像处理应用于成像单元212捕获的一帧的两个图像数据，并且将结果存储在DRAM 132中。首先，全向相机110例如将光学黑校正、缺陷像素校正、线性校正和阴影处理应用于从成像元件130A和130B获取的拜尔原始图像。然后，全向相机110应用白平衡处理、伽马校正、拜尔内插、YUV转换、边缘增强处理和色彩校正。
在步骤S103，全向相机110的倾斜记录单元218与拍摄的帧同步地检测倾斜角度，并且将倾斜角度存储在存储器中。
图6是说明本实施例中的全向相机110的倾斜的示意图。在图6中，垂直方向与全局坐标系中x、y、z三维正交坐标轴的z轴一致。当该方向与图6所示的全向相机110的直接向上方向一致时，其意味着相机没有倾斜。全向相机110在该方向不与其直接向上方向一致时倾斜。
具体地，来自重力矢量的倾斜角度(下文称为倾斜角度β)和xy平面中的入射角α(下文称为倾斜角度α)是使用加速度传感器的输出从下面的表达式(2)获得的。在该表达式中，Ax是相机坐标系中加速度传感器136的输出的x0轴方向分量的值；Ay是相机坐标系中加速度传感器136的输出的y0轴方向分量的值；以及Az是相机坐标系中加速度传感器136的输出的z0轴方向分量的值。在步骤S103，从加速度传感器136的输出的相应轴方向上的各分量的值获得倾斜角度α和β，并且存储结果。
再次参照图4，在步骤S104，全向相机110将所获取的一帧的两个图像数据提供给视频压缩单元214，并且将视频格式的图像数据写入存储器。在步骤S105，全向相机110确定是否需要写入视频。如果确定达到预定的写入大小并因此需要写入视频(步骤S105处的“是”)，则处理转移至步骤S106。在步骤S106，全向相机110的输出单元220将DRAM 132中存储的视频格式的两个图像数据记录至外部存储单元134作为两个视频文件。如果确定尚未到达预定的写入大小并因此无需写入视频(步骤S105处的“否”)，则处理直接前进到步骤S107。
在步骤S107，全向相机110确定是否需要写入倾斜角度数据。如果确定达到预定的写入大小并因此需要写入倾斜角度数据(步骤S107处的“是”)，则处理转移至步骤S108。在步骤S108，全向相机110的输出单元220将DRAM 132中存储的倾斜角度数据记录至外部存储单元134作为倾斜角度文件。如果确定尚未到达预定的写入大小并因此无需写入倾斜角度数据(步骤S107处的“否”)，则处理直接前进到步骤S109。
在步骤S109，全向相机110确定是否完成拍摄。如果确定用户尚未命令完成拍摄并且拍摄尚未完成(步骤S109处的“否”)，则处理循环回到步骤S101，并且处理下一帧。如果确定已经从用户接收到完成拍摄的命令并且完成拍摄(步骤S109处的“是”)，则处理进行到步骤S110。
在步骤S110，全向相机110在视频文件中写入图像处理装置150转换图像所需要的额外信息，并且在步骤S111，全向相机110执行的成像处理结束。转换图像所需要的额外信息是用于图像处理装置150恢复符合已拍摄视频的特定全向相机110的转换表格的数据。额外信息可以是转换表格自身，或者是与标准转换表格对应的每个单独全向相机的转换表格的差异数据，或者可以是用于标识出多个预先定义的转换表格之中的相关转换表格的标识信息。
图7是图示根据本实施例的构成全向视频成像系统100的图像处理装置150执行的记录处理的流程图。在用于在图像处理装置150上产生全向视频的应用中，指定视频文件和倾斜角度文件；发出命令以开始编码和记录；并且响应于该命令，图7所示的记录处理从步骤S200开始。
在图像处理装置150中，在步骤S201，读取单元252从外部存储单元160读出两个视频文件，并且图像恢复单元254恢复预定数目帧的两个图像数据。在图像处理装置150中，在步骤S202，读取单元252从外部存储单元160读取倾斜角度文件，并且倾斜获取单元256获取与上面恢复的预定数目的帧中相应那些帧对应的倾斜角度。
将构成视频文件230的所有帧加载至RAM 154导致过量存储器的使用。为了避免这个问题，优选实施例可以配置为：当进行校正时，仅将基于构成整个视频文件的帧的起始帧的一些帧的图像数据和倾斜角度数据加载到RAM 154。如果采用允许沿着时间轴压缩的诸如MPEG-4AVC格式之类的格式，则各帧以GOP(group of picture，画面组)为单位(如图8所示)或者以根据与GOP的构思相同的构思所涉及的另一单位高效地加载至存储器。
GOP包括I画面、P画面和B画面。I画面是用作再现的开始点并且通过帧内预测编码进行编码的画面。P画面是通过帧间预测从在先I画面或在先P画面进行编码的画面。B画面是通过帧间预测使用在先(前向)画面或在后(后向)画面、或者在先和在后(双向)画面两者进行编码的画面。GOP包括至少一个I画面，使得通过以GOP为单位加载帧以便最小化加载的帧的数目，可以恢复预定数目帧的静态图像。
再次参照图7，在步骤S203，图像处理装置150从视频文件读取额外信息，并且准备对于已拍摄视频文件的全向相机110唯一的转换表格。在步骤S204，基于所获取的倾斜角度和读取的额外信息，图像处理装置150将转换应用于从相应视频文件恢复的预定数目的帧的相应的图像数据。
图9是图示根据本实施例的、构成全向视频成像系统100的图像处理装置150执行的转换的流程图。图9所示的转换在图7所示的步骤S204被调用，并且从步骤S300开始。在步骤S301到S307的循环中，在逐帧的基础上执行步骤S302到S306的处理。
在步骤S302，图像处理装置150设置与帧对应的倾斜角度α和β。在步骤S303，图像处理装置150的转换表格修正单元260根据获取的倾斜角度α和β修正转换表格。对于转换表格的修正将在稍后详细描述。
在步骤S304，图像处理装置150接收帧的两段恢复的图像数据。在步骤S305，图像处理装置150的全向图像产生单元262使用修正后的转换表格以转换帧的两段恢复的图像数据(每一个均包括鱼眼图像)，并且产生两段校正的图像数据(两个全向图像，每一个均覆盖与两个相应鱼眼图像对应的一个半球)。在步骤S306，图像处理装置150组合帧的两段校正的图像数据(每一个均覆盖对应一个半球)，以产生最终的图像数据(全向图像)。
图10A是说明用平坦表面表示全向图像格式的情况的图，图10B是说明用球体表面表示全向图像格式的情况的图。如图10A所示，全向图像的格式表示这样的图像：其在平坦表面中展开时，具有从0°到360°的水平角范围和从0°到180°的垂直角范围中的角坐标对应的像素值。角坐标对应于图10B所示的球体表面上的相应坐标点，并且类似于地球仪上的纬度和经度坐标。
通过使用投影函数f(h＝f(θ))(如使用图5A和5B描述的投影函数)，利用鱼眼镜头拍摄的图像的平面坐标值和全向图像的球面坐标值之间的关系可以彼此相关联。由此通过转换和结合(组合)利用鱼眼镜头拍摄的两个局部图像，可以形成图10A和10B所示的全向图像。
下面描述使用利用鱼眼镜头实际拍摄的图像产生全向图像的处理。图11是这样的图：其说明成像元件130A和130B通过根据本实施例的全向相机110中的两个鱼眼镜头捕获的图像，并且说明通过利用转换表格转换被捕获图像并且将两个转换的图像组合在一起而在根据本实施例的图像处理装置150中产生的图像。
在图11中，成像元件130A和130B通过两个鱼眼镜头拍摄的局部图像首先通过参照图9描述的步骤S305处的处理(即，使用修正后的转换表格进行的图像转换)而转换为两个全向图像。此时，用符合全向图像格式的表示格式(即，以对应于图10A和10B的表示格式)来表示图像。
通过图9所示的步骤S306处的处理(即，通过两个图像的转换之后的图像组合处理)产生图11所示的最终的全向图像。具体地，使用重叠部位作为用以创建最终全向图像的线索，将每一个均覆盖对应一个半球的两个全向图像彼此叠加和组合。
图11还图示局部图像中的像素的位置和全景图像中与之对应的像素的位置之间的对应关系。当全向相机110正确地置于垂直方向上并没有倾斜地拍摄照片，并且全向相机110的直接向上方向沿着垂直线时，仅仅校正失真可以获得拍摄者识别为天顶和水平线的与实际那些一致的图像,如图11所示。此时，在全向图像中，水平线位于每个局部图像的中心，并且还位于与地球仪的中纬线对应的位置。
再次参照图9，在处理从步骤S301到S307的循环中出来时，当前处理在步骤S308结束，并且处理返回到图7所示的调用处理。
再次参照图7，在步骤S205，图像处理装置150的视频产生单元264对预定数目帧的转换图像数据进行编码，以产生在倾斜方面得到校正的视频数据，并且将视频数据写入全向图像的视频文件270。在步骤S206，图像处理装置150确定是否达到读取的视频文件230的最后一帧。如果确定尚未达到最后一帧(步骤S206处的“否”)，则处理循环返回到步骤S201，并且处理下一帧组。如果确定达到最后一帧(步骤S206处的“是”)，则处理转移到步骤S207，并且记录处理结束。
优选在步骤S204和步骤S205之间执行诸如用于降低时间噪声的图像处理、用于例如降低由于视频压缩编解码和轮廓的模糊所导致的噪声(包括蚊式噪声和块状噪声)的图像校正、用于修正色调的处理之类的处理。由此可期望最终图像的画质的改变。
下面参照图12A到图14B，描述根据全向相机110的记录的倾斜角度来修正用于本实施例中全向图像的转换表格的处理。
图12A和12B是说明用于本实施例中全向图像的转换表格的图。图12A是说明表示转换前后图像坐标值的矩阵的转换表格的图。图12B是说明转换后图像的坐标值和转换前图像的坐标值之间的关系的图。
如图12A所示，对于转换后图像的每一个坐标值，图9所示的步骤S303处描述的图像转换使用的转换表格包括转换后图像的坐标值(θ,φ)(pix(代表“像素”))、以及与转换后图像的坐标值对应的转换前图像的坐标值(x,y)(pix)的数据集合。在这里描述的实施例中，转换表格图示为具有表格式数据结构。然而，转换表格不需要具有表格式数据结构。即，转换表格仅需要是转换数据。
转换后图像可以根据图12A所示的转换表格从捕获的局部图像(转换前图像)生成。具体地，如图12B所示，通过参照与坐标值(θ,φ)(pix)对应的转换前图像的坐标值(x,y)(pix)处的像素值，转换表格(图12A)中给出的转换前后之间的对应关系允许生成转换后图像的每一个像素。
在假设全向相机110的直接向上方向与垂直线一致的情况下，失真校正反映到修正前的转换表格。在根据倾斜角度修正转换表格后，天顶校正反映在转换表格中，使得全向相机110的直接向上方向与垂直线一致。
图13是说明对于用以本实施例中的全向图像的转换表格的修正的操作流程的流程图。图13所示的修正在图9所示的步骤S303被调用，并且从步骤S400开始。
在图13中，在步骤S401，图像处理装置150的转换表格修正单元260获取与要处理的帧对应的倾斜角度(α,β)。在步骤S402，图像处理装置150的转换表格修正单元260将输入值(θ1,φ1)设置到转换表格。在图13中，依赖于坐标系的参数值(θ,φ)对于相机坐标系表示为(θ0,φ0)，对于全局坐标系表示为(θ1,φ1)，以便彼此区分。即，在步骤S402设置全局坐标系中的参数(θ1,φ1)。
在步骤S403，图像处理装置150的转换表格修正单元260执行垂直方向校正计算，以将全局坐标系中的输入值(θ1,φ1)转换为相机坐标系中的(θ0,φ0)。
将描述垂直方向校正计算。图14A是使用相机坐标系说明用于全向图像的垂直方向校正计算的图，图14B是使用全局坐标系说明用于全向图像的垂直方向校正计算的图。
在图14A和图14B中，三维正交坐标和球面坐标在全局坐标系中分别表示为(x1,y1,z1)和(θ1,φ1)，三维正交坐标和球面坐标在相机坐标系中分别表示为(x0,y0,z0)和(θ0,φ0)。
垂直方向校正计算使用下面的表达式(3)到(8)，将球面坐标(θ1,φ1)变换为球面坐标(θ0,φ0)。首先，为了校正倾斜，需要使用三维正交坐标来应用旋转变换。因此，使用下面的表达式(3)到(5)将球面坐标(θ1,φ1)变换为三维正交坐标(x1,y1,z1)。
x1＝sin(φ1)cos(θ1) (3)
y1＝sin(φ1)sin(θ1) (4)
z1＝cos(φ1) (5)
φ0＝Arccos(z0) (7)
然后，使用倾斜角度(α,β)，执行上面提到的旋转坐标变换(上述表达式(6))，以将全局坐标系(x1,y1,z1)转换为相机坐标系(x0,y0,z0)。换言之，上述表达式(6)给出倾斜角度(α,β)的定义。
表达式(6)意味着全局坐标系首先围绕z轴旋转α，然后围绕x轴旋转β，以产生相机坐标系。最后，上面给出的表达式(7)和(8)用于在相机坐标系中将三维正交坐标(x0,y0,z0)转换为球面坐标(θ0,φ0)。
下面描述垂直方向校正计算的另一实施例。又一实施例中的垂直方向校正计算可以使用下面的表达式(9)到(16)将球面坐标(θ1,φ1)转换为球面坐标(θ0,φ0)。该又一实施例可以增加垂直方向校正计算的速度。上面的转换等式(3)到(8)重写为上面的表达式(9)到(16)。
x1'＝sin(φ1)cos(θ1) (9)
y1'＝sin(φ1)sin(θ1) (10)
z1'＝cos(φ1) (11)
φ0'＝Arccos(z0') (13)
θ0＝θ0'-α (15)
φ0＝φ0' (16)
即，围绕z轴的旋转α和γ等同于球面坐标(θ,φ)的θ的旋转。因而，可以在不变换到正交坐标系的情况下通过简单的加减实现旋转变换。结果，仅围绕x轴旋转β的旋转变换涉及使用正交坐标系的变换。这导致更高的计算速度。
在上面描述的实施例中，垂直方向校正计算变换坐标。然而，在又一实施例中，通过根据倾斜角度(α,β)存储多个转换表格使得每一个表格具有与其他表格的那些值不同的值，消除了垂直方向校正计算的处理，从而速度可以得到进一步增加。即，在原理上用三维实数矢量表示倾斜角度(α,β)的同时，仅针对特定的倾斜角度(α,β)准备转换表格，并且采用具有与检测到的倾斜角度(α,β)最近的值的表格，使得可以在所有的情况下执行变换。可替代地，可以高效地执行内插计算，其中提取出具有接近检测到的倾斜角度(α,β)的值的多个表格，并且这些值根据接近性进行加权或者取差。因此，可以仅通过内插计算(其为相当简单计算的计算)校正转换表格，使得计算所需要的处理量可以得到降低。
再次参照图13，在步骤S404，图像处理装置150的转换表格修正单元260随后使用修正前的转换表格以将相机坐标系中的转换坐标(θ0,φ0)变换到转换前图像的坐标值(x,y)。该运算基于这样的假设：已经提前准备转换表格，以产生在相机不倾斜的条件下创建的正确全向图像。
在步骤S405，图像处理装置150的转换表格修正单元260存储全局坐标系中的输入值(θ1,φ1)和已经最终计算出的修正前的坐标值(x,y)，作为修正后的转换表格的对应坐标的集合。
在步骤S406，图像处理装置150确定是否存在未处理的输入值(θ1,φ1)，即，是否存在全局坐标系中修正前与之对应的坐标值(x,y)尚未予以计算的输入值(θ1,φ1)。如果确定存在这样的值(步骤S406处的“是”)，则处理循环回到步骤S402，使得将全局坐标系中的输入值(θ1,φ1)设置为接下来的值。
如果确定不存在这样的值(步骤S406处的“否”)，则处理转移到步骤S407以结束处理，并且返回到图9中所示的调用处理。在这种情况下，已经计算出与全向图像格式中的相应像素对应的校正前的坐标值(x,y)，其每一个在全局坐标系中具有输入值(θ1,φ1)的坐标值。
下面参照图11、图15和图16，描述特定处理校正倾斜所获得的视频的帧。图15是图示倾斜校正前的视频(使用未修正的转换表格转换全向图像)的各帧的图，图16是图示倾斜校正后的视频(使用修正的转换表格转换全向图像)的各帧的图。图11图示全向相机110未倾斜使得直接向上方向与垂直线一致的情况，图15和图16图示全向相机110倾斜使得直接向上方向与垂直线不一致的情况。
如上所述，当全向相机110正确地置于垂直方向时，可以捕获图像使得拍摄者识别为天顶和水平线的与实际的那些一致，如图11所示。如果相机可以安放在固定设备上并且使用水平仪等在姿势方面加以调节以捕获图像，则全向相机110可以在正确定位于垂直方向的同时捕获图像。
然而，一般而言，当人持有的相机捕获图像时，以正确表达的其水平方向和垂直方向捕获图像是困难的。如果在没有倾斜校正的情况下通过倾斜的相机机身捕获图像，则各个图像的天顶方向彼此不同，并且水平线如图15所示那样失真。此时，局部图像的中心线与全向图像的中纬线一致，但是拍摄者识别为水平线的东西失真为全向图像中的曲线。如果没有校正的视频观看为图15中所示那样，则由于垂直方向和全向相机110的中心轴之间差异，观看期间改变视野导致诸如3D眩晕之类的不舒服感觉。
与此对照，本实施例通过如下方式如图16所示那样获得帧：在转换所有帧的图像之后对图像数据进行编码，使得向上垂直方向与向上天顶方向一致。换言之，拍摄者识别为水平线的东西被表示为局部图像中的曲线，但是与全向图像中的中纬线一致。以此方式转换图像可以形成在观看期间改变视野时不会带给用户诸如3D眩晕之类的不自然感觉的全向视频。
根据上述实施例，可以提供使得能够检测图像捕获单元相对于参考方向的倾斜、生成根据检测到的倾斜在倾斜方面得到校正的视频数据的成像系统、成像装置、计算机程序和系统。
根据本实施例的全向视频成像和记录功能以与记录视频图像的帧的频率相同的频率存储全向相机110的倾斜角度与视频图像的各个帧相关联的倾斜角度数据作为单独的文件。在倾斜角度文件的数据与帧同步时，在参照倾斜角度文件的数据的同时在每个帧中校正倾斜，并且视频图像得到再次显示和编码。结果，可以获得垂直方向正确的全向视频数据，因而，可以提供在用户改变视野时不会导致诸如3D眩晕之类的不舒服感觉或不自然感觉的全向视频数据。
在静态图像的情况下，显示应用可以通过如下这样解决该问题：显示图像时考虑倾斜角度的校正以形成视野，使得倾斜校正是不必要的。然而，在视频数据的情况下，显示的画面总是典型地以15-30帧/秒进行改变，使得在观看期间解决该问题是困难的。如上所述，对提前校正倾斜角度的全向视频编码以产生视频文件，使得优选地显示全向视频，而不会带给观看者诸如3D眩晕之类的不舒服感觉。
上述实施例将已经通过具有大于180°的视角的透镜光学系统捕获的两个局部图像进行叠加和组合。然而，可以将另一实施例应用于已经通过一个或更多个透镜光学系统捕获的三个或更多个局部图像的叠加和组合。尽管上面已经通过使用鱼眼镜头的成像系统的示例的方式描述了实施例，然而实施例可以应用于使用超广角透镜的全向视频成像系统。
在上述实施例中，被捕获的帧的图像临时压缩为视频格式的图像数据，并且压缩后的视频格式的图像数据和倾斜的时间序列数据从全向相机110输出。图像处理装置150读取已经输出的视频格式的图像数据和倾斜的时间序列数据，从读取出的视频格式的图像数据恢复每个帧的图像，并且将倾斜校正应用于恢复的每个帧的图像。
然而，另一实施例可以直接输出静态图像的连续帧作为组，而不把帧压缩为视频格式的图像数据。具体地，在另一实施例中，全向相机110输出各帧的图像和倾斜的时间序列数据。图像处理装置150可以读取从全向相机110输出的各帧的图像和倾斜的时间序列数据，并且将倾斜校正应用于已经读取出的每个帧的图像。
此外，在上述实施例中，全向相机110经由外部存储单元将视频文件和倾斜角度文件传送到图像处理装置150。然而，用于传送视频数据和倾斜角度数据的方法不受限。全向相机110可以通过诸如上述USB连接或无线LAN连接之类的通信工具，将视频数据和倾斜角度数据传送到图像处理装置150。
此外，在上述实施例中，从全向相机110的各个成像元件130A和130B捕获的图像创建视频格式的图像数据，并且图像处理装置150将图像组合在一起。然而，本发明不限于这种配置。具体地，全向相机110可以如上述那样提前组合已通过成像元件130A和130B捕获的图像，并从组合后的图像产生视频格式的图像数据，并且图像处理装置150可以处理所产生的数据。在这种情况下，图像处理装置无需组合图像。
另外，以上实施例已经描述了全向视频成像系统包括作为单独机身的全向相机110和图像处理装置150。然而，本发明不限于这种配置。即，全向视频成像系统可以包括作为一个机身的全向相机110和图像处理装置150。在这种情况下，可以将公共CPU配置为用作CPU 112和CPU 152。用于数据传输的总线142和总线168中的每一个用一条线构成，并且硬件组件通过公共总线连接。这种配置消除了使用外部存储单元、或者有线或无线通信工具传输数据的需求。此外，在这种情况下，无需单独地记录视频文件和倾斜角度文件。代之，当已经获得倾斜角度和与之对应的图像时，可以产生倾斜根据倾斜角度得到校正(转换)的图像数据，并且视频数据可以从图像数据产生，并且记录至DRAM 132、RAM 154或HDD 156，或者显示在显示器162上。
此外，在上述实施例中，当垂直方向与全向相机110的直接向上方向一致时，确定图像未倾斜。然而，本发明不限于此标准。代之垂直方向，例如，可以将水平方向或另一期望方向设置为参考方向，并且可以基于指定主体(如全向相机110或者成像元件130A或130B)相对于参考方向的倾斜来校正图像的倾斜。尽管上述实施例使用加速度传感器检测倾斜，然而，另一倾斜传感器(如加速度传感器和地磁传感器的组合)可以例如检测全向相机110、固定到全向相机110的成像元件130A或130B、或传感器自身的倾斜。
可以通过以legacy编程语言(如汇编语言、C,C++,C#或)或面向对象的编程语言所写的计算机可执行程序实现上述功能单元。程序可以通过存储在计算机可读记录介质(如ROM、EEPROM、EPROM、闪存、软盘、CD-ROM、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、蓝牙盘、SD卡、MO盘)中或者通过电通信线路加以分发。上述所有或一些功能单元例如可以实现在诸如现场可编程们阵列(FPGA)之类的可编程器件(PD)或专用集成电路(ASIC)上。为了在PD上实现这种功能单元，可以使用存储例如以硬件描述语言(HDL)、非常高速的集成电路硬件描述语言(VHDL)或Verilog HDL所写的数据的记录介质来分发要下载到PD的电路配置数据(比特流数据)。
上述配置使得可以检测图像捕获单元相对于参考方向的倾斜，并且产生根据检测到的倾斜在倾斜方面得到校正的视频数据。
尽管已经针对特定实施例描述了本发明以便完整清楚的公开，然而所附权利要求并不由此受限，而是要解释为包括本领域技术人员可想到的合理落入这里阐述的基本教导内的所有变型和可替代构造。
附图标记列表
12 成像机身
14 外壳
18 快门按钮
20 成像光学系统
22 成像元件
100 全向视频成像系统
110 全向相机
112 CPU
114 ROM
116 图像处理块
118 视频压缩块
120 DRAM接口
122 外部存储单元接口
124 外部传感器接口
126 USB接口
128 串行块
130 成像元件
132 DRAM
134 外部存储单元
136 加速度传感器
138 USB连接器
140 无线NIC
142 总线
150 图像处理装置
152 CPU
154 RAM
156 HDD
158 输入设备
160 外部存储单元
162 显示器
164 无线NIC
166 USB连接器
168 总线
200 功能块
210 功能块
212 成像单元
214 视频压缩单元
216 倾斜检测单元
218 倾斜记录单元
220 输出单元
230 视频文件
240 倾斜角度文件
250 功能块
252 读取单元
254 图像恢复单元
256 倾斜获取单元
258 倾斜校正单元
260 转换表修正单元
262 全向图像产生单元
264 视频产生单元
270 视频文件
引用列表
专利文献
专利文档1:日本专利申请特开No.2013-214947

Claims (13)

1.一种成像系统，包括：
成像单元，其用于捕获多个帧的图像；
检测单元，其用于与捕获的各个帧的图像同步地检测所述成像单元相对于参考方向的倾斜；
记录单元，其用于记录所述检测单元检测到的与所捕获的各个帧的图像对应的倾斜的时间序列数据；
校正单元，其用于基于所述记录单元记录的与所捕获的各个帧的图像对应的倾斜的时间序列数据和对于所述成像单元唯一的额外信息，将倾斜校正应用于所述成像单元捕获的相应的每一帧的图像，所述额外信息是与用于所述成像系统进行校正的转换表格有关的信息；以及
视频产生单元，其用于基于所述校正单元校正的每一帧的图像产生视频数据。
2.如权利要求1所述的成像系统，进一步包括：
视频压缩单元，其用于将所述成像单元捕获的多个帧的图像压缩为视频格式的数据；
输出单元，其用于输出所述视频压缩单元压缩后的视频格式的图像数据和所述记录单元记录的倾斜的时间序列数据；
读取单元，其用于读取所述输出单元输出的视频格式的图像数据和所述倾斜的时间序列数据；以及
恢复单元，其用于从所述读取单元读取的视频格式的图像数据中恢复每一帧的图像，其中，
所述校正单元基于所述读取单元读取的倾斜的时间序列数据，将倾斜校正应用于所述恢复单元恢复的每一帧的图像。
3.如权利要求1所述的成像系统，进一步包括：
输出单元，其用于输出所述成像单元捕获的多个帧的图像和所述记录单元记录的倾斜的时间序列数据；以及
读取单元，其用于读取所述输出单元输出的多个帧的图像和所述倾斜的时间序列数据，其中，
所述校正单元基于所述读取单元读取的倾斜的时间序列数据，将倾斜校正应用于所述读取单元读取的每一帧的图像。
4.如权利要求2所述的成像系统，其中，所述成像单元、所述检测单元、所述记录单元和所述输出单元包括在成像装置中，所述记录单元、所述校正单元和所述视频产生单元包括在与所述成像装置分离的图像处理装置中。
5.如权利要求1所述的成像系统，其中，
所述成像单元包括第一广角成像光学系统和第二广角成像光学系统，
所述成像单元捕获的多个帧的成像包括由所述第一广角成像光学系统捕获的第一局部图像和由所述第二广角成像光学系统捕获的第二局部图像，
所述校正单元包括：
修正单元，其用于根据所述倾斜来修正转换数据，所述转换数据准备用以将所述第一局部图像和所述第二局部图像转换为球面坐标系中的数据；以及
全向图像产生单元，其用于使用所述修正单元修正的转换数据，将所述第一局部图像和所述第二局部图像转换为所述球面坐标系中的数据，并且产生全向图像，以及
所述视频数据是所述全向图像的视频数据。
6.如权利要求1所述的成像系统，其中，在执行所述倾斜校正时，所述校正单元在存储器中加载多个帧中的一些帧的图像，所述多个帧中的一些帧的图像基于构成全部视频数据的多个帧的起始帧。
7.如权利要求1所述的成像系统，其中，
所述参考方向是垂直方向，以及
所述校正单元执行所述倾斜校正，使得所述校正单元校正后的每一帧的图像的天顶方向与垂直线一致。
8.如权利要求1到7中任何一个所述的成像系统，其中，所述检测单元包括加速度传感器。
9.一种捕获图像的成像装置，所述成像装置包括：
成像单元，其用于捕获多个帧的图像；
检测单元，其用于与捕获的各个帧的图像同步地检测所述成像单元相对于参考方向的倾斜；
记录单元，其用于记录所述检测单元检测到的与捕获的各个帧的图像对应的倾斜的时间序列数据；
第一输出单元，其用于输出所述成像单元捕获的每一帧的图像和对于所述成像单元唯一的额外信息，所述额外信息是与用于所述成像装置进行校正的转换表格有关的信息；以及
第二输出单元，其用于输出所述记录单元记录的与捕获的各个帧的图像对应的倾斜的时间序列数据；其中，
基于所述第二输出单元输出的与捕获的各个帧的图像对应的倾斜的时间序列数据和所述额外信息，在倾斜方面校正所述第一输出单元输出的每一帧的图像。
10.一种成像装置，包括：
成像单元，其用于对被摄体成像，并且输出其多个图像；
检测单元，其用于检测所述被摄体成像时的倾斜；
视频产生单元，其用于从所述图像中产生视频；以及
输出单元，其用于输出关于所述倾斜的信息、所述视频和对于所述成像单元唯一的额外信息，所述额外信息是与用于所述成像装置进行校正的转换表格有关的信息，所述额外信息与关于所述倾斜的信息一起用于向所述视频应用倾斜校正；
其中，所述输出单元输出构成所述视频的图像和在捕获每个图像时关于倾斜的信息，以使得彼此相关联。
11.如权利要求10所述的成像装置，包括多个成像单元，其中，
所述视频产生单元产生从各个成像单元输出的多个图像的视频；并且
所述输出单元输出所述视频。
12.一种系统，包括：
成像单元，其用于对被摄体成像，并且输出其多个图像；
检测单元，其用于检测所述被摄体成像时的倾斜；
图像转换单元，其用于根据所述倾斜和对于所述成像单元唯一的额外信息转换所述图像，其中，所述额外信息是与用于所述系统进行校正的转换表格有关的信息，所述图像和在捕获每个图像时检测到的关于倾斜的信息彼此关联；以及
视频产生单元，其用于从转换后的图像中产生视频。
13.如权利要求12所述的系统，包括多个成像单元，其中，
所述图像转换单元转换从所述成像单元输出的图像；并且
所述视频产生单元从每一个均通过将转换后的图像当中的、在同一时刻由所述成像单元已经捕获的图像组合为一个图像而获得的图像中产生视频。
CN201580025123.3A 2014-05-15 2015-05-13 成像系统、成像装置、计算机程序和系统 Active CN106464804B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910851220.8A CN110430355B (zh) 2014-05-15 2015-05-13 成像系统和成像装置

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JP2014101058 2014-05-15
JP2014-101058 2014-05-15
JP2015021878 2015-02-06
JP2015-021878 2015-02-06
JP2015085601A JP5843033B1 (ja) 2014-05-15 2015-04-20 撮像システム、撮像装置、プログラムおよびシステム
JP2015-085601 2015-04-20
PCT/JP2015/064391 WO2015174547A1 (en) 2014-05-15 2015-05-13 Imaging system, imaging apparatus, computer program, and system

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201910851220.8A Division CN110430355B (zh) 2014-05-15 2015-05-13 成像系统和成像装置

Publications (2)

Publication Number Publication Date
CN106464804A CN106464804A (zh) 2017-02-22
CN106464804B true CN106464804B (zh) 2019-10-08

Family

ID=54480081

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910851220.8A Active CN110430355B (zh) 2014-05-15 2015-05-13 成像系统和成像装置
CN201580025123.3A Active CN106464804B (zh) 2014-05-15 2015-05-13 成像系统、成像装置、计算机程序和系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201910851220.8A Active CN110430355B (zh) 2014-05-15 2015-05-13 成像系统和成像装置

Country Status (6)

Country Link
US (2) US10681268B2 (zh)
EP (1) EP3143761B1 (zh)
JP (1) JP5843033B1 (zh)
KR (3) KR101888470B1 (zh)
CN (2) CN110430355B (zh)
WO (1) WO2015174547A1 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013214947A (ja) * 2012-03-09 2013-10-17 Ricoh Co Ltd 撮像装置、撮像システム、画像処理方法、情報処理装置、及びプログラム
JP5910485B2 (ja) * 2012-03-16 2016-04-27 株式会社リコー 撮像システム
JP5846549B1 (ja) 2015-02-06 2016-01-20 株式会社リコー 画像処理システム、画像処理方法、プログラム、撮像システム、画像生成装置、画像生成方法およびプログラム
JP5920507B1 (ja) 2015-03-10 2016-05-18 株式会社リコー 画像処理システム、画像処理方法およびプログラム
CN106981050A (zh) * 2016-01-18 2017-07-25 深圳岚锋创视网络科技有限公司 对鱼眼镜头拍摄的图像矫正的方法和装置
JP6846651B2 (ja) * 2016-04-15 2021-03-24 パナソニックＩｐマネジメント株式会社 画像処理装置及び撮像装置
US10979691B2 (en) * 2016-05-20 2021-04-13 Qualcomm Incorporated Circular fisheye video in virtual reality
US10699389B2 (en) * 2016-05-24 2020-06-30 Qualcomm Incorporated Fisheye rendering with lens distortion correction for 360-degree video
JP2018011172A (ja) * 2016-07-13 2018-01-18 株式会社リコー 撮像装置、撮像システムおよびプログラム
WO2018143311A1 (en) * 2017-01-31 2018-08-09 Ricoh Company, Ltd. Imaging apparatus
JP7180074B2 (ja) 2017-01-31 2022-11-30 株式会社リコー 撮像装置
JP6819368B2 (ja) 2017-03-07 2021-01-27 株式会社リコー 装置、システム、方法およびプログラム
JP7196399B2 (ja) * 2017-03-14 2022-12-27 株式会社リコー 音響装置、音響システム、方法およびプログラム
US20180302932A1 (en) * 2017-04-14 2018-10-18 Shanghai Xiaoyi Technology Co., Ltd. Systems and methods for forming a video camera network
JP2018194615A (ja) * 2017-05-15 2018-12-06 日本電産サンキョー株式会社 光学ユニット及び光学システム
KR20200001597A (ko) * 2017-06-29 2020-01-06 포디리플레이코리아 주식회사 다채널 영상 생성 방법, 다채널 영상 재생 방법 및 다채널 영상 재생 프로그램
JP7031280B2 (ja) * 2017-12-18 2022-03-08 株式会社リコー 画像処理装置、画像処理システムおよびプログラム
US10897573B2 (en) 2018-11-21 2021-01-19 Ricoh Company, Ltd. Image capturing system, terminal and computer readable medium which correct images
CN109819169A (zh) * 2019-02-13 2019-05-28 上海闻泰信息技术有限公司 全景拍摄方法、装置、设备和介质
JP7388084B2 (ja) 2019-09-20 2023-11-29 株式会社リコー 情報処理装置、方法および記録媒体
CN112788198B (zh) 2019-11-11 2024-04-23 株式会社理光 摄影装置、传送系统及方法、记录介质和计算机装置
CN116684728B (zh) * 2022-09-30 2024-03-05 荣耀终端有限公司 对dtof器件的控制方法及装置
CN117011179A (zh) * 2023-08-09 2023-11-07 北京精英路通科技有限公司 一种图像转换方法、装置、电子设备及存储介质

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5159401A (en) * 1990-09-06 1992-10-27 Decker Jr John A Elevation-angle sensing, celestial navigation and surveying
US7714936B1 (en) * 1991-05-13 2010-05-11 Sony Corporation Omniview motionless camera orientation system
US5185667A (en) 1991-05-13 1993-02-09 Telerobotics International, Inc. Omniview motionless camera orientation system
US7176960B1 (en) * 1999-09-20 2007-02-13 The Trustees Of Columbia University In The City Of New York System and methods for generating spherical mosaic images
JP3901552B2 (ja) * 2002-03-15 2007-04-04 日本電信電話株式会社 全方位カメラ視点運動並びに物体形状復元方法、装置、全方位カメラ視点運動並びに物体形状復元プログラム、及び該プログラムを記録した記録媒体
JP4211292B2 (ja) * 2002-06-03 2009-01-21 ソニー株式会社 画像処理装置および画像処理方法、プログラム並びにプログラム記録媒体
JP2004118786A (ja) * 2002-09-30 2004-04-15 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP4142460B2 (ja) * 2003-01-31 2008-09-03 オリンパス株式会社 運動検出装置
JP2005063141A (ja) * 2003-08-12 2005-03-10 D Link Corp 画像変換システム及び画像変換方法
JP2006059202A (ja) * 2004-08-20 2006-03-02 Iwate Univ 撮像装置及び画像補正方法
US20070024701A1 (en) * 2005-04-07 2007-02-01 Prechtl Eric F Stereoscopic wide field of view imaging system
JP4857143B2 (ja) * 2007-02-20 2012-01-18 アルパイン株式会社 カメラ姿勢算出用ターゲット装置およびこれを用いたカメラ姿勢算出方法ならびに画像表示方法
JP2009200985A (ja) * 2008-02-25 2009-09-03 Hitachi Ltd 映像処理装置
JP5163409B2 (ja) * 2008-10-03 2013-03-13 ソニー株式会社 撮像装置、撮像方法、およびプログラム
US20100265313A1 (en) * 2009-04-17 2010-10-21 Sony Corporation In-camera generation of high quality composite panoramic images
JP2010271675A (ja) 2009-05-20 2010-12-02 Masamichi Tokuzawa 全天動画撮影システム
JP5231331B2 (ja) * 2009-05-29 2013-07-10 株式会社エム・ソフト 映像合成方法、映像合成システム
KR100988872B1 (ko) * 2009-07-08 2010-10-20 주식회사 나노포토닉스 회전 대칭형의 광각 렌즈를 이용하여 복합 영상을 얻는 방법과 그 영상 시스템 및 하드웨어적으로 영상처리를 하는 이미지 센서
US9110365B2 (en) * 2009-11-19 2015-08-18 Olympus Corporation Imaging apparatus
JP2011114496A (ja) * 2009-11-25 2011-06-09 Olympus Imaging Corp 撮像装置
JP5593695B2 (ja) * 2009-12-28 2014-09-24 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
JP5756455B2 (ja) 2010-06-11 2015-07-29 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像処理装置および画像処理方法
EP2640058B1 (en) * 2010-11-11 2017-07-12 Panasonic Intellectual Property Corporation of America Image processing device, image processing method, program, and imaging device
US9930225B2 (en) * 2011-02-10 2018-03-27 Villmer Llc Omni-directional camera and related viewing software
JP5790345B2 (ja) 2011-09-07 2015-10-07 株式会社リコー 画像処理装置、画像処理方法、プログラムおよび画像処理システム
JP5659304B2 (ja) * 2011-11-07 2015-01-28 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法
KR20130084720A (ko) * 2012-01-18 2013-07-26 삼성전기주식회사 영상 처리 장치 및 방법
JP6123274B2 (ja) 2012-03-08 2017-05-10 株式会社リコー 撮像装置
JP2013214947A (ja) 2012-03-09 2013-10-17 Ricoh Co Ltd 撮像装置、撮像システム、画像処理方法、情報処理装置、及びプログラム
JP6079031B2 (ja) 2012-08-01 2017-02-15 株式会社リコー 撮像装置
JP2014050039A (ja) * 2012-09-03 2014-03-17 Sony Corp 画像処理装置、画像処理方法及びコンピュータプログラム
US10666860B2 (en) * 2012-09-11 2020-05-26 Ricoh Company, Ltd. Image processor, image processing method and program, and imaging system
JP6019970B2 (ja) * 2012-09-11 2016-11-02 株式会社リコー 全天球型の撮像システムおよび撮像光学系
JP5971207B2 (ja) 2012-09-18 2016-08-17 株式会社リコー 画像調整装置、画像調整方法およびプログラム
JP2014112302A (ja) 2012-12-05 2014-06-19 Ricoh Co Ltd 所定領域管理システム、通信方法、及びプログラム
JP6044328B2 (ja) 2012-12-26 2016-12-14 株式会社リコー 画像処理システム、画像処理方法およびプログラム
US20140313316A1 (en) * 2013-01-30 2014-10-23 SeeScan, Inc. Adjustable variable resolution inspection systems and methods using multiple image sensors
US9177362B2 (en) * 2013-08-02 2015-11-03 Facebook, Inc. Systems and methods for transforming an image

Also Published As

Publication number Publication date
KR20180091122A (ko) 2018-08-14
KR20190093703A (ko) 2019-08-09
KR101888470B1 (ko) 2018-08-16
KR20160144486A (ko) 2016-12-16
CN110430355B (zh) 2021-09-28
US20200296282A1 (en) 2020-09-17
EP3143761A4 (en) 2017-04-26
EP3143761A1 (en) 2017-03-22
US20160073024A1 (en) 2016-03-10
JP2016149733A (ja) 2016-08-18
US10681268B2 (en) 2020-06-09
JP5843033B1 (ja) 2016-01-13
WO2015174547A1 (en) 2015-11-19
CN110430355A (zh) 2019-11-08
KR102009122B1 (ko) 2019-08-08
EP3143761B1 (en) 2022-10-26
CN106464804A (zh) 2017-02-22

Similar Documents

Publication Publication Date Title
CN106464804B (zh) 成像系统、成像装置、计算机程序和系统
JP6927382B2 (ja) 撮像システム、方法、プログラム、動画表示装置および画像処理装置。
US11659282B2 (en) Image processing system and image processing method
JP2017208619A (ja) 画像処理装置、画像処理方法、プログラム及び撮像システム
JP7031280B2 (ja) 画像処理装置、画像処理システムおよびプログラム
JP6724659B2 (ja) 撮影装置、方法およびプログラム
US20220230275A1 (en) Imaging system, image processing apparatus, imaging device, and recording medium
JP6256513B2 (ja) 撮像システム、撮像装置、方法およびプログラム
JP2020174363A (ja) 撮影システム、方法およびプログラム
US11122202B2 (en) Imaging device, image processing system, and image processing method
US20200412928A1 (en) Imaging device, imaging system, and imaging method
JP2020078065A (ja) 撮像装置、情報処理装置、補正量設定方法およびプログラム
JP2020088843A (ja) 撮像システム、端末及びプログラム
JP2018011172A (ja) 撮像装置、撮像システムおよびプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant