CN105979123A - 图像处理系统、图像处理方法 - Google Patents

图像处理系统、图像处理方法 Download PDF

Info

Publication number
CN105979123A
CN105979123A CN201610111895.5A CN201610111895A CN105979123A CN 105979123 A CN105979123 A CN 105979123A CN 201610111895 A CN201610111895 A CN 201610111895A CN 105979123 A CN105979123 A CN 105979123A
Authority
CN
China
Prior art keywords
image
view data
output
whole day
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610111895.5A
Other languages
English (en)
Other versions
CN105979123B (zh
Inventor
森冈真人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to CN202010096727.XA priority Critical patent/CN111510590B/zh
Publication of CN105979123A publication Critical patent/CN105979123A/zh
Application granted granted Critical
Publication of CN105979123B publication Critical patent/CN105979123B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Cameras In General (AREA)

Abstract

本发明涉及图像处理系统以及图像处理方法，其目的在于提供能够用负荷较小的处理来生成阅览者没有不协调感觉的图像的图像系统。本发明的图像处理系统(200)可用来输出在显示部上显示的动画数据，其中包括：用于输出被输入的图像数据中的一部分图像数据的第一输出部；用于输出通过转换被输入的图像数据的坐标而得到的图像数据的第二输出部；以及，用于将经过所述第一输出部和所述第二输出部处理的图像数据作为在所述显示部上显示的动画数据输出的第三输出部。

Description

图像处理系统、图像处理方法
技术领域
本发明涉及图像处理系统以及图像处理方法。
背景技术
全天球摄像系统如专利文献1(JP特开2013-187860号公报)公开的，利用多个鱼眼镜头、超广角镜头等广角镜头，进行一次性全方位拍摄。在这种全天球摄像系统中，各个拍摄的像被投影到传感器面上，通过图像处理将得到的各张图像拼接起来，生成全天球图像。例如用具有超过180度视角的两个广角镜头能够生成全天球图像。
但是，用上述专利文献1公开的全天球摄像系统生成的典型的全天球图像采用球面坐标系统表示，为此，在不施加任何加工的情况下，图像发生变形，会使阅览者感到不协调。对此，在显示全天球图像时，通常需要使用专用浏览器，用来将全天球图像转换为适用于平面器件的图像。
另一方面，存在不使用专用浏览器，而是用通用浏览器或显示器来显示全天球图像的要求。同时还有所谓实况显示的要求，即用照相机主机具备的显示器、与照相机主机连接的显示器、或者能够与照相机主机通信的终端装置的显示器一边确认被摄体一边拍摄。虽然在全天球摄像系统的照相机主机内安设与上述专用浏览器等同的处理可以满足上述要求，但会造成计装成本、电力消费、以及发热量的上升。
发明内容
本发明是鉴于上述问题提出的技术方案，的目的在于，提供一种能够用负荷较小的处理来生成能够避免阅览者产生不协调感觉的图像的图像系统。
为了达到上述目的，本发明提供一种图像处理系统，可用来输出在显示部上显示的动画数据，其中包括：第一输出部，用于输出被输入的图像数据中的一部分图像数据；第二输出部，用于输出通过转换被输入的图像数据的坐标而得到的图像数据；以及，第三输出部，用于将经过所述第一输出部和所述第二输出部的处理的图像数据作为在所述显示部上显示的动画数据输出。
本发明的效果在于，以负荷较小的处理生成能够避免阅览者产生不协调感觉的图像。
附图说明
图1是本实施方式涉及的全天球相机的剖面图。
图2是本实施方式的全天球相机的硬件结构模块图。
图3是关于在本实施方式涉及的全天球相机上实现的显示图像输出功能的主要功能模块图。
图4是本实施方式涉及的全天球相机生成的经过转换的全天球图像(A)和生成的显示图像(B)的示意图。
图5是本实施方式涉及的全天球相机实行的第一处理的流程中的记录处理的流程图。
图6是本实施方式涉及的全天球相机实行的第一处理的流程中的显示图像输出处理的流程图。
图7是本实施方式涉及的全天球相机实行的第二处理的流程中的显示图像输出处理的流程图。
图8是用来说明本实施方式涉及的全天球相机的映射关系的示意图。
图9是本实施方式涉及的全天球图像的图像数据结构示意图。
图10是用来描述本实施方式涉及的全天球相机使用的转换参数的示意图。
图11是本实施方式涉及的全天球相机根据两幅部分图像生成的全天球图像的示意图
图12是本实施方式涉及的全天球相机实行的坐标转换处理的示意图。
图13是本实施方式涉及的全天球相机将通过基于各个注目点的图像转动所生成的转换后全天球图像的示意图。
具体实施方式
以下参考附图描述本发明的实施方式。在此需要说明的是本发明不受下述实施方式的限制。以下用兼备使用两个鱼眼镜头的摄像功能和图像处理功能的全天球相机100作为一例图像处理系统和摄像系统，来描述本实施方式。
首先参考图1和图2，描述本实施方式的全天球相机100的整体构成。图1是本实施方式涉及的全天球相机100的剖面图。图1所示的全天球相机100具有摄像体12、用来保持该摄像体12以及控制电路板和电池等元件的筐体14、设于该筐体14上的摄像键18。
图1所示的摄像体12包括两个成像光学系统20A和20B以及两个摄像元件22A和22B。摄像元件22A和22B是CCD(Charge Coupled Device)传感器或CMOS(ComplementaryMetal Oxide Semiconductor)传感器等。成像光学系统20例如是六组七片的鱼眼镜头。在图1所示的实施方式中，该鱼眼镜头具有大于180°(＝360°/n，光学系数n＝2)的全视角，优选具有190°以上的视角。用一个如此大视角的成像光学系统20和一个摄像元件22组成光学系统作为广角摄像光学系统。
两个成像光学系统20A和20B的光学元件(透镜、菱镜、滤光片以及光圈)相对于摄像元件22A和22B的位置关系固定。成像光学系统20A和20B的光学元件的光轴被定位为，垂直于对应的摄像元件22的受光区域的中心部分，而且受光区域为对应的鱼眼镜头的成像面。
两个成像光学系统20A和20B以相同规格组合，互相相反但两条光轴保持一致。摄像元件22A和22B将受光的光分布转换为图像信号，依次把图像帧输出到控制电路板上的图像处理模块中。摄像元件22A和22B各自拍摄的图像经过合成处理后，生成立体角度4π球面度图像(以下称为全天球图像)。对此将在以下详述。全天球图像是从摄影地点所能够瞭望的所有方向拍摄的图像。在本实施方式中生成全天球图像，但也可以只是水平面360°拍摄的图像，即所谓的全景立体图，或者全天球或水平面360°全景拍摄中的一部分图像，还可以作为动画保存。
图2是本实施方式的全天球相机100的硬件结构模块图。全天球相机100包含CPU(Central Processing Unit)112、ROM(Read Only Memory)114、图像处理模块116、动画压缩模块118、经由DRAM(Dynamic Random Memory)接口120连接的DRAM132、以及经由外部传感器接口124连接的姿势传感器136。
CPU112控制全天球相机110的各个部分的动作和整体动作。ROM114用于存放用编码描述且CPU112能够解读的控制程序或各种参数。图像处理模块116与两个摄像元件130A和130B(图1中的摄像元件22A和22B)连接，分别用来输入该两个摄像元件130A和130B各自拍摄的图像的图像信号。图像处理模块116包含ISP(Image Signal Processor)等，对从摄像元件130输入的图像信号进行阴影补偿、拜耳(Bayer)插值补偿、白平衡补偿、伽玛补偿等处理。进而，图像处理模块116还对从多个摄像元件130A和130B，经过上述处理取得的多幅图像进行合成处理，由此生成上述全天球图像。
动画压缩模块118是MPEG-4AVC/H.264等动画缩放的编解码模块，用于保存生成的全天球图像的动画数据，或者重放输出保存的动画数据。DRAM132用于在实施各种信号处理和图像处理时提供暂时保存的存储区域。姿势传感器136以加速度传感器、陀螺传感器、地磁传感器或这些传感器的组合构成，用于确定全天球相机100的姿势。例如，三轴加速度传感器能够检测三个轴向的加速度成分。三轴陀螺传感器能够检测三个轴向的角速度。地磁传感器能够测定磁场方向。单独利用这些传感器输出或者结合这些传感器输出，能够求出全天球相机100的三个姿势角度。姿势传感器136提供的信息用于实施全天球图像的天顶补偿，或者实施按照下述注目点的图像转动处理。
全天球相机110进一步具有外部寄存器接口122、USB(Universal Serial Bus)接口126、串行模块128、影像输出接口129。外部寄存器接口122连接被插入到存储卡插槽中的存储卡等外部寄存器134。外部寄存器接口122控制外部寄存器134的读写。
USB接口126连接USB连接器138。USB接口126控制与经由USB连接器138连接的个人计算机等外部设备之间的USB通信。串接模块128与控制个人计算机等外部设备之间的串行通信，连接无线NIC(Network Interface Card)140。影像输出接口129用于与HDMI(High-Definition Multimedia Interface，HDMI为注册商标)等外部显示器的连接，能够向外部显示器等影像输出将录制之前的图像、正在录制的图像、或录制了的图像。
本实施方式中以USB连接器138、无线NIC140、HDMI(注册商标)作为影像输出接口129的例子，但是本发明并不局限于特殊规格，在其他实施方式中也可以通过有线LAN(Local Area Network)等有线通信、Blue Tooth(注册商标)或无线USB等其他无线通信、DisplayPort(注册商标)或VGA(Video Graphic Array)等其他影像输出接口来连接外设。
通过电源开关操作，使电源成为接通状态后，将上述控制程序上载到主存储器中。CPU112按照被读入主存储器的程序，控制装置各部动作，同时将控制所需要的数据暂时保存到存储器中。这样，便实现全天球相机110的后述各项功能和处理。
上述本实施方式的全天球相机100具有拍摄全天球图像的静画或动画的功能。在某些情况下提供将全天球图像转换为适用于平面器件的图像的专用浏览器，用来阅览录制的全天球图像。与此同时，还存在不用上述专用浏览器阅览，而采用直接显示输入图像的通用浏览器或显示器来显示全天球相机100拍摄的图像的要求。除此之外，还有所谓实况显示的要求，即在能够与相机主机通信的显示器上，一边确认被摄体一边拍摄。
但是，在全天球相机100主机中设置与上述专用浏览器等同的处理，会提高全天球相机100的计装成本，进而引起图像处理耗电以及增加发热量。
对此，本实施方式采用以下构成。即根据基于传感器信息决定的注目点，对全天球图像实行坐标转换处理，并从经过坐标转换处理生成的转换后的全天球图像中切出的一部分，生成用于输出的显示图像。在优选实施方式中，通过实行切出转换后的全天球图像的中央部分的处理，能够生成与以全天球图像中注目点为中心的部分相对应的图像，作为显示图像。
上述构成能够以负荷较小的处理，生成显示全天球图像中的一部分、且不会让阅览者感到不协调的显示画面。在优选实施方式中，实施坐标转换处理，将以注目点为中心的图像设置在全天球图像中变形较少的中央部分，切出与该中央部分对应的图像，作为显示图像输出。为此，阅览者不用专用浏览器也能够看到自然的图形。而且，坐标转换处理是组装在全天球相机100中的处理，用于天顶补偿，为此不会对全天球相机100造成额外的计装成本，而且从能减少图像处理的电力消费量和发热量。
以下将要描述的实施方式构成为向通过上述影像接口129连接的外部显示器输出影像显示画面。但是，本发明并不受到该实施方式的限制。在其他实施方式中，也可以使用通过USB连接器138、无线NIC140之类的有线或无线的通信连接的智能手机或平板计算机等用户终端装置，来显示全天球图像的显示画面。在这种情况下，用户启动在用户终端装置上运行的通用浏览器的应用软件，可以用通用浏览器显示全天球相机100输出的图像。再进一步其他的实施方式中，全天球相机100本身具备显示器，此时也可以构成为在全天球相机100所具备的显示器上显示显示图像。
以下参考图3和图4，概述本实施方式涉及的全天球相机100具备的显示图像输出功能。图3显示关于在本实施方式涉及的全天球相机100上实现的显示图像输出功能的主要功能模块200。
全天球相机100的功能模块200如图3所示，构成为包含摄像图像取得部202、拼接处理部204、天顶补偿部206、全天球图像生成部208、图像压缩部210、图像展开部212、注目点决定部214、图像转动部216、转换后全天球图像生成部218、切出处理部220、放大/信箱处理部222、以及输出部224。
图3显示两个图像处理流程。第一流程为一旦保存全天球相机100拍摄的全天球图像，而后响应用户操作，输出保存的全天球图像的显示图像。被保存的全天球图像的图像数据既可以是静画也可以是动画。第一流程对应录制后阅览。第二流程是一边用全天球相机100拍摄全天球图像一边输出生成的全天球图像的显示图像。第二流程对应录制之前或正在录制时现时阅览摄影状态。
以下首先描述相对录制后阅览的第一处理的流程。摄像图像取得部202控制上述两个摄像元件130A和130B，取得摄像元件130A和130B各自的摄像图像。在静止画的情况下，取得按动快门时刻取得的组成一帧的两幅图像。而在动画的情况下，依次拍摄连续的帧，取得每一帧的两幅摄像图像。摄像元件130各自拍摄的图像是视角大致覆盖全天球中半球的鱼眼图像，为全天球图像的一部分图像。以下将摄像元件130各自拍摄的图像称为部分图像。
拼接处理部204检测取得的两幅部分图像之间的拼接位置，实行两幅图像的拼接处理。在拼接位置检测处理中，对每帧图像中位于多个部分图像之间的重复区域实行检测处理，检测重复区域中多个对应点各自的位置偏离量。
天顶补偿部206控制图2所示的姿势传感器136，检测全天球相机100的姿势角度，实行补偿处理，使得生成的全天球图像的天顶方向与规定基准方向保持一致。在此，典型的规定基准方向为铅直方向，即重力加速度方向。通过补偿，全天球图像的天顶方向与铅直方向保持一致，从而，尤其在动画中，即便阅览时发生视角变化，用户也不会感到不调和，如产生三维晕眩等。
全天球图像生成部208在拼接处理部204和天顶补偿部206的处理结果得到反映的状态下，根据拍摄的两幅部分图像，实行生成全天球图像的处理。本实施方式中，存在用于根据两幅部分图像生成全天球图像的转换参数，拼接处理部204将拼接位置检测的结果反映到该转换参数中。天顶补偿部206也把补偿结果反映到转换参数中。而后，全天球图像生成部208用这些反映了处理结果的转换参数，生成基于两幅部分图像的全天球图像。通过上述处理，能够减轻用来获得最终全天球图像的处理负荷。
但是，本发明不受上述实施方式限制，也可以构成为拼接两幅部分图像生成全天球图像，而后对生成的全天球图像实行天顶补偿处理，生成经过天顶补偿处理的全天球图像。关于转换参数将在以下叙述。
图像压缩部210包含静止画压缩模块，在拍摄静止画的场合下，将拍摄的图像压缩为JPEG(Joint Photographic Experts Group)等规定的静止画格式。图像压缩部210还包含图2所示的动画压缩模块118，在拍摄动画的场合下，将拍摄的连续图像帧压缩为规定动画格式的图像数据。对于动画压缩格式并没有特殊限定，例如有H.264/MPEG-4AVC(Advanced Video Coding)、H.265/HEVC(High Efficiency Video Coding)、Motion JPEG、Motion JPEG2000等各种动画压缩格式。生成的图像数据被保存到安装在全天球相机100上的外部寄存器134或其他全天球相机100所具备的闪存等寄存器中。
第一处理流程中，例如全天球相机100的用户发出指定重放对象的影像输出指示后，功能部212至224开始动作。图像展开部212读取保存在上述寄存器中的图像数据，取得全天球图像。取得的全天球图像被展开到内存上。
注目点决定部214根据姿势传感器136输出的传感器信息，决定注目点。在第一处理中全天球相机在以后的影像输出处理中几乎不实行摄像动作，因此能够作为用来操作注目点的操作控制器来使用。根据姿势传感器136输出的传感器信息，决定与全天球相机100面对的方向相对应的注目点(照相机的姿势角度α，β，γ)。注目点决定部214构成本实施方式中的决定部。
在第一处理的流程中，为显示对象的全天球图像中已经实施了天顶补偿。为此，虽然并不是特别限定，在此可以将作为操作控制器的全天球相机100面向正上方的状态(即把图1所示的全天球相机100的摄像体12一端向上的垂直设置状态)为基准，用以定义全天球相机100的姿势角度。在本实施方式的描述中将全天球相机100作为操作控制器。但是，也可以另设能够与具备姿势传感器的全天球相机100通信的外设作为操作控制器，如操作专用控制器、智能手机、平板计算机、头顶显示器等。
注目点决定部214决定注目点后，图像转动部216对前天求图象实行坐标转换处理。坐标转换处理具体是指用与注目点对应的角度来三维转动转换全天球图像各个坐标的处理。关于坐标转换处理将在以下详述。图像转动部216构成本实施方式的坐标转换处理部。
转换后全天球图像生成部218根据坐标转换处理结果实行全天球图像生成处理，从原来的全天球图像生成对应与于注目点的转换后的全天球图像。转换后全天球图像生成部218构成本实施方式的图像生成部。图4的(A)是本实施方式的全天球相机100生成的一例转换后全天球图像。转换后全天球图像经过坐标转换后，注目点被置于图像中心，为此，(A)所示的全天球图像的中心与决定的注目点相对应。
切出处理部220用于从通过坐标转换处理生成的转换后全天球图像中切出一部分，生成切出图像。在优选实施方式中，切出处理部220切出转换后全天球图像的中央部分，因而能够从全天球图像中切出与以注目点为中心且具有一定大小的部分相对应的图像。图4的(A)中用虚线矩形表示从全天球图像中切出的中央部分的区域。切出处理部220构成本实施方式的切出部。
在本实施方式的描述中，设切出部具有从图像中切出一部分以生成切出图像的功能。但是本发明并不受此限制，在其他实施方式中，切出部不仅具备从图像中切出一部分以生成切出图像的功能，而且还可以具有减少分辨率的功能。另外在本实施方式的描述中，图像转动部216实行处理之后切出处理部220实行处理，但是在实行的前后顺序上，本发明并不受此限制。
放大/信箱处理部222按照输出一方的显示器或投影仪等影像输出装置的分辨率以及纵横比，对切出处理部220切出的图像实行放大处理，并在切出的图像部分的上下加上黑条，生成显示图像。输出部224通过影像输出接口129，输出经过放大/信箱处理部222处理后生成的显示图像。在切出图形与影像输出装置的分辨率以及纵横比对应的情况下，可以省略放大/信箱处理部222的处理。
图4的(B)是本实施方式涉及的全天球相机100根据同图的(A)所示的全天球图像通过输出部224输出的显示图像的示意图。如图4所示，(A)的全天球图像的四周部分变形较大，中央部分变形较小。为此，切出中央部分生成的显示图像如图4的(B)所示，是对阅览者来说比较自然的图像。
在静止画的情况下，至少每次注目点发生变化时，典型的为每隔规定间隔，对同一幅全天球图像反复实行上述功能部214至224的影像输出处理，按照该时刻的注目点更新显示图像。在动画的情况下，典型的是对每一帧反复实行上述功能部214至224的影像输出处理，更行显示图像。
用户将作为操作控制器的全天球相机100面对正上方状态为基准，能够在全天求相机100发生前后左右的倾斜或转动时，改变注目点，阅览与按照改变后的注目点相对应的全天球图像的显示图像。
以下，继续参考图3描述用于录制前和录制期间实况阅览的第二处理的流程。在第二处理的流程中在用户指示开始实况显示后，功能部202、204、214至224动作。
摄像图像取得部202与第一流程相同，控制上述两个摄像元件130A和130B，取得每一帧的两幅部分图像，展开到内存上。拼合处理部204检测取得的两幅部分图像之间的连接位置，并将连接位置检测结果反映到转换参数中。
注目点决定部214根据操作控制器的姿势传感器的传感器信息，决定注目点。在第二处理流程中，全天球相机100在影像输出处理期间也实行摄影动作，因而设定另外准备用来操作注目点的操作控制器。在此可以用操作专用控制器、智能手机、平板计算机、头盔式显示器等具备姿势传感器，且能够与全天球相机100通信的外设作为操作控制器。根据操作控制器发送的姿势传感器的传感器信息，取得与操作控制器面对的方向对应的注目点(操作控制器的姿势角度α，β，γ)。
注目点决定部214决定了注目点之后，图像转动部216实行坐标转换处理，用与注目点对应的角度三维转动转换全天球图像的各个坐标。该图像转动部216的坐标转换处理结果被反映到用于从两幅部分图像生成全天球图像的转换参数中。
转换后全天球图像生成部218实行生成处理，用反映了拼接处理部204以及图像转动部216的处理实行结果的转换参数，合成拍摄的两幅部分图像，直接生成转换后的全天球图像。
在第二处理的流程中，除了控制注目点的操作控制器以外，拍摄全天球图像的全天球相机100的姿势也可能发生变化。为此，优选在图像转动部216的三维转动转换中加入对应全天球相机100的姿势的天顶补偿。例如，将基准定义为，在全天球相机100面向正上方状态，且操作控制器面向正上方状态下，全天球图像的天顶与重力方向(天方向)一致，实行三维转动转换。
与第一处理的流程相同，切出处理部220切出转换后全天球图像中的一部分，生成切出图像。放大/信箱处理部222对切出处理部220切出的图像，实行放大处理和黑边增加处理。输出部224通过影像输出接口129，输出经过放大/信箱处理部222处理生成的显示图像。对每一帧图像反复实行上述功能部202、204、214至224的处理。
在第二处理的流程中，用户例如固定设置全天球相机100实行摄影，以外部操作控制器面向正上方为基准，能够通过前后左右倾斜或转动来改变注目点，阅览与注目点对应的全天球图像的实况显示。在以上的描述中，将全天球相机100的天顶补偿反映到转动转换中。这样，无论全天球相机100是否相对于铅直方向倾斜，均能够通过改变操作控制器的姿势，便于以用户感觉到的重力方向为基准客观地设定注目点。但是，本发明并不受此限制。在其他实施方式中也可以构成为，不实行根据全天球相机100的姿势的天顶补偿，而是仅根据操作控制器的姿势来控制注目点。
以下参考图5至图13描述第一处理的流程中实行的处理。图5和图6是本实施方式涉及的全天球相机100实行的第一处理的流程中的记录处理以及显示图像输出处理的流程图。图7是本实施方式涉及的全天球相机100实行的第二处理的流程中的显示图像输出处理的流程图。
以下参考图5和图6描述第一处理的流程中实行的处理。图5所示的记录处理从用户按动摄影键等记录指示后的步骤S100开始。在图5和图6所示的处理中适用于拍摄并阅览静止画。在步骤S101中，全天球相机100通过摄像图像取得部202取得摄像元件130A和130B拍摄的摄像图像。
图8是用来说明本实施方式涉及的全天球相机100的映射关系的示意图。在本实施方式中，一个鱼眼镜头拍摄的图像大约覆盖以摄影地点为起始的半个球的方位。鱼眼镜头如图8的(A)所示，以与相对于光轴的入射角度相对应的像高h生成图像。像高h与入射角度之间的关系取决于与规定投影模型相对应的映射函数。
映射函数随鱼眼镜头性质而不同。作为上述投影模型，可以例举出等距离映射方式中心投影方式立体映射方式 等立体角映射方式以及映射设方式无论是哪一种方式都能够对应相对于光轴的入射角度和焦距f，决定从成像的像高h。本实施方式采用成像圈直径小于图像对角线的所谓圆周鱼眼镜头的构成，获得的部分图像如图8的(B)所示，摄影范围的大约半个球包含被投影的整个成像圈的平面图象。
图9是本实施方式涉及的全天球图像的图像数据结构示意图。如图9所示，全天球图像的格式用以和θ为坐标的像素值的排列来表示，是与相对于规定轴形成的角度相对应的垂直角度，θ是与围绕上述轴的转动角对应的水平角度。各个坐标值与表示以拍摄地点为中心的全方位球面上的各点相对应，将全方位映射到全天球图像上。
图10是用来描述本实施方式涉及的全天球相机使用的转换参数的示意图。转换参数用来限定从以平面坐标表示的部分图像映射到以球面坐标表示的图像。转换参数如图10的(A)所示，记录了每个鱼眼镜头的所有坐标值的信息，该信息中补偿后图像的坐标值与该坐标值被映射之前的补偿前的部分图像的坐标值(x，y)相关联。在图10所示的示例中，一个像素覆盖的角度在θ方向和方向均为1/10度，转换参数具有各个鱼眼镜头的表示3600×1800的对应关系的信息。原始的转换参数可以预先通过制造商等在相对于理想透镜模型实施变形补偿的基础上计算并列为图表。
返回图5，在步骤S102中，全天球相机100通过拼接处理部204检测取得的两幅部分图像之间的重叠区域中的连接位置，并将连接位置的检测结果反映到转换参数中。通过反映连接位置检测结果，图10的(A)所示的转换参数被修改为，补偿后图像的坐标值与反映了连接位置补偿的部分图像的坐标值(x，y)相对应。
在步骤S103，全天球相机100通过天顶补偿部206检测全天球相机100相对于重力方向的姿势角度，并修改转换参数，使得生成的全天球图像的天顶方向与铅直方向保持一致。关于天顶补偿，具体可以实施与下述的三维转动转换相同的处理，在此省略详述。在步骤S104，全天球相机100通过全天球图像生成部208，用转换参数实行全天球图像生成处理，从拍摄的两幅部分图像生成全天球图像。步骤S104首先利用转换参数将部分图像从平面坐标系转换到球面坐标系，而后合成两幅球面坐标系的部分图像，生成全天球图像。
图11是本实施方式涉及的全天球相机100根据两幅部分图像生成的全天球图像的示意图。图11显示了在未将全天球相机100正上方方向与铅直线保持一致的状态下拍摄的两幅部分图像(A)和(C)、以及根据这两幅部分图像经过天顶补偿后生成的全天球图像(B)。在图11的示例中，全天球相机100处于倾斜状态下拍摄了第一部分图像(A)和第二部分图像(C)，此时，一方的鱼眼镜头面向地面，另一方鱼眼镜头面向天空。参考图11可知，通过上述天顶补偿，全天球图像被补偿为风景中的水平线位于中央。
返回图5，在步骤S105中，全天球相机100通过图像压缩部210对生成的全天球图像的图像数据进行压缩，在步骤S106中，将生成的图像数据保存到寄存器中，而后一旦结束处理。
图6所示的显示图像输出处理以用户发出指定图像数据的影像输出指示为开始。在步骤S201中，全天球相机100通过图像展开部212从寄存器中读取指定的全天球图像的图像数据，在步骤S202中，将全天球图像展开到内存上。
在步骤S203，全天球相机100通过注目点决定部214，根据全天球相机100的姿势传感器136输出的传感器信息，来决定注目点(相机主机的姿势角度α、β、γ)。在以下的描述中，通过结合加速度传感器、陀螺传感器以及地磁传感器，来获得以相机主机面向正上方的状态为基准的相机主机姿势角度α，β，γ。在步骤S204，全天球相机100通过图像转动部216，按照步骤S203决定的注目点实行全天球图像的坐标转换处理。在步骤S204所示的坐标转换处理中，将全天球图像的各个坐标值作为输入值进行坐标转换，从而求出转换后的各个坐标值
在此说明坐标转换处理。图12是本实施方式涉及的全天球相机100实行的坐标转换处理的示意图。在此，设坐标转换之前的三维正交坐标为(x1，y1，z1)，球面坐标为坐标转换之前的三维正交坐标为(x2，y2，z2)，球面坐标为
坐标转换处理中利用下式(1)至(6)，将球面坐标转换为球面坐标坐标转换处理包括根据下式(1)至(3)的坐标转换、根据下式(4)的坐标转换、以及根据下式(5)和式(6)的坐标转换。
x1＝sin(φ1)cos(θ1)…(1)
y1＝sin(φ1)sin(θ1)…(2)
z1＝cos(φ1)…(3)
x 2 y 2 z 2 = 1 0 0 0 cos α sin α 0 - sin α cos α cos β 0 - sin β 0 1 0 sin β 0 cos β cos γ sin γ 0 - sin γ cos γ 0 0 0 1 x 1 y 1 z 1 ... ( 4 )
φ2＝Arc cos(z2)…(5)
θ 2 = Arc tan ( y 2 x 2 ) . . . ( 6 )
首先，因需要用三维正交坐标转动转换，因此用上式(1)至(3)实行从球面坐标转换到三位正交坐标(x1，y1，z1)的处理。
其次，用作为注目点给出的照相机主机的姿势角度α，β，γ，按照上式(4)将三维正交坐标系(x1，y1，z1)转换为三维正交坐标系(x2，y2，z2)。换言之，上式(4)给出姿势角度α，β，γ的定义。即上式(4)表示，以x轴为转动轴将原有坐标系转动α，以y轴为转动轴将原有坐标系转动β，以z轴为转动轴将原有坐标系转动γ，成为转换后的坐标系。
最后，用上式(5)和上式(6)将转换后的三维正交坐标系(x2，y2，z2)回到球面坐标
返回图6，在步骤S205中，全天球相机100通过转换后全天球图像生成部218，根据坐标转换处理的实行结果，实行生成处理，从原有的全天球图像生成对应注目点的转变后全天球图像。通过上述S204的处理，求出全天球图像各个坐标值的转换后的坐标值为此，转换后全天球图像生成处理设定了对应转换后的全天球图像的输入坐标值求出的转换后坐标值的像素值。据此，生成转换后的全天球图像。
在步骤S206，全天球相机100通过切出处理部220，切出转换后的全天球图像的中央部分，生成切出图像。例如，以纵横均为全天球图像1/2大小从中央切出。在步骤S207，全天球相机100通过放大/信箱处理部222，根据输出方影像输出装置的分辨率和纵横比，放大切出图像，并增加黑带，生成显示图像。在步骤S208，全天球相机100通过输出部224，经由影像输出接口129输出生成的显示图像，结束本处理。
图6所示的步骤S203至S208的处理，在静止画的情况下，在每当注目点随着全天球相机100的姿势变化而发生改变反复实行，或者以规定间隔反复实行，而在动画的情况下，则在每一帧图像中反复实行。
以下参考图7，描述在第二处理的流程中实行的处理。用户发出的实况显示开始指示后图7所示的显示图像输出处理开始。在步骤S301中，全天球相机100通过摄像图像取得部202取得摄像元件130A和130B拍摄的摄像图像。
在步骤S302中，全天球相机100通过拼接处理部204检测取得的两幅部分图像之间的重叠区域中的连接位置，并将连接位置的检测结果反映到转换参数中。通过反映连接位置检测结果，图10的(A)所示的转换参数得到修改，补偿后图像的坐标值与反映了连接位置补偿的部分图像的坐标值(x，y)相对应。在步骤S303，全天球相机100通过注目点决定部214，根据外部操作控制器的姿势传感器输出的传感器信息，来决定注目点(操作控制器的姿势角度α，β，γ)。在以下的描述中，通过结合加速度传感器、陀螺传感器以及地磁传感器，来获得以操作控制器面向正上方的状态为基准的相机主机姿势角度α，β，γ。在步骤S303中还检测到全天球相机100的姿势角度，对已定的姿势角度进行补偿，在操作控制器面向正上方的状态(姿势角度(α，β，γ)＝(0，0，0))下使得全天球图像的天顶方向与铅直方向保持一致。在以下的描述中，出于方便，设全天球相机100以固定设置为面向正上方的状态进行摄影。
在步骤S304，全天球相机100通过图像转动部216，按照步骤S303决定的注目点实行全天球图像的来修改转换参数。在步骤S304所示的坐标转换处理中，将全天球图像的坐标值所对应的图10所示的转换参数的的各个转换后坐标值作为输入值进行坐标转换，，用上述式(1)至(6)求出转换后的各个坐标值关于坐标转换处理，参考图12的描述。在步骤S305中，全天球相机100通过转换后全天球图像生成部218，用反映了坐标转换处理实行结果的转换参数实行生成处理，从拍摄的两幅部分图像直接生成转变后全天球图像。对转换参数的各个坐标值将这些值作为输入值求出转换后的坐标值为此，转换后全天球图像生成处理是，设定与对应转换后全天球图像的输入坐标值求出的转换后坐标值相关联的部分图像的坐标值(x，y)的像素值，用以作为该坐标值的像素值。据此，获得展开到球面坐标系上的两幅部分图像，合成该两个球面坐标系的部分图像，生成转换后的全天球图像。
在步骤S306，全天球相机100通过切出处理部220，切出转换后的全天球图像的中央部分，生成切出图像。在步骤S307，全天球相机100通过放大/信箱处理部222，根据输出方影像输出装置的分辨率和纵横比，放大切出图像，并增加黑带，生成显示图像。在步骤S308，全天球相机100通过输出部224，经由影像输出接口129输出生成的显示图像，结束本处理。图7所示的步骤S301至S308的处理以每一帧为间隔反复实行。
图13是本实施方式涉及的全天球相机100将通过基于各个注目点的图像转动所生成的转换后全天球图像与切出的中央部分一起显示的图。其中的(B)是基准注目点的转换后全天球图像和切出的中央部分。图13的(B)对应用户保持操作控制器(全天球相机100/外部操作控制器)垂直的状态。
对此，图13的(A)显示，操作控制器相对于(B)对应的姿势倾斜，使图13(B)中的注目点向下移动时的转换后全天球图像以及切出的中央部分。图13的(C)显示，从(B)对应的姿势出发，围绕主机轴转动操作控制器，使图13(B)中的注目点向右移动时的转换后全天球图像以及切出的中央部分。
如图13所示，上述实施方式根据姿势传感器等输出的传感器信息所决定的注目点，对全天球图像实行坐标转换处理，通过从实行坐标转换处理生成的转换后全天球图像中切出一部分图像，生成用于输出的显示图像。优选实施方式为，切出转换后全天球图像的中央部分，将以全天球图像中的注目点为中心的部分所对应的图像作为显示图像。
利用上述实施方式，能够以负荷较小的处理来生成显示出全天球图像中的一部分且不会让阅览者感到不调谐的显示图像。而优选实施方式实施的坐标转换处理，将以注目点为中心的图像配置在全天球图像中变形较少的中央部分，为此阅览者在不使用专用浏览器的情况下也能够看到自然的图像。而坐标转换处理是安装在全天球相机100中的处理，用来实行天顶补偿，因此，还能够降低计装成本，减少发热。
如上所述，本实施方式提供的图像处理系统、图像处理方法以及摄像系统能够以小负荷处理生成阅览者没有不协调感的对象图像的显示图像。
上述实施方式用全天球相机100作为一例，用来描述图像处理系统和摄像系统，但是图像处理系统和摄像系统的构成并不受到上述实施方式的限制。
在其他的实施方式中，可以将功能部202至224中一部分处理分散安装到能够作为外部个人计算机或服务器、操作控制器动作的计算机等一台以上图像处理装置上。在某些特定的实施方式中，具备摄像元件130的摄像装置及全天球相机或与全天球相机分开的图像处理装置上可以具备上述注目点决定部214、图像转动部216、转换后全天球图像生成部218、切出处理部220、放大/信箱处理部222以及输出部224。操作控制器可以是与全天球相机、上述图像处理装置、或全天球相机及图像处理装置分开的装置。
进而，拼接处理部204的拼接处理、图像转动部216的图像转动、以及切出处理部220的切出处理的顺序并不受到图3所示的具体实施方式的限制。也可以按照以下顺序实行处理。
(1)拼接处理后实行图像转动，而后实行切出处理后输出。除此之外，还可以如下处理。
(2)图像转动之后实行拼接处理，而后实行切出处理输出。
(3)图像转动之后实行切出处理，而后实行拼接处理输出。
(4)拼接处理之后实行切出处理，而后实行图像像转动输出。
(5)切出处理之后实行拼接处理，而后图像转动输出。
(6)切出处理之后实行图像转动，而后实行拼接处理后输出。
进而还可以在动画状态下实行图像转动和切出处理。
上述各项功能模块通过执行用汇编语言、C、C++、C#、Java(注册商标)等传统编程语言或面向对象编程语言等叙述的计算机可执行程序来实现。该程序可以保存在ROM、EEPROM、EPROM、闪存、软磁盘、CD-ROM、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、蓝光盘、SD卡、MO等装置可读取的存储媒体中，还可以通过电子通信线颁发。上述功能部中的一部分或全部可安装在例如现场可编程门阵列(Field-Programmable Gate Array，略写为FPGA)等可编程设备(Programmable Device，略写为PD)中，还可以作为专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)安装，进而，可以用记录媒体颁发用于下载到PD上的比特流数据(Bitstream Data)、生成电路构成数据的HDL(Hardware DescriptionLanguage)、VHDL(Very High Speed Integrated Circuits Hardware DescriptionLanguage)、Verilog-HDL等描述的数据，用来在PD实现上述功能。
至此描述了本发明的实施方式，但是本发明并不受到上述实施方式的限制。本发明至少在以下的方面具有特征。
(1)一种图像处理系统，可用来输出在显示部上显示的动画数据，其中包括：
第一输出部，用于输出被输入的图像数据中的一部分图像数据；
第二输出部，用于输出通过转换被输入的图像数据的坐标而得到的图像数据；以及，
第三输出部，用于将经过所述第一输出部和所述第二输出部的处理的图像数据作为在所述显示部上显示的动画数据输出。
(2)一种图像处理系统，可用来合成多幅图像以生成一幅图像，其中包括：
第一输出部，用于输出被输入的图像数据中的一部分图像数据；
第二输出部，用于输出通过转换被输入的图像数据的坐标而得到的图像数据；
第四输出部，用来将被输入的多幅图像的图像数据合成后作为一个图像数据输出，以及，
第三输出部，用于将经过所述第一输出部和所述第二输出部以及所述第四输出部的处理的图像数据作为在所述显示部上显示的动画数据输出。
(3)根据上述(1)或(2)所述的图像处理系统，其中，
所述第一输出部是切出部，用来从所述被输入的图像数据中切出一部分，
所述第二输出部是坐标转换处理部，用来根据基于传感器信息决定的注目点，对所述被输入的图像数据实行坐标转换处理。
(4)根据上述(3)所述的图像处理系统，其中，
被输入到所述第二输出部中的图像数据是球面坐标系的图像，
所述坐标转换处理包含：
第一坐标转换处理，将被输入到所述第二输出部中的图像数据的坐标转换为三维坐标；
第二坐标转换处理，对经过所述第一坐标转换处理得到的三维坐标进行三维转动转换；以及，
第三坐标转换处理，将经过所述三维转动转换得到的三维坐标转换到球面坐标系。
(5)根据上述(3)或(4)所述的图像处理系统，其中，所述切出部用来实行切出所述被输入的图像数据中的中央部分的切出处理，通过该切出处理，以所述被输入的图像数据中的所述注目点为中心的部分所对应的图像被作为所述一部分图像数据输出。
(6)根据上述(3)至(5)中任意一个方面的图像处理系统，其中，所述传感器信息包含从加速度传感器、陀螺传感器、以及地磁传感器中至少一种传感器得到的信息。
(7)根据上述(1)至(6)中任意一个方面的图像处理系统，其中，
进一步包含图像取得部，该图像取得部用来取得多个摄像部拍摄的多幅图像的图像数据，
所述多个摄像部各自包含透镜光学系统和摄像元件，用来向互不相同的方向拍摄。
(8)根据上述(7)所述的图像处理系统，其中，
所述多个摄像部各自具有规定的视角，通过组合所述多个摄像部的视角以达到4π球面度的立体角，
所述第三输出部输出的图像数据为全天球图像。
(9)一种用于图像输出装置输出在显示部上显示的动画数据的图像处理方法，其中包括以下步骤：
第一输出步骤，输出被输入的图像数据中的一部分图像数据；
第二输出步骤，输出通过转换被输入的图像数据的坐标而得到的图像数据；以及，
第三输出步骤，将经过所述第一输出步骤和所述第二输出部步骤的处理的图像数据作为在所述显示部上显示的动画数据输出。
(10)一种用于图像处理装置合成多幅图像以生成一幅图像的图像处理方法，其中包括以下步骤：
第一输出步骤，输出被输入的图像数据中的一部分图像数据；
第二输出步骤，输出通过转换被输入的图像数据的坐标而得到的图像数据；
第四输出步骤，将被输入的多幅图像的图像数据合成后作为一个图像数据输出，以及，
第三输出步骤，用于将经过所述第一输出步骤和所述第二输出步骤以及所述第四输出步骤的处理的图像数据作为在所述显示部上显示的动画数据输出。
(11)根据上述(9)或(10)所述的图像处理方法，其中，
所述第一输出步骤是切出步骤，从所述被输入的图像数据中切出一部分，
所述第二输出步骤是坐标转换处理步骤，根据基于传感器信息决定的注目点，对所述被输入的图像数据实行坐标转换处理。
(12)根据上述(11)所述的图像处理方法，其中，
被输入到所述第二输出部中的图像数据是球面坐标系的图像，
所述坐标转换处理包含：
第一坐标转换处理，将在所述第二输出步骤中被输入的图像数据的坐标转换为三维坐标；
第二坐标转换处理，对经过所述第一坐标转换处理得到的三维坐标进行三维转动转换；以及，
第三坐标转换处理，将经过所述三维转动转换得到的三维坐标转换到球面坐标系。
(13)一种用来输出在显示部上显示的动画数据的摄像系统，其中包括：
摄像部，用于拍摄图像数据，其中包含多个透镜光学系统和摄像元件；
控制部，用于改变注目点；
第一输出部，用于输出被输入的图像数据中的一部分图像数据；
第二输出部，用于输出通过转换被输入的图像数据的坐标而得到的图像数据；以及，
第三输出部，用于将经过所述第一输出部和所述第二输出部处理的图像数据作为在所述显示部上显示的动画数据输出。
(14)一种用来合成多幅图像以生成一幅图像的摄像系统，其中包括：
摄像部，用于拍摄图像数据，其中包含多个透镜光学系统和摄像元件；
控制部，用于改变注目点；
第一输出部，用于输出被输入的图像数据中的一部分图像数据；
第二输出部，用于输出通过转换被输入的图像数据的坐标而得到的图像数据；
第四输出部，用来将被输入的多幅图像的图像数据合成后作为一个图像数据输出，以及，
第三输出部，用于将经过所述第一输出部和所述第二输出部处理以及所述第四输出部的图像数据作为在所述显示部上显示的动画数据输出。
此外，对于上述实施方式，只要在本技术领域的专业人员能够想到的范围内，可以进行删减或改变，还可以采用其他实施方式，但是无论哪一种实施方式，只要具有本发明作用和效果，均属于本发明范畴。

Claims (11)

1.一种图像处理系统，可用来输出在显示部上显示的动画数据，其中包括：
第一输出部，用于输出被输入的图像数据中的一部分图像数据；
第二输出部，用于输出通过转换被输入的图像数据的坐标而得到的图像数据；以及，
第三输出部，用于将经过所述第一输出部和所述第二输出部的处理的图像数据作为在所述显示部上显示的动画数据输出。
2.一种图像处理系统，可用来合成多幅图像以生成一幅图像，其中包括：
第一输出部，用于输出被输入的图像数据中的一部分图像数据；
第二输出部，用于输出通过转换被输入的图像数据的坐标而得到的图像数据；
第四输出部，用来将被输入的多幅图像的图像数据合成后作为一个图像数据输出，以及，
第三输出部，用于将经过所述第一输出部和所述第二输出部以及所述第四输出部的处理的图像数据作为在所述显示部上显示的动画数据输出。
3.根据权利要求1或2所述的图像处理系统，其中，
所述第一输出部是切出部，用来从所述被输入的图像数据中切出一部分，
所述第二输出部是坐标转换处理部，用来根据基于传感器信息决定的注目点，对所述被输入的图像数据实行坐标转换处理。
4.根据权利要求3所述的图像处理系统，其中，
被输入到所述第二输出部中的图像数据是球面坐标系的图像，
所述坐标转换处理包含：
第一坐标转换处理，将被输入到所述第二输出部中的图像数据的坐标转换为三维坐标；
第二坐标转换处理，对经过所述第一坐标转换处理得到的三维坐标进行三维转动转换；以及，
第三坐标转换处理，将经过所述三维转动转换得到的三维坐标转换到球面坐标系。
5.根据权利要求3或4所述的图像处理系统，其中，所述切出部用来实行切出所述被输入的图像数据中的中央部分的切出处理，通过该切出处理，以所述被输入的图像数据中的所述注目点为中心的部分所对应的图像被作为所述一部分图像数据输出。
6.根据权利要求3至5中任意一项所述的图像处理系统，其中，所述传感器信息包含从加速度传感器、陀螺传感器、以及地磁传感器中至少一种传感器得到的信息。
7.根据权利要求1至6中任意一项所述的图像处理系统，其中，
进一步包含图像取得部，该图像取得部用来取得多个摄像部拍摄的多幅图像的图像数据，
所述多个摄像部各自包含透镜光学系统和摄像元件，用来向互不相同的方向拍摄。
8.根据权利要求7所述的图像处理系统，其中，
所述多个摄像部各自具有规定的视角，通过组合所述多个摄像部的视角以达到4π球面度的立体角，
所述第三输出部输出的图像数据为全天球图像。
9.一种用于图像输出装置输出在显示部上显示的动画数据的图像处理方法，其中包括以下步骤：
第一输出步骤，输出被输入的图像数据中的一部分图像数据；
第二输出步骤，输出通过转换被输入的图像数据的坐标而得到的图像数据；以及，
第三输出步骤，将经过所述第一输出步骤和所述第二输出部步骤的处理的图像数据作为在所述显示部上显示的动画数据输出。
10.根据权利要求9所述的图像处理方法，其中，
所述第一输出步骤是切出步骤，从所述被输入的图像数据中切出一部分，
所述第二输出步骤是坐标转换处理步骤，根据基于传感器信息决定的注目点，对所述被输入的图像数据实行坐标转换处理。
11.根据权利要求10所述的图像处理方法，其中，
被输入到所述第二输出部中的图像数据是球面坐标系的图像，
所述坐标转换处理包含：
第一坐标转换处理，将在所述第二输出步骤中被输入的图像数据的坐标转换为三维坐标；
第二坐标转换处理，对经过所述第一坐标转换处理得到的三维坐标进行三维转动转换；以及，
第三坐标转换处理，将经过所述三维转动转换得到的三维坐标转换到球面坐标系。
CN201610111895.5A 2015-03-10 2016-02-29 图像处理系统、图像处理方法 Active CN105979123B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010096727.XA CN111510590B (zh) 2015-03-10 2016-02-29 图像处理系统、图像处理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015046943A JP5920507B1 (ja) 2015-03-10 2015-03-10 画像処理システム、画像処理方法およびプログラム
JP2015-046943 2015-03-10

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202010096727.XA Division CN111510590B (zh) 2015-03-10 2016-02-29 图像处理系统、图像处理方法

Publications (2)

Publication Number Publication Date
CN105979123A true CN105979123A (zh) 2016-09-28
CN105979123B CN105979123B (zh) 2020-03-13

Family

ID=55699348

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010096727.XA Active CN111510590B (zh) 2015-03-10 2016-02-29 图像处理系统、图像处理方法
CN201610111895.5A Active CN105979123B (zh) 2015-03-10 2016-02-29 图像处理系统、图像处理方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202010096727.XA Active CN111510590B (zh) 2015-03-10 2016-02-29 图像处理系统、图像处理方法

Country Status (4)

Country Link
US (2) US10863083B2 (zh)
EP (2) EP3736767A1 (zh)
JP (1) JP5920507B1 (zh)
CN (2) CN111510590B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109804408A (zh) * 2016-10-03 2019-05-24 三星电子株式会社 一致的球面照片和视频朝向校正

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180051288A (ko) * 2016-11-08 2018-05-16 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US10325391B2 (en) * 2016-11-21 2019-06-18 Qualcomm Incorporated Oriented image stitching for spherical image content
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
JP2019057264A (ja) * 2016-12-28 2019-04-11 株式会社リコー 画像処理装置、撮影システム、画像処理方法、及びプログラム
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
JP6878974B2 (ja) 2017-03-16 2021-06-02 株式会社リコー 撮像装置、撮像システム
JP6976719B2 (ja) 2017-05-25 2021-12-08 キヤノン株式会社 表示制御装置、表示制御方法及びプログラム
JP6919334B2 (ja) 2017-05-26 2021-08-18 株式会社リコー 画像処理装置、画像処理方法、プログラム
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US20190005709A1 (en) * 2017-06-30 2019-01-03 Apple Inc. Techniques for Correction of Visual Artifacts in Multi-View Images
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
JP7150460B2 (ja) * 2017-06-30 2022-10-11 キヤノン株式会社 画像処理装置および画像処理方法
JP6981106B2 (ja) * 2017-08-29 2021-12-15 株式会社リコー 撮像装置、画像表示システム、操作方法、プログラム
CN107967666B (zh) 2017-11-09 2020-12-08 浙江大华技术股份有限公司 一种全景图像生成方法及装置
JP7031280B2 (ja) * 2017-12-18 2022-03-08 株式会社リコー 画像処理装置、画像処理システムおよびプログラム
EP3588932B1 (en) 2018-06-26 2023-07-05 Ricoh Company, Ltd. Imaging device
JP7258482B2 (ja) * 2018-07-05 2023-04-17 キヤノン株式会社 電子機器
JP7447403B2 (ja) * 2018-07-27 2024-03-12 大日本印刷株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP7487464B2 (ja) 2018-11-30 2024-05-21 株式会社リコー 画像処理装置、撮像装置、動画再生システム、方法およびプログラム
JP7434797B2 (ja) 2018-11-30 2024-02-21 株式会社リコー 画像処理装置、撮像装置、動画再生システム、方法およびプログラム
WO2020145212A1 (en) 2019-01-11 2020-07-16 Ricoh Company, Ltd. Image capturing apparatus, image capturing method, and recording medium
US11153481B2 (en) * 2019-03-15 2021-10-19 STX Financing, LLC Capturing and transforming wide-angle video information
JP7192592B2 (ja) * 2019-03-15 2022-12-20 株式会社リコー 撮像装置、画像通信システム、画像処理方法、プログラム
WO2020190270A1 (en) * 2019-03-15 2020-09-24 STX Financing, LLC Systems and methods for compressing and decompressing a sequence of images
JP7379884B2 (ja) 2019-06-27 2023-11-15 株式会社リコー 撮像装置、画像処理システム、方法およびプログラム
JP7388084B2 (ja) * 2019-09-20 2023-11-29 株式会社リコー 情報処理装置、方法および記録媒体

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08278846A (ja) * 1995-02-10 1996-10-22 Data Tec:Kk 三次元データ入力装置
WO2010051147A2 (en) * 2008-10-31 2010-05-06 General Instrument Corporation Method and apparatus for transforming a non-linear lens-distorted image
CN101809991A (zh) * 2007-07-29 2010-08-18 奈米光子有限公司 利用旋转对称广角透镜获得全景和直线性图像的方法和装置
US20120063656A1 (en) * 2010-09-13 2012-03-15 University Of Southern California Efficient mapping of tissue properties from unregistered data with low signal-to-noise ratio
US20120106830A1 (en) * 2010-11-02 2012-05-03 Thiagarajar College Of Engineering Texture Identification
CN102833525A (zh) * 2012-07-19 2012-12-19 中国人民解放军国防科学技术大学 一种360度全景视频的浏览操作方法
US20130222646A1 (en) * 2010-12-24 2013-08-29 Panasonic Corporation Camera device, image processing system, image processing method and image processing program
CN103703755A (zh) * 2011-07-22 2014-04-02 富士胶片株式会社 全景图像产生方法和图像捕获设备
CN103905761A (zh) * 2012-12-26 2014-07-02 株式会社理光 图像处理系统和图像处理方法
WO2015030221A1 (en) * 2013-08-28 2015-03-05 Ricoh Company, Ltd. Image processing apparatus, image processing method, and imaging system

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5843033B2 (ja) 1978-11-17 1983-09-24 株式会社リコー インク粒子の偏向制御装置
JPS5843034B2 (ja) 1978-12-26 1983-09-24 株式会社リコー インク粒子の偏向制御装置
US7382399B1 (en) * 1991-05-13 2008-06-03 Sony Coporation Omniview motionless camera orientation system
US6164808A (en) 1996-02-09 2000-12-26 Murata Mfg. Co., Ltd. Three-dimensional data input device
JP4355535B2 (ja) * 2003-08-07 2009-11-04 株式会社岩根研究所 ３６０度画像変換処理装置
WO2006022855A2 (en) * 2004-03-18 2006-03-02 Northrop Grumman Corporation Multi-camera image stitching for a distributed aperture system
JP2006310975A (ja) 2005-04-26 2006-11-09 Mitsubishi Electric Corp ビデオモザイキング装置、パノラマ映像送受信システム、パノラマ映像作成送信装置、パノラマ映像受信装置、パノラマ映像用ストリップ作成送信装置およびパノラマ映像用ストリップ受信装置
US7834910B2 (en) * 2006-03-01 2010-11-16 David M. DeLorme Method and apparatus for panoramic imaging
JP4931055B2 (ja) 2006-11-22 2012-05-16 ソニー株式会社 画像処理装置及び画像処理方法
US9110365B2 (en) * 2009-11-19 2015-08-18 Olympus Corporation Imaging apparatus
JP5589644B2 (ja) 2010-07-27 2014-09-17 日本精機株式会社 周辺画像表示装置及びその表示方法
US20120032877A1 (en) * 2010-08-09 2012-02-09 XMG Studio Motion Driven Gestures For Customization In Augmented Reality Applications
US8887204B2 (en) * 2010-10-13 2014-11-11 Nec Casio Mobile Communications Ltd. Video distribution system, and video distribution method
US9930225B2 (en) * 2011-02-10 2018-03-27 Villmer Llc Omni-directional camera and related viewing software
JP5918618B2 (ja) 2011-06-03 2016-05-18 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
JP5591281B2 (ja) 2011-06-03 2014-09-17 任天堂株式会社 情報処理システム、情報処理装置、情報処理プログラム、および動画再生制御方法
JP5909055B2 (ja) * 2011-06-13 2016-04-26 株式会社東芝 画像処理システム、装置、方法及びプログラム
JP6035789B2 (ja) 2012-03-09 2016-11-30 株式会社リコー 画像合成装置及びプログラム
JP2013214947A (ja) * 2012-03-09 2013-10-17 Ricoh Co Ltd 撮像装置、撮像システム、画像処理方法、情報処理装置、及びプログラム
JP6003135B2 (ja) 2012-03-22 2016-10-05 株式会社リコー 画像処理装置、画像処理方法及び撮像装置
US10666860B2 (en) 2012-09-11 2020-05-26 Ricoh Company, Ltd. Image processor, image processing method and program, and imaging system
JP6079297B2 (ja) 2013-02-26 2017-02-15 株式会社リコー 編集装置、編集方法、及び編集プログラム
JP5843034B1 (ja) 2014-05-15 2016-01-13 株式会社リコー 動画表示装置およびプログラム
JP5843033B1 (ja) 2014-05-15 2016-01-13 株式会社リコー 撮像システム、撮像装置、プログラムおよびシステム

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08278846A (ja) * 1995-02-10 1996-10-22 Data Tec:Kk 三次元データ入力装置
CN101809991A (zh) * 2007-07-29 2010-08-18 奈米光子有限公司 利用旋转对称广角透镜获得全景和直线性图像的方法和装置
WO2010051147A2 (en) * 2008-10-31 2010-05-06 General Instrument Corporation Method and apparatus for transforming a non-linear lens-distorted image
US20120063656A1 (en) * 2010-09-13 2012-03-15 University Of Southern California Efficient mapping of tissue properties from unregistered data with low signal-to-noise ratio
US20120106830A1 (en) * 2010-11-02 2012-05-03 Thiagarajar College Of Engineering Texture Identification
US20130222646A1 (en) * 2010-12-24 2013-08-29 Panasonic Corporation Camera device, image processing system, image processing method and image processing program
CN103703755A (zh) * 2011-07-22 2014-04-02 富士胶片株式会社 全景图像产生方法和图像捕获设备
CN102833525A (zh) * 2012-07-19 2012-12-19 中国人民解放军国防科学技术大学 一种360度全景视频的浏览操作方法
CN103905761A (zh) * 2012-12-26 2014-07-02 株式会社理光 图像处理系统和图像处理方法
WO2015030221A1 (en) * 2013-08-28 2015-03-05 Ricoh Company, Ltd. Image processing apparatus, image processing method, and imaging system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109804408A (zh) * 2016-10-03 2019-05-24 三星电子株式会社 一致的球面照片和视频朝向校正
CN109804408B (zh) * 2016-10-03 2023-08-29 三星电子株式会社 一致的球面照片和视频朝向校正

Also Published As

Publication number Publication date
US20160269632A1 (en) 2016-09-15
US20210084221A1 (en) 2021-03-18
US10863083B2 (en) 2020-12-08
JP5920507B1 (ja) 2016-05-18
CN111510590B (zh) 2022-08-19
JP2016167739A (ja) 2016-09-15
CN111510590A (zh) 2020-08-07
EP3067855B1 (en) 2020-08-12
EP3736767A1 (en) 2020-11-11
CN105979123B (zh) 2020-03-13
EP3067855A1 (en) 2016-09-14
US11659282B2 (en) 2023-05-23

Similar Documents

Publication Publication Date Title
CN105979123A (zh) 图像处理系统、图像处理方法
JP7226484B2 (ja) 撮像システム、撮像装置、動画表示装置、画像処理装置、方法およびプログラム。
US20200296282A1 (en) Imaging system, imaging apparatus, and system
CN105872354B (zh) 图像处理系统和方法、摄像系统、图像生成装置和方法
JP7000050B2 (ja) 撮像制御装置及びその制御方法
JP6256513B2 (ja) 撮像システム、撮像装置、方法およびプログラム
US20220230275A1 (en) Imaging system, image processing apparatus, imaging device, and recording medium
JP7306089B2 (ja) 画像処理システム、撮像システム、画像処理装置、撮像装置およびプログラム
JP2020096349A (ja) 画像処理装置、撮像装置、動画再生システム、方法およびプログラム
JP6673459B2 (ja) 画像処理装置、画像処理システム及びプログラム
JP7451888B2 (ja) 撮像装置、撮像システム、方法およびプログラム
JP7379884B2 (ja) 撮像装置、画像処理システム、方法およびプログラム
JP2022084529A (ja) 装置、システム、方法およびプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant