CN105190695A - 图像处理装置、图像处理方法及程序 - Google Patents

图像处理装置、图像处理方法及程序 Download PDF

Info

Publication number
CN105190695A
CN105190695A CN201480026181.3A CN201480026181A CN105190695A CN 105190695 A CN105190695 A CN 105190695A CN 201480026181 A CN201480026181 A CN 201480026181A CN 105190695 A CN105190695 A CN 105190695A
Authority
CN
China
Prior art keywords
image
images
degree
processing apparatus
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480026181.3A
Other languages
English (en)
Other versions
CN105190695B (zh
Inventor
松本一辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN105190695A publication Critical patent/CN105190695A/zh
Application granted granted Critical
Publication of CN105190695B publication Critical patent/CN105190695B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/60—Rotation of a whole image or part thereof
    • G06T3/047—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G06T7/238—Analysis of motion using block-matching using non-full search, e.g. three-step search
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【目的】为了当使用包括环绕相机360度视野的图像而无需重新映射时获得更有用的图像。【解决方法】本发明提供了一种图像处理装置，所述图像处理装置包括：图像获取单元，所述图像获取单元获取360度图像；及旋转角度计算单元，所述旋转角度计算单元以包括在360度图像中的参考点相对于360度图像的中心定位于指定取向上的方式计算360度图像的旋转角度。

Description

图像处理装置、图像处理方法及程序
技术领域
本发明涉及图像处理装置、图像处理方法及程序。
背景技术
通过使用具有特殊结构的镜头和相机，可获得包括环绕相机360度视野的图像。用于处理和利用这样的图像的技术有着各种不同的建议。例如，专利文献1说明了一种技术，所述技术通过使用从使用全视野相机拍摄的运动图像提取的特征点的数据来计算对象的三维坐标。此外，专利文献2说明了一种技术，所述技术将使用鱼眼镜头拍摄的图像转换为已经重新映射至柱面上的重映射图像，并基于重映射图像来检测信息，诸如至对象的距离。
引文列表
专利文献
专利文献1：日本专利号4545093
专利文献2：JP2012-226645A
发明内容
技术问题
在使用如上全视野相机或例如鱼眼镜头拍摄的图像中发生失真。因此，用于利用这样的图像的技术主要重新映射图像以消除失真影响，或在假定失真的情况下计算对象坐标或距离。换言之，用于使用包括环绕相机360度视野的图像的技术照现在的样子此前没有得到充分建议。
因此，本发明提出了一种新型且改良的图像处理装置、图像处理方法及程序，使当使用包括环绕相机360度视野的图像而无需重新映射时获得更有用的图像成为可能。
解决问题的方法
根据本发明，提供了一种图像处理装置，所述图像处理装置包括：图像获取单元，所述图像获取单元获取360度图像；及旋转角度计算单元，所述旋转角度计算单元以包括在360度图像中的参考点相对于360度图像的中心定位于指定取向上的方式计算360度图像的旋转角度。
根据本发明，提供了一种图像处理方法，所述图像处理方法包括：获取360度图像；以及通过处理器，以包括在360度图像中的参考点相对于360度图像的中心定位于指定取向上的方式计算360度图像的旋转角度。
根据本发明，提供了一种程序，使计算机实现以下功能：获取360度图像；以及通过处理器，以包括在360度图像中的参考点相对于360度图像的中心定位于指定取向上的方式计算360度图像的旋转角度。
在包括环绕相机360度视野的360度图像中，难以唯一地界定方向，诸如像在平常拍摄的图像中的上和下。因此，通过旋转360度图像，使得根据某种参考配置的参考点定位于指定取向上，可获得有用图像，其中取决于图像内容的适当方向很容易察觉。
本发明的有益效果如下：
根据本发明如上所述，当使用包括环绕相机360度视野的图像而无需重新映射时，可获得更有用的图像。
附图说明
图1为方块图，示出了根据本发明第一实施例的图像处理装置的示意性功能构成；
图2为示意图，用于说明根据本发明第一实施例通过使相机指向垂直方向拍摄的拍摄图像的实例；
图3为示意图，用于说明根据本发明第一实施例通过使相机指向水平方向拍摄的拍摄图像的第一实例；
图4为示意图，用于说明根据本发明第一实施例通过使相机指向水平方向拍摄的拍摄图像的第二实例；
图5为流程图，在概念上示出根据本发明第一实施例的运动方向的推定；
图6为示意图，用于说明根据本发明第一实施例的拍摄图像旋转的第一实例；
图7为示意图，用于说明根据本发明第一实施例的拍摄图像旋转的第二实例；
图8为方块图，示出了根据本发明第二实施例的第一图像处理装置的示意性功能构成；
图9为方块图，示出了根据本发明第二实施例的第二图像处理装置的示意性功能构成；
图10为方块图，示出了根据本发明第三实施例的成像装置的示意性功能构成；
图11为方块图，示出了根据本发明第四实施例的成像装置的示意性功能构成；
图12为方块图，示出了根据本发明第四实施例的图像处理装置的示意性功能构成；
图13为方块图，示出了根据本发明第五实施例的图像处理装置的示意性功能构成；
图14为示意图，用于说明根据本发明第五实施例的拍摄图像旋转角度计算的第一实例；
图15为示意图，用于说明根据本发明第五实施例的拍摄图像旋转角度计算的第二实例；
图16为方块图，示出了根据本发明第六实施例的第一图像处理装置的示意性功能构成；
图17为方块图，示出了根据本发明第六实施例的第二图像处理装置的示意性功能构成；
图18为方块图，示出了根据本发明第七实施例的成像装置的示意性功能构成；
图19为示意图，用于说明根据本发明第七实施例的拍摄图像旋转角度计算的第一实例；
图20为示意图，用于说明根据本发明第七实施例的拍摄图像旋转角度计算的第二实例；
图21为方块图，示出了根据本发明第八实施例的成像装置的示意性功能构成；
图22为方块图，示出了根据本发明第八实施例的图像处理装置的示意性功能构成；
图23为方块图，用于说明信息处理装置的硬件构成。
具体实施方式
下文中，将参考附图详细说明本发明的优选实施例。请注意，在本说明书及附图中，具有基本相同的功能和结构的元件以相同附图标记进行表示，且省略重复说明。
下文中，将按以下顺序进行说明。
1.第一实施例
1-1.功能构成
1-2.原点和检测点的具体实例
1-3.运动方向推定
1-4.拍摄图像旋转实例
2.第二实施例
3.第三实施例
4.第四实施例
5.第五实施例
5-1.功能构成
5-2.旋转角度计算实例
6.第六实施例
7.第七实施例
7-1.功能构成
7-2.旋转角度计算实例
8.第八实施例
9.硬件构成
10.补充备注
(1.第一实施例)
(1.1功能构成)
图1为方块图，示出了根据本发明第一实施例的图像处理装置的示意性功能构成。参考图1，图像处理装置100包括通信单元102、存储单元104、图像获取单元106、向量计算单元108、点检测单元110、旋转角度计算单元112及图像编辑单元114。此外，图像处理装置100还可包括显示控制单元116和显示单元118。
在本实施例中，图像处理装置100为经由网络从另一个装置获取拍摄图像并编辑所获取图像的装置。图像处理装置100还可经由网络将编辑图像发送至另一个装置，将编辑图像存储于存储单元中，或通过自身显示编辑图像。
图像处理装置100可为例如终端装置，诸如各种个人计算机(PC)、平板计算机、移动电话(包括智能手机)、游戏机或媒体播放器，且还可为服务器，所述服务器经由网络给终端装置提供服务。图像处理装置100通过例如下文讨论的信息处理装置的硬件构成来实现。当图像处理装置100为服务器时，图像处理装置100的功能还可通过经由网络连接的多个信息处理装置的协同作用来实现。下文中，将进一步说明每个结构元件。
通信单元102通过例如通信装置来实现，且经由各种有线或无线网络与其他装置进行通信。例如，通信单元102从另一个装置接收拍摄图像的数据，并将所接收数据存储于存储单元104中。又如，通信单元102将在图像处理装置100上编辑且存储于存储单元104中的图像的数据发送至另一个装置。此外，虽然未示出，但是当图像处理装置100为服务器时，通信单元102接收命令，诸如从接收服务的终端装置发送的处理请求，并将命令提供给图像处理装置100的组件。
存储单元104通过例如存储装置和各种存储器的组合来实现，且临时性或永久性存储由图像处理装置100使用的各种数据。例如，存储单元104至少临时性存储从另一个装置接收的拍摄图像的数据，并且必要时，将所存储数据提供给图像获取单元106。又如，存储单元104至少临时性存储由图像编辑单元114编辑的图像的数据，并且必要时，将所存储数据提供给通信单元102以发送至另一个装置。可选择地，存储单元104还可将编辑图像的数据提供给显示控制单元116进行显示。
图像获取单元106通过例如根据存储于存储器中的程序操作的中央处理单元(CPU)来实现，且获取存储于存储单元104中的拍摄图像的数据。本文中，拍摄图像为经由鱼眼镜头按时间顺序连续拍摄的图像，所述拍摄图像的数据通过图像获取单元106来获取。本文中，因为经由鱼眼镜头拍摄的拍摄图像包括环绕相机的360度视野，所述相机包括鱼眼镜头，所以这样的图像还可指定为360度图像。这些图像可构成运动图像的一系列帧，或为例如独立拍摄的两个或两个以上静止图像。
向量计算单元108通过例如根据存储于存储器中的程序操作的CPU来实现，且从由图像获取单元106获取的拍摄图像计算运动向量。例如，向量计算单元108通过将拍摄图像分成指定大小的区块并在之前和之后执行与按时间顺序定位的拍摄图像的区块匹配来计算运动向量。请注意，除以上技术外的多种其他公认技术也可用来计算运动向量。
在这一点上，根据下文讨论的点检测单元110的处理结果，向量计算单元108还可分两个阶段计算运动向量。在这种情况下，例如，向量计算单元108首先以整个拍摄图像的第一区块大小计算运动向量。所计算的运动向量然后暂时提供给点检测单元110，且在点检测单元110中，基于运动向量来配置搜索区。接着，向量计算单元108以比第一区块大小更小的第二区块大小对拍摄图像中的搜索区(还可包括附近部分)计算运动向量，并将所计算的运动向量提供给点检测单元110。在搜索区中，点检测单元110使用以较小第二区块大小计算的运动向量来搜索原点或收敛点。以此方式，通过减少在向量计算单元108中执行的区块匹配的次数，可整体减少对图像处理装置100的处理负荷。
请注意，在另一个实施例中，向量计算单元108也可不包括在图像处理装置100中。换言之，图像处理装置100自身不一定需要计算运动向量。例如，运动向量可由通信单元102接收，作为由另一个装置计算的数据，并存储于存储单元104中。在这种情况下，向量计算单元108可由向量采集单元取代，所述向量采集单元从存储单元104读出与拍摄图像对应的运动向量的数据。
点检测单元110通过例如根据存储于存储器中的程序操作的CPU来实现，且检测由向量计算单元108计算的运动向量的原点或收敛点。如下文所讨论，就经由鱼眼镜头按时间顺序连续拍摄的拍摄图像而言，运动向量的原点或收敛点取决于相机运动方向而出现。更具体地，点检测单元110可在拍摄图像的周边部分中检测到原点和收敛点两者，或在拍摄图像的中心部分中检测到原点或收敛点中一者。
本文中，与上文讨论通过向量计算单元108的运动向量的两阶段计算一致，点检测单元110还可分两个阶段检测原点或收敛点。在这种情况下，例如，点检测单元110首先基于以整个拍摄图像的第一区块大小计算的运动向量在拍摄图像中配置搜索区。对于搜索区，例如，可配置运动向量大小为相对小的区或相当多运动向量的方向相交的区。这反映了经由鱼眼镜头按时间顺序连续拍摄的拍摄图像的属性，根据所述属性，运动向量大小在原点或收敛点附近变得更小，且许多运动向量的方向集中于原点或收敛点处。点检测单元110将关于搜索区的信息提供给向量计算单元108，且向量计算单元108以较小第二区块大小对搜索区(还可包括附近部分)计算运动向量。此外，点检测单元110基于以第二区块大小计算的运动向量在搜索区内搜索原点或收敛点。
可选择地，即使向量计算单元108未分两个阶段计算运动向量，点检测单元110也可与以上实例类似地配置搜索区，并在搜索区内搜索原点或收敛点。在这种情况下，点检测单元110可通过以第一粒度提取由向量计算单元108计算的运动向量并通过以比第一粒度更细的第二粒度提取运动向量在搜索区内搜索原点或收敛点来配置搜索区。同样，在这种情况下，对于搜索区，例如，可配置运动向量大小为相对小的区或相当多运动向量的方向相交的区。
请注意，下文将讨论由点检测单元110检测到的运动向量的原点和收敛点的更具体实例。
旋转角度计算单元112通过例如根据存储于存储器中的程序操作的CPU来实现。当点检测单元110在拍摄图像的周边部分中检测到原点时，旋转角度计算单元112计算拍摄图像的旋转角度，其中原点相对于拍摄图像的中心定位于指定取向上。更具体地，旋转角度计算单元112可计算旋转角度，使得原点定位于拍摄图像的中心之下。如下文所讨论，当拍摄图像为通过使鱼眼镜头指向例如垂直方向拍摄的图像时，这样的旋转角度可为旋转拍摄图像的角度，使得在与相机运动相结合之后的拍摄图像观察起来更自然。本文中，旋转角度计算单元112还可被认为使用原点作为参考点，且计算旋转角度使得参考点相对于拍摄图像的中心定位于指定取向上。如下文所讨论，在本实施例中，由于拍摄图像的分析而获得的原点被推定为拍摄图像中的注视点，且旋转角度计算单元112使用所推定的注视点作为参考点来计算旋转角度。
图像编辑单元114通过例如根据存储于存储器中的程序操作的CPU来实现，且根据由旋转角度计算单元112计算的旋转角度来旋转拍摄图像。如上文所讨论，当在拍摄图像的周边部分中检测到原点时，旋转角度计算单元112可计算旋转角度，使得原点相对于拍摄图像的中心定位于指定取向上。因此，当在拍摄图像的周边部分中检测到原点时，图像编辑单元114还可被认为旋转拍摄图像，使得原点相对于拍摄图像的中心定位于指定取向上。更具体地，图像编辑单元114可旋转拍摄图像，使得原点定位于拍摄图像的中心之下。如通过下文讨论的原点和收敛点的更具体实例证实，这样的旋转处理还可被认为基于以下推定的处理：拍摄图像为当自收敛点向原点运动时拍摄的图像。
显示控制单元116通过例如根据存储于存储器中的程序操作的CPU来实现，且控制显示单元118，所述显示单元118通过输出装置(诸如例如各种显示器)来实现，以基于从存储单元104读出的数据来显示图像。本文中，存储单元104可存储由图像编辑单元114编辑的图像，或更具体地，根据由旋转角度计算单元112计算的旋转角度由图像编辑单元114旋转的拍摄图像。因此，显示控制单元116还可被认为使显示单元118显示由于自图像获取单元106至图像编辑单元114的处理而生成的图像。
(1-2.原点和检测点的具体实例)
上文讨论由图像处理装置100的点检测单元110检测到的运动向量的原点和收敛点的更具体实例将参考图2至图4进行进一步说明。
图2为示意图，用于说明根据本发明第一实施例通过使相机指向垂直方向拍摄的拍摄图像实例。图2示出了通过使相机10指向垂直方向拍摄的拍摄图像15的实例。相机10包括鱼眼镜头11，且鱼眼镜头11的光轴方向为近乎垂直方向。此外，相机10在近乎水平方向上运动，或换言之，垂直于鱼眼镜头11的光轴方向的方向。
在这种情况下，在拍摄图像15中，运动向量V的原点R和收敛点C都出现在周边部分中。当鱼眼镜头11的光轴方向为近乎垂直方向时，拍摄图像15的中心部分对应于相机10之上的区域，而拍摄图像15的周边部分对应于环绕相机10的区域。本文中，拍摄图像15为包括环绕相机10360度视野的360度图像。如果当在这种状态下时，相机10在近乎水平方向上运动，那么在按时间顺序连续拍摄的拍摄图像15中，在周边部分中的中心点，或换言之，源自与相机10朝向的方向对应的点的图像，将主要划分至任一侧上，沿周边部分流动，并集中于相对于拍摄图像15的中心在相对侧上在周边部分中的点处，或换言之，与相机10背离的方向对应的点。以此方式，运动向量V的原点R和收敛点C出现。在这种情况下，在拍摄图像15上的观察者的注视点可被推定为相机10朝向的目的地，或换言之，原点R。
如上文所讨论，图像处理装置100的点检测单元110可检测这样的原点R和收敛点C。本文中，点检测单元110还可利用原点R与收敛点C之间位置关系的规律性来提高检测处理的效率。例如，如果在拍摄图像15的周边部分的第一部分中发现原点R，那么收敛点C可能存在于相对于拍摄图像15的中心定位于第一部分的相对侧上的第二部分中。因此，点检测单元110可对收敛点C进行搜索，所述收敛点C优先考虑第二部分，或所述收敛点C只限于第二部分。相反，如果在拍摄图像15的周边部分的第一部分中发现收敛点C，那么原点R可能存在于相对于拍摄图像15的中心定位于第一部分的相对侧上的第二部分中。因此，点检测单元110可对原点R进行搜索，所述原点R优先考虑第二部分，或所述原点R只限于第二部分。
更具体地，例如，点检测单元110可通过分析运动向量从拍摄图像15的边缘按顺序搜索原点R或收敛点C，且当在拍摄图像15的周边部分中发现原点R或收敛点C时，点检测单元110可把所述部分看作第一部分，并使搜索区域跳至与第一部分对应的第二部分(相对于拍摄图像15的中心在相对侧上的部分)。以此方式，通过减少由点检测单元110执行运动向量分析的次数，可整体减少对图像处理装置100的处理负荷。
请注意，当鱼眼镜头11的光轴方向相对于垂直方向倾斜某个度数或更大度数时，原点R或收敛点C中仅一者可出现在拍摄图像15的周边部分中，而另一个点可能位于拍摄图像15的范围之外。在这种情况下，即使如上在第一部分中发现原点R或收敛点C，收敛点C或原点R的配对点也不会在第二部分中发现。然而，在这种情况下，因为收敛点C或原点R也可被认为不存在于除第二部分外的部分中，所以如果收敛点C或原点R未在第二部分中发现，那么点检测单元110可结束搜索。
图3为示意图，用于说明根据本发明第一实施例通过使相机指向水平方向拍摄的拍摄图像的第一实例。图3示出了通过使相机10指向水平方向拍摄的拍摄图像15的实例。相机10包括鱼眼镜头11，且鱼眼镜头11的光轴方向为近乎水平方向。此外，相机10随着鱼眼镜头11引领在前面在近乎水平方向上运动。
在这种情况下，在拍摄图像15中，仅运动向量V的原点R出现在中心部分中。当相机10在运动且鱼眼镜头11引领在前面时，拍摄图像15的中心部分对应于相机10前面的区域，而拍摄图像15的周边部分对应于相机10的上下以及左右区域。如果当在这种状态下时，相机10向前运动，那么在按时间顺序连续拍摄的拍摄图像15中，在中心部分中的某个点，或换言之，源自与相机10朝向的方向对应的点的图像，向周边部分流动，并继续展开在拍摄图像15的边缘处。以此方式，仅运动向量V的原点R出现。在这种情况下，在拍摄图像15上的观察者的注视点可被推定为相机10朝向的目的地，或换言之，原点R。
图4为示意图，用于说明根据本发明第一实施例通过使相机指向水平方向拍摄的拍摄图像的第二实例。图4还示出了通过使相机10指向水平方向拍摄的拍摄图像15的实例。相机10包括鱼眼镜头11，且鱼眼镜头11的光轴方向为近乎水平方向。此外，相机10在近乎水平方向上运动，鱼眼镜头11尾随在后面。
在这种情况下，在拍摄图像15中，仅运动向量V的收敛点C出现在中心部分中。当相机10在运动且鱼眼镜头11尾随在后面时，拍摄图像15的中心部分对应于相机10后面的区域，而拍摄图像15的周边部分对应于相机10上下以及左右的区域。如果当在这种状态下时，相机10向前运动，那么在按时间顺序连续拍摄的拍摄图像15中，从拍摄图像15的边缘出现的图像自周边部分流向中心部分，且集中于中心部分中的点，或换言之，与相机10背离的方向对应的点。以此方式，仅运动向量V的收敛点C出现。在这种情况下，在拍摄图像15上的观察者的注视点可被推定为相机10背离的原点，或换言之，收敛点C。
(1-3.运动方向推定)
图5为流程图，在概念上示出根据本发明第一实施例的运动方向推定。在本实施例中，当在拍摄图像的周边部分中检测到运动向量的原点时，图像处理装置100的图像编辑单元114可旋转拍摄图像，使得原点相对于拍摄图像的中心定位于指定取向上。这样的处理还可被认为基于以下推定的处理：拍摄图像为当自收敛点向原点运动时拍摄的图像，如上所述。在这种情况下，在本发明的几个实施例中，可执行基于拍摄图像的运动方向推定的处理。图5在概念上示出这样的推定的实例。
请注意，下文所述的拍摄图像的运动方向推定并不一定限于明确地在图像处理装置100上执行。换言之，拍摄图像的运动方向推定并不一定包括在通过图像处理装置100实现的功能中或在由图像处理装置100执行的步骤中。然而，基于通过点检测单元110的原点或收敛点的检测结果执行的处理，像例如以上图像编辑单元114的处理，可为鉴于从检测结果推定的拍摄图像的运动方向配置的处理。
参考图5，首先，图像获取单元106获取拍摄图像(步骤S101)。如上，此时获取的拍摄图像已经经由鱼眼镜头按时间顺序连续拍摄。接着，向量计算单元108从拍摄图像计算运动向量(步骤S103)。请注意，虽然图中示出了向量计算单元108和点检测单元110的简单处理，但是也可以实现如在以上说明中呈现的方案。
在这一点上，如果由于点检测单元110检测到运动向量的原点或收敛点，所以运动向量的原点和收敛点都存在(步骤S105，是)，那么拍摄图像被推定为当自收敛点向原点运动时拍摄的图像，像图2所示的实例(步骤S107)。请注意，如前面所讨论，考虑到因为鱼眼镜头的光轴方向相对于垂直方向等倾斜，所以原点或收敛点中仅一者出现在拍摄图像的周边部分中，且另一个点位于拍摄图像的范围之外的情况，在步骤S105中的条件也可表述为“收敛点或原点存在于拍摄图像的周边部分中？”。在这种情况下，在步骤S107中涉及的收敛点和原点可包括位于拍摄图像的范围之外的点。
另一方面，在步骤S105中否的情况下，如果原点存在于拍摄图像中(步骤S109，是)，那么拍摄图像被推定为当向原点运动时拍摄的图像，或换言之，接近原点，像图3所示的实例(步骤S111)。此外，在步骤S109中否的情况下，如果收敛点存在于拍摄图像中(步骤S113，是)，那么拍摄图像被推定为当远离收敛点时拍摄的图像，或换言之，像图4所示的实例(步骤S115)。请注意，虽然图中未示出，但是在步骤S115中否的情况下，或换言之，如果点检测单元110未检测到原点或收敛点，那么拍摄图像可被推定为在未运动的情况下拍摄的图像。
将如上所述的运动方向推定应用于前面所述的第一实施例得出如下。
首先，像图2所示的实例，如果拍摄图像被推定为当自收敛点向原点运动时拍摄的图像(步骤S107)，那么图像编辑单元114可旋转拍摄图像，使得原点相对于拍摄图像的中心定位于指定取向上。如下文所讨论，这是因为当向前运动的方向相对于拍摄图像的中心定位于指定取向上时，当鱼眼镜头指向垂直方向运动时拍摄的拍摄图像更容易观察。
另一方面，像图3和图4所示的实例，如果拍摄图像被推定为当向原点运动或远离收敛点时拍摄的图像(步骤S111或步骤S115)，那么图像编辑单元114未旋转拍摄图像。这是因为在像这些实例的图像中，上下左右已经固定，且无需旋转。
(1-4.拍摄图像旋转实例)
上文讨论通过图像处理装置100的图像编辑单元114的拍摄图像旋转的更具体实例将参考图6和图7进行进一步说明。请注意，在以下实例中给出的拍摄图像都被看作当自收敛点向原点运动时拍摄的图像，像图2所示的实例。
图6为示意图，用于说明根据本发明第一实施例的拍摄图像旋转的第一实例。图6示出了存在运动向量V的原点R和收敛点C的拍摄图像15。如果照现在的样子观察拍摄图像15，那么图像主要在拍摄图像15的任一侧上划分，且自左上原点R至右下收敛点C流动。在这样的状态下的图像观察根据经验众所周知为在许多情况下使观察者感到不舒服。
因此，在所示实例中，旋转角度计算单元112计算旋转角度，使得原点R定位于拍摄图像15的中心之下，且图像编辑单元114根据所计算的旋转角度来旋转拍摄图像15。旋转的拍摄图像15被示出为拍摄图像15r。在拍摄图像15r中，图像自下方原点R至上方收敛点C流动，因此观察者不太可能感到不舒服。
为了解决归因于经由鱼眼镜头拍摄的拍摄图像的取向的观察者的不舒服，还可以设想，当将相机安装至交通工具(诸如车辆)时锁定取向，或利用与相机分开的传感器或类似物来检测相机取向。然而，通过如上在拍摄图像之后旋转拍摄图像，不论当拍摄图像时的相机取向，可提供可观察起来更自然的拍摄图像。
图7为示意图，用于说明根据本发明第一实施例的拍摄图像旋转的第二实例。与图6相似，图7同样示出了存在运动向量V的原点R和收敛点C的拍摄图像15。在所示实例中，旋转角度计算单元112计算旋转角度，使得连接原点R和收敛点C的方向匹配左右方向，且图像编辑单元114根据所计算的旋转角度来旋转拍摄图像15。在旋转的拍摄图像15r中，图像自右方原点R至左方收敛点C流动。当观察者的注意力在于流动图像自身而不是相机朝向的目的地(即，原点R)时，拍摄图像15r的这种取向可能合适。
(2.第二实施例)
接着，将参考图8和图9说明本发明的第二实施例。在本实施例中，与根据以上第一实施例的图像处理装置100相似的功能通过分布在第一图像处理装置与第二图像处理装置之间来实现。
图8为方块图，示出了根据本发明第二实施例的第一图像处理装置的示意性功能构成，图9为方块图，示出了根据本发明第二实施例的第二图像处理装置的示意性功能构成。
参考图8，第一图像处理装置200包括通信单元102、存储单元104、图像获取单元106、向量计算单元108、点检测单元110及记录控制单元202。此外，第一图像处理装置200还可包括旋转角度计算单元112。
在本实施例中，第一图像处理装置200为经由网络从另一个装置获取拍摄图像并将所获取图像与元数据一起记录的装置。第一图像处理装置200经由网络从第二图像处理装置250接收具有关联元数据的图像。
参考图9，第二图像处理装置250包括通信单元252、存储单元254、图像获取单元256、旋转角度计算单元258及图像编辑单元114。此外，第二图像处理装置250还可包括显示控制单元116和显示单元118。
在本实施例中，第二图像处理装置250为经由网络从第一图像处理装置200获取具有关联元数据的图像并根据元数据来编辑所获取图像的装置。第二图像处理装置250还可经由网络将编辑图像发送至另一个装置，将编辑图像存储于存储单元中，或通过自身显示编辑图像。
第一图像处理装置200和第二图像处理装置250可为例如终端装置，诸如各种PC、平板计算机、移动电话(包括智能手机)、游戏机或媒体播放器，且还可为服务器，所述服务器经由网络给终端装置提供服务。第一图像处理装置200和第二图像处理装置250通过例如下文讨论的信息处理装置的硬件构成来实现。当第一图像处理装置200或第二图像处理装置250为服务器时，所述装置的功能还可通过经由网络连接的多个信息处理装置的协同作用来实现。下文中，将进一步说明每个结构元件。请注意，与在以上第一实施例中所述的这些元件相似的功能构成将以共同标记进行表示，从而其重复说明会减少或省略。
记录控制单元202通过例如根据存储于存储器中的程序操作的CPU来实现，且基于通过点检测单元110的原点或收敛点的检测结果将元数据与拍摄图像联合记录。例如，记录控制单元202可记录所检测到的原点或收敛点在拍摄图像内的位置。此外，当第一图像处理装置200包括旋转角度计算单元112时，记录控制单元202还可记录由旋转角度计算单元112计算的拍摄图像的旋转角度。
通信单元252通过例如通信装置来实现，且经由各种有线或无线网络与其他装置(包括第一图像处理装置200)进行通信。例如，通信单元252从第一图像处理装置200接收拍摄图像的数据并将所述数据与元数据一起存储于存储单元254中。又如，通信单元252将在第二图像处理装置250上编辑且存储于存储单元254中的图像的数据发送至另一个装置。此外，虽然未示出，但是当第二图像处理装置250为服务器时，通信单元252接收命令，诸如从接收服务的终端装置发送的处理请求，并将命令提供给第二图像处理装置250的组件。
存储单元254通过例如存储装置和各种存储器的组合来实现，且临时性或永久性存储由第二图像处理装置250使用的各种数据。例如，存储单元254至少临时性存储从第一图像处理装置接收的拍摄图像的数据和元数据，并且必要时，将所存储的数据和元数据提供给图像获取单元256或旋转角度计算单元258。又如，存储单元254至少临时性存储由图像编辑单元114编辑的图像的数据，并且必要时，将存储数据提供给通信单元252以发送至另一个装置。可选择地，存储单元254还可将编辑图像的数据提供给显示控制单元116进行显示。
图像获取单元256通过例如根据存储于存储器中的程序操作的CPU来实现，且获取存储于存储单元254中的拍摄图像的数据。本文中，拍摄图像为经由鱼眼镜头按时间顺序连续拍摄的图像，所述拍摄图像的数据通过图像获取单元256来获取。这些图像可构成运动图像的一系列帧，或为例如独立拍摄的两个或两个以上静止图像。
当第一图像处理装置200不包括旋转角度计算单元112时，可设置旋转角度计算单元258。旋转角度计算单元258通过例如根据存储于存储器中的程序操作的CPU来实现。当在拍摄图像的周边部分中检测到原点时，旋转角度计算单元258计算拍摄图像的旋转角度，使得原点相对于拍摄图像的中心定位于指定取向上。在本实施例中，因为点检测单元110包括在第一图像处理装置200中，所以旋转角度计算单元258通过第一图像处理装置200从存储单元254读出与拍摄图像一起提供的元数据，并基于元数据，指定原点在拍摄图像内的位置。
(3.第三实施例)
接着，将参考图10说明本发明的第三实施例。在本实施例中，与以上图像处理装置100相似的功能在执行成像的成像装置中实现。换言之，在本实施例中，成像装置还充当图像处理装置。
图10为方块图，示出了根据本发明第三实施例的成像装置的示意性功能构成。参考图10，成像装置300包括成像单元302、图像获取单元304、存储单元104、向量计算单元108、点检测单元110、旋转角度计算单元112及图像编辑单元114。成像装置300还可包括通信单元102。此外，成像装置300还可包括显示控制单元116和显示单元118。
在本实施例中，成像装置300为自身执行成像以获取拍摄图像并编辑所获取图像的装置。成像装置300还可经由网络将编辑图像发送至另一个装置，将编辑图像存储于存储单元中，或通过自身显示编辑图像。
成像装置300可为主要功能为成像功能的终端装置，像例如数字相机，但也可为包括成像功能作为附加功能的终端装置，像平板计算机、移动电话(包括智能手机)或游戏机。成像装置300通过例如下文讨论的信息处理装置的硬件构成来实现。下文中，将进一步说明每个结构元件。请注意，与在以上第一实施例中所述的这些元件相似的功能构成将以共同标记进行表示，从而其重复说明会减少或省略。
成像单元302通过成像装置来实现，所述成像装置包括：图像传感器，诸如例如互补金属氧化物半导体(CMOS)传感器；及图像处理电路，所述图像处理电路对由图像传感器生成的原始数据执行诸如灰度和色调调整、降噪处理和尺寸变换的处理，然后生成各种格式的图像数据，诸如例如联合图像专家组(JPEG)。成像单元302包括鱼眼镜头作为镜头，用于控制在图像传感器上的对象图像形成，且将经由鱼眼镜头按时间顺序连续拍摄的拍摄图像提供给图像获取单元304。鱼眼镜头也可可拆卸地连接至成像单元302，诸如例如在数字相机的情况下的可互换镜头或在另一个终端装置的情况下的镜头附属装置或类似物。
图像获取单元304通过例如根据存储于存储器中的程序操作的CPU来实现，且获取由成像单元302拍摄的拍摄图像的数据。本文中，拍摄图像为经由成像单元302的鱼眼镜头按时间顺序连续拍摄的图像，所述拍摄图像的数据通过图像获取单元304来获取。这些图像可构成运动图像的一系列帧，或为例如独立拍摄的两个或两个以上静止图像。
(4.第四实施例)
接着，将参考图11和图12说明本发明的第四实施例。在本实施例中，与根据以上第三实施例的成像装置300相似的功能通过分布在成像装置与图像处理装置之间来实现。
图11为方块图，示出了根据本发明第四实施例的成像装置的示意性功能构成，图12为方块图，示出了根据本发明第四实施例的图像处理装置的示意性功能构成。
参考图11，成像装置400包括成像单元402、图像获取单元304、存储单元104、向量计算单元108、点检测单元110及记录控制单元202。成像装置400还可包括通信单元102或旋转角度计算单元112。此外，成像装置400还可包括显示控制单元116和显示单元118。
在本实施例中，成像装置400为自身执行成像以获取拍摄图像并将所获取图像与元数据一起记录的装置。成像装置400经由包括在存储单元104中的可移除记录介质将具有关联元数据的图像传送至图像处理装置450，或经由网络将具有关联元数据的图像自通信单元102发送至图像处理装置450。
参考图12，图像处理装置450包括通信单元252、存储单元254、图像获取单元256、旋转角度计算单元258及图像编辑单元114。此外，图像处理装置450还可包括显示控制单元116和显示单元118。请注意，图像处理装置450的功能构成与根据以上第二实施例的第二图像处理装置250的功能构成相似。
在本实施例中，图像处理装置450为经由网络从成像装置400获取具有关联元数据的图像并根据元数据来编辑所获取图像的装置。图像处理装置450还可经由网络将编辑图像发送至另一个装置，将编辑图像存储于存储单元中，或通过自身显示编辑图像。
成像装置400可为主要功能为成像功能的终端装置，像例如数字相机，但也可为包括成像功能作为附加功能的终端装置，像平板计算机、移动电话(包括智能手机)或游戏机。此外，图像处理装置450可为终端装置，诸如各种PC、平板计算机、移动电话(包括智能手机)、游戏机或媒体播放器，且还可为服务器，所述服务器经由网络给终端装置提供服务。成像装置400和图像处理装置450通过例如下文讨论的信息处理装置的硬件构成来实现。当图像处理装置450为服务器时，图像处理装置450的功能还可通过经由网络连接的多个信息处理装置的协同作用来实现。下文中，将进一步说明每个结构元件。请注意，与在以上第一实施例至第三实施例中所述的这些元件相似的功能构成将以共同标记进行表示，从而其重复说明会减少或省略。
虽然成像单元402具有与在以上第三实施例中所述的成像单元302相似的功能构成，但是成像单元402不仅将拍摄图像提供给图像获取单元304，而且将拍摄图像存储于存储单元104中。元数据通过成像装置400和记录控制单元202与拍摄图像联合记录，但因为拍摄图像的编辑由图像处理装置450而不是成像装置400执行，所以存储于存储单元104中的拍摄图像可从成像单元402提供。
(5.第五实施例)
接着，将参考图13至图15说明本发明的第五实施例。在本实施例中，在拍摄图像中的注视点基于与在以上实施例中所述的原点或收敛点的检测不同的拍摄图像分析结果来推定，且拍摄图像被旋转为使得注视点相对于拍摄图像的中心定位于指定取向上。
(5-1.功能构成)
图13为方块图，示出了根据本发明第五实施例的图像处理装置的示意性功能构成。参考图13，图像处理装置500包括通信单元102、存储单元104、图像获取单元106、图像分析单元502、旋转角度计算单元504及图像编辑单元114。图像处理装置500还可包括显示控制单元116和显示单元118。
图像处理装置500可为终端装置，诸如各种PC、平板计算机、移动电话(包括智能手机)、游戏机或媒体播放器，且还可为服务器，所述服务器经由网络给终端装置提供服务。图像处理装置500通过例如下文讨论的信息处理装置的硬件构成来实现。当图像处理装置500为服务器时，图像处理装置500的功能还可通过经由网络连接的多个信息处理装置的协同作用来实现。下文中，将进一步说明每个结构元件。请注意，与在以上第一实施例中所述的这些元件相似的功能构成将以共同标记进行表示，从而其重复说明会减少或省略。
图像分析单元502通过例如根据存储于存储器中的程序操作的CPU来实现，且分析由图像获取单元106获取的拍摄图像。图像分析单元502可使用各种公认技术来分析拍摄图像。因此，在本实施例中，拍摄图像并不一定为经由鱼眼镜头拍摄的360度图像。拍摄图像还可为使用例如全视野相机拍摄的360度图像。图像分析单元502对这样的拍摄图像执行诸如例如图样分析的处理，并检测在拍摄图像中发生指定动作的点。可选择地，图像分析单元502还可识别包括在拍摄图像中的对象。这样的图像分析的结果被用来在下文讨论的旋转角度计算单元504中计算拍摄图像的旋转角度。
旋转角度计算单元504通过例如根据存储于存储器中的程序操作的CPU来实现，且基于在图像分析单元502中的拍摄图像分析结果来计算拍摄图像的旋转角度。更具体地，旋转角度计算单元504计算拍摄图像的旋转角度，使得在拍摄图像中由拍摄图像的分析指定的参考点相对于拍摄图像的中心定位于指定取向上。例如，如果在拍摄图像中发生指定动作的点被图像分析单元502检测到，那么旋转角度计算单元504可使用该点作为参考点来计算旋转角度。在这种情况下，旋转角度计算单元504还可被认为推定发生指定动作的点为拍摄图像中的注视点，且计算旋转角度，使得注视点到达易于看见的位置。
可选择地，如果包括在拍摄图像中的对象被图像分析单元502识别，那么旋转角度计算单元504可使用在所识别对象上的任意点作为参考点来计算旋转角度。在这种情况下，拍摄图像可为按时间顺序连续拍摄的一系列帧图像，且旋转角度计算单元504还可计算旋转角度，使得参考点在拍摄图像的每个帧中相对于拍摄图像的中心定位于相同取向上。请注意，下文将讨论这样的旋转角度计算的更具体实例。
(5-2.旋转角度计算实例)
上文讨论通过图像处理装置500的旋转角度计算单元504的拍摄图像旋转角度计算的更具体实例将参考图14和图15进行进一步说明。
图14为示意图，用于说明根据本发明第五实施例的拍摄图像旋转角度计算的第一实例。图14示出了包括多个用户P1至P3的拍摄图像17。请注意，在所示实例中，拍摄图像17为使用全视野相机拍摄的360度图像，因此在拍摄图像17的中心部分中不存在图像。
本文中，包括在拍摄图像17中的用户P1至P3例如正在参加会议，且用户P1至P3中一者发言。除了用户P1至P3，拍摄图像17还包括灯L1至L3，用于指示发言用户。灯L1至L3设置于用户P1至P3附近，诸如例如通过穿戴在每个用户的衣服或类似物上或通过放置于每个用户前面的桌子上，且当相应用户发言时点亮。
在所示实例中，用户P1正在发言，且与用户P1对应的灯L1被点亮。成像装置500的图像分析单元502将此点亮检测为指定动作，并将描绘拍摄图像中灯L1的点指定为发生动作的点，或换言之，所推定的注视点。旋转角度计算单元504可计算拍摄图像17的旋转角度，使得此点定位于拍摄图像17的中心之下。根据所计算旋转角度由图像编辑单元114旋转的拍摄图像17被标记为拍摄图像17r。在拍摄图像17r中，发言用户P1可在相同取向上观察起来如真实上下一样。
请注意，旋转角度计算单元504还可计算旋转角度，使得所推定的注视点相对于拍摄图像17的中心定位于任意取向上，但如果旋转角度被计算为使得注视点例如如上文所述定位于拍摄图像17的中心之下，那么在拍摄图像17中所描绘靠近注视点的世界的上下匹配当观察拍摄图像17时的上下，因此可提供可观察起来更自然的拍摄图像。
在以上实例中，灯L1至L3执行指定动作以指示用户正在发言，所述灯L1至L3为与用户P1至P3对应安装的装置。在另一个实例中，用户P1至P3自身可执行指定动作。例如，图像分析单元502将用户嘴巴的运动检测为指定动作，并将描绘检测到运动的用户嘴巴的点指定为发生动作的点，或换言之，所推定的注视点。
图15为示意图，用于说明根据本发明第五实施例的拍摄图像旋转角度计算的第二实例。图15示出了包括用户的拍摄图像19，所述用户为对象。请注意，在所示实例中，拍摄图像19为使用鱼眼镜头相机拍摄的360度图像，因此在拍摄图像19的中心部分中也存在图像。
本文中，拍摄图像19为按时间顺序连续拍摄的一系列帧图像，且当旋转包括鱼眼镜头的相机时也进行拍摄。因此，作为对象的用户被描绘的角度在拍摄图像19的帧N(其中N＝1,2,...)与跟随在许多指定帧后面的帧N+M(其中M＝1,2,...)之间有所不同。旋转角度计算单元504将参考点Q配置在用户左手的末梢上，并计算旋转角度，使得在每个帧中的参考点Q相对于拍摄图像19的中心定位于相同取向上。
由于根据旋转角度来旋转拍摄图像19，所以帧N+M的拍摄图像19被旋转以抵消自身与帧N之间的旋转向量VR。因此，在帧N+M的旋转拍摄图像19r中，参考点Q相对于所述图像的中心定位于右上方，与在帧N的拍摄图像19中相同。因此，不管相机旋转，当帧前进时，观察者能够稳定地察觉作为对象的用户。
(6.第六实施例)
接着，将参考图16和图17说明本发明的第六实施例。在本实施例中，与根据以上第五实施例的图像处理装置500相似的功能通过分布在第一图像处理装置与第二图像处理装置之间来实现。
图16为方块图，示出了根据本发明第六实施例的第一图像处理装置的示意性功能构成，图17为方块图，示出了根据本发明第六实施例的第二图像处理装置的示意性功能构成。
参考图16，第一图像处理装置600包括通信单元102、存储单元104、图像获取单元106、图像分析单元502及记录控制单元602。此外，第一图像处理装置600还可包括旋转角度计算单元504。
参考图17，第二图像处理装置650包括通信单元252、存储单元254、图像获取单元256、旋转角度计算单元652及图像编辑单元114。此外，第二图像处理装置650还可包括显示控制单元116和显示单元118。
第一图像处理装置600和第二图像处理装置650各自可为终端装置，诸如各种PC、平板计算机、移动电话(包括智能手机)、游戏机或媒体播放器，且还可为服务器，所述服务器经由网络给终端装置提供服务。第一图像处理装置600和第二图像处理装置650通过例如下文讨论的信息处理装置的硬件构成来实现。当第一图像处理装置600或第二图像处理装置650为服务器时，所述装置的功能还可通过经由网络连接的多个信息处理装置的协同作用来实现。下文中，将进一步说明每个结构元件。请注意，与在以上第一实施例、第二实施例和第五实施例中所述的这些元件相似的功能构成将以共同标记进行表示，从而其重复说明会减少或省略。
记录控制单元602通过例如根据存储于存储器中的程序操作的CPU来实现，且基于通过图像分析单元502的拍摄图像分析结果将元数据与拍摄图像联合记录。例如，记录控制单元602可记录在拍摄图像内发生指定动作的点的位置。此外，记录控制单元602可记录关于包括在拍摄图像中的对象的信息。可选择地，当第一图像处理装置600包括旋转角度计算单元504时，记录控制单元602还可记录由旋转角度计算单元504计算的拍摄图像的旋转角度。
当第一图像处理装置600不包括旋转角度计算单元504时，可设置旋转角度计算单元652。旋转角度计算单元652通过例如根据存储于存储器中的程序操作的CPU来实现，且计算拍摄图像的旋转角度，与上文讨论的旋转角度计算单元504相似。在本实施例中，因为图像分析单元502包括在第一图像处理装置600中，所以旋转角度计算单元652通过第一图像处理装置600从存储单元254读出与拍摄图像一起提供的元数据，并基于元数据，计算拍摄图像的旋转角度。
(7.第七实施例)
接着，将参考图18至图20说明本发明的第七实施例。在本实施例中，在拍摄图像中的注视点基于与拍摄图像一起获取的传感器数据来推定，且拍摄图像被旋转为使得注视点相对于拍摄图像的中心定位于指定取向上。
(7-1.功能构成)
图18为方块图，示出了根据本发明第七实施例的成像装置的示意性功能构成。参考图18，成像装置700包括成像单元302、图像获取单元304、传感器702、传感器数据分析单元704、旋转角度计算单元706、图像编辑单元114及存储单元104。成像装置700还可包括通信单元102。此外，成像装置700还可包括显示控制单元116和显示单元118。
在本实施例中，成像装置700为自身执行成像以获取拍摄图像并基于传感器数据来编辑所获取图像的装置。成像装置700还可经由网络将编辑图像发送至另一个装置，将编辑图像存储于存储单元中，或通过自身显示编辑图像。
成像装置700可为主要功能为成像功能的终端装置，像例如数字相机，但也可为包括成像功能作为附加功能的终端装置，像平板计算机、移动电话(包括智能手机)或游戏机。成像装置700通过例如下文讨论的信息处理装置的硬件构成来实现。下文中，将进一步说明每个结构元件。请注意，与在以上第一实施例至第三实施例中所述的这些元件相似的功能构成将以共同标记进行表示，从而其重复说明会减少或省略。
传感器702通过各种传感器来实现，诸如例如加速度传感器、陀螺仪传感器、地磁传感器(检测方位)、光学传感器及声音传感器(包括获取声音数据的麦克风)。传感器数据分析单元704通过例如根据存储于存储器中的程序操作的CPU来实现，且分析由传感器702提供的传感器数据。传感器数据分析单元704例如通过传感器数据的分析来检测到达成像装置700的语音的声音方向。此外，传感器数据分析单元704还可通过传感器数据的分析来检测在拍摄图像中的方位(例如，北、南、东或西)。
旋转角度计算单元706通过例如根据存储于存储器中的程序操作的CPU来实现，且基于在传感器数据分析单元704中的传感器数据分析结果来计算拍摄图像的旋转角度。更具体地，旋转角度计算单元706计算拍摄图像的旋转角度，使得在拍摄图像中通过传感器数据的分析指定的参考点相对于拍摄图像的中心定位于指定取向上。例如，当到达成像装置700的语音的声音方向被传感器数据分析单元704检测到时，旋转角度计算单元706可使用在拍摄图像中与声音方向对应的点作为参考点来计算旋转角度。在这种情况下，旋转角度计算单元706还可被认为推定与声音方向对应的点为在拍摄图像中的注视点，且计算旋转角度，使得注视点到达易于看见的位置。
可选择地，当在拍摄图像中的方位被传感器数据分析单元704检测到时，旋转角度计算单元706可使用在拍摄图像中与指定方位(例如，北)对应的点作为参考点来计算旋转角度。在这种情况下，拍摄图像可为按时间顺序连续拍摄的一系列帧图像，且旋转角度计算单元706还可计算旋转角度，使得拍摄图像的每个帧共享共同方位。
(7-2.旋转角度计算实例)
上文讨论通过成像装置700的旋转角度计算单元706的拍摄图像旋转角度计算的更具体实例将参考图19和图20进行进一步说明。
图19为示意图，用于说明根据本发明第七实施例的拍摄图像旋转角度计算的第一实例。图19示出了包括多个用户P1至P3的拍摄图像17。请注意，在所示实例中，拍摄图像17为使用全视野相机拍摄的360度图像，因此在拍摄图像17的中心部分中不存在图像。
本文中，包括在拍摄图像17中的用户P1至P3例如正在参加会议，且用户P1至P3中一者发言。由所述用户发言的语音到达成像装置700，且被包括在传感器702中的麦克风检测到。传感器数据分析单元704通过由麦克风提供的语音数据的分析来检测所检测到的语音的声音方向。
在所示实例中，用户P1正在发言，且用户P1出席的方向变为声音方向。传感器数据分析单元704检测声音方向。旋转角度计算单元706可推定在拍摄图像中与所检测到的声音方向对应的点为在拍摄图像中的注视点，且计算拍摄图像17的旋转角度，使得此点定位于拍摄图像17的中心之下。根据所计算旋转角度由图像编辑单元114旋转的拍摄图像17被标记为拍摄图像17r。在拍摄图像17r中，发言用户P1可在相同取向上观察起来如真实上下一样。
请注意，旋转角度计算单元706还可计算旋转角度，使得所推定的注视点相对于拍摄图像17的中心定位于任意取向上，但如果旋转角度被计算为使得注视点例如如上文所述定位于拍摄图像17的中心之下，那么在拍摄图像17中所描绘靠近注视点的世界的上下匹配当观察拍摄图像17时的上下，因此可提供可观察起来更自然的拍摄图像。
图20为示意图，用于说明根据本发明第七实施例的拍摄图像旋转角度计算的第二实例。图20示出了通过使成像装置700指向垂直方向拍摄的拍摄图像15的实例。成像装置700包括鱼眼镜头11，所述鱼眼镜头11包括在成像单元302中，且鱼眼镜头11的光轴方向为近乎垂直方向。此外，成像装置700在近乎水平方向上运动，或换言之，垂直于鱼眼镜头11的光轴方向的方向。
本文中，成像装置700利用包括在传感器702中的地磁传感器来检测方位。传感器数据分析单元704通过由地磁传感器提供的传感器数据的分析来检测在拍摄图像15中的方位(北(N)、南(S)、东(E)、西(W))。根据检测结果，拍摄图像15当使成像装置700在东北方向上运动时拍摄。旋转角度计算单元706可将在拍摄图像中与在拍摄图像15中的指定方位(在这种情况下，北(N))对应的点看作参考点，并计算拍摄图像15的旋转角度，使得此点定位于拍摄图像15的中心之下。
通过使图像编辑单元114根据以此方式计算的旋转角度来旋转拍摄图像，不管例如成像装置700的运动方向，拍摄图像15显示为上方为北。因此，观察者可从拍摄图像15识别例如成像装置700所处的方向。此外，当拍摄图像15在成像装置700运动时拍摄时，还可从拍摄图像15识别成像装置700的运动方向。
(8.第八实施例)
接着，将参考图21和图22说明本发明的第八实施例。在本实施例中，与根据以上第七实施例的成像装置700相似的功能通过分布在成像装置与图像处理装置之间来实现。
图21为方块图，示出了根据本发明第八实施例的成像装置的示意性功能构成，图22为方块图，示出了根据本发明第八实施例的图像处理装置的示意性功能构成。
参考图21，成像装置800包括成像单元402、存储单元104、传感器702、传感器数据分析单元704及记录控制单元802。成像装置800还可包括通信单元102或旋转角度计算单元706。此外，成像装置800还可包括显示控制单元116和显示单元118。
在本实施例中，成像装置800为自身执行成像以获取拍摄图像并基于传感器数据将所获取图像与元数据一起记录的装置。成像装置800经由包括在存储单元104中的可移除记录介质将具有关联元数据的图像传送至图像处理装置850，或经由网络将具有关联元数据的图像自通信单元102发送至图像处理装置850。
参考图22，图像处理装置850包括通信单元252、存储单元254、图像获取单元256、旋转角度计算单元852及图像编辑单元114。此外，图像处理装置850还可包括显示控制单元116和显示单元118。
在本实施例中，图像处理装置850为经由网络从成像装置800获取具有关联元数据的图像并根据元数据来编辑所获取图像的装置。图像处理装置850还可经由网络将编辑图像发送至另一个装置，将编辑图像存储于存储单元中，或通过自身显示编辑图像。
成像装置800可为主要功能为成像功能的终端装置，像例如数字相机，但也可为包括成像功能作为附加功能的终端装置，像平板计算机、移动电话(包括智能手机)或游戏机。此外，图像处理装置850可为终端装置，诸如各种PC、平板计算机、移动电话(包括智能手机)、游戏机或媒体播放器，且还可为服务器，所述服务器经由网络给终端装置提供服务。成像装置800和图像处理装置850通过例如下文讨论的信息处理装置的硬件构成来实现。当图像处理装置850为服务器时，图像处理装置850的功能还可通过经由网络连接的多个信息处理装置的协同作用来实现。下文中，将进一步说明每个结构元件。请注意，与在以上第一实施例、第二实施例、第四实施例和第七实施例中所述的这些元件相似的功能构成将以共同标记进行表示，从而其重复说明会减少或省略。
记录控制单元802通过例如根据存储于存储器中的程序操作的CPU来实现，且基于通过传感器数据分析单元704的传感器数据分析结果将元数据与拍摄图像联合记录。例如，记录控制单元802可记录到达成像装置800的声音的声音方向或在拍摄图像内与声音方向对应的点的位置。此外，记录控制单元802可记录在拍摄图像中的方位。可选择地，当成像装置800包括旋转角度计算单元706时，记录控制单元802还可记录由旋转角度计算单元706计算的拍摄图像的旋转角度。
当成像装置800不包括旋转角度计算单元706时，可设置旋转角度计算单元852。旋转角度计算单元852通过例如根据存储于存储器中的程序操作的CPU来实现，且计算拍摄图像的旋转角度，与上文讨论的旋转角度计算单元706相似。在本实施例中，因为传感器数据分析单元704包括在成像装置800中，所以旋转角度计算单元852通过成像装置800从存储单元254读出与拍摄图像一起提供的元数据，并基于元数据，计算拍摄图像的旋转角度。
(9.硬件构成)
接着，将参考图23说明根据本发明实施例的信息处理装置的硬件构成。图23为方块图，用于说明信息处理装置的硬件构成。所示信息处理装置900可实现例如在上述实施例中的图像处理装置(包括第一图像处理装置和第二图像处理装置)和成像装置。
信息处理装置900包括中央处理单元(CPU)901、只读存储器(ROM)903及随机存取存储器(RAM)905。此外，信息处理装置900可包括主机总线907、桥接器909、外部总线911、接口913、输入装置915、输出装置917、存储装置919、驱动器921、连接端口923及通信装置925。此外，必要时，信息处理装置900可包括成像装置933和传感器935。取代CPU901或除了CPU901，信息处理装置900可包括称为数字信号处理器(DSP)或特定应用集成电路(ASIC)的处理电路。
CPU901充当操作处理器和控制器，且根据记录在ROM903、RAM905、存储装置919或可移除记录介质927上的各种程序来控制在信息处理装置900中的所有或一些操作。ROM903存储由CPU901使用的程序、操作参数及类似物。RAM905主要存储在CPU901执行中使用的程序及在执行中适当修改的参数。CPU901、ROM903和RAM905通过主机总线907彼此连接，所述主机总线907包括内部总线，诸如CPU总线。此外，主机总线907经由桥接器909连接至外部总线911，诸如外围组件互连/接口(PCI)总线。
输入装置915为由用户操作的装置，诸如鼠标、键盘、触摸面板、按钮、开关及控制杆。输入装置915可为例如使用红外光或其他无线电波的远程控制装置，可选择地为外部连接装置929，诸如响应于信息处理装置900的操作而可操作的移动电话。输入装置915包括输入控制电路，所述输入控制电路基于由用户输入的信息生成输入信号，并将输入信号输出至CPU901。通过操作输入装置915，用户输入各种数据给信息处理装置900或需要处理操作。
输出装置917包括能够以可视形式或以可听形式将所获取信息通知给用户的装置。输出装置917可为诸如液晶显示器(LCD)、等离子体显示面板(PDP)和有机电致发光(EL)显示器的显示装置；诸如扬声器和耳机的音频输出装置；打印机装置；或类似物。输出装置917可以视频(诸如文本和图像)和音频(诸如语音和声音)的形式输出从信息处理装置900的处理获得的结果。
存储装置919为数据存储装置，所述数据存储装置例如由信息处理装置900的存储单元构成。存储装置919包括例如磁性存储装置(诸如硬盘驱动器(HDD))、半导体存储装置、光学存储装置或磁光存储装置。存储装置919存储由CPU901待执行的程序、各种数据、从外部获取的各种数据及类似物。
驱动器921为可移除记录介质927的读取器/写入器，诸如磁盘、光盘、磁光盘和半导体存储器，且内置在信息处理装置900中或外部连接至信息处理装置900。驱动器921读出记录在连接至信息处理装置900的可移除记录介质927中的信息，并将读出信息输出至RAM905。此外，驱动器921将记录写入在连接至信息处理装置900的可移除记录介质927中。
连接端口923为用来将装置连接至信息处理装置900的端口。连接端口923可包括例如通用串行总线(USB)端口、IEEE1394端口及小型计算机系统接口(SCSI)端口。连接端口923还可包括RS-232C端口、光学音频端子、高清晰度多媒体接口(HDMI)(注册商标)端口等。外部连接装置929至连接端口923的连接使在信息处理装置900与外部连接装置929之间交换各种数据成为可能。
通信装置925为例如包括通信装置或类似物的通信接口，用于连接至通信网络931。通信装置925可为例如有线或无线局域网(LAN)通信卡、蓝牙(Bluetooth)(注册商标)、无线USB(WUSB)或类似物。此外，通信装置925可为光学通信路由器、非对称数字用户线路(ADSL)路由器、各种通信调制解调器或类似物。通信装置925基于预定协议(诸如TCP/IP)发送信号至例如因特网或其他通信装置以及从例如因特网或其他通信装置接收信号。此外，连接至通信装置925的通信网络931可为以有线或无线方式连接的网络，且为例如因特网、家庭LAN、红外通信、无线电波通信、卫星通信或类似物。
成像装置933为使用图像传感器(诸如电荷耦合装置(CCD)或互补金属氧化物半导体(CMOS))以及各种部件(诸如例如用于控制在图像传感器上的对象图像形成的镜头)通过拍摄真实空间的图像来生成所捕捉图像的装置。成像装置933可为拍摄静止图像的装置，且还可为拍摄运动图像的装置。
传感器935包括各种传感器，诸如加速度传感器、陀螺仪传感器、地磁传感器、光学传感器及音频传感器。传感器935获取关于信息处理装置900的状态的信息(诸如信息处理装置900的情形的姿势)及关于在信息处理装置900周围的环境的信息(诸如在信息处理装置900周围的亮度和噪声)。传感器935还可包括全球定位系统(GPS)传感器，所述全球定位系统(GPS)传感器接收GPS信号并测量所述装置的纬度、经度及海拔高度。
到目前为止已经说明了信息处理装置900的硬件构成实例。上述结构元件各可使用通用部件来构成，且还可使用专用于每个结构元件的功能的硬件来构成。在实施时，这样的构成还可根据技术水平进行适当修改。
(10.补充)
本发明的实施例可包括例如如上所述的信息处理装置(图像处理装置(包括第一图像处理装置和第二图像处理装置)或成像装置)、包括多个信息处理装置的系统、由所述信息处理装置或所述系统执行的信息处理方法、用于使信息处理装置工作的程序及非临时性有形介质，所述非临时性有形介质具有记录在其上的程序。
虽然上文已经参考附图说明了本发明的优选实施例，但是本发明当然并不限于以上实例。本领域技术人员可以找到在所附权利要求的范围内的各种变动和修改，且应当理解，它们当然会包括在本发明的技术范围内。
此外，本技术还可如下构成。
(1)一种图像处理装置，所述图像处理装置包括：
图像获取单元，所述图像获取单元获取360度图像；及
旋转角度计算单元，所述旋转角度计算单元以包括在360度图像中的参考点相对于360度图像的中心定位于指定取向上的方式计算360度图像的旋转角度。
(2)根据(1)所述的图像处理装置，其中
所述旋转角度计算单元使用在360度图像中推定的注视点作为参考点来计算旋转角度。
(3)根据(2)所述的图像处理装置，其中
所述旋转角度计算单元基于360度图像的分析结果来推定注视点。
(4)根据(3)所述的图像处理装置，其中
所述图像获取单元获取经由鱼眼镜头按时间顺序连续拍摄的360度图像，以及
所述旋转角度计算单元推定在360度图像中的运动向量的原点为注视点。
(5)根据(4)所述的图像处理装置，其中
当在360度图像的周边部分中检测到原点时，所述旋转角度计算单元推定所述原点为注视点。
(6)根据(3)所述的图像处理装置，其中
所述旋转角度计算单元推定在360度图像中发生指定动作的点为注视点。
(7)根据(6)所述的图像处理装置，其中
所述图像获取单元获取包括多个用户的360度图像，以及
所述旋转角度计算单元推定发生指定动作的点为注视点，所述指定动作指示在所述多个用户中正在发言的用户。
(8)根据(7)所述的图像处理装置，其中
所述指定动作由所述用户各者自身执行或通过与所述用户各者对应安装的装置来执行。
(9)根据(2)所述的图像处理装置，其中
所述旋转角度计算单元基于与360度图像一起获取的传感器数据来推定注视点。
(10)根据(9)所述的图像处理装置，其中
所述旋转角度计算单元推定在360度图像中与由与360度图像一起获取的声音数据表示的声音方向对应的点为注视点。
(11)根据(1)至(10)中任一项所述的图像处理装置，其中
所述旋转角度计算单元以参考点定位于360度图像的中心之下的方式计算旋转角度。
(12)根据(1)至(11)中任一项所述的图像处理装置，其中
所述图像获取单元获取经由鱼眼镜头拍摄的360度图像。
(13)根据(1)所述的图像处理装置，其中
所述旋转角度计算单元使用在360度图像中与由与360度图像一起获取的方位数据表示的指定方位对应的点作为参考点来计算旋转角度。
(14)根据(1)所述的图像处理装置，其中
所述旋转角度计算单元使用在360度图像中的对象上的点作为参考点来计算旋转角度。
(15)根据(14)所述的图像处理装置，其中
所述图像获取单元获取按时间顺序连续拍摄的360度图像，以及
所述旋转角度计算单元以在360度图像的每个帧中的参考点相对于360度图像的中心定位于相同取向上的方式计算旋转角度。
(16)根据(1)所述的图像处理装置，其中
所述图像获取单元获取经由鱼眼镜头按时间顺序连续拍摄的360度图像，以及
当在360度图像中检测到运动向量的原点和收敛点两者时，所述旋转角度计算单元以连接原点和收敛点的方向匹配指定方向的方式计算旋转角度。
(17)根据(1)至(16)中任一项所述的图像处理装置，所述图像处理装置还包括：
图像编辑单元，所述图像编辑单元根据所计算的旋转角度来旋转360度图像。
(18)根据(1)至(16)中任一项所述的图像处理装置，所述图像处理装置还包括：
记录控制单元，所述记录控制单元将所计算的旋转角度与360度图像联合记录。
(19)一种图像处理方法，所述方法包括以下步骤：
获取360度图像；以及
通过处理器，以包括在360度图像中的参考点相对于360度图像的中心定位于指定取向上的方式计算360度图像的旋转角度。
(20)一种程序，使计算机实现以下功能：
获取360度图像；以及
通过处理器，以包括在360度图像中的参考点相对于360度图像的中心定位于指定取向上的方式计算360度图像的旋转角度。
附图标记列表
100,450,500,850图像处理装置
102,252通信单元
104,254存储单元
106,256,304图像获取单元
108向量计算单元
110点检测单元
112,258,504,652,706,852旋转角度计算单元
114图像编辑单元
200,600第一图像处理装置
202,602,802记录控制单元
250,650第二图像处理装置
300,400,700,800成像装置
302,402成像单元
502图像分析单元
702传感器
704传感器数据分析单元

Claims (20)

1.一种图像处理装置，所述图像处理装置包括：
图像获取单元，所述图像获取单元获取360度图像；及
旋转角度计算单元，所述旋转角度计算单元以包括在所述360度图像中的参考点相对于所述360度图像的中心定位于指定取向上的方式计算所述360度图像的旋转角度。
2.根据权利要求1所述的图像处理装置，其中
所述旋转角度计算单元使用在所述360度图像中推定的注视点作为参考点来计算所述旋转角度。
3.根据权利要求2所述的图像处理装置，其中
所述旋转角度计算单元基于所述360度图像的分析结果来推定所述注视点。
4.根据权利要求3所述的图像处理装置，其中
所述图像获取单元获取经由鱼眼镜头按时间顺序连续拍摄的所述360度图像，以及
所述旋转角度计算单元推定在所述360度图像中的运动向量的原点为所述注视点。
5.根据权利要求4所述的图像处理装置，其中
当在所述360度图像的周边部分中检测到所述原点时，所述旋转角度计算单元推定所述原点为所述注视点。
6.根据权利要求3所述的图像处理装置，其中
所述旋转角度计算单元推定在所述360度图像中发生指定动作的点为所述注视点。
7.根据权利要求6所述的图像处理装置，其中
所述图像获取单元获取包括多个用户的所述360度图像，以及
所述旋转角度计算单元推定发生所述指定动作的点为所述注视点，所述指定动作指示在所述多个用户中正在发言的用户。
8.根据权利要求7所述的图像处理装置，其中
所述指定动作由所述用户各者自身执行或通过与所述用户各者对应安装的装置来执行。
9.根据权利要求2所述的图像处理装置，其中
所述旋转角度计算单元基于与所述360度图像一起获取的传感器数据来推定所述注视点。
10.根据权利要求9所述的图像处理装置，其中
所述旋转角度计算单元推定在所述360度图像中与由与所述360度图像一起获取的声音数据表示的声音方向对应的点为所述注视点。
11.根据权利要求1所述的图像处理装置，其中
所述旋转角度计算单元以所述参考点定位于所述360度图像的所述中心之下的方式计算所述旋转角度。
12.根据权利要求1所述的图像处理装置，其中
所述图像获取单元获取经由鱼眼镜头拍摄的所述360度图像。
13.根据权利要求1所述的图像处理装置，其中
所述旋转角度计算单元使用在所述360度图像中与由与所述360度图像一起获取的方位数据表示的指定方位对应的点作为所述参考点来计算所述旋转角度。
14.根据权利要求1所述的图像处理装置，其中
所述旋转角度计算单元使用在所述360度图像中的对象上的点作为所述参考点来计算所述旋转角度。
15.根据权利要求14所述的图像处理装置，其中
所述图像获取单元获取按时间顺序连续拍摄的所述360度图像，以及
所述旋转角度计算单元以在所述360度图像的每个帧中的所述参考点相对于所述360度图像的所述中心定位于相同取向上的方式计算所述旋转角度。
16.根据权利要求1所述的图像处理装置，其中
所述图像获取单元获取经由鱼眼镜头按时间顺序连续拍摄的所述360度图像，以及
当在所述360度图像中检测到运动向量的原点和收敛点两者时，所述旋转角度计算单元以连接所述原点和所述收敛点的方向匹配指定方向的方式计算所述旋转角度。
17.根据权利要求1所述的图像处理装置，所述图像处理装置还包括：
图像编辑单元，所述图像编辑单元根据所计算的旋转角度来旋转所述360度图像。
18.根据权利要求1所述的图像处理装置，所述图像处理装置还包括：
记录控制单元，所述记录控制单元将所计算的旋转角度与所述360度图像联合记录。
19.一种图像处理方法，所述方法包括以下步骤：
获取360度图像；以及
通过处理器，以包括在所述360度图像中的参考点相对于所述360度图像的中心定位于指定取向上的方式计算所述360度图像的旋转角度。
20.一种程序，使计算机实现以下功能：
获取360度图像；以及
通过处理器，以包括在所述360度图像中的参考点相对于所述360度图像的中心定位于指定取向上的方式计算所述360度图像的旋转角度。
CN201480026181.3A 2013-05-16 2014-03-28 图像处理装置、图像处理方法及计算机可读介质 Active CN105190695B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013103671A JP2014225108A (ja) 2013-05-16 2013-05-16 画像処理装置、画像処理方法およびプログラム
JP2013-103671 2013-05-16
PCT/JP2014/059110 WO2014185170A1 (ja) 2013-05-16 2014-03-28 画像処理装置、画像処理方法およびプログラム

Publications (2)

Publication Number Publication Date
CN105190695A true CN105190695A (zh) 2015-12-23
CN105190695B CN105190695B (zh) 2020-02-07

Family

ID=51898154

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480026181.3A Active CN105190695B (zh) 2013-05-16 2014-03-28 图像处理装置、图像处理方法及计算机可读介质

Country Status (5)

Country Link
US (1) US10713525B2 (zh)
EP (1) EP2998935B1 (zh)
JP (1) JP2014225108A (zh)
CN (1) CN105190695B (zh)
WO (1) WO2014185170A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107835375B (zh) * 2015-05-27 2020-03-27 Oppo广东移动通信有限公司 全景摄像的方法及装置
TWI558208B (zh) * 2015-07-14 2016-11-11 旺玖科技股份有限公司 影像處理方法、影像處理裝置及顯示系統
JP7122729B2 (ja) * 2017-05-19 2022-08-22 株式会社ユピテル ドライブレコーダー、ドライブレコーダー用表示装置及びプログラム
JP6976719B2 (ja) 2017-05-25 2021-12-08 キヤノン株式会社 表示制御装置、表示制御方法及びプログラム
CN107967666B (zh) * 2017-11-09 2020-12-08 浙江大华技术股份有限公司 一种全景图像生成方法及装置
JP7192582B2 (ja) * 2019-03-11 2022-12-20 オムロン株式会社 物体追跡装置および物体追跡方法
WO2023203853A1 (ja) * 2022-04-20 2023-10-26 株式会社サンタ・プレゼンツ 遠隔体験システム
US11620764B1 (en) * 2022-08-31 2023-04-04 Illuscio, Inc. Systems and methods for generating point-accurate three-dimensional models with point-accurate color information from a non-cosited capture

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102395994A (zh) * 2010-03-18 2012-03-28 松下电器产业株式会社 全景图像处理装置及全景图像处理方法
CN102546921A (zh) * 2010-12-07 2012-07-04 中国电信股份有限公司 Web全景图浏览的实现方法、系统和移动终端
CN102812497A (zh) * 2011-03-03 2012-12-05 松下电器产业株式会社 能够提供随后体验影像的影像提供装置、影像提供方法、影像提供程序

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11331827A (ja) * 1998-05-12 1999-11-30 Fujitsu Ltd テレビカメラ装置
WO2001035052A1 (en) * 1999-11-12 2001-05-17 Armstrong Brian S Robust landmarks for machine vision and methods for detecting same
JP2004198732A (ja) * 2002-12-18 2004-07-15 Sony Computer Entertainment Inc 撮影補助器、画像処理方法、画像処理装置、コンピュータプログラム、プログラムを格納した記録媒体
JP2004228737A (ja) 2003-01-21 2004-08-12 Sharp Corp 会議支援装置および会議支援システムおよび会議支援プログラム
JP4048492B2 (ja) * 2003-07-03 2008-02-20 ソニー株式会社 音声対話装置及び方法並びにロボット装置
JP4545093B2 (ja) 2003-10-29 2010-09-15 株式会社岩根研究所 ３ｄ自動測量装置
JP4566591B2 (ja) * 2004-03-19 2010-10-20 キヤノン株式会社 画像変形推定方法および画像変形推定装置
US20060002474A1 (en) * 2004-06-26 2006-01-05 Oscar Chi-Lim Au Efficient multi-block motion estimation for video compression
KR100683850B1 (ko) * 2004-08-20 2007-02-16 삼성전자주식회사 파노라마 촬영 기능을 지원하는 촬영기기 및 촬영방법
KR100644629B1 (ko) * 2004-09-18 2006-11-10 삼성전자주식회사 하이브리드 블록 매칭 기반의 움직임 추정 방법 및 그를적용한 프레임 레이트 변환 장치
JP4755490B2 (ja) * 2005-01-13 2011-08-24 オリンパスイメージング株式会社 ブレ補正方法および撮像装置
US7847823B2 (en) * 2005-01-14 2010-12-07 Morpho, Inc. Motion vector calculation method and hand-movement correction device, imaging device and moving picture generation device
JP2006270676A (ja) * 2005-03-25 2006-10-05 Fujitsu Ltd パノラマ画像生成プログラム、パノラマ画像生成装置、パノラマ画像生成方法
JP2006285546A (ja) * 2005-03-31 2006-10-19 Nikon Corp 情報提供システム、データベースサーバー、及び携帯通信端末
US7783093B2 (en) * 2005-05-20 2010-08-24 Imaging Sciences International Llc Method for locating a curved object
EP1979874B1 (en) * 2005-09-12 2011-10-26 Carlos Tapang Frame and pixel based matching of model-generated graphics images to camera frames
JP5223318B2 (ja) * 2007-12-07 2013-06-26 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP4692550B2 (ja) * 2008-01-21 2011-06-01 ソニー株式会社 画像処理装置、その処理方法およびプログラム
WO2009128181A1 (ja) * 2008-04-18 2009-10-22 株式会社ソニー・コンピュータエンタテインメント 画像表示装置、画像表示装置の制御方法及び情報記憶媒体
JP4547639B2 (ja) * 2008-08-26 2010-09-22 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP4715909B2 (ja) * 2008-12-04 2011-07-06 ソニー株式会社 画像処理装置及び方法、画像処理システム、並びに、画像処理プログラム
JP2011009929A (ja) * 2009-06-24 2011-01-13 Sony Corp 可動機構部制御装置、可動機構部制御方法、プログラム
JP2011040898A (ja) 2009-08-07 2011-02-24 Casio Computer Co Ltd 撮像再生装置及びプログラム
JP2011064566A (ja) 2009-09-17 2011-03-31 Fujitsu Ltd 距離推定装置
JP5830876B2 (ja) * 2011-02-18 2015-12-09 富士通株式会社 距離算出プログラム、距離算出方法及び距離算出装置
JP5705611B2 (ja) * 2011-03-25 2015-04-22 株式会社日立ハイテクノロジーズ 画像の正置からの回転角度検知装置および方法
JP2012226645A (ja) 2011-04-21 2012-11-15 Sony Corp 画像処理装置および方法、記録媒体並びにプログラム
US8600194B2 (en) * 2011-05-17 2013-12-03 Apple Inc. Positional sensor-assisted image registration for panoramic photography
US9088714B2 (en) * 2011-05-17 2015-07-21 Apple Inc. Intelligent image blending for panoramic photography
US8957944B2 (en) * 2011-05-17 2015-02-17 Apple Inc. Positional sensor-assisted motion filtering for panoramic photography
JP2013034081A (ja) * 2011-08-02 2013-02-14 Sony Corp 画像処理装置、その制御方法およびプログラム
JP6141601B2 (ja) * 2012-05-15 2017-06-07 東芝アルパイン・オートモティブテクノロジー株式会社 車載カメラ自動キャリブレーション装置
US9804689B2 (en) * 2013-02-19 2017-10-31 Pixart Imaging Inc. Handheld pointer device and pointer positioning method thereof
US9800780B2 (en) * 2013-05-16 2017-10-24 Sony Corporation Image processing device, image processing method, and program to capture an image using fisheye lens
US10284794B1 (en) * 2015-01-07 2019-05-07 Car360 Inc. Three-dimensional stabilized 360-degree composite image capture
TWI567661B (zh) * 2015-10-30 2017-01-21 東友科技股份有限公司 影像擷取方法及影像擷取裝置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102395994A (zh) * 2010-03-18 2012-03-28 松下电器产业株式会社 全景图像处理装置及全景图像处理方法
CN102546921A (zh) * 2010-12-07 2012-07-04 中国电信股份有限公司 Web全景图浏览的实现方法、系统和移动终端
CN102812497A (zh) * 2011-03-03 2012-12-05 松下电器产业株式会社 能够提供随后体验影像的影像提供装置、影像提供方法、影像提供程序

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
IREM STRATMANN等: ""Omnidirectional imaging and optical flow"", 《OMNIDIRECTIONAL VISION》 *

Also Published As

Publication number Publication date
JP2014225108A (ja) 2014-12-04
US20160078311A1 (en) 2016-03-17
EP2998935B1 (en) 2018-07-18
CN105190695B (zh) 2020-02-07
EP2998935A1 (en) 2016-03-23
US10713525B2 (en) 2020-07-14
EP2998935A4 (en) 2017-06-07
WO2014185170A1 (ja) 2014-11-20

Similar Documents

Publication Publication Date Title
CN105190695A (zh) 图像处理装置、图像处理方法及程序
JP6348574B2 (ja) 総体的カメラ移動およびパノラマカメラ移動を使用した単眼視覚ｓｌａｍ
US11481982B2 (en) In situ creation of planar natural feature targets
JP6897728B2 (ja) 画像処理装置、画像処理方法およびプログラム
CN108027652A (zh) 信息处理设备、信息处理方法以及程序
JP6702196B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP5790692B2 (ja) 情報処理装置、情報処理方法および記録媒体
US20160191796A1 (en) Methods And Apparatuses For Directional View In Panoramic Content
US20160210788A1 (en) Display control device, display control method, and program
WO2018146922A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6720966B2 (ja) 情報処理装置、情報処理方法、およびプログラム
Matsumoto et al. Image processing device and method to obtain a 360 image without remapping
JPWO2019026390A1 (ja) 情報処理装置、情報処理方法、記録媒体、及び撮像装置
JPWO2019102676A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20230215098A1 (en) Method and system for creating and storing map target
US11935199B2 (en) Augmented reality depth detection through object recognition
WO2020095551A1 (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant