CN110088798A - 图像处理设备，图像捕获系统，图像处理方法和记录介质 - Google Patents

图像处理设备，图像捕获系统，图像处理方法和记录介质 Download PDF

Info

Publication number
CN110088798A
CN110088798A CN201780078984.7A CN201780078984A CN110088798A CN 110088798 A CN110088798 A CN 110088798A CN 201780078984 A CN201780078984 A CN 201780078984A CN 110088798 A CN110088798 A CN 110088798A
Authority
CN
China
Prior art keywords
image
projection
processing equipment
region
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201780078984.7A
Other languages
English (en)
Inventor
水藤浩
吉田和弘
河口启一
浅井贵浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority claimed from PCT/JP2017/047186 external-priority patent/WO2018124266A1/en
Publication of CN110088798A publication Critical patent/CN110088798A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Geometry (AREA)

Abstract

提供图像处理设备，图像捕获系统，图像处理方法和记录介质。图像处理设备获得第一投影方式的第一图像，及第二投影方式的第二图像；变换对应于第二图像的第一图像的至少一部分的投影，从第一投影方式变换到第二投影方式，以生成第二投影方式的第三图像；从第二图像和第三图像分别提取多个特征点；基于分别从第二图像和第三图像提取的多个特征点，确定第三图像中与第二图像对应的对应区域；变换第三图像的对应区域中的多个点的投影，从第二投影方式变换为第一投影方式，以获得指示第一图像中的第一投影中的多个点的位置的位置信息；将指示第一图像中的第一投影中的多个点的位置的位置信息与第二图像中的第二投影中的多个点相关联地存储在存储器中。

Description

图像处理设备，图像捕获系统，图像处理方法和记录介质
技术领域
本发明涉及图像处理设备，图像捕获系统，图像处理方法，以及记录介质。
背景技术
用广角透镜拍摄的广角图像用于拍摄诸如风景，因为图像趋向于覆盖大面积。例如，图像捕获系统捕获目标对象及其周围环境的广角图像，以及目标对象的放大图像。广角图像与放大图像结合，即使当放大表示目标对象的广角图像的一部分时，也能以高分辨率显示嵌入有放大图像的部分(参见专利文献1)。
另一方面，已经提出一种数码相机，其捕获两个半球图像，从中生成360度全天球图像(参见专利文献2)。这样的数码相机基于两个半球图像生成等距柱形投影图像(equirectangular projection image)，并将该等距柱形投影图像发送到通信终端，诸如智能手机，用于向用户显示。
引文列表
专利文献
【专利文献1】日本未审查专利申请公开No.2016-96487
【专利文献2】日本未审查专利申请公开No.2017-178135
发明内容
技术问题
本发明的发明人已经实现目标对象及其周围的全天球图像可以以如上所述的类似方式与目标对象的平面图像结合。然而，如果要用目标对象的平面图像显示所述全天球图像，则这些图像的位置可能互相偏移，因为这些图像是以不同的投影方式得到的。
解决问题的方案
本发明的例示实施例包括图像处理设备，
其获得第一投影方式的第一图像，以及第二投影方式的第二图像；
变换对应于所述第二图像的第一图像的至少一部分的投影，从第一投影方式变换到第二投影方式，以生成第二投影方式的第三图像；
从第二图像和第三图像分别提取多个特征点；
基于分别从第二图像和第三图像提取的多个特征点，确定第三图像中与第二图像对应的对应区域；
变换第三图像的对应区域中的多个点的投影，从第二投影方式变换为第一投影方式，以获得表示第一图像中的第一投影中的多个点的位置的位置信息；
将表示第一图像中的第一投影中的多个点的位置的位置信息与第二图像中的第二投影中的多个点相关联地存储在存储器中。
本发明的例示实施例包括设有所述图像处理设备的图像捕获系统，图像处理方法，和记录介质。
本发明的效果
根据本发明的一个或多个实施例，即使当一个图像叠加在投影方式不同的其他图像上时，也可以抑制这些图像之间的位置偏移。
附图说明
附图旨在描述本发明的示例实施例，而不应被解释为限制其范围。除非明确说明，否则附图不应视为按比例绘制。而且，相同或相似的附图标记在若干视图中表示相同或相似的组件。
图1A，1B，1C和1D(图1)分别是根据一实施例的特殊图像捕获装置的左侧视图，后视图，俯视图和底侧视图。
图2是用于说明用户如何使用根据一实施例的图像捕获装置。
图3A，3B和3C是分别表示由根据一实施例的图像捕获装置捕获的半球图像的前侧，半球图像的背侧和以等距柱形投影表示的图像。
图4A和4B是分别表示根据一实施例的以等距柱形投影覆盖球面的图像和全天球图像。
图5是表示根据一实施例的将全天球图像设为三维实心球场合虚拟相机和预定区域的位置的图。
图6A和6B分别是图5的透视图和根据一实施例的在显示器上显示预定区域的图像的图。
图7是表示根据一实施例的预定区域信息与预定区域图像之间关系的图。
图8是表示根据第一实施例的图像捕获系统的示意图。
图9是表示根据第一实施例的适配器的透视图。
图10表示用户如何使用根据第一实施例的图像捕获系统。
图11是表示根据第一实施例的专用图像捕获装置的硬件配置的示意框图。
图12是表示根据第一实施例的一般图像捕获装置的硬件配置的示意框图。
图13是表示根据第一实施例的智能手机的硬件配置的示意框图。
图14是根据第一实施例的图像捕获系统的功能框图。
图15A和15B是分别表示根据第一实施例的链接图像捕获设备管理表和链接图像捕获设备配置屏幕的概念图。
图16是表示根据第一实施例的图像和音频处理单元的功能配置的框图。
图17是根据第一实施例的叠加显示元数据的数据结构的图示。
图18A和18B是分别表示根据第一实施例的第二区域中的多个网格区域和第三区域中的多个网格区域的概念图。
图19是表示根据第一实施例的由图像捕获系统执行的捕获图像的操作的数据序列图。
图20是表示根据第一实施例的生成叠加显示元数据的操作的概念图。
图21A和21B是用于描述确定根据第一实施例的周边区域图像的概念图。
图22A和22B是用于说明根据第一实施例的将第二区域分割为多个网格区域的操作的概念图。
图23是用于说明确定根据第一实施例的等距柱形投影图像中的第三区域的概念图。
图24A，24B和24C是表示根据第一实施例的生成校正参数的操作的概念图。
图25是表示根据第一实施例的在处理或生成图像的情况下叠加图像的操作的概念图。
图26是表示根据第一实施例的叠加有平面图像的全天球图像的二维视图的概念图。
图27是表示根据第一实施例的叠加有平面图像的全天球图像的三维视图的概念图。
图28A和28B是表示根据比较例的在不使用位置参数的情况下叠加有平面图像的全天球图像的二维视图的概念图。
图29A和29B是表示在第一实施例中使用位置参数叠加有平面图像的全天球图像的二维视图的概念图。
图30A，30B，30C和30D是分别表示根据第一实施例的没有叠加显示的广角图像，没有叠加显示的远摄图像，具有叠加显示的广角图像，和具有叠加显示的远摄图像。
图31是表示根据第二实施例的图像捕获系统的示意图。
图32是图示根据第二实施例的图像处理服务器的硬件配置的示意图。
图33是表示根据第二实施例的图31的图像捕获系统的功能配置的示意框图。
图34是表示根据第二实施例的图像和音频处理单元的功能配置的框图。
图35是表示根据第二实施例的由图像捕获系统执行的捕获图像的操作的数据序列图。
具体实施方式
在描述附图中所示的实施例时，为了清楚起见采用了特定的术语。然而，本说明书的公开内容并不旨在限于如此选择的特定术语，并且应当理解，每个特定元件包括具有类似功能、以类似方式操作并且实现类似结果的所有技术等同物。
这里使用的术语仅用于描述特定实施例的目的，并不意图限制本发明。如这里所使用的单数形式“一”、“一个”、“该”也旨在包括复数形式，除非上下文另有明确说明。
在本公开中，第一图像是与第二图像叠加的图像，第二图像是要叠加在第一图像上的图像。例如，第一图像是覆盖大于第二图像的区域的图像。在另一示例中，第一图像和第二图像是以不同投影表示的图像。在另一示例中，第二图像是图像质量高于第一图像的图像，例如，就图像分辨率而言。第一图像的示例包括全天球图像(spherical image)，等距柱形投影图像，和低清晰度图像。第二图像的示例包括平面图像，透视投影图像，和高清晰度图像。
再有，在本公开中，所述全天球图像不必是全景球形图像。例如,全天球图像可以是水平方向上具有大约180度至360度角度的广角图像。在下文中,全天球图像优选具有至少一部分并不完全显示在预定区域T中的图像数据。
下面参照附图描述本发明的实施例。
首先，参照图1至图7，描述根据一实施例的生成全天球图像的操作。
先参照图1A至1D，根据该实施例描述专用(特殊)图像捕获装置1的外观。特殊图像捕获装置(special-purpose image capturing device)1是用于捕获生成360度全天球图像的数字相机。图1A至1D分别是特殊图像捕获装置1的左侧视图，后视图，俯视图和仰视图。
如图1A至1D所示，特殊图像捕获装置1具有上部，其在其正面侧(前侧)设置有鱼眼型透镜102a，在背面侧(后侧)设置有鱼眼型透镜102b。特殊图像捕获装置1在其内部包括成像元件(成像传感器)103a和103b。成像元件103a和103b分别经由透镜102a和102b捕获对象或周围环境的图像，以获得半球图像(具有180度或更大的视角的图像)。如图1B所示，特殊图像捕获装置1还包括快门按钮115a，其在特殊图像捕获装置1的后侧，为特殊图像捕获装置1的前侧的相反侧。如图1A所示，特殊图像捕获装置1的左侧设置有电源按钮115b，无线保真(Wi-Fi)按钮115c和图像捕获模式按钮115d。根据用户的选择(按压)，电源按钮115b和Wi-Fi按钮115c中的任何一个在接通和断开之间切换。图像捕获模式按钮115d根据用户的选择(按压)在静止图像捕获模式和运动图像捕获模式之间切换。快门按钮115a，电源按钮115b，Wi-Fi按钮115c和图像捕获模式按钮115d是操作单元115的一部分。操作单元115是接收用户指令的任何部分，不限于上述按钮或开关。
如图1D所示，特殊图像捕获装置1在其底面150的中央处设置有三脚架安装孔151。当特殊图像捕获装置1安装在三脚架上时，三脚架安装孔151接收三脚架的螺钉。在该实施例中，如后文参照图9描述，三脚架安装孔151位于一般图像捕获装置(general-purposeimage capturing device)3通过适配器9被附设的位置。特殊图像捕获装置1的底面150还在其左侧包括微通用串行总线(微型USB)端子152。底面150还在其右侧包括高清晰度多媒体接口(HDMI，注册商标)端子153。
接下来，参照图2，给出使用特殊图像捕获装置1的状况的描述。图2表示用户如何使用特殊图像捕获装置1的示例。如图2所示，例如，特殊图像捕获装置1用于捕获在他或她的手中握住特殊图像捕获装置1的用户周围的对象。图1A至1D所示的成像元件103a和103b捕获用户周围的物体以获得两个半球图像。
接下来，参照图3A至3C和图4A和4B，描述从由特殊图像捕获装置1捕获的图像生成等距柱形投影图像EC和全天球图像CE的操作的概述图。图3A是表示由特殊图像捕获装置1捕获的半球图像(前侧)的视图。图3B是表示由特殊图像捕获装置1捕获的半球图像(后侧)的视图。图3C是表示等距柱形投影中的图像的视图，其被称为“等距柱形投影图像”(或等距圆柱投影图像)EC。图4A是表示等距柱形投影图像如何映射到球面的示例的概念图。图4B是表示全天球图像的视图。
如图3A所示，由成像元件103a捕获的图像是通过鱼眼型透镜102a拍摄的弯曲的半球图像(前侧)。而且，如图3B所示，由成像元件103b捕获的图像是通过鱼眼型透镜102b拍摄的弯曲的半球图像(后侧)。通过特殊图像捕获装置1合成半球图像(前侧)和反转180度的半球图像(后侧)。这导致生成如图3C所示的等距柱形投影图像EC。
如图4A所示，使用用于嵌入式系统的开放图形库(OpenGL ES)将等距柱形投影图像映射在球面上。如图4B所示，这导致产生全天球图像CE。换句话说，全天球图像CE表示为等距柱形投影图像EC，其对应于面向球体CS的中心的表面。应当注意，开放图形库是用于可视化二维(2D)和三维(3D)数据的图形库。全天球图像CE是静止图像或运动图像。
如图4B所示，由于全天球图像CE是附着到球面的图像，当从用户观看时，图像的一部分看起来可能变形，从而提供奇怪的感觉。为了解决这种奇怪的感觉，作为全天球图像CE的一部分的预定区域的图像显示为具有较少曲线的平面图像。预定区域例如是用户可以看到的全天球图像CE的一部分。在本公开中，预定区域的图像被称为“预定区域图像”Q。在下文中，参照图5，图6A和6B，给出显示预定区域图像Q的描述。
图5是表示在全天球图像表示为三维实心球的表面区域的情况下虚拟相机IC和预定区域T的位置的视图。虚拟相机IC对应于正在观看表示为三维立体球CS的表面区域的全天球图像CE的用户的视点(viewpoint)的位置。图6A是图5中所示的全天球图像CE的透视图。图6B是表示当在显示器显示时的预定区域图像Q的图。在图6A中，表示图4B中所示的全天球图像CE表示为三维实心球CS的表面积。假设全天球图像CE是实心球CS的表面区域，如图5所示，虚拟照相机IC位于全天球图像CE的内部。全天球图像CE中的预定区域T是虚拟相机IC的成像区域。具体地说，预定区域T由指示包含全天球图像CE的三维虚拟空间中的虚拟照相机IC的成像方向和视角的预定区域信息特定。
预定区域图像Q是图6A所示的预定区域T的图像，在显示器上显示作为虚拟相机IC的成像区域的图像，如图6B所示。图6B表示通过由默认设定的预定区域信息所表示的预先确定的区域图像Q。下面使用虚拟照相机IC的成像方向(ea，aa)和视角α说明虚拟照相机IC的位置。
参照图7，根据本实施例描述预定区域信息和预定区域T的图像之间的关系。图7是表示预定区域信息和预定区域T的图像之间的关系的图。如图7中所示，“ea”表示虚拟照相机IC的仰角，“aa”表示虚拟照相机IC的方位角，“α”表示虚拟照相机IC的视角。调整虚拟照相机IC的位置，使得由成像方向(ea，aa)指示的虚拟照相机IC的注视点与作为虚拟照相机IC的成像区域的预定区域T的中心点CP匹配。预定区域图像Q是全天球图像CE中的预定区域T的图像。“f”表示从虚拟照相机IC到预定区域T的中心点CP的距离。“L”表示中心点CP与预定区域T的给定顶点之间的距离(2L是对角线)。在图7中，一般由以下式1表示的三角函数关系式成立：
L/f＝tan(α/2) (式1)
第一实施例
参照图8至图30D，描述根据本发明第一实施例的图像捕获系统。
<图像捕获系统概略>
首先，参照图8，根据第一实施例说明图像捕获系统的概略。图8是根据本实施例的图像捕获系统的配置示意图。
如图8所示，图像捕获系统包括特殊图像捕获装置1，一般目的(一般)捕获装置3，智能手机5，和适配器9。特殊图像捕获装置1经由适配器9连接到一般图像捕获装置3。
特殊图像捕获装置1是一种特殊的数字照相机，其捕获对象或环境例如风景的图像，以获得两个半球图像，从其中生成一个球形(全景)图像，如上述参照图1至图7所说明。
一般图像捕获装置3是数字单镜头反光照相机，然而，它也可以为紧凑型数字照相机。一般图像捕获装置3设置有快门按钮315a，其是下面描述的操作单元315的一部分。
智能手机5能使用近距离无线通信(例如Wi-Fi，蓝牙(注册商标)和近场通信(NFC))与特殊图像捕获装置1和一般图像捕获装置3无线通信。智能手机5能够在如下所述的为智能手机5提供的显示器517上显示分别从特殊图像捕获装置1和一般图像捕获装置3获得的图像。
智能手机5可以不使用近距离无线通信、而使用诸如电缆的有线通信与特殊图像捕获装置1和一般图像捕获装置3通信。智能手机5是能够处理捕获图像的图像处理设备的示例。图像处理设备的其他示例包括但不限于平板个人计算机(PC)，笔记本PC，和台式PC。智能手机5可以作为下面描述的通信终端操作。
图9是表示根据本实施例的适配器9的透视图。如图9所示，适配器9包括插座板适配器(shoe adapter)901，螺栓902，上调节器903和下调节器904。插座板适配器901在其滑动时附接到一般图像捕获装置3的附件插座板。螺栓902设置在插座板适配器901的中心，其将拧入特殊图像捕获装置1的三脚架安装孔151中。螺栓902设置有上调节器903和下调节器904，它们各自可绕螺栓902的中心轴线旋转。上调节器903固定附设在螺栓902的物体(例如特殊图像捕获装置1)。下调节器904固定附设在插座板适配器901的物体(诸如一般图像捕获装置3)。
图10表示用户如何使用根据本实施例的图像捕获装置。如图10所示，用户将他或她的智能手机5放入他或她的口袋中。用户使用通过适配器9附设有特殊图像捕获装置1的一般图像捕获装置3捕获对象的图像。虽然图示智能手机5放置在用户衬衫的口袋中，但是，智能手机5可以放置在任何区域中，只要它可以与特殊图像捕获装置1和一般图像捕获装置3无线通信即可。
硬件配置
接下来，参照图11至图13，说明根据本实施例的特殊图像捕获装置1、一般图像捕获装置3和智能手机5的硬件配置。
<特殊图像捕获装置的硬件配置>
首先，参照图11，说明根据本实施例的特殊图像捕获装置1的硬件配置。图11表示特殊图像捕获装置1的硬件配置。下面描述特殊图像捕获装置1是具有两个成像元件的球形(全方位)图像捕获装置的情况。然而，特殊图像捕获装置1可包括任何合适数量的成像元件，只要其包括至少两个成像元件即可。另外，特殊图像捕获装置1不一定是专用于全方位图像捕获的图像捕获装置。或者，外部全方位图像捕获单元可以附设到一般目的数字相机或智能手机，以实现具有与特殊图像捕获装置1的功能基本相同的功能的图像捕获装置。
如图11所示，特殊图像捕获装置1包括成像单元101，图像处理器104，成像控制器105，麦克风108，音频处理器109，中央处理单元(CPU)111，只读存储器(ROM)112，静态随机存取存储器(SRAM)113，动态随机存取存储器(DRAM)114，操作单元115，网络接口(I/F)116，通信电路117，天线117a，电子罗盘118，陀螺传感器119，加速度传感器120，以及微型USB端子121。
成像单元101包括两个广角镜头(所谓的鱼眼型镜头)102a和102b，每个都具有等于或大于180度的视角，以便形成半球图像。成像单元101还包括分别对应于广角镜头102a和102b的两个成像元件103a和103b。成像元件103a和103b均包括成像传感器，例如互补金属氧化物半导体(CMOS)传感器和电荷耦合器件(CCD)传感器，定时生成电路，以及一组寄存器。成像传感器将由广角镜头102a和102b形成的光学图像转换成电信号以输出图像数据。定时生成电路为成像传感器生成水平或垂直同步信号、像素时钟等。用于成像元件103a和103b的操作的各种命令、参数等设置在寄存器组中。
成像单元101的各成像元件103a和103b经由并行I/F总线连接到图像处理器104。另外，成像单元101的各成像元件103a和103b经由诸如I2C总线的串行I/F总线连接到成像控制器105。图像处理器104，成像控制器105和音频处理器109各自经由总线110连接到CPU111。此外，ROM112，SRAM113，DRAM114，操作单元115，网络I/F116，通信电路117，电子罗盘118，以及端子121也连接到总线110。
图像处理器104经由并行I/F总线从每个成像元件103a和103b获取图像数据，并对各图像数据执行预定处理。此后，图像处理器104组合这些图像数据以生成如图3C所示的等距柱形投影图像的数据。
成像控制器105通常用作主设备，而成像元件103a和103b各自通常用作从设备。成像控制器105经由诸如I2C总线的串行I/F总线在成像元件103a和103b的寄存器组中设置命令等。成像控制器105从CPU111接收各种命令。此外，成像控制器105经由诸如I2C总线的串行I/F总线获取成像元件103a和103b的寄存器组的状态数据等。成像控制器105将获取的状态数据等发送到CPU111。
成像控制器105指示成像元件103a和103b在按下操作单元115的快门按钮115a时输出图像数据。在一些情况下，特殊图像捕获装置1能够在显示器(例如，智能手机5的显示器)上显示预览图像或显示运动图像(电影)。在显示电影的情况下，以预定的帧速率(每分钟帧数)从成像元件103a和103b连续输出图像数据。
此外，成像控制器105与CPU111协同操作，以使成像元件103a输出图像数据的时间与成像元件103b输出图像数据的时间同步。应当注意，尽管在该实施例中特殊图像捕获装置1不包括显示器，但是，特殊图像捕获装置1也可以包括显示器。
麦克风108将声音转换为音频数据(信号)。音频处理器109经由I/F总线获取从麦克风108输出的音频数据，并对音频数据执行预定处理。
CPU111例如通过执行预定处理来控制特殊图像捕获装置1的整个操作。ROM112存储用于由CPU111执行的各种程序。SRAM113和DRAM114各自用作工作存储器，以存储从ROM112加载的程序以供CPU111执行或当前处理中的数据。更具体地说，在一个示例中，DRAM114存储当前由图像处理器104处理的图像数据和已经执行了处理的等距柱形投影图像的数据。
操作单元115为各种操作键例如快门按钮115a的总称。除了硬件键之外，操作单元115还可以包括触摸板。用户操作该操作单元115以输入各种图像捕获(拍摄)模式或图像捕获(拍摄)条件。
网络I/F116统称为诸如USB I/F的接口电路，其允许特殊图像捕获装置1与诸如SD卡或外部个人计算机的外部介质进行数据通信。作为网络I/F116，可以是有线和无线通信中的至少一种。存储在DRAM114中的等距柱形投影图像的数据可以在任何所需的时间经由网络I/F116存储在外部介质中，或者经由网络I/F116传输到诸如智能手机5等的外部设备。
通信电路117由诸如Wi-Fi、NFC、蓝牙的近距离无线通信，经由特殊图像捕获装置1的天线117a与诸如智能手机5的外部装置进行数据通信。通信电路117还能够将等距柱形投影图像的数据发送到诸如智能手机5等的外部设备。
电子罗盘118根据地球的磁力计算特殊图像捕获装置1的方位，以输出方位信息。该方位信息是相关信息的示例，其是根据Exif描述的元数据。该信息用于图像处理，例如捕获图像的图像校正。相关信息还包括特殊图像捕获装置1捕获图像的日期和时间，以及图像数据的大小。
陀螺传感器119检测特殊图像捕获装置1的倾斜变化(滚动，俯仰，偏转)和特殊图像捕获装置1的运动。角度的改变是符合Exif描述的相关信息(元数据)的一个示例。该信息用于图像处理，例如捕获图像的图像校正。
加速度传感器120检测三个轴向的加速度。基于检测到的加速度确定特殊图像捕获装置1的位置(相对于重力方向的角度)。通过陀螺传感器119和加速度传感器120，图像校正精度得到提高。
微型USB端子121是连接器，用于与例如微型USB电缆或其它电子装置连接。
<一般图像捕获装置的硬件配置>
接下来，参照图12，说明根据本实施例的一般图像捕获装置3的硬件配置。图12表示一般图像捕获装置3的硬件配置。如图12所示，一般图像捕获装置3包括成像单元301，图像处理器304，成像控制器305，麦克风308，音频处理器309，总线310，CPU311，ROM312，SRAM313，DRAM314，操作单元315，网络I/F316，通信电路317，天线317a，电子罗盘318，和显示器319。图像处理器304和成像控制器305均经由总线310连接到CPU311。
一般图像捕获装置3的元件304,310,311,312,313,314,315,316,317,317a和318在结构和功能上与特殊图像捕获装置1的元件104,110,111,112,113，114,115,116,117,117a和118基本相似，因此，在此说明省略。
此外，如图12所示，在一般图像捕获装置3的成像单元301中，具有多个透镜的透镜单元306，机械快门按钮307和成像元件303从面向外侧的一侧依次设置(即，面对要捕获的对象的一侧)。
成像控制器305在结构和功能上与成像控制器105基本相同。成像控制器305还根据通过操作单元315输入的用户操作来控制镜头单元306和机械快门按钮307的操作。
显示器319能够显示操作菜单、正在捕获的图像或已捕获的图像等。
<智能手机的硬件配置>
参照图13，说明根据本实施例的智能手机5的硬件配置。图13表示智能手机5的硬件配置。如图13所示，智能手机5包括CPU501，ROM502，RAM503，EEPROM504，互补金属氧化物半导体(CMOS)传感器505，成像元件I/F513a，加速度及方位传感器506，介质I/F508，和GPS接收器509。
CPU501控制智能手机5的整体操作。ROM502存储用于控制CPU501的控制程序，例如IPL。RAM503用作CPU501的工作区域。EEPROM504在CPU501的控制下读取或写入诸如用于智能手机5的控制程序的各种数据。CMOS传感器505在CPU501的控制下捕获对象(例如，操作智能手机5的用户)以获得捕获的图像数据。成像元件I/F513a是控制CMOS传感器512的驱动的电路。加速度及方位传感器506包括各种传感器，例如用于检测地磁的电磁罗盘、陀螺罗盘、加速度传感器等。介质I/F508控制相对于诸如闪存的记录介质507的数据读取或写入。GPS接收器509从GPS卫星接收GPS信号。
智能手机5还包括远程通信电路511，用于远程通信电路511的天线511a，CMOS传感器512，成像元件I/F513b，麦克风514，扬声器515，音频输入/输出I/F516，显示器517，外部设备连接I/F518，近程通信电路519，用于近程通信电路519的天线519a，以及触摸板521。
远程通信电路511是通过通信网络100与其他设备通信的电路。CMOS传感器512是能够在CPU501的控制下捕获对象的内置成像装置的示例。成像元件I/F513b是控制CMOS传感器512的驱动的电路。麦克风514是能够在CPU501的控制下输入音频的内置音频采集设备的示例。音频输入/输出I/F516是用于在CPU501的控制下在麦克风514和扬声器515之间输入或输出音频信号的电路。显示器517可以是显示对象图像、操作图标等的液晶或有机电致发光(EL)显示器。外部设备连接I/F518是将智能手机5连接到各种外部设备的接口电路。近程通信电路519是根据Wi-Fi、NFC、蓝牙等进行通信的通信电路。触摸板521是使用户能够通过触摸显示器517的屏幕输入用户指令的输入设备的示例。
智能手机5还包括总线510。总线510的示例包括地址总线和数据总线等，其电连接诸如CPU501等元件。
应当注意，存储任何上述程序的诸如CD-ROM或HD的记录介质可以作为程序产品在国内或海外分发。
<图像捕获系统的功能配置>
参照图11至图14，说明根据本实施例的图像捕捉系统的功能配置。图14是表示根据本实施例的图像捕获系统中的特殊图像捕获装置1、一般图像捕获设备3、和智能手机5的功能配置的示意性框图。
<特殊图像捕获装置的功能配置>
参照图11和14，说明根据本实施例的特殊图像捕获装置1的功能配置。如图14所示，特殊图像捕获装置1包括接受单元12，图像捕获单元13，音频收集单元14，图像和音频处理单元15，判断器17，近距离通信单元18，以及存储和阅读单元19。这些单元是由图11中所示的任何元件根据从SRAM113扩展到DRAM114的特殊图像捕获装置控制程序，基于CPU111的指令而实现的功能或手段。
特殊图像捕获装置1还包括存储器1000，其由图11所示的ROM112，SRAM113和DRAM114实现。
参照图11和14，说明根据本实施例的特殊图像捕获装置1的各功能单元。
特殊图像捕获装置1的接受单元12由图11所示的操作单元115实现，接收单元12在CPU111的控制下动作。接收单元12根据用户操作接收从操作单元115输入的指令。
图像捕获单元13由成像单元101，图像处理器104和成像控制器105实现，如图11所示，各动作由CPU111控制。图像捕获单元13捕获对象或周围环境的图像，以获得捕获的图像数据。如图3A和3B所示，作为捕获图像数据，获得生成全天球图像的两个半球图像。
音频收集单元14由图11中所示的麦克风108和音频处理器109实现，各自都在CPU111的控制下动作。音频收集单元14收集特殊图像捕获装置1周围的声音。
图像和音频处理单元15由图11中所示的CPU111的指令实现。图像和音频处理单元15将图像处理应用于由图像捕获单元13获得的捕获图像数据。图像和音频处理单元15将音频处理应用于由音频收集单元14获得的音频。例如，图像和音频处理单元15使用分别由成像元件103a和103b获得的两个半球图像(图3A和3B)生成等距柱形投影图像(图3C)的数据。
由CPU111的指令实现的判断器17执行各种确定。
通过CPU111的指令实现的近距离通信单元18和具有天线117a的通信电路117使用如Wi-Fi等的近距离无线通信与智能手机5的近距离通信单元58等进行数据通信。
存储和读取单元19由图1中所示的CPU 111的指令实现。在存储器1000中存储各种数据或信息，或从存储器1000读出各种数据或信息。
<一般图像捕获装置的功能配置>
接下来，参照图12和图14，说明根据本实施例的一般图像捕获装置3的功能配置。如图14所示，一般图像捕获装置3包括接受单元32，图像捕获单元33，音频收集单元34，图像和音频处理单元35，显示控制器36，判断器37，近距离通信单元38，以及存储和读取单元39。这些单元是由图12中所示的任何元件根据从SRAM313扩展到DRAM314的特殊图像捕获装置控制程序，基于CPU311的指令而实现的功能或手段。
一般图像捕获装置3还包括存储器3000，其由图12中所示的ROM312，SRAM313和DRAM314实现。
一般图像捕获装置3的接受单元32由图12中所示的操作单元315实现，在CPU311的控制下动作。接收单元32根据用户操作接收从操作单元315输入的指令。
图像捕获单元33由成像单元301，图像处理器304和成像控制器305实现，如图12所示，各自都在CPU311的控制下动作。图像捕获单元33捕获对象或周围环境的图像以获得捕获的图像数据。在该示例中，捕获的图像数据是用透视投影(perspective projection)方法捕获的平面图像数据。
音频收集单元34由图12中所示的麦克风308和音频处理器309实现，各自都在CPU311的控制下动作。音频收集单元34收集一般图像捕获装置3周围的声音。
图像和音频处理单元35由图12中所示的CPU311的指令实现。图像和音频处理单元35将图像处理应用于由图像捕获单元33获得的捕获图像数据。图像和音频处理单元35将音频处理应用于由音频收集单元34获得的音频。
显示控制器36由图12所示的CPU311的指令实现，控制显示器319以基于正捕获的或已捕获的捕获图像数据显示平面图像P。
由CPU311的指令实现的判断器37执行各种确定。例如，判断器37确定用户是否按下快门按钮315a。
通过CPU311的指令实现的近距离通信单元38和具有天线317a的通信电路317使用例如Wi-Fi等的近距离无线通信与智能手机5的近距离通信单元58进行数据通信。
存储和读取单元39由图12中所示的CPU311的指令实现，在存储器3000中存储各种数据或信息，或从存储器3000读出各种数据或信息。
<智能手机的功能配置>
参照图13至图16，说明根据本实施例的智能手机5的功能配置。如图14所示，智能手机5包括远程通信单元51，接受单元52，图像捕获单元53，音频采集单元54，图像和音频处理单元55，显示控制器56，判断器57，近距离通信单元58，以及存储和读取单元59。这些单元是由图13中所示的任何元件根据从EEPROM504扩展到RAM503的控制程序，基于CPU501的指令而实现的功能或手段。
智能手机5还包括存储器5000，其由图13所示的ROM502，RAM503和EEPROM504实现。存储器5000存储链接图像捕获装置管理DB5001。链接图像捕获装置管理DB5001由图15A所示的链接图像捕获装置管理表实现。图15A是表示根据本实施例的链接图像捕获装置管理表的概念图。
参照图15A，说明根据本实施例的链接图像捕获装置管理表。如图15A所示，链接图像捕获装置管理表为每个图像捕获装置存储指示与链接图像捕获装置的关系的链接信息，图像捕获装置的IP地址，以及图像捕获装置的装置名称，彼此关联地存储管理。链接信息指示图像捕获装置在执行链接功能时是“主”装置还是“子”装置。作为“主”装置的图像捕获装置响应于按下为该装置提供的快门按钮而开始捕获图像。作为“子”装置的图像捕获装置响应于按下为“主”装置提供的快门按钮而开始捕获图像。IP地址是图像捕获装置的目的地信息的一个示例。在图像捕获装置使用Wi-Fi进行通信的情况下使用IP地址。或者，在图像捕获装置使用有线USB电缆进行通信的情况下，可以使用制造商的标识(ID)或产品ID。或者，在图像捕获装置使用诸如蓝牙的无线通信进行通信的情况下，使用蓝牙设备(BD)地址。
智能手机5的远程通信单元51由远程通信电路511实现，远程通信电路511在CPU501的控制下动作，如图13所示，通过诸如因特网的通信网络向其他设备(例如，其他智能手机或服务器)发送或接收各种数据或信息。
接受单元52由触摸板521实现，触摸板521在CPU501的控制下操作，以接收来自用户的各种选择或输入。触摸板521与图13中的显示器517分开设置，显示器517和触摸板521可以集成为一个设备。此外，除了触摸板521之外，智能手机5可以包括用于接收用户指令的任何硬件键，例如按钮。
图像捕获单元53由CMOS传感器505和512实现，其在CPU501的控制下操作，如图13所示。图像捕获单元53捕获对象或周围环境的图像以获得捕获的图像数据。
在该示例中，捕获的图像数据是用透视投影方法捕获的平面图像数据。
音频收集单元54由在CPU501的控制下操作的麦克风514实现。音频收集单元14a收集智能手机5周围的声音。
图像和音频处理单元55由图13中所示的CPU501的指令实现。图像和音频处理单元55将图像处理应用于已经由图像捕获单元53捕获的对象的图像。图像和音频处理单元15将音频处理应用于由音频收集单元54获得的音频。
显示控制器56由图13所示的CPU501的指令实现，控制显示器517显示基于正捕获的或已经由图像捕获单元53捕获的捕获图像数据的平面图像P。显示控制器56使用由图像和音频处理单元55生成的叠加显示元数据，将平面图像P叠加在全天球图像CE上。利用叠加的显示元数据，平面图像P的每个网格区域LA0放置在由位置参数指示的位置处，并且调整为具有由校正参数指示的明度值和颜色值。通过改变变焦比率或投影方法,使得平面图像P显示在各种显示形式中。
在该示例中，位置参数是位置信息的一个示例。校正参数是校正信息的一个示例。
判断器57由图13中所示的CPU501的指令实现，执行各种确定。
通过CPU501的指令实现的近距离通信单元58和具有天线519a的近程通信电路519能使用诸如Wi-Fi的近距离无线通信技术与特殊图像捕获装置1的近距离通信单元18、一般图像捕获装置3的近距离通信单元38进行数据通信。
存储和读取单元59由图13中所示的CPU501的指令实现，在存储器5000中存储各种数据或信息，或者从存储器5000读出各种数据或信息。例如，叠加的显示元数据可以存储在存储器5000中。在该实施例中，存储和读取单元59用作从存储器5000获得各种数据的获取器。
参照图16，说明根据本实施例的图像和音频处理单元55的功能配置。图16是表示根据该实施例的图像和音频处理单元55的功能配置的框图。
图像和音频处理单元55主要包括执行编码的元数据生成器55a和执行解码的叠加单元55b。在该示例中，编码对应于生成要用于叠加用于显示的图像的元数据的处理(“叠加显示元数据”)。此外，在该示例中，解码对应于使用叠加的显示元数据生成用于显示的图像的处理。元数据生成器55a执行S22的处理，S22是生成叠加显示元数据(superimposeddisplay metadata)的处理，如图19所示。叠加单元55b执行S23的处理，S23是使用叠加的显示元数据叠加图像的处理，如图19所示。
首先，说明根据本实施例的元数据生成器55a的功能配置。元数据生成器55a包括提取器550，第一区域计算器552，注视点指定器554，投影转换器556，第二区域计算器558，区域分割器560，投影逆转换器562，形状转换器564，校正参数生成器566和叠加显示元数据生成器570。在不校正明度和颜色的情况下，不必提供形状转换器564和校正参数生成器566。图20是表示利用在这种操作中处理或生成的图像生成叠加显示元数据的操作的概念图。
提取器550根据具有相同对象的两个图像中的每一个的局部特征提取特征点。特征点是两个图像中的独特关键点。局部特征对应于在图像中检测到的图案或结构，例如边缘或斑点。在该实施例中，提取器550提取彼此不同的两个图像中的各特征点。要由提取器550处理的这两个图像可以是使用不同图像投影方法生成的图像。除非投影方法的差异导致高度失真的图像，否则可以使用任何期望的图像投影方法。例如，参照图20所示，提取器550基于包括相同对象的这些图像中的每一个的局部特征，从等距柱形投影(S110)所得到的长方形的等距柱形投影图像EC和透视投影(S110)所得到的长方形的平面图像P中提取特征点。此外，提取器550基于具有相同对象的这些图像中的每一个的局部特征，从长方形的平面图像P(S110)和由投影转换器556转换的外围区域图像PI(S150)中提取特征点。在该实施例中，等距柱形投影方法是第一投影方法的一个示例，透视投影方法是第二投影方法的一个示例。等距柱形投影图像是第一投影图像的一个示例，平面图像P是第二投影图像的一个示例。
第一区域计算器552基于在等距柱形投影图像EC中的多个特征点fp1计算特征值fv1。第一区域计算器552还基于平面图像P中的多个特征点fp2计算特征值fv2。可以以任何期望的方法检测特征值或特征点。然而，优选特征值或特征点对于标度或图像旋转的变化是不变的或稳固的。第一区域计算器552基于在等距柱形投影图像EC中的特征点fp1的特征量fv1和在平面图像P中的特征点fp2的特征值fv2之间的类似度，指定图像之间的对应点。基于该图像之间的对应点，第一区域计算器552计算等距柱形投影图像EC和平面图像P之间的变换的单应性。然后，第一区域计算器552将第一单应变换应用于平面图像P(S120)。因此，第一区域计算器552在等距柱形投影图像EC中获得对应于平面图像P的第一对应区域CA1(“第一区域CA1”)。在这种情况下，通过第一单应变换，将由平面图像P的四个顶点限定的矩形的中心点CP1转换为等距柱形投影图像EC中的注视点GP1。
在此，平面图像P的四个顶点p1，p2，p3和p4的坐标是p1＝(x1，y1)，p2＝(x2，y2)，p3＝(x3，y3)，p4＝(x4，y4)。第一区域计算器552使用下面的式2计算中心点CP1(x，y)。
(式2)：
S1＝{(x4-x2)*(y1-y2)-(y4-y2)*(x1-x2)}/2
S2＝{(x4-x2)*(y2-y3)-(y4-y2)*(x2-x3)}/2
x＝x1+(x3-x1)*S1/(S1+S2)
y＝y1+(y3-y1)*S1/(S1+S2)
虽然平面图像P在图20的情况下是矩形，但即使当平面图像P是正方形，梯形或菱形时，也可以使用具有平面图像P的对角线的交点的式2计算中心点CP1。当平面图像P具有矩形或正方形的形状时，对角线的中心点可以设置为中心点CP1。在这种情况下，使用下面的式3分别计算顶点p1和p3的对角线的中心点。
(式3)：
x＝(x1+x3)/2
y＝(y1+y3)/2
注视点指定器554指定在等距柱形投影图像EC中的点(称为注视点)，其对应于第一单应变换之后的平面图像P的中心点CP1(S130)。
在此，注视点GP1表示为等距柱形投影图像EC上的坐标。注视点GP1的坐标可以变换为纬度和经度。具体地说，等距柱形投影图像EC的垂直方向上的坐标表示为-90度(-0.5π)至+90度(+0.5π)范围内的纬度。此外，等距柱形投影图像EC的水平方向上的坐标表示为-180度(-π)至+180度(+π)范围内的经度。通过该变换，可以由纬度和经度系统根据等距柱形投影图像EC的图像尺寸计算每个像素的坐标。
投影转换器556从等距柱形投影图像EC提取外围区域PA，该外围区域PA是围绕注视点GP1的部分。投影转换器556将周边区域PA从等距柱形投影转换为透视投影，以生成周边区域图像PI(S140)。确定周边区域PA，使得在投影变换之后，方形外围区域图像PI具有垂直视角(或水平视角)，其与平面图像P的对角线视角α相同。在此，周边区域图像PI的中心点CP2对应于注视点GP1。
(投影变换)
以下详细说明在图20的S140执行的投影的变换。如上面参照图3至5所述，等距柱形投影图像EC覆盖球体CS的表面，以产生全天球图像CE。因此，等距柱形投影图像EC中的每个像素对应于球面CS的表面中的每个像素，即，三维全天球图像。投影转换器556应用以下变换式。在此，用于等距柱形投影图像EC的坐标系用(纬度，经度)＝(ea，aa)表示，用于三维球CS的直角坐标系用(x，y，z)表示。
(式4)：
(x，y，z)＝(cos(ea)×cos(aa)，cos(ea)×sin(aa)，sin(ea))
其中，球体CS的半径为1。
透视投影中的平面图像P是二维图像。当平面图像P由二维极坐标系(移动半径，自变量)＝(r，a)表示时，对应于对角线视角α的移动半径r具有从0到tan(对角线视角/2)的范围内的值。即，0≦r≦tan(对角线视角/2)。由二维直角坐标系(u，v)表示的平面图像P可以使用以下变换式5使用极坐标系(移动半径，自变量)＝(r，a)表示。
(式5)：
u＝r×cos(a)
v＝r×sin(a)
式5由三维坐标系(移动半径，极角，方位角)表示。对于球体CS的表面，三维坐标系中的移动半径为“1”。使用以下式6和式7，将覆盖球面CS的表面的等距柱形投影图像从等距柱形投影转换为透视投影。在此，等距柱形投影图像由上述二维极坐标系(移动半径，方位角)＝(r，a)表示，虚拟照相机IC位于球体中心。
(式6)：
r＝tan(极角)
(式7)：
a＝方位角
在此，假设极角为t，式6可表示为：t＝arctan(r)，因此，三维极坐标(移动半径，极角，方位角)可以表示为(1，arctan(r)，a)。
使用式8，将三维极坐标系变换为直角坐标系(x，y，z)。
(式8)：
(x，y，z)＝(sin(t)×cos(a)，sin(t)×sin(a)，cos(t))
式8用于在等距柱形投影中的等距柱形投影图像EC与透视投影中的平面图像P之间进行转换。更具体地说，对应于平面图像P的对角线视角α的移动半径r用于计算变换图坐标，其指示平面图像P与等距柱形投影图像EC之间的每个像素的位置的对应关系。利用该变换图坐标，变换等距柱形投影图像EC以在透视投影中生成周边区域图像PI。
通过上述投影变换，等距柱形投影图像EC中的坐标(纬度＝90°，经度＝0°)成为透视投影中的周边区域图像PI中的中心点CP2。在将投影变换应用于等距柱形投影图像EC中的任意点作为注视点的情况下，旋转覆盖有等距柱形投影图像EC的球体CS，使得注视点的坐标(纬度，经度)配置在(90°，0°)。
可以使用用于旋转坐标的任何已知方式旋转球体CS。
(周边区域图像的确定)
接下来，参照图21A和21B，说明根据本实施例的周边区域图像P1的确定。图21A和21B是用于描述周边区域图像PI的确定的概念图。
为了使第一区域计算器552能够确定平面图像P和周边区域图像PI之间的对应关系，优选周边区域图像PI足够大以包括整个第二区域CA2。如果外围区域图像PI具有大尺寸，则第二区域CA2包括在这种大尺寸区域图像中。然而，对于大尺寸外围区域图像PI，由于存在大量经历相似度计算的像素，因此，处理所需的时间增加。因此，周边区域图像PI应该是包括至少整个第二区域CA2的最小尺寸图像区域。在该实施例中，外围区域图像PI按如下方法确定。
更具体地说，使用平面图像的35mm等效焦距确定周边区域图像PI，其是从捕获图像时记录的Exif数据获得的。由于35mm等效焦距是对应于24mm×36mm胶片尺寸的焦距，因此，可以使用式9和式10从24mm×36mm胶片的对角线和焦距计算。
(式9)：
胶片对角线＝sqrt(24*24+36*36)
(式10)：
合成用图像视角/2＝arctan((胶片对角线/2)/合成用图像35mm换算焦距)
具有该视角的图像具有圆形形状。由于实际成像元件(胶片)具有矩形形状，因此，利用成像元件拍摄的图像是内接于这样的圆中的矩形。在该实施例中，确定周边区域图像PI，使得周边区域图像PI的垂直视角α等于平面图像P的对角线视角α。也就是说，图21B中所示的外围区域图像PI是围绕包含图21A中所示的平面图像P的对角线视角α的圆的矩形。使用式11和式12，根据正方形的对角和平面图像P的焦距计算垂直视角α。
(式11)：
正方形对角＝sqrt(胶片对角*胶片对角+胶片对角*胶片对角)
(式12)：
垂直视角α/2＝arctan((正方形对角/2)/平面图像的35mm换算焦距))
计算出的垂直视角α用于通过投影变换获得透视投影中的周边区域图像PI。所获得的周边区域图像PI至少包含具有平面图像P的对角线视角α的图像，同时以注视点为中心，但具有尽可能小的垂直视角α。
(位置信息的计算)
返回图16和20，第二区域计算器558计算平面图像P中的多个特征点fp2的特征值fv2，以及周边区域图像PI中的多个特征点fp3的特征值fv3。第二区域计算器558基于特征值fv2和特征值fv3之间的相似性指定图像之间的对应点。基于图像之间的对应点，第二区域计算器558计算平面图像P和周边区域图像PI之间的变换的单应性。然后，第二区域计算器558将第二单应变换应用于平面图像P(S160)。因此，第二区域计算器558获得第二(对应)区域CA2(“第二区域CA2”)，在周边区域图像PI中，对应于平面图像P(S170)。
在上述变换中，为了增加计算速度，在应用第一单应变换之前，可以改变平面图像P和等距柱形投影图像EC中的至少一个的图像尺寸。例如，假设平面图像P具有4000万像素，等距柱形投影图像EC具有3000万像素，则平面图像P的尺寸可以减小到3000万像素。或者，平面图像P和等距柱形投影图像EC都可以减小到1000万像素。类似地，在应用第二单应变换之前，可以改变平面图像P和周边区域图像PI中的至少一个的图像尺寸。
在本实施例中的单应是表示等距柱形投影图像EC和平面图像P的投影关系的变换矩阵。平面图像P的坐标系乘以单应变换矩阵,转换为等距柱形投影图像EC(全天球图像CE)的相应坐标系。
区域分割器560将图像的一部分分割为多个网格区域。参照图22A和22B，说明根据本实施例的将第二区域CA2分割为多个栅格区域的操作。图22A和22B表示根据本实施例的将第二区域分割为多个网格区域的操作的概念图。
如图22A所示，第二区域CA2是由第二区域计算器558通过第二单应变换获得的四个顶点限定的矩形。如图22B所示，区域分割器560将第二区域CA2分割为多个栅格区域LA2。例如，第二区域CA2在水平方向上等分为30个网格区域，在垂直方向上等分为20个网格区域。
接下来，详细说明将第二区域CA2分割为多个栅格区域LA2。
使用下式对第二区域CA2进行等分。假设连接两个点A(X1，Y1)和B(X2，Y2)的线被等分为“n”个，则从A第m个点Pm的坐标用式13计算。
(式13)：
Pm＝(X1+(X2-X1)×m/n，Y1+(Y2-Y1)×m/n)
利用式13，该线可以被等分为多个坐标。矩形的上线和下线各自被分成多个坐标，以产生连接上线和下线的相应坐标的多条线。生成的线各自被分成多个坐标，以进一步生成多条线。在此，矩形的左上、右上、右下和左下的点(顶点)的坐标分别由TL、TR、BR和BL表示。连接TL和TR的线以及连接BR和BL的线均等分为30个坐标(0到30个坐标)。接下来，将连接TL-TR线的对应0至30坐标和BR-BL线的每条线等分为20个坐标。因此，矩形区域被分成30×20个子区域。图22B表示左上点TL的坐标(LO00,00，LA00,00)的示例情况。
返回图16和20，投影逆转换器562将施加到第二区域CA2的投影逆转换为与等距柱形投影图像EC相同的等距柱形投影。利用该投影变换，确定等距柱形投影图像EC中的与第二区域CA2对应的第三区域CA3。具体地说，投影逆转换器562确定等距柱形投影图像EC中的第三区域CA3，其包含与第二区域CA2中的多个网格区域LA2对应的多个网格区域LA3。图23表示图20中所示的第三区域CA3的放大图。图23是用于说明等距柱形投影图像EC中的第三区域CA3的确定的概念图。平面图像P叠加在全天球图像CE上，该全天球图像CE是由等距柱形投影图像EC生成的，以便通过映射合适地位于由第三区域CA3限定的部分中。通过投影逆转换器562的处理，生成位置参数，其指示每个网格区域LA3中的每个网格点的坐标。位置参数如图17和图18B所示。在该示例中，网格点可以被称为多个点中的单个点。
如上所述，生成位置参数，其用于计算等距柱形投影图像EC和平面图像P之间的每个像素的对应关系。
尽管平面图像P在具有位置参数的正确位置处叠加在等距柱形投影图像EC上，但是这些图像EC和图像P的明度或色调可能变化，从而导致不自然的外观。提供形状转换器564和校正参数发生器566以避免这种不自然的外观，即使这些明度和色调不同的图像部分地叠加在另一个之上。
在应用颜色校正之前，形状转换器564将第二区域CA2转换为具有与平面图像P的形状相同的形状。为了使形状相等，形状转换器564映射第二区域CA2的四个顶点，在平面图像P的相应四个顶点上。更具体地说，使第二区域CA2的形状等于平面图像P的形状，使得图24A中所示的第二区域CA2中的每个网格区域LA2可以包括在第二区域CA2中。如图24C所示，平面图像P中的每个网格区域LA0位于相同的位置。也就是说，图24A中所示的第二区域CA2的形状转换为图24B所示的第二区域CA2'的形状。当每个网格区域LA2被转换为对应的网格区域LA2'时，网格区域LA2'的形状与平面图像P中的对应网格区域LA0的形状相同。
校正参数生成器566生成校正参数，该校正参数将应用于第二区域CA2'中的每个网格区域LA2'，使得每个网格区域LA2'等于平面图像P中的对应网格区域LA0的明度和颜色。具体地说，校正参数生成器566指定共享一个公共网点的四个网格区域LA0，并计算构成四个网格区域LA0的所有像素的明度值和颜色值(R，G，B)的平均值avg＝(Rave，Gave，Bave)。类似地，校正参数生成器566指定共享一个公共网点的四个网格区域LA2'，并计算在指定的四个网格区域LA2'中包含的所有像素的明度值和颜色值(R'，G'，B')的平均值avg'＝(R'ave，G'ave，B'ave)。如果指定网格区域LA0的一个网格和特定网格区域LA2'的对应网格对应于第二区域CA2(或第三区域CA3)的四个顶点中的一个，则校正参数生成器566计算来自角落处的一个网格区域的像素的明度和颜色的平均值avg和平均值avg'。如果特定网格区域LA0的一个网格和特定网格区域LA2'的对应网格对应于第二区域CA2(或第三区域CA3)的轮廓的网格，则校正参数生成器566计算来自轮廓内两个网格区域的像素的明度值和颜色值的平均值avg和平均值avg'。在该实施例中，校正参数是用于校正平面图像P的明度和颜色的增益数据。因此，通过将avg'除以avg获得校正参数Pa，如下式14所示。
(式14)：
Pa＝avg'/avg
在显示叠加的图像时，每个网格区域LA0乘以由校正参数表示的增益。因此，平面图像P的明度和颜色基本上等于等距柱形投影图像EC(全天球图像CE)的明度和颜色。即使当平面图像P叠加在等距柱形投影图像EC上时，也能防止不自然的外观。除了平均值之外或者替代平均值，可以使用网格区域中的像素的明度和颜色的中央值或最频繁值来计算校正参数。
在该实施例中，值(R，G，B)用于计算每个像素的明度和颜色。或者，可以使用任何其他颜色空间来获得明度和颜色，例如使用YUV的明度和色差，以及根据JPEG使用sYCC(YCbCr)获得明度和色差。可以使用任何期望的已知方法将颜色空间从RGB转换为YUV，或转换为sYCC(YCbCr)。例如，符合JPEG文件交换格式(JFIF)的RGB可以使用式15转换为YCbCr。
(式15)：
叠加显示元数据生成器570使用诸如位置参数和校正参数生成指示平面图像P叠加在全天球图像CE上的位置的叠加显示元数据，以及用于校正像素的明度和颜色的校正值。
(叠加显示元数据)
参照图17，说明根据本实施例的叠加显示元数据的数据结构。图17表示根据本实施例的叠加显示元数据的数据结构。
如图17所示，叠加显示元数据包括等距柱形投影图像信息，平面图像信息，叠加显示信息和元数据生成信息。
利用捕获的图像数据，从特殊图像捕获装置1发送等距柱形投影图像信息。等距柱形投影图像信息包括图像标识符(图像ID)和捕获的图像数据的附属数据。包括在等距柱形投影图像信息中的图像标识符用于识别等距柱形投影图像。在图17中，使用图像文件名作为图像标识符的示例，也可以是用于唯一识别图像的图像ID。
包括在等距柱形投影图像信息中的附属数据是与等距柱形投影图像有关的任何信息。在图17的元数据的情况下，附属数据包括等距柱形投影图像的姿势校正数据(俯仰，偏转，滚动)，其由特殊图像捕获装置1在捕获图像时获得。姿势校正数据按照标准图像记录格式，例如可交换图像文件格式(Exif)存储。或者，姿势校正数据可以以由Google PhotoSphere模式(GPano)定义的任何期望格式存储。只要在相同位置拍摄图像，特殊图像捕获装置1就可以通过任何定位以360度捕获图像。然而，在显示这样的全天球图像CE时，应该指定定位信息和图像中心(注视点)。通常，校正全天球图像CE用于显示，使得其天顶正好在捕获图像的用户上方。通过该校正，水平线显示为直线，因此，显示的图像具有更自然的外观。
利用捕获的图像数据，从一般图像捕获装置3发送平面图像信息。平面图像信息包括图像标识符(图像ID)和捕获的图像数据的附属数据。图像标识符包括在所述平面图像信息，用于识别所述平面图像P。在图17中，使用图像文件名作为图像标识符的示例，也可以是用于唯一识别图像的图像ID。
包括在平面图像信息中的附属数据是与平面图像P有关的任何信息。在图17的元数据的情况下，平面图像信息包括作为附属数据的35mm换算焦距的值。对于将平面图像P叠加在全景全天球图像CE上显示来说，35mm换算焦距的值并不是必须的，然而，进行叠加显示场合，其成为用于确定显示叠加图像时的视角的参考信息，
叠加显示信息由智能手机5生成。在该示例中，叠加显示信息包括区域分割数信息，每个网格区域中网格的坐标(位置参数)，以及明度和颜色的校正值(校正参数)。区域分割数信息表示第一区域CA1在水平(经度)方向和垂直(纬度)方向上的分割数。当将第一区域CA1分割为多个网格区域时，区域分割数信息表示此时水平(经度)方向的分割数和垂直(纬度)方向的分割数。
位置参数是映射信息，其针对平面图像P的每个网格区域中的每个网格指示在等距柱形投影图像EC中的位置。例如，位置参数使得等距柱形投影图像EC中的每个网格区域中的每个网格的位置与平面图像P中的每个网格区域中的每个网格相关联。在该示例中，校正参数是用于校正平面图像P的颜色值的增益数据。由于要校正的目标可以是单色图像，因此，校正参数可以仅用于校正明度值。因此，至少使用校正参数来校正图像的明度。
用于捕获平面图像P的透视投影不适用于捕获360度全方位图像，例如全天球图像CE。广角图像例如全天球图像，通常在等距柱形投影中捕获。在等距柱形投影中，像墨卡托投影一样，水平方向上的线之间的距离远离标准平行线。这导致产生与透视投影中的一般相机拍摄的图像看起来非常不同的图像。如果显示叠加在全天球图像CE上的平面图像P，则投影不同的平面图像P和全天球图像CE看起来彼此不同。即使在这些图像之间使缩放相等，平面图像P也不适合全天球图像CE。鉴于上述情况，如上参照图20所述，生成位置参数。
参照图18A和18B，详细说明根据本实施例的位置参数和校正参数。图18A是表示根据本实施例的第二区域CA2中的多个网格区域的概念图。图18B是表示根据本实施例的第三区域CA3中的多个网格区域的概念图。
如上所述，作为等距柱形投影图像EC的一部分的第一区域CA1在透视投影中被转换为第二区域CA2，其是与平面图像P的投影相同的投影。如图18A所示，第二区域CA2在水平方向上分割为30个网格区域，在垂直方向上分割为20个网格区域，总共产生600个网格区域。仍然参照图18A，每个网格区域中每个网格的坐标可以表示为(LO00,00，LA00,00)，(LO01,00，LA01,00),……，(LO30,20，LA30,20)。每个网格区域中每个网格的明度和颜色的校正值可以表示为(R00,00，G00,00，B00,00)，(R01,00，G01,00，B01,00)),……，(R30,20，G30,20，B30,20)。为简单起见，在图18A中，仅表示具有坐标值的四个顶点(网格点)，以及用于明度和颜色的校正值。然而，坐标值和明度及颜色的校正值分配给所有网格中的每一个。明度和颜色的校正值R，G，B分别对应于红色、绿色和蓝色的校正增益。在该示例中，针对以特定网格为中心的预定区域生成明度和颜色的校正值R，G，B。选择特定网格，使得这种网格的预定区域不与相邻特定网格的预定区域重叠。
如图18B所示，第二区域CA2在等距柱形投影中被逆转换为第三区域CA3，这是与等距柱形投影图像EC的投影相同的投影。在该实施例中，第三区域CA3在水平方向上等分为30个网格区域，在垂直方向上等分为20个网格区域，总共产生600个网格区域。参照图18B，每个网格区域中每个网格的坐标可以表示为(LO'00,00，LA'00,00)，(LO'01,00，LA'01,00),……，(LO'30,20，LA'30,20)。每个网格区域中的每个网格的明度和颜色的校正值与第二区域CA2中的每个网格区域中的每个网格的明度和颜色的校正值相同。为简单起见，在图18B中，仅表示具有坐标值的四个顶点(网格)，以及用于明度和颜色的校正值。然而，坐标值以及明度和颜色的校正值分配给所有网格中的每一个。
返回图17，元数据生成信息包括指示叠加显示元数据的版本的版本信息。
如上所述，位置参数指示平面图像P和等距柱形投影图像EC(全天球图像CE)之间的像素位置的对应关系。如果要为所有像素提供这样的对应信息，则在一般图像捕获装置3是高分辨率数字相机的情况下需要大约4000万像素的数据。由于位置参数的数据尺寸增加，这增加了处理负荷。鉴于此种情况，在本实施例中，平面图像P分割为600(30×20)个网格区域。位置参数指示平面图像P和等距柱形投影图像EC(全天球图像CE)之间的600个网格区域中的每一个的各网格的对应关系。当通过智能手机5显示叠加图像时，智能手机5可以基于该网格区域中的每个网格的坐标内插每个网格区域中的像素。
(叠加单元的功能配置)
参照图16，说明根据本实施例的叠加单元55b的功能配置。叠加单元55b包括叠加区域生成器582，校正单元584，图像生成器586，图像叠加单元588和投影转换器590。
叠加区域生成器582指定球体CS的与第三区域CA3对应的部分，以生成部分球体PS。
校正单元584使用叠加显示元数据的校正参数校正平面图像P的明度和颜色，以匹配等距柱形投影图像EC的明度和颜色。校正单元584可以不总是对明度和颜色执行校正。在一个示例中，校正单元584可以仅使用校正参数校正平面图像P的明度。
图像生成器586将平面图像P(或平面图像P的校正图像C)叠加(映射)在部分球体PS，以生成要叠加在全天球图像CE上的图像，为简单起见，其称为叠加图像S。图像生成器586基于部分球体PS的表面区域生成掩蔽数据(mask data)M。图像生成器586在球体CS上覆盖(附着)等距柱形投影图像EC，以生成全天球图像CE。
掩蔽数据M是能用于将叠加图像S叠加到全天球图像CE场合的透射率数据。掩蔽数据M为了使得将叠加图像S叠加到全天球图像CE场合的边界周边的明度和颜色从内侧的叠加图像S侧逐渐接近外侧的全天球图像CE，掩模周边的透明度从内侧向着外侧，从靠近叠加图像S到靠近全天球图像CE逐渐变高。由此，即使叠加图像S叠加到全天球图像CE，也能极力使得叠加变得不明显。然而，掩蔽数据M的应用是可选的，并不是必须的。
图像叠加单元588将叠加图像S和掩蔽数据M叠加在全天球图像CE上。生成图像，其中高清晰度叠加图像S叠加在低清晰度全天球图像CE上。
如图7所示，投影转换器590转换投影，使得叠加图像S叠加状态的全天球图像CE的预定区域T显示在显示器517，例如，响应用户的显示指令。基于用户的视线(虚拟照相机IC的方向，由预定区域T的中心点CP表示)和预定区域T的视角α执行投影变换。在投影变换中，投影转换器590转换预定区域T的分辨率，以与显示器517的显示区域的分辨率相匹配。具体地说，当预定区域T的分辨率小于显示器517的显示区域的分辨率时，投影转换器590放大预定区域T的尺寸，以匹配显示器517的显示区域。相反，当预定区域T的分辨率大于显示器517的显示区域的分辨率时，投影转换器590减小预定区域T的尺寸，以匹配显示器517的显示区域。因此，显示控制器56在显示器517的整个显示区域显示预定区域图像Q，即预定区域T的图像。
参照图19至30，说明根据本实施例的由图像捕获系统执行的捕获图像和显示图像的操作。首先，参照图19，说明根据本实施例的由图像捕获系统执行的捕获图像的操作。图19是表示根据本实施例的捕获图像的操作的数据序列图。以下描述捕获对象的对象和周围环境的示例情况。然而，除了捕获对象之外，当正在生成捕获图像时，音频可以由音频收集单元14记录。
如图19所示，智能手机5的接受单元52接受用户指令以开始链接图像捕获(S11)。响应于开始链接图像捕获的用户指令，显示控制器56控制显示器517以显示如图15B所示的链接图像捕获装置配置屏幕。图15B的屏幕对于每个可使用的图像捕获装置包括当选择图像捕获装置作为主装置时要选择的单选按钮，以及当选择图像捕获装置作为子装置时要选择的复选框。图15B的屏幕还为每个可使用的图像捕获装置显示图像捕获装置的装置名称和接收信号强度等级。假设用户选择一个图像捕获设备作为主装置，选择其他图像捕获装置作为子装置，并按下“确认”键，智能手机5的接受单元52接受开始链接图像捕获的指令。在该示例中，可以选择多个图像捕获装置作为子装置。出于这个原因，可以选择多个复选框。
智能手机5的近距离通信单元58向一般图像捕获装置3的近距离通信单元38发送轮询查询以开始图像捕获(S12)。一般图像捕获装置3的近距离通信单元38接收该查询以开始图像捕获。
一般图像捕获装置3的判断器37根据接受单元32是否已经接受用户按下快门按钮315a来确定图像捕获是否已经开始(S13)。
一般图像捕获装置3的近距离通信单元38将基于S13的确定结果的响应发送到智能手机5(S14)。当在S13确定图像捕获已经开始时，响应指示图像捕获已经开始。在这种情况下，响应包括利用一般图像捕获装置3捕获的图像的图像标识符。相反，当在S13确定图像捕获尚未开始时，响应指示其等待开始图像捕获。智能手机5的近距离通信单元58接收该响应。
继续描述，假设确定指示图像捕获已在S13开始，并且在S14发送指示图像捕获已开始的响应。
一般图像捕获装置3开始捕获图像(S15)。在按下快门按钮315a之后执行的S15的处理包括捕获对象和周围环境，以利用图像捕获单元33生成捕获图像数据(平面图像数据)，并且用存储和读取单元39将捕获图像数据存储在存储器3000中。
在智能手机5，近距离通信单元58将请求开始图像捕获的图像捕获开始请求发送到特殊图像捕获装置1(S16)。特殊图像捕获装置1的近距离通信单元18接收图像捕获开始请求。
特殊图像捕获装置1开始捕获图像(S17)。具体地说，在S17，图像捕获单元13捕获对象和周围环境以生成捕获的图像数据，即，如图3A和3B所示的两个半球图像。然后，图像和音频处理单元15基于这两个半球图像，生成如图3C所示的等距柱形投影图像。存储和读取单元19将等距柱形投影图像的数据存储在存储器1000中。
在智能手机5，近距离通信单元58将用于发送捕获图像的请求(“捕获图像请求”)发送到一般图像捕获装置3(S18)。捕获图像请求包括在S14接收的图像标识符。一般图像捕获装置3的近距离通信单元38接收捕获图像请求。
一般图像捕获装置3的近距离通信单元38将在S15获得的平面图像数据发送到智能手机5(S19)。这时，与平面图像数据一起，也发送用于识别平面图像数据的图像标识符和附属数据。平面图像的图像标识符和附属数据是图17中所示的平面图像信息的一部分。智能手机5的近距离通信单元58接收平面图像数据，图像标识符和附属数据。
特殊图像捕获装置1的近距离通信单元18将在S17获得的等距柱形投影图像数据发送到智能手机5(S20)。与等距柱形投影图像数据一起，也发送用于识别等距柱形投影图像数据的图像标识符和附属数据。如图17所示，图像标识符和附属数据是等距柱形投影图像信息的一部分。智能手机5的近距离通信单元58接收等距柱形投影图像数据，图像标识符和附属数据。
接下来，智能手机5的存储和读取单元59将在S19接收的平面图像数据和在S20接收的等距柱形投影图像数据存储在存储器5000的相同文件夹中(S21)。
接下来，智能手机5的图像和音频处理单元55生成叠加的显示元数据，其用于显示平面图像P部分地叠加在全天球图像CE上的图像(S22)。在此，平面图像P是高清晰度图像，全天球图像CE是低清晰度图像。存储和读取单元59将叠加的显示元数据存储在存储器5000中。
参照图20至24，详细说明根据本实施例的生成叠加显示元数据的操作。即使当一般图像捕获装置3和特殊图像捕获装置1在成像元件的分辨率相等时，特殊图像捕获装置1的成像元件也捕获宽区域，以获得从360度获得的等距柱形投影图像，生成全天球图像CE。因此，利用特殊图像捕获装置1捕获的图像数据趋向于每单位面积的清晰度低。
<叠加显示元数据的生成>
首先，描述生成叠加显示元数据的操作。叠加显示元数据用于在显示器517上显示图像，其中，高清晰度平面图像P叠加在全天球图像CE上。从低清晰度的等距柱形投影图像EC生成全天球图像CE。如图17所示，叠加显示元数据包括位置参数和校正参数，每个位置参数和校正参数按如下所述生成。
参照图20，提取器550从在等距柱形投影中捕获的长方形的等距柱形投影图像EC中提取多个特征点fp1(S110)。提取器550还从透视投影中捕获的长方形的平面图像P中提取多个特征点fp2(S110)。
接下来，第一区域计算器552通过第一单应性变换，基于等距柱形投影图像EC中的特征点fp1的特征值fv1和平面图像P中的特征点fp2的特征值fv2之间的相似度，计算在等距柱形投影图像EC中，与平面图像P对应的矩形第一区域CA1(S120)。更具体地说，第一区域计算器552基于计算得到的等距柱形投影图像EC的多个特征点fp1的特征值fv1和平面图像P中的多个特征点fp2的特征值fv2之间的相似度，计算图像间的对应点，在等距柱形投影图像EC中，通过求取与平面图像P对应的单应性，得到第一单应性变换，如图20所示，在等距柱形投影图像EC中，计算与平面图像P对应的矩形第一区域CA1(S120)。执行上述处理以粗略估计平面图像P和投影方式不同的等距柱形投影图像EC之间的对应像素(网格)位置。
接下来，注视点指定器554指定等距柱形投影图像EC中的点(称为注视点)，其对应于第一单应变换之后的平面图像P的中心点CP1(S130)。
投影转换器556从等距柱形投影图像EC中提取外围区域PA，该外围区域PA是围绕注视点GP1的部分。投影转换器556将周边区域PA从等距柱形投影转换为透视投影，以生成周边区域图像PI(S140)。
提取器550从周边区域图像PI中提取多个特征点fp3，其由投影转换器556获得(S150)。
接下来，第二区域计算器558通过第二单应性变换，基于平面图像P中的特征点fp2的特征值fv2和周边区域图像PI中的特征点fp3的特征值fv3之间的相似度，计算在周边区域图像PI中，与平面图像P对应的矩形第二区域CA2(S160)。在该示例中，可以减小作为4000万像素的高清晰度图像的平面图像P的尺寸。
接下来，区域分割器560将第二区域CA2分割为多个网格区域LA2，如图22B所示(S170)。
如图20所示，投影逆转换器562将第二区域CA2从透视投影转换(逆转换)到等距柱形投影，其与等距柱形投影图像EC的投影相同(S180)。如图23所示，投影逆转换器562确定等距柱形投影图像EC中的第三区域CA3，其包含与第二区域CA2中的多个网格区域LA2对应的多个网格区域LA3。图23是用于说明等距柱形投影图像EC中的第三区域CA3的确定的概念图。通过投影逆转换器562的处理，生成位置参数，其指示每个网格区域LA3中的每个网格的坐标。位置参数如图17和图18B所示。
参照图20至24C，说明根据本实施例的生成校正参数的操作。图24A到24C是表示根据本实施例的生成校正参数的操作的概念图。
在S180之后，形状转换器564将第二区域CA2转换为具有与平面图像P的形状相同的形状。具体地说，形状转换器564映射第二区域CA2的四个顶点，如图24A所示，在平面图像P的相应的四个顶点上，获得第二区域CA2，如图24B所示。
如图24C所示，区域分割器560将平面图像P分割为多个网格区域LA0，其在形状和数量上与第二区域CA2'的多个网格区域LA2'相等(S200)。
校正参数生成器566生成校正参数，该校正参数将应用于第二区域CA2'中的每个网格区域LA2'，使得每个网格区域LA2'等于平面图像P中的对应网格区域LA0的明度和颜色(S210)。
如图17所示，叠加显示元数据生成器570使用从特殊图像捕获装置1获得的等距柱形投影图像信息，从一般图像捕获装置3获得的平面图像信息，预先设置的区域分割数信息，由投影逆转换器562生成的位置参数，由校正参数生成器566生成的校正参数，以及元数据生成信息，生成叠加显示元数据(S220)。该叠加显示元数据由存储和读取单元59存储在存储器5000中。
然后，在图19的S22，生成叠加显示元数据，结束处理。与存储和读取单元59协同，显示控制器56使用叠加显示元数据进行叠加处理(S23)。
<叠加>
参照图25至30D，说明根据本实施例的叠加图像的操作。图25是表示根据本实施例的在处理或生成图像的情况下叠加图像的操作的概念图。
图14中所示的存储和读取单元59(获取器)从存储器5000读取在等距柱形投影中的等距柱形投影图像EC的数据，透视投影中的平面图像P的数据，以及叠加的显示元数据。
参照图25，使用位置参数，叠加区域生成器582指定虚拟球体CS的与第三区域CA3对应的部分，以生成部分球体PS(S310)。通过线性插值对与具有由位置参数定义的位置的网格对应的像素以外的像素进行插值。
校正单元584使用叠加显示元数据的校正参数校正平面图像P的明度和颜色，以匹配等距柱形投影图像EC的明度和颜色(S320)。已经校正的平面图像P被称为“校正平面图像C”。
图像生成器586将平面图像P的校正后的平面图像C叠加在部分球体PS上，以生成叠加图像S(S330)。通过线性插值对与具有由位置参数定义的位置的网格对应的像素以外的像素进行插值。图像生成器586基于部分球体PS生成掩蔽数据M(S340)。图像生成器586在球体CS的表面覆盖(附着)等距柱形投影图像EC，以生成全天球图像CE(S350)。图像叠加单元588将叠加图像S和掩蔽数据M叠加在全天球图像CE上(S360)。生成图像，其中，高清晰度叠加图像S叠加在低清晰度全天球图像CE上。利用掩蔽数据，两个不同图像之间的边界变得不明显。
如图7所示，投影转换器590转换投影，使得用叠加图像S叠加的全天球图像CE的预定区域T显示在显示器517，例如，响应于用户的显示指令。基于用户的视线(虚拟相机IC的方向，由预定区域T的中心点CP表示)和预定区域T的视角α执行投影变换(S370)。投影转换器590还可以根据显示器517的显示区域的分辨率改变预定区域T的尺寸。因此，显示控制器56在显示器517的整个显示区域中显示预定区域图像Q，即预定区域T的图像(S24)。在该示例中，预定区域图像Q包括叠加有平面图像P的叠加图像S。
参照图26至30D，详细说明根据本实施例的叠加图像的显示。图26是表示叠加有平面图像P的全天球图像CE的二维视图的概念图。平面图像P叠加在图5所示的全天球图像CE上。如图26所示，根据位置参数，高清晰叠加图像S叠加在覆盖球体CS表面的全天球图像CE上，叠加在球体CS的内侧。
图27是表示叠加有平面图像P的全天球图像CE的三维视图的概念图。图27表示全天球图像CE和叠加图像S覆盖球体CS的表面的状态，并且预定区域图像Q包括叠加图像S。
图28A和28B是表示根据比较例的在不使用位置参数的情况下叠加有平面图像的全天球图像的二维视图的概念图。图29A和29B是表示在本实施例中使用位置参数叠加有平面图像P的全天球图像CE的二维视图的概念图。
如图28A中所示，假设对应于用户的视点的虚拟相机IC位于作为参考点的球体CS的中心。作为图像捕获目标的对象P1由全天球图像CE中的对象P2表示。对象P1由叠加图像S中的对象P3表示。仍然参照图28A所示，对象P2和对象P3沿着连接虚拟相机IC和对象P1的直线定位。这表示即使当叠加图像S被显示为叠加在全天球图像CE上时，全天球图像CE的坐标和叠加图像S的坐标也匹配。如图28B所示，如果虚拟相机IC远离球体CS的中心移动，则对象P2的位置停留在连接虚拟相机IC和对象P1的直线上，但对象P3的位置稍微偏移到对象P3'的位置。对象P3'是叠加图像S中的对象，其沿着连接虚拟相机IC和对象P1的直线定位。这将因对象P3和对象P3'之间的偏移量“g”，导致全天球图像CE和叠加图像S之间的网格位置的差异。因此，在显示叠加图像S时，叠加图像S的坐标偏离全天球图像CE的坐标。
鉴于上述情况，在本实施例中，生成位置参数，其指示叠加图像S中的多个网格区域相对于平面图像P的各自位置。利用该位置参数，如图29A和29B所示，叠加图像S在右侧位置叠加在全天球图像CE上，同时补偿所述移位。更具体地说，如图29A所示，当虚拟相机IC位于球体CS的中心时，对象P2和对象P3沿着连接虚拟相机IC和对象P1的直线定位。如图29B所示，即使当虚拟相机IC远离球体CS的中心移动时，对象P2和对象P3也沿着连接虚拟相机IC和对象P1的直线定位。即使当叠加图像S被显示为叠加在全天球图像CE上时，全天球图像CE的坐标和叠加图像S的坐标也匹配。
因此，本实施例的图像捕捉系统能够以高图像质量显示图像，在该图像中，高清晰度平面图像P叠加在低清晰度全天球图像CE上。这将参照图30A至30D进行说明。图30A表示当作为广角图像显示时的全天球图像CE。在此，平面图像P不叠加在全天球图像CE上。图30B表示当显示为远摄图像时的全天球图像CE。在此，平面图像P不叠加在全天球图像CE上。图30C表示当显示为广角图像时与平面图像P叠加的全天球图像CE。图30D表示当显示为远摄图像时与平面图像P叠加的全天球图像CE。图30A和30C中的每一个中的点线是为了说明方便，表示平面图像P的边界。可以在显示器517上向用户显示或不显示这样的点线。
假设如图30A所示，显示没有叠加平面图像P的全天球图像CE，接收用于放大由点线区域指示的区域的用户指令。在这种情况下，如图30B所示，向用户显示作为模糊图像的放大的低清晰度图像。如上面在本实施例中所述，假设在叠加有平面图像P的全天球图像CE的同时，如图30C所显示，接收用于放大由点线区域指示的区域的用户指令。在这种情况下，如图30D所示，向用户显示作为清晰图像的高清晰度图像。例如，假设在虚线内表示的目标对象具有带有一些字符的符号，即使用户放大该部分，如果图像模糊，用户也可能无法读取这些字符。如果高清晰度平面图像P叠加在该部分上，则将向用户显示高质量图像，使得用户能够读取这些字符。
如上所述，在本实施例中，即使当投影方式不同的一个图像叠加在另一个上时，也可以补偿由投影差异引起的网格偏移。例如，即使当透视投影的平面图像P叠加在等距柱形投影的等距柱形投影图像EC上时，这些图像也以相同的坐标位置显示。更具体地说，特殊图像捕获装置1和一般图像捕获装置3使用不同的投影方法捕获图像。在这种情况下，如果由一般图像捕获装置3获得的平面图像P叠加在由特殊图像捕获装置1获得的等距柱形投影图像EC生成的全天球图像CE上，则因为这些图像CE和P看起来彼此不同，因此，平面图像P不适合全天球图像CE。鉴于此种状况，如图20所示，根据该实施例的智能手机5在等距柱形投影图像EC中，确定与平面图像P对应的第一区域CA1，粗略地确定叠加平面图像P的区域(S120)。智能手机5从等距柱形投影图像EC中提取外围区域PA，该外围区域PA是围绕第一区域CA1中的注视点GP1的部分。智能手机5还将周边区域PA从等距柱形投影转换为作为平面图像P的投影的透视投影，以生成周边区域图像PI(S140)。智能手机5在外围区域图像PI中确定对应于平面图像P的第二区域CA2(S160)，并且将施加到第二区域CA2的投影逆转换返回应用于等距柱形投影图像EC的等距柱形投影。利用该投影变换，在等距柱形投影图像EC中确定与第二区域CA2对应的第三区域CA3(S180)。如图30C所示，高清晰度平面图像P叠加在低清晰度全天球图像CE的预定区域图像的一部分上。当向用户显示时，平面图像P适合全天球图像CE。
此外，在该实施例中，位置参数使用包括多个网格区域的第三区域CA3，指示叠加图像S叠加在全天球图像CE上的位置。因此，如图29B所示，叠加图像S在右侧位置叠加在全天球图像CE上。即使虚拟相机IC的位置发生变化，也可以补偿由于投影差异导致的网格偏移。
第二实施例
参照图31至35，说明根据第二实施例的图像捕获系统。
<图像捕获系统概述>
首先，参照图31，说明根据第二实施例的图像捕获系统的概略。图31是表示根据第二实施例的图像捕获系统的配置的示意框图。
参照图31，与上述第一实施例的图像捕获系统相比，本实施例的图像捕获系统还包括图像处理服务器7。在第二实施例中，与第一实施例中描述的元件基本相同的元件赋予相同的附图标记。出于描述方便的目的，省略其描述。智能手机5和图像处理服务器7通过诸如因特网或内联网的通信网络100互相通信。
在第一实施例中，智能手机5生成叠加的显示元数据，并处理图像的叠加。在该第二实施例中，图像处理服务器7执行这样的处理，而不是智能手机5。本实施例中的智能手机5是通信终端的一个示例，图像处理服务器7是图像处理装置或设备的一个示例。
图像处理服务器7是服务器系统，其由可以分布在网络上的多个计算机实现，以彼此协作地执行诸如图像处理的处理。
<硬件配置>
接下来，参照图32，说明根据本实施例的图像处理服务器7的硬件配置。图32表示根据该实施例的图像处理服务器7的硬件配置。由于特殊图像捕获装置1，一般图像捕获装置3和智能手机5在硬件配置上基本相同，如第一实施例中所述，因此，省略其描述。
<图像处理服务器的硬件配置>
图32是图示根据本实施例的图像处理服务器7的硬件配置的示意框图。如图32所示，由通用计算机实现的图像处理服务器7包括CPU701，ROM702，RAM703，HD704，HDD705，介质I/F707，显示器708，网络I/F709，键盘711，鼠标712，CD-RW驱动器714和总线710。由于图像处理服务器7作为服务器操作，因此，不必提供诸如键盘711和鼠标712的输入设备，或诸如显示器708的输出设备。
CPU701控制图像处理服务器7的整体动作。ROM702存储用于控制CPU701的控制程序。RAM703用作CPU701的工作区域。HD704存储诸如程序的各种数据。HDD705在CPU701的控制下控制向HD704写入各种数据或从HD704读取各种数据。介质I/F707控制相对于诸如闪存的记录介质706的数据读取或写入。显示器708显示各种信息，例如光标，菜单，窗口，字符或图像。网络I/F709是通过通信网络100控制与外部设备的数据通信的接口。键盘711是输入设备的一个示例，其具有多个键，用于允许用户输入字符，数字或各种指令。鼠标712是用于允许用户选择特定指令或执行，选择用于处理的目标或移动正在显示的光标的输入设备的一个示例。CD-RW驱动器714控制相对于作为可移动记录介质一例的可重写光盘(CD-RW)713读取或写入各种数据。
图像处理服务器7还包括总线710。总线710是地址总线或数据总线，其电连接图32中的元件，例如CPU701。
<图像捕获系统的功能配置>
参照图33和34，说明根据第二实施例的图31的图像捕获系统的功能配置。图33是表示根据第二实施例的图31的图像捕获系统的功能配置的示意框图。由于特殊图像捕获装置1，一般图像捕获装置3和智能手机5在功能配置上基本相同，如第一实施例中所述，因此，省略其描述。然而，在本实施例中，智能手机5的图像和音频处理单元55既可以具有图16中所示的所有功能单元，也可以不具有这些功能单元。
<图像处理服务器的功能配置>
如图33所示，图像处理服务器7包括远程通信单元71，接受单元72，图像和音频处理单元75，显示控制器76，判断器77，以及存储和读取单元79。这些单元是由图32中所示的任何元件根据从HD704扩展到RAM703的控制程序，基于CPU701的指令而实现的功能或手段。
图像处理服务器7还包括存储器7000，其由图32所示的ROM702，RAM703和HD704实现。
图像处理服务器7的远程通信单元71由在CPU701的控制下操作的网络I/F709实现，如图32所示，通过诸如因特网的通信网络向其他设备(例如，其他智能手机或服务器)发送或接收各种数据或信息。
接受单元72由键盘711或鼠标712实现，键盘711或鼠标712在CPU701的控制下操作，以接收来自用户的各种选择或输入。
图像和音频处理单元75由CPU701的指令实现。图像和音频处理单元75对从智能手机5发送的各种类型的数据应用各种类型的处理。
由CPU701的指令实现的显示控制器76生成预定区域图像Q的数据，作为平面图像P的一部分，用于在智能手机5的显示器517上显示。显示控制器76使用由图像和音频处理单元75生成的叠加显示元数据，将平面图像P叠加在全天球图像CE上。利用叠加显示元数据，平面图像P的每个网格区域LA0放置在由位置参数指示的位置，并且调整为具有由校正参数指示的明度值和颜色值。
判断器77由图32中所示的CPU701的指令实现，执行各种确定。
存储和读取单元79由图32中所示的CPU701的指令实现，存储器7000中存储各种数据或信息，并从存储器7000中读出各种数据或信息。例如，叠加显示元数据可以存储在存储器7000中。在该实施例中，存储和读取单元79用作从存储器7000获得各种数据的获取器。
(图像和音频处理单元的功能配置)
参照图34，说明根据本实施例的图像和音频处理单元75的功能配置。图34是表示根据本实施例的图像和音频处理单元75的功能配置的框图。
图像和音频处理单元75主要包括执行编码的元数据生成器75a和执行解码的叠加单元75b。元数据生成器75a执行S44的处理，S44是用于生成叠加显示元数据的处理，如图35所示。叠加单元75b执行S45的处理，S45是使用叠加显示元数据叠加图像的处理，如图35所示。
(元数据生成器的功能配置)
首先，说明根据本实施例的元数据生成器75a的功能配置。元数据生成器75a包括提取器750，第一区域计算器752，注视点指定器754，投影转换器756，第二区域计算器758，区域分割器760，投影逆转换器762，形状转换器764，校正参数生成器766和叠加显示元数据生成器770。元数据生成器75a的这些元件在功能上基本上分别类似于元数据生成器55a的提取器550，第一区域计算器552，注视点指定器554，投影转换器556，第二区域计算器558，区域分割器560，投影逆转换器562，形状转换器564，校正参数生成器566和叠加显示元数据生成器570。因此，省略其描述。
参照图34，说明根据本实施例的叠加单元75b的功能配置。叠加单元75b包括叠加区域生成器782，校正单元784，图像生成器786，图像叠加单元788和投影转换器790。叠加单元75b的这些元件在功能上基本上分别类似于叠加单元55b的叠加区域发生器582，校正单元584，图像生成器586，图像叠加单元588和投影转换器590。因此，省略其描述。
<动作>
参照图35，捕获图像的动作由图31的根据第二实施例的图像捕获系统执行。图35是表示根据第二实施例的捕获图像的动作的数据序列图。S31至S41以与上述根据第一实施例的S11至S31所述的基本类似的方式执行，省略其描述。
在智能手机5，远程通信单元51通过通信网络100向图像处理服务器7发送请求将一个图像叠加在投影方式不同的其他图像上的叠加请求(S42)。叠加请求包括已经存储在存储器5000中的要处理的图像数据。在该示例中，要处理的图像数据包括平面图像数据和存储在同一文件夹中的等距柱形投影图像数据。所述图像处理服务器7的远程通信单元71接收要处理的图像数据。
接下来，在图像处理服务器7，存储和读取单元79将在S42接收的要处理的图像数据(平面图像数据和等距柱形投影图像数据)存储在存储器7000中(S43)。如图34中表示的元数据生成器75a生成叠加显示元数据(S44)。此外，叠加单元75b使用叠加显示元数据叠加图像(S45)。更具体地说，叠加单元75b将平面图像叠加在等距柱形投影图像上。S44和S45以与上面参照图19的S22和S23所述的基本类似的方式执行，省略其说明。
接下来，显示控制器76产生预定区域图像Q的数据，该预定区域图像Q对应于预定区域T，以显示在智能手机5的显示器517的显示区域中。如上所述，在该示例中，预定区域图像Q被显示，以覆盖显示器517的整个显示区域。在这个例子中，该预定区域图像Q包括用平面图像P叠加的叠加图像S。远距离通信单元71向智能手机5发送由显示控制器76生成的预定区域图像Q的数据(S46)。智能手机5的远距离通信单元51接收预定区域图像Q的数据。
智能手机5的显示控制器56控制显示器517，以显示包括叠加图像S的预定区域图像Q(S47)。
因此，本实施例的图像捕获系统可以实现上述参照第一实施例描述的优点。
此外，在该实施例中，智能手机5执行图像捕获，并且图像处理服务器7执行诸如叠加显示元数据的生成和叠加图像的生成的图像处理。这导致智能手机5上的处理负荷减小。因此，智能手机5不需要高的图像处理能力。
可以以各种其他方式实现上述实施例中的任何一个。例如，如图14所示，等距柱形投影图像数据，平面图像数据和叠加显示元数据可以不存储在智能手机5的存储器中。例如，等距柱形投影图像数据，平面图像数据和叠加显示元数据中任一个可以存储在网络上的任何服务器中。
在任何上述实施例中，平面图像P叠加在全天球图像CE上。或者，要叠加的平面图像P可以由全天球图像CE的一部分代替。在另一示例中，在删除全天球图像CE的一部分之后，平面图像P可以嵌入在没有图像的部分中。
此外，在第二实施例中，图像处理服务器7执行图像的叠加(S45)。例如，图像处理服务器7可以将叠加显示元数据发送到智能手机5，以指示智能手机5执行图像的叠加并显示叠加的图像。在这种情况下，在图像处理服务器7，图34中所示的元数据生成器75a生成叠加显示元数据。在智能手机5，图34中所示的叠加单元75b以与图16的叠加单元55b基本相似的方式将一个图像叠加在另一个图像上。图14所示的显示控制器56处理叠加图像的显示。
在本公开中，图像叠加的示例包括但不限于将一个图像完全或部分地放置在其他图像之上，将一个图像完全或部分地置于其他图像上，将一个图像完全或部分地映射到其他图像上，将一个图像完全或部分地粘贴在其他图像上，将一个图像与其他图像组合，以及将一个图像与其他图像集成。也就是说，只要用户能够感知在显示器上显示的多个图像(诸如全天球图像和平面图像)，由于它们是一个图像，对要显示的那些图像执行的处理不限于上述例子。
本发明可以以任何方便的形式实现，例如使用专用硬件，或专用硬件和软件的混合。本发明可以实现为由一个或多个联网处理设备实现的计算机软件。处理设备可以为任何适当编程的设备，例如通用计算机，个人数字助理，移动电话(例如WAP或3G兼容电话)等。由于本发明可以实现为软件，因此本发明的每个方面都包含可在可编程设备上实现的计算机软件。可以使用诸如记录介质的任何常规载体介质将计算机软件提供给可编程设备。载体介质可以是瞬态载体介质，例如携带计算机代码的电、光、微波、声学、或射频信号。这种瞬态介质的示例是在IP网络(例如因特网)上承载计算机代码的TCP/IP信号。载体介质还可以包括用于存储处理器可读代码的存储介质，例如软盘、硬盘、CDROM、磁带设备、或固态存储设备。
所描述的实施例的每个功能可以由一个或多个处理电路或电路实现。处理电路包括编程处理器，因为处理器包括电路。处理电路还包括诸如专用集成电路(ASIC)，DSP(数字信号处理器)，FPGA(现场可编程门阵列)之类的设备以及用于执行所述功能的传统电路部件。
在一个实施例中，本发明可以存在于包括以下电路的图像处理装置中：以第一投影获得第一图像，以及以第二投影获得第二图像；将与第二图像对应的第一图像的至少一部分的投影，从第一投影变换为第二投影，以在第二投影中生成第三图像；从第二图像和第三图像分别提取多个特征点；基于分别从第二图像和第三图像提取的多个特征点，确定在第三图像中与第二图像对应的对应区域；变换在第三图像的对应区域中的多个点的投影，从第二投影变换到第一投影，获得表示在第一图像中第一投影的多个点的位置的位置信息；以及与第二图像中第二投影的多个点相关联地，将指示第一图像中的第一投影的多个点的位置的位置信息存储在存储器中。
在一个示例中，电路还生成校正信息，该校正信息用于相对第二图像中的多个点中的每一个的明度和颜色，校正第三图像中的对应区域中的多个点中的每个点的明度和颜色中的至少一个。
在一个示例中，电路还转换第三图像中的对应区域的形状，以匹配第二图像的形状。根据第二图像中的多个点中的每个点的明度和颜色生成校正信息，该校正信息对应于具有转换形状的对应区域中的多个点中的每一个。
在一个示例中，第二图像中的多个点是通过将第二图像分割为多个网格区域而获得的多个网格。
在一个示例中，对应于所述第二图像的第一图像的所述部分是包含第二图像的目标对象和第二图像的目标对象的周围的区域,所述第三图像是包含第一图像所述部分的图像。
在一个示例中，电路基于所述第二图像中的多个特征点和第三图像中的多个特征点之间的相似性,从第三图像提取与第二图像对应的矩形区域。
在一个示例中，电路还从第一图像提取多个特征点，并基于第一图像中的多个特征点和第二图像中的多个特征点,确定第一图像的与第二图像对应的部分。
本专利申请基于并根据35U.S.C.§119(a)要求于2016年12月28日向日本专利局提交的日本专利申请Nos.2016-256560的优先权，于2017年9月29日向日本专利局提交的日本专利申请Nos.2017-192011的优先权,于2017年12月21日向日本专利局提交的日本专利申请Nos.2017-245510的优先权,其全部公开内容通过引用作为参考。
附图标记列表
1 特殊图像捕获装置(第一图像捕获装置的示例)
3 一般图像捕获装置(第二图像捕获装置的示例)
5 智能手机(图像处理装置的示例)
7 图像处理服务器(图像处理装置的示例)
51 远距离通信单元
52 接受单元
55a 元数据生成器
55b 叠加单元
56 显示控制器
58 近距离通信单元
59 存储和读取单元(获取器的示例)
72 接受单元
75 图像和音频处理单元
75a 元数据生成器
75b 叠加单元
76 显示控制器
78 近距离通信单元
79 存储和读取单元(获取器的示例)
517 显示器
550 提取器
552 第一区域计算器
554 注视点指定器
556 投影转换器
558 第二区域计算器
560 区域分割器
562 投影逆转换器
564 形状转换器
566 校正参数生成器
570 叠加显示元数据生成器
582 属性区域生成器
584 校正单元
586 图像生成器
588 图像叠加单元
590 投影转换器
750 提取器
752 第一区域计算器
754 注视点指定器
756 投影转换器
758 第二区域计算器
760 区域分割器
762 投影逆转换器
764 形状转换器
766 校正参数生成器
770 叠加显示元数据生成器
782 属性区域生成器
784 校正单元
786 图像生成器
788 图像叠加单元
790 投影转换器
5000 存储器
5001 链接图像捕获装置DB
7000 存储器

Claims (15)

1.一种图像处理设备，包括：
获取器，配置为获得第一投影方式的第一图像，以及第二投影方式的第二图像；以及
位置信息生成器，生成位置信息，该位置信息生成器配置为：变换对应于所述第二图像的第一图像的至少一部分的投影，从第一投影方式变换到第二投影方式，以生成第二投影方式的第三图像；
从第二图像和第三图像分别提取多个特征点；
基于分别从第二图像和第三图像提取的多个特征点，确定第三图像中与第二图像对应的对应区域；
变换第三图像的对应区域中的多个点的投影，从第二投影方式变换为第一投影方式，以获得表示第一图像中的第一投影中的多个点的位置的位置信息；
将表示第一图像中的第一投影中的多个点的位置的位置信息与第二图像中的第二投影中的多个点相关联地存储在存储器中。
2.根据权利要求1所述的图像处理设备，
其中，所述位置信息生成器还生成校正信息，该校正信息用于相对第二图像中的多个点中的每一个的明度和颜色，校正第三图像中的对应区域中的多个点中的每个点的明度和颜色中的至少一个。
3.根据权利要求2的图像处理设备，
其中，位置信息生成器还用于转换第三图像中对应区域的形状，以匹配第二图像的形状，
其中，所述校正信息从第二图像中的多个点中的每一个的明度和颜色生成，对应于具有转换后形状的对应区域中的多个点中的每一个。
4.根据权利要求1至3中任一项所述的图像处理设备，
其中，所述第二图像中的所述多个点是通过将所述第二图像分割为多个网格区域而获得的多个网格点。
5.根据权利要求1至4中任一项所述的图像处理设备，
其中，与第二图像对应的第一图像的部分是包含第二图像的目标对象和第二图像的目标对象的周围的第一图像的区域，
其中，第三图像是包含第一图像的该部分的图像。
6.根据权利要求5所述的图像处理设备，
其中，位置信息生成器基于第二图像中的多个特征点与第三图像中的多个特征点之间的相似性，从第三图像中提取与第二图像对应的矩形区域。
7.根据权利要求5的图像处理设备，
其中，位置信息生成器还从第一图像提取多个特征点，并且,
基于第一图像中的多个特征点和第二图像中的多个特征点，确定与第二图像对应的第一图像的该部分。
8.根据权利要求1至7中任一项所述的图像处理设备，
其中，所述第一图像是全天球图像，并且，所述第二图像是平面图像。
9.根据权利要求1至8中任一项所述的图像处理设备，
其中，所述第一投影是等距柱形投影，并且，所述第二投影是透视投影。
10.根据权利要求1至9中任一项所述的图像处理设备，
其中，所述图像处理设备包括智能手机、平板个人计算机、笔记本计算机、台式计算机、和服务器计算机中的至少一个。
11.一种图像捕获系统，包括：
权利要求1至10中任一项所述的图像处理设备；
第一图像捕获装置，捕获目标对象，以获得第一投影方式的第一图像，并将该第一投影方式的第一图像发送到图像处理设备；以及
第二图像捕获装置，捕获所述目标对象，以获得第二投影方式的第二图像，并将该第二投影方式的第二图像发送到图像处理设备。
12.根据权利要求11的图像捕获系统，
其中，第一图像捕获装置是捕获目标对象的照相机，以生成全天球图像作为第一图像。
13.一种图像处理方法，包括：
获得第一投影方式的第一图像，以及第二投影方式的第二图像；
变换对应于所述第二图像的第一图像的至少一部分的投影，从第一投影方式变换到第二投影方式，以生成第二投影方式的第三图像；
从第二图像和第三图像分别提取多个特征点；
基于分别从第二图像和第三图像提取的多个特征点，确定第三图像中与第二图像对应的对应区域；
变换第三图像的对应区域中的多个点的投影，从第二投影方式变换为第一投影方式，以获得表示第一图像中的第一投影中的多个点的位置的位置信息；
将表示第一图像中的第一投影中的多个点的位置的位置信息与第二图像中的第二投影中的多个点相关联地存储在存储器中。
14.根据权利要求13所述的图像处理方法，进一步包括：
生成校正信息，用于相对第二图像中的多个点中的每一个的明度和颜色，校正第三图像中的对应区域中的多个点中的每个点的明度和颜色中的至少一个。
15.一种记录介质，载有计算机可读取代码，用于控制计算机执行权利要求13或14的方法。
CN201780078984.7A 2016-12-28 2017-12-28 图像处理设备，图像捕获系统，图像处理方法和记录介质 Withdrawn CN110088798A (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JP2016256560 2016-12-28
JP2016-256560 2016-12-28
JP2017192011 2017-09-29
JP2017-192011 2017-09-29
JP2017-245510 2017-12-21
JP2017245510A JP2019057264A (ja) 2016-12-28 2017-12-21 画像処理装置、撮影システム、画像処理方法、及びプログラム
PCT/JP2017/047186 WO2018124266A1 (en) 2016-12-28 2017-12-28 Image processing apparatus, image capturing system, image processing method, and recording medium

Publications (1)

Publication Number Publication Date
CN110088798A true CN110088798A (zh) 2019-08-02

Family

ID=66107594

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780078984.7A Withdrawn CN110088798A (zh) 2016-12-28 2017-12-28 图像处理设备，图像捕获系统，图像处理方法和记录介质

Country Status (4)

Country Link
US (1) US10937134B2 (zh)
EP (1) EP3563335A1 (zh)
JP (1) JP2019057264A (zh)
CN (1) CN110088798A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113709356A (zh) * 2020-05-22 2021-11-26 茂杰国际股份有限公司 360度全景影像选择显示的摄影机及方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020043387A (ja) * 2018-09-06 2020-03-19 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、及び、記憶媒体
US11250540B2 (en) 2018-12-28 2022-02-15 Ricoh Company, Ltd. Image processing apparatus, image capturing system, image processing method, and recording medium
US11295541B2 (en) * 2019-02-13 2022-04-05 Tencent America LLC Method and apparatus of 360 degree camera video processing with targeted view
US11153481B2 (en) * 2019-03-15 2021-10-19 STX Financing, LLC Capturing and transforming wide-angle video information
JP7306089B2 (ja) 2019-06-17 2023-07-11 株式会社リコー 画像処理システム、撮像システム、画像処理装置、撮像装置およびプログラム
JP7424076B2 (ja) 2020-01-29 2024-01-30 株式会社リコー 画像処理装置、画像処理システム、撮像装置、画像処理方法およびプログラム
EP4016464A1 (en) 2020-11-26 2022-06-22 Ricoh Company, Ltd. Apparatus, system, method, and carrier means

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000215317A (ja) 1998-11-16 2000-08-04 Sony Corp 画像処理方法及び画像処理装置
JP4240666B2 (ja) 1999-08-06 2009-03-18 富士通株式会社 画像合成方法および画像表示方法
JP3943848B2 (ja) 2001-02-28 2007-07-11 株式会社リコー 撮像装置
JP5455237B2 (ja) 2010-09-30 2014-03-26 Ｋｄｄｉ株式会社 三次元地図作成装置およびその窓領域検出装置
JP5948764B2 (ja) 2011-01-31 2016-07-06 株式会社リコー 画面共有装置、画面共有方法、及びプログラム
JP2012164188A (ja) 2011-02-08 2012-08-30 Sony Corp 画像処理装置、画像処理方法およびプログラム
JP2013156722A (ja) 2012-01-27 2013-08-15 Sony Corp 画像処理装置、画像処理方法、学習装置、学習方法およびプログラム
CN105659287B (zh) 2013-08-28 2018-08-17 株式会社理光 图像处理装置、图像处理方法和成像系统
JP6467787B2 (ja) 2014-05-27 2019-02-13 株式会社リコー 画像処理システム、撮像装置、画像処理方法およびプログラム
JP6398472B2 (ja) 2014-08-27 2018-10-03 株式会社リコー 画像表示システム、画像表示装置、画像表示方法、およびプログラム
JP2016096487A (ja) 2014-11-17 2016-05-26 株式会社クワンズ 撮影システム
JP5920507B1 (ja) * 2015-03-10 2016-05-18 株式会社リコー 画像処理システム、画像処理方法およびプログラム
CN108259717A (zh) * 2016-12-28 2018-07-06 株式会社理光 联动装置、摄影系统、摄影方法
US20190340737A1 (en) * 2016-12-28 2019-11-07 Keiichi Kawaguchi Image processing apparatus, image processing system, image capturing system, image processing method, and recording medium
JP2019057903A (ja) * 2016-12-28 2019-04-11 株式会社リコー 画像処理装置、撮影システム、画像処理方法、及びプログラム
US10437545B2 (en) * 2016-12-28 2019-10-08 Ricoh Company, Ltd. Apparatus, system, and method for controlling display, and recording medium
US10789671B2 (en) * 2016-12-28 2020-09-29 Ricoh Company, Ltd. Apparatus, system, and method of controlling display, and recording medium
CN108470379B (zh) * 2017-02-23 2021-12-07 株式会社理光 三维图像融合方法和装置
CN108632589A (zh) * 2017-03-15 2018-10-09 株式会社理光 信息处理装置、摄像系统以及记录介质
JP2019075766A (ja) * 2017-10-19 2019-05-16 株式会社リコー 画像処理装置、撮影システム、画像処理方法、及びプログラム
US20190289206A1 (en) * 2018-03-15 2019-09-19 Keiichi Kawaguchi Image processing apparatus, image capturing system, image processing method, and recording medium
CN110278368A (zh) * 2018-03-15 2019-09-24 株式会社理光 图像处理装置、摄影系统、图像处理方法
US10593014B2 (en) * 2018-03-26 2020-03-17 Ricoh Company, Ltd. Image processing apparatus, image processing system, image capturing system, image processing method
US20190306420A1 (en) * 2018-03-31 2019-10-03 Takashi Okaki Image processing apparatus, image capturing system, image processing method, and recording medium

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113709356A (zh) * 2020-05-22 2021-11-26 茂杰国际股份有限公司 360度全景影像选择显示的摄影机及方法
CN113709356B (zh) * 2020-05-22 2024-01-09 茂杰国际股份有限公司 360度全景影像选择显示的摄影机及方法

Also Published As

Publication number Publication date
US10937134B2 (en) 2021-03-02
JP2019057264A (ja) 2019-04-11
EP3563335A1 (en) 2019-11-06
US20190347775A1 (en) 2019-11-14

Similar Documents

Publication Publication Date Title
CN110114797A (zh) 图像处理设备，图像捕获系统，图像处理方法和记录介质
CN110114798A (zh) 图像处理设备，图像处理系统，图像捕获系统，图像处理方法和记录介质
CN110088798A (zh) 图像处理设备，图像捕获系统，图像处理方法和记录介质
US10593014B2 (en) Image processing apparatus, image processing system, image capturing system, image processing method
US10681271B2 (en) Image processing apparatus, image capturing system, image processing method, and recording medium
US10789671B2 (en) Apparatus, system, and method of controlling display, and recording medium
JP6186775B2 (ja) 通信端末、表示方法、及びプログラム
US20180184001A1 (en) Apparatus, system, and method of controlling image capturing, and recording medium
US20190391778A1 (en) Apparatus, system, and method for controlling display, and recording medium
US10855916B2 (en) Image processing apparatus, image capturing system, image processing method, and recording medium
US20190306420A1 (en) Image processing apparatus, image capturing system, image processing method, and recording medium
CN110392202A (zh) 图像处理装置、摄影系统、图像处理方法
CN111279387A (zh) 图像处理设备，图像捕获系统，图像处理方法和记录介质
US20190289206A1 (en) Image processing apparatus, image capturing system, image processing method, and recording medium
CN111226255A (zh) 图像处理设备，图像捕获系统，图像处理方法和记录介质
WO2018124267A1 (en) Image processing apparatus, image capturing system, image processing method, and recording medium
JP2019185757A (ja) 画像処理装置、撮影システム、画像処理方法、及びプログラム
JP2019164783A (ja) 画像処理装置、撮影システム、画像処理方法、及びプログラム
JP2019087984A (ja) 情報処理装置、撮像システム、プログラム
JP2018109971A (ja) 画像処理装置、画像処理システム、撮影システム、画像処理方法、及びプログラム
JP2018157538A (ja) プログラム、撮像システム、情報処理装置
JP2017162014A (ja) 通信端末、画像通信システム、表示方法、及びプログラム
JP2018110385A (ja) 通信端末、撮影システム、画像処理方法、及びプログラム
EP4412191A1 (en) Information processing apparatus, information processing system, and information processing method
WO2018124266A1 (en) Image processing apparatus, image capturing system, image processing method, and recording medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20190802

WW01 Invention patent application withdrawn after publication