CN114096984A - 从通过拼接部分图像而创建的全向图像中去除图像捕获装置 - Google Patents

从通过拼接部分图像而创建的全向图像中去除图像捕获装置 Download PDF

Info

Publication number
CN114096984A
CN114096984A CN202080044226.5A CN202080044226A CN114096984A CN 114096984 A CN114096984 A CN 114096984A CN 202080044226 A CN202080044226 A CN 202080044226A CN 114096984 A CN114096984 A CN 114096984A
Authority
CN
China
Prior art keywords
image
mode
reflected
joining
spherical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080044226.5A
Other languages
English (en)
Inventor
吉田和弘
渡部刚史
千秋正人
狩野博
北条大辅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of CN114096984A publication Critical patent/CN114096984A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2622—Signal amplitude transition in the zone between image portions, e.g. soft edges
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

一种图像处理系统，该图像处理系统包括：接合处理单元，该接合处理单元被配置为执行接合处理以接合由图像捕获装置捕获的输入图像，并生成所述图像捕获装置反射在所述输入图像的每一个中的输出图像；以及接受单元，其被配置为接收对用于接合处理的多个模式中的一个的选择。所述多个模式具有第一模式和第二模式，所述第一模式用于通过所述接合处理生成输出图像，在该输出图像中反射所述图像捕获装置的至少一部分，所述第二模式用于通过所述接合处理生成反射有所述图像捕获装置的面积小于在所述第一模式下所述图像捕获装置被反射在输出图像中的面积的输出图像，或者生成在其中所述图像捕获装置未被反射的输出图像。

Description

从通过拼接部分图像而创建的全向图像中去除图像捕获装置
技术领域
本公开涉及图像处理系统、图像捕获系统、图像处理装置、图像捕获装置和记录介质。
背景技术
传统上，全向图像捕获设备使用多个鱼眼透镜或广角透镜来捕获图像，对所获得的图像执行失真校正和投影变换，并结合由透镜捕获的部分图像以形成一个全向图像。在接合图像的处理中，使用模式匹配等来检测局部视图图像的重叠区域中的被摄体彼此重叠的位置。
在这种全向图像捕获装置中，由于全向图像捕获装置的特性，诸如拍摄者和用于将图像捕获装置保持在适当位置的固定夹具的被摄体可能被不期望地捕获并反射在捕获图像中。如果使用单脚架等作为将图像捕获装置保持在适当位置的固定夹具，则可以基本上防止图像中的这种不期望的反射。
JP-6514418-B公开了解决拍摄者自身不期望地反射在所得图像中的问题的技术。更具体地，JP-6514418-B提供了一种图像捕获系统，该图像捕获系统便于在诸如设施或房地产之类的场所生成球面图像的操作，并且还利用容易的图像处理操作从生成的球面图像中消除诸如拍摄者的图像之类的不需要的部分。
JP-6514418-B的图像捕获系统包括图像捕获装置、移动终端和服务器。图像捕获装置生成其中通过一次拍摄操作在图像捕获装置周围的360度全向范围中捕获被摄体的图像。移动终端包括图像数据获取单元，该图像数据获取单元获取由图像捕获装置多次捕获的多个图像的图像数据。除了被摄体之外的对象相对于图像捕获装置的位置在多个图像之间不同。服务器设置有图像处理器，该图像处理器组合多个图像并且生成其中对象的图像已经被删除的图像。
然而，JP-6514418-B的技术仍然难以防止图像捕获装置本身的一部分被不期望地反射在图像中。
引用列表
专利文献
[专利文献1]JP-6514418-B
发明内容
技术问题
鉴于上述情况做出本公开，并且本公开的目的是提供一种图像处理系统，该图像处理系统能够基本上防止图像捕获装置被反射在通过结合多个输入图像而生成的图像中。
解决问题的技术方案
鉴于以上，提供了一种图像处理系统，该图像处理系统包括：接合处理单元，其被配置为执行接合处理以接合由图像捕获装置捕获的多个输入图像，并生成图像捕获装置反射在所述多个输入图像中的每一个中的输出图像；以及接受单元，其被配置为接收对用于接合处理的多个模式中的一个的选择。所述多个模式具有第一模式和第二模式，所述第一模式用于通过所述接合处理生成输出图像，在该输出图像中反射所述图像捕获装置的至少一部分，所述第二模式用于通过所述接合处理生成反射有所述图像捕获装置的面积小于在所述第一模式下所述图像捕获装置被反射在输出图像中的面积的输出图像，或者生成所述图像捕获装置未被反射的输出图像。
发明的有益效果
本公开的实施例提供了一种图像捕获装置本身可以基本上防止被反射在通过结合多个捕获图像和输入图像而生成的结果图像中。
附图说明
附图旨在描述本公开的示例性实施例，不应被解释为限制本公开内容的范围。除非明确说明，否则附图不应视为按比例绘制。同样，在多个视图中相同或相似的附图标记表示相同或相似的部件。
图1是构成根据本公开实施例的球面图像捕获系统的球面图像相机的截面图。
图2A和图2B(图2)是根据本公开的实施例的球面图像捕获系统的硬件配置的框图。
图3是根据本公开实施例的球面图像捕获系统中的多个模式的图像处理路径的框图。
图4是在根据本发明实施例的球面图像捕获系统上以多种模式实现的球面图像组合能力的功能框。
图5A和图5B(图5)是根据本公开实施例的球面图像捕获系统中的投影关系的图示。
图6A和图6B(图6)是根据本公开实施例的球面图像格式的图像数据的数据结构的图示。
图7A和图7B(图7)是根据本公开实施例的位置检测失真校正单元和图像组合失真校正单元参考的变换数据的图示。
图8A和图8B(图8)是用于描述用于检测主体显示模式和主体隐藏模式之间的接合位置的参数的差异的图示。
图9是根据本发明实施例的在检测位置的位置检测处理中由两个鱼眼透镜捕获的部分视图图像在球面坐标系上的映射的图示。
图10是根据本公开实施例的由模板生成单元执行的生成模板图像的方法的图示。
图11是根据本公开实施例的接合位置检测结果的数据结构的表。
图12是根据本公开实施例的在图像组合处理中鱼眼透镜捕获的部分视图图像在球面坐标系上的映射的图示。
图13是由根据本公开实施例的球面图像捕获系统执行的根据模式的球面图像组合处理的流程图。
图14A、图14B和图14C(图14)是用于描述根据本公开实施例的球面图像捕获系统中的主体显示模式和主体隐藏模式之间生成的图像的差异的图示。
具体实施方式
这里使用的术语仅用于描述特定实施方式的目的，而不旨在限制本公开。如本文中所使用，除非文中另有明确指示，否则单数形式“一”和“一个”也旨在包括复数形式。
在描述附图所示的实施例时，为了清楚起见，采用了特定术语。然而，本说明书的公开不旨在限于如此选择的特定术语，并且应当理解，每个特定元件包括具有相似功能、以类似方式操作并且实现类似结果的所有技术等同物。
参照附图详细描述本公开的实施例。在整个附图中，相同的附图标记被应用于相同或对应的部件，并且可以省略对其的冗余描述。
在描述附图所示的优选实施例时，为了清楚起见，采用了特定术语。然而，本专利说明书的公开不旨在限于如此选择的特定术语，并且应当理解，每个特定元件包括具有相同功能、以类似方式操作并且实现类似结果的所有技术等同物。
在下面描述的实施例中，作为图像处理系统和图像捕获系统的示例，描述了球面图像捕获系统100，该球面图像捕获系统100包括：设置有两个鱼眼透镜的球面图像相机110；以及与球面图像相机110可通信地连接的用户终端装置150。在下面描述的实施例中，鱼眼透镜的数量是两个，但是可以使用三个或更多个鱼眼透镜。此外，鱼眼透镜可以是广角透镜或超广角透镜。
在下文中，参照图1、图2A和图2B描述根据本实施例的球面图像捕获系统100的示意性配置。图1是构成根据本实施例的球面图像捕获系统100的球面图像相机110的截面图。图1中的球面图像相机110包括成像主体12、保持成像主体12和诸如控制板和电池的组件的壳体14、以及设置在壳体14上的拍摄按钮18。图1中的球面图像照相机110具有竖直长的形状，并且在壳体14的设置有拍摄按钮18的下部附近包括抓握部分G，抓握部分G用于用户抓握球面图像相机110。
图1中的成像主体12包括两个图像形成光学系统20A和20B以及两个图像传感器22A和22B。图像传感器22A和22B的示例包括电荷耦合器件(CCD)和互补金属氧化物半导体(CMOS)。图像形成光学系统20A和20B在下文中有时被统称为图像形成光学系统20。图像传感器22A和22B在下文中有时被统称为图像传感器22。每个图像形成光学系统20被配置为鱼眼透镜，该鱼眼透镜例如由六组中的七个元件组成。在图1所示的实施例中，上述鱼眼透镜具有大于180度的全视角(＝360度/n，其中，n表示光学系统的数量，n为2)，优选地具有190度或更大的视角。这样的广角图像形成光学系统20(20A和20B)中的一个与图像传感器22(22A和22B)中的一个组合以构成广角成像光学系统(20和22)。
两个图像形成光学系统20A和20B的光学元件(透镜、棱镜、滤光器和孔径光阑)的相对位置参照图像传感器22A和22B来定义。更具体地，进行定位，使得图像形成光学系统20A和20B中的每一个的光学元件的光轴被定位在与光接收区域正交的图像传感器22中的相应一个的光接收区域的中心部分，并且使得光接收区域用作鱼眼透镜中的相应一个的成像平面。
在图1所示的实施例中，图像形成光学系统20A和20B具有相同的规格，并且面向相反的方向组合，使得其光轴彼此匹配。图像传感器22A和22B将接收到的光的光分布转换成图像信号，并且顺序地将图像帧输出到控制板的图像处理块。如稍后将详细描述的，由相应图像传感器22A和22B捕获的图像被组合以生成4π立体弧度的立体角上的图像(在下文中，这样的图像被称为“球面图像”)。球面图像是可以从图像捕获点看到的所有方向的图像。虽然在下面描述的示例性实施例中假设要生成球面图像，但是也可以生成通过仅在水平平面中拍摄360度而获得的所谓全景图像或作为通过全方位拍摄或在水平平面中拍摄360度而获得的图像的一部分的图像。球面图像可以被存储为静止图像或运动图像。
图2A是根据本实施例的球面图像捕获系统100的球面图像捕获系统100的硬件配置的框图。球面图像相机110包括中央处理单元(CPU)112(第一CPU)、只读存储器(ROM)114、图像处理块116、移动图像压缩块118、静止图像压缩块119、通过DRAM接口120与其连接的动态随机存取存储器(DRAM)132、以及通过传感器接口124与其连接的传感器136。
CPU 112控制球面图像相机110的整体操作。ROM 114在其中存储以CPU 112可读的代码描述的控制程序和各种参数。图像处理块116连接到第一图像传感器130A和第二图像传感器130B(分别对应于图1中的图像传感器22A和22B)，并且接收由图像传感器130A和130B捕获的图像的图像信号。图像处理块116包括例如图像信号处理器(ISP)，并且对从图像传感器130A和130B接收的图像信号应用例如阴影校正、拜耳插值、白平衡校正和伽马校正。此外，图像处理块116组合从图像传感器130A和130B获得的多个图像，以生成如上所述的球面图像。
移动图像压缩块118是用于压缩和扩展诸如移动图像专家组(MPEG)-4高级视频编码(AVC)/H.264格式的视频的编解码器块。移动图像压缩块118用于生成所生成的球面图像的视频数据。静止图像压缩块119是用于以联合图像专家组(JPEG)或标记图像文件格式(TIFF)的形式压缩和扩展静止图像的编解码器块。静止图像压缩块119用于生成所生成的球面图像的静止图像数据。当应用各种类型的信号处理和图像处理时，DRAM 132提供用于在其中临时存储数据的存储区域。传感器136检测三个轴的加速度分量，并且检测到的加速度分量用于检测垂直方向，以对球面图像应用天顶校正。
球面图像相机110还包括存储接口122、通用串行总线(USB)接口126、串行块128和视频输出接口129。存储接口122连接到外部存储器134。存储接口122控制从外部存储器134(例如插入存储卡插槽中的存储卡)读取数据和向外部存储器134写入数据。
USB接口126连接到USB连接器138。USB接口126控制与经由USB连接器138连接的诸如个人计算机(PC)的外部装置的USB通信。串行块128控制与诸如PC的外部装置的串行通信，并且连接到无线网络接口卡(NIC)140。视频输出接口129是连接到诸如高清多媒体接口(HDMI，注册商标)的外部显示器的接口，并且可以将捕获的图像作为视频输出到这样的外部显示器。无线通信可以是诸如第三代(G)或4G的移动通信系统，或者可以是作为第五代移动通信系统的5G。5G通信系统在高速、大容量、低延迟等方面优于4G，并且在将图像数据从球面图像相机110传输到外部装置方面是有利的。
当通过电源开关的操作接通电源时，上述控制程序被加载到主存储器中。CPU 112遵循读取到主存储器中的程序以控制装置的各部分的操作，并且将控制所需的数据临时存储在存储器中。通过该操作，CPU 112控制球面图像相机110以实现各种类型的功能或执行各种类型的操作，如稍后将描述的。
图2B是根据本实施例的球面图像捕获系统100的用户终端装置150的硬件配置的框图。图2B中的用户终端装置150包括CPU 152、RAM 154、内部存储器156(硬盘驱动器(HDD))、输入装置158、可移动存储器160、显示器162、无线NIC 164和USB连接器166。内部存储器(HDD)156可以适当地改变为诸如固态盘(SSD)的存储介质。假设用户终端装置150是诸如个人计算机(PC)、智能电话或平板终端的个人信息终端(PDA)。
CPU 152控制用户终端装置150的组件的整体操作。RAM 154提供CPU 152的工作区域。内部存储器156在其中存储执行根据本实施例的用户终端装置150中的处理的操作系统和控制程序(诸如应用)，操作系统和控制程序中的每一个被写入可由CPU 152解码的代码中。
输入装置158是诸如鼠标、键盘、触摸板和触摸屏的输入装置，并且提供用户接口。可移动存储器160是安装在例如存储卡插槽中的诸如存储卡的可移动记录介质，并且记录各种类型的数据，诸如视频格式的图像数据和静止图像数据。无线NIC 164提供与诸如球面图像相机110的外部装置的无线局域网(LAN)通信连接。USB连接器166提供到诸如球面图像相机110的外部装置的基于USB的连接。无线NIC 164和USB连接器166仅是一个示例，并且不意图限制任何特定标准。可以通过诸如蓝牙(注册商标)和无线USB的另一无线连接或者通过诸如有线LAN的有线连接来建立到外部装置的连接。无线通信可以是3G、4G、5G或如上所述的其他移动通信系统。
显示器162显示供用户操作的操作屏幕，显示在拍摄之前或拍摄期间由球面图像相机110捕获的图像的监测器图像，并且显示存储用于回放或观看的移动图像或静止图像。显示器162和输入装置158使得用户能够通过操作屏幕做出用于图像捕获或改变球面图像相机110中的各种设置的指令。
当向用户终端装置150供电并接通其电源时，从ROM或内部存储器156读取程序，并将其加载到RAM 154中。CPU 152遵循读取到RAM 154中的程序以控制装置的各部分的操作，并且将控制所需的数据临时存储在存储器中。通过该操作，CPU 112控制用户终端装置150以实现各种类型的功能或执行各种类型的操作，如稍后将描述的。
如上所述，由根据本实施例的球面图像相机110捕获的球面图像是可以从图像捕获点看到的所有方向的图像。在所有方向上，可以包括使用球面图像相机110执行拍摄的拍摄者、用于将球面图像相机110保持在适当位置的固定夹具、以及球面图像相机110本身(例如，壳体14的一部分)。
通过拍摄者移动球面图像相机110的盲点(例如，在被摄体后面)，或者通过在两个鱼眼透镜之间移动拍摄定时，使得拍摄者可以在拍摄定时之间的时间期间移动到盲点，可以防止图像中的拍摄者的不期望捕获。当希望拍摄者自己作为被摄体并且不希望捕获固定夹具时，通过使用单脚架等作为固定夹具，可以基本上防止这种不期望捕获固定夹具。
然而，难以防止球面图像相机110自身的壳体14的一部分被不期望地捕获到图像中。与拍摄者不同，球面图像相机110的壳体14通常不期望作为被摄体。当使用头戴式显示器(HMD)等观看其中不期望地捕获和反射图像捕获装置本身的球面图像时，用户可能失去沉浸感。为了避免这种情况，需要防止球面图像相机110的壳体14在球面图像中的这种不期望的反射，以便获得其中不包括球面图像相机110的壳体14的球面图像。
考虑到这样的情况，在本实施例中，根据多个模式准备若干图像处理路径，以处理球面图像相机110的壳体14在球面图像中的不期望的反射。多个模式具有第一模式和第二模式。第一模式是主体显示模式，在该主体显示模式中，优先考虑拍摄图像的接合或接缝的自然外观，同时允许壳体14部分地反射在最终生成的球面图像中。第二模式是主体隐藏模式，在该主体隐藏模式下，给予更高优先级以防止壳体14被反射在球面图像中，同时允许捕获图像(组合图像)的接合处的不自然外观，特别是在第一模式下壳体14的一部分可能被反射的区域处的接合部分和在第一模式下壳体14的一部分可能被反射的区域的周围区域的接合部分。期望球面图像相机110接收从用户手动地或自动地输出的模式选择，并且被配置为根据所接收的模式来改变要对球面图像相机110的壳体14的一部分所反射的区域执行的接合处理。
在该配置中，当期望壳体尽可能不被反射在图像中时，用户选择第二模式(主体隐藏模式)。通过选择第二模式，执行接合处理以在远离壳体14的一部分可能被反射的区域的区域处获得尽可能自然的外观，同时防止壳体14的一部分被反射在球面图像中。因此，最小化或消除了图像捕获装置本身在球面图像中反射的区域。
在下文中，参照图3描述根据每个模式的球面图像捕获系统100的图像处理操作的流程。图3是用于描述由根据本实施例的球面图像捕获系统100执行的根据多种模式的图像处理路径的图示。
图3分别表示第一模式(主体显示模式)和第二模式(主体隐藏模式)的图像处理操作的流程。在第一模式和第二模式两者中，图像处理操作200从模式选择处理210开始。然后，在部分视图图像获取处理230中，球面图像相机110控制两个图像传感器130A和130B以顺序地捕获连续帧。由图像传感器130A和130B捕获的图像中的每一个都是鱼眼图像，该鱼眼图像大致覆盖作为视场的整个球体的半球，从而构成球面图像的部分视图图像。在下文中，由图像传感器130A和130B捕获的图像的每一帧被称为部分视图图像。
在选择处理210中，球面图像相机110接收从用户输出的模式的选择，并根据用户选择的模式来设置处理。通过用户在第一模式(主体显示模式)和第二模式(主体隐藏模式)之间的选择来进行模式选择。接下来，在参数切换处理220中，球面图像相机110根据所选择的模式切换(选择)要在接合位置检测处理240中使用的参数。
在接合位置检测处理240中，球面图像相机110使用在参数切换处理220中选择的参数来检测在部分视图图像捕获处理230中获取的两个局部视图图像之间的接合位置。更具体地，在接合位置检测处理240中，球面图像相机110针对每个帧检测多个部分视图图像的重叠区域中的多个对应点中的每个对应点的偏移量，从而生成接合位置检测结果。
在接合位置检测处理240之后或与接合位置检测处理240并行地执行倾斜检测处理250。在倾斜检测处理250中，球面图像相机110控制图2A中所示的传感器136，检测球面图像相机110相对于规定的参考方向的倾斜。通常，规定的参考方向指的是施加重力加速度的垂直方向。在倾斜检测处理250中，对于每个帧，传感器136测量沿三个轴的加速度分量，并且生成倾斜检测结果。
分别在接合位置检测处理240和倾斜检测处理250中获得的如上所述的接合位置检测结果和倾斜检测结果构成用于针对每个帧组合多个部分视图图像的接合参数260。
基于所获得的接合参数260，球面图像相机110随后执行接合处理270，以接合在部分视图图像获取处理230中获得的两个部分视图图像。在接合处理270中，在基于接合位置检测结果的接合位置处对准多个部分视图图像(输入图像)，并且基于倾斜检测结果执行天顶校正。因此，在部分视图图像获取处理230中获得的两个部分视图图像彼此组合以生成球面图像。然而，由此没有指示限制，并且可以使用三个或更多个鱼眼透镜来组合三个或更多个部分视图图像以生成球面图像。
针对每个帧检测接合位置和倾斜，因此针对每个帧动态地更新接合参数260。然后，考虑到结合了检测结果的接合参数260，针对每个帧执行接合处理270。因此，即使当在拍摄期间球面图像相机110的倾斜或方向改变或者重叠区域附近的被摄体移动时，也可以生成其中已经适当地进行了天顶校正和接合位置校正的输出图像。
在接合处理270完成之后，球面图像相机110执行数据输出处理280，以将帧顺序地存储在球面图像相机110的存储介质中，并且将数据从球面图像相机110发送到用户终端装置150。然后，用户终端装置150基于输出图像执行监测显示。
换句话说，用户终端装置150在监测器上显示从球面图像相机110输出的数据。在这种情况下，可以在监测器上照原样显示球面图像，或者可以显示通过投影具有规定视角的球面图像而生成的图像(即，从具有规定视角的球面图像提取的图像)。
下面参照图4至图14A、图14B和图14C更详细地描述根据本实施例的球面图像捕获系统100。
图4是根据在根据本实施例的球面图像捕获系统100上实现的多个模式中的每一个的球面图像组合能力的功能块。如图4所示，根据本实施例的图像处理块300包括位置检测失真校正单元302、作为检测处理单元的接合位置检测单元304、表校正单元306、表生成单元308、倾斜检测单元310、图像组合失真校正单元312、图像组合单元314、模式选择单元318、参数切换单元319、图像数据存储单元320和监测图像生成单元322。
对于每个帧，已经进行了各种图像信号处理的两个部分视图图像从两个图像传感器130A和130B输入到图像处理块300。从作为源的图像传感器130A导出的图像帧被称为“部分视图图像V0”，并且从作为源的图像传感器130B导出的图像帧被称为“部分视图图像V1”。在图像处理块300中，还提供位置检测变换表330，该位置检测变换表330由制造商等根据每个透镜光学系统的规定投影模型和设计数据等预先生成。
位置检测失真校正单元302使用位置检测变换表330校正输入的部分视图图像V0和V1的失真，并且生成用于位置检测的校正图像(在下文中，这样的图像可以简单地称为校正图像C0和用于位置检测的校正图像C1)。输入的部分视图图像V0和V1是由平面坐标系(x，y)表示的图像数据。相反，使用位置检测变换表330校正失真的校正图像是由球面坐标系(即，具有半径向量1和两个偏离角θ和
Figure BDA0003414489690000111
的极坐标系)表示的球面图像格式的图像数据。
图5A和图5B是根据本公开实施例的球面图像捕获系统100中的投影关系的图示。在本实施例中，由一个鱼眼镜头捕获的图像是通过参考拍摄位置捕获基本上半球的取向范围而获得的图像。如图5A所示，鱼眼透镜生成具有图像高度h的图像，该图像高度h对应于相对于光轴的入射角
Figure BDA0003414489690000112
。图像高度h和入射角
Figure BDA0003414489690000113
之间的关系由根据预定投影模型的投影函数确定。在本实施例中，采用具有比图像的对角线短的图像圆直径的所谓圆形鱼眼透镜的配置。如图5B所示，从透镜获得的部分视图图像是包括通过投影基本上半球的捕获范围而获得的整个图像圆的平面图像。
图6A和图6B是根据本公开实施例的球面图像格式的图像数据的数据结构的图示。如图6A和图6B所示，球面图像格式的图像数据被表示为坐标中的像素值的阵列，该坐标由对应于相对于轴的角度的垂直角
Figure BDA0003414489690000114
和对应于绕轴旋转的角度的水平角θ定义。各个坐标值(θ、
Figure BDA0003414489690000115
)与表示从拍摄位置开始的所有方向的球面上的点相关联。因此，所有方向都被映射到球面图像上。
图7A和图7B是示出根据本实施例的位置检测失真校正单元302参考的变换数据的图。变换表330提供以平面坐标系表示的部分视图图像作为以球面坐标系表示的图像的投影。如图7A和图7B所示，对于每个鱼眼透镜，变换表330针对所有坐标值(θ、
Figure BDA0003414489690000116
)提供校正后图像的坐标值(θ、
Figure BDA0003414489690000117
)与映射在坐标值(θ、
Figure BDA0003414489690000118
)上的校正前部分视图图像的坐标值(x、y)之间的关联信息。
在图7A和图7B的图示中，每个像素在
Figure BDA0003414489690000119
方向和θ方向上的角度都是十分之一度，并且变换表包括指示每个鱼眼透镜的3600×1800对应关系的数据。用于接合位置检测的位置检测变换表330是通过由制造商等预先根据最优透镜模型计算并制表校正失真时的值而创建的。
模式选择单元318接收用户选择的模式，参数切换单元319根据模式选择单元318接收的模式来切换参数。例如，通过在用户终端装置150上操作的应用上的软键、或者通过球面图像相机110的硬键、或者通过与球面图像相机110可通信地连接的用户接口(UI)(诸如遥控器)来进行用户的模式选择。在将要描述的实施例中，用户在主体显示模式和主体隐藏模式之间进行选择。在本实施例中，模式选择单元318包括接收由用户选择的模式的接受单元和识别由用户选择的接收的模式的识别单元。
在下面描述的实施例中，作为示例描述主体显示模式和主体隐藏模式这两种模式。这仅仅是一个示例。然而，要呈现给用户的这些模式的名称可以是任何其他名称。另外，主体显示模式和主体隐藏模式中的每一个可以合并到另一不同模式中。
模式切换定时基本上是模式选择单元318在开始拍摄之前接收用户选择的模式的定时。当用户改变模式时，在下一次拍摄中切换模式以执行拍摄。在特定的拍摄条件下，例如，在使用诸如间隔拍摄或延时拍摄之类的捕获连续静止图像的方法的拍摄期间，即使在拍摄期间用户改变了模式，也期望固定模式并且直到拍摄结束才改变模式。这是因为，如果接合处理针对每个图像而改变，则被摄体的大小和形状可能在图像之间改变。
接下来，下面描述要由参数切换单元319切换(选择)的参数337和338。参数337和338是用作位置检测变换表330的参数。参数337和338是在出厂时等通过球面图像相机110的校准预先生成的，并且是在以先前拍摄模式拍摄时生成的。使用至少在获取部分视图图像之前存在的参数，例如已经获取的参数。参数切换单元319根据模式选择单元318接收的模式在主体显示参数337和主体隐藏参数338之间进行选择。具体地，参数切换单元319在用户选择主体显示模式时选择主体显示参数337，并且在用户选择主体隐藏模式时选择主体隐藏参数338。主体显示参数337和主体隐藏参数338关于球面图像相机110的壳体14被反射在部分视图图像中的区域在参数上不同。
参照图8A和图8B描述主体显示参数337和主体隐藏参数338之间的差异。图8A是由球面图像相机110的一个鱼眼镜头捕获的部分视图图像的图示。球面图像相机110主体的壳体14部分地反射在图8A中的部分视图图像的下部，其也被称为主体反射区域。当所使用的鱼眼透镜的捕获范围超过半球(180度)时，这种情况更可能发生。利用这种透镜，无论捕获什么被摄体，都难以防止壳体14的一部分被反射在部分视图图像中。
图8B是用于描述随着在部分视图图像中生成主体反射区域的壳体14的沿壳体14的纵向方向的接合位置的改变，壳体14如何在部分图像中反射的差异的图示。当将接合位置设置在距两个图像形成光学系统20A和20B的距离A，即短焦距处时，如图8B中实线所示，壳体14的一部分包括在每个图像形成光学系统20A和20B的视角内。因此，壳体14部分地反射在通过接合两个部分视图图像而形成的组合图像中。
特别地，当球面图像相机110的抓握部分G具有竖直长的形状时，如图8B所示，更可能发生壳体在部分视图图像中的不期望的反射。当将接合位置设置在距两个图像形成光学系统20A和20B的距离B，即长焦距处时，如图8B中虚线所示，壳体14不包括在每个图像形成光学系统20A和20B的视角内。因此，壳体14不反射在通过接合两个部分视图图像而形成的组合图像中。
换句话说，通过在主体显示参数337和主体隐藏参数338之间选择以改变到接合位置的距离，从而处理反射壳体的主体反射区域，可以改变主体(壳体14)是否被反射在通过接合两个部分图像形成的组合图像中。
主体隐藏参数338是在接合位置处的焦距至少部分地长于在主体显示参数337中在接合位置处的焦距的模式。更具体地，主体隐藏参数338包括对于除了反射主体的区域之外的另一区域的接合位置处的相同焦距，并且包括与主体显示参数337中的接合位置处的焦距不同的接合位置处的焦距。优选地，对于反射主体的区域，主体隐藏模式下的接合位置处的焦距比主体显示模式下的接合位置处的焦距长。通过对于除了反射主体的区域之外的区域，在主体隐藏参数338中设置与主体显示参数337中相同的焦距，对于除了在后续阶段的模式匹配处理中反射主体的区域之外的区域，精确地检测接合位置。
在本公开描述的实施例中，参数337和338可以被提供为用于针对每个鱼眼透镜将平面坐标系表达的部分视图图像转换为球面坐标系表达的图像的转换表，如图7A和图7B中所示。在使用如图7A和图7B中所示的转换表的情况下，更具体地，主体隐藏参数338包括与在主体显示参数337的情况下的主体部分反射区域及其周围区域相对应的变换前坐标值(变换前坐标值)相关联的变换后坐标值(变换后坐标值)以及在部分视图图像中与主体反射区域外部的移动的位置的变换前坐标值相关联的值的范围。
在另一实施例中，代替变换表或除了变换表之外，将每个鱼眼透镜的光学数据和到接合位置的距离的集合(对于主体反射区域和未反射主体的另一区域两者)存储为参数337和338，并且根据所存储的数据计算变换表。
此外，为了不同地处理反射主体(壳体14)的区域，在变换表中，对于主体显示参数337中未反射主体的区域，由主体显示模式和主体隐藏模式共享相同的数据，并且存储不同的数据以用于反射主体的区域。因此，可以减少存储信息所需的容量。
以上描述是在主体反射区域和主体反射区域外部的区域之间到接合位置的距离改变的假设下给出的。为了防止到接合位置的距离突然改变，例如，期望到接合位置的距离在包括主体反射区域的规定范围内逐渐改变。这种配置提供了自然图像，其中观看者可能对主体反射区域和主体反射区域之外的其他区域之间的边界感觉不那么尴尬。
图9是根据本发明实施例的在检测位置的位置检测处理中由两个鱼眼透镜捕获的部分视图图像在球面坐标系上的映射的图示。作为由位置检测失真校正单元302执行的处理的结果，如图9中所示，由鱼眼透镜捕获的两个部分视图图像V0和V1以球面图像格式显影。
通常，由鱼眼透镜F0捕获的部分视图图像V0近似映射在整个球体的上半球上，并且由鱼眼透镜F1捕获的部分视图图像V1近似映射在整个球体的下半球上。当鱼眼透镜的全视角超过180度时，以球面图像格式表示的校正图像C0和校正图像C1中的每一个都位于半球之外。因此，当校正图像C0和校正图像C1彼此重叠时，出现这两个图像的捕获范围彼此重叠的重叠区域。
接合位置检测单元304在接收到由位置检测失真校正单元302变换的校正图像C0和校正图像C1时执行模式匹配以检测校正图像C0和校正图像C1之间的接合位置，并且生成接合位置检测结果332。生成根据本实施例的位置检测变换表330，使得如图9所示，两个透镜光学系统的光轴被投影到球面的两个极上，并且两个图像之间的重叠区域被投影到球面的赤道附近。
在球面坐标系中，随着坐标变得更接近垂直角
Figure BDA0003414489690000151
为0度或180度的极点，失真增大，并且接合位置检测的精度劣化。相反，在如上所述控制投影的本实施例中，可以提高接合位置检测的精度。图9是根据本实施例如何将由两个鱼眼透镜捕获的两个部分视图图像映射到球面坐标系上的图示。在一些实施例中，可以使用三个或更多个鱼眼透镜。
图10是根据本公开的实施例的检测接合位置的处理的图示。在以下实施例中，模板图像500对应于用于位置检测的校正图像C1的重叠区域的图像，并且用于搜索的图像510对应于用于位置检测的校正图像C0的重叠区域的图像。这里，假设以规定的大小W并且以规定的间隔(步骤)生成模板图像，并且如图10所示，生成多个模板图像502-1至502-#。
然后，对生成的模板图像502-1至502-#执行模板匹配，以在预定搜索区域512中搜索用于搜索的图像510上的对应部分514。对于模板图像502-1至502-#中的每一个，检测在匹配分数变为最大的位置处从参考位置的偏移量。
对于除了主体被反射在所捕获的部分视图图像中的区域之外的区域，如图10所示执行模板匹配以检测接合位置，并且根据检测到的接合位置执行接合处理。相反，对于反射了主体的区域(主体反射区域)，可以执行如图10所示的模板匹配，或者可以将接合位置固定到如位置检测变换表330中所设置的位置。此外，如果在主体隐藏模式下执行模板匹配，则可以根据模板匹配结果将主体反射在图像中。
因此，在模板匹配中，在有限的搜索区域内，在焦距相对于在位置检测变换表330中设置的接合位置增大的方向(长焦距方向)上执行搜索。因此，可以防止主体反射在图像中。在这种情况下，当不通过在长焦距方向上搜索来执行模板匹配时，可以将在位置检测变换表330中设置的接合位置确定为接合位置检测结果。该配置可以提高两个部分视图图像的接合精度，同时防止主体在主体隐藏模式下反射到图像中。
长焦距方向是当利用用于位置检测的校正图像C1创建模板图像500并且利用用于位置检测的校正图像C0创建用于搜索的图像510时在用于搜索的图像510上朝向0度
Figure BDA0003414489690000152
搜索模板图像500的方向。相反，长焦距方向是当利用用于位置检测的校正图像C0创建模板图像500并且利用用于位置检测的校正图像C1创建用于搜索的图像510时在用于搜索的图像510上朝向180度
Figure BDA0003414489690000161
搜索模板图像500的方向。
在图10中，
Figure BDA0003414489690000162
为0
Figure BDA0003414489690000163
的位置表示在位置检测变换表330中设定的接合位置。在主体隐藏模式中，主体不反射在该位置处的图像中。当通过在长焦距方向(从
Figure BDA0003414489690000164
的位置开始的负方向)上执行搜索来确定接合位置时，主体不反射在图像中。然而，当通过在短焦距方向(从
Figure BDA0003414489690000165
的位置开始的正方向)上执行搜索来确定接合位置时，主体可能反射在图像中。因此，期望执行模板匹配，使得在有限搜索区域内相对于在位置检测变换表330中设置的接合位置在长焦距方向上执行搜索。
图11是根据本公开实施例的接合位置检测结果的数据结构的表。如图11所示，基于接合位置检测处理生成其中针对所有坐标值列出了与偏移量(Δθ、
Figure BDA0003414489690000166
)相关联的变换后坐标值(θ、
Figure BDA0003414489690000167
)的数据。在这样做时，将如上所述在接合位置检测中计算的每个模板块的偏移量(Δθi、
Figure BDA0003414489690000168
)设置为模板块的中心坐标的值，并且内插对应于每个坐标值(θ、
Figure BDA0003414489690000169
)的偏移量(Δθ、
Figure BDA00034144896900001610
)。因此，获得接合位置数据。
表校正单元306基于接合位置检测结果332校正准备的位置检测变换表330，并且将校正的位置检测变换表330传递到表生成单元308。位置检测变换表330是与在主体显示参数337和主体隐藏参数338之间选择的参数相对应的表。由于如上所述的接合位置检测，如图11所示，针对球面图像格式中的每个坐标值获得偏移量。因此，表校正单元306进行校正，使得在用于校正部分视图图像V0上的失真的检测用失真校正表0中，将输入坐标值(θ、
Figure BDA00034144896900001611
)与和校正之前的坐标值(θ+Δθ、
Figure BDA00034144896900001612
)相关联的坐标值(x、y)相关联。注意，在用于校正部分视图图像V1上的失真的检测用失真校正表1中，不需要进行校正以改变关联关系。
表生成单元308根据由表校正单元306校正的旋转坐标变换和变换后数据来生成图像组合变换表336。这样，表生成单元308可以基于由倾斜检测单元310生成的倾斜检测结果334，考虑到倾斜校正，生成图像组合变换表336。
如上所述，针对每个帧检测接合位置，并且更新图像组合变换表336。由位置检测失真校正单元302、接合位置检测单元304、表校正单元306和表生成单元308执行的处理对应于图3中所示的接合位置检测处理240，由倾斜检测单元310执行的处理对应于倾斜检测处理250。生成的图像组合变换表336对应于接合参数260。
作为图像组合处理之前的预备处理，图像组合失真校正单元312使用变换表对部分视图图像V0和部分视图图像V1执行失真校正，并且生成用于组合图像的校正图像C0和用于组合图像的校正图像C1。以与用于位置检测的校正图像类似的方式，将生成的用于组合图像的校正图像C0和用于组合图像的校正图像C1表示为球面坐标系，但是，由于旋转坐标变换，生成的用于组合图像的校正图像C0和用于组合图像的校正图像C1中的坐标轴的定义不同于用于位置检测的校正图像的定义。图像组合单元314将所获得的用于组合图像的校正图像C0和用于组合图像的校正图像C1进行组合，以生成球面图像格式的组合图像的帧。
图12是根据本实施例的在图像组合处理中鱼眼透镜捕获的部分视图图像在球面坐标系上的映射的图示。由于如上所述的旋转坐标变换，如图9中所示的参照透镜光学系统之一的光轴的水平角和垂直角的坐标的定义被转换为如图12中所示的参照垂直于光学系统的轴的水平角和垂直角的坐标的定义。因此，作为由图像组合失真校正单元312执行的处理的结果，如图12中所示，由鱼眼透镜捕获的两个部分视图图像V0和V1以球面图像格式显影。
通常，由鱼眼透镜F0捕获的部分视图图像V0近似映射在整个球体的左半球上，并且由鱼眼透镜F1捕获的部分视图图像V1近似映射在整个球体的右半球上。在图12中，将由两个鱼眼透镜捕获的两个部分视图图像映射到球面坐标系上。然而，由此没有指示限制，并且可以使用三个或更多个鱼眼透镜来组合三个或更多个部分视图图像以生成球面图像。
因此，作为由图像组合失真校正单元312执行的处理的结果，如图12中所示，校正图像以球面图像格式显影，使得用于组合由鱼眼透镜F0捕获的图像的校正图像C0布置在右侧，并且用于组合由鱼眼透镜F1捕获的图像的校正图像C1布置在左侧。然而，不打算因此进行限制。在另一实施例中，用于组合由鱼眼透镜F0捕获的图像的校正图像C0可以在左侧。在又一实施例中，将用于组合图像的校正图像C0布置在中心，将用于组合图像的校正图像C1分离成两个部分中的一个部分布置在用于组合图像的校正图像C0的一侧，并且将另一部分布置在用于组合图像的校正图像C0的另一侧。可选地，用于组合图像的校正图像C1可以布置在中心，并且用于组合图像的校正图像C0的分离部分可以分别布置在校正图像C1的侧面。
图12是对球面图像格式不执行天顶校正的情况的图示。当对球面图像格式执行天顶校正时，在用于变换参照垂直于光轴的轴的水平角和垂直角的定义的旋转坐标变换中，根据倾斜检测单元310生成的倾斜检测结果334来添加旋转。
此外，对于每个帧，参考在接合位置检测处理中更新的图像组合变换表336。
图4中示出的图像处理块300还可以包括监测图像生成单元322。以球面图像格式来表达如上生成的组合图像。因此，如果这样的组合图像照原样显示在诸如显示器的平面显示装置上，则随着坐标变得更接近垂直角
Figure BDA0003414489690000181
为0度或180度的极点，失真增大，并且接合位置检测的精度劣化。为了检查视角的目的，即使图像以球面图像格式显示也不重要。然而，在期望的实施例中，可以对球面图像执行图像处理，以便针对平面显示装置上的投影而优化图像处理。
监测图像生成单元322修改球面图像格式的组合图像，使得球面坐标系被顺序地变换为具有特定视角和方向的平面坐标系，并且将修改后的图像投影到由用户选择的这种特定视场方向和视角的框架上。因此，可以由观看者监视模拟特定视点和视场的图像。
在以上描述中，描述了当准备捕获这样的静止图像或视频时或者当正在捕获这样的静止图像或视频时监视器图像的显示。可选地，可以生成并存储如上所述在图像处理路径中生成的球面图像的静止图像，或者可以在压缩时生成并存储由球面图像的多个帧组成的一系列图像的视频(移动图像)。
图像数据存储单元320存储静止图像或移动图像作为图像数据。在静止图像的情况下，图2A中的静止图像压缩块119将图像数据压缩成诸如JPEG或TIFF的静止图像格式。在移动图像的情况下，移动图像压缩块118将图像数据压缩成诸如MPEG-4AVC/H.H.264之类的移动图像格式。所生成的图像数据存储在诸如外部存储器134的存储区域中。
期望将图像数据与已经执行接合处理的模式的类型相关联地存储，使得用户可以稍后识别所选择的模式。例如，可以使用诸如可交换图像文件格式(EXIF)或TIFF的现有元数据格式来记录静止图像，并且可以使用诸如MP4的现有容器格式来存储移动图像。或者，可以创建用户特有的元数据格式。这便于根据预期用途选择图像数据。此外，已经在接合处理中使用的诸如变换表和光学数据的参数可以与所选择的模式的类型一起或者代替所选择的模式的类型存储在图像数据的元数据中。
在一些示例中，图像处理块116未执行图像处理(特别是接合处理)的图像数据(中间图像数据)从输出单元(存储接口122)输出，并且以从图像传感器130照原样输出数据的格式存储为文件，该格式通常被称为原始数据。由于在球面图像相机110中不对这样的原始数据进行接合处理，因此在除了球面图像相机110之外的诸如用户终端装置150的另一装置处对原始数据执行接合处理。为了改变除球面图像相机110之外(外部)的装置中的接合处理的模式，输出单元在原始数据的元数据中存储每个模式的变换表和光学数据。对于原始数据，可以使用诸如数字负片(DNG)的现有元数据格式。在除了球面图像相机110之外的装置(例如，用户终端装置150)中，使用存储在原始数据的元数据中的两个模式中的每一个的变换表和光学数据，通过执行进行与球面图像相机110中相同的接合处理方法的应用(该应用实现上述位置检测失真校正单元302、接合位置检测单元304、表校正单元306、表生成单元308、图像组合失真校正单元312、图像组合单元314、模式选择单元318和参数切换单元319，这些单元构成接合处理单元)来执行与球面图像相机110中相同的接合处理。
下面参照图13详细描述根据本实施例的球面图像组合处理。注意，图13中的球面图像组合处理对应于捕获球面静止图像的情况。此外，图13中的球面图像组合处理被描述为假设球面图像相机110执行每个处理。更具体地，CPU 112和其他硬件块(诸如包括ISP的图像处理块116和球面图像相机110的静止图像压缩块119)执行图13中的处理。
图13中的球面图像组合处理例如当检测到用户已经按下了拍摄按钮18时启动。在步骤S101中，球面图像相机110参考为其自身设置的设置值，并且识别所选择的模式是主体显示模式还是主体隐藏模式。在步骤S102中，处理根据所识别的所选模式而分支。换句话说，球面图像相机110基于所识别的选择模式来确定执行以下处理的模式是主体显示模式还是主体隐藏模式。如果确定模式是主体显示模式，则处理进行到步骤S103，并且球面图像相机110获得主体显示参数337作为位置检测变换表330。如果确定模式是主体隐藏模式，则处理进行到步骤S104，并且球面图像相机110获得主体隐藏参数338作为位置检测变换表330。
在步骤S105中，球面图像相机110控制图2A中的两个图像传感器130A和130B，以获取两个部分视图图像。当使用三个或更多个鱼眼透镜时，获得三个或更多个部分视图图像。在步骤S106中，球面图像相机110控制图2A中的传感器136，以检测球面图像相机110相对于规定的参考方向的倾斜，获得倾斜检测结果。注意，尽管按照步骤S105和步骤S106的顺序进行了描述，但是顺序不受限制，并且可以首先执行倾斜检测，或者可以同时执行步骤S105中的处理和S106中的处理。
在步骤S107中，球面图像相机110使用在步骤S103或步骤S104中获得的位置检测变换表330来校正部分视图图像的失真，并且获得用于位置检测的两个校正图像。当使用三个或更多个鱼眼透镜时，获得三个或更多个用于位置检测的校正图像。
在步骤S108中，球面图像相机110通过例如模式匹配来检测用于位置检测的两个校正图像之间的接合位置，并且获得接合位置检测结果332。当使用三个或更多个鱼眼透镜时，针对用于位置检测的三个或更多个校正图像中彼此重叠的两个图像的每个组合来检测校正图像之间的接合位置。
在步骤S109中，球面图像相机110基于接合位置检测结果332来校正位置检测变换表330。在步骤S110中，球面图像相机110通过将在步骤S106中获得的倾斜检测结果334(由倾斜检测单元310生成的倾斜检测结果334)适当地结合到基于旋转坐标变换的校正变换数据中来生成图像组合变换表336。
在步骤S111中，球面图像相机110使用图像组合变换表336来校正在步骤S105中获得的部分视图图像的失真，并且获得用于组合图像的两个校正图像。当使用三个或更多个鱼眼透镜时，获得用于组合图像的三个或更多个校正图像。在步骤S112中，球面图像相机110组合所获得的用于组合图像的两个校正图像，并生成球面图像。在校正图像的组合期间，在用于组合图像的校正图像的重叠区域中适当地执行诸如混合的处理。在步骤S113中，球面图像相机110以适当的格式(诸如JPEG)将所生成的球面图像输出到诸如记录介质或监视器的装置，并且结束处理。
在以上描述中，参照图13，以捕获球面静止图像的示例情况描述了球面图像组合处理。在捕获移动图像或多个连续静止图像的间隔拍摄或延时拍摄的情况下，针对移动图像的每帧或针对每个静止图像重复处理步骤S105至步骤S113。
在以上描述中，参照图13描述了球面图像组合处理，假设球面图像相机110捕获球面图像的部分视图图像，并且组合这些部分视图图像以生成球面图像。然而，在一些示例中，用户终端装置150基于拍摄之后的图像数据执行球面图像组合处理，并且图13中的相同流程图也适用于这样的示例。在这种情况下，在步骤S101中，用户终端装置150通过读取图像数据的元数据来识别所选择的模式，或者接收用户在应用上选择的模式。
在步骤S105中，用户终端装置150通过读取鱼眼图像并排布置的双鱼眼形式的图像数据来获得两个部分视图图像。在步骤S106中，用户终端装置150通过读取图像数据的元数据来获得倾斜检测结果。对于要在步骤S103和步骤S104中获得的主体显示参数337和主体隐藏参数338，用户终端装置150从图像数据的元数据等获得主体显示参数337和主体隐藏参数338。
这些处理由CPU 152和包括用户终端装置150的硬件加速器的其他硬件块执行。此外，球面图像相机110与用户终端装置150建立协作关系以捕获部分视图图像，并组合部分视图图像以生成球面图像。在这种情况下，根据需要，从捕获图像到组合图像以生成球面图像的处理由球面图像相机110和用户终端装置150共享。
下面简单参照图14A、图14B和图14C描述在主体显示模式中生成的图像和在主体显示模式中生成的图像之间的差异。图14A表示将在各模式中捕获的球面图像格式的图像映射在球面坐标上时的视点方向。视线从球面图像相机110的上方指向地板。在图14A、图14B和图14C的示例中，假设地板表面T具有格子图案。
在主体显示模式中，执行接合位置检测以通过确定地板表面T上的与两个图像形成光学系统20A和20B等距的点P0来检测用于接合两个部分视图图像的接合位置。在主体隐藏模式下，用于接合两个部分视图图像的接合位置由地板表面T与形成如虚线所示的入射角的线的交点P1和P2确定，在虚线处主体没有被反射在部分视图图像中。
图14B是在主体显示模式下捕获的图像的图示，图14C是在主体隐藏模式下捕获的图像的图示。在图14B和图14C中，在虚线所示的接合位置处接合两个部分视图图像。在如图14B所示的主体显示模式下，反射主体的区域出现在捕获图像(球面图像)中同时地板表面T的网格图案以高精度接合。
如上所述，主体显示模式通过结合处理提供球面图像，其中球面图像相机110的壳体14被至少部分地反射，所述结合处理结合其中已经捕获壳体14的多个部分视图图像。换句话说，主体显示模式优先考虑捕获的部分视图图像的接合的自然外观，同时允许壳体14部分地反射在最终生成的球面图像中。
相反，在如图14C所示的主体隐藏模式下，使球面图像相机110本身的主体反射在球面图像中的区域最小化，并且优选地消除该区域。然而，由于部分视图图像被部分地从接合部消除以消除主体被反射在球面图像中的区域，因此地板表面T的网格图案与地板表面T的原始图案并不轻微一致。如上所述，主体隐藏模式(第二模式)通过接合其中已经捕获壳体14的多个部分视图图像的接合处理，提供球面图像，该球面图像的反射了球面图像相机110的壳体14的面积小于主体显示模式(第一模式)下的面积或提供其中壳体14基本上没有被反射的球面图像。
在这种情况下，短语“壳体14基本上不被反射”的含义包括壳体14被反射在不影响整体图像质量(例如，对于几个像素)的范围内的球面图像中的情况。换句话说，主体隐藏模式尽可能地防止壳体14部分地反射在球面图像中，同时允许接合部分在壳体14可能被反射的区域和壳体14可能被反射的区域的周围区域处的不自然的外观。
在关于主体隐藏模式的图14C中，为了便于描述，地板表面T的图案被绘制成在两个部分视图图像之间不连续。然而，期望在包括反射壳体的区域在内的一定范围内改变接合过程。更准确地说，在图14C中，地板表面T的图案沿着球面图像相机110的上下方向在远离主体的方向上在部分视图图像之间逐渐连续。换句话说，即使在主体隐藏模式下，在远离壳体14可能被反射在部分视图图像中的区域的区域中，也执行与主体显示模式中相同的接合处理。
如上所述，当期望在捕获的图像之间适当地连接反射在球面图像中的被摄体，同时不能防止主体被反射在球面图像中时，用户可以选择并使用主体显示模式。当期望防止主体被反射在球面图像中时，用户可以选择并使用主体隐藏模式。
上述实施例提供了一种图像处理系统、图像捕获系统、图像处理装置和图像捕获装置以及记录介质，其能够最小化或消除图像捕获装置被反射在通过结合多个捕获的输入图像而生成的图像中的区域，或者防止图像捕获装置被反射在生成的图像中的区域。
特别地，上述实施例提供了主体隐藏模式，以防止主体的壳体的一部分被反射在所生成的图像中，同时允许所捕获的输入图像的接合的不自然的外观。根据所选择的模式来改变要在主体的壳体至少部分地反射在所捕获的输入图像中的区域中执行的接合处理。因此，对于输出图像，用户可以在图像捕获装置的主体被反射在输出图像中的模式和防止主体被反射在输出图像中的模式之间选择。特别地，在设置有具有竖直长形状的抓握部分的球面图像相机110中，由于球面图像相机110的主体更可能被反射到如图8B所示的球面图像中，主体隐藏模式是有用的。
例如，主体隐藏模式在景观拍摄期间是有效的。当在空间频率较高的自然中拍摄时，尽管在生成的球面图像中在某种程度上保留了自然的外观，但是通过防止主体的壳体的一部分被反射在球面图像中，获得了更高质量的景观图像。由于空间频率特别是在外部的自然中较高，所以如图14B所示的规则的网格图案很少存在于这种性质中。因此，即使接合部分看起来不自然，所生成的图像作为整体对于用户来说也不太可能看起来不自然。因此，主体隐藏模式在其中接合部分不太可能看起来不自然的图像捕获场景中是有效的。
在上述实施例中，作为图像处理系统和图像捕获系统的示例，描述了包括球面图像相机110和可通信地与球面图像相机110连接的用户终端装置150的球面图像捕获系统100。
在上述球面图像捕获系统100中，在特定实施例中，球面图像相机110的硬件实现选择处理210、参数切换处理220、部分视图图像获取处理230、接合位置检测处理240、倾斜检测处理250、接合处理270和数据输出处理280，并且用户终端装置150执行监测显示。
在本实施例中，球面图像相机110根据所选择的模式向用户终端装置150输出输出图像，并且用户终端装置150根据该模式显示基于输出图像的监测器图像。此外，球面图像相机110可以根据所选择的模式存储静止图像或移动图像作为图像数据。然而，图像处理系统和图像捕获系统的配置不限于上述配置。
在上述实施例中，用户通过用户终端装置150或球面图像相机110手动选择模式，并且球面图像相机110接收该模式。
然而，在另一实施例中，可以基于关于反射了主体的区域以及该区域的周围区域中的被摄体的信息，通过识别图案或对象来识别出现在主体被反射在捕获图像中的区域中的被摄体来自动选择模式。例如，如果在反射了主体的区域附近存在有区别的被摄体(具有规则图案的地板表面)，则自动选择主体显示模式，并且执行接合处理以在所捕获的图像之间精确地连接被摄体。如果在主体被反射在捕获图像中的区域附近存在未区分的被摄体(没有图案、随机图案、草和沙土的地板表面)，则自动选择主体隐藏模式，并且以在防止主体被反射在球面图像中的同时在捕获图像之间连接被摄体的较低精度来执行接合处理。球面图像相机110可以具有这样的自动模式以及用户的手动主体显示模式和主体隐藏模式，这些模式可由用户选择。
在另一实施例中，球面图像相机110具有作为用户可选择模式的自动模式，而不是用户的手动主体隐藏模式和主体显示模式，并且具有作为内部模式的主体显示模式和主体隐藏模式。在这种情况下，模式选择单元318从确定主体被反射在捕获图像中的区域中的被摄体的模块接收所选择的内部模式，并选择内部模式。
在一些其他实施例中，包括处理210至280的图像处理和显示处理的全部可以在球面图像相机110侧实现，这意味着仅球面图像相机110构成图像处理系统、图像处理装置和图像捕获系统。在其他一些实施例中，除了部分视图图像获取过程230之外，包括处理210至280在内的图像处理和显示处理可以以分布式方式在诸如包括用户终端装置150的个人计算机或服务器的一个或多个外部图像处理装置上实现。
例如，在特定实施例中，除了部分视图图像获取处理230之外，包括处理220至280在内的图像处理可以在用作图像处理装置的用户终端装置150上实现。在这样的实施例中，无论模式如何，球面图像相机110都获取并输出多个部分视图图像，并且用户终端装置150接收从球面图像相机110输出的多个部分视图图像，并且根据所选择的模式生成输出图像以显示监测器图像或存储图像数据。
在上述实施例中，描述了壳体14被反射在球面图像中的情况。本公开的实施例可应用于防止要附接到球面图像相机110的组件、诸如防水壳体和外部麦克风的可选项目、以及诸如单脚架和三脚架的固定仪器被反射到球面图像中。
在这种情况下，由于反射除了壳体14之外的被摄体的区域是不确定的，所以通过使用户终端装置显示在主体显示模式下捕获的组合图像的数据，并且允许用户选择反射除了壳体之外的被摄体的区域，来识别这样的区域。然后，如图7A所示的变换表发生改变以处理这样的区域。如果反射在球面图像中的被摄体是诸如真实附件的选项项目，则被摄体的形状对于用户是已知的，并且可以识别被摄体被反射的区域。因此，如图7A所示的每个模式的变换表可以对每个选项项目进行初步准备。
在如上所述的实施例中，在倾斜校正中，参考垂直方向获得倾斜角。代替重力方向，例如，可以将水平方向或另一期望方向设置为参考方向，并且可以基于诸如球面图像相机110或图像传感器130A或130B的规定对象相对于参考方向的倾斜来校正图像的倾斜。在上述实施例中，加速度传感器用于检测倾斜。然而，由此没有示出限制，并且诸如加速度传感器和地磁传感器的组合的另一倾斜传感器可以检测例如球面图像相机110、附接到球面图像相机110的图像传感器130A或130B或传感器本身的倾斜。
上述功能单元通过由诸如汇编语言、C语言、C++语言、C#语言和Java(注册商标)的遗留编程语言或面向对象编程语言编写的计算机可执行程序来实现，该程序可以通过电信线路分发，或者在写入计算机-计算机可读记录介质(例如ROM、电可擦除可编程只读存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、闪存、软盘、光盘只读存储器(CD-ROM)、可重写光盘(CD-RW)、数字通用盘(DVD)-ROM、DVD-RAM、蓝光光盘、安全数字(SD)卡和磁光盘(MO))时分发。上述功能单元中的全部或一些可以例如在诸如现场可编程门阵列(FPGA)的可编程器件上实现，或者作为专用集成电路(ASIC)实现。为了在可编程器件上实现这样的功能单元，可以使用存储以例如硬件描述语言(HDL)、超高速集成电路硬件描述语言(VHDL)或Verilog HDL写入的数据的记录介质来分发要下载到可编程器件的电路配置数据(比特流数据)。
根据上述教导，许多附加的修改和变化是可能的。因此，应当理解，在所附权利要求书的范围内，本专利说明书的公开可以以不同于本文具体描述的方式来实践。
所描述实施方式的功能中的每一种可由一个或多个处理电路或电路来实施。处理电路包括编程处理器，因为处理器包括电路。处理电路还包括诸如专用集成电路(ASIC)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)的装置和布置成执行所述功能的常规电路组件。
本发明可以以任何方便的形式实现，例如使用专用硬件或专用硬件和软件的混合。本发明可以实现为由一个或多个联网处理装置实现的计算机软件。处理装置可以包括任何适当编程的装置，诸如通用计算机、个人数字助理、移动电话(诸如WAP或3G兼容电话)等。由于本发明可以被实现为软件，因此本发明的每个方面包括可在可编程设备上实现的计算机软件。可以使用任何常规的载体介质(载体装置)将计算机软件提供给可编程设备。载体介质可以包括瞬态载体介质，诸如携带计算机代码的电、光、微波、声学或射频信号。这种瞬态介质的示例是在诸如互联网的IP网络上携带计算机代码的TCP/IP信号。载体介质还可以包括用于存储处理器可读代码的存储介质，例如软盘、硬盘驱动器、磁带设备或固态存储器设备。
本专利申请基于并要求于2019年6月17日向日本专利局提交的日本专利申请号2019-111951的优先权，其全部内容通过引用结合于此。
参考标记列表
12 成像主体
14 壳体
18 拍摄按钮
20 图像形成光学系统
22 图像传感器
100 球面图像捕获系统
110 球面图像相机
112 CPU
114 ROM
116 图像处理块
118 移动图像压缩块
119 静止图像压缩块
120 DRAM接口
122 存储接口
124 传感器接口
126 USB接口
128 串行块
129 视频输出接口
130 图像传感器
132 DRAM
134 外部存储器
136 传感器
138 USB连接器
140 无线NIC
142 总线
150 用户终端装置
152 CPU.
154 RAM
156 内部存储器(HDD)
158 输入装置
160 可移动存储器
162 显示器
164 无线NIC
166 USB连接器
168 总线
200 图像处理
210 选择处理
220 参数切换处理
230 部分视图捕获处理
240 接合位置检测处理
250 倾斜检测处理
260 接合参数
270 接合处理
280 数据输出处理
300 图像处理块
302 位置检测失真校正单元
304 接合位置检测单元
306 表校正单元
308 表生成单元
310 倾斜检测单元
312 图像组合失真校正单元
314 图像组合单元
318 模式选择部分
319 参数切换单元
320 图像数据存储单元
322 监测图像生成单元
330 位置检测变换表
332 接合位置检测结果
334 倾斜检测结果
336 图像组合变换表
337 主体显示参数
338 主体隐藏参数
500 模板图像
502 模板图像
510 用于搜索的图像
512 搜索区域
514 对应部分

Claims (20)

1.一种图像处理系统，包括：
接合处理单元，其被配置为执行接合处理以接合由图像捕获装置捕获的多个输入图像，并且生成在所述多个输入图像中的每一个中反射的所述图像捕获装置的输出图像；以及
接受单元，其被配置为接收对用于所述接合处理的多个模式中的一个的选择，
所述多个模式具有：
第一模式，用于通过所述接合处理生成输出图像，其中，所述图像捕获装置的至少一部分被反射在所述输出图像中；以及
第二模式，通过所述接合处理，生成反射有所述图像捕获装置的面积小于在所述第一模式下所述图像捕获装置被反射在输出图像中的面积的输出图像，或者生成所述图像捕获装置未被反射的输出图像。
2.一种图像处理系统，包括：
接合处理单元，其被配置为执行接合处理以接合多个输入图像并生成输出图像；以及
接受单元，其被配置为接收对用于所述接合处理的多个模式中的一个的选择，
所述多个模式具有第一模式和第二模式，其中，
用于在所述第二模式中接合所述多个输入图像的接合位置处的焦距，至少部分地长于用于在所述第一模式中接合所述多个图像的接合位置处的焦距，在所述第一模式中接合位置处的焦距是特定距离。
3.根据权利要求1所述的图像处理系统，
其中，对于至少所述图像捕获装置反射在所述输入图像中的区域，所述接合处理在所述第一模式和所述第二模式之间改变，并且
其中，当所述接合处理改变时，改变用于接合所述多个输入图像的接合位置处的焦距，使得所述第二模式中的接合位置处的焦距长于所述第一模式中的接合位置处的焦距。
4.根据权利要求1至3中任一项所述的图像处理系统，
其中，所述输出图像与在所述接合处理中使用的所述第一模式或所述第二模式中的至少一个以及与所述模式相对应的参数相关联地存储，并且
其中，所述参数包括用于所述接合处理的变换表和光学数据中的至少一个。
5.根据权利要求1至3中任一项所述的图像处理系统，
所述图像处理系统还包括输出单元，该输出单元被配置为将未经历所述接合处理的所述多个输入图像与对应于所述第一模式的参数和对应于所述第二模式的另一参数一起输出，作为中间图像数据，
其中，所述接合处理单元被配置为读取所述中间图像数据并获得所述多个输入图像，并获得由所述接受单元接收的与所述第一模式或所述第二模式相对应的参数，以便执行所述接合处理。
6.根据权利要求1至5中任一项所述的图像处理系统，
其中，所述接受单元被配置为基于用户的操作来选择模式。
7.根据权利要求6所述的图像处理系统，
其中，通过所述图像捕获装置的用户接口、与所述图像捕获装置可通信地连接的用户接口、或与所述图像捕获装置可通信地连接的终端装置的用户接口来进行用户的操作。
8.根据权利要求1至5中任一项所述的图像处理系统，
其中，所述接受单元被配置为接收基于所述多个输入图像中的所述图像捕获装置被反射的区域和该区域的周围区域中的被摄体的信息而选择的模式。
9.根据权利要求1至8中任一项所述的图像处理系统，
其中，所选择的模式在规定条件下保持不变。
10.根据权利要求1至9中任一项所述的图像处理系统，所述图像处理系统还包括检测处理单元，该检测处理单元被配置为检测用于接合所述多个输入图像的接合位置，
其中，对于至少在所述多个输入图像中反射所述图像捕获装置的区域以外的区域，所述接合处理单元根据检测到的接合位置来执行所述接合处理。
11.根据权利要求1至10中任一项所述的图像处理系统，
其中，所述多个输入图像是平面坐标系中的部分视图图像，并且所述输入图像是球面坐标系中的球面图像。
12.根据权利要求1至11中任一项所述的图像处理系统，
其中，所述多个输入图像和所述输出图像是静止图像或移动图像。
13.一种图像处理系统，包括：
根据权利要求1至12中任一项所述的图像处理系统；
多个光学系统和图像传感器，
所述多个光学系统和所述多个图像传感器，被配置为捕获所述多个输入图像。
14.一种图像处理装置，包括：
接合处理单元，其被配置为执行接合处理以接合由图像捕获装置捕获的多个输入图像，并且在所述多个输入图像中的每一个中生成反射了所述图像捕获装置的输出图像；以及
识别单元，其被配置为识别从要应用于所述接合处理的多个模式中选择的模式，
所述多个模式具有：
第一模式，用于通过所述接合处理生成输出图像，其中，所述图像捕获装置的至少一部分被反射在所述输出图像中；以及
第二模式，通过所述接合处理，生成反射有所述图像捕获装置的面积小于在所述第一模式下反射所述图像捕获装置的面积的输出图像，或者生成所述图像捕获装置未被反射的输出图像。
15.根据权利要求14所述的图像处理装置，
其中，对于至少所述图像捕获装置反射在所述输入图像中的区域，所述接合处理在所述第一模式和所述第二模式之间改变。
16.根据权利要求15所述的图像处理装置，
其中，当所述接合处理改变时，改变接合位置处的焦距，使得所述第二模式中的接合位置处的焦距长于所述第一模式中的接合位置处的焦距。
17.一种图像捕获装置，包括：
根据权利要求14至16中任一项所述的图像处理装置；以及
多个光学系统和图像传感器，用于捕获要由所述图像处理装置处理的多个输入图像；并且
其中，在所述多个输入图像中的每一个中，反射所述图像捕获装置。
18.一种存储计算机可读代码的记录介质，所述计算机可读代码用于控制计算机执行以下操作：
执行接合处理以接合由图像捕获装置捕获的多个输入图像；
生成输出图像，所述图像捕获装置反射在所述多个输入图像中的每一个中；以及
识别从用于所述接合处理的多个模式中选择的模式，
所述多个模式具有：
第一模式，用于通过所述接合处理生成输出图像，其中，所述图像捕获装置的至少一部分被反射在所述输出图像中；以及
第二模式，通过所述接合处理，生成反射有所述图像捕获装置的面积小于在所述第一模式下所述图像捕获装置被反射在输出图像中的面积的输出图像，或者生成所述图像捕获装置未被反射的输出图像。
19.根据权利要求18所述的记录介质，
其中，对于至少所述图像捕获装置反射在所述输入图像中的区域，所述接合处理在所述第一模式和所述第二模式之间改变。
20.根据权利要求18所述的记录介质，
其中，当所述接合处理改变时，改变接合位置处的焦距，使得所述第二模式中的接合位置处的焦距长于所述第一模式中的接合位置处的焦距。
CN202080044226.5A 2019-06-17 2020-05-19 从通过拼接部分图像而创建的全向图像中去除图像捕获装置 Pending CN114096984A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019111951A JP7306089B2 (ja) 2019-06-17 2019-06-17 画像処理システム、撮像システム、画像処理装置、撮像装置およびプログラム
JP2019-111951 2019-06-17
PCT/IB2020/054712 WO2020254887A1 (en) 2019-06-17 2020-05-19 Removal of image capture device from omnidirectional image created by stitching partial images

Publications (1)

Publication Number Publication Date
CN114096984A true CN114096984A (zh) 2022-02-25

Family

ID=70918737

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080044226.5A Pending CN114096984A (zh) 2019-06-17 2020-05-19 从通过拼接部分图像而创建的全向图像中去除图像捕获装置

Country Status (5)

Country Link
US (1) US11825213B2 (zh)
EP (1) EP3963877A1 (zh)
JP (1) JP7306089B2 (zh)
CN (1) CN114096984A (zh)
WO (1) WO2020254887A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10999527B1 (en) * 2020-02-14 2021-05-04 Gopro, Inc. Generation of enhanced panoramic visual content
EP4128748A1 (en) * 2020-03-23 2023-02-08 Ricoh Company, Ltd. Information processing apparatus and method of processing information

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS609712A (ja) 1983-06-29 1985-01-18 Plus Eng Co Ltd 靭性ならびに耐摩耗性の良好な押出ピン
JP3934006B2 (ja) 2002-08-09 2007-06-20 株式会社リコー 撮像装置
JP2008070844A (ja) 2006-09-15 2008-03-27 Ricoh Co Ltd 撮像装置
JP5445363B2 (ja) 2010-07-08 2014-03-19 株式会社リコー 画像処理装置、画像処理方法および画像処理プログラム
JP5506577B2 (ja) 2010-07-14 2014-05-28 キヤノン株式会社 光学系および光学機器
JP5652649B2 (ja) 2010-10-07 2015-01-14 株式会社リコー 画像処理装置、画像処理方法および画像処理プログラム
JP2013055381A (ja) 2011-08-31 2013-03-21 Ricoh Co Ltd 撮像装置及び撮像方法並びに携帯情報端末装置
US8928783B2 (en) 2011-09-26 2015-01-06 Ricoh Company, Ltd. Imaging apparatus including switchable edge extraction
JP6024107B2 (ja) 2012-01-06 2016-11-09 株式会社リコー 画像処理装置、撮像装置、画像処理方法およびプログラム
JP5954623B2 (ja) 2012-04-20 2016-07-20 株式会社リコー 撮像装置および画像処理方法
JP6019964B2 (ja) 2012-09-10 2016-11-02 株式会社リコー 画像処理装置及びそれを搭載した撮像装置、並びに画像処理方法
US9094540B2 (en) * 2012-12-13 2015-07-28 Microsoft Technology Licensing, Llc Displacing image on imager in multi-lens cameras
US9413930B2 (en) * 2013-03-14 2016-08-09 Joergen Geerds Camera system
CN105659287B (zh) 2013-08-28 2018-08-17 株式会社理光 图像处理装置、图像处理方法和成像系统
JP6467787B2 (ja) 2014-05-27 2019-02-13 株式会社リコー 画像処理システム、撮像装置、画像処理方法およびプログラム
JP2016103806A (ja) * 2014-11-28 2016-06-02 キヤノン株式会社 撮像装置、画像処理装置、撮像システム、画像処理方法およびプログラム
US10531071B2 (en) * 2015-01-21 2020-01-07 Nextvr Inc. Methods and apparatus for environmental measurements and/or stereoscopic image capture
JP5846549B1 (ja) 2015-02-06 2016-01-20 株式会社リコー 画像処理システム、画像処理方法、プログラム、撮像システム、画像生成装置、画像生成方法およびプログラム
US10051180B1 (en) 2016-03-04 2018-08-14 Scott Zhihao Chen Method and system for removing an obstructing object in a panoramic image
US10210660B2 (en) 2016-04-06 2019-02-19 Facebook, Inc. Removing occlusion in camera views
US10979691B2 (en) * 2016-05-20 2021-04-13 Qualcomm Incorporated Circular fisheye video in virtual reality
US10694102B2 (en) 2016-07-22 2020-06-23 Immervision, Inc. Method to capture, store, distribute, share, stream and display panoramic image or video
WO2018025825A1 (ja) 2016-08-02 2018-02-08 ナーブ株式会社 撮像システム
KR102560029B1 (ko) * 2016-09-12 2023-07-26 삼성전자주식회사 가상 현실 콘텐트를 송수신하는 방법 및 장치
CN108259717A (zh) 2016-12-28 2018-07-06 株式会社理光 联动装置、摄影系统、摄影方法
JP2018169601A (ja) * 2017-03-30 2018-11-01 株式会社リコー 連携装置、撮影システム、撮影方法、及びプログラム
US10789671B2 (en) 2016-12-28 2020-09-29 Ricoh Company, Ltd. Apparatus, system, and method of controlling display, and recording medium
EP3563337A1 (en) 2016-12-28 2019-11-06 Ricoh Company, Ltd. Image processing apparatus, image processing system, image capturing system, image processing method, and recording medium
JP2019057264A (ja) 2016-12-28 2019-04-11 株式会社リコー 画像処理装置、撮影システム、画像処理方法、及びプログラム
JP2019057903A (ja) 2016-12-28 2019-04-11 株式会社リコー 画像処理装置、撮影システム、画像処理方法、及びプログラム
US10764495B2 (en) 2017-12-14 2020-09-01 Ricoh Company, Ltd. Image processing apparatus, image processing method, storage medium, system, and electronic apparatus
JP7064865B2 (ja) 2017-12-25 2022-05-11 株式会社Subaru 温調装置
US11012633B2 (en) 2018-03-22 2021-05-18 Ricoh Company, Ltd. Image capturing apparatus, image capturing method, and image processing apparatus
JP7268369B2 (ja) 2019-01-30 2023-05-08 株式会社リコー 撮像システム、現像システム、撮像方法、及びプログラム

Also Published As

Publication number Publication date
US11825213B2 (en) 2023-11-21
US20220224831A1 (en) 2022-07-14
WO2020254887A1 (en) 2020-12-24
JP2020204874A (ja) 2020-12-24
EP3963877A1 (en) 2022-03-09
JP7306089B2 (ja) 2023-07-11

Similar Documents

Publication Publication Date Title
JP7185434B2 (ja) 複数のカメラを用いて映像を取得するための電子装置及びこれを用いた映像処理方法
CN110060206B (zh) 图像处理系统、图像生成装置和生成图像的方法
JP5920507B1 (ja) 画像処理システム、画像処理方法およびプログラム
KR101657039B1 (ko) 화상 처리 장치, 화상 처리 방법, 및 촬상 시스템
JP5846172B2 (ja) 画像処理装置、画像処理方法、プログラムおよび撮像システム
US11825213B2 (en) Removal of image capture device from omnidirectional image created by stitching partial images
JP6222205B2 (ja) 画像処理装置
US20220230275A1 (en) Imaging system, image processing apparatus, imaging device, and recording medium
JP7424076B2 (ja) 画像処理装置、画像処理システム、撮像装置、画像処理方法およびプログラム
JP5796611B2 (ja) 画像処理装置、画像処理方法、プログラムおよび撮像システム
JP6256513B2 (ja) 撮像システム、撮像装置、方法およびプログラム
JP6665917B2 (ja) 画像処理装置
JP6079838B2 (ja) 画像処理装置、プログラム、画像処理方法および撮像システム
JP6439845B2 (ja) 画像処理装置
US20230074704A1 (en) Image processing device, image processing method, image capturing apparatus, and image processing system
EP4354383A1 (en) Image processing apparatus, image processing system, imaging apparatus, image processing method
EP4309149A1 (en) Image processing method, recording medium, image processing apparatus, and image-capturing apparatus
CN113261272A (zh) 图像捕获装置，图像捕获方法和记录介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination