CN109429008B - 图像处理装置、信息处理系统、信息处理方法和存储介质 - Google Patents

图像处理装置、信息处理系统、信息处理方法和存储介质 Download PDF

Info

Publication number
CN109429008B
CN109429008B CN201811001202.2A CN201811001202A CN109429008B CN 109429008 B CN109429008 B CN 109429008B CN 201811001202 A CN201811001202 A CN 201811001202A CN 109429008 B CN109429008 B CN 109429008B
Authority
CN
China
Prior art keywords
image
distortion
images
panorama
corrected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811001202.2A
Other languages
English (en)
Other versions
CN109429008A (zh
Inventor
田尻胜敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN109429008A publication Critical patent/CN109429008A/zh
Application granted granted Critical
Publication of CN109429008B publication Critical patent/CN109429008B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/12Panospheric to cylindrical image transformations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/04Context-preserving transformations, e.g. by using an importance map
    • G06T3/047Fisheye or wide-angle transformations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明提供一种图像处理装置、信息处理系统、信息处理方法和存储介质。图像处理装置包括:获得单元,其被构造为获得用于识别端线的设置值,所述端线与鱼眼图像的至少一部分和充当进行了失真校正处理的图像的全景图像中的端部相对应;以及生成单元,其被构造为基于所述设置值由鱼眼图像生成分割线相互协调的多个全景图像。

Description

图像处理装置、信息处理系统、信息处理方法和存储介质
技术领域
本发明涉及图像处理装置、信息处理系统、信息处理方法和存储介质。
背景技术
到目前为止,已经提出了拍摄所有方向的照相机,并且可以创建拍摄了设备周围360度的全方位图像,或者可以通过校正全方位图像的失真来获得全景图像。全景图像的示例包括:通过将全方位360度图像转换为单个平面图像而获得的单画面全景图像、通过将全方位360度图像分割为两个180度图像以用于随后转换成平面图像而获得的双画面全景图像、通过将全方位360度图像分割为四个90度图像以用于随后转换成平面图像而获得的四画面全景图像等。还可以与全方位图像一起进行图像分发或图像累积。
例如,日本特开第2015-46949号公报描述了一种根据通过面板界面的面板操作量从全方位图像切换到单画面全景图像或双画面全景图像的方法。
双画面全景图像或四画面全景图像是通过将全方位360度图像分割为多个区域、校正分割区域的失真、并且将这些区域竖直地相互组合或者将这些区域竖直且水平地相互组合而获得的图像。根据现有技术,由鱼眼图像生成的多个全景图像之间的区域无法自动地相互协调(例如,匹配)。
发明内容
根据本发明的一个方面的图像处理装置包括:获得单元,其被构造为获得用于识别端线的设置值,所述端线与(i)鱼眼图像的至少一部分和(ii)充当进行了失真校正处理的图像的全景图像中的端部相对应;以及生成单元,其被构造为基于所述设置值由鱼眼图像生成分割线相互协调的多个全景图像。
通过以下参考附图对示例性实施例的描述,本发明的其他方面、特征和优点将变得清楚。应当理解,本文中关于特定实施例或一组实施例描述的任何特征可以在没有除由上文定义的本发明的最广泛方面所赋予限制的之外的任何限制的情况下,与一个或多个其他实施例的特征组合。特别地,在必要时或者在单个实施例中来自各个实施例的元件或特征的组合有益时,可以组合来自不同实施例的特征。
附图说明
图1例示了信息处理系统的系统构造的示例。
图2例示了照相机服务器的硬件构造的示例。
图3A和图3B例示了全方位图像和双画面全景图像之间的关系。
图4A和图4B例示了全方位图像和四画面全景图像之间的关系。
图5例示了照相机服务器的软件构造的示例。
图6是例示全景生成单元的信息处理的示例的流程图。
图7A和图7B例示了全方位图像和单画面全景图像之间的关系。
图8例示了客户端的硬件构造的示例。
图9例示了客户端的软件构造的示例。
图10A至图10D例示了全景分割线指定画面的示例。
图11是例示全景控制单元的信息处理的示例的流程图。
具体实施方式
在下文中,将参考附图描述本发明的示例性实施例。
根据以下示例性实施例,全方位图像是从天花板等观察的360度圆形图像。假设圆的外圆周代表天花板,圆的中心代表地板。全方位图像不仅指拍摄所有周围被摄体的图像,并且全方位图像的范围包括被包含至少比普通镜头大的失真的镜头(诸如鱼眼镜头)拍摄的图像。另外,根据各示例性实施例,全景图像是与鱼眼图像的至少一部分对应的图像以及进行失真校正处理的图像。根据各个示例性实施例,上述图像被称为全景图像,但是也可以使用各种其他名称。此外,在以下示例性实施例中,“协调”指保持某些事物与其他事物相同的条件。
第一示例性实施例
图1例示了信息处理系统的系统构造的示例。
在信息处理系统中,照相机服务器200和客户端220经由网络230相互连接。照相机服务器200是图像处理装置的示例。
照相机服务器200配设有照相机并经由网络230分发拍摄的图像。客户端220访问照相机服务器200并获得图像。
为了简化描述,仅布置单个照相机服务器,但是可以使用两个或更多个照相机服务器。另外,除了客户端220之外,还可以使用访问照相机服务器200并进行图像的接收或累积的其他客户端。
网络230由多个满足诸如以太网(注册商标)的通信标准的路由器、交换机、电缆等构成。可以采用网络230的任何通信标准、规模和构造,只要服务器和客户端之间的相应通信可以没有任何问题地执行即可。因此,可以应用因特网、局域网(LAN)等作为网络230。
图2例示了照相机服务器200的硬件构造的示例。
照相机服务器200包括CPU 300、主存储设备310、二级存储设备320、图像拍摄接口(I/F)330和网络I/F 360作为硬件构造。各硬件组件经由内部总线301相互连接。
主存储设备310是表示为随机存取存储器(RAM)的可写存储设备。操作系统(OS)、各种程序和各种数据被加载到主存储设备310上。主存储设备310还可以用作OS和各种程序的工作区域。
二级存储设备320是由闪存、硬盘驱动器(HDD)、SD卡等表示的非易失性存储设备。二级存储设备320用作OS、各种程序和各种数据的永久存储区域,并且还用作各种短期数据的存储区域。
由电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)组成的图像传感器370连接到图像拍摄I/F 330。图像拍摄I/F 330将从图像传感器370获得的图像数据转换成要压缩并传送到主存储设备310的预定格式。
网络I/F 360是用于建立到网络230的连接的I/F,并且起到经由诸如以太网的通信介质与客户端220等进行通信的作用。
当CPU 300基于存储在二级存储设备320中的OS或程序执行处理时,实现将在下面描述的图5的软件构造和也将在下面描述的图6的流程图的处理。
图3A和图3B例示了全方位图像(鱼眼图像)和双画面全景图像之间的关系。
图3A表示从全方位图像分割出(切出)图像的位置。特别地,图3A示出分割线400,沿着该分割线,将全方位图像分割为180度分割区域(切出区域)401和180度分割区域(切出区域)402。应当注意,各个示例性实施例不仅可以应用于分割并切出全方位图像的处理,还可以应用于仅切出全方位图像的一部分而不进行分割的处理。换句话说,从全方位图像中切出的部分的边界不必相互界定。
图3B例示了通过将平面图像411和412相互竖直组合而创建的双画面全景图像。通过对分割区域401和402执行失真校正以校正由鱼眼镜头引起的失真,分别形成平面图像411和412。此外,当分割区域402被校正为平面图像412时,针对分割区域402竖直和水平地执行反转操作,并且平面图像412被组合到平面图像411的底侧以形成双画面全景图像。
图4A和图4B例示了全方位图像和四画面全景图像之间的关系。
图4A表示从全方位图像分割出图像的位置。具体地说,图4A示出了分割线505与分割线500成直角相交。沿着这两条线分割全方位图像,将全方位图像分割为90度分割区域501、502、503、和504。
图4B示出了通过将平面图像511、512、513和514垂直和水平地组合在一起而创建的四画面全景图像。通过对分割区域501、502、503和504执行失真校正以校正由鱼眼镜头引起的失真,来形成平面图像511-514。另外,为了形成平面图像513和514,针对各个平面图像513和514垂直和水平地执行反转操作。一旦形成平面图像511-514,平面图像513和514分别被组合到平面图像511和512的底侧以形成四画面全景图像。
图5例示了照相机服务器200的软件构造的示例。
照相机服务器200包括OS 100、摄像处理单元110、两个全景生成单元111和112、设置管理单元113和通信处理单元114。这些单元优选在软件中实施。
OS 100控制整个照相机服务器。
摄像处理单元110基于来自图像拍摄I/F 330的数据生成全方位图像数据。图像拍摄I/F 330基于经由鱼眼镜头入射的光从图像传感器370接收数据。
设置管理单元113保存用于创建全景图像的设置值,诸如指示如下分割线的分割线信息(端线信息),从/沿着该分割线执行全方位图像数据的分割以创建全景图像。应当理解,分割线将对应于全景图像的端部。
全景生成单元111获得用于创建全景图像的设置值(诸如由设置管理单元113保存的分割线(端线)),并使用该设置值由全方位图像数据生成全景图像(由摄像处理单元110生成)。
全景生成单元112创建与由全景生成单元111创建的全景图像的类型不同的全景图像。例如,全景生成单元111创建双画面全景图像。然后,全景生成单元112创建四画面全景图像。全景生成单元111和全景生成单元112可以同时执行用于创建全景图像的处理,或者也可以单独地执行用于创建全景图像的处理。
由全景生成单元111和全景生成单元112生成全景图像的处理是用于基于设置值由全方位图像生成多个全景图像的控制处理的示例,在所述多个全景图像中,分割线自动相互匹配(协调)。稍后参考图6说明用于生成全景图像的处理。
通信处理单元114控制网络I/F 360并经由网络230执行与外部装置的通信。更具体地,通信处理单元114根据客户端220的请求分发由摄像处理单元110生成的全方位图像或由全景生成单元111或112生成的全景图像。通信处理单元114还通过根据客户端220的请求经由设置管理单元113保存并参考设置值来进行回复。
照相机服务器200可以包括多个通信处理单元114作为软件构造,或者还可以包括其中接受除通信处理单元114之外的接口的构造。
各软件构造之间的相互协作适当地使用OS 100提供的功能。
图6是例示全景生成单元111和112的信息处理的示例的流程图。
根据本示例性实施例,除非特别提及,否则将描述全景生成单元111生成双画面全景图像的情况。
当需要全景图像时,例如,当客户端220请求全景图像时,启动全景生成单元111。
在S700中,当全景生成单元111被启动时,全景生成单元111从设置管理单元113获得用于生成全景图像的设置值。设置值包括全方位图像的分割线。S700中的处理是用于获得设置值的处理的示例,利用该设置值可以识别与全景图像中的端部相对应的端线。应当理解,全景图像当然对应于鱼眼图像的至少一部分,并且还对应于已经执行了用于校正由鱼眼镜头引起的失真的失真校正处理的图像。
所获得的分割线还可以至少包括全方位图像的中心视角,和/或用于指示分割区域的各种其他信息,例如:指示距全方位图像的中心的距离的倾斜信息;和指示分割区域的大小的缩放信息。在这个意义上,应该理解,分割线可以包括除线数据之外的数据。根据各个示例性实施例,将全方位图像中的圆形部分的半径(例如,全方位图像的半径)围绕圆的中心旋转的方向设置为摇摄方向。另一方面,沿半径的方向被设置为倾斜方向。
用于生成全景图像的设置值还可以包括各个分割区域的布置信息。当设置值包括布置信息时,例如,图4B的四画面全景上的平面图像511和512以及图3B的双画面全景上的平面图像411可以布置在在各全景图像上的相同的位置处。类似地,图4B的四画面全景上的平面图像513和514以及图3B的双画面全景上的平面图像412可以布置在各全景图像上的相同位置处。
在S701中,全景生成单元111指示摄像处理单元110开始全方位图像的生成。
在S702中,全景生成单元111等待直到发生任何事件。全景生成单元111等待事件,诸如来自摄像处理单元110的图像生成通知,来自设置管理单元113或通信处理单元114的设置改变通知,或来自通信处理单元114的结束指令。图像生成通知是指示生成全景图像的命令。设置改变通知是指示改变分割线的命令。例如,分割(或端)线是分割线500或505。结束指令是指示结束生成全景图像的命令。
当事件发生时,在S703中,全景生成单元111和112检查事件的类型并执行相应的处理。当全景生成单元111和112从摄像处理单元110接收到图像生成通知事件时,流程进行到S704。当全景生成单元111从设置管理单元113接收到设置改变通知事件时,流程进行到S706。当全景生成单元111和112从通信处理单元114接收到结束指令事件时,流程进行到S707。
在S704中,全景生成单元111和112基于来自包括在通知事件中的全方位图像信息的设置值来生成全景图像。在S704中,全景生成单元112生成在分割线500处分割的全景图像。该分割线500是与由全景生成单元111生成的全景图像的分割线400相同的位置。
在S705中,全景生成单元111和112向通信处理单元114通知所生成的全景图像。此后,全景生成单元111和112再次返回到S702中的事件的等待状态。
在S706中,全景生成单元111和112再次获得用于生成包括通知事件中包括的分割线的全景图像的设置值,使得该设置可以用于下一个全景生成。例如,全景生成单元111和112通过用于生成包括通知事件中包括的分割线的全景图像的设置值,来更新在S700中获得的设置值。
在S706中,用于全景生成单元112的更新设置值指示分割线500,该分割线500是与用于全景生成单元111的更新设置值指示的分割线400相同的位置。例如,即使仅接收到用于全景生成单元111的设置改变通知,全景生成单元112也自动地更新全景生成单元112的设置值,该设置值指示与要通过设置改变通知改变的分割线相同的位置。此外,有时,当全景生成单元111和112正在生成全景图像时接收到设置改变通知,然后,各分割线立即改变为由设置改变通知指示的分割线。以这种方式,双画面全景图像的端线自动保持与四画面全景图像的端线相同,并且可以在保持端线的协调的情况下指定多个全景图像上的分割区域。
此后,全景生成单元111和112再次返回到S702中的事件的等待状态。
在S707中,当全景生成单元111和112从通信处理单元114接收到结束指令事件时,全景生成单元111指示摄像处理单元110停止全方位图像的生成。然后,全景生成单元111和112结束全景生成单元111和112的处理。
根据本示例性实施例,来自设置管理单元113的设置改变通知事件是这样的事件:永久地保存设置值,并且在设置值被保持的情况下,甚至当装置被重启时,也将事件通知给所有全景生成单元。利用这种构造,可以同时改变全景生成单元111和112的分割线。
另外,可以从通信处理单元114发送设置改变通知。来自通信处理单元114的设置改变通知事件意味着暂时改变设置值,并且当装置被重启时,丢弃改变的内容。通信处理单元114还可以仅向特定的全景生成单元(例如,全景生成单元111和112)发送设置改变通知事件。
利用该构造,可以适当地采用以下用法。在永久地改变所有全景图像的分割线的情况下(诸如客户端安装照相机的情况),从设置管理单元113发送设置改变通知事件。在改变当前观看的全景图像的分割线以暂时使客户端更容易观看被摄体的情况下,从通信处理单元114发送设置改变通知事件。设置管理单元113是第一单元的示例。通信处理单元114是第二单元的示例。
第二示例性实施例
图7A和图7B例示了全方位图像和单画面全景图像之间的关系。
在图7A中,水平线600表示在全方位图像上的水平方向,并且分割区域601例示与单画面全景中的平面图像611对应的区域。
图7B例示平面图像611。平面图像611是通过对分割区域601执行失真校正而获得的。
根据本示例性实施例的照相机服务器200的软件构造图与根据第一示例性实施例的图5基本相同。然而,本示例性实施例的不同之处在于,由全景生成单元111生成的全景图像是图7B所示的单画面全景图像,以及由设置管理单元113保存的分割线的设置值是图7A中所示的水平线600的位置。
当水平线600的位置被保存为分割线时,在单画面全景的水平线改变的情况下,可以以协调的方式改变双画面全景或四画面全景的分割线。也就是说,当改变单画面全景的水平线时,也可以对双画面全景和/或四画面全景的分割开始线进行相应的改变。以这种方式,不同全景的分割线被自动匹配,使得一个分割线中的任何改变导致一个或多个其他全景的分割线中的相应改变。
以这种方式,单画面全景图像的水平线自动保持与双画面全景和/或四画面全景的端线相同,可以在保持端线的协调的情况下在多个全景图像上指定分割区域。
第三示例性实施例
图8例示了客户端220的硬件构造的示例。
客户端220包括CPU 800、主存储设备810、二级存储设备820、用户输入I/F 830、用户输出I/F 840、以及网络I/F 860作为硬件构造。各硬件构造经由内部总线801相互连接。
主存储设备810是表示为RAM的可写高速存储设备。OS、各种程序和各种数据被加载到主存储设备810上。主存储设备810还可以用作OS和各种程序的工作区域。
二级存储设备820是由软盘驱动器(FDD)、HDD、闪存、CD-ROM驱动器等表示的非易失性存储设备。二级存储设备820用作OS、各种程序和各种数据的永久存储区域,并且还用作各种短期数据的存储区域。
由键盘、鼠标等表示的输入设备870连接到用户输入I/F 830并且管理来自用户的输入。
由显示器等表示的输出设备880连接到用户输出I/F 840并且管理对用户的输出。
网络I/F 860是用于建立到网络230的连接的I/F,并且起到经由诸如以太网的通信介质与照相机服务器200等进行通信的作用。
当CPU 800基于存储在二级存储设备320中的OS或程序执行处理时,实现图9的软件构造和图11的处理流程。下面将详细描述图9和图11。
图9例示了客户端220的软件构造的示例。
客户端220包括OS 900、输入控制单元910、全景控制单元911、输出控制单元912和通信处理单元913作为软件构造。
OS 900控制整个客户端。
全景控制单元911经由通信处理单元913从照相机服务器200获得全方位图像或全景图像,并且经由输出控制单元912输出所获得的图像。当全景图像的分割线在输入控制单元910处改变时,全景控制单元911经由通信处理单元913将改变的分割线保存在照相机服务器中。
输入控制单元910发送指示用户已经操作诸如键盘或鼠标的输入设备870的信息以控制全景控制单元911。根据本示例性实施例,已经描述了用户直接操作键盘、鼠标等的情况,但是示例性实施例也可以通过经由网络或自动执行程序的操作来实现。
输出控制单元912根据全景控制单元911的指令在诸如显示器的输出设备880上显示全方位图像、全景图像或诸如用户输入的区域的信息。
通信处理单元913控制网络I/F 860以(i)经由网络230从照相机服务器200接收全方位图像或全景图像,或者(ii)发送或接收全景图像的分割线。
各软件构造之间的相互协作适当地使用OS 900提供的功能。
图10A至10D例示了全景分割线指定画面的示例。
图10A至10D例示了全景控制单元911经由输出控制单元912显示图像或分割区域的方法以及输入控制单元910执行改变的方法。
图10A例示了全方位图像被显示并通过分割线和中心距离分割成两个区域的示例。
从全方位图像的中心1003起的水平线1004与分割线1000之间的角度被设定为摇摄角度。从中心1003到分割区域的内圆周的线1005被设定为倾斜角。输入控制单元910可用于改变这些角度。结果,全方位图像被分割成分割区域1001和1002。输入控制单元910还可以用于改变分割线。例如,可以使用输入设备870(例如,鼠标)对全方位图像(鱼眼图像)执行点击或拖放以定义分割线1000。
在图10A中,使用摇摄角度和倾斜角度,但是可以仅使用摇摄角度来进行指定。
图10B例示了如下示例,其中,显示双画面全景的平面图像1011和1012。在该示例中,通过使用摇摄滑块和倾斜滑块来指定分割线。
输入控制单元910在摇摄滑块1013上显示用于摇摄角度的可变区域,并且将可变的当前摇摄角度显示为点1014。输入控制单元910还在在倾斜滑块1015上显示用于倾斜角度的可变区域,并且将可变的当前倾斜角度显示为点1016。输入控制单元910还可以基于摇摄滑块1013对点1014的指定和倾斜滑块1015对点1016的指定来改变分割线。
另外,输入控制单元910可以基于使用诸如鼠标的输入设备870在双画面全景上进行的点击或拖放的信息来改变摇摄角度和倾斜角度。倾斜角度可以由从全方位图像上的中心起的线来表示。
图10C例示了通过摇摄和倾斜移动按钮指定分割线的示例。
在通过使用诸如鼠标的输入设备870选择用于改变摇摄角度和倾斜角度的按钮1021、1022、1023或1024的情况下,输入控制单元910可以在选择按钮的同时移动分割线,或者每次执行选择时将分割线移动一定量。按钮1021和1022表示摇摄角度的改变,按钮1023和1024表示倾斜角度的改变。输入控制单元910还可以根据,基于按钮1021和1022的指定以及基于按钮1023和1024的指定来改变分割线。
图10D例示了通过图像传感器的设置项指定分割线的示例。
例如,输入控制单元910基于通过使用诸如鼠标的输入设备870从图像反转设置1031的选项1032中选择的0度/90度/180度/270度的信息来选择分割线。图像反转设置是图像的旋转设置的示例。输入控制单元910还可以基于图像反转设置1031和从选项1032的选择来改变分割线。
图11是例示客户端220上的全景控制单元911的信息处理的示例的流程图。
当要显示全景图像时,通过来自用户等的指令启动全景控制单元911。
在S1100中,全景控制单元911指示通信处理单元913开始从照相机服务器200获得图像。要获得的图像不限于全景图像,还可以获得全方位图像。
在S1101中,全景控制单元911等待任何事件的发生。全景控制单元911等待事件,诸如来自通信处理单元913的图像接收通知,指示用户已改变分割线的用户输入通知,或来自用户的结束指令或基于通信异常的结束指令的事件。
当事件发生时,在S1102中,全景控制单元911检查事件的类型并执行相应的处理。当全景控制单元911从通信处理单元913接收到图像接收通知事件时,流程进行到S1103。当从用户接收到用户输入通知事件时,流程进行到S1104。当接收到来自用户的结束指令事件或基于通信异常的结束指令事件时,流程进行到S1106。
在S1103中,全景控制单元911经由输出控制单元912在诸如显示器的输出设备880上显示接收的图像。此后,全景控制单元911再次返回到S1101中的事件等待状态。根据本示例性实施例,假设全景控制单元911连续接收图像,但是如果不是这样,全景控制单元911还可以在必要时再次请求图像获得开始。
在S1104中,全景控制单元911基于用户操作计算改变之后的分割线。
在S1105中,全景控制单元911经由通信处理单元913指示照相机服务器200改变分割线。此后,全景控制单元911再次返回到S1101中的事件等待状态。
在S1106中,全景控制单元911停止从照相机服务器200连续获得图像的处理。然后,全景控制单元911结束全景控制单元911的处理。
以这种方式,双画面全景图像的端线自动保持与四画面全景图像的端线相同,并且可以在保持端线协调的情况下指定多个全景图像上的分割区域。这种协调在用户的更简单模式下在照相机服务器200侧执行,并且在显示全方位图像或全景图像的同时通过客户端220侧的各种方法指定分割线。
其他示例性实施例
还可以通过以下处理来实现本发明的示例性实施例。也就是说,实现上述示例性实施例的一个或多个功能的程序经由网络或存储介质提供给系统或装置。系统或装置中的计算机中的一个或多个处理器读出并执行该程序。另外,本发明的示例性实施例还可以在提供一个或多个功能的电路(例如,专用集成电路(ASIC))中实现。
以上已经详细描述了本发明示例性实施例的示例,但是本发明不限于上述特定示例性实施例。
例如,照相机服务器200的部分或全部软件构造可以在照相机服务器200中实现为硬件构造。另外,客户端220的部分或全部软件构造可以在照相机服务器200中实现为硬件构造。
此外,可以存在多个CPU作为照相机服务器200或客户端220的硬件构造,并且多个CPU可以基于该程序执行处理。
此外,图形处理单元(GPU)可以用作照相机服务器200或客户端220的硬件构造来代替CPU。
根据上述各示例性实施例,各个全景图像的端线自动保持与其他全景图像的端线相同,并且可以在保持端线协调的情况下在多个全景图像上指定分割区域。
根据上述各个示例性实施例,可以使由鱼眼图像生成的多个全景图像之间的区域相互同步。
本发明的(多个)实施例也可以通过如下实现:一种系统或装置的计算机,该系统或装置读出并执行在存储介质(其也可被更充分地称为“非暂态计算机可读存储介质”)上记录的计算机可执行指令(例如,一个或多个程序),以执行上述(多个)实施例中的一个或多个的功能,并且/或者,该系统或装置包括用于执行上述(多个)实施例中的一个或多个的功能的一个或多个电路(例如,专用集成电路(ASIC));以及由该系统或者装置的计算机执行的方法,例如,从存储介质读出并执行计算机可执行指令,以执行上述(多个)实施例中的一个或多个的功能,并且/或者,控制所述一个或多个电路以执行上述(多个)实施例中的一个或多个的功能。所述计算机可以包括一个或更多处理器(例如,中央处理单元(CPU),微处理单元(MPU)),并且可以包括分开的计算机或分开的处理器的网络,以读出并执行所述计算机可执行指令。所述计算机可执行指令可以例如从网络或存储介质被提供给计算机。例如,存储介质可以包括如下中的一个或多个:硬盘,随机存取存储器(RAM),只读存储器(ROM),分布式计算系统的存储器,光盘(例如,压缩盘(CD),数字多功能光盘(DVD),或蓝光光盘(BD)TM),闪速存储器装置,存储卡,等等。
本发明的实施例还可以通过如下的方法来实现,即,通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置,该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然针对示例性实施例描述了本发明,但是,应该理解,本发明不限于公开的示例性实施例。下述权利要求的范围应当被赋予最宽的解释,以便涵盖所有这类修改以及等同的结构和功能。

Claims (7)

1.一种图像处理装置,所述图像处理装置包括:
获得单元,其被构造为获得用于识别通过使用鱼眼镜头拍摄的图像的分割线的设置,所述分割线与通过对图像的对应部分进行失真校正处理而生成的失真校正图像的边缘相对应;以及
生成单元,其被构造为生成由使用鱼眼镜头拍摄的图像生成的第一组失真校正图像和由使用鱼眼镜头拍摄的图像生成的第二组失真校正图像,
其中,所述第一组中的图像的分割数量与所述第二组中的图像的分割数量不同,
其中,所述第一组至少包括第一失真校正图像,所述第二组至少包括第二失真校正图像和第三失真校正图像,
其中,所述生成单元基于所述设置生成所述第一组失真校正图像和所述第二组失真校正图像,使得所述第一失真校正图像的边缘中的一个与所述第二失真校正图像的边缘中的一个相匹配,并且所述第一失真校正图像的边缘中的另一个与所述第三失真校正图像的边缘中的一个相匹配。
2.根据权利要求1所述的图像处理装置,其中,所述设置至少包括指示从图像的中心起的角度的摇摄信息。
3.根据权利要求1所述的图像处理装置,其中,所述获得单元获得所述失真校正图像的生成通知中包括的设置。
4.根据权利要求1所述的图像处理装置,其中,在接收到设置的改变通知的情况下,所述生成单元基于所述改变通知中包括的设置来更新由所述获得单元获得的设置,并生成所述第一组失真校正图像和所述第二组失真校正图像。
5.根据权利要求1所述的图像处理装置,所述图像处理装置还包括:
分发单元,其被构造为将由所述生成单元生成的所述第一组失真校正图像和所述第二组失真校正图像分发给外部装置。
6.一种由图像处理装置执行的信息处理方法,所述信息处理方法包括:
获得用于识别通过使用鱼眼镜头拍摄的图像的分割线的设置,所述分割线与通过对图像的对应部分进行失真校正处理而生成的失真校正图像的边缘相对应;以及
生成由使用鱼眼镜头拍摄的图像生成的第一组失真校正图像和由使用鱼眼镜头拍摄的图像生成的第二组失真校正图像,
其中,所述第一组中的图像的分割数量与所述第二组中的图像的分割数量不同,
其中,所述第一组至少包括第一失真校正图像,所述第二组至少包括第二失真校正图像和第三失真校正图像,
其中,基于所述设置生成所述第一组失真校正图像和所述第二组失真校正图像,使得所述第一失真校正图像的边缘中的一个与所述第二失真校正图像的边缘中的一个相匹配,并且所述第一失真校正图像的边缘中的另一个与所述第三失真校正图像的边缘中的一个相匹配。
7.一种存储有程序的非暂时性存储介质,所述程序用于使计算机执行根据权利要求6所述的信息处理方法。
CN201811001202.2A 2017-08-31 2018-08-30 图像处理装置、信息处理系统、信息处理方法和存储介质 Active CN109429008B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017166983 2017-08-31
JP2017-166983 2017-08-31

Publications (2)

Publication Number Publication Date
CN109429008A CN109429008A (zh) 2019-03-05
CN109429008B true CN109429008B (zh) 2021-07-09

Family

ID=63592549

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811001202.2A Active CN109429008B (zh) 2017-08-31 2018-08-30 图像处理装置、信息处理系统、信息处理方法和存储介质

Country Status (5)

Country Link
US (1) US11023999B2 (zh)
EP (1) EP3451652A1 (zh)
JP (1) JP7210188B2 (zh)
KR (1) KR20190024745A (zh)
CN (1) CN109429008B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7085865B2 (ja) * 2018-03-09 2022-06-17 キヤノン株式会社 画像処理装置、画像処理方法
CN110276716B (zh) * 2019-06-19 2023-06-20 北京茵沃汽车科技有限公司 车辆前后视鱼眼图像的180度矫正视图的生成方法
JP2022072350A (ja) * 2020-10-29 2022-05-17 キヤノン株式会社 表示制御装置、表示制御方法、及び、プログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1837952A (zh) * 2004-12-30 2006-09-27 微软公司 全景图像中死区的最小化
CN101852980A (zh) * 2010-06-09 2010-10-06 长春理工大学 一种在cave投影系统上交互式播放全景视频流的方法
CN102572240A (zh) * 2010-12-22 2012-07-11 索尼公司 成像设备、图像处理设备、图像处理方法和程序
CN103339927A (zh) * 2011-01-31 2013-10-02 三星电子株式会社 用于拍摄全景图像的摄影装置和方法
JP2013218432A (ja) * 2012-04-05 2013-10-24 Dainippon Printing Co Ltd 画像処理装置、画像処理方法、画像処理用プログラム、および、記録媒体
CN105516569A (zh) * 2016-01-20 2016-04-20 北京疯景科技有限公司 一种获得全景图像的方法和装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002344727A (ja) 2001-05-21 2002-11-29 Matsushita Electric Ind Co Ltd 広角画像表示装置
US20040008423A1 (en) * 2002-01-28 2004-01-15 Driscoll Edward C. Visual teleconferencing apparatus
JP4629131B2 (ja) * 2008-09-03 2011-02-09 大日本印刷株式会社 画像変換装置
WO2010052550A2 (en) * 2008-11-05 2010-05-14 Easywalk Capital S.A. System and method for creating and broadcasting interactive panoramic walk-through applications
JP5573349B2 (ja) 2010-05-17 2014-08-20 パナソニック株式会社 パノラマ展開画像撮影システムおよび方法
WO2013114848A1 (ja) * 2012-01-31 2013-08-08 パナソニック株式会社 画像処理装置及び画像処理方法
US9589350B1 (en) 2013-05-30 2017-03-07 360 Lab Llc. Utilizing three overlapping images for exposure correction during panoramic image stitching
US9185284B2 (en) 2013-09-06 2015-11-10 Qualcomm Incorporated Interactive image composition
TWI533675B (zh) 2013-12-16 2016-05-11 國立交通大學 影像接合之最佳動態接縫找尋調整系統與方法
JP2015210702A (ja) 2014-04-28 2015-11-24 キヤノン株式会社 画像処理装置及び画像処理方法
JP6512787B2 (ja) 2014-10-07 2019-05-15 キヤノン株式会社 画像処理装置、画像処理方法、撮像装置
JP5919570B2 (ja) 2014-12-11 2016-05-18 パナソニックIpマネジメント株式会社 画像表示装置及び画像表示方法
JP6726931B2 (ja) * 2015-03-20 2020-07-22 キヤノン株式会社 画像処理装置およびその方法、並びに、画像処理システム
CN107980221B (zh) * 2015-04-01 2021-10-29 猫头鹰实验室股份有限公司 合成并缩放角度分离的子场景

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1837952A (zh) * 2004-12-30 2006-09-27 微软公司 全景图像中死区的最小化
CN101852980A (zh) * 2010-06-09 2010-10-06 长春理工大学 一种在cave投影系统上交互式播放全景视频流的方法
CN102572240A (zh) * 2010-12-22 2012-07-11 索尼公司 成像设备、图像处理设备、图像处理方法和程序
CN103339927A (zh) * 2011-01-31 2013-10-02 三星电子株式会社 用于拍摄全景图像的摄影装置和方法
JP2013218432A (ja) * 2012-04-05 2013-10-24 Dainippon Printing Co Ltd 画像処理装置、画像処理方法、画像処理用プログラム、および、記録媒体
CN105516569A (zh) * 2016-01-20 2016-04-20 北京疯景科技有限公司 一种获得全景图像的方法和装置

Also Published As

Publication number Publication date
KR20190024745A (ko) 2019-03-08
JP2019047492A (ja) 2019-03-22
CN109429008A (zh) 2019-03-05
EP3451652A1 (en) 2019-03-06
US20190066259A1 (en) 2019-02-28
JP7210188B2 (ja) 2023-01-23
US11023999B2 (en) 2021-06-01

Similar Documents

Publication Publication Date Title
EP3340606B1 (en) Information processing apparatus and information processing method
JP6167703B2 (ja) 表示制御装置、プログラム及び記録媒体
CN106803884B (zh) 图像处理装置
CN109429008B (zh) 图像处理装置、信息处理系统、信息处理方法和存储介质
JP6942940B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5743016B2 (ja) 画像を生成する装置および方法
JP2017040687A (ja) 画像表示システム、情報処理装置、画像表示方法及びプログラム
WO2017014126A1 (ja) 画像管理システム、画像管理方法及びプログラム
US10547791B2 (en) Control apparatus, control method, and storage medium
US20180365799A1 (en) Image processing apparatus and method for controlling the same, imaging apparatus, and monitoring system
US10979684B2 (en) Image processing apparatus, information processing method, and program for associating an element in a background shape model with an image capturing apparatus
US10701286B2 (en) Image processing device, image processing system, and non-transitory storage medium
US10536631B2 (en) Video display apparatus and control method of video display apparatus
US9307152B2 (en) Display control apparatus and camera system where dialogue box is displayed based on display mode
WO2018006669A1 (zh) 视差融合方法和装置
JP6443505B2 (ja) プログラム、表示制御装置及び表示制御方法
US9883103B2 (en) Imaging control apparatus and method for generating a display image, and storage medium
US20220385883A1 (en) Image processing apparatus, image processing method, and storage medium
CN112422827B (zh) 信息处理方法、装置及设备和存储介质
US11516390B2 (en) Imaging apparatus and non-transitory storage medium
JP2017040685A (ja) 画像表示システム、情報処理装置、画像表示方法及びプログラム
JP2017208658A (ja) 画像処理装置、画像処理方法及びプログラム
JP2017040686A (ja) 画像表示システム、情報処理装置、画像表示方法及びプログラム
EP3211562A1 (en) Creating summary content
JP2019003676A (ja) 画像処理システム、画像処理方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant