CN110537199A - 图像处理装置和图像处理方法 - Google Patents

图像处理装置和图像处理方法 Download PDF

Info

Publication number
CN110537199A
CN110537199A CN201780089684.9A CN201780089684A CN110537199A CN 110537199 A CN110537199 A CN 110537199A CN 201780089684 A CN201780089684 A CN 201780089684A CN 110537199 A CN110537199 A CN 110537199A
Authority
CN
China
Prior art keywords
synthesis
panoramic picture
celestial sphere
image processing
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780089684.9A
Other languages
English (en)
Inventor
王亲和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN110537199A publication Critical patent/CN110537199A/zh
Pending legal-status Critical Current

Links

Classifications

    • G06T3/12—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Abstract

在图像处理装置(20)中，图像接收部(101)从摄影装置接收一部分的摄影范围重叠的多个摄影图像并保存到输入缓冲器(201)，合成区域设定部(103)以使至少两个摄影图像的重叠的摄影范围中的被投影于天球全景图像的极点附近的部分比被投影于天球全景图像的赤道附近的部分宽的方式设定合成区域，图像合成部(105)对合成区域内的重叠的图像进行合成处理，并将多个摄影图像进行连结，来生成天球全景图像并保存到输出缓冲器(202)，图像发送部(106)将天球全景图像发送到显示装置。

Description

图像处理装置和图像处理方法
技术领域
本发明涉及一种将一部分重叠的多个摄影图像进行合成的图像处理装置和图像处理方法。
背景技术
将由多个摄像机分别拍摄到的摄影图像进行连结来生成全景图像的技术正在普及。但是，各摄像机的摄影条件不同，因此当将摄影图像保持原状地直接进行连结时，在全景图像的连结部分会产生接缝。因此，在专利文献1中，对作为连结对象的两个摄影图像的像素的灰度进行校正并将这两个摄影图像的重叠部分进行合成，由此使全景图像中的连结部分的接缝不明显。
现有技术文献
专利文献
专利文献1：日本特开平9-93430号公报
发明内容
然而，在生成能够使视点朝向任意的方向的天球全景图像的情况下，在专利文献1的技术中存在在使视点朝向特定方向(在专利文献1中为上下方向)的情况下天球全景图像的连结部分的接缝明显的问题。这是由于在将多个摄影图像进行合成来生成天球全景图像的情况下，在天球全景图像中存在被汇集于一点的坐标。即，在这样的坐标的附近，校正的结果也被汇集于窄的范围，因此不能充分地获得校正的效果。
本发明的目的在于提供一种生成连结部分的接缝不明显的天球全景图像的技术。
本发明的一个方式所涉及的图像处理装置将一部分的摄影范围重叠的多个摄影图像进行连结来生成天球全景图像，所述图像处理装置具备：合成区域设定部，其以使至少两个摄影图像的重叠的摄影范围中的被投影于所述天球全景图像的极点附近的部分比被投影于所述天球全景图像的赤道附近的部分宽的方式设定合成区域；以及图像合成部，其对所述合成区域内的重叠的图像进行合成处理，将所述多个摄影图像进行连结来生成所述天球全景图像。
根据本发明，能够生成连结部分的接缝不明显的天球全景图像。
附图说明
图1是示出使用了图像处理装置的图像处理系统的一例的示意图。
图2是示出图像处理装置所具有的功能的一例的框图。
图3是用于说明投影区域的示意图。
图4是用于说明天球面的区域与投影区域的关系的示意图。
图5是用于说明合成区域的示意图。
图6是用于说明摄影图像针对扩展投影区域的投影的示意图。
图7是用于说明合成处理的示意图。
图8是用于说明α混合(alpha blending)的一例的示意图。
图9是示出使视点朝向极点时的天球全景图像的一例的示意图。
图10是示出图像处理装置中的整体的处理的流程图。
图11是用于说明投影区域的变形例的示意图。
图12是用于说明投影区域的变形例的示意图。
图13是用于说明合成区域的变形例的示意图。
图14是用于说明合成区域的变形例的示意图。
图15是示出图像处理装置的硬件结构的一例的框图。
具体实施方式
下面，参照附图来说明实施方式。
此外，在将同种要素区别开来进行说明的情况下，如“摄像机11F”、“摄像机11R”这样使用参照标记，在不将同种要素区别开来进行说明的情况下，如“摄像机11”这样仅使用参照标记中的共同编号。
<图像处理系统>
首先，使用图1来说明本实施方式所涉及的图像处理系统的结构。图像处理系统具备摄影装置10、图像处理装置20以及显示装置30。
摄影装置10具备多个摄像机11F、11R、11B、11L。相邻的两个摄像机11被配置为摄影范围有一部分重叠。例如，在图1中，拍摄前方的摄像机11F与拍摄右方的摄像机11R被配置为摄影范围有一部分重叠。摄影装置10将由各摄像机11拍摄到的摄影图像12经由规定的缆线(或网络)发送到图像处理装置20。
图像处理装置20对从摄影装置10接收到的多个摄影图像12进行拼接(全景合成)来生成天球全景图像400A。天球全景图像400A为除了能够使视点移动到前后左右的方向以外还能够使视点移动到上下方向的图像。图像处理装置20将所生成的天球全景图像400A经由规定的缆线(或网络)发送到显示装置30。
显示装置30用于显示从图像处理装置20接收到的天球全景图像400A。当用户向图像处理装置20输入视点方向时，图像处理装置20生成在被输入的该视点方向上看得到的天球全景图像400A，并显示于显示装置30。例如，当用户向图像处理装置20输入上方向的视点时，如图1所示，图像处理装置20显示从摄影装置10的位置朝向上方所看得到的天球全景图像400A。
此外，在本实施方式中，设为摄影装置10具备四台摄像机进行说明，摄影装置10所具备的摄像机的台数不限于此。例如，摄影装置10可以具备2台、3台或5台以上的摄像机。
另外，摄影图像12既可以为静止图像，也可以为运动图像。在运动图像的情况下，本实施方式中的摄影图像12可以为构成运动图像的一个帧。
<图像处理装置>
接着，使用图2来对图像处理装置20所具有的功能进行说明。图像处理装置20具有图像接收部101、投影区域设定部102、合成区域设定部103、图像投影部104、图像合成部105以及图像发送部106。另外，图像处理装置20具备：输入缓冲器201，其用于暂时保存从摄影装置10发送来的摄影图像的数据；以及输出缓冲器202，其用于暂时保存要向显示装置30发送的天球全景图像400的数据。
图像接收部101从摄影装置10接收由各摄像机11拍摄到的摄影图像，并将接收到的该摄影图像保存到输入缓冲器201。
投影区域设定部102对摄像机11与供该摄像机11的摄影图像投影的投影区域的对应关系进行设定。此外，在后面叙述由投影区域设定部102进行的处理的具体例。
合成区域设定部103在相邻的投影区域的边界线附近设定合成区域，并设定将投影区域与合成区域合在一起所得到的扩展投影区域。此外，在后面叙述由合成区域设定部103进行的处理的具体例。
图像投影部104将摄影图像映射到扩展投影区域。此外，在后面叙述由图像投影部104进行的处理的具体例。
图像合成部105对合成区域内的图像进行合成处理，并将相邻的两个扩展投影区域的图像进行连结，来生成天球全景图像400。图像合成部105将所生成的该天球全景图像400保存到输出缓冲器202。此外，在后面叙述由图像合成部105进行的处理的具体例。
图像发送部106将输出缓冲器202中保存的天球全景图像400发送到显示装置30。由此，天球全景图像400被显示于显示装置30。
<投影区域设定部的详细内容>
接着，使用图3来说明由投影区域设定部102进行的处理的具体例。
如图3所示，投影区域设定部102将拍摄右方的摄像机11R与天球全景图像400中的右方的投影区域301R对应起来。同样地，投影区域设定部102将拍摄前方、后方以及左方的摄像机11F、11B、11L与天球全景图像400中的前方、后方以及左方的投影区域301F、301B、301L各自对应起来。
另外，投影区域设定部102将所有的投影区域301设定为在天球全景图像400中彼此相邻，从而在前方与右方、右方与后方、后方与左方以及左方与前方之间分别形成边界线307FR、307RB、307BL、307LF。但是，图3是将在左方与前方相连的天球全景图像400展开所得到的图，因此边界线307LF被示出于天球全景图像400的右端和左端这两方。边界线307例如被设定于与投影区域301的边界相当的部分。另外，投影区域301各自的宽度例如为将天球全景图像400根据摄像机11的数量进行等分所得到的长度。但是，也可以是，根据摄像机11的视场角和/或设置的角度等使各摄像机11所负责的投影区域的宽度为不均等的宽度、或者为可变的宽度。
此外，如图4所示，例如右方的投影区域301R相当于将天球面中的右方的区域投影于平面上所得到的区域。因而，投影区域301中的水平方向的坐标能够通过天球面的经度来表示，投影区域301中的垂直方向的坐标能够通过天球面的纬度来表示。因此，在本实施方式中，将投影区域301中的与纬度0度(赤道)相当的水平线称为赤道线360，将投影区域301中的与纬度±90度(上极点、下极点)相当的水平线称为极线361N、361S。
<合成区域设定部的详细内容>
接着，使用图5来说明由合成区域设定部103进行的处理的具体例。此外，在此，将投影区域301R与301B的边界附近处的处理作为代表例进行说明，对于其它的边界附近也进行同样的处理。
如图5所示，合成区域设定部103在相邻的两个投影区域301R、301B的边界线307RB附近设定合成区域302Rr(斜线部分)。另外，同样地，在相邻的两个投影区域301F、301R的边界线307FR附近设定合成区域302Rl(斜线部分)。在本实施方式中，将投影区域301与合成区域302合在一起称为扩展投影区域303。将合成区域302的与边界线307垂直的方向(即，与纬线平行的方向)上的宽度称为合成宽度。
如后面叙述的那样，在图像合成部105中，对合成区域302内的图像进行用于使图像的接缝不明显的图像处理。一般，为了使接缝不明显，需要某种程度宽的合成宽度，如果合成宽度过窄，则接缝明显。以往，在投影区域的边界线附近设定固定的合成宽度，因此当以天球面的坐标来观察时，极点附近的合成宽度(与纬线平行的弧长度)相比于赤道附近的合成宽度而言变得相当窄。因此，以往发生在极点方向的视点的天球全景图像中接缝明显的问题。
因此，合成区域设定部103设定使合成宽度W与以纬度θ为变量的余弦函数的倒数相应地变宽这样的合成区域302。具体地说，合成区域设定部103设定纬度θ处的合成宽度W＝L/cosθ这样的合成区域302。在此，L为常数，相当于纬度θ＝0度(也就是赤道)处的合成宽度。另外，对合成宽度W设置规定的最大值使得在纬度θ为±90度时合成宽度W不为∞。
上述的合成宽度W为越接近纬度0度(赤道线360)则合成宽度W越窄且越接近纬度±90度(极线361N、361S)则合成宽度W越宽的值。由此，在极点附近也充分地被确保以天球面的坐标观察的情况下的合成宽度，因此在极点方向的视点的天球全景图像400中接缝也变得不明显。
另外，通过使用余弦函数，在以天球面的坐标观察的情况下的合成宽度大致固定。由此，接缝变得更加不明显。
<图像投影部的详细内容>
接着，使用图6来说明由图像投影部104进行的处理的具体例。
如图6所示，图像投影部104针对包括通过投影区域设定部102与摄像机11R对应起来的投影区域301R的扩展投影区域303R投影该摄像机11R的摄影图像12R。具体地说，图像投影部104将摄影图像12R的各像素映射于扩展投影区域303R的对应的坐标。
此外，关于摄影图像12R的像素与扩展投影区域303R中的坐标的对应关系，能够基于摄像机11R的焦距及畸变系数等内部参数以及摄像机11R的朝向及姿势等外部参数进行计算。
另外，被映射到扩展投影区域303R的像素也可以是使用摄影图像12R中的像素值及其周边的像素值生成的补偿像素。
<图像合成部的详细内容>
接着，使用图7来说明由图像合成部105进行的处理的具体例。
如图7所示，图像合成部105将被映射到相邻的扩展投影区域303R、303B的图像进行连结来生成天球全景图像400B。此时，图像合成部105对合成区域302Rr、302Bl内的图像进行合成处理，使连结部分的接缝不明显。例如，图像合成部105对合成区域302Rr、302Bl内的图像进行α混合。下面，对α混合的处理进行说明。
图像合成部105将扩展投影区域303R的合成区域302Rr内的第一像素值P1和扩展投影区域303B的合成区域302Bl内的第二像素值P2代入下述的式1，来计算合成后的像素值Pr。
Pr＝P1×α+P2×(1-α)...(式1)
在此，α为第一像素值的合成比率。针对合成区域302Rr、302Bl中的所有像素值，将合成比率α设为固定值。但是，如图8所示，合成比率α也可以是随着远离包括第一像素值P1的扩展投影区域303R的中心而变小的值。
图像合成部105在将三个以上的扩展投影区域303的图像进行连结的情况下，重复进行以下处理来生成天球全景图像400C：首先，对两个扩展投影区域的合成区域内的图像进行α混合来进行连结，接着，对该连结后的扩展投影区域的其它的合成区域内的图像与另一个扩展投影区域的合成区域内的图像进行α混合来进行连结。
像这样，在极线361附近以足够的合成宽度进行α混合，由此例如图9所示，在极点361N方向的视点的天球全景图像400D中也使边界线307的接缝变得不明显。
<图像处理装置中的处理流程>
接着，使用图10的流程图来说明图像处理装置20中的整体处理流程。
首先，图像接收部101从摄影装置10接收由各摄像机11拍摄到的摄影图像12，并将所接收到的该各摄影图像12保存到输入缓冲器201(ST101)。
接着，投影区域设定部102设定摄像机11与投影区域301的对应关系(ST102)。
接着，合成区域设定部103在投影区域301的边界线307附近设定合成区域302，生成扩展投影区域303(ST103)。
接着，图像投影部104将摄像机11的摄影图像12映射于与该摄像机11处于对应关系的扩展投影区域303(ST104)。
接着，图像合成部105对扩展投影区域303的合成区域内的图像进行合成处理来将图像进行连结，由此生成天球全景图像400，并将所生成的该天球全景图像400保存到输出缓冲器202(ST105)。
接着，图像发送部106将输出缓冲器202中保存的天球全景图像400发送到显示装置30(ST106)。由此在显示装置30上显示天球全景图像400。
<投影区域的变形例>
接着，对投影区域的变形例进行说明。
(A1)在相邻的摄像机11的间隔和/或摄像机11的视场角不同的情况下，如图11所示，投影区域设定部102将各投影区域301设定为不同的尺寸。此时，投影区域设定部102根据相邻的摄像机11的间隔和/或摄像机11的视场角来决定投影区域301的尺寸。具体地说，在相邻的摄像机11的间隔大的情况下和/或在摄像机11的视场角大的情况下，将投影区域301的尺寸设定得大。
(A2)在摄影装置10还具备拍摄上下方向的摄像机11的情况下，如图12所示，投影区域设定部102在前后左右的投影区域301的上部设置与拍摄上方的摄像机11相关的投影区域301U，在该前后左右的投影区域301的下部设置与拍摄下方的摄像机11相关的投影区域301D。在该情况下，如图12所示，合成区域设定部103在前后左右的投影区域301与上方的投影区域301U的边界线附近设置合成区域302U，在前后左右的投影区域301与下方的投影区域301D的边界线附近设置合成区域302D。另外，如图12所示，在下方的投影区域301D比上方的投影区域301U小的情况下，下方的投影区域301D的边界线到极线的距离比上方的投影区域301U的边界线到极线的距离更近(也就是说，离赤道线的距离更远)。因此，在该情况下，使与下方的投影区域301D的边界线附近的合成区域302D的合成宽度WD比与上方的投影区域301U的边界线附近的合成区域302U的合成宽度WU宽。
在天球面的坐标系中，与经线平行的方向上的间隔是固定的，同到极点的距离无关，因此即使如在(A2)中说明的那样设为到极线361的距离越近则使上下的摄影图像与前后左右的摄影图像之间的合成宽度(例如WU、WB)越宽，使天球全景图像400的与经线平行的方向变得平滑的效果也小。但是，与纬线平行的方向上的间隔的变窄方式是越接近极点则越急剧变窄，因此到极线的距离越近，即使进行前后左右的摄影图像的合成宽度的调整，也难以使接缝变得平滑。因此，如在(A2)中说明的那样，针对上下的摄影图像与前后左右的摄影图像之间的合成宽度(例如WU、WB)，也是到极线361的距离越近则使其越宽，由此能够使极线361附近的与纬线平行的方向的接缝更加不明显。
<合成区域的变形例>
接着，对合成区域的变形例进行说明。
(B1)如图13所示，合成区域设定部103设定合成宽度W在赤道线360上最小且随着去向极线361N、361S而阶梯式变宽的合成区域302。
(B2)如图14所示，合成区域设定部103设定合成宽度W在赤道线360处最小且随着去向极线361N、361S而以固定的比例变宽的合成区域302。
(B3)例如，在将摄影装置10设置在三脚架上来进行摄影的情况等不会显示下极点方向的视点的天球全景图像的情况下，合成区域设定部103仅将上极线361N附近的合成宽度设定得宽。另外，例如在将摄影装置10设置在吊杆上来进行摄影的情况等不会显示上极点方向的视点的天球全景图像的情况下，合成区域设定部103仅将下极线361S附近的合成宽度设定得宽。
(B4)合成区域设定部103根据由相邻的摄像机11拍摄到的两个摄影图像12中的重叠的摄影范围内的图像的差来设定合成宽度。具体地说，重叠的摄影范围内的图像的差越大，合成区域设定部103将合成宽度设定得越宽，以使接缝平滑。
(B5)一般地，将合成宽度设定得越宽则接缝变得越平滑，但是相应地使得运算量增加，从而图像处理装置20的处理负荷增大。因而，合成区域设定部103根据图像处理装置20的运算能力的高低来决定合成宽度。具体地说，图像处理装置20的运算能力越低，合成区域设定部103将合成宽度设定得越窄。此外，例如根据处理器的最大动作频率和/或处理器的当前时间点的使用率来计算图像处理装置20的运算能力。
<本实施方式的效果>
如上所述，图像处理装置20在将由多个摄像机11拍摄到的多个摄影图像12进行连结来生成天球全景图像400时，将极线361附近的合成宽度设定得比赤道线360附近的合成宽度宽。由此，在极点方向的视点的天球全景图像400中，接缝也不会变得明显。另外，与将合成宽度整体设定得宽的情况相比，通过像这样设定合成宽度，能够减少合成处理的运算量。
<硬件结构>
接着，使用图15来说明图像处理装置20的硬件结构。
图像处理装置20具备输入缓冲器201、输出缓冲器202、ROM 203、RAM 204以及处理器205。
如上所述，输入缓冲器201是用于存储从摄影装置10发送来的摄影图像12的数据的存储设备。输入缓冲器201例如由易失性半导体存储器构成。
ROM 203是用于存储由处理器205执行的程序及各种数据的存储设备。ROM 203例如由非易失性半导体存储器构成。RAM 204是用于存储处理器205所利用的各种数据的存储设备。RAM 204例如由易失性半导体存储器构成。
处理器205例如是CPU(Central Processing Unit：中央处理单元)、GPU(GraphicsProcessing Unit：图形处理单元)、或DSP(Digital Signal Processor：数字信号处理器)等处理器。处理器205按照ROM 203中存储的程序，实现图像处理装置20所具有的功能。图2所示的图像接收部101、投影区域设定部102、合成区域设定部103、图像投影部104、图像合成部105以及图像发送部106的功能例如通过处理器205来实现。
输出缓冲器202是用于存储由处理器205生成的天球全景图像400的数据的存储设备。输出缓冲器202例如由易失性半导体存储器构成。输出缓冲器202中存储的天球全景图像400被输出到显示装置30。
<附注>
此外，在上述的实施方式中，在附图中例示由鱼眼镜头获得的摄影图像12进行了说明，但是本实施方式的应用范围不限于此。即，只要是将极点附近包含在摄影范围内的图像，本实施方式也能够应用于除鱼眼镜头以外的摄影图像。在该情况下也如图4所示那样，在将摄影图像合成所得到的天球全景图像的极点方向的视点下，极点附近被汇集于一点的坐标，被投影于天球全景图像的合成宽度也随此变窄。该现象与在摄影图像12的摄影中使用的镜头的种类无关，是在将摄影图像投影于天球面时发生的。即，本实施方式的内容用于抑制接缝因该现象而明显。因而，只要是将摄影图像进行合成来生成天球全景图像的结构，则不管在摄影中使用的为何种镜头，通过应用本实施方式均能够使接缝平滑。此外，使用通常的镜头来拍摄极点附近的结构例如能够通过将摄像机11向相当于极点的方向倾斜来实现。
另外，在上述的实施方式中，设定以边界线307为中心对称的合成宽度，但是合成宽度的设定方法不限于此。例如，也可以设定相对于边界线307呈非对称的合成宽度。即，关于本实施方式所涉及的合成宽度，只要被设定为极点附近的合成宽度比赤道附近的合成宽度宽，则合成宽度可以是任意的形状。
另外，在上述的实施方式中，以边界线307的位置为基准设定了合成宽度，但是合成宽度的设定方法不限于此。即，只要针对摄像机11之间摄影范围重叠的部分设定合成宽度即可，不需要一定是以边界线307为基准设定合成宽度。例如，根据摄像机11的摄影范围和设置位置来确定各摄影图像12的重叠范围，并以确定出的该重叠范围的中心位置或规定比例的位置为基准设定合成宽度。像这样，即使不设定边界线307本身，本实施方式的内容也是能够实现的。
典型地，在上述的实施方式的说明中使用的各功能块被实现为作为集成电路的LSI。这些各功能块既可以被单独地进行单芯片化，也可以是以包括一部分或全部的方式被进行单芯片化。在此，设为LSI，但是根据集成度的不同，有时也被称为IC、系统LSI、超大规模LSI、甚大规模LSI。
另外，集成电路化的方法不限于LSI，可以通过专用电路或通用处理器来实现。也可以是在LSI制造后利用能够编程的FPGA(Field Programmable Gate Array：现场可编程门阵列)、或者能够对LSI内部的电路单元的连接、设定进行重构的可重构处理器。
并且，如果由于半导体技术的进步或派生出的其它技术而出现取代LSI的集成电路化的技术，则当然也可以使用该技术进行功能块的集成化。也有可能应用生物技术等。
上述的实施方式是用于说明本发明的例示，其宗旨并不是将本发明的范围仅限定于实施方式。本领域技术人员能够不脱离本发明的主旨而通过其它的各种方式来实施本发明。
产业上的可利用性
本发明所涉及的图像处理装置和图像处理方法能够应用于由多个摄像机拍摄到的多个图像数据的合成。
附图标记说明
10：摄影装置；11：摄像机；20：图像处理装置；30：显示装置；101：图像接收部；102：投影区域设定部；103：合成区域设定部；104：图像投影部；105：图像合成部；106：图像发送部；201：输入缓冲器；202：输出缓冲器。

Claims (7)

1.一种图像处理装置，将一部分的摄影范围重叠的多个摄影图像进行连结来生成天球全景图像，所述图像处理装置具备：
合成区域设定部，其以使至少两个摄影图像的重叠的摄影范围中的被投影于所述天球全景图像的极点附近的部分比被投影于所述天球全景图像的赤道附近的部分宽的方式设定合成区域；以及
图像合成部，其对所述合成区域内的重叠的图像进行合成处理，并将所述多个摄影图像进行连结，来生成所述天球全景图像。
2.根据权利要求1所述的图像处理装置，其特征在于，
所述多个摄影图像的摄影范围在与所述赤道大致平行的方向上重叠，
所述合成区域设定部以使在与所述赤道大致平行的方向上，重叠的所述摄影范围的、被投影于所述极点附近的部分的合成宽度比被投影于所述赤道附近的部分的合成宽度宽的方式设定所述合成区域。
3.根据权利要求2所述的图像处理装置，其特征在于，
所述合成区域设定部以随着从被投影于所述赤道的部分去向被投影于所述极点的部分而所述合成宽度变宽的方式设定所述合成区域。
4.根据权利要求3所述的图像处理装置，其特征在于，
所述合成区域设定部以使所述合成宽度与以纬度为变量的余弦函数的倒数相应地变宽的方式设定所述合成区域。
5.根据权利要求1所述的图像处理装置，其特征在于，
所述多个摄影图像的摄影范围在与所述赤道大致垂直的方向上重叠，
所述合成区域设定部以使在与所述赤道大致垂直的方向上，重叠的所述摄影范围的、被投影于所述极点附近的部分的合成宽度比被投影于所述赤道附近的部分的合成宽度宽的方式设定所述合成区域。
6.根据权利要求2至5中的任一项所述的图像处理装置，其特征在于，
所述合成区域设定部根据运算能力的高低来决定所述合成宽度。
7.一种图像处理方法，将一部分的摄影范围重叠的多个摄影图像进行连结来生成天球全景图像，其中，
以使至少两个摄影图像的重叠的摄影范围中的被投影于所述天球全景图像的极点附近的部分比被投影于所述天球全景图像的赤道附近的部分宽的方式设定合成区域，
对所述合成区域内的重叠的图像进行合成处理，并将所述多个摄影图像进行连结，来生成所述天球全景图像。
CN201780089684.9A 2017-05-12 2017-12-26 图像处理装置和图像处理方法 Pending CN110537199A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017095426A JP6331178B1 (ja) 2017-05-12 2017-05-12 画像処理装置、及び、画像処理方法
JP2017-095426 2017-05-12
PCT/JP2017/046585 WO2018207402A1 (ja) 2017-05-12 2017-12-26 画像処理装置、及び、画像処理方法

Publications (1)

Publication Number Publication Date
CN110537199A true CN110537199A (zh) 2019-12-03

Family

ID=62236470

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780089684.9A Pending CN110537199A (zh) 2017-05-12 2017-12-26 图像处理装置和图像处理方法

Country Status (5)

Country Link
US (1) US11089216B2 (zh)
EP (1) EP3624046A4 (zh)
JP (1) JP6331178B1 (zh)
CN (1) CN110537199A (zh)
WO (1) WO2018207402A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102598082B1 (ko) * 2016-10-28 2023-11-03 삼성전자주식회사 영상 표시 장치, 모바일 장치 및 그 동작방법
CN110719405B (zh) * 2019-10-15 2021-02-26 成都大学 一种基于双目测距的多相机全景图像缝合方法、存储介质及终端
CN114827555A (zh) * 2021-01-28 2022-07-29 中强光电股份有限公司 显示环景影像的显示系统及其操作方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5642168A (en) * 1994-10-26 1997-06-24 Omron Corporation High resolution picture image processing method and system
CN103907340A (zh) * 2011-11-07 2014-07-02 索尼电脑娱乐公司 图像生成装置和图像生成方法
CN104169964A (zh) * 2011-10-31 2014-11-26 欧姆龙株式会社 图像处理装置及图像处理程序记录介质
US20160050369A1 (en) * 2013-08-28 2016-02-18 Hirokazu Takenaka Image processing apparatus, image processing method, and image system
CN105488775A (zh) * 2014-10-09 2016-04-13 东北大学 一种基于六摄像机环视的柱面全景生成装置及方法
CN106133794A (zh) * 2014-03-18 2016-11-16 株式会社理光 信息处理方法、信息处理设备以及程序

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5842886B2 (ja) 1976-12-14 1983-09-22 松下電器産業株式会社 定電圧装置
JP3530652B2 (ja) 1995-09-26 2004-05-24 キヤノン株式会社 画像合成方法及び画像合成装置
JP2003141562A (ja) * 2001-10-29 2003-05-16 Sony Corp 非平面画像の画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム
JP2006119730A (ja) * 2004-10-19 2006-05-11 Seiko Epson Corp 画像のつなぎ合わせ
KR100988872B1 (ko) * 2009-07-08 2010-10-20 주식회사 나노포토닉스 회전 대칭형의 광각 렌즈를 이용하여 복합 영상을 얻는 방법과 그 영상 시스템 및 하드웨어적으로 영상처리를 하는 이미지 센서
FR2960703B1 (fr) * 2010-05-28 2012-05-18 Commissariat Energie Atomique Dispositif optoelectronique avec electrode enterree
JP5609742B2 (ja) 2011-03-31 2014-10-22 カシオ計算機株式会社 撮像装置、画像合成方法、及びプログラム
WO2013186804A1 (ja) * 2012-06-11 2013-12-19 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法
US10666860B2 (en) 2012-09-11 2020-05-26 Ricoh Company, Ltd. Image processor, image processing method and program, and imaging system
KR20140112909A (ko) * 2013-03-14 2014-09-24 삼성전자주식회사 파노라마 영상을 생성하는 전자 장치 및 방법
US10536633B2 (en) 2015-02-06 2020-01-14 Panasonic Intellectual Property Management Co., Ltd. Image processing device, imaging system and imaging apparatus including the same, and image processing method
JP6253030B2 (ja) 2015-02-06 2017-12-27 パナソニックＩｐマネジメント株式会社 画像処理装置、撮像装置および画像処理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5642168A (en) * 1994-10-26 1997-06-24 Omron Corporation High resolution picture image processing method and system
CN104169964A (zh) * 2011-10-31 2014-11-26 欧姆龙株式会社 图像处理装置及图像处理程序记录介质
CN103907340A (zh) * 2011-11-07 2014-07-02 索尼电脑娱乐公司 图像生成装置和图像生成方法
US20160050369A1 (en) * 2013-08-28 2016-02-18 Hirokazu Takenaka Image processing apparatus, image processing method, and image system
CN106133794A (zh) * 2014-03-18 2016-11-16 株式会社理光 信息处理方法、信息处理设备以及程序
CN105488775A (zh) * 2014-10-09 2016-04-13 东北大学 一种基于六摄像机环视的柱面全景生成装置及方法

Also Published As

Publication number Publication date
US11089216B2 (en) 2021-08-10
JP6331178B1 (ja) 2018-05-30
JP2018194884A (ja) 2018-12-06
US20200120274A1 (en) 2020-04-16
EP3624046A1 (en) 2020-03-18
WO2018207402A1 (ja) 2018-11-15
EP3624046A4 (en) 2020-03-18

Similar Documents

Publication Publication Date Title
JP6721065B2 (ja) 撮像装置、画像処理装置および方法
US10104288B2 (en) Method and apparatus for generating panoramic image with stitching process
JP5676092B2 (ja) パノラマ画像生成方法及びパノラマ画像生成プログラム
KR20180101165A (ko) 파노라마 프레임으로의 프레임 스티칭
TW200425737A (en) Method for creating brightness filter and virtual space creation system
JP7030442B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN110537199A (zh) 图像处理装置和图像处理方法
JP2004506285A (ja) 高速デジタルパンチルトズームビデオ
US7224392B2 (en) Electronic imaging system having a sensor for correcting perspective projection distortion
US10057487B1 (en) Panoramic imaging systems based on normal-lens cameras
CN105324791A (zh) 坐标计算装置和方法、以及图像处理装置和方法
JP5846172B2 (ja) 画像処理装置、画像処理方法、プログラムおよび撮像システム
TWI659394B (zh) 影像處理方法及影像處理裝置
US20220230275A1 (en) Imaging system, image processing apparatus, imaging device, and recording medium
JP6665917B2 (ja) 画像処理装置
JP6837211B2 (ja) 画像処理装置、及び、画像処理方法
WO2017159014A1 (ja) 画像処理装置、画像処理方法及び画像処理システム
JP6777208B2 (ja) プログラム
JP6439845B2 (ja) 画像処理装置
US11122202B2 (en) Imaging device, image processing system, and image processing method
US20200412928A1 (en) Imaging device, imaging system, and imaging method
CN116866722A (zh) 全景图像生成方法、装置、计算机设备和存储介质
CN115775205A (zh) 多头相机图片拼接方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191203