CN100336076C - 图像提供方法和设备 - Google Patents
图像提供方法和设备 Download PDFInfo
- Publication number
- CN100336076C CN100336076C CNB2005100082676A CN200510008267A CN100336076C CN 100336076 C CN100336076 C CN 100336076C CN B2005100082676 A CNB2005100082676 A CN B2005100082676A CN 200510008267 A CN200510008267 A CN 200510008267A CN 100336076 C CN100336076 C CN 100336076C
- Authority
- CN
- China
- Prior art keywords
- eye images
- fish eye
- image
- equipment
- calculating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 50
- 241000251468 Actinopterygii Species 0.000 claims description 71
- 230000000007 visual effect Effects 0.000 claims description 46
- 238000003384 imaging method Methods 0.000 claims description 11
- 238000010586 diagram Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 5
- 230000008676 import Effects 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 claims 5
- 230000008569 process Effects 0.000 description 21
- 230000006870 function Effects 0.000 description 15
- 238000010606 normalization Methods 0.000 description 14
- 238000003860 storage Methods 0.000 description 8
- 230000009466 transformation Effects 0.000 description 8
- 230000002452 interceptive effect Effects 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 238000005304 joining Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000004323 axial length Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000007373 indentation Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
- G06T3/047—Fisheye or wide-angle transformations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
实时输入视野信息,该视野信息包括关于所述鱼眼图像的视野区的视线方向(θ,φ)和视场角(γ)的信息。根据输入视野信息,实时计算与视线方向垂直并利用该视场角确定了其大小的平面上的绘图区。确定鱼眼图像上对应于计算的绘图区上的每个像素位置的像素位置。这样根据该鱼眼图像,实时形成消除了失真的归一化图像。
Description
在先专利申请的交叉参考
该专利申请基于并要求2004年5月28日提交的第2004-158855号在先日本专利申请的优先权,在此引用该专利申请的全部内容供参考。
技术领域
本发明涉及一种图像提供方法和设备,该图像提供方法和设备在显示平面上在鱼眼图像(全向图像(all-direction image)中在任何视线方向非线性地形成图像,本发明更特别地涉及一种可以在观察者希望的方向实时提供运动图像的交互式图像提供方法和设备。
背景技术
在采用监视摄像机的监视系统中,例如,一种已知的方法是,利用具有鱼眼式镜头的监视摄像机代替具有普通镜头的监视摄像机采集广角图像,以获得更广的监视区。在这种情况下,与利用具有普通镜头的监视摄像机提供的图像相比,具有鱼眼式镜头的监视摄像机提供的鱼眼图像更失真。因此,进行非线性变换处理,以根据鱼眼图像,在平面上显示在任何视线方向消除了失真的图像是已知的。这种非线性变换处理被称为归一化处理(去翘曲(dewarp))。
例如,用于归一化鱼眼图像的已知方法包括第3051173号和第3126955号日本专利公开的方法。归一化逻辑被公式化为通常类似的变换方程。因此,已经以具有编程语言的设备的方式,利用任一变换方程实现了归一化方法,或者在固定了在多个位置的区域要被绘画的区域并根据方程以查表的方式先前建立了变换规则后,实现该归一化方法。
在第3051173号日本专利的第5页上的第19行至30行的右栏以及图4公开的方法中,X-MAP处理器和Y-MAP处理器加速球体上的映射。此外,在第3126955号日本专利的第5页、第0021段以及图1公开的方法中,两个坐标运算部分使用查用表加速对球体的坐标计算。
然而,在上述第3051173号和第3126955号日本专利公开的这两种方法中,非线性变换处理过程将球体上的映射用作顺序计算显示像素的基础,而且仅在从多个预定的有限空间出发的视野(visual field)内进行归一化,因此所实现的交互性差。
发明内容
根据本发明的一个方面的图像提供设备包括:鱼眼图像输入设备,用于输入鱼眼图像;鱼眼图像存储设备,用于存储所述输入鱼眼图像;视野信息输入设备,用于实时输入视野信息,该视野信息包括关于所述鱼眼图像的视野区的视线方向(θ,φ)和视场角(γ)的信息;绘图区计算设备,用于根据所述输入视野信息,实时计算与所述视线方向垂直(orthogonal)并利用所述视场角确定了其大小的平面上的绘图区的每一像素;以及归一化处理设备,确定所述鱼眼图像上对应于所述计算的绘图区上的每个像素位置的像素位置,以根据鱼眼图像,实时形成消除了失真的归一化图像。
附图说明
图1示出根据本发明的归一化处理过程的基本原理。
图2示出根据本发明的归一化处理过程的基本原理。
图3示出根据本发明的归一化处理过程的基本原理。
图4示出根据本发明第一实施例的交互式图像显示系统的配置。
图5是图4所示显示系统中的图像提供设备的运行过程的流程图。
图6示出图5所示图像提供设备内的归一化计算模块的运行过程。
图7是图6所示归一化计算模块的运行过程的流程图。
图8示出根据本发明第二实施例的图像提供设备的处理过程。
图9示出根据本发明第三实施例的图像提供设备处理的、被分割为多个块的鱼眼图像。
图10示出根据本发明第四实施例的立体图像显示系统。
图11示出图10所示系统的工作过程。
图12示出图10所示系统的工作过程。
具体实施方式
现在,参考附图说明本发明实施例。
<归一化处理的基本原理>
图1至3示出根据本发明实施例的归一化处理过程的基本原理。
如图1所示,可以将鱼眼图像看作从在虚拟建立的、在平面(半球体S的圆形底表面)上形成(develop)的半球体S的半球面上成像的对象获得的图像(失真全向图像)。在该半球体S上,原点O位于其底圆的中心,建立三维坐标系,其中从原点O伸出的正交的方向X轴和Y轴在包括底圆的平面上,而方向Z轴从原点O向半球体S的顶点延伸。
现在,从原点O到半球面的视线方向B作为输入信息给出。利用与Z轴的夹角的天顶角(zenithal angle)θ(倾角(tilt))和与X轴的夹角的方位角(全角(pan))φ给出视线方向B。该视线方向B是观众的视野中心。如图2所示,附加规定的变焦距放大率(zoommagnification)(视场角(field angle)γ)规定要绘制成(看成)平面A(虚拟透视摄像机的成像面)的部分,平面A与视线方向B垂直,而与图1所示半球面正切。可以将平面A内的任何位置表示为Eu和Ev的二维坐标系,其中原点位于与指出视线方向B的直线的交点P。该平面A被称为“绘图区”。“归一化处理”相当于根据原始鱼眼图像(显影在半球体S的圆形底表面上的失真全向图像)重构该绘图区。
现在,将说明根据鱼眼图像重构绘图区的处理过程。例如,平面A上的点Ps被表示为平面A与光线C的相交点,利用天顶角θs和方位角φs确定该相交点。因此,通过利用视线方向B的θ和φ计算点Ps的三维坐标以确定通过点Ps的光线C的θs和φs,并通过根据鱼眼投影的模型方程确定鱼眼图像上的对应点Ps’的像素位置,可以确定点Ps的亮度。
具体地说,假定半球体S是半径为1的单位球体,而指出绘图区的平面A在Eu轴方向的长度为2Ku,而在Ev方向的长度为2Kv,如图2所示,则可以利用变焦距放大率(视场角γ)和绘图区的宽高比α如下确定Ku和Kv。
Ku=tan(γ/2)
Kv=α*tan(γ/2) (方程1)
宽高比α取决于绘图区的窗口大小。假定平面A上的Eu轴方向上的位置是u,而平面A上的Ev轴方向的位置是v,则可以如下确定点Ps的三维坐标(Px,Py,Pz)。
Px=-u*Ku*sinφ-v*Kv*cosφ*cosθ+sinθ*cosφ
Py=u*Ku*cosφ-V*Kv*sinφ*cosθ+sinθ*sinφ
pz=v*Kv*sinθ+cosθ (方程2)
因此,利用确定的Px、Py和Pz,可以如下确定点Ps的天顶角θs和方位角φs。
θs=tan#-1#((Px#2#+Py#2#)#1/2#/Pz)
φs=tan#-1#(Py/Px) (方程3)
所确定的θs和φs可以提供鱼眼图像G上对应于平面A上的点Ps的点Ps’的极坐标(L,φs)。如图3所示,L通常被表示为单值函数L=f(θ),而L=f*θs用作等距投影的模型方程,L=2f*tan(θ/2)用作等立体角投影的模型方程。f是鱼眼式镜头的焦距。
如果鱼眼图像G的半径为r_px,而且使用下面的方程4所示的模型方程,当天顶角θs从0至pi/2变化时,方程4中点Ps’从鱼眼图像G的中心位置O被等距投影到鱼眼图像G的最外围,则可以如下确定L。
L=2*r_px*θs/pi (方程4)
因此,利用下面的方程5可以确定鱼眼图像G上对应于平面A上的点Ps的点Ps’在X-Y坐标系上的位置。
X_pixel=L*cos(φs)
Y_pixel=L*sin(φs) (方程5)
在上面的每个方程中,鱼眼式镜头的焦点位置和成像单元(element)的分辨率等可以改变鱼眼图像G的半径r_px以及鱼眼图像与归一化图像之间的像素对应。因此,在Ku和Kv计算过程和归一化处理过程中,优先考虑透镜特性和CMOS(或CCD)特性。
这些图像变换计算过程通常花费很长时间,而且难以实现实时处理。为了以高速进行这种图像变换计算过程,最好使用于一般管理的管理功能设备与用于归一化失真的计算模块功能分离,一般管理包括从外部输入图像和将图像输出到外部以及与输入设备连接。归一化计算模块优先使用3个并行处理计算模块。
<第一实施例>
图4示出根据本发明第一实施例的交互式图像显示系统的配置。该系统包括:图像提供设备1,用于在指定的视野内,将鱼眼图像变换为归一化图像;鱼眼式成像设备2,用于实时地将全向图像,特别是运动图像提供到图像提供设备1;数字图像文件存储部分3,用于以诸如MPEG 2文件和JPEG文件组等的数字图像文件方式,累积鱼眼式成像设备等先前成像的鱼眼图像;输入设备4,用于输入诸如用户希望的视线方向(θ,φ)以及变焦距放大率(视场角γ)的信息,作为外部控制;以及输出设备5,例如监视器,用于显示图像提供设备1归一化的归一化图像。
图像提供设备1包括:主输入处理部分11,用于对鱼眼图像进行输入处理(例如,A/D变换和各种解码处理);变换设备12,是设备1的核心部分;以及D/A变换部分13,作为输出部分。图像提供设备1还包括:输入接口14,用于从输入设备4输入诸如视线方向的信息;鱼眼图像存储部分16,用于存储原始鱼眼图像;以及归一化图像存储部分18,用于存储归一化图像。
变换设备12进一步包括:管理功能部分21,用于进行全面管理,包括从外部输入鱼眼图像和归一化图像和将鱼眼图像和归一化图像输出到外部以及与输入设备4的连接;以及归一化计算模块22,用于归一化鱼眼图像的失真。
在管理功能部分21的管理下,上述配置使鱼眼式成像设备2成像的图像通过输入处理部分11实时地插入内部,并使该图像保持在鱼眼图像存储部分16内,作为鱼眼图像。还可以通过对先前在数字图像文件存储部分3内累积的数字图像文件(例如,MPEG 2文件和JPEG文件组)的任何文件进行输入处理,输入图像,并且还可以保持该图像,作为鱼眼图像。为了在希望的方向观看图像,用户(观众)可以使用诸如游戏杆鼠标的输入设备4将用户希望的视线方向(θ,φ)、变焦距放大率(视场角γ)输入到该实施例的设备。通过接口14,将该输入信息通知管理功能部分21。简单的键盘鼠标输入也可以用作输入信息的输入方法。
图5是图像提供设备1的处理流程的流程图。
管理功能部分21包括多种管理模式。这些管理模式有:(1)用于从鱼眼式照相系统输入实时图像的模式;(2)用于从文件输入累积图像的模式;(3)用于输入显示的视线方向和变焦距放大率并用于控制显示的模式。
管理功能部分21首先工作,以确定鱼眼图像读取是实时型图像输入模式,还是累积图像输入模式(S1)。如果读取是实时型图像输入模式,则通过输入处理部分11,实时地从鱼眼式成像设备2读取图像(S2)。如果读取是累积图像输入模式,则通过输入处理部分11,从数字图像文件存储部分3读取数字图像文件(S3)。读取后,将鱼眼图像顺序存储到鱼眼图像存储部分16内。
与此同时,管理功能部分21执行输入显示的视线方向和变焦距放大率并控制显示的模式,以从输入设备4读取视线方向(θ,φ)和变焦距放大率(γ),作为输入信息(S4)。为了在希望的方向观看图像,用户(观众)可以使用诸如游戏杆鼠标的输入设备4实时改变要求的视线方向和变焦距放大率,如同摄像机进行摄像操作。管理功能部分21实时读取输入信息。
读取了视线方向(θ,φ)和变焦距放大率(γ)后,管理功能部分21计算Ku和Kv的值,根据上述方程1,Ku和Kv规定绘图区的大小(S5)。还优先根据特性参数,例如先前存储的镜头特性和CMOS(或CCD)特性,规定Ku和Kv。归一化计算模块22对绘图区进行归一化处理(S7)。管理功能部分21使用归一化图像在诸如监视器的输出设备5上绘图(S8)。在每次读取输入信息时,都要执行上面的处理过程。
现在,说明归一化处理过程。图6示出归一化模块的处理过程的原理图。归一化计算模块22对绘图区内的每个像素的三维位置进行计算处理(S11),然后,进行三维非线性纹理映射(mapping)处理(S12),以对鱼眼图像进行归一化处理,从而产生归一化图像。
通过首先输入管理功能部分21计算的绘图区的大小(extent)Ku和Kv、输入设备4提供的视线方向(θ,φ)以及先前存储的镜头和成像系统等的特性参数,然后,运算上面的方程2以计算平面A上的每个像素(Ps)的三维位置(Px,Py,Pz),平面A表示具有更新的u和v的绘图区,可以对绘图区内的每个像素的三维位置进行计算处理(S11)。
非线性纹理映射处理(S12)将每个像素的三维位置(Px,Py,Pz)的计算结果代入上面的方程3至5,以计算原始鱼眼图像G上对应于要在绘图区上绘制的归一化图像上的每个像素位置的像素位置(x_pixel,y_pixel),然后,使该原始鱼眼图像G的像素位置上的颜色信息(例如,RGB和YUV)映射到绘图区上的相应像素。
从方程(方程1至5)可以看出,可以对每个像素,独立地进行三维位置计算处理(S11)和非线性纹理映射处理(S12)。因此,可以并行计算对多个像素的处理。因此,如图7所示,更多的可用硬件资源,例如CPU可以提供更高的并行性,而且计算处理过程的计算时间更短(S11和S12)。这样可以以交互方式实时绘制高图像质量的图像。
<第二实施例>
利用图形功能,例如图形专用处理器(GPU),甚至可以以更快的速度执行归一化计算模块22的处理。具体地说,通过将表示图1所示绘图区的平面A看作以三维方式进行纹理映射的对象,可以在图板侧进行有效处理。
图8示出采用图形功能的归一化处理过程。该处理过程属于应用软件和图形处理。应用软件计算绘图区四角的每个点(图2所示的P0、P1、P2和P3)的三维位置(S21)。在图板侧执行的图形处理的三维纹理映射和缩进(indent)处理对绘图区上的每个像素位置进行计算(S22)并进行非线性纹理映射处理(S23)。根据四角的三维位置进行的内插处理计算绘图区上的每个像素位置。
根据作为输入信息提供的视线方向(θ,φ)、变焦距放大率(视场角γ)以及特性参数,对绘图区四角的每个点的三维位置进行的计算处理过程确定方向矢量V,如图2所示。可以确定轴向矢量(axisvector)Eu,因为其Z分量是0,而且它与方向矢量V正交。
下面的方程6可以计算轴向矢量Ev。
Ev=V×Eu(矢量外积) (方程6)
因为变焦距放大率(视场角γ)被确定,所以要显示的平面A的大小在Eu轴上的(-tanγ/2,tanγ/2)范围内。由于根据绘图窗口大小得知宽高比α,大小在Ev轴上的(-α*tanγ/2,α*tanγ/2)范围内。因此,利用矢量记法(notation),如下确定四角的三维坐标值。
V+(-tanγ/2)Eu+(-α*tanγ/2)Ev
V+(-tanγ/2)Eu+(α*tanγ/2)EV
V+(tanγ/2)Eu+(-α*tanγ/2)Ev
V+(tanγ/2)Eu+(α*tanγ/2)Ev (方程7)
然后,在图板侧计算内插的每个点的三维坐标(Px,Py,Pz)。通过利用四维有理多项式近似分子和分母,甚至可以更快地处理非线性纹理映射处理过程(S23)中采用的上述方程3的三角函数的反函数。
<第三实施例>
如果先前建立了绘图区,而且处理局限于该绘图区,则仅对部分原始鱼眼图像G进行处理。因此,图4所示的管理功能部分21将截取原始鱼眼图像G的一部分,进行处理。
例如,假定鱼眼图像G分割为多个块g,然后,对每块进行解码处理,如图9所示。在本发明实施例中,假定方程1所示的Ku和Kv以及方程7所示的四角的三维位置被确定。因此,该实施例利用该信息计算围绕该要处理的区域的8个点P1至P8的坐标值,然后,仅插入含有这些坐标值的块g(图9中的阴影块),作为要在输入处理部分11处理的块。例如,通过指定要处理的宏块,这在MPEG 2和JPEG等中是可能的。在CMOS摄像机中,仅捕获要处理的单元。
图5中的步骤6示出该处理过程。计算了Ku和Kv的值后(S5),计算原始鱼眼图像上的截取块(cut-out block)(S6),而且为了以更高速进行处理,读取有限数量的图像。
<第四实施例>
图10示出根据本发明第四实施例的立体图像显示系统。该系统包括:并行设置的两个装备了鱼眼式镜头摄像机31和32;计算机33,含有两台用于归一化处理摄像机31和32输出的右鱼眼图像和左鱼眼图像的图像提供设备;输入设备34,用于使视线方向和变焦距放大率输入到计算机33;输出设备35,例如,监视器,用于交替显示计算机33归一化的右归一化图像和左归一化图像;以及液晶光闸眼镜(liquidcrystal shutter glass)36,与输出设备35同步工作。为了省略眼镜光闸眼镜,输出设备35可以使用肉眼立体观察显示器。
如图11所示,可以对用户提供各虚拟摄像平面,该平面对对应于右眼和左眼的两个摄像机分别规定同样的视线方向和变焦距放大率,甚至通过以交互方式同时改变虚拟摄像平面,可以提供立体图像。具体地说,可以以交互方式立体观察希望的方向上的图像。在视线从前面改变时,一个虚拟摄像平面与另一个虚拟摄像平面之间的深度始终存在差值,如图12所示。因此,可以对一个平面进行校正,以便与该视线方向平行,以致可以立体观察图像。
如上所述,可以迅速归一化鱼眼式镜头的失真,以便有助于以任何视线和变焦距迅速绘制运动图像。此外,利用交互式立体图像,可以进行监视和欣赏。
这种系统可以迅速绘制运动图像,而且可以应用于现有实时广播领域、车辆内使用的图像监视等。此外,例如,以立体观察方式使用该系统可以扩展欣赏广播领域的内容。对于监视用途,该系统可以安装在车辆上以广阔环顾周围情况,并以立体观察方式在诸如平行停车场的狭窄空间内操纵车辆,这非常有用。
<工业可应用性>
本发明适合应用于诸如广播和移动电话业务的实时分布内容、诸如封装介质等的累积与再现型内容,本发明尤其适合应用于实现车辆操纵支持的环境监视和工厂监视。
此外,以立体观察方式使用该系统可以扩展欣赏广播领域的内容。对于监视用途,该系统可以安装在车辆上以广阔环顾周围情况,并以立体观察方式在诸如平行停车场的狭窄空间内操纵车辆,这非常有用。
Claims (12)
1、一种图像提供设备,包括:
鱼眼图像输入设备,用于输入鱼眼图像;
鱼眼图像存储设备,用于存储所述输入鱼眼图像;
视野信息输入设备,用于实时输入视野信息,该视野信息包括关于所述鱼眼图像的视野区的视线方向(θ,φ)和视场角γ的信息;
绘图区计算设备,用于根据所述输入视野信息,实时计算与所述视线方向垂直并利用所述视场角确定了其大小的平面上的绘图区的每一像素;以及
归一化处理设备,确定所述鱼眼图像上对应于所述计算的绘图区上的每个像素位置的像素位置,以根据鱼眼图像,实时形成消除了失真的归一化图像。
2、根据权利要求1所述的图像提供设备,其中所述鱼眼图像是运动图像。
3、根据权利要求1所述的图像提供设备,其中
假定所述鱼眼图像是根据在虚拟建立的、在平面上形成的半球体的半球面上成像的对象获得的图像,
所述绘图区计算设备计算所述半球面的切面,作为绘图区,
所述归一化处理设备包括:
三维位置计算设备,用于在原点位于所述半球体底圆的中心的三维坐标系中,计算所述计算的绘图区上的每个像素的三维位置;以及
非线性映射设备,用于计算通过所述原点和所述计算的绘图区上的每个像素的三维位置的轴的天顶角θs和方位角φs,并将该天顶角和方位角用作确定所述鱼眼图像上的像素位置的基础。
4、根据权利要求1所述的图像提供设备,其中
所述绘图区计算设备计算位于所述绘图区的四角的像素位置,
通过进行内插处理,根据所述绘图区四角的像素位置,所述归一化处理设备计算所述绘图区上的每个像素位置。
5、根据权利要求1所述的图像提供设备,其中
所述鱼眼图像被分割为多个块,每个块可分别被使用,
所述图像提供设备进一步包括要读取块计算设备,所述要读取块计算设备用于根据所述计算的绘图区计算要读取的所述块,以及
所述鱼眼图像输入设备仅输入所述计算的要读取块。
6、根据权利要求1所述的图像提供设备,其中
所述鱼眼图像包括右和左两个系统图像,以便实现立体显示,
根据所述输入视野信息,所述绘图区计算设备计算所述两个系统鱼眼图像的每一个的绘图区,以及
对于所述计算的两个系统的绘图区的每一个,所述归一化处理设备根据每个鱼眼图像形成归一化图像。
7、一种图像提供方法,包括:
输入鱼眼图像并将它存储在存储设备中;
实时输入视野信息,该视野信息包括关于所述鱼眼图像的视野区的视线方向(θ,φ)和视场角γ的信息;
根据所述输入视野信息,实时计算与所述视线方向垂直并利用所述视场角确定了其大小的平面上的绘图区的每一像素;以及
确定所述鱼眼图像上对应于所述计算的绘图区上的每个像素位置的像素位置,以根据该鱼眼图像,实时形成消除了失真的归一化图像。
8、根据权利要求7所述的图像提供方法,其中所述鱼眼图像是运动图像。
9、根据权利要求7所述的图像提供方法,其中
假定所述鱼眼图像是根据在虚拟建立的、在平面上形成的半球体的半球面上成像的对象获得的图像,
所述实时计算与所述视线方向垂直并利用所述视场角确定了其大小的平面上的绘图区的每一像素的步骤计算所述半球面的切面,作为绘图区,以及
所述实时形成消除了失真的归一化图像的步骤包括:
在其原点位于所述半球体底圆的中心的三维坐标系中,计算所述计算的绘图区上的每个像素的三维位置;以及
计算通过所述原点和所述计算的绘图区上的每个像素的三维位置的轴的天顶角θs和方位角φs,并将该天顶角和方位角用作确定所述鱼眼图像上的像素位置的基础。
10、根据权利要求7所述的图像提供方法,其中
所述实时计算与所述视线方向垂直并利用所述视场角确定了其大小的平面上的绘图区的每一像素的步骤计算位于所述绘图区的四角的像素位置,
通过进行内插处理,根据所述绘图区四角的像素位置,所述实时形成归一化图像的步骤计算所述绘图区上的每个像素位置。
11、根据权利要求7所述的图像提供方法,该方法进一步包括:
将所述鱼眼图像分割为多个块,每个块可分别被使用;以及
根据所述计算的绘图区计算要读取的所述块。
12、根据权利要求7所述的图像提供方法,其中
所述鱼眼图像包括右和左两个系统图像,以便实现立体显示,
根据所述输入视野信息,所述实时计算与所述视线方向垂直并利用所述视场角确定了其大小的平面上的绘图区的每一像素的步骤计算所述两个系统鱼眼图像的每一个的绘图区,以及
对于所述计算的两个系统的绘图区的每一个,所述实时形成消除了失真的归一化图像的步骤根据每个鱼眼图像形成归一化图像。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004158855 | 2004-05-28 | ||
JP2004158855A JP2005339313A (ja) | 2004-05-28 | 2004-05-28 | 画像提示方法及び装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1702693A CN1702693A (zh) | 2005-11-30 |
CN100336076C true CN100336076C (zh) | 2007-09-05 |
Family
ID=34940469
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB2005100082676A Expired - Fee Related CN100336076C (zh) | 2004-05-28 | 2005-02-07 | 图像提供方法和设备 |
Country Status (4)
Country | Link |
---|---|
US (1) | US7570280B2 (zh) |
EP (1) | EP1600890A3 (zh) |
JP (1) | JP2005339313A (zh) |
CN (1) | CN100336076C (zh) |
Families Citing this family (51)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2007108081A1 (ja) * | 2006-03-20 | 2009-07-30 | 富士通株式会社 | 撮影装置、撮影方法及びプログラム、撮影装置のテーブル作成装置及び方法、映像処理装置及び方法 |
JP2007318596A (ja) | 2006-05-29 | 2007-12-06 | Opt Kk | 広角レンズによる撮像データの圧縮方法、伸長表示方法、圧縮装置、広角カメラ装置およびモニタシステム |
JP2007318597A (ja) | 2006-05-29 | 2007-12-06 | Opt Kk | 広角レンズによる撮像データの圧縮方法、圧縮装置、広角カメラ装置およびモニタシステム |
US7774951B2 (en) * | 2006-10-04 | 2010-08-17 | Northwestern University | Sensing device with whisker elements |
JP4931055B2 (ja) * | 2006-11-22 | 2012-05-16 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
JP2008197829A (ja) * | 2007-02-09 | 2008-08-28 | Sony Corp | 画像処理装置と方法およびプログラムと記録媒体 |
JP2008227582A (ja) * | 2007-03-08 | 2008-09-25 | Hoya Corp | 撮像装置 |
GB2449631B (en) * | 2007-05-21 | 2012-02-15 | Doo Technologies Fze | Method and system for processing of images |
JP5083052B2 (ja) * | 2008-06-06 | 2012-11-28 | ソニー株式会社 | 立体視画像生成装置、立体視画像生成方法およびプログラム |
DE102008049921A1 (de) * | 2008-09-29 | 2010-04-15 | Mobotix Ag | Verfahren zur Videodatenstrom-Erzeugung |
US8326077B2 (en) * | 2008-10-31 | 2012-12-04 | General Instrument Corporation | Method and apparatus for transforming a non-linear lens-distorted image |
JP5353393B2 (ja) * | 2009-04-07 | 2013-11-27 | 大日本印刷株式会社 | 画像処理装置及び画像処理方法等 |
US8320634B2 (en) * | 2009-07-11 | 2012-11-27 | Richard Deutsch | System and method for monitoring protective garments |
US20110134245A1 (en) * | 2009-12-07 | 2011-06-09 | Irvine Sensors Corporation | Compact intelligent surveillance system comprising intent recognition |
WO2011121741A1 (ja) * | 2010-03-30 | 2011-10-06 | 富士通株式会社 | 画像生成装置、画像生成プログラム、合成テーブル生成装置および合成テーブル生成プログラム |
JP5558973B2 (ja) * | 2010-08-31 | 2014-07-23 | 株式会社日立情報通信エンジニアリング | 画像補正装置、補正画像生成方法、補正テーブル生成装置、補正テーブル生成方法、補正テーブル生成プログラムおよび補正画像生成プログラム |
JP5555101B2 (ja) * | 2010-08-31 | 2014-07-23 | 株式会社日立情報通信エンジニアリング | 画像補正装置、補正画像生成方法および補正画像生成プログラム |
TWI423659B (zh) * | 2010-11-09 | 2014-01-11 | Avisonic Technology Corp | 影像校正方法與相關影像校正系統 |
US9105090B2 (en) | 2011-07-13 | 2015-08-11 | Analog Devices, Inc. | Wide-angle lens image correction |
EP2554434B1 (en) * | 2011-08-05 | 2014-05-21 | Harman Becker Automotive Systems GmbH | Vehicle surround view system |
JP5790345B2 (ja) * | 2011-09-07 | 2015-10-07 | 株式会社リコー | 画像処理装置、画像処理方法、プログラムおよび画像処理システム |
US9007460B2 (en) * | 2012-03-30 | 2015-04-14 | General Electric Company | Methods and systems for predicting cloud movement |
JP5423845B2 (ja) * | 2012-06-25 | 2014-02-19 | ソニー株式会社 | 立体視画像生成装置、立体視画像生成方法およびプログラム |
JP2014165763A (ja) * | 2013-02-26 | 2014-09-08 | Ricoh Co Ltd | 編集装置、編集方法、及び編集プログラム |
US9286712B2 (en) * | 2013-03-15 | 2016-03-15 | Google Inc. | System and method for approximating cartographic projections by linear transformation |
WO2014145558A1 (en) * | 2013-03-15 | 2014-09-18 | Rubicon Group Holding Limited | Equidistant stereo lens shader |
US9183666B2 (en) | 2013-03-15 | 2015-11-10 | Google Inc. | System and method for overlaying two-dimensional map data on a three-dimensional scene |
US8798451B1 (en) * | 2013-06-15 | 2014-08-05 | Gyeongil Kweon | Methods of obtaining panoramic images using rotationally symmetric wide-angle lenses and devices thereof |
WO2014208230A1 (ja) * | 2013-06-24 | 2014-12-31 | 三菱電機株式会社 | 座標算出装置及び方法、並びに画像処理装置及び方法 |
US9658688B2 (en) * | 2013-10-15 | 2017-05-23 | Microsoft Technology Licensing, Llc | Automatic view adjustment |
US9196022B2 (en) * | 2014-03-10 | 2015-11-24 | Omnivision Technologies, Inc. | Image transformation and multi-view output systems and methods |
JP6398457B2 (ja) * | 2014-08-14 | 2018-10-03 | 株式会社リコー | 撮影装置、撮影方法、およびプログラム |
CN105632349B (zh) * | 2014-10-27 | 2018-04-10 | 深圳市康硕展电子有限公司 | Led球形显示屏播放管理的方法、装置及系统 |
JP2016163150A (ja) * | 2015-02-27 | 2016-09-05 | 株式会社リコー | 通信端末、面談システム、通信方法及びプログラム |
US10453173B2 (en) * | 2015-07-24 | 2019-10-22 | Robert Bosch Gmbh | Panel transform |
CN107016319B (zh) * | 2016-01-27 | 2021-03-05 | 北京三星通信技术研究有限公司 | 一种特征点定位方法和装置 |
KR20170124814A (ko) * | 2016-05-03 | 2017-11-13 | 삼성전자주식회사 | 영상 표시 장치 및 그 동작 방법 |
US9547883B1 (en) | 2016-08-19 | 2017-01-17 | Intelligent Security Systems Corporation | Systems and methods for dewarping images |
US9609197B1 (en) | 2016-08-19 | 2017-03-28 | Intelligent Security Systems Corporation | Systems and methods for dewarping images |
US11528413B2 (en) | 2016-08-22 | 2022-12-13 | Sony Corporation | Image processing apparatus and image processing method to generate and display an image based on a vehicle movement |
KR102505951B1 (ko) * | 2016-08-24 | 2023-03-03 | 한화테크윈 주식회사 | 이미지 제공 장치, 방법 및 컴퓨터 프로그램 |
JP2019534606A (ja) * | 2016-09-19 | 2019-11-28 | インターデジタル ヴイシー ホールディングス, インコーポレイテッド | ライトフィールドデータを使用して場面を表す点群を再構築するための方法および装置 |
US11049219B2 (en) | 2017-06-06 | 2021-06-29 | Gopro, Inc. | Methods and apparatus for multi-encoder processing of high resolution content |
JP6938237B2 (ja) * | 2017-06-21 | 2021-09-22 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
WO2019041035A1 (en) | 2017-08-30 | 2019-03-07 | Innovations Mindtrick Inc. | STEREOSCOPIC IMAGE DISPLAY DEVICE ADJUSTED BY THE SPECTATOR |
CN111684517B (zh) * | 2018-02-08 | 2022-10-28 | 蒙德多凯创新有限公司 | 观看者调节的立体图像显示 |
JP6610740B2 (ja) * | 2018-09-06 | 2019-11-27 | 株式会社リコー | 撮影装置、撮影方法、およびプログラム |
US11228781B2 (en) | 2019-06-26 | 2022-01-18 | Gopro, Inc. | Methods and apparatus for maximizing codec bandwidth in video applications |
US11481863B2 (en) | 2019-10-23 | 2022-10-25 | Gopro, Inc. | Methods and apparatus for hardware accelerated image processing for spherical projections |
CN112565730B (zh) * | 2020-12-03 | 2023-07-25 | 阿波罗智联(北京)科技有限公司 | 路侧感知方法、装置、电子设备、存储介质及路侧设备 |
CN114633692B (zh) * | 2022-03-14 | 2023-10-03 | 深圳市艾为智能有限公司 | 一种偏心镜头在cms系统中的应用方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1992021208A1 (en) * | 1991-05-13 | 1992-11-26 | Telerobotics International, Inc. | Omniview motionless camera orientation system |
WO1997005741A1 (en) * | 1995-07-27 | 1997-02-13 | Sensormatic Electronics Corporation | Image forming and processing device and method for use with no moving parts camera |
JP2000235645A (ja) * | 1999-02-12 | 2000-08-29 | Advanet Corp | 画像変換用演算装置 |
CN1332564A (zh) * | 2001-01-22 | 2002-01-23 | 耿刚 | 全方位成像和传递的方法及其系统 |
WO2003010599A1 (fr) * | 2001-07-20 | 2003-02-06 | 6115187 Canada Inc. | Procede de capture d'une image panoramique au moyen d'un capteur d'image de forme rectangulaire |
US20030103063A1 (en) * | 2001-12-03 | 2003-06-05 | Tempest Microsystems | Panoramic imaging and display system with canonical magnifier |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5004328A (en) * | 1986-09-26 | 1991-04-02 | Canon Kabushiki Kaisha | Spherical lens and imaging device using the same |
US5796426A (en) * | 1994-05-27 | 1998-08-18 | Warp, Ltd. | Wide-angle image dewarping method and apparatus |
EP0737938B1 (en) * | 1995-03-31 | 2005-01-26 | Canon Kabushiki Kaisha | Method and apparatus for processing visual information |
JP2002098538A (ja) * | 2000-09-27 | 2002-04-05 | Alpine Electronics Inc | ナビゲーション装置および擬似三次元地図情報表示方法 |
-
2004
- 2004-05-28 JP JP2004158855A patent/JP2005339313A/ja active Pending
-
2005
- 2005-02-07 CN CNB2005100082676A patent/CN100336076C/zh not_active Expired - Fee Related
- 2005-02-10 US US11/053,947 patent/US7570280B2/en not_active Expired - Fee Related
- 2005-02-15 EP EP05250849A patent/EP1600890A3/en not_active Withdrawn
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1992021208A1 (en) * | 1991-05-13 | 1992-11-26 | Telerobotics International, Inc. | Omniview motionless camera orientation system |
WO1997005741A1 (en) * | 1995-07-27 | 1997-02-13 | Sensormatic Electronics Corporation | Image forming and processing device and method for use with no moving parts camera |
JP2000235645A (ja) * | 1999-02-12 | 2000-08-29 | Advanet Corp | 画像変換用演算装置 |
CN1332564A (zh) * | 2001-01-22 | 2002-01-23 | 耿刚 | 全方位成像和传递的方法及其系统 |
WO2003010599A1 (fr) * | 2001-07-20 | 2003-02-06 | 6115187 Canada Inc. | Procede de capture d'une image panoramique au moyen d'un capteur d'image de forme rectangulaire |
US20030103063A1 (en) * | 2001-12-03 | 2003-06-05 | Tempest Microsystems | Panoramic imaging and display system with canonical magnifier |
Also Published As
Publication number | Publication date |
---|---|
EP1600890A3 (en) | 2011-12-07 |
JP2005339313A (ja) | 2005-12-08 |
US20050265619A1 (en) | 2005-12-01 |
CN1702693A (zh) | 2005-11-30 |
US7570280B2 (en) | 2009-08-04 |
EP1600890A2 (en) | 2005-11-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100336076C (zh) | 图像提供方法和设备 | |
US10798301B2 (en) | Panoramic image mapping method | |
CN111325824B (zh) | 图像数据展示方法、装置、电子设备及存储介质 | |
Kopf et al. | Capturing and viewing gigapixel images | |
CN103763479B (zh) | 实时高速高清全景视频的拼接装置及其方法 | |
US8326077B2 (en) | Method and apparatus for transforming a non-linear lens-distorted image | |
CN111223053A (zh) | 基于深度图像的数据增强方法 | |
CN108520232B (zh) | 立体环景影片产生方法及装置 | |
CN104778656B (zh) | 基于球面透视投影的鱼眼图像校正方法 | |
CN107924556B (zh) | 图像生成装置和图像显示控制装置 | |
CN110956583B (zh) | 球面图像处理方法、装置及服务器 | |
CN106558017B (zh) | 球形显示图像处理方法及系统 | |
CN106447602A (zh) | 一种图像拼接方法及装置 | |
US11587259B2 (en) | Fixed pattern calibration for multi-view stitching | |
CN101061501A (zh) | 2-维图像的透视变换 | |
CN109358430A (zh) | 一种基于二维led风扇屏的实时三维显示方法 | |
Xue et al. | A high-quality stitching algorithm based on fisheye images | |
GB2551426A (en) | Hardware optimisation for generating 360° images | |
CN1856094A (zh) | 一种广角镜头下的视频实时校正方法 | |
CN1633161A (zh) | 一种实现图像整数倍放大的方法 | |
CN111476716B (zh) | 一种实时视频拼接方法和装置 | |
CN112218110B (zh) | Vr全景视频的传输方法、装置、服务器及交互系统 | |
CN109214981B (zh) | 一种将球面图像投影至平面图像的方法 | |
CN1894728A (zh) | 缩放三维模型的方法和缩放单元 | |
WO2019166013A1 (en) | Cube-based projection method that applies different mapping functions to different square projection faces, different axes, and/or different locations of axis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20070905 Termination date: 20130207 |