CN1837952B - 全景图像中死区的最小化 - Google Patents
全景图像中死区的最小化 Download PDFInfo
- Publication number
- CN1837952B CN1837952B CN2005101271393A CN200510127139A CN1837952B CN 1837952 B CN1837952 B CN 1837952B CN 2005101271393 A CN2005101271393 A CN 2005101271393A CN 200510127139 A CN200510127139 A CN 200510127139A CN 1837952 B CN1837952 B CN 1837952B
- Authority
- CN
- China
- Prior art keywords
- panoramic picture
- zero degree
- border
- panoramic
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims abstract description 61
- 230000008569 process Effects 0.000 claims description 30
- 238000003384 imaging method Methods 0.000 claims description 19
- 230000007246 mechanism Effects 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 15
- 230000008859 change Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- VRDIULHPQTYCLN-UHFFFAOYSA-N Prothionamide Chemical compound CCCC1=CC(C(N)=S)=CC=N1 VRDIULHPQTYCLN-UHFFFAOYSA-N 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/12—Panospheric to cylindrical image transformations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Closed-Circuit Television Systems (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Abstract
描述了最小化与全景照相机相关的死区问题的技术。死区是零度边界周围的区域,在此三百六十度全景图像被分割以呈现二维全景。描述了重新导向零度边界至没有物体出现的位置,这样防止了位于死区的物体被分割在全景图的两个边缘之间。另一种技术涉及重新生成出现在邻近对面边的一边的图像的一个或多个部分,这样在死区中通常会被分割的物体可以完整地重新生成。所述技术可实现在全景照相机终端设备或在远离照相机的客户机设备中。该技术可应用于实况视频或先前已记录的视频。
Description
技术领域
下文描述通常涉及图像处理,尤其涉及全景照相机系统。
背景技术
全景图像是横跨达三百六十度(360°)的广角照相机图像。全景摄像机设备在会议室情况下特别有用。单独的全景摄像机可捕捉会议室中广阔范围内的与会者,这样观察者可以同时看到大部分或全部的与会者。能捕捉会议室三百六十度(360°)视图的全景摄像机设备可成像出所有与会者。
但是两维的三百六十度(360°)全景图像含有一个左边缘和一个右边缘,表示全景区域的0°/360°边界。如果一个人正巧坐在这个边界上,那么该人的图像的一部分会出现在全景图像的左边缘,而该人的一部分会出现在全景图像的右边缘。边界的该小型区域被称为“死区”,因为在这个区域内的任何物体在合成全景图像中会被分割。
发明内容
根据本发明第一方面,提供了一种照相机系统,包括:一个或多个照相机,配置为生成最大为三百六十度(360°)的广域的图像;用于自动确定其中没有物体位于零度边界位置的广域部分的装置;用于确定零度边界位置的装置,在所述零度边界上由所述照相机系统生成的二维图像被分割;重新映射模块,配置为根据所述零度边界将来自照相机图像的像素重新映射至全景空间;以及其中,由全景空间呈现的全景图像含有对应于所述零度边界的左边缘和右边缘。
根据本发明第二方面,提供了一种方法,包括:接收全景图像;自动确定其中没有物体位于零度边界位置的广域部分;相对于所述全景图像确定零度边界位置;以及相对于所述零度边界,对所述全景图像进行转换以最小化与零度边界相关的死区。
根据本发明第三方面,提供了一种方法,包括:相对于一全景区域确定零度边界位置;自动确定其中没有物体位于零度边界位置的广域部分;接收所述全景区域的一个或多个图像;将所述一个或多个图像映射至全景图像,使得由所述全景图像的至少一边来表示所述零度边界。
附图说明
当结合附图,通过参考下文详细描述,会更容易识别并更好地理解前述的方面和本发明许多伴随而来的优点,其中:
图1a是示出放置全景照相机的示例性的会议室桌椅视图。
图1b是环坐在会议室桌旁的与会者的示例性全景图像。
图2是使用反向锥体镜和多个照相机的示例性全景照相设备。
图3是示例性全景照相机配置图。
图4a是使用第一复制区装配单独图像以形成示例性全景图像的示例性图像装配模块视图。
图4b示出了图4a中示例性全景图像和第二复制区。
图5a是示出在桌上放置全景照相机的示例性会议室桌椅视图。
图5b是带有最小化死区的与会者的示例性全景图像。
图6是示出在桌上放置全景照相机的示例性会议室桌椅视图。
图7是描述示例性全景照相机的框图。
图8是描述示例性客户设备和示例性远程照相机设备的框图。
图9是用于通过改变图像区域的零度边界在全景图像中最小化死区的示例性过程的流程图。
图10是用于通过在全景图像的对面边缘重新产生一部分全景图像边缘而在全景图像中最小化死区的示例性过程的流程图。
图11是用于在全景图像中最小化死区的客户设备上的示例性过程的流程图。
具体实施方式
在此描述了用于提供三百六十度(360°)全景图像并在全景图像的左/右边缘边界上不分割物体图像(即,不带有“死区”)的照相机和技术。在此使用的术语“死区”涉及一块由三百六十度(360°)照相机图像化的空间区域,其中合成全景图像被分割以表现为二维形式。通常,位于进行这种分割的边界上的物体会出现为两部分:一部分物体会出现在全景图像的左边缘,而一部分物体会出现在全景图像的右边缘。
虽然本描述涉及成像三百六十度(360°)区域的全景照相机示例,需要注意的是一个或多个所描述的技术可被用于成像小于三百六十度(360°)区域的照相机中。只要位于在此所描述的“死区”中的物体在合成图像上被分割时,就可使用本发明。
图1a和1b示出了一死区以及当成像物体(如,一个人)位于死区时通常遇到的问题。图1a是示出示例性会议室配置100的视图。所示的配置包括一个会议室桌102、一些会议室椅子104和位于桌102顶部中央的全景照相机106。
示出了源自全景照相机106的零度(0°)边界108。零度(0°)边界108表示划分成像区域的点,这样成像区域可被显示为二维形式。示出了零度(0°)边界108周围的死区110。当呈现全景图像时,位于死区110内的物体会被分割为两部分的图像。例如,坐在会议室椅子112的人可能会出现为两部分。人脸的一边会出现在邻近合成全景图像的左边缘,而人脸的另一边会出现在邻近合成全景图像的右边缘。
图1b是有人坐在死区中的示例性全景图像120。示例性全景图像120含有一个左边缘112和一个右边缘124。人(处于坐在会议室椅子112时)的脸部图像示出为位于邻近左边缘122的第一半126和位于邻近右边缘124的第二半128。这是坐在死区110的人如何出现在合成全景图像中的示例。
在此讨论一些用于在三百六十度(360°)全景图像中最小化死区问题的技术。一个技术涉及物理地旋转照相机或照相机的一部分,这样零度(0°)边界(在此划分合成图像以显示为二维形式的位置)被导向至一个不包含物体或包含不重要物体的区域。
另一个最小化死区问题的方式是通过软件、硬件、固件或类似物的计算机指令转化来完成类似调节。在此描述的全景照相机利用多个单独照相机来成像三百六十度(360°)范围(虽然所述技术可被用于跨越直至三百六十度(360°)的单个全景照相机)。使用像素重新映射功能将每个单独图像中的像素重新映射至全景图像。如果将要成像的物体位于死区内,那么可改变重新映射功能(如,旋转全景图像)这样就没有物体出现在死区中。
在一个或多个所述技术中,零度(0°)边界的最佳方向可以被手动或自动测定。在零度(0°)边界的自动测定中,使用脸部追踪机制来测定没有人脸出现的区域。随后设定零度(0°)边界为那个区域。结果是,在环绕该边界的死区中没有人的成像。
在此示出并描述的另一个技术测定了邻近零度(0°)边界的图像部分(如,在合成全景图像边缘上的图像部分)并在邻近于对面边缘重新产生该图像部分。结果是,如果一个在死区中的人被成像了,那么该人的完整图像出现在邻近的一个边缘上,而不是该人图像被分割在两个边缘上。
在下文中参考附图示出并更详细地描述了所有这些技术。需要注意的是在此示出并描述的特定实施例是作为示例而非限制地示出的。其他系统和方法可被实现在在此所述的以及附加权利要求书的精神和范围中。
示例性照相设备
图2是根据本发明的示例性全景照相设备200的视图。虽然示出了用于示例性全景照相设备200的特定配置,需要注意的是该特定配置仅作为示例示出且可使用其他根据本发明的全景照相机设备的配置。
示例性全景照相设备200包括倒棱镜部件202以及多个照相机206。倒棱镜部件202包括多个镜面204,对应于多个照相机206中的每一个都有一个镜面204。倒棱镜202通过一根圆柱208位于多个照相机206上方。
示例性全景照相设备200的配置实现了近中央投影,可在由全景照相设备200形成的全景图像中减少视差错误。这样的配置在一个或多个专利申请中示出并描述了,这些申请结合在此作为参考。
示例性照相机配置
图3是用360°照相机配置的示例性全景照相机300的视图。该视图是图2中所示的全景照相设备200的基础表现。需要注意的是虽然在此示出并讨论了多个照相机360°全景照相设备的示例,本描述可应用到任何倾向于分割位于某个区域内的物体的广角照相设备,在该区域内图像被分割以用于二维表示。在下文描述中,继续参考图2中示出并描述的元件和指示标号。
图3示出了多个照相机302-310,它们排列为五边形配置,对应于图2中的倒棱镜202的五边形外形,以形成全景照相机300。每个照相机302-310成像全景照相机300所在环境的不同部分。
因为成像区域是一个完全三百六十度(360°)的且合成图像必须以二维形式呈现,成像区域就必须在某些点被划分,这样合成全景图像可为“不卷的”。恰恰是这个划分会在合成图像中产生问题,因为位于划分上的物体会被呈现在合成图像两边上。
示例性图像部件模块
图4是装配单个图像10-50以形成全景图像402的示例性图像装配模块400的图。该图像装配模块400从全景照相机的每个照相机中接收一个图像作为输入。为了下面说明的目的,由图3所示照相机302-310得到的图像被相应识别为图像“1”10、图像“2”20、图像“3”30、图像“4”40以及图像“5”50。这些单个的图像被装配以形成单个全景图像402。
图像装配模块400利用将单个图像空间中的像素映射到全景图像空间中的像素的重新映射功能。在单个图像10-50中的像素被根据一个(u,v)坐标格401来标记。在全景图像402中的像素被根据一个(x,y)坐标格403来标记。图像装配模块400从(u,v)坐标到(x,y)坐标位置映射每个像素,直到在单个图像10-50中的所有像素都被重新生成在全景图像402中。
校准重新映射功能,这样单个图像被缝合在一起,其中图像接合处是无缝的。这样全景图像402看起来就是无缝的,即:在单个图像之间没有转移的人造痕迹。
需要注意的是并不是单个图像中的所有像素都必须使用在合成全景图像中,因为要求方法适当地缝合单个图像以使全景图像中图像之间的接缝最小化。此外,可使用一个或多个失真修正算法以归一化全景图像的显示。图像缝合技术被一个或多个专利申请所示出并描述了,这些申请结合在此作为参考。
可使用来修正死区问题的一种技术是重新生成邻近一个边缘的图像部分并将重新生成的部分附加到另一边缘。在图4a中,单个图像的一个变量部分δ从全景图像402的一边重新生成并(变量原始部分δ′)附加到该全景图像的对面边以生成一个360+δ全景图像。
δ′的宽度是可变化的,但在类似于在此所讨论的一个摄像会议场合中,δ′大约为人的脸部的宽度。在一个通常会议室全景图中,人脸的宽度通常大约为四(4)到十四(14)度,取决于人离照相机的距离。
δ的宽度可被默认、自动、或手动测定。当该宽度是手动测定时,用户与用户接口进行交互以设置一个δ的期望宽度。当该宽度是自动测定时(诸如结合脸部追踪器),需要配置自动设置以在特定时间间隔出现。因为人们在不同时间进入或离开,会议情况可能变化。如果δ的宽度是当人们进入或离开死区时自动调节的,可能产生不希望的结果。此外,自动实现应包括用户选项以在任何时候关闭对δ的宽度的自动测定。
下面参考一个或多个随后的附图,更详细地描述了该技术。如下所述,可结合或不结合最初导向照相机到一个期望的位置来使用该技术。
当变量原始部分δ′被附加到全景图像402时,全景图像的宽度(t)增加为(t+δ′)。可以期望调整全景图像402的大小这样可以维持一个标准的全景图像外观比例。可利用其他方法来重新设定全景图像的大小。例如,为了维持相同的大小和图像外观比例,可通过附加到全景图像402的顶端和/或底端的水平带来增补合成全景图像402(t+δ′)。
图4b示出了类似图4a中所示全景图像402的全景图像410。全景图像410包括两(2)个变量部分(δ),每个都在全景图像410的各一边。生成该全景图像410的过程类似图4a所述的重新生成超过三百六十度(360°)区域的过程。
由全景照相机成像的邻近零度(0°)边界各边的示例被映射到两个位置:在名义全景空间中的第一位置,以及在全景图像410的对面边的第二位置。
在全景图像中添加两个变量部分(δ)会导致坐在死区中的人物图像在合成全景图像410中出现两次:在每个边缘上各出现一次。然而,如下文要讨论的,向一个图像附加一个重新生成的图像部分可结合一个或多个其他技术以避免在全景图像410中人物图像的复制。
可以在图像装配过程中的任何时期确定重新生成的图像部分(δ)。在一则实施例中,在复制δ并将δ′添加到全景图像402之前创建全景图像402。其他实施例可包括在重新映射过程中照这样重新映射设定用以复制像素的表格。可利用任何这些技术来完成上文所述的相同最终结果。
图5a示出了包括桌子502、椅子504以及全景照相机506的示例性会议室布置500。在图5a所示的示例中,全景照相机506的零度(0°)边界508被手动导向到桌子502的一个没有人坐着的位置。通过一个用户可视的边界表示器509将该边界508的位置表示在照相机506上。为了导向全景照相机506,用户简单地旋转全景照相机506到一个点,此时边界表示器509被导向到的没有物体出现的位置,如图所示。
结果是,在零度(0°)边界508周围发生的死区510中没有出现人。这样,在全景照相机506所捕捉的全景图像上完全成像了在会议室中的每个人。
图5b是当全景照相机506被导向到一个没有人存在的位置时,与会者522的示例性全景图像520的表示图。完整示出了每个人的图像522,即:没有人的图像被分割在全景图像520的两个边缘之间。
在图5a和图5b中所示的情况是经常可用于存在有适合死区的位置的情况下。诸如在使用放映机屏幕的房间内。因为没有人会经常坐在会议桌和放映机屏幕之间,用以导向零度(0°)边界的适合位置是指向放映机荧幕。然而,不是所有情况都是这样理想地出现的。
用以创建零度边界的计算旋转
除了上面所述的物理上重新导向照相机以指示零度边界(0°)的技术外,可由用户手动指示零度(0°)边界并将全景图像计算旋转以导向有关零度(0°)的图像。
为了完成该全景图像的旋转,重新映射功能(先前有关图4中图像装配模块400所描述的)计算名义零度(0°)边界和所选择的零度(0°)边界之间的角度差。该差值被计算到重新映射功能中,用以旋转全景图像到一个全景图像的边缘对应于所选择的零度(0°)边界的位置。
通过在全景图像(403,图4a)的(x,y)坐标系统中x坐标上添加一个相等于名义零度(0°)边界和所选择的零度(0°)边界之间差值的偏移量,完成旋转。
可用多种方式中的一种来完成零度(0°)边界的设置。例如,全景照相机(没有示出)的用户接口单元(没有示出)可包含用于完成边界表示器旋转的装置,诸如一个箭头按钮。用户可通过按下向右或向左箭头按钮来定位边界表示器(如,在一个液晶显示(LCD)上)。可使用其他技术来达到相同结果。
零度(0°)边界的自动定位
图6示出了类似图5a中所示的示例性会议室布600。示例性会议室布置600包括一个会议室桌子602、一些会议室椅子604和一个全景照相机606。在当前示例中,在会议室桌子602的每一边和每一端上都存在椅子604。这样,没有用以导向照相机606的空旷位置。
在图6中,示出了全景照相机606,其零度(0°)边界被导向到桌子602的一角,在两把椅子604之间。关联于零度(0°)边界608的死区610落在两个与会者之间,这样避免了分割与会者的图像。
可如前面所描述的来手动导向零度(0°)边界608,或使用脸部追踪机制将它自动导向到一个最佳的位置。脸部追踪机制(或“脸部追踪器”)在本领域是众所周知的并可被用来确定用于零度(0°)边界608的最佳位置。
通常,使用脸部追踪器所确定的最佳位置是两个脸部(或其他物体)之间最大测定角的中央。脸部追踪机制在成像区域中定位每个脸部并确定每两个邻近脸部之间的角度。这些角度中最大的被用来导向零度(0°)边界608。
如上文所描述的一个边界探测机制的表达式是:
其中{θ1,....,θn}是由脸部追踪器所测得的脸部已分类角,且θ是含有脸部之间最大间隔的角。需要注意的是在上文所示的等式中,所有角度的相减和相加是模360度计算的。
当已经确定了最佳边界时,调节重新映射功能(见上文图4a的讨论)以旋转全景图像,以达到预期的边界。
在下文参考后续附图详细描述了这个和其他先前讨论的用于调节零度(0°)边界的技术。
示例性照相机
图7是根据在此所述的实施例的示例性全景照相机700的框图。在随后的示例中,示例性全景照相机或多或少是一个完整的视频会议终端,包含一个全景照相机以及其他可被分散在一个或多个可选实施例中的一个或多个其他设备中的功能。在下文图8中示出并描述了一个这样的可选实施例。也可实行根据本描述和权利要求书的其他特定配置。
在下文的讨论中,继续参考先前附图中所示并描述的元件和标号。虽然所示的特定元件和特定功能是对应于特定元件的,需要注意的是所述功能可被分配给可选配置的可选元件。此外,虽然所示的元件示出为硬件或软件元件,但任何元件可被配置在硬件、软件或固件中。
示例性全景照相机700包括处理器702、存储器704以及至少一个照相机706。在先前的示例中,在一个全景照相机中包括有五(5)个照相机。全景照相机700还包括一个或多个通常包含在照相机中的用于探测光线并发送电信息的传感器708(如,电荷耦合设备(CCD)、互补金属氧化物半导体(CMOS)、等等)。通常,每个照相机706有一个传感器708。
全景照相机700也可包括麦克风710(或麦克风阵列)和/或一个或多个扬声器712。在视频会议照相机中,例如,麦克风和扬声器是必须的,用以在远程与会者之间进行音频通信。
也包含输入/输出(I/O)模块714,它由一个或多个配置为接收外部数据和/或发送数据的单元所组成。通用I/O模块的一个示例是通用串行总线(USB)或其他端口类型,但是I/O模块714不限于此。I/O模块714也可包括配置为与远程全景照相机/客户机设备通信的单元。这包括,但不限于,网络接口模块、电话接口模块以及类似设备。
也给全景照相机700提供了用户接口716,包括控制器和显示器(没有示出),由此用户可以与全景照相机700交互。这些控制器可包括按钮、触摸板、触摸屏、指示设备、和/或类似设备。所使用的显示器的一种类型可包括,但不限于,液晶显示器(LCD)屏幕或类似设备。
边界指示器718也可包括在全景照相机700中。可使用各种类型的边界指示器718来识别照相机中的零度(0°)边界的名义方向,即一条轴线,按照这条轴线由照相机700所拍摄的图像被分割以呈现二维图像。如先前所示出并讨论的,边界指示器(509,图5)可为照相机外部部分的一个标记,诸如一个箭头、一个点、一条线,等等。可使用任何其他指示器类型(诸如发光二极管(LED)),只要用户能够通过指示器的位置推断出零度(0°)边界的方向。
电源模块720向全景照相机700提供电源,并且全景照相机700包括其他多种多样的硬件722元件,它们是执行照相机的通常功能所必须的。
存储器704存储操作系统724,它包括处理器可执行指令,用于替全景照相机700和它的组件执行运行功能。由照相机706探测的多个图像726被存储在存储器704中。
一个或多个重新映射表格728也被存储在存储器704中,并被重新映射模块730用来确定单个图像726从成像空间到全景空间的正确映射,以创建全景图像732。一个或多个重新映射技术被描述在提交于2002年6月21日,授予本申请受让人的美国专利申请号10/177,315,题为“用于照相机色彩校准和图像缝合的系统和方法”(A System and Method for CameraColor Calibration and Image Stitching),所述的申请结合在此作为参考。
脸部追踪器734存储在存储器704中,并被用于在诸如会议场合时自动探测脸部。为了在此所述的目的,可将本领域众所周知的任何脸部追踪机制结合在全景照相机700中。脸部追踪器734,除了定位脸部以外,也被配置为计算两个邻近脸部之间的角度或距离。
一个或多个脸部追踪机制的示例被描述在提交于2001年12月3日,授予微软公司的,美国专利申请号10/006,927,题为“使用多个记号的多个个体的自动探测及追踪”(Automatic Detection and Tracking ofMultiple Individuals Using Multiple Cues),作者Yong Rui和YunqiangChen,所述申请的所有披露和教导结合在此作为参考。
装配模块736存储在存储器704中,并被配置为结合重新映射模块730和重新映射表格728一起工作,以装配单独图像726成为全景图像732。装配模块736可执行的功能之一是确定邻近零度(0°)边界一边的图像726的部分(δ)。它可被重新映射于邻近零度(0°)边界另一边(如δ′),以最小化在零度(0°)边界周围的死区问题。
这些功能已经在先前描述过并且可以或不可以被包括在根据本描述的全景照相机700的一个特定配置中。此外在下文中更详细描述关于装配模块736的讨论以及它的功能。
存储器704也存储了旋转模块738。旋转模块738被配置为确定全景照相机700的默认、或名义零度(0°)边界到实际零度(0°)边界之间的距离(自动或由用户手动设置)。旋转模块738确定了可被包括在重新映射功能中的一个合适的偏移量(x轴偏移量)。通过偏移零度(0°)边界,可最小化关联到死区的潜在问题,如前文所述的。
边界模块740也包括在全景照相机700的存储器704中。边界模块740处理关于确定名义边界742、实际边界744以及边界差746的功能。名义边界742通常为通过在存储器或在硬件中存储边界指示而在生产过程中设定的默认边界位置。然后可以在随后的计算中获得或使用名义边界742。
实际边界744是通过用户输入或通过识别用于零度(0°)边界的最佳位置的自动计算来确定的。可从用户接口716或通过一个用户设置以指示期望边界方向的离散硬件元件(如,手动拨盘)来获得用户输入。
可选地,脸部追踪器734可用于确定与会者脸部的位置。随后脸部追踪器734(或一些其他模块,诸如边界模块740)可使用脸部位置信息来确定用于零度(0°)边界的最佳位置,如在两个脸部之间存在最大距离的位置。随后按照度数、偏移单位或类似信息确定边界差746,这样可配置重新映射功能实现合适的偏移量。
示例性客户机设备
图8是根据本描述的示例性客户机设备800的框图。示例性客户机设备800可为通用计算设备,诸如个人计算机,或它可为被特别配置用于在此给出的用途的有限功能设备。在下面的讨论中,继续参考先前的附图以及元件和与其关联的标号。
客户机设备800被配置为与诸如图7所示的示例性全景照相机700的全景照相机进行通信。然而需要注意的是,当结合客户机设备800使用时,示例性全景照相机700可能含有较少的组件,其中客户机设备800可以进行一些属于图7中示例性全景相机的处理。
客户机设备800和全景照相机700也可被配置为与另一个客户机设备(未示出)和/或远程位置的全景照相机进行通信。这可以是这样一种情况:两个会议室,每一个都有一个客户机设备和一个远程全景照相机。在诸如电话线路或网络链接的通信链路上互相之间进行通信。
客户机设备800包括处理器820、I/O模块822、显示器824、呈现器825以及用户接口826。显示器824可集成在客户机设备800,如图所示,或者它可与客户机设备800分离,诸如在一个配置中,客户机设备800是个人计算机而显示器824是监视器。呈现器825是被配置为在显示器824上呈现全景图像838中像素表示的模块(诸如显示卡)。
用户接口826包括图像转换器827,它允许客户机设备用户输入用户希望在可视图像上看到的转换的方向和量值。在下文中将更详细地描述该特征。
客户机设备800也包括存储器828,它存储操作系统830和RTP(实时传输协议)源模块832。RTP源模块832被配置为在通信信道(没有示出)上接收来自全景照相机700的全景图像732并将所接收的全景图像存储为全景图像838。在这个特定示例中,全景照相机700从单个图像创建全景图像732并发送该全景图像至客户机设备800。
多种其他元件840-852类似于并各自对应于图7中的元件734-746。除了下文指出的以外,所述元件按照先前的描述工作。存储了全景图像838并可以在全景图像838重放时进行操作以最小化任何有关死区的不利效果。下面所述的处理可以被应用到所存储的全景图像838,不论它是当从全景照相机700接收到时就实时回放,还是当全景图像838被接收并存储后的某个时间回放。
在运行中,用户可处在带有客户机800的第一会议室中,而全景照相机700在第二会议室802中。在这第一示例中,全景照相机700向客户机800传输视频图像。全景照相机700设置了一个初始零度(0°)边界并创建了全景图像,随后全景图像被发送给客户机800。
当客户机设备800接收到全景图像838之后,如果存在死区的问题,即:在全景图像838中人的脸部被分割,则可旋转全景图像838。这可通过使用脸部追踪器830自动完成或通过图像转换器827手动完成。
手动完成旋转的一个方式是通过用户使用指示设备(没有示出)在期望的零度边界上点击并通过从菜单中选择、拖拉出一条曲线等来执行旋转功能。其他用于手动旋转图像的技术是可用的,并且任何用于完成这些操作的本领域众所周知技术是可以实现在本示例的内容中的。
在至少一则实施例中,可通过脸部追踪器来完成旋转但是之后可以由用户手动干预,如果用户是这么期望的。下文参考图11描述了这样一则实施例。
在本示例内容中,图像旋转模块844执行本领域众所周知的图像旋转功能。当设置了一个新的零度边界时,图像在新零度边界所指示的点被垂直分割,在图像中生成两个正方形区域。两个正方形区域随后被交换,这样分割两个正方形的线因此变为新全景图像的边缘。
也需要注意的是旋转功能可在呈现器825执行中,如果呈现器825是可用的并被配置为执行这样的功能。例如,一些视频图像加速器包括足够的处理能力来处理这样的功能,且在这样的单元中执行旋转是更有效率的。
当操作图像转换器827以手动重设零度边界时,图像旋转模块844接收回馈,它指示所指定的旋转的方向和量值。客户机设备800中的边界模块846存储了接收自全景照相机700或由脸部追踪器840设置的名义边界848。实际边界850是由所探测的操作识别出的位置。差(边界差852)是名义边界848和实际边界850之间的差。边界差852被用于计算转换图像像素以达到图像旋转所需的偏移量。
示例性方法实现
图9是示出了用于去除来自全景图像的死区的过程的示例性方法实现的流程图900。流程图900所示的特定过程涉及先前所述的图7。虽然用特定顺序示出了特定示例性方法实现,需要注意的是可执行或多或少的步骤来实现所述功能,并且可用不同于本示例所示的顺序执行这些步骤。
在块904或906中确定了用于零度(0°)边界的最佳位置。使用块904或906取决于判断是自动的(“是”分支,块902),诸如使用脸部追踪器,或是手动的(“不”分支,块902)。
照相机可包括手动选择器,用户使用它可确定最佳位置并设置手动选择器至该位置以识别名义边界位置和实际边界位置之间的偏移量。相应地在块908设置了零度(0°)边界。
如果自动执行,可使用脸部追踪机制来自动探测环坐在会议桌周围的与会者的脸部位置。可使用本领域众所周知的任何脸部追踪机制来完成该操作。当识别出脸部位置时,做出一个关于两个脸部间最大区域的判断。随后在块908中设置实际零度(0°)边界至该区域的中央。
一旦确定了实际零度(0°)边界,在块910确定一个偏移量。该偏移量是实际零度(0°)边界与名义零度边界之间的差。名义零度边界是为了呈现二维全景图像的目的而分割三百六十度的位置。这是硬件功能或通过软件机制预先定义的。
偏移量是全景图像需要被转动以适应新获得的实际零度边界的距离。这可以在实际距离上用度数确定或者在根据(x,y)坐标系来确定与重新映射功能兼容的其他单元。一旦确定了偏移量,则该偏移量被结合到重新映射功能中。
在块912,接收到各单个图像726。在块914,重新映射功能考虑了偏移量,重新映射各单个图像726成为全景图像732。合成图像在全景图像的两边缘之间不会分割人脸部的图像。
需要注意的是上面指出的过程是通常步骤,它可被改变以适应任何前述的或是根据在此提供的描述而执行的实施例。在任何特定实施例中可省略或改变图9所示的特定步骤。此外,可在图9所示的步骤中加入额外的步骤而不脱离本描述和权利要求书的范围。
示例性方法实现:360°+δ
图10是示出了通过重新生成全景图像部分在全景图像中去除死区的示例性方法实施例的流程图1000。流程图1000所示的过程特别涉及先前所述图7中所示的框图。虽然用特定顺序示出了特定示例性方法实现,需要注意的是可执行或多或少的步骤来实现所述功能,并且可用不同于本示例所示的顺序执行这些步骤。
如前所述,单独图像726中之一或者全景图像732中的一个或多个部分,(邻近零度(0°)边界的区域)可以被重新生成并被附加到全景图像中,这样任何由零度边界分割的物体就会整个出现在全景图像中(见图4a和图4b)。可用除了重设最佳零度边界以外的办法执行该步骤,但也可以不事先完成这个判断而实行该步骤。
因为在死区中的图像会被重新生成,寻找死区的最佳位置就是不必要的。然而,如果有人坐在死区中且应用该技术,人的图像的一部分会出现在邻近合成全景图像的一边,同时人脸部的完整图像会出现在邻近另一边。
在块1002,类似上文所述的方法(图9,904-906)判断了用于零度(0°)边界的最佳位置。在块1004接收单个图像726且在块1006装配模块736将图像726缝合在一起以形成全景图像732。装配模块736随后确定(通过预先设定值或自动参考图像中的物体或通过手动输入)要被重新生成的部分(δ)(块1008)。
部分(δ)重新生成为δ′且重新生成的部分(δ′)在块1008中被附加到全景图像732。如前所述,两个部分(δ)可被重新映射并附加到全景图像732,在全景图像732的每一对应边都有一个重新生成的部分(δ)。
如果需要,可在块1010将合成全景图像732的大小调整(可选项)至如果没有附加δ′时的全景图像的大小。这可以通过水平缩短全景图像732或通过在全景图像732的顶端和/或底端的附加无意义空间(如,黑色或灰色条纹)来实现。
如前所述,上文所述的过程仅仅是使用一个或多个复制图像部分的相加来最小化死区问题的多种实施例中的一种。上面列出的特定引用步骤仅仅通过示例给出而非限制。
示例性方法实施例:客户机设备
图11为示出了通过在生成并存储全景图像之后旋转全景图像来最小化全景图像中死区的过程的流程图。在下面的讨论中,继续参考先前的附图以及元件和与其关联的标号。流程图1100所示的过程特别涉及先前所述图8中所示的框图。虽然用特定顺序示出了特定示例性方法实现,需要注意的是可执行或多或少的步骤来实现所述功能,并且可用不同于本示例所示的顺序执行这些步骤。
在块1102,客户机设备800接收到所存储的全景图像838。可从全景照相机700实时接收或在存储后的某个时候从存储器828提取全景图像838。此时,设置了名义零度边界848以在二维形式下呈现全景图像。然而,因为多种原因的任何一个,名义零度边界848不一定在一个理想的位置。
如果脸部追踪器是可用的(“是”分支,块1104),则脸部追踪器840扫描全景图像838以定位全景图像838中的脸部(块1106)。如果定位了用于零度边界的更佳位置,则边界模块846识别该位置,设置新的边界,并且旋转模块844相应地在块1108旋转全景图像838。如果用户接受所旋转的图像(“是”分支,块1110),则过程结束。
如果没有可用的脸部追踪器(“否”分支,块1104)或者用户不喜欢零度边界的新位置(“否”分支,块1110),则用户在块1112手动重设了零度边界,如上文所述。当用户重设了边界,全景图像838也相应地被旋转(块1114)且过程结束。
这样,用户可以按照所期望的来改变零度边界。例如,如果新的与会者加入会议且正巧坐在死区中,用户希望调节边界以捕捉到新的与会者的完整图像。
结论
虽然示出并描述了一个或多个示例性实施例,可以被理解的是可以进行多种变化而不脱离在此附加的权利要求书的精神和范围。
Claims (16)
1.一种照相机系统,其特征在于,包括:
一个或多个照相机,配置为生成最大为三百六十度(360°)的广域的图像;
用于自动确定其中没有物体位于零度边界位置的广域部分的装置;
用于确定零度边界位置的装置,在所述零度边界上由所述照相机系统生成的二维图像被分割;
重新映射模块,配置为根据所述零度边界将来自照相机图像的像素重新映射至全景空间;以及
其中,由全景空间呈现的全景图像含有对应于所述零度边界的左边缘和右边缘。
2.如权利要求1所述的照相机系统,其特征在于,所述用于确定零度边界的装置还包括脸部追踪器。
3.如权利要求1所述的照相机系统,其特征在于,所述重新映射模块进一步被配置为复制所述照相机所摄的图像的一部分,使得所述部分包括在所述全景空间内二次。
4.一种使全景图像中死区最小化的方法,其特征在于,包括:
接收全景图像;
相对于所述全景图像确定零度边界位置;
自动确定其中没有物体位于零度边界位置的广域部分;
相对于所述零度边界,对所述全景图像进行转换以最小化与零度边界相关的死区。
5.如权利要求4所述的方法,其特征在于,所述接收步骤还包括从全景照相机接收以视频流格式的所述全景图像。
6.如权利要求4所述的方法,其特征在于,所述接收步骤还包括从图像存储器单元接收所述全景图像。
7.如权利要求4所述的方法,其特征在于,所述相对于所述全景图像确定零度边界位置还包括设定零度指示器以指示不包括要成像的物体的位置。
8.如权利要求4所述的方法,其特征在于,所述相对于所述全景图像确定零度边界位置还包括自动探测用于零度边界的最佳位置,所述最佳位置是不包括要成像的物体的位置。
9.如权利要求4所述的方法,其特征在于,所述相对于所述全景图像确定零度边界位置还包括使用脸部追踪机制来标识没有脸部出现的位置,作为零度边界的位置。
10.如权利要求4所述的方法,其特征在于,所述转换步骤还包括在全景图像中复制全景区域的至少一部分,全景区域的所述一部分是邻近零度边界的区域。
11.如权利要求9所述的方法,其特征在于,还包括调整全景图像的大小至归一化的全景空间。
12.一种使全景图像中死区最小化的方法,包括:
相对于一全景区域确定零度边界位置;
自动确定其中没有物体位于零度边界位置的广域部分;
接收所述全景区域的一个或多个图像;
将所述一个或多个图像重新映射至全景图像,使得由所述全景图像的至少一边来表示所述零度边界。
13.如权利要求12所述的方法,其特征在于,所述相对于一全景区域确定零度边界位置还包括接收一个所述零度边界位置的指示。
14.如权利要求12所述的方法,其特征在于,还包括复制全景图像中邻近零度边界的全景区域图像的一部分。
15.如权利要求12所述的方法,其特征在于,
所述接收步骤还包括接收第一全景图像;以及
所述重新映射步骤还包括将所述第一全景图像重新映射为第二全景图像。
16.如权利要求15所述的方法,其特征在于,所述接收步骤还包括从存储器检索已存储的全景图像。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/026,466 | 2004-12-30 | ||
US11/026,466 US7782357B2 (en) | 2002-06-21 | 2004-12-30 | Minimizing dead zones in panoramic images |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1837952A CN1837952A (zh) | 2006-09-27 |
CN1837952B true CN1837952B (zh) | 2010-09-29 |
Family
ID=36088562
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2005101271393A Active CN1837952B (zh) | 2004-12-30 | 2005-11-22 | 全景图像中死区的最小化 |
Country Status (5)
Country | Link |
---|---|
US (1) | US7782357B2 (zh) |
EP (1) | EP1677534B1 (zh) |
JP (1) | JP4890005B2 (zh) |
KR (1) | KR101201107B1 (zh) |
CN (1) | CN1837952B (zh) |
Families Citing this family (50)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7259784B2 (en) * | 2002-06-21 | 2007-08-21 | Microsoft Corporation | System and method for camera color calibration and image stitching |
US7602412B2 (en) * | 2002-06-21 | 2009-10-13 | Microsoft Corporation | Temperature compensation in multi-camera photographic devices |
US7598975B2 (en) | 2002-06-21 | 2009-10-06 | Microsoft Corporation | Automatic face extraction for use in recorded meetings timelines |
US8024189B2 (en) | 2006-06-22 | 2011-09-20 | Microsoft Corporation | Identification of people using multiple types of input |
GB2440993C (en) * | 2006-07-25 | 2014-03-19 | Sony Comp Entertainment Europe | Apparatus and method of interaction with a data processor |
US7817354B2 (en) * | 2006-10-25 | 2010-10-19 | Capsovision Inc. | Panoramic imaging system |
JP5084696B2 (ja) * | 2008-10-27 | 2012-11-28 | 三洋電機株式会社 | 画像処理装置、画像処理方法及び電子機器 |
JP5247356B2 (ja) * | 2008-10-29 | 2013-07-24 | キヤノン株式会社 | 情報処理装置およびその制御方法 |
JP5483863B2 (ja) * | 2008-11-12 | 2014-05-07 | キヤノン株式会社 | 情報処理装置およびその制御方法 |
CN101668160B (zh) * | 2009-09-10 | 2012-08-29 | 华为终端有限公司 | 视频图像数据处理方法、装置及视频会议系统及终端 |
JP5593695B2 (ja) * | 2009-12-28 | 2014-09-24 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP5573349B2 (ja) * | 2010-05-17 | 2014-08-20 | パナソニック株式会社 | パノラマ展開画像撮影システムおよび方法 |
KR101279576B1 (ko) | 2011-06-15 | 2013-06-27 | 삼성테크윈 주식회사 | 디지털 영상 처리 장치에서의 파노라마 영상 생성 방법 |
BR112014001565A2 (pt) | 2011-07-22 | 2017-06-13 | Fujifilm Corp | método de geração de imagem panorâmica e dispositivo de captura de imagem |
CN103797787B (zh) * | 2012-09-10 | 2017-06-20 | 华为技术有限公司 | 图像处理方法和图像处理设备 |
FR2998126B1 (fr) * | 2012-11-15 | 2014-12-26 | Giroptic | Procede et dispositif de capture et de construction d'un flux d'images panoramiques ou stereoscopiques |
US9124762B2 (en) | 2012-12-20 | 2015-09-01 | Microsoft Technology Licensing, Llc | Privacy camera |
US9662564B1 (en) * | 2013-03-11 | 2017-05-30 | Google Inc. | Systems and methods for generating three-dimensional image models using game-based image acquisition |
US9533618B2 (en) * | 2014-03-07 | 2017-01-03 | Texas Instruments Incorporated | Method, apparatus and system for processing a display from a surround view camera solution |
US9892493B2 (en) | 2014-04-21 | 2018-02-13 | Texas Instruments Incorporated | Method, apparatus and system for performing geometric calibration for surround view camera solution |
EP3855232A1 (en) | 2014-05-06 | 2021-07-28 | Niazi, Zakariya | Imaging system, method, and applications |
JP2016092691A (ja) | 2014-11-07 | 2016-05-23 | キヤノン株式会社 | 画像処理装置及びその制御方法、プログラム、並びに記憶媒体 |
CN105828022A (zh) * | 2015-01-06 | 2016-08-03 | 上海酷景信息技术有限公司 | 一种基于正多面体的360 度无盲区全景视频拍摄设备 |
KR20160088719A (ko) * | 2015-01-16 | 2016-07-26 | 삼성전자주식회사 | 이미지를 촬영하는 전자 장치 및 방법 |
KR20170001223A (ko) * | 2015-06-26 | 2017-01-04 | 삼성전자주식회사 | 정보 추출 시스템, 정보 추출 장치, 그의 정보 추출 방법 및 비일시적 컴퓨터 판독가능 기록매체 |
USD788725S1 (en) * | 2015-09-11 | 2017-06-06 | Polycom, Inc. | Videoconferencing unit |
GB2548558A (en) * | 2016-03-17 | 2017-09-27 | Nokia Technologies Oy | Method and apparatus for processing video information |
WO2017175888A1 (ko) * | 2016-04-05 | 2017-10-12 | 삼성전자 주식회사 | 이미지 처리 방법 및 장치 |
US20180063426A1 (en) * | 2016-08-31 | 2018-03-01 | Nokia Technologies Oy | Method, apparatus and computer program product for indicating a seam of an image in a corresponding area of a scene |
EP3340611B1 (en) | 2016-12-20 | 2020-07-29 | Nokia Technologies Oy | An apparatus and associated methods for virtual reality scene capture |
US10999602B2 (en) | 2016-12-23 | 2021-05-04 | Apple Inc. | Sphere projected motion estimation/compensation and mode decision |
RU2019119074A (ru) * | 2016-12-28 | 2020-12-21 | Сони Корпорейшн | Устройство формирования, способ формирования информации об идентификации, устройство воспроизведения и способ формирования изображения |
US11259046B2 (en) | 2017-02-15 | 2022-02-22 | Apple Inc. | Processing of equirectangular object data to compensate for distortion by spherical projections |
US10924747B2 (en) | 2017-02-27 | 2021-02-16 | Apple Inc. | Video coding techniques for multi-view video |
JP6485655B2 (ja) | 2017-03-27 | 2019-03-20 | 日本電気株式会社 | 顔認証装置、顔認証方法、および顔認証プログラム |
US11093752B2 (en) | 2017-06-02 | 2021-08-17 | Apple Inc. | Object tracking in multi-view video |
JP6891954B2 (ja) * | 2017-06-23 | 2021-06-18 | 日本電気株式会社 | 物体検知装置、物体検知方法、及びプログラム |
EP3422724B1 (en) | 2017-06-26 | 2024-05-01 | Nokia Technologies Oy | An apparatus, a method and a computer program for omnidirectional video |
US20190005709A1 (en) * | 2017-06-30 | 2019-01-03 | Apple Inc. | Techniques for Correction of Visual Artifacts in Multi-View Images |
US10754242B2 (en) | 2017-06-30 | 2020-08-25 | Apple Inc. | Adaptive resolution and projection format in multi-direction video |
JP7210188B2 (ja) * | 2017-08-31 | 2023-01-23 | キヤノン株式会社 | 情報処理システム、制御装置及び情報処理方法 |
CN108055500B (zh) * | 2017-11-21 | 2020-06-05 | 北京隐身工程技术研究院有限公司 | 一种红外全景监控中两个全景显示区的连续显示方法 |
CN108257086B (zh) * | 2017-12-22 | 2021-04-13 | 微幻科技(北京)有限公司 | 一种全景照片处理的方法及装置 |
JP6503098B1 (ja) * | 2018-01-30 | 2019-04-17 | フォージビジョン株式会社 | 画像処理装置、画像処理プログラム及び画像処理方法 |
KR20190096697A (ko) * | 2018-02-09 | 2019-08-20 | 삼성전자주식회사 | 전자 장치 및 전자 장치의 전 방향 영상 표시 방법 |
US10951859B2 (en) | 2018-05-30 | 2021-03-16 | Microsoft Technology Licensing, Llc | Videoconferencing device and method |
US11798126B2 (en) | 2018-07-30 | 2023-10-24 | Hewlett-Packard Development Company, L.P. | Neural network identification of objects in 360-degree images |
EP3668087A1 (en) * | 2018-12-14 | 2020-06-17 | Carrier Corporation | Video monitoring system workspace |
CN110570448A (zh) * | 2019-09-07 | 2019-12-13 | 深圳岚锋创视网络科技有限公司 | 一种全景视频的目标追踪方法、装置及便携式终端 |
TWI742481B (zh) * | 2019-12-09 | 2021-10-11 | 茂傑國際股份有限公司 | 視訊會議全景影像展開方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1998047291A2 (en) * | 1997-04-16 | 1998-10-22 | Isight Ltd. | Video teleconferencing |
US20020041324A1 (en) * | 2000-09-29 | 2002-04-11 | Kozo Satoda | Video conference system |
US20030220971A1 (en) * | 2002-05-23 | 2003-11-27 | International Business Machines Corporation | Method and apparatus for video conferencing with audio redirection within a 360 degree view |
WO2004004320A1 (en) * | 2002-07-01 | 2004-01-08 | The Regents Of The University Of California | Digital processing of video images |
US6795106B1 (en) * | 1999-05-18 | 2004-09-21 | Intel Corporation | Method and apparatus for controlling a video camera in a video conferencing system |
US20040254982A1 (en) * | 2003-06-12 | 2004-12-16 | Hoffman Robert G. | Receiving system for video conferencing system |
Family Cites Families (53)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3118340A (en) | 1964-01-21 | Panoramic motion picture camera arrangement | ||
US3698803A (en) * | 1970-09-09 | 1972-10-17 | Midori Kai Co Ltd | Camera for taking hemispherical motion picture |
JPS59196679A (ja) | 1983-04-22 | 1984-11-08 | Toshiba Corp | 複数のカラ−テレビジヨンカメラのホワイトバランス調整方式 |
US5504524A (en) | 1993-10-15 | 1996-04-02 | Vlsi Vision Limited | Method and apparatus for controlling color balance of a video signal |
US5796426A (en) | 1994-05-27 | 1998-08-18 | Warp, Ltd. | Wide-angle image dewarping method and apparatus |
JP3458486B2 (ja) | 1994-10-25 | 2003-10-20 | 松下電器産業株式会社 | 全方位撮影装置及び全方位画像合成装置 |
US5990934A (en) | 1995-04-28 | 1999-11-23 | Lucent Technologies, Inc. | Method and system for panoramic viewing |
US5745305A (en) | 1995-04-28 | 1998-04-28 | Lucent Technologies Inc. | Panoramic viewing apparatus |
US5539483A (en) | 1995-06-30 | 1996-07-23 | At&T Corp. | Panoramic projection apparatus |
US5793527A (en) | 1995-06-30 | 1998-08-11 | Lucent Technologies Inc. | High resolution viewing system |
US6115176A (en) | 1995-11-30 | 2000-09-05 | Lucent Technologies Inc. | Spherical viewing/projection apparatus |
US6111702A (en) | 1995-11-30 | 2000-08-29 | Lucent Technologies Inc. | Panoramic viewing system with offset virtual optical centers |
US5790183A (en) * | 1996-04-05 | 1998-08-04 | Kerbyson; Gerald M. | High-resolution panoramic television surveillance system with synoptic wide-angle field of view |
US6493032B1 (en) | 1996-06-24 | 2002-12-10 | Be Here Corporation | Imaging arrangement which allows for capturing an image of a view at different resolutions |
US6331869B1 (en) | 1998-08-07 | 2001-12-18 | Be Here Corporation | Method and apparatus for electronically distributing motion panoramic images |
US6459451B2 (en) | 1996-06-24 | 2002-10-01 | Be Here Corporation | Method and apparatus for a panoramic camera to capture a 360 degree image |
US6373642B1 (en) | 1996-06-24 | 2002-04-16 | Be Here Corporation | Panoramic imaging arrangement |
US6341044B1 (en) | 1996-06-24 | 2002-01-22 | Be Here Corporation | Panoramic imaging arrangement |
US6043837A (en) | 1997-05-08 | 2000-03-28 | Be Here Corporation | Method and apparatus for electronically distributing images from a panoptic camera system |
US6466254B1 (en) | 1997-05-08 | 2002-10-15 | Be Here Corporation | Method and apparatus for electronically distributing motion panoramic images |
US6356296B1 (en) | 1997-05-08 | 2002-03-12 | Behere Corporation | Method and apparatus for implementing a panoptic camera system |
US6101287A (en) | 1998-05-27 | 2000-08-08 | Intel Corporation | Dark frame subtraction |
JP4194133B2 (ja) | 1998-06-24 | 2008-12-10 | キヤノン株式会社 | 画像処理方法及び装置及び記憶媒体 |
US6977676B1 (en) * | 1998-07-08 | 2005-12-20 | Canon Kabushiki Kaisha | Camera control system |
US6924832B1 (en) | 1998-08-07 | 2005-08-02 | Be Here Corporation | Method, apparatus & computer program product for tracking objects in a warped video image |
US6144501A (en) | 1998-08-28 | 2000-11-07 | Lucent Technologies Inc. | Split mirrored panoramic image display |
US6128143A (en) | 1998-08-28 | 2000-10-03 | Lucent Technologies Inc. | Panoramic viewing system with support stand |
US6285365B1 (en) * | 1998-08-28 | 2001-09-04 | Fullview, Inc. | Icon referenced panoramic image display |
US6141145A (en) | 1998-08-28 | 2000-10-31 | Lucent Technologies | Stereo panoramic viewing system |
US6195204B1 (en) | 1998-08-28 | 2001-02-27 | Lucent Technologies Inc. | Compact high resolution panoramic viewing system |
JP2000152168A (ja) * | 1998-11-13 | 2000-05-30 | Olympus Optical Co Ltd | 画像再生装置 |
US6369818B1 (en) | 1998-11-25 | 2002-04-09 | Be Here Corporation | Method, apparatus and computer program product for generating perspective corrected data from warped information |
US6597520B2 (en) | 1999-01-13 | 2003-07-22 | Be Here Corporation | Panoramic imaging arrangement |
US6175454B1 (en) | 1999-01-13 | 2001-01-16 | Behere Corporation | Panoramic imaging arrangement |
US6788340B1 (en) | 1999-03-15 | 2004-09-07 | Texas Instruments Incorporated | Digital imaging control with selective intensity resolution enhancement |
TW420937B (en) | 1999-05-06 | 2001-02-01 | Umax Data Systems Inc | Dynamic calibration method |
US7015954B1 (en) * | 1999-08-09 | 2006-03-21 | Fuji Xerox Co., Ltd. | Automatic video system using multiple cameras |
US6741250B1 (en) | 2001-02-09 | 2004-05-25 | Be Here Corporation | Method and system for generation of multiple viewpoints into a scene viewed by motionless cameras and for presentation of a view path |
US6756990B2 (en) | 2001-04-03 | 2004-06-29 | Be Here Corporation | Image filtering on 3D objects using 2D manifolds |
JP4439763B2 (ja) * | 2001-07-04 | 2010-03-24 | 株式会社リコー | 画像録画再生システムおよび画像録画再生方法 |
US20040008423A1 (en) | 2002-01-28 | 2004-01-15 | Driscoll Edward C. | Visual teleconferencing apparatus |
US20040021764A1 (en) * | 2002-01-28 | 2004-02-05 | Be Here Corporation | Visual teleconferencing apparatus |
US20030142402A1 (en) | 2002-01-30 | 2003-07-31 | Be Here Corporation | Method and apparatus for triggering a remote flash on a camera with a panoramic lens |
US20030146982A1 (en) | 2002-02-01 | 2003-08-07 | Tindall John R. | Special color pigments for calibrating video cameras |
JP2003235058A (ja) * | 2002-02-12 | 2003-08-22 | Sony Corp | 視点自由形画像表示装置及び方法、記憶媒体、コンピュータ・プログラム、放送システム、並びに、付加情報管理装置及び方法 |
US6995791B2 (en) | 2002-04-02 | 2006-02-07 | Freescale Semiconductor, Inc. | Automatic white balance for digital imaging |
US6917702B2 (en) | 2002-04-24 | 2005-07-12 | Mitsubishi Electric Research Labs, Inc. | Calibration of multiple cameras for a turntable-based 3D scanner |
US7012757B2 (en) | 2002-05-08 | 2006-03-14 | Be Here Corporation | Method for designing a lens system and resulting apparatus |
US7259784B2 (en) * | 2002-06-21 | 2007-08-21 | Microsoft Corporation | System and method for camera color calibration and image stitching |
US20050046703A1 (en) | 2002-06-21 | 2005-03-03 | Cutler Ross G. | Color calibration in photographic devices |
US7598975B2 (en) | 2002-06-21 | 2009-10-06 | Microsoft Corporation | Automatic face extraction for use in recorded meetings timelines |
US7602412B2 (en) | 2002-06-21 | 2009-10-13 | Microsoft Corporation | Temperature compensation in multi-camera photographic devices |
US7019918B2 (en) | 2003-06-12 | 2006-03-28 | Be Here Corporation | Panoramic imaging system |
-
2004
- 2004-12-30 US US11/026,466 patent/US7782357B2/en active Active
-
2005
- 2005-11-07 JP JP2005322661A patent/JP4890005B2/ja not_active Expired - Fee Related
- 2005-11-10 KR KR1020050107448A patent/KR101201107B1/ko active IP Right Grant
- 2005-11-22 CN CN2005101271393A patent/CN1837952B/zh active Active
- 2005-12-07 EP EP05111765.3A patent/EP1677534B1/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1998047291A2 (en) * | 1997-04-16 | 1998-10-22 | Isight Ltd. | Video teleconferencing |
US6795106B1 (en) * | 1999-05-18 | 2004-09-21 | Intel Corporation | Method and apparatus for controlling a video camera in a video conferencing system |
US20020041324A1 (en) * | 2000-09-29 | 2002-04-11 | Kozo Satoda | Video conference system |
US20030220971A1 (en) * | 2002-05-23 | 2003-11-27 | International Business Machines Corporation | Method and apparatus for video conferencing with audio redirection within a 360 degree view |
WO2004004320A1 (en) * | 2002-07-01 | 2004-01-08 | The Regents Of The University Of California | Digital processing of video images |
US20040254982A1 (en) * | 2003-06-12 | 2004-12-16 | Hoffman Robert G. | Receiving system for video conferencing system |
Non-Patent Citations (1)
Title |
---|
WO 2004004320 A1,全文. |
Also Published As
Publication number | Publication date |
---|---|
US20050151837A1 (en) | 2005-07-14 |
JP4890005B2 (ja) | 2012-03-07 |
KR20060079079A (ko) | 2006-07-05 |
CN1837952A (zh) | 2006-09-27 |
EP1677534A1 (en) | 2006-07-05 |
JP2006191535A (ja) | 2006-07-20 |
US7782357B2 (en) | 2010-08-24 |
EP1677534B1 (en) | 2014-05-14 |
KR101201107B1 (ko) | 2012-11-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1837952B (zh) | 全景图像中死区的最小化 | |
EP2047422B1 (en) | Method and system for producing seamless composite images having non-uniform resolution from a multi-imager | |
US7593042B2 (en) | Maintenance of panoramic camera orientation | |
US20240196096A1 (en) | Merging webcam signals from multiple cameras | |
WO2022031872A1 (en) | Designated view within a multi-view composited webcam signal | |
US20040263611A1 (en) | Omni-directional camera design for video conferencing | |
EP2385705A1 (en) | Method and device for generating stereoscopic panoramic video stream, and method and device of video conference | |
US20130242036A1 (en) | Displaying panoramic video image streams | |
WO2007003712A1 (en) | Control device for information display, corresponding system, method and program product | |
JP2002281468A (ja) | 電子会議システム | |
JP5963006B2 (ja) | 画像変換装置、カメラ、映像システム、画像変換方法およびプログラムを記録した記録媒体 | |
He et al. | Real-time whiteboard capture and processing using a video camera for remote collaboration | |
Nyland et al. | Capturing, processing, and rendering real-world scenes | |
JP2009141508A (ja) | テレビ会議装置、テレビ会議方法、プログラムおよび記録媒体 | |
JP2006180022A (ja) | 画像処理システム | |
JP6714942B1 (ja) | コミュニケーションシステム、コンピュータプログラム、及び情報処理方法 | |
JP5781017B2 (ja) | 映像会話システム | |
JP3128018B2 (ja) | 画像通信システム | |
JP5656809B2 (ja) | 会話映像表示システム | |
CN111625210A (zh) | 一种大屏控制方法、装置及设备 | |
CN113016011A (zh) | 用于基底、涂覆品、中空玻璃单元等的增强现实系统和方法 | |
JP2019062534A (ja) | 通信端末、画像通信システム、表示方法、及びプログラム | |
JP5647813B2 (ja) | 映像提示システム、プログラム及び記録媒体 | |
US20050068442A1 (en) | Presentation system and method of use | |
JP4509155B2 (ja) | 撮影画像処理システムおよび撮影画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
ASS | Succession or assignment of patent right |
Owner name: MICROSOFT TECHNOLOGY LICENSING LLC Free format text: FORMER OWNER: MICROSOFT CORP. Effective date: 20150513 |
|
C41 | Transfer of patent application or patent right or utility model | ||
TR01 | Transfer of patent right |
Effective date of registration: 20150513 Address after: Washington State Patentee after: Micro soft technique license Co., Ltd Address before: Washington State Patentee before: Microsoft Corp. |